CN116843866A - 基于ar设备养殖场智能巡检方法、系统 - Google Patents

Abstract

本发明提供了一种基于AR设备养殖场智能巡检方法及系统。所述巡检方法包括：S1，在AR设备上安装巡检应用程序，并将AR设备连接到服务器；S2，通过AR设备采集养殖场生产设备的图像或视频，并将图像或视频传输到服务器；S3，基于深度学习算法模型分析图像或视频，对图像或者视频中的生产设备进行自动识别和分析，检测生产设备是否存在异常情况，并生成相应的巡检报告，并将结果传输到应用程序和AR设备上显示给巡检人员。本发明提供的基于AR设备养殖场智能巡检方法、系统，具有如下优点：自动化程度高、且可以远程指导和协作功能强，此外，还具有自适应学习能力强，可通过深度学习算法模型的自适应学习能力，不断提高系统的准确率和效率。

Description

基于AR设备养殖场智能巡检方法、系统

技术领域

本发明涉及一种基于AR设备养殖场智能巡检方法、系统。

背景技术

目前，在工业、养殖生产过程中，各种设备的安全、稳定运行对保障生产效率和生产安全至关重要。因此，对设备进行定期检查和维护是必不可少的工作，而传统的人工巡检方式效率低、准确率低、成本高等问题已经越来越突出，这也推动了人们研究智能巡检技术的发展。

近年来，随着AR技术、人工智能技术、传感器技术的发展，深度学习作为一种重要的人工智能技术受到了广泛关注，并被应用于智能巡检领域。在深度学习技术的帮助下，智能巡检系统可以对设备进行快速、准确的巡检，同时还能进行状态分析、故障诊断和预测分析等，这样不仅能够提高巡检效率，还能够降低维护成本，提高生产效率和设备的运行稳定性。然而，现有技术中并没有一种基于AR设备的养殖场智能巡检方法、系统。

发明内容

本发明提供了一种基于AR设备养殖场智能巡检方法、系统，可以有效解决上述问题。

本发明是这样实现的：

本发明提供一种基于AR设备养殖场智能巡检方法，包括以下步骤：

S1，在AR设备上安装巡检应用程序，并将AR设备连接到服务器；

S2，通过AR设备采集养殖场生产设备的图像或视频，并将图像或视频传输到服务器；

S3，基于深度学习算法模型分析图像或视频，对图像或者视频中的生产设备进行自动识别和分析，检测生产设备是否存在异常情况，并生成相应的巡检报告，并将结果传输到应用程序和AR设备上显示给巡检人员。

本发明提供一种基于AR设备养殖场智能巡检系统，包括：

AR设备，其上预安装巡检应用程序，且所述AR设备连接到服务器，所述AR设备用于采集养殖场生产设备的图像或视频，并将图像或视频传输到服务器；

服务器，用于基于深度学习算法模型分析图像或视频，对图像或者视频中的生产设备进行自动识别和分析，检测生产设备是否存在异常情况，并生成相应的巡检报告，并将结果传输到应用程序和AR设备上显示给巡检人员。

本发明的有益效果是：本发明提供的基于AR设备养殖场智能巡检方法、系统，具有如下优点：自动化程度高：通过深度学习算法模型，实现对设备的自动识别和分析，减少人工干预，提高巡检和维护的效率；远程指导和协作功能强：通过AR技术实现远程指导和协同巡检，提高设备巡检和维护的便捷性和可操作性；自适应学习能力强：通过深度学习算法模型的自适应学习能力，不断提高系统的准确率和效率。

附图说明

为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例提供的基于AR设备养殖场智能巡检方法流程图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

参照图1所示，一种基于AR设备养殖场智能巡检方法，包括以下步骤：

S1，在AR设备上安装巡检应用程序，并将AR设备连接到服务器；

S2，通过AR设备采集养殖场生产设备的图像或视频，并将图像或视频传输到服务器；

S3，基于深度学习算法模型分析图像或视频，对图像或者视频中的生产设备进行自动识别和分析，检测生产设备是否存在异常情况，并生成相应的巡检报告，并将结果传输到应用程序和AR设备上显示给巡检人员。

在步骤S2中，所述养殖场生产设备主要有饲喂设备、环控设备、自动供料系统、粪污处理装置等。所述饲喂设备、环控设备、自动供料系统、粪污处理装置为了实现自动化控制，一般都包括有主控显示装置。而如果设备产生故障，对应的主控显示装置一般都会进行故障代码的报错显示，因此，可以通过对所述所述饲喂设备、环控设备、自动供料系统、粪污处理装置对应主控显示装进行图像或视频采集。

作为进一步改进的，对于一般的环控设备，如采暖、温度控制、通风以及空气质量等相关设备，还可以进一步采集其运行状态。例如，可以采集风机的运行状态，判断其是否正常运转；温度控制器，可以采集具体的环境温度与设定的环境温度进行比对；湿度控制器，可以采集具体的湿度与与设定的环境湿度进行比对等等，在此不做限制。

在步骤S3中，所述基于深度学习算法模型分析图像或视频，对图像或者视频中的生产设备等进行自动识别和分析，检测生产设备是否存在异常情况的步骤具体包括：

获取图像或者视频中的生产设备上主控显示装置的图像，判断所述主控显示装置的图像是否具有故障代码，是则进一步获取所述故障代码，然后将对应的故障代码与厂商提供的故障代码相匹配，最后调取该故障代码对应的故障类型及其解决方法。其中，所述故障代码对应的故障类型及其解决方法为在预先录入到服务器中获得。

在其他实施例中，所述基于深度学习算法模型分析图像或视频可以获取视频中的温度控制设备，在获取温度控制设备时，可以采集具体的环境温度与设定的环境温度进行比对，进而判断所述温度控制设备是否异常。

在其他实施例中，所述基于深度学习算法模型分析图像或视频可以获取视频中的湿度控制设备，在获取湿度控制设备时，可以采集具体的环境湿度与设定的环境湿度进行比对，进而判断所述湿度控制设备是否异常。

在其他实施例中，所述基于深度学习算法模型分析图像或视频可以获取视频中的采暖控制设备，在获取采暖控制设备时，可以采集具体的环境温度与设定的环境温度进行比对，进而判断所述采暖控制设备是否异常。

在其他实施例中，所述基于深度学习算法模型分析图像或视频可以获取视频中的通风控制设备，在获取通风控制设备时，可以采集通风的运行状态与设定的通风设备的运行状态进行比对，进而判断所述通风控制设备是否异常。

作为进一步改进的，当获取所述故障类型后，所述基于AR设备养殖场智能巡检方法，还可以进一步包括：

S31，对AR设备进行定位和跟踪，以实现设备巡检时的位置和姿态识别。例如，可以使用SLAM技术对AR设备进行定位和跟踪。从而在后续的巡检报告中准确体现故障的生产设备的位置及标号等。

所述巡检报告的形式不限，可以根据实际需要选择。

在其他实施例中，作为进一步改进的，所述基于AR设备养殖场智能巡检方法，还可以进一步包括：

S4，通过AR设备在现实场景中叠加显示设备状态，通过观察设备状态信息，直接指导维护操作，并将操作过程通过AR设备实时传输至后端服务器，进行记录和分析。可以理解，通过AR设备在现实场景中叠加显示设备状态并进行直接指导维护操作，可以大大提高设备维修的效率。

在其他实施例中，作为进一步改进的，所述基于AR设备养殖场智能巡检方法，还可以进一步包括：

S5，对养殖场中的每个栏位的即时粪便图像进行实时采集，并根据图像识别模型，判断所述即时粪便图像是否正常。

在步骤S5中，所述图像识别模型的的构建，包括以下步骤：

S51，获取多张粪便图形；

S52，将所述粪便图形按照“正常”和“非正常”进行标注，并进行大数据的训练；

S53，输出基于粪便的图像识别模型。

在步骤S51中，所述粪便图形可以通过各地饲养的过程中采集具体粪便图形获得。这是由于，全国各地的饲养地饲养猪的品种、食物以及饲养习惯完全不同，如果采用统一的标准图片，可能会导致后期的识别不准确。

作为进一步改进的，所述获取多张粪便图形的可以通过深度摄像机获取。在其中一个实施例中个，可采用Kinect深度摄像机，所述Kinect深度摄像机采用的是红外线发射器、彩色RGB摄像头、红外CMOS摄像机构成的3D结构光深度感应器。所述红外发射器主动投射经调制的近红外光线，红外光线照到视野里的物体上就会发生反射，红外相机接收反射回来的红外线，采用TOF技术测量深度，计算光的时间差，根据可得物体的深度，进而获得粪便的深度图像。之所以采用深度摄像机获取，这是由于正常的粪便都是松散结团状的结构，需要通过深度摄像机获取其深度结构；而生病的猪的粪便，都是稀状或糊状(平面状结构)，难以获得其深度结构，因此可以快速的进行分辨及训练，大大的提高训练的效率。

在步骤S32中，所述将粪便图形按照“正常”和“非正常”进行标注的步骤，主要由人工进行。作为进一步改进的，在其中一个实施例中，在标注的过程中，将拉稀或糊状的标注为“非正常”；而松散结团状标注为“正常”，而颗粒状的标注为“正常-待确认”。这是由于，拉稀或糊状代表猪的情况比较严重；而颗粒状的情况较为轻微，可能只是缺水引起。

将所述粪便图形在大数据处理单元中进行大数据训练。在本实施例中利用Halcon软件进行处理，Halcon软件的优点在于其支持2D和3D图像采集设备数量的5倍，提供更高的位深度图像处理。在其中一个实施例中，调用Halcon中的预训练网络：pretrained_dl_classifier_compact.hdl。在本实施例中上述的图像共采集到323张图像，其中“normal”图像210张，(其中，“normal-to be confirmed”33张)，“innormal”图像113张,将“normal”、“innormal”、“normal-to be confirmed”分类的图像按照标注类别分别存放在同一目中的“normal”和“innormal”、“normal-to be confirmed”文件夹，用read_dl_classifier_data_set直接读取对应数据集即可获得文件及图像所述的类别标签。

试验表明，本发明实施例提供的基于粪便的图像识别模型，对“normal”、“innormal”的猪粪便，即，拉稀或糊状与颗粒或团状的识别准确度可以达到97％以上。而“innormal”、“normal-to be confirmed”，即颗粒或团状的识别准确度仅仅可以达到65％左右。

在其他实施例中，作为进一步改进的，所述基于AR设备养殖场智能巡检方法，还可以进一步包括：

S6，当所述即时粪便图像具有“innormal”时，通过VR设备对巡检员进行预警。

在其他实施例中，作为进一步改进的，所述基于AR设备养殖场智能巡检方法，还可以进一步包括：

S7，获取同一栏位的即时粪便图像中具有“innormal”的比例，当高于预设值时提升警报等级。这是由于当同一栏位的即时粪便图像中具有“innormal”的比例高于预设值时，说明可以产生传染，因此需要进行提升等级的报警。

本发明提供的所述基于AR设备养殖场智能巡检方法，其具有以下优点包括：

自动化程度高：通过深度学习算法模型，实现对设备的自动识别和分析，减少人工干预，提高巡检和维护的效率；

可视化程度高：通过AR技术，将设备状态等信息叠加显示在现实场景中，实现可视化的巡检和维护操作；

远程指导和协作功能强：通过AR技术实现远程指导和协同巡检，提高设备巡检和维护的便捷性和可操作性；

自适应学习能力强：通过深度学习算法模型的自适应学习能力，不断提高系统的准确率和效率；

云端部署和管理：将系统部署在云端，实现全球范围内设备的统一巡检和维护管理，提高管理效率。

本发明实施例还进一步提供基于AR设备养殖场智能巡检系统，其包括：

AR设备，其上预安装巡检应用程序，且所述AR设备连接到服务器，所述AR设备用于采集养殖场生产设备的图像或视频，并将图像或视频传输到服务器；

服务器，用于基于深度学习算法模型分析图像或视频，对图像或者视频中的生产设备进行自动识别和分析，检测生产设备是否存在异常情况，并生成相应的巡检报告，并将结果传输到应用程序和AR设备上显示给巡检人员。

本发明还进一步提供一种计算机可读存储介质，其上存储有程序文件，所述程序文件在被处理器执行时，执行上述的方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于AR设备养殖场智能巡检方法，其特征在于，包括以下步骤：

S1，在AR设备上安装巡检应用程序，并将AR设备连接到服务器；

S2，通过AR设备采集养殖场生产设备的图像或视频，并将图像或视频传输到服务器；

S3，基于深度学习算法模型分析图像或视频，对图像或者视频中的生产设备进行自动识别和分析，检测生产设备是否存在异常情况，并生成相应的巡检报告，并将结果传输到应用程序和AR设备上显示给巡检人员。

2.如权利要求1所述的基于AR设备养殖场智能巡检方法，其特征在于，在步骤S2中，所述养殖场生产设备包括饲喂设备、环控设备、自动供料系统、粪污处理装置。

3.如权利要求1所述的基于AR设备养殖场智能巡检方法，其特征在于，所述通过AR设备采集养殖场生产设备的图像或视频的步骤包括：

通过AR设备采集养殖场生产设备的主控显示装置的图像或视频。

4.如权利要求1所述的基于AR设备养殖场智能巡检方法，其特征在于，所述基于深度学习算法模型分析图像或视频，对图像或者视频中的生产设备等进行自动识别和分析，检测生产设备是否存在异常情况的步骤具体包括：

获取图像或者视频中的生产设备上主控显示装置的图像，判断所述主控显示装置的图像是否具有故障代码，是则进一步获取所述故障代码，然后将对应的故障代码与厂商提供的故障代码相匹配，最后调取该故障代码对应的故障类型及其解决方法。

5.如权利要求1所述的基于AR设备养殖场智能巡检方法，其特征在于，所述基于深度学习算法模型分析图像或视频，对图像或者视频中的生产设备等进行自动识别和分析，检测生产设备是否存在异常情况的步骤具体包括：

所述基于深度学习算法模型分析图像或视频可获取视频中的温度控制设备，在获取温度控制设备时，采集具体的环境温度与设定的环境温度进行比对，进而判断所述温度控制设备是否异常。

6.如权利要求1所述的基于AR设备养殖场智能巡检方法，其特征在于，所述基于深度学习算法模型分析图像或视频，对图像或者视频中的生产设备等进行自动识别和分析，检测生产设备是否存在异常情况的步骤具体包括：

所述基于深度学习算法模型分析图像或视频获取视频中的湿度控制设备，在获取湿度控制设备时，采集具体的环境湿度与设定的环境湿度进行比对，进而判断所述湿度控制设备是否异常。

7.如权利要求1所述的基于AR设备养殖场智能巡检方法，其特征在于，当获取所述故障类型后，所述基于AR设备养殖场智能巡检方法，还进一步包括：

S31，对AR设备进行定位和跟踪，以实现设备巡检时的位置和姿态识别。

8.如权利要求1所述的基于AR设备养殖场智能巡检方法，其特征在于，所述基于AR设备养殖场智能巡检方法，还进一步包括：

S4，通过AR设备在现实场景中叠加显示设备状态，通过观察设备状态信息，直接指导维护操作，并将操作过程通过AR设备实时传输至后端服务器，进行记录和分析。

9.一种基于AR设备养殖场智能巡检系统，其特征在于，包括：

AR设备，其上预安装巡检应用程序，且所述AR设备连接到服务器，所述AR设备用于采集养殖场生产设备的图像或视频，并将图像或视频传输到服务器；

服务器，用于基于深度学习算法模型分析图像或视频，对图像或者视频中的生产设备进行自动识别和分析，检测生产设备是否存在异常情况，并生成相应的巡检报告，并将结果传输到应用程序和AR设备上显示给巡检人员。