一种设备清洁方法、装置、系统、电子设备及存储介质
技术领域
本申请涉及人工智能技术领域,尤其涉及一种设备清洁方法、装置、系统、电子设备及存储介质。
背景技术
随着互联网的发展,养殖产业也越来越智能化,在智能养殖场中,摄像装置是必不可少的设备,摄像装置镜头表面的污损程度对检测精度有很大的影响。例如:水渍,蚊蝇的排泄物都会造成摄像装置镜头表面的无损,当摄像装置镜头表面污损程度较高时,拍摄的图像清晰度差,导致后续无法根据图像准确的分析动物的状态。
在实现本申请的过程中,发明人发现,目前养殖场中,大部分采用人工清洁的方法,通过养殖人员定期清理摄像装置的镜头表面。由于摄像装置的位置较高,数量多,导致操作难度大,很难清洁干净,消耗人工成本较高。另一方面,现有自动清洁方案是直接对摄像装置进行清洁,并没有考虑摄像装置的工作状态,以此容易对摄像装置造成损伤。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供了一种设备清洁方法、装置、系统、电子设备及存储介质。
第一方面,本申请实施例提供了一种设备清洁方法的方法,包括:
获取第一待检测图像,所述第一待检测图像由摄像装置对养殖区域进行拍摄得到;
对所述第一待检测图像进行检测确定所述第一待检测图像的污损程度;
当所述污损程度大于预设阈值时,确定所述摄像装置的工作状态;
根据所述工作状态对所述摄像装置的镜头表面执行相应的清洁操作。
可选的,所述对所述第一待检测图像进行检测确定所述第一待检测图像的污损程度,包括:
确定训练好的检测模型;
将所述第一待检测图像输入所述检测模型,由所述检测模型根据所述第一待检测图像的像素信息得到特征矩阵;
基于所述特征矩阵确定所述第一待检测图像的污损程度。
可选的,所述确定所述摄像装置的工作状态包括:
获取温湿度传感器对所述养殖区域进行检测得到的温湿度数据;
对所述温湿度数据进行分析确定所述养殖区域的环境信息;
根据所述环境信息确定所述摄像装置的工作状态。
可选的,所述工作状态包括:高频状态和低频状态;
所述根据所述工作状态对所述摄像装置的镜头表面执行相应的清洁操作,包括:
当所述摄像装置的工作状态为低频状态时,获取第二待检测图像,所述第二待检测图像由清洁设备对所述镜头表面进行拍摄得到;
根据所述第二待检测图像确定所述镜头表面上污染物的物体类型;
根据所述物体类型生成控制指令,所述控制指令用于控制所述清洁设备执行与所述物体类型对应的清洁操作;
将所述控制指令发送至所述清洁设备。
可选的,所述根据所述第二待检测图像确定所述镜头表面上污染物的物体类型,包括:
确定训练好的识别模型;
将所述第二待检测图像输入所述识别模型,由所述识别模型提取第二待检测图像中污染物的特征信息,根据所述特征信息确定所述污染物的物体类型。
可选的,所述方法还包括:
收集所述清洁设备对所述镜头表面拍摄得到的历史检测图像;
根据所述历史检测图像确定所述镜头表面的至少一个保护区域;
对所述保护区域周期性进行保护操作。
第二方面,本申请实施例还提供了一种设备清洁装置,包括:
获取模块,用于获取第一待检测图像,所述第一待检测图像由摄像装置对养殖区域进行拍摄得到;
检测模块,用于对所述第一待检测图像进行检测确定所述第一待检测图像的污损程度;
确定模块,用于当所述污损程度大于预设阈值时,确定所述摄像装置的工作状态;
控制模块,用于根据所述工作状态对所述摄像装置的镜头表面执行相应的清洁操作。
第三方面,本申请实施例还提供了一种设备清洁系统,包括:摄像装置,温湿度传感器,边缘计算网关以及清洁设备;
所述摄像装置对养殖区域进行拍摄,得到第一待检测图像,将所述第一待检测图像发送至所述边缘计算网关;
所述边缘计算网关对所述待检测图像进行检测确定所述第一待检测图像的污损程度,当所述污损程度大于预设阈值时,确定摄像装置的工作状态,并向所述温湿度传感器发送检测指令;
所述温湿度传感器根据所述检测指令采集所述养殖区域的温湿度数据,将所述温湿度数据发送至所述边缘计算网关;
所述边缘计算网关根据所述温湿度数据确定所述养殖区域的环境信息,当所述环境信息满足预设条件,且所述摄像装置的工作状态为低频状态时,生成控制指令,将所述控制指令发送至所述清洁设备;
所述清洁设备根据所述控制指令对所述摄像装置执行清洁操作。
可选的,所述清洁设备包括:摄像机、控制电路板、电机、雨刷臂、雨刷轴和雨刷组件;
所述摄像机对所述摄像装置的镜头表面进行拍摄得到第二待检测图像,并将第二待检测图像发送至所述控制电路板,由所述控制电路板将所述第二待检测图像发送至所述边缘计算网关;
所述控制电路板与所述电机通信连接,所述电机通过雨刷轴以及雨刷臂与所述雨刷组件连接。
第四方面,本申请提供了一种电子设备,包括:处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行计算机程序时,实现上述方法步骤。
第五方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:该技术方案通过摄像装置拍摄出图像的污损程度,确定摄像装置的镜头表面是否需要清洁,同时结合摄像装置的状态,对摄像装置的镜头表面进行清洁操作,以此解决了养殖场摄像装置因镜头表面污损而带来的负面影响。同时相较于传统方法,节省人力、快速响应、成本低廉。另外,不会影响摄像装置在工作时间的正常使用,保障摄像装置可以正常采集视觉信息。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种设备清洁方法的流程图;
图2为本申请另一实施例提供的一种设备清洁方法的流程图;
图3为本申请实施例提供的一种设备清洁装置的框图;
图4为本申请实施例提供的一种设备清洁系统的框图;
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种设备清洁方法、装置、系统、电子设备及存储介质。
本发明实施例所提供的方法可以应用于任意需要的电子设备,例如,可以为服务器、终端等电子设备,在此不做具体限定,为描述方便,后续简称为电子设备。
下面首先对本发明实施例所提供的一种设备清洁方法进行介绍。
图1为本申请实施例提供的一种设备清洁方法的流程图。如图1所示,该方法包括以下步骤:
步骤S11,获取第一待检测图像,第一待检测图像由摄像装置对养殖区域进行拍摄得到;
本实施例中的摄像装置安装于养殖区域,因人工智能在家畜养殖的普及,例如对家畜的状态检测,关键点检测,身体指标检测等等,都需要用到摄像装置,因此摄像装置拍摄图像的清晰度至关重要。因此本实施例通过确定第一待检测图像的清晰度确定摄像装置的摄像头是否需要进行清洁。
本实施例中的摄像装置可以为待检测污损程度的设备,具有图像识别功能,比如:该摄像装置可以是视频监控设备、视频摄像设备等用于图像拍摄的设备。第一待检测图像为为摄像装置处于正常工作状态下对养殖区域拍摄得到的图像素材,在获取摄像装置对养殖区域拍摄的第一待检测图像后,可以将第一待检测图像进行保存,比如:将第一待检测图像保存到本地。
步骤S12,对第一待检测图像进行检测确定第一待检测图像的污损程度;
本实施例中,对第一待检测图像进行检测确定第一待检测图像的污损程度,包括:确定训练好的检测模型;将第一待检测图像输入所述检测模型,由检测模型根据所述第一待检测图像的像素信息得到特征矩阵,基于特征矩阵确定第一待检测图像的污损程度。
可以理解的,污损程度是衡量图像质量的一个指标。边缘是第一待检测图像最基本的属性,当第一待检测图像模糊时,边缘不清晰,则可以通过检测第一待检测图像的边缘来确定第一待检测图像的污损程度,当第一待检测图像越模糊,第一待检测图像的梯度值也越小。
作为一个示例,第一待检测图像中携带每个像素点的像素值,第一待检测图像输入检测模型,其中检测模型包括3×3的卷积层,通过3×3的卷积层与第一待检测图像中的每个像素点进行卷积计算,提取每个像素点在四个方向上的边缘成分,比如,提取每个像素点分别在0°、45°、90°、135°四个方向上的边缘成分,计算第一待检测图像中每个像素点的梯度值,并将每个像素点的梯度值与阈值进行比较,将梯度值大于阈值的像素点确定为目标图像的边缘点,从而筛选出目标图像的边缘像素点。可以将边缘像素点的梯度值相加,以边缘梯度值的和作为第一待检测图像的污损程度。
本实施例中的检测模型的训练过程如下:获取训练样本图像,训练样本图像中包括:已污损区域以及未污损区域;获取训练样本图像的标注信息,本实施例中采用人工打标的方式圈出已污损区域,再将打标后的图像按照像素转换为第一特征矩阵,其中,第一特征矩阵为“01矩阵”,该矩阵中“已污损区域标识为1”,“未污损区域标识为0”。
作为一个示例,首先确定像素阈值,像素阈值用于区分已污损像素点和未污损像素点,将像素值大于像素阈值的像素点作为未污损的像素点,将像素值小于像素阈值的像素点作为已污损的像素点。将未污损的像素点作为0,已污损的像素点为1。
将得到的第一特征矩阵输入预设卷积神经网络模型,由预设卷积神经网络模型对特征矩阵进行卷积计算得到第二特征矩阵,通过第二特征矩阵确定第一待检测图像的污损程度,本实施例中的预设卷积神经网络模型可以是VGG神经网络模型。
步骤S13,当污损程度大于预设阈值时,确定摄像装置的工作状态;
本步骤中,摄像装置的工作状态主要根据养殖区域的的环境信息确定的。具体的,获取温湿度传感器对养殖区域进行检测得到的温湿度数据,对温湿度数据进行分析确定养殖区域的环境信息,根据环境信息确定摄像装置的工作状态。
其中,对温湿度数据进行分析确定养殖区域的环境信息,环境信包括:温湿度指数,温湿度指数(THI)的计算公式如下:
THI=(1.8*Td+32)-(0.55-0.55*RH*0.01)*(1.8*T-26)
其中Td为干球温度(℃);Tw为湿球温度(℃);RH为相对湿度。
作为一个示例,当THI的值小于71.9时,则认定养殖区域属于非高温状态,不需要对养殖区域进行喷淋(摄像装置的工作状态为低频状态)。当THI的值大于71.9时,则认定养殖区域属于高温状态,需要对养殖区域进行喷淋(摄像装置的工作状态为高频状态)。
本实施例中,通过摄像装置拍摄出图像的污损程度,当污损程度大于预设阈值时,则认定需要对摄像装置的镜头进行清洁,此时还需要根据环境信息确定当前是否对养殖区域进行喷淋,当环境信息满足预设条件(即养殖区域为非高温状态),确认摄像装置处于低频状态,对摄像装置的镜头表面进行清洁操作。
需要说明的是,本实施例中的摄像装置是用于在养殖区域的温湿度指数大于预设指数时,检测养殖区域内是否存在家畜,当检测到养殖区域存在家畜时,则对养殖区域进行喷淋操作。此时的摄像装置处于高频状态,无法对其进行清洁操作。换言之,当养殖区域的温湿度指数小于或等于预设指数时,摄像装置一直处于低频状态,可对其进行清洁操作。
以此本实施例通过温湿度指数判断摄像装置的工作状态,并只有在污损程度大与预设阈值,且摄像装置为低频状态时,才会对摄像装置进行清洁操作。
步骤S14,根据工作状态对摄像装置的镜头表面执行相应的清洁操作。
可选的,根据工作状态对摄像装置的镜头表面执行相应的清洁操作,包括:当摄像装置的工作状态为低频状态时,获取第二待检测图像,第二待检测图像由清洁设备对摄像装置的镜头表面进行拍摄得到,根据第二待检测图像确定镜头表面上污染物的物体类型,根据物体类型生成控制指令,控制指令用于控制清洁设备执行与物体类型对应的清洁操作,将控制指令发送至清洁设备。
可以理解的,清洁设备可以设置于摄像装置的一侧,当确定摄像装置当前的工作状态为低频状态时,启动清洁设备对摄像装置的镜头表面进行拍摄得到第二待检测图像,第二待检测图像中包括摄像装置镜头表面上的污染物。
根据第二待检测图像确定镜头表面上污染物的物体类型,可以是,确定训练好的识别模型,将第二待检测图像输入识别模型,由识别模型提取污染物的特征信息,根据特征信息确定污染物的物体类型。
例如:物体类型包括:固体污染物,液体污染物。其中,固体污染物包括:蚊蝇等飞虫的粪便,灰尘等。液体污染物包括:水渍,蚊蝇等飞虫的尿液等。
然后根据物体类型生成控制指令,控制指令中包括物体类型对应的清洁策略。可以理解的,物体类型表征了污染物的清扫属性,清洁属性用于表征该污染物是否能够被清洁以及被清洁时的策略。具体实现中,可以先根据图像确定污染物的物体类型,也就是根据图像识别污染物具体是什么物体。然后,根据污染物的物体类型确定污染物对应的清洁属性。
其中,一可能实施例中,可以预先配置物体类型与清扫属性之间的对应关系(如配置映射表)。又一可能实施例中,清洁机器人可预先配置训练好的机器学习模型(例如神经网络模型),将物体类型输入至该机器学习模型,即可获得该障碍物对应的清扫属性(即障碍物类型)。
作为一个示例,当确定摄像装置镜头表面的污染物为固体污染物时,控指令用于控制清洁设备启动硬质雨刷对固体污染物进行清洁。当确定摄像装置镜头表面的污染物为液体污染物时,控指令用于控制清洁设备启动软质雨刷对液体污染物进行清洁。
本实施例中通过区分固体污染物以及液体污染物,以此能够精确的对镜头表面执行清洁操作,同时还能够保证摄像装置的镜头表面不受损伤。
另外,本申请还能够对第二待检测图像进行二次检测,通过第二待检测图像确定摄像装置镜头表面上是否有飞虫的爬行轨迹或者划痕。
作为一个示例,通过将第二待检测图像输入分析模型,通过分析模型对所述第二待检测图像进行检测,当第二待检测图像中存在痕迹时,提取的痕迹特征,通过痕迹特征确定摄像装置镜头表面上的痕迹类型。痕迹类型包括:飞虫的爬行轨迹或划痕。通过对第二待检测图像进行二测检测,能够检测镜头表面上的痕迹类型,根据痕迹类型生成控制指令,控制指令中包括痕迹类型对应的清洁策略。
本实施例中,通过检测摄像装置镜头表面的痕迹,能够进一步的保证摄像装置的镜头表面不会因划痕或者飞虫的爬行轨迹的影响,导致拍摄的图像不清楚,也不会因为划痕或者飞虫的爬行轨迹遮挡视野。
为了对镜头表面实施维护,延长摄像装置镜头的寿命,本申请另一实施例还提供了一种设备清洁方法,如图2所示,包括:
步骤S21,收集清洁设备对镜头表面拍摄得到的历史检测图像;
步骤S22,根据历史检测图像确定镜头表面的至少一个保护区域;
本实施例中,通过历史检测图像可以确定镜头表面被清洁的位置信息,按照清洁次数对位置信息进行排序,将清洁次数大于预设阈值的位置信息作为保护区域。
步骤S23,对所保护区域周期性进行保护操作。
对保护区域执行保护操作可以是,调用清洁设备对镜头表面喷洒清洁液,并采用软质雨刷对喷洒清洁液后的保护区域进行清洁,达到对镜头保养的目的。以此方式,能够保证镜头表面不易沾落粘稠物,保证了摄像装置拍摄图像的清晰度。
图3为本申请实施例提供的一种设备清洁装置的框图,该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。
如图3所示,该装置包括:
获取模块31,用于获取第一待检测图像,第一待检测图像由摄像装置对养殖区域进行拍摄得到;
检测模块32,用于对第一待检测图像进行检测确定第一待检测图像的污损程度;
确定模块33,用于当污损程度大于预设阈值时,确定摄像装置的工作状态;
控制模块34,用于根据工作状态对摄像装置的镜头表面执行相应的清洁操作。
图4为本申请实施例提供的一种设备清洁系统的框图,如图4所示,该系统包括:摄像装置41,温湿度传感器42,边缘计算网关43以及清洁设备44;
摄像装置41对养殖区域进行拍摄,得到第一待检测图像,将第一待检测图像发送至边缘计算网关43;
边缘计算网关43对待检测图像进行检测确定第一待检测图像的污损程度,当污损程度大于预设阈值时,确定摄像装置的工作状态,并向温湿度传感器42发送检测指令;
温湿度传感器42根据检测指令采集养殖区域的温湿度数据,将温湿度数据发送至边缘计算网关43;
边缘计算网关43根据温湿度数据确定养殖区域的环境信息,当环境信息满足预设条件,且摄像装置41的工作状态为低频状态时,生成控制指令,将控制指令发送至清洁设备44;
清洁设备44根据控制指令对摄像装置41的镜头表面执行清洁操作。
此外发明人还发现,目前已有的自动清洁技术方案,设备运行不稳定,长时间运行会造成电机损坏。而且长期运行会对摄像头镜头表面造成不可修复的损伤,且在清洁过程中影响摄像头的正常使用。
为了解决上述技术问题,本申请实施例中的清洁设备包括:摄像头、雨刷组件、电机、雨刷臂、雨刷轴、雨刷盒、雨刷控制电路板。
其中雨刷控制电路通过内部的ZigBee模块接收边缘计算网关发送的控制指令,并驱动电机进行转动,电机通过雨刷轴、雨刷臂与雨刷组件连接。本实施例中的雨刷组件包括:硬质雨刷和软质雨刷,可以根据控制指令切换采用的雨刷类型。
本申请实施例还提供一种电子设备,如图5所示,电子设备可以包括:处理器1501、通信接口1502、存储器1503和通信总线1504,其中,处理器1501,通信接口1502,存储器1503通过通信总线1504完成相互间的通信。
存储器1503,用于存放计算机程序;
处理器1501,用于执行存储器1503上所存放的计算机程序时,实现上述实施例的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,P C I)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(DigitalSignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例的步骤。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令进行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于进行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上进行、部分地在用户设备上进行、作为一个独立的软件包进行、部分在用户计算设备上部分在远程计算设备上进行、或者完全在远程计算设备或服务器上进行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
需要说明的是,对于上述装置、电子设备及计算机可读存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
进一步需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。