CN113223035B - 笼养鸡智能巡检系统 - Google Patents

Abstract

本发明公开了一种笼养鸡智能巡检系统，它包括边缘数据采集装置、服务器、可视化分析平台，具体的：边缘数据采集装置用于获取笼养鸡图像数据和笼内环境信息，并传输至服务器；所述笼养鸡图像数据包括RGB图像和热红外图像，所述笼内环境信息包括温湿度信息和拥挤度信息；服务器对图像数据进行分析获得鸡头异常评分和笼养鸡个体的温度，基于笼养鸡个体的温度和笼内环境信息获得笼养鸡反演温度，基于鸡头异常评分和笼养鸡反演温度获取笼养鸡健康综合评价并发布给可视化分析平台；可视化分析平台进行信息展示。能够快速、准确地评估笼养鸡个体健康情况，并衍生到整笼鸡的综合评价，减少人工工作量，减轻人的主观判断，提高工作效率。

Description

笼养鸡智能巡检系统

技术领域

本发明涉及图像处理技术、深度学习技术、自动控制技术、无线网络通信技术，集数据采集、中间传输、模块化处理与图形界面显示为一体。

背景技术

我国的笼养鸡模式仍处于结合国情的探索阶段，由于国民需求，持续成高密度、高增长趋势，养殖领域中的信息采集环境较为恶劣，数据量庞大，形式多样，处理复杂，很难有一种计算模式能涵盖笼养鸡的精准监测与评价需求，因此，如何根据数目庞大、干扰严重的信息流建立模型并实现精准控制，是目前笼养鸡养殖产业研究中亟待解决的问题。同时，当前的笼养鸡巡检模式主要是人工巡检，该方式工作量大，且依赖于饲养员经验，难以量化标准，通用性差。

针对上述问题，需要通过多种方法实现无接触、无应激、实时获取笼养鸡的多种类生理、行为信息，通过对不同表型信息的分析与融合，进行笼养鸡健康评估与异常识别，建立出笼养鸡智能巡检系统，实现笼养鸡健康的综合决策指导管理，从而推动规模化笼养的自动化、智能化、与科学量化的发展，并促进笼养鸡的福利化水平。同时，系统着重在实际养殖过程中，环境因素复杂，干扰因素较多的情况下，实现无接触、无应激、可靠稳定的笼养鸡信息获取方式。并针对现有的养殖模式，在不大的改动养殖设施的前提下，设计出合理的信息采集方式与方法，以便后期研究成果的应用与推广。

为实现替代人工巡检的笼养鸡智能巡检，人们进行多方面的研究并提出了多项专利申请。

它们包括：

1.授权公告号为CN206227364U的中国实用新型专利，公开了一种基于机器人的笼养蛋鸡健康行为监测系统。通过敲击模块令笼里鸡都站起来，通过识别鸡腿情况判断是否存在病死鸡。该方法容易造成笼养鸡群体应激且对异常的识别比较单一。

2.公开号为CN108225567A的中国发明专利，公开了一种笼养鸡健康状态自动监测系统。包括可以移动的小车，小车上设置有伸缩杆，伸缩杆顶端设置有图像捕捉探头和热成像探头，通过图像处理技术得到笼中鸡活体数目，判断是否有死鸡，通过体温监测判断是否有病鸡。该方法识别数据单一，未能关联动物表型特征与环境因素等之间的深层联系，可靠性较低。

3.公开号为CN109997730A的中国发明专利，公开了一种笼养鸡智能巡检系统及其巡检机器人的巡航控制方法。利用磁导航进行巡检，采集笼养鸡叫声与温度信息进行疾病判断。该方法并未对采集到的声音信息与温度信息进行分析与挖掘，可能会造成准确率上的误差，如疾病时笼养鸡体温升高并不算显著，从热红外成像上无法直观看出。

发明内容

针对上述问题，本专利以笼养鸡为研究对象，进行无接触式、快速、精准的健康评估与异常识别为研究点，开发自动化巡检系统与多源数据采集、传输系统，实时采集笼养鸡表型特征并进行关联挖掘与融合，以此为基础建立笼养鸡健康评估与异常识别模型，并将估测结果以图形化界面反馈给客户，为确保笼养鸡的健康状况提供一种有效手段。

技术方案：

一种笼养鸡智能巡检系统，它包括边缘数据采集装置、服务器、可视化分析平台，具体的：

-边缘数据采集装置用于获取笼养鸡图像数据和笼内环境信息，并传输至服务器；所述笼养鸡图像数据包括RGB图像和热红外图像，所述笼内环境信息包括温湿度信息和拥挤度信息；

-服务器对图像数据进行分析获得鸡头异常评分和笼养鸡个体的温度，基于笼养鸡个体的温度和笼内环境信息获得笼养鸡反演温度，基于鸡头异常评分和笼养鸡反演温度获取笼养鸡健康综合评价并发布给可视化分析平台；

-可视化分析平台进行信息展示。

优选的，边缘数据采集装置包括：

-处理器，用于实现笼养鸡图像数据和笼内环境信息的采集、处理和转发决策；

-边缘数据采集节点，包括高清摄像头、热红外摄像头、温湿度传感器，用于采集获取笼养鸡图像数据和笼内环境信息；

-可移动设备，即巡检机器人，其底部设置磁导航传感器，顶部连接边缘数据采集节点，用于边缘数据采集节点的可移动承载；

-磁条轨道，铺设于笼养架外围，用于引导可移动设备环绕笼养架进行探测采集；

-电源模块，边缘数据采集装置的动力源。

优选的，可移动设备还包括RFID读卡器、升降台和电机，RFID读卡器实现定点停靠；升降台和电机实现笼养鸡图像数据和笼内环境信息的多层采集。

优选的，磁条轨道上设置多个充点电，实现边缘数据采集装置的自动充电。

优选的，可移动设备在事先设定好的RFID读卡点基础上可基于蚁群算法进行循环巡逻路径规划。

具体的，基于笼养鸡图像数据执行鸡头识别操作，具体步骤为：

S1、处理器中通过深度神经网络定位笼养鸡的鸡头部分，进行计数，并设置兴趣域；将处理后的图像数据发送至服务器；

S2、服务器中部署鸡头识别模型，对兴趣域进行笼养鸡表型特征提取，包括鸡冠、鸡嘴、鸡眼睛的多种局部图像特征的提取。

具体的，通过对鸡头上的局部特征的提取与分析，获得各局部部位的异常，具体操作为：

针对鸡冠：

在RGB色彩空间中提取图片在R维度的矩阵，去除背景干扰后与健康鸡冠在R维度的色彩值做对比，计算公式为：

式中R为鸡冠的颜色判断值，V_i为点i在R维度上的值，m为鸡冠区域的点总数；将R分为三类，分别是红润、较为褪色、褪色明显；

鸡冠破损程度与发育程度均利用图像处理方法进行，先通过大津算法进行自适应二值化分割，从复杂背景中取出鸡冠部分；破损程度利用鸡冠部分空洞面积与整个鸡冠面积的比例进行判断，分为两类，当此比例大于40％时被认为是严重破损；当该比例小于20％时认为鸡冠发育不良；

针对鸡嘴：

鸡嘴异常是连续帧的判断，在鸡嘴区域通过深度卷积神经网络对鸡嘴状态进行分类，分为张嘴与闭嘴两类，根据连续帧里鸡嘴的状态判断是否长时间张嘴，如是便设为异常状态；

针对鸡眼睛：

通过深度卷积神经网络进行细节特征识别，通过是否存在闭眼、眼屎堆积、肿脸情况进行异常判断，如存在便被认为是异常。

具体的，基于各局部部位的异常进行鸡头异常评分，计算公式为：

q＝w₁*c+w₂*b+w₃*e

式中，q为异常评分，c为鸡冠异常等级，b为鸡嘴异常等级，e为鸡眼睛异常等级；异常等级值均∈[0，1]；w为不同异常评分所占权重。

具体的，笼养鸡反演温度的获取步骤为：

S101、获取RGB图像上兴趣域坐标的同时，将该坐标映射到热红外图像上；

S102、提取出鸡头所在区域，通过热成像图像中的像素颜色可以得到笼养鸡的头部温度；

S103、将笼内环境信息对头部温度进行的干扰去除；得到排除外界干扰后的笼养鸡体温估测结果；其中，基于像素点反演的平均温度为：

式中，T为反演平均温度，T_max为最大温度，p为不同像素点的值，n为兴趣域中鸡头所占的像素点；

拥挤度的计算公式为：

式中，C_i为第i笼的拥挤度，N_i为第i笼中测得的笼养鸡个数，N_max为当前为止的最大单笼鸡只个数。

具体的，鸡头异常评分、笼养鸡反演温度和拥挤度组成综合评分，综合评分的表示为：

score＝q_i*T_threshold

式中，q_i为第i笼的鸡头异常评分，T_threshold为三个设定好的温度相关权重，根据T_i、T、△T和C_i判断得到，其中T_i为第i笼鸡只温度，T为当前日龄参考温度，△T为拥挤度与实际温度相关的差值温度，与拥挤度共同反演不同密度情况下鸡只的个体体温，拥挤度越大，该值对实际温度的影响越大，C_i为第i笼的拥挤度。

本发明的有益效果

(1)基于磁导航和RFID技术的巡检机器人。结合多层笼养现状而提出，减少设备安装时的改造工作量，降低改装成本，运行稳定，适用于笼养鸡舍等较为复杂，但构造变化较小的环境。通过控制系统与磁条定位精准停靠与自动充电，通过升降台控制采集节点高度，监控多层情况，实现舍内24小时无间断巡逻，可减少人力消耗。

(2)选用图像与热红外图像等多源信息采集，实现笼养鸡不同维度表型特征的无接触式获取。无接触式数据获取可以减少人与鸡群的互动，避免鸡群应激，提高家禽福利。信息采集节点安装于巡检机器人上，成本较低，安装便利，有利于养殖场推广使用。

(3)基于多源信息的健康评分模型建立。该模型基于图像处理技术与深度学习的综合使用。模型安装于处理服务器中，通过图像处理技术与深度卷积神经网络实现鸡头部分的定位与区域提取，并将此位置信息映射到热红外图像上，确保多源数据的对应性。结合BP神经网络等深度学习技术，将不同表型特征相融合，能够快速、准确地评估笼养鸡个体健康情况，并衍生到整笼鸡的综合评价，减少人工工作量，减轻人的主观判断，提高工作效率。

(4)可视化分析平台可将上述模型处理结果，包括环境信息等直接获取信息，通过图形化界面向客户进行展示，客户可按个人需求以不同形式浏览数据内容，及时掌握笼养鸡异常情况与健康状况。所获取、处理的数据均储存于处理服务器中，客户可以通过网页的形式获取巡检机器人实时位置，环境实时信息，巡检视频等实时数据，以及异常鸡个数，不同异常发生次数等统计信息。同时，客户也可通过登录手机客户端，获取与网页端等同的信息。

附图说明

图1为本发明的整体框架图

图2为巡检机器人的结构示意图

图3为巡检机器人的框图

图4为边缘数据采集节点的框图

图5为深度学习识别模型的网络结构图

图6为基于图像的异常识别模型示意图

图7为体温估测流程图

图8为可视化界面系统示意图

具体实施方式

下面结合实施例对本发明作进一步说明，但本发明的保护范围不限于此：

结合图1，笼养鸡智能巡检系统主要包括巡检机器人/可移动装置，边缘数据采集节点，多源特征融合处理模型和可视化分析平台。巡检机器人/可移动装置通过磁导航传感器来延铺设好的磁条进行巡逻，通过RFID读卡器获取地标信息，实现定点停靠，利用升降台控制采集节点高度。边缘数据采集节点安装于巡检机器人/可移动装置上，包括高清摄像头、热红外摄像头、环境信息采集节点等多种数据采集装置，可获取笼养鸡的多种表型信息与小环境内温湿度等数据。多源特征融合处理模型部署于服务器中，包括预处理、特征提取、生理信息反演与基于多特征融合的健康评分等环节，可自动定位笼养鸡鸡头，采集鸡头图像并对其局部特征进行识别，通过热红外成像技术采集鸡头温度信息，并根据笼内拥挤度与小环境温度进行体温反演，再融合上述两种识别结果，进行健康评分，并以笼为单位进行群鸡情况评估；可视化分析平台将对模型处理后的数据进行展示，并根据客户需求以表格及图表等方式进行发布，客户可通过手机客户端与web界面进行查询。

图1中(1)各个单元型号功能说明如下表所示。

集成边缘数据采集节点的巡检机器人设计

如图2所示，巡检机器人/可移动装置由边缘数据采集节点和可移动设备1组成，可移动设备1的地盘装有磁导航传感器与RFID读卡器2，可稳定读取磁条及RFID信息，上方为边缘数据采集节点，边缘数据采集节点包括环境信息监测节点3和摄像头采集节点4。环境信息监测节点3安装于升降台顶部，摄像头采集节点4安装于升降台侧面。其中，可移动设备以LPC1768为主控核心，包括驱动模块、升降台、磁导航传感器、RFID读卡器等，其组成示意图如图3所示。边缘数据采集节点则是以树莓派为主控核心，连接高清摄像头、热红外摄像头和温湿度传感器等环境监测节点，其示意图如图4所示。

笼养鸡的笼养环境为叠层笼养，在笼养架之间留出便于人通过的过道，根据这一特点，为减少改造量，采用基于磁导航的巡检机器人进行巡逻，通过预先铺设的磁条进行巡逻路线设定，并通过RFID读取实现定点停靠与自动充电，利用升降台实现多层监测，巡逻过程中采集沿途笼养鸡表型特征，于树莓派中先对拍摄的图像进行鸡头定位提取兴趣域坐标，并映射到热红外图像中，在两种图像中同时进行切割，并通过一定的路由发送到处理服务器中。驱动模块与边缘数据采集节点共享电源模块，通过变压模块针对各自需求进行转换，巡逻路线中设置多个充电点，满足24小时巡逻需求。

笼养鸡表型特征预处理系统设计

本发明利用深层卷积神经网络建立深度学习识别模型，用来边缘端定位鸡头位置，以及在上述兴趣域里定位鸡冠、鸡嘴、鸡眼睛等，其网络结构图如图5所示。通过深层卷积神经网络可以得到笼养鸡的鸡头所在兴趣域的坐标信息，输出格式为(x,y,w,h)，即兴趣域左上角的坐标点与其他三个点的坐标对应关系，四个点的坐标分别为：

x1＝x,y1＝y；

x2＝x+w,y2＝y；

x3＝x,y3＝y-h；

x4＝x+w,y4＝y-h。

根据这些坐标信息可以从拍摄得到的RGB图像与热红外图像中分别截取鸡头所在区域，并计算每笼里鸡的个数，与环境节点信息一起并打包通过路由输送到服务器中，进行下一步操作。

多源特征融合的健康评分模型建立

健康评分模型分为两个步骤，在图像上的处理是根据上一步获得的鸡头兴趣域进行深度神经网络的二次处理，提取鸡冠、鸡嘴与鸡眼睛部位的特征。其中鸡冠的分类依据主要是其破损程度、发育程度和颜色，鸡嘴则是判断其是否张开与张嘴持续时间，鸡眼睛周围表型特征关系着鸡是否肿脸，同样是异常判断的有力依据。基于图像的异常识别流程如图6所示，通过对鸡头上的局部特征的提取与分析，进行异常评分。异常评分主要采用的是阈值设计的方法，将鸡冠异常分为5个等级，鸡嘴异常分为3个等级，鸡眼睛附近异常分为两个等级，其计算公式为：

q＝w₁*c+w₂*b+w₃*e

式中q为异常评分，c为鸡冠异常等级，b为鸡嘴异常等级，e为鸡眼睛异常等级，它们均为[0,1]之间的数，w为不同异常评分所占权重，三个权重相加为1，可根据巡逻的时间，比如白天还是傍晚，进行调整。

在温度上的处理则是通过热红外成像技术反演笼养鸡个体的温度，在获取RGB图像上兴趣域坐标的同时，将该坐标映射到热红外图像上，同样提取出鸡头所在区域，通过热成像图像中的像素颜色可以得到笼养鸡的头部温度，再结合小环境内，即该鸡笼附近的温湿度数据，和基于本笼鸡计数的拥挤度计算，对头部温度进行干扰去除，得出排除外界干扰后的笼养鸡体温估测结果，其具体流程如图7所示，其中BP神经网络的输入为头部最大温度和平均温度，小环境温湿度，以及量化后被控制在0到1之间的拥挤度。

在上述描述中，平均温度为：

式中，T为平均温度，T_max为最大温度，p为不同像素点的值，n为兴趣域中鸡头所占的像素点。

拥挤度的计算公式被设计为：

式中C_i为第i笼的拥挤度，N_i为第i笼中测得的笼养鸡个数，N_max为当前为止的最大单笼鸡只个数，这是个不断更新的值。

在得到较为准确的体温估测后，融合上述鸡头异常评分结果，最终对笼养鸡个体进行健康评估，并结合此笼内每只可识别笼养鸡的情况，进行整笼的综合评价。

鸡头异常评分、笼养鸡反演温度和拥挤度组成综合评分，综合评分的表示为：

score＝q_i*T_threshold

式中，q_i为第i笼的鸡头异常评分，T_threshold为三个设定好的温度相关权重，根据T_i、T、△T和C_i判断得到，其中T_i为第i笼鸡只温度，T为当前日龄参考温度，△T为拥挤度与实际温度相关的差值温度，与拥挤度共同反演不同密度情况下鸡只的个体体温，拥挤度越大，该值对实际温度的影响越大，C_i为第i笼的拥挤度。

可视化分析平台

可视化分析平台可将上述模型处理结果，包括环境信息等直接获取信息，通过图形化界面向客户进行展示，客户可按个人需求以不同形式浏览数据内容，及时掌握笼养鸡异常情况与健康状况。

所获取、处理的数据均储存于处理服务器中，客户可以通过网页的形式获取巡检机器人实时位置，环境实时信息，巡检视频等实时数据，以及异常鸡个数，不同异常发生次数等统计信息。同时，客户也可通过登录手机客户端，获取与网页端等同的信息。系统的组成示意图如图8所示。

本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种笼养鸡智能巡检系统，其特征在于它包括边缘数据采集装置、服务器、可视化分析平台，具体的：

-边缘数据采集装置用于获取笼养鸡图像数据和笼内环境信息，并传输至服务器；所述笼养鸡图像数据包括RGB图像和热红外图像，所述笼内环境信息包括温湿度信息和拥挤度信息；

-服务器对图像数据进行分析获得鸡头异常评分和笼养鸡个体的温度，基于笼养鸡个体的温度和笼内环境信息获得笼养鸡反演温度，基于鸡头异常评分和笼养鸡反演温度获取笼养鸡健康综合评价并发布给可视化分析平台；

-可视化分析平台进行信息展示。

2.根据权利要求1所述的一种笼养鸡智能巡检系统，其特征在于边缘数据采集装置包括：

-处理器，用于实现笼养鸡图像数据和笼内环境信息的采集、处理和转发决策；

-边缘数据采集节点，包括高清摄像头、热红外摄像头、温湿度传感器，用于采集获取笼养鸡图像数据和笼内环境信息；

-可移动设备，即巡检机器人，其底部设置磁导航传感器，顶部连接边缘数据采集节点，用于边缘数据采集节点的可移动承载；

-磁条轨道，铺设于笼养架外围，用于引导可移动设备环绕笼养架进行探测采集；

-电源模块，边缘数据采集装置的动力源。

3.根据权利要求2所述的一种笼养鸡智能巡检系统，其特征在于可移动设备还包括RFID读卡器、升降台和电机，RFID读卡器实现定点停靠；升降台和电机实现笼养鸡图像数据和笼内环境信息的多层采集。

4.根据权利要求2所述的一种笼养鸡智能巡检系统，其特征在于磁条轨道上设置多个充点电，实现边缘数据采集装置的自动充电。

5.根据权利要求2所述的一种笼养鸡智能巡检系统，其特征在于可移动设备在事先设定好的RFID读卡点基础上可基于蚁群算法进行巡逻路径规划。

6.根据权利要求1所述的一种笼养鸡智能巡检系统，其特征在于基于笼养鸡图像数据执行鸡头识别操作，具体步骤为：

S1、处理器中通过深度神经网络定位笼养鸡的鸡头部分，进行计数，并设置兴趣域；将处理后的图像数据发送至服务器；

S2、服务器中部署鸡头识别模型，对兴趣域进行笼养鸡表型特征提取，包括鸡冠、鸡嘴、鸡眼睛的多种局部图像特征的提取。

7.根据权利要求6所述的一种笼养鸡智能巡检系统，其特征在于通过对鸡头上的局部特征的提取与分析，获得各局部部位的异常，具体操作为：

针对鸡冠：

在RGB色彩空间中提取图片在R维度的矩阵，去除背景干扰后与健康鸡冠在R维度的色彩值做对比，计算公式为：

式中R为鸡冠的颜色判断值，V_i为点i在R维度上的值，m为鸡冠区域的点总数；将R分为三类，分别是红润、较为褪色、褪色明显；

鸡冠破损程度与发育程度均利用图像处理方法进行，先通过大津算法进行自适应二值化分割，从复杂背景中取出鸡冠部分；破损程度利用鸡冠部分空洞面积与整个鸡冠面积的比例进行判断，分为两类，当此比例大于40％时被认为是严重破损；当该比例小于20％时认为鸡冠发育不良；

针对鸡嘴：

鸡嘴异常是连续帧的判断，在鸡嘴区域通过深度卷积神经网络对鸡嘴状态进行分类，分为张嘴与闭嘴两类，根据连续帧里鸡嘴的状态判断是否长时间张嘴，如是便设为异常状态；

针对鸡眼睛：

通过深度卷积神经网络进行细节特征识别，通过是否存在闭眼、眼屎堆积、肿脸情况进行异常判断，如存在便被认为是异常。

8.根据权利要求7所述的一种笼养鸡智能巡检系统，其特征在于基于各局部部位的异常进行鸡头异常评分，计算公式为：

q＝w₁*c+w₂*b+w₃*e

式中，q为异常评分，c为鸡冠异常等级，b为鸡嘴异常等级，e为鸡眼睛异常等级；异常等级值均∈[0，1]；w为不同异常评分所占权重。

9.根据权利要求6所述的一种笼养鸡智能巡检系统，其特征在于笼养鸡反演温度的获取步骤为：

S101、获取RGB图像上兴趣域坐标的同时，将该坐标映射到热红外图像上；

S102、提取出鸡头所在区域，通过热成像图像中的像素颜色可以得到笼养鸡的头部温度；

S103、将笼内环境信息对头部温度进行的干扰去除；得到排除外界干扰后的笼养鸡体温估测结果；其中，基于像素点反演的平均温度为：

式中，T为反演平均温度，T_max为最大温度，p为不同像素点的值，n为兴趣域中鸡头所占的像素点；

拥挤度的计算公式为：

式中，C_i为第i笼的拥挤度，N_i为第i笼中测得的笼养鸡个数，N_max为当前为止的最大单笼鸡只个数。