CN110728259B - 一种基于深度图像的鸡群体重监测系统 - Google Patents

Abstract

本发明公开了一种基于深度图像的鸡群体重监测系统，它包括深度图像获取模块、深度图像处理模块、云服务器和客户端显示模块，所述深度图像获取模块将图像信息通过通信模块传输给深度图像处理模块，深度图像处理模块与云服务器保持通信。基于深度图像获取模块中kinect实现深度图像的采集、深度图像处理模块实现群鸡体重的预估和监测，该监测系统可实时监测群鸡体重的变化情况，为大幅度提高产肉率、增强我国肉鸡产业竞争率提供了一种有效手段。

Description

一种基于深度图像的鸡群体重监测系统

技术领域

本专利涉及深度图像采集、处理与分析、计算机通信、传感器感知技术和、自动控制技术领域。具体讲是一种基于深度图像的鸡群体重监测系统。

背景技术

鸡肉作为我国居民第二大消费肉类，鸡的健康直接关系到人类的健康。随着国内养鸡业的规模化、集约化，鸡的饲养密度增加，再加上不合理的饲养设备和饲养方法，无法实现动物的福利养殖。

检测鸡群的体重可以了解鸡群的生长发育情况，也是对育成鸡限制饲养时确定喂料量的重要依据。因此，必须定期抽测平均体重，以便及时调整饲养管理措施。在生产中，轻型蛋鸡一般从6周龄开始每隔1～2周称重一次，中型蛋鸡有的从4周龄后每隔1～2周称重一次。抽测体重的比例因鸡群大小不同而异。一般地说，万只鸡群按1％抽样，小群则按5％抽样，但不能少于50只。为了使抽出的鸡群具有代表性，平养鸡抽样时一般先把舍内的鸡徐徐驱赶，使舍内各区域鸡只及大小不同的鸡只均匀分布，然后在鸡舍的任一地方随意用铁丝网围出大约需要的鸡数，并剔除伤残鸡，剩余的鸡只逐个称重登记。笼养鸡抽样时，应从不同层次的鸡笼抽样、称重，每层笼取样数量应该相等。每次称测体重的时间应安排在相同时间，例如在周末早晨空腹时测定，称完体重喂料。

目前养殖场称量肉鸡体重主要依靠人工方式进行，通常采用直接抓取放在地磅上称重或是通过人工直接预估。这样的操作过程过于繁琐，并且会耗费大量的成本，因为是人工抓取，有时会并且人工称重方式会使肉鸡产生应激反应，严重时会造成肉鸡死亡。

发明内容

为解决肉鸡体重估测人工干预大、主观性强、易忽略的问题，在分析肉鸡体重主要特征的基础上，提出了深度图像对鸡群体重的估测，建立鸡群体重估测模型，最后通过终端系统监测鸡群体重的变化情况。

技术方案：

一种基于深度图像的鸡群体重监测系统，它包括深度图像获取模块、深度图像处理模块、云服务器和客户端显示模块，所述深度图像获取模块将图像信息通过通信模块传输给深度图像处理模块，深度图像处理模块与云服务器保持通信，所述系统执行以下步骤：

S1、深度图像获取模块执行的鸡群深度图像的获取步骤；

S2、深度图像处理模块执行的鸡群深度图像的处理步骤；

S3、深度图像处理模块执行的鸡群体重的估算步骤；

S4、云服务器执行的客户端显示步骤。

优选的，所述深度图像获取模块包括kinect装置、通信模块一和电源模块一，所述kinect装置获取深度图像，kinect装置基于底座马达安装在鸡舍屋顶，kinect装置随着底座马达按设定的时间移动，以拍到整个鸡舍内肉鸡的深度信息；通信模块一用于将深度图像信息传输给深度图像处理模块；电源模块一用于为深度图像获取模块供电。

优选的，鸡群深度图像的获取步骤具体为：

S1-1：判定是否达到指定时间，是则进行S1-2，否则持续判定；

S1-2：kinect采集深度图像；

S1-3：深度图像处理模块接收采集到的深度图像；

S1-4：判断是否完成四次拍摄，是则存储深度图像并结束，否则进行S1-5；

S1-5：底座马达移动到指定位置，并返回S1-1。

优选的，深度图像处理模块包括存储器、RasPi微处理器、LCD显示模块、DTU模块、电源模块二、通信模块二和路由器；RasPi微处理器用于进行鸡群深度图像的处理和鸡群体重的估算；存储器连接RasPi微处理器用于数据的存储；LCD显示模块连接RasPi微处理器用于显示；电源模块二连接RasPi微处理器用于深度图像处理模块的供电；通信模块二和路由器连接RasPi微处理器用于接收深度图像获取模块发送的深度图像信息；DTU模块连接RasPi微处理器用于数据转换以与云服务器通信。

优选的，所述鸡群深度图像的处理步骤包括：

S2-1、图像分割；通过FCN算法对目标物体进行分割，获得鸡群的深度图像和单只肉鸡的深度图像；

S2-2、根据深度提取特征参数，包括：

1)投影面积：对S2-1获得的鸡群的深度图像求像素个数作为投影面积；

2)周长：对S2-1获得的鸡群的深度图像的边界点像素个数求和作为周长；

3)体积：采用蒙特卡洛计算S2-1获得的鸡群的目标体积；

4)后背最大拟合矩形面积：根据S2-1获得的单只肉鸡的深度图像找到肉鸡轮廓的最小外切椭圆，最小外切椭圆由最小外接矩形求得，通过外切椭圆找到最大内接矩形即后背最大拟合矩形面积；

5)后背宽度：最大内接矩形宽度作为后背宽度；

6)后背长度：最大内接矩形长度作为后背长度；

7)后背像素点的平均高度h：

其中：N为最大内接矩形内像素点的个数；h_i为最大内接矩形内每个像素点的高度；

8)后背像素点的最大高度：最大内接矩形内像素点的最大高度；

9)后背像素点的最低高度：最大内接矩形内像素点的最低高度。

优选的，所述鸡群体重的估算步骤包括：

S3-1、肉鸡体重估测Lasso模型建立，Lasso计算公式如下：

其中：X是由S2-2获得的投影面积、周长、体积、后背最大拟合矩形面积、后背宽度、后背长度、后背像素点的平均高度、后背像素点的最大高度和后背像素点的最低高度这九个特征参数组成的系数矩阵；w是由特征参数训练后得到的特征系数；y是鸡群的真实体重值，由地磅称取获得；α为正则化强度系数，为了解决过拟合问题，正则化强化系数由特征参数训练后得到；

S3-2、训练Lasso模型；

S3-3、测试Lasso模型，通过MSE公式检验鸡群估测模型的准确率，当准确率低于合理值的时候，对特征参数和准确率进行校正：

其中：y为实际鸡群体重；为单只肉鸡估测值；N为样本数；

S3-4、采用Lasso模型获得实时鸡群体重信息。

优选的，所述鸡群体重的估算步骤还包括S3-5、Lasso计算公式的优化：使用主成分分析算法，通过S3-1获得的模型参数w，找到w贡献率超过50％的特征参数，对贡献率大的特征参数进一步优化。

优选的，所述客户端显示步骤包括：

S4-1、将实时鸡群体重信息传输至云服务器；

S4-2、客户端显示；

S4-3、实时观察鸡群的体重变化情况，对体重异常的鸡群进行预警。

本发明的有益效果

本专利“基于深度图像的鸡群体重监测系统”实现了基于kinect深度图像的采集、群鸡体重的预估和监测，该监测系统可实时监测群鸡体重的变化情况，为大幅度提高产肉率、增强我国肉鸡产业竞争率提供了一种有效手段。该监测系统主要包括kinect深度图像采集、云服务器、计算机通信、数据库存储数据。利用kinect采集鸡舍内肉鸡的深度信息，通过肉鸡体重估测模型可以得到群鸡的实时体重并且通过wifi网络把体重信息传至云服务器，最终实现对群鸡体重的监测和分析。具有具有以下优势：

(1)核心处理器使用RasPi芯片，使系统具有高性能、低功耗与易扩展等特点，并且ARM自带操作系统提供了算法运行的基本环境，可以将深度图像加以处理，并结合DTU模块，发送数据至云服务器，管理员可以实时监测。

(2)本系统可直接采集鸡舍深度图像信息，并实时对鸡群体重进行估测，利用Lasso回归算法对鸡群体重进行估测，可提高鸡舍养殖环境的自动化水平，减少人为主观判断，提高鸡群体重估测的准确率。

(3)利用鸡群的数量，鸡群的体重、鸡群的平均体重等参数，设计了由9个特征参数确定的网状评级方法，可直观观察到鸡群的各项指标，并根据面积对鸡群生长状况进行评级，便于管理人员优先处理紧急鸡群。

(4)在核心处理器中集成DTU模块，可实时将鸡群的体重信息发送至云服务器，起到监测和预警作用。

附图说明

图1为系统整体框架图

图2为系统整体流程图

图3为处理器系统设计图

图4为获取鸡群深度图像流程图

图5为鸡群体重的估测算法流程图

图6为FCN系统示意图

图7为最小外切椭圆和最大内接矩形示意图

图8为基于Lasso回归对提出的数组特征进行训练和预测图

图9为模型优化示意图

具体实施方式

下面结合实施例对本发明作进一步说明，但本发明的保护范围不限于此：

系统整体框架

系统主要由kinect采集深度图像，RasPi处理器两部分组成，系统整体框架和系统整体流程图分别如图1和2所示。

结合图1，一种基于深度图像的鸡群体重监测系统，它包括深度图像获取模块、深度图像处理模块、云服务器和客户端显示模块，所述深度图像获取模块将图像信息通过通信模块传输给深度图像处理模块，深度图像处理模块与云服务器保持通信。所述深度图像获取模块包括kinect装置、通信模块一和电源模块一，所述kinect装置获取深度图像，kinect装置基于底座马达安装在鸡舍屋顶，kinect装置随着底座马达按设定的时间移动，以拍到整个鸡舍内肉鸡的深度信息；通信模块一用于将深度图像信息传输给深度图像处理模块；电源模块一用于为深度图像获取模块供电。深度图像处理模块包括存储器、RasPi微处理器、LCD显示模块、DTU模块、电源模块二、通信模块二和路由器；RasPi微处理器用于进行鸡群深度图像的处理和鸡群体重的估算；存储器连接RasPi微处理器用于数据的存储；LCD显示模块连接RasPi微处理器用于显示；电源模块二连接RasPi微处理器用于深度图像处理模块的供电；通信模块二和路由器连接RasPi微处理器用于接收深度图像获取模块发送的深度图像信息；DTU模块连接RasPi微处理器用于数据转换以与云服务器通信。

结合图2，所述系统执行以下步骤：

S1、深度图像获取模块执行的鸡群深度图像的获取步骤；

S1-1：判定是否达到指定时间，是则进行S1-2，否则持续判定；

S1-2：kinect采集深度图像；

S1-3：深度图像处理模块接收采集到的深度图像；

S1-4：判断是否完成四次拍摄，是则存储深度图像并结束，否则进行S1-5；

S1-5：底座马达移动到指定位置，并返回S1-1。

S2、深度图像处理模块执行的鸡群深度图像的处理步骤；

S2-1、图像分割；通过FCN算法对目标物体进行分割，获得鸡群的深度图像和单只肉鸡的深度图像；

S2-2、根据深度提取特征参数，包括：

1)投影面积：对S2-1获得的鸡群的深度图像求像素个数作为投影面积；

2)周长：对S2-1获得的鸡群的深度图像的边界点像素个数求和作为周长；

3)体积：采用蒙特卡洛计算S2-1获得的鸡群的目标体积；

4)后背最大拟合矩形面积：根据S2-1获得的单只肉鸡的深度图像找到肉鸡轮廓的最小外切椭圆，最小外切椭圆由最小外接矩形求得，通过外切椭圆找到最大内接矩形即后背最大拟合矩形面积；

5)后背宽度：最大内接矩形宽度作为后背宽度；

6)后背长度：最大内接矩形长度作为后背长度；

7)后背像素点的平均高度h：

其中：N为最大内接矩形内像素点的个数；h_i为最大内接矩形内每个像素点的高度；

8)后背像素点的最大高度：最大内接矩形内像素点的最大高度；

9)后背像素点的最低高度：最大内接矩形内像素点的最低高度。

S3、深度图像处理模块执行的鸡群体重的估算步骤；

S3-1、肉鸡体重估测Lasso模型建立，Lasso计算公式如下：

其中：X是由S2-2获得的投影面积、周长、体积、后背最大拟合矩形面积、后背宽度、后背长度、后背像素点的平均高度、后背像素点的最大高度和后背像素点的最低高度这九个特征参数组成的系数矩阵；w是由特征参数训练后得到的特征系数；y是鸡群的真实体重值，由地磅称取获得；α为正则化强度系数，为了解决过拟合问题，正则化强化系数由特征参数训练后得到；

S3-2、训练Lasso模型；

S3-3、测试Lasso模型，通过MSE公式检验鸡群估测模型的准确率，当准确率低于合理值的时候，对特征参数和准确率进行校正：

其中：y为实际鸡群体重；为单只肉鸡估测值；N为样本数；

S3-4、采用Lasso模型获得实时鸡群体重信息。

S4、云服务器执行的客户端显示步骤。

S4-1、将实时鸡群体重信息传输至云服务器；

S4-2、客户端显示；

S4-3、实时观察鸡群的体重变化情况，对体重异常的鸡群进行预警/改变饲料。

具体结构设计

一、Kinect装置介绍及搭建

随着3D立体成像技术的不断发展，深度图像在生活中有着广泛的应用，在实际使用过程中，一般采用kinect获取深度图像，kinect主要包括三个摄像头、底座马达。在三个摄像头中，左摄像头是红外激光发射器，右镜头是景深摄像头，左镜头和右镜头共同组成三维结构光深度传感器，用来采集场景中的深度信息。在本系统中把kinect安装在鸡舍屋顶上，随着底座马达按设定的时间移动可以拍到整个鸡舍内肉鸡的深度信息。

二、核心处理器结构设计

该核心处理器主要由RasPi微控制器、通信模块、DTU模块、存储模块、电源模块组成，DTU模块与微控制器之间通过串口相连，其处理器系统设计如下图3所示。其中通信模块用于接收节点采集到的深度图像数据；RasPi微控制器主要用于处理深度图像、驱动kinect底座马达和执行算法，得出鸡群的体重；DTU模块用于将鸡群体重信息发送至云服务器，饲养员可以实时监测鸡群体重变化。

三、定时获取鸡群深度图像算法设计

为了便于获取鸡群的深度图像和对肉鸡实际质量进行测量，根据鸡舍的高度、鸡舍地面面积、摄像机的视场范围，并且在本专利中一个鸡舍只使用一个摄像机，因为鸡舍地面面积四倍于摄像机的视场范围，为了使相机能够覆盖整个鸡舍，每一次完整的拍摄需要随着kinect底座马达的移动进行四次拍摄。图4为一次完整的获取鸡群深度图像流程图，即步骤S1、深度图像获取模块执行的鸡群深度图像的获取步骤。

四、群鸡体重的估测算法

对于鸡群体重的估测，体重估测准确率至关重要，结合图5给出了具体的鸡群肉鸡体重估测整体流程。这里包含了两个步骤：S2、深度图像处理模块执行的鸡群深度图像的处理步骤；S3、深度图像处理模块执行的鸡群体重的估算步骤。

(1)预处理

在提取深度图像的特征参数之前，需要对原始的深度图像进行以下方面的预处理，通过FCN算法对目标物体进行分割，其系统示意图如图6所示，FCN对图像进行像素级的分类，从而解决了语义级别的图像分割问题。与经典的CNN在卷积层使用全连接层得到固定长度的特征向量进行分类不同，FCN可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷基层的特征图(feature map)进行上采样，使它恢复到输入图像相同的尺寸，从而可以对每一个像素都产生一个预测，同时保留了原始输入图像中的空间信息，最后奇偶在上采样的特征图进行像素的分类。

(2)特征提取

即S2-2、根据深度提取特征参数：

当前，国内外众多团队主要利用鸡体体尺估测肉鸡的体重。在本专利中，通过深度图像提取投影面积、周长、体积、后背最大矩形面积、后背宽度、后背长度、后背像素点的平均高度、后背像素点的最大高度、后背像素点的最低高度九个特征参数来估测肉鸡体重。

1)投影面积：肉鸡深度图像中的投影面积指的图像中最大目标的面积，由于肉鸡投影图是不规则图形，无法直接计算出其面积，可以对投影图像素个数求和即可作为面积。

2)周长：和投影面积相似，投影图是不规则图形，无法直接计算出其周长，可以对边界点的像素个数求和即可作为周长。

3)体积：由于相机放置位于俯拍角度，不能够建立出完整的3D模型，采用蒙特卡洛计算图像中的目标体积：

4)后背最大拟合矩形面积：根据肉鸡投影图可以找到肉鸡轮廓的最小外切椭圆，最小外切椭圆可由最小外接矩形求得，通过外切椭圆找到最大内接矩形。图7为最小外切椭圆和最大内接矩形。

5)后背宽度：最大内接矩形宽度即可作为后背宽度。

6)后背长度：最大内接矩形长度即可作为后背长度。

7)后背像素点的平均高度：

其中：N为最大内接矩形内像素点的个数；h_i为最大内接矩形内每个像素点的高度。

8)后背像素点的最大高度：最大内接矩形内像素点的最大高度。

9)后背像素点的最低高度：最大内接矩形内像素点的最低高度。

五、肉鸡体重估测模型建立

Lasso回归的特点是在拟合广义线性模型的同时进行变量筛选和复杂度调整。因此，不论目标因变量是连续的，还是二元或者多元离散的，都可以用Lasso回归建模然后预测。这里的变量筛选是指不把所有的变量都放入模型中进行拟合，而是有选择的把变量放入模型从而得到更好的性能参数。复杂度调整是指通过一系列参数控制模型的复杂度，从而避免过度拟合。Lasso计算公式如下：

其中：X为特征参数组成的系数矩阵；w为特征系数；y为真实值；α为正则化强度。

图8为基于Lasso回归对提出的数组特征进行训练和预测，建立起基于Lasso回归的预测模型。为了衡量模型好坏，在Lasso回归中可以通过MSE对模型进行评价，以下是检验值公式：

其中：y为实际鸡群体重；为单只肉鸡估测值；N为样本数。

六、多参数Lasso回归模型估测肉鸡体重优化

在本装置中，通过Lasso回归模型可以有效估测肉鸡的体重，但是肉鸡由于存在羽毛膨胀、尾部的深度值明显高于其他部位，所以有些特征参数对模型准确性和贡献率起着至关重要的作用，通过找出贡献率较高的特征参数并对其不断优化，这样可以不断提高模型的准确性。在本系统中使用的是主成分分析算法，通过设置超参数，找到贡献率超过50％的特征参数。图9为模型优化示意图。

七、鸡群体重监测和评级设计(9个特征参数的网状评级)

RasPi微处理器估测出鸡群体重之后，通过DTU模块和Wifi网络把数据传至云服务器，云服务器解析完数据后把数据存入鸡舍对应的数据库，管理员可以通过网页和APP实时监测鸡群体重的监测情况，包括鸡群的数量，鸡群的体重、鸡群的平均体重、鸡群的生长历史曲线以及这些参量在不同鸡群之间的差异，通过云服务器监测平台可以很直观的监测鸡群的生长状况，并且可以通过网状评级来判断鸡群生长环境是否良好和判断鸡群是否患病，这对提高动物福利有着很大的意义。

本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于深度图像的鸡群体重监测系统，其特征在于它包括深度图像获取模块、深度图像处理模块、云服务器和客户端显示模块，所述深度图像获取模块将图像信息通过通信模块传输给深度图像处理模块，深度图像处理模块与云服务器保持通信，所述系统执行以下步骤：

S1、深度图像获取模块执行的鸡群深度图像的获取步骤；

S2、深度图像处理模块执行的鸡群深度图像的处理步骤；所述鸡群深度图像的处理步骤包括：

S2-1、图像分割；通过FCN算法对目标物体进行分割，获得鸡群的深度图像和单只肉鸡的深度图像；

S2-2、根据深度提取特征参数，包括：

1)投影面积：对S2-1获得的鸡群的深度图像求像素个数作为投影面积；

2)周长：对S2-1获得的鸡群的深度图像的边界点像素个数求和作为周长；

3)体积：采用蒙特卡洛计算S2-1获得的鸡群的目标体积；所述鸡群体重的估算步骤包括：

S3-1、肉鸡体重估测Lasso模型建立，Lasso计算公式如下：

其中：X是由S2-2获得的投影面积、周长、体积、后背最大拟合矩形面积、后背宽度、后背长度、后背像素点的平均高度、后背像素点的最大高度和后背像素点的最低高度这九个特征参数组成的系数矩阵；w是由特征参数训练后得到的特征系数；y是鸡群的真实体重值，由地磅称取获得；α为正则化强度系数，为了解决过拟合问题，正则化强化系数由特征参数训练后得到；

S3-2、训练Lasso模型；

S3-3、测试Lasso模型，通过MSE公式检验鸡群估测模型的准确率，当准确率低于合理值的时候，对特征参数和准确率进行校正：

其中：y为实际鸡群体重；为单只肉鸡估测值；N为样本数；

S3-4、采用Lasso模型获得实时鸡群体重信息；

4)后背最大拟合矩形面积：根据S2-1获得的单只肉鸡的深度图像找到肉鸡轮廓的最小外切椭圆，最小外切椭圆由最小外接矩形求得，通过外切椭圆找到最大内接矩形即后背最大拟合矩形面积；

5)后背宽度：最大内接矩形宽度作为后背宽度；

6)后背长度：最大内接矩形长度作为后背长度；

7)后背像素点的平均高度h：

其中：N为最大内接矩形内像素点的个数；h_i为最大内接矩形内每个像素点的高度；

8)后背像素点的最大高度：最大内接矩形内像素点的最大高度；

9)后背像素点的最低高度：最大内接矩形内像素点的最低高度；

S3、深度图像处理模块执行的鸡群体重的估算步骤；

S4、云服务器执行的客户端显示步骤。

2.根据权利要求1所述的系统，其特征在于所述深度图像获取模块包括kinect装置、通信模块一和电源模块一，所述kinect装置获取深度图像，kinect装置基于底座马达安装在鸡舍屋顶，kinect装置随着底座马达按设定的时间移动，以拍到整个鸡舍内肉鸡的深度信息；通信模块一用于将深度图像信息传输给深度图像处理模块；电源模块一用于为深度图像获取模块供电。

3.根据权利要求2所述的系统，其特征在于鸡群深度图像的获取步骤具体为：

S1-1：判定是否达到指定时间，是则进行S1-2，否则持续判定；

S1-2：kinect采集深度图像；

S1-3：深度图像处理模块接收采集到的深度图像；

S1-4：判断是否完成四次拍摄，是则存储深度图像并结束，否则进行S1-5；

S1-5：底座马达移动到指定位置，并返回S1-1。

4.根据权利要求1所述的系统，其特征在于深度图像处理模块包括存储器、RasPi微处理器、LCD显示模块、DTU模块、电源模块二、通信模块二和路由器；RasPi微处理器用于进行鸡群深度图像的处理和鸡群体重的估算；存储器连接RasPi微处理器用于数据的存储；LCD显示模块连接RasPi微处理器用于显示；电源模块二连接RasPi微处理器用于深度图像处理模块的供电；通信模块二和路由器连接RasPi微处理器用于接收深度图像获取模块发送的深度图像信息；DTU模块连接RasPi微处理器用于数据转换以与云服务器通信。

5.根据权利要求1所述的系统，其特征在于所述鸡群体重的估算步骤还包括S3-5、Lasso计算公式的优化：使用主成分分析算法，通过S3-1获得的模型参数w，找到w贡献率超过50％的特征参数，对贡献率大的特征参数进一步优化。

6.根据权利要求1所述的系统，其特征在于所述客户端显示步骤包括：

S4-1、将实时鸡群体重信息传输至云服务器；

S4-2、客户端显示；

S4-3、实时观察鸡群的体重变化情况，对体重异常的鸡群进行预警。