CN111797831A - 基于bim和人工智能的家禽进食并行异常检测方法 - Google Patents

Abstract

本发明公开了一种基于BIM和人工智能的家禽进食并行异常检测方法，包括：对禽舍图像进行拼接、融合得到禽舍全景图像，将禽舍全景图像投影变换至禽舍建筑信息模型；对禽舍全景图像进行家禽检测；对投放食物后的一段时间内每只家禽感兴趣区域图像进行头部关键点检测；将投放食物后的一段时间内家禽头部关键点落入食槽感兴趣区域的家禽头部关键点热力图进行热图叠加；将叠加结果输入家禽异常进食分析神经网络，得到家禽异常进食等级，并生成异常进食信号；对禽舍建筑信息模型中的多种信息进行可视化。利用本发明，实现了自动化的家禽进食状态监控，检测效率高、检测准确率高。

Description

基于BIM和人工智能的家禽进食并行异常检测方法

技术领域

本发明属于人工智能、BIM、智慧畜牧技术领域，具体涉及一种基于BIM和人工智能的家禽进食并行异常检测方法。

背景技术

随着我国经济的快速发展，我国畜禽养殖业的迅猛发展。相应的，畜禽养殖业的养殖规模、养殖方式发生了巨大的变化。传统的养殖手段和经验方法由于其成本高昂，管理混乱，已不适应当前的行业发展。因此，畜禽养殖业迫切需要依靠前沿科技手段，建立其数字化、精细化和智能化的产业养殖管理模式。家禽若出现病态，最明显的表现就是在一段时间内进食减少，关注一段时间内家禽的进食状态可以及时发现家禽潜在疾病的问题。在养殖生产当中，家禽的状态监控有很大的挑战性。

一些研究根据动物包围框与食槽包围框的交并比对进食状态进行监控，对进食时间进行统计分析。首先，交并比不能很好的表征动物是否是在进食状态，因此检测精度不高。由于交并比的表征能力不强，进食时间统计也存在精度不高的问题。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于BIM和人工智能的家禽进食并行异常检测方法。

一种基于BIM和人工智能的家禽进食并行异常检测方法，该方法包括：

构建禽舍区域建筑信息模型以及信息交换模块；

使用模拟器生成不同视角下家禽不同进食情况下的家禽头部关键点移动轨迹，根据家禽头部关键点移动轨迹生成时段热度叠加图像，构建时段热度叠加图像样本集并进行标注；

利用标注后的时段热度叠加图像样本集训练家禽异常进食分析神经网络，家禽异常进食分析神经网络包括：家禽异常进食分析编码器，对时段热度叠加图像进行分析，得到第三特征图；第二全连接网络，对第三特征图进行加权分类，得到家禽异常进食等级；

将摄像头实时采集的禽舍图像进行图像拼接、融合得到禽舍全景图像，将禽舍全景图像投影变换至禽舍建筑信息模型；

基于家禽及食槽检测神经网络对禽舍全景图像进行家禽检测，得到家禽以及食槽包围框信息；

根据家禽以及食槽包围框信息对禽舍全景图像进行裁剪截取，截取每只家禽感兴趣区域图像；

基于家禽头部关键点检测神经网络对投放食物后的一段时间内每只家禽感兴趣区域图像进行头部关键点检测，得到家禽头部关键点热力图；

针对每只家禽，将家禽头部关键点映射回禽舍全景图像，将投放食物后的一段时间内家禽头部关键点落入食槽感兴趣区域的家禽头部关键点热力图进行逐像素叠加，得到该家禽的时段热度叠加图像；

将家禽的时段热度叠加图像输入家禽异常进食分析神经网络，得到家禽异常进食等级；

若家禽异常进食等级大于设定阈值，生成异常进食信号，利用信息交换模块将异常进食信号至禽舍区域信息模型；

结合WebGIS技术对禽舍建筑信息模型中的多种信息进行可视化，多种信息包括：禽舍区域三维空间模型、禽舍全景图像、家禽异常进食等级、异常进食信号。

根据家禽头部关键点移动轨迹生成时段热度叠加图像具体为：

对家禽头部关键点移动轨迹中的每个轨迹点进行高斯模糊处理，得到时段热度叠加图像。

将摄像头实时采集的禽舍图像进行图像拼接、融合得到禽舍全景图像包括：

提取待拼接禽舍图像的特征点，进行特征点的匹配；根据匹配点对进行单应性矩阵的估计，将待拼接图像转换到同一坐标下；进行图像融合，得到禽舍全景图像。

家禽及食槽检测神经网络包括：

家禽及食槽检测编码器，对禽舍全景图像进行编码、提取特征，得到第一特征图；

第一全连接网络，对第一特征图进行分析，得到家禽包围框锚点与家禽包围框宽、高以及食槽包围框锚点与食槽包围框宽、高。

家禽头部检测神经网络包括：

家禽头部关键点检测编码器，对家禽图像进行特征提取，得到第二特征图；

家禽头部关键点检测解码器，对第二特征图进行上采样重构，得到家禽头部关键点热力图，其中的热斑表征家禽头部关键点置信度。

本发明与现有技术相比，具有以下有益效果：

1.本发明对摄像头实时采集的禽舍图像进行拼接、融合后的禽舍全景图像进行分析，避免了重复检测，节省了系统资源，提高了家禽进食异常检测的效率。

2.本发明使用模拟器生成时段热度叠加图像，训练家禽异常进食分析神经网络，不用耗费大量时间来收集构建样本，而且能够获得较好的训练效果，提高本发明方法的运算效率。

3.本发明首先利用家禽检测神经网络识别所有家禽，然后根据神经网络输出的包围框信息截取家禽图像，进而对每只家禽的进食情况进行分析，提高了每只家禽进食情况分析的准确率。

4.本发明采用家禽头部关键点检测神经网络对每只家禽的头部进行识别，抗遮挡效果好，为后续家禽进食情况分析提供更精确的检测结果。

5.本发明采用热度叠加的方法对家禽头部关键点热力图进行叠加，得到时段热度叠加图像，该图像能够反映家禽在时段内头部移动轨迹，进而反映家禽进食情况，热度叠加方法计算效率高，而且表征能力强，提高了家禽异常进食分析的准确率。

6.本发明设计了家禽异常进食分析神经网络对时段热度叠加图像进行分析，能够自动获得家禽进食异常分析结果，无需人工进行统计分析，避免了人工统计分析主观因素的影响，而且提高了本发明方法的智能化程度。

7.本发明结合建筑信息模型，构建了禽舍建筑信息模型，禽舍建筑信息模型能够集成多种信息，方便信息管理，而且结合WebGIS技术进行可视化后，能够使监管人员更加清晰明确地了解禽舍内家禽进食情况。

附图说明

图1为本发明方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于BIM和人工智能的家禽进食并行异常检测方法。图1为本发明方法流程图。下面通过具体实施例来进行说明。

实施例一：

先构建当前禽舍区域建筑信息模型BIM(Building Information Modeling)及其信息交换模块。

禽舍区域BIM及其信息交换模块是一种基于BIM的信息处理和数据交换平台。禽舍区域BIM包括禽舍区域的地理位置信息、禽舍区域围栏信息、禽舍区域过道信息、家禽笼子摆放信息、家禽笼子几何架构信息等各种用于禽舍区域BIM三维空间模型建模所需信息。禽舍区域BIM还包括当前区域内所使用的图像传感器型号、分辨率、数量及其各自在禽舍内部的编号信息。

禽舍区域BIM可以通过信息交换模块接收当前区域内所有传感器感知的数据，并将对应传感器信息按照设置规则存储到中央存储服务器中，根据服务器容量定期覆盖更新以便查询历史数据。例如，禽舍区域BIM可以接受图像采集装置实时采集的图像，并通过WebGIS技术进行可视化。

禽舍区域建筑信息模型可以将收集到的数据整合，输出异常信息，并与WebGIS模块建立通信，在Web端将异常信息展示，同时发出警告信息。

本发明主要针对养殖舍内家禽的进食状态进行监测。具体地，基于对家禽头部轨迹进行分析，以得到进食分析结果。对家禽头部轨迹进行分析，需要收集大量样本，耗费大量时间。因此，本发明使用模拟器生成不同视角下家禽进食时家禽头部关键点移动轨迹。具体地，在模拟器中，设置食槽区域，使用代理agent模拟家禽进食情况下的头部移动轨迹、非进食情况下的头部移动轨迹。家禽进食情况下的头部移动轨迹包括不同相机视角、不同进食情况下的头部移动轨迹，例如长时间进食、短时间进食等。在模拟器中生成家禽头部移动轨迹点后，可以利用高斯模糊，根据家禽头部关键点移动轨迹，筛选出落入食槽区域的轨迹点并进行模糊处理，生成时段热度叠加图像，构建时段热度叠加图像样本集并进行标注。标注时，分别对不同进食情况下的时段热度叠加图像进行异常等级标注，利用标注后的时段热度叠加图像样本集训练家禽异常进食分析神经网络。在模拟器中生成数据时，实施者根据不同进食情况分别生成了相应的数据，因此进行相应标注即可。家禽异常进食分析神经网络包括：家禽异常进食分析编码器，对时段热度叠加图像进行分析，得到第三特征图；第二全连接网络，对第三特征图进行加权分类，得到家禽异常进食等级。

为了防止家禽之间相互抓挠，挤压，目前多种现代化的养殖笼每个格子中只放置一只家禽。在禽舍内顶部墙壁或禽舍中承重柱上部署摄像头，实现对禽舍的俯视拍摄。部署摄像头的数目，实施者可根据摄像头拍摄范围的大小及禽舍中笼子的长短、数量来决定。需要说明的是，由于家禽之间间隔相对较小，若先检测后拼接融合，可能存在重复检测的情况，因此本发明首先将单个图像拼接成全景图像后，再进行检测。

所有摄像头拍摄的范围要能覆盖到禽舍整个笼子区域，且两个相邻的摄像头要有重合区域，以更好地进行图像拼接。将摄像头实时采集的禽舍图像进行图像拼接、融合得到禽舍全景图像，将禽舍全景图像投影变换至禽舍建筑信息模型。

具体的，首先采用特征点提取的方法，对摄像头拍摄的图像进行特征点提取，特征点提取的方式有很多，实施者可以根据现场环境，灵活采用SIFT，SURF，Harris，SUSANcorner、Kitchen-Rosenfeld等方式，完成特征点的提取操作。进一步的，对相邻图像进行特征点匹配，采用一定的匹配策略，找出待拼接图像中特征点在参考图像中对应的位置，从而确定两幅图像之间的变换关系。

选取其中置信度高的匹配点对，作为候选点，根据矩阵变换公式，计算相邻图像的仿射变换矩阵，将相邻的图像经过仿射变换后，进一步的对转换后的图片进行融合操作，从而得到平滑无缝衔接的禽舍环境图像，本发明采用加权融合的方法，得到拼接后的全景图，实时者可根据现场环境选取合适的融合方案。

将所有的摄像头信息按照上述方法拼接融合后得到禽舍全景图。将全景图按照透视变换的方法投射到与禽舍地面平行的水平面上，具体透视变换的方法是公知的。

养殖舍各个摄像头进行成像，投影到BIM养殖舍地面上，可以更好地实现对养殖舍环境的可视化。养殖舍包括鸡舍，鸭舍等。将摄像头拍摄的图像进行图像拼接并仿射变换到BIM禽舍平面上，并将检测到的家禽进食异常信息映射到拼接后的图片上。

对每只家禽进行状态监测，若连续一段时间内未进食，则判定该家禽存在潜在的疾病风险，应发出警告信息给禽舍管理员，及时采取相应的措施，防患于未然。

首先采用目标检测方法，定位到每只家禽所在的笼子具体位置，以便于对每只家禽做对应的状态监控。基于家禽及食槽检测神经网络对禽舍全景图像进行家禽检测，得到家禽以及食槽包围框信息。

具体的，如图1所示，基于家禽及食槽检测神经网络，采用家禽及食槽检测编码器对禽舍全景图像的特征进行提取，获得包含家禽及食槽所在区域位置的特征信息FeatureMap1，通过第一全连接网络将获得特征信息展平，再通过边框回归来预测每只家禽及食槽所在位置的坐标信息。本发明的家禽及食槽检测神经网络基于区域建议网络。家禽及食槽检测神经网络的输入信息是彩色三通道图像，监督信息是人工标注的每只家禽和食槽在图像中的坐标信息，采用交叉熵损失函数，对网络参数进行迭代更新，最终得到当前图像中，每只家禽和食槽所在的位置。

家禽以及食槽所在位置的坐标信息采用[x,y,width,height]表示，其中x代表目标的左上角横坐标，y代表目标的左上角纵坐标，width代表目标的宽度，height代表目标的高度。具体地，使用x1代表食槽包围框左上角点的横坐标，y1代表食槽包围框左上角点的纵坐标，width1食槽包围框长度，height1代表食槽包围框宽度。x2代表家禽包围框左上角点的横坐标，y2代表家禽包围框左上角点的纵坐标，width2家禽包围框长度，height2代表家禽包围框宽度。家禽以及食槽包围框即其对应的感兴趣区域。

根据检测到的每只家禽的包围框信息，将原图中将每只家禽区域的图像从原图中截取出来。得到截取后的每只家禽感兴趣区域图像后，需要对其进食状态进行监测。

基于家禽头部关键点检测神经网络对投放食物后的一段时间内每只家禽感兴趣区域图像进行头部关键点检测，得到家禽头部关键点热力图。选取家禽头部作为其关键点，通过叠加关键点热力图Heatmap来预测家禽进食异常的等级信息。具体的如图1所示，采用家禽头部关键点检测编码器，来提取每只家禽感兴趣区域图像信息的特征，得到家禽头部特征FeatureMap2；再通过家禽头部关键点检测解码器，对特征信息进行解码，最后得到家禽头部关键点热力图Heatmap。

家禽头部关键点检测神经网络的输入是三通道彩色图像信息，监督信息为家禽头部的热力图。该热力图的生成方式分两步，首先采集图像数据，进行标注，标记在家禽头部的中心点位置，用(x,y)来表示，其中x表示关键点在图像中的横坐标，y表示关键点在图像中的纵坐标；然后将标注的家禽头部散点图与高斯核卷积得到家禽头部关键点热力图。训练过程中损失函数采用交叉熵损失函数，对网络参数进行迭代更新，最终得到当前图像中家禽头部关键点热力图信息。

众所周知，笼内家禽进食时，头会向下到料槽中；未进食时，头部会位于料槽之上。因此本发明采用热力图叠加的方式，在一段时间内，统计热力图叠加的结果，然后对结果进行阈值化。叠加的方式为eltwise，即逐像素相加，具体为：热力图生成后，将该段时间内的热力图进行相加即像素值的加法运算，每张热力图以队列的方式相加，得到一段时间内的热力图加和信息。需要说明的是，热力图叠加的时间需要根据现场坏境灵活调整，一般将热力图叠加时间设定在两次喂食间隔，监测家禽从上次喂食到该次喂食之间，进食的异常情况。

家禽进食时，一段时间内的头部关键点会集中在食槽区域；若未正常进食，食槽区域的热力叠加值会很低。因此，在前述步骤已经确定食槽区域的前提下，当且仅当关键点落入食槽区域时，才进行叠加热力图操作，关键点在食槽区域以外的不叠加。

设(x3，y3)是家禽头部关键点热力图检测网络检测得到的关键点坐标信息，映射回原图，关键点在原图中的坐标信息为(x4,y4)。其中x4＝x2+x3,y4＝y2+y3。若x1<x4<x1+width1且y1<y4<y1+height1则说明关键点落在食槽区域内。

针对每只家禽，将投放食物后的一段时间内家禽头部关键点落入食槽感兴趣区域的家禽头部关键点热力图进行像素叠加，得到该家禽的时段热度叠加图像。

进一步的对热力图加和后的时段热度叠加图像进行处理，来获取家禽进食异常的等级信息。具体的如图1所示，家禽异常进食分析编码器，对时段热度叠加图像进行分析，得到第三特征图；第二全连接网络，对第三特征图进行加权分类，得到家禽异常进食等级。

需要说明的是，家禽异常进食分析神经网络的输入信息是叠加的头部关键点热力图信息，监督信息是该家禽进食异常等级，本发明将家禽进食异常分为3个等级：索引0代表该段时间内进食正常，索引1代表该段时间内进食轻微异常，索引2代表该段时间内进食严重异常。采用交叉熵损失函数对网络进行训练，可以得到当前家禽进食异常等级信息。至此，完成对家禽进食状态的监控。

若家禽异常进食等级大于设定阈值，生成异常进食信号，利用信息交换模块将异常进食信号至禽舍区域信息模型。

为了直观地呈现禽舍环境，本发明结合WebGIS技术，将上述禽舍BIM模型集成到WebGIS所开发的系统中，通过调用信息交换模块实时更新禽舍空间模型并得到相应位置的传感器读数，并在Web端进行数据可视化、展示禽舍每只家禽的进食异常等级信息。并根据异常进食信号及时发出警报提醒禽舍管理员采取相应的措施，防患于未然。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于BIM和人工智能的家禽进食并行异常检测方法，其特征在于，该方法包括：

构建禽舍区域建筑信息模型以及信息交换模块；

使用模拟器生成不同视角下家禽不同进食情况下的家禽头部关键点移动轨迹，根据家禽头部关键点移动轨迹生成时段热度叠加图像，构建时段热度叠加图像样本集并进行标注；

利用标注后的时段热度叠加图像样本集训练家禽异常进食分析神经网络，家禽异常进食分析神经网络包括：家禽异常进食分析编码器，对时段热度叠加图像进行分析，得到第三特征图；第二全连接网络，对第三特征图进行加权分类，得到家禽异常进食等级；

将摄像头实时采集的禽舍图像进行图像拼接、融合得到禽舍全景图像，将禽舍全景图像投影变换至禽舍建筑信息模型；

基于家禽及食槽检测神经网络对禽舍全景图像进行家禽检测，得到家禽以及食槽包围框信息；

根据家禽以及食槽包围框信息对禽舍全景图像进行裁剪截取，截取每只家禽感兴趣区域图像；

基于家禽头部关键点检测神经网络对投放食物后的一段时间内每只家禽感兴趣区域图像进行头部关键点检测，得到家禽头部关键点热力图；

针对每只家禽，将家禽头部关键点映射回禽舍全景图像，将投放食物后的一段时间内家禽头部关键点落入食槽感兴趣区域的家禽头部关键点热力图进行逐像素叠加，得到该家禽的时段热度叠加图像；

将家禽的时段热度叠加图像输入家禽异常进食分析神经网络，得到家禽异常进食等级；

若家禽异常进食等级大于设定阈值，生成异常进食信号，利用信息交换模块将异常进食信号至禽舍区域信息模型；

结合WebGIS技术对禽舍建筑信息模型中的多种信息进行可视化，多种信息包括：禽舍区域三维空间模型、禽舍全景图像、家禽异常进食等级、异常进食信号。

2.如权利要求1所述的方法，其特征在于，所述根据家禽头部关键点移动轨迹生成时段热度叠加图像具体为：

对家禽头部关键点移动轨迹中的每个轨迹点进行高斯模糊处理，得到时段热度叠加图像。

3.如权利要求1所述的方法，其特征在于，所述将摄像头实时采集的禽舍图像进行图像拼接、融合得到禽舍全景图像包括：

提取待拼接禽舍图像的特征点，进行特征点的匹配；根据匹配点对进行单应性矩阵的估计，将待拼接图像转换到同一坐标下；进行图像融合，得到禽舍全景图像。

4.如权利要求1所述的方法，其特征在于，所述家禽及食槽检测神经网络包括：

家禽及食槽检测编码器，对禽舍全景图像进行编码、提取特征，得到第一特征图；

第一全连接网络，对第一特征图进行分析，得到家禽包围框锚点与家禽包围框宽、高以及食槽包围框锚点与食槽包围框宽、高。

5.如权利要求1所述的方法，其特征在于，所述家禽头部检测神经网络包括：

家禽头部关键点检测编码器，对家禽图像进行特征提取，得到第二特征图；

家禽头部关键点检测解码器，对第二特征图进行上采样重构，得到家禽头部关键点热力图，其中的热斑表征家禽头部关键点置信度。

Images