CN111985472A - 基于人工智能和主动球机的食槽干草温度图像处理方法 - Google Patents

Abstract

本发明公开了一种基于人工智能和主动球机的食槽干草温度图像处理方法。包括：构建养殖舍建筑信息模型；球机位于养殖舍过道中央顶部，按照固定位姿序列依次调整球机位姿采集各食槽区域RGB图像、热成像；利用食槽包围框信息对食槽区域RGB图像进行裁剪；基于干草感知神经网络对每个食槽感兴趣区域图像进行分类，判断食槽中是否有干草；截取食槽感兴趣区域热成像，利用温度等级检测神经网络对食槽感兴趣区域热成像进行分析分类；将球机实时采集的食槽区域RGB图像进行图像拼接、融合得到养殖舍食槽区域全景图像；结合WebGIS技术对养殖舍建筑信息模型进行可视化。利用本发明，可以实时监测食槽干草温度。

Description

基于人工智能和主动球机的食槽干草温度图像处理方法

技术领域

本发明涉及人工智能、计算机视觉技术领域，具体涉及一种基于人工智能和主动球机的食槽干草温度图像处理方法。

背景技术

对于畜类而言，食用干草的温度会对畜类的身体造成一定的影响，畜类在进食温度较大的干草会造成腹泻、生病等情况，一般方法为通过传感器在牧草干燥过程中或者在投喂前进行温度、湿度检测，这种方法的局限性在于无法实时对已经放置在食槽内的干草进行检测。基于此，有技术提出了通过食槽内设置温度传感器进行实时检测，但此类方法的问题在于，传感器易受到损坏，且易受到环境因素的干扰。

目前用于信息采集的摄像头只负责所监视区域，在对所采集图像的处理中，由于重复采集等情况的存在，难以将信息整合起来，实现对大范围区域的区域信息实时展示。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于人工智能和主动球机的食槽干草温度图像处理方法。

一种基于人工智能和主动球机的食槽干草温度图像处理方法，该方法包括：

步骤1，构建养殖舍建筑信息模型，养殖舍建筑信息模型包括食槽位置信息、球机固定位姿序列；

步骤2，球机位于养殖舍过道中央顶部，按照固定位姿序列依次调整球机位姿采集各食槽区域RGB图像、热成像；

步骤3，基于食槽检测神经网络对食槽区域RGB图像进行检测，得到食槽包围框信息；

步骤4，利用食槽包围框信息对食槽区域RGB图像进行裁剪，截取食槽区域RGB图像中所有食槽感兴趣区域图像；

步骤5，基于干草感知神经网络对每个食槽感兴趣区域图像进行分类，判断食槽中是否有干草；

步骤6，根据步骤5的判断结果，若是则利用食槽包围框信息对食槽区域热成像进行裁剪，截取食槽感兴趣区域热成像，否则输出对应食槽无干草的信息存储到养殖舍建筑信息模型；

步骤7，利用温度等级检测神经网络对食槽感兴趣区域热成像进行分析分类，输出对应食槽的干草温度等级，存储到养殖舍建筑信息模型；

步骤8，将球机实时采集的食槽区域RGB图像进行图像拼接、融合得到养殖舍食槽区域全景图像，将养殖舍食槽区域全景图像投影变换至养殖舍建筑信息模型；

步骤9，结合WebGIS技术对养殖舍建筑信息模型中的多种信息进行可视化，多种信息包括：养殖舍三维空间模型、养殖舍食槽区域全景图像、干草温度等级。

食槽检测神经网络包括：

食槽检测编码器，用于对食槽区域RGB图像进行特征提取，得到食槽特征图；

第一全连接网络，对食槽特征图展开之后的特征向量进行分析，得到食槽包围框锚点与食槽包围框宽、高。

干草感知神经网络包括：

颜色特征提取模块，将食槽感兴趣区域图像由RGB空间转至HSV空间，计算HSV空间图像的颜色直方图特征；

干草感知编码器，用于对输入的食槽感兴趣区域图像进行特征提取，得到食槽感兴趣区域特征图；

第二全连接网络，对食槽感兴趣区域特征图展开得到的特征向量与颜色直方图特征连接得到的特征向量进行分类，输出食槽感兴趣区域是否包含干草的判断结果。

温度等级检测神经网络包括：

温度感知编码器，用于对食槽感兴趣区域热图像进行特征提取；

第三全连接网络，对温度感知编码器的输出进行加权分类，输出干草温度等级。

球机位置固定，根据固定位姿序列调整俯仰角采集各食槽区域RGB图像、热成像。

将球机实时采集的养殖舍RGB图像进行图像拼接、融合得到养殖舍食槽区域全景图像包括：

提取待拼接食槽区域RGB图像的特征点，进行特征点的匹配；根据匹配点对进行单应性矩阵的估计，将待拼接图像转换到同一坐标下；进行图像融合，得到养殖舍食槽区域全景图像。

本发明与现有技术相比，具有以下有益效果：

1.本发明结合视频图像处理技术与深度学习技术，实现了智能化的食槽干草温度监测，相比于人工监测，不仅节省了人力，而且监测结果更具实时性、客观性；相比于温度传感器检测，维护成本更低，获得的温度信息更准确。

2.本发明利用球机根据固定位姿序列调整位姿进行图像采集，相比于传统的各子区域设置摄像头，减少了所需摄像头数量，使用最少的设备即可实现食槽区域图像采集。

3.本发明利用食槽检测神经网络识别食槽，然后根据神经网络输出的包围框信息截取食槽图像，进而对每个食槽的干草温度进行分析，不仅能够隔离工况，适用于不同养殖场，而且提高了每个食槽干草温度状况监测的准确率。

4.本发明设计了干草感知判断神经网络，在食槽中有干草时才进行后续温度检测，不仅避免了无效计算，而且能够获得食槽有无干草的信息。

5.食槽区域一般包括食槽本体、水、饲料、干草，这些对象的颜色各不相同，为了提高干草检测结果，本发明对食槽感兴趣区域图像提取颜色直方图特征，将其与干草感知编码器提取的特征进行连接，由于颜色直方图特征能够很好地表征颜色信息，与编码器提取的特征连接，提高了干草检测准确率。

6.本发明设计了温度等级检测神经网络对食槽感兴趣区域热成像进行分析，能够自动获得干草温度等级结果，无需人工进行统计分析，避免了人工统计分析主观因素的影响，而且提高了本发明方法的智能化程度、客观程度。

7.本发明结合图像拼接技术对采集的图像进行拼接融合，得到食槽区域全景图像，方便监管人员查看。结合建筑信息模型，构建了养殖舍建筑信息模型，养殖舍舍建筑信息模型能够集成多种信息，方便信息管理，而且结合WebGIS技术进行可视化后，能够使监管人员更加清晰明确地了解养殖舍食槽内干草温度情况。

附图说明

图1为本发明方法框架图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于人工智能和主动球机的食槽干草温度图像处理方法。图1为本发明方法框架图。下面通过具体实施例来进行说明。

实施例一：

基于人工智能和主动球机的食槽干草温度图像处理方法：

步骤1，构建养殖舍建筑信息模型，养殖舍建筑信息模型包括食槽位置信息、球机固定位姿序列。

养殖舍建筑信息模型以及信息交换模块是基于BIM的信息处理和数据交换平台。养殖舍建筑信息模型包括养殖舍区域的地理位置信息、养殖舍围栏信息、养殖舍过道信息、食槽等各种用于养殖舍BIM三维空间模型建模所需信息。养殖舍区域BIM还包括当前区域内所使用的球机型号、分辨率、数量。养殖舍建筑信息模型还球机固定位姿序列。球机根据该固定位姿序列可以覆盖拍摄到养殖舍指定区域的食槽区域图像。

养殖舍BIM可以通过信息交换模块接收当前区域内所有传感器感知的数据，并将对应传感器信息按照设置规则存储到中央存储服务器中，根据服务器容量定期覆盖更新以便查询历史数据。例如，养殖舍BIM可以接受图像采集装置实时采集的图像，并通过WebGIS技术进行可视化。

本发明的主要目的为实现养殖舍区食槽区域的成像和食槽中干草温度信息的采集。网络输出的结果为养殖舍区食槽区域的成像和食槽中干草的温度等级。

步骤2，球机位于养殖舍过道中央顶部，按照固定位姿序列依次调整球机位姿采集各食槽区域RGB图像、热成像。

采用球机进行图像采集，球机位置固定，且云台水平方向限制不可旋转，仅可调整俯仰角拍摄图像，目的为便于后续的图像拼接。本实施例适用场景具体为：食槽在道路两边对称分布，且同侧相邻食槽有一定距离，球机部署于过道中心位置正上方，以俯仰角旋转，球机俯仰旋转角度范围一般为[-15°，90°]，因此以52.5°时作为初始视角，此时俯视道路中心。

如果由于球机俯仰角旋转角度范围限制问题，无法捕捉到超过范围的图像信息，因此，实施者可根据养殖舍面积、球机部署高度等因素选择合适的球机部署数目。相较于传统的每个子区域部署一个摄像头的方法，本发明可节省相机投入成本。

球机根据固定位姿序列通过改变位姿(仅俯仰角)，对养殖舍区食槽区域内各食槽子区域进行RGB图像采集。球机的位置固定，部署于道路中心正上方，食槽的位置固定，位于道路两侧，因此在部署相机时，可采用标定法对拍摄不同位置食槽的成像平面与地面平面之间的投影矩阵进行预计算。选择一个位姿作为初始位姿，建议选择52.5°时作为初始视角，且此时应为正俯视道路中心区域。由于可按照固定顺序对食槽进行检测，因此可以对食槽排序，然后按顺序调整位姿。由初始位姿到第一个拍摄位姿，令旋转后对食槽区域拍摄的图像中，食槽中心点位于像平面原点处，计算其旋转角θ₁，同样的，求出之后每次旋转的旋转角，作为球机位姿调整的固定旋转角集合。

步骤3，基于食槽检测神经网络对食槽区域RGB图像进行检测，得到食槽包围框信息。食槽检测神经网络包括：食槽检测编码器，用于对食槽区域RGB图像进行特征提取，得到食槽特征图；第一全连接网络，对食槽特征图进行分析，得到食槽包围框锚点与食槽包围框宽、高。

球机多个位姿采集的RGB图像作为输入，送入食槽检测编码器提取特征，输出食槽特征图Featuremap1。Featuremap1经flatten操作后，作为输入，送入第一全连接网络FC1，以两个点坐标的四个值的形式输出包围框回归结果。

食槽检测神经网络基于区域建议网络，训练方法为：球机多个位姿采集的食槽区域RGB图像作为训练数据集。标注为食槽区域包围框的两个角点坐标与包围框锚点坐标。采用smooth L1函数进行网络的训练。

步骤4，利用食槽包围框信息对食槽区域RGB图像进行裁剪，截取食槽区域RGB图像中所有食槽感兴趣区域图像。一张食槽区域RGB图像可能包含多个食槽，一一截取即可。

步骤5，基于干草感知神经网络对每个食槽感兴趣区域图像进行分类，判断食槽中是否有干草。干草感知神经网络包括：颜色特征提取模块，将食槽感兴趣区域图像由RGB空间转至HSV空间，计算HSV空间图像的颜色直方图特征；干草感知编码器，用于对输入的食槽感兴趣区域图像进行特征提取，得到食槽感兴趣区域特征图；第二全连接网络，对食槽感兴趣区域特征图展开得到的特征向量与颜色直方图特征连接得到的特征向量进行分类，输出食槽感兴趣区域是否包含干草的判断结果。实施者可以不提取颜色直方图特征，仅使用干草感知编码器、第二全连接网络。但是，一般情况下食槽区域包括食槽本体、水、饲料、干草，颜色各不相同，为了提高干草检测准确率，本发明将颜色直方图特征与编码器提取的特征连接，能够得到更准确的检测结果。

将食槽感兴趣区域图像由RGB空间转至HSV空间，计算HSV空间图像的颜色直方图特征。将裁剪后的食槽感兴趣区域图像作为输入，利用干草感知神经网络进行处理，送入干草感知编码器中进行特征提取。提取特征展开后与颜色直方图特征连接送入第二全连接网络FC2，经过softmax函数输出二分类结果，即槽内有干草/槽内无干草。以槽内有干草这一结果作为温度检测的开启信号。

干草感知神经网络训练的具体方法为：选择裁剪后的各子区域摄像头拍摄的相同尺寸的食槽感兴趣区域RGB图像作为训练数据集。对数据集的标注，具体为对是否有干草作标注，在标注时，干草过少的图像也标注为无干草。将图像与提取的颜色直方图特征输入干草感知神经网络，采用交叉熵损失函数，随机梯度下降法进行网络的训练。

步骤6，根据步骤5的判断结果，若是则利用食槽包围框信息对食槽区域热成像进行裁剪，截取食槽感兴趣区域热成像，否则输出对应食槽无干草的信息存储到养殖舍建筑信息模型。

步骤7，利用温度等级检测神经网络对食槽感兴趣区域热成像进行分析分类，输出对应食槽的干草温度等级，存储到养殖舍建筑信息模型。温度等级检测神经网络包括：温度感知编码器，用于对食槽感兴趣区域热成像进行特征提取；第三全连接网络，对温度感知编码器的输出进行加权分类，输出干草温度等级。

将裁剪后得到的食槽感兴趣区域热成像输入温度等级检测神经网络，温度感知编码器提取特征，提取特征后送入第三全连接网络FC3，经过softmax函数输出温度分级结果，在本实施例设置为三级，一级为温度较低；二级为温度正常；三级为温度较高。实施者可以根据实施场景调整。

温度等级检测神经网络训练的具体内容为：选择裁剪后的各子区域摄像头拍摄的相同尺寸的食槽感兴趣区域热成像后作为训练数据集。本实施例中，对数据集的标注，具体为温度等级，为三级，一级为温度较低；二级为温度正常；三级为温度较高。标注可以通过传统方法。同样采用交叉熵损失函数，随机梯度下降法进行分支的训练。至此得到温度信息，养殖者可以根据经验结合温度信息判断是否对畜类食用有所影响。

步骤8，将球机实时采集的食槽区域RGB图像投影变换到养殖舍建筑信息模型，然后进行图像拼接、融合得到养殖舍食槽区域全景图像。

对采集到的各食槽子区域图像进行投影变换，使图像位于同一个复合全景平面中。投影变换后的图像进行图像拼接操作，将拼接后的图像投影到BIM模型中的二维平面，实现食槽区域的成像。

投影变换将图片投影到一个新的视平面，首先进行角点检测，角点检测的方法有很多，例如Harris角点检测算法、SIFT角点检测算法、SUSAN角点检测算法、Kitchen-Rosenfeld角点检测算法等等，具体算法是公知的，实施者可根据需要的角点特征选择合适的角点。通过相机像平面与BIM地面二维平面之间四个角点的对应点对，通过SVD(奇异值分解)算法得到两个平面之间投影变换的单应性矩阵H，通过单应性矩阵将像平面的点投影到一个复合全景平面上。

进行待拼接食槽区域RGB图像的预处理，包含图像校正和噪声抑制，图像预处理方法是公知的，在此不做赘述。然后进行图像的配准，提取特征点后进行特征点的匹配，将两幅图转换为同一坐标下。特征点的提取的方法有很多，实施者选择合适的特征点对即可。特征点的匹配通过NCC(归一化互相关)、SSD(误差平方和)、K-D树等方法，实施者可根据实际情况选择匹配方法。然后进行单应性矩阵的估计，通过RANSAC方法估算单应性矩阵。最后将所有输入图像变形到复合全景平面上，计算输入图像的变形图像的坐标范围，得到输出图像的大小，计算源图像原点与输出全景图原点的偏移量，然后将每个输入源图像的像素映射到输出平面上。最后进行图像的融合，方法为羽化法、金字塔法、梯度法等。实施者可根据实际情况选择合适的图像融合方法。

步骤9，结合WebGIS技术对养殖舍建筑信息模型中的多种信息进行可视化，多种信息包括：养殖舍三维空间模型、养殖舍食槽区域全景图像、干草温度等级。

为了直观的呈现出系统输出的信息，本发明结合养殖舍BIM，通过WebGIS进行可视化处理。将子区域图像进行投影变换和拼接操作后，再投影到BIM模型的地面平面中，实现整个养殖舍区区域的成像。通过WebGIS的可视化，养殖者可以在Web上进行食槽中干草温度信息的检索、查询和分析，便于养殖者了解整个区域内干草的温度情况，并作出相应的措施，例如：当干草温度级别为一时，温度等级较低，可能存在干草湿度大的问题，进而导致畜类食用后身体不适，养殖者可根据养殖经验进行处理。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于人工智能和主动球机的食槽干草温度图像处理方法，其特征在于，该方法包括：

步骤1，构建养殖舍建筑信息模型，养殖舍建筑信息模型包括食槽位置信息、球机固定位姿序列；

步骤2，球机位于养殖舍过道中央顶部，按照固定位姿序列依次调整球机位姿采集各食槽区域RGB图像、热成像；

步骤3，基于食槽检测神经网络对食槽区域RGB图像进行检测，得到食槽包围框信息；

步骤4，利用食槽包围框信息对食槽区域RGB图像进行裁剪，截取食槽区域RGB图像中所有食槽感兴趣区域图像；

步骤5，基于干草感知神经网络对每个食槽感兴趣区域图像进行分类，判断食槽中是否有干草；

步骤6，根据步骤5的判断结果，若是则利用食槽包围框信息对食槽区域热成像进行裁剪，截取食槽感兴趣区域热成像，否则输出对应食槽无干草的信息存储到养殖舍建筑信息模型；

步骤7，利用温度等级检测神经网络对食槽感兴趣区域热成像进行分析分类，输出对应食槽的干草温度等级，存储到养殖舍建筑信息模型；

步骤8，将球机实时采集的食槽区域RGB图像进行图像拼接、融合得到养殖舍食槽区域全景图像，将养殖舍食槽区域全景图像投影变换至养殖舍建筑信息模型；

步骤9，结合WebGIS技术对养殖舍建筑信息模型中的多种信息进行可视化，多种信息包括：养殖舍三维空间模型、养殖舍食槽区域全景图像、干草温度等级。

2.如权利要求1所述的方法，其特征在于，所述食槽检测神经网络包括：

食槽检测编码器，用于对食槽区域RGB图像进行特征提取，得到食槽特征图；

第一全连接网络，对食槽特征图展开之后的特征向量进行分析，得到食槽包围框锚点与食槽包围框宽、高。

3.如权利要求1所述的方法，其特征在于，所述干草感知神经网络包括：

颜色特征提取模块，将食槽感兴趣区域图像由RGB空间转至HSV空间，计算HSV空间图像的颜色直方图特征；

干草感知编码器，用于对输入的食槽感兴趣区域图像进行特征提取，得到食槽感兴趣区域特征图；

第二全连接网络，对食槽感兴趣区域特征图展开得到的特征向量与颜色直方图特征连接得到的特征向量进行分类，输出食槽感兴趣区域是否包含干草的判断结果。

4.如权利要求1所述的方法，其特征在于，所述温度等级检测神经网络包括：

温度感知编码器，用于对食槽感兴趣区域热图像进行特征提取；

第三全连接网络，对温度感知编码器的输出进行加权分类，输出干草温度等级。

5.如权利要求1所述的方法，其特征在于，球机位置固定，根据固定位姿序列调整俯仰角采集各食槽区域RGB图像、热成像。

6.如权利要求1所述的方法，其特征在于，所述将球机实时采集的养殖舍RGB图像进行图像拼接、融合得到养殖舍食槽区域全景图像包括：

提取待拼接食槽区域RGB图像的特征点，进行特征点的匹配；根据匹配点对进行单应性矩阵的估计，将待拼接图像转换到同一坐标下；进行图像融合，得到养殖舍食槽区域全景图像。

Images