CN111833331A - 基于人工智能及主动枪球联动的牲畜体温图像处理方法 - Google Patents

Abstract

本发明公开了一种基于人工智能及主动枪球联动的牲畜体温图像处理方法。包括：构建牲畜养殖舍建筑信息模型；采用枪球联动的方式定位牲畜异常停留位置以及牲畜身体中心，结合热成像技术分析牲畜体表温度；结合建筑信息模型定位通风区域分析通风区域温度。利用本发明，避免了不间断地体温检测，降低了功耗而且检、测效率高检测精度高，方便监督人员实时监督管理。

Description

基于人工智能及主动枪球联动的牲畜体温图像处理方法

技术领域

本发明涉及人工智能、智慧畜牧、BIM、计算机视觉技术领域，具体涉及一种基于人工智能及主动枪球联动的牲畜体温图像处理方法。

背景技术

在畜牧行业中，通过畜类的生命体征来表现畜类健康情况是一种重要的方法，传统畜类体温检测一般使用的手段为通过人为操作，采用温度计直接测量。该方法的缺陷在于，对人力资源消耗过大。对于养殖畜类数量较多的养殖场，该方法所需要的工作量和工作时长更大。

对于养殖舍舍区内畜类信息的监控方法，一般采用多个摄像头结合或者一个广角摄像头的相机选型，对于多个摄像头的情况，配置所需要数目的摄像头太过昂贵；对于单个广角摄像头的情况，无法精准的把握到细节信息。

对于养殖舍舍区内通风区域正常运行的检测方法，一般通过人眼观察，由养殖者根据主观判断。这种方法缺陷在于缺乏客观性且仍对人力资源有所消耗。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于人工智能及主动枪球联动的牲畜体温图像处理方法。

一种基于人工智能及主动枪球联动的牲畜体温图像处理方法，该方法包括：

构建牲畜养殖舍建筑信息模型；

枪机位姿固定，对牲畜养殖舍大范围区域进行图像采集，将采集的牲畜养殖舍图像输入牲畜停留检测神经网络，经第一牲畜检测编码器、第二牲畜检测解码器处理，输出第一牲畜身体中心关键点热力图；

利用遗忘算法对一段时间内连续帧第一牲畜身体中心关键点热力图进行热度叠加，得到牲畜移动轨迹热度图；

若牲畜移动轨迹热度图中存在像素点的热度值大于设定热度阈值，则判断存在牲畜异常停留，对最后一帧牲畜身体中心热力图中大于设定阈值的热斑进行后处理得到牲畜异常停留坐标；

将牲畜异常停留坐标投影至牲畜养殖舍建筑信息模型的地面坐标系，将投影得到的坐标传输至球机；

球机根据投影坐标调整自身位姿与焦距，使其瞄准存在牲畜异常停留位置；

球机包括RGB相机与热成像相机，对牲畜异常停留位置区域进行拍摄，分别得到牲畜异常停留位置区域RGB图像与牲畜异常停留位置区域热成像；

将牲畜异常停留位置区域RGB图像输入牲畜位置检测神经网络，经第二牲畜检测编码器、第二牲畜检测解码器处理，输出第二牲畜身体中心关键点热力图；

对第二牲畜身体中心关键点热力图进行后处理得到牲畜身体中心点坐标，分析牲畜异常停留位置区域热成像中相应牲畜身体中心坐标邻域的像素值得到牲畜身体中心热辐射值；

查询体温热辐射量对应表，得到牲畜身体中心热辐射值对应的牲畜体表温度值。

该方法还包括：

从牲畜养殖舍建筑信息模型中获取通风区域位置，调整球机位姿，采集通风区域热成像；

对通风区域热成像中的通风区域ROI内像素值进行降序排序；

基于Top-K方法，取前K个像素值的平均值，查询温度热辐射量对应表，得到通风区域温度。

球机根据投影坐标调整自身位姿与焦距包括：

以旋转前相机光心到对应相机像平面中心的带方向的距离作为向量

旋转后相机光心到对应像平面中心的带方向的距离作为向量

旋转后球机光心对应像平面中心为牲畜养殖舍建筑信息模型中牲畜异常停留坐标，计算球机旋转角θ：

令

为旋转轴，球机旋转向量的方向为旋转轴，球机旋转向量的模为θ，得到球机旋转向量

计算旋转矩阵：设球机旋转向量的单位向量为r＝[r_x r_y r_z]^T，角度为θ，对应球机旋转矩阵为R：

其中I为三阶单位矩阵；

根据旋转矩阵与计算的焦距调整球机位姿，并调整焦距。

分析牲畜异常停留位置区域热成像中相应牲畜身体中心坐标邻域的像素值得到牲畜身体中心热辐射值包括：

将牲畜异常停留位置区域热成像按照图像高度分为上、下两部分；

牲畜异常停留区域热成像上部分以牲畜身体中心坐标为锚点，设置较小尺寸均值滤波窗口，计算牲畜身体中心热辐射值；

牲畜异常停留区域热成像下部分以牲畜身体中心坐标为锚点，设置较大尺寸均值滤波窗口，计算牲畜身体中心热辐射值。

所述第一牲畜检测编码器对大范围牲畜养殖舍图像进行特征提取，输出特征图；

所述第一牲畜检测编码器对特征图进行上采样，输出第一牲畜身体中心关键点热力图。

第二牲畜检测编码器对牲畜异常停留位置区域图像进行特征提取，输出特征图；

所述第二牲畜检测解码器对特征图进行上采样重构，输出第二牲畜身体中心关键点热力图。

所述牲畜停留检测神经网络的训练方法为：

以枪机拍摄的牲畜养殖舍大范围区域图像构建训练数据集；

标注图像中的牲畜身体中心点，通过高斯模糊生成热斑，得到牲畜身体中心点热力图标签数据；

将训练数据集及其标签数据输入牲畜停留检测神经网络，采用均方误差损失函数进行训练。

该方法还包括：

将牲畜体表温度值、通风区域温度值、摄像头采集的图像实时上传到牲畜养殖舍建筑信息模型，结合WebGIS技术对牲畜养殖舍建筑信息模型进行可视化。

本发明与现有技术相比，具有以下有益效果：

1.本发明基于计算机视觉技术，对牲畜进行定位以及体温检测，降低了人力成本，检测效率高，检测精度高。

2.本发明基于深度学习技术，设计了牲畜停留检测神经网络、牲畜位置检测神经网络，泛化能力强、鲁棒性好，而且相比于传统的包围框检测方法，抗遮挡效果好，即使在存在遮挡物的情况下也能获得良好的检测效果。

3.传统的图像采集方式，如采集大范围信息则无法得到小区域细节信息，采集小区域细节信息则无法把控大范围情况，本发明根据枪机、球机的特点，采用枪球联动的方式进行图像采集，对枪机采集的图像进行牲畜异常停留分析，当发现有牲畜异常停留时在调动球机采集指定位置的图像，避免了不间断地体温检测，降低了功耗，而且球机瞄准牲畜异常停留位置，可以获得更清晰的目标位置图像，能够获得牲畜的精准定位，提高牲畜体温检测的准确度。

4.本发明结合建筑信息模型技术，将图像中坐标投影至建筑信息模型地面坐标系，为球机调整位姿提供较为准确的坐标信息，方便球机调整位姿。

5.本发明结合热成像技术，并根据成像原理，将热成像分为两部分，分别设置两个均值滤波窗，计算牲畜身体中心辐射值，不仅计算速度快，而且其计算结果表征牲畜体表温度的准确率更高。

6.本发明针对枪机、球机拍摄图像的不同，分别使用不同的训练样本对畜牧动物检测深度神经网络、入栏检测深度神经网络进行训练，能够提高网络检测精度。

7.本发明结合建筑信息模型技术，当球机没有牲畜体温检测任务时，对通风区域进行温度检测，实现自动化的通风区域温度检测，并传输至牲畜养殖舍建筑信息模型，方便监督人员实时了解牲畜养殖舍温度情况。

8.本发明结合建筑信息模型技术，构建牲畜养殖舍建筑信息模型，能够整合各种畜牧场景信息，提高了智慧畜牧模型信息集成能力，而且结合WebGIS技术进行可视化，方便监督人员进行实时监控和管理。

附图说明

图1为本发明方法框架图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于人工智能及主动枪球联动的牲畜体温图像处理方法。其它畜牧动物如猪、羊均类似。图1为本发明方法框架图。下面通过具体实施例来进行说明。

实施例1：

本实施例以牛为例，说明基于人工智能及主动枪球联动的牲畜体温图像处理方法。为了实现本发明，需要构建牛舍建筑信息模型BIM及其信息交换模块。

牛舍建筑信息模型BIM及其信息交换模块是一种基于BIM的信息处理和数据交换平台。

牛舍建筑信息模型包括牛舍三维建模所需的所有信息，例如牛舍建筑墙、进出口、通风口ROI区域等信息。这些信息中都包含相应的地理位置信息，可以用于牛舍三维建模。牛舍建筑信息模型还可以通过信息交换模块获取相机图像，因此还包括相机感知信息、相机地理位置以及相机位姿。例如固定位姿的枪机的内参矩阵与外参矩阵信息；球机的位置信息、内参矩阵。通过相机位姿信息，即可获得相机固定位姿时拍摄区域某一位置在BIM三维模型地面坐标系下的坐标点。

通过BIM信息与WebGIS技术结合，可以将本发明相机实时采集的图像、深度神经网络的结果、通风区域温度检测结果进行可视化处理，用户可根据需要查看指定范围的牛舍牛群情况，例如得到牛舍区域中牛体温检测的结果和通风区域温度检测的结果，为养殖者判断是否出现牛生病体温异常、通风区域是否畅通以及二者之间是否有联系等提供信息支持。

本发明的主要目的为实现牛舍内牛体温检测和通风区域温度检测，基于热成像技术、牛停留检测神经网络与牛位置检测神经网络实现，最终可以得到牛体温检测结果和通风ROI区域温度检测结果。

枪机为固定位姿的摄像头，其位姿是已知的，对牛舍大范围区域进行图像采集。牛停留检测神经网络的作用为：将枪机采集到的牛舍RGB图像送入第一牛检测编码器中进行特征提取。第一牛检测编码器对大范围牲畜养殖舍图像进行特征提取，输出特征图；第一牛检测编码器对特征图进行上采样，输出第一牛身体中心关键点热力图。提取的第一特征图送入第一牛检测解码器中输出第一牛身体中心关键点热力图Heatmap1。需要说明的是，枪机可以设置多个。以对牛舍全面覆盖。相应地，球机也设置多个，每个枪机对应一个球机，枪机和其对应的球机平移矩阵参数一致，球机通过旋转、调焦完成拍摄。需要说明的是，编码器解码器的实现方式有很多，例如卷积模块、残差模块，实施者可以根据需要选择，实现相应的特征提取、上采样解码还原功能即可。

牛停留检测神经网络的具体训练方法为：以枪机拍摄的牛舍大范围区域的多帧图像作为训练数据集。对训练集进行标注，对以牛身体中心点通过高斯模糊生成的一个热斑进行标注。通过均方差损失函数进行训练。

对一段时间内连续帧的Heatmap1利用遗忘算法进行热度叠加，得到热斑的移动轨迹热度图，即牛群移动轨迹热度图。热度叠加操作的遗忘算法，其计算公式为：X＝αx+(1-α)x'，其中x为当前帧牛身体中心关键点热力图，x'为之前帧累加结果，X为累加计算结果，(1-α)为遗忘系数，本发明中α取0.05。

选择合适帧数叠加后的热力图，设置一个热度阈值，当某处点值超过该阈值，判定为存在牛异常停留。以最后一帧的牛身体中心关键点热力图对超过阈值的热斑通过softargmax得到异常停留位置，根据该坐标在BIM中的坐标球机调整位姿。将牛异常停留坐标投影为养殖舍BIM中的地面坐标，且将坐标传输给球机，调用球机对目标位置拍摄。如果存在多个超过阈值的热斑，则获得多个异常停留位置后，进行相应的位姿的调整。

球机包括RGB相机和热成像相机，可根据枪机传输的坐标调整位姿，瞄准目标位置，对目标坐标附近区域进行图像采集。

球机位姿的调整，其具体方法为：首先，以旋转前相机光心到对应相机像平面中心的带方向的距离作为向量

旋转后相机光心到对应像平面中心的带方向的距离作为向量

需要说明的是，相机中心在旋转过程中会有一些位置偏移，但可以忽略不计。得到旋转角θ，其公式为：

在本发明中，每次旋转前后像平面中心为牛身体中心点或通风区域ROI中心点。

接着，

为旋转轴，旋转向量的方向为旋转轴，旋转向量的模为θ，得到旋转向量

接着，通过Rodrigues变换得到旋转矩阵R。其变换过程为：设旋转向量的单位向量为[r_x r_y r_z]^T，角度为θ，对应旋转矩阵为R。公式为：

其中I为三阶单位矩阵。

在本发明的枪球联动摄像头情况下，平移矩阵是已知量。由旋转矩阵和平移矩阵得到相机的外参数矩阵。内参数矩阵K为

其中未知的仅为焦距f，设置合适的焦距使拍摄区域内牛的大小不小于通过高斯核卷积生成的热斑的大小，推荐横纵视场角在45°～60°之间，实施者可根据实际情况自行确定焦距。确定焦距后可以得到相机投影矩阵P＝K[R|t]。根据旋转矩阵与计算的焦距调整球机位姿、焦距。

球机瞄准牛异常停留位置后，将采集到的牛异常停留位置RGB图像送入第二牛检测编码器、第二牛检测解码器中，同样输出第二牛身体中心关键点热力图Heatmap2。第二牛检测编码器对牲畜异常停留位置区域图像进行特征提取，输出特征图；第二牛检测解码器对特征图进行上采样重构，输出第二牛身体中心关键点热力图。通过Heatmap2得到关键点图像坐标，映射到热成像相机采集到的热成像上。也就是说分析牛异常停留位置区域热成像中相应牛身体中心坐标邻域的像素值得到牛身体中心热辐射值。

牛位置检测神经网络与牛停留检测神经网络仅在训练集的选取上有所不同，该模块选取球机各位姿情况下采集的小范围图像作为训练集，其他与牛停留检测神经网络类似。

由于相机拍摄图像存在近大远小的问题，对于热成像，设置不同的均值滤波框大小，滤波框以关键点为中心。例如，将热成像按图片高度维度等分为两部分区域，上半部分采用3*3滤波框，下半部分采用5*5滤波框。对热成像进行均值滤波得到关键点的温度，即牛体表温度。IR图像，其图像点值为辐射量，可通过查表得到辐射量对应的温度值。

从牛舍建筑信息模型中获取通风区域位置，调整球机位姿，采集通风区域热成像；对通风区域热成像中的通风区域ROI内像素值进行降序排序；基于Top-K方法，取前K个像素值的平均值，查询温度热辐射量对应表，得到通风区域温度。

无调用任务下球机下，通风区域温度检测模块：通风区域ROI是已知的BIM信息。根据此信息球机位姿进行调整。热成像相机采集热成像后，对ROI区域范围内进行Top-K操作，得到按温度大小排序的前K个温度值。前K个温度值求均值，作为通风区域的温度检测结果输出。Top-K操作的实现方法可以为类选择排序法、快速排序法、堆排序法等，具体方法是公知的，不作为本发明的保护范围。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于人工智能及主动枪球联动的牲畜体温图像处理方法，其特征在于，该方法包括：

构建牲畜养殖舍建筑信息模型；

枪机位姿固定，对牲畜养殖舍大范围区域进行图像采集，将采集的牲畜养殖舍图像输入牲畜停留检测神经网络，经第一牲畜检测编码器、第二牲畜检测解码器处理，输出第一牲畜身体中心关键点热力图；

利用遗忘算法对一段时间内连续帧第一牲畜身体中心关键点热力图进行热度叠加，得到牲畜移动轨迹热度图；

若牲畜移动轨迹热度图中存在像素点的热度值大于设定热度阈值，则判断存在牲畜异常停留，对最后一帧牲畜身体中心热力图中大于设定阈值的热斑进行后处理得到牲畜异常停留坐标；

将牲畜异常停留坐标投影至牲畜养殖舍建筑信息模型的地面坐标系，将投影得到的坐标传输至球机；

球机根据投影坐标调整自身位姿与焦距，使其瞄准存在牲畜异常停留位置；

球机包括RGB相机与热成像相机，对牲畜异常停留位置区域进行拍摄，分别得到牲畜异常停留位置区域RGB图像与牲畜异常停留位置区域热成像；

将牲畜异常停留位置区域RGB图像输入牲畜位置检测神经网络，经第二牲畜检测编码器、第二牲畜检测解码器处理，输出第二牲畜身体中心关键点热力图；

对第二牲畜身体中心关键点热力图进行后处理得到牲畜身体中心点坐标，分析牲畜异常停留位置区域热成像中相应牲畜身体中心坐标邻域的像素值得到牲畜身体中心热辐射值；

查询体温热辐射量对应表，得到牲畜身体中心热辐射值对应的牲畜体表温度值。

2.如权利要求1所述的方法，其特征在于，该方法还包括：

从牲畜养殖舍建筑信息模型中获取通风区域位置，调整球机位姿，采集通风区域热成像；

对通风区域热成像中的通风区域ROI内像素值进行降序排序；

基于Top-K方法，取前K个像素值的平均值，查询温度热辐射量对应表，得到通风区域温度。

3.如权利要求1所述的方法，其特征在于，球机根据投影坐标调整自身位姿与焦距包括：

以旋转前相机光心到对应相机像平面中心的带方向的距离作为向量

旋转后相机光心到对应像平面中心的带方向的距离作为向量

旋转后球机光心对应像平面中心为牲畜养殖舍建筑信息模型中牲畜异常停留坐标，计算球机旋转角θ：

令

为旋转轴，球机旋转向量的方向为旋转轴，球机旋转向量的模为θ，得到球机旋转向量

计算旋转矩阵：设球机旋转向量的单位向量为r＝[r_x r_y r_z]^T，角度为θ，对应球机旋转矩阵为R：

其中I为三阶单位矩阵；

根据旋转矩阵与调整球机位姿，并调整焦距。

4.如权利要求1所述的方法，其特征在于，分析牲畜异常停留位置区域热成像中相应牲畜身体中心坐标邻域的像素值得到牲畜身体中心热辐射值包括：

将牲畜异常停留位置区域热成像按照图像高度分为上、下两部分；

牲畜异常停留区域热成像上部分以牲畜身体中心坐标为锚点，设置较小尺寸均值滤波窗口，计算牲畜身体中心热辐射值；

牲畜异常停留区域热成像下部分以牲畜身体中心坐标为锚点，设置较大尺寸均值滤波窗口，计算牲畜身体中心热辐射值。

5.如权利要求1所述的方法，其特征在于，所述第一牲畜检测编码器对大范围牲畜养殖舍图像进行特征提取，输出特征图；

所述第一牲畜检测编码器对特征图进行上采样，输出第一牲畜身体中心点热力图。

6.如权利要求1所述的方法，其特征在于，所述第二牲畜检测编码器对牲畜异常停留位置区域图像进行特征提取，输出特征图；

所述第二牲畜检测解码器对特征图进行上采样重构，输出第二牲畜身体中心点热力图。

7.如权利要求1所述的方法，其特征在于，所述牲畜停留检测神经网络的训练方法为：

以枪机拍摄的牲畜养殖舍大范围区域图像构建训练数据集；

标注图像中的牲畜身体中心点，通过高斯模糊生成热斑，得到牲畜身体中心点热力图标签数据；

将训练数据集及其标签数据输入牲畜停留检测神经网络，采用均方误差损失函数进行训练。

8.如权利要求1所述的方法，其特征在于，该方法还包括：

将牲畜体表温度值、通风区域温度值、摄像头采集的图像实时上传到牲畜养殖舍建筑信息模型，结合WebGIS技术对牲畜养殖舍建筑信息模型进行可视化。

Images