CN114022907B - 一种基于深度学习的猪只体表测温装置及方法 - Google Patents

Abstract

本发明的一种基于深度学习的猪只体表测温装置及方法属于畜牧养殖领域动物体温测量装置及方法，利用猪只体表测温装置对舍内猪正脸和俯视方向的图像进行巡回拍摄并通过无线通信模块上传服务器，通过训练好的类YOLOv4模型对猪脸、脑门和耳根部位进行识别，然后提取脑门和耳根部位的温度并写入数据库。当检测到猪的体温出现异常时，给猪舍管理员发送报警提醒，进而实现生猪个体体温的实时性监测和预警，避免了传染性疾病在舍内大规模的传播与蔓延。

Description

一种基于深度学习的猪只体表测温装置及方法

技术领域

本发明属于畜牧养殖领域动物体温测量装置及方法，特别是涉及到一种基于深度学习的猪只体表测温装置及方法。

背景技术

随着规模化生猪养殖产业的不断建立和发展，个体的健康状况越来越引起人们的重视。在密集式养殖过程中，半封闭式的舍内环境很容易引起细菌的滋生、病毒的传播，给猪的身体健康带来极大的威胁和挑战。体温是衡量猪只健康的重要生理指标，通过测量体温可以辅助进行疾病诊断和健康检查。猪的体温一般恒定在38.0-39.5℃之间，当某只猪的体温出现异常时，说明它身体某些部分很可能患有炎症。例如呼吸道综合征、呼吸道细菌传染病等，均会引起猪只体温的升高，如不及时发现并治疗，将会导致同舍内大规模猪的死亡，造成巨大的经济损失。因此，对猪的个体体温进行监测，可以有效降低猪只患病的风险，还可以增强猪只活力、提升猪肉品质。

使用直肠等传统接触式测温的方式不仅效率低下，而且重复使用的温度计很容易造成猪只之间的交叉感染，也不能满足规模化的养殖需求。近年来计算机技术不断向前发展，出现了许多基于传感器、红外热像技术的智能测温方法。与传统方式相比，这些新兴的测温方式不仅能够加快猪体温检测的速度，还可以避免个体之间的交叉感染。但是，使用携戴式温度传感器进行测温仍属于一种接触式测温方式，很容易造成猪的应激；现有的红外热像测温方法大多检测的是整只猪全部体表温度的状况，但体表各部位温度存在差异，不能清楚反映真实体温值，也不可以成为疾病诊断的依据。猪的体表温度中，与直肠温度关系最为密切的部位是猪的耳根和脑门，也是人们常用的猪体表关键测温部位。因此，针对猪体表的关键测温部位，需要发明一种智能化的体表测温装置及温度提取方法以方便猪只温度的采集和疾病的预警。而到目前为止，完备的基于无人场景下的非侵入式生猪体表测温装置及检测方法尚不存在。

发明内容

本发明旨在于克服现有技术的不足，提供了一种基于深度学习的猪只体表测温装置及方法。

本发明的一种基于深度学习的猪只体表测温方法，是通过下列步骤实现的：

S1：数据采集

通过猪只体表测温装置的Fotric红外热像仪，每日定时对舍内所有的M只猪的正脸和俯视方向进行拍摄，每次拍摄会同时得到一张猪的红外光谱图像和可见光谱图像；

S2：数据集划分

将S1步骤采集到的包含所有猪只的T张图像数据集进行打乱，使用Labelimg软件对所有图像中猪的脸部、脑门、耳根部位进行标注，然后按照8：1：1的比例将其划分为训练集、验证集和测试集；

S3：生猪个体及关键测温部位识别模型

采用了轻量级的类YOLOv4模型来对生猪个体及关键测温部位进行识别，该识别模型包括四层：输入、Backbone、Neck和Head；

第一层：输入：在模型输入层，原图像经双三次插值方法处理后缩放到416×416大小；

第二层：Backbone：将原Backbone网络中用于下采样的3×3普通卷积核替换为深度可分离卷积核，再利用1×1卷积来对特征层的通道数进行调整；

第三层：Neck：Neck层包含空间金字塔池化（SPP）、特征金字塔（FPN）网络和PAN网络三部分；SPP通过多个不同尺度的池化核对特征图的相关信息进行提取，进而增大感受野并降低过拟合；FPN网络对特征图依次进行上采样，多维度获取空间特征信息；PAN网络会对要识别的猪脸和关键部位的低维特征信息依次进行下采样操作；

第四层：Head，对于Neck层输出的特征图，Head会对其进行一个通道数的统一，并在通道中存储检测框的位置、置信度、类别信息；

S4：模型训练及参数优选

对初始学习率（lr）、学习率调整策略（F(lr)）、批处理大小（k），迭代次数epoch（n）、优化器、标签平滑系数超参数进行设置；在训练过程中，模型对迭代过程中训练集的损失函数值进行计算，并通过反向传播不断对超参数的数值进行优化调整；当达到迭代次数n后，模型训练结束，筛选出最优的模型并对其权值文件进行保存（final-Model.h5）；

S5：猪只体表温度的提取

无线通信模块将拍摄的猪只图像上传至服务器，服务器端将训练好的猪只体表测温部位识别模型（final-Model.h5）进行加载，将实时拍摄获取猪只可将光图像输入模型并进行快速检测，然后获取相应部位检测框的坐标值，并将同一位置映射到红外热成像的温度矩阵中，计算该矩阵内所有温度的最大值、最小值以及平均值，最后将该猪的每日脑门和耳根的体表温度值写入数据库。

作为本发明的进一步改进，还包括体温预警机制，体温预警机制包括数据显示模块和报警模块；当检测到猪的体温超出正常阈值后，通过预警模块进行报警，并将温度异常猪只的相关信息发送给猪舍管理人员。

作为本发明的进一步改进，所述的S3步骤第二层中，在最后一个CSP卷积之后嵌入CBAM混合注意力机制模块，从特征层的通道和空间层面来加强网络对于关键特征的关注。

本发明的一种基于深度学习的猪只体表测温装置，包括剪叉式升降台、机械臂和拍摄模块。所述的剪叉式升降台包括上底座、伸缩杆、剪刀臂和下底座，机械臂包括圆形转盘、摆臂Ⅰ和摆臂Ⅱ，拍摄模块包括门形转动架和Fotric红外热像仪。其中，在上底座和下底座间相对的两侧均铰接了剪刀臂、并在其中间设有伸缩杆；在下底座的下表面设有圆形转盘，圆形转盘下表面的环形轨道内的有可移动的n型连接件、n型连接件与摆臂Ⅰ铰接、摆臂Ⅰ的下端与摆臂Ⅱ铰接，摆臂Ⅱ的下端与U型连接件铰接，U型连接件底部的连接杆与门形转动架相固定，门形转动架的两侧与Fotric红外热像仪铰接，Fotric红外热像仪外固定有处理模块，处理模块内设有无线通信模块。

作为本发明的进一步改进，还包括电动滑轨，电动滑轨是由角铁式导轨和角轮构成，在上底座上固定有角轮，角轮与固定在其上部的角铁式导轨相配合。

作为本发明的进一步改进，所述的拍摄模块还包括防尘罩，在Fotric红外热像仪上的镜头上部安装有弧形防尘罩。

作为本发明的进一步改进，所述的拍摄模块还包括空气温湿度传感器和镜头刷，空气温湿度传感器固定在外热像仪上，在Fotric红外热像仪上的镜头的框架上安装有镜头刷。

本发明的一种基于深度学习的猪只体表测温装置及方法，结合生猪养殖过程中对于个体体温快速提取等方面的需求，利用红外热像采集装置对舍内猪正脸和俯视方向的图像进行巡回拍摄并通过无线通信模块上传服务器，通过训练好的类YOLOv4模型对猪脸、脑门和耳根部位进行识别，然后提取脑门和耳根部位的温度并写入数据库。当检测到猪的体温出现异常时，给猪舍管理员发送报警提醒，进而实现生猪个体体温的实时性监测和预警，避免了传染性疾病在舍内大规模的传播与蔓延。

附图说明

图1 正脸方向拍摄时装置前视图；

图2 正脸方向拍摄时装置轴测图；

图3 正脸方向拍摄时装置侧视图；

图4 俯视方向拍摄时装置前视图；

图5 俯视方向拍摄时装置轴测图；

图6 俯视方向拍摄时装置侧视图；

图7 猪只体表测温及预警机制实现框图；

图8 数据采集过程图；

图9 模型结构图；

图10 模型训练流程图；

其中：1、角铁式导轨；2.、角轮；3、上底座；4、伸缩杆；5、剪刀臂；6、下底座；7、圆形转盘 ；8、摆臂Ⅰ； 9、摆臂Ⅱ9 ；10、转动轴 ；11、 Fotric红外热像仪 ；12、防尘罩 ；13、镜头刷； 14、空气温湿度传感器；15、处理模块 ；16、电机控制模块。

具体实施方式

本发明的一种基于深度学习的猪只体表测温装置及方法，包括两部分：

（一）猪只体表测温装置

本发明的猪只体表测温装置，可以在食槽上方巡检过程中完成对猪正脸和俯视两个方向图像的自动化拍摄任务，两种拍摄模式下装置的前视图、轴测图、侧视图，见图1、2、3、4、5和6。

（1）组成结构及功能

整个采集装置主要由电动滑轨、剪叉式升降台、机械臂、拍摄模块、处理模块和控制模块构成，每部分的组成部件及其功能如下：

第一部分：电动滑轨。电动滑轨主要由角铁式导轨1和角轮2部件组成。相比于直接使用圆形滚轮在导轨内部直接移动的方式，采用角铁式导轨1与角轮2相结合的方式会更加的稳固，可以避免滚轮在长期滑动的过程中发生位置偏移的情况，达到限位的目的。

第二部分：剪叉式升降台。剪叉式升降台主要由上底座3、伸缩杆4、剪刀臂5、下底座6组成，在上底座3和下底座6间相对的两侧均铰接了剪刀臂5、并在其中间设有伸缩杆4，在。在上底座3固定有两组角轮2与角铁式导轨1，在下底座6的下表面固定有电机控制模块16。为满足对不同日龄猪、不同部位的拍摄需求，可以利用剪刀臂5的伸缩性来实现拍摄距离的一个调整。

第三部分：机械臂。机械臂主要由圆形转盘7、摆臂Ⅰ8、摆臂Ⅱ9组成。在下底座6的下表面设有圆形转盘7，圆形转盘7下表面的环形轨道内的有可移动的n型连接件、n型连接件与摆臂Ⅰ8铰接、摆臂Ⅰ8的下端与摆臂Ⅱ9铰接。圆形转盘7能让机械臂在0到360度的圆形范围内自由旋转，这一设计使得机械臂整体的运作更加灵活。摆臂Ⅰ8和二摆臂Ⅱ9可以在0到180度范围内折叠成任意角度，当二者的夹角达到θ度时，与剪叉式升降台相配合，可以完成对于猪正脸和俯视方向图像的采集工作。

第四部分：拍摄模块。拍摄模块主要由门形转动架10、Fotric红外热像仪11、防尘罩12、镜头刷13、空气温湿度传感器14组成。摆臂Ⅱ9的下端与U型连接件铰接，U型连接件底部的连接杆与门形转动架10相固定，门形转动架10的两侧与Fotric红外热像仪11铰接。门形转动架10可以上下360度范围内对热像仪11的角度进行转动。当热像仪11拍摄猪正脸时，门形转动架10将热像仪11镜头调整为水平方向；当热像仪11拍摄猪俯视图时，门形转动架10则将热像仪11镜头调整为竖直方向。由于猪舍内灰尘较大，添加防尘罩12可以减少镜头上方附着的灰尘。另外，空气温湿度传感器14可以对镜头附近的湿度进行实时性监测，当湿度过大时则启动刷子13去湿，避免拍摄模糊。

第五部分：处理模块15。在Fotric红外热像仪11上方设有处理模块15，处理模块15内设有无线通信模可以将热像仪采集的猪只图像数据上传到服务器。

本装置中，电动滑轨、剪叉式升降台、机械臂和拍摄模块的运作均通过电机控制模块16进行驱动。

（2）工作过程

拍摄猪正脸方向的图像时，电机控制模块16开启，启动伸缩杆4，剪刀臂5向下伸长L米后暂停，此时机械臂底端与猪脸持平，摆臂Ⅰ8和摆臂Ⅱ9的角度折叠成θ度，门形转动架10将热像仪11镜头调整到水平方向，空气温湿度传感器14对镜头附近的湿度进行检测，如果湿度在正常范围内，直接启动热像仪11自动调焦功能，然后对猪脸进行拍摄；如果湿度过高,则开启镜头刷13去湿，再启动热像仪11自动调焦功能，最后再对猪脸进行拍摄。

拍摄猪俯视方向的图像时，电机控制模块16开启，按照不同日龄猪只的高度，可通过伸缩杆4带动剪刀臂5在一定范围内对拍摄距离进行调节，摆臂Ⅰ8和摆臂Ⅱ9的角度折叠成θ度，门形转动架10将热像仪11镜头调整到竖直向下的方向，空气温湿度传感器14对镜头附近的湿度进行检测，如果湿度在正常范围内，直接启动热像仪11自动调焦功能，然后对猪耳根部位的俯视方向图进行拍摄；如果湿度过高,则开启镜头刷13去湿，再启动热像仪11自动调焦功能，最后再对猪耳根部位的俯视方向图进行拍摄。

（二）猪只体表测温方法及温度预警机制

猪只体表测温方法及温度预警机制实现框图如图7所示，其具体步骤如下：

S1：数据采集

本发明专利使用上述自设计的猪只体表测温装置，每日定时对舍内所有M只猪的正脸和俯视方向进行拍摄，每次拍摄会同时得到一张猪的红外和可见光图像。数据采集过程如图8所示。

S2：数据集划分

将采集到的包含所有猪只的T张图像数据集进行打乱，使用Labelimg软件对所有图像中猪的脸部、脑门、耳根部位进行标注，然后按照8：1：1的比例将其划分为训练集、验证集和测试集。其中，训练集用于生猪个体及体表关键测温部位（脑门和耳根）识别模型的训练，验证集用于训练过程中模型参数的调整，测试集则用于模型性能的测试。

S3：生猪个体及关键测温部位识别模型

为缩短模型训练时间、提升检测速度，本发明专利采用了一种轻量级的类YOLOv4模型来对生猪个体及关键测温部位进行识别。整个识别模型主要包括四层：输入、Backbone、Neck和Head。模型的具体结构如图9所示。

第一层：输入。在模型输入层，原图像经双三次插值方法处理后被缩放到416×416大小。

第二层：Backbone。为缩短模型整体的训练时间，本专利将原Backbone网络中用于下采样的3×3普通卷积核替换为深度可分离卷积核，再利用1×1卷积来对特征层的通道数进行调整。另外，为提高模型的识别精度，在最后一个CSP卷积之后嵌入CBAM混合注意力机制模块，从特征层的通道和空间层面来加强网络对于关键特征的关注。通过上诉这些改进可以实现Backbone网络层对于有效特征提取的基础上，大幅度降低Backbone网络层的参数量。

第三层：Neck。Neck层包含空间金字塔池化（SPP）、特征金字塔（FPN）网络和PAN网络三部分。SPP通过多个不同尺度的池化核对特征图的相关信息进行提取，进而增大感受野并降低过拟合。FPN网络对特征图依次进行上采样，多维度获取空间特征信息。PAN网络会对要识别的猪脸和关键部位的低维特征信息依次进行下采样操作。

第四层：Head。对于Neck层输出的特征图，Head会对其进行一个通道数的统一，并在通道中存储检测框的位置、置信度、类别信息。

S4：模型训练及参数优选

为缩短在模型训练之前，对初始学习率（lr）、学习率调整策略（F(lr)）、批处理大小（k），迭代次数epoch（n）、优化器、标签平滑系数超参数进行设置。在训练过程中，模型对迭代过程中训练集的损失函数值进行计算，并通过反向传播不断对超参数的数值进行优化调整。当达到迭代次数n后，模型训练结束，筛选出最优的模型并对其权值文件进行保存（final-Model.h5）。模型的训练流程如图10所示。

S5：猪只体表温度的提取

无线通信模块将拍摄的猪只图像上传至服务器，服务器端将训练好的猪只体表测温部位识别模型（final-Model.h5）进行加载，将实时拍摄获取猪只可将光图像输入模型并进行快速检测，然后获取相应部位检测框的坐标值，并将同一位置映射到红外热成像的温度矩阵中，计算该矩阵内所有温度的最大值、最小值以及平均值，最后将该猪的每日脑门和耳根的体表温度值写入数据库。

S6：体温预警机制

体温预警机制包括数据显示模块和报警模块。当检测到猪的体温超出正常阈值后，通过预警模块进行报警，并将温度异常猪只的相关信息（几号猪、温度值）发送给猪舍管理人员。

Claims (7)

1.一种基于深度学习的猪只体表测温方法，是通过下列步骤实现的：

S1：数据采集

通过猪只体表测温装置的Fotric红外热像仪，每日定时对舍内所有的M只猪的正脸和俯视方向进行拍摄，每次拍摄会同时得到一张猪的红外光谱图像和可见光谱图像；

S2：数据集划分

将S1步骤采集到的包含所有猪只的T张图像数据集进行打乱，使用Labelimg软件对所有图像中猪的脸部、脑门、耳根部位进行标注，然后按照8：1：1的比例将其划分为训练集、验证集和测试集；

S3：生猪个体及关键测温部位识别模型

采用了轻量级的类YOLOv4模型来对生猪个体及关键测温部位进行识别，该识别模型包括四层：输入、Backbone、Neck和Head；

第一层：输入：在模型输入层，原图像经双三次插值方法处理后缩放到416×416大小；

第二层：Backbone：将YOLOv4的原Backbone网络中用于下采样的3×3普通卷积核替换为深度可分离卷积核，再利用1×1卷积来对特征层的通道数进行调整；

第三层：Neck：Neck层包含空间金字塔池化SPP、特征金字塔FPN网络和PAN网络三部分；SPP通过多个不同尺度的池化核对特征图的相关信息进行提取，进而增大感受野并降低过拟合；FPN网络对特征图依次进行上采样，多维度获取空间特征信息；PAN网络会对要识别的猪脸和关键部位的低维特征信息依次进行下采样操作；

第四层：Head，对于Neck层输出的特征图，Head会对其进行一个通道数的统一，并在通道中存储检测框的位置、置信度、类别信息；

S4：模型训练及参数优选

对初始学习率、学习率调整策略、批处理大小，迭代次数epoch、优化器、标签平滑系数超参数进行设置；在训练过程中，模型对迭代过程中训练集的损失函数值进行计算，并通过反向传播不断对超参数的数值进行优化调整；当达到迭代次数n后，模型训练结束，筛选出最优的模型并对其权值文件进行保存；

S5：猪只体表温度的提取

无线通信模块将拍摄的猪只图像上传至服务器，服务器端将训练好的生猪个体及关键测温部位识别模型进行加载，将实时拍摄获取猪只可见光图像输入模型并进行快速检测，然后获取相应部位检测框的坐标值，并将相应部位检测框的坐标值映射到红外热成像的温度矩阵中，计算相应部位检测框位置对应温度矩阵内所有温度的最大值、最小值以及平均值，最后将该猪的每日脑门和耳根的体表温度值写入数据库。

2.如权利要求1的所述的一种基于深度学习的猪只体表测温方法，其特在于还包括体温预警机制，体温预警机制包括数据显示模块和报警模块；当检测到猪的体温超出正常阈值后，通过预警模块进行报警，并将温度异常猪只的相关信息发送给猪舍管理人员。

3.如权利要求1所述的一种基于深度学习的猪只体表测温方法，其特在于S3步骤第二层中，在最后一个CSP卷积之后嵌入CBAM混合注意力机制模块，从特征层的通道和空间层面来加强网络对于关键特征的关注。

4.利用权利 要 求 1—3任一项所述的一种基于深度学习的猪只体表测温方法的测温装置，包括剪叉式升降台、机械臂和拍摄模块，其特征在于剪叉式升降台包括上底座（3）、伸缩杆（4）、剪刀臂（5）和下底座（6），机械臂包括圆形转盘（7）、摆臂Ⅰ（8）和摆臂Ⅱ（9），拍摄模块包括门形转动架（10）和Fotric红外热像仪（11）；其中，在上底座（3）和下底座（6）间相对的两侧均铰接了剪刀臂（5）、并在其中间设有伸缩杆（4）；在下底座（6）的下表面固定有圆形转盘（7），圆形转盘（7）下表面的环形轨道内的有可移动的n型连接件、n型连接件与摆臂Ⅰ（8）铰接、摆臂Ⅰ（8）的下端与摆臂Ⅱ（9）铰接，摆臂Ⅱ（9）的下端与U型连接件铰接，U型连接件底部的连接杆与门形转动架（10）相固定，门形转动架（10）的两侧与Fotric红外热像仪（11）铰接，Fotric红外热像仪（11）外固定有处理模块（15），处理模块（15）内设有无线通信模块。

5.如权利要求4所述的测温装置，其特征在于还包括电动滑轨，电动滑轨是由角铁式导轨（1）和角轮（2）构成，在上底座（3）上固定有角轮（2），角轮（2）与固定在其上部的角铁式导轨（1）相配合。

6.如权利要求4所述的测温装置，其特征在于拍摄模块还包括防尘罩（12），在Fotric红外热像仪（11）上的镜头上部安装有防尘罩（12），该防尘罩（12）为弧形。

7.如权利要求4所述的测温装置，其特征在于拍摄模块还包括空气温湿度传感器（14）和镜头刷（13），空气温湿度传感器（14）固定在Fotric 红 外热像仪（11）上，在Fotric红外热像仪（11）上的镜头的框架上安装有镜头刷（13）。

Images