CN115998283A - 一种基于红外图像的猪的呼吸频率检测方法及装置 - Google Patents

Abstract

本发明公开一种基于红外图像的猪的呼吸频率检测方法及装置，检测方法包括：(1)使用红外视频图像采集设备采集猪面部的红外视频图像采集；(2)标记感兴趣的区域；(3)猪鼻孔边缘角点检测；(4)猪鼻孔边缘角点跟踪；(5)猪鼻孔呼吸剖面像素平均值计算；(6)基于离散傅里叶变换的猪的呼吸频率计算。本发明针对现有机器视觉的猪的呼吸频率检测精度受环境光线、猪的行为及环境干扰物等影响，采用红外视频图像设备采集猪只的红外视图图像，传输并存储到计算机中，再由软件系统进行相应的算法处理和识别，并由计算机输出目标猪的呼吸频率，可同一时间检测多只猪的呼吸频率，使猪的呼吸频率检测结果的稳定性和精确度更高。

Description

一种基于红外图像的猪的呼吸频率检测方法及装置

技术领域

本发明涉及红外图像技术、机器视觉技术和对猪的行为进行检测与识别技术，具体涉及基于红外图像的猪的呼吸频率检测方法和装置。

背景技术

养猪行业已由传统粗放型的养殖模式转变为绿色环保集约型的养殖模式，观测猪呼吸频率的传统方法通过目测猪的胸部和腹部的起伏运动情况来实现的，由于猪舍内环境差，长时间在猪舍中观察会影响工作人员的健康，而且仅靠人工观察，人的疲劳和认知程度等因素都会导致信息疏漏，所以，这种方法耗时、费力且不准确，因此，寻找更可靠、更精确、更方便的猪呼吸频率检测方法成为本领域的迫切需求。

近年来，基于机器视觉的动物行为的智能识别与分析方法得到了应用，采用视频摄像机现场采集动物的运动状况，获取动物运动轨迹，计算和记录相关实验数值，分析动物的行为状况；系统硬件一般由视频输入器、图像采集卡、微处理器和显示屏等组成；系统软件由通信、参数设置、图像采集、识别、行为分析、数值计算、并行处理、数据存储查询、显示、报警等模块组成；具有非接触无损、数字化、采样周期可调、可实时在线自动跟踪动物运动轨迹。2011年，纪斌，朱伟兴等建立一个基于脊腹线的模型，得到了一个与呼吸相关的二维信号，实现了基于机器视觉的猪的呼吸频次检测，取得了较好的实验结果。但由于该方法通过测定猪的脊腹线的变化来检测呼吸快慢，猪轮廓的图像预处理的精度会直接影响呼吸检测，结果过于敏感；其次该方法前期采用简单的背景相减法只能得到粗糙的轮廓，对实验结果会造成较大影响；再者该方法后期并没有对呼吸信号进行必要处理，在一定程度上也会影响结果的可靠性。2014年，朱伟兴，唐亮等建立一种基于脊腹区域面积提取方法，得到一个与呼吸相关的二维信号，实现了基于机器视觉的猪的呼吸频率检测，取得较好的实验结果。但由于该方法通过测定猪站立时脊腹区域面积变化来检测呼吸频率，由于猪舍内较脏，干扰物较多(如猪的排泄物、饲料等)，且仅靠自然光照条件，提取完整清晰的脊腹区域存在相当大的难度，同时猪的趴卧等行为影响检测的实时性。

综上，现有机器视觉的猪的呼吸频率检测精度受环境光线、猪的行为及环境干扰物等影响，并且同一时间只能检测一只猪的呼吸频率。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于红外图像的猪的呼吸频率检测方法和装置解决上述背景技术中存在的问题。

为了实现上述目的，本发明提供一种一种基于红外图像的猪的呼吸频率检测方法，包括：

(1)使用红外视频图像采集设备采集猪面部的红外视频图像采集；

(2)标记感兴趣的区域；

(3)猪鼻孔边缘角点检测；

(4)猪鼻孔边缘角点跟踪；

(5)猪鼻孔呼吸剖面像素平均值计算；

(6)基于离散傅里叶变换的猪的呼吸频率计算。

优选的，步骤(2)中包括以下步骤：

A.使用矩形框在鼻孔区域周围手动标记感兴趣的区域；

B.在猪面部的红外图像上标记感兴趣的区域；

C.使用角点检测和注册过程自动跟踪。

优选的，步骤(3)中包括以下步骤：

选择像素强度为角点特征点，并进行跟踪检测呼吸频率；使用最小特征检测方法实现角点检测；

角点检测器通过窗口函数扫描图像，在不同方向上移动窗口确定图像强度的平均变化。角点检测器的运算公式可以表示为：

E(p，q)＝∑_x∑_yω(x，y)[I(x+p，y+p)-I(x，y)]²#(1)式中，E表示原始窗口和移动后窗口之间的平方差之和；p表示x方向上的窗口位移；q表示y方向上的窗口位移；ω(x，y)表示窗口的加权函数；I(x+p，y+p)表示移动后窗口内像素的强度；I(x，y)表示原始窗口内像素的强度；

使用泰勒级数展开简化上述表达式：

I(x+p，y+q)-I(x，y)≈pI_x+qI_y#(2)

E(p，q)≈∑_x∑_yω(x，y)[pI_x+qI_y]²#(3)得到：

矩阵表示为：

式中M可以表示为：

α和β是矩阵M的特征值，定义一个参数R表示为：

R＝min(αβ)#(6)

当R的值大于阈值，则该区域被视为角点。

优选的，步骤(4)中包括以下步骤：

选取猪鼻孔边缘作为跟踪点，对跟踪点进行跟踪，计算出序列图像间的位移量，从而实现红外图像配准；

对于序列红外图像，其中，x，y表示跟踪点的像素坐标，t表示时间序列，则红外图像的像素值为I(x，y，t)；假设，和前一帧图像相比，图像之间仅发生位移且亮度不变，则有：

I(x，y，t)＝I(x+d_x，y+d_y，t+τ)#(7)

其中d_x、d_y是位移量，τ为时间变量，令d＝(d_x，d_y)表示位移变化量。

由上式可知，将t时刻图像中各个像素点平移d的位置，就能够得到t+τ时刻图像的相应窗口中各个像素点；跟踪算法的目的即是求解偏移量d；

定义误差量ε为：

式中，W是特征窗口。

使用I表示t时刻图像，J表示t+τ时刻图像，用积分来表示公式8，等效为：

式中，X＝(x，y)为像素坐标。

根据泰勒公式展开得到：

为了求解偏移量d，令这时ε取得极小值。则有：

其中，

可将式12变换为：

∫∫_W[J(X)-I(X)]g(X)dX＝-[∫∫_Wg(X)g^T(X)dX]d#(13)

令

Z＝-[∫∫_Wg(X)g^T(X)dX]#(14)

e＝∫∫_W[J(X)-I(X)]g(X)dX#(15)

即可求得偏移量：

d＝Z^-1e#(16)

获得两帧图像间的位移，进而根据位移量将两帧进行配准，获得每一帧图像中猪鼻孔边缘像素点。

优选的，步骤(5)中包括以下步骤：

通过猪只呼吸剖面像素平均值的变化规律来反应猪只的呼吸频率；

A.求取鼻孔圆心像素点坐标

根据红外图像的鼻孔壁像素点，通过公式(17)和(18)计算圆心像素点坐标O(x₀，y₀)。

式中，n为鼻孔壁上所有像素点的个数；(x_i，y_i)是鼻孔壁上像素点坐标；

B.求取鼻孔圆的半径和方程

鼻孔圆半径的计算见式(19)；鼻孔圆的方程见式(20)；

(x-x₀)²+(y-y₀)²＝r²#(20)

C.求取呼吸剖面像素平均值

由于鼻孔壁上像素点因呼吸引起的温度变化较小，因此剔除经过鼻孔圆上的像素点，圆内所有像素点构成呼吸剖面，呼吸剖面像素平均值见式(21)。

式中，C_aver为呼吸剖面像素平均值；m为呼吸剖面像素点的个数；C_i为呼吸剖面像素点的像素值。

优选的，步骤(6)中包括以下步骤：

A.通过试验采集呼吸剖面像素平均值数据离散点；

B.从呼吸剖面平均像素值点集中随机选取连续的200个点并绘制拟合曲线；

猪只呼吸匀速，呼吸剖面像素平均值-时间曲线，有明显的周期性，采用离散傅里叶变换进行曲线拟合；

C.计算呼吸频率；

1次完整呼吸过程的周期T可用式(22)计算得到，

式中：Δt_i代表相邻峰值点时间差的绝对值，代入所有峰值点可得到相邻峰值点时间差绝对值的平均值，即为呼吸周期；再将T代入式(23)得到猪只呼吸频率F。

还提供了一种基于红外图像的猪的呼吸频率检测装置，其特征在于，包括现场红外图像采集设备、视频采集卡和计算机以及相应的图像采集、传输和存储算法。现场红外图像采集设备用于红外视频图像的采集、传输并存储到计算机中，再由软件系统进行相应的算法处理和识别，并由计算机输出目标猪的呼吸频率。

本发明的有益效果：

本发明设置了一种基于红外图像的猪的呼吸频率检测方法和装置，针对现有机器视觉的猪的呼吸频率检测精度受环境光线、猪的行为及环境干扰物等影响，采用红外视频图像设备采集猪只的红外视图图像，传输并存储到计算机中，再由软件系统进行相应的算法处理和识别，并由计算机输出目标猪的呼吸频率，可同一时间检测多只猪的呼吸频率，使猪的呼吸频率检测结果的稳定性和精确度更高。

附图说明

图1为本发明检测方法的流程示意图；

图2为红外视频图像采集系统的结构示意图；

图3为本发明中猪鼻孔边缘角点检测的示意图；

图4为本发明猪鼻孔呼吸剖面像素平均值-时间散点图；

图5为猪鼻孔呼吸剖面像素平均值-时间拟合曲线图；

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

参照图1至图5，本发明提供一种基于红外图像的猪的呼吸频率检测方法和装置，本发明提供一种一种基于红外图像的猪的呼吸频率检测方法，包括：

(1)使用红外视频图像采集设备采集猪面部的红外视频图像采集；

(2)标记感兴趣的区域；

(3)猪鼻孔边缘角点检测；

(4)猪鼻孔边缘角点跟踪；

(5)猪鼻孔呼吸剖面像素平均值计算；

(6)基于离散傅里叶变换的猪的呼吸频率计算。

在其中的一实施例中，步骤(1)中，参考图2，红外视频图像采集设备固定在三角支架上，猪只保持静卧/站立状态，红外视频图像采集设备与猪鼻孔保持同一水平且距离0.5米。本发明是基于运动跟踪的，因此在红外视频采集过程中猪的头部和红外成像仪尽量保持不动，避免随意的晃动或突然从画面中消失。同时尽可能的降低温度突变给试验结果带来误差，因此红外视频采集选取在没有明显温度变化的室内环境，红外视频拍摄时长为60秒。

在其中的一实施例中，通过检测鼻孔区域而不是整个面部来检测热点的变化，由于缺乏血液供应，鼻子和耳垂附近的温度低于面部其他部位。此外，它们与环境直接接触，呼吸气体对流会在这些区域产生冷却效应。因此，鼻子区域是跟踪呼吸周期最合适的区域。

步骤(2)中包括以下步骤：

A.使用矩形框在鼻孔区域周围手动标记感兴趣的区域；

B.将完整包含猪鼻孔的区域初始化为感兴趣区域，在猪面部的红外图像上标记感兴趣区域；

C.使用角点检测和注册过程自动跟踪。

在其中的一实施例中，图像中在所有方向上具有较大强度变化的区域被视为角点，在热图像中，像素的强度与温度直接相关。因此，由于受到呼吸现象的影响，靠近鼻孔的像素点具有较高强度变化。因此，鼻孔附近的温度升高会导致像素强度发生很大变化。步骤(3)中包括以下步骤：

参考图3，选择像素强度为角点特征点，并进行跟踪检测呼吸频率；使用最小特征检测方法实现角点检测；

角点检测器通过窗口函数扫描图像，在不同方向上移动窗口确定图像强度的平均变化；角点检测器的运算公式可以表示为：

E(p，q)＝∑_x∑_yω(x，y)[I(x+p，y+p)-I(x，y)]²#(1)式中，E表示原始窗口和移动后窗口之间的平方差之和；p表示x方向上的窗口位移；q表示y方向上的窗口位移；ω(x，y)表示窗口的加权函数；I(x+p，y+p)表示移动后窗口内像素的强度；I(x，y)表示原始窗口内像素的强度；

使用泰勒级数展开简化上述表达式：

I(x+p，y+q)-I(x，y)≈pI_x+qI_y#(2)

E(p，q)≈∑_x∑_yω(x，y)[pI_x+qI_y]²#(3)得到：

矩阵表示为：

式中M可以表示为：

α和β是矩阵M的特征值，定义一个参数R表示为：

R＝min(αβ)#(6)

当R的值大于阈值，则该区域被视为角点。

在其中的一实施例中，在一帧图像中的可靠特征点被称为跟踪点，对跟踪点在图像帧间进行互相关测量，从而发现跟踪点在下一帧图像中的位置从而可计算出两帧图像间的位移。

步骤(4)中包括以下步骤：在步骤3中对红外图像角点检测，选取猪鼻孔边缘作为跟踪点，对跟踪点进行跟踪，计算出序列图像间的位移量，从而实现红外图像配准；

对于序列红外图像，其中，x，y表示跟踪点的像素坐标，t表示时间序列，则红外图像的像素值为I(x，y，t)；假设，和前一帧图像相比，图像之间仅发生位移且亮度不变，则有：

I(x，y，t)＝I(x+d_x，y+d_y，t+τ)#(7)

其中d_x、d_y是位移量，τ为时间变量，令d＝(d_x，d_y)表示位移变化量。

由上式可知，将t时刻图像中各个像素点平移d的位置，就能够得到t+τ时刻图像的相应窗口中各个像素点；跟踪算法的目的即是求解偏移量d；

定义误差量ε为：

式中，W是特征窗口。

使用I表示t时刻图像，J表示t+τ时刻图像，用积分来表示公式8，等效为：

式中，X＝(x，y)为像素坐标。

根据泰勒公式展开得到：

为了求解偏移量d，令这时ε取得极小值。则有：

其中，

可将式12变换为：

∫∫_W[J(X)-I(X)]g(X)dX＝-[∫∫_Wg(X)gT(X)dX]d#(13)

令

Z＝-[∫∫_Wg(X)g^T(X)dX]#(14)

e＝∫∫_W[J(X)-I(X)]g(X)dX#(15)

即可求得偏移量：

d＝Z^-1e#(16)

获得两帧图像间的位移，进而根据位移量将两帧进行配准，获得每一帧图像中猪鼻孔边缘像素点。

在其中的一实施例中，红外图像中像素值与温度值相对应，当猪只呼吸时引起鼻孔内气流的温度变化，因此本发明采用呼吸剖面像素平均值来表达鼻孔内气流的温度变化。步骤(5)中包括以下步骤：

通过猪只呼吸剖面像素平均值的变化规律来反应猪只的呼吸频率；

A.求取鼻孔圆心像素点坐标

根据红外图像的鼻孔壁像素点，通过公式(17)和(18)计算圆心像素点坐标O(x₀，y₀)。

式中，n为鼻孔壁上所有像素点的个数；(x_i，y_i)是鼻孔壁上像素点坐标；

B.求取鼻孔圆的半径和方程

鼻孔圆半径的计算见式(19)；鼻孔圆的方程见式(20)；

(x-x₀)²+(y-y₀)²＝r²#(20)

C.求取呼吸剖面像素平均值

由于鼻孔壁上像素点因呼吸引起的温度变化较小，因此剔除经过鼻孔圆上的像素点，圆内所有像素点构成呼吸剖面，呼吸剖面像素平均值见式(21)。

式中，C_aver为呼吸剖面像素平均值；m为呼吸剖面像素点的个数；C_i为呼吸剖面像素点的像素值。

在其中的一实施例中，在测定猪只呼吸频率时，根据呼吸剖面像素平均值-时间曲线确定1个完整呼吸过程的周期进而获得呼吸频率。当由于通过试验采集呼吸剖面像素平均值数据由离散点组成，无法通过试验数据确定曲线的极值点进而求出呼吸周期，因此需要将离散的像素数据转换成连续数据。

步骤(6)中包括以下步骤：参考图4，

A.通过试验采集呼吸剖面像素平均值数据离散点；

B.由于散点的分布呈非线性关系且存在周期性，符合周期性离散信号的特征，因此采用离散傅里叶变换进行曲线拟合。傅里叶变换原理为任何连续测量的时序或信号，都可以表示为不同频率的正弦波信号机余弦波信号的无限叠加，将信号从时间域转变为频率域进而研究信号的频谱结构和变化规律。通过曲线拟合求得叠加正、余弦函数的频率、振幅和相位值，得到拟合函数具体的表达式。从呼吸剖面平均像素值点集中随机选取连续的200个点并绘制拟合曲线；

参考图5，猪只呼吸匀速，呼吸剖面像素平均值-时间曲线，有明显的周期性，采用离散傅里叶变换进行曲线拟合；该曲线共含有10个峰值点，表示在20秒内猪只经过5次完成的呼吸过程；

C.计算呼吸频率；

1次完整呼吸过程的周期T可用式(22)计算得到，

式中：Δt_i代表相邻峰值点时间差的绝对值，代入所有峰值点可得到相邻峰值点时间差绝对值的平均值，即为呼吸周期；再将T代入式(23)得到猪只呼吸频率F。

还提供了一种基于红外图像的猪的呼吸频率检测装置，其特征在于，包括现场红外图像采集设备、视频采集卡和计算机以及相应的图像采集、传输和存储算法。现场红外图像采集设备用于红外视频图像的采集、传输并存储到计算机中，再由软件系统进行相应的算法处理和识别，并由计算机输出目标猪的呼吸频率。

本发明的有益效果：

本发明设置了一种基于红外图像的猪的呼吸频率检测方法和装置，针对现有机器视觉的猪的呼吸频率检测精度受环境光线、猪的行为及环境干扰物等影响，采用红外视频图像设备采集猪只的红外视图图像，传输并存储到计算机中，再由软件系统进行相应的算法处理和识别，并由计算机输出目标猪的呼吸频率，可同一时间检测多只猪的呼吸频率，使猪的呼吸频率检测结果的稳定性和精确度更高。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换。

Claims (7)

1.一种基于红外图像的猪的呼吸频率检测方法，其特征在于，包括：

(1)使用红外视频图像采集设备采集猪面部的红外视频图像采集；

(2)标记感兴趣的区域；

(3)猪鼻孔边缘角点检测；

(4)猪鼻孔边缘角点跟踪；

(5)猪鼻孔呼吸剖面像素平均值计算；

(6)基于离散傅里叶变换的猪的呼吸频率计算。

2.根据权利要求1所述的基于红外图像的猪的呼吸频率检测方法，其特征在于，步骤(2)中包括以下步骤：

A.使用矩形框在鼻孔区域周围手动标记感兴趣的区域；

B.在猪面部的红外图像上标记感兴趣的区域；

C.使用角点检测和注册过程自动跟踪。

3.根据权利要求1所述的基于红外图像的猪的呼吸频率检测方法，其特征在于，步骤(3)中包括以下步骤：

选择像素强度为角点特征点，并进行跟踪检测呼吸频率；使用最小特征检测方法实现角点检测；

角点检测器通过窗口函数扫描图像，在不同方向上移动窗口确定图像强度的平均变化。角点检测器的运算公式可以表示为：

式中，E表示原始窗口和移动后窗口之间的平方差之和；p表示x方向上的窗口位移；q表示y方向上的窗口位移；ω(x,y)表示窗口的加权函数；I(x+p,y+p)表示移动后窗口内像素的强度；I(x,y)表示原始窗口内像素的强度；

使用泰勒级数展开简化上述表达式：

I(x+p,y+q)-I(x,y)≈pI_x+qI_y#(2)

得到：

E(p,q)≈∑_x∑_yω(x,y)[pI_x+qI_y]²#(3)

矩阵表示为：

式中M可以表示为：

α和β是矩阵M的特征值，定义一个参数R表示为：

R＝min(αβ)#(6)

当R的值大于阈值，则该区域被视为角点。

4.根据权利要求1所述的基于红外图像的猪的呼吸频率检测方法，其特征在于，步骤(4)中包括以下步骤：

选取猪鼻孔边缘作为跟踪点，对跟踪点进行跟踪，计算出序列图像间的位移量，从而实现红外图像配准；

对于序列红外图像，其中，x，y表示跟踪点的像素坐标，t表示时间序列，则红外图像的像素值为I(x,y,t)；假设，和前一帧图像相比，图像之间仅发生位移且亮度不变，则有：

I(x,y,t)＝I(x+d_x,y+d_y,t+τ)#(7)

其中d_x、d_y是位移量，τ为时间变量，令d＝(d_x,d_y)表示位移变化量。

由上式可知，将t时刻图像中各个像素点平移d的位置，就能够得到t+τ时刻图像的相应窗口中各个像素点；跟踪算法的目的即是求解偏移量d；

定义误差量ε为：

式中，W是特征窗口。

使用I表示t时刻图像，J表示t+τ时刻图像，用积分来表示公式8，等效为：

式中，X＝(x,y)为像素坐标。

根据泰勒公式展开得到：

为了求解偏移量d，令这时ε取得极小值。则有：

其中，

可将式12变换为：

∫∫_W[J(X)-I(X)]g(X)dX＝-[∫∫_Wg(X)g^T(X)dX]d#(13)

令

Z＝-[∫∫_Wg(X)g^T(X)dX]#(14)

e＝∫∫_W[J(X)-I(X)]g(X)dX#(15)

即可求得偏移量：

d＝Z^-1e#(16)

获得两帧图像间的位移，进而根据位移量将两帧进行配准，获得每一帧图像中猪鼻孔边缘像素点。

5.根据权利要求1所述的基于红外图像的猪的呼吸频率检测方法，其特征在于，步骤(5)中包括以下步骤：

通过猪只呼吸剖面像素平均值的变化规律来反应猪只的呼吸频率；

A.求取鼻孔圆心像素点坐标

根据红外图像的鼻孔壁像素点，通过公式(17)和(18)计算圆心像素点坐标O(x₀,y₀)。

式中，n为鼻孔壁上所有像素点的个数；(x_i,y_i)是鼻孔壁上像素点坐标；

B.求取鼻孔圆的半径和方程

鼻孔圆半径的计算见式(19)；鼻孔圆的方程见式(20)；

(x-x₀)²+(y-y₀)²＝r²#(20)

C.求取呼吸剖面像素平均值

由于鼻孔壁上像素点因呼吸引起的温度变化较小，因此剔除经过鼻孔圆上的像素点，圆内所有像素点构成呼吸剖面，呼吸剖面像素平均值见式(21)。

式中，C_aver为呼吸剖面像素平均值；m为呼吸剖面像素点的个数；C_i为呼吸剖面像素点的像素值。

6.根据权利要求1所述的基于红外图像的猪的呼吸频率检测方法，其特征在于，步骤(6)中包括以下步骤：

A.通过试验采集呼吸剖面像素平均值数据离散点；

B.从呼吸剖面平均像素值点集中随机选取连续的200个点并绘制拟合曲线；

猪只呼吸匀速，呼吸剖面像素平均值-时间曲线，有明显的周期性，采用离散傅里叶变换进行曲线拟合；

C.计算呼吸频率；

1次完整呼吸过程的周期T可用式(22)计算得到，

式中：Δt_i代表相邻峰值点时间差的绝对值，代入所有峰值点可得到相邻峰值点时间差绝对值的平均值，即为呼吸周期；再将T代入式(23)得到猪只呼吸频率F。

7.根据权利要求1所述的基于红外图像的猪的呼吸频率检测装置，其特征在于，包括现场红外图像采集设备、视频采集卡和计算机以及相应的图像采集、传输和存储算法。现场红外图像采集设备用于红外视频图像的采集、传输并存储到计算机中，再由软件系统进行相应的算法处理和识别，并由计算机输出目标猪的呼吸频率。

Images