CN113643206A - 一种奶牛呼吸情况检测方法 - Google Patents

Abstract

本发明属于奶牛检测技术领域，具体涉及一种奶牛呼吸情况检测方法。本发明首先获取奶牛的深度视频和原始彩色视频，利用深度视频对原始彩色视频进行去抖处理，以得到去抖彩色视频，以解决手持拍摄设备抖动的问题，以还原没有抖动情况下奶牛的视频，然后利用去抖彩色视频、训练好的光流计算模型，并进行相应的计算处理，便可得到奶牛的呼吸运动参数。该方法简单、检测时间短，且效果较高，对奶牛无伤害，效率较高，利于规模化养殖以及饲养管理的发展。

Description

一种奶牛呼吸情况检测方法

技术领域

本发明属于奶牛检测技术领域，具体涉及一种奶牛呼吸情况检测方法。

背景技术

养殖环境的温度和湿度是影响奶牛生产性能和繁殖性能的重要因素，当奶牛受环境胁迫时会产生呼吸急促症状，其呼吸频率的高低反映了养殖环境是否适宜。因此，及时获知牛只呼吸频率对于饲养管理具有重要意义。

现有的奶牛呼吸检测方法通过对固定摄像设备拍摄的奶牛呼吸视频进行呼吸运动的分析，确定奶牛的呼吸情况，包括确定奶牛的呼吸频率。但是，固定摄像设备成本高且不易携带，无法满足当前对于智能设备小型化、便携化的要求。

所以现有技术中有将手持设备应用于奶牛呼吸视频拍摄中。但是，手持设备拍摄视频常常存在人为抖动因素，影响视频拍摄质量，进而使得计算得到的奶牛的呼吸情况不准确。

发明内容

本发明提供了一种奶牛呼吸情况检测方法，用以解决由于抖动因素存在造成确定的奶牛呼吸情况不准确的问题。

为解决上述技术问题，本发明所包括的技术方案以及技术方案对应的有益效果如下：

本发明提供了一种奶牛呼吸情况检测方法，包括如下步骤：

1)获取奶牛的深度视频和原始彩色视频，利用深度视频对原始彩色视频进行如下处理以进行去抖处理，得到去抖彩色视频：

①将原始彩色视频中每一帧原始彩色图像和深度视频中相应帧深度图像进行对齐处理；

②划分各帧深度图像中的前景目标区域和背景区域，结合步骤①的对齐处理结果，相应划分各帧原始彩色图像中的前景目标区域和背景区域；

③提取所有背景特征点的运动轨迹，所述背景特征点为落在各帧原始彩色图像背景区域的特征点；

④对各背景特征点的运动曲线进行滤波处理，并应用于所述原始彩色视频中，以得到去抖彩色视频；

2)将去抖彩色视频的两帧去抖彩色图像输入至训练好的光流计算模型中，得到两帧去抖彩色图像对应的光流场图；利用光流场图中光流的运动信息确定所述两帧去抖彩色图像对应的时间段内奶牛的呼吸运动参数，所述呼吸运动参数包括呼吸运动方向和/或呼吸运动速度。

上述技术方案的有益效果为：本发明首先获取奶牛的深度视频和原始彩色视频，利用深度视频对原始彩色视频进行前景目标区域和背景区域的划分，进而利用背景特征点的运动轨迹对原始彩色视频去抖处理，以得到去抖彩色视频，以解决手持拍摄设备抖动的问题，以还原没有抖动情况下奶牛的视频，然后利用去抖彩色视频、训练好的光流计算模型，并进行相应的计算处理，便可得到奶牛的呼吸运动参数。该方法简单、检测时间短，且效果较高，对奶牛无伤害，效率较高，利于规模化养殖以及饲养管理的发展。

进一步的，步骤2)中，采用如下方法确定所述两帧去抖彩色图像对应的时间段内奶牛的呼吸运动方向：

确定所述光流场图中某一像素点的水平光流在两帧去抖彩色图像之间的变化量Δu和该像素点的垂直光流在两帧去抖彩色图像之间的变化量Δv；

根据如下公式计算得到该像素点的光流运动方向a：

其中，arctan2(Y,X)为python中的numpy中的一个函数，表示给定的X和Y的坐标值的反正切值。

根据光流场图中各像素点的光流运动方向，计算得到所述两帧去抖彩色图像对应的时间段内奶牛的呼吸运动方向。

进一步的，为了准确计算得到奶牛的呼吸运动方向，取所述光流场图中所有像素点的光流运动方向的平均值作为所述两帧去抖彩色图像对应的时间段内奶牛的呼吸运动方向。

进一步的，步骤2)中，采用如下方法确定所述两帧去抖彩色图像对应的时间段内奶牛的呼吸运动速度：

确定所述光流场图中某一像素点的水平光流在两帧去抖彩色图像之间的变化量Δu和该像素点的垂直光流在两帧去抖彩色图像之间的变化量Δv；

根据如下公式计算得到该像素点的光流速度speed：

根据光流场图中各像素点的光流速度，计算得到所述两帧去抖彩色图像对应的时间段内奶牛的呼吸运动速度。

进一步的，为了准确计算得到奶牛的呼吸运动速度，取光流场图中所有像素点的光流速度的平均值作为所述两帧去抖彩色图像对应的时间段内奶牛的呼吸运动速度。

进一步的，所述呼吸运动参数包括呼吸运动方向，所述检测方法还包括步骤3)：采用如下方法以根据奶牛的呼吸运动方向计算得到奶牛的呼吸频率：

根据各个两帧去抖彩色图像对应的时间段内奶牛的呼吸运动方向，以确定整个去抖彩色视频对应的时间段内奶牛的呼吸运动方向随时间的变化情况；

根据奶牛的呼吸运动方向随时间的变化情况，确定去抖彩色视频对应的时间段内奶牛的呼吸运动次数；

根据奶牛的呼吸运动次数计算奶牛的呼吸频率。

进一步的，为了准确得到背景特征点的运动轨迹以进行后续的去抖处理，步骤③所采用的手段为：

采用全局光流法提取落在各帧原始彩色图像的所有特征点；

通过帧间对比法得出所有特征点在不同帧原始彩色图像之间的运动轨迹；

去除所有前景特征点的运动轨迹，得到所有背景特征点的运动轨迹，所述前景特征点为落在各帧原始彩色图像前景目标区域的特征点。

进一步的，步骤④中，采用移动平均滤波器进行所述滤波处理。

进一步的，为了消除异常值的影响和不便于计算的影响，还包括对两帧彩色图像对应的时间段内奶牛的呼吸运动方向进行数据预处理的步骤；所述数据预处理的方式包括以下方式中的至少一种：归一化处理和删除异常值处理，所述删除异常值处理为依据3δ原则进行删除异常值处理。

进一步的，根据奶牛的呼吸运动方向随时间的变化情况确定去抖彩色视频对应的时间段内奶牛的呼吸运动次数的手段为：

以奶牛的呼吸运动方向为纵坐标，以去抖彩色视频的帧数序列或者去抖彩色视频的时间为横坐标，做出牛的呼吸运动方向随时间的变化曲线；

确定所述变化曲线的波峰，将两个相邻波峰之间的呼吸运动方向数据记录为奶牛一次完整的呼吸运动，从而确定去抖彩色视频对应的时间段内奶牛的呼吸运动次数。

附图说明

图1是本发明的奶牛呼吸情况检测方法的流程图；

图2是本发明的视频去抖处理的流程图；

图3是本发明的提取奶牛的呼吸运动参数的流程图；

图4是本发明的确定奶牛的呼吸频率的流程图。

具体实施方式

本发明的基本构思为：本发明获取奶牛的深度视频和原始彩色视频，利用深度图像来精准划分前景目标区域和背景区域，进而利用落在各帧原始彩色图像背景区域的特征点的运动轨迹来消除原始彩色视频中的抖动，得到去抖彩色视频后，便可利用光流计算模型，并进行相应的处理，计算得到两帧去抖彩色图像对应的时间段内奶牛的呼吸运动参数；最后利用呼吸运动参数中的呼吸运动方向可计算得到奶牛的呼吸频率。

下面结合附图及实施例，对本发明进行进一步的详细说明。

方法实施例：

为实施本发明的一种奶牛呼吸情况检测方法，所使用到的工具有手持深度相机、笔记本电脑和USB3.0数据传输线。其整体流程图如图1所示，下面进行详细说明。

步骤一，通过手持深度相机同时拍摄奶牛呼吸时的原始RGB彩色视频和深度视频，并利用深度视频对原始RGB彩色视频进行去抖处理，以得到去抖处理后的RGB彩色视频，称为去抖RGB彩色视频。具体流程如图2所示：

1、采集原始RGB彩色视频和深度视频。

通过手持深度相机同时拍摄奶牛呼吸时的原始RGB彩色视频和深度视频，并将拍摄的原始RGB彩色视频和深度视频通过USB3.0数据传输线传输至笔记本电脑中进行存储，供笔记本电脑进行之后的分析处理。

2、原始RGB彩色视频中每一帧原始RGB彩色图像和深度视频中相应帧深度图像的对齐处理。

由于手持深度相机的RGB摄像头和深度图像摄像头(即红外摄像头)不在同一位置，相应拍摄的RGB彩色视频和深度视频的拍摄角度会有所不同，因此需要对齐原始RGB彩色视频中的每一帧原始RGB彩色图像和深度视频中相应帧的深度图像。

原始RGB彩色图像与深度图像的空间坐标系是不同的，原始RGB图像的原点为RGB摄像头，深度图像的原点为红外摄像头，两者会有一定的误差。本实施例中使用算法将两者对齐，对其的原理为：将深度图像上的2D点转换到世界坐标的3D点，再将世界坐标的3D点投影到原始RGB彩色图像上。

3、划分原始RGB彩色视频中每一帧原始RGB彩色图像的前景目标区域和背景区域。

在深度图像中，拍摄的主体是运动的前景目标，前景目标相对于背景而言离摄像头更近，利用深度值的不同，可以有效且准确地划分深度图像的前景目标区域与其他区域(即背景区域)。进而基于深度图像的划分结果、以及步骤2中原始RGB彩色图像和深度图像的对齐结果，便可在原始RGB彩色图像中划分前景目标区域和背景区域。划分好原始RGB彩色视频中每一帧原始RGB彩色图像的背景区域后，得到背景区域的像素坐标，便于进行下一步操作。

4、提取背景特征点并确定背景特征点的运动曲线(即特征曲线)。

①使用lk全局光流法在划分好区域后的原始RGB彩色视频中检测角点，即特征点。

②进而通过帧间对比得出所有特征点在不同帧原始RGB彩色图像之间的运动轨迹。本实施例中采用三个变量来描述特征点的运动，分别为特征点横向位移x，特征点垂直位移y，特征点旋转角度θ，将这些值记录到数组中，通过数值随帧数的变化得到运动轨迹，从而得到x、y、θ三个变量的运动曲线。

③由于前景目标的运动会影响特征点的运动轨迹，导致无法估计相机的运动(人为抖动因素)，因此需要舍弃落在前景目标区域的特征点的运动轨迹，称为前景特征点的运动轨迹；去除所有的前景特征点的运动轨迹后，得到所有落在背景区域特征点的运动轨迹，即背景特征点的运动曲线。

5、平滑背景特征点的运动轨迹。

本实施例中采用移动平均滤波器对各背景特征点的运动轨迹进行平滑处理。移动平均滤波器将函数在某一点上的值替换为由窗口定义的其相邻函数的平均值。

下面通过一个例子说明如何处理上述三条运动曲线。在数组c中存储了一条运动曲线，那么运动曲线上的点为c[0]、c[1]、……、c[n-1]；设f是通过宽度为5的移动平均滤波器过滤c得到的平滑曲线。对该运动曲线中的第k个元素使用如下公式计算得到平滑后的值。

整个平滑过程通过移动平均滤波器处理，并应用于原始彩色视频中，以得到去抖彩色视频。具体处理方式和原理为：本实施例中这里通过x、y、θ三个变量描述特征点的运动，比如一个特征点在相邻帧中的运动可以描述为该点横坐标轴上移动了x，在纵坐标轴上移动了y，旋转了θ角度。特征点的运动轨迹是由特征点原始坐标加上运动(x,y,θ)累加得到的。原始运动轨迹进行滤波之后可以得到平滑轨迹，平滑轨迹与原始轨迹对比之后得到两者之间的差异，将该差异添加到原有的运动变换中，通过改变x、y、θ三个变量值改变特征点的运动，再应用到每帧原始彩色图像中从而达到去抖动的目的。

而且，这里采用背景特征点的运动轨迹来进行去抖处理是因为背景特征点运动轨迹的变化基本是由抖动造成的，而前景特征点运动轨迹的变化除了由抖动造成的外，还由前景目标自己的移动造成的，所以这里利用背景特征点的运动轨迹来达到去抖的目的。当然，这里去抖动只减少了抖动影响，并不能实现完全消除抖动。

6、得到去抖处理后的RGB彩色视频，称为去抖RGB彩色视频。

将稳定帧的视频流输出为可播放的视频，即可得到稳像处理后的RGB彩色视频。去除了相机抖动后，原视频变为只存在前景目标运动信息的视频(即去抖RGB彩色视频)，以便于分析前景目标的运动规律。

步骤二，从步骤一得到的去抖RGB彩色视频中提取奶牛的呼吸运动参数。具体流程如图3所示：

1、将去抖RGB彩色视频的相邻两帧去抖彩色图像输入至训练好的光流计算模型(本实施例中选用FlowNet2.0模型)进行处理，以得到相邻两帧去抖RGB彩色图像对应的光流场图。这里每两帧相邻的去抖RGB彩色图像便可得到一光流场图。

配置好FlowNet2.0模型所需环境，将去抖RGB彩色视频中相邻两帧去抖RGB彩色图像输入至FlowNet2.0模型中，获取视频的帧数信息以及宽高信息，获取构建flownet框架所需的参数。利用训练集对FlowNet2.0模型进行训练，以得到训练好的FlowNet2.0模型。

2、获取光流场图。

①通过视频前后相邻两帧去抖RGB彩色图像间的对比，计算得到光流的运动方向与大小。用变量u代表水平光流，用变量v代表垂直光流，在前后两帧对比中，Δu代表水平光流在两帧之间的变化量，Δv代表垂直光流在两帧之间的变化量，a代表光流的运动方向，则通过以下公式计算得到光流的速度speed和光流的运动方向a的大小：

其中，arctan2(Y,X)为python中的numpy中的一个函数，表示给定的X和Y的坐标值的反正切值。

②对光流进行可视化操作，使用色调代表光流方向，强度代表光流大小，以通过色彩变化得到视频中光流的可视图，即光流场图。进而便可得到所有相邻两帧去抖RGB彩色图像对应的光流场图。

3、提取奶牛呼吸运动参数。

①根据公式(2)和(3)可分别计算得到光流场图中一个像素点的光流运动方向和光流速度，进而求得该光流场图中所有像素点的光流运动方向和光流速度。

②计算某一光流场图中所有像素的光流运动方向的平均值，该平均值可代表步骤①中所选取的两帧去抖RGB彩色图像对应的时间段内奶牛的呼吸运动方向pa；同理，计算某一光流场图中所有像素的光流速度的平均值，该平均值可代表步骤①中所选取的两帧去抖RGB彩色图像对应的时间段内奶牛的呼吸运动速度ps。

③根据步骤①和步骤②，可得到每一个光流场图对应的奶牛的呼吸运动方向和呼吸运动速度。

步骤三，根据步骤二得到的呼吸运动参数，确定奶牛的呼吸频率。具体流程如图4所示：

1、数据预处理。

对原始的呼吸运动参数进行预处理，判断并去除异常数据。根据正态分布的定义可知，距离平均值3δ之外的概率为P(|x-μ|＞3δ)≤0.003，这属于小概率事件，在默认情况下可以认定，距离超过平均值3δ的样本是不存在的。因此，当样本距离平均值大于3δ，则认定该样本为异常值。以此为依据，将过大或过小数据去除。

2、将预处理后的呼吸运动参数进行归一化处理。

由于数据复杂且不便统计，故需要对预处理后的每帧去抖RGB彩色图像中奶牛的呼吸运动方向和呼吸运动速度进行归一化处理，便于进行进一步的分析。

3、做呼吸运动参数曲线。

将视频的帧数序列frame作为x轴，所有光流场图对应的呼吸运动参数pa、ps作为y轴做出折线图(通过t＝frame/fps也可将视频的时间t作为x轴)。

通过曲线间的对比可以得出呼吸运动方向pa可以很好地反映奶牛呼吸运动的变化，选取呼吸运动方向来判断呼吸频率。

4、查找曲线波峰，计算奶牛的呼吸频率。

对呼吸运动方向曲线使用波峰查找函数。找到相邻两个波峰，取两个波峰之间的数据作为一次完整的呼吸运动。记录去抖RGB彩色视频中奶牛的完整呼吸运动次数，再通过视频时间推断出奶牛的呼吸频率。

至此便可完成本发明的奶牛呼吸情况检测方法。可利用安装在奶牛身上的传感器(或人为判断)获取的奶牛呼吸数据作为真值，计算该方法的准确率。

本实施例中，在提取所有背景特征点的运动轨迹时，所采用的方式为先将所有特征点(包括背景特征点和前景特征点)均找出来，再将前景特征点的运动轨迹删除掉，从而得到背景特征点的运动轨迹。作为其他实施方式，还可采用全局光流法直接提取背景特征点，进而通过帧间对比法得出背景特征点在不同帧原始彩色图像之间的运动轨迹。

Claims (10)

1.一种奶牛呼吸情况检测方法，其特征在于，包括如下步骤：

1)获取奶牛的深度视频和原始彩色视频，利用深度视频对原始彩色视频进行如下处理以进行去抖处理，得到去抖彩色视频：

①将原始彩色视频中每一帧原始彩色图像和深度视频中相应帧深度图像进行对齐处理；

②划分各帧深度图像中的前景目标区域和背景区域，结合步骤①的对齐处理结果，相应划分各帧原始彩色图像中的前景目标区域和背景区域；

③提取所有背景特征点的运动轨迹，所述背景特征点为落在各帧原始彩色图像背景区域的特征点；

④对各背景特征点的运动曲线进行滤波处理，并应用于所述原始彩色视频中，以得到去抖彩色视频；

2)将去抖彩色视频的两帧去抖彩色图像输入至训练好的光流计算模型中，得到两帧去抖彩色图像对应的光流场图；利用光流场图中光流的运动信息确定所述两帧去抖彩色图像对应的时间段内奶牛的呼吸运动参数，所述呼吸运动参数包括呼吸运动方向和/或呼吸运动速度。

2.根据权利要求1所述的奶牛呼吸情况检测方法，其特征在于，步骤2)中，采用如下方法确定所述两帧去抖彩色图像对应的时间段内奶牛的呼吸运动方向：

确定所述光流场图中某一像素点的水平光流在两帧去抖彩色图像之间的变化量Δu和该像素点的垂直光流在两帧去抖彩色图像之间的变化量Δv；

根据如下公式计算得到该像素点的光流运动方向a：

其中，arctan2(Y,X)为python中的numpy中的一个函数，表示给定的X和Y的坐标值的反正切值；

根据光流场图中各像素点的光流运动方向，计算得到所述两帧去抖彩色图像对应的时间段内奶牛的呼吸运动方向。

3.根据权利要求2所述的奶牛呼吸情况检测方法，其特征在于，取所述光流场图中所有像素点的光流运动方向的平均值作为所述两帧去抖彩色图像对应的时间段内奶牛的呼吸运动方向。

4.根据权利要求1所述的奶牛呼吸情况检测方法，其特征在于，步骤2)中，采用如下方法确定所述两帧去抖彩色图像对应的时间段内奶牛的呼吸运动速度：

确定所述光流场图中某一像素点的水平光流在两帧去抖彩色图像之间的变化量Δu和该像素点的垂直光流在两帧去抖彩色图像之间的变化量Δv；

根据如下公式计算得到该像素点的光流速度speed：

根据光流场图中各像素点的光流速度，计算得到所述两帧去抖彩色图像对应的时间段内奶牛的呼吸运动速度。

5.根据权利要求4所述的奶牛呼吸情况检测方法，其特征在于，取光流场图中所有像素点的光流速度的平均值作为所述两帧去抖彩色图像对应的时间段内奶牛的呼吸运动速度。

6.根据权利要求1所述的奶牛呼吸情况检测方法，其特征在于，所述呼吸运动参数包括呼吸运动方向，所述检测方法还包括步骤3)：采用如下方法以根据奶牛的呼吸运动方向计算得到奶牛的呼吸频率：

根据各个两帧去抖彩色图像对应的时间段内奶牛的呼吸运动方向，以确定整个去抖彩色视频对应的时间段内奶牛的呼吸运动方向随时间的变化情况；

根据奶牛的呼吸运动方向随时间的变化情况，确定去抖彩色视频对应的时间段内奶牛的呼吸运动次数；

根据奶牛的呼吸运动次数计算奶牛的呼吸频率。

7.根据权利要求1所述的奶牛呼吸情况检测方法，其特征在于，步骤③所采用的手段为：

采用全局光流法提取落在各帧原始彩色图像的所有特征点；

通过帧间对比法得出所有特征点在不同帧原始彩色图像之间的运动轨迹；

去除所有前景特征点的运动轨迹，得到所有背景特征点的运动轨迹，所述前景特征点为落在各帧原始彩色图像前景目标区域的特征点。

8.根据权利要求1所述的奶牛呼吸情况检测方法，其特征在于，步骤④中，采用移动平均滤波器进行所述滤波处理。

9.根据权利要求6所述的奶牛呼吸情况检测方法，其特征在于，还包括对两帧彩色图像对应的时间段内奶牛的呼吸运动方向进行数据预处理的步骤；所述数据预处理的方式包括以下方式中的至少一种：归一化处理和删除异常值处理，所述删除异常值处理为依据3δ原则进行删除异常值处理。

10.根据权利要求6所述的奶牛呼吸情况检测方法，其特征在于，根据奶牛的呼吸运动方向随时间的变化情况确定去抖彩色视频对应的时间段内奶牛的呼吸运动次数的手段为：

以奶牛的呼吸运动方向为纵坐标，以去抖彩色视频的帧数序列或者去抖彩色视频的时间为横坐标，做出牛的呼吸运动方向随时间的变化曲线；

确定所述变化曲线的波峰，将两个相邻波峰之间的呼吸运动方向数据记录为奶牛一次完整的呼吸运动，从而确定去抖彩色视频对应的时间段内奶牛的呼吸运动次数。

Images