CN110163103B

CN110163103B - 一种基于视频图像的生猪行为识别方法和装置

Info

Publication number: CN110163103B
Application number: CN201910312605.7A
Authority: CN
Inventors: 孙龙清; 陈帅华; 刘婷; 刘岩; 刘春红
Original assignee: China Agricultural University
Current assignee: China Agricultural University
Priority date: 2019-04-18
Filing date: 2019-04-18
Publication date: 2021-07-30
Anticipated expiration: 2039-04-18
Also published as: CN110163103A

Abstract

本发明实施例提供一种基于视频图像的生猪行为识别方法和装置，通过对生猪进行目标跟踪，提取生猪的行为特征，具有速度快及检测率高的特点，能够实时处理视频跟踪，HOG，HOF，MBH和Dense Trajectory四种特征能够极大程度地描述目标的行为的底层语义特征，朴素贝叶斯最近邻算法(NBNN)有效避免了视觉词袋模型中特征量化所引起的量化误差，能自然地处理大量数据的分类问题，有效地避免过拟合。

Description

一种基于视频图像的生猪行为识别方法和装置

技术领域

本发明实施例涉及视频图像处理技术领域，尤其涉及一种基于视频图像的生猪行为识别方法和装置。

背景技术

我国是世界上最大的猪肉生产国和消费国，近年来，我国生猪养殖规模不断扩大。虽然生猪养殖产业发展迅速，但是养殖质量效率没有得到提高，相比发达国家，我国的生猪养殖投入的人力成本过高。生猪的采食、饮水、静卧、排泄、行走和跑动等行为特征反应了生猪的生长状态，目前我国对生猪养殖的健康状态分析主要依赖于人工观察，这项工作费时费力，提高了养殖成本，不利于生猪高效生产。

现有的视频图像识别技术主要集中在人的行为识别，少有主要针对生猪的行为识别的系统方法。

发明内容

本发明实施例提供一种基于视频图像的生猪行为识别方法和装置，基于目标跟踪技术，提取目标的行为特征，进而判断生猪的行为健康状况，为猪场养殖人员提供合理有效的决策依据，有助于降低养殖成本，提高养殖效益。

第一方面，本发明实施例提供一种基于视频图像的生猪行为识别方法，包括：

提取行为视频图像中生猪的行为特征，并提取所述生猪的速度特征、加速度特征、位置特征、运动轨迹特征和矩特征；

对所述行为特征以及速度特征、加速度特征、位置特征、运动轨迹特征和矩特征进行归一化和主成分分析PCA降维处理，得到综合特征数据集；

基于朴素贝叶斯最近邻分类方法对所述综合特征数据集进行生猪行为分类识别。

第二方面，本发明实施例提供一种基于视频图像的生猪行为识别装置，包括：

第一模块，用于提取行为视频图像中生猪的行为特征，并提取所述生猪的速度特征、加速度特征、位置特征、运动轨迹特征和矩特征；

第二模块，用于对所述行为特征以及速度特征、加速度特征、位置特征、运动轨迹特征和矩特征进行归一化和主成分分析PCA降维处理，得到综合特征数据集；

第三模块，用于基于朴素贝叶斯最近邻分类方法对所述综合特征数据集进行生猪行为分类识别。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述基于视频图像的生猪行为识别方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述基于视频图像的生猪行为识别方法的步骤。

本发明实施例提供的一种基于视频图像的生猪行为识别方法和装置，通过对生猪进行目标跟踪，提取生猪的行为特征，具有速度快及检测率高的特点，能够实时处理视频跟踪，HOG，HOF，MBH和Dense Trajectory四种特征能够极大程度地描述目标的行为的底层语义特征，朴素贝叶斯最近邻算法(NBNN)有效避免了视觉词袋模型中特征量化所引起的量化误差，能自然地处理大量数据的分类问题，有效地避免过拟合。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的基于视频图像的生猪行为识别方法示意图；

图2为本发明实施例的核化相关滤波的跟踪算法示意图；

图3为本发明实施例的提取生猪的行为特征流程示意图；

图4为本发明实施例的提取生猪的速度特征、加速度特征、位置特征、运动轨迹特征和矩特征流程示意图；

图5为本发明实施例的PCA降维的流程图；

图6为本发明实施例的基于视频图像的生猪行为识别装置示意图；

图7为本发明实施例的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有的视频图像识别技术主要集中在人的行为识别，少有主要针对生猪的行为识别的系统方法。因此本实施例中通过对生猪进行目标跟踪，提取生猪的行为特征，具有速度快及检测率高的特点，能够实时处理视频跟踪， HOG，HOF，MBH和Dense Trajectory四种特征能够极大程度地描述目标的行为的底层语义特征，朴素贝叶斯最近邻算法(NBNN)有效避免了视觉词袋模型中特征量化所引起的量化误差，能自然地处理大量数据的分类问题，有效地避免过拟合。以下将通过多个实施例进行展开说明和介绍。

图1为本发明实施例的一种基于视频图像的生猪行为识别方法，包括：

S30、提取行为视频图像中生猪的行为特征；

S40、并提取所述生猪的速度特征、加速度特征、位置特征、运动轨迹特征和矩特征；

S50、对所述行为特征以及速度特征、加速度特征、位置特征、运动轨迹特征和矩特征进行归一化和主成分分析PCA降维处理，得到综合特征数据集；

S60、基于朴素贝叶斯最近邻分类方法对所述综合特征数据集进行生猪行为分类识别。

在本实施例中，基于目标跟踪技术，提取目标的行为特征，进而判断生猪的行为健康状况，为猪场养殖人员提供合理有效的决策依据，有助于降低养殖成本，提高养殖效益；通过视频图像分析生猪的日常行为并进行数字化，提取生猪的行为特征，并提取所述生猪的速度特征、加速度特征、位置特征、运动轨迹特征和矩特征，能够实时监测生猪的生长状态，极大地能够提高生猪养殖的效率，节约成本，实现生猪养殖健康状态的实时监测。朴素贝叶斯最近邻分类方法(Naive-Bayes Nearest-Neighbor，NBNN)有效避免了视觉词袋模型中特征量化所引起的量化误差，能自然地处理大量数据的分类问题，有效地避免过拟合。

在上述实施例的基础上，作为一种优选的实施方式，提取行为视频图像中生猪的行为特征，还包括：

S10、采集生猪采食、饮水、静卧、排泄、行走和跑动的行为视频片段；

S20、基于核化相关滤波方法对所述行为视频片段中的生猪行为进行检测跟踪，得到生猪的行为视频图像。

在本实施例中，S10具体包括：采集大量生猪养殖过程中的监控视频，将监控视频分割成采食、饮水、静卧、排泄、行走和跑动的行为视频片段，确定为训练集；确保每个行为具有相等的数量，避免训练集的数据不平衡问题。

基于核化相关滤波方法对所述行为视频片段中的生猪行为进行检测跟踪，得到生猪的行为视频图像。如图2中所示，S20具体包括：

S201、输入行为视频片段，标出视频第一帧的生猪跟踪区域。

S202、设定模型的目标函数：

上式中，w为滤波器模板；z为输入图像块，α_i为权重系数；K为核函数。

核方法强大之处是指不用实例化特征空间中的向量，隐式使用高维空间，训练的目的，是为寻找目标函数f(z)＝w^Tz，该函数可最小化样本x_i与它们的回归目标y_i上的平方误差。最小化采样数据和下一帧真实目标位置的距离：

式中，X_i为图像矩阵；y_i为回归值；w为滤波器模板。

其中，λ为控制过拟合的正则参数。

S203、匹配目标区域，定义K^z是测试样本与训练样本在核空间的核矩阵，通过计算可以得到各个测试样本的响应：

式中，

为拉格朗日乘子向量。

其中

是指核矩阵K^z的第一行，找到最大值

对应的位置即为所求。

S204、跟踪过程中更新模板，将双线性插值算法加入到目标模型更新中，滤波器系数α和观测模型x为：

式中，x为循环移位基础样本；

为拉格朗日乘子向量。

在上述实施例的基础上，作为一种优选的实施方式，提取行为视频图像中生猪的行为特征，如图3所示，具体包括：

S301、对所述行为视频图像进行网格划分，在多个空间尺度采集特征点；

S302、获取所述行为视频图像中每个像素点自相关矩阵的特征值，并基于所述特征值设置特征阈值，去除低于所述特征阈值的特征点；

S303、基于特征点在当前行为视频图像中的坐标获取所述特征点在下一帧行为视频图像中的坐标，基于连续多帧行为视频图像中所述特征点的坐标得到所述特征点的特征点轨迹；

S304、基于所述特征点轨迹，提取每帧行为视频图像中所述特征点周围 M×M的区域，以特征点轨迹作为时间轴，以所述行为视频图像作为空间轴，以构成时间-空间共同体，在所述时间-空间共同体上进行网格划分，在空间轴上划分为m份，在时间轴上划分为n份，其中，m＜M，n＜M；

S305、在m×m×n区域上进行行为特征提取。

在本实施例中，在提取生猪的行为特征时，具体包括：

S301、对跟踪框内行为视频图像进行网格划分，在4个空间尺度采集特征点，特征点间隔为5个网格，特征提取在各个尺度上分别进行。

S302、计算每个像素点自相关矩阵的特征值，并设置阈值去除低于阈值的特征点。阈值由下式(5)决定：

上式(5)中，

是图像I中像素点i的特征值，0.001为预先通过试验确定的值。

S303：S302步骤得到的特征点坐标p_t＝(x_t,y_t)，计算该特征点在下一帧的图像中的位置：

上式(6)中，w_t＝(u_t,v_t)为密集光流场，t为时间帧，是由I_t和I_t+1计算得到，u和v分别代表光流的水平和垂直分量。而M代表中值滤波器，尺寸为3*3。连续的15帧图像上的位置即构成了一段轨迹(P_t,P_t+1,…,P_t+15)。

S304、在S特征点轨迹上，每帧图像取特征点周围16×16的区域，构成时间-空间共同体，在这个时间-空间体上进行网格划分，空间上分为2份，时间上划分为3份；

S305、在2×2×3区域上进行行为特征提取。

在上述各实施例的基础上，作为一种优选的实施方式，所述行为特征包括方向梯度直方图(Histogram Of Gradient，HOG)特征，光流方向信息直方图(Histogram Of Flow，HOF)特征，边界信息(Motion Boundary Histograms， MBH)特征和Dense Trajectory特征。

在上述各实施例的基础上，作为一种优选的实施方式，在m×m×n区域上进行行为特征提取，具体包括：

在m×m×n区域上进行方向梯度直方图HOG特征，光流方向信息直方图HOF特征和边界信息MBH特征提取；其中，HOG特征数目取8；HOF 特征数据取9；在将x方向和y方向上的光流方向信息直方图作为两张灰度图像，并分别提取两张所述灰度图像的方向梯度直方图，以作为MBH特征。

在本实施例中，相关滤波算法是目标跟踪的经典算法，具有速度快及检测率高的特点，能够实时处理视频跟踪。HOG，HOF，MBH和Dense Trajectory四种特征能够极大程度地描述目标的行为的底层语义特征。

在上述各实施例的基础上，作为一种优选的实施方式，并提取所述生猪的速度特征、加速度特征、位置特征、运动轨迹特征和矩特征，如图4中所示，具体包括：

S401、提取每帧行为视频图像中的矩形框质心区域的质心坐标，将所述质心坐标作为位置特征，基于连续多帧行为视频图像的质心坐标获取生猪的运动轨迹特征；

S402、获取每相邻两帧行为视频图像的图像矩特征；

S403、基于每相隔第一设定帧的质心坐标运动速度获取加速度特征，基于每相隔第二设定帧的质心坐标运动速度获取速度特征，在本实施例中，每隔二十帧提取质心坐标运动速度，确定为加速度值；每隔六十帧提取质心坐标运动速度，确定为速度值。

在本实施例中，步骤S402具体包括，计算图像每帧的Hu矩，即获取没证行为视频图像的矩特征：

设f(x,y)为二维图像的表达函数，则其(p+q)阶的原点矩可以表示为：

式中，x,y为图像像素位置参数，p,q＝0,1,2,3…。

上式(7)中，Ω表示图像函数x,y的取值区间，m_pq可以看作图像函数在单项式的投影。图像表达函数的(p+q)阶中心矩为：

式中，

通过对(p+q)阶中心矩进行规格化计算得到η_pq如下：

上式(7)～(9)中，p+q＝2,3,…；利用上式计算Hu不变矩。

在上述各实施例的基础上，作为一种优选的实施方式，如图5所示，步骤S50具体包括：

S501、设共有L个训练样本，S30和S40的综合特征的维数是N，由 L视频序列个构成的样本集X＝{x₁,x₂,…,x₃}，该样本集的均值向量

计算公式如下：

S502、计算样本集的协方差矩阵

S503、令

即S＝AA^T，其S的维数为N×N,采用奇异值分解法求解AA^T，将求得的特征值λ按从大到小的顺序排列。设前d个特征值与总的特征值的比值为δ，其计算公式为：

S504、获取前d个特征值所对应的特征子空间。令δ≥80％得到的前d 个特征值为λ_i(i＝1,…,d)，且λ₁≥λ₂≥…≥λ_d＞0以及对应的特征向量v_i (i＝1,…,d)。降维的投影特征矩阵为：

ν＝{ν₁,ν₂,ν₃,…,ν_d} (13)

S505、输出降维后的综合特征数据集：

Z＝ν^TX (14)

在上述各实施例的基础上，作为一种优选的实施方式，基于朴素贝叶斯最近邻分类方法对所述综合特征数据集进行生猪行为分类识别，具体包括：

提取输入视频序列的特征点到各类别的最近邻距离，并提取每个所述特征点的最近邻距离最小的类别C。

步骤S60具体步骤为：

S601、对输入待确定的行为类别的视频序列Q，经S10-S50步骤提取特征，其特征描述子为(d₁,...,d_n)，假设d_i符合独立同分布,C为分类类别，则：

p计算所得概率值。

对上式取对数，则分类准则如下：

S602、S601式子中p(d_i|C)可以通过Parzen窗核函数进行估计：

其中

表示类别C中所有训练图像的特征描述子，L为特征描述子个数。K为高斯核函数，其值非负并且和为1。

S603、最终的分类决策为:

NN_C计算最近邻中心。

本实施例中还提供了一种基于视频图像的生猪行为识别装置，基于上述

各实施例中的基于视频图像的生猪行为识别方法，如图6所示，包括：

第一模块701，用于提取行为视频图像中生猪的行为特征，并提取所述生猪的速度特征、加速度特征、位置特征、运动轨迹特征和矩特征；

第二模块702，用于对所述行为特征以及速度特征、加速度特征、位置特征、运动轨迹特征和矩特征进行归一化和主成分分析PCA降维处理，得到综合特征数据集；

第三模块703，用于基于朴素贝叶斯最近邻分类方法对所述综合特征数据集进行生猪行为分类识别。

图7为本发明实施例提供的电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器 810可以调用存储在存储器830上并可在处理器810上运行的计算机程序，以执行上述各实施例提供的基于视频图像的生猪行为识别方法，例如包括：

S30、提取行为视频图像中生猪的行为特征；

此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U 盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于视频图像的生猪行为识别方法，例如包括：

S30、提取行为视频图像中生猪的行为特征；

本发明实施例还提供本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行如上述的基于视频图像的生猪行为识别方法，例如包括：

S30、提取行为视频图像中生猪的行为特征；

综上所述，本发明实施例提供一种基于视频图像的生猪行为识别方法和装置，通过对生猪进行目标跟踪，提取生猪的行为特征，具有速度快及检测率高的特点，能够实时处理视频跟踪，HOG，HOF，MBH和Dense Trajectory 四种特征能够极大程度地描述目标的行为的底层语义特征，朴素贝叶斯最近邻算法(NBNN)有效避免了视觉词袋模型中特征量化所引起的量化误差，能自然地处理大量数据的分类问题，有效地避免过拟合。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于视频图像的生猪行为识别方法，其特征在于，包括：

基于朴素贝叶斯最近邻分类方法对所述综合特征数据集进行生猪行为分类识别；

所述提取行为视频图像中生猪的行为特征，包括：采集生猪采食、饮水、静卧、排泄、行走和跑动的行为视频片段，将所述行为视频片段确定为训练集，确保所述每个行为具有相等的数量；并基于核化相关滤波方法对所述行为视频片段中的生猪行为进行检测跟踪，得到生猪的行为视频图像。

2.根据权利要求1所述的基于视频图像的生猪行为识别方法，其特征在于，提取行为视频图像中生猪的行为特征，具体包括：

对所述行为视频图像进行网格划分，在多个空间尺度采集特征点；

获取所述行为视频图像中每个像素点自相关矩阵的特征值，并基于所述特征值设置特征阈值，去除低于所述特征阈值的特征点；

基于特征点在当前行为视频图像中的坐标获取所述特征点在下一帧行为视频图像中的坐标，基于连续多帧行为视频图像中所述特征点的坐标得到所述特征点的特征点轨迹；

基于所述特征点轨迹，提取每帧行为视频图像中所述特征点周围M×M的区域，以特征点轨迹作为时间轴，以所述行为视频图像作为空间轴，以构成时间-空间共同体；在所述时间-空间共同体上进行网格划分，在空间轴上划分为m份，在时间轴上划分为n份，在m×m×n区域上进行行为特征提取，其中，m＜M，n＜M。

3.根据权利要求1所述的基于视频图像的生猪行为识别方法，其特征在于，所述行为特征包括方向梯度直方图HOG特征，光流方向信息直方图HOF特征，边界信息MBH特征和DenseTrajectory特征。

4.根据权利要求2所述的基于视频图像的生猪行为识别方法，其特征在于，在m×m×n区域上进行行为特征提取，具体包括：

在m×m×n区域上进行方向梯度直方图HOG特征，光流方向信息直方图HOF特征和边界信息MBH特征提取；其中，HOG特征数目取8；HOF特征数据取9；在将x方向和y方向上的光流方向信息直方图作为两张灰度图像，并分别提取两张所述灰度图像的方向梯度直方图，以作为MBH特征。

5.根据权利要求1所述的基于视频图像的生猪行为识别方法，其特征在于，并提取所述生猪的速度特征、加速度特征、位置特征、运动轨迹特征和矩特征，具体包括：

提取每帧行为视频图像中的矩形框质心区域的质心坐标，将所述质心坐标作为位置特征，基于连续多帧行为视频图像的质心坐标获取生猪的运动轨迹特征；

获取每相邻两帧行为视频图像的图像矩特征，基于每相隔第一设定帧的质心坐标运动速度获取加速度特征，基于每相隔第二设定帧的质心坐标运动速度获取速度特征。

6.根据权利要求1所述的基于视频图像的生猪行为识别方法，其特征在于，基于朴素贝叶斯最近邻分类方法对所述综合特征数据集进行生猪行为分类识别，具体包括：

7.一种基于视频图像的生猪行为识别装置，其特征在于，包括：

第三模块，用于基于朴素贝叶斯最近邻分类方法对所述综合特征数据集进行生猪行为分类识别；

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于视频图像的生猪行为识别方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述基于视频图像的生猪行为识别方法的步骤。