CN110598658B - 一种母猪哺乳行为的卷积网络识别方法 - Google Patents

Abstract

本发明公开了一种母猪哺乳行为的卷积网络识别方法，首先利用一级卷积网络——Mask R‑CNN检测视频帧中侧卧母猪的关键点，以获取视频帧中母猪侧卧哺乳区域，克服在场景中非哺乳区域仔猪运动对哺乳区域时空特征提取的干扰；然后，以视频帧中哺乳区域的RGB图像序列和光流图像序列作为二级卷积网络——卷积双流网络输入，提取哺乳区域中哺乳行为的时空信息，实现哺乳行为的识别。本发明的模型是基于数据驱动的模型，避免了人工设计行为特征，提升了哺乳行为特征的表达能力，为母猪与仔猪间交互式行为——哺乳行为自动监测提供了新的技术方法。

Description

一种母猪哺乳行为的卷积网络识别方法

技术领域

本发明涉及视频识别技术领域，更具体的说是涉及一种母猪哺乳行为的卷积网络识别方法。

背景技术

仔猪的健康和生存率关系到商业养猪中的养殖户的利润和收益。母猪正常的哺乳行为是仔猪得到充足营养的前提条件，也是提高仔猪生存率的重要因素。当前母猪哺乳行为主要依靠人工现场或通过监控视频来观察，并根据养猪经验来判断母猪哺乳行为是否正常，从而进一步采取相关措施。这样的观察模式耗时费力且具有时效滞后性，难以实现规模养殖模式下哺乳行为的长时间、连续性监测，而计算机视觉技术则是实现实时监控的常用的有效手段。

在传统的动物行为识别技术中，常用提取动物的几何特征判断行为是否发生。公开号CN107437069公开了一种通过猪只轮廓匹配识别饮水行为的方法。其使用了Otsu阈值分割方法获取猪只位置，但在识别的过程中未考虑猪只时序运动特征。公开号CN104881636A公开了一种识别猪躺卧行为的方法，其根据深度图像拟合猪只体型椭圆轮廓，并根据椭圆相关几何特征自动判断躺卧行为是否发生。随着深度学习网络的发展，一些传统计算机视觉中的问题得到解决。公开号CN109492535A公开了一种基于DeepLab深度网络分割母猪图像和SVM作为分类器的检测哺乳行为的方法。该方法虽然采用深度网络实现了在复杂场景下的高精度母猪图像分割，并且应用了运动的时空信息，但仍然依靠母猪体型的几何特征定位哺乳区域，且需要人工设计运动描述子，作为SVM输入。

因此，如何提供一种提升哺乳行为表达能力的母猪哺乳行为的识别方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种母猪哺乳行为的卷积网络识别方法，旨在利用一级卷积网络检测哺乳区域，进而二级卷积双流网络提取哺乳区域序列时空信息，实现哺乳行为识别。

为了实现上述目的，本发明提供如下技术方案：

一种母猪哺乳行为的卷积网络识别方法，包括如下具体步骤：

S1、采集哺乳期母猪和仔猪的俯视视频；

S2、建立数据集；

S3、构建Mask R-CNN模型，并训练所述Mask R-CNN模型；

S4、获取所述Mask R-CNN模型对图像中母猪的姿态分类结果，判别母猪的姿态；

S5、被检测为侧卧的母猪图像，根据关键点检测结果，获取自适应的哺乳区域，并输出第一哺乳区域序列；

S6、以第一哺乳区域序列为输入，自动提取哺乳区域，获取第二哺乳区域序列，将第二哺乳区域序列的RBG图像和光流图像作为输入，训练卷积双流网络，识别哺乳行为。

优选的，在上述的一种母猪哺乳行为的卷积网络识别方法，所述S1的具体步骤包括：

获取包含1只母猪和8-12头仔猪的哺乳期母猪和仔猪的俯视视频，视频帧分辨率为m×n像素，帧率为α帧/秒，小猪产后日龄为D_pp天。

优选的，在上述的一种母猪哺乳行为的卷积网络识别方法，所述S2的具体步骤包括：

S21、将获取的数据分为训练集和测试集，训练集图像尺寸统一缩放至m×n，并分别建立训练集1、训练集2、测试集1、测试集2和测试集3；

S22、在训练集1中，每α帧选取1帧图像，对母猪身体部位的6个关键点进行标注，6个关键点分别命名为P1、P2、P3、P4、P5和P6，并且侧卧母猪图像标注为1，非侧卧母猪图像标注为0；通过竖直翻转、水平翻转和180°旋转扩增训练集1，将扩增后的全部数据作为关键点检测模型的训练数据；

S23、从训练集1中，挑选出侧卧母猪视频段，作为训练集2；

S24、在训练集2中，带哺乳行为的视频片段标注为1，不带哺乳行为的视频片段标注为0；视频片段的时间长度为3s，故标注为1或识别为1的片段为疑似哺乳片段；

S25、测试集1与训练集1的标注方法一致，但无需扩增数据；

S26、测试集2与训练集2的标注方法一致，但无需扩增数据，并且其样本长度为β帧；其中，β为15效果最佳。

S27、测试集3为长视频段，连续哺乳行为超过60s的视频帧标注为1，否则为0。

优选的，在上述的一种母猪哺乳行为的卷积网络识别方法，所述S3的具体步骤包括：

S31、构建Mask R-CNN网络，选择ResNet101作为基础网络；在最后的分类输出分支中，将输出通道设置为2，实现对侧卧和非侧卧姿势的分类；关键点检测的输出分支中，将输出通道设置为6，实现对6个关键点的检测；

S32、用扩增的训练集1，来训练Mask R-CNN网络。

优选的，在上述的一种母猪哺乳行为的卷积网络识别方法，所述S4的具体步骤包括：

S41、获取Mask R-CNN对图像中母猪的姿态分类结果，如果母猪姿态被判断为侧卧，则该帧的关键点检测结果会传入S5；如果被判断为非侧卧，则该帧关键点检测结果会被过滤掉；

S42、利用中值滤波对姿态检测结果进行修正，在姿态检测的序列中，如果连续的同一姿态识别结果低于α帧，则该连续结果设置为与之相反的姿态分类结果，以此纠正错误的姿态识别。

优选的，在上述的一种母猪哺乳行为的卷积网络识别方法，所述S5的具体步骤包括：

S51、获取S41中被检测为侧卧的母猪图像，根据关键点检测结果，获取P4、P5和P6的坐标位置；

S52、由P4和P6确定一条线段，在垂直该线段的方向且在母猪的体外，复制P4和P6，复制后的点分别为P41和P61，根据统计分析，复制的距离满足以下条件：

D_dup＝0.36×D₄₆+5.9×D_pp+24.1

式中，D_dup是复制的距离，D₄₆为P4和P6之间的欧氏距离，D_pp为小猪产后日龄；

S53、按P4→P5→P6→P61→P41→P4顺序，形成封闭多边形，该多边形为自适应的哺乳区域，P4→P5→P6→P4区域像素设置为0；输出第一哺乳区域序列；

优选的，在上述的一种母猪哺乳行为的卷积网络识别方法，所述S6的具体步骤包括

S61、构建卷积双流网络；

S62、所述第一哺乳区域序列经过自动提取哺乳区域后，将哺乳区域旋转，旋转使得P4P6线段为哺乳区域矩形的长边，P6P61为哺乳区域矩形的短边，从而得到第二哺乳区域序列；

S63、计算第二哺乳区域序列的光流序列；

S64、利用线性插值法，将第二哺乳区域序列的RGB图像和光流图像尺寸改为m′×n′；通过抽取100张不同栏，不同出生天数的小猪的图像，其中，m′、n′为100张图像长边、短边的平均值；

S65、从S64获取的第二哺乳区域序列中随机选取一张哺乳区域RGB图像，作为双流网络RGB图像分支的输入，以该图像为起点，按时间顺序向后顺延3α-1帧，共提取3α帧光流图，作为光流分支的输入，训练卷积双流网络；其中，按时间顺序向后顺延14帧，共提取15帧光流图，效果最佳。

S66、测试集为长视频段，在完成上述所有训练过程后获得训练模型，将测试集按上述方式逐步输入，对其进行哺乳行为检测，识别长视频段中的疑似哺乳行为片段；

S67、根据母猪哺乳行为的定义，对卷积双流网络的识别结果进行过滤处理，连续识别为哺乳的数量少于20个的视频片段，其对应的识别结果均置0，最终确定整个视频段中哺乳行为的起点和终点。

优选的，在上述的一种母猪哺乳行为的卷积网络识别方法，所述S61的具体步骤包括：

S611、卷积双流网络中的RGB图像分支和光流分支的初始结构相同，按输入顺序其组成依次为：输入层、卷积层1、最大池化层1、卷积层2、最大池化层2，卷积层1和卷积层2的输出通道数分别为16和32；

S612、RGB图像分支和光流分支的初始结构后为融合层，融合方式为拼接卷积融合，即将RGB图像分支和光流分支的初始结构处理后的特征图按通道数拼接在一起，对拼接在一起的特征图进行卷积核尺寸为1×1的卷积，卷积后通道数变为32；

S613、在融合层后，构建两个全连接层和一个Softmax层，两个全连接层的通道数分别是64和2，其dropout rate均设置为0.85。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种母猪哺乳行为的卷积网络识别方法，首先利用Mask R-CNN检测视频帧中侧卧母猪的关键点，以获取视频帧中母猪侧卧哺乳区域，克服在场景中非哺乳区域仔猪运动对哺乳区域时空特征提取的干扰；然后，以视频帧中哺乳区域的RGB图像序列和光流图像序列作为二级卷积网络——卷积双流网络输入，提取哺乳区域中哺乳行为的时空信息，实现哺乳行为的识别。本发明的模型是基于数据驱动的模型，避免了人工设计行为特征，提升了哺乳行为特征的表达能力。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明提出一种母猪哺乳行为的卷积网络识别方法，它是基于数据驱动的模型，避免了人工设计行为特征，提升了哺乳行为特征的表达能力；

2、用一级网络检测视频帧中母猪侧卧哺乳区域。本发明基于MaskR-CNN，实现了母猪姿态判别和与侧卧母猪哺乳区域关键点检测，使得在复杂猪圈环境、光线分布不均匀和母猪皮肤花色与背景相近的情况下，仍然获得理想的侧卧母猪哺乳区域的检测效果；

3、以哺乳区域序列作为二级网络的输入，提取哺乳区域的时空特征，实现较高精度的哺乳行为的识别。利用卷积双流网络作为分类器，充分提取哺乳区域的时空特征。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明母猪哺乳行为识别的级联卷积网络结构图；

图2为本发明卷积双流网络结构图；

图3为本发明训练卷积双流网络时的数据采样示例图；

图4为本发明Mask R-CNN的训练过程的损失函数变化图；

图5为本发明关键点检测和哺乳区域提取效果图；

图6为本发明长视频段哺乳行为识别效果图；

图7为本发明的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种母猪哺乳行为的卷积网络识别方法，首先利用Mask R-CNN检测视频帧中侧卧母猪的关键点，以获取视频帧中母猪侧卧哺乳区域，克服在场景中非哺乳区域仔猪运动对哺乳区域时空特征提取的干扰；然后，以视频帧中哺乳区域的RGB图像序列和光流图像序列作为二级卷积网络——卷积双流网络输入，提取哺乳区域中哺乳行为的时空信息，实现哺乳行为的识别。本发明的模型是基于数据驱动的模型，避免了人工设计行为特征，提升了哺乳行为特征的表达能力。

一种基于时空特征融合的母猪哺乳行为识别方法，包括以下步骤：

S1、采集哺乳期母猪和仔猪的俯视视频；

S11、采集视频图像的在猪舍正上方安装摄像头，摄像头安装高度为2.4-2.7m处，获取包含1只母猪和8-12头仔猪的哺乳期母猪和仔猪的俯视视频，视频帧分辨率为960×540像素，帧率为5帧/秒，猪圈尺寸约为3.8m×2.0m，母猪品种为梅花猪，小猪产后日龄为2-21天；

S2、建立数据集；

S21、将获取的数据分为训练集和测试集。训练集图像尺寸统一缩放至960×540，并分别建立训练集1、训练集2、测试集1、测试集2和测试集3，其数据组成如下表所示；

S22、在训练集1中，每5帧选取1帧图像，用Labelme软件对母猪身体部位的6个关键点进行标注，6个关键点分别命名为P1、P2、P3、P4、P5和P6，并且侧卧母猪图像标注为“1”，非侧卧母猪图像标注为“0”；通过竖直翻转、水平翻转和180°旋转扩增训练集1，将扩增后的全部数据作为关键点检测模型的训练数据。侧卧姿态、哺乳行为和6个关键点的定义如下表所示：

S23、从训练集1中，挑选出侧卧母猪视频段，作为训练集2，视频长度为60-61s；

S24、在训练集2中，带哺乳行为的视频片段标注为“1”，不带哺乳行为的视频片段标注为“0”。视频片段的时间长度为3s，故标注为“1”或识别为“1”的片段为疑似哺乳片段；

S25、测试集1与训练集1的标注方法一致，但无需扩增数据；

S26、测试集2与训练集2的标注方法一致，但无需扩增数据，并且其样本长度为15帧(3s)；

S27、测试集3为长视频段，连续哺乳行为超过60s的标注为“1”，否则为“0”；

S3、训练母猪身体部位关键点检测Mask R-CNN模型；

S31、构建Mask R-CNN网络，选择ResNet101作为基础网络；在最后的分类输出分支中，将输出通道改为2，实现对侧卧和非侧卧姿势的分类；关键点检测的输出分支中，将输出通道改为6，实现对6个关键点的检测；

S32、用扩增的训练集1，来训练Mask R-CNN网络；

S33、总训练迭代次数为17万次，初始学习率为2e-4，当迭代次数到达8万次时学习率降为2e-5，取第17万次迭代时的模型作为最终关键点检测模型，训练过程的损失函数变化如图4所示；

S4、判断母猪的姿态；

S41、获取Mask R-CNN对图像中母猪的姿态分类结果，如果母猪姿态被检测为侧卧，则该帧的关键点检测结果会被传入S5；如果被检测为非侧卧，则该帧检测结果会被过滤掉，不传入下一处理流程；

S42、利用中值滤波对姿态检测结果进行修正。在姿态检测的序列中，如果连续的同一姿态识别结果低于5帧，则该连续结果设置为与之相反的姿态分类结果(侧卧或非侧卧)，以此纠正错误的姿态识别；

S5、获取自适应的哺乳区域；

S51、获取S42中被检测为侧卧的母猪图像，根据关键点检测结果，获取P4、P5和P6的坐标位置；

S52、由P4和P6确定一条线段，在垂直该线段的方向且在母猪的体外，复制P4和P6，复制后的点分别为P41和P61，根据统计分析，复制的距离满足以下条件：

D_dup＝0.36×D₄₆+5.9×D_pp+24.1

式中，D_dup是复制的距离，D₄₆为P4和P6之间的欧氏距离，D_pp为小猪产后日龄；

S53、由按P4→P5→P6→P61→P41→P4顺序，形成封闭多边形，该多边形为自适应的哺乳区域，P4→P5→P6→P4区域像素设置为0，从而减少腹部因呼吸而产生运动信息对哺乳识别的影响。关键点检测效果示例如图5所示；

S54、输出第一哺乳区域序列；

S6、以第一哺乳区域序列为输入，训练卷积双流网络，识别哺乳行为；

S61、构建卷积双流网络，其具体网络结构如图2所示；

S611、卷积双流网络中的RGB图像分支和光流分支的初始结构相同，按输入顺序其组成依次为：输入层、卷积层1、最大池化层1、卷积层2、最大池化层2，卷积层1和卷积层2的输出通道数分别为16和32；

S612、RGB图像分支和光流分支的初始结构后为融合层，融合方式为拼接卷积融合，即将RGB图像分支和光流分支的初始结构处理后的特征图按通道数拼接在一起，对拼接在一起的特征图进行卷积核尺寸为1×1的卷积，卷积后通道数变为32，所述的所有卷积层所用的激活函数均默认为Relu函数；

S613、在融合层后，构建两个全连接层和一个Softmax层，两个全连接层的通道数分别是64和2，其dropout rate均设置为0.85；

S62、训练集2的所有视频帧序列经过自动提取哺乳区域后，将哺乳区域旋转，旋转使得P4P6线段为哺乳区域矩形的长边，P6P61为哺乳区域矩形的短边，从而得到第二哺乳区域序列；

S63、计算第二哺乳区域序列的光流序列。计算出图像中竖直和水平方向的光流强度I_v和I_h，由此计算出每个像素点的光流强度I大小为

S64、利用线性插值法，把哺乳区域RGB图像和光流图像尺寸缩放为260×170；

S65、从S64获取的第二哺乳区域序列中随机选取一张哺乳区域RGB图像，作为双流网络RGB图像分支的输入，以该图像为起点，按时间顺序向后顺延14帧，共提取15帧光流图，如图3所示，作为光流分支的输入，训练卷积双流网络；

S66、在完成上述所有训练过程后获得训练模型，将测试集按上述方式逐步输入；

S67、根据母猪哺乳行为的定义，对卷积双流网络的识别结果进行过滤处理，即连续识别为哺乳的数量少于20个的视频片段，其对应的识别结果均置0，最终确定整个视频段中哺乳行为的起点和终点。

S7、测试结果

S71、对于测试集1，关键点的检测结果与实际标注点的距离小于D₄₆的10％，则认为关键点检测正确。用Average Precision评价各关键点检测效果。对于测试集2，用Accuracy，Sensitivity和Specificity指标评价哺乳行为识别效果，其定义如下。

式中，TP表示真正样本总数，TN表示真负样本总数，FP表示假正样本总数，FN表示假负样本总数；

S72、将测试集1输入训练后的Mask R-CNN网络，结果下表所示；

S73、将测试集2输入训练后的卷积双流网络，测试集2的检测结果分别为：accuracy为0.9401，sensitivity为0.9416，specificity为0.9388；

S74、根据母猪哺乳行为的定义，对卷积双流网络的识别结果进行过滤处理，即连续识别为哺乳的数量少于20个的视频片段，其对应的识别结果均置0，最终确定整个视频段中哺乳行为的起点和终点，测试集的最终识别结果如图5所示，其中a，b，c，d分别母猪视频图像部分缺失、非均匀人工光分布、背景颜色与母猪斑块颜色相近、非均匀自然光分布四种场景下的关键点和哺乳区域检测效果。

综上所述，在采用以上方案后，本发明为猪场环境下母猪哺乳行为监测提供了新方法，能有效克服传统人工监测方式耗时、耗力的缺点，自动识别母猪哺乳行为，为自动化养殖中哺乳行为实时监控提供技术参考。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种母猪哺乳行为的卷积网络识别方法，其特征在于，包括如下具体步骤：

S1、采集哺乳期母猪和仔猪的俯视视频；

S2、建立数据集；

S3、构建MaskR-CNN模型，并训练所述MaskR-CNN模型；

S4、获取所述MaskR-CNN模型对图像中母猪的姿态分类结果，判别母猪的姿态；

S5、被检测为侧卧的母猪图像，对母猪身体部位的6个关键点进行标注，根据关键点检测结果，获取自适应的哺乳区域，并输出第一哺乳区域序列；包括：对于如下关键点：P1猪鼻子前端、P2母猪脖子正对前肢上方外轮廓点、P3母猪臀部轮廓线上端点、P4母猪臀部轮廓线下端点、P5母猪乳房区域外轮廓线最低点、P6母猪可见侧的前肢与身体连接点；执行如下具体步骤：

S51、获取S4中被检测为侧卧的母猪图像，根据关键点检测结果，获取P4、P5和P6的坐标位置；

S52、由P4和P6确定一条线段，在垂直该线段的方向且在母猪的体外，复制P4和P6，复制后的点分别为P41和P61，根据统计分析，复制的距离满足以下条件：

D_dup＝0.36×D₄₆+5.9×D_pp+24.1

式中，D_dup是复制的距离，D₄₆为P4和P6之间的欧氏距离，D_pp为小猪产后日龄，其中0.36、5.9、24.1通过抽取100张不同栏，不同出生天数的小猪的图像，手工测量Ddup和D46，用线性方程拟合这三者之间的关系；

S53、按P4→P5→P6→P61→P41→P4顺序，形成封闭多边形，该多边形为自适应的哺乳区域，P4→P5→P6→P4区域像素设置为0；

S6、以第一哺乳区域序列为输入，自动提取哺乳区域，获取第二哺乳区域序列，将第二哺乳区域序列的RBG图像和光流图像作为输入，训练卷积双流网络，识别哺乳行为。

2.根据权利要求1所述的一种母猪哺乳行为的卷积网络识别方法，其特征在于，所述S1的具体步骤包括：获取包含1只母猪和8-12头仔猪的哺乳期母猪和仔猪的俯视视频，视频帧分辨率为m×n像素，帧率为α帧/秒，小猪产后日龄为D_pp天。

3.根据权利要求1所述的一种母猪哺乳行为的卷积网络识别方法，其特征在于，所述S2的具体步骤包括：

S21、将获取的数据分为训练集和测试集，训练集图像尺寸统一缩放至m×n，并分别建立训练集1、训练集2、测试集1、测试集2和测试集3；

S22、在训练集1中，每α帧选取1帧图像，对母猪身体部位的6个关键点进行标注，6个关键点分别命名为P1、P2、P3、P4、P5和P6，并且侧卧母猪图像标注为1，非侧卧母猪图像标注为0；通过竖直翻转、水平翻转和180°旋转扩增训练集1，将扩增后的全部数据作为关键点检测模型的训练数据；

S23、从训练集1中，挑选出侧卧母猪视频段，作为训练集2；

S24、在训练集2中，带哺乳行为的视频片段标注为1，不带哺乳行为的视频片段标注为0；视频片段的时间长度为3s，故标注为1或识别为1的片段为疑似哺乳片段；

S25、测试集1与训练集1的标注方法一致，但无需扩增数据；

S26、测试集2与训练集2的标注方法一致，但无需扩增数据，并且其样本长度为β帧；

S27、测试集3为长视频段，连续哺乳行为超过60s的视频帧标注为1，否则为0。

4.根据权利要求3所述的一种母猪哺乳行为的卷积网络识别方法，其特征在于，所述S3的具体步骤包括：

S31、构建MaskR-CNN网络，选择ResNet101作为基础网络；在最后的分类输出分支中，将输出通道设置为2，实现对侧卧和非侧卧姿势的分类；关键点检测的输出分支中，将输出通道设置为6，实现对6个关键点的检测；

S32、用扩增的训练集1，来训练MaskR-CNN网络。

5.根据权利要求1所述的一种母猪哺乳行为的卷积网络识别方法，其特征在于，所述S4的具体步骤包括：

S41、获取MaskR-CNN对图像中母猪的姿态分类结果，如果母猪姿态被判断为侧卧，则该帧的关键点检测结果会传入S5；如果被判断为非侧卧，则该帧关键点检测结果会被过滤掉；

S42、利用中值滤波对姿态检测结果进行修正，在姿态检测的序列中，如果连续的同一姿态识别结果低于α帧，则该连续结果设置为与之相反的姿态分类结果，以此纠正错误的姿态识别。

6.根据权利要求1所述的一种母猪哺乳行为的卷积网络识别方法，其特征在于，

S61、构建卷积双流网络；

S62、所述第一哺乳区域序列经过自动提取哺乳区域后，将哺乳区域旋转，旋转使得P4P6线段为哺乳区域矩形的长边，P6P61为哺乳区域矩形的短边，从而得到第二哺乳区域序列；

S63、计算第二哺乳区域序列的光流序列；

S64、利用线性插值法，将第二哺乳区域序列的RGB图像和光流图像尺寸改为m′×n′；

S65、从S64获取的第二哺乳区域序列中随机选取一张哺乳区域RGB图像，作为双流网络RGB图像分支的输入，以该图像为起点，按时间顺序向后顺延3α-1帧，共提取3α帧光流图，作为光流分支的输入，训练卷积双流网络；

S66、测试集为长视频段，在完成上述所有训练过程后获得训练模型，将测试集按上述方式逐步输入，对其进行哺乳行为检测，识别长视频段中的疑似哺乳行为片段；

S67、根据母猪哺乳行为的定义，对卷积双流网络的识别结果进行过滤处理，连续识别为哺乳的数量少于20个的视频片段，其对应的识别结果均置0，最终确定整个视频段中哺乳行为的起点和终点。

7.根据权利要求6所述的一种母猪哺乳行为的卷积网络识别方法，其特征在于，所述S63的具体步骤包括：首先计算出图像中竖直和水平方向的光流强度I_v和I_h，由此计算出每个像素点的光流强度I大小为

8.根据权利要求6所述的一种母猪哺乳行为的卷积网络识别方法，其特征在于，所述S61的具体步骤包括：

S611、卷积双流网络中的RGB图像分支和光流分支的初始结构相同，按输入顺序其组成依次为：输入层、卷积层1、最大池化层1、卷积层2、最大池化层2，卷积层1和卷积层2的输出通道数分别为16和32；

S612、RGB图像分支和光流分支的初始结构后为融合层，融合方式为拼接卷积融合，即将RGB图像分支和光流分支的初始结构处理后的特征图按通道数拼接在一起，对拼接在一起的特征图进行卷积核尺寸为1×1的卷积，卷积后通道数变为32；

S613、在融合层后，构建两个全连接层和一个Softmax层，两个全连接层的通道数分别是64和2，其dropout rate均设置为0.85。

Images