CN108830144A - 一种基于改进Faster-R-CNN的哺乳母猪姿态识别方法 - Google Patents

Abstract

本发明涉及一种基于改进Faster‑R‑CNN的哺乳母猪姿态识别方法，包括以下步骤：S1、采集哺乳母猪的RGB‑D视频图像，并建立母猪姿态识别深度视频图像库；S2、对基础ZF网络增加深度、并引入残差结构，设计成具有高精度、实时性和鲁棒性的CNN网络结构；S3、使用设计的CNN网络结构，构建Faster‑R‑CNN模型结构，并对Faster‑R‑CNN模型结构引入Center Loss监督信号，与SoftmaxLoss联合构成分类损失函数，最终建立改进的Faster‑R‑CNN母猪姿态识别模型；S4、使用训练集训练Faster‑R‑CNN母猪姿态识别模型，使用测试集测试模型性能，最终筛选最佳性能模型，用于哺乳母猪姿态识别。

Description

一种基于改进Faster-R-CNN的哺乳母猪姿态识别方法

技术领域

本发明涉及到计算机视觉中的目标检测和识别领域，更具体地，涉及一种CNN网络结构改进设计，基于Faster-R-CNN目标检测算法，引入Center Loss监督信号的哺乳母猪姿态识别方法。

背景技术

母猪的母性行为及健康和福利状况，直接影响养猪场的经济效益。母猪姿态自动识别是母猪高危动作预警、母猪筑巢行为自动分析、哺育仔猪自动监测及健康与福利状态评估的重要基础。用计算机视觉自动监测猪，不仅成本低、效率高、无损伤，且可避免采用传感器监测方法引起的猪的应激反应，被逐渐应用到猪的站、坐、卧、跪等姿态识别，饮食行为、躺卧行为、爬跨行为、母猪分娩行为与运动状态监测，及生猪活体特征预测等。

近年来，已有一些研究者利用计算机视觉技术来分析猪的行为。例如：2016年中国农业大学劳凤丹、滕光辉等人计算限位栏中哺乳母猪躯体多个区域的深度像素平均值，识别母猪的卧、坐、站和跪姿态及饮食行为。该团队公开号为CN104881636A的专利公开了一种识别猪躺卧行为的方法及装置，该方法获取猪的深度图像和二值图像，对二值图像进行椭圆拟合，并计算深度图像特定点到地面的高度，最后通过阈值比较识别猪的躺卧行为。2014年江苏大学刘波、朱伟兴等人采用生猪深度图像序列建立行走运动模型。公开号CN107437069A的专利公开了一种基于轮廓的猪只饮水行为识别方法，该方法首先通过饮水区域提取，采用OTSU法、二值化、形态学处理获取目标轮廓，再进行轮廓多边形拟合，提取轮廓特征，最后通过相似性计算实现猪只饮水行为的识别。公开号CN103824056A的专利公开了一种基于Zernike矩及支持向量机的猪的姿态识别方法，该方法采用Zernike矩进行特征提取，使用支持向量机进行分类识别，实现猪的正常行走、低头行走、抬头行走、躺卧等四种姿态的识别。

利用计算机视觉技术对自由栏母猪进行姿态识别，首先是要自动对复杂场景中的母猪实现检测定位，其次是要对当前母猪的姿态进行实时分类。哺乳母猪的非刚性躯体，小猪与母猪之间的相互粘连、遮挡，热灯光照，特别是夜间猪舍光线昏暗，使得全天候自由栏中母猪姿态的自动识别面临着极大的挑战。目前，利用计算机视觉技术对自由栏，24h的猪只姿态识别的研究鲜有文献报道。本发明利用深度视频图像克服24h场景中的光线变化对目标的影响，使用改进的Faster-R-CNN算法获得高精度、实时和鲁棒性的母猪姿态识别模型，提出了一种基于改进Faster-R-CNN的哺乳母猪姿态识别方法，为今后进一步分析哺乳母猪的母性行为奠定坚实的基础。

发明内容

本发明的目的在于克服上述背景技术提出的问题和挑战，对自由栏中的哺乳母猪实现24h的自动、精准和实时的姿态识别。为此，提出一种基于改进Faster-R-CNN的哺乳母猪姿态识别方法。

为实现以上发明目的，采用的技术方案是：

一种基于改进Faster-R-CNN的哺乳母猪姿态识别方法，包括以下步骤：

S1、采集哺乳母猪的RGB-D视频图像，并建立母猪姿态识别深度视频图像库；

S2、对基础ZF网络增加深度、并引入残差结构，设计成具有高精度、实时性和鲁棒性的CNN网络结构；

S3、使用设计的CNN网络结构，构建Faster-R-CNN模型结构，并对Faster-R-CNN模型结构引入Center Loss监督信号，与SoftmaxLoss联合构成分类损失函数，最终建立改进的Faster-R-CNN母猪姿态识别模型；

S4、使用训练集训练Faster-R-CNN母猪姿态识别模型，使用测试集测试模型性能，最终筛选最佳性能模型，用于哺乳母猪姿态识别。

深度视频图像有效的克服了猪舍场景光线变化对目标的影响，改进的Faster-R-CNN利用深层卷积神经网络结构和残差结构端对端的学习到鲁棒性的特征，有效的解决了猪舍场景下的母猪身体非刚性，母猪与仔猪粘连、遮挡影响识别的问题。同时Center Loss的引入能有效提升不同类别的姿态识别性能。最终得到鲁棒、精准、实时的哺乳母猪姿态识别。

优选地，所述步骤S1的具体过程如下：

S11、RGB-D视频图像数据采集：通过三脚架将RGB-D传感器固定俯视拍摄获取RGB-D图像；

S12、深度图像预处理：对采集到的深度视频图像，用中值滤波器去除大量干扰噪声，用限制对比度自适应直方图均衡化进行增强；

S13、构建深度视频图像数据库：对每小段不同姿态的视频图像数据随机抽取一帧，获得站立、坐立、俯卧、腹卧和侧卧五类姿态原始训练样本集和测试集；

S14、准备训练样本：对原始训练样本集中图像进行母猪外包围框标注和类别标注，再对标注后的样本图像进行90度、180度、270度、水平镜像和垂直镜像扩增，获得训练样本集。

优选地，所述步骤S2的具体过程如下：

S21、选择使用基础卷积神经网络ZF网络；

S22、对ZF网络添加3×3大小卷积核、1的步长，且与上层通道数相同的卷积层，增加网络深度；

S23、对加深后的网络以输入和输出特征图通道数相同两层卷积为一组，通过捷径连接，构造残差结构；

S24、卷积层激活函数使用PReLU。

优选地，所述步骤S3的具体过程如下：

S31、利用改进后的CNN结构构建Faster-R-CNN网络结构，以其卷积层作为Faster-R-CNN的共享卷积层部分，其全连接层作为Fast-R-CNN检测器的全连接层部分；

S32、将Center Loss与Fast-R-CNN的SoftmaxLoss监督信号联合构建分类损失函数：

L_s即是SoftmaxLoss函数，L_c即为Center Loss函数，λ在式中用于平衡两个损失函数，x_i∈R^d表示第y_i类的第i张图片的特征，m为训练过程中mini-batch的数量，表示第y_i类的特征的中心，W_j∈R^d表示在最后一个全连接层中权值矩阵W∈R^d*n的第j列，b∈Rⁿ为偏置值，其中n为类别数量，d为特征维度；

S33、由RPN生成的同一类感兴趣区域特征的平均值计算获得特征中心在每小批量数据训练中，特征中心仅更新一次，并使用标量权值参数α∈[0,1]控制的学习率进行更新：

其中，t表示为第t次迭代，同时当条件(y_i＝j)成立时δ(y_i＝j)＝1，否则δ(y_i＝j)＝0。

优选地，所述步骤S4的具体过程如下：

S41、利用已建立的数据库中的训练样本集作为训练数据，测试集作为模型性能测试数据；

S42、对Faster-R-CNN网络结构中共享的卷积层以Xavier进行随机初始化，而RPN特有的卷积层以及网络中的全连接层则以零均值、标准差为0.01的高斯分布随机初始化；

S43、对RPN网络，在每个滑动窗口位置取3种面积尺度{96²,192²,384²}及3种长宽比{1:1,1:3,3:1}的9个锚点，以实现母猪多尺度和多方向的姿态识别；

S44、使用小批量的随机梯度下降法，对Faster-R-CNN以端对端的联合方式进行训练，设置mini-batch大小为256，冲量为0.9，权值的衰减系数为5^-4，最大迭代次数为8万次，其中前5万次学习率为10^-4，后3万次学习率为10^-5；在5万次迭代后，每隔1万次保留一个模型，通过测试集测试，最终选取精度最高的模型。

优选地，所述步骤S11的RGB-D传感器是指Kinect2.0传感器。

优选地，所述步骤S22的基于ZF网络添加的卷积层，添加位置是在Conv2层、Conv3层或Conv4层之后，添加一层或两层。

优选地，所述步骤S23的输入和输出特征图通道数相同两层卷积为一组。

与现有技术相比，本发明的有益效果是：

(1)本发明建立了哺乳母猪深度视频图像数据库，为后续基于深度视频图像的算法设计和模型训练提供数据源。

(2)本发明提出基于ZF网络改进，增加深度和残差结构能有效的提升模型性能，提高识别精度，而不增加太多时间成本，保证了实时性。

(3)本发明通过在Faster-R-CNN框架中引入Center Loss监督信号，有效解决深度图像母猪姿态难以区分识别的问题，提升了识别精度但不增加时间成本。

(4)该发明克服了场景光线变化影响，实现了全天候24h的母猪姿态识别功能，可用于对母猪长时间的行为监控和自动分析。

附图说明

图1是本发明的方法流程图。

图2是本发明的改进Faster-R-CNN的母猪姿态识别模型结构图，其中Conv2_2、Conv2_3和Conv4_2为新添加的卷积层，Conv5为修改通道的卷积层，Res1和Res2为两个残差结构，Center Loss是新引入的监督信号。

图3是识别结果图展示。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

以下结合附图和实施例对本发明做进一步的阐述。

实施例1

图1第1部分为深度图像数据库建立，包括RGB-D视频图像采集、深度图像预处理、数据集标注获得原始训练集和测试集以及对原始训练集扩增准备训练集，最终标注后的训练集和测试集构成深度图像数据库为后续模型训练和测试提供数据支持。第2部分是设计具有鲁棒性、实时性和高精度的CNN结构，首先选择实时性较强的ZF网络作为基础结构，然后增加网络深度并引入残差结构完成结构设计。第3部分是设计改进的Faster-R-CNN母猪姿态识别模型，通过把第2部分设计的CNN结构的卷积层作为Faster-R-CNN网络的共享卷积层，其全连接层作为Fast R-CNN检测器的全连接层，并引入Center Loss与Fast R-CNN检测器的SoftmaxLoss联合构成分类损失函数用于模型训练。第4部分是通过使用第1部分中训练数据对第3部分构建的母猪姿态识别模型进行训练，然后通过测试集评价模型性能，选择最佳模型作为最终母猪姿态识别模型。该方法基于Nvidia GTX 980型号的GPU硬件平台，在Ubuntu14.04操作系统搭建Caffe深度学习框架，进行母猪姿态识别模型的训练和测试。

具体实现为：

步骤一、RGB-D视频图像采集，数据预处理，数据库建立；

步骤二、对基础网络ZF进行改进，设计具有高精度和实时性的CNN结构；

步骤三、利用设计的CNN结构建立Faster-R-CNN模型，并引入Center Loss建立母猪姿态识别模型；

步骤四、使用步骤一的数据对步骤三的模型进行训练和测试，获得最佳的识别模型和识别结果；

所述步骤一的数据库建立方法具体包括：

1)对28栏猪进行数据采集，采集猪舍为自由栏，猪舍大小约为3.8m×2.0m，每栏内包含一只哺乳母猪和8-10头小猪。通过三脚架将Kinect 2.0固定于距离地面230cm高度，俯视拍摄并以一秒5帧的速度获取RGB-D视频图像。其中RGB图像分辨率为960×540像素，用于结合深度图像进行人工判别猪只姿态；深度图像分辨率为512×424像素，用于标注训练样本和识别测试。

2)对采集到的深度视频图像，首先用中值滤波器去除大量干扰噪声，然后用限制对比度自适应直方图均衡化对深度图像进行增强，以提高对比度。特别地，边缘空洞区域不做处理。

3)本发明所识别的哺乳母猪五种姿态包括：站立、坐立、俯卧、腹卧和侧卧，定义见表1所示。对采集的不同时段不同栏的RGB-D视频图像，为避免时序相关性，从每个姿态视频段中随机抽取一张深度图像，分别获取站立、坐立、俯卧、腹卧和侧卧姿态图像2415张、2461张、2488张、2519张和2658张。首先，手工标注母猪边界框和姿态类别，将标注信息生成对应图片名的xml文件。然后，从每类图像中随机选择1000张，总计5000张图像，作为测试集，用于模型性能评价。其余站立1415张、坐立1461张、俯卧1488张、腹卧1519张和侧卧1658张，总计7541张图像作为原始训练集。最后，对原始训练集的深度图像进行水平镜像、垂直镜像翻转以及顺时针90度、180度和270度旋转扩增，形成扩增后的训练样本集，共计45246张图像。

表1哺乳母猪5类姿态介绍

所述步骤二的CNN结构设计方法具体包括：

1)选择基础CNN结构ZF网络，使用3*3大小的卷积核的卷积层增加网络深度设计ZF-D(network based on Deeper ZF)结构。在ZF网络conv2和conv3之间增加卷积核大小为3×3、输出通道为256的卷积层conv2_2和conv2_3。并在conv4和conv5之间增加卷积核大小为3×3、输出通道为384的卷积层conv4_2。新加层均设置为1的步长及1个像素边界的0像素填充，以保持新加层卷积后输出特征图尺寸不变。将conv5层的通道数由256扩大为512，以向后传递更丰富的特征信息，以形成ZF-D网络。

2)对输出通道相同的两两相邻的卷积层，通过捷径连接(Shortcut Connections)添加残差结构构成ZF-D2R(network based on ZF with Deeper layers and twoResidual learning frameworks)网络，即对ZF-D网络中，conv2层和conv3层之间的conv2_2和conv2_3两个卷积层以及conv3层和conv5层之间的conv4和conv4_2两个卷积层通过捷径连接构成残差结构，使得这两层在输入和输出之间进行残差学习。

残差结构函数公式：

Y＝F(X)+X

式中，X为输入残差结构的卷积特征，F(X)为被捷径连接跳过层的卷积特征输出，Y为残差结构的输出，见图2中的Res1和Res2。

所述步骤三的设计母猪姿态识别模型方法具体包括：

1)利用步骤二中设计的ZF-D2R结构构建Faster-R-CNN网络结构，将ZF-D2R网络应用到Faster-R-CNN中时，以其卷积层作为Faster-R-CNN的共享卷积层部分，其全连接层作为Fast R-CNN检测器的全连接层。

2)引入Center Loss监督信号，将其与Fast R-CNN的SoftmaxLoss监督信号联合构建分类损失函数，并通过联合训练来减小RPN生成的感兴趣区域特征与其对应类别特征中心的距离，增大类间的特征差异，加强类内特征内聚性，降低不同姿态之间特征相近带来的错误识别。联合分类损失函数：

L_s即是SoftmaxLoss函数，L_c即为Center Loss函数，λ在式中用于平衡两个损失函数，x_i∈R^d表示第y_i类的第i张图片的特征，m为训练过程中mini-batch的数量，表示第y_i类的特征的中心，W_j∈R^d表示在最后一个全连接层中权值矩阵W∈R^d*n的第j列，b∈Rⁿ为偏置值，其中n为类别数量，d为特征维度。

特征中心由RPN生成的同一类感兴趣区域特征的平均值计算获得。在每小批量数据训练中，特征中心仅更新一次。为避免由少量错误感兴趣区域特征给带来的较大波动，使用标量权值参数α∈[0,1]控制的学习率进行更新：

其中，t表示为第t次迭代，同时当条件(y_i＝j)成立时δ(y_i＝j)＝1，否则δ(y_i＝j)＝0。由此，Faster-R-CNN在端对端训练中，Fast R-CNN检测器以SoftmaxLoss与CenterLoss联合监督信号的分类损失函数和回归损失函数进行训练，如图2所示。

3)综上步骤，建立改进的Faster-R-CNN姿态识别模型，如图2所示。

所述步骤四的模型训练与选择方法具体包括：

1)利用步骤一中的训练样本集作为训练数据，测试集作为模型性能测试数据。

2)使用32G内存、Nvidia GTX980Ti型号的GPU、Intel Xeon E3-1246v3型号CPU的硬件平台和Ubuntu14.04操作系统。在Caffe深度学习框架上，采用Python作为编程语言实现本发明的母猪姿态识别算法。

3)对于RPN网络，在每个滑动窗口位置，分别取3种面积尺度{962,192,384}及3种长宽比{1:1,1:3,3:1}的9个锚点。

4)在模型的初始化中，对共享的卷积层以Xavier进行随机初始化，而RPN特有的卷积层以及网络中的全连接层则以零均值、标准差为0.01的高斯分布随机初始化。

5)使用基于小批量的随机梯度下降法，对Faster-R-CNN以端对端的联合方式进行训练，设置mini-batch大小为256，冲量为0.9，权值的衰减系数为5^-4，最大迭代次数为8万次，其中前5万次学习率为10^-4，后3万次学习率为10^-5。

6)在训练过程中，在5万次迭代后，每隔1万次保留一个模型，对每一个模型使用测试集测试，统计各模型的AP(平均准确率)和mAP(平均准确率均值)，最终选取精度最高的模型用于母猪姿态识别。

下面详细说明本发明的实验结果：

本发明采用业界公认的3个评价指标对测试集的母猪姿态识别结果进行统计，结果如下：

本发明采用AP(Average Precision，平均准确率)、MAP(Mean AveragePrecision，平均准确率均值)和平均单帧检测时间进行评价。如下表2所示：

表1不同Faster-R-CNN模型以及其他方法的识别性能对比

本发明提出的方法，对站立、坐立、俯卧、腹卧和侧卧五类姿态的AP(AveragePrecision，平均准确率)分别达到96.73％、94.62％、86.28％、89.57％和99.04％，五类姿态的MAP(Mean Average Precision，平均准确率均值)达到93.25％，识别速度达则到0.058s/帧，具有较高的识别精度和较强的实时性。且本发明超过ZF模型3.86％，也超过网络结构更深的VGG16模型1.24％。在识别速度上，本发明方法比VGG16模型提升0.034s/帧，在保证较高精度的同时确保实时性。获得了具有鲁棒性、实时性和高精度的母猪姿态识别模型，识别结果如图3所示。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.一种基于改进Faster-R-CNN的哺乳母猪姿态识别方法，其特征在于，包括以下步骤：

S1、采集哺乳母猪的RGB-D视频图像，并建立母猪姿态识别深度视频图像库；

S2、对基础ZF网络增加深度、并引入残差结构，设计成具有高精度、实时性和鲁棒性的CNN网络结构；

S3、使用设计的CNN网络结构，构建Faster-R-CNN模型结构，并对Faster-R-CNN模型结构引入Center Loss监督信号，与SoftmaxLoss联合构成分类损失函数，最终建立改进的Faster-R-CNN母猪姿态识别模型；

S4、使用训练集训练Faster-R-CNN母猪姿态识别模型，使用测试集测试模型性能，最终筛选最佳性能模型，用于哺乳母猪姿态识别。

2.根据权利要求1所述的基于改进Faster-R-CNN的哺乳母猪姿态识别方法，其特征在于，所述步骤S1的具体过程如下：

S11、RGB-D视频图像数据采集：通过三脚架将RGB-D传感器固定俯视拍摄获取RGB-D图像；

S12、深度图像预处理：对采集到的深度视频图像，用中值滤波器去除大量干扰噪声，用限制对比度自适应直方图均衡化进行增强；

S13、构建深度视频图像数据库：对每小段不同姿态的视频图像数据随机抽取一帧，获得站立、坐立、俯卧、腹卧和侧卧五类姿态原始训练样本集和测试集；

S14、准备训练样本：对原始训练样本集中图像进行母猪外包围框标注和类别标注，再对标注后的样本图像进行90度、180度、270度、水平镜像和垂直镜像扩增，获得训练样本集。

3.根据权利要求1或2所述的基于改进Faster-R-CNN的哺乳母猪姿态识别方法，其特征在于，所述步骤S2的具体过程如下：

S21、选择使用基础卷积神经网络ZF网络；

S22、对ZF网络添加3×3大小卷积核、1的步长，且与上层通道数相同的卷积层，增加网络深度；

S23、对加深后的网络以输入和输出特征图通道数相同两层卷积为一组，通过捷径连接，构造残差结构；

S24、卷积层激活函数使用PReLU。

4.根据权利要求3所述的基于改进Faster-R-CNN的哺乳母猪姿态识别方法，其特征在于，所述步骤S3的具体过程如下：

S31、利用改进后的CNN结构构建Faster-R-CNN网络结构，以其卷积层作为Faster-R-CNN的共享卷积层部分，其全连接层作为Fast-R-CNN检测器的全连接层部分；

S32、将Center Loss与Fast-R-CNN的SoftmaxLoss监督信号联合构建分类损失函数：

L_s即是SoftmaxLoss函数，L_c即为Center Loss函数，λ在式中用于平衡两个损失函数，x_i∈R^d表示第y_i类的第i张图片的特征，m为训练过程中mini-batch的数量，表示第y_i类的特征的中心，W_j∈R^d表示在最后一个全连接层中权值矩阵W∈R^d*n的第j列，b∈Rⁿ为偏置值，其中n为类别数量，d为特征维度；

S33、由RPN生成的同一类感兴趣区域特征的平均值计算获得特征中心在每小批量数据训练中，特征中心仅更新一次，并使用标量权值参数α∈[0，1]控制的学习率进行更新：

其中，t表示为第t次迭代，同时当条件(y_i＝j)成立时δ(y_i＝j)＝1，否则δ(y_i＝j)＝0。

5.根据权利要求4所述的基于改进Faster-R-CNN的哺乳母猪姿态识别方法，其特征在于，所述步骤S4的具体过程如下：

S41、利用已建立的数据库中的训练样本集作为训练数据，测试集作为模型性能测试数据；

S42、对Faster-R-CNN网络结构中共享的卷积层以Xavier进行随机初始化，而RPN特有的卷积层以及网络中的全连接层则以零均值、标准差为0.01的高斯分布随机初始化；

S43、对RPN网络，在每个滑动窗口位置取3种面积尺度{96²,192²,384²}及3种长宽比{1:1,1:3,3:1}的9个锚点，以实现母猪多尺度和多方向的姿态识别；

S44、使用小批量的随机梯度下降法，对Faster-R-CNN以端对端的联合方式进行训练，设置mini-batch大小为256，冲量为0.9，权值的衰减系数为5^-4，最大迭代次数为8万次，其中前5万次学习率为10^-4，后3万次学习率为10^-5；在5万次迭代后，每隔1万次保留一个模型，通过测试集测试，最终选取精度最高的模型。

6.根据权利要求2所述的一种基于改进Faster-R-CNN的哺乳母猪姿态识别方法，其特征在于，所述步骤S11的RGB-D传感器是指Kinect2.0传感器。

7.根据权利要求3所述的一种基于改进Faster-R-CNN的哺乳母猪姿态识别方法，其特征在于，所述步骤S22的基于ZF网络添加的卷积层，添加位置是在Conv2层、Conv3层或Conv4层之后，添加一层或两层。

8.根据权利要求3所述的一种基于改进Faster-R-CNN的哺乳母猪姿态识别方法，其特征在于，所述步骤S23的输入和输出特征图通道数相同两层卷积为一组。