CN107844797A

CN107844797A - 一种基于深度图像的哺乳母猪姿态自动识别的方法

Info

Publication number: CN107844797A
Application number: CN201710890676.6A
Authority: CN
Inventors: 薛月菊; 童欣欣; 朱勋沐; 杨阿庆
Original assignee: South China Agricultural University
Current assignee: South China Agricultural University
Priority date: 2017-09-27
Filing date: 2017-09-27
Publication date: 2018-03-27

Abstract

本发明公开了一种深度图像的哺乳母猪姿态自动识别方法，包括以下步骤：采集原始深度图像数据并进行预处理，并人工标注构成母猪姿态识别数据集；设计并训练基于改进HOG特征的母猪混合可变形部件模型；构造母猪姿态识别深度卷积神经网络，利用标注框和标注的姿态类别训练集信息，并结合随机Dropout方法对该网络进行训练；将测试集输入到母猪混合可变形部件模型，获得母猪的目标区域；将目标区域结果输入到母猪姿态识别深度卷积神经网络中，对母猪姿态进行识别。本发明提供的一种基于深度图像的母猪姿态自动识别方法，克服了RGB图像容易受到外界光照、阴影等因素变化的影响，解决了夜间母猪姿态识别难的问题，可满足全天候母猪姿态监测的实际应用需求。

Description

一种基于深度图像的哺乳母猪姿态自动识别的方法

技术领域

本发明涉及计算机视觉领域，更具体地，涉及一种深度图像的哺乳母猪姿态自动识别的方法。

背景技术

我国是生猪养殖大国，养殖规模和数量逐年增长。猪的行为视觉感知已成为精准畜牧养殖领域的研究热点。哺乳母猪姿态能够为母性行为特征和规律研究提供基础信息，是母猪母性行为评价的重要指标。而依靠人工现场或视频观察其姿态耗时费力且主观性强，研究基于计算机视觉的母猪姿态自动实时识别技术，不仅降低工作人员的劳动强度和养殖成本，而且能及时的发现母猪的异常姿态，从而采取相应的措施。

近年来，利用非接触式的计算机视觉来自动分析猪的姿态行为，引起研究者极大的关注，如采用摄像机侧面拍摄猪只图像，用Zernike矩提取特征后选取支持向量机进行姿态或行为识别(专利：一种基于Zernike矩及支持向量机的猪的姿态识别方法，CN201410055221)；用背景减除法获取猪的目标区域，利用边界矩的不变性提取猪的轮廓特征，采用模板匹配实现对猪行走姿态的识别(专利：基于轮廓不变矩特征的猪行走姿态识别系统和方法，CN 201110369315.X)；专利“基于椭圆拟合的猪行走姿态识别方法(201110368912.0)”利用椭圆拟合确定猪体轮廓各部位特征参数，并利用支持向量机识别猪行走姿态，从而实现了正常站立、低头站立和躺卧等不同的姿态的分类。但由于RGB彩色图像容易受到外界光照、阴影等因素变化的影响，猪只姿态自动识别精度仍难以满足实际应用的需求。

近来流行的Kinect深度摄像机因其价格低廉并能同时获取彩色和深度图像信息，且可在黑暗的场景下工作，迅速成为计算机视觉领域的研究热点。在专利“识别猪躺卧行为的方法及装置CN201510232700”中，通过将二值图像拟合成椭圆后，计算目标中心点坐标，并结合深度图像获取过中心点坐标的线段上各个像素点到地面的高度，最后根据这些像素点高度值识别猪的躺卧。

深度学习的快速发展，使得目标检测、定位、分类等一系列算法都有了新的突破，给养殖对象的检测、识别与行为分析提供了强有力的技术手段，如专利“基于深度学习网络模型的鱼群异常行为识别方法，201510434598.X”利用互信息对深度学习输入的标签数据进行信息块提取，结合时空卷积实现鱼群异常行为识别。另研究者利用卷积神经网络进行奶牛个体身份识别。但利用深度学习识别猪只姿态的研究依然极少。

综上可知，目前已有的母猪姿态自动识别方法都普遍存在识别率低、适应场景单一、尤其是夜间识别困难的问题，难以推广运用到实际的场景。所以，提出一种适应白天和夜间的高精度、快速的母猪姿态识别方法尤为必要。

发明内容

本发明的目的是解决目前现有的母猪姿态自动识别方法存在的识别率低、适应场景单一、夜间识别困难的问题，提出一种深度图像的哺乳母猪姿态自动识别的方法。

为实现以上发明目的，采用的技术方案是：

一种深度图像的哺乳母猪姿态自动识别的方法，包括以下步骤：

S1：采集原始深度图像数据并进行预处理，并人工标注构成母猪姿态识别数据集；

S2：设计并训练基于改进HOG特征的母猪混合可变形部件模型；

S3：构造母猪姿态识别深度卷积神经网络，利用标注框和标注的姿态类别训练集信息，并结合随机Dropout方法对该网络进行训练；

S4：将测试集输入到母猪混合可变形部件模型，获得母猪的目标区域；

S5：将目标区域结果输入到母猪姿态识别深度卷积神经网络中，对母猪姿态进行识别。

本发明所采用的图像为深度图像，它不受光线变化的影响，有效的克服了在计算机视觉领域目标在夜间识别分析困难的难题。

其中所述步骤S1包括以下步骤：

S1.1：通过安装在猪舍上方的传感器采集俯视场景下母猪的深度视频图像数据，并取每秒5帧生成对应的深度视频图像序列；

S1.2：对采集到的原始深度图像，利用中值滤波，采用固定大小的滤波核对图像进行滤波处理，消除噪声和图像黑洞；

S1.3：对初步预处理后的图像数据，利用限制对比度自适应直方图均衡化进行处理，增强图像对比度；

S1.4：人工标注母猪在图像中的名称、坐标信息和类别信息，构成母猪姿态识别数据集；其中坐标信息包括该目标在图像中左上角点(X_min，Y_min)和右下角点(X_max,Y_max)的坐标，母猪姿态包括站立、坐立、侧卧、俯卧和腹卧，80％的样本为训练集，20％的样本为测试集。

本发明所采用的图像预处理方法是限制对比度自适应直方图均衡化。传统的直方图均衡化方法是基于整幅图像，采用非线性拉伸把给定图像的直方图分布改变成“均匀”分布。而限制对比度自适应直方图均衡化是通过将图像分割成若干个图像块，根据设定阈值的大小，将子区域中直方图超过阈值的部分“剪切”，均匀的分布到直方图的其他部分，再对每个子区域对比度受限后的直方图进行均衡化，并获得每个子区域中心点，将这些点作为样本点进行灰度线性插值，最后处理完的图像能有效的限制普通直方图均衡化过度放大图像中相同区域噪声的问题。

优选的是，步骤S1.1所述传感器为Kinect传感器。

在上述方案中，步骤S2所述混合可变形部件模型包括一个根滤波器、若干个部件滤波器以及每个部件相对于根滤波器的空间位置模型。

其中所述步骤S2包括以下步骤：

S2.1：将输入的样本图像均分为若干个连续不重叠，且大小为8*8像素的单元；

S2.2：分别计算每个单元方向不敏感的9维HOG特征向量和方向敏感的18维HOG特征向量，得到输入图像特征映射的31维向量；其中27维对应不同的方向通道，4维是2*2个单元组成的图像块的梯度能量；

S2.3：在提取训练样本特征的同时，输入图像通过平滑和下采样获得一个图像金字塔，在每一级金字塔中计算上述的31维HOG特征向量，将计算得到的各级图像的特征图组合在一起构成输入图像的HOG特征金字塔；结合提取训练样本的多尺度HOG特征集，利用隐式SVM训练，得到母猪检测的多尺度混合可变形部件模型。

其中所述步骤S3中所述卷积神经网络包括：一个数据输入层、五个卷积层、两个归一化层、三个最大池化层、三个全连接层；其中卷积神经网络的具体结构为：第一层为数据输入层，然后是五个卷积层，两个归一化层分别位于第一、第二卷积层之后，三个最大池化层分别位于第一、第二归一化层和第五个卷积层之后，三个全连接层位于最后一个最大池化层之后，随机Dropout应用在第一个和第二个全连接层，以随机概率隐藏全连接层的输出。

其中所述五个卷积层的卷积核大小分别为11*11、5*5、3*3、3*3、3*3，各个卷积核个数分别为96、256、384、384、256，卷积步长为4。

优选的是，所述五个卷积层和三个全连接层均应用非线性激活函数ReLU进行输出。

优选的是，所述三个最大池化层卷积核大小为3*3、3*3、3*3，池化步长为2。

优选的是，步骤S3中卷积神经网络的训练为带数据标注的有监督学习，并用随机梯度下降法进行权重参数矩阵和偏移量的调整。

与现有技术相比，本发明的有益效果是：

1)通过训练好的混合可变形部件模型，能够精准的定位待测图像中各种不同姿态的母猪。

2)本发明构造的深度卷积神经网络采用多个卷积层和最大池化层嵌套相连得方式，可以有效的解决由于母猪图像的旋转变化、尺度变化和姿态类间相似性而导致的识别率低的问题。

3)本发明以深度图像为数据源，克服了RGB图像容易受到外界光照、阴影等因素变化的影响，解决了夜间母猪姿态识别困难的问题，保证了母猪姿态自动识别精度，以满足全天候母猪姿态监测的实际应用需求。

附图说明

图1为母猪姿态自动识别模型训练阶段流程图；

图2为现场采集的俯视场景下母猪的单帧深度图像；

图3为混合可变形部件模型的检测结果；

图4为母猪混合可变形部件模型；

图5为本发明姿态识别测试结果混淆矩阵；

图6为目标分割方法与本发明采用的目标检测方法提取母猪候选区域进行母猪姿态识别结果对比图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

以下结合附图和实施例对本发明做进一步的阐述。

实施例1

请参考图1，图1为母猪姿态自动识别模型训练阶段流程图。

一种基于深度图像的母猪姿态自动识别方法，包括两个阶段：母猪检测阶段和母猪姿态识别阶段，具体的包括以下步骤：

在母猪检测阶段，步骤1：通过安装在猪舍上方的Kinect传感器，分别在白天和夜间采集8个不同猪栏母猪的深度视频数据，每一栏连续拍摄时长约为3个小时。并取每秒5帧生成母猪活动的连续深度图像序列，像素大小为512×424。原始图像预处理包括限制对比度自适应直方图均衡化和中值滤波(滤波核大小为3×3)，能有效增强图像对比度和消除图像噪声。对预处理后图像中母猪的坐标进行人工标注构成母猪检测数据集，标注信息包括母猪图像名称、图像中母猪的坐标信息和其所属类别(姿态)信息，类别包括站立、坐立、侧卧、俯卧和腹卧五类。如图2所示，图2为现场采集的俯视场景下母猪的单帧深度图像。在本发明实验中，母猪检测数据集随机选取来自于8个不同猪栏的深度图像，共包含12000张训练样本。

步骤2：在对输入图像提取HOG特征的同时，输入图像通过不断的平滑和下采样后获得一个图像金字塔，在每一级金字塔中计算31维HOG特征向量，将计算得到的各级图像的特征图组合在一起就构成了输入图像的HOG特征金字塔。

步骤3：结合构造的5层HOG特征金字塔，利用隐式SVM训练母猪混合可变形部件模型。在本发明试验中，采用4个母猪混合可变形部件模型，每个模型包含有7个部件，如图3所示。

在母猪姿态识别阶段，步骤4：构造深度卷积神经网络，具体结构为：一个数据输入层、五个卷积层、两个归一化层、三个最大池化层、三个全连接层。

第一层为数据输入层，然后是五个卷积层，两个归一化层分别位于第一、第二个卷积层之后，三个最大池化层分别位于第一、第二个归一化层和第五个卷积层之后，三个全连接层位于最后一个最大池化层之后。

五个卷积层卷积核大小分别为11×11、5×5、3×3、3×3、3×3，各卷积核个数分别为：96、256、384、384、256，卷积步长为4。

三个最大池化层卷积核大小为3×3、3×3、3×3，池化步长为2。

前两个全连接层的结点数为4096，最后一个全连接输出层的结点数依据待识别母猪姿态的类别来确定，即根据应用场景的实际情况数据而定。在本发明实验中，待识别的母猪姿态类别数为5，则设置输出层结点数与之相同。

步骤5：从输入的5类训练集样本中随机选取子图像块结合随机Dropout方法训练步骤4中所构造的深度卷积神经网络，输入训练的样本集要减去均值图像。随机Dropout方法以0.6的随机概率隐藏全连接层的输出。

步骤6：对待识别样本进行预处理，输入到母猪目标检测的混合可变形部件模型中，检测到母猪目标区域；然后将目标区域输入到步骤5训练完成的深度卷积神经网络当中，进行母猪姿态的自动识别，如图4所示。在本发明实验中，对从不同猪栏数据随机选取得到的6000张包含各种姿态的母猪图像，检测率达到93.4％，如图5所示。在一个包含5类姿态、每一类别含图像数目为100张的母猪姿态识别测试集上进行测试，本发明的识别平均准确率达到97％，如图6所示，表明了本发明同时适应于白天和夜间母猪姿态的识别。

步骤7：为了做对比实验，本发明采用图像分割方法对母猪图像进行分割提取母猪候选区域，再结合构造的卷积神经网络训练母猪姿态识别模型。具体的，对步骤5中的6000张待测图像利用最大类间方差法进行分割，并按五种姿态分类整理每类别1000张训练样本，输入到步骤5中的构造的卷积神经网络中训练母猪姿态识别模型。

实验表明，用基于分割方法提取母猪区域进行姿态识别，其平均识别率为73％。结果表明，本发明所采用的基于混合可变形部件模型的母猪检测，提取母猪候选区域进行母猪姿态识别的方法具有较高的准确率。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims

1.一种深度图像的哺乳母猪姿态自动识别的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种深度图像的哺乳母猪姿态自动识别的方法，其特征在于，步骤S1包括以下步骤：

3.根据权利要求2所述的一种深度图像的哺乳母猪姿态自动识别的方法，其特征在于，步骤S1.1所述传感器为Kinect传感器。

4.根据权利要求1所述的一种深度图像的哺乳母猪姿态自动识别的方法，其特征在于，步骤S2所述混合可变形部件模型包括一个根滤波器、若干个部件滤波器以及每个部件相对于根滤波器的空间位置模型。

5.根据权利要求1所述的一种深度图像的哺乳母猪姿态自动识别方法，其特征在于，步骤S2包括以下步骤：

6.根据权利要求1所述的一种深度图像的哺乳母猪姿态自动识别的方法，其特征在于，步骤S3中所述卷积神经网络包括：一个数据输入层、五个卷积层、两个归一化层、三个最大池化层、三个全连接层；其中卷积神经网络的具体结构为：第一层为数据输入层，然后是五个卷积层，两个归一化层分别位于第一、第二卷积层之后，三个最大池化层分别位于第一、第二归一化层和第五个卷积层之后，三个全连接层位于最后一个最大池化层之后，随机Dropout应用在第一个和第二个全连接层，以随机概率隐藏全连接层的输出。

7.根据权利要求6所述的一种深度图像的哺乳母猪姿态自动识别的方法，其特征在于，所述五个卷积层的卷积核大小分别为11*11、5*5、3*3、3*3、3*3，各个卷积核个数分别为96、256、384、384、256，卷积步长为4。

8.根据权利要求6所述的一种深度图像的哺乳母猪姿态自动识别的方法，其特征在于，所述五个卷积层和三个全连接层均应用非线性激活函数ReLU进行输出。

9.根据权利要求6所述的一种深度图像的哺乳母猪姿态自动识别的方法，其特征在于，所述三个最大池化层卷积核大小为3*3、3*3、3*3，池化步长为2。

10.根据权利要求1所述的一种深度图像的哺乳母猪姿态自动识别的方法，其特征在于，步骤S3中所述卷积神经网络的训练为带数据标注的有监督学习，并用随机梯度下降法进行权重参数矩阵和偏移量的调整。