CN106778784B - 基于机器视觉的猪个体识别与饮水行为分析方法 - Google Patents

Abstract

本发明公开了基于机器视觉的猪个体识别与饮水行为分析方法。首先是从俯视群养猪视频序列中提取饮水区的猪个体；接着计算猪个体与饮水龙头之间的距离，判断该猪个体是否与饮水龙头接触，如果是则采用改进的广义Hough变换和聚类算法对猪体头部、尾部进行判定；若猪体头部与饮水龙头接触，则提取该猪个体的颜色矩、面积、周长等特征，同时对特征进行数据规格化；然后通过与标准特征库间的欧式距离识别该猪个体；最后根据猪个体与饮水龙头之间的接触时间来判断猪个体是否饮水。该项研究是基于机器视觉技术对饮水区的猪个体进行识别与饮水行为分析，不会对猪个体产生任何干扰，也为进一步探索群养猪中猪个体的其他行为提供了参考。

Description

基于机器视觉的猪个体识别与饮水行为分析方法

技术领域

本发明涉及机器视觉、模式识别、动物行为分析等技术，具体涉及一种俯视状态下群养猪监控视频中饮水区的猪个体识别与饮水行为分析方法。

背景技术

利用机器视觉技术监控俯视群养猪的行为可以帮助饲养员去改善猪只福利。监控猪的行为可以以群，还可以以个体形式，而且个体形式更具优势，因为这种方式可以为饲养员提供猪的个体信息，以便有针对性的监控或照顾某只猪个体(Kashiha,M.A.,Bahr,C.,Ott,S.,et al.Automatic monitoring of pig locomotion using imageanalysis.Livestock Science,2014,159,141–148.)。

猪圈中水龙头的位置是固定的，正在饮水的猪个体仅可能有一只，而且通常是标准站立姿势，喝水时往往是不希望被其他同伴打扰的，这些都为准确提取正在饮水的猪个体提供了有利条件(Yizheng Guo,Weixing Zhu,Pengpeng Jiao,et al.Multi-objectextraction from topview group-housed pig images based on adaptivepartitioning and multilevel thresholding segmentation[J].Biosystemsengineering,2015,135(5):54－60.)。

本发明给出一种采用机器视觉技术识别饮水区的猪个体，继而分析猪个体是否饮水的方法，不同于传统的猪个体识别，本方法不会对猪个体产生任何干扰，也为进一步探索群养猪中猪个体的其他行为(如吃食、攻击等行为)提供了参考。

发明内容

本发明提出了一种用机器视觉技术识别饮水区的猪个体，继而分析猪个体是否饮水的方法。通过对视频帧做图像预处理，接着做最大熵值分割，然后对分割结果进行数学形态 学处理，提取了饮水区的猪个体。通过计算猪个体与饮水龙头之间的距离，判断猪个体是否与饮水龙头接触。通过改进的广义Hough变换和聚类算法对猪体头部、尾部进行判定。若猪体头部与饮水龙头接触，通过颜色矩、面积、周长、质心到水龙头的距离、臀部圆形度、长宽比等14维特征表征猪个体的身份，继而通过与标准样本间的欧式距离识别猪个体。最后根据猪个体与饮水龙头之间的接触时间来判断猪个体是否饮水。

本发明采用的技术方案是：(1)改建实验用猪舍，在猪舍正上方安装拍摄俯视视频的图像采集系统，获取包含猪个体饮水的视频片段，对单帧图像做直方图均衡化及最大熵阈值分割，取饮水区的分割结果做数学形态学处理，从而提取了饮水区的猪个体目标。(2)当提取的猪个体边缘与水龙头之间的距离在20像素之内时，则认为该猪个体可能在饮水；其后采用改进的广义Hough变换和聚类算法对猪体头部、尾部进行判定，包括自适应建立直角坐标系，截取猪体占身长四分之一的头部、尾部轮廓，并在各曲线轮廓上每隔一定的像素点确定一个采样点，将连续的轮廓曲线用点的形式表示出来；再在轮廓采样点上按顺序选取三点确定一个圆心，这样，曲线轮廓由图像空间被映射为若干圆心对的参数空间；最后计算圆心对两两之间的距离均值，通过与预设阈值的比较，小于预设阈值的圆心对所对应的曲线为尾部轮廓，否则为头部轮廓。(3)在判定猪体头部与饮水龙头接触后，提取该猪个体的颜色、形状两类特征，其中颜色特征通过颜色矩方法提取，由于颜色信息主要集中在低阶矩中，故只需对每种颜色通道的一阶、二阶和三阶矩(均值、方差和偏斜度)进行统计，每个猪个体提取了R、G、B共3个通道的9个颜色特征；形状特征包括以下5个，连通域面积A、目标轮廓周长L、质心到水龙头的距离d、臀部圆形度ρ、长宽比K，连同9个颜色特征，共14维特征一起组合形成了表征猪个体身份的特征矢量；接着对提取的特征进行数据规格化，即将特征变换到[0 1]之间。(4)在所采集的大量视频中，对于每只猪个体都精心挑选了3个正在饮水时的样本，提取了上述14维特征，并对特征进行数据规格化，形成标准特征库；对于可能饮水的待识对象，通过欧式距离判别其归属，待识对 象与标准特征库中哪个样本的欧式距离最短，则待识对象被判别为哪一个猪个体；当猪个体边缘与饮水龙头接触时间维持2秒以上时，则认为该猪个体发生了饮水行为。

本发明的有益效果是：

本发明对饮水区的猪个体进行识别，从而分析该猪个体是否实施了饮水行为。通过机器视觉技术对猪个体进行识别，不同于传统猪个体识别(传统人工观察识别猪个体的方式费时费力，且影响工作人员的健康。耳标RFID方式虽然无需人工实时观察，但是也会一定程度上干扰猪只正常生长)，不会对猪个体产生任何干扰，猪个体识别方法可以作为猪自动行为分析系统的一部分，未来更广泛的应用包括猪个体进食行为分析、猪个体体质量评估等。猪个体的饮水分析可以用于猪个体早期疾病的发现，比如腹泻(diarrhea)，以及其他的一些潜在应用。未来还可以对猪圈进行全天候的的数据分析，通过统计每只猪个体一天内的饮水次数可以为饲养员提供猪只健康的实时数据，便于饲养员对猪只提供充足的照顾，提高猪只的福利。

附图说明

下面结合附图和具体实施方式对本发明做进一步详细说明：

图1是基于机器视觉的猪个体识别与饮水行为分析的流程。

图2是取饮水区分割结果的示例。

图3是某猪体头部、尾部轮廓对应的圆心对分布示例。

图4是提取猪个体形状特征时，质心、臀部区域示例。

具体实施方式

图1为基于机器视觉的猪个体识别与饮水行为分析的流程图，下面结合该图，进一步说明具体涉及的各部分具体实施方式。

步骤1：改建猪舍，获取俯视状态下群养猪视频序列。

具体方法是：在猪舍(长*宽*高＝3.5m*3m*1m)正上方3m处，安装拍摄俯视视频的图 像采集系统，获取包含猪个体饮水的视频片段。

步骤2：从视频帧图像中提取饮水区的猪个体。

具体方法是：

(1)对视频帧做图像预处理，即灰度化后做直方图均衡化。因封闭式猪场采集到的图像往往光线偏暗，通过直方图均衡化进行预处理可以获得一个具有丰富灰度级、动态范围大的增强图像。

(2)对预处理后的图像帧做最大熵阈值分割，并取分割结果中的饮水区域。猪圈中饮水龙头是相对固定的，因此可以手动设定饮水区域，图2是图像分割后取饮水区域的示例。只取饮水区域避免了其他区域(比如猪圈的围栏，食槽等)对分割结果的影响。

(3)对分割后的二值图像做数学形态学处理。包括利用半径固定的圆盘结构元素对结果做“开”运算，并标记连通区域，同时将目标小于一定像素数目的区域去除。最后取数学形态学处理后的最大连通区域，这样就提取了饮水区的猪个体目标。

步骤3：计算猪个体与饮水龙头之间的距离，当提取的猪个体边缘与水龙头之间的距离在20像素之内时，则判断该猪个体与饮水龙头接触，其后使用改进的广义Hough变换和聚类算法对猪体头部、尾部进行判定。

(1)根据猪体整体轮廓类似椭圆的性质，对猪体整体轮廓进行椭圆拟合，以椭圆长轴方向为横坐标、短轴方向为纵坐标自适应建立直角坐标系。接着，截取猪体占身长四分之一的头部、尾部轮廓。以头部轮廓的其中一个端点为起始点，在该轮廓上每隔τ个像素点确定一个采样点，将连续的轮廓曲线用点的形式表示出来。尾部轮廓也做类似采样。

(2)仍然以截取的头部轮廓为例，将前述确定的轮廓采样点用一系列坐标表示，记为{(x₁，y₁)，(x₂，y₂)(x₃，y₃)...(x_j，y_j)}，其中j表示该轮廓曲线确定的采样点总个数。根据任意不共线三点可唯一确定一个圆的原理，在轮廓采样点上按顺序选取三点(x_i，y_i)、(x_i+1，y_i+1)、(x_i+2，y_i+2)确定圆心(a_i，b_i)，计算公式如下：

这样，头部轮廓由图像空间被映射为若干圆心对的参数空间，尾部轮廓也同理。

(3)考虑猪体头部、尾部形状的差异性，尾部(即臀部)的轮廓更接近圆形，因此尾部的圆心点会相对集中、聚集更密，而头部圆心点分散、聚集程度低。某猪体头部、尾部轮廓对应的圆心对分布情况如图3所示。最后计算圆心对两两之间的距离均值，通过与预设阈值的比较，小于预设阈值的圆心对所对应的曲线为尾部轮廓，否则为头部轮廓。

步骤4：在判定猪体头部与饮水龙头接触后，进行猪个体特征提取，包括提取猪个体的颜色、形状两类特征，并对特征进行数据规格化。

(1)颜色特征提取

通过颜色矩方法提取猪个体的颜色特征，由于颜色信息主要集中在低阶矩中，故只需对每种颜色通道的一阶、二阶和三阶矩进行统计。设h_ij表示第i个颜色通道分量中灰度为j的像素出现的概率，n为总像素数目，则颜色矩的3个低阶矩(均值、方差和偏斜度)公式分别如式(3)-(5)所示。

颜色特征是一种重要的视觉特征，对图像的尺度、方向、视角的依赖性较弱，具有较高的稳定性，有助于区分猪个体颜色上的差异。每个猪个体提取了R、G、B共3个通道的9个颜色特征，记为：F₁＝[μ_R,σ_R,S_R,μ_G,σ_G,S_G,μ_B,σ_B,S_B]，该括号内分别为R、G、B这3个通道的均值、方差和偏斜度。

(2)形状特征提取

经过图像分割后，获得的是二值图像，这里提出了以下典型的几何特征来表示所提取的二值图像。

连通域面积A：指猪个体目标区域内包含的像素总数，描述了猪个体的大小。对二值图像f(x,y)，假设S为猪个体目标的连通域。区域面积的计算公式如式(6)：

目标轮廓周长L：指猪个体目标区域轮廓周长。采用八连接计算边界时，周长被定义为

倍对角线上像素个数加上水平、垂直方向上的像素个数。区域轮廓周长的计算公式如式(7)：

其中N_e为对角线方向上的像素总数，N_O为水平和垂直方向上的像素总数。

质心到水龙头的距离d。假设目标质心的坐标为(x_m,y_m)，水龙头坐标为(x_w,y_w)，则质心到水龙头的距离计算公式如式(8)：

其中

分别为质心的横轴和纵轴坐标，N_s为连通域的像素总数。

臀部圆形度ρ：描述了猪个体臀部区域的大致形状。臀部圆形度的计算公式如式(9)：

其中A_p，L_p为臀部区域的面积及周长。这里臀部区域被定义为通过质心的垂直线所切分的猪个体后半身，如图4所示。

长宽比K：长宽比反映了猪个体的总体形状。长宽比的计算公式如式(10)：

其中，W_R为包围连通域的最小矩形的宽度，L_R为包围连通域的最小矩形的长度。

这样每个猪个体提取了5个形状特征，记为：F₂＝[A,L,d,ρ,K]，连同9个颜色特征，共14维特征一起组合形成了表征猪个体身份的特征矢量，记为：F＝[F₁,F₂]。

(3)特征规格化

即将特征均规格化到[0 1]之间，对于特征T的一个值ν映射到ν^*，具体计算公式如式(11)：

其中max_T和min_T分别为特征T的最大和最小值

步骤5：猪个体的身份识别。

具体方法是：在所采集的大量视频中，对于每只猪个体都精心挑选了3个正在饮水时的样本，提取了上述14维特征，并对特征进行数据规格化，形成标准特征库；对于可能饮水的待识对象，通过欧式距离判别其归属。待识对象与标准特征库中哪个样本的欧式距离最短，则待识对象被判别为哪一个猪个体。对任意两个n维的数据样本向量F_a和F_b，它们间欧氏距离的计算公式如式(12)：

d(F_a,F_b)＝[(F_a-F_b)(F_a-F_b)^T]^1/2 (12)

步骤6：猪个体是否饮水的判断及结果统计。

经前述步骤，提取了饮水区的猪个体目标，其后通过猪个体边缘与水龙头之间的距离判断该猪个体是否可能正在饮水，如果是则提取上述14维特征，通过与标准特征库之间的欧式距离识别该猪个体，当该猪个体边缘与饮水龙头接触时间维持2秒以上时，则认为该猪个体实施了1次饮水行为，并做结果统计。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (6)

1.基于机器视觉的猪个体识别与饮水行为分析方法，其特征在于，包含以下步骤：

(1)获取俯视状态下群养猪视频序列，从视频帧图像中提取饮水区的猪个体；

(2)计算猪个体与饮水龙头之间的距离，判断该猪个体是否与饮水龙头接触，若是则采用改进的广义Hough变换和聚类算法对猪体头部、尾部进行判定；

(3)若猪体头部与饮水龙头接触，则进行猪个体特征提取，包括提取猪个体的颜色、形状两类特征，并对特征进行数据规格化；

(4)精选各个猪个体饮水时的样本，建立猪个体识别的标准特征库；通过与标准特征库的欧式距离对待识对象进行识别，并根据猪个体与饮水龙头的接触时间来判断猪个体是否饮水；

所述步骤(2)具体包括：当提取的猪个体边缘与水龙头之间的距离在20像素之内时，则认为该猪个体可能在饮水；在判定猪个体与饮水龙头接触后，使用改进的广义Hough变换和聚类算法对猪体头部、尾部进行判定：首先对猪体整体轮廓进行椭圆拟合，以椭圆长轴方向为横坐标、短轴方向为纵坐标自适应建立直角坐标系；接着截取猪体占身长四分之一的头部、尾部轮廓，并以各曲线轮廓的其中一个端点为起始点，在该轮廓上每隔τ个像素点确定一个采样点，将连续的轮廓曲线用点的形式表示出来；再在轮廓采样点上按顺序选取三点确定一个圆心，这样，曲线轮廓由图像空间被映射为若干圆心对的参数空间；最后计算圆心对两两之间的距离均值，通过与预设阈值的比较，小于预设阈值的圆心对所对应的曲线为尾部轮廓，否则为头部轮廓。

2.根据权利要求1所述的基于机器视觉的猪个体识别与饮水行为分析方法，其特征在于所述步骤(1)具体包括：改建实验用猪舍，在猪舍正上方安装拍摄俯视视频的图像采集系统，获取包含猪个体饮水的视频片段，对单帧图像做直方图均衡化及最大熵阈值分割，取饮水区的分割结果做数学形态学处理，从而提取了饮水区的猪个体目标；因猪圈中水龙头的位置是固定的，正在饮水的猪个体仅可能有一只，而且通常是标准站立姿势，喝水时往往是不希望被其他同伴打扰的，仅取饮水区域的分割结果可以避免猪圈的围栏、食槽区域对分割结果的影响。

3.根据权利要求1所述的基于机器视觉的猪个体识别与饮水行为分析方法，其特征在于：所述步骤(3)中当判定是猪体头部与饮水龙头接触，其后提取该猪个体的颜色、形状两类特征，其中颜色特征通过颜色矩方法提取，由于颜色信息主要集中在低阶矩中，故只需对每种颜色通道的一阶、二阶和三阶矩的均值、方差和偏斜度进行统计，这样每个猪个体提取了R、G、B共3个通道的9个颜色特征，记为：F₁＝[μ_R,σ_R,S_R,μ_G,σ_G,S_G,μ_B,σ_B,S_B]，该括号内分别为R、G、B这3个通道的均值、方差和偏斜度。

4.根据权利要求1所述的基于机器视觉的猪个体识别与饮水行为分析方法，其特征在于：所述步骤(3)中当判定猪体头部与饮水龙头接触后提取的另一类特征为形状特征，包括以下典型的形状特征来表示所分割后的二值图像，连通域面积A：指猪个体目标区域内包含的像素总数，描述了猪个体的大小；目标轮廓周长L：指猪个体目标区域轮廓周长；质心到水龙头的距离d：猪个体质心与饮水龙头之间的距离；臀部圆形度ρ：描述了猪个体臀部区域的大致形状，这里臀部区域被定义为通过质心的垂直线所切分的猪个体后半身；长宽比K：长宽比反映了猪个体的总体形状；这样每个猪个体提取了5个形状特征，记为：F₂＝[A,L,d,ρ,K]，连同9个颜色特征，共14维特征一起组合形成了表征猪个体身份的特征矢量，记为：F＝[F₁,F₂]。

5.根据权利要求1所述的基于机器视觉的猪个体识别与饮水行为分析方法，其特征在于：所述步骤(3)中对提取的特征进行数据规格化是将特征变换到[0 1]之间，即对于特征T的一个值ν映射到ν^*，通过公式

来计算，其中max_T和min_T分别为特征T的最大和最小值；无论是建立猪个体标准特征库的过程中，还是提取待识对象的特征后，都需要对特征进行数据规格化，因为提取的各个特征的数值范围是不一样的，数据规格化可以防止那些处在较大数值范围的特征压倒那些处在相对较小的数值范围的特征，只有对特征进行数据规格化才能消除因为特征大小范围不一样对分类结果的影响。

6.根据权利要求4所述的基于机器视觉的猪个体识别与饮水行为分析方法，其特征在于所述步骤(4)具体包括：在所采集的大量视频中，对于每只猪个体都精心挑选了3个正在饮水时的样本，提取了上述14维特征，并对特征进行数据规格化，形成标准特征库；对于可能饮水的待识对象，可以通过欧式距离判别其归属，待识对象与标准特征库中哪个样本的欧式距离最短，则待识对象被判别为哪一个猪个体；当猪个体边缘与饮水龙头接触时间维持2秒以上时，则认为该猪个体发生了饮水行为。

Images