CN108108700B - 一种基于弦轴变换的猪的特征区域识别方法 - Google Patents

Abstract

本发明公开了一种基于弦轴变换的猪的特征区域识别方法，首先对采集的俯视条件下的猪的原始图像进行预处理，运用基于形态学的前景检测与目标提取算法，获得所需的单只猪体目标轮廓图像。然后运用Harris角点检测算法，获得各显著关键点，并在此基础上进行Delaunay三角剖分，通过弦轴变换的方法可以将猪只目标分割成多个分割区域，其中将猪只轮廓周围的分割区域称为显著突出区域，并用树形结构来表示各分割区域之间的关系。最后结合基于支持向量机的多分类方法来识别各显著突出区域，从而获得目标对象的各重要特征区域(头，耳，鼻，腿，尾)。该项研究为进一步针对猪只的身份和行为识别提供了一种新的思路。

Description

一种基于弦轴变换的猪的特征区域识别方法

技术领域

本发明涉及机器视觉技术领域，具体涉及一种基于弦轴变换的猪的特征区域识别方法。

背景技术

在生猪养殖行业，运用机器视觉技术来对猪只进行研究，诸多方面也已经取得了理想的成绩。在对猪只的相关机器视觉研究过程中，主要是对猪只的身份和行为进行识别。而在对猪个体进行各种识别研究前，一般都需要先提取猪体对应的特征区域，例如在对猪只进行饮水行为识别前需要提取猪只的嘴部区域，通过判断猪只的嘴与水龙头是否接触，来判断猪只是否发生饮水行为。因为猪只的非刚体特性，其形状特征会随时发生改变，造成了现有的一些识别猪只特征区域的方法都存在一些局限性和不稳定性，例如在基于包络分析的猪的头尾识别取算法中，由于猪只并不是那么的配合，所以俯视条件下采集的图像，有时候猪的腿部会露出来，这种情况下，采用基于包络分析的方法就不能有效准确的识别其头尾部。所以有必要建立一种更加稳定的方法来提取猪体各特征区域。

本发明给出了一种基于弦轴变换的猪的特征区域识别方法。在猪低头、抬头、露腿及不露腿的情况下，该识别方法都能够准确提取出猪只各重要特征区域(头，耳，鼻，腿，尾)。这将为进一步针对猪的身份和行为识别提供新的思路。

发明内容

本发明目的是提取俯视条件下单个猪只个体的各重要特征区域(头，耳，鼻，腿，尾)。为此，提出一种基于弦轴变换的猪只个体特征区域提取方法。

本发明采用的技术方案是：(1)首先对单帧图像进行预处理，用自适应分块多阈值的俯视群养猪多目标提取方法，并结合小波变换方法检测猪体目标的边缘点，以及采用基于梯度的边缘生长法获得封闭轮廓，采取膨胀、腐蚀、填充等形态学运算处理，去除其他噪声封闭曲线，得到俯视状态下各猪体目标灰度图。(2)通过Harris角点算法检测边缘上的关键点，使这些关键点处在猪只目标的耳朵根部、鼻子、尾巴根部等，在任意两个关键点之间均匀增加离散点，两个关键点之间增加的离散点数为两个关键点之间边界点总数的1/30。(3)基于上述离散点集对猪只目标进行Delaunay三角剖分，并通过弦轴变换的方法将猪只目标分成多个分割区域。(4)用树形拓扑结构来表示各分割区域之间的关系，结合基于支持向量机的多分类方法完成对猪只目标各特征区域的提取。

利用Harris角点来提取边界上的关键点的具体方法是：

利用公式

来计算各点的响应值CRF，式中：Ix,Iy分别是图像水平、垂直方向的灰度梯度，选出局部最大值，得到角点候选点，为了使所选出的角点与期望的特征点尽可能一致，因此需要对候选点进一步筛选，筛选规则如下：根据角点候选点的最大值CRF_max，用一个数值k乘以这个最大值作为最终筛选阈值，若CRF>k*CRF_max，则该候选点为关键点。

进一步，采用3×3窗口，计算CRF响应值，选出局部最大值，得到角点候选点，通过实验验证的方法最终确定k的最佳取值为0.32。

进一步，在任意两个关键点之间根据一定规则增选离散点的具体方法是：在任意两个关键点之间均匀增加离散点，两个关键点之间增加的离散点数为两个关键点之间边界点总数的1/30。

进一步，利用弦轴变换的方法将猪只目标分成多个分割区域的具体方法是：用公式S(c)＝1-sin((α+β)/2)计算两两相连三角形的公共边的强度值S(c)，式中，α、β为弦c所对的两个角，依次计算并判断猪只目标内所有弦，判断规则如下：如果弦的强度值大于与之相连的两侧的弦的强度值，则该弦保留，否则舍弃，依据此规则可以将三角形合并为多边形区域，从而可以将猪只目标分成多个分割区域。

进一步，结合支持向量机多分类方法中的决策树方法来完成猪只各特征区域的提取，在完成决策树中三个节点的支持向量机训练的条件下运用如下方法来完成各特征区域的提取：

3.1)初始化当前叶子节点数；

3.2)取其中一个叶子节点，并计算该叶子节点所代表区域的头部特征组合H用SVM1进行分类；如果判断结果为头部区域，则跳转到3.4)，如果结果为非头部区域，叶子节点数减1，并且判断叶子节点数是否为0，如果不为0重复执行3.2)，否则执行3.3)；

3.3)将当前各叶子节点与各自的上一层节点合并，变成新的叶子节点，并分别判断其所代表区域的面积比率是否小于阈值ξ，如果小于ξ，则新组合有效，否则放弃组合，从而得到一系列新的末端叶子节点，并更新当前叶子节点数，返回3.2)继续执行；

3.4)根据头部区域子树的拓扑结构，通过其根节点所连接的叶子节点的状况来判断耳朵和鼻子；

3.5)计算非头部末端节点数，依次遍历非头部节点，计算该节点所代表区域的腿部特征组合L经过SVM2进行分类，来判断该节点所代表的区域是否是腿部区域，如果该区域不是腿部区域，则计算该区域的尾部特征组合通过SVM3来判断该区域是尾巴还是尾部。

进一步，所述步骤3.4)的具体过程为：通过观察发现俯视条件下的猪只总会露出两只耳朵，所以当该子树根节点的叶子节点数为2时，表示猪只低着头不露鼻子，这两个叶子节点所代表的区域是耳朵，当其叶子节点的数目为3时，表明露着鼻子，取该子树根节点和三个叶子节点所代表区域的重心点O、A、B、C，可以得到三个向量OA、OB、OC，计算两两向量之间的夹角，组成夹角最大的两个向量所指向的叶子节点代表猪只耳朵，剩余的一个向量指向的叶子节点判断为鼻子，顺序执行3.5)。

本发明的有益效果是:

本发明能够提取俯视状态下猪只个体的各特征区域。相比于以往的基于Hough聚类、包络分析的头尾特征区域识别方法，本发明不仅可以提取出其头部和尾部区域，而且还能够提取出嘴、耳、尾、腿等区域。而基于包络分析的方法在猪只腿部露出的情况，不能够有效的提取出猪只的头尾。所以本发明采用的方法考虑的情况更为周全，鲁棒性更强。更为后续对猪只的身份和行为识别提供了新思路。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明。

图1离散点选取结果；(a)为关键点示意图；(b)为离散点示意图；

图2弦强度计算及三角形合并；(a)为强度计算；(b)为三角形合并；

图3弦轴变换骨架模型及拓扑结构；(a)为骨架图；(b)为树形拓扑结构；

图4决策树方法；

图5特征描述图；

图6特征区域提取流程图；

图7拓扑结构子树所代表的区域示意图；(a)为弦轴变换骨架图；(b)为拓扑结构图；(c)为各子树所代表区域。

具体实施方式

下面结合附图以及具体实施例对本发明作出进一步的说明，但本发明的保护范围并不限于此。

步骤1：首先对单帧图像进行预处理，用自适应分块多阈值的俯视群养猪多目标提取方法，并结合小波变换方法检测猪体目标的边缘点，以及采用基于梯度的边缘生长法获得封闭轮廓，采取膨胀、腐蚀、填充等形态学运算处理，去除其他噪声封闭曲线，得到俯视状态下各猪体目标灰度图。

步骤2：提取猪只目标的弦轴变换骨架模型，将猪只目标分成多个分割区域。

具体方法是：(1)提取边界上的离散点

弦轴变换骨架模型以边界上提取的离散点为基础来建立模型，所以离散点的位置和数量是很重要的，离散点中的一些点要在关键位置上，比如耳朵根部、鼻子、尾巴根部。

本发明采用Harris角点的检测算法来提取边界上的关键点。该角点检测算法核心思想是利用自相关函数描述局部图像灰度的变化程度，可以用公式(1)计算各点的响应值CRF，根据其大小来确定是否是角点。

式中：Ix,Iy分别是图像水平、垂直方向的灰度梯度。

采用3×3窗口，计算CRF响应值，选出局部最大值，得到角点候选点。为了使所选出的角点与期望的特征点尽可能一致，因此需要对候选点进一步筛选，筛选规则如下：根据角点候选点的最大值CRF_max，用一个数值k乘以这个最大值作为最终筛选阈值，若CRF>k*CRF_max，则该候选点为关键点。经多次试验验证，本发明俯视条件下猪的关键点检测的较理想阈值可选取k＝0.32。结果如图1(a)所示。

为了完成对猪只目标的三角剖分，需要在任意两个关键点之间增选离散点。增选规则如下：经过大量实验，任意两个关键点之间增加的离散点数为两个关键点之间边界点总数的1/30时效果最好。依据此规则在各特征点之间均匀增加离散点，结果如图1(b)所示。

(2)三角形合并为多边形以及骨架化

在离散点提取的基础上，对离散点集进行Delaunay三角剖分。从而得到一系列三角形。并用公式(2)计算两两相连三角形的公共边(弦)的强度值S(c)，式(2)中，α、β为弦c所对的两个角。如图2(a)中，α、β为弦AB(当前弦c_i)所对的两个角。再用公式(3)所示规则，对弦进行筛选。公式(3)的含义是：如果当前弦的强度值大于与之相连的两侧的弦的强度值(可以与其中一侧相等)，则该弦保留，否则舍弃。如图3(a)中，弦AC(c_i-1)和BD(c_i+1)表示在弦AB(c_i)两侧与弦AB相连的弦，经计算，弦AB(c_i)的强度值0.01小于AC(c_i-1)的强度值0.11，不满足公式(3)的条件，故舍弃。依次判断猪只目标内的所有弦，从而可以将三角形合并为多边形区域，结果如图2(b)所示。将这些多边形区域中只有两条弦的区域称为连接区域。只有一条弦的称为末端区域。弦个数大于等于3的称为交叉区域。将相连的连接区域合并。再连接各弦的中点以及末端区域和交叉区域的质心从而得到其弦轴变换骨架模型，结果如图3(a)所示。

S(c)＝1-sin((α+β)/2) (2)

[S(c_i)＞S(c_i-1)andS(c_i)≥S(c_i+1)]或[S(c_i)≥S(c_i-1)andS(c_i)＞S(c_i-1)] (3)

步骤3：寻找根节点并建立拓扑结构

具体方法是：依据各多边形分割区域所处的位置是否在猪只目标的中心位置这一原则，找出该分割区域，并把该区域作为根节点，再根据各分割区域之间的连接特性建立树形拓扑结构。寻找根节点具体步骤如下：

①判断当前目标的内部分割区域个数(含有两条及以上弦的分割区域)是否大于1，如果不大于1则该内部区域就是根节点。否则计算当前末端区域的个数N，并执行②。

②取一个末端区域，将它与相连的内部区域组合，并判断组合后面积是否小于阈值σ，如果小于则将该末端区域与内部区域组合成新的分割区域，如果大于σ，则不合并。N＝N-1，如果N不等于0，继续执行②，否则执行③。

③阈值σ＝σ×2，返回①。

依据上述步骤可以找出猪只目标的根节点，并得到猪只的拓扑结构图，结果如图3(b)所示，其中，最下面一层用白色标记的区域，称作为叶子节点(下同)。

步骤4：利用基于多分类的支持向量机，完成各特征区域的提取

具体方法是：(1)选举合适的形状描述子

为了后续用支持向量机来识别各特征区域，需要找出一些特征来描述步骤2中运用弦轴变换方法所获得的各分割区域(如图3所示)。这些特征的具体说明如下：

1.面积比率：猪只末端区域面积占猪只总面积之比。

2.周长比率：猪只末端区域周长占猪只总周长之比。

3.弦长度比率：猪只末端区域的弦的长度与该末端区域周长之比。如图5所示，AB线段是该耳朵区域的弦。

4.圆度：表示该区域接近圆的程度，不同的特征区域近圆度差异比较大，可用公式4π×A/P²计算，A表示该区域的面积，P表示该区域的周长。

5.极点个数：该特征可以用来表述末端节点区域边界的不规则程度，具体计算方法是采用旋转卡尺算法来获取末端区域的最小外接矩形，接着将这个末端节点区域的边界点在最小外接矩形的四条边上进行投影，把投影点数较多的那一条边作为基准边记作x轴，与该边垂直的边记作y轴。这样就建立了一个二维坐标系。并计算在x轴上投影的边界轮廓的极值点个数，如图5所示，该末端区域的极值点为B、C、D、E，个数为4。

6.弦角度：在头部区域确定后(如图5中)，取其重心M，并连接点M与根节点所代表区域的重心F，以这条直线为基准。计算其余末端区域弦所在的直线与该直线的夹角，把这个角度作为弦角度值。如图5中，该基准线用MF表示，n为图5猪只尾巴区域弦所在的直线，θ为弦与该基准线的夹角。

7.末端距离比率：在头部区域确定后，计算末端区域重心点N到头部重心点M的距离与目标总周长之比，作为末端距离比率。如图5所示，线段MN的长度除以整个猪只目标的周长作为该猪只尾巴区域的末端距离比率。

以上特征中，采用比率表示，如面积比率、周长比率、弦长度比率、末端距离比率，主要考虑到不同猪体轮廓大小的归一化。

(2)结合基于SVM的多分类方法提取猪只各特征区域

本发明采用基于SVM多分类方法中的决策树方法。根据猪只各特征区域的特性，设置3个SVM节点，如图4所示，分类器SVM1将头部与非头部提取出来，非头部区域用SVM2将尾部和腿部提取出来。尾部区域分为两类尾巴和非尾巴，用SVM3来区分。

在运用基于SVM多分类方法中的决策树方法来提取猪只各特征区域时，需要预先训练这3个SVM节点，所以需要根据各个节点所需分类类别的特点，提取相应的稳定特征来进行训练。通过分析比较，分类器SVM1主要特征类型选极点个数，面积比率、周长比率、圆度、弦长度比率作为辅助特征(该特征组合用H表示)。主要特征和辅助特征表示当用支持向量机分类的时候各输入特征的权重不一样，主要特征的权重大，辅助特征的权重小(下同)。SVM2选尾部弦角度值、末端距离比率这两个作为主要特征，辅助特征选面积比率、周长比率、圆度、弦长度比率(特征组合用L表示)。SVM3选主要特征为面积比率，周长比率(特征组合用T表示)，来判断该尾部区域为尾巴还是尾部。

训练完三个SVM模型后，在猪只拓扑结构建立的基础上，猪只特征区域的提取步骤如流程图图6所示，具体提取步骤如下：

①初始化当前叶子节点数(num_leaf_node)。

②取其中一个叶子节点，并计算该叶子节点所代表区域的头部特征组合(H)用SVM1进行分类。如果判断结果为头部区域，则跳转到④。如果结果为非头部区域，叶子节点数(num_leaf_node)减1，并且判断叶子节点数(num_leaf_node)是否为0，如果不为0重复执行②，否则执行③。

③将当前各叶子节点与各自的上一层节点合并，变成新的叶子节点，并分别判断其所代表区域的面积比率是否小于阈值ξ，如果小于ξ，则新组合有效，否则放弃组合。从而得到一系列新的末端叶子节点，并更新当前叶子节点数(num_leaf_node)。返回②继续执行。

④根据头部区域子树的拓扑结构，通过其根节点所连接的叶子节点的状况来判断耳朵和鼻子。通过观察发现俯视条件下的猪只总会露出两只耳朵，所以当该子树根节点的叶子节点数为2时，表示猪只低着头不露鼻子，这两个叶子节点所代表的区域是耳朵。当其叶子节点的数目为3时，表明露着鼻子，取该子树根节点和三个叶子节点所代表区域的重心点O、A、B、C。可以得到三个向量OA、OB、OC，计算两两向量之间的夹角，组成夹角最大的两个向量所指向的叶子节点代表猪只耳朵，剩余的一个向量指向的叶子节点判断为鼻子。顺序执行⑤。

⑤计算非头部末端节点数(num_non_head_node)，依次遍历非头部节点，计算该节点所代表区域的腿部特征组合(L)经过SVM2进行分类，来判断该节点所代表的区域是否是腿部区域，如果该区域不是腿部区域，则计算该区域的尾部特征组合通过SVM3来判断该区域是尾巴还是尾部。

在经过上述步骤进行依次迭代和分类之后，能够有效的提取出各重要特征区域。以图7所示猪只为例来具体阐述识别流程。

图7(b)为图7(a)所示猪只的树形拓扑结构图，其中图7(b)中各圆圈分别代表图7(a)中所示的各分割区域。依据图7所示的识别流程图。图7(b)所示树形结构图中最下一层白色的圆圈所表示的区域代表叶子节点，分别计算其所代表区域的头部特征组合(H)通过SVM1判断得出都不是头部。然后找出当前叶子节点的所有父节点，分别将各父节点所代表的子树合并，判断新组合的节点面积、周长是否小于阈值σa、σp，如果条件不成立则保持原状不合并，比如图7(b)中方框3所代表的区域因为面积超过阈值，故放弃合并操作，维持原有的关系，而方框2所代表的区域合并成功，成为新的叶子节点。合并操作完成后，重新计算新的叶子节点所代表区域的的头部特征组合(H)通过SVM1判断得出方框2所代表的区域为头部区域。在方框2所示的头部区域内，找出这个子树的根节点(方框2中最上面的圆圈)，这个根节点所连接的两个子树分别表示两个耳朵，于是该猪只的头部和耳朵区域就被识别出来了。剩下的三个叶子节点(方框2以外的白色圆圈表示)，分别计算其所代表区域的腿部特征组合(L)，通过SVM2判断出其中两个白色圆圈所代表的区域是腿部。再计算剩下的一个白色圆圈所代表区域的尾部特征组合(T)通过SVM3可以得到该区域代表的是猪只的尾巴。最终该猪只的头、耳、腿、尾巴被识别出来。

尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (6)

1.基于弦轴变换的猪只特征区域识别 方法，其特征在于，包含以下步骤：

1)获取俯视状态下单个猪体目标，利用基于 Harris角点的检测方法来提取边界上的关键点，并在任意两个关键点之间根据一定规则增选离散点，在离散点选取的基础上完成对目标的Delaunay三角剖分；2)在上述步骤1)Delaunay三角剖分的基础上，利用弦轴变换的方法将猪只目标分成多个分割区域；3)用树形结构的方式来表示各分割区域之间的关系，并结合支持向量机多分类方法中的决策树方法来完成猪只各特征区域的提取；

所述步骤1)中利用Harris角点来提取边界上的关键点的具体方法是：

利用公式

来计算各点的响应值CRF，式中：Ix,Iy分别是图像水平、垂直方向的灰度梯度，ξ为阈值，选出局部最大值，得到角点候选点，为了使所选出的角点与期望的特征点尽可能一致，因此需要对候选点进一步筛选，筛选规则如下：根据角点候选点的最大值CRF_max，用一个数值k乘以这个最大值作为最终筛选阈值，若CRF>k*CRF_max，则该候选点为关键点；

所述步骤3)中结合支持向量机多分类方法中的决策树方法来完成猪只各特征区域的提取，在完成决策树中三个节点的支持向量机训练的条件下运用如下方法来完成各特征区域的提取：

3.1)初始化当前叶子节点数；

3.2)取其中一个叶子节点，并计算该叶子节点所代表区域的头部特征组合H用分类器SVM1进行分类，分类器SVM1主要特征类型选极点个数，面积比率、周长比率、圆度、弦长度比率作为辅助特征；如果判断结果为头部区域，则跳转到3.4)，如果结果为非头部区域，叶子节点数减1，并且判断叶子节点数是否为0，如果不为0重复执行3.2)，否则执行3.3)；

3.3)将当前各叶子节点与各自的上一层节点合并，变成新的叶子节点，并分别判断其所代表区域的面积比率是否小于阈值ξ，如果小于ξ，则新组合有效，否则放弃组合，从而得到一系列新的末端叶子节点，并更新当前叶子节点数，返回3.2)继续执行；

3.4)根据头部区域子树的拓扑结构，通过其根节点所连接的叶子节点的状况来判断耳朵和鼻子；

3.5)计算非头部末端节点数，依次遍历非头部节点，计算该节点所代表区域的腿部特征组合L经过分类器SVM2进行分类，SVM2选尾部弦角度值、末端距离比率这两个作为主要特征，辅助特征选面积比率、周长比率、圆度、弦长度比率；来判断该节点所代表的区域是否是腿部区域，如果该区域不是腿部区域，则计算该区域的尾部特征组合通过分类器SVM3来判断该区域是尾巴还是尾部，SVM3选主要特征为面积比率，周长比率。

2.根据权利要求1所述的基于弦轴变换的猪只特征区域识别方法，其特征在于：采用3×3窗口，计算CRF响应值，选出局部最大值，得到角点候选点。

3.根据权利要求1所述的基于弦轴变换的猪只特征区域识别方法，其特征在于：通过实验验证的方法最终确定k的最佳取值为0.32。

4.根据权利要求1所述的基于弦轴变换的猪只特征区域识别方法，其特征在于：所述步骤1)在任意两个关键点之间根据一定规则增选离散点的具体方法是：在任意两个关键点之间均匀增加离散点，两个关键点之间增加的离散点数为两个关键点之间边界点总数的1/30。

5.根据权利要求1所述的基于弦轴变换的猪只特征区域识别方法，其特征在于：所述步骤2)利用弦轴变换的方法将猪只目标分成多个分割区域的具体方法是：用公式S(c)＝1-sin((α+β)/2) 计算两两相连三角形的公共边的强度值S(c)，式中，α、β为弦c所对的两个角，依次计算并判断猪只目标内所有弦，判断规则如下：如果弦的强度值大于与之相连的两侧的弦的强度值，则该弦保留，否则舍弃，依据此规则可以将三角形合并为多边形区域，从而可以将猪只目标分成多个分割区域。

6.根据权利要求1所述的基于弦轴变换的猪只特征区域识别方法，其特征在于：所述步骤3.4)的具体过程为：通过观察发现俯视条件下的猪只总会露出两只耳朵，所以当该子树根节点的叶子节点数为2时，表示猪只低着头不露鼻子，这两个叶子节点所代表的区域是耳朵，当其叶子节点的数目为3时，表明露着鼻子，取该子树根节点和三个叶子节点所代表区域的重心点O、A、B、C，可以得到三个向量OA、OB、OC，计算两两向量之间的夹角，组成夹角最大的两个向量所指向的叶子节点代表猪只耳朵，剩余的一个向量指向的叶子节点判断为鼻子，顺序执行3.5)。

Images