CN105913425A - 一种基于自适应椭圆分块和小波变换的多猪轮廓提取方法 - Google Patents

Abstract

本发明公开了一种基于自适应椭圆分块和小波变换的多猪轮廓提取方法，该方法首先通过二维OTSU全局阈值分割俯视群养猪图像获取初始的分割结果，在初始分割结果中再进行自适应椭圆分块，将原图像以每个猪体目标为中心自适应分为若干个椭圆形区域，最后在每个椭圆区域中充分利用小波变换的多尺度分析能力和导数特性做精确二次分割，实现从俯视群养猪图像中提取多猪目标轮廓。本发明能够有效克服固定分块的块效应和单一阈值的消极分割效应；能够抑制猪场排泄物、水渍等对前景的干扰，适用于猪只之间有所接触、光线变化等复杂场景，快速得到完整多猪轮廓。本发明为后续猪只跟踪、身份识别和行为分析等奠定了基础。

Description

一种基于自适应椭圆分块和小波变换的多猪轮廓提取方法

技术领域

本发明涉及机器视觉技术领域，具体涉及一种基于自适应椭圆分块和小波变换的多猪轮廓提取方法。

背景技术

我国是猪肉消费大国，利用机器视觉技术实现俯视群多猪视频序列中猪体前景目标的提取、跟踪、行为分析等具有重要的理论价值和巨大的应用前景。其中，猪体的轮廓提取至关重要。传统的方法大多是先背景减除再二值化(参见：刘波，朱伟兴，杨建军，等.基于深度图像和生猪骨架端点分析的生猪步频特征提取[J].农业工程学报，2014，30(10)：131-137.；Kashiha M，Bahr C，Haredasht S A，etc.The automatic monitoring of pigswater use by cameras[J].Computers and Electronics in Agriculture，2013：164-169.)，但是，这类文献的重点并不是猪个体的前景检测，在规模化养殖场俯视群养猪图像中，由于场景复杂，所述方法的前景检测效果并不理想；特别在无法提前获取不包含前景目标的背景图像的时候，研究在俯视群养猪图像中有效提取前景目标仍然是一项具有挑战性的工作。(参见：Yizheng Guo，Weixing Zhu，Pengpeng Jiao，et al.Foreground detectionof group-housed pigs based on the combination of Mixture of Gaussians usingprediction mechanism and threshold segmentation[J].Biosystems engineering，2014，125(9)：98-104.；Mohammad Amin Kashiha，Claudia Bahr，etc.Automaticmonitoring of pig locomotion using image analysis[J].LivestockScience159(2014)141-148.)。本发明通过采用全局阈值、椭圆分块和局部小波变换，解决了在复杂背景、缺少足够的先验条件下，对俯视群养猪视频序列中的猪个体轮廓进行有效提取的问题。

发明内容

本发明的目的是：针对俯视群养猪图像，在无法提前获取无前景的背景图像，地面有尿渍和粪块等干扰物，猪只之间有所接触、光线变化等复杂场景下，实现从单帧俯视群养猪图像中提取多猪目标轮廓。本方法利用自适应椭圆分块和局部小波变换，解决了固定分块的块效应和单一阈值容易产生过分割和欠分割的问题。

本发明的技术方案是：该方法首先通过二维OTSU全局阈值分割俯视群养猪图像获取初始的分割结果，在初始分割结果中再进行自适应椭圆分块，将原图像以每个猪体目标为中心自适应分为若干个椭圆形区域，最后在每个椭圆区域中充分利用小波变换的多尺度分析能力和导数特性做精确二次分割，实现从俯视群养猪图像中提取多猪目标轮廓。从分割的结果看，本文方法非常有效。

本发明的有益效果是：

1)无需预设背景帧；能够有效克服固定分块的块效应和单一阈值的消极分割效应；能够抑制猪场排泄物、水渍等对前景的干扰，适用于猪只之间有所接触、光线变化等复杂场景，快速得到完整多猪轮廓。本发明为后续猪只跟踪、身份识别和行为分析等奠定了基础，同时也为其它图像前景目标提取提供了新思路。

2)OTSU全局阈值分割和数学形态学处理后的结果可以发现1号猪的头部和尾部、4号猪的左侧和7号猪的头部因为光线较暗、前景和背景灰度较接近等等原因，分割缺失严重，其他的猪也有些的细节分割不够清晰。因为是单一阈值的分割，对于猪舍这样因环境复杂多变而导致灰度分布复杂的图像，某一处的过分割必然导致别处的欠分割，所以需要第二次的精确分割。

3)以椭圆中心位置(x_c，y_c)，a、b分别为长轴、短轴，θ为长轴转角所形成的椭圆可作为前景目标的外接椭圆，这样图像就被以每个猪体目标为中心自适应分成七个椭圆区域子块。与固定奖图像分为四个或者八个区域子块相比，以猪体目标为中心进行椭圆分块更适合猪体的形状特征，分块的区域面积也较小，为下面的子块区域内的小波边缘检测算法降低了复杂度。

4)在椭圆区域子块中使用小波边缘检测算法检测图像边缘，结合小波变换的多尺度分析，大尺度时，图像边缘稳定、抗噪性强；小尺度时，图像细节信息丰富，边缘定位精度高。与阈值分割相比，当图像背景复杂、噪声较多、前景和背景像素灰度值较接近时，阈值分割容易产生过分割和欠分割情况，而小波边缘检测算法能有效的提取出完整前景目标。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明。

图1是本发明多猪轮廓提取流程图。

图2是俯视群养猪的单帧示意图。

图3是设定有效区域示意图。

图4是二维直方图。

图5是OTSU全局阈值分割示意图。

图6是椭圆中样本点和正交邻近点示意图。

图7是外接椭圆分块示意图。

图8是局部小波变换分割示意图。

具体实施方式

图1是多猪轮廓提取流程图，下面结合该图进一步说明各部分的具体实施方法。

1.视频采集及获取俯视群养猪视频图像

在猪舍上空安装视频图像采集系统对群养猪进行视频监测，拍摄了不同生长期、7头左右、足够数量的猪舍视频，摄像机距离地面垂直高度约为3m，位于猪舍(长*宽＝3.5m*3m)正上方位置。俯视群养猪的单帧图像如图2所示。

2.直方图均衡化和设定有效区域

由于养猪场的实际条件，采集到的图像往往光照不足，对应到直方图上就是图像的灰度范围较小且灰度值均在低灰度一侧。直方图均衡化可使得图像灰度级更加丰富、灰度范围变大且更加均匀。因为猪的活动范围是有限的，墙壁和猪的食槽都不属于猪只的活动范围，所以除去墙体、猪的食槽的地方设定为有效区域。如图3所示，大长方形框以内小长方形框以外的像素区域即为有效区域。

3.二维OTSU阈值分割和数学形态学处理

二维OTSU以前景和背景的类间方差最大为阈值选取准则将图像分成两类。设图像f(x，y)的大小为M×N(1≤x≤M，1≤y≤N)，计算每个像素点处3×3邻域的平均灰度值获得平滑图像g(x，y)，两个图像的灰度区间都为[0，1，2，…，L]。设图像f(x，y)中灰度级i和平滑图像g(x，y)中灰度级j的像素对数目为r(i，j)，则定义二元组(i，j)在图像和其平滑图像中的联合概率为：

$\begin{array}{cc}p(i,j)=\frac{r(i,j)}{M\×N}& i,j\∈(0,1,2,...,L)\end{array}---\left(1\right)$

式(1)中0≤p(i，j)≤1，通过联合概率p(i，j)可以获得图像的二维直方图，如图4所示，是一个(L+1)×(L+1)矩阵。假设阈值向量(t，s)将直方图分为4个区域，区域1和区域2表示图像中的背景和目标，区域3和区域4表示噪声和边缘；若像素是前景和背景内部的像素，则其邻域灰度值和其本身灰度值是接近的；若像素是前景和背景边缘处的像素，则其邻域灰度值和其本身灰度值有很大的差异。因为图像中边缘点和噪声点往往占少数，所以假设区域3和区域4的联合概率接近于0，即：

p₃(i，j)＝p₄(i，j)≈0 (2)

式(2)中

假设图4中的2类区域1和区域2存在，p₁(t，s)和p₂(t，s)分别为区域1和区域2的联合概率，则对应的类内均值向量为：

$m_1={\[\frac{m_{i1}(t,s)}{p_1(t,s)},\frac{m_{j1}(t,s)}{p_1(t,s)}\]}^T---\left(3\right)$

$m_2={\[\frac{m_{i2}(t,s)}{p_2(t,s)},\frac{m_{j2}(t,s)}{p_2(t,s)}\]}^T---\left(4\right)$

式(3)中式(4)中

总均值向量m为：

$m=\left(\begin{array}{c}{m}_i\\ m_j\end{array}\right)=\left(\begin{array}{c}\underset{i=0}{\overset{L}{\Σ}}\underset{j=0}{\overset{L}{\Σ}}ip(i,j)\\ \underset{i=0}{\overset{L}{\Σ}}\underset{j=0}{\overset{L}{\Σ}}jp(i,j)\end{array}\right)---\left(5\right)$

式(5)中m_i为图像整体的灰度均值，m_j为平滑图像整体的灰度均值。若用m_i1、m_j1、p₁和p₂分别简写m_i1(t，s)、m_j1(t，s)、p₁(t，s)和p₁(t，s)，则区域1和区域2的类间方差为：

${\mathrm{tr\σ}}_1(t,s)=p_1\[{(\frac{m_{i1}}{p_1}-m_i)}^2+{(\frac{n_1}{p_1}-m_j)}^2\]---\left(6\right)$

${\mathrm{tr\σ}}_2(t,s)=p_2\[{(\frac{m_{i2}}{p_2}-m_i)}^2+{(\frac{m_{j2}}{p_2}-m_j)}^2\]---\left(7\right)$

整体的类间方差为：

trσ(t，s)＝trσ₁(t，s)+trσ₂(t，s) (8)

遍历L+1个灰度级，使类间方差trσ(t，s)最大的阈值向量就是我们期望的阈值向量，即最佳阈值向量为：

$(t^{\′},s^{\′})=Arg\underset{0\≤t\≤L}{\max }\underset{0\≤s\≤L}{\max }\left\{tr\mathrm{\σ}\right(t,s\left)\right\}---\left(9\right)$

前景和背景间的类间方差越大，说明前景和背景的差别越大。当部分的前景错分为背景或者背景错分为前景的时候，前景和背景的类间方差会变小，说明前景和背景的差别变小。使用OTSU全局阈值分割方法能够使得前景和背景的错分概率最小。

接下来是对“有效区域”进行数学形态学处理获得仅含有猪只轮廓的图像。形态学处理的步骤有：(1)使用80像素盘状元素形态学闭运算消除图像的板条状边缘；(2)因为猪体的特点，前景目标一定不是面积较小的连通区域，所以要将目标像素数目较小的连通区域去除；(3)将前景目标内部的一些非前景的“空洞”进行填充。OTSU全局阈值分割和数学形态学处理后的结果如图5所示，可以发现1号猪的头部和尾部、4号猪的左侧和7号猪的头部因为光线较暗、前景和背景灰度较接近等等原因，分割缺失严重，其他的猪也有些的细节分割不够清晰。因为是单一阈值的分割，对于猪舍这样因环境复杂多变而导致灰度分布复杂的图像，某一处的过分割必然导致别处的欠分割，所以需要第二次的精确分割。

4.自适应椭圆分块

常用的椭圆拟合方法有3种，一种是基于不变矩的椭圆拟合方法，另两种是基于HOUGH变换的椭圆拟合方法和基于最小二乘的椭圆拟合方法。基于最小二乘的椭圆拟合方法能应用于各种复杂的对象模型，并能得到很好的拟合精度和直观的给出拟合误差。本发明使用的是基于最小二乘的椭圆拟合方法。第一步使用基于代数距离的最小二乘法计算出初始的椭圆参数值，第二步再用基于几何距离的最小二乘法迭代求解出改进的椭圆参数值。设椭圆的二次曲线方程的代数形式如式(10)：

ax²+bxy+cy²+dx+ey+f＝0 (10)

记x＝[a b c d e f]^T，i为边缘点像素的数目。以粗分割结果中的边缘点坐标(x_i，y_i)为样本点，则基于代数距离的最小二乘椭圆拟合方法可表示式(11)：

$x^{\mathrm{\Δ}}=\arg \underset{x}{\min }\left\{\underset{i=1}{\overset{n}{\Σ}}E{(x,p_i)}^2\right\}---\left(11\right)$

式(11)使用线性最小二乘方法可以直接求解，注意为了避免方程出现零解，可以设置约束条件a+c＝1。上述基于代数距离的最小二乘椭圆拟合方法计算方便快速，但是以代数距离测量误差会随坐标的变化而变化，因此求得解可作为接下来基于几何距离拟合方法优化估计的初始值。

椭圆可由5个参数表示，如图6所示，即椭圆中心位置(x_c，y_c)，长轴a和短轴b，长轴的转角θ(-π/2＜θ＜π/2)。记椭圆参数为：a＝(a b x_c y_c θ)。设点R′(X_i，Y_i)为椭圆上点R(X_i，Y_i)的正交邻近点，则基于几何距离的最小二乘椭圆拟合方法如式(12)：

G＝(X-X′)^TV^TV(X-X′) (12)

式(12)中X表示n个样本点的坐标列向量，X′表示初始椭圆上相应正交邻近点的坐标列向量；V表示对称正定加权矩阵。由式(12)得基于样本点的参数拟合为：

${\left(\frac{\∂G}{\∂a}\right)}^T=2J^T{V}^{T}V(X-X^{\′})=0---\left(13\right)$

VJ|_kΔa＝V(X-X′)|_k (14)

式中：最后由式(14)迭代可求解a。

求得向量a后，即求出参数a、b、x_c、y_c和θ后，将长轴、短轴扩大1.5倍仍然赋值给a、b，椭圆中心位置(x_c，y_c)和转角θ保持不变，对原图像进行自适应椭圆分块如图7所示。这样以椭圆中心位置(x_c，y_c)，a、b分别为长轴、短轴，θ为长轴转角所形成的椭圆可作为前景目标的外接椭圆，图像就可以被自适应的分成多个椭圆形区域子块。

5.椭圆区域内小波变换分割获取前景目标轮廓

图像的边缘点是一些灰度剧烈变化的像素点，并且边缘点对应于一阶导数的局部极大值点和二阶导数的零交叉点。平滑图像的梯度向量的模正比于小波变换的模，并且水平向量和梯度向量之间的夹角是小波变换的相角。局部模极大值点是大于相角方向上相邻两点模值的点，图像的边缘点就是对应于梯度向量模的局部极大值点。

假设α(x，y)是二维平滑函数，且∫∫α(x，y)dxdy≠0，它在x，y方向上的偏导数为基本小波：

式中，检测图像的y方向边缘；检测图像的x方向边缘。假设图像函数为f(x，y)，其小波变换为：

$\left[\begin{array}{c}{Q}^{\left(x\right)}f(2^i,x,y)\\ Q^{\left(y\right)}f(2^i,x,y)\end{array}\right]=2^i\left[\begin{array}{c}\frac{\∂\[f(x,y)*\mathrm{\α}(x,y))\]}{\∂x}\\ \frac{\∂\[f(x,y)*\mathrm{\α}(x,y)\]}{\∂y}\end{array}\right]---\left(17\right)$

式(17)中Q^(x)和Q^(y)表示图像f(x，y)被平滑函数α(x，y)平滑后，图像沿x，y方向的灰度变换梯度。整幅图像的模值和相角为：

模值：

相角：

平滑函数平滑后的图像中具有灰度变化的点构成了集合图像中的突变点对应在方向的极大值点，而图像的突变处是图像的边缘，所以使用该特点可以检测图像边缘。

小波变换具有良好的多尺度分析能力，结合大尺度时的抗噪性、边缘稳定和小尺度时的边缘定位精度高、细节信息丰富的特性可以有效的分割出前景目标边缘，使用多尺度小波变换检测图像边缘的具体步骤如下：(1)进行预处理，去噪以及使用高斯滤波器过滤图像；(2)进行小波变换，得到模族M(x，y)和相族A(x，y)，沿着相角梯度邻接位置的八个方向求得局部极大值点；(3)从最大的尺度i开始将模值相近、相角相似的非零像素点连接获得图像f_i(x，y)；(4)在(i-1)尺度下的4*4邻域内出现的可能边缘点标记为候选边缘点补充到f_i(x，y)中获得f_i-1(x，y)，尺度(i-1)再减1直到i＝1得到边缘图像。数学形态学处理后的分割结果如图8所示，和图5的粗分割结果比较，每个目标都能够完整的分割出来，特别是粗分割中分割不完整的1号猪的头部和尾部、4号猪的左侧部分和7号猪的头部和尾部，都能完整分割出来。实验结果显示，本发明中的算法可以从复杂背景下提取完整的俯视群养多猪轮廓，具有良好的鲁棒性，是一种有效的提取多猪轮廓的方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (5)

1.一种基于自适应椭圆分块和小波变换的多猪轮廓提取方法，其特征在于，包括以下步骤：步骤1，首先对单帧俯视群养猪图像进行直方图均衡化并且设立有效区域；步骤2，接着对有效区域进行OTSU全局阈值分割和数学形态学处理获得初始分割前景目标图像；步骤3，然后用外接椭圆对原图像进行自适应区域分块；步骤4，最后在各分块区域中做局部小波变换轮廓提取进行精确二次分割。

2.根据权利要求1所述的一种基于自适应椭圆分块和小波变换的多猪轮廓提取方法，其特征在于，所述步骤1中，先对单帧俯视群养猪图像进行直方图均衡化并且设立有效区域，有效区域是指猪的活动范围，墙壁和猪的食槽都不属于猪只的活动范围，除去墙壁和猪的食槽的地方设定为有效区域。

3.根据权利要求1所述的一种基于自适应椭圆分块和小波变换的多猪轮廓提取方法，其特征在于，所述步骤2中，

OTSU全局阈值分割具体过程为：

步骤2.1，设图像f(x，y)的大小为M×N(1≤x≤M，1≤y≤N)，计算每个像素点处3×3邻域的平均灰度值获得平滑图像g(x，y)，两个图像的灰度区间都为[0，1，2，…，L]；设图像f(x，y)中灰度级i和平滑图像g(x，y)中灰度级j的像素对数目为r(i，j)，则定义二元组(i，j)在图像和其平滑图像中的联合概率为：

$p(i,j)=\frac{r(i,j)}{M\×N},i,j\∈(0,1,2,...,L)$

式(1)中0≤p(i，j)≤1，通过联合概率p(i，j)可以获得图像的二维直方图，为一个(L+1)×(L+1)矩阵；

步骤2.2，假设阈值向量(t，s)将直方图分为4个区域，区域1和区域2表示图像中的背景和目标，区域3和区域4表示噪声和边缘；若像素是前景和背景内部的像素，则其邻域灰度值和其本身灰度值是接近的；若像素是前景和背景边缘处的像素，则其邻域灰度值和其本身灰度值有很大的差异；

步骤2.3，假设区域1和区域2存在，p₁(t，s)和p₂(t，s)分别为区域1和区域2的联合概率，则对应的类内均值向量为：

$m_1={\[\frac{m_{i1}(t,s)}{p_1(t,s)},\frac{m_{j1}(t,s)}{p_1(t,s)}\]}^T$

$m_2={\[\frac{m_{i2}(t,s)}{p_2(t,s)},\frac{m_{j2}(t,s)}{p_2(t,s)}\]}^T$

式中

总均值向量m为：

$m=\left(\begin{array}{c}{m}_i\\ m_j\end{array}\right)=\left(\begin{array}{c}\underset{i=0}{\overset{L}{\mathrm{\Σ}}}\underset{j=0}{\overset{L}{\mathrm{\Σ}}}ip\left(i,j\right)\\ \underset{i=0}{\overset{L}{\mathrm{\Σ}}}\underset{j=0}{\overset{L}{\mathrm{\Σ}}}jp\left(i,j\right)\end{array}\right)$

式中m_i为图像整体的灰度均值，m_j为平滑图像整体的灰度均值；若用m_i1、m_j1、p₁和p₂分别简写m_i1(t，s)、m_j1(t，s)、p₁(t，s)和p₁(t，s)，则区域1和区域2的类间方差为：

${\mathrm{tr\σ}}_1(t,s)=p_1\[{(\frac{m_{i1}}{p_1}-m_i)}^2+{(\frac{m_{j1}}{p_1}-m_j)}^2\]$

${\mathrm{tr\σ}}_2(t,s)=p_2\[{(\frac{m_{i2}}{p_2}-m_i)}^2+{(\frac{m_{j2}}{p_2}-m_j)}^2\]$

整体的类间方差为：

trσ(t，s)＝trσ₁(t，s)+trσ₂(t，s)

步骤2.4，遍历L+1个灰度级，使类间方差trσ(t，s)最大的阈值向量就是我们期望的阈值向量，即最佳阈值向量为：

$(t^{\′},s^{\′})=\mathrm{Arg}\underset{0\≤t\≤L}{\max }\underset{0\≤s\≤L}{\max }\left\{\mathrm{tr\σ}(t,s)\right\}$

前景和背景间的类间方差越大，说明前景和背景的差别越大；当部分的前景错分为背景或者背景错分为前景的时候，前景和背景的类间方差会变小，说明前景和背景的差别变小；使用OTSU全局阈值分割方法能够使得前景和背景的错分概率最小；

对有效区域进行数学形态学处理的步骤为：

步骤2.5，使用10像素盘状元素形态学闭运算消除图像的板条状边缘；

步骤2.6，因为猪体的特点，前景目标一定不是面积较小的连通区域，所以要将目标像素数目较小的连通区域去除；

步骤2.7，将前景目标内部的一些非前景的空洞进行填充。

4.根据权利要求1所述的一种基于自适应椭圆分块和小波变换的多猪轮廓提取方法，其特征在于，所述步骤3中，计算每个前景目标的椭圆中心位置、长轴、长轴转角、短轴，接着再对进行自适应椭圆分块，将原图像以每个猪体目标为中心自适应分成若干个椭圆形区域，为椭圆区域内的二次精确分割做准备。

5.根据权利要求1所述的一种基于自适应椭圆分块和小波变换的多猪轮廓提取方法，其特征在于，所述步骤4中，在椭圆区域内进行小波变换二次精确分割，小波变换检测前景目标边缘的过程中得到模族M(x，y)和相族A(x，y)后沿八个方向求局部极大值点，从最大尺度i开始将模值和相角相似的非零像素点连接获得图像f_i(x，y)，将在(i-1)尺度下可能出现的候补边缘点补充到f_i(x，y)中获得f_i-1(x，y)，尺度(i-1)再减1直到i＝1得到边缘图像，最后进行二值形态学处理获得猪的二值图像。