CN104252709B - 一种复杂背景下俯视群养猪多目标前景检测方法 - Google Patents

Abstract

本发明提供了一种复杂背景下俯视群养猪多目标前景检测方法，首先采集俯视状态下群养猪视频序列；接着设定“有效区域”；通过提出的基于预测机制的混合高斯模型前景检测算法获取一个前景目标；同时利用前景目标的颜色信息做最大熵阈值分割，获取另一个前景目标；最后对两种算法的结果进行融合并进行数学形态学处理，从而获得最终前景目标。本发明的初始背景无需预先获取，适合背景存在光线变化、地面尿渍、水渍和粪块等杂物干扰；猪个体运动模式停停走走；前景目标颜色多样等复杂背景下的猪个体前景目标检测。为进一步探索群养猪个体身份识别、行为分析等奠定了基础。

Description

一种复杂背景下俯视群养猪多目标前景检测方法

技术领域

本发明涉及机器视觉技术，具体涉及一种视频监控前景目标提取方法，尤其涉及俯视状态下群养猪监控视频中猪个体目标前景检测方法。

背景技术

准确的猪个体前景检测是开展猪个体身份识别、跟踪、行为分析等后继研究的基础性工作。传统方法大多采用背景减除后再二值化(参见：Shao B,Xin H.A real-timecomputer vision assessment and control of thermal comfort for group-housedpigs[J].Computers and Electronics in Agriculture.2008,62(1):15－21.；KashihaM,Bahr C,Haredasht S A,etc.The automatic monitoring of pigs water use bycameras[J].Computers and Electronics in Agriculture,2013:164－169.)，但这类文献猪个体的前景检测不是讨论的重点，所述方法对复杂背景下俯视群养猪的前景检测效果不理想。专门报道猪个体前景检测的文献中(参见：纪滨,朱伟兴等.猪舍固定摄像背景去除法[J].计算机应用研究,2011,28(9):3585－3589.；Tu G J,Karstoft H,Pedersen L J,etal.Foreground detection using loopy belief propagation[J].Biosystemsengineering,2013,116(1):88－96.)也没有完全解决背景无需预设、复杂背景等俯视群养猪前景检测问题。本发明解决了在环境缺少足够先验知识的情况下，对复杂背景下俯视群养猪视频序列的猪个体进行有效前景目标检测问题。

发明内容

本发明的目的是提供一种复杂背景下俯视群养猪多目标前景检测方法。该方法的初始背景无需预先获取。该方法适合背景存在光线变化；地面有尿渍、水渍和粪块等杂物干扰；猪个体运动模式停停走走；前景目标颜色多样等复杂背景下的猪个体前景目标检测。

本发明采用的技术方案是：一种复杂背景下俯视群养猪多目标前景检测方法，其特征在于包括以下步骤：

(1)改建猪舍，获取俯视状态下群养猪视频序列；

(2)设定“有效区域”，即仅在猪的活动范围内考虑后继算法；

(3)基于预测机制的混合高斯模型前景检测；

(4)利用前景目标颜色信息的最大熵阈值分割；

(5)将步骤(3)和步骤(4)的前景检测结果进行融合及数学形态学处理。

步骤(3)所述基于预测机制的混合高斯模型前景检测，具体描述如下：前L帧按传统的混合高斯模型的前景检测方法进行背景建模与前景检测，但混合高斯模型参数更新公式有所变化。对于前L帧中的第t帧而言参数的更新方程如下：

式中ω_k,t、μ_k,t、分别为第k个高斯函数的权值、均值和方差，k＝1,2,...,K，其中K为混合高斯模型个数；式中X_t为在t时刻的当前像素；式中M_k,t＝1或0，取决于像素的观测值是否位于混合高斯模型中第k个高斯分布的D个标准偏差范围内，D通常取2.5；式中ω_k,t-1、μ_k,t-1、分别为第t-1帧第k个高斯函数的权值、均值和方差；

总是将最后一帧检测出的背景和前景分别记为B_t-1和F_t-1。L+1帧及其之后的各帧，是通过前一帧检测出来的二值图像预测当前帧，分以下四种情况自适应更新混合高斯模型参数：

(a)B_t-1→B_t，即像素在前一帧是背景，到当前帧仍为背景，混合高斯模型参数按照以下公式更新：

ω_k,t＝(1-α)ω_k,t-1+α(M_k,t) (4)

μ_k,t＝(1-ρ)μ_k,t-1+ρ(X_t) (5)

其中α为学习率，ρ为参数更新率；

(b)B_t-1→F_t，即像素在前一帧是背景，到当前帧变为前景，则不更新高斯模型参数，即：

ω_k,t＝ω_k,t-1 (7)

μ_k,t＝μ_k,t-1 (8)

(c)F_t-1→F_t，即像素在前一帧是前景，到当前帧仍为前景，此时也不更新高斯模型参数。

(d)F_t-1→B_t，即像素在前一帧是前景，到当前帧变为背景，此时加大高斯模型参数更新速度，按如下公式进行参数更新：

以上分析中，当前一帧变化到当前帧，如何判断发生了哪种情况。方法是取前一帧的背景部分，按下式计算当前帧像素值与对应的前一帧像素值的差：

|C(x_i,y_j)-Q(x_i,y_j)|<T' (x_i,y_j)∈B_t-1 (13)

其中T'为检测阈值，C(x_i,y_j)为当前帧中坐标(x_i,y_j)处像素值，Q(x_i,y_j)为前一帧中坐标(x_i,y_j)处像素值。如果上式成立，即属前述的情况(a)，否则属情况(b)。

同理，在前一帧前景相应的像素点内，当前帧像素值与对应的前一帧像素值做差：

|C(x_i,y_j)-Q(x_i,y_j)|<T' (x_i,y_j)∈F_t-1 (14)

如果上式成立，即属情况(c)，否则属情况(d)。

即通过设定阈值的帧差法来判断前一帧像素变化到当前帧可能出现的情况并采用不同的更新策略进行混合高斯模型参数的更新。

由于背景中的像素长时间停留在背景中，因此它们具有较高的权值和较小的方差。取前B个模型作为背景模型：

其中，T为背景建模阈值。如果新观测的像素与该b个高斯分布中的某一个配对，则认为其属于背景，否则属于前景。令背景像素值为0，前景像素值为1。

步骤(4)所述的利用前景目标颜色信息的最大熵阈值分割，具体方法如下：假设图像灰度的分布范围为[0,N]，首先，求出图像中的所有像素的分布概率p_i，i∈[0,N]；接着，给定一个初始阈值Th，将图像分为C₁和C₂两类。分别计算两个类的平均相对熵E₁，E₂，公式如下：

其中

如果使得图像按照某阈值分为C₁和C₂两类后，满足max{E₁+E₂}，此时选择的阈值即为最佳阈值Th^*。通过该阈值分割图像为背景与前景两部分。式中p_Th为每个像素出现的概率和。

将步骤(3)所述基于预测机制的混合高斯模型前景检测算法获取的前景目标与步骤(4)所述最大熵阈值分割算法获取的前景目标进行融合及数学形态学处理，即可获得最终前景目标。

本发明的有益效果是：

(1)视频背景帧无需预设；

(2)能克服光照缓慢变化、背景扰动和摄像机轻微抖动等对前景检测的影响；

(3)能消除“鬼影”，抑制地面水渍、排泄物等痕迹变化对前景的影响；

(4)改善了慢速大目标只能检测到部分轮廓、内部存在大量空洞的问题。无论是单目标还是多目标，目标是单一颜色还是多种色彩，均能较准确完整地提取前景目标。

附图说明

图1是目标前景检测的流程图；

图2是设定“有效区域”的示意图；

图3是L+1帧及其之后的各帧，高斯模型参数更新方法示意图；

图4a和b是典型帧的最终前景检测效果；

具体实施方式

下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。

(1)改建猪舍，获取俯视状态下群养猪视频序列。

具体方法是在猪舍(长*宽*高＝3.5m*3m*1m)正上方3m处，安装拍摄俯视视频的图像采集系统，获取圈栏数为7至12头、不同生长期、包含复杂背景的彩色视频片段。

(2)设定“有效区域”。

如图2所示，“有效区域”是指猪能够运动的到的一块矩形区域，即猪的活动范围，其他如周围围墙等均不在有效区域范围内。

(3)基于预测机制的混合高斯模型前景检测。

具体方法如下：混合高斯模型参数设置K取值为3，取值为14、15、16，ω_k,t取值为0.05、0.06、0.07，α取值为0.05。在读取视频序列后，在设定的“有效区域”内，前L帧按基于混合高斯模型的前景检测方法进行背景建模与前景检测，其中背景更新使用公式(1)～(3)，总是将最后一帧检测出的背景和前景分别记为B_t-1和F_t-1。L+1帧及其之后各帧，按前述方法分四种情况：背景仍为背景、背景变为前景、前景仍为前景、前景变为背景，采用不同的更新策略进行背景更新。

由于背景中的像素长时间停留在背景中，因此它们具有较高的权值和较小的方差。用公式(15)取前B个模型作为背景模型；如果新观测的像素与该b个高斯分布中的某一个配对，则认为其属于背景，否则属于前景。令背景像素值为0，前景像素值为1。

(4)利用前景目标颜色信息的最大熵阈值分割。

具体方法如下：假设图像灰度的分布范围为[0,N]。首先，求出图像中的所有像素的分布概率p_i。接着，给定一个初始阈值Th，将图像分为C₁和C₂两类。用公式(16)和公式(17)分别计算两个类的平均相对熵E₁，E₂。

如果使得图像按照某阈值分为C₁和C₂两类后，满足max{E₁+E₂}，此时选择的阈值即为最佳阈值Th*。通过该阈值分割图像为背景与前景两部分。

(5)将步骤(3)和步骤(4)的前景检测结果进行融合及数学形态学处理。

具体方法是将基于预测机制的混合高斯模型前景检测的结果与最大熵阈值分割获取的前景在“有效区域”内做“与”、“食槽”和“有效区域”外做“或”运算。其后采用数学形态学算法中的腐蚀和膨胀算子去除孤立噪声，并利用先验知识做后继处理，即检测的目标小于一定像素数目的区域一定是非前景目标区域，从而最终得到前景检测结果。

取两段典型视频，按上述步骤处理，开发软件为Matlab 2012b，两段视频中分别取一个典型帧，其前景检测效果分别如图4中a和b所示。对随机拍摄的6段视频的统计结果表明，平均前景检测率(foreground Detection Rate)约为92％。

Claims (6)

1.一种复杂背景下俯视群养猪多目标前景检测方法，其特征在于包括以下步骤：

(1)改建猪舍，获取俯视状态下群养猪视频序列；

(2)设定“有效区域”；

(3)基于预测机制的混合高斯模型前景检测；具体描述如下：前L帧按传统的混合高斯模型的前景检测方法进行背景建模与前景检测，但混合高斯模型参数更新公式有所变化，对于前L帧中的第t帧而言参数的更新方程如下：

${\mathrm{\&omega;}}_{k,t}={\mathrm{\&omega;}}_{k,t-1}+\frac{1}{t+1}\&lsqb;M_{k,t}-{\mathrm{\&omega;}}_{k,t-1}\&rsqb;---\left(1\right)$

${\mathrm{\&mu;}}_{k,t}={\mathrm{\&mu;}}_{k,t-1}+\frac{M_{k,t}}{\underset{i=1}{\overset{t}{\&Sigma;}}{M}_{k,t}}\&lsqb;X_t-{\mathrm{\&mu;}}_{k,t-1}\&rsqb;---\left(2\right)$

${\mathrm{\&sigma;}}_{k,t}^2={\mathrm{\&sigma;}}_{k,t-1}^2+\frac{M_{k,t}}{\underset{i=1}{\overset{t}{\&Sigma;}}{M}_{k,t}}\&lsqb;(X_t-{\mathrm{\&mu;}}_{k,t-1}){(X_t-{\mathrm{\&mu;}}_{k,t-1})}^T-{\mathrm{\&sigma;}}_{k,t-1}^2\&rsqb;---\left(3\right)$

式中ω_k,t、μ_k,t、分别为第k个高斯函数的权值、均值和方差，k＝1,2,...,K，其中K为混合高斯模型个数；式中X_t为在t时刻的当前像素；式中M_k,t＝1或0，取决于像素的观测值是否位于混合高斯模型中第k个高斯分布的D个标准偏差范围内，D取2.5；式中ω_k,t-1、μ_k,t-1、分别为第t-1帧第k个高斯函数的权值、均值和方差；

总是将最后一帧检测出的背景和前景分别记为B_t-1和F_t-1；L+1帧及其之后的各帧，是通过前一帧检测出来的二值图像预测当前帧，分以下四种情况自适应更新混合高斯模型参数：

(a)B_t-1→B_t，即像素在前一帧是背景，到当前帧仍为背景，混合高斯模型参数按照以下公式更新：

ω_k,t＝(1-α)ω_k,t-1+α(M_k,t) (4)

μ_k,t＝(1-ρ)μ_k,t-1+ρ(X_t) (5)

${\mathrm{\&sigma;}}_{k,t}^2=(1-\mathrm{\&rho;}){\mathrm{\&sigma;}}_{k,t-1}^2+\mathrm{\&rho;}{(X_t-{\mathrm{\&mu;}}_{k,t})}^T(X_t-{\mathrm{\&mu;}}_{k,t})---\left(6\right)$

其中α为学习率，ρ为参数更新率；

(b)B_t-1→F_t，即像素在前一帧是背景，到当前帧变为前景，则不更新高斯模型参数，即

μ_k,t＝μ_k,t-1 (8)

${\mathrm{\&sigma;}}_{k,t}^2={\mathrm{\&sigma;}}_{k,t-1}^2---\left(9\right)$

(c)F_t-1→F_t，即像素在前一帧是前景，到当前帧仍为前景，此时也不更新高斯模型参数；

(d)F_t-1→B_t，即像素在前一帧是前景，到当前帧变为背景，此时加大高斯模型参数更新速度，按如下公式进行参数更新：

${\mathrm{\&omega;}}_{k,t}={\mathrm{\&omega;}}_{k,t-1}+\frac{1}{L}\&lsqb;M_{k,t}-{\mathrm{\&omega;}}_{k,t-1}\&rsqb;---\left(10\right)$

${\mathrm{\&mu;}}_{k,t}={\mathrm{\&mu;}}_{k,t-1}+\frac{1}{L}\&lsqb;\frac{M_{k,t}{X}_t}{{\mathrm{\&omega;}}_{k,t}}-{\mathrm{\&mu;}}_{k,t-1}\&rsqb;---\left(11\right)$

(4)利用前景目标颜色信息的最大熵阈值分割；

(5)将步骤(3)和步骤(4)的前景检测结果进行融合及数学形态学处理。

2.根据权利要求1所述的复杂背景下俯视群养猪多目标前景检测方法，其特征在于：所述步骤(1)具体方法是在长3.5m，宽3m，高1m的猪舍正上方3m处，安装拍摄俯视视频的图像采集系统，获取圈栏中7～12头、不同生长期、包含复杂背景的彩色视频片段。

3.根据权利要求1所述的复杂背景下俯视群养猪多目标前景检测方法，其特征在于：所述步骤(2)中的“有效区域”是指猪能够运动的到的一块矩形区域，即猪的活动范围。

4.根据权利要求1所述的复杂背景下俯视群养猪多目标前景检测方法，其特征在于，所述步骤(3)基于预测机制的混合高斯模型前景检测，判断自适应更新混合高斯模型参数四种情况的方法为：

(1)取前一帧的背景部分，按下式计算当前帧像素值与对应的前一帧像素值的差：

|C(x_i,y_j)-Q(x_i,y_j)|＜T'(x_i,y_j)∈B_t-1 (13)

其中T'为检测阈值，C(x_i,y_j)为当前帧中坐标(x_i,y_j)处像素值，Q(x_i,y_j)为前一帧中坐标(x_i,y_j)处像素值；如果上式成立，即属前述的情况(a)，否则属情况(b)；

(2)在前一帧前景相应的像素点内，当前帧像素值与对应的前一帧像素值做差：

|C(x_i,y_j)-Q(x_i,y_j)|＜T'(x_i,y_j)∈F_t-1 (14)

如果上式成立，即属情况(c)，否则属情况(d)；

即通过设定阈值的帧差法来判断前一帧像素变化到当前帧可能出现的情况并采用不同的更新策略进行混合高斯模型参数的更新；

由于背景中的像素长时间停留在背景中，因此它们具有较高的权值和较小的方差，取前B个模型作为背景模型：

$B=\arg {\min }_b(\underset{k=1}{\overset{b}{\&Sigma;}}{\mathrm{\&omega;}}_{k,t}>T)---\left(15\right)$

其中，T为背景建模阈值；如果新观测的像素与b个高斯分布中的某一个配对，则认为其属于背景，否则属于前景；令背景像素值为0，前景像素值为1。

5.根据权利要求1所述的复杂背景下俯视群养猪多目标前景检测方法，其特征在于：所述步骤(4)利用前景目标颜色信息的最大熵阈值分割，具体方法为：假设图像灰度的分布范围为[0,N]；首先，求出图像中的所有像素的分布概率p_i，i∈[0,N]；接着，给定一个初始阈值Th，将图像分为C₁和C₂两类，分别计算两个类的平均相对熵E₁，E₂，公式如下：

其中

$E_2=-\underset{i=Th+1}{\overset{N}{\&Sigma;}}(p_i/(1-p_{Th}\left)\right)\&CenterDot;In(p_i/(1-p_{Th}\left)\right)---\left(17\right)$

如果使得图像按照某阈值分为C₁和C₂两类后，满足max{E₁+E₂}，此时选择的阈值即为最佳阈值Th^*；式中p_Th为每个像素出现的概率和。

6.根据权利要求1所述的复杂背景下俯视群养猪多目标前景检测方法，其特征在于：所述步骤(5)前景检测结果的融合及数学形态学处理，具体方法是将基于预测机制的混合高斯模型前景检测的结果与最大熵阈值分割获取的前景在“有效区域”内做“与”、“食槽”和“有效区域”外做“或”运算；其后采用数学形态学算法中的腐蚀和膨胀算子去除孤立噪声，并利用先验知识做后继处理，即检测的目标小于一定像素数目的区域一定是非前景目标区域，从而最终得到前景检测结果。