CN106296744A - 一种结合自适应模型和多阴影属性的运动目标检测方法 - Google Patents

Abstract

本发明提供一种结合自适应模型和多阴影属性的运动目标检测方法，首先，利用加权双边滤波对图像进行预处理；结合三帧差法和自适应背景模型法对预处理之后的图像进行运动目标的检测；再判断运动目标区域是否存在阴影区域，通过HSV色彩空间、背景区域像素的梯度信息以及纹理信息有效地消除了运动目标的阴影，最后进行区域分割定位出运动目标。本发明方法解决了现有技术中检测到的运动目标区域的信息不全和空洞的问题，很好地适应了全景图像中复杂的背景动态变化以及天气的影响，通过判断是否存在阴影区域的方式提高了系统的效率，同时有效地消除了运动目标的阴影，克服了阴影造成的伪目标现象，正确地定位出了运动目标。

Description

一种结合自适应模型和多阴影属性的运动目标检测方法

技术领域

本发明涉及计算机视觉领域，特指一种结合自适应模型和多阴影属性的运动目标检测方法。

背景技术

运动目标检测是计算机视觉领域的研究重点，结合了数字图像处理、模式识别和人工智能等领域的知识。随着计算机技术、图像处理技术和高分频传感技术的迅速发展，它广泛应用于智能监控、虚拟现实和军事公安等诸多领域。

常用的运动目标检测方法包括帧间差分法、背景减除法和光流法。其中，帧间差分法对动态环境有良好的适应性，但是不能完全提取目标的所有信息，提取的目标物体的内部容易出现空洞；普通的背景减除法能够提出完整的特征点，但是对于动态场景变化，如光线、天气等因素的干扰比较敏感；光流法计算量非常大，抗噪性差，需要硬件的支持。通常，全景图像的场景扰动因素复杂，如光照的变化、天气因素、树枝的摇摆、水面的波纹和波浪等等，这些因素都限制了运动目标的检测。由于外界环境的复杂性，检测出来的运动目标区域会伴随着阴影区域，导致目标形状的畸变和后期的目标跟踪。

发明内容

针对现有技术存在的缺陷，为了可靠地、有效地进行运动目标的检测，本发明提供一种结合自适应模型和多阴影属性的运动目标检测方法。

具体地，本发明的技术方案是：

一种结合自适应模型和多阴影属性的运动目标检测方法，包括以下步骤：

S1利用加权双边滤波对图像进行预处理；

S2结合三帧差法和自适应背景模型法对经S1预处理之后的图像进行运动目标的检测；

S2.1利用三帧差法提取经S1预处理之后的图像的前景区域即运动目标区域的大致轮廓，利用可变阈值方法对帧差图像进行分割得到前景目标D₁(x,y,t)；

S2.2采用自适应背景模型法再次提取前景目标D₂(x,y,t)；

S2.3首次提取的前景目标D₁(x,y,t)与二次提取的前景目标D₂(x,y,t)进行与运算，得到前景区域D(x,y,t)；

S2.4对于S2.3中得到的前景区域D(x,y,t)，利用中值滤波抑制孤立噪声点，再进行形态学处理，得到最终的前景区域即运动目标区域；

S3多属性结合的运动目标阴影消除方法；

S3.1判断S2.4中得到的最终的运动目标区域是否存在阴影区域；

S3.2利用HSV色彩空间、梯度信息以及纹理信息检测和消除目标阴影；

利用HSV色彩空间、梯度信息和纹理信息分别检测出运动目标的阴影区域，对三者的阴影区域进行与运算得到最终的阴影区域，再将S2.4得到的运动目标区域与该最终的阴影区域相减，从而检测出了最终的运动目标。

本发明的优点是：

本发明方法解决了现有技术中检测到的运动目标区域的信息不全和空洞的问题，很好地适应了全景图像中复杂的背景动态变化以及天气的影响，通过判断是否存在阴影区域的方式提高了系统的效率，同时有效地消除了运动目标的阴影，克服了阴影造成的伪目标现象，正确地定位出了运动目标。

其中，步骤S1中滤波方法不仅达到了去噪的效果，同时保持了图像中边缘信息，不会产生过模糊和欠模糊的滤波现象；步骤S2中在检测前景区域的过程中，解决了三帧差法检测信息不全的缺点，背景模型的在线跟新，使得算法更加适应复杂环境的变化，检测方法具有较好的效果和实时性；步骤S3中判断是否存在阴影区域避免了在不必要进行消除阴影区域的情况下依然进行阴影检测算法，从而影响系统的效率，结合HSV色彩空间、背景区域像素的梯度信息以及纹理信息有效地消除了运动目标的阴影，去除了伪目标。

附图说明

图1是本发明的流程图

图2是实施例中S2运动目标检测流程图

图3是实施例中S3消除运动目标的阴影区域流程图

图4是实施例中运动目标的检测结果。

具体实施方式

图1为本发明的流程图，参照图1，本发明一种结合自适应模型和多阴影属性的运动目标检测方法，包括以下步骤：

一种结合自适应模型和多阴影属性的运动目标检测方法，包括以下步骤：

S1利用加权双边滤波对图像进行预处理；

假设滤波前图像I的像素点p的灰度值为I_p，像素点p的坐标为(m,n)，图像I滤波后得到的图像BI在该像素点的灰度值为BI_p，则双边滤波的公式如(1)和(2)所示：

${\mathrm{BI}}_p=\frac{1}{W_p}\underset{q\∈S}{\mathrm{\Σ}}{G}_{{\mathrm{\σ}}_s}\left(\right||p-q|\left|\right)G_{s_r}\left(\right|I_p-I_q\left|\right)I_q---\left(1\right)$

$W_p=\underset{q\∈S}{\mathrm{\Σ}}{G}_{{\mathrm{\σ}}_s}\left(\right||p-q|\left|\right)G_{s_r}\left(\right|I_p-I_q\left|\right)I_q---\left(2\right)$

其中，q是以像素点p为中心像素点的邻域像素点，像素点q的坐标为(u,v)，领域像素点集合记为S，W_p称为归一化因子，是空间滤波核函数，是灰度核滤波函数，和的表达式如下示：

$G_{{\mathrm{\σ}}_s}\left(\right||p-q|\left|\right)=e^{-\[{(m-u)}^2+{(n-v)}^2\]/2{\mathrm{\σ}}_s^2}---\left(3\right)$

$G_{{\mathrm{\σ}}_s}\left(\right|I_p-I_q\left|\right)=e^{-{\[I_p-I_q\]}^2/2{\mathrm{\σ}}_s^2}$

利用双边滤波不仅能达到去噪的效果，同时也保持了图像的边缘信息，削弱了滤波对后续步骤的消极影响。

S2结合三帧差法和自适应背景模型法对经S1预处理之后的图像进行运动目标的检测；

S2.1利用三帧差法提取经S1预处理之后的图像的前景区域即运动目标区域的大致轮廓，利用可变阈值方法对帧差图像进行分割得到前景目标D₁(x,y,t)。

假设在t时刻，当前帧图像(x,y)处的像素的灰度值为I(x,y,t)，其前后相邻的两帧图像的此处像素的灰度值分别为I(x,y,t-1)和I(x,y,t+1)，则t时刻，两帧灰度值的二值化结果为：

$S_{t,t-1}(x,y,t)=\left\{\begin{array}{c}1,if|I(x,y,t)-I(x,y,t-1)|>h_1\\ 0,if|I(x,y,t)-I(x,y,t-1)|\≤h_1\end{array}\right.---\left(4\right)$

$S_{t,t+1}(x,y,t)=\left\{\begin{array}{c}1,if|I(x,y,t)-I(x,y,t+1)|>h_1\\ 0,if|I(x,y,t)-I(x,y,t+1)|\≤h_2\end{array}\right.---\left(5\right)$

其中，h₁是灰度阈值，S_t,t-1(x,y,t)为当前帧I(x,y,t)和前一帧I(x,y,t-1)进行差分后的运动目标二值化区域，S_t,t+1(x,y,t)为当前帧I(x,y,t)和后一帧I(x,y,t+1)进行差分后的运动目标二值化区域；

再将S_t,t-1(x,y,t)和S_t,t+1(x,y,t)相融合可得到前景区域S(x,y,t)：

$S(x,y,t)=S_{t,t-1}(x,y,t)\⊗S_{t,t+1}(x,y,t)---\left(6\right)$

再利用可变阈值方法对前景区域进行分割，从而得到前景目标D₁(x,y,t)。可变阈值方法是本领域公知的技术手段，其方法是：由于全景图像的背景比较复杂，可以将图像分成若干个矩形区域，在这些矩形区域分别进行Otsu阈值分割，从而得到全景目标D₁(x,y,t)。

S2.2采用自适应背景模型法再次提取前景目标D₂(x,y,t)。

S2.2.1初始化背景模型和前景区域的提取；

连续采集n帧图像，通过这n帧背景图像建立初始的背景的统计模型，如公式(7)和(8)所示：

$M_i=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{M}_{in}---\left(7\right)$

${\mathrm{\δ}}_i^2=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{(M_{in}-M_i)}^2---\left(8\right)$

其中，i表示像素点，M_i表示像素点i的颜色值的期望，表示颜色值分布的方差，M_in表示像素点i在第n帧图像中的颜色值，从而点构成了初始背景模型。

在建立初始背景模型之后，利用二值化方法对采集到的当前t时刻的图像进行前景区域即运动目标区域的提取，此时的前景区域记为D₂(x,y,t)。二值化方法如下：

式中，y_i是像素点i的颜色值；D_i为像素点i二值化值；D_i组成的整幅图像就为D₂(x,y,t)。

S2.2.2构造背景跟新模型；

由于全景图像的背景环境比较复杂，随着时间的推移，背景会发生一些变化，此时就需要跟新背景模型，才能更好检测出运动目标。设s时刻(注意：S2.1处的t时刻采集到的图像含有运动目标，而此处的s时刻采集的是背景图像，没有运动目标，只是用于背景建模；t时刻和s时刻式两个不同的时刻。)像素点i的颜色值期望和方差分别为M_i(s)和R_i(s)为时刻s采集到的图像中像素点i的颜色值，则在s+1时刻，可得：

$M_i(s+1)=\left\{\begin{array}{cc}(1-A)M_i\left(s\right)+{\mathrm{AR}}_i\left(s\right),& (D_i=0);\\ M_i\left(s\right),& (D_i=1)\end{array}\right.---\left(9\right)$

${\mathrm{\δ}}_i^2(s+1)=\left\{\begin{array}{cc}(1-A){\mathrm{\δ}}_i^2\left(s\right)+A{\left(R_i\right(s)-M_i(s\left)\right)}^2,& (D_i=0);\\ {\mathrm{\δ}}_i^2\left(s\right),& (D_i=1).\end{array}\right.---\left(10\right)$

其中A即使常量，A的取值范围为：0<A<1；D_i表示更新背景模型前一时刻像素点i的状态；当D_i＝0表示像素点i为背景区域，则像素点的颜色值期望和方差需要进行跟新；当D_i＝1表示像素点i为前景区域，则像素点的颜色值期望和方差不需要进行跟新。

S2.3首次提取的前景目标D₁(x,y,t)与二次提取的前景目标D₂(x,y,t)进行与运算，得到前景区域D(x,y,t)。

S2.4对于S2.3中得到的前景区域D(x,y,t)，利用中值滤波抑制孤立噪声点。在此得到的前景目标可能还存在细小的毛刺和空洞，则可采用进行形态学处理即采用形态学中的开运算处理，得到最终的前景区域即运动目标区域。

S3多属性结合的运动目标阴影消除方法；

S3.1判断S2中得到的运动目标区域是否存在阴影区域。

首先需要判断由检测出的前景区域即运动目标区域是否存在阴影区域，若存在阴影区域，再消除阴影部分。因为并不是任何时候都要进行运动目标阴影的检测和消除，例如阴天的时候，物体就不会产生阴影或是阴影区域亮度很小，以至于不会对目标检测和后续处理产生影响；或者当照射光源距离运动目标的高度较高时，产生的阴影区域面积很小而不会对运动目标检测及后续处理产生影响。阴影的产生主要是由于光照条件，所以采用运动目标区域的亮度估计来进行运动目标的检测。

假设S2中得到的运动目标区域的R、G、B的三个通道的值分别为R_f(x,y)、G_f(x,y)、B_f(x,y)，背景区域的R、G、B的三个通道的值分别为R_b(x,y)、G_b(x,y)、B_b(x,y)；如果图像的任一像素同时满足R_f(x,y)＜R_b(x,y)、G_f(x,y)＜G_b(x,y)和B_f(x,y)＜B_b(x,y)，则该像素点为暗点，否则为亮点；假设n_l、n_d分别为图像中亮点和暗点的个数，则有：

P_d＝n_d/(n_l+n_d) (11)

$E_j=\underset{i\&Element;S_j}{\mathrm{\&Sigma;}}{e}_i/n_j,j\&Element;\{l,d\}---\left(12\right)$

$e_j=\underset{j\&Element;N_i}{\mathrm{\&Sigma;}}\frac{\left|I_i-I_j\right|}{n}---\left(13\right)$

其中，P_d为图像中暗点在运动目标区域内所占的比例；E_l表示运动目标区域的亮度能量值；S_j为运动目标区域的像素点的集合,n_j是集合S_j中像素数量；e_i是像素的能量值；I_i为图像的亮度值，N_i为像素点邻域；n为邻域内像素点的个数；

通常情况下只有在高亮度的白天，也就是当前场景运动目标清晰可视时，运动目标才会有遮挡光线，从而导致阴影区域的出现.此时运动目标的亮度往往要高于其产生的阴影区域的亮度。所以可以利用亮度能量值来衡量场景的运动目标区域的亮度，来判断阴影区域是否存在，即利用公式(11)，(12)和(13)来判断阴影区域是否存在。

利用运动目标的亮度能量值E_l和P_d来判断阴影是否存在的方法为：若出现此两种情况之一：1)E_l小于0.1；2)E_l值较大，E_l＞10且P_d小于0.01，则表明当前场景的亮度极低或是运动阴影区域的面积相对于运动目标区域来说较小，即阴影区域不存在，不需要进行阴影区域检测和消除。若没有出现1)、2)中的任一种情况，则表明运动目标区域存在阴影区域，表示要进行阴影区域的消除。

S3.2利用HSV色彩空间、梯度信息以及纹理信息检测和消除目标阴影；

利用HSV色彩空间、梯度信息和纹理信息分别检测出运动目标的阴影区域，对三者的阴影区域进行与运算得到最终的阴影区域，再将S2得到的运动目标区域与该最终的阴影区域相减，从而检测出了最终的运动目标。

HSV彩色空间符合人的视觉习惯，利用HSV色彩空间检测出运动目标的阴影区域，其方法为：

利用公式(14)检测阴影区域，式中I(x,y)表示当前帧图像，B(x,y)表示背景模型，αβth_S th_H是阈值；F(x,y)的值为255时，表示检测出阴影区域。

其中，0＜α＜β＜1，T_V＝I^V(x,y)/B^V(x,y)，T_S＝I^S(x,y)-B^S(x,y)，

T_H＝|I^H(x,y)-B^H(x,y)|，th_S th_H的取值范围为(0.01，0.02)；

其中，I^V(x,y)＝max(R,G,B) (15)

$I^s(x,y)=\left\{\begin{array}{cc}\frac{V-min\{R,G,B\}}{V}& ifV\&NotEqual;0\\ 0& otherwise\end{array}\right.---\left(16\right)$

$I^H(x,y)=\left\{\begin{array}{cc}60(G-B)/(V-\min (R,G,B)& ifV=R\\ 120+60(G-B)/(V-\min (R,G,B)& ifV=G\\ 240+60(G-B)/(V-\min (R,G,B)& ifV=B\end{array}\right.---\left(17\right)$

其中：max(R,G,B)表示三个颜色通道R,G,B中的最大值；

B^V(x,y)B^S(x,y)B^H(x,y)分别是背景模型中，HSV彩色空间各个像素的V分量，S分量和H分量。V就是HSV彩色空间中的V分量。

利用梯度信息检测阴影区域的方法是：通过计算当前帧的梯度和背景的梯度，并且比较其差异性，就可以检测出阴影区域，其中梯度算子采用拉普拉斯算子。

利用纹理信息检测阴影区域的方法是：采用LBP纹理描绘算子对阴影区域进行检测，局部二值模式LBP的公式为：

$LBP(x_c,y_c)=\underset{i=0}{\overset{p-1}{\mathrm{\&Sigma;}}}s(p_i-p_c)\&times;2^i---\left(18\right)$

其中p_c表示中心像素点(x_c,y_c)的灰度值，p_i表示中心像素点(x_i,y_i)的领域内相邻像素点(x_c,y_c)的灰度值，s(p_i-p_c)的公式如下：

$s(p_i-p_c)=\left\{\begin{array}{cc}0& p_i-p_c\&GreaterEqual;0\\ 1& p_i-p_c<0\end{array}\right.---\left(19\right)$

分别利用HSV色彩空间、梯度信息以及纹理信息来消除目标阴影能够得到三种结果，再对这三种结果进行与运算，得到最终消除阴影区域的结果。在消除运动目标区域的阴影之后，进行区域分割定位出运动目标。运动目标检测的结果如图4所示。

本发明中消除运动目标的阴影区域的流程图如图3示。

本发明中提出的方法实际上可嵌入FPGA实现，开发具有实时运动目标检测的相机或摄像机。

以上实施例仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现系统和具体实施步骤。因此，仅对上述实施例中具体的公式及算法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明的保护范围。

Claims (8)

1.一种结合自适应模型和多阴影属性的运动目标检测方法，其特征在于，包括以下步骤：

S1利用加权双边滤波对图像进行预处理；

S2结合三帧差法和自适应背景模型法对经S1预处理之后的图像进行运动目标的检测；

S2.1利用三帧差法提取经S1预处理之后的图像的前景区域即运动目标区域的大致轮廓，利用可变阈值方法对帧差图像进行分割得到前景目标D₁(x,y,t)；

S2.2采用自适应背景模型法再次提取前景目标D₂(x,y,t)；

S2.3首次提取的前景目标D₁(x,y,t)与二次提取的前景目标D₂(x,y,t)进行与运算，得到前景区域D(x,y,t)；

S2.4对于S2.3中得到的前景区域D(x,y,t)，利用中值滤波抑制孤立噪声点，再进行形态学处理，得到最终的前景区域即运动目标区域；

S3多属性结合的运动目标阴影消除方法；

S3.1判断S2中得到的运动目标区域是否存在阴影区域；

S3.2利用HSV色彩空间、梯度信息以及纹理信息检测和消除目标阴影；

利用HSV色彩空间、梯度信息和纹理信息分别检测出运动目标的阴影区域，对三者的阴影区域进行与运算得到最终的阴影区域，再将S2得到的运动目标区域与该最终的阴影区域相减，从而检测出了最终的运动目标。

2.根据权利要求1所述的结合自适应模型和多阴影属性的运动目标检测方法，其特征在于，S1的方法为：假设滤波前图像I的像素点p的灰度值为I_p，像素点p的坐标为(m,n)，图像I滤波后得到的图像BI在该像素点的灰度值为BI_p，则双边滤波的公式如(1)和(2)所示：

其中，q是以像素点p为中心像素点的邻域像素点，像素点q的坐标为(u,v)，领域像素点集合记为S，W_p称为归一化因子，是空间滤波核函数，是灰度核滤波函数，和的表达式如下示：

。

3.根据权利要求2所述的结合自适应模型和多阴影属性的运动目标检测方法，其特征在于，S2.1的方法为：假设在t时刻，当前帧图像(x,y)处的像素的灰度值为I(x,y,t)，其前后相邻的两帧图像的此处像素的灰度值分别为I(x,y,t-1)和I(x,y,t+1)，则t时刻，两帧灰度值的二值化结果为：

其中，h₁是灰度阈值，S_t,t-1(x,y,t)为当前帧I(x,y,t)和前一帧I(x,y,t-1)进行差分后的运动目标二值化区域，S_t,t+1(x,y,t)为当前帧I(x,y,t)和后一帧I(x,y,t+1)进行差分后的运动目标二值化区域；

再将S_t,t-1(x,y,t)和S_t,t+1(x,y,t)相融合可得到前景区域S(x,y,t)：

再利用可变阈值方法对前景区域进行分割，从而得到前景目标D₁(x,y,t)。

4.根据权利要求3所述的结合自适应模型和多阴影属性的运动目标检测方法，其特征在于，S2.2包括以下步骤：

S2.2.1初始化背景模型和前景区域的提取；

连续采集n帧背景图像，通过这n帧背景图像建立初始的背景的统计模型，如公式(7)和(8)所示：

其中，i表示像素点，M_i表示像素点i的颜色值的期望，表示颜色值分布的方差，M_in表示像素点i在第n帧图像中的颜色值，从而点构成了初始背景模型；

在建立初始背景模型之后，利用二值化方法对采集到的当前t时刻的图像进行前景区域即运动目标区域的提取，此时的前景区域记为D₂(x,y,t)；二值化方法如下：

式中，y_i是像素点i的颜色值；D_i为像素点i二值化值；D_i组成的整幅图像就为D₂(x,y,t)；

S2.2.2构造背景跟新模型；

s时刻像素点i的颜色值期望和方差分别为M_i(s)和R_i(s)为时刻s采集到的图像中像素点i的颜色值，则在s+1时刻，可得：

其中，0<A<1，D_i表示更新背景模型前一时刻像素点i的状态；当D_i＝0表示像素点i为背景区域，则像素点的颜色值期望和方差需要进行跟新；当D_i＝1表示像素点i为前景区域，则像素点的颜色值期望和方差不需要进行跟新。

5.根据权利要求4所述的结合自适应模型和多阴影属性的运动目标检测方法，其特征在于，S3.1的方法为：

阴影的产生主要是由于光照条件，采用运动目标区域的亮度估计来进行运动目标的检测：

假设S2中得到的运动目标区域的R、G、B的三个通道的值分别为R_f(x,y)、G_f(x,y)、B_f(x,y)，背景区域的R、G、B的三个通道的值分别为R_b(x,y)、G_b(x,y)、B_b(x,y)；如果图像的任一像素同时满足R_f(x,y)＜R_b(x,y)、G_f(x,y)＜G_b(x,y)和B_f(x,y)＜B_b(x,y)，则该像素点为暗点，否则为亮点；假设n_l、n_d分别为图像中亮点和暗点的个数，则有：

P_d＝n_d/(n_l+n_d) (11)

其中，P_d为图像中暗点在运动目标区域内所占的比例；E_l表示运动目标区域的亮度能量值；S_j为运动目标区域的像素点的集合,n_j是集合S_j中像素数量；e_i是像素的能量值；I_i为图像的亮度值，N_i为像素点邻域；n为邻域内像素点的个数；

利用运动目标的亮度能量值E_j和P_d来判断阴影是否存在的方法为：1)E_l小于0.1；2)E_l值较大，且P_d小于0.01；若出现1)、2)中的任一种情况，则表明阴影区域不存在；若没有出现1)、2)中的任一种情况，则表明运动目标区域存在阴影区域，要进行阴影区域的消除。

6.根据权利要求5所述的结合自适应模型和多阴影属性的运动目标检测方法，其特征在于，S3.2中利用HSV色彩空间检测出运动目标的阴影区域，其方法为：

利用公式(14)检测阴影区域，式中I(x,y)表示当前帧图像，B(x,y)表示背景模型，αβth_Sth_H是阈值；F_n(x,y)的值为255时，表示检测出阴影区域；

其中，T_V＝I^V(x,y)/B^V(x,y)，T_S＝I^S(x,y)-B^S(x,y)，T_H＝|I^H(x,y)-B^H(x,y)|

其中，I^V(x,y)＝max(R,G,B) (15)

。

7.根据权利要求5所述的结合自适应模型和多阴影属性的运动目标检测方法，其特征在于，S3.2中利用梯度信息检测阴影区域的方法是：通过计算当前帧的梯度和背景的梯度，并且比较其差异性，就可以检测出阴影区域，其中梯度算子采用拉普拉斯算子。

8.根据权利要求5所述的结合自适应模型和多阴影属性的运动目标检测方法，其特征在于，S3.2中利用纹理信息检测阴影区域的方法是：采用LBP纹理描绘算子对阴影区域进行检测，局部二值模式LBP的公式为：

其中p_c表示中心像素点(x_c,y_c)的灰度值，p_i表示中心像素点(x_i,y_i)的领域内相邻像素点(x_c,y_c)的灰度值，s(p_i-p_c)的公式如下：

。