CN101447082B - 一种运动目标实时检测方法 - Google Patents

Abstract

一种运动目标实时检测方法，属于图像数据的处理方法，解决现有运动目标检测中背景建模方法在背景更新、背景扰动、虚假目标判断以及阴影抑制等方面存在的不足，使目标检测具有稳定性和实用性，用于处理复杂监控场景的运动目标检测。本发明包括：建立模型步骤，模型初始化步骤，目标检测与模型更新步骤，虚假目标处理步骤，阴影检测步骤，后处理步骤，确定目标区域步骤，背景的整体更新步骤和输出步骤。本发明提高了运动目标检测的准确性、鲁棒性和检测目标的完整性，更有效的检测运动目标，为目标分类、跟踪以及事件检测奠定了基础。

Description

一种运动目标实时检测方法 

技术领域

本发明属于图像数据的处理方法，具体涉及一种运动目标实时检测方法，用于从各种监控场景中自动检测运动目标。 

背景技术

视频监控系统被广泛应用于银行、超市、停车场、住宅小区等各种场合，但是传统的监控系统一方面需要人工不间断的观察多个监控屏幕，不仅要花费大量的人力物力而且经常发生漏警和误警，不能做到实时有效的监控；另一方面无选择的存储监控数据，需要大量的存储空间，而且海量的数据使得检索特定的监控内容变得异常困难。随着计算机软硬技术的发展，视频监控的智能化成了发展的热点方向。智能监控系统具有高效报警、无人参与、视频标注等优点，具有广泛的应用前景。 

在智能视频监控系统中，底层的运动目标提取(检测)是一个重要的步骤。提取出来的运动目标的完整性，对后续的识别与跟踪工作起着重要的作用。运动目标检测最简单的方法是帧差法，参见文献：Foresti GL.Object recognition andtracking for remote video surveillance[J].IEEE Transaction On Circuits andSystems for Video Technology，1999，9(7)：7045-1062.但是这种方法只能提取出目标的轮廓，对噪声也非常敏感，因此实用性不强。背景差方法是另外一种应用比较广泛的运动目标检测方法，该方法通过对视频序列当前帧和参考背景(背景模型)的比较，当差大于某个阈值的时候，判断该像素属于前景(运动目标)，否则属于背景。背景差法参见文献：C.Stauffer，and W.E.L.Grimson，“Adaptivebackground mixture models for real-time tracking，”Proc.Conf.Computer Vision andPattern Recognition(CVPR)，1999. 

背景差方法的研究主要集中在如何建立合适的背景模型，但由于监控场景的复杂性，目前的背景建模方法在背景更新、背景扰动、虚假目标判断以及阴影抑制等方面存在许多不足，使得目标检测具有不稳定性。因此，寻求一种更有效的背景建模方法是准确检测运动目标的途径之一。

发明内容：

本发明提出一种运动目标实时检测方法，解决现有运动目标检测中背景建模方法在背景更新、背景扰动、虚假目标判断以及阴影抑制等方面存在的不足，使目标检测具有稳定性和实用性，用于处理复杂监控场景的运动目标检测。 

本发明的一种运动目标实时检测方法，包括： 

(1)建立模型步骤：对第t帧图像中(i，j)位置处的像素Q_i，j，t，建立M个高斯模型，Q_i，j，t的像素值X_i，j，t为YUV色彩空间矢量： 

X_i，j，t＝{Y_i，j，t，U_i，j，t，V_i，j，t}^T， 

其概率密度函数P(X_i，j，t)为M个高斯模型的线性组合： 

$\left(X_{i,j,t}\right)=\underset{k=1}{\overset{M}{\mathrm{\Σ}}}\frac{{\mathrm{\ω}}_{i,j,t}\left(k\right)}{{\left(2\mathrm{\π}\right)}^{\frac{3}{2}}\left|{\mathrm{\σ}}_{i,j,t}\left(k\right)I\right|}{e}^{-\frac{1}{2}{(X_{i,j,t}-{\mathrm{\μ}}_{i,j,t}\left(k\right))}^T{{\mathrm{\σ}}^T}_{i,j,t}\left(k\right){\mathrm{\σ}}_{i,j,t}\left(k\right)I(X_{i,j,t}-{\mathrm{\μ}}_{i,j,t}\left(k\right))}$

式中，ω_i，j，t(k)、μ_i，j，t(k)和σ_i，j，t(k)分别为第t帧图像中(i，j)位置处的像素Q_i，j，t第k个高斯模型的权值、在YUV色彩空间的均值矢量和标准方差矢量： 

μ_i，j，t(k)＝{μ_i，j，t(k_Y)，μ_i，j，t(k_U)，μ_i，j，t(k_V)}^T

σ_i，j，t(k)＝{σ_i，j，t(k_Y)，σ_i，j，t(k_U)，σ_i，j，t(k_V)}^T

σ^T _i，j，t(k)表示σ_i，j，t(k)的转置，I为3×3的单位矩阵，M为3～5，1≤i≤R，1≤j≤C，R为图像的行数，C为图像的列数； 

(2)模型初始化步骤：用第一帧图像中(i，j)位置处的像素Q_i，j，1的像素值X_i，j，1初始化该像素处的M个高斯模型， 

第k个高斯模型的权值ω_i，j，1(k)＝1/(2k+1)，      k＝1～M， 

第k个高斯模型的均值矢量μ_i，j，1(k)＝X_i，j，1，  k＝1～M， 

第k个高斯模型的标准方差Y分量σ_i，j，1(k_Y)取值为20～30， 

第k个高斯模型的标准方差U、V分量σ_i，j，1(k_U)和σ_i，j，1(k_V)取值为10～20； 

在M个高斯模型中，取权值ω_i，j，1(k)≥TH的高斯模型表示背景模型，其余的为前景模型，背景阈值TH＝0.15～0.25； 

(3)目标检测与模型更新步骤：从第二帧图像开始，进行如下过程，形成二值图像： 

(3.1)将像素Q_i，j，t的像素值X_i，j，t依次与背景模型进行比较，判断其是否满足背景模型中的任何一个，是则像素Q_i，j，t为背景，转过程(3.2)；否则将像素Q_i，j，t的像素值X_i，j，t依次与前景模型进行比较，判断其是否满足前景模型中一个，是则像素Q_i，j，t为目标，转过程(3.2)；否则将像素Q_i，j，t判断为目标，进行过程(3.3)； 

(3.2)按前景模型或背景模型更新其对应的M个高斯模型，转过程(3.4)； 

(3.3)更新候选模型，转过程(3.4)； 

(3.4)根据更新后的各模型权值再重新划分背景模型和前景模型，在M个高斯模型中，取权值ω_i，j，t(k)≥TH的高斯模型表示背景模型，其余的为前景模型，背景阈值TH＝0.15～0.25； 

(4)虚假目标处理步骤：判断前述步骤二值图象中检测的目标是否为虚假目标；当前像素Q_i，j，t被判断为目标，则根据下式再将Q_i，j，t与重构背景进行比较，如果满足则认为是虚假目标，将Q_i，j，t判断为背景，否则保留Q_i，j，t为目标，得到去除虚假目标点的二值图象： 

$\left\{\begin{array}{c}{T}_1<R\left(Q_{i,j,t}\right)/R_{\mathrm{Bg}}\left(Q_{i,j,t}\right)<T_2\&cap;\\ T_1<G\left(Q_{i,j,t}\right)/G_{\mathrm{Bg}}\left(Q_{i,j,t}\right)<T_2\&cap;\\ T_1<B\left(Q_{i,j,t}\right)/B_{\mathrm{Bg}}\left(Q_{i,j,t}\right)<T_2\&cap;\\ T_{u1}<U\left(Q_{i,j,t}\right)/U_{\mathrm{Bg}}\left(Q_{i,j,t}\right)<T_{u2}\left|\right|\\ T_{v1}<V\left(Q_{i,j,t}\right)/V_{\mathrm{Bg}}\left(Q_{i,j,t}\right)<T_{v2}\end{array}\right.$

R(Q_i，j，t)、G(Q_i，j，t)、B(Q_i，j，t)、U(Q_i，j，t)、V(Q_i，j，t)表示当前像素Q_i，j，t的R、G、B和U、V值，R_Bg(Q_i，j，t)、G_Bg(Q_i，j，t)、B_Bg(Q_i，j，t)、U_Bg(Q_i，j，t)、V_Bg(Q_i，j，t)表示当前像素Q_i，j，t对应的重构背景的R、G、B和U、V值，判决阈值T₁、T₂、T_u1、T_u2、T_v1及T_v2的取值范围分别为：0.8～0.1、1.0～1.3、0.8～1.0、1.0～1.3、0.8～1.0及1.0～1.3； 

当前像素Q_i，j，t对应的重构背景值为： 

R_Bg(Q_i，j，t)＝μ_i，j，t(max_R)， 

G_Bg(Q_i，j， t)＝μ_i，j，t(max_G)， 

B_Bg(Q_i，j，t)＝μ_i，j，t(max_B)， 

U_Bg(Q_i，j，t)＝μ_i，j，t(max_U)， 

V_Bg(Q_i，j，t)＝μ_i，j，t(max_V)， 

μ_i，j，t(max_R)、μ_i，j，t(max_G)、μ_i，j，t(max_B)、μ_i，j，t(max_U)、μ_i，j，t(max_V)分别表示当前像素Q_i，j，t对应的M个高斯模型中权值最大的背景模型均值的R、G、B、U、V值； 

(5)阴影检测步骤：先判断当前帧图像是否存在阴影，是则按如下过程检测并去除阴影，得到去除阴影的二值图象，转步骤(6)；否则直接转步骤(6)； 

对保留为目标的像素Q_i，j，t根据下列三式进行判断，三式同时满足，则像素Q_i，j，t为阴影，将Q_i，j，t判断为背景，否则保留Q_i，j，t为目标： 

${\mathrm{\&alpha;}}_s\&le;\frac{V\left(Q_{i,j,t}\right)}{V_{\mathrm{Bg}}\left(Q_{i,j,t}\right)}\&le;{\mathrm{\&beta;}}_s,$

(S(Q_i，j，t)-S_Bg(Q_i，j，t))≤τ_S， 

|H(Q_i，j，t)-H_Bg(Q_i，j，t)|≤τ_H， 

式中：H(Q_i，j，t)、S(Q_i，j，t)、V(Q_i，j，t)与H_Bg(Q_i，j，t)S_Bg(Q_i，j，t)、V_Bg(Q_i，j，t)分别表示当前像素Q_i，j，t在HSV色彩空间中的H、S、V值以及与像素Q_i，j，t对应的重构背景的H、S、V值，α_S＝0.4～0.5，β_S＝0.8～1.0，τ_S＝0.05～0.1，τ_H＝10～30；H、S、V值在HSV色彩空间中分别表示色度、饱和度、亮度； 

(6)后处理步骤：为了使检测出的目标更完整，对步骤(4)和步骤(5)的结果进行如下处理： 

$F=M_S\&cap;(M\&CirclePlus;\mathrm{SE})$

式中F是最终结果二值图像，Ms是经过步骤(4)处理后得到的二值图像再经过形态学开运算的结果；M是经过步骤(5)处理后得到的二值图像再经过腐蚀去除孤立的点后的结果；SE为N×N的结构元素，N＝3～7， 

表示 以SE为结构元素对M做膨胀运算，⌒表示取交集； 

(7)确定目标区域步骤： 

对步骤(6)形成的二值图像中保留为目标的所有像素做八邻域连通分析，将该帧图像中保留为目标的像素合并成目标块，并得到各个目标块的外接矩形，由各个目标块的外接矩形构成当前帧图像的真实目标区域，将当前帧图像的真实目标区域扩大10％～20％作为下一帧图像的预测目标区域； 

(8)背景的整体更新步骤： 

统计步骤(6)形成的二值图像中保留为目标的所有像素数量，判断其是否小于该帧图像所有像素数量的50％～80％，是则背景不整体更新；否则背景整体更新，将整帧图像中各像素点的最大权值背景模型进行参数替换，用当前帧图像对应像素点的像素值代替最大权值背景模型的均值，最大权值背景模型的权值置为0.5～0.8，最大权值背景模型的标准方差置为20～30； 

(9)输出步骤：输出检测结果，转步骤(3)检测下一帧图像，直到视频检测结束。 

所述的运动目标实时检测方法，其特征在于： 

所述目标检测与模型更新步骤中，将像素Q_i，j，t的像素值X_i，j，t依次与背景模型和前景模型进行比较时，根据下式判别当前帧图像像素Q_i，j，t的像素值X_i，j，t满足M个高斯模型的哪一个模型： 

$\left\{\begin{array}{c}|{\mathrm{\&mu;}}_{i,j,t}\left(k_Y\right)-Y_{i,j,t}|<\max (W\&times;{\mathrm{\&sigma;}}_{i,j,t}\left(k_Y\right),\mathrm{\&lambda;})\\ |{\mathrm{\&mu;}}_{i,j,t}\left(k_U\right)-U_{i,j,t}|<\max (W\&times;{\mathrm{\&sigma;}}_{i,j,t}\left(k_U\right),\mathrm{\&lambda;})\\ |{\mathrm{\&mu;}}_{i,j,t}\left(k_V\right)-V_{i,j,t}|<\max (W\&times;{\mathrm{\&sigma;}}_{i,j,t}\left(k_V\right),\mathrm{\&lambda;})\end{array}\right.$ k＝1，2，...，M 

满足上式，则认为像素Q_i，j，t满足第k个模型，不再进行比较，否则继续与下一个高斯模型进行比较，直到所有的高斯模型比较结束；式中W和λ是系数，当前像素Q_i，j，t在预测目标区域外时，W＝2.0～3.0，λ＝10～20；当前像素Q_i，j，t在预测目标区域内时，W＝1.0～2.0，λ＝5～10；开始检测时，认为当前像素Q_i，j，t处于预测目标区域外，此后，则将上一帧图像真实目标区域扩展10％～20％作为当前帧图像的预测目标区域。 

所述的运动目标实时检测方法，其特征在于： 

所述目标检测与模型更新步骤中，更新像素Q_i，j，t对应的M个高斯模型时， 

(1)所述背景模型和前景模型更新的过程为： 

当前像素Q_i，j，t的像素值X_i，j，t与已存在的第k个高斯模型匹配， 

(1.1)匹配的高斯模型的权值按下式更新： 

ω_i，j，t+1(k)＝(1-α_k)ω_i，j，t(k)+α_kM_i，j，t(k)， 

式中，M_i，j，t(k)＝1， 

${\mathrm{\&alpha;}}_k={\mathrm{\&alpha;}}_f{e}^{-{(X_{i,j,t}-u_{i,j,t}\left(k\right))}^T(X_{i,j,t}-u_{i,j,t}\left(k\right))/2{\left({\mathrm{\&sigma;}}_{i,j,t}\left(k\right)\right)}^T{\mathrm{\&sigma;}}_{i,j,t}\left(k\right)},$

亮度最大间隔长度的函数α_f： ${\mathrm{\&alpha;}}_f=0.03-\min (0.025,\mathrm{\&alpha;}+\frac{1}{1+e^{(10-f/20)}}),$

其中，α＝0.005～0.01，亮度最大间隔长度f定义为相同位置上的像素值出现在同一亮度区间的最大间隔，描述类似场景是否反复出现，类似场景反复出现，则f较小； 

(1.2)匹配的高斯模型的均值和方差按下式更新： 

$\left\{\begin{array}{c}{\mathrm{\&mu;}}_{i,j,t+1}\left(k\right)=(1-{\mathrm{\&beta;}}_k){\mathrm{\&mu;}}_{i,j,t}\left(k\right)+{\mathrm{\&beta;}}_k{X}_{i,j,t},\\ {{\mathrm{\&sigma;}}^2}_{i,j,t+1}\left(k\right)=(1-{\mathrm{\&beta;}}_k){\left({\mathrm{\&sigma;}}_{i,j,t}\left(k\right)\right)}^T{\mathrm{\&sigma;}}_{i,j,t}\left(k\right)+{\mathrm{\&beta;}}_k{(X_{i,j,t}-u_{i,j,t}\left(k\right))}^T(X_{i,j,t}-u_{i,j,t}\left(k\right))+10\&times;\mathrm{\&beta;}\end{array}\right.$

式中 ${\mathrm{\&beta;}}_k={\mathrm{\&beta;e}}^{-{(X_{i,j,t}-u_{i,j,t}\left(k\right))}^T(X_{i,j,t}-u_{i,j,t}\left(k\right))/2{\left({\mathrm{\&sigma;}}_{i,j,t}\left(k\right)\right)}^T{\mathrm{\&sigma;}}_{i,j,t}\left(k\right)},$ 该模型属于前景模型时β取值为0.01～0.02，该模型属于背景模型时β取值为0.02～0.03； 

(1.3)对于其他不匹配的M-1个模型，则权值更新时，取M_i，j，t(k)＝0，α_f＝α，均值μ_i，j，t(k)和方差σ² _i，j，t(k)保持不变； 

(2)所述候选高斯模型更新的过程为： 

(2.1)判断当前是否存在候选高斯模型，是则转过程(2.2)；否则生成一个高斯模型，用当前像素Q_i，j，t的像素值X_i，j，t初始化该高斯模型的均值，并将其权值赋予0.05～0.15，标准方差为20～30，作为候选高斯模型，然后转过程(2.2)； 

(2.2)候选高斯模型的均值与方差更新与所述过程(1.2)相同；权值则按下式更新： 

ω_i，j，t+1(k)＝(1-α_k)ω_i，j，t(k)+α_k

其中： 

α_k＝1/(1+e^{0.1×(Term-c)}) 

式中的常数Term用来控制前景像素保持静止后被融入为背景的时间，取值范围为50～500；计数器c计算当前像素的像素值与候选高斯模型匹配的次数； 

(2.3)判断更新后的候选高斯模型权值是否大于阈值T_ω(T_ω取0.3～0.5)，是则用候选高斯模型代替原有M个高斯模型中权值最小的一个，将该新高斯模型的权值设为0.1～0.2，并对M个高斯模型权值重新进行规一化，同时，候选高斯模型消亡，计数器c清零，结束候选高斯模型更新过程；否则直接结束候选高斯模型更新过程。 

所述的运动目标实时检测方法，其特征在于： 

所述阴影检测步骤中，判断当前帧图像是否存在阴影的过程为： 

(1)在经过所述虚假目标处理步骤得到的二值图像中逐点扫描目标点，记下目标点在二值图像中的坐标，根据坐标找到当前帧视频中读入的原图像中相应像素的R、G、B值，若该点R、G、B值均小于其相应的背景R、G、B值，则将该点判为暗点，否则为亮点； 

(2)统计暗点和亮点数目，分别记为n_d和n_b，并计算亮点的能量e_b： 

$e_b=\frac{\underset{i\&Element;N_b}{\mathrm{\&Sigma;}}|I_b-I_i|}{n},$

式中I_b、I_i、N_b、n分别表示亮点的亮度、邻域集中像素点的亮度、邻域集、邻域集中像素个数，邻域集为四邻域或八邻域； 

然后计算亮点所属集合S_b的能量E_b以及暗亮对比值参数P_d： 

$E_b=\frac{\underset{j\&Element;S_b}{\mathrm{\&Sigma;}}{e}_b}{n_b},$ $P_d=\frac{n_d}{n_b},$

(3)根据E_b和P_d的值判断是否存在阴影，如果E_b＜T₁且P_d＞T₂则当前帧图像中存在阴影，否则不存在阴影，T₁＝20～30，T₂＝80～100。 

本发明为每个像素点建立M个混合高斯模型以适应复杂的监控场景，并将M个模型分为背景、前景两类，为了能将场景中的树叶、水波等微小干扰运动排除在运动目标之外，在检测过程中建立了一个候选模型来描述这类运动，当候选模型的权重到达一定阈值时，将候选模型加入到背景模型中；三类模型拥有各自的更新方式，可以根据权值相互转换从而适应场景的复杂性。 

本发明只需要输入的第一帧图像来初始化模型，第二帧以后可开始检测，不需要纯背景的采集，实用性更强；对虚假目标以及阴影的处理提高了运动目标检测的准确性；基于形态学的后处理方法提高了检测的完整性；为了能快速适应场景的突然变化(如光线骤变、场景改变等)，提出了整体更新措施；因而更有效的检测运动目标，增强鲁棒性。 

附图说明

图1：本发明流程示意图； 

图2：目标检测与模型更新步骤流程示意图； 

图3A：阴影场景视频输入的第93帧原始图像； 

图3B：阴影场景视频第93帧图像目标检测与模型更新步骤后结果； 

图3C：阴影场景视频第93帧图像虚假目标处理和阴影处理步骤后结果； 

图3D：阴影场景视频第93帧图像后处理步骤后的最终结果； 

图4A：阴影场景视频输入的第234帧原始图像； 

图4B：阴影场景视频第234帧图像目标检测与模型更新步骤后结果； 

图4C：阴影场景视频第234帧图像虚假目标处理和阴影处理步骤后结果； 

图4D：阴影场景视频第234帧图像后处理步骤后的最终结果。 

具体实施方式

图1为本发明流程示意图。 

以下结合一个具体实例对本发明进一步说明。 

(1)建立模型 

从分辨率为320×240的阴影场景视频中读入一帧如图3A和图4A所示的原始图像，在YUV色彩空间对该帧图像的每一像素点进行混合高斯建模，使用4个高斯模型来表征图像中各个像素点的特征。设X_i，j，t为第t帧图像中位置为(i，j)(1≤i≤320，1≤j≤240)，的像素Q_i，j，t的像素值矢量，其值为{Y_i，j，t，U_i，i，t，V_i，j，t}^T，其概率密度函数P(X_i，j，t)能写成4个高斯模型的线性组合： 

$P\left(X_{i,j,t}\right)=\underset{k=1}{\overset{4}{\mathrm{\&Sigma;}}}\frac{{\mathrm{\&omega;}}_{i,j,t}\left(k\right)}{{\left(2\mathrm{\&pi;}\right)}^{\frac{3}{2}}\left|{\mathrm{\&sigma;}}_{i,j,t}\left(k\right)I\right|}{e}^{-\frac{1}{2}{(X_{i,j,t}-{\mathrm{\&mu;}}_{i,j,t^{\left(k\right)}})}^T{{\mathrm{\&sigma;}}^T}_{i,j,t}\left(k\right){\mathrm{\&sigma;}}_{i,j,t}\left(k\right)I(X_{i,j,t}-{\mathrm{\&mu;}}_{i,j,t}\left(\text{k}\right))}---\left(1\right)$

另外，为了适应背景扰动，在检测过程中将根据检测结果动态地生成一个候选模型，即如果某像素不满足4个模型中的任何一个，则生成一个候选模型。 

(2)模型初始化 

读入第一帧图像时，需要对混合高斯模型进行初始化，即用第一帧图像中(i，j)位置处的像素Q_i，j，1的像素值X_i，j，1初始化该像素处的4个高斯模型： 

第k个高斯模型的权值ω_i，j，1(k)＝1/(2k+1)，        k＝1～4 

第k个高斯模型的均值矢量μ_i，j，1(k)＝X_i，j，1，    k＝1～4 

第k个高斯模型的标准方差Y分量σ_i，j，1(k_Y)取值为20， 

第k个高斯模型的标准方差U、V分量σ_i，j，1(k_U)和σ_i，j，1(k_V)取值为10； 

在4个高斯模型中，取权值ω_i，j，1(k)≥0.20的高斯模型表示背景模型，其余的为前景模型； 

(3)目标检测与模型更新 

从读入的第二帧图像开始，如图2所示，按照下述过程检测目标并更新混合高斯模型，形成如图3B和图4B所示的二值图像： 

(3.1)目标检测 

将第t帧图像中位置为(i，j)的像素Q_i，j，t的像素值X_i，j，t按下式依次与像素 Q_i，j，t对应的背景模型和前景模型进行比较： 

$\left\{\begin{array}{c}|{\mathrm{\&mu;}}_{i,j,t}\left(k_Y\right)-Y_{i,j,t}|<\max (W\&times;{\mathrm{\&sigma;}}_{i,j,t}\left(k_Y\right),\mathrm{\&lambda;})\\ |{\mathrm{\&mu;}}_{i,j,t}\left(k_U\right)-U_{i,j,t}|<\max (W\&times;{\mathrm{\&sigma;}}_{i,j,t}\left(k_U\right),\mathrm{\&lambda;})\\ |{\mathrm{\&mu;}}_{i,j,t}\left(k_V\right)-V_{i,j,t}|<\max (W\&times;{\mathrm{\&sigma;}}_{i,j,t}\left(k_V\right),\mathrm{\&lambda;})\end{array}\right.$ k＝1～4    (2) 

满足上式，则认为像素Q_i，j，t满足第k个模型，当前像素Q_i，j，t在预测目标区域外时，取W＝2.5，λ＝15；当前像素Q_i，j，t在预测目标区域内时，取W＝1.5，λ＝6；开始检测时，认为当前像素Q_i，j，t处于预测目标区域外，此后，则将上一帧图像真实目标区域扩展15％作为当前帧图像的预测目标区域。 

如果像素Q_i，j，t的像素值X_i，j，t满足背景模型中的任何一个高斯模型，则判定该点为背景点，并停止往下比较，转过程(3.2)进行模型更新；否则像素Q_i，j，t的像素值X_i，j，t继续与表示前景的高斯模型比较，如果满足其中任意一个前景模型，则判定该点为目标点，同时转过程(3.2)进行模型更新；否则，先将像素Q_i，j，t判断为目标点，然后转过程(3.3) 

(3.2)模型更新 

当前像素Q_i，j，t的像素值X_i，j，t与已存在的第k个高斯模型匹配(该模型可能是背景也可能是前景)，则该高斯模型的权值按下式更新： 

ω_i，j，t+1(k)＝(1-α_k)ω_i，j，t(k)+α_kM_i，j，t(k)    (3) 

式(3)中M_i，j，t(k)＝1， 

${\mathrm{\&alpha;}}_k={\mathrm{\&alpha;}}_f{e}^{-{(X_{i,j,t}-u_{i,j,t}\left(k\right))}^T(X_{i,j,t}-u_{i,j,t}\left(k\right))/2{\left({\mathrm{\&sigma;}}_{i,j,t}\left(k\right)\right)}^T{\mathrm{\&sigma;}}_{i,j,t}\left(k\right)}---\left(4\right)$

亮度最大间隔长度函数α_f为： 

${\mathrm{\&alpha;}}_f=0.03-\min (0.025,\mathrm{\&alpha;}+\frac{1}{1+e^{(10-f/20)}})---\left(5\right)$

其中，α＝0.005，亮度最大间隔长度f定义为相同位置上的像素值出现在同一亮度区间的最大间隔，描述类似场景是否反复出现，类似场景反复出现，则f较小 

该模型的均值和方差按式(6)更新： 

$\left\{\begin{array}{c}{\mathrm{\&mu;}}_{i,j,t+1}\left(k\right)=(1-{\mathrm{\&beta;}}_k){\mathrm{\&mu;}}_{i,j,t}\left(k\right)+{\mathrm{\&beta;}}_k{X}_{i,j,t}\\ {{\mathrm{\&sigma;}}^2}_{i,j,t+1}\left(k\right)=(1-{\mathrm{\&beta;}}_k){\left({\mathrm{\&sigma;}}_{i,j,t}\left(k\right)\right)}^T{\mathrm{\&sigma;}}_{i,j,t}\left(k\right)+{\mathrm{\&beta;}}_k{(X_{i,j,t}-u_{i,j,t}\left(k\right))}^T(X_{i,j,t}-{\mathrm{\&mu;}}_{i,j,t}\left(k\right))+10\&times;\mathrm{\&beta;}\end{array}\right.---\left(6\right)$

式(6)中 

其中β根据模型是否描述背景而取不同的值，以便控制背景更新和前景更新的速度，前景更新时，β＝0.0125；背景更新时，β＝0.025。 

对于其他不匹配的3个模型则取M_i，j，t(k)＝0，α_f＝α，而均值μ_i，j，t(k)和方差σ² _i，j，t(k)保持不变，转过程(3.4)； 

(3.3)候选模型的生成与更新 

如果目前不存在候选高斯模型，则生成一个高斯模型，并用当前像素Q_i，j，t的像素值X_i，j，t来初始化该高斯模型的均值，并赋予较小的权值为0.1，标准方差为20，作为候选高斯模型，然后更新候选高斯模型；否则，直接更新候选高斯模型： 

候选高斯模型模型的均值与方差按式(6)进行更新，权值则按下式更新： 

ω_i，j，t+1(k)＝(1-α_k)ω_i，j，t(k)+α_k            (7) 

其中： 

α_k＝1/(1+e^{0.1×(Term-c)})                           (8) 

式(8)中的常数Term用来控制前景像素保持静止后被融入为背景的时间，检测的前100帧，取Term＝50；检测到100帧之后，取Term＝200；计数器c用来计算当前像素的像素值与候选高斯模型匹配的次数。 

如果更新后的候选高斯模型权值大于阈值0.3时，则用候选高斯模型代替原有4个高斯模型中权值最小的一个，并将权值设定为0.15，并对新的4个模型权值重新进行规一化；候选高斯模型消亡，计数器c清零，转过程(3.4)；否则，直接转过程(3.4) 

(3.4)重新划分背景模型和前景模型 

模型更新完成后，根据权值再次对背景模型和前景模型进行划分：取权值ω_i，j，t(k)≥0.20的高斯模型表示背景模型，其余的为前景模型。 

(4)虚假目标处理 

当前像素Q_i，j，t被判断为目标，则根据下式再将Q_i，j，t与重构背景进行比较，如果满足则认为是虚假目标，将Q_i，j，t判断为背景，否则保留Q_i，j，t为目标，得到去除虚假目标的二值图像： 

$\left\{\begin{array}{c}{T}_1<R\left(Q_{i,j,t}\right)/R_{\mathrm{Bg}}\left(Q_{i,j,t}\right)<T_2\&cap;\\ T_1<G\left(Q_{i,j,t}\right)/G_{\mathrm{Bg}}\left(Q_{i,j,t}\right)<T_2\&cap;\\ T_1<B\left(Q_{i,j,t}\right)/B_{\mathrm{Bg}}\left(Q_{i,j,t}\right)<T_2\&cap;\\ T_{u1}<U\left(Q_{i,j,t}\right)/U_{\mathrm{Bg}}\left(Q_{i,j,t}\right)<T_{u2}\left|\right|\\ T_{v1}<V\left(Q_{i,j,t}\right)/V_{\mathrm{Bg}}\left(Q_{i,j,t}\right)<T_{v2}\end{array}\right.---\left(9\right)$

式(9)中判决阈值T₁、T₂、T_u1、T_u2、T_v1及T_v2的取值分别取：0.85、1.25、0.9、1.2、0.9及1.2。 

(5)阴影检测和抑制 

如果在阴影存在性判断中，E_b＜30并且P_d＞0.9，则当前帧图像中存在阴影，需要按照以下方法检测并去除阴影，得到去除阴影的如图3C和图4C所示二值图像，转步骤(6)；否则直接转步骤(6)： 

对保留为目标的像素Q_i，j，t根据下列三式进行判断，三式同时满足，则像素Q_i，j，t为阴影，将Q_i，j，t判断为背景，否则保留Q_i，j，t为目标： 

${\mathrm{\&alpha;}}_s\&le;\frac{V\left(Q_{i,j,t}\right)}{V_{\mathrm{Bg}}\left(Q_{i,j,t}\right)}\&le;{\mathrm{\&beta;}}_s,$

(S(Q_i，j，t)-S_Bg(Q_i，j，t))≤τ_S，    (10) 

|H(Q_i，j，t)-H_Bg(Q_i，j，t)|≤τ_H， 

式(10)中，α_S＝0.3，β_S＝0.95，τ_S＝0.08，τ_H＝30。 

6)后处理步骤：为了使检测出的目标更完整，对步骤(4)和步骤(5)的结果进行如下处理： 

$F=M_S\&cap;(M\&CirclePlus;\mathrm{SE})---\left(11\right)$

式(11)中F是最终结果，如图3D和图4D所示，Ms是经过步骤(4)处理后得到的二值图像再经过模板大小为3×3的形态学开运算的结果；M是经过步骤(5)处理后得到的二值图再经过模板大小为3×3的腐蚀去除孤立的点后的结果；SE为3×3的结构元素； 

(7)确定目标区域 

对步骤(6)形成的二值图像中保留为目标的所有像素做八邻域连通分析，将该帧图像中保留为目标的像素合并成目标块，并得到各个目标块的外接矩形，由各个目标块的外接矩形构成当前帧图像的真实目标区域，将当前帧图像的真实目标区域扩大15％作为下一帧图像的预测目标区域； 

(8)模型的整体更新 

统计步骤(6)形成的二值图像中保留为目标的所有像素数量，判断其是否小于该帧图像所有像素数量的65％，是则背景不整体更新；否则背景整体更新，将整帧图像中所有像素点的最大权值背景模型进行参数替换，用当前帧图像像素值代替均值，权值置为0.5，标准方差置为20。 

(9)输出后最终检测结果，转步骤(3)检测下一帧图像，直到视频检测结束。 

Claims (5)

1.一种运动目标实时检测方法，包括：

(1)建立模型步骤：对第t帧图像中(i，j)位置处的像素Q_i，j，t，建立M个高斯模型，Q_i，j，t的像素值X_i，j，t为YUV色彩空间矢量：

X_i，j，t＝{Y_i，j，t，U_i，j，t，U_i，j，t，V_i，j，t}^T，

其概率密度函数P(X_i，j，t)为M个高斯模型的线性组合：

式中，ω_i，j，t(k)、μ_i，j，t(k)和σ_i，j，t(k)分别为第t帧图像中(i，j)位置处的像素Q_i，j，t第k个高斯模型的权值、在YUV色彩空间的均值矢量和标准方差矢量：

μ_i，j，t(k)＝{μ_i，j，t(k_Y)，μ_i，j，t(k_U)，μ_i，j，t(k_V)}^T

σ_i，j，t(k)＝{σ_i，j，t(k_Y)，σ_i，j，t(k_U)，σ_i，j，t(k_V)}^T

σ^T _i，j，t(k)表示σ_i，j，t(k)的转置，I为3×3的单位矩阵，M为3～5，1≤i≤R，1≤j≤C，R为图像的行数，C为图像的列数；

(2)模型初始化步骤：用第一帧图像中(i，j)位置处的像素Q_i，j，1的像素值X_i，j，1初始化该像素处的M个高斯模型，

第k个高斯模型的权值ω_i，j，1(k)＝1/(2k+1)，      k＝1～M，

第k个高斯模型的均值矢量μ_i，j，1(k)＝X_i，j，1，  k＝1～M，

第k个高斯模型的标准方差Y分量σ_i，j，1(k_Y)取值为20～30，

第k个高斯模型的标准方差U、V分量σ_i，j，1(k_U)和σ_i，j，1(k_V)取值为10～20；

在M个高斯模型中，取权值ω_i，j，1(k)≥TH的高斯模型表示背景模型，其余的为前景模型，背景阈值TH＝0.15～0.25；

(3)目标检测与模型更新步骤：从第二帧图像开始，进行如下过程，形成二值图象： 

(3.1)将像素Q_i，j，t的像素值X_i，j，t依次与背景模型进行比较，判断其是否满足背景模型中的任何一个，是则像素Q_i，j，t为背景，转过程(3.2)；否则将像素Q_i，j，t的像素值X_i，j，t依次与前景模型进行比较，判断其是否满足前景模型中一个，是则像素Q_i，j，t为目标，转过程(3.2)；否则将像素Q_i，j，t判断为目标，进行过程(3.3)；

(3.2)按前景模型或背景模型更新其对应的M个高斯模型，转过程(3.4)；

(3.3)更新候选模型，转过程(3.4)；

(3.4)根据更新后的各模型权值再重新划分背景模型和前景模型，在M个高斯模型中，取权值ω_i，j，t(k)≥TH的高斯模型表示背景模型，其余的为前景模型，背景阈值TH＝0.15～0.25；

(4)虚假目标处理步骤：判断前述步骤二值图象中检测的目标是否为虚假目标；当前像素Q_i，j，t被判断为目标，则根据下式再将Q_i，j，t与重构背景进行比较，如果满足则认为是虚假目标，将Q_i，j，t判断为背景，否则保留Q_i，j，t为目标，得到去除虚假目标点的二值图象：

R(Q_i，j，t)、G(Q_i，j，t)、B(Q_i，j，t)、U(Q_i，j，t)、V(Q_i，j，t)表示当前像素Q_i，j，t的R、G、B和U、V值，R_Bg(Q_i，j，t)、G_Bg(Q_i，j，t)、B_Bg(Q_i，j，t)、U_Bg(Q_i，j，t)、V_Bg(Q_i，j，t)表示当前像素Q^i，j，t对应的重构背景的R、G、B和U、V值，判决阈值T₁、T₂、T_u1、T_u2、T_v1及T_v2的取值范围分别为：0.8～0.1、1.0～1.3、0.8～1.0、1.0～1.3、0.8～1.0及1.0～1.3；

当前像素Q_i，j，t对应的重构背景值为：

R_Bg(Q_i，j，t)＝μ_i，j，t(max_R)，

G_Vg(Q_i，j，t)＝μ_i，j，t(max_G)，

B_Bg(Q_i，j，t)＝μ_i，j，t(max_B)，

U_Bg(Q_i，j，t)＝μ_i，j，t(max_U)， 

V_Bg(Q_i，j，t)＝μ_i，j，t(max_V)，

μ_i，j，t(max_R)、μ_i，j，t(max_G)、μ_i，j，t(max_B)、μ_i，j，t(max_U)、μ_i，j，t(max_V)分别表示当前像素Q_i，j，t对应的M个高斯模型中权值最大的背景模型均值的R、G、B、U、V值；

(5)阴影检测步骤：先判断当前帧图像是否存在阴影，是则按如下过程检测并去除阴影，得到去除阴影的二值图象，转步骤(6)；否则直接转步骤(6)；

对保留为目标的像素Q_i，j，t根据下列三式进行判断，三式同时满足，则像素Q_i，j，t为阴影，将Q_i，j，t判断为背景，否则保留Q_i，j，t为目标：

(S(Q_i，j，t)-S_Bg(Q_i，j，t))≤τ_S，

|H(Q_i，j，t)-H_Bg(Q_i，j，t)|≤τ_H，

式中：H(Q_i，j，t)、S(Q_i，j，t)、V(Q_i，j，t)与H_Bg(Q_i，j，t)S_Bg(Q_i，j，t)、V_Bg(Q_i，j，t)分别表示当前像素Q_i，j，t在HSV色彩空间中的H、S、V值以及与像素Q_i，j，t对应的重构背景的H、S、V值，α_S＝0.4～0.5，β_S＝0.8～1.0，τ_S＝0.05～0.1，τ_H＝10～30；H、S、V值在HSV色彩空间中分别表示色度、饱和度、亮度；

(6)后处理步骤：为了使检测出的目标更完整，对步骤(4)和步骤(5)的结果进行如下处理：

式中F是最终结果二值图像，Ms是经过步骤(4)处理后得到的二值图像再经过形态学开运算的结果；M是经过步骤(5)处理后得到的二值图像再经过腐蚀去除孤立的点后的结果；SE为N×N的结构元素，N＝3～7， 

表示以SE为结构元素对M做膨胀运算，∩表示取交集；

(7)确定目标区域步骤：

对步骤(6)形成的二值图像中保留为目标的所有像素做八邻域连通分析，将该帧图像中保留为目标的像素合并成目标块，并得到各个目标块的外接矩形，由各个目标块的外接矩形构成当前帧图像的真实目标区域，将当前帧图像的真实目标区域扩大10％～20％作为下一帧图像的预测目标区域； 

(8)背景的整体更新步骤：

统计步骤(6)形成的二值图像中保留为目标的所有像素数量，判断其是否小于该帧图像所有像素数量的50％～80％，是则背景不整体更新；否则背景整体更新，将整帧图像中各像素点的最大权值背景模型进行参数替换，用当前帧图像对应像素点的像素值代替最大权值背景模型的均值，最大权值背景模型的权值置为0.5～0.8，最大权值背景模型的标准方差置为20～30；

(9)输出步骤：输出检测结果，转步骤(3)检测下一帧图像，直到视频检测结束。

2.如权利要求1所述的运动目标实时检测方法，其特征在于：

所述目标检测与模型更新步骤中，将像素Q_i，j，t的像素值X_i，j，t依次与背景模型和前景模型进行比较时，根据下式判别当前帧图像像素Q_i，j，t的像素值X_i，j，t满足M个高斯模型的哪一个模型：

满足上式，则认为像素Q_i，j，t满足第k个模型，不再进行比较，否则继续与下一个高斯模型进行比较，直到所有的高斯模型比较结束；式中W和λ是系数，当前像素Q_i，j，t在预测目标区域外时，W＝2.0～3.0，λ＝10～20；当前像素Q_i，j，t在预测目标区域内时，W＝1.0～2.0，λ＝5～10；开始检测时，认为当前像素Q_i，j，t处于预测目标区域外，此后，则将上一帧图像真实目标区域扩展10％～20％作为当前帧图像的预测目标区域。

3.如权利要求1或2所述的运动目标实时检测方法，其特征在于：

所述目标检测与模型更新步骤中，更新像素Q_i，j，t对应的M个高斯模型时，(1)所述背景模型和前景模型更新的过程为：

当前像素Q_i，j，t的像素值X_i，j，t与已存在的第k个高斯模型匹配，

(1.1)匹配的高斯模型的权值按下式更新： 

ω_i，j，t+1(k)＝(1-α_k)ω_i，j，t(k)+α_kM_i，j，t(k)，

式中，M_i，j，t(k)＝1，

亮度最大间隔长度的函数α_f：

其中，α＝0.005～0.01，亮度最大间隔长度f定义为相同位置上的像素值出现在同一亮度区间的最大间隔，描述类似场景是否反复出现，类似场景反复出现，则f较小；

(1.2)匹配的高斯模型的均值和方差按下式更新：

式中

该模型属于前景模型时β取值为0.01～0.02，该模型属于背景模型时β取值为0.02～0.03；

(1.3)对于其他不匹配的M-1个模型，则权值更新时，取M_i，j，t(k)＝0，α_f＝α，均值μ_i，j，t(k)和方差σ² _i，j，t(k)保持不变；

(2)所述候选高斯模型更新的过程为：

(2.1)判断当前是否存在候选高斯模型，是则转过程(2.2)；否则生成一个高斯模型，用当前像素Q_i，j，t的像素值X_i，j，t初始化该高斯模型的均值，并将其权值赋予0.05～0.15，标准方差为20～30，作为候选高斯模型，然后转过程(2.2)；

(2.2)候选高斯模型的均值与方差更新与所述过程(1.2)相同；权值则按下式更新：

ω_i，j，t+1(k)＝(1-α_k)ω_i，j，t(k)+α_k

其中： 

α_k＝1/(1+e^{0.1×(Term-c)})

式中的常数Term用来控制前景像素保持静止后被融入为背景的时间，取值范围为50～500；计数器c计算当前像素的像素值与候选高斯模型匹配的次数；

(2.3)判断更新后的候选高斯模型权值是否大于阈值T_ω(T_ω取0.3～0.5)，是则用候选高斯模型代替原有M个高斯模型中权值最小的一个，将该新高斯模型的权值设为0.1～0.2，并对M个高斯模型权值重新进行规一化，同时，候选高斯模型消亡，计数器c清零，结束候选高斯模型更新过程；否则直接结束候选高斯模型更新过程。

4.如权利要求1或2所述的运动目标实时检测方法，其特征在于：

所述阴影检测步骤中，判断当前帧图像是否存在阴影的过程为：

(1)在经过所述虚假目标处理步骤得到的二值图像中逐点扫描目标点，记下目标点在二值图像中的坐标，根据坐标找到当前帧视频中读入的原图像中相应像素的R、G、B值，若该点R、G、B值均小于其相应的背景R、G、B值，则将该点判为暗点，否则为亮点；

(2)统计暗点和亮点数目，分别记为n_d和n_b，并计算亮点的能量e_b：

式中I_b、I_i、N_b、n分别表示亮点的亮度、邻域集中像素点的亮度、邻域集、邻域集中像素个数，邻域集为四邻域或八邻域；

然后计算亮点所属集合S_b的能量E_b以及暗亮对比值参数P_d：

(3)根据E_b和P_d的值判断是否存在阴影，如果E_b＜T₁且P_d＞T₂则当前帧图像中存在阴影，否则不存在阴影，T₁＝20～30，T₂＝80～100。

5.如权利要求3所述的运动目标实时检测方法，其特征在于： 

所述阴影检测步骤中，判断当前帧图像是否存在阴影的过程为：

(1)在经过所述虚假目标处理步骤得到的二值图像中逐点扫描目标点，记下目标点在二值图像中的坐标，根据坐标找到当前帧视频中读入的原图像中相应像素的R、G、B值，若该点R、G、B值均小于其相应的背景R、G、B值，则将该点判为暗点，否则为亮点；

(2)统计暗点和亮点数目，分别记为n_d和n_b，并计算亮点的能量e_b：

式中I_b、I_i、N_b、n分别表示亮点的亮度、邻域集中像素点的亮度、邻域集、邻域集中像素个数，邻域集为四邻域或八邻域；

然后计算亮点所属集合S_b的能量E_b以及暗亮对比值参数P_d：

(3)根据E_b和P_d的值判断是否存在阴影，如果E_b＜T₁且P_d＞T₂则当前帧图像中存在阴影，否则不存在阴影，T₁＝20～30，T₂＝80～100。 

Images