CN102663405A - 基于显著度和混合高斯模型的监控视频前景提取方法 - Google Patents

Abstract

一种基于显著度和混合高斯模型的监控视频前景提取方法：先将待分析的视频采用混合高斯模型进行前景提取，然后将当前帧前帧中相邻2帧中颜色直方图欧式距离相差大的两帧中的帧号小的那一帧作为参考帧,将当前帧与该参考帧做差获取帧差图像，再进行二值化得到掩模图像。对该掩模图像进行基于3×3模板的高斯滤波消除图像的噪声。通过上述掩膜图像，获得基于该掩膜图像的当前帧区域，对区域进行显著度的提取并二值化得到基于显著度的掩膜，将基于显著度的掩膜和基于混合高斯模型的掩膜求并集，最终得到更加完整的前景区域。

Description

基于显著度和混合高斯模型的监控视频前景提取方法

技术领域

本发明涉及数字视频分析领域，尤其涉及一种基于显著度和混合高斯模型的监控视频前景提取方法。

背景技术

视频监控系统已经广泛应用于小区安全监控，交通路况，机场，银行等，并将有着广泛的应用前景。由于现有的视频监控系统大部分都是仅仅将视频录制以后保存，并没有发挥实时主动地监控作用，在此基础上发展的智能视频监控系统，采用视频分析技术，自动实现对目标的检测，识别和跟踪，并在此基础上对行为进行判断。视频监控系统集视频采集、检测、识别、检索与一身，代表了未来监控领域的发展趋势，但是由于视频的种类变换多样，而现有的视频分析方法的适用性不强，严重影响智能监控系统的监控效果，一定程度上制约了视频监控系统的发展，因此，如何对视频进行有效地分析是视频监控领域的一个亟待解决的重要问题。

视频监控系统由于摄像机位置比较固定，因此背景区域基本保持不变，基于像素的背景建模方法由于运算复杂度低得到了广泛的应用。2000年美国麻省理工人工智能研究所Staufferand Grimson采用混合高斯模型即每个像素均由3到5个高斯模型表示，每个像素均循环每个高斯模型直到找到合适的高斯模型，采用基于在线EM（期望最大化）学习方法更新参数，以便适应视频的变化。每个像素都需要判断是否属于高斯模型，如果属于前景的高斯模型，则该像素为前景，否则该像素为背景，该方法的提出为混合高斯模型算法的应用和发展奠定了基础，但这种基于EM算法的更新方法，收敛速度比较慢，很难适应视频内容的变化，而且该算法很难确定一个合适的学习速率。2008年Haque通过选择相近的高斯模型函数的方法，不需要循环所有的模型，通过自动设定循环区间的方法，仅仅选择重要的高斯背景模型进行判断的方法，在解决背景部分抖动方面取得了一定的效果，但是该方法仍然不能完整地提取物体的内部区域。

总之，前景提取算法中的背景建模方法本身是一种基于像素在时间域的分析方法，根据像素在时域上的变化判断，该像素是否是前景像素，并没有充分利用出前景像素在当前帧的相关位置及其像素之间的相关关系信息，导致检测的前景区域并不完整。

发明内容

本发明的目的在于针对现有的基于混合高斯模型的前景提取方法获取的前景不完整的问题，提供一种基于显著度和混合高斯模型的监控视频前景提取方法，更加完整地提取监控视频的前景区域，为视频监控系统目标识别，跟踪与检索提供强有力的支持。

为了达到上述目的，本发明采用如下的技术方案：

一种基于显著度和混合高斯模型的监控视频前景提取方法，对视频进行前景提取时，进行以下步骤，

步骤1，对视频进行基于混合高斯模型的前景提取，得到基于混合高斯模型的前景区域的掩膜；

步骤2，将视频的每一帧图像从RGB颜色空间转换到LAB颜色空间；

步骤3，获取当前帧与参考帧的帧差图像；

步骤4，将步骤3所得帧差图像进行高斯滤波消除图像噪声，并对滤波后帧差图像进行二值化获取当前帧的掩模图像；

步骤5，通过步骤4所得掩膜图像获取当前帧的前景区域，并在LAB颜色空间中对当前帧的前景区域进行图像显著度的提取，得到显著度图；

步骤6，将步骤5所得显著度图进行二值化，获得基于显著度的图像前景的掩膜；

步骤7，将步骤1所得基于混合高斯模型的前景区域的掩膜与步骤6所得基于显著度的前景区域的掩膜合并，得到最终的前景区域。

而且，步骤3所述的参考帧的获取方法为，在当前帧的以前帧中求取相邻帧颜色直方图的欧式距离的差值，将差值最大的相邻帧中时间较前的一帧设为当前帧的参考帧，其中帧号越小表示时间越靠前。

而且，步骤4中，对帧差图像采用3×3大小的高斯滤波器消除图像噪声，然后对滤波后帧差图像进行基于单一阈值的二值化操作，获取当前帧的掩模图像。

而且，步骤5中，对当前帧的前景区域进行图像显著度的提取时，只针对步骤4所得滤波后帧差图像中的掩膜区域进行显著度的提取，对其中的非掩膜区域不进行显著度的提取。

而且，步骤5中，进行显著度提取的处理如下，

步骤a，设步骤4所得滤波后帧差图像尺寸为M×N，对整个滤波后帧差图像进行二维DCT变换，得到滤波后帧差图像在(x,y)坐标的DCT变换结果值f(x,y)，x的取值为0,1,2,...M-1，y的取值为0,1,2,...N-1；

步骤b，根据步骤4所得掩膜图像中非掩膜区域，将相应dct系数设置为0，如以下公式所示，

$\mathrm{dct}(x,y)=\left\{\begin{array}{cc}f(x,y)& \mathrm{ifpixel}(x,y)!=0\\ 0& \mathrm{ifpixel}(x,y)=0\end{array}\right\}---\left(1\right)$

x∈[0,M) y∈[0,N)

其中，dct(x,y)为滤波后帧差图像在(x,y)坐标的dct系数，pixel(x,y)为滤波后帧差图像在(x,y)坐标的像素值；

步骤c，对步骤b所得dct系数dct(x,y),采用以下公式进一步提取dct系数特征值sign(x,y)，

$\mathrm{sign}(x,y=\left(\begin{array}{cc}1& \mathrm{dct}(x,y)\&GreaterEqual;0\\ 0& \mathrm{dct}(x,y)<0\end{array}\right)---\left(2\right)$

x∈[0,M) y∈[0,N)

其中，sign(x,y)表示滤波后帧差图像在(x,y)坐标的dct系数特征值；

步骤d，对步骤c所得dct系数特征值sign(x,y)采用反DCT变换并将该反DCT的值进行平方后归一化，获取滤波后帧差图像在(x,y)坐标处像素的显著度值，作为显著度图在(x,y)坐标的显著度值；若步骤4所得掩膜图像在(x,y)坐标处像素值为0，显著度图在(x,y)坐标的像素值依然为0。

而且，步骤6中,对步骤5所得显著度图采用otsu算法获取基于显著度的图像前景的掩膜，如以下公式所示，

$\mathrm{Mask}\_s(x,y)=\left(\begin{array}{cc}1& \mathrm{pixel}\_s(x,y)\&GreaterEqual;\mathrm{ostu}\_\mathrm{threslod}\\ 0& \mathrm{pixel}\_s(x,y)<\mathrm{ostu}\_\mathrm{threslod}\end{array}\right)---\left(3\right)$

x∈[0,M) y∈[0,N)

其中，Mask_s(x，y)表示基于显著度的前景区域的掩膜在(x,y)坐标的像素值，pixel_s(x,y)表示显著度图在(x,y)坐标的像素值，ostu_threslod为ostu算法自动获取的阈值。

而且，步骤7中，将步骤1所得基于混合高斯模型的前景区域的掩膜与步骤6所得基于显著度的前景区域的掩膜取并集得到最终的前景区域的掩膜，如以下公式所示，

x∈[0,M) y∈[0,N)

其中，Mask_g(x,y)为基于混合高斯模型的前景区域的掩膜在(x,y)坐标的像素值。

本发明提出了采用显著度和混合高斯模型相结合的前景区域提取方法，针对混合高斯模型检测前景不完整的缺点，采用基于显著的前景掩膜和混合高斯模型掩膜相结合的方法获取更加完整的前景区域的掩膜。

附图说明

图1是本发明实施例的流程图。

具体实施方式

以下结合附图和实施例详细说明本发明技术方案。本发明实施例于在对视频进行前景提取时的流程参见图1：

步骤1，对视频进行基于混合高斯模型的前景提取，得到基于混合高斯模型的前景区域的掩膜。

本发明首先采用现有技术对选定M×N分辨率的视频进行基于混合高斯模型的前景提取，实施例中为352×288分辨率。

为便于实施参考起见，提供目前的基于混合高斯模型判断图像中任一像素点是否属于前景区域具体步骤如下：

假设图像中每个像素点的像素值符合高斯分布的混合分布，即：

$P\left(x_t\right)=\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}\mathrm{\&omega;}(x_t,{\mathrm{\&mu;}}_i,\mathrm{\&Sigma;})---\left(5\right)$

其中,x_t是t时刻该像素点的像素值,矩阵 分别表示该像素点颜色值的R,G,B分量，权值ω≥0；i=1,2,3......K,该实施例中K设置为3，且

∑为协方差矩阵，σ_i为方差，I为单位矩阵。K个高斯分布按照权值从高到低的次序进行排序，再根据：

${\arg }_B\min (\underset{i=1}{\overset{B}{\mathrm{\&Sigma;}}}\mathrm{\&omega;}>T)---\left(6\right)$

确定B个背景分布(其中T为阈值，实施例中设置为0.7)。即确定前B个高斯分布为背景分布。将要进行匹配的像素点x看成正态分布,判断像素点x是否与K个高斯模型中的任意一个相匹配，匹配定义为一个像素点的值处在某个高斯模型标准差内的2.5倍范围内，且该高斯分布为背景分布。当前匹配点则为背景点，其余情况则认为当前匹配点是前景点。

混合高斯模型存在三个需要更新的参数，权值、均值、方差，分为以下两种情况：(a)假设t时刻，对于新到的像素在K个高斯模型中找到一个和当前像素点匹配的高斯模型，则该点的像素值应参加此高斯模型的参数更新，应按(7)、(8)、(9)公式重新调整权重ωi，t、均值μ_i，t和方差

ω_i，t=(1-α)·ω_i，t-1+α    (7)

μ_i，t=(1-ρ)·μ_i，t-1+ρ·x_i，t    (8)

${\mathrm{\&sigma;}}_{i,t}^2=(1-\mathrm{\&rho;}){\mathrm{\&sigma;}}_{i,t-1}^2+\mathrm{\&rho;}{(x_{i,t}-{\mathrm{\&mu;}}_{i,t})}^T(x_{i,t}-{\mathrm{\&mu;}}_{i,t})---\left(9\right)$

式中，参数更新率ρ＝α，α表示学习速率，一般取值在0到1之间，它的大小决定了背景更新的速度。

另外对在此像素点的余下没有匹配的高斯模型，则保持它的均值和方差不变，但是要通过式(10)降低此高斯模型的权重，使其按照权重值的大小排列时，会排在匹配模型的后面。

ω_i，t=(1-α)·ω_i，t-1    (10)

(b)对于新到的像素点，在此点的K个高斯模型中，没能找到与之匹配的高斯模型，则应当舍弃其混合模型中权值最小的那个子模型，然后用当前像素值作为舍弃的模型的均值，并重新采用公式（11）赋予初始化时的方差和权重，添加到混合模型中，重新学习其参数。

ω_i，t=0.05∑_i，t＝30    (11)

通过上述方法更新参数之后，返回公式（6）来判断该像素点是否是前景像素。

本实施例中需要为352×288个像素建立混合高斯模型，获取前景的掩膜图像，记Mask_g(x,y)为基于混合高斯模型的前景区域的掩膜在(x,y)坐标的像素值。

步骤2，将视频的每一帧图像从RGB颜色空间转换到LAB颜色空间。本步骤为现有技术，根据LAB颜色空间定义转换即可。

步骤3，获取当前帧与参考帧的帧差图像。本步骤为现有技术，求取当前帧与参考帧的相应像素点的像素值之差后，作为帧差图像中相应像素点的像素值。

实施例中参考帧的获取方法为，采用在当前帧的以前帧中，相邻帧颜色直方图的欧式距离相差最大的两帧中时间较前的一帧,其中帧号越小表示时间越早。

步骤4，将步骤3所得帧差图像进行高斯滤波消除图像噪声，并对滤波后帧差图像进行二值化获取当前帧的掩模图像。

实施例对帧差图像采用3×3大小的高斯滤波器消除图像噪声，然后对滤波后帧差图像进行基于单一阈值的二值化操作，获取当前帧的掩模图像。具体实施时，可基于现有otsu算法获取的阈值进行二值化操作。

步骤5，通过步骤4所得掩膜图像获取当前帧的前景区域，并在LAB颜色空间中对当前帧的前景区域进行图像显著度的提取，得到显著度图。

为提高效率起见，实施例中对当前帧的前景区域进行图像显著度的提取时，只针对步骤4所得滤波后帧差图像中的掩膜区域进行显著度的提取，对其中的非掩膜区域不进行显著度的提取。

实施例进行显著度提取的处理如下，

步骤a，设步骤4所得滤波后帧差图像尺寸为M×N，对整个滤波后帧差图像进行二维DCT变换，得到滤波后帧差图像在(x,y)坐标的DCT变换结果值f(x,y)，x的取值为0,1,2,...M-1，y的取值为0,1,2,...N-1；实施例中M=352，N=288；

步骤b，根据步骤4所得掩膜图像中非掩膜区域，将相应dct系数设置为0，如以下公式所示，

$\mathrm{dct}(x,y)=\left\{\begin{array}{cc}f(x,y)& \mathrm{ifpixel}(x,y)!=0\\ 0& \mathrm{ifpixel}(x,y)=0\end{array}\right\}---\left(1\right)$

x∈[0,M) y∈[0,N)

其中，dct(x,y)为滤波后帧差图像在(x,y)坐标的dct系数，pixel(x,y)为滤波后帧差图像在(x,y)坐标的像素值；

步骤c，对步骤b所得dct系数dct(x,y),采用以下公式进一步提取dct系数特征值sign(x,y)，

$\mathrm{sign}(x,y)=\left(\begin{array}{cc}1& \mathrm{dct}(x,y)\&GreaterEqual;0\\ 0& \mathrm{dct}(x,y)<0\end{array}\right)---\left(2\right)$

x∈[0,M) y∈[0,N)

其中，sign(x,y)表示滤波后帧差图像在(x,y)坐标的dct系数特征值；

步骤d，对步骤c所得dct系数特征值sign(x,y)采用反DCT变换并将该反DCT的值进行平方后归一化，获取滤波后帧差图像在(x,y)坐标处像素的显著度值，作为显著度图在(x,y)坐标的显著度值；若步骤4所得掩膜图像在(x,y)坐标处像素值为0，显著度图在(x,y)坐标的像素值依然为0。

显著度提取在LAB颜色空间中进行，以上处理基于步骤2的转换结果实现。

步骤6，将步骤5所得显著度图进行二值化，获得基于显著度的图像前景的掩膜。

实施例中，对步骤5所得显著度图采用现有otsu算法获取基于显著度的图像前景的掩膜，如以下公式所示，

$\mathrm{Mask}\_s=\left(\begin{array}{cc}1& \mathrm{pixel}\_s(x,y)\&GreaterEqual;\mathrm{ostu}\_\mathrm{threslod}\\ 0& \mathrm{pixel}\_s(x,y)<\mathrm{ostu}\_\mathrm{threslod}\end{array}\right)---\left(3\right)$

x∈[0,M) y∈[0,N)

其中，Mask_s(x，y)表示基于显著度的前景区域的掩膜在(x,y)坐标的像素值，pixel_s(x,y)表示显著度图在(x,y)坐标的像素值，ostu_threslod为ostu算法自动获取的阈值。具体实施时可以采用其他现有技术进行二值化。

步骤7，将步骤1所得基于混合高斯模型的前景区域的掩膜与步骤6所得基于显著度的前景区域的掩膜合并，得到最终的前景区域。

实施例中将步骤1所得基于混合高斯模型的前景区域的掩膜与步骤6所得基于显著度的前景区域的掩膜取并集得到最终的前景区域的掩膜，如以下公式所示，

$\mathrm{Mask}(x,y)=\left(\begin{array}{cc}1& (\mathrm{Mask}\_s(x,y)=1)\mathrm{or}(\mathrm{Mask}\_s(x,y)=1)\\ 0& \mathrm{else}\end{array}\right)---\left(4\right)$

x∈[0,M) y∈[0,N)

其中，Mask_g(x,y)为基于混合高斯模型的前景区域的掩膜在(x,y)坐标的像素值。

通过上述步骤，即可获得实施例中352×288分辨率的前景图像。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种基于显著度和混合高斯模型的监控视频前景提取方法，其特征在于：对视频进行前景提取时，进行以下步骤，

步骤1，对视频进行基于混合高斯模型的前景提取，得到基于混合高斯模型的前景区域的掩膜；

步骤2，将视频的每一帧图像从RGB颜色空间转换到LAB颜色空间；

步骤3，获取当前帧与参考帧的帧差图像；

步骤4，将步骤3所得帧差图像进行高斯滤波消除图像噪声，并对滤波后帧差图像进行二值化获取当前帧的掩模图像；

步骤5，通过步骤4所得掩膜图像获取当前帧的前景区域，并在LAB颜色空间中对当前帧的前景区域进行图像显著度的提取，得到显著度图；

步骤6，将步骤5所得显著度图进行二值化，获得基于显著度的图像前景的掩膜；

步骤7，将步骤1所得基于混合高斯模型的前景区域的掩膜与步骤6所得基于显著度的前景区域的掩膜合并，得到最终的前景区域。

2.根据权利要求1所述基于显著度和混合高斯模型的监控视频前景提取方法，其特征在于：步骤3所述的参考帧的获取方法为，在当前帧的以前帧中求取相邻帧颜色直方图的欧式距离的差值，将差值最大的相邻帧中时间较前的一帧设为当前帧的参考帧，其中帧号越小表示时间越靠前。

3.根据权利要求1所述基于显著度和混合高斯模型的监控视频前景提取方法，其特征在于：步骤4中，对帧差图像采用3×3大小的高斯滤波器消除图像噪声，然后对滤波后帧差图像进行基于单一阈值的二值化操作，获取当前帧的掩模图像。

4.根据权利要求1所述基于显著度和混合高斯模型的监控视频前景提取方法，其特征在于：步骤5中，对当前帧的前景区域进行图像显著度的提取时，只针对步骤4所得滤波后帧差图像中的掩膜区域进行显著度的提取，对其中的非掩膜区域不进行显著度的提取。

5.根据权利要求4所述基于显著度和混合高斯模型的监控视频前景提取方法，其特征在于：步骤5中，进行显著度提取的处理如下，

步骤a，设步骤4所得滤波后帧差图像尺寸为M×N，对整个滤波后帧差图像进行二维DCT变换，得到滤波后帧差图像在(x,y)坐标的DCT变换结果值f(x,y)，x的取值为0,1,2,…M-1，y的取值为0,1,2,…N-1；

步骤b，根据步骤4所得掩膜图像中非掩膜区域，将相应dct系数设置为0，如以下公式所示，

$\mathrm{dct}(x,y)=\left\{\begin{array}{cc}f(x,y)& \mathrm{ifpixel}(x,y)!=0\\ 0& \mathrm{ifpixel}(x,y)=0\end{array}\right\}---\left(1\right)$

x∈[0,M) y∈[0,N)

其中，dct(x,y)为滤波后帧差图像在(x,y)坐标的dct系数，pixel(x,y)为滤波后帧差图像在(x,y)坐标的像素值；

步骤c，对步骤b所得dct系数dct(x,y),采用以下公式进一步提取dct系数特征值sign(x,y)，

$\mathrm{sign}(x,y)=\left(\begin{array}{cc}1& \mathrm{dct}(x,y)\&GreaterEqual;0\\ 0& \mathrm{dct}(x,y)<0\end{array}\right)---\left(2\right)$

x∈[0,M) y∈[0,N)

其中，sign(x,y)表示滤波后帧差图像在(x,y)坐标的dct系数特征值；

步骤d，对步骤c所得dct系数特征值sign(x,y)采用反DCT变换并将该反DCT的值进行平方后归一化，获取滤波后帧差图像在(x,y)坐标处像素的显著度值，作为显著度图在(x,y)坐标的显著度值；若步骤4所得掩膜图像在(x,y)坐标处像素值为0，显著度图在(x,y)坐标的像素值依然为0。

6.根据权利要求5所述的基于显著度和混合高斯模型的监控视频前景提取方法，其特征在于：步骤6中,对步骤5所得显著度图采用otsu算法获取基于显著度的图像前景的掩膜，如以下公式所示，

$\mathrm{Mask}\_s(x,y)=\left(\begin{array}{cc}1& \mathrm{pixel}\_s(x,y)\&GreaterEqual;\mathrm{ostu}\_\mathrm{threslod}\\ 0& \mathrm{pixel}\_s(x,y)<\mathrm{ostu}\_\mathrm{threslod}\end{array}\right)---\left(3\right)$

x∈[0,M) y∈[0,N)

其中，Mask_s(x，y)表示基于显著度的前景区域的掩膜在(x,y)坐标的像素值，pixel_s(x,y)表示显著度图在(x,y)坐标的像素值，ostu_threslod为ostu算法自动获取的阈值。

7.根据权利要求6所述的基于显著度和混合高斯模型的监控视频前景提取方法,其特征在于，步骤7中，将步骤1所得基于混合高斯模型的前景区域的掩膜与步骤6所得基于显著度的前景区域的掩膜取并集得到最终的前景区域的掩膜，如以下公式所示，

$\mathrm{Mask}(x,y)=\left(\begin{array}{cc}1& (\mathrm{Mask}\_s(x,y)=1)\mathrm{or}(\mathrm{Mask}\_g(x,y)=1)\\ 0& \mathrm{else}\end{array}\right)---\left(4\right)$

x∈[0,M) y∈[0,N)

其中，Mask_g(x,y)为基于混合高斯模型的前景区域的掩膜在(x,y)坐标的像素值。

Images