CN105528794A - 基于混合高斯模型与超像素分割的运动目标检测方法 - Google Patents

Abstract

本发明公开了一种基于混合高斯模型与超像素分割的运动目标检测方法。运动目标检测的任务是从复杂场景中尽可能提取感兴趣的对象，并以二值图像呈现结果。本发明方法首先利用高斯混合模型进行背景建模，获取当前帧的背景图像。其次，对当前帧用SLIC(简单线性迭代聚类)算法进行超像素分割。最后，对分割好的图像和背景图像分别进行LTP(局部三值模式)的纹理特征提取，然后进行比较，从而获得运动目标。本发明的有益效果在于：能够实时的根据摄像头捕捉到的视频图像来检测运动目标；检测方法高效、准确。

Description

基于混合高斯模型与超像素分割的运动目标检测方法

技术领域

本发明属于智能视频监控领域，涉及一种视频运动目标检测算法，具体涉及一种基于混合高斯模型与超像素分割的运动目标检测方法。

背景技术

最近十几年来，随着公共安全意识的逐渐提高，智能监控领域的技术有了长足的进步，并开始越来越多的应用在安防、交通和互联网等领域。运动目标检测融合了计算机视觉和模式识别技术，是智能视频监控系统中最基础、最核心的研究方向之一。

图像分割是指把图像分成若干个相对独立的区域。因为图像处理大多是在像素级别进行操作，若能将具有相同特性的像素分割出来，能够降低后续操作的复杂度。所以，图像分割在近几十年来有了长足的进步。

当前图像处理大都以像素为单位，仅用二维矩阵来表示一张图像，并未考虑像素之间的空间组织关系，使得算法效率过低。Ren等最早提出了超像素这一概念所谓超像素，是指具有相似纹理、颜色、亮度等特征的相邻像素构成的图像块。它利用像素之间特征的相似程度将像素分组，可以获取图像的冗余信息，在很大程度上降低了后续图像处理任务的复杂度。LIUMY等人提出了基于熵率的超像素分割算法，描述了基于图形拓扑的能量函数。WANGS等人提出了使用超象素来提取跟踪对象结构信息。TIGHEJ等人在场景组成分析使用其它超像素，提出了一个简单而有效的非参数的图像分析方法。

目前常用的运动目标检测方法有三类：光流法、帧间差法和背景差分法。光流法是通过计算速度场来区分背景和运动目标。帧间差法和背景差分法的基本步骤：先将待检测帧与参考帧进行差分，然后人工设定阈值，若大于阈值，该像素点为前景，否则为，背景。帧间差法的参考帧为当前帧的相邻帧，由于相邻帧与当前帧间隔短，对环境光照变化不敏感，缺点是如果运动中的物体突然以很慢的速度运动，会在检测结果中出现空洞。背景差分的参考帧是在没有待检测目标下的图像。背景差分法分为参数化方法和非参数化方法。最常用的参数法为高斯混合模型(GMM)，用k(3-5)个高斯分布的加权混合来构建背景模型。优点是能够动态适应环境变化。缺点是当运动中的物体突然从静止转为运动，检测效果不佳。Li等在Foregroundobjectdetectionfromvideoscontainingcomplexbackground提出的一种在复杂场景下的目标检测算法是一种非参数法，该算法对差分图像使用了全局阈值化方法检测出所有的运动，然后，对运动区域进行背景抑制。缺点是忽略了像素与像素之间的空间关联性，场景越复杂，效果越不理想。除了上述基本的方法，其他方法也被提了出来，如MigdalG.等由马尔可夫随机场理论构造出运动场分布模型，利用此模型来检测运动场间的断点，以此实现运动目标检测；McHughJM等提出的基于小波变换的方法：GuanY-P等提出的在多尺度上计算由光谱、方向和尺度参数构成的向量来进行目标检测。

发明内容

为了克服上述方法的不足，本发明的目的是提供一种基于混合高斯模型与超像素分割的运动目标检测方法。该检测方法能够实时的根据摄像头捕捉到的视频图像来检测运动目标。本发明方法侧重于以下几个方面：

1)将待检测的当前帧的图像利用SLIC(简单线性迭代聚类算法)。SLIC在进行聚类时，仅在一个种子点作为2S(S是种子之间的距离)×2S区域的中心搜寻类似像素，而不是在整幅图中进行搜索，提高了算法的计算速度。

2)对超像素分割后的每一个区域，使用了LTP(局部三值模式)算子来提取纹理特征。由于LTP算子在进行二值化编码时，通过设定经验阈值，使相对中心值在小于阈值的编码为0，比阈值大的编码为1，所以LTP算子具有对噪声具有鲁棒性、灰度不变性的特点。

3)为了排除阴影的干扰，本文使用了SLIC算法。SLIC算法是基于超像素分割的思想，通过产生过度分割这一特性，对每一帧包含有运动目标的图像使用SLIC算法，能够将运动目标和阴影完整的分离开来，排除阴影的干扰。

本发明技术方案具体介绍如下。

本发明提供一种基于混合高斯模型与超像素分割的运动目标检测方法，具体步骤如下：

(1)构建背景模型，构建的背景模型为没有运动目标存在时的背景图；

首先读取视频的前n帧，用高斯混合模型建立背景模型，建立背景模型后，对新的每一帧，不断实时更新背景模型；

(2)每读取新的一帧，用简单线性迭代聚类SLIC算法对当前帧图像进行超像素分割，调整算法参数，使得分割后的图像能够将背景区与图像区分开，得到分割后的当前帧图像，并转化为灰度图像；

(3)利用步骤(2)得到的分割后的背景区，将当前帧背景图像进行相应区域的超像素分割，并将分割后的图像转为灰度图像；

(4)针对当前帧图像和当前帧背景图像的灰度图象的每一个区域，提取局部三值模式LTP的纹理特征，并形成相应的灰度直方图；

(5)对于每一个区域，将当前帧图像提取的灰度直方图与当前帧背景图像提取的灰度直方图进行比较；若相似，则为背景；否则，为运动目标。

本发明的有益效果在于：检测方法能够实时的根据摄像头捕捉到的视频图像来检测运动目标，检测方法准确实时、高效。由于使用了LTP算子来提取特征，检测方法具有一定的抗噪性；为了排除阴影的干扰，使用了SLIC算法。SLIC算法是基于超像素分割的思想，通过产生过度分割这一特性，能够将运动目标和阴影完整的分离开来，排除阴影的干扰。

附图说明

图1为基于超像素分割和纹理相结合的移动目标检测方法流程图。

图2为图像搜索图示。

图3为LTP算子编码示意图

图4为高斯混合模型训练的背景示意图。

图5为当前帧图像的示意图。

图6为当前帧图像进行超像素分割后的图像的示意图。

图7为当前帧图像进行超像素分割后的灰度图像的示意图。

图8为当前帧的背景图像进行相同分割后的灰度图像示意图。

图9为区域图像的灰度直方图的示意图。

图10为运动目标检测结果示意图。

图11为定性定量分析结果示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明，图1显示了本文发明方法的流程图，接下来具体的介绍每一步的实现细节。

步骤一：构建实时的背景模型；

在视频图像序列中，每一帧图像包含R,G,B的色彩信息。背景模型就是描述像素点i在时间t的特征。

X_i,t＝[R_i,t,G_i,t,B_i,t]

其中i,t表示自然数；

如果运动物体不存在，要被检测的图像相对静止。每个像素的变化是满足一定的数学模型，该方法用M个高斯分布的混合模型标识每个像素，所述第k阶高斯概率密度函数

${\mathrm{\η}}_k(X_{i,t},{\mathrm{\μ}}_k,{\mathrm{\Σ}}_k)=\frac{1}{{\left(2\mathrm{\π}\right)}^{1/2}|{\mathrm{\Σ}}_k{|}^{1/2}}{e}^{1/2{\left(X_{i,t}-{\mathrm{\μ}}_k\right)}^T}{{\mathrm{\Σ}}_k}^{-1}(X_{i,t}-{\mathrm{\μ}}_k)$

上式中，μ_k为均值矢量，Σ_k为协方差矩阵，T为经验阈值，一般取0.7-0.75。

像素点i当前特征与过去时刻的特征有关，其概率为

$P\left(X_{i,t}\right|X_{i,1},...,X_{i,t-1})={\mathrm{\Σ}}_{k=1}^K{\mathrm{\ω}}_{i,t-1,k}{\mathrm{\η}}_k(X_{i,t},{\mathrm{\μ}}_{i,t-1,k},{\mathrm{\Σ}}_{i,t-1,k})$

其中，ω表示高斯分布权重。

根据

|X_i,t-μ|<2.5Σ_i,t,k

来确定当前像素与哪个高斯模型匹配。进而由模型计算出前景或背景的概率P。

步骤二：用SLIC(简单线性迭代聚类)算法对该帧图像进行超像素分割；

当前帧图像转化为5维的特征向量CIELAB颜色空间和XY坐标。然后将5维的特征矢量构造度量标准，过程为部分图像的像素聚类。具体步骤：

1)初始化种子点：假设有N个图像像素，预分割为K个相同尺寸的超像素，每个超像素那么大小为N/K，每个种子点之间的距离是

$S=\sqrt{N/K}$

N表示为图像像素的个数；

为了避免在图像的边缘，并且所造成的聚类过程随后干扰种子点的位置，我们需要在其内的种子点作为3×3窗口的中心，将移动到最小梯度值的位置，以及每个种子分配一个单独的标签。

2)相似性量度：对于每个像素，分配给像素的标签是相似程度最高的种子点。通过这个过程，直到收敛的连续迭代中，相似性度量标准如下：

$d_{lab}=\sqrt{{(l_k-l_i)}^2+{(a_k-a_i)}^2+{(b_k-b_i)}^2}$

$d_{xy}=\sqrt{{(x_k-x_i)}^2+{(y_k-y_i)}^2}$

$D_i=d_{lab}+\frac{m}{S}{d}_{xy}$

其中，l表示明度，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围，x为横坐标，y为纵坐标，d_lab代表像素之间的色差,d_xy代表像素之间的空间距离，D_i为像素之间的相似性。S是种子之间的距离，m是平衡参数。

为了提高方法的计算速度，仅在种子点作为2S×2S区域的中心中的像素，而不是着眼于整个图像的搜索，如图2所示。

步骤三：利用步骤一得到的分割区域，将该帧的背景图像进行相应区域的分割，并将分割后的图像转为灰度图像；

由步骤二得到的图像将当前帧分成K个区域，因此，将背景图像分为相应的区域。

步骤四：对于当前帧图像和当前帧的背景图像的每一个区域，提取LTP(局部三值模式)的纹理特征，并形成相应的灰度直方图。

LTP是LBP(局部二值模式)的扩展，这种局部纹理描述算法较LBP更具有判别能力而且对于同一区域的噪声不敏感。将LBP扩展成三值的编码，得到局部三值模式：LTP算子。这里，灰度级在一个i_c量化为零，i_c周围宽度为±t的区域，大于这个值的量化为+1，小于这个值的量化为-1.例如：指示器s(u)被一个三值函数代替：

$s^{,}\left(u,i_c,t\right)=\left\{\begin{array}{c}1,u\&GreaterEqual;i_c+t\\ 0,\left|u-i_c\right|<t\\ -1,u\&le;i_c-t\end{array}\right\}$

这里，u为邻域的像素值，i_c为中心点的像素值，t是用户指定的阈值。

LTP算子的表达式如下：

${\mathrm{LTP}}_{P,R}=\underset{p=0}{\overset{p-1}{\mathrm{\&Sigma;}}}{2}^{p}s\left(i_p-i_c\right)$

其中，P是邻域像素的数量，R是相邻像素距中心像素的半径。

当使用LTP算子时，对于可视化的匹配可以使用3ⁿ种值编码，但是统一模式参数也可以应用在三值情况下。为了简单，使用一种编码机制将三值模式分成一个正值的和一个负值的部分。这样把它们作为两个分开的LBP描述符的通道，将直方图分开并且计算出相似度，只需要在计算结束的时候结合它们即可。如图3所示。

步骤五:对于每一个区域，将帧图像提取的灰度直方图与背景图像提取的灰度直方图进行比较。若相似，则为背景；否则，为运动目标。

首先对图像的每个区域提取LTP特征，并计算直方图，利用空间彩色直方图计算相似度。

灰度范围是[0,L-1]的图像I(x,y)的直方图定义为

$H_i=\underset{x,y}{\&Sigma;}M\left\{I\right(x,y)=i)\};i=0,1,...,L-1$

其中：i表示第i个灰度级；H_i是具有第i级灰度的像素数目，并且

$M\left(a\right)=\left\{\begin{array}{cc}1& aistrue\\ 0& otherwise\end{array}\right.$

根据LTP_P,R的直方图定义两幅图像H₁和H₂的相似度为：

$d(H_1,H_2)=\underset{i}{\&Sigma;}\left(H_1^{,}\right(i)\&CenterDot;H_2^{,}(i)/\sqrt{\underset{j}{\&Sigma;}{H}_1^{,}{\left(j\right)}^2\&CenterDot;\underset{j}{\&Sigma;}{H}_2^{,}{\left(j\right)}^2}$

${H^{,}}_k\left(i\right)=H_k\left(i\right)-(1/N)\underset{j}{\mathrm{\&Sigma;}}{h}_k\left(j\right)$

其中：N是直方图的Bin数。

匹配完成后，得到最后的检测结果如图8所示。

为了评价本文发明方法的性能，我们进行了如下实验，采用了中国科学院自动化研究所提供CASIA步态数据库中的DatasetB中的视频进行实验。实验包括本文发明方法具体流程选取了具有代表意义的运动目标检测方法进行，包括传统的GMM方法以及本文发明方法。本文实验是用MATLAB代码编写，实验环境为Intel(R)Core(TM)i5-3210MCPU2.50GHz,4GBRAM的个人笔记本电脑。

1.本文发明发法的运动目标检测结果分析

图4为高斯混合模型训练的背景示意图。图5为当前帧图像的示意图。图6为当前帧图像进行超像素分割后的图像的示意图。图7为当前帧图像进行超像素分割后的灰度图像的示意图。图8为当前帧的背景图像进行相同分割后的灰度图像示意图。图9为区域图像的灰度直方图的示意图。通过本文的发明方法获得的运动目标检测结果如图10所示，可见本文发明能够较完整的提取视频中的运动目标。

2.定性与定量实验分析

将本文方法与传统的GMM方法进行比较，考虑到定性方面的指标要求，本文选取中国科学院自动化研究所提供CASIA步态数据库中的DatasetB中的两个视频进行实验比较，结果如图11所示。

由图11可以看出，本文方法可以较为完整的检测出运动目标。

图11(a)是由传统的高斯混合模型方法得到的实验结果，由图中可以看出，虽然获取到了运动目标，但由于受到阴影干扰，实验结果的误检点过多。

图11(b)是由本文方法得到的结果。由于本文方法采用了SLIC算法，基于SLIC算法的过度分割特性，避免了阴影的干扰；使用了LTP(局部三值模式)算子来提取纹理特征。由于LTP算子具有对噪声具有鲁棒性、灰度不变性的特点，所以能够检测到更多正确的前景像素点以及检测到更少的错误的前景像素点。

Claims (5)

1.一种基于混合高斯模型与超像素分割的运动目标检测方法，其特征在于：具体步骤如下：

(1)构建背景模型，构建的背景模型为没有运动目标存在时的背景图；

首先读取视频的前n帧，用高斯混合模型建立背景模型，建立背景模型后，对新的每一帧，不断实时更新背景模型；

(2)每读取新的一帧，用简单线性迭代聚类SLIC算法对当前帧图像进行超像素分割，调整算法参数，使得分割后的图像能够将背景区与图像区分开，得到分割后的当前帧图像，并转化为灰度图像；

(3)利用步骤(2)得到的分割后的背景区，将当前帧背景图像进行相应区域的超像素分割，并将分割后的图像转为灰度图像；

(4)针对当前帧图像和当前帧背景图像的灰度图象的每一个区域，提取局部三值模式LTP的纹理特征，并形成相应的灰度直方图；

(5)对于每一个区域，将当前帧图像提取的灰度直方图与当前帧背景图像提取的灰度直方图进行比较；若相似，则为背景；否则，为运动目标。

2.根据权利要求1所述的运动目标检测方法，其特征在于，步骤(1)中，使用高斯混合模型来构建背景模型，具体方法如下：

在视频图像序列中，每一帧图像包含R、G、B的色彩信息；背景模型X_i，t就是描述像素点i在时间t的特征；

X_i,t＝[R_i,t,G_i,t,B_i,t]

其中，i,t为自然数；

如果运动物体不存在，要被检测的图像相对静止；每个像素的变化满足一定的数学模型，用M个高斯分布的混合模型标识每个像素，所述第k阶高斯概率密度函数

${\mathrm{\&eta;}}_k(X_{i,t},{\mathrm{\&mu;}}_k,{\mathrm{\&Sigma;}}_k)=\frac{1}{{\left(2\mathrm{\&pi;}\right)}^{1/2}{\left|{\mathrm{\&Sigma;}}_k\right|}^{1/2}}{e}^{1/2{(X_{i,t}-{\mathrm{\&mu;}}_k)}^T}{{\mathrm{\&Sigma;}}_k}^{-1}(X_{i,t}-{\mathrm{\&mu;}}_k)$

其中，μ_k为均值矢量，Σ_k为协方差矩阵，T为经验阈值，取值范围为0.7-0.75；

像素点i当前特征与过去时刻的特征有关，其概率为：

$P\left(X_{i,t}\right|X_{i,1},...,X_{i,t-1})={\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&omega;}}_{i,t-1,k}{\mathrm{\&eta;}}_k(X_{i,t},{\mathrm{\&mu;}}_{i,t-1,k},{\mathrm{\&Sigma;}}_{i,t-1,k})$

其中，ω表示某个高斯分布权重；

根据

|X_i,t-μ|<2.5Σ_i,t,k

来确定当前像素与哪个高斯模型匹配。

3.根据权利要求1所述的运动目标检测方法，其特征在于：步骤(2)、步骤(3)中，用简单线性迭代聚类SLIC算法对当前帧图像进行超像素分割时，当前帧图像转化为5维的特征向量CIELAB颜色空间和XY坐标，然后将5维的特征矢量构造度量标准，过程为部分图像的像素聚类；具体步骤如下：

1)初始化种子点：假设有N个图像像素，预分割为K个相同尺寸的超像素，那么每个超像素大小为N/K，每个种子点之间的距离是

$S=\sqrt{N/K}$

N表示为图像像素的个数；

为了避免在图像的边缘，并且所造成的聚类过程随后干扰种子点的位置，我们在其内的种子点作为3×3窗口的中心，将移动到最小梯度值的位置，以及每个种子分配一个单独的标签；

2)相似性量度：对于每个像素，分配给像素的标签是相似程度最高的种子点；通过这个过程，直到收敛的连续迭代中，相似性度量标准如下：

$d_{lab}=\sqrt{{(l_k-l_i)}^2+{(a_k-a_i)}^2+{(b_k-b_i)}^2}$

$d_{xy}=\sqrt{{(x_k-x_i)}^2+{(y_k-y_i)}^2}$

$D_i=d_{lab}+\frac{m}{S}{d}_{xy}$

其中，l表示明度，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围，x为横坐标，y为纵坐标，d_lab代表像素之间的色差，d_xy代表像素之间的空间距离，D_i为像素之间的相似性；S是种子之间的距离，m是平衡参数。

4.根据权利要求1所述的运动目标检测方法，其特征在于：步骤(4)中，对当前帧图像和当前帧背景图像的灰度图象提取局部三值模式LTP的纹理特征，灰度级在一个i_c量化为零，i_c周围宽度为±t的区域，大于这个值的量化为+1，小于这个值的量化为-1.

$s^{,}(u,i_c,t)=\left\{\begin{array}{cc}1,& u\&GreaterEqual;i_c+t\\ 0,& \left|u-i_c\right|<t\\ -1,& u\&le;i_c-t\end{array}\right\}$

这里，u为邻域的像素值，i_c为中心点的像素值，t是用户指定的阈值；

LTP算子的表达式如下：

${\mathrm{LTP}}_{P,R}=\underset{p=0}{\overset{p-1}{\&Sigma;}}{2}^{p}s(i_p-i_c)$

其中，P是邻域像素的数量，R是相邻像素距中心像素的半径。

5.根据权利要求1所述的运动目标检测方法，其特征在于，步骤(5)中，对于每一个区域，将当前帧图像提取的灰度直方图与当前背景图像提取的灰度直方图进行比较的方法如下：

首先对图像的每个区域提取LTP特征，并计算直方图，利用空间彩色直方图计算相似度；

灰度范围是[[0,L-1]]的图像I(x,y)的直方图定义为

$H_i=\underset{x,y}{\&Sigma;}H\{I(x,y)=i)\};i=0,1,...,L-1$

其中：i表示第i个灰度级；H_i是具有第i级灰度的像素数目，并且

$M\left(a\right)=\left\{\begin{array}{cc}1& aistrue\\ 0& otherwise\end{array}\right.$

根据LTP_P,R的直方图定义两幅图像H₁和H₂的相似度为：

$d(H_1,H_2)=\underset{i}{\&Sigma;}\left(H_1^{,}\right(i)\&CenterDot;H_2^{,}\left(i\right)/\sqrt{\underset{j}{\&Sigma;}{H}_1^{,}{\left(j\right)}^2.\underset{j}{\&Sigma;}{H}_2^{,}{\left(j\right)}^2}$

$H_k^{,}\left(i\right)=H_k\left(i\right)-(1/N)\underset{j}{\&Sigma;}{H}_k\left(j\right)$

其中:N是直方图的Bin数。