CN102314691A - 一种基于多信息融合的背景模型 - Google Patents

Abstract

本发明公开了一种背景减除实现方法和装置，包括：对于当前输入图像，联合局部空间信息和颜色信息计算每个像素当前观测模式；对每个像素的当前观测模式与背景模型中所有模式进行比较，找到与当前观测模式距离最近的背景模型模式；对于找到的距离最近的背景模型模式，判断如果所述当前观测模式距离小于预定的阈值，则判定为背景，否则判定为前景；根据前景背景的判决情况对背景模型进行更新。本发明针对现有技术存在的问题，联合像素信息和空间结构信息描述每个像素的观测模式，并进一步采用混合高斯模型的框架，构建一种联合像素信息和空间结构信息的混合高斯背景模型。从而大幅提升了前景提取性能，使前景提取的准确性和精确性得到有效提高。

Description

一种基于多信息融合的背景模型

技术领域

本发明涉及视频处理技术领域，特别涉及一种背景减除实现方法和装置。

背景技术

背景减除又常常被称为前景提取，运动检测等，它是低级计算视觉和视频处理的关键技术之一，广泛的应用于视频监控、智能交通、工业视觉等领域。背景减除应用在静止摄像头的条件下，其含义是，静止摄像头视野内固定不动的场景是背景，而与之有相对运动的对象就是运动前景，将背景信息从视频图像中减去，以提取运动前景信息。实际的背景环境的变化是非常复杂的，依据背景变化的原因，可以分成三类：

1)光线的变化

光线的变化包括三个子类：一是光线的渐变，如昼夜阳光的渐变；二是光线的突变，如开关灯；三是阴影的影响，阴影常常会导致局部区域亮度变暗，但是色彩信息保持不变。

2)动态背景扰动

包括全局扰动，指整体背景发生的变化，如相机轻微晃动，相机成像的噪声等；局部扰动，指局部背景发生的变化，如被风吹动的树叶等。

3)前景和背景角色变化

场景中的运动目标可能会停止下来，然后长时间保持静止，从而成为背景的一部分，如轿车在停车场上停止；这个过程也可能反过来，如停留的车本来是背景的一部分，车辆启动，则成为前景。

一个理想的背景模型需要有效地描述背景在各种条件下的空间和时间上的变化，但这是非常困难的。关于背景减除方法的研究从上个世纪80年代就开始了，提出了很多种方法，这些方法可以分成四大类：简单的帧差、光流的方法；基于区块特征方法；基于边缘特征的方法；基于背景模型的方法。虽然提出了很多种背景减除的算法，但是每种方法都只能处理少数几种情况，还有很多情况处理不了。

从应用的广泛性角度看，以混合高斯模型为代表的算法是目前应用最广泛的算法，它得到广泛应用的原因是混合高斯模型提出表示背景的多模态思想，能够较好地处理动态背景问题。在后续提出来的多数影响较大的算法都借鉴了混合高斯模型的多模态思想，如非参数模型法、码本法等。

从背景的描述角度看，绝大多数算法要么仅利用颜色、亮度等像素信息，要么仅采用边缘、纹理等空间结构特征。仅采用颜色、亮度特征的方法对阴影、噪声比较敏感，并且在前背景颜色相似的情况下性能会下降。仅采用空间结构信息的方法一般能够较好地处理阴影，但是前景提取结果比较粗糙，并且在结构信息缺乏的区域(如颜色一致的区域)性能下降。由于两种特征是从完全不同的角度描述背景，可以考虑将它们联合起来描述背景模型。虽然已经有一些文献在这方面作了尝试，但是效果不是很好。例如：有文献尝试采用颜色和梯度信息描述背景模型，并采用颜色共生矩阵表示相邻帧的颜色变化，但是由于是单模态的，所以处理动态背景的性能不好。还有文献联合基于像素的混合高斯的方法和基于MRF(Markov Random Field)的整幅图像分割方法去建立背景模型和提取前景，该算法的问题是复杂度很高，每秒钟处理速度1帧左右。

发明内容

有鉴于此，本发明所要解决的问题是提供一种新的背景减除实现方法和装置，优化动态前景提取性能，提高前景提取的准确性和精确性。

为了达到上述目的，本发明提供了一种背景减除实现方法，包括：

对于当前输入图像，联合局部空间信息和颜色信息计算每个像素当前观测模式；

对每个像素的当前观测模式与背景模型中所有模式进行比较，找到与当前观测模式距离最近的背景模型模式；

对于找到的距离最近的背景模型模式，判断如果所述当前观测模式距离小于预定的阈值，则判定为背景，否则判定为前景；

所述阈值为所述最近背景模式分量的2.5倍标准差范围。

该方法还包括：如果判定为背景，对当前背景所属的模式进行更新，增加当前背景模型分量的权重，其它的背景模式参数保持不变，但是降低权重；

如果判定为前景，利用当前模式替换权重最小的背景模式，并给该模式赋一个较小的初始权重和初始方差，其它模式的参数保持不变，但是降低它们对应的权重。

该方法还包括：在初始阶段，在为视频的第一帧像素计算出观测模式后，将该观测模式作为当前像素背景模型的第一个模式。

在另一方面，本发明还提供了一种背景减除实现装置，包括：

观测模式计算模块，用于对于当前输入图像，联合局部空间信息和颜色信息计算每个像素当前观测模式；

模式匹配模块，用于接收观测模式计算模块的输出结果，对每个像素的当前观测模式与背景模型中所有模式进行比较，找到与当前观测模式距离最近的背景模型模式；

背景判断模块，用于接收模式匹配模块的输出结果，对于找到的距离最近的背景模型模式，判断如果所述当前观测模式距离小于预定的阈值，则判定为背景，否则判定为前景；

背景模型生成模块，用于根据背景判断模块输出的前景背景的判决情况对背景模型进行更新并保存。

从上面所述的方案可以看出，本发明提出的背景减除实现方法和装置针对现有技术存在的问题，联合像素信息和空间结构信息描述每个像素的观测模式，并进一步采用混合高斯模型的框架，构建一种联合像素信息和空间结构信息的混合高斯背景模型。从而大幅提升了前景提取性能，使前景提取的准确性和精确性得到有效提高。

附图说明

图1为本发明背景减除实现方法一个实施例的流程示意图；

图2为LBP描述算子示意图；

图3为DLBP和LBP模式描述的对比示意图；其中

图3(a)是一个无噪声干扰的颜色一致区域；

图3(b)是图3(a)被噪声干扰后的图像；

图3(c)是一个颜色一致的区域；

图3(d)是一个发生剧烈变化的区域；

图4为本发明背景减除实现装置一个实施例的结构示意图；

图5为本发明实施例的处理效果与其他多种现有技术的处理效果的对比示意图。

具体实施方式

本发明针对现有技术存在的问题，联合颜色信息和空间结构信息描述每个像素的观测模式；并进一步采用混合高斯模型的框架，提出基于一种联合颜色信息和空间结构信息的混合高斯背景模型。像素信息采用位于每个位置处局部区域内的颜色表示，而局部空间信息采用像素灰度特征表示。

本发明背景减除实现方法主要包括如下步骤：对于当前输入图像，联合局部空间信息和颜色信息计算每个像素当前观测模式；对每个像素的当前观测模式与背景模型中所有模式进行比较，找到与当前观测模式距离最近的背景模型模式；对于找到的距离最近的背景模型模式，判断如果所述当前观测模式距离小于预定的阈值，则判定为背景，否则判定为前景；根据前景背景的判决情况对背景模型进行更新。

作为一个较佳的实施例，对于每个像素的状态联合局部空间信息和颜色信息表示，局部空间信息为灰度特征，例如：LBP或者双局部二值模式(DLBP，double local binary pattern)局部区域特征直方图，颜色信息为局部颜色特征；每个像素的背景模型采用混合高斯模型描述，即在本实施例中为每个像素设置多种背景模式，每种模式依据出现的频率对应一定的权重；对该像素在当前图像所展现的模式，与背景模型中所有模式进行比较，对于距离最近的模式，认为是该像素的当前备选背景模式；如果距离小于等于事先确定好的阈值，则认为当前像素与背景模型匹配，被确认为是当前的背景模式，同时增大当前背景模式的权重，降低其它模式的权重，并归一化所有模式的权重之和；如果距离大于事先确定好的阈值，则认为当前像素与背景模型不匹配则用像素的当前模式替代背景模式中权重最小的模式，赋予固定的权重，同时归一化所有模式的权重之和；对于像素当前模式与背景模型匹配者，认为是该像素是背景，否则认为是前景。

下面结合附图1对本发明背景减除实现方法的一个实施例作进一步地详细说明。

步骤1，对于当前输入图像，联合局部空间信息和颜色信息计算每个像素当前观测模式。

关于局部空间信息的表示：

作为一个实施例，可采用局部二值模式(LBP，local binary pattern)表示局部空间信息。LBP是一种灰度变化描述算子，该算子通过对像素和邻域像素之间的灰度变化进行二值化，形成对该像素所在位置的纹理变化模式的描述。LBP算子的定义如下式

${\mathrm{LBP}}_{P,R}\left(x\right)=\underset{p=0}{\overset{P-1}{\mathrm{\&Sigma;}}}s(g_p-g_x)2^p,$ $s\left(u\right)=\left\{\begin{array}{cc}1& u\&GreaterEqual;0\\ 0& u<0\end{array}\right.---\left(1\right)$

其中g_x表示位置x处的像素灰度值，g_p表示位置x处的像素的周围邻域的像素灰度值，这些像素等间隔的分布在以x为中心半径为R的圆环上，P表示算子计算所涉及到的周边像素的个数，p表示算子计算所涉及到的第p个周边像素。图2给出了一个利用LBP描述算子表示像素局部空间特征的实施例子，在图中R＝4，P＝6，左边为原始数据，右边为经计算后得到的LBP结果。

LBP有几个优点使得它比较适合用在局部空间信息的描述中：作为一个二值差分算子，LBP能够可靠的描述单调灰度变化；LBP能够减弱阴影的影响，因为阴影常常只会导致亮度的变化，但是纹理特征仍然保持不变；LBP计算简单，速度快。但是，LBP算子对纹理的描述存在着一些不足。主要体现在两个方面。首先，像素之间变化有三个状态，＝0，＞0，和＜0，这三个状态具有不同的意义，尤其是＝0与＞0、＜0具有完全不同的含义。＝0表示像素之间没有变化，反映颜色一致的区域，而＞0，和＜0表示像素之间发生了变化，分别为像素值灰度值的增大和减小，反映区域的颜色有变化。但是从LBP定义可以看出，该算子只能区分两个状态，并且是将＝0和＞0归结为一个状态。此外，从LBP的定义还可以看出，LBP算子受噪声影响比较大，比较小的噪声就可能导致模式判定错误。

为了克服LBP算子存在的不足，并保留其优点，本发明在一个优选实施例中改进了LBP算子，并称之为DLBP，其定义如下：

${\mathrm{DLBP}}_{P,R}\left(x\right)=\{{\mathrm{LBP}}_{P,R}^{+}\left(x\right),{\mathrm{LBP}}_{P,R}^{-}\left(x\right)\}---\left(2\right)$

${\mathrm{LBP}}_{P,R}^{+}\left(x\right)=\underset{p=0}{\overset{P-1}{\mathrm{\&Sigma;}}}s(g_p-g_x-n)2^p,s\left(u\right)=\left\{\begin{array}{cc}1& u>0\\ 0& u\&le;0\end{array}\right.$

${\mathrm{LBP}}_{P,R}^{-}\left(x\right)=\underset{p=0}{\overset{P-1}{\mathrm{\&Sigma;}}}s(g_p-g_x+n)2^p,s\left(u\right)=\left\{\begin{array}{cc}1& u<0\\ 0& u\&GreaterEqual;0\end{array}\right.---\left(3\right)$

从上面的式子中可以看出，DLBP的定义包括两个部分，即LBP+和LBP-。LBP+和LBP-与LBP有相似的定义形式。区别在于，对于LBP+，＞0的情形被判定为1，而＝0和其它的情况则被判定为0，对于LBP-，＜0被判定为1，而＝0和其它的情况则被判定为0。这样，通过LBP+和LBP-，三种变化状态＞0，＝0和＜0都能够被准确地区分。为了增强对噪声的抵抗能力，本发明实施例引入了噪声克服常数n。其中n越大，受噪声的影响越小。但是，n太大，一些不是因为噪声影响而产生的微小变化模式可能无法描述。因此，n的选择需要综合考虑，一般需一个比较小的值n∈[2，5]，在本发明实施例中取4。

图3中给出LBP和DLBP对像素变化模式描述情况的一些简单例子，其中R＝1，P＝8。示例中包括没有噪声影响的颜色一致区域，受噪声影响的颜色一致区域以及边缘区域。其中，图2(a)是一个无噪声干扰的颜色一致区域，图2(b)是图2(a)被噪声干扰后的图像，LBP受到影响，产生了一个错误模式，而DLBP仍能够正确描述。图2(c)和图2(d)是两种完全不同的模式，图2(c)是一个颜色一致的区域，图2(d)则是一个发生剧烈变化的区域，是完全不同的纹理。LBP描述子把它们表述成同一模式，而DLBP则把两种不同的模式区分开来。这里只给了较少的例子，但从中可以看出，DLBP能够对纹理更准确地描述，并且具有较好的抵抗噪声的能力。

根据DLBP算子的定义式可知，对于同一个模式，DLBP算子得到的二进制表示形式长度是LBP的二进制表示形式的长度的2倍。如果对局部区域统计DLBP模式的直方图，直方图的长度为2^2P，计算量和内存消耗的增加都是指数级的。为了降低计算负担，本发明一个实施例采用两个直方图分别统计LBP+和LBP-。模式距离的度量方式采用比较直方图的交叠区作为度量。令DLBP₁和DLBP₂分别表示两个统计局部区域DLBP模式得到的直方图，DLBP₁和DLBP₂的距离的计算按照下式计算。

$\mathrm{Dist}({\mathrm{DLBP}}_1,{\mathrm{DLBP}}_2)=\mathrm{Dist}({\mathrm{LBP}}_1^{+},{\mathrm{LBP}}_2^{+})+\mathrm{Dist}({\mathrm{LBP}}_1^{-},{\mathrm{LBP}}_2^{-})---\left(4\right)$

$\mathrm{Dist}({\mathrm{LBP}}_1^{+},{\mathrm{LBP}}_2^{+})=1-\underset{n=0}{\overset{N-1}{\mathrm{\&Sigma;}}}\min ({\mathrm{LBP}}_{1,n}^{+},{\mathrm{LBP}}_{2,n}^{+})$

$\mathrm{Dist}({\mathrm{LBP}}_1^{-},{\mathrm{LBP}}_2^{-})=1-\underset{n=0}{\overset{N-1}{\mathrm{\&Sigma;}}}\min ({\mathrm{LBP}}_{1,n}^{-},{\mathrm{LBP}}_{2,n}^{-})---\left(5\right)$

其中，N为直方图的阶数，并且直方图是归一化的。

关于颜色信息的表示：

前景和背景的纹理模式(即局部空间信息)在多数情况下是不同的，所以在多数情况下，DLBP对前景和背景拥有较好的鉴别特性。但是，当区域的纹理特征不丰富的时候，DLBP将无法区分前景和背景，这在颜色一致的区域经常发生，如天棚、墙面、地板等地方。为了维持一个稳定的背景模型，在本实施例中联合局部颜色信息共同表示背景模型。颜色信息(色调、饱和度)在多数情形下都保持稳定，如阴影、光线渐变等，它能够帮助DLBP区分那些纹理缺少的一致性区域。在本发明实施例中，采用以每个位置为中心的预定矩形局部区域内的值表示颜色信息，本实施例中选择3×3矩形局部区域。令HS_x＝{h_x，s_x}表示位置x处的颜色信息，h和s分别是图像色调通道和饱和度通道位于位置x处的两个3×3矩形局部区域的色调和饱和度值信息。本发明实施例按照公式(6)比较颜色信息

$\mathrm{Dist}({\mathrm{HS}}_x,{\mathrm{HS}}_x^k)=1\frac{\underset{i}{\mathrm{\&Sigma;}}{h}_{x,i}{h}_{x,i}^k}{\underset{i}{\mathrm{\&Sigma;}}{h}_{x,i}\underset{i}{\mathrm{\&Sigma;}}{h}_{x,i}^k}\frac{\underset{i}{\mathrm{\&Sigma;}}{s_{x,i}s}_{x,i}^k}{\underset{i}{\mathrm{\&Sigma;}}{s}_{x,i}\underset{i}{\mathrm{\&Sigma;}}{s}_{x,i}^k}---\left(6\right)$

其中HS_x表示位置x处的3×3区域的颜色信息，

表示位置x处背景模型中的第k个模式的颜色信息。

通过上述方式，在分别得到了局部空间信息和颜色信息之后，联合得到的局部空间信息和颜色信息计算每个像素当前观测模式，即

对位置x，用m^t(x)＝{DLBP^t(x)，HS^t(x)}表示其观测模式(即当前观测图像在位置x处的DLBP特征直方图和颜色信息)。颜色信息在该位置处可以直接提取，DLBP特征直方图在一个以x为中心的边长为r个像素的区域内提取。这里r是一个用户选定的值，在本发明实施例中r可取3～13。

步骤2，对每个像素的当前观测模式与背景模型中所有模式进行比较，找到与当前观测模式距离最近的背景模型模式。

本实施例中，基于颜色信息和DLBP直方图特征的混合高斯背景模型：

首先需要指出的是，本发明实施例对每个位置是独立建模的，这里讲的背景模型是针对图像的一个位置，但是对所有位置都适用。

为了让背景模型拥有动态背景处理能力，每个位置的背景模型采用了混合高斯模型的方式，允许有多个模式。用符号

$M^t\left(x\right)={\{m_k^t\left(x\right),w_k^t\left(x\right)\}}_{k=1,...,K}$

表示位置x处的背景模型，它包括K个模式。其中第k个模式

相应的权重为

对于每个模式的描述，将联合局部空间信息和颜色信息，即

其中

表示位置x处的第k个模式的局部空间信息，采用位置x处的局部区域的DLBP特征直方图表示，表示位置x处的第k个模式的局部颜色信息，可以采用位置x处3×3区域的颜色信息模板表示。

观测模式和背景模式之间的度量采用DLBP特征直方图距离和局部颜色信息的距离的加权来表示。用符号λ表示加权系数，λ∈[0，1]。

$\mathrm{Dist}(m^t\left(x\right),m_k^t\left(x\right))=\mathrm{\&lambda;Dist}({\mathrm{DLBP}}^t\left(x\right),{\mathrm{DLBP}}_k^t\left(x\right))$

$+(1-\mathrm{\&lambda;})\mathrm{Dist}({\mathrm{HS}}^t\left(x\right),{\mathrm{HS}}_k^t\left(x\right))---\left(7\right)$

其中，对所述位置x，用m^t(x)＝{DLBP^t(x)，HS^t(x)}表示其观测模式(即当前观测图像在位置x处的DLBP特征直方图和颜色信息)。颜色信息在该位置处可以直接提取，DLBP特征直方图在一个以x为中心的边长为r个像素的区域内提取。这里r是一个用户选定的值，在本发明实施例中r取3～13。

假设每个时刻背景像素的观测模式与每个背景模式之间距离的变化呈现高斯特性，即

$\mathrm{Dist}(m^t\left(x\right),m_k^t\left(x\right))~N(0,{\mathrm{\&sigma;}}_{t,k}^2\left(x\right))---\left(8\right)$

则每个位置的背景模型的统计特性可以用混合高斯概率分布来描述，即

$p(\mathrm{Dist}(m^t\left(x\right),M^t\left(x\right))=\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{w}_k^t\left(x\right)*\mathrm{\&eta;}(\mathrm{Dist}(m^t\left(x\right),m_k^t\left(x\right)),0,{\mathrm{\&sigma;}}_{t,k}^2\left(x\right))---\left(9\right)$

这样，对当前获得的像素，其观测模式与背景模式之间的距离就可由式(9)所表示的混合高斯模型来表示。

式(8)和(9)中，

表示均值为0，标准差为

的标准正态分布，

表示以

为变量，均值为0，标准差为

的高斯分布。

作为一个实施例，寻找与当前观测模式距离最近的背景模型模式，即模式的匹配过程具体包括：

模式匹配的过程如下所述。

对任意位置x，首先根据当前采集图像计算位置x的观测模式m^t(x)＝{DLBP^t(x)，HS^t(x)}，比较当前观测模式和背景中的多个模式分量的距离(一个模式包括多个模式分量)，寻找距离最近的模式，如式(10)

$\tilde{k}=\underset{k}{\arg \min }\left\{\mathrm{Dist}(m^t,m_k^t)\right\}---\left(10\right)$

步骤3，对于找到的距离最近的背景模型模式，判断如果所述当前观测模式距离小于预定的阈值，则判定为背景，否则判定为前景。

作为一个实施例，设置所述阈值为所述最近背景模式分量的2.5倍标准差范围。

如果位置x的当前观测模式与背景模型距离最近的模式分量(第

个分量)的距离在该分量的2.5倍标准差范围内，则被判断为背景，否则判定为前景。

$\mathrm{Dist}(m^t,m_{\tilde{k}}^t)<205{\mathrm{\&sigma;}}_{t,\tilde{k}}---\left(11\right)$

步骤4，根据前景、背景的判决情况对当前像素的背景模型进行更新。

如果背景变化过程是静态过程，则可以采用标准的EM(Expectation Maximization)算法对混合高斯模型的参数进行估计。但实际上，背景的变化是动态的，随着时间的变化在发生变化，执行一个标准的EM算法是困难的。采用混合高斯背景模型的方法，利用一个在线K均值近似的方法估计背景模型的参数。下面给出本发明一个实施例背景模型的更新过程。

当实施前景背景判断后，如果判断为背景，将对当前背景所属的模式进行参数更新，并增加其权重，其它的背景模式参数保持不变，但是降低权重，即按照式(12)进行更新。

$\mathrm{ifk}=\tilde{k}$

$w_{\tilde{k}}^t=(1-\mathrm{\&alpha;})w_{\tilde{k}}^{t-1}+\mathrm{\&alpha;}$

${\mathrm{DLBP}}_{\tilde{k}}^t=(1-\mathrm{\&rho;}){\mathrm{DLBP}}_{\tilde{k}}^{t-1}+\mathrm{\&rho;}{\mathrm{DLBP}}^t---\left(12\right)$

${\mathrm{HS}}_{\tilde{k}}^t=(1-\mathrm{\&rho;}){\mathrm{HS}}_{\tilde{k}}^{t-1}+\mathrm{\&rho;}{\mathrm{HS}}^t$

${\mathrm{\&sigma;}}_{t,\tilde{k}}^2=(1-\mathrm{\&alpha;}){\mathrm{\&sigma;}}_{t-1,\tilde{k}}^2+\mathrm{Dist}(m^t,m_{\tilde{k}}^t)*\mathrm{Dist}(m^t,m_{\tilde{k}}^t)$

else

$w_{\tilde{k}}^t=(1-\mathrm{\&alpha;})w_{\tilde{k}}^{t-1}$

其他不变

其中，α为学习常数，

对于判断为前景的情况，利用观测模式替换权重最小的背景模式，并给该模式(设其序列号为K)赋一个较小的初始权重和初始方差，其它模式的参数保持不变，但是降低它们对应的权重，即按照式(13)进行更新。

对于权重最小的模式

$w_K^t=w_{\mathrm{init}}$

${\mathrm{DLBP}}_K^t={\mathrm{DLBP}}^t$

${\mathrm{HS}}_K^t={\mathrm{HS}}^t---\left(13\right)$

${\mathrm{\&sigma;}}_{t,K}^2={\mathrm{\&sigma;}}_{\mathrm{init}}^2$

对于其它模式

其他不变

在图1所给出的前景提取流程中，还针对单个位置x的给出了具体参数的运算过程。针对整个流程包括四个部分：步骤1为对于当前的输入图像I_t首先计算位置x的观测模式m²(x)，即提取DLBP局部区域特征直方图DLBP²(x)和局部颜色特征HS(x)；步骤2为m²(x)和位置x的背景模型M^t(x)中的所有模式进行匹配，找到距离最近的模式；步骤3，如果找到的最近距离小于对应模式的2.5倍的标准差，则判断为背景，否则判断为前景；步骤4，根据前景背景的判决情况对背景模型进行更新。

其中，需要指出，虽然以上是针对x位置的，但是对其他位置都同样适用。

另外，背景模型的初始化方式是把视频的第一帧的观测模式作为背景模型，在后续的模式匹配过程中逐渐更新背景模型。因此，在初始阶段，在步骤1为当前的输入图像I_t计算出位置x的观测模式m²(x)后，将该观测模式m²(x)作为当前像素背景模型的第一个模式。

下面结合具体数据，对本发明背景减除方法的一个具体实施例进行介绍：

本发明实施例所采用的混合高斯模型具体见文献Stauffer C andGrimson W.Adaptive Background Mixture Models for Real-timeTracking.IEEE Conference on Computer Vision and Pattern Recognition，vol.2，pp.23-25，June 1999.假设本发明实施例所采取的混合高斯分量的数量固定为K。我们在每个位置所在的正方形区域内统计DLBP直方图，统计区域边长r越小，所计算的直方图信息越是局部的，而r越大，前景提取边缘越不精确，一般情况下位于3到13之间。P决定DLBP描述子的长度，P越大，对内存的要求越多，本发明实施例的选择P为6，而R＝1。K是背景模型中背景模式的数量，K越大，表示背景的模式越多，计算量也越大，内存需要量也越大。在多数情况下，K在3到5之间，算法能够保持一个好的综合性能。λ是联合常数，λ在[0.65，0.85]，算法取得较好性能。α为控制背景模型更新速度的学习常数，其值越大，背景更新越快，α一般取[0.001，0.05]。

步骤1：t＝0，背景模型初始化。对于当前的输入图像I_t首先计算其任意位置x的观测模式m²(x)，即提取DLBP局部区域特征直方图DLBP²(x)和局部颜色特征HS(x)，具体计算方法参照前面公式(2)和(6)。此时背景模型还没有建立起来。由于此时背景模型还没有建立起来，就将当前观测模式作为背景模型的第一个模式分量，赋予权重为1，其他分量还为空，赋予权重为0，形成位置x的背景模型M^t(x)。

步骤2：t＝t+1，对于当前的输入图像I_t计算其任意位置x的观测模式m²(x)，将当前模式与背景模型M^t(x)的每个模式分量进行比较。不妨设其第k个模式则m²(x)与模式距离按照公式(7)计算。遍历全部K个模式，按照公式(10)，选择距离最近的模式并记录模式距离

$\mathrm{Dist}(m^t,m_{\tilde{k}}^t)<205{\mathrm{\&sigma;}}_{t,\tilde{k}}.$

步骤3：如果位置x的当前观测模式与背景模型距离最近的分量(第

个分量)的距离在该分量的2.5倍标准差范围内，则被判断为背景，否则判定为前景。

步骤4：当实施前景背景判断后，如果判断为背景，将对当前背景所属的模式进行更新，并增加其权重，其它的背景模式保持不变，但是降低权重，具体更新方式按照前面公式(12)进行。对于判断为前景的情况，利用观测模式替换权重最小的背景模式，并给该模式(设其序列号为K)赋一个较小的初始权重和初始方差，其它模式的参数保持不变，但是降低它们对应的权重，具体按照式(13)进行更新。

步骤5：返回步骤2。

在另一方面，基于上面各实施例所介绍的方法，本发明还提供了一种背景减除实现装置。

图4为本发明背景减除实现装置一个实施例的结构示意图。其中主要包括：

观测模式计算模块，用于对于当前输入图像，联合局部空间信息和颜色信息计算每个像素当前观测模式；

模式匹配模块，用于接收观测模式计算模块的输出结果，对每个像素的当前观测模式与背景模型中所有模式进行比较，找到与当前观测模式距离最近的背景模型模式；

背景判断模块，用于接收模式匹配模块的输出结果，对于找到的距离最近的背景模型模式，判断如果所述当前观测模式距离小于预定的阈值，则判定为背景，否则判定为前景；

背景模型生成模块，用于根据背景判断模块输出的前景背景的判决情况对背景模型进行更新并保存。

其中，所述每个像素的背景模型采用联合局部空间信息和颜色信息的混合高斯模型表示，每个像素有多种背景模式，每种模式依据出现的频率对应一定的权重，对于每个模式亦采联合局部空间信息和颜色信息表示。

所述颜色信息采用位于每个位置处局部区域内的色调和饱和度表示，和/或所述局部空间信息采用像素灰度特征表示。

所述局部空间信息采用DLBP表示或者LBP表示。

较佳的，所述DLBP表示为

${\mathrm{DLBP}}_{P,R}\left(x\right)=\{{\mathrm{LBP}}_{P,R}^{+}\left(x\right),{\mathrm{LBP}}_{P,R}^{-}\left(x\right)\}---\left(2\right)$

${\mathrm{LBP}}_{P,R}^{+}\left(x\right)=\underset{p=0}{\overset{P-1}{\mathrm{\&Sigma;}}}s(g_p-g_x-n)2^p,s\left(u\right)=\left\{\begin{array}{cc}1& u>0\\ 0& u\&le;0\end{array}\right.$

${\mathrm{LBP}}_{P,R}^{-}\left(x\right)=\underset{p=0}{\overset{P-1}{\mathrm{\&Sigma;}}}s(g_p-g_x+n)2^p,s\left(u\right)=\left\{\begin{array}{cc}1& u<0\\ 0& u\&GreaterEqual;0\end{array}\right.---\left(3\right);$

其中，g_x表示位置x处的像素灰度值，g_p表示位置x处的像素的周围邻域的像素灰度值，这些像素等间隔的分布在以x为中心半径为R的圆环上，P表示算子计算所涉及到的周边像素的个数，p表示算子计算所涉及到的第p个周边像素。

较佳的，可以采用两个直方图分别统计LBP+和LBP-；模式距离的度量方式采用比较直方图的交叠区作为度量；令DLBP₁和DLBP₂分别表示两个统计局部区域DLBP模式得到的直方图，DLBP₁和DLBP₂的距离的计算按照下式计算。

$\mathrm{Dist}({\mathrm{DLBP}}_1,{\mathrm{DLBP}}_2)=\mathrm{Dist}({\mathrm{LBP}}_1^{+},{\mathrm{LBP}}_2^{+})+\mathrm{Dist}({\mathrm{LBP}}_1^{-},{\mathrm{LBP}}_2^{-})---\left(4\right)$

$\mathrm{Dist}({\mathrm{LBP}}_1^{+},{\mathrm{LBP}}_2^{+})=1-\underset{n=0}{\overset{N-1}{\mathrm{\&Sigma;}}}\min ({\mathrm{LBP}}_{1,n}^{+},{\mathrm{LBP}}_{2,n}^{+})$

$\mathrm{Dist}({\mathrm{LBP}}_1^{-},{\mathrm{LBP}}_2^{-})=1-\underset{n=0}{\overset{N-1}{\mathrm{\&Sigma;}}}\min ({\mathrm{LBP}}_{1,n}^{-},{\mathrm{LBP}}_{2,n}^{-})---\left(5\right)$

其中，N为直方图的阶数，并且直方图是归一化的。

所述颜色信息可以表示为

$\mathrm{Dist}({\mathrm{HS}}_x,{\mathrm{HS}}_x^k)=1-\frac{\underset{i}{\mathrm{\&Sigma;}}{h}_{x,i}{h}_{x,i}^k}{\underset{i}{\mathrm{\&Sigma;}}{h}_{x,i}\underset{i}{\mathrm{\&Sigma;}}{h}_{x,i}^k}\frac{\underset{i}{\mathrm{\&Sigma;}}{s}_{x,i}{s}_{x,i}^k}{\underset{i}{\mathrm{\&Sigma;}}{s}_{x,i}\underset{i}{\mathrm{\&Sigma;}}{s}_{x,i}^k}---\left(6\right)$

其中HS_x表示位置x处的预定区域的颜色信息，

表示位置x处背景模型中的第k个模式的颜色信息；h和s分别是图像色调通道和饱和度通道位于位置x处的两个预定矩形局部区域的色调和饱和度值信息。

所述模式匹配模块，对每个像素的当前观测模式与背景模型中所有模式进行比较的过程包括：

观测模式和背景模式之间的度量采用DLBP特征直方图距离和局部颜色信息的距离的加权来表示；用符号λ表示加权系数，λ∈[0，1]，具体表示为：

$\mathrm{Dist}(m^t\left(x\right),m_k^t\left(x\right))=\mathrm{\&lambda;Dist}({\mathrm{DLBP}}^t\left(x\right),{\mathrm{DLBP}}_k^t\left(x\right))$

$+(1-\mathrm{\&lambda;})\mathrm{Dist}({\mathrm{HS}}^t\left(x\right),{\mathrm{HS}}_k^t\left(x\right))---\left(7\right)$

其中，对所述位置x，用m^t(x)＝{DLBP^t(x)，HS^t(x)}表示其观测模式；对于每个模式的描述，将联合局部空间信息和颜色信息，即

其中表示位置x处的第k个模式的局部空间信息，采用位置x处的局部区域的DLBP特征直方图表示；

将所得结果进行比较，从而找到与当前观测模式距离最近的背景模型模式分量。

较佳的所述模式匹配模块，对每个像素的当前观测模式与背景模型中所有模式进行比较的步骤包括：假设每个时刻背景像素的观测模式与每个背景模式之间距离的变化呈现高斯特性，即

$\mathrm{Dist}(m^t\left(x\right),m_k^t\left(x\right))~N(0,{\mathrm{\&sigma;}}_{t,k}^2\left(x\right))---\left(8\right)$

则每个位置的背景模型的统计特性可以用混合高斯概率分布来描述，即

$p(\mathrm{Dist}(m^t\left(x\right),M^t\left(x\right))=\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{w}_k^t\left(x\right)*\mathrm{\&eta;}(\mathrm{Dist}(m^t\left(x\right),m_k^t\left(x\right)),0,{\mathrm{\&sigma;}}_{t,k}^2\left(x\right))---\left(9\right)$

这样，对当前获得的像素，其观测模式与背景模式之间的距离就可由式(9)所表示的混合高斯模型来表示。

式(8)和(9)中，

表示均值为0，标准差为

的标准正态分布，

表示以

为变量，均值为0，标准差为的高斯分布；

将所得结果进行比较，从而找到与当前观测模式距离最近的背景模型模式分量。

较佳的，在背景判断模块中设置的所述阈值为所述最近背景模式分量的2.5倍标准差范围。

所述背景模型生成模块还进一步包括如下功能：如果判定为背景，对当前背景所属的模式进行更新，增加当前背景模型分量的权重，其它的背景模式参数保持不变，但是降低权重；

如果判定为前景，利用当前模式替换权重最小的背景模式，并给该模式赋一个较小的初始权重和初始方差，其它模式的参数保持不变，但是降低它们对应的权重。

所述背景模型生成模块还包括如下功能：在初始阶段，在为视频的第一帧像素计算出观测模式后，将该观测模式作为当前像素背景模型的第一个模式。

参见图5所示，图5给出了利用本发明背景减除方案的处理结果，并与当前的主流背景建模算法进行比较的效果图。其中，1-当前图像，2-正确的前景结果，3-MoG算法的结果，4-贝叶斯判决方法的结果，5-Eigen方法的结果，6-Wall flower算法的结果，7-基于LBP特征的算法的结果，8-本发明实施例提出的算法的结果。该实验结果也表明，本发明提出的算法的性能在绝大多数场合下都优于其他算法。

以上所述仅为本发明的实施例，并非用于限定本发明的保护范围。

Claims (10)

1.一种背景减除实现方法，包括：

对于当前输入图像，联合局部空间信息和颜色信息计算每个像素当前观测模式；

对每个像素的当前观测模式与背景模型中所有模式进行比较，找到与当前观测模式距离最近的背景模型模式；

对于找到的距离最近的背景模型模式，判断如果所述当前观测模式距离小于预定的阈值，则判定为背景，否则判定为前景；

根据前景背景的判决情况对背景模型进行更新。

2.根据权利要求1所述的背景减除实现方法，其特征在于，所述每个像素的背景模型采用联合局部空间信息和颜色信息的混合高斯模型表示，每个像素有多种背景模式，每种模式依据出现的频率对应一定的权重，对于每个模式亦采联合局部空间信息和颜色信息表示。

3.根据权利要求书1或2所述的背景减除实现方法，其特征在于，所述颜色信息采用位于每个位置处局部区域内的色调和饱和度表示，和/或所述局部空间信息采用像素灰度特征表示。

4.根据权利要求3所述的背景减除实现方法，其特征在于，所述局部空间信息采用DLBP表示或者LBP表示。

5.根据权利要求4所述的背景减除实现方法，其特征在于，所述DLBP表示为

${\mathrm{DLBP}}_{P,R}\left(x\right)=\{{\mathrm{LBP}}_{P,R}^{+}\left(x\right),{\mathrm{LBP}}_{P,R}^{-}\left(x\right)\}$

${\mathrm{LBP}}_{P,R}^{+}\left(x\right)=\underset{p=0}{\overset{P-1}{\mathrm{\&Sigma;}}}s(g_p-g_x-n)2^p,s\left(u\right)=\begin{array}{}\end{array}\left\{\begin{array}{cc}1& u>0\\ 0& u\&le;0\end{array}\right.$

${\mathrm{LBP}}_{P,R}^{-}\left(x\right)=\underset{p=0}{\overset{P-1}{\mathrm{\&Sigma;}}}s(g_p-g_x+n)2^p,s\left(u\right)=\left\{\begin{array}{cc}1& u<0\\ 0& u\&GreaterEqual;0\end{array}\right.;$

其中，g_x表示位置x处的像素灰度值，g_p表示位置x处的像素的周围邻域的像素灰度值，这些像素等间隔的分布在以x为中心半径为R的圆环上，P表示算子计算所涉及到的周边像素的个数，p表示算子计算所涉及到的第p个周边像素。

6.根据权利要求5所述的背景减除实现方法，其特征在于，采用两个直方图分别统计LBP+和LBP-；模式距离的度量方式采用比较直方图的交叠区作为度量。

7.根据权利要求3所述的背景减除实现方法，其特征在于，所述颜色信息表示为

$\mathrm{Dist}({\mathrm{HS}}_x,{\mathrm{HS}}_x^k)=1-\frac{\underset{i}{\mathrm{\&Sigma;}}{h}_{x,i}{h}_{x,i}^k}{\underset{i}{\mathrm{\&Sigma;}}{h}_{x,i}\underset{i}{\mathrm{\&Sigma;}}{h}_{x,i}^k}\frac{\underset{i}{\mathrm{\&Sigma;}}{s}_{x,i}{s}_{x,i}^k}{\underset{i}{\mathrm{\&Sigma;}}{s}_{x,i}\underset{i}{\mathrm{\&Sigma;}}{s}_{x,i}^k}$

其中HS_x表示位置x处的预定区域的颜色信息，

表示位置x处背景模型中的第k个模式的颜色信息；h和s分别是图像色调通道和饱和度通道位于位置x处的两个预定矩形局部区域的色调和饱和度值信息。

8.根据权利要求1所述的背景减除实现方法，其特征在于，所述对每个像素的当前观测模式与背景模型中所有模式进行比较的步骤包括：

观测模式和背景模式之间的度量采用DLBP特征直方图距离和局部颜色信息的距离的加权来表示；用符号λ表示加权系数，λ∈[0，1]，具体表示为：

$\mathrm{Dist}(m^t\left(x\right),m_k^t\left(x\right))=\mathrm{\&lambda;Dist}({\mathrm{DLBP}}^t\left(x\right),{\mathrm{DLBP}}_k^t\left(x\right))$

$+(1-\mathrm{\&lambda;})\mathrm{Dist}({\mathrm{HS}}^t\left(x\right),{\mathrm{HS}}_k^t\left(x\right))$

其中，对所述位置x，用m^t(x)＝{DLBP^t(x)，HS^t(x)}表示其观测模式；对于每个模式的描述，将联合局部空间信息和颜色信息，即

其中

表示位置x处的第k个模式的局部空间信息，采用位置x处的局部区域的DLBP特征直方图表示；

将所得结果进行比较，从而找到与当前观测模式距离最近的背景模型模式分量。

9.根据权利要求1所述的背景减除实现方法，其特征在于，所述对每个像素的当前观测模式与背景模型中所有模式进行比较的步骤包括：假设每个时刻背景像素的观测模式与每个背景模式之间距离的变化呈现高斯特性，即

$\mathrm{Dist}(m^t\left(x\right),m_k^t\left(x\right))~N(0,{\mathrm{\&sigma;}}_{t,k}^2\left(x\right))---\left(8\right)$

则每个位置的背景模型的统计特性可以用混合高斯概率分布来描述，即

$p(\mathrm{Dist}(m^t\left(x\right),M^t\left(x\right))=\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{w}_k^t\left(x\right)*\mathrm{\&eta;}(\mathrm{Dist}(m^t\left(x\right),m_k^t\left(x\right)),0,{\mathrm{\&sigma;}}_{t,k}^2\left(x\right))---\left(9\right)$

这样，对当前获得的像素，其观测模式与背景模式之间的距离就可由式(9)所表示的混合高斯模型来表示。

式(8)和(9)中，

表示均值为0，标准差为的标准正态分布，

表示以

为变量，均值为0，标准差为

的高斯分布；

将所得结果进行比较，从而找到与当前观测模式距离最近的背景模型模式分量。

10.一种基于如权利要求1-9任意一项所述方法的背景减除实现装置，包括：

观测模式计算模块，用于对于当前输入图像，联合局部空间信息和颜色信息计算每个像素当前观测模式；

模式匹配模块，用于接收观测模式计算模块的输出结果，对每个像素的当前观测模式与背景模型中所有模式进行比较，找到与当前观测模式距离最近的背景模型模式；

背景判断模块，用于接收模式匹配模块的输出结果，对于找到的距离最近的背景模型模式，判断如果所述当前观测模式距离小于预定的阈值，则判定为背景，否则判定为前景；

背景模型生成模块，用于根据背景判断模块输出的前景背景的判决情况对背景模型进行更新并保存。

Images