CN103218829B - 一种适应于动态背景的前景提取方法 - Google Patents

Abstract

本发明公开一种适应于动态背景的前景提取方法，步骤为：对相邻图像进行存储，将像素的空间纹理信息与时间上的运动信息相结合，比拟成动态纹理，提取描述动态纹理的椭圆体立体空间；将此立体空间分成三个正交平面，分别反映了像素点的空间特性与时间特性。同时使用LBP描述子对三个平面进行纹理描述，并对三个纹理特征加权求和，形成SLBP-AM描述子。最后通过对SLBP-AM描述子建立背景模型，来进行前景背景的分离，并完成模型的更新。本发明利用了空间纹理信息，能克服背景中一些微小的扰动，同时还融入了运动信息，使得那些发生了快速且较大变化的场景在变化前后拥有共同的运动模式，从而提高了背景的更新速率。

Description

一种适应于动态背景的前景提取方法

技术领域

本发明属于计算机视频处理技术领域，具体地，涉及一种前景提取方法，尤其是涉及一种动态背景下的前景提取方法。

背景技术

目前，计算机视觉技术在城市视频监控中发挥着越来越重要的作用，比如行人的检测，人群密度的分析，异常事件检测等。前景检测作为这些计算机视觉技术研究的前提，由于复杂的背景变化，如抖动，光照的变化，阴影的影响等，仍面临着很大的挑战。目前有关前景检测的工作主要分为两大类：一种是传统的基于单个像素点，只考虑像素本身灰度值的检测方法。这种方法由于忽略了相邻像素对它的影响，所以不能够很好的克服背景的扰动。近年来，越来越多的研究者开始研究另一种基于区域的方法，这种方法将相邻像素点的纹理特征作为像素点的描述子，从而进行前景检测。

经对现有技术文献检索发现，高斯混合模型法（Gaussianmixturemodel）是最重要的基于像素的背景建模方法。这个方法使用K个高斯模型来表征图像中各个像素的特征，在新一帧图像获得后进行模型的更新与像素点的判断（参见：C.StaufferandW.E.L.Grimsom,“Adaptivebackgroundmixturemodelsforreal-timetracking,”ComputerVisionandPatternRecognition,vol.2,pp.246-252,Jun.1999.）。LBP（localbinarypattern）背景建模法是典型的基于区域的方法，这种方法由于考虑了周围像素点的纹理特性，所以在一定程度上能够克服背景中一些微小的扰动（参见：M.andM.“Atexture-basedmethodmodelingthebackgroundanddetectingmovingobjects,”IEEETransactionsonPatternAnalysisandMachineIntelligence,vol.28,no.4,pp.657-662,Apr.2006.）。后期大量的研究者也从方法的准确度（参见：W.Zhou,W.Zhang,L.Zhuang,andN.Yu,“DynamicBackgroundSubtractionusingSpatial-ColorBinaryPatterns,”InternationalConferenceonImageandGraphics,pp.314-319,Aug.2011）与效率（参见：M.M.andC.Schmid,“Descriptionofinterestregionswithcenter-symmetriclocalbinarypatterns,”InternationalConferenceonComputerVision,GraphicsandImageProcessing,vol.4338,no.3,pp.58-59,Dec.2006.）上做了一定的改进。这些方法虽然能够适应一些微小的扰动，但却不适应于大范围突变的场景。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于外貌与运动模式的背景减除法，这种方法不仅能够克服背景中微小的扰动，而且对大范围的突变具有更强的适应能力，可更有效地运用于动态的场景中。

为实现上述目的，本发明采用的技术方案是：对相邻图像进行存储，而后将像素的空间纹理信息与时间上的运动信息相结合，比拟成动态纹理，并根据在空间上的相似性及时间上的差异性，以待处理的像素点为中心，提取适应于描述动态纹理的椭圆体立体空间；其次将此立体空间分成三个正交平面：XY,XT和YT，它们分别反映了像素点的空间特性与时间特性，同时使用LBP描述子对三个平面进行纹理描述，并对三个纹理特征加权求和，形成一种适合动态背景减除法的SLBP-AM描述子；最后通过对SLBP-AM描述子建立背景模型，来进行前景背景的分离，并完成模型的更新。

一种适应于动态背景的前景提取方法，具体包括以下步骤：

第一步：对视频流中的相邻三帧图像I(x,y,t-Δt)，I(x,y,t)，I(x,y,t+Δt)进行存储，其中I(x,y,t)为当前处理帧，Δt为两帧图像的时间间隔；

第二步：将像素点在时空域内的运动，比拟成动态纹理，提取一个椭圆体立体空间，具体如下：

以图像I(x,y,t)中待判断的像素点(x,y)为中心，在时间轴T上以一个像素点的距离为半径，空间轴X及Y上以三个像素点的距离为半径，提取一个椭球体，作为动态纹理的变化域；

第三步，在椭圆体内分析像素点的空间域上的纹理特性和时间上的运动模式，具体步骤如下：

3.1）XY空间纹理的分析：在椭球体内提取XY平面，则形成了一个以当前待处理的像素点(x,y)为圆心，R_x＝R_y＝3为半径的圆，在圆上采样出6个邻域像素点，并对这6个像素点规定一个顺序，将这6个像素点与中心点(x,y)作比较，形成一个二值序列，最后根据排列的顺序求出一个LBP码，即求出像素点的空间LBP值LBP_XY；

3.2）XT平面的运动模式分析：在椭球体内提取XT平面，则形成了以(x,y)为圆心，R_t＝1,R_x＝3的椭圆，在椭圆上采样出6个邻域点，并对其进行排序，同样将这6个邻域像素点的灰度值与中心像素点的灰度值进行比较，形成二值序列，最后根据排列的顺序求出一个XT平面上的LBP码，即求出像素点的空间LBP值LBP_XT；

3.3）YT平面的运动模式分析：在椭球体内提取YT平面，则形成了以(x,y)为圆心，R_t＝1,R_y＝3的椭圆，在椭圆上采样出6个邻域点，并对其进行排序，同样将这6个邻域像素点的灰度值与中心像素点的灰度值进行比较，形成二值序列，最后根据排列的顺序求出一个YT平面上的LBP码，即求出像素点的空间LBP值LBP_YT；

第四步：XY,XT,YT直方图的创建：经过第三步的处理，图像I(x,y,t)内每个像素点都有了三个LBP码，LBP_XY,LBP_XT,LBP_YT，接着在I(x,y,t)内以(x,y)为圆心，R_region＝6的圆内，计算三个直方图H_XY,H_XT,H_YT；

第五步：时空特征的融合：在求出XY,XT,YT的特征直方图后，对三个直方图进行加权求和，得到新的描述子SLBP-AM；

第六步，像素点的判断：对于新来的图像的像素点，首先计算它的SLBP-AM直方图h，与前B个背景直方图m_i采用直方图相交法进行相似度比较，若至少有一个结果大于门限值T_P，则判断该像素点为背景点，否则为前景点；其中门限值T_P∈[0,1]，反应了两个直方图的相似程度，越相似，T_P取值越大。

第七步：模型的更新：对于每个像素点，将计算得到的SLBP-AM直方图与K个直方图模型用与上一步同样的方法进行相似度比较，若每个值都低于设定阈值T_P，则将拥有最小权重的直方图模型用代替，并赋予一个最小的权重，若能找到匹配的模型，则将相似度最高的直方图模型以及权重进行更新；

第八步：对于每新来一帧，则重复第六步和第七步。

与现有技术相比，本发明具有如下的有益效果：

本发明首先利用了空间纹理信息，因而能够克服背景中一些微小的扰动。同时还融入了运动信息，使得那些发生了快速且较大变化的场景在变化前后拥有共同的运动模式，从而提高了背景的更新速率，可更有效地运用于动态的场景中。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明动态背景下的前景提取方法总流程框图。

图2为本发明在椭圆体的XY,XT及YT平面上LBP码的计算示意图。

图3为本发明描述了根据XY,XT及YT三个特征直方图加权求取SLBP-AM描述子的过程。

图4为本实施例采用的wavingtree测试序列。

图5为本实施例采用的lightswitching测试序列，其中（a）为变化前，（b）为变化后。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

实施例

本实施例采用的视频序列为WallflowerPaper下的wavingtree和lightswitching测试序列。

如图1所示，本实施例涉及的动态背景下的前景提取方法，包括如下具体步骤：

第一步：模型的初始化。在最初的K+2（K表示每个像素点的模型个数，由设计者自己设定，一般K取3-5个）帧图片里，从第2帧到第K+1帧，为每个像素点都计算K个SLBP-AM直方图（具体计算方式如后面所示），m₀,m₁,...,m_K-1，并给每个直方图分配权重ω₀,ω₁,...,ω_K-1，其中ω_i∈[0,1]，且满足ω₀+ω₁+...+ω_K-1＝1。将这K个直方图按照权重的降序排列，并选择前B个作为背景直方图，B的选取满足：ω₀+...+ω_B-1＞T_BT_B∈[0,1]，T_B是门限值，由设计者自己设定，且模型数K越小，T_B值越小，模型数K越大，T_B值越大。本实施例中阈值T_B＝0.73，K=3。

对于如何求SLBP-AM，具体如下：

1：由于本方法结合了空间上的纹理特征与时间上的运动模式，因此首先对视频流中的相邻三帧图像I(x,y,t-Δt)，I(x,y,t)，I(x,y,t+Δt)进行存储。其中I(x,y,t)为当前处理帧，Δt为两帧图像的时间间隔。

2：考虑像素点在时空域内的运动，将其比拟成动态纹理，提取一个合适的立体空间，具体分析如下：

以图像I(x,y,t)中待判断的像素点(x,y)为中心。考虑到空间纹理在较大的范围内仍保持一致，而在较短的时间间隔内却变化明显的特性，在时间轴T上以一个像素点的距离为半径，空间轴X及Y上以三个像素点的距离为半径，提取一个椭球体，作为动态纹理的变化域。

3，在椭圆体内分析像素点的空间域上的纹理特性和时间上的运动模式。

如图2所示，LBP码计算的具体步骤如下：

3.1）XY空间纹理的分析：在椭球体内提取XY平面，则形成了一个以当前待处理的像素点(x,y)为圆心，R_x＝R_y＝3为半径的圆。在圆上采样出6个邻域像素点，并对这6个像素点规定一个顺序。将这6个像素点与中心点(x,y)作比较，形成一个二值序列，最后根据排列的顺序求出一个LBP码，具体计算过程如下：

${\mathrm{LBP}}_{\mathrm{XY}}=\underset{i=0}{\overset{P-1}{\mathrm{\Σ}}}s(g_p-g_c)*2^i$

其中g_c为中心像素点，g_p为相应的邻域像素点，P为邻域像素点的个数,函数s(.)满足如下：

$s\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;0\\ 0& x<0\end{array}\right.$

这样，则求出了像素点的空间LBP值LBP_XY。

3.2）XT平面的运动模式分析：在时间域上，由于没有运动的发生，中心像素点周围的纹理在相邻三帧内是保持不变的，也就是说具有实践域上的重复性，所以在椭球体内提取XT平面，则形成了以(x,y)为圆心，R_t＝1,R_x＝3的椭圆。在椭圆上采样出6个邻域点，并对其进行排序。同样将这6个邻域像素点的灰度值与中心像素点的灰度值进行比较，形成二值序列，最后根据排列的顺序求出一个XT平面上的LBP码,具体计算过程如下：

${\mathrm{LBP}}_{\mathrm{XT}}=\underset{i=0}{\overset{P-1}{\mathrm{\&Sigma;}}}s(g_p-g_c)*2^i$

其中g_c为中心像素点，g_p为相应的邻域像素点，P为邻域像素点的个数,函数s(.)满足如下：

$s\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;0\\ 0& x<0\end{array}\right.$

这样，则求出了像素点的空间LBP值LBP_XT。

3.3）YT平面的运动模式分析：在YT平面上，具有与XT平面的相似运动规律。因此在椭球体内提取YT平面，则形成了以(x,y)为圆心，R_t＝1,R_y＝3的椭圆。在椭圆上采样出6个邻域点，并对其进行排序。同样将这6个邻域像素点的灰度值与中心像素点的灰度值进行比较，形成二值序列，最后根据排列的顺序求出一个YT平面上的LBP码,具体计算过程如下：

${\mathrm{LBP}}_{\mathrm{YT}}=\underset{i=0}{\overset{P-1}{\mathrm{\&Sigma;}}}s(g_p-g_c)*2^i$

其中g_c为中心像素点，g_p为相应的邻域像素点，P为邻域像素点的个数,函数s(.)满足如下：

$s\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;0\\ 0& x<0\end{array}\right.$

这样，则求出了像素点的空间LBP值LBP_YT。

4：XY,XT,YT直方图的创建。经过第三步的处理，图像I(x,y,t)内每个像素点都有了三个LBP码，LBP_XY,LBP_XT,LBP_YT。接着在I(x,y,t)内以(x,y)为圆心，R_region＝6的圆内，计算三个直方图，H_XY,H_XT,H_YT,具体过程如下：

$H_{j,i}=\underset{(x,y)\&Element;R}{\mathrm{\&Sigma;}}I({\mathrm{LBP}}_j(x,y)=i),i=\mathrm{0,1},...,2^{P-1}$

其中，j表示XY,XT,YT三个平面，其中j=0代表XY平面，1代表XT平面，2代表YT平面，H_j,i表示直方图H_j的第i个bin的值，公式I(.)满足如下：

$I\left(A\right)=\left\{\begin{array}{ccc}1& \mathrm{if}& \mathrm{Aisture}\\ 0& \mathrm{else}& \end{array}\right.$

5：时空特征的融合。在求出XY,XT,YT的特征直方图后，对三个直方图进行加权求和，得到新的描述子SLBP-AM，如图3所示，计算过程如下：

$H=\underset{j=\mathrm{0,1,2}}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_j*H_{j,i},i=\mathrm{0,1},...,2^{P-1}$

其中，H_j,i具有与第四步相同的含义，ω_j为三个平面对应的权重，且相加等于1。最终形成了新的描述子SLBP-AM。本实施例中ω₀＝0.8,ω₁＝ω₂＝0.1。

第二步：像素点的判断。对于新来的图像的像素点，首先计算它的SLBP-AM直方图h,与前B个背景直方图mi采用直方图相交法进行相似度比较,具体比较方式如下：

$\&cap;({\stackrel{\&RightArrow;}{m}}_i,\stackrel{\&RightArrow;}{h})=\underset{n=0}{\overset{N-1}{\mathrm{\&Sigma;}}}\min (m_n,h_n)$

和分别为背景模型和新的特征直方图，m_n和h_n分别代表直方图和中的元素值。若至少有一个结果大于T_P，则判断该像素点为背景点，否则为前景点。本实施例阈值T_P＝0.8。

第三步：模型的更新。对于每个像素点，将计算得到的SLBP-AM直方图与K个直方图模型用与上一步同样的方法进行相似度比较。若每个值都低于T_P，则将拥有最小权重的直方图模型用代替，并赋予一个最小的权重。若能找到匹配的模型，则将相似度最高的直方图模型以及权重用以下方法进行更新：

ω_k＝α_ωM_k+(1-α_ω)ω_kα_ω∈[0,1]

${\stackrel{\&RightArrow;}{m}}_k={\mathrm{\&alpha;}}_b\stackrel{\&RightArrow;}{h}+(1-{\mathrm{\&alpha;}}_b){\stackrel{\&RightArrow;}{m}}_k,{\mathrm{\&alpha;}}_b\&Element;\left[\mathrm{0,1}\right]$

其中α_ω∈[0,1],α_b∈[0,1]，M_k对于最佳匹配的背景模型设为1，其他均设为0。

本实施例考虑每一帧对于整个模型的影响较弱，一般取阈值α_ω＝0.01，α_b＝0.01。

第四步：对于每新来一帧，则重复步骤二和步骤三。

如图4所示，本实施例对wavingtree中第246，249,253,256帧图像进行了统计，测试结果如表1所示。

表1.Wavingtree序列下的检测结果

本实施例对lightswitching（从812帧屋内灯由亮变暗）序列进行检测，在812帧处，背景发生大范围内的变化，发现只需要80帧左右就可以完全更新。如图5所示，其中（a）为变化前，（b）为变化后。

本发明分析背景像素点的空间纹理特征及时间运动模式，并根据这种时空特征，提取适合的立体空间域。在这种空间域内，建立一种新的时空特征描述子，用来建立背景模型，最终完成前景的提取。经实验证实，本发明不仅能够适应具有细微扰动的背景，对那种具有较大范围变化的背景，也具有快速的适应能力。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (6)

1.一种适应于动态背景的前景提取方法，其特征在于，包括以下几个步骤：

第一步：对视频流中的相邻三帧图像I(x,y,t-Δt)，I(x,y,t)，I(x,y,t+Δt)进行存储，其中I(x,y,t)为当前处理帧， Δt为两帧图像的时间间隔；

第二步：将像素点在时空域内的运动，比拟成动态纹理，提取一个椭圆体立体空间，具体如下：

以图像I(x,y,t)中待判断的像素点(x,y)为中心，在时间轴T上以一个像素点的距离为半径，空间轴X及Y上以三个像素点的距离为半径，提取一个椭球体，作为动态纹理的变化域；

第三步，在椭圆体内分析像素点的空间域上的纹理特性和时间上的运动模式，具体步骤如下：

3.1)XY空间纹理的分析：在椭球体内提取XY平面，则形成了一个以当前待处理的像素点(x,y)为圆心，R_x＝R_y＝3为半径的圆，在圆上采样出6个邻域像素点，并对这6个像素点规定一个顺序，将这6个像素点与中心点(x,y)作比较，形成一个二值序列，最后根据排列的顺序求出一个LBP码，即求出像素点的空间LBP值LBP_XY；

3.2)XT平面的运动模式分析：在椭球体内提取XT平面，则形成了以(x,y)为圆心，R_t＝1,R_x＝3的椭圆，在椭圆上采样出6个邻域点，并对其进行排序，同样将这6个邻域像素点的灰度值与中心像素点的灰度值进行比较，形成二值序列，最后根据排列的顺序求出一个XT平面上的LBP码，即求出像素点的空间LBP值LBP_XT；

3.3)YT平面的运动模式分析：在椭球体内提取YT平面，则形成了以(x,y)为圆心，R_t＝1,R_y＝3的椭圆，在椭圆上采样出6个邻域点，并对其进行排序，同样将这6个邻域像素点的灰度值与中心像素点的灰度值进行比较，形成二值序列，最后根据排列的顺序求出一个YT平面上的LBP码，即求出像素点的空间LBP值LBP_YT；

第四步：XY,XT,YT直方图的创建：经过第三步的处理，图像I(x,y,t)内每个像素点都有了三个LBP码，LBP_XY,LBP_XT,LBP_YT，接着在I(x,y,t)内以(x,y)为圆心，R_region＝6的圆内，计算三个直方图H_XY,H_XT,H_YT；

第五步：时空特征的融合：在求出XY,XT,YT的特征直方图后，对三个直方图进行加权求和，得到新的描述子SLBP-AM；所述对三个直方图进行加权求和采用三个直方图的bin值进行总和为1的加权方式；

第六步，像素点的判断：对于新来的图像的像素点，首先计算它的SLBP-AM直方图h，与前B个背景直方图m_i采用直方图相交法进行相似度比较，若至少有一个结果大于门限值T_P，则判断该像素点为背景点，否则为前景点；其中T_P∈[0,1]，反应了两个直方图的相似程度，越相似，T_P值越大；

第七步：模型的更新：对于每个像素点，将计算得到的SLBP-AM直方图与K个直方图模型用与上一步同样的方法进行相似度比较，若每个值都低于设定阈值T_P，则将拥有最小权重的直方图模型用代替，并赋予一个最小的权重，若能找到匹配的模型，则将相似度最高的直方图模型以及权重进行更新；

第八步：对于每新来一帧，则重复第六步和第七步。

2.根据权利要求1所述的一种适应于动态背景的前景提取方法，其特征在于，所述XY空间纹理的分析，其中像素点的空间LBP值LBP_XT具体计算过程如下：

其中g_c为中心像素点，g_p为相应的邻域像素点，P为邻域像素点的个数，函数s(.)满足如下：

3.根据权利要求1所述的一种适应于动态背景的前景提取方法，其特征在于，所述XT平面的运动模式分析，其中像素点的空间LBP值LBP_XT具体计算过程如下：

其中g_c为中心像素点，g_p为相应的邻域像素点，P为邻域像素点的个数,函数s(.)满足如下：

4.根据权利要求1所述的一种适应于动态背景的前景提取方法，其特征在于，所述YT平面的运动模式分析，其中像素点的空间LBP值LBP_YT具体计算过程如下：

其中g_c为中心像素点，g_p为相应的邻域像素点，P为邻域像素点的个数，函数s(.)满足如下：

5.根据权利要求1所述的一种适应于动态背景的前景提取方法，其特征在于，所述XY,XT,YT直方图的创建，其中计算三个直方图具体过程如下：

其中，j表示XY,XT,YT三个平面，H_j,i表示直方图H_j的第i个bin的值，P为邻域像素点的个数，公式I(.)满足如下：

6.根据权利要求1-5任一项所述的一种适应于动态背景的前景提取方法，其特征在于，所述时空特征的融合，其中描述子SLBP-AM计算过程如下：

其中，H_j,i表示直方图H_j的第i个bin的值，P为邻域像素点的个数，ω_j为三个平面对应的权重，且相加等于1，最终形成新的描述子SLBP-AM。