CN101246547B - 一种根据场景变化特征对视频中运动物体检测的方法 - Google Patents

Abstract

一种根据场景变化特征对视频中运动物体检测的方法：(1)首先根据训练图像进行特征点检测、背景特征点参数计算和背景模型像素点参数计算，(2)在运动物体检测时，对当前要检测的图像，根据所述的背景特征点参数和当前检测的图像特征点计算运动特征点；(3)根据所述的运动特征点对背景模型中像素点参数进行分类；(4)根据分类结果计算背景模型像素点参数更新速率；(5)最后根据当前图像和背景模型像素点参数，采用背景差方法得到运动物体的位置和形状，同时根据计算出来的背景模型像素点更新速率，对背景模型像素点参数进行更新。本发明能够更准确对运动物体进行检测，得到运动物体的位置和形状。

Description

一种根据场景变化特征对视频中运动物体检测的方法

技术领域

本发明属于视频处理相关技术领域，更多涉及一种根据场景变化特征对视频中运动物体检测的方法。

背景技术

对视频中运动物体进行检测的方法经常采用的背景差方法。背景模型是对视频中背景的表示，背景差通过当前帧和背景模型的比较区分运动物体和背景物体，通过比较得到背景模型当中发生显著变化的区域，然后利用连通区域分析方法对运动物体区域进行标记，得到的运动物体区域信息可用于更高层的视觉系统任务，如运动预测、跟踪等。在背景差方法中重要的一步就是对背景采用合适的模型进行表达，并且能够根据背景的变化情况以及运动物体的运动情况对背景模型进行相应更新。因此背景模型在背景差方法中起着关键作用。

背景模型的建模方法按照特征采样的基本单位可分为以下两类：基于像素点的背景建模方法和基于区域的建模方法。

基于像素点的背景建模方法主要有：(1)单一高斯模型方法，该方法将图像中的像素点在(Y，U，V)颜色空间中以高斯模型进行建模。但在很多情况下一个高斯模型无法适应较为复杂的背景的颜色变化情况，参见Wren，C.R.，et al.，Pfinder：real-time tracking of the humanbody.IEEE Transactions on Pattern Analysis and Machine Intelligence，1997.19(7)：p.780-785.；(2)混合高斯模型方法，该方法对单个像素点采用高斯混合模型进行建模。但是，对于背景中的动态纹理区域，如水面的波纹、树叶的摇摆等，存在难以确定高斯模型数目和选择模型更新速率的问题，参见Stauffer，C.and W.E.L.Grimson，Adaptive backgroundmixture models for real-time tracking，in Computer Vision and Pattern Recognition，1999.p.252Vol.2.；(3)Haritaoglu等采用了对背景像素点计算其在特定状态时的最大值和最小值用于对其在后续帧中进行前景背景判别。但这种方法也难以应对复杂背景的变化情况，参见Haritaoglu，D Harwood，and L.Davis，W 4：real-time surveillance of people and theiractivities.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000：p.809-830.；(4)Rittscher等提出采用隐马尔可夫模型HMM对背景进行建模，但该方法不能解决动态背景区域问题，参见Rittscher，J.，et al.A Probabilistic Background Model for Trackingin EuropeanConference on Computer Vision，2000.和STENGER，B.，et al.Topology Free Hidden MarkovModels：Application to Background Modelingin International Conference on Computer Vision，2001.；(5)为解决动态背景区域的问题，Elgammal提出采用非参数核密度估计方法对像素点进行建模，参见Elgammal，A.，D.Harwood，and L.Davis.Non-parametric model forbackground subtraction.in Proc.IEEE Frame Rate Workshop，1999.；(6)也有方法采用更多不同带宽的核进行自适应密度估计。并结合颜色值信息和光流信息作为输入特征，参见Mittal，A.and N.Paragios.Motion-based background subtraction using adaptive kernel densityestimationin Computer Vision and Pattern Recognition，2004.；(7)特征点也被用于对背景模型进行建模，参见Qiang，Z.，S.Avidan，and C.Kwang-Ting.Learning a sparse，corner-basedrepresentation for time-varying background modellingin International Conference on ComputerVision，2005.

上述的各基于像素点的背景建模方法虽然通过计算Harris特征点减少了背景差方法的计算量，但存在难以将运动特征点与运动物体对应的问题。由于特征点分布的稀疏性质，在很多情况下，尤其是场景中有很多同步运动物体的情况下，难以将特征点和运动物体进行正确对应，从而错误估计运动物体的数量和大小。并且，它的最终结果是由稀疏的特征点进行表示，而并非像素点连接形成的区域表示。

采用基于区域的背景建模方法主要有：(1)自线性回归模型被用于背景建模。为了避免自回归模型采用连续多帧原始图像序列作为输入引起的高维问题，将图像分为固定大小的图像块，然后对图像块进行主成分分析得到基本特征向量，以此作为自回归模型的输入特征，参见Monnet，A.，et al.Background modeling and subtraction of dynamic scenesinInternational Conference on Computer Vision，2003.；(2)Jing将这种随时间变化的动态区域采用自回归移动平均模型Autoregressive Moving Average Model，ARMA建模，然后采用Kalman滤波器对动态区域的外观进行估计，并通过调节权重函数的阀值得到运动物体的区域，参见Jing，Z.and S.Sclaroff.Segmenting foreground objects from a dynamic texturedbackground via a robust Kalman filterin International Conference on Computer Vision，2003.

上述方法没有对场景中的不同变化区域进行区分，并根据不同的变化进行背景更新速率的选择，因此容易随着时间的推移导致背景模型和实际场景不想符合。而本发明正是通过图像中特征点的信息，区分场景中不同变化情况，从而选择合适更新速率，实现了场景的及时准确更新。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供了一种根据场景变化特征对视频中运动物体检测的方法，该方法根据场景的变化特征，可以达到快速准确进行背景模型更新的目的，使得运动物体在场景突变情况下也能被正确检测，并且不会出现因场景突变导致的错误检测问题。

本发明的技术解决方案：提出的根据场景变化特征对视频中运动物体检测的方法，主要包括如下步骤：

(1)首先根据训练图像进行特征点检测、背景特征点参数计算和背景模型像素点参数计算，

(2)在运动物体检测时，对当前要检测的图像，根据所述的背景特征点参数和当前检测的图像特征点计算运动特征点；

(3)根据所述的运动特征点对背景模型中像素点参数进行分类；

(4)根据分类结果计算背景模型像素点参数更新速率；

(5)最后根据当前图像和背景模型像素点参数，采用背景差方法得到运动物体的位置和形状，同时根据计算出来的背景模型像素点更新速率，对背景模型像素点参数进行更新。

所述步骤(1)中背景特征点参数计算如下：采集一组包含运动物体的视频序列图像p帧作为原始训练样本集，对它们采用Harris角点检测器检测Harris特征点，然后采用m×n像素点大小的窗口进行连续帧之间的特征点匹配，得到背景特征点矩阵及其参数。所述的Harris特征点采用一个128维的特征描述子进行描述，并进行归一化，其中m和n分别代表窗口的长和宽，表明该特征点与其他特征点进行匹配的区域大小。

所述步骤(1)中背景像素点参数计算采用单高斯模型计算其参数。

所述步骤(2)中运动特征点计算为：采用Harris角点检测器检测其中的特征点，然后与背景特征点矩阵比较，计算得到运动特征点。同时更新背景特征点矩阵及其参数。

所述步骤(3)中根据运动特征点对背景模型中像素点参数进行分类的方法为：根据图像中的运动特征点信息，将背景模型中的像素点分为三类：a.无运动物体经过区域像素点；b.运动物体所在区域像素点；c.原先静止的背景物体离开后形成的背景区域和原先运动的运动物体静止后成为背景的区域的像素点。

所述步骤(4)中根据分类结果计算背景模型像素点参数者更新速率为：根据背景模型像素点参数的分类结果，采用核函数计算每个像素点的更新速率。

本发明的原理：本发明图像中检测得到的特征点通常反映出物体的部分轮廓信息。因此，通过判断特征点的运动情况能够得到物体的运动情况，然后通过分辨物体的运动状态，确定其所在区域是需要快速更新，还是慢速更新或不更新，据此设定这些区域相应的更新速率，从而使得背景模型得到准确快速更新。由步骤(1)在训练图像中得到背景的特征点分布情况，这样用来区分待检测图像中的运动物体特征点。在步骤(2)中则根据步骤(1)中得到的背景特征点分布情况，通过和当前图像的特征点分布情况比较计算，得到运动物体的特征点分布。然后在步骤(3)中根据(2)得到的运动物体的特征点的运动情况，确定其是属于哪类运动变化。如是持续运动物体，还是由静止变为运动的物体，还是由运动变为静止的物体。从而得到运动特征点的分类。然后在步骤(4)中，根据不同分类情况确定特征点附近的区域像素点相应的更新速率。因为有的变化需要快速更新，有的变化需要慢更新或不更新。这样才能够在步骤(5)中正确进行背景模型参数更新，并得到运动物体区域。

本发明与现有技术相比的优点在于：

(1)本发明根据场景的变化特征，可以达到快速准确进行背景模型更新的目的，能够正确处理场景突变情况下的背景模型更新问题，使得运动物体在场景突变情况下也能被正确检测，并且不会出现因场景突变导致的错误检测问题。当场景当中会有不同的变化，如静止的原来是背景的物体变成运动物体后，它离开的区域成为新的背景，那么这时候就需要一个快速的更新，使得背景模型能够及时符合这块被显露出来的区域。因此，这块区域的更新速率需要增大。例如，如图5第a列中第286帧的那辆出租车，它原本是静止的，后来开走，那么原先它所占的那块区域就提高更新速率，使得背景模型与它走后的区域相符。另外，当场景中有持续运动的物体时，就需要降低甚至不更新这些运动物体所占的区域。因为如果这时候更新的话，将运动物体的颜色信息加入到背景模型当中去，使背景模型与真实背景(被运动物体遮挡的那块区域)不相符合，导致检测不准确。如图5第c列148帧，由于前面大车经过时，那块背景区域进行了错误更新，导致小车经过时，无法被正确检测出来。正确的做法是降低这些区域的更新速率，而图像中检测得到的特征点都是在颜色对比较大的边缘，很多是在物体的轮廓上。因此，通过判断特征点的运动情况能够得到物体的运动情况，即上述的由静止变为运动还是持续运动等情况，那么就可以设定这些区域的更新速率，从而使得背景模型得到准确快速更新。

(2)此外，本发明在运动物体检测过程中可以根据图像中特征点的运动情况，将图像中像素点进行分类，对不同类的像素点采用不同更新速率进行参数更新，避免了使用单一更新速率造成的模型更新无法适应不同场景变化问题，使背景模型更接近真实背景，从而更准确对运动物体进行检测，得到运动物体的位置和形状。

附图说明

图1为本发明方法的流程图；

图2为本发明中一原始帧图像和对其进行特征点提取得到的特征点分布图；其中a为需要进行运动物体检测的图像序列中的一帧图像，b是对a进行特征点提取后的特征点分布图，十字的交点为检测到的特征点；

图3为本发明中特征点移动方向示意图；

图4为本发明中一原始帧图像和对其进行特征点提取得到的特征点分布图，其中a是需要进行运动物体检测的图像序列中的一帧图像，b是对a进行移动特征点计算的结果图。十字的交点为运动特征点；

图5为现有的混合高斯模型不同更新速率下检测结果和本发明方法检测结果比较；

图6为现有的稀疏特征点背景模型与本发明方法检测结果比较。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图和实施示例作进一步详细叙述。

图1为本发明方法的流程框图。为了建立视频中运动物体检测的背景模型，需要p帧连续的图像序列作为样本用于模型训练。首先根据训练图像进行特征点检测和背景特征点参数计算，然后根据训练图像进行背景像素点参数计算(如图2所示，为对某一图像进行特征点检测的结果图)。当进行运动物体检测时，对当前要检测的图像，根据背景特征点参数和当前图像特征点计算运动特征点(如图4中b所示，十字交叉点为计算得到的运动特征点)。然后根据运动特征点对背景模型中像素点进行分类，并根据分类结果计算背景模型像素点的参数更新速率。最后根据当前图像、背景像素点参数和像素点更新速率对背景模型中像素点的参数进行更新并计算运动物体。

1.背景特征点参数计算步骤如下：

(1)背景特征点表示

矩阵BFM用于对背景特征点进行表示。由于特征点的稀疏特性，该矩阵是一个稀疏矩阵，即矩阵中的大多数元素都是空值。而对于每个特征点所在位置的元素，均采用1个9元向量

表示。其组成如下所示：

a.特征点的平均描述子

对于在同一位置反复出现的特征点，记录它们的描述子的平均值。特征点的128维描述子是按照如下方法计算得到：将以特征点为中心的16×16像素区域划分为每块4×4像素的一共16块子区域。计算每块区域中的16个像素点的灰度直方图，该直方图按照0-255像素灰度值分成8级，这样每个子区域就得到一个8维向量。16个子区域得到128维向量。就形成了该特征点的描述子。归一化就是将图像中检测到的所有特征点的描述子的每一维的值，计算该维上所有描述子值中的最小值minvalue和最大值maxvalue，然后对每个特征点在该维上的值，减去minvalue后除以(maxvalue-minvalue)，这样得到的结果就是在区间[0，1]之间，完成了描述子的规范化。

b.特征点出现的频率frequency：用于记录在一组连续帧图像中该特征点出现的次数。值得注意的是，由于在动态纹理区域，特征点出现的位置会随着时间变化，两个连续帧不同位置的特征点可能对应同一个特征点。因此，只要二者能匹配上，其位置的不同不影响增加该特征点的frequency。

c.最近连续n帧图像序列中对应的特征点的相关性correlation的均值

和方差var：两个特征点P₁，P₂之间的correlation按如下公式计算：

$\mathrm{correlation}=\frac{\underset{i}{\overset{N}{\mathrm{\Σ}}}\min (U_i,V_i)}{\underset{i}{\overset{N}{\mathrm{\Σ}}}\max (U_i,V_i)}---\left(4\right)$

U，V是P₁，P₂的描述子，N表示描述子的维数。

和var的计算公式如下：

$\stackrel{\‾}{\mathrm{correlation}}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{correlation}}_i---\left(5\right)$

$\mathrm{var}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{({\mathrm{correlation}}_i-\stackrel{\‾}{\mathrm{correlation}})}^2---\left(6\right)$

d.特征点在四个方向的位移s₁，s₂，s₃，s₄以及特征点位置保持不动的次数s₀：四个方向如图3所示。其中，s₁表示特征点p沿水平移动，s₂表示p沿右上方向或左下方向移动，s₃表示p沿垂直方向移动，s₄表示p沿左上方向或右下方向移动，箭头方向为移动正方向。若p向正方向移动n个像素，则相应方向位移值增加n，若向负方向移动，则相应方向位移减少n。若p的位置保持不变，则s₀加1。这些位移数据用于判断特征点的运动方向连续性，以便对运动特征和背景特征进行分类。

(2)背景特征点参数计算和更新

首先使用算法1得到图像序列中的稳定特征点矩阵FM，FM的表示方法与背景特征点BFM表示方法相同。

算法1：初始特征点计算

输入：连续p帧图像I¹，…，I^p。

输出：稳定特征点矩阵FM。

Step1：对于第1帧，提取特征点，得到特征点集合F¹。对于后续每帧图像，从Step2开始执行。

Step2：对第t帧图像提取特征点，得到特征点集合F^t。

Step3：对于F^t中的每一元素I^t(x₀，y₀)，在FM中，采用一个m×n大小的窗口，该窗口以(x₀，y₀)为中心进行特征点匹配，即将I^t(x_o，y_o)与该窗口内的FM(x，y)中的平均特征描述子进行匹配。匹配原则是计算最大的相关性correlation值，记为correlation_max，并将该值对应的特征点作为最终匹配结果。如果能找到匹配点(x₁，y₁)，则转至Step4；如果无法找到，则转至Step5。

Step4：如果 ${\mathrm{correlation}}_{\max }>\stackrel{\‾}{\mathrm{correlation}}-3\×\mathrm{var}$

和var由存储在矩阵FM中位于(x₁，y₁)处的元素值取得)，则判别为二者为真实对应，跳至Step6；反之，二者非真实对应，并不匹配，跳至Step5。

Step5：在(x₀，y₀)处生成一个新特征，得到其对应的9元向量(其中frequency初始值设为2，其余值设为0)，并更新FM。转至Step7。

Step6：更新FM(x₁，y₁)。其中frequency加2，根据公式(5)、(6)重新计算

和var。并根据特征点的移动方向更新相应的s_i(0≤i≤4)。

Step7：所有FM元素的frequency值减1。如果其中有元素frequency为0，则将其从FM中删除。

在处理完所有p帧之后，对FM进行分析，判断其中的元素为运动特征点记录还是背景特征点记录，得到背景特征点矩阵BFM。由于背景特征点包括静态区域和动态纹理区域两部分，静态区域特征点的特点是在图像中的位置基本固定；而动态纹理区域的特征点会在某个区域来回运动。相对而言，运动特征点的运动方向更为稳定。因此可以从特征点的运动来区分背景特征点和运动特征点。对于FM中每一非零元素，判断其s₀的值，如果s₀＞p×σ，则该特征点为静态背景特征点，BFM中对应位置添加该元素，判断结束。否则在s₁，s₂，s₃，s₄中选取数值最大者s_max和最小者s_min，取大于s_max和s_min的最大正整数s′_max和s′_min。如果s′_max/s′_min＞p×γ，则该特征点为运动特征点，否则，该特征点为动态纹理背景特征点，在BFM中对应位置添加该元素。其中，p为图像帧数，σ为特征点静止比例阀值，γ为持续运动特征点比例阀值。

2.背景像素点参数计算

在单高斯模型中，第t帧图像中位于(x₀，y₀)的像素点，其像素值为X的概率是：

P(X)＝η(X，μ_t，∑_t)                             (7)

其中，μ_t，∑_t分别表示第t帧时该像素点的高斯分布的均值和协方差。η是高斯概率密度函数：

$\mathrm{\η}(X,\mathrm{\μ},\mathrm{\Σ})=\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{n}{2}}{\left|\mathrm{\Σ}\right|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}{(X-\mathrm{\μ})}^T{\mathrm{\Σ}}^{-1}(X-\mathrm{\μ})}---\left(8\right)$

模型中参数μ_t和∑_t由最近连续p帧图像中位于相应位置的像素点的颜色值{X₁，…，X_p}计算得出，其参数计算为：

${\mathrm{\μ}}_t=\frac{1}{p}\underset{i=1}{\overset{p}{\mathrm{\Σ}}}{X}_i---\left(9\right)$

${\mathrm{\Σ}}_t=\frac{1}{p}\underset{i=1}{\overset{p}{\mathrm{\Σ}}}{(X_i-{\mathrm{\μ}}_t)}^T(X_i-{\mathrm{\μ}}_t)---\left(10\right)$

3.对待检测图像，计算其运动特征点以及更新背景特征点矩阵：

背景特征点的更新方法同算法1，只是输入由FM变成BFM。得到的输出即为更新后的BFM。在更新过程中未能找到对应的背景特征点的和非真实对应的特征点，即判断为运动特征点。

4.背景像素点参数更新

为了使背景模型实时适应场景变化，如光线的变化，背景物体的运动等，模型需随着当前帧图像的数据而更新。并且，像素点高斯模型的更新同样只对SR区域内的像素点进行。为了使像素点高斯模型能进行自适应更新，运动特征点信息被用于动态调节像素点的更新速率。

更新速率计算

对于第t帧，SR区域的像素点可以分为3类：

(1)无运动物体经过区域。它们按初始更新速率α₀进行更新。

(2)运动物体所在区域。由于该区域被运动物体遮挡，不应该进行背景模型更新，所以更新速率应为0。

(3.原先静止的背景物体离开后形成的背景区域和原先运动的运动物体静止后成为背景的区域。由于新背景的产生，需要及时更新这块背景区域，因此该区域更新速率应为α_max。

但是，由于并不知道运动物体所在区域，也就无法确切地对上述区域进行分割。但可以根据特征点信息计算上述区域像素点的更新速率。第1类区域像素点的特征是在第t-1帧和第t帧时，自身及邻近区域都不存在运动特征点的像素点。第2类区域像素点即在第t帧时存在运动特征点的像素点及邻近区域的像素点。第3类区域像素点的特征是在t-1帧时特征点静止，在t帧时变为运动，其t-1帧时该特征点邻近区域；以及在t-1帧时为运动，在t帧时为静止的特征点，其t帧时该特征点的邻近区域。图4显示的就是某帧原始图像以及采用特征点模型计算出来的该帧图像的特征点信息。其中，十字交叉点表示运动特征点。

对于第1类特征点，其周围像素点(x’，y’)的更新速率保持不变。

对于第2类特征点，采用如下截尾核函数f(x)计算特征点周围像素点的更新速率，其表达式为：

$f\left(x\right)=\left\{\begin{array}{cc}{e}^{-\mathrm{\&beta;}{\left|\right|x\left|\right|}^2}& \mathrm{if}\left|\right|x\left|\right|<\mathrm{\&lambda;}\\ 0& \mathrm{if}\left|\right|x\left|\right|\&GreaterEqual;\mathrm{\&lambda;}\end{array}\right.---\left(12\right)$

其中λ、β是函数参数，λ表示核函数的作用范围，β决定了空间距离对函数值变化的影响大小。

其特征点周围像素点(x’，y’)的更新速率计算公式为：

$\mathrm{\&alpha;}(x^{\&prime;},y^{\&prime;})=1-e^{-\mathrm{\&beta;}[{(x^{\&prime;}-x_0)}^2+{(y^{\&prime;}-y_0)}^2]}---\left(13\right)$

对于第3类特征点，其周围像素点(x’，y’)的更新速率计算公式为：

$\mathrm{\&alpha;}(x^{\&prime;},y^{\&prime;})={{\mathrm{\&alpha;}}_{\max }e}^{-\mathrm{\&beta;}[{(x^{\&prime;}-x_0)}^2+{(y^{\&prime;}-y_0)}^2]}---\left(14\right)$

其中，α_max为最大更新速率。

当像素点(x’，y’)周围有多个特征点时，其更新速率取分别计算时的均值：

$\mathrm{\&alpha;}(x^{\&prime;},y^{\&prime;})=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i(x^{\&prime;},y^{\&prime;})---\left(15\right)$

其中，α_i(x′，y′)表示依据第i个特征点计算得到的更新速率。

对于不在运动特征点周围的像素点，按照初始更新速率α₀进行更新。

参数更新：

对于单个像素点的更新步骤如下：

Step1：对于第t帧图像I^t中每一像素点I(x，y)，如果R(x，y)为1，则结束处理，转至下一像素点。否则，转至Step2。

Step2：如果I(x，y)属于第1类区域像素点，则转至Step3；否则转至Step4。

Step3：当mod(t，θ)≠0时，μ_t＝μ_t-1，σ_t＝σ_t-1，结束处理，转至下一像素点。否则，转至Step4。

Step4：由公式(13)、(14)、(15)计算更新速率α。根据α更新高斯模型参数：μ_t＝(1-α)μ_t-1+αX_t， ${\mathrm{\&sigma;}}_t^2=(1-\mathrm{\&alpha;}){\mathrm{\&sigma;}}_{t-1}^2+\mathrm{\&alpha;}{(X_t-{\mathrm{\&mu;}}_t)}^T(X_t-{\mathrm{\&mu;}}_t).$ 如果该像素点属于第2，3类区域，则结束处理；否则，转至Step5。

Step5：如果|X_t-μ_t-1|＞ε，则θ＝max(1，floor(θ×ρ_d))；如果|X_t-μ_t-1|≤ε，则θ＝min(θ_max，floor(θ×ρ_u))。其中，max和min分别表示取最大值和最小值函数，floor(x)表示取不大于x的整数。

5.运动物体检测

假设待检测图像中某像素点值为I_t，该点在背景像素点模型中的参数为(μ_t，∑_t)。设D_t＝|I_t-μ_t|-2*sig(∑_t)，如果D_t中每一元素都小于0，则该像素点为背景，否则该像素点属于运动物体。

图5为混合高斯模型不同更新速率下检测结果与本发明方法检测结果比较。a列为原始输入帧序列中的第70、148、250、286、342帧，框1所框住的物体表示关注的运动中物体，即运动中的小车。第70帧时，小车驶入场景；第148帧时，小车继续行驶；第250帧时，出租车尚未启动，作为背景；第286帧时，出租车启动；第342帧时，出租车即将驶出场景。b列为采用慢更新(更新速率α＝0.01)的混合高斯模型检测结果。框1为关注物体的检测结果。c列为采用快更新(更新速率α＝0.1)的混合高斯模型结果。d列为采用本发明的基于特征点自适应背景模型的检测结果。

在b列采用慢更新混合高斯模型的结果中注意到在第342帧时，框3中原来出租车的位置依然检测到一个出租车物体，显示该区域模型未得到及时更新。实际上，在本发明的实验中，该区域直到450帧以后也未完全正确更新。

在c列采用快更新混合高斯模型的结果中可以看到，在第70帧时，框2部位显示已经由于背景更新速率太快，使得背景模型拟合了汽车的表面颜色，使得汽车很大一部分区域无法被正确检测。接下来，在第148帧时，由于背景已经在汽车经过时过快更新，产生了不正确的模型参数，因此使得小汽车基本上已经无法检测出来。但是由于其快速更新的特点，在第342帧时，原来出租车的区域已经得到及时更新。

在d列的结果中，第70帧时，小车进入场景即被正确检测。在第148帧时，正确检测出小车。在第250帧时，出租车作为背景。第286帧时，框3的出租车启动，被正确检测出。第342帧时，框4的出租车被正确检测，而且由于原来出租车停放区域的特征点移动离开，该区域背景模型的更新速率于是提高，使背景得到了及时更新。因此，实验表明该模型能自适应调节不同区域的更新速率。

图6为稀疏特征点背景模型与本发明方法检测结果比较。由于稀疏特征点模型中前景物体检测结果只能以特征点的形式表现出来，所以图中的结果只显示出特征点形式。a列表示原始帧序列，可以看到从第50帧到第100帧，框5中的两位行人始终保持同一速度沿同一方向行进。在b列显示的是稀疏特征点模型检测的结果，可以看到，在这种情况下，难以判断出这些特征点是属于同一个物体还是不同的物体。由于其运动一致性，往往会将其判别为同一物体。c列中显示的是本发明方法的结果。由于采用的基于像素的方法，从图中可以看出，很容易通过连通区域分析的方法，将行人区分开来，使特征点能够正确对应到各自物体。

最后所应说明的是，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明根据场景变化特征对视频进行运动物体检测原理的前提下，还可以做出若干改进或等同替换，这些改进和等同替换也应视为本发明的保护范围。

Claims (5)

1.一种根据场景变化特征对视频中运动物体检测的方法，其特征在于包括以下步骤：

(1)首先根据训练图像进行特征点检测、背景特征点参数计算和背景模型像素点参数计算，所述背景特征点参数计算如下：采集一组包含运动物体的视频序列图像p帧作为原始训练样本集，对该原始训练样本集采用Harris角点检测器检测Harris特征点，然后采用m×n像素点大小的窗口进行连续帧之间的特征点匹配，得到背景特征点矩阵及其参数，其中m和n分别代表窗口的长和宽，表明该特征点与其他特征点进行匹配的区域大小；所述步骤(1)中背景模型像素点参数计算采用单高斯模型计算；所述特征点检测采用Harris角点检测器进行检测；

(2)在运动物体检测时，对当前要检测的图像，根据所述的背景特征点参数和当前检测的图像特征点计算运动特征点；所述运动特征点计算过程为：采用Harris角点检测器检测其中的特征点，然后与背景特征点矩阵比较，计算得到运动特征点参数；

(3)根据所述的运动特征点对背景模型中像素点参数进行分类；所述分类方法为：根据图像中的运动特征点信息，将背景模型中的像素点分为三类：(a)类像素点：无运动物体经过区域像素点；(b)类像素点：运动物体所在区域像素点；(c)类像素点：原先静止的背景物体离开后形成的背景区域和原先运动的运动物体静止后成为背景的区域的像素点；

(4)根据分类结果采用核函数计算背景模型像素点参数更新速率；

(5)最后根据当前图像和背景模型像素点参数，采用背景差方法得到运动物体的位置和形状，同时根据计算出来的背景模型像素点更新速率，对背景模型像素点参数进行更新。

2.根据权利要求1所述的根据场景变化特征对视频中运动物体检测的方法，其特征在于：所述的Harris特征点采用一个128维的特征描述子进行描述，并进行归一化。

3.根据权利要求1所述的根据场景变化特征对视频中运动物体检测的方法，其特征在于：所述的(a)类像素点的更新速率保持不变。

4.根据权利要求1所述的根据场景变化特征对视频中运动物体检测的方法，其特征在于：所述的(b)类像素点，其周围像素点(x’，y’)的更新速率计算公式为：

$\mathrm{\&alpha;}(x^{\&prime;},y^{\&prime;})=1-e^{-\mathrm{\&beta;}[{(x^{\&prime;}-x_0)}^2+{(y^{\&prime;}-y_0)}^2]}$

其中β表示空间距离对函数值变化的影响大小，x₀和y₀表示所述的(b)类像素点在二维图像中的横坐标与纵坐标，x’和y’表示所述的周围像素点在二维图像中的横坐标与纵坐标。

5.根据权利要求1所述的根据场景变化特征对视频中运动物体检测的方法，其特征在于：所述的(c)类像素点，其周围像素点(x’，y’)的更新速率计算公式为：

$\mathrm{\&alpha;}(x^{\&prime;},y^{\&prime;})={\mathrm{\&alpha;}}_{m\mathrm{ax}}{e}^{-\mathrm{\&beta;}[{(x^{\&prime;}-x_0)}^2+{(y^{\&prime;}-y_0)}^2]}$

其中，α_max为最大更新速率，x₀和y₀表示所述的(c)类像素点在二维图像中的横坐标与纵坐标，x’和y’表示所述的周围像素点在二维图像中的横坐标与纵坐标；

当像素点(x’，y’)周围有多个特征点时，其更新速率取分别计算时的均值：

$\mathrm{\&alpha;}(x^{\&prime;},y^{\&prime;})=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i(x^{\&prime;},y^{\&prime;})$

其中，α_i(x′，y′)表示依据第i个特征点计算得到的更新速率。

Images