CN101281596A - 用于检测场景中的遗留对象的方法 - Google Patents

Abstract

一种通过使用由摄像机获取的场景的图象序列对一组背景模型进行更新以检测场景中的遗留对象的方法。每个背景模型以从短时到长时的不同时间尺度被更新。在更新所述序列中的特定图像后，根据每个背景模型确定一个前景遮挡。根据一组前景遮挡更新一个运动图像。在该运动图像中，每个像素具有一个相关联的证据值。将这些证据值与一个证据阈值进行比较以检测场景中的遗留对象并发出通知。

Description

用于检测场景中的遗留对象的方法

技术领域

本发明总体上涉及将摄像机获取的场景的图像序列分割成背景部分和前景部分，更具体地说，涉及对场景中的遗留对象进行检测。

背景技术

在视频监视应用中，通常将摄像机获取的场景的图像序列分割成背景部分和前景部分，以便检测和跟踪场景中的对象。通常假设背景部分是完全静止的，或者是缓慢地或周期地变化的，而前景部分则对应于比背景部分中的像素变化得快得多的多组相邻像素。

已知的许多背景提取方法对照明、像素噪声、摄像机位置等的变化有很好的鲁棒性。一种简单的方法是标记出图像中的以下像素：这些像素的值与没有任何前景对象的场景的图像的像素值不同。这种方法经常用于室内场景，其中的照明及场景几何形状可以被严格地控制。

为了处理多模态(multimodal)背景，可以应用背景模型。通常，该模型是以高斯分布的形式。通过诸如在线期望最大化(EM)的迭代更新机制，针对每个连续图像或帧更新背景模型。然而，在线EM将弱模式调合成更强模式，并使模型均值失真。

为实现对背景模型的精确自适应(adaptation)，可以使用贝叶斯(Bayesian)更新过程，其也可以估计所需模型的数量。该过程能够处理场景中的照明变化及其它任意的变化。还有使用图像梯度和光流信息的各种混合模型背景。只要提供足够的观察值，该混合模型方法就可以收敛到任何的任意分布。然而，随着混合中的模型数量的增长，计算代价也呈指数增长。

另一种背景建模方法使用非参数核密度估计。这种方法存储序列中图像的像素色值(color value)，并且使用所有的数据估计一组核函数的分布，而不是在每一帧迭代地更新背景模型。存储代价和计算代价都与图像的数量成比例。结果，基于核的方法对于长时间地连续获取图像的实时应用是不切实际的。

另一种基于三维几何的方法允许照明的任意变化，但是假设背景在几何上是静止的。该方法使用立体摄像机。违反空场景的预先计算的视差模型的像素被标记为前景。

当背景中的运动周期性非常强时基于频率的技术具有很好的效果。例如，海岸监视系统可以考虑到海浪的周期性，并通过对明确观察到的每像素(pixel-wise)周期性进行建模而有效地消除该影响。

另一种分割方法适合于在保持背景模型的同时对前景对象进行颜色合成。即使该方法目的在于结合基于像素的、基于运动的和基于区域的技术的优点，但对于周期性运动以及非凸对象仍存在问题。先前的知识可以归结为背景检测。由于满协方差矩阵的计算，可以修改特征空间以包括其它的信息源，例如运动信息。

然而，存在常规的两类分割方法不能解决的一类问题。一般意义上认为留在公众场所中的对象(例如手提箱、背包、或包裹)会带来严重的安全风险。不幸的是，这种对象既不能作为前景部分也不能作为背景部分。当该对象进入场景时，它是前景。在被遗留后，该对象又成为背景。然而，关键是该对象不能被完全忽视。并且，稍后该对象可能会被移除。因此，它在场景中的存在不应该被遗忘。

已知一些能够检测遗留对象的方法，参见J.D.Courtney的“Automatic video indexing via object motion analysis”，PR 30(4)，pp.607-625，1997，E.Auvinet、E.Grossmann、C.Rougier、M.Dahmane和J.Meunier的“Left-luggage detection using homographies and simpleheuristics”，PETS，pp.51-58，2006，J.M.del Rincn、J.E.Herrero-Jaraba、J.R.Gmez和C.Orrite-Uruuela的“Automatic left luggage detection andtracking using multi-camera ukf”，PETS，pp.59-66，2006，P.T.N.Krahnstoever、T.Sebastian、A.Perera和R.Collins的“Multi-view detectionand tracking of travelers and luggage in mass trasit environments”，PETS，pp.67-74，2006，K.Smith、P.Quelhas和D.Gatica-Perez的“Detectingabandoned luggage items in a public space”，PETS，pp.75-82，2006，以及S.Guler和M.K.Farrow的“Abandoned object detection in crowdedplaces”，PETS，pp.99-106，2006。

大多数现有技术方法的主要缺陷在于，为了识别视频图像中对应于一个被遗留对象的部分，这些方法要解决更加困难的作为中间步骤的对象跟踪或对象检测的问题。在复杂的真实世界场景中实时跟踪对象是很困难的。

发明内容

本发明的实施方式提供了一种通过将摄像机获取的场景的图像序列分割成背景部分和前景部分以检测遗留对象的方法。例如，图像序列包括一段监视视频，并且前景的一部分而不是全部可以对应于一个遗留对象。

一个优点是该方法不需要进行对象跟踪，这消除了在跟踪过程中常见的帧间对应失败的可能性。然而，该方法可与跟踪过程相结合以提高遗留对象检测方法的精度。

该方法不需要场景或对象的模型。该方法主要涉及像素变化的时间方面。因此，该方法不需要进行训练以补偿特定的成像条件，例如摄像机角度、照明等。该方法可以使用并行方式以减少处理时间。

该方法对多个时间尺度下场景中的运动进行分析，并创建均被实现为每像素混合高斯分布的长时或短时的背景模型。然后，使用贝叶斯更新机制对两个模型进行自适应。接着，该方法通过将每个图像与长时背景模型和短时背景模型进行比较而递归地估计长时背景和短时背景的统计量。这些统计量被用于区分属于场景中基本静止的背景部分、活动的前景部分以及在一段时间内静止的遗留对象的像素。

附图说明

图1是根据本发明一个实施方式的用于检测场景中的遗留对象的方法的流程图；

图2是根据本发明一个实施方式的用于保持运动图像的过程的流程图；以及

图3是根据本发明一个实施方式的对背景模型的参数进行更新的过程的伪代码的框图。

具体实施方式

图1示出了根据本发明实施方式的用于检测场景20中的遗留对象10的方法100。摄像机30获取该场景的图像序列101，例如，该摄像机是一种监视摄像机。

我们的遗留对象检测方法是基于像素颜色随时间演变(evolution)的推断。该遗留对象可以被当作场景中的以前不存在的一个静止对象。这个观察表明通过对被称为长时静止背景区域的背景在120进行建模，并在130对前景进行建模，我们可以推断出图像序列中的一个像素是否对应于一个遗留对象。如果该对象遗留的时间延长，则能够在160发出警报信号。

我们的方法对监视视频中变化的像素亮度(intensity)在多个时间尺度102下的时间演变进行分析。因此，我们保持多个时间尺度下背景模型的参数110。该方法每处理一个新的图像，在时间上前进一个步骤。

如下所述，参数110被保持为多层。即，每个像素被表示成随时间的多层的三维多元高斯分布。参数110定义了任意时刻(例如，序列中的每一个图像)的高斯分布。正如此处的用法，时间和图像实质上是同义的，因为图像是以已知的帧速率被获取。

在120更新背景模型后，我们可以在130确定前景模型。该前景模型被用于在200保持一个运动图像103，参见图2。在150将证据规则151应用于运动图像103，并且如果检测到遗留对象则在160能够发出警报信号。

时间尺度

主要思想是，如果在多个时间尺度102下分析图像序列101，则能够从背景和前景两者中分割出短时静止对象10。我们的自适应背景更新120从该视频中去除缓慢自适应背景像素和快速自适应前景像素。剩下的像素属于比背景运动得更快或更频繁、但比前景运动得更慢的一类对象，因此只有那些对应于遗留对象的像素留在运动图像103中。

时间尺度完全是相对的，并且在很大程度上依赖于应用和被检测对象的类别。对于监视应用，例如火车站的监视，其中人和对象的运动相对比较快，短时可以是一分钟的一小部分，而长时可以是五到十分钟。在一个非法停车监视系统中，短时可以是十五分钟，而长时可以是几个小时。如果该停车场所是机场，则长时可以多于一个星期以检测被遗弃的车辆。对于医学应用，例如MRI和CAT扫描、解剖学流体的成像，该时长可以是以几分钟或几小时量级。

背景模型

根据时长设定，场景背景由在例如几十分钟的延长时段内提取统计上一致信息的模型表示。通过保持像素为短时的运动图像103中的证据值将间断的前景像素从遗留对象10中区分出来。因此，我们在多个时间尺度102下对场景中的运动进行分析，并以两部分创建两个背景模型。

该背景模型包括长时背景(B_L)模型和短时背景(B_S)模型。这两个模型使用混合高斯分布。该分布可以是一维、二维或更高维。我们在120采用贝叶斯更新机制精确地对该模型进行自适应。使用统计量来区分完全属于场景中静止背景部分的像素、属于活动前景的像素以及属于在延长的时段内静止的遗留对象的像素。在每个连续的帧或图像处，我们通过将当前帧I与BL和BS模型进行比较来估计长时和短时统计量。

前景遮挡(mask)

参见图2，我们还在130确定前景模型。该模型同样有两部分，即长时前景(F_L)遮挡201和短时前景(F_S)遮挡202。遮挡中的像素F_S(x，y)和F_L(x，y)可以是零或一。也就是说，该遮挡是二值图像。F_L遮挡表示当前图像的场景中的未出现在先前图像中的变化，例如运动对象、时间上静止的对象、运动投影、背景模型未能自适应的突然的剧烈的照明变化(例如噪声)。F_S遮挡对应于那些原来在运动并随后变成在短时间内静止的对象。和F_L遮挡中一样，这些像素也可以表示由于噪声引起的突然变化。

遮挡假设

根据证据规则151，可以从前景遮挡做出四种假设：

1)F_L(x，y)＝0且F_S(x，y)＝0。像素(x，y)对应于背景，且当前图像中对应的像素I(x，y)用B_L模型和B_S模型二者表示；

2)F_L(x，y)＝1且F_S(x，y)＝1。像素(x，y)对应于一个运动对象且不用B_L模型或B_S模型表示；

3)F_L((x，y)＝0且F_S(x，y)＝1。像素(x，y)对应于场景背景，且当前图像中的像素I(x，y)仅用B_L模型表示；以及

4)F_L(x，y)＝1且F_S(x，y)＝0。像素(x，y)可能对应于一个遗留对象且可以用B_L模型表示。

置信值

如上所述，我们的背景模型使用了混合高斯分布。与这些模型相关联的是统计置信值。对于亮度仅在相对短的时间段内变化的像素，B_L模型和B_S模型的置信度都不会增加到足以使这些像素成为有效的背景像素。因此，这些像素在130被确定为前景。如果B_S模型将像素“混合”到背景中而B_L模型仍然将这些像素标记为前景，那么该像素将被认为是遗留对象像素。如果像素亮度变化持续了更长的时间，则这两个模型都将这些像素当作背景。

运动图像

为了对检测的灵敏性施加时间约束并同时去除由于噪声引起的伪影(artifact)，我们使用证据规则151，通过在200递增和递减运动图像103中的每像素证据值，在200将每图像(image-wise)检测结果保持到运动图像M(x，y)103中，如：

其中，证据阈值max_e(203)和衰减常数k(222)是正数。

如果长时遮挡和短时遮挡中的对应像素可以与遗留对象相关联，则在220证据规则151使运动图像中的像素的证据值递增。否则，在221使运动图像中的像素的证据值减小常数k。如果在231运动图像中的证据值变得小于0，则在241证据值被再次设置为0。

证据阈值

对于每个像素，运动图像M103都保持遗留对象的一个证据值。如果该证据值大于阈值max_e(203)，即在230有M(x，y)＞max_e，则我们将该像素标记为遗留对象像素，并且在240产生可选的报警信号。证据阈值max_e203被定义成多个连续图像(即时间)的形式。该阈值可以取决于我们方法中期望的灵敏度和噪声特性。当图像被噪声污染时，希望max_e的值较高。这些高的数值还降低了虚警率(false alarm rate)。

证据阈值max_e的典型范围是[10,300]个连续图像。如果从场景中去除了遗留对象，则衰减常数k(222)用于调整应当发生什么。如果在对象被去除后需要立即发出信号报警，则衰减常数k的值应该大一些，例如k＝max_e，即报警和衰减可以使用同一个参数。

衰减常数的相对较大值会产生令人满意的结果。应当注意的是，背景模型和及其混合模型都不依赖于上述阈值。这意味着，该检测对特定应用的证据和衰减常数二者的变化具有鲁棒性。因此，这些参数值可以被很方便地设置成任何合适的值。

序贯贝叶斯更新

参见图3，背景模型的长时部分和短时部分由贝叶斯更新过程进行自适应。该贝叶斯更新在Tuzel等人的2006年11月23日公开的发明名称为“Modeling low frame rate videos with Bayesian estimation”的美国专利申请20060262959中有更详细的描述，通过引用将其合并。

我们的更新过程保持了背景模型的多模态性(multimodality)。在每次更新时，根据当前的观察(图像I)更新最多一个层。这确保了层的最小重叠。我们还确定对于每一个像素多少个层是必需的，并且在前景分割阶段只使用那些层。这是利用一个内嵌的置信分数执行的。

每个像素被定义为多层的三维多元高斯分布。每一层对应于该像素的一个不同的外观。我们在RGB颜色空间中执行操作。通过使用贝叶斯方法，我们不需要估计每一层的均值和方差。而是，我们估计均值和方差的概率分布。

我们能够从概率分布中提取有关均值和方差的统计信息。然后，我们使用均值和方差二者的期望进行变化检测，并将均值的方差作为我们的置信测度。

层模型

图像数据(即像素亮度)被假设成具有均值μ和协方差∑的正态分布。该均值和方差是未知的并且被建模成随机变量。使用贝叶斯定理，联合后验密度可以被写成：

p(μ，∑|X)∝p(X|μ，∑)p(μ，∑)。                      (2)

利用一个新的观察执行递归贝叶斯估计，联合先验密度p(μ，∑)与联合后验密度p(μ，∑|X)具有相同的形式。以方差为条件，该联合先验密度是

p(μ，∑)＝p(μ|∑)p(∑)。                             (3)

如果我们假设协方差为逆Wishart分布，并且基于该协方差，均值为多元正态分布，则可以实现上述条件。逆Wishart分布是比例(scaled)逆χ²分布的多元推广。该协方差和均值的参数化形式分别是

$\mathrm{\Σ}~\mathrm{Inv}-\mathrm{Wishar}{t}_{{\mathrm{\υ}}_{t-1}}\left({\mathrm{\Λ}}_{t-1}^{-1}\right)---\left(4\right)$

μ|∑～N(θ_t-1，∑/κ_t-1)。                               (5)

其中，υ_t-1是自由度，Λ_t-1是逆Wishart分布的尺度矩阵(scale matrix)，θ_t-1是先验均值，κ_t-1是先验测度的数量。利用这些假设，三维特征空间的该联合先验密度是

$p(\mathrm{\μ},\mathrm{\Σ})\∝{\left|\mathrm{\Σ}\right|}^{-(({\mathrm{\υ}}_{t-1}+3)/2+1)}\×e^{(-\frac{1}{2}\mathrm{tr}\left({\mathrm{\Λ}}_{t-1}{\mathrm{\Σ}}^{-1}\right)-\frac{{\mathrm{\κ}}_{t-1}}{2}{(\mathrm{\υ}-{\mathrm{\θ}}_{t-1})}^T{\mathrm{\Σ}}^{-1}(\mathrm{\μ}-{\mathrm{\θ}}_{t-1}))}---\left(6\right)$

我们将该密度标为normal-inverse-Wishart(θ_t-1，Λ_t-1/κ_t-1；υ_t-1，Λ_t-1)。将该先验密度乘以正态似然度，并排列这些项，该联合后验密度变成normal-inverse-Wishart(θ_t，Λ_t/κ_t；υ_t，Λ_t)，其中的参数更新为υ_t＝υ_t-1+n    κ_n＝κ_t-1+n，                              (7)

${\mathrm{\θ}}_t={\mathrm{\θ}}_{t-1}\frac{{\mathrm{\κ}}_{t-1}}{{\mathrm{\κ}}_{t-1}+n}+\stackrel{\‾}{x}\frac{n}{{\mathrm{\κ}}_{t-1}+n},---\left(8\right)$

以及

${\mathrm{\Λ}}_t={\mathrm{\Λ}}_{t-1}+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x}){(x_i-\stackrel{\‾}{x})}^T+n\frac{{\mathrm{\κ}}_{t-1}}{{\mathrm{\κ}}_t}(\stackrel{\‾}{x}-{\mathrm{\θ}}_{t-1}){(\stackrel{\‾}{x}-{\mathrm{\θ}}_{t-1})}^T,---\left(9\right)$

新的参数将先验信息与观察到的样本合并。后验均值θ_t是先验均值和样本均值的加权平均。注意，该样本值可以是像素亮度、像素颜色、或亮度的梯度幅度。后验自由度等于先验自由度加上样本大小。

在公式(8)中，第一项对应于当前背景，第二个附加项影响的是背景被当前图像改变的程度。应注意，这两项中的分母是相同的。如果是κ_t-1，则n是控制参数。

在上面的公式中，权重n与对分布的参数进行“学习”的时间尺度有关。如果该学习参数或权重n低，则当前图像对背景图像具有相对小的附加影响，且该背景反映场景的短时演变，如果权重n较大，则当前图像更为剧烈地改变背景，从而反映了场景中的长时演变。

该方法以下面的初始参数开始：

κ₀＝10，υ₀＝10，θ₀＝x₀，Λ₀＝(υ₀-4)16²I，        (10)其中I是三维单位矩阵。

相对于协方差∑对联合后验密度进行积分，我们得到均值的边缘后验密度：

$p\left(\mathrm{\μ}\right|X)\∝t_{{\mathrm{\υ}}_t-2}\left(\mathrm{\μ}\right|{\mathrm{\θ}}_t,{\mathrm{\Λ}}_t/\left({\mathrm{\κ}}_t({\mathrm{\υ}}_t-2)\right)),---\left(11\right)$

其中

是自由度为υ_t-2的多元t分布。

我们使用均值和协方差的边缘后验分布的期望作为我们在时刻(图像)t的模型参数。边缘后验均值的期望(即多元t分布的期望)变为：

μ_t＝E(μ|X)＝θ_t，                                  (12)边缘后验协方差的期望(即逆Wishart分布的期望)变为：

∑_t＝E(∑|X)＝(υ_t-4)^-1Λ_t。                         (13)

该层的置信测度等于μ|X协方差的行列式的倒数：

$C=\frac{1}{\left|{\mathrm{\Σ}}_{\mathrm{\μ}|X}\right|}=\frac{{\mathrm{\κ}}_t^3{({\mathrm{\υ}}_t-2)}^4}{({\mathrm{\υ}}_t-4)\left|{\mathrm{\Λ}}_t\right|}.---\left(14\right)$

我们可以通过作出对颜色通道的独立假设而减少处理时间。因此，我们将RGB颜色通道分离，并独立地处理每个通道。我们使用三个对应于每一个颜色通道的单变量高斯分布，来代替针对单个层使用多元高斯分布。在独立地更新每个颜色通道后，我们将方差结合在一起并生成对角协方差矩阵：

${\mathrm{\Σ}}_t=\left(\begin{array}{ccc}{\mathrm{\σ}}_{t,r}^2& 0& 0\\ 0& {\mathrm{\σ}}_{t,g}^2& 0\\ 0& 0& {\mathrm{\σ}}_{t,b}^2\end{array}\right).---\left(15\right)$

对每一个单变量高斯分布，我们假设方差为比例逆χ²分布，并且以该方差为条件，均值为单变量正态分布。

背景更新

根据场景的动态性和复杂性，对每个像素利用k个层对我们的方法进行初始化，例如，k为3到5。也可以使用更多的层。当我们针对每个像素处理新样本时，我们更新背景模型的参数。从我们的模型中置信度最高的层开始我们的更新。如果观察到的样本在当前模型的99％置信区间中，则如公式(7)、(8)和(9)所示地更新模型的参数。较低置信度模型不被更新。对于背景建模，“遗忘”机制很有用，使得较早的观察值对该模型有较小的影响。通过减少一个不匹配模型中先验观察值参数的数量来执行该遗忘。如果当前样本不在该置信区间中，则我们更新先验测度参数的数量：

κ_t＝κ_t-1-n，                                         (16)

并更新置信度次高的层。我们不会让κ_t小于初始值10。如果没有模型被更新，则我们删除置信度最低的层并将具有当前样本的新模型初始化为该均值和初始方差。

图3中示出了针对单个像素的更新过程的伪代码。对于一个新样本x，背景层：

{(θ_t-1，i，Λ_t-1，i，κ_t-1，i，υ_t-1，i)}_i＝1..k，

根据公式(14)定义的置信测度对层排序，且I被初始化为1，则当i＜k时，我们测量马氏距离(Mahalanobis distance)：

$d_i\←{(x-{\mathrm{\μ}}_{t-1,i})}^T{\mathrm{\Σ}}_{t-1,i}^{-1}(x-{\mathrm{\μ}}_{t-1,i}).$

如果样本x在99％的置信区间中，则我们根据公式(7)、(8)、(9)更新模型参数并停止。否则，我们依据公式(16)和增量i更新模型参数。我们删除层k，并初始化具有公式(10)定义的参数的新层。

因此，我们不会用噪声或前景像素变形我们的模型，并且容易进行自适应以平滑类似照明效果的亮度变化。内嵌的置信分数确定了要使用的层的数量并避免了不需要的层。通常，第二层对应于背景像素的阴影形式，或场景的运动区域的不同颜色。如果场景是单模态的，则除了第一层以外的层的置信分数会变得很低。

前景分割

背景统计量被用于检测场景的变化区域，例如，前景对象。表示一个像素所需层的数量事先并不已知。因此，利用比所需数量更多的层来初始化背景。我们使用置信分数来确定对于每个像素多少个层是显著的。我们根据公式(14)的置信分数对层进行排序，并选择置信值大于预定层阈值T_c的层。我们将这些层称为置信层。

阈值T_C取决于像素的均值的协方差，因此该阈值依赖于像素的颜色范围。我们对[0-255]范围内的像素亮度值执行操作，并选择T_c＝1.0。对于其它的范围，可以修改阈值T_c。我们测量来自置信层的观察到的颜色(RGB亮度)的马氏距离。处于背景的所有置信层的99％置信区间之外的像素被认为是前景像素。

连接成分(connected component)分析

我们还可以将连接成分分析应用于运动图像以确定对象的大小或图案(形状)。例如，可以将该方法调整为只检测例如背包的小对象、或者检测人、或者检测例如遗留汽车的大对象。当检测到遗留对象时，还可以将对象识别应用于图像序列。

方法验证

为了测试双前景方法，我们使用几个能够公开得到的数据集，例如，可从PETS 2006和AVSS 2007得到的著名的监视视频。测试序列的总数为32。该测试数据包括不同的像素分辨率，例如，180×144、320×240、640×480、和720×576。情景的范围从餐厅到地下火车站。大多数的序列包括小的(10×10像素)遗留对象。一些序列具有多个遗留对象。一半的序列对应于其中人数相对少(例如，最多3个)的场景。另一半序列具有更复杂的情景，其中有多个坐着、站着、走着的人。在两种情况下，人们表现出可变的速度。对象被遗留了不同的时间段，例如，10秒钟到2分钟。

为了对性能进行量化，我们对每个序列的误报的数量和虚警的数量进行计数。下面的表A中给出了结果。

表A

情景	帧数	虚警	正确检测	遗留物总数
					集合1	4850	0	1	1
集合2	6600	0	6	6
					集合3	13500	0	18	18
集合4	5700	1	5	5
					集合5 & 6	3700	1	6	6
集合7	9500	0	10	11
					集合8	3000	0	1	1

集合1是针对一个地下火车站。集合2和3是来自自助餐厅的广角摄像机记录的。集合4、5、6是针对来自一个餐厅的不同摄像机。集合7是针对一个休息室。集合8是针对一个具有餐厅的大的封闭空间平台。

我们确定的虚警率和检测率如下面的表B所示。

表B

虚警率(每秒百分比)	正确检测率
		0.27％	97.92％

我们的结果显示，我们的方法成功地检测到了几乎全部的遗留对象，同时获得了非常低的虚警率。该方法在97.92％的正确检测率下具有每秒0.27％的虚警率。我们可以使用一个对象分类器来识别遗留的对象。

发明的效果

该遗留对象检测方法对于场景中人的不稳定运动、照明的变化、摄像机的抖动以及由于贝叶斯更新背景生成而引起的其它伪影具有鲁棒性。由于我们的方法不依赖于跟踪，因此不受预定事件检测试探法(即，一个人带着一个物体并运动了某一特定距离等)的限制，该预定事件检测试探法经常被需要检测和识别场景中每个单独对象的跟踪方法所使用。

与常规的基于运动向量分析的方法不同，除了检测这种事件的发生之外我们还精确地检测遗留对象的边界。我们的方法并不限于遗留对象的最大数量。我们的方法可以检测其中一些遗留对象从场景中被去除而另外一些仍保留的情况。如果一个遗留对象稍后被其它的对象或人遮挡，我们的方法仍然可以检测到它。

并且，使用单个摄像机的我们的方法和基于多摄像机的方法具有同样好的检测性能。除了上述优点外，我们的方法在计算上适于实时应用。由于我们的方法可以被分成多个独立的每像素操作，因此也适于并行处理。

尽管以优选实施方式为例已经描述了本发明，但应该理解在本发明的精神和范围内可以做出各种其它的改变和修改。因此，所附权利要求的目的是涵盖落入本发明的真实精神和范围内的所有这种变型和修改。

Claims (23)

1、一种用于检测场景中的遗留对象的方法，该方法包括以下步骤：

使用摄像机获取的场景的图像序列来更新一组背景模型，其中以从短时到长时的不同时间尺度来更新每个背景模型；

在针对所述序列中一个特定图像进行更新后根据每个背景模型确定一个前景遮挡；

根据一组前景遮挡来更新一个运动图像，其中所述运动图象中的每个像素都有一个相关联的证据值；以及

将这些证据值与一个证据阈值进行比较以检测所述场景中的遗留对象并发出通知。

2、根据权利要求1所述的方法，其中所述检测基于所述图像序列中的像素亮度随时间演变的推断。

3、根据权利要求1所述的方法，其中所述时间尺度基于所述图像序列被处理的帧速率。

4、根据权利要求3所述的方法，其中如果在所述更新期间使用所述序列中的每个图像，则所述时间尺度是短时，并且如果将要被处理的所述图像是从所述序列中二次抽样的，则所述时间尺度是长时。

5、根据权利要求1所述的方法，其中所述时间尺度是所述一组背景模型的参数被更新的学习速率。

6、根据权利要求1所述的方法，其中所述时间尺度基于所述图像序列被处理的帧速率以及所述一组背景模型的参数被更新的学习速率。

7、根据权利要求6所述的方法，其中如果对应背景模型的更新比在相同学习速率下所述长时的所述背景模型更新更频繁，则所述时间尺度是短时。

8、根据权利要求1所述的方法，其中每个背景模型被保持为一组层，每个层都是多元高斯分布，并且其中多个参数定义了在所述更新期间的任意时刻的每个高斯分布。

9、根据权利要求8所述的方法，其中所述高斯分布是多维的。

10、根据权利要求5所述的方法，其中所述时间尺度是所述参数被更新的速率。

11、根据权利要求1所述的方法，其中所述运动图像的所述更新去除了所述运动图像中对应于缓慢自适应背景像素的像素和对应于快速自适应前景像素的像素，以使得所述运动图像中剩余的像素对应于所述遗留对象。

12、根据权利要求1所述的方法，其中所述时间尺度依赖于一个应用。

13、根据权利要求8所述的方法，其中所述一组背景模型的所述更新使用贝叶斯机制，所述贝叶斯机制包括：

估计每层参数的均值的概率分布和方差的概率分布。

14、根据权利要求13所述的方法，其中所述均值和所述方差的期望用于检测所述遗留对象，所述均值的方差作为所述证据值的置信分数。

15、根据权利要求1所述的方法，其中每个前景遮挡是具有零和一像素值的二值图像，并且所述一像素值表示所述图像序列中的一个可能的前景对象。

16、根据权利要求15所述的方法，其中所述一组前景遮挡包括一个长时遮挡F_L和一个短时遮挡F_S，并且其中所述运动图像的所述更新是根据以下证据规则：

如果F_L(x，y)＝0且F_S(x，y)＝0，则像素(x，y)对应于所述场景中的背景，并且当前图像中的对应像素I(x，y)用所述对应的背景模型B_L和B_S二者表示；

如果F_L(x，y)＝1且F_S(x，y)＝1，则像素(x，y)对应于所述场景中的一个运动对象，并且不用背景模型B_L或B_S中的任何一个表示；

如果F_L(x，y)＝0且F_S(x，y)＝1，则像素(x，y)对应于场景背景，并且所述当前图像中的像素I(x，y)仅用所述B_L模型表示；以及

如果F_L(x，y)＝1且F_S(x，y)＝0，则像素(x，y)可能对应于一个遗留对象。

17、根据权利要求16所述的方法，其中所述运动图像M(x，y)的所述更新是

其中，证据阈值max_e和衰减常数k是正数。

18、根据权利要求17所述的方法，其中所述证据阈值max_e位于所述序列中[10,300]个连续图像的范围内。

19、根据权利要求17所述的方法，其中k＝max_e。

20、根据权利要求10所述的方法，其中针对所述序列中的任何图像更新所述背景模型的一个子集。

21、根据权利要求14所述的方法，其中每个集合中的层数根据所述置信分数进行自适应。

22、根据权利要求1所述的方法，其中除了更新所述一组背景模型时的所述时间尺度以外所述一组背景模型是相同的。

23、根据权利要求1所述的方法，该方法还包括以下步骤：

将连接成分分析应用于所述运动图像中的所述像素，并根据大小约束来检测所述遗留对象并发出通知。

24、根据权利要求1所述的方法，该方法还包括以下步骤：

将连接成分分析应用于所述运动图像中的所述像素，并根据图案约束来检测所述遗留对象并发出通知。

Images