CN1777912A - 用于改进的背景－前景分割的使用目标分类的增强背景模型 - Google Patents

Abstract

本发明公开一种用于产生和保持在背景－前景分割中所使用的增强背景模型的方法和装置。将背景模型修改以包含一个用于指示目标通常为静止的指示。此后，如果目标运动且已经被预先标识为通常为静止的目标，则在背景－前景分割期间，不再不必要地将该目标识别为前景的一部分。在示例性实施例中，将运动目标分为两个集合。第一集合包括通常独立运动的目标，第二集合包括通常静止的目标。通常，一旦将目标分配到第二(静止目标)集合中，则即使该目标运动(正常情况下，该目标运动会使目标变为前景的一部分)，该目标也仍然被保留在背景中。

Description

用于改进的背景-前景分割的使用目标分类的增强背景模型

本发明涉及计算机系统执行的背景-前景分割，特别是涉及在背景-前景分割中使用的改进的背景模型的产生和维持。

背景-前景分割是用于在静止照相机的取景范围内检测目标的公知的基于计算机视觉的技术。开始，系统在没有目标出现的情况下，在训练阶段学习场景。在训练阶段利用从该场景捕获的一系列图像建立该场景的背景模型。此后，在正常的操作期间，将新的图像与该背景模型进行比较。将与背景模型具有显著区别的像素位置归类为前景像素，而将剩余的像素标记为背景像素。该算法的输出通常为二进制图像，该图像描述在场景中出现的前景目标的轮廓。

对于开阔户外区域例如停车场、或封闭的大型场所例如仓库、办公空间、或地铁站台中的人和其它目标，传统的背景-前景分割技术可以很好地将它们分割和跟踪。但是这些场景与通常的家庭中的场景有很大不同。例如，居住环境通常在很小的区域内包含很多目标。另外，居住环境中的很多目标都是软性的，例如衣服和窗帘，或者是容易变形的，例如家具和百叶窗(或这两者都是)，而且人们在居住环境中会经常改变他们的姿势，例如，在站立、坐下和躺下位置之间改变。

大多数已知的背景-前景分割技术都不能在混乱环境中聚集很多下肢部分，非垂直身体姿势和大型背景目标例如门、椅子和桌子自然运动的情况下有效工作。因此需要一种方法和装置来产生和维持用于背景-前景分割的改进的背景模型。

通常，公开了一种用于产生和维持在背景-前景分割中使用的改进背景模型的方法和装置。根据本发明的一个方面，使用该增强的背景模型来改进背景和前景的分割。根据本发明来修改该背景模型，从而包含通常静止的目标的标识。此后，如果一个目标移动且已经被识别为通常为静止的目标，则在背景-前景分割期间不会不必要地将该目标识别为前景的一部分。

在示例性实施方案中，将运动目标分为两个集合。第一集合包括通常独立运动的目标，例如人和动物，第二集合包括通常静止的目标，例如家具。通常，一旦将一目标分到第二(静止目标)集合，则即使该目标被移动(通常该目标的运动会导致该目标变为前景的一部分)，仍将该目标保留在背景中。

可以使用本发明的增强背景模型来改进背景-前景分割。在训练过程中，估计该背景模型的参数。当检测到目标的运动时，将该目标归类为这两集合中的一集合。在正常操作期间，利用该背景模型对所捕获图像的相似概率进行估计。将具有低相似概率且属于没有预先被标识为静止目标的背景场景的像素归类为前景，而将剩余的像素标记为背景。

通过参照下面的详细说明和附图，可以对本发明以及本发明的进一步特征和优点有更完整的理解。

图1示出根据本发明优选实施例用于执行背景-前景分割的示例性系统的方块图。

图2示出根据本发明优选实施例用于对执行背景-前景分割的系统的输入图像进行分类的方法流程图。

图3示出根据本发明优选实施例用于训练执行背景-前景分割的系统的方法流程图。

图4示出用于描述图1中的背景模型目标分类处理的示例性实施例的流程图。

现在参照图1，根据本发明优选实施例，所示的视频处理系统120产生并维持用于背景-前景分割的背景模型。视频处理系统120通过视频输入107、数字通用光盘(DVD)110和网络115与一个或更多照相机进行互操作。视频处理系统120包括处理器130、介质接口135、网络接口140和存储器145。存储器145包括图像抓取器150、输入图像155、背景模型产生/维持处理200/300、背景模型目标分类处理400、概率表165、全局阈值180、像素阈值195和所分割的图像190。

在示例性实施例中，如下所述，背景模型为概率表165集合，该集合包括多个概率表170-11到170-HW。图1中所示的一个概率表170-11包含项目175-11到175-NM。通常背景模型是为每个照相机建立的，从而易于快速分割前景和背景。为了防止需要背景模型来检测每个目标(处理为前景目标)，根据本发明修改背景模型从而使其包含通常为静止的目标标识。此后，如果目标运动且已经被标识为通常为静止的目标，则在背景-前景分割期间不会不必要地将该目标变为前景的一部分。

在一个实施方式中，将运动目标归类到两集合中的一集合中。第一集合包括通常独立运动的目标，例如人和动物。当第一集合中的目标在图像中运动时，该目标将变为前景的一部分。该第二集合包括通常为静止的目标，例如家具。通常一旦将目标归类为第二集合，则即使该目标被移动(通常该目标的运动会导致该目标变为前景的一部分)，也仍将该目标保留在背景中。通过这种方式，当背景目标被移动时，不会不必要地将该背景目标变为前景的一部分。

如图1所示，视频处理系统120从照相机105将视频输入107耦合到图像抓取器150中。图像抓取器150从该视频输入107中“抓取”一个单独图像，并生成输入图像155，该输入图像通常为多个像素。很明显，输入图像155包括高度方向的H个像素和宽度方向的W个像素，每个像素具有分别对应红、绿和蓝(RGB)信息的8位，总共为24位的RGB像素数据。也可以使用其它系统表现图像，但通常使用RGB。

该背景-前景分割处理200，300产生背景模型，并执行背景-前景分割。背景-前景分割处理200是在视频处理系统120的正常操作期间使用的，而背景-前景分割处理300是在训练中使用以便产生背景模型。一个单独的处理应当执行处理200和300，该单独处理可以简单被配置到正常操作模式或训练模式。但是，如果需要也可以使用分离处理。

在视频处理系统120的正常操作期间，背景-前景分割处理200使用概率表165来确定输入图像155中的HxW个像素中每个像素的似然概率。将每个似然概率与像素阈值195比较。如果该似然概率低于像素阈值195，则假设该像素属于背景。通过背景-前景分割处理200还可能修改概率模型，从而允许视频处理系统120假设，如果像素的似然概率大于像素阈值195，则该像素属于背景。对于视频处理系统120来说，如果该像素的似然概率在像素阈值范围内，甚至可能将该像素分配给背景。但是，为了简便起见，在此假设，如果像素的似然概率低于像素阈值195，则可以假设该像素属于背景。

在正常操作期间，背景-前景分割处理200通过使用概率表165和像素阈值195从输入图像中确定所分割的图像190。另外，背景-前景分割处理200可以使用概率模型(未示出)来确定每个像素的似然概率。下面将详细讨论优选概率模型。这些概率模型在背景-前景分割处理200根据该模型执行一系列步骤的意义上被“置入”背景-前景分割处理200(和300)中。换句话说，背景-前景分割处理200利用一个或多个概率模型至少部分限定了它的步骤。为了简便起见，用于执行背景-前景分割的概率模型和背景-前景分割处理将被认为可以互换。但是，应当注意在执行根据模型确定概率的必须的步骤的同时，背景-前景分割处理还有与根据模型确定概率不相关的其它步骤。例如，从输入图像155中检索数据并将这些数据存储在数据结构中都是不根据概率模型执行的可能步骤。

在训练期间，背景-前景分割处理300定义和改进了概率表170-11到170-HW(在此总的来说“概率表170”)。优选地，对输入图像155的每个像素都有一个概率表。每个概率表具有一个MxN矩阵，如对于概率表170-11所示具有项目175-11到175-NM(在此总的来说“项目175”)。每个像素应当有M个全局状态和N个高斯模式。通常，每个概率表170将以一个全局状态和一个高斯模式开始，在训练后包含MxN个项目175。

在训练期间，背景-前景分割处理300使用全局阈值180来确定是否应当加入一个状态或者修改所选择状态的参数。在训练期间使用像素阈值195来确定是否应当加入另一个高斯模式或是否应当调节所选择高斯模式的参数。

应当注意该示例性背景-前景分割处理300允许训练递增。该示例性背景-前景分割处理300可以在每次将图像输入到模型中或已经将预定数目图像输入到模型之后调节该模型的参数。即使后者是可能的，也优选前者。

如本领域公知，本文中所述的方法和装置可作为一种制造商品销售，该商品本身包括计算机可读介质，该介质具有配备在其上的计算机可读代码装置。计算机可读程序代码装置是可操作的，与例如视频处理系统120的计算机系统结合实施全部步骤或其中一部分步骤，从而执行在此讨论的方法和产生在此讨论的装置。该计算机可读介质可以是可记录介质(例如软盘、硬盘驱动器、压缩盘例如通过介质接口135可访问的DVD110、或存储卡)或者可以是传输介质(例如包括光纤的网络115，全球互联网，电缆或使用时分多址、码分多址的无线信道或其他射频信道)。任何公知或已有的可以存储适用于计算机系统的信息的介质，都可以被使用。该计算机可读代码装置是用于使计算机读取指令和数据的任何机构，这些指令和数据例如是磁介质上的磁性变化或例如DVD110的压缩盘的表面上的高度变化。

存储器145将配置处理器130来执行本文中所述的方法、步骤和功能。该存储器145可以是分布式或本地存储器，该处理器130可以为分布式的或单一的。该存储器145可以为电、磁或光学存储器，或这些或其它类型存储设备的任何集合。该术语“存储器”可以被广义解释为包含能够对处理器130可访问的可寻址空间中的地址进行任何信息读写。利用这个限定，例如通过网络接口140访问的网络115的网络上的信息也在视频处理系统120的存储器145内，因为该处理器130可以从网络中得到该信息。还应当注意，视频处理系统120的全部或部分都可被实现为集成电路或例如可编程逻辑电路的其他相似设备。

上面已经说明了系统，下面将说明概率模型，该概率模型可以提供全局和局部像素相关性和逐步增加的训练。

概率模型

在优选概率框架中，将图像(即像素外观的二维阵列)解释为从高维随机处理中得到的多个采样。在该处理中，图像的像素数目规定了维的数目。正式情况下，假设 $I=\{T_{x,y}\∈{\mathrm{\Θ}}^{\mathrm{WH}}\}$ 表示WxH个像素的图像，这些像素在观察空间^Θ中具有值(即，每个像素24位的RGB值)。

与该随机处理P(I|Ω)相联系的概率分布可以捕捉与场景和成像系统均有联系的基本图像产生处理。这包括场景中存在的颜色和文理以及图像变化的多种原因，例如场景中的运动、光变化、照相机的自动增益控制和其它图像变化。

大多数传统算法都是在假设每个像素彼此独立的前提下对场景图像模型化。实际上，图像成型处理和典型场景的物理特性导致很多限制，这些限制使得像素在全局意义(即整个图像或一系列图像)和局部意义上(即，图像中的区域)具有相当大的相关性。

所提出的示例性模型通过引入隐藏处理ξ来使用场景图像内的多个像素之间的相关性，该隐藏处理ξ捕捉该场景观察的全局状态。例如，在场景具有几个可能发光设置的情况下，离散变量ξ可以将指针表现为几个可能的发光状态。

所提出的模型背后的基本思想是对捕捉图像中多个像素之间相关性的模型阶段与捕捉每个像素外观的模型阶段区分开来，从而使得问题更易处理。即，根据下面公式便于计算图像的似然概率：

$P\left(I\right|\mathrm{\Ω})=\underset{\∀\mathrm{\ξ}}{\mathrm{\Σ}}P\left(I\right|\mathrm{\ξ},\mathrm{\Ω})P\left(\mathrm{\ξ}\right|\mathrm{\Ω}),---\left\{1\right\}$

其中P(ξ|Ω)表示场景的全局状态的概率，P(I|ξ，Ω)表示在场景全局状态ξ的情况下像素外观的似然概率。注意由于像素之间的相关性是由第一阶段捕捉到的，因此可以合理假设，在场景全局状态ξ的情况下，图像I的像素彼此独立。因此，可以将等式{1}写为：

$P\left(I\right|\mathrm{\Ω})=\underset{\∀\mathrm{\ξ}}{\mathrm{\Σ}}P\left(\mathrm{\ξ}\right|\mathrm{\Ω})\underset{\∀(x,y)}{\mathrm{\Π}}P\left(I_{x,y}\right|\mathrm{\ξ},\mathrm{\Ω}),---\left\{2\right\}$

其中P(I_x，y|ξ，Ω)表示用于模拟图像I的像素(x，y)的概率。

根据用于捕捉场景观察全局状态的模型的复杂性，即P(ξ|Ω)，所执行的处理能够处理多种应用情况中出现的不同类型的成像变化。例如，如果在ξ的表达式中使用了增益函数的参数化表达式，则由于照相机的自动增益控制易于执行对变化的背景-前景分割处理加强。

出于简化，利用在三维RGB颜色空间中具有全协方差矩阵的高斯混合分布，可以模拟全局状态ξ下的每个像素值P(I_x，y|ξ，Ω)。较正式的，可以使用下面的等式：

$P\left(I_{x,y}\right|\mathrm{\ξ},\mathrm{\Ω})=\underset{\∀\mathrm{\α}}{\mathrm{\Σ}}P\left({\mathrm{\α}}_{x,y}\right)N\left(I{;\stackrel{\‾}{I}}_{\mathrm{\α},x,y}{,\mathrm{\Σ}}_{\mathrm{\α},x,y}\right),$

其中 I_a，x，y和∑_a，x，y为(x，y)像素的第a个高斯混合模式的平均值和协方差距阵。这些参数是用于表示整个图像模型的符号参数变量Ω的子集。

注意，前面的研究已经表明其它颜色空间优选地用于处理例如阴影等问题，如果需要在此可以使用该研究。但是，本说明书的重点在于模拟该场景的全局状态。

优选地利用离散变量ξ＝{1，2，...，M}来模拟场景观察的全局状态，该变量捕捉该场景中的全局和局部变化，以致等式{2}变为下面公式：

$P\left(I\right|\mathrm{\Ω})=\underset{\∀\mathrm{\ξ}}{\mathrm{\Σ}}P\left({\mathrm{\α}}_{x,y}\right)\underset{\∀(x,y)}{\mathrm{\Π}}\underset{\∀\mathrm{\α}}{\mathrm{\Σ}}P\left({\mathrm{\α}}_{x,y}\right)N({I;\stackrel{\‾}{I}}_{\mathrm{\α},x,y},{\mathrm{\Σ}}_{\mathrm{\α},x,y}).---\left\{3\right\}$

注意上述模型和传统的高斯混合之间的差别。与独立模拟每个像素的高斯混合分布相反，本发明的模型使用了高斯分布集合来模拟与全局状态相联系的每个像素。

等式3可以如下重写为：

$P\left(I\right|\mathrm{\Ω})=\underset{\∀\mathrm{\ξ}}{\mathrm{\Σ}}\underset{\∀(x,y)}{\mathrm{\Π}}\underset{\∀\mathrm{\α}}{\mathrm{\Σ}}G\left({\mathrm{\ξ}}_{,}{\mathrm{\α}}_{x,y}\right)N(I{;\stackrel{\‾}{I}}_{\mathrm{\α},x,y},{\mathrm{\Σ}}_{\mathrm{\α},x,y}),---\left\{4\right\}$

其中项G(ξ，a_x，y)＝P(ξ|Ω)^1/WHP(a_x，y)可以简单地被作为与图像模型的每个像素位置相联系的MxN矩阵。在该例子中，M为全局状态的数目，N为高斯模式的数目。在图1的例子中，MxN矩阵存储在概率表165中，在该概率表中针对每个像素有一个MxN矩阵170。

分割过程

假设从来自一个场景的一个图像观察集合已经成功地训练了上述提出的多个模型中的一个，则新观察到的图像的分割过程简单地基于最大似然分类。训练在下一部分讨论。

图2的方法200示出了一个示例性分割过程。系统在正常操作期间使用方法200来执行背景-前景分割。如上所述，此时已经执行了训练。

方法200在步骤210开始，此时检索一幅图像。通常，对于该图像的每个像素以24位来存储每个图像，该24位对应RGB值。如上所述，也可以使用其它系统，但是示例性方法200假设正在使用RGB值。

假设测试图像为I^t，分割算法确定(步骤220)全局状态ξ^*，该全局状态最大化由以下模型给出的图像的似然概率：

${\mathrm{\ξ}}^{*}=\arg \max P\left(\mathrm{\ξ}\right|\mathrm{\Ω})\underset{\∀(x,y)}{\mathrm{\Π}}P\left(I_{x,y}^t\right|\mathrm{\ξ},\mathrm{\Ω}).---\left\{5\right\}$

然后，利用各似然概率但仅考虑最大相似的全局状态ξ^*，对每个像素独立地执行背景-前景分割。为了执行步骤，在步骤230中选择一个像素。针对最相似的全局状态确定每个像素的各自的似然概率(步骤240)，并在下面等式中使用该似然概率来确定是否应当将每个像素指定给背景或前景(步骤250)：

其中s＝{s_x，y(x，y)}表示背景-前景分割的二进制图像，其中非零像素表示前景目标。基本上，等式{6}说明如果像素的似然概率小于像素阈值(步骤250＝是)，那么在步骤255执行进一步检测来确定是否通过根据本发明的背景模型目标分类处理400已经将该像素预先标识为背景的一部分，相反(步骤250＝否)将该像素分配给背景(步骤270)。

如果在步骤255确定像素已经通过背景模型目标分类处理400被预先标识为背景的一部分，则在步骤270期间将该像素分配给背景。但是如果在步骤255确定没有通过背景模型目标分类处理400将该像素预先标识为背景的一部分，则将该像素分配给前景(步骤260)。

对每个关心的像素(通常图像中的所有像素)执行等式{6}。因此，在步骤280中，如果图像中的所有像素都被分配给背景或前景(步骤280＝否)，则方法200结束，否则(步骤280＝是)该方法继续到步骤230，并对新选择的像素执行等式6。

注意即使在不同全局状态下像素的颜色值也被模拟为背景的一部分的情况下，处理200怎样成功地将像素归类为前景。例如，如果在训练过程中一个穿着红色衬衣的人在一个场景背景中行走，则多个高斯混合模式中的一个将在这个人的衬衣所经过的所有像素中捕捉该红色。稍后在测试中，如果这个人再次在该场景背景中行走(当然，大概沿着同样的线路)，则他或她就不会被检测为前景。但是，如果那个人靠近照相机，有效地改变了场景的全局状态，则即使在已经将红色与背景联系起来的图像区域内，也可以将他或她的红色衬衣正确地分割出来。

作为另一个例子，考虑其中部分背景看起来(i)在场景中的暗照明中很黑，和(ii)当场景正确照明时为暗绿的情况。本发明的模型利用像素之间的整体相关性，可以在场景被照明时检测背景中的黑色目标，并在场景黑暗时检测绿色前景目标。在传统模型中，黑色和绿色都被认为是背景颜色，以致这些目标将被完全忽略。

训练过程

利用预期-最大化(EM)算法可以进行具有给定图像采样集合(例如视频片断)的所提出的模型的离线训练。例如，可以将各个像素模型P(I^t _x，y|ξ^x，Ω)的参数随机初始化约等于所观察到的训练数据的平均值，同时可以将各状态的概率均匀初始化。然后，利用EM循环，可以将该模型的所有参数更新为局部最大方法，该方法通常为很好的方法。该EM算法是公知算法，例如在J.Roy.Statist.Soc.B 39：1-38(1977)的A.Dempster，N.Laird和D.Rubin所著的“Maximum Likelihood FromIncomplete Data via the EM Algorithm(通过EM算法根据不完整的数据得到最大似然)”中有所描述，该文献公开的内容在此引作参考。

图3中描述的示例的训练过程逐步增加地训练这些模式，并自动确定全局状态的适当数目。对这些模式的逐步增加的训练可以使处理在很长的时间段内连续地运行，以便捕捉一个完整的训练样本集合，该训练样本包含模型化场景的各种图像变化。对全局状态的数目的自动确定可以使模型尺寸最小化，这依次减少处理对存储器的要求，并加速背景-前景的分割过程。

图3示出了一个示例性的训练处理。该示例性训练处理包括一个渐增的程序，该程序中可以将数目不限的训练样本传送到该模型。每次向模型传送一个新的样本图像(即，将新图像It传送到步骤305中的模型)，则处理300首先执行一个预期步骤(EM算法中的E-步骤)用于确定最可能的全局状态ξ^*(步骤310)和对图像的每个像素最可能的高斯混合模式，α_x，y(步骤315)。应注意这些步骤类似于分割过程处理200中的步骤。

在步骤320中，确定所选择的状态的相同图像的似然概率。然后，根据所选择的全局状态的样本图像的似然概率值(步骤325)，处理300在调整所选择状态的参数(步骤335)或增加一个新的状态(步骤330)之间进行选择。若所选择状态的样本图像的似然概率大于一个全局阈值(步骤325＝是)，则调整所选择状态的参数(步骤335)。若所选择状态的样本图像的似然概率小于或等于全局阈值(步骤325＝否)，则增加一个新的状态(步骤330)

在步骤340，确定每个像素位置的所选择高斯混合模式的各个似然概率。然后，根据每个像素位置的所选择的高斯混合模式的各个似然概率，该算法在调整所选模式或增加新模式之间进行选择。为此，在步骤345，选择一个像素。若该像素位置的所选高斯混合模式的各个似然概率大于像素阈值(步骤350＝是)，则调整所选择的模式(步骤360)，否则(步骤350＝否)增加一个新的模式(步骤355)。若还有更多像素(步骤365＝是)，则方法300继续到步骤345，否则(步骤365＝否)，该方法继续到步骤370。若还有更多的样本图像需要处理(步骤370＝是)，则方法300继续到步骤305，否则(步骤370＝否)方法结束。

应注意在示例性训练方法300中使用两个阈值：一个用于确定每个像素位置，另一个用于确定图像的全局状态。

每个像素位置的每个高斯混合模式优选地保持跟踪计算其参数所用的样本总数，以致当增加一个新的样本时，可以渐增地进行该参数的再次估计。例如，可以利用下述公式简单地更新高斯混合模式的平均值和协方差：

${\stackrel{\‾}{I}}_{\mathrm{\α},x,y}=\left(\frac{1}{1+K_{\mathrm{\α},x,y}}\right)\{I_{x,y}^t+K_{\mathrm{\α},x,y}{\stackrel{\‾}{I}}_{\mathrm{\α},x,y}\},$

${\mathrm{\Σ}}_{\mathrm{\α},x,y}=\frac{1}{K_{\mathrm{\α},x,y}}\[{(I_{x,y}^t-{\stackrel{\‾}{I}}_{\mathrm{\α},x,y})}^{\′}(I_{x,y}^t-{\stackrel{\‾}{I}}_{\mathrm{\α},x,y})+(1-K_{\mathrm{\α},x,y}){\mathrm{\Σ}}_{\mathrm{\α},x,y}\]$

其中K_a，x，y是用于训练该高斯混合模式已经使用的样本数目。

类似地，每个全局状态都保持跟踪用于训练的样本总数，从而当增加一个样本时，考虑到新样本的增加，可以利用各个状态和高斯混合模式的使用率统计来更新概率表G(ξ，α_x，y)。

有利地，总体模型只通过每个像素位置的一个状态和一个高斯混合模式被初始化。同样，在预期步骤(步骤315和步骤320)中使用全局状态和/或高斯混合模式之前应当需要最少10个样本。

背景模型的增强

如前所述，背景-前景分割处理300定义和改进了训练阶段中的概率表170-11到170HW(这里总称为“概率表170”)。初始时，概率表170包括一个用于输入图像155的每个像素的概率表。以下将结合图4说明，背景模型目标分类处理400改变了背景模型的概率表170，以容纳通常为静止的目标的指示。通过这种方式，若一个目标运动了，且该目标预先被识别为通常静止的目标，则该目标在背景-前景分割期间将不会不必要地成为前景部分。

在背景模型目标分类处理400的示例性实施中，移动目标被归类为两种集合之一。第一集合包括通常独立运动的目标，例如人和动物，第二集合包括通常静止的目标，例如家具。通常，一旦一个目标被分配到第二集合，则即使该目标运动了，该目标也将保留在背景中(通常，该目标的移动会使该目标成为前景部分)。通过这种方式，当背景目标移动时，背景目标不会不必要地成为前景部分。

图4是表示结合本发明特征的示例性背景模型目标分类处理400的流程图。如图4所示，一开始背景模型目标分类处理400在步骤405期间，利用已知的连接成份分析技术将每个图像的前景中的像素进行分组，从而形成严格目标，称为团点(blob)。

然后在步骤410中执行测试，直到确定背景目标已被移动了超过一特定阈值T。可以检测背景目标的移动，例如，利用公知的光流方法。通常，背景被抑制为两个连续的图像，前景被减去，从而检测运动，给定目标运动了多远，和运动速度。这里可以使用宽高比信息和多帧处理技术，例如2001年2月27日提交的序列号为09/794443，标题为“Classification of Objects Through Model Ensembles”的美国专利申请，该专利申请在这里引作参考。

一旦在步骤410中检测到背景目标的运动，则在步骤420中执行进一步测试，以确定该运动的背景目标是否通常为静止的。例如，上述2001年2月27日提交的序列号为09/794443，标题为“Classification ofObjects Through Model Ensembles”的美国专利申请中所述的技术就可以用来将目标分类为无生命目标，例如一件家具，并可以建立一套规则来指示某些所分类的目标是否通常为静止。

若在步骤420中确定，运动的背景目标通常为静止，则在步骤430对与该目标相关的像素设置一个标识，指示该运动目标通常为静止。

然而，若在步骤420中确定，运动的背景目标通常不是静态的，则在步骤440对与该目标相关的像素设置一个标识，指示该运动目标通常独立运动。然后在步骤460程序控制终止，直到在步骤410中再次检测到背景目标的运动。

附加实施例

一般惯例是，利用消除总和需要的最高概率来近似高斯模式的高斯混合概率，这样可避免方程的进一步简化。

利用两个级别的近似，(a)每个像素的混合之和变成下式：

$\underset{\∀\mathrm{\α}}{\mathrm{\Σ}}G(\mathrm{\ξ},{\mathrm{\α}}_{x,y})N(I{;\stackrel{\‾}{I}}_{\mathrm{\α},x,y},{\mathrm{\Σ}}_{\mathrm{\α},x,y})\∞\underset{x,y}{\max }G(\mathrm{\ξ},{\mathrm{\α}}_{x,y})N(I{;\stackrel{\‾}{I}}_{\mathrm{\α},x,y},{\mathrm{\Σ}}_{\mathrm{\α},x,y})$

和(b)各种全局状态之和变成下式：

$\underset{\∀\mathrm{\α}}{\mathrm{\Σ}}P\left(I\right|\mathrm{\ξ},\mathrm{\Ω})P\left(\mathrm{\ξ}\right|\mathrm{\Ω})\≈\underset{\mathrm{\ξ}}{\max }P\left(I\right|\mathrm{\ξ},\mathrm{\Ω})P(\mathrm{\ξ},\mathrm{\Ω}).$

公式{4}可以简化为下式：

$P\left(I\right|\mathrm{\Ω})\≈\underset{\mathrm{\ξ}}{\max }\underset{\∀(x,y)}{\mathrm{\Π}}\underset{{\mathrm{\α}}_{x,y}}{\max }G(\mathrm{\ξ},{\mathrm{\α}}_{x,y})N(I;{\stackrel{\‾}{I}}_{\mathrm{\α},x,y},{\mathrm{\Σ}}_{\mathrm{\α},x,y}).---\left\{7\right\}$

应注意双重最大化。第一个最大化在像素级别，被用来考虑现有的每个全局状态来确定优选匹配高斯模式。第二个最大化在图像级别被用来确定具有观察的最大似然概率的状态。

另一个加速该系列算法的实施的惯例是，计算概率的对数，而不是实际的概率。该情况下，不需要评价高斯分布的指数函数，由于对数的减小范围，公式{7}的乘积变成为利用定点运算可以实现的总和。

应当注意这里描述的模型可以被修改，以致当前写入的若概率大于阈值时执行一个功能的测试步骤，可以按照修改后的规则被重写，从而若概率低于阈值或在该值的一定范围内，则相同的测试步骤将执行相同的功能。测试步骤仅仅是对正在讨论的特定模型例子的举例说明。不同的模型可能需要不同的测试步骤。

应当理解，这里所描述的实施例和变化都仅仅是对本发明原理的举例说明，在不脱离本发明范围和精神的前提下，本领的技术人员可以进行各种修改。

Claims (20)

1.一种方法，包括：

检索场景的一个图像，该图像包括多个像素；

得到所述场景的背景模型；和

在所述背景模型中提供一个指示，指示所述背景模型中的目标通常都是静止的。

2.如权利要求1所述的方法，还包括将与运动目标相关的像素信息转移到所述目标的新位置的步骤。

3.如权利要求1所述的方法，还包括将所述目标保持在所述背景中的步骤。

4.如权利要求1所述的方法，还包括即使所述目标运动时，也将所述目标保持在所述背景中的步骤。

5.如权利要求4所述的方法，其中利用光流方法来检测所述背景模型中的目标的所述运动。

6.如权利要求5所述的方法，其中所述光流方法指示所述运动的目标在所述图像中的新位置。

7.如权利要求1所述的方法，其中当所述目标运动超过了特定阈值时，提供所述背景模型中的目标通常静止的所述指示。

8.如权利要求1所述的方法，其中所述获取所述场景的背景模型的步骤还包括确定对应图像中像素的至少一个概率分布的步骤，利用模型执行的确定步骤，其中将图像中的至少一些像素模拟为与其它像素相关。

9.如权利要求1所述的方法，其中所述背景模型包括表示表示场景的全局状态的概率的项目和表示在该场景全局状态条件下的像素外观概率的项目。

10.如权利要求1所述的方法，其中该方法还包括以下步骤：

为模型提供训练图像；

确定模型参数；和

执行提供训练图像和对预定数目的训练图像确定参数的步骤。

11.一种系统，包括：

存储计算机可读代码的存储器；和

与所述存储器操作耦合的处理器，所述处理器被配置来执行所述计算机可读代码，所述计算机可读代码被配置来：

检索场景的一个图像，该图像包括多个像素；

得到所述场景的背景模型；和

在所述背景模型中提供一个指示，指示所述背景模型中的目标通常都是静止的。

12.如权利要求11所述的系统，其中所述处理器还被配置来将与运动目标相关的像素信息转移到所述目标的新位置。

13.如权利要求11所述的系统，其中所述处理器还被配置来将所述目标保持在所述背景中。

14.如权利要求11所述的系统，其中所述处理器还被配置来，即使所述目标运动，仍将所述目标保持在所述背景中。

15.如权利要求14所述的系统，其中利用光流系统来检测所述背景模型中的目标的所述运动。

16.如权利要求15所述的系统，其中所述光流系统指示在所述运动的目标的所述图像中的新位置。

17.如权利要求11所述的系统，其中当所述目标运动超过了特定阈值时，提供所述背景模型中的目标通常是静止的所述指示。

18.一种制造商品，包括：

其上配备有计算机可读代码装置的计算机可读介质，所述计算机可读程序代码装置包括：

检索场景的一个图像的步骤，该图像包括多个像素；

得到所述场景的背景模型的步骤；和

在所述背景模型中提供一个指示的步骤，指示所述背景模型中的目标通常都是静止的。

19.一种方法，包括

检索场景的一个图像，该图像包括多个像素；

得到所述场景的背景模型；和

在所述背景模型中提供一个指示，指示所述背景模型中的目标是无生命的目标。

20.如权利要求19所述的方法，还包括将所述无生命目标保持在所述背景中的步骤。

如权利要求19所述的方法，还包括即使所述无生命目标运动，也将所述无生命目标保持在所述背景中的步骤。

Images