CN101326514A - 实况视频中的背景移除 - Google Patents

Abstract

示例性系统和方法在视频序列中将前景从背景图像中分割出来。在一个实现中，系统通过在保持分割边界自身的对比差的同时衰减背景对比差来提炼前景和背景图像之间的分割边界，实时提供了对实况视频的精确背景切割。然后，替换背景可以与所述实况视频内分割出的前景合并。该系统可应用一个自适应背景颜色混合模型以便在诸如摄像机移动、照明变化以及背景中的小对象的移动等各种背景变化的情况下改进前景从背景中的分割。

Description

实况视频中的背景移除

背景

层提取一直以来是计算机视觉领域中的研究课题。最近的研究工作显示前景层可从例如电话会议的情形中的双目立体视频中被精确而高效地提出(即，接近实时)。在一个应用中，这种前景层提取被用来执行高质量实况背景替换。双目方法的成功源自多提示信息(即，立体、颜色和对比差提示信息)的概率融合。

然而，在大多数现实的视觉通信情形下，例如电话会议或即时消息通信，大多数用户只有单个web摄像头在工作。所需要的是，使用这种单个web摄像头的有质量的前景层提取。对于一个典型的场景(例如，具有非静态“移动”背景)，自动前景层提取在本领域的当前状况下仍然是一个巨大挑战。但是，在一种特殊的情况下，即背景是已知并固定的情况下，从单个摄像头中获得高质量、实时的前景提取(或背景移除)是有用的。

为了解决这个问题，最有效的方法是背景减除。背景减除将前景对象检测为当前图像与一个预先存在、已知的背景图像的差。然而，这种背景减除仍然存在复杂的问题：首先，背景减除中的阈值对于噪声和背景照明变化是很敏感的。一个较大的阈值检测到较少的前景像素，反之亦然。第二，前景颜色和背景颜色会碰巧非常相似，导致检测的前景对象中存在洞。已提出更复杂的技术来克服这些问题。但是结果仍然是容易出错并且不能够足够准确以进行高质量实况前景提取。

最近的交互图像和视频分割技术显示出基于颜色/对比差的模型的有力效果。基于颜色/对比差的模型考虑对手动获得的前景/背景颜色模型的颜色相似度和沿分割边界的对比差(或边缘)强度两者。最终前景层通过采用最小割算法被全局地确定。但是即使采用颜色和对比差提示信息的背景减除方法仍然不足以进行正确的前景提取。

一个直接的改进是结合以上两个技术-从背景减除中构建前景和背景颜色模型，然后运用以上基于颜色/对比差的模型。由于背景图形是已知和固定的，所以背景颜色模型可以被建模成全局颜色模型与更精确的单像素颜色模型的混合。这个组合可产生更精确的分割结果，并在此处被称为(常规的)“基本模型”。

然而，基本模型中仍然存在问题。由于基本模型同时考虑颜色和对比差两者，所以最终的分割边界在有杂斑的背景中不可避免地会吸引或牵引到高对比差边缘。尽管这种差错在边界周围是小的或者仅在部分帧中发生，但是由该差错引起的正在播放的视频中的闪烁伪影在最终的合成视频中会是非常使人分心且不舒服的。

概述

示例性系统和方法在视频序列中将前景从背景图像中分割出来。在一个实现中，系统在保持分割边界自身的对比差的同时通过衰减背景对比差来提炼前景和背景图像之间的分割边界，实时提供了对实况视频的精确背景切割。然后，替换背景可以与在实况视频中分割出的前景合并。该系统可应用一个自适应的背景颜色混合模型以便在诸如摄像机运动、照明变化以及背景中的小对象的移动等各种背景变化的情况下改进前景从背景中的分割。

提供本概述以便以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并非意在确定所请求保护的主题的关键特征或重要特征，也并非意在用来帮助确定所请求保护的主题的范围。

附图简述

图1是在实况视频中执行背景移除的示例性系统的图示。

图2是示例性视频层提取引擎的框图。

图3是示例性背景衰减和背景替换的图示。

图4是示例性背景移除对比常规的背景移除的图示。

图5是一视频帧中的像素对与该视频帧的已知背景中的对应像素对的对比差属性的示例性比较的图示。

图6是基于对比差图中经衰减的背景的示例性改进的分割结果的图示。

图7是使用不同的背景对比差衰减参数值产生的示例性对比差图的图示。

图8是基于经衰减的背景对比差来提炼分割边界的示例性方法的流程图。

图9是比较视频帧和已知背景之间的像素对以便通过衰减背景中的对比差来提炼分割边界的示例性方法的流程图。

图10是使用自适应的背景颜色混合模型来维持视频序列中的背景的示例性方法的流程图。

详细描述

概要

本公开描述在实况视频中将前景从背景中自动分离。示例性系统和方法比常规技术具有更高的背景切割精度。一个示例性系统将前景和背景视觉层与实况视频的高质量、实时的分离。然后，在一个典型的应用中，前景通过背景替换可放置于不同的背景布景中。

在一个实现中，该示例性系统应用一个有时在此处被称为“背景切割”的层提取方法。在一个带有移动的前景对象和固定背景的视频序列中，背景切割方法采用示例性背景对比差衰减方法来大大减少因背景杂斑中的高对比差边缘引起的分割错误。由此，示例性背景切割方法结合背景减除、颜色提示信息和对比差提示信息来精确而有效地提取前景层。在该示例性背景切割方法中，背景减除不仅基于图像颜色，而且还基于在背景中被衰减的图像对比差以更精确地确定分割边界。

重要的是，背景对比差衰减仅引入自适应地衰减背景中的对比差，而同时保持了存在于前景/背景边界上的对比差。示例性背景对比差衰减利用在大多数情况下背景中的那种对比差(或更准确地说，颜色图像梯度)与存在于前景/背景边界上的那种对比差是不相似的事实。因此，使用示例性背景切割，由背景杂斑引起的层提取错误可大大减少。示例性系统对实时应用中发生的各种背景伪影和变化也是鲁棒的。

另外，本公开描述支持精确和有效的背景切割方法的背景维持的示例性方法。在各种实现中，全局和单像素背景颜色的自适应混合模型改进了示例性系统和方法在视频经受各种背景变化时的鲁棒性。

在一个实现中，示例性系统的目标是使用单个web摄像头实现高质量前景层提取。因此，该示例性系统的一个实现解决了虽然有些受限但普遍有用的现实问题：当存在已知、固定的背景时从单个摄像头中高质量、实时地提取前景(或背景移除)。

示例性环境

图1示出示例性系统在其中将前景视频对象或层102从背景层104中自动分离的计算环境100。计算设备106与显示器108相连并且主宿一个示例性视频层提取引擎110。通过将自适应背景对比差衰减作为示例性层提取的一部分来执行，视频层提取引擎110精确地、实时地将前景层102从背景层104中分割出来。然后，可选择地，在一个实现中，视频层提取引擎110用新的背景层112替换原始背景层104。

基本模型

尽管以下将进一步描述的示例性引擎拥有上述“基本模型”所不包括的组件和功能，但是基本模型为示例性引擎提供基本的视频层提取框架。即，在一个实现中，视频层提取引擎110构建在基本模型中所使用的概念之上。因此，现在将描述基本模型，以作为以下进一步描述示例性引擎的基础。

在一个实现中，令I^B为已知背景图像且I为当前时间步处的将要被处理的图像。I_r ^B和I_r分别是像素r在I^B和I中的颜色值。令V为I中所有像素的集合，ε为I中所有相邻像素对(4个相邻点或8个相邻点)的集合。前景/背景分割可作为一个双值标记问题被提出-为每个像素r∈V分配唯一标签x_r，即，x_r∈{前景(＝1)，背景(＝0)}。标记变量X＝{x_r}可通过最小化等式(1)的Gibbs能量E(X)来获得：

$E\left(X\right)=\underset{r\∈\mathrm{\υ}}{\mathrm{\Σ}}{E}_1\left(x_r\right)+\mathrm{\λ}\underset{(r,s)\∈\mathrm{\ϵ}}{\mathrm{\Σ}}{E}_2(x_r,x_s),---\left(1\right)$

其中E₁(x_i)是颜色项，对像素r的标签是x_r时的成本进行编码；E₂(x_r，x_s)是对比差项，表示相邻节点r和s的标签分别是x_r和x_s时的成本。参数λ平衡两个项的影响。

基本模型的颜色项

为了对每个像素r是属于前景还是背景的可能性进行建模，从样本中学习得到前景颜色模型p(I_r|x＝1)和背景颜色模型p(I_r|x＝0)。两个模型均由空间全局高斯混合模型(GMM)表示。

全局背景颜色模型p(I_r|x＝0)可直接从已知背景图像I^B中学习得到，如等式(2)所示：

$p\left(I_r\right|x=0)=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_k^{b}N\left(I_r\right|{\mathrm{\μ}}_k^b,{\mathrm{\Σ}}_k^b),---\left(2\right)$

其中N(·)是高斯分布，且(w_k ^b，μ_k ^b，∑_k ^b)表示背景GMM的第k个分量的权重、颜色均值以及协方差矩阵。对于背景，K的典型值是15。对于固定背景，还可使用单像素单个同位素高斯分布p_B(I_r)对背景颜色更精确地建模，如等式(3)所示：

$p_B\left(I_r\right)=N\left(I_r\right|{\mathrm{\μ}}_r^B,{\mathrm{\Σ}}_r^B),---\left(3\right)$

其中 ${\mathrm{\μ}}_r^B=I_r^B$ 且 ${\mathrm{\Σ}}_r^B={\mathrm{\σ}}_r^{2}I.$ 单像素方差σ_r ²可从背景初始化阶段学习得到。单像素颜色模型比全局颜色模型更准确，但对噪声、照明变化以及背景的微小移动敏感。全局背景颜色模型准确度相对不高，但更鲁棒。因此，改进的方法是混合两个模型，如等式(4)所示：

p_mix(I_r)＝α·p(I_r|x＝0)+(1-α)·p_B(x_r)    (4)

其中α是全局和单像素背景颜色模型的混合因子。

全局背景颜色模型从背景减除中学习得到。有了单像素背景颜色模型，示例性系统可将具有非常低的背景可能性的像素标记为“绝对前景”。令B、F、U分别表示“绝对背景”、“绝对前景”和“不确定区域”，产生等式(5)：

其中t_b和t_f是两个阈值。接着，全局前景颜色模型p(I_r|x＝1)从F中的像素中学习得到。为了加强时间相关性，系统还从F和前一时间步处的帧中被标记的前景区域(分割后)的交集中对像素采样。因为前景颜色通常比背景颜色简单，所以，对于前景，分量数K被设置为5，。

最后，如等式(6)定义颜色项：

$E_1\left(x_r\right)=\left\{\begin{array}{cc}-\log p_{\mathrm{mix}}\left(I_r\right)& x_r=0\\ -\log p\left(I_r\right|x_r=1)& x_r=1\end{array}\right.---\left(6\right)$

基本模型的对比差项

对于两个相邻像素r和s，如等式(7)定义它们之间的对比差项E₂(x_r，x_s)定义：

E₂(x_r，x_s)＝|x_r-x_s|·exp(-βd_rs)，    (7)

其中d_rs＝||I_r-I_s||²是颜色差的L₂范数，此处被称为“对比差”。β是鲁棒参数，它对颜色对比差加权并且可被设置成β＝(2<||I_r-I_s||²>)^-1，其中<·>是期望算子。因子|x_r-x_s|允许该项仅沿分割边界捕捉对比差信息。换言之，对比差项E₂是当相邻像素被赋予不同标签时的惩罚项。两个相邻像素的颜色越相似，对比差项E₂越大，因此边缘越不可能位于前景对象的边界上。

为了最小化等式(1)中的能量E(X)，可使用一个最小割算法的实现。

示例性引擎

图2更具体地示出图1的示例性视频层提取引擎110。示例性引擎110不但可根据以上展示的基本模型来执行，而且还拥有那些基本模型以外的组件和功能。示例性视频层提取引擎110所示出的配置仅仅是一个实现，并且意在仅提供一个示例布局以供总览。在本主题的范围之内可能存在示出的组件或类似组件的许多其它安排。这种示例性引擎110可以用硬件、软件或硬件、软件、固件等组合来执行。

在一个示出的配置中，示例性视频层提取引擎110包括前景层提取器202、自适应背景维持引擎204和背景替换引擎206。

前景层提取器202还包括分割引擎208，该分割引擎为了分离前景和背景例如通过用不同于背景像素的值标记前景像素以将前景从背景中区分出来的。前景层提取器202还包括跟踪底层固定或“静态”背景层的背景图像管理器210。这帮助确定图像的哪些像素鉴于建立前景的边界确定可按默认方式标记为背景。前景层提取器202还包括描绘出图像的前景区和图像的背景区之间的边界的边界确定引擎212。

边界确定引擎212还包括将前景颜色建模到前景调色板215中并将背景颜色建模到背景调色板216中的颜色评估器214。接着，颜色评估器214可基于前景像素和背景像素的颜色属性将前景像素从背景像素中区分出来，由此提供一种用于确定前景和背景之间的边界的提示信息。

边界确定引擎212还包括还基于前景像素和背景像素的对比差属性(即，它们的颜色图像梯度)将前景像素(或像素对)从背景像素中区分出来的对比差评估器218。对比差评估器218主要通过在不干扰边界对比差的前提下衰减背景对比差来提供用于确定前景和背景之间的边界的对比差提示信息。因此，背景对比差衰减器220减小被确定为位于背景中、构成强视觉边缘的像素对上的对比差，而边界保持区分器222维持组成前景和背景之间的视觉界线(边缘)的像素对上的对比差。如果像素对被确定为位于背景中，则这可以通过使用一个大的衰减参数值来实现；如果像素被确定为位于前景/背景边界上，则这可以通过使用一个小的衰减参数值来实现。采用经背景对比差衰减器220衰减的背景对比差和经边界保持区分器222保持的边界对比差，对比差评估器218向边界确定引擎212提供强而可靠的对比差提示信息，其中这些对比差提示信息与来自颜色评估器214的颜色提示信息一起使用以用于决定前景和背景之间的分割界线应在何处。

以上引入的自适应背景维持引擎204还包括单像素背景颜色模型224和全局背景颜色模型226。另外，背景替换引擎206还可包括替换背景输入228和视频层合并引擎230。

所示出的视频层提取引擎110的各组件只是出于描述目的一种配置。示例性视频层提取引擎110的其它实现可具有不同组件或组件的不同安排。

图3示出用于描述示例性视频层提取引擎110的功能的一些元素。来自视频序列的图像I302是对应的对比差图304的源。为了显示，每个像素的对比差被计算为

其中r_x和r_y是位于像素r的左边和上方的两个相邻像素。示例性视频层提取引擎110得到一个经衰减的对比差图306，其中对比差图306的背景部分307已被衰减。背景图像I^B 308表示前景被提取出的图像I302。背景对比差图310可在得到以上衰减对比差图306(其前景保持没有被衰减)的过程中使用。可选择地，新背景可与被分割出的前景一起使用来产生一个带有新背景的最终前景提取结果312。

示例性引擎的操作

在图2的边界确定引擎212(该边界是前景和背景之间的分界)中，背景对比差衰减基于一个重要的观察，即背景像素上(例如，两者之间，或多个之间)的对比差与前景/背景边界上的对应像素上的对比差是不相似的。参考图3，帧304和帧310分别示出当前图像和背景图像的对比差图。由前景/背景边界引起的对比差图304中的大多数对比差与对比差图310中的对比差不一致。基于这个观察，背景对比差衰减自适应地修改对比差图304以产生一个衰减的对比差图306。在对比差图306中，背景中的大多数对比差被移除，而良好保持由前景/背景边界引起的对比差。使用这个衰减的对比差图306，如帧312所示的，示例性背景切割方法可从有杂斑的背景中提取高质量的前景层。背景图像308还表明，对比基本模型，分割错误可被大大减少。

上述背景一节中引入的“基本模型”通常在视频的许多帧中产生良好的层提取结果。然而，当画面包含背景杂斑时，经常发生边界周围的明显的分割错误。这在视频中产生闪烁的伪影。大多数的不正确的分割边界沿着背景中的强边缘经过。这些错误主要由基本模型中的对比差项导致，如等式(8)所示：

E₂(x_r，x_s)＝|x_r-x_s|·exp(-β·d_rs).    (8)

示例性边界确定引擎212通过移除或衰减背景中的对比差修正了这个偏差从而得到更精确的分割结果。

背景对比差衰减

在一个可能的实现中，由于“基线”或实质上固定的背景图像(例如，当没有前景存在时)对于背景管理器210是已知的，所以分割引擎208可应用一种从当前图像I304的对比差中减去背景图像I^B 310的对比差的直接技术。为了避免硬取阈，并且经各向异性扩散概念所提示，背景对比差衰减器220可通过背景图像中的对比差||I_r ^B-I_s ^B||²将图像I中的两个相邻像素(r，s)之间的对比差从d_rs＝||I_r-I_s||²衰减至d′_rs：

$d_{\mathrm{rs}}^{\&prime;}={\left|\right|I_r-I_s\left|\right|}^2\&CenterDot;\frac{1}{1+{\left(\frac{\left|\right|{I_r}^B-I_s^B\left|\right|}{K}\right)}^2},---\left(9\right)$

其中K是控制衰减力度的常数。背景中的对比差||I_r ^B-I_s ^B||²越大，越多的衰减将应用到图像I中的对比差||I_r-I_s||²上。

然而，图4示出对比差图402、406、410和对应的分割结果404、408、412，其中采用以上的直接技术得到的结果与由示例性视频层提取引擎110得到的改进结果作比较。对比差图402和对比差图406示出在上述直接“软”对比差相减之前和之后的对比差。不幸的是，由前景/背景边界407引起的对比差也被衰减了。简单的减法产生了不令人满意的分割结果408，其中前景不正确地包括部分背景409。

因此，在另一个实现中，对比差评估器218具有一个执行示例性自适应背景对比差衰减方法的背景对比差衰减器220。背景对比差衰减器220可衰减背景中的大多数对比差，而同时边界保持区分器222保持沿前景/背景边界的对比差。这些可应用等式(10)给出的示例性技术来实现在保持前景/背景边界的同时自适应地执行背景对比差衰减的目标：

$d_{\mathrm{rs}}^{\&prime;\&prime;}={\left|\right|I_r-I_s\left|\right|}^2\&CenterDot;\frac{1}{1+{\left(\frac{\left|\right|I_r^B-I_s^B\left|\right|}{K}\right)}^2\exp (-\frac{z_{\mathrm{rs}}^2}{{\mathrm{\&sigma;}}_z})},---\left(10\right)$

其中，如图5(a)所示，z_rs测量图像I中的像素对(I_r，I_s)与背景图像I^B中的像素对(I_r ^B，I_s ^B)之间的不相似度。对z_rs的类似Hausdorff距离的定义是：

$z_{\mathrm{rs}}=\max \left\{\right||I_r-I_r^B||,||I_s-I_s^B|\left|\right\}.---\left(11\right)$

如果z_rs小，则像素对(I_r，I_s)具有属于背景的高可能性，并且衰减力度被背景对比差衰减器220设置为大的 $(\exp (-z_{\mathrm{rs}}^2/{\mathrm{\&sigma;}}_z)\&RightArrow;1)$ 。否则，像素对(I_r，I_s)很可能具有由前景/背景边界引起的对比差，并且衰减力度被边界保持区分器222设置成小的 $(\exp ({-z}_{\mathrm{rs}}^2/{\mathrm{\&sigma;}}_z)\&RightArrow;0).$

图4还示出背景对比差衰减器220自适应地应用等式(10)之后的对比差图410。如图所示，背景411中的大多数对比差被大大衰减并且沿前景对象边界413的大多数对比差保持良好。分割结果412是背景移除后对应的图像。图6的最后两行608和610还示出衰减后的对比差图和满意的分割结果。

图7示出使用不同的K和z_rs参数值的衰减结果。对比差图704显示大的K值将减小衰减力度。小的z_rs值将使得图像中保留更多对比差(诸如对比差图706)，并且反之亦然(如对比差图708)。在一个实现中，如对比差图702所示，K和z_rs的默认值分别设置为5和10，以便获得平均的良好分割结果。这些值是相当稳定的-当K和z_rs分别在范围(2.5-10)和(5-20)内变化时，分割结果中没有出现明显变化。

如果背景图像中没有一定大小的照明变化，则自适应背景对比差衰减器220在大多数情况下运作良好。为了使背景对比差衰减更加鲁棒，使用一个对大的明变化不敏感的z_rs的量度：

$z_{\mathrm{rs}}=\left|\right|\stackrel{\&RightArrow;}{v}(I_r,I_s)-\stackrel{\&RightArrow;}{v}(I_r^B,I_s^B)\left|\right|,---\left(12\right)$

其中，如图5(b)所示，

是RGB色空间内从点a到点b的向量。如果两个相邻像素的颜色变化被假定为是相同的，则量度z_rs是照明不变的(同样如图5(b)所示)。

背景维持

现实的视频场景中的一个挑战是背景维持。提出过许多常规的技术来处理背景中的各种变化，例如照明的渐变和突变(办公室中的电灯开关的开和关)、背景中的小的移动的对象(例如，移动的窗帘)、不经意的摄像机抖动(例如，膝上型计算机上的web摄像头)、休眠对象(移动到背景中并然后变成静止的对象)、走动对象(从背景中移走并暴露出新的背景部分的对象)以及由前景对象投射的阴影等。自适应背景维持引擎204通过使用自适应混合模型使示例性系统对背景变化更实用和鲁棒。

在一个实现中，自适应背景维持引擎204采用全局226和单像素224背景颜色模型的自适应混合。对于“基本模型”或具有颜色和对比差项两者的模型的颜色项，全局背景颜色模型226(对于背景变化更鲁棒)和单像素背景颜色模型224(更精确)之间存在折衷。诸如基本模型等模型中的混合因子通常是一个固定值。为了最大化鲁棒性，诸如示例性视频层提取引擎110等改进的系统自适应地调整一个相似的混合因子。因此，如果前景颜色和背景颜色能被很好地分开，则自适应背景维持引擎204更依赖全局颜色模型226，使得整个系统对于背景的各种变化具有鲁棒性。否则，引擎110依赖全局226和单像素224颜色模型两者。

在一个实现中，为了实现这个目标，自适应背景维持引擎204基于全局背景颜色模型226和单像素背景颜色混合模型224的辨别能力自适应地混合这两个模型。在一个实现中，自适应背景维持引擎204采用两个高斯混合模型(GMM)之间的Kullback-Liebler散度的逼近，如等式(13)所示：

${\mathrm{KL}}_{\mathrm{fb}}=\underset{k=0}{\overset{K}{\mathrm{\&Sigma;}}}{w}_k^f\underset{i}{\min }(\mathrm{KL}\left(N_k^f\right|\left|N_i^b\right)+\log \frac{w_k^f}{w_i^b}),---\left(13\right)$

其中N_k ^f和N_i ^b分别是前景GMM的第k个分量和背景GMM的第i个分量。N_k ^f和N_i ^b之间的KL散度可以被分析地计算。在一个实现中，背景颜色模型224的自适应混合由等式(14)和(15)给出：

p′_mix(I_r)＝α′p(I_r|x＝0)+(1-α′)p_B(I_r)    (14)

${\mathrm{\&alpha;}}^{\&prime;}=1-\frac{1}{2}\exp (-{\mathrm{KL}}_{\mathrm{fb}}/{\mathrm{\&sigma;}}_{\mathrm{KL}}),---\left(15\right)$

其中σ_KL是控制KL_fb的影响的参数。如果前景和背景颜色能被很好地分开，即KL_fb是大的，则自适应背景维持引擎204将混合因子α′设置成一个大的值以便更依赖全局背景颜色模型226。否则，自适应背景维持引擎204将混合因子α′设置成一个小的值(例如，最小值为0.5)以便使用全局226和单像素224背景颜色模型两者。

示例性背景维持方案

由于视觉通信(例如，视频聊天)通常仅持续较短时间，所以例如由于摄像机的自动增益/白平衡控制、荧光灯的照明(与摄像机的帧捕捉异步)以及灯的开关等造成的照明突变是需要考虑的主要问题。另外，还存在可能的背景改变事件，例如，背景中的微小移动、不经意的摄像机抖动、背景中的“休眠”和“走动”对象。以下是基于上述全局226和单像素224背景颜色模型的自适应混合的示例性背景维持方案的一个实现。

照明突变

由摄像机的自动增益/白平衡控制或荧光灯的照明引起的照明变化通常是一个小的全局变化。在一个实现中，采用一个直方图规范来全局地调整背景图像。当在每个时间步处进行分割之后，自适应背景维持引擎204计算来自I和I^B中的标记背景区的两个直方图之间的直方图变换函数。然后，自适应背景维持引擎204应用这个变换以更新整体背景图像I^B。这个简单的示例性方法对于小的全局照明或颜色变化很有效果。

在一个实现中，自适应背景维持引擎204使用帧间差来检测相对大的照明突变(例如，由开关灯引起的)。如果差在高于一预先设定的阈值，则引擎204触发以下背景维持过程。

分割之前的照明突变：根据直方图规范更新背景图像I^B并且重建全局背景颜色模型226。将前景阈值t_f增加至3t_f以防止引入不正确的样本。初始化背景的不确定度映射 $\mathrm{UB}=\{u_r^B=1\}.$ 根据等式(16)修改背景颜色模型226的混合：

$p_{\mathrm{mix}}^{\&prime;}\left(I_r\right|x=0)={\mathrm{\&alpha;}}^{\&prime;}p\left(I_r\right|x=0)+(1-u_r^B)\&CenterDot;(1-{\mathrm{\&alpha;}}^{\&prime;})p_B\left(I_r\right).---\left(16\right)$

分割之后的照明突变：自适应背景维持引擎204根据等式(17)、(18)和(19)更新标记背景区中每个像素的颜色、方差和不确定性。

$I_{r,t}^B=(1-\mathrm{\&rho;})I_{r,t}^B+\mathrm{\&rho;}{I}_{r,t}---\left(17\right)$

${\mathrm{\&sigma;}}_{r,t}^2=(1-\mathrm{\&rho;}){\mathrm{\&sigma;}}_{r,t}^2+\mathrm{\&rho;}{(I_{r,t}-I_{r,t}^B)}^T(I_{r,t}-I_{r,t}^B)---\left(18\right)$

$u_r^B=(1-\mathrm{\&rho;})u_r^B+\mathrm{\&rho;}(1-\exp (-||I_{r,t}-I_{r,t}^B||/2{\mathrm{\&sigma;}}_{r,t}^{-2})),---\left(19\right)$

其中 $\mathrm{\&rho;}=\mathrm{\&beta;N}\left(I_{r,t}\right|I_{r,t}^B,{\mathrm{\&sigma;}}_{r,t}^2)$ 和β(例如，典型地为0.2)是一个学习速率。由于没有关于前景后面的隐藏像素的信息，所以前景后面的隐藏像素的不确定性没有减小。

背景中的移动

在一个实现中，自适应背景维持引擎204通过两种机制处理移动背景。首先，如果前景颜色和背景颜色能很好地分开，则自适应背景维持引擎204自动自我调节以便依赖全局背景颜色模型226，该模型对背景中的小移动或动态运动(例如，移动的窗帘)是鲁棒的。第二，如果在移动对象和前景之间没有交集，则自适应背景维持引擎204将分割结果中的最大的连接成分保持为前景对象。否则，如果没有更高层次的语义信息可用，则自适应背景维持引擎204将移动对象视为前景。然而，如果这种处理是不正确的，则一旦对象移动出视线或没有与前景交互，自适应背景维持引擎204就立即恢复。

休眠和走动对象

休眠和走动这两种情况基本类似：休眠对象是背景中的新的静态对象，而走动对象暴露新的背景区域。当这些新的像素没有和前景交叉时，自适应背景维持引擎204将这些新的像素吸收到背景中。当分割后，远离于前景(即，最大的连接成分)的那些小的连接成分被标识为新的像素。如果这些像素和它们的相邻像素在充足的时间段内被标记为前景，则在一个实现中，自适应背景维持引擎204触发背景维持处理(即，等式(17)、(18)和(19))将这些像素吸收到背景中。

不经意的摄像机抖动

摄像机抖动对于膝上型计算机用户经常发生。在一个实现中，自适应背景维持引擎204检测当前和前一帧之间的摄像机移位。如果该移位较小(例如，小于四个像素)，则由于全局背景颜色模型226对摄像机抖动不敏感，应用一个高斯模糊的背景图像(例如，标准方差2.0)并减小单像素颜色模型224的权重。

背景替换

可选择地，当前景和背景层经分割引擎208和边界确定引擎212确定之后，背景替换引擎206可将各层中的一个或其它层与新的或不同的层组合。在一个实现中，替换背景输入228接收或缓冲视频层合并引擎230将其与提取的前景组合的替换背景图像，以便实时地将前景对象(例如用户的图像)放置在新的或修改后的背景中。由于在示例性视频层提取引擎110的一个实现中，背景图像是固定的，所以要用来替换的新背景只能是画面或环境的静止图像。

示例性方法

图8示出基于衰减的背景对比差提炼分割边界的示例性方法800。在该流程图中，操作被概括在各个框中。取决于实现，示例性方法800可由硬件、软件或硬件、软件、固件等组合来执行，例如，由示例性视频层提取引擎110的组件来执行。

在框802处，确定将在实况视频序列中使用的背景图像的属性。

在框804处，使用颜色和对比差两个提示信息逼近实况视频序列中的前景。

在框806处，通过衰减背景对比差并同时保持分割边界的对比差来提炼前景和背景之间的分割边界。

图9示出比较视频帧与已知背景之间的像素对以便通过衰减背景中的对比差来提炼分割边界的示例性方法900。在该流程图中，操作被概括在各个框中。取决于实现，示例性方法900可由硬件、软件或硬件、软件、固件等组合来执行，例如，由示例性视频层提取引擎110的组件来执行。

在框902处，从视频帧中获得第一像素对并且从该视频帧所使用的已知背景图像中获得相应的第二像素对。视频帧来自实况视频序列。第一像素对来自当前实况视频序列本身而第二像素对来自作为该实况视频序列的背景布景来使用的已知背景图像。

在框904处，比较第一和第二像素对的对比差以确定它们是否它们彼此的不相似性是否超出一个阈值。由于对比差是一对或一组像素中的每个像素的属性之间的差，所以该属性可以是照明、颜色强度、灰度等。

在框906处，如果第一和第二像素对彼此的不相似性超出一个阈值，则来自视频帧中的第一像素对被指定为位于背景中。即，如果来自视频序列的像素对的对比差属性值与在已知背景中其对应的像素对的对比差属性值相同，则来自视频序列的像素对被认为是背景的一部分。

在框908中，现在被指定为背景的第一像素对受到大的衰减因子的影响而减小像素对的对比差。因此，背景中的像素对的对比差被衰减，即，背景边缘的强度被减小，或消失在对比差图中，只留下非常明显地提供了精确分割的分割界线。

在框910处，如果第一和第二像素对的对比差的不相似性超出一个阈值，则来自视频帧的该第一像素对被指定为位于前景和背景之间的分割边界上或与该分割边界相关联。

在框912处，或者通过不衰减第一像素对的对比差或者通过使用小的衰减因子衰减第一像素对的对比差来保持来自视频帧的第一像素对的对比差。这使得分割界线成为强边缘，以产生精确的分割。

图10示出使用自适应的背景颜色混合模型来维持视频序列中的背景的示例性方法1000。在该流程图中，操作被概括在各个框中。取决于实现，示例性方法1000可由硬件、软件或硬件、软件、固件等组合来执行，例如，由示例性视频层提取引擎110的组件来执行。

在框1002处，全局背景颜色模型从要被使用于视频序列的背景图像中学习得到。即，学习得到了描绘背景特征的全局颜色调色板。面对背景的微小改变，为了维持该背景，视频帧的受影响部分可被回复到全局背景颜色模型。

在框1004处，单像素背景颜色模型从视频序列的背景启动中学习得到。单像素颜色模型比全局颜色模型更准确，但对噪声、照明改变或背景中的小移动敏感。

在框1006中，在视频序列实况播放时，检测到背景中的变化。该变化可以是由摄像机抖动、照明变化、小对象移动到背景中或穿过背景或由前景投射的阴影引起。

在框1008中，调整全局和单像素背景颜色模型的混合来补偿检测到的变化。混合的比例取决于背景改变的类型。全局背景颜色模型一般对背景改变更鲁棒。而单像素背景颜色模型比全局模型更精确。

结论

尽管用对结构性特征和/或方法性动作专用的语言描述了示例性系统和方法，但应该理解，所附权利要求中定义的主题并不必然局限于以上所描述的具体特征或动作。相反，上述的具体特征和动作是作为实现所要求保护的方法、设备、系统等的示例性形式而公开的。

Claims (20)

1.一种方法，包括：

确定将在视频序列中使用的背景图像中的像素的颜色和对比差属性，其中除了当前景隐藏了所述背景图像的一部分时之外，所述背景图像占据所述视频序列的每个帧的整个区域；

基于所述前景中的像素的颜色和对比差属性对比所述背景图像中的像素的颜色和对比差属性之间的差逼近一划分所述视频序列中的前景的分割边界；以及

通过自适应地衰减背景对比差来提炼所述前景和所述背景图像之间的所述分割边界，其中所述衰减包括在维持与所述分割边界相关联的像素对的对比差属性值的同时减小所述背景图像中的像素对的对比差属性值。

2.如权利要求1所述的方法，其特征在于，当一像素对的对比差属性值与所述背景图像中的对应像素对的对比差属性值不相似时，所述提炼将所述像素对与所述分割边界相关联。

3.如权利要求1所述的方法，其特征在于，所述背景图像在所述视频序列中实质上是固定的。

4.如权利要求2所述的方法，其特征在于，还包括从单个摄像机中获得所述视频序列。

5.如权利要求1所述的方法，其特征在于，所述对比差属性包括颜色图像梯度。

6.如权利要求1所述的方法，其特征在于，还包括在所述分割边界处将所述前景从所述背景图像中分割出来。

7.如权利要求6所述的方法，其特征在于，还包括将所述前景与不同的背景图像合并。

8.如权利要求1所述的方法，其特征在于，还包括应用自适应混合模型以便在各种背景变化的情况下改进前景从背景图像中的分割。

9.如权利要求8所述的方法，其特征在于，还包括在所述视频序列期间维持所述背景图像，其中所述维持包括通过自适应地应用单像素背景颜色模型和全局背景颜色模型的加权混合来补偿所述视频序列期间所述背景图像中的变化。

10.如权利要求9所述的方法，其特征在于，还包括从所述背景图像中学习得到所述全局背景颜色模型。

11.如权利要求9所述的方法，其特征在于，还包括从背景启动阶段中学习得到所述背景颜色模型的单像素方差。

12.如权利要求9所述的方法，其特征在于，还包括根据所述背景图像中的变化类型对所述单个背景颜色模型和所述全局背景颜色模型的混合进行加权。

13.如权利要求9所述的方法，其特征在于，所述背景图像中的变化类型包括以下之一：噪声、照明变化、由于摄像机运动引起的所述背景的小移动、背景上的小对象移动以及小对象进入所述背景中并留在所述背景中。

14.一种系统，包括：

用于将前景从视频序列的背景中分离的前景提取器；

所述前景提取器中将所述视频序列中的像素标记为前景或者背景的分割引擎；

所述前景提取器中计算所述前景和所述背景之间的边界的边界确定引擎；

所述前景提取器中根据前景颜色和背景颜色计算所述边界的颜色评估器；

所述前景提取器中根据前景对比差和背景对比差计算所述边界的对比差评估器；

所述对比差评估器中衰减所述背景中的对比差而同时自适应地保持与所述边界相关联的对比差的背景对比差衰减器。

15.如权利要求14所述的系统，其特征在于，还包括获取和跟踪将作为所述视频序列中的所述背景使用的图像的颜色和对比差属性的背景图像管理器。

16.如权利要求14所述的系统，其特征在于，还包括获得所述视频序列的单个摄像机。

17.如权利要求14所述的系统，其特征在于，还包括背景维持引擎，所述背景维持引擎通过自适应地应用单像素背景颜色模型和全局背景颜色模型的加权混合来补偿所述视频序列期间背景图像中的变化。

18.如权利要求17所述的系统，其特征在于，所述背景维持引擎从所述背景中学习得到所述全局背景颜色模型并且所述背景维持引擎从背景启动中学习得到所述单像素颜色模型。

19.如权利要求14所述的系统，其特征在于，所述系统还包括将不同的背景与所述视频序列中所述分离出的前景合并的背景替换引擎。

20.一种系统，包括：

用于在视频序列中将前景从背景图像中分割出来的装置；

用于确定所述前景和所述背景图像之间的分割边界的装置；

用于根据与所述背景图像中的对应像素对的对比差的差来选择与所述分割边界相关联的像素对的装置；以及

用于通过在保持与所述分割边界相关联的像素对的对比差的同时衰减背景对比差来提炼所述分割边界的装置。

Images