CN102388391B - 基于前景-背景约束传播的视频抠图 - Google Patents

Abstract

一种用于将用于提供的前景-背景约束信息从第一视频帧传播到最后视频帧的方法允许用最少的用户交互来提取移动前景对象。执行视频抠图，其中，使用估计的每个帧的阿尔法抠图将从关于第一帧的用户输入推导出的约束传播到随后帧。帧的抠图被处理，以到达然后用于估计下一帧的抠图的粗略前景-背景分割。在每个帧，图像抠图方法使用传播约束，用于估计相应的抠图，其依次用于将约束传播到下一个帧等等。

Description

基于前景-背景约束传播的视频抠图

相关专利申请

本申请依据35U.S.C.§119(e)要求2009年2月10日提交的美国临时申请第61/207,261号的权益，其全部内容在此为了所有的目的以参考的方式结合入本申请。

技术领域

本发明一般涉及数字图像处理，尤其涉及视频图像的抠图(matting)方法和装置。

背景技术

图像抠图是用某些人类指导从图像中提取对象的处理。图像抠图可能是依靠有限用户输入的交互处理，通常以一些涂写的形式，来标记前景区和背景区。此后，“前景”指代要提取的对象，而“背景”指代图像中的其他一切。

视频抠图是图像抠图的扩展，其中，目的是从视频序列中提取移动的对象。视频抠图还可以用于视频处理设备(包括视频编码器)。例如，自动抠图提取(matte extraction)可以用于识别视频场景中的特定区(例如，关键区域)，并且然后仅仅将给定处理应用至该区(例如，去绑定(de-banding)或错误轮廓去除)。抠图提取还可以用于指导对象检测和对象追踪算法。例如，抠图提取技术可以用于检测在足球视频中的草地区域(即，球场)，这然后可以用于约束球追踪算法中的搜索范围。

在制片和电视中，抠图已经被用于将前景(例如，行动者)和背景(例如，风景)图像合成为最终图像。色度键(蓝屏幕)技术是广泛使用的方法，用于将行动者抠图至新的背景。很多传统技术依靠图像捕捉处理期间的受控环境。然而，关于数字图像，直接操纵像素成为可能，并且由此用某些人类指导将前景对象从目前图像中抠出。数字图像抠图在很多图像和视频编缉应用中使用，用于提取前景对象并且能够用于将若干对象合成为最终图像。

如上所述，图像抠图通常是交互处理，其中用户提供某些输入，诸如标记前景以及有可能背景区。标记越简单，处理就越用户友好。在易于使用界面中是用户用放置一些标记前景和背景区的数字刷涂写的那些界面(如图2A所示)。然后图像抠图处理使用随着用户输入的图像信息来确定前景对象的边界。

在若干图像抠图方法中，用户提供粗略的、通常是手绘的称作三分图(trimap)的分割，其中每个像素被标识为前景、背景或未知像素。(见Berman等人的U.S.Patent No.6,135,345，″Comprehensive method for removing from animage the background surrounding a selected object″；以及Y.Y.Chuang等人的″A Bayesian approach to digital matting，″Proc.IEEE Conf.on ComputerVision and Pattern Recognition，2001.)。其他方法允许更加友好的、基于涂写的交互，其中，用户用数字刷放置一些标记前景和背景区域的涂写(见J.Wang等人，″An iterative optimization approach for unified image segmentation andmatting，″Proc.IEEE Conf.on Computer Vision and Pattern Recognition，2005；以及A.Levin等人，″A closed-form solution to natural image matting，″IEEETrans，on Pattern Analysis and Machine Intelligence，vol.30，no.2，pp.228-242，2008年2月)。

在上面所有方法中，提供用户输入用于将前景从单个图像中抠出。视频抠图是更困难的问题，因为它可能涉及移动的前景对象。在该情形中，一个帧的用户输入对于随后帧可能是不准确的。此外，它是劳动密集型的，需要用户提供视频中每个帧的输入。

在Chuang等人提出的视频抠图方法中，三分图被提供给视频中若干关键帧中的每一个，并且使用前向和后向光流法(optical flow)将三分图内插到其他帧中(Y.Y.Chuang等人，″Video matting of complex scenes，″ACMTransactions on Graphics，vol.21，no.3，pp.243-248，2002)。然而，基于光流法的内插甚至对于中度运动级(moderate motion level)是耗时的、噪声敏感的并且不可靠的。另外，用户提供的涂写的基于光流法的内插导致涂写随时间而破碎。Apostoloff等人描述一种方法，其中，通过在边缘施加的时空一致性来将三分图帧到帧地隐式地(implicitly)传播(N.E.Apostoloff等人，″Bayesian video matting using learnt image priors，″Proc.IEEE Conf.onComputer Vision and Pattern Recognition，2004)。然而由于原始图像和阿尔法(alpha)抠图之间的时空边缘一致性的施加，该方法的复杂性可能是巨大的。

发明内容

在根据本发明原理的示例性实施例中，描述一种方法，用于将用户提供的前景-背景约束信息从第一视频帧传播到随后帧，由此允许以最少的用户交互将移动前景对象从视频流中提取。进行视频抠图，其中使用每个帧的估计抠图将关于第一帧的用户输入(例如，涂写)传播到随后帧。处理帧的抠图，以便到达粗略前景-背景分割然后用于估计下一帧的抠图。在每个帧上，图像抠图方法使用传播输入，用于估计对应抠图依次用于将输入传播到下一帧的等。

由于以上并且将依据详细描述显而易见的，其他实施例和特征也是可能的并且落入本发明的原理内。

附图说明

现在仅仅借助示例并且参考附图描述根据本发明实施例的装置和/或方法的某些实施例，在附图中：

图1是示例性逐帧抠图处理或装置的框图；

图2A-2D图示交互图像抠图处理，其中，图2A示出用白色涂写来标记前景并且用黑色涂写来标记背景的图像或视频帧；图2B示出图2A的提取抠图或前景的不透明度；图2C示出提取前景图像；以及图2D示出与新背景图像合成的前景对象；

图3是前景-背景约束传播方法的流程图；

图4A到图4F示出关于图3的方法的示例性图像；

图5是本发明的示例性系统实施例的框图。

具体实施方式

除了发明构思之外，附图中所示元素也是已知的并且将不对其进行详细描述。例如，除了发明构思之外，假设对数字图像处理的熟知并且不在此描述。还应当注意本发明的实施例可以使用硬件和软件的各种结合来实施。最后，附图中相同的参考标号表示类似的元素。

一般地，图像抠图方法处理假设为前景图像F和背景图像B的合成的输入图像I。第i个像素的颜色假设为对应前景F_i和背景B_i颜色或强度的线性组合：

I_i＝α_iF_i+(1-α_i)B_i，                                (1)

其中α_i是第i个像素的前景不透明度并且0≤α≤1。不是所有的等式1的右手侧的量都是已知的。由此，对于三通道彩色图像，图像的每个像素存在三个等式以及七个未知量。因为这是约束不足的问题，需要某些用户输入来提取优良的抠图。为此目的的典型用户输入可以包括例如用标记前景和背景区的数字刷放置一些涂写，如图2A所示。在图2A中，白色涂写表示前景区以及黑色涂写表示背景区。给定用户输入，估计前景图像F、背景图像B以及阿尔法抠图(或仅“抠图”)α。

图1是示例性逐帧抠图处理或装置的框图，其中，使用图像抠图块110在逐帧的基础上提取前景。如图1所示，对于时间t的帧，图像抠图块110基于前景-背景(F-B)约束c^t生成相关联的阿尔法抠图α^t，该前景-背景(F-B)约束c^t基于用户对于帧t的输入或经由约束传播块120的从用户对之前帧的输入传播的输入。在帧t中，通过用户提供的指定前景和背景区的输入确定约束c^t，其中，所有标记为前景的像素具有α＝1并且所有标记为背景的像素具有α＝0。

参考图1，c^t表示帧t的F-B约束。对于第i个像素，

图像抠图方法110假设具有约束

的像素

并且具有

的像素其中

表示帧t中的第i个像素的阿尔法值。图2B示出基于图2A中用户提供的涂写(c^t)获得的帧t的抠图(α^t)。图2C示出提取的前景对象并且图2D示出抠图的应用，其中提取的前景对象与新的背景图像合成。

在示例性实施例中，抠图块110可以根据A.Levin等人″A closed-formsolution to natural image matting，″IEEE Trans，on Pattern Analysis and MachineIntelligence，vol.30，no.2，pp.228-242，2008年2月，描述的抠图技术来实现。Levin等人的抠图技术在某些约束下最小化阿尔法抠图中的二次成本函数。任何合适的抠图技术可以用于该目的。

对于视频流中的每个随后帧，通过经由约束传播块120从之前帧传播用户输入来推导出前景-背景约束。现在将描述用于将前景-背景(F-B)约束从一个帧传播到下一个帧的示例性方法。

图3是略述图3所示的从一个帧向下一个帧传播F-B约束的示例性方法300的流程图。图4A到4F示出关于方法300的例示图像。如将在下面更详细描述的，方法300使用在帧t的阿尔法抠图来估计时间t+1的F-B约束。替代直接传播约束(例如，涂写或三分图)，该方法使用在t的抠图来生成帧t+1的约束。换言之，使用来自帧t的抠图(α^t)，获得帧t+1的F-B约束(c^t+1)。

如图3所示，提供诸如来自图1的抠图方法的帧序列的第一个(即，对于时间t的帧)的阿尔法抠图作为方法300的输入。方法300包括前景约束传播例程310和背景约束传播例程320。

每个像素i的阿尔法值

位于范围[0，1]，其中意味着像素i完全属于前景。它的阿尔法值越高，像素的前景分量越大。在步骤311，进行阈值化操作，其中阿尔法值与阈值τ_fg比较，以生成二进制场(binary field)β^t，使得：

阈值化步骤由此将具有高前景分量的像素分离，图4A例示阈值化步骤311的结果。图4A示出通过阈值化图2B示出的阿尔法抠图α^t来获得二进制场β^t。在各种示例性实施例中，阈值τ_fg的值在范围0.5到0.9。

在步骤312，在阈值化步骤生成的二进制场β^t上进行形态腐蚀(morphological erosion)：

${\mathrm{\γ}}^t=F_E({\mathrm{\β}}^t,E\left(s_{\mathrm{fg}}\right)),---\left(4\right)$

其中F_E(.)表示形态腐蚀算子且E(s)表示标度(scale)s的结构化元素。在示例性实施例中，E(5)是具有5个像素的半径的圆盘。该结构化元素可以是任何合适形状，包括例如正方形，然而优选诸如圆盘的同向性(isotropic)形状。基于前景和背景之间的期望分离以及前景和/或背景的尺寸来优选地选择结构化元素的标度，以避免前景和/或背景像素的过渡腐蚀。

注意，如果阈值化步骤311产生小的前景区域，其将被形态腐蚀步骤312消除或减小至小于预定最小尺寸(诸如，尺寸太小以致不能由观看者感知到)的前景区域，那么，可以跳过形态腐蚀步骤312。

图4B图示从步骤312中的二进制场β^t的形态腐蚀产生的场γ^t。在图4B中，前景约束由白色像素表明。通过缩小标示为前景的区，即使前景(和/或背景)已经移动一定量，腐蚀操作确保这些区位于帧t+1的前景内。可以基于前景和/或背景的移动程度选取结构化元素E(.)的标度s_fg。

然后在步骤313中定义帧t+1的前景约束如下：如果

则

如果则

仍是未定义的。注意，

可以在处理中的另一点设置为背景，如下所描述，并且保持未定义。

在背景传播例程320中，基于已经确定的前景约束

(图4B)确定背景约束。对于每个像素，更低的阿尔发值

指示更高的背景分量。通过在

上应用阈值，可以隔离背景像素。然而，不期望背景约束像素距离前景很远，由于这将增大背景约束像素和前景约束像素之间的“模糊区”，可能导致不准确的前景提取。为了实现该平衡，根据以下表达式在步骤321确定归一化距离变换：

$D_i^t=\frac{\underset{j\∈J}{\min }d(i,j)}{\max (H,W)},---\left(5\right)$

其中d(i，j)是像素i和j之间的空间距离，J是具有

的所有像素j的集合，即

并且H和W是帧的高度和宽度。

使用在步骤321中确定的距离变换，在步骤322将每个像素i的背景分数确定为阿尔法抠图的逆或补与归一化距离变换的逆或补的加权组合，如下：

${\mathrm{\δ}}_i^t=w(1-{\mathrm{\α}}_i^t)+(1-w)(1-D_i^t).---\left(6\right)$

在示例性实施例中，权重w具有值0.8。在各种示例性实施例中，权重w具有范围0.5到0.9。

等式6的加权组合产生对具有低阿尔法值并且位置靠近前景像素的像素的更高背景分数。图4C图示在步骤322中确定的背景分数场δ^t。图4C中出现的像素越亮，其背景分数越高。

在步骤322中确定的背景分数然后在步骤323中经历阈值化操作，其中，背景分数场δ^t与阈值比较，以生成二进制场λ^t，使得：

其中，τ_bg是预置背景分数阈值。阈值τ_bg值的示例性范围是0.5到0.9。

在步骤323中生成的二进制场λ^t，然后在步骤324被形态腐蚀：

ω^t＝F_E(λ^t，E(s_bg))                        (8)

其中，F_E(.)表示形态腐蚀算子并且E(s)表示标度s的结构化元素。如上所描述，可以使用各种形状和尺寸的不同结构化元素。图4D图示从步骤324的二进制场λ^t的形态腐蚀产生的场ω^t。在图4D中白色像素指示背景约束像素。通过缩小标示为背景的区，即使前景(和/或背景)已经被移动一定量，腐蚀操作确保这些区在帧t+1的前景之外。

注意，如果阈值化步骤323产生小的背景区域，其通过形态腐蚀步骤324消除或减小至小于预定最小尺寸(诸如，尺寸太小以致不能由观看者感知到)的背景区域，则可以跳过形态腐蚀步骤324。

最后，在步骤325，如下确定帧t+1的背景约束：如果

则

任何还没有被设置为0或1的

仍保持未定义；即，这样的像素具有未知约束。

图4E图示帧t+1的传播的前景-背景约束，其中白色代表前景约束

并且黑色代表背景约束

图4F图示使用传播约束从帧t+1提取的抠图α^t+1。可以使用图1的抠图方法110生成抠图α^t+1。该抠图依次用于推导帧t+2等等的约束。

该示例性方法避免诸如基于相关性的模板匹配或光流法的运动估计方法的复杂性并且在运动级的范围上可靠地运行。

在从一个帧到下一个帧的传播F-B约束的方法的一个示例性实施例中，诸如在当前帧中前景对象的区域和其颜色分布之类的现有信息用于推导下一个帧的F-B约束。可以基于现有信息来自动地调整参数τ_fg、τ_bg、s_fg、s_bg以及w的全部或子集合，以提取准确的抠图。该处理可以重复地执行，直到抠图满足现有信息施加的约束。在示例性实施例中，强力处理(brute forceprocess)包括优选在预定义范围内为每个参数尝试多个值并且选择最佳满足现有信息的值的集合。作为一个示例，考虑现有信息包括前景区域的实施例。如果诸如由上面描述的例程确定的前景约束区域过大，可以增大参数τ_fg和s_fg，由于这将导致更少的前景约束像素。可以调整这些参数直至满足现有约束。

图5是根据本发明的示例性系统500的框图。系统500可以用于从视频流生成阿尔法抠图、F-B约束和/或进行抠图。系统500包括帧抓取器510以及数字视频编辑器520。帧抓取器510根据本发明的原理捕捉用于数字视频编辑器520处理的视频流的一个或多个帧。数字视频编辑器520包括处理器521、存储器522和I/O 523。在示例性实施例中，数字视频编辑器520可以实施为执行装载在存储器522中的软件的，用于完成如上描述的约束传播和/或抠图的通用计算机。

鉴于以上，前面仅仅举例说明本发明的原理并且将由此理解本领域的技术人员将能够设想多种替代布置，其虽然没有在此明确地描述，但是体现本发明的原理并且在本发明的精神和范围内。例如，虽然在上下文中举例说明分离功能的元件，但是这些功能元件可以体现为一个或多个集成电路(IC)。类似地，虽然显示为分离元件，但是这些元件的所有或某些可以实施在存储程序控制处理器中，例如，数字信号处理器或通用处理器，其执行例如与一个或多个可以由软件体现在多种合适存储介质的任一个中的步骤对应的相关联的软件。另外，本发明的原理适用于各种类型的有线和无线通信系统，例如地面广播、卫星、无线保真(Wi-Fi)、移动电话等。实际上，发明构思还适用于静止或移动接收器。因此应理解对于示例性实施例可以做出很多修改并且其它布置可以不脱离本发明的精神和范围地被设想。

Claims (7)

1.一种用于确定视频流的前景约束和背景约束的计算机实施的方法，包括：

接收通过用户输入的视频帧的前景和背景约束；

使用前景和背景约束生成视频帧t的抠图；

使用该抠图生成随后视频帧t+1的前景约束；以及

使用该抠图生成该随后视频帧t+1的背景约束；

其中生成随后视频帧的背景约束包括：

使用该抠图生成背景分数场；以及

在背景分数场上执行阈值化操作来生成二进制场。

2.根据权利要求1所述的方法，其中，生成随后视频帧的前景约束包括：

在该抠图上进行阈值化操作来生成二进制场。

3.根据权利要求2所述的方法，其中，生成随后视频帧的前景约束或生成随后视频帧的背景约束包括：

在二进制场上进行形态腐蚀操作。

4.根据权利要求1所述的方法，其中，背景分数场包括视频帧像素的背景分数，像素的背景分数直接与像素对背景像素的接近度相关。

5.根据权利要求1所述的方法，其中，背景分数场包括视频帧像素的背景分数，像素的背景分数与抠图中的对应像素的值反向相关。

6.如权利要求1所述的方法，其中，生成背景分数场包括：

从前景约束生成距离变换；以及

生成抠图的逆和距离变换的逆的加权组合。

7.如权利要求6所述的方法，其中，生成加权组合包括按照权重w的抠图的逆和按照权重1-w的距离变换的逆进行加权，其中0.5≤w≤0.9。

Images