CN100539698C - 一种数字视频处理中交互式时空一致的视频抠图方法 - Google Patents

Abstract

本发明公开了一种数字视频处理中交互式时空一致的视频抠图方法。其步骤为：1)交互式的体扩散：用户在三维视频体上进行交互后，再经过扩散计算得到遮罩，将视频体划分成前景区域、背景区域和未知区域三个部分；2)迭代的视频剪影抠取：计算出三维视频体上每一点的alpha值，即不透明度；3)时空一致的前景重建：根据计算出的alpha值，计算出在时空上具有连续性的前景颜色值。应用本方法可以快速、有效、高质量地对视频进行抠图处理，解决了现有视频抠图方法存在的结果不连续，处理时间长的问题，具有很好的实用价值。

Description

一种数字视频处理中交互式时空一致的视频抠图方法

技术领域

本发明涉及一种数字视频处理中交互式时空一致的视频抠图方法。

背景技术

影像抠图是一种将影像中的前景部分从背景分离出来的数字影像处理技术，在影视特效制作等方面有着广泛的应用。根据处理对象，影像抠图通常可分为两类，即图像抠图和视频抠图。图像的抠图问题可以定义为：给定任意一张图片，求出图像上的每一点颜色值I所含的前景颜色F，背景颜色B和alpha(阿尔法)值α。alpha值是指像素的不透明度，它们之间的关系如下式：I＝αF+(1-α)B。原图片对应的alpha值的集合，即所有点的alpha值，称为剪影。在视频上，这个问题可自然扩展为对视频中的每一帧求解。

已有的视频抠图技术大致可以分为四大类，其中前两类是图像的抠图技术，可直接应用于视频的逐帧求解：

早期的蓝屏抠图(blue screen matting)是迄今为止影视业应用最广泛的技术。它要求输入图像的背景颜色为固定的单一颜色，利用图像中背景与前景物体的颜色不同，来达到准确抠取前景的目的。蓝屏抠图技术简单，计算量小，而且效果好。但是该方法对图像背景颜色的严格要求限制了它的应用范围，有着很大的局限性。

自然图像抠图(natural image matting)技术对于自然图片取得了良好的效果。其中具有代表性的有贝叶斯方法(Bayesian matting，Y.-Y.Chuang，B.Curless，D.H.Salesin，and R.Szeliski，“A bayesian approach to digital matting，”inProceedings of Computer Vision and Pattern Recognition，vol.2，2001，pp.264-271.)、泊松方法(Poisson matting，J.Sun，J.Jia，C.-K.Tang，and H.-Y.Shum，“Poisson matting，”ACM Transactions on Graphics，vol.23，no.3，pp.315-321，2004.)和Easy matting方法(Y.Guan，W.Chen，X.Liang，Z.Ding，and Q.Peng，“Easy matting-a stroke based approach for continuous image matting，”ComputerGraphics Forum，vol.25，no.3，pp.567-576，2006.)。它们一般可以分为以下两个步骤：

1、制作遮罩(trimap)。遮罩是指将图片表征为确定的前景区域、确定的背景区域和未知区域的一个划分。用户通常用不同颜色的笔画来标记不同的区域。制作遮罩是一件耗时耗力的工作，特别是对于前景拓扑结构复杂的图片。

2、求解未知区域的前景F，背景B和alpha值α。其中贝叶斯方法根据抽样的统计信息来估算α，继而计算合适的前景F和背景B。这种处理方式的一个缺点是容易产生原图片上没有的颜色，从而产生视觉上的失真。而泊松方法将整张图片看成一个梯度场，通过求解泊松方程来估算α，然后在确定的前/背景区域中分别找到离待求点最近的前景点和背景点，以它们的颜色作为该点的前景值和背景值，有效地避免生成新的颜色。该方法的缺陷在于，它的结果好坏强烈依赖于输入图片是否满足前景与背景为光滑的假设，当场景图片复杂时效果不尽人意。

贝叶斯视频抠图技术(Bayes video matting，N.Apostoloff and A.W.Fitzgibbon，“Bayesian video matting using learnt image priors，”in Proceedings ofComputer Vision and Pattern Recognition，vol.1，2004，pp.407-414.)是贝叶斯图像抠图方法的扩展。该方法在图像抠图的基础上，采用了光流技术(opticalflow)进行帧之间的双向跟踪，将关键帧上的遮罩扩散到整个视频，从而减少了制作遮罩的工作量。该方法的缺陷在于，对含有高速运动，轮廓变形，拓扑结构变化等内容的视频，效果不好。另一方面，相邻帧之间的细微差别会导致结果的波动，从而造成视觉上的不连续性。这也是自然图像抠图技术直接应用于视频的逐帧抠图共有的缺陷。

采用特殊硬件设备的视频抠图技术包括散焦视频抠图(Defocus videomatting，M.McGuire，W.Matusik，H.Pfister，J.F.Hughes，and F.Durand，“Defocusvideo matting，”ACM Transactions on Graphics，vol.24，no.3，pp.567-576，2005.)和自然视频抠图(natural video matting，N.Joshi，W.Matusik，and S.Avidan，“Natural video matting using camera arrays，”ACM Transactions on Graphics，vol.25，no.3，pp.779-786，2006.)等。散焦视频抠图是第一个针对动态场景的全自动视频抠图系统。它的硬件部分包括三个拥有相同光心和不同焦距的照相机。根据焦距的不同，自动计算出遮罩，在此基础上计算出未知区域。该方法的缺陷在于，当前景和背景颜色相近时效果不佳。此外，对于运动场景会导致明显的运动模糊。自然视频抠图方法的硬件部分由一个相机阵列构成。各相机得到的颜色信息被投影到前景的深度上，然后根据这些颜色值的均值和方差等统计信息计算出遮罩和剪影。该方法能以接近实时的速度处理前景颜色与背景颜色差距较大的视频。它的缺陷同样在于不能处理前景颜色和背景颜色相近的视频。

除了严格意义的抠图，从视频中抽取目标的另外一类技术称目标剪贴，主要有交互式视频剪切(Interactive video cutout，J.Wang，P.Bhat，R.A.Colburn，M.Agrawala，and M.F.Cohen，“Interactive video cutout，”ACM Transactions onGraphics，vol.24，no.3，pp.585-594，2005.)和视频对象剪贴(video object cutand paste，Y.Li，J.Sun，and H.-Y.Shum，“Video object cut and paste，”ACMTransactions on Graphics，vol.24，no.3，pp.595-600，2005.)。它们在二元分割的基础上，在分割的边界上进行alpha值的估计。二元分割是指非前景即背景的硬分割，也就是alpha值只能取0或1。由于这个二元限制，该方法存在一个固有的缺陷，即只适用于目标边界光滑的视频。

发明内容

本发明的目的在于克服现有技术逐帧处理视频带来的结果不连续，处理时间长的不足，提供一种交互式的时空一致的快速视频抠图方法。

本发明的数字视频处理中交互式的时空一致的快速视频抠图方法，包括以下步骤：

1)交互式的体扩散：用户在三维视频体上进行交互后，再经过扩散计算得到遮罩，将视频体划分成前景区域、背景区域和未知区域三个部分；

2)迭代的视频剪影抠取：计算出三维视频体上每一点的alpha值，即不透明度；

3)时空一致的前景重建：根据计算出的alpha值，计算出在时空上具有连续性的前景颜色值。

本发明中所说的交互式的体扩散，其步骤为：

1)由用户对视频体进行初步的区域划分，将它划分为三个部分：前景区域、背景区域和未知区域；

2)将用户标记的未知区域中的点集合记为Ω_e，在其上建立如下的扩散能量方程组：

其中p是Ω_e中任意一点，q是p点在视频体上的六连通相邻点，α_p是p点的alpha值，I_p是p点的RGB颜色值，‖I_p-I_q‖是p点和q点的颜色的欧氏距离；

3)求解上述线性方程组，得到每个点的alpha估计值，设：前景阈值为A，背景阈值为B，Alpha估计值大于A的点划归到前景区域，alpha估计值小于B的点划归到背景区域，其余的点仍然属于未确定区域，得到一张精细的遮罩。本发明中所说的迭代的视频剪影抠取，其步骤为：

1)对未知区域中的每个点P，从确定前景区域中采集空间距离该点最近的M个前景点，再从这M个前景点中选取颜色最接近该点的K个点作为前景估计，从确定背景区域中采集空间距离该点最近的M个背景点，再从这M个背景点中选取颜色最接近该点的K个点作为背景估计；

2)建立如下的方程组：

$\underset{p\∈\mathrm{\Ωm}}{\mathrm{\Σ}}2\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{K}{\mathrm{\Σ}}}((I_p-B_p^j)\·(B_p^j-F_p^i)+{\left|\right|B_p^j-F_p^i\left|\right|}^2{\mathrm{\α}}_p)/{\mathrm{\σ}}_p^2+2\mathrm{\λ}(\mathrm{\Δ}{\mathrm{\α}}_p-\frac{\mathrm{\Δ}{I}_p\·(F_p^i-B_p^j)}{{\left|\right|F_p^i-B_p^j\left|\right|}^2}))=0$

其中I_p是P点的颜色值，F是采样中前景点的颜色值，B是采样中背景点的颜色值， $\mathrm{\Δ}=(\frac{{\∂}^2}{\∂x^2}+\frac{{\∂}^2}{\∂y^2}+\frac{{\∂}^2}{\∂z^2})$ 是视频体上的三维拉普拉斯算子，

是I_p与 ${\mathrm{\α}}_p{F}_p^i+(1-{\mathrm{\α}}_p)B_p^j(i,j\∈(\mathrm{1,2},K,K))$ 的欧氏距离集合的方差，λ是能量系数；

3)求解上述方程组，得到视频上每一点的alpha值；将alpha值大于前景阈值A的点划为确定的前景点，alpha值小于背景阈值B的点划为确定的背景点；

4)迭代地进行1至3步，直到第3步中不再有新的点被划为确定的前景点或确定的背景点，得到最终的剪影。

本发明中所说的时空一致的前景重建，其步骤为：

1)将alpha值大于背景阈值A小于前景阈值B的点的集合标记为Ω_m，在Ω_m上建立如下前景能量方程组：

$\underset{p\∈\mathrm{\Ωm}}{\mathrm{\Σ}}(2{\mathrm{\α}}_p\left|\right|I_p-{\mathrm{\α}}_p{F}_p-(1-{\mathrm{\α}}_p)\stackrel{\‾}{B_p})\left|\right|/{\mathrm{\σ}}_f^2+2\mathrm{\γ}\frac{\mathrm{\Δ}{F}_p}{\left|\right|I_p-I_q\left|\right|})=0$

其中B_p是K个作为背景估计的点颜色的平均值，是方差系数，γ是能量系数， $\mathrm{\Δ}=(\frac{{\∂}^2}{\∂x^2}+\frac{{\∂}^2}{\∂y^2}+\frac{{\∂}^2}{\∂z^2})$ 是视频体上的三维拉普拉斯算子，F_p是p点的前景RGB颜色的指定通道值，‖I_p-I_q‖是p点与q点颜色值的欧氏距离；

2)时空一致地求解Ω_m中各点RGB颜色R通道的值；

3)时空一致地求解Ω_m中各点RGB颜色G通道的值；

4)时空一致地求解Ω_m中各点RGB颜色B通道的值。

本发明的优点在于：

现有的视频抠图技术都需要用户逐帧进行精细的遮罩制作，这一步骤极其繁琐，耗时巨大，而且难以预计和控制最终的抠图效果。本方法在单帧图像上所需的交互量远远少于现有方法，并且，本方法还允许用户直接在三维视频体上进行交互，进一步减少了用户工作量。

本发明的方法在视频剪影抠取步骤中，首次同时考虑了颜色值约束和相邻像素之间的光滑性约束。在相邻像素的约束上，本发明的方法首次在时间维度上考虑相邻像素之间的约束，保证了时间上的连续性。本发明的方法根据这两个约束建立能量方程，并求出能量方程最小解，充分满足了颜色的准确性和结果的连续性。

本发明在视频剪影抠取步骤中，采样方法是从空间距离最近的M个点中选取颜色最接近的K个点。这样就避免了采用固定的颜色概率分布模型所带来的误差和采用极少数采样点所带来的不稳定性，采样结果鲁棒性有显著提高。

在剪影抠取以后，简单采用采样点的颜色作为前景颜色并不能得到满意的效果，不能保证空间和时间上的连续性。如采用多个采样点的平均值作为前景颜色，也可能产生原来没有的颜色，造成视觉上的偏差。本方法首次提出前景重建技术，考虑了连续性约束和原有颜色约束，从而得到高质量的前景。

总之，应用本发明可以快速有效地抠取出任意视频中的前景部分。本发明很好地解决了现有视频抠图方法中存在的结果不连续，处理时间长的不足，在用户交互的方便性、计算的快捷性和抠图结果的连续性上，本发明的方法都有显著提高。

附图说明

图1是本发明流程示意图；

图2是视频体的交互示意图，其中，(1)是视频体上的切片，(2)是在切片上进行标记，(3)是体扩散的结果，(4)是根据体扩散结果得到的遮罩。

具体实施方式

本发明的数字视频处理中交互式的时空一致的快速视频抠图方法的流程见图1，包括以下步骤：

第一步，交互式的体扩散：采用在三维视频体上进行交互，视频体的交互参见图2，三维视频体由视频的各帧按时间序组成，包括x轴、y轴以及时间轴Time。

1)用户在三维视频体上进行交互，用户可以对视频体进行任意旋转、切片和切分，并通过不同颜色的笔画在视频体上标记划分前景区域、背景区域和未知区域。图2(1)是视频体中的一张切片，图2(2)是在切片上进行标记，图中F为前景区域，B为背景区域，U为未知区域。

2)将用户标记的未确定区域中的点集合记为Ω_e，在其上建立扩散能量方程组，如下：

其中p是Ω_e中任意一点，q是p点在视频体上的六连通相邻点，α_p是p点的alpha值，I_p是p点的RGB颜色值，‖I_p-I_q‖是p点和q点颜色的欧氏距离。

在Ω_e的边界部分，采用第二边界条件。例如第一帧第一行第一列的点，设其为a，a点的上、左、前方向上都没有相邻点。在这三个方向上增加三个虚拟的相邻点，alpha值均与点a相同，即能量方程的一阶导为0。

3)用双共轭梯度法来求解上述方程组，得到每个点alpha值的估计值，体扩散的结果如图2(3)所示。设：前景阈值A等于0.97，背景阈值B等于0.03，Alpha估计值大于0.97的点划为确定前景点，alpha估计值小于0.03的点划为确定背景点，其余的点仍然属于未确定区域。这样就得到了一张精细的遮罩，遮罩如图2(4)所示，图中，F为前景区域，B为背景区域，U为未知区域。

第二步，迭代的视频剪影抠取：

1)未知区域中的每个点p，从确定前景区域中采集空间距离最近的25个点，再从中选取颜色最接近p点的5个点作为前景估计。从确定背景区域中采集空间距离最近的25个点，从中选取颜色最接近p点的5个点作为背景估计。

2)建立如下的抠图能量方程组：

$\underset{p\∈\mathrm{\Ωm}}{\mathrm{\Σ}}2\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{K}{\mathrm{\Σ}}}((I_p-B_p^j)\·(B_p^j-F_p^i)+{\left|\right|B_p^j-F_p^i\left|\right|}^2{\mathrm{\α}}_p)/{\mathrm{\σ}}_p^2+2\mathrm{\λ}(\mathrm{\Δ}{\mathrm{\α}}_p-\frac{\mathrm{\Δ}{I}_p\·(F_p^i-B_p^j)}{{\left|\right|F_p^i-B_p^j\left|\right|}^2}))=0$

其中I_p是p点的颜色值，F是采样中前景点的颜色值，B是采样中背景点的颜色值， $\mathrm{\Δ}=(\frac{{\∂}^2}{\∂x^2}+\frac{{\∂}^2}{\∂y^2}+\frac{{\∂}^2}{\∂z^2})$ 是视频体上的三维拉普拉斯算子，

是I_p与 ${\mathrm{\α}}_p{F}_p^i+(1-{\mathrm{\α}}_p)B_p^j(i,j\∈(\mathrm{1,2},K,K))$ 的欧氏距离集合的方差，λ是能量系数，在本实施例中λ设为0.01。

3)本例采用双共轭梯度法求解上述方程组，得到新的alpha值；

4)更新

和

。即将alpha值大于0.97的点归到

中，alpha值小于0.03的点归到

中；其中

是指每次迭代后，未知区域中alpha值大于0.97的点的集合。类似地，

是指每次迭代后，未知区域中alpha值小于0.03的点的集合。

5)将

中的点划归为确定的前景，将中的点划归为确定的背景，随后清空和

6)重复步骤1)到5)，直到步骤4)中

和

不再有新的点加入；得到最终的alpha估计值，即剪影。

第三步，时空一致的前景重建：

1)将alpha值大于0.03，小于0.97的点的集合标记为Ω_m，在Ω_m上建立如下前景能量方程组：

$\underset{p\∈\mathrm{\Ωm}}{\mathrm{\Σ}}(2{\mathrm{\α}}_p\left|\right|I_p-{\mathrm{\α}}_p{F}_p-(1-{\mathrm{\α}}_p)\stackrel{\‾}{B_p})\left|\right|/{\mathrm{\σ}}_f^2+2\mathrm{\γ}\frac{\mathrm{\Δ}{F}_p}{\left|\right|I_p-I_q\left|\right|})=0$

其中

是K个作为背景估计的点颜色的平均值，

是方差系数，本实施例中取0.5，γ是能量系数，本实施例中取0.01，

$\mathrm{\Δ}=(\frac{{\∂}^2}{\∂x^2}+\frac{{\∂}^2}{\∂y^2}+\frac{{\∂}^2}{\∂z^2})$ 是视频体上的三维拉普拉斯算子，F_p是p点的前景RGB颜色的指定通道值，‖I_p-I_q‖是p点与q点颜色值的欧氏距离；

2)时空一致地求解Ω_m中各点RGB颜色R通道的值；

3)时空一致地求解Ω_m中各点RGB颜色G通道的值；

4)时空一致地求解Ω_m中各点RGB颜色B通道的值。

通过以上步骤，可以对任意视频中的前景部分进行快速、高质量的抠取。

表一列出了在本实施例中，本发明方法与具有代表性的贝叶斯方法在2.8GHz CPU和2.0G内存的环境下，处理一段分辨率为640×480，长度为79帧的视频时，各步骤所需的处理时间。其中的用户交互时间是指没有经过训练的普通用户所需的平均时间。可以看到，在同样的环境下，贝叶斯视频抠图方法一共需要150分钟处理时间，而本发明的方法只需要30分钟，并且在抠图结果的连续性上，本发明的方法有显著改进。

表一 不同方法在2.8GHz CPU和2.0G内存的环境下所需处理时间

 

方法名称	用户交互	扩散	抠取	前景重建	总时间
						贝叶斯方法	30分钟	105分钟	15分钟	无	150分钟
本发明方法	10分钟	8分钟	10分钟	2分钟	30分钟

以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (1)

1、一种数字视频处理中交互式时空一致的视频抠图方法，其特征在于包括以下步骤：

1)交互式的体扩散：用户在三维视频体上进行交互后，再经过扩散计算得到遮罩，将视频体划分成前景区域、背景区域和未知区域三个部分；

2)迭代的视频剪影抠取：计算出三维视频体上每一点的alpha值，即不透明度；

3)时空一致的前景重建：根据计算出的alpha值，计算出在时空上具有连续性的前景颜色值；

上述的交互式的体扩散，其步骤为：

1)由用户对视频体进行初步的区域划分，将它划分为三个部分：前景区域、背景区域和未知区域；

2)将用户标记的未知区域中的点集合记为Ω_e，在其上建立如下的扩散能量方程组：

其中p是Ω_e中任意一点，q是p点在视频体上的六连通相邻点，α_p是p点的alpha值，I_p是p点的RGB颜色值，‖I_p-I_q‖是p点和q点的颜色的欧氏距离；

3)求解上述线性方程组，得到每个点的alpha估计值，设：前景阈值为A，背景阈值为B，Alpha估计值大于A的点划归到前景区域，alpha估计值小于B的点划归到背景区域，其余的点仍然属于未确定区域，得到一张精细的遮罩；

上述的迭代的视频剪影抠取，其步骤为：

1)对未知区域中的每个点p，从确定前景区域中采集空间距离该点最近的M个前景点，再从这M个前景点中选取颜色最接近该点的K个点作为前景估计，从确定背景区域中采集空间距离该点最近的M个背景点，再从这M个背景点中选取颜色最接近该点的K个点作为背景估计；

2)建立如下的方程组：

$\underset{p\∈{\mathrm{\Ω}}_m}{\mathrm{\Σ}}2\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{K}{\mathrm{\Σ}}}((I_p-B_p^j)\·(B_p^j-F_p^i)+{\left|\right|B_p^j-F_p^i\left|\right|}^2{\mathrm{\α}}_p)/{\mathrm{\σ}}_p^2+2\mathrm{\λ}(\mathrm{\Δ}{\mathrm{\α}}_p-\frac{\mathrm{\Δ}{I}_p\·(F_p^i-B_p^j)}{{\left|\right|F_p^i-B_p^j\left|\right|}^2}))=0$

其中I_p是p点的颜色值，F是采样中前景点的颜色值，B是采样中背景点的颜色值， $\mathrm{\Δ}=(\frac{{\∂}^2}{\∂x^2}+\frac{{\∂}^2}{{\∂y}^2}+\frac{{\∂}^2}{{\∂z}^2})$ 是视频体上的三维拉普拉斯算子，是I_p与 ${\mathrm{\α}}_p{F}_p^i+(1-{\mathrm{\α}}_p)B_p^{j}i,j\∈(\mathrm{1,2},...,K)$ 的欧氏距离集合的方差，λ是能量系数；

3)求解上述方程组，得到视频上每一点的alpha值；将alpha值大于前景阈值A的点划为确定的前景点，alpha值小于背景阈值B的点划为确定的背景点；

4)迭代地进行1至3步，直到第3步中不再有新的点被划为确定的前景点或确定的背景点，得到最终的剪影；

上述的时空一致的前景重建，其步骤为：

1)将alpha值大于背景阈值A小于前景阈值B的点的集合标记为Ω_m，在Ω_m上建立如下前景能量方程组：

$\underset{p\∈{\mathrm{\Ω}}_m}{\mathrm{\Σ}}(2{\mathrm{\α}}_p\left|\right|I_p-{\mathrm{\α}}_p{F}_p-(1-{\mathrm{\α}}_p)\stackrel{\‾}{B_p}\left|\right|/{\mathrm{\σ}}_f^2+2\mathrm{\γ}\frac{\mathrm{\Δ}{F}_p}{\left|\right|I_p-I_q\left|\right|})=0$

其中

是K个作为背景估计的点颜色的平均值，

是方差系数，γ是能量

系数， $\mathrm{\Δ}=(\frac{{\∂}^2}{\∂x^2}+\frac{{\∂}^2}{{\∂y}^2}+\frac{{\∂}^2}{{\∂z}^2})$ 是视频体上的三维拉普拉斯算子，F_p是p点的

前景RGB颜色的指定通道值，‖I_p-I_q‖是p点与q点颜色值的欧氏距离；

2)时空一致地求解Ω_m中各点RGB颜色R通道的值；

3)时空一致地求解Ω_m中各点RGB颜色G通道的值；

4)时空一致地求解Ω_m中各点RGB颜色B通道的值。

Images