CN101853505A - 一种基于像素扩散的前景提取方法 - Google Patents

Abstract

本发明属于图像处理技术领域，是一种快速的前景提取方法。具体为求解输入图像未知像素α值的一种方法。本发明定义并充分利用相邻像素α值所存在的内在关系来实现前景提取的目标。其步骤为：输入原图像和对应的trimap，确定前景样本点、背景样本点和未知像素，选择一个未知像素，计算该未知像素的每个前景背景样本对的置信度，选择置信度最高的前景背景样本对计算得到初步的α值，根据内在关系，计算得到未知像素的最终α值。用本方法进行前景提取可以达到前人方法相似的效果，但速度可平均提高25倍。

Description

一种基于像素扩散的前景提取方法

技术领域

本发明属于计算机数字图像处理技术领域，具体涉及一种快速的前景提取方法。

背景技术

随着人们文化需求的不断增长，想象空间的不断扩大，对视视觉感受的不断重视，人们在照片处理、海报制作和电影特技等方面的要求也不断提高，经常需要把某个物体从已有的图像中提取出来，以更换到新的场景中，该过程便是前景提取操作。虽然采用Photoshop等图像编辑工具也可以实现前景提取效果，但是一方面，在物体边缘比较复杂时，前景提取的工作量过大，另一方面，现有的图像编辑软件无法处理毛绒的边缘，比如动物的毛发等。所以需要一定的前景提取算法来实现这一目标。

在利用前景提取算法进行前景提取时，对于原始图像中的一个未知像素p(x，y)，其颜色可以表示为：

C＝αF+(1-α)B              (1)

其中，C表示像素p的颜色，这是唯一可以从输入图像中直接获得的。F表示(x，y)处前景的颜色，B表示(x，y)处背景的颜色。α可以理解为前景颜色的透明度，取值范围在0到1之间。至此，前景提取问题就转化成为了已知C，而求α、F和B的问题。该问题是已知1个方程，来求3个未知数，这是一个病态的问题，无疑给前景提取这一过程带来了巨大的挑战。现在一般的解决方案是：由用户在图上标记出完全的前景、完全的背景和未知区域。被标记过前景、背景和未知区域的图像就称之为trimap。

目前，前景提取算法分为两大类，一种是利用额外信息的方法，如文[1][2]，另一种是针对一幅静止图片的前景提取算法，大致又分为3类：基于样本选取的前景提取算法、通过定义像素间的相似度的前景提取算法和将这两种思路结合起来的前景提取算法。

基于样本选取的前景提取算法在估计未知像素的α时，利用的是该像素附近像素的一些信息，比如颜色信息、空间信息等。常见的具有代表性的方法有：贝叶斯前景提取算法[3]和Ruzon and Tomasi’s Method[4]等。定义像素间的相似度的前景提取算法利用了像素之间的连续性和相似性，具有代表性的方法有：泊松前景提取算法[5]和随机游走前景提取算法[6]。这两类方法，前者更偏向单个像素的计算，而后者更偏向于像素之间的关系。2007年，Wang Jue和Michael F.Cohen将这两者结合起来提出了鲁棒性前景提取算法[7]，该算法是目前国际上最为先进并且实用的前景提取方法。该算法已在Photoshop图像编辑软件中得到应用。

鲁棒性前景提取算法首先定义一个称作置信度的标准，来判断前景背景样本对的优劣，从而选取好的前景背景样本对，进而估计出前景。在计算置信度的时候，是通过计算未知像素和前景背景像素在颜色空间上的距离得到的。第二步利用随机游走前景提取算法对估计的结果进行优化，从而得到最终的结果。优化的目标有两个：第一，置信度较高的像素值的α值应该得到充分的尊重；第二，α值应该比较平滑，从而容忍图像中的噪声。

但是，目前的前景提取算法如鲁棒性前景提取算法都是在不同的步骤分别利用样本选取和定义像素间相似度的，这样做大大降低了前景提取的速度。

发明内容

本发明的目的在于提出一种快速的前景提取方法。

本发明提出的快速前景提取方法，是通过定义相邻像素α值的内在关系把样本选取和定义像素间的相似度这两步结合一步，同时对未知像素的样本选取预取样的策略，从而很大程度地提高了速度。

本发明的技术特点在于：

1.本发明在求解每个未知像素的α值时，采取的是由内向外的逐步扩散的求解策略，该策略可以充分利用像素的连续性，从而替代随机游走前景提取算法，省去了α值优化这一步，进而提高了算法的运行速度。

2.本发明在为每个未知像素选取背景样本点时，采取的是预分配的策略。原本每计算一个未知像素α值，就需要遍历一遍图像，采取预分配的策略后，只需要遍历一遍图像，从而在速度上得到了很大的提高。

3.本发明在求解每个未知像素的α值时，不同于鲁棒性前景提取算法，而是通过假设相邻未知像素的α值存在一定的内在关系。这样做可以在不影响前景提取效果的前提下减少样本的选取，进而提高了算法的运行速度。

本发明的方法流程图如图1所示，具体依次包括如下步骤：

1.输入原图像和对应的trimap

2.根据输入的trimap确定前景样本点、背景样本点和未知像素。具体的步骤如下：

(1)遍历找到下一个与未知像素相邻的背景像素B，则B为一个背景样本像素。

(2)以像素B为圆心，X个像素为半径，画一个圆域。X可为12-18，如15、16等。

(3)将像素B加入到圆域内各未知像素的背景样本集，该像素的背景样本集的大小增加1。

(4)判定是否有未被遍历到的背景样本像素，有则转至步骤(1)，否则转至步骤(5)。

(5)处理各未知像素的背景样本集，为每个未知像素均匀地选取15个左右(如12-18个)的背景样本像素。

3.选择一个未知像素。

4.计算该未知像素的每个前景背景样本对的置信度。对于每个前景背景样本对(Fⁱ，B^j)，Fⁱ为前景样本像素的颜色，B^j为背景样本像素的颜色，其置信度的计算方法如下：

$f(F^i,B^j)=\exp \{-\frac{R_d{(F^i,B^j)}^2\·w\left(F^i\right)\·w\left(B^j\right)}{{\mathrm{\σ}}^2}\}---\left(2\right)$

其中的系数σ＝0.1。R_d(Fⁱ，B^j)、w(Fⁱ)、w(B^j)如下计算：

$R_d(F^i,B^j)=\frac{\left|\right|C-(\widehat{\mathrm{\α}}{F}^i+(1-\widehat{\mathrm{\α}})B^j)\left|\right|}{{\left|\right|F^i-B^j\left|\right|}^2}---\left(3\right)$

$w\left(F^i\right)=\exp \{-{\left|\right|F^i-C\left|\right|}^2/D_F^2\}---\left(4\right)$

$w\left(B^j\right)=\exp \{-{\left|\right|B^j-C\left|\right|}^2/D_B^2\}---\left(5\right)$

其中C为未知像素的颜色，

为根据这对样本点估计出的α值，具体计算法方式如下：

$\widehat{\mathrm{\α}}=\frac{(C-B^j)\·(F^i-B^j)}{{\left|\right|F^i-B^j\left|\right|}^2}---\left(6\right)$

D_F表示当前的未知像素与所有前景样本点颜色空间上的最小距离，即min_i(||Fⁱ-C||)；D_B表示当前的未知像素与所有背景样本点颜色空间上的最小距离，即min_j(||B^j-C||)。

5.选择置信度最高的前景背景样本对计算得到初步的α值。如图3所示，设当前计算α值的未知像素为P_j，相邻的已计算α值的像素为P_i，这个α值是假设P_i即为前景像素时得到的，记为A_ij。假设置信度最高的前景背景样本对为(F^x，B^y)，A_ij的计算方法如下：

$A_{\mathrm{ij}}=\frac{(C-B^y)}{(F^x-B^y)}---\left(7\right)$

6.根据未知像素和相邻已计算α值的像素假设的内在关系，计算得到未知像素的最终α值。本发明定义并利用了这种内在关系，假设P_i的α值为α_j，则设定

α_j＝α_i·σ(A_ij)              (8)

其中，σ(·)为本发明定义的关系，定义σ(x)＝x²。

7.如果存在还未计算α值的未知像素，则转到第3步，否则算法结束。

本发明可以达到与前人相似的前景提取效果(鲁棒性前景提取算法)，如图4所示，图4的(a)图为原图，(b)图为用户输入的trimap，(c)图为前人提出的前景提取算法的最好效果，(d)图为本发明所得到的效果。可以看到，本发明的前景提取效果与鲁棒性前景提取结果相似，但时间上得到大幅度的提高。经在前景提取专用图片集[8]中测试得到，本发明平均比鲁棒性前景提取算法快25倍。

附图说明

图1：本发明的流程图。

图2：背景样本点选取的流程图。

图3：计算像素α值的示意图。

图4：与前人算法(鲁棒性前景提取算法)的比较。

具体实施方式

图1为本发明的流程图，具体为：

步骤1输入原图像和对应的trimap

步骤2确定前景样本点、背景样本点和未知像素。

步骤3选择一个未知像素。

步骤4计算该像素的每个前景背景样本对的置信度。

步骤5选择置信度最高的前景背景样本对计算得到初步的α值。

步骤6根据未知像素和相邻已计算α值的像素假设的内在关系，计算得到未知像素的最终α值。

步骤7如存在还未计算α值的未知像素，则转至步骤3，否则算法结束。

图2为本发明在预分配背景样本像素的流程图，具体为：

步骤21遍历找到下一个与未知像素相邻的背景像素B。

步骤22以像素B为圆心，15个像素为半径，画一个圆域。

步骤23将像素B加入到圆域内各未知像素的背景样本集。

步骤24判定是否有未被遍历到的背景像素，有则转至步骤21，否则转至步骤25。

步骤25处理各未知像素的背景样本集，为每个未知像素选取15个左右的背景样本像素。

引用资料：

[1]J.Sun，Y.Li，S.-B.Kang，and H.-Y.Shum，“Flash matting，”ACM SIGGRAPH，pp.772-778，2006.

[2]N.Joshi，W.Matusik，and S.Avidan，“Natural video matting using camera arrays，”ACM SIGGRAPH，pp.779-786，2006.

[3]Y.Y.Chuang，B.Curless，D.H.Salesin，and R.Szeliski，“A bayesian approach to digitalmatting，”IEEE CVPR，pp.264-271，2001.

[4]M.Ruzon and C.Tomasi，“Alpha estimation in natural images，”IEEE CVPR，pp.18-25，2000.

[5]J.Sun，J.Jia，C.K.Tang，and H.Y.Shum，“Poisson matting，”ACM SIGGRAPH，pp.315-321，2004.

[6]L.Grady，T.Schiwietz，S.Aharon，and R.Westermann，“Random walks for interactivealpha-matting，”VIIP 2005，pp.423-429，2005.

[7]J.Wang and M.Cohen，“Optimized color sampling for robust matting，”IEEE CVPR，pp.1-8，2007.

[8]C.Rhemann，C.Rother，J.Wang，M.Gelautz，P.Kohli and P.Rott，“A PerceptuallyMotivated Online Benchmark for Image Matting，”IEEE CVPR，pp.1826-1833，2009.

Claims (4)

1.一种前景提取方法，其特征在于，利用像素本身的特性和像素之间的联系，定义了相邻像素α值的内在关系，具体步骤如下：

一、输入原图像和对应的trimap；

二、根据输入的trimap确定前景样本点、背景样本点和未知像素，对于每一个未知像素的背景样本选取的步骤为：

(1)遍历找到下一个与未知像素相邻的背景像素B，则B为一个背景样本像素；

(2)以像素B为圆心，X个像素为半径，画一个圆域，X为12-18；

(3)将像素B加入到圆域内各未知像素的背景样本集，该像素的背景样本集的大小增加1；

(4)判定是否有未被遍历到的背景样本像素，有则转至步骤(1)，否则转至步骤(5)；

(5)处理各未知像素的背景样本集，为每个未知像素均匀地选取12-18个背景样本像素；

三、选择一个未知像素；

四、计算每个前景背景样本对的置信度；

五、选择置信度最高的前景背景样本对计算得到初步的α值；

六、根据未知像素和相邻已计算α值的像素假设的内在关系，计算得到未知像素的最终α值；

七、如果存在还未计算α值的未知像素，则转到第3步，否则算法结束。

2.根据权利要求1所述的前景提取方法，其特征在于，所述置信度的计算方法如下：

$f(F^i,B^j)=\exp \{-\frac{R_d{(F^i,B^j)}^2\·w\left(F^i\right)\·w\left(B^j\right)}{{\mathrm{\σ}}^2}\}---\left(2\right)$

其中的系数σ＝0.1，R_d(Fⁱ，B^j)、w(Fⁱ)、w(B^j)如下计算：

$R_d(F^i,B^j)=\frac{\left|\right|C-(\widehat{\mathrm{\α}}{F}^i+(1-\widehat{\mathrm{\α}})B^j)\left|\right|}{{\left|\right|F^i-B^j\left|\right|}^2}---\left(3\right)$

$w\left(F^i\right)=\exp \{-{\left|\right|F^i-C\left|\right|}^2/D_B^2\}---\left(4\right)$

                                                            (5)

其中C为未知像素的颜色，

为根据这对样本点估计出的α值，具体计算法方式如下：

$\widehat{\mathrm{\α}}=\frac{(C-B^j)\·(F^i-B^j)}{{\left|\right|F^i-B^j\left|\right|}^2}---\left(6\right)$

D_F表示当前的未知像素与所有前景样本点颜色空间上的最小距离，即min_i(||Fⁱ-C||)；D_B表示当前的未知像素与所有背景样本点颜色空间上的最小距离，即min_j(||B^j-C||)。

3.根据权利要求2所述的前景提取方法，其特征在于，设当前计算α值的未知像素为P_j，相邻的已计算α值的像素为P_i，这个α值是假设P_i即为前景像素时得到的，记为A_ij，假设置信度最高的前景背景样本对为(F^x，B^y)，A_ij的计算方法如下：

$A_{\mathrm{ij}}=\frac{(C-B^y)}{(F^x-B^y)}---\left(7\right)$

4.根据权利要求2所述的前景提取方法，其特征在于，假设P_j的α值为α_j，则设定

α_j＝α_i·σ(A_ij)                                               (8)

其中，σ(·)定义的关系，即σ(x)＝x²。

Images