CN1564198A - 基于感知颜色空间的自然图像抠图方法 - Google Patents

Abstract

本发明公开了一种基于感知颜色空间的自然图像抠图方法。其步骤为：1)对图像进行区域分割，把它划分成三个部分：前景区域，未知区域和背景区域；2)根据分割的区域，对未知区域中的任意一点c，设其RGB颜色为C，计算出其前景和背景RGB颜色分量F和B，并把它们转化为感知颜色空间中的颜色值C′，F′和B′；3)分别计算出点c的亮度alpha和色度alpha以及它们的权值，最后以这两个alpha的加权平均值作为出c点的alpha值。应用本抠图方法可以有效地对图像做抠图处理，同时，能极大提高抠图速度，计算开销小，具有很好的实用价值。

Description

基于感知颜色空间的自然图像抠图方法

                           技术领域

本发明涉及图像处理以及计算机视觉领域中的基于感知颜色空间的自然图像抠图方法。

                           背景技术

抠图技术是一种把任意图像中的前景部分从背景中分离出来的一种图像处理技术。它在电影电视特效特技制作等方面有着广泛而深入的应用。根据对图像背景的限制情况，抠图技术大致可以分为两大类：

对图像前景或背景有限制一类又可分为蓝屏抠图(blue screen matting)和差异抠图(difference matting)。蓝屏抠图技术对图像的背景有一定限制，通常是固定的蓝色或绿色，或者是准备多张有相同前景的图像，利用这些图像中的背景颜色的不同，来达到准确抠取前景的目的。差异抠图技术则需要另外准备一张背景图像，通过比较背景图像和原图中相应点的颜色差异来估计alpha值。

对图像背景无限制一类自然图像抠图(natural image matting)。它对图像的背景不做要求，且只需一张图像。

抠图问题可以定义为：对给定图像上任一点c，求c点的颜色C所含的前景色F和alpha值α。对图像上的任一点c，它的F和α的解并不是唯一的，抠图问题的困难在于我们要从无数对的解中找出最合理的解。

蓝屏抠图技术简单，计算量小，且抠图效果好，但是它有其致命的弱点。它对图像的背景的颜色有一定限制，同时一般还要求前景的颜色的RGB分量按某种比例分布，这些使蓝屏抠图技术在具体应用当中带来了很大的不便。

典型的自然图像抠图技术有Knockout方法、Ruzon&Tomasi方法、Hillman方法和Chuang方法。自然图像抠图一般可以分为三个步骤：

1.区域分割。一般情况下以手工分割为主。由于区域分割的精确程度对抠图效果有较大的影响，而手工分割比自动分割有更好的精确度。一般一张图像的区域分割耗时2-3分钟左右。

2.前景和背景颜色估计。Knockout方法利用邻近区域的点的加权平均来估计，方法简单，计算量较小；Ruzon&Tomasi方法、Hillman方法和Chuang方法都利用了统计学的规律，方法复杂，计算量大。

3.Alpha值估计。给定未知区域中的一点的颜色及其估计出的前景和背景颜色，估计出该点的alpha值。以前的alpha估计方法可以分为两类：RGB分量法和投影法。在Knockout方法中，先把RGB颜色C、F和B投影到r、g和b三个轴上，然后在分别计算出这三个轴上的alpha值分量；以F和B在这三个轴上的投影点之间的距离为权重，计算出这三个alpha分量的加权平均值作为最终的alpha值。Ruzon、Hillman和Chuang方法中则使用了另外一种alpha估计方法，它们把颜色C投射到线段FB上，然后在线段FB上计算出给定未知区域点的alpha值。该方法能保证F和B的组合颜色为C的概率最大，因为在RGB颜色空间中，线段FB上只有该投影点离C点的距离最近。这两种alpha估计方法都是在RGB颜色空间中进行，但是在RGB颜色空间中的抠图效果并不总是尽如人意。

                           发明内容

本发明的目的是提供一种快速有效的基于感知颜色空间的自然图像抠图方法。其主要内容分为三个步骤：

1.对图像进行区域划分，把它划分成三个部分：前景区域，未知区域和背景区域；

2.根据分割的区域，对未知区域中的任意一点c，设其RGB颜色为C，计算出其前景和背景RGB颜色分量F和B，并把它们转化为感知颜色空间中的颜色值C′、F′和B′；

3.计算出亮度alpha分量和色度alpha分量以及它们各自的权重以后，以色度alpha分量和亮度alpha分量的加权平均做为最终的alpha值。

本发明具有速度快，效果好的优点。以前的自然图像抠图技术都把大部分的精力放在了颜色估计这个步骤，而忽略了对alpha估计步骤的研究。关注步骤2而忽略步骤3的结果导致出现了各种复杂的颜色估计模型，虽然在一定程度上改进了抠图效果，但同时也大大增加了计算量。

本发明的颜色估计模型非常简单，并且利用了感知颜色空间来估计alpha值。本发明的重点在于它的alpha估计方法，它也是一种分量法，但和Knockout方法的RGB分量法不同，它是一种感知颜色空间的分量法。

                          附图说明

图1是本发明流程示意图，图中三个红色虚线框代表本发明的三个步骤；

图2(a)(b)描述的是区域划分和前景背景颜色分量的估计示意图；

图3(a)是Syringe例子和作比较的方框区域；图中(b)是Knockout、Chuang和本发明的alpha估计方法对方框区域的抠图效果的灰度图比较；(c)(d)则是Chuang的alpha估计方法在两个点上产生错误的示意图；

图4是在Feather_edge例子中，在相同的前景和背景颜色的情况下，分别由RGB分量法、投影法和本方法得到的结果及其比较；

图5分别是感知颜色空间Lab，HSV，YUV，Luv，YIQ和YC_rC_b中对Syringe图像的灰度图效果比较；

图6是本发明在YUV颜色空间中取得的效果与其他抠图方法的关于例子Syringe图像的效果比较图；

图7是本发明在YUV颜色空间中取得的效果的其他一些效果示意图。

                         具体实施方式

基于感知颜色空间的自然图像抠图方法的原理是：把图像分割为前景、背景和未知三个区域；对于未知区域中的任意一点c，以图像空间中离该点最近的一些前景点和背景点的颜色加权平均值F和B做为c点的前景和背景颜色分量；把求得的RGB颜色转化为感知颜色空间中的颜色。然后分别求得色度alpha和亮度alpha及其它们各自的权重，最后以色度alpha和亮度alpha的加权平均值做为c点最终的alpha值。

首先，区域划分的精确与否对自然图像抠图的精度有较大的影响。区域划分时应注意以下三点：①保证前景轮廓线内的点全部为前景点，背景轮廓线外的点全部为背景点，不能允许有交叉，否则将大大影响抠图精确度；②由于光照和空气的影响，人眼中物体的边界处总是有一点模糊。前景和背景轮廓线不要太靠近物体的边界，要留有一定的余地。边界到两条轮廓线的距离大致相等；③尽量使轮廓线不穿过颜色突变剧烈的区域。

另外，在本抠图方法的颜色估计模型简单实用。本方法只计算包含在两个圆区域内部的轮廓线上的点，且权重的计算和这些点与c点的距离成线性关系，距离最近的点的权重最大，随着距离的增大权重线性减小。c点离轮廓线越近，本方法所需要的样本点越少，离轮廓线越远，所需样本点越多。而Chuang方法则恰好相反。实际上，c点离轮廓线越近，只需要和离该点最近的少数几个样本点就可以精确地估计出颜色值，只有在c点离轮廓线较远的情况下，才需要较多的样本点来减少颜色估计的误差。这也就是Chuang的颜色估计方法并不能十分准确地估计出前景和背景颜色分量值的原因。

接着本方法把RGB颜色转化为感知颜色空间中的颜色。上面介绍过，以前的各种自然图像抠图中的alpha估计都是在RGB颜色空间中进行的。由于RGB颜色空间中各维之间的相关性太大，因此利用RGB颜色空间估计alpha有其固有的局限性。如在图3(a)的例子当中，在相同的C、F和B情况下，对黑色方框部分利用不同抠图方法的抠图效果如图3(b)所示。图3(a)中的P1、P2两点如果利用Knockout和Chuang的alpha估计方法将产生错误的结果(图3(b)的左边和中间部分)，而利用基于感知颜色空间的抠图方法则可以得到很好的抠图效果(图3(b)的右边部分)，其原因在于利用以前的RGB颜色空间中的alpha估计方法时，颜色的色度和亮度信息中对alpha估计起重要作用的那个信息没有得到应有的强调，因此需要一种能把这两个信息分开的alpha估计策略。同时，在Chuang方法中，把颜色C投影到线段FB上的做法使得最终计算出来的alpha值只和RGB颜色空间中的三角形CFB的形状有关。只要三角形CFB的形状一定，那么不管该三角形在空间中处于什么位置，其alpha值都是固定的。显然，这种做法是存在问题的，而感知颜色空间把颜色的亮度信息和色度信息分开的做法刚好可以满足策略的需要，改正RGB颜色空间存在的不足之处。众所周知，颜色理论里有多种感知颜色空间。为方便起见，可以把它们简单地划分为以下三种类型：

(1)Lab、Luv以及Lαβ等。它们是由RGB颜色空间经过比较复杂的非线性变换后得到的颜色空间。在这些颜色空间中各维之间的相关性较小，最为接近人类对颜色的感知过程。

(2)YUV、YIQ、YES以及YC_rC_b等。它们是RGB颜色空间的简单的线性变换后得到的颜色空间。

(3)HSV和HLS等。它们基于画家作画的配色过程，实际上它们表示色度信息的两维可以看作是一种极坐标表示方式。

一般来讲，选用第二类感知颜色空间的计算量相对较小，取得的效果也较好。特别是第一类感知颜色空间，由于其转化过程最为复杂，本发明的权重计算似乎并不是很适合它。下面的实施例子都是在YUV颜色空间中获得的。

其次，第三个步骤即alpha值估计中，本发明的方法简单有效。以下详细讨论感知颜色空间中alpha估计的具体过程。

设未知区域内任一点c，其颜色为C，估计出来的初始前景和背景颜色分量为F、B。首先，我们把它们转化为感知颜色空间中的颜色C′＝(L_C，r_C，g_C)、F′＝(L_F，r_F，g_F)和B′＝(L_B，r_B，g_B)。假设感知颜色空间中的点C′、F′和B′在rg平面上的二维投影点C₁＝(r_C，g_C)，F₁＝(r_F，g_F)，B₁＝(r_B，g_B)。这样我们分别计算出色度alpha值α_CH和亮度alpha值α_IN为：

${\mathrm{\α}}_{\mathrm{CH}}=\frac{(C_1-B_1)\·(F_1-B_1)}{{\left|\right|F_1-B_1\left|\right|}^2}$ 和 ${\mathrm{\α}}_{\mathrm{IN}}=\frac{L_C-L_B}{L_F-L_B},$

其中α_CH∈[0，1]，α_IN∈[0，1]。

现在分析α_CH和α_IN的权值W_CH和W_IN的推导。首先考虑投影点F₁和B₁的距离δ，当δ趋向于0时，也就是说感知颜色F′、B′的色度越来越接近时，此时感知颜色F′、B′和C′的亮度的差异在alpha求值中占的比重越大；当δ越大时，也就是说感知颜色F′、B′的色度相差越来越大时，此时感知颜色F′、B′和C′的色度差异在alpha求值中占的比重越来越大。同时，考虑感知颜色F′、B′的亮度L_F和L_B对alpha求值的影响。令ρ为L_F和L_B中较小者与较大者的比值，易知ρ∈(0，1]，当ρ趋向于0时，感知颜色F′、B′和C′的亮度的差异在alpha求值中占的比重越大；当ρ趋向于1时，感知颜色F′、B′和C′的色度的差异在alpha求值中占的比重将越来越大。根据以上的分析，我们用三次方来强调这种变化趋势，可以推导出W_CH和W_IN与δ和ρ的关系：

                   W_CH＝sδ³+tρ³，W_IN＝u/δ³+v/ρ³，

其中u，v，s，t为常数。

最后，C点的alpha值α为α_CH和α_IN的加权平均：

$\mathrm{\α}=\frac{W_{\mathrm{CH}}{\mathrm{\α}}_{\mathrm{CH}}+W_{\mathrm{IN}}{\mathrm{\α}}_{\mathrm{IN}}}{W_{\mathrm{CH}}+W_{\mathrm{IN}}}.$

在抠图效果方面，本发明与其他方法的主要差别在alpha估计上面。在抠图速度方面，本发明和Chuang方法主要的差别在颜色估计上面。Chuang方法的颜色估计大致可以分为以下几个步骤：

(1)把前景和背景颜色样本点进行颜色分簇。如果所处理图像的颜色变化比较剧烈，那么该步骤所花时间较多。

(2)计算每一簇颜色的加权平均值；

(3)计算每一簇颜色的方差矩阵；

(4)求解一个6×6线性方程组；

在本方法中，颜色估计仅仅需要上述4个步骤中的第二步，也即求颜色加权平均值。一般情况下，第一步所需时间是第二步的5～30多倍，第三步所需时间是第二步的4倍左右，Chuang方法中第四步所需时间和其他步骤比较可以忽略不计。因此，本颜色方法所需时间至多只是Chuang方法的十分之一，这与实践中的处理时间结果比较吻合。

本说明书共举了6个实施例子。图4，图6为实施例子1、2，图7包含实施例子3～6。在我们的实现当中，Lab和Luv颜色空间中四个常数的取值为u＝1，v＝8000，s＝1/3，t＝8000；Lαβ颜色空间中的取值为u＝1/8，v＝8000，s＝1/256，t＝8000。xyY颜色空间中的取值为u＝1，v＝1，s＝400，t＝400；HSV、HLS、YUV、YIQ、YES以及YC_rC_b颜色空间中的取值为u＝1，v＝8000，s＝1，t＝8000。另外，根据不同的图像，上述4个常数也可以做些调整，以期取得更好的效果。

实施例1

图4是在Feather_edge例子中，在相同的前景和背景颜色的情况下，分别由RGB分量法、投影法和本方法得到的结果及其比较。

实施例2

图6中放大图1是由三部分组合而成，其中左边是原图，中间是灰度图，右边是背景为黑色的合成图。Knockout方法在放大图1中没有把一些头发丝抠出来，另外放大图1上有一些点的结果失真。Ruzon&Tomasi方法则有一些头发丝出现比较严重的断裂现象，另外合成图中有明显的不连续的现象。Chuang方法的效果较好，但仔细观察，可以发现其有轻微的不连续现象。本发明在本例子中没有上述的缺点，总体效果比Chuang方法略好。

实施例3～6

图7中的四个例子依次是Gandalf、Tiger、鲜花和武汉东湖例子。

本发明的要点是区域划分、颜色估计和alpha估计这三个步骤：

1.进行区域划分，确保轮廓线经过合适的区域；

2.颜色估计中用到的样本点为圆内部的轮廓线上的点，两个圆的半径的长度一般为最短距离的1.5～3.0倍；

3.通过把RGB颜色转化为感知颜色，计算亮度alpha和色度alpha以及它们的权重，把这两个alpha的加权平均值作为最终的alpha。

Claims (9)

1.基于感知颜色空间的自然图像抠图方法，其特征在于：其步骤为：

1)对图像进行区域划分，把它划分成三个部分：前景区域，未知区域和背景区域；

2)根据分割的区域，对未知区域中的任意一点c，设其RGB颜色为C，计算出其初始的前景和背景RGB颜色分量F和B，并把它们转化为感知颜色空间中的颜色值C′，F′和B′；

3)分别计算出点c的亮度alpha和色度alpha以及它们的权值，最后以这两个alpha的加权平均值作为c点的alpha值。

2.根据权利要求1所述的基于感知颜色空间的自然图像抠图方法，其特征在于所说的区域分割是：在图像的前景边缘画前景和背景两条轮廓线，处于前景轮廓线内部的点都是前景区域的点，而处于背景轮廓线之外的点都是背景区域的点，位于这两条轮廓线之内的点为未知区域的点。

3.根据权利要求1所述的基于感知颜色空间的自然图像抠图方法，其特征在于所说的前景和背景颜色分量的计算是：其步骤为：

1)计算该未知区域点的前景和背景RGB颜色分量F和B；

2)把颜色C、F和B转化为感知颜色空间的颜色值C′，F′和B′；

4.根据权利要求1或3所述的基于感知颜色空间的自然图像抠图方法，其特征在于所说的未知区域点的前景和背景RGB颜色分量的计算是：对于未知区域中的任意一点c，找出前景轮廓线和背景轮廓线上离c点距离最近的点f′和b′，假设点f′和b′离c点的距离分别为d₁和d₂，给定一个正实数θ(1.5＜θ≤3.0)，以点c为圆心，分别以θd₁和θd₂长为半径，做两个同心圆C₁和C₂，设在圆C₁内部且位于前景轮廓线上的所有点为f₁、f₂、……、f_k，这些点离c点的距离为d₁₁、d₁₂、……、d_1k，在圆C₂内部且位于背景轮廓线上的所有点为b₁、b₂、……、b_l，这些点离c点的距离为d₂₁、d₂₂、……、d_2l，计算出f_i(i＝1，2，...，k)点颜色的加权平均值 $\stackrel{\‾}{F}=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{w}_{1i}{f}_i,b_j(j=\mathrm{1,2},...,l)$ 点颜色的加权平均值 $\stackrel{\‾}{B}=\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{w}_{2j}{b}_j,$ 其中 $w_{1i}=\frac{\mathrm{\θ}}{\mathrm{\θ}-1}-\frac{1}{\mathrm{\θ}-1}\·\frac{d_{1i}}{d_1}(i=\mathrm{1,2},...,k),$ $w_{2j}=\frac{\mathrm{\θ}}{\mathrm{\θ}-1}-\frac{1}{\mathrm{\θ}-1}\·\frac{d_{2j}}{d_2}(j=\mathrm{1,2},...,l),$ F和 B就是所估计的前景和背景颜色分量F和B。

5.根据权利要求1或3所述的基于感知颜色空间的自然图像抠图方法，其特征在于所说的RGB颜色到感知颜色空间的颜色转化为：所谓感知颜色空间，即把颜色表示为亮度和色度的三维颜色空间，其中一维代表颜色的亮度，其余两维代表颜色的色度，假设该感知颜色空间为(L，r，g)，设转化后的给定未知区域点的颜色为C′＝(L_C，r_C，g_C)，其前景颜色为F′＝(L_F，r_F，g_F)，背景颜色为B′＝(L_B，r_B，g_B)，假设表示颜色C′、F′和B′的色度信息的二维投影点为C₁＝(r_C，g_C)，F₁＝(r_F，g_F)，B₁＝(r_B，g_B)，而L_C，L_F和L_B分别表示颜色C′、F′和B′的亮度信息，从RGB颜色空间到各种感知颜色空间有各自确定的转化方法。

6.根据权利要求1所述的基于感知颜色空间的自然图像抠图方法，其特征在于所说的alpha值估计是：其步骤为：

1)分别计算色度的灰度值α_CH和亮度的灰度值α_IN；

2)计算α_CH和α_IN的权重W_CH和W_IN；

3)以α_CH和α_IN的加权平均做为c点的alpha值α。

7.根据权利要求1或6所述的基于感知颜色空间的自然图像抠图方法，其特征在于所说的色度的灰度值 ${\mathrm{\α}}_{\mathrm{CH}}=\frac{(C_1-B_1)\·(F_1-B_1)}{{\left|\right|F_1-B_1\left|\right|}^2},$ 亮度的灰度值 ${\mathrm{\α}}_{\mathrm{IN}}=\frac{L_C-L_B}{L_F-L_B},$ α_CH∈[0，1]，α_IN∈[0，1]。

8.根据权利要求1或6所述的基于感知颜色空间的自然图像抠图方法，其特征在于所说的α_CH和α_IN的权重W_CH和W_IN的求值为：令ρ(ρ∈(0，1])为L_B和L_F中较短者与较长者的比值，令δ为二维点F′(r_F，g_F)和B′(r_B，g_B)在感知颜色空间中的距离，权重W_CH和W_IN和ρ和δ紧闭相关，其中一种权重计算方法为W_CH＝sδ³+tρ³，W_IN＝u/δ³+v/ρ³，其中u，v，s，t为常数。

9.根据权利要求1或6所述的基于感知颜色空间的自然图像抠图方法，其特征在于所说的alpha值估计是：根据α_CH和α_CH和它们的权重W_CH和W_IN，计算出

$\mathrm{\α}=\frac{W_{\mathrm{CH}}{\mathrm{\α}}_{\mathrm{CH}}+W_{\mathrm{IN}}{\mathrm{\α}}_{\mathrm{IN}}}{W_{\mathrm{CH}}+W_{\mathrm{IN}}}.$

Images