CN1479254A - 数字图像处理中基于hvs的自然图像抠图方法 - Google Patents

Abstract

本发明公开了一种数字图像处理中基于HVS的自然图像抠图方法。其步骤为：1)手工对图像进行区域分割，把它划分成三个部分：前景区域，未知区域和背景区域；2)根据分割的区域，对未知区域中的任意一点c，设其颜色为C，计算出其前景和背景颜色分量F和B；3)根据估计出的前景和背景颜色分量F和B，基于HVS的原理，对颜色的亮度和色度做不同处理，最后估计出c点的alpha值。应用本抠图方法可以有效地对图像做抠图处理，同时，能极大提高抠图速度，计算开销小，具有很好的实用价值。

Description

数字图像处理中基于HVS的自然图像抠图方法

                    技术领域

本发明涉及一种数字图像处理中基于HVS的自然图像抠图方法。

                    背景技术

抠图技术是一种把任意图像中的前景部分从背景中分离出来的一种图像处理技术。它在电影电视特效特技制作等方面有着广泛而深入的应用。根据对图像背景的有无限制，抠图技术大致可以分为两大类：

对图像前景或背景有限制一类又可分为蓝屏抠图(blue screen matting)和差异抠图(difference matting)。蓝屏抠图技术对图像的背景有一定限制，背景通常是固定颜色，一般为蓝色或者绿色，或者是准备多张有相同前景的图像，利用这些图像中的背景颜色的不同，来达到准确抠取前景的目的。差异抠图技术需要另外准备一张背景图像，通过比较背景图像和原图中相应点的颜色差异来估计alpha值。

对图像背景无限制一类自然图像抠图(natural image matting)。它对图像的背景不做要求，且只需一张图像。

抠图问题可以定义为：对给定图像上任一点c，求c点的颜色C所含的前景色F和alpha值α。抠图问题的困难在于对图像上的任一点c，它的F和α的解并不是唯一的，我们要从无数对的解中找出最合理的解。

蓝屏抠图技术简单，计算量小，且抠图效果好。但是它有其致命的弱点，就是它对图像的背景的颜色有一定限制。一般情况下背景要求是蓝色或者绿色，应用该技术时需要一个人拿着块蓝色的背景到处跑，同时它一般还要求前景的颜色的RGB分量按某种比例分布，这些使蓝屏抠图技术在具体应用当中带来了很大的不便。

自然图像抠图技术有Knockout方法、Ruzon&Tomasi方法、Hillman方法和Chuang方法。自然图像抠图一般可以分为三个步骤：

1.区域分割。一般情况下以手工分割为主。由于区域分割的精确程度对抠图效果有很大的影响。手工分割区域可以有更好的精确度，一般一张图像的区域分割耗时2-3分钟左右。

2.前景和背景颜色估计。Knockout方法利用邻近区域的点的加权平均来估计，方法简单，计算量较小；Ruzon&Tomasi方法、Hillman方法和Chuang方法都利用了统计学的规律，方法复杂，计算量大。

3.Alpha值估计。利用估计出的前景和背景颜色来估计alpha值。根据HVS原理，把一个颜色矢量分为对应于颜色矢量的方向的色度和对应于颜色矢量长度的亮度，并根据不同情况下，色度和亮度对alpha估计的重要性的不同，通过施加不同的权值对它们区别对待，最后把求得的色度alpha和亮度alpha做加权平均，做为最终的alpha。

                    发明内容

本发明的目的是提供一种数字图像处理中基于HVS的自然图像抠图方法。其步骤为：

1)手工对图像进行区域划分，把它划分成三个部分：前景区域，未知区域和背景区域；

2)根据分割的区域，对未知区域中的任意一点c，设其颜色为C，计算出其前景和背景颜色分量F和B；

3)根据估计出的前景和背景颜色分量F和B，基于HVS的原理，对颜色的亮度和色度做不同处理，最后估计出c点的alpha值。

本发明具有速度快，效果好的优点。以前的自然图像抠图技术都把大部分的精力放在了第二个步骤，也即如何估计前景和背景颜色，而忽略了第三个步骤，也即alpha的估计。关注步骤2忽略步骤3的结果导致出现了各种复杂的颜色估计模型，虽然在一定程度上改进了抠图效果，但同时也大大增加了计算量，这使得自然图像抠图技术在实际中的应用受到了很大的限制。

本发明突破了这个框架，设计了一种计算量小，抠图效果好的抠图技术来满足实际的需要。它的颜色估计模型非常简单，alpha值的估计方案则利用了HVS的原理。

表1列出了不同抠图例子在不同的机器上所需的处理时间。与当今国际上抠图效果最好的Chuang方法相比，本发明的速度比它提高了10～12倍，而抠图效果却没有降低。Chuang方法在CPU为P3 1.0G，RAM为512M的环境下，处理Syringe图像需要120秒左右。使用本发明的方法在机器条件比Chuang方法略差的条件下，速度是Chuang方法的11倍左右。

        表格1不同抠图例子在不同环境下的抠图时间

	CPU：Celeron 400RAM：320M	CPU：P3 600RAM：512M	CPU：P4 1.8GRAM：256M
				Syringe	16.734秒	10.656秒	5.578秒

Feather_edge	26.188秒	16.633秒	8.813秒
				Galadriel	4.306秒	2.734秒	1.406秒
Gandalf	5.758秒	3.645秒	1.891秒
				Tiger	5.728秒	3.635秒	1.902秒
Water	9.804秒	6.129秒	3.265秒

应用本发明可以快速有效地抠出任意图像中的前景部分。大量的例子证明，本发明很好地解决了抠图中存在的速度和效果之间的矛盾，充分利用颜色的不同信息，具有很好的普遍实用价值。

                    附图说明

图1是本发明流程示意图；

图2(a)(b)描述的是区域划分和前景背景颜色分量的估计示意图；

图3(a)(b)是颜色F、B和C在颜色空间中的两种相对位置示意图；

图4(a)(b)是颜色F、B和C的色度F′、B′和C′和亮度L_F、L_B和L_C，以及δ的示意图；

图5是本发明与其他抠图方法的关于例子Syringe图像的效果比较示意图；

图6是本发明与Chuang方法的关于例子Feather_edge图像的效果比较示意图；

图7是本发明的其他一些效果示意图。

                    具体实施方式

数字图像处理中基于HVS的自然图像抠图方法的原理是：对于前景和背景之间的过渡区域(也即区域分割中的未知区域)中的任意一点c，以图像空间中离该点最近的一些前景点和背景点的颜色加权平均值 F和 B做为c点颜色的前景和背景颜色分量，然后基于HVS的原理，对颜色的色度和亮度分开并分别求得色度alpha和亮度alpha，以色度alpha和亮度alpha的加权平均值做为c点最终的alpha值α。本方法无需建立复杂的模型来求前景和背景颜色，alpha估计方法简单实用，因此，本方法是一种快速的抠图方法。

首先，在本抠图方法的第二个步骤中，计算前景颜色分量F和背景颜色分量B的模型简单实用。本方法只计算包含在两个圆区域内部的轮廓线上的点，且权重的计算和这些点与c点的距离成线性关系，距离最近的点的权重最大，随着距离的增大权重线性减小。本发明的抠图方法在第二步的颜色估计模型尽可能地做了简化。

其次，在第三个步骤中，本方法的颜色调整方案简单直观。该方案保持颜色的RGB分量的比例不变，利用人眼对颜色亮度的微小变化不甚敏感的特点，在最小程度上调整前景和背景颜色的亮度，最后利用调整后的前景和背景颜色估计出C点的alpha值。该方案具体如下：

在三维RGB颜色空间中，一点的颜色可以表示为一个点或者一个向量。在颜色三维坐标中，点O为坐标原点，它表示黑色。给定颜色空间中的任意两点P₁，P₂，|P₁P₂|表示线段P₁P₂的长度。设未知区域内任一点c，其颜色为C＝(R_C，G_C，B_C)，估计出来的初始前景和背景颜色分量为F＝(R_F，G_F，B_F)、B＝(R_B，G_B，B_B)。在颜色空间中，它们的色度分别为C′＝(r_C，g_C，b_C)、F′＝(r_F，g_F，b_F)和B′＝(r_B，g_B，b_B)，并用颜色矢量的长度L_C、L_F和L_B代表它们的亮度。分别计算出色度alpha值α_CH和亮度alpha值α_IN为： ${\mathrm{\α}}_{\mathrm{CH}}=\frac{(C^{\′}-B^{\′})\·(F^{\′}-B^{\′})}{{\left|\right|F^{\′}-B^{\′}\left|\right|}^2}$ 和 ${\mathrm{\α}}_{\mathrm{IN}}=\frac{L_C-L_B}{L_F-L_B},$ 其中α_CH∈[0，1]，α_IN∈[0，1]。

现在分析α_CH和α_IN的权值W_CH和W_IN推导。考虑颜色空间中颜色F′和B′的距离δ，易知 $\mathrm{\δ}\∈[0,\sqrt{2}].$ 当δ趋向于0时，也就是说颜色F、B的色度越来越接近时，此时颜色F、B和C的亮度的差异在alpha求值中占的比重越大；当δ趋向于

时，也就是说颜色F、B的色度相差越来越大时，此时颜色F、B和C的色度差异在alpha求值中占的比重越来越大。同时，考虑颜色F、B的亮度L_F和L_B对alpha求值的影响。令ρ为L_F和L_B中较小者与较大者的比值，易知ρ∈(0，1]，当ρ趋向于0时，颜色F、B和C的亮度的差异在alpha求值中占的比重越大；当ρ趋向于1时，颜色F、B和C的色度的差异在alpha求值中占的比重将越来越大。根据以上的分析，我们用三次方来强调这种变化趋势，可以推导出W_CH和W_IN与δ和ρ的关系：

                  W_CH＝sδ³+tρ³，WIN＝u/δ³+v/ρ³，其中u，v，s，t为常数。

最后，C点的alpha值α为α_CH和α_IN的加权平均： $\mathrm{\α}=\frac{W_{\mathrm{CH}}{\mathrm{\α}}_{\mathrm{CH}}+W_{\mathrm{IN}}{\mathrm{\α}}_{\mathrm{IN}}}{W_{\mathrm{CH}}+W_{\mathrm{IN}}}.$

HVS的主要特点就是对结果施加不同影响的因素加以区别对待。在抠图中，颜色的色度和亮度在不同情况下对最终的α的求值的影响是不同的。RGB颜色表示法把颜色的色度和亮度紧紧的捆绑在一齐。直接使用RGB颜色求alpha值，并不能保证正确地抠图。本发明首次把HVS的原理应用到抠图领域当中，对颜色的色度和亮度加以区别对待，根据图像中色度和亮度对抠图的影响的不同，通过调节常数u，v，s，t对α_CH和α_IN的权值W_CH和W_IN进行调整，从而得到准确的抠图结果。

图1是本发明的详细流程图。首先，对输入图像进行区域划分，共分为三个部分：前景区域、背景区域和未知区域；其次，根据划分的区域，对未知区域中的每一点，初步估计出它的前景和背景颜色分量；最后，本发明根据HVS原理，估计出它的alpha值。

图2(a)是本发明中区域划分的一个例子；图2(b)描述了在本发明中如何估计未知区域中的点的前景和背景颜色分量。其中较小的圆C₁内部包含的那段红色的前景轮廓线上的点就是计算前景分量所需的所有点，较大的圆C₂内部所包含的那段绿色的背景轮廓线上的点就是计算背景分量所需的所有点。

图3(a)中点C恰好在线段BF上；图3(b)中点C在线段BF之外。

图4是颜色F、B和C的色度F′、B′和C′和亮度L_F、L_B和L_C，以及δ的示意图。

本说明书共举了6个实施例子。图5，图6为实施例子1、2，图7包含实施例子3～6。在图5中u＝1/8000，v＝1，s＝8000，t＝1，其余图中u＝1/8000，v＝3，s＝8000，t＝3。

实施例1

图5中放大图1是由三部分组合而成，其中左边是原图，中间是灰度图，右边是背景为黑色的合成图。Knockout方法在放大图1中没有把一些头发丝抠出来，另外放大图1上有一些点的结果失真。Ruzon&Tomasi方法则有一些头发丝出现比较严重的断裂现象，另外合成图中有明显的不连续的现象。Chuang方法的效果较好，但仔细观察，可以发现放大图2的底部有轻微的不连续现象，在放大图1中也有些微的不连续。本发明的方法在本例子中则没有上述的缺点，总体效果比Chuang方法略好。

实施例2

图6中Chuang方法在放大图1中的两个椭圆内部的区域中抠图结果错误或者出现杂质。在上部的小椭圆内部，一部分发丝被强行割掉，这里的抠图结果是错误的，而在下面的大椭圆内部，则出现了一片杂质。本发明的方法很好的处理了这两个椭圆内Chuang方法存在的问题，但是在放大图1的右边，本方法的一些地方则不如Chuang方法。

实施例3～6

图7中(a)图是Gandalf例子，(b)图是Galadriel例子，(c)图是Tiger例子，(d)图是Water例子。

数字图像处理中以任意图像为背景的快速抠图方法的要点是：

1.手工进行区域划分，确保轮廓线经过合适的区域，并具有足够的精度；

2.颜色估计中用到的样本点为圆内部的轮廓线上的点，两个圆的半径的长度一般为最短距离的1.5～3.0倍；

3.根据HVS原理，对颜色的色度和亮度分开进行不同处理；

区域划分的精确与否对自然图像抠图的精度有很大的影响。抠图时应注意以下几点：①保证前景轮廓线内的点全部为前景点，背景轮廓线外的点全部为背景点，不能允许有交叉，否则将大大影响交叉区域的抠图精确度；②由于光照和空气的影响，人眼中物体的边界处总是有一点模糊。前景和背景轮廓线不要太靠近物体的边界，要留有一定的余地，保证过渡区域不划入前景或者背景区域。边界到两条轮廓线的距离大致相等；③尽量使轮廓线不穿过颜色突变剧烈的区域。

本发明中前景和背景颜色的估计用到的样本点仅为轮廓线上的点，这使样本点的个数大大减小，提高了计算速度。本发明中alpha求值方法是其中的重点。它的核心就是把颜色的色度和亮度分开考虑，根据在不同图像中的它们的影响的不同，给色度alpha分量和亮度alpha分量以不同的权重来求得更合理的alpha值。

Claims (8)

1.一种数字图像处理中基于HVS的自然图像抠图方法，其特征在于：其步骤为：

1)手工对图像进行区域划分，把它划分成三个部分：前景区域，未知区域和背景区域；

2)根据分割的区域，对未知区域中的任意一点c，设其颜色为C，计算出其初始的前景和背景颜色分量F和B；

3)据估计出的初始前景和背景颜色分量F和B，基于HVS的原理，对颜色的亮度和色度做不同处理，最后估计出c点的alpha值。

2.根据权利要求1所述的一种数字图像处理中基于HVS的自然图像抠图方法，其特征在于所说的区域分割是：手工在图像的前景边缘画两条轮廓线，一条是前景轮廓线，处于这条轮廓线内部的点都是前景区域的点，另一条轮廓线为背景轮廓线，处于这条轮廓线之外的点都是背景区域的点，位于这两条轮廓线之内的点为未知区域的点。手工画轮廓线时，尽量使未知区域内不包含前景区域或背景区域的点。

3.根据权利要求1所述的一种数字图像处理中基于HVS的自然图像抠图方法，其特征在于所说的前景和背景颜色分量F和B的计算是：对于未知区域中的任意一点c，找出前景轮廓线和背景轮廓线上离c点距离最近的点f′和b′。假设点f′和b′离c点的距离分别为d₁和d₂，给定一个正实数θ(1.0＜θ≤10.0)，以点c为圆心，分别以θd₁和θd₂长为半径，做两个同心圆C₁和C₂。设在圆C₁内部且位于前景轮廓线上的所有点为f₁、f₂、……、f_k，这些点离c点的距离为d₁₁、d₁₂、……、d_1k，在圆C₂内部且位于背景轮廓线上的所有点为b₁、b₂、……、b_l，这些点离c点的距离为d₂₁、d₂₂、……、d₂₁，计算出f₁(i＝1，2，...，k)点颜色的加权平均值 $\stackrel{\‾}{F}=\underset{l=1}{\overset{k}{\mathrm{\Σ}}}{w}_{1_l}{f}_l,b_j(j=\mathrm{1,2},...,l)$ 点颜色的加权平均值 $\stackrel{\‾}{B}=\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{w}_{2_j}{b}_j,$ 其中 $w_{1_i}=\frac{\mathrm{\θ}}{\mathrm{\θ}-1}-\frac{1}{\mathrm{\θ}-1}\·\frac{d_{1_i}}{d_1}(i=\mathrm{1,2},...k),$ $w_{2_j}=\frac{\mathrm{\θ}}{\mathrm{\θ}-1}-\frac{1}{\mathrm{\θ}-1}\·\frac{d_{2_j}}{d_2}(j=\mathrm{1,2},...l).$ 在本发明中，F和 B就是所估计的前景和背景颜色分量F和B。

4.根据权利要求1或3所述的一种数字图像处理中基于HVS的自然图像抠图方法，其特征在于所说的alpha值估计是：其步骤为：

1)计算给定点颜色C、前景和背景颜色F和B的色度C′、F′和B′，以及它们的亮度L_C、L_F和L_B；

2)分别计算色度的灰度值α_CH和亮度的灰度值α_IN；

3)计算α_CH和α_IN的权重W_CH和W_IN；

4)以α_CH和α_IN的加权平均做为c点的alpha值α。

5.根据权利要求1或3所述的一种数字图像处理中基于HVS的自然图像抠图方法，其特征在于所说的色度C′、F′和B′及亮度L_C、L_F和L_B的求值为：设给定的未知区域点的颜色C＝(R_C，G_C，B_C)，前景颜色F＝(R_F，G_F，B_F)，背景颜色B＝(R_B，G_B，B_B)，C的色度C′＝(r_C，g_C，b_C)，前景色度F′＝(r_F，g_F，b_F)，背景色度B′＝(r_B，g_B，b_B)，则它们的三个分量为：r_l＝R_l/(R_l+G_l+B_i)，g_l＝G_l/(R_l+G_l+B_l)，b_l＝B_l/(R_l+G_l+B_l)，亮度 $L_i=\sqrt{{R_i}^2+{G_i}^2+{B_i}^2},$ 其中i＝C，F，B。

6.根据权利要求1或3所述的一种数字图像处理中基于HVS的自然图像抠图方法，其特征在于所说的色度的灰度值 ${\mathrm{\α}}_{\mathrm{CH}}=\frac{(C^{\′}-B^{\′})\·(F^{\′}-B^{\′})}{{\left|\right|F^{\′}-B^{\′}\left|\right|}^2},$ 亮度的灰度值 ${\mathrm{\α}}_{\mathrm{IN}}=\frac{L_C-L_B}{L_F-L_B},$ α_CH∈[0，1]，α_IN∈[0，1]。

7.根据权利要求1或3所述的一种数字图像处理中基于HVS的自然图像抠图方法，其特征在于所说的α_CH和α_IN的权重W_CH和W_IN求值过程为：令ρ(ρ∈(0，1])为L_B和L_F中较短者与较长者的比值，令δ( $\mathrm{\δ}\∈[0,\sqrt{2}]$ )为F′和B′在颜色空间中的距离，则W_CH＝sδ³+tρ³，W_IN＝u/δ³+v/ρ³，其中u，v，s，t为常数。

8.根据权利要求1或3所述的一种数字图像处理中基于HVS的自然图像抠图方法，其特征在于所说的alpha值估计是：根据α_CH和α_IN和它们的权重W_CH和W_IN，可以计算出 $\mathrm{\α}=\frac{W_{\mathrm{CH}}{\mathrm{\α}}_{\mathrm{CH}}+W_{\mathrm{IN}}{\mathrm{\α}}_{\mathrm{IN}}}{W_{\mathrm{CH}}+W_{\mathrm{IN}}}.$

Images