CN1445984A - 数字图像处理中以任意图像为背景的快速抠图方法 - Google Patents

Abstract

本发明公开了一种数字图像处理中以任意图像为背景的快速抠图方法。其步骤为：1)手工对图像进行区域分割，把它划分成三个部分：前景区域，未知区域和背景区域；2)根据分割的区域，对未知区域中的任意一点c，设其颜色为C，计算出其前景和背景颜色分量F和B；3)根据估计出的前景和背景颜色分量F和B，采取颜色调整措施调整F和B的值，最后估计出c点的alpha值。应用本抠图方法可以极其有效地对图像做抠图处理，同时，能极大提高抠图速度，计算开销小，具有很好的实用价值。

Description

数字图像处理中以任意图像为背景的快速抠图方法

                       技术领域

本发明涉及一种数字图像处理中以任意图像为背景的快速抠图方法。

                       背景技术

抠图技术是一种把任意图像中的前景部分从背景中分离出来的一种图像处理技术。它在电影电视特效特技制作等方面有着广泛而深入的应用。根据对图像背景的有无限制，抠图技术大致可以分为两大类：

对图像前景或背景有限制一类又可分为蓝屏抠图(blue screen matting)和差异抠图(difference matting)。蓝屏抠图技术对图像的背景有一定限制，背景通常是固定颜色，一般为蓝色或者绿色，或者是准备多张有相同前景的图像，利用这些图像中的背景颜色的不同，来达到准确抠取前景的目的。差异抠图技术需要另外准备一张背景图像，通过比较背景图像和原图中相应点的颜色差异来估计alpha值。

对图像背景无限制一类自然图像抠图(natural image matting)。它对图像的背景不做要求，且只需一张图像。

抠图问题可以定义为：对给定图像上任一点c，求c点的颜色C所含的前景色F和alpha值α。抠图问题的困难在于对图像上的任一点c，它的F和α的解并不是唯一的，我们要从无数对的解中找出最合理的解。

蓝屏抠图技术简单，计算量小，且抠图效果好。但是它有其致命的弱点，就是它对图像的背景的颜色有一定限制。一般情况下背景要求是蓝色或者绿色，应用该技术时需要一个人拿着块蓝色的背景到处跑，同时它一般还要求前景的颜色的RGB分量按某种比例分布，这些使蓝屏抠图技术在具体应用当中带来了很大的不便。

自然图像抠图技术有Knockout方法、Ruzon&Tomasi方法、Hillman方法和Chuang方法。自然图像抠图一般可以分为三个步骤：

1.区域分割。一般情况下以手工分割为主。由于区域分割的精确程度对抠图效果有很大的影响。手工分割区域可以有更好的精确度，一般一张图像的区域分割耗时2-3分钟左右。

2.前景和背景颜色估计。Knockout方法利用邻近区域的点的加权平均来估计，方法简单，计算量较小；Ruzon&Tomasi方法、Hillman方法和Chuang方法都利用了统计学的规律，方法复杂，计算量大。

3.Alpha值估计。利用估计出的前景和背景颜色来估计alpha值。在已知的方法中，除了Knockout方法外，其余方法都没有对前景和背景颜色做调整。而Knockout方法所作的调整又过于粗糙，导致其抠图效果不佳。

                       发明内容

本发明的目的是提供一种数字图像处理中以任意图像为背景的快速抠图方法。其步骤为：

1.手工对图像进行区域划分，把它划分成三个部分：前景区域，未知区域和背景区域；

2.根据分割的区域，对未知区域中的任意一点c，设其颜色为C，计算出其前景和背景颜色分量F和B；

3.根据估计出的前景和背景颜色分量F和B，采取颜色调整措施调整F和B的值，最后估计出c点的alpha值。

本发明具有速度块，效果好的优点。以前的自然图像抠图技术都把大部分的精力放在了第二个步骤，也即如何估计前景和背景颜色，而忽略了第三个步骤，也即alpha的估计。关注步骤2忽略步骤3的结果导致出现了各种复杂的颜色估计模型，虽然在一定程度上改进了抠图效果，但同时也大大增加了计算量，这使得自然图像抠图技术在实际中的应用受到了很大的限制。

本发明突破了这个框架，设计了一种计算量小，抠图效果好的抠图技术来满足实际的需要。它的颜色估计模型非常简单，alpha值的估计方案则别出心裁。

表1列出了不同抠图例子在不同的机器上所需的处理时间。与当今国际上抠图效果最好的Chuang方法相比，本发明的速度比它提高了10～12倍，而抠图效果却没有降低。Chuang方法在CPU为P31.0G，RAM为512M的环境下，处理Syringe图像需要120秒左右。使用本发明的方法在机器条件比Chuang方法略差的条件下，速度是Chuang方法的11倍左右。

表格1不同抠图例子在不同环境下的抠图时间

	CPU：Celeron400RAM：320M	CPU：P3600RAM：512M	CPU：P4 1.8GRAM：256M
				Syringe	16.484秒	10.485秒	5.680秒
Feather edge	25.696秒	16.474秒	8.844秒
				Galadriel	4.266秒	2.754秒	1.406秒

Gandalf	5.618秒	3.635秒	1.891秒
				Tiger	5.658秒	3.666秒	1.922秒
Water	9.303秒	5.988秒	3.281秒

应用本发明可以快速有效地抠出任意图像中的前景部分。大量的例子证明，本发明很好地解决了抠图中存在的速度和效果之间的矛盾，具有很好的实用价值。

                         附图说明

图1是本发明流程示意图；

图2(a)(b)描述的是区域划分和前景背景颜色分量的估计示意图；

图3(a)(b)(c)(d)是颜色F、B和C在颜色空间中的几种相对位置示意图；

图4(a)(b)是本发明中的颜色调整方案示意图；

图5是本发明与其他抠图方法的关于例子Syringe图像的效果比较示意图；

图6是本发明与Chuang方法的关于例子Feather edge图像的效果比较示意图；

图7是本发明的其他一些效果示意图。

                      具体实施方式

数字图像处理中以任意图像为背景的快速抠图方法的原理是：对于前景和背景之间的过渡区域(也即区域分割中的未知区域)中的任意一点c，以图像空间中离该点最近的一些前景点和背景点的颜色加权平均值 F和 B做为c点颜色的前景和背景颜色分量，然后采用适当的alpha值估计方案估计出c点的alpha值α。本方法无需建立复杂的模型来求前景和背景颜色，颜色的调整方案也很简单，因此，本方法是一种快速的抠图方法。

首先，在本抠图方法的第二个步骤中，计算前景颜色分量F和背景颜色分量B的模型简单实用。本方法只计算包含在两个圆区域内部的轮廓线上的点，且权重的计算和这些点与c点的距离成线性关系，距离最近的点的权重最大，随着距离的增大权重线性减小。本发明的抠图方法在第二步的颜色估计模型尽可能地做了简化。

其次，在第三个步骤中，本方法的颜色调整方案简单直观。该方案保持颜色的RGB分量的比例不变，利用人眼对颜色亮度的微小变化不甚敏感的特点，在最小程度上调整前景和背景颜色的亮度，最后利用调整后的前景和背景颜色估计出C点的alpha值。该方案的具体如下：

在三维RGB颜色空间中，一点的颜色可以表示为一个点或者一个向量。在颜色三维坐标中，点O为坐标原点，它表示黑色。给定颜色空间中的任意两点P₁，P₂，|P₁P₂|表示线段P₁P₂的长度。设未知区域内任一点c，其颜色为C，估计出来的初始前景和背景颜色分量为B、F。在三维颜色空间中，为了表述方便，我们做如下定义：

抠图偏差：点C和线段BF之间的距离称为抠图偏差。在图3(a)中，点C位于线段BF上，此时抠图偏差为0；图2(b)中，点C在线段BF外，做线段CC′垂直于线段BF并交于点C′，此时抠图偏差为线段CC′的长度|CC′|。

规则点和不规则点：当C点离线段BF的距离不太远时，我们称此时的C点为规则点，否则为不规则点。线段CC′和BF的长度的比值在一定程度上反应了C点的规则性。

当C点刚好落在线段BF上时，这种情况是C点的最理想的情况。从颜色合成方程可以推出： $\mathrm{\α}=\frac{(C-B)\·(F-B)}{\left|\right|F-B|{|}^2}---\left(1\right)$

式(1)中，向量(C-B)对应于有向线段BC，向量(F-B)对应于有向线段BF，α则是线段BC在BF上的投影的长度和BF的长度的比值。当C点在线段BF上时，抠图偏差为0，线段BC在BF上的投影的长度就是线段BC的长度。在绝大多数情况下，抠图偏差不为0，应用(1)式计算α会有一定的偏差。于是问题转化为如何尽可能合理地减小抠图偏差的值。本发明的颜色调整方案基于以下的几个观察：

观察1：当C点为规则点时，由公式(3)计算出的alpha值的误差可以忽略。(如图3(b)所示)；

观察2：当角∠BCF为钝角时，点C离线段BF的距离并不太远。

观察3：当线段OC的长度介于线段OB和OF之间时，点C离线段BF的距离也不太远。

满足观察2和3的C点是规则点。并非所有的规则点都满足观察2或者3。通过本发明介绍的方法在颜色空间中调整B和F的位置，可以把大部分不规则的C点转化为规则点。

本发明定义：l_F＝F_r+F_g+F_b，l_B＝B_r+B_g+B_b，l_C＝C_r+C_g+C_b，比值

当

时，如果l_C＞l_F，则把 F调整为 $\hat{F}=(F_r\×l_C/l_F,F_g\×l_C/l_F,F_b\×l_C/l_F),$ 如果l_C＜l_B，则把 B调整为 $\hat{B}=(B_r\×l_C/l_B,B_g\×l_C/l_B,B_b\×l_C/l_B);$ 当

时，如果l_C＜l_F，则把 F调整为 $\hat{F}=(F_r\×l_C/l_F,F_g\×l_C/l_F,F_b\×l_C/l_F),$ 如果l_C＞l_B，则把 B调整为 $\hat{B}=(B_r\×l_C/l_B,B_g\×l_C/l_B,B_b\×l_C/l_B).$ 把调整后的 和 代入公式(1)，计算出alpha值α。

本发明的颜色调整方案只对初始前景和背景颜色分量 F和 B的亮度在最小程度上做了修改，而并没有改变它们的颜色。一般情况下，人眼对颜色的亮度的微小变化不太敏感，因此完全可以用 和 代替 F和 B来计算α值。这种替换保持了α估计值的连续性，不会对人眼造成很大的冲击。用 和

计算出来的α值更为接近真实的α值。

图1是本发明的详细流程图。首先，对输入图像进行区域划分，共分为三个部分：前景区域、背景区域和未知区域；其次，根据划分的区域，对未知区域中的每一点，初步估计出它的前景和背景颜色分量；最后，本发明采用颜色调整方案对估计出的前景和背景颜色分量进行调整，估计出它的alpha值。

图2(a)是本发明中区域划分的一个例子；图2(b)描述了在本发明中如何估计未知区域中的点的前景和背景颜色分量。其中较小的圆C₁内部包含的那段红色的前景轮廓线上的点就是计算前景分量所需的所有点，较大的圆C₂内部所包含的那段绿色的背景轮廓线上的点就是计算背景分量所需的所有点。

图3(a)中点C恰好在线段BF上；图3(b)中点C在线段BF之外，但和线段BF距离很近；图3(c)中l_C不介于l_B和l_F之间，但∠BCF为钝角；图3(d)中l_C介于l_B和l_F之间，但∠BCF为锐角。

图4是本发明中的颜色调整方案示意图。这里只讨论当l_B＜l_F时的情况。此时如果l_C不介于l_B和l_F之间，则有两种情况：l_C＜l_B＜l_F(如图4(a)所示)和l_B＜l_F＜l_C(如图4(b)所示)。在图4(a)中，在BF的延长线上找一点F′，使l_F′＝l_C，这样就有l_B＜l_C≤l_F′，满足观察3，可以认为C点此时是规则点，可以应用公式(1)计算alpha值。图4(b)的处理与之类似。

本说明书共举了6个实施例子。在本说明书所举的实施例子中，参数取值都为θ＝2.0，ρ＝1.428。图5，图6为实施例子1、2，图7包含实施例子3～6。

实施例1

图5中的放大图1是由三部分组合而成，其中左边是原图，中间是灰度图，右边是背景为黑色的合成图。Knockout方法在放大图1中没有把一些头发丝抠出来，另外放大图1上有一些点的结果失真。Ruzon&Tomasi方法则有一些头发丝出现比较严重的断裂现象，另外合成图中有明显的不连续的现象。Chuang方法的效果较好，但仔细观察，可以发现放大图2的底部有轻微的不连续现象，在放大图1中也有些微的不连续。本发明的方法在本例子中则没有上述的缺点。

实施例2

图6中Chuang方法在放大图1中的两个椭圆内部的区域中抠图结果错误或者出现杂质。在上部的小椭圆内部，一部分发丝被强行割掉，这里的抠图结果是错误的，而在下面的大椭圆内部，则出现了一片杂质。本发明的方法则很好的处理了这些问题。

实施例3～6

图7中(a)图是Gandalf例子，(b)图是Galadriel例子，(c)图是Tiger例子，(d)图是Water例子。

数字图像处理中以任意图像为背景的快速抠图方法的要点是：

1.手工进行区域划分，确保轮廓线经过合适的区域，并具有足够的精度；

2.颜色估计中用到的样本点为圆内部的轮廓线上的点，两个圆的半径的长度一般为最短距离的1.5～3.0倍；

3.调整估计出来的前景和背景颜色，使C点转为规则点；

4.利用调整后的颜色来估计c点的alpha值。

区域划分的精确与否对自然图像抠图的精度有很大的影响。抠图时应注意以下几点：①保证前景轮廓线内的点全部为前景点，背景轮廓线外的点全部为背景点，不能允许有交叉，否则将大大影响交叉区域的抠图精确度；②由于光照和空气的影响，人眼中物体的边界处总是有一点模糊。前景和背景轮廓线不要太靠近物体的边界，要留有一定的余地，保证过渡区域不划入前景或者背景区域。边界到两条轮廓线的距离大致相等；③尽量使轮廓线不穿过颜色突变剧烈的区域。

本发明中前景和背景颜色的估计用到的样本点仅为轮廓线上的点，这使样本点的个数大大减小，提高了计算速度。

本发明的颜色调整方案是整个方法的重点。它的核心就是把C点由不规则点转化为规则点，使α的求解能够利用公式(1)。在颜色的RGB比例不变的情况下，最小程度地调整颜色的亮度，利用人眼对颜色亮度的小范围变化不敏感的特点，把调整后前景和背景颜色代替原来估计出的颜色，来求得更合理的alpha值。

Claims (7)

1.一种数字图像处理中以任意图像为背景的快速抠图方法，其特征在于：其步骤为：

1)手工对图像进行区域划分，把它划分成三个部分：前景区域，未知区域和背景区域；

2)根据分割的区域，对未知区域中的任意一点c，设其颜色为C，计算出其初始的前景和背景颜色分量F和B；

3)据估计出的初始前景和背景颜色分量F和B，采取颜色调整措施调整F和B的值，最后估计出c点的alpha值。

2.根据权利要求1所述的一种数字图像处理中以任意图像为背景的快速抠图方法，其特征在于所说的区域分割是：手工在图像的前景边缘画两条轮廓线，一条是前景轮廓线，处于这条轮廓线内部的点都是前景区域的点，另一条轮廓线为背景轮廓线，处于这条轮廓线之外的点都是背景区域的点，位于这两条轮廓线之内的点为未知区域的点。手工画轮廓线时，尽量使未知区域内不包含前景区域或背景区域的点。

3.根据权利要求1所述的一种数字图像处理中以任意图像为背景的快速抠图方法，其特征在于所说的前景和背景颜色分量F和B的计算是：对于未知区域中的任意一点c，找出前景轮廓线和背景轮廓线上离c点距离最近的点f′和b′。假设点f′和b′离c点的距离分别为d₁和d₂，给定一个正实数θ(1.0＜θ≤10.0)，以点c为圆心，分别以θd₁和θd₂长为半径，做两个同心圆C₁和C₂。设在圆C₁内部且位于前景轮廓线上的所有点为f₁、f₂、……、f_k，这些点离c点的距离为d₁₁、d₁₂……、d_1k，在圆C₂内部且位于背景轮廓线上的所有点为b₁、b₂、……、b_l，这些点离c点的距离为d₂₁、d₂₂……、d₂₁，计算出f_i(i＝1，2，…，k)点颜色的加权平均值 $\stackrel{\‾}{F}=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{w}_{1i}{f}_i,b_j(j=\mathrm{1,2},...,l)$ 点颜色的加权平均值 $\stackrel{\‾}{B}=\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{w}_{2j}{b}_j,$ 其中 $w_{1i}=\frac{\mathrm{\θ}}{\mathrm{\θ}-1}-\frac{1}{\mathrm{\θ}-1}\·\frac{d_{1i}}{d_1}(i=\mathrm{1,2},...,k),$ $w_{2j}=\frac{\mathrm{\θ}}{\mathrm{\θ}-1}-\frac{1}{\mathrm{\θ}-1}\·\frac{d_{2j}}{d_2}(j=\mathrm{1,2},...,l).$ 在本发明中，F和 B就是所估计的前景和背景颜色分量F和B。

4.根据权利要求1或3所述的一种数字图像处理中以任意图像为背景的快速抠图方法，其特征在于所说的alpha值估计是：其步骤为：

1)根据图像中前景物体和背景物体的颜色亮度差异，决定色差参数ρ的取值；

2)调整 F和 B的值为 和

3)根据调整后的

和 估计出c点的alpha值α。

5.根据权利要求1或3所述的一种数字图像处理中以任意图像为背景的快速抠图方法，其特征在于色差参数ρ的取值是：当前景物体的亮度比背景物体大时，ρ的取值比较小，一般情况下，其取值范围为1.0＜ρ≤2.0；当前景物体的亮度比背景物体小时，ρ的取值比较大，一般情况下，其取值范围为ρ＞2.0。

6.根据权利要求1或3所述的一种数字图像处理中以任意图像为背景的快速抠图方法，其特征在于 F和 B的调整是：设 F＝(F_r，F_g，F_b)， B＝(B_r，B_g，B_h)，C＝(C_r，C_g，C_b)，其中A_r，A_g，A_b为颜色A在RGB三个通道上的分量，这里A＝F，B，C。计算l_F＝F_r+F_g+F_b，l_B＝B_r+B_g+B_b，l_C＝C_r+C_g+C_b，比值

此时分为三种情况讨论：①如果

且l_C＞l_F，或者

且l_C＜l_F，则把 F调整为 $\hat{F}=(F_r\×l_C/l_F,F_g\×l_C/l_F,F_b\×l_C/l_F),$ B不作调整，也即 $\hat{B}=\stackrel{\‾}{B}.$ ②如果 且l_C＜l_B，或者

且l_C＞l_B，把 B调整为 $\hat{B}=(B_r\×l_C/l_B,B_g\×l_C/l_B,B_b\×l_C/l_B),$ F不作调整，也即 $\hat{F}=\stackrel{\‾}{F}.$ ③在其余的情况下， F和 B均不作调整，也即 $\hat{F}=\stackrel{\‾}{F},$ $\hat{B}=\stackrel{\‾}{B}.$

7.根据权利要求1或3所述的一种数字图像处理中以任意图像为背景的快速抠图方法，其特征在于alpha值估计是：根据调整后的 和

由公式 $\mathrm{\α}=\frac{(C-\hat{B})\·(\hat{F}-\hat{B})}{\left|\right|\hat{F}-\hat{B}{\left|\right|}^2}$ 计算出未知区域中的一点c的alpha值α。

Images