CN103714539A - 数字抠像处理中基于svm的交互式区域划分方法 - Google Patents

Abstract

本发明公开了一种数字抠像处理中的基于SVM的交互式图像区域划分方法。步骤为：1）载入图像；2）判断图像前景背景是否可分：如果没有重合，则图像区域为待处理图像区域，转下一步骤3）；否则，把图像区域划分为前景和背景颜色分布不重合的子区域，转下一步骤3）；3）步骤2）中待处理图像区域中，根据颜色差别标识出代表性的未处理的前景区域和背景区域；4）对于待处理图像区域中的未在所述步骤3）标识的区域的像素点执行SVM区域划分算法，得到划分概率数据；5）划分概率大的像素点归入已正确划分区域；对于归入已正确划分区域的像素点，可以再次参与下次区域划分。本发明具有速度快，自动化程度较高的特点，具有很好的实用价值。

Description

数字抠像处理中基于SVM的交互式区域划分方法

技术领域

本发明涉及一种数字抠像处理中基于SVM的交互式区域划分方法。

背景技术

抠像就是把一张图像中的前景和背景分隔开来的技术。处理图像前景背景是否简单可分，是指前景和背景区域的颜色在颜色空间中的分布是否重合。如果重合，那么该图像前景背景非简单可分，否则简单可分。非简单可分的图像，其前景背景区域的划分靠算法实现几乎是不可能的。具体的图像是复杂的，任何精巧高效的算法，都是在仔细分析某一类图像的过程中形成的，一般只是针对该类图像有效，解决了一类问题，但往往对另一类问题失效。这也是图像处理和模式识别科研人员的苦恼，因为他们的研究对象没有万能通用的解法。要想实现通用的自动化程序高的图像识别算法，一定量的人工交互是必不可少的。对于全局非简单可分的图像，在一定范围的局部区域内，其前景背景可以是简单可分的。

目前，抠像技术可以分成三大类：第一类是基于采样的抠像技术。这类技术首先需要一个准确划分出前景区域、背景区域和待处理区域的三分图，通过采集待处理区域中的像素点p的周边的前景点和背景点，估算出p点的前景颜色F和背景颜色B，然后利用抠像方程估算出透明度值α。比如Knockout方法、Hillman方法、Mishima方法和Bayesian方法等。基于采样的抠像技术有三个问题需要解决：首先需要预先得到一张准确的三分图，如果该图不准确，则抠像结果也不准确；其次，如何采集合适的前景点和背景点来估算F和B，也是一个难题；第三，如果图像颜色变化比较剧烈，往往抠像结果很差。第二类是基于相似性假设的抠像技术。这一类技术假设待处理图像在小范围内颜色平滑，它在处理过程中也需要一张准确的三分图，此外，对于图像颜色变化比较剧烈的情况，假设就不成立，其抠像效果也较差。比如泊松抠像、随机行走方法和测地线方法等；第三类是采样与相似性结合的抠像技术。此类方法需要计算每个待处理像素点的数据能量E_d以及待处理像素点之间的相似能量E_s，并通过最小化两者的和来求得所有待处理像素的α值，如鲁棒抠像、快捷抠像等。这类方法在特定的情况下，可以通过少量的人工交互标识出小部分有代表性的确定的前景和背景区域，就可以得到较好的抠像结果，但是在大部分情况下，要取得好的抠像结果，一般也需要一张准确的三分图。

发明内容

准确的三分图需要大量人工交互才可以得到，这需要花费大量时间，通常要十几分钟甚至更长。我们需要在三分图的准确度和时间代价上取得一定的平衡，本发明提供了一种数字抠像处理中基于SVM的交互式区域划分方法。

数字抠像处理中的基于SVM（Support Vector Machine）的交互式图像区域划分方法，在数字抠像处理中，标识出部分前景和背景区域的基础上，使用SVM区域划分方法逐步把图像区域划分为确定的前景，确定的背景和未知区域三个部分，其步骤为：

1）载入图像；

2）判断图像前景背景是否可分：图像区域中的前景和背景像素点在颜色空间中的颜色分布是否有重合，如果没有重合，则图像区域为待处理图像区域，转下一步骤3）；否则，把图像区域划分为前景和背景颜色分布不重合的子区域，所述的子区域为待处理图像区域,转下一步骤3）；

3）步骤2）中所述的待处理图像区域中，根据颜色差别标识出代表性的未处理的前景区域和背景区域；

4）对于待处理图像区域中的未在所述步骤3）标识的区域的像素点执行SVM区域划分算法，得到每个像素点的区域划分结果概率数据；

5）划分概率大于0.95的像素点认为其划分结果正确，归入已正确划分区域；对于归入已正确划分区域的像素点，在以下两种情况下参与下次区域划分：一是像素所归属的背景或前景颜色单一，没有合适的其他像素点参与下次划分；二是像素点的颜色可划分出未划分区域的前景或背景区域；如果区域划分结果与不符合要求，进行矫正；如果区域划分尚未结束，回到步骤3），直到所有待处理图像区域划分结束，并显示区域划分结果。

步骤3）中，所述的颜色差别在颜色空间中的分布应尽可能相互远离，所标识的颜色反差越大越好，以提高区域划分准确度。

步骤4）中，所述的SVM区域划分算法如下：设置像素点样本为八维向量{R,G,B,x,y,R/G,G/B,B/R}，其中R,G,B为该像素点的RGB颜色分量值，如果值为0，改为1，x,y为像素点在图像中的坐标位置，R/G,G/B,B/R为RGB颜色分量的比值；SVM区域划分具体步骤有：

3.1）把已知样本点的向量定标，把各分量的值定标在[0,1]范围之内；

3.2）利用定标后的样本点向量训练出一个分类模型：假设样本点数目为l，SVM分类的目标就是要找到分类超平面f(x)＝wx+b，w为超平面的法向量，x为像素点，b为一待求实数，对于像素点x_i，如果为前景，有y_i＝f(x_i)＝wx_i+b≥1，如果为背景，则有y_i＝f(x_i)＝wx_i+b≤-1；再引入容错性，加入松弛变量ζ，有y_i[(wx_i)+b]≥1-ζ_i，(i＝1,2,...,l)，分类超平面可以有无数个，如果低维线性不可分，通过核函数把向量映射到高维空间，使其线性可分，在实现当中，选择径向基函数作为核函数，前景样本点和背景样本点离选择的分类超平面越远，则分类效果越好，SVM训练的目标就是要找出距离前景背景样本点最远的超平面f(x)＝wx+b，也即以下的优化问题：

$\min \frac{1}{2}{\left|\right|w\left|\right|}^2+C\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\ζ}}_i$

根据y_i[(wx_i)+b]≥1-ζ_i，(i＝1,2,...,l)；

3.3）把未知像素点按照该模型进行分类，得到包含所有未知像素点分类概率的分类结果。在得到最优分类超平面f(x)＝wx+b后，根据Platt方法，利用神经元非线性作用函数来计算每个像素点的前景分类概率p：

$p=P(y=1|x)=P_{A,B}\left(f\right)=\frac{1}{1+\exp (\mathrm{Af}+B)}$

其中参数A,B通过以下最大似然估计而得：

$\underset{z=(A,B)}{\min }F\left(z\right)=-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}(t_i\log \left(p_i\right)+(1-t_t)\log (1-p_i))$

其中p_i＝P_A,B(f_i)，若样本点xi是前景点，N₁表示前景样本点个数，N₀表示背景样本点个数，则t_i＝(N₁+1)/(N₁+2)，否则t_i＝1/(N₀+2)。

本发明的有益效果是，可以在较短时间内在一定的人工交互条件下比较准确地实现抠像算法中的区域划分，比较好的在划分准确度和花费时间之间取得一定的平衡。本发明也可以用在图像分割当中。本发明全部处理时间一般都在2分钟以内，消耗时间是全手工操作1/5-1/10，由于现有抠像算法大部分不提供其算法最终的三分图，因此在准确性上无法进行比较。从人眼判断，本算法的区域划分结果是比较准确的。

附图说明

图1a是实施例1的原图像；

图1b是实施例1的确定前景和确定背景的首次标识图；

图1c是实施例1的首次区域划分结果图；

图1d是实施例1的确定前景和确定背景的首次和二次标识图；

图1e是实施例1的二次区域划分结果图；

图1f是实施例1中经过矫正后的区域划分结果图；

图2a是实施例2中的原图像；

图2b是实施例2中子区域1的确定前景和确定背景标识图；

图2c是实施例2中子区域1的区域划分结果；

图2d是实施例2中子区域1的区域划分结果图和子区域2的确定前景和确定背景标识图；

图2e是实施例2中子区域1和2的区域划分结果；

图2f是实施例2的完整的区域划分结果；

图3a是实施例3的的原图；

图3b是实施例3的区域划分结果图；

图3c是实施例4中的原图；

图3d是实施例4中的区域划分结果图；

图3e是实施例5中的原图；

图3f是实施例5中的区域划分结果图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如果待处理图像是非简单可分图像，则把该图像划分成几块简单可分的子区域，对每一块子区域，人工标识出确定的部分前景和背景区域，为了有较好的划分结果，每次标识前景和背景区域时，应该选择前景和背景颜色比较单一，并且在颜色空间中不重合的区域。这些标识出的部分前景和背景区域中的像素点即训练样本点，每个样本点为8维向量(R,G,B,x,y,R/G,G/B,B/R)，其中R,G,B为颜色分量值，如果值为0，改为1，以免出现除数为0的情况。R,G,B三个分量除了考虑颜色的色度值以外，还考虑到颜色的亮度值，而加入R/G,G/B,B/R三个分量则主要是强调了颜色的色度值在区域划分过程中的作用,x,y分量是像素点的坐标值，加入这两个分量主要是为了抑制噪点，产生平滑的区域划分结果，但这两个分量在区域划分算法中所起的重要性要视不同图像而定。如果图像中前景边缘部分的毛发较多，则x,y分量在区域划分中的重要性要适当降低，如果前景边缘毛发较少，比较“硬朗”，则x,y的重要性要增加。利用这些样本点训练出一个分量模型，然后用这个分类模型给未知区域的点分类，并算出每个点的分类概率p。当p>=0.95时，认为其分类结果正确，已经正确分类的点不再参与下一次的标识，训练和分类过程。如此反复执行，直到分类过程结束。在这个处理过程中，标识前景和背景区域、分类过程结束的判断是由人工完成的。由于图像的复杂性，现有技术都只能做到针对某些特殊的图像。在本发明所采用的技术方案中，只针对前景和背景的颜色分布不重合的情况。如果某些图像中前景和背景的颜色分布重合，只能利用人工交互来解决这个问题。

实施例1

在图1a-f所示的实施例中，如图1a所示，图像中前景和背景简单可分，背景颜色除了在不同区域亮度有些区别以外，色度比较单一，前景颜色也不复杂，可以不必划分子区域。如图1b所示，先标识出背景和前景中的红色部分，第一次区域划分后，找出了大部分背景和大部分红色区域（如图1c所示）；由于背景颜色单一，原先已经确定的背景区域又参与了第二次区域划分（如图1d所示），第二次区域划分的结果（如图1e所示）已经找出了绝大部分前景和背景区域。由于在不同颜色块之间的过渡区域，亮度和色度均有较大变化，因此这些过渡区域被划入了未知区域。这些被算法认为是“未知区域”而实际上是确定的前景和背景区域的误划分像素点，可以通过人工来校正。图1f是经过校正后的最终的区域划分结果图。

实施例2

在图2a-f所示的一个实施例中，如图2a所示，图像中前景和背景颜色较为复杂，且前景的边缘毛发较多，对一般的区域划分算法比较困难，要全部手工得到一张较为准确的三分图需要不少时间。但是在该图像中，在局部区域内的前景背景图像可以是简单可分的。在图2b和图2d中，分别在前景物体和背景的交界处选取了两块局部子区域，在子区域内分别进行区域划分，得到两个子区域的区域划分图（如图2c和图2e所示），如此反复执行直到子区域划分结束，最后合并所有经过校正的子区域划分结果就可以得到最终的区域划分结果（如图2f所示）。

实施例3-5

如图3a，图3c和图3e所示，前景边缘的毛发均较多，但本算法均能得到较好的区域划分结果（如图3b，图3d和图3f所示）。

Claims (3)

1.一种数字抠像处理中基于SVM的交互式图像区域划分方法，其特征在于，在数字抠像处理中，标识出部分前景和背景区域的基础上，使用SVM区域划分方法逐步把图像区域划分为确定的前景，确定的背景和未知区域三个部分，其步骤为：

1）载入图像；

2）判断图像前景背景是否可分：图像区域中的前景和背景像素点在颜色空间中的颜色分布是否有重合，如果没有重合，则图像区域为待处理图像区域，转下一步骤3）；否则，把图像区域划分为前景和背景颜色分布不重合的子区域，所述的子区域为待处理图像区域,转下一步骤3）；

3）步骤2）中所述的待处理图像区域中，根据颜色差别标识出代表性的未处理的前景区域和背景区域；

4）对于待处理图像区域中的未在所述步骤3）标识的区域的像素点执行SVM区域划分算法，得到每个像素点的区域划分结果概率数据；

5）划分概率大于0.95的像素点认为其划分结果正确，归入已正确划分区域；对于归入已正确划分区域的像素点，在以下两种情况下参与下次区域划分：一是像素所归属的背景或前景颜色单一，没有合适的其他像素点参与下次划分；二是像素点的颜色可划分出未划分区域的前景或背景区域；如果区域划分结果与不符合要求，进行矫正；如果区域划分尚未结束，回到步骤3），直到所有待处理图像区域划分结束，并显示区域划分结果。

2.根据权利要求1所述的方法，其特征在于，步骤3）中，所述的颜色差别在颜色空间中的分布应尽可能相互远离，所标识的颜色反差越大越好，以提高区域划分准确度。

3.根据权利要求1所述的方法，其特征在于，步骤4）中，所述的SVM区域划分算法如下：设置像素点样本为八维向量{R,G,B,x,y,R/G,G/B,B/R}，其中R,G,B为该像素点的RGB颜色分量值，如果值为0，改为1，x,y为像素点在图像中的坐标位置，R/G,G/B,B/R为RGB颜色分量的比值；SVM区域划分具体步骤有：

3.1）把已知样本点的向量定标，把各分量的值定标在[0,1]范围之内；

3.2）利用定标后的样本点向量训练出一个分类模型：假设样本点数目为l，SVM分类的目标就是要找到分类超平面f(x)＝wx+b，w为超平面的法向量，x为像素点，b为一待求实数，对于像素点x_i，如果为前景，有y_i＝f(x_i)＝wx_i+b≥1，如果为背景，则有y_i＝f(x_i)＝wx_i+b≤-1；再引入容错性，加入松弛变量ζ，有y_i[(wx_i)+b]≥1-ζ_i，(i＝1,2,...,l)，分类超平面可以有无数个，如果低维线性不可分，通过核函数把向量映射到高维空间，使其线性可分，在实现当中，选择径向基函数作为核函数，前景样本点和背景样本点离选择的分类超平面越远，则分类效果越好，SVM训练的目标就是要找出距离前景背景样本点最远的超平面f(x)＝wx+b，也即以下的优化问题：

$\min \frac{1}{2}{\left|\right|w\left|\right|}^2+C\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\ζ}}_i$

根据y_i[(wx_i)+b]≥1-ζ_i，(i＝1,2,...,l)；

3.3）把未知像素点按照该模型进行分类，得到包含所有未知像素点分类概率的分类结果，在得到最优分类超平面f(x)＝wx+b后，根据Platt方法，利用神经元非线性作用函数来计算每个像素点的前景分类概率p：

$p=P(y=1|x)=P_{A,B}\left(f\right)=\frac{1}{1+\exp (\mathrm{Af}+B)}$

其中参数A,B通过以下最大似然估计而得：

$\underset{z=(A,B)}{\min }F\left(z\right)=-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}(t_i\log \left(p_i\right)+(1-t_t)\log (1-p_i))$

其中p_i＝P_A,B(f_i)，若样本点x_i是前景点，N₁表示前景样本点个数，N₀表示背景样本点个数，则t_i＝(N₁+1)/(N₁+2)，否则t_i＝1/(N₀+2)。

Images