CN100565584C - 一种具有纠偏性的自然图像抠图的全局优化方法 - Google Patents

Abstract

本发明提供的具有纠偏性的自然图像抠图的全局优化方法，是从对图进行划分的角度考虑抠图问题，即：将抠图问题视为对图像的聚类或分组，这种最优的划分应该使得前景对象F与背景B的关联最弱，F的内部关联程度最强；以F的内部关联程度作为规格化因子，重新衡量F与背景B相分离的的软分割开销，从而得到均衡化后的自然图像抠图的全局优化的目标函数；并且对这一目标函数的优化等价于对一个广义特征值系统的求解。本发明有效地避免了以前的抠图方法中由于用于抠图的目标优化函数构造上的不合理而造成的抠图结果的有偏性，更有利于得到有关前景不透明度的全局最优解，并且对实现抠图过程的自动或半自动化具有重要的应用价值。

Description

一种具有纠偏性的自然图像抠图的全局优化方法

技术领域

本发明涉及数字图像处理领域，特别是涉及自然图像抠图方法中对目标优化函数的定义。

背景技术

一幅图像C可以被视为是前景图像F与背景图像B按照一定比例合成的结果。像素p的颜色C_p是其对应的前景颜色F_p和背景颜色B_p按照以下合成方程的线性组合：

C_p＝α_pF_p+(1-α_p)B_p

其中α_p是像素p的前景不透明度值。

图像抠图是图像合成的一个逆过程，其目的是通过估算出每个像素的前景不透明度值将前景对象从背景中分离出来。这一技术在图像和视频编辑中具有重要的意义。由于仅仅知道图像的观测颜色C_p，F_p、B_p和α_p均为未知，图像抠图本质上是一个欠约束的问题。

为了求解抠图问题，有两个基本的问题需要被考虑。首先，需要提出用于衡量一个好的抠图结果的优化公式，即用于抠图的目标优化函数。其次，要找到一种有效的算法来实现对目标函数的优化求解。

根据使用哪一种图像统计信息来得到用于图像抠图的目标优化函数，已有的图像抠图方法大致上可以被分为两类：基于采样的图像抠图方法和基于信息传播的方法。

基于采样的图像抠图方法需要用户将输入图像大体上划分成三个区域：确定的前景区域，确定的背景区域和未知区域，或者提供少量的几划指定部分前景和背景像素，以增加额外的约束。然后，这类方法使用来自已知的邻近前景和背景区域的统计信息估算未知像素的不透明度值，前景和背景颜色。对应于这类方法的典型抠图技术有：KnockOut，Ruzon与Tomasi的抠图方法和贝叶斯抠图方法。

基于信息传播的图像抠图方法，并不直接使用已知的确定区域的颜色信息估算出未知像素对应的变量，而是大多通过对原始的图像合成方程进行适当变形后，对图像的前景和背景颜色分布做一些简单的假设，如颜色分布保持局部平滑，或者引入颜色分布模型，从而得到对应的抠图开销函数。这类方法中的典型技术如：泊松抠图，封闭形式抠图和谱抠图方法。

另外一类方法，如BP抠图，Easy抠图，Robust抠图方法与Soft scissor系统，则将采样信息和平滑假设结合起来作为实现抠图的目标优化函数。

以上这些图像抠图方法中的开销函数，无论是基于估算出的未知变量的精确度衡量，还是基于不透明度值α的平滑假设，都仅仅只考虑到了前景对象F与背景B的相互分离的软分割开销，而没有从图划分的角度研究抠图问题，将所要提取的前景对象视为一个整体，在实现F与B分离的过程中考虑到F作为对图像的一个分组的内部紧凑程度。因此，这些方法往往由于目标优化函数本身的构造上的不合理，偏向于为少量的图像像素集合分配非零的标签值，即前景不透明度值，使得最后的抠图结果偏离了全局最优解。

发明内容

本发明所要解决的技术问题是：提供一种具有纠偏性(均衡化)自然图像抠图的全局优化公式，即一种实现抠图优化的目标函数，以克服以前的自然图像抠图方法中由于用于抠图的目标优化函数的构造上的不合理而造成的抠图结果的有偏性。

本发明解决其技术问题所采用的技术方案是：从对图进行划分的角度考虑抠图问题，即：将抠图问题视为对图像的聚类或分组，这种最优的划分应该使得前景对象F与背景B的关联最弱，F的内部关联程度最强；以F的内部关联程度作为规格化因子，重新衡量F与背景B相分离的的软分割开销，从而得到均衡化后的自然图像抠图的全局优化目标函数；并且对这一目标函数的优化等价于对一个广义特征值系统的求解。

本发明与以前的自然图像抠图方法相比，其优点如下：

以前的自然图像抠图方法仅仅考虑到前景对象F与背景B之间的分离开销，以最小化这一开销为优化目标，容易导致只为少数的像素子集分配非零的不透明度，使得抠图结果偏离全局最优解。而本方法则从对图划分的角度考虑抠图问题，将抠图过程视为对图像的分组，使用所要提取的前景对象的内部像素节点间的紧密关联程度，来重新衡量实现F和B相互分离的软分割开销。使用本方法，一方面能够使F与B的分离开销最小化，另一方面又能使F的内部紧凑度最大化，从而有效地避免了以前的抠图方法中由于仅仅只考虑最小化分离开销而造成的抠图结果的偏离，更有利于得到有关前景不透明度的全局最优解。

此外，由于这一用于实现抠图优化的公式的提出不同于以前的抠图方法中从图像分层的角度考虑抠图问题，而是基于图像抠图问题的本质是对图的一种划分，从整体上考虑这一过程，因此，有利于技术人员基于这一公式来实现抠图过程的自动或半自动化。

附图说明

图1是本发明的基本思想示意图。

图2显示了求解具有纠偏性(均衡化)的自然图像抠图的全局优化公式对应的等价的广义特征系统得到的结果。图中：图(b)、(e)分别是对应于输入图像(a)、(d)的的第一到第七小的特征值曲线图。图(c)为对应于(a)的第三小的特征向量，图(f)为对应于(d)的第二小的特征向量，且这些特征向量按照与输入图像相同大小的尺寸，以灰度图效果显示出。

图3对具有纠偏性(均衡化)的自然图像抠图的全局优化公式，平均化的抠图公式，及无监管的谱抠图方法所得到的结果进行了比较。图中：图(a)为输入图像。图(b)是使用具有纠偏性(均衡化)的自然图像抠图的全局优化公式，计算得到的第三小的特征向量。图(c)显示了使用平均化的抠图公式求解出的第二小的特征向量。图(d)为对应于(a)的使用无监管抠图方法得到的结果。

具体实施方式

本发明提供的具有纠偏性(均衡化)的自然图像抠图的全局优化方法，具体是：从对图进行划分的角度考虑抠图问题，即：将抠图问题视为对图像的聚类或分组，这种最优的划分应该使得前景对象F与背景B的关联最弱，F的内部关联程度最强；以F的内部关联度作为规格化因子，重新衡量F与背景B相分离的的软分割开销，从而得到均衡化后的自然图像抠图的全局优化公式，即用于实现抠图的目标函数；并且对这一抠图目标函数的优化等价于对一个广义特征值系统的求解。

所述的软分割的含义是：这一说法是相对于图像分割而言的。在二元图像分割中，整个图像被划分为前景和背景两个区域，一个像素要么属于确定的前景，要么属于确定的背景，不存在部分属于前景部分属于背景的情形，因此，分割又常被称之为“硬”分割。而在图像抠图中，不仅仅是将前景对象F从背景B中划分出来，而且还需要恢复出F与B之间的混合像素的前景混合比例，即前景不透明度值，因此，对于抠图又有软分割的说法。

本发明提供的具有纠偏性(均衡化的)的自然图像抠图的全局优化公式的基本思想示意图见图1。在图像抠图中所要提取的前景对象F被视为是对图G的一种精细化的划分，位于所要抠取的对象边缘的混合像素被区分为部分的前景和部分的背景。一个好的划分结果应该使得F内的节点紧密关联，F与背景B间的节点相互分离。

本发明采用包括以下步骤的方法：

1.将一幅输入图像抽象为无向权重图G，为图中的边分配抠图权重值，构造出抠图关联矩阵W_m，抠图权重度矩阵D_m，抠图拉普拉斯矩阵L_m。其中：

1)所述的无向权重图G的构造是：G＝(E，V，w)。

公式中：V为图中n个节点的集合，n为像素的个数；E为节点间边的集合；每条边e_ij对应于权重值w_ij，w_ij表示两个相邻接的节点间的相似度。

不同的抠图方法中，对图G中边的权重值的求解，及G是否多边与是否有自环因具体的计算权重值的公式的构造不同而有所不同。

2)所述的抠图关联矩阵W_m，其定义为：

$W_m(i,j)=\left\{\begin{array}{cc}{w}_{\mathrm{ij}}=w_{\mathrm{ji}}& \mathrm{if}\left(\mathrm{ij}\right)\∈E\\ 0& \mathrm{otherwise}\end{array}\right.$

W_m的大小为n×n。

在具体实施中，对于一幅输入图像，我们使用谱抠图方法中定义的如下形式的抠图权重函数来计算两个邻接像素节点间的相似度：

$W_m(i,j)=\underset{k|(i,j)\∈w_k}{\mathrm{\Σ}}\frac{1}{\left|w_k\right|}(1+(C_i-{\mathrm{\μ}}_k){({\mathrm{\Σ}}_k+\frac{\mathrm{\ϵ}}{\left|w_k\right|}{I}_3)}^{-1}(C_j-{\mathrm{\μ}}_k))$

公式中：w_k代表了所有的包含了像素i，j的3×3(或5×5)的窗口，|w_k|为每个窗口中所包含的像素的个数，μ_k与∑_k分别是第k个窗口中的像素亮度的均值和协方差矩阵，C_i，C_j分别为像素i，j的观测颜色值，口为用户可调节的参数，I₃是3×3的单位矩阵。每个像素节点i与其周围所有的处于包含像素i的3×3(或5×5)窗口内的像素节点j之间有非零权重值。

3)所述的抠图权重度矩阵D_m，其定义为：

节点i的度为 $d_i={\mathrm{\Σ}}_{j=1}^n{w}_{\mathrm{ij}},$ 则

$D_m(i,j)=\left\{\begin{array}{cc}{d}_i& \mathrm{ifi}=j\\ 0& \mathrm{otherwise}\end{array}\right.$

D_m为n×n的对角矩阵。

4)所述的抠图拉普拉斯矩阵L_m，其定义为：

L_m＝D_m-W_m

L_m为n×n的对称的半正定矩阵。

2.设图中每个节点i对应的前景不透明值为α_i，α_i∈[0，1]，构造出F与B相分离的软分割开销Separa(F，B)。

1)Separa(F，B)的构造为：

$\mathrm{Separa}(F,B)=\underset{\left(\mathrm{ij}\right)\∈E}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{({\mathrm{\α}}_i-{\mathrm{\α}}_j)}^2={\mathrm{\α}}^T{L}_m\mathrm{\α}$

其中α为所有像素的前景不透明度值所构成的n×1的列向量。

2)证明：

$\mathrm{Separa}(F,B)$

$=\underset{\left(\mathrm{ij}\right)\∈E}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{({\mathrm{\α}}_i-{\mathrm{\α}}_j)}^2$

$=\underset{\left(\mathrm{ij}\right)\∈E}{\mathrm{\Σ}}{w}_{\mathrm{ij}}({\left({\mathrm{\α}}_i\right)}^2+{\left({\mathrm{\α}}_j\right)}^2)-w_{\mathrm{ij}}\left(2{\mathrm{\α}}_i{\mathrm{\α}}_j\right)$

其中：

$\underset{\left(\mathrm{ij}\right)\&Element;E,i<j}{\mathrm{\&Sigma;}}{w}_{\mathrm{ij}}({\left({\mathrm{\&alpha;}}_i\right)}^2+{\left({\mathrm{\&alpha;}}_j\right)}^2)$

$={\mathrm{\&alpha;}}^T{D}_m\mathrm{\&alpha;}$

$\underset{\left(\mathrm{ij}\right)\&Element;E}{\mathrm{\&Sigma;}}{w}_{\mathrm{ij}}\left(2{\mathrm{\&alpha;}}_i{\mathrm{\&alpha;}}_j\right)$

$={\mathrm{\&alpha;}}^T{W}_m\mathrm{\&alpha;}$

所以

$\mathrm{Separa}(F,B)$

$=\underset{\left(\mathrm{ij}\right)\&Element;E}{\mathrm{\&Sigma;}}{w}_{\mathrm{ij}}{({\mathrm{\&alpha;}}_i-{\mathrm{\&alpha;}}_j)}^2$

$={\mathrm{\&alpha;}}^T{D}_m\mathrm{\&alpha;}-{\mathrm{\&alpha;}}^T{W}_m\mathrm{\&alpha;}$

${=\mathrm{\&alpha;}}^T(D_m-W_m)\mathrm{\&alpha;}$

$={\mathrm{\&alpha;}}^T{L}_m\mathrm{\&alpha;}$

3.使用前景对象F中所有节点到无向权重图G中所有节点的关联权重值总和表示F的内部节点关联度Associ(F，V)，V是图G中所有节点的集合。

1)Associ(F，V)的构造：

Associ(F，V)＝α²vol(F)＝α^TD_mα

其中vol(F)为包含在F中的节点的容量。

2)证明：

$\mathrm{Associ}(F,V)={\mathrm{\&alpha;}}^2\mathrm{vol}\left(F\right)=\underset{i\&Element;F}{\mathrm{\&Sigma;}}{\mathrm{\&alpha;}}_i^2\underset{\left(\mathrm{ij}\right)\&Element;E}{\mathrm{\&Sigma;}}{w}_{\mathrm{ij}}$

$=\underset{\left(\mathrm{ij}\right)\&Element;E,i<j}{\mathrm{\&Sigma;}}({\left({\mathrm{\&alpha;}}_i\right)}^2+{\left({\mathrm{\&alpha;}}_j\right)}^2)w_{\mathrm{ij}}$

$={\mathrm{\&alpha;}}^T{D}_m\mathrm{\&alpha;}$

考虑到在一幅图像中，大部分像素的不透明度值为0或1，少部分位于前景对象边缘的混合像素的不透明度值为0到1之间的小数值，Associ表示了F中所有节点与V中所有节点的关联权重值总和。

3)节点的容量的定义：

一组节点 $V^{\&prime;}|V^{\&prime;}\&SubsetEqual;V\left(G\right)$ 的容量按照如下公式计算出：

$\mathrm{vol}\left(V^{\&prime;}\right)=\underset{i\&Element;V^{\&prime;}}{\mathrm{\&Sigma;}}\underset{\left(\mathrm{ij}\right)\&Element;E}{\mathrm{\&Sigma;}}{w}_{\mathrm{ij}}=\underset{i\&Element;V^{\&prime;}}{\mathrm{\&Sigma;}}{d}_i$

4.以Associ(F，V)为规格化因子，重新权衡分离F与B的软分割开销Separa(F，B)，从而得到均衡化后的自然图像抠图的全局优化目标函数Ematting。

Ematting的定义为：

$\mathrm{Ematting}=\frac{\mathrm{Separa}(F,B)}{\mathrm{Associ}(F,V)}=\frac{{\mathrm{\&Sigma;}}_{\left(\mathrm{ij}\right)\&Element;E,i<j}{({\mathrm{\&alpha;}}_i-{\mathrm{\&alpha;}}_j)}^2{w}_{\mathrm{ij}}}{{\mathrm{\&Sigma;}}_{\left(\mathrm{ij}\right)\&Element;E,i<j}({\left({\mathrm{\&alpha;}}_i\right)}^2+{\left({\mathrm{\&alpha;}}_j\right)}^2)w_{\mathrm{ij}}}=\frac{{\mathrm{\&alpha;}}^T{L}_m\mathrm{\&alpha;}}{{\mathrm{\&alpha;}}^T{D}_m\mathrm{\&alpha;}}$

本定义权衡了前景对象F与背景B的分离开销，相对于前景对象内部的节点聚合在一起的关联开销；当F与B之间的关联程度相对于F的内部关联足够弱时，就能够得到像素的前景不透明度的全局最优解。

5.对Ematting的优化转化为对一个广义特征值系统的求解。

所说的对Ematting的优化求解为：

${\min }_{\mathrm{\&alpha;}}\mathrm{Emattig}\left(\mathrm{\&alpha;}\right)={\min }_{\mathrm{\&alpha;}}\frac{{\mathrm{\&alpha;}}^T{L}_m\mathrm{\&alpha;}}{{\mathrm{\&alpha;}}^T{D}_m\mathrm{\&alpha;}}$

等式右边为广义瑞利商形式，因此对具有纠偏性(均衡化)的自然图像抠图的全局优化目标函数的最小化，等价于对如下的广义特征值系统的求解：

L_mα＝λD_mα

对上式的唯一约束是α中元素的取值在[0，1]分布，这一点往往只需要对求解出的特征向量做简单的归一化处理即可满足。在此基础上，可以对求解出的特征向量采用有效的计算策略做进一步处理，或基于该目标函数，采用其他的优化方法以得到最优的全局前景不透明度抠图结果。

本发明的提供的具有纠偏性(均衡化)的自然图像抠图的全局优化公式，能够在视频处理领域中应用。

下面，对本发明与现有技术的区别再作进一步说明。

现有技术中，自然图像抠图技术谱抠图方法基于局部平滑假设，将估算出的不透明度值与未知像素的前景颜色，背景颜色和观测颜色值的线性组合的差值最小化作为优化目标，并通过一系列的变形将未知颜色值F，B从公式中消掉，得到了如下的抠图开销函数：

E(α)＝α^TL_mα

这一开销函数实际上衡量了前景对象F与背景B之间的软分割开销。

为了进行后面的比较，更好地说明本发明的优点，我们首先从具体的算法步骤上对无监管的谱抠图方法做简单的回顾。在该方法中：1.首先，为一幅输入图像构造出抠图拉普拉斯矩阵L_m；2.求解标准的特征值系统L_mx＝λx；3.从求解出的最小特征向量中恢复出一组抠图组分；4.对抠图组分进行组合，得到若干个可能的抠图结果，并使用抠图开销函数E(α)＝α^TL_mα，从中挑选出“最优”的作为最终提取出的前景不透明度抠图结果。

我们对以上步骤2中出现的标准特征值系统进行分析。本发明使用待提取的前景对象F的内部关联度Associ作为重新权衡分离开销的规格化因子，那么如果使用F所包含的节点的个数Size(F)替代分母部分Associ则有：

$\frac{\mathrm{Separa}(F,B)}{\mathrm{Size}\left(F\right)}=\frac{{\mathrm{\&Sigma;}}_{\left(\mathrm{ij}\right)\&Element;E,i<j}{({\mathrm{\&alpha;}}_i-{\mathrm{\&alpha;}}_j)}^2{w}_{\mathrm{ij}}}{\underset{i\&Element;V}{\mathrm{\&Sigma;}}{\mathrm{\&alpha;}}_i^2}=\frac{{\mathrm{\&alpha;}}^T{L}_m\mathrm{\&alpha;}}{{\mathrm{\&alpha;}}^T\mathrm{\&alpha;}}$

一般的待抠取的前景对象中大部分的像素为确定的前景，其标签值，即前景不透明度值为1，只有少部分像素的标签为0到1之间的小数值，因此这里Size(F)近似地描述了F所包含的节点的数目。类似的公式表达出现在平均分割方法中。为了与具有纠偏性(均衡化)的自然图像抠图的全局优化公式相区别，我们不妨将其称之为平均化的抠图公式。上式等式右边为标准的瑞利商形式，与其对应的等价的特征值系统为：

L_mα＝λα

理论上该标准特征值系统的第二小的特征值所对应的特征向量应是对输入图像的最优抠图结果。我们将在后面的实现中，对使用具有纠偏性(均衡化)的自然图像抠图的全局优化公式，和使用平均化的抠图公式所得到的结果进行分析与比较。

由于L_m为一个对称的半正定矩阵，对应于L_mα＝λD_mα的最小的特征向量为常向量。图2(c)，(f)分别显示了输入图像(a)，(d)对应于该广义特征值系统的第二、第三小的特征向量。在不采用其他有效的计算策略对求解出的特征向量做进一步处理的情况下，L_mα＝λD_mα的第二或第三小的特征向量可以获得与人的视觉感知理解相符合的好的抠图结果。理论上，第二个最小的特征值对应的特征向量应该是最优的，但是我们在实现中发现，在第二小的特征向量与人的视觉感知相偏离的情形下，第三小的特征值对应的特征向量往往是更符合人的视觉感知理解的全局抠图结果。

接下来我们将具有纠偏性(均衡化)的自然图像抠图的全局优化公式所对应的广义特征值系统L_mα＝λD_mα的最小特征向量，与平均化的抠图公式对应的标准特征值系统L_mα＝λα的最小特征向量所得到的对前景不透明度的提取结果进行比较。图3(b)为使用具有纠偏性(均衡化)的自然图像抠图的全局优化公式计算得到的对应于输入图像图3(a)的第三小的特征向量，图3(c)为使用平均化的抠图公式计算得到的对应于该输入图像的第二小的特征向量。通过比较可以发现，具有纠偏性(均衡化)的自然图像抠图的全局优化公式在第二或第三个特征向量中就已包含了有关前景对象的全局不透明度的丰富信息，而平均化的抠图公式所对应的结果往往偏离了全局最优结果。这是因为两者虽然形式上看起来很相似，但是平均化的抠图公式并不具有能够同时最小化组间不关联度，最大化组内关联度的重要性质。当将两者用到图像抠图问题时，具有纠偏性(均衡化)的自然图像抠图的全局优化公式产生了明显要好于平均化的抠图公式的结果。

谱抠图方法认为L_m的每个最小特征向量是一组抠图组分的一个线性组合，通过使用牛顿方法，这些抠图组分被恢复出来，然后根据抠图开销函数E(α)＝α^TL_mα从所得到的抠图组分的各种组合中，选出对应的抠图开销函数最小的一个作为最优的无监管的抠图结果。然而，由于用于判断最优解的开销函数本身具有偏向于为少量的像素集合分配非常量值的缺点，尽管这一方法继而采用了设置阈值从所得分组结果的尺寸上加以约束的策略，试图纠正这种偏离，仍然不可避免得挑选出了错误的分组结果，我们在具体实施中发现这种情况经常发生。

根据无监管谱抠图方法所得到的最优的抠图结果往往在L_mα＝λD_mα的第二个最小的特征向量所对应的结果中就已经获得，如果这一结果偏离了全局最优，则与人的视觉感知相对应的最优的抠图结果通常可以在L_mα＝λD_mα的第三小的特征向量中发现。当两者所得到的结果都偏离了最优解的时候，使用具有纠偏性(均衡化)的自然图像抠图的全局优化公式计算得到的第二小的特征向量与无监管的谱抠图方法所得到结果通常是可比的，并且从人眼判断来看L_mα＝λD_mα的第二小的特征向量常常具有比无监管的谱抠图方法挑选出的结果更小的相对于全局最优解的偏离程度。在具体实施中，我们使用从L_mα＝λα的前20个最小特征向量中提取出的10个抠图组分，得到了对应于输入图像图3(a)的最优的无监管谱抠图结果图3(d)，而与之相似的结果正对应于L_mα＝λD_mα的第二个最小的特征向量。

使用具有纠偏性(均衡化)的自然图像抠图的全局优化公式，由于等价的优化公式表达L_mα＝λD_mα对应的最小特征向量中已包含了比使用平均化的抠图公式计算出的最小特征向量更为丰富的有关全局前景不透明度的信息，我们可以采用无监管的谱抠图方法的策略，而使用更少的从L_mα＝λD_mα中求解出的特征向量，提取出前景不透明度抠图结果，甚至对于某些输入图像，广义特征值系统L_mα＝λD_mα的第二或第三小的特征向量直接就是采用无监管的谱抠图方法所得到的最后结果。

下面结合实施例及附图对本发明作进一步说明，但不限定本发明。

本说明书共举了3个实施例子。所有实施结果在MATLAB7.1软件平台下生成。图2包含实施例子1、2，图3包含实施例子3。在具体的实现中，我们设置ε＝10^-5，并选用3×3规模大小的窗口。对所有求解出的特征向量，使用其对应的特征值的平方根为规格化因子进行归一化处理，并调用MATLAB下的imwrite函数自动地将小于0的负值约束为0，大于1的元素值约束为1，最后按照与对应的输入图像相同大小的尺寸写入到磁盘中，并以灰度图效果显示出。且所有实现不涉及到任何用户交互。另外，根据不同的输入图像，以上两个参数可以做适当调整，以期取得更好的效果。

实施例1～2：

图2是求解具有纠偏性(均衡化)的自然图像抠图的全局优化公式对应的等价的广义特征系统得到的结果。图2(a)、(d)分别为实施例子1、2，其中(i)为人工合成的包含蓝红两种色块区域的图像。L_mα＝λD_mα的第二或第三小的特征向量可以获得与人的视觉感知理解相符合的好的抠图结果。如本图中对应于实施例子1的第三个最小的广义特征向量(c)，对应于实施例子2的第二个最小的广义特征向量(f)。

实施例3：

图3对具有纠偏性(均衡化)的自然图像抠图的全局优化公式，平均化的抠图公式，无监管抠图方法进行了比较。图3(a)为实施例子3。图(b)是使用具有纠偏性(均衡化)的自然图像抠图的全局优化公式得到的第三小的特征向量，图(c)是对应于平均化的抠图公式的第二小的特征向量，图(d)是使用无监管的谱抠图方法挑选出的“最优”的抠图结果。通过比较可以看出平均化的抠图公式及无监管的谱抠图方法所得到的结果都偏离了全局最优解，而使用具有纠偏性(均衡化)的自然图像抠图的全局优化公式则有效避免了上述的问题，总体效果明显好于其他两种方法。

以上列举的仅是本发明的具体实施例，显然，本发明不限于以上实施例，还可以有许多变形。需要特别注意的是，由于视频本质上是一系列时间上连续的图像的组合，本发明的具有纠偏性(均衡化)的自然图像抠图的全局优化公式可以很自然地推广到视频处理领域。

Claims (7)

1.一种具有纠偏性的自然图像抠图的全局优化方法，其特征是从对图进行划分的角度考虑抠图问题，即：将抠图问题视为对图像的聚类或分组，这种最优的划分应该使得前景对象F与背景B的关联最弱，F的内部关联程度最强；以F的内部关联程度作为规格化因子，重新衡量F与背景B相分离的的软分割开销，从而得到均衡化后的自然图像抠图的全局优化目标函数；并且对这一目标函数的优化等价于对一个广义特征值系统的求解；

所述内部关联程度由以下公式定义：

Associ(F，V)＝α²vol(F)＝α^TD_mα

式中：vol(F)为包含在F中的节点的容量；V是无向权重图G中所有节点的集合，D_m是抠图权重度矩阵，α为所有像素的前景不透明度值所构成的n×1的列向量，n为像素的个数；

所述节点的容量的定义为：

一组节点 $V^{\&prime;}|V^{\&prime;}\&SubsetEqual;V\left(G\right)$ 的容量按照以下公式计算出：

$\mathrm{vol}\left(V^{\&prime;}\right)=\underset{i\&Element;V^{\&prime;}}{\mathrm{\&Sigma;}}\underset{\left(\mathrm{ij}\right)\&Element;E}{\mathrm{\&Sigma;}}{w}_{\mathrm{ij}}=\underset{i\&Element;V^{\&prime;}}{\mathrm{\&Sigma;}}{d}_i;$

所述节点i的度为 $d_i={\mathrm{\&Sigma;}}_{j=1}^n{w}_{\mathrm{ij}};$

所述无向权重图G的构造是：G＝(E，V，w)，

公式中：V为无向权重图G中n个节点的集合，n为像素的个数；E为节点间边的集合；每条边e_ij对应于权重值w_ij，w_ij表示两个相邻接的节点间的相似度。

2.根据权利要求1所述的全局优化方法，其特征是采用包括以下步骤的方法：

1)将一幅输入图像抽象为无向权重图G，为无向权重图G中的边分配抠图权重值，构造出抠图关联矩阵W_m，抠图权重度矩阵D_m，抠图拉普拉斯矩阵L_m；

2)设无向权重图G中每个节点i对应的前景不透明度值为α_i，α_i∈[0，1]，构造出F与B相分离的软分割开销Separa(F，B)；

3)使用前景对象F中所有节点到无向权重图G中所有节点的关联权重值总和表示F的内部节点关联度Associ(F，V)，V为无向权重图G中所有节点的集合；

4)以Associ(F，V)为规格化因子，重新权衡分离F与B的软分割开销Separa(F，B)，得到均衡化后的自然图像抠图的全局优化目标函数Ematting；

5)对Ematting的优化转化为对一个广义特征值系统的求解。

3.根据权利要求2所述的全局优化方法，其特征是抠图关联矩阵W_m定义为：

$W_m(i,j)=\left\{\begin{array}{cc}{w}_{\mathrm{ij}}=w_{\mathrm{ji}}& \mathrm{if}\left(\mathrm{ij}\right)\&Element;E\\ 0& \mathrm{otherwise}\end{array}\right.$

W_m的大小为n×n。

4.根据权利要求2所述的全局优化方法，其特征是抠图权重度矩阵D_m的定义为：

$D_m(i,j)=\left\{\begin{array}{cc}{d}_i& \mathrm{ifi}=j\\ 0& \mathrm{otherwise}\end{array}\right.$

D_m为n×n的对角矩阵。

5.根据权利要求2所述的全局优化方法，其特征是：

抠图拉普拉斯矩阵L_m的定义为：L_m＝D_m-W_m，L_m为n×n的对称的半正定矩阵；软分割开销Separa(F，B)的构造为：

$\mathrm{Separa}(F,B)=\underset{\left(\mathrm{ij}\right)\&Element;E}{\mathrm{\&Sigma;}}{w}_{\mathrm{ij}}{({\mathrm{\&alpha;}}_i-{\mathrm{\&alpha;}}_j)}^2={\mathrm{\&alpha;}}^T{L}_m\mathrm{\&alpha;}$

其中α为所有像素的前景不透明度值所构成的n×1的列向量。

6.根据权利要求2所述的全局优化方法，其特征是：

(1)Ematting的定义为：

$\mathrm{Ematting}=\frac{\mathrm{Separa}(F,B)}{\mathrm{Associ}(F,V)}=\frac{{\mathrm{\&Sigma;}}_{\left(\mathrm{ij}\right)\&Element;E,i<j}{({\mathrm{\&alpha;}}_i-{\mathrm{\&alpha;}}_j)}^2{w}_{\mathrm{ij}}}{{\mathrm{\&Sigma;}}_{\left(\mathrm{ij}\right)\&Element;E,i<j}({\left({\mathrm{\&alpha;}}_i\right)}^2+{\left({\mathrm{\&alpha;}}_j\right)}^2)w_{\mathrm{ij}}}=\frac{{\mathrm{\&alpha;}}^T{L}_m\mathrm{\&alpha;}}{{\mathrm{\&alpha;}}^T{D}_m\mathrm{\&alpha;}}$

本定义权衡了前景对象F与背景B的分离开销，相对于前景对象内部的节点聚合在一起的关联开销；当F与B之间的关联程度相对于F的内部关联足够弱时，就能够得到像素的前景不透明度的全局最优解；

(2)对Ematting的优化求解为：

${\min }_{\mathrm{\&alpha;}}\mathrm{Ematting}\left(\mathrm{\&alpha;}\right)={\min }_{\mathrm{\&alpha;}}\frac{{\mathrm{\&alpha;}}^T{L}_m\mathrm{\&alpha;}}{{\mathrm{\&alpha;}}^T{D}_m\mathrm{\&alpha;}}$

等式右边为广义瑞利商形式，因此对具有纠偏性的自然图像抠图的全局优化目标函数的最小化，等价于对如下的广义特征值系统的求解：

L_mα＝λD_mα

对上式的唯一约束是α中元素的取值在[0，1]分布，这一点只需要对求解出的特征向量做简单的归一化处理即可满足；在此基础上，对求解出的特征向量采用有效的计算策略做进一步处理。

7.基于权利要求1至6中任一权利要求所述的的全局优化方法，其特征是所述全局优化方法在视频处理领域中的应用。

Images