CN103177446B - 基于邻域和非邻域平滑先验的图像前景精准提取方法 - Google Patents

Abstract

本发明公开了一种基于邻域和非邻域平滑先验的图像前景精准提取方法，主要包括以下步骤：交互式标记前景点、背景点；对于输入图像的每一个未标记的像素，使用颜色采样方法初始化其α值，并计算其置信度，对于置信度大于给定阀值的像素，采信其α值，作为已知像素；对于输入图像的每一个像素，计算每个像素的数据项权重，邻域平滑约束项权重和非邻域平滑约束项权重，构建输入图像所有像素的图模型；根据已知像素的α值，在图模型的约束下，通过最小化能量方程解得每一个像素点属于前景的概率，得到掩像(alpha？matte)。本发明在计算精准度、掩像连续性等方面有良好的表现，可广泛应用推广到影视节目制作等领域。

Description

基于邻域和非邻域平滑先验的图像前景精准提取方法

技术领域

本发明属于图像处理、计算机视觉技术领域，是一种新型的基于邻域和非邻域平滑先验的图像前景精准提取方法。

背景技术

图像前景精准提取旨在将图像I分解成前景F和背景B。从数学角度上讲，图像I是F和B按如下方式的线性组合：

C＝Fα+B(1-α)

其中，α定义了每一个像素的不透明度，它的取值位于[0，1]。精确的图像提取在不同的图像和视频编辑应用中有很大的作用。然而，由于未知点的个数比已知方程式的个数多很多，导致该方程不可解。所以，通常采用的方法是利用用户画笔式交互或输入一张黑白灰三分图(trimap)来简化这个问题的求解。

现在的图像方法大致可以分为三类：基于采样(Sampling-Based)的方法，基于相似度(Affinity-Based)的方法以及结合这两种方法的综合方法。

基于采样的图像前景精准提取同时估算一个像素点的α值和其前景色，背景色。很多方法采用不同的参数化的或非参数化的模型来对已知前景区域和背景区域的临近像素点进行采样。Ruzon和Tomasi假定未知像素点在前景区域边缘的狭窄带状区域。后来这一方法被Chuang等人用贝叶斯框架加以扩展。这些方法在未知像素点临近前景边缘，同时未知像素点的个数相对比较少时效果比较好。Rhemann等人提出了一种基于测地线距离采集样本的改进颜色模型。共享图像前景精准提取(Sharedmatting)方法沿着光线的不同方向对像素点进行采样。总的来说，这些方法在颜色邻域平滑的情况下有比较好的效果。

基于相似度的图像前景精准提取，独立于前景颜色和背景颜色解决了精准对象提取(alphamatte)问题。泊松图像前景精准提取方法(Poissonmatting)假定掩像(alphamatte)的梯度与图像的梯度是成比例的。基于随机游走算法的图像前景精准提取(Randomwalkmatting)方法采用随机游走算法根据相邻颜色相似度来求解α值。基于闭合式方法的图像前景精准提取(Closed-formmatting)方法假定邻域窗口上的颜色线模型，通过最小化一个花费函数来解决精准对象提取(alphamatte)问题。基于谱分析法的图像前景精准提取(Spectralmatting)方法通过探索其与谱聚类的关系将其扩展成一个非监督的方法。拉普拉斯图像提取与不同的数据约束，先验或基于学习的方法结合起来以解决图像提取问题。然而，在邻域平滑的假设下，不足以解决复杂图像问题。因此，我们将其与非邻域平滑先验结合起来提升结果。

综合采样和相似度的图像前景精准提取方法在前两类方法之间做了很好的平衡。鲁棒性图像前景精准提取(RobustMatting)方法首先采样具有高置信度的样本，然后使用随机游走算法最小化图像前景精准提取能量。全局采样图像前景精准提取(Globalsamplingmatting)采用来自PatchMatch算法中的随机寻找算法来寻找全局最优样本。

在基于闭合式方法的图像前景精准提取(closed-formmatting)中，图像前景精准提取的拉普拉斯算子矩阵是根据颜色线模型得到的，用来约束邻域窗口内的精准对象提取(alphamatte)。这种邻域平滑先验可以与从颜色采样中获得的数据集结合起来。这种平滑的先验在只有恒定数量前景色和背景色的图像区域内效果比较好。He等人采用广义的Patchmatch方法提升了颜色采样的效果。近期研究表明数据集和邻域平滑集的组合可以产生高质量的结果。然而，在计算拉普拉斯算子矩阵的时候设置一个合适的邻域窗口大小是不容易的。小的窗口可能不足以捕获到结构的细节信息。另一方面，大的窗口会破坏颜色线模型，同样导致不好的结果。

近期，陈等人提出一种流形保持编辑传播的方法，并将其应用到了透明图像提取中。我们观察到这其实是一种新型精准对象提取(alphamatte)上的非邻域平滑先验。它将远处像素点的α值联系到了一起，这与基于拉普拉斯的图像前景精准提取(Laplacianmatting)形成了互补。当仅应用这种非邻域的平滑先验时，它可能捕获不到半透明物体的邻域结构信息。因此我们提出将这种非邻域平滑先验与邻域拉普拉斯平滑先验结合起来，然后计入一个平凡数据集。我们新型的图像提取算法在标准测试数据集上展现了良好的性能。

发明内容

本发明的目的是提出了一种新型的基于邻域和非邻域平滑先验的图像前景精准提取方法，这种新型的方法在标准测试数据集上有良好的表现。

为完成本发明的目的，本发明采用的技术方案是：

一种基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，包括如下步骤：

步骤S100，标记输入图像中的前景区域、背景区域和未知区域；前景区域就是要提取出的图像内容所在的区域，背景区域是不需要提取的图像内容背景，而未知区域是前景和背景交叉难以区别的区域，例如向上竖起的发丝区域。

步骤S200，对于输入图像的未知区域中的每一个像素，使用颜色采样方法初始化该像素属于前景的概率α值，并计算α值的置信度，对于其α值的置信度大于给定阀值的像素，采信该像素的α值，并将该像素标记为已知像素，并将前景区域中的每一个像素的α值设为一个最大值，而将背景区域中的每一个像素的α值设为一个最小值；通常α值介于0-1之间，前景区域的为1，背景区域的为0，而未知区域中的像素的α值大于0且小于1。步骤S200的目的是为了尽量多地确定像素的α值，以为将来计算未知区域中在步骤S200无法确定的那些像素(也就是尽管能够计算出α值，但是计算出的α值不被采信的那些像素)的更为真实的α值做准备。α值是像素属于前景的概率，只要能够算出未知像素的α值，就能够判断该像素属于前景还是属于背景。

步骤S300，对于输入图像中的每一个像素，根据各像素的α值计算其数据项权重，并计算出每一个像素的邻域平滑约束项权重和非邻域平滑约束项权重，并根据这三种权重构建输入图像所有像素的整体图模型；

步骤S400，根据所有前景区域像素、背景区域像素和未知区域中已知像素的α值，在步骤S300的图模型的约束下，通过最小化能量方程解得每一个像素点属于前景的概率，得到掩像。相当于完成了输入图像中各像素属于前景还是背景的区分工作。

优选的是，所述的基于邻域和非邻域平滑先验的图像前景精准提取方法中，在骤S100中，用户采用画笔式交互标记输入图像中的前景区域、背景区域和未知区域，或者用户输入一张三分图以将输入图像标记为前景区域、背景区域和未知区域。这个步骤由用户完成，用户通过画笔的方式选出前景、背景和模糊区域(未知区域)，或者通过输入相同大小的三分图的方式，区分出了前景、背景和未知区域。

优选的是，所述的基于邻域和非邻域平滑先验的图像前景精准提取方法中，前景区域中的每一个像素的α值设为最大值1，背景区域中的每一个像素的α值设为最小值0。

优选的是，所述的基于邻域和非邻域平滑先验的图像前景精准提取方法中，在步骤S100中，用户采用画笔式交互标记前景区域、背景区域和未知区域包括：用户采用画笔标记图像的前景像素和背景像素，用白色画笔覆盖的像素为前景像素，用黑色画笔覆盖的像素为背景像素，其他像素为未知像素；

或者用户提供一张与输入图像相同尺寸的黑白灰三分图，白色区域所对应的输入图像的像素为前景像素，黑色区域所对应的输入图像的像素为背景像素，灰色区域所对应的输入图像的像素为未知像素。

优选的是，所述的基于邻域和非邻域平滑先验的图像前景精准提取方法中，在步骤S200中，计算未知区域中每一个像素属于前景的概率α值的方式如下：根据未知像素在输入图像上的位置，寻找其在输入图像上距离最近的k个前景像素F_i(i＝1～k)和k个背景像素B_j(j＝1～k)，每个前景像素和每个背景像素结成一对，组合成k²个前景背景点对F_iB_j，针对每一个前景背景点对计算一个α′值：

${\mathrm{\α}}^{\′}=\frac{(C-B_j)(F_i-B_j)}{{\left|\right|F_i-B_j\left|\right|}^2}$

其中C为未知像素的颜色值，由此得到k²个α′值。

其中，再通过如下方法计算α′值的置信度：C-(α′F_i+(1-α′)B_j)＝d(F_i，B_j)，即根据未知像素颜色值C与基于α′值的估计颜色值α′F_i+(1-α′)B_j之差d(F_i，B_j)来计算置信度，由此得到k²个差值，差值越小，α′值置信度越高，选取其中置信度最高的α′值作为未知像素的α值，对应的置信度作为该未知像素的α值的置信度，若置信度大于阀值d，则采信其α值，并将该未知像素作为已知像素。剩下的未被采信的α值最终需要求解得到其更近似解。

优选的是，所述的基于邻域和非邻域平滑先验的图像前景精准提取方法中，在步骤S300中，根据各像素的α值计算其数据项权重的方法如下：

步骤S310，数据项权重包括两项，分别表示为该像素属于前景可能性的权重值W_(i，Ｆ)和该像素属于背景可能性的权重值W_(i，B)，W_(i，F)和W_(i，B)的计算方式为：

W_(i，F)＝γαW_(i，B)＝γ(1-α)

其中，参数γ平衡了数据项与平滑集。也就是说，每一个像素拥有两项数据项权重。

优选的是，所述的基于邻域和非邻域平滑先验的图像前景精准提取方法中，参数γ设置为0.1。

优选的是，所述的基于邻域和非邻域平滑先验的图像前景精准提取方法中，在步骤S300中，计算像素的邻域平滑约束项权重的方法如下：

步骤S320，对于像素i，采用拉普拉斯方法在输入图像中以像素i为中心的周围m*m个像素的固定大小窗口内建立邻域平滑约束，对于像素i周围的邻居像素j的邻域平滑约束项权重值的计算方法为：

$W_{\mathrm{ij}}^{\mathrm{lap}}=\mathrm{\δ}\underset{k}{\overset{(i,j)\∈w_k}{\mathrm{\Σ}}}\frac{1+(C_i-{\mathrm{\μ}}_k){({\mathrm{\Σ}}_k+\frac{\mathrm{\ϵ}}{m^2}I)}^{-1}(C_j-{\mathrm{\μ}}_k)}{m^2}$

其中，邻居像素j的个数为m²个，lap表示拉普拉斯方法，参数δ控制着邻域平滑性的强度，μ_k和∑_k代表窗口内m*m个像素的颜色均值和方差，ε是正则化系数，C_i表示像素i的颜色值，I为单位矩阵。

优选的是，所述的基于邻域和非邻域平滑先验的图像前景精准提取方法中，ε设置为10^-5的正则化系数，且m取值为3。

优选的是，所述的基于邻域和非邻域平滑先验的图像前景精准提取方法中，在步骤S300中，计算像素的非邻域平滑约束项权重的方法如下：

步骤S330，根据输入图像的每一个像素的特征值生成包括所有像素在内的特征空间，在特征空间中求取像素i的欧式距离上最近的k个近邻像素，利用局部线性嵌入降维方法，构建非邻域平滑约束，其非邻域平滑约束项权重值可在约束条件下通过最小化如下方程得到：

$W^{\mathrm{lle}}=\underset{W_{\mathrm{im}}^{\mathrm{lle}}}{\arg \min }\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|X_i-\underset{m=1}{\overset{K}{\mathrm{\Σ}}}{W}_{\mathrm{im}}^{\mathrm{lle}}{X}_{\mathrm{im}}\left|\right|}^2$

其中lle表示局部线性嵌入降维方法，m为k个近邻像素中的一个近邻像素，N为输入图像中的所有像素数，X_i表示像素i的特征值。

优选的是，所述的基于邻域和非邻域平滑先验的图像前景精准提取方法中，像素i的特征值包括r_i，g_i，b_i，x_i，y_i，其中r_i，g_i，b_i是像素i的RGB颜色值，x_i，y_i是像素i在输入图像中的坐标位置，因此所述特征空间为包括r_i，g_i，b_i，x_i，y_i特征值在内的五维特征空间。

优选的是，所述的基于邻域和非邻域平滑先验的图像前景精准提取方法中，在步骤S400中，其特征在于：根据未知区域中被采信的已知像素的α值、已知前景区域中像素的α值和已知背景区域中像素的α值，在步骤S300的图模型的约束下，通过最小化如下能量方程解得每一个像素点属于前景的概率，得到掩像：

$E=\mathrm{\λ}\underset{i\∈S}{\mathrm{\Σ}}{({\mathrm{\α}}_i-g_i)}^2+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(\left(\underset{j\∈N_i}{\mathrm{\Σ}}{W}_{\mathrm{ij}}\right){\mathrm{\α}}_i-\underset{j\∈N_i}{\mathrm{\Σ}}{W}_{\mathrm{ij}}{\mathrm{\α}}_j)}^2$

其中，E为能量，λ为权重系数，S为输入图像的所有已知α值的像素点集，g_i为已知α值的像素的在步骤S200中确定的α值，而中的α_i是上述能量公式中待求解的最优α值，N为图模型中所有像素点集和对应于数据项W_(i，F)和W_(i，Ｂ)的两个虚拟点集Ω_F和Ω_B，i表示像素i，N_i是像素i的邻居像素集，所述邻居像素集N_i中包括步骤S330中的k个近邻像素、步骤S320中的m*m个像素中的邻居像素、与Ｗ_(i，F)对应的前景虚拟邻居像素、和与W_(i，B)对应的背景虚拟邻居像素，W_ij代表了三种权重值，包括数据项权重值W_(i，F)和W_(i，B)，邻域平滑项权重值和非邻域平滑项权重值

上述函数可用如下矩阵形式表示：

E＝(α-G)^TΛ(α-G)+α^TL^TLα

其中：

$L_{\mathrm{ij}}=\{\begin{array}{c}{W}_{\mathrm{ii}}:\\ -W_{\mathrm{ij}}:\\ 0:\end{array}\begin{array}{c}\mathrm{ifi}=j,\\ \mathrm{ifiandjareneighbours},\\ \mathrm{otherwise},\end{array}$

并且 ${\mathrm{\Λ}}_{\mathrm{ii}}=\left\{\begin{array}{cc}\mathrm{\λ}& i\∈S\\ 0& \mathrm{otherwise}\end{array}\right.$ $G_i=\{\begin{array}{c}{g}_i\\ 0\end{array}\begin{array}{c}i\∈S\\ \mathrm{otherwise}\end{array}$

上述能量方程的矩阵形式表示是关于α的二次方程，可通过求解下列线性方程最小化α值。

(Λ+L^TL)α＝ΛG

上述方程是一个稀疏线性方程组，可以通过预处理共轭梯度方法求解一个全局最优的闭合解。

本发明的基于邻域和非邻域平滑先验的图像前景精准提取方法能够精准提取图像中的发丝类前景，准确度极高。

附图说明：

图1是本发明的流程图；

图2是本发明的输入图像像素点在特征空间的映射示意图；

图3是本发明的非邻域先验应用样例图；

图4是本发明的邻域先验应用样例图；

图5是本发明的颜色采样示意图；

图6是本发明的图模型示意图。

具体实施方式：

本发明提出了一种新型的基于邻域和非邻域平滑先验的图像前景精准提取方法，包括以下步骤：步骤S100，用户交互式标记前景点、背景点，包括：

用户采用画笔标记图像的前景点和背景点，白色画笔覆盖的像素为已知前景像素，黑色画笔覆盖的像素为已知背景像素，其他像素点为未知像素；

或用户提供一张与输入图像相同尺寸的黑白灰三分图(Trimap)，白色区域所对应的输入图像的像素为已知前景像素，黑色区域所对应的输入图像的像素为已知背景像素，灰色区域所对应的输入图像的像素为未知像素；

设定已知前景像素的α值为1，已知背景像素的α值为0。

步骤S200，对每一个未知像素的颜色值C，根据空间距离，寻找其最近的k个前景像素F和k个背景像素B，组合成k²个前景、背景点对，分别根据它们的颜色计算该未知像素属于前景的概率α，α值的计算方法为：

${\mathrm{\α}}^{\′}=\frac{(C-B_j)(F_i-B_j)}{{\left|\right|F_i-B_j\left|\right|}^2}$

根据其颜色值C与通过α′和前景背景点对恢复的颜色α′F_i+(1-α)B_j的差距d(F_i，B_j)来计算其置信度，选取其中置信度最高的前景、背景点对和对应的α′值作为C的α估计值，对应的置信度作为C的α估计值的置信度，若置信度大于阀值，则采信其α值并将C作为已知像素。

步骤S300，对于输入图像的每一个像素，计算每个像素的数据项权重，邻域平滑约束项权重和非邻域平滑约束项权重，构建输入图像所有像素的图模型，包含以下步骤：

步骤S310，对于输入图像的每一个像素，其数据项权重表示为W_(i、F)、W_(i，B)，用来表示该像素点属于前景或者背景的可能性，W_(i，F)、W_(i，B)的值由已知的α值或步骤S200中估计得到的α值确定，W_(i，F)、W_(i，B)的计算方式为：

W_(i，F)＝γαW_(i，B)＝γ(1-α)

其中，参数γ平衡了数据项与平滑约束项，在我们的试验中将γ统一设置为0.1。我们使用W_F和W_B分别表示{W_(i，F)|i=1，...，N}和{W_(i，B)|i=1，...，N}。

步骤S320，对于图像上每一个像素点i，采用拉普拉斯方法在3*3的固定大小窗口w_k内建立邻域平滑约束，对于邻居像素j，其邻域平滑约束项权重的计算方法为

$W_{\mathrm{ij}}^{\mathrm{lap}}=\mathrm{\δ}\underset{k}{\overset{(i,j)\∈w_k}{\mathrm{\Σ}}}\frac{1+(C_i-{\mathrm{\μ}}_k){({\mathrm{\Σ}}_k+\frac{\mathrm{\ϵ}}{9}I)}^{-1}(C_j-{\mathrm{\μ}}_k)}{9}$

其中，参数δ控制着邻域平滑性的强度，μ_k和∑_k代表每一个窗口内的颜色均值和方差，ε是一个没置为10^-5的下规化系数。

邻域平滑先验可以增强图像前景精准提取结果的邻域平滑性。但是，仅使用邻域平滑先验是不够的。在计算拉普拉斯算子矩阵的时候设置一个合适的邻域窗口大小是很困难的。小的窗口可能不足以捕获到结构的细节信息。另一方面，大的窗口会破坏颜色线模型，同样导致不好的结果。如图3所示，仅使用邻域平滑先验的基于闭合式方法的图像前景精准提取方法(Closed-formmatting)，对于第一排的输入图像需要一个大的窗口(41*41)来捕获精准对象提取的结构。然而，对于在图3中的第2排的输入图像，则需要一个小的窗口(3*3)来确保在复杂背景中颜色线模型的有效性。He等人设计了一种自适应的方法针对不同的图像区域选择不同大小的窗口。与之不同的是，我们将拉普拉斯邻域平滑先验与邻域平滑先验结合起来，使用一个固定的小窗口(3*3)，即对这些例子都可以计算出较好的结果。小的窗口可以使拉普拉斯矩阵更加稀疏，从而提高了计算的时效性。

步骤S330，在特征空间中，对输入图像的每一个像素i，根据欧式距离求取其最近的k个近邻像素，利用局部线性嵌入降维的方法，构建非邻域平滑约束，其非邻域平滑约束项权重可在约束条件下通过最小化如下方程得到：

$W^{\mathrm{lle}}=\underset{W_{\mathrm{im}}^{\mathrm{lle}}}{\arg \min }\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|X_i-\underset{m=1}{\overset{K}{\mathrm{\Σ}}}{W}_{\mathrm{im}}^{\mathrm{lle}}{X}_{\mathrm{im}}\left|\right|}^2$

其中，X_i表示像素点i的特征(r_i，g_i，b_i，x_i，y_i)。(r_i，g_i，b_i)是其RGB颜色值，(x_i，y_i)是其在图像中的坐标位置。结果矩阵W^lle表示了非邻域流形约束。

利用非邻域平滑先验的前景精准提取算法，例如，邻域线性保持的编辑传播算法，是保持已知像素点的α值不变，将每一个像素点看作它在特征空间的邻居像素的线性组合。例如，在图2中，A像素点可以通过将B和C点的颜色按A＝w₁B+(1-w₁)C的线性组合得到。在精准对象提取(alphamatte)中，α_A＝w₁α_B+(1-w₁)α_C。这里，α_A，α_B，α_C这三个标量分别对应于A像素点的α值，B像素点的α值，C像素点的α值。当B和C是已知前景和背景像素点时(例如：α_B＝1，α_C＝0)，流形保持条件仅简单的需要α_A＝w₁。实际上，w₁是α_A基于颜色采样的估计值。另外，B和C可以是未知像素点，这样保持邻域流形结构就会比颜色采样有更多的限制条件。注意A可以离B和C很远，因为邻居是在特征空间内找到的。因此流形保持约束实际上是一种将远处像素点的α值联系起来的非邻域平滑约束。这对于横跨整张图像的信息传播用处很大，拉普拉斯图像提取的邻域平滑约束只能在相邻邻域窗口中传播信息。

仅非邻域平滑先验不足以准确的解决精准对象提取问题。就像在图4的第一排中显示的那样，当大多数未知像素点的α值接近0或者1时，非邻域平滑先验可以产生另人满意的结果。然而，就像在第二排中显示的那样，仅非邻域平滑先验不能处理有大块半透明区域的图像。这是因为α值接近0.5的像素点在特征空间的邻居都是未知像素点。因而，他们的α值更少受流形保持约束条件的约束。作为比较，当应用来自基于拉普拉斯的图像前景精准提取的邻域平滑约束时，在所有的例子上都产生了不错的结果。

5.步骤S400，根据已知像素的α值，在步骤S300的图模型的约束下，通过最小化如下能量方程解得每一个像素点属于前景的概率，得到掩像(alphamatte)。

$E=\mathrm{\λ}\underset{i\∈S}{\mathrm{\Σ}}{({\mathrm{\α}}_i-g_i)}^2+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(\left(\underset{j\∈N_i}{\mathrm{\Σ}}{W}_{\mathrm{ij}}\right){\mathrm{\α}}_i-\underset{j\∈N_i}{\mathrm{\Σ}}{W}_{\mathrm{ij}}{\mathrm{\α}}_j)}^2$

其中，N为图模型中所有的点，包括图像点阵中的所有像素和两个虚拟点集Ω_F和Ω_B(分别表示前景像素和背景像素)。W_ij代表了三种权值，包括数据项W_(i，F)和W_(i，B)，邻域平滑项和非邻域平滑项集合N_i是像素点i的邻居集，包括两个虚拟节点集，在3*3窗口内的相邻像素点和在RGBXY空间上的K个最邻近的像素点。

上述函数可用如下矩阵形式表示：

E＝(α-G)^TΛ(α-G)+α^TL^TLα

其中：

$L_{\mathrm{ij}}=\{\begin{array}{c}{W}_{\mathrm{ii}}:\\ -W_{\mathrm{ij}}:\\ 0:\end{array}\begin{array}{c}\mathrm{ifi}=j,\\ \mathrm{ifiandjareneighbours},\\ \mathrm{otherwise},\end{array}$

并且 ${\mathrm{\Λ}}_{\mathrm{ii}}=\left\{\begin{array}{cc}\mathrm{\λ}& i\∈S\\ 0& \mathrm{otherwise}\end{array}\right.$ $G_i=\{\begin{array}{c}{g}_i\\ 0\end{array}\begin{array}{c}i\∈S\\ \mathrm{otherwise}\end{array}$

上述能量方程的矩阵形式表示是关于α的二次方程，可通过求解下列线性方程最小化α值。

(Λ+L^TL)α＝ΛG

上述方程是一个稀疏线性方程组，可以通过预处理共轭梯度方法求解一个全局最优的闭合解。

下面进一步结合附图以实例的方式进行说明：

请参见图2。图2是本发明的输入图像像素点在特征空间的映射示意图。这张图比较直观的表示图像上的像素到特征空间(r，g，b，x，y)的映射。(a)为输入图像，(b)为对应的特征空间，A，B，C是图像上的像素，以及在特征空间上的对应点。A点可以使用局部线性降维(LLE)的方法用B，C线性表示。B，C是A点的邻居，为了说明只展示出了两个。

请参见图3。图3是本发明的非邻域先验应用样例图，其示出了本发明使用非领域先验所表现出来的好处和优势。上下两行是两个例子。第一列是输入图像，第二列为局部放大图(为了显示效果更明显)，第三列是对应三分图(局部放大，与第二列对应)。第四列，第五列，是其他方法(未使用非邻域先验)在不同窗口大小下生成的结果。第六列是本发明的结果，最后一列是真实的正确解(由评测网站提供)。可以看出，现有的方法需要调整窗口的大小，才能得到比较好的结果，对于第一行的例子，r＝20(较大窗口)结果更好；对于第二行的例子，r＝1(较小窗口)结果更好，在实际应用过程中，窗口大小的确定是复杂的，而本发明的方法只要一个固定窗口(3*3)，对这两个例子都可以得到较优解。

请参见图4。图4是本发明的邻域先验应用样例图；图4说明了本发明的方法使用了邻域先验所表现出来的优势，跟alphapropagation方法进行比较(未使用邻域先验)，本发明的结果更为平滑，在箭头所指的地方，更为明显。

请参见图5。图5是本发明的颜色采样示意图；图5是颜色采样的示意图，对于未知点，在特征空间里找邻居像素点，在前景区域找K个邻居像素点，在背景区域找K个邻居像素点，最后结成K*K个点对。

请参见图6。图6是本发明的图模型示意图。0表示的背景像素点，1为前景像素点，F，B就是两个虚拟像素点，其余的是本发明的未知点像素。连线表示的是像素点对之间的邻居关系，线上的权值就是本发明计算的那些权值。

以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。

Claims (11)

1.一种基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，包括如下步骤：

步骤S100，标记输入图像中的前景区域、背景区域和未知区域；

步骤S200，对于输入图像的未知区域中的每一个像素，使用颜色采样方法初始化该像素属于前景的概率α值，并计算α值的置信度，对于其α值的置信度大于给定阀值的像素，采信该像素的α值，并将该像素标记为已知像素，并将前景区域中的每一个像素的α值设为一个最大值，而将背景区域中的每一个像素的α值设为一个最小值；

其中，计算未知区域中每一个像素属于前景的概率α值的方式如下：根据未知像素在输入图像上的位置，寻找其在输入图像上距离最近的k个前景像素F_i(i＝1～k)和k个背景像素B_j(j＝1～k)，每个前景像素和每个背景像素结成一对，组合成k²个前景背景点对F_iB_j，针对每一个前景背景点对计算一个α'值：

${\mathrm{\α}}^{\′}=\frac{(C-B_j)(F_i-B_j)}{\left|\right|F_i-B_j|{|}^2}$

其中C为未知像素的颜色值，由此得到k²个α'值；

其中，再通过如下方法计算α'值的置信度：C-(α'F_i+(1-α')B_j)＝d(F_i,B_j)，即根据未知像素颜色值C与基于α'值的估计颜色值α'F_i+(1-α')B_j之差d(F_i,B_j)来计算置信度，由此得到k²个差值，差值越小，α'值置信度越高，选取其中置信度最高的α'值作为未知像素的α值，对应的置信度作为该未知像素的α值的置信度，若置信度大于阀值d，则采信其α值，并将该未知像素作为已知像素；

步骤S300，对于输入图像中的每一个像素，根据各像素的α值计算其数据项权重，并计算出每一个像素的邻域平滑约束项权重和非邻域平滑约束项权重，并根据这三种权重构建输入图像所有像素的整体图模型；

步骤S400，根据所有前景区域像素、背景区域像素和未知区域中已知像素的α值，在步骤S300的图模型的约束下，通过最小化能量方程解得每一个像素点属于前景的概率，得到掩像。

2.如权利要求1所述的基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，在骤S100中，用户采用画笔式交互标记输入图像中的前景区域、背景区域和未知区域，或者用户输入一张三分图以将输入图像标记为前景区域、背景区域和未知区域。

3.如权利要求2所述的基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，前景区域中的每一个像素的α值设为最大值1，背景区域中的每一个像素的α值设为最小值0。

4.根据权利要求2所述的基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，在步骤S100中，用户采用画笔式交互标记前景区域、背景区域和未知区域包括：用户采用画笔标记图像的前景像素和背景像素，用白色画笔覆盖的像素为前景像素，用黑色画笔覆盖的像素为背景像素，其他像素为未知像素；

或者用户提供一张与输入图像相同尺寸的黑白灰三分图，白色区域所对应的输入图像的像素为前景像素，黑色区域所对应的输入图像的像素为背景像素，灰色区域所对应的输入图像的像素为未知像素。

5.根据权利要求1所述的基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，在步骤S300中，根据各像素的α值计算其数据项权重的方法如下：

步骤S310，数据项权重包括两项，分别表示为该像素属于前景可能性的权重值W_(i,F)和该像素属于背景可能性的权重值W_(i,B)，W_(i,F)和W_(i,B)的计算方式为：

W_(i,F)＝γαW_(i,B)＝γ(1-α)

其中，参数γ平衡了数据项与平滑集。

6.根据权利要求5所述的基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，参数γ设置为0.1。

7.根据权利要求1所述的基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，在步骤S300中，计算像素的邻域平滑约束项权重的方法如下：

步骤S320，对于像素i，采用拉普拉斯方法在输入图像中以像素i为中心的周围m*m个像素的固定大小窗口内建立邻域平滑约束，对于像素i周围的邻居像素j的邻域平滑约束项权重值的计算方法为：

$W_{ij}^{lap}=\mathrm{\δ}\underset{k}{\overset{\left(i,j\right)\∈w_k}{\Σ}}\frac{1+\left(C_i-{\mathrm{\μ}}_k\right){\left({\mathrm{\Σ}}_k+\frac{\mathrm{\ϵ}}{m^2}I\right)}^{-1}\left(C_j-{\mathrm{\μ}}_k\right)}{m^2}$

其中，邻居像素j的个数为m²个，lap表示拉普拉斯方法，参数δ控制着邻域平滑性的强度，μ_k和∑_k代表窗口内m*m个像素的颜色均值和方差，ε是正则化系数，C_i表示像素i的颜色值，I为单位矩阵。

8.根据权利要求7所述的基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，ε设置为10^-5的正则化系数，且m取值为3。

9.根据权利要求7所述的基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，在步骤S300中，计算像素的非邻域平滑约束项权重的方法如下：

步骤S330，根据输入图像的每一个像素的特征值生成包括所有像素在内的特征空间，在特征空间中求取像素i的欧式距离上最近的k个近邻像素，利用局部线性嵌入降维方法，构建非邻域平滑约束，其非邻域平滑约束项权重值可在约束条件下通过最小化如下方程得到：

$W^{lle}=\underset{W_{im}^{lle}}{\arg \min }\underset{i=1}{\overset{N}{\Σ}}\left|\right|X_i-\underset{m=1}{\overset{K}{\Σ}}{W}_{im}^{lle}{X}_{im}|{|}^2$

其中lle表示局部线性嵌入降维方法，m为k个近邻像素中的一个近邻像素，N为输入图像中的所有像素数，X_i表示像素i的特征值。

10.根据权利要求9所述的基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，像素i的特征值包括r_i,g_i,b_i,x_i,y_i，其中r_i,g_i,b_i是像素i的RGB颜色值，x_i,y_i是像素i在输入图像中的坐标位置，因此所述特征空间为包括r_i,g_i,b_i,x_i,y_i特征值在内的五维特征空间。

11.根据权利要求10所述的基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，在步骤S400中，其特征在于：根据未知区域中被采信的已知像素的α值、已知前景区域中像素的α值和已知背景区域中像素的α值，在步骤S300的图模型的约束下，通过最小化如下能量方程解得每一个像素点属于前景的概率，得到掩像：

$E=\mathrm{\λ}\underset{i\∈S}{\Σ}{({\mathrm{\α}}_i-g_i)}^2+\underset{i=1}{\overset{N}{\Σ}}{\left(\right(\underset{j\∈N_i}{\Σ}{W}_{ij}){\mathrm{\α}}_i-\underset{j\∈N_i}{\Σ}{W}_{ij}{\mathrm{\α}}_j)}^2$

其中，E为能量，λ为权重系数，S为输入图像的所有已知α值的像素点集，gi为已知α值的像素的在步骤S200中确定的α值，而中的α_i是上述能量公式中待求解的最优α值，N为图模型中所有像素点集和对应于数据项W_(i,F)和W_(i,B)的两个虚拟点集Ω_F和Ω_B，i表示像素i，Ni是像素i的邻居像素集，所述邻居像素集Ni中包括步骤S330中的k个近邻像素、步骤S320中的m*m个像素中的邻居像素、与W_(i,F)对应的前景虚拟邻居像素、和与W_(i,B)对应的背景虚拟邻居像素，W_ij代表了三种权重值，包括数据项权重值W_(i,F)和W_(i,B)，邻域平滑项权重值和非邻域平滑项权重值