CN103942794A - 一种基于置信度的图像协同抠图方法 - Google Patents

Abstract

本发明公开了一种基于置信度的图像协同抠图方法，旨在对多张拥有轻微形变的前景与较大差异背景的图像进行协同扣图。该方法采用协同分割算法对多张图像进行前背景分割，通过形态学操作取得将每张图像标记为前景、背景与待求解区域的掩膜，然后使用源图像和掩膜对每张源图像采用已有的单张普通抠图方法进行抠图，对抠图结果进行置信度量，然后对所有图像待求解区域的像素点进行匹配，继而在匹配的基础上定义一个全局优化函数以使得所有图像协同提升抠图效果，旨在由高置信度区域向与其匹配的低置信度区域进行抠图结果传播，以使得相对应的低置信度区域获得更为精确的抠图结果。该方法的输入为多张图像，输出则是多张图像的抠图结果。

Description

一种基于置信度的图像协同抠图方法

技术领域

本发明涉及计算机视觉的图像处理方法，特别是一种具有较强抠图能力与较自动化从而节省大量人工交互的一种基于置信度的图像协同抠图方法。

背景技术

抠图技术旨在将自然场景图像的前景与背景精确分离开，给定一张自然场景图像，根据线性复合公式：

I＝αF+(1-α)B

抠图技术将自然图像中的像素值I表示为图像的前景F与背景B以及前景透明度α（又称作alpha matte）的线性复合，其中α的值在0与1之间。

抠图技术在工业界特别是在图像处理与电影产业中被广泛应用并获得巨大成功，因此抠图技术近年来也一直是计算机视觉的重要研究内容。抠图技术由于其固有的解析难度（复合公式中有三个等式与七个未知量），在实际的解决方案中，一般会加入适量的限定条件以使得问题变得易解。常见的限定方式如给出待处理图像的前景、背景与待求解区域的类别的掩膜，标注出图像中每个像素的类别（属于前景、背景或待求解区域）。

现有的抠图技术大多致力于单张图像的抠图，大致上可以分为三类。分别为基于采样的方法、基于传播的方法与基于混合模型的方法。基于采样的方法从已知的前景与背景中取采样对，对于每个待求解区域的像素根据线性复合公式选取最匹配的一对前背景像素点对以求解出alpha；基于传播的方法建立起相邻像素点的关联以强制alpha局部平滑，并通过全局优化的方式求解出alpha；基于混合模型的方法假设在平滑限制条件下采样误差可以被减小，而基于关联的传播误差则可以被精确的采样减小，继而将上两种方法结合进一个单目标函数以优化的方式去求解出alpha以期取得更好的效果。

近些年的抠图技术进展中，研究人员尝试了繁多的技术种类，但是在真实自然场景图像的抠图中，仍然不能得到完备的效果，主要原因在于真实场景图像并不完全符合三类主要抠图技术的假设前提。在基于采样的方法中，如果前景F与背景B的颜色分布有较大重叠，基于采样的方法便不能对待求解像素采样出合适的前景与背景像素对，以致会造成较差的结果；在基于传播的方法中，局部颜色线模型（Local Color Line Model）假设并不能在真实场景图像下的高梯度边纹理中成立，以致同样不能得到较好的结果。针对这样的问题，现有的做法一般是进一步给出更为精确的掩膜，可是这无疑加大了人工作业量。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，旨在对多张拥有轻微形变的前景与较大差异的背景的图像进行协同扣图。

为了解决上述问题，本发明公开了一种基于置信度的图像协同抠图方法，包括以下步骤：

步骤1：对所有图像进行协同分割；

步骤2：采取交互式图像分割算法进行分割，以取得精确的前景和背景分割；

步骤3：对前景膨胀，围绕前景取得固定宽度的待求解区域，从而得到初步的将图像标注为前景、背景和待求解区域的掩膜；用户交互修缮待求解区域，在修缮过程中以光流制导的传播方法将修缮传播到其他的掩膜中；

步骤4：对每张图像进行单张图像抠图以产生每张图像的初始抠图结果；

步骤5：对每张图像的初始抠图结果进行置信度量；

步骤6：对所有图像的待求解区域像素点集进行匹配；

步骤7：在定义的全局优化框架下进行所有图像的协同抠图，以取得最终的抠图。

本发明中，步骤1采用无监督的协同分割算法（Random walks basedmulti-image segmentation）算法对多张图像进行协同分割。

本发明中，步骤2采用基于图的图像分割算法对图像进行交互式的前背景分割。

本发明中，步骤3采用参考点位于中心的3*3核对图像前景进行膨胀，并用光流制导的传播方法对掩膜的修缮进行传播。

本发明中，步骤4根据原始图像和掩膜，对每张图像采用基于全局采样的抠图算法（Global sampling matting）对单张图像进行抠图。

本发明中，步骤5具体包括以下步骤：

步骤51：对掩膜中的背景区域采用基于图的图像分割算法分割成一组背景子区域，延长所述背景子区域的划分边界直到与掩膜中的待求解区域相交，在交点处寻找离交点最近的前景边缘点，将所述交点和前景边缘点连接即将待求解区域划分为一组待求解子区域；

步骤52：提取基于背景的特征。对每个与待求解区域相邻接的背景子区域计算以下特征，继而传播到待求解子区域中，特征包括：颜色复杂度、梯度复杂度、规格墒和子区域尺寸。给定背景子区域B_i，有个像素：

（1）颜色复杂度（Color complexity,CC）：取背景子区域规格化RGB颜色直方图的墒。表述为下式：

$F_{B_i}^{\mathrm{CC}}={\mathrm{\Σ}}_{l=1}^{N_{\mathrm{ch}}}{H}_l\mathrm{lo}{g}_2\left(H_l\right),$

其中H为背景子区域的规格化颜色直方图向量，RGB分别取4个通道，即向量一共有N_ch＝６４个维度，l的范围为1～64。CC越小表明背景子区域中有越多的颜色类别，也即场景越复杂。

（2）梯度复杂度（Gradient complexity,GC）：取背景子区域的平均梯度。表述为下式：

$F_{B_i}^{\mathrm{GC}}=\frac{1}{N_{B_i}}{\mathrm{\Σ}}_{k=1}^{N_{B_i}}{M}_k,$

其中，M为区域的梯度向量，为背景子区域B_i的像素个数，k的取值范围为梯度复杂度反应了区域内的梯度变化，值越大表明梯度变化越大，也即表示背景子区域具有更复杂的纹理。

（3）规格墒（Regularity entropy,RE）：取每个像素周围区域的规格墒的平均值。在每个像素点k，将其所在的S*S窗口的像素灰度值投影到N_re个通道的向量中，表示为V^k。RE表述为下式：

$F_{B_i}^{\mathrm{RE}}=\frac{1}{N_{B_i}}{\mathrm{\Σ}}_{k=1}^{N_{B_i}}{\mathrm{\Σ}}_{l=1}^{N_{\mathrm{re}}}{V_l}^k\mathrm{lo}{g}_2\left({V_l}^k\right),$

其中，为背景子区域的像素个数，l的范围为1～N_re，k的取值范围为本发明中取S＝9,N_re＝10。规格墒反应了局部区域内局部模式的再现性，复杂的场景会使得RE值变小。

（4）子区域尺寸（Region size,RZ）：基于图的图像分割算法以区域内与区域间的差异为分割准则，因此背景子区域的像素个数反应了其区域内场景复杂度情况，即子区域尺寸越大则相对内部场景变化越小，反之则变化越大。

在得到上述几个特征后，将所述特征线性拼接为背景子区域的特征向量，表述为

掩膜中背景子区域的特征向与其邻接的待求解子区域传播以形成待求解子区域特征。具体方式如下：

$F_{T_j}={\mathrm{\Σ}}_i^{N_B}{F}_{B_i}\frac{\mathrm{length}\left(L_{B_i{T}_j}\right)}{\mathrm{length}\left(L_{B_{i}T}\right)},$

其中T_j为某待求解子区域，为背景子区域B_i与待求解子区域T_j的交线长度，T为的T_j并，N_B为背景子区域的数量。

步骤53：提取基于单张抠图方法的特征，主要是基于两类单张抠图方法的结果差异产生特征，特征包括：绝对抠图结果差值、平均采样置信度和采样颜色模糊度。

（1）绝对抠图结果差（Absolute matte difference,AMD）：对待求解子区域基于全局采样的抠图算法（Sample-based matting）与闭式解抠图算法（Closed-formed matting）的结果取平均误差。

（2）平均采样置信度（Average sampling confidence,ASC）：对待求解子区域的每个像素求基于全局采样抠图算法中的采样置信度，待求解子区域的ASC即为这些采样置信度的平均值。

（3）采样颜色模糊（Sample color ambiguity,SCA）：分别对待求解子区域的近前景边缘与近背景边缘建立单元高斯分布（UnivariateGaussiandistribution），取两个分布的KL散度距离为SCA。

步骤54：以基准数据集（http://www.alphamatting.com/datasets.php）对上述特征作回归分析，得到回归模型用于协同抠图的置信度预测。

本发明中，步骤6由以下两步组成：第一步在图像对的前景上进行匹配。第二步对待求解区域的边界上的所有点进行非刚性变化匹配以求得所有待求解区域的像素点对匹配。

本发明中，步骤7在定义的全局优化框架下进行多张图像的协同抠图。最小化以下能量方程以使得高置信度区域可以改善低置信度区域的抠图结果同时低置信度区域的结果不会影响高置信度区域结果：

$\mathrm{\α}=\arg \min \{{\mathrm{\α}}^T{L}^M\mathrm{\α}+{\mathrm{\δ}}_r{\mathrm{\α}}^T{L}^R\mathrm{\α}+{\mathrm{\δ}}_c(\mathrm{\α}-\widetilde{\mathrm{\α}})\mathrm{\Δ}(\mathrm{\α}-\widetilde{\mathrm{\α}})\}$

其中α是包含所有图像的所有待求解区域像素点alpha值的向量，为alpha值初始结果向量。

有益效果：本发明的显著优点是：本发明公开了一种基于置信度的图像协同抠图方法，对于多张拥有相似前景和不同背景的图像，本方法可以同时对所有图像进行协同抠图并取得相比单张图像更为精确的抠图结果。本发明提出了基于置信度的协同抠图方式，对多个视觉特征进行机器学习以得到抠图置信度，对多张图像的待求解区域以尺度不变特征流方法和非刚性匹配方法进行匹配。将抠图置信度与像素间关联度纳入一个全局优化框架中以优化方式求得更精确的抠图结果。相对于其他的抠图方法，采用本发明提出的基于置信度的图像协同抠图方法，利用了多张图像相似前景间的关联，并且提出了待求解区域的置信度量方式，使高置信度区域向与其匹配的低置信度区域传播抠图结果，从而相比于其他单张图像抠图方法取得了更为精确的抠图结果。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1为本发明方法的基本流程图。

图2为两张源图像。

图3为两张源图像经过协同分割与膨胀后形成的掩膜。

图4显示待求解区域被划分成一组待求解子区域后各子区域的置信度值高低。

图5为基于全局采样的抠图算法结果。

图6为基于全局采样方法的采样置信度。

图7为经过协同抠图后的结果。

图8为本方法的流程概述。

图9为协同抠图算法的图模型。

图10采用基于图的图像分割算法将待求解区域分为一组待求解子区域。

图11反映了各个特征对置信度的影响。

图12为对“少年派的奇幻漂流”中截图的基于置信度的协同抠图方法与单张抠图方法对比图。

图13为对抠图基准数据集中两帧视频截图的基于置信度的协同抠图方法与单张抠图方法对比图。

图14为对一个三张图像的基于置信度的协同抠图方法与单张抠图方法对比图。

具体实施方式：

具体的说，如图1所示，本发明公开了一种基于置信度的图像协同抠图方法，包括以下步骤：

步骤1：对多张图像进行协同分割。

步骤2：针对步骤1的结果中前背景标记错误或漏标记部分采取交互式图像分割算法进行分割以取得足够精确的前背景分割效果。

步骤3：对步骤2得到的前景膨胀以围绕前景取得固定宽度的待求解区域，得到将图像标注为前景、背景和待求解区域的掩膜。可以选择继续手动修缮待求解区域，在修缮过程中以光流制导的传播方法将修缮传播到其他的掩膜中。

步骤4：对每张图像进行单张图像抠图以产生每张图像的初始抠图结果。

步骤5：对每张图像的初始抠图结果进行置信度量。

步骤6：对所有图像的待求解区域像素点集进行匹配。

步骤7：在定义的全局优化框架下进行所有图像的协同抠图，以取得更精确的抠图结果。

所述步骤1包括以下步骤：采用多张图像协同分割算法对多张图像进行前背景分割以分割出前景和背景。协同分割算法的具体内容可参见“JoulinA,BachF,PonceJ.Multi-classcosegmentation.In:IEEECVPR;2012.p.542–9.”。

所述步骤2包括以下步骤：采用交互式图像分割算法以对步骤1中前背景标记错误或漏标记部分进行修缮。交互式图像分割算法的具体内容可参见“Bo_ykovY,Veksler O,Zabih R.Fast approximate energy minimization via graph cuts[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2001,23(11):1222-1239.”。

所述步骤3包括以下步骤：对步骤2得到的前景膨胀以围绕前景取得待求解区域，待求解区域拥有指定的同样宽度（依图像具体的待求解区域概况确定宽度值），得到初步的掩膜。其中形态学操作膨胀是指将图像中的一部分区域A与核B进行卷积，膨胀是求局部最大值的操作，核B与图像卷积即计算核B覆盖的区域的像素点最大值，并把这个最大值赋值给参考点指定的像素。在本方法中采用参考点位于中心的3*3核。

在膨胀操作结束后，我们得到围绕前景拥有固定宽度的待求解区域。对于图像中属于待求解区域但是未能覆盖的部分我们采用交互式方式修缮待求解区域范围，并在修缮时采用光流制导的传播方法将用户对某幅图像掩膜的修缮操作传播到其他掩膜中。光流制导的传播方法具体内容可参见“Bai X,Wang J,Simons D.Towards temporally-coherent videomatting[M]//Computer Vision/Computer GraphicsCollaboration Techniques.Springer Berlin Heidelberg,2011:63-74.”。

所述步骤4包括以下步骤：由步骤3得到的掩膜和源图像，对每张图像采用基于全局采样的单张图像抠图方法产生初始的抠图结果。基于全局采样的单张图像抠图方法具体内容可参见“He K,Rhemann C,Rother C,et al.A global samplingmethod for alpha matting[C]//Computer Vision and Pattern Recognition(CVPR),2011IEEE Conference on.IEEE,2011:2049-2056.”。

所述步骤5包括以下步骤：

步骤51：对掩膜中的背景区域采用基于图的图像分割算法分割成一组背景子区域，以这些背景子区域的划分边界延长线与掩膜中待求解区域的前背景边界相交线段为边界将掩膜中的待求解区域划分成一组待求解子区域。基于图的图像分割算法的具体内容可参见“Felzenszwalb P F,Huttenlocher D P.Efficientgraph-based image segmentation[J].International Journal of Computer Vision,2004,59(2):167-181.”

步骤52：提取基于背景的特征。对每个与待求解子区域相邻接的背景子区域计算以下特征继而传播到与其相邻的待求解子区域中，特征包括：颜色复杂度、梯度复杂度、规格墒和子区域尺寸。给定背景子区域B_i，有个像素：

（1）颜色复杂度（Color complexity,CC）：取背景子区域规格化RGB颜色直方图的墒。表述为下式：

$F_{B_i}^{\mathrm{CC}}={\underset{7}{\mathrm{\Σ}}}_{l=1}^{N_{\mathrm{ch}}}{H}_l\mathrm{lo}{g}_2\left(H_l\right),$

其中H为背景子区域的规格化颜色直方图向量，RGB分别取4个通道，即向量一共有N_ch＝６4个维度，l的范围为1～64。CC越小表明背景子区域中有越多的颜色类别，也即场景越复杂。

（2）梯度复杂度（Gradient complexity,GC）：取背景子区域的平均梯度。表述为下式：

$F_{B_i}^{\mathrm{GC}}=\frac{1}{N_{B_i}}{\mathrm{\Σ}}_{k=1}^{N_{B_i}}{M}_k,$

其中，M为区域的梯度向量，为背景子区域B_i的像素个数，k的取值范围为梯度复杂度反应了区域内的梯度变化，值越大表明梯度变化越大，也即表示背景子区域具有更复杂的纹理。

（3）规格墒（Regularity entropy,RE）：取每个像素周围区域的规格墒的平均值。在每个像素点k，将其所在的SSS窗口的像素灰度值投影到N_re个通道的向量中，表示为V^k。RE表述为下式：

$F_{B_i}^{\mathrm{RE}}=\frac{1}{N_{B_i}}{\mathrm{\Σ}}_{k=1}^{N_{B_i}}{\mathrm{\Σ}}_{l=1}^{N_{\mathrm{re}}}{V_l}^k\mathrm{lo}{g}_2\left({V_l}^k\right),$

其中，为背景子区域的像素个数，l的范围为1～N_re，k的取值范围为本发明中取S＝9,N_re＝10。规格墒反应了局部区域内局部模式的再现性，复杂的场景会使得RE值变小。

（4）子区域尺寸（Region size,RZ）：基于图的图像分割算法以区域内与区域间的差异为分割准则，因此背景子区域的像素个数反应了其区域内场景复杂度情况，即子区域尺寸越大则相对内部场景变化越小，反之则变化越大。

在得到上述几个特征后，将所述特征线性拼接为背景子区域的特征向量，表述为

掩膜中背景子区域的特征向与其邻接的待求解子区域传播以形成待求解子区域特征。具体方式如下：

$F_{T_j}=\underset{i}{\overset{N_B}{\mathrm{\Σ}}}{F}_{B_i}\frac{\mathrm{length}\left(L_{B_i{T}_j}\right)}{\mathrm{length}\left(L_{B_{i}T}\right)}$

其中T_j为某待求解子区域，为背景子区域B_i与待求解子区域T_j的交线长度，T为的T_j并，N_B为背景子区域的数量。

步骤53：提取基于单张抠图方法的特征，主要是基于两类单张抠图方法的结果差异产生特征，特征包括：绝对抠图结果差值、平均采样置信度和采样颜色模糊度。

（1）绝对抠图结果差（Absolute matte difference,AMD）：对待求解子区域基于全局采样的抠图算法（Sample-based matting）与闭式解抠图算法（Closed-formed matting）的结果取平均误差。基于全局采样的抠图算法具体可参见“He K,Rhemann C,Rother C,et al.A global samplingmethod for alpha matting[C]//Computer Vision and Pattern Recognition(CVPR),2011IEEE Conference on.IEEE,2011:2049-2056.”，基于关联的抠图算法具体可参见“Levin A,Lischinski D,Weiss Y.A closed-formsolution to natural image matting[J].Pattern Analysis and MachineIntelligence,IEEE Transactions on,2008,30(2):228-242.”。

（2）平均采样置信度（Average sampling confidence,ASC）：对待求解子区域的每个像素求基于全局采样抠图算法中的采样置信度，待求解子区域的ASC即为这些采样置信度的平均值。基于全局采样的抠图算法具体可参见“He K,Rhemann C,Rother C,et al.A global samplingmethod for alpha matting[C]//Computer Vision and Pattern Recognition(CVPR),2011IEEE Conference on.IEEE,2011:2049-2056.”。

（3）采样颜色模糊度（Sample color ambiguity,SCA）：分别对待求解子区域的近前景边缘与近背景边缘建立单元高斯分布（UnivariateGaussiandistribution），取两个分布的KL散度距离为SCA（KL距离，是Kullback-Leibler差异的简称，也叫做相对熵。它衡量的是相同事件空间里的两个概率分布的差异情况）。

步骤54：选择随机森林回归作为学习模型以抠图评估基准数据集(http://www.alphamatting.com/datasets.php)对上述特征作回归分析，得到回归模型用于协同抠图的置信度预测。随机森林回归是一种非线性回归模型，它是一个包含多个分类与回归决策树的分类器，将多个分类与回归树的平均输出作为其输出。随机森林回归具体可参见“Breiman L.Random forests[J].Machine learning,2001,45(1):5-32.”。

为了避免过拟合并提高预测精度，引入两种随机操作。

（1）随机森林的每一颗树都是可置换的从训练数据中随机选择一个子集进行训练。这样采样的益处在于大约有36%的训练数据不会被使用，使得在模型训练完毕后可以用未使用的数据进行测试与调整。

（2）在树增长的过程中，每个节点的分裂都在属性集上随机选一个子集进行。

具体的模型训练中，从互联网随机选择100张背景图片，以抠图评估基准数据集提供的基准alpha值与基准数据前景图片复合。对每张复合过的图片以基于全局采样的抠图方法进行抠图，对抠图结果进行特征提取。对得到的数据训练模型，随机森林回归模型定义如下：

$\exp \left(\frac{\mathrm{abs}(\mathrm{\α}-\widetilde{\mathrm{\α}})}{\mathrm{abs}(\mathrm{\α}-\widetilde{\mathrm{\α}})-1}\right)$

其中决策树数目为200。

在模型训练结束后，对每张图片得到的上述两类特征线性拼接的向量输入回归模型中以取得最后的待求解子区域置信度值。

所述步骤6包括以下步骤：第一步在图像对的前景上进行匹配；第二步在待求解区域的所有边界点上做非刚性匹配。

步骤61：取所有图像中平均抠图置信度最高的图像作为基准。在前景上用SIFT流匹配算法作其他图像与基准图像的前景匹配。相比于其他匹配算法，SIFT流匹配更倾向于加强邻接像素间匹配时的拓扑关系，同时对视角变换及光照环境有更好的适应。在这一步结束，待求解区域近前景边缘的像素点匹配完毕。SIFT流匹配算法具体可参见“Liu C,Yuen J,Torralba A,et al.Sift flow:Densecorrespondence across different scenes[M]//Computer Vision–ECCV2008.SpringerBerlin Heidelberg,2008:28-42.”。

步骤62：取待求解区域的所有边缘像素点，采用RPM-TPS匹配算法得到点集间的非刚性变换，对待求解区域剩余所有点利用非刚性变换得到匹配。

RPM-TPS匹配算法具体可参见“Chui H,Rangarajan A.A new point matchingalgorithm for non-rigid registration[J].Computer Vision and Image Understanding,2003,89(2):114-141.”。

所述步骤7包括以下步骤：在定义的全局优化框架下进行所有图像的协同抠图。最小化以下能量方程以使得高置信度区域可以改善低置信度区域的抠图结果同时低置信度区域的结果不会影响高置信度区域结果：

$\mathrm{\α}=\arg \min \{{\mathrm{\α}}^T{L}^M\mathrm{\α}+{\mathrm{\δ}}_r{\mathrm{\α}}^T{L}^R\mathrm{\α}+{\mathrm{\δ}}_c(\mathrm{\α}-\widetilde{\mathrm{\α}})\mathrm{\Δ}(\mathrm{\α}-\widetilde{\mathrm{\α}})\}$

其中α是包含所有图像的所有待求解区域像素点alpha值的向量，为alpha值初始结果向量。方程第一项强制抠图结果的局部平滑性，其中L^M上的值由闭式解抠图算法构建的拉普拉斯矩阵值给出。方程第二项基于图像间匹配像素点对建立起协同抠图的基础，使不同图像间匹配像素点对建立起关联。其中L^R是匹配关联矩阵，定义为L^R＝I-W^R。其中I为单位矩阵，W^R定义如下：

方程第三项对最后优化结果的alpha值做出限制，使其尽量与初始alpha值保持一致。Δ为一个对角矩阵，对角线上值如下设定：

其中C为一个大的常数（一般设为1000），f(α_i)∈[0,1]为α_i的抠图置信度，T_f为一个高阈值（一般设为0.8）。这样，对于已知的前景或者背景像素点以及置信度很高的像素点它们的值被设为大常数，而其他像素点对应值被设定为采样置信度f_i ^s，采样置信度具体可参见“He K,Rhemann C,Rother C,et al.A globalsampling method for alpha matting[C]//Computer Vision and Pattern Recognition(CVPR),2011IEEE Conference on.IEEE,2011:2049-2056.”。在这样的设定下，高置信度区域的结果值不会有大的变化，而低置信度区域像素点结果值会被其匹配的高置信度区域结果值所引导。δ_r与δ_c为两个权值，控制方程每一项的比重（一般分别设为100与0.1）。

上述能量方程的解可以通过共轭梯度法求解一个线性系统得到。

实施例：

由于本发明是对图像进行处理，因此在实施例的处理过程展示以及效果展示的附图中，不可避免的使用灰度图进行表示。

图2给出了两张待处理源图像。可以看到，两张图像拥有相似的前景并且背景有较大变化。

图3给出了经过步骤1-3后得到的两张图像的掩膜。其中区域1为前景，区域2为待求解区域，区域3为背景。

图4为采用基于全局采样抠图算法后的结果，可以看到其中一些前背景混合处的抠图结果不是很好。

图5为经过特征提取与回归分析后得出的置信度图，不同颜色反应了不同的置信度，颜色越浅处置信度越高，相应的在协同抠图过程中倾向于不会变化，而颜色深处即置信度低处会被其对应的置信度高处的结果所引导改善。

图6为采样置信度图，它被用于协同优化过程中。采样置信度具体可参见“HeK,Rhemann C,Rother C,et al.A global sampling method for alphamatting[C]//Computer Vision and Pattern Recognition(CVPR),2011IEEEConference on.IEEE,2011:2049-2056.”。

图7为最后协同抠图的结果，相比于单张抠图方法，在细节处可以明显看到基于置信度的协同抠图取得了更好的抠图结果。

图8为整个基于置信度的协同抠图方法的概览。其中图8中a列为两张原图与其掩膜，图8中b列为对每张图像基于单张抠图方法产生的初始抠图结果，图8中c列显示了对待求解区域作划分后每个待求解子区域的置信度值，图8中d列为两张图像的匹配结果图，图8中e列为经过优化步骤后的协同抠图结果图。

图9为协同抠图的图模型。计算出初始抠图结果alpha值后每个像素点的最终alpha值受制于常数先验权重、抠图置信度以及采样置信度，所以也即最终待求解区域的每个像素点alpha值既受制于图像内的关联同样也受制于图像间的关联。箭头反映了高置信度区域是如何引导低置信度区域提升抠图结果。

图10反应了采用基于图的图像分割算法后待求解区域的划分情况。图10中a列对掩膜所标注的背景区域采用基于图的图像分割算法分成一组背景子区域，将分割线与待求解区域边缘的交点往前景处延伸（取与交点最近的前景边缘像素点）形成图10中b列中的一组线段，线段将待求解区域划分为一组待求解子区域，继而在这些待求解子区域上计算置信度值。

图11反应了以每个单个特征建立的回归模型与联合所有特征建立的回归模型在预测的置信度值与基准置信度值之间的平均平方差。可以看出结合多个特征所建立的回归模型明显优于单个特征。

图12中为对从“少年派的奇幻漂流”中截取的两帧图像的一次实验。其中a列为两张源图像，b列为基于全局采样的抠图方法结果，c列为闭式解抠图方法结果，d列为基于置信度的协同抠图结果，e列为置信度图。可以看到闭式解抠图方法过于倾向平滑以至一些高对比度区域的细节被丢失（图12中b列的箭头所指区域），基于全局采样的抠图方法则在前背景比较重叠的区域得到了较为嘈杂的抠图结果（图12中c列箭头所指区域），而基于置信度的协同抠图则有效的克服了这两个缺点，取得了更好的抠图结果（图12中d列）。

图13为对基准数据集所提供的视频中截图的一次实验。其中a列为两张源图像，b列为基于全局采样的抠图方法结果，c列为闭式解抠图方法结果，d列为基于置信度的协同抠图结果，e列为置信度图。两张图像的背景非常相似，只有一些被方框标注的局部区域略有不同，普通的单张图像抠图方法在这些细微变化的背景区域会产生不连续的结果，而基于置信度的协同抠图方法很好的克服了这一缺点。一个鲜明的例子可见于箭头所指位置，此处有一颗钉子与头发颜色相近，普通的单张图像抠图方法（基于全局采样的抠图方法及闭式解抠图方法）都没有很好的在此处取得较好结果，而基于置信度的协同抠图方法很好的给出了此处的抠图结果。

图14为一个三张图像协同抠图的示意图。其中a列为三张源图像，b列为基于全局采样的抠图方法结果，c列为闭式解抠图方法结果，d列为基于置信度的协同抠图结果，e列为置信度图。在所标注的方框内可以看出，每帧图像的低置信度区域不完善的抠图结果都被其对应的高置信度区域抠图结果所引导改善。

Claims (7)

1.一种基于置信度的图像协同抠图方法，其特征在于，包括以下步骤：

步骤1：对所有图像进行协同分割；

步骤2：采取交互式图像分割算法进行分割，以取得精确的前景和背景分割；

步骤3：对前景膨胀，围绕前景取得固定宽度的待求解区域，从而得到初步的将图像标注为前景、背景和待求解区域的掩膜；用户交互修缮待求解区域，在修缮过程中以光流制导的传播方法将修缮传播到其他的掩膜中；

步骤4：对每张图像进行单张图像抠图以产生每张图像的初始抠图结果；

步骤5：对每张图像的初始抠图结果进行置信度量；

步骤6：对所有图像的待求解区域像素点集进行匹配；

步骤7：在定义的全局优化框架下进行所有图像的协同抠图，以取得最终的抠图。

2.根据权利要求1所述的一种基于置信度的图像协同抠图方法，其特征在于，步骤1中，采用无监督的协同分割算法对所有图像进行协同分割以得出初步前景和背景。

3.根据权利要求2所述的一种基于置信度的图像协同抠图方法，其特征在于，步骤3中，采用参考点位于中心的3*3核对图像前景进行膨胀。

4.根据权利要求3所述的一种基于置信度的图像协同抠图方法，其特征在于，步骤4中，根据原始图像和掩膜，对每张图像采用基于全局采样的单张图像抠图方法产生初始的抠图结果。

5.根据权利要求4所述的一种基于置信度的图像协同抠图方法，其特征在于，所述步骤5包括以下步骤：

步骤51：对掩膜中的背景区域采用基于图的图像分割算法分割成一组背景子区域，延长所述背景子区域的划分边界直到与掩膜中的待求解区域相交，在交点处寻找离交点最近的前景边缘点，将所述交点和前景边缘点连接，即将待求解区域划分为一组待求解子区域；

步骤52：提取基于背景的特征：对每个与待求解子区域相邻接的背景子区域计算以下特征，继而传播到待求解子区域中，特征包括：颜色复杂度、梯度复杂度、规格墒和子区域尺寸；将所述特征线性拼接为背景子区域的特征向量，背景子区域的特征向与其邻接的待求解子区域传播以形成待求解子区域的特征向量；

步骤53：提取基于单张抠图方法的特征，特征包括：绝对抠图结果差值、平均采样置信度和采样颜色模糊度；

步骤54：以基准数据集对步骤52和步骤53的所有特征作回归分析，得到回归模型用于协同抠图的置信度预测。

6.根据权利要求5所述的一种基于置信度的图像协同抠图方法，其特征在于，步骤52中，将所述颜色复杂度、梯度复杂度、规格墒和子区域尺寸线性拼接为背景子区域的特征向量掩膜中背景子区域的特征，向与其邻接的待求解子区域传播，以形成待求解子区域特征公式如下：

$F_{T_j}={\mathrm{\Σ}}_i^{N_B}{F}_{B_i}\frac{\mathrm{length}\left(L_{B_i{T}_j}\right)}{\mathrm{length}\left(L_{B_{i}T}\right)},$

其中T_j为一待求解子区域，为背景子区域B_i与待求解子区域T_j的交线长度，T为的T_j并，N_B为背景子区域的数量，i取值1～N_B。

7.根据权利要求1所述的一种基于置信度的图像协同抠图方法，其特征在于，所述步骤6对所有图像采取两步匹配：第一步在图像对的前景上进行匹配；第二步对待求解区域的边界上的所有点进行非刚性变化匹配以求得所有待求解区域的像素点对匹配。