CN106846337A - 一种基于主动学习的抠图方法 - Google Patents

Abstract

本发明公开了一种基于主动学习的抠图方法，采样方法对应于某个风险函数，风险函数值越低的前景背景对有越高的信任度，主动学习在未知区域中寻找像素，对像素标记，提高了整个图像未知区域像素的信任度；在传播模型中，不同于目前大多数方法，解决了线性传播模型进行主动学习的问题，用主动学习的方式寻找最需要进行标记的区域，对能引起求解值产生较大变化的像素，进行标记；将采样方法和传播方法结合起来，信息量越大的像素越值得标记。本发明不同于以往方法；通过主动学习，寻找更为有效的区域进行标记，从而降低了交互的工作量，并提高抠图的准确性，从测试集的结果来看，可以以较少的交互实现较高的准确性。

Description

一种基于主动学习的抠图方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于主动学习的抠图方法。

背景技术

alpha抠图使用三种方法计算alpha图，一种为采样方法，一种为传播方法，一种为传播和采样结合的方法；在采样方法中，每一个像素，对应于一个前景和背景对，采样方法的关键在于求取出最佳的前景和背景对，以降低采样风险。在传播模型中，目前大多数方法使用矩阵的形式表示邻近像素间的线性关系，而抠图问题最终转化为线性方程的求解问题。alpha抠图需要对图像进行标记，确定图像的前景区域、背景区域、未知区域，简称三分图。但如何对图像进行标记，目前少有方法涉及，一般用户根据当前抠图的结果对图像进行标记，但这种方法效率较低，随意性较强，特别是对复杂背景的图像，往往需要大量的交互才可以得到较好的三分图。

综上所述，目前对图像进行标记方法存在效率较低的问题。传统的三分图制作通过抠图结果进行比对进行，用户在抠图不准确的位置进行人工标记，从而得到抠图结果。这种基于抠图结果的标记方法随意性较强，精度上有欠缺。对于复杂的图片，由于抠图结果并不能给出不同区域的重要性信息，所以根据抠图结果制作三分图，再反复纠正三分图，往往需要重复多次才能得出理想的结果。

发明内容

本发明的目的在于提供一种基于主动学习的抠图方法，旨在解决传统的三分图制作通过抠图结果进行比对时，精度上有欠缺；对于复杂的图片，需要重复多次才能得的结果；而且对图像进行标记方法也存在效率较低的问题。

本发明是这样实现的，一种基于主动学习的抠图方法，所述基于主动学习的抠图方法的公式表示如下：

等式左边代表像素x_k对应的信息量，越大的值表示越值得进行主动学习和标记；公式右边由二部分组成，R_sampling表示对x_k进行主动学习后在采样上风险值的变化，R_exp表示对x_k进行主动学习后，传播方法对抠图效果的改变量；将二者结合起来，最终表示对x_k进行主动学习后,对抠图效果的影响，影响力越大，说明x_k越值得主动学习，需要标记；λ₁、λ₂代表实数参数，通过将二者以不同权值相加，最终将采样方法和传播方法结合起来。

进一步，所述采样方法在未知区域中寻找像素，当像素被标记后，提高整个图像未知区域像素的信任度；

下式表示在对像素x_i进行主动学习并标记了y_i后，像素x_k所对应的风险值的差距：

用下式表示对像素x_i进行主动学习以后风险值的差距：

下式表示对像素x_i进行主动学习后，整个图像上所有像素风险值的差距之和：

值越大像素x_i的标记越减少图像采样风险，提高信任度。

进一步，所述对像素x_i进行主动学习的方法包括：

(1)计算每个未知区域像素对应的采样的风险值；

(2)For(未知区域的每一个像素x_i)；

(3){For(未知区域的任意像素x_k)；

(4)假定x_i为x_k对应的前景采样；

(5)在背景区域中找到最优的背景采样，并计算像素x_k对应的风险值在采样x_i后的变化量}；

(6)For(未知区域的任意像素x_k)；

(7){假定x_i为x_k对应的背景采样；

(8)在前景区域中找到最优的前景采样，并计算像素x_k对应的风险值在采样x_i后的变化量}；

(9)计算所有像素在采样x_i对应的风险值的变化量之和。

进一步，所述基于传播的主动学习的抠图方法的线性方程为：

对某个像素x_k进行标记为y_k后，方程的解为：

于是将求解的变化表示为下式：

其中分子表示的是矩阵求逆后对应的第k列向量，分母表示的是矩阵求逆后对应的对角阵的第k个元素。

本发明提供的基于主动学习的抠图方法，采样方法对应于某个风险函数，风险函数值越低的前景背景对有越高的信任度，主动学习在未知区域中寻找像素，对像素标记，提高了整个图像未知区域像素的信任度；在传播模型中，不同于目前大多数方法，解决了线性传播模型进行主动学习的问题，用主动学习的方式寻找最需要进行标记的区域，对能引起求解值产生较大变化的像素，进行标记。

本发明将采样方法和传播方法结合起来，信息量越大的像素越值得标记；不同于以往方法；通过主动学习，寻找更为有效的区域进行标记，从而降低了交互的工作量，并提高抠图的准确性，从测试集的结果来看，可以以较少的交互实现较高的准确性。

本发明对同样的标准测试数据库分别使用主动学习方法和手工方法进行标记，得出误差结果，下表是数据统计对比：

表1使用主动学习方法对数据集测试得到的误差

Troll	Doll	Donkey	Elephant	Plant	Pineapple	Plastic bag	Net
								118.8	79.4	69.3	109.4	89.3	95.8	140.5	124.7
31.3	35.5	17.9	25.9	29.2	34	79.8	38.4
								30.5	10.3	14	15.5	16.5	16.6	25.2	31.4

表2使用手工方法对数据集测式得到的误差

本发明使用了标准测试集的8张标准图片进行测试，分别使用主动学习的方法及手工方法对图片进行标记，并测试抠图结果的准确性，表1使用主动学习方法，表2使用手工方法。一共使用三次交互，表中记录针对不同图片在交互后的平均误差率。从表中可以看到，表1的各项数据上强于表2，在同样交互的情况下，有着更小的误差，这说明在同样的交互次数下我们的方法比手工标记方法更为有效，得到的抠图结果更为准确。这说明，由于我们的方法结合了传播方法和采样方法的优点，从而可以利用采样信息和传播信息更为有效的标记三分图，从而得到更为准确的结果。

图1则给出了以上表格数据的图表表示，图1对标准测试集上的8张标准图像进行测试的结果，虚线为手工结果，实线为主动学习方法测试结果，结果显示，在大多数情况下，主动学习指导下的标记，在抠图结果上有更小的误差。

附图说明

图1是本发明实施例提供的8张标准图像进行测试的结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合具体实施例对本发明的应用原理作进一步的描述。

本发明的实施例在采样方法中，每一个像素，对应于一个前景和背景对，采样方法的关键在于求取出最佳的前景和背景对；在具体方法中，采样方法对应于某个风险函数，风险函数值越低的前景背景对有越高的信任度，具有最高信任度的前景和背景对称之为最佳配对；因此主动学习的关键在未知区域中寻找一些像素，当这些像素被标记后，可以有效的提高整个图像未知区域像素的信任度。

下式表示在对像素x_i进行主动学习并标记了y_i后，像素x_k所对应的风险值的差距：

考虑到抠图中，y_i对应于二个不同的值：前景、背景；本发明将其相加，并用下式表示对像素x_i进行主动学习以后风险值的差距：

下式则表示对像素x_i进行主动学习后，整个图像上所有像素风险值的差距之和：

显然，值越大意味着像素x_i的标记可以越减少整个图像采样风险，并提高信任度。

对像素x_i进行主动的算法描述如下：

1.计算每个未知区域像素对应的采样的风险值；

2.For(未知区域的每一个像素x_i)；

3.{For(未知区域的任意像素x_k)；

4.假定x_i为x_k对应的前景采样；

5.在背景区域中找到最优的背景采样，并计算像素x_k对应的风险值在采样x_i后的变化量}；

6.For(未知区域的任意像素x_k)；

7.{假定x_i为x_k对应的背景采样；

8.在前景区域中找到最优的前景采样，并计算像素x_k对应的风险值在采样x_i后的变化量}；

9.计算所有像素在采样x_i对应的风险值的变化量之和。

本发明的实施例在传播模型中，目前大多数方法使用矩阵的形式表示邻近像素间的线性关系，而抠图问题最终转化为线性方程的求解问题。越是能引起求解值产生较大变化的像素，越有信息量，越值得标记。

设矩阵表示为下式：

求解可以表达为下式：

而对其中某个像素(x_k)进行标记为y_k后，方程的解为：

于是将求解的变化表示为下式：

其中分子表示的是矩阵求逆后对应的第k列向量，分母表示的是矩阵求逆后对应的对角阵的第k个元素。

由于该变化量为向量形式，本发明用以下范式计算各指标的和：

考虑到y_k对应于二个标记，一个是前景一个是背景，为了得到尽可能平滑的结果；本发明取较小的值作为输出：

本发明将采样方法和传播模型方法结合起来，表示如下：

等式左边代表像素x_k对应的信息量，越大的值表示越值得进行主动学习和标记；公式右边由二部分组成，R_sampling表示对x_k进行主动学习后在采样上风险值的变化，R_exp表示对x_k进行主动学习后，传播方法对抠图效果的改变量；将二者结合起来，最终表示对x_k进行主动学习后,对抠图效果的影响，影响力越大，说明x_k越值得主动学习，需要标记；λ₁、λ₂代表实数参数，通过将二者以不同权值相加，最终将采样方法和传播方法结合起来。

现有制作三分图方法通常同人工进行，通常由现有粗糙的抠图结果与现有图像进行比较，并制作出来，有较强的随意性。而本发明根据每个像素x_k对应的信息量制作一张主动图，由主动图指导用户进行标记。

使用主动图进行主动学习抠图的过程，首先用户给定一张简单的三分图，然后计算其主动图，用户再根据主动图进行进一步标记，然后再计算出新的主动图，用户再根据新的主动图进行进一步标记，直到得出较好的结果。标准集上的测试证明本发明的方法更为有效。

图1是对www.alphamatting.com上的8张标准图像进行测试的结果，虚线线为手工结果，实线为主动学习方法测试结果，结果显示，在大多数情况下，主动图指导下的标记，有更小的误差。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于主动学习的抠图方法，其特征在于，所述基于主动学习的抠图方法的公式表示如下：

$R\left(f_u^{+\left(x_k\right)}\right)={\mathrm{\λ}}_1{R}_{sampling}\left(f_u^{+\left(x_k\right)}\right)+{\mathrm{\λ}}_2{R}_{\exp }\left(f_u^{+\left(x_k\right)}\right);$

等式左边代表像素x_k对应的信息量，越大的值表示越值得进行主动学习和标记；公式右边由二部分组成，R_sampling表示对x_k进行主动学习后在采样上风险值的变化，R_exp表示对x_k进行主动学习后，传播方法对抠图效果的改变量；将二者结合起来，最终的表示对x_k进行主动学习后,对抠图效果的影响，影响力越大，说明x_k越值得主动学习，需要标记；λ₁、λ₂代表实数参数，通过将二者以不同权值相加，最终将采样方法和传播方法结合起来。

2.如权利要求1所述的基于主动学习的抠图方法，其特征在于，所述采样在未知区域中寻找像素，当像素被标记后，提高整个图像未知区域像素的信任度；

下式表示在对像素x_i进行主动学习并标记了y_i后，像素x_k所对应的风险值的差距：

$Diff{\left(x_k\right)}^{+(x_i,y_i)}=Risk\left(x_k\right)-Risk{\left(x_k\right)}^{+(x_i,y_i)};$

用下式表示对像素x_i进行主动学习以后风险值的差距：

$\begin{array}{c}Diff{\left(x_k\right)}^{+(x_i}=Diff{\left(x_k\right)}^{+(x_i,foreground)}\\ +Diff{\left(x_k\right)}^{+(x_i,background)}\end{array};$

下式表示对像素x_i进行主动学习后，整个图像上所有像素风险值的差距之和：

$R_{sampling}(+x_i)=\underset{x_k}{\Σ}\left(Diff{\left(x_k\right)}^{+\left(x_i\right)}\right);$

值越大像素x_i的标记越减少图像采样风险，提高信任度。

3.如权利要求2所述的基于主动学习的抠图方法，其特征在于，所述对像素x_i进行主动学习的方法包括：

(1)计算每个未知区域像素对应的采样的风险值；

(2)For(未知区域的每一个像素x_i)；

(3){For(未知区域的任意像素x_k)；

(4)假定x_i为x_k对应的前景采样；

(5)在背景区域中找到最优的背景采样，并计算像素x_k对应的风险值在采样x_i后的变化量}；

(6)For(未知区域的任意像素x_k)；

(7){假定x_i为x_k对应的背景采样；

(8)在前景区域中找到最优的前景采样，并计算像素x_k对应的风险值在采样x_i后的变化量}；

(9)计算所有像素在采样x_i对应的风险值的变化量之和。

4.如权利要求1所述的基于主动学习的抠图方法，其特征在于，所述基于主动学习的抠图方法的线性方程为：

对某个像素x_k进行标记为y_k后，方程的解为：

$f_u^{+(x_k,y_k)}=f_u+(y_k-f_k)\frac{\left({\mathrm{\Δ}}_{uu}^{-1}\right).k}{\left({\mathrm{\Δ}}_{uu}^{-1}\right).kk};$

于是将求解的变化表示为下式：

$f_u^{+(x_k,y_k)}-f_u=(y_k-f_k)\frac{\left({\mathrm{\Δ}}_{uu}^{-1}\right).k}{\left({\mathrm{\Δ}}_{uu}^{-1}\right).kk};$

其中分子表示的是矩阵求逆后对应的第k列向量，分母表示的是矩阵求逆后对应的对角阵的第k个元素。