CN106846337B - 一种基于主动学习的抠图方法 - Google Patents
一种基于主动学习的抠图方法 Download PDFInfo
- Publication number
- CN106846337B CN106846337B CN201710070372.5A CN201710070372A CN106846337B CN 106846337 B CN106846337 B CN 106846337B CN 201710070372 A CN201710070372 A CN 201710070372A CN 106846337 B CN106846337 B CN 106846337B
- Authority
- CN
- China
- Prior art keywords
- active learning
- pixel
- sampling
- risk
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Abstract
本发明公开了一种基于主动学习的抠图方法,采样方法对应于某个风险函数,风险函数值越低的前景背景对有越高的信任度,主动学习在未知区域中寻找像素,对像素标记,提高了整个图像未知区域像素的信任度;在传播模型中,不同于目前大多数方法,解决了线性传播模型进行主动学习的问题,用主动学习的方式寻找最需要进行标记的区域,对能引起求解值产生较大变化的像素,进行标记;将采样方法和传播方法结合起来,信息量越大的像素越值得标记。本发明不同于以往方法;通过主动学习,寻找更为有效的区域进行标记,从而降低了交互的工作量,并提高抠图的准确性,从测试集的结果来看,可以以较少的交互实现较高的准确性。
Description
技术领域
本发明属于图像处理技术领域,尤其涉及一种基于主动学习的抠图方法。
背景技术
alpha抠图使用三种方法计算alpha图,一种为采样方法,一种为传播方法,一种为传播和采样结合的方法;在采样方法中,每一个像素,对应于一个前景和背景对,采样方法的关键在于求取出最佳的前景和背景对,以降低采样风险。在传播模型中,目前大多数方法使用矩阵的形式表示邻近像素间的线性关系,而抠图问题最终转化为线性方程的求解问题。alpha抠图需要对图像进行标记,确定图像的前景区域、背景区域、未知区域,简称三分图。但如何对图像进行标记,目前少有方法涉及,一般用户根据当前抠图的结果对图像进行标记,但这种方法效率较低,随意性较强,特别是对复杂背景的图像,往往需要大量的交互才可以得到较好的三分图。
综上所述,目前对图像进行标记方法存在效率较低的问题。传统的三分图制作通过抠图结果进行比对进行,用户在抠图不准确的位置进行人工标记,从而得到抠图结果。这种基于抠图结果的标记方法随意性较强,精度上有欠缺。对于复杂的图片,由于抠图结果并不能给出不同区域的重要性信息,所以根据抠图结果制作三分图,再反复纠正三分图,往往需要重复多次才能得出理想的结果。
发明内容
本发明的目的在于提供一种基于主动学习的抠图方法,旨在解决传统的三分图制作通过抠图结果进行比对时,精度上有欠缺;对于复杂的图片,需要重复多次才能得的结果;而且对图像进行标记方法也存在效率较低的问题。
本发明是这样实现的,一种基于主动学习的抠图方法,所述基于主动学习的抠图方法的公式表示如下:
等式左边代表像素xk对应的信息量,越大的值表示越值得进行主动学习和标记,fu表示图像未知区域(unknown)的alpha图信息,表示对xk进行主动学习后,图像中的未知区域的alpha图信息,表示对xk进行主动学习后在求解alpha图上的变化;公式右边由二部分组成,Rsampling表示对xk进行主动学习后在采样上风险值的变化,Rexp表示对xk进行主动学习后,传播方法对抠图效果的改变量;将二者结合起来,最终的表示对xk进行主动学习后,对抠图效果的影响,影响力越大,说明xk越值得主动学习,需要标注;λ1、λ2代表实数参数,通过将二者以不同权值相加,最终将采样方法和传播方法结合起来。
进一步,所述采样在未知区域中寻找像素,当像素被标记后,提高整个图像未知区域像素的信任度。
下式表示在对像素xk进行主动学习并标记了yk后,未知像素xi所对应的风险值的差距:
。
用下式表示对像素xk进行主动学习后风险值的差距:
下式表示对像素xk进行主动学习后,图像上所有像素风险值的差距之和:
值越大表示像素xk的标记越能减少图像采样风险,提高信任度。
进一步,所述对像素xk进行主动学习的方法包括:
(1)计算像素xk主动学习后对应的采样的风险值变化,代码描述如下;
For(图像中的像素xk);
{
For(不同于xk的所有未知区域像素xi);
{假定xk为xi对应的前景采样;
在背景区域中找到最优的背景采样,并计算像素xi对应的风险值在采样xk后的变化量
};
For(不同于xk的所有未知区域像素xi);
{
假定xk为xi对应的背景采样;
在前景区域中找到最优的前景采样,并计算像素xi对应的风险值在采样xk后的变化量
};
计算在采样xk后对应的所有像素风险值的变化量之和Rsampling(+(xk));
}。
进一步,所述基于主动学习的抠图方法的线性方程为:
对某个像素xk进行标记为yk后,方程的解为:
。
于是将求解的变化表示为下式:
其中分子表示的是矩阵求逆后对应的第k列向量,分母表示的是矩阵求逆后对应的对角阵的第k个元素,fk为xk在标记前对应的alpha值。
本发明提供的基于主动学习的抠图方法,采样方法对应于某个风险函数,风险函数值越低的前景背景对有越高的信任度,主动学习在未知区域中寻找像素,对像素标记,提高了整个图像未知区域像素的信任度;在传播模型中,不同于目前大多数方法,解决了线性传播模型进行主动学习的问题,用主动学习的方式寻找最需要进行标记的区域,对能引起求解值产生较大变化的像素,进行标记。
本发明将采样方法和传播方法结合起来,信息量越大的像素越值得标记;不同于以往方法;通过主动学习,寻找更为有效的区域进行标记,从而降低了交互的工作量,并提高抠图的准确性,从测试集的结果来看,可以以较少的交互实现较高的准确性。
本发明对同样的标准测试数据库分别使用主动学习方法和手工方法进行标记,得出误差结果,下表是数据统计对比:
表1使用主动学习方法对数据集测试得到的误差
Troll | Doll | Donkey | Elephant | Plant | Pineapple | Plastic bag | Net |
118.8 | 79.4 | 69.3 | 109.4 | 89.3 | 95.8 | 140.5 | 124.7 |
34.9 | 36.1 | 18.3 | 34.3 | 43.1 | 45.1 | 77.4 | 54.9 |
34.9 | 13.5 | 16.3 | 17.2 | 22.2 | 30.6 | 26.5 | 32.4 |
表2使用手工方法对数据集测式得到的误差
Troll | Doll | Donkey | Elephant | Plant | Pineapple | Plastic bag | Net |
118.8 | 79.4 | 69.3 | 109.4 | 89.3 | 95.8 | 140.5 | 124.7 |
34.9 | 36.1 | 18.3 | 34.3 | 43.1 | 45.1 | 77.4 | 54.9 |
34.9 | 13.5 | 16.3 | 17.2 | 22.2 | 30.6 | 26.5 | 32.4 |
本发明使用了标准测试集的8张标准图片进行测试,分别使用主动学习的方法及手工方法对图片进行标记,并测试抠图结果的准确性,表1使用主动学习方法,表2使用手工方法。一共使用三次交互,表中记录针对不同图片在交互后的平均误差率。从表中可以看到,表1的各项数据上强于表2,在同样交互的情况下,有着更小的误差,这说明在同样的交互次数下我们的方法比手工标记方法更为有效,得到的抠图结果更为准确。这说明,由于我们的方法结合了传播方法和采样方法的优点,从而可以利用采样信息和传播信息更为有效的标记三分图,从而得到更为准确的结果。
图1则给出了以上表格数据的图表表示,图1对标准测试集上的8张标准图像进行测试的结果,虚线为手工结果,实线为主动学习方法测试结果,结果显示,在大多数情况下,主动学习指导下的标记,在抠图结果上有更小的误差。
附图说明
图1是本发明实施例提供的8张标准图像进行测试的结果示意图
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本本发明,并不用于限定本发明。
下面结合具体实施例对本发明的应用原理作进一步的描述。
本发明的实施例在采样方法中,每一个像素,对应于一个前景和背景对,采样方法的关键在于求取出最佳的前景和背景对;在具体方法中,采样方法对应于某个风险函数,风险函数值越低的前景背景对有越高的信任度,具有最高信任度的前景和背景对称之为最佳配对;因此主动学习的关键在未知区域中寻找一些像素,当这些像素被标记后,可以有效的提高整个图像未知区域像素的信任度。
下式表示在对像素xi进行主动学习并标记了yi后,像素xk所对应的风险值的差距:
考虑到抠图中,yi对应于二个不同的值:前景、背景;本发明将其相加,并用下式表示对像素xi进行主动学习以后风险值的差距:
下式表示对像素xk进行主动学习后,图像上所有像素风险值的差距之和:
值越大表示像素xk的标记越能减少图像采样风险,提高信任度。
所述对像素xk进行主动学习的方法包括:
1.计算像素xk主动学习后对应的采样的风险值变化,代码描述如下;
2.For(图像中的像素xk);
{
3.For(不同于xk的所有未知区域像素xi);
4.{假定xk为xi对应的前景采样;
5.在背景区域中找到最优的背景采样,并计算像素xi对应的风险值在采样xk后的变化量
};
6.For(不同于xk的所有未知区域像素xi);
{
7.假定xk为xi对应的背景采样;
8.在前景区域中找到最优的前景采样,并计算像素xi对应的风险值在采样xk后的变化量
};
9.计算在采样xk后对应的所有像素风险值的变化量之和Rsampling(+(xk));
}。
本发明的实施例在传播模型中,目前大多数方法使用矩阵的形式表示邻近像素间的线性关系,而抠图问题最终转化为线性方程的求解问题。越是能引起求解值产生较大变化的像素,越有信息量,越值得标记。
设矩阵表示为下式:
;
求解可以表达为下式:
;
而对其中某个像素(xk)进行标记为yk后,方程的解为:
于是将求解的变化表示为下式:
;
其中分子表示的是矩阵求逆后对应的第k列向量,分母表示的是矩阵求逆后对应的对角阵的第k个元素,fk为xk在标记前对应的alpha值。
由于该变化量为向量形式,本发明用以下范式计算各指标的和:
考虑到yk对应于二个标记,一个是前景一个是背景,为了得到尽可能平滑的结果;本发明取较小的值作为输出:
本发明将采样方法和传播模型方法结合起来,表示如下:
等式左边代表像素xk对应的信息量,越大的值表示越值得进行主动学习和标记;公式右边由二部分组成,Rsampling表示对xk进行主动学习后在采样上风险值的变化,Rexp表示对xk进行主动学习后,传播方法对抠图效果的改变量;将二者结合起来,最终表示对xk进行主动学习后,对抠图效果的影响,影响力越大,说明xk越值得主动学习,需要标记;λ1、λ2代表实数参数,通过将二者以不同权值相加,最终将采样方法和传播方法结合起来。
现有制作三分图方法通常同人工进行,通常由现有粗糙的抠图结果与现有图像进行比较,并制作出来,有较强的随意性。而本发明根据每个像素xk对应的信息量制作一张主动图,由主动图指导用户进行标记。
使用主动图进行主动学习抠图的过程,首先用户给定一张简单的三分图,然后计算其主动图,用户再根据主动图进行进一步标记,然后再计算出新的主动图,用户再根据新的主动图进行进一步标记,直到得出较好的结果。标准集上的测试证明本发明的方法更为有效。
图1是对www.alphamatting.com上的8张标准图像进行测试的结果,虚线为手工结果,实线为主动学习方法测试结果,结果显示,在大多数情况下,主动图指导下的标记,有更小的误差。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性的劳动即可做出的各种修改或变形仍在本发明的保护范围之内。
Claims (4)
1.一种基于主动学习的抠图方法,其特征在于,所述基于主动学习的抠图方法的公式表示如下:
等式左边代表像素xk对应的信息量,越大的值表示越值得进行主动学习和标记,fu表示图像未知区域(unknown)的alpha图信息,表示对xk进行主动学习后,图像中的未知区域的alpha图信息,表示对xk进行主动学习后在求解alpha图上的变化;公式右边由二部分组成,Rsampling表示对xk进行主动学习后在采样上风险值的变化,Rexp表示对xk进行主动学习后,传播方法对抠图效果的改变量;将二者结合起来,最终的表示对xk进行主动学习后,对抠图效果的影响,影响力越大,说明xk越值得主动学习,需要标注;λ1、λ2代表实数参数,通过将二者以不同权值相加,最终将采样方法和传播方法结合起来。
2.如权利要求1所述的基于主动学习的抠图方法,其特征在于,所述采样在未知区域中寻找像素,当像素被标记后,提高整个图像未知区域像素的信任度;
下式表示在对像素xk进行主动学习并标记了yk后,未知像素xi所对应的风险值的差距:
;
用下式表示对像素xk进行主动学习以后风险值的差距:
下式表示对像素xk进行主动学习后,图像上所有像素风险值的差距之和:
值越大表示像素xk的标记越能减少图像采样风险,提高信任度。
3.如权利要求2所述的基于主动学习的抠图方法,其特征在于,所述对像素xk进行主动学习的方法包括:
(1)计算像素xk主动学习后对应的采样的风险值变化,代码描述如下;
4.如权利要求1所述的基于主动学习的抠图方法,其特征在于,所述基于主动学习的抠图方法的线性方程为:
对某个像素xk进行标记为yk后,方程的解为:
;
于是将求解的变化表示为下式:
其中分子表示的是矩阵求逆后对应的第k列向量,分母表示的是矩阵求逆后对应的对角阵的第k个元素,fk为xk在标记前对应的alpha值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710070372.5A CN106846337B (zh) | 2017-02-09 | 2017-02-09 | 一种基于主动学习的抠图方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710070372.5A CN106846337B (zh) | 2017-02-09 | 2017-02-09 | 一种基于主动学习的抠图方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106846337A CN106846337A (zh) | 2017-06-13 |
CN106846337B true CN106846337B (zh) | 2019-11-19 |
Family
ID=59122512
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710070372.5A Expired - Fee Related CN106846337B (zh) | 2017-02-09 | 2017-02-09 | 一种基于主动学习的抠图方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106846337B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109712145B (zh) * | 2018-11-28 | 2021-01-08 | 山东师范大学 | 一种图像抠图方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2637139A1 (en) * | 2012-03-05 | 2013-09-11 | Thomson Licensing | Method and apparatus for bi-layer segmentation |
CN103942794A (zh) * | 2014-04-16 | 2014-07-23 | 南京大学 | 一种基于置信度的图像协同抠图方法 |
-
2017
- 2017-02-09 CN CN201710070372.5A patent/CN106846337B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2637139A1 (en) * | 2012-03-05 | 2013-09-11 | Thomson Licensing | Method and apparatus for bi-layer segmentation |
CN103942794A (zh) * | 2014-04-16 | 2014-07-23 | 南京大学 | 一种基于置信度的图像协同抠图方法 |
Non-Patent Citations (3)
Title |
---|
Automatic trimap and alpha-matte generation for digital image matting;Sweta Singh等;《2013 Sixth International Conference on Contemporary Computing》;20130930;第202-207页 * |
一种基于样本有效性和KNN分类标记的采样传播型抠图方法;陈晓;《计算机辅助设计与图形学学报》;20161231;第28卷(第12期);第2186-2194页 * |
交互式前景抠图技术综述;沈洋等;《计算机辅助设计与图形学学报》;20140430;第26卷(第4期);第511-519页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106846337A (zh) | 2017-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106204638B (zh) | 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法 | |
CN103824050B (zh) | 一种基于级联回归的人脸关键点定位方法 | |
CN103677516B (zh) | 终端的界面生成方法和装置 | |
CN103729885B (zh) | 多视角投影与三维注册联合的手绘场景三维建模方法 | |
CN111079763B (zh) | 训练样本生成、模型训练、字符识别方法及其装置 | |
CN106383912A (zh) | 一种图片检索方法和装置 | |
CN103559476B (zh) | 一种指纹匹配方法和装置 | |
CN104091350B (zh) | 一种利用运动模糊信息的物体跟踪方法 | |
CN106023276A (zh) | 基于图像处理的铅笔画绘制方法及装置 | |
CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
CN104657709A (zh) | 人脸图像识别方法、装置及服务器 | |
CN108961385A (zh) | 一种slam构图方法及装置 | |
CN106846337B (zh) | 一种基于主动学习的抠图方法 | |
CN107169498A (zh) | 一种融合局部和全局稀疏的图像显著性检测方法 | |
CN107977412A (zh) | 一种基于迭代式与交互式感知年龄数据库的清洗方法 | |
Peng et al. | Contour-enhanced CycleGAN framework for style transfer from scenery photos to Chinese landscape paintings | |
CN106204418A (zh) | 一种虚拟现实移动端中基于矩阵逆运算的图像扭曲方法 | |
CN109523590A (zh) | 一种基于样例的3d图像深度信息视觉舒适度评估方法 | |
CN109857878A (zh) | 物品标注方法及装置、电子设备及存储介质 | |
CN108038467A (zh) | 一种镜像图与粗细层次结合的稀疏人脸识别方法 | |
Bao et al. | LAE: Long-tailed age estimation | |
CN107146215A (zh) | 一种基于颜色直方图和凸包的显著性检测方法 | |
CN104050486B (zh) | 基于图和Wishart距离的极化SAR图像分类方法 | |
CN106250818A (zh) | 一种全序保持投影的人脸年龄估计方法 | |
CN109829857A (zh) | 一种基于生成对抗网络的倾斜图像的矫正方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191119 Termination date: 20210209 |