CN104820990A - 一种交互式图像抠图系统 - Google Patents

Abstract

本发明公开了一种交互式图像抠图系统，该系统采用交互输入模块接收外部指令显示照片并进行矩形框标记和/或涂鸦标记；通过标记找到原图中的背景样本点和前景样本点，然后使用最小描述长度MDL聚类方法在三原色RGB颜色空间里，将前景样本点和背景样本点分别聚类为多个高斯混合模型GMM；为原图中每一个像素分配其所属的GMM模型，并更新计算每个GMM模型的高斯参数，定义吉布斯Gibbs能量函数，构造整个原图的图模型，并利用最大流/最小割max flow/min cut方法进行能量最小化的图像分割，滤波获得最终抠图结果，并依照用户指定确定是否再一次输入涂鸦标记并修正抠图结果。该方法能够实现快速抠图，且保证较好的抠图效果。

Description

一种交互式图像抠图系统

技术领域

本发明属于计算机图像处理领域，具体涉及一种交互式图像抠图系统设计。

背景技术

数字抠图是指从图像或视频的背景中，在保持物体边缘完整的情况下，将感兴趣的物体抠取出来。根据用户指定的少量信息，自动地将图像中需要的信息精确提取出来，即成为交互式抠图。交互式抠图是图像处理、视频编辑和电影制作中的关键技术，能大大减少人工编辑的工作量并提高工作效率，因此成为计算机视觉领域的重要研究问题。数字抠图可以分为蓝屏抠图、自然图像抠图、环境抠图和阴影抠图等，本专利主要研究背景任意的自然图像抠图技术。

自然图像抠图具有较高的实用价值且应用广泛，成为近年来的研究热点。迄今为止学者们提出很多自然图像抠图方法，比如贝叶斯抠图、Knockout抠图、泊松抠图、Robust抠图、Easy Matting、Lazy Snapping和基于颜色感知的抠图算法等。这些方法大致分为以下几类：基于颜色采样的抠图、基于相似性的抠图、基于能量函数的抠图和基于机器学习的抠图等。这几类方法各有其自身的优缺点以及适用的场合，实际应用中，我们无法找出一种适用于所有情况的通用方法，只能针对具体情况找出对应的解决方法。基于颜色采样的方法，在前景/背景颜色分明、边界清晰的情况下表现较好；基于像素相似性的方法，适用于颜色变化平滑的区域；基于能量函数的方法，融合了前两者的优点；基于机器学习的方法，结果比较稳定,在很多情况下表现良好，但抠图结果受初始样本的影响较大。

尽管很多自然图像的抠图算法能产生比较好的抠图效果，比如Robust抠图和闭合解抠图，但由于算法复杂、计算量大，导致抠图速度慢和实时性差，很难应用到手机抠图领域中。市面上已有的效果较好的手机抠图软件，像TouchRetouch和抠图神手，抠图速度较慢，而且提取出的前景边缘比较生硬且有少许的边缘损坏。当待处理图片的前景与背景颜色相近或图片的纹理复杂时，已有的手机抠图软件很难取得满意效果。

发明内容

有鉴于此，本发明提供了一种交互式图像抠图系统，在待处理图片的前景和背景比较相近和图片的纹理复杂时，能够实现快速抠图，且保证较好的抠图效果。

为了达到上述目的，本发明的技术方案为：该系统包括交互输入模块、抠图模块和修正模块。

交互输入模块中具有图片选择单元和标记单元；图片选择单元用于接收外部读取指令，读取原图像并显示；标记单元用于接收外部标记指令，并进行矩形框标记和/或涂鸦标记。

矩形框标记接收外部输入的矩形框位置，并将矩形框外部像素设置成表示背景的像素值，称为背景表征值，并将矩形框内的所有像素的像素值设置为可能前景的像素值，称为可能前景表征值，背景表征值和可能前景表征值共同构成掩膜图像，将原图和掩膜图像发送至抠图模块。

涂鸦标记为：接收外部输入的背景涂鸦位置、前景涂鸦位置、可能背景涂鸦位置以及可能前景涂鸦位置，在掩膜图像的矩形框内，将背景涂鸦位置和可能背景涂鸦位置对应的像素点设置成背景表征值，将前景涂鸦位置和可能前景涂鸦位置对应的像素点设置成前景表征值，掩膜图像中的剩余部分仍保持原来的表征值，由此更新掩膜图像，将原图和更新后的掩膜图像发送至抠图模块。

抠图模块接收原图以及掩膜图像，以背景表征值对应的原图像素点作为背景样本点，以前景表征值和可能前景表征值对应的原图像素点作为前景样本点，然后使用最小描述长度MDL聚类方法在三原色RGB颜色空间里，将前景样本点和背景样本点分别聚类为多个高斯混合模型GMM，并得出每个GMM的高斯参数。

接着重复下述迭代过程：为原图中每一个像素分配其所属的GMM模型，并更新计算每个GMM模型的高斯参数，定义吉布斯Gibbs能量函数，构造整个原图的图模型，并利用最大流/最小割max flow/min cut方法进行能量最小化的图像分割，并对图像分割结果使用区域选择性引导滤波进行边缘细化，获得抠图结果，用户指定是否对抠图结果进行进一步修正，若需要进一步修正，则将抠图结果输入至修正模块，若不需要，则抠图完成。

修正模块调用交互输入模块，并等待用户输入涂鸦标记，依据涂鸦标记更新掩膜图像，将原图和更新后的掩膜图像发送至抠图模块进一步进行抠图。

进一步地，矩形框位置是通过标记单元提供的矩形框控件获取的，涂鸦位置是通过标记单元提供的涂鸦画笔获取的，涂鸦画笔包括背景涂鸦画笔、前景涂鸦画笔、可能背景涂鸦画笔以及可能前景涂鸦画笔，且画笔勾画位置限制在矩形框内。

进一步地，使用最小描述长度MDL聚类方法在三原色RGB颜色空间里，将前景样本点和背景样本点分别聚类为多个高斯混合模型GMM，并得出每个GMM的高斯参数的具体过程为：

采用前景样本点构建前景的K个混合高斯模型GMM,采用背景样本点构建背景的K个混合高斯模型GMM，其中K的数值由MDL聚类方法获得；

$\mathrm{MDL}(K,\mathrm{\θ})=-\log p_{x_n}\left(x_n\right|K,\mathrm{\θ})+0.5L\log \left(\mathrm{NM}\right)$

$L=K(1+M+\frac{M(M+1)}{2})-1$

其中为像素x_n属于混合高斯模型聚类的高斯概率密度函数；N是采样点的个数，M＝3表示RGB图像的3个颜色通道，L<0.5MN；

θ＝(π,μ,Σ)为每个聚类的GMM参数；π表示每个像素属于当前聚类的概率，μ表示当前聚类GMM的均值、且是3*1的向量，Σ表示当前聚类GMM的协方差、且Σ是3*3的矩阵；

采用如下过程估算出最佳的聚类数K：

S1、设定K的初始值为K₀，其中5＜K₀＜10；

S2、初始化其中k＝{1,2,3...K₀}

${\mathrm{\&pi;}}_0^k=\frac{1}{K_0}$

${\mathrm{\&Sigma;}}_0^k=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{x}_n{x}_n^T;$

x_n为第n个样本像素的像素值，1≤n≤N，表示向下取整；

S3、对于所有的K>1，用最大似然EM迭代法优化MDL(K,θ)，并判断MDL(K,θ)的变化是否小于或者等于阈值ε，若是，则此时MDL(K,θ)值最小，对应的K值即为最终的K值，θ值即为GMM的高斯参数；

其中阈值 $\mathrm{\&epsiv;}=\frac{1}{100}(1+M+\frac{M(M+1)}{2})\log \left(\mathrm{NM}\right)$

若MDL(K,θ)的变化大于阈值ε，则K自减1，执行S3。

进一步地，为原图中每个像素分配其所属的GMM模型的方法为：计算该像素属于每个GMM模型的概率，所得概率最大的GMM模型即为该像素所属的GMM模型。

进一步地，Gibbs能量函数为E(α,k,θ,x_n)＝U(α,k,θ,x_n)+V(α,x_n)；

其中，U(α,k,θ,x)为数据项，V(α,x)为平滑项，θ表示原图的高斯混合模型GMM的参数，α是指不透明度，0为背景，1为前景；x_n表示原图的像素，1≤n≤N；

数据项为 $U(\mathrm{\&alpha;},k,\mathrm{\&theta;},x_n)=\mathrm{\&Sigma;}-\log \left(p_{x_n}\left(x_n\right|k,\mathrm{\&theta;})\right);$

平滑项为 $V(\mathrm{\&alpha;},x_n)=\mathrm{\&gamma;}\underset{(m,n)\&Element;C}{\mathrm{\&Sigma;}}\mathrm{dis}{(m,n)}^{-1}[{\mathrm{\&alpha;}}_n\&NotEqual;{\mathrm{\&alpha;}}_m]\exp (-\mathrm{\&beta;}{\left|\right|x_m-x_n\left|\right|}^2);$

其中，γ为常量；参数C为原图中像素集；α_m为像素点m的不透明度，α_n为像素点n的不透明度，对于α_n≠α_m的两点，若点m和点n处于水平或竖直关系时，两点间距离dis(m,n)＝1，否则当点n和点m处于对角线关系时，，两点间距离

采用Gibbs能量函数的能量项构建原图的图模型，其中图的顶点为像素点，图的边由两部分构成：一类边是每个顶点与Sink汇点(代表背景)和源点Source(代表前景)连接的边，该类边的权值通过Gibbs能量函数的第一项数据项U项来表示；另一类边是每个顶点与其邻域顶点连接的边，该类边的权值通过Gibbs能量项的第二项平滑项V来表示，由此构造原图的图模型。

进一步地，利用最大流/最小割max flow/min cut方法进行能量最小化的图像分割：即将掩膜图像中的和源点Source有连接边的点设置为可能前景表征值，将和汇点Sink有连接边的点设置为可能背景表征值，其中将背景表征值设置为0，可能的背景表征值设置为2，前景表征值设置为1，可能的前景表征值设置为3，则在掩膜图像中，对其中每一个点均进行对2取余的操作，获得一个仅含背景表征值0和前景表征值1的掩膜图像，则在原图中，将前景表征值1位置处对应的像素点均作为前景，将背景表征值0位置处对应的像素点均作为背景，实现对原图的分割。

进一步地，对图像分割结果使用区域选择性引导滤波进行边缘细化的具体过程为：

以原图作为引导性图像I，以图像分割结果作为输入图像P，则滤波输出图像q即为进行引导滤波后的结果，则q为本次引导滤波所采用的窗体W_j的一个线性变换，其中W_j以像素j为中心，则引导滤波的线型模型为：

$q_i=a_j^T{I}_i+b_j,{\&ForAll;}_i\&Element;w_j$

其中(a_j,b_j)是线性系数且在W_j中是常数；I_i是3*1的颜色矩阵，a_j是3*1的系数矩阵，q_i和b_j是标量；

将线型模型的代价函数写为：

$E(a_j,b_j)=\underset{i\&Element;\mathrm{Wj}}{\mathrm{\&Sigma;}}({(a_j{I}_i+b_j-p_i)}^2+\mathrm{\&epsiv;}{a}_j^2)$

这里ε是正则化参数；

最小化代价函数可得：

$a_j={({\mathrm{\&Sigma;}}_j+\mathrm{\&epsiv;U})}^{-1}(\frac{1}{\left|w\right|}\underset{i\&Element;w_j}{\mathrm{\&Sigma;}}{I}_i{p}_i-{\mathrm{\&mu;}}_j{\stackrel{\&OverBar;}{p}}_j)$

$b_j={\stackrel{\&OverBar;}{p}}_j-a_j^T{\mathrm{\&mu;}}_j$

$q_i={\stackrel{\&OverBar;}{a}}_i^T{I}_i+{\stackrel{\&OverBar;}{b}}_i;$

这里Σ_j是I在窗口W_j中的3*3协方差矩阵，U是3*3的单位矩阵，μ_j为窗口W_j中的像素均值，为p在窗口W_j中的像素均值，为所有包含像素i的窗口里线型系数a_i的均值，为所有包含像素i的窗口中线型系数b_i的均值，最终获得滤波输出图像q，将q与I进行合成，获得滤波后的抠图结果。

有益效果：

1、该系统具有较快的图像处理速度，通过矩形框标记的方式来进行图像样本点选取，简单方便，同时依据用户满意度可再次以涂鸦标记的方式进行样本点选取，这样由于样本点的选取准确而且具备代表性，因此能够更加快速聚类图像像素并进行分割，并且采用引导滤波的方式进行滤波，解决了自然图像抠图边缘的细化问题。

2、该系统采用最小描述长度MDL聚类方法将样本点进行聚类，进一步地计算图像中其他像素点属于每种聚类的概率，利用最大流/最小割max flow/mincut方法进行能量最小化的图像分割，这种抠图方法比传统的图像分割算法计算速度快很多，而且抠图效果较好，可以顺利完成复杂的图像抠图。

附图说明

图1为交互式抠图系统示意图；

图2为交互输入模块的示意图；

图3为交互输入的界面图；

图4(a)为矩形框输入；

图4(b)为涂鸦输入；

图5为抠图方法示意图；

图6为抠图效果示意图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种交互式抠图系统，图1为该系统的示意图，该系统包括交互输入模块、抠图模块和修正模块；

交互输入模块如图2所示，其中具有图片选择单元和标记单元；图片选择单元用于接收外部读取指令，读取原图像并显示；标记单元用于接收外部标记指令，并进行矩形框标记和/或涂鸦标记。

本实施例中所设计的交互输入界面如图3所示。

其中矩形框标记接收外部输入的矩形框位置，如图4(a)所示，将矩形框外部像素设置成表示背景的像素值(像素值设为0)，称为背景表征值，并将矩形框内的所有像素的像素值设置为可能前景的像素值(像素值设为3)，称为可能前景表征值，背景表征值和可能前景表征值共同构成掩膜图像，将原图和掩膜图像发送至抠图模块；

涂鸦标记为：接收外部输入的背景涂鸦位置、前景涂鸦位置、可能背景涂鸦位置以及可能前景涂鸦位置，如图4(b)所示，在掩膜图像的矩形框内，将背景涂鸦位置和可能背景涂鸦位置对应的像素点设置成背景表征值，将前景涂鸦位置和可能前景涂鸦位置对应的像素点设置成前景表征值(背景涂鸦对应像素值设置为0，可能的背景涂鸦对应像素值为2)，掩膜图像中的剩余部分仍保持原来的表征值，由此更新掩膜图像，将原图和更新后的掩膜图像发送至抠图模块；

抠图模块的算法流程图如图5所示，首先将待处理的图片进行图像分割，然后对分割后的图像里的ROI(regoin of interest)区域进行引导滤波，得出最后的抠图结果。

传统的GrabCut图像分割算法是同时基于纹理信息和边界信息进行分割，分割精度高且用户的交互输入量小。基于改进GrabCut的抠图方法先在RGB颜色空间里使用最小描述长度(MDL)对图像样本点进行高斯混合建模GMM，然后构造整个图像的图模型，接着对Gibbs能量函数进行最大流最小割的迭代最小化，最后分割后的图像进行局部引导滤波，达到细化边缘的目的。

抠图模块里包含抠图方法，下面结合附图3对基于改进GrabCut的抠图方法作进一步介绍：

(1)初始化

输入RGB原始图像和用户标记生成的掩膜图像，其中掩膜图像里标记为0的是背景点，标记为1的是前景点，标记为2的是可能的背景点，标记为3的是可能的前景点。接下来，将前景和可能的前景点作为样本点去构建前景的K个混合高斯模型GMM,将背景和可能的背景点作为样本点去构建背景的K个混合高斯模型GMM，其中K的数值由MDL聚类方法获得。

(2)对样本点颜色建模

对彩色图像，采用RGB颜色空间，且图像颜色数据模型选用GMM模型。前景和背景颜色建模选用含有K个高斯分量(K的数值由MDL聚类方法获得)的全协方差GMM。引入一个向量k＝{k₁,...,k_n,...,k_N}作为每个像素的独立GMM(前景或背景)参数，其中k_n表示第n个像素对应的高斯分量，k_n∈{1,...K}，此像素点对应的不透明度等于0(背景)或1(前景目标)。对于每个像素，其属于前景GMM或背景GMM的某个高斯分量。

分别对前景和背景样本点均建立K个GMM模型。采用最小描述长度(MDL)聚类方法确定样本点集聚类的最佳个数K并确定由每个聚类建立的高斯混合模型(GMM)的参数θ_k＝(π_k,μ_k,Σ_k)，其中，k＝{1,2,3,..,K}，π_k表示每个像素属于第k类的概率，μ_k表示第k类GMM的均值且是3*1的向量，Σ_k表示第k类GMM的协方差且Σ_k是3*3的矩阵。

我们的主要任务是求解出最佳的聚类数K和每类的GMM参数θ＝(π,μ,Σ)。采用MDL方法求解，过程如下：

假定图像的前景(或背景)的被标记了N个样本点。

图像中的像素x_n属于第k个聚类(假定k已知)的高斯概率密度函数是：

$p_{x_n}(x_n/k,\mathrm{\&theta;})={\left(2\mathrm{\&pi;}\right)}^{-3/2}\&CenterDot;{\left|{\mathrm{\&Sigma;}}_k\right|}^{-1/2}\&CenterDot;\exp \{-\frac{1}{2}{(x_n-{\mathrm{\&mu;}}_k)}^T{\mathrm{\&Sigma;}}^{-1}(x_n-{\mathrm{\&mu;}}_k)\}---\left(1\right)$

因为我们不知道每个像素x_n具体属于第几个聚类(即k未知)，定义如下的条件概率，其中π_k表示每个像素属于第k类的概率，π_k＝第k个聚类的样本数/样本总数：

$p_{x_n}(x_n/K,\mathrm{\&theta;})=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&pi;}}_k\&CenterDot;p_{x_n}(x_n/k,\mathrm{\&theta;})---\left(2\right)$

对等式(2)取log对数并基于求和得：

$\log p_x\left(x\right|K,\mathrm{\&theta;})=\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}\log p_{x_n}\left(x_n\right|K,\mathrm{\&theta;}))---\left(3\right)$

对下式使用MDL准则即可估算出最佳的聚类数K和每类的GMM参数θ＝(π,μ,Σ)：

MDL(K,θ)＝-logp_x(x|K,θ)+0.5Llog(NM)   (4)

$L=K(1+M+\frac{M(M+1)}{2})-1---\left(5\right)$

其中，N是采样点的个数，M＝3表示RGB图像的3个颜色通道，(4)中的第二项用来防止过度拟合，取L<0.5MN。

MDL聚类方法如下：

1、设定一个比较大的初始值K₀,表示将样本聚为K₀类。

2、初始化其中k＝{1,2,3...K₀}

${\mathrm{\&pi;}}_k^{\left(1\right)}=\frac{1}{K_0}$

${\mathrm{\&mu;}}_k^{\left(1\right)}=y_n,$ 这里其中表示向下取整函数。

${\mathrm{\&Sigma;}}_k^{\left(1\right)}=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{y}_n{y}_n^T$

3、对于所有的K>1，用EM迭代法优化MDL(K,θ),直到MDL(K,θ)的变化小于阈值。记录下K和θ,以及此时MDL的值。这里，取阈值

$\mathrm{\&epsiv;}=\frac{1}{100}(1+M+\frac{M(M+1)}{2})\log \left(\mathrm{NM}\right)$

4、取K＝K-1,执行步骤3。

5、当MDL(K,θ)最小时，记录下此时的K^*和θ^*。

(3)为每个像素分配所属的GMM模型，并从每个高斯模型的样本集中学习每个高斯模型的参数θ_k＝(π_k,μ_k,Σ_k)。

对于图像中的每个像素，先根据掩膜图像里的标记，来判断其属于前景或者背景GMM。规则如下：当掩膜像素标记为0(背景像素)和2(可能的背景像素)时，其对应于RGB图像的像素应该使用背景GMM模型，否则，当掩膜像素标记为1(前景像素)和3(可能的前景像素)时，其对应于RGB图像的像素应该使用前景GMM模型。使用(1)式计算每个像素分别对应于每个前景(或背景)GMM模型的概率，所得概率最大的GMM模型被视为此像素应属模型。

为所有像素分配完GMM模型后，从每个高斯模型的像素样本集中学习每个高斯模型的参数θ_k＝(π_k,μ_k,Σ_k)。

(4)定义能量函数，构建整幅图像的图模型。

Gibbs能量函数：E(α,K,θ,x)＝U(α,K,θ,x)+V(α,x)   (6)

其中，U为数据项，V为平滑项，θ表示图像高斯混合模型GMM的参数，θ＝(π,μ,Σ)；α是指不透明度，0为背景，1为前景目标；x_n表示图像的像素；K是指高斯混合模型的个数；式(6)主要受GMM的变量k影响,式中的数据项U定义如下：

$U=\mathrm{\&Sigma;}-\log \left(p_{x_n}(x_n/k,\mathrm{\&theta;})\right)---\left(7\right)$

平滑项V用RGB空间的欧几里得距离求：

$V(\mathrm{\&alpha;},x)=\mathrm{\&gamma;}\underset{(m,n)\&Element;C}{\mathrm{\&Sigma;}}\mathrm{dis}{(m,n)}^{-1}[{\mathrm{\&alpha;}}_n\&NotEqual;{\mathrm{\&alpha;}}_m]\exp (-\mathrm{\&beta;}{\left|\right|z_m-z_n\left|\right|}^2)---\left(8\right)$

其中，γ是一常量，通常取γ＝50。参数β用来平衡平滑项(8)，β的定义如下：

$\mathrm{\&beta;}=\frac{1}{2E\left[{(z_m-z_n)}^2\right]}---\left(9\right)$

对于α_n≠α_m的两点，点m和点n处于水平或竖直关系时，dis(m,n)＝1，否则当点n和点m处于对角线关系时，

接着，通过计算得到的能量项构建图模型，图的顶点为像素点，图的边由两部分构成：一类边是每个顶点与Sink汇点(代表背景)和源点Source(代表前景)连接的边，这类边的权值通过Gibbs能量项的第一项数据项U项来表示。另一类边是每个顶点与其邻域顶点连接的边，这类边的权值通过Gibbs能量项的第二项平滑项V来表示。

(5)使用max flow/min cut算法来实现图的最小能量分割

对构造出的图模型，运用max flow/min cut算法，得到能量最小化的分割，将和源点Source(代表前景)有连接边的点划分为可能的前景点，在掩膜图像的对应位置标注3(可能的前景像素)。将和汇点Sink(代表背景)有连接边的点划分为可能的背景点，在掩膜图像的对应位置标注2(可能的背景像素)，接着进行下一次迭代分割，即执行步骤(2)(3)和(4)，当迭代次数达到用户指定次数后，停止迭代，将最终产生的掩膜图mask保存。创建一个和掩膜图像mask同样大小的空图像seg，复制掩膜图像mask里的内容，对seg图里所有像素值进行对2取余的操作，也就是将背景点(标记0)和可能的背景点(标记2)全部标记为0(视作背景)，将前景点(标记1)和可能的前景点(标记3)全部标记为1(视作前景)，产生一个仅含0和1的二值图像seg。

(6)区域选择性引导滤波

引导滤波是一种通用的线性变换滤波过程，其中涉及到引导性图像I、输入图像P和输出图像q。将I设定为彩色的待抠图的图像，P是图像分割后产生的二值图像seg。

假设是引导滤波图像I和滤波输出q之间是线性模型。我们假设q是窗体W_k的一个线性变换，其中W_k以像素k为中心：

$q_i=a_k{I}_i+b_k,{\&ForAll;}_i\&Element;w_k---\left(10\right)$

其中(a_k,b_k)是线性系数且假设在W_k中是常数。使用半径是r的平方窗。此线性模型保证当且仅当I有边缘时q才有边缘，因为▽q＝a▽I。

为了确定线性系数，最小化窗体中的下列代价函数：

$E(a_k,b_k)=\underset{i\&Element;W_k}{\mathrm{\&Sigma;}}({(a_k{I}_i+b_k-p_i)}^2+\mathrm{\&epsiv;}{a}_k^2)---\left(11\right)$

这里ε是为了防止过大的正则化参数。

对于RGB彩色引导图像I，线性模型(10)被改写为：

$q_i=a_k^T{I}_i+b_k,{\&ForAll;}_i\&Element;w_k---\left(12\right)$

这里I_i是3*1的颜色矩阵，a_k是3*1的系数矩阵，q_i和b_k是标量。

此时，最小化代价函数(11)可得：

$a_k={({\mathrm{\&Sigma;}}_k+\mathrm{\&epsiv;U})}^{-1}(\frac{1}{\left|w\right|}\underset{i\&Element;w_k}{\mathrm{\&Sigma;}}{I}_i{p}_i-{\mathrm{\&mu;}}_k{\stackrel{\&OverBar;}{p}}_k)---\left(13\right)$

$b_k={\stackrel{\&OverBar;}{p}}_k-a_k^T{\mathrm{\&mu;}}_k---\left(14\right)$

$q_i={\stackrel{\&OverBar;}{a}}_i^T{I}_i+{\stackrel{\&OverBar;}{b}}_i---\left(15\right)$

这里Σ_k是I在窗口w_k中的3*3协方差矩阵，U是3*3的单位矩阵，μ_k为窗口W_k中的像素均值，为p在窗口W_k中的像素均值，为所有包含像素i的窗口里线型系数a_i的均值，为所有包含像素i的窗口线型系数b_i的均值。

运用区域性引导滤波细化图像分割边缘。在抠图前的用户矩形交互输入时，会用矩阵框住目标前景，当时的矩形框坐标已被记下，将输入的二值mask图像对应于矩形框内的区域进行引导滤波，矩形框外的不用处理(属于背景，一直是0)。,取出彩色引导图片I的对应矩形框内区域的图像，记作I¹，取出二值seg图像对应矩形框内区域的图像，记作P¹，对I¹和P¹进行引导滤波，得到滤波输出图像q¹。将q¹与原RGB图像I进行合成，即可得到最后的抠图结果。

用户指定是否对抠图结果进行进一步修正，若需要进一步修正，则将抠图结果输入至修正模块，若不需要，则抠图完成。

修正模块：若用户对抠图效果不满意，可增加额外的用户交互(由用户涂鸦输入，指定一些像素属于目标前景或背景)，块调用交互输入模块，并等待用户输入涂鸦标记，依据涂鸦标记更新掩膜图像，将原图和更新后的掩膜图像发送至抠图模块进一步进行抠图，那么便可得到更好的抠图效果。

抠对于边缘比较简单的图像有很好的抠图效果，图像大小为369*229，抠图耗时2s，抠图效果如图6(a)所示，其中包括原图、抠取的二值图以及最终抠图结果；对于毛发较多的娃娃图像，抠图效果较好，且大小为652*459的图像仅耗时9s，抠图效果如图6(b)所示，其中包括原图、抠取的二值图以及最终抠图结果；对于半透明物的前景图像，抠图效果较好，250*374大小的图像仅需2s的处理时间，抠图效果如图6(c)所示，其中包括原图、抠取的二值图以及最终抠图结果；对于前景和背景颜色较相近的复杂图像，抠图效果也不错，且大小为610*459的图像仅耗时9s，抠图效果如图6(d)所示，其中包括原图、抠取的二值图以及最终抠图结果。综上，本发明的抠图系统对大部分复杂图片具有良好的效果和较快地速度。

综上，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种交互式图像抠图系统，其特征在于，该系统包括交互输入模块、抠图模块和修正模块；

交互输入模块中具有图片选择单元和标记单元；所述图片选择单元用于接收外部读取指令，读取原图像并显示；所述标记单元用于接收外部标记指令，并进行矩形框标记和/或涂鸦标记；

所述矩形框标记接收外部输入的矩形框位置，并将矩形框外部像素设置成表示背景的像素值，称为背景表征值，并将矩形框内的所有像素的像素值设置为可能前景的像素值，称为可能前景表征值，背景表征值和可能前景表征值共同构成掩膜图像，将原图和所述掩膜图像发送至抠图模块；

所述涂鸦标记为：接收外部输入的背景涂鸦位置、前景涂鸦位置、可能背景涂鸦位置以及可能前景涂鸦位置，在掩膜图像的矩形框内，将背景涂鸦位置和可能背景涂鸦位置对应的像素点设置成背景表征值，将前景涂鸦位置和可能前景涂鸦位置对应的像素点设置成前景表征值，掩膜图像中的剩余部分仍保持原来的表征值，由此更新掩膜图像，将原图和更新后的掩膜图像发送至抠图模块；

所述抠图模块接收原图以及掩膜图像，以所述背景表征值对应的原图像素点作为背景样本点，以所述前景表征值和可能前景表征值对应的原图像素点作为前景样本点，然后使用最小描述长度MDL聚类方法在三原色RGB颜色空间里，将前景样本点和背景样本点分别聚类为多个高斯混合模型GMM，并得出每个GMM的高斯参数；

接着重复下述迭代过程：为原图中每一个像素分配其所属的GMM模型，并更新计算每个GMM模型的高斯参数，定义吉布斯Gibbs能量函数，构造整个原图的图模型，并利用最大流/最小割max flow/min cut方法进行能量最小化的图像分割，并对图像分割结果使用区域选择性引导滤波进行边缘细化，获得抠图结果，用户指定是否对抠图结果进行进一步修正，若需要进一步修正，则将抠图结果输入至所述修正模块，若不需要，则抠图完成；

所述修正模块调用所述交互输入模块，并等待用户输入涂鸦标记，依据涂鸦标记更新掩膜图像，将原图和更新后的掩膜图像发送至抠图模块进一步进行抠图。

2.如权利要求1所述的一种交互式图像抠图系统，其特征在于，所述矩形框位置是通过标记单元提供的矩形框控件获取的，涂鸦位置是通过标记单元提供的涂鸦画笔获取的，涂鸦画笔包括背景涂鸦画笔、前景涂鸦画笔、可能背景涂鸦画笔以及可能前景涂鸦画笔，且画笔勾画位置限制在矩形框内。

3.如权利要求1所述的一种交互式图像抠图系统，其特征在于，所述使用最小描述长度MDL聚类方法在三原色RGB颜色空间里，将前景样本点和背景样本点分别聚类为多个高斯混合模型GMM，并得出每个GMM的高斯参数的具体过程为：

采用所述前景样本点构建前景的K个混合高斯模型GMM,采用所述背景样本点构建背景的K个混合高斯模型GMM，其中K的数值由MDL聚类方法获得；

$\mathrm{MDL}(K,\mathrm{\&theta;})=-\log p_{x_n}\left(x_n\right|K,\mathrm{\&theta;})+0.5L\log \left(\mathrm{NM}\right)$

$L=K(1+M+\frac{M(M+1)}{2})-1$

其中为像素x_n属于混合高斯模型聚类的高斯概率密度函数；N是采样点的个数，M＝3表示RGB图像的3个颜色通道，L<0.5MN；

θ＝(π,μ,Σ)为每个聚类的GMM参数；π表示每个像素属于当前聚类的概率，μ表示当前聚类GMM的均值、且是3*1的向量，Σ表示当前聚类GMM的协方差、且Σ是3*3的矩阵；

采用如下过程估算出最佳的聚类数K：

S1、设定K的初始值为K₀，其中5＜K₀＜10；

S2、初始化其中k＝{1,2,3...K₀}

${\mathrm{\&pi;}}_0^k=\frac{1}{K_0}$

${\mathrm{\&Sigma;}}_0^k=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{x}_n{x}_n^T$

x_n为第n个样本像素的像素值，1≤n≤N，表示向下取整；

S3、对于所有的K>1，用最大似然EM迭代法优化MDL(K,θ)，并判断MDL(K,θ)的变化是否小于或者等于阈值ε，若是，则此时MDL(K,θ)值最小，对应的K值即为最终的K值，θ值即为GMM的高斯参数；

其中阈值 $\mathrm{\&epsiv;}=\frac{1}{100}(1+M+\frac{M(M+1)}{2})\log \left(\mathrm{NM}\right)$

若MDL(K,θ)的变化大于阈值ε，则K自减1，执行S3。

4.如权利要求1或3所述的一种交互式图像抠图系统，其特征在于，所述为原图中每个像素分配其所属的GMM模型的方法为：计算该像素属于每个GMM模型的概率，所得概率最大的GMM模型即为该像素所属的GMM模型。

5.如权利要求2所述的一种交互式图像抠图系统，其特征在于，所述Gibbs能量函数为E(α,K,θ,x_n)＝U(α,K,θ,x_n)+V(α,x_n)；

其中，U(α,K,θ,x)为数据项，V(α,x)为平滑项，θ表示原图的高斯混合模型GMM的参数，α是指不透明度，0为背景，1为前景；x_n表示原图的像素，1≤n≤N；K为高斯混合模型的个数。

数据项为 $U(\mathrm{\&alpha;},K,\mathrm{\&theta;},x_n)=\mathrm{\&Sigma;}-\log \left(p_{x_n}\left(x_n\right|K,\mathrm{\&theta;})\right);$

平滑项为 $V(\mathrm{\&alpha;},x_n)=\mathrm{\&gamma;}\underset{(m,n)\&Element;C}{\mathrm{\&Sigma;}}\mathrm{dis}{(m,n)}^{-1}[{\mathrm{\&alpha;}}_n\&NotEqual;{\mathrm{\&alpha;}}_m]\exp (-\mathrm{\&beta;}{\left|\right|x_m-x_n\left|\right|}^2);$

其中，γ为常量；参数C为原图中像素集；α_m为像素点m的不透明度，α_n为像素点n的不透明度，对于α_n≠α_m的两点，若点m和点n处于水平或竖直关系时，两点间距离dis(m,n)＝1，否则当点n和点m处于对角线关系时，，两点间距离

采用所述Gibbs能量函数的能量项构建原图的图模型，其中图的顶点为像素点，图的边由两部分构成：一类边是每个顶点与Sink汇点和源点Source连接的边，该类边的权值通过Gibbs能量函数的第一项数据项U项来表示；另一类边是每个顶点与其邻域顶点连接的边，该类边的权值通过Gibbs能量项的第二项平滑项V来表示，由此构造原图的图模型。

6.如权利要求5所述的一种交互式图像抠图系统，其特征在于，所述利用最大流/最小割max flow/min cut方法进行能量最小化的图像分割：即将掩膜图像中的和源点Source有连接边的点设置为可能前景表征值，将和汇点Sink有连接边的点设置为可能背景表征值，其中将背景表征值设置为0，可能的背景表征值设置为2，前景表征值设置为1，可能的前景表征值设置为3，则在掩膜图像中，对其中每一个点均进行对2取余的操作，获得一个仅含背景表征值0和前景表征值1的掩膜图像，则在原图中，将前景表征值1位置处对应的像素点均作为前景，将背景表征值0位置处对应的像素点均作为背景，实现对原图的分割。

7.如权利要求2、5或者6所述的一种交互式图像抠图系统，其特征在于，所述对图像分割结果使用区域选择性引导滤波进行边缘细化的具体过程为：

以所述原图作为引导性图像I，以所述图像分割结果作为输入图像P，则滤波输出图像q即为进行引导滤波后的结果，则q为本次引导滤波所采用的窗体W_j的一个线性变换，其中W_j以像素j为中心，则引导滤波的线型模型为：

$q_i=a_j^T{I}_i+b_j,{\&ForAll;}_i\&Element;w_j$

其中(a_j,b_j)是线性系数且在W_j中是常数；I_i是3*1的颜色矩阵，a_j是3*1的系数矩阵，q_i和b_j是标量；

将所述线型模型的代价函数为：

$E(a_j,b_j)=\underset{i\&Element;\mathrm{Wj}}{\mathrm{\&Sigma;}}({(a_j{I}_i+b_j-p_i)}^2+\mathrm{\&epsiv;}{a}_j^2)$

这里ε是正则化参数；

最小化所述代价函数可得：

$a_j={({\mathrm{\&Sigma;}}_j+\mathrm{\&epsiv;U})}^{-1}(\frac{1}{\left|w\right|}\underset{i\&Element;w_j}{\mathrm{\&Sigma;}}{I}_i{p}_i-{\mathrm{\&mu;}}_j{\stackrel{\&OverBar;}{p}}_j)$

$b_j={\stackrel{\&OverBar;}{p}}_j-a_j^T{\mathrm{\&mu;}}_j$

$q_i={\stackrel{\&OverBar;}{a}}_i^T{I}_i+{\stackrel{\&OverBar;}{b}}_i;$

这里Σ_j是I在窗口W_j中的3*3协方差矩阵，U是3*3的单位矩阵，μ_j为窗口W_j中的像素均值，为p在窗口W_j中的像素均值，为所有包含像素i的窗口里线型系数a_i的均值，为所有包含像素i的窗口线型系数b_i的均值，最终获得滤波输出图像q，将q与I进行合成，获得滤波后的抠图结果。