CN104036517B - 一种基于梯度采样的图像抠图方法 - Google Patents

Abstract

本发明公开了一种基于梯度采样的图像抠图方法，包括如下步骤：步骤一、获取图像和对应的三元图；步骤二、根据图像的颜色分布对三元图进行扩展，进一步缩小未知区域；步骤三、计算图像梯度，根据图像梯度对图像进行采样，对未知区域每一个点得到一组前景、背景候选点集合；步骤四、从候选点集合中选择出一对前景、背景点，计算出一个四元组；步骤五、进一步优化采样得到的前景、背景点，计算出一个新的四元组；步骤六、对步骤五计算出的新的四元组进行平滑，从而最终得到图。与现有技术相比，本发明的积极效果是：可以快速高质量的抠取指定区域整个目标，可以用于任何图像采集设备，尤其适合手机拍照应用。

Description

一种基于梯度采样的图像抠图方法

技术领域

本发明涉及一种基于梯度采样的图像抠图方法。

背景技术

在计算机视觉领域中，图像抠图被广泛应用在图像编辑和视频编辑领域，包括背景替换，目标抽取等。随着手机等智能设备的普及，获取高质量图像变得越来越容易，很多照片处理软件都提供了图像编辑功能，图像抠图技术在智能设备上的应用也越来越迫切。抠图基于这样一个假设：图像当前像素点I与对应的前景f和背景b呈线性关系：I＝α·f+(1-α)·b，I为图像像素点，f,b,α均未知。通过一系列技术可以求取这三个未知量，其中得到的每个像素对应的α值构成一幅alpha图，它直接反映出抠图结果。

发明内容

为了克服现有技术的上述缺点，本发明提供了一种基于梯度采样的图像抠图方法。

本发明解决其技术问题所采用的技术方案是：一种基于梯度采样的图像抠图方法，包括如下步骤：

步骤一、获取图像和对应的三元图；

步骤二、根据图像的颜色分布对三元图进行扩展，进一步缩小未知区域；

步骤三、计算图像梯度，根据图像梯度对图像进行采样，对未知区域每一个点得到一组前景、背景候选点集合；

步骤四、从候选点集合中选择出一对前景、背景点，计算出一个四元组；

步骤五、进一步优化采样得到的前景、背景点，计算出一个新的四元组；

步骤六、对步骤五计算出的新的四元组进行平滑，从而最终得到α图。

与现有技术相比，本发明的积极效果是：可以快速高质量地抠取指定区域整个目标，可以用于任何图像采集设备，尤其适合手机拍照应用。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本发明方法的流程图。

具体实施方式

一种基于梯度采样的图像抠图方法，包括如下步骤：

步骤一、获取图像和对应的三元图(Trimap)：

三元图包含前景、背景、未知区域点的集合，未知区域即为待抠区域，它可以根据相应的前景、背景计算得出。

读取图像I，I为R,G,B三通道彩色图像及对应的三元图，其中三元图被标记为前景f_i＝0...F、背景b_i＝0...B、未知区域(即待抠区域)u_i＝0...U，其中F+B+U＝H*W，H为图像高度，W为图像宽度。

步骤二、根据图像的颜色分布对三元图进行扩展，进一步缩小待抠区域：

依据一定规则扩展图像未知区域u_i＝0...U，具体方法为：

对三元图中未知区域每一个点u_i，计算以其所在位置(x,y)为中心，半径为r(5<＝r<＝15,本文取10)的邻域Ω_i内像素I(x',y')与点u_i所处位置(x,y)像素I(x,y)颜色之间的距离，如果小于给定阈值(例如取该阈值为2)，并且该像素点属于前景f(或背景b)。则将该像素点u扩展为前景f(或背景b)。经过此扩展操作，三元图进一步变为背景f_i＝0...F'、背景b_i＝0...B'、未知区域u_i＝0...U'。

颜色距离计算公式为:

步骤三、计算图像梯度，根据图像梯度对图像进行采样，对未知区域每一个点得到一组前景、背景候选点集合：

1、对每张图像I_i＝0...H*W(R,G,B)按照下式提取出亮度通道：

L＝0.299*R+0.587*G+0.114*B (2)

2、根据亮度图像计算出图像的梯度：

G_x(x,y)＝L(x+1,y)-L(x,y) (3)

G_y(x,y)＝L(x,y+1)-L(x,y) (4)

3、对未知区域内每一个像素u_i按照其梯度方向和切线方向采样，一共四个方向，每个方向至少各采样一个前景点一个背景点，这样可以采样最多16个点作为前景、背景样本点集

四个采样方向分别为：

θ₁＝a tan 2(G_y(x,y),G_x(x,y)) (5)

θ₂,θ₃,θ₄可以通过θ₁来确定。一旦采样方向确定则可以按照以下规则进行采样，其中采样步长为：

stepSize＝min(1/sin(θ_i),1/cos(θ_i)) (6)

坐标更新方法为：

y'＝y+stepSize*sin(θ_i) (7)

x'＝x+stepSize*cos(θ_i) (8)

步骤四、从候选点集合中选择出一对前景、背景点，计算出一个四元组：

对未知区域每一个点u_i，从上一步中采样的前景、背景样本点集中选择最优的一对前景、背景点f_i、b_i，具体方法如下：

选择使得如下度量关系g_i,j最小的一对

式(9)中各式的计算方法如下：

式中M表示采样的前景、背景点与当前像素的颜色扭曲程度，N则表示在其一定范围邻域内总共的扭曲程度。好的采样点，应该具备最小颜色扭曲。

在前面计算了颜色扭曲对采样点质量的影响，但仅仅考虑颜色信息是不够的，还必须将像素点的空间位置信息结合起来。式中E表示将图像梯度沿着当前点到采样点的线积分，如果积分路径上跨过边缘，则会得到较大的值，否则得到较小的值。通常采样的背景点大于前景点，PF_i用于计算当前像素属于前景点的概率。是通过值校正PF_i过后的度量当前像素点属于前景点的概率。

为未知点与前景点、背景点的颜色距离，可由(1)式计算得出，此二者加入式(9)中是因为好的采样点必须满足与当前点的空间距离应该很小。除了从候选采样点集中选出合适的f_i，b_i，还需要进一步计算未知点的局部方差σ_f ²,σ_b ²:

这样，对每一个未知点，可以得到一个四元组

步骤五、进一步优化采样得到的前景、背景点，计算出一个新的四元组：

从候选采样点中选择出合适的之后，还需要进一步对选出的优化，具体优化过程如下所述：

对每一个未知点，以该点为中心，选出其5×5邻域未知点中k(1<＝k<＝5本文取3)个具有最小M_i(f_j,b_j)值的四元组求出其平均值并且按照以下式子计算出新的四元组：其中置信值表示计算出的属于当前像素的信念。越大，表示计算得越准确，最终抠图效果越好。

步骤六、对步骤五计算出的新的四元组进行平滑：

计算出新的四元组(f_i,b_i,α_i,confidence_i)之后，还需要对四元组进行平滑，平滑的计算过程如下：

式(23)中G为高斯函数，其余计算均为简单的加权平均。

这里对计算出每个像素点的置信值进行光滑滤波。

式中：T_u表示待抠图区域，

从而最终得到alpha图。

通常，在完成本步骤的计算之后，就可以得到很好的抠图效果。但是对于纹理特别复杂的时候，会显得很有毛刺感，针对求得的α图，可以重新将其表达为一个优化问题，但会带来较大的时间开销，故本发明增加一个步骤，使用快速算法近似计算最优α值：

选择使用一种滤波的方式去近似求解该优化问题，使用导向滤波(guide filter)对图像进行滤波，得到最优α图的近似解。

Claims (3)

1.一种基于梯度采样的图像抠图方法，其特征在于：包括如下步骤：

步骤一、获取图像和对应的三元图，所述三元图被标记为前景f_i＝0...F、背景b_i＝0...B、未知区域u_i＝0...U，其中F+B+U＝H*W，H为图像高度，W为图像宽度；

步骤二、根据图像的颜色分布对三元图进行扩展，进一步缩小未知区域；

步骤三、计算图像梯度，根据图像梯度对图像进行采样，对未知区域每一个点得到一组前景、背景候选点集合：

(1)对每张图像I_i＝0...H*W(R,G,B)按照下式提取出亮度通道：

L＝0.299*R+0.587*G+0.114*B

(2)根据亮度图像计算出图像的梯度：

G_x(x,y)＝L(x+1,y)-L(x,y)

G_y(x,y)＝L(x,y+1)-L(x,y)

(3)对未知区域内每一个像素u_i按照其梯度方向和切线方向采样，一共四个方向，每个方向至少各采样一个前景点一个背景点，采样最多16个点作为前景、背景样本点集

步骤四、从候选点集合中选择出一对前景、背景点，计算出一个四元组：

首先，对未知区域每一个点u_i，从上一步中采样的前景、背景样本点集 中选择最优的一对前景、背景点f_i、b_i，满足其中：g_i,j为度量关系：

其中：

(1)

$M_i(f_j,b_j)=\left|\right|I_i-(\stackrel{\&OverBar;}{\mathrm{\&alpha;}}*f_j+(1-\stackrel{\&OverBar;}{\mathrm{\&alpha;}})*b_j)|{|}_2,$

$\mathrm{\&alpha;}=\frac{(I_i-b_j)(f_j-b_j)}{\left|\right|f_j-b_j|{|}_2^2},$

式中M表示采样的前景、背景点与当前像素的颜色扭曲程度，N则表示在其一定范围邻域内总共的扭曲程度；

(2)是通过值校正PF_i过后的度量当前像素点属于前景点的概率：

$A(f_{j\&Element;{\mathrm{\&Omega;}}_{f_i}},b_{j\&Element;{\mathrm{\&Omega;}}_{b_i}})={\mathrm{PF}}_i+(1-2*{\mathrm{PF}}_i)\stackrel{\&OverBar;}{{\mathrm{\&alpha;}}_i},$

${\mathrm{PF}}_i=\frac{min\left(E_i\right(b_j\left)\right)}{min\left(E_i\right(b_j\left)\right)+min\left(E_i\right(f_j\left)\right)},$

E表示将图像梯度沿着当前点到采样点的线积分；

(3)分别表示未知点与前景点、背景点的颜色距离；

从候选采样点集中选出f_i，b_i后，再进一步计算未知点的局部方差σ_f ²,σ_b ²:

${{\mathrm{\&sigma;}}_f}^2=\frac{1}{N}{\mathrm{\&Sigma;}}_{i\&Element;{\mathrm{\&Omega;}}_i}\left|\right|I_i-f_i|{|}^2,{{\mathrm{\&sigma;}}_b}^2=\frac{1}{N}{\mathrm{\&Sigma;}}_{i\&Element;{\mathrm{\&Omega;}}_i}||I_i-b_i|{|}^2$

从而得到一个四元组

步骤五、进一步优化采样得到的前景、背景点，计算出一个新的四元组：

对每一个未知点，以该点为中心，选出其5×5邻域未知点中k个具有最小M_i(f_j,b_j)值的四元组求出其平均值其中：1≤k≤5；并且按照以下式子计算出新的四元组：其中：

置信值表示计算出的属于当前像素的信念；

$f_i^r=\left\{\begin{array}{cc}{I}_i& \left|\right|I_i-\stackrel{\&OverBar;}{f_i}|{|}_2^2\&le;\stackrel{\&OverBar;}{{\mathrm{\&sigma;}}_f^2}\\ \stackrel{\&OverBar;}{f_i}& otherwise\end{array}\right.,$

$b_i^r=\left\{\begin{array}{cc}{I}_i& \left|\right|I_i-\stackrel{\&OverBar;}{b_i}|{|}_2^2\&le;\stackrel{\&OverBar;}{{\mathrm{\&sigma;}}_b^2}\\ \stackrel{\&OverBar;}{b_i}& otherwise\end{array}\right.,$

${\mathrm{\&alpha;}}_i^r=\frac{(I_i-b_i)(f_j-b_i)}{\left|\right|f_j-b_i|{|}_2^2},$

${\mathrm{confidence}}_i^r=\left\{\begin{array}{cc}e\{-\mathrm{\&lambda;}\&CenterDot;M_i(\stackrel{\&OverBar;}{f_i},\stackrel{\&OverBar;}{b_i})\}& f_j\&NotEqual;b_i\\ \mathrm{\&epsiv;}& f_j=b_i\end{array}\right.;$

步骤六、对步骤五计算出的新的四元组进行平滑，从而最终得到alpha图。

2.根据权利要求1所述的一种基于梯度采样的图像抠图方法，其特征在于：在步骤六得到alpha图后，使用导向滤波对图像进行滤波，得到最优alpha图的近似解。

3.根据权利要求1所述的一种基于梯度采样的图像抠图方法，其特征在于：步骤二所述根据图像的颜色分布对三元图进行扩展，进一步缩小未知区域的方法为：对三元图中未知区域每一个点，计算以其所在位置为中心，半径为r的邻域内像素与该点所处位置像素颜色之间的距离，如果距离小于给定阈值，并且该像素点属于前景或背景，则将该像素点扩展为前景或背景。