CN103578107B - 一种交互式图像分割方法 - Google Patents

Abstract

本发明提供了一种交互式图像分割方法，包括步骤：A、由用户使用前景笔或背景笔在图像待分割的目标区域上勾画出前景或背景；B、根据用户的勾画分割出前景区域或背景区域，并将由此获得的分割结果作为临时分割结果输出给用户选择确认：如果用户选择重新勾画，则返回步骤A；否则，进入下一步；C、输出由用户确认的最终图像分割结果。以实现适用于移动设备的具有较小计算量的图像分割。

Description

一种交互式图像分割方法

技术领域

本发明涉及一种交互式图像分割方法。

背景技术

随着触摸屏技术和智能手机的发展，用户在智能手机上使用通过触摸方式来处理图片的需求越来越大。图像分割是图像处理的一个基本步骤，也是很对图像后处理或计算机视觉的前提。同时，图像分割是图像处理技术中困难极大的课题，其计算量偏大且很难应用到移动设备上。目前虽然有多种图像分割方案，例如Mean Shift,Grabcut等，但均未解决这一问题。

发明内容

有鉴于此，本发明的主要目的在于提供一种交互式图像分割方法，以实现适用于移动设备的具有较小计算量的图像分割。

本发明提供的一种交互式图像分割方法，包括以下步骤：

A、由用户使用前景笔或背景笔在图像待分割的目标区域上勾画出前景或背景；

B、根据用户的勾画分割出前景区域或背景区域，并将由此获得的分割结果作为临时分割结果输出给用户选择确认：如果用户选择重新勾画，则返回步骤A；否则，进入下一步；

C、输出由用户确认的最终图像分割结果。

由上可以看出，通过与用户的不断交互，可最大程度地根据用户的图像分割要求分割图像，进而提高了图像分割的准确性。

在上述方法中，所述步骤B包括以下子步骤：

B1、根据用户勾画的前景或背景估计出前景或背景模型参数，具体包括：

首先，使用高斯混合模型构造出如下前景或背景模型，

$P\left(x\right)=\underset{k=1}{\overset{M}{\Σ}}w\left(k\right)*N(x,{\mathrm{\μ}}_k,S_k)$

其中，M为前景或背景的颜色类数量，w为第k类在整个模型中的权重系数，取第k类像素数量占总像素数量的比例，即N(x,μ_k,S_k)为高斯概率密度函数，

$N(x,{\mathrm{\μ}}_k,S_k)=\frac{1}{\sqrt{2\mathrm{\π}\left|S_k\right|}}\exp (-\frac{1}{2}{\left(x-{\mathrm{\μ}}_k\right)}^T{S_k}^{-1}(x-{\mathrm{\μ}}_k\left)\right)$

其中，μ_k,S_k分别为第k类像素的类均值和类方差；

其次，利用构造出的前景或背景模型估计前景或背景模型的参数，具体如下：

根据用户勾画出的前景或背景内的像素，使用K-means分类方法将样本分为M’类，并使用每一类的样本均值和样本方差分别作为类均值μ_k和类方差S_k的估计，样本的像素值为x，该类样本的总数为N，则：

B2、利用上述前景或背景模型对用户勾画的前景或背景像素分类，并依所述前景或背景像素分类分割图像，之后输出临时分割结果：如果用户满意这一分割结果，则进入步骤C；否则，返回步骤A重新进行勾画。

在上述的方法，所述子步骤B2包括：

首先，根据构造出的所述前景/背景模型对图像像素进行分类，并将分类后的图像像素标记为l_i，即：前景像素标记为1，背景像素标记为0，除此之外为未标记的像素，L为图像的分割标号，L＝{l_i}；

之后，根据如下能量最小化函数求出图像的最优分割结果；

(i，j)∈ε表示j是像素i的邻域像素；

其中，E₁是能量项，定义为：

$E_1\left(l_i\right)\{\begin{array}{c}{E}_1(l_i==1)=0,E_1(l_i==0)=\mathrm{\∞},if,i\∈foregorund\\ E_1(l_i==1)=\mathrm{\∞},E_1(l_i==0)=0,if,i\∈background\\ E_1(l_i==1)=d_f\left(x_i\right)/\left(d_b\right(x_i\left)d_f\right(x_i\left)\right),E_1(l_i==0)=d_b\left(x_i\right)/\left(d_b\right(x_i)+d_f(x_i\left)\right),if,i\∈undefined\end{array},$

其中，x_i为第i点的像素值，d_f(x_i)＝-ln(P_f(x)),d_b(x)＝-ln(P_b(x))，E₂为光滑项，定义如下：

E₂(l_i,l_j)＝|l_i-l_j|*(||x_i-x_j||²+ε)^-1；

在此之后，使用Graphcut方法根据能量函数E₂(l_i,l_j)的定义公式建立图像graph数据结构，并进行求解，求解后输出标号结果L。

在上述方法中，所述子步骤B2包括：

首先，建立T级图像高斯金字塔G＝{g₀...g_T}，g₀为原图，g_t为g_t-1平滑并下采样图像，g_t＝D(S(g_t-1))，D(·)为图像进行长和宽各1/2的下采样，S(·)为对图像进行高斯平滑；

对高斯金字塔的最底层即图像分辨率最低的g_T进行分割，得到分割结果L_T，用双线性插值法对L_T进行上采样，放大到与g_T-1一样尺寸；

对插值放大后前景与背景之间的交界处内的所有像素重新建立graph数据结构，并利用Graphcut方法求解得到L_T-1，重复以上步骤，直到得到初级分割结果L₀。

由上可以看出，本发明在分割图像时从像素最少、分辨率最低的最底层开始逐层分割，由此可降低因同时对图像所有像素而产生的巨大计算量，进而可提高图像分割速度。

在上述方法中，所述步骤B2还包括：

由用户在已勾画的区域范围内对不满意的部分重新进行勾画；

对前景或背景模型进行更新，具体如下：

对于由用户重新勾画而新增加的像素，将其与类均值比较；之后根据比较结果，将其加入最接近某一类均值的第k类，k的具体表示如下：在完成对新像素的分配后，对元素有变化的类重新计算其样本均值和方差。

在上述方法中，所述子步骤B1还包括：在用户没有勾画背景的情况下，在用户未勾画背景的部分进行均匀采样作为背景样本。

由上可以看出，在用户不满意当前分割结果时，其可在原勾画区域内进行修改，而无需重新勾画，节省了用户的时间和精力，提高了用户体验。

附图说明

图1为本发明交互式图像分割方法的流程图。

具体实施方式

下面结合附图，详细介绍本发明提供的一种交互式图像分割方法。

如图1所示，本发明方法包括以下步骤：

步骤100：由用户在图像待分割的目标区域上勾画出前景或背景。在这一过程中，用户可使用前景笔或背景笔实现上述勾画。

步骤200：根据用户的勾画分割出前景区域或背景区域，并将由此获得的分割结果作为临时分割结果输出给用户选择确认：如果用户选择重新勾画，则返回步骤100；否则，进入下一步。

本步骤包括以下子步骤：

步骤201：首先根据用户勾画的前景或背景估计出前景或背景模型参数。

在本步骤中，首先使用GMM(高斯混合模型)构造出前景/背景模型，具体可参见文献-BLAKE,A.,ROTHER,C.,BROWN,M.,PEREZ,P.,ANDTORR,P.2004.Interactive image segmentation using an adaptive gmmrf model.InProceedings of ECCV。

高斯模型就是用高斯概率密度函数(正态分布曲线)精确地量化事物，将一个事物分解为若干的基于高斯概率密度函数(正态分布曲线)形成的模型。高斯混合模型使用K个高斯模型来表征图像中各个像素点的特征，在新一帧图像获得后更新混合高斯模型,用当前图像中的每个像素点与高斯混合模型匹配,如果成功则判定该点为前景点,否则为背景点。因为GMM为公知技术，在此不再赘述。

以前景为例，假设前景可以分为M个颜色类，对于某一个颜色，可以定义其属于前景的概率为：

其中，w为第k类在整个模型中的权重系数，实际计算中取第k类像素数量占总像素数量的比例，因此N(x,μ_k,S_k)为高斯概率密度函数，

其中，μ_k,S_k分别为第k类像素的类均值和类方差。

之后，利用构造出的前景模型估计前景模型的参数。具体如下：

根据用户勾画出的前景的像素，使用K-means分类方法(可参考DUDA,R.O.,HART,P.E.,ANDSTORK,D.G.2000.Pattern Classification(2nd Edition).Wiley Press)将样本分为M类，并使用每一类的样本均值和样本方差分别作为类均值μ_k和类方差S_k的估计。样本的像素值为x，该类样本的总数为N，则：

对于背景模型的构建以及背景模型参数的估计可参照前景模型的构建和前景模型参数的估计，在此不再赘述。此外，在首次分割时如果用户没有勾画背景，则可以在用户未勾画背景的部分进行均匀采样作为背景样本，并根据该背景样本估计背景模型参数。

步骤202：利用上述前景、背景模型对用户勾画的前景、背景像素分类，并依此(前景、背景像素分类)分割图像，输出临时分割结果。如果用户满意这一分割结果，则进入步骤300；否则，返回步骤100重新进行勾画，或在已勾画的区域范围内对不满意的部分重新进行勾画，之后对前景/背景模型进行更新(将在下文中介绍)。

在本步骤中，根据构造出的前景/背景模型对图像像素进行分类，并将分类后的图像像素标记为li，即：前景像素标记为1，背景像素标记为0，除此之外为未标记(undefined)的像素。L＝{l_i}。为图像的分割标号。之后，根据能量最小化函数(公式4)求出图像的最优分割结果。

(i,j)∈ε表示j是像素i的邻域像素公式(4)

其中，E₁是能量项，定义为：

其中，x_i为第i点的像素值，d_f(x_i)＝-ln(P_f(x)),d_b(x)＝-ln(P_b(x))，E₂为光滑项，定义如下：

E₂(l_i,l_j)＝|l_i-l_j|*(｜｜x_i-x_j||²+ε)^-1 (公式6)

该光滑项表示相邻像素值差别较大时尽量采取不同标号，相邻像素值相近时尽量取相同标号。

在此之后，使用Graphcut方法(能量最小化方法，BOYKOV,Y.,ANDKOLMOGOROV,V.2001.An experimentalcomparison of min-cut/max-flow algorithms for energy minimization invision.In Energy Minimization Methods in CVPR)根据公式(6)建立图像graph数据结构，并进行求解，求解后输出标号结果L，由此完成图像分割。

此外，因为Graphcut方法基于图像的所有像素进行求解，因此需要消耗大量的时间。考虑到这个问题，本发明采用图像金字塔加速Graphcut方法的求解过程，以作为图像分割的优选方案(从像素最少、分辨率最低的最底层开始逐层分割)。该方案具体如下：

首先，建立T级图像高斯金字塔G＝{g₀...g_T}，g₀为原图，g_t为g_t-1平滑并下采样图像，g_t＝D(S(g_t-1))，D(·)为图像进行长和宽各1/2(其他比例亦可)的下采样，S(·)为对图像进行高斯平滑。

对高斯金字塔的最底层也就是图像分辨率最低的g_T进行分割，得到分割结果L_T，用双线性插值法对L_T进行上采样，放大到与g_T-1一样尺寸，插值放大后前景与背景交界地方，将会形成标记值介于0与1之间(即介于前景和背景之间)的窄带，将这个窄带中的像素设为undefined，将窄带边界的背景像素设为background，将窄带边界的前景像素置为foreground。然后对窄带中的这些像素重新建立graph数据结构，并利用Graphcut方法求解得到L_T-1。重复以上步骤，直到得到初级分割结果L₀，完成分割。

步骤300：输出由用户确认的最终图像分割结果。

图像分割结果的输出采用本领域公知技术，在此不再赘述。

此外，对于子步骤201中还包括对于前景/背景模型参数的更新。具体为：在用户对分割结果不满意时，会在图像中增加新标记的像素(前景或背景像素)。对于新增加的像素，将其与类均值比较。之后根据比较结果，将其加入最接近某一类均值的第k类，具体表示如下：在完成新像素的分配后，对元素有变化的类重新计算其样本均值和方差。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种交互式图像分割方法，其特征在于，包括以下步骤：

A、由用户使用前景笔或背景笔在图像待分割的目标区域上勾画出前景或背景；

B、根据用户的勾画分割出前景区域或背景区域，并将由此获得的分割结果作为临时分割结果输出给用户选择确认：如果用户选择重新勾画，则返回步骤A；否则，进入下一步；

C、输出由用户确认的最终图像分割结果；

其中，所述步骤B包括以下子步骤：

B1、根据用户勾画的前景或背景估计出前景或背景模型参数，具体包括：

首先，使用高斯混合模型构造出如下前景或背景模型，

$P\left(x\right)=\underset{k=1}{\overset{M}{\Σ}}w\left(k\right)*N(x,{\mathrm{\μ}}_k,S_k)$

其中，M为前景或背景的颜色类数量，w为第k类在整个模型中的权重系数，取第k类像素数量占总像素数量的比例，即N(x,μ_k,S_k)为高斯概率密度函数，

$N(x,{\mathrm{\μ}}_k,S_k)=\frac{1}{\sqrt{2\mathrm{\π}\left|S_k\right|}}\exp (-\frac{1}{2}{\left(x-{\mathrm{\μ}}_k\right)}^T{S_k}^{-1}(x-{\mathrm{\μ}}_k\left)\right)$

其中，μ_k,S_k分别为第k类像素的类均值和类方差；

其次，利用构造出的前景或背景模型估计前景或背景模型的参数，具体如下：

根据用户勾画出的前景或背景内的像素，使用K-means分类方法将样本分为M’类，并使用每一类的样本均值和样本方差分别作为类均值μ_k和类方差S_k的估计，样本的像素值为x，该类样本的总数为N，则：

${\mathrm{\μ}}_k=\underset{i}{\Σ}{x}_i/N,S_k=\underset{i}{\Σ}{(x_i-{\mathrm{\μ}}_k)}^2/(N-1);$

B2、利用上述前景或背景模型对用户勾画的前景或背景像素分类，并依所述前景或背景像素分类分割图像，之后输出临时分割结果：如果用户满意这一分割结果，则进入步骤C；否则，返回步骤A重新进行勾画；

所述步骤B2还包括：

由用户在已勾画的区域范围内对不满意的部分重新进行勾画；

对前景或背景模型进行更新，具体如下：

对于由用户重新勾画而新增加的像素，将其与类均值比较；之后根据比较结果，将其加入最接近某一类均值的第k类，k的具体表示如下：其中，l的取值范围为[1,M’]，在完成对新像素的分配后，对元素有变化的类重新计算其样本均值和方差。

2.根据权利要求1所述的方法，其特征在于，所述子步骤B2包括：

首先，根据构造出的所述前景或背景模型对图像像素进行分类，并将分类后的像素i的图像像素标记为li，即：前景像素标记为1，背景像素标记为0，除此之外为未标记的像素，L为图像的分割标号，L＝{l_i}；

之后，根据如下能量最小化函数求出图像的最优分割结果；

(i,j)∈ε表示j是像素i的邻域像素；

其中，E₁是能量项，定义为：

$E_1\left(l_i\right)\left\{\begin{array}{c}{E}_1(l_i==1)=0,E_1(l_i==0)=\mathrm{\∞},if,i\∈foregorund\\ E_1(l_i==1)=\mathrm{\∞},E_1(l_i==0)=0,if,i\∈background\\ E_1(l_i==1)=d_f\left(x_i\right)/\left(d_b\right(x_i)+d_f\left(x_i\right)),E_1(l_i==0)=d_b\left(x_i\right)/\left(d_b\right(x_i)+d_f\left(x_i\right)),if,i\∈undefined\end{array}\right.,$

其中，x_i为第i点的像素值，d_f(x_i)＝-ln(P_f(x)),d_b(x)＝-ln(P_b(x))，E2为光滑项，P_f(x)为前景的高斯混合模型，P_b(x)为背景的高斯混合模型，定义如下：

E₂(l_i,l_j)＝|l_i-l_j|*(||x_i-x_j||²+δ)-¹；其中，δ为不等于零的常量；

在此之后，使用Graphcut方法根据能量函数E₂(l_i,l_j)的定义公式建立图像graph数据结构，并进行求解，求解后输出标号结果L；其中，graph数据结构为Graphcut方法中的一种经过改造的图数据结构。

3.根据权利要求2所述的方法，其特征在于，所述子步骤B2包括：

首先，建立T级图像高斯金字塔G＝{g₀...g_T}，g₀为原图，g_t为g_t-1平滑并下采样图像，g_t＝D(S(g_t-1))，D(·)为图像进行长和宽各1/2的下采样，S(·)为对图像进行高斯平滑；

对高斯金字塔的最底层即图像分辨率最低的g_T进行分割，得到分割结果L_T，用双线性插值法对L_T进行上采样，放大到与g_T-1一样尺寸；

对插值放大后前景与背景之间的交界处内的所有像素重新建立graph数据结构，并利用Graphcut方法求解得到L_T-1，重复以上步骤，直到得到初级分割结果L₀。

4.根据权利要求1所述的方法，其特征在于，所述子步骤B1还包括：在用户没有勾画背景的情况下，在用户未勾画背景的部分进行均匀采样作为背景样本。