CN102663757A - 基于核传递的半自动图像分割方法 - Google Patents

Abstract

本发明公开一种基于核传递的半自动图像分割方法，主要解决现有交互式图像分割方法不能保持数据一致性，分割结果不稳定和边缘不清晰的问题。其实现步骤为：输入一幅待分割图像，利用均值漂移方法获得输入图像的超像素集，计算超像素颜色直方图特征集；采用Bhattacharyya系数公式构造相似度矩阵W；用户在预分割之后的图像上交互操作，得到种子超像素集合，构造must-link约束集合M和cannot-link约束集合C；利用核传递方法将约束信息M和C传递到整个核空间，获得核矩阵R；由k均值聚类方法对核矩阵R聚类，获得聚类标记向量，输出显示分割结果。本发明具有数据一致性好，分割结果稳定，操作简单且边缘清晰的优点，可用于图像检索，2D转3D技术，目标检测与跟踪及医学图像分析。

Description

基于核传递的半自动图像分割方法

技术领域

本发明属于图像处理领域，特别是涉及一种基于核传递的半自动图像分割方法，可用于目标提取和目标检测。

背景技术

图像分割是计算机视觉与数字图像处理中最基本的问题之一，它是对图像进一步分析、识别、跟踪和理解的基础。图像分割将图像中的像素按照不同的视觉特征或者语义分割成不同的子集。具体的讲，图像分割是为图像中的每个像素指定一个标号的过程，其目的是使具有相似视觉特征或相同语义的像素具有相同的标号。同时，研究图像分割具有十分重要的意义，它可广泛应用于半自动图像检索，视频会议，2D转3D技术，目标检测与跟踪及医学图像分析等众多领域。

按照分割过程中用户是否参与，可将图像分割分为全自动图像分割、半自动图像分割和人工图像分割三种类型。全自动分割包含一些常见的分割算法，如阈值分割、区域增长分割等。由于图像的多样性以及场景的复杂性，使得这些算法难以得到准确的分割结果，边缘准确性不好。

半自动图像分割需要用户的参与，它是一种操作者和计算机协同完成图像分割过程的方法，充分地利用了计算机的强大运算能力和人提供的先验信息。这种分割方法的优点体现在以下两个方面：第一，精度高，在减少人工干预的情况下，该方法既弥补了自动分割的不足，又比手动分割要精确的多；第二，可重复性，对一幅图像进行分割时，分割的结果不会因为操作者的不同和分割过程的不同而产生差异。

传统的半自动图像分割方法大多是基于Graph Cut的交互式分割方法，该方法可以寻找到全局最优的分割结果，但是对于一些背景和前景目标颜色相似的图像，该方法就失效了。Rother等人于2004年提出了Grab Cut，(Rother，C.，V.Kolmogorov and A.Blake.Grabcut：Interactive foreground extraction usingiterated graph cuts.ACM Transactions on Graphics(TOG)3：309-314.2004)该方法在用户操作方面极大的改进了半自动图切方法，只需要用户标注出包含感兴趣目标的最小矩形框，既可获得分割结果，但是目标边缘保持不好。Y.Li等人为了降低图切方法在半自动图像分割上的复杂度，于2004年提出了用分水岭预分割图像获得超像素，(Li，Y.，et al.Lazy snapping.ACM Transactions on Graphics(ToG)3：303-308.2004  )该方法用分水岭过分割获得的区域，即超像素作为处理单元，再使用图切的方法，获得半自动的分割结果。它在降低复杂度的同时，使得分割结果依赖于分水岭的过分割结果，缺乏区域一致性。Ning等人于2010年提出了基于最大相似度的区域合并的半自动图像分割方法，(Ning，J.，et al.，Interactive image segmentation by maximal similarity based region merging.Pattern Recognition，43(2)：p.445-456.2010.)该方法采用均值漂移预处理图像获得超像素，再采用区域增长合并的方式获得分割结果，迭代的过程增加了算法复杂度。

针对半自动图像分割中的区域分割不够准确，翟书娟等人于2010年公开了基于活动轮廓模型的交互式图像分割修正方法，(西安电子科技大学.基于测地线活动区域模型的交互式图像分割修正方法[P].中国：CN101714253A.2010-05-26.)该方法能一定程度的提高图像中感兴趣区域分割结果的区域一致性和边缘准确性，但其性能与初始曲线的确定有关。

上述这些方法尽管提高了图像分割性能，但仍然存在一些问题：1)不能保持超像素数据点间的一致性；2)感兴趣目标边缘不够清晰；3)没有经过学习图像数据本身的特性，使得这些方法不具有全局特性，分割结果不稳定。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于核传递的半自动图像分割方法，以保持图像数据一致性，获得清晰的目标边缘，提高分割结果的稳定。

实现本发明目的的技术思路是：采用均值漂移方法，将图像预分割成多个超像素，计算每个超像素的颜色直方图，构造图像的相似度矩阵，标记前景和背景超像素，得到成对约束集合和种子核矩阵，按照核传递方法的映射关系将其映射到一个核空间，并获得核矩阵，采用k均值聚类方法对核矩阵按行进行分类标记，输出并显示边缘清晰的前景目标图像。其具体步骤包括如下：

1)输入一幅图像，采用均值漂移方法将该图像预分割为超像素集

i＝1，2，...，n，其中s_i为预分割输入图像所得的第i个超像素，n表示S所含超像素的个数；

2)提取每一个超像素的16级量化的颜色直方图，构成超像素颜色直方图特征集

其中hist_i为第i个超像素的16级量化直方图，16级量化直方图横坐标所包含的颜色种类为4096；

3)依据超像素直方图特征集SF，采用Bhattacharyya系数公式计算任意两个超像素间的相似性系数：

u为颜色特征直方图的第u类，获得大小为n×n的相似度矩阵W＝{W_ij}，i＝1，2，...，n，j＝1，2，...，n；

4)在预分割之后的图像上，通过用户交互操作对超像素进行标记，即将前景目标超像素标记为1，背景超像素标记为0，生成一个大小为num_seed×1的标记向量

ls_i∈{0，1}，其中ls_i表示第i个种子超像素的标记，num_seed为标记的种子超像素的个数，并由num_seed个种子超像素构成种子超像素集合

其中se_i为标记的第i个种子超像素；

5)查看种子超像素集合S_seed中种子超像素se_i和se_i+1的标记ls_i和ls_i+1，如果se_i与se_i+1的标记ls_i和ls_i+1相同，则用se_i与se_i+1在超像素颜色直方图特征集SF中对应的位置构造must-link约束集合M；否则，用se_i与se_i+1在超像素颜色直方图特征集SF中对应的位置构造cannot-link约束集合C；

6)将成对约束信息must-link约束集合M，cannot-link约束集合C，以及相似度矩阵W，按照核传递方法的映射关系映射到一个核空间，得到大小为n×n的核矩阵R；

7)采用k均值聚类方法，把核矩阵R按行聚为两类，得到聚类标记向量

l_i∈{0，1}，  其中，l_i为第i个超像素s_i的标记；

8)将标记向量中标记为0的超像素的颜色设置为白色，作为背景；将标记为1的超像素保持原始图像的颜色，作为分割出来的前景目标，输出并显示结果图像。

本发明与现有技术相比具有以下特点：

1.本发明由于选择均值漂移算法进行图像预分割，获得超像素集合，使每个超像素都具有相同的颜色特征；本发明在超像素的基础上分割图像，不仅能有效保持前景目标的边缘，而且降低了要处理的图像数据，提高了计算效率。

2.本发明由于使用具有统计特性的量化颜色直方图表示超像素，提高了超像素表示的准确性，有效提高了分割精度。

3.本发明由于利用Bhattacharyya系数公式计算任意两个超像素之间的相似性，与其它相似性测度方法相比，它的误匹配率低，能更有效的度量两个超像素的相似性，Bhattacharyya系数越大，则表明两个超像素相似性越高。

4.本发明由于采用核传递方法将成对约束信息传递到整个核空间，有效的保持了数据的一致性，提高了分割精度。

仿真实验结果表明，本发明结合均值漂移算法和核传递方法有效进行图像分割，能获得具有清晰目标边缘的前景图像，是一种鲁棒性良好的半自动图像分割方法。

附图说明

图1是本发明的流程图；

图2是本发明仿真试验中使用的四幅原始测试图像；

图3是用现有方法和本发明在第一幅测试图像上的分割结果；

图4是用现有方法和本发明在第二幅测试图像上的分割结果；

图5是用现有方法和本发明在第三幅测试图像上的分割结果；

图6是用现有方法和本发明在第四幅测试图像上的分割结果。

具体实施方式

以下参照附图对本发明的具体实现及效果作进一步详细表述：

参照图1，本发明的实施步骤如下：

步骤1，输入一幅图像，并将其预分割成超像素集合S。

首先，输入一幅图像，并采用均值漂移算法对其进行图像预分割，得到每一个像素点的标号；

然后，将具有相同标号的像素集合称为一个超像素，得到具有n个超像素的集合，分别标识为s_i，i＝1，2，...，n，获得预分割图像的超像素集

其中s_i为均值漂移方法预分割输入图像所得的第i个区域，n表示S所含超像素的个数。

所述均值漂移方法参见文献：D.Comaniciu，P.Meer，“Mean shift：a robust approachtoward feature space analysis，”IEEE Transactions on Pattern Analysis and MachineIntelligence，vol.24，no.5，pp.603-619，2002。

本步骤对输入图像进行图像预分割不限于均值漂移方法，也可以采用分水岭方法获得输入图像的超像素集。

步骤2，计算每个超像素的颜色直方图，获得颜色直方图特征集。

提取每一个超像素的16级量化颜色直方图，构成超像素颜色直方图特征集其中hist_i为第i个超像素的16级量化直方图，16级量化直方图横坐标所包含的颜色种类为4096个。

步骤3，计算相似度矩阵W。

依据超像素直方图特征集SF，采用Bhattacharyya系数公式计算任意两个超像素间的相似性系数：获得大小为n×n的相似度矩阵W＝{W_ij}，i＝1，2，...，n，j＝1，2，...，n，其中u为颜色特征直方图的第u类，

如果两个超像素间的Bhattacharyya系数越大，则表明两个超像素颜色特征相似性越高。

步骤4，用户通过鼠标交互操作，标记部分前景和背景区域，得到种子标记向量。

首先，在预分割后的图像上，用户通过鼠标选择随后要进行标记的类型，即前景类型，对前景目标超像素进行标记，标记值为1；

然后，用户通过鼠标选择随后要进行标记的类型，即背景类型，对背景超像素进行标记，标记值为0；

接着，生成一个大小为num_seed×1的标记向量

ls_i∈{0，1}，并由num_seed个种子超像素构成种子超像素集合

其中ls_i表示第i个种子超像素的标记，num_seed为标记的种子超像素的个数，se_i为标记的第i个种子超像素。

步骤5，构造must-link的约束集合M和cannot-link的约束集合C。

查看种子超像素集合S_seed中种子超像素se_i和se_i+1的标记ls_i和ls_i+1，如果se_i的标记ls_i与se_i+1的标记ls_i+1相同，则用se_i与se_i+1在超像素颜色直方图特征集SF中对应的位置构造must-link约束集合M；否则，用se_i与se_i+1在超像素颜色直方图特征集SF中对应的位置构造cannot-link约束集合C，其中must-link的约束集合M与cannot-link的约束集合C组成一对成对约束信息。

步骤6，传递成对约束信息M和C，获得核矩阵R。

将步骤3构造的颜色特征相似度矩阵W，步骤5得到的must-link约束集合M与cannot-link约束集合C的成对约束信息，按照核传递方法的映射关系映射到一个核空间，得到大小为n×n的核矩阵R。

核传递方法参见文献：E.Hu，S.Chen，D.Zhang，and X.Yin，”Semisupervised kernelmatrix learning by kernel propagation，”IEEE Transactionson Neural Networks，vol.21，no.11，pp.1831-1841，2010。

步骤7，采用k均值聚类方法对核矩阵R按行进行聚类，得到聚类标记向量L。

7a)将大小为n×n的核矩阵R的每一行视为一个数据点，得到n个数据点(X₁，X₂，...X_n)，其中X_i为核矩阵R第i行，对应于第i个超像素，i＝1，2，...，n；

7b)从(X₁，X₂，...X_n)中选取一个前景目标超像素对应数据点X_i和一个背景超像素对应数据点X_j，用X_i作为第一类数据点集的聚类中心

用X_j作为第二类数据点集

的聚类中心

其中i＝1，2，...，num_seed，j＝1，2，...，num_seed，i≠j，

根据欧氏距离公式，当k＝1时，计算第1次分类时每一个数据点X_i到两个聚类中心

和

的距离

和

$d(X_i,M_j^1)=\sqrt{{[X_i\left(1\right)-M_j^1\left(1\right)]}^2+{[X_i\left(2\right)-M_j^1\left(2\right)]}^2+...+{[X_i\left(n\right)-M_j^1\left(n\right)]}^2},j\∈\left\{\mathrm{1,2}\right\},$

其中，X_i是第i个数据点，

如果

将数据点X_i划归到所在的数据点集

即

反之将数据点X_i划归到

所在数据点集

即

7c)对第k次分类得到两类数据点集

和

依据均值公式计算新聚类中心

j∈{1，2}，其中n_j表示第j个数据点集

数据点的个数；

7d)根据欧氏距离公式，计算每一个数据点X_i到两个新聚类中心的距离

$d(X_i,M_j^{k+1})=\sqrt{{[X_i\left(1\right)-M_j^{k+1}\left(1\right)]}^2+{[X_i\left(2\right)-M_j^{k+1}\left(2\right)]}^2+...+{[X_i\left(n\right)-M_j^{k+1}\left(n\right)]}^2},$

其中，j∈{1，2}，

为第k+1次分类时第j类数据点集

的聚类中心，

如果

将数据点X_i划分到

所在数据点集

即

反之则将数据点X_i划分到所在数据点集

即

7f)重复步骤7c)和7d)，直到j∈{1，2}，即两类聚类中心不再变化为止，得到两类数据点集和

7g)当

时，即X_i属于第一类数据点集，l_i＝1；当

即X_i属于第二类数据点集时，l_i＝0，获得聚类标记向量

其中l_i是第i个数据点X_i的标记，也是第i个超像素的标记，l_i∈{0，1}。

k均值聚类方法参见文献：G.P.Babu and M.N.Murty，”Simulated annealing forselecting initial seeds in the k-means algorithm，”Ind.J.Pure Appl.Math，vol.25，pp.85-94，1994。

步骤8，输出并显示结果图像。

依据聚类标记向量l_i∈{0，1}，将标记为0的超像素颜色设置为白色，标记为1的超像素的颜色保持不变，输出并显示结果图像。

本发明的效果可以通过以下实验进一步说明：

1.仿真条件：

在CPU为pentium(R)4处理器：主频1.86GHZ，内存2G，操作系统：WINDOWSXP SP3，仿真平台：Matlab7.10平台上进行。

仿真图像选择图2所示的四幅原始测试图像，其中，图2(a)为flower图像，图2(b)为horse图像，图2(c)为mother图像，图2(d)为two dogs图像。

2.仿真内容：

仿真1，利用本发明方法与现有的Graph Cut和Grab Cut方法分别对图2(a)所示的flower图像进行分割，结果如图3，其中图3(a)是利用本发明方法分割的结果，图3(b)是利用Graph Cut方法分割的结果，图3(c)是利用Grab Cut方法分割的结果。

从图3可见，本发明能有效保持花的边缘以及花本身的数据一致性，有效的将花这一前景目标从背景中提取出来，分割结果稳定；Graph Cut方法丢失了目标前景花的边缘信息；Graph Cut方法丢失了前景目标花的边缘信息，其同质区域一致性差，分割结果不够稳定。

仿真2，利用本发明方法与现有的Graph Cut和Grab Cut方法分别对图2(b)所示的horse图像进行分割，结果如图4，其中图4(a)是利用本发明方法分割的结果，图4(b)是利用Graph Cut方法分割的结果，图4(c)是利用Grab Cut方法分割的结果。

从图4可见，本发明方法能完整的将两匹马从草地背景中提取出来，边缘光滑且清晰，能良好的保持同质区域一致性，没有噪声点，而且分割结果稳定；Graph Cut方法分割出的马携带了草地背景，而马的一部分也被分割成背景；Grab Cut方法分割出的马的边缘成锯齿状，不能从草地背景中清晰的提取出前景，前景目标边缘混乱。

仿真3，利用本发明方法与现有的Graph Cut和Grab Cut方法分别对图2(c)所示的mother图像进行分割，结果如图5，其中图5(a)是利用本发明方法分割的结果，图5(b)是利用Graph Cut方法分割的结果，图5(c)是利用Grab Cut方法分割的结果。

从图5可见，本发明能清晰的将前景目标母亲和孩子提取出来，良好的保持边缘信息，能保持同质区域一致性，并且分割结果稳定；Graph Cut和Grab Cut方法分割得到的前景目标图像，丢失了目标边缘信息，并且同质区域一致性差。

仿真4，利用本发明方法与现有的Graph Cut和Grab Cut方法分别对图2(d)所示的two dogs图像进行分割，结果如图6，其中图6(a)是利用本发明方法分割的结果，图6(b)是利用Graph Cut方法分割的结果，图6(c)是利用Grab Cut方法分割的结果。

从图6可见，本发明能清晰的将两条狗从雪地背景中提取出来，边缘光滑且清晰，同质区域无明显噪声点，并且分割结果稳定；Graph Cut方法分割出的大狗和小狗的腿丢失了，大狗腹部的背景雪地被分割成目标前景，失去了目标同质区域的一致性；Grab Cut方法分割出的前景目标狗，边缘信息混乱，大狗腹部的背景雪地也被分割成前景目标的一部分，分割结果准确性差。

Claims (3)

1.一种基于核传递的半自动图像分割方法，其特征在于，包括如下步骤：

1)输入一幅图像，采用均值漂移方法将该图像预分割为超像素集

i＝1，2，...，n，其中s_i为预分割输入图像所得的第i个超像素，n表示S所含超像素的个数；

2)提取每一个超像素的16级量化的颜色直方图，构成超像素颜色直方图特征集

其中hist_i为第i个超像素的16级量化直方图，16级量化直方图横坐标所包含的颜色种类为4096；

3)依据超像素直方图特征集SF，采用Bhattacharyya系数公式计算任意两个超像素间的相似性系数：

u为颜色特征直方图的第u类，获得大小为n×n的相似度矩阵W＝{W_ij}，i＝1，2，...，n，j＝1，2，...，n；

4)在预分割之后的图像上，通过用户交互操作对超像素进行标记，即将前景目标超像素标记为1，背景超像素标记为0，生成一个大小为num_seed×1的标记向量

ls_i∈{0，1}，其中ls_i表示第i个种子超像素的标记，num_seed为标记的种子超像素的个数，并由num_seed个种子超像素构成种子超像素集合

其中se_i为标记的第i个种子超像素；

5)查看种子超像素集合S_seed中种子超像素se_i和se_i+1的标记ls_i和ls_i+1，如果se_i与se_i+1的标记ls_i和ls_i+1相同，则用se_i与se_i+1在超像素颜色直方图特征集SF中对应的位置构造must-link约束集合M；否则，用se_i与se_i+1在超像素颜色直方图特征集SF中对应的位置构造cannot-link约束集合C；

6)将成对约束信息must-link约束集合M，cannot-link约束集合C以及相似度矩阵W，按照核传递方法的映射关系映射到一个核空间，得到大小为n×n的核矩阵R；

7)采用k均值聚类方法，把核矩阵R按行聚为两类，得到聚类标记向量l_i∈{0，1}，其中l_i为第i个超像素s_i的标记；

8)将聚类标记向量中标记为0的超像素的颜色设置为白色，作为背景；将标记为1的超像素保持原始图像的颜色，作为分割出来的前景目标，输出并显示结果图像。

2.根据权利要求1所述的方法，其特征在于所述步骤4)中的用户交互操作，是按如下步骤进行：

4a)通过鼠标标记前景目标超像素：在预分割后的图像上，用户先通过鼠标选择随后要进行标记的类型，即前景类型，然后对前景目标超像素进行标记；4b)通过鼠标标记背景超像素：在预分割后的图像上，用户先通过鼠标选择随后要进行标记的类型，即背景类型，然后对背景超像素进行标记，得到带有前景标记和背景标记的图像。

3.根据权利要求1所述的方法，其特征在于步骤7)所述的采用k均值聚类方法，把核矩阵R按行聚为两类，按照如下步骤进行：

7a)将大小为n×n的核矩阵R的每一行视为一个数据点，得到n个数据点(X₁，X₂，...X_n)，其中X_i为核矩阵R第i行，对应于第i个超像素，i＝1，2，...，n；

7b)从(X₁，X₂，...X_n)中选取一个前景目标超像素对应数据点X_i和一个背景超像素对应数据点X_j，用X_i作为第一类数据点集

的聚类中心

用X_j作为第二类数据点集

的聚类中心

其中i＝1，2，...，num_seed，j＝1，2，...，num_seed，i≠j，

根据欧氏距离公式，当k＝1时，计算第1次分类时每一个数据点X_i到两个聚类中心

和

的距离

和

$d(X_i,M_j^1)=\sqrt{{[X_i\left(1\right)-M_j^1\left(1\right)]}^2+{[X_i\left(2\right)-M_j^1\left(2\right)]}^2+...+{[X_i\left(n\right)-M_j^1\left(n\right)]}^2},j\∈\left\{\mathrm{1,2}\right\},$

其中，X_i是第i个数据点，

如果

将数据点X_i划归到

所在的数据点集

即

反之将数据点X_i划归到

所在数据点集

即

7c)对第k次分类得到两类数据点集

和

依据均值公式计算新聚类中心

j∈{1，2}，其中n_j表示第j个数据点集

数据点的个数；

7d)根据欧氏距离公式，计算每一个数据点X_i到两个新聚类中心

的距离

$d(X_i,M_j^{k+1})=\sqrt{{[X_i\left(1\right)-M_j^{k+1}\left(1\right)]}^2+{[X_i\left(2\right)-M_j^{k+1}\left(2\right)]}^2+...+{[X_i\left(n\right)-M_j^{k+1}\left(n\right)]}^2},$

其中，j∈{1，2}，

为第k+1次分类时第j类数据点集

的聚类中心，

如果

将数据点X_i划分到

所在数据点集

即

反之则将数据点X_i划分到

所在数据点集

即

7f)重复步骤7c)和7d)，直到j∈{1，2}，即两类聚类中心不再变化为止，得到两类数据点集

和

Images