CN104123417B - 一种基于聚类融合的图像分割的方法 - Google Patents

Abstract

本发明公开一种计算机视觉与模式识别领域的基于聚类融合的图像分割的方法，该方法通过三种分割方式可产生不同的粗分割结果及后续处理所用的超像素，再采用超像素聚类融合方法通过对不同超像素之间的距离属性及图像在粗分割结果中的标注属性加以融合，从而提高图像的分割结果，避免了复杂计算同时又体现出像素的颜色及纹理属性。

Description

一种基于聚类融合的图像分割的方法

技术领域

本发明属于计算机视觉与模式识别领域，具体地，涉及一种基于图像多信息聚类融合的非监督型图像分割新方法。

背景技术

在计算机视觉领域，图像分割是图像预处理的重要步骤。由于目前计算机本身并不具备人类等生物的高层次理解能力，本身只对离散型数据进行处理，因此使用图像分割等预处理对图像进行处理是十分必要的。图像分割结果在后续处理过程起到了重要作用，图像分割所涉及的后续图像处理包括例如目标检测与识别、图像分类、目标跟踪及图像压缩与重建等方面。

目前已经有很多种图像分割方式，使用各种方法，例如阈值分割、色彩及纹理分割、图割等。作为图像处理领域中的重要方面，图像分割在计算机视觉领域的很多著名国际会议及期刊中都占有重要地位。近年来论文中的方法主要有：

Ren，Shakhnarovich等人在2013年提出级联区域的图像分割；Arbelaez，Maire在2011年提出了基于外轮廓检测及分层次分割方法；Felzenszwalb，Huttenlocher等人在2004年提出根据图割方法的图像分割。

专利方面，申请号为CN201210109158.3的中国发明专利提出了一种基于相似性相互作用机理的图像分割方法。该方法通过以下六个步骤得到分割结果：(1)提取待分割图像每个象素点的特征；(2)获得区域块特征；(3)计算区域块与区域块之间的相似度；(4)获得区域块相位值；(5)归类区域块；(6)输出图像分割结果。申请号为200680021274.2的发明专利申请通过提出一种基于包括运动、色彩、对比度在内的一个或多个因素的分割过程可提供图像中前景层与背景层的分割；申请号为CN 102509097根据LUV数据对各像素点进行金字塔聚类分割，得到分割结果图像。

在现有的图像分割技术中多数方法采用基于图像单一性质如颜色、灰度、纹理、频域等对图像进行分割。由于只使用图像的单一属性对图像中各个像素进行聚类，这些分割方式往往适用于解决某一特定用途的图像分割，并无很好的适用性。或者是采用比较复杂的建模方法，使得图像分割的效率较低，分割结果也有局限性。

发明内容

针对现有技术存在的上述不足，本发明的目的是提供一种基于已有分割结果的聚类融合方法，通过对已有的鲁棒性分割结果进行处理最终得到更加精确且实用性更广的分割方法。

为实现上述目的，本发明总体上说，首先使用均值漂移，图割及加博尔纹理分割等三种方式对图像进行粗分割，得到三种分割结果，然后通过对三种分割所得到的区域进行共同分割得到更细的超像素，最后使用基于超像素标定及距离的相似性传播方法对已获得的超像素进行处理从而得到最终的分割结果。

本发明所述的基于聚类融合的图像分割的方法，包括如下步骤：

第一步，读入待处理图像，并存储图像原始信息。

本发明对原始图像进行处理，在处理过程中会使用到图像的原始数据，故在处理开始前需要对原始图像进行保存。同时如果待处理图像噪声较多，也可以在本步之中加入预处理步骤以去除噪声。记待处理图像为I。

第二步，使用已有技术对图像进行粗分割，得到三个粗分割结果。

由于以往的图像分割技术中多数只使用图像的单一属性对图像中各个像素进行聚类，这些分割方式往往适用于解决某一特定用途的图像分割，并无很好的适用性。而不同的分割方法间由于特征不同往往具有互补性，对互补的分割方法进行聚类融合之后可提高图像分割的精度，使用本发明正是基于这一点考虑出发。而过多的粗分割结果会降低分割算法的效率，所以基于分割精度和分割速度两方面综合进行考虑，本发明对原始图像进行三种不同的粗分割，然后使用聚类融合对三种粗分割结果进行处理。

优选地，在本发明所附的实例中，对于待处理图像进行粗分割的三种方法，本发明使用均值漂移，图割及加博尔纹理分割，但并不局限于这三种方式，在不脱离本发明构思的前提下，还可以做出若干变形和改进。

对于三种粗分割结果，令二值图BW₁，BW₂和BW₃表示三个粗分割结果的边界图，对于三种粗分割结果，对于处于每一种分割结果中处于同一边界内的像素，令其在该粗分割结果的标定中标定相同。

第三步，根据粗分割结果构建超像素。对边界图像BW₁，BW₂，BW₃进行或操作，得到新分割边界，根据分割边界构建超像素。

本发明使用的超像素是使用粗分割结果构造的，使用二值图BW₁，BW₂和BW₃表示三个粗分割结果的边界图，二值图中真代表边界存在，假代表不存在边界。对BW₁，BW₂和BW₃进行或操作，得到最终的超像素边界BW，根据超像素边界得到待处理超像素，将本步骤所生成的超像素记做其中n是生成超像素的个数，其原理如图3所示。

第四步，超像素性质标定，将第二步中所得的粗分割结果分别赋予超像素，计算超像素之间欧式距离。

根据粗分割结果中像素的所在类别对每个像素进行标记，其中i代表超像素的标号，k代表粗分割算法的种类。由于超像素是由粗分割结果所产生，所以每一个超像素中任意一个像素的标记均相同，且都为该像素在粗标记中的分割类别。

对于每个超像素计算其与其他超像素之间的最短欧式距离{d_ij}_{i，j＝1，2…，n}，其中i、j为两个超像素的标号。对于相邻超像素，设定其距离为1。

第五步，对粗分割结果进行聚类融合：结合第四步的超像素之间距离，通过聚类融合方法判断每一个超像素所属类别，提高粗分割结果精度；

所述聚类融合使用基于超像素标定及距离的相似性传播方法，具体为：基于超像素标定及距离的相似性传播方法对每一个超像素的所属类别，以及其与其它的超像素之间距离进行综合判定。该方法的优势在于不需要给出聚类数目，同时不受初始种子点的影响。

优选地，基于超像素标定及距离的相似性传播方法的步骤为：

(1)根据相似性度量函数计算相似性矩阵Γ，其中τ_ij为超像素S_i，S_j的相似性。

(2)计算每个超像素的责任度r(i，j)与可用度a(i，j)，每次迭代后将r(i，j)+a(i，j)大于0的数据作为对象j的迭代中心，直到聚类中心不再移动或是迭代次数超出范围，本发明所使用的迭代上限为400。其中i、j为两个超像素的标号，t为迭代次数。下面介绍该过程：

迭代开始时，可用度a₀(i，j)＝0。然后责任度r(i，j)根据

r_t+1(i，j)＝τ(i，j)-max_{j′s.t.j′≠j}{a(i，j′)+τ(i，j′)}.

λ为阻尼系数，起到收敛作用(减少震荡)，取值范围为[0.5,1)；

r_t+1(i，j)＝(1-λ)·r_t+1(i，j)+λ·r_t(i，j)

a_t+1(i，j)＝(1-λ)·a_t+1(i，j)+λ·a_t(i，j)

进行计算，直到聚类中心不再移动或是迭代次数超出范围。

(3)重新标定超像素所属类别，得到最终分割结果。

第六步，图像标记及输出：根据聚类融合结果对超像素进行标定，将在聚类融合之后属于同一类别的像素归成一类，并生成最终分割结果。

根据第五步中的最终分割结果，生成边界图像。根据部分应用的要求，会将属于同一超像素的颜色信息均匀化。

本发明基于超像素标定及距离的相似性传播方法在效果和时间上明显上优于其他聚类算法。同时聚类结果不会随初始值的改变而发生变化。本发明超像素生成即保证了同一超像素内部像素属性的一致性，又减少了计算的复杂程度。

本发明考虑了图像的色彩、纹理、距离等信息对图像进行分割改善了分割结果，并且使用的粗分割方法可以在满足时效性的前提下增加，以获得更高的精度。

本发明可以通过聚类融合后的结果得到粗分割方法之间的互补性。本发明基于图像多信息聚类融合的非监督型图像分割新方法较其他聚类融合方法在图像分割中结果有更高的精度。

与现有技术相比，本发明具有如下的有益效果：

首先，本发明对于已有的分割方法结果进行处理，通过使用聚类融合，提高了分割结果的精度；

其次，本发明使用的三个粗分割方法原理简单，避免了复杂计算同时又体现出像素的颜色及纹理属性；

再次，通过使用聚类融合可以知道哪些分割方法具有互补性，对今后图像分割的研究有很大的帮助；

最后，本发明的粗分割的实现在时效性允许情况下可以无限拓展，可以进一步提高分割的精度。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一种基于聚类融合的图像分割的流程示意图。

图2为本发明所使用的图割方法的示意图。

图3为本发明所使用的从粗分割结果获得超像素的示意图。

图4为本发明实施例一测试原图。

图5为本发明实施例一使用均值漂移后的粗分割图。

图6为本发明实施例一使用图割的粗分割图。

图7为本发明实施例一使用加博尔纹理分割后的粗分割图。

图8为本发明实施例一所生成的超像素图。

图9为本发明实施例一基于超像素标定及距离的相似性传播方法迭代图。

图10为本发明实施例一所生成的最终分割结果图。

图11为本发明实施例二测试原图。

图12为本发明实施例二最终分割结果图。

图13为本发明实施例三测试原图。

图14为本发明实施例三最终分割结果图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

以下提供本发明的一个优选实施例：

一种基于聚类融合的分割方法，在保存过图像原始信息后，首先使用均值漂移，图割及加博尔纹理分割等三种方式对图像进行粗分割，得到三种分割结果，然后通过对三种分割所得到的超像素进行共同分割得到更细的超像素，最后使用基于超像素标定及距离的相似性传播方法对已获得的超像素进行处理从而得到最终的分割结果。流程图如图1所示。

为了获得待分割图像I的详细信息，在粗分割阶段，对待处理图像I采用了三种针对图像不同属性的粗分割方式，以获得图像在不同属性，如色彩，纹理等约束下的不同分割表现，图像I如图4所示，输入图像的参数为481×321×3。

均值漂移是一种基于密度梯度上升的非参数方法，通过迭代运算找到目标位置，本发明使用均值漂移来找到目标图像的聚类中心，并对目标图像进行聚类。对于一幅彩色图像中任意一个像素x，其坐标(g_x，g_y)及彩色信息(r,g,b)共同构成了一个5-D的彩色空间，为了减少计算量采用原始图像的灰度图像，将维数降为3，即坐标与对应坐标的灰度值，对于给定初始像素x，与容许误差ε；计算均值漂移窗口的均值m(x)将m(x)赋给x。使用均值漂移窗口移动后，直到||m(x)-x||＜ε，窗口位置不在变化时，即所有的像素收敛到其对应的峰值点。每个峰值点所对应的所有像素联通起来后就形成了图像分割结果。

其均值构造函数为：

其中G(x)为单位核函数，在本发明中G(x)＝1，pixel_num为像素个数，在本实例中为481×321＝154401,均值漂移中需要设定分割结束的阈值ε，阈值ε的设置不易过大，在本发明实施例中容许误差ε＝5，由此操作得到了第一个粗分割结果，如图5所示，用二值图像表示其分割边界，真代表存在分割边界，假代表不存在分割边界，可得到粗分割结果BW₁。

图割方法本质是一个能量优化算法，在图像分割领域中，一张图可以看做一个矩阵，图中的每个像素就是矩阵中一个位置，这个像素可以看做图像中的一个顶点，图割利用一个无向图G＝(V，E)表示要分割的图像，V，E分别是顶点和边的集合。在普通图的基础上图割的方法多了两个顶点，这个两个顶点分别用S，T表示，称为终端顶点，其他所有的顶点都必须和这两个点形成边集合E中的一部分。因此图割的方法中有两类顶点，也有两类边。其中，第一种普通顶点对应于图像中的每个像素。每两个邻域顶点(对应于图像中每两个邻域像素)的连接就是一条边。这种边也叫n-links。除图像像素外，还有另外两个终端顶点，叫源点S和汇点T。每个普通顶点和这2个终端顶点之间都有连接，组成第二种边。这种边也叫t-links。每条边都有个非负权值w。如图2所示，本发明中

w＝||I(x_i，y_i)-I(x_j，y_j)||

其中I(x_i，y_i)代表对彩色图像进行灰度化后所生成的灰度图像中，坐标为x_i，y_i的像素的灰度值，而权重w根据公式为，两个点灰度值差的绝对值。

所以使用图割方法对图像进行粗分割，对图像进行分割之前需要对图像先进行高斯滤波，用以平滑图像以获得更好的区域间一致性。本发明实施例所使用的高斯滤波的参数设定为rho为2，sigma为1。对图像使用高斯滤波后进入图割步骤。对于采用K近邻的图割，需要设定一下几个参数，最小尺寸为50，最近邻半径中的邻居像素数量10，分割结果如图6所示，可得到粗分割结果BW₂。

加博尔纹理分割是根据图像纹理对图像进行分割。使用加博尔纹理分割对源图像I进行粗分割，其中使用参数为，期待分割结果数为5，x与y空间比率gamma为1，空间频率带宽b为1，高斯滤波的方位Theta为0～150度，相位偏移量为0，分割结果如图7所示，可得到粗分割结果BW₃。

为了使本实施例所使用的超像素能够最大限度的表示输入图像不同属性的区域，对于三种粗分割结果的边缘图像BW₁，BW₂，BW₃，所用的超像素边界BW＝BW₁∪BW₂∪BW₃。因为在BW₁，BW₂，BW₃中每个分割出的区域内部图像的属性都相同，所以BW中每个0联通区域都是一个超像素。在使用或操作后，超像素边界BW能够将处理基元从像素提升至超像素，减少后续聚类融合的点的个数，提高运算效率，超像素结果如图8所示。

本发明对超像素之间距离的定义为，超像素间的最短欧式距离，默认两个相邻的超像素的距离为1。在获得超像素对获得的所有超像素之间距离进行计算。

超像素的标定，对于已有的粗分割结果BW₁，BW₂，BW₃，根据其边缘图产生标定图像Label₁,Label₂,Label₃,对BW所形成的超像素图S，对于其中每一个超像素s_i，将其在Label₁，Label₂，Label₃中的标定赋予s_i，由于超像素图S中的每一个s_i都是BW₁，BW₂，BW₃所形成的联通区域的子集，所以每个s_i在Label₁,Label₂,Label₃之中的标定结果均是唯一的。至此，便获得了本实施例中所使用的基于超像素标定及距离的相似性传播方法所需要的所有数据。

本发明的实质是将图像分割问题作为聚类问题进行处理，然后通过聚类融合提高聚类精度从而达到更好的分割效果。本发明所使用的聚类融合方法为基于超像素标定及距离的相似性传播方法。该方法针对已标定的超像素及超像素之间的距离进行计算，将每个超像素视作一个图中的一个点，具体步骤为：(1)根据相似性度量函数计算相似性矩阵Γ；(2)计算每个超像素的责任度r(i，j)与可用度a(i，j)，直到聚类中心不在移动或是迭代次数超出范围；(3)重新标定超像素所属类别，得到最终分割结果，迭代过程如图9所示。

相似性矩阵Γ＝[τ_ij]中每个τ_ij由两个超像素之间的标定值与距离决定，对于两个不同超像素：

其中s为粗分割方法个数，本实施例中为3，对于相似性矩阵的对角线元素，将其设为

其中n为超像素的个数，根据相似性矩阵Γ，本发明应用相似性传播方法对其进行聚类。本发明中将每个超像素作为一个相似性传播方法中的一个点，根据本发明中相似性矩阵定义，点与点之间是无向的，也就是相似性是对称的。所以在计算相似性矩阵的时候可以利用这点减少计算量。相似性传播方法不需要事先指定聚类数目，相反它将所有的数据点都作为潜在的聚类中心，由于没有事先设定类别数量，相似性传播方法需要一个参考度来控制聚类数目。聚类的数量受到参考度p的影响，如果认为每个数据点都有可能作为聚类中心，那么p就应取相同的值。如果取输入的相似度的均值作为p的值，得到聚类数量是中等的。如果取最小值，得到类数较少的聚类。本实施例所使用p为相似度矩阵的中值。其迭代过程如图9所示。当达到迭代上界或是聚类中心不再移动时，而其他数据点这根据其a(i，j)判定其聚类中心。

得到所有数据点的聚类结果后，等效于得到所有超像素的聚类结果，根据所得到的超像素聚类结果可将属于一类的超像素归为一类，然后对属于一类的超像素进行均匀化，即将所有像素点的颜色数据相加除于其像素点个数，得到平均RGB信息。如图10所示。

图11～图14展示了在输入图像不同时，使用本发明的分割效果。

区别于目前的已有方法，本发明将聚类融合引入图像分割，增加了图像分割的精度，同时对于不同分割方法之间的互补性，并且本发明粗分割所使用的方法可以在满足时效性要求的情况下任意拓展。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (3)

1.一种基于聚类融合的图像分割的方法，其特征在于包括如下步骤：

第一步，读入待处理图像，并存储图像原始信息；

第二步，使用已有技术对图像进行粗分割：使用三种基于不同特征的图像分割方法，分别对原始图像进行分割，最终得到三个粗分割结果，根据粗分割结果，记录分割结果边界图像BW₁，BW₂，BW₃；

第三步，根据粗分割结果构建超像素：对边界图像BW₁，BW₂，BW₃进行或操作，得到新分割边界，根据分割边界构建超像素；

第四步，超像素性质标定：将第二步所得到的分割结果分别赋予超像素，并计算超像素之间欧式距离；

第五步，对粗分割结果进行聚类融合：结合第四步的超像素之间距离，通过聚类融合方法判断每一个超像素所属类别，提高粗分割结果精度；

第六步，图像标记及输出：根据聚类融合结果对超像素进行标定，将在聚类融合之后属于同一类别的像素归成一类，并生成最终分割结果；

所述聚类融合使用基于超像素标定及距离的相似性传播方法，具体为：基于超像素标定及距离的相似性传播方法对每一个超像素的所属类别，以及其与其它的超像素之间距离进行综合判定；

所述基于超像素标定及距离的相似性传播方法，步骤为：

(1)根据相似性度量函数计算相似性矩阵Γ，其中τ_ij为超像素S_i，S_j的相似性：

$\mathrm{\Γ}=\[{\mathrm{\τ}}_{ij}\]=\mathrm{\τ}(S_i,S_j)=\left\{\begin{array}{cc}-\underset{k=1}{\overset{s}{\Σ}}\left|\right|(l_i^k-l_j^k)\left|\right|\×d_{ij}& ifi\≠j\\ \underset{i=1}{\overset{n}{\Σ}}\underset{j=1,j\≠i}{\overset{n}{\Σ}}{\mathrm{\τ}}_{ij}/n\×(n-1)& ifi=j\end{array}\right.$

其中：k代表粗分割算法的种类，i、j为两个超像素的标号，是根据粗分割结果中像素的所在类别对每个像素进行的标记；s为粗分割方法个数；n为超像素的个数；d_ij为每个超像素与其他超像素之间的最短欧式距离{d_ij}_{i，j＝1，2…，n}；

(2)计算每个超像素的责任度r(i，j)与可用度a(i，j)，每次迭代后将r(i，j)a(i，j)大于0的数据作为对象j的迭代中心，直到聚类中心不再移动或是迭代次数超出范围，其中i、j为两个超像素的标号，t为迭代次数；

(3)重新标定超像素所属类别，得到最终分割结果；

所述步骤(2)中：

迭代开始时，可用度a₀(i，j)＝0，然后责任度r(i，j)根据

r_t+1(i，j)＝τ(i，j)-max_{j′s.t.j′≠j}{a(i，j′)+τ(i，j′)}.

$a_{t+1}(i,j)=\min \{0,r_{t+1}(j,j)+\underset{i^{\′}s.t.i^{\′}\≠\{i,j\}}{\Σ}\max \{0,r_{t+1}r(i^{\′},j)\left\}\right\}$

i′与j′表示一个中间变量；

λ为阻尼系数，起到收敛作用，取值范围为[0.5,1)；

r_t+1(i，j)＝(1-λ)·r_t+1(i，j)+λ·r_t(i，j)

a_t+1(i，j)＝(1-λ)·a_t+1(i，j)+λ·a_t(i，j)

进行计算，直到聚类中心不再移动或是迭代次数超出范围。

2.根据权利要求1所述的基于聚类融合的图像分割的方法，其特征在于第二步中，所述图像分割方法，分别采用使用均值漂移对图像进行粗分割，使用图割对图像进行粗分割以及使用加博尔纹理分割对图像进行粗分割。

3.根据权利要求1所述的基于聚类融合的图像分割的方法，其特征在于第三步中，所述的构建超像素，只针对三种粗分割结果的边界图像使用或操作对边界图像进行处理，根据最终边界生成超像素。