CN111709483B - 一种基于多特征的超像素聚类方法及设备 - Google Patents

Abstract

本发明提供一种基于多特征的超像素聚类方法及设备，方法融合图像的边界特征和纹理特征，结合图像的多种特征实现超像素分割。通过聚类阶段和合并阶段。在聚类阶段，通过衡量像素之间的相似性判定像素的归属，聚类得到预分割超像素；聚类阶段的相似性度量从像素的颜色特征和空间位置特征入手，添加边界特征因子来调和位于边界邻近区域的像素点间的相似程度。过程得到的超像素边缘紧密贴合，但是分割过于细致，因而需要对其进一步修正。在合并阶段，将根据超像素内容的独特性衡量超像素之间的相似程度，将零散的超像素聚合得到最终超像素。本发明与现有方法相比，在保持超像素边界和图像中物体边界贴合方面表现出更高的性能。

Description

一种基于多特征的超像素聚类方法及设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于多特征的超像素聚类方法及设备。

背景技术

聚类算法又称群分析，是研究样品或指标分类问题的一种统计分析方式，同时也是数据挖掘的一个重要算法。聚类算法是由若干模式组成的，通常，模式是一个度量的向量，或者是多为空间中的一个点。

而在图像处理的技术领域中，聚类算法在度量像素的相似性时往往只依据色彩距离和空间距离，因此生成的超像素普遍存在边缘贴合度不高，图像边界区域的分割质量较低，无法满足使用需要。

发明内容

为了克服上述现有技术中的不足，本发明提供一种基于多特征的超像素聚类方法，在相似性度量准则中引入边界及纹理特征指导超像素分割，以改善超像素的目标分割遗漏现象，同时提高边缘贴合度。

方法包括：

步骤1：输入图像，配置预期的超像素个数K；

步骤2：以正六边形的形式初始化K个种子点，并将其移动到3×3邻域内具有最小梯度的位置，作为聚类中心；

步骤3：计算每个像素点对应的梯度值G(x)；

步骤4：将像素梯度值G(x)归一化得到每个像素点的边界概率w_ζ(x)，得出每个像素点的边界特征因子w(x)；

步骤5：将图像的颜色表示转换为CLELAB空间，建立五维向量 p(x,y,L,a,b)；

步骤6：根据向量的前两维，计算像素点x与周围种子点l的空间特征距 d_xy(x,l)；

根据向量的后三维，计算像素点x与周围种子点l的颜色特征距d_lab(x,l)；

步骤7：获取像素点x和超像素种子点l之间的相似性度量，根据步骤4 和步骤6，计算图像中像素点x与周围种子点l的相似度D(x,l)，取D(x,l)_min对应的种子点为像素点x的类别标记；

步骤8：将聚类中心的坐标、颜色更新为超像素的质心和颜色均值；

步骤9：重复步骤7和步骤8，直至超像素达到收敛，得到预分割超像素；

步骤10：建立图像对应的特征值灰度共生矩阵；

步骤11：从灰度共生矩阵中提取能量、对比度、熵、相关度四个特征，得到每个点的纹理特征；

步骤12：自图像左上角开始遍历超像素，按照自左向右、自上而下的顺序给所有预分割超像素编号；

步骤13：每个超像素包含的像素个数

并找出

的超像素sp_m；

步骤14：以像素的颜色均值作为超像素的颜色特征，超像素的质心为超像素的空间特征，并衡量超像素纹理相似度，得到超像素的纹理特征 dist_t(sp_i,sp_j)；

步骤15：定义包含颜色特征项、空间特征距和纹理特征距的相似性函数，以衡量合并的超像素和其邻近的超像素之间的相似性，计算超像素sp_m与其周围超像素的相似度D(sp_m,sp_i)，取D(sp_m,sp_i)_min对应的超像素类别为超像素sp_m的新标记；

步骤16：重复步骤15，直至所有新超像素包含的像素数量都大于阈值φ_n，即可输出合并后的超像素分割图。

进一步需要说明的是，步骤7还包括：

获取像素点x和超像素种子点l之间的相似性度量，由公式(1.1)求得：

D(x,l)＝w(x)·d_lab(x,l)+d_xy(x,l) (1.1)

其中，w(x)是边界特征因子，d_lab(x,l)和d_xy(x,l)分别是颜色特征距和空间特征距；

通过计算像素和像素周围超像素种子点的相似度，选择最小目标函数对应的超像素标记作为该像素点的标记；

如像素被分配到超像素标签，所述超像素标签的超像素集合的种子中心和颜色特征将更新为新集合的质心位置和颜色均值；

聚类阶段将在像素间迭代计算相似性度量，得到超像素预分割结果。

进一步需要说明的是，检测边界特征因子；

通过检测像素落在边界的概率得到边界特征因素，如下：

w(x)＝α+wζ(x) (1.2)

其中，常数α是边界因子的最低影响系数，且α∈[0.5,1]；w_ζ(x)是像素点 x落在边界的概率；

当w(x)值较大时，像素处于图像边界的概率越大，像素之间的相似性度量倾向于颜色的相似性，边界更加贴合；

当w(x)值较小时，像素更处于平坦区域，像素之间的相似性度量倾向于空间距离，产生规整大小的超像素。

进一步需要说明的是，步骤3和步骤4还包括：

以梯度值的平均值作为判断像素边界的依据；

根据公式(1.3)，算出像素点在3×3区域内的平均梯度值G(x)；

把G(x)归一化压缩估计出像素点x落在边界的概率；

根据三角函数归一化方法，将G(x)压缩到区间[0,1]内，得到的w_ζ(x)如公式(1.4)；

其中，g(x_i)为像素点x_i的梯度值，R^ζ(x)代表以像素x为中心的ζ×ζ邻域内的所有像素，ζ取值为3；G(x)_max和G(x)_min分别为梯度的最大值和最小值；

参数ξ用来区分边界和弱边界，使得像素边界概率w_ζ(x)在G(x)较小时变化幅度较小，同时在弱边界放大预设量，放大预设量值取梯度最小值和最大值的3/4处。

进一步需要说明的是，步骤5还包括：

将图像的颜色映射到CLELAB颜色空间中，根据预设模型的颜色分量计算像素间颜色的相似程度，控制同一超像素内的像素颜色差在预设范围内，像素颜色差定义如下：

其中L_x，A_x，B_x是像素点x对应的L，a，b值，L_l，A_l，B_l是种子点l对应的各分量值；

λ₁是常数，当像素点x和种子点l颜色相差越小时，d_lab(x,l)值越小。

进一步需要说明的是，

步骤6还包括：

基于欧几里得距离定义一个空间相似距离项来控制超像素的紧凑性，公式如下：

其中，λ₂是常数，(x_x,y_x)和(x_l,y_l)分别是像素点x和种子点l在XY平面的坐标；

当像素点x和种子点l颜色位置坐标越近时，d_xy(x,l)值越小。

进一步需要说明的是，步骤10和步骤11还包括：

通过灰度共生矩阵反映图像灰度在相邻方向、相邻间隔、变化幅度信息，从中导出四个统计信息作为局部区域的纹理表征，四个统计信息包括能量、对比度、相关度和熵；

特征提取的计算公式为：

①能量：ASM＝∑_i∑_jT(i,j)²

②对比度：CON＝∑_i∑_j(i-j)²T(i,j)

③相关度：CORRLN＝(∑_i∑_j((i,j)T(i,j))-μ_xμ_y)/δ_xδ_y

④熵：ENG＝-∑_i∑_jT(i,j)logT(i,j)

其中，μ_x＝∑_ii∑_jT_ij，μ_y＝∑_jj∑_iT_ij，δ_x＝∑_i(iμ_x)²∑_jT_ij，δ_y＝∑_j(jμ_y)²∑_iT_ij，T_ij是 GLCM矩阵中位置(i,j)处元素的值；

GLCM函数通过计算像素对概率确定特征值；

将图像转换成灰度图，采用5×5滑动窗口扫描灰度图，以两相邻像素距离为1作为步长，并且以0°、45°、90°、135°四个方向的特征平均值作为最终特征值存储到GLCM矩阵。

进一步需要说明的是，步骤14还包括：

将图像灰度图的灰度级压缩到8，通过计算出每个像素相应的统计特征值，生成8×8大小的特征值矩阵；

纹理特征作为判定零散超像素是否相似的特征；衡量超像素纹理相似度的公式为：

其中，dist_t(sp_i,sp_j)是超像素sp_i和超像素sp_j之间的相似性度量，

和

为超像素sp_i和超像素sp_j的灰度均值，

和

分别表示超像素sp_i和超像素sp_j的平均能量特征，

和

分别表示超像素sp_i和超像素sp_j的平均对比度特征，

和

分别表示超像素sp_i和超像素sp_j的平均相关度特征，

和

分别表示超像素sp_i和超像素sp_j的熵特征平均值。

进一步需要说明的是，步骤15还包括：

定义包含颜色特征项、空间特征距和纹理特征距的相似性函数，以衡量合并的超像素sp_i和其邻近的超像素sp_j之间的相似性，度量准则如公式(1.7) 所示：

D(sp_i,sp_j)＝dist_lab(sp_i,sp_j)+dist_xy(sp_i,sp_j)+β·dist_acce(sp_i,sp_j) (1.7)

其中，dist_lab(sp_i,sp_j)是超像素sp_i和sp_j之间的颜色特征，dist_xy(sp_i,sp_j)是超像素sp_i和sp_j之间的空间特征距，dist_acce(sp_i,sp_j)是超像素sp_i和sp_j之间的纹理特征距，常数β用来衡量三个特征距离在超像素间相似性度量的比重；目标函数D(sp_i,sp_j)的值愈小，则表明两个超像素的相似程度越高，合并的可能性越大；

通过计算零散孤立和小的超像素分别与周围超像素的相似程度，找到与零散孤立或小的超像素最相似的超像素，并将其标记更新，合并入最小目标函数对应的超像素集合；

合并后打通了不连接的超像素，保证输出分割结果目标的完整性。

本发明还提供一种实现基于多特征的超像素聚类方法的设备，包括：

存储器，用于存储计算机程序及基于多特征的超像素聚类方法；

处理器，用于执行所述计算机程序及基于多特征的超像素聚类方法，以实现基于多特征的超像素聚类方法的步骤。

从以上技术方案可以看出，本发明具有以下优点：

本发明的方法融合图像的边界特征和纹理特征，结合图像的多种特征实现超像素分割。通过聚类阶段和合并阶段。在聚类阶段，通过衡量像素之间的相似性判定像素的归属，聚类得到预分割超像素；聚类阶段的相似性度量从像素的颜色特征和空间位置特征入手，添加边界特征因子来调和位于边界邻近区域的像素点间的相似程度。过程得到的超像素边缘紧密贴合，但是分割过于细致，因而需要对其进一步修正。在合并阶段，将根据超像素内容的独特性衡量超像素之间的相似程度，将零散的超像素聚合得到最终超像素。本发明生成的超像素有更高的边界贴合度，有效地提升了边界区域的分割质量。

附图说明

为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为不同α值的分割结果示例图；

图2为迭代次数比较示例图；

图3为本方法和五种对比方法的超像素比对结果示例图。

具体实施方式

本领域普通技术人员可以意识到，结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

本发明提供一种基于多特征的超像素聚类方法，方法中融合了图像的边界特征和纹理特征，结合了图像的多种特征实现超像素分割。超像素分割的实现主要通过聚类阶段和合并阶段。在聚类阶段，通过衡量像素之间的相似性判定像素的归属，聚类得到预分割超像素；聚类阶段的相似性度量从像素的颜色特征和空间位置特征入手，添加边界特征因子来调和位于边界邻近区域的像素点间的相似程度。过程得到的超像素边缘紧密贴合，但是分割过于细致，因而需要对其进一步修正。在合并阶段，将根据超像素内容的独特性衡量超像素之间的相似程度，将零散的超像素聚合得到最终超像素。

基于本发明提出的聚类阶段中，聚类思想可简单地表示为把相似程度高的对象分成一类，对一个像素而言，像素和周围哪个超像素种子点最相似决定了它属于哪个超像素。超像素算法通常包含颜色特征距和空间特征距，颜色特征距可以保证超像素边界和物体边界贴合，空间特征距来确保超像素大小是否规则。在此基础上，本发明提出了融合边界特征因子的相似性度量，在颜色特征距和空间特征距之间添加约束，偏向强调边界对像素相似性度量的影响。像素点x和超像素种子点l之间的相似性度量由公式(1.1)求得：

D(x,l)＝w(x)·d_lab(x,l)+d_xy(x,l) (1.1)

其中，w(x)是边界特征因子，d_lab(x,l)和d_xy(x,l)分别是颜色特征距和空间特征距。

通过计算像素和其周围超像素种子点的相似度，选择最小目标函数对应的超像素标记作为该像素点的标记。一旦像素被分配了超像素标签，它所属的超像素集合的种子中心和颜色特征将更新为新集合的质心位置和颜色均值。聚类阶段将在像素间迭代计算相似性度量，得到超像素预分割结果。

(1)边界特征因子

为了得到边界与图像目标边缘贴合度高的超像素，本发明在相似性度量中引入了边界特征，由该因子调整颜色差异和空间毗邻的重要性。它在衡量像素之间的相似性中起到监督和平衡的作用，在复杂区域偏重颜色值变化的影响，使超像素边界尽可能地贴近图像目标轮廓，在平缓区域倾向于依靠空间距离生成均匀规则的超像素。

一般来说，位于图像中边界的像素梯度较高，而平滑区域的梯度较小，因此可以根据梯度信息估计像素落在边界的可能性。通过检测像素落在边界的概率给出边界特征因素的具体定义，如下：

w(x)＝α+wζ(x) (1.2)

其中，常数α是边界因子的最低影响系数，且α∈[0.5,1]；w_ζ(x)是像素点x落在边界的概率，其值通过估计梯度值得到。当w(x)值较大时，意味着该像素处于图像边界的概率越大，像素之间的相似性度量倾向于颜色的相似性，边界会更加贴合；当w(x)值较小时，意味着该像素更可能处于平坦区域，像素之间的相似性度量倾向于空间距离，产生规整大小的超像素。

由于噪声的存在，有些不处于目标边界的像素梯度值也会很大。因此，本发明将综合考虑像素点及邻域内像素的梯度，以梯度值的平均值作为判断像素边界的依据。根据公式(1.3)，能够算出像素点在3×3区域内的平均梯度值G(x)，进一步地，需要把G(x)归一化压缩估计出像素点x落在边界的概率。本发明根据三角函数归一化方法，将G(x)压缩到区间[0,1]内，得到的w_ζ(x)如公式(1.4)所示。

其中，g(x_i)为像素点x_i的梯度值，R^ζ(x)代表以像素x为中心的ζ×ζ邻域内的所有像素，ζ取值为3。G(x)_max和G(x)_min分别为梯度的最大值和最小值。参数ξ用来区分边界和弱边界，使得像素边界概率w_ζ(x)在G(x)较小时变化幅度较小，同时在弱边界适当放大，其值通常取梯度最小值和最大值的3/4处；G(x)足够大的时候取1，从而更好地区分边界。

(2)颜色特征距；

本发明涉及CLELAB颜色空间。CLELAB颜色空间同RGB颜色空间相比，Lab是一种不常用的色彩空间。它是在1931年国际照明委员会(CIE) 制定的颜色度量国际标准的基础上建立起来的。1976年，经修改后被正式命名为CIELab。它是一种设备无关的颜色系统，也是一种基于生理特征的颜色系统。这也就意味着，它是用数字化的方法来描述人的视觉感应。Lab颜色空间中的L分量用于表示像素的亮度，取值范围是[0,100],表示从纯黑到纯白；

本发明首先将图像的颜色表示映射到CLELAB颜色空间中，再根据该模型的颜色分量计算像素间颜色的相似程度，控制同一超像素内的像素颜色大致相同，具体定义如下：

其中L_x，A_x，B_x是像素点x对应的L，a，b值，而L_l，A_l，B_l是种子点l对应的各分量值。λ₁是常数，当像素点x和种子点l颜色相差越小时，d_lab(x,l)值越小。

(3)空间特征距

理想的超像素应该保持紧凑。本发明基于欧几里得距离定义了一个空间相似距离项来控制超像素的紧凑性，具体公式如下：

其中，λ₂是常数，(x_x,y_x)和(x_l,y_l)分别是像素点x和种子点l在XY平面的坐标。当像素点x和种子点l颜色位置坐标越近时，d_xy(x,l)值越小。

在本发明涉及的合并阶段中，目前性能较佳的SLIC算法反映出了聚类算法普遍存在的问题，即在多次迭代聚类后得到的结果会产生很多零散孤立的不属于其相邻超像素的像素，特别是在图像颜色变化很大的细节区域。本发明涉及一个基于纹理特征的合并策略衡量超像素之间的相似性从而把零散像素以及较小的超像素集合归入相邻最相似超像素。

在合并阶段，本发明定义了一个包含颜色特征项、空间特征距和纹理特征距的相似性函数，以衡量需要合并的超像素sp_i和其邻近的超像素sp_j之间的相似性，度量准则如公式(1.7)所示：

D(sp_i,sp_j)＝dist_lab(sp_i,sp_j)+dist_xy(sp_i,sp_j)+β·dist_acce(sp_i,sp_j) (1.7)

其中，dist_lab(sp_i,sp_j)是超像素sp_i和sp_j之间的颜色特征，dist_xy(sp_i,sp_j)是超像素sp_i和sp_j之间的空间特征距，dist_acce(sp_i,sp_j)是超像素sp_i和sp_j之间的纹理特征距，常数β用来衡量三个特征距离在超像素间相似性度量的比重。目标函数 D(sp_i,sp_j)的值愈小，则表明两个超像素的相似程度越高，可合并的可能性越大。一旦合并，它所属的超像素集合的重心和颜色均值随新集合而更新。

超像素预分割产生了许多零散孤立和小的超像素，通过计算它和周围超像素的相似程度，可以找到与之最相似的超像素，并将其标记更新，合并入最小目标函数对应的超像素集合。合并阶段打通了不连接的超像素，输出的分割结果保证了目标的完整性。

合并阶段涉及的纹理特征距：

合并阶段引入的纹理特征是通过灰度共生矩阵(Gray-Level Co-OccurrenceMatrix，GLCM)提取到的。GLCM可以反映图像灰度在相邻方向、相邻间隔、变化幅度等综合信息，从中导出四个统计信息作为局部区域的纹理表征，包括能量、对比度、相关度和熵。能量度量的是图像纹理的灰度变化，反映出灰度分布的均匀程度以及纹理的粗细程度；对比度提取出 GLCM的局部变化，反映了图像的清晰程度以及沟纹的深浅；相关度测量了指定像素对的发生率，即在行或列方向上的相似程度，反映了图像局部灰度相关性；熵体现了图像纹理的随机性。特征提取的具体计算公式为：

①能量：ASM＝∑_i∑_jT(i,j)²

②对比度：CON＝∑_i∑_j(i-j)²T(i,j)

③相关度：CORRLN＝(∑_i∑_j((i,j)T(i,j))-μ_xμ_y)/δ_xδ_y

④熵：ENG＝-∑_i∑_jT(i,j)logT(i,j)

其中，μ_x＝∑_ii∑_jT_ij，μ_y＝∑_jj∑_iT_ij，δ_x＝∑_i(iμ_x)²∑_jT_ij，δ_y＝∑_j(jμ_y)²∑_iT_ij，T_ij是GLCM 矩阵中位置(i,j)处元素的值。GLCM函数通过计算像素对概率确定特征值。首先，将图像转换成灰度图，本发明采用5×5滑动窗口扫描灰度图，以两相邻像素距离为1作为步长，并且以0°、45°、90°、135°四个方向的特征平均值作为最终特征值存储到GLCM矩阵。

首先，将图像灰度图的灰度级压缩到8，通过计算出每个像素相应的统计特征值，生成8×8大小的特征值矩阵。从GLCM中导出的四个参数可以直观地反应各个纹理特征属性的局部分布情况。因此，纹理特征可以作为判定零散超像素是否相似的重要特征。衡量超像素纹理相似度的公式为：

其中，dist_t(sp_i,sp_j)是超像素sp_i和超像素sp_j之间的相似性度量，

和

为超像素sp_i和超像素sp_j的灰度均值，

和

分别表示超像素sp_i和超像素sp_j的平均能量特征，

和

分别表示超像素sp_i和超像素sp_j的平均对比度特征，

和

分别表示超像素sp_i和超像素sp_j的平均相关度特征，

和

分别表示超像素sp_i和超像素sp_j的熵特征平均值。纹理越复杂，图像包含的信息就越多，熵越大；纹理凹槽越深，对比度越大。纹理特征距愈大，两个超像素之间的的纹理相似性程度就越高。

合并阶段涉及的颜色特征矩及空间特征距；

合并阶段使用的颜色特征矩和空间特征距与聚类阶段中使用的有所不同。聚类阶段是衡量像素点之间的相似程度，以进一步聚类，而合并阶段需要衡量超像素之间的相似程度，以进一步合并。公式(1.9)和(1.10)分别是颜色特征距及空间特征距：

其中，

是超像素sp_i在CIELab空间的颜色平均，

表示超像素sp_i的质心在XY空间的横、纵坐标。

本发明涉及的合并策略；在图像变化很大的细节区域，聚类过程能够得到包含一定像素的超像素集合，但是也同样存在着大量零散孤立的不属于其相邻超像素的像素，而合并策略的目的就是将零散孤立的超像素再次合并。

首先，为了筛选出需要进行合并的零散像素和小的超像素，设定超像素门限值为

其中，λ为常数，N为图像的像素数量，K为预期的超像素数量。它将决定在第n次合并过程中需要合并的超像素包含像素数量的值。

合并策略需要多次执行才能达到预期效果，不断找到零散像素以及较小的超像素并将其归入相邻最相似超像素。每次合并过程结束后，统计当前超像素的数量是否满足预期值，若超像素的数量小于或者等于预期值K时，则停止合并，最终得到超像素结果。

基于上述说明，本发明的方法融合了图像的边界特征和纹理特征，并通过聚类阶段和合并阶段进行处理。本发明提出的方法步骤包括：

步骤1：输入图像，输入预期的超像素个数K；

步骤2：以正六边形的形式初始化K个种子点，并将其移动到3×3邻域内具有最小梯度的位置，作为聚类中心；

步骤3：根据公式1.3计算每个像素点对应的梯度值G(x)；

步骤4：将像素梯度值G(x)归一化得到每个像素点的边界概率w_ζ(x)，进而得出每个像素点的边界特征因子w(x)；

步骤5：将图像的颜色表示转换为CLELAB空间，建立五维向量 p(x,y,L,a,b)；

步骤6：根据向量的前两维，利用公式1.6计算像素点x与周围种子点l 的空间特征距d_xy(x,l)；根据向量的后三维，利用公式1.5计算像素点x与周围种子点l的颜色特征距d_lab(x,l)；

步骤7：根据公式1.1，结合步骤4和步骤6，计算图像中像素点x与周围种子点l的相似度D(x,l)，取D(x,l)_min对应的种子点为像素点x的类别标记；

步骤8：将聚类中心的坐标、颜色更新为超像素的质心和颜色均值；

步骤9：重复步骤7和步骤8，直至超像素达到收敛，得到预分割超像素；

步骤10：建立图像对应的特征值灰度共生矩阵(GLCM)；

步骤11：从GLCM中提取能量、对比度、熵、相关度四个特征，得到每个点的纹理特征；

步骤12：自图像左上角开始遍历超像素，按照自左向右、自上而下的顺序给所有预分割超像素编号；

步骤13：每个超像素包含的像素个数

并找出

的超像素sp_m；

步骤14：以像素的颜色均值作为超像素的颜色特征，超像素的质心为超像素的空间特征，并根据公式1.8，得到超像素的纹理特征dist_t(sp_i,sp_j)；

步骤15：根据公式1.7，结合步骤14，计算超像素sp_m与其周围超像素的相似度D(sp_m,sp_i)，取D(sp_m,sp_i)_min对应的超像素类别为超像素sp_m的新标记；

步骤16：重复步骤15，直至所有新超像素包含的像素数量都大于阈值φ_n，即可输出合并后的超像素分割图。

基于上述方法，本发明进行相应的实验结果及分析。

实验数据来自Berkely公开的BSD500图像分割数据集，包含500幅自然图像，每幅图像配有5～7名不同专家手动标记的真实值图像。本发明算法用 C++在VS 2010的开发环境下编译仿真实现，应用平台：CPU：

E5-2643v4@3.40GHz,GPU：NVIDIAGeForce GTX 1080M, 256GB内存。

具体参数设置包括：

(1)相似性度量参数

本发明算法共涉及α、β、γ、λ₁、λ₂五个参数。α∈[0.5,1]，是边界因子的最低影响系数，同时可以平衡颜色特征项和空间特征距在相似性度量中的重要性。α值越大，图像边界处的颜色特征距对相似性度量的影响越大，生成的超像素与图像边界的贴合度越高，但形状不一定规则。相反地，α值越小，空间特征距对相似性度量的影响越大，生成的超像素形状越规则，但超像素的边界和图像边界不能很好地贴合。

图1显示了α依次取0.5、0.7、0.9的分割结果以及局部放大区域。当α＝0.5 时，超像素很规整，但边界贴合比较差，当α＝0.7时，超像素相对规整而且与图像边界几乎高度贴合，当α＝0.9时，超像素边界贴合很好，但产生的超像素相对不规整。

在聚类阶段，还包含λ₁,λ₂参数，且λ₁∈[0.05,1)，λ₂∈[1,10]，当λ₁值越小，颜色特征距相对会更大，在相似性度量中起到更大的作用；λ₂值越小，距离特征距的影响程度越大。本发明在BSD500的验证集进行了多次验证，发现参数设置是λ₁＝0.2且λ₂＝2时的分割结果最好。此外，设置公式(1.7)中β＝2，阈值门限参数γ＝0.3。

综上所示，为了获得最佳的实验结果，本节的所有实验均通过以下参数配置完成：α＝0.7、β＝2、γ＝0.3、λ₁＝0.2、λ₂＝2。

(2)迭代次数

在聚类阶段，因为相似性度量引入了边界特征因子，像素能更加快速地识别边界像素，并准确地划分为超像素；同时，合并策略融合了超像素的局部纹理特征，在合并阶段可以把零散超像素有效合并入颜色、亮度、纹理等特征与之相似的邻近超像素。由于本发明算法的目标函数考虑了边界和纹理的约束，算法能更快地识别边界，加速了超像素的收敛过程，因此算法只要进行少数的迭代即可。图2显示了预期超像素个数为300时迭代2、3和4次得到的分割结果，从图中可以发现，当迭代次数为3时，已经能达到很好的分割效果，继续增加迭代次数对最终结果没有太大提高。因此设置算法的迭代次数为3。

可视化结果对比：

为了评估本发明提出的基于多特征的超像素聚类方法的有效性，与现有技术中分割性能较好的超像素分割算法进行比较，包括SLIC、Turbopixels、 ERS、LSC和LRW，5种算法均使用发明作者公布的源代码运行，并且采用了建议的参数实现。

图3所示为本发明方法和五种对比方法有代表性的超像素结果，预期超像素数量分别为300。

从视觉效果上看，本发明算法生成的超像素在边界贴合度方面取得最好的效果，其次是SLIC、LSC；MFS生成的超像素的边缘与图像目标的边界高度重合，同时相邻的超像素分别包含不同的纹理和图像内容。例如图片第一列蝴蝶的翅膀，经本发明方法生成的超像素可以与翅膀的花纹保持紧密，而其他方法的超像素还在实际边界周边徘徊。

由于复杂纹理区域包含许多颜色变化，仅靠颜色信息不足以区分这些区域中的不同对象。与颜色特征不同，纹理特征是可用于表征区域颜色变化的局部图像特征。然而，上述方法均没有利用图像的纹理特征，各方法忽视了图像特征(如颜色、纹理、空间位置和邻域信息)对图像过分割的意义。因此，这些方法在纹理区域不能达到较高的分割水平。相比之下，本发明的MFS 算法，它计算了像素点位于边界的概率，统计了图像对比度、亮度、能量和熵等信息作为纹理特征，产生的超像素具有高水平的边界贴合度。图3为各方法的超像素分割结果及其局部放大图，自上而下依次为SLIC、Turbopixels、 ERS、LSC、LRW和基于多特征的超像素聚类方法。

量化对比：

(1)量化指标

为了评估超像素结果，边界召回率(Boundary recall，BR)，欠分割错误率(Under-segmentation error，USE)，以及可实现的分割精度(Achievable segmentationaccuracy，ASA)是衡量超像素分割算法性能的三个常用指标。

(1)BR：BR是伯克利细分基准最基本的测度，被用来评价超像素边界贴合度。它计算丢失的超像素边界上至少两个像素的标注好的边的数量。BR 值越大，意味着只有非常少的边丢失了，落入超像素边界的比例越多，边界贴合度越好。

(2)USE：USE本质上是估量遵循一个已知标准(即人工分割的图像) 下算法分割一幅 图像产生的误差。此误差需要先设置好标准分割区域，再通过分割算法，以分割输出“出血”的形式计算出来。该方法将惩罚那些没有紧密符合标准分割边界的超像素。设一幅 图像的标准分割为区域{G_i|i＝1,2,…,M}，而且超像素分割为超像素{S_j|j＝1,2,…,K}，整副图像的USE计算公式如下所示：

式中N是像素的总数量，Area(S_j)是超像素S_j的面积，O_ij为重叠区域的面积，在选取标准区域和实际超像素结果时，至少要考虑超像素尺寸的5％，本发明设置比率为5％。USE越小越好，意味着图像中识别出的目标越多。

(3)ASA：该度量用来判断图像中的物体是否被正确识别。换言之，ASA 通过用拥有最大重叠区域的标准分割为每个超像素贴上标签来计算最高的识别率。度量定义如下式所示：

ASA值越大，意味着图像中被正确识别的对象就越多。每个算法的ASA 值最终取自所有图像的平均值。

(2)量化结果

本发明提出的方法在超像素分割中取得了较好的视觉效果，为了进一步验证该算法的优势与局限性，与上述提到的五种分割算法进行了对比，并运用超像素分割中常见的评价标准BR、ASA和USE来衡量本发明算法的性能。

通过对BSD500中所有图像的BR、ASA和USE值取平均值，比较三项数据可以发现，超像素数量较少时，LSC算法的BR比本发明算法略高，随着超像素数量的增大，本发明算法的BR指标逐渐超越其他对比算法。其次，本发明算法的ASA值与LSC算法不相伯仲，进一步说明本发明算法识别正确的超像素是最多的。本发明算法在USE上取得了最好的性能。

综合图像质量评价，本发明提出的基于多特征的超像素聚类算法边缘贴合度高，分割目标准确。

基于上述方法本发明还提供一种实现基于多特征的超像素聚类方法的设备，包括：存储器，用于存储计算机程序及基于多特征的超像素聚类方法；

处理器，用于执行所述计算机程序及基于多特征的超像素聚类方法，以实现基于多特征的超像素聚类方法的步骤。

实现基于多特征的超像素聚类方法的设备是结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的实现基于多特征的超像素聚类方法的设备可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据实现基于多特征的超像素聚类方法的设备公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的基于多特征的超像素聚类方法。

所属技术领域的技术人员能够理解，实现基于多特征的超像素聚类方法的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本发明所示的这些实施例，而是要符合与本发明所公开的原理和新颖特点相一致的最宽的范围。

Claims (2)

1.一种基于多特征的超像素聚类方法，其特征在于，方法包括：

检测边界特征因子；

通过检测像素落在边界的概率得到边界特征因子，如下：

w(x)＝α+w_ζ(x) (1.2)

其中，常数α是边界特征因子的最低影响系数，且α∈[0.5,1]；w_ζ(x)是像素点x落在边界的概率；

当w(x)值较大时，像素处于图像边界的概率越大，像素之间的相似度倾向于颜色的相似性，边界更加贴合；

当w(x)值较小时，像素处于平坦区域，像素之间的相似度倾向于空间距离，产生规整大小的超像素；

步骤1：输入图像，配置预期的超像素个数K；

步骤2：以正六边形的形式初始化K个种子点，并将其移动到3×3邻域内具有最小梯度的位置，作为聚类中心；

步骤3：计算每个像素点对应的平均梯度值G(x)；

步骤4：将平均梯度值G(x)归一化得到每个像素点的边界概率w_ζ(x)，得出每个像素点的边界特征因子w(x)；

以梯度值的平均值作为判断像素边界的依据；

根据公式(1.3)，算出像素点在3×3区域内的平均梯度值G(x)；

把G(x)归一化压缩估计出像素点x落在边界的概率；

根据三角函数归一化方法，将G(x)压缩到区间[0,1]内，得到的w_ζ(x)如公式(1.4)；

其中，g(x_i)为像素点x_i的梯度值，R^ζ(x)代表以像素x为中心的ζ×ζ邻域内的所有像素，ζ取值为3；G(x)_max和G(x)_min分别为梯度的最大值和最小值；

参数ξ用来区分边界和弱边界，使得像素边界概率w_ζ(x)在G(x)较小时变化幅度较小，同时在弱边界放大预设量，放大预设量取梯度的最大值和最小值之间的3/4处；

步骤5：将图像的颜色表示转换为CLELAB空间，建立五维向量p(x,y,L,a,b)；

将图像的颜色映射到CLELAB颜色空间中，根据预设模型的颜色分量计算像素间颜色的相似程度，控制同一超像素内的像素颜色差在预设范围内，颜色特征距定义如下：

其中L_x，A_x，B_x是像素点x对应的L，a，b值，L_l，A_l，B_l是种子点l对应的各分量值；

λ₁是常数，当像素点x和种子点l颜色相差越小时，d_lab(x,l)值越小；

步骤6：根据向量的前两维，计算像素点x与周围种子点l的空间特征距d_xy(x,l)；

根据向量的后三维，计算像素点x与周围种子点l的颜色特征距d_lab(x,l)；

基于欧几里得距离定义一个空间特征距来控制超像素的紧凑性，公式如下：

其中，λ₂是常数，(x_x,y_x)和(x_l,y_l)分别是像素点x和种子点l在XY平面的坐标；

当像素点x和种子点l颜色位置坐标越近时，d_xy(x,l)值越小；

步骤7：获取像素点x和种子点l之间的相似度，根据步骤4和步骤6，计算图像中像素点x与周围种子点l的相似度D(x,l)，取D(x,l)_min对应的种子点为像素点x的类别标记；

获取像素点x和种子点l之间的相似度，由公式(1.1)求得：

D(x,l)＝w(x)·d_lab(x,l)+d_xy(x,l) (1.1)

其中，w(x)是边界特征因子，d_lab(x,l)和d_xy(x,l)分别是颜色特征距和空间特征距；

通过计算像素和像素周围超像素种子点的相似度，选择最小目标函数对应的超像素标记作为该像素点的标记；

如像素被分配到超像素标签，所述超像素标签的超像素集合的种子中心和颜色特征将更新为新集合的质心位置和颜色均值；

聚类阶段将在像素间迭代计算相似度，得到超像素预分割结果；

步骤8：将聚类中心的坐标、颜色更新为超像素的质心和颜色均值；

步骤9：重复步骤7和步骤8，直至超像素达到收敛，得到预分割超像素；

步骤10：建立图像对应的特征值灰度共生矩阵；

步骤11：从灰度共生矩阵中提取能量、对比度、熵、相关度四个特征，得到每个点的纹理特征；

合并阶段涉及的纹理特征距：

合并阶段引入的纹理特征是通过灰度共生矩阵提取到的；

灰度共生矩阵GLCM反映图像灰度在相邻方向、相邻间隔、变化幅度综合信息，从中导出四个统计信息作为局部区域的纹理表征，包括能量、对比度、相关度和熵；

能量度量的是图像纹理的灰度变化，反映出灰度分布的均匀程度以及纹理的粗细程度；

对比度提取出GLCM的局部变化，反映了图像的清晰程度以及沟纹的深浅；相关度测量了指定像素对的发生率，在行或列方向上的相似程度，反映了图像局部灰度相关性；熵体现了图像纹理的随机性；

特征提取的具体计算公式为：

①能量：ASM＝∑_i∑_jT(i，j)²

②对比度：CON＝∑_i∑_j(i-j)²T(i，j)

③相关度：CORRLN＝(∑_i∑_j((i，j)T(i，j))-μ_xμ_y)/δ_xδ_y

④熵：ENG＝-∑_i∑_jT(i，j)log T(i，j)

其中，μ_x＝∑_ii∑_jT(i，j)，μ_y＝∑_jj∑_iT(i，j)，δ_x＝∑_i(iμ_x)²∑_jT(i，j)，δ_y＝∑_j(jμ_y)²∑_iT(i，j)，T(i，j)是GLCM矩阵中位置(i，j)处元素的值；

GLCM函数通过计算像素对概率确定特征值；

将图像转换成灰度图，采用5×5滑动窗口扫描灰度图，以两相邻像素距离为1作为步长，并且以0°、45°、90°、135°四个方向的特征平均值作为最终特征值存储到GLCM矩阵；

步骤12：自图像左上角开始遍历超像素，按照自左向右、自上而下的顺序给所有预分割超像素编号；

步骤13：每个超像素包含的像素个数

并找出

的超像素sp_m；

步骤14：以像素的颜色均值作为超像素的颜色特征，超像素的质心为超像素的空间特征，并衡量超像素纹理相似度，得到超像素纹理相似度dist_t(sp_i，sp_j)；

将图像灰度图的灰度级压缩到8，通过计算出每个像素相应的统计特征值，生成8×8大小的特征值矩阵；

纹理特征作为判定零散超像素是否相似的特征；衡量超像素纹理相似度的公式为：

其中，dist_t(sp_i,sp_j)是超像素sp_i和超像素sp_j之间的超像素纹理相似度，

和

为超像素sp_i和超像素sp_j的灰度均值，

和

分别表示超像素sp_i和超像素sp_j的平均能量特征，

和

分别表示超像素sp_i和超像素sp_j的平均对比度特征，

和

分别表示超像素sp_i和超像素sp_j的平均相关度特征，

和

分别表示超像素sp_i和超像素sp_j的熵特征平均值；

步骤15：定义包含颜色特征项、空间特征距和超像素纹理相似度的相似性函数，以衡量合并的超像素和其邻近的超像素之间的相似性，计算超像素sp_m与其周围超像素的相似度D(sp_m,sp_i)，取D(sp_m,sp_i)_min对应的超像素类别为超像素sp_m的新标记；

定义包含颜色特征项、空间特征距和超像素纹理相似度的相似性函数，以衡量合并的超像素sp_i和其邻近的超像素sp_j之间的相似性，度量准则如公式(1.7)所示：

D(sp_i,sp_j)＝dist_lab(sp_i,sp_j)+dist_xy(sp_i,sp_j)+β·dist_t(sp_i,sp_j) (1.7)

其中，dist_lab(sp_i,sp_j)是超像素sp_i和sp_j之间的颜色特征，dist_xy(sp_i,sp_j)是超像素sp_i和sp_j之间的空间特征距，dist_t(sp_i,sp_j)是超像素sp_i和sp_j之间的超像素纹理相似度，常数β用来衡量三个特征距离在超像素间相似度的比重；目标函数D(sp_i,sp_j)的值愈小，则表明两个超像素的相似程度越高，合并的可能性越大；

公式(1.9)和(1.10)分别是颜色特征及空间特征距的计算方式：

其中，

是超像素sp_i在CIELab空间的颜色平均，

表示超像素sp_i的质心在XY空间的横、纵坐标；

通过计算零散孤立和小的超像素分别与周围超像素的相似程度，找到与零散孤立或小的超像素最相似的超像素，并将其标记更新，合并入最小目标函数对应的超像素集合；

合并后打通了不连接的超像素，保证输出分割结果目标的完整性；

步骤16：重复步骤15，直至所有新超像素包含的像素数量都大于阈值φ_n，即可输出合并后的超像素分割图。

2.一种实现基于多特征的超像素聚类方法的设备，其特征在于，包括：

存储器，用于存储计算机程序及基于多特征的超像素聚类方法；

处理器，用于执行所述计算机程序及基于多特征的超像素聚类方法，以实现如权利要求1基于多特征的超像素聚类方法的步骤。

Images