CN106056155A - 基于边界信息融合的超像素分割方法 - Google Patents

Abstract

本发明公开了一种基于边界信息融合的超像素分割方法，主要解决现有SLIC算法对细小虚弱边界贴合度较低的问题。其实现步骤是：1)获取原始图像的边缘图像；2)获取原始图像的LAB空间转换图像；3)在LAB转换图像内初始化平面聚类中心；4)在平面聚类中心的局部范围内初始化边界聚类中心；5)更新平面聚类中心和边界聚类中心为3×3邻域内的梯度最小点；6)在LAB转换图像内对像素点进行分类；7)循环迭代步骤6)，获得LAB转换图像像素点的最终标记；8)将具有相同标记的像素点构成一个超像素，获得原始图像的超像素分割结果。本发明提高了超像素对细小虚弱边缘的贴合度，可用于分类、识别、跟踪等要求检测目标的场合。

Description

基于边界信息融合的超像素分割方法

技术领域

本发明属于图像处理技术领域，特别涉及一种超像素分割方法，可用于图像分类、目标识别、目标跟踪等要求检测目标的场合。

背景技术

超像素是图像中一系列位置相邻且亮度、颜色、纹理等特征相似的像素点组成的小区域。超像素具有良好的局部特征表达能力，能够提取图像的中层特征，并方便地表达图像的结构信息。将超像素分割作为图像处理算法的预处理步骤，能够大幅降低后续处理的计算复杂度。超像素分割已经成为计算机视觉领域的一项关键技术，并被应用于多种视觉任务，如图像分割、深度估计、显著性检测、人体姿态估计、目标识别等。

简单线性迭代聚类SLIC算法是目前应用最广泛的超像素分割算法。与其他现有超像素分割算法相比，如Shi等人的Normalized Cuts算法、Levinshtein等人的Turbopixels算法、Vedaldi等人的Quick Shift算法等，SLIC算法复杂度更低，对边缘的贴合度更好，生成的超像素更紧凑、形状更规则。同时，SLIC算法原理简单、使用方便，能够控制超像素的数量。但是SLIC算法对图像中细小虚弱边缘的贴合度仍有待提升，SLIC算法容易将处于细小或虚弱边缘处的像素点与相邻背景像素点分到同一个超像素中，降低超像素对细小虚弱边缘的贴合度。

发明内容

本发明的目的在于针对上述SLIC算法对细小虚弱边缘贴合度较低的不足，提出一种基于边界信息融合的超像素分割方法，以在不降低传统SLIC算法边缘贴合度的前提下，提高超像素对细小虚弱边缘的贴合度。

实现本发明的技术思路是：初始化平面聚类中心和边界聚类中心，融合边界信息对像素点与平面聚类中心和边界聚类中心的距离进行度量，利用局部k-means算法对像素点进行分类标记，对平面聚类中心进行均值更新，而使边界聚类中心保持不变，循环迭代分类标记过程，将具有相同标记的像素点看成一个超像素，在图像平面内画出所有超像素的边界，即得原始图像I的超像素分割结果。其具体步骤包括如下：

(1)计算原始彩色图像I的二值化边界图像B；

(2)对原始彩色图像I进行颜色空间转换，得到LAB颜色空间的转换彩色图像I_lab；

(3)在转换彩色图像I_lab平面内，按照六边形分布初始化平面聚类中心P_a：

(3a)以像素为单位分别计算平面聚类中心的水平步长S_h和垂直步长S_v：

$S_h=\sqrt{\frac{N}{(\sqrt{3}/2)\·K}},S_v=\frac{\sqrt{3}}{2}\·S_h,$

其中，N为图像像素点总数，K为期望的超像素数目；

(3b)对平面聚类中心进行行向初始化，即在转换彩色图像I_lab平面内，从行像素开始，每间隔S_v行，选定一行像素作为平面聚类中心所在行；

(3c)对平面聚类中心进行列向初始化：

对于奇数行，从列像素开始，每间隔S_h列，选定一个像素作为平面聚类中心初始值；

对于偶数行，从S_h列像素开始，每间隔S_h列，选定一个像素作为平面聚类中心初始值；

(3d)将步骤(3b)-(3c)产生的平面聚类中心标记为P_a，a＝1,2,...,N_P，N_P为平面聚类中心总数；

(4)在平面聚类中心的局部范围内初始化边界聚类中心E_b：

(4a)在转换彩色图像I_lab平面内确定搜索窗口：

在转换彩色图像I_lab平面内，将以平面聚类中心P_a为中心的S_h×S_h邻域范围作为搜索窗口W_P，并记录W_P在图像平面内的几何位置，记为[r₀,c₀,Δr,Δc]，其中r₀、c₀分别为搜索窗口左上角像素点的行号、列号，Δr、Δc分别为搜索窗口的行宽、列宽；

(4b)在二值化边界图像B平面内确定边界窗口：

在二值化边界图像B平面内，将左上角像素坐标为[r₀,c₀]，行宽为Δr，列宽为Δc的矩形范围作为边界窗口W_B；

(4c)在转换彩色图像I_lab平面内初始化边界聚类中心：

将W_P与W_B进行与运算，若运算结果中含有非零元素，说明平面聚类中心P_a的S_h×S_h邻域范围内存在边界点，随机选取边界点的一个中值点，将其作为边界聚类中心的初始值；若运算结果中没有非零元素，说明平面聚类中心P_a的S_h×S_h邻域范围内没有边界点，则不产生任何边界聚类中心；

(4d)将步骤(4c)产生的边界聚类中心标记为E_b，b＝1,2,...,N_E，N_E为边界聚类中心总数；

(5)将所有平面聚类中心和边界聚类中心更新为各自3×3邻域内的梯度最小点，得到更新后的平面聚类中心P_a′和边界聚类中心E_b′；

(6)将更新后的平面聚类中心P_a′和边界聚类中心E_b′作为初始值，利用局部k-means算法对转换彩色图像I_lab的像素点进行分类标记；

(7)循环迭代步骤(6)的分类标记过程，直至连续两次的平面聚类中心和边界聚类中心的误差之和不超过5％，得到所有像素点的最终标记；

(8)将具有相同标记的像素点看成一个超像素，在图像平面内画出所有超像素的边界，即得原始图像I的超像素分割结果。

本发明与现有的技术相比具有以下优点：

1.传统SLIC算法只是将图像平面内呈几何分布的像素点作为初始聚类中心，并没有专门将边界点作为初始聚类中心，本实例不仅将图像平面内呈几何分布的像素点作为初始平面聚类中心，还将呈几何分布的像素点的局部领域内的边界点作为初始边界聚类中心，这种专门将边界点作为初始聚类中心的初始化方法提高了超像素对细小边缘的贴合度；

2.本发明将平面聚类中心按照六边形分布进行初始化，相比于传统SLIC算法中的四边形分布，减少了以像素点为中心的2S_h×2S_h局部邻域内能搜索到平面聚类中心数目，从而减少了像素点与平面聚类中心之间距离度量的次数，保证了算法运算时间不会增加；

3.本发明将平面聚类中心局部领域内的边界点初始化为边界聚类中心，并且迭代过程中边界聚类中心始终保持初始值不变，这种不更新边界聚类中心的做法能有效地将图像中细小边缘分为独立的一类，大大降低了细小边缘像素点与相邻背景像素点被分为同一类的可能；

4.本发明融合边界信息对像素点与平面聚类中心和边界聚类中心的距离进行度量，当像素点与平面聚类中心或边界聚类中心的直线连线上存在边界点时，将二者距离置为无穷大，这种距离度量方法能有效避免将像素点分类标记到与之存在边界点的平面聚类中心或边界聚类中心中，有效提高了超像素对边缘的贴合度；

综上，本发明能在保持传统SLIC算法边缘贴合度的同时，有效提高超像素对细小边缘的贴合度。

附图说明

图1是本发明的实现总流程图；

图2是本发明中平面聚类中心呈四边形分布和六边形分布的对比图；

图3是本发明中平面聚类中心和边界聚类中心的示意图；

图4是本发明中超像素分割方法与传统SLIC算法的分割对比示例1；

图5是本发明中超像素分割方法与传统SLIC算法的分割对比示例2；

图6是本发明中超像素分割方法与传统SLIC算法在测试样本集上的欠分割错误率和边缘召回率变化曲线图。

具体实施方案

下面结合附图1对本发明的步骤作进一步的详细描述：

步骤1.计算原始彩色图像I的二值化边界图像B。

传统SLIC算法在局部k-means聚类过程中只利用了像素的颜色信息和空间信息，为了提高超像素对细小边界的贴合度，本实例在聚类中心初始化过程和距离度量过程中都融合了边界信息。提取彩色图像边界信息的方法有很多，如基于Canny算子的边缘提取方法、基于Sobel算子的边缘提取方法等。

本实例的原始图像为分辨率为481×321的RGB彩色图像，本实例采用但不局限于采用基于梯度的方法获取边界图像，具体步骤如下：

(1a)在灰度空间内，对原始彩色图像I进行梯度计算，得到x方向和y方向的梯度图像G_x、G_y；

(1b)对梯度图像G_x、G_y进行模值计算，得到原始彩色图像的边界图像 $E=\sqrt{G_x^2+G_y^2};$

(1c)利用Ostu算法对边界图像E进行二值化，得到二值化边界图像B。

步骤2.对原始彩色图像I进行颜色空间转换，得到LAB颜色空间的转换彩色图像I_lab。

LAB颜色空间是由国际照明委员会基于人类视觉感知规律提出的，LAB颜色空间是描述人眼可见的所有颜色的最完备的色彩空间。此外，LAB颜色空间内的很多“颜色”超出了人类视觉的视域，纯粹是假想的颜色，虽然这些“颜色”不能在物理世界中再生，但在图像操作的多个步骤之间使用假想色是很有用的，所以在图像处理领域常常利用LAB颜色空间。

本实例采用的原始图像是分辨率为481×321的RGB彩色图像，将图像从RGB彩色空间转换到LAB彩色空间的步骤如下：

(2a)对原始彩色图像I进行预处理：

本步骤旨在提高图像对比度。假设r、g、b是原始彩色图像I中像素的三个通道，R、G、B是预处理后的彩色图像I′中像素的三个通道，则r、g、b的取值范围均为[0,255]，预处理过程的转换公式如下：

$\left\{\begin{array}{c}R=gamma\left(\frac{r}{255.0}\right)\\ G=gamma\left(\frac{g}{255.0}\right)\\ B=gamma\left(\frac{b}{255.0}\right)\end{array}\right.;$

其中，gamma函数实现对图像的非线性色调编辑，能够提高图像对比度，gamma函数如下所示：

(2b)将RGB空间转换为XYZ空间：

假设X、Y、Z是转换后XYZ空间像素的三个通道，RGB空间到XYZ空间的转换是一个线性转换过程，转换公式如下：

$\left\{\begin{array}{c}X=0.4124*R+0.3576*G+0.1805*B\\ Y=0.2126*R+0.7152*G+0.0722*B\\ Z=0.0193*R+0.1192*G+0.9505*B\end{array}\right.;$

(2c)将XYZ空间转换为LAB空间：

假设L、A、B是转换后LAB彩色图像I_lab像素的三个通道，XYZ空间到LAB空间的转换公式如下：

$\left\{\begin{array}{c}L=116*f\left(\frac{Y}{100.0}\right)-16\\ A=500*\[f\left(\frac{X}{95.047}\right)-f\left(\frac{Y}{100.0}\right)\]\\ B=200*\[f\left(\frac{Y}{100.0}\right)-f\left(\frac{Z}{108.883}\right)\]\end{array}\right.,$

其中，函数f如下所示：

步骤3.在转换彩色图像I_lab平面内，按照六边形分布初始化平面聚类中心P_a。

传统SLIC算法的初始聚类中心没有平面聚类中心和边界聚类中心之分，为了提高超像素对细小边缘的贴合度，本实例将边界信息融合进了聚类中心初始化过程，即专门将边界点初始化为一种聚类中心。本实例将呈几何分布的聚类中心称为“平面聚类中心”，将由边界点充当的聚类中心称为“边界聚类中心”。

SLIC算法本质上是一种局部k-means聚类算法，该算法需要在像素点的局部邻域内搜索聚类中心，并计算像素点与搜索到的聚类中心的距离。为了减少计算距离的次数，保证算法运行时间不多于传统SLIC算法，本实例将初始平面聚类中心由传统SLIC算法中的四边形分布改进为六边形分布，如图2所示为初始平面聚类中心呈四边形分布和六边形分布的对比图，其中图2(a)为初始平面聚类中心呈四边形分布的示意图，图2(b)为初始平面聚类中心呈六边形分布的示意图。

由图2(a)可知，当初始平面聚类中心呈四边形分布时，在以像素点i，i＝1,2,...,N为中心的2S_h×2S_h局部领域内最多能搜索到8个平面聚类中心，即P₁、P₂、P₃、P₄、P₅、P₆、P₇、P₈；

由图2(b)可知，当初始平面聚类中心呈六边形分布时，在以像素点i为中心的2S_h×2S_h局部领域内最多能搜索到4个平面聚类中心，即P₁、P₂、P₃、P₄。

将平面聚类中心按六边形分布进行初始化，可以将像素点与平面聚类中心进行距离度量的次数由8降到4。假设图像像素总数为N，期望的超像素数目为K，颜色空间与坐标空间的加权因子为m，m控制超像素的紧凑度和规则度，取值越大生成的超像素越规则，通常取值范围在[5,40]，在转换彩色图像I_lab平面内，按照六边形分布初始化平面聚类中心P_a，其步骤如下：

(3a)以像素为单位分别计算平面聚类中心的水平步长S_h和垂直步长S_v：

$S_h\sqrt{\frac{N}{(\sqrt{3}/2)\·K}},S_v=\frac{\sqrt{3}}{2}\·S_h;$

(3b)对平面聚类中心进行行向初始化，即在转换彩色图像I_lab平面内，从行像素开始，每间隔S_v行，选定一行像素作为平面聚类中心所在行；

(3c)对平面聚类中心进行列向初始化：

对于奇数行，从列像素开始，每间隔S_h列，选定一个像素作为平面聚类中心初始值；

对于偶数行，从S_h列像素开始，每间隔S_h列，选定一个像素作为平面聚类中心初始值；

(3d)将步骤(3b)-(3c)产生的平面聚类中心标记为P_a，a＝1,2,...,N_P，N_P为平面聚类中心总数。

步骤4.在平面聚类中心的局部范围内初始化边界聚类中心E_b。

为提高超像素对细小边缘的贴合度，本实例专门将边界点初始化为边界聚类中心，具体步骤如下：

(4a)在转换彩色图像I_lab平面内确定搜索窗口：

在转换彩色图像I_lab平面内，将以平面聚类中心P_a为中心的S_h×S_h邻域范围作为搜索窗口W_P，并记录W_P在图像平面内的几何位置，记为[r₀,c₀,Δr,Δc]，其中r₀、c₀分别为搜索窗口左上角像素点的行号、列号，Δr、Δc分别为搜索窗口的行宽、列宽；

(4b)在二值化边界图像B平面内确定边界窗口：

在二值化边界图像B平面内，将左上角像素坐标为[r₀,c₀]，行宽为Δr，列宽为Δc的矩形范围作为边界窗口W_B；

(4c)在转换彩色图像I_lab平面内初始化边界聚类中心：

将W_P与W_B进行与运算，若运算结果中含有非零元素，说明平面聚类中心P_a的S_h×S_h邻域范围内存在边界点，随机选取边界点的一个中值点，将其作为边界聚类中心的初始值；若运算结果中没有非零元素，说明平面聚类中心P_a的S_h×S_h邻域范围内没有边界点，则不产生任何边界聚类中心；

(4d)将步骤(4c)产生的边界聚类中心标记为E_b，b＝1,2,...,N_E，N_E为边界聚类中心总数。

本步骤平面聚类中心和边界聚类中心的几何关系如图3所示，由图3可见，在平面聚类中心P₁的S_h×S_h邻域内搜索到了边界点，则随机选择这些边界点中的一个中值点初始化为边界聚类中心E₁；在平面聚类中心P₄的S_h×S_h邻域内没有搜索到任何边界点，则不产生任何边界聚类中心。

步骤5.将所有平面聚类中心和边界聚类中心更新为各自3×3邻域内的梯度最小点，得到更新后的平面聚类中心P_a′和边界聚类中心E_b′。

为了避免平面聚类中心和边界聚类中心被初始化为噪声点，将平面聚类中心和边界聚类中心都更新为各自3×3邻域内的梯度最小点，3×3邻域相对分辨率为481×321的图像而言是一个很小的区域，将平面聚类中心和边界聚类中心更新为3×3邻域内的梯度最小点，不仅可以避免噪声点被初始化为平面聚类中心或边界聚类中心，同时还能保证边界聚类中心的空间位置变化不超过±1个像素步长。具体步骤如下：

(5a)在转换彩色图像I_lab平面内，将以平面聚类中心P_a为中心的3×3邻域范围作为梯度窗口W_G；

(5b)在转换彩色图像I_lab平面内，分别计算梯度窗口W_G在x方向和y方向的梯度矩阵，得到这两个方向的梯度矩阵W_gx、W_gy；

(5c)对上述梯度矩阵W_gx、W_gy进行模值计算，得到梯度幅值矩阵

(5d)寻找梯度幅值矩阵A_G中的最小值，并记录该最小值的坐标，记为[r_g,c_g]，其中r_g、c_g分别为梯度幅值矩阵A_G中最小值点在在转换彩色图像I_lab平面内的行号、列号；

(5e)将平面聚类中心P_a的行列坐标更新为[r_g,c_g]，更新后的平面聚类中心记为P_a′；

(5f)按照步骤(5a)-(5e)将边界聚类中心更新为各自3×3邻域内的梯度最小点，更新后的边界聚类中心记为E_b′。

步骤6.利用局部k-means算法对像素点进行分类。

k-means算法是一种传统的聚类算法，该算法通常是在全局范围内寻找离样本点距离最近的聚类中心，从而实现样本点的分类标记，这种在全局范围内搜索最优聚类中心的做法最大缺点是搜索时间过长，考虑到超像素只是一个在局部范围内视觉上有意义的连续区域，为了缩短搜索时间，本实例用局部搜索代替全局搜索，这样既能满足超像素分割的局部最优的要求，也能缩短算法运行时间，其具体步骤如下：

(6a)将更新后的平面聚类中心P_a′和边界聚类中心E_b′作为局部k-means算法的初始值；

(6b)在以像素点i为中心的2S_h×2S_h局部领域内搜索平面聚类中心和边界聚类中心，得到平面聚类中心P′_σ和边界聚类中心E′_β，其中σ＝1,2,...,N_σ，N_σ为搜索到的平面聚类中心总数，β＝1,2,...,N_β，N_β为搜索到的边界聚类中心总数；

(6c)融合边界信息对像素点i与平面聚类中心P′_σ和边界聚类中心E′_β进行距离度量：

(6c1)设定一个与转换彩色图像I_lab行宽、列宽相同的二维矩阵，并将其所有元素置0，该二维矩阵记为直线标记矩阵M_l；

(6c2)在转换彩色图像I_lab平面内，将像素点i与平面聚类中心P′_σ用直线连接，直线记为l_Pi；

(6c3)将标记矩阵M_l中在直线l_Pi上的矩阵元素赋值1，其他元素值保持不变；

(6c4)将标记矩阵M_l与二值化边界图像B作与计算，获得像素点i与平面聚类中心P′_σ的距离：

若所得矩阵中含有非零元素，说明像素点i与平面聚类中心P′_σ两点连线上有边界点，将像素点i与平面聚类中心P′_σ的距离置为无穷大，距离度量公式表示为：d_p＝+∞，其中，d_p为像素点i与平面聚类中心P′_σ的距离；

若所得矩阵中没有非零元素，说明像素点i与平面聚类中心P′_σ两点连线上没有边界点，像素点i与平面聚类中心P′_σ的距离为颜色空间欧式距离和坐标空间欧式距离加权和，距离度量公式表示为：

其中，d_c为LAB颜色空间的欧氏距离，d_s为坐标空间的欧氏距离；d_c、d_s的计算公式为：Δl_i、Δa_i、Δb_i分别为像素点i与平面聚类中心P′_σ在LAB颜色空间中L、A、B颜色分量的差值；Δr_i、Δc_i分别为像素点i与平面聚类中心P′_σ在坐标空间中行号、列号的差值；

(6c5)按照步骤(6c1)-(6c4)对像素点i与边界聚类中心E′_β进行距离度量；

(6d)将像素点i标记为平面聚类中心P′_σ和边界聚类中心E′_β中距离像素点i最近的点；

(6e)更新平面聚类中心，边界聚类中心保持不变：

更新聚类中心的方法有多种，如均值法、中值法等，本实例采用才不限于采用均值法对平面聚类中心进行更新，本实例将平面聚类中心更新为所有与之具有相同标记的像素点的坐标向量的均值向量，为提高超像素对细小边缘的贴合度，保证边界聚类中心最终能将边缘像素点分类到一个独立的超像素中，本实例使边界聚类中心保持为步骤(5)获得更新后的边界聚类中心E′_b不变。

步骤7.循环迭代步骤(6)的分类标记过程，直至连续两次的平面聚类中心和边界聚类中心的误差之和不超过5％，得到所有像素点的最终标记。

经验数据表明，步骤(6)的分类标记只需迭代10次即可满足连续两次的聚类中心误差不超过5％，因此，本实例将迭代次数设置为10次。

步骤8.将具有相同标记的像素点看成一个超像素，在原始图像I平面内画出所有超像素的边界，即得原始图像I的超像素分割结果。

本发明的效果可通过以下仿真进一步说明：

1.仿真方法与条件

实验数据利用伯克利计算机视觉研究组的BSDS500图像库，仿真实验均在安装内存为4.00G、处理器为Intel(R)Core(TM)i3-2120CPU、主频为3.30GHz、操作系统为Windows7操作系统的机器上进行，仿真软件为Matlab2014a。

2.仿真内容

仿真1，从BSDS500图像库中选择一幅简单背景下含有细小边缘的图像作为输入图像，图像中细小边缘的尺寸小于图像宽度的5％，期望的超像素数目K＝1000，加权因子m＝{5，15，30}，用本发明方法与现有SLIC方法分别进行超像素分割，结果如图4所示，其中：

图4的第(a)列为采用SLIC方法的超像素分割结果；

图4的第(b)列为采用SLIC方法的超像素分割结果中方框标记区域的局部放大图；

图4的第(c)列为采用本发明方法的超像素分割结果；

图4的第(d)列为采用本发明方法的超像素分割结果中方框标记区域的局部放大图。

由图4的第(a)列可以看出，SLIC方法生成的超像素对图像中较粗的树干边缘具有良好的贴合度，由图4的第(b)列可以看出，SLIC方法生成的超像素容易将细小树枝处的像素点与相邻的天空背景像素点划分为同一个超像素，由图4的第(c)列可以看出，本发明方法生成的超像素对图像中较粗的树干边缘也具有良好的贴合度，由图4的第(d)列可以看出，本发明方法生成的超像素能够将细小树枝作为超像素的边界，达到超像素对细小树枝的良好贴合；同SLIC方法相比，本发明方法生成的超像素既能保证对粗边缘的良好贴合度，也能提高对图像中细小边缘的贴合度。

仿真2，从BSDS500图像库中选择一幅复杂背景下含有虚弱边缘的图像作为输入图像，图像中虚弱边缘处像素点的颜色向量与背景像素点的颜色向量相差不超过25％，期望的超像素数目K＝1000，加权因子m＝{5，15，30}，用本发明方法与现有的SLIC方法分别进行超像素分割，结果如图5所示，其中：

图5的第(a)列为采用SLIC方法的超像素分割结果；

图5的第(b)列为采用SLIC方法的超像素分割结果中方框标记区域的局部放大图；

图5的第(c)列为采用本发明方法的超像素分割结果；

图5的第(d)列为采用本发明方法的超像素分割结果中方框标记区域的局部放大图。

由图5的第(a)列可以看出，SLIC方法生成的超像素对图像中明显的门框边缘具有良好的贴合度，由图5的第(b)列可以看出，SLIC方法生成的超像素容易将虚弱树干处的像素点与相邻的森林背景像素点划分为同一个超像素，由图5的第(c)列可以看出，本发明方法生成的超像素对图像中明显的门框边缘也具有良好的贴合度，由图5的第(d)列可以看出，本发明方法生成的超像素能够将虚弱树干作为超像素的边界，达到超像素对虚弱树干的良好贴合；同SLIC方法相比，本发明方法生成的超像素既能保证对明显边缘的良好贴合度，也能提高对图像中虚弱边缘的贴合度。

仿真3，基于欠分割错误率和边缘召回率两个性能参数，用本发明方法与现有SLIC方法对BSDS500图像库中的500幅图像作对比实验。

设期望的超像素数目K从100到2500按间隔50取值，加权因子m＝{5,15,30}，将真实边缘点与超像素边缘点重合的部分定义为边缘召回点。

用本发明方法与现有SLIC方法进行超像素分割，结果如图6所示，其中：

图6的第(a)列为加权因子m＝5时的欠分割错误率和边缘召回率曲线；

图6的第(b)列为加权因子m＝15时的欠分割错误率和边缘召回率曲线；

图6的第(c)列为加权因子m＝30时的欠分割错误率和边缘召回率曲线。

由图6可以看出，本发明方法在欠分割错误率和边缘召回率两方面相对传统SLIC方法都有所改进。

将对比实验中欠分割错误率的具体数据以表格的形式给出，只列出实际输出超像素数目K′＝{500,1000,1500,2000,2500}、加权因子m＝{5,15,30}时的实验数据，得到欠分割错误率实验数据对比表1。

将对比实验中边缘召回率的具体数据以表格的形式给出，只列出实际输出超像素数目K′＝{500,1000,1500,2000,2500}、加权因子m＝{5,15,30}时的实验数据，得到边缘召回率实验数据对比表2。

由表1可以看出，本发明方法在实际输出超像素数目K′为500、加权因子m为30时欠分割错误率得到了最大改进，最大改进为7.97％。

由表2可以看出，本发明在实际输出超像素数目K′为2000、加权因子m为25时边缘召回率得到了最大改进，最大改进为11.92％。

表1欠分割错误率实验数据对比表

表2边缘召回率实验数据对比表

Claims (4)

1.基于边界信息融合的超像素分割方法，包括：

(1)计算原始彩色图像I的二值化边界图像B；

(2)对原始彩色图像I进行颜色空间转换，得到LAB颜色空间的转换彩色图像I_lab；

(3)在转换彩色图像I_lab平面内，按照六边形分布初始化平面聚类中心P_a：

(3a)以像素为单位分别计算平面聚类中心的水平步长S_h和垂直步长S_v：

$S_h=\sqrt{\frac{N}{(\sqrt{3}/2)\·K}},S_v=\frac{\sqrt{3}}{2}\·S_h,$

其中，N为图像像素点总数，K为期望的超像素数目；

(3b)对平面聚类中心进行行向初始化，即在转换彩色图像I_lab平面内，从行像素开始，每间隔S_v行，选定一行像素作为平面聚类中心所在行；

(3c)对平面聚类中心进行列向初始化：

对于奇数行，从列像素开始，每间隔S_h列，选定一个像素作为平面聚类中心初始值；

对于偶数行，从S_h列像素开始，每间隔S_h列，选定一个像素作为平面聚类中心初始值；

(3d)将步骤(3b)-(3c)产生的平面聚类中心标记为P_a，a＝1,2,...,N_P，N_P为平面聚类中心总数；

(4)在平面聚类中心的局部范围内初始化边界聚类中心E_b：

(4a)在转换彩色图像I_lab平面内确定搜索窗口：

在转换彩色图像I_lab平面内，将以平面聚类中心P_a为中心的S_h×S_h邻域范围作为搜索窗口W_P，并记录W_P在图像平面内的几何位置，记为[r₀,c₀,Δr,Δc]，其中r₀、c₀分别为搜索窗口左上角像素点的行号、列号，Δr、Δc分别为搜索窗口的行宽、列宽；

(4b)在二值化边界图像B平面内确定边界窗口：

在二值化边界图像B平面内，将左上角像素坐标为[r₀,c₀]，行宽为Δr，列宽为Δc的矩形范围作为边界窗口W_B；

(4c)在转换彩色图像I_lab平面内初始化边界聚类中心：

将W_P与W_B进行与运算，若运算结果中含有非零元素，说明平面聚类中心P_a的S_h×S_h邻域范围内存在边界点，随机选取边界点的一个中值点，将其作为边界聚类中心的初始值；若运算结果中没有非零元素，说明平面聚类中心P_a的S_h×S_h邻域范围内没有边界点，则不产生任何边界聚类中心；

(4d)将步骤(4c)产生的边界聚类中心标记为E_b，b＝1,2,...,N_E，N_E为边界聚类中心总数；

(5)将所有平面聚类中心和边界聚类中心更新为各自3×3邻域内的梯度最小点，得到更新后的平面聚类中心P_a′和边界聚类中心E_b′；

(6)将更新后的平面聚类中心P_a′和边界聚类中心E_b′作为初始值，利用局部k-means算法对转换彩色图像I_lab的像素点进行分类标记；

(7)循环迭代步骤(6)的分类标记过程，直至连续两次的平面聚类中心和边界聚类中心的误差之和不超过5％，得到所有像素点的最终标记；

(8)将具有相同标记的像素点看成一个超像素，在图像平面内画出所有超像素的边界，即得原始图像I的超像素分割结果。

2.根据权利要求1所述的基于边界信息融合的超像素分割方法，其中步骤(6)所述的利用局部k-means算法对转换彩色图像I_lab的像素点进行分类标记，按如下步骤进行：

(6a)将更新后的平面聚类中心P_a′和边界聚类中心E_b′作为局部k-means算法的初始值；

(6b)在以像素点i为中心的2S_h×2S_h局部领域内搜索平面聚类中心和边界聚类中心，得到平面聚类中心P′_σ和边界聚类中心E′_β，其中i＝1,2,...,N，σ＝1,2,...,N_σ，N_σ为搜索到的平面聚类中心总数，β＝1,2,...,N_β，N_β为搜索到的边界聚类中心总数；

(6c)融合边界信息对像素点i与平面聚类中心P′_σ和边界聚类中心E′_β进行距离度量；

(6d)将像素点i标记为平面聚类中心P′_σ和边界聚类中心E′_β中离像素点i最近的点；

(6e)更新平面聚类中心，边界聚类中心保持不变。

3.根据权利要求1所述的基于边界信息融合的超像素分割方法，其特征在于：步骤(6c)中融合边界信息对像素点i与平面聚类中心P′_σ和边界聚类中心E′_β进行距离度量，按如下步骤进行：

(6c1)将像素点i与平面聚类中心P′_σ进行直线连接；

(6c2)对像素点i与平面聚类中心P′_σ进行距离度量：

若连接像素点i与平面聚类中心P′_σ的直线上存在边界点，将二者距离置为无穷大，距离度量公式表示为：d_p＝+∞，其中，d_p为像素点i与平面聚类中心P′_σ的距离；

若连接像素点i与平面聚类中心P′_σ的直线上不存在边界点，则二者距离为颜色空间欧式距离和坐标空间欧式距离的加权和，其距离度量公式表示为：

其中，d_c为LAB颜色空间的欧氏距离，d_s为坐标空间的欧氏距离，m为加权参数，m控制超像素的紧凑度和规则度，取值越大生成的超像素越规则，通常取值范围在[5,40]；d_c、d_s的计算公式为：

其中，Δl_i、Δa_i、Δb_i分别为像素点i与平面聚类中心P′_σ在LAB颜色空间中L、A、B颜色分量的差值；Δr_i、Δc_i分别为像素点i与平面聚类中心P′_σ在坐标空间中行号、列号的差值；

(6c3)按照步骤(6c1)-(6c2)对像素点i与边界聚类中心E′_β进行距离度量。

4.根据权利要求1所述的基于边界信息融合的超像素分割方法，其特征在于：步骤(6e)中更新平面聚类中心，边界聚类中心保持不变，是将平面聚类中心进行均值更新，即更新为所有与平面聚类中心具有相同标记的像素点的坐标向量的均值向量，而使边界聚类中心始终为更新后的边界聚类中心E_b′。