CN109389601A - 基于像素间相似性的彩色图像超像素分割方法 - Google Patents

Abstract

本发明公开了一种基于像素间相似性的彩色图像超像素分割方法，该方法包括以下步骤：首先对待分割图像进行初始聚类，然后基于初始聚类确定种子点，并判断是否需要新增种子点，如果需要则完成种子点的增加；根据初始聚类和种子点的标记生成初始的超像素；对于未被标记的像素点，利用定义的能量函数计算种子点与其搜索范围内像素的能量，选取能量最小的种子点的超像素标记作为未标记像素的超像素标记，最后将满足阈值条件的孤立像素和孤立的很小的超像素合并到与它最相似的邻域超像素中直到当前的超像素个数达到期望的个数，实现图像的超像素分割。本发明的方法可以取得理想的图像分割效果，并在图像平坦区域提供更高的规则性，提高了图像分割的质量和分割效果。

Description

基于像素间相似性的彩色图像超像素分割方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于像素间相似性的彩色图像超像素分割方法。

背景技术

图像是人类从客观世界获取信息的重要来源和传递信息的重要媒介，随着计算机、互联网等技术的发展，数字图像处理技术在工业、医疗、交通等行业中扮演者越来越重要的角色。

超像素分割就是在待分割的图像上产生像素的原子区域(即“超像素”)，与传统的图像刚性像素表示不同，超像素提供了视觉上有意义的实体，可用作图像处理和计算机视觉任务的原子单元。使用超像素代替刚性像素表示图像能使后续处理的计算成本降低。超像素分割的一些典型应用包括图像分割，对象识别，对象跟踪，图像解析，3D重建，深度预测和显着物体检测。

2010年Achanta等人成功的提出了一种简单线性迭代聚类(simple lineariterative clustering,SLIC)生成超像素的方法，SLIC在边界召回、速度等很多方面都有不错的表现。对于CIELAB空间中的彩色图像，首先初始化种子点，设定希望生成超像素的个数K,即初始聚类中心的个数。则整幅图像被划分为K个规则的网格空间,为了使生成超像素块大小相对均匀，网格的间距为其中N为图像中像素点的总个数。为了避免种子点处在图像的边缘上或噪声点上的，在以种子点为中心像素的3*3邻域内进行梯度计算，将种子点C_i＝[l_i,a_i,b_i,x_i,y_i]^T移到3*3邻域内梯度值最小的位置。与k-means聚类方法不同，SLIC算法将聚类中心点周围2S*2S的范围作为一个聚类搜索邻域进行迭代聚类，而不是将整张图像作为聚类搜索范围，计算图像中每个像素点与聚类中心的距离。这样不仅能够降低距离计算的计算量，同时还确保了SLIC的算法复杂度与超像素的个数无关如图2。

在搜索范围内计算邻域中所有像素点i到种子点C_i的距离,最终像素点i将归属于与其距离最近的聚类中心点，迭代聚类的过程中聚类中心点将会被不断更新，通过计算聚类簇中像素点的均值向量[l,a,b,x,y]^T作为新的聚类中心。迭代后聚类中心点与前一个聚类中心点之间的L₂范式被定义为两点间的残差E，当残差值E收敛时更新迭代的过程将终止。最后将图像中孤立的像素点分配至最近的超像素块，完成超像素分割。

SLIC算法中，像素点到聚类中心点的距离度量D_s被定义为一个在CIELAB颜色空间和XY坐标下的5维空间的距离，如下所示：

其中，d_lab表示像素点与聚类中心在CIELAB色彩空间的距离,d_xy表示像素点与聚类中心点在空间距离，m用来平衡颜色相似性与空间距离相似性间。

从图3可以看出在自然图像上，SLIC算法有着不错的表现，可以生成具有相似尺寸和规则形状的超像素，并且生成的超像素块能够贴合目标的大部分边缘。然而，SLIC算法仅利用颜色和空间特征，因此当颜色特征不足时分割的性能将会降低。并且SLIC偏重于产生规则的超像素，边界规整和边界重合本身往往是相互矛盾的，产生的超像素越规整，超像素的边界就越难以和图像边界保持贴合；而产生的超像素边界和图像边界贴合度越高，超像素就越难以保证规整性。因此SLIC在进行图像分割时会导致部分边缘贴合度不高，弱边界地区没有完全划分，对于部分边界图像效果不是很好，不能取得令人满意的分割结果。

发明内容

本发明的目的就是为了解决上述问题，提供一种基于像素间相似性的彩色图像超像素分割方法，其中特别考虑图像的边缘信息，改善了颜色特征不足时的分割质量，获得具有更好边缘附着性的超像素。根据像素间的相似性得到图像的初始聚类，完成超像素的初步生成，对于图像中平坦的区域可以获得更加规整的超像素，并且后续不用进行迭代更新计算，减少了计算量。基于像素及其邻域来定义边界项，使超像素的边缘与图像中的对象边界一致。在此基础上，提出了一种新的距离测量方法来控制超像素的强度、紧凑性和边界粘附的均匀性。

为了实现上述目的，本发明采用如下技术方案：

基于像素间相似性的彩色图像超像素分割方法，首先对待分割图像进行初始聚类，然后基于初始聚类确定种子点，并判断是否需要新增种子点，如果需要则完成种子点的增加，根据初始聚类和种子点的标记生成初始的超像素；对于未被标记的像素点利用定义的能量函数计算种子点与其搜索范围内像素点的能量，选取能量最小的种子点的超像素标记作为该像素点的超像素标记，最后将剩余的孤立像素点和孤立的很小的超像素合并入它邻接的最相似的超像素中，实现图像的超像素分割。

本发明的具体步骤为：

1)对分割图像进行初始聚类；

2)确定种子点，并判断是否需要新增种子点，如果需要则以颜色距离为约束把六边形区域内的像素划分为两类，在与种子点不属于同一类的像素集合中重新寻找一个种子点；

3)根据初始聚类和种子点的标记来生成初始的超像素；

4)由边界粘附、均匀强度和紧凑性三个项定义一个能量函数，选取最小能量所对应的种子点标记，对未标记的像素进行标记；

5)将孤立的像素和孤立的很小的超像素合并进与它最相似的邻域中。

本发明的有益效果：

1)通过基于像素间的相似性的初始聚类，可以在图像的平坦区域生成较规则的强超像素，且平坦区域的超像素落在了合适的位置，因此后续不需迭代更新，减少了计算时间并提高了超像素的规整性。

2)基于像素及其邻域定义边界项，使超像素的边缘与图像中对象边界的一致性得到提升，改善了颜色特征不足时的分割质量。

3)在距离测量方法中权衡了超像素的强度、紧凑性和边界粘附的均匀性，使得到的分割结果在强度、边界贴合和紧凑性上达到了良好的平衡。

附图说明

图1是本发明的流程示意图；

图2是传统k-means聚类的搜索范围(a)与SLIC聚类搜索范围(b)对比图；

图3是SLIC算法分割结果图；

图4是设定的种子点搜索范围(红色矩形框)示意图；

图5是像素i及其邻域像素示意图；

图6是3×3高斯模板示意图；

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

如图1所示，包括以下步骤：

1、对待分割图像进行初始聚类；

分为以下几个步骤：

1-1)以Laplacian算子检测的边缘为约束增强图像边缘；

使用Laplacian算子进行图像边缘检测,得到一个梯度集合，归一化处理后记为w(i)，如果w(i)>0.2，则将图像中的像素i三个通道RGB的值i_r,i_g,i_b以下面的方法进行加强，

1-2)计算中心像素i到其8邻域像素的颜色距离，选取最小的两组距离所对应的邻域像素j_m，将其放入像素i的相似像素集合S_c(i)中；

对于所有像素i，分别计算它到周围8邻域像素j_m的距离D(i,j_m)，计算公式为：

其中，j_mr,j_mg,j_mb是邻域像素j_m的RGB的值。

选取两组最小距离，将这两组距离对应的邻域像素j_m放入集合S_c(i)中，认为集合S_c(i)中的元素是像素i的相似像素。

1-3)像素聚类；

聚类的过程是从左上角的第一个像素开始，按从左到右，从上到下执行。

当前像素i，它的相似像素集合为S_c(i)，假设该集合中的一个元素为j₁，即对于像素i而言像素j₁和j₂是距离像素i最近的点。如果对于j₁而言像素i是集合S_c(j₁)中的一个元素，则认为像素i和j₁属于同一类，进行相同的标记；如果i不是集合S_c(j₁)中的一个元素，则像素i和j₁不属于同一类，对i和j₁不进行相同的标记。对于集合S_c(i)中的其他像素都进行上述操作。此外，如果像素i₁与i₂被标记为同一类，i₃与i₂是同一类标记，则i₁，i₂和i₃属于同一类，使用相同的标记；如果i₃与i₄属于同一类，则i₁，i₂，i₃和i₄属于同一类，以此类推。算法通过这样的方式来扩充类中元素的数量，实现像素的初始分类。

2、确定种子点，并判断是否需要新增种子点，如果需要则以颜色距离为约束把六边形区域内的像素划分为两类，在与种子点s不属于同一类的像素集合中重新寻找一个种子点s'；

分为以下几个步骤：

2-1)在待分割的图像上根据预设的超像素个数初始化六边形，然后在每个六边形中设定搜索范围，选取种子点；

具体方法：

2-1-1)对于设定的搜索范围(如图4所示红色矩形框，矩形框距离左右四个顶点两个像素的宽度)中的任意一个像素i，判断它和邻域内像素的初始类的标记是否一致，若一致则计算像素i与六边形中心点的距离，在满足上述条件的点中选取距离最小的像素点作为种子点s；

设z为i所属的六边形的中心，距离计算公式为：

其中，(i_x,i_y)和(z_x,z_y)分别是像素i和六边形中心z的在xy平面的坐标。

2-1-2)如果在设置的搜索范围中所有像素i都不满足上述条件，则选取使度量函数值最小的那个点作为种子点，度量函数是矩形搜索框中的像素i与其邻域像素的二阶差商与它到六边形中心距离的加权组合；具体方法如下：

设四个方向的二阶差商记为Δ_i1,Δ_i2,Δ_i3,Δ_i4。对于彩色图像，Δ_i1,Δ_i2,Δ_i3,Δ_i4分别是其R，G，B通道的二阶差商的均值。像素i的二阶差商为Δ_i，由四个方向的二阶差商组成：

Δ_i＝Δ_i1+Δ_i2+Δ_i3+Δ_i4 (8)

像素i所处的邻域如图5所示，定义R通道四个方向的二阶差商为：

同理计算G和B通道的Δ_i1g和Δ_i1b，Δ_i2g和Δ_i2b，Δ_i3g和Δ_i3b，Δ_i4g和Δ_i4b。Δ_i1,Δ_i2,Δ_i3,Δ_i4是R，G，B三个通道的平均值。像素i与当前所属的六边形中心的距离为dist(i,z)_AD,判断像素i是否是种子点的度量函数为:

Seed_i＝α·Δ_i+β·dist(i,z)_AD (10)

其中，α和β为平衡参数。

在搜索的所有像素中找到最小的Seed_i，此时的i为该六边形内的种子点s。

2-2)判断是否需要补充种子点，如果需要则以颜色距离为约束把六边形区域内的像素划分为两类，在与种子点s不属于同一类的像素集合中重新寻找一个种子点s'；

具体方法：

2-2-1)通过度量每个六边形内的像素标准差来判断当前六边形内是否包含图像边界,包含边界则增加种子点。对于任意一个六边形内的像素点i,i＝1,2,...m，其颜色值以R，G，B三个通道值的平均数表示，则以z为中心的六边形内的像素标准差为:

其中，n_z为六边形内的像素个数，为其像素均值。

如果某个六边形内的像素标准差s_z>20，表示该六边形区域内存在边界，需要添加种子点；否则表示该区域基本为平坦区域不需要添加种子点。

2-2-2)对于需要添加种子点的六边形区域，计算区域内的像素和前面选取的种子点s的颜色距离，把像素划分为两类，在与种子点s不属于同一类的像素集合中重新寻找一个种子点s'。

六边形内的像素点i,i＝1,2,...m到种子点s的距离：

其中，i_A,s_A分别是像素i和种子点s的R、G、B三个通道的平均值。

如果dist(i,s)_A<30，则像素i和种子点s属于一类；否则属于另一类，记为S_l(j)。计算在六边形内所有像素的dist(i,s)_A，然后将他们分成两类。在与种子点s不属于同一类的像素集合S_l(j)中，重新寻找一个种子点s'。方法：

对于六边形内的像素标准差s_z>20，且标记为S_l(j)的像素，用式子(8)计算其二阶差商Δ_i,i∈S_l(j)，选取使Δ_i,i∈S_l(j)最小的像素点i,i∈S_l(j)作为新增种子点s'。

3、根据初始类和种子点的标记来生成初始的超像素；

设S_l(i)为像素i的超像素标记。对于六边形区域中的所有像素，比较这些像素的初始类标记是否等于它所属六边形中种子点s的标记L(s)，相等则表明像素i和种子点s是属于同一类，给像素i的超像素标签赋值，即S_l(i)＝L(s)；否则表示该像素点i与种子点s不是属于同一类，对像素点i就不进行标记，像素点i为未标记状态。对每个六边形中的所有像素都进行这样的操作，得到图像初始的超像素。

4、由边界粘附、均匀强度和紧凑性三个项定义一个能量函数，选取最小能量所对应的种子点标记，对未标记的像素进行标记；

能量函数由边界粘附B(x_i,k_j)、均匀强度I(x_i,k_j)和紧凑性C(x_i,k_j)三个项组成，定义如下：

DL(x_i,k_j)＝w_b×B(x_i,k_j)+w_i×I(x_i,k_j)+α×w_c×C(x_i,k_j) (13)

其中，x_i为以种子点k_j为圆心的圆内未标记的像素点，这里的种子点k_j为步骤2所计算得到的所有种子点即{s,s′}；w_b，w_i和w_c是参数，定义为：

其中，A＝2(B(x_i,k_j)+I(x_i,k_j)+C(x_i,k_j)) (17)

计算边界项：为了更好地粘附到图像中的对象边界，利用边界项使超像素的边缘与图像中对象的边界对齐，公式如下：

其中,λ₁和λ₂是参数，nlx_i是在以像素x_i为中心的局部窗口中，标签不等于SL(k_j)的像素总数与窗口中的像素总数的比值。nlx_i计算公式为：

其中，R^w(x_i)是以像素x_i为中心的ω×ω大小区域中的所有像素的集合,这里ω为参数。|·|是集合中元素的数量，在某种程度上,nlx_i的值表示像素x_i是否在超像素的边缘上的概率。

w(x_i)为像素出现在图像边界的概率，使用像素的邻域来测量它在图像中出现在物体边界上的可能性，其计算公式为：

其中,R^w(x_i)以公式(19)一致g(x_i)和g(x_j)是像素x_i和x_j的梯度,G_δ是尺寸为3×3的高斯系数，如图6所示。

计算强度项的公式为:

其中,λ₃是参数，dc(x_i,k_j)为颜色距离，由像素在RGB空间中的值来计算，公式为：

计算紧凑度项：使用欧几里德距离来控制超像素的紧凑性，定义为：

其中，λ_c是参数,(x_ix,k_jx),(x_iy,k_jy)分别是xy平面中的像素x_i和第k_j个超像素种子点的坐标，并且hs定义为：

其中,N是图像中包含的像素数量，K是预期的超像素数量。

5、将孤立的像素和孤立的很小的超像素合并到与它最相似的邻域中；

基于超像素标签，合并过程从左到右，从上到下执行。首先，从左上角的第一个像素开始，将所有邻接的、具有同一个超像素标签的像素视为一个新的超像素。将内部不连通的超像素分离为多个内部连通的子超像素，同时把那些孤立的零散像素也视为一个超像素。

合并过程需要多次合并迭代才能达到预期的超像素数量，从左上角第一个像素开始到右下角最后一个像素结束为一次合并过程。第一次合并时n＝1，如果不满足超像素个数条件时继续重复合并过程即从左上角第一个像素开始到右下角最后一个像素结束，第n次合并迭代后，统计图像中超像素的数量K_s，如果K_s≤K，则合并结束，K是预期的超像素数量。

具体方法：

定义一个动态阈值ψ_n来决定在第n次合并迭代中一个超像素是否需要被合并，定义阈值为：

其中，n代表第n次合并迭代过程，N是图像中像素数量。从第一个超像素开始，如果第l个超像素包含的像素数量Num_l小于ψ_n，我们就将其合并入邻接最相似的超像素中，相似性度量定义如下：

其中p₁为当前满足合并条件的超像素,p₂为p₁邻接的所有超像素，是超像素p的颜色均值，从中找到最小的dist_I(p₁,p₂)_min,然后将p₂和p₁进行合并。

Claims (6)

1.基于像素间相似性的彩色图像超像素分割方法，其特征是，主要包含以下几个步骤：

步骤1，对待分割图像进行初始聚类；

步骤2，确定种子点，并判断是否需要新增种子点，如果需要则以颜色距离为约束把六边形区域内的像素划分为两类，在与种子点不属于同一类的像素集合中重新寻找一个种子点；

步骤3，根据初始聚类和种子点的标记生成初始的超像素；

步骤4，由边界粘附、均匀强度和紧凑性三个项定义一个能量函数，选取最小能量所对应的种子点标记，对未标记的像素进行标记；

步骤5，将孤立的像素和孤立的很小的超像素合并进与它最相似的邻域中；

其中，所述步骤2包括：

2-1)在待分割的图像上根据预设的超像素个数初始化六边形，并在六边形中设定搜索范围，对于搜索范围内的任意一个像素，如果它和邻域内像素的初始分类标记一致，则计算它与六边形中心点的距离，选取距离最小的像素点作为种子点；如果搜索范围中所有像素都不满足上述一致条件，则选取使度量函数值最小的那个点作为种子点；

判断像素是否是种子点的度量函数为:

Seed_i＝α·Δ_i+β·dist(i,z)_AD (10)

其中，α和β为平衡参数。Δ_i是像素i的二阶差商，dist(i,z)_AD是像素i与当前所属的六边形中心的距离；

2-2)通过度量六边形内像素的标准差来判断当前六边形内是否包含图像边界,若包含则增加种子点；

增加种子点的方法：以颜色距离为约束把区域内的像素划分为两类，在与种子点不属于同一类的像素集合中，选取使二阶差商Δ_i最小的像素点做为新的种子点。

2.如权利要求1所述的基于像素间相似性的彩色图像超像素分割方法，其特征是，所述步骤1包括：

1-1)用Laplacian算子进行边缘检测对图像的边界进行加强；

1-2)对于所有像素，计算它到8邻域像素的颜色距离，选取最小的两组距离所对应的邻域像素放入该像素的相似像素集合中；

1-3)像素聚类。

3.如权利要求2所述的基于像素间相似性的彩色图像超像素分割方法，其特征是，所述1-3)包括：

聚类的过程是从左上角的第一个像素开始，按从左到右，从上到下执行：当前像素i，它的相似像素集合为S_c(i)，假设该集合中的一个元素为j₁，即对于像素i而言像素j₁和j₂是距离像素i最近的点；如果对于j₁而言像素i是集合S_c(j₁)中的一个元素，则认为像素i和j₁属于同一类，进行相同的标记；如果i不是集合S_c(j₁)中的一个元素，则像素i和j₁不属于同一类，对i和j₁不进行相同的标记；对于集合S_c(i)中的其他像素都进行上述操作；此外，如果像素i₁与i₂被标记为同一类，i₃与i₂是同一类标记，则i₁，i₂和i₃属于同一类，使用相同的标记；如果i₃与i₄属于同一类，则i₁，i₂，i₃和i₄属于同一类；以此类推,算法通过这样的方式来扩充类中元素的数量，实现像素的初始分类。

4.如权利要求1所述的基于像素间相似性的彩色图像超像素分割方法，其特征是，所述步骤2包括：

像素的二阶差商的计算方法如下：

像素i的二阶差商为Δ_i，由四个方向的二阶差商组成：

Δ_i＝Δ_i1+Δ_i2+Δ_i3+Δ_i4 (8)

像素i所处的邻域如图5所示，定义R通道四个方向的二阶差商为：

同理计算G和B通道的Δ_i1g和Δ_i1b，Δ_i2g和Δ_i2b，Δ_i3g和Δ_i3b，Δ_i4g和Δ_i4b。Δ_i1,Δ_i2,Δ_i3,Δ_i4是R，G，B三个通道的平均值。

5.如权利要求1所述的基于像素间相似性的彩色图像超像素分割方法，其特征是，所述步骤4)包括：

能量函数由边界粘附B(x_i,k_j)、均匀强度I(x_i,k_j)和紧凑性C(x_i,k_j)三个项组成，定义如下：

DL(x_i,k_j)＝w_b×B(x_i,k_j)+w_i×I(x_i,k_j)+α×w_c×C(x_i,k_j) (13)

其中，x_i为以种子点k_j为圆心的圆内未标记的像素点，其中，x_i为以种子点k_j为圆心的圆内未标记的像素点，w_b，w_i，w_c和α是参数。

其中，A＝2(B(x_i,k_j)+I(x_i,k_j)+C(x_i,k_j)) (17)

计算边界项的公式如下：

其中,λ₁和λ₂是参数，nlx_i是在以像素x_i为中心的局部窗口中，标签不等于SL(k_j)的像素总数与窗口中的像素总数的比值。nlx_i计算公式为：

其中，R^w(x_i)是以像素x_i为中心的ω×ω区域中的所有像素的集合,这里ω为参数，|·|是集合中元素的数量，在某种程度上,nlx_i的值表示像素x_i是否在超像素的边缘上的概率；

w(x_i)为像素出现在图像边界的概率，计算公式为：

其中,R^w(x_i)和公式(19)一致，g(x_i)和g(x_j)是像素x_i和x_j的梯度，G_δ是尺寸为3×3的高斯系数；

计算边界项的公式为：为了更好地粘附到图像中的对象边界，利用边界项使超像素的边缘与图像中对象的边界对齐，公式如下：

其中,λ₁和λ₂是参数，nlx_i是在以像素x_i为中心的局部窗口中，标签不等于SL(k_j)的像素总数与窗口中的像素总数的比值；

计算强度项的公式为：

其中,λ₃是参数，dc(x_i,k_j)为颜色距离，由像素在RGB空间中的值来计算，公式为：

计算紧凑度项：使用欧几里德距离来控制超像素的紧凑性，定义为：

其中，λ_c是参数,(x_ix,k_jx),(x_iy,k_jy)分别是xy平面中的像素x_i和第k_j个超像素种子点的坐标，并且hs定义为：

其中,N是图像中包含的像素数量，K是预期的超像素数量。

6.如权利要求1所述的基于像素间相似性的彩色图像超像素分割方法，其特征是，所述步骤5)包括：对于满足合并条件的超像素，计算其到邻域超像素的相似性，找到最相似的超像素进行合并；合并需执行多次直到满足所需的超像素个数。