CN108629783B - 基于图像特征密度峰值搜索的图像分割方法、系统及介质 - Google Patents

Abstract

本发明公开了基于图像特征密度峰值搜索的图像分割方法、系统及介质，该方法将一种新颖的聚类算法与图像特征结合来实现图像分割。主要分为以下关键部分：图像预处理，特征值提取，聚类分析中的变量求解与利用，以及自适应选取聚类中心的实现。首先将以像素点为单位的原图像粗分为以超像素为单位的色块图，通过提取这些色块作为样本点来进行聚类分析，得到的聚类分析结果后构建函数选取聚类中心，最后再将超像素序列回归为像素序列，根据索引与编号得到聚类的最终结果。从而完成基于聚类的分割。

Description

基于图像特征密度峰值搜索的图像分割方法、系统及介质

技术领域

本发明涉及图像处理领域，特别是涉及基于图像特征密度峰值搜索的图像分割方法、系统及介质。

背景技术

在信息爆炸的大环境下，图像作为信息传递、存储和表达的重要载体，是人类获取信息的重要手段之一。人们希望更高效地提取、利用图片上的信息，因此，图像处理技术应运而生。其中，图像分割是实现图像处理和图像分析的一个关键环节，也是一道经典难题。图像分割技术是将一幅图像分成多个特征各异的区域并提取感兴趣目标的技术和过程，以期为后续细致的数字图像处理工作提供依据。为了更好的辨识和处理图像中的目标，需要将目标特征分离出来，才能进行更高效、更有针对性的分析。图像分割是图像处理的首要步骤，它将直接决定分割后续图像处理工作的质量，在数字图像处理的大部分领域中，图像分割都有着广泛的应用，如何快速、有效地进行图像分割已经成为研究热点问题之一。

图像分割的研究最早可追溯到20世纪60年代，经典的算法有基于边缘检测的方法、阈值分割法、基于聚类的分割方法、区域跟踪以及基于分水岭算法的分割方法等。这些算法中有些只需要提供灰度直方图便可得出结果，有些则需要空间细节，还有一些是利用模糊集分类方法以实现分割。其中，基于聚类的图像分割方法应用十分广泛，如K-means，Fuzzy C-means，DBSCAN等均是十分经典的聚类分割方法，然而，常规聚类算法进行图像分割存在聚类类别个数难以确定、迭代容易陷入局部极值以及过分割等问题，算法至今还没有建立起完善的理论体系，也没有一个通用的方法来解决所有的图像分割问题。

基于密度峰值和快速搜寻的聚类算法是由Alex等人于2014年提出的一个新颖的聚类算法，由假设、定量和构建决策图三部分组成，其重要思想是利用聚类中心的特殊性质来分离聚类中心与其他样本点、离群点，并通过决策图将此概念直观的表达出来以帮助工作人员识别类簇。然而此算法缺少进一步的办法来指定聚类中心，仍然有赖于人为干预，因此不能做到自适应选取聚类中心。

因此，目前面临的技术问题是：如何在没有先验知识的情况下进行高效且准确率高的聚类分割，如何实现聚类以及分割的自适应。

发明内容

为解决上述问题，本发明结合了经典聚类算法与基于密度峰值聚类算法各自优点，提出基于图像特征密度峰值搜索的图像分割方法、系统及介质，依据一个简单的假设，在没有先验知识的情况下，将图像特征映射在特定空间中，并按照顺序依次划分入类、分离噪声，快速搜寻密度峰值并自动将具有较高相似度的像素信息划分为一类，划分过程不需迭代，也具有较好的鲁棒性，分割效率基本不受图片分辨率的影响。

为实现上述目的，本发明采用如下技术方案：

作为本发明的第一方面，提供了基于图像特征密度峰值搜索的图像分割方法；

基于图像特征密度峰值搜索的图像分割方法，包括以下步骤：

步骤(1)：对原始图像进行预处理，利用超像素分割将原始图像转换为超像素图像；

步骤(2)：将超像素图像中的每一个样本点进行颜色特征提取；

步骤(3)：对样本点进行聚类分析：对每一个样本点的图像颜色特征均定义两个变量ρ和δ；ρ表示每个样本点的局部密度，δ表示与当前样本点相比具有更高局部密度的最近邻点与当前样本点之间的距离；

步骤(4)：以局部密度ρ为横轴和最近邻距离δ为纵轴，建立直角坐标系，即决策图；

步骤(5)：在决策图中定义一个分隔曲线，位于分隔曲线右边的样本点被指定为聚类中心；被指定是聚类中心的样本点代表一个簇类，同时也被指派类簇号；

步骤(6)：在聚类中心确定后，依次对剩余的样本点进行类别的划分，根据聚类后的结果和像素点在原图像中的位置进行图像的重构，得到最后的分割结果。

作为本发明的进一步改进，所述步骤(1)中的原始图像来自BSDS300数据集，均为真实彩色图像，其中包括人物、建筑、风景、动物多种类型。

作为本发明的进一步改进，所述步骤(1)包括：

步骤(101)：任选一个像素点作为当前像素点，将当前像素点的像素值与设定范围内其他像素点的像素值进行作差，得到若干个差值，如果每个差值均小于设定阈值，则将当前像素点与其他像素点划分到一个区域；

步骤(102)：如通过有一个差值大于设定阈值，则缩小设定范围，重新将当前像素点的像素值与新设定范围内其他像素点的像素值进行作差，直至每个差值均小于设定阈值，则将当前像素点与其他像素点划分到一个区域，否则重复步骤(102)，直至满足要求为止；

步骤(103)：重复步骤(101)-(102)实现整幅图像的区域分割。

步骤(104)：对每个区域中的像素点求取像素均值，并以像素均值替换当前区域中的所有像素点的像素值，从而整幅图像包括若干个色块，整幅图像转换为超像素图像。

作为本发明的进一步改进，将超像素图像中的每个色块看成一个样本点，并将每个样本点在RGB颜色空间中的值转化到CIELab颜色空间中，然后提取亮度通道L的值，以及颜色通道a或颜色通道b的值，将亮度通道L的值以及颜色通道a的值作为每个样本点的颜色特征保存；或者，将亮度通道L的值以及颜色通道b的值作为每个样本点的颜色特征保存；

同时，将每个超像素对应每个像素点在原始图片中的位置视为像素点索引保存。

作为本发明的进一步改进，所述步骤(3)中，

首先，定义一组独立的样本点(x₁,y₁),(x₂,y₂),……,(x_n,y_n)，

其中，x₁表示第一个样本点的亮度通道L的值，y₁表示第一个样本点的颜色通道a的值或颜色通道b的值；x₂表示第二个样本点的亮度通道L的值，y₂表示第二个样本点的颜色通道a的值或颜色通道b的值；x_n表示第n个样本点的亮度通道L的值，y_n表示第n个样本点的颜色通道a的值或颜色通道b的值；

针对每个样本点依次求取两个变量ρ和δ，其中利用核密度估计来计算局部密度ρ：

其中，ρ_i表示第i个样本点的局部密度，h>0为一个平滑参数，代表带宽，其中

为缩放核函数。K(x,y)表示核函数，采用高斯核函数，x₀,y₀表示核函数中心点的坐标，σ表示方差。

另一个变量的计算公式则是：

其中，δ_i表示第i个样本点与比第i个样本点有更高局部密度的最近邻样本点之间的距离。d_ij则表示点i和点j之间的欧几里得距离。ρ_i表示第i个样本点的局部密度和ρ_j表示第j个样本点的局部密度。

作为本发明的进一步改进，所述步骤(4)中，横轴的局部密度从小到大设置，纵轴的最近邻距离也是从小到大设置。

作为本发明的进一步改进，步骤(5)中，定义的分隔曲线R为：

R＝detM-k(trace M)²

detM＝ρδ

traceM＝ρ+δ

其中，k是一个常数，取值范围是0.04～0.06，M是一个特征值矩阵；detM表示特征值矩阵的行列式，trace M表示特征值矩阵的迹。

作为本发明的进一步改进，所述步骤(6)，在聚类中心确定后，依次对剩余的样本点进行类别的划分，位于分隔曲线左边的样本点依次划入离样本点自身最近的已知类簇号的样本点所在的类中，得出聚类的结果；聚类结束后，每个样本点都划分到了一个类簇号，而属于每个样本点的所有像素点均被赋予同一个类簇号，根据每个样本点中每个像素点在原图像中的位置与分到的类簇号，将像素点按原图像的序列重新排列起来，得到最后的分割结果。

作为本发明的第二方面，提供了基于图像特征密度峰值搜索的图像分割系统，

基于图像特征密度峰值搜索的图像分割系统，包括：存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述任一方法所述的步骤。

作为本发明的第三方面，提供了一种计算机可读存储介质；

一种计算机可读存储介质，其上运行有计算机指令，所述计算机指令被处理器运行时，完成上述任一方法所述的步骤。

本发明的有益效果是：

1、在处理效果上，本发明结合基于密度峰值搜索的聚类算法与经典的图像分割技术，不必指定聚类中心，后期也不需要人为干涉，能自动根据不同的图片给出不同的分割方案，实现了自适应选取聚类中心，分割结果与其他算法相比都取得了较好的效果。

2、在鲁棒性上，本发明在对图像进行正式聚类分析前抽离统一特征向量，不仅保留了关键特征，还节省了算法开支，因此，计算量由预处理阶段决定，因此效率不会受到图片分辨率的影响，适用于任何分辨率的图片，也适用于大部分的自然真实图像。

3、在运算速度上，因算法不需要迭代，不需要收敛，在密度的求解中使用的也为线性核函数，且不需要对像素点逐一分析，因此计算速度较快。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是本发明图像特征密度峰值搜索的聚类分割方法流程图；

图2(a)-图2(c)是该方法进行图像预处理的一个实例；

图3是利用核密度函数将图像特征值表示在特征空间示意图；

图4是一副图片的所有超像素颜色特征点在颜色空间中分布的一个实例；

图5是运用本发明所述方法进行聚类分析后所构建的决策图；

图6是决策图基础上利用分隔函数分离聚类中心示意图；

图7分别是本发明方法中参数k与分割准确率的关系折线图、以及与其他两种方法在BSDS300数据集上任意选取的100幅图片分割结果的PRI值比较；

图8(a)-图8(x)展示了利用本发明以及其他两种方法进行图像分割的结果比较。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，基于图像特征密度峰值搜索的图像分割方法，主要包括以下几个过程：

过程1：图像预处理与特征提取；

利用超像素分裂图片时，会将一幅完整的图片分成多个大小不一的不规则区域，分割的原理是图片颜色像素值的相似度，此方法将颜色相对差异较小的像素点划分到一个区域，以此类推分裂整幅图像。之后，再对每一个区域中多囊括的像素点求取颜色均值，并以此均值来覆盖此区域中所有像素点的像素值，形成一个个色块，将像素级图像转换为超像素级图像，如图2(a)-图2(c)所示。

超像素分割后形成的超像素级图像，将要以超像素(即之前所述的小色块)为单位进行分析，因此，此步中将超像素的每个色块均看成是一个样本点，建立同样格局的空矩阵，并将超像素特征值以及每个超像素包含的像素点索引均保存进去，待特征提取结束后，将其映射在CIELab空间中，如图4所示。

过程2：对样本进行聚类分析；

基于快速搜寻密度峰值的聚类算法核心思想是：基于一个对聚类中心特征的假设，即聚类中心往往由比其密度小的点环绕；且比聚类中心具有更高密度的数据点一定离它很远。

第一步：定义并求取变量

以上述核心思想为依据定义两个变量，分别为每个点的局部密度ρ(对应聚类中心特征的第一点)，以及此点与比其有更高密度最近邻点的距离δ(对应聚类中心特征第二点)。针对每个样本点依次求取这两个变量，其中利用核密度估计来计算局部密度ρ的计算公式为：

K(.)为核函数(非负、积分为1，符合概率密度性质，并且均值为0)，ρ_i表示第i个样本点的局部，h>0为一个平滑参数，代表带宽，其中

为缩放核函数。K(x,y)表示核函数，这里采用高斯核函数，x₀,y₀表示核函数中心点的坐标，σ表示方差。

h>0为一个平滑参数，代表带宽，它的选择将会影响密度估计的结果，在本发明中，我们设h＝0.8来保证程序运行良好。核密度估计是使用平滑内核来拟合真实的概率分布函数曲线的，而在众多核函数中，高斯核函数是其中最常用的函数之一，因此将其用计算概率密度。图3为一副图片在L通道与a通道的三维概率密度函数曲线，可清晰的辨认出颜色特征的峰值。

另一变量δ的求解方式可以写成如下形式：

对于每个点i，δ_i表示与比第i个样本点有更高密度的最近邻样本点之间的距离。d_ij则表示点i和点j之间的欧几里得距离。ρ_i和ρ_j分别表示第i、第j个样本点的局部密度。

聚类中心由其他样本点包围，它的密度必然会取到一个局部的极值，当有少数样本点的密度比这个取到局部极值的点都大时，那说明这些样本点所在的方位在“局部”的外部，因此，一般比聚类中心密度还要大的样本点一定离聚类中心有相对较远的一段距离。

第二步：建立决策图

以局部密度ρ为横轴和最近邻距离δ为纵轴，建立平面直角坐标系，与上文提到的重要思想一致，只有那些ρ和δ值都异常高的样本点才最有可能是聚类中心。

决策图如图5所示，越靠近右上方的点就越有可能是聚类中心，越靠近左上方的点则可能是离群点，而其他样本点对应的两变量的值可能相对更小。以此将使聚类中心、类中数据点以及离群点分离开来。

过程3：构建分隔函数，完成聚类任务；

为了实现聚类中心的自适应选取，现定义的分隔函数可写作如下形式：

R＝detM-k(trace M)²

其中更详细地

det M＝ρδ

trace M＝ρ+δ

分隔函数将根据不同图片，不同ρ和δ的取值，展示不同的形状，因此可保证聚类中心选取的可适应性。如图6所示，利用聚类中心位于右上角的性质，曲线右边的样本点将被指定为聚类中心，左边的剩余样本点将会依次划分入离它最近的已知类簇号的点所在的类中。完成聚类过程后，将每个样本点中包含的像素点分配为样本点所属簇类号，将超像素为单位的序列细化为以像素为单位的簇类编号序列，以图6为例，4个样本点被挑选为聚类中心，分别指派了类簇号。则剩余样本点i的划分步骤如下：

①为了得到样本点i的簇类号，搜索比样本点i有更高密度的最近邻样本点j；

②若点j是聚类中心，执行步骤④。

③若点j不是聚类中心，则继续搜索比样本点j有更高密度的最近邻点，直到此最近邻点为已知簇类号的点(聚类中心或已划分过的点)，样本点j属于已知簇类号的点所属簇类；

④样本点i属于点j所属簇类。

待所有样本点划分完毕后，将每个样本点中所包含的像素点在原始图像中的位置作为索引，按其索引序列重构图像，得到最后的分割结果。

过程4：参数影响与结果分析

k是一个取值为0.04～0.06的常数，它的取值却对最终的聚类分割结果有不小的影响，在对大量图片进行分割的过程中，k的取值在0.0462～0.0515时，算法的准确率达到一个高且稳定的情况，如图7所示。实验结果与其他算法相比，以数据集BSDS300所提供的手绘分割真实值为依据，分别计算概率兰德指数的平均值(如表1所示)，以及最后的分割结果图(如图8(a)-图8(x)所示)，显示出本发明性能的优越性。

表1

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (5)

1.基于图像特征密度峰值搜索的图像分割方法，其特征是，包括以下步骤：

步骤(1)：对原始图像进行预处理，利用超像素分割将原始图像转换为超像素图像；

步骤(2)：将超像素图像中的每一个样本点进行颜色特征提取；

步骤(3)：对样本进行聚类分析：对每一个样本点的图像颜色特征均定义两个变量ρ和δ；ρ表示每个样本点的局部密度，δ表示与当前样本点相比具有更高局部密度的最近邻点与当前样本点之间的距离；

步骤(4)：以局部密度ρ为横轴和最近邻距离δ为纵轴，建立直角坐标系，即决策图；

步骤(5)：在决策图中定义一个分隔曲线，位于分隔曲线右边的样本点被指定为聚类中心；被指定是聚类中心的样本点代表一个簇类，同时也被指派类簇号；

步骤(6)：在聚类中心确定后，依次对剩余的样本点进行类别的划分，根据聚类后的结果和像素点在原图像中的位置进行图像的重构，得到最后的分割结果；

所述步骤(1)包括：

步骤(101)：任选一个像素点作为当前像素点，将当前像素点的像素值与设定范围内其他像素点的像素值进行作差，得到若干个差值，如果每个差值均小于设定阈值，则将当前像素点与其他像素点划分到一个区域；

步骤(102)：如通过有一个差值大于设定阈值，则缩小设定范围，重新将当前像素点的像素值与新设定范围内其他像素点的像素值进行作差，直至每个差值均小于设定阈值，则将当前像素点与其他像素点划分到一个区域，否则重复步骤(102)，直至满足要求为止；

步骤(103)：重复步骤(101)-(102)实现整幅图像的区域分割；

步骤(104)：对每个区域中的像素点求取像素均值，并以像素均值替换当前区域中的所有像素点的像素值，从而整幅图像包括若干个色块，整幅图像转换为超像素图像；

首先，定义一组独立的样本点(x₁，y₁)，(x₂，y₂)，......，(x_n，y_n)，

其中，x₁表示第一个样本点的亮度通道L的值，y₁表示第一个样本点的颜色通道a的值或颜色通道b的值；x₂表示第二个样本点的亮度通道L的值，y₂表示第二个样本点的颜色通道a的值或颜色通道b的值；x_n表示第n个样本点的亮度通道L的值，y_n表示第n个样本点的颜色通道a的值或颜色通道b的值；

针对每个样本点依次求取两个变量ρ和δ，其中利用核密度估计来计算局部密度ρ：

其中，ρ_i表示第i个样本点的局部密度，h＞0为一个平滑参数，代表带宽，其中

为缩放核函数；K(x，y)表示核函数，采用高斯核函数，x₀，y₀表示核函数中心点的坐标，σ表示方差；

另一个变量的计算公式则是：

其中，δ_i表示第i个样本点与比第i个样本点有更高局部密度的最近邻样本点之间的距离；d_ij则表示点i和点j之间的欧几里得距离；ρ_i和ρ_j分别表示第i、第j个样本点的局部密度；

步骤(5)中，定义的分隔曲线R为：

R＝det M-k(trace M)²

der M＝ρδ

trace M＝ρ+δ

其中，k是一个常数，取值范围是0.04～0.06，M是一个特征值矩阵；der M表示特征值矩阵的行列式，trace M表示特征值矩阵的迹；

所述步骤(6)，在聚类中心确定后，依次对剩余的样本点进行类别的划分，位于分隔曲线左边的样本点依次划入离样本点自身最近的已知类簇号的样本点所在的类中，得出聚类的结果；聚类结束后，每个样本点都划分到了一个类簇号，而属于每个样本点的所有像素点均被赋予同一个类簇号，根据每个样本点中每个像素点在原图像中的位置与分到的类簇号，将像素点按原图像的序列重新排列起来，得到最后的分割结果。

2.如权利要求1所述的基于图像特征密度峰值搜索的图像分割方法，其特征是，将超像素图像中的每个色块看成一个样本点，并将每个样本点在RGB颜色空间中的值转化到CIELab颜色空间中，然后提取亮度通道L的值，以及颜色通道a或颜色通道b的值，将亮度通道L的值以及颜色通道a的值作为每个样本点的颜色特征保存；或者，将亮度通道L的值以及颜色通道b的值作为每个样本点的颜色特征保存；同时，将每个超像素对应每个像素点在原始图片中的位置视为像素点索引保存。

3.如权利要求1所述的基于图像特征密度峰值搜索的图像分割方法，其特征是，所述步骤(4)中，横轴的局部密度从小到大设置，纵轴的最近邻距离也是从小到大设置。

4.基于图像特征密度峰值搜索的图像分割系统，其特征是，包括：存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述权利要求1-3任一方法所述的步骤。

5.一种计算机可读存储介质，其特征是，其上运行有计算机指令，所述计算机指令被处理器运行时，完成上述权利要求1-3任一方法所述的步骤。

Images