CN109949298B - 一种基于聚类学习的图像分割质量评价方法 - Google Patents

Abstract

本发明公开了一种基于聚类学习的图像分割质量评价方法。包括特征聚类学习阶段：先从公开数据集图像和人工标记图像得到特征块和分割块，构建分割数据训练集；再对训练集的特征块聚类得到聚类中心，用最近邻分类并将对应的分割块设置为相同的类别标签。还包括分割质量评价阶段：先从待评价图像得到分割块和特征块，计算每个特征块与聚类中心的距离并分类，再将特征块对应的分割块划分到与之相同的类别；最后，用每个分割块与对应类别中的所有分割块比较，统计得到整个分割图像的质量分数。本发明利用图像边缘特征对图像分割质量进行评价，通过聚类学习学到“好”的图像分割特征，以此作为评价依据，能得到更客观的评价结果。

Description

一种基于聚类学习的图像分割质量评价方法

技术领域

本发明涉及计算机视觉、图像处理技术领域，特别是一种基于聚类学习的图像分割质量评价方法。

背景技术

图像分割通常指按某种处理任务将图像划分为互不相交的若干区域。在理想情况下，这些区域对应若干有意义的目标。图像分割是图像理解和分析的关键步骤，通常可作为图像识别、场景分析、目标检测等任务的预处理步骤，也是计算机视觉的一项基础任务。分割质量的好坏将直接影响这些任务的计算结果。如何评价分割算法的性能，并针对具体应用合理选择算法仍是难度较大的问题。其次，任何一种图像分割算法都涉及若干参数，参数的选择往往需要对分割质量进行客观评价，但至今没有取得较好的解决效果。

分割质量的好坏可采用主观评价，即依靠人视觉判断比较不同的分割结果。但是这种方法耗时耗力，且主观性较强，缺乏统一标准。另一种方法是有监督评价，通过比较分割算法的结果与参考图像(又称参考分割)的结果，计算二者的差异从而评价分割质量。还有一种是无监督评价，通过建立经验评价准则，对分割结果进行量化评价。该方法不受给定参考图像内容和数量的限制，更具通用性，是实现在线图像分割质量评价的唯一手段。但由于图像分割问题本身固有的病态性和图像分割准则的多样性，准确定义并评价分割质量是一项巨大挑战。

目前基于无监督的分割质量评价方法大致可归纳为三类：基于区域内一致性评价、区基于域间差异性的评价和基于目标语义特性的评价。前两种方法利用图像颜色、纹理、熵等特征的统计结果得到图像分割区域内的一致性，或者区域间差异性，其中可以利用多种特征的组合进行判断。语义特征包括特定目标类别具备的区域形状等特征，计算时可根据区域尺寸、边界长度等设计相关的惩罚系数提高评价性能。目前这些评价方法还不能达到十分精确和鲁棒的评价效果，主要受局限于图像分割目标的复杂性。但近年来随着机器学习技术的蓬勃发展，针对人类视觉感知经验实现准确的图像目标特征表示，从而实现无监督图像分割评价。

长期研究表明，图像的低层边缘特征对描述真实目标边界较稳定，相对图像高层特征的复杂多样，更有利于挖掘图像内容的本质。本发明基于图像边缘特征，采用聚类学习方法发现图像分割区域的局部空间结构特性，以块结构中包含的边缘信息作为分割质量评价的依据，能获得高准确率的评价结果。并且实现了无监督评价过程，具有良好的通用性和实用价值。

发明内容

本发明提出了一种无监督分割质量评价方法，基于聚类方法学习分割局部空间结构特性，以分割局部结构作为分割质量评价的依据，能获得稳定可靠的评价效果。

本发明的技术方案如下：

一种基于聚类学习的图像分割质量评价方法，包括

步骤1：构建图像数据训练集，包括

步骤1.1：从现有公开图像分割数据库中挑选A幅原始图像，每一幅原始图像具有一幅人工分割的参考图像GT；

步骤1.2：任选一幅原始图像及其参考图像GT，执行如下处理：

创建原始图像的DOG特征图像：用尺度为5×5，标准差分别为

的高斯核进行滤波，得到滤波结果G₁,G₂,G₃,G₄,G₅；然后计算差值图像D₁＝G₁-G₂,D₂＝G₃-G₄,D₃＝G₄-G₅；对于D₂中每个像素点，在其3×3邻域以及D₁和D₃中对应相同的邻域内，判断该点是否为极值点；若为极值点，则设置值为1，否则为0；

创建与参考图像GT的像素数长宽相同的二值矩阵GTB：GT中的非分割边界像素所在的位置，对应在GTB中的元素设置为0；GT中的分割边界像素所在的位置，对应在GTB中的元素设置为1；

所述DOG与GTB的元素的位置一一对应；

分别以GTB中值为1的每个元素为中心，在GTB截取边长为t个元素的正方形分割块P₁ ^S,P₂ ^S,P₃ ^S,...,P_n ^S，构成分割块集合P^S＝{P₁ ^S,P₂ ^S,P₃ ^S,...,P_n ^S}，截取过程中尺寸不足t×t的块不包含到P^S中；

找出GTB中值为1的元素所对应的DOG中的元素，分别以其为中心，在GTB截取边长为t个元素的正方形特征块P₁ ^DOG,P₂ ^DOG,P₃ ^DOG,…,P_n ^DOG，构成特征块集合P^DOG＝{P₁ ^DOG,P₂ ^DOG,P₃ ^DOG,…,P_n ^DOG}，截取过程中尺寸不足t×t的块不包含到P^DOG中；

所述分割块和特征块一一对应；

步骤1.3：按照步骤1.2相同的方法对A中其它原始图像及其参考图像GT进行处理，得到A个特征块集合P^DOG和A个分割块集合P^S；

步骤2：图像块聚类，包括

步骤2.1：将A个特征块集合P^DOG中的每个特征块按列展开排成一个t²×1的列向量，利用K均值聚类算法，设定K值对所有列向量聚类，得到K个聚类中心，记为集合C；按照最近邻分类方法将所有列向量分类，每个列向量所在的类别即为其对应的特征块的类别，设置其类别标签为L_k；所有特征块的类别标签构成类别标签集合L＝{L_k|k＝1,...,K}；

步骤2.2：将每一个特征块的类别标签L_k设置为其对应的分割块的类别标签；

步骤3：创建待评价分割图像数据，包括

步骤3.1：按照步骤1.2相同的方法，创建待评价分割图像的原始图像的DOG特征图像；

步骤3.2：创建与待评价分割图像的像素数长宽相同的二值矩阵Seg：分割图像的非分割边界像素所在的位置，对应在Seg中的元素设置为0；分割图像的分割边界像素所在的位置，对应在Seg中的元素设置为1；

步骤3.3：将Seg和步骤3.1得到的DOG特征图像分别划分为多个边长为t个元素的正方形网格块，大小不足t×t的网格块在空缺位置填0补足为t×t的网格块，得到Seg的网格块

并且构成集合

和DOG特征图像的网格块

并且构成集合

m为网格块的数量；所述Seg的网格块和DOG特征图像的网格块一一对应；

步骤4：计算评价分数，包括

步骤4.1：将P^DOG'中每个网格块P_i ^DOG′按列展开排成一个t²×1的列向量，计算每个列向量与聚类中心集合C中每个元素的欧氏距离，按最近邻分类方法将其划分到最近的类别L_k；找到P^S'中与P_i ^DOG′对应的网格块P_i ^S'，将P_i ^S'与A个P^S集合中类别为L_k的所有分割块依次比较，判断P_i ^S'中每个元素是否为边界点，即PB_i,q(x,y)＝1，如下：

其中，PL_k是A个P^S集合中类别为L_k的所有分割块的集合，

是集合PL_k中第q个分割块，q＝1,...,N_k，N_k为A个P^S集合中类别为L_k的所有分割块的个数，P_i ^S'(x,y)和

分别表示其元素在块中(x,y)位置处的值，i＝1,...,m；

步骤4.2：计算P_i ^S'的分割质量评价分数S_i：

其中，

为

中包含边界点的个数，即值为1的元素个数；Row和Col分别表示P_i ^S'的行数和列数；

步骤4.3：得到P_i ^S'的分割质量评价分数后，对P^S'中所有网格块的分割质量取平均，得到整个分割图像的分割质量评价分数S，即：

与现有技术相比，本发明的积极效果是：

一、本发明使用图像边缘特征对分割质量进行描述，采用聚类学习来找到图像分割的评价标准。相比较现有的无监督分割评价方法，不需要专门设计基于图像目标区域或边界特征的评价标准，更具有普遍适用性。

二、本发明方法仅使用少量图像进行聚类学习，由于图像边缘信息不受图像内容多样性影响，在所有图像中具有稳定的表达。因此训练图像数量少，比使用图像中层、高层特征花费更少的人工标注资源。

三、本发明方法在评价时用图像块与训练集中同类别的所有图像块比较，差异度量容许图像边缘在局部存在微小偏移，保持了边缘结构在局部评价的稳定性。

附图说明

图1是本发明方法的整体工作流程图。

图2是步骤3.3中划分Seg分割图像块的示例。从左至右依次为分割图Seg、补齐后的分割图和截取结果。为了使分割图边界满足截取完整块，需要对右侧和下方区域进行补齐。

图3是本发明在分割评价数据库ACS500部分原图及其对应的分割对的评价结果，其中第二列为主观判断分割质量为“好”的分割图，第三列为主观判断分割质量为“差”的分割图，每分割图给出了评价分数，分数越高说明分割质量越好。

图4是本发明在分割评价数据库上的评价准确率，K值分别为3、4、5，块的宽度(像素为单位)依次为7px，11px，15px，19px，23px，27px，31px，35px，37px。

图5是E、Zeb、Frc、Frc_for_texture 4种无监督评价指标在分割评价数据库上的评价准确率(百分比)。

图6是对不同分割图像的评价，从左至右依次为原图，人工标注Ground truth分割结果，与Ground truth中分割区域个数相近的算法分割结果和欠分割结果。

具体实施方式

具体实施步骤如下所示：

步骤1：构建图像数据训练集。

步骤1.1：从现有BSDS500图像分割数据库中挑选A幅原始图像，每幅图像具有一幅人工分割的参考图像GT(Ground truth)。其中，A≥30，优选的A＝50。

步骤1.2任选一幅原始图像及其参考图像GT，执行如下处理：

在原始图像上用尺度为5×5，标准差分别为

的高斯核进行滤波，得到滤波结果G₁,G₂,G₃,G₄,G₅。然后计算差值图像D₁＝G₁-G₂，D₂＝G₃-G₄D₃＝G₄-G₅。对于D₂中每个像素点，在其3×3邻域以及D₁和D₃中对应相同的邻域内，判断该点是否为极值点。若为极值点，则设置值为1，否则为0，得到DOG(Difference of Gaussian高斯函数差分)特征图像。

利用参考分割图像GT创建与之长宽相同的二值矩阵GTB。GT中的非边界像素所在的位置，对应到GTB中设置为0；GT中的边界像素所在的位置，对应到GTB中设置为1。

经过上述步骤得到的DOG与GTB的元素的位置一一对应。

分别以GTB中值为1的每个元素为中心，在GTB截取边长为t个元素的正方形分割块P₁ ^S,P₂ ^S,P₃ ^S,…,P_n ^S，构成分割块集合P^S＝{P₁ ^S,P₂ ^S,P₃ ^S,…,P_n ^S}，截取过程中尺寸不足t×t的块不包含到P^S中。

找出GTB中值为1的元素所对应的DOG中的元素，分别以其为中心，在GTB截取边长为t个元素的正方形特征块P₁ ^DOG,P₂ ^DOG,P₃ ^DOG,…,P_n ^DOG，构成特征块集合P^DOG＝{P₁ ^DOG,P₂ ^DOG,P₃ ^DOG,...,P_n ^DOG}，截取过程中尺寸不足t×t的块不包含到P^DOG中。

经过上述步骤得到的分割块和特征块也一一对应。

步骤1.3：按照步骤1.2相同的方法对A中其它原始图像及其参考图像GT进行处理，得到A个特征块集合P^DOG和A个分割块集合P^S。

步骤2：图像块聚类。

步骤2.1：将A个特征块集合P^DOG中每个特征块按列展开排成一个t²×1的列向量，利用K均值(K-means)聚类算法，设定K值对所有列向量聚类，得到K个聚类中心，记为集合C。按照最近邻分类方法将列向量分类，每个列向量所在的类别即为其对应的特征块的类别，设置其类别标签为L_k。所有特征块的类别标签构成类别标签集合L＝{L_k|k＝1,...,K}。

步骤2.2：将每一个特征块的类别标签L_k设置为其对应的分割块的类别标签。

步骤3：创建待评价分割图像数据。

步骤3.1：参照步骤1.2的方法，在待评价分割图像的原始图像上提取DOG特征，建立DOG特征图像。

步骤3.2：利用待评价的分割图像创建与之长宽相同的二值矩阵Seg，分割图像的非边界像素所在的位置，对应到Seg中设置为0，分割图像的边界像素所在的位置，对应到Seg中设置为1。

步骤3.3：将Seg和步骤3.1得到的DOG特征图像分别划分为多个边长为t个元素的正方形网格块，大小不足t×t的网格块在空缺位置填0补足为t×t的网格块，得到Seg的网格块

并且构成集合

和DOG特征图像的网格块

并且构成集合

m为网格块的数量。其中，Seg的网格块和DOG特征图像的网格块在空间位置上一一对应。

步骤4：计算评价分数。

步骤4.1将P^DOG'中每个网格块P_i ^DOG′按列展开排成一个t²×1的列向量，计算每个列向量与聚类中心集合C中每个元素的欧氏距离，按最近邻将其划分到最近的类别L_k。找到P^S'中与P_i ^DOG′对应的网格块P_i ^S'，将P_i ^S'与A个P^S集合中类别为L_k的所有分割块依次比较，判断P_i ^S'中每个元素是否为边界点，即PB_i,q(x,y)＝1，如下：

其中，PL_k是A个P^S集合中类别为L_k的所有分割块的集合，

是集合PL_k中第q个分割块，q＝1,...,N_k，N_k为A个P^S集合中类别为L_k的所有分割块的个数，P_i ^S'(x,y)和

分别表示其元素在块中(x,y)位置处的值，i＝1,...,m。x,y分别代表行和列。

步骤4.2：计算P_i ^S'的分割质量评价分数S_i，

其中，

为

中包含边界点的个数，即值为1的元素个数；Row和Col分别表示P_i ^S'的行数和列数；

步骤4.3：得到P_i ^S'的分割质量评价分数后，对P^S'中所有网格块的分割质量取平均，得到整个分割图像的分割质量评价分数S，即：

上述方案中，t的取值可以为7，11，15，19，23，27，31，35或37，本发明通过实验证明取27为宜。K值的取值范围为3至5，通常取5。

本发明通过下列两个实验验证其有益效果。

实验一

验证本发明方法与主观评价的一致性。利用图像分割质量评价数据库ACS500验证本发明的有效性。该数据库包含500原始图像，每幅图包含用不同图像分割算法产生的2幅分割结果，并通过人为主观对2幅分割结图像的好坏得出判断结果。

基于BSDS500中50幅图构建的训练集，按照本发明的方法在ACS500数据库上得到评价结果。图3展示了用本发方法对几幅图像分割质量的评价结果，都正确地找到了一对分割结果中质量较好的一幅。

图4展示了500幅图像上与人为主观评价进行比较得到评价准确度(百分比)。K值分别取3、4、5进行验证。由图4可见，随着截取图像块尺寸增大，本发明方法的评价准确度趋于提高。K值选择对评价结果的影响在取值范围内无明显规律。

利用现有非监督评价方法与本发明方法进行比对，选择E，Zeb，Frc，Frc_for_texture 4种常见的评价方法，结果如图5所示。对比图4和图5的结果可以看出，本发明方法取图像块大于9×9尺寸以上，评价准确率明显高于这四种方法，证明了本发明的有效性。

实验二

本实验利用元评价方法对本发明方法进行验证。从BSDS500除去50幅作为训练集，从余下的450幅随机抽取200幅，利用gPb-owt-ucm分割算法在每幅图上产生不同分割粒度的分割结果。按照元评价假设，良好的评价方法能区分人工分割结果和算法分割结果的质量，且正确判断前者质量更好。本实验选择两种粒度的算法分割结果与人工分割进行比较。第一，选择与人工分割结果中包含分割区域相近的分割结果；第二，选择欠分割粒度结果。这两类分割结果能反映图像区域所表示的中高层目标的分割情况，从而验证本发明方法对目标分割的质量判断能力。实验中取块的尺寸选择27×27，K值选择5。

图6展示了在BSDS500上测试的部分数据，从左至右依次为原图、人工分割结果、与人工分割中分割区域个数相近的算法分割以及欠分割结果。在这些实验结果中，本发明方法正确判断出分割质量最好的是人工分割结果，即得分较算法分割的结果更高，符合元评价假设。

表1不同算法的分割质量对比

表1为本发明及4种无监督评价方法在该本实验中的准确率对比。从表1可以看出4种评价方法对评价不同类型的分割具有不同的倾向性，这由于不同评价方法在设计对区域特征一致性和区域间差异性的依据不同。其中，E和Zeb两种方法对欠分割结果的评价表现很差，且所有4种参考方法在与人工分割区域个数相近的情况下，评价准确度都低于50％。本发明方法的准确率在两类分割结果上表现都高于其它4种无监督评价方法，充分证明了本发明的有效性。

Claims (7)

1.一种基于聚类学习的图像分割质量评价方法，其特征在于，包括

步骤1：构建图像数据训练集，包括

步骤1.1：从现有公开图像分割数据库中挑选A幅原始图像，每一幅原始图像具有一幅人工分割的参考图像GT；

步骤1.2：任选一幅原始图像及其参考图像GT，执行如下处理：

创建原始图像的DOG特征图像：用尺度为5×5，标准差分别为

的高斯核进行滤波，得到滤波结果G₁,G₂,G₃,G₄,G₅；然后计算差值图像D₁＝G₁-G₂,D₂＝G₃-G₄,D₃＝G₄-G₅；对于D₂中每个像素点，在其3×3邻域以及D₁和D₃中对应相同的邻域内，判断该点是否为极值点；若为极值点，则设置值为1，否则为0；

创建与参考图像GT的像素数长宽相同的二值矩阵GTB：GT中的非分割边界像素所在的位置，对应在GTB中的元素设置为0；GT中的分割边界像素所在的位置，对应在GTB中的元素设置为1；

所述DOG与GTB的元素的位置一一对应；

分别以GTB中值为1的每个元素为中心，在GTB截取边长为t个元素的正方形分割块

构成分割块集合

截取过程中尺寸不足t×t的块不包含到P^S中；

找出GTB中值为1的元素所对应的DOG中的元素，分别以其为中心，在GTB截取边长为t个元素的正方形特征块

构成特征块集合

截取过程中尺寸不足t×t的块不包含到P^DOG中；

所述分割块和特征块一一对应；步骤1.3：按照步骤1.2相同的方法对A中其它原始图像及其参考图像GT进行处理，得到A个特征块集合P^DOG和A个分割块集合P^S；

步骤2：图像块聚类，包括

步骤2.1：将A个特征块集合P^DOG中的每个特征块按列展开排成一个t²×1的列向量，利用K均值聚类算法，设定K值对所有列向量聚类，得到K个聚类中心，记为集合C；按照最近邻分类方法将所有列向量分类，每个列向量所在的类别即为其对应的特征块的类别，设置其类别标签为L_k；所有特征块的类别标签构成类别标签集合L＝{L_k|k＝1,...,K}；

步骤2.2：将每一个特征块的类别标签L_k设置为其对应的分割块的类别标签；

步骤3：创建待评价分割图像数据，包括

步骤3.1：按照步骤1.2相同的方法，创建待评价分割图像的原始图像的DOG特征图像；

步骤3.2：创建与待评价分割图像的像素数长宽相同的二值矩阵Seg：分割图像的非分割边界像素所在的位置，对应在Seg中的元素设置为0；分割图像的分割边界像素所在的位置，对应在Seg中的元素设置为1；

步骤3.3：将Seg和步骤3.1得到的DOG特征图像分别划分为多个边长为t个元素的正方形网格块，大小不足t×t的网格块在空缺位置填0补足为t×t的网格块，得到Seg的网格块

并且构成集合

和DOG特征图像的网格块

并且构成集合

m为网格块的数量；所述Seg的网格块和DOG特征图像的网格块一一对应；

步骤4：计算评价分数，包括

步骤4.1：将P^DOG'中每个网格块P_i ^DOG′按列展开排成一个t²×1的列向量，计算每个列向量与聚类中心集合C中每个元素的欧氏距离，按最近邻分类方法将其划分到最近的类别L_k；找到P^S'中与P_i ^DOG′对应的网格块P_i ^S'，将P_i ^S'与A个P^S集合中类别为L_k的所有分割块依次比较，判断P_i ^S'中每个元素是否为边界点，即PB_i,q(x,y)＝1，如下：

其中，PL_k是A个P^S集合中类别为L_k的所有分割块的集合，

是集合PL_k中第q个分割块，q＝1,...,N_k，N_k为A个P^S集合中类别为L_k的所有分割块的个数，P_i ^S'(x,y)和

分别表示其元素在块中(x,y)位置处的值，i＝1,...,m；

步骤4.2：计算P_i ^S'的分割质量评价分数S_i：

其中，

为

中包含边界点的个数，即值为1的元素个数；Row和Col分别表示P_i ^S'的行数和列数；

步骤4.3：得到P_i ^S'的分割质量评价分数后，对P^S'中所有网格块的分割质量取平均，得到整个分割图像的分割质量评价分数S，即：

2.根据权利要求1所述的一种基于聚类学习的图像分割质量评价方法，其特征在于，所述A≥30。

3.根据权利要求2所述的一种基于聚类学习的图像分割质量评价方法，其特征在于，所述A＝50。

4.根据权利要求1所述的一种基于聚类学习的图像分割质量评价方法，其特征在于，所述t的取值为：7，11，15，19，23，27，31，35或37。

5.根据权利要求4所述的一种基于聚类学习的图像分割质量评价方法，其特征在于，所述t的取值为27。

6.根据权利要求1所述的一种基于聚类学习的图像分割质量评价方法，其特征在于，所述K均值聚类算法的K值的取值范围为3至5。

7.根据权利要求6所述的一种基于聚类学习的图像分割质量评价方法，其特征在于，所述K均值聚类算法的K值的取值为5。

Images