CN110264477A - 一种基于树结构的图像分割评价方法 - Google Patents

Abstract

本发明公开了一种基于树结构的图像分割评价方法，其包括以下步骤：S1、根据数据库中的图像数据得到一个包含所有区域节点的集合A；S2、更新集合A得到更新后的集合B；S3、获取集合B中每个节点与其他节点的父子关系；S4、根据节点的父子关系建立树的初始层次结构；S5、通过将叶子结点向下一层进行复制得到与之相同的子节点，使每一分支的层次数均等于最大层次数，得到树结构；S6、获取树结构中节点个数与待评价对象的分割区域个数最相近的层次layer；S7、将layer层中所有分割区域的标准作为评价标准，对待评价对象进行分割质量评价。本方法减少了评价过程中使用手工标记的参考分割带来的主观性，提高评价过程的客观性。

Description

一种基于树结构的图像分割评价方法

技术领域

本发明涉及图像分割评价领域，具体涉及一种基于树结构的图像分割评价方法。

背景技术

图像分割是图像处理、计算机视觉等中的一个重要研究问题，它是指将图像划分为若干个不重叠的图像子区域，划分的标准根据具体任务决定。在分割的过程中，可以利用的图像特征有很多，比如灰度/颜色特征、纹理特征和梯度特征，也可利用深度卷积神经网络提取图像的深度特征，准确且多样化的特征表示有利于实现高质量的图像分割。图像分割标准决定了分割结果是否与人的视觉判断一致，因此是实现图像分割质量评价的重要依据。

常用的图像分割质量评价是通过人的主观视觉标准来判断图像分割的好坏，但由于不同人对图像内容的理解不同，所以这种评价方法的通用性较差，而且无法进行量化分析，在实际应用中有很大的限制。另外一类是客观评价，采用量化评价指标进行评价，优点是不受主观因素的影响。根据研究的角度不同，客观评价方法可以分为两类：基于任务(或系统)的评价方法和基于特征(或算法)的评价方法。在计算机视觉领域中，图像分割方法一般不是单独存在的，而是作为某一个应用系统的一部分，系统的性能与分割质量的评价方法密切相关，因此基于任务的评价方法是从系统的角度来拼个算法的性能。基于特征的评价方法又包括分析法和实验法。分析法使用数学理论或模型直接对图像分割算法的性能进行分析；实验法是通过实验对算法的分割结果进行评价。因为现在尚未有广泛适用的理论作为分析法评价的依据，所以实验法更具有实际意义。

实验法又可以分为基于参考(监督式)的评价方法和无参考分割(非监督式)的评价方法。基于参考分割(GroundTruth)的评价方法又叫有监督的评价方法，是现在应用最广泛的客观评价方法，它是利用计算分割结果和参考分割之间的差异来评价分割质量。在现有的图像分割数据库中，参考分割是通过人工对图像区域进行标注得到的。无参考分割评价也叫无监督评价法，它是通过建立一些图像分割质量的通用标准，判断图像分割结果的质量是否达到这些标准来实现评价。

在图像分割质量的评价任务中，不同的主观个体对分割质量的评价标准不同，也会导致同一种分割结果得到不同的评价结果。比如，在伯克利自然图像分割数据库(BSDS500)中，每幅图对应有3-6幅人工标注的GroundTruth。每幅GroundTruth中标注的区域个数和区域大小有可能不同。当图像分割的质量进行评价时，恰当选择更准确合理的GroundTruth作为参考，是容易被忽略的问题。此外，由于参考分割在标注时缺乏明确的目标分割粒度划分标准，对目标分割的理解带有一定主观性。这些都会导致评价结果会受到人为主观因素的影响，难以对分割结果做出准确的评价。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于树结构的图像分割评价方法减少了现有图像分割评价过程中的主观因素，给出更准确的评价结果。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种基于树结构的图像分割评价方法，其包括以下步骤：

S1、获取数据库中每一幅原图及其对应的所有参考分割图像，并将参考分割图像中每一个分割区域表示为树结构中的一个初始节点，得到一个包含所有区域节点的集合A；

S2、遍历集合A中的所有节点，获取每一个节点与集合中其他节点的交并比，将交并比大于阈值的区域求并集得到新的节点，并从集合A中删除被合并的节点，得到更新后的集合B；

S3、对集合B中的节点根据对应的分割区域由小到大的顺序进行排序，并获取每个节点与其他节点的父子关系；

S4、根据每个节点与其他节点的父子关系建立树的初始层次结构；

S5、获取树的初始层次结构的最大层次数，并通过将叶子结点向下一层进行复制得到与之相同的子节点，使每一分支的层次数均等于最大层次数，得到树结构；

S6、将树结构中每层的每个节点对应待评价对象的一个分割区域或一组相似分割区域，获取树结构中节点个数与待评价对象的分割区域个数最相近的层次layer；

S7、将layer层中所有分割区域的标准作为评价标准，对待评价对象进行分割质量评价。

进一步地，步骤S1中的数据库为BSDS500数据库。

进一步地，步骤S2中获取每一个节点与集合中其他节点的交并比，将交并比大于阈值的区域求并集得到新的节点的具体方法为：

计算两个分割区域在图像空间中的交集和并集，将交集与并集中像素点个数的比例作为交并比，将交并比大于阈值的区域求并集得到新的节点；其中阈值的取值范围为大于等于0.85小于等于1。

进一步地，步骤S2中的阈值为0.87。

进一步地，步骤S3的具体方法为：

对集合B中的节点根据对应的分割区域由小到大的顺序进行排序，从第一个节点开始，依次与其后节点进行比较并获取在前节点N_i与在后节点N_j在图像空间的差集，判断差集中包含的像素点个数与在前节点N_i中的像素点的个数之比是否大于阈值β，若是则将在后节点N_j作为在前节点N_i的父节点，进而得到每个节点与其他节点的父子关系。

进一步地，阈值β的取值范围为：0.95≤β≤1。

进一步地，阈值β的值为0.98。

进一步地，步骤S7的具体方法为：

将layer层中所有分割区域的标准作为评价标准，逐一比较待评价对象每个或每组分割区域的质量，得到待评价对象每个或每组分割区域的评价结果，取待评价对象中所有评价结果的均值作为该待评价对象的最终评价结果，完成图像分割评价；其中，当一个节点所对应的分割区域为一组相似分割区域时，对每个分割区域进行单独评价，并取评价结果均值作为该组分割区域的评价结果。

本发明的有益效果为：

1、本发明利用树结构来建模图像区域的多层次信息，树的每一层代表不同区域粒度的参考分割，因此能保留分割粒度的多样性，减少评价过程中使用单一手工标记的参考分割带来的主观性，提高评价过程的客观性。

2、本发明在分割质量的评价过程中，根据不同层次的区域粒度大小，自适应选择对应的参考分割层次作为GroundTruth，使待评价的分割结果能和与之具有相近区域粒度的参考分割进行对比，使评价标准更准确。

3、本发明通过提取原有的参考分割中的区域建立一种基于树结构的多层次参考分割，根据区域之间的关系建立多层次的图像分割参考数据库，完善了现有公开数据库的功能。根据树形参考分割的结构特点，改进现有图像分割评价方法的评价策略，可有效提高评价准确度。

附图说明

图1为本发明的流程示意图；

图2为BSDS500数据库的两个样本示意图；

图3为基于区域之间关系的树结构建立过程示意图；

图4为树结构的多层次评价策略示意图；

图5为一个测试图片提取的树结构结果示意图；

图6为另一个测试图片提取的树结构结果示意图；

图7传统方法与本方法的评价结果对比示意图；

图8为元评价SIHD示意图；

图9为元评价SABD示意图；

图10为元评价SISD示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，该基于树结构的图像分割评价方法包括以下步骤：

S1、获取数据库中每一幅原图及其对应的所有参考分割图像，并将参考分割图像中每一个分割区域表示为树结构中的一个初始节点，得到一个包含所有区域节点的集合A；

S2、遍历集合A中的所有节点，获取每一个节点与集合中其他节点的交并比，将交并比大于阈值的区域求并集得到新的节点，并从集合A中删除被合并的节点，得到更新后的集合B；

S3、对集合B中的节点根据对应的分割区域由小到大的顺序进行排序，并获取每个节点与其他节点的父子关系；

S4、根据每个节点与其他节点的父子关系建立树的初始层次结构；

S5、获取树的初始层次结构的最大层次数，并通过将叶子结点向下一层进行复制得到与之相同的子节点，使每一分支的层次数均等于最大层次数，得到树结构；

S6、将树结构中每层的每个节点对应待评价对象的一个分割区域或一组相似分割区域，获取树结构中节点个数与待评价对象的分割区域个数最相近的层次layer；

S7、将layer层中所有分割区域的标准作为评价标准，对待评价对象进行分割质量评价。

步骤S1中的数据库为BSDS500数据库。

步骤S2中获取每一个节点与集合中其他节点的交并比，将交并比大于阈值的区域求并集得到新的节点的具体方法为：

计算两个分割区域在图像空间中的交集和并集，将交集与并集中像素点个数的比例作为交并比，将交并比大于阈值的区域求并集得到新的节点；其中阈值的取值范围为大于等于0.85小于等于1，并优先取为0.87。

步骤S3的具体方法为：对集合B中的节点根据对应的分割区域由小到大的顺序进行排序，从第一个节点开始，依次与其后节点进行比较并获取在前节点N_i与在后节点N_j在图像空间的差集，判断差集中包含的像素点个数与在前节点N_i中的像素点的个数之比是否大于阈值β，若是则将在后节点N_j作为在前节点N_i的父节点，进而得到每个节点与其他节点的父子关系。

阈值β的取值范围为：0.95≤β≤1，阈值β的值优先取为0.98。

步骤S7的具体方法为：将layer层中所有分割区域的标准作为评价标准，逐一比较待评价对象每个或每组分割区域的质量，得到待评价对象每个或每组分割区域的评价结果，取待评价对象中所有评价结果的均值作为该待评价对象的最终评价结果，完成图像分割评价；其中，当一个节点所对应的分割区域为一组相似分割区域时，对每个分割区域进行单独评价，并取评价结果均值作为该组分割区域的评价结果。

如图2所示，每幅图对应着多个参考分割，参考分割为多个人手工分割而来，由图可以发现不同人标注的参考分割是不同的，这会导致在评价过程存在主观因素的干扰。

如图3所示，最左边不同的灰度代表不同的区域，groundtruth1中分割出来的飞机区域包含groundtruth2中的机身、飞机驾驶舱和机头区域，所以前者为后面三者的父节点。

如图4所示，以往的价值指标是针对两幅参考分割来进行质量评价，而本方法并未采用额外的一幅图来评价，因此本方法与传统的评价方法不同，图中虚线框标注的层即为要与测试图片进行对比的层，这里假设测试图片的区域个数为n_test，区域树一共有n_layer层，每层一个节点代表一个区域或一组相似区域，每层的区域个数为{n₁,N₂,n₃,…,n_l},l∈(1,n_layer)，找出节点个数与测试图片区域个数最相近的层layer＝arg min(|n_l-n_test|)，用该层的区域信息与测试图片进行比较得到测试分割结果与树结构的参考分割的分割评价结果。

如图5和图6所示，图中groundtruth_i对应为在BSD500数据库中一幅对应的多个参考分割，而tree_layer_j对应为树结构中某一层的各区域可视化结果。可以很明显的观察到图5中的tree_layer_1将grountruth_1与groundtruth_2的所有区域信息进行融合为一幅图，融合为树结构中的一个层次，而tree_layer_2将grountruth_3与groundtruth_4由于各个区域信息相似，对相似区域进行了合并，形成了一个层次，同理图6也有相同的特征。可以发现树结构多层次的参考分割将所有的区域信息整合为一个树结构的参考分割，并且在一定程度剔除了一些相似的冗余区域。

如图7所示，采用本方法对图中的评价结果为0.982，原始方法的评价结果为0.9565，本方法与原始方法在评价方法与评价结果上均不相同。

在本发明的一个实施例中，SIHD方法是假设分割评价方法可以分辨清两个标准分割结果是否是来自同一原始图像分割而来。如图8所示，分割评价方法要能分辨出一对标准分割结果是来自同一图像还是来自不同的原始图像。基于上述假设，需要定义一个简单的分类器，并且对该分类器设置一个阈值来区分两种标准分割对，SIHD的结果为分类器判别正确的百分比。SABD方法基于的假设是图像分割评价方法可以区分以下两种分割结果：1)分割的结果是由某一种SoA(State of the Art)分割算法分割而来的；2)分割结果没有考虑图像的内容，是随机获得的分割结果，把它视为一种参考的基准(Baseline)。如图9所示：对于某种现有图像分割算法SoA，计算能够正确判断由分割算法分割而来的结果比偶然的来的结果评价要高的比例，SABD方法定义为图像库中评价方法可以正确判断的百分比。图像分割评价算法通常被用于研究各个分割算法在不同分割情况中参数的设置，以适应分割在不同情况下获得的图像的需要。如图10所示，将一幅图像的标准参分割与两个由SoA分割算法产生的分割结果分别进行比较，其中一个分割结果是由与标准参考分割相同的原始图像通过SoA分割算法分割后得到，另一个分割结果是由与标准参考分割不同的原始图像通过相同的SoA分割算法分割后得到。

在对本方法进行元评价过程中，使用了信息变化指数(VOI)、定向汉明距离(D_H)、汉明距离(d_vD)、分割覆盖率(sc)、一致性误差(BCE)，各个评价指标定义如下：

各指标中的符号定义：I＝{I₁,I₂,…,_N,}是包含了N个像素的分割图像，设人为标记的分割结果把图像I分割为K个分割区域，记作集合S＝{S₁,S₂,…,S_K}，而S_test是被分割为K′个区域的分割结果，记为n_k是第k个分割区域S_k里的像素点个数，

信息变化指数(VOI)：

VOI(S,S_k)＝(S)+(S_test)-2I(S,S_k) (3)

它的取值范围为[0,+∞)，值越小就说明分割结果与标准分割的信息变化越小，即越相似，也就是说分割效果越好。

定向汉明距离(D_H)：

汉明距离(d_vD)：

分割覆盖率(SC)：

一致性误差(BCE)：

上述五种评价指标分别从像素与区域两个粒度来计算图像分割结果的好坏，基于这些指标利用元评价方法对本方法与原先的评价指标进行了对比实验，其实验结果如表1所示：

表1.实验结果

从表1中可以发现本方法较原始方法有着较好的性能。总的来说，本发明通过提取原有的参考分割中的区域建立了一种基于树结构的多层次参考分割，根据区域之间的关系建立了多层次的图像分割参考数据库，可以有效的包含图像区域的层次性；针对多层次参考分割，在现有的评价方法上设计了新的评价策略，使之对于原先的方法有着较好的元评价指标。

综上所述，本发明利用树结构来建模图像区域的多层次信息，树的每一层代表不同区域粒度的参考分割，因此能保留分割粒度的多样性，减少评价过程中使用单一手工标记的参考分割带来的主观性，提高评价过程的客观性。

Claims (8)

1.一种基于树结构的图像分割评价方法，其特征在于，包括以下步骤：

S1、获取数据库中每一幅原图及其对应的所有参考分割图像，并将参考分割图像中每一个分割区域表示为树结构中的一个初始节点，得到一个包含所有区域节点的集合A；

S2、遍历集合A中的所有节点，获取每一个节点与集合中其他节点的交并比，将交并比大于阈值的区域求并集得到新的节点，并从集合A中删除被合并的节点，得到更新后的集合B；

S3、对集合B中的节点根据对应的分割区域由小到大的顺序进行排序，并获取每个节点与其他节点的父子关系；

S4、根据每个节点与其他节点的父子关系建立树的初始层次结构；

S5、获取树的初始层次结构的最大层次数，并通过将叶子结点向下一层进行复制得到与之相同的子节点，使每一分支的层次数均等于最大层次数，得到树结构；

S6、将树结构中每层的每个节点对应待评价对象的一个分割区域或一组相似分割区域，获取树结构中节点个数与待评价对象的分割区域个数最相近的层次layer；

S7、将layer层中所有分割区域的标准作为评价标准，对待评价对象进行分割质量评价。

2.根据权利要求1所述的基于树结构的图像分割评价方法，其特征在于，所述步骤S1中的数据库为BSDS500数据库。

3.根据权利要求1所述的基于树结构的图像分割评价方法，其特征在于，所述步骤S2中获取每一个节点与集合中其他节点的交并比，将交并比大于阈值的区域求并集得到新的节点的具体方法为：

计算两个分割区域在图像空间中的交集和并集，将交集与并集中像素点个数的比例作为交并比，将交并比大于阈值的区域求并集得到新的节点；其中阈值的取值范围为大于等于0.85小于等于1。

4.根据权利要求1或3所述的基于树结构的图像分割评价方法，其特征在于，所述步骤S2中的阈值为0.87。

5.根据权利要求1所述的基于树结构的图像分割评价方法，其特征在于，所述步骤S3的具体方法为：

对集合B中的节点根据对应的分割区域由小到大的顺序进行排序，从第一个节点开始，依次与其后节点进行比较并获取在前节点N_i与在后节点N_j在图像空间的差集，判断差集中包含的像素点个数与在前节点N_i中的像素点的个数之比是否大于阈值β，若是则将在后节点N_j作为在前节点N_i的父节点，进而得到每个节点与其他节点的父子关系。

6.根据权利要求5所述的基于树结构的图像分割评价方法，其特征在于，所述阈值β的取值范围为：0.95≤β≤1。

7.根据权利要求5所述的基于树结构的图像分割评价方法，其特征在于，所述阈值β的值为0.98。

8.根据权利要求1所述的基于树结构的图像分割评价方法，其特征在于，所述步骤S7的具体方法为：

将layer层中所有分割区域的标准作为评价标准，逐一比较待评价对象每个或每组分割区域的质量，得到待评价对象每个或每组分割区域的评价结果，取待评价对象中所有评价结果的均值作为该待评价对象的最终评价结果，完成图像分割评价；其中，当一个节点所对应的分割区域为一组相似分割区域时，对每个分割区域进行单独评价，并取评价结果均值作为该组分割区域的评价结果。