CN110517269A - 一种基于层次区域合并的多尺度图像分割方法 - Google Patents

Abstract

本发明涉及多尺度图像分割领域，具体涉及一种基于层次区域合并的多尺度图像分割方法。利用多尺度图像分割方法生成多尺度割结果，根据阈值由低到高抽取多幅分割结果，建立多尺度层次区域合并树；并对每个尺度的分割区域进行分割质量量化，利用优化算法进行全局图像层次合成；根据合成层次的结果确定合适分割区域的集合，依据集合生成图像的最优分割结果。本方法克服了多尺度图像分割方法人工设置阈值带来的分割精度损失，能够在一定程度上实现个体目标的最优分割尺度选择。

Description

一种基于层次区域合并的多尺度图像分割方法

技术领域

本发明涉及多尺度图像分割领域，具体涉及一种基于层次区域合并的多尺度图像分割方法。

背景技术

图像分割是将图像分割为若干个互不重叠的子区域，使得区域内部特征具有相似性，区域间特征具有明显差异性，是计算机视觉中一项基础的任务。图像分割将图像的像素分为不同的块，每个块表示图像中具有区别性的事务。将图像表示为物理上有意义的连通区域的集合，并根据目标与背景的先验知识，对图像中的目标、背景进行标记、定位，然后将目标从背景或者其他伪目标中分离出来。

多尺度图像分割是图像分割方法中的一种，其能够根据设定的阈值，得到图像不同尺度的树形分割结果。由于其能够对不同尺度的目标区域进行提取，能够较充分适应不同目的计算机视觉任务，成为图像分割技术的主流研究方向。多尺度分割算法的分割结果一般通过设定阈值进行选择，通过选取众多分割结果中的某一尺度，获得具体图像的分割结果，虽然具有较好的分割效果，但是仍旧存在一定的局限性。首先，其对于阈值的确定严重依赖手工设定，阈值的选择如果过于主观，不够科学，则会导致无法生成理想的图像分割结果。其次，一幅图像的最优分割区域可能会包含在多个不同的尺度，无法保证每个个体目标都实现最优化选择。研究图像层次分割的尺度感知问题，能够改善现有图像多尺度分割方法的缺点，有效提高图像语义分割、图像显著性检测、目标识别等相关领域的技术水平。

现有多尺度分割尺度选择多采用机器学习的方法，使用预测器学习图像分割区域的众多特征，预测判别分割区域属于欠分割、合理分割还是过分割。根据所预测的区域分割标签，结合动态规划算法，以解决图像分割最优层次选择的问题。虽取得比较好的效果，但机器学习方法需要较多的特征，训练过程产生的计算复杂度和计算量很大。本发明在保证分割精度的同时，选取一些重要的分割区域特征，对分割区域的特征直接进行线性求和，代替机器学习方法需大量特征和数据学习的过程，可减少计算复杂度和计算量。

发明内容

针对现有多尺度图像分割方法的不足，本发明提供的一种基于层次区域合并的多尺度图像分割方法，克服现有多尺度图像分割方法由主观设定阈值选取尺度的造成的分割精度损失，实现个体目标一定程度上的最优分割尺度选择。

为了达到上述目的，本发明采用的技术方案为：

一种基于层次区域合并的多尺度图像分割方法，利用的多尺度图像分割方法生成多尺度割结果，根据阈值由低到高抽取多幅分割结果，建立多尺度层次区域合并树；并对每个尺度的分割区域进行分割质量量化，利用优化算法进行全局图像层次合成；根据合成层次的结果确定合适分割区域的集合，依据集合生成图像的最优分割结果。

优选的，所述方法具体为：

步骤一、从多尺度分割结果集合中选取有效分割结果；

步骤二、构建多尺度层次区域合并模型，在全局层次范围进行层次区域合并，具体步骤为：

步骤2.1：遍历集合T中每个分割区域上级层次的所有区域，获取每个分割区域与其他所有区域的交并比，选取最大交并比的区域作为父节点区域，进而获取集合T中每个分割区域与其他分割区域之间的父子关系；

步骤2.2：以阈值最小的分割区域组合作为初始层次，根据层次区域的父子关系建立多尺度图像分割的层次区域合并树，树中的每个节点表示一个分割区域；

步骤2.3：计算各个分割区域v_i的内部颜色一致性特征f_{intra_color}、内部纹理一致性特征f_{intra_texture}和几何特征f_{geo_infor}。其中f_{intra_color}和f_{intra_texture}的值越小，说明区域内部颜色和纹理越统一，区域分割的质量越好，f_{geo_infor}避免分割区域过分割；将三种特征值相加，得到集合T中每个分割区域的分割质量分数；

步骤2.4：构建多尺度层次区域合并模型，利用动态规划方法自底向上对层次区域合并树进行分割区域组合；在层次区域合并树结构中，以节点(分割区域)v_i为根的子树，其相对于整棵层次分割树而言，最优分割区域可以是节点v_i本身，也可以是v_i节点对应的所有子节点的并集，选择取决于子节点并集与父节点之间谁能量更低；适用动态规划的框架，通过动态规划算法寻找全局最优；

步骤三、提取能量和最小的分割区域组合确定合适分割区域的集合标签，按照标签生成图像的最优分割结果。

优选的，所述步骤一具体为：

步骤1.1：利用多尺度图像分割方法获取数据库中每幅图的分割结果，即超度量轮廓图，根据阈值将UCM展开，得到自下而上的图像多尺度的分割集合S＝{S₁,S₂,…,S_n}；

步骤1.2：由于阈值太小，分割粒度过细不具有实际意义，为节省计算开销选取有效分割集合其中第n幅分割结果的区域数为且

优选的，所述步骤1.1中为节省计算量，剔除分割粒度过小的阈值，选择从层开始。

优选的，所述步骤1.2中分割集合S到集合T尺度选择的步长，即t_i到t_i+1步长应不大于

优选的，所述步骤二中的步骤2.3具体为：

(a)区域内部颜色一致性f_{intra_color}：颜色特征是一种全局特征，描述了图像或图像区域所对应的事物的表面性质；区域内部颜色一致性主要反映图像区域在Lab颜色空间下的直方图分布情况，区域内部颜色一致性f_{intra_color}见式(1)：

其中，L、a、b三个通道分别划分为30个bin,是每个bin对应的颜色直方图；f_{intra_color}的值越小，说明区域内部颜色越统一，区域分割的质量越好；

(b)区域内部纹理一致性f_{intra_texture}：纹理特征体现全局特征性质的同时，它也描述了图像或图像区域所对应事物的表面性质；区域内部纹理一致性即使用RFS滤波器组，包括高斯和拉普拉斯滤波器(σ＝10)，和具有6个方向3个尺度((σ_x,σ_y)＝{(1,3,(2,6),(4,12))})的高斯一阶、二阶微分滤波器，得到区域纹理特征表述；区域内部纹理一致性f_{intra_texture}见式(2)：

其中，38个纹理直方图划分别划分为30个bin，是每个bin对应的纹理直方图值；f_{intra_texture}的值越小，说明区域内部纹理越统一，区域分割的质量越好。

(c)区域几何信息f_{geo_infor}：为避免分割区域过分割，引入分割区域的几何信息；区域几何信息f_{geo_infor}见式(3)

其中N_s为当前层次包含的目标区域个数，R为当前图像的面积，R_x为目标区域的面积；目标区域面积越小，则说明分割区域的区域个数越多，容易产生过分割；当R_x越大，N_s越小时，对区域选择的影响迅速变小，可防止欠分割；

将三种特征值相加，得到集合T中每个分割区域的分割质量分数。

优选的，所述步骤二中的步骤2.4具体为：构建多尺度层次区域合并模型，利用动态规划方法自底向上对层次区域合并树进行分割区域组合；在层次区域合并树结构中，以节点(分割区域)v_i为根的子树，其相对于整棵层次分割树而言，最优分割区域可以是节点v_i本身，也可以是v_i节点对应的所有子节点的并集，选择取决于子节点并集与父节点之间谁能量更低；适用动态规划的框架，通过动态规划算法寻找全局最优；

求解图像分割结果的最优尺度问题转化为求解最优化的问题，见式4：

则，每个节点v_i的能量E_vi见式(5)和(6)：

E_vi＝H_vi·#(v_i) (5)

其中D_ij为区域特征，w为权重，#(v_i)为当前分割区域的面积。

优选的，所述步骤三具体为：根提步骤2.4求得能量和最小的分割区域组合，见式(7)：

其中，X_L表示分割集合的节点，E(X_L)表示分割集合的能量值，E_vi为图像分割区域v_i的能量，d_min为能量最小的分割区域组合的能量值；

按照集合X_L确定合适分割区域的组合，根据组合标签生成图像的最优分割结果。

有益效果为：1、多尺度图像分割方法的最终分割结果通过设定阈值进行选取，严重依赖手工设定，若阈值的选择过于主观，不够科学，则影响生成的分割结果精度，本发明方法可以一定程度减少人工设定阈值选取分割尺度带来主观性，提高图像分割结果尺度选择的客观性。

2、一幅图的最优分割区域可能分布在不同层次，无法保证每个个体目标实现最优尺度选取。本发明提出一种可行的图像尺度感知算法，利用现有多尺度分割算法的层次分割结果，通过对每个层次区域特征的量化描述，进行全局范围的层次区域合并，实现多尺度下图像分割的最优尺度感知。

3、现有多尺度分割尺度选择多采用机器学习的方法，使用预测器学习图像分割区域的众多特征，预测判别分割区域属于欠分割、合理分割还是过分割。根据所预测的区域分割标签，结合动态规划算法，以解决图像分割最优层次选择的问题。虽取得比较好的效果，但机器学习方法需要较多的特征，训练过程产生的计算复杂度和计算量很大。本发明在保证分割精度的同时，选取一些重要的分割区域特征，对分割区域的特征直接进行线性求和，代替机器学习方法需大量特征和数据学习的过程，可减少计算复杂度和计算量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1本发明方法的整体工作流程图；

图2为原始图像、多尺度分割结果、图像正确分割以及在不同阈值下的多尺度图像分割结果示意图；

图3a为层次区域合并树结构示意图，3b实际分割结果的层次区域合并树可视化示意图；

图4a为尺度感知方法示意图，4b为区域多尺度分割集合中正确分割集合示意图；

图5为多种多尺度图像分割方法在BSDS500数据集上的尺度感知结果；

图6为本方法对MCG方法在BSDS500数据集上选择的最优尺度结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

参考图1，一种基于层次区域合并的多尺度图像分割方法，利用现有的多尺度图像分割方法生成多尺度割结果，根据阈值由低到高抽取多幅分割结果，建立多尺度层次区域合并树；并对每个尺度的分割区域进行分割质量量化，利用优化算法进行全局图像层次合成；根据合成层次的结果确定合适分割区域的集合，依据集合生成图像的最优分割结果。具体步骤为：

步骤一、从多尺度分割结果中选取有效分割结果。

步骤1.1：利用多尺度图像分割方法获取数据库中每幅图的分割结果，即超度量轮廓图(Ultrametric Contour Map，UCM)，根据阈值将UCM展开，得到自下而上的图像多尺度的分割集合S＝{S₁,S₂,…,S_n}，如图2所示，阈值越小，图像分割粒度则越细；

步骤1.2：由于阈值太小，分割粒度过细不具有实际意义，为节省计算开销选取有效分割集合其中第n幅分割结果的区域数为且

步骤二、构建多尺度层次区域合并模型，在全局层次范围进行层次区域合并。

步骤2.1：遍历集合T中每个分割区域上级层次的所有区域，获取每个分割区域与其他所有区域的交并比，选取最大交并比的区域作为父节点区域，进而获取集合T中每个分割区域与其他分割区域之间的父子关系；

步骤2.2：以阈值最小的分割区域组合作为初始层次，根据层次区域的父子关系建立多尺度图像分割的层次区域合并树，如图3a所示，树中的每个节点表示一个分割区域，图3b为实际分割结果的层次区域合并树可视化示意图；

步骤2.3：计算各个分割区域v_i的内部颜色一致性特征、内部纹理一致性特征和几何特征；

(a)区域内部颜色一致性f_{intra_color}：颜色特征是一种全局特征，描述了图像或图像区域所对应的事物的表面性质。区域内部颜色一致性主要反映图像区域在Lab颜色空间下的直方图分布情况；区域内部颜色一致性f_{intra_color}见式1：

其中，L、a、b三个通道分别划分为30个bin,是每个bin对应的颜色直方图。f_{intra_color}的值越小，说明区域内部颜色越统一，区域分割的质量越好。

(b)区域内部纹理一致性f_{intra_texture}：纹理特征体现全局特征性质的同时，它也描述了图像或图像区域所对应事物的表面性质。区域内部纹理一致性即使用RFS滤波器组，包括高斯和拉普拉斯滤波器(σ＝10)，和具有6个方向3个尺度((σ_x,σ_y)＝{(1,3,(2,6),(4,12))})的高斯一阶、二阶微分滤波器，得到区域纹理特征表述；区域内部纹理一致性f_{intra_texture}见式(2)：

其中，38个纹理直方图划分别划分为30个bin，是每个bin对应的纹理直方图值。f_{intra_texture}的值越小，说明区域内部纹理越统一，区域分割的质量越好。

(c)区域几何信息f_{geo_infor}：为避免分割区域过分割，本发明引入分割区域的几何信息。

其中N_s为当前层次包含的目标区域个数，R为当前图像的面积，R_x为目标区域的面积。目标区域面积越小，则说明分割区域的区域个数越多，容易产生过分割。当R_x越大，N_s越小时，对区域选择的影响迅速变小，可防止欠分割。

将三种特征值相加，得到集合T中每个分割区域的分割质量分数；

步骤2.4：构建多尺度层次区域合并模型，利用动态规划方法自底向上对层次区域合并树进行分割区域组合。在层次区域合并树结构中，以节点(分割区域)v_i为根的子树，其相对于整棵层次分割树而言，最优分割区域可以是节点v_i本身，也可以是v_i节点对应的所有子节点的并集，选择取决于子节点并集与父节点之间谁能量更低。适用动态规划的框架，通过动态规划算法寻找全局最优。

求解图像分割结果的最优尺度问题可以转化为求解最优化的问题：

则，每个节点v_i的能量E_vi可表示为

E_vi＝H_vi·#(v_i) (5)

其中D_ij为区域特征，w为权重，#(v_i)为当前分割区域的面积。

图4a为尺度感知方法示意图，4b为区域多尺度分割集合中正确分割集合示意图；

步骤三、提取能量和最小的分割区域组合确定合适分割区域的集合标签，按照标签生成图像的最优分割结果。具体为：根提步骤2.4可求得能量和最小的分割区域组合：

其中，X_L表示分割集合的节点，E(X_L)表示分割集合的能量值，E_vi为图像分割区域v_i的能量，d_min为能量最小的分割区域组合的能量值。

按照集合X_L确定合适分割区域的组合，根据组合标签生成图像的最优分割结果。

实施例2

为验证本申请对于多尺度分割方法尺度感知的有效性，本申请所述方法在BSDS500和PACAL Context数据集上进行了尺度感知实验，并采用SegmentationCovering(SC)、Probabilistic Rand Index(PRI)、Variation of Information(VI)三个指标作为图像分割质量评价指标，验证尺度感知效果，数据集详细信息见表1。

表1 相关图像分割数据库描述

实施例3

本发明方法使用5种目前流行且性能很好的开源多尺度图像分割方法进行尺度感知实验。算法包括：PMI，UCM，SCG，MCG和COB。实际测试中，5种常用算法选取整个数据集上表现最优的参数值，用效果最好的阈值提取分割结果。利用本发明方法对5种常用方法进行尺度感知，从多尺度中合成最优分割尺度。本发明方法与原方法的结果比对如表2所示。在表2中指标SC、PRI的值越高，说明分割的质量越高，相反VI值越小，则分割质量越高。

表2显示了BSDS500数据集上五种多尺度分割方法的分割评估结果。本发明提出的方法不仅基本保证了五种多尺度分割方法的最优尺度选择，而且提高了其中一些分割方法的分割效果，尤其是PMI方法和UCM方法效果最为明显。由于PRI指数对图像分割的质量不够敏感，因此本发明方法对PRI指标改善不明显。

表2 实验的五种算法在BSDS500数据集上多尺度的层次区域合并结果

图5是选取UCM，SCG，MCG三种分割方法的最优分割结果和本发明方法的分割结果的可视化对比图。从图中可以直观地看出，本发明方法可以生成各种方法的最优阈值分割，部分分割结果远优于最优阈值分割。

实施例4

为进一步测试本发明的方法，我们将本发明方法对COB方法改进的效果与其他多尺度方法的分割效果在BSDS500数据集上进行了对比。结果总结在表3中，与原方法相比，COB方法的VI得到了改进，证明本发明方法可以解决尺度感知问题。值得注意的是，由于计算成本低，所提出的方法比其他方法具有更快的计算速度，并且可以保证基本的准确性，因此本发明方法对原始方法在一定程度上进行了改进。

表3 在BSDS500数据集上与其他方法的比较结果

图6是来自MCG的不同阈值结果的最佳分割尺度。从图中可以看出，本发明方法可以识别MCG方法的最优尺度，并且部分尺度感知的分割结果比MCG方法更接近人类主观感知。

实施例5

为测试本发明方法在大数据集上的扩展性，我们在PASCAL Context数据集上对本发明方法进行了测试。表4为在PASCAL Context数据集上的实验结果。通过实验结果可以证明，本发明方法能够基本保证选择最优尺度，对于大数据集泛化性能良好。

表4 在PASCAL Context大数据集上与其他方法的比较结果

综上所述，本发明利用现有的多尺度图像分割方法生成的多尺度分割结果，构建多尺度层次区域合并模型，使用优化算法进行全局图像层次合成，根据合成层次的结果生成图像的最优分割结果。能够克服多尺度图像分割方法人工设置阈值带来的分割精度损失，在一定程度上实现个体目标的最优分割尺度选择。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种基于层次区域合并的多尺度图像分割方法，其特征在于，利用多尺度图像分割方法生成多尺度割结果，根据阈值由低到高抽取多幅分割结果，建立多尺度层次区域合并树；并对每个尺度的分割区域进行分割质量量化，利用优化算法进行全局图像层次合成；根据合成层次的结果确定合适分割区域的集合，依据集合生成图像的最优分割结果。

2.根据权利要求1所述的一种基于层次区域合并的多尺度图像分割方法，其特征在于，所述方法具体为：

步骤一、从多尺度分割结果集合中选取有效分割结果；

步骤二、构建多尺度层次区域合并模型，在全局层次范围进行层次区域合并，具体步骤为：

步骤2.1：遍历集合T中每个分割区域上级层次的所有区域，获取每个分割区域与其他所有区域的交并比，选取最大交并比的区域作为父节点区域，进而获取集合T中每个分割区域与其他分割区域之间的父子关系；

步骤2.2：以阈值最小的分割区域组合作为初始层次，根据层次区域的父子关系建立多尺度图像分割的层次区域合并树，树中的每个节点表示一个分割区域；

步骤2.3：计算各个分割区域v_i的内部颜色一致性特征f_{intra_color}、内部纹理一致性特征f_{intra_texture}和几何特征f_{geo_infor}；其中f_{intra_color}和f_{intra_texture}的值越小，说明区域内部颜色和纹理越统一，区域分割的质量越好，f_{geo_infor}避免分割区域过分割；将三种特征值相加，得到集合T中每个分割区域的分割质量分数；

步骤2.4：构建多尺度层次区域合并模型，利用动态规划方法自底向上对层次区域合并树进行分割区域组合；在层次区域合并树结构中，以节点(分割区域)v_i为根的子树，其相对于整棵层次分割树而言，最优分割区域可以是节点v_i本身，也可以是v_i节点对应的所有子节点的并集，选择取决于子节点并集与父节点之间谁能量更低；适用动态规划的框架，通过动态规划算法寻找全局最优；

步骤三、提取能量和最小的分割区域组合确定合适分割区域的集合标签，按照标签生成图像的最优分割结果。

3.根据权利要求2所述的一种基于层次区域合并的多尺度图像分割方法，其特征在于，所述步骤一具体为：

步骤1.1：利用多尺度图像分割方法获取数据库中每幅图的分割结果，即超度量轮廓图，根据阈值将UCM展开，得到自下而上的图像多尺度的分割集合S＝{S₁，S₂，...，S_n}；

步骤1.2：由于阈值太小，分割粒度过细不具有实际意义，为节省计算开销选取有效分割集合其中第n幅分割结果的区域数为且

4.根据权利要求3所述的一种基于层次区域合并的多尺度图像分割方法，其特征在于，所述步骤1.1中为节省计算量，剔除分割粒度过小的阈值，选择从层开始。

5.根据权利要求3所述的一种基于层次区域合并的多尺度图像分割方法，其特征在于，所述步骤1.2中分割集合S到集合T尺度选择的步长，即t_i到t_i+1步长应不大于

6.根据权利要求2所述的一种基于层次区域合并的多尺度图像分割方法，其特征在于，所述步骤二中的步骤2.3具体为：

(a)区域内部颜色一致性f_{intra_color}：颜色特征是一种全局特征，描述了图像或图像区域所对应的事物的表面性质；区域内部颜色一致性主要反映图像区域在Lab颜色空间下的直方图分布情况，区域内部颜色一致性f_{intra_color}见式(1)：

其中，L、a、b三个通道分别划分为30个bin，是每个bin对应的颜色直方图；f_{intra_color}的值越小，说明区域内部颜色越统一，区域分割的质量越好；

(b)区域内部纹理一致性f_{intra_texture}：纹理特征体现全局特征性质的同时，它也描述了图像或图像区域所对应事物的表面性质；区域内部纹理一致性即使用RFS滤波器组，包括高斯和拉普拉斯滤波器(σ＝10)，和具有6个方向3个尺度((σ_x，σ_y)＝{(1，3，(2，6)，(4，12))})的高斯一阶、二阶微分滤波器，得到区域纹理特征表述；区域内部纹理一致性f_{intra_texture}见式(2)：

其中，38个纹理直方图划分别划分为30个bin，是每个bin对应的纹理直方图值；f_{intra_texture}的值越小，说明区域内部纹理越统一，区域分割的质量越好；

(c)区域几何信息f_{geo_infor}：为避免分割区域过分割，引入分割区域的几何信息；区域几何信息f_{geo_infor}见式(3)

其中N_s为当前层次包含的目标区域个数，R为当前图像的面积，R_x为目标区域的面积；目标区域面积越小，则说明分割区域的区域个数越多，容易产生过分割；当R_x越大，N_s越小时，对区域选择的影响迅速变小，可防止欠分割；

将三种特征值相加，得到集合T中每个分割区域的分割质量分数。

7.根据权利要求2所述的一种基于层次区域合并的多尺度图像分割方法，其特征在于，所述步骤二中的步骤2.4具体为：构建多尺度层次区域合并模型，利用动态规划方法自底向上对层次区域合并树进行分割区域组合；在层次区域合并树结构中，以节点(分割区域)v_i为根的子树，其相对于整棵层次分割树而言，最优分割区域可以是节点v_i本身，也可以是v_i节点对应的所有子节点的并集，选择取决于子节点并集与父节点之间谁能量更低；适用动态规划的框架，通过动态规划算法寻找全局最优；

求解图像分割结果的最优尺度问题转化为求解最优化的问题，见式4：

则，每个节点v_i的能量E_vi见式(5)和(6)：

E_vi＝H_vi·#(v_i) (5)

其中D_ij为区域特征，w为权重，#(v_i)为当前分割区域的面积。

8.根据权利要求7所述的一种基于层次区域合并的多尺度图像分割方法，其特征在于，所述步骤三具体为：根提步骤2.4求得能量和最小的分割区域组合，见式(7)：

其中，X_L表示分割集合的节点，E(X_L)表示分割集合的能量值，E_vi为图像分割区域v_i的能量，d_min为能量最小的分割区域组合的能量值；

按照集合X_L确定合适分割区域的组合，根据组合标签生成图像的最优分割结果。