CN107833224B - 一种基于多层次区域合成的图像分割方法 - Google Patents

Abstract

一种基于多层次区域合成的图像分割方法，首先利用现有多层次图像分割算法得到多层次分割结果；其次进行全局层次范围的合成：由低层次到高层次选择图像的多幅分割结果，分别计算每个层次的图像区域特征，并对多种征进行统一量化描述，建立多层次图像分割的合成模型，利用多标签图割方法进行分割区域的最优组合；然后根据全局层次合成的结果，选择局部层次范围，用多标签图割模型进行第二次合成；最后将第二次合成的层次标签进行区域映射，获得最终的图像分割结果。本发明从多个分割层次中选择目标分割质量高的区域，实现了自适应选择；并使用较少的区域特征计算分割质量，减少参与计算的区域节点数量，使用的优化组合模型优化效果更好。

Description

一种基于多层次区域合成的图像分割方法

技术领域

本发明涉及计算机视觉、图像处理技术领域，尤指多层次图像分割技术，特别是一种基于多层次区域合成的图像分割方法。

背景技术

图像分割是指提取图像中有意义的目标区域的过程，图像包含的目标具有多层次(尺度)的特点，即同一目标可按细节和语义层次的不同表示成数量不同的若干区域。多层次图像分割方法能得到不同层次的图像分割结果，并表示成树形结构，形成具有上下层关系的多层次图像内容表达。对不同层次的目标区域进行提取，能适应不同目的的计算机视觉任务，提高处理精度和效率，是充分挖掘高分辨率和复杂场景图像应用潜力的有效途径。近年来该种技术引起了相关领域的广泛关注，成为图像分割技术的主流研究方向。

为了在多层次图像分割中获取最终目标的描述，常用的处理方法是设定阈值，在树形结构中提取某一层次，得到针对具体应用的图像分割结果。存在问题包括：首先，图像可能包含多个目标，其最优分割可能各自出现在不同的分割层次；其次，分割层次选择依赖于专家的阈值设定，不仅繁琐且存在主观差异。研究图像分割的层次选择问题，是完善分多层次图像割技术的必要手段，能有效提高图像语义分割、图像显著性目标检测、视频目标检测、目标识别等相关领域的技术水平。

图像分割层次的选择必须以目标的分割质量为依据，目前有大量针对图像分割质量评价的方法，但很少直接应用在分割算法的改进上。这些评价方法中，常见的是对图像分割的区域或边界特征进行描述，包括：区域内部性质的一致性、相邻区域性质的差异性、区域大小、形状特征、周长特征等。然后利用经验评价准则，对各种特征的好坏定量描述：例如设计特征质量评价函数，对单一或多个特征进行量化，函数值的大小直接反映分割质量的好坏程度。另外有方法利用机器学习技术，用训练好的分类器对分割特征好坏进行分类。其中，评价函数方法的质量评价准确度较低，对分割质量的综合描述能力较差；机器学习方法需要较多特征数量，训练过程产生的计算复杂度和计算量非常很大，一般仅能对分割质量的好坏进行粗略分类，不能进一步刻画好坏的程度。

图像分割层次的选择还依赖于目标区域的优化组合。如果以单一层次为整体进行选择，不需要对区域进行组合。它可直接代替专家阈值设定，减少人工工作量，但不能保证对每个个体目标都实现优化选择。为进一步提高图像分割的准确度，需要从不同的分割层次选择最优目标并组合。本发明设计并采用了组合优化模型，即多标签图模型实现多层次分割区域组合，它所用的树形节点数量较少，且依赖的节点特征种类数量少，并能获得高质量的图像分割结果，具有很大的实用价值。

发明内容

鉴于现有多层次图像分割中层次选择方法存在的局限性，本发明的目的是提供一种从多个分割层次中选择最优目标分割区域，并对其进行优化组合的图像分割方法。

具体技术方案如下：

一种基于多层次区域合成的图像分割方法，通过图像分割的层次采样选择，提取不同层次图像分割的区域特征，利用特征所反映的分割质量和多层次区域之间的语义一致性，建立多层次分割区域优化组合模型，得到最优的分割结果，包括如下步骤：

步骤1：通过现有多层次分割算法获取具有树形结构的分割结果，包括二叉树或超度量轮廓图；将分割结果按分割层次逐一展开，得到自下而上n幅单一层次的分割图像S＝{s₁,s₂,...,s_n}，其中每个分割结果包含的区域个数满足|s₁|＜|s₂|＜...＜|s_n|；

步骤2：第一次分割层次组合，在全局层次范围选择最优层次区域，包括：

步骤2.1：在S中选取k₁个分割层次用于区域合成；以l₁为固定步长，由低到高选择k₁幅分割结果其中计算S¹中每幅分割图像区域的五种特征：区域内颜色一致性特征、纹理一致性特征、区域间颜色直方图卡方距离和纹理直方图卡方距离，以及分割区域的几何尺寸特征；将这五种特征值相加，得到区域的分割质量分数；

步骤2.2：构建多层次分割区域的组合优化图模型G＝＜V,E＞，V，E分别表示图G的节点和连接节点的边，分别对应中的分割区域以及区域之间的连接关系；设置图模型的n-links值：对于e_i∈E，如果且e_i的权值为10000，否则为10；设置图模型的t-links值：V中每个节点有k₁个t-links值，分别设为步骤2.1中基准分割层次与中的每一个层次之间对应区域的分割质量分数；其中，基准分割层次的区域r在其它层次中对应的区域定义为：r'为层次中的区域，S'为中的任意一个层次；

步骤2.3：求解步骤2.2中所构建图模型的最优解，得到V中每个节点的最优层次类别标签其中记L¹中覆盖分割区域面积最大的标签为l_max；

步骤3：第二次分割层次组合，在局部层次范围选择最优层次区域，进一步优化组合，包括：

步骤3.1：以l_max对应的分割层次为中心，以l₂为固定步长，在l_max的局部前后选择k₂个层次的分割结果，计算S²中每幅分割中区域内颜色一致性特征、纹理一致性特征、区域间颜色直方图卡方距离、区域间纹理直方图卡方距离，以及分割区域的几何尺寸特征；将这五种特征值相加，得到区域的分割质量分数；

步骤3.2：重复步骤2.2，构建以为基准的图模型，并用步骤2.2的方法设定n-links值，用步骤3.1的结果设t-links值；

步骤3.3：求解步骤3.2中所构建图模型的最优解，得到每个节点的层次类别标签

步骤4：根据步骤3.3得到的标签找到对应分割层次的分割区域，将区域按原空间位置排列，得到合成的分割结果。

进一步地，所述步骤2中k₁值不大于10，即固定步长l₁不小于所述步骤3中k₂值不大于7。

更进一步地，k₁值设置为7，l₂设置为1。

与现有技术相比，本发明的有益效果是：

一、区别于以往基于最优阈值的单一层次选择方法，本发明从多个分割层次中选择目标分割质量高的区域，实现了目标分割层次的自适应选择。

目前多层次图像分割方法的分割结果大多依赖阈值设定选择层次，以单一分割层次作为图像分割结果，无法充分发挥多层次分割算法对图像目标描述的优势。本发明采用多层次分割区域合成的思想，克服了繁琐的人工阈值操作和单一目标层次描述的局限性。

二、区别于现有多层次分割的层次选择方法，本发明使用较少的区域特征计算分割质量，减少参与计算的区域节点数量，使用的优化组合模型更先进，优化效果更好。

现有多层次分割层次选择方法依赖于分类器的训练，需要使用二十余种分割特征计算区域分割质量，区域合成需大量树形节点参与，对区域特征向量采用局部优化方法进行选择，计算量大，优化效率不高。本发明采用多标签图模型进行区域合成，仅使用五种分割特征计算区域分割质量，通过层次采样选择部分树形节点，利用图模型对区域特征的相对质量进行比较，降低判别难度，且模型优化能力更强，计算量更小、效率更高。

附图说明

图1是BSDS500数据库上用最优阈值层次选择和本发明方法进行合成层次选择的定性比较结果；

图2是BSDS100数据库上用不同分割算法和本发明方法得到的Jaccard Index(>0.1部分)结果，并按J值从小到大排列；

图3是BSDS100数据库中对包含1个目标的图像，用不同算法得到的J值结果，按J值从小到大排列；

图4是BSDS100数据库中对包含2个目标的图像，用不同算法得到的J值结果，按J值从小到大排列；

图5是BSDS100数据库中对包含3个目标的图像，用不同算法得到的J值结果，按J值从小到大排列；

图6是BSDS100数据库中对包含4个目标的图像，用不同算法得到的J值结果，按J值从小到大排列；

图7是Pascal VOC2012数据库上用不同分割算法和本发明方法得到的JaccardIndex(>0.5部分)结果，并按J值从小到大排列；

图8是Pascal VOC2012数据库中对包含1个目标的图像，用不同算法得到的J值结果，按J值从小到大排列；

图9是Pascal VOC2012数据库中对包含2个目标的图像，用不同算法得到的J值结果，按J值从小到大排列；

图10是Pascal VOC2012数据库中对包含3个目标的图像，用不同算法得到的J值结果，按J值从小到大排列；

图11是Pascal VOC2012数据库中对包含4个目标的图像，用不同算法得到的J值结果，按J值从小到大排列。

具体实施方式

具体实施步骤如下所示：

步骤1：通过现有多层次分割算法获取具有树形结构的分割结果。将分割结果(如二叉树或超度量轮廓图)按分割层次展开，得到自下而上n幅单一层次的分割图像S＝{s₁,s₂,...,s_n}，其中每个分割结果包含的区域个数满足|s₁|＜|s₂|＜...＜|s_n|；

步骤2：第一次全局分割层次组合。

步骤2.1：在S中选部分分割层次用于区域合成。以l₁为固定步长，在全局层次范围由低到高选择k₁幅分割结果其中计算S¹中每幅分割图像区域的五种量化特征。

(i)区域内部颜色一致性特征f_{intra_lab}，反映图像区域在Lab颜色空间下的直方图分布情况，定义如下：

其中，L,a,b三个通道分别划分为30个bin，是每个bin对应的颜色直方图值。f_{intra_lab}越小，说明区域内部颜色一致性越高，即分割质量越高。

(ii)区域内部纹理一致性特征f_{intra_texture}。使用RFS滤波器组，包括高斯和拉普拉斯滤波器(σ＝10)，和具有6个方向3个尺度((σ_x,σ_y)＝{(1,3),(2,6),(4,12))的高斯一阶、二阶微分滤波器，得到区域纹理特征的描述。定义：

其中，38个纹理直方图划分别划分为30个bin，是每个bin对应的纹理直方图值。f_{intera_texture}越小，说明区域内部纹理一致性越高，即分割质量越高。

(iii)区域间颜色差异性特征f_{inter_lab}，定义为图像分割在Lab颜色空间的直方图卡方距离：

其中 分别是目标区域x及其相邻区域y的Lab颜色直方图，3个颜色通道共3个直方图，分别包含30个bin。f_{inter_lab}越大，说明区域内外颜色差异性大，即分割质量越高。

(iv)区域间纹理差异性特征f_{inter_texture}，定义为分割区域之间的RFS纹理直方图卡方距离：

其中 分别是目标区域x及其相邻区域y的纹理直方图，共38个直方图，分别包含30个bin。f_{inter_texture}越大，说明区域内外纹理差异性大，即分割质量越高。

(v)分割区域的几何尺寸特征f_geo，定义如下：

其中是基准分割层次包含的目标区域个数，是当前层次包含的目标区域个数，R是图像面积，R_x是目标区域面积。目标区域面积越大且所在分割图像包含的区域个数越少时，该特征值越大，说明越容易产生过分割。

将以上5种特征值相加，得到区域的分割质量综合评价分数；

步骤2.2：构建多层次分割区域的组合优化图模型G＝＜V,E＞，V，E表示图G的节点和连接节点的边，分别对应中的分割区域以及区域之间的连接关系。设置图模型的n-links值：对于e_i∈E，如果且e_i的权值为10000，否则为10。设置图模型的t-links值：V中每个节点有k₁个t-links值，分别设为步骤2中基准分割层次与两两之间对应区域的分割质量分数。其中，的区域r在其它层次中对应的区域定义为：

步骤2.3：求解步骤2.2中对应的图模型，能量方程定义如下：

其中D(l_gi)是中每个区域在所有分割层次中分别对应的区域的分割质量，即t-links值。表示中具有相邻关系区域的n-links值。λ是调节前后两项权重的常数，设为0.5。用α-expanstion算法求解方程(6)，得到V中每个节点的最优层次类别标签其中通过L¹可找到每个节点在最优层次中对应的目标区域。记L¹中占有分割区域面积最大的标签为l_max；

步骤3：进行第二次局部分割层次组合。

步骤3.1：以l_max对应的分割层次为中心，以l₂为固定步长，在l_max前后选择k₂个层次的分割结果，计算S²中每幅分割中区域内颜色一致性特征、纹理一致性特征、区域间颜色直方图卡方距离，区域间纹理直方图卡方距离，以及分割区域的几何尺寸特征。将这5种特征值相加，得到区域的分割质量分数；

步骤3.2：重复步骤2.2，构建以为基准的图模型，并用步骤2.2的方法设定n-links值，用步骤3.1的结果设t-links值。

步骤3.3：利用α-expanstion算法求解步骤3.2中所构建图模型的最优解，得到每个节点的层次类别标签w为包含的区域个数；

步骤4：根据步骤3.3的标签找到每个节点在对应分割层次的分割区域，将区域按原空间位置排列，得到合成的分割结果。

上述方法中，步骤2在挑选k₁张单一层次分割图像时，要跳过过分割明显的层次，选择从层开始，以减少图模型中节点数量，从而降低计算复杂度。步骤2中k₁值选择不宜超过10，即固定步长l₁不宜小于因为邻近层次包含的区域特征相似，较大的k₁值使图模型中层次类别的区分性变小，组合效率变低，且增加计算量。经验值选择k₁为7。步骤3中k₂值不大于7，l₂设置为1。

为验证本发明的有效性，本发明利用3种国际公开的权威图像分割数据库进行验证，见表1。

表1相关图像分割数据库描述

使用了目前最流行、性能最好且开源的4种多层次图像分割算法，对其产生的树形分割结果进行优化组合得到最终的分割结果。算法包括：gPb-owt-ucm、MCG、SCG和PMI。

实验一

采用Segmentation Covering(SC)、Probabilistic Rand Index(PRI)、Variationof Information(VI)3种图像分割质量评价指标。在BSDS500上运行4种多层次分割算法，每种算法设定为整个数据库上表现最优的参数值，并用效果最好的阈值分别获得层次分割结果。利用本发明提出的方法和现有组合算法SAH分别进行层次合成，其结果与阈值方法比较，结果如表2所示。该表反映了各种分割算法对图像中低层语义目标分割的效果，其中SC、PRI值越大，分割质量越高，VI值越小，分割质量越高。

由表2可见，所有评价指标得到的结果中，本发明的方法均等于或优于其它方法。其中对PMI算法结果的改进效果最明显。由于PRI指标对图像分割质量的变化不太敏感，分数变化小，所以反映出来层次优化组合的效果不明显，但与现有方法的结果相当。

表2不同算法的分割质量对比

图1是用UCM、MCG和SCG算法产生的最优阈值分割结果和本发明的合成结果的比较。可见，本发明方法对图像中有意义目标的分割质量有明显改进。利用阈值方法仅能保证评价质量在整幅图最优，但无法保证局部目标的分割质量，而通过合成可提高目标个体的分割质量，且与人的主观感知更接近。

实验二

验证本发明的方法对高层语义目标的分割效果，采用Jaccard Index作为目标分割质量的评价指标，取值范围[0,1]，值越大，表明分割质量越高。分别在BSDS100和PascalVOC2012用4种多层次分割算法进行分割，对阈值方法和本发明方法进行比较验证。验证时选择这两种方法得到的相同区域个数的分割图像，以说明本发明方法对层次选择产生的影响。

图2是在BSDS100上对100幅图包含的全部目标区域进行整体评价得到的JaccardIndex(>0.1部分)结果，并按J值从小到大排列。由图2可见，每种算法的合成结果整体均优于阈值方法。图3、图4、图5和图6分别是对包含1,2,3,4个目标的图像分割进行J值评价的结果。从图中可见，在各个数量的目标分割任务中，本发明的合成方法(实线)均等于或优于最优阈值(虚线)产生的分割层次质量，其中目标数量最多的情况(4个)优势最明显。

图7是在Pascal VOC2012上对2913幅图包含的全部目标进行评价得到的JaccardIndex(>0.5部分)结果，并按J值从小到大排列。由图7可见，每种算法的合成结果整体优于阈值方法。图8、图9、图10和图11分别是对其中包含1,2,3,4个目标的图像分割进行J值评价的结果，同样可见合成方法的优势，且目标数量越多，优势越明显。充分验证了单一整体层次的选择无法很好地实现多个图像目标的分割，而层次合成方法可较好地弥补这一缺点。

Claims (3)

1.一种基于多层次区域合成的图像分割方法，其特征在于，通过图像分割的层次采样选择，提取不同层次图像分割的区域特征，利用特征所反映的分割质量和多层次区域之间的语义一致性，建立多层次分割区域优化组合模型，得到最优的分割结果，包括如下步骤：

步骤1：通过现有多层次分割算法获取具有树形结构的分割结果，包括二叉树或超度量轮廓图；将分割结果按分割层次逐一展开，得到自下而上n幅单一层次的分割图像S＝{s₁,s₂,...,s_n}，其中每个分割结果包含的区域个数满足|s₁|＜|s₂|＜...＜|s_n|；

步骤2：第一次分割层次组合，在全局层次范围选择最优层次区域，包括：

步骤2.1：在S中选取k₁个分割层次用于区域合成；以l₁为固定步长，由低到高选择k₁幅分割结果其中计算S¹中每幅分割图像区域的五种特征：区域内颜色一致性特征、纹理一致性特征、区域间颜色直方图卡方距离和纹理直方图卡方距离，以及分割区域的几何尺寸特征；将这五种特征值相加，得到区域的分割质量分数；

步骤2.2：构建多层次分割区域的组合优化图模型G＝＜V,E＞，V，E分别表示图G的节点和连接节点的边，分别对应中的分割区域以及区域之间的连接关系；设置图模型的n-links值：对于e_i∈E，如果且e_i的权值为10000，否则为10；设置图模型的t-links值：V中每个节点有k₁个t-links值，分别设为步骤2.1中基准分割层次与中的每一个层次之间对应区域的分割质量分数；其中，基准分割层次的区域r在其它层次中对应的区域定义为：r'为层次中的区域，S'为中的任意一个层次；

步骤2.3：求解步骤2.2中所构建图模型的最优解，得到V中每个节点的最优层次类别标签其中记L¹中覆盖分割区域面积最大的标签为l_max；

步骤3：第二次分割层次组合，在局部层次范围选择最优层次区域，进一步优化组合，包括：

步骤3.1：以l_max对应的分割层次为中心，以l₂为固定步长，在l_max的局部前后选择k₂个层次的分割结果，计算S²中每幅分割中区域内颜色一致性特征、纹理一致性特征、区域间颜色直方图卡方距离、区域间纹理直方图卡方距离，以及分割区域的几何尺寸特征；将这五种特征值相加，得到区域的分割质量分数；

步骤3.2：重复步骤2.2，构建以为基准的图模型，并用步骤2.2的方法设定n-links值，用步骤3.1的结果设t-links值；

步骤3.3：求解步骤3.2中所构建图模型的最优解，得到每个节点的层次类别标签

步骤4：根据步骤3.3得到的标签找到对应分割层次的分割区域，将区域按原空间位置排列，得到合成的分割结果。

2.根据权利要求1所述的一种基于多层次区域合成的图像分割方法，其特征在于：所述步骤2中k₁值不大于10，即固定步长l₁不小于所述步骤3中k₂值不大于7。

3.根据权利要求2所述的一种基于多层次区域合成的图像分割方法，其特征在于：k₁值设置为7，l₂设置为1。