CN111161282B - 基于深度种子的图像多层次分割的目标尺度选择方法 - Google Patents

Abstract

本发明公开了基于深度种子的图像多层次分割的目标尺度选择方法，包括步骤：利用多层次图像分割算法将输入图像分割成若干层次；构建多层次分割树；以颜色直方图、纹理直方图和区域几何尺寸表示图像特征，对分割区域的质量进行评价得到分割质量分数；找到最优分割树；对输入图像的前景类和背景类进行深度种子定位；利用最优分割树中的图像分割区域，建立一个图，通过求图的最小分割得到分割结果。本发明通过改进VGG‑19网络定位前景种子和显著性检测算法定位背景种子，生成深度种子处理图像多层次分割；设计了一个图模型，基于多层次分割结果中包含的多尺度分割区域，利用深度学习模型提供的语义信息，实现了图像目标的最优尺度选择。

Description

基于深度种子的图像多层次分割的目标尺度选择方法

技术领域

本发明涉及图像分割技术领域，具体涉及基于深度种子的图像多层次分割的目标尺度选择方法。

背景技术

图像分割是计算机视觉中的一项重要技术，其目的是根据图像的颜色一致或纹理相似性等特性将图像分割成若干段。尽管在文献中也提出了综合的分割算法，但是有效地分割出物体的有意义的部分来可视化人类的感知仍然是一个开放的挑战。每个人对“有意义”有不同的定义，不同的人在如何正确地分割一个图像上会有所不同。许多人喜欢将图像分割成几个片段，而其他人往往只识别图像内容的几个片段。在这种情况下，一个单独的分割结果只能由一个算法生成，这可能不是解决图像分割问题的有效方法。

最近的许多论文工作都研究了将图像分割成一个单一的多尺度结构，为了在所有尺度上捕捉图像目标。使用分层分割会导致在特定的分层级别上包含整个对象或对象的一部分的可能性更高。分层算法在不稳定性方面也有缺点，其结果是基于空间选择和特征参数的，因为层次是建立在低级特征(边缘、颜色等)上的，为了保持一致，对象的尺度没有被强加。然而，为不同的对象找到合适的分割层次并非易事。分层感知的层次图像分割对齐方法尝试将所有对象的比例与同一比例/级别对齐。基于大量的中低层特征，训练分类器对目标尺度进行重新对齐。但是现有方法需要依赖大量的图像特征，计算复杂度高，人工设计图像特征难度大，且优化选择得到的目标分割尺度在图像全局表达上并不是很好。

发明内容

针对现有层次图像分割目标尺度选择的不足，本发明提供的一种基于深度种子的图像多层次分割的目标尺度选择方法，克服现有图像多层次分割算法在单一分层级别上难以找到正确的目标分割尺度的缺点，通过生成前景类和背景类的深度种子，得到最优分割结果。

为了达到上述发明目的，本发明采用的技术方案为：

基于深度种子的图像多层次分割的目标尺度选择方法，包括：

步骤1：利用多层次图像分割算法，将输入图像I分割成两个以上层次，每个层次是一个分割结果，每个分割结果包含两个以上非重叠分割区域；

步骤2：构建多层次分割树T，包括：

2.1从最低层次分割结果R₁开始，由低到高取k个层次的分割结果，即{R₁,R₂,…,R_k}；低层次分割结果，其分割区域个数大于高一层次分割结果的分割区域个数，即|R₁|>|R₂|>…>|R_k|；其中，R₂的每个分割区域，与R₁中的一个分割区域相同，或者与R₁中两个以上相邻分割区域的并集相同；R₃的每个分割区域，与R₂中的一个分割区域相同，或者与R₂中两个以上相邻分割区域的并集相同；以此类推；

2.2根据k个层次的分割结果构建深度为k的多层次分割树T：每个层次的分割结果的分割区域分别映射为分割树T对应层次的节点；其中，R₂的分割区域所映射的节点，为R₁中与其相同分割区域所映射的节点的父节点，或者为R₁中并集与其相同的两个以上相邻分割区域所映射的节点的父节点；R₃的分割区域所映射的节点，为R₂中与其相同分割区域所映射的节点的父节点，或者为R₂中并集与其相同的两个以上相邻分割区域所映射的节点的父节点；以此类推；

步骤3：以颜色直方图、纹理直方图和区域几何尺寸表示图像特征，对k个层次的分割结果中每一个分割区域的质量进行评价，得到分割质量分数，包括

3.1使用χ²分布计算区域间颜色相似度：在CIE Lab颜色空间下，分割区域x与同一层次的所有相邻分割区域y的颜色相似度为：

其中，

表示x的颜色直方图，

表示y的颜色直方图，λ₁是常数；a表示CIE Lab的颜色通道个数，b表示颜色直方图子区间的编号，

为颜色直方图划分的子区间总数，颜色直方图划分的每个子区间大小相等；

使用具有6个方向3个尺度((σ_x,σ_y)＝{(1,3),(2,6),(4,12)})的高斯一阶、二阶微分滤波器，得到区域的36个纹理特征，分别计算区域的纹理直方图；分割区域x与同一层次的所有相邻分割区域y的区域间纹理相似度为：

其中，

表示区域x的纹理直方图，

表示区域y的纹理直方图，λ₂是常数；a′表示区域纹理特征的编号，b′表示区域纹理直方图子区间的编号，

为子区间的总数；

3.2计算分割区域x的几何尺寸度量f_geo：

其中，

表示最低层次分割结果R₁的分割区域个数，

表示当前层次分割结果的分割区域个数，R表示输入图像I的面积，R_x表示分割区域x的面积；

3.3计算分割区域x的分割质量分数Q(x)：

Q(x)＝f_inter-color(x)+f_{inter-texture}(x)+f_geo(x)；

步骤4：找到最优分割树，包括

正向过程：计算多层次分割树T的每个层次的每个节点及其子树的分割质量；所述节点的分割质量等于其对应的分割区域的分割质量，子树的分割质量为该节点的所有子节点对应的分割区域的分割质量之和；

反向过程：从高层到低层，依次比较节点与其子树的分割质量，具体为：选取一个节点，如果当前节点的分割质量优于其子树的分割质量，则将当前节点作为最优分割的节点，不再选取其子树的节点进行比较；否则，继续选取当前节点的子树的节点，与其子树的分割质量进行比较；直到比较完毕，得到最优分割的节点集合，构成最优分割树；

步骤5：用输入图像I的语义类别标签作为监督信息，将图像I作为网络输入，用标准的VGG-19深度分类网络生成图像I的前景种子点，具体为：在该网络的全连接分类器生成的前景目标热图基础上，对热图应用一个阈值λ₃来获得前景种子点；使用显著性检测算法计算输入图像I的背景种子点，即选择显著性图中像素值为0区域作为输入图像I的背景种子点；最后，将前景种子点和背景种子点放在一个单通道分割掩码图像中，生成输入图像I的种子点；其中，每个前景种子点的标签等于输入图像I的一个类别标签，背景种子点的类别标签为背景；种子点对应的像素集合记为S＝{s_m}，s_m是第m个类别的种子像素集合，m＝0,…,M；M是前景类别标签的个数；

步骤6：将步骤4得到的最优分割树的节点所对应的分割区域表示为集合{x_i,i＝1,…,N}，其中N表示分割区域个数，且满足

使用图割优化框架，计算每个区域的最优类别标签，即为区域x_i找到一个类别标签l_i，集合{l_i}表示为L，通过最小化能量方程E(L)的值得到目标分割结果：

上式中，

为区域x_i基于种子点的一元式，如下：

其中，M表示输入图像I所有前景类别标签的个数，l_i是区域x_i的类别标签；

ψ_i,j为相邻区域x_i和x_j的二元式，能量方程的第二项表示相邻区域的特征相似性，用区域的颜色直方图、纹理直方图进行归一化计算，如下：

其中，如果l_i≠l_j为真，则[.]为1，否则[.]为0；l_j是区域x_j的类别标签；δ_lab、δ_t为常数参数；

D_i,j是区域x_i和区域x_j的尺度不变特征转换得到的特征

和加速鲁棒特征

的欧几里德距离之和，如下：

其中，δ₁和δ₂是常数参数，δ₁+δ₂＝1。

本发明的有益效果为：

1、提出了一种通过改进VGG-19网络定位前景种子和显著性检测算法定位背景种子，生成深度种子处理图像多层次分割的新方法。

2、设计了一个图模型，基于多层次分割结果中包含的多尺度分割区域，利用深度学习模型提供的语义信息，实现了图像目标的最优尺度选择，即图像目标分割结果。

3、能在单一层次的分割结果中包括多层次分割的不同尺度的不同图像目标，使多层次分割结果的最终输出质量更高。

附图说明

图1本发明方法的整体工作流程图。

图2为本发明方法的概述图。

图3为层次分割中的树结构与区域图。

图4为分割示例，其中，(a)为分割树，(b)为简单水平分割，(c)为最佳分割。

图5为前景类和背景类生成深度种子图。

图6为gPb-ucm，MCG，SCG，PMI和COB 5种分割方法与本发明方法在MSRC数据集上目标分割结果对比图。

图7为gPb-ucm，MCG，SCG，PMI和COB 5种分割方法与本发明方法在Pascal VOC2012数据集上目标分割结果对比图。

图8为使用深度种子的最优分割和使用深度种子的超像素分割对比图。

具体实施方式

本发明基于深度种子的图像多层次分割的目标尺度选择方法，包括以下步骤：

步骤1：将输入图像表示为I，利用多层次图像分割算法将图像I分割成若干层次，每个层次是图像I的一种分割结果，包含若干个非重叠区域，每个区域代表图像中的一个目标或目标的一部分。

步骤2：自下而上构建多层次分割树T。从多层次图像分割结果的低层分割开始，由低到高取k个层次的图像分割结果，即{R₁,R₂,…,R_k}。其中低层分割中的区域个数大于高层分割的区域个数，即|R₁|>|R₂|>…>|R_k|。除最低层分割结果之外，其它k-1个层次的分割结果中的每个区域，对应低一层分割结果中的一个区域，或者可由低一层的分割结果中的多个相邻区域求并集得到。多层次分割树的深度为k，树的每一层对应多层次图像分割的一个层次。R₁中每个分割区域对应一个叶节点，T中某一层次一个或多个节点对应更高一层次的一个节点，即父节点。T的每个节点只有一个父节点和至少一个子节点(不包括叶节点)。作为有意义的分割，T的最高一层包含至少两个节点。

步骤3：选择颜色直方图、纹理直方图和区域几何尺寸表示图像特征，对k个层次的分割区域质量进行评价，得到区域质量分数。

步骤3.1：使用χ²分布计算区域间相似性度，在CIE Lab颜色空间下，区域x与同一层次的所有相邻区域y的颜色相似度f_inter-color定义如下:

其中，

表示x的颜色直方图，

表示y的颜色直方图，λ₁是常数(可取值100)。a表示CIE Lab的颜色通道个数，b表示颜色直方图子区间的编号，

为颜色直方图划分的子区间总数，颜色直方图划分的每个子区间大小相等。a的取值范围实现了CIE Lab三个颜色通道上的累加，且三个颜色通道分别划分为

个子区间。

可取值20。

使用具有6个方向3个尺度((σ_x,σ_y)＝{(1,3),(2,6),(4,12)})的高斯一阶、二阶微分滤波器，得到区域纹理特征的描述，并计算区域直方图。区域间纹理相似性的表达式如下：

其中，

表示区域x的纹理直方图，

表示区域y的纹理直方图，λ₂是常数(可取值100)。a′表示区域纹理特征的编号，b′表示区域纹理直方图子区间的编号，

为子区间的总数，将36组纹理直方图分别划分为

个子区间。

可取值20。

步骤3.2：计算区域的几何尺寸：为了避免目标区域的大尺寸或分割的数量过少可能导致过分割或欠分割，对区域尺寸度量定义如下：

其中，

表示层次结构最低层的区域个数，

表示当前层次的区域个数，R表示图像I的面积，R_x表示区域面积。

步骤3.3：计算每一个区域的质量分数Q(x)：每个区域的质量被计算为步骤3.1、步骤3.2的三个特征值之和；表达式如下，分数越低，质量越高。

Q(x)＝f_inter-color(x)+f_{inter-texture}(x)+f_geo(x)

步骤4:使用动态规划找到最优分割，分为正向和反向两步：

正向过程从树的低层到高层，利用步骤3的方法遍历每一层，分别计算每个节点及其子树的分割质量。其中，子树的分割质量等于所有子节点的质量之和。

反向过程从高层到低层，比较当前节点及其子树的质量，如果当前节点质量优于其子树的质量，则选择该节点作为最优分割中的一个节点，不再比较子树中剩下节点的质量。否则选择其子节点中质量最优的节点，用同样的方法继续比较，得到一个最优分割中的节点。直到所有节点都计算完毕，得到最优分割的节点集合，即最优分割树。

步骤5：用图像I的语义类别标签作为监督信息(图像I具有一个或多个类别标签)，将图像I作为网络输入，用标准的VGG-19深度分类网络生成图像I前景的种子点。在该网络的全连接分类器生成的前景目标热图基础上，对热图应用一个阈值λ₃(可取值200)来获得前景种子点。使用显著性检测算法计算图像I的背景种子点，即选择显著性图中像素值为0的区域作为图像I的背景种子点。最后，将前景和背景种子放在一个单通道分割掩码图像中，生成图像I的种子点。其中每个前景种子的标签等于图像I的某一个类别标签，背景种子的类别标签为背景。种子对应的像素集合记为S＝{s_m}，s_m是第m个类别的种子像素集合，m＝0,…,M；M是前景类别标签的个数。

步骤6：建立图模型：利用步骤4中生成的最优分割树中的图像分割区域，建立一个图。通过求图的最小分割得到分割结果。

将第4步得到的图像I的最优分割节点对应为区域表示的集合{x_i,i＝1…N}，其中N表示区域个数，且满足

即所有节点的并集构成图像分割X，相邻区域不相交。使用图割优化框架，计算每个区域的最优类别标签，即为区域x_i找到一个类别标签l_i，集合{l_i}表示为L，通过最小化能量方程E(L)的值得到目标分割结果：

其中，

为区域x_i基于深度种子的一元式；ψ_i,j为相邻区域x_i和x_j的二元式，公式如下：

其中，M表示输入图像I所有前景类别标签的个数，l_i是区域x_i的类别标签。

能量方程的第二项表示相邻区域的特征相似性，用区域的颜色、纹理直方图进行归一化计算，表达式如下：

如果l_i≠l_j为真，[.]为1，否则为0。l_j是区域x_j的类别标签；δ_lab、δ_t为常数参数(可分别设置为5和10)。

D_i,j是区域x_i和区域x_j的尺度不变特征转换(scale-invariant featuretransform或SIFT)得到的特征

和加速鲁棒特征

(speed up robust feature或SURF)的欧几里德距离之和，计算公式如下：

其中，δ₁和δ₂是常数参数，δ₁+δ₂＝1。

实验结果

为验证本发明对于基于深度种子的图像多层次目标分割的尺度选择的有效性，本发明方法在MSRC、Pascal VOC2012以及COCO数据集上进行了目标分割实验，并采用Segmentation Covering(SC)、Probabilistic Rand Index(PRI)、Variation ofInformation(VI)三个指标作为图像分割质量评价指标，验证目标分割效果，数据集详细信息见表1。

表1相关图像分割数据库描述

实验一

本发明方法使用5种目前流行且性能较好的多层次图像分割算法来验证本发明方法的有效性。这些分割算法包括：gPb-ucm，MCG，SCG，PMI，和COB。实际测试中，5种常用算法选取整个数据集上表现最优的参数值，并用最优阈值得到最优分割层次的结果。另外，利用本发明方法对5种常用方法进行自动尺度选择，基于深度种子计算最优的分割尺度，得到分割结果。

图6是gPb-ucm，MCG，SCG，PMI，和COB 5种分割方法和本发明方法在MSRC数据集上进行目标分割结果对比。从左到右：原图，Groundtruth，多层次分割方法，最优分割层次和本发明方法。从图中可以直观地看出，本发明方法的分割结果优于gPb-ucm，MCG，SCG，PMI，和COB中5种算法的分割结果。

图7是gPb-ucm，MCG，SCG，PMI，和COB 5种分割方法和本发明方法在PascalVOC2012数据集上目标分割结果对比图，从左到右：原图，Groundtruth，多层次分割方法，最优分割层次和本发明方法。从图中可以直观地看出，本发明方法的分割结果优于gPb-ucm，MCG，SCG，PMI，和COB中5种算法的分割结果。

实验二

为测试本发明方法在大数据集上的扩展性，我们将本发明方法和gPb-ucm在MSRC以及Pascal VOC2012数据集上进行了对比实验，对比结果如表2所示，表中的指标SC、PRI的值越高，说明分割的质量越高，相反VI值越小，则分割质量越高,由表2可知本发明所提出的方法在MSRC和Pascal VOC2012数据集上的分割质量更高。

表2在MSRC、Pascal VOC2012数据集上与其他方法的比较结果

实验三

为进一步测试本发明方法，我们在gPb-ucm，MCG，SCG，PMI，和COB 5种分割方法上进行最优分割以及超像素分割使用深度种子的对比实验。实验结果如图8所示，从图中实验结果可知使用深度种子的最优分割比使用深度种子的超像素分割的效果更好。

本发明所提出的方法每个步骤的平均运行时间如表3所示：

表3本发明所提出的方法每个步骤的平均运行时间(秒)

综上所述，本发明基于深度种子的多层次图像目标分割的尺度选择能够克服多尺度图像分割方法人工设置阈值造成的图像分割精度的损失，能够在一定程度上实现个体目标的最优分割尺度选择，提高分割的精确度，而且本发明所提出的方法，时间成本相对来说不高，能够在短时间内实现目标分割。

Claims (1)

1.基于深度种子的图像多层次分割的目标尺度选择方法，其特征在于，包括：

步骤1：利用多层次图像分割算法，将输入图像I分割成两个以上层次，每个层次是一个分割结果，每个分割结果包含两个以上非重叠分割区域；

步骤2：构建多层次分割树T，包括：

2.1从最低层次分割结果R₁开始，由低到高取k个层次的分割结果，即{R₁,R₂,…,R_k}；低层次分割结果，其分割区域个数大于高一层次分割结果的分割区域个数，即|R₁|>|R₂|>…>|R_k|；其中，R₂的每个分割区域，与R₁中的一个分割区域相同，或者与R₁中两个以上相邻分割区域的并集相同；R₃的每个分割区域，与R₂中的一个分割区域相同，或者与R₂中两个以上相邻分割区域的并集相同；以此类推；

2.2根据k个层次的分割结果构建深度为k的多层次分割树T：每个层次的分割结果的分割区域分别映射为分割树T对应层次的节点；其中，R₂的分割区域所映射的节点，为R₁中与其相同分割区域所映射的节点的父节点，或者为R₁中并集与其相同的两个以上相邻分割区域所映射的节点的父节点；R₃的分割区域所映射的节点，为R₂中与其相同分割区域所映射的节点的父节点，或者为R₂中并集与其相同的两个以上相邻分割区域所映射的节点的父节点；以此类推；

步骤3：以颜色直方图、纹理直方图和区域几何尺寸表示图像特征，对k个层次的分割结果中每一个分割区域的质量进行评价，得到分割质量分数，包括

3.1使用χ²分布计算区域间颜色相似度：在CIE Lab颜色空间下，分割区域x与同一层次的所有相邻分割区域y的颜色相似度为：

其中，

表示x的颜色直方图，

表示y的颜色直方图，λ₁是常数；a表示CIE Lab的颜色通道个数，b表示颜色直方图子区间的编号，

为颜色直方图划分的子区间总数，颜色直方图划分的每个子区间大小相等；

使用具有6个方向3个尺度((σ_x,σ_y)＝{(1,3),(2,6),(4,12)})的高斯一阶、二阶微分滤波器，得到区域的36个纹理特征，分别计算区域的纹理直方图；分割区域x与同一层次的所有相邻分割区域y的区域间纹理相似度为：

其中，

表示区域x的纹理直方图，

表示区域y的纹理直方图，λ₂是常数；a′表示区域纹理特征的编号，b′表示区域纹理直方图子区间的编号，

为子区间的总数；

3.2计算分割区域x的几何尺寸度量f_geo：

其中，

表示最低层次分割结果R₁的分割区域个数，

表示当前层次分割结果的分割区域个数，R表示输入图像I的面积，R_x表示分割区域x的面积；

3.3计算分割区域x的分割质量分数Q(x)：

Q(x)＝f_inter-color(x)+f_{inter-texture}(x)+f_geo(x)；

步骤4：找到最优分割树，包括

正向过程：计算多层次分割树T的每个层次的每个节点及其子树的分割质量；所述节点的分割质量等于其对应的分割区域的分割质量，子树的分割质量为该节点的所有子节点对应的分割区域的分割质量之和；

反向过程：从高层到低层，依次比较节点与其子树的分割质量，具体为：选取一个节点，如果当前节点的分割质量优于其子树的分割质量，则将当前节点作为最优分割的节点，不再选取其子树的节点进行比较；否则，继续选取当前节点的子树的节点，与其子树的分割质量进行比较；直到比较完毕，得到最优分割的节点集合，构成最优分割树；

步骤5：用输入图像I的语义类别标签作为监督信息，将图像I作为网络输入，用标准的VGG-19深度分类网络生成图像I的前景种子点，具体为：在该网络的全连接分类器生成的前景目标热图基础上，对热图应用一个阈值λ₃来获得前景种子点；使用显著性检测算法计算输入图像I的背景种子点，即选择显著性图中像素值为0区域作为输入图像I的背景种子点；最后，将前景种子点和背景种子点放在一个单通道分割掩码图像中，生成输入图像I的种子点；其中，每个前景种子点的标签等于输入图像I的一个类别标签，背景种子点的类别标签为背景；种子点对应的像素集合记为S＝{s_m}，s_m是第m个类别的种子像素集合，m＝0,…,M；M是前景类别标签的个数；

步骤6：将步骤4得到的最优分割树的节点所对应的分割区域表示为集合{x_i,i＝1,…,N}，其中N表示分割区域个数，且满足

x_i∩x_j＝φ，i≠j，j＝1,…,N；使用图割优化框架，计算每个区域的最优类别标签，即为区域x_i找到一个类别标签l_i，集合{l_i}表示为L，通过最小化能量方程E(L)的值得到目标分割结果：

上式中，

为区域x_i基于种子点的一元式，如下：

其中，M表示输入图像I所有前景类别标签的个数，l_i是区域x_i的类别标签；ψ_i,j为相邻区域x_i和x_j的二元式，能量方程的第二项表示相邻区域的特征相似性，用区域的颜色直方图、纹理直方图进行归一化计算，如下：

其中，如果l_i≠l_i为真，则[.]为1，否则[.]为0；l_j是区域x_j的类别标签；δ_lab、δ_t为常数参数；

D_i,j是区域x_i和区域x_j的尺度不变特征转换得到的特征

和加速鲁棒特征

的欧几里德距离之和，如下：

其中，δ₁和δ₂是常数参数，δ₁+δ₂＝1。

Images