CN109741358A - 基于自适应超图学习的超像素分割方法 - Google Patents

Abstract

本发明涉及一种基于自适应超图学习的超像素分割方法，属于计算机视觉领域中的图像分割技术，包括以下步骤：步骤一：图像预处理，即对输入的RGB图像进行下采样；步骤二：对预处理后得到的图像进行基于超图的图像表示；步骤三：对构建好的超图进行基于超图学习的超像素分割；步骤四：对输入图像所对应的分割结果进行后处理，包括增强连通性和超像素边界优化两部分。本发明首次将超图的思想引入超像素分割，以此来编码像素之间的高阶关系；利用自适应近邻方法构建超边，有利于准确刻画顶点与超边之间的连接强度；结合Canny算子对超像素边界进行优化，确保进一步提升边界召回率。

Description

基于自适应超图学习的超像素分割方法

技术领域：

本发明属于计算机视觉领域中的图像分割技术。

背景技术：

超像素的概念是2003年由Xiaofeng Ren首次提出，是指具有相似纹理、颜色、亮度等特征的相邻像素构成的具有一定视觉意义的像素集合。超像素分割是计算机视觉领域最为重要的任务之一，近年来，各种不同的超像素分割方法被提出，这些方法大致分为以下两类，即基于图论的方法和基于梯度的方法。

(1)基于图论的超像素分割方法

这些方法的主要思想是将图像视为无向带权图。每个像素对应于图中的一个点，像素特征之间的差异或相似性对应于边上的权重，然后在图上使用各种分割算法进行超像素分割。

基于图的方法由Felzenszwalb首次提出，目的是使得同一区域内的元素尽可能相似，不同区域的元素尽可能不相似，该方法主要通过对图上的节点进行聚类来实现，其生成的超像素是像素集的最小生成树，它的缺点是不能控制超像素的数量和紧凑性。归一化切割方法使用归一化切割算法,同时度量区域间的差异和区域内的相似性，优点是分割出的超像素形状相对规则和紧凑。然而对于大图像而言，计算复杂度相对较高。超像素网格描述了一种能保持图像拓扑结构的贪心算法，其输入为图像的边界图，通过在垂直和水平条带两个方向搜索最优路径，不断地将图像从垂直和水平方向进行二分来得到超像素，在速度和分割精度上保持了良好的性能，但缺点就是过分依赖于图像的边界图。基于熵率的方法则是提出了一种新型的目标函数，包括图像随机游走熵率和平衡项两个部分，其中熵率有利于形成结构紧凑、均匀的集群，促使获得的超像素仅覆盖图中的单一目标对象，而平衡项则用于保证集群有相似的尺寸，降低不平衡超像素的个数。

(2)基于梯度的超像素分割方法

这些方法都是由初始的粗聚类开始，通过梯度下降方法不断地更新聚类，直到其收敛，代表性算法有分水岭方法、均值移动方法及简单线性迭代聚类方法等。

分水岭方法用拓扑地形图来描述一幅图像，当应用于图像分割时，图像中每个像素的灰度值表示该点的海拔高度，每个局部极小值及其影响区域为集水盆，而集水盆的边界就形成了分水岭。分水岭分割会得到成千上万的集水盆，结果很细致，导致图像出现非常严重的过分割现象。基于均值移动方法是将具有相同模点的像素聚类到相同的超像素中，该方法在实际应用中具有较好的稳定性和抗噪性，但速度慢。在这些算法中，最著名的是简单线性迭代聚类方法，其通过使用K均值方法生成超像素，将彩色图像转换为CIELAB颜色空间和XY坐标中的五维特征向量，然后构造距离度量，最后基于距离度量完成聚类过程，该算法最大的优点就是思想简单、实现方便，但其对于细长状的物体分割效果不够理想。

对于不同的计算机视觉应用，生成的超像素需要满足特定的需求，虽然很难定义满足所有超像素分割算法的普遍标准，但超像素通常需要符合以下标准：①超像素的边界应该吻合对象的边界；②一个超像素应该只属于一个对象；③超像素应该具有相似的大小和规则的形状。之前提出的方法中一般都只能较好地满足上述一个或两个条件，很难同时满足以上三个条件。

发明内容：

本发明为解决上述三个问题：①超像素边界与对象边界的吻合，②确保一个超像素只属于一个对象，③分割出的超像素具有相似的大小和规则的形状，提出一种基于自适应超图学习的超像素分割方法。图1给出了基于自适应超图学习的超像素分割方法流程图。

本发明通过以下技术方案实现：

步骤一：图像预处理

输入为一张RGB图像，由于图像像素个数较多，如果直接对其进行超图的构建会使得构成的超图太大，而导致内存不足、运算效率低下等问题，因此首先对图像进行下采样，使其为原图像的1/9大小，再进行后续计算。这样做，不仅可以提高效率，也达到了降噪的效果。

步骤二：基于超图的图像表示

对预处理后得到的图像进行基于超图的图像表示，预处理后图像中有N个像素，每个像素对应于超图中的顶点，在超图中以每个顶点为中心点c构建对应的超边，即每条超边对应一个中心点c，每条超边可以连接两个及以上顶点，共有N条超边；用相关矩阵H_N*N＝(h_v,e)表示超图，其中v表示超图中的顶点，e表示超图中的超边，h_v,e表示顶点v与超边e的连接强度，其计算方法如下：

其中，d_vc表示顶点v与该超边对应的中心点c的距离，具体计算方法如下：

其中，[l,a,b,x,y]^T表示预处理后图像中的像素特征,[l,a,b]^T表示在CIELAB空间中像素的颜色,[x,y]^T表示像素的位置,下标v、c表示顶点v、中心点c，N_col代表最大颜色距离，取值范围为[1，40]，代表最大位置距离，N表示预处理后得到的图像像素的总个数，K表示预设的超像素的个数；γ_c为正则化参数，η是拉格朗日乘子，由以下公式进行计算：

其中，每条超边连接多个顶点，表示该超边连接的所有t个顶点到该超边对应的中心点c的距离之和，超边连接的顶点是由距离中心点c最近的t个顶点组成，顶点t+1表示距离中心点c最近的第t+1个顶点，故d_c,t+1表示中心点c与顶点t+1之间的距离，其计算方法与d_vc一致，t的取值范围为[10,60]；

为提高计算效率及获得更好的分割结果，我们仅关注中心点c的局部范围，也就是只有与其距离最近的t个顶点才能与其相连，而不是所有顶点都以一定的概率与其相连。

步骤三、基于超图学习的超像素分割

对构建好的超图进行基于超图学习的超像素分割；首先，计算超图拉普拉斯矩阵,方法如下：

其中，H表示该超图所对应的相关矩阵，I表示单位阵，D_V为对角矩阵，其对角线上的元素d_v为顶点v的度，D_E也是对角矩阵，其对角线上的元素δ_e为超边e的度，计算方法如下：

其中，V表示超图的顶点集，E表示超图的超边集，当顶点v属于超边e时，q_v,e＝1，当顶点v不属于超边e时，q_v,e＝0；再根据计算出的拉普拉斯矩阵求其前K个最小特征值对应的特征向量，构成矩阵C＝[c₁,c₂,...,c_K]，矩阵C的每一行用(y_i)_i＝1,...,N表示，共有N行，分别对应预处理后图像中的N个像素，使用K均值算法对其进行聚类，形成K个簇，如果矩阵C的第i行属于第j个簇，那么预处理后图像的第i个像素就属于第j个超像素,根据以上步骤对预处理后的图像进行超像素分割，然后利用最近邻插值方法把分割结果转化为输入图像所对应的分割结果。

步骤四：图像后处理

对输入图像所对应的分割结果进行后处理，包括增强连通性和超像素边界优化两部分。

经过以上三步完成超像素分割后，分割出的超像素可能会出现尺寸过小，单个超像素被切割成多个不连续超像素等问题，我们通过增强连通性来解决这些问题，其具体方法如下:按照“Z”型走向遍历步骤三所得的分割结果图，将不连续的超像素和尺寸小于理想超像素大小1/4的超像素，重新分配给其位置最近邻超像素中与其颜色最接近的超像素，其中理想超像素大小为M/K,M表示输入图像像素的总个数，K表示预设的超像素的个数。

由于最近邻插值方法会导致分割结果出现锯齿状，影响分割质量，在本文中，利用Canny算子对边界进行优化，具体做法为：对分割结果进行增强连通性后，即可得到一张边界图图一，同时，利用Canny算子可得到输入图像所对应的边界图图二，比对两张边界图，在理想超像素1/9大小的邻域内，如果边界图二中的某一像素为边界像素，而边界图一中该像素不为边界像素，那么，就把边界图一中该像素修正为边界像素，直到遍历所有像素为止。

有益效果

本发明首次将超图的思想引入超像素分割，以此来编码像素之间的高阶关系；利用自适应近邻方法构建超边，有利于准确刻画顶点与超边之间的连接强度；结合Canny算子对超像素边界进行优化，确保进一步提升边界召回率。

附图说明

图1：超像素分割流程图；

图2：超图示意图；

图3：相关矩阵H示意图；

图4：边界优化示意图；

图5：原始输入图像；

图6：分割标签块；

图7(a)：本发明效果图(50块)；

图7(b)：简单线性迭代聚类效果图；

图7(c):内容自适应方法效果图；

图8(a)：本发明效果图(100块)；

图8(b)：简单线性迭代聚类效果图；

图8(c)：内容自适应方法效果图；

图9(a)：本发明效果图(200块)；

图9(b)：简单线性迭代聚类效果图；

图9(c)：内容自适应方法效果图；

图10：边界召回率对比图；

图11：分割不足误差对比图；

图12：可达分割精度对比图。

具体实施方式：

本实施例中的输入图像为伯克利分割数据集(BSDS500)训练集中的图像，每张图像的大小为321*481或481*321，并且带有人工标注的分割标签块。首先进行图像预处理，即对输入的RGB图像进行下采样；预处理后图像中的像素对应于超图中的顶点，以超图中每个顶点为中心点，利用自适应近邻构建超边，通过遍历所有顶点构建超边来完成超图的构建；再基于超图学习进行超像素分割；对于得到的分割结果，利用Canny算子对边界进行优化，最后输出超像素分割结果。

具体实施过程如下：

步骤一：图像预处理，即对输入的RGB图像进行下采样，使其为原图像的1/9大小，设原图像大小为481*321，下采样后的图像大小为160*107；

步骤二：对预处理后得到的图像进行基于超图的图像表示，假设预处理后的图像共N＝17120个像素，要分割成K＝100个超像素，最大位置距离最大颜色距离N_col＝15，一条超边可连接t＝50个顶点,由此计算顶点v与超边e的连接强度h_v,e,从而得到超图的相关矩阵H；如图2所示，为简化说明，假设图片共有6个像素，以顶点1为中心点构建超边1,该超边连接1、4、5三个顶点，以顶点5为中心点，构建超边5，该超边连接2、5、6三个顶点，为使示意图简单清晰，在图中仅画了三条超边，实际是依次以图中每个顶点为中心点构建超边，构成六条超边，所以用相关矩阵H_6*6＝(h_v,e)表示超图，其中v表示超图的顶点，e表示超图的超边，h_v,e表示顶点v与超边e的连接强度，如图3所示，矩阵的每一列代表一条超边，每一行代表一个顶点。

步骤三：对构建好的超图进行基于超图学习的超像素分割；首先，计算超图拉普拉斯矩阵L,再根据计算出的拉普拉斯矩阵L求其前K＝100个最小特征值对应的特征向量，构成矩阵C＝[c₁,c₂,...,c₁₀₀]，矩阵C的每一行用(y_i)_{i＝1,...,17120}表示,共有17120行，分别对应预处理后图像中的17120个像素，使用K均值算法对其进行聚类，形成K＝100个簇，如果矩阵C的第1行属于第2个簇，那么图像的第1个像素就属于第2个超像素；根据以上步骤得出的分割结果为下采样后大小为160*107的图像所对应的结果，然后利用最近邻插值方法把分割结果转化为大小为481*321的输入图像所对应的分割结果；

步骤四：对输入图像所对应的分割结果进行后处理，包括增强连通性和超像素边界优化两部分，对于增强连通性，其具体方法如下:按照“Z”型走向遍历由步骤三得到的分割结果图，将不连续的超像素和尺寸小于386个像素的超像素，重新分配给其位置最近邻超像素中与其颜色最接近的超像素；对于超像素边界优化，具体做法为：对分割结果进行增强连通性后，即可得到一张边界图图一，同时，利用Canny算子可得到输入图像所对应的边界图图二，比对两张边界图，在大小为170个像素的邻域内，如果边界图二中的某一像素为边界像素，而边界图一中该像素不为边界像素，那么，就把边界图一中该像素修正为边界像素，直到遍历所有像素为止，图4为边界优化示意图。

本发明对上述方法进行了实验验证，并取得了明显的效果。引入超像素的目的之一就是提高效率，分割成过多的超像素在实际应用中并无意义。所以，我们把图像分割成50块、100块、200块，即设定K＝50、100、200，并且与简单线性迭代聚类方法以及内容自适应超像素分割方法进行定性和定量评估比较。图5为数据集中的原始输入图像，图6为分割标签块。

(1)定性评估

如图7为分割50块超像素的结果图，图8为分割成100块的结果图，图9为分割成200块的结果图(a、b、c依次为自适应超图学习方法(本专利提出)、简单线性迭代聚类方法、内容自适应超像素分割方法)。从图中可以看出，本专利提出的分割算法可以较好地吻合对象边界，当分割块数越多时，边界处理越好，分割越精细。

(2)定量评估

本实验共采用3种评价标准对该超像素分割算法进行评估，分别为边界召回率(Boundary Recall,BR)、分割不足误差(Undersegmentation Error,UE)、可达分割精度(Achievable Segmentation Accuracy,ASA)，我们用s_i(i＝1,2,3...,m)表示第i块超像素，g_j(j＝1,2,3,...,n)表示第j个分割标签块，|.|表示像素集的大小，||.||代表欧氏距离，代表指示函数，满足括号内的条件为1，不满足则为0。

边界召回率(BR)评价该算法分割出的超像素的边界与分割标签块边界的吻合程度，用如下公式计算：

其中，B(s)和B(g)分别表示超像素边界的像素集合和分割标签块的边界像素集合。指示函数用于检验分别位于B(s)和B(g)中的最近像素的距离是否在σ范围内，在实验中我们设置σ为2。

分割不足误差(UE)是另一种对边界吻合程度的评价，该标准确保一个超像素只属于一个对象，如果一个超像素与超过一块的标签分割块重叠，UE将会增大。

可达分割精度(ASA)表示分割正确的像素个数占所有像素总个数的比值。ASA值越高，代表分割越准确。

在实验中，我们对本专利提出的自适应超图学习方法与简单线性迭代聚类方法、内容自适应方法根据以上三个标准进行定量比较。图10、图11、图12分别为边界召回率(BR)、分割不足误差(UE)、可达分割精度(ASA)的实验结果对比图，对于边界召回率，值越大，说明边界吻合度越高；可达分割精度值越高说明分割越准确，分割效果越好；而对于分割不足误差，值越小，误差就越小，所以越小越好。从图中可看出，本专利提出的分割方法在三个标准下都具有一定优越性。

Claims (4)

1.基于自适应超图学习的超像素分割方法，其特征在于包括以下步骤：

步骤一：图像预处理，即对输入的RGB图像进行下采样；

步骤二：对预处理后得到的图像进行基于超图的图像表示；

步骤三：对构建好的超图进行基于超图学习的超像素分割；

步骤四：对输入图像所对应的分割结果进行后处理，包括增强连通性和超像素边界优化两部分。

2.根据权利要求1所述的基于自适应超图学习的超像素分割方法，其特征在于：步骤2具体包括：预处理后图像中有N个像素，每个像素对应于超图中的顶点，在超图中以每个顶点为中心点c构建对应的超边，即每条超边对应一个中心点c，每条超边可以连接两个及以上顶点，共有N条超边；用相关矩阵H_N*N＝(h_v,e)表示超图，其中v表示超图的顶点，e表示超图的超边，h_v,e表示顶点v与超边e的连接强度，其计算方法如下：

其中，d_vc表示顶点v与该超边对应的中心点c的距离，具体计算方法如下：

其中，

[l,a,b,x,y]^T表示预处理后图像中的像素特征,[l,a,b]^T表示在CIELAB空间中像素的颜色,[x,y]^T表示像素的位置,下标v、c表示顶点v、中心点c，N_col代表最大颜色距离，取值范围为[1，40]，代表最大位置距离，N表示预处理后得到的图像像素的总个数，K表示预设的超像素的个数；γ_c为正则化参数，η是拉格朗日乘子，由以下公式进行计算：

其中，每条超边连接多个顶点，表示该超边连接的所有t个顶点到该超边对应的中心点c的距离之和，超边连接的顶点是由距离中心点c最近的t个顶点组成，顶点t+1表示距离中心点c最近的第t+1个顶点，故d_c,t+1表示中心点c与顶点t+1之间的距离，其计算方法与d_vc一致，t的取值范围为[10,60]。

3.根据权利要求1所述的基于自适应超图学习的超像素分割方法，其特征在于：步骤3具体包括：

首先，计算超图拉普拉斯矩阵,方法如下：

其中，H表示该超图所对应的相关矩阵，I表示单位阵，D_V为对角矩阵，其对角线上的元素d_v为顶点v的度，D_E也是对角矩阵，其对角线上的元素δ_e为超边e的度，计算方法如下：

其中，V表示超图的顶点集，E表示超图的超边集，当顶点v属于超边e时，q_v,e＝1，当顶点v不属于超边e时，q_v,e＝0；再根据计算出的拉普拉斯矩阵求其前K个最小特征值对应的特征向量，构成矩阵C＝[c₁,c₂,...,c_K]，矩阵C的每一行用(y_i)_i＝1,...,N表示，共有N行，分别对应预处理后图像中的N个像素，使用K均值算法对其进行聚类，形成K个簇，如果矩阵C的第i行属于第j个簇，那么预处理后图像的第i个像素就属于第j个超像素,根据以上步骤对预处理后的图像进行超像素分割，然后利用最近邻插值方法把分割结果转化为输入图像所对应的分割结果。

4.根据权利要求1所述的基于自适应超图学习的超像素分割方法，其特征在于：步骤4具体包括：对于增强连通性，其具体方法如下:按照“Z”型走向遍历步骤三所得的分割结果图，将不连续的超像素和尺寸小于理想超像素大小1/4的超像素，重新分配给其位置最近邻超像素中与其颜色最接近的超像素，其中理想超像素大小为M/K,M表示输入图像像素的总个数，K表示预设的超像素的个数；对于超像素边界优化，具体做法为：对分割结果进行增强连通性后，即可得到一张边界图图一，同时，利用Canny算子可得到输入图像所对应的边界图图二，比对两张边界图，在理想超像素1/9大小的邻域内，如果边界图二中的某一像素为边界像素，而边界图一中该像素不为边界像素，那么，就把边界图一中该像素修正为边界像素，直到遍历所有像素为止。