CN109345549A - 一种基于自适应复合近邻图的自然场景图像分割方法 - Google Patents

Abstract

本发明公开了一种基于自适应复合近邻图的自然场景图像分割方法，包括以下步骤：步骤1，对原始自然场景图像进行过分割得到几组不同尺度的超像素，并对超像素进行颜色特征提取；步骤2，利用超像素邻域间的相似度关系求解局部近邻图；步骤3，根据超像素的颜色特征，利用自适应近邻传播聚类，筛选出超像素中的全局因子；步骤4，根据步骤3中超像素全局因子间的稀疏重构构造全局图；步骤5，将步骤2得到的局部近邻图和步骤4得到的全局图进行叠加得到复合近邻图；步骤6，将步骤5中的复合近邻图转换为二部图，并利用迁移分割算法对二部图进行划分，得到自然场景图像的最终分割结果。

Description

一种基于自适应复合近邻图的自然场景图像分割方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于自适应复合近邻图的自然场景图像分割方法。

背景技术

随着互联网技术的发展，数字图像的总量呈爆炸式速度增长，如何在大量图像中寻找用户感兴趣的图像成为当前研究的热点。图像分割本质上就是将图像中的每一个像素依据其特性来分配标签，寻找感兴趣目标的技术和过程。目前图像分割方法大致可分为监督、半监督和无监督方法三类。在没有先验知识的情况下，图像分割是一个具有挑战性的问题。非监督方法在没有人为干预的情况下，对图像进行分割，仍然受到广泛关注。其中，基于近邻图的无监督图像分割方法是人们关注的焦点，主要因为该种方法所构造的近邻图能够同时体现图像的特征和空间信息，以便更好地进行图像分割。

近邻图应该具有高区分能力、稀疏性和自适应性等性质。此外，对于基于近邻图的图像分割方法，分割性能严重依赖于所构造的近邻图，因而特别强调图拓扑和节点之间的成对亲和性。然而，当感兴趣目标占据图像的很大一部分时，局部近邻图通常不能捕获全局信息，从而导致错误的分割。而L0图可以稀疏地捕获全局信息，但是它往往不强调相邻性，容易在分割中引起孤立区域。GL图利用形状，颜色和纹理描述超像素区域，并根据超像素区域的面积对局部和全局节点进行分类，进一步通过连接这些局部和全局节点来建立的复合近邻图，能获得相比于与局部近邻图和全局图更好的自然图像分割结果。然而，超像素区域在不同尺度上变化很大，自然图像中的局部和全局节点并不容易定义。并且，GL图利用多种特征描述超像素，使得算法复杂而耗时。

发明内容

针对上述现有技术的不足，本发明提供一种基于自适应复合近邻图的自然场景图像分割方法。其具体方案如下：一种基于自适应复合近邻图的自然场景图像分割方法，主要包括以下步骤：

步骤1：对原始图像进行过分割得到几组不同尺度的超像素，并对超像素进行颜色特征提取；

步骤2：利用超像素邻域间的相似度关系求解局部近邻图；

步骤3：根据超像素的颜色特征，利用自适应近邻传播聚类，筛选出超像素中的全局节点；

步骤4：根据步骤3中超像素全局节点间的稀疏重构得到全局图；

步骤5：将步骤2得到的局部近邻图和步骤4得到的全局图进行叠加得到复合近邻图；

步骤6：将步骤5中的复合近邻图转换为二部图，并利用迁移分割算法对二部图进行划分，得到图像的最终分割结果。

步骤1中超像素是指将图像分割为亮度、颜色和纹理特征较为一致的子区域，用以优化近邻图的结构模型和减小图像分割的计算量。首先根据几组不同的参数，利用MeanShift和Felzenszwalb-Huttenlocher这2种算法对原始图像I进行过分割，在尺度k上生成t个超像素SI_k＝{si_i}＝{si₁,si₂,...,si_t}，用以对图像进行预处理来获取各种尺度的信息。然后，计算不同尺度中每个超像素在Lab颜色空间中的颜色均值x_i。

步骤2包括以下步骤：

步骤2-1，构造超像素si_i的邻域字典D＝{x_i}＝{x₁,x₂,...,x_n}并进行单位化，其中x和n分别为si_i邻域超像素的特征向量和个数；

步骤2-2，求解超像素si_i由邻域字典D的线性组合，其求解问题可以转化为以下最优化问题，计算公式如下：

其中，表示使用超像素的颜色均值求得的最优组合系数；

步骤2-3，计算超像素si_i和其邻域超像素si_j之间的颜色均值特征重构误差r_ij，计算公式如下：

步骤2-4，计算超像素si_i和其邻域超像素si_j之间的亲和度w_ij，求解如下：

步骤2-5，最终计算得到局部近邻图W＝{w_ij}。

步骤3中利用自适应近邻传播聚类，筛选出超像素中的全局节点，关键是计算该超像素颜色均值特征的相似度矩阵S。在本发明中，相似度矩阵定义为欧几里得距离和几何距离的代数和。与k-means聚类不同，自适应近邻传播聚类不需要人工指定聚类数。

步骤4中利用筛选出的超像素全局节点来构建全局字典利用字典来对超像素全局节点进行稀疏重构，稀疏重构可以转化为下面最优化问题，计算公式如下：

其中，c_j表示超像素在字典D下的稀疏重构系数，||·||₀是0-范数。由于该问题属于NP问题，很难直接来求解结果。故采用子空间追踪算法来近似计算，计算公式如下：

其中，L表示控制对应的稀疏度。当稀疏表示系数求解后，利用步骤2-3和步骤2-4相同的方法计算出来全局图

根据权利要求1所述的方法，其特征在于，步骤5包括以下步骤：

步骤5-1，综合考虑局部近邻图和全局图的性质，利用某尺度t下的全局图来更新局部近邻图W，即可得到该尺度t下的复合近邻图W_t′，更新方法如下：

步骤5-2，为了融合不同尺度的超像素对应的复合近邻图W_t′，将其转化为块对角的等效复合近邻图W_SS，表达式计算如下：

步骤6包括以下步骤：

步骤6-1，对图像I建立二部图G＝{U,V,B}，用以表达像素和超像素间的关系，其中节点U＝I∪SI和节点V＝SI；亲和度矩阵为其中，像素与超像素间的关系矩阵为W_IS＝(b_ij)_|I|×|V|，若像素i属于超像素si_i，则b_ij＝0.001，否则b_ij＝0；

步骤6-2，利用迁移分割算法将二部图G进行划分，再利用k-mean聚类算法，得到图像的最终分割结果。

该方法用概率边缘指数PRI来评估算法的优劣性。

所述的概率边缘指数PRI计算公式具体如下：

N是原始图像的像素总数，n_ij表示在参考分割结果中标记为i，在分割算法实际分割结果中标记为j的像素个数。

和局部近邻图，L0图和GL图相比，本发明具有如下有益效果：利用简单的颜色特征描述超像素区域，实现了局部和全局节点的自适应筛选，并基于此构建复合近邻图，有效提高了图像的分割精度。

附图说明

图1为基于自适应复合近邻图的自然场景图像分割方法的流程图；

图2(a)为本发明中使用的原始图像示意图，图2(b)为本发明的图像分割示意图；

图3为本发明与基于局部近邻图，L0图和GL图的图像分割算法在数据库BSD300中的平均分割精度；

图4(a)为原始图像示意图，图4(b)为基于局部近邻图的图像分割示意图，图4(c)为基于L0图的图像分割示意图，图4(d)为基于GL图的图像分割示意图，图4(e)为本发明的图像分割示意图；

具体实施方式

下面将结合附图对本发明具体实施方式进行详细说明。

本发明提出了一种基于自适应复合近邻图的自然场景图像分割方法，利用简单的颜色特征描述超像素区域，结合近邻传播聚类实现了局部和全局节点的自适应筛选，并基于此构建复合近邻图，有效提高了图像的分割精度，实现更好的分割效果。

见图1，一种基于自适应复合近邻图的自然场景图像分割方法，具体包括以下步骤：

步骤1：对图2(a)所示的自然图像进行过分割得到几组不同尺度的超像素，并对超像素进行颜色特征提取；

步骤2：利用步骤1中的超像素邻域间的相似度关系求解局部近邻图；

步骤3：根据超像素的颜色特征，利用自适应近邻传播聚类，筛选出超像素中的全局节点；

步骤4：根据步骤3中超像素全局节点间的稀疏重构得到全局图；

步骤5：将步骤2得到的局部近邻图和步骤4得到的全局图进行叠加得到复合近邻图；

步骤6：将步骤5中的复合近邻图转换为二部图，并利用迁移分割算法对二部图进行划分，得到图2(b)所示的最终分割结果。

步骤1中超像素是指将图像分割为亮度、颜色和纹理特征较为一致的子区域，用以优化近邻图的结构模型和减小图像分割的计算量。首先根据几组不同的参数，利用MeanShift和Felzenszwalb-Huttenlocher这2种算法对原始图像I进行过分割，在尺度k上生成t个超像素SI_k＝{si_i}＝{si₁,si₂,...,si_t}，用以对图像进行预处理来获取各种尺度的信息。然后，计算不同尺度中每个超像素在Lab颜色空间中的颜色均值x_i。

步骤2包括以下步骤：

步骤2-1，构造超像素si_i的邻域字典D＝{x_i}＝{x₁,x₂,...,x_n}并进行单位化，其中x和n分别为si_i邻域超像素的特征向量和个数。

步骤2-2，求解超像素si_i由邻域字典D的线性组合，其求解问题可以转化为以下最优化问题，计算公式如下：

其中，表示使用超像素的颜色均值求得的最优组合系数。

步骤2-3，计算超像素si_i和其邻域超像素si_j之间的颜色均值特征重构误差r_ij，计算公式如下：

步骤2-4，计算超像素si_i和其邻域超像素si_j之间的亲和度w_ij，求解如下：

步骤2-5，最终计算得到局部近邻图W＝{w_ij}。

步骤3中利用自适应近邻传播聚类，筛选出超像素中的全局节点，关键是计算该超像素颜色均值特征的相似度矩阵S。在本发明中，相似度矩阵定义为欧几里得距离和几何距离的代数和。与k-means聚类不同，自适应近邻传播聚类不需要人工指定聚类数。

步骤4中利用筛选出的超像素全局节点来构建全局字典利用字典来对超像素全局节点进行稀疏重构，稀疏重构可以转化为下面最优化问题，计算公式如下：

其中，c_j表示超像素在字典下的稀疏重构系数，||·||₀是0-范数。由于该问题属于NP问题，很难直接来求解结果。故采用子空间追踪算法来近似计算，计算公式如下：

其中，L表示控制对应的稀疏度。当稀疏表示系数求解后，利用步骤2-3和步骤2-4相同的方法计算出来全局图

步骤5包括以下步骤：

步骤5-1，综合考虑局部和全局图的性质，利用某尺度t下的全局图来更新局部近邻图W，即可得到该尺度t下的复合近邻图W_t′，更新方法如下：

步骤5-2，为了融合不同尺度的超像素对应的复合近邻图W_t′，将其转化为块对角的等效复合近邻图W_SS，表达式计算如下：

根据权利要求1所述的方法，其特征在于，步骤6包括以下步骤：

步骤6-1，对图像I建立二部图G＝{U,V,B}，用以表达像素和超像素间的关系，其中节点U＝I∪SI和节点V＝SI；亲和度矩阵为其中，像素与超像素间的关系矩阵为W_IS＝(b_ij)_|I|×|V|，若像素i属于超像素si_i，则b_ij＝0.001，否则b_ij＝0；

步骤6-2，利用迁移分割算法将二部图G进行划分，再利用k-mean聚类算法，得到图像的最终分割结果。

为了验证算法的优越性，本发明将与基于局部近邻图、L0图和GL图的图像分割方法进行比较。本发明在图像分割数据库BSD300上的300张自然场景图像进行实验。

本发明用概率边缘指数PRI来评估算法的优劣性，计算公式具体如下：

其中N是原始图像的像素总数，n_ij表示在参考分割结果中标记为i，在分割算法实际分割结果中标记为j的像素个数。

实验结果见图3所示，可以看出本发明对自然场景图像具有更高的分割精度。

图4(a)为自然场景中冲浪的人，可以看出自然场景下的图像背景复杂，天空、海岸和海浪都会对分割造成非常大的干扰。在这个实验中，本发明将图像分成四类，天空、海岸、海浪和人各为一类。图4(b)，4(c)，4(d)和4(e)分别为基于局部近邻图，L0图，GL图的分割方法以及本发明的图像分割示意图。

由于基于局部近邻图的图像分割方法只考虑了邻域信息，未能获得较为精确的分割结果。从图4(c)可以看出，只考虑全局信息，容易使分割结果引起孤立区域。从图4(d)可以看出，基于GL图的分割方法结合局部近邻图和全局图能够获得较为精确的分割结果，但受全局节点定义即超像素面积不稳定的干扰，人周围的海浪会一定程度地影响人的分割，使分割结果变差。

而本发明利用近邻传播聚类，充分挖掘了超像素本身的相似关系，实现了局部和全局节点的自适应筛选，并基于此构建复合近邻图，有效提高了图像的分割精度。

以上所述只是该发明的具体实施方式，上述举例说明不对本发明的实质内容构成限制，所属技术领域的普通技术人员在阅读了本说明书后可以对上述的具体实施方式做修改或变形，而不背离本发明的实质和范围。

Claims (8)

1.一种基于自适应复合近邻图的自然场景图像分割方法，其特征在于，包括以下步骤：

步骤1：对原始自然场景图像进行过分割得到几组不同尺度的超像素，并对超像素进行颜色特征提取；

步骤2：利用超像素邻域间的相似度关系求解局部近邻度图；

步骤3：根据超像素的颜色特征，利用自适应近邻传播聚类，筛选出超像素中的全局因子；

步骤4：根据步骤3中超像素全局因子间的稀疏重构，计算得到全局图；

步骤5：将步骤2得到的局部近邻图和步骤4得到的全局图进行叠加得到复合近邻图；

步骤6：将步骤5中的复合近邻度图转换为二部图，并利用迁移分割算法对二部图进行划分，得到自然场景图像的最终分割结果。

2.根据权利要求1所述的方法，其特征在于，步骤1包括以下步骤：

步骤1-1，根据几组不同的参数，利用Mean Shift和Felzenszwalb-Huttenlocher这2种算法对原始图像I进行过分割，在尺度k上生成t个超像素SI_k＝{si_i}＝{si₁,si₂,...,si_t}，用以对图像进行预处理来获取各种尺度的信息；

步骤1-2，计算不同尺度中每个超像素在Lab颜色空间中的颜色均值x_i特征。

3.根据权利要求1所述的方法，其特征在于，步骤2包括以下步骤：

步骤2-1，构造超像素si_i的邻域字典D＝{x_i}＝{x₁,x₂,...,x_n}并进行单位化，其中x和n分别为si_i邻域超像素的特征向量和个数；

步骤2-2，求解超像素si_i由邻域字典D的线性组合，其求解问题可以转化为以下最优化问题，计算公式如下：

表示使用超像素的颜色均值求得的最优组合系数；

步骤2-3，计算超像素si_i和其邻域超像素si_j之间的颜色均值特征重构误差r_ij，计算公式如下：

步骤2-4，计算超像素si_i和其邻域超像素si_j之间的亲和度w_ij，求解如下：

步骤2-5，最终计算得到局部近邻度图W＝{w_ij}。

4.根据权利要求1所述的方法，其特征在于，步骤4中利用筛选出的超像素全局因子来构建全局字典利用字典来对超像素全局因子进行稀疏重构，计算公式如下：

c_j表示超像素在字典D下的稀疏重构系数，||·||₀是0-范数。采用子空间追踪算法来近似计算稀疏重构，计算公式如下：

L表示控制对应的稀疏度。当稀疏表示系数求解后，利用步骤2-3和步骤2-4相同的方法计算出来全局图

5.根据权利要求1所述的方法，其特征在于，步骤5包括以下步骤：

步骤5-1，综合考虑局部近邻图和全局图的性质，利用某尺度t下的全局图来更新局部近邻图W，即可得到该尺度t下的复合近邻图W_t′，更新方法如下：

步骤5-2，为了融合不同尺度的超像素对应的复合近邻图W_t′，将其转化为块对角的等效复合近邻图W_SS，表达式计算如下：

6.根据权利要求1所述的方法，其特征在于，步骤6包括以下步骤：

步骤6-1，对图像I建立二部图G＝{U,V,B}，用以表达像素和超像素间的关系，其中节点节点V＝SI；亲和度矩阵其中，像素与超像素间的关系矩阵为W_IS＝(b_ij)_|I|×|V|，若像素i属于超像素si_i，则b_ij＝0.001，否则b_ij＝0；

步骤6-2，利用迁移分割算法将二部图G进行划分，再利用k-mean聚类算法，得到自然场景图像的最终分割结果。

7.根据权利要求1所述的方法，其特征在于，该方法用概率边缘指数PRI来评估算法的优劣性。

8.根据权利要求1所述的方法，其特征在于，所述的概率边缘指数PRI计算公式具体如下：

N是原始图像的像素总数，n_ij表示在参考分割结果中标记为i，在分割算法实际分割结果中标记为j的像素个数。