CN110473204A - 一种基于弱链接约束的交互式图像分割方法 - Google Patents

Abstract

本发明提供了一种基于弱链接约束的交互式图像分割方法，主要包括以下步骤：1)对目标图像进行SLIC超像素分割预处理；2)用户提供成对弱链接约束信息；3)基于超像素中心点的欧氏距离和在RGB空间平均值的欧氏距离构建相似性矩阵；4)在贝叶斯框架的基础上，通过最大化图像的似然概率构建基于代表点聚类算法模型；5)利用EEM算法优化目标函数，进而完成交互式图像分割任务。本发明将弱链接约束与强链接约束联合在一起，在超像素分割的基础上，将成对链接约束信息嵌入到基于代表点聚类模型中，并在优化过程中，将次优代表点拓展到优化空间中，根据能量损耗，修改代表点集合，完成图像分割，并极大地降低了链接约束的获取成本。

Description

一种基于弱链接约束的交互式图像分割方法

技术领域

本发明涉及图像分割技术领域，尤其涉及一种基于弱链接约束的交互式图像分割方法。

背景技术

图像分割是人工智能、计算机视觉等领域的一个重要组成部分，然而很多时候无监督 图像分割算法所产生结果缺少语义解释，无法勾勒出完整的目标前景。例如将不同颜色和 材质的衣服视为不同类，或者将部分重叠的山峦视为一类。为解决这类问题，用超像素策 略对图像进行预处理逐渐成为图像处理中的研究热点。超像素分割是一种过分割算法，会 将图像中颜色相近、位置相邻的像素集合视为一个整体，即超像素(superpixel)。因此， 很大程度上降低了图像处理的复杂度，同时为了克服超像素的碎片化分割，得到更符合人 类视觉习惯和实际场景的分割结果，使用一些基于代表点(exemplar)学习模型对超像素 图像进行再处理。

经过超像素策略预处理的图像可以在人工的帮助下提供超像素块间两两关系的约束信 息，即链接约束(link constraint)将这类约束信息嵌入到基于代表点聚类模型中，就能 获取到图像分割结果，我们将这种方法称为交互式图像分割。

目前处理链接约束的算法都有不同的限制，例如，CEM算法(Constraint EM)将高斯 混合模型嵌入到最大期望算法中，通过一种改进的最大期望算法模型还控制must-link，同 时将一个隐形的数据簇(cluster)变量嵌入到马尔科夫随机场(MRF)中来控制cannot-link； 然而，CEM算法要求提前输入数据簇总数；SAP算法(Subspace AffinityPropagation) 算法是一种子空间基于代表点聚类算法，通过对样本属性加权处理链接约束，然而该算法 增加了一个迭代步骤，因而降低了算法效率；另一种半监督基于代表点算法SSAP (Semi-Supervised Affinity Propagation)则增加若干可变节点(meta-point)；调整相 似性矩阵来处理链接约束。另外，SCSSAP算法(Semi-Supervised AffinityPropagation with Soft Instance-Level Constraint)的基本思想是在迭代中调整相似性矩阵，并在目标函 数中增加惩罚项。

如何解决上述技术问题为本发明面临的课题。

发明内容

本发明的目的在于提供一种基于弱链接约束的交互式图像分割方法。

本发明是通过如下措施实现的：一种基于弱链接约束的交互式图像分割方法，其中， 包括以下步骤：

1)对目标图像进行SLIC超像素分割预处理，得到超像素块；

2)基于超像素中心点的欧氏距离和在RGB空间平均值的欧氏距离构建相似性矩阵；

3)用户提供成对弱链接约束信息；

4)在贝叶斯框架的基础上，由于步骤2)中的超像素块的链接约束相互独立，通过最 大化目标图像的似然概率构建基于代表点聚类算法模型；

5)利用EEM算法优化目标函数，完成交互式图像分割。

作为本发明提供的一种基于弱链接约束的交互式图像分割方法的进一步优化方案，所 述步骤1)中，采用SLIC模型完成目标图像的超像素分割预处理过程，每个目标图像产生 200个超像素块。

作为本发明提供的一种基于弱链接约束的交互式图像分割方法的进一步优化方案，所 述步骤2)中，超像素块之间的相似度是基于RGB颜色空间和超像素块2D距离，将超像素块映射到5维空间，其中，第1、2维是超像素中心点的坐标，第3-5维是超像素块 在RGB颜色空间的平均值；其中，定义中为超像素样本集合，D＝5， N＝200。

作为本发明提供的一种基于弱链接约束的交互式图像分割方法的进一步优化方案，所 述步骤2)中的2D距离为超像素块中心点的欧氏距离，超像素块在颜色空间的距离是超像 素块在RGB空间平均值的欧氏距离，归一化联合计算这2类距离得到两两超像素块之间的 相似度，构建基于目标图像超像素块的相似度矩阵。

作为本发明提供的一种基于弱链接约束的交互式图像分割方法的进一步优化方案，所 述步骤3)中，所述弱链接约束是指用户看到所述步骤1)的超像素分割结果后，用户根据 应用场景为部分超像素块提供两两关系的成对cannot-link和must-link约束，其余超像 素块之间没有必然联系(no-1ink)，如式(1)其中x_i与x_j为超像素块；

所述步骤3)中，两两超像素块之间的关系可以分为3类，包括2个超像素块属于 同类(must-link)、2个超像素块属于不同类(cannot-link)以及2个超像素块无必然 联系(no-link)，上述公式(1)将强、弱链接联合到一起，并将超像素集合分为3个子 集，分别为M_LINK＝{(x_i,x_j)|Link(x_i,x_j)＝1}，C_LINK＝{(x_i,x_j)|Link(x_i,x_j)＝-1}和

作为本发明提供的一种基于弱链接约束的交互式图像分割方法的进一步优化方案，所 述步骤4)中，利用贝叶斯概率模型，依据最大后验概率给出基于代表点聚类算法的目 标函数；基于高斯混合模型平滑的近似任意形状的概率密度的特性，根据其概率密度函数，定义代表点集合的先验概率如公式(2)：

其中，且L与L'是一个足够大的常数，定义超像素样本与其代表点的概率关系如下式(3)：

其中，所述步骤4)中，基于代表点聚类算法模型是依据贝叶斯概率框架，以及超像素块间链接约束相互独立的假设下，联合链接约束，最大化目标图像的似然概率，并 使得每个超像素块与代表点集合的联合密度最大化，构建的基于弱链接约束的交互式图 像分割算法模型如下：

式中前两项处理是必要链接和否定链接的超像素子集，最后一项的先验概率用于保证代 表点集合的有效性。

作为本发明提供的一种基于弱链接约束的交互式图像分割方法的进一步优化方案，所 述步骤5)中，EEM算法是指在优化过程中，将次优代表点拓展到优化空间中，根据公式 (5)包含的两式分别计算备选次优点：

其中，所述步骤5)中，EEM算法计算不同次优点带来的能量损耗与如公式(6)-(7)，比较两者并选择合适的次优代表点，将次优代表点扩展到优化空间 中；

其中，所述步骤5)依据超像素块是否是代表点分别计算能量损耗R，其中，公式(8)中，当R＞0时，修改超像素的代表点集合，否则其代表点集合不变；

其中，所述步骤5)中依次遍历超像素块，寻找最优代表点集合，并对超像素块的代表点集合做出修改。

具体地，为了更好地实现本发明目的，作为本发明提供的一种基于弱链接约束的交互 式图像分割方法的具体内容如下：

一种基于弱链接约束的交互式图像分割方法，其中，包括以下步骤：

1)对目标图像进行SLIC超像素分割预处理，得到超像素块；

2)基于超像素中心点的欧氏距离和在RGB空间平均值的欧氏距离构建相似性矩阵；

3)用户提供成对弱链接约束信息；

4)在贝叶斯框架的基础上，由于步骤2)中的超像素块的链接约束相互独立，通过最 大化目标图像的似然概率构建基于代表点聚类算法模型；

5)利用EEM算法优化目标函数，完成交互式图像分割。

作为本发明提供的一种基于弱链接约束的交互式图像分割方法的进一步优化方案，所 述步骤1)中，采用瑞士洛桑联邦理工学院IVRL实验室的SLIC模型完成目标图像的超像素 分割预处理过程，每个目标图像产生200个超像素块。

作为本发明提供的一种基于弱链接约束的交互式图像分割方法的进一步优化方案，所 述步骤2)中，超像素块之间的相似度是基于RGB颜色空间和超像素块2D距离，将超像素块映射到5维空间，其中，第1、2维是超像素中心点的坐标，第3-5维是超像素块 在RGB颜色空间的平均值；其中，定义中为超像素样本集合，D＝5， N＝200。

作为本发明提供的一种基于弱链接约束的交互式图像分割方法的进一步优化方案，所 述步骤2)中的2D距离为超像素块中心点的欧氏距离，超像素块在颜色空间的距离是超像 素块在RGB空间平均值的欧氏距离，归一化联合计算这2类距离得到两两超像素块之间的 相似度，构建基于目标图像超像素块的相似度矩阵。

作为本发明提供的一种基于弱链接约束的交互式图像分割方法的进一步优化方案，所 述步骤3)中，所述弱链接约束是指用户看到所述步骤1)的超像素分割结果后，用户根据 应用场景为部分超像素块提供两两关系的成对弱链接约束(cannot-link)和强链接约束 (must-link)约束，其余超像素块之间没有必然联系(no-1ink)，如公式(1)，其中x_i与x_j为超像素块；

所述步骤3)中，弱链接约束是指不限制must-link和cannot-link的数目，也不 要求一定范围内的超像素块同时具有must-link和cannot-link，两两超像素块之间的 关系可以分为3类，包括2个超像素块属于同类强链接约束(must-link)、2个超像素 块属于不同类弱链接约束(cannot-link)以及2个超像素块无必然联系(no-link)，上述 公式(1)将强、弱链接联合到一起，并将超像素集合分为3个子集，分别为 M_LINK＝{(x_i,x_j)|Link(x_i,x_j)＝1}，C_LINK＝{(x_i,x_j)|Link(x_i,x_j)＝-1}和

作为本发明提供的一种基于弱链接约束的交互式图像分割方法的进一步优化方案，所 述步骤4)中，利用贝叶斯概率模型，依据最大后验概率给出基于代表点聚类算法的目 标函数；基于高斯混合模型平滑的近似任意形状的概率密度的特性，根据其概率密度函数，定义代表点集合的先验概率如公式(2)：

其中，且L与L'是一个足够大的常数，定义超像素样本与其代表点的概率关系如下式(3)：

其中，所述步骤4)中，基于代表点聚类算法模型是依据贝叶斯概率框架，以及超像素块间链接约束相互独立的假设下，联合链接约束，最大化目标图像的似然概率，并 使得每个超像素块与代表点集合的联合密度最大化，构建的基于弱链接约束的交互式图 像分割算法模型如下：

式中前两项处理是必要链接和否定链接的超像素子集，最后一项的先验概率用于保证代 表点集合的有效性；

所述步骤5)中，将构建的基于弱链接约束的交互式图像分割算法模型的优化问题看作 是马尔可夫场(MRF)的能量函数最小化问题，所述α-expansion move方法是一种基于图 论的优化算法。

作为本发明提供的一种基于弱链接约束的交互式图像分割方法的进一步优化方案，所 述步骤5)中，EEM算法是指在优化过程中，将次优代表点拓展到优化空间中，根据公式 (5)包含的两式分别计算备选次优点：

其中，所述步骤5)中，EEM算法计算不同次优点带来的能量损耗与如公式(6)-(7)，比较两者并选择合适的次优代表点，将次优代表点扩展到优化空间 中；

其中，所述步骤5)依据超像素块是否是代表点分别计算能量损耗R，其中，公式(8)中，当R＞0时，修改超像素的代表点集合，否则其代表点集合不变；

其中，所述步骤5)中依次遍历超像素块，寻找最优代表点集合，并对超像素块的代表点集合做出修改。

本发明的有益效果为：

(1)使用SLIC超像素分割预处理图像，将相似的像素视为一个超像素块，很大程度上降低了图像处理的复杂度；

(2)用户基于超像素块提供弱链接约束，以更低的获取成本克服了超像素块的碎片化 分割，使得分割结果更符合人类视觉习惯；第三，使用EEM算法优化聚类模型，大大提高 本发明的效率和精度；

(3)应用本发明提供的基于弱链接约束的交互式图像分割算法，将推动人机交互在图 像分割领域的发展和应用，有利于提高用户的参与感和体验感，配合其他计算机视觉技术 实现用户在人机交互中的沉浸式体验；

(4)该方法能够有效提高交互式图像分割方法的效率和准确率；SLIC(simplelinear iterative clustering)算法是一种将彩色图像转化为五维特征向量的超像素分割算法， 该模型计算复杂度低，参数少，生成的超像素紧凑整齐，易于进行聚类处理；本发明在贝 叶斯框架的基础上，在超像素块间链接约束相互独立的假设下，将强、弱链接联合到一起， 通过最大化图像的似然概率构建基于代表点聚类算法模型，再利用EEM算法将次优代表点 拓展到优化空间中，再根据能量损耗的大小，确定代表点集合，完成交互式的图像分割任 务；本发明将弱链接约束与强链接约束联合在一起，发展出一种同时处理这两类链接约束 的聚类模型，大大降低了链接约束的获取成本；由于经过了SLIC超像素分割的预处理，联 合超像素块间两两关系的弱链接约束，增强用户的可操作性和参与感，并提高图像分割的 准确度和效率。

附图说明

图1为本发明的系统流程图。

图2为本发明所处理的链接约束图例；

图3为3幅目标图像交互式分割实例效果示意图。

具体实施方式

为能清楚说明本方案的技术特点，下面通过具体实施方式，对本方案进行阐述。

参见图1至图3，本发明是：一种基于弱链接约束的交互式图像分割方法，一种基于弱 链接约束的交互式图像分割方法，其中，包括以下步骤：

1)对目标图像进行SLIC超像素分割预处理，得到超像素块；

2)基于超像素中心点的欧氏距离和在RGB空间平均值的欧氏距离构建相似性矩阵；

3)用户提供成对弱链接约束信息；

4)在贝叶斯框架的基础上，由于步骤2)中的超像素块的链接约束相互独立，通过最 大化目标图像的似然概率构建基于代表点聚类算法模型；

5)利用EEM算法优化目标函数，完成交互式图像分割。

作为本发明提供的一种基于弱链接约束的交互式图像分割方法的进一步优化方案，所 述步骤1)中，采用瑞士洛桑联邦理工学院IVRL实验室的SLIC模型完成目标图像的超像素 分割预处理过程，每个目标图像产生200个超像素块。

作为本发明提供的一种基于弱链接约束的交互式图像分割方法的进一步优化方案，所 述步骤2)中，超像素块之间的相似度是基于RGB颜色空间和超像素块2D距离，将超像素块映射到5维空间，其中，第1、2维是超像素中心点的坐标，第3-5维是超像素块 在RGB颜色空间的平均值；其中，定义中为超像素样本集合，D＝5， N＝200。

作为本发明提供的一种基于弱链接约束的交互式图像分割方法的进一步优化方案，所 述步骤2)中的2D距离为超像素块中心点的欧氏距离，超像素块在颜色空间的距离是超像 素块在RGB空间平均值的欧氏距离，归一化联合计算这2类距离得到两两超像素块之间的 相似度，构建基于目标图像超像素块的相似度矩阵。

作为本发明提供的一种基于弱链接约束的交互式图像分割方法的进一步优化方案，所 述步骤3)中，所述弱链接约束是指用户看到所述步骤1)的超像素分割结果后，用户根据 应用场景为部分超像素块提供两两关系的成对弱链接约束(cannot-link)和强链接约束 (must-link)约束，其余超像素块之间没有必然联系(no-link)，如公式(1)，其中x_i与x_j为超像素块；

所述步骤3)中，弱链接约束是指不限制must-link和cannot-link的数目，也不 要求一定范围内的超像素块同时具有must-link和cannot-link，两两超像素块之间的 关系可以分为3类，包括2个超像素块属于同类强链接约束(must-link)、2个超像素 块属于不同类弱链接约束(cannot-link)以及2个超像素块无必然联系(no-link)，上述 公式(1)将强、弱链接联合到一起，并将超像素集合分为3个子集，分别为 M_LINK＝{(x_i,x_j)|Link(x_i,x_j)＝1}，C_LINK＝{(x_i,x_j)|Link(x_i,x_j)＝-1}和

作为本发明提供的一种基于弱链接约束的交互式图像分割方法的进一步优化方案，所 述步骤4)中，利用贝叶斯概率模型，依据最大后验概率给出基于代表点聚类算法的目 标函数；基于高斯混合模型平滑的近似任意形状的概率密度的特性，根据其概率密度函数，定义代表点集合的先验概率如公式(2)：

其中，且L与L'是一个足够大的常数，定义超像素样本与其代表点的概率关系如下式(3)：

其中，所述步骤4)中，基于代表点聚类算法模型是依据贝叶斯概率框架，以及超像素块间链接约束相互独立的假设下，联合链接约束，最大化目标图像的似然概率，并 使得每个超像素块与代表点集合的联合密度最大化，构建的基于弱链接约束的交互式图 像分割算法模型如下：

式中前两项处理是必要链接和否定链接的超像素子集，最后一项的先验概率用于保证代 表点集合的有效性；

所述步骤5)中，将构建的基于弱链接约束的交互式图像分割算法模型的优化问题看作 是马尔可夫场(MRF)的能量函数最小化问题，所述α-expansion move方法是一种基于图 论的优化算法。

作为本发明提供的一种基于弱链接约束的交互式图像分割方法的进一步优化方案，所 述步骤5)中，EEM算法是指在优化过程中，将次优代表点拓展到优化空间中，根据公式 (5)包含的两式分别计算备选次优点：

其中，所述步骤5)中，EEM算法计算不同次优点带来的能量损耗与如公式(6)-(7)，比较两者并选择合适的次优代表点，将次优代表点扩展到优化空间 中；

其中，所述步骤5)依据超像素块是否是代表点分别计算能量损耗R，其中，公式(8)中，当R>0时，修改超像素的代表点集合，否则其代表点集合不变；

其中，所述步骤5)中依次遍历超像素块，寻找最优代表点集合，并对超像素块的代表点集合做出修改。

参见图3，本发明具体实例为选择三幅目标图像给出交互式图像分割实例，其中图(a) 为原图像，图(b)为经过预处理的超像素分割图像，图(c)为本发明处理结果。

首先，基于每幅图像运用SLIC算法获取200个超像素点，用户根据自身经验标记若干 个超像素点，给出弱链接约束，完成用户的交互任务；并构建相似性矩阵，根据所述步骤3)，超像素间的相似性包括2D距离与颜色空间距离，将所有超像素块相似度的平均值设为超像素块本身的相似度。

根据步骤1)-3)构建的超像素块相似性矩阵，就可以利用面向弱链接约束的基于代表点 聚类模型完成分割过程。

本发明未经描述的技术特征可以通过或采用现有技术实现，在此不再赘述，当然，上 述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人 员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (7)

1.一种基于弱链接约束的交互式图像分割方法，其特征在于，包括以下步骤：

1)对目标图像进行SLIC超像素分割预处理，得到超像素块；

2)基于超像素中心点的欧氏距离和在RGB空间平均值的欧氏距离构建相似性矩阵；

3)用户提供成对弱链接约束信息；

4)在贝叶斯框架的基础上，由于步骤2)中的超像素块的链接约束相互独立，通过最大化目标图像的似然概率构建基于代表点聚类算法模型；

5)利用EEM算法优化目标函数，完成交互式图像分割。

2.根据权利要求1所述的基于弱链接约束的交互式图像分割方法，其特征在于，所述步骤1)中，采用SLIC超像素分割模型完成目标图像的预处理，每个目标图像产生200个超像素块。

3.根据权利要求1或2所述的基于弱链接约束的交互式图像分割方法，其特征在于，所述步骤2)中，超像素块之间的相似度通过从RGB颜色空间和超像素块2D距离得出，将超像素块映射到5维空间，其中，第1、2维是超像素中心点的坐标，第3-5维是超像素块在RGB颜色空间的平均值；其中，定义中为超像素样本集合，D＝5，N＝200。

4.根据权利要求3所述的基于弱链接约束的交互式图像分割方法，其特征在于，所述步骤2)中的2D距离为超像素块中心点的欧氏距离，超像素块在颜色空间的距离是超像素块在RGB空间平均值的欧氏距离，归一化联合计算这2类距离得到两两超像素块之间的相似度，构建基于目标图像超像素块的相似度矩阵。

5.根据权利要求1所述的基于弱链接约束的交互式图像分割方法，其特征在于，所述步骤3)中，所述弱链接约束是指用户看到所述步骤1)的超像素分割结果后，用户根据应用场景为部分超像素块提供两两关系的成对cannot-link和must-link约束，其余超像素块之间没有必然联系(no-link)，如式(1)其中x_i与x_j为超像素块；

所述步骤3)中，两两超像素块之间的关系可以分为3类，包括2个超像素块属于同类(must-link)、2个超像素块属于不同类(cannot-link)以及2个超像素块无必然联系(no-link)，上述公式(1)将强、弱链接联合到一起，并将超像素集合分为3个子集，分别为M_LINK＝{(x_i,x_j)|Link(x_i,x_j)＝1}，C_LINK＝{(x_i,x_j)|Link(x_i,x_j)＝-1}和

6.根据权利要求1所述的基于弱链接约束的交互式图像分割方法，其特征在于，所述步骤4)中，利用贝叶斯概率模型，依据最大后验概率给出基于代表点聚类算法的目标函数；基于高斯混合模型平滑的近似任意形状的概率密度的特性，根据其概率密度函数，定义代表点集合的先验概率如公式(2)：

其中，

且L与L'是一个足够大的常数，定义超像素样本与其代表点的概率关系如下式(3)：

其中，所述步骤4)中，基于代表点聚类算法模型是依据贝叶斯概率框架，以及超像素块间链接约束相互独立的假设下，联合链接约束，最大化目标图像的似然概率，并使得每个超像素块与代表点集合的联合密度最大化，构建的基于弱链接约束的交互式图像分割算法模型如下：

式中前两项处理是必要链接和否定链接的超像素子集，最后一项的先验概率用于保证代表点集合的有效性。

7.根据权利要求1所述的基于弱链接约束的交互式图像分割方法，其特征在于，所述步骤5)中，EEM算法是指在优化过程中，将次优代表点拓展到优化空间中，根据公式(5)包含的两式分别计算备选次优点：

其中，所述步骤5)中，EEM算法计算不同次优点带来的能量损耗与如公式(6)-(7)，比较两者并选择合适的次优代表点，将次优代表点扩展到优化空间中；

其中，所述步骤5)依据超像素块是否是代表点分别计算能量损耗R，其中，公式(8)中，当R>0时，修改超像素的代表点集合，否则其代表点集合不变；

其中，所述步骤5)中依次遍历超像素块，寻找最优代表点集合，并对超像素块的代表点集合做出修改。