CN112419344B - 一种基于Chan-Vese模型的无监督图像分割方法 - Google Patents

Abstract

本发明提出一种基于Chan‑Vese模型的无监督图像分割方法，属于计算机应用技术领域及精准医疗领域。本发明首先对原始图像进行裁剪，并对裁剪图像进行超像素分割，然后，根据超像素分割结果建立无向图，将Chan‑Vese模型的能量项用边的权重表示，通过使用马尔科夫链，可以在边的赋值过程中同时考虑超像素之间的距离和灰度的关系。最后通过重复使用最大流分割以及更新边的权重可以得到相应的分割结果。本发明可在缺少标注数据的医学领域里对图像进行自动的精准的分割，从而为后续的医学研究提供分割物体的准确信息。本发明能够在更短的时间以及更少的人工干预下准确地分割出所需目标。

Description

一种基于Chan-Vese模型的无监督图像分割方法

技术领域

本发明属于计算机应用技术领域及图像分割领域，特别涉及一种基于Chan-Vese模型的无监督图像分割方法。

背景技术

图像分割是计算视觉领域里面的一个十分重要的子任务，被广泛的应用于自动驾驶、人脸识别以及图像识别等领域。如今随着精准医疗的提出与快速发展，如何快速准确的获取到例如肿瘤等医学目标的分割结果显得至关重要。精确的医学分割结果在精准医疗中扮演着至关重要的角色，它通常应用于手术前的规划、手术中的指导以及手术后的评估。一般而言，一个精准的分割应该将图像划分成多个区域，其中每个区域具有均匀的颜色(或纹理)，并且相互之间的边界应该简单而准确。但是到目前为止，图像分割在医学领域里仍然是一个极具挑战性的难题，原因至少有以下3点：

(1)医学图像中需要分割的对象远远没有自然图像中的对象清晰。因为大多数的医学成像技术都是计算机成像，它们都是间接的图像表示。比如CT使用了一系列的X射线，后续通过复杂的数学计算得到最终的图像表示。因此相比较自然图像包含了3个通道的图像信息，大多数的医学图像都是单通道的，这使得医学图像本身提供的信息就很少，不利于后续的精准分割。另外，在医学图像中，目标组织和背景之间的对比度往往也较小，特别是当边界附近的噪声较大时，即使让一个有经验的医生手动进行分割也是很有挑战的。

(2)在最近的10年里面，随着深度学习的流行以及其在诸多任务上表现出的卓越性能，使得许多研究人员都投身到医学图像的深度分割算法的研究之中。比如一个非常有用的卷积网络U-Net，该网络由一个编码器以及对应的解码器构成，在许多生物医学图像上都表现出了非常优良的性能。但是现在深度分割网络的成功是建立在拥有大量的带标签的训练数据上的，而这些训练数据一般都需要非常有经验的相关人士(如医生)来进行标注，这使得不管时间成本，还是金钱成本都是非常巨大的，因此现在在许多医学子领域里面，都难以拥有足够的训练数据，这也使得深度分割网络还不能大面积的应用于医学领域。

(3)医学领域还具有一些非常特殊的性质。一方面许多数据都涉及到伦理等问题，这使得数据本身都不便于进行标注，更难以使用需要大量标注数据的深度网络去进行处理；另外即使使用深度分割网络可以得到比较好的分割，但是由于深度网络一般是端到端的，其结果是相对固定的，这使得用户无法手动改善或调整分割结果；另外由于现在的深度网络几乎都是不可解释的，这也限制了其在一些特殊领域中的使用。

由于在医学领域难以获取到足够的监督样本以及医学图像成像的复杂性，现在的许多有监督的分割方法在医学图像都难以取得较大的进展，这显然无法满足如今精准医疗的需求。更为重要的是，即便我们拥有大量的标签数据，深度学习方法也不可避免地会对某些图像产生不正确的分割，这在实际应用中是无法接受的，因为我们无法对结果进行校正。

另一方面，无监督学习不需要任何带注释的数据，它通过自动的分析大量数据，来了解其内部的数据规律。在无监督的情况下，图像分割将用于预测更为通用的标签，例如“前景”和“背景”，特别是在没有任何先验信息的情况下。目前有许多众所周知的无监督分割技术，包括归一化切割，基于马尔可夫随机场的方法，均值平移，主动轮廓方法等等，这些算法旨在自动分割每个图像中的对象实例，而无需任何监督信息。但是由于医学图像中对象的分布非常不均匀，因此使用许多无监督方法耗时较长，并且需要进行大量后处理才能够获得比较好的效果，而这其中一般需要较多的人工干预，成本较大。

主动轮廓模型是一种被广泛使用的无监督分割方法，它通过迭代求解能量最小值获得最终的分割结果。Chan-Vese模型是一种基于区域的主动轮廓模型，它属于Mumford-Shah模型的一个特例，由于其不依赖于对象边界的梯度信息，因此被广泛地应用于医学图像领域，尤其被用于脑、心肺、血管的分割。求解Chan-Vese模型的能量最小值过程可以通过使用水平集函数，让问题的求解更加简便，但也使得在问题求解中需要时刻保持水平集函数为符号距离函数的性质。为了使模型在实际应用中获得更好的效果，DRLSE模型中提出了一种距离正则化方法，使得无需在迭代过程中重新初始化水平集函数。LBF模型引入了一个局部二值能量项，通过提取图像局部的信息来获得更加精确的分割。但是，这些方法都不能很好的权衡像素之间距离与灰度的关系，不适合于强度不均匀的目标的分割，加上它们使用梯度下降流迭代求解，耗时较长，无法满足大量数据的分割。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种基于Chan-Vese模型的无监督图像分割方法。本发明可在缺少标注数据的情况下对图像进行自动的精准的分割，得到更为准确的图像分割结果。本发明的方法相比其他的无监督方法能够在更短的时间，以及更少的人工干预下准确地分割出所需目标。

本发明提出一种基于Chan-Vese模型的无监督图像分割方法，其特征在于，包括以下步骤：

(1)获取待分割的原始图像，并对该原始图像进行裁剪，得到包含分割目标的裁剪图像；

(2)采用线性迭代聚类SLIC分割算法对步骤(1)得到的裁剪图像进行超像素分割，得到该裁剪图像对应的超像素分割结果；

其中，设置分割后得到的超像素集合的个数为K，分割完毕后，共得到K个超像素集合

(3)根据步骤(2)得到的超像素分割结果建立无向图；

其中，将无向图记为G＝(V,E)；V代表无向图中所有节点的集合，该无向图一共包含K+2个节点，其中K个超像素节点分别对应K个超像素集合，另外2个节点分别为虚拟前景节点s和虚拟背景节点t；将K个超像素节点组成的集合记为V_s；

E表示无向图中所有边的集合；若任一超像素节点对应的超像素集合在步骤(2)的超像素分割结果中与其他节点对应的超像素集合相邻，则在无向图中该两个节点间存在连接的边，将所有相邻两个超像素集合对应的超像素节点之间的边组成的集合记为E₁；计算所有相邻两个超像素集合的公共边长的长度，所述公共边的长度为该两个相邻超像素集合的相邻像素点的个数的平均值；

每个属于V_s的节点分别和虚拟前景节点s和虚拟背景节点t相连，将所有与虚拟前景节点s和虚拟背景节点t连接的边组成的集合记为E₂，虚拟前景节点和虚拟背景节点互相之间不相连；

(4)根据无向图中节点之间的关系计算每条边的权重，具体步骤如下：

(4-1)对于属于E₁的每条边，该边的权重的值为：e_ij＝G(|g_i-g_j|)+l_ij，其中i，j表示该边连接的两个超像素节点，G(x)表示高斯函数，l_ij表示超像素节点i和j分别对应的超像素集合的公共边的长度，g_i表示对应的超像素节点i的灰度值，该灰度值等于节点i对应的超像素集合内所有像素的平均灰度值；

(4-2)对所有超像素节点进行初始化；

将所有超像素节点按照对应灰度值进行降序排序，取排序后前30％的超像素节点并将其初始化为属于前景，即令该节点的标签a_i＝0，其它超像素节点全都初始化为属于背景，即令该节点的标签a_i＝1，最后得到所有超像素节点初始化的结果A₀＝(a₁，a₂，...，a_K)，并将A₀作为所有超像素节点的当前标签集合；

(4-3)在E₂中，对于与虚拟前景节点s相连的每条边，该边的当前权重定义为：e_si＝(g_i-g_t)²+c_i1，其中下标i表示超像素节点i；g_t表示虚拟背景节点的当前灰度值，等于当前所有属于背景的超像素节点的平均灰度值，c_i1为超像素节点i与当前属于背景的超像素节点之间的加权差异；

对于与虚拟背景节点t相连的每条边，该边的当前权重定义为：

e_it＝(g_i-g_s)²+c_i0，

g_s表示虚拟前景节点的当前灰度值，等于当前所有属于前景的超像素节点的平均灰度值；c_i0为超像素节点i与当前属于前景的超像素节点之间的加权差异；

(4-4)通过使用马尔科夫链，对于属于V_s的超像素节点，首先计算得到相邻超像素节点之间的转移矩阵P_K×K，该矩阵中每个元素的值为：p_ij＝w_ij/d_i，其中w_ij＝G(|g_i-g_j|)，d_i表示超像素节点i的度，其值等于超像素节点i与所有相连的超像素节点j之间的w_ij之和；根据马尔科夫链的性质，马尔科夫链收敛到分布π_i＝d_i/∑_jd_j，其中π_i表示超像素节点i的稳定分布概率；构造矩阵W_K×K和I_K×K，W_K×K的每个行向量等于π，I_K×K是单位矩阵；计算得到矩阵：Z＝(I-P+W)^-1；

当节点i和节点j为不同超像素节点时，从节点i到节点j的期望时间为：E_i(T_j)＝(Z_jj-Z_ij)/π_j，当节点i和节点j为相同超像素节点时，节点i的期望时间为：E_i(T_i)＝1/π_i；则该两个节点之间的期望往返时间表示为T_ij＝E_i(T_j)+E_j(T_i)，最后将元素T_ij组成期望时间矩阵按行进行归一化得到归一化后的期望时间矩阵T；最后根据得到的矩阵T计算得到c_i0，c_i1，具体计算公式为：

(5)利用步骤(4)的结果，得到所有超像素节点更新后的标签集合；具体方法如下：

设定最小化目标函数如下：

其中μ为权重因子；

通过最大流分割将步骤(3)中的无向图分割得到两部分：将和虚拟前景节点s相连的超像素节点划分为属于前景，即更新该超像素节点的a_i＝0；将和虚拟背景节点t相连的节点则划分为属于背景，即更新该超像素节点的a_i＝1；更新完毕后，得到所有超像素节点的更新后的标签集合记为A₁；

(6)对A₁与A₀进行判定：

若A₁与A₀相比没有变化，则转到步骤(7)；否则，将A₁作为新的当前标签集合，更新A₀＝A₁，然后重新返回步骤(4-3)，直至A₁与A₀相比没有变化则进入步骤(7)；

(7)根据A₁对应的每个超像素节点的标签，将对应该超像素节点的超像素集合内的所有像素都标记为该超像素节点的标签，其中标签为属于前景的全部像素组成最终的分割结果。

本发明的特点及有益效果：

本发明基于Chan-Vese模型进行改进，与其他无监督的分割方法相比，本发明方法主要具有如下不同点：(1)本发明对需要分割的图像进行了预处理。首先将需要分割的大致区域裁剪出来，减少了大量无关背景对后续分割的影响，使得最终的分割结果更加准确；(2)本发明将像素级的分割转化成超像素级别的分割。通过引入超像素，不仅可以利用超像素之间较为精准的边缘，还可以大幅的减少后续处理的基本单元的数量，使得处理时间大大的降低；(3)本发明通过将Chan-Vese模型的能量项转化成无向图的边的权重，后续通过最大流算法可以直接对Chan-Vese的能量函数进行求解，最终只需要几次迭代便可以获取到最终的分割结果，而现有其他方法利用梯度下降流的方法迭代求解的次数都非常多。

本发明采用超像素作为分割单元，基于超像素之间的距离和灰度值的相似性，通过马尔科夫链对无向图的边进行赋值，最后通过最大流算法对Chan-Vese模型的能量函数进行求解，得到分割结果，具有简单、直观、高效的特点。

本发明特别适合对强度不均匀的图片进行分割，特别是待分割目标的边缘不清晰的情况。因此本发明可以应用于如医学图像的器官，骨头以及诸如肿瘤的病灶分割，并且该方法对图片的成像方式没有特别的要求，可以应用于CT,MRI等医学图像。

附图说明

图1是本发明方法的总体流程图。

图2是本发明实施例对需要分割的大致区域进行裁剪的示意图。

图3是本发明实施例的超像素分割结果示意图。

图4是本发明实施例的无向图示意图。

图5是本发明实施例中通过最大流分割无向图的示意图。

图6是本发明实施例中最终得到的分割结果的示意图。

具体实施方式

本发明提出一种基于Chan-Vese模型的无监督图像分割方法，下面结合附图及具体实施例对本发明进一步详细说明如下。

本发明提出一种基于Chan-Vese模型的无监督图像分割方法，整体流程如图1所示，包括以下步骤：

(1)获取待分割的原始图像，并对该原始图像进行裁剪，得到包含分割目标的裁剪图像。

本发明对于原始图像无特殊要求；对于大部分需要分割的原始图像，由于分割目标只存在于原始图像中的某个局部区域，因此可以首先通过裁剪将需要分割的大致区域提取出来，裁剪后得到的图像需要保留完整的分割目标，以便减少后续无关背景的干扰，从而提高最终的分割精度。

例如在本实施例中，原始图像如图2(a)所示，该图为一张人体腰椎部位的CT切片，其中需要分割的目标如图2(b)所示(即CT切片里面的椎体)，我们首先通过裁剪，将需要分割的目标所在的区域提取出来进行后续的处理。一般而言，裁剪出来的区域为包含分割目标的最小矩形向4个方向分别扩展10个像素左右得到的矩形区域，本实施例最终裁剪得到的图像如图2(c)所示。

本实施例通过裁剪把需要分割的大致区域提取出来后，需要处理的图像大小从512×512降为了103×78，无关背景的区域降低了97％，使得后续处理能更加集中于目标区域，分割结果更加精确。

(2)对步骤(1)得到的裁剪图像进行超像素分割，得到该裁剪图像对应的超像素分割结果。

本发明采用已有的简单的线性迭代聚类(SLIC)分割算法对步骤(1)的裁剪图像中的所有像素进行超像素的分割，得到一系列的超像素集合，其中每个集合内的像素在空间上是相邻的，并且在颜色纹理等特征上是相似的，而不同的超像素集合之间相互是没有重叠的。超像素能够提供比较精准的分割边缘，并且相比以像素作为基本处理单元的图像，它显著的减少了处理单元的数量，可以大大的减少后续的处理时间。

对于SLIC算法，需要输入参数K，它表示我们期望通过该算法得到的超像素集合的个数。在本发明中，我们希望最终每个超像素集合内包含大概50个像素，因此，K的取值我们设定在

附近，其中

表示向上取整，N为步骤(1)裁剪得到的图像的像素总数。在本实施例中，通过步骤(1)得到的图像的大小为103×78，因此K的取值可以为:(108×78)÷50≈160。通过SLIC算法，本实施例可以得到如图3所示的超像素的分割结果，图3中每个网格代表一个超像素集合，由于通过SLIC算法最终得到的超像素集合个数不是严格的等于输入参数K(因为算法初始化的超像素中心为均匀采样，加上算法后续可能涉及到超像素的合并，因此最终的超像素个数不一定等于K)，因此为了统一，后续步骤中的K表示最终得到的超像素集合个数。

本发明将像素级的分割转化成超像素级别的分割，因为超像素相互之间的边界已经较为准确，并且在空间上连续一致，因此相比直接使用像素进行分割得到的边缘会更加准确，另外，使用超像素还可以显著的减少后续处理单元的数量，大幅减少处理时间。

(3)根据步骤(2)得到的超像素分割结果建立无向图。

本发明用G＝(V,E)表示该无向图，其中V代表无向图中所有节点的集合，一共包含K+2个节点，其中K个超像素节点分别对应于K个超像素集合，另外两个节点为虚拟节点s和t，分别代表虚拟前景节点和虚拟背景节点)，将K个超像素节点组成的集合记为V_S；E表示无向图中所有边的集合，其中，若任一超像素节点对应的超像素集合在步骤(2)的超像素分割结果中与其他节点对应的超像素集合存在相邻关系，则在无向图中建立连接该两个节点的边，例如：对于节点i，j∈V_s，若它们对应的超像素集合在裁剪图像中是相邻的，则在节点i,j之间建立一条边；将所有相邻两个超像素集合对应的超像素节点之间的边组成的集合记为e₁。同时为了后续计算的需要，需要计算所有相邻两个超像素集合的公共边长的长度l_ij(公共边的长度的定义为在裁剪图像上该两个相邻超像素集合的相邻像素点的个数的平均值，若节点i对应的超像素集合有m个像素与节点j对应的超像素集合相邻，同时对于节点j对应的超像素集合，它有n个像素与节点i对应的超像素集合相邻，那么l_ij＝(m+n)/2)。

每个属于V_s的节点都会分别和虚拟前景节点s和虚拟背景节点t相连，将所有与虚拟前景节点s和虚拟背景节点t连接的边组成的集合记为E₂，虚拟前景节点和虚拟背景节点互相之间不相连。

本发明中，每个超像素节点开始时都会和虚拟前景节点相连，也会和虚拟背景结点相连，在初始化的时候，对每个边进行赋值，后面根据步骤(5)，E2的某些边会断掉，也就是根据这个断掉的结果，才得到对应的分割结果。

本实施例建立的无向图的示意图如图4所示。

(4)根据无向图中节点之间的关系对每条边进行赋值，具体步骤如下：

(4-1)对于属于E₁的每条边，该边的权重的定义为：e_ij＝G(|g_i-g_j|)+l_ij，其中i，j表示该边连接的两个超像素节点，G(x)表示高斯函数，l_ij表示节点i和j相邻的长度(相同符号请统一含义表述)，g_i表示对应的超像素节点i的灰度值(该值等于节点i对应的超像素集合内所有像素的平均灰度值)。

E₁的每条边不会随着后续分割结果的改变而改变，因此每条边的权重只需要计算一次，这反映了相邻超像素节点之间的相似性，权重值越大，则表示两个节点越相似；

(4-2)对于所有超像素节点，首先需要进行初始化来反映该节点属于前景(分割目标)还是背景。以超像素节点i的标签a_i＝0表示超像素节点i属于前景，反之a_i＝1表示该节点属于背景。在本实施例中，我们将所有超像素节点按照其灰度值进行降序排序，取排序后前30％的节点初始化为属于前景，即令该节点的a_i＝0，其它超像素节点全都初始化为属于背景，即令该节点的a_i＝1，最后以A₀＝(a₁，a₂，...，a_K)表示所有超像素节点初始化的结果并将A₀作为所有超像素节点的当前标签集合；

(4-3)对于属于E₂的每条边，该边的权重反映了每个超像素节点与虚拟前景节点或虚拟背景节点之间的相似性，该值越大，表示该超像素节点与虚拟前景节点或虚拟背景节点越相似。对于与虚拟前景节点s相连的每条边，该边的当前权重定义为：e_si＝(g_i-g_t)²+c_i1，其中下标i表示超像素节点i；g_t表示虚拟背景节点的当前灰度值，它等于当前所有属于背景的超像素节点(即当前所有a_i＝1的超像素节点)的平均灰度值，而c_i1则反映了超像素节点i与当前属于背景的超像素节点之间的加权差异(其中这里的权重即为后续步骤(4-4)中节点之间的期望往返时间对应的高斯函数值)。

同理对于与虚拟背景节点t相连的每条边，该边的当前权重定义为：

e_it＝(g_i-g_s)²+c_i0，

g_s表示虚拟虚拟前景节点的当前灰度值，它等于当前所有属于前景的超像素节点(即当前所有a_i＝0的超像素节点)的平均灰度值；而c_i0则反映了超像素节点i与当前属于前景的超像素节点之间的加权差异；

(4-4)为了计算得到c_i0，c_i1，通过使用马尔科夫链，对于属于V_s的超像素节点，首先计算得到相邻超像素节点之间的转移矩阵P_K×K，该矩阵中每个元素的值为：p_ij＝w_ij/d_i，其中w_ij＝G(|g_i-g_j|)，d_i表示超像素节点i的度，其值等于超像素节点i与所有相连的超像素节点j的w_ij之和。根据马尔科夫链的性质，马尔科夫链收敛到分布π_i＝d_i/∑_jd_j其中π_i表示超像素节点i的稳定分布概率；于是我们可以构造矩阵W_K×K和I_K×K，WW_K×K的每个行向量等于π，I_K×K是单位矩阵。由此可以通过计算得到矩阵：Z＝(I-P+W)^-1，根据Z可以得到超像素节点之间的期望往返时间，该值考虑了节点之间的距离与灰度值的信息，其值越小，表示两个节点越相似。当节点i和节点j为不同超像素节点时，从节点i到节点j的期望时间为：E_i(T_j)＝(Z_jj-Z_ij)/π_j，当节点i和节点j为相同超像素节点时，节点i的期望时间为：E_i(T_i)＝1/π_i；于是两个节点之间的期望往返时间可以表示为T_ij＝E_i(T_j)+E_j(T_i)，最后将元素T_ij组成期望时间矩阵按行进行归一化得到归一化后的期望时间矩阵T。最后我们可以根据得到的矩阵T计算得到c_i0，c_i1，具体计算公式为：

其中a_i＝0表示超像素节点i属于前景，反之属于背景。c_i0，c_i1分别反映了节点i与当前属于前景的超像素节点和属于背景的超像素节点之间的加权差异。

本实施例中T的示例如下：

(5)利用步骤(4)的结果，得到所有超像素节点更新后的标签集合。

设定最小化目标函数如下：

其中μ为权重因子(在本实施例中，设定μ为0.01，一般u的取值范围0.1到0.001)，用于调整前面两项和最后一项在目标函数中的权重关系。我们可以使用已有的最大流分割对无向图进行切割来对上述目标进行最小值的求解，通过最大流分割将步骤(3)中的无向图分割得到两部分，其中一部分超像素节点与虚拟前景节点s相连，另一部分超像素与虚拟背景节点t相连，两部分之间互不连接，如图5所示。根据最大流分割的分割结果，最后我们将和虚拟前景节点s相连的超像素节点划分为属于前景，即更新该超像素节点的a_i＝0，反之和虚拟背景节点t相连的节点则划分为属于背景，即更新该超像素节点的a_i＝1。所有超像素节点更新完毕后，用A₁表示更新后的所有a_i组成的标签集合。

本实施例通过最大流分割将无向图分割成两部分的结果如图5所示，其中图5(a)为与虚拟前景节点s相连的部分，图5(b)为与虚拟背景节点t相连的部分。

(6)判断比较更新后的分割结果与当前的分割结果，即判断A₁与A₀，如果没有变化，那么就转到步骤(7)，反之，将A₁作为新的当前标签集合，更新A₀＝A₁，然后重新返回步骤(4-3)，直至更新后的分割结果与上次的分割结果相比没有变化，进入步骤(7)。

(7)根据A₁对应的每个超像素节点的标签，将对应该超像素节点的超像素集合内的所有像素都标记为该超像素节点的标签a_i，以此得到最终像素级的分割结果，其中标记为属于前景的全部像素即构成最终的分割结果。后续可以选择是否在该结果的基础上进行略微的调整以获取到更精确的分割。本实施例最终得到的分割结果如图6所示，图中黑色轮廓包围的白色椎体记为最终的分割结果。

Claims (1)

1.一种基于Chan-Vese模型的无监督图像分割方法，其特征在于，包括以下步骤：

(1)获取待分割的原始图像，并对该原始图像进行裁剪，得到包含分割目标的裁剪图像；

(2)采用线性迭代聚类SLIC分割算法对步骤(1)得到的裁剪图像进行超像素分割，得到该裁剪图像对应的超像素分割结果；

其中，设置分割后得到的超像素集合的个数为K，分割完毕后，共得到K个超像素集合；

(3)根据步骤(2)得到的超像素分割结果建立无向图；

其中，将无向图记为G＝(V，E)；V代表无向图中所有节点的集合，该无向图一共包含K+2个节点，其中K个超像素节点分别对应K个超像素集合，另外2个节点分别为虚拟前景节点s和虚拟背景节点t；将K个超像素节点组成的集合记为V_s；

E表示无向图中所有边的集合；若任一超像素节点对应的超像素集合在步骤(2)的超像素分割结果中与其他节点对应的超像素集合相邻，则在无向图中该两个节点间存在连接的边，将所有相邻两个超像素集合对应的超像素节点之间的边组成的集合记为E₁；计算所有相邻两个超像素集合的公共边长的长度，所述公共边的长度为该两个相邻超像素集合的相邻像素点的个数的平均值；

每个属于V_s的节点分别和虚拟前景节点s和虚拟背景节点t相连，将所有与虚拟前景节点s和虚拟背景节点t连接的边组成的集合记为E₂，虚拟前景节点和虚拟背景节点互相之间不相连；

(4)根据无向图中节点之间的关系计算每条边的权重，具体步骤如下：

(4-1)对于属于E₁的每条边，该边的权重的值为：e_ij＝G(|g_i-g_j|)+l_ij，其中i，j表示该边连接的两个超像素节点，G(x)表示高斯函数，l_ij表示超像素节点i和j分别对应的超像素集合的公共边的长度，g_i表示对应的超像素节点i的灰度值，该灰度值等于节点i对应的超像素集合内所有像素的平均灰度值；

(4-2)对所有超像素节点进行初始化；

将所有超像素节点按照对应灰度值进行降序排序，取排序后前30％的超像素节点并将其初始化为属于前景，即令该节点的标签a_i＝0，其它超像素节点全都初始化为属于背景，即令该节点的标签a_i＝1，最后得到所有超像素节点初始化的结果A₀＝(a₁，a₂，...，a_K)，并将A₀作为所有超像素节点的当前标签集合；

(4-3)在E₂中，对于与虚拟前景节点s相连的每条边，该边的当前权重定义为：e_si＝(g_i-g_t)²+c_i1，其中下标i表示超像素节点i；g_t表示虚拟背景节点的当前灰度值，等于当前所有属于背景的超像素节点的平均灰度值，c_i1为超像素节点i与当前属于背景的超像素节点之间的加权差异；

对于与虚拟背景节点t相连的每条边，该边的当前权重定义为：

e_it＝(g_i-g_s)²+c_i0，

g_s表示虚拟前景节点的当前灰度值，等于当前所有属于前景的超像素节点的平均灰度值；c_i0为超像素节点i与当前属于前景的超像素节点之间的加权差异；

(4-4)通过使用马尔科夫链，对于属于V_s的超像素节点，首先计算得到相邻超像素节点之间的转移矩阵P_K×K，该矩阵中每个元素的值为：p_ij＝w_ij/d_i，其中w_ij＝G(|g_i-g_j|)，d_i表示超像素节点i的度，其值等于超像素节点i与所有相连的超像素节点j之间的w_ij之和；根据马尔科夫链的性质，马尔科夫链收敛到分布π_i＝d_i/∑_jd_j，其中π_i表示超像素节点i的稳定分布概率；构造矩阵W_K×K和I_K×K，W_K×K的每个行向量等于π，I_K×K是单位矩阵；计算得到矩阵：Z＝(I-P+W)^-1；

当节点i和节点j为不同超像素节点时，从节点i到节点j的期望时间为：E_i(T_j)＝(Z_jj-Z_ij)/π_j，当节点i和节点j为相同超像素节点时，节点i的期望时间为：E_i(T_i)＝1/π_i；则该两个节点之间的期望往返时间表示为T_ij＝E_i(T_j)+E_j(T_i)，最后将元素T_ij组成期望时间矩阵按行进行归一化得到归一化后的期望时间矩阵T；最后根据得到的矩阵T计算得到c_i0，c_i1，具体计算公式为：

(5)利用步骤(4)的结果，得到所有超像素节点更新后的标签集合；具体方法如下：

设定最小化目标函数如下：

其中μ为权重因子；

通过最大流分割将步骤(3)中的无向图分割得到两部分：将和虚拟前景节点s相连的超像素节点划分为属于前景，即更新该超像素节点的a_i＝0；将和虚拟背景节点t相连的节点则划分为属于背景，即更新该超像素节点的a_i＝1；更新完毕后，得到所有超像素节点的更新后的标签集合记为A₁；

(6)对A₁与A₀进行判定：

若A₁与A₀相比没有变化，则转到步骤(7)；否则，将A₁作为新的当前标签集合，更新A₀＝A₁，然后重新返回步骤(4-3)，直至A₁与A₀相比没有变化则进入步骤(7)；

(7)根据A₁对应的每个超像素节点的标签，将对应该超像素节点的超像素集合内的所有像素都标记为该超像素节点的标签，其中标签为属于前景的全部像素组成最终的分割结果。

Images