CN104063876A - 一种交互式图像分割方法 - Google Patents

Abstract

本发明涉及一种交互式图像分割方法，属于计算机应用技术中的数字图像处理技术领域。该方法包括：1)用户通过交互对图像中的目标物体进行圈定；2)利用交互信息选择初始训练数据，并通过学习得到对圈定框内像素点进行分类的分类器；3)利用分类器，构建图像对应的权值图，然后采用最短路径的优化方法计算各像素节点到每个虚拟节点的最短路径，最后以最小带价值为准则，将圈定框内的像素点分为前景或者背景，实现图像分割；4)方法中分类器的学习和最短路径的优化过程是交替迭代进行的，停止条件为分割结果达到稳定或者算法达到预设的最大迭代次数。实验结果表明，通过使用本发明的方法可以获得具有较高分割准确率的分割结果。

Description

一种交互式图像分割方法

技术领域

本发明涉及一种交互式图像分割方法，属于计算机应用技术中的数字图像处理技术领域。

背景技术

随着互联网技术和数字图像处理技术的发展，在互联网上积累了海量的数字图像，并且其数量还在高速增长。如何有效的对这些图像进行处理，并从中提取出有价值的信息已逐渐成为一个重要的问题。在各种数字图像处理技术中，图像分割问题是一个基本且重要的问题。传统的图像分割方法通常是一个全自动的过程。然而由于处理器理解能力的限制，对于普通的自然图像，很难从图像中提取出具有高层语义的物体。为此，自20世纪70年代起，人们提出了“半自动”的交互式图像分割，通过在分割过程中加入用户交互作为算法输入，使图像中具有高层语义的物体能够完整地被提取出来。

已存在的交互式图像分割方法，根据原理的不同，将现存的方法分为三类：1)基于图割理论的交互式图像分割方法；2)基于模板变形和曲线演化的交互式图像分割方法；3)其他方法。基于图割理论的交互式图像分割方法将待分割图像转换为一个图结构，通过将待求解问题转换为最小化能量求解的问题来实现图像分割。常见的方法有图切分的方法、lazy snapping、Grab Cut以及RandomWalks等。基于模板变形和曲线演化的交互式图像分割方法，初始的时候要求用户对目标物体的轮廓进行大致的标注，然后分割算法通过利用用户标定的信息和曲线本身的一些特性，对初始标定曲线进行模板变形，使其逐渐演化到真实的目标物体边缘上，从而实现图像分割。常见的方法有主动轮廓的方法和水平集的方法等。此外，还有一些基于其他原理的方法，比如基于区域融合的方法、基于贝叶斯信念网的方法等等。

在各种交互式图像分割方法中，用户交互的信息量和分割结果总是相辅相成的。如果用户的交互信息量是充分的，各种方法均能获得较准确的分割结果；反之，分割结果通常是不尽如人意的。但是往往较多的交互操作会给使用者带来不便和使用负担，所以，一种有效的交互式图像分割方法应该是在满足交互方式简单、方便的基础之上，能够得到具有较高准确率的分割结果。

发明内容

本发明的目的在于提出一种交互式图像分割方法，用于解决数字图像处理领域中的图像分割问题。

本发明的目的是通过下述技术方案实现的，具体实现步骤如下：

步骤1、用户通过交互圈定图像中的目标物体；

步骤2、利用用户提供的交互信息选择初始训练数据；

步骤3、利用步骤2中得到的训练数据学习得到对圈定框内像素点进行分类的分类器，即通过学习分别得到描述图像背景和目标物体特征的统计模型；

步骤4、利用步骤3中得到的分类器，构建圈定框内像素点对应的权值图，并在结构图中增加虚拟的前景源点和背景汇点；

步骤5、利用步骤4中得到的结构图，使用最短路径的优化方法分别计算得到图像中各像素节点到每个虚拟节点的最短路径；

步骤6、利用步骤5中得到的结果，以最小代价值(最短路径上所有边的权值的累加和)为分类准则，将圈定框内各像素点标记为前景或者背景，获得分割结果；

步骤7、若当前迭代次数未达到预设的最大迭代次数或者本次分割结果未达到稳定，则将本次分割结果作为新的训练数据，重复上述步骤3至步骤6。

所述步骤3中后验概率与类条件概率密度有关，将所述类条件概率密度的形式设置为高斯混合模型或有限混合模型或高斯模型。

所述步骤3中分类器是基于下列特征中的一个或多个图像特征的分类器，包括颜色特征、纹理特征、形状特征和局部特征。

所述步骤5中最短路径的优化方法除了实例中用到的迪杰斯特拉算法，还包括基于迪杰斯特拉算法改进的其他方法以及其他求最短路径的算法。

有益效果

本发明的方法对比已有技术在解决交互式图像分割问题的时候，不仅充分考虑了图像全局的语义信息，而且还考虑了图像的局部结构信息，通过综合利用图像的局部和全局特征来实现高性能的图像分割。

附图说明

图1是根据本发明的一个实施方案中采用的交互方式图示；

图2是根据本发明的一个实施方案的流程图；

图3是根据本发明的一个实施方案中采用的权值图的结构图示；

图4是根据本发明的一个实施方案中的实验结果，在MicrosoftGrab Cut测试数据集上，实施方案中的分割方法与经典的Grab Cut方法的分割结果比较；

图5是根据本发明的一个实施方案中的实验结果，在医学影像图像测试数据集上，依据PRI评价标准，实施方案中的分割方法与PIBS方法的分割准确率比较；

图6是根据本发明的一个实施方案中的实验结果，在医学影像图像测试数据集上，实施方案中的分割方法与PIBS方法的分割结果比较。

具体实施方式

下面结合附图和实施例对本发明做详细说明。

实施例中采用矩形框的交互模式作为用户交互方式，并且将基于贝叶斯分类器和迪杰斯特拉最短路径优化方法来实现本发明。下面按照技术方案中的实施步骤来说明具体实施方式。

步骤1、用户通过交互圈定图像中的目标物体。实施例中以矩形框的交互模式作为用户交互方式，如图1所示。初始时候，用户用矩形框圈定图像中的目标物体。

步骤2、利用用户提供的交互信息选择初始训练数据。实施例中的具体操作过程是：在初始阶段，对于背景模型的训练数据，直接选择矩形框四条边上以及四条边周围的若干像素点作为初始训练数据来学习得到背景统计模型；对于前景模型训练数据的选择，考虑到目标物体占据了矩形框的大部分区域，所以初始时候直接选取矩形框内剩余的像素点作为前景统计模型的训练数据。

步骤3、利用步骤2中得到的训练数据学习得到对矩形框内像素点进行分类的分类器。在实施例中具体采用贝叶斯分类器，下面说明贝叶斯分类器及其学习过程。

本发明采用基于后验概率的统计分类器来计算矩形框内各像素点与背景统计模型(前景统计模型)的相似性。假设x为像素点的特征矢量，则后验概率计算公式如下：

$P\left(C_i\right|x)=\frac{p\left(x\right|C_i)P\left(C_i\right)}{{\mathrm{\Σ}}_{i=1}^{2}p\left(x\right|C_i)P\left(C_i\right)},\mathrm{1,2}---\left(1\right)$

其中，C_i表示类别，i＝1的时候表示前景类，i＝2的时候表示背景类，P(C_i)为不同类别的先验概率，p(x｜C_i)为类条件概率密度。由公式(1)可知，后验概率的值域为[0,1]，因此适于度量图像像素点与各类别的统计模型之间的相关度。

在应用公式(1)之前，需要首先确定图像特征矢量、各分类类别的先验概率以及类条件概率密度函数p(x｜C_i)的形式。可以提取图像的颜色特征、纹理特征、形状特征、局部特征中的一个或一些作为图像特征矢量，来描述图像内容。在一个实施例中，可以提取图像的颜色特征来描述图像内容。具体来说，可以通过分别在图像Lab颜色空间的3个通道上提取3维颜色特征作为图像的特征矢量。p(x｜C_i)的形式可以采用高斯混合模型或者有限混合模型或者高斯模型等。下文以采用高斯混合模型(Gaussian Mixture Model,GMM)为例。GMM能够逼近具有有限间断点的任意连续密度，是模式识别领域中经常采用的统计模型之一。例如，设K为GMM中高斯成分个数,w_k,μ_k andΣ_k分别为GMM中第k个高斯成分的权重、均值矢量和方差矩阵，w_k满足则高斯混合模型为

$p\left(x\right|C_i)=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_{k}N\left(x\right|C_i,{\mathrm{\μ}}_k,{\mathrm{\Σ}}_k),i=\mathrm{1,2}---\left(2\right)$

其中，

$N\left(x\right|C_i,{\mathrm{\μ}}_k,{\mathrm{\Σ}}_k)={\left(2\mathrm{\π}\right)}^{-\frac{d}{2}}{\left|{\mathrm{\Σ}}_k\right|}^{-\frac{1}{2}}\exp (-\frac{1}{2}{(x-{\mathrm{\μ}}_k)}^{-1}(x-{\mathrm{\μ}}_k))---\left(3\right)$

为了减少参数个数，使实际计算可行，可以设Σ_k为对角矩阵。对于上述公式中参数的确定，可以采用结合最小描述长度(MinimumDescription Length,MDL)准则的期望最大化

(Expectation-Maximization,EM)算法得到，即EM-MDL算法。设定N为训练样本总数，L(x₁,...,x_N)是所有训练数据属于GMM模型的似然值，γ为当前GMM模型中的所有参数总数，则EM-MDL学习的目标为最小化下列公式：

$T=-\log L(x_1,...,x_N)+\frac{\mathrm{\γ}}{2}\log N---\left(4\right)$

公式(4)中第一项和第二项分别表示优化的最终目标是使训练集中所有样本点属于当前模型的似然值最大和GMM模型尽可能的简单。

结合公式(4)，EM-MDL算法可以描述如下：初始时候给定K的取值范围，然后算法在给定的K值范围内，分别计算得到在每个K值下的对于训练数据集拟合的最好的GMM模型，然后对于每个K值下的GMM模型，按照公式(4)计算相应的T值，最后选择T值最小的那个K值对应的GMM模型作为描述给定数据集的最终GMM模型。通过采用EM-MDL学习算法分别得到描述矩形框内的前景和背景的最优GMM模型。最后结合公式(1)即可得到对矩形框像素点分类的贝叶斯二分类器。其中，关于各类别的先验概率值则通过周密的实验测试得到。

步骤4、利用步骤3中得到的分类器，构建矩形框内像素点对应的权值图，并在结构图中增加虚拟的前景源点和背景汇点。实施例中采用的无向权值图如图3所示。

在实施实例中，采用8连通的无向权值图结构，图3中给出了这种图结构的一个示意图。将图像中的每个像素点映射为权值图中的一个节点，图像中像素点之间的相邻关系映射为权值图中的边，并且像素点之间特征的差异性体现为权值图中相应边的权值的大小上，图像中特征越相似的像素点在图结构中它们之间的连接权值越小，反之，连接权值越大。此外，在图结构中，还增加了两个虚拟节点，图中的B点和F点，分别表示背景汇点和前景源点。而且这两个虚拟节点与其他像素节点之间是直接连接的关系。这样图结构中的就出现了两种类型的边：1)像素节点之间的连接边；2)每个虚拟节点和各个像素节点之间的连接边。下面分别来说明这两种边的权值的确定方法。

对于第一类边，即像素节点之间的连接边的权值，依据像素点的特征矢量值来直接确定，计算表达式为：

$w_{\mathrm{ij}}=\mathrm{\α}\×\frac{\mathrm{dis}(P_i,P_j)}{\stackrel{\‾}{\mathrm{dis}}},---\left(5\right)$

其中，P_i表示像素i的特征矢量值，dis(P_i,P_j)表示边E_ij的两个节点i和j之间的归一化的欧氏距离，为所有dis(P_i,P_j)的平均值，α是自由参数，用于调节两种边权值度量方式在权值图中所起作用的强弱。

对于第二类边，即像素节点与两个虚拟节点之间的连接权值，依据像素点属于背景GMM模型的后验概率值的大小来直接确定，计算表达式为：

w_kj＝-log(P(C_k|x_j)),k＝0,1 (6)

其中，P(C_k｜x_j)为像素j属于类别k的后验概率值，k的取值为0和1，分别表示前景类和背景类。换句话说，各个像素点属于背景(前景)GMM模型的后验概率值越大，则其与背景汇点(前景源点)之间的连接权值就越小。这与上述权值的定义原则是一致的。

步骤5、利用步骤4中得到的无向权值图，使用最短路径的优化方法分别计算得到图像中各像素节点到每个虚拟节点的最短路径。在实施例中具体采用迪杰斯特拉最短路径的优化方法。

利用上述定义的无向权值图，将图结构中已经定义的虚拟前景源点和背景汇点看作是两个不同的源节点，然后通过采用迪杰斯塔拉算法来分别计算各个像素节点到每个源节点的最短路径，从而实现对图的划分。下面以计算各个节点到前景源点的最短路径为例来说明算法的执行步骤。第一步把结构图中顶点集合分成两组，第一组为已求出最短路径的顶点集合S(初始时S中只有前景源点f)，第二组是未确定最短路径的顶点集合U；第二步从U中选取一个距离f最小的顶点k加入S中，该选定的距离就是f到k的最短路径长度；第三步以k为新考虑的中间点，修改U中各顶点的距离：若从源点f到顶点u(u∈U)的距离(经过顶点k)比原来距离(不经过顶点k)短，则修改顶点u的距离值，否则不修改顶点u的距离值；第四步重复步骤二和三直到所有顶点都包含在S中，算法结束。上述步骤给出了每个节点到前景源点的最短路径的计算方法，按照上述步骤，也可计算各个节点到背景汇点的最短路径，只需要将初始S中的源节点换成背景汇点即可，其他操作是完全一样的。

步骤6、利用步骤5中得到的结果，以最小代价值(最短路径上所有边的权值的累加和)为分类准则，将圈定框内各像素点标记为前景或者背景，获得分割结果。

实施例中具体操作过程为：在上述执行完迪杰斯塔拉算法之后，每个像素节点均可以获得两条最短路径，分别是到前景源点和到背景汇点的最短路径，然后通过比较这两条最短路径的代价值(最短路径上所有边的权值的累加和)，以最小代价值为分类准则，将该像素节点标记为前景或者背景，即如果当前节点到达前景源点的代价值较小，则将该像素节点标记为前景点，反之，则标记为背景点，从而实现图像分割。

步骤7、若当前迭代次数未达到预设的最大迭代次数或者本次分割结果未达到稳定，则将本次分割结果作为新的训练数据，重复上述步骤3至步骤6。实施例中，具体为贝叶斯分类器和最短路径优化的迭代更新。

在得到初始贝叶斯二分类器后，用其建立矩形框内像素点对应的无向权值图，然后在该图结构上执行迪杰斯特拉的最短路径方法得到分割结果；接下来利用得到的分割结果将图像中的像素点分为两类，即前景点集合和背景点集合，然后将这两个新的集合分别作为前景统计模型和背景统计模型的新的训练数据，采用上述的学习方法训练得到新的贝叶斯二分类器。重复上述过程，直到分割结果稳定或者达到预设的最大迭代次数为止。

根据本发明的一个实施方案的流程图见图2所示。该实施方案大致可以分为以下几步：第一步用户交互提供待处理图像，并且采用矩形框方式在图像中圈定目标物体；第二步利用交互信息选择初始训练数据；第三步利用第二步中的训练数据采用EM-MDL算法学习得到初始的贝叶斯二分类器；第四步利用第三步中得到的贝叶斯分类器，对于矩形框内的像素点建立其对应的无向权值图，并增加虚拟的前景源点和背景汇点；第五步在该无向权值图上执行迪杰斯特拉的最短路径优化方法，得到每个像素节点分别到前景源点和背景汇点的最短路径；第六步利用第五步的结果，以最小代价值(最短路径上所有边的权值的累加和)为分类准则，将矩形框内的像素点分为前景或者背景，得到一次分割结果；第七步判断当前分割结果是否达到稳定或者算法是否达到预设的最大迭代次数，如果是，则算法结束，本次分割结果就是最终的分割结果；否则将本次的分割结果作为新的训练数据，重复上述第三步到第六步操作，直到满足算法的停止条件。

实验

1.试验设置

为了验证方法的有效性，对该方法在不同的测试数据集上分别进行了试验，并且分别与经典的Grab Cut方法和较新的PIBS方法进行了对比实验。实验中涉及到的参数主要包括以下几项：1)前景和背景GMM模型中最大高斯成分数设定为5；2)算法的最大迭代次数设定为5；3)前景和背景的先验概率值分别设定为0.8和0.2；4)公式(5)中的自由参数α的值设定为1/19。上述参数的设定均通过相应的测试试验得到。另外，在所有的实验中均只采用了Lab颜色特征作为图像的特征矢量，并且在实验中，只比较每种算法在一次交互模式下的分割结果，即所有实验中，所有分割算法均只能进行一次交互来获得分割结果，而不能对一次分割结果进行修正。试验机器为联想PC机，处理器为Intel Core i7-2600，内存为4.00GB。

2.与Grab Cut方法的对比结果

Grab Cut方法是一种经典的交互式图像分割方法，其采用的交互方式也是矩形框的模式，所以在实验的第一阶段，将该方法与本发明中提出的方法进行了比较。测试采用的数据集是Microsoft Grab Cut数据集，其中包含了96张自然图像，并且该数据集同时提供了每幅测试图像的标准分割结果。实验中采用的评价标准是分割错误率，定义为在整幅图像上，错分类的像素点数与图像中总像素点数的比值。错误率越大，说明分割算法的分割准确率越低；反之，说明分割算法的分割准确率越高。

图4展示了部分分割结果的视觉比较。图中，第一列和第五列为图像编号；第二列和第六列为待分割图像以及用户对目标物体的初始标注情况；第三列和第七列为Grab Cut算法产生的分割结果；第四列和第八列为本发明中分割算法获得的分割结果。表1从具体的分割准确率和分割效率两个角度比较了这两种分割方法的性能。此外，通过对测试数据集中的96张图像进行测试，最终统计得到，Grab Cut方法在该数据集在只进行一次交互的限制条件下，平均分割错误率为7.681％，而本发明中提出的分割算法在相同的条件下平均分割错误率为6.581％，较Grab Cut算法将分割准确率提高了1.100％。

表1两种分割算法的分割错误率比较

3.与PIBS方法的对比结果

Probabilistic Isoperimetric Box Segmentation(PIBS)是一种较新的基于矩形框交互模式的交互式图像分割方法，在实验的第二阶段，将本发明中提出的分割方法与该方法进行了对比实验。实验中采用的测试数据集是PIBS论文中作者提供的医学影像图像测试数据集，该数据集中包含50张医学影像图像和由14名完全不懂医学影像图像的试验者对每幅测试图像中目标物体的标定结果。在对实验结果进行评定的时候，对于每幅测试图像，要同时考虑14个标准结果，然后给出综合的分割结果评定值。所以，本实验中采用的评价标准是Probabilistic Rand Index(PRI)准则，该准则也是原PIBS方法中使用的评价准则。注意在本次实验中，用到的所有测试图像、所有的标准分割结果、评价准则以及对分割结果的评价测试程序均来源于PIBS方法的作者提供的下载网址。

图5展示了两种分割方法在给定测试数据集上的所有测试图像的分割结果的PRI值的比较，该值越大，说明分割方法的分割准确率越高；反正，说明分割准确率越低。图中，蓝色圆点表示PIBS方法对各个测试图像的分割结果的PRI值，橘色方点表示本发明中分割方法对各个测试图像的分割结果的PRI值。统计结果表明，本发明中的分割算法在50张测试图像上，平均PRI值为0.886184，而PIBS方法的平均PRI值为0.870046。虽然两种方法的平均PRI值相差不大，但是通过图5可以发现，本发明中的分割算法较PIBS方法稳定，不会出现偏差较大的分割结果。此外，对于所有测试图像，本发明中的分割方法的平均分割时间仅为1.441秒。

图6展示了两种分割方法在部分测试图像上的分割结果的视觉比较。图中的绿色标记线表示由各种分割算法得到的分割结果中目标物体的轮廓。另外，图中第一行和第三行为PIBS方法得到的分割结果，第二行和第四行为本发明中提出的方法得到的分割结果。通过分析实验结果，可以发现本发明中提出的分割方法可以对细节进行较好的处理，得到较准确的分割结果。

应当理解，上述方法步骤所实现的功能可以采用多种方式来执行。例如，任何用于执行每一个上述功能的适当装置/模块都可以用于执行本发明的实施例。在一个实施例中，本发明的所有部件或一部分部件通常是在计算机程序产品的控制下工作的。用于执行本发明实施例的方法的计算机程序产品包括计算机可读存储介质，例如非易失存储介质，以及包含在计算机可读存储介质中的计算机可读程序代码部分，例如一系列计算机指令。在又一个实施例中，上述功能可能分布在不同的处理器或服务器中，中间结果可以由一个处理器或服务器发送给另一个处理器或服务器。

尽管已经示出并描述了本发明的特殊实施例，然而在不背离本发明的示例性实施例及其更宽广方面的前提下，本领域技术人员显然可以基于此处的教导做出变化和修改。因此，所附的权利要求意在将所有这类不背离本发明的示例性实施例的真实精神和范围的变化和更改包含在其范围之内。

Claims (4)

1.一种交互式图像分割方法，其特征在于，具体实现步骤如下：

步骤1、用户通过交互圈定图像中的目标物体；

步骤2、利用用户提供的交互信息选择初始训练数据；

步骤3、利用步骤2中得到的训练数据学习得到对圈定框内像素点进行分类的分类器，即通过学习分别得到描述图像背景和目标物体特征的统计模型；

步骤4、利用步骤3中得到的分类器，构建圈定框内像素点对应的权值图，并在结构图中增加虚拟的前景源点和背景汇点；

步骤5、利用步骤4中得到的结构图，采用最短路径的优化方法通过计算分别得到图像中各像素节点到每个虚拟节点的最短路径；

步骤6、利用步骤5中得到的结果，以最小代价值，即最短路径上所有边的权值的累加和为分类准则，将圈定框内各像素点标记为前景或者背景，获得分割结果；

步骤7、若当前迭代次数未达到预设的最大迭代次数或者本次分割结果未达到稳定，则将本次分割结果作为新的训练数据，重复上述步骤3至步骤6，直到满足算法的停止条件。

2.根据权利要求1所述的一种交互式图像分割方法，其特征在于：其中步骤3所述后验概率与类条件概率密度有关，将所述类条件概率密度的形式设置为高斯混合模型或有限混合模型或高斯模型。

3.根据权利要求1所述的一种交互式图像分割方法，其特征在于：其中步骤3中分类器是基于下列特征中的一个或多个图像特征的分类器，包括颜色特征、纹理特征、形状特征和局部特征。

4.根据权利要求1所述的一种交互式图像分割方法，其特征在于：其中步骤5中最短路径的优化方法除了实例中用到的迪杰斯特拉算法，还包括基于迪杰斯特拉算法改进的其他方法以及其他求最短路径的算法。