CN102360432B - 一种基于测地线传播的图像场景语义标记方法 - Google Patents

Abstract

本发明提供一种基于测地线传播的图像场景语义标记方法，包括：利用对象判别方法，获得图像场景对应的粗略语义概率图；估计图像场景的颜色特征分布和边界特征分布；结合颜色特征分布和边界特征分布，在其混合流型上定义测地线距离；使用均值漂移算法，确定局部概率最大的点集合作为各语义类别的测地线传播的初始种子点；针对定义的多类别上的测地线距离，利用基于优先队列的快速传播算法，确定场景中每一点的最短测地线距离，从而得到图像场景的准确语义标记。本发明可以广泛地应用于军事、航空、航天、监控、制造等计算机视觉系统的语义信息标记。

Description

一种基于测地线传播的图像场景语义标记方法

技术领域

本发明涉及计算机图形图像和计算机视觉领域，具体地说是一种基于测地线传播的图像场景语义标记方法。

背景技术

图像场景语义标记是图像理解和图像搜索的重要组成部分，因而成为近年来研究者们的关注热点之一。但是由于图像场景的复杂多样，图像场景理解是非常难以解决的重要问题。对于图像场景的理解常常不但要求同时正确解释单个对象和对象间的关系，而且要求能够有效解决图像多样性问题。

已有的图像场景语义标记方法一般在类似于马尔科夫随机场和条件随机场的邻居系统上定义场景标记问题的能量函数，并利用Swendsen Wang Cuts(简称SWC)、置信度传播(BeliefPropagation，简称BP)、Graph Cuts等算法求解能量最小解。

2007年，微软剑桥研究院的Jamie Shotton等人提出一种基于统计学习的新方法，即TextonBoost。该方法将纹理信息、位置信息和内容信息有效地统一到一个对象类别的判别式模型中，利用该模型自动地学习自然图像的理解和语义分割特征，再在测试数据集上判别图像中对象的识别和语义标记结果。然而，该方法得到的语义标记结果并不是非常准确，不能得到准确的语义标记结果。

2008年，美国加利福尼亚大学的屠卓文等人提出Auto-Context算法来解决快速有效学习统计模型用于高层视觉任务，如图像场景语义标记问题。该算法采用迭代机制，不断学习更新局部颜色特征和内容信息，快速获得最终的学习模型并应用于测试图像上完成语义标记。

2008年，美国加利福尼亚大学洛杉矶分校的Jason J.Corso等人提出Graph-shifts图像语义标记方法。该方法在层次结构上提出一种动态的关系转移算法解决粗略语义概率优化问题，然而该方法并没有考虑利用图像局部特征提高图像标记准确度。

这些已有的数学模型和算法具有相似的图结构表示和能量函数构成，同时这些方法的速度不能达到实时图像标记的要求。这些方法能够在公共数据集上达到一定的对象识别率，但是这些方法只是粗略地给出图像的每一像素的语义概率，并没有完成准确的语义标记。由于处理速度慢和粗略图像标记严重限制算法的推广应用，因此研究准确快速的语义标记方法显得尤为重要。

发明内容

根据上述实际需求和关键问题，本发明的目的在于：提供一种基于测地线传播的图像场景语义标记方法，该方法不仅能在图像场景准确的标记语义信息，同时需要具有较快的处理速度，满足一定的实时性要求。

为完成发明目的，本发明采用的技术方案是：一种基于测地线传播的图像场景语义标记方法，该方法包含以下步骤：

步骤(1)利用底层视觉特征，训练并使用分类器获得图像场景对应的粗略语义概率图，从而为下一步的准确语义标记过程提供输入；

步骤(2)估计图像场景的颜色特征分布和图像场景的边界特征分布；

步骤(3)结合图像场景的颜色特征分布和图像场景的边界特征分布，在其混合流型上定义测地线距离；

步骤(4)使用均值漂移算法，确定局部概率最大的点集合作为各语义类别的测地线传播的初始种子点；

步骤(5)针对定义的多类别上的测地线距离，利用基于优先队列的快速传播算法，确定场景中每一点的最短测地线距离，从而得到图像场景的准确语义标记。

进一步的，步骤(2)中估计图像场景的颜色特征分布时，首先根据粗略语义标记获得该类对象在图像中的颜色区域，然后将其转换到HSV空间并统计该类对象所在区域的三维颜色直方图，在统计过程中根据粗略语义概率进行加权，最后利用该类对象的三维颜色分布估计图像上任意一点属于该类对象的概率分布情况。

进一步的，步骤(2)中估计图像场景的边界特征分布时，使用伯克利边界检测算法来获得边界信息。

进一步的，步骤(3)中定义的测地线距离结合了对象粗略语义概率图和图像场景低层特征，包括颜色特征分布信息和边界特征分布信息。

进一步的，步骤(3)中所述的结合图像场景的颜色特征分布和图像场景的边界特征分布，在其混合流型上定义测地线距离具体的是：将测地线距离的定义推广到多个对象的情况，结合粗略语义标记和底层图像场景特征定义了多个对象情况下的测地线距离。

进一步的，步骤(4)中所述的初始种子点为：通过在粗略语义概率图上为每一对象类别选择局部最稳定的节点作为测地线传播的初始种子点；具体而言，利用均值漂移算法跳过粗略概率分布中的局部噪声，确定局部概率最大的点集合作为各类对象测地线传播的初始种子点。

进一步的，步骤(5)中所述的利用基于优先队列的快速传播算法具体为：首先，该算法将图结构上的所有节点标记为未知，其测地线距离为无穷大；然后，将各类的初始种子点加入到可到达队列中排序，并设置其状态为可到达；接着，不断从可到达队列中选择出当前具有最短测地线距离的节点，设置其状态为已标记，并且根据其测地线距离更新其邻居节点，包括状态、标记和测地线距离，重复上面过程直到可到达队列为空。

本发明的原理如下：

本发明将各种检测到的中低层特征和从识别算法中获得的粗略语义标记概率相结合，统一构建基于测地线传播的语义标记框架，以实现准确的图像标记，主要包括：对象的识别过程，即通过使用对象判别方法获得图像场景的粗略语义概率图，该过程需要结合图像场景的纹理信息、位置信息和内容信息等，在训练集上自动地学习对象类别的判别式模型，然后在测试集上判别图像中对象的语义标记；在得到初始的粗略语义概率图之后，本发明采用均值漂移算法跳过粗略概率分布中的局部噪声，确定局部概率最大的点集合作为各类对象测地线传播的初始种子点；然后本发明充分提取图像场景的特征信息，其中包括图像场景的颜色分布信息和边界分布信息；接着本发明结合图像颜色特征和边界特征以及已知的语义标记概率，在其混合流型上定义测地线距离，并通过调节参数调节颜色特征和边界特征的影响比例；最后，根据测地线距离的定义，使用优先队列的方法，快速地从初始种子点向图像的其他像素点传播已知的语义标记。

根据上述技术方案，本发明提出的图像场景语义标记方法首先使用对象判别方法学习并测试得到图像场景中各对象的粗略语义标记结果和粗略概率结果，从而为下一步的准确语义标记过程提供输入。由对象判别方法获得的图像场景粗略语义概率图，其对象类别分布混乱甚至经常出现错误，对象的识别准确率不高，因此本发明研究并提出基于测地线传播的图像场景语义标记方法来达到准确语义标记的目标。不同于以往邻居系统的平滑机制，本发明提出的基于测地线的图像场景语义标记方法首先在粗略语义概率图上为每一对象类别选择局部最稳定的节点作为测地线传播的初始种子点。具体而言，本发明利用均值漂移算法跳过粗略概率分布中的局部噪声，确定局部概率最大的点集合作为各类对象测地线传播的初始种子点。

估计对象的颜色概率分布可以有多种统计方法，由于整个类别对象的颜色分布很宽泛，但是根据部分样本对类别对象的颜色分布进行估计，能够获得更为准确的对象判别特征。而且，由于估计出的颜色模型能够通过聚类算法获得该类对象在特征空间分布的多个聚类中心，从而能够较好地处理对象内部特征的多样性，这样就能够保证具有纹理信息的对象的准确语义标记。本发明提出的图像场景语义标记方法，在HSV颜色空间中，同时考虑对象粗略语义概率和颜色信息，估计图像中某类对象的颜色概率模型分布。首先根据粗略语义标记获得该类对象在图像中的颜色区域，然后将其转换到HSV空间并统计该类对象所在区域的三维颜色直方图，在统计过程中根据粗略语义概率进行加权，最后利用该类对象的三维颜色分布估计图像上任意一点属于该类对象的概率分布情况。

边界是图像中灰度或颜色发生急剧变化的区域。图像灰度的变化情况可以用图像灰度分布的梯度来反映，因此可以用局部图像微分技术来获得边界检测算子。经典的边界检测方法，是对原始图像中像素的某小邻域来构造边界检测算子。以这些理论为依据，目前已提出不少算法，如Roberts边缘检测算子、Sobel边缘检测算子、Prewitt边缘检测算子、Laplace边缘检测算子等。由于原始图像往往含有噪声，而边界和噪声在空间域上表现为灰度有比较大的起落；在频域则反应为同是高频分量，这就给边界检测过程带来困难。因此，边界提取的基本问题是解决增强边缘与抗噪能力间的矛盾，由于图像边缘和噪声在频率域中同是高频分量，简单的微分提取运算同样会增加图像中的噪声，所以一般在微分运算之前应采取适当的平滑滤波，减少噪声的影响。目前，具有代表性的边界检测方法有Canny边界检测、Susan边界检测和Berkeley边界检测。由于边界信息能够有助于在局部模糊处的颜色概率估计，保证图像标记结果的正确性。为了获得更好的图像标记结果，本发明通过Berkeley边界检测算法来获得边界信息。

本发明将测地线距离的定义扩展到多个对象的情况，从而完成多类对象区域划分的目的。首先，结合颜色特征分布和边界特征分布，定义相邻像素间的测地线距离。然后，考虑到图像像素点间的空间连续性，定义任意两个像素点间的路径为将其联通起来的所有像素的有序序列(序列中的相邻像素必须也是图像中的相邻像素)。从而，对于图结构上的任一节点，针对某类对象标记，测地线距离定义为从该点到所有该类对象的种子点中的最小加权距离，而最小加权距离对应的种子点的语义标签被决策为该点的语义标签。上述定义的测地线距离，同时考虑特征空间约束和欧式空间约束，求得到达种子点的最短距离，即测地线距离，符合自然图像的邻近、相似、连续格式塔准则，能够更为合理地度量物体几何空间和特征空间分布。

由基于测地线距离的图像场景标记定义可知，如何寻找最短测地线路径是本发明研究的图像场景语义标记框架的关键问题。如果分别计算每类对象到各种子点的测地线距离，然后再根据所有计算的测地线距离判断最终的语义标记结果，这种思路明显需要较长的计算时间和空间开销。因此，本发明提出基于优先队列的图结构上的测地线快速传播机制，同时考虑到特征空间的相似性和空间的连续性，使得具有最短测地线距离的各类对象类别的种子点标记快速传播到整个图像，多类对象同时传播其标记，从而加速测地线距离传播过程。测地线传播算法的过程如下：首先，本发明设置图结构上的所有节点标记为未知，其测地线距离为无穷大；然后，将各类的初始种子点加入到可到达队列中排序，并设置其状态为可到达；接着，不断从可到达队列中选择出当前具有最短测地线距离的节点，设置其状态为已标记，并且根据其测地线距离更新其邻居节点，包括状态、标记和测地线距离，重复上面过程直到可到达队列为空。

与现有的技术相比，本发明有益的特点是：

1、本发明对图像场景语义标记问题进行分析建模，在对象判别初始结果基础上，将图像场景语义标记问题转化为在四邻域的带权图上为节点标记多类对象的类别问题。

2、本发明利用均值漂移算法选择测地线传播的初始种子点，并为其定义初始测地线距离。

3、本发明根据对象区域内的颜色特征和边界特征，结合对象判别初始结果定义了节点间的边权值。

4、本发明在图结构上定义多类对象的测地线距离，并提出快速测地线传播算法，同时传播多类对象的标记和测地线距离，从而实现图像场景语义标记。该方法不仅仅是一种语义标记算法，还能够应用到所有的基于学习的图像分割问题中。并且该方法的推理过程是确定性的，并不需要做出大的决策，从而减轻寻找最优解过程的复杂性，较之现有算法能够更加快速地完成图像场景的准确标记。

附图说明：

图1是本发明的整体流程图；

图2是本发明的图结构定义示意图；

图3是本发明的颜色特征分布过程函数调用关系图；

图4是本发明的多类对象测地线传播流程图；

图5是本发明的多级循环队列实现排序示意图。

具体实施方式：

下面结合附图对本发明作详细说明。

一种基于测地线传播的图像场景语义标记方法，其总体流程如图1所示。该方法的主要流程为：首先，使用对象判别算法得到场景对象语义的粗略概率图以及粗略语义标记结果图；然后，结合图像场景的颜色信息和粗略语义标记结果图，估计图像场景中各对象的颜色特征分布，同时估计图像场景中的边界特征；并结合颜色特征和边界特征，在其混合流型上定义多对象的测地线距离；接着，使用均值漂移算法在场景对象语义的粗略概率图上寻找局部极值点，将这点局部极值点作为测地线传播的初始种子点；最后从初始种子点开始，依据本发明定义的测地线距离，向图像的其他像素点传播已知的语义标记。

根据上述的总体流程，本发明提出的一种基于测地线传播的图像场景语义标记方法具体如下：首先在图像上构建四连通图结构G＝<V，E>，如图2所示。每个像素为图上的节点v，并且每个节点通过测地线传播都能够获得其标记l，以表示该阶段所属的对象类别，深色的圆点表示通过均值漂移算法得到的各类对象的初始种子点。节点间的边权值通过颜色特征和边界特征的混合流型定义而得，并且每个节点根据测地线寻找其最近的种子能够获得其最终的对象类别标记结果。

本发明提出的一种基于测地线传播的图像场景语义标记方法，具体实现步骤如下：

步骤(1)利用底层视觉特征，训练并使用分类器获得图像场景对应的粗略语义概率图，从而为下一步的准确语义标记过程提供输入；

本步骤主要完成的工作是获得场景对象的粗略语义标记概率，作为语义标记的输入。从场景对象语义识别过程中，本发明需要获得如下信息：原始图像、图像上任一像素点最可能属于的对象类别的未归一化概率图、图像上任一像素点根据未归一化概率图得到的粗略语义标记结果图、图像上任一像素点最可能属于的对象类别的归一化概率图、图像上任一像素点根据归一化概率图获得的语义标记结果图、图像上任一像素点分别可能属于某类对象的概率情况。

在实际设计实现过程中，本发明修改TexonBoost方法的代码输出接口函数，增加获得上述需要的数据信息函数，以文本文件的形式存储这些数据信息。在本步骤中，本发明不但需要设计实现从文本文件中读取这些数据信息，而且需要初步计算出图像中包含的对象个数，完成场景对象判别输入的所有功能。

步骤(2)估计图像场景的颜色特征分布和图像场景的边界特征分布；

本步骤主要包括颜色特征分布估计和边界特征分布估计两部分。其中，颜色特征分布估计部分根据已知的粗略语义概率分布和对象对应的粗略标记区域像素点颜色，加权统计该类对象的颜色三维概率分布，从而估计出图像上任意一点从颜色特征来看可能为该类对象的概率。根据上述功能介绍，颜色特征分布估计部分可分为颜色空间转换模块、三维颜色直方图概率统计模块和像素点概率估计模块三个子功能模块。其中，颜色空间转换模块的操作非常简单，将图像场景从RGB颜色空间转换到HSV颜色空间即可。下面详细介绍三维颜色直方图概率统计模块和像素点概率估计模块的设计与实现过程。

为了获得更加准确的颜色分布情况，本发明在HSV空间加权统计各类对象的颜色分布情况。由于是三维颜色空间，各个维度对颜色的度量程度不同，所以各维度在三维直方图中所占的比例也不同；而且要确定三维颜色直方图的总长度，以保证该尺度的颜色直方图能够完整地表征对象的颜色特征。在定义好三维颜色直方图后，就要利用粗略语义概率加权统计对象的颜色分布情况。下面介绍颜色加权函数的具体定义。以粗略语义概率图p(l|I)为基础，结合颜色特征来估计每类对象的颜色概率分布H(c_x|l_i)。首先，本发明计算以粗略语义概率为加权系数统计三维颜色直方图；然后，利用该颜色空间的概率估计结果，计算条件概率分布H(c_x|l)；最后，根据条件概率分布利用全概率原理推导出每类对象类别的后验概率分布，并归一化为对于任一像素点x属于语义标记l的概率分布P_l(x)。给定每类对象的概率分布，类别l的加权函数定义如下：

$w^{\mathrm{color}}(x,x^{\&prime;})=\frac{\left|\right|P_l\left(x\right)-P_l{x}^{\&prime;}\left|\right|}{P_l\left(x\right)+P_l\left(x^{\&prime;}\right)}$

在具体设计与实现中，本发明分别定义HSV三个维度的颜色分量分别为128、8、8，由于亮度对颜色的度量最为明显，所以亮度分量所占空间最大。在此基础上，定义三维颜色直方图结构体tagHOCDiscriptor，并指明颜色直方图的容量。在设计实现根据粗略语义概率结果加权计算颜色三维概率分布功能时，本发明设计将三维颜色直方图的加权统计和平滑概率分布封装在LHGraientHist.h文件中，其中包含的重要函数及功能说明如表11所示。然后，在CCalcutlateProbability类中，编写Createhistogram函数，其中调用CalculateHoCDescriptor函数来根据粗略对象语义概率图和粗略对象标记区域颜色来统计该对象的颜色分布。最后，在CalculateObjectProbability1函数中根据对象三维颜色直方图估计任意像素点可能为该类对象的概率，各主要函数间的调用关系如图3所示。

边界特征分布估计部分通过Berkeley边界检测算法来获得边界信息，局部边界概率模型定义如下所示，由此定义基于边界模型的加权函数为w^boundary(x，x′)＝gPb(x，x′，θ)。

$\mathrm{gPb}(x,x^{\&prime;},\mathrm{\&theta;})=\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&beta;}}_i\&CenterDot;G_i(x,x^{\&prime;},\mathrm{\&theta;})+\mathrm{\&gamma;}\&CenterDot;\mathrm{sPb}(x,x^{\&prime;},\mathrm{\&theta;})$

步骤(3)结合图像场景的颜色特征分布和图像场景的边界特征分布，在其混合流型上定义测地线距离；

为了能够给每一像素点传播正确的标记，本发明提出的图像场景语义标记方法需要将各种图像低层特征相结合来定义图结构的边权值，从而估计出各类对象。颜色特征、纹理特征和边界特征在某种程度上反映各对象在图像上的分布情况，因此能够指导测地线距离传播以完成准确图像标记过程。在粗略语义标记结果基础上，本发明提出的图像场景语义标记方法将全局颜色特征和局部边界特征相结合，定义图结构上的边权值。任一邻居节点间的边权值函数W定义如下：

W＝w^color+λw^boundary

其中，w^color和w^boundary分别为图像的颜色加权函数和边界加权函数，λ为调节参数。

本发明将测地线距离的定义扩展到多个对象的情况，从而完成多类对象区域划分的目的。考虑到图像像素点间的空间连续性，定义任意两个像素点(x，x′)间的路径C如下所示：

C(x，x′，l_i)＝(x＝v₀，v₁，...，v_n＝x′)

其中，v_i，v_i+1为图结构G的邻居节点。本发明将测地线距离定义扩展到多类对象的情况。对于图结构G上的任一节点x，针对某类对象标记l，测地线距离定义为从点x到所有该类对象的种子点s_l∈Ω_l中的最小加权距离d_l(x，s_l|C)，即

$D_l\left(x\right)={\min }_{s_l\&Element;{\mathrm{\&Omega;}}_l}{\min }_{C(x,s_l)}{d}_l(x,s_l|C)$

其中，d_l(x，s_l|C)为点x到种子点s_l的最短加权距离，C为点x和种子点s_l之间的路径。由于测地线距离是在二维图像上传播，因此测地线距离的离散定义形式为：

$D_l\left(x\right)={\min }_{s_l\&Element;{\mathrm{\&Omega;}}_l}{\min }_{C(x,s_l)}{\&Integral;}_{C}W\left(x\right)\mathrm{dx}$

其中，∫_CW(x)dx为点x沿着路径C到种子点s_l的边权值之和。在获得节点x到所有类别对象的测地线距离后，该节点x最终赋予的标记l^*为：

$L\left(x\right)=l^{*}=\underset{l\&Element;L}{\arg \min }{D}_l\left(x\right)$

上述定义的测地线距离，同时考虑特征空间约束和欧式空间约束，求得到达前景或背景的最短距离，即测地线距离，符合自然图像的邻近、相似、连续格式塔准则，能够更为合理地度量物体几何空间和特征空间分布。

步骤(4)使用均值漂移算法，确定局部概率最大的点集合作为各语义类别的测地线传播的初始种子点；

本步骤通过在粗略语义概率图上为每一对象类别选择局部最稳定的节点作为测地线传播的初始种子点。具体而言，分别在每类对象的粗略语义标记概率图上使用均值漂移算法跳过粗略概率分布中的局部噪声，确定局部概率最大的点集合，并将其记录下来，作为各类对象测地线传播的初始种子点。

步骤(5)针对定义的多类别上的测地线距离，利用基于优先队列的快速传播算法，确定场景中每一点的最短测地线距离，从而得到图像场景的准确语义标记。

多类对象测地线传播模块主要完成在构建的四邻域带权无向图上根据测地线距离同时传播各种类别对象的标记，最终实现图像场景语义标记的目标。多类对象根据测地线距离同时传播标记的关键是将所有类别对象的可到达节点全部放入队列中排序，每次选择其中具有最小测地线距离的节点来更新其邻居节点状态，直到所有节点全部已到达并标记。根据上述原理阐述和实际需求，本发明设计多类对象测地线传播模块分为初始化、迭代选择最小测地线距离点已到达、更新邻居节点等过程，具体的流程图如图4所示。

根据上述算法描述可知，多类对象同时测地线传播过程的难点是如何快速地从可到达队列中找到当前具有最小测地线距离的节点。为了能够根据测地线距离快速地传播对象标记，在具体实现过程中，可到达队列为排序队列，采用多级循环队列两种数据组织方式来实现。

多级循环队列组织排序方式是将测地线距离范围(从x到y)等分成N个区间，可到达节点按照其当前的测地线距离判断其属于的区间，节点在区间内以单链表的形式存储，每次将要加入的新节点放在链表首位，可见在该区间内节点是无序存放的。而且区间范围是循环递增变化的，从而保证在有限存储空间中对大量元素进行排序。每当要求选择一个具有最小测地线距离的节点时，就从当前所指向的最小范围区间中就近选择节点弹出。

如图5所示，多级循环队列分成6个区间，每个区间存在一些测地线距离为该范围的节点。左图中，当前最小测地线距离的节点都在

所指的区间内，最小的节点为3，但是取出的最小节点为1。当该区间内的元素为空后，指向最小测地线距离的指针

就会向下移动，如右图所示。可见，多级循环队列组织排序方式每次取得的节点不一定是当前测地线距离最小的节点，但一定是所有可到达节点中接近最小的节点。如果区间个数和区间范围选择适当，该方法能够保证快速实现排序过程，并且对最终的图像场景语义标记结果影响不大。

以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。

Claims (1)

1.一种基于测地线传播的图像场景语义标记方法，其特征在于该方法包含以下步骤：

步骤（1）利用底层视觉特征，训练并使用分类器获得图像场景对应的粗略语义概率图，从而为下一步的准确语义标记过程提供输入；

步骤（2）估计图像场景的颜色特征分布和图像场景的边界特征分布；其中：

步骤（2）中估计图像场景的颜色特征分布时，首先根据粗略语义标记获得某类对象在图像中的颜色区域，然后将其转换到HSV空间并统计该类对象所在区域的三维颜色直方图，在统计过程中根据粗略语义概率进行加权，最后利用该类对象的三维颜色分布估计图像上任意一点属于该类对象的概率分布情况；

步骤（2）中估计图像场景的边界特征分布时，使用伯克利边界检测算法来获得边界信息；

步骤（3）结合图像场景的颜色特征分布和图像场景的边界特征分布，在其混合流型上定义测地线距离；其中：

步骤（3）中定义的测地线距离结合了对象粗略语义概率图和图像场景低层特征，包括颜色特征分布信息和边界特征分布信息；

步骤（3）中所述的结合图像场景的颜色特征分布和图像场景的边界特征分布，在其混合流型上定义测地线距离具体的是：将测地线距离的定义推广到多个对象的情况，结合粗略语义标记和底层图像场景特征定义了多个对象情况下的测地线距离；

步骤（4）使用均值漂移算法，确定局部概率最大的点集合作为各语义类别的测地线传播的初始种子点；

步骤（4）中所述的初始种子点为：通过在粗略语义概率图上为每一对象类别选择局部最稳定的节点作为测地线传播的初始种子点；具体而言，利用均值漂移算法跳过粗略概率分布中的局部噪声，确定局部概率最大的点集合作为各类对象测地线传播的初始种子点；

步骤（5）针对定义的多类别上的测地线距离，利用基于优先队列的快速传播算法，确定场景中每一点的最短测地线距离，从而得到图像场景的准确语义标记，其中：

步骤（5）中所述的利用基于优先队列的快速传播算法具体为：首先，该算法将图结构上的所有节点标记为未知，其测地线距离为无穷大；然后，将各类的初始种子点加入到可到达队列中排序，并设置其状态为可到达；接着，不断从可到达队列中选择出当前具有最短测地线距离的节点，设置其状态为已标记，并且根据其测地线距离更新其邻居节点，包括状态、标记和测地线距离，重复上面过程直到可到达队列为空。

Images