CN109272467B - 一种基于多尺度边缘线索的层次化图像分割方法 - Google Patents

Abstract

本发明公开了一种基于多尺度边缘线索的层次化图像分割方法，包括以下步骤：对输入图像进行超像素化，获得图像的过分割区域；对输入图像进行多尺度的内容风格分离，从而提取图像的内容部件，并使用边缘检测方法检测图像内容部件的边缘信息，获取多尺度的边缘概率图；根据多尺度边缘线索度量过分割区域之间的相似度，并进行迭代式区域合并，生成层次合并树；根据层次合并树和先验信息建立能量函数，并采用动态规划方法求解能量函数从而优化层次合并树结构，实现图像的层次化分割。

Description

一种基于多尺度边缘线索的层次化图像分割方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于多尺度边缘线索的层次化图像分割方法。

背景技术

图像分割作为计算机视觉领域中十分重要的研究工作，在许多图像处理算法和应用中都有着广泛的应用，例如，目标检测、图像检索和风格迁移等。一般的图像分割问题定义为：“将图像划分为区域内像素具有相似特征的不同区域”。层次化分割则可以看作是由粗到细多层图像分割结果的组合，从而用一种单一的多尺度结构分割图像中所有尺度下的目标，实现对图像多尺度的处理和表示，相比于传统的单层图像分割能够表现出更多的图像信息。层次化分割的结果可以用树形结构进行表示和存储，对层次合并树进行阈值划分可以得到由粗到细不同粒度的图像分割结果。因此图像层次化分割极大提高了图像处理的效率，同时作为目标检测、风格迁移等的预处理模块，对其研究发展有着重大的影响。

目前已有许多研究者针对图像的层次化分割任务展开了研究，例如文献1：Arbelaez P.Boundary extraction in natural images using ultrametric contourmaps[C].Computer Vision and Pattern Recognition Workshop,2006.CVPRW'06.Conference on.IEEE,2006:182-182。他们利用区域轮廓线索度量区域相似性，并采用区域合并进行层次化分割。文献2：Arbelaez P,Maire M,Fowlkes C,et al.Contourdetection and hierarchical image segmentation[J].IEEE transactions on patternanalysis and machine intelligence,2011,33(5):898-916。他们提取并融合亮度、颜色和纹理梯度等局部特征作为融合线索并结合分水岭算法实现层次化分割。这类方法通常采用先过分割再迭代地区域合并来进行图像的层次化，区域间相似性的度量对于分割结果有十分重要的影响，仅采用基本的局部特征作为视觉线索进行度量难以保证整体的图像分割效果，即单层的分割结果难以在语义上保持一致性，同一类别的目标对象，可能在不同层次上被分割出来。

另一方面，文献3：Pont-Tuset.Multiscale Combinatorial Grouping for ImageSegmentation and Object Proposal Generation.IEEE Transactions on PatternAnalysis&Machine Intelligence 39.1(2016):128-140。在已有层次化分割算法的基础上，对输入图像进行进行多尺度的层次化分割，并对多尺度的层次化分割结果进行对齐合并，获得更优的图像层次化分割并将其用于目标检测。对图像进行多尺度处理可以获取更多的图像信息，提高算法效果，但此方法仅对输入图像进行尺度缩放，无法保证分割过程中多尺度的图像信息对分割结果有效地进行控制。文献4：Pont-Tuset J,Arbelaez P,BarronJ T,et al.Multiscale combinatorial grouping for image segmentation and objectproposal generation[J].IEEE transactions on pattern analysis and machineintelligence,2017,39(1):128-140。采用高斯模糊和层次化聚类对图像进行层次化纹理分割，以提取不同尺度下的纹理区域。但这种方法只能根据图像的纹理信息对图像进行层次化分割，难以对图像中的目标对象进行较好的分割。综上所述，现有的层次化分割方法主要存在两个问题：第一，无法保证每层分割结果在语义上保持一致性；第二，无法在分割过程中对多尺度图像信息进行合理地利用和控制。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种图像层次化分割方法，用于减轻或消除层次化图像分割的上述缺点。

为了解决上述技术问题，本发明公开了一种基于多尺度边缘线索的图像层次化分割方法，包括以下步骤：

步骤1：多尺度边缘线索：对输入图像在变尺度的情况下进行纹理滤波，并提取多尺度边缘线索，用于度量区域相似度；

步骤2：生成层次合并树：对输入图像进行超像素化，将超像素区域转化为图结构，根据多尺度边缘线索度量边权重，并进行迭代式区域合并，生成层次合并树；

步骤3：优化层次合并树：建立能量函数，实现对层次合并树结构的优化。

步骤1包括以下步骤：

步骤1-1，多尺度内容风格分离：对输入图像进行尺度缩放，分别将其长宽像素缩小至原图N1、N2、N3、N4(取值分别为0.2、0.4、0.6和0.8)比例的大小，并采用内容分割分离方法对其进行纹理滤波，滤除不同尺度的纹理信息，保留并提取不同尺度下的内容部件；

步骤1-2，提取边缘概率图：根据步骤1-1中提取的内容部件，采用差值放大方法将其缩放至原图像大小，并提取基于边缘概率图(Edge Possible Map)的多尺度边缘线索，边缘概率图记为EPM＝{EPM_t}，其中EPM_t表示不同尺度t下的边缘概率图，t为边缘概率图对应的步骤1-1中五种尺度大小，即N1、N2、N3、N4和原图尺度，epm_i∈EPM_t表示边缘概率图中第i个像素属于边缘的概率，取值为0≤epm_i≤1。

步骤2包括以下步骤：

步骤2-1，超像素化：采用SLIC(简单线性迭代聚类，Simple Linear IterativeCluster)算法对输入图像I进行超像素化，并将获得超像素结果记为S＝{s_i}，其中s_i表示第i个被分割区域，区域标签i∈{1,2,...,L}，L为对输入图像超像素化后的超像素区域数量，所有超像素区域的集合S即组成整个输入图像I；

步骤2-2，图结构表示：根据步骤2-1中的超像素区域，构建区域邻接图G＝(V,E,W)，将图像分割任务转化为图结构的处理，其中，V表示节点集合，E表示边集合，W表示边权重集合，图中的第i个节点v_i∈V表示超像素区域的集合中对应的第i个被分割区域s_i∈S，图中的每条边e_ij∈E表示第i个节点v_i与第j个节点v_j相连，对应于在输入图像中相邻的两个区域，即第i个区域s_i和第j个区域s_j，w_ij∈W表示图结构中边e_ij的权重，对应于两个相邻区域s_i和s_j之间的相似度；

步骤2-3，区域相似度度量：根据步骤1-2提取的多尺度边缘线索，计算步骤2-2中图结构的边权重，即相邻区域间的相似度；

步骤2-4，合并迭代式区域：每次选取图结构中边权重最小的一对相邻节点进行合并，并更新区域邻接图，重复该操作，直到所有节点合并为一个节点，并记录整个迭代合并过程为层次合并树T＝(Vt,Et)，其中，Vt表示节点集合，Et表示连接父节点与子节点的边，每个节点

表示输入图像I中的一个分割区域，d为该节点编号，i表示该节点是由第i次区域合并生成，与该节点在层次合并树中的深度相关，所有初始节点即初始超像素区域的i值为0。

步骤2-3中，相似度度量公式如下：

f(s_i,s_j)＝1-avg({EPM_t(x)|x∈B(s_i,s_j)})

B(s_i,s_j)＝(s_i∩N(s_j))∪(s_j∩N(s_i))

其中f(s_i,s_j)表示区域s_i与区域s_j之间的相似度，EPM_t(x)表示尺度t下的边缘概率图，N(s_i)表示输入图像中与超像素区域s_i相邻的像素点，函数B(s_i,s_j)表示第i个区域s_i和第j个区域s_j之间的相邻像素，采用8邻接定义像素相邻关系；相邻区域的相似度度量则由两区域间相邻像素对应的边缘概率的均值决定。

步骤3包括以下步骤：

步骤3-1，构建能量函数：对层次合并树优化问题看做是对每个节点i值的优化，将该优化任务转化为能量函数求解任务，根据预定义的先验信息确定三个风格层次的语义标准和约束条件，分别为颜色先验、目标先验和纹理先验，对应于由粗到细不同层的分割结果，根据三种语义先验，分别提取相关的局部特征，构建对应于三层分割结果的三个能量函数，颜色特征采用基于Lab颜色空间的直方图特征，对象特征采用基于目标检测算法的目标包围框，纹理特征采用Tamura纹理特征；

步骤3-2，优化层次合并树：对于生成的初始层次合并树，其结构优化过程是对每个节点

的深度d进行调整的过程，即在初始层次合并树中寻找一个节点集合，集合中所有节点的并集组成输入图像，且节点之间两两不存在交集，这样一个集合叫做对层次合并树的一次划分，划分上方的节点为未分割状态，划分中的节点为分割状态，划分下方的节点为过分割状态，分别记为

其中处于过分割状态和未分割状态的节点对划分选择具有约束作用：未分割节点的父节点也是未分割节点；过分割节点的子节点也是过分割节点；

为生成由粗到细三层划分结果，根据步骤3-1中定义的三个语义约束，分别构建三个能量函数，并使用动态规划方法进行求解，并根据得到的三层划分结果对层次合并树中所有的节点深度进行调整优化，使得由粗到细的层次化分割结果语义一致性更加明确。

步骤3-2中所述能量函数公式如下：

其中

表示使得能量函数E(X)能量最小化的节点分布，E(X)为优化目标的能量函数，由能量项和损失项两部分组成，参数λ为损失项的权重系数，

表示节点

位于划分L中，

表示节点

的像素面积，d_i为该节点的深度；分别用于度量单个节点能量增益的函数

和能量损失的函数

如下所示：

其中

计算节点

的能量大小，不同划分采用的特征与该划分对应的语义先验相关，

用于表示当前节点所处的状态，并根据当前层提取的先验特征对其标记为

则由比当前层较低的先验特征进行约束得到。

有益效果：本发明具有以下优点：首先，本发明采用多尺度的边缘线索指导分割过程，充分利用了多尺度图像信息，有效提高了层次化分割的效果。其次，本发明通过优化层次合并树，保持了不同层次的分割结果在语义上一致性，使得分割结果的结构更加清晰。最后，合理地改变先验信息，本发明可以得到更符合用户意图的层次化分割结果。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1是本发明的处理流程示意图。

图2a～2f是对实施例的输入图像尺度缩放后，在不同尺度下进行纹理滤波的示意图，图2a为输入图像，图2b为在0.2尺度下的纹理滤波结果图。图2c为在0.4尺度下的纹理滤波结果图。图2d为在0.6尺度下的纹理滤波结果图。图2e为在0.8尺度下的纹理滤波结果图。图2f为在1.0尺度下的纹理滤波结果图。

图3a～3f是对图2a～2f进行内容部件进行边缘概率图检测的示意图，图3a为实施例的输入图像，图3b为对图2b进行边缘检测生成的相应尺度下的边缘概率图。图3c为对图2c进行边缘检测生成的相应尺度下的边缘概率图。图3d为对图2d进行边缘检测生成的相应尺度下的边缘概率图。图3e为对图2e进行边缘检测生成的相应尺度下的边缘概率图。图3f为对图2f进行边缘检测生成的相应尺度下的边缘概率图。

图4a～4d是实施例的输入图像生成层次合并树示意图，图4a是输入图像，图4b是对图4a进行超像素化生成超像素区域的示意图，图4c是对图4b进行图表示的区域邻接图示意图，图4d是对图4c的进行递进式区域合并生成的层次合并树示意图。

图5是对图4d的层次合并树进行结构优化的示意图。

图6a～6d是对图5进行阈值划分得到的层次化分割的示意图，图6a是输入图像，图6b是粗粒度分割结果的示意图，图6c是中粒度分割结果的示意图，图6d是细粒度分割结果的示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1所示，本发明公开的是一种基于多尺度边缘线索的图像层次化分割方法，具体包括以下步骤：

步骤一：多尺度边缘线索：对输入图像在变尺度的情况下进行纹理滤波，并提取多尺度边缘线索，用于度量区域相似度；

步骤二：层次合并树生成：对输入图像进行超像素化，将超像素区域转化为图结构，根据多尺度边缘线索度量边权重，并进行迭代式区域合并，生成层次合并树；

步骤三：层次合并树优化：根据层次合并树和先验信息建立能量函数，使用动态规划算法进行求解，实现对层次合并树结构的优化。

下面具体介绍各个步骤的主要流程：

1.多尺度边缘线索

多尺度边缘线索对输入图像在变尺度的情况下进行纹理滤波，并提取多尺度边缘线索作为图像信息，用于后面的区域相似度度量和指导层次化分割过程，包括多尺度内容风格分离和边缘概率图提取两个步骤。

步骤1-1，多尺度内容风格分离。对输入图像进行尺度缩放，分别将其长宽像素缩小至原图0.2、0.4、0.6和0.8比例的大小，并采用内容分割分离方法对其进行纹理滤波，滤除不同尺度的纹理信息，保留并提取不同尺度下的内容部件。内容风格分离使用文献5：LeeH,Jeon J,Kim J,et al.Structure-Texture Decomposition of Images with IntervalGradient[C].Computer Graphics Forum.2017,36(6):262-274.中所述的纹理滤波方法，保留所有尺度下的纹理滤波结果作为内容部件，对于每张输入图像共有5个变尺度内容部件。

步骤1-2，边缘概率图提取。根据步骤1-1中提取的多尺度图像内容部件，采用差值放大方法将其缩放至原图像大小，并提取基于边缘概率图的多尺度边缘线索EPM＝{EPM_t}，其中t表示边缘概率图对应的上述五种尺度大小(含原尺度)，边缘概率图中每个像素epm_i∈EPM_t表示该像素属于边缘的概率，取值为0≤epm_i≤1。边缘线索使用文献6：Dollár P,Zitnick C L.Fast edge detection using structured forests[J].IEEE transactionson pattern analysis and machine intelligence,2015,37(8):1558-1570.中所述的边缘概率图提取方法，用于表示图像中所有像素在原图中属于边缘的概率。

2.层次合并树生成

对输入图像进行超像素化，将超像素区域转化为区域邻接图，同时将分割问题转化为一个图割问题，根据多尺度边缘线索度量边权重，对图结构进行迭代式区域合并，生成层次合并树，层次合并树可以看作是一个初步的层次化分割结果。包括以下步骤：

步骤2-1，超像素化。采用SLIC算法对输入图像I进行超像素化，并将获得超像素结果记为S＝(s_i)，其中s_i表示编号为i被分割区域，所有超像素区域的集合S即组成整个输入图像I。对输入图像的超像素表示使用文献7：Achanta R,Shaji A,Smith K,et al.SLICsuperpixels compared to state-of-the-art superpixel methods[J].PatternAnalysis and Machine Intelligence,IEEE Transactions on,2012,34(11):2274-2282.中所述的SLIC超像素化方法，相关的超像素化参数：超像素区域大小和正则化参数分别设为20和0.1。

步骤2-2，图结构表示。根据步骤2-1中的超像素区域，构建区域邻接图G＝(V,E,W)，将图像分割任务转化为图结构的处理，其中图中的每个节点v_i∈V表示超像素结果中对应的分割区域s_i∈S，图中的每条边e_ij∈E表示节点v_i与节点v_j相连，对应于在输入图像中相邻的两个区域s_i和s_j，w_ij∈W表示图结构中边e_ij的权重，对应于两个相邻区域s_i和s_j之间的相似度。

步骤2-3，区域相似度度量。根据步骤1-2提取的多尺度边缘线索，计算步骤2-2中图结构的边权重，即相邻区域间的相似度，相似度度量公式如下：

f(s_i,s_j)＝1-avg({EPM_t(x)|x∈B(s_i,s_j)})

B(s_i,s_j)＝(s_i∩N(s_j))∪(s_j∩N(s_i))

其中EPM_t(x)表示尺度t下的边缘概率图，N(s_i)表示输入图像中与超像素区域s_i相邻的像素点，函数B(s_i,s_j)表示相邻区域s_i和s_j之间的相邻像素，采用8邻接定义像素相邻关系。相邻区域的相似度度量则由两区域间相邻像素对应的边缘概率的均值决定。

步骤2-4，迭代式区域合并。根据步骤2-2中获取的区域邻接图和步骤2-3中计算的区域相似度，迭代进行一下合并操作：每次选取图结构中边权重最小的一对相邻节点进行合并，并更新区域邻接图。重复上述操作，直到所有节点合并为一个节点，并记录整个迭代合并过程为层次合并树T＝(Vt,Et)，其中每个节点

表示输入图像I中的一个分割区域，d为该节点编号，i表示该节点是由第i次区域合并生成，与该节点在层次合并树中的深度相关，所有初始节点(初始超像素区域)的i值为0。

3.层次合并树优化

根据定义的先验信息，对层次合并树中的三层建立对应的能量函数，并使用动态规划算法进行求解，根据求解结果对层次合并树的结构进行优化。包括以下步骤：

步骤3-1，能量函数构建。层次结构树中的每个节点

的i值会直接决定该节点对应区域在层次化分割结果中所处的位置，因此，对层次合并树优化问题可以看做是对每个节点i值的优化，每个节点对应于期望的分割结果存在三种状态：过分割、正确分割和未分割，分别用x(v_i)∈{-1,0,1}表示。本发明将该优化任务转化为能量函数求解任务，根据预定义的先验信息确定三个风格层次的语义标准和约束条件，分别为颜色先验、目标先验和纹理先验，对应于由粗到细不同层的分割结果。根据三种语义先验，分别提取相关的局部特征，构建对应于三层分割结果的能量函数，颜色特征采用基于Lab颜色空间的直方图特征，对象特征采用文献8：Ren S,He K,Girshick R,et al.Faster r-cnn:Towards real-time object detection with region proposal networks[C].Advances in neuralinformation processing systems.2015:91-99.目标包围框检测算法，纹理特征采用文献9：Tamura H,Mori S,Yamawaki T.Textural features corresponding to visualperception[J].IEEE Transactions on Systems,man,and cybernetics,1978,8(6):460-473.中的Tamura纹理特征。整个层次合并树优化任务的公式如下：

其中

由每个节点

的大小决定，λ决定能量项和损失项的权重，能量函数

公式如下：

用于表示当前节点所处的状态，并根据当前层提取的先验特征对其标记为

则由比当前层较低的先验特征进行约束得到。

步骤3-2，层次合并树优化。对于步骤3-1构建的三个能量函数，使用动态规划方法分别进行求解，并根据得到的解优化层次合并树中的所有节点深度，生成语义一致性更加明确的层次合并树。对层次合并树选取合适的阈值进行阈值分割，从而得到输出由粗到细的层次化分割结果。能量函数求解采用文献10：Cormen T H.Introduction to algorithms[M].MIT press,2009.中的动态规划算法。

实施例

本实施例中个，如图2a所示为输入的待分割图像，图2b～2f为对输入图像进尺度缩放以及内容风格分离后的多尺度图像内容部件，本实施例展示了5种尺度下的结果，按顺序分别为缩放至原图像0.2、0.4、0.6、0.8和1.0。图3b～3f为对图像内容部件进行边缘检测的边缘概率图，与图2b～2f的示意图一一对应。图4a～4d为从输入图像到层次合并树的生成过程，其中图4b为图4a的超像素化结果，图4c为将图4b转化为区域邻接图后的图结构表示，图4d为对图4c进迭代式区域合并后生成的层次合并树。图5表示通过能量函数构建和动态规划求解对层次合并树进行优化的过程。图6a～6d为输入图像及其由粗到细三个层次的分割结果。

具体实施过程如下：

步骤一中，对图2a所示的输入图像进行尺度缩放，得到0.2、0.4、0.6、0.8和1.0五种尺度的图像，之后根据内容风格分离算法对其进行纹理滤波，得到的图像即为内容部件并将其缩放回原图像分辨率大小，结果如图2b～2f所示；对图2b～2f中的每幅图像，采用边缘检测算法检测五种图像内容部件中每个像素点属于边缘的概率，并用边缘概率图进行表示，结果如图3b～3f所示。

步骤二中，根据输入图像和多尺度边缘线索生成层次合并树。首先对图4a所示的输入图像进行超像素化，生成较为细小的过分割区域，超像素化结果如图4b所示；对于图4b所示的超像素区域，可以根据其位置关系和区域间的相邻关系，构造对应的区域邻接图，生成如图4c所示的图结构，像素邻接关系采用8邻域。每次从区域邻接图中选取相似度最高的两个节点进行合并，并更新图结构表示及新生成节点的编号，迭代重复上述操作直到所有节点合并为一个父节点停止，记录整个迭代合并过程并采用树结构进行表示，层次合并树结果如图4d所示，区域相似性度量由图3b～3f的多尺度边缘线索进行融合并计算得到。

步骤三中，对图4d的层次合并树构建对应于不同层级的能量函数，采用动态规划求解并优化层次合并树结构，如图5所示，根据动态规划求解的结果对层次合并树中每个节点的深度进行调整，从而优化树形结构。对优化后的层次合并树选取合适的阈值进行划分，生成输出的层次化分割结果如图6b～6d所示。

本发明提供了一种基于多尺度边缘线索的层次化图像分割方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (1)

1.一种基于多尺度边缘线索的层次化图像分割方法，其特征在于，包括以下步骤：

步骤1：多尺度边缘线索：对输入图像在变尺度的情况下进行纹理滤波，并提取多尺度边缘线索，用于度量区域相似度；

步骤2：生成层次合并树：对输入图像进行超像素化，将超像素区域转化为图结构，根据多尺度边缘线索度量边权重，并进行迭代式区域合并，生成层次合并树；

步骤3：优化层次合并树：建立能量函数，实现对层次合并树结构的优化；

步骤1包括以下步骤：

步骤1-1，多尺度内容风格分离：对输入图像进行尺度缩放，分别将其长宽像素缩小至原图N1、N2、N3、N4比例的大小，并采用内容分割分离方法对其进行纹理滤波，滤除不同尺度的纹理信息，保留并提取不同尺度下的内容部件；

步骤1-2，提取边缘概率图：根据步骤1-1中提取的内容部件，采用差值放大方法将其缩放至原图像大小，并提取基于边缘概率图的多尺度边缘线索，边缘概率图记为EPM＝{EPM_t}，其中EPM_t表示不同尺度t下的边缘概率图，t为边缘概率图对应的步骤1-1中五种尺度大小，即N1、N2、N3、N4和原图尺度，epm_i∈EPM_t表示边缘概率图中第i个像素属于边缘的概率，取值为0≤epm_i≤1；

步骤2包括以下步骤：

步骤2-1，超像素化：采用SLIC简单线性迭代聚类算法对输入图像I进行超像素化，并将获得超像素结果记为S＝{s_i}，其中s_i表示第i个被分割区域，所有超像素区域的集合S即组成整个输入图像I；

步骤2-2，图结构表示：根据步骤2-1中的超像素区域，构建区域邻接图G＝(V,E,W)，将图像分割任务转化为图结构的处理，其中，V表示节点集合，E表示边集合，W表示边权重集合，图中的第i个节点v_i∈V表示超像素区域的集合中对应的第i个被分割区域s_i∈S，图中的每条边e_ij∈E表示第i个节点v_i与第j个节点v_j相连，对应于在输入图像中相邻的两个区域，即第i个区域s_i和第j个区域s_j，w_ij∈W表示图结构中边e_ij的权重，对应于两个相邻区域s_i和s_j之间的相似度；

步骤2-3，区域相似度度量：根据步骤1-2提取的多尺度边缘线索，计算步骤2-2中图结构的边权重，即相邻区域间的相似度；

步骤2-4，合并迭代式区域：每次选取图结构中边权重最小的一对相邻节点进行合并，并更新区域邻接图，重复该操作，直到所有节点合并为一个节点，并记录整个迭代合并过程为层次合并树T＝(Vt,Et)，其中，Vt表示节点集合，Et表示连接父节点与子节点的边，每个节点

表示输入图像I中的一个分割区域，d为该节点编号，i表示该节点是由第i次区域合并生成，与该节点在层次合并树中的深度相关，所有初始节点即初始超像素区域的i值为0；

步骤2-3中，相似度度量公式如下：

f(s_i,s_j)＝1-avg({EPM_t(x)|x∈B(s_i,s_j)})

B(s_i,s_j)＝(s_i∩N(s_j))∪(s_j∩N(s_i))

其中f(s_i,s_j)表示区域s_i与区域s_j之间的相似度，EPM_t(x)表示尺度t下的边缘概率图，N(s_i)表示输入图像中与超像素区域s_i相邻的像素点，函数B(s_i,s_j)表示第i个区域s_i和第j个区域s_j之间的相邻像素，采用8邻接定义像素相邻关系；相邻区域的相似度度量则由两区域间相邻像素对应的边缘概率的均值决定；

步骤3包括以下步骤：

步骤3-1，构建能量函数：对层次合并树优化问题看做是对每个节点i值的优化，将该优化任务转化为能量函数求解任务，根据预定义的先验信息确定三个风格层次的语义标准和约束条件，分别为颜色先验、目标先验和纹理先验，对应于由粗到细不同层的分割结果，根据三种语义先验，分别提取相关的局部特征，构建对应于三层分割结果的三个能量函数，颜色特征采用基于Lab颜色空间的直方图特征，对象特征采用基于目标检测算法的目标包围框，纹理特征采用Tamura纹理特征；

步骤3-2，优化层次合并树：对于生成的初始层次合并树，其结构优化过程是对每个节点

的深度d进行调整的过程，即在初始层次合并树中寻找一个节点集合，集合中所有节点的并集组成输入图像，且节点之间两两不存在交集，该集合是对层次合并树的一次划分，划分上方的节点为未分割状态，划分中的节点为分割状态，划分下方的节点为过分割状态，分别记为

根据步骤3-1中定义的三个语义约束，分别构建三个能量函数，并使用动态规划方法进行求解，并根据得到的三层划分结果对层次合并树中所有的节点深度进行调整优化；

步骤3-2中所述能量函数公式如下：

其中

表示使得能量函数E(X)能量最小化的节点分布，E(X)为优化目标的能量函数，由能量项和损失项两部分组成，参数λ为损失项的权重系数，

表示节点

位于划分L中，

表示节点

的像素面积，d_i为该节点的深度；分别用于度量单个节点能量增益的函数

和能量损失的函数

如下所示：

其中

计算节点

的能量大小，

用于表示当前节点所处的状态，并根据当前层提取的先验特征对其标记为

则由比当前层较低的先验特征进行约束得到。

Images