CN115115654B - 一种基于显著性和近邻形状查询的物体图像分割方法 - Google Patents

Abstract

本发明公开了一种基于显著性和近邻形状查询的物体图像分割方法，步骤如下：S1、在CPU中输入图像I，进行M个尺度的过分割；S2、针对步骤S1划分的每个尺度的区域集合，基于区域上下文和封闭性先验，计算显著性，并将多个尺度的结果进行加权融合，得到图像的显著性图；S3、将得到的显著性图进行划分，通过设置三级阈值T1、T2、T3；S4、根据显著性特征图的相似性查找近邻分割形状，计算得到形状概率图；S5、将形状概率图和颜色概率图融合，通过优化求解Graph Cut问题，得二值分割结果。本发明采用上述的一种基于显著性和近邻形状查询的物体图像分割方法，使形状模型更好地拟合实例形状，具有更优的物体分割性能。

Description

一种基于显著性和近邻形状查询的物体图像分割方法

技术领域

本发明涉及图像分割技术领域，尤其是涉及一种基于显著性和近邻形状查询的物体图像分割方法。

背景技术

物体分割是从图像中自动提取出目标物体区域的技术，物体分割通过计算机视觉和图像处理的典型问题，可以帮助完成物体识别、图像检索等任务，还可以用于物体部件解析等问题。以遥感图像中的舰船目标分割为例，它可以帮助精确提取舰船目标区域的特征，为后续的舰船类别的判断提供依据；再以人体分割为例，它可以帮助完成人体身份识别和人体服饰检索，还可用于人体部件解析和人体动作识别，为人机交互和媒体检索等应用领域的发展提供推动力。

基于图像的物体分割方法大多是基于机器学习的算法。依据物体分割过程中利用的语义信息层次，可以将物体分割方法分为自底向上的方法和自顶向下的方法。自底向上的物体分割方法主要是依赖于底层的颜色、灰度等特征均一性将图像划分为若干区域：而并不保证分割出具有高层语义的物体。事实上，同一类物体实例间可能存在较大的表观差异，同一物体实例的表观也会受光照、场景等外在因素呈现非均一性。

此外，物体可能和背景呈现相似的表观而难以区分。因此，仅依赖于底层特征的自底向上的方法，经常达不到物体分割的目标。自顶向下的物体分割。自顶向下方法的基本思想是挖掘高层语义信息，如采用“舰船的形状应该是什么样子的”，“舰船经常和哪些物体区域同时出现”等特定类别的形状先验或不同类别物体的共生关系、上下文联系等，引导物体分割。这些高层语义信息往往与底层的物理一致性互补，能够提高物体分割的性能。近些年来，己有很多研究者通过监督或者无监督的方法，研究如何将高层语义的先验信息融合到物体分割中。此外，为了获取精确的分割边界，研究者多数融合两种信息，并引入条件随机场(CRF)模型作后处理，近年来CRF在物体分割上有着广泛的应用。

同时，随着深度卷积神经网络的发展，FCN、SegNet、DeepLab等利用神经网络对图像进行物体分割，达到像素级分类的效果。这类方法利用深度卷积网络提取多尺度、复杂的像素特征，其原理与浅层学习方法并没有本质上的区别，而其结果的好坏则很大程度上依赖网络的深度以及数据量的大小，并且对于提取到的特征没有一个很好数学解释。除此外，由于深度神经网络的训练算法往往对算力要求较高，往往需经过大量改造和优化工作，才能用于星载、弹载等计算资源有限的应用场景，不利于推广。

发明内容

本发明的目的是提供一种基于显著性和近邻形状查询的物体图像分割方法，使形状模型更好地拟合实例形状，具有更优的物体分割性能。

为实现上述目的，本发明提供了一种基于显著性和近邻形状查询的物体图像分割方法，步骤如下：

S1、在CPU中输入图像I，采用Mean Shift或者Watershed的方法进行M个尺度的过分割，每个尺度j上图像都对应N_j个互不交叠的区域集合{R_j,i}，R_j,i表示第j个尺度的第i个区域，i＝1,2,…,N_j，j＝1,2,…,M；

S2、针对步骤S1划分的每个尺度的区域集合，基于区域上下文和封闭性先验，计算显著性，并将多个尺度的结果进行加权融合，得到图像的显著性图Map(I)；

S3、将得到的显著性图进行划分，通过设置三级阈值T1、T2、T3，高于T1的区域为物体候选区域；高于T2的区域为物体种子区域；低于T3的区域为背景种子区域；

S4、根据显著性特征图的相似性查找近邻分割形状，计算得到形状概率图；

S5、将形状概率图和颜色概率图融合，通过优化求解Graph Cut问题，得二值分割结果。

优选的，步骤S4中，形状概率图的具体计算方法如下：

S1、针对高于T1的外界矩形区域或者当前的二值分割结果，归一化当前的显著性图Map(I)为WⅹH固定大小，与训练集合的分割二值图对齐，排除背景区域；

S2、针对归一化后的Map(I)，从训练集的归一化显著性特征图中，查询相似度最大的k个近邻索引；

S3、将最近邻的k个样本对应的分割结果做线性组合，形成形状概率图。

优选的，步骤S5中，颜色概率图的计算方法为针对种子区域或当前的分割结果，建立RGB通道的高斯混合模型，得到物体和背景的颜色条件概率，形成颜色概率图。

因此，本发明采用上述一种基于显著性和近邻形状查询的物体图像分割方法，具体技术效果如下：

(1)本发明采用了基于上下文和封闭性先验的多尺度显著性检测方法，确定物体位置，并有效缩小物体区域的搜索范围。一个区域被认为是显著区域，首先其内部表观应与其“上下文”有所差异。“上下文”也就是它周围的邻域。为了更精确地计算这种显著性，采用多尺度的过分割策略，对各个尺度分别计算显著性，而后进行融合。显著性物体多数会被封闭轮廓所包围，因此，显著性物体的提取问题可以转化为提取封闭轮廓C，并使C尽可能覆盖整个物体。基于以上多尺度显著性图的计算，将给出物体的可能区域范围，一方面通过阈值截断的方式缩小物体区域搜索范围；另一方面显著图作为相似度计算的特征图。

(2)本发明提出采用近邻形状学习的方法，受启发于“具有相似显著图的物体图像，应该也具有相似的分割结果”，假设当前物体图像和训练集合图像的显著图之间的关系与二值分割图之间关系是相同的。利用这一对偶关系，先学习物体图像的显著图之间的关系，然后将其应用到二值分割图上。该形状模型具备以下特点：一是反映物体的形状共性：二是保留不同物体实例的形状差异，即特定于物体实例的细节，避免使用平均形状模型，提供了有效地形状先验信息，提供了分割准确率。

(3)本发明从训练集合中学习自适应于实例的形状模型，通过施以近邻约束，使形状模型更好地拟合实例形状。高层形状模型与底层特征模型具有一定的互补性，将更好地优化物体分割的性能。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1是算法流程图；

图2是近邻形状先验学习示意图；

图3是近邻形状先验示意图；

图4是分割结果示意图。

具体实施方式

以下通过附图和实施例对本发明的技术方案作进一步说明。

除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的主旨或基本特征的情况下，能够以其它的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其它实施方式。这些其它实施方式也涵盖在本发明的保护范围内。

还应当理解，以上所述的具体实施例仅用于解释本发明，本发明的保护范围并不限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明/发明的保护范围之内。

本公开使用的所有术语(包括技术术语或者科学术语)与本公开所属领域的普通技术人员理解的含义相同，除非另外特别定义。还应当理解，在诸如通用词典中定义的术语应当被理解为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非本文有明确地这样定义。

本发明说明书中引用的现有技术文献所公开的内容整体均通过引用并入本发明中，并且因此是本发明公开内容的一部分。

实施例一

训练数据的处理

训练集合包括原始图像和对应的分割二值图像，提取出二值图像的物体外接矩形区域，将其归一化为WⅹH固定大小的图，按照如下方法计算图像的显著性特征图，同样归一化为为WⅹH固定大小的图。

图像的显著性特征图计算方法：

(1)针对输入图像I，采用Mean Shift(或者Watershed)的方法进行M个尺度的过分割，每个尺度j上，图像都对应N_j个互不交叠的区域集合{R_j,i}，R_j,i表示第j个尺度的第i个区域，i＝1,2,…,N_j，j＝1,2,…,M；

(2)针对步骤(1)划分的每个尺度的区域集合，基于区域上下文和封闭性先验，计算显著性，并将多个尺度的结果进行加权融合，得到图像的显著性图Map(I)。

实施例二

一种基于显著性和近邻形状查询的物体图像分割方法，具体流程如下：

(1)针对输入图像I，采用Mean Shift(或者Watershed)的方法进行M个尺度的过分割，设图像I在M个尺度上进行过分割，在尺度j上，过分割的区域数目为N_j，R_j,i表示第j个尺度的第i个区域，i＝1,2,…,N_j，j＝1,2,…,M。

(2)针对步骤(1)划分的每个尺度的区域集合，基于区域上下文和封闭性先验，计算显著性，并将多个尺度的结果进行加权融合，得到图像的显著性图Map(I)；

a)针对每个区域，计算基于区域上下文先验的显著性特征。

其中，Neigh(.)表示当前区域所有邻域的集合。α_r表示邻域r占当前区域所有邻域面积之和的比例；d_c(.)表示区域之间的颜色差异，定义为CIE空间L*a*b*和色调(hue)的卡方距离。权重w_j,i由当前区域和图像中心的距离决定，定义为距离的高斯衰减函数：

Δx_j,i和Δy_j,i分别表示当前区域R_j,i所有像素与图像中心位置的横向、纵向距离，即越接近图像中心的区域，越有可能被置以更高的权重，越有可能是显著区域。

最后，像素级的显著性计算，将由当前像素p所在区域的所有尺度上的显著性决定：

其中，j是尺度索引，i是区域索引，ε是一个非常小的常量，实验中设为0.1，c_j,i是区域R_j,i的平均颜色向量。

b)针对每个区域，计算基于封闭形状先验的显著性特征图。

显著性物体多数会被封闭轮廓所包围，因此，显著性物体的提取问题可以转化为提取封闭轮廓C，并使C尽可能覆盖整个物体。具体地，将首先构造边缘图E。该边缘图是由边缘线的片段组成的集合，由Martin等提出的边界检测器产生，这些边缘片段可能是显著物体的边界，可能是噪声，可能是显著物体或背景区域内的纹理。

因此，识别出一组边缘片段，并将它们连接起来，称为最优的封闭轮廓C^*。通常检测器产生的边缘片段彼此并不相连，需要构造“填补边”来连接彼此，称为封闭的轮廓。由此，为所有可能构成封闭轮廓的边缘片段端点对构造“填补边”，也就获得了最优封闭轮廓的候选集。最优轮廓C^*被定义为：

其中，|C|表示轮廓周长，R_C表示轮廓C包围的内部区域。采用比值轮廓算法可以在多项式时间内，求得最优环路C^*。

求得最优环路后，每个像素点的显著性将由它与此轮廓的距离决定：

其中，表示当前像素p到最优轮廓C^*的距离，此距离采用距离变换法求得。β用以标示形状先验的重要性，实验中设为1。

基于以上公式3和公式5，加和计算显著性的特征图，如图3所示。依据该特征图，将给出物体的可能区域范围，一方面通过阈值截断的方式缩小物体区域搜索范围；另一方面显著图作为相似度计算的特征图。

(3)根据步骤(2)计算的显著性特征图，设置三级阈值(T1，T2，T3)，高于T1的区域为物体候选区域；高于T2的区域为物体种子区域；低于T3的区域为背景种子区域；

(4)针对高于T1的外界矩形区域(或者当前的二值分割结果)，归一化当前的显著性图Map(I)为WⅹH固定大小，和训练集合的分割二值图对齐，排除背景区域；

(5)针对归一化后的Map(I)，从训练集的归一化显著性特征图中，查询相似度最大的k个近邻索引，近邻形状先验学习过程如图2所示；

(6)将最近邻的k个样本对应的分割结果做线性组合，形成形状先验图，图3给出了形状先验图的示例图像，具体地：

设X表示图像网格(如大小为W×H)，I是定义在网格上的彩色图像，I＝[R,G,B]T，图像对应的标号为L_X，物体分割的任务是寻找一组标号L＝(l1,l2,...,lm)T，其中，m＝W×H，对每个位置x，l_x表示像素对应的类别。

称LX为目标形状，训练的目标是从训练集中学习到特定于当前图像的形状模型SX，对每一个位置x∈X，都有Sx∈[0,1]，可视化的形状模型如图3所示。将训练集表示为It1,It2,…,ItN，其对应的显著性图表示为Map(.)，二值分割图(Ground truth)为Lt1,Lt2,…,LtN。

为了获得形状模型，计算当前图像I的显著图Map(I)，并计算它与训练图像的显著图的欧式距离D(ti)，i＝1,2,…,N。选择前k个距离最近的样本，设索引为{r1,r2,…,rk}，那么，认为与图像I的物体形状最相似的也是这k个样本，它们对应的二值分割结果进行线性组合，将用来获得形状模型。

由此，就将最相似的样本对应的形状迁移到当前图像，作为形状模型，引导物体区域的分割。

(7)针对步骤(3)的种子区域(或当前的分割结果)，建立RGB通道的高斯混合模型，得到物体和背景的颜色条件概率，形成颜色先验图；

(8)融合步骤(6)的形状概率图和步骤(7)的颜色概率图，通过优化求解Graph Cut问题，得二值分割结果。具体步骤如下：

通过最小化以下能量函数，求得最优标注解L_x ^*：

其中融合了三项：颜色(Color)，边缘(Edge)和形状(Shape)对应的势能函数，每项置以适当的权重。基于公式(6)求得的形状模型，形状势能定义为：

其作用在于利用形状模型对分割过程做指导，使之更像物体。相反，颜色信息对应的势能函数和边缘信息对应的势能函数则更加注重局部分割的准确性，ω_c(可选0.5)和ω_Γ(可选1.0)为用以平衡各项的权重。最小化能量函数可以通过最小割/最大流的算法求解，也即得到分割结果，如图4所示。

以往物体检测方法是通过Adaboost、Deformable Part Model、VGG等各类深度卷神经网络等方法确定物体矩形框。这些方法不容易排除和物体区域相邻的背景区域。本发明基于显著性特征的计算，并结合物体形状特点定位物体区域，排除部分背景。

物体易与表观相似的背景混淆，且内部有表观特征差异。因此，仅利用颜色等底层特征并不能满足区分目标和背景的需求，必须挖掘高层语义信息，如“目标应该是什么形状”等。除考虑形状的合理性外，还需要尽可能使形状具有可变形性。本发明将显著性图作为样本实例的特征，从训练集合中学习自适应于实例的形状模型，通过施以近邻约束，使形状模型更好地拟合实例形状。高层形状模型与底层特征模型具有一定的互补性，将更好地优化物体分割的性能。并且，本发明采用迭代分割的策略，渐进地优化物体分割结果，从而获得精确的分割边界和性能。

因此，本发明采用上述一种基于显著性和近邻形状查询的物体图像分割方法，使形状模型更好地拟合实例形状，具有更优的物体分割性能。

最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (2)

1.一种基于显著性和近邻形状查询的物体图像分割方法，其特征在于，步骤如下：

S1、在CPU中输入图像I，采用MeanShift或者Watershed的方法进行M个尺度的过分割，每个尺度j上图像都对应N_j个互不交叠的区域集合{R_j,i}，R_j,i表示第j个尺度的第i个区域，i＝1,2,…,N_j，j＝1,2,…,M；

S2、针对步骤S1划分的每个尺度的区域集合，基于区域上下文和封闭性先验，计算显著性，并将多个尺度的结果进行加权融合，得到图像的显著性图Map(I)；

S3、将得到的显著性图进行划分，通过设置三级阈值T1、T2、T3，高于T1的区域为物体候选区域；高于T2的区域为物体种子区域；低于T3的区域为背景种子区域；

S4、根据显著性特征图的相似性查找近邻分割形状，计算得到形状概率图；形状概率图的具体计算方法如下：

S41、针对高于T1的外界矩形区域或者当前的二值分割结果，归一化当前的显著性图Map(I)为WⅹH固定大小，与训练集合的分割二值图对齐，排除背景区域；

S42、针对归一化后的Map(I)，从训练集的归一化显著性特征图中，查询相似度最大的k个近邻索引；

S43、将最近邻的k个样本对应的分割结果做线性组合，形成形状概率图；

S5、将形状概率图和颜色概率图融合，通过优化求解GraphCut问题，得二值分割结果。

2.根据权利要求1所述的一种基于显著性和近邻形状查询的物体图像分割方法，其特征在于：步骤S5中，颜色概率图的计算方法为针对种子区域或当前的分割结果，建立RGB通道的高斯混合模型，得到物体和背景的颜色条件概率，形成颜色概率图。