CN103700088B - 一种基于可变形图结构表示的图像集无监督共分割方法 - Google Patents

Abstract

本发明公开了一种基于可变形图结构表示的图像集无监督共分割方法，该方法分为四个步骤：一，首先对图集中的每一张图进行超像素分割并提取描述子；二，对每一张图片建立基于Biharmonic距离的内图。具体的说，将二维图像拉伸为三维网格。依照黎曼流型空间的方式在三维网格上建立拉普拉斯矩阵并计算各向异性扩散距离——Biharmonic距离；三，建立内图后，接着建立一个包含图集内所有超像素的可变形超图并在描述子空间（特征空间）计算Biharmonic距离；四，使用考虑连通性的聚类思想，建立一个包含内图，超图，分割尺寸约束三项的能量函数。使用期望最大化算法进行优化，得到最后的共分割结果。本发明中部分算法使用了CPU并行和GPU并行，对于大规模图集有着优秀的分割精度和效率表现。

Description

一种基于可变形图结构表示的图像集无监督共分割方法

技术领域

本发明涉及计算机视觉领域的图像分割技术领域，具体涉及一种基于可变形图结构表示的图像集无监督共分割方法。其对图像超像素的热扩散信息进行共分割。

背景技术

图像分割技术（分割前景）是计算机视觉领域的基本技术，至今因为其应用广泛一直是研究的热点。但是非学习无监督的自动分割技术一直没有很鲁棒成熟的方法，主要原因是对于各种各样无法预期特点的图集，很难自动分析、定义合适的约束条件。从2006年共分割概念被第一次提出以来，共分割技术得到了很多学者的关注。其理念是当一个图集中同时出现某一物体时，可以将这种“同时出现”作为一个有力的约束条件进行前景分割。不仅如此，因为需要同时考虑整个图集的信息关联，分割往往是同时进行的而不是一张张进行的。这就为快速处理大规模数据以及并行处理提供了可能。共分割已经有了很多应用，如物体配准，视频分割，病例监测，基于图集的模型建立，和各种网络级数据处理的应用。

共分割的结合了多种主要技术，包括马尔科夫随机场，带偏向性聚类，子模型优化，对偶分解，各向异性扩散等。虽然近些年产生了很多优秀方法，但是无监督的共分割依然是一个具有挑战性的问题。目前的方法大多设置了很多前提假设，缺少鲁棒性和灵活性。图集中同时出现的物体可能存在颜色、形状、尺度、光照、噪音、形变等差异。相应的，在无监督的共分割方法中，往往参数很多并且难于调整，分割结果对于参数敏感。在使用模型的方法中这点更为突出。最后，共分割的潜在优势之一就是处理大规模数据。但是目前大多数方法运算量大、耗时长，并且难于并行，导致在效率上很难突破。

为了解决上述问题。本发明采用大尺寸的超像素分割来降低数据量，减少特征局部性，借此大大提升效率。大尺寸超像素仅仅提供模糊特征，一般难以提供清晰的关联性。通过良好定义的拉普拉斯矩阵以及相应的Biharmonic距离计算、稀疏化，能够自然发觉特征空间中的结构，从而产生清晰，有意义的关联性。本发明具有优秀的准确性、效率、鲁棒性。

发明内容

本发明要解决的技术问题是：通过将二维图像映射到三维空间，在三维空间中自然的嵌 入空间及特征信息，使用各向异性扩散距离定义超像素间关系。使得超像素间关联性更加自然准确。在图间使用拓扑无关的可变形超图，使用热扩散距离发掘特征空间中的结构，保证了在较少数据量下定义良好的图间关联、约束。

本发明采用的技术方案为：一种基于可变形图结构表示的图像集无监督共分割方法，其特征在于包括以下四个步骤：

步骤（1）、输入一个图集，对图集内的每张图片进行超像素分割，提取每个超像素的特征。本方法中使用CIE Lab颜色描述子和FREAK描述子。

步骤（2）、对于图集中的每一张图分别建立基于Biharmonic距离的内图。关键步骤是建立基于三维网格的拉普拉斯矩阵。以超像素中心为顶点，在图像空间三角化为网格。然后将二维网格拉伸到三维空间。参考黎曼流型，使用对角的余切和作为两点间的相似性。以此在三维网格上建立拉普拉斯矩阵。使用特征值特征向量计算任意两个超像素间的Biharmonic距离。本方法中使用了伪逆的快速求解方式。使用高斯函数将距离转化为相似性，用此相似性建立关联图。考虑到稀疏性，图中只保留每个超像素一环邻域，并去掉20%相似性最小的边。

步骤（3）、对于图集中的所有超像素建立一个超图。同样使用Biharmonic距离并使用高斯函数转换为相似性。不同的是这里不考虑拓扑关系，仅仅在特征空间建立拉普拉斯矩阵。即使用超像素的特征相似性来定义拉普拉斯矩阵。最后使用基于Biharmonic距离的相似性建立超图。考虑到稀疏性，去掉20%相似性最小的边。

步骤（4）、根据考虑连通性的聚类思想，定义一个包含内图，超图，分割尺寸约束三项的能量函数。其中内图表现为一个对角成块儿的矩阵。超图表现为一个映射到希尔伯特空间的分类器项。分割尺寸使用信息熵定义，避免零碎分割。最后使用期望最大化算法优化能量函数获得最后的共分割结果。

进一步的，步骤（1）中使用超像素分割，并且分割数量不同于传统方法需要分割为上千个超像素以保证完备性，在Biharmonic距离的配合下，保证大尺寸的超像素能够极大提升方法效率又几乎不损失精度，并且考虑了使用FREAK描述子在不损失效率情况下提升鲁棒性，其中使用CIE Lab颜色描述子和FREAK描述子。

进一步的，步骤（2）中以超像素中心点作为Delaunay三角划分的顶点，从而将图像从二维空间拉伸到了三维空间，表现为三维网格，保证了定义于黎曼流型的Biharmonic距离的获得，并且将特征空间嵌入到了Z轴，使得图像空间中的Biharmonic距离自然的嵌入了各向异性的特征差异和空间距离差异，矩阵稀疏化保证了效率和精确性，其中使用了伪逆的快速求解方式，使用高斯函数将距离转化为相似性，用此相似性建立表达关联性的内图，考虑 到稀疏性，图中只保留每个超像素一环邻域，并去掉20%相似性最小的边。

进一步的，步骤（3）中建立了包含所有图内容的超图，使得图间信息自然的成为了一种分割约束，并且使用Biharmonic距离挖掘了图间信息在特征空间的中的结构，使得不同图内相似的物体更加相似，不同的物体更加分离。

进一步的，步骤（4）中定义能量函数时，使用了Biharmonic距离定义的内图和超图，使得关联性定义更加具有全局结构的意义，而不仅仅是特征描述子的差异的大小，使用信息熵定义的分割尺寸约束也避免了过于细碎的分割结果。

本发明的原理在于：

（1）、通过基于大尺寸超像素的分割，极大压缩了数据量，并以超像素中心点作为Delaunay三角划分的顶点，将超像素特征嵌入Z轴，以此将二维图像拉伸到了表现特征的三维空间，保证了基于拉普拉斯矩阵的Biharmonic距离的可行性以及正确性。

（2）、Biharmonic距离作为一种各向异性扩散距离，在每张图内其分布自然的嵌入了超像素间的空间、特征关系，比传统的为特征和空间关系设立权重并求和来计算相似性更有意义，而且能清晰反应局部结构。

（3）、Biharmonic距离本质上不仅是一种各向异性扩散距离，也是一种“平均距离”，使得Biharmonic距离不仅能感知局部结构，同时也能感知全局结构。利用这种特性，我们在图间建立基于Biharmonic距离的可变形超图，挖掘了特征空间中的结构，拉近了相似的特征，疏远了不相似的特征。使得我们可以一定程度上应对同一物体在图集中颜色，光照，形变，位置，尺度的不同。更加鲁棒灵活。

（4）使用这种以较少的超像素为单位建立的优化过的内图和超图组成能量函数，使得整个算法更加精确有效率。由于Biharmonic距离的“平均距离”特性，使得该发明也具有一定的抗噪性。

本发明与现有技术相比的优点在于：

1、本发明提出的嵌入空间和特征关系的三维网格建立方法，使得传统的三维各向异性扩散的度量方法成功的应用到了二维图像领域。并且通过使用不同的特征可以灵活地表现不同的特性。

2、本发明提出的基于Biharmonic距离的内图建立方法，比传统使用特征相似性的方法更自然的嵌入了空间信息。

3、本发明提出的图间基于特征空间Biharmonic距离相似性的可变形超图的建立，挖掘了特征空间的结构，使得待分割物体、背景的关联性更加清晰具有意义。

4、由于本发明基于大尺寸超像素，采用各向异性扩散方法作为衡量相似性的基础，因 此较其它共分割方法，效率更高，鲁棒性更好。

附图说明

图1基于可变形图结构表示的图像集无监督共分割方法的总体处理流程；

图2二维图像的超像素分割示意图；

图3从下到上第一层为超像素图示意图，第二层为相应灰度图以及基于Delaunay三角划分的结果示意图，第三层为将二维图像拉伸到三维空间示意图；

图4基于三维网格的拉普拉斯矩阵的建立示意图；

图5三维网格空间和二维图像空间中基于Biharmonic距离的相似性分布示意图；

图6内图及其稀疏化示意图；

图7基于传统欧氏距离的特征空间相似性分布示意图；

图8基于Biharmonic距离的特征空间相似性分布示意图；

图9能量函数定义示意图；

图10期望最大化算法迭代优化过程示意图。

具体实施方式

下面结合附图及具体实施方式进一步说明本发明。

图1给出了基于可变形图结构表示的图像集无监督共分割方法的总体处理流程。

本文发明一种基于可变形图结构表示的图像集无监督共分割方法，主要步骤介绍如下：

1.对图集每一幅图片建立内图

（1）输入原图集，统一尺寸为256*256像素。对原图使用SLIC超像素进行分割。记为P={p₁，p₂...p_n}。分割数量为80，紧缩度10。如图2所示。对每个超像素使用CIE Lab或者FREAK描述子提取特征。

（2）对每一张图，以超像素中心为顶点，使用Delaunay三角化，形成二维空间的网格。将二维网格拉伸到三维空间中。图3展示了一个简单的例子，其中用超像素所包含的像素的平均灰度作为该超像素的描述子，Z轴即为平均灰度。

（3）根据三维网格，构建拉普拉斯矩阵L=A^-1M，其中A为对角矩阵，对角元素A_ii等比于与顶点i共边的三角形面积，M矩阵的定义如下：

$M_{\mathrm{ij}}=\left\{\begin{array}{cc}{\mathrm{\Σ}}_k{m}_{i,j}& \mathrm{if\; i}=j\\ -m_{\mathrm{ij}}& \mathrm{if}{p}_i\mathrm{and}{p}_j\mathrm{are\; adjacent}\\ 0& \mathrm{otherwise}\end{array}\right.$

其中，m_ij=cotα_ij+cotβ_ij，α_ij和β_ij为共边p_ip_j的两相邻三角形对角值。图4显示的是三角网格中两个顶点i、j的关系。三角形边长p_ip_j的边长其中d_z=(l_i-l_j)²+(a_i-a_j)²+(b_i-b_j)²。(l，a，b)为三通道CIE Lab描述子的三个分量。即Z轴的差异来自于描述子的差异。

(4)由拉普拉斯矩阵M以及平滑矩阵A，我们计算Biharmonic距离d_B：

g_d=伪逆(MA^-1M）

d_B(v_i，v_j)²=g_d(i，i)+g_d(j，j)-2g_d(i，j)

其中g_d为格林函数，然后使用一个高斯函数转换Biharmonic距离(不相似性)为相似性。在本发明中。

$w_{\mathrm{ij}}=\exp (-\frac{d_B(v_i,v_j)}{\mathrm{\β}}),\mathrm{\β}\≡0.3$

相似性在三维网格以及二维图像上的分布参见图5。其中在原图中的白圈圆点为锚点，分布图画出了锚点标定的超像素到其他所有超像素的相似性分布。

(5)对图集内的每张图建立内图。为了保证效率和准确性。本发明中仅仅保留内图关联性矩阵w中每个超像素的一环邻域。并且删除关联性最小的20%的边。图6中左图为仅包含一环邻域的内图，右图为剪枝后的结果。

2、建立图间的可变形超图

(1)对图集中的每个超像素，计算它们到所有超像素的描述子距离。图7显示出一个例子。这里描述子距离使用平万和d=(l_i-l_j)²+(a_i-a_j)²+(b_i-b_j)²得到一个具有不清晰的关联性的关联矩阵。图7中可以看到，除了白花到其自身关联性较大外(左下图为白花自身)，到其他花的关联性都不强。使用该关联矩阵计算归一化的拉普拉斯矩阵M，g_d=伪逆(MM)。用建立内图的方式求得所有超像素间不考虑拓扑关系，在特征空间中的基于Biharmonic距离的相似性。见图8。同样，删除关联性最小的20%的边使得矩阵变得更稀疏。

3.建立能量函数并优化。

本发明最后使用优化驱动的偏向性聚类架构来进行最后的共分割。

定义能量函数

能量函数的组成与多类共分割万法中的“优化驱动的偏向性聚类”基本相同。

不同的是本发明中使用的是基于Biharmonic距离的多尺度可变形图。能量函数定义为

$\underset{y{1}_K={1_N}_P}{\underset{y\∈\{0,1{\}}^{N_P\×K}}{\min }\[\underset{b\∈R^K}{\underset{A\∈R^{d\×K}}{\min }}{E}_U(y,A,b)\]+E_B\left(y\right)-H\left(y\right)}$

见图9，E_U是一个分类器项。主要由图间的超图定义。其中将超图用不完全乔姆斯基分解为更高维的向量，增加线性可分性。E_B是将所有内图置于对角线的平滑项。用来增强分割的连续性。H是由信息熵定义的分割尺寸约束，保证每个被分出的部分都包含有足够多的信息。避免出现过小的分割结果。

期望最大化算法求解，使用期望最大化算法求解使得该能量函数最小的标记向量y。图10列出了迭代过程的例子。

本发明未详细阐述的技术内容属于本领域技术人员的公知技术。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (5)

1.一种基于可变形图结构表示的图像集无监督共分割方法，其特征在于包括以下四个步骤：

步骤(1)、输入一个图集，对图集内的每张图片进行超像素分割，提取每个超像素的特征；

步骤(2)、对于图集中的每一张图分别建立基于Biharmonic距离的内图，关键是建立基于三维网格的拉普拉斯矩阵，以超像素中心为顶点，在图像空间三角化为网格，然后将二维网格拉伸到三维空间，参考黎曼流型，使用对角的余切和作为两点间的相似性，以此在三维网格上建立拉普拉斯矩阵，使用特征值特征向量计算任意两个超像素间的Biharmonic距离；

步骤(3)、对于图集中的所有超像素建立一个超图，同样使用Biharmonic距离并使用高斯函数转换为相似性，不同的是这里不考虑拓扑关系，仅仅在特征空间建立拉普拉斯矩阵，即使用超像素的特征相似性来定义拉普拉斯矩阵，最后使用基于Biharmonic距离的相似性建立超图，考虑到稀疏性，去掉20％相似性最小的边；

步骤(4)、根据考虑连通性的聚类思想，定义一个包含内图，超图，分割尺寸约束三项的能量函数，其中内图表现为一个对角成块儿的矩阵，超图表现为一个映射到希尔伯特空间的分类器项，分割尺寸使用信息熵定义，避免零碎分割，最后使用期望最大化算法优化能量函数获得最后的共分割结果。

2.根据权利要求1所述的基于可变形图结构表示的图像集无监督共分割方法，其特征在于：步骤(1)中使用超像素分割，并且分割数量不同于传统方法需要分割为上千个超像素以保证完备性，在Biharmonic距离的配合下，保证大尺寸的超像素能够极大提升方法效率又几乎不损失精度，并且使用FREAK描述子在不损失效率情况下提升鲁棒性，其中使用CIELab颜色描述子和FREAK描述子。

3.根据权利要求1所述的基于可变形图结构表示的图像集无监督共分割方法，其特征在于：步骤(2)中以超像素中心点作为Delaunay三角划分的顶点，从而将图像从二维空间拉伸到了三维空间，表现为三维网格，保证了定义于黎曼流型的Biharmonic距离的获得，并且将特征空间嵌入到了Z轴，使得图像空间中的Biharmonic距离自然的嵌入了各向异性的特征差异和空间距离差异，矩阵稀疏化保证了效率和精确性，其中使用了伪逆的快速求解方式，使用高斯函数将距离转化为相似性，用此相似性建立表达关联性的内图，考虑到稀疏性，图中只保留每个超像素一环邻域，并去掉20％相似性最小的边。

4.根据权利要求1所述的基于可变形图结构表示的图像集无监督共分割方法，其特征在于：步骤(3)中建立了包含所有图内容的超图，使得图间信息自然的成为了一种分割约束，并且使用Biharmonic距离挖掘了图间信息在特征空间的中的结构，使得不同图内相似的物体更加相似，不同的物体更加分离。

5.根据权利要求1所述的基于可变形图结构表示的图像集无监督共分割方法，其特征在于：步骤(4)中定义能量函数时，使用了Biharmonic距离定义的内图和超图，使得关联性定义更加具有全局结构的意义，而不仅仅是特征描述子的差异的大小，使用信息熵定义的分割尺寸约束也避免了过于细碎的分割结果。