CN103268635A

CN103268635A - 一种几何网格场景模型的分割及语义标注方法

Info

Publication number: CN103268635A
Application number: CN201310178606XA
Authority: CN
Inventors: 万丽莉
Original assignee: Beijing Jiaotong University
Current assignee: Beijing Jiaotong University
Priority date: 2013-05-15
Filing date: 2013-05-15
Publication date: 2013-08-28
Anticipated expiration: 2033-05-15
Also published as: CN103268635B

Abstract

本发明涉及计算机图形学技术领域，特别是涉及一种几何网格场景模型的分割和语义标注方法，包含以下步骤：三维模型训练集建立，要求训练集中的每个三维模型均为单个物体；场景模型自动分割，借助训练集基于层次化聚类算法将场景模型分割为多个物体；分割结果的分类，对分割得到的每个物体提取形状特征，根据分类算法决策出该物体的类别标签；场景模型的语义汇总，汇总每个物体的类别标签，得到场景模型的语义标签集合；相对于现有技术而言，本发明具有以下优点：场景模型自动分割方法在分割过程中将训练集中的已有形状知识用以辅助决策，从而解决了场景分割中难以处理接触物体的难点问题，场景模型的语义标注更符合人类对场景的视觉认知。

Description

一种几何网格场景模型的分割及语义标注方法

技术领域

本发明涉及计算机图形学技术领域，特别是涉及一种几何网格场景模型的分割和语义标注方法。

背景技术

三维扫描技术日益成熟，通过扫描设备能得到的三维场景的点云数据，再通过三维重建即可得到几何网格表示，用于图形渲染，但由此获得的三维场景模型缺乏语义信息，计算机难以理解场景模型中的内容，导致难以实现对三维场景模型的基于内容的检索与有效管理。三维场景模型的分割与语义标注旨在以场景分割为基础，即将场景分割为多个单个物体，进而回答场景中有什么的问题，对三维场景的内容理解与重用具有积极意义。

场景分割是一个复杂且困难的任务，特别是当物体之间距离过近或存在接触关系时，如何自动判断它们到底是一个整体还是多个物体仍是一个未解决的问题。点云和几何网格是三维场景的两种主要的表现形式。2007年，Merchán和Adán提出分割三维点云场景的方法[P.Merchán and A.Adán.Exploration trees on highly complexscenes:A new approach for3D segmentation.Pattern Recognition40,1879–1898,2007]，通过对三维场景从不同视线方向投影得到一组投影图像，从中选择合适的投影图像进行分割，然后通过投影变换的逆变换将图像分割结果对应到三维场景的点云分割，对于分割后的子场景继续迭代地进行同样的处理：从点云到投影图像，再由投影图像的分割结果到点云分割结果，直到满足指定的分割数目。但几何网格模型更为普遍，由于其更适合于渲染而具有更广泛的应用范围，大型模型库（如Google3D Warehouse）中的三维模型均是这一形式。而目前对几何网格模型分割的多数研究仍集中在将单个物体的模型分割为若干个有意义的子部件，对场景模型分割的研究较少。Li等[Li XT,Woon TW,Tan TS,Huang ZY.Decomposing polygonmeshes for interactive applications.Proceedings of the2001ACMSymposium on Interactive3D Graphics,New York,USA:ACM Press,2001:35-42]提出基于边折叠算法得到骨架，进而沿着骨架方向对网格模型进行空间扫掠的过程中，分析模型的几何和拓扑性质，从而确定关键点，实现几何网格模型的自动分割。Katz等[Katz Sagi,TalAyellet.Hierarchical mesh decomposition using fuzzy clustering andcuts.ACM Transactions on Graphics,2003,22(3):954-961]提出基于模糊聚类的层次化分割方法，使得交界区域具有模糊性，最后采用Minimum Cut算法得到确切的边界。但这些算法仅适用于单个物体的分割，无法应用于场景模型的分割。Knopp等[J.Knopp,M.Prasad,L.V.Gool.Scene cut:Class-specific object detection and segmentationin3D scenes.Proceedings of International Conference on3D Imaging,Modeling,Processing,Visualization and Transmission(3DIMPVT),2011,180–187]提出在场景中检测和分割出指定类别物体的方法，但该方法不适用于同时分割多种物体。Fisher等[Fisher M,Hanrahan P.Context-Based Search for3D Models.ACM Transactions on Graphics,2010,29(6),Article182]借助场景图来分析场景中的物体，用图来表示场景中物体的关系，借助图的相似性来比较场景的相似性。

由以上分析可知，对几何网格场景模型的分割存在以下不足:1)多数几何网格模型分割的研究针对的是单个物体，将其分割若干个有意义的子部件，而对场景模型分割的研究较少；2）已有的从场景中检测分割特定类别物体的方法无法推广到场景中多种物体的分割；3）利用场景图来确定场景中物体的方法不具有普遍性，很多场景模型并不具有场景图，或者场景图不准确。

发明内容

本发明的目的在于提供了一种几何网格场景模型进行分割和语义标注的方法，该方法将场景模型自动地分割为多个物体，并进而对每个物体进行分类，用类别标签的集合来标注场景模型。该方法可用于场景模型的内容理解，实现对已有的场景模型数据资源的有效组织和管理，有助于场景模型的重用。

本发明解决其技术问题所采用的技术方案是，包含以下步骤：

步骤1）三维模型训练集建立

要求训练集中的每个三维模型均为单个物体，每个模型均包含形状信息、类别标签和形状特征，其中，形状信息以模型表面三角网格的形式体现；

步骤2）场景模型自动分割

借助训练集基于层次化聚类算法将场景模型分割为多个物体，连通集为初始聚类，在层次化聚类的过程中借助训练集来决策两个视觉上相交、接触或接近的连通集是否应合并，直到满足聚类合并终止条件，最终得到的每个物体是连通集的集合；

步骤3）分割结果的分类

对分割得到的每个物体提取形状特征，基于相似性匹配在训练集中寻找它的K个近邻模型，得到模糊化分类结果，根据上述分类算法决策出该物体的类别标签；

步骤4）场景模型的语义汇总

汇总每个物体的类别标签，剔除重复，得到场景模型的语义标签集合。

所述步骤1）进一步包含：

步骤1.1）收集等数量的不同语义类的三角网格模型，记录它们的类别标签；

步骤1.2）提取等数量的不同语义类的三角网格模型的形状特征，采用一种复合特征向量DESIRE来描述。

所述步骤2）进一步包含：

步骤2.1）生成三角网格模型的连通集，根据设定的距离阈值得到每个连通集的在三维空间中与之相邻的连通集的集合；

步骤2.2）将连通集作为初始聚类；

步骤2.3）迭代地进行自底向上的层次化聚类，借助训练集中的已有形状知识来判断两个聚类是否能合并，如果需要合并，则消除两个已有的聚类，产生一个新的聚类，同时需要更新相关聚类的近邻；

步骤2.4）经检测，确认所有相邻的聚类都无需再合并，终止合并过程，得到场景模型的分割结果，每个物体都是一个连通集的集合。

所述步骤3）进一步包含：

步骤3.1）对于分割后得到的每个物体，提取形状特征，采用一种复合特征向量DESIRE来描述；

步骤3.2）借助训练集，采用Fuzzy-KNN（模糊K近邻）方法对该物体进行监督分类，计算它属于每个语义类的概率；

步骤3.3）根据设定的阈值，来决策该物体的类别标签。

相对于现有技术而言，本发明具有以下优点：

1）场景模型自动分割方法能将几何网格表示的场景模型分割为多个物体，特别是在分割过程中将训练集中的已有形状知识用以辅助决策，从而解决了场景分割中难以处理接触物体的难点问题，有助于后续的语义标注，而已有的三维模型分割方法只能将三角网格表示的单个物体模型分割为多个部件，或者将点云表示的场景模型分割为多个物体；

2）场景模型的语义标注以场景模型的分割为前提，更符合人类对场景的视觉认知；

3）对场景模型中的每个物体进行监督分类时，采用了Fuzzy-KNN方法来模糊化分类结果，通过阈值设定来控制类别标签的置信度，更具灵活性。

附图说明

图1为本发明的方法流程图；

图2为本发明的场景模型分割方法流程图；

图3为本发明的借助训练集的由底向上的层次化聚类过程的主要流程。

具体实施方式

当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例：如图1所示，步骤1）建立三维模型训练集，训练集中均为单个物体，所述训练库中包含三维模型的名称、以三角网格的形式体现的表面形状信息、类别标签信息和特征信息。

所述步骤1）包括如下子步骤：

步骤1.1）收集等数量的不同语义类的三维模型，记录它们的类别标签，要求这些三维模型均为单个物体，表现形式均为三角网格；

步骤1.2）提取三角网格模型的形状特征。在本发明实施例中，采用文献Dejan V.Vranic,“DESIRE:a composite3D-shapedescriptor.”IEEE International Conference on Multimedia and Expo,ICME2005,p962-965.介绍的方法，提取这些三角网格模型的DESIRE形状特征。DESIRE特征向量是一个由三种特征组合而成的特征向量，包括模型的深度投影特征、轮廓投影特征和基于射线的特征。由于单一特征仅描述了形状某一方面的属性，特征组合方法能够更好地描述三维模型的形状特征。DESIRE特征向量可以替换为其它的三维模型特征向量，本方法的整体流程不受影响。

步骤2）基于层次化聚类进行场景模型的自动分割，将其分割为多个物体。这一步骤中要解决的难点问题是，当两个形状接触时，如何判断这两个形状是属于一个物体，还是两个不同的物体。本发明中将训练集中的已有形状作为知识来辅助聚类合并。

如图2所示，所述步骤2）包括如下子步骤：

步骤2.1)为几何网格模型生成连通集，计算每个连通集的表面积，确定与之相邻的连通集；

首先，将几何网格模型处理为三角网格模型，即三角面片的集合。当两个三角面片共顶点时，认为它们是邻接的，当两个三角面片之间存在一条由邻接三角面片组成的路径，认为它们是连通的。每个连通集均为一个最大连通子集，由三角面片组成。同一连通集内，任意两个三角面片都是连通的；不同的连通集之间，任意两个三角面片都是不连通的。

然后，对于每个连通集，将三角面片的面积累加起来，得到连通集的表面积，并同时计算出该模型的表面积。连通集的表面积是后续处理优先顺序的依据，即优先处理面积较大的连通集。

接下来，计算任意两个连通集之间的距离。判断两个连通集是否相交，如果相交，则这两个连通集的距离为0；如果不相交，则以分别属于这两个连通集的顶点之间的最近距离作为连通集的距离。在本发明实施例中，采用文献S.Gottschalk and M.C.Lin and D.Manocha,“OBBTree:a hierarchical structure for rapid interferencedetection.”The23rd Annual Conference on Computer Graphics andinteractive Techniques,SIGGRAPH1996,171-180.介绍的碰撞检测算法判断两个连通集是否相交。OBBTree算法可替换为其他碰撞检测算法，本方法的整体流程不受影响。

最后，对于每个连通集，将所有与之距离小于τ的连通集确定为它的相邻的连通集。在本发明实施例中，设定τ＝r/20，其中r为三角网格模型最小包围球的半径。

步骤2.2)将连通集作为初始聚类；

步骤2.3)借助训练集，迭代地进行自底向上的层次化聚类。结合图3，详细说明此步骤的流程；

（1）将所有聚类标记为未检测聚类；

（2）确定未检测聚类的集合，如果所有聚类都已检测，则子步骤1023处理完毕；

（3）将所有未检测聚类按照面积由大到小排序，从中选取面积最大的聚类C作为待检测对象x，；

（4）从聚类C的未检测邻居中，选取距离最近的邻居作为待检测对象y；

（5）借助训练集检测x和y是否合并，对于合并条件的详细说明如下：

a）检测x和y的表面积是否为过小，设s(x)、s(y)分别为x和y的表面积，S为模型的表面积，当s(x)＜λ·S或s(y)＜λ·S时，认为x和y需要合并，不再执行后续步骤。这是因为过小的曲面片通常是一个物体的部件。在本发明实施例中，设定λ＝0.002；

b）尝试合并x和y，得到C’，分别提取x、y和C’的DESIRE形状特征f(x)、f(y)和f(C');

c）根据x的形状特征f(x)，在训练集T中搜索它的最佳匹配，即最佳匹配为训练集中使得形状相异距离‖f(x)-f(m)‖₁达到最小值的三维模型，表示为m₁。类似地，在训练集T中搜索出y和C’的最佳匹配m₂和m₃；

d）当‖f(m₃)-f(C')‖₁＜(‖f(m₁)-f(x)‖₁+‖f(m₂)-f(y)‖₁)/2时，表示这次合并将使得形状相异距离的均值减小，说明合并后的物体与一个完整的物体在形状上更相似，则认为x和y需要合并。

（4）如果x和y需要合并，则消除聚类x和y，产生一个新的聚类，将它标记为未检测聚类，计算它的表面积，同时由于聚类发生变化，所以要更新所有相关聚类的邻居，然后转到步骤（2）执行；如果如果x和y不需要合并，则标记此邻居y为聚类x的已检测邻居，转到步骤（4）执行，继续检测下一个邻居。

步骤2.4)合并终止后，得到场景模型的分割结果，每个物体都是一个连通集的集合。

步骤3)对于分割得到的每一个物体，借助训练集进行监督分类。

步骤3.1)对于分割得到的每一个物体，将它作为待标注对象，提取DESIRE形状特征；

步骤3.2)将训练集的模型按照形状相异距离从小到大的顺序排序，找到K个与待标注对象x在形状上最相近的模型，表示为x_i,i＝1,2,...,K，获得它们的类别标签。在本发明实施例中，所述K的取值范围为大于1且小于训练集里的每个语义类的模型数；

步骤3.3)采用模糊K近邻分类方法进行分类，得到模糊化的分类结果。假设训练集中有c个语义类，将它们表示为C_j,j＝1,2,...,c，

为x属于语义类C_j的概率，则

p_{C_{j}} (x) = \frac{Σ_{i = 1}^{K} p_{C_{j}} (x_{i}) (1 / {| | f (x) - f (x_{i}) | |}_{1})}{Σ_{i = 1}^{K} (1 / {| | f (x) - f (x_{i}) | |}_{1})}, j = 1,2, \cdot \cdot \cdot, c

其中当x_i属于语义类C_j时，反之，

。

步骤3.4)如果待标注对象x属于某一类别的概率大于设定的阈值θ，则认为可用语义类C_j的类别名称来标注x。在本发明实施例中，θ＝0.5。

步骤4)场景模型的语义汇总步骤，将每个物体的语义标签汇集起来，剔除重复，即得到场景模型的语义标签集合。

我们的几何网格场景模型的分割与语义标注系统是采用VS2010设计的，最终的系统界面上包括：场景模型的索引图像与基本信息显示、场景模型的分割结果、对每个分割部分的分类决策结果、推断出的场景所包含的语义标签。

以上对本发明所提供的一种几何网格场景模型的分割与语义标注方法进行详细介绍，本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种几何网格场景模型的分割及语义标注方法，其特征在于包含以下步骤：

步骤1）三维模型训练集建立

步骤2）场景模型自动分割

步骤3）分割结果的分类

步骤4）场景模型的语义汇总

2.根据权利要求1所述的一种几何网格场景模型的分割及语义标注方法，其特征在于，所述步骤1）进一步包含：

3.根据权利要求1所述的一种几何网格场景模型的分割及语义标注方法，其特征在于，所述步骤2）进一步包含：

步骤2.2）将连通集作为初始聚类；

4.根据权利要求1所述的一种几何网格场景模型的分割及语义标注方法，其特征在于，所述步骤3）进一步包含：

步骤3.2）借助训练集，采用Fuzzy-KNN方法对该物体进行监督分类，计算它属于每个语义类的概率；

步骤3.3）根据设定的阈值，来决策该物体的类别标签。