CN109493344A - 一种大规模城市三维场景的语义分割方法 - Google Patents

Abstract

本发明公开一种大规模城市三维场景的语义分割方法，其步骤包括：1)对三维场景模型中的面片进行聚类，将该三维场景模型中表面相邻的若干面片聚成一个超面片，得到若干超面片；2)计算每一所述超面片的几何属性，并根据超面片的几何属性设置该超平面的语义类别；3)使用马尔可夫随机场对步骤2)的语义分类结果进行平滑优化，优化每一所述超面片的语义类别。本发明采用了层次聚类的流程对模型做了平面整理，消除模型中近似平面区域的噪声，提高网格的质量。

Description

一种大规模城市三维场景的语义分割方法

技术领域

本发明属于计算机图形学领域，涉及一种大规模城市三维场景的语义分割方法。

背景技术

通过三维视觉重建方法得到的三维模型是不包含任何语义信息的，即只利用模型的点面几何信息和表面纹理信息，计算机要分辨出模型中的某一部分是现实中的哪一类物体或者物体的哪一个部分是具有较大难度的。另一方面，如果模型被赋予了语义方面的标注，那么模型的其他处理算法都会因为语义信息的加入而获得更理想的结果。语义分割的目的通常是为了把一个三维场景的模型分割成该场景的若干个部件而每一个部件都具有明确的在现实物理世界的对应含义，而且部件彼此之间彼此不重叠，不存在二义性，也就是每个部件一般都具有明确的语义信息。对于大规模城市场景模型来说，在模型的简化和去噪处理中，若三维模型的一块区域被认为是现实世界中的建筑，那么可以认为这块区域会有若干平面组成，进一步地，在简化和去噪过程中加入平面性的约束就成为一个合理的选择；在相邻重建模型拼接的过程当中，形态杂乱无章的树木枝叶在大多数情况下不会提供很多明显特征，相比之下，形状规则整齐的建筑、路面等表面上的特征点就可以作为比较理想的为配准所用的特征点，或者在建立对应点时，将语义看作与点云颜色，法向等相类似的信息，也能提高配准算法的结果。因此，模型的语义分割在许多方面都是有重要意义的。

针对城市模型语义分割，已有以下的一些相关工作。通过级联一系列非监督、基于区域增长的简单二分类器得到整体的带有监督的多分类器(Carlberg M,Gao P,Chen G,etal.Classifying urban landscape in aerial LiDAR using 3D shape analysis[C]//Image Processing(ICIP),2009 16th IEEE International Conference on.IEEE,2009:1701-1704.)，把由雷达采集到的点云数据分割成水面、地面、屋顶和树木几个类别。用几种不同的点云描述子计算得到相对高程信息、平面性、曲率等，把输入点云分为的建筑、地面、树木以及其他部分(Lafarge F,Mallet C.Building large urban environments fromunstructured point data[C]//ICCV.2011.)。设计了高度以及局部高度分布、法向分布和一些雷达信息的几何特征，并通过支持向量机(SVM)的机器学习模型完成对点云的分类(Lodha S K,Kreps E J,Helmbold D P,et al.Aerial LiDAR Data ClassificationUsing Support Vector Machines(SVM)[C]//3DPVT.2006:567-574.)。以上的几个方法进行语义分类的对象以点云为主，而文献(Verdie,Y.,Lafarge,F.,&Alliez,P.(2015).Lodgeneration for urban scenes.ACM Transactions on Graphics,34.)的方法中，该方法在网格模型上同样提取了高度信息、平面性等信息，使用马尔可夫随机场对模型面片进行分类。

上述基于点云的语义分割或者通过稠密点云重建得到的网格进行语义分割的方法，由于具有大量的点云顶点或者面片，导致在这样的模型上进行包括语义分类/分割等算法需要很长的运行时间。

发明内容

针对现有技术中存在语义分割效率低时间长的问题，本发明的目的在于提供一种大规模城市三维场景的语义分割方法。本发明的方法首先进行大规模三维场景模型的预处理和预分割，所谓预分割即通过聚类方法把大规模网格模型进行聚类得到超面片；然后通过计算超面片的各种几何属性，给出每个超面片属于地面、树木、建筑物侧面和顶面四种语义类别之一的可能性；再使用马尔可夫随机场对语义分类结果进行平滑优化，加上语义调整规则，即根据这些属性借助马尔可夫随机场模型为每一个超面片最终生成了语义标签，该无监督的分类算法可以在缺乏训练数据的情况下给出质量不错的语义信息，即可获得每个超面片的语义分类结果；最后，为了提高网格的质量，针对除树木之外可能含有大量平面的类别，本发明采用了层次聚类的流程对模型做了平面整理，消除模型中近似平面区域的噪声，提高网格的质量。

本发明的技术方案为：

一种大规模城市三维场景的语义分割方法，其步骤包括：

1)对三维场景模型中的面片进行聚类，将该三维场景模型中表面相邻的若干面片聚成一个超面片，得到若干超面片；

2)计算每一所述超面片的几何属性，并根据超面片的几何属性设置该超平面的语义类别；

3)使用马尔可夫随机场对步骤2)的语义分类结果进行平滑优化，优化每一所述超面片的语义类别。

进一步的，步骤1)之前，先对该三维场景模型的朝向进行调整，将该三维场景模型中竖直向上的方向调整为z轴的正方向，将该三维场景中地面所在的平面调整到与xy平面平行。

进一步的，对该三维场景模型的朝向进行调整的方法为：首先从该三维场景模型中选取出一顶点集合调整每个顶点p_i的新位置为：其中m为顶点总数；然后通过主成分分析方法计算该顶点集合的三个主方向v₁、v₂、v₃以及对应的特征值λ_a、λ_b、λ_c，设λ_a<λ_b<λ_c主方向v₁所在的直线为该三维场景模型中的近似竖直方向；然后计算该三维场景模型中所有面片面积加权的法向n，结合该法向n和主方向v₁确定出该三维场景模型向上的正方向v，然后根据该正方向v对该三维场景模型进行旋转，将该三维场景模型中竖直向上的方向调整为z轴的正方向，将该三维场景中地面所在的平面调整到与xy平面平行。

进一步的，所述几何属性包括高度属性、平面属性和水平属性。

进一步的，所述高度属性描述了一个面片在局部邻域的相对高度；所述高度属性为：其中z_i是第i个面片f_i的重心的z坐标，z_min是以面片f_i的重心g_i为中心的空间邻域内所有的面片的重心z坐标的最小值、或者为该三维场景模型中所有面片重心或所有顶点的z坐标最小值，z_max是以面片f_i的重心g_i为中心的空间邻域内所有的面片的重心z坐标的最大值、或者为该三维场景模型中所有面片重心或所有顶点的z坐标最大值，a_e(f_i)为面片f_i的高度属性。

进一步的，所述平面属性刻画了一个面片所在的模型局部的平坦程度；所述平面属性为：

λ_i是面片f_i的一个拓扑邻域内所有面片的相邻顶点排列所得矩阵的协方差矩阵的特征值，并且满足λ₀≤λ₁≤λ₂的大小关系，i＝0,1,2。

进一步的，所述水平属性衡量了一个面片方向和水平面的接近程度；所述水平属性为a_h(f_i)＝|n_i·n_z|；其中，n_i为面片f_i的单位法向量，n_z是面片f_i沿z轴正方向的单位向量。

进一步的，优化每一所述超面片的语义类别的方法为：

1)对于步骤2)得到的所有超面片的语义分类结果l，构建一个马尔可夫随机场的能量函数通过该能量函数U(l)确定语义分类结果的质量优劣；其中D_i(l_i)是该三维场景模型上第i个超面片的语义类别l_i的一元能量项，V_ij(l_i,l_j)是第i个超面片的语义类别l_i和第j个超面片的语义类别l_j一起构成的二元能量项，S是超面片集合，E是存在两两相邻关系的超面片对的集合；γ是期望的分类散乱程度；一元能量项的表达式为：

其中，A_i为超面片i的面积，代表了1-a，a取值分别为a_e、a_p和a_h；a_e、a_p和a_h为第i个面片的三种几何属性；

二元能量项的具体表达式为：

其中，1_{.}为示性函数，即当l_i≠l_j时取1，当l_i＝l_j时取0；C_{i j}表示超面片i和j交界的长度；w_ij是超面片i和j的法向量夹角的余弦值；

2)通过求解分类结果l₀＝arg minU(l)，优化每一所述超面片的语义类别。

进一步的，通过两条语义调整的规则对步骤3)处理后的超面片语义类别进行调整；所述规则包括：1)如果若干个相邻的超面片均被分类为树木，且只与被分类为建筑的立面和顶面的超面片相邻，那么计算这些被分类为树木的超面片法向与z轴正方向的夹角，如果夹角小于45度，则被重分类为屋顶，否则被重分类为建筑侧立面；2)如果若干个相邻的超面片均被分类为建筑的侧立面，且只与被分类为地面和树木的超面片相邻，那么这些被分类为侧立面的超面片被重新分类为树木。

进一步的，采用层次聚类方法对步骤3)处理后的该三维场景模型进行平面整理，消除该三维场景模型中近似平面区域的噪声。

与现有技术相比，本发明的积极效果为：

本发明的三维模型语义分割方法针对大规模城市三维模型进行具有语义信息的分割处理，具有分割准确度高，分割后所生成的网格噪声小、特征保持、质量高的特点。

附图说明

图1为本发明的方法流程图；

图2为边收缩操作示意图；

图3为层次二叉树示意图。

具体实施方式

下面结合附图对本发明进行进一步详细描述。

1.预处理：朝向调整

在多数情况下，初始得到的大规模三维城市场景的模型的朝向并不一定和实际情况相同，例如模型场景中竖直向上的屋顶的朝向(法向)并非恰好是z轴的正方向。而在后续语义分割部分中，使用了三维空间顶点的z坐标表示此处的高度，因此第一个步骤就是调整模型的摆放位置和姿态。

基于模型语义分割的实际需求，朝向调整的目标就是把场景中竖直向上的方向调整为z轴的正方向，等价地，需要近似地把地面所在的平面调整到与xy平面平行。由于待处理的城市场景模型的规模较大，因此在与地面平面平行的方向上的跨度较大，而在与地面垂直的方向上的跨度相对就要小很多。根据主成分分析的原理可知，上述需求很适合用主成分分析(PCA)来解决，上面提到的跨度就对应着在该分量上投影的方差。如果输入的模型点数过大，可先在顶点集上做一次均匀的降采样，或者对场景模型的包围盒做一个网格划分，从每个网格中取一个顶点作为代表顶点，从而得到一个代表顶点子集，在代表顶点子集上做主成分分析，朝向调整的步骤如下：

1.1第一步把三维模型的重心调整到坐标原点，即如果整个模型的顶点集合是调整每个顶点p_i的新位置为：

其中

1.2下一步通过主成分分析方法计算输入的三维网格模型的顶点集合的三个主方向v₁、v₂、v₃以及对应的特征值λ_a、λ_b、λ_c，不妨设λ_a<λ_b<λ_c，那么主方向v₁所在的直线就是三维场景模型中的近似竖直方向。但是v₁表示的方向既可能是三维场景模型中竖直向上的方向，也有可能是竖直向下的方向。为了选取正确的方向，首先计算模型中所有面片面积加权的法向：

其中A_i和n_i分别是第i个面片的面积和法向，|F|表示模型中面片的数量。从统计意义上，n可以帮助判定v₁的方向是竖直向上和还是竖直向下。我们有：

于是v就是所需的场景模型中向上的正方向。下面要做的就是对场景模型进行旋转，这个旋转操作可以把v旋转到z轴正方向z＝(0 0 1)^T，为此只需计算旋转所绕的轴u和转过的角度θ：

再利用三维空间中绕轴旋转给定角度的公式即可完成朝向调整。

2.预分割：超面片聚类

采用如文献(Simari P,Picciau G,De Floriani L.Fast and scalable meshsuperfacets[C]//Computer Graphics Forum.2014,33(7):181-190.)的同类超面片聚类方法，通过对大规模模型表面网格进行处理，将模型表面相邻的若干面片聚成一个超面片。通过超面片聚类处理，则可以将整个大规模三维场景的模型分割表示成满足一定几何属性的一系列超面片，将三维模型数据处理的粒度降低，达到对大规模三维场景的模型进行预分割的目的。

3.超面片几何属性度量

本发明先计算每个面片的几何属性，由于每个超面片是由多个面片构成，所以接下来依据一个超面片所包含的多个面片的属性来计算这个超面片本身的几何属性。对于输入的三维模型选取了三种定义在面片上的几何属性：高度属性、平面属性和水平属性。具体的定义和计算方法如下：

·高度属性

高度属性描述了一个面片在局部邻域的相对高度：

其中z_i是第i个面片f_i的重心的z坐标，z_min和z_max是以面片f_i的重心g_i为中心的空间邻域内所有的三角形面片的重心z坐标的最小值和最大值。a_e(f_i)的表达式中的根号整体调整了高度属性，比较小的高度属性值会得到相对更大的提升。这里空间邻域选择球形邻域，邻域半径Re一般选取一个比较大的值以确保能同时覆盖例如建筑顶部的高处和包括地面等的低处，从而可以对地势有起伏的情况有保护作用。在具体实现上，可以使用k-d树的数据结构并采用knn(k近邻)查找方法以取得较好的时间复杂度。

此外，还有一个更直接计算高度属性的办法：直接取上式中的z_min和z_max为整个场景模型中所有面片重心或者所有顶点的z坐标最小值和最大值。这个做法大部分时间效果可以接受，但是当场景中有一个高度远超其他部分的建筑时，会影响到另外面片的高度属性。

·平面属性

平面属性刻画了一个面片所在的模型局部的平坦程度：

这里的λ_i(i＝0,1,2)是面片f_i的一个拓扑邻域内所有面片的相邻顶点排列所得矩阵的协方差矩阵的全体特征值，并且满足λ₀≤λ₁≤λ₂的大小关系。平面属性的设计参照了主成分分析思路，通过模型局部在三个正交特征方向的散乱程度(每个特征方向对应的特征值表示在这个分量上的方差)来表示此处的平坦程度。如果模型的一部分可以近似为一个平面，那么协方差矩阵有两个较大、接近1的特征值，以及一个较小、稍大于0的特征值，进而计算得到一个约等于1的平面属性；如果模型局部包含有朝向各个方向的面片，那么从平均情况上考虑，可以求出三个大小差异不大的特征值，对应地，平面属性的值只会略微大于0。

拓扑邻域，是指从面片f_i开始，按照面的相邻关系向外扩张，最终得到若干个面构成的集合。这里所采用的扩张过程的终止条件是：当从面片f_j第一次扩张到f_k时，如果面片f_k已经和起点面片f_i距离过大，或者面片f_k和f_j所成的二面角过大，即当满足如下公式时：

||g_k-g_i||＞P_p or|n_k·n_j|＞θ_p取消这次到f_k的扩张步骤，g_k和g_i是面片k面片i的重心，n_k和n_j代表了第k个和第j个面片的单位法向量，R_p和θ_p都是依据场景大小、规模和粗糙程度而经验式设定的阈值。这里没有采用和高度属性中相同的空间邻域，是为了可以正确处理例如建筑侧立面和树木树冠距离较近的情况，使两者之间不产生相互干扰。同时，这里的距离阈值R_p比上面计算高度属性时使用的R_e取值一般会小很多，也给予了使用时间复杂度更高的区域增长方法足够的可能性。

·水平属性

水平属性衡量了一个面片方向和水平面的接近程度：

a_h(f_i)＝|n_i·n_z|

式中n_i的定义和上文类似，为面片f_i的单位法向量，n_z则是面片f_i沿z轴正方向的单位向量。通过上面的定义，可以看出所有三种属性的取值均在区间[0,1]内。

在得到每个面片的几何属性之后，我们通过面积加权平均的方法计算得到超面片的各种几何属性，因此，超面片的几何属性的取值也在[0,1]的范围内。同样地，超面片的法向量也由属于该超面片的所有面的法向关于面积加权平均得到。

4.马尔可夫随机场超面片语义分类

基于上一步骤对每一个超面片计算的几何属性，本发明使用马尔可夫随机场为每一个超面片标记为地面、树木、房屋侧立面以及屋顶四种类别的语义之一。马尔可夫随机场有能够给分类结果增加空间上下文的一致性的特点，这恰好解决了前驱步骤仅仅单独考虑了每个超面片的情况而缺乏从整体方面出发的全局优化的不足。具体到此模型分割问题来说，马尔可夫随机场在能量中加入的平滑项，使得它可以考虑相邻超面片之间的相互关系。根据马尔可夫随机场的基本原理，可以为每个超面片标记四种类别的语义之一(也就是为每个超面片都打上了一个标签，而该标签负载了四种类别之一的语义信息)，而接下来最为关键的就是构造能量函数来进行迭代优化超面片的语义分类，具体方法如下文所述。

对于一个模型/场景的所有超面片的分类结果l，构建一个如下的马尔可夫随机场的能量函数，通过该函数给出其语义分类的质量优劣的度量：

其中D_i(l_i)是对于模型上第i个超面片的标签l_i的一元能量项，V_ij(l_i,l_j)是第i个超面片和第j个超面片的标签l_i和l_j一起构成的二元能量项，这两项通过参数γ来调整相对权重，S是所有超面片构成的集合，E则是所有的存在两两相邻关系的超面片对的集合，两个超面片被认为是相邻的当且仅当在这两个超面片中都至少存在一个面片，而这两个面片是相邻的(有至少一条公共边)。

能量函数中的一元能量项的具体表达式可以写为：

这里的A_i为超面片i的面积，自然由组成该超面片的所有面面积相加所得；a_e、a_p和a_h即为第i个面片的三种几何属性a_e(f_i)、a_p(f_i)和a_h(f_i)，而记号代表了1-a。这个一元能量项的定义式来自于一些经验观察：地面和建筑侧立面顶面都是非常平坦的，这当中地面和屋顶的方向和水平面相似，但是这两者一般情况下在高度上的差距明显，而建筑侧面则和水平面基本正交，另外一种类别树木在形态(平面性)上和前三种就有显著不同。

二元能量项的具体表达式为：

这里1_{.}为示性函数，即当l_i≠l_j时取1，当l_i＝l_j时取0。C_ij表示超面片i和j交界的长度，也就是所有既和超面片i又和超面片j相交的边的长度总和。w_ij是超面片i和j的法向量夹角的余弦值，这个系数的作用是在两个相邻超平面之间的夹角很大，两者之间有尖锐特征的情况下，增加这两个面的分属不同类别的可能性。整个二元能量项的意义就是指在相邻超面片分类结果不一样时，需要付出的额外的代价，而它们被赋予相同标签时则不必，因此这一项鼓励相邻的超面片被分入相同的类别。

在一元和二元能量项之间，参数γ起到了重要的调节权重作用，参数γ可以被看作是期望的分类散乱程度：在同一个模型中，γ越小，得到的分类结果中相邻的超面片更容易有相同的标签；γ越大，分类结果的相邻一致性越差。这两种能量项分别由超面片的面积和超面片之间的边界长度加权的形式，和具有分组约束的基于三角面片的能量类似，因此可以通过解决图割(Graph Cut)问题的α-β交换或者α-扩张算法求出使得能量函数最小化的分类结果l₀＝arg minU(l)，这就是本发明所需的最理想的分类。

5.语义调整

上面步骤中所描述的方法并不足以完全解决城市场景大规模模型的语义分割问题，有时满足某种分类的属性条件的超面片在实际情况中并不是属于哪一类别的物体，有两种常见的错误：

1.在建筑屋顶部可能会有一些部件，例如烟囱、排气管等，由于尺寸较小，而且局部也没有较好的平面性，因此会被算法误分为树木；

2.在体积较大的树木上，它的竖直部分易被错认为是建筑的侧立面。

为了纠正这两种错误，考虑到在现实情况中一般屋顶上不会长树，建筑侧立面不会单独出现在树上等，本发明对应地制定了两条语义调整的规则：

1.如果若干个相邻的超面片均被分类为树木，且只与被分类为建筑的立面和顶面的超面片相邻，那么这些被分类为树木的超面片根据其法向和z轴正方向的夹角，如果夹角小于45度，被重分类为屋顶，否则被重分类为建筑侧立面。

2.如果若干个相邻的超面片均被分类为建筑的侧立面，且只与被分类为地面和树木的超面片相邻，那么这些被分类为侧立面的超面片被重新分类为树木。

根据上一步骤马尔可夫随机场语义分类和语义调整这个步骤，每个超面片都被赋予了明确的语义，同时由于每个超面片都有面片构成，则每个面片也都具有了与其所述的超面片相同的语义，也就是语义的分割既赋予了超面片语义，也赋予了面片语义。

6.基于语义信息的平面整理

城市场景的三维模型中常常存在多处表面是一个平面的局部，但是由于各种原因造成的误差不可避免，这些本应该是平面的局部并不足够平整。为了取得更高的模型质量，对这些本应该是平面但是存在误差的局部做平面整理是有实际意义的。在模型中精准地识别平面，同时可以分辨应被去除的噪声和应保留的特征是一个具有挑战性的任务，但是在城市场景模型可以进行语义分类、得到语义信息的情况下，就可更有依据地进行平面识别和整理。

在上面步骤的马尔可夫随机场分类所实现的语义分割中，我们把城市场景模型中的每一个面片分到了地面、树木、建筑物侧立面和建筑物顶面四中类别之一。根据常理，地面、建筑的侧立面、建筑的顶面三种类别中含有平面区域的可能较大，而树木中包含某一个现实中应为平面的局部的概率是比较小的，因此，在地面、建筑侧立面以及顶面进行平面识别和整理是合理的。进一步地，按照上文对这三种较可能含有平面的类别的分析，地面和屋顶两种类别的面片大多和水平面平行，而建筑的侧立面则一般处于竖直方向，两种类别的方向差别明显，因此可以排除存在一块平面区域横跨建筑侧立面以及地面和建筑顶面两者之一的可能。同时，地面和建筑物顶面两种类别之间高度的差距也比较显著，多数情况下两者不会相邻，故亦不太可能出现一块连续平面区域同时含有地面和建筑顶面。综上，模型中的任意一块平面区域，只可能完整地出现在完全由地面、侧立面以及屋顶三种类别之中某一种面片构成的区域中，因此只需在上面这三种之一的面片分别构成的联通分量中搜寻近似平面即可。

按照上面的分析，首先在场景模型中按照相同的语义分类取出场景模型中的连通的区域，随后使用一种层次聚类的方法来寻找一块区域内的近似平面。

·对偶图构造与边收缩

对于一个连通分量，我们构造其对偶图作为算法的初始化。此时，图中的每个顶点都仅包含一个面片，即原场景模型中和该顶点对应的一个面片。接下来在这个图上进行边收缩操作，每次边收缩操作把图中一条边所连接的两个顶点收缩得到一个新的顶点，新生成的顶点保持了所有两个原顶点和其他顶点之间的联系关系。对应到原模型上，一个边收缩操作意味着把两个相邻面合并为一组，之后均视为一个面看待。如图2所示，图中加粗表示的顶点是对偶图中的顶点，实线边则是对偶图中的边；未加粗的顶点、虚线边分别为网格模型中的顶点和边，围成的灰色区域是网格模型的面。图中对连接两个灰色顶点的边进行边收缩操作，于是两个灰色顶点合并为一个顶点，原来与灰色顶点有变相连的顶点和新生成的顶点之间均有边，两灰色顶点在原模型中的对应面被合并视为一个面，即为右边的深色面。

任意一个边收缩操作都不会改变原网格模型的几何或者拓扑信息。这是因为边收缩操作都是作用在一个初始时为对偶图的图上，这时每个面片均独自为一类，一次边收缩操作之后被合并的两个面被聚成了一类，所以改变的只有网格模型的面片聚类关系。边收缩操作不断进行，最终对偶图的所有顶点只剩下一个顶点，这意味着原网格模型所有面也都聚成了一类。这个过程中的某一个层次正是理想的聚类层次，在这个聚类层次下构成一个近似平面的面片都被聚成了一类，再对每一类中的面片做平面整理就是理想的结果了。

·层次二叉树聚类

这个不断进行边收缩操作的过程形成了一个二叉树的结构，每次两个面片类聚在一起合并成为一个新的类，就是二叉树中两个子节点对应着一个父节点的关系。在图3中展示了一种可能的最终四个类聚成一个类的二叉树结构。

我们采用贪心的策略来选择每次进行边收缩操作的目标，对当前的每一条边设置一个收缩代价，每次选取收缩代价最小的边进行边收缩。由于平面检测的目标是使得找到的区域尽可能像平面，这意味着存在一个平面能较好拟合这一个区域，于是拟合误差被使用作为边的收缩代价。对于一条可能被收缩的边，设这条边连接的两个面片类所有相邻的顶点为p_i；i＝1,…,k，如果拟合平面方程可被表示为n·p+d＝0，n是拟合平面的法向，那么这个平面拟合这些点的误差为：

求解使得E_f最小的拟合平面的方法并非显而易见，但是求解最优的结果可以采用主成分分析法。先调整p_i的位置使得所有点的中心位于坐标原点，再计算如下协方差矩阵：

的最小特征值以及对应的特征向量，这个最小的特征向量正是可以最小化拟合误差的平面法向。

通过上述操作，可以得到较为平整的大平面来表示大规模城市场景模型中的某些表面，使得原本应该平整的表面只需要由简洁的平面来表示，同时还能够保持建筑表面的尖锐特征。

以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并不是想要将发明内容限制在实施例所描述的具体形式中，依据本发明内容主旨进行的其他修改和变型也受本专利保护。本发明内容的主旨是由权利要求书所界定，而非有实施例的具体描述所界定。

Claims (10)

1.一种大规模城市三维场景的语义分割方法，其步骤包括：

1)对三维场景模型中的面片进行聚类，将该三维场景模型中表面相邻的若干面片聚成一个超面片，得到若干超面片；

2)计算每一所述超面片的几何属性，并根据超面片的几何属性设置该超平面的语义类别；

3)使用马尔可夫随机场对步骤2)的语义分类结果进行平滑优化，优化每一所述超面片的语义类别。

2.如权利要求1所述的方法，其特征在于，步骤1)之前，先对该三维场景模型的朝向进行调整，将该三维场景模型中竖直向上的方向调整为z轴的正方向，将该三维场景中地面所在的平面调整到与xy平面平行。

3.如权利要求2所述的方法，其特征在于，对该三维场景模型的朝向进行调整的方法为：首先从该三维场景模型中选取出一顶点集合调整每个顶点p_i的新位置为：

其中m为顶点总数；然后通过主成分分析方法计算该顶点集合的三个主方向v₁、v₂、v₃以及对应的特征值λ_a、λ_b、λ_c，设λ_a<λ_b<λ_c主方向v₁所在的直线为该三维场景模型中的近似竖直方向；然后计算该三维场景模型中所有面片面积加权的法向n，结合该法向n和主方向v₁确定出该三维场景模型向上的正方向v，然后根据该正方向v对该三维场景模型进行旋转，将该三维场景模型中竖直向上的方向调整为z轴的正方向，将该三维场景中地面所在的平面调整到与xy平面平行。

4.如权利要求1所述的方法，其特征在于，所述几何属性包括高度属性、平面属性和水平属性。

5.如权利要求4所述的方法，其特征在于，所述高度属性描述了一个面片在局部邻域的相对高度；所述高度属性为：其中z_i是第i个面片f_i的重心的z坐标，z_min是以面片f_i的重心g_i为中心的空间邻域内所有的面片的重心z坐标的最小值、或者为该三维场景模型中所有面片重心或所有顶点的z坐标最小值，z_max是以面片f_i的重心g_i为中心的空间邻域内所有的面片的重心z坐标的最大值、或者为该三维场景模型中所有面片重心或所有顶点的z坐标最大值，a_e(f_i)为面片f_i的高度属性。

6.如权利要求4所述的方法，其特征在于，所述平面属性刻画了一个面片所在的模型局部的平坦程度；所述平面属性为：λ_i是面片f_i的一个拓扑邻域内所有面片的相邻顶点排列所得矩阵的协方差矩阵的特征值，并且满足λ₀≤λ₁≤λ₂的大小关系，i＝0,1,2。

7.如权利要求4所述的方法，其特征在于，所述水平属性衡量了一个面片方向和水平面的接近程度；所述水平属性为a_h(f_i)＝|n_i·n_z|；其中，n_i为面片f_i的单位法向量，n_z是面片f_i沿z轴正方向的单位向量。

8.如权利要求1所述的方法，其特征在于，优化每一所述超面片的语义类别的方法为：

1)对于步骤2)得到的所有超面片的语义分类结果l，构建一个马尔可夫随机场的能量函数通过该能量函数U(l)确定语义分类结果的质量优劣；其中D_i(l_i)是该三维场景模型上第i个超面片的语义类别l_i的一元能量项，V_ij(l_i,l_j)是第i个超面片的语义类别l_i和第j个超面片的语义类别l_j一起构成的二元能量项，S是超面片集合，E是存在两两相邻关系的超面片对的集合；γ是期望的分类散乱程度；一元能量项的表达式为：

其中，A_i为超面片i的面积，代表了1-a，a取值分别为a_e、a_p和a_h；a_e、a_p和a_h为第i个面片的三种几何属性；

二元能量项的具体表达式为：

其中，1_{.}为示性函数，即当l_i≠l_j时取1，当l_i＝l_j时取0；C_ij表示超面片i和j交界的长度；w_ij是超面片i和j的法向量夹角的余弦值；

2)通过求解分类结果l₀＝arg minU(l)，优化每一所述超面片的语义类别。

9.如权利要求8所述的方法，其特征在于，通过两条语义调整的规则对步骤3)处理后的超面片语义类别进行调整；所述规则包括：1)如果若干个相邻的超面片均被分类为树木，且只与被分类为建筑的立面和顶面的超面片相邻，那么计算这些被分类为树木的超面片法向与z轴正方向的夹角，如果夹角小于45度，则被重分类为屋顶，否则被重分类为建筑侧立面；2)如果若干个相邻的超面片均被分类为建筑的侧立面，且只与被分类为地面和树木的超面片相邻，那么这些被分类为侧立面的超面片被重新分类为树木。

10.如权利要求1所述的方法，其特征在于，采用层次聚类方法对步骤3)处理后的该三维场景模型进行平面整理，消除该三维场景模型中近似平面区域的噪声。