CN110120097A - 大场景机载点云语义建模方法 - Google Patents

Abstract

本发明提出的是一种大场景机载点云语义建模方法，具体包括如下步骤：1）ALS点云场景分类；2）建筑语义基元标识；3）建筑语义重建；4）精度评价。优点：（1）融合当前多种建模思想，体现了建模方法的灵活性；（2）提升了算法处理大规模点云数据的可能性；（3）在几何、拓扑和语义三个层面保证了模型信息的完整性。

Description

大场景机载点云语义建模方法

技术领域

本发明涉及的是一种大场景机载点云语义建模方法，属于建筑模型测量及构建技术领域。

背景技术

提取建筑物几何模型是构建数字化智慧城市的基础和关键，也是目前数字城市建设关注的焦点。激光雷达技术(Light Detection And Ranging，LiDAR)，尤其机载激光雷达扫描技术(Airborne Laser Scanning，ALS)，作为采集大规模建筑三维空间信息的重要手段，具有获取数据周期短、精度高、时效性高、主动性强、扫描场景大等特点，逐渐成为大场景三维建筑数据采集的重要方式。随着激光载荷硬件技术和存储技术的发展，ALS点云精度和密度都有了极大的提高，同时着计算机视觉技术的发展和空中三角测量领域的深度应用，基于低空无人机的影像处理变得更精确和智能，在建筑整体三维信息获取的全面性上互补，从而整体上构建遵循LoD3规范的精细建筑几何模型。

然而，现有ALS点云测量方法数据量大、密度不均质、存在不同程度的遮挡和自遮挡；MVS点云往往也存在不同程度的数据缺失，并且含有大量的噪声、离值点，从不完善的点云中恢复建筑三维模型是当前算法面临的一大挑战。另外，在机载尺度上获取的点云数据往往扫描场景大，所包含建筑的几何结构和建筑风格变化多端，这种复杂建筑的几何结构是建模算法面临的另一大挑战。因此点云数据和重建对象的双重复杂性决定了高效重建大规模且几何精确的建筑三维模型是一项艰巨的任务。另外，伴随着第四次工业革命的深入推进，人工智能、三维打印及虚拟现实等技术席卷全球，也对机载建筑点云的自动化、智能化及实时化几何重建提出了更高的要求。机载建筑点云高效、智能的几何重建研究会极大地促进智慧城市、城市形体分析、灾害评估、三维地图综合和高精度制图等应用的发展。

当前国内外主流建模方法主要包括边界表达建模，先验假设建模，降维建模，分治策略建模和非线性建模等几种建模方法，上述方法均存在不同程度的缺陷：

(1)边界表达建模没有充分利用点云面上信息较为可靠的特点，以致于所创建三维模型在关键点和边界线处的几何精度不高；

(2)严格的先验假设建模虽然能够提升模型的抽象粒度和规则性，但是同时会牺牲模型的几何精度，不利于在大规模点云中重建形态各异的复杂结构建筑；

(3)降维建模思想虽然简化了建模问题，提升了算法的鲁棒性和可扩展性，但削弱了点云在三维空间中所表达信息的全面性和完整性；

(4)分治策略建模往往需要从表示组成物体的部件语义尺度上认知建筑的整体结构，从而合理划分建筑空间，但当前算法多基于局部几何特征分析，在较低的尺度上划分建筑，鲜有顾及建筑全局结构表达；

(5)非线性建模虽然提升了模型的几何精度，但是牺牲了模型的语义表达，弱化了模型边界的显著性。

上述现有技术的缺陷可进一步归纳为下述两个方面的共性问题，亟待解决：

(1)如何在全局尺度上识别建筑的几何结构，并且根据不同语义部件，采用与之匹配的建模策略，最大程度减少不合理先验假设的同时，实现高保真度建筑几何的抽象表达。这一点既决定了对点云信息挖掘的力度和深度，也直接决定了能否将算法扩展到处理大规模点云数据；

(2)如何设计建模原型算法，可以兼顾模型的几何、拓扑和语义三方面的信息表达，从而构建几何精确、拓扑正确和语义丰富的建筑几何模型。这一点直接决定了对后续建筑模型应用的深度和广度，譬如，后续与建筑功能和建筑风格等相关的深度分析和应用。

发明内容

本发明的目的在于克服上述现有建筑模型建模方法存在的各种缺陷，提出一种基于大场景机载点云语义的建筑建模方法，从大场景机载点云中构建几何精确、拓扑正确和语义明确，且遵循LoD3规范的封闭三维流形建筑模型，并在场景分类的基础上分割建筑，赋予每幢建筑在对象层面的语义标签，同时实施基于部件的语义建模，由“非线性参数基元”构建非线性参数部件，由简化后的“非线性自由曲面三角网”构建非线性自由曲面部件，最后采用CSG操作，组装上述各类语义部件，实现复杂建筑重建。

本发明的技术解决方案：大场景机载点云语义建模方法，具体包括如下步骤：

1)ALS点云场景分类；

2)建筑语义基元标识；

3)建筑语义重建；

4)精度评价。

所述的ALS点云场景分类具体包括：

(a)构建内容感知下的多层次对象

将机载激光雷达欧式点云的数据空间映射到二维流形空间然后，在二维流形空间构建基于重心约束的Voronoi图，得到内容感知的点集对象；最后，通过对不同层次阈值的控制，借助NCuts(Normalized Cuts)算法，得到具有内容感知的多层次点集对象和他们间的继承隶属关系；

(b)基于多层次对象的三维胶囊网络模型的表达

首先，在多层次点集对象基础上，体素化各层次下的点集对象，继而实施初始三维卷积操作，初始卷积层的作用是将构建各个层次下点集的局部特征，并将该特征用于胶囊网络模型；

胶囊网络模型中的各个胶囊关系的判别如下：首先，胶囊网络中胶囊j输出的特征向量可通过下式判断：

其中，是胶囊j总的输入特征向量。对于每一层胶囊，总的输入的特征向量是所有j层之下层次胶囊特征向量的加权和：

其中， 是第j层胶囊之下第i层次胶囊输出的向量，为对应的权重矩阵；为胶囊i和胶囊j的耦合系数，定义如下：

其中，b_ij的初始值为0。

通过上述过程即可得到最后一层胶囊的特征向量，再经过FC层，将特征量连成一个完整的向量，得到各个层次下点集的深度学习特征向量；

(c)基于多层次对象的点云分类框架

训练数据被构建成多层次点集对象后，提取各个层次对象的深度学习高层次特征；所有对象的深度学习特征构建完成后，训练得到每个层次的分类器，继而应用到未标记点云的分类中，未知的点集通过多层次的分类器联合标注，一个点集被分配标签l_i的概率为：

其中是多层次对象特征，num表示点集分割次序，(1≤num≤m)，表示分类器针对特定点集对象归属l_i类的输出权重；

将对象的第i个层次下标记为l_i的概率为对象在(i+1)对象下标记l_i的概率为则继承的识别概率的基础上，点集标记为l_i概率为同理，最精细层次对象标记为l_i的概率为最终，最低层次点集标记为l_i的概率表达为：

最后，最低层次对象标记为各个类中概率最高的类别作为对象最终识别结果。

所述的建筑语义基元标识，将点云分为建筑、植被、地面和“其他”四类，然后针对标记后的建筑点云实施连通聚类分析，完成单幢建筑分割；其后进一步实施建筑语义基元标识；具体包括如下步骤：

(a)建筑立面基元：

给定建筑边界线通过最佳标签过程分割出m个潜在的线性基元其中任意的线性基元由点集p₁，p₂，…，p_n组成。整个过程表达如下：

其中，E_alignment控制分割后想线性基元逼近真实建筑轮廓的程度。E_smooth确保位于同一条边界上的点保持相同的标号。E_fidelity抑制产生过度琐碎的分割边界，即分割后的线性基元要尽可能与真实建筑边界保持一致。

设计E_alignment子项为：

E_alignment＝E_distace×E_direction. (7)

E_distance的惩罚欧式距离度量的不一致性：

其中，变量表示点p_j到线性基元之间的欧式距离度量。较大的概率密度意味着点p_j具有较大的可能被分割到线性基元

E_direction惩罚方向向量的不一致性：

其中，表示边界点p_j的局部切线方向。表示线性基元的方向向量。二者之间残差越大，惩罚就越大。符号“·”表示向量的点乘。

利用当前边界点的前后两个直接邻接点作为参考，设计平滑项E_smooth：

其中，表示对p_j的标号。符号“％”表示模运算。如果当前点与其直接邻点标号不一致时，他们之间的欧式距离度量越大，惩罚越小。E_smooth项确保局部邻接点具有相同的标号。

融入E_fidelity项进一步抑制过分割，减少标号数目，提高分割的保真度：

其中，表示线性基元的长度。表示中任意点p_j。符号表示集合中最大长度的线性基元。E_fidelity惩罚较小长度的线性基元，并试图与其他线性基元进行合并，以减少冗余标签。

给定初始标号的前提条件下，通过动态规划、模拟退火、置信传播或图割优化求解该目标函数。

得到线性基元集合后，对这些边界基元实施规则化处理，以保证建筑规则性的几何外，即针对顺序实施平行约束、主方向一致性约束、正交约束和共线约束，从而有效避免多约束间的冲突：

(a)平行约束：如果与近似平行且满足平行约束将确保其完全平行。首先两两比较，继而采用区域增长的扩张算法，将划分到不同的分组：

(b)主方向约束：如果每个线性基元组方向g_i与建筑主方向具有一致性，将该组的方向调整为相应建筑主方向。本项目针对不同数据场景，提出数据驱动和混合驱动两种方法计算建筑主方向

数据驱动：统计建筑内外边界点的局部切线方向、立面和地面的交线方向、建筑屋顶面片的屋脊线方向，构建直方图，然后在直方图中迭代搜索局部极值点，获取建筑所有主方向；

混合驱动：将建筑内外墙边界线在建筑主方向上做环路积分，积分最大值对应的方向即为建筑的主方向，目标函数如下：

其中，表示建筑内外边界的数目。表示中第i个边界段的长度。θ^*即为所求的建筑主方向通过Gauss-Newton或者Levenberg-Marquardt算法迭代求解该函数。

·正交约束：如果基元组g_i与g_j近似正交，|g_i·g_j|＜∈，调整其为严格正交，选择长度最大的基元组作为基准基元组，然后调整另外一个基元组与之严格正交。

·共线约束：针对每个基元组，如果所含有两个线性基元与近似共线，即满足调整其为严格共线。

(b)建筑屋顶基元：采用分层策略，首先提取占据主导地位的线性平面基元，然后提取非线性参数基元(圆柱、圆椎、圆球和圆环)，最后提取非线性自由曲面基元；具体针对如下基元进行提取：

(1)屋顶线性平面基元

首先分析点的局部几何空间，求取位于建筑屋脊线和建筑边界线处的“显著点”，继而根据“立面线性基元”的分割方法，从“显著点”中提取系列线性基元，以此作为约束条件，构建屋顶平面基元最优化分割目标函数。

点的显著性计算公式如下：

其中，P_flatness表示点的平整度，越趋近零，其位于建筑屋脊线的可能性越大。

P_uniformity表征局部点采样的不均一性，越趋近零，其位于建筑边缘处的可能性越大。通过分割显著点集合为一系列线性基元，以这些线性基元作为约束，构建屋顶面片分割能量方程，即给定屋顶点集通过最优化点标记过程将其分割为n个屋顶平面基元最优化屋顶能量方程如下：

E_alignment控制分割后的平面基元与相应平面点云数据的一致性；E_smooth确保点云在局部空间标号的一致性。为此，E_alignment子项设计为：

其中，变量∈表示粗差阈值，用来控制生成集合。表示相应分割面片的点云数目。表示点p_j到平面基元的欧式空间度量。E_alignment子项将惩罚建筑屋脊点、边界点、大于∈的离值点。

考虑到屋脊线、边界线等线性基元的约束，E_smooth子项设计为：

在局部球形邻域中的两个点p_i和p_j，如果二者标号不一致，即且被线性基元划分到不同的空间单元，即此时需对当前点实施c₁惩罚；相反应对当前点实施惩罚，且满足0＜c₁＜c₂＜1；采用Gurobi求解器求解目标方程(14)。

屋顶非线性参数基元

首先从平面基元提取后的剩余点中分析当前点所在的局部区域点集反映出的两个主曲率k₁和k₂：

如果高斯曲率k＝0(k＝k₁×k₂)，则选择圆柱抛物面拟合当前局部点集；

如果高斯曲率k＜0，则选择双曲面拟合当前局部点集；

如果高斯曲率k＞0，则选择椭球面拟合当前局部点集；

在此基础上，实施区域增长，将周围的点加入到当前点集中，然后采用最小二乘，实时优化当前曲面参数，直到大于给定残差，结束当前基元的探测。

(3)屋顶非线性自由曲面基元

将非线性参数基元提取后的剩余点组织成无向图，然后在无向图中搜索满足条件的连通分量，即在无向图中搜索分布连续且满足一定面积的点集作为非线性自由曲面屋顶基元。

(c)建筑底面基元：

首先栅格化地面点，采用拉普拉斯方程：填补大面积连续栅格单元数据缺失，继而得到建筑对应的底部平面基元；对于二维离散图像中每个数据空缺栅格单元，令两个维度上二阶差分和为零，以高程作为每个栅格单元求解的变量，以周边非缺失数据栅格单元作为构建拉普拉斯方程的约束条件。即求解将求解空白区域连续栅格单元的高程问题转化为求解系数为正定矩阵的非齐次线性方程组问题。为快速求解面积较大建筑造成地形数据的缺失问题，采用处理大规模正定稀疏矩阵的线性求解器TAUCS，给定建筑底部水平面上特定点的空间坐标和该点的法向向量即可唯一决定底部的平面Ⅱ的方程：其中表示Ⅱ上任意点坐标。

所述的建筑语义重建基于建筑往往由多面体几何模型部件、非线性参数部件和非线性自由曲面部件组合而成的假设，利用各类平面基元构建多面体几何部件，非线性参数基元构建非线性参数部件，非线性自由曲面基元生成非线性自由曲面部件，然后利用CSG布尔操作组装上述部件，形成完整建筑几何模型。具体包括如下步骤：

(a)获取建筑最小外包立方空间，然后按尺寸c划分建筑外包空间为均匀立方体元。

(b)使用建筑所有平面基元进一步将相关的立方体元划分为不规则的多面体体元。

(c)构建三维体元0-1标号最优目标能量方程，从而将多面体几何建模问题转化为三维体元的二值分割问题。

针对非线性参数基元，顾及相应基元的参数表达和所隶属点云的数据范围，生成在一定数据范围约束下的紧凑且封闭的几何体表达，实现非线性参数部件的建模；针对非线性自由曲面基元，利用经典的二次误差测度精简算法实现自由曲面基元的几何体表达，在最大程度上均衡模型的几何精度和紧凑性，实现自由曲面部件的重建；最终利用CSG布尔操作整合上述建筑各类部件，完成最终模型的组装，最后采用“半边数据结构”维护建筑模型中点、线和面之间的拓扑关系。

所述的精度评价具体包括如下步骤：

采用Dublin、Netherlands、USC ALS数据集和国内UAV LiDAR点云数据集，从“参数敏感性”、“鲁棒性”、“可扩展性”、“LoDs表达”和“时空复杂度”五个方面直接评价算法，从生成模型的“几何精确度”、“拓扑正确性”和“语义丰富程度”三个方面间接评价建模算法。

本发明的优点：

(1)融合当前多种建模思想，体现了建模方法的灵活性：受分治策略建模思想的启发，在建筑全局尺度，抽象复杂建筑结构为多面体几何部件，非线性参数部件和非线性自由曲面部件构成的组合体，继而采用不同的策略重建相应的语义部件。利用墙面、屋顶和底部等线性平面基元划分建筑空间为三维体元，将多面体几何部件的建模问题转化为三维体元的0-1标号问题；同时根据先验假设建模的原则，如果某些立面含有足够多的可靠点表达立面基元，则使用相应点云确定所依附的立面，否则拉伸建筑屋顶内外边界线至所依附地面，近似表达建筑立体墙面，完成对建筑立面基元的推理，其中精确提取建筑内外边界线又基于边界表达建模的思想；另外受非线性建模思想的启发，直接采用简化原始三角网模型的方法表达非线性自由曲面部件。

(2)提升了算法处理大规模点云数据的可能性：语义建模以数据驱动为基础，降低对先验假设的依赖，充分挖掘点云的潜力，赋予建筑对象、部件和基元三层尺度上相应的语义信息；建筑对象尺度上的语义标注是在大规模点云数据中融入流处理和并行机制的基础和前提条件，部件和基元尺度上的语义提升了建模算法对复杂建筑结构的自适应能力，有助于重建大规模机载点云中形态各异的复杂结构建筑。

(3)在几何、拓扑和语义三个层面保证了模型信息的完整性：由于针对不同的语义部件采用与之匹配的建模策略，确保了几何保真度；采用CSG操作组合建筑各类语义部件，生成拓扑封闭的三维流形几何，其拓扑关系统一由DCEL数据结构组织，CGS操作、流形几何约束和DCEL数据结构共同确保无差错拓扑，一方面有助于丰富和完善现有的ALS点云建模理论和方法，另一方面亦可为国家基础地理信息模型库提供高质量的三维建筑模型。

附图说明

附图1是本发明的方案流程示意图。

附图2是基于三维胶囊网络模型的ALS点云多层次分类框架示意图。

附图3是屋顶面片基元提取示意图，其中(a)表示屋顶显著点；(b)表示分割后的屋脊线和边界线，不同灰度代表理想状态下不同的线性基元；(c)表示基于线性基元约束下的邻域关系。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

如图1所示的大场景机载点云语义建模方法，整体框架由四部分组成：ALS点云场景分类、建筑语义标识、建筑语义重建和精度评价。

(1)ALS点云场景分类：

为实现ALS点云的分类，本发明建立一种基于多层次对象的三维胶囊网络深度学习模型，得到ALS点云的多层次分类框架。该框架借助深度学习理论中性能更加稳健的胶囊网络模型，充分利用深度学习在显著特征表达方面的优势，设计一种基于多层次对象和三维胶囊网络的深度学习特征表达方法，同时也能顾及深度学习模型内部神经元的相关性，在多层次框架下联合标记点云类别，从而得到建筑点云。

(a)构建内容感知下的多层次对象：由于二维流形空间能更好地描述地物的疏密程度和实体结构表面的复杂程度，本发明将机载激光雷达欧式点云的数据空间映射到二维流形空间然后，在空间构建基于重心约束的Voronoi图，得到内容感知的点集对象；最后，通过对不同层次阈值的控制，借助NCuts(Normalized Cuts)算法，得到具有内容感知的多层次点集对象和他们间的继承隶属关系。

(b)基于多层次对象的三维胶囊网络模型的表达：鉴于胶囊网络模型是深度学习模型中性能稳健模型之一，可以顾及模型中同一层次神经元之间的相关性，提取更显著的特征，且最后一层的全连接层(FC)能够进一步提升特征的显著性。本发明发展了一种三维胶囊模型基础上的多层次训练框架，设计了一种针对三维点云数据的胶囊网络深度学习模型，见图2。首先，在多层次点集对象基础上，体素化各层次下的点集对象，继而实施初始三维卷积操作，初始卷积层的作用主要是将构建各个层次下点集的局部特征，并将该特征用于胶囊网络模型。

胶囊网络模型中的各个胶囊关系的判别如下：首先，胶囊网络中胶囊j输出的特征向量可通过下式判断：

其中，是胶囊j总的输入特征向量。对于每一层胶囊，总的输入的特征向量是所有j层之下层次胶囊特征向量的加权和：

其中， 是第j层胶囊之下第i层次胶囊输出的向量，为对应的权重矩阵；为胶囊i和胶囊j的耦合系数，定义如下：

其中，b_ij的初始值为0。

通过上述过程即可得到最后一层胶囊的特征向量，再经过FC层，将特征量连成一个完整的向量，得到各个层次下点集的深度学习特征向量。

基于多层次对象的点云分类框架：训练数据被构建成多层次点集对象后，提取各个层次对象的深度学习高层次特征。所有对象的深度学习特征构建完成后，训练得到每个层次的分类器，继而这些分类器被应用到未标记点云的分类中，未知的点集通过多层次的分类器联合标注，一个点集被分配标签l_i的概率为：

是多层次对象特征，num表示点集分割次序，(1≤num≤m)，表示分类器针对特定点集对象归属l_i类的输出权重。

在训练过程中，训练数据是手动标记的真值，且每个对象只包含一个特定的对象类别。在测试阶段，最低层次的点集对象只隶属于特定的某一类地物实体，其它层次点集可能包含一类或多类地物实体，因此，本发明仅识别最低层次的对象，以达到点集对象识别的目的。最低层次及其以上层次的对象包含了不同空间尺度的特征，因此，将利用不同层次下的类别标签的概率联合对未知点集对象进行类别标记。当前层次的对象继承其上一层次对象的识别结果。如图2所示，对象的第i个层次下标记为l_i的概率为对象在(i+1)对象下标记l_i的概率为则继承的识别概率的基础上，点集标记为l_i概率为同理，最精细层次对象标记为l_i的概率为最终，最低层次点集标记为l_i的概率数学上可表达为：

最后，最低层次对象标记为各个类中概率最高的类别作为对象最终识别结果。

(2)建筑语义基元标识：

利用上述深度学习的多层次联系分类框架，本发明拟将点云分为建筑、植被、地面和“其他”四类，然后针对标记后的建筑点云实施连通聚类分析，完成单幢建筑分割；其后进一步实施建筑语义基元标识，其目的是对建筑内潜在的线性平面基元、非线性参数基元和非线性自由曲面基元精确提取和识别，为生成建筑部件，实现语义建模奠定基础。

①建筑立面基元：由于ALS点云多为2.5D数据，建筑立面所含点往往不足以表达特定面片，此时通过拉伸建筑内外边界线至所依附地面的方法表达建筑立体墙面。为此，本发明首先采用2D Alpha Shapes算法追踪凹凸多边形建筑的内外边界线，然后恢复边界的拓扑关系，继而根据目标函数实施非凸优化，分割内外边界为一系列线性基元，最后，提出四类正则化策略，规则线性基元集合。

由2D Alpha Shapes算法确定的边界段构成的无向图往往包含多条相互连通的环路且不具备顺序或逆序拓扑。为此，本发明需要从边界段构成的无向图中提取最大环，作为建筑外墙边界，继而再次搜索无向图中满足一定形状约束且未被访问的其他潜在连通分量，作为建筑内墙边界。由于从无向图中提取最大环问题是一个或问题，本发明借鉴解决哈密顿回路(Hamiltonian cycle)问题的思路，拟结合深度优先搜索和回溯方法遍历搜索无向图中潜在环路，从而恢复内外墙边界线拓扑。

为确保建筑边界/墙面表达的紧凑性，本发明拟通过离散优化进一步将建筑边界分割为一系列线性基元的集合。即给定建筑边界线通过最佳标签过程分割出m个潜在的线性基元其中任意的线性基元由点集p₁，p₂，…，p_n组成。整个过程表达如下：

其中，E_alignment控制分割后想线性基元逼近真实建筑轮廓的程度。E_smooth确保位于同一条边界上的点保持相同的标号。E_fidelity抑制产生过度琐碎的分割边界，即分割后的线性基元要尽可能与真实建筑边界保持一致。

本发明主要考虑边界点到线性基元欧式距离度量的一致性和边界段与线性基元方向向量之间的一致性两方面因素，设计E_alignment子项为：

E_alignment＝E_distance×E_directin. (7)

E_distance的惩罚欧式距离度量的不一致性：

其中，变量表示点p_j到线性基元

之间的欧式距离度量。较大的概率密度意味着点p_j具有较大的可能被分割到线性基元

E_direction惩罚方向向量的不一致性：

其中，表示边界点p_j的局部切线方向。表示线性基元的方向向量。二者之间残差越大，惩罚就越大。符号“·”表示向量的点乘。

由于边界蕴含了明确的拓扑，因此本发明利用当前边界点的前后两个直接邻接点作为上下文参考，设计平滑项：

其中，表示对p_j的标号。符号“％”表示模运算。如果当前点与其直接邻点标号不一致时，他们之间的欧式距离度量越大，惩罚越小。E_smooth项确保局部邻接点具有相同的标号。

为了进一步抑制过分割，减少标号数目，本发明融入E_fidelity项，提高分割的保真度：

其中，表示线性基元的长度。表示中任意点p_j。符号表示集合中最大长度的线性基元。E_fidelity惩罚较小长度的线性基元，并试图与其他线性基元进行合并，以减少冗余标签。

给定初始标号的前提条件下，目标函数(6)属于非凸离散优化问题，通过动态规划(借助Gurobi求解器)、模拟退火、置信传播或图割优化均有望求解该目标函数。

得到线性基元集合后，需对这些边界基元实施规则化处理，以保证建筑规则性的几何外观。为此，本发明在单幢建筑的全局尺度上提出了多层次线性基元正则化策略：即针对顺序实施平行约束、主方向一致性约束、正交约束和共线约束，从而有效避免多约束间的冲突。

(1)平行约束：如果与近似平行且满足平行约束将确保其完全平行。首先两两比较，继而采用区域增长的扩张算法，将划分到不同的分组：

(2)主方向约束：如果每个线性基元组方向g_i与建筑主方向具有一致性，将该组的方向调整为相应建筑主方向。本发明针对不同数据场景，提出数据驱动和混合驱动两种方法计算建筑主方向

数据驱动：针对城区场景，建筑几何相对复杂，往往含有多个主方向。本发明统计建筑内外边界点的局部切线方向、立面和地面的交线方向、建筑屋顶面片的屋脊线方向，构建直方图，然后在直方图中迭代搜索局部极值点，获取建筑所有主方向。

混合驱动：针对居民区场景，绝大多数建筑往往含有两个主方向且正交。基于上述假设，本发明提出一种结合数据和先验假设的混合驱动方法，即将建筑内外墙边界线在建筑主方向上做环路积分，积分最大值对应的方向即为建筑的主方向，目标函数如下：

其中，表示建筑内外边界的数目。表示中第i个边界段的长度。θ^*即为所求的建筑主方向可以通过Gauss-Newton或者Levenberg-Marquardt算法迭代求解该目标函数。

(3)正交约束：如果基元组g_i与g_j近似正交，|g_i·g_j|＜∈，调整其为严格正交。在实际操作时，选择长度最大的基元组作为基准基元组，然后调整另外一个基元组与之严格正交。

(4)共线约束：针对每个基元组，如果所含有两个线性基元与近似共线，即满足调整其为严格共线。

②建筑屋顶基元：本发明依然采用分层策略，首先提取占据主导地位的线性平面基元，然后提取非线性参数基元(圆柱、圆椎、圆球和圆环)，最后提取非线性自由曲面基元。逐层次从缩减的点云中提取相应的屋顶基元，一方面可以提高算法效率，另一方面可以有效避免提取屋顶不同类别基元产生的潜在冲突。

屋顶线性平面基元：本发明提出基于屋脊线约束下的屋顶平面基元最优化分割方法，首先分析点的局部几何空间，求取位于建筑屋脊线和建筑边界线处的“显著点”，继而根据上文“立面线性基元”的分割方法，从“显著点”中提取系列线性基元，以此作为约束条件，构建屋顶平面基元最优化分割目标函数。

点的显著性计算公式如下：

其中，P_flatness表示点的平整度，越趋近零，其位于建筑屋脊线的可能性越大。

P_uniformity表征局部点采样的不均一性，越趋近零，其位于建筑边缘处的可能性越大。

通过分割显著点集合为一系列线性基元，以这些线性基元作为约束，构建屋顶面片分割能量方程，即给定屋顶点集通过最优化点标记过程将其分割为n个屋顶平面基元最优化屋顶能量方程如下：

E_alignment控制分割后的平面基元与相应平面点云数据的一致性；E_smooth确保点云在局部空间标号的一致性。为此，E_alignment子项设计为：

其中，变量∈表示粗差阈值，用来控制生成集合。表示相应分割面片的点云数目。表示点p_j到平面基元的欧式空间度量。E_alignment子项将惩罚建筑屋脊点、边界点、大于∈的离值点。

考虑到屋脊线、边界线等线性基元的约束，E_smooth子项被设计为：

在局部球形邻域中的两个点p_i和p_j，如果二者标号不一致，即且被线性基元划分到不同的空间单元，即此时需对当前点实施c₁惩罚；相反应对当前点实施惩罚，且满足0＜c₁＜c₂＜1，如示意图3(c)所示。本发明拟采用Gurobi求解器求解目标方程(14)。

如图3所示的屋顶面片基元提取示意图，其中(a)表示屋顶显著点；(b)表示分割后的屋脊线和边界线；(c)表示基于线性基元约束下的邻域关系，其中p为当前点，圆环表示当前点为中心的局部区域，虚线表示对当前点对所实施的惩罚。

屋顶非线性参数基元：虽然可以通过传统的Efficient RANSAC，Monte Carlo等方法提取非线性参数基元，但是这些算法效率较低，限制了上述方法从大规模点云数据中识别非线性基元的可能性。为此，本发明首先从平面基元提取后的剩余点中分析当前点所在的局部区域点集反映出的两个主曲率k₁和k₂，如果：

(a)高斯曲率k＝0(k＝k₁×k₂)，则选择圆柱抛物面拟合当前局部点集；

(b)高斯曲率k＜0，则选择双曲面拟合当前局部点集；

(c)高斯曲率k＞0，则选择椭球面拟合当前局部点集。

在此基础上，实施区域增长，将周围的点加入到当前点集中，然后采用最小二乘，实时优化当前曲面参数，直到大于给定残差，结束当前基元的探测。针对本发明，圆柱抛物面对应识别建筑的圆柱基元，双曲面对应识别圆环基元，椭球面对应识别圆球基元。柱体可以认为顶角为零度时的圆锥，因此，圆柱抛物面也可以用来识别建筑的圆锥基元；圆球也可以看成圆环(Spindle torus)的特例，因此，椭球面也可以用来识别圆环基元。

屋顶非线性自由曲面基元：本发明将非线性参数基元提取后的剩余点组织成无向图，然后在无向图中搜索满足条件的连通分量，即在无向图中搜索分布连续且满足一定面积(点云数量)的点集作为非线性自由曲面屋顶基元。

③建筑底面基元：由于本发明拟生成空间封闭三维流形建筑几何模型，因此需要建筑底部辅助面片与墙面和屋顶面片共同划分建筑三维空间，从而构成封闭的三维流形建筑几何模型。为此，本发明首先栅格化地面点，拟采用拉普拉斯方程：填补大面积连续栅格单元数据缺失，继而得到建筑对应的底部平面基元。具体而言，对于二维离散图像中每个数据空缺栅格单元，令两个维度上二阶差分和为零，以高程作为每个栅格单元求解的变量，以周边非缺失数据栅格单元作为构建拉普拉斯方程的约束条件。即求解其实质将求解空白区域连续栅格单元的高程问题转化为求解系数为正定矩阵的非齐次线性方程组问题。为快速求解面积较大建筑造成地形数据的缺失问题，本发明采用处理大规模正定稀疏矩阵的线性求解器TAUCS。这样给定建筑底部水平面上特定点的空间坐标和该点的法向向量即可唯一决定底部的平面Ⅱ的方程：其中表示Ⅱ上任意点坐标。

(3)建筑语义重建

本发明基于建筑往往由多面体几何模型部件、非线性参数部件和非线性自由曲面部件组合而成的假设，利用各类平面基元构建多面体几何部件，非线性参数基元构建非线性参数部件，非线性自由曲面基元生成非线性自由曲面部件，然后利用CSG布尔操作组装上述部件，形成完整建筑几何模型。

注：基元属于低层次的语义表达，不蕴含数据空间范围和几何实体的概念，是构成部件的最基本单元。部件则是指满足一定数据范围约束下的封闭几何体表达，相比低层次的语义基元，部件则基于更高语义层次对建筑结构进行抽象、表达和认知。

多面体几何部件作为最重要的建筑部件，占据了建筑模型的主体部分。为构建多面体几何模型，本发明首先均匀划分由建筑平面基元组成的建筑空间，得到一系列三维体元，继而将多面体几何建模问题转化为三维体元的0-1标号问题。具体而言:

(a)获取建筑最小外包立方空间，然后按尺寸c划分建筑外包空间为均匀立方体元。

(b)使用建筑所有平面基元进一步将相关的立方体元划分为不规则的多面体体元。针对每个平面基元，本发明仅划分与其所在数据空间范围直接相交的立方体元，避免在整个外包立方空间划分其他不相关的立方体元，以简化空间划分的复杂度，降低被划分体元的数目。另外，由于对立面进行了正则化处理，同样会降低空间划分的复杂度。

(c)构建三维体元0-1标号最优目标能量方程，从而将多面体几何建模问题转化为三维体元的二值分割问题。

三维体元的二值分割问题可描述为：给定建筑三维体元集合c₁，c₂，…，c_k，利用二值优化，将其分割为外部体元集合和内部体元集合其中对应建筑模型。为此，首先采用虚拟光线跟踪，在建筑的重心放置点光源，以一定的立体角发出光线，假设光线可以穿透任何三维体元但不能透过建筑平面基元，则建筑内部三维体元由于距离点光源比较近，且没有平面基元遮挡，光线与三维体元相交的数量c′_i较大，而建筑外部体元与光线相交机会较少，且通常发生在平面基元的衔接处，因此设计E_los项表达点光源与三维体元的相交频率：

其中，c′_i表示三维体元与虚拟光线交点数量，表示所有体元与虚拟光线交点数目的最大值，表示三维体元的体积。

除考虑E_los项外，由于三维体元组成的模型体积与真实的建筑体积应该保持一致性，为此设计能量项E_vol：

其中，和分别为建筑的真实体积和最小矩形包围盒体积，V_b可以通过建筑内外边界约束下的积分求解。本发明拟通过线性规划求解上述两项约束下的目标方程E_model＝E_los+ηE_vol。

针对非线性参数基元，本发明顾及相应基元的参数表达和所隶属点云的数据范围，生成在一定数据范围约束下的紧凑且封闭的几何体表达，实现非线性参数部件的建模。针对非线性自由曲面基元，本发明拟借鉴“非线性自由曲面三角面片简化”的思路，利用经典的二次误差测度精简算法实现自由曲面基元的几何体表达，在最大程度上均衡模型的几何精度和紧凑性(轻量表达)，实现自由曲面部件的重建。最终利用CSG布尔操作整合上述建筑各类部件，完成最终模型的组装。最后本发明拟采用“半边数据结构”(Half-edge)维护建筑模型中点、线和面之间的拓扑关系。该数据结构非常适合表达三维流形封闭几何，且在拓扑上严格遵循欧拉方程，常用的点、线、面之间邻接拓扑操作在常数时间内即可完成，基于该数据结构亦能够较容易地导出商软标准几何模型存储格式，例如，OBJ、PLY、STL、3DS、DXF和VRML等。

(4)精度评价

本发明采用Dublin、Netherlands、USC、个ALS数据集和拟购置的国内UAV LiDAR点云数据集，从“参数敏感性”、“鲁棒性”、“可扩展性”、“LoDs表达”和“时空复杂度”五个方面直接评价算法。从生成模型的“几何精确度”、“拓扑正确性”和“语义丰富程度”三个方面间接评价建模算法。

本发明通过ALS场景建筑点云的高精度标记，在多层次对象基础上，将多层次结构与深度学习理论相结合，学习得到基于胶囊网络的深度学习特征；同时顾及对象的多层次性及深度学习特征的显著性，设计目标类别归属的联合判别框架，使判别结果既顾及地物实体不同层次的继承性及差异性，又顾及对象特征表达的显著性，达到高精度标记和识别建筑点云的目的。采用建筑多类基元联合提取框架避免多类基元提取产生的潜在冲突，实现从复杂建筑中精确提取线性平面基元、非线性参数基元和非线性自由曲面基元，同时采用多层次语义建模方法，通过组装建筑各类语义部件实现模型重建，实现从语义基元到语义部件的转换，即利用低层次的基元语义，分析建筑结构，生成高层次部件尺度上的语义描述，实现对建筑结构模块化的抽象和表达。

本发明的技术方案具备如下突出的技术优点：

(1)建模点云标记的精确性：设计一种基于三维胶囊网络模型的多层次对象深度学习特征表达方法，该方法得到的对象特征兼具点云的空间结构性和特征的显著性，具有稳定、高效的性能，为高精度建筑点云的分类、识别和精细结构重建提供了数据输入。

(2)建模框架的灵活性和开放性：深度挖掘各类建筑语义部件，基于混合表达思想，充分耦合这些部件，共同致力于表达完整建筑几何。因此本发明提出的语义建模算法不但可以重建由平面组成的多面体建筑模型，还可以重建由非线性参数曲面和非线性自由曲面组成的复杂建筑屋顶。本发明提出的语义建模是一个灵活且开放的建模框架，其他类型的非线性语义部件很容易通过CSG布尔操作融入到当前建模体系，从而更精确地刻画屋顶细节，确保生成LoD3层次细节的高保真度建筑几何模型。

(3)建模方法的鲁棒性和自适应性：建模算法基于数据驱动，将建模问题转化为一系列基元(线性基元、平面元和三维体素基元)的标号和分割问题，通过建立契合具体问题的最优化目标方程，充分耦合数据约束和一定程度的先验约束，得到最优标号。该过程不但最大程度挖掘了点云所蕴含的信息，同时还可以处理一定程度的点云缺失，提升算法鲁棒性和对建筑结构类型的自适应能力。

(4)三维建筑模型信息表达的完整性：建模生成的模型包含了精确的几何、正确的拓扑和丰富的语义三方面完整的模型信息。根据不同的语义部件采用与之匹配的几何表达，保证了精确的几何；CSG操作、流形几何约束和半边数据结构共同保证了无差错拓扑；对象、部件和基元三个尺度的语义确保最终的模型可以继承这些语义信息。完整的模型信息为在更高层次上对模型的深度挖掘和应用(譬如，分析建筑结构、功能和风格等)奠定了扎实的基础。

Claims (5)

1.大场景机载点云语义建模方法，其特征是包括如下步骤：

1)ALS点云场景分类；

2)建筑语义基元标识；

3)建筑语义重建；

4)精度评价。

2.根据权利要求1所述的大场景机载点云语义建模方法，其特征是所述的ALS点云场景分类具体包括：

(a)构建内容感知下的多层次对象

将机载激光雷达欧式点云的数据空间映射到二维流形空间然后，在二维流形空间构建基于重心约束的Voronoi图，得到内容感知的点集对象；最后，通过对不同层次阈值的控制，借助NCuts(Normalized Cuts)算法，得到具有内容感知的多层次点集对象和他们间的继承隶属关系；

(b)基于多层次对象的三维胶囊网络模型的表达

首先，在多层次点集对象基础上，体素化各层次下的点集对象，继而实施初始三维卷积操作，初始卷积层的作用是将构建各个层次下点集的局部特征，并将该特征用于胶囊网络模型；

胶囊网络模型中的各个胶囊关系的判别如下：首先，胶囊网络中胶囊j输出的特征向量可通过下式判断：

其中，是胶囊j总的输入特征向量；对于每一层胶囊，总的输入的特征向量是所有j层之下层次胶囊特征向量的加权和：

其中， 是第j层胶囊之下第i层次胶囊输出的向量，为对应的权重矩阵；为胶囊i和胶囊j的耦合系数，定义如下：

其中，b_ij的初始值为0；

通过上述过程即可得到最后一层胶囊的特征向量，再经过FC层，将特征量连成一个完整的向量，得到各个层次下点集的深度学习特征向量；

(c)基于多层次对象的点云分类框架

训练数据被构建成多层次点集对象后，提取各个层次对象的深度学习高层次特征；所有对象的深度学习特征构建完成后，训练得到每个层次的分类器，继而应用到未标记点云的分类中，未知的点集通过多层次的分类器联合标注，一个点集被分配标签l_i的概率为：

其中是多层次对象特征，num表示点集分割次序，(l≤num≤m)，表示分类器针对特定点集对象归属l_i类的输出权重；

将对象的第i个层次下标记为l_i的概率为对象在(i+1)对象下标记l_i的概率为则继承的识别概率的基础上，点集标记为l_i概率为同理，最精细层次对象标记为l_i的概率为最终，最低层次点集标记为l_i的概率表达为：

最后，最低层次对象标记为各个类中概率最高的类别作为对象最终识别结果。

3.根据权利要求1所述的大场景机载点云语义建模方法，其特征是所述的建筑语义基元标识，将点云分为建筑、植被、地面和“其他”四类，然后针对标记后的建筑点云实施连通聚类分析，完成单幢建筑分割；其后进一步实施建筑语义基元标识；具体包括如下步骤：

(a)建筑立面基元：

给定建筑边界线通过最佳标签过程分割出m个潜在的线性基元其中任意的线性基元由点集p₁，p₂，…，p_n组成；整个过程表达如下：

其中，E_alignment控制分割后想线性基元逼近真实建筑轮廓的程度；E_smooth确保位于同一条边界上的点保持相同的标号；E_fidelity抑制产生过度琐碎的分割边界，即分割后的线性基元要尽可能与真实建筑边界保持一致；

设计E_alignment子项为：

E_alignment＝E_distance×E_direction. (7)

E_distance的惩罚欧式距离度量的不一致性：

其中，变量表示点p_j到线性基元之间的欧式距离度量；较大的概率密度意味着点p_j具有较大的可能被分割到线性基元

E_direction惩罚方向向量的不一致性：

其中，表示边界点p_j的局部切线方向；表示线性基元的方向向量；二者之间残差越大，惩罚就越大；符号“·”表示向量的点乘；

利用当前边界点的前后两个直接邻接点作为参考，设计平滑项E_smooth：

其中，表示对p_j的标号；符号“％”表示模运算；如果当前点与其直接邻点标号不一致时，他们之间的欧式距离度量越大，惩罚越小；E_smooth项确保局部邻接点具有相同的标号；

融入E_fidelity项进一步抑制过分割，减少标号数目，提高分割的保真度：

其中，表示线性基元的长度；表示中任意点p_j；符号表示集合中最大长度的线性基元；E_fidelity惩罚较小长度的线性基元，并试图与其他线性基元进行合并，以减少冗余标签；

给定初始标号的前提条件下，通过动态规划、模拟退火、置信传播或图割优化求解该目标函数；

得到线性基元集合后，对这些边界基元实施规则化处理，以保证建筑规则性的几何外，即针对顺序实施平行约束、主方向一致性约束、正交约束和共线约束，从而有效避免多约束间的冲突：

(a)平行约束：如果与近似平行且满足平行约束将确保其完全平行；首先两两比较，继而采用区域增长的扩张算法，将划分到不同的分组：

(b)主方向约束：如果每个线性基元组方向g_i与建筑主方向具有一致性，将该组的方向调整为相应建筑主方向；本项目针对不同数据场景，提出数据驱动和混合驱动两种方法计算建筑主方向

数据驱动：统计建筑内外边界点的局部切线方向、立面和地面的交线方向、建筑屋顶面片的屋脊线方向，构建直方图，然后在直方图中迭代搜索局部极值点，获取建筑所有主方向；

混合驱动：将建筑内外墙边界线在建筑主方向上做环路积分，积分最大值对应的方向即为建筑的主方向，目标函数如下：

其中，表示建筑内外边界的数目；表示中第i个边界段的长度；θ^*即为所求的建筑主方向通过Gauss-Newton或者Levenberg-Marquardt算法迭代求解该函数；

正交约束：如果基元组g_i与g_j近似正交，|g_i·g_j|＜∈，调整其为严格正交，选择长度最大的基元组作为基准基元组，然后调整另外一个基元组与之严格正交；

共线约束：针对每个基元组，如果所含有两个线性基元与近似共线，即满足调整其为严格共线；

(b)建筑屋顶基元：采用分层策略，首先提取占据主导地位的线性平面基元，然后提取非线性参数基元(圆柱、圆椎、圆球和圆环)，最后提取非线性自由曲面基元；具体针对如下基元进行提取：

(1)屋顶线性平面基元

首先分析点的局部几何空间，求取位于建筑屋脊线和建筑边界线处的“显著点”，继而根据“立面线性基元”的分割方法，从“显著点”中提取系列线性基元，以此作为约束条件，构建屋顶平面基元最优化分割目标函数；

点的显著性计算公式如下：

其中，P_flatness表示点的平整度，越趋近零，其位于建筑屋脊线的可能性越大；P_uniformity

表征局部点采样的不均一性，越趋近零，其位于建筑边缘处的可能性越大；通过分割显著点集合为一系列线性基元，以这些线性基元作为约束，构建屋顶面片分割能量方程，即给定屋顶点集通过最优化点标记过程将其分割为n个屋顶平面基元最优化屋顶能量方程如下：

E_alignment控制分割后的平面基元与相应平面点云数据的一致性；E_smooth确保点云在局部空间标号的一致性；为此，E_alignment子项设计为：

其中，变量∈表示粗差阈值，用来控制生成集合；表示相应分割面片的点云数目；表示点p_j到平面基元的欧式空间度量；E_alignment子项将惩罚建筑屋脊点、边界点、大于∈的离值点；

考虑到屋脊线、边界线等线性基元的约束，E_smooth子项设计为：

在局部球形邻域中的两个点p_i和p_j，如果二者标号不一致，即且被线性基元划分到不同的空间单元，即此时需对当前点实施c₁惩罚；相反应对当前点实施c₂惩罚，且满足0＜c₁＜c₂＜1；采用Gurobi求解器求解目标方程(14)；

(2)屋顶非线性参数基元

首先从平面基元提取后的剩余点中分析当前点所在的局部区域点集反映出的两个主曲率k₁和k₂：

如果高斯曲率k＝0(k＝k₁×k₂)，则选择圆柱抛物面拟合当前局部点集；

如果高斯曲率k＜0，则选择双曲面拟合当前局部点集；

如果高斯曲率k＞0，则选择椭球面拟合当前局部点集；

在此基础上，实施区域增长，将周围的点加入到当前点集中，然后采用最小二乘，实时优化当前曲面参数，直到大于给定残差，结束当前基元的探测；

(3)屋顶非线性自由曲面基元

将非线性参数基元提取后的剩余点组织成无向图，然后在无向图中搜索满足条件的连通分量，即在无向图中搜索分布连续且满足一定面积的点集作为非线性自由曲面屋顶基元；

(c)建筑底面基元：

首先栅格化地面点，采用拉普拉斯方程：填补大面积连续栅格单元数据缺失，继而得到建筑对应的底部平面基元；对于二维离散图像中每个数据空缺栅格单元，令两个维度上二阶差分和为零，以高程作为每个栅格单元求解的变量，以周边非缺失数据栅格单元作为构建拉普拉斯方程的约束条件；即求解将求解空白区域连续栅格单元的高程问题转化为求解系数为正定矩阵的非齐次线性方程组问题；为快速求解面积较大建筑造成地形数据的缺失问题，采用处理大规模正定稀疏矩阵的线性求解器TAUCS，给定建筑底部水平面上特定点的空间坐标和该点的法向向量即可唯一决定底部的平面Ⅱ的方程：其中表示Ⅱ上任意点坐标。

4.根据权利要求1所述的大场景机载点云语义建模方法，其特征是所述的建筑语义重建基于建筑往往由多面体几何模型部件、非线性参数部件和非线性自由曲面部件组合而成的假设，利用各类平面基元构建多面体几何部件，非线性参数基元构建非线性参数部件，非线性自由曲面基元生成非线性自由曲面部件，然后利用CSG布尔操作组装上述部件，形成完整建筑几何模型；具体包括如下步骤：

(a)获取建筑最小外包立方空间，然后按尺寸c划分建筑外包空间为均匀立方体元；

(b)使用建筑所有平面基元进一步将相关的立方体元划分为不规则的多面体体元；

(c)构建三维体元0-1标号最优目标能量方程，从而将多面体几何建模问题转化为三维体元的二值分割问题；

针对非线性参数基元，顾及相应基元的参数表达和所隶属点云的数据范围，生成在一定数据范围约束下的紧凑且封闭的几何体表达，实现非线性参数部件的建模；针对非线性自由曲面基元，利用经典的二次误差测度精简算法实现自由曲面基元的几何体表达，在最大程度上均衡模型的几何精度和紧凑性，实现自由曲面部件的重建；最终利用CSG布尔操作整合上述建筑各类部件，完成最终模型的组装，最后采用“半边数据结构”维护建筑模型中点、线和面之间的拓扑关系。

5.根据权利要求1所述的大场景机载点云语义建模方法，其特征是所述的精度评价具体包括如下步骤：

采用Dublin、Netherlands、USC ALS数据集和国内UAV LiDAR点云数据集，从“参数敏感性”、“鲁棒性”、“可扩展性”、“LoDs表达”和“时空复杂度”五个方面直接评价算法，从生成模型的“几何精确度”、“拓扑正确性”和“语义丰富程度”三个方面间接评价建模算法。