CN111815776A

CN111815776A - 综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法

Info

Publication number: CN111815776A
Application number: CN202010090259.5A
Authority: CN
Inventors: 马艳艳; 孙卫锋
Original assignee: Shandong Hydraulic Technician College
Current assignee: Shandong Hydraulic Technician College
Priority date: 2020-02-04
Filing date: 2020-02-04
Publication date: 2020-10-23

Abstract

本发明提出的是一种综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法，包括如下步骤：(1)基于机载激光数据的快速建模方法；(2)联合车载点云与影像的语义分割框架；(3)融合多源数据的模型自动增强算法。本发明以机载激光点云，车载激光点云和街景影像为研究对象，以模型重建、模型增强与更新为目标，并实现不同平台点云与影像数据的联合处理，充分挖掘各类数据的融合潜力。最终的研究成果将完善车载‑机载数据的融合与精细建模框架，推动点云数据语义分割技术发展，并服务于无人驾驶等新兴应用领域。

Description

综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法

技术领域

本发明涉及的是一种综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法，属于激光雷达和街景影像遥感数据技术处理领域。

背景技术

城市三维模型是基础测绘、智能交通、城市管理和空间分析的重要基础。近年来随着自动驾驶和自主物流的发展，对三维模型的准确度和精细度提出了更高的要求。例如在无人驾驶中，精细的三维模型能够辅助车辆导航及停靠。在过去的研究中，机载激光雷达和车载激光雷达是重建城市三维模型的重要数据来源。机载激光雷达数据是在空中进行采集，它含有丰富的屋顶信息，但立面信息相对较少。车载激光雷达数据沿街道采集，包含丰富的立面信息，但屋顶信息很少且观测不完整，从而导致建筑轮廓不完整。因此，将车载激光雷达获取的精细的立面信息(例如窗户和阳台)与粗糙的建筑模型(例如由机载激光雷达数据生成的模型)相结合，由此获得增强的精细三维模型成为一种极具潜力的技术设想。

事实上，实现这种技术设想存在诸多问题。在机载点云建筑重建中，如何快速构建稳定、密合的三维模型依旧没有得到很好的解决，例如如何处理数据缺失，减少大量的先验假设，复杂屋顶探测等。车载激光雷达采集到点云数据通常具有海量的体积，由遮挡和扫描模式造成的不规则的数据缺失，以及密度变化极其不均匀等特点，从而对数据处理鲁棒性和普适性提出了很高的要求。此外，精细立面模型的构建需要分别重建各个局部结构，如窗户，阳台等，因此需要准确的语义标注作为基础。然而，车载点云的语义分割问题目前没有得到很好的解决，例如激光点云的语义分割通常只基于局部几何特征，而这些特征受到密度变化，数据缺失等诸多因素的影响。目前，车载激光雷达设备通常搭载了固定姿态的相机，可以采集到大量的影像数据，为车载点云提供色彩和纹理信息，但如何联合车载激光点云和对应的影像数据，目前也并没有切实可行的技术方案。整体而言，联合机载数据与车载数据进行城市模型增强主要面临以下难点：1)由于建筑形态各异，如何使用较少的预定义规则，从机载点云中快速构建大场景建筑轮廓模型，对算法的鲁棒性和普适性有很高的要求；2)由于精细的三维模型依赖于准确的点云语义分割结果，而车载激光点云数据缺失严重，密度变化大，且缺乏纹理色彩信息，因此如何联合点云与影像数据进行细粒度的语义标记成为难点；3)在融合机载数据和车载数据过程中，很难评估和调整不同数据源包含的误差(几何误差和语义标记误差)，并最大程度上实现两者的优势互补。

(1)基于机载点云的建筑三维建模

3D建筑模型在数字城市中是一个非常显著的特征，在其他应用方面也是如此，如地理信息系统、城市规划、灾害管理、应急响应以及虚拟/增强现实等。目前由于城市的快速发展以及即时信息的需求，3D建筑自动重建在摄影测量和计算机视觉方面一直都是研究热点，许多学者提出了基于摄影测量数据或者 LiDAR数据的建模方法。但是对于大范围的建筑自动建模一直都是一项困难而且耗时的工作，尤其结构复杂的建筑物3D重建是一个具有挑战性的问题。

目前基于机载LiDAR数据的复杂建筑3D模型重建方法主要为数据驱动。数据驱动方法是基于建筑物外形为多边形这一假设，例如建筑屋顶均为平面。因此通常基于数据驱动的方法利用分割算法进行的是平面分割，这些分割算法包括区域增长、随机采样一致性(Random Sample Consensus，RANSAC)、霍夫变换和聚类。然后基于屋顶分割结果，再根据屋顶面片的邻接关系就能够构造出建筑物模型。国内学者基于数据驱动也做了较多的研究，针对复杂建筑物提出基于关键点检测的模型自动重建方法，利用拓扑约束获取屋顶交线和交点，最终获取到高精度的三维建筑物模型，根据聚类得到屋顶面片，进行屋顶平面拟合，然后提取建筑物边界和各屋顶面片边界，从而获得屋顶各角点的三维坐标来构建建筑物模型。数据驱动能够重建复杂建筑物模型，而高分辨率航空影响作为补充数据能够使模型重建更加精细。不少学者利用高分辨率CCD影像几何形状显著的特点，从LiDAR数据获取建筑高度赋予相应建筑轮廓线来得到建筑3D模型。譬如提出一种多视角航空影像结合LiDAR数据实现建筑精细建模的方法，亦或首先进行屋顶分割，再通过摄影测量数据和LiDAR数据的融合精确提取出屋顶面片边界，从而得到复杂结构的建筑物模型。在最近十年里，还有许多学者也提出了LiDAR数据与光学影像相结合的建筑模型重建方法。在这些已提出的方法中，线段和平面面片主要用于构造基元和拓扑关系，而拓扑关系可以构造出粗略的建筑模型，然后利用光学影像就可以得到精确的建筑物模型。上述提到的方法虽然基于2D图像的边界检测算法效果很好，但是在混合图像中面临的主要挑战是匹配模糊。在基于机载LiDAR数据的复杂建筑3D模型重建方法研究中，也有很多学者在数据驱动下加入了经验模型，成为数据驱动和模型驱动的混合建模方法：譬如通过数据驱动和模型驱动方法的融合以及利用图像和LiDAR数据的优点建立一种建筑模型全自动生成框架。首先从LiDAR数据提取出建筑点云和边界；然后将提取出的不规则建筑边界融合到基于模型的图像处理策略中，即可得到规则的建筑边界；接着对建筑屋顶边界利用最小边界矩形算法分离得到组成屋顶的基元；最后通过基于模型的图像匹配从影像获取的边界线对建筑模型基元进行调整，从而得到精度更高的建筑模型。或者是结合数据驱动与模型驱动的优点，将DSM进行二维空间划分，然后利用吉布斯模型控制基元组合和数据拟合，最后利用贝叶斯后验概率求解模型的最优参数，该方法只适用于大场景，能够对不同分辨率的DSM进行屋顶建模。混合模型虽然结合了数据驱动和模型驱动的优点，但是也受限于两者的缺点，特别是难以建立完整的基元库。

综上所述，利用数据驱动构建城区屋顶大场景的三维建筑模型能够最大限度的保留屋顶细节信息，不受限预定义基元模型库的限制，且对于复杂多样的建筑具有很强的适用性。但该方法对数据质量要求较高，点云密度、建筑点云完整性以及点云空间分布不均匀性也都会影响重建结果。但是随着激光雷达扫描系统技术不断升级以及对数据质量的重视，目前获取的机载LiDAR数据质量包含了比较丰富的细节信息，密度也有了极大地提升，这在很大程度上弥补了数据驱动方法的不足，极大地扩展了数据驱动应用的范围和领域，是目前机载建筑建模的一个趋势。

(2)基于车载点云的建筑模型重建与增强

从车载激光点云中重建三维建筑模型是近年来的车载点云数据处理的研究热点。首先采用区域生长算法分割点云，然后根据建筑不同部件的先验知识，如墙面朝向，窗户形状等，标记不同的语义部件，最后通过多边形拟合获得车载建筑模型。譬如车载激光点云首先被监督学习算法分为建筑，植被，车辆等类别，然后建筑点云被切割成较小的平面基元，而一系列的平面基元又可以组合成预先定义的屋顶，长方体等语义部件，最终的建筑模型可以通过组合不同的语义部件来获得。有学者提出了一种直接通过平面基元组合和相交而获取建筑模型的算法，减少了对复杂基元库的依赖。在城区建筑建模方面，基于街景影像的三维重建方法获得了较多的研究，但是该类数据精度较低且通常需要转换成点云再处理。因此，基于车载激光雷达数据的立面重建在精度上更加可靠。有学者提出了一种基于平面检测的建筑立面点云识别算法，并通过模型求交完成了对建筑脚印的绘制，但立面上的细节信息已经丢失。在立面细节(如窗户，阳台)重建方面，不少学者提出一种基于智能盒子(基元)捕捉立面局部细节结构的方法，该方法依赖于盒子的初始定义，并需要一定的人机交互。还有学者首先将立面点云转换为二维深度图像，并采用监督学习的方法对图像进行语义标记，包括屋顶，橱窗，门，窗户等。最后，将拟合后各个语义部件进行优化组合，主要优化的依据包括对称性和结构相似性。该方法依赖于分类的精度，且受数据缺失的影响较大。有研究提出了一种基于模板匹配的立面建模方法。该方法考虑了模板与数据的吻合程度，模板与周围结构的正交性等诸多因素，最后将模板匹配问题转换为一个线性规划的优化问题。该方法在模板匹配与模型增强方面取得较好的成果。但是，该研究主要关注通过图像纹理去增强粗糙模型。还有学者提出一种基于点云数据增强原始建筑立面的算法。该算法首先匹配了车载立面点云与粗糙模型，然后建立了二维模板库，并通过优化预先设计的能量函数模型，获得最佳的模型-点云匹配结果。该模型考虑了模板的对称性，数据对齐误差，重复部件的规律等因素，能够在部分数据缺失的情况下依然进行正确的细节增强。然而，该研究的模板库较为简单，且模板匹配过程中只考虑了几何特征而忽略了语义信息。

总之，目前基于车载激光点云的建筑重建研究主要依赖数据分割和模型匹配。在模型增强方面的研究工作较少，且通常只关注数据的几何结构特点，而忽略了语义信息。此外，由于数据采集方式和遮挡等因素，从车载激光点云中获取的三维模型通常只有立面信息，在数据缺失部分只能通过模型求教或模板延拓进行补缺。因此，利用额外的数据源，如机载遥感数据，进行模型的补缺具有重要意义。

(3)激光雷达点云的语义分割

点云语义分割是指对点云进行逐点的类别标记，即点云分类。相比之下，非语义的点云分割方法如min-cut，只进行三维空间中的目标分离，并不获得类别信息。传统的点云分类方法主要组合人工设计的多种点云的局部特征，然后采用监督分类等方法获取逐点标签。常用的点云特征可通过主成份分析获得，可描述平整性、线性等局部特征。在实际应用中，邻域的设计和选择对特征估计的准确性十分重要。有学者提出JointBoost的分类框架，并在机载点云分类中取得较好结果。该框架能够组合多种点云特征，如局部点空间分布模式，基于特征值和特征向量的逐点特征等。另外融合多尺度的点云局部特征可以有效提高逐点分类的精度，通过字典学习的方法，也可提高机载点云的分类精度。在逐点特征分析之外，为了加速点云处理的速度，通过对点云进行三维空间划分，然后以三维格网为处理单元，也能对点云进行语义的标记。

近年来，以卷积神经网络为基础框架的深度学习在点云语义分割中取得了较大的进展。为使卷积神经网络在三维点云的语义分割上发挥出优越的性能，一个直接的方法是将散乱的点云数据转换为规则的体素，以使其适应卷积操作，但转换后面临的主要挑战有数据的空间稀疏性和计算复杂性。其中，降低体素格网的分辨率后，语义分割的精度也会受到数据栅格化的影响。另一种简单的方法是将三维数据投影为图像。譬如有学者首先利用卷积神经网络将同一场景的多视角投影生成的图像进行语义分割，再将每一图像中所有的类别预测反投影至三维点云，以获得最终的语义分割结果。尽管基于图像的方法可在极大地利用经典卷积网络地强大语义分割能力，但几何细节的减少依然会严重降低分割的准确度。而且，边界处理的结果在反向投影时会极大地影响分割结果。

目前，越来越多的基于深度学习的三维数据语义分割方法能够直接处理离散点云数据，但也存在诸多问题。PointNet可以学习无序点云数据的局部特征，但缺乏大尺度几何特征的学习机制，这也使其难以用于细粒度分割和精细的场景生成。PointNet++是PointNet的增强版，它具有分层特征提取和邻域特征提取的功能，还引入了一个非常耗时的球查询分组算法。SPGNet首先利用非监督分割算法将场景切割为匀质的区域，然后以区域为顶点构建超点图，它能将对象各区域间紧凑而丰富的上下文关系表示出来。PointSIFT利用了一种方向编码单元，能够组合多尺度的空间语义特征，一定程度上弥补了PointNet在大尺度特征学习方面的不足。RSNet设计了一个切片池化层，将输入的无序点云特征转化为有序的特征向量序列进行输出，再使用循环神经网络(RNN)对序列中的结构进行建模。但是，切片大小的不同会对分割结果造成很大影响。SGPN则使用单个网络来预测点云聚类和每个聚类对应的分割结果，因此分类结果可从中直接提取。 SPGN的局限在于相似矩阵的大小相对点数呈二次方增加。因此，该方法不能应用于大型户外场景的语义分割。

总体而言，传统的点云语义分割的研究依赖于人工特征，且受密度，遮挡，分类器性能的影响较大。而逐步兴起的深度学习框架，虽然在室内点云语义分割方面取得不错的进展，但在室外点云分类中却少有尝试。这些新兴的点云分割网络，通常还存在计算量过大，丢失大尺度信息等缺点。此外，很少有研究能够联合处理三维点云和街景图像，但随着多源数据的快速积累，提出联合多源数据的语义分割框架十分必要。

本发明以机载激光点云数据，车载激光点云数据和影像数据为输入，以增强的精细三维模型为输出目标。在研究内容上，本发明将关注机载建筑模型快速提取，车载点云与影像联合语义分割，以及融合机载车载平台数据的细粒度模型的重建。相关成果将完善融合车载-机载数据的精细模型生成的研究框架，推动激光点云数据语义分割的技术发展。不仅如此，现有网络地图中的大量粗糙地物模型中也有望基于本发明方法，自动增强为更高精度的三维模型。

发明内容

本发明以机载激光雷达数据生成的粗糙轮廓模型为基础，融合车载激光雷达获取的精细的立面信息，旨在构建增强的精细建筑模型。发明将重点研究如何从机载点云中快速、稳健地提取密合的建筑轮廓模型，如何联合车载点云与影像数据进行细粒度的语义标记并用于精细模型的构建，以及如何在融合粗糙模型和精细模型的过程中，评估不同数据源包含的误差并最大程度上实现两者的优势互补。本发明将提出一种融合车载-机载激光数据及图像信息的精细城市模型生成的框架，研究成果将推动激光点云数据语义分割的技术发展。此外，本发明的研究成果可以增强现有网络地图中的大量粗糙地物模型，服务于高精度地图制作和更新

本发明的技术解决方案：综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法，包括如下步骤：

(1)基于机载激光数据的快速建模方法；

(2)联合车载点云与影像的语义分割框架；

(3)融合多源数据的模型自动增强算法。

本发明的优点：

(1)提出快速稳健的建筑模型生成方法：在现有的研究中，建筑物的提取方法对于茂密的植被还是无法有效剔除，因此建筑物提取工作变得极具挑战性。本发明针对现有建筑物点云提取方法的不足，建立了一种层进式的建筑物提取方法，能够有效地提取出建筑物点云，为后面建筑物模型重建提供了数据支持。同时，通过建筑物外边界与屋顶拓扑图的结合进行建筑物三维模型重建，保证了较高的屋顶点云和屋顶模型贴合度，能够保证一定的建筑物模型几何精度。

(2)提出点云-图像联合处理的理论框架：在现有的研究中，点云与街景图像往往是分开处理，然后对结果进行组合。这种方法存在一个不可避免的问题：点云缺乏纹理与色彩信息，图像缺乏三维信息，而将两者分开处理，无论如何设计算法，始终无法弥补数据的原始缺陷。因而不可避免地产生错误的处理结果，并在后续的合并过程中无法纠正，以至于无法达到多源数据融合的预期效果。本发明基于神经网络技术首次提出的点云-图像联合处理框架，同时处理两类数据，实现了真正意义上的数据融合，进而可以同时提高点云和图像的语义分割精度。

(3)提出融合不同平台数据细粒度模型增强的方案：在现有的三维建模研究中，基于机载数据的建模和基于车载数据的建模往往是独立的研究发明，且国内在联合两类数据进行建模的研究几乎处在空白阶段。事实上，机载和车载点云数据又有各自的优缺点。例如，机载点云数据通常可以获得完整的屋顶轮廓，但没有立面信息；而车载扫描则很难获取完整的立面信息，但能采集局部细节且具有更高的精度。本发明首次提出了一种能够克服两类数据各自缺点，同时保留优点的融合方案。该方案以机载快速模型为基底，以语义分割后的车载点云作为增强数据，因此能获得完整且具有细节的三维模型。

附图说明

附图1综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法总体技术流程图。

附图2(a)基于二分图的点云超体素生成过程中聚类合并过程，从6类到3 类。

附图2(b)基于二分图的点云超体素生成过程中动态二分图更新过程。

附图3联合图像与点云的语义分割框架。

附图4基于车载激光点云的建筑模型增强。

具体实施方式

本发明的整体研究思路如图1所示，共包含三个模块：机载建筑模型提取，点云与图像联合语义分割，模型增强与更新。本研究的基础输入数据是机载激光雷达点云，车载激光雷达点云以及相应的车载影像或匹配的街景图像。在机载建筑模型提取模块中，点云中的建筑物将首先被识别并用于构建粗糙的建筑轮廓模型。在语义分割模块，车载点云所包含的几何信息将与图像包含的色彩纹理及拓扑信息进行融合，以此提高点云的语义分割精度。在此基础上，第三模块的任务是整合建筑相关的语义点云和机载生产的粗糙轮廓模型，以增加三维模型的几何细节和模型精度。

(1)从机载LiDAR点云中提取建筑模型

当前从机载LiDAR点云提取建筑模型的方法分为两类：模型驱动方法和数据驱动方法。数据驱动方法适用于复杂结构的建筑模型重建，且随着硬件技术的不断提高，机载激光雷达获取的LiDAR数据点云密度已经达到数据驱动方法对数的质量要求。本发明基于此方法开展从机载LiDAR点云提取建筑模型的研究。建筑模型流程主要经历以下三个过程：

①建筑点云提取：现有多数建筑物自动提取方法在利用点云特征进行建筑物点云检测时，忽略了建筑物点云的同质性和完整性，导致建筑屋顶点云的错分或者丢失。为有效地从中提取出建筑点云数据，本发明综合利用地物特征信息，采用层进式的提取方法。首先对原始点云滤波分离出地面点和非地面点，在此基础上利用植被点云多回波特性和法向量分布特性检测并剔除大部分植被点；然后采用连通成分分析进行聚类得到初始建筑物区域；最后结合几何和空间分布特征分离得到建筑物屋顶点云。

②建筑屋顶分割：采用屋顶拓扑图进行屋顶模型重建时，一个非常关键的问题是如何建立建筑物的屋顶面拓扑图，而拓扑图的建立关键在于如何实现屋顶面的准确分割。针对屋顶分割过程中常出现的过分割问题，本发明对基于点云法向量的聚类增长分割算法进行了优化，同时也对RANSAC分割算法结果进一步优

③建筑模型重建：在完成屋顶分割基础上，本发明提出了一种改进的基于拓扑图的建筑屋顶模型重建方法。边界不仅代表了建筑物的位置，也代表了建筑物墙面的位置。该方法首先采用α-shape算法得到边界点云，并结合边界正规化规则提取出建筑边界。然后基于屋顶面片相交结果建立屋顶拓扑图，根据拓扑图揭示的面片相交关系得到屋脊线，再结合由邻近边界线段所构造的墙面即可得到相关屋顶平面的其它关键边界线段。最后根据每个面的关键线段构建封闭多边形，对于关键线段少于两条的屋顶面片，本发明直接求取其外接多边形。通过组合这些封闭多边形实现建筑屋顶模型三维重建。也就是采用先分割后匹配的策略，具体而言方案如下：

1)基本建筑分割单元的匹配：分割单元模型匹配的核心任务是探测分割单元屋顶结构类型和对应最优屋顶结构参数，抽象目标函数设计如下：

其中，N为分割单元所含面片数目，f(χ_p，α)为最小二乘拟合函数，P为分割单元内部点集，α为基元模型参数向量。假如事先可以确定分割单元屋顶类型，那么直接利用Gaussian Newton或Levenberg-Marquardt算法可快速求解公式(1)，得到最优参数α^*。但在缺乏先验知识的情况下，分割单元屋顶类型难以事先预估，为搜索最优模型基元，本发明耦合马尔可夫蒙特卡罗(MCMC)与模拟退火算法，从模型库自动匹配，求解最优模型参数α^*。为降低模拟退火算法的时间复杂度，对部分简单屋顶结构基元，可直接采用统计分析方法，以简化匹配过程。该方法首先探测出分割单元屋顶结构类型，然后采用公式(1)求解最优参数α^*。具体操作如下：在二维空间中将当前分割单元等分成八个三角子区域(相同颜色代表相同朝向的屋顶面片)，依据RANSAC算法得到的屋顶面片分割结果及点云法向量，分配分割单元点云到相应子区域，最终通过对子区域点云统计分析，确定最适合分割单元的屋顶结构。

2)规则曲面几何元素的匹配：在利用改进的RANSAC算法分割建筑屋顶面片时，圆柱、圆锥和圆球等规则曲面几何元素已经被精确提取，因此直接利用其最优模型参数θ^*构建相应几何模型。

3)复杂分割单元屋顶的简化建模：假如上述所有匹配完成后，公式(1)仍然存在较大残差，说明模型库中现有基元不足以表达当前分割单元，对于该类分割单元，本发明直接简化由原始点云构建的三角网，以保持当前复杂分割单元的建筑屋顶的结构细节。

(2)联合车载点云和街景影像的语义分割方法

本发明基于卷积神经网络，提出一种联合点云与图像的语义分割框架。首先，点云的局部逐点特征通过逐点卷积学习获得，而点云的大尺度空间特征则通过构建基于超体素的图卷积网络。在进行数据融合前，图像的语义特征可以通过经典的全卷积网络(Fully convolutional network，FCN)学习获得。然后，图像与点云在三维空间进行映射，并将相同空间位置的逐点特征与像素特征进行联合，最后输入到图卷积网络中，对点云和图像进行语义分割。

①点云体素生成方法：由于点云中的逐点特征只能代表数据的局部信息，难以捕获更大尺度上的几何与形状特征。近年来，越来越多的研究发现点云的非局部特征在目标识别和分类中有显著作用。因此，本发明拟通过深度网络组合点云的逐点特征与非局部空间特征。在构造网络之前，首先对原始点云数据进行超体素分割，而大尺度空间特征则通过学习超体素之间的空间关系而得到。

本发明拟采用基于二分图匹配的层次聚类算法进行点云的超体素结构划分。主要思路以图2为例进行阐述。首先，初始数据中包含六个聚类中心(图2(a) 第一列)，并以此构建出两两相连的二分图结构(图2(b)第一列)。具体地，在算法实践中，点云中的每一个点可以作为初始聚类中心。接着，计算二分图中所有连接边的相似度，相似度越高则选取该边作为匹配边的概率越大。然后，采用匈牙利算法对二分图进行优化，并合并依旧相连的聚类中心。重复以上步骤，动态更新二分图，直到满足算法停止条件。在图2中，六个初始点被逐步合并为三个聚类。至此，每个聚类可以视作一个超体素。本研究的核心是如何测量在二分图中相连聚类的相似性。基础的聚类相似性计算可依据模型(2)。模型设计的目标是使每个超体素包含大致相当数量或体积的点云，且体素内的点云尽可能来自同一地物。

在模型(2)中，e_i，j表示聚类中心c_i和c_j之间的连接边，Φ表示边的集合，相似度测量函数V(*)和D(*)则分别计算了聚类在法向量和欧式空间内的相似性。需要指出的是，该相似度模型具有很强的扩展性能。例如，聚类的色彩和强度相似度也可以通过补充对应的相似度函数来实现。

②基于卷积神经网络的语义分割框架：该框架旨在将输入的车载激光点云进行精细的语义标注。标注类别主要包括地面，车辆，行人，路灯，交通路牌，植被，建筑和其它类(如围栏，消防栓等)。由于点云数据一般仅包含可靠的几何信息，这并不能满足细粒度的分类需求。因此，本发明拟将影像数据中丰富的纹理和色彩信息用于点云的语义分割。基于深度学习技术，点云和图像信息将进行逐点逐像素地进行融合，以此同时提高街景图像和车载激光点云的语义分割精度。发明拟采用的网络结构主要如图3所示。

在点云处理方面，原始点云首先通过基于二分图的聚类方法生成一系列超体素。接着，以超体素为特征学习的最小单元，利用PointNet网络学习得到体素内的逐点特征。其中，每一超体素的全局特征可以通过极大值池化的方法聚合得到，并同时联合逐点特征。在街景图像处理方面，可以采用经典的全连接卷积网络提取逐像素特征。为了提高模型精度并缩短训练时间，采用基于公开图像数据集的预训练模型作为初始模型是一种常用方法。

至此，点云逐点特征，图像的逐像素特征均已通过卷积网络训练得到。为了融合这两类数据特征，受空间转换网络(Spatial Transformer Networks，STN)的启发，发明拟提出一种空间映射网络的思路。其输入数据为三维点云投影到二维图像时的空间投影矩阵。由于原始数据通常含有误差，网络将学习投影矩阵的各个参数，并获得优化后的点云-像素匹配结果。在此基础上，点云特征将与对应的像素特征进行联合。最后，利用三维超体素的空间关系，产生邻近图结构，并采用图卷积的方式进行高级语义信息的融合与提取。该网络结构最终将输出街景图像逐像素和三维点云逐点的语义标记。

由于拟提出的网络框架融合了多源数据，因此在设计误差函数模型时需要考虑除类别错误之外的其它因素。本发明拟采用的能量损失函数如公式(3)所示。

Loss＝l_label+l_correspond+l_consistency (3)

其中，l_label计算了模型预测标签与真实标签之间的差异。l_correspond累计了点云与对应像素标签不一致带来的误差。l_consistency则用于评估局部邻域内，图像像素标签和点云类别标签的一致性。为了使该损失函数最小化，发明拟采用随机梯度下降的优化算法。

(3)基于车载激光点云的建筑模型增强

初始建筑模型和精细语义分割后的车载激光点云将作为建筑模型增强模块的输入数据。为了丰富建筑立面的语义信息，基于上一节提出的语义分割框架，建筑点云可进一步被标记为墙面，阳台，窗户，门和其它类(如橱窗，灯饰等)。在此基础上，从机载激光点云中获取的粗略三维模型将得到增强。该研究思路主要包括四个步骤，分别是：立面分割，数据规则化，模板匹配，和细节模型增强。图4以窗户细节增强为例，展示了完整的研究思路。

首先，通过坐标系统转换，数据匹配将机载数据生成的粗略建筑模型和语义分割后的建筑点云统一到同一坐标系统内。因为不同的建筑立面常用不同的窗户分布模式，所以匹配后的数据将依据立面朝向进行分割。由于数据采集中不可避免的遮挡，立面点云的数据缺失问题不能忽视，本发明拟引入语义部件规则化方法来预测并弥补数据缺失。具体而言，先统计不同的语义部件(如窗户，阳台等) 的位置分布和对称性等特点，例如，同一层的窗户一般拥有相似的形状和高度，然后将学习到的分布模式存入语义部件数据库中，最后设计全自动的语义部件分布模式的识别算法，完成对语义部件的对齐和补缺(规则化)，并同时从模板库中检索出适合数据分布的模板(模板匹配)。最后，通过将检索到的模板与机载数据生成的模型进行求交，三维模型便能得到进一步地增强。

建筑模型细节增强的核心是语义部件的自动化检索，本发明拟将该步骤转换为一个优化模型求解问题。基础的优化模型可描述为：

其中，

表示语义模型数据库中待检索的部件，x_i表示车载点云数据中带语义信息的点云，N_i表示待检索的模型数量，函数T(*)计算了语义点云与模板部件的几何相似度，而函数L(*)计算了语义点云与模板之间的类别相似度。几何相似度旨在测量点云与匹配模板之间的几何距离，而类别相似度旨在测量语义模板在检索中的可信度。根据该模型的具体特性，可以采用线性规划或二次优化算法进行优化求解。本发明的所需的算法和硬件处理平台，特别是车载激光和影像的处理算法要在NVIDIA Drive PX2平台实现实时计算。航空建模的结果可以预先存入，以增强车载系统实时处理。完整系统的最后输出应是精细的LOD3模型。

Claims

1.综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法，其特征是包括如下步骤：

(1)基于机载激光数据的快速建模方法；

(2)联合车载点云与影像的语义分割框架；

(3)融合多源数据的模型自动增强算法。

2.根据权利要求1所述的综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法，其特征是所述步骤(1)综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法具体包括：

①建筑点云提取

为兼顾建筑物机载点云的均质性和完整性，避免建筑屋顶点云的错分或丢失，从而有效地从中提取出机载建筑点云数据，本发明综合利用地物特征信息，采用层进式的提取方法，提取建筑点云：首先对原始点云滤波分离出地面点和非地面点，在此基础上利用植被点云多回波特性和法向量分布特性检测并剔除大部分植被点，然后采用连通成分分析进行聚类得到初始建筑物区域，最后结合几何和空间分布特征分离得到建筑物屋顶点云；

②建筑屋顶分割

采用屋顶拓扑图进行屋顶模型重建时，关键问题是如何建立建筑物的屋顶面拓扑图，而拓扑图建立的关键在于如何实现屋顶面的准确分割，针对屋顶分割过程中常出现的过分割问题，本发明综合点云法向量的聚类增长分割算法和RANSAC(Random SampleConsensus，RANSAC)算法，得到粗粒度的屋顶面片分割结果，在此基础之上进一步采用图割优化，提纯屋顶分割结果，保证屋顶面片分割的精度和屋顶面片分割的拓扑正确性；

③建筑模型重建

在完成屋顶分割基础上，本发明提出了一种改进的基于拓扑图的建筑屋顶模型重建方法，边界不仅代表了建筑物的位置，也代表了建筑物墙面的位置，该方法首先采用α-shape算法得到边界点云，并结合边界正规化规则提取出建筑边界，然后基于屋顶面片相交结果建立屋顶拓扑图，根据拓扑图揭示的面片相交关系得到屋脊线，再结合由邻近边界线段所构造的墙面即可得到相关屋顶平面的其它关键边界线段，最后根据每个面的关键线段构建封闭多边形，对于关键线段少于两条的屋顶面片，本发明直接求取其外接多边形，通过组合这些封闭多边形实现建筑屋顶模型三维重建，即采用先分割后匹配的策略，具体步骤如下：

其中，N为分割单元所含面片数目，f(χ_p，α)为最小二乘拟合函数，P为分割单元内部点集，α为基元模型参数向量，为求解公式(1)，本发明耦合马尔可夫蒙特卡罗(MCMC)与模拟退火算法，从模型库自动匹配，求解最优模型参数α^*，为降低模拟退火算法的时间复杂度，对部分简单屋顶结构基元，可直接采用统计分析方法，以简化匹配过程，统计分析方法首先探测出分割单元屋顶结构类型，然后采用公式(1)求解最优参数α^*，具体步骤为：在二维空间中将当前分割单元等分成八个三角子区域(相同颜色代表相同朝向的屋顶面片)，依据RANSAC(Random Sample Consensus，RANSAC)算法得到的屋顶面片分割结果及点云法向量，分配分割单元点云到相应子区域，最终通过对子区域点云统计分析，确定最适合分割单元的屋顶结构；

2)规则曲面几何元素的匹配：在利用改进的RANSAC(Random Sample Consensus，RANSAC)算法分割建筑屋顶面片时，圆柱、圆锥和圆球等规则曲面几何元素已经被精确提取，因此直接利用其最优模型参数θ^*构建相应几何模型；

3)复杂分割单元屋顶的简化建模：假如上述1)和2)匹配完成后，公式(1)仍然存在较大残差，说明模型库中现有基元不足以表达当前分割单元，对于该类分割单元，本发明直接简化由原始点云构建的三角网，以保持当前复杂分割单元的建筑屋顶的结构细节。

3.根据权利要求1所述的综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法，其特征是所述步骤(2)联合车载点云与影像的语义分割框架具体包括如下步骤：

①点云体素生成方法；

②基于卷积神经网络的语义分割框架。

4.根据权利要求3所述的综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法，其特征是所述步骤①点云体素生成方法具体包括：

本发明通过深度网络组合点云的逐点特征与非局部空间特征，在构造网络之前，首先对原始点云数据进行超体素分割，而大尺度空间特征则通过学习超体素之间的空间关系而得到，因此本发明基于二分图匹配的层次聚类算法进行点云的超体素结构划分，以图2为例进行阐述：首先，初始数据中包含六个聚类中心(图2(a)第一列)，并以此构建出两两相连的二分图结构(图2(b)第一列)，在算法实施过程中，点云中的每一个点可以作为初始聚类中心，接着计算二分图中所有连接边的相似度，相似度越高则选取该边作为匹配边的概率越大，然后采用匈牙利算法对二分图进行优化，并合并依旧相连的聚类中心，重复以上步骤，动态更新二分图，直到满足算法停止条件，在图2中，六个初始点被逐步合并为三个聚类，至此，每个聚类可以视作一个超体素，本发明的核心是如何测量在二分图中相连聚类的相似性，基础的聚类相似性计算可依据公式(2)，模型设计的目标是使每个超体素包含大致相当数量或体积的点云，且体素内的点云尽可能来自同一地物；

在公式(2)中，e_i，j表示聚类中心c_i和c_j之间的连接边，Φ表示边的集合，相似度测量函数V(*)和D(*)则分别计算了聚类在法向量和欧式空间内的相似性，该相似度模型具有很强的扩展性能，譬如聚类的色彩和强度相似度也可以通过补充对应的相似度函数来实现。

5.根据权利要求3所述的综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法，其特征是所述步骤②基于卷积神经网络的语义分割框架具体包括：

该框架旨在将输入的车载激光点云进行精细的语义标注，标注类别主要包括地面，车辆，行人，路灯，交通路牌，植被，建筑和其它类(如围栏，消防栓等)，本发明将街景影像数据中丰富的纹理和色彩信息用于点云的语义分割，基于深度学习技术，点云和图像信息将逐点逐像素地进行融合，以此提高街景图像和车载激光点云的语义分割精度，采用的网络结构如图3所示：原始点云首先通过基于二分图的聚类方法生成一系列超体素，接着以超体素为特征学习的最小单元，利用PointNet网络学习得到体素内的逐点特征，其中每一超体素的全局特征可以通过极大值池化的方法聚合得到，并同时联合逐点特征，在街景图像处理方面，本发明采用经典的全连接卷积网络提取逐像素特征，为提高模型精度并缩短训练时间，本发明采用基于公开图像数据集的预训练模型作为初始模型，通过上述卷积网络训练，得到点云逐点特征和图像的逐像素特征；

为了融合这两类数据特征，受空间转换网络(Spatial Transformer Networks，STN)的启发，本发明提出一种空间映射网络的思路：输入数据为三维点云投影到二维图像时的空间投影矩阵，由于原始数据通常含有误差，网络将学习投影矩阵的各个参数，并获得优化后的点云-像素匹配结果，在此基础上，点云特征将与对应的像素特征进行联合，最后利用三维超体素的空间关系，产生邻近图结构，并采用图卷积的方式进行高级语义信息的融合与提取，该网络结构最终将输出街景图像逐像素和三维点云逐点的语义标记；

由于网络框架融合了多源数据，因此在设计误差函数模型时需要考虑除类别错误之外的其它因素，本发明拟采用的能量损失函数如公式(3)所示：

Loss＝l_label+l_correspond+l_consistency (3)

其中，l_label计算了模型预测标签与真实标签之间的差异，l_correspond累计了点云与对应像素标签不一致带来的误差，l_consistency则用于评估局部邻域内，图像像素标签和点云类别标签的一致性，采用随机梯度下降的优化算法求解公式(3)。

6.根据权利要求1所述的综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法，其特征是所述步骤(3)融合多源数据的模型自动增强算法具体包括：初始建筑模型和精细语义分割后的车载激光点云将作为建筑模型增强模块的输入数据，建筑点云可进一步被标记为墙面，阳台，窗户，门和其它类(如橱窗，灯饰等)，在此基础上，从机载激光点云中获取的粗略三维模型将得到增强，具体由以下四步骤构成：立面分割，数据规则化，模板匹配和细节模型增强(见图4)；

首先，通过坐标系统转换，数据匹配将机载数据生成的粗略建筑模型和语义分割后的建筑点云统一到同一坐标系统内，因为不同的建筑立面常用不同的窗户分布模式，所以匹配后的数据将依据立面朝向进行分割，由于数据采集中不可避免存在遮挡，立面点云的数据缺失问题不能忽视，本发明引入语义部件规则化方法来预测并弥补数据缺失，先统计不同的语义部件(如窗户，阳台等)的位置分布和对称性等特点，例如同一层的窗户一般拥有相似的形状和高度，然后将学习到的分布模式存入语义部件数据库中，最后设计全自动的语义部件分布模式的识别算法完成对语义部件的对齐和补缺(规则化)，并同时从模板库中检索出适合数据分布的模板(模板匹配)，最后，通过将检索到的模板与机载数据生成的模型进行求交，三维模型便能得到进一步的增强，建筑模型细节增强的核心是语义部件的自动化检索，本发明将该步骤转换为一个优化模型求解问题，基础的优化模型可描述为：

其中，

表示语义模型数据库中待检索的部件，x_i表示车载点云数据中带语义信息的点云，N_i表示待检索的模型数量，函数T(*)计算了语义点云与模板部件的几何相似度，而函数L(*)计算了语义点云与语义模板之间的类别相似度，几何相似度旨在测量点云与匹配模板之间的几何距离，而类别相似度旨在测量语义模板在检索中的可信度，根据该模型的具体特性，可以采用线性规划或二次优化算法进行优化求解。