CN115619963B

CN115619963B - 一种基于内容感知的城市建筑物实体建模方法

Info

Publication number: CN115619963B
Application number: CN202211417701.6A
Authority: CN
Inventors: 张银松; 池晶; 付智能; 白文博; 余磊; 王凡; 冯德润; 沈文斐; 聂德阳
Original assignee: Geospace Information Technology Co ltd
Current assignee: Geospace Information Technology Co ltd
Priority date: 2022-11-14
Filing date: 2022-11-14
Publication date: 2023-06-02
Anticipated expiration: 2042-11-14
Also published as: CN115619963A

Abstract

本发明适用于测绘技术领域，提供一种基于内容感知的城市建筑物实体建模方法，包括：首先制作语义分割数据集，建立点云语义分割模型，并对点云语义分割模型进行训练和测试，得到城市建筑物点云数据，然后对建筑物点云数据进行平面提取、优化生成候选平面、利用二元线性规划进行选择平面，得到最终的建筑模型实体。本发明方法可以精准的对城市建筑物实景数据进行提取，将实景三维数据进行轻量化处理，自动构建城市建筑物实体，整个方法过程无需人工干预，自动化程度高。

Description

一种基于内容感知的城市建筑物实体建模方法

技术领域

本发明属于测绘技术领域，尤其涉及一种基于内容感知的城市建筑物实体建模方法。

背景技术

实景三维作为新型基础测绘的标准化产品。但目前的实景三维数据主要存在以下几个缺点：1）目前大部分的实景三维模型还在“只能看，不能用”的“一张皮”阶段，无法满足三维地理系统的应用，理解并赋予模型真实场景信息，让机器能感知、识别和使用的语义三维模型必将是未来实景三维模型必备的基础。2）目前的实景三维数据，数据量非常大，对数据的存储、传输和管理造成很大的不便，如何进行模型的轻量化也是实景三维的又一重大挑战。建筑作为人类生产生活的重要载体，建筑物数字化和轻量化是实景三维基础数据表达。

建筑物的数字化就是将建筑物从众多地物中提取出来进行实体编码即语义分割的过程。目前基于三维的语义分割方法广义上分为传统算法和深度学习算法，传统方法需要从几何约束和统计规则出发人工设计特征，这种人为设计特征的方法主观性较强，通常泛化能力较差，适用于小规模特定场景。基于深度学习的方法凭借着自动提取特征的优势逐渐被研究人员所喜爱，并且在实际工程应用中也取得了逐步的发展，但目前的基于三维的深度学习语义分割算法也存在缺陷：只适用于小块点云，对待大规模场景，通常采用切块的方式处理，这一过程不可避免的损害了点云的几何结构，且处理速度很慢，这显然不适用于大规模场景如城市级别点云的分类分割。

建筑物的轻量化就是将实景的建筑模型进行网格简化的过程，目前的建筑物轻量化方法多为人机交互方案，如国内出现的DP-modeler软件，ModelFun软件等，这种人机交互的方案单体精度非常高，但是需要消耗巨大的人力物力。对于自动轻量化重构的方法，主要包括基于屋顶和立面的自动重建方法、基于平面切片和多面体元素选择的方法以及基于学习的方法等，这些算法在建筑物单体上进行重构取得的效果较好，但是对于大场景特别是复杂场景的重构略显不足。

发明内容

鉴于上述问题，本发明的目的在于提供一种基于内容感知的城市建筑物实体建模方法，旨在解决现有建筑物轻量化方法不适用于复杂场景的城市建筑的技术问题。

本发明采用如下技术方案：

一种基于内容感知的城市建筑物实体建模方法，包括下述步骤：

步骤S1、通过点云语义分割模型，对城市实景三维数据进行语义分割与提取，得到城市建筑物点云，其过程为：首先制作点云语义分割数据集，然后搭建点云语义分割模型，最后通过所述点云语义分割数据集对所述对点云语义分割模型进行训练和测试，将当前带有城市建筑物的实景三维数据输入至点云语义分割模型，得到城市建筑物点云；

步骤S2、自动构建建筑模型实体，其过程为：首先对城市建筑物点云的平面进行分割提取得到分割平面，然后对分割平面进行合并优化生成候选平面，最后对候选平面进行选择，形成最终的建筑模型实体。

本发明的有益效果是：本发明首先制作语义分割数据集，建立点云语义分割模型，并对点云语义分割模型进行训练和测试，得到的城市建筑物点云数据，然后对城市建筑物点云数据进行平面提取、优化生成候选平面、利用二元线性规划进行选择平面，得到最终的建筑模型实体。本发明方法可以精准的对城市建筑物实景数据进行提取，将实景三维数据进行轻量化处理，自动构建城市建筑物实体，整个方法过程无需人工干预，自动化程度高。

附图说明

图1是本发明实施例提供的基于内容感知的城市建筑物实体建模方法流程图；

图2是本发明实施例提供步骤S1的流程图；

图3是平面优化的效果示意图；

图4是平面选择的效果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

如图1所示，本实施例提供的基于内容感知的城市建筑物实体建模方法，包括下述步骤：

步骤S1、通过点云语义分割模型，对城市实景三维数据进行语义分割与提取，其过程为：S11、首先制作点云语义分割数据集，S12、然后搭建点云语义分割模型，S13、最后对点云语义分割模型进行训练和测试，将带有城市建筑物的实景三维数据输入至点云语义分割模型，得到城市建筑物点云数据。

本步骤主要实现城市实景三维数据进行语义分割与提取，得到城市建筑物点云。目前对于三维点云语义识别方法分为传统方法和深度学习方法两种：传统方法中，人工设计特征的复杂性和主观性影响了点云分类分割的精度；基于深度学习的点云分类分割方法表现出传统算法无法匹及的精度，但是现有的基于深度学习的点云语义识别方法大部分只能在小场景下，无法运用至大规模如城市级场景中。因此，本步骤提出了一种适用于大规模城市级别的点云语义分割与提取方法。结合图2所示，具体过是：首先制作语义分割数据集，然后搭建点云语义分割模型，最后对点云语义分割模型进行训练和测试。

针对步骤S11,制作语义分割数据集过程，包括下述步骤：

S111、获取城市实景原始点云三维数据。

S112、对对城市实景三维数据进行标注和按训练集、验证集、测试集进行比例划分；

S113、对原始点云三维数据按照采样间隔进行格网点云采样，得到点云语义分割数据集。

本实施例所使用的训练和测试的城市实景原始点云数据均是由实景三维模型上转化而来。本步骤选用Microstation V8I软件对各类数据进行标注，总共分为七类：建筑物（building）、高大植被（high-vegetation）、地面（ground）、车辆（car）、围墙（wall）、杆状物（pole）和未分类（default）。

然后对标注后的数据集按照设定比例如4：1：1进行划分，最后对原始点云数据各划分的数据集按照采样间隔为0.04米的采样间隔进行格网采样。

针对步骤S12，搭建点云语义分割模型过程，具体过程如下：

S121、对于采样得到的点云，随机取出k个中心点，使用k最近邻算法得到k个中心点的邻域范围；

S122、通过编码器在每个中心点的领域范围内进行特征编码，得到编码特征，然后将领域点的初始特征和所述编码特征进行连接，得到融合特征，然后针对每个中心点，通过注意力池化方式得每个中心点的注意力分数，以加权求和方式通过全连接层进行高维特征聚合；

S123、通过解码器使用差值上采样和跳跃连接，将点云的高维语义特征和低层的细节信息进行融合；

S124、最后利用输出的融合特征进行点云语义类别标签的预测。

本实施例中，编码器进行特征增强和随机采样处理，特征增强首先进行特征编码，特征编码是将原始点云利用随机采样随机取出k个中心点，然后利用k最近邻算法求出k个中心点的邻域范围，每个邻域范围内融合中心点坐标、k个邻域点坐标、中心点和邻域点坐标相对位置以及欧氏距离、法向量等特征进行显式地特征编码，得到编码后的编码特征。最后将邻域点的初始特征和编码后的特征进行连接，得到新的融合特征。

经过特征编码后，每个点都携带了高维特征信息并且保留了原始信息，由于点云的无序化特征，通常使用对称函数进行特征的聚合，通常用的是最大值函数、求和函数等。本发明实施例为了增强特征的提取能力，通过注意力池化方式以学习得到每个点的注意力分数，以加权求和的方式通过全连接层进行高维特征聚合。

所述高层语义信息即经过编码器编码所得的特征经过差值上采样后所得到的特征，低层细节信息指的是邻域点的初始特征，高层特征与低层特征通过残差跳跃连接进行融合，利用融合后的特征进行预测。

本实施例的语义分割模型采用图像语义分割的编码器-解码器结构组建，其中编码器采用的是随机采样和特征增强进行互补的结构，解码器结构采用特征融合策略，将点云的高维语义特征和低层的细节信息进行融合，最后利用输出的融合特征进行点云语义类别标签的预测。

现有的点云语义分割网络只适应于小场景的根本原因就是网格间采样计算量巨大。本发明的语义分割模型采用图像语义分割的编码器-解码器结构。其中编码过程采用随机采样方法，并针对随机采样中可能造成的有用信息损失问题提出了特征增强结构，从而与随机采样进行互补。解码过程中采用特征融合策略，进一步提升特征的提取特征。最后利用输出的融合特征对每个点的类别进行预测。

针对步骤S13，语义模型进行训练和测试，具体过程如下：

S131、用训练集和验证集对点云语义分割模型进行训练，调整模型超参数，直至模型损失函数收敛，即可完成训练；

S132、模型训练完成后，对模型进行测试，分析测试结果，并统计检测精度判断是否满足要求。

点云语义分割模型搭建完成后，需要进行模型微调，微调模型中的一些超参数，如迭代次数，训练学习率，采样大小等，之后用训练集和验证集进行训练，在训练时候可以观察损失函数的变化，一般损失函数收敛或近似收敛，即可完成训练。模型训练完成之后，用测试集进行模型测试，测试前通过观察在训练集和验证集上的精度曲线来分析模型是否存在过拟合和欠拟合的情况，然后再进行测试，分析测试结果，并统计检测精度。

当点云语义分割模型训练完成后，对于当前需要实体建模的城市建筑物，将当前城市建筑物的实景三维数据输入点云语义分割模型，得到城市建筑物点云。

步骤S2、根据所述语义模型自动构建建筑模型实体，其过程为：S21、首先对城市建筑物模型的平面进行分割提取得到分割平面，S22、然后对分割平面进行合并优化生成候选平面，S23、最后对候选平面进行选择，形成最终的建筑模型实体。

针对步骤S21，在步骤S1中通过点云语义分割模型实现了对当前城市实景三维数据的语义分割，得到城市建筑物点云，本步骤对当前城市建筑物点云的平面分割。目前三维空间内的平面分割方法分为以下几类：1）基于聚类的方法。2)基于区域生长的方法。3）基于RANSAC的方法。4)基于学习的方法。5）基于体素的方法等。本实施例采用RANSAC方法，相比于其他几种方法，可以有效的抑制部分噪声。通过用RANSAC进行建筑物模型平面的分割。建筑物模型的三维点云经过平面分割聚类成不同的组，每组形成一个平面形状。

针对步骤S22，由上述提取的分割平面可能存在异常值或噪声的干扰，需要对原始提取的平面进行重新优化，设定一定的规则，生成候选平面，过程如下：

S211、将分割平面进行求交，得到的初始平面，将初始平面形成平面对；

S212、计算每对平面对的角度，筛选出角度小于设定阈值且至少有n个点在平面上的平面对，针对每个筛选出的平面对进行合并形成新的平面，最终剩下的平面为候选平面，这里n为最小点数。

具体操作时，首先，从最小角度的平面对（

）开始，设定满足两个条件：1）两个平面对的角度小于阈值/>

，即/>

；2）设定一个最小点数n，至少有超过n个点在分割平面上。满足这两个条件，则合并这两个平面，重新建立新的平面，依此迭代，直到不再合并平面对。最小点数n的含义是，一个平面中至少有n个点，才可以进行平面合并，过滤噪声等。平面对的优化过程如图3所示，左部分为原始的分割平面效果，右部分为合并后的候选平面效果。

针对步骤S23，候选平面生成后，接下来就是对候选平面进行选择，本步骤针对候选平面，利用二元线性规划进行选择。

依靠点与点之间的拓扑关系，生成多个候选平面可以表示为

，共有/>

个候选平面，所述候选平面为多边形平面，在选取的过程中，对候选平面进行编码，这里设/>

表示删除该平面，/>

为选择该候选平面。通过构造二元线性规划函数来求解该问题。二元线性规划函数为：/>

，满足/>

其中，

、/>

、/>

为二元线性规划函数的三个能量项，/>

为常数，a、b、c为二元线性规划函数的三个系数，三个能量项中，/>

为数据拟合项，用于评价所选择的平面对所覆盖的点云的拟合质量；/>

为模型复杂度，用于评价模型的简化程度，要考虑由于模型突出造成的锐边干扰，其中模型复杂度为常数；/>

为顶点覆盖率，用于评价所选平面的顶点的覆盖程度， />

计算由一条边/>

连接的多边形面的数量，/>

强制为0或2，表明一条边只能连接两个多边形面或不连接多边形面，这里的约束条件保证结果模型流形且封闭，/>

代表的是候选多边形面中相邻面形成的边的总数，/>

代表候选平面数量。

对于候选平面

，数据拟合项/>

可以表示为：/>

式中，

为模型的总顶点数，/>

为某邻域区域内每个顶点的置信度，可以表示为：/>

，其中/>

点到面/>

的欧式距离/>

小于/>

，置信度/>

由/>

点的协方差矩阵得出：

其中，

为协方差矩阵的三个依次递增的特征值，其中/>

是评价局部平面的拟合质量，当/>

为1表示最差的点分布，当/>

为0时是完美拟合，/>

是评价局部采样的均匀性。由上面推导可以得出，数据拟合项的取值范围为[0，1]。

模型复杂度定义为模型中锐边的比例，可以表示为：

其中，

为候选平面中相邻面形成的边的总数，当/>

时代表模型中有尖锐边，当/>

时代表两相邻平面对应的边没有尖锐边，为平面边。

顶点覆盖率定义为所选平面的顶点覆盖率，可以表示为：

其中

为最终模型的表面积，这里近似为外包围盒的面积，/>

为候选平面/>

的面积，/>

为原始模型投影到平面/>

的二维面的面积，/>

代表/>

个候选平面。候选平面的选择结果如图4所示，图示左部分为候选平面效果图，右部分为平面选择结果示意图。

综上，本发明为了将城市建筑物实景三维数据数字化和轻量化，提出了一种基于内容感知的城市建筑实体建模方法，可以有效的将城市大场景建筑物进行轻量化重构，便于存储、传输和管理。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于内容感知的城市建筑物实体建模方法，其特征在于，所述方法包括下述步骤：

步骤S1、通过点云语义分割模型，对城市实景三维数据进行语义分割与提取，得到建筑物点云数据，其过程为：首先制作点云语义分割数据集，然后搭建点云语义分割模型，最后通过所述点云语义分割数据集对所述的点云语义分割模型进行训练和测试，将带有城市建筑物的实景三维数据输入至点云语义分割模型，得到城市建筑物点云；

步骤S2、自动构建建筑模型实体，其过程为：首先对城市建筑物点云的平面进行分割提取得到分割平面，然后对分割平面进行合并优化生成候选平面，最后对候选平面进行选择，形成最终的建筑模型实体；

步骤S1中，所述制作点云语义分割数据集的具体过程如下：

S101、获取城市实景原始点云三维数据；

S102、对城市实景三维数据进行标注和按训练集、验证集、测试集进行比例划分；

S103、对原始点云三维数据按照采样间隔进行格网点云采样，得到点云语义分割数据集；

步骤S1中，所述搭建点云语义分割模型的具体过程如下：

S111、对于采样得到的点云，随机取出k个中心点，使用k最近邻算法得到k个中心点的邻域范围；

S112、通过编码器在每个中心点的领域范围内进行特征编码，得到编码特征，然后将邻域点的初始特征和所述编码特征进行连接，得到融合特征，然后针对每个中心点，通过注意力池化方式得每个中心点的注意力分数，以加权求和方式通过全连接层进行高维特征聚合；

S113、通过解码器使用差值上采样和跳跃连接，将点云的高维语义特征和低层的细节信息进行融合；

S114、最后利用输出的融合特征进行点云语义类别标签的预测；

步骤S1中，所述点云语义分割模型进行训练和测试的具体过程如下：

S121、用训练集和验证集对点云语义分割模型进行训练，调整模型超参数，直至模型损失函数收敛，即可完成训练；

S122、模型训练完成后，对模型进行测试，分析测试结果，并统计检测精度判断是否满足要求；

步骤S2中，所述对分割平面进行合并优化生成候选平面的具体过程如下：

S212、计算每对平面对的角度，筛选出角度小于设定阈值且至少有n个点在平面上的平面对，针对每个筛选出的平面对进行合并形成新的平面，最终剩下的平面为候选平面，这里n为最小点数；

步骤S2中，所述对候选平面进行选择的具体过程如下：

S221、候选平面的集合表示为F＝{f₁,f₂,...,f_N}，共有N个候选平面，所述候选平面为多边形面；

S222、通过构造二元线性规划函数对候选平面进行编码，针对第i个候选平面f_i，编码为x_i，其中x_i＝0表示删除该候选平面，x_i＝1为选择该候选平面；所述二元线性规划函数为：

满足/>

其中，E_d、E_s、E_c为二元线性规划函数的三个能量项，E_s为常数，a、b、c为二元线性规划函数的三个系数，三个能量项中，E_d为数据拟合项，用于评价所选择的平面对所覆盖的点云的拟合质量；E_s为模型复杂度，用于评价模型的简化程度，要考虑由于模型突出造成的锐边干扰，其中模型复杂度为常数；E_c为顶点覆盖率，用于评价所选平面的顶点的覆盖程度，ζ(e_j)计算由一条边e_j连接的多边形面的数量，ζ(e_j)强制为0或2，表明一条边只能连接两个多边形面或不连接多边形面，这里的约束条件保证结果模型流形且封闭，|E|代表的是候选多边形面中相邻面形成的边的总数，N代表候选平面数量。

2.如权利要求1所述基于内容感知的城市建筑物实体建模方法，其特征在于，步骤S2中，所述对城市建筑物点云的平面进行分割提取采用RANSAC算法。