CN116258820B - 大规模城市点云数据集与建筑单体化构建方法及相关装置 - Google Patents

Abstract

本申请公开了一种大规模城市点云数据集与建筑单体化构建方法及相关装置，所述方法包括获取目标点云对应的点云特征；基于所述点云特征确定前景语义图、实例感知特征和中心偏移向量，并基于前景语义图选取若干建筑物候选点；基于实例感知特征和中心偏移向量确定关系矩阵，基于关系矩阵确定前景语义图中的各建筑物前景点的单体化标签，以及对单体化标签进行合并以得到候选建筑物单体化结果；基于候选建筑物单体化结果确定建筑物单体化结果。本申请实施例选取若干建筑物候选点并建立建筑物前景点与建筑物候选点间的关系矩阵，基于关系矩阵确定各建筑物前景点的单体化标签，去掉了耗时的逐点聚类过程，提高了三维点云建筑物单体化的精度和速度。

Description

大规模城市点云数据集与建筑单体化构建方法及相关装置

技术领域

本申请涉及计算机图形学技术领域，特别涉及一种大规模城市点云数据集与建筑单体化构建方法及相关装置。

背景技术

建筑物单体化技术是针对建筑物类别的实例分割，旨在获取独立的单栋建筑物分割结果，是三维点云处理中最基本的问题之一，也是理解城市场景的重要手段。

建筑物单体化方法主要分为自顶向下和自底向上的两种技术路线。其中，自顶向下的方法主要先通过目标检测的方法找出物体所在的区域（三维包围框），然后分别在这些区域内进行语义分割，区分前景和背景点，每个包围框里的分割结果都作为一个不同的单体化物体输出；自底向上的方法首先提取逐点的深度特征，再通过聚类、度量学习等方式区分不同的物体。

然而，由于目标检测技术在三维点云处理上的应用尚未成熟，现有的三维点云的单体化技术普遍专注于自底向上的设计思路。但是，自底向上的方法是采取逐点的聚类来完成三维点云的单体化，当面对室外场景的三维点云数据时，由于室外场景的三维点云数据的数据量非常大，会导致逐点的聚类的运算非常耗时，进而会影响三维点云单体化的时间效率，降低三维点云单体化的速度。

因而现有技术还有待改进和提高。

发明内容

本申请要解决的技术问题在于，针对现有技术的不足，提供一种大规模城市点云数据集与建筑单体化构建方法及相关装置。

为了解决上述技术问题，本申请实施例第一方面提供了一种大规模城市点云数据集与建筑单体化构建方法，所述方法包括：

获取目标点云对应的点云特征；

基于所述点云特征确定所述目标点云对应的前景语义图、实例感知特征和中心偏移向量；

在所述前景语义图中的建筑物前景点中选取若干建筑物候选点，基于所述实例感知特征和所述中心偏移向量确定建筑物前景点和候选建筑物点间的关系矩阵，基于所述关系矩阵确定各建筑物前景点的单体化标签，以及对所述单体化标签进行合并以得到候选建筑物单体化结果；

对所述候选建筑物单体化结果进行评分，并基于所述评分确定建筑物单体化结果。

所述大规模城市点云数据集与建筑单体化构建方法，其中，所述基于所述实例感知特征和所述中心偏移向量确定建筑物前景点和候选建筑物点间的关系矩阵具体包括：

基于所述实例感知特征和中心偏移向量确定各建筑物前景点的目标实例感知特征和中心偏移特征，并基于各建筑物前景点的目标实例感知特征和中心偏移特征确定各建筑物前景点的前景特征；

基于各建筑物前景点的前景特征计算各建筑物前景点和各建筑物候选点的特征距离，并基于计算得到的所有特征距离形成关系矩阵。

所述大规模城市点云数据集与建筑单体化构建方法，其中，所述若干建筑物候选点的第一数量为基于所述建筑物前景点的第二数量确定的，其中，第一数量小于第二数量。

所述大规模城市点云数据集与建筑单体化构建方法，其中，所述对所述单体化标签进行合并以得到候选建筑物单体化结果具体包括：

基于中心偏移向量调整各建筑物候选点的位置信息，以得到各建筑物候选点各自对应的目标位置信息；

基于各建筑物候选点的目标位置信息计算若干建筑物候选点中两两建筑物候选点间的建筑物距离，并基于所述建筑物距离将所述若干建筑物候选点进行合并，以得到建筑物目标点集；

将各建筑物前景点的单体化标签映射至建筑物目标点集对应的目标单体化标签集，以得到候选建筑物单体化结果。

所述大规模城市点云数据集与建筑单体化构建方法，其中，所述方法应用经过训练的建筑物点云单体化网络模型，通过所述建筑物点云单体化网络模型执行所述方法过程，其中，所述建筑物点云单体化网络模型包括特征提取模块，并行的语义分支、实例感知分支和中心偏移分支，建筑物候选生成模块以及建筑物得分预测模块，所述特征提取模块分别与所述语义分支、实例感知分支以及中心偏移分支相连接，语义分支、实例感知分支和中心偏移分支均与所述建筑物候选生成模块相连接，所述建筑物候选生成模块与建筑物得分预测模块，其中，所述建筑物候选生成模块包括建筑候选点选择单元、建筑物分组单元以及建筑物合并单元。

所述大规模城市点云数据集与建筑单体化构建方法，其中，所述建筑物点云单体化网络模型对应的大规模城市点云数据集包括若干大规模城市点云数据，其中，每个大规模城市点云数据中的每个三维点均包含9个维度，分别为三个空间坐标，三个颜色值、语义类别、实例编号以及建筑物细分类类别。

所述大规模城市点云数据集与建筑单体化构建方法，其中，所述语义类别包括地面类别、植被类别、水面类别、车辆类别、船舶类别、桥梁类别以及建筑类别；所述建筑物细分类类别包括商业建筑类别、居住建筑类别、办公建筑类别、文化建筑类别、交通建筑类别、市政建筑类别以及临时建筑类别。

本申请实施例第二方面提供了一种大规模城市点云数据集与建筑单体化构建装置，所述装置包括：

特征提取模块，用于获取目标点云对应的点云特征；

获取模块，用于基于所述点云特征确定所述目标点云对应的前景语义图、实例感知特征和中心偏移向量；

建筑物候选生成模块，用于在所述前景语义图中的建筑物前景点中选取若干建筑物候选点，基于所述实例感知特征和所述中心偏移向量确定建筑物前景点和候选建筑物点间的关系矩阵，基于所述关系矩阵确定各建筑物前景点的单体化标签，以及对所述单体化标签进行合并以得到候选建筑物单体化结果；

建筑物得分预测模块，用于对所述候选建筑物单体化结果进行评分，并基于所述评分确定建筑物单体化结果。

本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的大规模城市点云数据集与建筑单体化构建方法中的步骤。

本申请实施例第四方面提供了一种终端设备，其包括：处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如上任一所述的大规模城市点云数据集与建筑单体化构建方法中的步骤。

有益效果：与现有技术相比，本申请提供了一种大规模城市点云数据集与建筑单体化构建方法及相关装置，所述方法包括获取目标点云对应的点云特征；基于所述点云特征确定所述目标点云对应的前景语义图、实例感知特征和中心偏移向量，并在所述前景语义图中的建筑物前景点中选取若干建筑物候选点；基于所述实例感知特征和所述中心偏移向量确定建筑物前景点和候选建筑物点间的关系矩阵，基于所述关系矩阵确定各建筑物前景点的单体化标签，以及对所述单体化标签进行合并以得到候选建筑物单体化结果；对所述候选建筑物单体化结果进行评分，并基于所述评分确定建筑物单体化结果。本申请实施例通过选取部分建筑物前景点作为建筑物候选点，然后建立建筑物前景点与建筑物候选点间的关系矩阵，再基于关系矩阵确定各建筑物前景点的单体化标签，这样可以去掉了耗时的逐点聚类过程，提高了三维点云建筑物单体化的精度和速度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的大规模城市点云数据集与建筑单体化构建方法的流程图。

图2为本申请提供的特征提取模块、语义分支、实例感知分支以及中心偏移分支的结构示意图。

图3为建筑物候选选择示意图。

图4为建筑物分组示意图。

图5为建筑物合并示意图。

图6为建筑物点云单体化网络模型的结构原理图。

图7为场景语义类别划分示意图。

图8为建筑物细分类示意图。

图9为大规模城市点云数据集与建筑单体化构建装置的结构原理图。

图10为本申请提供的终端设备的结构原理图。

具体实施方式

本申请提供一种大规模城市点云数据集与建筑单体化构建方法及相关装置，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

经过研究发现，点云是物体的三维表示形式之一，可以通过激光雷达、三维扫描仪等传感器直接获取，也可以通过双目相机、多视角几何等方式间接获取。近些年来，随着面向大规模城市场景的无人机多视角立体几何重建研究的快速发展，可以很方便地得到城市场景级别的三维点云模型。建筑物是城市场景中最常见、最重要的组成部分。然而，由于缺乏对建筑物语义信息的理解，使得三维点云模型难以直接用于城市孪生、城市建模、城市规划等具体应用中。因此，建筑物语义信息理解成为将三维点云模型应用于城市孪生、城市建模、城市规划等具体应用中的关键技术。

建筑物单体化技术是针对建筑物类别的实例分割，旨在获取独立的单栋建筑物分割结果，是三维点云处理中最基本的问题之一，也是理解城市场景的重要手段。建筑物单体化技术主要分为自顶向下和自底向上的两种技术路线。其中，自顶向下的技术路线主要先通过目标检测的方法找出物体所在的区域（三维包围框），然后分别在这些区域内进行语义分割，区分前景和背景点，每个包围框里的分割结果都作为一个不同的单体化物体输出；自底向上的技术路线首先提取逐点的深度特征，再通过聚类、度量学习等方式区分不同的物体。

然而，由于目标检测技术在三维点云处理上的应用尚未成熟，现有的三维点云的单体化技术普遍专注于自底向上的设计思路。但是，自底向上的方法是采取逐点的聚类来完成三维点云的单体化，当面对室外场景的三维点云数据时，由于室外场景的三维点云数据的数据量非常大，会导致逐点的聚类的运算非常耗时，进而会影响三维点云单体化的时间效率，降低三维点云单体化的速度。

为了解决上述问题，在本申请实施例中，获取目标点云对应的点云特征；基于所述点云特征确定所述目标点云对应的前景语义图、实例感知特征和中心偏移向量，并在所述前景语义图中的建筑物前景点中选取若干建筑物候选点；基于所述实例感知特征和所述中心偏移向量确定建筑物前景点和候选建筑物点间的关系矩阵，基于所述关系矩阵确定各建筑物前景点的单体化标签，以及对所述单体化标签进行合并以得到候选建筑物单体化结果；对所述候选建筑物单体化结果进行评分，并基于所述评分确定建筑物单体化结果。本申请实施例通过选取部分建筑物前景点作为建筑物候选点，然后建立建筑物前景点与建筑物候选点间的关系矩阵，再基于关系矩阵确定各建筑物前景点的单体化标签，这样可以去掉了耗时的逐点聚类过程，提高了三维点云建筑物单体化的精度和速度。

下面结合附图，通过对实施例的描述，对申请内容作进一步说明。

本实施例提供了一种大规模城市点云数据集与建筑单体化构建方法，所述方法可以应用于城市孪生、城市建模、城市规划等领域。如图1所示，所述方法包括：

S10、获取目标点云对应的点云特征。

具体地，目标点云为大规模城市场景下获取到的点云数据，例如，目标点云是通过无人机对大规模城市场景进行多视角采集所得到的点云数据。当然，所述目标点云可以是通过激光雷达和双目相机等对大规模城市场景进行采集所得到的点云数据。其中，所述目标点云中的每个三维点均包含三维坐标xyz以及颜色rgb的六维信息。

点云特征为对目标点云进行特征提取得到的，其中，点云特征可以通过深度学习网络模型对目标点云进行特征学习，得到的逐点的高维特征。在本实施例中，点云特征可以通过特征提取模块提取得到的，其中，特征提取模块可以采用有稀疏卷积模块堆叠构成的U形网络（3D-UNet），如图2所示，特征提取模块包括体素化层、三维子流形残差卷积块a1、三维子流形残差卷积块a2、三维子流形残差卷积块a3、三维子流形残差卷积块a4、三维稀疏卷积块b1、三维稀疏卷积块b2、三维稀疏反卷积块c1、三维稀疏反卷积块c2以及反射层；体素化层与三维子流形残差卷积块a1相连接，三维子流形残差卷积块a1分别与三维稀疏卷积块b1相连接和反射层相连接，三维稀疏卷积块b1与三维子流形残差卷积块a2相连接，三维子流形残差卷积块a2分别与三维稀疏卷积块b2和三维子流形残差卷积块a4相连接，三维稀疏卷积块b2与三维子流形残差卷积块a3相连接，三维子流形残差卷积块a3与三维稀疏反卷积块c1相连接，三维稀疏反卷积块c1与三维子流形残差卷积块a4，三维子流形残差卷积块a4与三维稀疏反卷积块c2相连接，三维稀疏反卷积块c2与反射层相连接，其中，三维稀疏反卷积块c2的输出项和三维子流形残差卷积块a1的输出项进行特征拼接后作为反射层的输入项，三维子流形残差卷积块a2的输出项和三维稀疏反卷积块c1的输出项进行特征拼接后作为三维子流形残差卷积块a4的输入项。

S20、基于所述点云特征确定所述目标点云对应的前景语义图、实例感知特征和中心偏移向量。

具体地，前景语义图用于反映目标点云中的各三维点的语义类别，其中，语义类别包括包含于建筑物的前景点和不包含于建筑物的背景点。实例感知特征为将点云特征映射至实例嵌入空间所形成的，中心偏移向量用于反映建筑物前景点与建筑物中心的偏移量。在一个实现方式中，语义前景图可以通过语义分支确定，实例感知特征可以通过实例感知分支确定，中心偏移向量可以通过中心偏移分支确定，其中，语义分支、实例感知分支以及中心偏移分支并行，且语义分支、实例感知分支以及中心偏移分支的输入项均为点云特征。

如图2所示，语义分支包括由3层线性层组成的多层感知机和一层Softmax分类器，通过多层感知机和Softmax分类器确定每个三维点对于C个语义类别的概率分布预测，并取概率最大的类别作为该点的预测语义类别，以得到目标点云中的每个三维点的语义类别，其中，语义类别用于区分目标点云中包含建筑物的前景点和不包含建筑物的背景点。所述实例感知分支可以包括有3层线性层组成的多层感知机构，通过多层感知机构将每个三维点的特征映射到实例嵌入空间以得到实例感知特征。其中，在实例嵌入空间中，相同建筑物的点的特征距离尽可能的小而不同建筑物之间的点的特征距离尽可能的大，因此可以更容易的区分不同的建筑物。所述中心偏移分支可以包括有3层线性层组成的多层感知机构，通过多层感知机构确定每个点朝向对应建筑物中心的三维中心偏移向量，通过所述中心偏移向量可以把建筑物候选点移动到建筑物中心，从而实现更好的建筑物合并。

S30、在所述前景语义图中的建筑物前景点中选取若干建筑物候选点，基于所述实例感知特征和所述中心偏移向量确定建筑物前景点和候选建筑物点间的关系矩阵，基于所述关系矩阵确定各建筑物前景点的单体化标签，以及对所述单体化标签进行合并以得到候选建筑物单体化结果。

具体地，若干建筑物候选点中的每个建筑物候选点均为建筑物前景点，也就是说，基于前景语义图确定所有建筑物前景点，然后在所有建筑物前景点中选取部分建筑物前景点作为建筑物候选点。例如，如图3所示，图中的原点为被选取的建筑物候选点。此外，若干建筑物候选点的数量可以是预先设置的，也可以是根据目标点云所包含的三维点确定的。

在一个实现方式中，由于不同城市场景采集到的目标点云所包含的三维点的数量不同，相应的，目标点云中的建筑物前景点的数量也不同，从而在本实现方式中根据建筑物前景点的数量确定建筑物候选点的数量。也就是说，所述若干建筑物候选点的第一数量为基于所述建筑物前景点的第二数量确定的，第一数量小于第二数量。例如，第一数量K为第二数量N的三千分之一，即，每3000个建筑物前景点选择1个建筑物候选点。基于此，在所述前景语义图中的建筑物前景点中选取若干建筑物候选点的具体过程可以为：基于建筑物前景点的第二数量确定建筑物候选点的第一数量，然后在所有建筑物前景点中随机选取第一数量的建筑物前景点作为建筑物候选点。

进一步，在获取到若干建筑物候选点后，将若干建筑物候选点中的每个建筑物候选点作为一个建筑物单体化标签，然后将各建筑物单体化标签赋给其他剩余的建筑物前景点，以得到的各建筑物前景点的单体化标签。其中，在各建筑物单体化标签赋给其他剩余的建筑物前景点的过程中，可以基于实例感知特征和所述中心偏移向量，确定所建筑物前景点和候选建筑点间的关系矩阵，然后基于关系矩阵确定各建筑物前景点对应的建筑物候选点。

所述关系矩阵用于反映建筑物候选点和建筑物前景点间属于同一建筑物的关系附属程度，即关系矩阵的矩阵维度为N*K，N表示建筑物前景点的第二数量，K表示建筑物候选点的第一数量，关系矩阵中的每个矩阵元素均表示一个建筑物前景点和一个建筑物候选点的关系附属程度，其中，关系附属程度越小，说明建筑物前景点与建筑物候选点属于同一建筑物的概率越大，反之，关系附属程度越大，说明建筑物前景点与建筑物候选点属于同一建筑物的概率越小。由此，基于所述关系矩阵可以确定每个建筑物前景点所对应的建筑物候选点，从而可以确定每个建筑物前景点的单体化标签。

在一个实现方式中，如图4所示，所述基于所述实例感知特征和所述中心偏移向量确定建筑物前景点和候选建筑物点间的关系矩阵具体包括：

S311、基于所述实例感知特征和中心偏移向量确定各建筑物前景点的目标实例感知特征和中心偏移特征，并基于各建筑物前景点的目标实例感知特征和中心偏移特征确定各建筑物前景点的前景特征；

S312、基于各建筑物前景点的前景特征计算各建筑物前景点和各建筑物候选点的特征距离，并基于计算得到的所有特征距离形成关系矩阵。

具体地，所述实例感知特征包括每个建筑物前景点的目标实例感知特征，中心偏移量包括每个建筑物前景点的中心偏移特征，从而基于各建筑物前景点的目标实例感知特征和中心偏移特征可以确定各建筑物前景点的前景特征，其中，所述前景特征可以通过将目标实例感知特征和中心偏移特征进行拼接得到的，拼接顺序可以为目标实例感知特征-中心偏移特征，也可以是中心偏移特征-目标实例感知特征。

在获取每个建筑物前景点的前景特征后，由于建筑物候选点也为建筑物前景点，从而也获取到了各建筑物候选点的前景特征。由此，可以基于各建筑物前景点的前景特征和各建筑物候选点的前景特征计算各建筑物前景点和各建筑物候选点的特征距离，其中，特征距离可以表示为：

其中，,/>，/>表示建筑物前景点的第一数量，/>表示建筑物候选点的第二数量，/>表示第/>个建筑物前景点的前景特征，/>表示第/>个建筑物候选点的前景特征。

进一步，由于关系矩阵中的每个矩阵元素均基于实例感知特征和中心偏移向量计算得到的特征距离，而实例感知特征具有在同一个建筑物内特征距离较小，不同建筑物间特征距离较大的特点，所以关系矩阵中的刻画了第/>个建筑物候选点和第/>建筑物前景点之间属于同一个建筑物的关系附属程度，即如果/>的值越小，则代表第/>个点属于建筑物候选的可能性越大。基于此，对于每一个建筑物前景点，选择与其特征距离最小的建筑物候选作为单体化标签，其中，建筑物前景点的单体化标签可表示为：

其中，表示关系矩阵的第/>行，/>表示第/>个建筑物前景点的单体化标签。

在一个实现方式中，由于建筑物候选点的第一数量大于目标点云对应的城市场景中的建筑物数量，这会导致同一建筑物上被覆盖了多个建筑物候选点，那么经过基于关系矩阵确定各建筑物前景点对应的单体化标签后，同一建筑物被划分为多个区域，即同一个建筑物会有多个单体化标签的存在。由此，基于所述关系矩阵确定各建筑物前景点的单体化标签时，在确定各建筑物前景点的单体化标签后，可以将单体化标签进行合并，去除冗余的建筑物单体化标签。

基于此，如图5所示，所述对所述单体化标签进行合并以得到候选建筑物单体化结果具体包括：

S321、基于中心偏移向量调整各建筑物候选点的位置信息，以得到各建筑物候选点各自对应的目标位置信息；

S322、基于各建筑物候选点的目标位置信息计算若干建筑物候选点中两两建筑物候选点间的建筑物距离，并基于所述建筑物距离将所述若干建筑物候选点进行合并，以得到建筑物目标点集；

S323将各建筑物前景点的单体化标签映射至建筑物目标点集对应的目标单体化标签集，以得到候选建筑物单体化结果。

具体地，位置信息指的是建筑物候选点的三维坐标，目标位置信息指的是基于中心偏移向量对三维坐标进行调整后的三维坐标，其中，由于中心偏移向量用于使得建筑物候选点向建筑物中心移动，从而通过中心偏移量对建筑物候选点的三维坐标进行调整，可以使得属于同一建筑物的建筑物候选点聚集在一定空间范围内，并拉大属于不同建筑物的建筑物候选点间的距离。在本实施例中，基于中心偏移向量调整各建筑物候选点的位置信息可以为将建筑物候选点对应的中心偏移特征加上建筑物候选点上，其中，中心偏移特征为三维向量，分别包括x方向偏移量、y方向偏移量和z方向偏移量。

建筑物距离指的是两个建筑物候选点的三维坐标间的距离，例如，可以通过计算两个建筑物候选点的三维坐标间的欧式距离来确定两两建筑物候选点间的建筑物距离。在获取到建筑物距离后，可以将建筑物距离与预设距离阈值进行比较，当建筑物距离小于预设距离阈值时，两个建筑物候选点属于同一建筑物，将两个建筑物候选点合并，反之，当建筑物距离大于或者等于预设距离阈值时，两个建筑物点不属于同一建筑物；其中，预设距离阈值为预先设置的，例如，10m等。

本实施例通过将若干建筑物候选点进行合并，然后基于建筑物前景点与建筑物候选点的对应关系再将建筑物前景点合并，这样可以降低单体化标签合并所需的计算量，从而可以提高建筑物单体化的速度。这是由于建筑物候选点为建筑物前景点的一部分，建筑物候选点的数量远小于建筑物前景点的数量。

在一个实现方式中，所述建筑物单体化结果可以通过建筑物候选生成模块确定。建筑物候选生成模块包括建筑候选点选择单元、建筑物分组单元以及建筑物合并单元。其中，建筑候选点选择单元用于在所述前景语义图中的建筑物前景点中选取若干建筑物候选点。建筑物分组单元用于基于所述实例感知特征和所述中心偏移向量确定建筑物前景点和候选建筑物点间的关系矩阵，以及基于所述关系矩阵确定各建筑物前景点的单体化标签。建筑物合并单元用于对所述单体化标签进行合并以得到候选建筑物单体化结果。

S40、对所述候选建筑物单体化结果进行评分，并基于所述评分确定建筑物单体化结果。

具体地，所述候选建筑物单体化结果中的每个候选建筑物单体化标签均对应有评分，该评分用于候选建筑物单体化标签的真实性，其中，评分越高说明候选建筑物单体化标签的真实性越高，反之，评分越低说明候选建筑物单体化标签的真实性越低。由此，在获取到各候选建筑物单体化标签的评分后，可以基于评分对候选建筑物单体化标签进行过滤，将过滤后的候选建筑物单体化标签作为建筑物单体化结果。这样可以过滤错误的候选建筑物，从而可以提高建筑物单体化结果的准确性。其中，所述评分过程可以通过建筑物得分预测模块来执行，通过建筑物得分预测模块预测各建筑物单体标签的评分，并基于评分输出建筑物单体化结果。

在本实施例中，所述大规模城市点云数据集与建筑单体化构建方法可以应用经过训练的建筑物点云单体化网络模型，通过所述建筑物点云单体化网络模型执行所述方法过程；也可以通过将大规模城市点云数据集与建筑单体化构建方法继承为一功能模块，通过运行该功能模块来运行所述大规模城市点云数据集与建筑单体化构建方法。

在一个实现方式中，通过所述建筑物点云单体化网络模型执行所述方法过程。如图6所示，所述建筑物点云单体化网络模型包括特征提取模块，并行的语义分支、实例感知分支和中心偏移分支，建筑物候选生成模块以及建筑物得分预测模块，所述特征提取模块分别与所述语义分支、实例感知分支以及中心偏移分支相连接，语义分支、实例感知分支和中心偏移分支均与所述建筑物候选生成模块相连接，所述建筑物候选生成模块与建筑物得分预测模块，其中，所述建筑物候选生成模块包括建筑候选点选择单元、建筑物分组单元以及建筑物合并单元。此外，建筑物点云单体化网络模型中的各网络模块的网络结构以及执行过程均在上述方法实现过程中进行了说明，这里就不再赘述。

进一步，所述建筑物点云单体化网络模型基于大规模城市点云数据集训练及测试得到，其中，大规模城市点云数据集包括若干大规模城市点云数据，每个大规模城市点云数据中的每个三维点均包含9个维度，分别为三个空间坐标，三个颜色值、语义类别、实例编号以及建筑物细分类类别。其中，大规模城市可以为人口数量超过预测数量阈值的城市，也可以是土地面积超声预设土地面积阈值的城市等。大规模城市点云数据可以对整个城市进行采集所形成的，也可以是对城市中的每个行政区进行采集形成的。

在实施例中，所述大规模城市点云数据集包括三种发展水平不同的城市的点云数据，并且三种发展水平不同的城市的点云数据对应的采集区域的面积差值小于预设差值阈值，也就是说，三种发展水平不同的城市的点云数据对应的采集区域的面积基本相同。此外，对于每个发展水平的城市，均选取至少两个区域场景进行点云数据采集，也就是说，大规模城市点云数据包括两个区域场景的点云数据，例如，包括校园场景的点云数据和居民场景的点云数据。这样通过对两个区域场景进行采集，可以丰富大规模城市点云数据集的数据类型。

进一步，所述语义类别可以包括地面类别、植被类别、水面类别、车辆类别、船舶类别、桥梁类别以及建筑类别。例如，如图7所示，每个大规模城市点云数据会进行场景语义类别划分，并对划分得到的每个场景语义类别进行标注。在本实施例中，分别对青岛、芜湖、深圳龙华区、深圳粤海街道、丽湖和应人石进行采集以及语义划分以得到如表1所示的不同分类下的点云数据。

表1场景分类点云数量

进一步，城市场景类型是十分丰富多样的，而且城市场景的形貌特征不仅与其所处的地理位置以及经济发展水平相关，同时也与其经济发展水平有着较大的联系。而建筑物的分布是最为直观的描述城市场景的依据，根据城市的发展水平不同，城市场景的典型建筑物分布也存在差别，因此进一步对建筑物类型进行划分，以形成建筑物细分类类别。其中，所述建筑物细分类类别包括商业建筑类别、居住建筑类别、办公建筑类别、文化建筑类别、交通建筑类别、市政建筑类别以及临时建筑类别。按照人工确认的方式结合具体的建筑物用途进行标注，整个场景中典型建筑物如图8所示。此外，针对不同场景统计不同类型的建筑物数量，如下表2所示。

表2 场景中不同类别的建筑物数量统计

进一步，在获取到大规模城市点云数据集后，对大规模城市点云数据集进行切割以形成训练数据集和测试数据集，其中，在切割过程中要保证建筑物的完整性，因此沿着街区对建筑物进行划分，从而得到可供训练的数据，具体的划分数量如下表3所示。

表3 数据集划分统计表

综上所述，本实施例提供了一种大规模城市点云数据集与建筑单体化构建方法，所述方法包括获取目标点云对应的点云特征；基于所述点云特征确定所述目标点云对应的前景语义图、实例感知特征和中心偏移向量，并在所述前景语义图中的建筑物前景点中选取若干建筑物候选点；基于所述实例感知特征和所述中心偏移向量确定建筑物前景点和候选建筑物点间的关系矩阵，基于所述关系矩阵确定各建筑物前景点的单体化标签，以及对所述单体化标签进行合并以得到候选建筑物单体化结果；对所述候选建筑物单体化结果进行评分，并基于所述评分确定建筑物单体化结果。本申请实施例通过选取部分建筑物前景点作为建筑物候选点，然后建立建筑物前景点与建筑物候选点间的关系矩阵，再基于关系矩阵确定各建筑物前景点的单体化标签，这样可以去掉了耗时的逐点聚类过程，提高了三维点云建筑物单体化的精度和速度。

基于上述大规模城市点云数据集与建筑单体化构建方法，本实施例提供了一种大规模城市点云数据集与建筑单体化构建装置，如图9所示，所述装置包括：

特征提取模块100，用于获取目标点云对应的点云特征；

获取模块200，用于基于所述点云特征确定所述目标点云对应的前景语义图、实例感知特征和中心偏移向量；

建筑物候选生成模块300，用于在所述前景语义图中的建筑物前景点中选取若干建筑物候选点，基于所述实例感知特征和所述中心偏移向量确定建筑物前景点和候选建筑物点间的关系矩阵，基于所述关系矩阵确定各建筑物前景点的单体化标签，以及对所述单体化标签进行合并以得到候选建筑物单体化结果；

建筑物得分预测模块400，用于对所述候选建筑物单体化结果进行评分，并基于所述评分确定建筑物单体化结果。

基于上述大规模城市点云数据集与建筑单体化构建方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的大规模城市点云数据集与建筑单体化构建方法中的步骤。

基于上述大规模城市点云数据集与建筑单体化构建方法，本申请还提供了一种终端设备，如图10所示，其包括至少一个处理器（processor）20；显示屏21；以及存储器（memory）22，还可以包括通信接口（Communications Interface）23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。

此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (7)

1.一种大规模城市点云数据集与建筑单体化构建方法，其特征在于，所述方法包括：

获取目标点云对应的点云特征；

基于所述点云特征确定所述目标点云对应的前景语义图、实例感知特征和中心偏移向量；

在所述前景语义图中的建筑物前景点中选取若干建筑物候选点，基于所述实例感知特征和所述中心偏移向量确定建筑物前景点和候选建筑物点间的关系矩阵，基于所述关系矩阵确定各建筑物前景点的单体化标签，以及对所述单体化标签进行合并以得到候选建筑物单体化结果；

对所述候选建筑物单体化结果进行评分，并基于所述评分确定建筑物单体化结果；

所述对所述单体化标签进行合并以得到候选建筑物单体化结果具体包括：

基于中心偏移向量调整各建筑物候选点的位置信息，以得到各建筑物候选点各自对应的目标位置信息；

基于各建筑物候选点的目标位置信息计算若干建筑物候选点中两两建筑物候选点间的建筑物距离，并基于所述建筑物距离将所述若干建筑物候选点进行合并，以得到建筑物目标点集；

将各建筑物前景点的单体化标签映射至建筑物目标点集对应的目标单体化标签集，以得到候选建筑物单体化结果；

所述建筑物距离是两个建筑物候选点的三维坐标间的距离，通过计算两个建筑物候选点的三维坐标间的欧式距离来确定两两建筑物候选点间的建筑物距离，在获取到所述建筑物距离后，将所述建筑物距离与预设距离阈值进行比较，当所述建筑物距离小于所述预设距离阈值时，两个建筑物候选点属于同一建筑物，将两个建筑物候选点合并，反之，当建筑物距离大于或者等于所述预设距离阈值时，两个建筑物点不属于同一建筑物，其中，所述预设距离阈值为预先设置的；

所述建筑物单体化结果通过建筑物候选生成模块确定，所述建筑物候选生成模块包括建筑候选点选择单元、建筑物分组单元以及建筑物合并单元，其中，所述建筑候选点选择单元用于在所述前景语义图中的建筑物前景点中选取若干建筑物候选点，所述建筑物分组单元用于基于所述实例感知特征和所述中心偏移向量确定建筑物前景点和候选建筑物点间的关系矩阵，以及基于所述关系矩阵确定各建筑物前景点的单体化标签，所述建筑物合并单元用于对所述单体化标签进行合并以得到候选建筑物单体化结果；

所述候选建筑物单体化结果中的每个候选建筑物单体化标签均对应有评分，所述评分用于评价所述候选建筑物单体化标签的真实性，其中，评分越高说明所述候选建筑物单体化标签的真实性越高，反之，评分越低说明所述候选建筑物单体化标签的真实性越低；

所述方法应用经过训练的建筑物点云单体化网络模型，其中，所述建筑物点云单体化网络模型包括特征提取模块，并行的语义分支、实例感知分支和中心偏移分支，建筑物候选生成模块以及建筑物得分预测模块，所述特征提取模块分别与所述语义分支、实例感知分支以及中心偏移分支相连接，语义分支、实例感知分支和中心偏移分支均与所述建筑物候选生成模块相连接，所述建筑物候选生成模块与建筑物得分预测模块，其中，所述建筑物候选生成模块包括建筑候选点选择单元、建筑物分组单元以及建筑物合并单元；

所述语义分支包括由3层线性层组成的多层感知机和一层Softmax分类器，通过所述多层感知机和Softmax分类器确定每个三维点对于C个语义类别的概率分布预测，并取概率最大的类别作为该点的预测语义类别，以得到所述目标点云中的每个三维点的语义类别，其中，所述语义类别用于区分目标点云中包含建筑物的前景点和不包含建筑物的背景点，所述实例感知分支包括有3层线性层组成的多层感知机构，通过所述多层感知机构将每个三维点的特征映射到实例嵌入空间以得到所述实例感知特征，其中，在实例嵌入空间中，相同建筑物的点的特征距离尽可能的小而不同建筑物之间的点的特征距离尽可能的大，所述中心偏移分支包括有3层线性层组成的多层感知机构，通过多层感知机构确定每个点朝向对应建筑物中心的三维中心偏移向量，通过所述中心偏移向量可以把建筑物候选点移动到建筑物中心；

所述建筑物点云单体化网络模型对应的大规模城市点云数据集包括若干大规模城市点云数据，其中，每个大规模城市点云数据中的每个三维点均包含9个维度，分别为三个空间坐标，三个颜色值、语义类别、实例编号以及建筑物细分类类别；

所述大规模城市点云数据集包括三种发展水平不同的城市的点云数据，且三种发展水平不同的城市的点云数据对应的采集区域的面积差值小于预设差值阈值，对于每个发展水平的城市，均选取至少两个区域场景进行点云数据采集；

在获取到所述大规模城市点云数据集后，对所述大规模城市点云数据集进行切割以形成训练数据集和测试数据集，其中，在切割过程中要保证建筑物的完整性，沿着街区对建筑物进行划分，从而得到可供训练的数据。

2.根据权利要求1所述大规模城市点云数据集与建筑单体化构建方法，其特征在于，所述基于所述实例感知特征和所述中心偏移向量确定建筑物前景点和候选建筑物点间的关系矩阵具体包括：

基于所述实例感知特征和中心偏移向量确定各建筑物前景点的目标实例感知特征和中心偏移特征，并基于各建筑物前景点的目标实例感知特征和中心偏移特征确定各建筑物前景点的前景特征；

基于各建筑物前景点的前景特征计算各建筑物前景点和各建筑物候选点的特征距离，并基于计算得到的所有特征距离形成关系矩阵。

3.根据权利要求1所述大规模城市点云数据集与建筑单体化构建方法，其特征在于，所述若干建筑物候选点的第一数量为基于所述建筑物前景点的第二数量确定的，其中，第一数量小于第二数量。

4.根据权利要求1所述大规模城市点云数据集与建筑单体化构建方法，其特征在于，所述语义类别包括地面类别、植被类别、水面类别、车辆类别、船舶类别、桥梁类别以及建筑类别；所述建筑物细分类类别包括商业建筑类别、居住建筑类别、办公建筑类别、文化建筑类别、交通建筑类别、市政建筑类别以及临时建筑类别。

5.一种大规模城市点云数据集与建筑单体化构建装置，其特征在于，所述装置包括：

特征提取模块，用于获取目标点云对应的点云特征；

获取模块，用于基于所述点云特征确定所述目标点云对应的前景语义图、实例感知特征和中心偏移向量；

建筑物候选生成模块，用于在所述前景语义图中的建筑物前景点中选取若干建筑物候选点，基于所述实例感知特征和所述中心偏移向量确定建筑物前景点和候选建筑物点间的关系矩阵，基于所述关系矩阵确定各建筑物前景点的单体化标签，以及对所述单体化标签进行合并以得到候选建筑物单体化结果；

建筑物得分预测模块，用于对所述候选建筑物单体化结果进行评分，并基于所述评分确定建筑物单体化结果；

所述建筑物候选生成模块还用于：

基于中心偏移向量调整各建筑物候选点的位置信息，以得到各建筑物候选点各自对应的目标位置信息；

基于各建筑物候选点的目标位置信息计算若干建筑物候选点中两两建筑物候选点间的建筑物距离，并基于所述建筑物距离将所述若干建筑物候选点进行合并，以得到建筑物目标点集；

将各建筑物前景点的单体化标签映射至建筑物目标点集对应的目标单体化标签集，以得到候选建筑物单体化结果；

所述建筑物距离是两个建筑物候选点的三维坐标间的距离，通过计算两个建筑物候选点的三维坐标间的欧式距离来确定两两建筑物候选点间的建筑物距离，在获取到所述建筑物距离后，将所述建筑物距离与预设距离阈值进行比较，当所述建筑物距离小于所述预设距离阈值时，两个建筑物候选点属于同一建筑物，将两个建筑物候选点合并，反之，当建筑物距离大于或者等于所述预设距离阈值时，两个建筑物点不属于同一建筑物，其中，所述预设距离阈值为预先设置的；

所述建筑物单体化结果通过建筑物候选生成模块确定，所述建筑物候选生成模块包括建筑候选点选择单元、建筑物分组单元以及建筑物合并单元，其中，所述建筑候选点选择单元用于在所述前景语义图中的建筑物前景点中选取若干建筑物候选点，所述建筑物分组单元用于基于所述实例感知特征和所述中心偏移向量确定建筑物前景点和候选建筑物点间的关系矩阵，以及基于所述关系矩阵确定各建筑物前景点的单体化标签，所述建筑物合并单元用于对所述单体化标签进行合并以得到候选建筑物单体化结果；

所述候选建筑物单体化结果中的每个候选建筑物单体化标签均对应有评分，所述评分用于评价所述候选建筑物单体化标签的真实性，其中，评分越高说明所述候选建筑物单体化标签的真实性越高，反之，评分越低说明所述候选建筑物单体化标签的真实性越低；

所述方法应用经过训练的建筑物点云单体化网络模型，其中，所述建筑物点云单体化网络模型包括特征提取模块，并行的语义分支、实例感知分支和中心偏移分支，建筑物候选生成模块以及建筑物得分预测模块，所述特征提取模块分别与所述语义分支、实例感知分支以及中心偏移分支相连接，语义分支、实例感知分支和中心偏移分支均与所述建筑物候选生成模块相连接，所述建筑物候选生成模块与建筑物得分预测模块，其中，所述建筑物候选生成模块包括建筑候选点选择单元、建筑物分组单元以及建筑物合并单元；

所述语义分支包括由3层线性层组成的多层感知机和一层Softmax分类器，通过所述多层感知机和Softmax分类器确定每个三维点对于C个语义类别的概率分布预测，并取概率最大的类别作为该点的预测语义类别，以得到所述目标点云中的每个三维点的语义类别，其中，所述语义类别用于区分目标点云中包含建筑物的前景点和不包含建筑物的背景点，所述实例感知分支包括有3层线性层组成的多层感知机构，通过所述多层感知机构将每个三维点的特征映射到实例嵌入空间以得到所述实例感知特征，其中，在实例嵌入空间中，相同建筑物的点的特征距离尽可能的小而不同建筑物之间的点的特征距离尽可能的大，所述中心偏移分支包括有3层线性层组成的多层感知机构，通过多层感知机构确定每个点朝向对应建筑物中心的三维中心偏移向量，通过所述中心偏移向量可以把建筑物候选点移动到建筑物中心；

所述建筑物点云单体化网络模型对应的大规模城市点云数据集包括若干大规模城市点云数据，其中，每个大规模城市点云数据中的每个三维点均包含9个维度，分别为三个空间坐标，三个颜色值、语义类别、实例编号以及建筑物细分类类别；

所述大规模城市点云数据集包括三种发展水平不同的城市的点云数据，且三种发展水平不同的城市的点云数据对应的采集区域的面积差值小于预设差值阈值，对于每个发展水平的城市，均选取至少两个区域场景进行点云数据采集；

在获取到所述大规模城市点云数据集后，对所述大规模城市点云数据集进行切割以形成训练数据集和测试数据集，其中，在切割过程中要保证建筑物的完整性，沿着街区对建筑物进行划分，从而得到可供训练的数据。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-4任意一项所述的大规模城市点云数据集与建筑单体化构建方法中的步骤。

7.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；所述通信总线实现处理器和存储器之间的连接通信；所述处理器执行所述计算机可读程序时实现如权利要求1-4任意一项所述的大规模城市点云数据集与建筑单体化构建方法中的步骤。