CN112949640A - 点云语义分割方法、装置、计算设备及存储介质 - Google Patents

Abstract

本发明公开一种点云语义分割方法、装置、计算设备及存储介质，该方法包括：获取点云数据，通过编码器网络对所述点云数据进行多级编码来获得多级邻域特征集；通过解码器网络对所述多级邻域特征集进逐级行解码来获得取所述点云数据的语义特征；以及根据所述点云数据的语义特征进行分类预测，得到点云数据的中各点对应的语义标签，其中，对每级第一点云数据执行至少两次特征聚合操作以获得每级第一点云数据的所述邻域特征集，且将中心点特征与每次特征聚合得到的领域特征集进行残差连接或将每次特征聚合得到领域特征集彼此进行稠密连接作为下层特征聚合的输入。本发明实施例可以减少网络参数的数量并显着改善大场景点云的语义分割结果。

Description

点云语义分割方法、装置、计算设备及存储介质

技术领域

本发明涉及数据库技术领域，特别涉及一种点云语义分割方法、装置、计算设备及存储介质。

背景技术

随着摄影测量学，遥感技术，计算机视觉技术，机器人技术和无人驾驶技术的不断发展，3D点云数据的处理已成为研究的热点。在摄影测量领域，机载激光雷达技术和倾斜摄影测量技术的结合可以实现3D场景建模。在遥感领域，将雷达点云数据与光学遥感数据相结合可以增加遥感图像的几何信息。在计算机视觉领域，点云主要应用于语义分割，实例分割，目标检测，3D重建，点云配准等技术。在机器人技术领域，点云主要用于机器人抓握识别，包括目标定位，姿态估计，抓握检测和运动计划。大规模点云可以最大程度地保留其空间几何结构和颜色信息，因此已广泛用于各个领域。

点云数据的处理是当前的研究热潮，尤其是语义分割。基于三维点云的语义分割目的是将点云划分为具有特殊属性的区域，并对每个点的标签进行分割。它对考古分析，城市规划，虚拟游览和遗产文献产生了有益的影响。但是，大规模3D点云是非结构化的并且高度冗余。如何实现计算机对大型场景点云的理解是当前面临的主要挑战。为3D地图创建语义标签是一种有效的解决方案。语义标签可用于可视化对象(例如建筑物，地形和道路)以生成更易于理解的3D地图。对于地理信息科学，语义分割有助于对土地覆被(河流，树木，山脉等)进行有效而准确的分类。此外，就文化遗产文献而言，与纪念碑无关的对象的移除是3D建模流程中的重要一步。特别是，最初的数据清洁阶段仍需要专业人员手动处理。点云语义分割技术可以向扫描图中的对象添加语义标签，因此专业人员可以在合理的时间内清理掉不需要的物体(例如树木，人，汽车和动物)。因此，语义分割可以实现智能数据清理，进而减少总体处理时间。研究人员提出了大量基于深度学习的语义分割模型来处理点云，部分模型在分割精度和处理时间上达到了工业级别的标准。

发明内容

在发明内容部分中引入了一系列简化形式的概念，这将在具体实施例部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

鉴于以上技术问题，本发明提供了一种点云语义分割方法、装置、计算设备及存储介质，其可以减少网络参数的数量并显着改善大场景点云的语义分割结果。

根据本发明的一个方面，提供一种点云语义分割方法，其包括：

获取点云数据，通过编码器网络对所述点云数据进行多级编码来获得多级邻域特征集；

通过解码器网络对所述多级邻域特征集进逐级行解码来获得取所述点云数据的语义特征；以及

根据所述点云数据的语义特征进行分类预测，得到所述点云数据的中各点对应的语义标签，

其中，通过编码器网络对所述点云数据进行多级编码来获得多级邻域特征集包括：

对所述点云数据进行多次下采样，以得到多级包括不同数量点的第一点云数据；

获取每级所述第一点云数据的中心点特征；

对每级所述第一点云数据的中心点特征执行至少两次特征聚合操作以获得每级第一点云数据的所述邻域特征集，且当前所述特征聚合操作输出的当前所述邻域特征集以及当前所述邻域特征集与所述点云数据的每个中心点的特征的残差连接或稠密连接和当前所述邻域特征集与前一次所述特征聚合操作输出的前一个所述邻域特征集的稠密连接作为下一次所述特征聚合的输入。

在本发明的一个实施例中，所述特征聚合操作，包括：

根据每级所述第一点云数据的中心点特征获取每级所述第一点云数据的局部特征；

将每级所述第一点云数据的局部特征进程串联操作得到局部特征集合；

获取所述局部特征集合中各局部特征的注意力分数，并根据所述注意力分数选择局部特征进行聚合以得到所述邻域特征集。

在本发明的一个实施例中，所述局部特征包括邻点特征、几何特征和语义特征。

在本发明的一个实施例中，所述根据每级所述第一点云数据的中心点特征获取每层所述点云层的局部特征，包括：

获取每个中心点对应的邻点特征集，作为所述点云数据的所述邻点特征；

根据所述邻点特征集的空间位置信息获得所述点云数据的所述几何特征；

根据每个中心点的特征与邻点特征获得所述点云数据的所述语义特征。

在本发明的一个实施例中，所述特征聚合操作执行3次，第一所述特征聚合操作输出的第一邻域特征集以及所述第一邻域特征集与每个中心点的特征的残差连接作为第二所述特征聚合操作输入，第二所述特征聚合操作输出的第二邻域特征集、所述第二邻域特征集与每个中心点的特征的稠密连接，以及所述第二邻域特征集与所述第一邻域特征集的稠密连接作为第三所述特征聚合操作的输入。

在本发明的一个实施例中，所述通过解码器网络对所述多级邻域特征集进逐级行解码来获得取所述点云数据的语义特征，包括：

对每级所述第一点云数据执行上采样操作以得到多级第二点云数据；

通过多层感知机对对应级的所述第二点云数据、领域特征集和语义特征进行操作得到多级语义特征。

在本发明的一个实施例中，根据所述点云数据的语义特征进行分类预测，得到所述点云数据的中各点对应的语义标签，包括：

对最后一层解码器得到语义特征进行全连接操作，得到所述点云数据的中各点对应的语义标签。

根据本发明的另一方面，提供一种点云语义分割装置，其包括：

编码器，用于对输入的点云数据进行多级编码来以获得所述点云数据的多级邻域特征集；

解码器，用于对所述点云数据的多级邻域特征集进行对所述多级邻域特征集进逐级行解码来获得取所述点云数据的语义特征；

分类器，用于根据所述点云数据的语义特征进行分类预测，得到所述点云数据的中各点对应的语义标签，

其中，所述编码器包括多层依次连接的子编码器，所述子编码器包括依次连接的下采样模块、中心点特征提取模块和多个特征聚合模块，

所述下采样模块用于对输入的点云数据进行随机下采样操作，以得到多级包括不同数量点的第一点云数据；

所述中心点特征提取模块获取所述第一点云数据的中心点特征；

所述特征聚合模块用于对每级所述第一点云数据的中心点特征进行聚特征合以得到邻域特征集；

每个所述特征聚合模块的输出以及每个所述特征聚合模块的输出与所述点云数据的每个中心点特征的残差连接或稠密连接和每个所述特征聚合模块的输出与前一个所述特征聚合模块的输出的稠密连接作为下一个所述特征聚合模块的输入。

在本发明的一个实施例中，其特征在于，所述特征聚合模块包括：

局部特征提取单元，用于根据每级所述第一点云数据的中心点特征获取每级所述第一点云数据的局部特征；

特征聚合单元，用于将每级所述第一点云数据的局部特征进程串联操作得到局部特征集合，获取所述局部特征集合中各局部特征的注意力分数，并根据所述注意力分数选择局部特征进行聚合以得到所述邻域特征集。

在本发明的一个实施例中，所述子编码器包括依次连接的下采样模块、中心点特征提取模块、第一特征聚合模块、第二特征聚合模块和第三特征聚合模块，所述第一特征聚合模块输出的第一邻域特征集以及所述第一邻域特征集与每个中心点的特征的残差连接作为所述第二特征聚合模块输入，所述第二特征聚合模块输出的第二邻域特征集、所述第二邻域特征集与每个中心点的特征的稠密连接，以及所述第二邻域特征集与所述第一邻域特征集的稠密连接作为所述第三特征聚合模块的输入。

在本发明的一个实施例中，所述解码器包括多层依次连接子解码器，所述子解码器包括上采样模块和多次感知模块，

所述上采样模块用于对每级所述第一点云数据执行上采样操作以得到多级第二点云数据；

所述多次感知模块用于通过多层感知机对对应级的所述第二点云数据、领域特征集和语义特征进行操作得到多级语义特征。

根据本发明的又一方面，提供一种计算设备，所述设备包括：处理器，以及存储有计算机程序指令的存储器；所述处理器读取并执行所述计算机程序指令，以实现根据本发明一方面的所述的点云语义分割方法。

根据本发明的再一方面，提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现根据本发明一方面的点云语义分割方法。

根据本发明的点云语义分割方法、装置、计算设备及存储介质，通过将残差连接和稠密连接引入大规模点云的语义分割中，从而加深了网络深度并提取了可区分的语义特征。其次，本发明设计了一个新的局部特征提取模块来弥补随机抽样的不足，并通过注意力机制对学习到的特征进行聚合聚合和优化，使网络可以更好地适应点云的几何形状。最后，本发明在大型室内数据集S3DIS数据集的OA和mA均超过了当前最新的大型场景语义分割算法RandLA-Net，分别为88.1％和82.3％。同样，mA比同样直接处理大型场景点云的SPG高9.3％。在大型室外数据集Semantic3D数据集中，本发明的mIou和OA分别为76.5％和94.4％。值得注意的是，在大型室外数据集Toronto-3D数据集上，本发明的mIou为80.27％，超过了当前最新的公开算法MSTGNet 9.77％。其中道路标志和围栏这两个类别的 IoU分别超过MSTGNet 42.61％，19.67％。本发明为多个数据集带来了最优的语义分割性能，验证了本发明的有效性和鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的点云语义分割方法的示意性流程图；

图2是本发明实施例的点云语义分割中的编码方法的示意性流程图；

图3为根据本发明实施例的点云语义分割装置的示意性结构框图；

图4为根据本发明实施例的子编码器的示意性结构框图；

图5为本发明实施例的云语义分割装置的一个示例；以及

图6是本发明实施例提供的一种计算设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本发明实施例可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明实施例发生混淆，对于本领域公知的一些技术特征未进行描述。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

传统的深度学习分割算法旨在将点云转换为体素或多视图以提取点特征，这可能会导致数据预处理时间的增加或者信息的丢失。PointNet 是一个里程碑算法，它提出了一种直接将点云作为输入的神经网络。到目前为止，许多基于PointNet和PointNet++改进的方法，例如PointCNN， KPConv，RSCNN，DGCNN等，都取得了良好的性能。但是，这些方法将点云切成小点云块，然后从每个点云块中采样一定数量的点，例如4096 或8192，作为训练网络的输入。通常，基于裁剪策略的方法可能会增加数据预处理的时间复杂度，并且采样策略将破坏点云的几何结构，因此网络难以有效地提取每个对象的局部特征。

最近，一些工作已开始尝试直接处理大规模点云。例如，FCPN结合体素来处理大规模点云。LU-Net提出了一种用于LiDAR点云语义分割的端到端体系结构LU-Net，该体系结构考虑了传感器的拓扑结构，并使用学习到的3D特征有效地创建了多通道距离图像，然后将该范围图像用作 U-Net体系结构的输入，最后可以使用简单的U-Net分段网络进行分割。VIASeg提出了一种基于超压缩残差模块和语义连接的多尺度全卷积网络，它将融合的RGB点云投影到二维球面中。SPG使用超点和超点图来表示大场景点云。输入点云分为几何上简单的形状，称为超点。在此预处理的基础上，通过将具有丰富属性的超边链接到附近的超点来构造超点图 (SPG)。这是一种新颖的点云表示。每个超点都由PointNet网络嵌入，然后沿超边传输信息。最终分割结果由门控循环单元(GRU)优化。

以上方法已经实现了很好的分割效果，但是进行了体素化，块分割或转换为图形等预处理操作。实际上，这些将导致计算量增加或内存使用量增加。PASS3D提出了一种新颖的两阶段3D语义分割框架。在第一阶段，使用加速聚类算法对点云进行无节分割以进行精细聚类，这可以在很短的时间内提高召回率。在第二阶段，对神经网络进行进一步处理以估计每个点的语义标签，并提出一种新颖的数据扩展方法以增强网络对所有类别 (尤其是非刚性对象)的识别能力。RandLA-Net提出了一种特征聚合模块，以增加每个点的感知范围，从而可以更好地保留输入点云的总体几何细节。但是，它不提取语义特征。它仅对扩张后的残差块执行快捷连接，而没有充分利用残差网络的优势，从而导致许多可区分的特征无法提取。

当前的大场景三维点云语义分割方法一般是将大规模点云切成点云块再进行处理。然而在实际计算过程中，切割边界的几何特征容易被破坏，使得分割结果呈现明显的边界现象。但是目前大多数网络仍然选择输入小点云块进行训练，这主要是因为直接处理大规模点云存在许多挑战。首先，通过传感器扫描收集的3D点云不均匀地分布在整个空间中。大场景的直接处理可能会导致稀疏点被忽略，小对象的语义分割也将非常困难。其次，大场景的大小和点数不确定，这要求网络对输入点数不敏感。第三，大场景的几何结构比小尺度点云的几何结构更为复杂。每次处理的类别和实例数量的增加将大大增加分割的难度。最后，计算量的激增对现有 GPU内存提出了巨大挑战。因此，为了解决该问题，迫切需要以原始点云作为输入的高效深度学习网络模型，用于大场景点云语义分割。

考虑到残差网络和密集卷积网络在图像域中的性能，我们结合残差密集训练对3D点云进行语义分割。整个大型场景的点云包含大量的低/中/ 高级功能。随着网络层数的增加，网络提取的特征将是可区分的并且包含更多的语义信息。3D点云的语义分割需要这些功能的支持才能获得良好的分割结果。残留网络可以解决由于网络层增加而引起的梯度下降的问题。我们发现残差网络和密集网络恰好满足了大场景中点云语义分割不同阶段的特征处理需求。在浅层网络层中，网络只能提取少量特征。我们使用ResNet中的快捷连接来将特征通过特征求和合并，然后再传递给下一层。随着网络层数的增加，网络将提取更多具有语义信息的特征。密集卷积网络可以增强特征传播并鼓励特征重用。因此，我们通过稠密连接来组合特征。在训练阶段，完整的残差网络通常需要大量的网络参数，因为它们在每一层中的权重值是独立分布的。稠密网络结构将保留的信息与添加的外部信息分开，这使本发明能够减少网络参数的数量并显着改善大场景点云的语义分割结果。因此，我们设计了一种基于残差网络和稠密卷积网络的大规模点云语义分割新框架。

本发明实施例基于以上思想，提供了一种点云语义分割方法、装置、计算设备及存储介质，其能够实现数据库脏页面的检测，快速准确地检测到所有脏页面，下面结合附图进行详细描述。

首先对本发明实施例所提供的点云语义分割方法进行介绍。

图1为根据本发明实施例的点云语义分割方法100的示意性流程图。

请参考图1，本发明实施例公开的点云语义分割方法100，包括：

步骤S101，获取点云数据，通过编码器网络对所述点云数据进行多级编码来获得多级邻域特征集。

示例性，所述编码器为多级编码器，每级编码器用于执行一次编码处理以得到一级领域特征集。

示例性，通过编码器网络对所述点云数据进行多级编码来获得多级邻域特征集，包括：

对所述点云数据进行多次下采样，以得到多级包括不同数量点的第一点云数据；

获取每级所述第一点云数据的中心点特征；

对每级所述第一点云数据的中心点特征执行至少两次特征聚合操作以获得每级第一点云数据的所述邻域特征集，且当前所述特征聚合操作输出的当前所述邻域特征集以及当前所述邻域特征集与所述点云数据的每个中心点的特征的残差连接或稠密连接和当前所述邻域特征集与前一次所述特征聚合操作输出的前一个所述邻域特征集的稠密连接作为下一次所述特征聚合的输入。

每级编码器的具体操作将在下文进行描述，在此不再赘述。

步骤S102，通过解码器网络对所述多级邻域特征集进逐级行解码来获得取所述点云数据的语义特征。

示例性地，所述解码器为多级解码器，通过解码器网络可以对编码器获得多级邻域特征集进逐级行解码来获得取所述点云数据的语义特征。

示例性地，编码器中获得多级领域特征集和第一点云数据输入至对应解码器中子解码器中，所述解码器具体执行下述步骤：

对每级所述第一点云数据执行上采样操作以得到多级第二点云数据。例如最近邻插值算法对每级所述第一点云数据执行上采样操作以得到多级第二点云数据。

通过多层感知机对对应级的所述第二点云数据、领域特征集和语义特征进行操作得到多级语义特征。

步骤S103，根据所述点云数据的语义特征进行分类预测，得到所述点云数据的中各点对应的语义标签。

示例性地，对解码器得到的语义特征进行全连接操作，以得到所述点云数据的中各点对应的语义标签。具体地，对最后一层解码器得到语义特征进行全连接操作，得到所述点云数据的中各点对应的语义标签。

图2为根据本发明实施例的点云语义分割中的编码方法的示意性流程图。

请参考图2，本发明实施例公开的点云语义分割中的编码方法200，包括：

步骤S201，获取点云数据。

在S201中获取的点云数据为原始点云数据或上层编码器下采样得到第一点云数据。

步骤S202，对点云数据进行下采样得到第一点云数据。

示例性地，对步骤201获取的点云数据进行随机降采样操作，采样后的点数为步骤201获取的点云数据的预定比例(例如1/4等合适比例)，然后将此次下采样得到第一点云数据中的点作为中心点。

步骤S203，获取第一点云数据的中心点特征。

示例性地，通过全连接操作获取第一点云数据的中心点特征。

步骤S204，获取第一点云数据的第一局部特征。

示例性地，所述局部特征包括邻点特征、几何特征和语义特征。

根据所述第一点云数据的中心点特征获取所述第一点云数据的第一局部特征具体可以通过下述步骤实现：

首先，获取每个中心点对应的邻点特征集，作为所述点云数据的所述邻点特征。例如通过k近邻算法找到中心点的k个临近点(k＝16)，获取每个中心点的邻域点集坐标，并通过邻域点下标属性得到每个中心点对应的邻点特征集。示例性地，邻点特征集包括局部稠密度，局部曲率，线性度，平面度，散射度等点云特征。

接着，根据所述邻点特征集的空间位置信息获得所述第一点云数据的所述几何特征。例如，对所述邻点特征集的空间位置信息进行编码(多层感知机操作)获得所述第一点云数据的所述几何特征。编码内容包括中心点三维坐标，邻点三维坐标，中心点与邻点之间的相对坐标，中心点与邻点之间的欧氏距离。

接着，根据每个中心点的特征与邻点特征获得所述点云数据的所述语义特征。例如中心点特征与邻点特征进行卷积操作得到点之间的语义特征，使得网络能更深入提取局部邻域特征信息，中心点和邻点之间的上下文关系。

步骤S205，对第一点云数据的局部特征进行第一次聚合得到第一点云数据的第一邻域特征集。

示例性地，第一邻域特征集通过下述步骤获得：

首先，对第一点云数据的第一局部特征进程串联操作得到局部特征集合；

然后，获取所述局部特征集合中各局部特征的注意力分数。例如，将部特征集合输入到注意力模块，注意力模块线进行全连接操作，然后通过例如softmax函数得到注意力分数。

然后，根据所述注意力分数选择重要的局部特征，并将这些特征加权求和后聚合到一起以得到所述邻域特征集。

步骤S206-S207为S204-S205的重复，不同之处在于S206的输入不仅包括S205输出的第一邻域特征集，还包括第一邻域特征集与S203输出的中心点特征的残差连接结果。通过将中心点特征与第一邻域特征集进行残差连接可以解决由于网络层增加而引起的梯度下降问题。

步骤S208-S209为S204-S205的重复，不同之处在于S208的输入不仅包括S207输出的第二邻域特征集，还包括第二邻域特征集与S203输出的中心点特征的稠密连接结果，以及第二邻域特征集与第一邻域特征集稠密连接的结果。通过将第二邻域特征集与第一邻域特征集稠密连接可以实现特征组合。通过将第二邻域特征集与中心点特征的稠密连接可以在增加网络深度的同时，提取更多可区分的语义特征。

最后将步骤209输出的第三邻域特征集作为本次编码处理的输出。

应当理解，虽然在本实施例中执行了三次特征聚合(即S204-S205重复了三次)，但是在其它实施例中，也可以执行两次特征聚合或更多次特征聚合，而不限于三次，其仅是示例性的。

根据本发明的点云语义分割方法，通过将残差连接和稠密连接引入大规模点云的语义分割中，从而加深了网络深度并提取了可区分的语义特征。其次，本发明设计了一个新的局部特征提取模块来弥补随机抽样的不足，并通过注意力机制对学习到的特征进行聚合聚合和优化，使网络可以更好地适应点云的几何形状。最后，本发明在大型室内数据集S3DIS数据集的 OA和mA均超过了当前最新的大型场景语义分割算法RandLA-Net，分别为88.1％和82.3％。同样，mA比同样直接处理大型场景点云的SPG高9.3％。在大型室外数据集Semantic3D数据集中，本发明的mIou和OA分别为 76.5％和94.4％。值得注意的是，在大型室外数据集Toronto-3D数据集上，本发明的mIou为80.27％，超过了当前最新的公开算法MSTGNet 9.77％。其中道路标志和围栏这两个类别的IoU分别超过MSTGNet 42.61％，19.67％。本发明为多个数据集带来了最优的语义分割性能，验证了本发明的有效性和鲁棒性。

图3为根据本发明实施例的点云语义分割装置的示意性结构框图。下面结合图3对根据本发明实施例的点云语义分割装置300进行描述。图4 为根据本发明实施例的子编码器的示意性结构框图；图5为本发明实施例的云语义分割装置的一个示例。

请参考图3，根据本发明实施例的点云语义分割装置300包括编码器 310、解码器320和分类器330。

编码器310用于对输入的点云数据进行多级编码来以获得所述点云数据的多级邻域特征集。编码器310用于执行结合图1描述的点云语义分割方法中的步骤S101，以及结合图2描述的编码法中的步骤S201-S209，该过程的详细描述参见前述结合图1-图2的描述，在此不再赘述。

解码器320用于对所述点云数据的多级邻域特征集进行对所述多级邻域特征集进逐级行解码来获得取所述点云数据的语义特征。解码器320用于执行结合图1描述的点云语义分割方法中的步骤S102，该过程的详细描述参见前述结合图1的描述，在此不再赘述。

分类器330用于根据所述点云数据的语义特征进行分类预测，得到所述点云数据的中各点对应的语义标签。分类器330用于执行结合图1描述的点云语义分割方法中的步骤S103，该过程的详细描述参见前述结合图1 的描述，在此不再赘述。

示例性地，在本实施例中，所述编码器包括多层依次连接的子编码器 (例如5个子解码器)，如图4所示，所述子编码器400包括依次连接的下采样模块410、中心点特征提取模块420和多个特征聚合模块430，

所述下采样模块410用于对输入的点云数据进行随机下采样操作，以得到多级包括不同数量点的第一点云数据。

所述中心点特征提取模块420获取所述第一点云数据的中心点特征。

所述特征聚合模块430用于对每级所述第一点云数据的中心点特征进行聚特征合以得到邻域特征集。每个所述特征聚合模块的输出以及每个所述特征聚合模块的输出与所述点云数据的每个中心点特征的残差连接或稠密连接和每个所述特征聚合模块的输出与前一个所述特征聚合模块的输出的稠密连接作为下一个所述特征聚合模块的输入。示例性地，在本实施例中，所述特征聚合模块420包括：局部特征提取单元，用于根据每级所述第一点云数据的中心点特征获取每级所述第一点云数据的局部特征；特征聚合单元，用于将每级所述第一点云数据的局部特征进程串联操作得到局部特征集合，获取所述局部特征集合中各局部特征的注意力分数，并根据所述注意力分数选择局部特征进行聚合以得到所述邻域特征集。

示例性地，在本实施例中，所述子编码器包括依次连接的下采样模块、中心点特征提取模块、第一特征聚合模块、第二特征聚合模块和第三特征聚合模块，所述第一特征聚合模块输出的第一邻域特征集以及所述第一邻域特征集与每个中心点的特征的残差连接作为所述第二特征聚合模块输入，所述第二特征聚合模块输出的第二邻域特征集、所述第二邻域特征集与每个中心点的特征的稠密连接，以及所述第二邻域特征集与所述第一邻域特征集的稠密连接作为所述第三特征聚合模块的输入。

示例性地，在本实施例中，所述解码器包括多层依次连接子解码器，所述子解码器包括上采样模块和多次感知模块，所述上采样模块用于对每级所述第一点云数据执行上采样操作以得到多级第二点云数据；所述多次感知模块用于通过多层感知机对对应级的所述第二点云数据、领域特征集和语义特征进行操作得到多级语义特征。

应当理解，在本实施例中编码器可以包括合适数量的子编码器，解码器可以包括合适数量的子解码器，图5给出根据本发明实施例的点云语义分割装置300的一个示例，其包括5个子编码器和5个字解码器，以及全连接层构成的分类器。即包括5层编码器和5层解码器，其中每层编码器得到下采样点云数据和邻域特征集都输入值对应层级的解码器中。当然，在其它实施例中，也可以选用其它层数的编码器和解码器。

图3-5所示点云语义分割装置300中的各个模块/单元具有实现图1-图2 中各个步骤的功能，并能达到其相应的技术效果，为简洁描述，在此不再赘述。

图6示出了本发明实施例提供的计算设备的硬件结构示意图。

计算设备600可以包括处理器601以及存储有计算机程序指令的存储器602。

具体地，上述处理器601可以包括中央处理器(Central Processing Unit， CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器602可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器602可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB) 驱动器或者两个或更多个以上这些的组合。在一个实例中，存储器602可以包括可移除或不可移除(或固定)的介质，或者存储器602是非易失性固态存储器。存储器602可在综合网关容灾设备的内部或外部。

在一个实例中，存储器602可以是只读存储器(Read Only Memory， ROM)。在一个实例中，该ROM可以是掩模编程的ROM、可编程ROM (PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

存储器602可以包括只读存储器(ROM)，随机存取存储器(RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/ 有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本公开的一方面的方法所描述的操作。

处理器601通过读取并执行存储器602中存储的计算机程序指令，以实现图1所示实施例中的方法/步骤S101至S103，图2所示实施例中的方法/步骤S201至S209，并达到图1至图2所示实例执行其方法/步骤达到的相应技术效果，为简洁描述在此不再赘述。

处理器601通过读取并执行存储器602中存储的计算机程序指令，以实现图3所示实施例中的点云语义分割装置300以及编码器310、解码器 320和分类器330，并达到图3所示实例中的装置所达到的相应技术效果，为简洁描述在此不再赘述。

在一个示例中，计算设备600还可包括通信接口603和总线610。其中，如图6所示，处理器601、存储器602、通信接口603通过总线610连接并完成相互间的通信。

通信接口603，主要用于实现本发明实施例中各模块、装置、单元和/ 或设备之间的通信。

总线610包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(Accelerated Graphics Port，AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，EISA)总线、前端总线(Front Side Bus，FSB)、超传输(Hyper Transport，HT)互连、工业标准架构(Industry Standard Architecture，ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express (PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线610可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

该计算设备600可以数据库异常修复算法执行本发明实施例中的点云语义分割方法，从而实现结合图1至图2描述的点云语义分割方法。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的点云语义分割方法的相应步骤，并且用于实现根据本发明实施例的数据库异常修复装置的相应单元或模块。所述存储介质例如可以包括个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器 (EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。

在一个实施例中，所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的数据库异常修复装置中的各个功能模块，并且/或者可以执行根据本发明实施例的点云语义分割方法。

在一个实施例中，所述计算机程序指令在被计算机运行时执行以下步骤：获取点云数据，通过编码器网络对所述点云数据进行多级编码来获得多级邻域特征集；通过解码器网络对所述多级邻域特征集进逐级行解码来获得取所述点云数据的语义特征；以及根据所述点云数据的语义特征进行分类预测，得到所述点云数据的中各点对应的语义标签，其中，通过编码器网络对所述点云数据进行多级编码来获得多级邻域特征集包括：对所述点云数据进行多次下采样，以得到多级包括不同数量点的第一点云数据；获取每级所述第一点云数据的中心点特征；对每级所述第一点云数据的中心点特征执行至少两次特征聚合操作以获得每级第一点云数据的所述邻域特征集，且当前所述特征聚合操作输出的当前所述邻域特征集以及当前所述邻域特征集与所述点云数据的每个中心点的特征的残差连接或稠密连接和当前所述邻域特征集与前一次所述特征聚合操作输出的前一个所述邻域特征集的稠密连接作为下一次所述特征聚合的输入。

根据本发明实施例的点云语义分割方法中的各模块可以通过根据本发明实施例的点云语义分割方法的电子设备、服务器、系统的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

根据本发明的点云语义分割方法、装置、计算设备及存储介质，通过将残差连接和稠密连接引入大规模点云的语义分割中，从而加深了网络深度并提取了可区分的语义特征。其次，本发明设计了一个新的局部特征提取模块来弥补随机抽样的不足，并通过注意力机制对学习到的特征进行聚合聚合和优化，使网络可以更好地适应点云的几何形状。最后，本发明在大型室内数据集S3DIS数据集的OA和mA均超过了当前最新的大型场景语义分割算法RandLA-Net，分别为88.1％和82.3％。同样，mA比同样直接处理大型场景点云的SPG高9.3％。在大型室外数据集Semantic3D数据集中，本发明的mIou和OA分别为76.5％和94.4％。值得注意的是，在大型室外数据集Toronto-3D数据集上，本发明的mIou为80.27％，超过了当前最新的公开算法MSTGNet 9.77％。其中道路标志和围栏这两个类别的 IoU分别超过MSTGNet 42.61％，19.67％。本发明为多个数据集带来了最优的语义分割性能，验证了本发明的有效性和鲁棒性。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种点云语义分割方法，其特征在于，包括：

获取点云数据，通过编码器网络对所述点云数据进行多级编码来获得多级邻域特征集；

通过解码器网络对所述多级邻域特征集进逐级行解码来获得取所述点云数据的语义特征；以及

根据所述点云数据的语义特征进行分类预测，得到所述点云数据的中各点对应的语义标签，

其中，通过编码器网络对所述点云数据进行多级编码来获得多级邻域特征集包括：

对所述点云数据进行多次下采样，以得到多级包括不同数量点的第一点云数据；

获取每级所述第一点云数据的中心点特征；

对每级所述第一点云数据的中心点特征执行至少两次特征聚合操作以获得每级第一点云数据的所述邻域特征集，且当前所述特征聚合操作输出的当前所述邻域特征集以及当前所述邻域特征集与所述点云数据的每个中心点的特征的残差连接或稠密连接和当前所述邻域特征集与前一次所述特征聚合操作输出的前一个所述邻域特征集的稠密连接作为下一次所述特征聚合的输入。

2.根据权利要求1所述的点云语义分割方法，其特征在于，所述特征聚合操作，包括：

根据每级所述第一点云数据的中心点特征获取每级所述第一点云数据的局部特征；

将每级所述第一点云数据的局部特征进程串联操作得到局部特征集合；

获取所述局部特征集合中各局部特征的注意力分数，并根据所述注意力分数选择局部特征进行聚合以得到所述邻域特征集。

3.根据权利要求2所述的点云语义分割方法，其特征在于，所述局部特征包括邻点特征、几何特征和语义特征。

4.根据权利要求3所述的点云语义分割方法，其特征在于，所述根据每级所述第一点云数据的中心点特征获取每层所述点云层的局部特征，包括：

获取每个中心点对应的邻点特征集，作为所述点云数据的所述邻点特征；

根据所述邻点特征集的空间位置信息获得所述点云数据的所述几何特征；

根据每个中心点的特征与邻点特征获得所述点云数据的所述语义特征。

5.根据权利要求1所述的点云语义分割方法，其特征在于，所述特征聚合操作执行3次，第一所述特征聚合操作输出的第一邻域特征集以及所述第一邻域特征集与每个中心点的特征的残差连接作为第二所述特征聚合操作输入，第二所述特征聚合操作输出的第二邻域特征集、所述第二邻域特征集与每个中心点的特征的稠密连接，以及所述第二邻域特征集与所述第一邻域特征集的稠密连接作为第三所述特征聚合操作的输入。

6.根据权利要求1-5中的任一项所述的点云语义分割方法，其特征在于，所述通过解码器网络对所述多级邻域特征集进逐级行解码来获得取所述点云数据的语义特征，包括：

对每级所述第一点云数据执行上采样操作以得到多级第二点云数据；

通过多层感知机对对应级的所述第二点云数据、领域特征集和语义特征进行操作得到多级语义特征。

7.根据权利要求6所述的点云语义分割方法，其特征在于，根据所述点云数据的语义特征进行分类预测，得到所述点云数据的中各点对应的语义标签，包括：

对最后一层解码器得到语义特征进行全连接操作，得到所述点云数据的中各点对应的语义标签。

8.一种点云语义分割装置，其特征在于，包括：

编码器，用于对输入的点云数据进行多级编码来以获得所述点云数据的多级邻域特征集；

解码器，用于对所述点云数据的多级邻域特征集进行对所述多级邻域特征集进逐级行解码来获得取所述点云数据的语义特征；

分类器，用于根据所述点云数据的语义特征进行分类预测，得到所述点云数据的中各点对应的语义标签，

其中，所述编码器包括多层依次连接的子编码器，所述子编码器包括依次连接的下采样模块、中心点特征提取模块和多个特征聚合模块，

所述下采样模块用于对输入的点云数据进行随机下采样操作，以得到多级包括不同数量点的第一点云数据；

所述中心点特征提取模块获取所述第一点云数据的中心点特征；

所述特征聚合模块用于对每级所述第一点云数据的中心点特征进行聚特征合以得到邻域特征集；

每个所述特征聚合模块的输出以及每个所述特征聚合模块的输出与所述点云数据的每个中心点特征的残差连接或稠密连接和每个所述特征聚合模块的输出与前一个所述特征聚合模块的输出的稠密连接作为下一个所述特征聚合模块的输入。

9.根据权利要求8所述的点云语义分割装置，其特征在于，所述特征聚合模块包括：

局部特征提取单元，用于根据每级所述第一点云数据的中心点特征获取每级所述第一点云数据的局部特征；

特征聚合单元，用于将每级所述第一点云数据的局部特征进程串联操作得到局部特征集合，获取所述局部特征集合中各局部特征的注意力分数，并根据所述注意力分数选择局部特征进行聚合以得到所述邻域特征集。

10.根据权利要求8所述的点云语义分割装置，其特征在于，所述子编码器包括依次连接的下采样模块、中心点特征提取模块、第一特征聚合模块、第二特征聚合模块和第三特征聚合模块，所述第一特征聚合模块输出的第一邻域特征集以及所述第一邻域特征集与每个中心点的特征的残差连接作为所述第二特征聚合模块输入，所述第二特征聚合模块输出的第二邻域特征集、所述第二邻域特征集与每个中心点的特征的稠密连接，以及所述第二邻域特征集与所述第一邻域特征集的稠密连接作为所述第三特征聚合模块的输入。

11.根据权利要求8所述的点云语义分割装置，其特征在于，所述解码器包括多层依次连接子解码器，所述子解码器包括上采样模块和多次感知模块，

所述上采样模块用于对每级所述第一点云数据执行上采样操作以得到多级第二点云数据；

所述多次感知模块用于通过多层感知机对对应级的所述第二点云数据、领域特征集和语义特征进行操作得到多级语义特征。

12.一种计算设备，其特征在于，所述设备包括：处理器，以及存储有计算机程序指令的存储器；所述处理器读取并执行所述计算机程序指令，以实现如权利要求1-7中的任意一项所述的点云语义分割方法。

13.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7中的任意一项所述的点云语义分割方法。

Images