CN113392841B

CN113392841B - 一种基于多特征信息增强编码的三维点云语义分割方法

Info

Publication number: CN113392841B
Application number: CN202110617230.2A
Authority: CN
Inventors: 罗欣; 陈艳阳; 李晓溪; 崔慧敏; 赫熙煦; 许文波; 郑进军
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2021-06-03
Filing date: 2021-06-03
Publication date: 2022-11-18
Anticipated expiration: 2041-06-03
Also published as: CN113392841A

Abstract

本发明公开了一种基于多特征信息增强编码的三维点云语义分割方法。该发明可以进一步增强以PointNet++为代表的三维点云语义分割算法在不同应用场景下的性能。PointNet++网络在编码过程中，只是单纯的利用点和中心点的坐标差作为局部空间的几何信息构建显然是不够充分的。同时，对于点的附加信息，PointNet++网络直接将其和几何信息进行共同编码，这是一种对于点云附件信息的不恰当使用，点云信息在其中的作用很小。本发明提出的基于多特征信息增强编码的三维点云语义分割方法，添加点与中心点的原始坐标和欧式距离等信息，与坐标差共同进行局部空间的特征聚合，并将点的附加特征和几何特征分开编码，重新设计了一种基于点云多类特征的信息编码增强结构。

Description

一种基于多特征信息增强编码的三维点云语义分割方法

技术领域

本发明属于计算机三维点云语义分割领域，是基于深度学习的方法实现三维点云的语义分割。

背景技术

近年来，针对三维信息的研究等工作开始得到越来越多的科研工作者的重视。三维点云语义分割是将点云中的每个点按照各自的类别进行语义的划分，对同一类别的点进行相同的标注。随着三维数据获取的难度变小，基于三维数据的技术开始逐渐发展，也已经开始应用在自动驾驶、智能机器人、遥感和医疗等领域中。点云语义分割算法是三维点云处理的重要方向之一，传统的点云分割方法精度不高，且存在局限性。因此，基于深度学习的三维点云语义分割方法开始逐渐涌现。目前经典的基于深度学习的方法大多是对点数据进行处理，直接对不规则点云进行处理，本发明主要关注逐点MLP(Pointwise Multi-LayerPerceptron)方法。逐点MLP方法效率较高，它是利用了共享MLP作为网络的基本结构。其中，PointNet研究了点云数据的特性，并根据点云的特性设置了专属的网络模型，它首先使用了MLP网络来进行点云特征的升维，将点的信息提升到高维空间中，然后采用最大池化来对提取到的高维特征进行提取，得到了点云的整体特征，中间步骤进行升维的特征就是点自身的局部特征。PointNet++在原有PointNet的基础上对于局部特征的构建提出了更加有效的方法，它利用了点的邻域空间，利用下采样的方式同时构建每个采样点的局部空间，对每个局部空间利用PointNet的基础结构进行空间的特征提取，之后在进行对应的上采样特征插值，最后得到了每个点的特征，这些特征包含了点的几何空间信息。PointNet++网络在编码过程中，只是单纯的利用点和中心点的坐标差作为局部空间的几何信息构建显然是不够充分的。同时，对于点的附加信息，PointNet++网络直接将其和几何信息进行共同编码，这是一种对于点云附件信息的不恰当使用，点云信息在其中的作用很小。

发明内容

为了克服上述基于深度学习的三维点云语义分割方法在编码过程的不足，本发明提出了一种基于多特征信息增强编码的三维点云语义分割(SG-PointNet++)方法。该方法以PointNet++为基础框架，如图1所示，对其在编码过程中利用多特征信息增强进行改进，完成了SG-PointNet++的构建。其中，S代表Separate，表示将几何特征和附加信息的特征进行分开编码，G代表了几何信息增强(Geometric information enhancement)，其同样在编码层的局部空间进行处理。PointNet++网络在编码过程存在的问题和本发明的改进方法如图2所示。在编码层的局部空间进行几何特征聚合的过程中，本发明对该部分进行了局部空间几何信息编码增强，构建了GEO-PointNet模块，针对编码过程中，PointNet++网络对点的附加信息处理不完善的问题，本发明提出了将点的附加特征和几何特征分开编码的方法，构建了SEP-PointNet模块。结合本发明对PointNet++网络的改进，设计了SG-PointNet++网络，技术路线如图3所示。

本发明采用的技术方案是基于多特征信息增强编码的三维点云语义分割方法，该方法包括：

步骤1：对输入的点云数据进行编码得到点云的局部空间特征，编码层由2个SG-抽象层SG-SA(Separate and Geometric information enhancement-Set AbstractionLayer)结构组成，通过SG-SA1和SG-SA2进行抽取并保留各层的特征，每个SG-SA层结构均由三个相关联的网络结构构成，分别是用于点云采样点选取的采样层(Sampling Layer)、用于构建局部空间的分组层(Grouping Layer)和用于特征聚合的SG-PointNet层；

步骤2：将采样并编码后的特征点云按照2次编码的反过程进行2次解码，解码层由2个特征聚合FP(Feature Propagation)层构成，通过FP1和FP2逐步进行上采样恢复原始点云结构，并进行特征聚合和跨层跳跃链接，得到点云中每个点的特征；

步骤3：将点云和其对应的特征放入全连接层，并进行点的语义信息的判别。

进一步，所述步骤1的具体方法为：

步骤1.1：输入的点云数据首先通过用于点云采样点选取的采样层(SamplingLayer)，用最远点采样方法(Farthest Point Sampling，FPS)获取固定数量的点作为采样点；

步骤1.2：对每个采样点利用分组层(Grouping Layer)进行球体查询(BallQuery)，寻找邻域点并局部空间构建；

步骤1.3：在每个局部空间内的几何信息和附加信息利用PointNet基础结构进行分开编码，在构建几何特征时加入局部空间的中心点坐标、相对坐标和欧氏距离信息，得到了降采样后的点云和每个点的局部空间特征，即完成了SG-SA1层的降采样和特征提取；

步骤1.4：将步骤1.3得到的点云和特征重复步骤1.1-1.3，完成SG-SA2层的降采样和特征提取,得到2组经过降采样后的点云和特征。

进一步，所述步骤2的具体方法为：

步骤2.1：将SG-SA2层得到的点云和对应特征通过FP1层上采样恢复到SG-SA1层处理后的点云大小；

步骤2.2：对SG-SA1层中的每个点找到其对应SG-SA2层中最近的3个点，将这三个点的特征进行三线性权重插值，作为点的插值特征；

步骤2.3：将插值特征与SG-SA1层中得到的点的特征进行几何特征和附加特征的跨层跳跃链接，并通过MLP得到了FP1层的最终点特征；

步骤2.4：将FP1层获取的点特征作为下一层FP2中的插值部分，用三线性插值获取插值特征，之后和原始的点的特征链接，再通过MLP获取最终的每个点的特征；

与现有技术相比，本发明的有益效果是：

(1)原始的PointNet++网络只利用了点的坐标差作为特征聚合的方法，本论文将添加点与中心点的原始坐标和欧式距离信息，与坐标差共同进行局部空间的特征聚合，构建成一个局部空间几何信息编码增强的GEO-PointNet层。

(2)针对编码过程对点的附加信息处理不完善的问题，采用了将点的附加特征和几何特征分开编码的方式来改进，提出了SEP-PointNet层，构建用于特征聚合的SG-PointNet层，重新设计了一种基于点云多类特征的信息编码增强结构。

附图说明

图1为PointNet++网络的基础框架；

图2为本发明的网络改进方法；

图3为本发明的一种基于多特征信息增强编码的三维点云语义分割方法的技术路线；

图4为PointNet++网络的单个局部空间特征聚合过程；

图5为改进后的单个局部空间几何特征聚合过程；

图6为单个采样点局部空间的SEP-PointNet编码结构；

图7为测试点云原始数据；

图8为测试点云可视化数据；

图9为测试点云的语义分割结果；

图10为各个网络的总体精度评价结果；

图11为各个网络的各个类别IoU评价结果；

具体实施步骤

一、编码部分

网络的编码部分相对于原始的PointNet++网络的区别在于对PointNet层局部空间信息编码的构建。在PointNet++网络中的点云信息编码过程中，PointNet层处理采样点和邻域点组成的空间时，利用了采样点与邻域点的相对位置，即坐标差来进行特征聚合。具体实现步骤如下：PointNet层输入的数据为一个个局部空间，局部空间中包含采样点的坐标和附件信息以及采样点的邻域点对应的坐标和附加信息。以一个局部空间作为例子，其对应的局部空间编码网络结构如图4所示。

PointNet层结构的输入为N₁组点，每组一共有K个点，每个点的维度为d+C，d为坐标的维度，一般为3，C为该点的附加信息或者特征的维度。对于一组点来说，PointNet层对于点集具体操作如下：

PointNet层首先将对应的邻域当中的每个点进行处理，将点的坐标全部替换为邻域点相对于中心点即该区域采样点的相对坐标，并与对应的点的其他维度的特征相连接，之后利用MLP神经网络，对每个点进行类似卷积的操作，进行点特征的聚合。经过MLP之后，将我们一共得到了K个点的特征，然后对着K个点进行池化操作，得到了一个一维的行向量，将该向量与该局部空间区域的中心点即采样点的坐标进行连接，即将该局部空间的信息编码到了采样点上，可以近似地看作这个采样点包含了该空间的所有信息。

为了能够更加有效的利用点云的几何和结构关系，对于输入的点云信息充分的利用，本发明首先根据PointNet层的基本结构，设计了一种基于局部空间编码信息增强的PointNet层结构。

对于单点来说，局部空间编码信息增强后的PointNet层，其对应的MLP处理内容有所变化，原始的局部空间内的单点特征获取操作，如公式(1)所示：

改进后的PointNet层的单点几何信息编码如公式(2)所示：

其中，f_i ^k为MLP处理后得到的单点特征，用来后续和其余点的特征结合起来进行池化，p_i为该局部空间中心的采样点的坐标，

为该局部空间内的采样点的某一邻域点的坐标，

为采样点与该邻域点的坐标差，

为采样点与该邻域点的欧氏距离。

改进后的网络处理一个局部空间内的点云集合的具体操作网络结构如图5所示，它展示了一个基于局部空间编码信息增强的PointNet层结构。对输入的局部空间点云，PointNet层网络首先进行点云内的坐标计算，将空间内的所有点的坐标信息进行添加，依次加入局部空间的中心点坐标、相对坐标和欧氏距离，空间中的每个点的信息都增加了7个维度。之后，将处理好的点与其原始的点附加信息保持连接，利用MLP神经网络对其进行特征聚合，与原始的PointNet层结构相比，MLP处理的每个点都包含了中心点坐标，相对坐标和欧式距离信息，能够更好的表现点云的空间几何和结构信息。之后在进行池化操作，并与局部空间的点云坐标进行对应连接。

另外，PointNet++网络在进行点云的信息编码过程中，经过第一个SA层时，直接将点的几何信息和附加的特征信息直接混合，一起进行MLP处理，这种方法会混淆点几何信息和其附加信息，属于一种不完善的编码过程，因此，为了更好的学习点云信息，在编码和解码的过程中，点云的几何信息和附加信息分开进行编码，并在解码后的几何特征和附加特征进行组合，将组合后的特征经过全连接层再进行语义判别。

PointNet++网络在进行点云的信息编码时，是利用了局部空间进行特征聚合的，属于SA的PointNet层，因此，将点云的几何信息和附加信息进行单独编码时，也需要在局部空间中进行编码，对应的编码层被记作SEP-PointNet，其结构如图6所示。

对于每个采样点，我们按照PointNet++的方法进行寻找邻域，得到了一个领域空间，邻域空间中的每个点都包含了各自的几何特征和颜色特征，将其几何特征和颜色特征分开，单独对他们进行MLP处理。图6中的D模块代表了点的几何特征，C模块代表了点的附加信息特征。

局部空间中每个点的几何特征D分别通过MLP结构，进行特征升维，然后通过最大池化模块，得到了该局部空间的新的几何特征D1。附加信息特征进行同样的操作，对每个点的附加特征C进行MLP特征升维，然后进行最大池化，得到该局部空间的新的附加信息特征C₁。将他们进行组合进入下一个SA模块中。在实际运算过程中，我们要了解到该采样点特征聚合后得到的几何特征维度和附加信息特征维度，这样才可以在进入下一次的SA模块中准确分离，因此，在网络的设置过程中，要准确的设置好各个特征的维度，保证两种特征的正确聚合。

将本发明提出的GEO-PointNet层与SEP-PointNet层联合起来，结合原本PointNet++的基本结构，就是本发明设计的三维点云语义分割SG-PointNet++网络的框架。

二、解码部分

解码部分由两个上采样层FP构成，空间信息解码部分的主要目的是将聚合得到的局部空间信息映射到点云集合的所有点当中，得到点云中每个原始点的点特征。空间信息解码的基本思想是通过上采样，将点的特征从上一层传播到下一层中，直到恢复到原始点云。

其实现过程是通过基于距离的插值进行点的特征传播，并通过跨层跳跃链接(Skip Link Concatenation)来聚合其对应编码层的对应点的携带特征。在进行N_l层向N_l-1层进行点特征传播时，假设我们要获取N_l-1层中A点的特征，首先利用KNN插值办法找到A点在N_l层最邻近的3个点，对进行加权求和，此时公式(3)中对应的p＝2，k＝3。然后将得到的加权特征和编码过程中对应点集SA抽象层获取的特征，通过跨层跳跃链接进行组合，将连接的组合特征通过一个单一的PointNet层结构进行聚合。不同通过这种特征聚合方式进行点云上采样，直到点云集合恢复到原始点云大小。

三、点云语义分割

利用点云的多特征信息进行对应的编码解码之后，得到了每个点的特征，通过全连接层对特征进行处理，得到每个点的预测语义分割结果。本发明使用了S3DIS(StanfordLarge-Scale 3D Indoor Spaces Dataset)数据集作为主要数据，针对S3DIS标准数据集的六个区域，选取了Area_5作为训练过程中的测试数据，其余五个区域作为训练数据进行计算。对Area_5区域内的所有66个房间都进行了语义分割的测试，每个类型的房间都选取了一间来进行最终语义效果的展示，最终选取了6个房间作为实验测试的基准。对每个类型的房间如下图7所示，它们是选中的区域5中的6个房间的点云，其颜色都是真实的点云颜色。为了方便与网络预测的结果进行对比，将测试点云按照测试的可视化颜色标准进行着色，设定了13种类别可视化RGB颜色标准，测试点云可视化之后的点云如图8所示。通过训练后，利用DD-PointNet++网络对点云进行语义分割，其结果如图9所示。

最终得到的网络的三维点云语义分割结果的精度评价指标如下图10和图11所示。

改进后的SG-PointNet++网络的总体精度为82.4％，相对于PointNet++提高了1.3％，对于各类的平均交并比mIoU，我们可以看到，SG-PointNet++网络的mIoU值为51.96％，相对于PointNet++增加了2.57％，在一些原本表现不好的地板、柱子、窗和门等类别上也超过了PointNet网络。其中，天花板的IoU值为89.4％，地板的IoU值为97.6％，墙的IoU值为72.7％，柱的IoU值为3.6％，窗的IoU值为57.2％，门的IoU值为14.0％，桌子的IoU值为66.8％，椅子的IoU值为73.5％，沙发的IoU值为39.7％，书架的IoU值为61.3％，木板的IoU值为58.5％，杂类的IoU值为41.2％。

由此可见，我们对PointNet++网络进行的点云多类特征的信息增强编码研究是有效的改进后的SG-PointNet++网络的各个精度评价指标相对于PointNet++都有着明显的提升。

Claims

1.一种基于多特征信息增强编码的三维点云语义分割方法，其特征在于，包括以下步骤：

步骤1：对输入的点云数据进行编码得到点云的局部空间特征，编码层由2个SG-抽象层SG-SA(Separate and Geometric information enhancement-Set Abstraction Layer)结构组成，通过SG-SA1和SG-SA2进行抽取并保留各层的特征，每个SG-SA层结构均由三个相关联的网络结构构成，分别是用于点云采样点选取的采样层(Sampling Layer)、用于构建局部空间的分组层(Grouping Layer)和用于特征聚合的SG-PointNet层；

步骤1.1：输入的点云数据首先通过用于点云采样点选取的采样层，用最远点采样方法(Farthest Point Sampling，FPS)获取固定数量的点作为采样点；

步骤1.2：对每个采样点利用分组层(Grouping Layer)进行球体查询(Ball Query)，寻找邻域点并局部空间构建；

步骤1.4：将步骤1.3得到的点云和特征重复步骤1.1-1.3，完成SG-SA2层的降采样和特征提取,得到2组经过降采样后的点云和特征；

步骤2.3：将插值特征与SG-SA1层中得到的点的特征进行几何特征和附加特征的跨层跳跃链接，并通过MLP(Pointwise Multi-Layer Percentron)得到了FP1层的最终点特征；

2.如权利要求1所述方法，其特征在于，步骤1中的SG-SA1层和SG-SA2层在进行局部空间特征提取时将每个局部空间内的几何信息和附加信息利用PointNet基础结构进行分开编码。

3.如权利要求1所述方法，其特征在于，步骤1中的SG-SA1层和SG-SA2层在构建几何特征时加入局部空间的中心点坐标、相对坐标和欧氏距离信息。

4.如权利要求1所述方法，其特征在于，步骤2中将几何特征和附加特征进行分开聚合。