CN113392842B - 一种基于点数据网络结构改进的点云语义分割方法 - Google Patents

Abstract

本发明公开了一种基于点数据网络结构改进的点云语义分割方法。该发明可以进一步增强以PointNet++为代表的三维点云语义分割算法在不同应用场景下的性能。PointNet++网络利用了2层的点云编码结构和2层的解码结构来进行网络特征的提取，单个采样点最终聚合的空间点信息时不充足的，且PointNet++网络复用了大量的MLP网络结构，在网络训练模型的过程中，很有可能导致网络模型出现过拟合现象。本发明提出的基于点数据网络结构改进的点云语义分割方法，通过加深网络的层数，使网络深度增加，从而让编码过程中，点的信息学习更加有效，并在网络最后的全连接层部分引入Dropout层。

Description

一种基于点数据网络结构改进的点云语义分割方法

技术领域

本发明属于计算机三维点云语义分割领域，是基于深度学习的方法实现三维点云的语义分割。

背景技术

近年来，针对三维信息的研究等工作开始得到越来越多的科研工作者的重视。三维点云语义分割是将点云中的每个点按照各自的类别进行语义的划分，对同一类别的点进行相同的标注。随着三维数据获取的难度变小，基于三维数据的技术开始逐渐发展，也已经开始应用在自动驾驶、智能机器人、遥感和医疗等领域中。点云语义分割算法是三维点云处理的重要方向之一，传统的点云分割方法精度不高，且存在局限性。因此，基于深度学习的三维点云语义分割方法开始逐渐涌现。目前经典的基于深度学习的方法大多是对点数据进行处理，直接对不规则点云进行处理，本发明主要关注逐点MLP(Pointwise Multi-LayerPerceptron)方法。逐点MLP方法效率较高，它是利用了共享MLP作为网络的基本结构。其中，PointNet++网络利用了2层的点云编码结构和2层的解码结构来进行网络特征的提取。我们发现，PointNet++网络在每次寻找采样点的邻域点来构建局部空间时，选择采用球体查询的方法，在进行网络设计时，一共进行了两次下采样，对应的第二次的球体查询半径增大，但是尽管如此，单个采样点最终聚合的空间点信息时不充足的，如果只是单纯的增大采样点的邻域半径，与KNN寻找邻域的方法相同，只会更多地增加了网络计算量，特征学习可能还会很差。另外，PointNet++ 网络复用了大量的逐点MLP网络结构，这种结构是全连接的，并且为了提取到点的特征，进行了大量的矩阵升维度的操作，这就导致了逐点MLP的神经元个数很多，在网络训练模型的过程中，很有可能导致网络结构的中某些神经元的值出现依赖现象，同时导致了网络模型出现过拟合现象，即网络对于固定数据的依赖性变强，对于训练数据有较好的结果，对于训练数据的结果较差。因此，本发明针对这些问题对网络进行改进。

发明内容

为了克服上述基于深度学习的三维点云语义分割网络结构的不足，本发明提出了一种基于点数据网络结构改进的点云语义分割(DD-PointNet++)方法。该方法以PointNet++为基础框架，对其网络结构进行改进，完成了DD-PointNet++ 的构建。其中，第一个D代表Deep的意思，表示增加网络的深度来达到更好特征聚合的效果。最后一个D代表Dropout的意思，表示网络最后使用了Dropout 层来防止网络过拟合。PointNet++网络结构存在的问题和本发明的改进方法如图 1所示。针对网络深度低导致点的感受野较小的问题，采用了加深网络层数并引入残差网络的方法来解决，针对网络参数多的问题，采用了加入Dropout网络层来防止网络模型过拟合。本发明的技术路线如图2所示。

本发明采用的技术方案是基于点数据网络结构改进的点云语义分割方法，该方法包括：

步骤1：对输入的点云数据进行编码得到点云的局部空间特征，编码层由4 个抽象层SA(Set Abstraction Layer)结构组成，通过SA1、SA2、SA3和SA4进行抽取并保留各层的特征，每个SA层结构均由用于点云采样点选取的采样层 (Sampling Layer)、用于构建局部空间的分组层(Grouping Layer)和用于特征聚合的PointNet层的网络结构构成；

步骤2：将采样并编码后的特征点云按照4次编码的反过程进行4次解码，解码层由4个特征聚合FP(Feature Propagation)层构成，通过FP4、FP3、FP2 和FP1逐步进行上采样恢复原始点云结构，并进行特征聚合和跨层跳跃链接，将 FP1层和原始的点云数据用残差结构进行连接，得到点云中每个点的特征；

步骤3：将点云和其对应的特征放入全连接层，并引入Dropout层，进行点的语义信息的判别。

进一步，所述步骤1的具体方法为：

步骤1.1：输入的点云数据首先进入SA1层，通过最远点采样方法FPS (FarthestPoint Sampling)获取固定1024数量的点作为采样点；

步骤1.2：对1024个采样点利用分组层(Grouping Layer)进行球体查询(BallQuery)，寻找邻域点并局部空间构建；

步骤1.3：在每个局部空间内的几何信息利用PointNet基础结构进行分开编码，得到了降采样后的1024个点和每个点的局部空间特征；

步骤1.4：将步骤1.3得到的点云和特征输入到SA2层，进行降采样和特征提取得到256个点和其对应特征；

步骤1.5：将步骤1.4得到的点云和特征输入到SA3层，进行降采样和特征提取得到64个点和其对应特征；

步骤1.6：将步骤1.3得到的点云和特征输入到SA4层，进行降采样和特征提取得到16个点和其对应特征。

进一步，所述步骤2的具体方法为：

步骤2.1：将SA4层得到的点云和对应特征通过FP4层上采样恢复到SA3 层处理后的点云大小；

步骤2.2：对SA3层中的每个点找到其对应SA4层中最近的3个点，将这三个点的特征进行三线性权重插值，作为点的插值特征；

步骤2.3：将插值特征与SA3层得到的点的特征进行几何特征进行连接，并通过逐点MLP得到了FP4层的点特征；

步骤2.4：将FP4层获取的点特征作为下一层FP3中的插值部分，用三线性插值获取插值特征，之后和SA2层的点的特征链接，再通过逐点MLP获取FP3 层的点特征；

步骤2.5：将FP3层获取的点特征作为下一层FP2中的插值部分，用三线性插值获取插值特征，之后和SA1层的点的特征链接，再通过逐点MLP获取FP2 层的点特征；

步骤2.6：将FP2层获取的点特征作为下一层FP1中的插值部分，用三线性插值获取插值特征，之后通过残差结构与原始的点云数据进行链接，再通过逐点 MLP获取FP1层即原始点云的点特征；

与现有技术相比，本发明的有益效果是：

(1)PointNet++的编码层中，特征聚合学习模块即SA抽象层只有两层，通过加深网络的层数，使网络深度增加，从而让编码过程中，点的信息学习更加有效；

(2)为了防止网络模型过拟合情况的发生，在网络最后的全连接层部分引入Dropout层。

附图说明

图1为本发明的网络改进方法；

图2为本发明的一种基于点数据网络结构改进的点云语义分割方法的技术路线；

图3为原始的PointNet++网络结构；

图4为改进后的Deep-PointNet++网络结构；

图5为加入Dropout层结构的过程；

图6为测试点云原始数据；

图7为测试点云可视化数据；

图8为测试点云的语义分割结果；

图9为各个网络的总体精度评价结果；

图10为各个网络的各个类别IoU评价结果；

具体实施方式

一、网络结构设计

原始的PointNet++网络只对点云进行了两次下采样，即编码层中的SA和解码层中的FP结构只有两层，如图3所示，因此点在聚合特征的过程中，每个点包含的局部空间是较小的，即单点的感受野比较小。为了增加点的感受野，本文选择加深网络结构，将原本的网络编码和解码结构，由原本的2层变为4层，这种做法不仅使点的感受野得以增加，同时网络深度增强后，也能更加有效的进行点特征的学习，获得更好的点云语义分割效果。

加深网络深度并在PointNet++编码和解码结构中引入ResNet结构，设计了 Deep-PointNet++网络结构，引入了简单的残差网络进行了特征的跨层跳跃链接。在网络编码和解码的过程中，编码完成后的其自身点携带的特征信息更多的是局部空间信息特征，其自身信息的特征相对很少，最终获取的特征为上层局部空间的整体几何和附加特征，但自身的携带特征在聚合的过程中，即上层采样点自身的权重在进入下层的过程中变得很小，因此，在解码过程中，需要将编码过程的特征进行与其进行结合。本论文除了在插值时利用了简单的残差结构，也在解码的最后一步将点云的输入信息进行变换与解码层获取的特征进行连接，形成了对点云原始特征的复用结构。

加入残差网络结构，可以使采样点的特征信息进行复用，增强点的自身特征信息，加强了空间编码的效果。除此之外，加入残差网络结构之后，网络学习的内容变为了输入和输出的差值，网络学习的内容相对变小，可以对网络的训练速度有效提升。另外，加入网络的输入信息，对某层的特征信息进行复用可以防止网络的退化。

改进后的Deep-PointNet++网络结构如图4所示。

在加深了网络深度之后，点云的特征维度很大，在进行后续的全连接操作时，可能会出现过拟合情况，因此为了防止点云语义分割网络模型过拟合，本发明引入了Dropout结构。

由于点在解码之后，需要对各个点进行语义的判别，点的特征维度较大，整个网络出现了大量的逐点MLP结构，且对应的维度都不小，网络的参数很多。因此，为了避免网络出现过拟合现象，本文通过在网络训练过程中加入Dropout 层结构如图5所示，构建DP-PointNet++网络，从而使网络鲁棒性更好。

本发明的网络框架如图2所示。输入的点云自身带有的特征为d+c，通过第一层的SA模块，初步聚合点的局部空间特征，之后再经过其余三个SA模块，完成点云的空间信息聚合编码模块。之后进行点云特征解码过程，通过四个FP 特征传递层，并于编码层进行对应的跨层跳跃链接，得到了每个点各自的特征信息，此时的特征包含了自身的特征和周围邻域的特征。最后，将每个点的特征通过全连接层和DP层，完成对每个点的语义分割预测。

二、点云语义分割

本发明使用了S3DIS(Stanford Large-Scale 3D Indoor Spaces Dataset)数据集作为主要数据，针对S3DIS标准数据集的六个区域，选取了Area_5作为训练过程中的测试数据，其余五个区域作为训练数据进行计算。对Area_5区域内的所有66个房间都进行了语义分割的测试，每个类型的房间都选取了一间来进行最终语义效果的展示，最终选取了6个房间作为实验测试的基准。对每个类型的房间如图6所示，它们是选中的区域5中的6个房间的点云，其颜色都是真实的点云颜色。为了方便与网络预测的结果进行对比，将测试点云按照测试的可视化颜色标准进行着色，设定了13种类别可视化RGB颜色标准，测试点云可视化之后的点云如图7所示。通过训练后，利用DD-PointNet++网络对点云进行语义分割，其结果如图8所示。

最终得到的网络的三维点云语义分割结果的精度评价指标如图9和图10 所示。

改进后的DD-PointNet++网络的总体精度为82.1％，相对于PointNet++提高了1.0％，对于各类的平均交并比mIoU，我们可以看到，DD-PointNet++网络的 mIoU值为51.89％，相对于PointNet++增加了2.5％，在一些原本表现不好的地板、柱子、窗和门等类别上也超过了PointNet网络。其中，天花板的IoU值为 89.0％，地板的IoU值为97.0％，墙的IoU值为72.4％，柱的IoU值为1.6％，窗的IoU值为47.5％，门的IoU值为10.4％，桌子的IoU值为66.3％，椅子的IoU 值为72.0％，沙发的IoU值为32.6％，书架的IoU值为58.5％，木板的IoU值为 55.0％，杂类的IoU值为39.9％。

Claims (5)

1.一种基于点数据网络结构改进的点云语义分割方法，其特征在于，包括以下步骤：

步骤1：对输入的点云数据进行编码得到点云的局部空间特征，编码层由4个抽象层SA(Set Abstraction Layer)结构组成，通过SA1、SA2、SA3和SA4进行抽取并保留各层的特征，每个SA层结构均由用于点云采样点选取的采样层(Sampling Layer)、用于构建局部空间的分组层(Grouping Layer)和用于特征聚合的PointNet层的网络结构构成；

步骤1.1：输入的点云数据首先进入SA1层，通过最远点采样方法FPS(Farthest PointSampling)获取固定1024数量的点作为采样点；

步骤1.2：对1024个采样点利用分组层(Grouping Layer)进行球体查询(Ball Query)，寻找邻域点并局部空间构建；

步骤1.3：在每个局部空间内的几何信息利用PointNet基础结构进行分开编码，得到了降采样后的1024个点和每个点的局部空间特征；

步骤1.4：将步骤1.3得到的点云和特征输入到SA2层，进行降采样和特征提取得到256个点和其对应特征；

步骤1.5：将步骤1.4得到的点云和特征输入到SA3层，进行降采样和特征提取得到64个点和其对应特征；

步骤1.6：将步骤1.3得到的点云和特征输入到SA4层，进行降采样和特征提取得到16个点和其对应特征；

步骤2：将采样并编码后的特征点云按照4次编码的反过程进行4次解码，解码层由4个特征聚合FP(Feature Propagation)层构成，通过FP4、FP3、FP2和FP1逐步进行上采样恢复原始点云结构，并进行特征聚合和跨层跳跃链接，将FP1层和原始的点云数据用残差结构进行连接，得到点云中每个点的特征；

步骤2.1：将SA4层得到的点云和对应特征通过FP4层上采样恢复到SA3层处理后的点云大小；

步骤2.2：对SA3层中的每个点找到其对应SA4层中最近的3个点，将这三个点的特征进行三线性权重插值，作为点的插值特征；

步骤2.3：将插值特征与SA3层得到的点的特征进行几何特征进行连接，并通过逐点MLP(Pointwise Muliti-Layer Perceptron)得到了FP4层的点特征；

步骤2.4：将FP4层获取的点特征作为下一层FP3中的插值部分，用三线性插值获取插值特征，之后和SA2层的点的特征链接，再通过逐点MLP获取FP3层的点特征；

步骤2.5：将FP3层获取的点特征作为下一层FP2中的插值部分，用三线性插值获取插值特征，之后和SA1层的点的特征链接，再通过逐点MLP获取FP2层的点特征；

步骤2.6：将FP2层获取的点特征作为下一层FP1中的插值部分，用三线性插值获取插值特征，之后通过残差结构与原始的点云数据进行链接，再通过逐点MLP获取FP1层即原始点云的点特征；

步骤3：将点云和其对应的特征放入全连接层，并引入Dropout层，进行点的语义信息的判别。

2.如权利要求1所述方法，其特征在于，步骤1中的SA1层和SA2层在进行局部空间特征提取时将每个局部空间内的几何信息和附加信息利用PointNet基础结构进行分开编码。

3.如权利要求1所述方法，其特征在于，步骤1和步骤2中将编码层和解码层都进行加深为4层，将点云降采样的点数设置为1024、256、64和16，并进行对应的上采样。

4.如权利要求1所述方法，其特征在于，步骤2.6中通过残差结构将点云特征与原始的点云数据进行链接。

5.如权利要求1所述方法，其特征在于，步骤3中引入Dropout层防止网络过拟合。

Images