CN110245709B - 基于深度学习和自注意力的3d点云数据语义分割方法 - Google Patents

Abstract

本发明提出了一种基于深度学习和自注意力机制的3D点云数据语义分割方法，用于解决现有技术中存在的分割精度较低的技术问题，实现步骤包括：(1)获取训练集和验证集；(2)构建深度学习和自注意力机制的3D点云数据语义分割网络；(3)设置训练深度学习和自注意力机制的3D点云数据语义分割网络所需的损失函数；(4)对深度学习和自注意力机制的3D点云数据语义分割网络进行监督训练；(5)获取3D点云数据测试集的语义分割结果。本发明在深度学习网络中加入了自注意力模块，能够更好地提取包含各个特征通道之间关系的深层特征，从而提高分割精度。

Description

基于深度学习和自注意力的3D点云数据语义分割方法

技术领域

本发明属于雷达3D点云数据处理技术领域，涉及一种3D点云数据分割方法，具体涉及一种基于深度学习和自注意力机制的3D点云数据语义分割方法。可用于自动驾驶、机器人技术领域、3D地图、土地测绘、前景分割、智慧城市建设、农业估产、林业资源普查、生态环境监测及防灾减灾等方面。

背景技术

近年来，随着深度传感器的发展，点云处理已经成为研究热点之一。点云数据是指：扫描资料以点的形式记录，每一个点包含有三维坐标，有些可能还含有颜色信息、反射强度信息、灰度值，深度或者返回次数等信息。一般主要用来代表一个物体的外表面形状。大多数点云数据是由3D扫描设备产生的，例如激光雷达，立体摄像头，越渡时间相机等。作为3D扫描的结果，点云数据因其获取方式容易，数据量小、数据形式简洁，已成为3D数据的代表，对3D点云数据进行语义分割能够区分出不同的分割物，使得3D点云数据能够广泛应用于自动驾驶、机器人技术领域、3D地图、土地测绘、前景分割、智慧城市建设、农业估产、林业资源普查、生态环境监测及防灾减灾等方面。

3D点云数据语义分割是指将3D点云数据作为输入，最终将3D点云数据中的每一个点标记为预定义类之一，从而区分出不同的分割物。传统的3D点云数据语义分割方法通常是将3D点云数据转换为体积表示，例如体素网格，或者将3D点云数据转换为图像数据然后采用聚类或深度学习网络等方法进行语义分割，这样的话数据量、计算复杂度和运行时间将会大大增加，同时也会带来量化误差，分割精度较低。但是，将深度学习直接应用于3D点云数据面临着许多的挑战：(1)点云数据的无序性：点云是分布在空间中的XYZ点的无序排列；(2)点云数据的不变性排列：在几何上，相同的点云数据可以由两个完全不同的矩阵表示；(3)点云数据的旋转不变性。

Qi C R,Su H等人发表在CVPR2017，名称为“PointNet:Deep Learning on PointSets for 3D Classification and Segmentation”的论文，公开了一种直接将深度学习应用于3D点云数据语义分割的方法PointNet，该方法首先将3D点云数据输入PDAL库进行分块，然后构建由多个多层感知机、多个最大池化和多个特征转换模块组成的深度学习网络，最后将分完块的数据输入构建好的深度学习网络中进行训练及测试，得到3D点云数据语义分割结果。该方法直接将3D点云数据输入深度学习网络进行语义分割而不需要将3D点云数据转换为其他数据形式，并采用特征转换模块解决点云数据的旋转不变性问题，采用最大池化解决点云数据的无序性问题，与传统方法相比数据量、计算复杂度大大降低，精度也有所提升，但是该方法只是简单的将所有点连接起来，只考虑了全局特征，丢失了每个点的局部信息导致精度较低，随后该团队又在PointNet的基础上进行了改进，在NIPS2017发表了名称为“PointNet++:Deep Hierarchical Feature Learning on Point Sets in aMetric Space”的论文，公开了一种基于度量空间中点集的深层特征学习的3D点云数据语义分割方法PointNet++，该方法在PointNet网络原有的基础上增加了采样模块和分组模块来捕捉点云数据的局部结构信息，与PointNet相比精度有所提升，但是，PointNet++由于没有考虑到点云数据中各个特征通道之间的关系，特别是对室外大范围内的点云数据进行处理时，没有增加对通道的关注与处理，导致分割结果的精度不高。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于深度学习和自注意力机制的3D点云数据语义分割方法，用于解决现有技术中存在的分割精度较低的技术问题。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取训练集R₂和验证集V₂：

(1a)从数据库中获取带有标签的3D点云数据文件F:{F₁,F₂,...,F_i,...,F_f,}，并将其中比例为n_R的3D点云数据文件作为初始训练集R₀，其余f(1-n_R)个3D点云数据文件作为初始验证集V₀，F_i表示第i个3D点云数据文件，f为3D点云数据文件总数，f≥100，0.6≤n_R＜1；

(1b)将R₀输入PDAL库进行分块，得到训练数据块集合R₁，并从R₁中的每个数据块中随机选取N₀个点组成训练集R₂，同时将V₀输入PDAL库进行分块，得到验证数据块集合V₁，并从V₁中的每个数据块中随机选取N₀个点组成验证集V₂，N₀≥4096；

(2)构建深度学习和自注意力机制的3D点云数据语义分割网络：

构建包括依次级联的特征提取网络、特征回传网络和分割网络的深度学习和自注意力机制的3D点云数据语义分割网络，其中：

所述特征提取网络，包括m个级联的PointAt模块，所述PointAt模块包括依次级联的采样模块、分组模块、点集特征提取模块和自注意力模块，m≥2；所述自注意力模块，用于计算自身输入数据P的各个特征通道之间关系的深层特征并输出O：

O＝β(P^T A)^T+P

其中，(P^T A)^T表示通道自注意力模块，β表示(P^T A)^T的权重，P^T表示P的转置，A表示自注意力特征图，

所述特征回传网络，包括m个级联的FP模块，所述FP模块包括依次级联的特征插值模块和特征整合模块；

所述分割网络，包括依次层叠的第一全卷积层、dropout层和第二全卷积层；

(3)设置训练深度学习和自注意力机制的3D点云数据语义分割网络所需的损失函数loss：

其中，Y(x)和V(x)分别表示训练集R₂中第x点的标签和预测结果；

(4)对深度学习和自注意力机制的3D点云数据语义分割网络进行监督训练：

(4a)设监督训练的轮次为K，模型评估间隔的轮次K₁，K≥600，K₁≥1；

(4b)将训练集R₂输入深度学习和自注意力机制的3D点云数据语义分割网络，通过损失函数loss对该模型进行K轮监督训练，在监督训练过程中每隔K₁轮通过验证集V₂对当前训练模型进行精度评估，并且将精度最高的深度学习和自注意力机制的3D点云数据语义分割模型作为训练好的深度学习和自注意力机制的3D点云数据语义分割模型并保存；

(5)获取3D点云数据测试集的语义分割结果：

(5a)将待分割的3D点云数据处理为文件形式，并将处理后的文件数据作为测试数据集E₀，将E₀输入PDAL库进行分块，得到测试数据块集合E₁，并从E₁中的每个数据块中随机选取N₀个点组成测试数据E₂；

(5b)将测试数据E₂输入训练好的深度学习和自注意力机制的3D点云数据语义分割模型中进行语义分割，得到测试数据E₂中每一个点的预测类别，并将E₂中每一个点的预测类别和测试集E₀输入到PDAL库中，通过最近邻投票算法对测试集E₀中的每个点的类别进行预测，得到3D点云数据测试集的语义分割结果。

本发明与现有技术相比，具有以下优点：

本发明构建的基于深度学习和自注意力机制的3D点云数据语义分割网络，其中的自注意力模块通过计算自身输入数据的各个特征通道之间关系的深层特征，能够自主地提取上下文信息，避免了现有技术仅能提取局部信息对分割精度的影响，仿真结果表明，本发明有效提高了3D点云数据语义分割结果的精度。

附图说明

图1是本发明实现流程图；

图2是本发明实施例采用的基于深度学习和自注意力机制的3D点云数据语义分割网络的整体结构图；

图3是本发明自注意力模块的实现流程图。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步详细描述。

参照图1，本发明包括如下步骤：

步骤1)获取训练集R₂和验证集V₂：

步骤1a)从数据库中获取带有标签的3D点云数据文件F:{F₁,F₂,...,F_i,...,F_f,}，并将其中比例为n_R的3D点云数据文件作为初始训练集R₀，其余f(1-n_R)个3D点云数据文件作为初始验证集V₀，F_i表示第i个3D点云数据文件，f为3D点云数据文件总数，f≥100，0.6≤n_R＜1；通常会选择60％以上的数据作为训练数据，其余作为验证数据，本实施例设置n_R＝0.8，这样将从数据库中随机选取80％的3D点云数据文件作为初始训练集R₀，其余20％的3D点云数据文件作为初始验证集V₀；

步骤1b)将R₀输入PDAL库进行分块，得到训练数据块集合R₁，并从R₁中的每个数据块中随机选取N₀个点组成3D点云数据的训练集R₂，

C₀为原始特征通道总数，同时将V₀输入PDAL库进行分块，得到验证数据块集合，V₁，并从V₁中的每个数据块中随机选取N₀个点组成3D点云数据的验证集V₂，

N₀≥4096，本实施例中设置N₀＝8192；

步骤2)构建深度学习和自注意力机制的3D点云数据语义分割网络：

构建深度学习和自注意力机制的3D点云数据语义分割网络，其结构如图2所示，该深度学习和自注意力机制的3D点云数据语义分割网络包括依次级联的特征提取网络、特征回传网络和分割网络，依次级联是指特征提取网络的输出作为特征回传网络的输入，特征回传网络的输出作为分割网络的输入，其中：

所述特征提取网络，包括m个级联的PointAt模块的特征提取网络，所述PointAt模块包括依次级联的采样模块、分组模块、点集特征提取模块和自注意力模块，m≥2，m设置过大时，会导致网络参数过多训练时不易收敛，m过小则会导致无法提取到更深层的特征，因此本实施例中该参数设置为m＝4。

4个级联的PointAt模块前一个PointAt模块的输出作为后一个PointAt模块的输入，每一个PointAt模块内部的采样模块、分组模块、点集特征提取模块和自注意力模块也依次级联，也就是每一个PointAt模块内部采样模块输出作为分组模块的输入，分组模块的输出作为点集特征提取模块的输入，点集特征提取模块的输出作为自注意力模块的输入，最后自注意力模块的输出，作为该PointAt模块的输出，将被输入下一个PointAt模块的采样模块；

对于第n个PointAt模块的采样模块，n＝1,2,...,m，采用迭代最远点采样法从输入数据中采样出

个能够代表局部区域质心的点，第一个PointAt模块的采样模块，其输入数据为训练集R₂，其他PointAt模块的采样模块，输入数据为前一个PointAt模块的输出数据O^n-1，实验条件允许的话可以选择全部的点作为采样点，这样计算量会非常大，在权衡了精度和计算量之后，本实施例中采样点数设置为

也就是第一个PointAt模块的采样模块从输入的8192个点中采样出了1024个质心点，第二个PointAt模块的采样模块从输入的1024个点中采样出了256个质心点，第三个PointAt模块的采样模块从输入的256个点中采样出了64个质心点，第三个PointAt模块的采样模块从输入的64个点中采样出了16个质心点；

对于第n个PointAt模块的分组模块，用于搜索采样模块采样出的

个质心点中每个质心点的

个邻近点并输出，本实施例中所有分组模块都采用球形搜索的方法，

都设置为

n＝1,2,3,4，4个PointAt模块的分组模块采用的搜索半径大小分别为0.1，0.2，0.4，0.8，也就是第一个PointAt模块的分组模块以0.1为搜索半径，从该PointAt模块的输入数据中搜索采样出的1024个质心点中每一个质心点的32个邻近点，第二个PointAt模块的分组模块以0.2为搜索半径，从该PointAt模块的输入数据中搜索采样出的256个质心点中每一个质心点的32个邻近点，第三个PointAt模块的分组模块以0.4为搜索半径，从该PointAt模块的输入数据中搜索采样出的64个质心点中每一个质心点的32个邻近点，第四个PointAt模块的分组模块以0.8为搜索半径，从该PointAt模块的输入数据中搜索采样出的16个质心点中每一个质心点的32个邻近点；

对于第n个PointAt模块的点集特征提取模块，包括依次层叠的卷积层、ReLU激活层和最大池化层，用于提取分组模块输出数据的深层特征，本实施例中所有点集特征提取模块的卷积层卷积核大小为1，步长为1，4个点集特征提取模块的卷积层，其输出特征通道数依次设置为64，128，256，512，最大池化层都是对数据的第二个维度求最大值并输出；

对于第n个PointAt模块的自注意力模块，其输入数据为第n个PointAt模块的点集特征提取模块的输出P，用于计算自身输入数据P的各个特征通道之间的关系，并输出包含各个特征通道之间关系的深层特征O：

O＝β(P^T A)^T+P

其中，(P^T A)^T表示通道自注意力模块，β表示(P^T A)^T的权重，P^T表示P的转置，A表示自注意力特征图，其第i行第j列元素A_ij的计算公式为：

其中，P_i表示自注意力模块输入数据P的第i个特征通道，P_j表示自注意力模块的输入数据P的第j个特征通道，C表示P的特征通道总数，由上式可见自注意力特征图A中计算了P的各个特征通道之间的关系，这样自注意力模块输出O也同样包含各个特征通道之间的关系；

参照图3，自注意力模块的实现步骤为：

第一步计算P^TP，图3中操作(1)处；

第二步计算A＝softmax(P^TP)，其中softmax操作是指按行进行softmax操作，图3中操作(2)处；

第三步计算O＝β(P^T A)^T+P，图3中操作(3)处；

从图3中也可以看出自注意力模块的输入输出数据形状大小相同；

所述特征回传网络，包括m个级联的FP模块的特征回传网络，所述FP模块用于对特征提取模块提取出的特征进行特征融合操作，该模块包括依次级联的特征插值模块和特征整合模块，特征插值模块根据第n-1个PointAt模块的输出O_n-1,对第n个PointAt模块的输出O_n进行插值操作，特征整合模块有依次级联的卷积层、ReLU激活层、BN层完成，本实施例中4个特征整合模块的卷积层，其参数设置为：卷积核大小为都1，步长都为1，输出特征通道数依次为256，256，128，128；

所述分割网络，包括依次层叠的第一全卷积层、dropout层和第二全卷积层的分割网络，本实施例中第一全卷积层输出特征通道数设置为128，第二全卷积层输出特征通道数设置为分割类别总数；

步骤3)设置训练深度学习和自注意力机制的3D点云数据语义分割网络所需的损失函数loss：

其中，Y(x)和V(x)分别表示训练集R₂中第x点的标签和预测结果，V(x)的计算公式为：

其中，z_x为分割网络输出的第x点的特征值，

q表示总的语义分割类别数，q≥2，本实施例中采用的ScanNet数据集中共分了21类，q＝21；

步骤4)对深度学习和自注意力机制的3D点云数据语义分割网络进行监督训练：

步骤4a)设监督训练的轮次为K，模型评估的频次K₁，K≥600，K₁≥1，本实施例中参数K设置为1000，本实施例中参数K₁设置为5；

步骤4b)将训练集R₂输入深度学习和自注意力机制的3D点云数据语义分割网络，通过损失函数loss对该模型进行K轮监督训练，并每隔K₁轮通过验证集V₂对该轮模型的精度进行评估，之后将精度最高的深度学习和自注意力机制的3D点云数据语义分割网络作为训练好的深度学习和自注意力机制的3D点云数据语义分割网络并保存，在训练过程中自注意力模块能够自主的学习到最有利于分割结果的通道关系，自主地提取上下文信息；

步骤5)获取3D点云数据测试集的语义分割结果：

步骤5a)将待分割的3D点云数据处理为文件形式，并将处理后的文件数据作为测试数据集E₀，将E₀输入PDAL库进行分块，得到测试数据块集合E₁，并从E₁中的每个数据块中随机选取N₀个点组成测试数据E₂；

步骤5b)将测试数据E₂输入训练好的深度学习和自注意力机制的3D点云数据语义分割模型中进行语义分割，得到测试数据E₂中每一个点的预测类别，并将E₂中每一个点的预测类别和测试集E₀输入到PDAL库中，通过最近邻投票算法对测试集E₀中的每个点的类别进行预测，得到3D点云数据测试集的语义分割结果。

以下结合仿真实验，对本发明的技术效果作以说明：

1.仿真条件和内容：

本发明在ScanNet数据集上进行了仿真实验：

ScanNet是一个RGB-D视频数据集，包含超过1500次扫描的250万个视图，并且用3D相机姿势，表面重建和实例级语义分割进行了标注。

利用本发明和现有的Pointnet++算法在ScanNet数据集上进行了3D点云数据分割的实验仿真，仿真平台为：主频为2.40GHz的Intel Xeon CPU E5-2630 v3 CPU，64GB的运行内存，Ubuntu16.04操作系统，Tensorflow深度学习平台，Python3.5开发平台。显卡：GeForce GTX 1080；利用本发明方法和现有技术在上述仿真条件下进行实验，即运用本发明和现有技术Pointnet++在ScanNet数据集上进行了3D点云数据分割的训练和测试，得到了如表1所示的仿真精度对比；

2.仿真结果分析：

表1.本发明和现有技术在ScsnNet数据集上分割结果对比表

方法	精度
		本发明	0.851
现有技术	0.833

表1中，精度表示测试结果的分割准确率。方法一栏中，现有技术表示现有的Pointnet++技术。

从表格中可以看出，本发明在ScsnNet数据集上相较于现有技术Pointnet++，精度提升了0.018。已经达到了目前3D点云分割领域在该数据集上的最高精度。

本发明利用一种基于深度学习和自注意力机制的方法来解决3D点云语义分割这个任务，在深度学习网络的基础上，加入的自注意力模块通过计算自身输入数据的各个特征通道之间关系的深层特征，能够自主地提取上下文信息来提高分割结果精度，此外，自注意力模块并不改变输入数据的形状大小，因此可移植性强，可以作为一个模块加入到任何一个基于深度学习网络的3D点云数据语义分割任务中来提高分割结果精度。

Claims (3)

1.一种基于深度学习和自注意力机制的3D点云数据语义分割方法，其特征在于，包括如下步骤：

(1)获取训练集R₂和验证集V₂：

(1a)从数据库中获取带有标签的3D点云数据文件F:{F₁,F₂,...,F_i,...,F_f,}，并将其中比例为n_R的3D点云数据文件作为初始训练集R₀，其余f(1-n_R)个3D点云数据文件作为初始验证集V₀，F_i表示第i个3D点云数据文件，f为3D点云数据文件总数，f≥100，0.6≤n_R＜1；

(1b)将R₀输入PDAL库进行分块，得到训练数据块集合R₁，并从R₁中的每个数据块中随机选取N₀个点组成训练集R₂，同时将V₀输入PDAL库进行分块，得到验证数据块集合V₁，并从V₁中的每个数据块中随机选取N₀个点组成验证集V₂，N₀≥4096；

(2)构建深度学习和自注意力机制的3D点云数据语义分割网络：

构建包括依次级联的特征提取网络、特征回传网络和分割网络的深度学习和自注意力机制的3D点云数据语义分割网络，其中：

所述特征提取网络，包括m个级联的PointAt模块，所述PointAt模块包括依次级联的采样模块、分组模块、点集特征提取模块和自注意力模块，m≥2；所述自注意力模块，用于计算自身输入数据P的各个特征通道之间关系的深层特征并输出O：

O＝β(P^TA)^T+P

A＝softmax(P^TP)

其中，(P^TA)^T表示通道自注意力模块，β表示(P^TA)^T的权重，P^T表示P的转置，A表示自注意力特征图，softmax表示按行进行softmax操作；

所述特征回传网络，包括m个级联的FP模块，所述FP模块包括依次级联的特征插值模块和特征整合模块；

所述分割网络，包括依次层叠的第一全卷积层、dropout层和第二全卷积层；

(3)设置训练深度学习和自注意力机制的3D点云数据语义分割网络所需的损失函数loss：

其中，Y(x)和V(x)分别表示训练集R₂中第x点的标签和预测结果；

(4)对深度学习和自注意力机制的3D点云数据语义分割网络进行监督训练：

(4a)设监督训练的轮次为K，模型评估间隔的轮次K₁，K≥600，K₁≥1；

(4b)将训练集R₂输入深度学习和自注意力机制的3D点云数据语义分割网络，通过损失函数loss对该模型进行K轮监督训练，在监督训练过程中每隔K₁轮通过验证集V₂对当前训练模型进行精度评估，并且将精度最高的深度学习和自注意力机制的3D点云数据语义分割模型作为训练好的深度学习和自注意力机制的3D点云数据语义分割模型并保存；

(5)获取3D点云数据测试集的语义分割结果：

(5a)将待分割的3D点云数据处理为文件形式，并将处理后的文件数据作为测试数据集E₀，将E₀输入PDAL库进行分块，得到测试数据块集合E₁，并从E₁中的每个数据块中随机选取N₀个点组成测试数据E₂；

(5b)将测试数据E₂输入训练好的深度学习和自注意力机制的3D点云数据语义分割模型中进行语义分割，得到测试数据E₂中每一个点的预测类别，并将E₂中每一个点的预测类别和测试集E₀输入到PDAL库中，通过最近邻投票算法对测试集E₀中的每个点的类别进行预测，得到3D点云数据测试集的语义分割结果。

2.根据权利要求1所述的基于深度学习和自注意力机制的3D点云数据语义分割方法，其特征在于，步骤(2)中所述的自注意力特征图A，其第i行第j列元素A_ij的计算公式为：

其中，P_i表示自注意力模块输入数据P的第i个特征通道，P_j表示自注意力模块的输入数据P的第j个特征通道，C表示P的特征通道总数。

3.根据权利要求1所述的基于深度学习和自注意力机制的3D点云数据语义分割方法，其特征在于，步骤(3)中所述的训练集R₂中第x点的预测结果V(x)，其计算公式为：

其中，z_x为分割网络输出的第x点的特征值，

q表示总的语义分割类别数，q≥2。

Images