CN114359902B - 基于多尺度特征融合的三维点云语义分割方法 - Google Patents

Abstract

本发明公开了一种基于多尺度特征融合的三维点云语义分割方法。针对现有方法中单一编码器存在的感受野受限、难以适应不同类别预测的问题，本发明在网络编码器部分引入多支具有不同感受野的子编码器用于编码不同尺度的特征，为了在保证子编码器感受野大小的同时减少计算量和显存占用，本发明使用空洞卷积提取点云特征。相比于已有的基于深度学习框架的三维点云语义分割方法，本发明方法更好的保留了属于点云集合的不同尺度的高维特征，因此可以适应不同尺度的地物的预测，实现比已有方法更高的语义分割精度。

Description

基于多尺度特征融合的三维点云语义分割方法

发明领域

本发明涉及激光雷达三维点云领域和深度学习领域，具体涉及一种基于多尺度特征融合的三维点云语义分割方法，该方法将一个点云集合作为输入，使用多尺度编码器提取点云的多尺度特征，通过多级高维特征融合实现点级别的分类。

背景技术

三维语义分割作为三维场景理解中的重要部分，是许多复杂三维应用(如机器人、自动驾驶、智慧城市和增强现实等)的基础。点云是三维数据的主要形式之一，可以呈现出具有详细对象的复杂场景，但点云数据具有高冗余、密度不均匀和结构不明确等的特性，这使得为每个点分配语义标签非常具有挑战性。

近年来，随着深度学习在图像领域的成功，将深度学习应用于三维点云的研究也在逐渐增加，基于深度学习的三维点云语义分割方法主要可分为以下三种：基于投影的方法、基于体素的方法和基于点的方法。基于投影的方法将三维点云从不同的角度投影到相应的二维平面上，得到不同角度的多视图像，随后使用二维卷积提取这些多视图像的特征，该方法严重依赖投影的角度，同时在投影的过程中会丢失三维点云中蕴含的丰富几何信息；基于体素的方法将非结构化的点云转为结构化的三维体素，随后使用三维卷积提取三维体素的特征，该方法解决了投影带来的结构信息严重丢失的问题，但三维体素的计算带来了巨大的计算和存储开销；基于点的方法构建了一个直接将三维点云作为输入的深度神经网络，将输入的一组三维点云视为一个集合，与基于投影的方法和基于体素的方法相比，该方法完整保留了三维点云中蕴含的丰富几何信息，因此成为三维点云语义分割的主流方法。基于点的方法首先需要使用K近邻算法对邻居点进行采样，随后使用卷积提取邻居节点的特征，在使用K近邻算法采样邻居节点时，采样的邻居节点数目将直接决定感受野的大小，现有的研究中邻居节点的数目一般固定为16，但相关研究表明即使堆叠很多层，感受野仍然很小，但如果盲目增大邻居节点数目，会带来极大的计算开销和显存占用。

发明内容

为解决基于点的三维点云语义分割方法存在感受野受限的问题，本发明提供了一种基于多尺度特征融合的三维点云语义分割网络，该网络采用具有不同感受野的多个子编码器来提取不同尺度的特征，同时在不同子编码器中引入不同的扩张率参数，在保证感受野的大小的同时减少计算量，网络设计采用了端到端的思想。该方法主要包括以下步骤：

步骤1：对原始点云数据进行数据预处理，构建训练样本集与对应的真值标签，训练样本集中包括若干点云集合，每个点云集合由原始点云数据依概率采样而得，其真实标签包括该点云集合中全部点的真值类别；

步骤2：构建一个三维点云高维特征编码器，该编码器由三个结构完全相同但感受野不同的子编码器(branch1、branch2、branch3)构成，所述子编码器网络的主体结构由堆叠的空洞卷积模块(DBS)和下采样模块(DS)构成，其中空洞卷积模块使用空洞K近邻(DKNN)寻找近邻节点，使用卷积对近邻特征进行聚合，下采样模块用于对输入特征进行下采样；

步骤3：将点云集合输入到步骤2定义的特征编码器中，每个点云集合获得四组高维特征，这四组高维特征是分别从特征提取网络的不同层抽取出的高维特征，即f1，f2，f3，f4；

步骤4：将步骤3提取出的高维特征放入到解码器网络中进行点级别的分类，所述解码器网络的输入来自特征编码器的四个高维特征(f1，f2，f3，f4)，其中，最深层特征f4作为解码器网络的初始输入特征；

所述解码器网络的主体结构由堆叠的上采样模块和卷积层构成，同时引入跳跃连接融合上采样模块输出的特征和特征编码器中传入的对应尺寸的高维特征来优化语义分割效果，其中上采样模块用于对输入特征进行上采样，卷积层用于对特征进行维度变换，经过多次上采样、卷积和多尺度特征融合之后通过一系列卷积层和一个sigmoid激活层得到各点的预测结果，解码器网络最后输出一个与输入点云集合大小相同的类别预测图，为输入点云集合中的每个点预测一个类别标签；

步骤5：对构建好的三维点云语义分割网络进行训练，所述语义分割网络包括特征编码和解码器网络，训练过程是一个端到端的过程，编码器和解码器中的网络参数将同时进行训练，训练过程使用加权交叉熵损失函数(Weighted Cross Entropy Loss，WCEL)评估训练过程中的损失，损失函数中各类别权重与该类别的样本数量成反比。

进一步的，步骤2所述的三维点云高维特征编码器中，每次经过下采样模块之后点云中点的数量将变为原来的1/4。

进一步的，步骤2的不同子编码器branch1、branch2和branch3中，空洞卷积模块和下采样模块中的近邻数K均为16，扩张率D分别设置为1，2，3。

进一步的，步骤3所述的f1、f2、f3和f4分别由三个子编码器输出的特征(b1_f1、b2_f1、b3_f1)、(b1_f2、b2_f2、b3_f2)、(b1_f3、b2_f3、b3_f3)和(b1_f4、b2_f4、b3_f4)聚合而成，b1、b2、b3分别表示三支具有不同扩张率参数的子编码器branch1、branch2、branch3。

进一步的，步骤4所述的解码器网络的输入f4首先通过一个卷积层和上采样模块得到上采样特征f4_up，将f4_up和f3进行特征融合后通过一个卷积层和上采样模块得到上采样特征f3_up，将f3_up和f2进行特征融合后通过一个卷积层和上采样模块得到上采样特征f2_up，将f2_up和f1进行特征融合后通过一系列卷积层和一个sigmoid激活层得到各点的预测结果。

进一步的，步骤5中加权交叉熵损失函数的公式如下：

其中，n_c表示第c类样本的数量，M表示类别个数，r_c表示第c类样本的比例，w_c表示第c类样本的权重，N表示样本数量，y_ic为一个符号函数，如果样本i的真实类别label_i等于c时y_ic取1，否则为0，p_ic表示样本i被预测为类别c的概率。

本发明与现有技术相比，提出了一个基于多尺度特征融合的三维点云语义分割方法，针对现有方法中单一编码器存在的感受野受限、难以适应不同类别预测的问题，本发明在网络编码器部分引入多支具有不同感受野的子编码器用于编码不同尺度的特征，为了在保证子编码器感受野大小的同时减少计算量和显存占用，本发明使用空洞卷积模块提取点云特征，在每支子编码器中引入扩张率参数。相比于已有的基于深度学习框架的三维点云语义分割方法，本发明方法很好的保留了属于点云集合的不同尺度的高维特征，因此可以适应不同尺度的地物的预测；此外，通过引入空洞K近邻采样近邻点，该方法并没有显著的增加网络训练过程中的计算量和显存消耗。

附图说明

图1是本发明提出的用于三维点云语义分割的深度学习网络框架图；

图2是图1网络框架图中的空洞卷积模块(DCB)结构图；

图3是图2空洞卷积模块(DCB)中的空洞K近邻(DKNN)示意图；

图4是图1网络框架图中的下采样模块(DS)结构图；

图5是图1网络框架图中的上采样模块(US)结构图。

具体实施方式

下面对结合附图对本发明作进一步的说明。

如图1所示，本发明提出了一种基于多尺度特征融合的三维点云语义分割方法，包括以下步骤：

步骤1：对原始点云数据进行数据预处理，构建训练样本集与对应的真值标签，训练样本集中包括若干点云集合，每个点云集合由原始点云数据依概率采样而得，其真实标签包括该点云集合中全部点的真值类别；依概率采样首先为原始点云数据中的每个点赋予一个初始概率，每次采样选取概率最小的点作为中心点并寻找其近邻点(实验中选取的近邻点个数为4096)，选取得到的点组成一个点云集合用于后续的网络输入，同时增加中心点及其近邻点的概率值，保证已选取的点下次采样时有尽量小的再被取到的可能性，如此反复采样直到采样得到的点云集合数达到指定的数目；

步骤2：构建一个三维点云高维特征编码器，如图1所示，该编码器由三个结构完全相同但感受野不同的子编码器(branch1、branch2、branch3)构成，所述子编码器网络的主体结构由堆叠的空洞卷积模块(DBS)和下采样模块(DS)构成，其中空洞卷积模块结构如图2所示，该模块使用空洞K近邻寻找输入坐标p_in和输入特征f_in中的K个近邻，随后对近邻坐标信息和特征信息进行拼接后使用一个卷积核为1×K的卷积对近邻特征进行聚合，图3列出了空洞K近邻(DKNN)模块中不同近邻数K和扩张率D选取的近邻情况；下采样模块用于对输入特征进行下采样，每次经过下采样模块之后点云中点的数量将变为原来的1/4，下采样模块的结构如图4所示，下采样模块以特征F_up及其三维坐标P_up为输入，输出P_up、下采样特征F_down及其三维坐标P_down，对于输入的特征F_up，模型首先进行随机采样，随后使用空洞K近邻寻找子集中的K个近邻，最后使用最大池化对K个近邻特征进行聚合得到子特征F_down，对于输入的三维坐标P_up，模型同样经过随机采样后得到三维坐标子集P_down；实验中不同子编码器branch1、branch2和branch3中空洞卷积模块和下采样模块中的近邻数K均为16，扩张率D分别设置为1，2，3；

步骤3：将点云集合输入到步骤2定义的特征编码器中，每个点云集合获得四组高维特征，如图1所示，这四组高维特征是分别从特征提取网络的不同层抽取出的高维特征，即f1，f2，f3，f4；其中，f1、f2、f3和f4分别由三个子编码器输出的特征(b1_f1、b2_f1、b3_f1)、(b1_f2、b2_f2、b3_f2)、(b1_f3、b2_f3、b3_f3)和(b1_f4、b2_f4、b3_f4)聚合而成，b1、b2、b3分别表示三支具有不同扩张率参数的子编码器branch1、branch2、branch3；

步骤4：将步骤3提取出的高维特征放入到解码器网络中进行点级别的分类，所述解码器网络的输入来自特征编码器的四个高维特征(f1，f2，f3，f4)，其中，最深层特征f4作为解码器网络的初始输入特征；

所述解码器网络的主体结构由堆叠的上采样模块和卷积层构成，同时引入跳跃连接融合上采样模块输出的特征和编码器中传入的对应尺寸的高维特征来优化语义分割效果，其中上采样模块用于对输入特征进行上采样，卷积层用于对特征进行维度变换，经过多次上采样、卷积和多尺度特征融合之后通过一系列卷积层和一个sigmoid激活层得到各点的预测结果，解码器网络最后输出一个与输入点云集合大小相同的类别预测图，为输入点云集合中的每个点预测一个类别标签，如图1所示，解码器网络的输入f4首先通过一个卷积层和上采样模块得到上采样特征f4_up，将f4_up和f3进行特征融合后通过一个卷积层和上采样模块得到上采样特征f3_up，将f3_up和f2进行特征融合后通过一个卷积层和上采样模块得到上采样特征f2_up，将f2_up和f1进行特征融合后通过一系列卷积层和一个sigmoid激活层得到各点的预测结果；其中上采样模块结构如图5所示，上采样模块以下采样模块的输出P_down、F_down和P_up作为输入，输出上采样特征F_up，首先依据三维坐标在P_up中寻找P_down中每个点的最近邻得到近邻索引，随后依据近邻索引对子集特征F_down进行映射得到上采样后的特征F_up；

步骤5：对构建好的三维点云语义分割网络进行训练，训练过程是一个端到端的过程，编码器和解码器中的网络参数将同时进行训练，训练过程使用加权交叉熵损失函数(Weighted Cross Entropy Loss，WCEL)评估训练过程中的损失，损失函数中各类别权重与该类别的样本数量成反比，其公式如下：

其中，n_c表示第c类样本的数量，M表示类别个数，r_c表示第c类样本的比例，w_c表示第c类样本的权重，N表示样本数量，y_ic为一个符号函数(0或1)，如果样本i的真实类别label_i等于c时y_ic取1，否则为0，p_ic表示样本i被预测为类别c的概率；

步骤6：网络训练完成后即可用于三维点云的语义分割任务。

将本发明方法与已有的方法在Toronto3D公开数据集上进行了测试，实验使用L001、L003和L004三个区域作为训练集，使用L002进行测试，将本文方法与PointNet++、DGCNN、KPFCNN、MS-PCNN、TGNet和MS-TGNet进行对比，对比结果如表1所示：

表1 Toronto3D公开数据集语义分割精度比较

与其他方法相比可以看出，本发明方法的mIoU比排名第二的MS-TGNet高出约15％，对应到具体类别中，可以看到本文方法在道路、道路标线、植被、建筑、公用线路、电线杆、汽车和围栏这些类别上的IoU达到了最高，其中道路标线类和汽车类上的IoU相较于其他方法提升了至少35％。

本文中所描述的具体实例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于多尺度特征融合的三维点云语义分割方法，其特征在于，包括如下步骤：

步骤1：对原始点云数据进行数据预处理，构建训练样本集与对应的真值标签，训练样本集中包括若干点云集合，每个点云集合由原始点云数据依概率采样而得，其真实标签包括该点云集合中全部点的真值类别；

步骤2：构建一个三维点云高维特征编码器，该编码器由三个结构完全相同但感受野不同的子编码器构成，即branch1、branch2、branch3，所述子编码器网络的主体结构由堆叠的空洞卷积模块DBS和下采样模块DS构成，其中空洞卷积模块使用空洞K近邻DKNN寻找近邻节点，使用卷积对近邻特征进行聚合；下采样模块用于对输入特征进行下采样；

步骤3：将点云集合输入到步骤2定义的特征编码器中，每个点云集合获得四组高维特征，这四组高维特征是分别从特征提取网络的不同层抽取出的高维特征，即f1，f2，f3，f4；

步骤4：将步骤3提取出的高维特征放入到解码器网络中进行点级别的分类，所述解码器网络的输入来自特征编码器的四个高维特征f1，f2，f3和f4，其中，最深层特征f4作为解码器网络的初始输入特征；

所述解码器网络的主体结构由堆叠的上采样模块和卷积层构成，同时引入跳跃连接融合上采样模块输出的特征和特征编码器中传入的对应尺寸的高维特征来优化语义分割效果，其中上采样模块用于对输入特征进行上采样，卷积层用于对特征进行维度变换，经过多次上采样、卷积和多尺度特征融合之后通过一系列卷积层和一个sigmoid激活层得到各点的预测结果，解码器网络最后输出一个与输入点云集合大小相同的类别预测图，为输入点云集合中的每个点预测一个类别标签；

步骤5：对构建好的三维点云语义分割网络进行训练，所述语义分割网络包括特征编码和解码器网络，训练过程是一个端到端的过程，编码器和解码器中的网络参数将同时进行训练，训练过程使用加权交叉熵损失函数WCEL评估训练过程中的损失，损失函数中各类别权重与该类别的样本数量成反比。

2.如权利要求1所述的一种基于多尺度特征融合的三维点云语义分割方法，其特征在于：步骤2中所述的三维点云高维特征编码器中，每次经过下采样层之后点云中点的数量将变为原来的1/4。

3.如权利要求1所述的一种基于多尺度特征融合的三维点云语义分割方法，其特征在于：步骤2的不同子编码器branch1、branch2和branch3中，空洞卷积模块和下采样模块中的近邻数K均为16，扩张率D分别设置为1，2，3。

4.如权利要求1所述的一种基于多尺度特征融合的三维点云语义分割方法，其特征在于：步骤3所述的f1、f2、f3和f4分别由三个子编码器输出的特征(b1_f1、b2_f1、b3_f1)、(b1_f2、b2_f2、b3_f2)、(b1_f3、b2_f3、b3_f3)和(b1_f4、b2_f4、b3_f4)聚合而成，b1、b2、b3分别表示三支具有不同扩张率参数的子编码器branch1、branch2、branch3。

5.如权利要求1所述的一种基于多尺度空洞卷积的场景点云语义分割方法，其特征在于：解码器网络的输入f4首先通过一个卷积层和上采样模块得到上采样特征f4_up，将f4_up和f3进行特征融合后通过一个卷积层和上采样模块得到上采样特征f3_up，将f3_up和f2进行特征融合后通过一个卷积层和上采样模块得到上采样特征f2_up，将f2_up和f1进行特征融合后通过一系列卷积层和一个sigmoid激活层得到各点的预测结果。

6.如权利要求1所述的一种基于多尺度空洞卷积的场景点云语义分割方法，其特征在于：步骤5中加权交叉熵损失函数的公式如下：

其中，n_c表示第c类样本的数量，M表示类别个数，r_c表示第c类样本的比例，w_c表示第c类样本的权重，N表示样本数量，y_ic为一个符号函数，如果样本i的真实类别label_i等于c时y_ic取1，否则为0，p_ic表示样本i被预测为类别c的概率。