CN111192270A - 一种基于点全局上下文关系推理的点云语义分割方法 - Google Patents

Abstract

本发明为一种基于点全局上下文关系推理的点云语义分割方法，所述方法包括：获取训练集T和测试集V；构建深度学习与全局上下文推理的点云数据语义分割网络；使用多分类的交叉熵损失函数，作为点云语义分割网络的损失函数；使用训练集，对点云数据语义分割网络进行P轮有监督的训练；将测试集输入到训练好的网络模型中进行语义分割，得到每一个点的分割结果。本发明的有益效果在于，利用一种基于深度学习和全局上下文推理的方法来解决3D点云语义分割的全局信息提取不足问题。在深度学习的基础上，加入的全局上下文推理模块通过使用通道注意力机制建模各个特征通道之间的关系，通过图卷积进一步传递和聚合通道间关系的全局信息，能够获取全局信息从而精化点云语义分割的结果。

Description

一种基于点全局上下文关系推理的点云语义分割方法

技术领域

本发明涉及计算机技术领域，尤指一种基于点全局上下文关系推 理的点云语义分割方法。

背景技术

近年来，随着深度相机和激光雷达的广泛应用，大量的3D点云 数据变得越来越容易获得，基于深度学习的3D视觉任务引起了很多 关注。3D点云数据是三维空间中散乱分布的个点的向量表示的集合。 向量可以由三维坐标xyz，颜色信息rgb，光强r等信息组成。这些 点是非规则分布的，具有无序性，非结构化，旋转不变性等特点，因 此将现有的图像分割方法直接扩展到3D点云是不切实际的。点云数 据上应用深度学习方法面临着很多问题。

3D点云语义分割的任务是预测给定场景的每个点的类别。先前 的研究工作中，研究者们使用不同的表示方法来解决点云的非结构化 问题。首先将点云转换为规则的体素网格或多视图图像，然后在这些 规则的表示上应用卷积神经网络提取特征。但是，此类方法的性能会 受到信息丢失和计算复杂的限制。因此，用深度学习的方法直接处理 无序点云数据渐渐成为点云分割方法的主流。

PointNet是使用深度学习方法直接处理不规则点云的一项开 创性工作。它采用变换矩阵来保持点云旋转不变，并使用多个多层感 知机(MLP)学习每个点的特征，最后使用max-pooling对称函数来获 得顺序不变的点的全局性特征。PointNet提供了一种将神经网络应 用于点云的有效方法，解决了点云无序性和旋转不变性问题。但是， 它最终提取的是每个点的全局特征，无法捕获局部结构信息和特征之 间的空间关系。随后PointNet++被提出，针对丢失局部信息问题在 PointNet基础上做了改进。PointNet++使用局部依赖和分层特征学 习来捕获多尺度局部结构信息。它迁移了图像分割的编码-解码的特 征提取方法，将PointNet改进为类似于CNN的分层架构。它包括四 层特征提取层和四层特征返回层。提取层的每层对点云进行点采样、 分组、特征提取；返回层的每层对点特征插值为原来点云大小。采样 模块和分组模块与PointNet结合在一起以学习局部表示。它将采样 层和分组层与PointNet结合在一起以学习局部表示。精度相比较 PointNet有一定提升。

尽管PointNet++可以捕获局部的细粒度和全局上下文信息，但 由于是用堆叠的MLP层学习点云的特征，它仍然无法捕获点与点之间 长距离的上下文依赖关系。分割结果中，某些特定类别容易与其他类 别混淆，比如窗户和木板的物体，门和墙壁的区域，其分割精度很低。 为了学习更具类分类判别性的特征表示，我们需要融合更多信息， PointNet++在类别上下文关系信息方面考虑不够。其分割效果仍有可 提升空间。

发明内容

本发明的目的在于解决点云分割所面临的上述问题。我们主要研 究点云中的全局长期上下文依赖关系，提出一个基于通道注意力和图 卷积网络的点全局上下文推理(PointGCR)模块，用来捕获全局上下 文相关性，并提高点云分割性能。

为了实现上述目的，本发明采用如下技术方案：

基于点全局上下文关系推理的点云语义分割方法，所述方法包括：

步骤1)获取训练集T和测试集V：

步骤2)构建深度学习与全局上下文推理的3D点云数据语义分割 网络：

步骤3)使用多分类的交叉熵损失函数，作为3D点云语义分割网 络的损失函数；

步骤4)使用训练集T，对3D点云数据语义分割网络进行P轮有监 督的训练，P≥50；

步骤5)将测试集V输入到训练好的网络模型中进行语义分割， 得到每一个点的分割结果。

优选地，所述步骤1)包括：

1a)获取3D点云数据，其中，包含271个不同房间的6个区域的3D 点云数据；选择第5区作为测试集V，其余5个区作为训练集T。

1b)从点云训练集T中随机下采样L个点，其中，点云表示为

它包含具有C₀通道的L点(包括位置特征 {x,y,z}和颜色特征{r,g,b})

优选地，所述步骤2)包括构建特征提取网络、回传网络的深度 学习和全局上下文推理的3D点云数据语义分割网络，其中：

2a)特征提取网络

所述特征提取网络，包括m个级联的特征提取模块PointSA，所 述PointSA模块包括依次级联的采样模块、分组模块、点集特征提取 模块，m≥2；

2b)特征回传网络

所述特征回传网络，包括m个级联的FP模块，每个FP模块包括依 次级联的特征插值层和特征整合层。其中，m≥2；

2c)点全局上下文推理模块

所述点全局上下文推理模块，模块内部由节点注意模块与图卷积 模块实现；首先使用节点注意模块建模全局特征依赖关系，然后用图 卷积模块对该图进行全局推理；所述点全局上下文推理模块用于计算 各个特征通道间所代表的类别依赖性，得到通道注意力加强后的特征 E：计算自身输入数据X的各个特征通道之间关系的深层特征并输出 V。

2d)分割网络

所述分割网络，包括依次层叠的第一全卷积层、dropout层和第 二全卷积层的分割网络。

优选地，所述步骤3)中使用多分类的交叉熵损失函数，作为3D 点云语义分割网络的损失函数loss：

其中，k表示标签值的个数，y_i,k表示第i样本，p_i,k表示第i个样本 预测为第k个标签值的概率，一共有N个样本。本实施例中采用的S3DIS 数据集的类别标签有13个，即k＝13。

优选地，所述步骤4)中使用训练集T，对3D点云数据语义分割 网络进行P轮有监督的训练，P≥100；

4a)将训练集T输入到定义好的网络中，并通过使用loss损失函 数对该网络进行P轮有监督训练；其中，每隔10轮用6折交叉验证评估 一次该轮模型的效果，将精度较高的模型进行保存。

4b)P轮训练结束后，将精度最高的网络模型作为训练得到的最 佳网络模型。

优选地，所述步骤5)中将测试集V输入到上一步训练好的网络 模型中进行语义分割，得到每一个点的分割结果。

本发明的有益效果在于，利用一种基于深度学习和全局上下文推 理的方法来解决3D点云语义分割的全局信息提取不足问题。在深度 学习的基础上，加入的全局上下文推理模块通过使用通道注意力机制 建模各个特征通道之间的关系，通过图卷积进一步传递和聚合通道间 关系的全局信息，能够获取全局信息从而精化点云语义分割的结果。

附图说明

图1为本发明的模块实施原理的示意图；

图2为本发明中节点注意的过程和图卷积的内部细节示意图；

图3本发明的图卷积模块的示意图。

具体实施方式

以下将结合附图对本发明作进一步的描述，需要说明的是，以下 实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过 程，但本发明的保护范围并不限于本实施例。

本发明为一种基于点全局上下文关系推理的点云语义分割方法， 所述方法包括：

步骤1)获取训练集T和测试集V：

1a)从S3DIS官网下载3D点云数据，包含271个不同房间的6个区 域的3D点云数据。我们选择第5区作为测试集V，其余5个区作为训练 集T。

1b)从点云训练集T中随机下采样L个点。其中，点云表示为

它包含具有C₀通道的L点(包括位置特征 {x,y,z}和颜色特征{r,g,b})

步骤2)构建深度学习与全局上下文推理的3D点云数据语义分割 网络：

构建特征提取网络、回传网络的深度学习和全局上下文推理的 3D点云数据语义分割网络，其中：

2a)特征提取网络

所述特征提取网络，包括m个级联的特征提取模块PointSA，所 述PointSA模块包括依次级联的采样模块、分组模块、点集特征提取 模块，m≥2。本实施例中该参数设置为m＝4。

4个级联的PointSA模块前一个PointSA模块的输出作为后一个 PointSA模块的输入，每一个PointSA模块内部的采样模块、分组模块、 点集特征提取模块也依次级联，对于第m个PointSA模块的质心采样 以及分组层，m＝1,2,...,n。首先采用迭代最远点采样法从输入点集中 采样N₁个点作为质心点；其次，以N个采样的质心点为中心，使用球 形搜索算法，在其特定半径r_m的范围内搜索N₂个点，组成一个分组； 最后，在分组上提取每个点的特征。点集特征提取模块的输出作为该 PointSA模块的输出，将被输入下一个PointSA模块的采样模块。

对于第m个PointSA模块的点云特征提取层，包括3个依次级联的 2D卷积层，用于提取质心采样及分组层输出数据的特征，并使用最 大池化策略对提取到的区域特征进行池化。本实施例中第1个PointSA 模块的点云特征提取层的3个2D卷积层的卷积核大小均为1×1，步长 均为1，输出通道数分别是32、32、64；第2个PointSA模块的点云特 征提取层的3个2D卷积层的卷积核大小均为1×1，步长均为1，输出通 道数分别是64、64、128；第3个PointSA模块的点云特征提取层的3个2D 卷积层的卷积核大小均为1×1，步长均为1，输出通道数分别是 128、128、256；第4个PointSA模块的点云特征提取层的3个2D卷积层的 卷积核大小均为1×1，步长均为1，输出通道数分别是256、256、512。

2b)特征回传网络

所述特征回传网络，包括m个级联的FP模块，每个FP模块包括依 次级联的特征插值层和特征整合层。其中，m≥2。本实施例中该参数 设置为m＝4。特征插值模块根据第n-1个PointSA模块的输出On-1,对 第n个PointSA模块的输出On进行插值操作，特征整合模块有依次级 联的卷积层、ReLU激活层、批归一化层完成，本实施例中4个特征整 合模块的卷积层，其参数设置为：卷积核大小为都1，步长都为1，输 出特征通道数依次为256，128，128；

2c)点全局上下文推理(PointGCR)模块

所述点全局上下文推理(PointGCR)模块，模块内部由节点注意 模块与图卷积模块实现。首先使用节点注意模块建模全局特征依赖关 系，然后用图卷积模块对该图进行全局推理。PointGCR用于计算各个 特征通道间所代表的类别依赖性，得到通道注意力加强后的特征E： 计算自身输入数据X的各个特征通道之间关系的深层特征并输出V。

参照图1所示，该模块工作原理如下，且节点注意的过程和图卷 积的内部细节参照图2所示：

①节点注意力模块：

该模块输入特征图X，使用通道自注意力机制，计算通道之间的 相似度。将特征通道X_i嵌入到图节点，生成通道注意图V。每个节点 向量V_i表示一个通道的特征图X_i。计算第i个通道与第j个通道之间 的相似度公式为：

其中θ和φ是两个嵌入。我们有θ(x_i)＝W_θx_i和

其中参 数矩阵W_θ和

的大小为C×C，需要在反向传播过程中学习。使用

与W_θx_i的转置之间的点乘法，可以生成尺寸为C×C的通道注意图V。

第一步，输入数据X分别经过两个一维卷积层(Conv1D)分别获 得两个新的特征图

和

卷积核大小为1，步长为1。

第二步，矩阵

和

的转置之间进行点积运算，得 到节点注意特征

通过上述变换操作，嵌入了ChannelGraph的图节点。其中第i个 节点向量为V_i＝{v_ij|i,j＝1,2,...C}，V_i∈R^C×C其中v_ij代表V_i中的第j个节点 特征。节点注意的过程如图所示。

②图卷积模块：

该模块使用图卷积GC在上一个模块得到的完全连接图上执行节 点间信息融合。捕获每个节点特征v_ij中通道之间的关系以及不同实体 节点之间的相互依赖性。

图卷积运算可以表示为：

G＝AVW_e

其中，V和G分别是C×C维的输入和输出图。A∈R^C×C表示一个 邻接图，该邻接图用于在图节点上沿节点维进行推理时在图节点之间 传递信息。W_e表示维度为C×C的边权重矩阵，该矩阵用于更新 ChannelGraph上沿通道尺寸的节点状态。矩阵A和W_e被随机初始化并在训练过程中学习。

图卷积模块如图3所示，该模块实现细节如下：

分别沿节点维度和通道维度使用两个一维卷积(Conv1D)层来实 现图卷积。

第一步，通过沿节点维度应用Conv1D在ChannelGraph上传播节点 信息来学习邻接权重矩阵A。

第二步，通过沿通道维度应用Conv1D来学习边缘权重W_e，以了 解图节点内通道之间的交互信息。

第三步，使用一个批处理归一化层和一个ReLU激活函数提高训练 性能。

2d)分割网络

所述分割网络，包括依次层叠的第一全卷积层、dropout层和第 二全卷积层的分割网络，本实例中第一全卷积层输出特征通道数设置 为128，第二全卷积层输出特征通道数设置为分割类别总数；

步骤3)使用多分类的交叉熵损失函数，作为3D点云语义分割网 络的损失函数loss：

其中，k表示标签值的个数，y_i,k表示第i样本，p_i,k表示第i个样本 预测为第k个标签值的概率，一共有N个样本。本实施例中采用的S3DIS 数据集的类别标签有13个，即k＝13；

步骤4)使用训练集T，对3D点云数据语义分割网络进行P轮有监 督的训练，P≥100；

4a)将训练集T输入到定义好的网络中，并通过使用loss损失函 数对该网络进行P轮有监督训练。每隔10轮用6折交叉验证评估一次该 轮模型的效果，将精度较高的模型进行保存。

4b)P轮训练结束后，将精度最高的网络模型作为训练得到的最 佳网络模型。

步骤5)将测试集V输入到上一步训练好的网络模型中进行语义 分割，得到每一个点的分割结果。

以下结合仿真实验，对本发明的技术效果作以说明：

1.仿真条件和内容：

本发明在S3DIS数据集上进行了仿真实验：

S3DIS数据集包含具有271个不同房间的6个区域的3D点，包括走 廊，会议室和休息室。该数据集是通过Matterport扫描仪获得的3D点 云数据集。每个点都带有13个语义类标签之一。

利用本发明和现有的Pointnet++算法在S3DIS数据集上进行了3D 点云数据分割的实验仿真，仿真平台为：主频为2.40GHz的Intel Xeon CPU E5-2630 v3 CPU，64GB的运行内存，Ubuntu16.04操 作系统，Tensorflow深度学习平台，Python3.6开发平台。显卡：NVIDIA GTX1080 Ti GPU；利用本发明方法和现有技术在上述仿真条件下进行 实验，即运用本发明和现有技术Pointnet++在S3DIS数据集上进行了 3D点云数据分割的训练和测试，得到了如表1所示的仿真精度对比:

2.仿真结果分析：

表1.本发明和现有技术在S3DIS数据集上分割结果对比表。

方法	平均交并比
		本发明	54.38
现有技术	50.04

表1中，精度表示测试结果的分割准确率。方法一栏中，现有技 术表示现有的Pointnet++技术。

从表1中可以看出，本发明在S3DIS数据集上的分割精度超过了现 有技术Pointnet++，提升了4.34％，表明本发明对3D点云的语义分割 效果强于PointNet++。

在本发明利用一种基于深度学习和全局上下文推理的方法来解 决3D点云语义分割的全局信息提取不足问题。在深度学习的基础上， 加入的全局上下文推理模块通过使用通道注意力机制建模各个特征 通道之间的关系，通过图卷积进一步传递和聚合通道间关系的全局信 息，能够获取全局信息从而精化点云语义分割的结果。

对于本领域的技术人员来说，可以根据以上的技术方案和构思， 给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括 在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于点全局上下文关系推理的点云语义分割方法，其特征在于，所述方法包括：

步骤1)获取训练集T和测试集V：

步骤2)构建深度学习与全局上下文推理的3D点云数据语义分割网络：

步骤3)使用多分类的交叉熵损失函数，作为3D点云语义分割网络的损失函数；

步骤4)使用训练集T，对3D点云数据语义分割网络进行P轮有监督的训练，P≥50；

步骤5)将测试集V输入到训练好的网络模型中进行语义分割，得到每一个点的分割结果。

2.根据权利要求1所述的基于点全局上下文关系推理的点云语义分割方法，其特征在于，所述步骤1)包括：

1a)获取3D点云数据，其中，包含271个不同房间的6个区域的3D点云数据；选择第5区作为测试集V，其余5个区作为训练集T。

1b)从点云训练集T中随机下采样L个点，其中，点云表示为

它包含具有C₀通道的L点(包括位置特征{x,y,z}和颜色特征{r,g,b})

3.根据权利要求1所述的基于点全局上下文关系推理的点云语义分割方法，其特征在于，所述步骤2)包括构建特征提取网络、回传网络的深度学习和全局上下文推理的3D点云数据语义分割网络，其中：

2a)特征提取网络

所述特征提取网络，包括m个级联的特征提取模块PointSA，所述PointSA模块包括依次级联的采样模块、分组模块、点集特征提取模块，m≥2；

2b)特征回传网络

所述特征回传网络，包括m个级联的FP模块，每个FP模块包括依次级联的特征插值层和特征整合层。其中，m≥2；

2c)点全局上下文推理模块

所述点全局上下文推理模块，模块内部由节点注意模块与图卷积模块实现；首先使用节点注意模块建模全局特征依赖关系，然后用图卷积模块对该图进行全局推理；所述点全局上下文推理模块用于计算各个特征通道间所代表的类别依赖性，得到通道注意力加强后的特征E：计算自身输入数据X的各个特征通道之间关系的深层特征并输出V。

2d)分割网络

所述分割网络，包括依次层叠的第一全卷积层、dropout层和第二全卷积层的分割网络。

4.根据权利要求1所述的基于点全局上下文关系推理的点云语义分割方法，其特征在于，所述步骤3)中使用多分类的交叉熵损失函数，作为3D点云语义分割网络的损失函数loss：

其中，k表示标签值的个数，y_i,k表示第i样本，p_i,k表示第i个样本预测为第k个标签值的概率，一共有N个样本。本实施例中采用的S3DIS数据集的类别标签有13个，即k＝13。

5.根据权利要求1所述的基于点全局上下文关系推理的点云语义分割方法，其特征在于，所述步骤4)中使用训练集T，对3D点云数据语义分割网络进行P轮有监督的训练，P≥100；

4a)将训练集T输入到定义好的网络中，并通过使用loss损失函数对该网络进行P轮有监督训练；其中，每隔10轮用6折交叉验证评估一次该轮模型的效果，将精度较高的模型进行保存。

4b)P轮训练结束后，将精度最高的网络模型作为训练得到的最佳网络模型。

6.根据权利要求1所述的基于点全局上下文关系推理的点云语义分割方法，其特征在于，所述步骤5)中将测试集V输入到上一步训练好的网络模型中进行语义分割，得到每一个点的分割结果。

Images