CN111583263B - 一种基于联合动态图卷积的点云分割方法 - Google Patents

Abstract

本发明涉及一种基于联合动态图卷积的点云数据自动分割方法，包括：设计并实现联合动态图卷积层用于局部特征提取，具体地，联合动态图卷积层首先根据输入计算得到各点的K近邻连边点构建图，因此经过每个联合动态图卷积层构建的图在训练中都是动态变化的。之后联合所有浅层的特征图，将所有K近邻连边点的浅层特征向量拼接后，再经过MLP并进行最大池化后得到该点的输出特征向量，然后将所有点的输出特征向量组合得到点云特征图；基于联合动态图卷积层构建深度神经网络；强化网络训练目标，训练时在经典的交叉熵损失函数的基础上增加点的类特征相似约束，以优化网络的训练。最后将待测点云输入训练好的网络中得到点云分割结果。

Description

一种基于联合动态图卷积的点云分割方法

技术领域

本发明属三维图像处理领域，是一种利用深度学习等方法实现点云数据 自动分割的方法。该方法能实现对输入点云的自动分析与自动标注。

背景技术

近年来，传感器的快速发展，使得三维数据的获取越来越容易。此外， 随着计算机视觉、人工智能技术以及机器人技术的发展，关于各种空间物体 的识别和理解的研究已经引起了越来越多的关注。根据目前国内外相关的研 究，点云分割广泛应用于目标检测与识别、物体间的关系以及语义分割等邻 域。但传统方法分割方法存在精度低、对于噪声与不均匀采样敏感等问题， 因此需要一种高精度且可以自动化对点云分割的办法。

传统基于3D点云的分割方法通常需要将点云转换为2D投影或者3D体 素化后进行分割。目前的大部分方法在此基础上设计，但面临着两难的选择。 一方面为保证分割结果精度，需要大量转换后的高分辨率结果作为输入，但 这使得计算量急剧上升，计算效率低。另一方面如果采用降低转换后结果的 分辨率的方法，虽然提高计算效率，但丢失信息过多，分割精度不能保证。 而在计算效率与分割精度折衷的情况下，分割效率的提高非常有限。直接分 割输入的点云数据的分割方法可以提高计算效率，并且可以保留原始数据的原始特性。

深度神经网络与图卷积方法是近年来图像处理中常用的方法。深度神经 网络通过多个特征提取网络层的堆叠对输入图像进行特征提取，将最终得到 的特征用于图像处理任务。而图卷积则是通过构建图结构，即对每个节点构 建其邻居节点集合，用各个相邻节点特征的聚合作为自身的特征来进行特征 表示。PointNet网络是第一个实现点云直接输入的端到端的分类分割的深度神 经网络。但是由于PointNet网络在设计时只考虑了全局特征而未考虑局部特 征，因此在点云分割问题中局限性太大，对于点云分割问题效果较差。当前 的方法大多基于PointNet进行优化，其中之一就是在网络中引入了图卷积方 法增加了局部特征提取的动态图卷积网络(DGCNN)，动态图卷积网络的特 征提取层将上一层得到的特征图输入后，首先计算所有节点特征向量的距离， 选取每个节点的K近邻节点建立图关系。将节点的K近邻节点组成子点云进 行特征提取与聚合，得到的特征向量即为当前节点在此层的输出特征，通过 逐层的特征提取，得到最终的特征图输入分类器得到点云的分割结果。但动 态图卷积网络存在很多不足：在进行局部特征提取时没有聚合了浅层的特征 向量，使得网络在训练时的参数更新只集中在深层，使网络容易产生过拟合 问题，鲁棒性差；动态图卷积方法面临的另一个难题，在于约束优化目标的 确定，当单独使用典型的交叉熵损失时，网络训练收敛速度慢，分割准确率 低。

发明内容

本发明是以动态图卷积网络模型为基础，针对上述问题，提供了一种新 的基于联合动态图卷积(UDG-Conv)的深度网络的点云分割办法。

本发明是通过以下技术方案实现的：方案包含训练阶段和测试阶段。如 图1所示，训练时首先将预处理后的训练样本点云F_l0输入网络，经过多层的 局部特征提取层得到最终的局部特征图F_l；将F_l输入全局特征提取的层m_1 中得到全局特征图F_G；对F_G使用最大池化得到全局特征向量V_G；将V_G与F_l的 每个点的特征向量进行拼接得到用于分割的总体特征图F_T并输入分类器训练 网络。在测试阶段，可将点云输入训练好的网络，根据输出向量集合得到点 云分割结果。本发明训练阶段具体包括如下步骤：

1)局部特征提取：对输入点云F_l0进行局部特征提取得到最终的局部特 征图F_l。使用联合动态图卷积层UDG-Conv进行局部特征提取。联合动态图 卷积层的结构如图2所示，联合动态图卷积层是由K近邻关系计算步骤、特 征拼接步骤、一个特征提取的单层MLP和最大池化步骤组成，具体为：首先， 对于第L+1层(L∈{0,1,2,3})联合动态图卷积层u_conv(L+1)首先根据第L层 的输出F_lL，为每个点建立K近邻连边关系，具体为：根据F_lL计算所有点对特 征向量间的欧氏距离，为各个点选取与其欧氏距离最小的K个点建立K近邻 连边，j:＝(i,j)∈∈表示通过对F_lL的计算，点i_j与点i的连边包含在点i的K近 邻边集∈中；对于与点i有K近邻连边关系的每个点i_j，将之前所有浅层 F_l0,...,F_lL中点i_j特征向量(x_ij0,...,x_ijL)进行拼接，再组合后输入MLP进行特征提 取并进行最大池化输出点i的特征向量x_i(L+1)。因此x_i(L+1)计算如下：

下标0,1,2,…,L为联合动态图卷积层u_conv(L+1)前的所有特征提取层的输出特征图，下标0代表输入点云F_l0。x_ijL表示点i_j在F_lL中的特征向量，即F_lL中第 j行。cat(*)函数将之前所有模块层的对应近邻点i_j的特征向量进行拼接。h_Θ(*) 代表卷积核大小为1×1的MLP运算。

代表最大池化操作，最后输出点i的 特征向量x_i(L+1)。

最终所有点的特征向量x_i(L+1)组合输出特征图F_l(L+1)。因此第L+1层联合 动态图卷积层u_conv(L+1)的输出特征图F_l(L+1)计算公式如下：

F_l(L+1)＝(x_1(L+1),x_2(L+1),...,x_n(L+1)) (2)

如图1所示，网络堆叠了四个联合动态图卷积层u_conv1、u_conv2、

u_cov3、u_cov4用于局部特征提取：经过u_conv1层输出大小为n×64的特 征图F_l1；经过u_conv2层输出大小为n×64的特征图F_l2；经过u_conv3层输 出大小为n×64特征图F_l3；经过u_conv4层输出大小为n×128的特征图F_l4。 将F_l0、F_l1、F_l2、F_l3、F_l4进行拼接，即得到了大小为*的局部特征图F_l。

2)网络输出：如图1所示，在得到局部特征图F_l后，为了得到网络输出， 具体步骤如下：

2.1)将F_l输入到全局特征提取的MLP层m_1中得到了大小为n×1024 的全局特征图F_G；

2.2)将F_G输入最大池化层中，得到大小为1×1024的全局特征向量V_G；

2.3)对V_G按行复制n份，得到大小为n×1024的特征矩阵，与局部特征 图F_l进行拼接，得到了大小为n×1347的最终总体特征图F_T；F_T聚合了所有 提取的局部特征与全局特征，作为分类器的输入；分类器由4层MLP组成和 一个softmax回归层组成，4层MLP分别有256个1×1的卷积核、256个1 ×1的卷积核、128个1×1的卷积核，s个1×1的卷积核，s为样本中点的标 签类别数；最后输入softmax回归层得到大小为n×s的输出。

3)训练中增加基于类特征相似约束的优化设计：以往点云分割中采用传 统交叉熵损失函数，即将输出的当前预测标签结果

与真实标签结果y计算得 到交叉熵损失：

本发明在使用交叉熵损失函数的基础上增加 对点的类特征相似约束L_SIM项，作为新的损失函数。类特征相似约束项是基于 点云全局特征图F_G上定义的特征相似度矩阵A而构建的。

全局特征图上的相似度矩阵定义如下：对于网络层m_1输出的大小为n ×1024的全局特征图F_G，其中每一行代表了与原始点云对应行的点提取到的 全局特征向量，计算所有点对间特征向量间的欧氏距离得到特征向量的相似 度矩阵A，如图3所示。矩阵A的第i行第j列记为a_ij，

其中

和

分别表示F_G中第i行和第j行，对应第i和第j个点的特征。

基于上述相似度矩阵定义类特征相似约束如下：

其中n是点云中点的数量，l(i,j)为对点对i和j间特征向量的约束值，将所有 点对间的约束值l(i,j)加和，得到类特征相似约束项L_SIM。对于l(i,j)，根据所 有点对i和j的标签分为两种情况，分别为：

A)C_ij＝1，代表两个点i,j标签类别相同，则将l(i,j)选择为相似度矩阵 中第i行，第j列的值a_ij，来约束属于相同类别的点i,j特征向量距离值最小 化。

B)C_ij＝0，代表两个点i,j标签类别不同，则将l(i,j)设置为max(0,k-a_ij)， 来约束分别属于不同类别的点i,j特征向量距离值趋近k。k值可以根据分割 精度需求自行设置。

将L_SIM与交叉熵损失相加得到最终的损失函数，如下：

在训练时对网络进行初始化后，通过最小化损失函数，使用反向传播算法调 整网络参数，最终将网络训练收敛。

在测试阶段主要是对待测点云进行点云分割，测试阶段具体步骤如下：

1)对所有待测集样本进行均匀降采样，实现尺寸归一化为相同点数的n ×3的点云。

2)保持训练好的网络中所有的参数不变，将测试样本由网络输入，得到 大小为n×s的输出，选择每行最大值对应的类别标签作为输入点云对应点的 类别，作为最终的点云分割结果。

有益效果

本方法弥补了动态图卷积网络模型的不足，降低了运算时间，提高了点 云分割准确率，具有较好的可行性和鲁棒性。

为了验证本发明提出的基于联合动态图卷积的点云分割方法的有效性， 本发明选用ShapeNet数据集、ModelNet数据集和斯坦福大学的室内场景数据 集中进行了大量实验测试。

1.ShapeNet数据集上的实验结果

在ShapeNet数据集上进行了多种模型类别点云的分割实验，表1展示了 本发明方法相比其它算法的增益效果。在使用了本发明的方法，即联合动态 图卷积层和相似度矩阵约束(UDGCNN+SimMax)后，在点云分割问题上的 平均分割准确率上相对PointNet提升了4％，比我们参考的动态图卷积模型提 高了2.6％。验证了我们改进的方法在点云分割问题上的有效性。

表1 ShapeNet数据集实验结果

2.斯坦福大学的室内场景数据集上的实验结果

表2展示了本发明方法相比其它算法的增益效果。在使用了本发明的方 法，即使用了联合动态图卷积层和相似度矩阵约束(UDGCNN+SimMax)后， 在斯坦福大学的室内场景数据集上的场景实例分割结果有着较大的提升，在 总体分割准确率上有着最好的结果，达到了86.6％，同时在平均交并比指标 (Interaection-over-Union,IOU)结果上本发明方法的结果也达到了最好。

表2斯坦福大学的室内场景数据集实验结果

3.在ModelNet数据集上的模型复杂度实验结果

表3展示了本发明方法相比其它算法的增益效果。在使用了本发明的方 法，即使用了联合动态图卷积层和相似度矩阵约束(UDGCNN+SimMax)后， 相比于DGCNN模型仅增加了少量的模型复杂度，但减少了2.6ms的单次迭 代时间。而且本发明的方法达到了最高的准确率。

表3 ModelNet数据集上的模型复杂度实验结果

附图说明

图1为本发明基于联合动态图卷积的深度神经网络示意图；

图2为本发明中联合动态图卷积层结构图；

图3为相似度矩阵计算方法示意；

具体实施方式

本发明是以动态图卷积网络模型为基础，针对现有技术的问题，提供了 一种新的基于联合动态图卷积的深度网络的点云分割办法。本发明适用于点 云分割，弥补了现有技术的不足，降低了运算时间，提高了点云分割准确率， 具有较好的可行性和鲁棒性。

下面结合具体实例对本发明做出更详细阐述。

本发明包含以下步骤：

1)获取ShapeNet数据集，选择桌子类别中的4000个点云构建为训练集， 从剩余桌子类别中选择1000个点云构建为测试集。

2)对训练集中的每个点云样本使用最远点采样算法(Farthest Point Sampling，FPS)实现均匀降采样归一化为4000个大小为1024×3的点云。 训练数据集中点云中每个点的标签有两个：桌子腿、桌面。

3)深度神经网络的设计，具体为：对动态图卷积网络中的局部特征提取 层进行改进，将conv_2,conv_3,conv_4修改为联合动态图卷积层(UEdgeConv) u_conv2,u_conv 3,u_conv 4。具体为：在u_conv2,u_conv3,u_conv4层中调用 tf_util.knn函数对上个特征提取层输出的特征图计算K近邻后，调用python 的tf.concat函数将所有浅层特征图(包含原始点云输入)进行拼接。构建后 的网络包括11各层：四个局部特征提取层conv_1，u_conv2，u_conv3，u_conv4、 一个全局特征提取的MLP层m_1、一个最大池化层和一个由四个MLP层与一个softmax回归层组成的多类别分类器，输入为大小为1024×3的点云F_l0。 为了得到用于分割的聚合了局部特征与全局特征的最终特征图，经过网络层 包含以下步骤：

3.1)经过conv_1层输出大小为1024×64的特征图F_l1，经过u_conv2层 得到得到大小为1024×64的特征图F_l2，经过u_conv3层得到大小为1024× 64特征图F_l3，经过u_conv4层得到大小为1024×128的特征图F_l4，至此网络 的局部特征提取工作结束。

3.2)将F_l0、F_l1、F_l2、F_l3、F_l4使用python的concat函数进行拼接，即得 到了大小为1024×323的局部特征图F_l，将F_l输入到全局特征提取的层m_1 中得到了大小为1024×1024的全局特征图F_G。

3.3)将F_G输入最大池化层中，得到大小为1×1024的全局特征向量V_G。

3.4)对V_G调用tf.tile函数按行复制1024份，得到大小为1024×1024的 特征矩阵，与局部特征图F_l使用python的concat函数进行拼接，得到了大小 为1024×1347的最终特征图F_T。F_T聚合了所有提取的局部特征与全局特征， 作为分类器的输入。分类器由4层MLP组成和一个softmax回归层组成，4 层MLP分别由256个1×1的卷积核、256个1×1的卷积核、128个1×1的 卷积核，2个1×1的卷积核的卷积神经网络组成，数据集中点的标签只有2个。最后输入softmax回归层得到大小为n×2的输出。

4)训练构建的深度神经网络：将训练样本集中的点云样本输入，采用增 加了相似度矩阵约束项的交叉熵损失函数，结合反向传播算法调整网络参数， 利用softmax回归作为分类算法，完成网络的训练，具体步骤如下：

4.1)对网络进行初始化：用一些不同的小随机数初始化网络中待训练参 数；

4.2)向初始化后的网络中一直输入训练样本与实际的n×2的标签来训练 网络并得到实时输出的n×2的当前预测分割结果。

所述的训练样本包括：输入点云和理想输出向量，当点云输入深度网络 中后经过逐层变换，最后传送到最后一层输出层，得到实际输出的n×2的当 前预测分割结果。

4.3)在原始的交叉熵损失函数中增加一项相似度矩阵约束项作为新的损 失函数，结合反向传播算法调整网络参数，利用softmax回归作为分类算法， 完成网络的训练。相似度矩阵约束项具体为：

对网络层m_1输出的大小为1024×1024的全局特征图F_G，调用 tf_util.pairwise_distance计算出大小为1024×1024的相似性对称矩阵A，其中 矩阵A的第i行第j列记为a_ij。最后在交叉熵损失函数增加公式(4)中的类 特征相似约束项L_SIM。通过最小化类特征相似约束来加速训练。因为本数据集 中标签数量较少，因此需要更精细的分割结果，所以设置类特征相似约束中 的超参数k值较大，为9.5。

将L_SIM与交叉熵损失相加得到最终的损失函数，如公式(5)所示。在训 练时最小化损失函数，通过反向传播算法调整网络参数，最终将网络训练收 敛。

5)对待测点云进行点云分割：具体步骤如下：

5.1)对训练集中的每个点云样本使用最远点采样算法(Farthest PointSampling，FPS)实现均匀降采样归一化为1000个大小为1024×3的点云。

5.2)保持网络中所有的参数不变，将测试样本由网络输入，得到大小为 n×2的输出，选择每行最大值对应的类别标签作为输入点云对应点的类别， 作为最终的点云分割结果。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限 制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变 化与修饰，均仍属本发明技术方案的保护范围。

Claims (3)

1.一种基于联合动态图卷积的点云分割方法，通过构建带有标签的点云数据集作为样本集对网络进行训练，最后将待分割点云输入训练后的网络，根据网络的输出向量集合得到点云分割结果，其特征在于该方法还依次包括下述步骤：

1)将点云数据集中的样本划分为训练集与待测集，对所有训练集样本进行均匀降采样，实现尺寸归一化为相同点数的n×3的点云；

2)构建深度神经网络，网络共包括11层：四个联合动态图卷积层u_conv1，u_conv2，u_conv3，u_conv4、一个全局特征提取的MLP层m_1、一个最大池化Max Pooing层和一个由四层的MLP与一个softmax回归层组成的分类器，网络的输入为大小为n×3的点云F_l0；

深度神经网络工作过程如下：

2.1)经过u_conv1层输出大小为n×64的特征图F_l1，经过u_conv2层得到大小为n×64的特征图F_l2，经过u_conv3层得到大小为n×64特征图F_l3，经过u_conv4层得到大小为n×128的特征图F_l4；对于第L+1层联合动态图卷积层u_conv(L+1)，L的范围是{0,1,2,3}，u_conv(L+1)的工作过程为：首先根据第L层的输出F_lL，为每个点建立K近邻连边关系，具体为：根据F_lL计算所有点对特征向量间的欧氏距离，为各个点选取与其欧氏距离最小的K个点建立K近邻连边；对于与点i有K近邻关系的每个点i_j，将之前所有浅层F_l0,...,F_lL中点i_j特征向量(x_ij0,...,x_ijL)进行拼接，再组合后输入MLP进行特征提取并进行最大池化输出点i的特征向量x_i(L+1)；所有点的特征向量组合输出特征图F_l(L+1)；

其中，联合动态图卷积层是由K近邻关系计算步骤，特征拼接步骤、一个特征提取的单层MLP和最大池化步骤组成，第L+1层联合动态图卷积层u_conv(L+1)的输出特征图F_l(L+1)计算公式如下：

F_l(L+1)＝(x_1(L+1),x_2(L+1),...,x_n(L+1)) (1)

其中，F_l(L+1)中第i个点的特征向量x_i(L+1)计算如下：

表示通过对F_lL的计算，点i与点i_j的连边包含在点i的K近邻连边集

中；下标0，1,2,…,L为联合动态图卷积层u_conv(L+1)前的所有联合动态图卷积层的输出特征图，下标0代表输入点云F_l0；x_ijL表示点i_j在F_lL中的特征向量，即F_lL中第j行；cat(*)函数将之前所模块层的对应近邻点i_j的特征向量进行拼接，h_Θ(*)代表卷积核大小为1×1的MLP运算，

代表最大池化操作，最后输出点i的特征向量x_i(L+1)，将所有点的特征向量组合输出特征图F_l(L+1)；

2.2)将F_l0、F_l1、F_l2、F_l3、F_l4进行拼接，即得到了大小为n×323的局部特征图F_l，将F_l输入到全局特征提取的层m_1中得到了大小为n×1024的全局特征图F_G；

2.3)将F_G输入最大池化层中，得到大小为1×1024的全局特征向量V_G；

2.4)对V_G按行复制n份，得到大小为n×1024的特征矩阵，与局部特征图F_l进行拼接，得到了大小为n×1347的最终总体特征图F_T；F_T聚合了所有提取的局部特征与全局特征，作为分类器的输入；分类器由4层MLP组成和一个softmax回归层组成，4层MLP分别有256个1×1的卷积核、256个1×1的卷积核、128个1×1的卷积核，s个1×1的卷积核，s为样本中点的标签类别数；最后输入softmax回归层得到大小为n×s的输出；

3)训练构建的深度神经网络：将训练样本集中的点云样本输入，采用增加了相似度矩阵约束项的交叉熵损失函数，结合反向传播算法调整CNN参数，利用softmax回归作为分类算法，完成CNN的训练；

4)对待测点云进行点云分割。

2.根据权利要求1所述的一种基于联合动态图卷积的点云分割方法，其特征在于：步骤3所述的训练过程具体如下：

3.1)对网络进行初始化：用一些不同的小随机数初始化网络中待训练参数；

3.2)向初始化后的网络中输入训练样本与标签来训练网络，并得到输出为n×s的当前预测分割结果；所述的训练样本包括：输入点云和理想输出向量，当点云输入深度网络中后经过逐层变换，最后传送到最后一层输出层，得到实际输出的当前n×s的预测分割结果；

3.3)在一般的交叉熵损失函数中增加一项基于类特征相似约束项作为新的损失函数，结合反向传播算法调整网络参数，利用softmax回归作为分类算法，完成网络的训练；类特征相似约束项具体为：

针对网络层m_1输出的大小为n×1024的全局特征图F_G，其中每一行代表了与原始点云对应行的点提取到的全局特征向量，

计算所有点对间特征向量间的欧氏距离得到特征向量的相似度矩阵A，矩阵A的第i行第j列记为a_ij，

其中

和

分别表示F_G中第i行和第j行，对应第i和第j个点的特征；最后在损失函数增加对相似度矩阵的约束项；通过最小化相似度矩阵约束项来加速训练；相似度矩阵定义类特征相似约束如下：

其中n是点云中点的数量，l(i,j)为对点对i和j间特征向量的约束值，将所有点对间的约束值l(i,j)加和，得到类特征相似约束项L_SIM；对于l(i,j)，根据所有点对i和j的标签分为两种情况，分别为：

A)C_ij＝1，代表两个点i,j标签类别相同，则将l(i,j)选择为相似度矩阵中第i行，第j列的值a_ij，来约束属于相同类别的点i,j特征向量距离值最小化；

B)C_ij＝0，代表两个点i,j标签类别不同，则将l(i,j)设置为max(0,k-a_ij)，来约束属于不同类别的点i,j特征向量距离值趋近k；

通过将输出的当前预测标签结果

与真实标签结果y计算得到交叉熵损失项；将L_SIM与交叉熵损失相加得到最终的损失函数；如下：

在训练时最小化损失函数，通过反向传播算法调整网络参数，最终将网络训练收敛。

3.根据权利要求1所述的一种基于联合动态图卷积的点云分割方法，其特征在于：步骤4的具体步骤如下：

4.1)对所有待测集样本进行均匀降采样，实现尺寸归一化为相同点数的n×3的点云；

4.2)保持网络中所有的参数不变，将测试样本由网络输入，得到大小为n×s的输出，选择每行最大值对应的类别标签作为输入点云对应点的类别，作为最终的点云分割结果。

Images