CN114549757A - 一种基于注意力机制的三维点云上采样方法 - Google Patents

Abstract

本发明公开了一种基于注意力机制的三维点云上采样方法，包括以下步骤：步骤1：三维点云数据预处理；步骤2：构建基于注意力机制的三维点云上采样网络结构；步骤3：建立目标点云和输出点云之间的损失函数；步骤4：采用公开数据集进行训练及测试，输出最终结果。本方法提出了基于注意力机制的三维点云上采样网络，进一步加强了对局部特征和邻域关系的学习，并加入残差结构以优化信息传递过程，提高了三维点云上采样的准确率，降低了目标点云与上采样所得点云之间的损失。通过实验结果显然证实了所提出方法的高效性与实用性，本发明方法对三维点云上采样更高效和准确。

Description

一种基于注意力机制的三维点云上采样方法

技术领域

本发明是关于三维点云上采样的领域。三维点云是传感器的标准输出形式，如何处理采样得到的点云信息越来越受到人们的关注，所以提出了一种基于注意力机制的三维点云上采样方法。

背景技术

随着3D采集技术的快速发展，3D传感器的成本不断降低，越来越广泛应用于生产生活的方方面面，包括各种类型的3D扫描仪、激光雷达和RGB-D相机(如Kinect、RealSense和苹果深度相机)。这些传感器获得的三维数据可以提供丰富的几何、形状和尺度信息，结合2D图像，3D数据可以用来更好地理解周围环境。3D数据在不同的领域有许多应用，包括自动驾驶、机器人、遥感和医疗。

三维数据通常可以用不同的格式表示，包括深度图像、点云、网格和体积网格。点云表示作为一种常用的格式，是最近流行并广泛使用的传感器输出形式，它在三维空间中保留原始几何信息，不进行任何离散化。因此，它是许多场景理解相关应用的首选表示形式，如自动驾驶和机器人技术。然而，从传感器获得的原始三维点云数据存在以下几点问题：一是点云通常比较稀疏，二是存在噪声，三是非均匀分布。因此，如何设计一个对稀疏点云进行上采样使其变得稠密均匀的算法，用以进一步的渲染、分析、处理便显得尤为重要。

近年来，深度学习技术占据了许多研究领域的主流地位，如计算机视觉、语音识别和自然语言处理。Qi等人首先提出了PointNet和PointNet++用以直接处理原始的三维点云信息，并通过应用共享的多层感知机及对称函数(如最大池化)来解决点云的无序性问题。Yu等人在此基础上首先提出了一种端到端的三维点云上采样网络(PU-Net),把从编码器获得的特征通过复制n份输入解码器得到上采样后的点云。Wang Yifan等人提出了MPU，利用多步骤训练方式逐步得到稠密的点云。Ruihui Li等人提出了PU-GAN，引入生成对抗网络进一步指导点云的上采样过程。谷歌最先提出了注意力机制，它的核心是调整对输入权重注意力的分配，从而优化网络结构。Jie Hu等人提出了基于通道方向的注意力机制用于二维图像的上采样过程。

发明内容

本发明的目的在于针对现有技术的不足，提供了一种基于注意力机制的三维点云上采样方法。

一种基于注意力机制的三维点云上采样方法，包括以下步骤：

步骤1：三维点云数据预处理；

步骤2：构建基于注意力机制的三维点云上采样网络结构；

步骤3：建立目标点云和输出点云之间的损失函数；

步骤4：采用公开数据集进行训练及测试，输出最终结果。

步骤1、三维点云数据预处理，具体步骤如下：

1-1.数据准备及下采样，先在原始数据集中对每个三维物体进行最远距离下采样FPS得到2048个点构成新的数据集一,再在数据集一中进行FPS采样得到256个点构成新的数据集二。其中包含256个点的数据集二作为输入点云，包含2048个点的数据集一作为目标点云。再将数据集一和数据集二分别按照1：4的比例进行划分为测试数据和训练数据。

1-2.对数据集进行数据增强，包括旋转、伸缩、抖动、随机丢弃及加入高斯噪声。

1-3.对数据集进行标准化处理，使其满足高斯分布。

步骤2、构建基于注意力机制的三维点云上采样网络结构，具体步骤如下：

2-1.构建编码器。

编码器包括四个特征提取模块，两个局部特征融合模块，一个最大池化层。每个特征提取模块由一个卷积(Convolutional，Conv)块和一个图卷积(dense graph)块组成，其中卷积块由一个Conv层、一个批量归一化层(BatchNormalization，BN)和一个线性整流函数(ReLU)组成，图卷积块由一个Graph-Conv层、BN和ReLU组成，每个特征提取模块之间由跳跃式连接(skip-connection)相连接。每个局部特征融合模块由一个k近邻聚合层(knn-downsampling)、两个Conv层、两个BN、两个ReLU和一个注意力(attention)模块组成。注意力模块将输入的特征向量(N*C，其中N为输入的三维点的个数，C为每个点的维度)分别作为查询向量Q和键值向量V，经过矩阵乘法和softmax函数得到注意力分数(N*N)。接着将输入的特征向量(N*C)与注意力分数(N*N)相乘，即可得到优化后的特征向量，它进一步融合了局部特征。然后将优化后的特征向量进行最大池化，即取N个点中的特征的最大值，得到全局特征(1*C)。最后将全局特征复制N份后与最大池化前的特征向量进行拼接，得到编码后的向量(2N*C)，它将进一步被输入特征扩张模块。

2-2.构建特征扩张模块。

特征扩张模块将编码器输出的特征(2N*C)复制r份(即2rN*C)，r是上采样比率。接着生成位置向量，具体来说，位置向量大小为(2rN*1)，其值通过-1到1之间均匀分布生成。最后将复制后的向量(2rN*C)与位置向量(2rN*1)进行拼接得到扩张后的特征向量(2rN*(C+1))。

2-3.构建解码器。

解码器由三个全连接层和一个点云重建层组成。其中每个全连接层包括一个Conv层、一个Leaky-ReLU函数、一个BN层。解码器的输入与点云重建层之间采用跳跃式连接，点云重建层将解码的特征重新转化为三维坐标点。

步骤3、建立目标点云与输出点云之间的目标损失函数，具体如下：

3-1.由于欧式距离具有计算快速灵活的特点，采用欧式距离(Euclideandistance)作为点云距离标准。从数学的形式表述如下：

其中X(1*d),Y(1*d)分别为任意两个不同的点，其中d是每个点的维度；x_i，y_i分别为点的分向量(1*1)。

3-2.计算输出点云和目标点云之间的距离。

采用倒角距离公式(Chamfer Distance)作为三维点云上采样的损失函数，使输出点云与目标点云之间的距离趋于最小，定义如下：

以上公式的S₁,S₂分别表示输出点云与目标点云，第一项

代表S₁中任意一点x到S₂的最小距离之和，第二项

则表示S₂中任意一点y到S₁的最小距离之和。该距离越小说明输出点云与目标点云的差别越小。

步骤4、训练模型并测试数据，具体如下：

4-1.准备原始数据集(比如公共数据集ModelNet10，ModelNet40,ShapeNet,Shrec16)并按照步骤1所述进行预处理。

4-2.将训练数据输入到构建好的三维点云上采样网络进行训练并且使用测试数据进行测试。

4-3.为了验证本发明方法的高效性，将其与当前优秀的方法(比如PU-NET、MPU等方法)进行比较，计算CD(Chamfer Distance)、EMD(EarthMover’s Distance)以及分析结果的可靠性和实用性。

本发明具有的有益的效果是：

本方法提出了基于注意力机制的三维点云上采样网络，进一步加强了对局部特征和邻域关系的学习，并加入残差结构以优化信息传递过程，提高了三维点云上采样的准确率，降低了目标点云与上采样所得点云之间的损失。通过实验结果显然证实了所提出方法的高效性与实用性。总之，所提出的方法对三维点云上采样更高效和准确。

附图说明

图1是本发明步骤流程图；

图2是本发明整体架构流程图；

图3是本发明特征提取单元流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

基于注意力机制的三维点云上采样方法，具体步骤参看图1所示，整体架构流程图看图2所示：

一种基于注意力机制的三维点云上采样方法，步骤如下：

步骤1、三维点云数据预处理，具体步骤如下：

1-1.数据准备及下采样，先在原始数据集(如ModelNet40)中对每个三维物体进行最远距离下采样(FPS)得到2048个点构成新的数据集一,再在数据集一中进行FPS采样得到256个点构成新的数据集二。其中包含256个点的数据集一作为输入点云，包含2048个点的数据集作为目标点云。再将数据集一和数据集二分别按照1：4的比例进行划分，其中作为测试数据，作为训练数据。FPS方法相较于随机采样的优势在于它可以尽可能地覆盖空间中的所有点。具体实现方法如下：

假设一共有p个点，整个点集H＝{h₁,h₂,...,h_p},目标是选取q个点，使这q个点各自相距最远：①随机选取一个点h_i作为起始点，并写入起始点集B＝{h_i}；②选取剩余n-1个点计算和h_i点的距离，选择最远点h_i写入起始点集B＝{h_i，h_j}；③选取剩余n-2个点计算和点集B中每个点的距离，将最短的那个距离作为该点到点集的距离，这样得到n-2个到点集的距离，选取最远的那个点写入起始点B＝{h_i，h_j，h_k}，同时剩下n-3个点。如果q＝3，则到此选择完毕；如果q>3，则重复上面步骤直到选取到q个起始点为止。

1-2.对数据集进行数据增强，包括随机旋转、伸缩、抖动、随机丢弃以及加入高斯噪声。

1-3.对数据集进行标准化。数据集的标准化是将数据按比例缩放，使之映射到一个半径为1的单位球体中：

其中，S是想要标准化的点云，x_i为S中任意一点。

步骤2构建基于注意力机制的三维点云上采样网络结构，具体步骤如下：

2-1.构建编码器。

编码器包括四个特征提取模块，两个局部特征融合模块，一个最大池化层。每个特征提取模块由一个卷积(Convolutional，Conv)块和一个图卷积(dense graph)块组成，其中卷积块由一个Conv层、一个批量归一化层(BatchNormalization，BN)和一个线性整流函数(ReLU)组成，卷积块将输入其中的特征向量映射到24维空间并输出到图卷积块。图卷积块由一个Graph-Conv层、BN和ReLU组成，图卷积块将输入其中的特征向量映射到60维向量空间。每个特征提取模块之间由跳跃式连接(skip-connection)相连接，目的是减少网络深度引起的信息损失。经过四个特征提取模块及跳跃式连接后，得到256*264的特征向量(256个点，每个点的维度为264)并输入到局部特征融合模块中。每个局部特征融合模块由一个k近邻聚合层(knn-downsampling)、两个Conv层、两个BN、两个ReLU、一个最大池化层和一个注意力模块(attention)组成。k近邻聚合层以输入的每个点(1*264)为中心，选取32个距离最近的点，随后通过两个Conv层进行特征融合并作最大池化，得到的特征输入到自注意力模块中，输出256*1024的特征向量。自注意机制类似人类看到图片时总是聚焦于关键信息，它可以更准确地发掘特征向量中重要的部分，并增加它的权重，因此可以作为一个模块优化网络。具体来说，注意力模块将输入的特征向量(N*C，其中N为输入的三维点的个数，C为每个点的维度)分别作为查询向量Q和键值向量V，经过矩阵乘法和softmax函数得到注意力分数(N*N)。接着将输入的特征向量(N*C)与注意力分数(N*N)相乘，即可得到优化后的特征向量，它进一步融合了局部特征。然后将该特征向量进行最大池化，即取N个点中的特征的最大值，得到全局特征(1*C)。最后将全局特征复制N份(N*C)后与最大池化前的特征向量进行拼接，得到编码后的向量(2N*C),它将进一步被输入特征扩张模块。

2-2.构建特征扩张单元。

特征扩张模块将编码器输出的特征(2N*C)复制r份(即2rN*C)，r是上采样比率(如8)。接着生成位置向量，具体来说，位置向量大小为(2rN*1)，其值通过-1到1之间均匀分布生成。最后将复制后的向量(2rN*C)与位置向量(2rN*1)进行拼接得到扩张后的特征向量(2rN*(C+1))。

2-3.构建解码器。

解码器由三个全连接层和一个点云重建层组成。其中每个全连接层包括一个Conv层、一个Leaky-ReLU函数、一个BN层，每个层的输出分别为(r*1024)，(r*512)，(3*2048)。解码器的输入与点云重建层(说明)之间采用跳跃式连接，点云重建层将解码的特征重新转化为三维坐标点(通过矩阵转置完成)，输出为2048*3。

步骤3、建立目标点云与输出点云之间的目标损失函数，具体如下：

3-1.由于欧式距离具有计算快速灵活的特点，采用欧式距离(Euclideandistance)作为点云距离标准。从数学的形式可以表述如下：

其中X(1*d)，Y(1*d)分别为任意两个不同的点，其中d是每个点的维度；x_i，y_i分别为点的分向量(1*1)。

3-2.计计算输出点云和目标点云之间的距离。

采用倒角距离公式(ChamferDistance)作为三维点云上采样的损失函数，使输出点云与目标点云之间的距离趋于最小，定义如下：

以上公式的S₁,S₂分别表示输出点云与目标点云，第一项

代表S₁中任意一点x到S₂的最小距离之和，第二项

则表示S₂中任意一点y到S₁的最小距离之和。该距离越小说明输出点云与目标点云的差别越小。

步骤4、采用公开数据集进行训练及测试，输出最终结果，具体如下：

4-1.准备数据集(比如公共数据集ModelNet10，ModelNet40,ShapeNet,Shrec16)，然后按照步骤1所述进行预处理。

4-2.将训练数据输入到三维点云上采样网络进行训练并且使用测试数据进行测试，损失函数为Chamfer Distance，优化器为Adam，初始学习率为0.0001，训练周期数为300，Batch size大小为32，硬件为NVIDIARTXA5000。

4-3.为了验证本发明方法的高效性，将其与当前优秀的方法(比如PU-NET、MPU等方法)以及一些经典的编码器模型(比如PointNet、SONet等方法)进行比较，评估指标包括CD(Chamfer Distance)、EMD(Earth Mover’s Distance)，其值越小说明模型效果越好。同时测试了模型的SVM分类准确率Cls和检索准确率MAP，其值越大说明模型效果越好。

实验结果：

1.分别检测了当输入点云个数为128时，本方法与PointNet、TOPNet、Deconvolution、SONet、PSGNet、PDGN、FoldingNet、PUNet、AtlasNet、MPU方法的结果，并且对不同的评价指标(CD、EMD、Cls、MAP)进行了对比。具体数据结果详情见表1。

表1输入点云个数为128时本方法与其他方法的对比实验结果

2.分别检测了当输入点云个数为256时，本方法与PointNet、TOPNet、Deconvolution、SONet、PSGNet、PDGN、FoldingNet、PUNet、AtlasNet、MPU方法的结果，并且对不同的评价指标(CD、EMD、Cls、MAP)进行了对比。具体数据结果详情见表2。

表2输入点云个数为256时本方法与其他方法的对比实验结果

。

Claims (5)

1.一种基于注意力机制的三维点云上采样方法，其特征在于，包括以下步骤：

步骤1：三维点云数据预处理；

步骤2：构建基于注意力机制的三维点云上采样网络结构；

步骤3：建立目标点云和输出点云之间的损失函数；

步骤4：采用公开数据集进行训练及测试，输出最终结果。

2.根据权利要求1所述的一种基于注意力机制的三维点云上采样方法，其特征在于，步骤1具体步骤如下：

1-1.数据准备及下采样，先在原始数据集中对每个三维物体进行最远距离下采样FPS得到2048个点构成新的数据集一,再在数据集一中进行FPS采样得到256个点构成新的数据集二；其中包含256个点的数据集二作为输入点云，包含2048个点的数据集一作为目标点云；再将数据集一和数据集二分别按照1：4的比例进行划分为测试数据和训练数据；

1-2.对数据集进行数据增强，包括旋转、伸缩、抖动、随机丢弃及加入高斯噪声；

1-3.对数据集进行标准化处理，使其满足高斯分布。

3.根据权利要求2所述的一种基于注意力机制的三维点云上采样方法，其特征在于，步骤2具体步骤如下：

2-1.构建编码器；

编码器包括四个特征提取模块，两个局部特征融合模块，一个最大池化层；每个特征提取模块由一个卷积块和一个图卷积块组成，其中卷积块由一个Conv层、一个批量归一化层和一个线性整流函数组成，图卷积块由一个Graph-Conv层、BN和ReLU组成，每个特征提取模块之间由跳跃式连接相连接；每个局部特征融合模块由一个k近邻聚合层、两个Conv层、两个BN、两个ReLU和一个注意力模块组成；注意力模块将输入的特征向量N*C，其中N为输入的三维点的个数，C为每个点的维度，分别作为查询向量Q和键值向量V，经过矩阵乘法和softmax函数得到注意力分数N*N；接着将输入的特征向量N*C与注意力分数N*N相乘，即可得到优化后的特征向量，它进一步融合了局部特征；然后将优化后的特征向量进行最大池化，即取N个点中的特征的最大值，得到全局特征1*C；最后将全局特征复制N份后与最大池化前的特征向量进行拼接，得到编码后的向量2N*C，它将进一步被输入特征扩张模块；

2-2.构建特征扩张模块；

特征扩张模块将编码器输出的特征2N*C复制r份，即2rN*C，r是上采样比率；接着生成位置向量，具体来说，位置向量大小为2rN*1，其值通过-1到1之间均匀分布生成；最后将复制后的向量2rN*C与位置向量2rN*1进行拼接得到扩张后的特征向量2rN*(C+1)；

2-3.构建解码器；

解码器由三个全连接层和一个点云重建层组成；其中每个全连接层包括一个Conv层、一个Leaky-ReLU函数、一个BN层；解码器的输入与点云重建层之间采用跳跃式连接，点云重建层将解码的特征重新转化为三维坐标点。

4.根据权利要求3所述的一种基于注意力机制的三维点云上采样方法，其特征在于，步骤3具体如下：

3-1.由于欧式距离具有计算快速灵活的特点，采用欧式距离(Euclidean distance)作为点云距离标准；从数学的形式表述如下：

其中X(1*d)，Y(1*d)分别为任意两个不同的点，其中d是每个点的维度；x_i，y_i分别为点的分向量；

3-2.计算输出点云和目标点云之间的距离；

采用倒角距离公式作为三维点云上采样的损失函数，使输出点云与目标点云之间的距离趋于最小，定义如下：

以上公式的S₁,S₂分别表示输出点云与目标点云，第一项

代表S₁中任意一点x到S₂的最小距离之和，第二项

则表示S₂中任意一点y到S₁的最小距离之和；该距离越小说明输出点云与目标点云的差别越小。

5.根据权利要求4所述的一种基于注意力机制的三维点云上采样方法，其特征在于，步骤4具体如下：

4-1.准备原始数据集并按照步骤1所述进行预处理；

4-2.将训练数据输入到构建好的三维点云上采样网络进行训练并且使用测试数据进行测试；

4-3.为了验证本发明方法的高效性，将其与当前优秀的方法进行比较，计算CD、EMD以及分析结果的可靠性和实用性。

Images