CN114373104A - 一种基于动态聚合的三维点云语义分割方法及系统 - Google Patents

Abstract

本发明涉及一种基于动态聚合的三维点云语义分割方法，该方法通过构建包括采样模块、级联的动态聚合模块构成的编码器和特征传播模块构成的解码器的三维点云语义分割模型，通过动态聚合模块对采样模块输出的点云数据进行特征动态聚合输出特征图，并通过特征传播模块传输至全连接层，输出类别。与现有技术相比，本发明具有语义分割精度高的优点。

Description

一种基于动态聚合的三维点云语义分割方法及系统

技术领域

本发明涉及图像处理领域，尤其是涉及一种基于动态聚合的三维点云语义分割方法及系统。

背景技术

近年来，随着深度传感器硬件和深度学习技术的发展，基于深度学习的三维点云语义分割技术逐渐成为了研究的热点，并且广泛应用于自动驾驶、三维场景重建、机器人等方面。

三维点云数据通常是由激光雷达等3D扫描设备获得的一系列点的集合，其中包含三维空间信息(空间中X、Y、Z坐标)，还可能还有物体信息(如颜色、强度值)、反射值等特征。三维点云数据表示形式简单、紧凑、信息丰富，因此在三维深度学习中作为主流三维数据被广泛采用。但是三维点云数据也有相对应的缺点，如相比于二维数据的稀疏性、无序性和非结构化，这些问题也使得关于三维点云的研究面临巨大的挑战。

三维点云语义分割是指对输入的每一个点云数据，分配一个类别，进而分割三维场景中的每个物体。目前主流的语义分割范式多层感知机与编码器-解码器架构相结合，在编码器阶段首先使用采样算法若干选取局部区域，然后利用共享权重的多层感知机提取每个区域中三维点云数据的特征，利用对称函数聚合局部特征并缩小分辨率，最后将所有局部区域重新组合为整体，重复上述步骤并逐步减小分辨率；在解码器阶段，利用插值的方式逐步扩展到高分辨率的特征空间中，最后得到一个密集的预测结果。这一方式相比于早期将三维点云数据手工转换为体素网格或多视角图像，具有特征损失小，计算量少的优点，速度快的优点。但仍然具有如下不足：

1)多层感知机的权重共享导致特征的提取能力有限，这限制了模型捕获大规模场景中空间语义信息的能力。

2)三维点云数据相比二维图像更为稀疏，直接对原始三维点云数据训练，其语义特征的权重变化不稳定，影响模型性能；

3)在编码器中，聚合操作通常采用选取非学习的最大值、平均值等方式选取每个局部区域的代表特征，局部区域内的语义特征捕捉能力不足，还有巨大的性能提升空间。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供了一种语义分割精度高的基于动态聚合的三维点云语义分割方法及系统。

本发明的目的可以通过以下技术方案来实现：

根据本发明的第一方面，提供了一种基于动态聚合的三维点云语义分割方法，该方法包括以下步骤：

步骤S1、获取原始点云数据集并进行预处理；

步骤S2、构建三维点云语义分割模型，包括采样模块、级联的动态聚合模块构成的编码器和特征传播模块构成的解码器；通过动态聚合模块对采样模块输出的点云数据进行特征动态聚合输出特征图F_out，并通过特征传播模块传输至全连接层，输出类别；

步骤S3、通过三维点云语义分割模型的损失函数及优化器，对三维点云语义分割模型进行训练优化，逐步调整网络参数；

步骤S4、使用验证集对当前三维点云语义分割模型的性能进行评估，如果性能优于之前保存的最佳模型的性能，则保存当前模型为最佳模型，否则重复步骤S2～S3直至训练轮次达到最大训练轮次epoch；得到训练后的三维点云语义分割模型；

步骤S5、将测试集输入至训练后的三维点云语义分割模型中，获得每个点的类别预测，得到最终的分割结果。

优选地，所述步骤S1具体为：

获取原始点云数据集{P_i|i＝1，...，n}，其中n为点云数据集中点的数量，每一个点P_i的数据包含该点的三维坐标以及相对应的物体的标签数据；将原始点云数据集按比重随机分为训练集R和测试集T；所述训练集R中按预定比重划分出验证集V。

优选地，所述训练集R比重为70％，所述验证集T比重为30％；所述训练集R中划分比重10％为验证集V。

优选地，所述步骤S2具体包括以下步骤：

步骤S21、对点云数据进行随机降采样处理，将每个场景的点云数量减少至预设点数；

步骤S22、采样模块采用K最近邻算法进行数据采样，得到特征图F_in；

步骤S23、利用动态聚合模块进行特征聚合，通过权重分支计算每个点对于局部中心点空间特征的联结性，利用函数∈为点云中的每个特征分配不同的权重；通过动态聚合MLP分支，基于动态卷积生成和特征提取聚合，获取输出特征图F_out；

步骤S24、特征传播模块使用基于PointNet++的特征广播算法，将编码器输出的特征图F_out传输至全连接层，输出特征为类别。

优选地，所述步骤S22中的采样模块采用K最近邻算法进行数据采样，具体为：以每个点为中心，选取其周围最近的k个点，形成局部云块；对每个局部云块进行显示空间编码，计算最近邻点P_i(x_i，y_i，z_i)与中心点P(x，y，z)的空间关系(x_i-x，y_i-y，z_i-z)，并拼接到原有特征图中，得到特征图F_in。

优选地，所述步骤S23包括以下子步骤：

步骤S231、获取采样模块输出的特征图F_in，取前6维关于空间距离的特征图F_in′，利用多层感知机捕获局部点云块之间的空间信息得到特征图F，其中F＝{f_i，j|i＝1，2...N}，i表示局部点云块的数量，j表示每个局部点云块中包含的点云数量；将特征f_i，j输入至∈函数计算局部点云块i对其中每个特征的权重∈(f_i，j)；

步骤S232、采用高斯分布初始化生成动态卷积W_i(i＝1，2，...，k)，并通过θ函数得到聚合后的动态卷积W：

W＝α₁W₁+…+α_kW_k

其中，权重α_i(i＝1，2，...，k)采用Softmax函数生成；

步骤S233、将采样模块输出的特征图F_in输入到由聚合后的动态卷积W作为权重的第一多层感知机中，输出F_mid；所述F_mid的输出维度与权重的输出维度相同；

步骤S234、在局部点云块中，根据点云与点云之间的空间关系，调整语义特征的特征强度，表达式为：

F′_mid＝F_mid⊙∈(f_i，j)

其中，F_mid为第一个多层感知机的输出，∈(f_i，j)为局部点云块i对其中每个特征的权重；

步骤S235、将F_mid′输入到第二多层感知机中，基于学习的方法自适应的调整特征强度，输出特征图F_out。

优选地，所述步骤S231中局部点云块对特征f_i，j的权重∈(f_i，j)表达式为：

优选地，所述步骤S3中三维点云语义分割模型的损失函数为交叉熵，其表达式为：

H(p，q)＝-∑_x(p(x)logq(x))

其中，p为标签代表的真值，q为预测值。

优选地，所述步骤S3中优化器为随机梯度下降SGD优化器。

根据本发明的第二方面，提供了一种基于上述基于动态聚合的三维点云语义分割方法的系统，该系统包括：

点云数据采集模块，用于获取原始点云数据集并进行数据预处理；

三维点云语义分割模块，用于对点云数据集进行语义分割。

与现有技术相比，本发明具有以下优点：

1)本发明构建了三维点云语义分割模型，利用动态聚合模块，一方面有效的提升了局部区域的几何关系特征提取能力，另一方面，提升了局部特征聚合，优化了局部区域的关键点和它们的特征空间邻域之间的语义关系，以学习多对多的特征映射；通过自适应的选取局部区域的特征，并通过学习的方式，选取聚合特征，提高了特征表达能力，进而提高了语义分割的准确性；

2)本发明利用动态卷积，在同等数据量与计算量的情况下，极大丰富特征表现能力，通过动态卷积模块，自适应的调整特征的强度，从而适应三维点云分割任务；

3)本发明通过对原始点云数据进行随机降采样处理，降低了数据的规模，有效减少设备的算力负担，并且维持模型性能；

4)本发明模型的特征传播模块采用的是基于PointNet++的特征广播算法，避免大量的反卷积操作，提高了模型的处理速度。

附图说明

图1为本发明的整体架构图；

图2为本发明的方法流程图；

图3为动态聚合模块架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

下面给出本发明的方法实施例。

某一自动驾驶的汽车上装载有激光雷达，使用该激光雷达收集点云数据，并且对相应点的进行标注，采用本发明的基于动态聚合的三维点云语义分割方法进行语义分割。结合图1～图2，对本发明的方法进行详细介绍，具体包括以下步骤：

步骤S1、获取原始点云数据并进行数据预处理，具体为：

通过激光雷达扫描获得原始点云数据集{P_i|i＝1，...，n}，其中n为点云集合P_i中点的数量，每一个点P_i包含该点的三维坐标以及相对应的物体的标签数据；将点云数据集随机分为训练集R和测试集T，其中训练集R比重为70％，测试集T比重为30％；所述训练集R中按10％比重划分出验证集V；

步骤S2、构建三维点云语义分割网络模型，包括级联的下采样的特征提取网络、上采样分割网络和辅助网络，通过原始输入点云数据，经过采样模块的随机降采样处理，利用动态聚合模块进行特征聚合后输出特征图F_out，并经过特征传播模块传输至全连接层，输出类别；具体包括以下子步骤：

步骤S21、在第一层输入原始点云层中，对点云数据进行随机降采样；

原始输入点云为R₀，在第一层输入原始点云层中，对点云数据进行随机降采样以降低数据的规模，将每一个场景的点云数量减少至1024个点，即初始N＝1024，这一步骤可以有效减少设备的算力负担，并且维持模型性能；该模块得到每一个场景中的特征图尺寸为(1024，3)，表示该场景中包含1024个点云，每个点云的特征通道包含三维坐标(x，y，z)的3个特征通道；

步骤S22、采样模块采用K最近邻算法进行数据采样，其中K设置为20，得到特征图F_in，具体为：以每个点为中心，选取其周围最近的20个点，形成局部云块，即特征图尺寸为(1024，20，3)；对每个局部云块进行显示空间编码，计算最近邻点P_i(x_i，y_i，z_i)与中心点P(x，y，z)的空间关系(x_i-x，y_i-y，z_i-z)，并拼接到原有特征图中，在第一层采样模块得到尺寸为(1024，20，3+3)的特征图F_in。

在之后的每一层采样模块中都使用相同的操作，则之后特征图的尺寸分别为(256，20，64+3)、(64，20，128+3)、(16，20，256+3)。

步骤S23、利用动态聚合模块进行特征聚合；通过权重分支计算每个点对于空间特征的联结性，利用函数∈为点云中的每个特征分配不同的权重；通过动态聚合MLP分支，基于动态卷积生成和特征提取聚合，获取输出特征图F_out。如图3所示，具体过程为：

步骤S231、获取采样模块输出的特征图F_in，取前6维关于空间距离的特征图F_in′，利用多层感知机捕获局部点云块之间的空间信息得到特征图F，其中F＝{f_i，j|i＝1，2...N}，i表示局部点云块的数量，j表示每个局部点云块中包含的点云数量；将特征f_i，j输入至∈函数计算局部点云块i对其中每个特征的权重∈(f_i，j)，表达式为：

每个阶段的权重的特征维度为处理模块最终输出维度的一半，即32，64，128，256；

步骤S232、采用高斯分布初始化生成动态卷积W_i(i＝1，2，...，k)，并通过θ函数得到聚合后的动态卷积W：

W＝α₁W₁+…+α_kW_k

其中，α_i(i＝1，2，...，k)为采用Softmax函数生成的权重；

步骤S233、将采样模块输出的特征图F_in输入到由聚合后的动态卷积W作为权重的第一个多层感知机中，输出F_mid；所述F_mid的输出维度与权重的输出维度相同；

步骤S234、在局部点云块中，根据点云与点云之间的空间关系，调整语义特征的特征强度，表达式为：

F′_mid＝F_mid⊙∈(f_i，j)

其中，F_mid为第一个多层感知机的输出，∈(f_i，j)为局部点云块i对其中每个特征的权重；

步骤S235、将F_mid′输入到第二个多层感知机中，将卷积核宽度设置为k的大小，基于学习的方法自适应的调整特征强度，输出特征图F_out；每个阶段的输出维度为64，128，256，512；

步骤S24、特征传播模块使用基于PointNet++的特征广播算法，将聚合的输出特征图F_out输入至在全连接层中，输出特征尺度为类别数目；该方法避免大量的反卷积操作，以提高模型的处理速度；

步骤S3、使用交叉熵作为三维点云语义分割模型的损失函数，将预测值与标签输入损失函数计算损失，逐步调整网络参数；并使用随机梯度下降SGD优化器对模型进行优化；

所述交叉熵损失函数表达式为：

H(p，q)＝-∑_x(p(x)logq(x))

其中，p为标签代表的真值，q为预测值。

所述随机梯度下降SGD优化器参数设置为：动量设置为0.9，学习率设置为0.01，权重衰减设置为0.01，每隔60代，学习率减少十倍，反复迭代，以优化模型；

步骤S4、使用验证集V₀对当前网络模型的性能进行评估，如果性能优于之前保存的最佳模型的性能，则保存当前模型为最佳模型；重复迭代训练直至训练轮次达到最大训练轮次epoch＝300，得到训练后的三维点云语义分割模型；

步骤S5、将测试集输入至训练后的三维点云语义分割模型中，获得每个点的类别预测，得到最终的分割结果。其中，测试集的数据结构与训练集相同。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于动态聚合的三维点云语义分割方法，其特征在于，该方法包括以下步骤：

步骤S1、获取原始点云数据集并进行预处理；

步骤S2、构建三维点云语义分割模型，包括采样模块、级联的动态聚合模块构成的编码器和特征传播模块构成的解码器；通过动态聚合模块对采样模块输出的点云数据进行特征动态聚合输出特征图F_out，并通过特征传播模块传输至全连接层，输出类别；

步骤S3、通过三维点云语义分割模型的损失函数及优化器，对三维点云语义分割模型进行训练优化，逐步调整网络参数；

步骤S4、使用验证集对当前三维点云语义分割模型的性能进行评估，如果性能优于之前保存的最佳模型的性能，则保存当前模型为最佳模型，否则重复步骤S2～S3直至训练轮次达到最大训练轮次epoch；得到训练后的三维点云语义分割模型；

步骤S5、将测试集输入至训练后的三维点云语义分割模型中，获得每个点的类别预测，得到最终的分割结果。

2.根据权利要求1所述的一种基于动态聚合的三维点云语义分割方法，其特征在于，所述步骤S1具体为：

获取原始点云数据集{P_i|i＝1，...，n}，其中n为点云数据集中点的数量，每一个点P_i的数据包含该点的三维坐标以及相对应的物体的标签数据；将原始点云数据集按比重随机分为训练集R和测试集T；所述训练集R中按预定比重划分出验证集V。

3.根据权利要求2所述的一种基于动态聚合的三维点云语义分割方法，其特征在于，所述训练集R比重为70％，所述验证集T比重为30％；所述训练集R中划分比重10％为验证集V。

4.根据权利要求1所述的一种基于动态聚合的三维点云语义分割方法，其特征在于，所述步骤S2具体包括以下步骤：

步骤S21、对点云数据进行随机降采样处理，将每个场景的点云数量减少至预设点数；

步骤S22、采样模块采用K最近邻算法进行数据采样，得到特征图F_in；

步骤S23、利用动态聚合模块进行特征聚合，通过权重分支计算每个点对于局部中心点空间特征的联结性，利用函数∈为点云中的每个特征分配不同的权重；通过动态聚合MLP分支，基于动态卷积生成和特征提取聚合，获取输出特征图F_out；

步骤S24、特征传播模块使用基于PointNet++的特征广播算法，将编码器输出的特征图F_out传输至全连接层，输出特征为类别。

5.根据权利要求4所述的一种基于动态聚合的三维点云语义分割方法，其特征在于，所述步骤S22中的采样模块采用K最近邻算法进行数据采样，具体为：以每个点为中心，选取其周围最近的k个点，形成局部云块；对每个局部云块进行显示空间编码，计算最近邻点P_i(x_i，y_i，z_i)与中心点P(x，y，z)的空间关系(x_i-x，y_i-y，z_i-z)，并拼接到原有特征图中，得到特征图F_in。

6.根据权利要求5所述的一种基于动态聚合的三维点云语义分割方法，其特征在于，所述步骤S23包括以下子步骤：

步骤S231、获取采样模块输出的特征图F_in，取前6维关于空间距离的特征图F_in′，利用多层感知机捕获局部点云块之间的空间信息得到特征图F，其中F＝{f_i，j|i＝1，2...N}，i表示局部点云块的数量，j表示每个局部点云块中包含的点云数量；将特征f_i，j输入至∈函数计算局部点云块i对其中每个特征的权重∈(f_i，j)；

步骤S232、采用高斯分布初始化生成动态卷积W_i(i＝1，2，...，k)，并通过θ函数得到聚合后的动态卷积W：

W＝α₁W₁+…+α_kW_k

其中，权重α_i(i＝1，2，...，k)采用Softmax函数生成；

步骤S233、将采样模块输出的特征图F_in输入到由聚合后的动态卷积W作为权重的第一多层感知机中，输出F_mid；所述F_mid的输出维度与权重的输出维度相同；

步骤S234、在局部点云块中，根据点云与点云之间的空间关系，调整语义特征的特征强度，表达式为：

F′_mid＝F_mid⊙∈(f_i，j)

其中，F_mid为第一个多层感知机的输出，∈(f_i，j)为局部点云块i对其中每个特征的权重；

步骤S235、将F_mid′输入到第二多层感知机中，基于学习的方法自适应的调整特征强度，输出特征图F_out。

7.根据权利要求6所述的一种基于动态聚合的三维点云语义分割方法，其特征在于，所述步骤S231中局部点云块对特征f_i，j的权重∈(f_i，j)表达式为：

8.根据权利要求1所述的一种基于动态聚合的三维点云语义分割方法，其特征在于，所述步骤S3中三维点云语义分割模型的损失函数为交叉熵，其表达式为：

H(p，q)＝-∑_x(p(x)logq(x))

其中，p为标签代表的真值，q为预测值。

9.根据权利要求1所述的一种基于动态聚合的三维点云语义分割方法，其特征在于，所述步骤S3中优化器为随机梯度下降SGD优化器。

10.一种基于权利要求1所述的基于动态聚合的三维点云语义分割方法的系统，其特征在于，该系统包括：

点云数据采集模块，用于获取原始点云数据集并进行数据预处理；

三维点云语义分割模块，用于对点云数据集进行语义分割。

Images