CN113807233B - 基于高次项参考曲面学习的点云特征提取方法、分类方法和分割方法 - Google Patents

Abstract

本发明公开了一种基于高次项参考曲面学习的点云特征提取方法、分类方法和分割方法，属于计算机视觉领域。本发明将点云坐标转化为点云与全局参考曲面的相对位置关系，这种关系同时隐含了局部和全局信息。即，若参考曲面所对应的函数值均为零，则表示该三维表面在这些局部点云附近是实际三维物体的一个组成部分，表征了点云数据的局部信息；若参考曲面所对应的函数值不等于零，则函数值与点到曲面的距离相关，其表征了点相对于全局三维曲面的信息，即全局特征。进而可以有效聚合三维点云数据的局部和全局信息，从而有利于三维物体的语义特征提取。进而基于所提取的特征完成对待分类的点云数据的三维物体分类和三维物体语义分割处理。

Description

基于高次项参考曲面学习的点云特征提取方法、分类方法和分割方法

技术领域

本发明属于计算机视觉领域的三维点云数据处理技术领域，具体涉及一种基于高次项参考曲面学习的点云特征提取方法、分类方法和分割方法。

背景技术

随着传感技术的发展，三维点云数据(如利用3D激光雷达扫描仪采集的物体的外表面形状信息)的获取变得越来越方便，且得到广泛关注和应用。基于三维数据的应用场景也从传统的底层视觉任务逐渐向着更加智能化的高层语义感知方向迈进。这种应用场景的转变，使得传统的手工设计的特征表达能力无法满足当前的智能化要求。近年来，由于深度学习技术更容易学习和提取视觉信息中的语义特征，因此得到广泛关注和研究。起初，基于二维卷积的深度学习技术常用于图像理解，相比传统方法，性能上取得了显著的提升。但由于点云数据形式上具有非结构化和无序的特点，因此基于点云数据的深度学习技术一直受点云数据形式的限制，发展缓慢。

近年来，也有学者提出了多种三维表达形式用于三维数据的深度学习，例如将点云投影成图像的表达方法、基于深度图像的二维表达方法、基于规则体素的表达方法、基于网格信息的表达方法以及直接基于点云坐标的三维表达方法。其中，基于二维图像的表达方法采用的是比较成熟的二维卷积深度学习技术。但该方法将三维信息映射为二维信息的过程造成了维度的降低和有效信息的损失。基于深度图像的方法一般同样采用二维深度卷积的方式进行特征提取，但这类方法一般只是将深度信息作为图像处理的辅助通道，并未有效提取空间三维特征。基于体素的三维表达方法实现了三维空间的特征提取，但该方法精度受体素分辨率限制，而体素分辨率又与算法效率相互矛盾，因此该方法在效率和精度方面很难平衡。另一种网格三维表达当前研究相对较少，这主要是因为网格数据的获取需要额外的计算开销，且网格信息同样存在散乱无序的特点。大部分的三维模型点会更加稀疏，所以很难基于这类表达形式进行有效的几何特征提取。最近直接基于点云数据的特征提取得到广泛关注，主要因为点云数据的获取更加方便直接，且不需要特殊的数据预处理，使用更方便。但这类方法面临的主要挑战是点云数据的散乱性和无序性使得传统的基于卷积方式的深度学习技术无法直接用于特征提取。为此，学者们提出了基于对称函数和多层感知机的解决方案。随后，更多的学者基于此提出多级近邻局部特征提取方法和图卷积法等。但这些方法均基于点坐标直接进行特征提取，而基于点坐标的多层感知机运算可等效为平面拟合的过程，这对三维物体的描述必然是欠拟合的，这说明了直接应用点云坐标的表达方法仍然存在明显的缺陷。因此，如何基于点云数据构造一种有利于特征提取的三维表达方式是当前急需解决的问题。

发明内容

本发明提供了一种基于高次项参考曲面学习的点云特征提取方法、分类方法和分割方法，可用于提升点云数据的特征表达的丰富性，进而提升点云数据的相关视觉任务，如点云数据的分类处理和分割处理。

一方面，本发明提供了一种基于高次项参考曲面学习的点云特征提取方法，包括下列步骤：

步骤S1：配置点云数据的三维参考曲面函数：

确定所述三维参考曲面函数对应的高次项的最高次项M，基于所述高次项包括的所有单次项的表达式得到点云数据的每个点的高次项表示X；

为特征向量X中的每个单次项设置一个单次项系数，并按列构成编号向量π；

生成三维参考曲面函数的映射关系f(x,y,z)＝π^T·X+c，其中，(x,y,z)表示点云数据的每个点的坐标，c表示偏置项；

步骤S2：通过第一卷积神经网络同时对多个三维参考曲面函数进行单次项系数和偏置项的学习训练，其中，第一卷积神经网络的输入为每个点的高次项表示X，第一卷积神经网络的输入通道数为M，第一卷积神经网络的输出通道数N_f用于表征同时学习的三维参考曲面函数的数量，且输出通道数N_f不低于M；

步骤S3：通过第二卷积神经网络学习点云数据的每个点的权重，其中，第二卷积神经网络的输入为第一卷积神经网络的输出特征图，第二卷积神经网络的输出通道数为N_f；

步骤S4：基于第二卷积神经网络所获取的每个点的权重，对第一卷积神经网络输出的特征图进行加权，得到点云数据的特征信息。

进一步的，本发明还包括步骤S5：对得到的点云数据的特征信息进行图形化的可视化输出。

进一步的，步骤S2中，所述第一卷积神经网络包括依次连接的归一化层和修正线性单元ReLU层，其中，ReLU层用于拟合空间立体曲面的边缘。

进一步的，步骤S2中，所述第二卷积神经网络包括依次连接的归一化层、修正线性单元ReLU层和sofmax层，所述sofmax层的输出为0～1范围内的浮点型数据，用于表征点云数据的每个点的权重。

另一方面，基于本发明的点云特征提取方法，本发明还提供了一种基于高次项参考曲面学习的点云数据的物体分类方法，包括下列步骤：

基于本发明的基于高次项参考曲面学习的点云特征提取方法获取待分类的点云数据的特征信息，并输入至用于三维物体分类的分类神经网络，所述分类神经网络用于输出点云数据分别属于各目标类别的概率，并基于最大概率所对应的类别确定当前待分类的点云数据的类别识别结果。

进一步的，所述分类神经网络包括池化处理层和全连接层，其中，池化处理层用于对输入的特征图分别进行平均池化和最大池化处理，再将处理结果展平为一维向量后输入全连接层；其中，平均池化层和最大池化层的输出通道数均为N_f；所述全连接层用于预测全连接层的输入特征图分别属于各目标类别的概率，基于全连接层输出的最大概率所对应的类别确定当前待分类的点云数据的类别识别结果。

另一方面，基于本发明的点云特征提取方法，本发明还提供了一种基于高次项参考曲面学习的点云数据的语义分割方法，包括下列步骤：

基于本发明的基于高次项参考曲面学习的点云特征提取方法获取待分类的点云数据的特征信息，并输入至用于三维物体语义分割的分割神经网络，所述分割神经网络用于输出点云数据的每个点的属于各语义目标类别的概率，基于最大概率确定各点的语义分割类别，得到三维物体的语义分割结果。

本发明提供的技术方案至少带来如下有益效果：

本发明将点云坐标转化为点云与全局参考曲面的相对位置关系，这种关系同时隐含了局部和全局信息。即，若参考曲面所对应的函数值均为零，则表示该三维表面在这些局部点云附近是实际三维物体的一个组成部分，表征了点云数据的局部信息；若参考曲面所对应的函数值不等于零，则函数值与点到曲面的距离相关，其表征了点相对于全局三维曲面的信息，即全局特征。进而可以有效聚合三维点云数据的局部和全局信息，从而有利于三维物体的语义特征提取。进而基于所提取的特征完成对待分类的点云数据的三维物体分类和三维物体语义分割处理。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例提供的一种基于高次项参考曲面学习的点云特征提取方法的处理过程示意图；

图2是本发明实施例提供的一种基于高次项参考曲面学习的点云特征提取方法的应用示例；

图3是本发明实施例中，基于高次曲面三维表达的点云分类验证模型；

图4是本发明实施例中，一次项与高次项分类精度对比；

图5是本发明实施例中，学习到的二次曲面形状示例；

图6是本发明实施例中，基于高次项参考曲面学习的点云特征提取方法所提取的特征的可视化结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明实施例提供的基于高次项参考曲面学习的点云特征提取方法，通过学习的方式学习一系列的全局高次曲面函数系数，通过将点云中点坐标带入到各曲面函数中，可将点坐标转化为点与曲面的相对位置关系，这种关系同时隐含着局部和全局几何信息，有利于局部特征和全局特征的提取，可用于基于深度学习方法的点云特征提取和高层语义特征提取，同时可嵌入到基于点云坐标的深度学习网络中，将传统的点坐标表达转化为点面联合表达，以提高网络性能。

本发明实施例提供的基于高次项参考曲面学习的点云特征提取方法，具体包括下述步骤：

步骤1：基于点坐标计算点云每个点的高次项，其中每个点的坐标表示为(x,y,z)，即一次项，则对应的二次项为(x,y,z,xy,xz,yz,x²,y²,z²)，依此类推，三次项则包括全部的一次项、二次项和全部的三次幂项，如xyz、x³、xy²等，共19项单项式。

步骤2：设点云共N_p个点，将N_p个高次项(这里以二次项为例)输入到卷积核大小为1的一维卷积中，其中输入通道数量设置为9，即输入通道数与选定的高次项包括的单项式的数量，例如对于最高次项为M的高次项，其包括的单项式的次项从1至M。输出通道设置为N_f，同时设置一个偏置，则卷积后得到的数据尺寸为N_p×N_f。该过程中，每个点的运算可统一表示为：

X＝(x,y,z,xy,xz,yz,x²,y²,z²)^T

π＝(ω₁,ω₂,ω₃,ω₄,ω₅,ω₆,ω₇,ω₈,ω₉)^T

f(x,y,z)＝π^T·X+c

其中，X表示每个点的高次项表示，ω₁～ω₉表示当前的高次项的包括的各单项式的系数，f(x,y,z)表示三维参考曲面函数，输出通道为N_f，这等效于同时学习了N_f个高次全局参考曲面，上标“T”表示转置。

由于二次项的空间三维曲面可用函数表示为f(x,y,z)＝π^T·X+c＝0，因此当点云中某点在曲面上，则对应的函数值为零。若函数值不为零，则该函数值与点到曲面的距离是相关的。因此这种表达方法建立了三维点与全局高次参考曲面的相对位置关系。

步骤3：通过第一卷积神经网络同时对多个三维参考曲面函数进行单次项系数和偏置项的学习训练，即将每个点的高次项表示X输入到第一卷积神经网络，以获取点云数据的初始表达(初始的点面联合表达)。

其中，第一卷积神经网络的输入为每个点的高次项表示X，第一卷积神经网络的输入通道数为M，输出通道数表示同时学习的三维参考曲面函数的数量，且输出通道数不低于M。

作为一种可能的实现方式，所述第一卷积神经网络包括：一个归一化层(BatchNormalization,BN)和一个修正线性单元(Rectified Linear Unit,ReLU)，将基于第一卷积神经网络输出的特征图(初始的点面联合表达)表示为R_init.。其中BN层目的是为了深度学习任务易于收敛，ReLU层的目的是拟合空间立体二次曲面的边缘。

上述的一维卷积参数在网络训练过程中自动调优学习，模型训练完成后保存在模型参数内部。对于测试数据，学习到的全局参数是固定不变的，因此会限制三维表达能力，为此提出了一种自适应贡献加权法，即通过第二卷积神经网络学习点云数据的每个点的权重，其中，第二卷积神经网络的输入为第一卷积神经网络的输出特征图，第二卷积神经网络的输出通道数与第一卷积神经网络的输出通道数相同。

作为一种可能的实现方式，该自适应贡献加权的具体步骤如下：

(1)将初始点面联合表达作为输入，通过一个一维卷积，卷积核尺寸为1，输出数据的维度保持不变。此时是根据每个点的特征进一步学习该点的特征，因此通过该卷积后，各点的差异性会因此凸显出来，这也加强了点云的局部特性。

(2)将上述输出再相继输入到一个BN层、一个ReLU结构和一个sofmax层，该sofmax层用于输出0～1范围内的浮点型数据，且此时的数据维度同样保持不变，表示为W。

(3)将步骤(2)输出的softmax结果作为权重，对初始的点面联合表达进行加权，由于权重与初始的点面联合表达具有相同的尺寸，因此该加权只需要W和输入R_init.的对应元素相乘即可，得到最终的点面联合表达，表示为R，从而得到每个点云的特征提取结果。对于每个点，此时的运算可表示为：

f′(x,y,z)＝w(π^T·X+c)＝wπ^T·X+wc

其中，w是W中的一个元素。可以看出，此时的运算相当于对初始学习到的二次曲面函数系数进行加权，因此等效于实现了将静态参考曲面变为动态参考曲面的过程。由于上述步骤(2)得到的权重是根据每个点的自身特性学习得到的，因此该权重有利于该点根据自身特性，调整原始的全局参考曲面系数，以提高点云局部差异的适应性。

图1给出了上述点面联合三维表达的基本流程，输入为N_p×3的点云，输出为N_p×N_f转化后的基于高次曲面的点面联合表达。本发明实施例提出的基于高次项参考曲面学习的点云特征提取方法的处理过程同样适用于二维卷积或高维卷积，例如当点云中每个点存在K个邻域点时，原始的数据形式为N_p×K×3，此时该表达方法需要对应的调整为二维卷积，输入输出通道设置原理与一维卷积相同。二次项或高次项同样根据点坐标求取，输出新的表达数据尺寸为N_p×K×N_f。

对于传统的基于点云欧氏坐标的深度学习网络，可以直接利用本发明实施例提出的基于高次项参考曲面学习的点云特征提取方法将点云坐标转化为点云与全局参考曲面的相对位置关系，这种关系同时隐含了局部和全局信息。例如当局部点云带入到曲面函数中，如果函数值均为零，则表示该三维表面在这些局部点云附近是实际三维物体的一个组成部分，因此这种表达方法隐含了局部信息。又如，如果函数值不等于零，则函数值与点到曲面的距离相关，由于参考曲面是全局的，因此这种表达方式也可以表征点相对于全局三维曲面的信息，即全局特征。利用该表达的这一特性，可以有效聚合三维点云数据的局部和全局信息，进而有利于三维物体的语义特征提取。具体地，通过上述的新表达转化，作为神经网络的输入，可用于后续的点云分类或分割等语义特征提取任务。如图2所示是该表达方法的一个应用基本流程，其中深度学习网络可根据不同的点云视觉任务进行设计或选择已有网络。例如，对于分类任务，所采用的分类神经网络可以包括池化处理层和全连接层，其中，池化处理层用于对输入的特征图分别进行平均池化和最大池化处理，再将处理结果展平为一维向量后输入全连接层；其中，平均池化层和最大池化层的输出通道数均为N_f；所述全连接层用于预测全连接层的输入特征图分别属于各目标类别的概率，基于全连接层输出的最大概率所对应的类别确定当前待分类的点云数据的类别识别结果。而对于语义分割任务，所采用的分割神经网络可以包括基于多层感知机的编解码结构，其中，(编解码结构)的编码结构输入不同分辨率的点云，然后依次通过本发明所提出的点云特征提取方法、多层感知机和最大池化层；解码结构输入为最大池化层输出结果，然后依次通过上采样、多层感知机层、softmax层，softmax输出为每个点不同语义类别的概率，其中最大概率为该点的语义分割结果。

以二次项为例，其二次曲面函数可以表示为f(x,y,z)＝π^T·X+c，每个曲面函数系数共包括9个权重和1个常数项。假设共N_f个二次全局参考曲面，则所有曲面系数可表示为A_Nf×10的矩阵，新的点面联合表达可表示为

其中

为二次项的齐次表示。由于二次项共9项，此时将这些二次项视作未知数，若给定R和

且矩阵

的秩大于等于9时，根据线性方程解的唯一性，可以唯一确定9个二次项。由于全局参考曲面系数一般是线性不相关的，因此当曲面函数个数N_f≥9时，可以通过点面联合表达反推唯一确定点的原始坐标，因此，N_f≥9是该表达方法不造成信息损失的充分条件。

基于图1的基本流程，本发明实施例以点云分类为例介绍该表达方法的应用过程，并以公开数据集ModelNet40为例进行了分类性能分析。图3基于该表达方法给出了一个简单的点云分类网络结构，以验证高次项的有效性并展示该表达方法的应用过程。图3中的点面联合表达模块分别对比了一次项、二次项和三次项的分类精度，结果如图4所示。可见基于二次项的分类精度最高，明显高于一次项结果。传统的基于点云坐标(x,y,z)的方法均可归纳为一次项方法，该实验说明，基于高次项参考曲面学习的方法相比传统方法具有明显优势，特征表达能力更强。

为了更加直观的分析，图5给出了学习到的二次曲面形状的可视化结果，该可视化结果通过学习的二次曲面系数采样重建得到。可见学习到的形状各异、且由于采用的是二次项，因此学习到的三维曲面均为对称形状。对应不同的训练任务和不同的数据集，学习到的高次全局曲面是不同的，这些形状根据各自任务的学习自动调优。

图6给出了所提取特征的可视化结果。以三个全局参考曲面为例，将点云的三个颜色通道R、G、B分别设置为点云相对于三个曲面函数的函数值。通过该方法可以利用一个带颜色的点云同时对三个参考曲面的贡献进行可视化。假设三个曲面函数分别表示为f₁(x,y,z)、f₂(x,y,z)、f₃(x,y,z)，为了对其进行可视化，则点云P的颜色设置为：

其中，

表示归一化后的函数值。图中可见B区域颜色是连续变化的，这主要是因为曲面函数是连续函数。A区域如瓶子底和椅子腿等特征明显的区域，出现了明显的边界，这主要得益于该方法中采用了ReLU激活函数来代替函数或三维形状的边缘。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (7)

1.一种基于高次项参考曲面学习的点云特征提取方法，其特征在于，包括下列步骤：

步骤S1：配置点云数据的三维参考曲面函数：

确定所述三维参考曲面函数对应的高次项的最高次项M，基于所述高次项包括的所有单次项的表达式得到点云数据的每个点的高次项表示X；

为特征向量X中的每个单次项设置一个单次项系数，并按列构成编号向量π；

生成三维参考曲面函数的映射关系f(x,y,z)＝π^T·X+c，其中，(x,y,z)表示点云数据的每个点的坐标，c表示偏置项；

步骤S2：通过第一卷积神经网络同时对多个三维参考曲面函数进行单次项系数和偏置项的学习训练，其中，第一卷积神经网络的输入为每个点的高次项表示X，第一卷积神经网络的输入通道数为M，第一卷积神经网络的输出通道数N_f用于表征同时学习的三维参考曲面函数的数量，且输出通道数N_f不低于M；

步骤S3：通过第二卷积神经网络学习点云数据的每个点的权重，其中，第二卷积神经网络的输入为第一卷积神经网络的输出特征图，第二卷积神经网络的输出通道数为N_f；

步骤S4：基于第二卷积神经网络所获取的每个点的权重，对第一卷积神经网络输出的特征图进行加权，得到点云数据的特征信息。

2.如权利要求1所述的方法，其特征在于，还包括步骤S5：对得到的点云数据的特征信息进行图形化的可视化输出。

3.如权利要求1或2所述的方法，其特征在于，步骤S2中，所述第一卷积神经网络包括依次连接的归一化层和修正线性单元ReLU层，其中，ReLU层用于拟合空间立体曲面的边缘。

4.如权利要求1或2所述的方法，其特征在于，步骤S2中，所述第二卷积神经网络包括依次连接的归一化层、修正线性单元ReLU层和sofmax层，所述sofmax层的输出为0～1范围内的浮点型数据，用于表征点云数据的每个点的权重。

5.一种基于高次项参考曲面学习的点云数据的物体分类方法，其特征在于，包括下列步骤：

基于权利要求1至4任一项所述的方法获取待分类的点云数据的特征信息，并输入至用于三维物体分类的分类神经网络，所述分类神经网络用于输出点云数据分别属于各目标类别的概率，并基于最大概率所对应的类别确定当前待分类的点云数据的类别识别结果。

6.如权利要求5所述的方法，其特征在于，所述分类神经网络包括池化处理层和全连接层，其中，池化处理层用于对输入的特征图分别进行平均池化和最大池化处理，再将处理结果展平为一维向量后输入全连接层；其中，平均池化层和最大池化层的输出通道数均为N_f；所述全连接层用于预测全连接层的输入特征图分别属于各目标类别的概率，基于全连接层输出的最大概率所对应的类别确定当前待分类的点云数据的类别识别结果。

7.一种基于高次项参考曲面学习的点云数据的语义分割方法，其特征在于，包括下列步骤：

基于权利要求1至4任一项所述的方法获取待分类的点云数据的特征信息，并输入至用于三维物体语义分割的分割神经网络，所述分割神经网络用于输出点云数据的每个点的属于各语义目标类别的概率，基于最大概率确定各点的语义分割类别，得到三维物体的语义分割结果。

Images