CN115170859A - 一种基于空间几何感知卷积神经网络的点云形状分析方法 - Google Patents

Abstract

本发明涉及3D视觉领域，具体涉及一种基于空间几何感知卷积神经网络的点云形状分析方法。根据K近邻算法将点云构建为图结构数据，并在每个邻域内根据特征自适应地生成具有不同几何形状的域自适应卷积核。随后，以邻域节点的单位方向向量，仰角和方位角作为先验的几何信息，并与生成的卷积核执行卷积运算实现空间几何感知的卷积操作。随后，设计了图注意力池化对点云进行粗化，实现多尺度分析并降低计算代价。最后，以空间几何感知卷积与图注意力池化为基本单元构建了两个网络分别实现了点云分类与部件分割任务。本发明能够有效地对目标点云进行分类与部件分割，并且保证了对点云平移与放缩变换的不变性，使得模型具有更强的鲁棒性。

Description

一种基于空间几何感知卷积神经网络的点云形状分析方法

技术领域

本发明涉及3D视觉领域，具体涉及一种基于空间几何感知卷积神经网络的点云形状分析方法。

背景技术

3D视觉以经成为了一个热门的话题，并广泛应用于许多新兴的技术中，如自动驾驶，虚拟现实，定位导航等。3D数据作为3D视觉研究的基础通常以下几种形式：多视角图像、体素、网格、以及点云。多视角图像将3D对象表示为从多个视角拍摄的2D图像，便于处理与分析，但是其缺乏空间几何信息无法准确描述3D对象的本质属性。体素可以看作构成3D目标的基本单元，但是它往往受限与分辨率的大小，同时也伴随着高昂的计算代价。网格数据常被用于可视化3D形状，但其数据本身无法从3D扫描设备中直接获取，需要进一步的抽象表示。相反地，点云是由3D物体表面的一系列点构成的集合，其描述的是3D物体的几何信息以及空间位置的分布，并且可以由3D扫描设备直接获取。因此，点云数据引起了越来越多的研究兴趣。

因点云形状分析的重要科学意义与广泛应用价值，目前已有大量方法被提出，包括投影的方法，基于逐点MLP的方法，基于卷积的方法以及基于图的方法。其中，基于投影的方法通常将点云转换成多视角图像或者体素栅格这类规则化的数据，并使用标准的2D 卷积和3D卷积神经网络进行处理与分析。然而由于数据转化往往伴随着3D结构的破坏导致信息的丢失，在后续的研究中通常采用更直接的方式对点云进行特征提取。基于逐点 MLP的方法采用多感知器与对称函数复合的形式提取点云特征，以解决点云的置换不变性。基于卷积的方法则是根据点云的性质尝试将标准的2D卷积推广至点云。基于图的方法方法通常将点云构建为图结构数据，并在空间域中定义图上的卷积与池化操作，从而实现对点云的特征提取。然而上述方法通常对点云平移变换不变性与尺度放缩不变性的考虑有所欠缺，即模型容易受到平移与放缩干扰的影响。

发明内容

为解决现有技术的不足，本发明的的发明目的在于设计一个空间几何感知的卷积算子，其能够保证模型对平移与放缩变换是不变的，从而使得模型具有更强的鲁棒性。

本发明的另一个目的在于提供一个统一的框架实现点云的分类与部件分割任务。

为了达到上述目的，本发明提供了如下技术方案：

本发明一种基于空间几何感知图卷积神经网络的点云形状分析方法，该方法包括如下步骤：步骤S1：通过初始几何特征描述模块提取具有平移和尺度不变性的初始几何特征，通过K近邻算法找出点云中每个点p_i对应的2个近邻点p_i1,p_i2，从而在点云上构建一系列的三角面片；通过构建的三角面片计算p_i的最近邻单位边向量与法向量，并以此作为初始几何特征用于后续步骤的输入；

步骤S2：根据点云不同邻域内的特征信息，通过一个共享的映射函数g^(m)(·)自适应地生成具有不同几何形状的域自适应核；

步骤S3：在点云邻域中设计空间感知卷积算子，其计算每个邻域节点p_ij对应的单位方向向量e_ij、仰角θ_ij ^e、方位角θ_ij ^a，并作为先验的几何信息参与卷积运算；

步骤S4：采用随机采样与图注意力机制，设计点云上的图注意力池化操作，从而粗化点云并聚合邻域特征；

步骤S5：堆叠多个空间几何感知卷积层与图注意力池化层，以此构建网络的特征提取分支；

步骤S6：针对点云形状分类任务，对特征提取分支获取的特征进行全局最大池化操作，获取点云的整体形状描述符，并输入全连接网络实现目标的分类；

步骤S7：针对点云部件分割任务，设计与图注意力池化相应的反池化操作将提取到的特征逐步解码至原尺寸，然后通过全连接网络对每个点进行分类从而实现目标不同区域的分割。

其中步骤S1具体包括：根据K近邻算法查询点云上每个点p_i对应的两个近邻点p_i1，p_i2，并在点云上构建一系列的三角面片，随后在每个三角面片上定义p_i的近邻边向量与法向量：

“×”，||·||分别表示向量的叉积与向量的模长，然后将这些信息作为点云的初始几何特征

作为后续步骤的输入；

步骤S2具体包括：对于任意一点p_i通过3D空间中的K近邻算法确定其在点云上的邻域

S为邻域节点的个数，从而将点云构建为图G(V，E)， V，E分别表示顶点集合与边集合，随后在每个邻域内通过邻域的特征 F(p_i，S)＝[f_i1，f_i2，...，f_iS}∪{f_i}与一个共享的映射函数g^(m)(·)自适应地根据邻域的几何形状生成与之相匹配的卷积核：

此处Δf_ij＝f_ij-f_i为节点f_ij的边缘特征，k_ij ^(m)为第m个卷积核K_i ^(m)内的核点；

步骤S3包括：先验几何信息的定义，即对于邻域

中的任意节点p_ij，计算其在局部坐标系下的单位方向向量e_ij，仰角θ_ij ^e，和方位角θ_ij ^a：

此处Δx_ij，Δy_ij点p_ij在X轴和Y轴上的相对坐标，随后将这些几何信息作为输入与生成的域自适应核进行卷积运算：

步骤S4包括：随机采样粗化点云，随后对于任意的点p_i∈P_down及其对应的邻域

采用图注意力模型计算不同节点的注意力系数：

其中，ω_i0为一个可学习权重，φ，ψ为两个线性映射，最后根据注意力系数反映的重要程度聚合节点特征

步骤S5包括：根据提出的相关技术设计一个点云的特征提取分支，主要包含一个初始几何描述模块，以及堆叠的五个空间几何感知卷积层，并在第二，第四层卷积后插入了一个图注意力池化层，最终将点云编码为一系列高维特征；

针对点云形状分类任务，步骤S6包括：通过全局最大池化操作将编码得到的高维特征聚合成一个高维向量并作为点云的整体形状描述符，并将其输入到全连接神经网络中预测目标的类别；

针对点云部件分割任务，其特征在于，根据所述步骤S7包括：通过与图注意力池化相对应的反池化操作将点云逐步恢复至原始尺寸，其首先通过最近邻插值对高维特征进行插值，随后与上一阶段的编码特征一同输入到一个注意力块中，并对编码特征进行关注：

其中Γ₁，Γ₂是两个以ReLU为激活函数的特征映射，Γ₃是以Sigmoid为激活函数的特征映射，随后将关注后的特征与插值特征进行拼接，并输入到多层感知器MLP中实现反池化操作

通过2次带有注意力机制的反池化操作将编码分支获取的高维特征逐步解码并恢复点云的原始尺寸，以此获取点云上每个点的特征表示，最后同样通过全连接神经网络对每个点进行逐点的分类以实现目标点云的部件分割。

附图说明

图1为本发明初始几何描述模块示意图。

图2为本发明邻域先验几何信息定义以及域自适应核示意图。

图3为本发明空间几何感知卷积的流程示意图。

图4为图注意力池化操作示意图。

图5为点云分类与点云部件分割网络结构图。

图6为注意力块与反池化操作流程图。

具体实施方式

下面参照附图描述根据本发明实施例提供的基于空间几何感知图神经网络的点云形状分析方法，首先将参照附图描述根据本发明设计例提供的初始特征描述模块，域自适应卷积核，空间几何感知卷积，以及图注意力池化，最后，采用这些组件为基本单元，并在统一的框架下设计了两个网络以实现点云形状分类任务与部件分割任务。参照图1-6所示，该方法包括以下步骤：

S1初始几何特征描述模块：输入点云P＝{p₁，p₂，...，p_N}，并以任意一点p_i为中心通过K近邻算法搜索距离p_i最近的点p_i1，p_i2。如图1所示，p_i，p_i1，p_i2这三个点构成了一个三角面片，并显式地提取点云的初始几何特征如下：

具体地，

其中“×”表示向量叉积，||·||表示向量的模。通过这个简明公式的简单过程，可以提取点云的初始几何特征并用于后续过程。

S2域自适应卷积核的构建：对于给定的输入点云或中间过程点云P，其对应的特征为 F(在输入层，F为初始几何特征描述模块提取到的初始几何特征)。使用带有自环的K 近邻(KNN)算法来确定每个点的邻域，表示为

其中S 反映邻域的大小。令F(p_i，S)＝{f_i1，f_i2，...，f_iS}∪{f_i}为邻域上每个点对应的特征。随后将中心点特征f_i与边缘特征Δf_ij＝f_ij-f_i，j＝1，2，...，S输入到一个共享的映射函数g(·)中，从而构建一系列域自适应卷积核

即

其中m为D个卷积核的索引序号，k_ij ^(m)为卷积核的权重，“||”表示向量的拼接操作。

S3空间几何感知卷积算子：如图2所示，对于点云上的每个邻域

以每个邻域点对应的单位方向向量e_ij，仰角θ_ij ^e，以及方位角θ_ij ^a作为几何先验信息：

其中Δx_ij，Δy_ij表示点p_ij与点p_i在X轴与Y轴上的坐标差。随后，将这些几何先验信息作为输入并与步骤2生成的域自适应卷积核执行卷积运算，即

其中<·，·>表示向量的点积运算。图3阐明了空间几何感知卷积运算的详细过程。

S4图注意力池化操作：卷积层之后通常是池化操作，这在标准CNN中扮演着重要的角色。在提出的网络架构中，本发明同样设计了点云上的池化操作以实现点云的粗化。如图4所示，首先通过随机采样在原点云上采样得到一个点云子集

ρ为采样率。随后，对于点云子集上的任意一点p_i与其对应的邻域

采用图注意机制计算每个节点的注意力系数：

其中ω_i0是一个可学习的权重，φ，ψ是两个独立的线性映射函数。这些学习到的注意力权重可以被视为一组软掩码，自适应地选择重要的响应特征。最后通过注意力系数聚合叶节点的特征实现点云上由细到粗的图池化，即：

S5-S7点云分类与分割网络：以步骤S1-S4中提出的初始几何特征描述模块，域自适应卷积核，空间几何感知卷积以及图注意力池化操作为基本单元，针对点云的分类与分割任务构建网络如图5所示。在分类任务中，点云通过一系列的卷积与池化操作被表示为一个高维向量，并通过全连接网络实现点云的分类。在分割网络的特征提取阶段采用与分类网络相同的架构，不同的是分割任务需要对点云上每个点进行分类，因此为了获取每个点的特征，本发明设计额外设计了反池化操作，从而实现点云由粗到细的细化并恢复点云的尺寸，具体如图6所示。

以上所述仅为本发明的具体实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于空间几何感知图卷积神经网络的点云形状分析方法，其特征在于，该方法包括如下步骤：

步骤S1：通过初始几何特征描述模块提取具有平移和尺度不变性的初始几何特征，通过K近邻算法找出点云中每个点p_i对应的2个近邻点p_i1,p_i2，从而在点云上构建一系列的三角面片；通过构建的三角面片计算p_i的最近邻单位边向量与法向量，并以此作为初始几何特征用于后续步骤的输入；

步骤S2：根据点云不同邻域内的特征信息，通过一个共享的映射函数g^(m)(·)自适应地生成具有不同几何形状的域自适应核；

步骤S3：在点云邻域中设计空间感知卷积算子，其计算每个邻域节点p_ij对应的单位方向向量e_ij、仰角θ_ij ^e、方位角θ_ij ^a，并作为先验的几何信息参与卷积运算；

步骤S4：采用随机采样与图注意力机制，设计点云上的图注意力池化操作，从而粗化点云并聚合邻域特征；

步骤S5：堆叠多个空间几何感知卷积层与图注意力池化层，以此构建网络的特征提取分支；

步骤S6：针对点云形状分类任务，对特征提取分支获取的特征进行全局最大池化操作，获取点云的整体形状描述符，并输入全连接网络实现目标的分类；

步骤S7：针对点云部件分割任务，设计与图注意力池化相应的反池化操作将提取到的特征逐步解码至原尺寸，然后通过全连接网络对每个点进行分类从而实现目标不同区域的分割。

2.根据权利要求1所述一种基于空间几何感知图卷积神经网络的点云形状分析方法，其特征在于，所述步骤S1包括：根据K近邻算法查询点云上每个点p_i对应的两个近邻点p_i1，p_i2，并在点云上构建一系列的三角面片，随后在每个三角面片上定义p_i的近邻边向量与法向量：

“×”，||·||分别表示向量的叉积与向量的模长，然后将这些信息作为点云的初始几何特征

作为后续步骤的输入。

3.根据权利要求1所述的一种基于空间几何感知图卷积神经网络的点云形状分析方法，其特征在于，所述步骤S2包括：对于任意一点p_i通过3D空间中的K近邻算法确定其在点云上的邻域

S为邻域节点的个数，从而将点云构建为图G(V，E)，V，E分别表示顶点集合与边集合，随后在每个邻域内通过邻域的特征F(p_i，S)＝{f_i1，f_i2，...，f_iS}∪{f_i}与一个共享的映射函数g^(m)(·)自适应地根据邻域的几何形状生成与之相匹配的卷积核：

此处Δf_ij＝f_ij-f_i为节点f_ij的边缘特征，k_ij ^(m)为第m个卷积核K_i ^(m)内的核点。

4.根据权利要求1所述的一种基于空间几何感知图卷积神经网络的点云形状分析方法，其特征在于，所述步骤S3包括：先验几何信息的定义，对于邻域

中的任意节点p_ij，计算其在局部坐标系下的单位方向向量e_ij，仰角θ_ij ^e，和方位角θ_ij ^a：

此处Δx_ij，Δy_ij点p_ij在X轴和Y轴上的相对坐标，随后将这些几何信息作为输入与生成的域自适应核进行卷积运算：

5.根据权利要求1所述的一种基于空间几何感知图卷积神经网络的点云形状分析方法，其特征在于，所述步骤S4包括：随机采样粗化点云，随后对于任意的点p_i∈P_down及其对应的邻域

采用图注意力模型计算不同节点的注意力系数：

其中，ω_i0为一个可学习权重，φ，ψ为两个线性映射，最后根据注意力系数反映的重要程度聚合节点特征

6.根据权利要求1所述的一种基于空间几何感知图卷积神经网络的点云形状分析方法，其特征在于，所述步骤S5包括：一个初始几何描述模块，以及堆叠的五个空间几何感知卷积层，并在第二，第四层卷积后插入了一个图注意力池化层，最终将点云编码为一系列高维特征。

7.根据权利要求1所述的一种基于空间几何感知图卷积神经网络的点云形状分析方法，其特征在于，所述步骤S6包括：通过全局最大池化操作将编码得到的高维特征聚合成一个高维向量并作为点云的整体形状描述符，并将其输入到全连接神经网络中预测目标的类别。

8.根据权利要求1所述一种基于空间几何感知图卷积神经网络的点云形状分析方法，其特征在于，所述步骤S7包括：通过与图注意力池化相对应的反池化操作将点云逐步恢复至原始尺寸，其首先通过最近邻插值对高维特征进行插值，随后与上一阶段的编码特征一同输入到一个注意力块中，并对编码特征进行关注：

其中Γ₁，Γ₂是两个以ReLU为激活函数的特征映射，Γ₃是以Sigmoid为激活函数的特征映射，随后将关注后的特征与插值特征进行拼接，并输入到多层感知器MLP中实现反池化操作

通过2次带有注意力机制的反池化操作将编码分支获取的高维特征逐步解码并恢复点云的原始尺寸，以此获取点云上每个点的特征表示，最后同样通过全连接神经网络对每个点进行逐点的分类以实现目标点云的部件分割。

Images