CN113592013B - 一种基于图注意力网络的三维点云分类方法 - Google Patents

Abstract

本发明公开了一种基于图注意力网络的三维点云分类方法，利用构建的图神经网络，完成对原始点云输入数据的点云分类；所述图神经网络包括特征提取层、两组交替分布的图注意力层和池化层、激活函数层、读出层、全连接层和输出层。采用图注意力机制，同时考虑点和边的属性，结合使用图的池化操作，将图逐步变小，构建图神经网络来对三维点云分类，从而可以有效的提高三维点云分类的准确率。采用本发明的方法对ModelNet40数据集(包含40个类别的CAD模型)进行分类处理，经测试，在该数据集上分类正确率为91.5％。

Description

一种基于图注意力网络的三维点云分类方法

技术领域

本发明涉及一种三维点云分类方法，特别是一种基于图注意力网络的三维点云分类方法。

背景技术

点云的分类是点云分析的常见任务之一。与图像这种规整的结构不同，点云中点的邻接点个数和位置是不确定的，无法使用普通的卷积，因为点之间有邻接关系，使用图神经网络比较合适。但是，因为点云中的点有坐标，除了考虑点的属性，还要考虑边的属性，即点之间的距离；采用普通图神经网络进行点云分类时，其准确率较低。因此，现有的技术存在着准确率较低的问题。

发明内容

本发明的目的在于，提供一种基于图注意力网络的三维点云分类方法。本发明具有能够有效提高准确率的特点。

本发明的技术方案：一种基于图注意力网络的三维点云分类方法，利用构建的图神经网络，完成对原始点云输入数据的点云分类；所述图神经网络包括特征提取层、两组交替分布的图注意力层和池化层、激活函数层、读出层、全连接层和输出层。

前述的一种基于图注意力网络的三维点云分类方法中，利用图神经网络完成点云分类的具体过程为：先通过2个图注意层和2个池化层从特征提取层提取相应点的特征；然后通过激活函数层对剩余点的特征求平均值，计算得到一个向量；读出层读取该向量并通过全连接层将该向量转变为另一向量，输出至输出层，输出层的输出值大小即为类别数。

前述的一种基于图注意力网络的三维点云分类方法中，特征提取层中包括点云的坐标矩阵C，维度是n×3，n为点的个数，第二个维度是点的三维坐标；

还包括矩阵X⁰，维度为n×f₀；f₀＝1、3或4，分别表示点的灰度值、RGB值或RGBA值；

还包括表征点云边的属性的矩阵E。

前述的一种基于图注意力网络的三维点云分类方法中，所述矩阵E：E＝(e_ij)，

e_ij的计算过程为：

由矩阵C得到距离矩阵D，D＝(d_ij)；

D＝norm(C[newaxis,:,:]-C[:,newaxis,:],axis＝-1)；

引入一个虚拟节点，该虚拟节点与点云中所有点均相连，到点云中所有点的距离均为0，虚拟节点的输入特征也置为0；设截断为cutoff，记

前述的一种基于图注意力网络的三维点云分类方法中，图注意力层的具体提取计算过程：

首先，用一个权重矩阵W变换输入特征，得到变换后的输入特征h；

h＝Wx^l；其中，x^l为第l层特征，W为权重矩阵；

接着，将点i的特征h_i、点j的特征h_j和边的特征e_ij拼在一起，计算得到第i个点的注意力α_ij，具体如下，

α_ij＝softmax_j{LeakyReLU(a^T[h_i||h_j||e_ij])}；

最终，将邻接点特征的聚合和点i本身特征进行组合得到点i的第l+1层特征，具体组合公式如下所示，

其中，c为一个可学习的变量；σ为激活函数，取atanh。

前述的一种基于图注意力网络的三维点云分类方法中，池化层的具体过程：

通过以下公式计算每个点的重要性

β_i＝b^T[h_i||h_n]；

其中，h_i为第i个点的特征，h_n为虚拟点的特征，b为参数；i从0～n-1中取值；

然后，将这n个点按重要性从大到小排序，取前k个点和虚拟点；同时修改对应的矩阵E。

与现有技术相比，本发明利用图神经网络对三维点云进行分类，通过对图神经网络的构成进行改进，由特征提取层、两组交替分布的图注意力层和池化层、激活函数层、读出层、全连接层和输出层构成图神经网络，采用图注意力机制，同时考虑点和边的属性，结合使用图的池化操作，将图逐步变小，构建图神经网络来对三维点云分类，从而可以有效的提高三维点云分类的准确率。采用本发明的方法对ModelNet40数据集(包含40个类别的CAD模型)进行分类处理，经测试，在该数据集上分类正确率为91.5％。综上所述，本发明具有能够有效提高准确率的特点。

附图说明

图1是本发明的图神经网络结构示意图；

图2是本发明的训练误差图。

具体实施方式

下面结合实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。

实施例。一种基于图注意力网络的三维点云分类方法，构成如图1和2所示，利用构建的图神经网络，完成对原始点云输入数据的点云分类；所述图神经网络包括特征提取层、两组交替分布的图注意力层和池化层(如图1所示，包括2个图注意力层和2个池化层)、激活函数层、读出层、全连接层和输出层。

利用图神经网络完成点云分类的具体过程为：先通过2个图注意层和2个池化层从特征提取层提取相应点的特征；然后通过激活函数层对剩余点的特征求平均值，计算得到一个向量；读出层读取该向量并通过全连接层将该向量转变为另一向量，输出至输出层，输出层的输出值大小即为类别数。

特征提取层中包括点云的坐标矩阵C，维度是n×3，n为点的个数，第二个维度是点的三维坐标；

还包括矩阵X⁰，维度为n×f₀；f₀＝1、3或4，分别表示点的灰度值、RGB值或RGBA值；

还包括表征点云边的属性的矩阵E。

所述矩阵E：E＝(e_ij)，

e_ij的计算过程为：

由矩阵C得到距离矩阵D，D＝(d_ij)

D＝norm(C[newaxis,:,:]-C[:,newaxis,:],axis＝-1)

引入一个虚拟节点，该虚拟节点与点云中所有点均相连，到点云中所有点的距离均为0，虚拟节点的输入特征也置为0；设截断为cutoff，记

图注意力层的具体提取计算过程：

首先，用一个权重矩阵W变换输入特征，得到变换后的输入特征h；

h＝Wx^l；其中，x^l为第l层特征，W为权重矩阵；

接着，将点i的特征h_i、点j的特征h_j和边的特征e_ij拼在一起，计算得到第i个点的注意力α_ij，具体如下，

α_ij＝softmax_j{LeakyReLU(a^T[h_i||h_j||e_ij])}；T为转置。

最终，将邻接点特征的聚合和点i本身特征进行组合得到点i的第l+1层特征，具体组合公式如下所示，

其中c为一个可学习的变量，该值由神经网络训练得来，σ为激活函数，取atanh。

池化层的具体过程：

通过以下公式计算每个点的重要性

β_i＝b^T[h_i||h_n]；

其中，h_i为第i个点的特征，h_n为虚拟点的特征，b为参数；i的取值为0～n-1。

然后，将这n个点按重要性从大到小排序，取前k个点和虚拟点；同时修改对应的矩阵E(即将未取到的点对应的行和列删掉)。

Claims (1)

1.一种基于图注意力网络的三维点云分类方法，其特征在于：利用构建的图神经网络，完成对原始点云输入数据的点云分类；所述图神经网络包括特征提取层、两组交替分布的图注意力层和池化层、激活函数层、读出层、全连接层和输出层；

利用图神经网络完成点云分类的具体过程为：先通过2个图注意层和2个池化层从特征提取层提取相应点的特征；然后通过激活函数层对剩余点的特征求平均值，计算得到一个向量；读出层读取该向量并通过全连接层将该向量转变为另一向量，输出至输出层，输出层的输出值大小即为类别数；

特征提取层中包括点云的坐标矩阵C，维度是n×3，n为点的个数，第二个维度是点的三维坐标；

还包括矩阵X⁰，维度为n×f₀；f₀＝1、3或4，分别表示点的灰度值、RGB值或RGBA值；

还包括表征点云边的属性的矩阵E；

所述矩阵E：E＝(e_ij)，

e_ij的计算过程为：

由矩阵C得到距离矩阵D，D＝(d_ij)；

D＝norm(C[newaxis,:,:]-C[:,newaxis,:],axis＝-1)；

引入一个虚拟节点，该虚拟节点与点云中所有点均相连，到点云中所有点的距离均为0，虚拟节点的输入特征也置为0；设截断为cutoff，记

图注意力层的具体提取计算过程：

首先，用一个权重矩阵W变换输入特征，得到变换后的输入特征h；

h＝Wx^l；其中，x^l为第l层特征，W为权重矩阵；

接着，将点i的特征h_i、点j的特征h_j和边的特征e_ij拼在一起，计算得到第i个点的注意力α_ij，具体如下，

α_ij＝softmax_j{LeakyReLU(a^T[h_i||h_j||e_ij])}；

最终，将邻接点特征的聚合和点i本身特征进行组合得到点i的第l+1层特征，具体组合公式如下所示，

其中，c为一个可学习的变量；σ为激活函数，取atanh；

池化层的具体过程：

通过以下公式计算每个点的重要性

β_i＝b^T[h_i||h_n]；

其中，h_i为第i个点的特征，h_n为虚拟点的特征，b为参数；i从0～n-1中取值；

然后，将这n个点按重要性从大到小排序，取前k个点和虚拟点；

同时修改对应的矩阵E。