CN113936176B

CN113936176B - 一种基于图卷积和形状描述子的三维点云分类方法

Info

Publication number: CN113936176B
Application number: CN202111202916.1A
Authority: CN
Inventors: 苑庆贤; 刘睿; 王明磊
Original assignee: Harbin University of Science and Technology
Current assignee: Harbin University of Science and Technology
Priority date: 2021-10-15
Filing date: 2021-10-15
Publication date: 2024-06-07
Anticipated expiration: 2041-10-15
Also published as: CN113936176A

Abstract

本发明提出了一种基于图卷积和形状描述子的三维点云分类方法，将形状描述子加入到图卷积神经网络中。该方法首先按照图卷积的一般流程将点云中点与点之间的关系用邻接矩阵表示出来，然后利用形状描述子描绘点的邻域空间的特征，作为三维点云的局部特征加入到图卷积中去，在一定程度上弥补了谱域图卷积对于局部特征处理的不足。然后将原本的特征与形状描述子结合到一起，使用图卷积神经网络进行聚合，最终得到最后的分类结果。本发明将形状描述子与图卷积结合到一起，使得图卷积操作能够有效聚合局部特征，从而获得更加全面的信息表示，能够更好的提高三维点云的分类结果。

Description

一种基于图卷积和形状描述子的三维点云分类方法

技术领域：

本发明涉及一种基于图卷积和三维形状描述子的分类方法，该方法在点云处理领域或者三维模型处理领域中有着很好的应用。

背景技术：

目前，随着深度学习的不断发展，用来处理欧氏空间数据的传统卷积神经网络在某些领域陷入了瓶颈，而用来处理非欧氏空间数据的图卷积神经网络开始逐渐兴起，并且有着良好的发展势头，在各大领域比如交通预测、自然语言处理、计算机视觉等领域都有着十分广泛的应用。过去，针对点云的无序性和旋转性，往往使用PointNet系列神经网络来执行点云分类以及分割任务，而使用图卷积神经网络也可以很好规避掉由于点云无序性和旋转性所带来的问题来执行点云分类，但是与PointNet系列神经网络相比，图卷积神经网络本质上是在不断地聚合节点信息来获得最终的全局特征，这导致图卷积神经网络在一定程度上忽略了局部特征的提取，因此单纯的使用图卷积来对点云进行分类任务的方法还存在着提升空间。

发明内容：

为了更好的对三维点云执行分类任务，本发明公开了一种基于图卷积神经网络和形状描述子的三维点云分类方法。

为此，本发明提供了如下技术方案：

1.基于图卷积神经网络和形状描述子的三维点云分类方法，其特征在于，该方法包括以下步骤：

步骤1：读取点云格式的三维模型数据，并对读取后的点云数据进行采样。

步骤2：对采样后的点云数据，对每个目标点使用KNN算法获得邻接关系，从而构建图卷积操作所需要的邻接矩阵，进而计算得出拉普拉斯算子。

步骤3：在进行步骤2的同时，可以获得目标点与邻居点构成的局部区域，在每个局部区域中，计算出该区域的质心点坐标。

步骤4：在每个目标点的局部区域中，计算这个区域的形状描述子，形状描述子包括D1、D2、D3、A3，其中，D1是指区域中的点与区域质心的欧式距离，D2是指区域中的任意两点之间的欧氏距离，D3是指区域中的任意三点所构成的三角形的面积，A3是指三角形中某一角的角度；并在计算出的数据中各选取一个合适的数据，作为除了目标点坐标信息之外的局部特征信息以待补充；依次对每个目标点做如上的计算。

步骤5：对步骤4获得的形状描述子，将其拼接到对应的点的坐标信息之后，形成新的数据表示，然后将其投入到设计好的图卷积神经网络中去，最终得到分类的结果。

2.根据权利要求1所述的基于图卷积神经网络和形状描述子的三维点云分类方法，所述步骤1中，具体步骤为：

步骤1-1程序中读入点云格式的三维模型数据。

步骤1-2设置采样点数，并按照顺序采样的方式对点云进行采样操作。

3.根据权利要求1所述的基于图卷积神经网络和形状描述子的三维点云分类方法，所述步骤2中，要获取目标点的邻居点与拉普拉斯矩阵，具体步骤为：

步骤2-1利用KNN算法选择每个目标点的最近K个邻居点。

步骤2-2计算每个邻居点和目标点之间的欧式距离。

步骤2-3将所有目标点与该目标点相关的各个邻居点之间的欧式距离计算完成后，把数据添加进邻接矩阵中。

步骤2-4根据计算出的邻接矩阵，计算图卷积所需要的拉普拉斯矩阵。

4.根据权利要求1所述的基于图卷积神经网络和形状描述子的三维点云分类方法，所述步骤3中，要获取到目标点邻域空间的质心，具体步骤为：

步骤3-1利用KNN算法选择每个目标点的最近K个邻居点。

步骤3-2获取这K个邻居点的坐标，来计算质心点的坐标。

5.根据权利要求1所述的基于图卷积神经网络和形状描述子的三维点云分类方法，所述步骤4中，要计算每个目标点邻域空间的形状描述子，具体步骤为：

步骤4-1分别计算目标点的邻居点与质心点的欧氏距离，取最大的那个数据作为D1。

步骤4-2在目标点的邻域空间中，随机选取若干个由两个点组成的点对，计算两点之间的欧氏距离，取最大的那个数据作为D2。

步骤4-3在目标点的邻域空间中，随机选取若干个由三个点组成的点集，分别两两计算两点之间的欧氏距离，并判断是否能够构成三角形，若能够构成三角形，则计算面积，若不能，则抛弃这个点集，继续一次性取三个点；所有的点集都计算完成后，取最大的那个数据作为D3。

步骤4-4在目标点的邻域空间中，随机选取若干个由三个点组成的点集，分别两两计算两点之间的欧氏距离，并判断是否能够构成三角形，若能够构成三角形，则计算对应角的角度，若不能，则抛弃这个点集，继续一次性取三个点；所有的点集都计算完成后，取最大的那个数据作为A3。

6.根据权利要求1所述的基于图卷积神经网络和形状描述子的三维点云分类方法，所述步骤5中，要使用图卷积神经网络进行分类，具体步骤为：

步骤5-1将计算后的形状描述子数据与点云原始数据拼接起来。

步骤5-2将凭借后的数据投入到图卷积神经网络中，先经过一次图卷积操作升维，然后经过一次多层感知机共享权重，再经过一次图卷积升高维度，然后再经过一次多层感知机共享权重，将两次卷积后的向量拼接后，再经过一次池化操作保留有效信息，最后通过多层感知机缩减维度，得到最后的分类结果。

有益效果：

1.本发明是一种基于图卷积的使用三维形状描述子的点云分类方法。

2.本发明使用三维形状描述子作为点云的局部区域特征，比较好的规避了由于点云旋转性和无序性带来的问题。

3.本发明使用了点云的局部特征作为信息输入并交由图卷积进行处理，在一定程度上弥补了图卷积所带来的局部信息缺失的问题。

4.本发明使用公开数据集ModelNet40来进行验证，结果表明，本发明的分类效果相对于使用图卷积单纯对点云数据进行处理有所提高，且具有较高的分类准确性。

附图说明：

图1为本发明中某一个点云格式的三维模型数据采样前后的对比图。

图2为本发明中使用的形状描述子示意图。

图3为本发明中所使用的图卷积神经网络的网络结构图。

具体实施方式：

为了使本发明的实施例中的技术方案能够清除和完整的表述，以下结合实施例中的附图，对本发明进行进一步的详细说明：

本发明采用的数据集是点云格式的ModelNet40数据集；首先对点云数据进行采样处理，点云采样前后效果对比如图1所示。

步骤1读取点云数据并进行采样，具体为：

步骤1-1中读取点云数据，点云格式数据的数学形式如下所示：

Points＝{P₁，P₂，P₃...P_i...P_N-1，P_N}

其中，P_i＝(x_i，y_i，z_i)。

步骤1-2对点云数据进行采样，在此处使用的是顺序采样，采样后的点云数学形式如下所示：

Points＝{P₁，P₂，P₃...P_i...P_M-1，P_M}

其中，P_i＝(x_i，y_i，z_i)，M是点云中要保留的点的个数。

步骤2对采样后的点云数据中的每个点使用KNN算法获得邻接关系，从而构建图卷积操作所需要的邻接矩阵，进而计算得出拉普拉斯算子。

步骤2-1使用KNN算法寻找目标点的最近K个邻居点，可以得到对应目标点P_i的一个点集N_Points_P_i，该点集中的点所构成的空间就是一个邻域空间；该点集这样表示：

N_Points_P_i＝KNN(Points，P_i)，i＝1，2，3，...，N

步骤2-2计算邻居点中两点之间的欧式距离，计算方法如下所示：

步骤2-3将所有目标点与该目标点相关的各个邻居点之间的欧式距离计算完成后，把数据添加进邻接矩阵中；关于邻接矩阵A上的元素值，如此定义：

且在其中A_i，j＝A_j，i。

步骤2-4根据计算出的邻接矩阵，计算图卷积所需要的拉普拉斯矩阵；计算方法如下所示：用L表示图上的拉普拉斯矩阵，有L＝D-A，其中D是一个对角阵，D_i，i表示第i个节点的度且D_i，i＝∑_jA_i，j；归一化后的拉普拉斯矩阵定义为其中I_n∈R^n*n为单位阵。

通过再归一化，把拉普拉斯矩阵化为如下形式：

式中：

步骤3在每个局部区域中，计算出该区域的质心点坐标。

步骤3-1利用KNN算法选择每个目标点的最近K个邻居点；方法与步骤2-1相同，可与步骤2-1同时进行。

步骤3-2获取这K个邻居点的坐标，来计算质心点的坐标；质心点的计算方法如下所示：

其中，x_i，y_i，z_i分别是点p_i的坐标，且p_i∈N_Points_P_i。

步骤4要计算每个目标点邻域空间的形状描述子，形状描述子的图示说明如图2所示。

步骤4-1分别计算目标点P_i的邻居点与质心点的欧氏距离，计算方法如下所示：

其中，p_i∈N_Points_P_i，点O表示的是此邻域空间的质心点；计算出的部分结果如下面所示：

D1＝[0.061854331860219824，0.0755530927897925，0.03376656553969666，0.08808842900170145，0.1173773489207495，0.04347188362570301，0.06607362114087058，0.08523692404298054，0.10475541305756109......]

为了减小特征维数，本发明中取最大的那个数据作为D1，即：D1＝max({D1(P_j，O)|P_j∈N_Points_P_i})。

步骤4-2在目标点的邻域空间中，随机选取若干个由两个点组成的点对，首先在目标点P_i的邻域空间中随机取两个点的点对集合，方法如下：

R_Points_P_i＝{(P_m，P_n)|P_m∈N_Points_P_i，P_n∈N_Points_P_i-{P_m}}

对于某个点对(P_m，P_n)来说，它们之间的距离的计算方法如下面所示：

计算出来的部分结果如下面所示：

D2＝[0.09073854747374122，0.11106893753451952，0.06831282546136702，0.05405367110894943，0.16795501602605753，0.07311839319317348，0.07848240145275268，0.24557651544066775，0.1275843300938042......]

计算两点之间的欧氏距离，取最大的那个数据作为D2；公式如下面所示：

D2＝max({D2(P_m，P_n)|(P_m，P_n)∈R_Points_P_i})

步骤4-3在目标点的邻域空间中，随机选取若干个由三个点组成的点集，分别两两计算两点之间的欧氏距离，并判断是否能够构成三角形；在邻域空间中同时选取三个随机点所构成的的集合定义如下所示：

RT_Points_P_i＝{(P_h，P_j，P_k)|P_h∈N_Points，P_j∈N_Points-{P_h}，P_k∈N_Points-{P_h，P_j}}

若能够构成三角形，则计算面积，若不能，则抛弃这个点集，继续一次性取三个点，计算面积的公式如下所示：

其中，a＝dist(P_h，P_j)，b＝dist(P_h，P_k)，c＝dist(P_j，P_k、)。

计算出来的部分结果如下面所示：

D3＝[0.010533562387954583，0.005364021244493896，0.004824681354122515，0.007533606652002682，0.0030443813073344366，0.01300195146352685，0.007073548064126215，0.017766221232463363，0.004517554052133339......]

所有的点集都计算完成后，取最大的那个数据作为D3，方法如下面所示：

D3＝max({D3(P_h，P_j，P_k)|(P_h，P_j，P_k)∈RT_Points_P_i})

步骤4-4在目标点的邻域空间中，随机选取若干个由三个点组成的点集，分别两两计算两点之间的欧氏距离，并判断是否能够构成三角形，若能够构成三角形，则计算对应角的角度，若不能，则抛弃这个点集，继续一次性取三个点，所有的点集都计算完成后，取最大的那个数据作为A3，A3的计算方法如下所示：

其中，cosA为边长a所对应的夹角，a、b、c的定义与步骤4-3的相同，则A3的计算方法为：

A3＝max({A3(P_h，P_j，P_k)|(P_h，P_j，P_k)∈RT_Points_P_i}

取最大之前的部分原始数据为：

A3S＝[0.3352249338426816，0.9802345867890896，-0.5020887229634884，0.44405224472785554，0.882868813341575，0.9402432345186793，-0.5731462219510242，0.8365380052417525，0.7498998122062248，0.6413011442210117，-0.629068800643415，......]

步骤5要使用图卷积神经网络进行分类任务，本发明采用的图卷积神经网络的网络结构如图3所示。

步骤5-1将计算后的形状描述子数据与点云原始数据拼接起来，在拼接前特征向量的格式为{x，y，z}，拼接之后的特征向量为{x，y，z，D1，D2，D3，A3}。

步骤5-2将凭借后的数据投入到图卷积神经网络中，图卷积核的数学表示为：

我们令可以得到如下公式：

Z＝LXΘ

在图卷积神经网络中，经过一次图卷积计算的公式如下：

X^(j+1)＝ρ(LX^(j)Θ)

其中，Θ表示卷积核，X^(j)为当前的数据输入，X^(j+1)为当前的网络输出与下一次的输入，L为拉普拉斯算子，ρ为非线性激活函数，在此处我们使用的是ReLU非线性激活函数。

在进入图卷积神经网络之前的部分数据如下面所示：

[[0.09804384 -0.16375712 -0.88815236 0.17244507 0.27479285 0.028236710.98436487]，[-0.23270538 0.20258272 0.9004929 0.17848803 0.33978745 0.01876830.98364025]，[-0.2567441 -0.25970268 -0.49264464 0.1792608 0.330951750.02859443 0.999376]，[-0.28118247 0.04413288 0.69902027 0.15401143 0.266313460.01981301 0.98053163]......]

在图卷积神经网络中，整个网络的流程为：数据先经过一次图卷积操作升维，然后经过一次多层感知机共享权重，再经过一次图卷积升高维度，然后再经过一次多层感知机共享权重，将两次卷积后的向量拼接后，再经过一次池化操作保留有效信息，最后通过多层感知机缩减维度，得到最后的分类结果。

本发明实施方式中的基于图卷积和形状描述子的三位点云分类方法，利用全局特征来表述局部区域，以此作为局部特征，并且采用了传统特征与局部特征相融合的方式，实现了比较好的分类效果。

以上所述是结合附图的对本发明的实施例进行的详细介绍，本文的具体实施方式只是用于帮助理解本发明的方法；对于本技术邻域的普通技术人员，依据本发明的思想，在具体实施方式及应用范围内均可有所变更和修改，故本发明书不应理解为对本发明的限制。

Claims

步骤1：读取点云格式的三维模型数据，并对读取后的点云数据进行采样；

步骤2：对采样后的点云数据，对每个目标点使用KNN算法获得邻接关系，从而构建图卷积操作所需要的邻接矩阵，进而计算得出拉普拉斯算子；

步骤3：在进行步骤2的同时，可以获得目标点与邻居点构成的局部区域，在每个局部区域中，计算出该区域的质心点坐标；

步骤4：在每个目标点的局部区域中，计算这个区域的形状描述子，形状描述子包括D1、D2、D3、A3，其中，D1是指区域中的点与区域质心的欧式距离，D2是指区域中的任意两点之间的欧氏距离，D3是指区域中的任意三点所构成的三角形的面积，A3是指三角形中某一角的角度；并在计算出的数据中各选取一个合适的数据，作为除了目标点坐标信息之外的局部特征信息以待补充，依次对每个目标点做如上的计算；

步骤1-1程序中读入点云格式的三维模型数据；

步骤2-1利用KNN算法选择每个目标点的最近K个邻居点；

步骤2-2计算每个邻居点和目标点之间的欧式距离；

步骤2-3将所有目标点与该目标点相关的各个邻居点之间的欧式距离计算完成后，把数据添加进邻接矩阵中；

步骤3-1利用KNN算法选择每个目标点的最近K个邻居点；

步骤3-2获取这K个邻居点的坐标，来计算质心点的坐标。

步骤4-1分别计算目标点的邻居点与质心点的欧氏距离，取最大的那个数据作为D1；

步骤4-2在目标点的邻域空间中，随机选取若干个由两个点组成的点对，计算两点之间的欧氏距离，取最大的那个数据作为D2；

步骤4-3在目标点的邻域空间中，随机选取若干个由三个点组成的点集，分别两两计算两点之间的欧氏距离，并判断是否能够构成三角形，若能够构成三角形，则计算面积，若不能，则抛弃这个点集，继续一次性取三个点，所有的点集都计算完成后，取最大的那个数据作为D3；

步骤5-1将计算后的形状描述子数据与点云原始数据拼接起来；