CN113592013A - 一种基于图注意力网络的三维点云分类方法 - Google Patents
一种基于图注意力网络的三维点云分类方法 Download PDFInfo
- Publication number
- CN113592013A CN113592013A CN202110900943.XA CN202110900943A CN113592013A CN 113592013 A CN113592013 A CN 113592013A CN 202110900943 A CN202110900943 A CN 202110900943A CN 113592013 A CN113592013 A CN 113592013A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- layer
- graph
- points
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 238000011176 pooling Methods 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 230000004913 activation Effects 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于图注意力网络的三维点云分类方法,利用构建的图神经网络,完成对原始点云输入数据的点云分类;所述图神经网络包括特征提取层、两组交替分布的图注意力层和池化层、激活函数层、读出层、全连接层和输出层。采用图注意力机制,同时考虑点和边的属性,结合使用图的池化操作,将图逐步变小,构建图神经网络来对三维点云分类,从而可以有效的提高三维点云分类的准确率。采用本发明的方法对ModelNet40数据集(包含40个类别的CAD模型)进行分类处理,经测试,在该数据集上分类正确率为91.5%。
Description
技术领域
本发明涉及一种三维点云分类方法,特别是一种基于图注意力网络的三维点云分类方法。
背景技术
点云的分类是点云分析的常见任务之一。与图像这种规整的结构不同,点云中点的邻接点个数和位置是不确定的,无法使用普通的卷积,因为点之间有邻接关系,使用图神经网络比较合适。但是,因为点云中的点有坐标,除了考虑点的属性,还要考虑边的属性,即点之间的距离;采用普通图神经网络进行点云分类时,其准确率较低。因此,现有的技术存在着准确率较低的问题。
发明内容
本发明的目的在于,提供一种基于图注意力网络的三维点云分类方法。本发明具有能够有效提高准确率的特点。
本发明的技术方案:一种基于图注意力网络的三维点云分类方法,利用构建的图神经网络,完成对原始点云输入数据的点云分类;所述图神经网络包括特征提取层、两组交替分布的图注意力层和池化层、激活函数层、读出层、全连接层和输出层。
前述的一种基于图注意力网络的三维点云分类方法中,利用图神经网络完成点云分类的具体过程为:先通过2个图注意层和2个池化层从特征提取层提取相应点的特征;然后通过激活函数层对剩余点的特征求平均值,计算得到一个向量;读出层读取该向量并通过全连接层将该向量转变为另一向量,输出至输出层,输出层的输出值大小即为类别数。
前述的一种基于图注意力网络的三维点云分类方法中,特征提取层中包括点云的坐标矩阵C,维度是n×3,n为点的个数,第二个维度是点的三维坐标;
还包括矩阵X0,维度为n×f0;f0=1、3或4,分别表示点的灰度值、RGB值或RGBA值;
还包括表征点云边的属性的矩阵E。
前述的一种基于图注意力网络的三维点云分类方法中,所述矩阵E:E=(eij),
eij的计算过程为:
由矩阵C得到距离矩阵D,D=(dij);
D=norm(C[newaxis,:,:]-C[:,newaxis,:],axis=-1);
引入一个虚拟节点,该虚拟节点与点云中所有点均相连,到点云中所有点的距离均为0,虚拟节点的输入特征也置为0;设截断为cutoff,记
前述的一种基于图注意力网络的三维点云分类方法中,图注意力层的具体提取计算过程:
首先,用一个权重矩阵W变换输入特征,得到变换后的输入特征h;
h=Wxl;其中,xl为第l层特征,W为权重矩阵;
接着,将点i的特征hi、点j的特征hj和边的特征eij拼在一起,计算得到第i个点的注意力αij,具体如下,
αij=softmaxj{LeakyReLU(aT[hi||hj||eij])};
最终,将邻接点特征的聚合和点i本身特征进行组合得到点i的第l+1层特征,具体组合公式如下所示,
前述的一种基于图注意力网络的三维点云分类方法中,池化层的具体过程:
通过以下公式计算每个点的重要性
βi=bT[hi||hn];
其中,hi为第i个点的特征,hn为虚拟点的特征,b为参数;i从0~n-1中取值;
然后,将这n个点按重要性从大到小排序,取前k个点和虚拟点;同时修改对应的矩阵E。
与现有技术相比,本发明利用图神经网络对三维点云进行分类,通过对图神经网络的构成进行改进,由特征提取层、两组交替分布的图注意力层和池化层、激活函数层、读出层、全连接层和输出层构成图神经网络,采用图注意力机制,同时考虑点和边的属性,结合使用图的池化操作,将图逐步变小,构建图神经网络来对三维点云分类,从而可以有效的提高三维点云分类的准确率。采用本发明的方法对ModelNet40数据集(包含40个类别的CAD模型)进行分类处理,经测试,在该数据集上分类正确率为91.5%。综上所述,本发明具有能够有效提高准确率的特点。
附图说明
图1是本发明的图神经网络结构示意图;
图2是本发明的训练误差图。
具体实施方式
下面结合实施例对本发明作进一步的说明,但并不作为对本发明限制的依据。
实施例。一种基于图注意力网络的三维点云分类方法,构成如图1和2所示,利用构建的图神经网络,完成对原始点云输入数据的点云分类;所述图神经网络包括特征提取层、两组交替分布的图注意力层和池化层(如图1所示,包括2个图注意力层和2个池化层)、激活函数层、读出层、全连接层和输出层。
利用图神经网络完成点云分类的具体过程为:先通过2个图注意层和2个池化层从特征提取层提取相应点的特征;然后通过激活函数层对剩余点的特征求平均值,计算得到一个向量;读出层读取该向量并通过全连接层将该向量转变为另一向量,输出至输出层,输出层的输出值大小即为类别数。
特征提取层中包括点云的坐标矩阵C,维度是n×3,n为点的个数,第二个维度是点的三维坐标;
还包括矩阵X0,维度为n×f0;f0=1、3或4,分别表示点的灰度值、RGB值或RGBA值;
还包括表征点云边的属性的矩阵E。
所述矩阵E:E=(eij),
eij的计算过程为:
由矩阵C得到距离矩阵D,D=(dij)
D=norm(C[newaxis,:,:]-C[:,newaxis,:],axis=-1)
引入一个虚拟节点,该虚拟节点与点云中所有点均相连,到点云中所有点的距离均为0,虚拟节点的输入特征也置为0;设截断为cutoff,记
图注意力层的具体提取计算过程:
首先,用一个权重矩阵W变换输入特征,得到变换后的输入特征h;
h=Wxl;其中,xl为第l层特征,W为权重矩阵;
接着,将点i的特征hi、点j的特征hj和边的特征eij拼在一起,计算得到第i个点的注意力αij,具体如下,
αij=softmaxj{LeakyReLU(aT[hi||hj||eij])};T为转置。
最终,将邻接点特征的聚合和点i本身特征进行组合得到点i的第l+1层特征,具体组合公式如下所示,
池化层的具体过程:
通过以下公式计算每个点的重要性
βi=bT[hi||hn];
其中,hi为第i个点的特征,hn为虚拟点的特征,b为参数;i的取值为0~n-1。
然后,将这n个点按重要性从大到小排序,取前k个点和虚拟点;同时修改对应的矩阵E(即将未取到的点对应的行和列删掉)。
Claims (6)
1.一种基于图注意力网络的三维点云分类方法,其特征在于:利用构建的图神经网络,完成对原始点云输入数据的点云分类;所述图神经网络包括特征提取层、两组交替分布的图注意力层和池化层、激活函数层、读出层、全连接层和输出层。
2.根据权利要求1所述的一种基于图注意力网络的三维点云分类方法,其特征在于,利用图神经网络完成点云分类的具体过程为:先通过2个图注意层和2个池化层从特征提取层提取相应点的特征;然后通过激活函数层对剩余点的特征求平均值,计算得到一个向量;读出层读取该向量并通过全连接层将该向量转变为另一向量,输出至输出层,输出层的输出值大小即为类别数。
3.根据权利要求1所述的一种基于图注意力网络的三维点云分类方法,其特征在于:特征提取层中包括点云的坐标矩阵C,维度是n×3,n为点的个数,第二个维度是点的三维坐标;
还包括矩阵X0,维度为n×f0;f0=1、3或4,分别表示点的灰度值、RGB值或RGBA值;
还包括表征点云边的属性的矩阵E。
6.根据权利要求1所述的一种基于图注意力网络的三维点云分类方法,其特征在于,池化层的具体过程:
通过以下公式计算每个点的重要性
βi=bT[hi||hn];
其中,hi为第i个点的特征,hn为虚拟点的特征,b为参数;i从0~n-1中取值;
然后,将这n个点按重要性从大到小排序,取前k个点和虚拟点;同时修改对应的矩阵E。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110900943.XA CN113592013B (zh) | 2021-08-06 | 2021-08-06 | 一种基于图注意力网络的三维点云分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110900943.XA CN113592013B (zh) | 2021-08-06 | 2021-08-06 | 一种基于图注意力网络的三维点云分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113592013A true CN113592013A (zh) | 2021-11-02 |
CN113592013B CN113592013B (zh) | 2024-04-30 |
Family
ID=78255787
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110900943.XA Active CN113592013B (zh) | 2021-08-06 | 2021-08-06 | 一种基于图注意力网络的三维点云分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113592013B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115546544A (zh) * | 2022-09-30 | 2022-12-30 | 深圳市规划和自然资源数据管理中心 | 基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103577697A (zh) * | 2013-11-12 | 2014-02-12 | 中国民用航空总局第二研究所 | 基于道路表面点云数据的fod检测方法 |
CN106951928A (zh) * | 2017-04-05 | 2017-07-14 | 广东工业大学 | 一种甲状腺乳头状癌的超声图像识别方法及装置 |
KR20200029951A (ko) * | 2018-09-11 | 2020-03-19 | 한국산업기술대학교산학협력단 | 적응적 분류에 기반한 영상정합 시스템 및 방법 |
CN111524224A (zh) * | 2020-04-13 | 2020-08-11 | 国家电网有限公司 | 一种电力变压器表面温度分布的全景成像方法 |
CN111553438A (zh) * | 2020-05-07 | 2020-08-18 | 广州鹄志信息咨询有限公司 | 一种基于卷积神经网络的图像识别方法 |
CN111783879A (zh) * | 2020-07-01 | 2020-10-16 | 中国人民解放军国防科技大学 | 基于正交注意力机制的层次化压缩图匹配方法及系统 |
CN112489049A (zh) * | 2020-12-04 | 2021-03-12 | 山东大学 | 基于超像素和svm的成熟番茄果实的分割方法及系统 |
CN112488210A (zh) * | 2020-12-02 | 2021-03-12 | 北京工业大学 | 一种基于图卷积神经网络的三维点云自动分类方法 |
CN112633350A (zh) * | 2020-12-18 | 2021-04-09 | 湖北工业大学 | 一种基于图卷积的多尺度点云分类实现方法 |
CN112862015A (zh) * | 2021-04-01 | 2021-05-28 | 北京理工大学 | 一种基于超图神经网络的论文分类方法及系统 |
CN112925908A (zh) * | 2021-02-19 | 2021-06-08 | 东北林业大学 | 一种基于Attention的图注意力网络的文本分类方法及系统 |
-
2021
- 2021-08-06 CN CN202110900943.XA patent/CN113592013B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103577697A (zh) * | 2013-11-12 | 2014-02-12 | 中国民用航空总局第二研究所 | 基于道路表面点云数据的fod检测方法 |
CN106951928A (zh) * | 2017-04-05 | 2017-07-14 | 广东工业大学 | 一种甲状腺乳头状癌的超声图像识别方法及装置 |
KR20200029951A (ko) * | 2018-09-11 | 2020-03-19 | 한국산업기술대학교산학협력단 | 적응적 분류에 기반한 영상정합 시스템 및 방법 |
CN111524224A (zh) * | 2020-04-13 | 2020-08-11 | 国家电网有限公司 | 一种电力变压器表面温度分布的全景成像方法 |
CN111553438A (zh) * | 2020-05-07 | 2020-08-18 | 广州鹄志信息咨询有限公司 | 一种基于卷积神经网络的图像识别方法 |
CN111783879A (zh) * | 2020-07-01 | 2020-10-16 | 中国人民解放军国防科技大学 | 基于正交注意力机制的层次化压缩图匹配方法及系统 |
CN112488210A (zh) * | 2020-12-02 | 2021-03-12 | 北京工业大学 | 一种基于图卷积神经网络的三维点云自动分类方法 |
CN112489049A (zh) * | 2020-12-04 | 2021-03-12 | 山东大学 | 基于超像素和svm的成熟番茄果实的分割方法及系统 |
CN112633350A (zh) * | 2020-12-18 | 2021-04-09 | 湖北工业大学 | 一种基于图卷积的多尺度点云分类实现方法 |
CN112925908A (zh) * | 2021-02-19 | 2021-06-08 | 东北林业大学 | 一种基于Attention的图注意力网络的文本分类方法及系统 |
CN112862015A (zh) * | 2021-04-01 | 2021-05-28 | 北京理工大学 | 一种基于超图神经网络的论文分类方法及系统 |
Non-Patent Citations (1)
Title |
---|
王和勇;郑杰;姚正安;李磊;: "基于聚类和改进距离的LLE方法在数据降维中的应用", 计算机研究与发展, no. 08, 28 August 2006 (2006-08-28) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115546544A (zh) * | 2022-09-30 | 2022-12-30 | 深圳市规划和自然资源数据管理中心 | 基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法 |
CN115546544B (zh) * | 2022-09-30 | 2023-11-17 | 深圳市规划和自然资源数据管理中心 | 基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113592013B (zh) | 2024-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111489358B (zh) | 一种基于深度学习的三维点云语义分割方法 | |
CN109118564B (zh) | 一种基于融合体素的三维点云标记方法和装置 | |
CN111753828B (zh) | 一种基于深度卷积神经网络的自然场景水平文字检测方法 | |
CN111242841B (zh) | 一种基于语义分割和深度学习的图片背景风格迁移方法 | |
CN109063719B (zh) | 一种联合结构相似性和类信息的图像分类方法 | |
CN107784288B (zh) | 一种基于深度神经网络的迭代定位式人脸检测方法 | |
CN110728187B (zh) | 一种基于容错性深度学习的遥感影像场景分类方法 | |
CN112541532B (zh) | 基于密集连接结构的目标检测方法 | |
CN112633350A (zh) | 一种基于图卷积的多尺度点云分类实现方法 | |
CN112766229B (zh) | 基于注意力机制的人脸点云图像智能识别系统及方法 | |
CN112364931A (zh) | 基于元特征和权重调整的少样本目标检测方法及网络模型 | |
CN113239954A (zh) | 基于注意力机制的图像语义分割特征融合方法 | |
CN112101364B (zh) | 基于参数重要性增量学习的语义分割方法 | |
CN113032613B (zh) | 一种基于交互注意力卷积神经网络的三维模型检索方法 | |
CN111652273A (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
CN114565048A (zh) | 基于自适应特征融合金字塔网络的三阶段害虫图像识别方法 | |
CN113902010A (zh) | 分类模型的训练方法和图像分类方法、装置、设备和介质 | |
JP7298825B2 (ja) | 学習支援装置、学習装置、学習支援方法及び学習支援プログラム | |
CN112364974A (zh) | 一种基于激活函数改进的YOLOv3算法 | |
CN113592013A (zh) | 一种基于图注意力网络的三维点云分类方法 | |
CN110728186A (zh) | 一种基于多网融合的火灾检测方法 | |
CN114492634A (zh) | 一种细粒度装备图片分类识别方法及系统 | |
CN110851627A (zh) | 一种用于描述全日面图像中太阳黑子群的方法 | |
CN114743023B (zh) | 一种基于RetinaNet模型的麦蜘蛛图像检测方法 | |
CN112990336B (zh) | 基于竞争注意力融合的深度三维点云分类网络构建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |