CN113569979A - 一种基于注意力机制的三维物体点云分类方法 - Google Patents
一种基于注意力机制的三维物体点云分类方法 Download PDFInfo
- Publication number
- CN113569979A CN113569979A CN202110902691.4A CN202110902691A CN113569979A CN 113569979 A CN113569979 A CN 113569979A CN 202110902691 A CN202110902691 A CN 202110902691A CN 113569979 A CN113569979 A CN 113569979A
- Authority
- CN
- China
- Prior art keywords
- point
- point cloud
- network
- points
- pointnet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000007246 mechanism Effects 0.000 title claims abstract description 32
- 238000011176 pooling Methods 0.000 claims abstract description 25
- 238000011156 evaluation Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims description 35
- 239000013598 vector Substances 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000006116 polymerization reaction Methods 0.000 claims 1
- 238000012546 transfer Methods 0.000 abstract description 3
- 238000011946 reduction process Methods 0.000 abstract description 2
- 230000011218 segmentation Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于注意力机制的三维物体点云分类方法，包括确定网络训练用的样本数据与精度评价标准，构建层级结构学习局部区域特征的ATT‑PointNet++网络，将样本数据在ATT‑PointNet++网络上进行训练，将待预测数据导入训练好的ATT‑PointNet++网络中进行预测，采用精度评价标准对预测结果进行评估，得到评估结果。本发明通过引入注意力池化层来提高网络在降维过程中的信息传递率，从而提高网络对局部区域信息的有效利用率，使得公共数据集上的点云分类精度更高。
Description
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于注意力机制的三维物体点云分类方法。
背景技术
近年来，3D采集技术快速发展，我们可以利用3D扫描仪、激光雷达等设备更加容易地获取到原始3D数据。在众多3D数据中，点云作为基本代表，已经在3D视觉领域中引起了研究者们的广泛关注，常应用于数字孪生城市的三维建模与可视化，数据智能视角下的虚拟地理环境建设，海洋系统与气候变化模拟等领域。
点云作为常见的三维重建表达形式之一，是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，其独立描述每个点的相关属性信息，包括三维坐标x、y、z和颜色特征等。相对于二维图像，点云数据规避了图像采集过程中遇到的姿态、光照等问题且可视化后的三维点云数据不仅可以很好的表达物体的形状特征，还可以在不同视角下通过旋转、缩放等操作了解三维结构信息，包含丰富空间信息的点云具有不可替代的优势。然而，点云本身自带的特性使得点云数据处理与应用充满挑战，包括：(1)点云无序性：点云是数据集的表达点的集合，对点的顺序不敏感，只考虑坐标，则点云数据是一组nx3的点集合。其中n代表点云数量，3代表该点云的x、y、z三维空间坐标。扫描设备的选型不同以及在不同坐标系下采集点云都会使得同一对象的三维点云排列顺序千差万别。值得注意的是，点云的顺序不影响三维空间结构的表示方式且点的组合方式共有n！种。(2)点云密度不一致性：点云场景复杂多样，激光雷达的采样点覆盖相对于场景的尺度来讲，具有很强的稀疏性。同一场景下，不同物体的点云密度以及点云数量可能都不同。(3)非结构性：二维图像属于结构化的数据，二维卷积可利用卷积核获得局部特征矩阵。而点云数据具有非结构化性，二维卷积难以从不规则的数据中获得点的空间信息，这也使得早期研究者们通常是将点云转换成一个规则的数据，多视图或体素再处理。
近些年来，国内外对三维点云数据的分类、分割进行了广泛的研究。基于多视图的方法，早期研究者们处理点云数据的方式是将点云投影到多个视图的二维图像中，将3D问题转化为2D问题，使得可以用传统卷积网络解决对象检测的任务。以多视图CNN(MVCNN)为例，首先获取三维目标形状在不同视角下的二维图像，对每个视图进行图像特征提取，最后通过池化层和完全连接层将不同视角的图像进行聚合得到最终的语义分割结果。然而该类方法并不能有效地利用每张视图的局部特征信息，并且在投影过程中会丢失大量的几何结构信息。基于体素的方法，利用占用网格将环境状态表示为随机变量的3D网格，并根据传入的传感器数据和先验知识维持其占用率的概率估计，应用强大的3D神经网络在语义分割等方面也取得了不错的结果。OctNet利用八叉树将存储器分配和计算集中到相关的密集区域，加深网络深度，Kd-Net]则通过Kd-tree方法用于提高点云计算、存储效率。但是总体而言，体素化算法空间复杂度高，同时体素的网格分辨率较高会增大计算负担，较低会导致细节丢失，因此基于体素的方式实际实用性相对较低。
基于离散点云的方法，PointNet作为基于点云的开创性方法，为后续的研究提供了能够直接输入原始点云的深度学习架构，有效解决点云的旋转不变特性和点云无序性问题。在分类任务中取得了较为可观的成果，但没有考虑局部特征，语义分割任务效果不佳。
如何提供一种可提高网络对局部区域信息的有效利用率的点云分类方案，是一个急需解决的问题。
发明内容
本发明的主要目的在于提供一种基于注意力机制的三维物体点云分类方法，从而克服现有技术的不足。
为实现前述发明目的，本发明采用的技术方案包括：一种基于注意力机制的三维物体点云分类方法，包括以下步骤：
S1，确定网络训练用的样本数据与精度评价标准，所述样本数据由点云基准数据集ModelNet40中选取，所述精度评价标准为使用精确度和平均交并化作为点云模型分类的度量标准；
S2，构建层级结构学习局部区域特征的ATT-PointNet++网络，将所述样本数据在所述ATT-PointNet++网络上进行训练，所述训练方法包括：
S21，从样本数据中选取多个点分别作为对应的局部区域的中心点；
S22，在所述中心点的周围选取多个邻近点来构造所述局部区域；
S23，利用PointNet网络从局部区域中提取局部特征，再利用注意力机制学习所述局部特征，在局部区域范围内计算加权求和得到注意力池化结果；
S3，将待预测数据导入训练好的所述ATT-PointNet++网络中进行预测，采用所述精度评价标准对预测结果进行评估，得到评估结果。
在一优选实施例中，所述S1中，对所述样本数据进行数据增强，所述增强方法包括：将点云基准数据集中的点云坐标值在0.8～1.25倍的随机缩放，在[-0.1,0.1]范围内平移，以及15％～20％点的随机丢失，选取出所述样本数据。
在一优选实施例中，在所述S2的训练过程中，将选取的样本数据作为ATT-PointNet++网络的输入，并总体迭代多次获得最优点云分类网络参数。
在一优选实施例中，所述精确度的表达公式为：
其中，OA为网络的总体分类评估指标，pii表示所有正确预测的类的数量，p表示点云网络的所有点数。
在一优选实施例中，所述S21中，采用最远点采样法从样本数据中选取多个所述中心点，所述最远点采样法包括：
S211，将样本数据中的所有点归类到第一集合和第二集合内，其中，第一集合表示选中的点构成的集合，第二集合表示未选中的点构成的集合，在初始情况下，所述第一集合为空，所述第二集合包含所有点；
S212，在所述第二集合中进行随机采样，得到第一个点放入所述第一集合中；
S213，分别计算所述第二集合中的每一个点到所述第一个点的距离，选取距离最大的点，将其移动到第一集合中，作为第一集合内的第二个点；
S214，计算第二集合中的每个点分别到所述第一个点和第二个点的距离，从得到的两个距离值中选取最小的距离值作为每个点到第一集合的距离值，并从每个点到第一集合的距离值中选取最大的距离值对应的点放入到第一集合中，作为第一集合内的第三个点；
S215，按照所述S214中选取点的方式，直至选取所需数量的点到第一集合中为止。
在一优选实施例中，所述S22包括：
S221，采用查询球方法进行数据划分，所述数据划分包括：以所述中心点为球中心，设置球半径，得到多个邻近点的空间坐标；
S222，利用所述中心点和所述空间坐标，得到相对于中心点的空间位置关系；
S223，将所述相对空间位置关系与对应的局部区域范围内点云数据属性特征进行拼接，得到局部区域。
在一优选实施例中，所述局部区域的计算公式为：
其中，ui(i∈N)和ui k分别表示中心点和邻近点的空间坐标，
表示特征拼接，
表示相对位移矢量。
在一优选实施例中，所述S23包括：
S231，利用PointNet网络的特征提取层，通过共享权重的卷积将各局部区域信息连接起来，构建以区域信息为单位的局部特征向量；
S232，利用注意力机制学习所述局部特征，将学习到的特征值作为对应采样点的权重；
S233，在局部区域范围内计算加权求和得到全局特征向量，作为注意力池化结果。
在一优选实施例中，所述全局特征向量的表达式为：
AttenPool(fi')＝Atten(conv(fi'))；
其中，AttenPool为注意力池化操作，conv(fi’)为局部特征。
在一优选实施例中，所述ATT-PointNet++网络包括多个下采样层，所述下采样层包括采样层、聚合层和注意力池化特征提取层，所述采样层用于从样本数据中选取多个点分别作为对应的局部区域的中心点；所述聚合层用于在所述中心点的周围选取多个邻近点来构造所述局部区域；所述注意力池化特征提取层用于利用PointNet网络从局部区域中提取局部特征，再利用注意力机制学习所述局部特征，在局部区域范围内计算加权求和得到注意力池化结果。
与现有技术相比较，本发明的有益效果至少在于：本发明设计了一个以PointNet和PointNet++为基础的基于自注意力机制的点云语义分割网络ATT-PointNet++，通过引入注意力池化层来提高网络在降维过程中的信息传递率，从而提高网络对局部区域信息的有效利用率，使得公共数据集上的点云分类精度(mIoU)更高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施方式中三维物体点云分类方法的流程示意图；
图2是本发明步骤S2的流程示意图；
图3是本发明ATT-PointNet++网络的结构示意图；
图4是本发明注意力池化的原理示意图；
图5是本发明注意力打分示意图。
具体实施方式
通过应连同所附图式一起阅读的以下具体实施方式将更完整地理解本发明。本文中揭示本发明的详细实施例；然而，应理解，所揭示的实施例仅具本发明的示范性，本发明可以各种形式来体现。因此，本文中所揭示的特定功能细节不应解释为具有限制性，而是仅解释为权利要求书的基础且解释为用于教示所属领域的技术人员在事实上任何适当详细实施例中以不同方式采用本发明的代表性基础。
如图1所示，本发明所揭示的一种基于注意力机制的三维物体点云分类方法，包括以下步骤：
S1，确定网络训练用的样本数据与精度评价标准，所述样本数据由点云基准数据集ModelNet40中选取，所述精度评价标准为使用精确度和平均交并化作为点云模型分类的度量标准。
具体地，数据集ModelNet40是斯坦福大学提供的点云基准数据集，由40个类中的9843个训练模型和2468个测试模型组成。为了提高网络分类的鲁棒性，对这些样本数据进行数据增强，具体增强方法包括：将点云基准数据集中的点云坐标值在0.8～1.25倍的随机缩放，在[-0.1,0.1]范围内平移，以及15％～20％点的随机丢失，选取出所述样本数据。所述精度评价标准为使用精确度和平均交并化(mIoU)作为点云网络分类的度量标准，其中，精确度即标记正确的点云数量占总点云数的比例，具体公式如下：
式中：OA为网络的总体分类评估指标，pii表示所有正确预测的类的数量，p表示点云网络的所有点数，OA值越大，说明分类效果越好。
S2，构建层级结构学习局部区域特征的ATT-PointNet++网络，将所述样本数据在所述ATT-PointNet++网络上进行训练。
具体地，本发明在PointNet网络基础上，结合分层结构、最远点采样算法(FPS)构建了层级结构学习局部区域特征的ATT-PointNet++网络，其结构如图3所示，ATT-PointNet++网络本质上是PointNet网络的分层版本，在整体网络结构中，每一个下采样层对点云中的点都进行局部划分，提取整体特征，被称为抽样集(Set abstraction)。在抽样集中，主要由采样层、聚合层以及注意力池化特征提取层三层构成。如图2所示，所述训练方法包括以下步骤：
S21，从样本数据中选取多个点分别作为对应的局部区域的中心点。
具体地，这一步骤由采样层实现，采样层与基于CNN(卷积神经网络)的图像处理方法类似，点云数据处理同样需要将大场景点云数据划分成不同子区域(即局部区域)。但与图像处理不同，规则子区域内点云数量具有显著差异。为了保证输入CNN的点云数量保持一致，需对规则子区域内的点云数据进行采样并分批次输入到CNN。为了保证采样结果尽可能均匀分布在对应规则子区域，采用最远点采样法FPS(Farthest Point Sampling)来维持采样点在规则子区域内的基本结构。在众多点云数据中，假设有n个点，需要采样k个点，所述最远点采样法具体包括以下步骤：
S211，将样本数据中的所有点归类到第一集合A和第二集合B内，其中，第一集合A表示选中的点构成的集合，第二集合B表示未选中的点构成的集合，在初始情况下，所述第一集合A为空，所述第二集合B包含所有点。
S212，在所述第二集合B中进行随机采样，得到第一个点放入所述第一集合A中。
S213，分别计算所述第二集合B中的每一个点到所述第一个点的距离，选取距离最大的点，将其移动到第一集合A中，作为第一集合A内的第二个点。
S214，计算第二集合B中的每个点分别到所述第一个点和第二个点的距离，从得到的两个距离值中选取最小的距离值作为每个点到第一集合A的距离值，并从每个点到第一集合A的距离值中选取最大的距离值对应的点放入到第一集合A中，作为第一集合A内的第三个点。
S215，按照所述S214中选取点的方式，直至选取所需数量(即k个点)的点到第一集合A中为止。
相比于随机采样，最远点采样算法在减小点云密度的同时，能够最大程度的保留点云的空间几何结构特征，保证采样后的点具有较好的覆盖率。对于经FPS采样得到的点云U＝{fi|i＝1,…,N}，其中：N为点云个数fi＝[ui,vi]∈R3+d,ui＝(xi,yi,zi)∈R3表示第i个点的3个空间坐标，vi∈Rd对应第i个点云存储的d维属性特征(原始RGB或中间学习特征)。
S22，在所述中心点的周围选取多个邻近点来构造所述局部区域。
具体地，这一步骤由聚合层实现，所述S22包括：
S221，采用查询球方法进行数据划分，所述数据划分包括：以所述中心点为球中心，设置球半径，得到多个邻近点的空间坐标。
S222，利用所述中心点和所述空间坐标，得到相对于中心点的空间位置关系。
S223，将所述相对空间位置关系与对应的局部区域范围内点云数据属性特征进行拼接，得到局部区域。
具体地，在上述的采样层中，已利用FPS算法从全部数据集中选出若干中心点ui，ATT-PointNet网络采用查询球方法实现数据划分，以中心采样点为球中心，设置球半径，实现数据集中局部区域的划分，得到k个邻近点的空间坐标ui k。之后利用中心点ui和邻近点的空间坐标ui k得到相对于中心点的空间位置关系(B,N,K,3)，再与对应邻域范围内点云数据属性特征(即RGB信息)(B,N,K,d)进行拼接，其中，B表示批次大小，N表示每个批次点数，K表示邻域点个数。所述局部区域的具体计算公式如下：
其中：ui(i∈N)和ui k分别表示中心点和邻近点的空间坐标，
表示特征拼接，
表示相对位移(方向)矢量。
S23，利用PointNet网络从局部区域中提取局部特征，再利用注意力机制学习所述局部特征，在局部区域范围内计算加权求和得到注意力池化结果。
注意力机制利用相关特征学习权重分布，再将学习得到的权重施加于特征上，从而进一步提取相关知识，实现池化的效果。通常注意力机制分为三个部分，分别为查询(Query)、键(Key)、值(value)，其中Query是由外部传入，并与Key进行相似度比较，从而来决定每个Value所需提供信息的多少，即注意力打分(如图5所示)。本发明的不同之处在于，Query为中心点特征本身，利用Query与每项Key(即近邻点特征)进行相似度计算，并利用Softmax进行归一化得到权值，计算公式如下。
具体地，结合图4所示，这一步骤由注意力池化特征提取层实现，PointNet网络采用最大池化操作聚合邻域特征以生成全局特征向量来解决点云排序问题。这种以无参数方式实现降维的操作在特征传递的过程中会丢失大量有用的信息。为避免信息传递过程中重要信息的大量丢失，本发明利用注意力机制来确保空间结构特征的重要信息尽可能传递。该注意力池化输出的全局特征向量为：
AttenPool(fi')＝Atten(conv(fi'))；
其中，AttenPool为注意力池化操作，conv(fi’)为局部特征。
首先利用PointNet实现点云从低维空间到高维的局部特征提取。PointNet网络负责提取点云局部特征的主要为特征提取层(MLP层)，通过共享权重的卷积实现，每一层卷积核大小如均为1x1，即利用特征提取层将各局部区域信息连接起来，构建以区域信息为单位的局部特征向量，其中B代表批次大小，N表示每个批次含有N个点云，这里将K个邻域点划分为3维空间位置和d维属性特征两部分，通过MLP特征提取层之后，特征维度变为C。再利用上文所述注意力机制进一步学习局部特征conv(fi’)，将学习到的特征值(score)视为对应采样点的权重，在邻域范围内计算加权求和得到注意力池化结果，即全局特征向量。其中相似度计算采用点积模型：
优选地，步骤S2在训练过程中，选择k(如1024)个点作为输入，总体迭代多次(如300次)获得最优点云分类模型参数。且在每一轮训练结束都对精确度和平均交并化(mIoU)进行评估，若精度不断上升且趋于平稳，则网络鉴定完毕。
S3，将待预测数据导入训练好的所述ATT-PointNet++网络中进行预测，采用所述精度评价标准对预测结果进行评估，得到评估结果。
具体地，将待预测数据导入训练好的ATT-PointNet++网络网络进行预测，以总体分类精度和类属分类精度作为度量标准，并将评估结果进行可视化操作，将本发明与现有先进方法的评估结果进行比较，从而评估出本发明网络在现有方法中的竞争力。在ModelNet40数据集上相较于PointNet，我们提出的ATT-PointNet++的整体分类精度提升了3.5％，相较于PointNet++也有0.8％的提升。PointNet++采用最大池化操作传递局部特征，ATT-PointNet++利用注意力机制模块提高了网络特征的传递效率，能够有效提高网络模型对局部点云模型几何结构的学习能力。从实验结果看，如下表所示，ATT-PointNet++在分类评估中优于以上先进方法，证明了引入注意力机制能有效提高深度网络模型的分类性能。
本发明在原有的PointNet和PointNet++点云分类网络的基础上，提出了一种基于自注意力机制的新的点云语义分割网络结构模型，在每一组采样集(set abstraction)中加入注意力机制，能大幅提高网络对局部区域信息的利用率，从而提高网络分类效率，对于现有3D点云数据的分类网络具有更好的特征提取能力。
本发明的各方面、实施例、特征及实例应视为在所有方面为说明性的且不打算限制本发明，本发明的范围仅由权利要求书界定。在不背离所主张的本发明的精神及范围的情况下，所属领域的技术人员将明了其它实施例、修改及使用。
应理解，各步骤的次序或执行特定动作的次序并非十分重要，只要本发明教示保持可操作即可。此外，可同时进行两个或两个以上步骤或动作。
Claims (10)
1.一种基于注意力机制的三维物体点云分类方法，其特征在于，所述方法包括以下步骤：
S1，确定网络训练用的样本数据与精度评价标准，所述样本数据由点云基准数据集ModelNet40中选取，所述精度评价标准为使用精确度和平均交并化作为点云模型分类的度量标准；
S2，构建层级结构学习局部区域特征的ATT-PointNet++网络，将所述样本数据在所述ATT-PointNet++网络上进行训练，所述训练方法包括：
S21，从样本数据中选取多个点分别作为对应的局部区域的中心点；
S22，在所述中心点的周围选取多个邻近点来构造所述局部区域；
S23，利用PointNet网络从局部区域中提取局部特征，再利用注意力机制学习所述局部特征，在局部区域范围内计算加权求和得到注意力池化结果；
S3，将待预测数据导入训练好的所述ATT-PointNet++网络中进行预测，采用所述精度评价标准对预测结果进行评估，得到评估结果。
2.根据权利要求1所述的一种基于注意力机制的三维物体点云分类方法，其特征在于：所述S1中，对所述样本数据进行数据增强，所述增强方法包括：将点云基准数据集中的点云坐标值在0.8～1.25倍的随机缩放，在[-0.1,0.1]范围内平移，以及15％～20％点的随机丢失，选取出所述样本数据。
3.根据权利要求1所述的一种基于注意力机制的三维物体点云分类方法，其特征在于：在所述S2的训练过程中，将选取的样本数据作为ATT-PointNet++网络的输入，并总体迭代多次获得最优点云分类网络参数。
4.根据权利要求1所述的一种基于注意力机制的三维物体点云分类方法，其特征在于：所述精确度的表达公式为：
其中，OA为网络的总体分类评估指标，pii表示所有正确预测的类的数量，p表示点云网络的所有点数。
5.根据权利要求1所述的一种基于注意力机制的三维物体点云分类方法，其特征在于：所述S21中，采用最远点采样法从样本数据中选取多个所述中心点，所述最远点采样法包括：
S211，将样本数据中的所有点归类到第一集合和第二集合内，其中，第一集合表示选中的点构成的集合，第二集合表示未选中的点构成的集合，在初始情况下，所述第一集合为空，所述第二集合包含所有点；
S212，在所述第二集合中进行随机采样，得到第一个点放入所述第一集合中；
S213，分别计算所述第二集合中的每一个点到所述第一个点的距离，选取距离最大的点，将其移动到第一集合中，作为第一集合内的第二个点；
S214，计算第二集合中的每个点分别到所述第一个点和第二个点的距离，从得到的两个距离值中选取最小的距离值作为每个点到第一集合的距离值，并从每个点到第一集合的距离值中选取最大的距离值对应的点放入到第一集合中，作为第一集合内的第三个点；
S215，按照所述S214中选取点的方式，直至选取所需数量的点到第一集合中为止。
6.根据权利要求1所述的一种基于注意力机制的三维物体点云分类方法，其特征在于：所述S22包括：
S221，采用查询球方法进行数据划分，所述数据划分包括：以所述中心点为球中心，设置球半径，得到多个邻近点的空间坐标；
S222，利用所述中心点和所述空间坐标，得到相对于中心点的空间位置关系；
S223，将所述相对空间位置关系与对应的局部区域范围内点云数据属性特征进行拼接，得到局部区域。
7.根据权利要求6所述的一种基于注意力机制的三维物体点云分类方法，其特征在于：所述局部区域的计算公式为：
其中，ui(i∈N)和ui k分别表示中心点和邻近点的空间坐标，
表示特征拼接，
表示相对位移矢量。
8.根据权利要求7所述的一种基于注意力机制的三维物体点云分类方法，其特征在于：所述S23包括：
S231，利用PointNet网络的特征提取层，通过共享权重的卷积将各局部区域信息连接起来，构建以区域信息为单位的局部特征向量；
S232，利用注意力机制学习所述局部特征，将学习到的特征值作为对应采样点的权重；
S233，在局部区域范围内计算加权求和得到全局特征向量，作为注意力池化结果。
9.根据权利要求8所述的一种基于注意力机制的三维物体点云分类方法，其特征在于：所述全局特征向量的表达式为：
AttenPool(fi')＝Atten(conv(fi'))；
其中，AttenPool为注意力池化操作，conv(fi’)为局部特征。
10.根据权利要求1所述的一种基于注意力机制的三维物体点云分类方法，其特征在于：所述ATT-PointNet++网络包括多个下采样层，所述下采样层包括采样层、聚合层和注意力池化特征提取层，所述采样层用于从样本数据中选取多个点分别作为对应的局部区域的中心点；所述聚合层用于在所述中心点的周围选取多个邻近点来构造所述局部区域；所述注意力池化特征提取层用于利用PointNet网络从局部区域中提取局部特征，再利用注意力机制学习所述局部特征，在局部区域范围内计算加权求和得到注意力池化结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110902691.4A CN113569979A (zh) | 2021-08-06 | 2021-08-06 | 一种基于注意力机制的三维物体点云分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110902691.4A CN113569979A (zh) | 2021-08-06 | 2021-08-06 | 一种基于注意力机制的三维物体点云分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113569979A true CN113569979A (zh) | 2021-10-29 |
Family
ID=78170691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110902691.4A Pending CN113569979A (zh) | 2021-08-06 | 2021-08-06 | 一种基于注意力机制的三维物体点云分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113569979A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114627346A (zh) * | 2022-03-15 | 2022-06-14 | 电子科技大学 | 一种保留重要特征的点云数据下采样方法 |
| CN114677322A (zh) * | 2021-12-30 | 2022-06-28 | 东北农业大学 | 基于注意力引导点云特征学习的奶牛体况自动评分方法 |
| CN115456064A (zh) * | 2022-09-05 | 2022-12-09 | 江汉大学 | 基于点云的物体分类方法及相关设备 |
| CN116137059A (zh) * | 2023-04-17 | 2023-05-19 | 宁波大学科学技术学院 | 基于多层次特征提取网络模型的三维点云质量评价方法 |
| CN116413740A (zh) * | 2023-06-09 | 2023-07-11 | 广汽埃安新能源汽车股份有限公司 | 一种激光雷达点云地面检测方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818999A (zh) * | 2021-02-10 | 2021-05-18 | 桂林电子科技大学 | 一种基于卷积神经网络的复杂场景3d点云语义分割方法 |
| CN113177555A (zh) * | 2021-05-21 | 2021-07-27 | 西南大学 | 基于跨层级跨尺度跨注意力机制的目标处理方法及装置 |
-
2021
- 2021-08-06 CN CN202110902691.4A patent/CN113569979A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818999A (zh) * | 2021-02-10 | 2021-05-18 | 桂林电子科技大学 | 一种基于卷积神经网络的复杂场景3d点云语义分割方法 |
| CN113177555A (zh) * | 2021-05-21 | 2021-07-27 | 西南大学 | 基于跨层级跨尺度跨注意力机制的目标处理方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| 《COMPUTERS & GRAPHICS》: "Attention-based relation and context modeling for point cloud semantic segmentation", 《COMPUTERS & GRAPHICS》, pages 126 - 134 * |
| CHARLES R. QI ET AL.: "PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space", 《ARXIV》, pages 1 - 14 * |
| 刘安安等: "基于深度学习的三维模型检索算法综述", 《数据采集与处理》, pages 1 - 21 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114677322A (zh) * | 2021-12-30 | 2022-06-28 | 东北农业大学 | 基于注意力引导点云特征学习的奶牛体况自动评分方法 |
| CN114677322B (zh) * | 2021-12-30 | 2023-04-07 | 东北农业大学 | 基于注意力引导点云特征学习的奶牛体况自动评分方法 |
| CN114627346A (zh) * | 2022-03-15 | 2022-06-14 | 电子科技大学 | 一种保留重要特征的点云数据下采样方法 |
| CN115456064A (zh) * | 2022-09-05 | 2022-12-09 | 江汉大学 | 基于点云的物体分类方法及相关设备 |
| CN115456064B (zh) * | 2022-09-05 | 2024-02-02 | 江汉大学 | 基于点云的物体分类方法及相关设备 |
| CN116137059A (zh) * | 2023-04-17 | 2023-05-19 | 宁波大学科学技术学院 | 基于多层次特征提取网络模型的三维点云质量评价方法 |
| CN116137059B (zh) * | 2023-04-17 | 2024-04-26 | 宁波大学科学技术学院 | 基于多层次特征提取网络模型的三维点云质量评价方法 |
| CN116413740A (zh) * | 2023-06-09 | 2023-07-11 | 广汽埃安新能源汽车股份有限公司 | 一种激光雷达点云地面检测方法及装置 |
| CN116413740B (zh) * | 2023-06-09 | 2023-09-05 | 广汽埃安新能源汽车股份有限公司 | 一种激光雷达点云地面检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zamanakos et al. | A comprehensive survey of LIDAR-based 3D object detection methods with deep learning for autonomous driving | |
| CN109410307B (zh) | 一种场景点云语义分割方法 | |
| Zhang et al. | A review of deep learning-based semantic segmentation for point cloud | |
| Liu et al. | Learning to infer implicit surfaces without 3d supervision | |
| CN113569979A (zh) | 一种基于注意力机制的三维物体点云分类方法 | |
| Gao et al. | Are we hungry for 3D LiDAR data for semantic segmentation? A survey of datasets and methods | |
| Fahim et al. | Single-View 3D reconstruction: A Survey of deep learning methods | |
| Kleineberg et al. | Adversarial generation of continuous implicit shape representations | |
| CN112488210A (zh) | 一种基于图卷积神经网络的三维点云自动分类方法 | |
| CN111242208A (zh) | 一种点云分类方法、分割方法及相关设备 | |
| CN112396703A (zh) | 一种单图像三维点云模型重建方法 | |
| US20230206603A1 (en) | High-precision point cloud completion method based on deep learning and device thereof | |
| CN115115797B (zh) | 大场景稀疏光场语义驱动智能重建方法、系统与装置 | |
| CN113159232A (zh) | 一种三维目标分类、分割方法 | |
| CN114463736A (zh) | 一种基于多模态信息融合的多目标检测方法及装置 | |
| US20220147732A1 (en) | Object recognition method and system, and readable storage medium | |
| Deng et al. | Fusing geometrical and visual information via superpoints for the semantic segmentation of 3D road scenes | |
| Rosu et al. | Semi-supervised semantic mapping through label propagation with semantic texture meshes | |
| CN116824585A (zh) | 一种基于多级上下文特征融合网络的航空激光点云语义分割方法与装置 | |
| Xia et al. | A Survey on Deep Generative 3D-aware Image Synthesis | |
| CN114299339A (zh) | 一种基于区域相关性建模的三维点云模型分类方法及系统 | |
| Huang et al. | An object detection algorithm combining semantic and geometric information of the 3D point cloud | |
| Farshian et al. | Deep-Learning-Based 3-D Surface Reconstruction—A Survey | |
| CN112270694B (zh) | 基于激光雷达扫描图进行城市环境动态目标检测的方法 | |
| CN117312594A (zh) | 一种融合双尺度特征的草图化机械零件库检索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |