CN111242208B - 一种点云分类方法、分割方法及相关设备 - Google Patents

一种点云分类方法、分割方法及相关设备 Download PDF

Info

Publication number
CN111242208B
CN111242208B CN202010018275.3A CN202010018275A CN111242208B CN 111242208 B CN111242208 B CN 111242208B CN 202010018275 A CN202010018275 A CN 202010018275A CN 111242208 B CN111242208 B CN 111242208B
Authority
CN
China
Prior art keywords
point cloud
global
feature
data
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010018275.3A
Other languages
English (en)
Other versions
CN111242208A (zh
Inventor
邹文斌
彭文韬
田时舜
李霞
徐晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202010018275.3A priority Critical patent/CN111242208B/zh
Publication of CN111242208A publication Critical patent/CN111242208A/zh
Application granted granted Critical
Publication of CN111242208B publication Critical patent/CN111242208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种点云分类方法、分割方法及相关设备，基于图卷积网络结构和通道注意力机制构建出点云分类模型和点云分割模型，并使用构建出的所述点云分类模型和点云分割模型对三维点云进行分类和分割，所述点云分类模型和点云分割模型均包括至少一个KNN图卷积模块和通道注意力模块，通过所述KNN图卷积模块捕获所述点云数据的局部特征，增加了特征空间中领域内点云与点云之间的关联，通过所述通道注意力模块增加点云数据的通道注意力，增加了特征通道之间的相互依赖关系，加强点云的全局特征表示，从而提高了利用深度网络进行三维点云的分类和/或分割的预测准确度。

Description

一种点云分类方法、分割方法及相关设备
技术领域
本发明涉及3D成像技术领域，尤其涉及的是一种点云分类方法、分割方法及相关设备。
背景技术
近年来，自从深度学习技术兴起之后，研究者们开始探索怎样利用深度神经网络来进行点云的特征学习，基于深度学习三维点云分类与分割也成为一个研究者们越来越重视的方向。
现有技术中对三维点云分类的典型处理方法为将点云数据转换为体素表示，进而在三维深度学习模型上进行特征提取，并完成分类、分割等任务。三维体素表示形式可以完整、有效地保留了原始三维点云形状信息，因此具有不错的特征鉴别力。但是，这种方法对计算机内存的开销很大，计算速度较慢，导致在实际情况下无法使用高分辨率的体素网络。
2017年由斯坦福大学的Qi等人所提出的PointNet点云深度网络模型开创性地利用深度网络直接处理不规则的三维点云原始数据，该模型以原始的三维点云作为输入，可以同时进行分类和分割任务预测，并取得了比较好的预测效果。但是该网络模型存在一个明显的不足，即没有考虑到点云的局部结构，不能构建邻域内点云与点云之间的关系，这也导致其预测的精度无法得到进一步的提高。
因此，现有技术有待于进一步的改进。
发明内容
鉴于上述现有技术中的不足之处，本发明的目的在于为用户提供一种点云分类方法、分割方法及相关设备，克服现有技术中三维点云的分类和分割任务预测由于未考虑到点云的局部结构，导致分类或预测精度无法进一步提高的缺陷。
本发明解决技术问题所采用的技术方案如下：
第一方面，本实施例提供了一种基于图卷积和通道注意力机制的点云分类方法，其中，包括步骤：
将点云数据输入预设点云分类模型，其中，所述点云分类模型包括：至少一个KNN图卷积模块和通道注意力模块；
依次通过各个所述KNN图卷积模块提取所述点云数据中所含点云数据中每个顶点所有边的特征聚合数据；
将所述特征聚合数据依次经过多层感知器和池化处理后，得到第一全局点云特征；
将所述第一全局点云特征输入所述通道注意力模块，通过所述通道注意力模块得到调整后的第二全局点云特征；
根据调整后的第二全局点云特征得到点云分类结果。
可选的，所述KNN图卷积模块包括边特征提取单元和特征聚合单元；
所述依次通过各个所述KNN图卷积模块提取所述点云数据中所含点云数据中每个顶点所有边的特征聚合数据的步骤包括：
将点云数据中各个点数据的中心节点特征、邻域节点特征以及节点间的特征差值输入所述特征提取单元，通过所述特征提取单元得到所述点云数据中点云之间所连接的边特征；
将所述边特征输入特征聚合单元，通过所述特征聚合单元得到所述点云数据中各个顶点所有边的特征聚合数据。
可选的，所述将所述第一全局点云特征输入所述通道注意力模块，通过所述通道注意力模块得到调整后的第二全局点云特征的步骤包括：
对所述第一全局点云特征进行通道分组，得到多个全局点云特征分组；其中，通道分组的维度分为K个组，每个组向量的维度为d，k和d均为正整数；
利用平均池化方法计算出各个全局点云特征分组的局部特征；
将各个全局点云特征分组中的全局点云特征与其自身所在全局点云特征分组计算出的局部特征做点积，得到各个全局点云特征分组的初始注意力分数；
对各个所述初始注意力分数进行归一化处理，并利用激活函数对归一化处理的结果进行激活，得到激活后的注意力分数；
将各个全局点云特征分组中的全局点云特征与其自身所在全局点云特征分组激活后的注意力分数相乘，得到各个全局点云特征分组的分组特征；
将各个分组特征进行级联计算，得到与所述点云数据对应的全局特征。
可选的，所述KNN图卷积模块的个数为2个，且所述特征聚合单元中采用MAX函数运算得到所述点云数据中各个顶点所有边的特征聚合数据。
第二方面，本实施例还公开了一种基于图卷积和通道注意力机制的点云分割方法，其中，包括：
将点云数据输入预设点云分割模型，其中，所述点云分割模型包括：至少一个KNN图卷积模块和通道注意力模块；
依次通过各个所述KNN图卷积模块提取所述点云数据中所含点云数据中每个顶点所有边的特征聚合数据；
将所述特征聚合数据依次经过多层感知器和池化处理后，得到第一全局点云特征；
将所述第一全局点云特征输入所述通道注意力模块，通过所述通道注意力模块得到调整后的第二全局点云特征；
将各个所述KNN图卷积模块提取到的多个特征聚合与调整后的第二全局点云特征做级联，通过多层感知器处理后得到点云分割结果。
可选的，所述KNN图卷积模块包括边特征提取单元和特征聚合单元；
所述通依次通过各个所述KNN图卷积模块提取所述点云数据中所含点云数据中每个顶点所有边的特征聚合数据的步骤包括：
将点云数据中各个点数据的中心节点特征、邻域节点特征以及节点间的特征差值输入所述特征提取单元，通过所述特征提取单元得到所述点云数据中点云之间所连接的边特征；
将所述边特征输入特征聚合单元，通过所述特征聚合单元得到所述点云数据中各个顶点所有边的特征聚合数据。
可选的，所述将所述第一全局点云特征输入所述通道注意力模块，通过所述通道注意力模块得到调整后的第二全局点云特征的步骤包括：
对所述第一全局点云特征进行通道分组，得到多个全局点云特征分组；其中，通道分组的维度分为K个组，每个组向量的维度为d，K和d均为正整数；
利用平均池化方法计算出各个全局点云特征分组的局部特征；
将各个全局点云特征分组中的全局点云特征与其自身所在全局点云特征分组计算出的局部特征做点积，得到各个全局点云特征分组的初始注意力分数；
对各个所述初始注意力分数进行归一化处理，并利用激活函数对归一化处理的结果进行激活，得到激活后的注意力分数；
将各个全局点云特征分组中的全局点云特征与其自身所在全局点云特征分组激活后的注意力分数相乘，得到各个全局点云特征分组的分组特征；
将各个分组特征进行级联计算，得到与所述点云数据对应的全局特征。
可选的，所述KNN图卷积模块的个数为2个，所述点云分割模型包括第一KNN图卷积模块和第二KNN图卷积模块；所述第一KNN图卷积模块与第二KNN图卷积模块级联；
所述将各个所述KNN图卷积模块提取到的多个特征聚合与调整后的第二全局点云特征做级联，通过多层感知器处理后得到点云分割结果的步骤包括：
将第一KNN图卷积模块中提取到的第一特征聚合、第二KNN图卷积模块中提取到的第二特征聚合和调整后的第二全局点云特征做级联，通过多层感知器处理后得到所述点云数据中各个点云所属预测类别。
第三方面，本实施例还公开了一种电子设备，包括存储器和处理器，所述存储器存储有可被所述处理器执行的计算机可读程序，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如所述的点云分类方法中的步骤，或以实现如所述的点云分割方法中的步骤。
第四方面，本实施例还公开了一种计算机可读存储介质，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，实现如所述的点云分类方法中的步骤，或实现如所述的点云分割方法中的步骤。
有益效果，本发明提供了一种基于图卷积和通道注意力机制的点云分类方法、分割方法及相关设备，基于图卷积网络结构和通道注意力机制构建出点云分类模型和点云分割模型，并使用构建出的所述点云分类模型和点云分割模型对三维点云进行分类和分割，所述点云分类模型和点云分割模型均包括至少一个KNN图卷积模块和通道注意力模块，通过所述KNN图卷积模块捕获所述点云数据的局部特征，增加了特征空间中领域内点云与点云之间的关联，通过所述通道注意力模块增加点云数据的通道注意力，增加了特征通道之间的相互依赖关系，加强点云的全局特征表示，从而提高了利用深度网络进行三维点云的分类和/或分割的预测准确度。
附图说明
图1是本发明实施例提供的点云分类方法的步骤流程图；
图2是本发明实施例构建出的点云KNN图的结构示意图；
图3是本发明实施例中KNN图卷积模块的数据处理原理示意图；
图4是本发明实施例中通道注意力模块的结构示意图；
图5是本发明实施例提供的点云分类模块的结构示意图；
图6是本发明实施例提供的点云分割方法的步骤流程图；
图7是本发明实施例提供的点云分类模块的结构示意图
图8是本发明提供的一种电子设备的原理结构框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
点云是分布在三维空间中点的集合(数学表达为n×F的矩阵，其中n为点云的数目，F为特征数，通常为3包括三维的坐标(x，y，z)，此外还可以包括强度、颜色等附加信息。)点云的数学表达不唯一，具有无序性和旋转不变性，属于非结构性三维模型数据。
目前，深度学习算法对三维模型的处理主要集中在使用二维图像投影映射的预处理方案，该方案较为方便，但需要将模型格式进行转换并做预处理，因此使用深度学习算法直接处理点云数据是当前研究的一大难点和热点。
2017年，Qi等人首次提出了一种直接用于三维模型点云数据表示的分割和分类任务的神经网络模型PointNet，其通过空间变换网络和最大池化方法解决了点云旋转和点云无序性的问题，在ModelNet三维物体分类数据集上的分类准确率达到89.2％，并在S3DIS室内场景分割数据集上取得了不错的分割效果。同年，Qi等人又对PointNet做出了改进，提出了新的改进网络PointNet++，该网络在先前的基础上加入了对点云局部特征的提取，从而改善了分类和分割任务的效果，在ModelNet上的分类准确率提升至91.9％。然而，这些网络忽略了空间中邻域内点云与点云之间的联系，即不能充分提取利用点云的局部特征信息，因此其分类和分割的精度受到了一定的影响。为了解决改进网络PointNet++忽略了空间中邻域内点云与点云之间的联系，使得输入点云数据的分类和分割的精度受到了限制，本发明实施例提供了一种基于基于图卷积和通道注意力机制的点云分类方法、分割方法及相关设备，使得对三维点云的分类或分割更为准确。
方法示例
第一方面，本实施例提供了一种基于图卷积和通道注意力机制的点云分类方法，如图1所示，包括步骤：
步骤S1、将点云数据输入预设点云分类模型，其中，所述点云分类模型包括：至少一个KNN图卷积模块和通道注意力模块。
首先将点云数据输入到预设点云分类模型中，所述预设点云分类模型中增加设置了KNN图卷积模块和通道注意力模块。
首先构造特征空间内的KNN图，其中，特征空间是指点云深度网络中经过多层感知器进行特征维度变换后的空间，取中心点云最近的K个点，中心点和最近的K个点构成一个KNN图。结合图2所示，为点云的KNN图的示意图，其中，xi为中心点节点，
Figure BDA0002359757940000071
为中心节点xi最近的K个邻近点，eij则表示点云之间所连接的边特征。
在KNN图卷积模块中输入为n×F的点云，n为点云数量，F代表每个点云的特征维度。构造特征空间EF的KNN图G＝(X,E)，其中X代表图中点云的集合，E代表点云与点云之间所连接的边的集合。
本实施例中构建出的点云KNN图卷积可以和图像中的卷积运算进行类比，xi可以看做图像的中心像素，{xj：j：(i，j)∈∈}则表示∈邻域中xi周围的像素。如果KNN图卷积层的输入为n个点，特征维度为F，则输出为n个点，特征维度为F′。
进一步的，目前有许多深度学习网络在特征通道上提升网络的性能，如SENet、SKNet等，这些网络结构显式地构建了特征通道之间的相互依赖关系，从而提升网络预测的精度。因此，为了提高点云分类模型对点云数据分类的预测精度，在所述点云分类模型中增加了一个基于通道分组注意力机制构建出的通道注意力模块，以更进一步提升网络预测的精度。
具体的，所述通道注意力模块中通过将点云经过多层感知器MLP和最大池化Maxpooling操作后得到的全局点云特征χ进行通道分组，并对通道分组后的全局点云特征进行全局特征的优化，得到优化后的全局特征。
步骤S2、依次通过各个所述KNN图卷积模块提取所述点云数据中所含点云数据中每个顶点所有边的特征聚合数据。
当点云数据输入到预设的点云分类模型中后，首先输入到KNN图卷积模块中，所述KNN图卷积模块输入的为n×F的点云数据，n为点云数量，F代表每个点云的特征维度，输出的为三维点云数据中每个顶点所有边的特征聚合数据。
具体的，所述KNN图卷积模块包括边特征提取单元和特征聚合单元，因此本步骤所述通依次通过各个所述KNN图卷积模块提取所述点云数据中所含点云数据中每个顶点所有边的特征聚合数据的步骤包括：
步骤S21、将点云数据中各个点数据的中心节点特征、邻域节点特征以及节点间的特征差值输入所述特征提取单元，通过所述特征提取单元得到所述点云数据中点云之间所连接的边特征。
结合图3所示，由于KNN图卷积模块中考虑点云中点与点之间关联，为了捕获特征空间中点云的局部特征，定义出边特征函数，所述边特征函数的表达式如下：
Figure BDA0002359757940000081
其中，
Figure BDA0002359757940000082
为多层感知器，边特征函数hθ(xi，xj)的输入由中心节点特征xi、邻域节点特征xj以及节点间的特征差值xj-xi组成，输出为边特征。
所述边特征提取单元利用所述边特征函数对输入的点云数据进行边特征提取，从而得到与所述点云数据中各个点之间连接的边特征。
步骤S22、将所述边特征输入特征聚合单元，通过所述特征聚合单元得到所述点云数据中各个顶点所有边的特征聚合数据。
将上述边特征提取单元中输出的边特征输入到特征聚合单元，通过所述特征聚合单元得到对边特征进行聚合操作后的边特征聚合数据。
由于点云的不规则性质，因此需要与图像的卷积运算区别开来。在图卷积网络中，特征聚合函数常选用最大函数(max)、求和函数(sum)、平均函数(mean)等，本实施例中选用max函数为特征聚合函数选取max函数进行特征聚合操作。
由于KNN图卷积模块在编码时构建了点与点之间的关联以捕捉点云的局部特征，因此能实现深度网络在物体分类与场景分割任务上的精度提升。
步骤S3、将所述特征聚合数据依次经过多层感知器和池化处理后，得到第一全局点云特征。
将上述步骤S2中提取出的特征聚合数据经过多层感知器和池化处理，得到点云数据对应的第一全局点云特征。具体的，本步骤中是对上述步骤S2中提取到的边特征的特征聚合数据经过多层感知器MLP和最大池化操作后得到的全局点云特征。
步骤S4、将所述第一全局点云特征输入所述通道注意力模块，通过所述通道注意力模块得到调整后的第二全局点云特征。
将所述第一全局点云特征进行通道分组，按照通道维度分成K个组，每个组向量的维度为d。具体的，K为网络的超参数，可为通道数的倍数，比如：4、16、32或64等。若通道数为4，则表示将第一全局点云特征分成四组。
采用平均池化方法求每个组的局部特征gi(i＝1，2，…，K)，每个组的局部特征的计算公式为：
Figure BDA0002359757940000091
其中，d为组向量的维度、χij为各个组内的第一全局点云特征。
每组特征在通道上与其局部特征做点积以得到初始注意力分数，所述初始注意力分数计算公式如下：
ci＝gi·χi
其中，gi为每个组的局部特征，χi为每个组的第一全局点云特征。
对该初始注意力分数进行归一化操作，再使用sigmoid函数进行激活；
将激活后的注意力分数与原分组特征进行相乘得到新的分组特征；
将所有新的分组特征进行级联，得到新的全局特征χ′。
结合图4所示，对各个通道上的第一全局点云特征进行平均池化后，得到平均池化后的每个组的局部特征，将局部特征与其自身的第一全局点云特征进行点积，得到各个组的初始注意力分数。将初始注意力分数进行归一化和使用激活函数进行激活后，将激活后的注意力分数再与原第一全局点云特征相乘，得到新的分组特征，最后将新的分组特征进行级联，得到的全局特征χ′。
步骤S5、根据调整后的第二全局点云特征得到点云分类结果。
将上述步骤中得到的全局特征χ′输入至连接在所述通道注意模块后的全连接层，得到点云数据的分类结果。
进一步的，结合图5所示的，所述点云分类模型的网络结构示意图，本实施例所提供的点云分类模型中所述KNN图卷积模块的个数为2个，通过连续两个KNN图卷积模块对输入的点云数据进行处理，得到点云数据中边特征的特征聚合数据。为了实现更好的特征聚合效果，所述特征聚合单元中采用MAX函数运算得到所述点云数据中各个顶点所有边的特征聚合数据。
对于点云分类网络：网络的输入是N个点，特征维度为3，每个点包含三维点云坐标信息，连续通过两个KNN图卷积模块以提取点云的局部特征，然后再通过共享的多层感知器将点云特征升维到高维，例如：1024维，并通过最大池化得到点云的全局点云特征，接着将全局点云特征输入通道注意力模块，以更进一步得到优化后点云的全局特征。最后再通过全连接层进行多个类别预测。
在上述点云分类方法的基础上，本实施例还公开了一种基于图卷积和通道注意力机制的点云分割方法，如图6所示，包括：
步骤H1、将点云数据输入预设点云分割模型，其中，所述点云分割模型包括：至少一个KNN图卷积模块和通道注意力模块；
步骤H2、依次通过各个所述KNN图卷积模块提取所述点云数据中所含点云数据中每个顶点所有边的特征聚合数据；
步骤H3、将所述特征聚合数据依次经过多层感知器和池化处理后，得到第一全局点云特征；
步骤H4、将所述第一全局点云特征输入所述通道注意力模块，通过所述通道注意力模块得到调整后的第二全局点云特征；
步骤H5、将各个所述KNN图卷积模块提取到的多个特征聚合与调整后的第二全局点云特征做级联，通过多层感知器处理后得到点云分割结果。
进一步的，所述KNN图卷积模块包括边特征提取单元和特征聚合单元；
所述通依次通过各个所述KNN图卷积模块提取所述点云数据中所含点云数据中每个顶点所有边的特征聚合数据的步骤包括：
将点云数据中各个点数据的中心节点特征、邻域节点特征以及节点间的特征差值输入所述特征提取单元，通过所述特征提取单元得到所述点云数据中点云之间所连接的边特征；
将所述边特征输入特征聚合单元，通过所述特征聚合单元得到所述点云数据中各个顶点所有边的特征聚合数据。
进一步的，所述将所述第一全局点云特征输入所述通道注意力模块，通过所述通道注意力模块得到调整后的第二全局点云特征的步骤包括：
对所述第一全局点云特征进行通道分组，得到多个全局点云特征分组；其中，通道分组的维度分为K个组，每个组向量的维度为d，K和d均为正整数；
利用平均池化方法计算出各个全局点云特征分组的局部特征；
将各个全局点云特征分组中的全局点云特征与其自身所在全局点云特征分组计算出的局部特征做点积，得到各个全局点云特征分组的初始注意力分数；
对各个所述初始注意力分数进行归一化处理，并利用激活函数对归一化处理的结果进行激活，得到激活后的注意力分数；
将各个全局点云特征分组中的全局点云特征与其自身所在全局点云特征分组激活后的注意力分数相乘，得到各个全局点云特征分组的分组特征；
将各个分组特征进行级联计算，得到与所述点云数据对应的全局特征。
进一步的，所述KNN图卷积模块的个数为2个，所述点云分割模型包括第一KNN图卷积模块和第二KNN图卷积模块；所述第一KNN图卷积模块与第二KNN图卷积模块级联；
所述将各个所述KNN图卷积模块提取到的多个特征聚合与调整后的第二全局点云特征做级联，通过多层感知器处理后得到点云分割结果的步骤包括：
将第一KNN图卷积模块中提取到的第一特征聚合、第二KNN图卷积模块中提取到的第二特征聚合和调整后的第二全局点云特征做级联，通过多层感知器处理后得到所述点云数据中各个点云所属预测类别。
本实施例中所提供的点云分割方法所使用的点云分割模块与所述点云分类模型相似，同样加入了图卷积模块和通道注意力模块。但是由于点云分割与分类任务不同，分割任务是为每一个点云预测出一个语义标签、本发明将采用多层次级联结构，将网络不同层的点云特征和全局特征做级联后然后通过多层感知器对每个点进行P个类别预测。
结合图7中所示，在点云分割模型中将第一KNN图卷积模块中输出的点云特征与第二个KNN图卷积模块中输出的点云特征，以及通道注意力模块中输出的全局特征做级联计算，并通过多层感知器得到最终的点云类别分割预设结果。
设备示例
第三方面，本实施例还公开了一种电子设备，如图8所示，包括存储器和处理器，所述存储器存储有可被所述处理器执行的计算机可读程序，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如所述的点云分类方法中的步骤，或以实现如所述的点云分割方法中的步骤。
第四方面，本实施例还公开了一种计算机可读存储介质，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，实现如所述的点云分类方法中的步骤，或实现如所述的点云分割方法中的步骤。
为了验证模型分类的效果，本发明在ModelNet40数据集上进行测试，并和其他三维深度模型分类精度进行对比，还采用forward pass time衡量指标比较了各个模型的复杂性，结果如下表所示：
下表为几种模型在ModelNet40数据集上分类的精度和计算复杂度比较
Figure BDA0002359757940000131
由表可见，相比于其他分类网络在ModelNet40数据集的表现，本发明所提出的模型整体分类精度相较于PointNet高出2.6％，且比PoinNet++高出1.1％，同时模型的计算速度和PointNet接近，而且模型相较于PointNet++网络快了将近5倍。
为了验证本发明所提出的网络模型在三维点云分割任务上的表现，本发明在斯坦福大规模3D室内空间数据集(S3DIS)上进行三维场景语义分割实验。S3DIS是一个规模庞大、标注非常丰富的数据集。该数据集包含6个区域共272个房间的场景。其中场景的点云共有13个类别的语义标签，本发明对数据集中的五个区域用作训练数据，剩下一个区域作为测试数据。本发明采用以下三种评价指标来对网络模型性能评估：总体准确率(over allaccuracy，oA)、平均准确率(mean class accuracy，mA)、平均交并比(mean intersectionover union，mIoU)，具体数据如下表所示：
下表为三维网络分割性能比较
Figure BDA0002359757940000141
从上表可以看出使用本实施例所提供的点云分类模型进行点云分类或者使用本实施例所提供的点云分割模型进行点云分割，其所得到的预测结果在总体准确率(overall accuracy，oA)、平均准确率(mean class accuracy，mA)、平均交并比(meanintersection over union，mIoU)均高于使用其他深度网络模型得到的预测结果。
本发明提供了一种基于图卷积和通道注意力机制的点云分类方法、分割方法及相关设备，基于图卷积网络结构和通道注意力机制构建出点云分类模型和点云分割模型，并使用构建出的所述点云分类模型和点云分割模型对三维点云进行分类和分割，所述点云分类模型和点云分割模型均包括至少一个KNN图卷积模块和通道注意力模块，通过所述KNN图卷积模块捕获所述点云数据的局部特征，增加了特征空间中领域内点云与点云之间的关联，通过所述通道注意力模块增加点云数据的通道注意力，增加了特征通道之间的相互依赖关系，加强点云的全局特征表示，从而提高了利用深度网络进行三维点云的分类和/或分割的预测准确度。
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种基于图卷积和通道注意力机制的点云分类方法，其特征在于，包括步骤：
将点云数据输入预设点云分类模型，其中，所述点云分类模型包括：至少一个KNN图卷积模块和通道注意力模块；
依次通过各个所述KNN图卷积模块提取所述点云数据中所含点云数据中每个顶点所有边的特征聚合数据；
将所述特征聚合数据依次经过多层感知器和池化处理后，得到第一全局点云特征；
将所述第一全局点云特征输入所述通道注意力模块，通过所述通道注意力模块得到调整后的第二全局点云特征；
根据调整后的第二全局点云特征得到点云分类结果；
所述将所述第一全局点云特征输入所述通道注意力模块，通过所述通道注意力模块得到调整后的第二全局点云特征的步骤包括：
对所述第一全局点云特征进行通道分组，得到多个全局点云特征分组；其中，通道分组的维度分为K个组，每个组向量的维度为d，K和d均为正整数；
利用平均池化方法计算出各个全局点云特征分组的局部特征；
将各个全局点云特征分组中的全局点云特征与其自身所在全局点云特征分组计算出的局部特征做点积，得到各个全局点云特征分组的初始注意力分数；
对各个所述初始注意力分数进行归一化处理，并利用激活函数对归一化处理的结果进行激活，得到激活后的注意力分数；
将各个全局点云特征分组中的全局点云特征与其自身所在全局点云特征分组激活后的注意力分数相乘，得到各个全局点云特征分组的分组特征；
将各个分组特征进行级联计算，得到与所述点云数据对应的全局特征。
2.根据权利要求1所述的基于图卷积和通道注意力机制的点云分类方法，其特征在于，所述KNN图卷积模块包括边特征提取单元和特征聚合单元；
所述依次通过各个所述KNN图卷积模块提取所述点云数据中所含点云数据中每个顶点所有边的特征聚合数据的步骤包括：
将点云数据中各个点数据的中心节点特征、邻域节点特征以及节点间的特征差值输入所述特征提取单元，通过所述特征提取单元得到所述点云数据中点云之间所连接的边特征；
将所述边特征输入特征聚合单元，通过所述特征聚合单元得到所述点云数据中各个顶点所有边的特征聚合数据。
3.根据权利要求2所述的基于图卷积和通道注意力机制的点云分类方法，其特征在于，所述KNN图卷积模块的个数为2个，且所述特征聚合单元中采用MAX函数运算得到所述点云数据中各个顶点所有边的特征聚合数据。
4.一种基于图卷积和通道注意力机制的点云分割方法，其特征在于，包括：
将点云数据输入预设点云分割模型，其中，所述点云分割模型包括：至少一个KNN图卷积模块和通道注意力模块；
依次通过各个所述KNN图卷积模块提取所述点云数据中所含点云数据中每个顶点所有边的特征聚合数据；
将所述特征聚合数据依次经过多层感知器和池化处理后，得到第一全局点云特征；
将所述第一全局点云特征输入所述通道注意力模块，通过所述通道注意力模块得到调整后的第二全局点云特征；
将各个所述KNN图卷积模块提取到的多个特征聚合与调整后的第二全局点云特征做级联，通过多层感知器处理后得到点云分割结果；
所述将所述第一全局点云特征输入所述通道注意力模块，通过所述通道注意力模块得到调整后的第二全局点云特征的步骤包括：
对所述第一全局点云特征进行通道分组，得到多个全局点云特征分组；其中，通道分组的维度分为K个组，每个组向量的维度为d，K和d均为正整数；
利用平均池化方法计算出各个全局点云特征分组的局部特征；
将各个全局点云特征分组中的全局点云特征与其自身所在全局点云特征分组计算出的局部特征做点积，得到各个全局点云特征分组的初始注意力分数；
对各个所述初始注意力分数进行归一化处理，并利用激活函数对归一化处理的结果进行激活，得到激活后的注意力分数；
将各个全局点云特征分组中的全局点云特征与其自身所在全局点云特征分组激活后的注意力分数相乘，得到各个全局点云特征分组的分组特征；
将各个分组特征进行级联计算，得到与所述点云数据对应的全局特征。
5.根据权利要求4所述基于图卷积和通道注意力机制的点云分割方法，其特征在于，所述KNN图卷积模块包括边特征提取单元和特征聚合单元；
所述通依次通过各个所述KNN图卷积模块提取所述点云数据中所含点云数据中每个顶点所有边的特征聚合数据的步骤包括：
将点云数据中各个点数据的中心节点特征、邻域节点特征以及节点间的特征差值输入所述特征提取单元，通过所述特征提取单元得到所述点云数据中点云之间所连接的边特征；
将所述边特征输入特征聚合单元，通过所述特征聚合单元得到所述点云数据中各个顶点所有边的特征聚合数据。
6.根据权利要求5所述基于图卷积和通道注意力机制的点云分割方法，其特征在于，所述KNN图卷积模块的个数为2个，所述点云分割模型包括第一KNN图卷积模块和第二KNN图卷积模块；所述第一KNN图卷积模块与第二KNN图卷积模块级联；
所述将各个所述KNN图卷积模块提取到的多个特征聚合与调整后的第二全局点云特征做级联，通过多层感知器处理后得到点云分割结果的步骤包括：
将第一KNN图卷积模块中提取到的第一特征聚合、第二KNN图卷积模块中提取到的第二特征聚合和调整后的第二全局点云特征做级联，通过多层感知器处理后得到所述点云数据中各个点云所属预测类别。
7.一种电子设备，包括存储器和处理器，所述存储器存储有可被所述处理器执行的计算机可读程序，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～3任一项所述的点云分类方法中的步骤，或以实现如权利要求4～6任一项所述的点云分割方法中的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，实现如权利要求1～3任一项所述的点云分类方法中的步骤，或实现如权利要求4～6任一项所述的点云分割方法中的步骤。
CN202010018275.3A 2020-01-08 2020-01-08 一种点云分类方法、分割方法及相关设备 Active CN111242208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010018275.3A CN111242208B (zh) 2020-01-08 2020-01-08 一种点云分类方法、分割方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010018275.3A CN111242208B (zh) 2020-01-08 2020-01-08 一种点云分类方法、分割方法及相关设备

Publications (2)

Publication Number Publication Date
CN111242208A CN111242208A (zh) 2020-06-05
CN111242208B true CN111242208B (zh) 2023-05-02

Family

ID=70870308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010018275.3A Active CN111242208B (zh) 2020-01-08 2020-01-08 一种点云分类方法、分割方法及相关设备

Country Status (1)

Country Link
CN (1) CN111242208B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052884A (zh) * 2020-08-17 2020-12-08 南京审计大学 一种基于局部边缘特征增强的点云分类方法及系统
CN112348056A (zh) * 2020-10-16 2021-02-09 北京大学深圳研究生院 点云数据分类方法、装置、设备及可读存储介质
CN112365456B (zh) * 2020-10-29 2022-08-16 杭州富阳富创大数据产业创新研究院有限公司 基于三维点云数据的变电站设备分类方法
CN112308137B (zh) * 2020-10-30 2022-05-13 闽江学院 一种利用注意力机制聚合邻域点和全局特征的图像匹配方法
CN112672168B (zh) * 2020-12-14 2022-10-18 深圳大学 基于图卷积的点云压缩方法及装置
CN112818999B (zh) * 2021-02-10 2022-10-28 桂林电子科技大学 一种基于卷积神经网络的复杂场景3d点云语义分割方法
CN112967296B (zh) * 2021-03-10 2022-11-15 重庆理工大学 一种点云动态区域图卷积方法、分类方法及分割方法
CN112990336B (zh) * 2021-03-31 2024-03-26 东南大学 基于竞争注意力融合的深度三维点云分类网络构建方法
WO2022096943A1 (en) * 2021-04-15 2022-05-12 Sensetime International Pte. Ltd. Method and apparatus for processing point cloud data, device, and storage medium
CN112862730B (zh) * 2021-04-26 2021-07-27 深圳大学 点云特征增强方法、装置、计算机设备和存储介质
CN113177555B (zh) * 2021-05-21 2022-11-04 西南大学 基于跨层级跨尺度跨注意力机制的目标处理方法及装置
CN113393474B (zh) * 2021-06-10 2022-05-13 北京邮电大学 一种基于特征融合的三维点云的分类和分割方法
CN113361538B (zh) * 2021-06-22 2022-09-02 中国科学技术大学 一种基于自适应选择邻域的点云分类和分割方法及系统
CN113516663B (zh) * 2021-06-30 2022-09-27 同济大学 点云语义分割方法及装置、电子设备及存储介质
CN113744186A (zh) * 2021-07-26 2021-12-03 南开大学 一种融合投影点集分割网络对工件表面缺陷检测的方法
CN113642712B (zh) * 2021-08-17 2023-08-08 成都视海芯图微电子有限公司 一种基于深度学习的点云数据处理器及方法
CN113850304A (zh) * 2021-09-07 2021-12-28 辽宁科技大学 一种高准确率的点云数据分类分割改进算法
CN114693932B (zh) * 2022-04-06 2023-07-21 南京航空航天大学 一种大型飞机大部件点云语义分割方法
CN115456064B (zh) * 2022-09-05 2024-02-02 江汉大学 基于点云的物体分类方法及相关设备
CN116977572B (zh) * 2023-09-15 2023-12-08 南京信息工程大学 一种多尺度动态图卷积的建筑物立面结构提取方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245709A (zh) * 2019-06-18 2019-09-17 西安电子科技大学 基于深度学习和自注意力的3d点云数据语义分割方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245709A (zh) * 2019-06-18 2019-09-17 西安电子科技大学 基于深度学习和自注意力的3d点云数据语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
路强 ; 张春元 ; 陈超 ; 余烨 ; YUAN Xiao-hui ; .基于体素特征重组网络的三维物体识别.图学学报.2019,(02),第30-37页. *

Also Published As

Publication number Publication date
CN111242208A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN111242208B (zh) 一种点云分类方法、分割方法及相关设备
Hussain et al. A deep neural network and classical features based scheme for objects recognition: an application for machine inspection
Wen et al. Airborne LiDAR point cloud classification with global-local graph attention convolution neural network
CN112488210A (zh) 一种基于图卷积神经网络的三维点云自动分类方法
Wang et al. 3D-CenterNet: 3D object detection network for point clouds with center estimation priority
Cui et al. Geometric attentional dynamic graph convolutional neural networks for point cloud analysis
Gu et al. Blind image quality assessment via learnable attention-based pooling
Tian et al. Small object detection via dual inspection mechanism for UAV visual images
Grigorev et al. Depth estimation from single monocular images using deep hybrid network
Huang et al. View-based weight network for 3D object recognition
CN114998638A (zh) 基于动静态卷积融合神经网络的多视图三维点云分类方法
Zhao et al. A large-scale point cloud semantic segmentation network via local dual features and global correlations
Jiao et al. Non-local duplicate pooling network for salient object detection
Liang et al. SC2Net: Scale-aware crowd counting network with pyramid dilated convolution
Zhang et al. Graph-pbn: Graph-based parallel branch network for efficient point cloud learning
Huang et al. An object detection algorithm combining semantic and geometric information of the 3D point cloud
Wan et al. A geometry-aware attention network for semantic segmentation of MLS point clouds
Shuai et al. Regression convolutional network for vanishing point detection
Banerjee et al. Explaining deep-learning models using gradient-based localization for reliable tea-leaves classifications
Cao et al. QuasiVSD: efficient dual-frame smoke detection
CN116386042A (zh) 一种基于三维池化空间注意力机制的点云语义分割模型
Pei et al. FGO-Net: Feature and Gaussian Optimization Network for visual saliency prediction
Hu et al. QE-DAL: A quantum image feature extraction with dense distribution-aware learning framework for object counting and localization
Zhang et al. Multiple classifiers fusion for facial expression recognition
Zhao et al. CLDM: convolutional layer dropout module

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant