CN110197223B - 基于深度学习的点云数据分类方法 - Google Patents
基于深度学习的点云数据分类方法 Download PDFInfo
- Publication number
- CN110197223B CN110197223B CN201910454307.1A CN201910454307A CN110197223B CN 110197223 B CN110197223 B CN 110197223B CN 201910454307 A CN201910454307 A CN 201910454307A CN 110197223 B CN110197223 B CN 110197223B
- Authority
- CN
- China
- Prior art keywords
- layer
- scale
- data
- point cloud
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于深度学习的点云数据分类方法，该方法提出一种多尺度点云分类网络，首先，基于局部区域划分的完备性、自适应性、重叠性及多尺度特性要求，提出了多尺度局部区域划分算法，并以点云及不同层次的特征为输入，得到多尺度局部区域。然后构建了包含单尺度特征提取、低层次特征聚合及多尺度特征融合等模块的多尺度点云分类网络。该网络充分模拟了卷积神经网络的作用原理，具备随着网络尺度和深度的增加，局部感受野越来越大，特征抽象程度越来越高的基本特征。本发明在标准公开数据集ModelNet10和ModelNet40上，分别取得了94。71％和91。73％的分类准确率，在同类工作中处于领先或相当的水平，验证了本方法的可行性及有效性。
Description
技术领域
本发明涉及计算机图形学、计算机视觉与智能识别的技术领域，尤其是指一种基于深度学习的点云数据分类方法。
背景技术
随着激光雷达，RGBD相机等3D传感器在机器人，无人驾驶领域的广泛应用，点云数据的获取方式越来越方便快捷，其在三维数据中所占据的位置越来越重要。但想要利用好点云数据，如何能快速高效的识别点云数据是亟待解决的基础问题。
点云数据是三维数据的一种表征形式，它是由各类设备扫描出的以点形式记录物体外表面形状的点集合，通常每一个点包含有X，Y，Z三维坐标信息。随着激光雷达、RGBD相机等各类传感器在体感设备、机器人、无人驾驶等领域的广泛应用，点云数据的获取越来越便捷。不同于其他类型的三维数据，点云数据使用时不需要进行预处理，仅通过扫描便可获得，这一优点使它的地位日益提升。传感器的高速发展以及自动驾驶汽车等应用的巨大需求使得有效处理点云数据势在必行。
早期对点云数据的使用一般停留在针对特定任务进行的手工提取特征，Bronstein等(Bronstein M M，Kokkinos I.Scale-invariant heat kernel signaturesfor non-rigid shape recognition[C]//Proceedings of The Twenty-Third IEEEConference on Computer Vision and Pattern Recognition，CVPR 2010，SanFrancisco，CA，USA，13-18 June 2010.IEEE，2010.)提出提取点的某些统计特性，并且将其设计为针对某些变换(如距离等)该点特征不变。但是手工提取特征的方法不具有普适性且速度较慢，不能满足日益增长的需求。
近年来，深度学习已成为人工智能领域中备受瞩目的研究热点。作为经典的深度学习数据，卷积神经网络已成为许多先进的计算机视觉算法的基础，例如图像识别、对象分类和语义分割等。卷积神经网络可以从海量数据中自动学习特征的表示，并且能够针对新的应用从训练数据中很快学习得到新的有效的特征表示。尽管经典的卷积神经网络数据在二维图像领域取得了巨大的成功，但在处理三维数据上仍存在着挑战。Wu等(Wu Z，Song S，Khosla A，et al.3D shapenets:A deep representation for volumetric shapes[C]//Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.Washington DC:IEEE Computer Society Press.2015:1912-1920)在2015年首次提出了基于体素的三维深度信念网络3DShapenets，在ModelNet10和ModelNet40标准数据集上分别取得了83.54％，77.32％的分类准确率，较传统方法高出3-5个百分点.但体素数据本身的性质使得三维卷积计算十分冗余，性能在很大程度上受到了体素分辨率和指数级增长的计算成本的限制。由于三维卷积存在上述缺点，Su等(Su H，Maji S，Kalogerakis E，et al.Multi-view convolutional neural networks for 3d shaperecognition[C]//Proceedings of the IEEE international conference on computervision.Washington D C:IEEE Computer Society Press，2015:945-953)提出的MVCNN，以一组二维视图为输入，通过CNN构造二维视图的初始特征，并通过视图池化层融合各个二维视图的特征，获取三维数据的特征，完成分类.该方法在ModelNet40上的分类精度为89.9％，高于同一时期提出的基于体素的深度学习分类方法.然而，由于点云数据存在(1)点云具有无序性；(2)点云具有稀疏性；(3)点云信息量有限。将上述方法直接扩展到点云数据之上效果并不理想。
Qi等(C.R.Qi，H.Su，K.Mo，and L.J.Guibas.Pointnet:deep learning on pointsets for 3d classification and segmentation[C]//Proceedings of the IEEEConference on Computer Vision and Pattern Recognition，pages 652–660，2017.)针对点云数据的特性提出的PointNet网络首次将深度学习应用于点云分类任务.PointNet利用T-Net实现数据及特征的有效对齐，利用Maxpooling对称函数提取顺序无关的全局特征，在ModelNet40上取得了89.20％的分类精度.但PointNet无法提取点云数据的局部特征，之后出现的一系列工作都针对如何有效提取点云的局部特征而设计。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于深度学习的点云数据分类方法，借鉴二维图像领域卷积神经网络的思想，针对点云数据的卷积神经网络(MSP-Net)，该网络由多个模块组成，随着网络深度不断累加，特征抽象程度不断增加；随着网络宽度不断累加，局部感受野不断扩大，以此来提高点云数据的分类准确率。
为实现上述目的，本发明所提供的技术方案为：基于深度学习的点云数据分类方法，包括以下步骤：
S1、选用Princeton ModelNet的ModelNet10和ModelNet40数据集，从官网选取所需数量的数据作为训练数据和测试数据，生成训练集和数据集；
S2、对输入的点云数据进行数据增广；
S3、构建一种多尺度点云分类网络，该网络由3个不同的尺度网络构成，分别是低级尺度网络、中级尺度网络和高级尺度网络；所述低级尺度网络包含点云数据仿射变换模块、局部区域划分模块、单尺度特征提取模块和低层次特征聚合模块，所述中级尺度网络包含局部区域划分模块、单尺度特征提取模块和低层次特征聚合模块，所述高级尺度网络包含局部区域划分模块和单尺度特征提取模块；最终的分类结果由上述三个网络获取的特征向量聚合后通过特征聚合模块获得；
S4、提出了一种点云数据局部区域划分算法，对增广后的点云数据使用该算法获取每个点的领域信息，送入点云数据仿射变换模块，保证输入数据的仿射变换不变性；
S5、对经过仿射变换模块后的点云数据再使用步骤S4提出的点云数据局部区域划分算法，形成多尺度局部数据并分别送入每个尺度网络形成多个单尺度特征向量；
S6、对不同尺度的单尺度特征送入特征聚合模块进行特征聚合，将聚合后的特征通过全连接层送入分类器实现对点云数据的分类。为了避免深度学习网络训练中出现过拟合，每个全连接层后有一个dropout层。
在步骤S1中，选用Princeton ModelNet数据集，采用官网数据，针对ModelNet10和ModelNet40分别选取3991、9843个数据作为训练数据，908、2468个数据作为测试数据，库内所有数据均按照Z轴方向正确摆放；数据集中的三维数据数据表面进行均匀采样，每个数据均包含10000个点，且坐标预先被归一化至单位球[-1，1]区间内。
在步骤S2中，对于原始数据采用随机抽取的方式构建包含1024个点的低分辨率采样，并通过随机旋转、[0.8,1.2]尺度范围内随机缩放、(-0.1,0.1)区间内随机抖动、添加(0.01,0.05)高斯噪声这些方式实现数据扩增。
在步骤S3中，所述低级尺度网络，其第一层为输入层，第二层为仿射变换层，第三至五层为单尺度特征提取层，各层结构如下：
第一层，输入层：将通过数据增广获得的增广点云数据通过局部区域划分模块，划分成符合网络要求的点云数据，将其作为训练样本输入到网络；
第二层，仿射变换层：将输入层输入的数据送入对齐层实现数据对仿射变换的不变，通过该层的数据再次通过局部区域划分模块，划分成符合网络要求的点云数据；
第三层，单尺度特征提取层：包含一个卷积层和一个激活函数层，该单尺度特征提取层得到的数据将同时送入下一个单尺度特征提取层与低层次特征聚合，低层次特征聚合通过一个池化函数，得到下一尺度的输入；
第四层，单尺度特征提取层：包含一个卷积层、一个激活函数层和一个池化层；
第五层，单尺度特征提取层：包含一个卷积层、一个激活函数层和一个池化层；
所述中级尺度网络，其第一层为输入层，第二至三层为单尺度特征提取层，各层结构如下：
第一层，输入层：将通过低级尺度网络的第三层中低层次特征聚合的特征向量通过局部区域划分模块，划分成符合网络要求的点云数据，将其作为训练样本输入到网络；
第二层，单尺度特征提取层：包含一个卷积层、一个激活函数层和一个池化层，该单尺度特征提取层得到的数据将同时送入下一个单尺度特征提取层与低层次特征聚合，低层次特征聚合通过一个池化函数，得到下一尺度的输入；
第三层，单尺度特征提取层：包含一个卷积层、一个激活函数层和一个池化层；
所述高级尺度网络，其第一层为输入层，第二层为单尺度特征提取层，各层结构如下：
第一层，输入层：将通过中级尺度网络的第二层中层次特征聚合的特征向量通过局部区域划分模块，划分成符合网络要求的点云数据，将其作为训练样本输入到网络；
第二层，单尺度特征提取层：包含一个卷积层、一个激活函数层和两个个池化层；
所述特征聚合模块，其第一、二层为隐藏层，第三层为输出层，各层结构如下：
第一层，隐藏层：包含一个全连接层、一个激活函数层和一个DropOut层；
第二层，隐藏层：包含一个全连接层、一个激活函数层和一个DropOut层；
第三层，输出层：包含一个全连接层和一个Softmax层。
在步骤S4中，由于三维点云数据仅包含一组离散的三维点集，缺乏关联信息，因此无明显的结构特征，在数据信息有限的情况下，如何形成鲁棒且合理的局部区域划分将影响分类任务的最终效果，一个好的局部区域划分应该满足以下三条原则：
a、点云覆盖的完备性；
b、空间分布的自适应性；
c、区域之间的重叠性；
同时，根据多尺度的思想，设计的划分方法还应该满足局部区域尺寸及局部区域数可控这一基本要求；
针对以上局部区域划分原则，构建了一种点云数据局部区域划分算法，具体如下：
输入：点云集合P＝{xi,i＝1,...,n}，局部区域的划分数目st＝(s1，s2，s3)及每个局部区域内所包含的点云数目k；其中，n为点云集合所包含的点云数目；
为第i个点所对应的特征向量，m为特征数目，因为不同的局部区域的划分数目sl(l＝1,2,3)间接地体现了局部区域的尺度大小，所以st亦称为局部区域尺度，局部区域尺度种类为3，依次为低级尺度s1＝1024、中级尺度s2＝256、高级尺度s3＝32；
输出：st个当前尺度下的局部区域及其中心{(Rj,οj)，1≤j≤st}，其中Rj为该尺度st下的第j个局部区域，oj为该局部区域中心；
Step1、局部区域的初始划分：基于欧式距离，利用凝聚层次聚类将点云集合P划分成st个局部点云簇；
Step2、局部点云簇簇中心的选取：依据局部区域内到其它点的距离和最小为基准，选取局部点云簇的簇中心；相对于求均值，这样的选取具有免受噪声点干扰且更加接近真实聚类中心的优点；
Step3、多尺度局部区域的形成：以st个局部点云簇簇中心{οj，1≤j≤st}为各个类的中心，利用K-NN算法寻找到该簇中心最近的k个点,完成聚类,形成st个包含k个点的局部区域Rj；
以上步骤中，初始簇中心的选取确保了局部区域划分的稳定性；K-NN算法则确保了点云覆盖的完整性和自适应性；此外，通过调整局部区域尺度st和每个局部区域内所包含的点云数目k，使得st×k大于点云聚合所包含的点云数目n，则进一步保证区域之间的重叠性；
同时，为了保证输入数据的仿射变换不变性，设置了点云数据仿射变换模块，该模块引入了仿射变换不变空间，目的是为了使输入数据对仿射变换不变；
在步骤S5中，输入仿射变换模块后的点云数据，送入低级尺度网络，给定尺度s1和每个局部区域内所包含的点云数目k，送入局部区域划分模块，该模块利用步骤S4的局部区域划分算法得到s1个局部区域划分，其中每个局部区域表示为k个点的集合，点为空间点云的三维坐标；
对局部区域Rj中的每一个点
利用
对其进行归一化，形成以区域中心oj为原点的局部空间，并将其与oj合并，形成六元组集合
其中oj表示归一化后的点在全局空间中的位置，
表示归一化后的点在局部空间中的位置；
输入归一化后的局部区域集合
被送入单尺度特征提取模块；对于低级尺度网络，该模块由三个单尺度特征提取层组成，每个单尺度特征提取层的核为[1,1]，步长为1；其中，第一、二个单尺度特征提取层的输出特征维度均为64，对通过第一、二个单尺度特征提取层所得到的特征向量使用最大池化函数Maxpooling，形成s1个64维局部特征；再次送入输出特征维度为896的第三个单尺度特征提取层和最大池化函数Maxpooling，形成896维的低尺度全局特征；这里，Maxpooling函数的使用保证了所形成的特征对数据内点云顺序的无关性；其中，第一个最大池化函数的作用是将局部区域内的点特征聚合，第二个最大池化函数的作用是将全局特征进行聚合；
对于低级尺度s1，在数据通过首个单尺度特征提取层时，其特征同时被传入低层次特征提取模块，该模块旨在为中级尺度的特征提取网络提供输入：通过与单尺度特征提取模块共享首个单尺度特征提取层提取各局部的低层次特征，并通过最大池化函数Maxpooling聚合形成s1×64的特征向量送入更高尺度特征提取网络；
由低级尺度网络的低层次特征提取模块获得的特征向量通过与低级尺度网络相同的局部划分和归一化方法得到
作为中级尺度网络的输入被送入单尺度特征提取模块，该模块由两个单尺度特征提取层组成，每个单尺度特征提取层的核为[1,1]，步长为1；其中，第一个单尺度特征提取层的输出特征维度均为128，对通过第一个单尺度特征提取层所得到的特征向量使用最大池化函数Maxpooling，形成s2个128维局部特征；再次送入输出特征维度为896的第二个单尺度特征提取层和最大池化函数Maxpooling，形成896维的中尺度全局特征；这里，Maxpooling函数的使用保证了所形成的特征对数据内点云顺序的无关性；其中，第一个最大池化函数的作用是将局部区域内的点特征聚合，第二个最大池化函数的作用是将全局特征进行聚合；
对于中级尺度s2，在数据通过首个单尺度特征提取层时，其特征同时被传入低层次特征提取模块，该模块旨在为高级尺度的特征提取网络提供输入：通过与单尺度特征提取模块共享首个单尺度特征提取层提取各局部的中层次特征，并通过最大池化函数Maxpooling聚合形成s2×128的特征向量送入更高尺度特征提取网络；
由中级尺度网络的低层次特征提取模块获得的特征向量通过与低级尺度网络相同的局部划分和归一化方法得到
作为高级尺度网络的输入被送入单尺度特征提取模块，该模块由一个单尺度特征提取层组成，单尺度特征提取层的核为[1,1]，步长为1，输出特征维度为896，并通过两个形成896维的高尺度全局特征；这里，最大池化函数Maxpooling的使用保证了所形成的特征对数据内点云顺序的无关性；其中，第一个最大池化函数的作用是将局部区域内的点特征聚合，第二个最大池化函数的作用是将全局特征进行聚合。
在步骤S6中，对于每个单尺度网络输出的特征向量在进入全连接层之前还将进行一次特征聚合，这里使用concat函数完成特征聚合操作，聚合形成的特征是包含了不同尺度局部信息的全局特征向量；再将其送入两层全连接，经由softmax层得到分类结果。
本发明与现有技术相比，具有如下优点与有益效果：
1、提出用于点云数据的基于深度学习点云卷积神经网络的三维数据分类方式，模拟卷积神经网络工作原理，具有：随着网络深度不断累加，特征抽象程度不断增加；随着网络宽度不断累加，局部感受野不断扩大的特征。
2、提出点云局部划分原则，并设计出一种鲁棒的多尺度局部空间划分方式，贴合点云数据的空间分布情况。该划分方法相比传统方法划分效果更为优异。
3、本方法所建立的深度学习点云卷积神经网络进一步提升了使用深度学习的点云数据分类算法的准确率，在ModelNet10、ModelNet40数据集上分别取得了94.71％、91.73％的分类精度。
4、本方法使用从点云数据中随机采样的方式来获取网络输入的低分辨率数据，相较于传统的取前1024个点，随机采样法大大降低了网络的拟合程度。
5、本方法提出多尺度点云局部划分方法中大尺度局部基于低尺度的特征而非原始点云。
6、本方法提出在多尺度网络中，由于每个尺度包含不同层级的抽象特征，所以应使不同的尺度的特征在最终分类中起到的作用相同。
7、本发明相对于其它网络，在相同点云数目的条件下，取得了领先或相当的水平。
附图说明
图1为多尺度点云分类的网络整体架构。
图2为多尺度局部区域构造示意图。
图3为单尺度特征提取网络(以s1尺度为例)。
图4为局部区域归一化。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
本实施例所提供的基于深度学习的点云数据分类方法，提出一种多尺度点云分类网络，该网络充分模拟了卷积神经网络的作用原理，具备随着网络尺度和深度的增加，局部感受野越来越大，特征抽象程度越来越高的基本特征，基于局部区域划分的完备性、自适应性、重叠性及多尺度特性要求，提出了多尺度局部区域划分算法，完成数据分类。如图1所示，展示了我们的整体网络结构，图中n为点的数目；s1＞s2＞s3，为从小到大三个不同的局部区域尺度；k为局部区域内部包含的点云数目；c为类的数目；pooling(k,s)表示先对每个局部区域内的k个点做池化操作，再对每个局部区域尺度s包含的所有信息做池化操作操作。
本实施例所述的点云数据分类方法，其具体情况如下：
1)网络构架
低级尺度网络，第一层为输入层，第二层为仿射变换层，第三至五层为单尺度特征提取层，各层结构如下：
第一层，输入层：将通过数据增广获得的增广点云数据通过局部区域划分模块，划分成符合网络要求的点云数据，将其作为训练样本输入到网络；
第二层，仿射变换层：将输入层输入的数据送入对齐层实现数据对仿射变换的不变，通过该层的数据再次通过局部区域划分模块，划分成符合网络要求的点云数据；
第三层，单尺度特征提取层：包含一个卷积层和一个激活函数层，该层得到的数据将同时送入下一个单尺度特征提取层和低层次特征聚合，低层次特征聚合通过一个池化函数，得到下一尺度的输入；
第四层，单尺度特征提取层：包含一个卷积层、一个激活函数层和一个池化层；
第五层，单尺度特征提取层：包含一个卷积层、一个激活函数层和一个池化层；
中级尺度网络，第一层为输入层，第二至三层为单尺度特征提取层，各层结构如下：
第一层，输入层：将通过低级尺度网第三层中低层次特征聚合的特征向量通过局部区域划分模块，划分成符合网络要求的点云数据，将其作为训练样本输入到网络；
第二层，单尺度特征提取层：包含一个卷积层、一个激活函数层和一个池化层，该层得到的数据将同时送入下一个单尺度特征提取层和低层次特征聚合，低层次特征聚合通过一个池化函数，得到下一尺度的输入；
第三层，单尺度特征提取层：包含一个卷积层、一个激活函数层和一个池化层；
高级尺度网络，第一层为输入层，第二层为单尺度特征提取层，各层结构如下：
第一层，输入层：将通过中级尺度网第二层的中层次特征聚合的特征向量通过局部区域划分模块，划分成符合网络要求的点云数据，将其作为训练样本输入到网络；
第二层，单尺度特征提取层：包含一个卷积层、一个激活函数层，和两个个池化层；
所述特征聚合模块，第一、二层为隐藏层，第三层为输出层，各层结构如下：
第一层，隐藏层：包含一个全连接层、一个激活函数层和一个DropOut层；
第二层，隐藏层：包含一个全连接层、一个激活函数层和一个DropOut层；
第三层，输出层：包含一个全连接层和一个Softmax层。
2)数据集选取
选用Princeton ModelNet，采用官网数据，针对ModelNet10和ModelNet40分别选取3991、9843个数据作为训练数据，908、2468个数据作为测试数据，库内所有数据均按照Z轴方向正确摆放。数据集中的三维数据数据表面进行均匀采样，每个数据均包含10000个点，且坐标预先被归一化至单位球[-1，1]区间内。
3)数据扩增及参数设置
MSP-Net的softmax层根据数据集包含的类别数，选择相适应的参数。在每个全连接层之后都加入一个随机丢弃操作dropout，并设置其的比例为0.5。针对每个点云数据，随机抽取1k个点作为其低分辨率采样，通过随机旋转、[0.8，1.2]尺度范围内随机缩放、(-0.1，0.1)区间内随机抖动、添加(0.01，0.05)高斯噪声的方式实现数据扩增。本实验使用交叉熵作为损失函数，并采用动量梯度下降法进行训练，动量为0.9，学习率为0.001，batch_size为32。若无特别说明，实验中默认使用每个局部区域内所包含的点云数目k＝20，尺度数为3，且尺度依次为低级尺度s1＝1024，中级尺度s2＝256，高级尺度s3＝32。
4)区域划分算法
由于三维点云数据仅包含一组离散的三维点集，缺乏关联信息，因此无明显的结构特征。在数据信息有限的情况下，如何形成鲁棒且合理的局部区域划分将影响分类任务的最终效果。本方法认为一个好的局部区域划分应该满足以下三条原则：
a、点云覆盖的完备性：给定尺度，设Rj为该尺度下的第j个局部区域，A为点云全集，则有∑Rj＝A，即任何一个点一定隶属于该尺度下的一个局部区域。
b、空间分布的自适应性：局部区域的大小和位置应该随着点云数据的分布具有自适应性，以更好贴近点云分布，捕捉局部特征。
c、区域之间的重叠性：给定尺度，设Rj为该尺度下的第j个局部区域，一定存在某个局部区域Rk，k≠j，满足
这是因为点云数据缺乏结构信息，以此为基础的局部区域划分难以保证局部特征的完整性，区域之间重叠性可以更充分地捕捉局部信息。
同时，根据多尺度的思想，本方法设计的划分还应该满足局部区域尺寸及局部区域数可控这一基本要求。
针对以上局部区域划分原则，本方法构建了一种点云数据局部区域划分算法，如下：
输入：点云集合P＝{xi,i＝1,...,n}，局部区域的划分数目st＝(s1，s2，s3)及每个局部区域内所包含的点云数目k；其中，n为点云集合所包含的点云数目；
为第i个点所对应的特征向量，m为特征数目，因为不同的局部区域的划分数目sl(l＝1,2,3)间接地体现了局部区域的尺度大小，所以st亦称为局部区域尺度，局部区域尺度种类为3，依次为低级尺度s1＝1024、中级尺度s2＝256、高级尺度s3＝32；
输出：st个当前尺度下的局部区域及其中心{(Rj,οj)，1≤j≤st}，其中Rj为该尺度st下的第j个局部区域，oj为该局部区域中心；
Step1、局部区域的初始划分：基于欧式距离，利用凝聚层次聚类将点云集合P划分成st个局部点云簇；
Step2、局部点云簇簇中心的选取：依据局部区域内到其它点的距离和最小为基准，选取局部点云簇的簇中心；相对于求均值，这样的选取具有免受噪声点干扰且更加接近真实聚类中心的优点；
Step3、多尺度局部区域的形成：以st个局部点云簇簇中心{οj，1≤j≤st}为各个类的中心，利用K-NN算法寻找到该簇中心最近的k个点,完成聚类,形成st个包含k个点的局部区域Rj；
以上步骤中，初始簇中心的选取确保了局部区域划分的稳定性；K-NN算法则确保了点云覆盖的完整性和自适应性；此外，通过调整局部区域尺度st和每个局部区域内所包含的点云数目k，使得st×k大于点云聚合所包含的点云数目n，则进一步保证区域之间的重叠性；
同时，为了保证输入数据的仿射变换不变性，设置了点云数据仿射变换模块，该模块引入了仿射变换不变空间，目的是为了使输入数据对仿射变换不变；
本方法所提出的局部区域划分算法与现有随机下采样算法和最远点采样算法进行比较，通过实验上述两种算法的分类准确率分别为90.07％和91.12％，而本方法所提算法的分类精度为91.73％，充分证明所提算法的有效性。
若无特别说明本方法中默认使用k＝20,尺度数为3,低级尺度s1＝1024，中级尺度s2＝256，高级尺度s3＝32。
4)实现细节
如图1中所示，本方法的以原始点云数据为输入，包含点云数据仿射变换、单尺度特征提取、低层次特征聚合及多尺度特征融合等模块。对原始点云数据，依照2)中的数据扩增方法进行数据扩增。
如图3所示给出了单尺度特征提取网络，主要包括：点云数据仿射变换、局部区域划分、单尺度特征提取及低层次特征聚合四个模块。
点云数据仿射变换模块：为了保证输入数据的仿射变换不变性，本方法引入了仿射变换不变空间。数据在送入网络前，先送入仿射变换不变空间得到一个3×3的对齐矩阵，反作用于点云数据，起到仿射变换不变作用。在数据输入本模块前，需要先进行一次如3)中方法的局部区域划分。此次划分局部区域尺度设置为1024，局部区域内分别取2邻域、4领域、10领域和20邻域，测试可发现：由于点云数据的无序性，分类准确率随着变换模块中邻域点数目的增加呈现先上升再下降的趋势，在输入为4邻域时取得最高分类精度。本文的后期实验，如无特殊说明，针对所有数据集，仿射变换模块中局部区域的尺寸均为4。完成对齐后的数据输入局部区域划分模块再做进一步处理。
局部区域划分模块：输入点云数据仿射变换模块后的点云数据，给定局部区域尺度s和其内部点云数目k，利用3)区域划分算法可得到st个局部区域划分{(Rj,οj),1≤j≤st}。其中每个局部区域可表示为k个点的集合
点
为空间点云的三维坐标。
如图4所示，对局部区域Rj中的每一个点
利用
对其进行归一化，形成以区域中心οj为原点的局部空间，并将其与οj合并，形成六元组集合
其中οj表示归一化后的点在全局空间中的位置，
表示归一化后的点在局部空间中的位置。
单尺度特征提取模块：对于低级尺度网络该模块由三个单尺度特征提取层组成，每个单尺度特征提取层的核为[1,1]，步长为1。其中第一、二个单尺度特征提取层的输出特征维度均为64，对通过第一、二个单尺度特征提取层所得到的特征向量使用最大池化函数Maxpooling，形成s1个64维局部特征；再次送入输出特征维度为896的第三个单尺度特征提取层和最大池化函数Maxpooling，形成896维的低尺度全局特征；这里，Maxpooling函数的使用保证了所形成的特征对数据内点云顺序的无关性。其中，第一个最大池化函数的作用是将局部区域内的点特征聚合，第二个最大池化函数的作用是将全局特征进行聚合；
对于低级尺度s1在数据通过首个单尺度特征提取层时，其特征同时被传入低层次特征提取模块，该模块旨在为中级尺度的特征提取网络提供输入：通过与单尺度特征提取模块共享首个单尺度特征提取层提取各局部的低层次特征，并通过最大池化函数Maxpooling聚合形成s1×64的特征向量送入更高尺度特征提取网络；
由低级尺度网络的低层次特征提取模块获得的特征向量通过与低级尺度网络相同的局部划分和归一化方法得到
作为中级尺度网络的输入被送入单尺度特征提取模块；该模块由两个单尺度特征提取层组成，每个单尺度特征提取层的核为[1,1]，步长为1。其中，第一单尺度特征提取层的输出特征维度均为128，对通过第一个单尺度特征提取层所得到的特征向量使用最大池化函数Maxpooling，形成s2个128维局部特征；再次送入输出特征维度为896的第二个单尺度特征提取层和最大池化函数Maxpooling，形成896维的中尺度全局特征；这里，Maxpooling函数的使用保证了所形成的特征对数据内点云顺序的无关性。其中，第一个最大池化函数的作用是将局部区域内的点特征聚合，第二个最大池化函数的作用是将全局特征进行聚合；
对于中级尺度s2在数据通过首个单尺度特征提取层时，其特征同时被传入低层次特征提取模块，该模块旨在为高级尺度的特征提取网络提供输入：通过与单尺度特征提取模块共享首个单尺度特征提取层提取各局部的中层次特征，并通过最大池化函数Maxpooling聚合形成s2×128的特征向量送入更高尺度特征提取网络；
由中级尺度网络的低层次特征提取模块获得的特征向量通过与低级尺度网络相同的局部划分和归一化方法的到
作为高级尺度网络的输入被送入单尺度特征提取模块；该模块由一个单尺度特征提取层组成，单尺度特征提取层的核为[1,1]，步长为1，输出特征维度为896，并通过两个形成896维的高尺度全局特征；这里，最大池化函数Maxpooling的使用保证了所形成的特征对数据内点云顺序的无关性。其中，第一个最大池化函数的作用是将局部区域内的点特征聚合，第二个最大池化函数的作用是将全局特征进行聚合；
综合图1中从左上角到右下角区域所示的各个局部区域的划分过程，图2给出了多尺度局部区域的构造流程。如图2所示，从小到大局部区域的尺度分别设定为s1、s2和s3，局部区域内部点的数目均设定为k,则:
在低级尺度s1，输入空间变换后的n×3点云集合,经过局部区域划分后,可得到s1个包含了k个点(n个点中的k个)的最小尺度的局部区域；
在中级尺度s2，输入融合了周围k个点信息的s1×64的低层次特征，经过局部区域划分后，可得到s2个包含了k个点(s1个点中的k个)的中等尺度的局部区域；
在高级尺度s3，输入进一步融合了周围k个点的s2×196的中层次特征，经过局部区域划分后，可得到s3个包含了k个点(s2个点中的k个)的最大尺度的局部区域。
通过上述模块的得到的不同尺度的特征在进入全连接层之前还将进行一次特征聚合，这里使用concat函数完成特征聚合操作，聚合形成的特征是包含了不同尺度局部信息的全局特征向量；再将其依次送入参数为512和256的全连接层，每个全连接层之后都带有一个随机丢弃操作，丢弃比例为0.5。最后通过全连接层的特征经由softmax层得到分类结果。
至此，分别以点云及不同层次的特征为输入，可得到从小到大三个尺度的局部区域。随着局部区域尺度的不断改变，每个点对应的特征越来越抽象，所对应的感受野越来越大，这恰恰模拟了卷积神经网络的作用原理。
实验配置：本文实验的硬件环境为Intel Core i7-6700+GTX 1080 8G+16G RAM，软件环境为Ubuntu16.04x64+Windows10x64+CUDA 9.0+cuDNN 7.1+Tensorflow1.8.0+Python3.6。本实验所有代码均在python环境下运行。
分类性能：本方法选用Princeton ModelNet，采用官网数据，针对ModelNet10和ModelNet40分别选取3991、9843个数据作为训练数据，908、2468个数据作为测试数据，库内所有数据均按照Z轴方向正确摆放。数据集中的三维数据数据表面进行均匀采样，每个数据均包含一万个点，且坐标预先被归一化至单位球[-1，1]区间内。本文使用1024个点，如表1所示，在ModelNet10和ModelNet40数据集上分别达到了94.71％和91.73％的分类精度，相较于现有方法，对比ModelNet10数据集上的实验结果，本文算法取得最佳分类准确率；对比ModelNet40数据集上的实验结果，本文算法的分类准确率排名也在上游。
表1基于体素的分类算法分类准确率(％)
| Method | ModelNet10 | ModelNet40 |
| Kd-net | 93.30 | 90.60 |
| Pointnet | 93.08 | 89.20 |
| Pointnet++ | - | 90.70 |
| SO-NET | 94.10 | 90.70 |
| SpecGCN | - | 91.50 |
| KCNet | 94.40 | 91.00 |
| Pointcnn | - | 92.20 |
| DGcnn | - | 92.20 |
| MSP-Net | 94.71 | 91.73 |
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。
Claims (6)
1.基于深度学习的点云数据分类方法，其特征在于，包括以下步骤：
S1、选用Princeton ModelNet的ModelNet10和ModelNet40数据集，从官网选取所需数量的数据作为训练数据和测试数据，生成训练集和数据集；
S2、对输入的点云数据进行数据增广；
S3、构建一种多尺度点云分类网络，该网络由3个不同的尺度网络构成，分别是低级尺度网络、中级尺度网络和高级尺度网络；所述低级尺度网络包含点云数据仿射变换模块、局部区域划分模块、单尺度特征提取模块和低层次特征聚合模块，所述中级尺度网络包含局部区域划分模块、单尺度特征提取模块和低层次特征聚合模块，所述高级尺度网络包含局部区域划分模块和单尺度特征提取模块；最终的分类结果由上述三个网络获取的特征向量聚合后通过特征聚合模块获得；
S4、提出了一种点云数据局部区域划分算法，对增广后的点云数据使用该算法获取每个点的领域信息，送入点云数据仿射变换模块，保证输入数据的仿射变换不变性；
S5、对经过仿射变换模块后的点云数据再使用步骤S4提出的点云数据局部区域划分算法，形成多尺度局部数据并分别送入每个尺度网络形成多个单尺度特征向量；
S6、对不同尺度的单尺度特征送入特征聚合模块进行特征聚合，将聚合后的特征通过全连接层送入分类器实现对点云数据的分类，为了避免深度学习网络训练中出现过拟合，每个全连接层后有一个dropout层。
2.根据权利要求1所述的基于深度学习的点云数据分类方法，其特征在于：在步骤S1中，选用Princeton ModelNet数据集，采用官网数据，针对ModelNet10 和ModelNet40分别选取3991、9843个数据作为训练数据，908、2468个数据作为测试数据，库内所有数据均按照Z轴方向正确摆放；数据集中的三维数据数据表面进行均匀采样，每个数据均包含10000个点，且坐标预先被归一化至单位球[-1，1]区间内。
3.根据权利要求1所述的基于深度学习的点云数据分类方法，其特征在于：在步骤S2中，对于原始数据采用随机抽取的方式构建包含1024个点的低分辨率采样，并通过随机旋转、[0.8,1.2]尺度范围内随机缩放、(-0.1,0.1)区间内随机抖动、添加(0.01,0.05)高斯噪声这些方式实现数据扩增。
4.根据权利要求1所述的基于深度学习的点云数据分类方法，其特征在于：在步骤S3中，所述低级尺度网络，其第一层为输入层，第二层为仿射变换层，第三至五层为单尺度特征提取层，各层结构如下：
第一层，输入层：将通过数据增广获得的增广点云数据通过局部区域划分模块，划分成符合网络要求的点云数据，将其作为训练样本输入到网络；
第二层，仿射变换层：将输入层输入的数据送入对齐层实现数据对仿射变换的不变，通过仿射变换层的数据再次通过局部区域划分模块，划分成符合网络要求的点云数据；
第三层，单尺度特征提取层：包含一个卷积层和一个激活函数层，该单尺度特征提取层得到的数据将同时送入下一个单尺度特征提取层与低层次特征聚合，低层次特征聚合通过一个池化函数，得到下一尺度的输入；
第四层，单尺度特征提取层：包含一个卷积层、一个激活函数层和一个池化层；
第五层，单尺度特征提取层：包含一个卷积层、一个激活函数层和一个池化层；
所述中级尺度网络，其第一层为输入层，第二至三层为单尺度特征提取层，各层结构如下：
第一层，输入层：将通过低级尺度网络的第三层中低层次特征聚合的特征向量通过局部区域划分模块，划分成符合网络要求的点云数据，将其作为训练样本输入到网络；
第二层，单尺度特征提取层：包含一个卷积层、一个激活函数层和一个池化层，该单尺度特征提取层得到的数据将同时送入下一个单尺度特征提取层与低层次特征聚合，低层次特征聚合通过一个池化函数，得到下一尺度的输入；
第三层，单尺度特征提取层：包含一个卷积层、一个激活函数层和一个池化层；
所述高级尺度网络，其第一层为输入层，第二层为单尺度特征提取层，各层结构如下：
第一层，输入层：将通过中级尺度网络的第二层中层次特征聚合的特征向量通过局部区域划分模块，划分成符合网络要求的点云数据，将其作为训练样本输入到网络；
第二层，单尺度特征提取层：包含一个卷积层、一个激活函数层和两个个池化层；
所述特征聚合模块，其第一、二层为隐藏层，第三层为输出层，各层结构如下：
第一层，隐藏层：包含一个全连接层、一个激活函数层和一个DropOut层；
第二层，隐藏层：包含一个全连接层、一个激活函数层和一个DropOut层；
第三层，输出层：包含一个全连接层和一个Softmax层。
5.根据权利要求1所述的基于深度学习的点云数据分类方法，其特征在于：在步骤S4中，由于三维点云数据仅包含一组离散的三维点集，缺乏关联信息，因此无明显的结构特征，在数据信息有限的情况下，如何形成鲁棒且合理的局部区域划分将影响分类任务的最终效果，一个好的局部区域划分应该满足以下三条原则：
a、点云覆盖的完备性；
b、空间分布的自适应性；
c、区域之间的重叠性；
同时，根据多尺度的思想，设计的划分方法还应该满足局部区域尺寸及局部区域数可控这一基本要求；
针对以上局部区域划分原则，构建了一种点云数据局部区域划分算法，具体如下：
输入：点云集合P＝{xi,i＝1,...,n}，局部区域的划分数目st＝(s1，s2，s3)及每个局部区域内所包含的点云数目k；其中，n为点云集合所包含的点云数目；
为第i个点所对应的特征向量，m为特征数目，因为不同的局部区域的划分数目sl,l =1,2,3 间接地体现了局部区域的尺度大小，所以st亦称为局部区域尺度，局部区域尺度种类为3，依次为低级尺度s1＝1024、中级尺度s2＝256、高级尺度s3＝32；
输出：st个当前尺度下的局部区域及其中心{(Rj,οj)，1≤j≤st}，其中Rj为该尺度st下的第j个局部区域，oj为该局部区域中心；
Step1、局部区域的初始划分：基于欧式距离，利用凝聚层次聚类将点云集合P划分成st个局部点云簇；
Step2、局部点云簇簇中心的选取：依据局部区域内到其它点的距离和最小为基准，选取局部点云簇的簇中心；相对于求均值，这样的选取具有免受噪声点干扰且更加接近真实聚类中心的优点；
Step3、多尺度局部区域的形成：以st个局部点云簇簇中心{οj，1≤j≤st}为各个类的中心，利用K-NN算法寻找到该簇中心最近的k个点,完成聚类,形成st个包含k个点的局部区域Rj；
以上步骤中，初始簇中心的选取确保了局部区域划分的稳定性；K-NN算法则确保了点云覆盖的完整性和自适应性；此外，通过调整局部区域尺度st和每个局部区域内所包含的点云数目k，使得st×k大于点云聚合所包含的点云数目n，则进一步保证区域之间的重叠性；
同时，为了保证输入数据的仿射变换不变性，设置了点云数据仿射变换模块，该模块引入了仿射变换不变空间，目的是为了使输入数据对仿射变换不变；
在步骤S5中，输入仿射变换模块后的点云数据，送入低级尺度网络，给定尺度s1和每个局部区域内所包含的点云数目k，送入局部区域划分模块，该模块利用步骤S4的局部区域划分算法得到s1个局部区域划分，其中每个局部区域表示为k个点的集合，点为空间点云的三维坐标；
对局部区域Rj中的每一个点
利用
对其进行归一化，形成以区域中心oj为原点的局部空间，并将其与oj合并，形成六元组集合
其中oj表示归一化后的点在全局空间中的位置，
表示归一化后的点在局部空间中的位置；
输入归一化后的局部区域集合
被送入单尺度特征提取模块；对于低级尺度网络，单尺度特征提取模块由三个单尺度特征提取层组成，每个单尺度特征提取层的核为[1,1]，步长为1；其中，第一、二个单尺度特征提取层的输出特征维度均为64，对通过第一、二个单尺度特征提取层所得到的特征向量使用最大池化函数Maxpooling，形成s1个64维局部特征；再次送入输出特征维度为896的第三个单尺度特征提取层和最大池化函数Maxpooling，形成896维的低尺度全局特征；这里，Maxpooling函数的使用保证了所形成的特征对数据内点云顺序的无关性；其中，第一个最大池化函数的作用是将局部区域内的点特征聚合，第二个最大池化函数的作用是将全局特征进行聚合；
对于低级尺度s1，在数据通过首个单尺度特征提取层时，其特征同时被传入低层次特征提取模块，该模块旨在为中级尺度的特征提取网络提供输入：通过与单尺度特征提取模块共享首个单尺度特征提取层提取各局部的低层次特征，并通过最大池化函数Maxpooling聚合形成s1×64的特征向量送入更高尺度特征提取网络；
由低级尺度网络的低层次特征提取模块获得的特征向量通过与低级尺度网络相同的局部划分和归一化方法得到
作为中级尺度网络的输入被送入单尺度特征提取模块，该模块由两个单尺度特征提取层组成，每个单尺度特征提取层的核为[1,1]，步长为1；其中，第一个单尺度特征提取层的输出特征维度均为128，对通过第一个单尺度特征提取层所得到的特征向量使用最大池化函数Maxpooling，形成s2个128维局部特征；再次送入输出特征维度为896的第二个单尺度特征提取层和最大池化函数Maxpooling，形成896维的中尺度全局特征；这里，Maxpooling函数的使用保证了所形成的特征对数据内点云顺序的无关性；其中，第一个最大池化函数的作用是将局部区域内的点特征聚合，第二个最大池化函数的作用是将全局特征进行聚合；
对于中级尺度s2，在数据通过首个单尺度特征提取层时，其特征同时被传入低层次特征提取模块，该模块旨在为高级尺度的特征提取网络提供输入：通过与单尺度特征提取模块共享首个单尺度特征提取层提取各局部的中层次特征，并通过最大池化函数Maxpooling聚合形成s2×128的特征向量送入更高尺度特征提取网络；
由中级尺度网络的低层次特征提取模块获得的特征向量通过与低级尺度网络相同的局部划分和归一化方法得到
作为高级尺度网络的输入被送入单尺度特征提取模块，该模块由一个单尺度特征提取层组成，单尺度特征提取层的核为[1,1]，步长为1，输出特征维度为896，并通过两个形成896维的高尺度全局特征；这里，最大池化函数Maxpooling的使用保证了所形成的特征对数据内点云顺序的无关性；其中，第一个最大池化函数的作用是将局部区域内的点特征聚合，第二个最大池化函数的作用是将全局特征进行聚合。
6.根据权利要求1所述的基于深度学习的点云数据分类方法，其特征在于：在步骤S6中，对于每个单尺度网络输出的特征向量在进入全连接层之前还将进行一次特征聚合，这里使用concat函数完成特征聚合操作，聚合形成的特征是包含了不同尺度局部信息的全局特征向量；再将其送入两层全连接，经由softmax层得到分类结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910454307.1A CN110197223B (zh) | 2019-05-29 | 2019-05-29 | 基于深度学习的点云数据分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910454307.1A CN110197223B (zh) | 2019-05-29 | 2019-05-29 | 基于深度学习的点云数据分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110197223A CN110197223A (zh) | 2019-09-03 |
| CN110197223B true CN110197223B (zh) | 2021-02-09 |
Family
ID=67753300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910454307.1A Active CN110197223B (zh) | 2019-05-29 | 2019-05-29 | 基于深度学习的点云数据分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110197223B (zh) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110569926B (zh) * | 2019-09-19 | 2021-06-08 | 北京工商大学 | 一种基于局部边缘特征增强的点云分类方法 |
| CN111028327B (zh) * | 2019-12-10 | 2023-05-02 | 深圳先进技术研究院 | 一种三维点云的处理方法、装置及设备 |
| CN110942110A (zh) * | 2019-12-31 | 2020-03-31 | 新奥数能科技有限公司 | 一种三维模型的特征提取方法和装置 |
| CN111223136B (zh) * | 2020-01-03 | 2024-04-23 | 三星（中国）半导体有限公司 | 稀疏2d点集的深度特征提取方法及装置 |
| CN111274909B (zh) * | 2020-01-16 | 2022-05-20 | 重庆邮电大学 | 一种基于深度学习的人体点云骨架提取方法 |
| CN111428855B (zh) * | 2020-02-25 | 2023-11-14 | 北京理工大学 | 一种端到端的点云深度学习网络模型和训练方法 |
| CN111489358B (zh) * | 2020-03-18 | 2022-06-14 | 华中科技大学 | 一种基于深度学习的三维点云语义分割方法 |
| US11275965B2 (en) | 2020-04-03 | 2022-03-15 | Huawei Technologies Co., Ltd. | Method for generation of an augmented point cloud with point features from aggregated temporal 3D coordinate data, and related device |
| CN111680542B (zh) * | 2020-04-17 | 2022-11-15 | 东南大学 | 基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法 |
| CN111709450B (zh) * | 2020-05-21 | 2023-05-26 | 深圳大学 | 一种基于多尺度特征融合的点云法向量估计方法及系统 |
| CN111882653A (zh) * | 2020-06-11 | 2020-11-03 | 广州万维创新科技有限公司 | 一种基于多传感器多层次的室内场景数字孪生方法 |
| CN111814874B (zh) * | 2020-07-08 | 2024-04-02 | 东华大学 | 一种用于点云深度学习的多尺度特征提取增强方法及系统 |
| CN111814016B (zh) * | 2020-07-13 | 2022-07-12 | 重庆邮电大学 | 一种混合粒度多视图新闻数据聚类方法 |
| CN111860668B (zh) * | 2020-07-27 | 2024-04-02 | 辽宁工程技术大学 | 一种针对原始3d点云处理的深度卷积网络的点云识别方法 |
| CN112116720A (zh) * | 2020-09-18 | 2020-12-22 | 平安科技（深圳）有限公司 | 三维点云的增广方法、装置、存储介质及计算机设备 |
| CN112085123B (zh) * | 2020-09-25 | 2022-04-12 | 北方民族大学 | 基于显著点采样的点云数据分类和分割方法 |
| CN112115954B (zh) * | 2020-09-30 | 2022-03-29 | 广州云从人工智能技术有限公司 | 一种特征提取方法、装置、机器可读介质及设备 |
| CN112257852B (zh) * | 2020-11-04 | 2023-05-19 | 清华大学深圳国际研究生院 | 用于点云分类分割的方法 |
| CN112633350B (zh) * | 2020-12-18 | 2021-10-01 | 湖北工业大学 | 一种基于图卷积的多尺度点云分类实现方法 |
| CN112967296B (zh) * | 2021-03-10 | 2022-11-15 | 重庆理工大学 | 一种点云动态区域图卷积方法、分类方法及分割方法 |
| US11295170B1 (en) | 2021-08-17 | 2022-04-05 | FPT USA Corp. | Group-equivariant convolutional neural networks for 3D point clouds |
| CN113780446A (zh) * | 2021-09-16 | 2021-12-10 | 广州大学 | 一种可重参数化的轻量级体素深度学习方法 |
| CN114118286A (zh) * | 2021-12-01 | 2022-03-01 | 苏州思卡信息系统有限公司 | 一种汽车雷达点云数据的处理方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104504410A (zh) * | 2015-01-07 | 2015-04-08 | 深圳市唯特视科技有限公司 | 基于三维点云的三维人脸识别装置和方法 |
| CN106204649B (zh) * | 2016-07-05 | 2019-06-28 | 西安电子科技大学 | 一种基于tld算法的目标跟踪方法 |
| CN107092020B (zh) * | 2017-04-19 | 2019-09-13 | 北京大学 | 融合无人机LiDAR和高分影像的路面平整度监测方法 |
| WO2018201180A1 (en) * | 2017-05-02 | 2018-11-08 | PETRA Data Science Pty Ltd | Automated, real time processing, analysis, mapping and reporting of data for the detection of geotechnical features |
| US10824862B2 (en) * | 2017-11-14 | 2020-11-03 | Nuro, Inc. | Three-dimensional object detection for autonomous robotic systems using image proposals |
| CN108230329B (zh) * | 2017-12-18 | 2021-09-21 | 孙颖 | 基于多尺度卷积神经网络的语义分割方法 |
| CN108710906B (zh) * | 2018-05-11 | 2022-02-11 | 北方民族大学 | 基于轻量级网络LightPointNet的实时点云模型分类方法 |
| CN109829399B (zh) * | 2019-01-18 | 2022-07-05 | 武汉大学 | 一种基于深度学习的车载道路场景点云自动分类方法 |
-
2019
- 2019-05-29 CN CN201910454307.1A patent/CN110197223B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110197223A (zh) | 2019-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110197223B (zh) | 基于深度学习的点云数据分类方法 | |
| Chen et al. | GAPointNet: Graph attention based point neural network for exploiting local feature of point cloud | |
| CN111242208B (zh) | 一种点云分类方法、分割方法及相关设备 | |
| Xiang et al. | Subcategory-aware convolutional neural networks for object proposals and detection | |
| CN107066559B (zh) | 一种基于深度学习的三维模型检索方法 | |
| CN112633350B (zh) | 一种基于图卷积的多尺度点云分类实现方法 | |
| Shi et al. | Branch feature fusion convolution network for remote sensing scene classification | |
| Yu et al. | Hierarchical attention and bilinear fusion for remote sensing image scene classification | |
| Tang et al. | Deep fishernet for object classification | |
| Xia et al. | Weakly supervised multimodal kernel for categorizing aerial photographs | |
| Yu et al. | A cascaded deep convolutional network for vehicle logo recognition from frontal and rear images of vehicles | |
| Oyedotun et al. | Pattern recognition: invariance learning in convolutional auto encoder network | |
| CN114626476A (zh) | 基于Transformer与部件特征融合的鸟类细粒度图像识别方法及装置 | |
| Al-Barazanchi et al. | Intelligent plankton image classification with deep learning | |
| Li et al. | Point cloud registration based on direct deep features with applications in intelligent vehicles | |
| Liu et al. | Focus first: Coarse-to-fine traffic sign detection with stepwise learning | |
| CN113935433B (zh) | 基于深度光谱空间倒残差网络的高光谱图像分类方法 | |
| Kabir et al. | An evolution of CNN object classifiers on low-resolution images | |
| Ouadiay et al. | Simultaneous object detection and localization using convolutional neural networks | |
| Chen et al. | Part alignment network for vehicle re-identification | |
| Goel et al. | State-of-the-art object recognition techniques: a comparative study | |
| Ebren et al. | Determining the occupancy of Vehicle Parking Areas by deep learning | |
| CN105718858A (zh) | 一种基于正负广义最大池化的行人识别方法 | |
| CN115272696A (zh) | 一种基于自适应卷积和局部几何信息的点云语义分割方法 | |
| Fonseka et al. | Data augmentation to improve the performance of a convolutional neural network on image classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |