CN115620064A - 一种基于卷积神经网络的点云下采样分类方法及系统 - Google Patents

一种基于卷积神经网络的点云下采样分类方法及系统 Download PDF

Info

Publication number
CN115620064A
CN115620064A CN202211317950.8A CN202211317950A CN115620064A CN 115620064 A CN115620064 A CN 115620064A CN 202211317950 A CN202211317950 A CN 202211317950A CN 115620064 A CN115620064 A CN 115620064A
Authority
CN
China
Prior art keywords
point cloud
layer
sampling
network
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211317950.8A
Other languages
English (en)
Inventor
元辉
陈晨
毛晓龙
邢金睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202211317950.8A priority Critical patent/CN115620064A/zh
Publication of CN115620064A publication Critical patent/CN115620064A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于卷积神经网络的点云下采样分类方法及系统，首先对预处理后的点云进行特征提取，通过球查询网络层与边缘卷积的操作，聚合点云的邻域特征，然后利用自注意力机制强化重要的特征，同时利用提出的下采样网络获得一个采样矩阵，将原始点云与该矩阵做点乘获得下采样后的点云，然后再根据Pointnet对下采样后的点云进行分类。与现有方法相比，本发明提出的方法在使用较少点数的情况下仍然保持了极高的点云分类精度。

Description

一种基于卷积神经网络的点云下采样分类方法及系统
技术领域
本发明涉及一种基于卷积神经网络的点云下采样分类方法及系统，属于图像处理技术领域。
背景技术
随着三维点云捕获扫描性能的不断提升，三维点云已经在虚拟现实、自动驾驶等领域得到广泛应用。与此同时，庞大的三维数据也对硬件设备的存储以及计算机的处理提出了挑战。因此，对三维点云的下采样处理也成为了一个热门问题。
点云分类与图像分类类似，根据正确的标签将点云集合正确的识别出来。传统方法通过人工提取的特征对点云数据进行分类，分类效率与准确率远不能满足相关任务的需求。随着人工智能技术的发展，越来越多的研究采用深度学习方法替代传统特征提取方法。然而，考虑到深度学习算法的复杂性，这对计算机的存储于运算提出了较高的要求。因此，去除点云数据中冗杂性，保持点云的分类准确度具有较高的实际意义。
三维点云数据分类一直是一个具有挑战的问题，直到2017年Qi等人提出了可以直接处理点云数据的Pointnet网络，通过多层感知器学习每个点的特征，同时采用对称函数(如最大池化)保持点云的置换不变性，最后将这些聚合的特征通过全连接层输出一个一维矩阵，矩阵的每一维分量表示点云被分类为该类别的概率，概率最高的作为点云被网络划分的类别。考虑到点云中临近点相互具有可替代性，去除数据中的冗杂信息依然可以保证Pointnet网络具有非常高的分类准确度。然而，现有的点云下采样分类方法只能按照特定准则进行采样，不能考虑到下游分类任务的需求，下采样后的点云失去了大量的语义信息，进而很容易影响下游任务的性能。
发明内容
针对庞大的三维点云数据带来计算量激增的问题，本发明提出了一种基于卷积神经网络的点云下采样分类方法。
本发明还提供了一种基于卷积神经网络的点云下采样分类系统，可以在使用较少的点数的情况下保证非常高的点云分类准确度。
术语解释：
1、FPS(Farthest Point Sampling，最远点采样)：从N个点中，采样出M个点(M<N)。那么我们可以设定两个集合A，B。A表示选中的点形成的集合，B表示未选中的点构成的集合。顾名思义，FPS做的事情是：每次从集合B里面选一个到集合A里面的点距离最大的点。
选前两个点：第一点任取，第二点为与距离该点最远的点。该步骤较为简单。
选剩下的M-2个点：此时要确定的是集合A和B之间的距离，最远点采样根本思想就是每次要得到的采样点都是原点集B中到采样点集A最远距离的点。所以接下来的采样，需要遍历原点集B中的每一个点，现在任取一个点B1，分别计算B1到集合A中每一个点的距离，取最小的距离最为点B1到集A的距离。对于集合B中的每一个点，都进行一次计算，求得每一个点到集合A的最小距离，然后取这些距离中最大的距离，作为当前点集B与采样点集A之间的最远距离。最大距离所对应的点，就是A在B中距离最远的点，也就是这次计算需要采样的点，放入A集合中。后续点的计算重复此过程即可。
2、卷积神经网络：卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，因此也被称为“平移不变人工神经网络”。
对卷积神经网络的研究始于二十世纪80至90年代，时间延迟网络和LeNet-5是最早出现的卷积神经网络；在二十一世纪后，随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展，并被应用于计算机视觉、自然语言处理等领域。
卷积神经网络与普通神经网络的区别在于，卷积神经网络包含了一个由卷积层和子采样层(池化层)构成的特征抽取器。在卷积神经网络的卷积层中，一个神经元只与部分邻层神经元连接。在CNN的一个卷积层中，通常包含若干个特征图(Feature Map)，每个特征图由一些矩形排列的神经元组成，同一特征图的神经元共享权值，这里共享的权值就是卷积核。卷积核一般以随机小数矩阵的形式初始化，在网络的训练过程中卷积核将学习得到合理的权值。共享权值(卷积核)带来的直接好处是减少网络各层之间的连接，同时又降低了过拟合的风险。子采样也叫做池化(pooling)，通常有均值池化(mean pooling)和最大值池化(max pooling)两种形式。池化可以看作一种特殊的卷积过程。卷积和池化大大简化了模型复杂度，减少了模型的参数。
3、Pointnet网络：2017年Qi等人提出了点云分类网络Pointnet，通过多层感知器学习每个点的特征，同时采用对称函数(如最大池化)保持点云的置换不变性，最后将这些聚合的特征通过全连接层输出一个一维矩阵，矩阵的每一维分量表示点云被分类为该类别的概率，概率最高的作为点云被网络划分的类别。考虑到点云中临近点相互具有可替代性，去除数据中的冗杂信息依然可以保证Pointnet网络具有非常高的分类准确度。
4、自注意力机制，最早在2017年由谷歌团队提出，一开始用于Transformer语言模型中，相比较于注意力机制，自注意力机制关注的是内部的联系。将输入的原始数据看作<Key,Value>键值对的形式,根据给定的任务目标中的查询值Query，计算Key与Query之间的相似系数，可以得到Value值对应的权重系数,之后再用权重系数对Value值进行加权求和，即可得到输出。使用Q、K、V分别表示Query、Key和Value。自注意力机制的Q、K、V都来自同一个数据源，如下式所示，其中
Figure BDA0003909245290000031
是缩放因子，用于防止内积数值过大而影响网络学习。
Figure BDA0003909245290000032
在式(III)、(IV)和(V)中，Q、K、V来自同一个数据源，如式(III)中f3＝Attention1(f2)实际为f3＝Attention1(f2，f2，f2))。
5、球查询层：最早是由Qi等人提出的用于领域点特征的网络层，其具体操作为，对于点云中的每个点，在距离不大于r的范围内寻找至多k个近邻点(不足的用相同点进行填充)，并将这些点拼接成一个矩阵作为输出。
6、动态图边缘卷积网络：也称边缘卷积，相较传统卷积操作，动态图边缘卷积可以对点云以及其近邻点的相对信息进行融合，具体操作可以表示为下式，其中xi表示原始特征，xj表示邻点特征，conv代表卷积操作，maxpooling代表池化操作。
edge_conv(xi，xj)＝maxpooling(conv(concat(xi，xj-xi)))
7、平均最近邻损失：点云Y相较于X的偏离程度可以表示为下式，其中x表示点云X集合中的一个点，表示y表示点云Y集合中的一个点。
Figure BDA0003909245290000033
8、Random Sampling：在原始点云中随机采样一定个数的点，直到点的个数满足任务的需求。
9、Modelnet40：Modelnet40是一个包含约40个对象类别用于点云分类任务的公开数据集，其中包含了12311个CAD模型。
本发明的技术方案为：
一种基于卷积神经网络的点云下采样分类方法，包括：
步骤1：获取待分类的三维点云数据，对点云数据进行预处理；
步骤2：将预处理过后的点云数据送入训练好的点云下采样模型中，进行下采样，获得稀疏的点云；
步骤3：将下采样获得的稀疏的点云送入训练好的Pointnet网络中进行点云分类，得到分类结果。
根据本发明优选的，步骤1的具体实现过程包括：
获取待分类的三维点云数据，用{Pi|i＝1，...，n}表示待分类的三维点云数据，其中，每个点Pi包括(x，y，z)三个通道特征；
对待分类的三维点云数据依次通过旋转、归一化进行预处理后，对每个点云目标统一取相同个数的点进行后续操作。
根据本发明优选的，步骤2中，点云下采样模型包括特征提取网络、特征融合网络；
所述特征提取网络包括依次连接的第一球查询层、第一边缘卷积层及多层注意力机制；
所述特征融合网络包括依次连接的第二球查询层、第二边缘卷积层、若干个卷积层及softmax层；
在特征提取网络中，对于输入的预处理过后的点云数据，首先，通过球查询提取每个点的近邻以及若干层边缘卷积操作，提取并聚合点云的邻域特征；然后，通过第一边缘卷积层进行边缘卷积初步提取特征；接着，通过多层注意力机制对特征图赋予不同的权重；最后，再把多层注意力机制提取到的特征进行拼接，得到不同层次的特征矩阵；
在特征融合网络中，首先，对输入的特征矩阵再次依次进行球查询与边缘卷积操作，然后，通过若干个卷积层改变特征矩阵的形状，接着，通过softmax操作得到点云的下采样选择矩阵，最后，将下采样选择矩阵与原始点云即输入的预处理过后的点云数据做点积操作，获得下采样的点云。
根据本发明优选的，步骤2中，点云下采样模型中进行的操作如式(I)至式(X)所示：
f1＝query-ball1(x) (I)
f2＝edge-conv1(x，f1) (II)
f3＝Attention1(f2) (III)
f4＝Attention2(f3) (IV)
f5＝Attention3(f3) (V)
f6＝query_ball2(concat(f3，f4，f5))) (VI)
f7＝edge_conv2(x，f6) (VII)
f8＝conv1(f7) (VIII)
f9＝softmax(conv2(f8)) (IX)
xds＝f9·x (X)
其中，式(I)至式(V)对应特征提取网络中的操作，x表示原始点云即输入的预处理过后的点云数据，式(I)中，query_ball1代表第一层球查询层的操作，f1为第一层球查询层输出的特征矩阵；式(II)中，edge_conv1代表第一边缘卷积层的操作，f2为第一边缘卷积层输出的特征矩阵；式(III)中，Attention1代表多层注意力机制中第一层自注意力机制的操作，f3为第一层自注意力机制输出的特征矩阵；式(IV)中，Attention2代表多层注意力机制中第二层自注意力机制的操作，f4为第二层自注意力机制输出的特征矩阵；式(V)中，Attention3代表多层注意力机制中第三层自注意力机制的操作，f5为第三层自注意力机制输出的特征矩阵；
式(VI)至式(X)对应特征融合网络中的操作，式(VI)中，concat代表将若干个多层注意力机制提取到的特征进行拼接，query_ball2代表第二层球查询层的操作，f6为第二层球查询层输出的特征矩阵；式(VII)中，edge_conv2代表第二边缘卷积层的操作，f7为第二边缘卷积层输出的特征矩阵；式(VIII)中，conv1表示若干个卷积层中第一层卷积层的操作，f8为该第一层卷积层输出的特征矩阵；式(IX)中，conv2表示若干个卷积层中第二层卷积层的操作，softmax表示softmax层的操作，f9为该softmax层输出的特征矩阵；式(X)中，·表示点积操作，输出为下采样的点云xds。
根据本发明优选的，步骤3的具体实现过程为：
首先，对输入的下采样的点云即下采样获得的稀疏的点云通过空间变换矩阵T-net进行旋转变换；
然后，通过三层卷积操作以及一个最大池化层得到点云的全局特征；
最后，通过三层全连接层，输出为一个类别矩阵，对应点云属于每一类的可能性，取最大值作为原始点云所属的类别。
根据本发明优选的，点云下采样模型及Pointnet网络的训练及测试过程为：
选取公开数据集划分测试集和训练集；
训练与测试中，设置Batch size为12；学习率为0.001，且每40个epoch衰减为原来的0.7倍；总epoch数为200，点云下采样模型及Pointnet网络的损失函数Loss如式(XI)、式(XII)所示：
Figure BDA0003909245290000051
Loss＝LossCD(x，xds)+LossMSE(pred，label) (XII)
式(XI)中，LossCD表示Chamfer Distance损失，La表示平均最近邻损失，x表示原始点云，xds表示下采样的点云；式(XII)中，LossMsE表示点云分类任务中的均方差损失，label表示原始点云所属的类别，pred表示Pointnet网络预测的类别，Loss代表整个网络的损失函数。
一种基于卷积神经网络的点云下采样分类系统，包括点云数据获取及预处理模块、点云下采样模块及点云分类模块；
点云数据获取及预处理模块，被配置为：获取待分类的三维点云数据，对点云数据进行预处理；
点云下采样模块，被配置为：将预处理过后的点云数据送入训练好的点云下采样模型中，进行下采样，获得稀疏的点云；
点云分类模块，被配置为：将下采样获得的稀疏的点云送入训练好的Pointnet网络中进行点云分类，得到分类结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述基于卷积神经网络的点云下采样分类方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于卷积神经网络的点云下采样分类方法的步骤。
本发明的有益效果为：
与现有的下采样方法相比，本发明提出的方法能有效的保留点云的语义信息，去除点云中存在的冗余要素，并且仍然能够保证很高的点云分类精度。
附图说明
图1是本发明实施的一种基于卷积神经网络的点云下采样分类方法的流程示意图。
图2是本发明提出的点云下采样模型的网络架构示意图。
图3是Pointent网络的框架示意图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种基于卷积神经网络的点云下采样分类方法，如图1所示，包括：
步骤1：获取待分类的三维点云数据，对点云数据进行预处理；
步骤2：将预处理过后的点云数据送入训练好的点云下采样模型中，进行下采样，获得稀疏的点云；
步骤3：将下采样获得的稀疏的点云送入训练好的Pointnet网络中进行点云分类，得到分类结果。Pointent网络的框架如图3所示。
实施例2
根据实施例1所述的一种基于卷积神经网络的点云下采样分类方法，其区别在于：
步骤1的具体实现过程包括：
从已有的公开数据集中获取待分类的三维点云数据，用{Pi|i＝1，...，n}表示待分类的三维点云数据(3D无序点云)，其中，每个点Pi包括(x，y，z)三个通道特征；
对待分类的三维点云数据依次通过旋转、归一化进行预处理后，对每个点云目标统一取2048个点进行后续操作。
步骤2中，如图2所示，点云下采样模型包括特征提取网络、特征融合网络；
特征提取网络包括依次连接的第一球查询层、第一边缘卷积层及多层注意力机制；
特征融合网络包括依次连接的第二球查询层、第二边缘卷积层、若干个卷积层及softmax层；
在特征提取网络中，对于输入的预处理过后的点云数据，首先，通过球查询提取每个点的近邻以及若干层边缘卷积操作，提取并聚合点云的邻域特征；然后，通过第一边缘卷积层进行边缘卷积(动态图边缘卷积网络)初步提取特征；接着，通过多层注意力机制对特征图赋予不同的权重；最后，再把多层注意力机制提取到的特征进行拼接，得到不同层次的特征矩阵；
在特征融合网络中，首先，对输入的特征矩阵再次依次进行球查询与边缘卷积操作，然后，通过若干个卷积层改变特征矩阵的形状，接着，通过softmax操作得到点云的下采样选择矩阵，最后，将下采样选择矩阵与原始点云即输入的预处理过后的点云数据做点积操作，获得下采样的点云。
步骤2中，点云下采样模型中进行的操作如式(I)至式(X)所示：
f1＝query-ball1(x) (I)
f2＝edge-conv1(x，f1) (II)
f3＝Attention1(f2) (III)
f4＝Attention2(f3) (IV)
f5＝Attention3(f3) (V)
f6＝query-ball2(concat(f3，f4，f5))) (VI)
f7＝edge-conv2(x，f6) (VII)
f8＝conv1(f7) (VIII)
f9＝softmax(conv2(f8)) (IX)
xds＝f9·x (X)
其中，式(I)至式(V)对应特征提取网络中的操作，x表示原始点云即输入的预处理过后的点云数据，式(I)中，query-ball1代表第一层球查询层的操作，f1为第一层球查询层输出的特征矩阵；式(II)中，edge-conv1代表第一边缘卷积层的操作，f2为第一边缘卷积层输出的特征矩阵；式(III)中，Attention1代表多层注意力机制中第一层自注意力机制的操作，f3为第一层自注意力机制输出的特征矩阵；式(IV)中，Attention2代表多层注意力机制中第二层自注意力机制的操作，f4为第二层自注意力机制输出的特征矩阵；式(V)中，Attention3代表多层注意力机制中第三层自注意力机制的操作，f5为第三层自注意力机制输出的特征矩阵；
式(VI)至式(X)对应特征融合网络中的操作，式(VI)中，concat代表将若干个多层注意力机制提取到的特征进行拼接，query_ball2代表第二层球查询层的操作，f6为第二层球查询层输出的特征矩阵；式(VII)中，edge_conv2代表第二边缘卷积层的操作，f7为第二边缘卷积层输出的特征矩阵；式(VIII)中，conv1表示若干个卷积层中第一层卷积层的操作，f8为该第一层卷积层输出的特征矩阵；式(IX)中，conv2表示若干个卷积层中第二层卷积层的操作，softmax表示softmax层的操作，f9为该softmax层输出的特征矩阵；式(X)中，·表示点积操作，输出为下采样的点云xds。
步骤3的具体实现过程为：
首先，对输入的下采样的点云即下采样获得的稀疏的点云通过空间变换矩阵T-net进行旋转变换；
然后，通过三层卷积操作以及一个最大池化层得到点云的全局特征；
最后，通过三层全连接层，输出为一个类别矩阵，对应点云属于每一类的可能性，取最大值作为原始点云所属的类别。
点云下采样模型及Pointnet网络的训练及测试过程为：
选取公开数据集Modelnet40按照9∶1的比例划分测试集和训练集；
训练与测试中，设置Batch size(批大小)为12；学习率为0.001，且每40个epoch(迭代次数)衰减为原来的0.7倍；总epoch数为200，点云下采样模型及Pointnet网络的损失函数Loss如式(XI)、式(XII)所示：
Figure BDA0003909245290000081
Loss＝LossCD(x，xds)+LossMSE(pred，label) (XII)
式(XI)中，LossCD表示Chamfer Distance损失，La表示平均最近邻损失，x表示原始点云，xds表示下采样的点云；式(XII)中，LossMSE表示点云分类任务中的均方差损失，label表示原始点云所属的类别，pred表示Pointnet网络预测的类别，Loss代表整个网络的损失函数。
对于已有的Pointnet网络，在公开数据集Modelnet40使用2048个点作为输入时，点云分类精度为89.7％，而当将输入点数用现有采样方法到较少点数时，分类精度出现了非常明显的下降，但是当使用本发明提出的网络作为下采样方法时，分类精度几乎保持不变，具体效果如表1所示。
表1
Figure BDA0003909245290000082
实施例3
一种基于卷积神经网络的点云下采样分类系统，包括点云数据获取及预处理模块、点云下采样模块及点云分类模块；
点云数据获取及预处理模块，被配置为：获取待分类的三维点云数据，对点云数据进行预处理；
点云下采样模块，被配置为：将预处理过后的点云数据送入训练好的点云下采样模型中，进行下采样，获得稀疏的点云；
点云分类模块，被配置为：将下采样获得的稀疏的点云送入训练好的Pointnet网络中进行点云分类，得到分类结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述基于卷积神经网络的点云下采样分类方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于卷积神经网络的点云下采样分类方法的步骤。

Claims (9)

1.一种基于卷积神经网络的点云下采样分类方法，其特征在于，包括：
步骤1：获取待分类的三维点云数据，对点云数据进行预处理；
步骤2：将预处理过后的点云数据送入训练好的点云下采样模型中，进行下采样，获得稀疏的点云；
步骤3：将下采样获得的稀疏的点云送入训练好的Pointnet网络中进行点云分类，得到分类结果。
2.根据权利要求1所述的一种基于卷积神经网络的点云下采样分类方法，其特征在于，步骤1的具体实现过程包括：
获取待分类的三维点云数据，用{Pi|i＝1,…,n}表示待分类的三维点云数据，其中，每个点Pi包括(x,y,z)三个通道特征；
对待分类的三维点云数据依次通过旋转、归一化进行预处理后，对每个点云目标统一取相同个数的点进行后续操作。
3.根据权利要求1所述的一种基于卷积神经网络的点云下采样分类方法，其特征在于，步骤2中，点云下采样模型包括特征提取网络、特征融合网络；
所述特征提取网络包括依次连接的第一球查询层、第一边缘卷积层及多层注意力机制；
所述特征融合网络包括依次连接的第二球查询层、第二边缘卷积层、若干个卷积层及softmax层；
在特征提取网络中，对于输入的预处理过后的点云数据，首先，通过球查询提取每个点的近邻以及若干层边缘卷积操作，提取并聚合点云的邻域特征；然后，通过第一边缘卷积层进行边缘卷积初步提取特征；接着，通过多层注意力机制对特征图赋予不同的权重；最后，再把多层注意力机制提取到的特征进行拼接，得到不同层次的特征矩阵；
在特征融合网络中，首先，对输入的特征矩阵再次依次进行球查询与边缘卷积操作，然后，通过若干个卷积层改变特征矩阵的形状，接着，通过softmax操作得到点云的下采样选择矩阵，最后，将下采样选择矩阵与原始点云即输入的预处理过后的点云数据做点积操作，获得下采样的点云。
4.根据权利要求1所述的一种基于卷积神经网络的点云下采样分类方法，其特征在于，步骤2中，点云下采样模型中进行的操作如式(I)至式(X)所示：
f1＝query_ball1(x) (I)
f2＝edge_conv1(x,f1) (II)
f3＝Attention1(f2) (III)
f4＝Attention2(f3) (IV)
f5＝Attention3(f3) (V)
f6＝query_ball2(concat(f3,f4,f5))) (VI)
f7＝edge_conv2(x,f6) (VII)
f8＝conv1(f7) (VIII)
f9＝softmax(conv2(f8)) (IX)
xds＝f9·x (X)
其中，式(I)至式(V)对应特征提取网络中的操作，x表示原始点云即输入的预处理过后的点云数据，式(I)中，query_ball1代表第一层球查询层的操作，f1为第一层球查询层输出的特征矩阵；式(II)中，edge_conv1代表第一边缘卷积层的操作，f2为第一边缘卷积层输出的特征矩阵；式(III)中，Attention1代表多层注意力机制中第一层自注意力机制的操作，f3为第一层自注意力机制输出的特征矩阵；式(IV)中，Attention2代表多层注意力机制中第二层自注意力机制的操作，f4为第二层自注意力机制输出的特征矩阵；式(V)中，Attention3代表多层注意力机制中第三层自注意力机制的操作，f)为第三层自注意力机制输出的特征矩阵；
式(VI)至式(X)对应特征融合网络中的操作，式(VI)中，concat代表将若干个多层注意力机制提取到的特征进行拼接，query_ball2代表第二层球查询层的操作，f6为第二层球查询层输出的特征矩阵；式(VII)中，edge_conv2代表第二边缘卷积层的操作，f7为第二边缘卷积层输出的特征矩阵；式(VIII)中，conv1表示若干个卷积层中第一层卷积层的操作，f8为该第一层卷积层输出的特征矩阵；式(IX)中，conv2表示若干个卷积层中第二层卷积层的操作，softmax表示softmax层的操作，f9为该softmax层输出的特征矩阵；式(X)中，·表示点积操作，输出为下采样的点云xds。
5.根据权利要求1所述的一种基于卷积神经网络的点云下采样分类方法，其特征在于，步骤3的具体实现过程为：
首先，对输入的下采样的点云即下采样获得的稀疏的点云通过空间变换矩阵T-net进行旋转变换；
然后，通过三层卷积操作以及一个最大池化层得到点云的全局特征；
最后，通过三层全连接层，输出为一个类别矩阵，对应点云属于每一类的可能性，取最大值作为原始点云所属的类别。
6.根据权利要求1-5任一所述的一种基于卷积神经网络的点云下采样分类方法，其特征在于，点云下采样模型及Pointnet网络的训练及测试过程为：
选取公开数据集划分测试集和训练集；
训练与测试中，设置Batch size为12；学习率为0.001，且每40个epoch衰减为原来的0.7倍；总epoch数为200，点云下采样模型及Pointnet网络的损失函数Loss如式(XI)、式(XII)所示：
Figure FDA0003909245280000031
Loss＝Loss4D(x,xds)+LossMSE(pred,label) (XII)
式(XI)中，Loss4D表示Chamfer Distance损失，La表示平均最近邻损失，x表示原始点云，xds表示下采样的点云；式(XII)中，LossMSE表示点云分类任务中的均方差损失，label表示原始点云所属的类别，pred表示Pointnet网络预测的类别，Loss代表整个网络的损失函数。
7.一种基于卷积神经网络的点云下采样分类系统，其特征在于，包括点云数据获取及预处理模块、点云下采样模块及点云分类模块；
点云数据获取及预处理模块，被配置为：获取待分类的三维点云数据，对点云数据进行预处理；
点云下采样模块，被配置为：将预处理过后的点云数据送入训练好的点云下采样模型中，进行下采样，获得稀疏的点云；
点云分类模块，被配置为：将下采样获得的稀疏的点云送入训练好的Pointnet网络中进行点云分类，得到分类结果。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述基于卷积神经网络的点云下采样分类方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述基于卷积神经网络的点云下采样分类方法的步骤。
CN202211317950.8A 2022-10-26 2022-10-26 一种基于卷积神经网络的点云下采样分类方法及系统 Pending CN115620064A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211317950.8A CN115620064A (zh) 2022-10-26 2022-10-26 一种基于卷积神经网络的点云下采样分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211317950.8A CN115620064A (zh) 2022-10-26 2022-10-26 一种基于卷积神经网络的点云下采样分类方法及系统

Publications (1)

Publication Number Publication Date
CN115620064A true CN115620064A (zh) 2023-01-17

Family

ID=84865270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211317950.8A Pending CN115620064A (zh) 2022-10-26 2022-10-26 一种基于卷积神经网络的点云下采样分类方法及系统

Country Status (1)

Country Link
CN (1) CN115620064A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078912A (zh) * 2023-07-10 2023-11-17 中国地质大学（武汉） 一种基于深度学习的激光点云与图像对齐方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078912A (zh) * 2023-07-10 2023-11-17 中国地质大学（武汉） 一种基于深度学习的激光点云与图像对齐方法和装置

Similar Documents

Publication Publication Date Title
WO2020238293A1 (zh) 图像分类方法、神经网络的训练方法及装置
CN110490946B (zh) 基于跨模态相似度和生成对抗网络的文本生成图像方法
AU2020100710A4 (en) A method for sentiment analysis of film reviews based on deep learning and natural language processing
CN110222580B (zh) 一种基于三维点云的人手三维姿态估计方法和装置
Sun et al. Scene image classification method based on Alex-Net model
CN111079532A (zh) 一种基于文本自编码器的视频内容描述方法
CN114255238A (zh) 一种融合图像特征的三维点云场景分割方法及系统
CN110321805B (zh) 一种基于时序关系推理的动态表情识别方法
CN111695513B (zh) 一种基于深度残差网络的人脸表情识别方法
CN111898703B (zh) 多标签视频分类方法、模型训练方法、装置及介质
Khalajzadeh et al. Hierarchical structure based convolutional neural network for face recognition
Li et al. A novel gaussian–bernoulli based convolutional deep belief networks for image feature extraction
Wu Image retrieval method based on deep learning semantic feature extraction and regularization softmax
CN116258990A (zh) 一种基于跨模态亲和力的小样本参考视频目标分割方法
CN115620064A (zh) 一种基于卷积神经网络的点云下采样分类方法及系统
Nalini et al. Comparative analysis of deep network models through transfer learning
Chen-McCaig et al. Convolutional neural networks for texture recognition using transfer learning
CN111612046B (zh) 特征金字塔图卷积神经网络及其在3d点云分类中的应用
Xia et al. Efficient synthesis of compact deep neural networks
Zou et al. An intelligent image feature recognition algorithm with hierarchical attribute constraints based on weak supervision and label correlation
CN114494284B (zh) 一种基于显式监督区域关系的场景解析模型及方法
CN115578574A (zh) 一种基于深度学习和拓扑感知的三维点云补全方法
CN114972851A (zh) 一种基于遥感影像的船只目标智能检测方法
Zhang et al. Research On Face Image Clustering Based On Integrating Som And Spectral Clustering Algorithm
Ashiquzzaman et al. Compact deeplearning convolutional neural network based hand gesture classifier application for smart mobile edge computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination