CN113313176A - 一种基于动态图卷积神经网络的点云分析方法 - Google Patents
一种基于动态图卷积神经网络的点云分析方法 Download PDFInfo
- Publication number
- CN113313176A CN113313176A CN202110616319.7A CN202110616319A CN113313176A CN 113313176 A CN113313176 A CN 113313176A CN 202110616319 A CN202110616319 A CN 202110616319A CN 113313176 A CN113313176 A CN 113313176A
- Authority
- CN
- China
- Prior art keywords
- network
- point cloud
- training
- module
- graph convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000011218 segmentation Effects 0.000 claims abstract description 8
- 230000007246 mechanism Effects 0.000 claims abstract description 4
- 238000012360 testing method Methods 0.000 claims description 31
- 238000010586 diagram Methods 0.000 claims description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000007477 logistic regression Methods 0.000 claims description 3
- 230000001174 ascending effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Abstract
本发明公开了一种基于动态图卷积神经网络的点云分析方法，属于图像处理领域。该方法包括：注意力图卷积模块用于提取点云无序领域的特征，找到每个点的K个最近邻近点，通过MLP网络训练出各个边特征的权重，对各个边特征乘以权重求和提取出每一个点的深度特征；动态图卷积模块，对于特征空间的点云仍然使用图卷积模块更新特征数据；残差网络模块，基于动态图卷积网络，引入残差网络，根据残差方向和图卷积网络构建基于注意力机制的残差动态图卷积网络。将点云数据输入到网络之中，可以获得较好的点云分类结果和分割结果。本发明提供了一种端到端的方式可以更好的获取点云局部信息，提高了点云分类以及分割的准确率。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于动态图卷积神经网络的点云分析方法。
背景技术
随着3D采集技术的快速发展，3D传感器应用越来越广泛，也越来越便宜，包括各种类型的3D扫描仪、激光雷达、RGB-D相机(如Kinect、RealSense和Apple depth相机)。这些传感器采集的三维数据可以提供丰富的几何、形状和尺度信息。辅以2D图像，3D数据为机器更好地了解周围环境提供了机会。3D数据在不同领域有许多应用，包括自动驾驶、机器人、遥感和医疗。目前3d点云分析主要分为三类方法，基于点、基于体素和基于多视角，其中基于点的方法是目前较为主流的方法，典型的二维图像深度学习方法由于其固有的数据不规则性，不能直接应用于三维点云，PointNet作为一项开创性的工作提出一种直接对于点云进行处理的网络，由于它的简单性和较强的表示能力，后期许多工作例如Mo-Net、PointWet、PointASNL等等网络都是在PointNet的基础上发展起来。
先进的深度神经网络专门设计用于处理点云的不规则性，直接处理原始点云数据，而不传递给中间的常规表示形式，这种方法由PointNet率先提出，它可以通过对每个点进行独立运算并随后应用对称函数来累积特征来实现点的置换不变性。PointNet的各种扩展都考虑了点的邻域，而不是独立地作用于每个点，这些允许网络利用本地功能，从而改善基本模型的性能。这些技术在很大程度上独立地在局部尺度上处理点，以保持排列不变性。但是，这种独立性忽略了点之间的几何关系，从而提出了无法捕获局部特征的基本限制。最近提出的DGCNN方法很好的解决了特征过于独立的问题，但是计算边特征考虑的参数较少并且提取特征采取的最大池化方法过于简单，所以仍然损失了一部分局部信息。
发明内容
为解决上述问题，本发明公开了一种基于动态图卷积神经网络的点云分析方法，能够提高点云分类以及分割的准确率。
为达到上述目的，本发明的技术方案如下：
一种基于动态图卷积神经网络的点云分析方法，包括以下步骤：
步骤1：采集雷达视野下物体和场景的点云数据，搜集点云分析相关的数据集，制作训练和测试数据集，用作模型的训练，其具体包括：
步骤1.1：通过硬件设备(深度传感器，结构光，雷达设备等)直接得到物体的三维信息，若数据集中不包括训练集和数据集，则将得到的数据集按照4:1的比例，将数据集分为训练集和测试集。
步骤1.2：若数据集中已包括训练集和测试集，转至步骤2。
步骤2：建立深度学习网络模型，模型由三个模块组成，其中包括注意力图卷积模块、残差连接模块、动态更新模块；将步骤1得到的点云数据输入到网络中，通过注意力图卷积模块用于提取点云无序领域的特征，对于特征空间的点云仍然使用图卷积模块更新特征数据，残差网络用于信息的传导，将每层的输出融合得到的n×1024特征图经过池化模块和1×1卷积之后输出分类结果，将1×1024特征向量重复n次和前几次特征图结合经过1×1卷积之后输出分割结果，其具体包括：
步骤2.1：将步骤1得到的点云数据输入到第一层网络中，第一层网络输出注意力图卷积之后的N×64高维特征。注意力图卷积和LeakyReLU计算公式如下：
其中：
为可学习的参数，xj和xi初始为点云三维坐标，通过两层MLP层训练边特征的参数。引入注意力机制，对点云中每个点使用最邻近点算法，求出点周围K个点的向量边特征，应用Softmax逻辑回归模型对K个特征归一化即为当前点的特征。
步骤2.2：将步骤2.1输出的N×64高位特征空间输入到第二层网络之中，第二层网络输出注意力图卷积之后的N×64高维特征。
步骤2.3：将步骤2.2输出的N×64高位特征空间输入到第三层网络之中，第三层网络输出注意力图卷积之后的N×128高维特征。
步骤2.4：将步骤2.3输出的N×128高位特征空间输入到第四层网络之中，第四层网络输出注意力图卷积之后的N×256高维特征。
步骤2.5：对每一层网络的输出都采用残差网络的模块，跳过下层网络直接连接其输出，例如：第一层网络的输出需要再连接的二层网络的输出作为第三层网络的输入，若两者的维度不同，则需要采用1×1卷积进行升维，一个残差块可以表示为：
其中xl代表残差块的输入，xl+1代表残差块的输出，残差块分成两部分直接映射部分和残差部分，其中直接映射部分为h(xl)，残差部分为
反映在网络中就是在每一层图卷积模块之后都需要跳过后一层图卷积模块连接下层的输入。
步骤2.6：将每一层网络的输出都连接起来，通过一层全连接层升维到1024维度，将每层的输出融合得到的n×1024特征图经过池化模块和1×1卷积之后输出分类结果，将1×1024特征向量重复n次和前几次特征图结合经过1×1卷积之后输出分割结果。
步骤3：将点云数据输入到网络之中，对网络的参数进行训练，其具体包括：
步骤3.1：将步骤1得到的初始训练集输入到网络中。学习网络中的参数，记步骤2中的参数为Θnet，网络的输出为Pnet，使用交叉熵损失函数更新参数：
通过随机梯度下降法对网络进行训练。经过一定次数之后，保存模型参数用于测试。
步骤4：使用测试集对于步骤3训练出的网络进行测试，其具体包括：
步骤4.1：将步骤1中的测试集输入到保存的训练表现最好的网络模型之中，重复训练测试多次，选取表现最好的模型。
本发明的有益效果是：
本发明是可区分的，可以插入到现有的点云体系中，并且提高了点云分析的效率，既在精度上满足了要求，具有较强的鲁棒性，也为点云分析提供了一种新的解决方案。
本发明使用LeakyReLU激活函数代替ReLU激活函数，LeakyReLU激活函数在输入的负半区间内乘上一个很小的权重，使得负数区域不再饱和死掉，从而避免负区间神经元不再学习的问题。本发明融合了注意力网络，残差网络模块，并且采用一种动态的方式更新特征。
附图说明
图1是本发明中网络模型框架图；
图2是发明方法整体流程图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
实施例1：参见图1，一种基于动态图卷积神经网络的点云分析方法，包括以下步骤：
步骤1：采集雷达视野下物体和场景的点云数据，搜集点云分析相关的数据集，制作训练和测试数据集，用作模型的训练，其具体包括：
步骤1.1：通过硬件设备(深度传感器，结构光，雷达设备等)直接得到物体的三维信息，若数据集中不包括训练集和数据集，则将得到的数据集按照4比1的比例，将数据集分为训练集和测试集。
步骤1.2：若数据集中已包括训练集和测试集，转至步骤2。
步骤2：建立深度学习网络模型，模型由三个模块组成，其中包括注意力图卷积模块，残差连接模块，动态更新模块；将步骤1得到的点云数据输入到网络中，通过注意力图卷积模块用于提取点云无序领域的特征，对于特征空间的点云仍然使用图卷积模块更新特征数据，残差网络用于信息的传导，将每层的输出融合得到的n×1024特征图经过池化模块和1×1卷积之后输出分类结果，将1×1024特征向量重复n次和前几次特征图结合经过1×1卷积之后输出分割结果，其具体包括：
步骤2.1：将步骤1得到的点云数据输入到第一层网络中，第一层网络输出注意力图卷积之后的N×64高维特征。注意力图卷积和LeakyReLU计算公式如下：
其中：
为可学习的参数，xj和xi初始为点云三维坐标，通过两层MLP层训练边特征的参数。引入注意力机制，对点云中每个点使用最邻近点算法，求出点周围K个点的向量边特征，应用Softmax逻辑回归模型对K个特征归一化即为当前点的特征。
步骤2.2：将步骤2.1输出的N×64高位特征空间输入到第二层网络之中，第二层网络输出注意力图卷积之后的N×64高维特征。
步骤2.3：将步骤2.2输出的N×64高位特征空间输入到第三层网络之中，第三层网络输出注意力图卷积之后的N×128高维特征。
步骤2.4：将步骤2.3输出的N×128高位特征空间输入到第四层网络之中，第四层网络输出注意力图卷积之后的N×256高维特征。
步骤2.5：对每一层网络的输出都采用残差网络的模块，跳过下层网络直接连接其输出，例如：第一层网络的输出需要再连接的二层网络的输出作为第三层网络的输入，若两者的维度不同，则需要采用1×1卷积进行升维，一个残差块可以表示为：
残差块分成两部分直接映射部分和残差部分，其中直接映射部分为h(xl)，残差部分为
反映在网络中就是在每一层图卷积模块之后都需要跳过后一层图卷积模块连接下层的输入。
步骤2.6：将每一层网络的输出都连接起来，通过一层全连接层升维到1024维度，将每层的输出融合得到的n×1024特征图经过池化模块和1×1卷积之后输出分类结果，将1×1024特征向量重复n次和前几次特征图结合经过1×1卷积之后输出分割结果。
步骤3：将点云数据输入到网络之中，对网络的参数进行训练，其具体包括：
步骤3.1：将步骤1得到的初始训练集输入到网络中。学习网络中的参数，记步骤2中的参数为Θnet，网络的输出为Pnet，使用交叉熵损失函数更新参数：
通过随机梯度下降法对网络进行训练。经过一定次数之后，保存模型参数用于测试。
步骤4：使用测试集对于步骤3训练出的网络进行测试，其具体包括：
步骤4.1：将步骤1中的测试集输入到保存的训练表现最好的网络模型之中，重复训练测试多次，选取表现最好的模型。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.一种基于动态图卷积神经网络的点云分析方法，其特征在于，包括以下步骤：
步骤1，采集雷达视野下物体和场景的点云数据，搜集点云分析相关的数据集，制作训练和测试数据集，用作模型的训练；
步骤2，建立深度学习网络模型，模型由三个模块组成，其中包括注意力图卷积模块、残差连接模块、动态更新模块；将步骤1得到的点云数据输入到网络中，通过注意力图卷积模块用于提取点云无序领域的特征，对于特征空间的点云仍然使用图卷积模块更新特征数据，残差网络用于信息的传导，将每层的输出融合得到的n×1024特征图经过池化模块和1×1卷积之后输出分类结果，将1×1024特征向量重复n次和前几次特征图结合经过1×1卷积之后输出分割结果；
步骤3，将点云数据输入到网络之中，对网络的参数进行训练；
步骤4，使用测试集对于步骤3训练出的网络进行测试。
2.根据权利要求1所述的一种基于动态图卷积神经网络的点云分析方法，其特征在于，步骤1所述采集雷达视野下物体和场景的点云数据，搜集点云分析相关的数据集，制作训练和测试数据集，用作模型的训练，其具体包括：
通过深度传感器、结构光、雷达这些硬件设备直接得到物体的三维信息，若数据集中不包括训练集和数据集，则将得到的数据集按照4:1的比例，将数据集分为训练集和测试集；若数据集中已包括训练集和测试集，转至步骤2。
3.根据权利要求1所述的一种基于动态图卷积神经网络的点云分析方法，其特征在于，步骤2中所述深度学习网络模型结构如下：
3.1注意力图卷积模块
定义边特征为：
LeakyReLU计算公式如下：
其中：
为可学习的参数，xj和xi初始为点云三维坐标，通过两层MLP层训练边特征的参数；引入注意力机制，对点云中每个点使用最邻近点算法，求出点周围K个点的向量边特征，应用Softmax逻辑回归模型对K个特征归一化即为当前点的特征；
3.2残差网络模块
一个残差块可以表示为：
残差块分成两部分直接映射部分和残差部分，其中直接映射部分为h(xl),残差部分为
反映在网络中就是在每一层图卷积模块之后都需要跳过后一层图卷积模块连接下层的输入；在不同层网络中xl和xl+1可能特征图的维度不同，这时需要使用1×1卷积升维或者降维；
3.3动态更新模块
每一层对于特征空间的点云仍然使用图卷积模块更新特征数据，具体方式就是在每一次使用图卷积模块求出N个点的高维特征之后仍然使用图卷积模块进行更新，并且保存每一次得到的N个点的高维特征。
4.根据权利要求1所述的一种基于动态图卷积神经网络的点云分析方法，其特征在于，步骤4所述将点云数据输入到网络之中，对网络的参数进行训练；其具体包括：
将步骤1得到的初始训练集输入到网络中。学习网络中的参数，记步骤2中的参数为Θnet，网络的输出为Pnet，使用交叉熵损失函数更新参数：
通过随机梯度下降法对网络进行训练，经过一定次数之后，保存模型参数用于测试。
5.根据权利要求1所述的一种基于动态图卷积神经网络的点云分析方法，其特征在于，步骤4所述使用测试集对于步骤3训练出的网络进行测试；其具体包括：
将步骤1中的测试集输入到保存的训练表现最好的网络模型之中，重复训练测试多次，选取表现最好的模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110616319.7A CN113313176A (zh) | 2021-06-02 | 2021-06-02 | 一种基于动态图卷积神经网络的点云分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110616319.7A CN113313176A (zh) | 2021-06-02 | 2021-06-02 | 一种基于动态图卷积神经网络的点云分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113313176A true CN113313176A (zh) | 2021-08-27 |
Family
ID=77377283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110616319.7A Pending CN113313176A (zh) | 2021-06-02 | 2021-06-02 | 一种基于动态图卷积神经网络的点云分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113313176A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116129118A (zh) * | 2023-01-17 | 2023-05-16 | 华北水利水电大学 | 基于图卷积的城市场景激光LiDAR点云语义分割方法 |
| CN116310349A (zh) * | 2023-05-25 | 2023-06-23 | 西南交通大学 | 基于深度学习的大规模点云分割方法、装置、设备及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111523521A (zh) * | 2020-06-18 | 2020-08-11 | 西安电子科技大学 | 一种双支路融合多尺度注意神经网络的遥感图像分类方法 |
| CN112488210A (zh) * | 2020-12-02 | 2021-03-12 | 北京工业大学 | 一种基于图卷积神经网络的三维点云自动分类方法 |
-
2021
- 2021-06-02 CN CN202110616319.7A patent/CN113313176A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111523521A (zh) * | 2020-06-18 | 2020-08-11 | 西安电子科技大学 | 一种双支路融合多尺度注意神经网络的遥感图像分类方法 |
| CN112488210A (zh) * | 2020-12-02 | 2021-03-12 | 北京工业大学 | 一种基于图卷积神经网络的三维点云自动分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| YUE WANG等: "Dynamic Graph CNN for Learning on Point Clouds", ACM TRANSACTIONS ON GRAPHICS, vol. 38, no. 5, 31 October 2019 (2019-10-31), pages 1 - 12, XP058686924, DOI: 10.1145/3326362 * |
| 童绪鹏: "基于点云数据的形状分析研究", 中国优秀硕士学位论文全文数据库, 15 February 2021 (2021-02-15), pages 1 - 61 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116129118A (zh) * | 2023-01-17 | 2023-05-16 | 华北水利水电大学 | 基于图卷积的城市场景激光LiDAR点云语义分割方法 |
| CN116129118B (zh) * | 2023-01-17 | 2023-10-20 | 华北水利水电大学 | 基于图卷积的城市场景激光LiDAR点云语义分割方法 |
| CN116310349A (zh) * | 2023-05-25 | 2023-06-23 | 西南交通大学 | 基于深度学习的大规模点云分割方法、装置、设备及介质 |
| CN116310349B (zh) * | 2023-05-25 | 2023-08-15 | 西南交通大学 | 基于深度学习的大规模点云分割方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109522966B (zh) | 一种基于密集连接卷积神经网络的目标检测方法 | |
| CN111832655B (zh) | 一种基于特征金字塔网络的多尺度三维目标检测方法 | |
| CN110569875B (zh) | 一种基于特征复用的深度神经网络目标检测方法 | |
| CN109377530A (zh) | 一种基于深度神经网络的双目深度估计方法 | |
| CN114255238A (zh) | 一种融合图像特征的三维点云场景分割方法及系统 | |
| CN111259936B (zh) | 一种基于单一像素标注的图像语义分割方法及系统 | |
| CN109635744A (zh) | 一种基于深度分割网络的车道线检测方法 | |
| CN113283525B (zh) | 一种基于深度学习的图像匹配方法 | |
| CN112560865B (zh) | 一种室外大场景下点云的语义分割方法 | |
| CN108171249B (zh) | 一种基于rgbd数据的局部描述子学习方法 | |
| CN111126385A (zh) | 一种可变形活体小目标的深度学习智能识别方法 | |
| CN116229461A (zh) | 一种基于多尺度细化的室内场景图像实时语义分割方法 | |
| CN113313176A (zh) | 一种基于动态图卷积神经网络的点云分析方法 | |
| CN113449612B (zh) | 一种基于子流型稀疏卷积的三维目标点云识别的方法 | |
| CN111914615A (zh) | 基于立体视觉的消防区域可通过性分析系统 | |
| CN111553296B (zh) | 一种基于fpga实现的二值神经网络立体视觉匹配方法 | |
| CN116222577B (zh) | 闭环检测方法、训练方法、系统、电子设备及存储介质 | |
| CN111353988B (zh) | Knn动态自适应的双图卷积图像分割方法和系统 | |
| CN112509021A (zh) | 一种基于注意力机制的视差优化方法 | |
| CN112669452B (zh) | 一种基于卷积神经网络多分支结构的物体定位方法 | |
| CN115170746B (zh) | 一种基于深度学习的多视图三维重建方法、系统及设备 | |
| CN116630828A (zh) | 基于地形环境适配的无人机遥感信息采集系统及方法 | |
| CN113361538B (zh) | 一种基于自适应选择邻域的点云分类和分割方法及系统 | |
| CN115115819A (zh) | 面向装配顺序监测的图像多视角语义变化检测网络及方法 | |
| CN115330935A (zh) | 一种基于深度学习的三维重建方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |