CN110210281B - 基于球面分形卷积神经网络的三维点云识别方法及装置 - Google Patents

基于球面分形卷积神经网络的三维点云识别方法及装置 Download PDF

Info

Publication number
CN110210281B
CN110210281B CN201910249583.4A CN201910249583A CN110210281B CN 110210281 B CN110210281 B CN 110210281B CN 201910249583 A CN201910249583 A CN 201910249583A CN 110210281 B CN110210281 B CN 110210281B
Authority
CN
China
Prior art keywords
point cloud
dimensional point
neural network
spherical
fractal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910249583.4A
Other languages
English (en)
Other versions
CN110210281A (zh
Inventor
鲁继文
周杰
饶永铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910249583.4A priority Critical patent/CN110210281B/zh
Publication of CN110210281A publication Critical patent/CN110210281A/zh
Application granted granted Critical
Publication of CN110210281B publication Critical patent/CN110210281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于球面分形卷积神经网络的三维点云识别方法及装置，其中，方法包括以下步骤：利用深度神经网络将三维点云数据投影到球面；利用球面分形深度卷积神经网络框架处理投影到球面的三维点云数据；通过融合不同层次的深度特征对处理过的三维点云数据进行三维点云识别，以得到三维点云识别结果。该方法可以有效提升三维点云识别技术在复杂场景下的准确性和鲁棒性，简单易实现。

Description

基于球面分形卷积神经网络的三维点云识别方法及装置
技术领域
本发明涉及计算机三维点云识别技术领域，特别涉及一种基于球面分形卷积神经网络的三维点云识别方法及装置。
背景技术
近些年来，用于点三维云处理的深度学习方法引起了研究者们的较大关注。与基于三维体素或二维投影视图的三维物体推理技术相比，直接处理三维点云更有价值，也更具挑战性。直接处理三维点云的内在困难来自其不规则的格式，这使得描述三维物体的局部结非常困难。
为了解决三维点云的识别问题，以前的工作利用一组局部点通过动态查询每个位置的最近点来近似局部结构，这在训练和推理期间引入了相当大的计算成本，并且需要精心设计的模块来处理不同区域的密度不均匀。
点云信息通常可以通过3D扫描仪获得，并在自动驾驶和机器人等实际领域中被广泛应用。然而，三维点云的视点，密度和其他属性在不同场景中可能会有很大差异。因此，点云处理算法应该能够抵抗来自传感器和环境的各种噪声，如旋转，扰动和密度变化。虽然目前有一些算法致力于学习非均匀密度和3D旋转的鲁棒特征，但是点云处理算法的鲁棒性还远远不够完善。现有算法通常无法平衡性能和稳健性，其中具有强表示能力的模型不能很好地处理旋转的三维点云，而对旋转鲁棒的算法性能相对较差。
深度卷积神经网络的应用为图像识别带来了一系列突破，并在各种任务中表现出强大的表达能力和泛化能力。取得巨大成功的原因之一是CNN(Convolutional NeuralNetworks，卷积神经网络)的分层架构，其中低，中，高级别的功能自然集成，特征可以层次化的学习。受益于图像数据格式的规整性(网格数据)，CNN可以容易地对特征图进行合并或上采样，这允许CNN在多尺度层级的不同感受域来学习和丰富特征。卷积神经网络的先前成功也表明维持稳定的邻近操作是重要的。稳定性来自两个方面，一是稳定的邻近元素选择，另一种是邻近元素的稳定性。对于卷积神经网络，图像网格作为一种特性良好的规则格式，可以很容易地应用卷积操作，以保证邻近元素的稳定性。
然而，三维点云数据中不存在这样的特性，因为不同的点云通常有不同的组织形式，由于密度不均匀，不能始终和同时保持稳定的领域选择(例如，固定选择k个最近点)和保证邻近元素的稳定性(例如，选择半径r内的点)。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于球面分形卷积神经网络的三维点云识别方法，该方法可以提升三维点云识别技术在复杂场景下的准确性和鲁棒性，简单易实现。
本发明的另一个目的在于提出一种基于球面分形卷积神经网络的三维点云识别装置。
为达到上述目的，本发明一方面实施例提出了一种基于球面分形卷积神经网络的三维点云识别方法，包括以下步骤：利用深度神经网络将三维点云数据投影到球面；利用球面分形深度卷积神经网络框架处理投影到球面的三维点云数据；通过融合不同层次的深度特征对处理过的三维点云数据进行三维点云识别，以得到三维点云识别结果。
本发明实施例的基于球面分形卷积神经网络的三维点云识别方法，通过引入可学习球面投影、球面分形结构来使用卷积神经网络来处理点云数据，同时，基于卷积神经网络的处理三维点云的深度学习框架，从而获得更鲁棒和丰富的特征，使得三维点云识别更准确和鲁棒性，进而提升三维点云识别技术在复杂场景下的准确性和鲁棒性，简单易实现。
另外，根据本发明上述实施例的基于球面分形卷积神经网络的三维点云识别方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述利用深度神经网络将三维点云数据投影到球面，进一步包括：通过预设PointNet结构对所述三维点云数据中的局部点云数据进行汇总和抽象，以得到球面特征；根据所述深度神经网络和所述球面特征恢复原始的三维结构。
进一步地，在本发明的一个实施例中，所述深度神经网络由端到端的随机梯度下降方法进行优化，优化目标包括分类损失函数和可逆性损失函数，分类损失函数采用预设softmax交叉熵，可逆性则是约束球面投影的特征还原原始点云。
进一步地，在本发明的一个实施例中，还包括：通过球面所在预设坐标系的角度将球面进行等角划分，以得到正二十面体球面分形的网格，其中，所述正二十面体球面分形的网格为点云数据处理的基础。
进一步地，在本发明的一个实施例中，所述预设神经网络为深度神经网络，其中，所述三维点云识别结果包括三维点云特征提取任务、三维点云特征分类任务、三维点云特征对齐任务、三维点云特征检索任务和三维点云特征语义分割任务中的一种或多种任务的识别结果。
为达到上述目的，本发明另一方面实施例提出了一种基于球面分形卷积神经网络的三维点云识别装置，包括：投影模块，用于利用深度神经网络将三维点云数据投影到球面；处理模块，用于利用球面分形深度卷积神经网络框架处理投影到球面的三维点云数据；识别模块，用于通过融合不同层次的深度特征对处理过的三维点云数据进行三维点云识别，以得到三维点云识别结果。
本发明实施例的基于球面分形卷积神经网络的三维点云识别装置，通过引入可学习球面投影、球面分形结构来使用卷积神经网络来处理点云数据，同时，基于卷积神经网络的处理三维点云的深度学习框架，从而获得更鲁棒和丰富的特征，使得三维点云识别更准确和鲁棒性，进而提升三维点云识别技术在复杂场景下的准确性和鲁棒性，简单易实现。
另外，根据本发明上述实施例的基于球面分形卷积神经网络的三维点云识别装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述投影模块进一步用于通过预设PointNet结构对所述三维点云数据中的局部点云数据进行汇总和抽象，以得到球面特征，并根据所述深度神经网络和所述球面特征恢复原始的三维结构。
进一步地，在本发明的一个实施例中，所述深度神经网络由端到端的随机梯度下降方法进行优化，优化目标包括分类损失函数和可逆性损失函数，分类损失函数采用预设softmax交叉熵，可逆性则是约束球面投影的特征还原原始点云。
进一步地，在本发明的一个实施例中，还包括：划分模块，用于通过球面所在预设坐标系的角度将球面进行等角划分，以得到正二十面体球面分形的网格，其中，所述正二十面体球面分形的网格为点云数据处理的基础。
进一步地，在本发明的一个实施例中，所述预设神经网络为深度神经网络，其中，所述三维点云识别结果包括三维点云特征提取任务、三维点云特征分类任务、三维点云特征对齐任务、三维点云特征检索任务和三维点云特征语义分割任务中的一种或多种任务的识别结果。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的基于球面分形卷积神经网络的三维点云识别方法的流程图；
图2为根据本发明一个实施例的不同球面划分方法比较示意图；
图3为根据本发明一个实施例的整体流程图和网络结构图；
图4为根据本发明一个实施例的不同层次特征旋转不变性可视化示意图；
图5为根据本发明一个实施例的基于球面分形卷积神经网络的三维点云识别装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于球面分形卷积神经网络的三维点云识别方法及装置，首先将参照附图描述根据本发明实施例提出的基于球面分形卷积神经网络的三维点云识别方法。
图1是本发明一个实施例的基于球面分形卷积神经网络的三维点云识别方法的流程图。
如图1所示，该基于球面分形卷积神经网络的三维点云识别方法包括以下步骤：
在步骤S101中，利用深度神经网络将三维点云数据投影到球面。
可以理解的是，本发明实施例将输入三维点云数据利用神经网络投影到球面。具体地，本发明提出引入球面分形结构，将原始三维点云通过可学习的神经网络投影到球面，使得利用卷积神经网络高效处理三维点云数据成为可能
进一步地，在本发明的一个实施例中，利用深度神经网络将三维点云数据投影到球面，进一步包括：通过预设PointNet结构对三维点云数据中的局部点云数据进行汇总和抽象，以得到球面特征；根据深度神经网络和球面特征恢复原始的三维结构。
可以理解的是，本发明实施例提出了可学习的球面投影技术，不同于以往的基于规则的投影方法，可学习的方式更有助于保留点云信息，使得投影过程的信息损失最小，更好的保护了识别过程中关键的点云局部特征。
具体而言，不同于传统方法中使用固定的规则(如中心射线法)进行球面投影，本发明实施例的方法提出采用深度神经网络来学习投影，可以通过应用一个小型的PointNet结构对局部点云信息进行汇总和抽象，形成球面上的特征。基于固定规则的方法往往在投影过程中引入明显的信息损失，而本发明实施例的方法中的可学习球面投影则能很好的解决这一问题，通过和可逆性约束结合，投影过程可以保证信息极少损失，能够通过球面特征完全恢复原始的三维结构。
其中，在本发明的一个实施例中，深度神经网络由端到端的随机梯度下降方法进行优化，优化目标包括分类损失函数和可逆性损失函数，分类损失函数采用预设softmax交叉熵，可逆性则是约束球面投影的特征还原原始点云。
具体而言，深度神经网络模型由端到端的随机梯度下降方法进行优化。优化目标包括分类损失函数和可逆性损失函数。分类损失函数采用标准的softmax交叉熵，可逆性则是约束球面投影的特征能够完全还原原始点云。这两个目标使得本方法兼具准确性和泛化能力。
在步骤S102中，利用球面分形深度卷积神经网络框架处理投影到球面的三维点云数据。
可以理解的是，本发明实施例利用发明的球面分形深度卷积神经网络框架，处理投影到点云的三维点云数据。也就是说，本发明实施例通过设计基于分形结构的层次化学习框架，提高三维点云识别的精度和鲁棒性。
本发明实施例引入了卷积神经网络的层次学习结构，并将这一结构和球面分形架构结合，使得本发明实施例的方法可以高效的对点云信息进行上采样、下采样操作，同时，由于不同层次的信息的融合，使得学习丰富、深度的点云特征成为可能，最终提升了点云识别的准确率。
具体而言，球面分形卷积神经网络架构如附图3所示。在本发明实施例的方法中，借鉴了用于图像处理的卷积神经网络的主流架构，即随着网络深度增加，特征的通道逐渐增加，同时对数据进行下采样处理。这种方法相比没有下采样的点云识别框架更加高效。同时，由于点云被逐渐下采样，网络浅层主要学习局部结构的特征，而深层专注于学习全局的学习，层次化学习的思想同样有助于提高网络的识别性能。
进一步地，在本发明的一个实施例中，本发明实施例的方法还包括：通过球面所在预设坐标系的角度将球面进行等角划分，以得到正二十面体球面分形的网格，其中，正二十面体球面分形的网格为点云数据处理的基础。
可以理解的是，本发明实施例基于正二十面体球面分形的网格作为点云数据处理的基础，使得学习的特征对旋转鲁棒。并在网格上定于了离散卷积操作，使得用于图像处理的卷积神经网络技术能够用于点云。
具体而言，以往的球面投影方法主要采用等角投影的方式，这一方法定义简单，通过球面坐标系的角度将球面进行等角划分，如附图2(a)所示。这一投影不具有旋转不变性，同一物体不同视角的三维模型在等角划分下有不同的结果，即这一划分不是SO(3)旋转对称的。
本发明实施例的方法提出以等面积的方式进行球面划分，具体来说采用正二十面体球面分形来进行球面划分，如附图2(b)-(f)所示。这一划分的有点主要体现在两个方面：(1)相比于等角划分，等面积划分具有更好的对称性，在分形层次足够大的情况下，能够很好的近似球面；(2)相比于其他等面积划分，分形结构更加方便进行上采样、下采样等操作，使得这一结构能够很好的应用于层次化的深度学习的过程中。
在步骤S103中，通过融合不同层次的深度特征对处理过的三维点云数据进行三维点云识别，以得到三维点云识别结果。
需要说明的是，不同层次特征旋转不变性可视化如图4所示。
其中，在本发明的一个实施例中，预设神经网络为深度神经网络，其中，三维点云识别结果包括三维点云特征提取任务、三维点云特征分类任务、三维点云特征对齐任务、三维点云特征检索任务和三维点云特征语义分割任务中的一种或多种任务的识别结果。
可以理解的是，通过融合不同层次的深度特征，进行三维点云识别，按照不同需求输出分类、检索、点云语义分割、对齐等任务的结果。本发明实施例的方法提出的识别架构是一种点云信息处理的灵活而通用的框架，可用于点云处理的多种场景，包含点云特征提取、分类、对齐、检索和语义分割等任务。
根据本发明实施例提出的基于球面分形卷积神经网络的三维点云识别方法，通过引入可学习球面投影、球面分形结构来使用卷积神经网络来处理点云数据，同时，基于卷积神经网络的处理三维点云的深度学习框架，从而获得更鲁棒和丰富的特征，使得三维点云识别更准确和鲁棒性，进而提升三维点云识别技术在复杂场景下的准确性和鲁棒性，简单易实现。
其次参照附图描述根据本发明实施例提出的基于球面分形卷积神经网络的三维点云识别装置。
图5是本发明一个实施例的基于球面分形卷积神经网络的三维点云识别装置的结构示意图。
如图5所示，该基于球面分形卷积神经网络的三维点云识别装置10包括：投影模块100、处理模块200和识别模块300。
其中，投影模块100用于利用深度神经网络将三维点云数据投影到球面。处理模块200用于利用球面分形深度卷积神经网络框架处理投影到球面的三维点云数据。识别模块300用于通过融合不同层次的深度特征对处理过的三维点云数据进行三维点云识别，以得到三维点云识别结果。本发明实施例的装置10可以有效提升三维点云识别技术在复杂场景下的准确性和鲁棒性，简单易实现。
进一步地，在本发明的一个实施例中，投影模块100进一步用于通过预设PointNet结构对三维点云数据中的局部点云数据进行汇总和抽象，以得到球面特征，并根据深度神经网络和球面特征恢复原始的三维结构。
进一步地，在本发明的一个实施例中，深度神经网络由端到端的随机梯度下降方法进行优化，优化目标包括分类损失函数和可逆性损失函数，分类损失函数采用预设softmax交叉熵，可逆性则是约束球面投影的特征还原原始点云。
进一步地，在本发明的一个实施例中，本发明实施例的装置10还包括：划分模块。其中，划分模块用于通过球面所在预设坐标系的角度将球面进行等角划分，以得到正二十面体球面分形的网格，其中，正二十面体球面分形的网格为点云数据处理的基础。
进一步地，在本发明的一个实施例中，预设神经网络为深度神经网络，其中，三维点云识别结果包括三维点云特征提取任务、三维点云特征分类任务、三维点云特征对齐任务、三维点云特征检索任务和三维点云特征语义分割任务中的一种或多种任务的识别结果。
需要说明的是，前述对基于球面分形卷积神经网络的三维点云识别方法实施例的解释说明也适用于该实施例的基于球面分形卷积神经网络的三维点云识别装置，此处不再赘述。
根据本发明实施例提出的基于球面分形卷积神经网络的三维点云识别装置，通过引入可学习球面投影、球面分形结构来使用卷积神经网络来处理点云数据，同时，基于卷积神经网络的处理三维点云的深度学习框架，从而获得更鲁棒和丰富的特征，使得三维点云识别更准确和鲁棒性，进而提升三维点云识别技术在复杂场景下的准确性和鲁棒性，简单易实现。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于球面分形卷积神经网络的三维点云识别方法，其特征在于，包括以下步骤：
利用深度神经网络将三维点云数据投影到球面；
利用球面分形深度卷积神经网络框架处理投影到球面的三维点云数据，其中，所述球面分形卷积神经网络框架是通过将卷积神经网络的层次学习结构和球面分形架构结合得到；以及
通过融合不同层次的深度特征对处理过的三维点云数据进行三维点云识别，以得到三维点云识别结果。
2.根据权利要求1所述的基于球面分形卷积神经网络的三维点云识别方法，其特征在于，所述利用深度神经网络将三维点云数据投影到球面，进一步包括：
通过预设PointNet结构对所述三维点云数据中的局部点云数据进行汇总和抽象，以得到球面特征；
根据所述深度神经网络和所述球面特征恢复原始的三维结构。
3.根据权利要求2所述的基于球面分形卷积神经网络的三维点云识别方法，其特征在于，所述深度神经网络由端到端的随机梯度下降方法进行优化，优化目标包括分类损失函数和可逆性损失函数，分类损失函数采用预设softmax交叉熵，可逆性则是约束球面投影的特征还原原始点云。
4.根据权利要求1所述的基于球面分形卷积神经网络的三维点云识别方法，其特征在于，还包括：
通过球面所在预设坐标系的角度将球面进行等角划分，以得到正二十面体球面分形的网格，其中，所述正二十面体球面分形的网格为点云数据处理的基础。
5.根据权利要求1-4任一项所述的基于球面分形卷积神经网络的三维点云识别方法，其特征在于，预设神经网络为深度神经网络，其中，
所述三维点云识别结果包括三维点云特征提取任务、三维点云特征分类任务、三维点云特征对齐任务、三维点云特征检索任务和三维点云特征语义分割任务中的一种或多种任务的识别结果。
6.一种基于球面分形卷积神经网络的三维点云识别装置，其特征在于，包括：
投影模块，用于利用深度神经网络将三维点云数据投影到球面；
处理模块，用于利用球面分形深度卷积神经网络框架处理投影到球面的三维点云数据，其中，所述球面分形卷积神经网络框架是通过将卷积神经网络的层次学习结构和球面分形架构结合得到；以及
识别模块，用于通过融合不同层次的深度特征对处理过的三维点云数据进行三维点云识别，以得到三维点云识别结果。
7.根据权利要求6所述的基于球面分形卷积神经网络的三维点云识别装置，其特征在于，所述投影模块进一步用于通过预设PointNet结构对所述三维点云数据中的局部点云数据进行汇总和抽象，以得到球面特征，并根据所述深度神经网络和所述球面特征恢复原始的三维结构。
8.根据权利要求7所述的基于球面分形卷积神经网络的三维点云识别装置，其特征在于，所述深度神经网络由端到端的随机梯度下降方法进行优化，优化目标包括分类损失函数和可逆性损失函数，分类损失函数采用预设softmax交叉熵，可逆性则是约束球面投影的特征还原原始点云。
9.根据权利要求6所述的基于球面分形卷积神经网络的三维点云识别装置，其特征在于，还包括：
划分模块，用于通过球面所在预设坐标系的角度将球面进行等角划分，以得到正二十面体球面分形的网格，其中，所述正二十面体球面分形的网格为点云数据处理的基础。
10.根据权利要求6-9任一项所述的基于球面分形卷积神经网络的三维点云识别装置，其特征在于，预设神经网络为深度神经网络，其中，
所述三维点云识别结果包括三维点云特征提取任务、三维点云特征分类任务、三维点云特征对齐任务、三维点云特征检索任务和三维点云特征语义分割任务中的一种或多种任务的识别结果。
CN201910249583.4A 2019-03-29 2019-03-29 基于球面分形卷积神经网络的三维点云识别方法及装置 Active CN110210281B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910249583.4A CN110210281B (zh) 2019-03-29 2019-03-29 基于球面分形卷积神经网络的三维点云识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910249583.4A CN110210281B (zh) 2019-03-29 2019-03-29 基于球面分形卷积神经网络的三维点云识别方法及装置

Publications (2)

Publication Number Publication Date
CN110210281A CN110210281A (zh) 2019-09-06
CN110210281B true CN110210281B (zh) 2021-05-11

Family

ID=67785255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910249583.4A Active CN110210281B (zh) 2019-03-29 2019-03-29 基于球面分形卷积神经网络的三维点云识别方法及装置

Country Status (1)

Country Link
CN (1) CN110210281B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11703457B2 (en) 2020-12-29 2023-07-18 Industrial Technology Research Institute Structure diagnosis system and structure diagnosis method
CN113076958B (zh) * 2021-04-25 2023-07-18 华南理工大学 一种具有旋转不变性的三维点云模型分类方法与系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11379688B2 (en) * 2017-03-16 2022-07-05 Packsize Llc Systems and methods for keypoint detection with convolutional neural networks
CN108520202B (zh) * 2018-03-15 2020-06-19 华南理工大学 基于变分球面投影的对抗鲁棒性图像特征提取方法
CN110163271B (zh) * 2019-05-13 2020-12-01 武汉大学 一种基于球面投影网格和球面卷积的全景影像目标检测方法

Also Published As

Publication number Publication date
CN110210281A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
Hu et al. Learning semantic segmentation of large-scale point clouds with random sampling
Fan et al. Sne-roadseg: Incorporating surface normal information into semantic segmentation for accurate freespace detection
Zhang et al. Deep fusionnet for point cloud semantic segmentation
CN111190981B (zh) 一种三维语义地图的构建方法、装置、电子设备及存储介质
Crandall et al. SfM with MRFs: Discrete-continuous optimization for large-scale structure from motion
US9171403B2 (en) Contour completion for augmenting surface reconstructions
CN108734210B (zh) 一种基于跨模态多尺度特征融合的对象检测方法
Chibane et al. Box2mask: Weakly supervised 3d semantic instance segmentation using bounding boxes
Truong et al. Fast point cloud registration using semantic segmentation
Liu et al. 3D Point cloud analysis
Sun et al. Zernet: Convolutional neural networks on arbitrary surfaces via zernike local tangent space estimation
CN110210281B (zh) 基于球面分形卷积神经网络的三维点云识别方法及装置
US11804043B2 (en) Detecting objects in a video using attention models
Li et al. Automatic road extraction from remote sensing imagery using ensemble learning and postprocessing
CN110781894A (zh) 点云语义分割方法、装置及电子设备
Singh et al. MeshNet++: A Network with a Face.
Saovana et al. Automated point cloud classification using an image-based instance segmentation for structure from motion
Xuan et al. MV-C3D: A spatial correlated multi-view 3d convolutional neural networks
Dey et al. Machine learning-based segmentation of aerial LiDAR point cloud data on building roof
CN116266359A (zh) 目标物的跟踪方法、装置、计算机设备和存储介质
Mukhaimar et al. Pl-net3d: Robust 3d object class recognition using geometric models
Zhang et al. Exploring Semantic Information Extraction from Different Data Forms in 3D Point Cloud Semantic Segmentation
KR102556765B1 (ko) 비주얼 로컬라이제이션을 위한 방법 및 장치
Hwang et al. Frame-to-frame visual odometry estimation network with error relaxation method
Xue et al. Digital twinning of construction objects: Lessons learned from pose estimation methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant