CN111582105A - 基于局部全局双向推理的无监督点云特征学习方法及装置 - Google Patents

基于局部全局双向推理的无监督点云特征学习方法及装置 Download PDF

Info

Publication number
CN111582105A
CN111582105A CN202010351343.8A CN202010351343A CN111582105A CN 111582105 A CN111582105 A CN 111582105A CN 202010351343 A CN202010351343 A CN 202010351343A CN 111582105 A CN111582105 A CN 111582105A
Authority
CN
China
Prior art keywords
point cloud
local
global
features
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010351343.8A
Other languages
English (en)
Inventor
鲁继文
周杰
饶永铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010351343.8A priority Critical patent/CN111582105A/zh
Publication of CN111582105A publication Critical patent/CN111582105A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于局部全局双向推理的无监督点云特征学习方法和装置，包括以下步骤：获取三维点云数据，通预设神经提取网络对三维点云数据进行特征提取，得到三维点云数据对应的局部点云特征和全局点云特征；通过解码器网络对全局点云特征进行处理，得到原始点云和估计点云法向量；根据原始点云、估计点云法向量和局部点云特征进行无监督点云特征学习得到网络参数，根据网络参数生成目标分类器。由此，能够同时学习结构信息和语义知识，提高无监督学习特征的质量，从而提高无监督点云识别的性能。

Description

基于局部全局双向推理的无监督点云特征学习方法及装置
技术领域
本发明涉及计算机三维点云识别和特征学习技术，特别涉及一种基于局部全局双向推理的无监督点云特征学习方法及装置。
背景技术
近些年来，用于点三维云处理的深度学习方法引起了研究者们的较大关注。点云识别在许多现实世界场景中有很大的应用价值，例如自动驾驶，增强现实和智能机器人。点云识别中的一个核心问题就是学习兼具可区分性、通用性和鲁棒性的强大特征，为了解决这个问题，现有的高性能点云识别系统通常需要借助大量的人工标注数据，但是人工标注的数据往往需要很高的人工成本，并且可能会限制学习模型的泛化能力。因此，无监督特征学习是获得用于点云识别的通用且鲁棒的特征的主要方向之一。
具体地，从未标记的数据中学习有用的特征是点云分析的一个基本且具有挑战性的问题。相关的技术中，主要基于生成或重建任务提供的自监督信号，使用的技术包括重建，局部到全局重建和分布估计。这些方法已被证明可以有效地提取点云的基本结构信息，但通常无法从点云中学习高层语义信息。因此，目前无监督模型的性能仍然远远落后于最新的有监督模型。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于局部全局双向推理的无监督点云特征学习方法，能够同时学习结构信息和语义知识，提高无监督学习特征的质量，从而提高无监督点云识别的性能。
本发明的另一个目的在于提出一种基于局部全局双向推理的无监督点云特征学习装置。
为达到上述目的，本发明实施例提出了一种基于局部全局双向推理的无监督点云特征学习方法，包括以下步骤：获取三维点云数据，通预设神经提取网络对三维点云数据进行特征提取，得到三维点云数据对应的局部点云特征和全局点云特征；通过解码器网络对全局点云特征进行处理，得到原始点云和估计点云法向量；根据原始点云、估计点云法向量和局部点云特征进行无监督点云特征学习得到网络参数，根据网络参数生成目标分类器。
本发明实施例的基于局部全局双向推理的无监督点云特征学习方法，通过获取三维点云数据，通预设神经提取网络对三维点云数据进行特征提取，得到三维点云数据对应的局部点云特征和全局点云特征；通过解码器网络对全局点云特征进行处理，得到原始点云和估计点云法向量；根据原始点云、估计点云法向量和局部点云特征进行无监督点云特征学习得到网络参数，根据网络参数生成目标分类器。由此，能够同时学习结构信息和语义知识，提高无监督学习特征的质量，从而提高无监督点云识别的性能。
另外，根据本发明上述实施例的基于局部全局双向推理的无监督点云特征学习方法，还可以具有如下附加的技术特征：
进一步地，在本发明的一个实施例中，所述通预设神经提取网络对所述三维点云数据进行特征提取，得到所述三维点云数据对应的局部点云特征和全局点云特征，包括：通过第一层神经提取网络对所述三维点云数据进行特征提取得到第一局部点云特征；其中，所述第一局部点云特征为第一层的点数目和特征维度构建的特征矩阵；通过第二层神经提取网络对所述三维点云数据进行特征提取得到第二局部点云特征；其中，所述第二局部点云特征为第二层的点数目和特征维度构建的特征矩阵；通过第三层神经提取网络对所述三维点云数据进行特征提取得到全局点云特征；其中，所述全局点云特征整个点云信息的特征。
进一步地，在本发明的一个实施例中，还包括：所述根据所述原始点云、所述估计点云法向量和所述局部点云特征进行无监督点云特征学习得到网络参数，包括：根据预设损失函数将所述全局点云特征作为正样本，所述原始点云和所述估计点云法向量作为负样本对所述局部点云特征进行自监督度量学习生成所述网络参数。
进一步地，在本发明的一个实施例中，还包括：将所述全局点云特征和所述局部点云特征投影到公共的再生核希尔伯特空间中，并使用对比学习的方法进行所述全局点云特征和所述局部点云特征的特征学习生成所述网络参数。
进一步地，在本发明的一个实施例中，还包括：所述获取三维点云数据，包括：通过激光雷达传感器获取所述三维点云数据；或对三维物体进行处理获取所述三维点云数据。
为达到上述目的，本发明第二方面实施例提出了一种基于局部全局双向推理的无监督点云特征学习装置，包括：获取三维点云数据，通预设神经提取网络对三维点云数据进行特征提取，得到三维点云数据对应的局部点云特征和全局点云特征；通过解码器网络对全局点云特征进行处理，得到原始点云和估计点云法向量；根据原始点云、估计点云法向量和局部点云特征进行无监督点云特征学习得到网络参数，根据网络参数生成目标分类器。
本发明实施例的基于局部全局双向推理的无监督点云特征学习装置，通过获取三维点云数据，通预设神经提取网络对三维点云数据进行特征提取，得到三维点云数据对应的局部点云特征和全局点云特征；通过解码器网络对全局点云特征进行处理，得到原始点云和估计点云法向量；根据原始点云、估计点云法向量和局部点云特征进行无监督点云特征学习得到网络参数，根据网络参数生成目标分类器。由此，能够同时学习结构信息和语义知识，提高无监督学习特征的质量，从而提高无监督点云识别的性能。
另外，根据本发明上述实施例的基于局部全局双向推理的无监督点云特征学习装置，还可以具有如下附加的技术特征：
进一步地，在本发明的一个实施例中，包括：获取模块，用于获取三维点云数据；提取模块，用于通预设神经提取网络对所述三维点云数据进行特征提取，得到所述三维点云数据对应的局部点云特征和全局点云特征；处理模块，用于通过解码器网络对所述全局点云特征进行处理，得到原始点云和估计点云法向量；学习模块，用于根据所述原始点云、所述估计点云法向量和所述局部点云特征进行无监督点云特征学习得到网络参数；生成模块，用于根据所述网络参数生成目标分类器。
进一步地，在本发明的一个实施例中，还包括：所述提取模块，具体用于：通过第一层神经提取网络对所述三维点云数据进行特征提取得到第一局部点云特征；其中，所述第一局部点云特征为第一层的点数目和特征维度构建的特征矩阵；通过第二层神经提取网络对所述三维点云数据进行特征提取得到第二局部点云特征；其中，所述第二局部点云特征为第二层的点数目和特征维度构建的特征矩阵；通过第三层神经提取网络对所述三维点云数据进行特征提取得到全局点云特征；其中，所述全局点云特征整个点云信息的特征。
进一步地，在本发明的一个实施例中，还包括：所述学习模块，具体用于：根据预设损失函数将所述全局点云特征作为正样本，所述原始点云和所述估计点云法向量作为负样本对所述局部点云特征进行自监督度量学习生成所述网络参数。
进一步地，在本发明的一个实施例中，还包括：将所述全局点云特征和所述局部点云特征投影到公共的再生核希尔伯特空间中，并使用对比学习的方法进行所述全局点云特征和所述局部点云特征的特征学习生成所述网络参数。
进一步地，在本发明的一个实施例中，还包括：所述获取模块，具体用于：通过激光雷达传感器获取所述三维点云数据；或对三维物体进行处理获取所述三维点云数据。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
下面参考附图描述本申请实施例的基于局部全局双向推理的无监督点云特征学习方法和装置。
图1为本申请实施例所提供的一种基于局部全局双向推理的无监督点云特征学习方法的流程示意图；
图2为本申请实施例所提供的一种基于局部全局双向推理的无监督点云特征学习方法的示例图；
图3为本申请实施例所提供的学习特征的分布图；
图4为本申请实施例所提供的特征激活可视化示意图；
图5为本申请实施例所提供的一种基于局部全局双向推理的无监督点云特征学习装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于局部全局双向推理的无监督点云特征学习方法和装置。
图1为本申请实施例所提供的一种基于局部全局双向推理的无监督点云特征学习方法的流程示意图。
针对本申请局部到全局推理的理解，为以无监督学习方法得到具有可分性和包含点云高层次语义信息的特征，本方法提出将当前点云的全局特征作为正样本，并使用其他点云的全局特征作为负样本对局部点云特征进行自监督度量学习，为将局部和全局特征映射到一个公共高维空间进行学习，本方法提出了一个预测未来框架，将局部特征和全局特征投影到公共的再生核希尔伯特空间中，使用对比学习的方法进行特征学习，实现从局部特征到全局特征的推理学习。
针对本申请全局到局部推理的理解，由于从无标签数据中学习对下游任务(如分类、语义分割)有用的知识通常是很棘手的，因此从局部到全局的推理可能不一定会能学习到有用的特征，由于局部到全局推理仅监督局部特征接近全局特征，因此全局特征的质量至关重要。如果全局特征有一个较好的初始化，将对局部特征学习提供适当的监督信号，从而为学习局部和全局特征创造良性循环。相反，对于糟糕的全局特征初始状态，学习过程可能会获得不可预测的结果。为避免此问题，本发明提出了一个辅助的全局到局部推理任务，以监督网络以学习公司的有用表示，具体来说，本方法采用了两个低层生成任务，包括点云重建和法线方向估计作为两个自监督信号，以保证全局表示能够表示的基本结构信息。
如图1所示，该基于局部全局双向推理的无监督点云特征学习方法，包括：
步骤S101，获取三维点云数据，通预设神经提取网络对三维点云数据进行特征提取，得到三维点云数据对应的局部点云特征和全局点云特征。
本申请主要目的是提升现有无监督三维点云识别技术的识别性能。本发明通过提出用于点云学习的对比学习技术(contrastive learning)，构建了局部到全局推理，全局到局部推理两个算法，同时，本技术提出了用于点云学习的可拓展深度网络结构，总结出了增加点云识别网络性能的基本规律，极大提高了无监督点云识别的性能。
在本发明的一个实施例中，获取三维点云数据的方式有很多种，比如通过激光雷达传感器获取三维点云数据；再比如对三维物体进行处理获取三维点云数据等中的一种或者多种，可以根据需要进行选择设置。
进一步地，根据通预设神经提取网络对三维点云数据进行特征提取，得到三维点云数据对应的局部点云特征和全局点云特征。
作为一种可能实现方式，通过第一层神经提取网络对三维点云数据进行特征提取得到第一局部点云特征，第一局部点云特征为第一层的点数目和特征维度构建的特征矩阵；通过第二层神经提取网络对三维点云数据进行特征提取得到第二局部点云特征，第二局部点云特征为第二层的点数目和特征维度构建的特征矩阵；通过第三层神经提取网络对所述三维点云数据进行特征提取得到全局点云特征，其中，全局点云特征为整个点云信息的特征。
可以理解的是，特征提取网络是一个多层神经网络，每一层都能产生不同尺度的特征。具体而言，比如特征提取网络有3层，1-2层输出的特征是局部特征，每个特征为一个n_i x d_i的矩阵，n_i是第i层的点数目，d_i是特征维度；第三层输出的是全局特征，是总结了整个点云信息的特征，为一个d_3维的向量。
步骤S102，通过解码器网络对全局点云特征进行处理，得到原始点云和估计点云法向量。
步骤103，根据原始点云、估计点云法向量和局部点云特征进行无监督点云特征学习得到网络参数，根据网络参数生成目标分类器。
其中，根据原始点云、估计点云法向量和局部点云特征进行无监督点云特征学习得到网络参数的方式有很多种，作为一种示例，根据预设损失函数将全局点云特征作为正样本，原始点云和估计点云法向量作为负样本对局部点云特征进行自监督度量学习生成网络参数。
进一步的，无监督度量学习损失函数的计算方法为：将全局点云特征和局部点云特征投影到公共的再生核希尔伯特空间中，并使用对比学习的方法进行全局点云特征和局部点云特征的特征学习生成网络参数。
可以理解的是，损失函数是从局部到全局推理提出的方法，来从局部特征和全局特征的关系来监督网络学习。点云重建和法向量估计是用于约束解码器网络的输出。这些都用于产生监督信号来学习网络参数。
其中，通过在学习得到特征的基础上学习分类器，可以将本方法用于点云分类、语义分割和目标检测等领域。
由此，提出了用于局部到全局推理的对比学习技术，并构建了局部全局双向推理的无监督学习算法，不需要人工标注的点云分类数据的情况下能取得相比监督学习方法更优的点云特征。
本申请还可以通过增加点云神经网络的宽度，可以实现识别性能的稳定提升，并改进了现有的点云识别PointNet++网络，提出了早池化的网络结构，在推理速度和识别准确率上均有明显提高。
为了本领域人员更加清楚上述实施例本发明提出了局部到全局推理和全局到局部推理两种无监督学习方式，同时通过改进PointNet++点云识别框架，引入早池化的网络结构，提高三维点云识别的精度和推理效率，如图2所示：
具体地，(1)将输入三维点云数据利用特征提取神经网络获得不同抽象层次的特征；(2)使用解码器网络利用全局点云特征恢复出原始点云并估计点云法向量方向；(3)使用提出的无监督度量学习损失函数和点云重建、法向量估计函数进行无监督点云特征学习；(4)通过在学习得到特征的基础上学习分类器，可以将本方法用于点云分类、语义分割和目标检测等领域。
需要说明的是，如图2所示，在PointNet++的基础上加入早池化的模块，在各个抽象层次的多层感知机网络的两层全连接层的中间插入一个池化层，从而极大减小了点云识别网络的计算量，同时提高了识别准确率。
下面结合图2-图4举例说明本申请的基于局部全局双向推理的无监督点云特征学习方法。
具体地，如图3所示，获取三维点云数据，通过图2中的Nx3预设神经提取网络对三维点云数据进行特征提取，得到三维点云数据对应的局部点云特征和全局点云特征，其中，图2所示，在PointNet++的基础上加入早池化的模块，在各个抽象层次的多层感知机网络的两层全连接层的中间插入一个池化层，从而极大减小了点云识别网络的计算量，接着通过图2中解码器网络对全局点云特征进行处理，得到原始点云和估计点云法向量，根据原始点云、估计点云法向量和局部点云特征进行无监督点云特征学习得到网络参数，根据网络参数生成目标分类器，通过目标分类器对图3的三维点云数据进行分类，可以得到如图4所示的各个物品形状。
由此，使用增加点云识别神经网络的宽度的方法来高效的提高点云识别网络的性能，增加宽度的方法在相近计算量下由于投票和多尺度网络等方法，体现了该方法的高效性。
本发明实施例的基于局部全局双向推理的无监督点云特征学习方法，通过获取三维点云数据，通预设神经提取网络对三维点云数据进行特征提取，得到三维点云数据对应的局部点云特征和全局点云特征；通过解码器网络对全局点云特征进行处理，得到原始点云和估计点云法向量；根据原始点云、估计点云法向量和局部点云特征进行无监督点云特征学习得到网络参数，根据网络参数生成目标分类器。由此，能够同时学习结构信息和语义知识，提高无监督学习特征的质量，从而提高无监督点云识别的性能。
为了实现上述实施例，本申请还提出一种基于局部全局双向推理的无监督点云特征学习装置。
图5为本申请实施例所提供的一种基于局部全局双向推理的无监督点云特征学习装置的结构示意图。
如图5所示，该装置包括：获取模块501、提取模块502、处理模块503、学习模块504、生成模块505。
获取模块501，用于获取三维点云数据；
提取模块502，用于通预设神经提取网络对所述三维点云数据进行特征提取，得到所述三维点云数据对应的局部点云特征和全局点云特征；
处理模块503，用于通过解码器网络对所述全局点云特征进行处理，得到原始点云和估计点云法向量；
学习模块504，用于根据所述原始点云、所述估计点云法向量和所述局部点云特征进行无监督点云特征学习得到网络参数；
生成模块505，用于根据所述网络参数生成目标分类器。
进一步地，在本申请实施例的一种可能的实现方式中，还包括：提取模块，所述提取模块，具体用于：
通过第一层神经提取网络对所述三维点云数据进行特征提取得到第一局部点云特征；其中，所述第一局部点云特征为第一层的点数目和特征维度构建的特征矩阵；
通过第二层神经提取网络对所述三维点云数据进行特征提取得到第二局部点云特征；其中，所述第二局部点云特征为第二层的点数目和特征维度构建的特征矩阵；
通过第三层神经提取网络对所述三维点云数据进行特征提取得到全局点云特征；其中，所述全局点云特征整个点云信息的特征。
进一步地，在本申请实施例的一种可能的实现方式中，还包括：学习模块，所述学习模块，具体用于：根据预设损失函数将所述全局点云特征作为正样本，所述原始点云和所述估计点云法向量作为负样本对所述局部点云特征进行自监督度量学习生成所述网络参数。
进一步地，在本申请实施例的一种可能的实现方式中，还包括：获取模块，所述获取模块，具体用于：通过激光雷达传感器获取所述三维点云数据；或对三维物体进行处理获取所述三维点云数据。
进一步地，在本申请实施例的一种可能的实现方式中，还包括：将所述全局点云特征和所述局部点云特征投影到公共的再生核希尔伯特空间中，并使用对比学习的方法进行所述全局点云特征和所述局部点云特征的特征学习生成所述网络参数。
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
本发明实施例的基于局部全局双向推理的无监督点云特征学习装置，通过获取三维点云数据，通预设神经提取网络对三维点云数据进行特征提取，得到三维点云数据对应的局部点云特征和全局点云特征；通过解码器网络对全局点云特征进行处理，得到原始点云和估计点云法向量；根据原始点云、估计点云法向量和局部点云特征进行无监督点云特征学习得到网络参数，根据网络参数生成目标分类器。由此，能够同时学习结构信息和语义知识，提高无监督学习特征的质量，从而提高无监督点云识别的性能。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于局部全局双向推理的无监督点云特征学习方法，其特征在于，所述方法包括以下步骤：
获取三维点云数据，通预设神经提取网络对所述三维点云数据进行特征提取，得到所述三维点云数据对应的局部点云特征和全局点云特征；
通过解码器网络对所述全局点云特征进行处理，得到原始点云和估计点云法向量；
根据所述原始点云、所述估计点云法向量和所述局部点云特征进行无监督点云特征学习得到网络参数，根据所述网络参数生成目标分类器。
2.如权利要求1所述的方法，其特征在于，所述通预设神经提取网络对所述三维点云数据进行特征提取，得到所述三维点云数据对应的局部点云特征和全局点云特征，包括：
通过第一层神经提取网络对所述三维点云数据进行特征提取得到第一局部点云特征；其中，所述第一局部点云特征为第一层的点数目和特征维度构建的特征矩阵；
通过第二层神经提取网络对所述三维点云数据进行特征提取得到第二局部点云特征；其中，所述第二局部点云特征为第二层的点数目和特征维度构建的特征矩阵；
通过第三层神经提取网络对所述三维点云数据进行特征提取得到全局点云特征；其中，所述全局点云特征为整个点云信息的特征。
3.如权利要求1所述的方法，其特征在于，所述根据所述原始点云、所述估计点云法向量和所述局部点云特征进行无监督点云特征学习得到网络参数，包括：
根据预设损失函数将所述全局点云特征作为正样本，所述原始点云和所述估计点云法向量作为负样本对所述局部点云特征进行自监督度量学习生成所述网络参数。
4.如权利要求3所述的方法，其特征在于，
将所述全局点云特征和所述局部点云特征投影到公共的再生核希尔伯特空间中，并使用对比学习的方法进行所述全局点云特征和所述局部点云特征的特征学习生成所述网络参数。
5.如权利要求1所述的方法，其特征在于，所述获取三维点云数据，包括：
通过激光雷达传感器获取所述三维点云数据；或
对三维物体进行处理获取所述三维点云数据。
6.一种基于局部全局双向推理的无监督点云特征学习装置，其特征在于，所述装置包括：
获取模块，用于获取三维点云数据；
提取模块，用于通预设神经提取网络对所述三维点云数据进行特征提取，得到所述三维点云数据对应的局部点云特征和全局点云特征；
处理模块，用于通过解码器网络对所述全局点云特征进行处理，得到原始点云和估计点云法向量；
学习模块，用于根据所述原始点云、所述估计点云法向量和所述局部点云特征进行无监督点云特征学习得到网络参数；
生成模块，用于根据所述网络参数生成目标分类器。
7.如权利要求6所述的装置，其特征在于，所述提取模块，具体用于：
通过第一层神经提取网络对所述三维点云数据进行特征提取得到第一局部点云特征；其中，所述第一局部点云特征为第一层的点数目和特征维度构建的特征矩阵；
通过第二层神经提取网络对所述三维点云数据进行特征提取得到第二局部点云特征；其中，所述第二局部点云特征为第二层的点数目和特征维度构建的特征矩阵；
通过第三层神经提取网络对所述三维点云数据进行特征提取得到全局点云特征；其中，所述全局点云特征整个点云信息的特征。
8.如权利要求6所述的装置，其特征在于，所述学习模块，具体用于：
根据预设损失函数将所述全局点云特征作为正样本，所述原始点云和所述估计点云法向量作为负样本对所述局部点云特征进行自监督度量学习生成所述网络参数。
9.如权利要求8所述的装置，其特征在于，
将所述全局点云特征和所述局部点云特征投影到公共的再生核希尔伯特空间中，并使用对比学习的方法进行所述全局点云特征和所述局部点云特征的特征学习生成所述网络参数。
10.如权利要求6所述的装置，其特征在于，所述获取模块，具体用于：
通过激光雷达传感器获取所述三维点云数据；或
对三维物体进行处理获取所述三维点云数据。
CN202010351343.8A 2020-04-28 2020-04-28 基于局部全局双向推理的无监督点云特征学习方法及装置 Withdrawn CN111582105A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010351343.8A CN111582105A (zh) 2020-04-28 2020-04-28 基于局部全局双向推理的无监督点云特征学习方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010351343.8A CN111582105A (zh) 2020-04-28 2020-04-28 基于局部全局双向推理的无监督点云特征学习方法及装置

Publications (1)

Publication Number Publication Date
CN111582105A true CN111582105A (zh) 2020-08-25

Family

ID=72116860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010351343.8A Withdrawn CN111582105A (zh) 2020-04-28 2020-04-28 基于局部全局双向推理的无监督点云特征学习方法及装置

Country Status (1)

Country Link
CN (1) CN111582105A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365582A (zh) * 2020-11-17 2021-02-12 电子科技大学 一种对抗点云生成方法、存储介质和终端
CN112672168A (zh) * 2020-12-14 2021-04-16 深圳大学 基于图卷积的点云压缩方法及装置
CN113191387A (zh) * 2021-03-27 2021-07-30 西北大学 结合无监督学习与数据自增强的文物碎片点云分类方法
CN113379767A (zh) * 2021-06-18 2021-09-10 中国科学院深圳先进技术研究院 一种构建自我监督点云学习的语义扰动重构网络的方法
CN113516662A (zh) * 2021-01-08 2021-10-19 清华大学 基于多分辨率融合的点云分割方法和装置
CN114882020A (zh) * 2022-07-06 2022-08-09 深圳市信润富联数字科技有限公司 产品的缺陷检测方法、装置、设备及计算机可读介质
WO2023045252A1 (zh) * 2021-09-26 2023-03-30 浪潮电子信息产业股份有限公司 模型训练、点云缺失补全方法、装置、设备及介质
CN115937644A (zh) * 2022-12-15 2023-04-07 清华大学 一种基于全局及局部融合的点云特征提取方法及装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365582A (zh) * 2020-11-17 2021-02-12 电子科技大学 一种对抗点云生成方法、存储介质和终端
CN112365582B (zh) * 2020-11-17 2022-08-16 电子科技大学 一种对抗点云生成方法、存储介质和终端
CN112672168B (zh) * 2020-12-14 2022-10-18 深圳大学 基于图卷积的点云压缩方法及装置
CN112672168A (zh) * 2020-12-14 2021-04-16 深圳大学 基于图卷积的点云压缩方法及装置
CN113516662A (zh) * 2021-01-08 2021-10-19 清华大学 基于多分辨率融合的点云分割方法和装置
CN113191387A (zh) * 2021-03-27 2021-07-30 西北大学 结合无监督学习与数据自增强的文物碎片点云分类方法
CN113191387B (zh) * 2021-03-27 2024-03-29 西北大学 结合无监督学习与数据自增强的文物碎片点云分类方法
CN113379767A (zh) * 2021-06-18 2021-09-10 中国科学院深圳先进技术研究院 一种构建自我监督点云学习的语义扰动重构网络的方法
WO2022262219A1 (zh) * 2021-06-18 2022-12-22 中国科学院深圳先进技术研究院 一种构建自我监督点云学习的语义扰动重构网络的方法
WO2023045252A1 (zh) * 2021-09-26 2023-03-30 浪潮电子信息产业股份有限公司 模型训练、点云缺失补全方法、装置、设备及介质
CN114882020B (zh) * 2022-07-06 2022-11-11 深圳市信润富联数字科技有限公司 产品的缺陷检测方法、装置、设备及计算机可读介质
CN114882020A (zh) * 2022-07-06 2022-08-09 深圳市信润富联数字科技有限公司 产品的缺陷检测方法、装置、设备及计算机可读介质
CN115937644A (zh) * 2022-12-15 2023-04-07 清华大学 一种基于全局及局部融合的点云特征提取方法及装置
CN115937644B (zh) * 2022-12-15 2024-01-02 清华大学 一种基于全局及局部融合的点云特征提取方法及装置

Similar Documents

Publication Publication Date Title
CN111582105A (zh) 基于局部全局双向推理的无监督点云特征学习方法及装置
Mukhoti et al. Evaluating bayesian deep learning methods for semantic segmentation
US9111375B2 (en) Evaluation of three-dimensional scenes using two-dimensional representations
CN114401666A (zh) 基于深度学习的3d点云的对象检测和实例分割
Yu et al. Capri-net: Learning compact cad shapes with adaptive primitive assembly
KR20180037192A (ko) 미지의 클래스들의 검출 및 미지의 클래스들에 대한 분류기들의 초기화
Kondapally et al. Towards a Transitional Weather Scene Recognition Approach for Autonomous Vehicles
KR20170140214A (ko) 신경망을 위한 훈련 기준으로서의 필터 특이성
KR20180048930A (ko) 분류를 위한 강제된 희소성
Liu et al. Adversarial shape perturbations on 3d point clouds
Truong et al. Fast point cloud registration using semantic segmentation
US11568212B2 (en) Techniques for understanding how trained neural networks operate
Charouh et al. Improved background subtraction-based moving vehicle detection by optimizing morphological operations using machine learning
KR20230171966A (ko) 이미지 프로세싱 방법 및 장치 및 컴퓨터 판독 가능 저장 매체
CN116783620A (zh) 根据点云的高效三维对象检测
CN110705600A (zh) 一种基于互相关熵的多深度学习模型融合方法、终端设备及可读存储介质
CN112927244A (zh) 弱监督下的三维场景分割方法和装置
US20220026556A1 (en) Methods and Systems for Predicting a Trajectory of an Object
CN110942097A (zh) 基于单像素探测器的免成像分类方法和系统
CN114241314A (zh) 一种基于CenterNet的遥感影像建筑物变化检测模型及算法
CN111914949B (zh) 基于强化学习的零样本学习模型的训练方法及装置
Qiu et al. A moving vehicle tracking algorithm based on deep learning
Acun et al. D3net (divide and detect drivable area net): deep learning based drivable area detection and its embedded application
US11804034B2 (en) Training a function to respond predictably to differences
US20230206653A1 (en) Method and device for classifying end-to-end weather and road conditions in real time by using lidar

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200825