CN111223136B - 稀疏2d点集的深度特征提取方法及装置 - Google Patents

稀疏2d点集的深度特征提取方法及装置 Download PDF

Info

Publication number
CN111223136B
CN111223136B CN202010006265.8A CN202010006265A CN111223136B CN 111223136 B CN111223136 B CN 111223136B CN 202010006265 A CN202010006265 A CN 202010006265A CN 111223136 B CN111223136 B CN 111223136B
Authority
CN
China
Prior art keywords
point set
local
feature
sparse
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010006265.8A
Other languages
English (en)
Other versions
CN111223136A (zh
Inventor
李茁
杨慧光
李宇光
杨柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung China Semiconductor Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Samsung China Semiconductor Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung China Semiconductor Co Ltd, Samsung Electronics Co Ltd filed Critical Samsung China Semiconductor Co Ltd
Priority to CN202010006265.8A priority Critical patent/CN111223136B/zh
Publication of CN111223136A publication Critical patent/CN111223136A/zh
Priority to KR1020200150499A priority patent/KR20210087875A/ko
Priority to US17/123,540 priority patent/US11430150B2/en
Application granted granted Critical
Publication of CN111223136B publication Critical patent/CN111223136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

提供一种稀疏2D点集的深度特征提取方法及装置。稀疏2D点集的深度特征提取方法包括：根据输入的稀疏2D点集数据，生成所述稀疏2D点集数据的具有空间层次的包括关键点集和局部点集的点集结构数据；分别对关键点集和局部点集进行关系特征编码，得到关键点集的关系特征编码和局部点集的关系特征编码；根据关键点集的关系特征编码和/或局部点集的关系特征编码分别提取所述输入的稀疏2D点集数据的全局特征和/或局部特征，从而实现了稀疏点集深度网络特征的完整准确提取。此外，对稀疏2D点集进行深度特征提取得到的全局特征和/或局部特征可以用于估计预设对象的6自由度位姿，还可以用于对输入的稀疏2D点集数据进行分割。

Description

稀疏2D点集的深度特征提取方法及装置
技术领域
本公开涉及一种稀疏2D点集的深度特征提取方法及装置。
背景技术
对传统的2D点集(像素点)进行处理以用于估计物体的6自由度位姿的过程，是一个相当复杂的流程，包括关键点特征提取，2D-3D配准，几何变换，非线性优化等，这需要大量的计算资源，同时噪声会比较大。
近年来，基于深度学习解决这个问题的方法越来越多。例如，采用卷积神经网络(CNN)对图像进行处理以估计物体的位姿，相比传统的方法具有比较好的鲁棒性。然而，该方案主要针对稠密的2D像素点集，提取的是图片中的纹理和轮廓特征，这对无序点集，尤其是稀疏点集(没有纹理、轮廓和颜色RGB)是不适用的。
而随着3D传感器的发展，近几年针对3D点集的深度学习提出了很多方法，而且能够处理针对无序点集、稀疏甚至极度稀疏点集的方法。其中，最有代表性的有PointNet家族和PointConv方法。
其中，PointNet、PointNet++和PointConv都是通过提取点集的全局特征和局部特征，对点集进行处理。然而以上三种方式在提取全局特征和局部特征的过程中，均未能全面考虑稀疏2D点集的特征，导致点集的深度特征信息并不准确，在后续的使用场景中效果不够理想。
发明内容
本公开的示例性实施例在于提供一种稀疏2D点集的深度特征提取方法及装置，以提高稀疏2D点集的深度特征提取的准确性，进而可以提高位姿估计和点集分割等的准确性，并且为相似场景提供通用性的解决方案。
根据本公开的示例性实施例，提供一种稀疏2D点集的深度特征提取方法，包括：根据输入的稀疏2D点集数据，生成所述稀疏2D点集数据的具有空间层次的包括关键点集和局部点集的点集结构数据，所述点集结构数据中包括所述关键点集的每个关键点与所述局部点集的局部子点集之间的一一对应关系；分别对所述关键点集和所述局部点集进行关系特征编码，得到关键点集的关系特征编码和局部点集的关系特征编码；根据所述关键点集的关系特征编码和/或所述局部点集的关系特征编码分别提取所述输入的稀疏2D点集数据的全局特征和/或局部特征，从而实现了稀疏点集深度网络特征的完整准确提取。
可选地，所述分别对所述关键点集和所述局部点集进行关系特征编码的步骤可包括：采用非局部编码的方式对所述关键点集进行点与点之间的关系特征编码，得到所述关键点集的关系特征编码；采用非局部编码的方式对所述局部点集进行点与点之间的关系特征编码，得到局部点集的关系特征编码，从而实现了分别对关键点集和局部点集进行关系特征编码。
可选地，所述根据所述关键点集的关系特征编码和/或所述局部点集的关系特征编码分别提取所述输入的稀疏2D点集数据的全局特征和/或局部特征的步骤可包括：基于所述关键点集的关系特征编码，采用最大池化层提取所述全局特征，从而实现了全局特征的提取。
可选地，所述根据所述关键点集的关系特征编码和/或所述局部点集的关系特征编码分别提取所述输入的稀疏2D点集数据的全局特征和/或局部特征的步骤可包括：基于所述局部点集的关系特征编码，对局部特征提取器子网络的前预设数量层的结果进行融合，以提取所述局部特征，从而实现了局部特征的提取。
可选地，所述生成所述稀疏2D点集数据的具有空间层次的包括关键点集和局部点集的点集结构数据的步骤可包括：从所述输入的稀疏2D点集数据中进行关键点采样，得到所述关键点集，所述关键点集包括n个关键点，n为大于等于1的整数；在所述关键点集中的每个关键点周围的邻域进行采样，得到所述局部点集，所述局部点集包括n个局部子点集，每个局部子点集包括k个点，k为大于等于1的整数；基于所述关键点集和所述局部点集，构建具有空间层次的包括所述关键点集和所述局部点集的点集结构数据。
可选地，所述方法还可包括：基于所述全局特征和所述局部特征，估计预设对象的6自由度位姿，从而实现了基于稀疏2D点集的6自由度位姿估计。
可选地，估计预设对象的6自由度位姿的步骤可包括：将所述全局特征和所述局部特征进行融合；将融合结果输入到多层感知机和全卷积层，通过多层感知机和全卷积层得到预设对象的6自由度位姿估计结果，从而提高了6自由度位姿估计的准确性。
可选地，所述方法还可包括：基于所述全局特征和所述局部特征，对所述输入的稀疏2D点集数据进行分割，从而实现了稀疏2D点集的分割。
可选地，对所述输入的稀疏2D点集数据进行分割的步骤可包括：基于所述全局特征和所述局部特征，采用插值分层重组的策略将所述具有层次结构的点集结构数据恢复至稀疏2D点集形式的数据；使用多层感知机确定与所述稀疏2D点集形式的数据中的每个事件流对应的标记点，从而提高了2D点集分割的准确性。
根据本公开的示例性实施例，提供一种稀疏2D点集的深度特征提取装置，包括：点集结构数据生成单元，被配置为根据输入的稀疏2D点集数据，生成所述稀疏2D点集数据的具有空间层次的包括关键点集和局部点集的点集结构数据，所述点集结构数据中包括所述关键点集的每个关键点与所述局部点集的局部子点集之间的一一对应关系；特征编码单元，被配置为分别对所述关键点集和所述局部点集进行关系特征编码，得到关键点集的关系特征编码和局部点集的关系特征编码；和特征提取单元，被配置为根据所述关键点集的关系特征编码和/或所述局部点集的关系特征编码分别提取所述输入的稀疏2D点集数据的全局特征和/或局部特征，从而实现了稀疏点集深度网络特征的完整提取。
可选地，特征编码单元可包括关键点集的关系特征编码子单元和局部点集的关系特征编码子单元，其中，所述关键点集的关系特征编码子单元可被配置为：采用非局部编码的方式对所述关键点集进行点与点之间的关系特征编码，得到所述关键点集的关系特征编码；所述局部点集的关系特征编码子单元被配置为：采用非局部编码的方式对所述局部点集进行点与点之间的关系特征编码，得到局部点集的关系特征编码，从而实现了分别对关键点集和局部点集进行关系特征编码。
可选地，特征提取单元可包括全局特征提取器子网络，所述全局特征提取器子网络可被配置为：基于所述关键点集的关系特征编码，采用最大池化层提取所述全局特征，从而实现了全局特征的提取。
可选地，特征提取单元可包括局部特征提取器子网络，所述局部特征提取器子网络可被配置为：基于所述局部点集的关系特征编码，对局部特征提取器子网络的前预设数量层的结果进行融合，以提取所述局部特征，从而实现了局部特征的提取。
可选地，点集结构数据生成单元可被配置为：从所述输入的稀疏2D点集数据中进行关键点采样，得到所述关键点集，所述关键点集包括n个关键点，n为大于等于1的整数；在所述关键点集中的每个关键点周围的邻域进行采样，得到所述局部点集，所述局部点集包括n个局部子点集，每个局部子点集包括k个点，k为大于等于1的整数；基于所述关键点集和所述局部点集，构建具有空间层次的包括所述关键点集和所述局部点集的点集结构数据。
可选地，所述装置还可包括：位姿估计单元，被配置为基于所述全局特征和所述局部特征，估计预设对象的6自由度位姿，从而实现了基于稀疏2D点集的6自由度位姿估计。
可选地，位姿估计单元可被配置为：将所述全局特征和所述局部特征进行融合；将融合结果输入到多层感知机和全卷积层，通过多层感知机和全卷积层得到预设对象的6自由度位姿估计结果，从而提高了6自由度位姿估计的准确性。
可选地，所述装置还可包括：点集分割单元，被配置为基于所述全局特征和所述局部特征，对所述输入的稀疏2D点集数据进行分割，从而实现了稀疏2D点集的分割。
可选地，点集分割单元可被配置为：基于所述全局特征和所述局部特征，采用插值分层重组的策略将所述具有层次结构的点集结构数据恢复至稀疏2D点集形式的数据；使用多层感知机确定与所述稀疏2D点集形式的数据中的每个事件流对应的标记点，从而提高了2D点集分割的准确性。
根据本公开的示例性实施例，提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现根据本公开的示例性实施例的稀疏2D点集的深度特征提取方法。
根据本公开的示例性实施例，提供一种计算装置，包括：处理器；存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现根据本公开的示例性实施例的稀疏2D点集的深度特征提取基于稀疏2D点集的6自由度位姿估计方法。
根据本公开的示例性实施例的稀疏2D点集的深度特征提取方法及装置，通过首先根据输入的稀疏2D点集数据，生成所述稀疏2D点集数据的具有空间层次的包括关键点集和局部点集的点集结构数据，然后分别对所述关键点集和所述局部点集进行关系特征编码，得到关键点集的关系特征编码和局部点集的关系特征编码，并且根据所述关键点集的关系特征编码和/或所述局部点集的关系特征编码分别提取所述输入的稀疏2D点集数据的全局特征和/或局部特征，从而实现了稀疏点集深度网络特征的完整准确提取。此外，对稀疏2D点集进行深度特征提取得到的全局特征和/或局部特征可以用于估计预设对象的6自由度位姿，从而提高了6自由度位姿估计的准确性；对稀疏2D点集进行深度特征提取得到的全局特征和/或局部特征还可以用于对输入的稀疏2D点集数据进行分割，从而提高了稀疏2D点集数据分割的准确性。
将在接下来的描述中部分阐述本公开总体构思另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本公开总体构思的实施而得知。
附图说明
通过下面结合示例性地示出实施例的附图进行的描述，本公开的示例性实施例的上述和其他目的和特点将会变得更加清楚，其中：
图1a示出根据本公开的示例性实施例的稀疏2D点集的深度特征提取装置(SNLPointNet网络)的框图；
图1b示出SNLPointNet网络的特征编码网络102的一个示例的框图；
图2示出根据本公开的示例性实施例的特征提取网络103框图；
图3示出根据本公开的示例性实施例的全局特征提取器子网络1031的框图；
图4示出根据本公开的示例性实施例的局部特征提取子网络1032；
图5示出根据本公开的示例性实施例的nl-encoder的框图；
图6示出根据本公开的示例性实施例的稀疏2D点集的深度特征提取方法的流程图；和
图7示出根据本公开的示例性实施例的计算装置的示意图。
具体实施方式
现将详细参照本公开的示例性实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本公开。
针对现有技术的问题，结合应用场景，本公开的示例性实施例提出了以下解决方案：
1)提出了一种针对处理稀疏2D点集的深度特征提取方法(Splited Non-LocalPointNet,又称为SNLPointNet)。不同于3D无序点集的深度学习的方法，该方法可以对稀疏甚至极度稀疏的2D点集进行点与点之间的关系特征编码，进而可以获得更为准确的深度特征(全局特征和/或局部特征)，解决了现有技术无法提取准确完整的稀疏点集深度网络特征的问题。基于此深度特征，在处理相机或者物体的位姿估计问题，以及求解稀疏2D点集的点集分割任务时，可以获得更为精准的效果。
2)在1)所描述的方法中，设计了双路(two-stage)子网络的方法分别进行关键点集的关系特征编码和局部点集的关系特征编码，提取稀疏点集的全局特征和局部特征，从而得到完整的点集特征映射。由于相机或者物体的位移结果受输入稀疏点集的整体特征影响比较大，而旋转结果受输入稀疏点集的局部特征(点与点的关系特征)影响比较大，因此，不同于目前直接采用一路网络来提取点集特征或者进行位姿估计的方法，双路网络可以分别提取稀疏点集的全局和局部特征，最终将全局特征和局部特征进行融合，提高最终的效果。
3)在1)所描述的方法中，设计了一种针对稀疏点集的空间层级点集关系编码方法。不同于目前只对局部邻域点集进行关系特征映射的方法，该方法可以同时分别进行关键点集的关系特征编码和局部点集的关系特征编码。事实上，稀疏点集不像稠密像素图片那样具有清晰的纹理和轮廓特征(主要通过CNN来提取)，其最重要的特征是点与点之间关系的特征(比如空间位置关系等)。由于在稀疏点集尤其是极度稀疏点集上，点与点之间关系的特征非常有利于任务的处理，因此，通过使用空间层级点集关系编码方法可以地提高了最终任务的效果。
4)提出了一种基于稀疏2D点集的物体位姿估计和点集分割的系统。采用1)所描述的方法，可得到稀疏2D点集的全局特征和/或局部特征，克服了一般的CNN方法在稀疏的event事件流中无法提取到合适的深度图像特征，尤其是针对极度稀疏的event事件流。基于稀疏2D点集的全局特征和/或局部特征，可以进行包括但不限于基于event事件流的相机或者物体位姿任务、处理基于event事件流的极度稀疏2D点集(路标点集)的点集分割任务等。因此本公开提出的系统针对稀疏2D点集的任务具有较高的普适性。
图1a示出根据本公开的示例性实施例的稀疏2D点集的深度特征提取装置(SNLPointNet网络)的框图，当然在本领域中，也可以将该装置理解(或者，实现)为一种深度学习网络，称之为SNLPointNet网络。稀疏2D点集的深度特征提取装置可以包括点集结构数据生成单元、特征编码单元和特征提取单元。其中，点集结构数据生成单元可以实现为点集结构数据生成网络，特征编码单元可以实现为特征编码网络，特征提取单元可以实现为特征提取网络。
如图1a所示，SNLPointNet网络包括：点集结构数据生成网络101、特征编码网络102和特征提取网络103。
点集结构数据生成网络101被配置为根据输入的稀疏2D点集数据，生成输入的稀疏2D点集数据的具有空间层次的包括关键点集和局部点集的点集结构数据，所述点集结构数据中包括所述关键点集的每个关键点与所述局部点集的局部点集的局部子点集之间的一一对应关系。
具体来说，所述点集结构数据生成网络101对输入到深度学习网络中的输入点集数据(例如，稀疏2D点集)采用采样和重组的方式生成具有空间层次的点集结构数据，从而尽可能多地保留输入点集数据的信息。优选地，为了得到更好的整体覆盖效果的采样点，采样重组器可以使用最远点采样(Farthest Point Sampling,简称FPS)方法，首先收集到由K个点组成的关键点集，然后在每个关键点集周围的邻域中收集由M个点组成的局部点集，得到了一个关键点集和局部邻域点集的具有空间层次的点集结构数据。
特征编码网络102被配置为对所述关键点集和所述局部点集进行关系特征编码，得到关键点集的关系特征编码和局部点集的关系特征编码。
在本公开的示例性实施例中，特征编码网络102可被配置为采用非局部编码的方式对所述关键点集进行点与点之间的关系特征编码，采用非局部编码的方式对所述局部点集进行点与点之间的关系特征编码。
在本公开的示例性实施例中，SNLPointNet网络的特征编码网络102可以包括关键点集的关系特征编码子网络1021和局部点集的关系特征编码子网1022。
图1b示出SNLPointNet网络的特征编码网络102的一个示例的框图。如图1b所示，SNLPointNet网络的特征编码网络102包括关键点集的关系特征编码子网络1021和局部点集的关系特征编码子网1022。
在本公开的示例性实施例中，所述关键点集的关系特征编码子网络可以被配置为：采用非局部编码的方式对所述关键点集进行点与点之间的关系特征编码，得到所述关键点集的关系特征编码。所述局部点集的关系特征编码子网络可以被配置为：采用非局部编码的方式对所述局部点集进行点与点之间的关系特征编码，得到局部点集的关系特征编码。
特征提取网络103被配置为根据所述关键点集的关系特征编码和/或所述局部点集的关系特征编码，分别提取所述输入的稀疏2D点集数据的全局特征和/或局部特征。
在本公开的示例性实施例中，在获得了稀疏2D点集的关键点集关系特征编码和局部点集关系特征编码后，特征提取网络103可以根据相应的使用场景需求，提取所述稀疏2D点集数据的全局特征，或者提取所述稀疏2D点集数据的局部特征，或者提取所述稀疏2D点集数据的全局特征和局部特征。
在本公开的示例性实施例中，特征提取网络103可以被配置为根据所述关键点集的关系特征编码和/或所述局部点集的关系特征编码，提取所述稀疏2D点集数据的全局特征。
在本公开的示例性实施例中，特征提取网络103还可以被配置为根据所述关键点集的关系征编码和所述局部点集的关系特征编码，提取所述稀疏2D点集数据的局部特征。
作为一种示例性的实施例，所述特征提取网络103还可以被配置为根据所述关键点集的关系特征编码，提取所述稀疏2D点集数据的全局特征。
作为一种示例性的实施例，所述特征提取网络103还可以被配置为根据所述局部点集的关系特征编码，提取所述稀疏2D点集数据的局部特征。
作为一种示例性的实施例，所述特征提取网络103还可以被配置为根据所述关键点集的关系特征编码，提取所述稀疏2D点集数据的局部特征。
作为一种示例性的实施例，所述特征提取网络103还可以被配置为根据所述局部点集的关系特征编码，提取所述稀疏2D点集数据的全局特征。在一个示例性实施例中，所述特征提取网络103包括全局特征提取器子网络。在另一个示例性实施例中，所述特征提取网络包括局部特征提取器子网络。在另一个示例性实施例中，所述特征提取网络包括全局特征提取器子网络和局部特征提取子网络。
本示例性实施例提供的一种针对稀疏2D点集的深度特征提取的网络，由于该网络在生成了稀疏2D点集数据的点集结构数据后，不仅对所述局部点集进行关系特征编码，还对所述关键点集进行关系特征编码，由于加入了关键点集的关系特征编码(关键点集表征了2D点集的全局特征)，以此可以更为准确地提取2D点集的深度特征，这为后续场景的使用提供了更为准确的2D点集数据信息，使得后续场景的性能更为优化，如提高位姿估计和点集分割等场景。
图2示出根据本公开的示例性实施例的特征提取网络103框图。全局特征能够表征点集的整体映射，局部特征能够表征点集的细节映射，在SNLPointNet网络中可以通过双路的子网络(全局特征提取器和局部特征提取器)来分别提取输入点集数据的全局特征和局部特征。优选的，如图2所示，特征提取网络103包括全局特征提取器子网络1031和局部特征提取子网络1032。与PointNet不同之处在于，在SNLPointNet网络中将多层感知机(nulti-layer perceptron，简称mlp)替换为多层的空间关系特征编码器nl-encoder。空间关系特征编码器nl-encoder能够分别对局部点集和关键点集内部进行点与点之间的关系特征编码。
优选的，全局特征提取器子网络1031可以被配置为：基于所述关键点集的关系特征编码，采用最大池化层提取所述全局特征。局部特征提取子网络1032可以被配置为：基于所述局部点集的关系特征编码，对局部特征提取器子网络的前预设数量层的结果进行融合后，提取所述局部特征。
图3示出根据本公开的示例性实施例的全局特征提取器子网络1031的框图。图4示出根据本公开的示例性实施例的局部特征提取子网络1032。图5示出根据本公开的示例性实施例的nl-encoder的框图。
如图3所示，全局特征提取器子网络1031包括第一多层nl-encoder 10311、第二多层nl-encoder 10312、最大池化层10313、mlp 10314和扩展层10315。例如，第一多层nl-encoder可以为但不限于多层nl-encoder(64,64)，第二多层nl-encoder可以为但不限于多层nl-encoder(64,128,1024)，mlp 10314可以为但不限于mlp(512，256，256)。
如图4所示，局部特征提取子网络1032包括第三多层nl-encoder 10321、第四多层nl-encoder 10322、融合层10323和mlp 10315。例如，第三多层nl-encoder10321可以为但不限于多层nl-encoder(64,64)，第四多层nl-encoder10322可以为但不限于多层nl-encoder(64,128,1024)，融合层、和mlp 10315可以为但不限于mlp(512，256，256)。
详细来说，对于全局特征，参照图3，可以采用最大池化层10313和多层感知机mlp10314对得到的关系特征映射进行浓缩和编码，最终得到全局特征；对于局部特征，参照图4，可以通过融合层10323对前预设数量层(例如但不限于，前两层、前三层、前四层、前五层等)的输出结果(例如，输出结果)进行融合，并使用多层感知机mlp 10315对融合结果进行编码，最终得到局部特征。具体来说，融合层10323在对局部特征提取子网络的前预设数量层(例如但不限于，前两层、前三层、前四层等)的输出结果(例如，输出结果)进行融合时，可以对前预设数量层(例如但不限于，前两层、前三层、前四层等)的输出结果进行叠加、加法或者乘法。
nl-encoder(例如，图3中的nl-encoder 10311、nl-encoder 10312和图4中的nl-encoder 10321、nl-encoder 10322)可以用于提取点集关系特征，具体地，nl-encoder(例如，图3中的nl-encoder 10311、nl-encoder 10312和图4中的nl-encoder 10321、nl-encoder 10322)可以用于提取关键点集的空间关系特征和每个关键点对应的局部点集的空间关系特征。如图5所示，nl-encoder包括局部邻域点集权重编码器501、局部邻域的非局部关系特征提取器502、mlp 503和整体空间的非局部关系特征提取器504。具体来说，mlp503用于生成点集结构数据，整体空间的非局部关系特征提取器504可以包括最大池化层。
以上已经结合图1a至图5对根据本公开的示例性实施例的稀疏2D点集的深度特征提取装置(SNLPointNet网络)及其单元(或者，子网络)进行了描述。在下文中，将参照图6对根据本公开的示例性实施例的稀疏2D点集的深度特征提取方法进行描述。
图6示出根据本公开的示例性实施例的稀疏2D点集的深度特征提取方法的流程图。该方法可以通过图1a中的SNLPointNet网络来执行。
参照图6，在步骤S601，根据输入的稀疏2D点集数据，生成稀疏2D点集数据的具有空间层次的包括关键点集和局部点集的点集结构数据。这里，点集结构数据中包括所述关键点集的每个关键点与所述局部点集的局部子点集之间的一一对应关系。
在本公开的示例性实施例中，在生成所述稀疏2D点集数据的具有空间层次的包括关键点集和局部点集的点集结构数据时，可首先从输入的稀疏2D点集数据中进行关键点采样，得到关键点集，然后在关键点集中的每个关键点周围的邻域进行采样，得到局部点集，之后基于关键点集和局部点集，构建具有空间层次的包括关键点集和局部点集的点集结构数据。这里，关键点集包括n个关键点，n为大于等于1的整数局部点集包括n个局部子点集，每个局部子点集包括k个点，k为大于等于1的整数。
在步骤S602，分别对关键点集和局部点集进行关系特征编码，得到关键点集的关系特征编码和局部点集的关系特征编码。
在本公开的示例性实施例中，在分别对关键点集和局部点集进行关系特征编码时，可以采用非局部编码的方式对关键点集进行点与点之间的关系特征编码，得到关键点集的关系特征编码，并且采用非局部编码的方式对局部点集进行点与点之间的关系特征编码，得到局部点集的关系特征编码。
具体来说，可以仅对关键点集进行点与点之间的关系特征编码，得到所述关键点集的关系特征编码，可以仅对局部点集进行点与点之间的关系特征编码，得到局部点集的关系特征编码，也可以同时对关键点集进行点与点之间的关系特征编码，得到关键点集的关系特征编码，对局部点集进行点与点之间的关系特征编码，得到局部点集的关系特征编码。优选地，可以采用非局部编码的方式分别对关键点集和局部点集进行关系特征编码，从而提高关系特征编码的准确性。
在步骤S603，根据关键点集的关系特征编码和/或局部点集的关系特征编码分别提取所述输入的稀疏2D点集数据的全局特征和/或局部特征。
在本公开的示例性实施例中，在根据所述关键点集的关系特征编码和/或所述局部点集的关系特征编码分别提取所述输入的稀疏2D点集数据时，可以基于关键点集的关系特征编码，采用最大池化层提取全局特征。在本公开的示例性实施例中，在根据所述关键点集的关系特征编码和/或所述局部点集的关系特征编码分别提取所述输入的稀疏2D点集数据时，可以基于局部点集的关系特征编码，对局部特征提取器子网络的前预设数量层的结果进行融合，以提取局部特征。
在本公开的示例性实施例中，还可以基于全局特征和局部特征，估计预设对象的6自由度位姿。
在本公开的示例性实施例中，在估计预设对象的6自由度位姿时，可以首先将全局特征和局部特征进行融合，然后将融合结果输入到多层感知机和全卷积层，通过多层感知机和全卷积层得到预设对象的6自由度位姿估计结果。具体来说，6自由度位姿可包括空间的三维平移和三维旋转，三维旋转可采用四元数来表示。在本公开的示例性实施例中，还可以基于全局特征和局部特征，对输入的稀疏2D点集数据进行分割。
在本公开的示例性实施例中，在对输入的稀疏2D点集数据进行分割时，可以首先基于全局特征和局部特征，采用插值分层重组的策略将具有层次结构的点集结构数据恢复至稀疏2D点集形式的数据，然后使用多层感知机确定与稀疏2D点集形式的数据中的每个事件流对应的标记点。
此外，根据本公开的示例性实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被执行时，实现根据本公开的示例性实施例的稀疏2D点集的深度特征提取方法。
在本公开的示例性实施例中，所述计算机可读存储介质可承载有一个或者多个程序，当所述计算机程序被执行时可实现以下步骤：根据输入的稀疏2D点集数据，生成所述稀疏2D点集数据的具有空间层次的包括关键点集和局部点集的点集结构数据；分别对关键点集和局部点集进行关系特征编码，得到关键点集的关系特征编码和局部点集的关系特征编码；根据关键点集的关系特征编码和/或局部点集的关系特征编码分别提取所述输入的稀疏2D点集数据的全局特征和/或局部特征，从而实现了稀疏点集深度网络特征的完整准确提取。
计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储计算机程序的有形介质，该计算机程序可以被指令执行系统、装置或者器件使用或者与其结合使用。计算机可读存储介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。计算机可读存储介质可以包含在任意装置中；也可以单独存在，而未装配入该装置中。
以上已经结合图6对根据本公开的示例性实施例的稀疏2D点集的深度特征提取方法进行了描述。接下来，结合图7对根据本公开的示例性实施例的计算装置进行描述。
图7示出根据本公开的示例性实施例的计算装置的示意图。
参照图7，根据本公开的示例性实施例的计算装置7，包括存储器71和处理器72，所述存储器71上存储有计算机程序，当所述计算机程序被处理器72执行时，实现根据本公开的示例性实施例的稀疏2D点集的深度特征提取方法。
在本公开的示例性实施例中，当所述计算机程序被处理器72执行时，可实现以下步骤：根据输入的稀疏2D点集数据，生成所述稀疏2D点集数据的具有空间层次的包括关键点集和局部点集的点集结构数据；分别对关键点集和局部点集进行关系特征编码，得到关键点集的关系特征编码和局部点集的关系特征编码；根据关键点集的关系特征编码和/或局部点集的关系特征编码分别提取所述输入的稀疏2D点集数据的全局特征和/或局部特征，从而实现了稀疏点集深度网络特征的完整准确提取。
图7示出的计算装置仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
以上已参照图1a至图7描述了根据本公开的示例性实施例的稀疏2D点集的深度特征提取方法及装置。然而，应该理解的是：图7中所示的计算装置并不限于包括以上示出的组件，而是可根据需要增加或删除一些组件，并且以上组件也可被组合。
根据本公开的示例性实施例的稀疏2D点集的深度特征提取方法及装置，通过首先根据输入的稀疏2D点集数据，生成所述稀疏2D点集数据的具有空间层次的包括关键点集和局部点集的点集结构数据，并且分别对关键点集和局部点集进行关系特征编码，得到关键点集的关系特征编码和局部点集的关系特征编码，然后根据关键点集的关系特征编码和/或局部点集的关系特征编码分别提取所述输入的稀疏2D点集数据的全局特征和/或局部特征，从而实现了稀疏点集深度网络特征的完整准确提取。此外，对稀疏2D点集进行深度特征提取得到的全局特征和/或局部特征可以用于估计预设对象的6自由度位姿，从而提高了6自由度位姿估计的准确性；对稀疏2D点集进行深度特征提取得到的全局特征和/或局部特征还可以用于对输入的稀疏2D点集数据进行分割，从而提高了稀疏2D点集数据分割的准确性。
尽管已经参照其示例性实施例具体显示和描述了本公开，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本公开的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (20)

1.一种稀疏2D点集的深度特征提取方法，包括：
根据输入的稀疏2D点集数据，生成所述稀疏2D点集数据的具有空间层次的包括关键点集和局部点集的点集结构数据，所述点集结构数据中包括所述关键点集的每个关键点与所述局部点集的局部子点集之间的一一对应关系；
使用多层的空间关系特征编码器，同时分别对所述关键点集和所述局部点集进行关系特征编码，得到关键点集的关系特征编码和局部点集的关系特征编码，其中，对所述局部点集的关系特征编码是采用非局部编码的方式进行的；
根据所述关键点集的关系特征编码和/或所述局部点集的关系特征编码分别提取所述输入的稀疏2D点集数据的全局特征和/或局部特征。
2.根据权利要求1所述的方法，其中，所述分别对所述关键点集和所述局部点集进行关系特征编码的步骤包括：
采用非局部编码的方式对所述关键点集进行点与点之间的关系特征编码，得到所述关键点集的关系特征编码。
3.根据权利要求1或2所述的方法，其中，所述根据所述关键点集的关系特征编码和/或所述局部点集的关系特征编码分别提取所述输入的稀疏2D点集数据的全局特征和/或局部特征的步骤包括：
基于所述关键点集的关系特征编码，采用最大池化层提取所述全局特征。
4.根据权利要求1所述的方法，其中，所述根据所述关键点集的关系特征编码和/或所述局部点集的关系特征编码分别提取所述输入的稀疏2D点集数据的全局特征和/或局部特征的步骤包括：
基于所述局部点集的关系特征编码，对局部特征提取器子网络的前预设数量层的结果进行融合，以提取所述局部特征。
5.根据权利要求1所述的方法，其中，所述生成所述稀疏2D点集数据的具有空间层次的包括关键点集和局部点集的点集结构数据的步骤包括：
从所述输入的稀疏2D点集数据中进行关键点采样，得到所述关键点集，所述关键点集包括n个关键点，n为大于等于1的整数；
在所述关键点集中的每个关键点周围的邻域进行采样，得到所述局部点集，所述局部点集包括n个局部子点集，每个局部子点集包括k个点，k为大于等于1的整数；
基于所述关键点集和所述局部点集，构建具有空间层次的包括所述关键点集和所述局部点集的点集结构数据。
6.根据权利要求1所述的方法，还包括：
基于所述全局特征和所述局部特征，估计预设对象的6自由度位姿。
7.根据权利要求6所述的方法，其中，估计预设对象的6自由度位姿的步骤包括：
将所述全局特征和所述局部特征进行融合；
将融合结果输入到多层感知机和全卷积层，通过多层感知机和全卷积层得到预设对象的6自由度位姿估计结果。
8.根据权利要求1所述的方法，还包括：
基于所述全局特征和所述局部特征，对所述输入的稀疏2D点集数据进行分割。
9.根据权利要求8所述的方法，其中，对所述输入的稀疏2D点集数据进行分割的步骤包括：
基于所述全局特征和所述局部特征，采用插值分层重组的策略将所述点集结构数据恢复至稀疏2D点集形式的数据；
使用多层感知机确定与所述稀疏2D点集形式的数据中的每个事件流对应的标记点。
10.一种稀疏2D点集的深度特征提取装置，包括：
点集结构数据生成单元，被配置为根据输入的稀疏2D点集数据，生成所述稀疏2D点集数据的具有空间层次的包括关键点集和局部点集的点集结构数据，所述点集结构数据中包括所述关键点集的每个关键点与所述局部点集的局部子点集之间的一一对应关系；
特征编码单元，被配置为使用多层的空间关系特征编码器，同时分别对所述关键点集和所述局部点集进行关系特征编码，得到关键点集的关系特征编码和局部点集的关系特征编码，其中，对所述局部点集的关系特征编码是采用非局部编码的方式进行的；和
特征提取单元，被配置为根据所述关键点集的关系特征编码和/或所述局部点集的关系特征编码分别提取所述输入的稀疏2D点集数据的全局特征和/或局部特征。
11.根据权利要求10所述的装置，其中，特征编码单元包括关键点集的关系特征编码子单元和局部点集的关系特征编码子单元，其中，
所述关键点集的关系特征编码子单元被配置为：采用非局部编码的方式对所述关键点集进行点与点之间的关系特征编码，得到所述关键点集的关系特征编码。
12.根据权利要求10或11所述的装置，其中，特征提取单元包括全局特征提取器子网络，所述全局特征提取器子网络被配置为：
基于所述关键点集的关系特征编码，采用最大池化层提取所述全局特征。
13.根据权利要求10所述的装置，其中，特征提取单元包括局部特征提取器子网络，所述局部特征提取器子网络被配置为：
基于所述局部点集的关系特征编码，对局部特征提取器子网络的前预设数量层的结果进行融合，以提取所述局部特征。
14.根据权利要求10所述的装置，其中，点集结构数据生成单元被配置为：
从所述输入的稀疏2D点集数据中进行关键点采样，得到所述关键点集，所述关键点集包括n个关键点，n为大于等于1的整数；
在所述关键点集中的每个关键点周围的邻域进行采样，得到所述局部点集，所述局部点集包括n个局部子点集，每个局部子点集包括k个点，k为大于等于1的整数；
基于所述关键点集和所述局部点集，构建具有空间层次的包括所述关键点集和所述局部点集的点集结构数据。
15.根据权利要求10所述的装置，还包括：
位姿估计单元，被配置为基于所述全局特征和所述局部特征，估计预设对象的6自由度位姿。
16.根据权利要求15所述的装置，其中，位姿估计单元被配置为：
将所述全局特征和所述局部特征进行融合；
将融合结果输入到多层感知机和全卷积层，通过多层感知机和全卷积层得到预设对象的6自由度位姿估计结果。
17.根据权利要求10所述的装置，还包括：
点集分割单元，被配置为基于所述全局特征和所述局部特征，对所述输入的稀疏2D点集数据进行分割。
18.根据权利要求17所述的装置，其中，点集分割单元被配置为：
基于所述全局特征和所述局部特征，采用插值分层重组的策略将所述点集结构数据恢复至稀疏2D点集形式的数据；
使用多层感知机确定与所述稀疏2D点集形式的数据中的每个事件流对应的标记点。
19.一种存储有计算机程序的计算机可读存储介质，其中，当所述计算机程序被处理器执行时，实现权利要求1至9中任一项所述的方法。
20.一种计算装置，包括：
处理器；
存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现权利要求1至9中任一项所述的方法。
CN202010006265.8A 2020-01-03 2020-01-03 稀疏2d点集的深度特征提取方法及装置 Active CN111223136B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010006265.8A CN111223136B (zh) 2020-01-03 2020-01-03 稀疏2d点集的深度特征提取方法及装置
KR1020200150499A KR20210087875A (ko) 2020-01-03 2020-11-11 희소 포인트 처리 방법 및 장치
US17/123,540 US11430150B2 (en) 2020-01-03 2020-12-16 Method and apparatus for processing sparse points

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010006265.8A CN111223136B (zh) 2020-01-03 2020-01-03 稀疏2d点集的深度特征提取方法及装置

Publications (2)

Publication Number Publication Date
CN111223136A CN111223136A (zh) 2020-06-02
CN111223136B true CN111223136B (zh) 2024-04-23

Family

ID=70832242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010006265.8A Active CN111223136B (zh) 2020-01-03 2020-01-03 稀疏2d点集的深度特征提取方法及装置

Country Status (2)

Country Link
KR (1) KR20210087875A (zh)
CN (1) CN111223136B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116165274B (zh) * 2023-02-17 2023-11-14 哈尔滨工业大学 基于贝叶斯全局稀疏概率主成分分析的城市轨道损伤识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038717A (zh) * 2017-04-14 2017-08-11 东南大学 一种基于立体栅格自动分析3d点云配准误差的方法
WO2019060125A1 (en) * 2017-09-22 2019-03-28 Zoox, Inc. THREE-DIMENSIONAL DELIMITATION FRAMEWORK BASED ON TWO-DIMENSIONAL IMAGE DATA AND CLOUD OF POINTS
CN109633665A (zh) * 2018-12-17 2019-04-16 北京主线科技有限公司 交通场景稀疏激光点云拼接方法
CN110197223A (zh) * 2019-05-29 2019-09-03 北方民族大学 基于深度学习的点云数据分类方法
CN110223298A (zh) * 2019-05-27 2019-09-10 东南大学 基于点云局部结构的语义分割改进算法
CN110243370A (zh) * 2019-05-16 2019-09-17 西安理工大学 一种基于深度学习的室内环境三维语义地图构建方法
CN110287873A (zh) * 2019-06-25 2019-09-27 清华大学深圳研究生院 基于深度神经网络的非合作目标位姿测量方法、系统及终端设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190130603A1 (en) * 2016-03-11 2019-05-02 Siemens Aktiengesellschaft Deep-learning based feature mining for 2.5d sensing image search

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038717A (zh) * 2017-04-14 2017-08-11 东南大学 一种基于立体栅格自动分析3d点云配准误差的方法
WO2019060125A1 (en) * 2017-09-22 2019-03-28 Zoox, Inc. THREE-DIMENSIONAL DELIMITATION FRAMEWORK BASED ON TWO-DIMENSIONAL IMAGE DATA AND CLOUD OF POINTS
CN109633665A (zh) * 2018-12-17 2019-04-16 北京主线科技有限公司 交通场景稀疏激光点云拼接方法
CN110243370A (zh) * 2019-05-16 2019-09-17 西安理工大学 一种基于深度学习的室内环境三维语义地图构建方法
CN110223298A (zh) * 2019-05-27 2019-09-10 东南大学 基于点云局部结构的语义分割改进算法
CN110197223A (zh) * 2019-05-29 2019-09-03 北方民族大学 基于深度学习的点云数据分类方法
CN110287873A (zh) * 2019-06-25 2019-09-27 清华大学深圳研究生院 基于深度神经网络的非合作目标位姿测量方法、系统及终端设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Yuewang等.Dynamic graph cnn for learning on point clouds.《arXiv》.2019,第3.1部分，附图2-3. *
赵中阳 ; 程英蕾 ; 释小松 ; 秦先祥 ; 李鑫 ; .基于多尺度特征和PointNet的LiDAR点云地物分类方法.激光与光电子学进展.2018,(05),全文. *
魏梓泉 ; 杨扬 ; 张愫 ; 杨昆 ; .基于双特征高斯混合模型和双约束空间变换的配准.软件学报.2018,(11),全文. *

Also Published As

Publication number Publication date
KR20210087875A (ko) 2021-07-13
CN111223136A (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN110427968B (zh) 一种基于细节增强的双目立体匹配方法
CN108986161B (zh) 一种三维空间坐标估计方法、装置、终端和存储介质
CN108537848B (zh) 一种面向室内场景重建的两级位姿优化估计方法
CN111598993B (zh) 基于多视角成像技术的三维数据重建方法、装置
CN109087349A (zh) 一种单目深度估计方法、装置、终端和存储介质
KR101869605B1 (ko) 평면정보를 이용한 3차원 공간 모델링 및 데이터 경량화 방법
CN111899280B (zh) 采用深度学习和混合型位姿估计的单目视觉里程计方法
CN110443874B (zh) 基于卷积神经网络的视点数据生成方法和装置
KR20220043847A (ko) 객체 포즈 추정 방법, 장치, 전자 장치 및 저장 매체
CN110738200A (zh) 车道线3d点云地图构建方法、电子设备及存储介质
CN115035235A (zh) 三维重建方法及装置
WO2021035627A1 (zh) 获取深度图的方法、装置及计算机存储介质
CN111709984A (zh) 位姿深度预测方法、视觉里程计方法、装置、设备及介质
CN109801323A (zh) 具有自我提升能力的金字塔双目深度估计模型
CN115222889A (zh) 基于多视图图像的3d重建方法、装置及相关设备
CN111223136B (zh) 稀疏2d点集的深度特征提取方法及装置
CN117876608B (zh) 三维图像重建方法、装置、计算机设备及存储介质
CN112270701B (zh) 基于分组距离网络的视差预测方法、系统及存储介质
Chang et al. YOLOv4‐tiny‐based robust RGB‐D SLAM approach with point and surface feature fusion in complex indoor environments
KR20220088289A (ko) 객체 포즈 추정 장치 및 방법
Xu et al. Nid-slam: Neural implicit representation-based rgb-d slam in dynamic environments
CN115546034A (zh) 图像处理的方法和装置
CN113592015A (zh) 定位以及训练特征匹配网络的方法和装置
CN113269823A (zh) 深度数据获取方法、装置、存储介质与电子设备
CN115861145B (zh) 一种基于机器视觉的图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant