CN112862730B - 点云特征增强方法、装置、计算机设备和存储介质 - Google Patents

点云特征增强方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112862730B
CN112862730B CN202110452686.8A CN202110452686A CN112862730B CN 112862730 B CN112862730 B CN 112862730B CN 202110452686 A CN202110452686 A CN 202110452686A CN 112862730 B CN112862730 B CN 112862730B
Authority
CN
China
Prior art keywords
point
feature
input
vector
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110452686.8A
Other languages
English (en)
Other versions
CN112862730A (zh
Inventor
黄惠
林力强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202110452686.8A priority Critical patent/CN112862730B/zh
Publication of CN112862730A publication Critical patent/CN112862730A/zh
Application granted granted Critical
Publication of CN112862730B publication Critical patent/CN112862730B/zh
Priority to US17/498,754 priority patent/US11734799B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种点云特征增强方法、装置、计算机设备和存储介质。所述方法包括：获取三维点云；所述三维点云包括多个输入点；对所述输入点的邻域点特征进行特征聚集得到所述输入点的第一特征；将所述第一特征映射至相应输入点所对应的注意力点；对所述注意力点的邻域点特征进行特征聚集得到相应输入点的第二特征；对所述输入点的第一特征与第二特征进行特征融合得到相应的增强特征。采用本方法能够提高点云特征的增强效果。

Description

点云特征增强方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机图形学技术领域，特别是涉及一种点云特征增强方法、装置、计算机设备和存储介质。
背景技术
随着计算机图形学技术的发展，基于三维点云的点云分类和点云分割等三维视觉任务逐渐发展起来。通常通过激光雷达传感器等测量仪器对现实场景或物体进行扫描后，能够得到物体在三维空间中的三维点云表示，通过分析三维点云的特征能够分析物体的三维形状，由此，三维点云特征的提取是三维视觉任务的基本任务之一。由此，如何更好地提取三维点云特征，以便于基于所提取到的三维点云特征进行后续视觉任务时能够取得更好的效果，是值得关注的问题。
目前，针对三维点云特征的提取主要集中在局部特征的学习上，虽然存在基于注意机制的点云特征学习，目前的基于注意机制的点云特征学习方式下，需要预先选取一组固定的点作为注意力点，而不能够随着三维点云的不同而自动选取更佳的注意力点，由此，该种点云特征学习方式对所学习到的点云特征的增强效果较弱。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高点云特征的增强效果的点云特征增强方法、装置、计算机设备和存储介质。
一种点云特征增强方法，所述方法包括：
获取三维点云；所述三维点云包括多个输入点；
对所述输入点的邻域点特征进行特征聚集得到所述输入点的第一特征；
将所述第一特征映射至相应输入点所对应的注意力点；
对所述注意力点的邻域点特征进行特征聚集得到相应输入点的第二特征；
对所述输入点的第一特征与第二特征进行特征融合得到相应的增强特征。
在其中一个实施例中，所述将所述第一特征映射至相应输入点所对应的注意力点，包括：
将所述输入点的第一特征映射为目标偏移向量；
根据所述输入点与所述目标偏移向量确定相应的注意力点。
在其中一个实施例中，所述目标偏移向量为欧氏空间中的坐标偏移向量；所述根据所述输入点与所述目标偏移向量确定相应的注意力点，包括：
根据所述输入点在所述欧氏空间中的坐标向量，以及所述坐标偏移向量得到偏移点坐标向量；
根据所述偏移点坐标向量确定相应输入点所对应的注意力点。
在其中一个实施例中，所述目标偏移向量为特征空间中的特征偏移向量；所述根据所述输入点与所述目标偏移向量确定相应的注意力点，包括：
根据所述输入点在特征空间中的特征向量，以及所述特征偏移向量得到偏移点特征向量；
根据所述偏移点特征向量确定相应输入点所对应的注意力点。
在其中一个实施例中，所述将所述输入点的第一特征映射为目标偏移向量，包括：
通过共享参数的多层感知机将所述三维点云中每个输入点的第一特征映射为相应目标偏移向量。
在其中一个实施例中，所述对所述注意力点的邻域点特征进行特征聚集得到相应输入点的第二特征，包括：
从所述三维点云中确定所述注意力点的邻域点和相应的邻域点特征；
通过局部卷积对所确定的邻域点特征进行特征聚集，得到相应注意力点所对应的输入点的第二特征。
在其中一个实施例中，所述从所述三维点云中确定所述注意力点的邻域点和相应的邻域点特征，包括：
根据所述注意力点的坐标向量，从所述三维点云中确定预设数量的邻域点和相应的邻域点特征；或，
根据所述注意力点的特征向量，从所述三维点云中确定预设数量的邻域点和相应的邻域点特征。
一种点云特征增强装置，所述装置包括：
获取模块，用于获取三维点云；所述三维点云包括多个输入点；
特征聚集模块，用于对所述输入点的邻域点特征进行特征聚集得到所述输入点的第一特征；
注意力点映射模块，用于将所述第一特征映射至相应输入点所对应的注意力点；
特征聚集模块，还用于对所述注意力点的邻域点特征进行特征聚集得到相应输入点的第二特征；
特征融合模块，用于对所述输入点的第一特征与第二特征进行特征融合得到相应的增强特征。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取三维点云；所述三维点云包括多个输入点；
对所述输入点的邻域点特征进行特征聚集得到所述输入点的第一特征；
将所述第一特征映射至相应输入点所对应的注意力点；
对所述注意力点的邻域点特征进行特征聚集得到相应输入点的第二特征；
对所述输入点的第一特征与第二特征进行特征融合得到相应的增强特征。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取三维点云；所述三维点云包括多个输入点；
对所述输入点的邻域点特征进行特征聚集得到所述输入点的第一特征；
将所述第一特征映射至相应输入点所对应的注意力点；
对所述注意力点的邻域点特征进行特征聚集得到相应输入点的第二特征；
对所述输入点的第一特征与第二特征进行特征融合得到相应的增强特征。
上述点云特征增强方法、装置、计算机设备和存储介质，在获取到待增强点云特征的三维点云后，针对三维点云中的每个输入点，基于输入点的邻域点特征来增强输入点特征得到相应第一特征，基于特征增强的第一特征自动学习输入点对应的注意力点，基于所学习到的注意力点的邻域点特征来增强注意力点特征，并作为相应输入点的第二特征，通过将输入点的第二特征融合至相应第一特征中来进一步增强输入点特征，并得到增强效果比较好的增强特征，以便于基于各输入点的增强特征能够得到增强效果比较好的点云特征，由此能够提高点云特征的增强效果。
附图说明
图1为一个实施例中点云特征增强方法的流程示意图；
图2为一个实施例中学习输入点对应的注意力点的原理示意图；
图3为另一个实施例中点云特征增强方法的流程示意图；
图4为一个实施例中基于点云学习网络实现点云特征增强方法的框架图；
图5为一个实施例中点云学习网络的原理示意图；
图6为一个实施例中点云特征增强装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种点云特征增强方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤102，获取三维点云；三维点云包括多个输入点。
其中，三维点云是三维空间中的一些点的集合，三维点云中的每个点可理解为输入点，通过增强输入点的特征能够实现点云特征的增强。
步骤104，对输入点的邻域点特征进行特征聚集得到输入点的第一特征。
具体地，针对三维点云中的每个输入点，终端从三维点云中确定该输入点的邻域点集，获取邻域点集中每个邻域点的邻域点特征，对各邻域点特征进行特征聚集，并基于所聚集的特征对输入点的初始特征进行更新得到该输入点的第一特征。
在一个实施例中，终端通过局部卷积对每个输入点的邻域点特征进行特征聚集，得到相应输入点的第一特征。终端具体可通过如下方式对每个输入点的邻域点特征进行局部卷积操作得到相应第一特征。
Figure 832682DEST_PATH_IMAGE001
其中，
Figure 758437DEST_PATH_IMAGE002
表示三维点云中的第
Figure 754075DEST_PATH_IMAGE003
个输入点，
Figure 891795DEST_PATH_IMAGE004
表示输入点
Figure 822842DEST_PATH_IMAGE002
的邻域点集，
Figure 311592DEST_PATH_IMAGE005
表示输入点
Figure 48604DEST_PATH_IMAGE002
的第一特征，
Figure 368727DEST_PATH_IMAGE006
表示任意一种局部卷积算子，比如，可以是逐点进行运算操作的局部算子，也可以是一个基于网格卷积核的局部算子，还可以是一个基于注意力的局部算子，该种局部卷积算子通常以输入点的邻域点特征作为输入，对输入的邻域点特征进行特征聚集，作为输入点的第一特征。
在一个实施例中，针对三维点云中的每个输入点，终端计算该输入点与三维点云中的其他输入点之间的距离，基于距离筛选该输入点的邻域点得到相应的邻域点集。基于距离从三维点云中筛选输入点的邻域点的方式包括但不限于是：终端可从三维点云中筛选距离小于或等于预设距离阈值的输入点作为邻域点，这样，以球心为输入点、且半径为预设距离阈值的球为查询球，从三维点云中筛选处于该查询球范围内的输入点作为邻域点，可以理解，该种邻域点筛选方式下，可能会存在因输入点的目标偏移向量过大而导致查询球范围内没有邻域点的情况，此时在基于第一特征自动学习目标偏移向量的过程中，还需要在损失函数中额外加入一项惩罚来避免目标偏移向量过大的情况出现；终端也可从三维点云中筛选距离最小的预设数量个输入点作为邻域点，这样，基于距离从三维点云中筛选距离输入点最近的预设数量个输入点作为邻域点。可以理解，预设距离阈值与预设数量可根据实际需求自定义。输入点之间的距离可以是基于输入点的坐标向量或特征向量计算得到的向量距离。
步骤106，将第一特征映射至相应输入点所对应的注意力点。
具体地，针对三维点云中的每个输入点，终端基于该输入点的第一特征进行特征学习，并基于所学习到的特征确定该输入点的注意力点，以将该输入点的第一特征映射至相应注意力点。这样，终端基于每个输入点的第一特征能够自动学习到该输入点的注意力点。
在一个实施例中，终端借助于多层感知机将每个输入点的第一特征映射至相应注意力点。可以理解，该多层感知机在各输入点之间是参数共享的。
在一个实施例中，终端基于输入点的第一特征学习到该输入点的偏移点，并从三维点云中查找距离该偏移点最近的输入点作为注意力点。这样，终端基于输入点的第一特征学习偏移点，并以偏移点为指导在三维点云中查找距离偏移点最近的输入点，作为与相应输入点有关的注意力点。
可以理解，由于基于偏移点从三维点云中查找相应输入点的注意力点时，需要计算该偏移点与三维点云中各输入点之间的距离，而从三维点云中进一步查找该注意力点的邻域点，以便于基于所查找到的邻域点确定相应输入点的第二特征时，需要计算该注意力点与三维点云中各输入点之间的距离。由此，在基于输入点的偏移点确定该输入点的第二特征的过程中，需要遍历两次三维点云中的各输入点，并计算遍历的输入点与偏移点/注意力点之间的距离，也即是需要计算两组距离。为了减少处理两组距离计算带来的计算成本，可直接将偏移点作为注意力点，并基于偏移点的邻域点特征来确定相应输入点的第二特征，以便于基于第二特征进一步增强相应输入点特征时，能够在保证特征增强效果的情况下，减少计算成本，提高处理效率。
步骤108，对注意力点的邻域点特征进行特征聚集得到相应输入点的第二特征。
具体地，针对每个输入点对应的注意力点，终端从三维点云中确定该注意力点的邻域点集，获取邻域点集中每个邻域点的邻域点特征，对各邻域点特征进行特征聚集，基于所聚集的特征对相应注意力点特征进行更新，并将更新后的注意力点特征作为相应输入点的第二特征。
步骤110，对输入点的第一特征与第二特征进行特征融合得到相应的增强特征。
具体地，针对三维点云中的每个输入点，终端将该输入点的第二特征融合至相应第一特征中，以进一步增强输入点特征得到相应的增强特征。可以理解，终端可采用现有的特征融合操作融合每个输入点的第一特征与第二特征，在此不作具体限定。
在一个实施例中，终端通过融合函数
Figure 532992DEST_PATH_IMAGE007
将每个输入点的第一特征与第二特征进行特征融合，得到相应的增强特征，具体可参照如下公式：
Figure 430409DEST_PATH_IMAGE008
其中，
Figure 705533DEST_PATH_IMAGE009
表示第
Figure 349004DEST_PATH_IMAGE010
个输入点
Figure 480908DEST_PATH_IMAGE011
的增强特征，
Figure 944250DEST_PATH_IMAGE012
表示输入点
Figure 695169DEST_PATH_IMAGE011
的第一特征，也即是指
Figure 193146DEST_PATH_IMAGE013
，
Figure 433635DEST_PATH_IMAGE014
表示输入点
Figure 446590DEST_PATH_IMAGE011
的第二特征。
在一个实施例中，终端通过融合函数将输入点的第一特征与第二特征相加得到增强特征，具体可参照如下公式，其中，表示特征求和操作：
Figure 63516DEST_PATH_IMAGE015
在一个实施例中，终端通过融合函数将输入点的第一特征与第二特征连接起来，并通过一个多层感知机来缩减维度得到增强特征，具体可参照如下公式：其中，
Figure 416000DEST_PATH_IMAGE016
表示特征拼接操作，
Figure 279920DEST_PATH_IMAGE017
表示通过多层感知机来缩减特征维度：
Figure 452275DEST_PATH_IMAGE018
上述点云特征增强方法，在获取到待增强点云特征的三维点云后，针对三维点云中的每个输入点，基于输入点的邻域点特征来增强输入点特征得到相应第一特征，基于特征增强的第一特征自动学习输入点对应的注意力点，基于所学习到的注意力点的邻域点特征来增强注意力点特征，并作为相应输入点的第二特征，通过将输入点的第二特征融合至相应第一特征中来进一步增强输入点特征，并得到增强效果比较好的增强特征，以便于基于各输入点的增强特征能够得到增强效果比较好的点云特征，由此能够提高点云特征的增强效果。
在一个实施例中，步骤106，包括：将输入点的第一特征映射为目标偏移向量；根据输入点与目标偏移向量确定相应的注意力点。
其中，目标偏移向量是基于输入点的第一特征自动学习到的方向向量。这样，将基于目标偏移向量与输入点确定的注意力点称为有向注意力点。
具体地，终端基于输入点的第一特征学习到该输入点的目标偏移向量，并根据该输入点对应的输入点向量与目标偏移向量确定相应的注意力点。这样，终端将输入点的第一特征映射至目标偏移向量上，并作为进一步定位注意力点的方向注意。可以理解，输入点向量可以是坐标向量或特征向量，相应地，目标偏移向量可以是坐标偏移向量或特征偏移向量。
在一个实施例中，终端学习一个目标函数
Figure 872892DEST_PATH_IMAGE019
，通过目标函数将输入点的第一特征映射为相应的目标偏移向量，基于目标偏移向量与输入点确定相应偏移点，并将该偏移点作为相应输入点的注意力点，具体可如下公式所示。
Figure 142199DEST_PATH_IMAGE020
其中，
Figure 724491DEST_PATH_IMAGE021
表示输入点
Figure 649721DEST_PATH_IMAGE022
的第一特征，
Figure 546133DEST_PATH_IMAGE023
表示输入点
Figure 607630DEST_PATH_IMAGE022
的偏移点。
图2为一个实施例中学习输入点对应的注意力点的原理示意图。如图2中的子图（1）所示，针对三维点云中的输入点
Figure 688718DEST_PATH_IMAGE022
，终端基于该输入点的邻域内各邻域点对应的邻域点特征更新该输入点的初始特征得到相应第一特征。基于第一特征学习到该输入点对应的目标偏移向量，目标偏移向量如子图（2）中输入点
Figure 101245DEST_PATH_IMAGE022
与偏移点
Figure 598086DEST_PATH_IMAGE023
之间的箭头所示，基于输入点与目标偏移向量确定如子图（2）所示的偏移点
Figure 701040DEST_PATH_IMAGE023
，基于偏移点
Figure 890713DEST_PATH_IMAGE023
从三维点云中查找如子图（2）所示的注意力点
Figure 790536DEST_PATH_IMAGE024
。如子图（3）所示，从三维点云中查找处于注意力点
Figure 153384DEST_PATH_IMAGE024
的邻域内的各邻域点特征，基于各邻域点特征更新该注意力点特征。如子图（4）所示，基于输入点的第一特征自动学习到偏移点，并通过偏移点的辅助查找到与输入点相关联的注意力点，注意力点的特征会影响输入点的特征，由此，将基于邻域点特征更新得到的注意力点特征作为输入点
Figure 923894DEST_PATH_IMAGE022
的第二特征，并融合第二特征与相应第一特征得到输入点
Figure 550047DEST_PATH_IMAGE022
的增强特征。可以理解，图2中标号20表征的范围是指输入点、偏移点或注意力点的邻域，图2所示的邻域范围仅作为示例，并不用于具体限定。
上述实施例中，基于输入点的第一特征自动学习目标偏移向量，以便于基于该目标偏移向量确定相应注意力点，这样，输入点的注意力点是自动学习到的，而不依赖于特征相似性，以便于基于注意力点的邻域点特征进一步增强输入点特征时，能够提高增强效果。
在一个实施例中，目标偏移向量为欧氏空间中的坐标偏移向量；根据输入点与目标偏移向量确定相应的注意力点，包括：根据输入点在欧氏空间中的坐标向量，以及坐标偏移向量得到偏移点坐标向量；根据偏移点坐标向量确定相应输入点所对应的注意力点。
其中，输入点在欧氏空间中的坐标向量，是由输入点在三维空间中的三维坐标确定的，比如，若输入点在三维空间中的三维坐标为
Figure 609270DEST_PATH_IMAGE025
，则该输入点在欧氏空间中的坐标向量为
Figure 447913DEST_PATH_IMAGE026
。坐标偏移向量为欧氏空间中的三维向量。
具体地，终端在欧氏空间将输入点的第一特征映射为相应坐标偏移向量，将该坐标偏移向量与相应输入点在欧式空间中的坐标向量相加得到偏移点坐标向量，并根据偏移点坐标向量在欧氏空间中确定相应注意力点。
在一个实施例中，终端基于偏移点坐标向量确定偏移点坐标，并基于偏移点坐标在欧氏空间中确定注意力点。可以理解，终端可将偏移点坐标确定为待查找的注意力点的坐标，由此基于偏移点坐标能够直接确定注意力点，也即是将偏移点直接确定为注意力点。终端也可基于偏移点坐标在欧氏空间中确定相应偏移点，并在欧氏空间从三维点云中筛选距离与偏移点最近的输入点作为注意力点。可以理解，本实施例中涉及的距离，是指输入点的坐标向量与偏移点坐标向量之间的向量距离。
上述实施例中，基于输入点的第一特征在欧氏空间中学习相应坐标偏移向量，并基于坐标偏移向量在欧氏空间确定相应输入点的注意力点。
在一个实施例中，目标偏移向量为特征空间中的特征偏移向量；根据输入点与目标偏移向量确定相应的注意力点，包括：根据输入点在特征空间中的特征向量，以及特征偏移向量得到偏移点特征向量；根据偏移点特征向量确定相应输入点所对应的注意力点。
其中，输入点在特征空间的特征向量，是由输入点在特征空间的特征确定的，具体可以是由输入点在特征空间的第一特征确定的，比如，若输入点
Figure 400825DEST_PATH_IMAGE027
在特征空间的第一特征
Figure 197880DEST_PATH_IMAGE028
为
Figure 541137DEST_PATH_IMAGE029
，则该输入点在特征空间的特征向量为
Figure 638930DEST_PATH_IMAGE030
。特征偏移向量为特征空间中的多维向量，特征偏移向量的维度与第一特征的维度一致。
具体地，终端在特征空间将输入点的第一特征映射为相应特征偏移向量，将该特征偏移向量与相应输入点在特征空间中的特征向量相加得到偏移点特征向量，并根据偏移点特征向量在特征空间中确定相应注意力点。
在一个实施例中，终端基于偏移点特征向量确定偏移点特征，并基于偏移点特征在特征空间中确定注意力点。终端可将偏移点特征确定为待查找的注意力点的特征，由此基于偏移点特征能够直接确定注意力点，也即是将偏移点确定为注意力点。终端也可基于偏移点特征在特征空间中确定相应偏移点，并在特征空间从三维点云中筛选距离与偏移点最近的输入点作为注意力点。可以理解，本实施例中涉及的距离，是指输入点的特征向量与偏移点特征向量之间的向量距离。
上述实施例中，基于输入点的第一特征在特征空间中学习相应特征偏移向量，并基于特征偏移向量在特征空间确定相应输入点的注意力点。
在一个实施例中，将输入点的第一特征映射为目标偏移向量，包括：通过共享参数的多层感知机将三维点云中每个输入点的第一特征映射为相应目标偏移向量。
具体地，针对三维点云中的每个输入点，终端通过共享参数的多层感知机将该输入点的第一特征映射成目标偏移向量。这样，用于将每个输入点的第一特征映射为相应目标偏移向量的多层感知机是参数共享的，也就是说多层感知机在三维点云中的所有输入点之间共享参数。
在一个实施例中，在欧氏空间，终端通过小尺寸的多层感知机将每个输入点的第一特征映射为坐标偏移向量，并基于坐标偏移向量进一步确定相应注意力点。终端具体可按照如下方式在欧氏空间中确定输入点对应的偏移点，并基于偏移点按照本申请一个或多个实施例中提供的注意力点确定方式确定相应注意力点。
Figure 384032DEST_PATH_IMAGE031
其中，
Figure 351988DEST_PATH_IMAGE032
表示输入点
Figure 244858DEST_PATH_IMAGE033
的第一特征，
Figure 831828DEST_PATH_IMAGE034
表示输入点
Figure 759333DEST_PATH_IMAGE033
在欧氏空间的偏移点，
Figure 898190DEST_PATH_IMAGE035
表示通过多层感知机
Figure 216039DEST_PATH_IMAGE036
在欧氏空间对第一特征
Figure 387126DEST_PATH_IMAGE032
进行映射所得到的坐标偏移向量，
Figure 372400DEST_PATH_IMAGE037
表示输入点
Figure 416579DEST_PATH_IMAGE033
在欧氏空间的坐标向量。
可以理解，在欧氏空间学习到的注意力点不一定是三维点云中的某个点，其在欧氏空间中的位置是任意的。
在一个实施例中，在特征空间，终端通过小尺寸的多层感知机将每个输入点的第一特征映射为特征偏移向量。终端具体可按照如下方式在特征空间中确定输入点对应的偏移点，并基于偏移点进一步确定注意力点。
Figure 284041DEST_PATH_IMAGE038
其中，
Figure 71869DEST_PATH_IMAGE039
表示输入点
Figure 583753DEST_PATH_IMAGE040
的第一特征，也即是表示输入点
Figure 798833DEST_PATH_IMAGE040
在特征空间的特征向量，
Figure 91274DEST_PATH_IMAGE041
表示输入点
Figure 745110DEST_PATH_IMAGE040
在特征空间的偏移点，
Figure 173817DEST_PATH_IMAGE042
表示通过多层感知机
Figure 825378DEST_PATH_IMAGE043
在特征空间对第一特征
Figure 792066DEST_PATH_IMAGE039
进行映射所得到的特征偏移向量。
可以理解，在特征空间学习到的特征偏移向量不一定是三维点云中某个输入点的特征向量，在特征空间学习到的注意力点也不一定是三维点云中的某个点，其在特征空间中的位置是任意的。
在一个实施例中，步骤108，包括：从三维点云中确定注意力点的邻域点和相应的邻域点特征；通过局部卷积对所确定的邻域点特征进行特征聚集，得到相应注意力点所对应的输入点的第二特征。
具体地，针对三维点云中每个输入点对应的注意力点，终端计算该注意力点与三维点云中各输入点之间的距离，基于距离从三维点云中筛选该注意力点的邻域点，并获取各邻域点对应的邻域点特征，进一步地，对该注意力点对应的各邻域点特征进行局部卷积，以实现各邻域点特征的聚集，并将所聚集的特征作为该注意力点对应的输入点的第二特征。值得说明的是，类似于基于距离从三维点云中筛选输入点的邻域点的方式，终端基于距离从三维点云中筛选注意力点的邻域点，在此不再赘述。
在一个实施例中，终端通过局部卷积对每个注意力点的邻域点特征进行特征聚集，得到相应输入点的第二特征。终端具体可通过如下方式对每个注意力点的邻域点特征进行局部卷积操作得到相应输入点的第二特征。
Figure 921696DEST_PATH_IMAGE044
其中，
Figure 267227DEST_PATH_IMAGE045
表示三维点云中第
Figure 355268DEST_PATH_IMAGE046
个输入点
Figure 356722DEST_PATH_IMAGE047
对应的注意力点，
Figure 962147DEST_PATH_IMAGE048
表示注意力点
Figure 631026DEST_PATH_IMAGE045
的邻域点集，
Figure 624390DEST_PATH_IMAGE049
表示输入点
Figure 909878DEST_PATH_IMAGE047
的第二特征，
Figure 646889DEST_PATH_IMAGE050
表示任意一种局部卷积算子。可以理解，
Figure 357225DEST_PATH_IMAGE051
与
Figure 521490DEST_PATH_IMAGE050
可以采用相同或不同的卷积运算，但二者不共享参数。
上述实施例中，基于注意力点在三维空间中的邻域点和相应邻域点特征，对相应注意力点特征进行更新，并作为相应输入点的第二特征，以便于基于输入点的第二特征对相应第一特征进行特征增强时，能够提高特征增强效果。
在一个实施例中，从三维点云中确定注意力点的邻域点和相应的邻域点特征，包括：根据注意力点的坐标向量，从三维点云中确定预设数量的邻域点和相应的邻域点特征；或，根据注意力点的特征向量，从三维点云中确定预设数量的邻域点和相应的邻域点特征。
具体地，在欧氏空间中，三维点云中的每个输入点与相应的注意力点均对应有坐标向量，针对每个注意力点，根据该注意力点的坐标向量与三维点云中每个输入点的坐标向量，能够确定该注意力点与相应输入点之间的向量距离，在特征空间中，三维点云中的每个输入点与相应的注意力点均对应有特征向量，针对每个注意力点，根据该注意力点的特征向量与三维点云中每个输入点的特征向量，能够确定该注意力点与相应输入点之间的向量距离。由此，在欧氏空间或特征空间中，基于每个注意力点对应的向量距离，均能够从三维点云中筛选出预设数量的输入点作为该注意力点的邻域点，并获取各邻域点对应的邻域点特征。可以理解，对于欧氏空间中的注意力点，在欧氏空间中筛选该注意力点的邻域点，而对于特征空间中的注意力点，在特征空间中筛选该注意力点的邻域点。
可以理解，注意力点/输入点在欧氏空间中对应的坐标向量，是基于该注意力点/输入点在欧氏空间中的三维坐标确定的，相应地，注意力点/输入点在特征空间中对应的特征向量，是基于该注意力点/输入点在特征空间中的特征确定的，特征向量的维度由特征的通道数确定。
在一个实施例中，在欧氏空间或特征空间中，终端均可采用现有的KNN（K-NearestNeighbor，K近邻）的方式来确定注意力点的邻域点，在此不再赘述。
上述实施例中，基于注意力点的坐标向量或特征向量，均能够从相应空间确定该注意力点的邻域点与邻域点特征，以便于基于所确定的邻域点特征进一步增强相应输入点特征。
图3为一个实施例中点云特征增强方法的流程示意图。如图3所示，该方法具体包括以下步骤：
步骤302，获取三维点云；三维点云包括多个输入点。
步骤304，对输入点的邻域点特征进行特征聚集得到输入点的第一特征。
步骤306，通过共享参数的多层感知机将三维点云中每个输入点的第一特征映射为相应目标偏移向量；目标偏移向量为欧氏空间中的坐标偏移向量或特征空间中的特征偏移向量。
步骤308，根据输入点在欧氏空间中的坐标向量，以及坐标偏移向量得到偏移点坐标向量。
步骤310，根据偏移点坐标向量确定相应输入点所对应的注意力点。
步骤312，根据注意力点的坐标向量，从三维点云中确定预设数量的邻域点和相应的邻域点特征。
步骤314，根据输入点在特征空间中的特征向量，以及特征偏移向量得到偏移点特征向量。
步骤316，根据偏移点特征向量确定相应输入点所对应的注意力点。
步骤318，根据注意力点的特征向量，从三维点云中确定预设数量的邻域点和相应的邻域点特征。
步骤320，通过局部卷积对所确定的邻域点特征进行特征聚集，得到相应注意力点所对应的输入点的第二特征。
步骤322，对输入点的第一特征与第二特征进行特征融合得到相应的增强特征。
上述实施例中，基于输入点的第一特征在欧氏空间或特征空间学习得到相应的目标偏移向量，基于目标偏移向量从三维点云中定位出一个更有利于后续任务的注意力点，从而增强了学习到的点云特征，以便于使用学习到的点云特征进行点云分割或点云分类等后续任务时，能够提升准确性。
在一个实施例中，本申请的一个或多个实施例中提供的点云特征增强方法通过点云学习网络来实现，该点云学习网络是基于注意力机制的深度神经网络，由于该点云学习网络的主要作用是自动学习输入点的有向注意力点，该点云学习网络又可理解为有向注意力点卷积网络。
图4为一个实施例中基于点云学习网络实现点云特征增强方法的框架图。如图4所示，提供了点云学习网络的网络特征抽象层，具体包括：将三维点云中各输入点的初始特征作为点云学习网络的输入特征，通过局部卷积单元更新各输入点的初始特征得到相应第一特征，通过注意力点映射单元将各输入点的第一特征映射到相应注意力点，通过注意力特征聚集单元从注意力点的邻域内聚集邻域点特征，得到相应输入点的第二特征，通过注意力特征融合单元将每个输入点的第二特征集成到相应第一特征中得到增强特征，并将每个输入点的增强特征作为该输入点在点云学习网络中的输出特征。
图5为一个实施例中点云学习网络的原理示意图。图5中的子图（1）与（2）分别提供了欧氏空间与特征空间中的点云学习网络的原理示意图。如子图（1）与（2）所示，欧氏空间与特征空间中的点云学习网络的结构类似，其中，输入至点云学习网络的三维点云包括n个输入点，每个输入点的特征维度为C1，每个输入点的坐标维度为3，针对三维点云中的每个输入点，将该输入点作为查询点，通过k邻域方式从三维点云中查找该输入点的邻域点与相应邻域点特征，对各邻域点特征进行局部卷积得到该输入点的第一特征，通过共享参数的多层感知机将输入点的第一特征映射至相应目标偏移向量，根据输入点与目标偏移向量确定该输入点的注意力点，以注意力点为查询点，通过k邻域方式从三维点云中查找该注意力点的邻域点与相应邻域点特征，对各邻域点特征进行局部卷积得到相应输入点的第二特征，将该输入点的第一特征与第二特征进行特征融合得到增强特征，其中，每个输入点对应的第一特征、第二特征与增强特征的特征维度均为C2。
点云学习网络在欧氏空间与特征空间中的区别如下：在欧氏空间中，通过共享参数的多层感知机将输入点的第一特征映射为三维的目标偏移向量，也即是将第一特征映射为坐标偏移向量，并基于坐标偏移向量与输入点在欧氏空间中的坐标向量确定注意力点，而在特征空间中，将输入点的第一特征映射为维度与第一特征一致的特征偏移向量，并基于特征偏移向量与输入点在特征空间中的坐标向量确定注意力点。可以理解，在通过点云学习网络增强输入点特征的过程中，可能会改变特征维度，但是会保持坐标维度不变。这样，通过点云学习网络在欧氏空间或特征空间学习各输入点的目标偏移向量，基于目标偏移向量在三维点云中定位出一个更有利于后续任务的注意力点，并基于该注意力点增强学习到的点云特征。
可以理解，针对三维点云中的每个输入点，通过本申请提供的点云学习网络学习一个注意力点，基于该注意力点就能够有效增强输入点的特征，从而提高点云特征的特征增强效果。通过点云学习网络学习输入点的注意力点，能够根据不同的三维点云和不同的后续任务，有针对性地学习注意力的位置。而且，所学习到的注意力点不一定是三维点云中的某个输入点，这样，基于注意力点的邻域点特征进一步增强输入点特征，使得具有不同特征的邻域点为输入点提供执行目标任务的重要上下文。值得说明的是，通过在训练点云学习网络中最大化任务的性能来优化所学习到的目标偏移向量，从而学习到一个更好的注意力点的位置。
在一个实施例中，通过各种实验表明，本申请提供的点云学习网络能够作为子网络整合到各种点云分类和分割网络中，并得到效果上的提升。将本申请提供的点云学习网络在常见各种数据集上进行了基准测试，如针对点云分类的ModelNet40数据集、针对点云部件分割的ShapeNetPart数据集和针对点云户内场景语义分割的S3DIS数据集。针对该些数据集的大量模型实验表明，本申请提供的点云学习网络相较于现有的特征增强方式，能够提高特征增强效果。
应该理解的是，虽然图1与图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1与图3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种点云特征增强装置600，包括：获取模块601、特征聚集模块602、注意力点映射模块603和特征融合模块604，其中：
获取模块601，用于获取三维点云；三维点云包括多个输入点；
特征聚集模块602，用于对输入点的邻域点特征进行特征聚集得到输入点的第一特征；
注意力点映射模块603，用于将第一特征映射至相应输入点所对应的注意力点；
特征聚集模块602，还用于对注意力点的邻域点特征进行特征聚集得到相应输入点的第二特征；
特征融合模块604，用于对输入点的第一特征与第二特征进行特征融合得到相应的增强特征。
在一个实施例中，注意力点映射模块603，还用于将输入点的第一特征映射为目标偏移向量；根据输入点与目标偏移向量确定相应的注意力点。
在一个实施例中，目标偏移向量为欧氏空间中的坐标偏移向量；注意力点映射模块603，还用于根据输入点在欧氏空间中的坐标向量，以及坐标偏移向量得到偏移点坐标向量；根据偏移点坐标向量确定相应输入点所对应的注意力点。
在一个实施例中，目标偏移向量为特征空间中的特征偏移向量；注意力点映射模块603，还用于根据输入点在特征空间中的特征向量，以及特征偏移向量得到偏移点特征向量；根据偏移点特征向量确定相应输入点所对应的注意力点。
在一个实施例中，注意力点映射模块603，还用于通过共享参数的多层感知机将三维点云中每个输入点的第一特征映射为相应目标偏移向量。
在一个实施例中，特征聚集模块602，还用于从三维点云中确定注意力点的邻域点和相应的邻域点特征；通过局部卷积对所确定的邻域点特征进行特征聚集，得到相应注意力点所对应的输入点的第二特征。
在一个实施例中，特征聚集模块602，还用于根据注意力点的坐标向量，从三维点云中确定预设数量的邻域点和相应的邻域点特征；或，根据注意力点的特征向量，从三维点云中确定预设数量的邻域点和相应的邻域点特征。
关于点云特征增强装置的具体限定可以参见上文中对于点云特征增强方法的限定，在此不再赘述。上述点云特征增强装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种点云特征增强方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取三维点云；三维点云包括多个输入点；对输入点的邻域点特征进行特征聚集得到输入点的第一特征；将第一特征映射至相应输入点所对应的注意力点；对注意力点的邻域点特征进行特征聚集得到相应输入点的第二特征；对输入点的第一特征与第二特征进行特征融合得到相应的增强特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将输入点的第一特征映射为目标偏移向量；根据输入点与目标偏移向量确定相应的注意力点。
在一个实施例中，目标偏移向量为欧氏空间中的坐标偏移向量；处理器执行计算机程序时还实现以下步骤：根据输入点在欧氏空间中的坐标向量，以及坐标偏移向量得到偏移点坐标向量；根据偏移点坐标向量确定相应输入点所对应的注意力点。
在一个实施例中，目标偏移向量为特征空间中的特征偏移向量；处理器执行计算机程序时还实现以下步骤：根据输入点在特征空间中的特征向量，以及特征偏移向量得到偏移点特征向量；根据偏移点特征向量确定相应输入点所对应的注意力点。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过共享参数的多层感知机将三维点云中每个输入点的第一特征映射为相应目标偏移向量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：从三维点云中确定注意力点的邻域点和相应的邻域点特征；通过局部卷积对所确定的邻域点特征进行特征聚集，得到相应注意力点所对应的输入点的第二特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据注意力点的坐标向量，从三维点云中确定预设数量的邻域点和相应的邻域点特征；或，根据注意力点的特征向量，从三维点云中确定预设数量的邻域点和相应的邻域点特征。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取三维点云；三维点云包括多个输入点；对输入点的邻域点特征进行特征聚集得到输入点的第一特征；将第一特征映射至相应输入点所对应的注意力点；对注意力点的邻域点特征进行特征聚集得到相应输入点的第二特征；对输入点的第一特征与第二特征进行特征融合得到相应的增强特征。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将输入点的第一特征映射为目标偏移向量；根据输入点与目标偏移向量确定相应的注意力点。
在一个实施例中，目标偏移向量为欧氏空间中的坐标偏移向量；计算机程序被处理器执行时还实现以下步骤：根据输入点在欧氏空间中的坐标向量，以及坐标偏移向量得到偏移点坐标向量；根据偏移点坐标向量确定相应输入点所对应的注意力点。
在一个实施例中，目标偏移向量为特征空间中的特征偏移向量；计算机程序被处理器执行时还实现以下步骤：根据输入点在特征空间中的特征向量，以及特征偏移向量得到偏移点特征向量；根据偏移点特征向量确定相应输入点所对应的注意力点。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过共享参数的多层感知机将三维点云中每个输入点的第一特征映射为相应目标偏移向量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：从三维点云中确定注意力点的邻域点和相应的邻域点特征；通过局部卷积对所确定的邻域点特征进行特征聚集，得到相应注意力点所对应的输入点的第二特征。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据注意力点的坐标向量，从三维点云中确定预设数量的邻域点和相应的邻域点特征；或，根据注意力点的特征向量，从三维点云中确定预设数量的邻域点和相应的邻域点特征。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种点云特征增强方法，其特征在于，所述方法包括：
获取三维点云；所述三维点云包括多个输入点；
对所述输入点的邻域点特征进行特征聚集得到所述输入点的第一特征；
将所述输入点的第一特征映射为目标偏移向量；
当所述目标偏移向量为欧氏空间中的坐标偏移向量时，根据所述输入点在所述欧氏空间中的坐标向量，以及所述坐标偏移向量得到偏移点坐标向量；根据所述偏移点坐标向量确定相应输入点所对应的注意力点；
当所述目标偏移向量为特征空间中的特征偏移向量时，根据所述输入点在所述特征空间中的特征向量，以及所述特征偏移向量得到偏移点特征向量；根据所述偏移点特征向量确定相应输入点所对应的注意力点；
对所述注意力点的邻域点特征进行特征聚集得到相应输入点的第二特征；
对所述输入点的第一特征与第二特征进行特征融合得到相应的增强特征。
2.根据权利要求1所述的方法，其特征在于，所述对所述输入点的邻域点特征进行特征聚集得到所述输入点的第一特征，包括：
通过局部卷积对所述输入点的领域点特征进行特征聚集，得到相应输入点的第一特征。
3.根据权利要求1所述的方法，其特征在于，所述对所述输入点的第一特征与第二特征进行特征融合得到相应的增强特征，包括：
将所述输入点的第一特征与第二特征相加，得到相应输入点的增强特征。
4.根据权利要求1所述的方法，其特征在于，所述对所述输入点的第一特征与第二特征进行特征融合得到相应的增强特征，包括：
将所述输入点的第一特征与第二特征进行连接，并通过多层感知机对连接得到的特征进行维度缩减，得到相应输入点的增强特征。
5.根据权利要求1所述的方法，其特征在于，所述将所述输入点的第一特征映射为目标偏移向量，包括：
通过共享参数的多层感知机将所述三维点云中每个输入点的第一特征映射为相应目标偏移向量。
6.根据权利要求1至5任意一项所述的方法，其特征在于，所述对所述注意力点的邻域点特征进行特征聚集得到相应输入点的第二特征，包括：
从所述三维点云中确定所述注意力点的邻域点和相应的邻域点特征；
通过局部卷积对所确定的邻域点特征进行特征聚集，得到相应注意力点所对应的输入点的第二特征。
7.根据权利要求6所述的方法，其特征在于，所述从所述三维点云中确定所述注意力点的邻域点和相应的邻域点特征，包括：
根据所述注意力点的坐标向量，从所述三维点云中确定预设数量的邻域点和相应的邻域点特征；或，
根据所述注意力点的特征向量，从所述三维点云中确定预设数量的邻域点和相应的邻域点特征。
8.一种点云特征增强装置，其特征在于，所述装置包括：
获取模块，用于获取三维点云；所述三维点云包括多个输入点；
特征聚集模块，用于对所述输入点的邻域点特征进行特征聚集得到所述输入点的第一特征；
注意力点映射模块，用于将所述输入点的第一特征映射为目标偏移向量；当所述目标偏移向量为欧氏空间中的坐标偏移向量时，根据所述输入点在所述欧氏空间中的坐标向量，以及所述坐标偏移向量得到偏移点坐标向量；根据所述偏移点坐标向量确定相应输入点所对应的注意力点；当所述目标偏移向量为特征空间中的特征偏移向量时，根据所述输入点在所述特征空间中的特征向量，以及所述特征偏移向量得到偏移点特征向量；根据所述偏移点特征向量确定相应输入点所对应的注意力点；
特征聚集模块，还用于对所述注意力点的邻域点特征进行特征聚集得到相应输入点的第二特征；
特征融合模块，用于对所述输入点的第一特征与第二特征进行特征融合得到相应的增强特征。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110452686.8A 2021-04-26 2021-04-26 点云特征增强方法、装置、计算机设备和存储介质 Active CN112862730B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110452686.8A CN112862730B (zh) 2021-04-26 2021-04-26 点云特征增强方法、装置、计算机设备和存储介质
US17/498,754 US11734799B2 (en) 2021-04-26 2021-10-12 Point cloud feature enhancement and apparatus, computer device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110452686.8A CN112862730B (zh) 2021-04-26 2021-04-26 点云特征增强方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112862730A CN112862730A (zh) 2021-05-28
CN112862730B true CN112862730B (zh) 2021-07-27

Family

ID=75992921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110452686.8A Active CN112862730B (zh) 2021-04-26 2021-04-26 点云特征增强方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
US (1) US11734799B2 (zh)
CN (1) CN112862730B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114048845B (zh) * 2022-01-14 2022-06-03 深圳大学 点云修复方法、装置、计算机设备和存储介质
CN114882024B (zh) * 2022-07-07 2022-11-15 深圳市信润富联数字科技有限公司 目标对象的缺陷检测方法、装置、电子设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242208A (zh) * 2020-01-08 2020-06-05 深圳大学 一种点云分类方法、分割方法及相关设备
CN111882593A (zh) * 2020-07-23 2020-11-03 首都师范大学 结合注意力机制及三维图卷积网络的点云配准模型及方法
CN112037228A (zh) * 2020-11-05 2020-12-04 中南大学 一种基于双倍注意力的激光雷达点云目标分割方法
CN112308137A (zh) * 2020-10-30 2021-02-02 闽江学院 一种利用注意力机制聚合邻域点和全局特征的图像匹配方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198523B (zh) * 2013-04-26 2016-09-21 清华大学 一种基于多深度图的非刚体三维重建方法及系统
US10438371B2 (en) * 2017-09-22 2019-10-08 Zoox, Inc. Three-dimensional bounding box from two-dimensional image and point cloud data
US10970518B1 (en) * 2017-11-14 2021-04-06 Apple Inc. Voxel-based feature learning network
US11100669B1 (en) * 2018-09-14 2021-08-24 Apple Inc. Multimodal three-dimensional object detection
CN109784333B (zh) * 2019-01-22 2021-09-28 中国科学院自动化研究所 基于点云带权通道特征的三维目标检测方法及系统
CN111488475A (zh) * 2019-01-29 2020-08-04 北京三星通信技术研究有限公司 图像检索方法、装置、电子设备及计算机可读存储介质
CN110349252B (zh) * 2019-06-30 2020-12-08 华中科技大学 一种基于点云边界构建小曲率零件实际加工曲线的方法
US11182612B2 (en) * 2019-10-28 2021-11-23 The Chinese University Of Hong Kong Systems and methods for place recognition based on 3D point cloud
US11380086B2 (en) * 2020-03-25 2022-07-05 Intel Corporation Point cloud based 3D semantic segmentation
US11651052B2 (en) * 2020-11-20 2023-05-16 Shenzhen Deeproute.Ai Co., Ltd Methods for extracting point cloud feature
US11443481B1 (en) * 2021-02-26 2022-09-13 Adobe Inc. Reconstructing three-dimensional scenes portrayed in digital images utilizing point cloud machine-learning models

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242208A (zh) * 2020-01-08 2020-06-05 深圳大学 一种点云分类方法、分割方法及相关设备
CN111882593A (zh) * 2020-07-23 2020-11-03 首都师范大学 结合注意力机制及三维图卷积网络的点云配准模型及方法
CN112308137A (zh) * 2020-10-30 2021-02-02 闽江学院 一种利用注意力机制聚合邻域点和全局特征的图像匹配方法
CN112037228A (zh) * 2020-11-05 2020-12-04 中南大学 一种基于双倍注意力的激光雷达点云目标分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Mass-Driven Topology-Aware Curve Skeleton Extraction from Incomplete Point Clouds;Mao Wendong .et.al;《IEEE Transactions on Visualization and Computer Graphics 》;20200901;第26卷(第9期);第2805-2817页 *
基于深度学习的机器人视觉三维感知与识别方法研究;冯明涛;《全国优秀硕士学位论文全文数据库 信息科技辑》;20210115(第1期);第I138-273页 *

Also Published As

Publication number Publication date
US20220358621A1 (en) 2022-11-10
US11734799B2 (en) 2023-08-22
CN112862730A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112560876B (zh) 解耦度量的单阶段小样本目标检测方法
Arietta et al. City forensics: Using visual elements to predict non-visual city attributes
US20180025249A1 (en) Object Detection System and Object Detection Method
WO2017020528A1 (zh) 车道线的识别建模方法、装置、存储介质和设备及识别方法、装置、存储介质和设备
CN111815577B (zh) 安全帽佩戴检测模型处理方法、装置、设备和存储介质
CN112862730B (zh) 点云特征增强方法、装置、计算机设备和存储介质
CN112990010B (zh) 点云数据处理方法、装置、计算机设备和存储介质
CN111144304A (zh) 车辆目标检测模型的生成方法、车辆目标检测方法及装置
CN110096929A (zh) 基于神经网络的目标检测
CN111814794A (zh) 文本检测方法、装置、电子设备及存储介质
CN111292377B (zh) 目标检测方法、装置、计算机设备和存储介质
CN111259808A (zh) 一种基于改进ssd算法的交通标识的检测识别方法
CN114332977A (zh) 关键点检测方法、装置、电子设备及存储介质
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN112348116A (zh) 利用空间上下文的目标检测方法、装置和计算机设备
Ni et al. An improved adaptive ORB-SLAM method for monocular vision robot under dynamic environments
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN114332457A (zh) 图像实例分割模型训练、图像实例分割方法和装置
CN116266359A (zh) 目标物的跟踪方法、装置、计算机设备和存储介质
CN113436223A (zh) 点云数据的分割方法、装置、计算机设备和存储介质
CN111968030B (zh) 信息生成方法、装置、电子设备和计算机可读介质
CN113762249A (zh) 图像攻击检测、图像攻击检测模型训练方法和装置
CN113569600A (zh) 物体重识别的方法、装置、电子设备及存储介质
CN114066739A (zh) 背景点云滤除方法、装置、计算机设备和存储介质
CN111815677A (zh) 目标追踪方法、装置、终端设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant