CN115380312A - 点云数据的处理方法、装置、电子设备及计算机存储介质 - Google Patents

点云数据的处理方法、装置、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN115380312A
CN115380312A CN202180001671.8A CN202180001671A CN115380312A CN 115380312 A CN115380312 A CN 115380312A CN 202180001671 A CN202180001671 A CN 202180001671A CN 115380312 A CN115380312 A CN 115380312A
Authority
CN
China
Prior art keywords
point
data
information
feature information
data point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180001671.8A
Other languages
English (en)
Inventor
蔡中昂
陈心怡
张俊哲
赵海宇
伊帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensetime International Pte Ltd
Original Assignee
Sensetime International Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensetime International Pte Ltd filed Critical Sensetime International Pte Ltd
Priority claimed from PCT/IB2021/054753 external-priority patent/WO2022219383A1/en
Publication of CN115380312A publication Critical patent/CN115380312A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本公开实施例公开了一种点云数据的处理方法、装置、设备及计算机存储介质，其中，该方法包括：获取第一点云数据的多个数据点中每一数据点的初始特征信息，以及以所述每一数据点为中心点的多个临近点的初始特征信息；基于所述每一数据点的初始特征信息和对应的所述多个临近点的初始特征信息，确定所述每一数据点与对应的所述多个临近点之间的关联程度信息；基于所述每一数据点与对应的所述多个临近点之间的关联程度信息，确定所述每一数据点的第一目标特征信息；基于所述多个数据点的所述第一目标特征信息进行点云数据重建，得到第二点云数据。

Description

点云数据的处理方法、装置、电子设备及计算机存储介质
相关申请的交叉引用
本申请基于并要求于2021年4月15日递交的、题为“点云数据的处理方法、装置、电子设备及计算机存储介质”的新加坡专利申请No.10202103896Y的优先权，其全部内容出于所有目的合并于此。
技术领域
本公开实施例涉及但不限于机器学习技术领域，尤其涉及一种点云数据的处理方法、装置、电子设备及计算机存储介质。
背景技术
通过在例如监控场景、拍摄场景的各种类型的场景中部署激光雷达或深度相机，可以采集点云数据，点云作为一种图像的补充数据，能够更真实的获取场景信息。
然而，相较于二维的图像信息，激光雷达或深度相机采集的点云数据存在稀疏性、无序性以及形状部分缺失等问题，导致点云数据的处理方法困难。
而如何对点云数据进行重建处理，是机器学习中的研究热点。
发明内容
本公开实施例提供一种点云数据的处理方法、装置、电子设备及计算机存储介质。
第一方面，提供一种点云数据的处理方法，包括：获取第一点云数据的多个数据点中每一数据点的初始特征信息，以及以所述每一数据点为中心点的多个临近点的初始特征信息；基于所述每一数据点的初始特征信息和对应的所述多个临近点的初始特征信息，确定所述每一数据点与对应的所述多个临近点之间的关联程度信息；基于所述每一数据点与对应的所述多个临近点之间的关联程度信息，确定所述每一数据点的第一目标特征信息；基于所述多个数据点的所述第一目标特征信息进行点云数据重建，得到第二点云数据。
在一些实施例中，所述基于所述每一数据点的初始特征信息和对应的所述多个临近点的初始特征信息，确定所述每一数据点与对应的所述多个临近点之间的关联程度信息，包括：分别对所述每一数据点的初始特征信息和对应的每一临近点的初始特征信息，进行线性变换和/或非线性变换，得到所述每一数据点的第一特征信息和所述对应的每一临近点的第一特征信息；基于所述每一数据点的第一特征信息和所述对应的每一临近点的第一特征信息，确定所述每一数据点与对应的所述多个临近点之间的所述关联程度信息。
这样，通过对每一数据点的初始特征信息和对应的每一临近点的初始特征信息进行线性变换和/或非线性变换，从而能够获取到每一数据点的第一特征信息和每一临近点的第一特征信息，第一特征信息可以为从初始特征信息中提取的与线性变换和/或非线性变换所采用的权重对应的特征信息，进而确定的关联程度信息，能够表征每一数据点与对应的多个临近点之间在不同类型的特征下的关联程度，从而确定的每一数据点的第一目标特征信息能够符合每一数据点的实际特征。
在一些实施例中，所述分别对所述每一数据点的初始特征信息和对应的每一临近点的初始特征信息，进行线性变换和/或非线性变换，得到所述每一数据点的第一特征信息和所述对应的每一临近点的第一特征信息，包括：对所述每一数据点的初始特征信息进行维度扩展处理，得到所述每一数据点的第二特征信息；对所述每一数据点的第二特征信息进行维度压缩处理，得到所述每一数据点的第一特征信息；其中，所述每一数据点的第一特征信息的维度，大于所述每一数据点的初始特征信息的维度；对所述每一临近点的初始特征信息进行维度扩展处理，得到所述对应的每一临近点的第二特征信息；对所述每一临近点的第二特征信息进行维度压缩处理，得到所述对应的每一临近点的第一特征信息；其中，所述每一临近点的第一特征信息的维度，大于所述每一临近点的初始特征信息的维度。
这样，通过先对每一数据点和每一临近点的初始特征信息进行维度扩展处理，从而能够从每一数据点和每一临近点的初始特征信息中，提取出更多维度的特征信息，而在提取每一数据点和每一临近点的初始特征信息的时候，能够对数据进行并行处理，具有高度的非线性全局作用且具有强的自适应和自学习功能；另外，由于对每一数据点和每一临近点的第二特征信息进行维度压缩处理，从而降低了每一数据点和每一临近点的第二特征信息的维度，进而能够降低点云数据的处理装置通过每一数据点和每一临近点的第一特征信息进行后续计算的计算量。
在一些实施例中，所述基于所述每一数据点与对应的所述多个临近点之间的关联程度信息，确定所述每一数据点的第一目标特征信息，包括：基于所述每一数据点与对应的所述多个临近点之间的关联程度信息，确定所述每一数据点的关联特征信息；将所述每一数据点的关联特征信息和所述每一数据点的初始特征信息进行合并，得到所述每一数据点的第一目标特征信息。
这样，由于每一数据点的关联特征信息，是从每一数据点的初始特征信息和对应的多个临近点的初始特征信息中提取并进行复杂计算得到的特征信息，从而使得确定的每一数据点的关联特征信息容易出现梯度消失的问题，而通过将每一数据点的关联特征信息和每一数据点的初始特征信息进行合并，能够使得确定的每一数据点的第一目标特征信息不存在梯度消失的问题，且保留了每一数据点的初始特征信息，进而提高了确定的每一数据点的第一目标特征信息的有效性。
在一些实施例中，所述基于所述每一数据点与对应的所述多个临近点之间的关联程度信息，确定所述每一数据点的关联特征信息，包括：对所述多个临近点的每一临近点的初始特征信息进行线性变换和/或非线性变换，得到所述每一临近点的第三特征信息；基于所述每一数据点与对应的所述多个临近点之间的关联程度信息，和对应的所述多个临近点的每一临近点的第三特征信息，确定所述每一数据点的关联特征信息。
这样，由于关联程度信息表征的是每一数据点与对应的多个临近点之间的关联程度，从而可以基于关联程度信息和从每一临近点的初始特征信息中提取的每一临近点的第三特征信息，确定每一数据点的关联特征信息，使得确定的每一数据点的关联特征信息，能够与第一点云数据中的每一数据点的真实情况相对应。
在一些实施例中，所述对所述多个临近点的每一临近点的初始特征信息进行线性变换和/或非线性变换，得到所述每一临近点的第三特征信息，包括：对所述每一临近点的初始特征信息进行维度扩展处理，得到所述每一临近点的第四特征信息；对所述每一临近点的第四特征信息进行维度压缩处理，得到所述每一临近点的第三特征信息；其中，所述每一临近点的第三特征信息的维度，大于所述每一临近点的初始特征信息的维度。
这样，通过对每一临近点的初始特征信息进行维度扩展处理，从而能够从每一临近点的初始特征信息中，提取出更多维度的特征信息，而在提取每一临近点的第四特征信息的时候，能够对数据进行并行处理，具有高度的非线性全局作用且具有强的自适应和自学习功能等；另外，由于对每一临近点的第四特征信息进行维度压缩处理，从而降低了每一临近点的第四特征信息的维度，进而能够降低点云数据的处理装置通过每一临近点的第三特征信息进行后续计算的计算量。
在一些实施例中，所述基于所述每一数据点与对应的所述多个临近点之间的关联程度信息，和对应的所述多个临近点的每一临近点的第三特征信息，确定所述每一数据点的关联特征信息，包括：对所述关联程度信息和所述每一临近点的第三特征信息进行聚合，得到所述每一临近点的第五特征信息；基于所述每一临近点的第五特征信息，确定所述每一数据点的关联特征信息。
这样，通过将每一临近点的第三特征信息和关联程度信息进行聚合，从而能够对提取到的特征进行加强，进而使得确定的每一数据点的关联特征信息能够尽可能地接近每一数据点的实际特征。
在一些实施例中，所述基于所述每一临近点的第五特征信息，确定所述每一数据点的关联特征信息，包括：对所述每一临近点的第五特征信息进行维度扩展处理，得到所述每一临近点的第六特征信息；基于对应的所述多个临近点的每一临近点的第六特征信息，确定所述每一数据点的关联特征信息。
这样，由于为了减少点云数据的处理装置的计算量，对通过感知机提取的特征进行了维度压缩处理，而维度压缩处理会导致特征丢失，而通过对每一临近点的第五特征信息进行维度扩展处理，从而能够将维度压缩处理中丢失的特征进行恢复，从而使得第六特征信息中具有较多的特征，通过挖掘出每一数据点的较多的特征，从而使得得到的每一数据点的特征信息更加丰富。
在一些实施例中，所述方法还包括：获取第三点云数据；对所述第三点云数据进行补全，得到对应的完整的第四点云数据；合并所述第三点云数据和所述第四点云数据，以生成所述第一点云数据。
这样，由于第一点云数据是基于第三点云数据和对第三点云数据补全得到的第四点云数据确定的，从而在确定第一点云数据的每一数据点的第一目标特征信息时候，利用的是第三点云数据和第四点云数据的结合，从而得到的每一数据点的第一目标特征信息不仅保留了第三点云数据中每一数据点的特征信息，还保留了第四点云数据中每一数据点的特征信息，进而丰富了每一数据点的特征信息，使得到的每一数据点的第一目标特征信息中包括较多的特征。
在一些实施例中，所述合并所述第三点云数据和所述第四点云数据，以生成所述第一点云数据，包括：合并所述第三点云数据和所述第四点云数据，得到输入点云数据；获取所述输入点云数据的多个数据点中每一数据点的起始特征信息；对所述每一数据点的起始特征信息进行线性变换和/或非线性变换，得到所述第一点云数据。
这样，通过对输入点云数据的每一数据点的起始特征信息，进行线性变换和/或非线性变换，得到第一点云数据，从而第一点云数据中每一数据点的初始特征信息，是从每一数据点的起始特征信息提取的与线性变换和/或非线性变换所采用的权重对应的特征信息，进而能够丰富待第一点云数据中每一数据点的特征信息。
在一些实施例中，所述基于所述多个数据点的所述第一目标特征信息进行点云数据重建，得到第二点云数据，包括：将所述每一数据点的第一目标特征信息确定为所述每一数据点的第二目标特征信息，或者，对所述每一数据点的第一目标特征信息进行线性变换和/或非线性变换，确定所述每一数据点的第二目标特征信息；将所述每一数据点的第二目标特征信息和所述每一数据点的起始特征信息进行合并，得到所述每一数据点的第三目标特征信息；基于所述多个数据点的所述每一数据点的第三目标特征信息进行点云数据重建，得到所述第二点云数据。
这样，在获取到每一数据点的第一目标特征信息之后，可以确定每一数据点的第二目标特征信息，由于每一数据点的第二目标特征信息是通过复杂计算得到特征信息，因此，通过将每一数据点的第二目标特征信息和每一数据点的起始特征信息进行合并，得到的输出点云数据可以避免梯度消失的问题，且每一数据点的第三目标特征信息保留了每一数据点的起始特征信息。
在一些实施例中，所述多个临近点的初始特征信息，包括：至少两组临近点中每组临近点的初始特征信息；每组临近点包括多个临近点；所述至少两组临近点的任两组临近点中临近点的数量不同；所述基于所述每一数据点的初始特征信息和对应的所述多个临近点的初始特征信息，确定所述每一数据点与对应的所述多个临近点之间的关联程度信息，包括：基于所述每一数据点的初始特征信息和所述每组临近点的初始特征信息，确定所述每一数据点与对应的所述每组临近点之间的关联程度信息；所述基于所述每一数据点与对应的所述多个临近点之间的关联程度信息，确定所述每一数据点的第一目标特征信息，包括：基于所述每一数据点与对应的所述至少两组临近点中所述每组临近点之间的关联程度信息，确定所述每一数据点的第一目标特征信息。
这样，由于基于每一数据点的初始特征信息和至少两组临近点中每组临近点的初始特征信息，分别确定每一数据点与对应的所述每组临近点之间的关联程度信息，并基于至少两个关联程度信息，共同确定每一数据点的第一目标特征信息，从而得到的每一数据点的第一目标特征信息是根据多组不同数量的临近点的特征信息共同确定的，提高了确定的每一数据点的第一目标特征信息的丰富度。
第二方面，提供一种点云数据的处理装置，包括：获取单元，用于获取第一点云数据的多个数据点中每一数据点的初始特征信息，以及以所述每一数据点为中心点的多个临近点的初始特征信息；第一确定单元，用于基于所述每一数据点的初始特征信息和对应的所述多个临近点的初始特征信息，确定所述每一数据点与对应的所述多个临近点之间的关联程度信息；第二确定单元，用于基于所述每一数据点与对应的所述多个临近点之间的关联程度信息，确定所述每一数据点的第一目标特征信息；重建单元，用于基于所述多个数据点的所述第一目标特征信息进行点云数据重建，得到第二点云数据。
第三方面，提供一种电子设备，包括：存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法中的步骤。
第四方面，提供一种计算机存储介质，所述计算机存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述方法中的步骤。
在本公开实施例中，由于确定的每一数据点的第一目标特征信息，不仅基于每一数据点的初始特征信息来确定，还基于对应的多个临近点的初始特征信息来确定，从而丰富了每一数据点的特征信息；另外由于每一数据点的第一目标特征信息，是基于第一点云数据中的每一数据点与周围临近点的关联程度信息确定的，从而能够尽可能地使得到的每一数据点的第一目标特征信息接近每一数据点的实际特征，进而可以基于每一数据点的第一目标特征信息，重建出与第一点云数据的实际特征相匹配的第二点云数据。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种监测告警系统的结构示意图；
图2为本公开实施例提供的一种点云数据的处理方法的实现流程示意图；
图3为本公开实施例提供的另一种点云数据的处理方法的实现流程示意图；
图4为本公开实施例提供的又一种点云数据的处理方法的实现流程示意图；
图5为本公开实施例提供的再一种点云数据的处理方法的实现流程示意图；
图6为本公开另一实施例提供的一种点云数据的处理方法的实现流程示意图；
图7为本公开又一实施例提供的一种点云数据的处理方法的实现流程示意图；
图8为本公开实施例提供的一种点云自注意力核心的架构示意图；
图9为本公开实施例提供的一种目标点核心的架构示意图；
图10为本公开实施例提供的关系提升网络的组成结构示意图；
图11为本公开实施例提供的一种点云数据的处理装置的组成结构示意图；
图12为本公开实施例提供的一种电子设备的硬件实体示意图。
具体实施方式
下面将通过实施例并结合附图具体地对本公开的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
需要说明的是：在本公开实例中，“第一”、“第二”等是用于区别类似的对象，而不必用于描述目标的顺序或先后次序。另外，本公开实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
图1为本公开实施例提供的一种监测告警系统的结构示意图，如图1所示，该系统100可以包括点云采集组件101、检测设备102以及管理系统103。
点云采集组件101可以包括一个或多个激光点云扫描器。
点云采集组件101可以与检测设备102通信连接。检测设备102可以与服务器连接，从而使得服务器可以对检测设备102进行相应的控制，检测设备102也可以使用服务器提供的服务。在一些实施方式中，检测设备102可以仅对应一个点云采集组件101。在另一些实施方式中，检测设备102可以对应多个点云采集组件101。在一些实施方式中，检测设备102可以设置在娱乐场中。例如，检测设备102可以与娱乐场中的服务器连接。在另一些实施方式中，检测设备102可以设置在云端。
检测设备102可以与管理系统103通信连接。
相比于二维的图片或者视频，点云的数据格式不会损失物体距离传感器的距离信息，即可以获得物体在空间中的三维位置信息。二维的图片或者视频所带来的歧义(比如人体在三维空间中的位置不明)可以使用点云来规避。摄像头组件可以包括激光雷达或深度相机，从而通过激光雷达或深度相机获取到三维的点云数据，然而，如何生成具有丰富细节的点云特征，是本领域需要解决的问题。
相关技术中，计算模块在提取点云数据中每一数据点的特征信息的时候，一般采用固定加权值对每一数据点的特征信息进行提取，这种情况下计算模块只会考虑到每一数据点自身的特征信息，极大限制了计算模块的灵活度、鲁棒性和拓展性。鉴于此，本公开实施例提供一种高效的点云自注意力计算模块，通过自适应地学习点云中临近点的相互关系来提取关键并且丰富的点云特征。
图2为本公开实施例提供的一种点云数据的处理方法的实现流程示意图，如2所示，该方法应用于点云数据的处理装置，该方法包括：
S201、获取第一点云数据的多个数据点中每一数据点的初始特征信息，以及以每一数据点为中心点的多个临近点的初始特征信息。
点云数据的处理装置可以是一个计算模块，计算模块可以为增强点云特征提取的模块，该计算模块可以部署在芯片或处理器上等。芯片或处理器可以应用在以下至少之一的设备中：手机(Mobile Phone)、平板电脑(Pad)、带无线收发功能的电脑、掌上电脑、台式计算机、个人数字助理、便捷式媒体播放器、智能音箱、导航装置、智能手表、智能眼镜、智能项链等可穿戴设备、计步器、数字TV、虚拟现实(VirtualReality，VR)终端设备、增强现实(Augmented Reality，AR)终端设备、工业控制(Industrial Control)中的无线终端、无人驾驶(Self Driving)中的无线终端、远程手术(Remote Medical Surgery)中的无线终端、智能电网(Smart Grid)中的无线终端、运输安全(Transportation Safety)中的无线终端、智慧城市(Smart City)中的无线终端、智慧家庭(Smart Home)中的无线终端以及车联网系统中的车、车载设备或车载模块等等。
在一些实施方式中，第一点云数据可以是激光雷达或深度相机采集的数据。在这种实施方式中，第一点云数据可以是残缺点云数据。在另一些实施方式中，第一点云数据可以是通过对激光雷达或深度相机采集的数据进行变换而得到的数据。例如，可以基于残缺点云数据和和对残缺点云数据进行补全的粗略完整点云数据，确定第一点云数据。在这种实施方式中，第一点云数据可以包括残缺点云数据和粗略完整点云数据。
点云数据中可以包括大量的数据点，每一个数据点都具有初始特征信息，点云数据的处理装置可以从第一点云数据中，获取每一数据点的初始特征信息和以每一数据点为中心点的多个临近点的初始特征信息。在这里，初始特征信息可以包括表征位置的特征信息和/或表征与其他点之间的位置或属性关系(例如属于同一物体的表面)的信息。
在实施过程中，点云数据的处理装置一次可以获取至少一批第一点云数据，每一批第一点云数据均可以包括多个数据点，每一个数据点具有初始特征信息(即多维特征信息)。一批第一点云数据可以为一个三维图像中的点云数据。
每一数据点对应的临近点的数量可以相同。每一数据点对应的临近点的数量应至少为两个。例如，每一数据点对应的临近点的数量可以为2个、3个、5个、10个等。
S202、基于每一数据点的初始特征信息和对应的多个临近点的初始特征信息，确定每一数据点与对应的多个临近点之间的关联程度信息。
值得注意的是，本公开实施例中的对应的多个临近点在未作特殊说明的情况下，可以指的是与每一数据点对应的多个临近点。
在实施过程中，如果每一数据点对应K个临近点，关联程度信息可以包括K个关联程度信息，K个关联程度信息中的每一关联程度信息可以表征每一数据点与每一临近点之间的关联程度。每一关联程度信息可以用特征向量来表示。每一关联程度信息的维度可以与每一数据点的初始特征信息的维度相同或不同。
S203、基于每一数据点与对应的多个临近点之间的关联程度信息，确定每一数据点的第一目标特征信息。
在一些实施方式中，点云数据的处理装置可以基于(与每一数据点)对应的多个临近点中每一临近点的初始特征信息和关联程度信息，确定每一数据点的第一目标特征信息。在另一些实施方式中，点云数据的处理装置可以基于每一数据点的初始特征信息和关联程度信息，确定每一数据点的第一目标特征信息。在又一些实施方式中，点云数据的处理装置可以基于每一数据点的初始特征信息、对应的多个临近点中每一临近点的初始特征信息以及关联程度信息，确定每一数据点的第一目标特征信息。
S204、基于多个数据点的第一目标特征信息进行点云数据重建，得到第二点云数据。
在实施过程中，可以采用相关技术中的任何点云重建方法，基于多个数据点中每一数据点的第一目标特征信息，对第一点数据进行重建，得到第二点云数据。其中，第一点云数据可以是残缺点云数据的特征和粗略完整点云数据的特征的合并，第二点云数据可以是对第一点云数据进行进一步精细的补全得到的数据。例如，在一些实施方式中，点云数据的处理装置可以对得到的每一数据点的第一目标特征信息进行以下至少之一的操作：至少之一次的维度扩展、至少之一次的维度压缩、至少之一次的保留边缘的池化(Edge-preserved Pooling，EP)、至少之一次的保留边缘的非池化(Edge-preserved Unpooling，EU)，得到第二点云数据。例如，点云数据的处理装置可以对得到的每一数据点的第一目标特征信息，采用EP模块和残差点选择核心模块(Selective Kernel module，R-PSK)进行多次交错的处理，并通过全连接层之后得到第一结果，然后将第一结果采用EU模块和共享多层感知机(Shared MLP)进行多次交错的处理，并通过MLPs处理之后得到第二点云数据。应注意的是，通过每一数据点的第一目标特征信息，对第一点数据进行重建的方法还可以有其它，任何通过每一数据点的第一目标特征信息，对第一点数据进行重建的方法，都应该在本公开的保护范围之内。
在本公开实施例中，由于确定的每一数据点的第一目标特征信息，不仅基于每一数据点的初始特征信息来确定，还基于对应的多个临近点的初始特征信息来确定，从而丰富了每一数据点的特征信息；另外由于每一数据点的第一目标特征信息，是基于第一点云数据中的每一数据点与周围临近点的关联程度信息确定的，从而能够尽可能地使得到的每一数据点的第一目标特征信息接近每一数据点的实际特征，进而可以基于每一数据点的第一目标特征信息，重建出与第一点云数据的实际特征相匹配的第二点云数据。
图3为本公开实施例提供的另一种点云数据的处理方法的实现流程示意图，如3所示，该方法应用于点云数据的处理装置，该方法包括：
S301、获取第一点云数据的多个数据点中每一数据点的初始特征信息，以及以每一数据点为中心点的多个临近点的初始特征信息。
S302、分别对每一数据点的初始特征信息和对应的每一临近点的初始特征信息，进行线性变换和/或非线性变换，得到每一数据点的第一特征信息和对应的每一临近点的第一特征信息。
在本公开实例中，对任一特征信息(包括例如对初始特征信息、第一目标特征信息或起始特征信息等等)进行线性变换和/或非线性变换，可以是对该任一特征信息进行线性变换，或者，对该任一特征信息进行非线性变换，或者，对该任一特征信息进行线性变换之后再进行非线性变换，或者，对该任一特征信息进行非线性变换之后再进行线性变换等。
在一些实施方式中，S302可以通过以下方式实现：将每一数据点的初始特征信息输入至第一感知机，得到每一数据点的第一特征信息；将每一临近点的初始特征信息输入至第二感知机，得到每一临近点的第一特征信息。在本公开实施例中，每一数据点的第一特征信息的维度和每一临近点的第一特征信息的维度相同。
在另一些实施方式中，S302可以通过以下方式实现：对每一数据点的初始特征信息进行维度压缩处理，得到每一数据点的第一特征信息；对每一临近点的初始特征信息进行维度压缩处理，得到每一临近点的第一特征信息。
在又一些实施方式中，S302可以通过以下方式实现：对每一数据点的初始特征信息进行维度扩展处理，得到每一数据点的第二特征信息；对每一数据点的第二特征信息进行维度压缩处理，得到每一数据点的第一特征信息；其中，每一数据点的第一特征信息的维度，大于每一数据点的初始特征信息的维度；对每一临近点的初始特征信息进行维度扩展处理，得到对应的每一临近点的第二特征信息；对每一临近点的第二特征信息进行维度压缩处理，得到对应的每一临近点的第一特征信息；其中，每一临近点的第一特征信息的维度，大于每一临近点的初始特征信息的维度。
在一些实施方式中，对每一数据点的初始特征信息进行维度扩展处理可以包括：将每一数据点的初始特征信息输入至第一感知机，通过第一感知机中的权重对每一数据点的初始特征信息进行维度扩展处理。对每一临近点的初始特征信息进行维度扩展处理可以包括：将每一临近点的初始特征信息输入至第二感知机，通过第二感知机中的权重对每一临近点的初始特征信息进行维度扩展处理。
本公开实施例中的任一感知机(包括：第一感知机、第二感知机、第三感知机、第四感知机或第五感知机等等)可以为多层感知机(Multilayer Perceptron，MLP)。多层感知机可以是共享多层感知机(Shared MLP)。多层感知器是一种前馈的人工神经网络，映射一组输入向量到一组输出向量。输入向量的维度可以大于输出向量的维度。
对任一特征信息进行维度压缩处理，可以属于对任一特征信息进行线性变换的一种。例如，在一些可行的实施方式中，可以通过矩阵对对任一特征信息进行维度压缩处理。
在一些实施方式中，初始特征信息的维度可以为C1，通过第一感知机和第二感知机的作用，得到的第二特征信息的维度可以为C2，其中，C2可以大于C1。在一些实施方式中，在对第二特征信息进行维度压缩处理，得到的第一特征信息的维度可以为C2/r1。r1可以为大于或等于2的整数，例如，r1的取值可以为2、3、5、8等等。
通过上述方式，通过先对每一数据点和每一临近点的初始特征信息进行维度扩展处理，从而能够从每一数据点和每一临近点的初始特征信息中，提取出更多维度的特征信息，而在提取每一数据点和每一临近点的初始特征信息的时候，能够对数据进行并行处理，具有高度的非线性全局作用且具有强的自适应和自学习功能；另外，由于对每一数据点和每一临近点的第二特征信息进行维度压缩处理，从而降低了每一数据点和每一临近点的第二特征信息的维度，进而能够降低点云数据的处理装置通过每一数据点和每一临近点的第一特征信息进行后续计算的计算量。
S303、基于每一数据点的第一特征信息和对应的每一临近点的第一特征信息，确定每一数据点与对应的多个临近点之间的关联程度信息。
在一些实施方式中，点云数据的处理装置可以对每一数据点的第一特征信息和每一临近点的第一特征信息进行交互运算(例如，连接运算和/或点乘运算等)，从而得到关联程度信息。关联程度信息可以表征每一数据点与每一临近点之间的关联程度。
点云数据的处理装置可以基于P维的每一数据点的第一特征信息和P维的每一临近点的第一特征信息，确定P维的每一数据点与每一临近点之间的关联程度信息，从而得到每一数据点与对应的多个临近点之间的关联程度信息。应注意，任何通过两个向量确定两个向量之间的关联程度的实施方式，都应该在本公开的保护范围之内。
S304、基于每一数据点与对应的多个临近点之间的关联程度信息，确定每一数据点的第一目标特征信息。
S305、基于多个数据点的第一目标特征信息进行点云数据重建，得到第二点云数据。
在本公开实施例中，通过对每一数据点的初始特征信息和对应的每一临近点的初始特征信息进行线性变换和/或非线性变换，从而能够获取到每一数据点的第一特征信息和每一临近点的第一特征信息，第一特征信息可以为从初始特征信息中提取的与线性变换和/或非线性变换所采用的权重对应的特征信息，进而确定的关联程度信息，能够表征每一数据点与对应的多个临近点之间在不同类型的特征下的关联程度，从而确定的每一数据点的第一目标特征信息能够符合每一数据点的实际特征。
图4为本公开实施例提供的又一种点云数据的处理方法的实现流程示意图，如4所示，该方法应用于点云数据的处理装置，该方法包括：
S401、获取第一点云数据的多个数据点中每一数据点的初始特征信息，以及以每一数据点为中心点的多个临近点的初始特征信息。
S402、基于每一数据点的初始特征信息和对应的多个临近点的初始特征信息，确定每一数据点与对应的多个临近点之间的关联程度信息。
S403、基于每一数据点与对应的多个临近点之间的关联程度信息，确定每一数据点的关联特征信息。
在一些实施例中，每一数据点的关联特征信息，可以是基于每一数据点的初始特征信息和对应的多个临近点的初始特征信息，计算得到的特征信息。S403可以通过以下方式实现：将多个临近点的每一临近点的初始特征信息作为每一临近点的第三特征信息；基于每一数据点与对应的多个临近点之间的关联程度信息，和对应的多个临近点的每一临近点的第三特征信息，确定每一数据点的关联特征信息。
在另一些实施例中，S403可以通过以下方式实现：对多个临近点的每一临近点的初始特征信息进行线性变换和/或非线性变换，得到每一临近点的第三特征信息；基于每一数据点与对应的多个临近点之间的关联程度信息，和对应的多个临近点的每一临近点的第三特征信息，确定每一数据点的关联特征信息。
通过这种方式，由于关联程度信息表征的是每一数据点与对应的多个临近点之间的关联程度，从而可以基于关联程度信息和从每一临近点的初始特征信息中提取的每一临近点的第三特征信息，确定每一数据点的关联特征信息，使得确定的每一数据点的关联特征信息，能够与第一点云数据中的每一数据点的真实情况相对应。
在一些实施方式中，对多个临近点的每一临近点的初始特征信息进行线性变换和/或非线性变换，得到每一临近点的第三特征信息，可以包括：对每一临近点的初始特征信息进行维度扩展处理，得到每一临近点的第四特征信息；对每一临近点的第四特征信息进行维度压缩处理，得到每一临近点的第三特征信息；其中，每一临近点的第三特征信息的维度，大于每一临近点的初始特征信息的维度。在实施过程中，对每一临近点的初始特征信息进行维度扩展处理，可以包括：将每一临近点的初始特征信息输入至第三感知机，并通过第三感知机中的权重对每一临近点的初始特征信息进行维度扩展处理。
每一临近点的第四特征信息的维度可以为C2，对每一临近点的第四特征信息进行维度压缩处理，从而可以得到维度为C2/r2的每一临近点的第三特征信息。本公开实施例中的r1和r2均为大于或等于2的整数，r1和r2不同，r1和r2呈倍数关系。
其中，第一感知机、第二感知机以及第三感知机输出的向量的维度可以相同。第一感知机、第二感知机以及第三感知机中的权重可以相同，或者，至少两者的权重不同。
通过这种方式，通过对每一临近点的初始特征信息进行维度扩展处理，从而能够从每一临近点的初始特征信息中，提取出更多维度的特征信息，而在提取每一临近点的第四特征信息的时候，能够对数据进行并行处理，具有高度的非线性全局作用且具有强的自适应和自学习功能等；另外，由于对每一临近点的第四特征信息进行维度压缩处理，从而降低了每一临近点的第四特征信息的维度，进而能够降低点云数据的处理装置通过每一临近点的第三特征信息进行后续计算的计算量。
在另一些实施方式中，对多个临近点的每一临近点的初始特征信息进行线性变换和/或非线性变换，得到每一临近点的第三特征信息，可以包括：将每一临近点的初始特征信息输入至第三感知机，得到每一临近点的第三特征信息。在又一些实施方式中，对多个临近点的每一临近点的初始特征信息进行线性变换和/或非线性变换，得到每一临近点的第三特征信息，可以包括：对多个临近点的每一临近点的初始特征信息进行维度压缩处理，得到每一临近点的第三特征信息。
S404、将每一数据点的关联特征信息和每一数据点的初始特征信息进行合并，得到每一数据点的第一目标特征信息。
可以采用残差传递连接的方式将每一数据点的关联特征信息和每一数据点的初始特征信息进行合并。
在一些实施方式中，将每一数据点的关联特征信息和每一数据点的初始特征信息进行合并，可以是将每一数据点的关联特征信息和每一数据点的初始特征信息进行张量求和(Element-wise summation)或者进行张量级联(concatenation)。在实施过程中，在每一数据点的关联特征信息的维度大于每一数据点的初始特征信息的维度的情况下，可以对每一数据点的初始特征信息的维度进行扩展处理，得到与每一数据点的关联特征信息的维度，然后进行求和处理；此处的维度扩展处理包括但不限于重复、线性变换和/或非线性变换。
S405、基于多个数据点的第一目标特征信息进行点云数据重建，得到第二点云数据。
在本公开实施例中，由于每一数据点的关联特征信息，是从每一数据点的初始特征信息和对应的多个临近点的初始特征信息中提取并进行复杂计算得到的特征信息，从而使得确定的每一数据点的关联特征信息容易出现梯度消失的问题，而通过将每一数据点的关联特征信息和每一数据点的初始特征信息进行合并，能够使得确定的每一数据点的第一目标特征信息不存在梯度消失的问题，且保留了每一数据点的初始特征信息，进而提高了确定的每一数据点的第一目标特征信息的有效性。
图5为本公开实施例提供的再一种点云数据的处理方法的实现流程示意图，如5所示，该方法应用于点云数据的处理装置，该方法包括：
S501、获取第一点云数据的多个数据点中每一数据点的初始特征信息，以及以每一数据点为中心点的多个临近点的初始特征信息。
S502、基于每一数据点的初始特征信息和对应的多个临近点的初始特征信息，确定每一数据点与对应的多个临近点之间的关联程度信息。
S503、对多个临近点的每一临近点的初始特征信息进行线性变换和/或非线性变换，得到每一临近点的第三特征信息。
S504、对关联程度信息和每一临近点的第三特征信息进行聚合，得到每一临近点的第五特征信息。
在一些实施方式中，在每一临近点的第三特征信息的维度，为关联程度信息的维度的N倍的情况下，基于每一临近点的第三特征信息和N个关联程度信息，确定每一临近点的第五特征信息；N为大于或等于1的整数。
例如，在每一临近点的第三特征信息的维度为C2/r2，每一数据点与每一临近点之间的关联程度信息的维度为C2/r1，且C2/r2为C2/r1的N倍的情况下，可以将C2/r1维的关联程度信息重复N次，得到C2/r2维的关联程度信息。然后将C2/r2维度的第三特征信息中的每一元素，与C2/r2维度的关联程度信息中的每一元素对应相乘，得到每一临近点的C2/r2维度的第五特征信息。
在另一些实施方式中，在关联程度信息的维度，为每一临近点的第三特征信息的维度的M倍的情况下，基于关联程度信息和M个每一临近点的第三特征信息，确定每一临近点的第五特征信息；M为大于或等于1的整数。
例如，在每一临近点的第三特征信息的维度为C2/r2，每一数据点与每一临近点之间的关联程度信息的维度为C2/r1，且C2/r1为C2/r2的M倍的情况下，可以将C2/r2每一临近点的第三特征信息重复M次，得到C2/r1维的每一临近点的第三特征信息。然后将C2/r1维度的每一临近点的第三特征信息中的每一元素，与C2/r1维度的关联程度信息中的每一元素对应相乘，得到C2/r1维度的第五特征信息。
S505、基于每一临近点的第五特征信息，确定每一数据点的关联特征信息。
在一些实施例中，S505可以通过以下方式实现：对每一临近点的第五特征信息进行维度扩展处理，得到每一临近点的第六特征信息；基于对应的多个临近点的每一临近点的第六特征信息，确定每一数据点的关联特征信息。
对每一临近点的第五特征信息进行维度扩展处理，可以属于对每一临近点的第五特征信息进行线性变换的一种。例如，可以采用某一矩阵或某一感知机对每一临近点的第五特征信息进行维度扩展处理。在对每一临近点的第五特征信息进行维度扩展处理之后，可以得到维度为C2的每一临近点的第六特征信息。
通过这种方式，由于为了减少点云数据的处理装置的计算量，对通过感知机提取的特征进行了维度压缩处理，而维度压缩处理会导致特征丢失，而通过对每一临近点的第五特征信息进行维度扩展处理，从而能够将维度压缩处理中丢失的特征进行恢复，从而使得第六特征信息中具有较多的特征，通过挖掘出每一数据点的较多的特征，从而使得得到的每一数据点的特征信息更加丰富。
在一些实施例中，基于对应的多个临近点的每一临近点的第六特征信息，确定每一数据点的关联特征信息，可以包括：将对应的多个临近点的第六特征信息中相同维度的特征值进行相加，得到每一数据点的关联特征信息。
在另一些实施例中，基于对应的多个临近点的每一临近点的第六特征信息，确定每一数据点的关联特征信息，可以包括：将对应的多个临近点的第六特征信息中相同维度的特征值进行相加，得到每一数据点的第三特征信息；对每一数据点的第三特征信息进行线性变换和/或非线性变换，得到每一数据点的关联特征信息。
通过这种方式，通过对多个临近点的第六特征信息中相同维度的特征值进行相加，从而能够得到每一数据点的关联特征信息，从而提供了一种根据多个临近点的特征信息确定数据点的特征信息的方案，另外，由于每一数据点的关联特征信息是基于对应的多个临近点的特征信息来确定的，从而得到的每一数据点的关联特征信息能够结合多个临近点的特征信息共同确定，进而确定的每一数据点的关联特征信息能够尽可能地接近每一数据点的实际特征。
S506、将每一数据点的关联特征信息和每一数据点的初始特征信息进行合并，得到每一数据点的第一目标特征信息。
S507、基于多个数据点的第一目标特征信息进行点云数据重建，得到第二点云数据。
在本公开实施例中，通过将每一临近点的第三特征信息和关联程度信息进行聚合，从而能够对提取到的特征进行加强，进而使得确定的每一数据点的关联特征信息能够尽可能地接近每一数据点的实际特征。
图6为本公开另一实施例提供的一种点云数据的处理方法的实现流程示意图，如6所示，该方法应用于点云数据的处理装置，该方法包括：
S601、获取第三点云数据。
第三点云数据可以是深度相机或激光雷达采集到的点云数据。
S602、对第三点云数据进行补全，得到对应的完整的第四点云数据。
第四点云数据在其它实施例中可以称为粗略点云数据或粗略完整点云数据。
确定第三点云数据对应的第四点云数据可以通过多种方式来实现，这并不是本公开实施例的主要关心的内容，因此本公开实施例对此不作赘述。
S603、合并第三点云数据和第四点云数据，以生成第一点云数据。
在一些实施方式中，S603可以通过以下方式实现：合并第三点云数据和第四点云数据，得到输入点云数据；获取输入点云数据的多个数据点中每一数据点的起始特征信息；对每一数据点的起始特征信息进行线性变换和/或非线性变换，得到第一点云数据。
在实施过程中，点云数据的处理装置可以将每一数据点的起始特征信息输入至第五感知机，通过第五感知机的权重对每一数据点的起始特征信息进行处理，得到第一点云数据。
将第三点云数据和第四点云数据进行合并，可以是将第三点云数据和第四点云数据进行张量级联(concatenation)。在另一些实施例中，将第三点云数据和第四点云数据进行合并，可以是将第三点云数据和第四点云数据进行张量求和(Element-wisesummation)。
通过这种方式，通过对输入点云数据的每一数据点的起始特征信息，进行线性变换和/或非线性变换，得到第一点云数据，从而第一点云数据中每一数据点的初始特征信息，是从每一数据点的起始特征信息提取的与线性变换和/或非线性变换所采用的权重对应的特征信息，进而能够丰富待第一点云数据中每一数据点的特征信息。
在另一些实施方式中，S603可以通过以下方式实现：将第三点云数据和第四点云数据进行合并，得到输入点云数据，将输入点云数据确定为第一点云数据。
S604、获取第一点云数据的多个数据点中每一数据点的初始特征信息，以及以每一数据点为中心点的多个临近点的初始特征信息。
S605、基于每一数据点的初始特征信息和对应的多个临近点的初始特征信息，确定每一数据点与对应的多个临近点之间的关联程度信息。
S606、基于每一数据点与对应的多个临近点之间的关联程度信息，确定每一数据点的第一目标特征信息。
S607、基于多个数据点的第一目标特征信息进行点云数据重建，得到第二点云数据。
在一些实施例中，在S606可以通过以下方式实现：将每一数据点的第一目标特征信息确定为每一数据点的第二目标特征信息，将每一数据点的第二目标特征信息和每一数据点的起始特征信息进行合并，得到每一数据点的第三目标特征信息；基于多个数据点的每一数据点的第三目标特征信息进行点云数据重建，得到第二点云数据。
在另一些实施例中，在S606可以通过以下方式实现：对每一数据点的目标特征信息进行线性变换和/或非线性变换，确定每一数据点的第二目标特征信息；将每一数据点的第二目标特征信息和每一数据点的起始特征信息进行合并，得到每一数据点的第三目标特征信息；基于多个数据点的每一数据点的第三目标特征信息进行点云数据重建，得到第二点云数据。
对每一数据点的目标特征信息进行线性变换和/或非线性变换，可以通过以下方式实现：将每一数据点的目标特征信息输入至第六感知机，得到每一数据点的第二目标特征信息。
其中，每一数据点的第三目标特征信息用于：确定与第三点云数据对应的精细完整点云数据；精细完整点云数据的精度高于第四点云数据的精度。
通过这种方式，在获取到每一数据点的第一目标特征信息之后，可以确定每一数据点的第二目标特征信息，由于每一数据点的第二目标特征信息是通过复杂计算得到特征信息，因此，通过将每一数据点的第二目标特征信息和每一数据点的起始特征信息进行合并，得到的输出点云数据可以避免梯度消失的问题，且每一数据点的第三目标特征信息保留了每一数据点的起始特征信息。
在本公开实施例中，由于第一点云数据是基于第三点云数据和第四点云数据确定的，从而在确定第一点云数据的每一数据点的目标特征信息时候，利用的是第三点云数据和第四点云数据的结合，从而得到的每一数据点的目标特征信息不仅保留了第三点云数据中每一数据点的特征信息，还保留了第四点云数据中每一数据点的特征信息，进而丰富了每一数据点的特征信息，使得到的每一数据点的目标特征信息中包括较多的特征。
图7为本公开又一实施例提供的一种点云数据的处理方法的实现流程示意图，如7所示，该方法应用于点云数据的处理装置，该方法包括：
S701、获取第一点云数据的多个数据点中每一数据点的初始特征信息，以及以每一数据点为中心点的多个临近点的初始特征信息；多个临近点的初始特征信息，包括：至少两组临近点中每组临近点的初始特征信息。
其中，每组临近点包括多个临近点；至少两组临近点的任两组临近点中临近点的数量不同。
S702、基于每一数据点的初始特征信息和每组临近点的初始特征信息，确定每一数据点与对应的每组临近点之间的关联程度信息。
S703、基于每一数据点与对应的至少两组临近点中每组临近点之间的关联程度信息，确定每一数据点的第一目标特征信息。
S704、基于多个数据点的第一目标特征信息进行点云数据重建，得到第二点云数据。
在一些实施方式中，在至少两组临近点包括第一组临近点和第二组临近点的情况下，第一组临近点中包括K1个临近点，第二组临近点包括不同于K1的K2个临近点，可以分别得到第一关联程度信息和第二关联程度信息，从而点云数据的处理装置可以基于第一关联程度信息，确定每一数据点的第一组特征信息，基于第二关联度信息，确定每一数据点的第二组特征信息。然后基于第一组特征信息和第二组特征信息，确定第一目标特征信息。其中，基于第一关联程度信息、第二关联程度信息，分别确定每一数据点的第一组特征信息、第二组特征信息的方式可以参照上述实施例中的描述。
在本公开实施例中，由于基于每一数据点的初始特征信息和至少两组临近点中每组临近点的初始特征信息，分别确定每一数据点与对应的每组临近点之间的关联程度信息，并基于至少两个关联程度信息，共同确定每一数据点的第一目标特征信息，从而得到的每一数据点的第一目标特征信息是根据多组不同数量的临近点的特征信息共同确定的，提高了确定的每一数据点的第一目标特征信息的丰富度。
本公开实施例通过自注意力核心可学习点云内的结构关系如对称性等，从而获取了更多有效信息，提升了点云相关任务的表现。
以下说明点云自注意力核心(Point Self-Attention Kernel，PSA)的架构：
图8为本公开实施例提供的一种点云自注意力核心的架构示意图，点云自注意力核心可以是上述的点云数据的处理装置或者包括在上述的点云数据的处理装置中，如图8所示：
首先，将点云数据[B×C×N]输入到输入模块801。其中，B表征批量大小(batchsize)，批量大小可以指示一次向点云数据的处理装置输入的第一点云数据为多少批。C表征特征尺寸(Feature size)，特征尺寸可以指示特征的维度有多少。N表征点数(numberpoint)，点数可以指示第一点云数据中的点数有多少。
其次，基于邻近算法(KNN)802确定[B×C×N]的K的临近点[B×C×K×N]。[B×C×N]对应上述实施例中的每一数据点的初始特征信息。[B×C×K×N]对应上述实施例中的对应的多个临近点的初始特征信息。
然后，通过共享MLP 803对点[B×C×N]进行升维变换，然后采用参数r1进行降维，转换为[B×C/r1×1×N]。通过共享MLP 804对[B×C×K×N]进行升维变换，然后采用参数r1进行降维，转换为[B×C/r1×K×N]。基于[B×C/r1×1×N]和[B×C/r1×K×N]，确定用于表征每一数据点与对应的多个临近点之间关系的权重γ。其中，权重γ对应上述每一数据点与对应的多个临近点之间的关联程度信息。
接着，通过共享MLP 805对[B×C×K×N]进行升维变换，然后采用参数r2进行降维，转换为[B×C/r2×K×N]。将[B×C/r2×K×N]和权重γ输入至聚合模块806进行聚合。其中，将[B×C/r2×K×N]和权重γ输入至聚合模块806进行聚合对应上述的基于每一数据点与对应的多个临近点之间的关联程度信息，和对应的多个临近点的每一临近点的第三特征信息，确定每一数据点的关联特征信息。
最后，将聚合结果输入至共享MLP 807，得到[B×C×N]，然后采用残差传递连接将输入模块的[B×C×N]与基于共享MLP 807得到的[B×C×N]进行合并，输出[B×C×N]。如此，通过自适应地学习点云中临近点的相互关系来提取关键并且丰富的点云特征。该特征信息可以增强点云补全网络的表现。
图9为本公开实施例提供的一种目标点核心的架构示意图，如图9所示，图8中的点云自注意力核心包括在图9的目标点核心的架构中。
目标点核心可以包括：点云自注意力核心(图9中的a)、点选择核心模块(PointSelective Kernel Module，PSK)(图9中的b)以及残差点选择核心模块(Selective Kernelmodule，R-PSK)(图9中的c)。
图9(b)中，显示了一个两分支情况，即包括了PSA[K1]和PSA[K2]两个自注意力核心模块，其中，有两个PSA核心具有不同的核心(即K-NN)大小。首先，将这两个核心模块PSA[K1]和PSA[K1]进行融合，将融合的结果输入到全局平均池化层901；其次，将全局平均池化层901的输出结果，输入到全连接层902；再次，将全连接层902的输出结果分别输入到全连接层903和904；再次，将全连接层903和904的输出结果收入到softmax层905；再次，将softmax层905输出的针对全连接层903的输出结果进行处理的结果，与PSA[K1]的结果进行融合；将softmax层905输出的针对全连接层904的输出结果进行处理的结果，与PSA[K2]的结果进行融合；最后，将该两个融合后的结果，进行再次融合得到最终的输出结果，即输出的精细完整点云建模。
在图9(c)中，首先，以[B×Cin×N]的方式将点云数据输入到输入模块911中；其次，采用共享MLP912对输入的[B×Cin×N]进行处理，输出[B×Cout×N]；再次，将输出的[B×Cout×N]输入到PSK913中，得到PSK913输出的[B×Cout×N]；再次，采用共享MLP914对PSK913输出的[B×Cout×N]进行处理，将处理结果与共享MLP915输出的[B×Cout×N]进行融合，得到最终的输出结果。
在另一些实施方式中，可以目标点核心可以不包括点选择核心模块，这样，图9(c)的PSK913修改为PSA即可，即共享MLP912的输出传输到PSA的输入，PSA的输入传输到MLP914。
图10为本公开实施例提供的关系提升网络的组成结构示意图，如图10所示，RENet通过使用保留边缘的池化(Edge-preserved Pooling，EP)和保留边缘的非池化(Edge-preserved Unpooling，EU)模块来实现分层编码器-解码器体系结构。在图10中，将粗略完整点云1001和第三点云1002作为分层编码器1003的输入，在分层编码器1003中，依次通过R-PSK64、R-PSK128、R-PSK256和R-PSK512将输入的点云数据的特征进行编码，最终得到点云特征维度为512的点云特征数据；对R-PSK的输出结果通过多层EP处理，来实现分层编码；对于编码器的输出结果，输入全连接层1004，将全连接层1004的输出结果与RPSK512的输出结果相融合，以对特征维度进行扩展。对于融合结果采用分层解码器1005进行解码，在分层解码器1005采用多层EU进行处理，来实现分层解码，从而得到RPSK64的输出结果；最后，采用共享MLPs 1007对RPSK64的输出结果进行处理，得到最终的精细点云结构。
如此，通过使用边缘感知特征扩展模块来扩展点特征，能够生成具有预测的精细局部细节的高分辨率完整点云。因此，能够利用多尺度结构关系来生成精细的细节。
基于前述的实施例，本公开实施例提供一种点云数据的处理装置，该装置包括所包括的各单元、以及各单元所包括的各模块，可以通过电子设备中的处理器来实现。
图11为本公开实施例提供的一种点云数据的处理装置的组成结构示意图，如图11所示，点云数据的处理装置1100包括：
获取单元1101，用于获取第一点云数据的多个数据点中每一数据点的初始特征信息，以及以每一数据点为中心点的多个临近点的初始特征信息；
第一确定单元1102，用于基于每一数据点的初始特征信息和对应的多个临近点的初始特征信息，确定每一数据点与对应的多个临近点之间的关联程度信息；
第二确定单元1103，用于基于每一数据点与对应的多个临近点之间的关联程度信息，确定每一数据点的第一目标特征信息；
重建单元1104，用于基于多个数据点的第一目标特征信息进行点云数据重建，得到第二点云数据。
在一些实施例中，第一确定单元1102，还用于分别对每一数据点的初始特征信息和对应的每一临近点的初始特征信息，进行线性变换和/或非线性变换，得到每一数据点的第一特征信息和对应的每一临近点的第一特征信息；基于每一数据点的第一特征信息和对应的每一临近点的第一特征信息，确定每一数据点与对应的多个临近点之间的关联程度信息。
在一些实施例中，第一确定单元1102，还用于对每一数据点的初始特征信息进行维度扩展处理，得到每一数据点的第二特征信息；对每一数据点的第二特征信息进行维度压缩处理，得到每一数据点的第一特征信息；其中，每一数据点的第一特征信息的维度，大于每一数据点的初始特征信息的维度；对每一临近点的初始特征信息进行维度扩展处理，得到对应的每一临近点的第二特征信息；对每一临近点的第二特征信息进行维度压缩处理，得到对应的每一临近点的第一特征信息；其中，每一临近点的第一特征信息的维度，大于每一临近点的初始特征信息的维度。
在一些实施例中，第二确定单元1103，还用于基于每一数据点与对应的多个临近点之间的关联程度信息，确定每一数据点的关联特征信息；将每一数据点的关联特征信息和每一数据点的初始特征信息进行合并，得到每一数据点的第一目标特征信息。
在一些实施例中，第二确定单元1103，还用于对多个临近点的每一临近点的初始特征信息进行线性变换和/或非线性变换，得到每一临近点的第三特征信息；基于每一数据点与对应的多个临近点之间的关联程度信息，和对应的多个临近点的每一临近点的第三特征信息，确定每一数据点的关联特征信息。
在一些实施例中，第二确定单元1103，还用于对每一临近点的初始特征信息进行维度扩展处理，得到每一临近点的第四特征信息；对每一临近点的第四特征信息进行维度压缩处理，得到每一临近点的第三特征信息；其中，每一临近点的第三特征信息的维度，大于每一临近点的初始特征信息的维度。
在一些实施例中，第二确定单元1103，还用于对关联程度信息和每一临近点的第三特征信息进行聚合，得到每一临近点的第五特征信息；基于每一临近点的第五特征信息，确定每一数据点的关联特征信息。
在一些实施例中，第二确定单元1103，还用于对每一临近点的第五特征信息进行维度扩展处理，得到每一临近点的第六特征信息；基于对应的多个临近点的每一临近点的第六特征信息，确定每一数据点的关联特征信息。
在一些实施例中，获取单元1101，还用于获取第三点云数据；对第三点云数据进行补全，得到对应的完整的第四点云数据；合并第三点云数据和第四点云数据，以生成第一点云数据。
在一些实施例中，获取单元1101，还用于合并第三点云数据和第四点云数据，得到输入点云数据；获取输入点云数据的多个数据点中每一数据点的起始特征信息；对每一数据点的起始特征信息进行线性变换和/或非线性变换，得到第一点云数据。
在一些实施例中，重建单元1104，用于将每一数据点的第一目标特征信息确定为每一数据点的第二目标特征信息，或者，对每一数据点的第一目标特征信息进行线性变换和/或非线性变换，确定每一数据点的第二目标特征信息；将每一数据点的第二目标特征信息和每一数据点的起始特征信息进行合并，得到每一数据点的第三目标特征信息；基于多个数据点的每一数据点的第三目标特征信息进行点云数据重建，得到第二点云数据。
在一些实施例中，多个临近点的初始特征信息，包括：至少两组临近点中每组临近点的初始特征信息；每组临近点包括多个临近点；至少两组临近点的任两组临近点中临近点的数量不同；第一确定单元1102，还用于基于每一数据点的初始特征信息和每组临近点的初始特征信息，确定每一数据点与对应的每组临近点之间的关联程度信息；第二确定单元1103，还用于基于每一数据点与对应的至少两组临近点中每组临近点之间的关联程度信息，确定每一数据点的第一目标特征信息。
点云数据的处理装置1100是上述任一方法中的点云数据的处理装置。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开装置实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。
需要说明的是，本公开实施例中，如果以软件功能模块的形式实现上述的点云数据的处理方法，并作为独立的产品销售或使用时，也可以存储在一个计算机存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备执行本公开各个实施例方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本公开实施例不限制于任何特定的硬件和软件结合。
图12为本公开实施例提供的一种电子设备的硬件实体示意图，如图12所示，该电子设备1200的硬件实体包括：处理器1201和存储器1202，其中，存储器1202存储有可在处理器1201上运行的计算机程序，处理器1201执行程序时实现上述任一实施例的方法中的步骤。电子设备1200可以是上述列举的芯片或处理器可以应用的任一设备。
存储器1202存储有可在处理器上运行的计算机程序，存储器1202配置为存储由处理器1201可执行的指令和应用，还可以缓存待处理器1201以及电子设备1200中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random Access Memory，RAM)实现。
处理器1201执行程序时实现上述任一项的点云数据的处理方法的步骤。处理器1201通常控制电子设备1200的总体操作。
本公开实施例提供一种计算机存储介质，计算机存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如上任一实施例的点云数据的处理方法的步骤。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开存储介质和设备实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。
本公开实施例的处理器或点云数据的处理装置可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、特定用途集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital SignalProcessor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(Field ProgrammableGate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、图形处理器(GraphicsProcessing Unit，GPU)、神经网络处理器(Neural-network Processing Unit，NPU)、控制器、微控制器、微处理器中的至少一种。处理器或点云数据的处理装置可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
可以理解，本公开实施例中的存储器或计算机存储介质可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”或“本公开实施例”或“前述实施例”或“一些实施方式”或“一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本公开的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“本公开实施例”或“前述实施例”或“一些实施方式”或“一些实施例”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本公开的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。
在本公开所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本公开各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本公开所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本公开所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本公开所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本公开上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
在本公开实施例中，不同实施例中相同步骤和相同内容的说明，可以互相参照。在本公开实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
需要说明的是，本公开所涉及的各个实施例中，可以执行全部的步骤或者可以执行部分的步骤，只要能够形成一个完整的技术方案即可。
以上所述，仅为本公开的实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (26)

1.一种点云数据的处理方法，包括：
获取第一点云数据的多个数据点中每一数据点的初始特征信息，以及以所述每一数据点为中心点的多个临近点的初始特征信息；
基于所述每一数据点的初始特征信息和对应的所述多个临近点的初始特征信息，确定所述每一数据点与对应的所述多个临近点之间的关联程度信息；
基于所述每一数据点与对应的所述多个临近点之间的关联程度信息，确定所述每一数据点的第一目标特征信息；
基于所述多个数据点的所述第一目标特征信息进行点云数据重建，得到第二点云数据。
2.根据权利要求1所述的方法，其中，所述基于所述每一数据点的初始特征信息和对应的所述多个临近点的初始特征信息，确定所述每一数据点与对应的所述多个临近点之间的关联程度信息，包括：
分别对所述每一数据点的初始特征信息和对应的每一临近点的初始特征信息，进行线性变换和/或非线性变换，得到所述每一数据点的第一特征信息和所述对应的每一临近点的第一特征信息；
基于所述每一数据点的第一特征信息和所述对应的每一临近点的第一特征信息，确定所述每一数据点与对应的所述多个临近点之间的所述关联程度信息。
3.根据权利要求2所述的方法，其中，所述分别对所述每一数据点的初始特征信息和对应的每一临近点的初始特征信息，进行线性变换和/或非线性变换，得到所述每一数据点的第一特征信息和所述对应的每一临近点的第一特征信息，包括：
对所述每一数据点的初始特征信息进行维度扩展处理，得到所述每一数据点的第二特征信息；
对所述每一数据点的第二特征信息进行维度压缩处理，得到所述每一数据点的第一特征信息；其中，所述每一数据点的第一特征信息的维度，大于所述每一数据点的初始特征信息的维度；
对所述每一临近点的初始特征信息进行维度扩展处理，得到所述对应的每一临近点的第二特征信息；
对所述每一临近点的第二特征信息进行维度压缩处理，得到所述对应的每一临近点的第一特征信息；其中，所述每一临近点的第一特征信息的维度，大于所述每一临近点的初始特征信息的维度。
4.根据权利要求1至3任一项所述的方法，其中，所述基于所述每一数据点与对应的所述多个临近点之间的关联程度信息，确定所述每一数据点的第一目标特征信息，包括：
基于所述每一数据点与对应的所述多个临近点之间的关联程度信息，确定所述每一数据点的关联特征信息；
将所述每一数据点的关联特征信息和所述每一数据点的初始特征信息进行合并，得到所述每一数据点的第一目标特征信息。
5.根据权利要求4所述的方法，其中，所述基于所述每一数据点与对应的所述多个临近点之间的关联程度信息，确定所述每一数据点的关联特征信息，包括：
对所述多个临近点的每一临近点的初始特征信息进行线性变换和/或非线性变换，得到所述每一临近点的第三特征信息；
基于所述每一数据点与对应的所述多个临近点之间的关联程度信息，和对应的所述多个临近点的每一临近点的第三特征信息，确定所述每一数据点的关联特征信息。
6.根据权利要求5所述的方法，其中，所述对所述多个临近点的每一临近点的初始特征信息进行线性变换和/或非线性变换，得到所述每一临近点的第三特征信息，包括：
对所述每一临近点的初始特征信息进行维度扩展处理，得到所述每一临近点的第四特征信息；
对所述每一临近点的第四特征信息进行维度压缩处理，得到所述每一临近点的第三特征信息；其中，所述每一临近点的第三特征信息的维度，大于所述每一临近点的初始特征信息的维度。
7.根据权利要求5或6所述的方法，其中，所述基于所述每一数据点与对应的所述多个临近点之间的关联程度信息，和对应的所述多个临近点的每一临近点的第三特征信息，确定所述每一数据点的关联特征信息，包括：
对所述关联程度信息和所述每一临近点的第三特征信息进行聚合，得到所述每一临近点的第五特征信息；
基于所述每一临近点的第五特征信息，确定所述每一数据点的关联特征信息。
8.根据权利要求7所述的方法，其中，所述基于所述每一临近点的第五特征信息，确定所述每一数据点的关联特征信息，包括：
对所述每一临近点的第五特征信息进行维度扩展处理，得到所述每一临近点的第六特征信息；
基于对应的所述多个临近点的每一临近点的第六特征信息，确定所述每一数据点的关联特征信息。
9.根据权利要求1至8任一项所述的方法，其中，所述方法还包括：
获取第三点云数据；
对所述第三点云数据进行补全，得到对应的完整的第四点云数据；
合并所述第三点云数据和所述第四点云数据，以生成所述第一点云数据。
10.根据权利要求9所述的方法，其中，所述合并所述第三点云数据和所述第四点云数据，以生成所述第一点云数据，包括：
合并所述第三点云数据和所述第四点云数据，得到输入点云数据；
获取所述输入点云数据的多个数据点中每一数据点的起始特征信息；
对所述每一数据点的起始特征信息进行线性变换和/或非线性变换，得到所述第一点云数据。
11.根据权利要求10所述的方法，其中，所述基于所述多个数据点的所述第一目标特征信息进行点云数据重建，得到第二点云数据，包括：
将所述每一数据点的第一目标特征信息确定为所述每一数据点的第二目标特征信息，或者，对所述每一数据点的第一目标特征信息进行线性变换和/或非线性变换，确定所述每一数据点的第二目标特征信息；
将所述每一数据点的第二目标特征信息和所述每一数据点的起始特征信息进行合并，得到所述每一数据点的第三目标特征信息；
基于所述多个数据点的所述每一数据点的第三目标特征信息进行点云数据重建，得到所述第二点云数据。
12.根据权利要求1至11任一项所述的方法，其中，所述多个临近点的初始特征信息，包括：至少两组临近点中每组临近点的初始特征信息；每组临近点包括多个临近点；所述至少两组临近点的任两组临近点中临近点的数量不同；
所述基于所述每一数据点的初始特征信息和对应的所述多个临近点的初始特征信息，确定所述每一数据点与对应的所述多个临近点之间的关联程度信息，包括：基于所述每一数据点的初始特征信息和所述每组临近点的初始特征信息，确定所述每一数据点与对应的所述每组临近点之间的关联程度信息；
所述基于所述每一数据点与对应的所述多个临近点之间的关联程度信息，确定所述每一数据点的第一目标特征信息，包括：基于所述每一数据点与对应的所述至少两组临近点中所述每组临近点之间的关联程度信息，确定所述每一数据点的第一目标特征信息。
13.一种点云数据的处理装置，包括：
获取单元，用于获取第一点云数据的多个数据点中每一数据点的初始特征信息，以及以所述每一数据点为中心点的多个临近点的初始特征信息；
第一确定单元，用于基于所述每一数据点的初始特征信息和对应的所述多个临近点的初始特征信息，确定所述每一数据点与对应的所述多个临近点之间的关联程度信息；
第二确定单元，用于基于所述每一数据点与对应的所述多个临近点之间的关联程度信息，确定所述每一数据点的第一目标特征信息；
重建单元，用于基于所述多个数据点的所述第一目标特征信息进行点云数据重建，得到第二点云数据。
14.根据权利要求13所述的装置，其中，为所述基于所述每一数据点的初始特征信息和对应的所述多个临近点的初始特征信息，确定所述每一数据点与对应的所述多个临近点之间的关联程度信息，所述第一确定单元用于：
分别对所述每一数据点的初始特征信息和对应的每一临近点的初始特征信息，进行线性变换和/或非线性变换，得到所述每一数据点的第一特征信息和所述对应的每一临近点的第一特征信息；
基于所述每一数据点的第一特征信息和所述对应的每一临近点的第一特征信息，确定所述每一数据点与对应的所述多个临近点之间的所述关联程度信息。
15.根据权利要求14所述的装置，其中，为所述分别对所述每一数据点的初始特征信息和对应的每一临近点的初始特征信息，进行线性变换和/或非线性变换，得到所述每一数据点的第一特征信息和所述对应的每一临近点的第一特征信息，所述第一确定单元用于：
对所述每一数据点的初始特征信息进行维度扩展处理，得到所述每一数据点的第二特征信息；
对所述每一数据点的第二特征信息进行维度压缩处理，得到所述每一数据点的第一特征信息；其中，所述每一数据点的第一特征信息的维度，大于所述每一数据点的初始特征信息的维度；
对所述每一临近点的初始特征信息进行维度扩展处理，得到所述对应的每一临近点的第二特征信息；
对所述每一临近点的第二特征信息进行维度压缩处理，得到所述对应的每一临近点的第一特征信息；其中，所述每一临近点的第一特征信息的维度，大于所述每一临近点的初始特征信息的维度。
16.根据权利要求13至15任一项所述的装置，其中，为所述基于所述每一数据点与对应的所述多个临近点之间的关联程度信息，确定所述每一数据点的第一目标特征信息，所述第二确定单元用于：
基于所述每一数据点与对应的所述多个临近点之间的关联程度信息，确定所述每一数据点的关联特征信息；
将所述每一数据点的关联特征信息和所述每一数据点的初始特征信息进行合并，得到所述每一数据点的第一目标特征信息。
17.根据权利要求16所述的装置，其中，为所述基于所述每一数据点与对应的所述多个临近点之间的关联程度信息，确定所述每一数据点的关联特征信息，所述第二确定单元用于：
对所述多个临近点的每一临近点的初始特征信息进行线性变换和/或非线性变换，得到所述每一临近点的第三特征信息；
基于所述每一数据点与对应的所述多个临近点之间的关联程度信息，和对应的所述多个临近点的每一临近点的第三特征信息，确定所述每一数据点的关联特征信息。
18.根据权利要求17所述的装置，其中，为所述对所述多个临近点的每一临近点的初始特征信息进行线性变换和/或非线性变换，得到所述每一临近点的第三特征信息，所述第二确定单元用于：
对所述每一临近点的初始特征信息进行维度扩展处理，得到所述每一临近点的第四特征信息；
对所述每一临近点的第四特征信息进行维度压缩处理，得到所述每一临近点的第三特征信息；其中，所述每一临近点的第三特征信息的维度，大于所述每一临近点的初始特征信息的维度。
19.根据权利要求17或18所述的装置，其中，为所述基于所述每一数据点与对应的所述多个临近点之间的关联程度信息，和对应的所述多个临近点的每一临近点的第三特征信息，确定所述每一数据点的关联特征信息，所述第二确定单元用于：
对所述关联程度信息和所述每一临近点的第三特征信息进行聚合，得到所述每一临近点的第五特征信息；
基于所述每一临近点的第五特征信息，确定所述每一数据点的关联特征信息。
20.根据权利要求19所述的装置，其中，为所述基于所述每一临近点的第五特征信息，确定所述每一数据点的关联特征信息，所述第二确定单元用于：
对所述每一临近点的第五特征信息进行维度扩展处理，得到所述每一临近点的第六特征信息；
基于对应的所述多个临近点的每一临近点的第六特征信息，确定所述每一数据点的关联特征信息。
21.根据权利要求13至20任一项所述的装置，其中，所述获取单元还用于：
获取第三点云数据；
对所述第三点云数据进行补全，得到对应的完整的第四点云数据；
合并所述第三点云数据和所述第四点云数据，以生成所述第一点云数据。
22.根据权利要求21所述的装置，其中，为所述合并所述第三点云数据和所述第四点云数据，以生成所述第一点云数据，所述获取单元用于：
合并所述第三点云数据和所述第四点云数据，得到输入点云数据；
获取所述输入点云数据的多个数据点中每一数据点的起始特征信息；
对所述每一数据点的起始特征信息进行线性变换和/或非线性变换，得到所述第一点云数据。
23.根据权利要求22所述的装置，其中，为所述基于所述多个数据点的所述第一目标特征信息进行点云数据重建，得到第二点云数据，所述重建单元用于：
将所述每一数据点的第一目标特征信息确定为所述每一数据点的第二目标特征信息，或者，对所述每一数据点的第一目标特征信息进行线性变换和/或非线性变换，确定所述每一数据点的第二目标特征信息；
将所述每一数据点的第二目标特征信息和所述每一数据点的起始特征信息进行合并，得到所述每一数据点的第三目标特征信息；
基于所述多个数据点的所述每一数据点的第三目标特征信息进行点云数据重建，得到所述第二点云数据。
24.根据权利要求13至23任一项所述的装置，其中，所述多个临近点的初始特征信息，包括：至少两组临近点中每组临近点的初始特征信息；每组临近点包括多个临近点；所述至少两组临近点的任两组临近点中临近点的数量不同；
为所述基于所述每一数据点的初始特征信息和对应的所述多个临近点的初始特征信息，确定所述每一数据点与对应的所述多个临近点之间的关联程度信息，所述第一确定单元用于：基于所述每一数据点的初始特征信息和所述每组临近点的初始特征信息，确定所述每一数据点与对应的所述每组临近点之间的关联程度信息；
为所述基于所述每一数据点与对应的所述多个临近点之间的关联程度信息，确定所述每一数据点的第一目标特征信息，所述第二确定单元用于：基于所述每一数据点与对应的所述至少两组临近点中所述每组临近点之间的关联程度信息，确定所述每一数据点的第一目标特征信息。
25.一种电子设备，包括：存储器和处理器，
所述存储器存储有可在所述处理器上运行的计算机程序，
所述处理器执行所述计算机程序时实现权利要求1至12任一项所述方法中的步骤。
26.一种计算机存储介质，所述计算机存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至12任一项所述方法中的步骤。
CN202180001671.8A 2021-04-15 2021-05-31 点云数据的处理方法、装置、电子设备及计算机存储介质 Pending CN115380312A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10202103896Y 2021-04-15
SG10202103896Y 2021-04-15
PCT/IB2021/054753 WO2022219383A1 (en) 2021-04-15 2021-05-31 Method and apparatus for point cloud data processing, electronic device and computer storage medium

Publications (1)

Publication Number Publication Date
CN115380312A true CN115380312A (zh) 2022-11-22

Family

ID=83601611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180001671.8A Pending CN115380312A (zh) 2021-04-15 2021-05-31 点云数据的处理方法、装置、电子设备及计算机存储介质

Country Status (4)

Country Link
US (1) US20220335666A1 (zh)
KR (1) KR20220143553A (zh)
CN (1) CN115380312A (zh)
AU (1) AU2021204512B2 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601272B (zh) * 2022-12-16 2023-04-11 海纳云物联科技有限公司 点云数据处理方法、装置及设备
CN116030134B (zh) * 2023-02-14 2023-07-18 长沙智能驾驶研究院有限公司 定位方法、装置、设备、可读存储介质及程序产品

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102890828B (zh) * 2012-06-15 2015-04-29 北京理工大学 基于法向夹角的点云数据精简方法
WO2020146547A1 (en) * 2019-01-08 2020-07-16 Apple Inc. Auxiliary information signaling and reference management for projection-based point cloud compression
CN112348959B (zh) * 2020-11-23 2024-02-13 杭州师范大学 一种基于深度学习的自适应扰动点云上采样方法
CN112529015A (zh) * 2020-12-17 2021-03-19 深圳先进技术研究院 一种基于几何解缠的三维点云处理方法、装置及设备

Also Published As

Publication number Publication date
AU2021204512A1 (en) 2022-11-03
US20220335666A1 (en) 2022-10-20
KR20220143553A (ko) 2022-10-25
AU2021204512B2 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
CN109522874B (zh) 人体动作识别方法、装置、终端设备及存储介质
Snavely et al. Skeletal graphs for efficient structure from motion
Zhang et al. Cascaded context pyramid for full-resolution 3d semantic scene completion
CN112001914A (zh) 深度图像补全的方法和装置
CN111480169B (zh) 用于模式识别的方法、系统和装置
Zhang et al. Progressive hard-mining network for monocular depth estimation
Perri et al. Adaptive Census Transform: A novel hardware-oriented stereovision algorithm
CN115380312A (zh) 点云数据的处理方法、装置、电子设备及计算机存储介质
EP3803803A1 (en) Lighting estimation
CN110163221B (zh) 在图像中进行物体检测的方法、装置、车辆、机器人
CN113537254B (zh) 图像特征提取方法、装置、电子设备及可读存储介质
Ding et al. Real-time stereo vision system using adaptive weight cost aggregation approach
CN112017228A (zh) 一种对物体三维重建的方法及相关设备
Leite et al. Exploiting motion perception in depth estimation through a lightweight convolutional neural network
Xie et al. Toward 3D object reconstruction from stereo images
Shi et al. Lightweight Context-Aware Network Using Partial-Channel Transformation for Real-Time Semantic Segmentation
US20220188559A1 (en) Image processing method and apparatus, and image processing training method
CN112184555B (zh) 一种基于深度交互学习的立体图像超分辨率重建方法
Lin et al. Cosmos propagation network: Deep learning model for point cloud completion
CN114757822B (zh) 一种基于双目的人体三维关键点检测方法及系统
CN116433686A (zh) 基于Transformer上下文信息融合的医学图像分割方法及相关设备
CN113902995B (zh) 一种多模态人体行为识别方法及相关设备
Song et al. Context Spatial Awareness Remote Sensing Image Change Detection Network Based on Graph and Convolution Interaction
WO2022219383A1 (en) Method and apparatus for point cloud data processing, electronic device and computer storage medium
CN115428020A (zh) 生成点云编码器的方法和装置和生成点云数据的方法和装置、电子设备及计算机介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination