CN114051625A - 一种点云数据的处理方法、装置、设备及存储介质 - Google Patents

一种点云数据的处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114051625A
CN114051625A CN202180001666.7A CN202180001666A CN114051625A CN 114051625 A CN114051625 A CN 114051625A CN 202180001666 A CN202180001666 A CN 202180001666A CN 114051625 A CN114051625 A CN 114051625A
Authority
CN
China
Prior art keywords
group
point
points
processed
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180001666.7A
Other languages
English (en)
Inventor
蔡中昂
陈心怡
张俊哲
赵海宇
伊帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensetime International Pte Ltd
Original Assignee
Sensetime International Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensetime International Pte Ltd filed Critical Sensetime International Pte Ltd
Priority claimed from PCT/IB2021/054792 external-priority patent/WO2022096943A1/en
Publication of CN114051625A publication Critical patent/CN114051625A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种点云数据的处理方法、装置、设备及存储介质，其中，所述方法包括：在获取的第一点云数据中，确定任一待处理点的多组临近点；其中，所述多组临近点中每一组临近点的尺度不同；确定所述每一组临近点与所述待处理点之间的关联关系；基于所述每一组临近点与所述待处理点之间的关联关系，确定所述待处理点的关联特征；基于所述多组临近点对应的关联特征，确定所述待处理点的目标特征；基于多个所述待处理点的目标特征，对所述第一点云数据进行点云补全，生成第二点云数据。

Description

一种点云数据的处理方法、装置、设备及存储介质
相关申请的交叉引用
本申请要求申请号为10202103894R、申请日为2021年4月15日的标题为“一种点云数据的处理方法、装置、设备及存储介质新加坡专利申请的优先权，该新加坡专利申请的全部内容在此引用作为参考。
技术领域
本申请实施例涉及点云数据处理技术领域，涉及但不限于一种点云数据的处理方法、装置、设备及存储介质。
背景技术
随着激光雷达和深度相机的日趋成熟，点云作为一种图片的补充的数据格式，在各种监控场景中逐渐获得部署。在相关技术中，由于点云的无序性、噪声和无网格的特性，使得采用深层神经网络学习到的点云特征，不易满足应用需求。
发明内容
本申请实施例提供一种点云数据的处理技术方案。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种点云数据的处理方法，所述方法包括：在获取的第一点云数据中，确定任一待处理点的多组临近点；其中，所述多组临近点中每一组临近点的尺度不同；确定每一组临近点与所述待处理点之间的关联关系；基于所述每一组临近点与所述待处理点之间的关联关系，确定所述待处理点的关联特征；基于所述多组临近点对应的关联特征，确定所述待处理点的目标特征；基于多个所述待处理点的目标特征，对所述第一点云数据进行点云补全，生成第二点云数据。
本申请实施例提供一种点云数据的处理装置，所述装置包括：第一确定模块，用于在获取的第一点云数据中，确定任一待处理点的多组临近点；其中，所述多组临近点中每一组临近点的尺度不同；第二确定模块，用于确定每一组临近点与所述待处理点之间的关联关系；第三确定模块，用于基于所述每一组临近点与所述待处理点之间的关联关系，确定所述待处理点的关联特征；第四确定模块，用于基于所述多组临近点对应的关联特征，确定所述待处理点的目标特征。
对应地，本申请实施例提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现上述的方法的步骤。
本申请实施例提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时能够实现上述的方法的步骤。
本申请实施例提供一种点云数据的处理方法、装置、设备及存储介质，对于第一点云数据中的任一个待处理点，首先，确定该待处理点与不同尺度的多组临近点的关联关系；然后，基于每一组临近点与待处理点之间的关联关系，来提取待处理点的关联特征；之后，通过融合多组临近点的关联特征，得到待处理点的目标特征；最后，基于第一点云数据中的多个待处理点的目标特征，对第一点云数据进行补全，生成第二点云数据。如此，通过融合不同尺度的多组临近点的特征，能够兼顾到不同尺度的点云特征，从而使得提取到的点云特征至少在一定区间内具有尺度不变性，进而使得提取到的点云特征更加丰富，基于提取到的点云特征进行点云补全得到的点云具有更好的完整性，能更准确地表征物理空间的真实三维对象。
附图说明
图1为本申请实施例提供的点云数据的处理方法的实现流程示意图；
图2为本申请实施例提供的点云数据的处理方法的另一实现流程示意；
图3为本申请实施例点云数据的处理装置的结构组成示意图；
图4为本申请实施例计算机设备的组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)全局平均池化(Global average pooling)：也称为欠采样或下采样，主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性。
2)全连接层：作用是将前面经过多次卷积后高度抽象化的特征进行整合，然后可以进行归一化，对各种分类情况都输出一个概率，之后的分类器以根据全连接得到的概率进行分类。
下面说明本申请实施例提供的点云数据的处理的设备的示例性应用，本申请实施例提供的设备可以实施为具有图像采集功能的笔记本电脑，平板电脑，台式计算机，相机，移动设备(例如，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端，也可以实施为服务器。下面，将说明设备实施为终端或服务器时示例性应用。
该方法可以应用于计算机设备，该方法所实现的功能可以通过计算机设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该计算机设备至少包括处理器和存储介质。
本申请实施例提供一种点云数据的处理方法，如图1所示，结合如图1所示步骤进行说明：
步骤S101，在获取的第一点云数据中，确定任一待处理点的多组临近点。
在一些实施例中，获取的第一点云数据可以是直接采集到三维(3-Dimension，3D)点云数据，或者是接收到的其他设备发送的3D点云数据。待处理点，可以理解为是点云数据中的任意一点。在第一点云数据中，以该待处理点作为中心点，确定多组临近点。多组临近点中每一组临近点的尺度不同。每一组临近点的尺度表示这一组临近点数量的多少，即多组临近点中每一组临近点的数量不同。比如，待处理点的一组临近点的数量为K1，另一组临近点的数量为K2，那么分别确定这两组临近点的尺度为K1和K2。
步骤S102，确定每一组临近点与待处理点之间的关联关系。
在一些实施例中，每一组临近点与待处理点之间的关联关系，用于表征一组临近点中每一个临近点与待处理点之间的关联程度。该关联关系可以包括位置关系；和/或该关联关系可以表征一组临近点中每一个临近点与待处理点分别所表征的物理对象之间的潜在联系。例如，二者是否为表征同一物理对象的点，或者在二者所表征的物理对象不同的情况下，所表征的不同的物理对象之间的位置关系、类别相似性、从属关系等中的至少一项。上述关联关系可以通过临近点与待处理点之间的关系参数和权重系数来表示。对于多组临近点中的每一组临近点，分析一组临近点中，每一个临近点与待处理点之间的关系参数。基于该关系参数，可从总体上确定一组临近点与待处理点之间的关联关系，从而得到每一组临近点与待处理点之间的关联关系。
步骤S103，基于所述每一组临近点与所述待处理点之间的关联关系，确定所述待处理点的关联特征。
在一些实施例中，待处理点的关联特征的数量与临近点的组数对应，即通过将一组临近点与待处理点进行交互，可得到待处理点的一组临近点对应的关联特征，该组临近点对应的关联特征充分考虑了该组临近点的特征信息。待处理点有多组临近点，因此，关联特征为多个。
在一些可能的实现方式中，对于一组临近点中的每一个临近点，首先，按照关系参数，将该临近点的特征与待处理点的特征进行交互处理，得到交互后的初始特征集合；然后，按照组对该交互后的初始特征进行融合，得到每一组所对应的待处理点的关联特征。该待处理点的关联特征，考虑了与周围多组临近点的初始特征之间关联关系，从而使得到的待处理点的关联特征更为关键且丰富。
步骤S104，基于多组临近点对应的关联特征，确定待处理点的目标特征。
在一些实施例中，将每一组临近点所对应的关联特征进行融合，可得到该待处理点的目标特征。对于待处理点的多组临近点，通过采用点云补全网络中的关系提升网络的点云自注意力核心模块(其中，点云自注意力核心模块是关系提升网络的一部分，通过集成局部临近点的特征以及，待处理点与临近点的关系，从而学习点云内的结构关系，进而增强点云特征)，得到每一组临近点对应的关联特征，这样，将每一组关联特征的权重与该组关联特征进行加权求和，以得到充分考虑多组临近点特征的目标特征；如此，通过自适应选择不同尺度下的临近点与待处理点之间的关联关系，基于多组关联特征来确定待处理点的目标特征，既能够解决点云学习中的尺度不变性，还能够增强点云特征。
S105，基于多个所述待处理点的目标特征，对所述第一点云数据进行点云补全，生成第二点云数据。
在一些实施例中，第二点云数据的完整度大于第一点云数据的完整度。可选地，可以通过分析原始点云数据的概率分布，对该原始点云数据的轮廓进行粗略估计，得到第一点云数据。对于粗略估计后的第一点云数据，基于上述目标特征进行点云特征增强，得到更加精细的第二点云数据。
在本申请实施例中，通过采用变分关联点云补全网络中的关系提升网络，结合不同尺度的多组临近点的关联特征，来提取该待处理点的目标特征；并采用多个待处理点的目标特征，对第一点云数据进行补全，得到更加完整的第二点云数据。如此，通过融合不同尺度的多组临近点的特征，能够兼顾到不同尺度的点云特征，从而使得提取到的点云特征至少在一定区间内具有尺度不变性，进而使得提取到的点云特征更加丰富，基于提取到的点云特征进行点云补全得到的点云具有更好的完整性，能更准确地表征物理空间的真实三维对象。
在一些实施例中，通过对多组关联特征进行全局平局池化处理，并确定该关联特征中，每一组临近点的组关联度，从而通过将组关联度与该组的关联特征相结合，提取到目标特征，即上述步骤S104可以通过如图2所示的步骤实现，结合图1和2所示的步骤进行以下说明：
步骤S201，对多组临近点对应的关联特征进行平均池化处理，得到池化特征。
在一些实施例中，为确定哪一组临近点相对于待处理点更为重要，先将多组临近点对应的关联特征进行融合，再采用池化层对融合的特征进行平均池化处理，得到池化特征。
在一些可能的实现方式中，首先，将所述多组临近点对应的关联特征进行融合，得到融合特征；比如，对该多组临近点所对应的关联特征进行逐元素相加，得到融合的特征。然后，对所述融合特征进行平均池化处理，得到所述池化特征；比如，将逐元素相加后得到的融合特征，输入到网络的全局平均池化层，对融合的特征进行全局平均池化；从而能够得到对融合的特征进行降维的该池化特征，以提高网络的鲁棒性。
步骤S202，基于池化特征，确定每一组所述临近点与所述待处理点的组关联度。
在一些实施例中，首先，将该池化特征输入到网络架构中的全连接层，针对每一组临近点，对其中的每一个临近点相对于待处理点的重要程度进行分类，得到标注有重要程度的临近点集合。然后，采用两个全连接层，分别从标注有重要程度的临近点集合中，分类出属于同一组临近点。最后，基于该同一组临近点所标注的重要程度，可确定该组相对于待处理点的重要程度，即该组的组关联度。
步骤S203，基于所述组关联度和所述关联特征，确定所述待处理点的目标特征。
在一些实施例中，首先，将一个组的组关联度和该组所对应的关联特征，两个向量按元素相乘，从而能够得到多个组的相乘结果；然后，将这多个组的相乘结果进行逐元素相加，得到最终的目标特征。
在本申请实施例中，通过将多组关联特征进行融合之后，进行全局平局池化处理，并将池化特征输入到全连接层中，以确定该关联特征中，每一组临近点的重要程度与该组对应的关联特征相结合，得到最终的目标特征；如此，通过结合不同尺度的多组临近点的组关联度与该组的关联特征，以提取到细节更加丰富的点云的目标特征，能够达到在同一阶层中选择和融合多个不同尺度特征，从而使得在基于点云特征进行点云补全网络训练的过程中，使训练得到的网络可以应对多种尺度的关联特征。
在一些实施例中，通过确定一组临近点中每一个临近点与待处理点的关联度，以得到一组的组关联度，从而能够采用组关联度对该组对应的关联特征进行更新，得到目标特征，即上述步骤S202和S203可以通过以下步骤实现：
步骤S231，基于池化特征，确定每一组临近点中每一临近点与所述待处理点特征之间的关联度，得到点关联度集合。
在一些实施例中，在每一组临近点中，确定每一个临近点相对于待处理点的重要程度，从而可确定该临近点与待处理点的关联度；比如，将该临近点属于待处理点的关键点的置信度，作为该临近点与待处理点的关联度。
在一些可能的实现方式中，在一组临近点中，通过判断每一个临近点属于待处理点的关键点的置信度，来分析该组临近点相对于待处理点的重要程度，即组关联度，即步骤S202可以通过以下步骤实现：
第一步，确定所述池化特征属于所述待处理点的关键特征的第一置信度。
在一些实施例中，待处理点的关键特征为，待处理点的临近点中的关键点，为与该待处理点具有线性关系和关联关系的点；比如，关键点与待处理点之间的语义关系较为紧密，且交互较多。在一个具体例子中，将多组临近点对应的关联特征进行融合，通过将这多组关联特征的池化特征输入全连接层，采用该全连接层对多组临近点对应的关联特征中属于重要特征的关联特征进行分类，而且一组临近点对应的关联特征中临近点与关联特征具有关联关系，从而可以实现对多组临近点中的每一个临近点是否属于关键点进行分类，得到每一临近点属于所述待处理点的关键点的第一置信度。
第二步，基于所述第一置信度，确定同一组临近点对应的关联特征属于所述关键特征的第二置信度，得到第二置信度集合。
在一些实施例中，为确定哪一组临近点对于待处理点来说更为重要，采用多个独立的全连接层对融合在一起的多组关联特征进行区分，从而得到每一组临近点对应的关联特征的重要程度，即第二置信度。这里，独立的全连接层的数量与临近点的组数相同，这样，能够将融合在一起的多组关联特征区分开。
第三步，基于所述第二置信度集合，确定所述同一组临近点所属组的组关联度。
在一些实施例中，通过确定出一组临近点所对应的关联特征属于关键特征的置信度，将这些置信度标注于每一个关联特征，从而可得到该组的重要程度。如此，首先，通过全连接层对融合在一起的多组关联特征的重要程度进行分类，然后，通过多个独立的全连接层将这多组关联特征区分为独立的组，从而能够确定出每一组临近点的重要程度。
步骤S232，基于每一组的点关联度集合，确定每一组的组关联度。
在一些实施例中，一组的点关联度集合，可以理解为是一组临近点中，每一个临近点属于待处理点的关键点的置信度集合。通过对一组临近点的置信度进行求和，可得到该组相对于待处理点的重要程度，即该组的组关联度。
在一些可能的实现方式中，在得到一组临近点的点关联度之后，通过将一组点关联度集合进行归一化，以得到每一组的组关联度；比如，可以通过以下过程实现：
首先，对所述第二置信度集合中的第二置信度进行归一化处理，得到组归一化结果。
比如，将每一组临近点对应的一组第二置信度输入到点云补全网络的softmax层，采用softmax函数对第二置信度进行处理，从而能够得到每一组第二置信度的归一化结果。而且这多个组的组归一化结果之和等于1。
然后，基于所述组归一化结果，确定所述组关联度。
比如，组归一化结果越大表明该组的临近点相对于待处理点来说越重要，即表明该组的临近点为待处理点的关键点的概率较大。如此，通过采用softmax层对一组临近点的点关联度进行处理，能够确定出该组临近点整体的重要程度，从而能够依据该组临近点整体的重要程度，增强提取的点云特征。
步骤S233，基于所述每一组的组关联度对所述每一组对应的关联特征进行调整，得到所述目标特征。
在一些实施例中，将每一组的组关联度与该组对应的关联特征进行逐元素相乘，得到一个相乘结果；这样，将多组的组关联度与对应的关联特征进行逐元素相乘，即可得到多组相乘结果；通过将该多组相乘结果进行逐元素相加，即可得到目标特征。如此，通过采用一组临近点的组关联度对该组对应的关联特征进行调整，并将调整后的多组特征进行融合，得到能够包括周围不同尺度的多组临近点特征的目标特征。
在一些实施例中，对于每一组临近点中的每一个临近点，通过自适应的方式，实现每一个临近点与待处理点之间的交互，即上述步骤S102可以通过以下步骤实现：
步骤S121，分别确定所述每一组临近点的第一初始特征和所述待处理点的第二初始特征。
在一些实施例中，分别对每一组临近点中的每一个临近点进行特征提取，得到第一初始特征，即第一初始特征包括每一个临近点的初始特征；对待处理点进行特征提取，得到第二初始特征。这里的特征提取可以通过经训练的多层感知网络(Multi-LayerPerceptron，MLP)或卷积网络等实现。
步骤S122，基于第一预设数值，对所述第一初始特征进行线性变换，得到第一变换特征。
在一些实施例中，第一预设数值可以是实现设定的任意数值，比如，设定第一预设数值为64或32等。首先，采用多层感知网络，对第一初始特征进行线性处理，比如，对第一初始特征进行升维；然互，按照第一预设数值，对升维后的第一初始特征进行线性变换，得到第一变换特征。比如，按照第一预设数值，对升维后的第一初始特征进行降维，得到第一变换特征。
步骤S123，基于第一预设数值，对所述第二初始特征进行线性变换，得到第二变换特征。
在一些实施例中，对于待处理点的第二初始特征的处理过程与上述步骤S122中，对第一初始特征进行处理的过程类似。比如，首先，采用多层感知网络，对第二初始特征进行线性处理，比如，对第二初始特征进行升维；然互，按照第一预设数值，对升维后的第二初始特征进行线性变换，得到第二变换特征。比如，按照第一预设数值，对升维后的第二初始特征进行降维，得到第二变换特征。
步骤S124，确定所述每一组临近点的第一变换特征与所述第二变换特征之间的关系参数，为所述每一组临近点与所述待处理点之间的关联关系。
在一些实施例中，通过将每一组临近点的第一变换特征与第二变换特征进行交互，比如，将每一组临近点的第一变换特征与第二变换特征进行连接或相乘等，得到两个特征相互的关系权重，将该关系权重作为二者之间的关系参数。
上述步骤S121至步骤S124给出了一种实现“确定每一组临近点与所述待处理点之间的关联关系”的方式，在该方式中，通过自适应地学习点云中临近点与待处理点的相互关系，以便于提取点云数据中的关键特征。
在上述步骤S124之后，可以通过采用另一预设数值对临近点的初始特征进行线性变换，并采用关联关系对变换后的初始特征进行调整，能够得到这一组临近点所对应的关联特征，即上述步骤S103可以通过以下步骤实现：
步骤S131，基于第二预设数值，对所述每一组临近点的第一初始特征进行线性变换，得到第三变换特征。
在一些实施例中，第二预设数值与第一预设数值之间具有倍数关系。比如，第一预设数值为第二预设数值的n倍。在一个具体例子中，可以设定第一预设数值为64，第二预设数值可以设定为32。在一些可能的实现方式中，首先，采用MLP模型，对第一初始特征进行线性处理，比如，对第一初始特征进行升维；然互，按照第二预设数值，对升维后的第一初始特征进行线性变换，得到第三变换特征。
步骤S132，基于所述关联关系和所述每一组临近点的第三变换特征，确定所述待处理点的关联特征。
在一些实施例中，按照该关联关系，对每一组临近点的第三变换特征进行增强，将每一组临近点的第三变换特征进行增强后的特征进行融合，以得到该组临近点所对应的关联特征。如此，采用与第一预设数值具有倍数关系的第二预设数值对一组临近点的初始特征进行线性变换；并采用待处理点的初始特征与该组临近点的初始特征之间的关联关系，对线性变换后的临近点的初始特征进行增强，从而能够得到特征细节更为丰富的关联特征。
在一些可能的实现方式中，采用得到的关系参数对第三变换特征进行聚合，将得到的聚合特征与待处理点的初始特征进行融合，从而能够得到包含关键信息的关联特征，可以通过以下过程实现：
首先，基于所述每一组临近点对应的关系参数，对所述每一组临近点的第三变换特征进行聚合，得到聚合特征。
在一些实施例中，如果关系参数为待处理点的初始特征与一组临近点的初始特征之间的关系权重，那么采用该关系权重与一组临近点的第三变化特征进行聚合，从而得到聚合特征。比如，采用该关系权重与一组临近点的第三变化特征进行加权求和，得到聚合特征。
然后，将所述聚合特征和所述第二初始特征进行融合，得到所述待处理点的关联特征。
在一些实施例中，在得到聚合特征之后，通过采用多层感知网络对该聚合特征进行线性变换，得到临近点的初始特征维度为1的转换特征，将该转换特征与待处理点的初始特征进行逐元素求和，得到待处理点的关联特征。如此，通过将经过复杂计算的转换特征与未经过复杂计算的第二初始特征相结合，共同确定待处理点的关联特征，能够保留输入的点云数据的原始特征。
在一些实施例中，获取到点云数据之后，通过对待处理点的初始特征进行首次线性变换，以进行线性变换后的待处理点为中心点，确定多组临近点，可以通过以下步骤实现：
第一步，对所述待处理点进行线性变换，得到经转换的待处理点。
在一些实施例中，采用多层感知网络，对待处理点的初始特征进行线性变换，将经转换后的初始特征，作为待处理点的初始特征。
第二步，确定所述经转换的待处理点的多组所述临近点。
在一些实施例中，将经转换的待处理点作为中心点，确定出多组临近点。即在“基于第一预设数值，对所述第一初始特征进行线性变换，得到第一变换特征”这一步骤之前，对于待处理点是进行了线性变换的，如此，通过对待处理点的初始特征进行线性变换之后，再进入到PSA模块中进行自适应地学习点云内部的结构关系，从而能够获得更多的有效特征信息。
在一些实施例中，通过增加一条残差路径，补充目标特征提取过程中的梯度，即上述步骤S104之后，还包括以下步骤：
步骤S141，对所述目标特征进行线性变换，得到核心目标特征。
在一些实施例中，通过采用不同尺度的多组临近点，确定出待处理点的目标特征之后，采用MLP模型对目标特征进行线性变换，以改变目标特征中特征向量的维度，从而得到核心目标特征。
步骤S142，对所述待处理点的第二初始特征进行线性变换，得到所述待处理点的残差特征。
在一些实施例中，首先，对输入的待处理点进行特征提取，得到第二初始特征；然后，采用MLP模型对第二初始特征进行线性变换，得到该残差特征；如此，将该残差点特征作为新增的一条条残差路径，能够解决主路径经过复杂的处理过程中，梯度消失的情况。
步骤S143，基于所述残差特征和所述核心目标特征对所述目标特征进行更新，得到更新的目标特征。
在一些实施例中，将残差特征与核心目标特征进行逐元素求和，实现对目标特征的进一步增强，即得到更新的目标特征。如此，通过增加一条残差路径，能够补充在对初始特征进行复杂处理的过程中消失的提取，而且这样最终得到更新的目标特征，不仅考虑了原始的特征信息，还有经过复杂处理过程的特征信息，进而使得更新的目标特征中具有更丰富的细节。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用，通过自适应选择不同尺度下的多组临近点，来解决点云学习中的尺度不变性为例，进行说明。
在一些实施例中，通过考虑原始点云数据的概率分布，粗略预测出原始点云数据的合理轮廓，在此基础上，对粗略估计的轮廓进行细节补全，从而得到精细且完整的第二点云数据，可以通过以下步骤S111至步骤S114得到第一点云数据：
步骤S111，获取原始点云数据。
在一些实施例中，获取的原始点云数据可以是直接采集到三维(3-Dimension，3D)点云数据，或者是接收到的其他设备发送的3D点云数据。待处理点，可以理解为是点云数据中的任意一点。比如，以某一角度针对台灯采集到的表征台灯外观的点云数据，或者是接收到的任一设备发送的表征某一物体的点云数据。原始点云数据可以是能够比较完整地表征物体形状的完整点云，还可以是能够表征物体的部分形状的残缺点云。
步骤S112，确定所述原始点云数据的概率分布。
在一些实施例中，原始点云数据的概率分布为该原始点云数据通过编码后得到的条件概率分布比如，采用点云补全网络确定原始点云数据的概率分布。该点云补全网络包括两部分：生成初级补全点云的概率生成网络以及在初级补全点云基础上生成高质量输出点云的关系增强网络。由此生成的补全点云很大程度上保留了输入点云的细节。通过采用概率生成网络的变分自动编码器对原始点云数据进行编码，并对编码后的点云采用线性残差模块进行处理，从而能够快速确定出原始点云数据的条件概率分布。
步骤S113，基于所述概率分布，对所述原始点云数据进行补全，得到初级补全点云。
在一些实施例中，在点云补全网络中，通过参照待补全点云的概率分布和标准正态分布的差别，预测原始点云数据所属对象的完整形状；并通过该完整形状的点云数据与原始点云数据之间的差值，对原始点云数据进行补全，从而能够得到粗略估计的初级补全点云。该初级补全点云用于粗略描述原始点云数据所属对象的大体轮廓。
步骤S114，将所述初级补全点云和所述原始点云进行级联，得到所述第一点云数据。
在一些实施例中，将估计出的原始点云数据的粗略轮廓即初级补全点云和原始点云数据进行合并，得到第一点云数据。
上述步骤S111至步骤S114可以采用点云补全网络的概率生成网络实现，在该概率生成网络训练的过程中，学习了残缺点云的分布与特征和其相对应的完整点云的分布与特征，从而在应用时可以生成既符合残缺点云形状也具有合理轮廓的粗略点云。即通过采用概率生成网络能够生成待补全网络对应的具有合理轮廓的初级补全点云。将概率生成网络输出的初级补全点云与原始点云数据进行合并，得到第一点云数据，并输入点云补全网络的关系提升网络，即进入步骤S115。
步骤S115，基于多个第一点云数据中的待处理点的目标特征，对所述原始点云特征进行点云补全，生成第二点云数据。
在一些实施例中，在关系提升网络中，对于第一点云数据中的每一点，首先，确定该点的多组不同尺度的临近点；然后，确定每一组临近点与该点之间的关联关系；其中，关联关系用于表征一组临近点中每一个临近点与该点之间的交互；可以通过临近点与该点之间的交互参数和权重系数来表示。对于多组临近点中的每一组临近点，分析一组临近点中，每一个临近点与所属点之间的交互参数。基于该交互参数，可从总体上确定一组临近点与所属点之间的关联关系，从而得到每一组临近点与所属点之间的关联关系。这样，通过确定每一点与多组临近点之间的关联关系，可得到整个级联点云与级联点云的多组临近点之间的关联关系。如此，通过学习点云的不同尺度规模的临近点的结构性关系，从而提升了点云补全的精度。按照一组临近点与所属点之间的关联关系，对初级补全点云的点云特征进行增强，得到更精细的点云特征，通过该更精细的点云特征，对原始点云数据进行补全，得到第二点云数据。如此，通过考虑待补全点云的概率分布，能够预测出原始点云数据的合理轮廓，从而得到既符合原始点云数据形状又具有合理轮廓的初级补全点云；而且通过结合级联点云的不同尺度规模的多组临近点的结构关系，能够提升初级补全点云的精度，从而得到具有高精度点云细节的第二点云数据。
在一个具体例子中，以原始点云数据为游戏场所中采集到的点云数据，针对游戏场所内的游戏，采用点云采集装置对该游戏所在游戏桌、玩家和游戏币等进行图像采集，得到原始点云数据。由于在游戏场所中玩家可能会低头看游戏币等，在这种情况下，难以采集到玩家的完整的面部图像；或者，由于玩家的手部遮挡等情况，使得采集的游戏币图像也是残缺的；这样，因为存在遮挡等原因，单个点云采集装置采集到的原始点云数据便是残缺的，通过残缺的点云数据难以准确检测玩家之间的位置关系。在本申请实施例中，通过先对原始点云数据的轮廓进行粗略估计；然后，结合估计的粗略点云和原始点云数据，得到粗略估计的第一点云数据；最后，通过对第一点云数据中的特征进行细节增强，恢复该残缺的原始点云数据的细节信息，得到实现对原始点云数据的补全，得到形状完整的第二点云数据；如此，通过对残缺的原始点云数据进行补全，便于帮助进行游戏对象之间位置关系的准确检测。
本申请实施例提供一种点云数据的处理装置，图3为本申请实施例的点云数据的处理装置的结构组成示意图，如图3所示，所述点云数据的处理装置300包括：
第一确定模块301，用于在获取的第一点云数据中，确定任一待处理点的多组临近点；其中，所述多组临近点中每一组临近点的尺度不同；
第二确定模块302，用于确定每一组临近点与所述待处理点之间的关联关系；
第三确定模块303，用于基于所述每一组临近点与所述待处理点之间的关联关系，确定所述待处理点的关联特征；
第四确定模块304，用于基于所述多组临近点对应的关联特征，确定所述待处理点的目标特征；
第一补全模块305，用于基于多个所述待处理点的目标特征，对所述第一点云数据进行点云补全，生成第二点云数据。
在一些实施例中，所述第四确定模块304，包括：
第一处理子模块，用于对所述多组临近点对应的关联特征进行平均池化处理，得到池化特征；
第一确定子模块，用于基于所述池化特征，确定每一组所述临近点与所述待处理点的组关联度；
第二确定子模块，用于基于所述组关联度和所述关联特征，确定所述待处理点的目标特征。
在一些实施例中，所述第一处理子模块，包括：
第一融合单元，用于将所述多组临近点对应的关联特征进行融合，得到融合特征；
第一处理单元，用于对所述融合特征进行平均池化处理，得到所述池化特征。
在一些实施例中，所述第一确定子模块，包括：
第一确定单元，用于基于所述池化特征，确定所述每一组临近点中每一临近点与所述待处理点之间的关联度，得到点关联度集合；
第二确定单元，用于基于所述每一组的点关联度集合，确定所述每一组的组关联度；
所述第二确定子模块包括：
第一调整单元，用于基于所述每一组的组关联度对所述每一组对应的关联特征进行调整，得到所述目标特征。
在一些实施例中，所述第一确定子模块，包括：
第三确定单元，用于确定所述池化特征属于所述待处理点的关键特征的第一置信度；
第四确定单元，用于基于所述第一置信度，确定同一组临近点对应的关联特征属于所述关键特征的第二置信度，得到第二置信度集合；
第五确定单元，用于基于所述第二置信度集合，确定所述同一组临近点所属组的组关联度。
在一些实施例中，所述第五确定单元，包括：
第一处理子单元，用于对所述第二置信度集合中的第二置信度进行归一化处理，得到组归一化结果；
第一确定子单元，用于基于所述组归一化结果，确定所述组关联度。
在一些实施例中，所述第二确定模块302，包括：
第三确定子模块，用于分别确定所述每一组临近点的第一初始特征和所述待处理点的第二初始特征；
第一变换子模块，用于基于第一预设数值，对所述第一初始特征进行线性变换，得到第一变换特征；
第二变换子模块，用于基于所述第一预设数值，对所述第二初始特征进行线性变换，得到第二变换特征；
第一交互子模块，用于确定所述每一组临近点的第一变换特征与所述第二变换特征之间的关系参数，为所述每一组临近点与所述待处理点之间的关联关系。
在一些实施例中，所述第三确定模块303，包括：
第三变换子模块，用于基于第二预设数值，对所述每一组临近点的第一初始特征进行线性变换，得到第三变换特征；其中，所述第二预设数值与第一预设数值之间具有倍数关系；
第四确定子模块，用于基于所述关联关系和所述每一组临近点的第三变换特征，确定所述待处理点的关联特征。
在一些实施例中，所述第四确定子模块，包括：
第一聚合单元，用于基于所述每一组临近点对应的关系参数，对所述每一组临近点的第三变换特征进行聚合，得到聚合特征；
第一融合单元，用于将所述聚合特征和所述第二初始特征进行融合，得到所述待处理点的关联特征。
在一些实施例中，所述装置还包括：
第一变换模块，用于对所述待处理点进行线性变换，得到经转换的待处理点；
第五确定模块，用于确定所述经转换的待处理点的多组所述临近点。
在一些实施例中，所述装置还包括：
第二变换模块，用于对所述目标特征进行线性变换，得到核心目标特征；
第三变换模块，用于对所述待处理点的第二初始特征进行线性变换，得到所述待处理点的残差特征；
第一融合模块，用于基于所述残差特征和所述核心目标特征对所述目标特征进行更新，得到更新的目标特征。
在一些实施例中，所述装置还包括：
第一获取模块，用于获取原始点云数据；
第六确定模块，用于确定所述原始点云数据的概率分布；
第二补全模块，用于基于所述概率分布，对所述原始点云数据进行补全，得到初级补全点云；
第一级联模块，用于将所述初级补全点云和所述原始点云进行级联，得到所述第一点云数据。
需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的点云数据的处理方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是终端、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、运动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
对应地，本申请实施例再提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令被执行后，能够实现本申请实施例提供的点云数据的处理方法中的步骤。
相应的，本申请实施例再提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，所述该计算机可执行指令被处理器执行时实现上述实施例提供的点云数据的处理方法的步骤。
相应的，本申请实施例提供一种计算机设备，图4为本申请实施例计算机设备的组成结构示意图，如图4所示，所述设备400包括：一个处理器401、至少一个通信总线、通信接口402、至少一个外部通信接口和存储器403。其中，通信接口402配置为实现这些组件之间的连接通信。其中，通信接口402可以包括显示屏，外部通信接口可以包括标准的有线接口和无线接口。其中所述处理器401，配置为执行存储器中图像处理程序，以实现上述实施例提供的点云数据的处理方法的步骤。
以上点云数据的处理装置、计算机设备和存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同相应方法实施例相似的技术描述和有益效果，限于篇幅，可案件上述方法实施例的记载，故在此不再赘述。对于本申请点云数据的处理装置、计算机设备和存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ReadOnly Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (27)

1.一种点云数据的处理方法，其中，包括：
在获取的第一点云数据中，确定任一待处理点的多组临近点；其中，所述多组临近点中每一组临近点的尺度不同；
确定所述每一组临近点与所述待处理点之间的关联关系；
基于所述每一组临近点与所述待处理点之间的关联关系，确定所述待处理点的关联特征；
基于所述多组临近点对应的关联特征，确定所述待处理点的目标特征；
基于多个所述待处理点的目标特征，对所述第一点云数据进行点云补全，生成第二点云数据。
2.根据权利要求1所述的方法，其中，所述基于所述多组临近点对应的关联特征，确定所述待处理点的目标特征，包括：
对所述多组临近点对应的关联特征进行平均池化处理，得到池化特征；
基于所述池化特征，确定每一组所述临近点与所述待处理点的组关联度；
基于所述组关联度和所述关联特征，确定所述待处理点的目标特征。
3.根据权利要求2所述的方法，其中，所述对所述多组临近点对应的关联特征进行平均池化处理，得到池化特征，包括：
将所述多组临近点对应的关联特征进行融合，得到融合特征；
对所述融合特征进行平均池化处理，得到所述池化特征。
4.根据权利要求2所述的方法，其中，所述基于所述池化特征，确定每一组所述临近点与所述待处理点的组关联度包括：
基于所述池化特征，确定所述每一组临近点中每一临近点与所述待处理点之间的关联度，得到点关联度集合；
基于所述每一组的点关联度集合，确定所述每一组的组关联度；
所述基于所述组关联度和所述关联特征，确定所述待处理点的目标特征包括：
基于所述每一组的组关联度对所述每一组对应的关联特征进行调整，得到所述目标特征。
5.根据权利要求2或3所述的方法，其中，所述基于所述池化特征，确定每一组所述临近点与所述待处理点的组关联度，包括：
确定所述池化特征属于所述待处理点的关键特征的第一置信度；
基于所述第一置信度，确定同一组临近点对应的关联特征属于所述关键特征的第二置信度，得到第二置信度集合；
基于所述第二置信度集合，确定所述同一组临近点所属组的组关联度。
6.根据权利要求5所述的方法，其中，所述基于所述第二置信度集合，确定所述同一组临近点所属组的组关联度，包括：
对所述第二置信度集合中的第二置信度进行归一化处理，得到组归一化结果；
基于所述组归一化结果，确定所述组关联度。
7.根据权利要求1至6任一项所述的方法，其中，所述确定所述每一组临近点与所述待处理点之间的关联关系，包括：
分别确定所述每一组临近点的第一初始特征和所述待处理点的第二初始特征；
基于第一预设数值，对所述第一初始特征进行线性变换，得到第一变换特征；
基于所述第一预设数值，对所述第二初始特征进行线性变换，得到第二变换特征；
确定所述每一组临近点的第一变换特征与所述第二变换特征之间的关系参数，为所述每一组临近点与所述待处理点之间的关联关系。
8.根据权利要求7所述的方法，其中，所述基于所述每一组临近点与所述待处理点之间的关联关系，确定所述待处理点的关联特征，包括：
基于第二预设数值，对所述每一组临近点的第一初始特征进行线性变换，得到第三变换特征；其中，所述第二预设数值与第一预设数值之间具有倍数关系；
基于所述关联关系和所述每一组临近点的第三变换特征，确定所述待处理点的关联特征。
9.根据权利要求8所述的方法，其中，所述基于所述关联关系和所述每一组临近点的第三变换特征，确定所述待处理点的关联特征，包括：
基于所述每一组临近点对应的关系参数，对所述每一组临近点的第三变换特征进行聚合，得到聚合特征；
将所述聚合特征和所述第二初始特征进行融合，得到所述待处理点的关联特征。
10.根据权利要求1至9任一项所述的方法，其中，所述在获取的第一点云数据中，确定任一待处理点的多组临近点之前，所述方法还包括：
对所述待处理点进行线性变换，得到经转换的待处理点；
确定所述经转换的待处理点的多组所述临近点。
11.根据权利要求2至10任一项所述的方法，其中，所述基于所述多组临近点对应的关联特征，确定所述待处理点的目标特征之后，所述方法还包括：
对所述目标特征进行线性变换，得到核心目标特征；
对所述待处理点的第二初始特征进行线性变换，得到所述待处理点的残差特征；
基于所述残差特征和所述核心目标特征对所述目标特征进行更新，得到更新的目标特征。
12.根据权利要求1至11中任意一项所述的方法，其中，所述方法还包括：
获取原始点云数据；
确定所述原始点云数据的概率分布；
基于所述概率分布，对所述原始点云数据进行补全，得到初级补全点云；
将所述初级补全点云和所述原始点云进行级联，得到所述第一点云数据。
13.一种点云数据的处理装置，其中，所述装置包括：
第一确定模块，用于在获取的第一点云数据中，确定任一待处理点的多组临近点；其中，所述多组临近点中每一组临近点的尺度不同；
第二确定模块，用于确定所述每一组临近点与所述待处理点之间的关联关系；
第三确定模块，用于基于所述每一组临近点与所述待处理点之间的关联关系，确定所述待处理点的关联特征；
第四确定模块，用于基于所述多组临近点对应的关联特征，确定所述待处理点的目标特征。
14.根据权利要求13所述的装置，其中，所述第四确定模块包括：
第一处理子模块，用于对所述多组临近点对应的关联特征进行平均池化处理，得到池化特征；
第一确定子模块，用于基于所述池化特征，确定每一组所述临近点与所述待处理点的组关联度；
第二确定子模块，用于基于所述组关联度和所述关联特征，确定所述待处理点的目标特征。
15.根据权利要求14所述的装置，其中，所述处理子模块用于：
将所述多组临近点对应的关联特征进行融合，得到融合特征；
对所述融合特征进行平均池化处理，得到所述池化特征。
16.根据权利要求14所述的装置，其中，所述第一确定子模块包括：
第一确定单元，用于基于所述池化特征，确定所述每一组临近点中每一临近点与所述待处理点之间的关联度，得到点关联度集合；
第二确定单元，用于基于所述每一组的点关联度集合，确定所述每一组的组关联度；
所述第二确定子模块包括：
第一调整单元，用于基于所述每一组的组关联度对所述每一组对应的关联特征进行调整，得到所述目标特征。
17.根据权利要求14或15所述的装置，其中，所述第一确定子模块包括：
第三确定单元，用于确定所述池化特征属于所述待处理点的关键特征的第一置信度；
第四确定单元，用于基于所述第一置信度，确定同一组临近点对应的关联特征属于所述关键特征的第二置信度，得到第二置信度集合；
第五确定单元，用于基于所述第二置信度集合，确定所述同一组临近点所属组的组关联度。
18.根据权利要求17所述的装置，其中，所述第五确定单元包括：
第一处理子单元，用于对所述第二置信度集合中的第二置信度进行归一化处理，得到组归一化结果；
第一确定子单元，用于基于所述组归一化结果，确定所述组关联度。
19.根据权利要求13至18任一项所述的装置，其中，所述第二确定模块包括：
第三确定子模块，用于分别确定所述每一组临近点的第一初始特征和所述待处理点的第二初始特征；
第一变换子模块，用于基于第一预设数值，对所述第一初始特征进行线性变换，得到第一变换特征；
第二变换子模块，用于基于所述第一预设数值，对所述第二初始特征进行线性变换，得到第二变换特征；
第一交互子模块，用于确定所述每一组临近点的第一变换特征与所述第二变换特征之间的关系参数，为所述每一组临近点与所述待处理点之间的关联关系。
20.根据权利要求19所述的装置，其中，所述第三确定模块包括：
第三变换子模块，用于基于第二预设数值，对所述每一组临近点的第一初始特征进行线性变换，得到第三变换特征；其中，所述第二预设数值与第一预设数值之间具有倍数关系；
第四确定子模块，用于基于所述关联关系和所述每一组临近点的第三变换特征，确定所述待处理点的关联特征。
21.根据权利要求20所述的装置，其中，所述第四确定子模块包括：
第一聚合单元，用于基于所述每一组临近点对应的关系参数，对所述每一组临近点的第三变换特征进行聚合，得到聚合特征；
第一融合单元，用于将所述聚合特征和所述第二初始特征进行融合，得到所述待处理点的关联特征。
22.根据权利要求13至21任一项所述的装置，其中，所述装置还包括：
第一变换模块，用于对所述待处理点进行线性变换，得到经转换的待处理点；
第五确定模块，用于确定所述经转换的待处理点的多组所述临近点。
23.根据权利要求14至22任一项所述的装置，其中，所述装置还包括：
第二变换模块，用于对所述目标特征进行线性变换，得到核心目标特征；
第三变换模块，用于对所述待处理点的第二初始特征进行线性变换，得到所述待处理点的残差特征；
第一融合模块，用于基于所述残差特征和所述核心目标特征对所述目标特征进行更新，得到更新的目标特征。
24.根据权利要求13至24中任意一项所述的装置，其中，所述装置还包括：
第一获取模块，用于获取原始点云数据；
第六确定模块，用于确定所述原始点云数据的概率分布；
第二补全模块，用于基于所述概率分布，对所述原始点云数据进行补全，得到初级补全点云；
第一级联模块，用于将所述初级补全点云和所述原始点云进行级联，得到所述第一点云数据。
25.一种计算机存储介质，其中，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现权利要求1至12任一项所述的方法步骤。
26.一种计算机设备，其中，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时能够实现权利要求1至12任一项所述的方法步骤。
27.一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令被执行后，能够实现权利要求1至12中任意一项所述的点云数据的处理方法中的步骤。
CN202180001666.7A 2021-04-15 2021-06-01 一种点云数据的处理方法、装置、设备及存储介质 Pending CN114051625A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10202103894R 2021-04-15
SG10202103894R 2021-04-15
PCT/IB2021/054792 WO2022096943A1 (en) 2021-04-15 2021-06-01 Method and apparatus for processing point cloud data, device, and storage medium

Publications (1)

Publication Number Publication Date
CN114051625A true CN114051625A (zh) 2022-02-15

Family

ID=80213610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180001666.7A Pending CN114051625A (zh) 2021-04-15 2021-06-01 一种点云数据的处理方法、装置、设备及存储介质

Country Status (4)

Country Link
US (1) US20220335566A1 (zh)
JP (1) JP2023503731A (zh)
KR (1) KR20220143555A (zh)
CN (1) CN114051625A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693970A (zh) * 2022-03-28 2022-07-01 北京百度网讯科技有限公司 对象分类方法、深度学习模型的训练方法、装置和设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116626685B (zh) * 2023-07-20 2023-09-29 山东大禹水务建设集团有限公司 基于机器学习的河道底泥实时监测方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693970A (zh) * 2022-03-28 2022-07-01 北京百度网讯科技有限公司 对象分类方法、深度学习模型的训练方法、装置和设备

Also Published As

Publication number Publication date
JP2023503731A (ja) 2023-02-01
US20220335566A1 (en) 2022-10-20
KR20220143555A (ko) 2022-10-25

Similar Documents

Publication Publication Date Title
CN111627065A (zh) 一种视觉定位方法及装置、存储介质
JP5963609B2 (ja) 画像処理装置、画像処理方法
Srivastava et al. CNN-based salient features in HSI image semantic target prediction
CN114127785A (zh) 点云补全方法、网络训练方法、装置、设备及存储介质
CN112257808B (zh) 用于零样本分类的集成协同训练方法、装置及终端设备
CN114051625A (zh) 一种点云数据的处理方法、装置、设备及存储介质
JP6892606B2 (ja) 位置特定装置、位置特定方法及びコンピュータプログラム
CN104915673A (zh) 一种基于视觉词袋模型的目标分类方法和系统
CN111639970A (zh) 基于图像识别的物品价格确定方法及相关设备
CN115439694A (zh) 一种基于深度学习的高精度点云补全方法及装置
WO2022096943A1 (en) Method and apparatus for processing point cloud data, device, and storage medium
Tan et al. Distinctive accuracy measurement of binary descriptors in mobile augmented reality
CN110135428B (zh) 图像分割处理方法和装置
CN112819073A (zh) 分类网络训练、图像分类方法、装置和电子设备
CN115393606A (zh) 图像识别的方法和系统
CN112633369B (zh) 图像匹配方法、装置、电子设备、计算机可读存储介质
CN114332993A (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN113239225A (zh) 一种图像检索方法、装置、设备及存储介质
WO2022096944A1 (en) Method and apparatus for point cloud completion, network training method and apparatus, device, and storage medium
CN115204318B (zh) 事件自动层级分类方法及电子设备
Hu et al. Discriminative Context-Aware Network for Target Extraction in Remote Sensing Imagery
CN114238968A (zh) 应用程序检测方法及装置、存储介质及电子设备
CN115984635B (zh) 多源遥感数据分类模型训练方法、分类方法和电子设备
CN114663280B (zh) 远距离虹膜图像的超分辨率重建模型及训练方法、重建方法、设备及介质
CN117975314B (zh) 一种无人机多模态跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40064148

Country of ref document: HK