CN114926647A - 点云识别方法、装置、设备和计算机可读存储介质 - Google Patents

点云识别方法、装置、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN114926647A
CN114926647A CN202210556173.6A CN202210556173A CN114926647A CN 114926647 A CN114926647 A CN 114926647A CN 202210556173 A CN202210556173 A CN 202210556173A CN 114926647 A CN114926647 A CN 114926647A
Authority
CN
China
Prior art keywords
point
initial
feature
global
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210556173.6A
Other languages
English (en)
Other versions
CN114926647B (zh
Inventor
张仁瑞
郭子瑜
王亚立
高鹏
李鸿升
乔宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai AI Innovation Center
Original Assignee
Shanghai AI Innovation Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai AI Innovation Center filed Critical Shanghai AI Innovation Center
Priority to CN202210556173.6A priority Critical patent/CN114926647B/zh
Publication of CN114926647A publication Critical patent/CN114926647A/zh
Application granted granted Critical
Publication of CN114926647B publication Critical patent/CN114926647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种点云识别方法、装置、设备和计算机可读存储介质。该方法包括：对点云中每个点的位置信息进行位置编码，得到每个点的初始特征；在点云中确定至少一个初始中心点，以及确定至少一个初始中心点中每个初始中心点对应的至少一个邻近点；对于每个初始中心点，通过计算邻近点与初始中心点的距离，对至少一个邻近点对应的至少一个初始特征进行特征聚合，得到每个初始中心点对应的邻域特征；基于每个初始中心点对应的邻域特征，在至少一个初始中心点中进行下一次中心点确定与邻近点特征聚合，直至确定出全局中心点以及全局特征；基于全局特征进行识别，得到点云的识别结果。通过本申请，能够提高点云识别的效率。

Description

点云识别方法、装置、设备和计算机可读存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种点云识别方法、装置、设备和计算机可读存储介质。
背景技术
点云识别是计算机三维视觉中的主流任务，针对不同的识别任务，需要对输入的点云进行类别分类、部件分割、或者目标检测等等。目前，相关技术的点云识别方法通常是通过特征提取网络，从输入的点云数据中提取出高维度的特征表示；再根据不同的识别任务，通过识别网络，基于提取的特征表示输出识别结果。
相关技术中，特征提取网络需要针对不同识别任务设计相应的网络结构，并且需要先随机初始化可学习的网络参数，然后通过深度学习训练得到最终可部署的特征提取网络。可以看出，相关技术的特征提取网络的训练周期长，且网络规模较大，从而降低了点云识别的效率。
发明内容
本申请实施例期望提供一种点云识别方法、装置、设备和计算机可读存储介质，能够提高点云识别的效率。
本申请的技术方案是这样实现的：
第一方面，本申请实施例提供一种点云识别方法，包括：
对点云中每个点的位置信息进行位置编码，得到所述每个点的初始特征；
在所述点云中确定至少一个初始中心点，以及确定所述至少一个初始中心点中每个初始中心点对应的至少一个邻近点；
对于所述每个初始中心点，通过计算邻近点与初始中心点的距离，对至少一个邻近点对应的至少一个初始特征进行特征聚合，得到所述每个初始中心点对应的邻域特征；
基于所述每个初始中心点对应的邻域特征，在所述至少一个初始中心点中进行下一次中心点确定与邻近点特征聚合，直至确定出全局中心点以及全局特征；所述全局特征是通过对所述全局中心点对应的至少一个邻近点进行特征聚合得到的；
基于所述全局特征进行识别，得到所述点云的识别结果。
第二方面，本申请实施例提供一种点云识别装置，包括：
编码模块，用于对点云中每个点的位置信息进行位置编码，得到所述每个点的初始特征；
确定模块，用于在所述点云中确定至少一个初始中心点，以及确定所述至少一个初始中心点中每个初始中心点对应的至少一个邻近点；
聚合模块，用于对于所述每个初始中心点，通过计算邻近点与初始中心点的距离，对至少一个邻近点对应的至少一个初始特征进行特征聚合，得到所述每个初始中心点对应的邻域特征；
所述确定模块与所述聚合模块，还用于基于所述每个初始中心点对应的邻域特征，在所述至少一个初始中心点中进行下一次中心点确定与邻近点特征聚合，直至确定出全局中心点以及全局特征；所述全局特征是通过对所述全局中心点对应的至少一个邻近点进行特征聚合得到的；
识别模块，用于基于所述全局特征进行识别，得到所述点云的识别结果。
第三方面，本申请实施例提供一种点云识别设备，包括：
存储器，用于存储可执行数据指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现如本申请实施例所述的点云识别方法。
第四方面，本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现如本申请实施例所述的点云识别方法。
本申请实施例提供了一种点云识别方法、装置、设备和计算机可读存储介质。通过对点云中每个点的位置信息进行编码得到初始特征，并通过迭代地中心点确定与特征聚合过程，将点云中每个点的初始特征聚合为全局特征，利用全局特征进行点云识别，不依赖于训练网络参数来进行特征提取，从而节约了网络训练的成本，缩减了网络规模，提高了特征提取的效率，进而提高了基于特征提取进行点云识别的效率。
附图说明
图1为本申请实施例提供的一种点云识别方法的可选的步骤流程图；
图2为本申请实施例提供的一种点云识别方法的可选的步骤流程图；
图3为本申请实施例提供的一种点云识别方法的可选的步骤流程图；
图4为本申请实施例提供的一种点云识别方法中的非参数化特征提取过程示意图；
图5为本申请实施例提供的一种点云识别方法的可选的步骤流程图；
图6为本申请实施例提供的一种点云识别方法的可选的步骤流程图；
图7为本申请实施例提供的一种点云识别方法的可选的步骤流程图；
图8为本申请实施例提供的一种点云识别方法的可选的步骤流程图；
图9为本申请实施例提供的一种点云识别方法的过程示意图；
图10为本申请实施例提供的一种点云识别方法的可选的步骤流程图；
图11为本申请实施例提供的点云识别方法应用于实际的点云识别任务场景中的过程示意图；
图12为本申请实施例提供的一种点云识别装置的结构示意图；
图13为本申请实施例提供的一种点云识别设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。应当理解的是，此处所描述的一些实施例仅仅用以解释本申请的技术方案，并不用于限定本申请的技术范围。
为便于理解本方案，在对本申请实施例进行说明之前，对本申请实施例中的相关技术进行说明。
相关技术的点云识别方法通常分为两个部分，第一部分为“点云特征提取器”，即利用特征提取网络，将输入点云数据转化为高维度的特征表示，获取其主要信息；第二部分为“识别头”，即根据不同子任务对应的识别网络，基于提取得到的点云特征表示输出最终识别结果。相关技术中，特征提取网络与识别网络都需要针对不同的识别任务部署不同网络结构的神经网络，并预先对部署前的神经网络进行深度学习训练，这样会占用不小的时间和空间资源，从而降低了点云识别的效率。
图1是本申请实施例提供的方法的一个可选的流程示意图，将结合图1示出的步骤进行说明。
S101、对点云中每个点的位置信息进行位置编码，得到每个点的初始特征。
本申请实施例适用于对待识别场景的点云数据进行点云识别，以实现的物体分类识别、部件分割、目标检测、以及少样本识别等识别任务的应用场景。
在一些实施例中，点云识别设备可以通过对目标物体进行数据采集的测量仪器，如三维激光扫描仪、照相式扫描仪、或深度相机等获得待识别场景的点云，也可以通过图像处理算法，根据待识别场景的图像生成点云。具体的根据实际情况进行选择，本申请实施例不作限定。
本申请实施例中，点云中的每个点包含位置信息。示例性地，对于三维点云中的每个点，其位置信息可以是该点在三维空间中的坐标。点云识别设备可以通过对点云中每个点的位置信息进行位置编码，将得到的编码向量作为每个点的初始特征。
在一些实施例中，点云识别设备可以使用三角函数来对每个点的位置信息进行位置编码，将每个点的三维坐标转换为多维向量，如128维或256维的编码向量，作为每个点的初始特征。可以看出，不同于相关技术中复杂的可学习网络，本申请实施例的位置编码不借助任何需要预先参数训练的神经网络，即可将原始的位置信息编码到高维空间的特征向量，得到每个点的初始特征。
S102、在点云中确定至少一个初始中心点，以及确定至少一个初始中心点中每个初始中心点对应的至少一个邻近点。
本申请实施例中，点云识别设备可以对点云中的全部点进行筛选，从中确定出至少一个具有代表性的关键点，作为至少一个初始中心点。并且，点云识别设备基于至少一个初始中心点中的每个初始中心点，在每个初始中心点周围确定出至少一个与之相邻的点，作为每个初始中心点对应的至少一个邻近点。
在一些实施例中，点云识别设备可以随机选取至少一个初始中心点与至少一个邻近点，也可以利用最远点采样(Farthest Point Sampling，FPS)算法，从点云中确定出至少一个初始中心点；对于至少一个初始中心点中的每个初始中心点，利用邻近分类(K-nearstneighbors，K-NN)算法，在每个初始中心点周围确定出至少一个初始邻近点。
在一些实施例中，点云识别设备也可以利用网格采样等其他关键点采样算法，确定至少一个初始中心点；或者，也可以利用K-means、K-centers等聚类算法选取每个初始中心点对应的至少一个初始邻近点等等，具体的根据实际情况进行选择，本申请实施例不作限定。
可理解，由于S101中对点云中的每个点进行了位置编码，得到了每个点的初始特征，因此，S102中确定出的每个初始中心点对应的至少一个初始邻近点可得到对应的至少一个初始特征。
S103、对于每个初始中心点，通过计算邻近点与初始中心点的距离，对至少一个邻近点对应的至少一个初始特征进行特征聚合，得到每个初始中心点对应的邻域特征。
本申请实施例中，对于每个初始中心点，点云识别设备可以根据初始中心点与邻近点各自的位置信息，如三维坐标值，计算每个初始中心点与其对应的至少一个邻近点之间的距离。可理解，初始中心点邻近点之间的距离与位置信息的数据格式类似，也是在各个坐标轴维度上的数值。因此，点云识别设备可以对距离进行位置编码，得到至少一个邻近点与其对应的初始中心之间的至少一个编码向量，以表征至少一个邻近点与其对应的初始中心点之间的相对位置关系。
如此，点云识别设备可以利用对距离进行位置编码得到的编码向量，至少一个邻近点对应的至少一个初始特征进行加权，也即利用表征相对位置的位置编码，对表征绝对位置的位置编码进行加权，得到至少一个邻近点中的每个邻近点对应的加权特征。点云识别设备对得到的至少一个加权特征进行特征聚合，将至少一个邻近点对应的至少一个加权特征聚合为一个多维特征向量，作为每个初始中心点对应的邻域特征。这样，就可以利用邻域特征，表征初始中心点邻域内的至少一个邻近点的特征。
S104、基于每个初始中心点对应的邻域特征，在至少一个初始中心点中进行下一次中心点确定与邻近点特征聚合，直至确定出全局中心点以及全局特征；全局特征是通过对全局中心点对应的至少一个邻近点进行特征聚合得到的。
本申请实施例中，点云识别设备对整个点云进行一次中心点确定与特征聚合，可以将整个点云压缩为至少一个初始中心点来表示，并可得到至少一个初始中心点对应的至少一个邻域特征。
在至少一个初始中心点的数量大于预设数量阈值情况下，点云识别设备可以继续进行下一次中心点确定与邻近点特征聚合过程，如下：
S1041、在至少一个初始中心点的数量大于预设数量阈值的情况下，在至少一个初始中心点中确定至少一个更新中心点。
S1041中，在至少一个初始中心点的数量大于预设数量阈值的情况下，示例性地，在至少一个初始中心点的数量大于1的情况下，点云识别设备至少一个初始中心点作为下一次中心点确定的选取范围，从至少一个初始中心点中进一步确定出至少一个更新中心点。
S1042、对于至少一个更新中心点中的每个更新中心点，在至少一个初始中心点中确定出每个更新中心点对应的至少一个更新邻近点，并对至少一个更新邻近点对应的至少一个邻域特征进行特征聚合，得到每个更新中心点对应的更新邻域特征；以上述过程迭代进行，直至基于上一次的至少一个更新中心点确定出的更新中心点数量达到预设数量阈值的情况下，得到全局中心点。
S1042中，对于每个更新中心点，点云识别设备以至少一个初始中心点为选取范围，确定出每个更新中心点周围的邻近点，作为至少一个更新邻近点。这里，点云识别设备每次确定中心点和邻近点的方法可以与上述确定初始中心点与邻近点的方法相同，此处不再赘述。
这里，由于至少一个更新邻近点是在至少一个初始中心点的范围内确定的，因此，点云识别设备在对至少一个更新邻近点进行邻近点特征聚合时，聚合的对象是至少一个更新邻近点对应的至少一个邻域特征，聚合得到每个更新中心点对应的更新邻域特征。这样，通过迭代的特征聚合，进一步增强了更新邻域特征的特征表达。
如此，点云识别设备可以以上述过程进行迭代地中心点确定与特征聚合，，在每次迭代过程中逐步减少确定的中心点数量，并利用迭代的邻近点特征聚合过程，在每次特征聚合处理中实现对之前邻近点的邻域特征的迭代聚合，直至基于上一次的至少一个更新中心点确定出的中心点数量达到预设数量阈值，示例性地，在根据上一次处理得到的至少一个更新中心点，确定出1个更新中心点的情况下，将该更新中心点作为全局中心点。
S1043、确定全局中心点对应的至少一个全局邻近点，并对至少一个全局邻近点对应的至少一个更新邻域特征进行特征聚合，得到全局特征。
S1043中，点云识别设备确定全局中心点对应的至少一个邻近点，作为至少一个全局邻近点；并对至少一个全局邻近点进行特征聚合，得到全局特征，完成本申请实施例提供的点云识别方法中的特征提取过程。
示例性地，至少一个初始中心点可以是1024个点，点云识别设备基于该1024个初始中心点，利用FPS算法进一步确定出256个更新中心点，并基于256个更新中心点进行特征聚合，得到256个更新中心点对应的256个更新邻域特征。点云识别设备迭代地进行处理，示例性地，通过每次迭代逐步得到64个更新中心点、32个中心更新点、16个更新中心点等等，并基于每次迭代的更新中心点进行邻近点确定与邻近点特征聚合，直至根据上一次中心点确定的至少一个更新中心点确定出一个中心点时，将该中心点作为全局中心点，并利用邻近分类算法确定全局中心点对应的至少一个全局邻近点，对至少一个全局邻近点对应的邻域特征进行特征聚合，得到全局特征。
S105、基于全局特征进行识别，得到点云的识别结果。
本申请实施例中，全局特征可以表征整个点云中各个点之间的位置关系。点云识别设备可以对得到的全局特征进行识别，将全局特征的识别结果作为整个点云的识别结果。
在一些实施例中，点云识别设备可以通过预训练的第二识别网络，对全局特征进行识别，得到点云的识别结果。这里，第二识别网络可以是通过对全局特征进行点云识别的过程进行训练得到的。
在一些实施例中，点云识别设备也可以通过预训练的特征提取网络，对点云进行特征提取，得到点云特征；将点云特征与全局特征进行融合，得到融合特征；通过预训练的第三识别网络，对融合特征进行识别，得到识别结果。这里，第三识别网络可以是通过对融合特征进行点云识别的过程进行训练得到的。
可以看出，通过将本申请实施例中的方法提取到的全局特征与各种类型的识别网络与特征提取网络互相结合，可以在实际应用中与各个识别网络灵活适配，完成点云识别任务，提高点云识别的效率或准确性。
在一些实施例中，点云识别设备也可以利用预先建立的特征知识库，将全局特征与特征知识库中的预设全局特征进行相似度对比，根据相似度对比结果确定点云识别结果。将在之后的实施例中进行说明。
在一些实施例中，可以利用点云识别结果，实现进一步点云处理任务，如实现部件分割、目标检测、分类检测、以及少样本识别等等，具体的根据实际情况进行选择，本申请实施例不作限定。
可以理解的是，本申请实施例中，通过对点云中每个点的位置信息进行编码得到初始特征，并通过迭代地中心点确定与特征聚合过程，将点云中每个点的初始特征聚合为全局特征，利用全局特征进行点云识别，不依赖于训练网络参数来进行特征提取，从而节约了网络训练的成本，缩减了网络规模，提高了特征提取的效率，进而提高了基于特征提取进行点云识别的效率。
在一些实施例中，本申请实施例提供的点云识别方法中的特征提取过程可以是非参数化特征提取过程，基于图1，如图2所示，S103可以通过执行S1031-S1033的过程来实现，将结合各步骤进行说明。
S1031、对于每个初始中心点，根据至少一个初始邻近点中每个初始邻近点的第一位置信息，以及每个初始中心点的第二位置信息，得到每个初始邻近点与每个初始中心点之间的距离。
S1031中，对于每个初始邻近点，点云识别设备获取每个初始邻近点的第一位置信息，如每个初始邻近点的第一三维坐标；以及每个初始中心点的第二位置信息，如至少一个初始邻近点对应的初始中心点的第二三维坐标值。点云识别设备计算第一位置信息和第二位置新的差值，得到至少一个初始邻近点中每个初始邻近点，与至少一个初始邻近点对应的初始中心点之间的距离。
S1032、对距离进行位置编码，作为每个初始邻近点对应的权重。
S1032中，点云识别设备对每个初始邻近点对应的距离进行位置编码，将得到的编码向量作为每个初始邻近点对应的权重。
这里，点云识别设备对距离进行位置编码的方式也可以是三角函数位置编码。
S1033、基于权重，对每个初始邻近点对应的初始特征进行加权，并对得到的至少一个加权特征进行融合，得到每个初始中心点对应的邻域特征。
S1033中，点云识别设备基于每个邻近点对应的权重，对每个初始邻近点对应的初始特征进行加权，得到至少一个初始邻近点对应的至少一个加权特征；点云识别设备对至少一个加权特征进行融合，得到每个初始中心点对应的邻域特征。
在一些实施例中，上述通过位置编码得到的权重与初始特征均包含C个特征维度；其中，C为大于0的正整数。基于图2，如图3所示，S1033可以通过执行S201-S202的过程来实现，如下：
S201、对于每个初始邻近点，将权重与每个初始邻近点对应的初始特征按特征维度进行相乘，得到每个邻近点对应的加权特征，得到至少一个初始邻近点对应的至少一个加权特征。
S201中，对于每个初始邻近点，点云识别设备将该初始邻近点对应的权重，与该初始邻近点对应的初始特征，按特征维度进行相乘，作为每个邻近点对应的C维的加权特征。也即加权特征包含至少一个特征维度。
示例性地，点云识别设备在初始中心点l附近确定出j个初始邻近点，其中，每个初始邻近点对应的初始特征为对该初始邻近点的位置信息进行位置编码后的C维向量，每个初始邻近点对应的权重为对该初始邻近点与初始中心点l之间的距离进行位置编码后的C维向量。这里，由于点云识别设备是对相同数据维度的位置信息和距离进行位置编码的，因此得到权重和初始特征均为C维向量。j和C为大于0的正整数。也即，j个初始邻近点对应j*C维的初始特征矩阵，以及j*C维的权重特征矩阵。
点云识别设备将j*C维的初始特征矩阵与j*C维的权重特征矩阵按特征维度相乘，得到j*C维的加权特征矩阵，也即至少一个邻近点的对应的至少一个加权特征。其中，矩阵中的每一行代表j个初始邻近点中的一个初始邻近点对应的C维加权特征。
S202、对于至少一个特征维度中的每个特征维度，将每个特征维度在至少一个加权特征中对应的最大值，作为每个特征维度的邻域特征值，得到每个初始中心点对应的邻域特征。
S202中，由于至少一个加权特征中的每个加权特征均包含相同的至少一个特征维度，对于至少一个特征维度中的每个特征维度，点云识别设备取该特征维度至少一个加权特征中对应的最大值，作为该特征维度对应的邻域特征值。也即将至少一个加权特征在该特征维度上对应的至少一个加权特征值整合为一个特征值。
点云识别设备在每个特征维度上进行上述相同的处理，得到至少一个特征维度对应的至少一个邻域特征值，从而得到每个初始中心点对应的邻域特征。
示例性地，对于上述得到的j*C维的加权特征矩阵，点云识别设备可以对加权特征矩阵的每行取最大值，也即在每个维度上取最大值，得到1*C维的特征向量，作为每个初始中心点对应的邻域特征。
在一些实施例中，图4为本申请实施例提供的一种点云识别方法中的非参数化特征提取过程示意图。如图4所示，对于三维点云中的每个点P(P∈R|p|×3，R表征三维点云包含的R个点)，点云识别设备通过对每个点P的三维坐标进行位置编码，得到每个点P的初始特征。点云识别设备基于每个点P的初始特征进行迭代特征提取，包括：
利用FPS算法，从三维点云中确定出L个初始中心点，L为大于0的正整数。对于L个初始中心点中的一个初始中心点l(l∈L)，点云识别设备利用K-NN算法，在初始中心点l邻域的Nl个点内确定出j个初始邻近点，其中，j∈Nl。Nl为大于0的正整数。其中，初始中心点的初始特征表示为fl，j个初始邻近点的j个初始特征可以表示为Δf1、Δf2至Δfj。点云识别设备计算j个初始邻近点中每个初始邻近点与初始中心点l之间的距离，得到j个初始邻近点对应的j个距离Δd1至Δdj。点云识别设备对j个距离Δd1至Δdj进行位置编码，得到j个初始邻近点对应的j个权重。其中，权重和初始特征均包含C个特征维度。点云识别设备将j个初始特征Δf1、Δf2至Δfj合并为初始特征矩阵，利用每个邻近点对应的权重，对初始特征矩阵进行加权，得到加权特征矩阵，加权特征矩阵中的每一行可以用包含C个特征维度的fl1、fl2至flj表示。点云识别设备对加权特征矩阵fl1、fl2至flj进行池化处理，对C个特征维度上的每个特征维度取最大值，将j个初始邻近点的特征表示聚合为一个C维的特征表示，得到初始中心点l对应的C维的邻域特征fl A。
点云识别设备对L个初始中心点中的每个初始中心点进行相同的处理，得到L个邻域特征。并基于L个初始中心点与L个邻域特征，进行下一次迭代特征提取，也即上述中心点确定与邻近点特征聚合过程，直至通过M次迭代，确定出唯一的全局中心点G。点云识别设备对全局中心点G对应的至少一个全局邻近点进行特征聚合，得到全局特征fG(fG∈R1×C)。可以看出，图4的非参数化特征提取过程实现了不利用网络参数和神经网络结构进行特征提取，提高了特征提取的效率，进而提高了基于特征提取进行点云识别的效率。
可以理解的是，本申请实施例利用位置编码作为点云中每个点的特征表示，并通过对邻域点进行特征聚合的方法，迭代地得到点云的全局特征，不依赖于预训练的特征提取网络进行特征提取，减少了网络训练的时间，简化了网络架构，从而节约了空间资源与时间资源，极大地提升了点云识别的效率。并且，本申请实施例中的方法通用于各种点云识别任务，可以直接在点云识别的项目工程中进行部署，进一步提高了点云识别的效率。
在一些实施例中，基于上述的点云识别方法中的非参数化特征提取过程，本申请实施例提供一种点云识别方法中的参数化特征提取过程，在非参数特征提取过程中插入参数化的神经网络层，如预训练的线性层，对非参数化特征提取过程中至少一个阶段得到的特征向量进行线性变换，以提高特征提取的准确性。这里，参数化的神经网络层可以是网络结构简单的线性层，即全连接层，其作用是通过对输入自身的多维特征进行综合与线性变换，将多维特征空间映射到样本标记空间，从而将输入的多维特征整合成一个值，提高整个网络的鲁棒性。本申请实施例提供的点云识别方法还包括：
在一些实施例中，在S102之后，还可以如图5所示，执行S301，如下：
S301、通过预训练的第一线性层，对至少一个邻近点对应的至少一个初始特征进行线性变换，并利用线性变换后的至少一个第一特征更新至少一个初始特征。
S301中，对于每个初始中心点对应的至少一个邻近点，点云识别设备可以通过预训练的第一线性层，对至少一个邻近点对应的至少一个初始特征进行线性变换，也即对位置编码后的初始特征进行线性变换，并利用线性变换后的至少一个第一特征更新至少一个初始特征。
在一些实施例中，基于图3，在S201之后，还可以如图6所示，执行S401，如下：
S401、通过预训练的第二线性层，对每个邻近点对应的加权特征进行线性变换，并利用线性变换后的加权特征更新每个初始邻近点对应的加权特征。
S401中，点云识别设备可以在根据权重对至少一个邻近点对应的至少一个初始特征进行加权，得到至少一个加权特征之后，通过预训练的第二线性层，对每个邻近点对应的加权特征进行线性变换，并利用线性变换后的加权特征更新每个初始邻近点对应的加权特征。
在一些实施例中，基于图1、图3、图5或图6中的任一个，在S103之后，还可以如图7所示，执行S501，如下：
S501、通过预训练的第三线性层，对每个初始中心点对应的邻域特征进行线性变换，并利用线性变换后的邻域特征更新每个初始中心点对应的邻域特征。
S501中，点云识别设备可以通过预训练的第三线性层，对每个初始中心点对应的邻域特征进行线性变换，利用线性变换后的邻域特征更新每个初始中心点对应的邻域特征。
需要说明的是，上述线性层的处理过程是以对第一次中心点确定和邻近点特征聚合过程为例进行说明的，对于每一次迭代过程，均可以利用一个或多个预训练的线性层进行处理，其处理过程与上述过程类似，此处不再赘述。
需要说明的是，实际应用中，点云识别设备可以选取S301、S401与S501中的一个和多个步骤来执行，以实现在非参数化特征提取过程的一个或多个阶段利用预训练的线性层进行处理。具体的根据实际情况进行选择，本申请实施例不作限定。
可以理解的是，通过在非参数化特征提取过程中加入预训练的线性网络层，对位置编码得到的初始特征、和/或邻近点聚合得到的加权特征、和/或邻域特征进行线性变换，能够提高线性变换后特征的表征能力，从而提高点云识别的准确性。并且，相较于相关技术在大型神经网络中接入线性层的复杂组合方式，本申请实施例直接插入线性层的方法更简单，网络结构复杂度更低，需要训练的网络参数也更少，从而降低了网络构建复杂度，节约了时间与空间资源，进一步提高了点云识别的效率。
在一些实施例中，基于图1、2、3、5、6、7中的任一个，S105中基于全局特征进行识别，得到识别结果的过程可以如图8所示，通过执行S1051-S1053来实现，将结合各步骤进行说明。
S1051、将全局特征与至少一个预设全局特征进行对比，得到全局特征与至少一个预设全局特征之间的至少一个相似度；至少一个预设全局特征对应至少一个预设类别。
本申请实施例中，点云识别设备可以将提取的全局特征与至少一个预设全局特征进行对比，得到全局特征与至少一个预设全局特征的至少一个相似度。这里，至少一个预设全局特征可以是通过对至少一个点云样本进行位置编码、中心点确定与邻近点聚合的迭代特征提取过程提取得到的。至少一个点云样本中的每个点云样本对应标注的预设类别，如点云对应的物体类别等等。
在一些实施例中，S1051之前，点云识别设备可以获取至少一个点云样本；至少一个点云样本对应至少一个预设类别。点云识别设备对于至少一个点云样本中的每个点云样本，迭代地进行位置编码、中心点确定与特征聚合，直至得到每个点云样本对应的预设全局特征，得到至少一个预设全局特征。
本申请实施例中，全局特征与至少一个预设全局特征可以是通过如图2或3所示的非参数化特征提取过程得到的，也可以是通过如图5-7所示的参数化特征提取过程得到的，具体的根据实际情况进行选择，本申请实施例不作限定。
在一些实施例中，点云识别设备可以通过计算至少一个预设全局特征中每个预设全局特征与全局特征之间的欧式距离，得到至少一个相似度。也可以利用其他相似度度量算法得到至少一个相似度，具体的根据实际情况进行选择，本申请实施例不作限定。
S1052、根据至少一个相似度，得到至少一个预设类别对应的至少一个第一置信度。
S1053、根据至少一个第一置信度，在至少一个预设类别中确定全局特征对应的目标预设类别。
S1054、将目标预设类别作为识别结果。
本申请实施例中，点云识别设备将至少一个相似度，转化为至少一个预设类别对应的至少一个第一置信度；并根据至少一个第一置信度，在至少一个预设类别中确定全局特征对应的目标预设类别。
在一些实施例中，点云识别设备可以根据预设的相似度与置信度的数据区间对应关系，将至少一个相似度转化为至少一个第一置信度。这里，至少一个第一置信度表征全局特征属于至少一个预设类别中每个预设类别的概率。点云识别设备可以将至少一个第一置信度中最高的第一置信度对应的预设类别，作为全局特征对应的目标预设类别，也即点云的识别结果。
在一些实施例中，点云识别设备也可以结合第一置信度阈值与至少一个第一置信度确定识别结果，在最高的第一置信度小于第一置信度阈值的情况下，确定识别失败，并进行相关信息提示。
在一些实施例中，如图9所示，点云识别设备可以对N个点云样本，如图9中示出的台灯、飞机、椅子和植物的等等N个点云样本进行非参数化特征提取，得到每个点云样本的C维的预设全局特征Fmem(Fmem∈RN×C)。其中，每个点云样本对应有预设标签，以表征该点云样本的类别。如图9中示出的文本标签“台灯”、“飞机”、“椅子”和“植物”等。对每个点云样本的预设标签进行OneHot编码，得到K维OneHot编码，作为每个点云样本对应的预设类别Tmem(Tmem∈RN×K)。其中，K表示预设标签的K个类别。示例性地，每个点云样本对应的预设类别Tmem可以是0和1组成的K维OneHot编码向量，对于K维的每个类别维度，该点云样本对应的预设标签属于该类别维度的可以以1表示，否则以0表示。这样，即可预先构建得到包含对应N个预设类别的N个预设全局特征作为形状知识库。
点云识别设备可以基于非参数化特征提取过程，对待识别点云进行特征提取，得到待识别点云对应的全局特征fG(fG∈R1×C)。将全局特征fG与形状知识库帧N个预设全局特征的每个预设全局特征进行特征相似度计算，得到表征N个相似度的向量Wsim(Wsim∈R1×N)。点云识别设备根据Wsim，对N个预设全局特征中的K个预设类别进行整合，得到表征第一置信度的K维向量logits(logits∈R1×K)。K维的logits中，每个维度上的数值表征待识别点云属于该维度对应预设类别的概率。这样，根据表征第一置信度的K维向量logits，即可确定待识别点云的识别结果。
可以理解的是，本申请实施例中，通过将全局特征与至少一个预设全局特征进行相似度对比，来确定识别结果，相比于相关技术中利用训练的识别网络学习的知识，对特征预测得到识别结果的方法，极大缩小了网络规模，以及网络训练的时间，降低了点云识别功能部署占用的时间和空间资源，极大提高了点云识别的效率。并且，至少一个预设全局特征可以根据不同识别任务类型而灵活更新，在更新后也无需进行重新训练，因此适用于各种点云识别任务，降低了适配与部署的成本，进一步提高了点云识别的效率。
在一些实施例中，基于图8，如图10所示，S1052之后，还可以执行S1055-S1056，如下：
S1055、利用预训练的第一识别网络，对点云进行识别，得到至少一个预设类别对应的至少一个第二置信度。
S1056、对至少一个第一置信度与至少一个第二置信度进行加权融合，基于融合得到的至少一个置信度确定识别结果。
S1055-S1056中，预训练的第一识别网络为预先完成了机器训练的点云识别神经网络。点云识别设备可以将通过本申请实施例得到的第一置信度，与第一识别网络基于点云，对至少一个预设类别预测得到的至少一个第二置信度进行加权融合，得到至少一个置信度，结合传统神经网络的预测结果与本申请实施例方法的识别结果，最终确定对点云的识别结果。
可以理解的是，通过将相关技术神经网络识别方法与本申请实施例点云方法的预测进行加权，可以利用双方的预测结果提供互补的知识，提高了点云识别的准确性。
下面，通过图11，说明本申请实施例在一个实际的点云识别任务场景中的示例性应用。
如图11所示，本申请实施例的点云识别方法可以包括非参数化特征提取过程与形状知识库匹配过程。点云识别设备可以通过非参数化特征提取过程，对原始点云进行特征提取，得到原始点云对应的全局特征。点云识别设备可以将原始点云在预先构建的形状知识库中进行匹配。这里，形状知识库也是通过对带有人工标注的点云样本集合进行非参数化特征提取得到各个点云样本的预设全局特征，并利用各个点云样本的预设全局特征构建并存储的。
点云识别设备将原始点云的全局特征与形状知识库中各个预设全局特征进行特征相似度对比，将形状知识库中最高置信度的预设全局特征的标签结果也即目标预设类别分配给原始点云，完成整体非参数化的点云识别，进而实现三维点云识别任务，如分类任务、少样本识别、部件分割、以及目标检测等等。如图11所示，本申请实施例的点云识别方法无需网络训练，即可实现各种点云识别任务，极大提高了点云识别的效率。并且对于分类任务，可以达到76.9％的准确率；对于少样本识别任务，可以达到90.9％的准确率；对于部件分割任务，均交并比(Mean Intersection over Union，MloU)指标可达到70.02％；对于目标检测任务，平均精度(Average Precision)如AP25指标可达33.4％。
可以理解的是，本申请实施例提出的非参数化特征提取过程与形状知识库匹配过程不含任何需要训练的网络参数，并适用于大部分识别任务，从而极大提高了点云识别的效率。
需要说明的是，在一些实施例中，也可以利用相关技术预先训练传统的特征提取网络，根据特征提取网络对带标注的多个点云样本进行特征提取，得到多个样本特征，构建得到形状知识库；同样地，利用上述特征提取网络对待识别的点云进行特征提取，得到点云特征，进而基于本申请实施例提供的形状知识库匹配过程，将点云特征在形状知识库的多个样本特征中进行匹配，以实现点云识别。可见，本申请实施例提供的点云识别方法中，非参数化特征提取过程、参数化特征提取过程与形状知识库匹配过程既可以互相组合，也可以灵活与目前的各种网络架构相结合，实现即插即用的模块设计。
在一些实施例中，参见表1，表1为本申请实施例提供的基于非参数化特征提取过程的点云识别方法(即Point-NN)、本申请实施例提供的基于参数化特征提取过程的点云识别方法(即Point-PN)、以及与相关技术中各个点云识别方法，在数据集Model-NET40(Wu etal.,2015a)上进行形状分类任务的效果对比数据。如下：
表1
方法 准确率(％) 参数量 训练时间 处理速度
PointNet(Qi et al.,2017a) 89.2 3.5M - -
PointNet++(Qi et al.,2017b) 90.7 1.7M 3.4h 521
DGCNN(Wang et al.,2019) 92.9 1.8M 2.4h 617
RS-CNN(Liu et al.,2019b) 92.9 1.3M - -
DensePoint(Liu et al.,2019a) 93.2 - - -
PCT(Guo et al.,2021) 93.2 - - -
GBNet(Qiu et al.,2021b) 93.8 8.4M - 189
CurveNet(Xiang et al.,2021) 93.8 2.0M 6.7h 25
PointMLP(Anonymous,2022) 94.1 12.6M 14.4h 189
Point-NN 76.9 0.0M 0h 275
Point-PN 94.1 0.6M 3.3h 1176
如表1所示，本申请实施例提供的Point-NN的参数量和训练时间为0，处理速度(每秒处理的样例数)达到了275，其时间和空间的资源占用明显小于相关技术的神经网络，因此效率更高，并且准确率也达到了76.9，仍然达到了较好的分类效果。本申请实施例提供的Point-PN的参数量仅为0.6，训练时间仅为3.3小时，处理速度达到了1176，并且准确率高达94.1，实现了高效且准确的点云分类识别任务。
在一些实施例中，如表2所示，表2为本申请实施例提供的Point-NN、Point-PN、以及与相关技术中各个点云识别方法，在数据集ScanObjectNN(Uy et al.,2019)上进行形状分类任务的效果对比数据。表2以准确率(accuracy)为评估指标，单位为％。表2中的OBJ-BG、OBJ-ONLY、与PB-T50-RS为数据集ScanObjectNN(Uy et al.,2019)中的不同数据部分。如下：
表2
方法 OBJ-BG OBJ-ONLY PB-T50-RS
3DmFV(Ben-Shabat et al.,2018) 68.2 73.8 63.0
PointNet(Qi et al.,2017a) 73.3 79.2 68.0
SpiderCNN(Xu et al.,2018) 77.1 79.5 73.7
PointNet++(Qi et al.,2017b) 82.3 84.3 77.9
DGCNN(Wang et al.,2019) 82.8 86.2 78.1
PointCNN(Li et al.,2018) 86.1 85.5 78.5
DRNet(Qiu et al.,2021a) - - 80.3
GBNet(Qiu et al.,2021b) - - 80.5
SimpleView(Goyal et al.,2021) - - 80.5
PointMLP(Anonymous,2022) - - 85.2
Point-NN 68.7 67.9 61.5
Point-PN 88.2 87.6 83.9
如表2所示，本申请实施例提供的Point-NN在不同数据部分上进行分类任务的准确率分别为68.7、67.9与61.5，也达到了不错的准确性；本申请实施例提供的Point-PN在不同数据部分上进行分类任务的准确率分别达到了88.2、87.6与83.9。可以看出，根据本申请实施例提供的基于参数化特征提取过程的点云识别方法，可以以较为简单的方式，构建得到高效且准确的点云识别网络。
在一些实施例中，如表3所示，表3示出了本申请实施例提供的Point-NN、Point-PN、以及与相关技术中各个点云识别方法，在数据集ShapeNerPart(Yi et al.,2016)上进行部件分割任务的效果对比数据。如下：
表3
Figure BDA0003654882780000201
基于表3，可以看出，本申请实施例提供的Point-NN的参数量和训练时间为0，处理速度达到了51，本申请实施例提供的Point-PN的参数量为3.9M，训练时间为2.9h，均远远小于相关技术的点云识别网络的参数量和训练时间。并且本申请实施例提供的Point-NN和Point-PN的处理速度分别达到了51和131，均高于相关技术的点云识别网络的处理速度。其中，Point-NN的为70.2，也达到了不错效果，而Point-PN的准确度更是高达86.6，与相关技术的最高指标数据相等，实现了利用更少的网络资源和处理时间，达到高准确度的识别效果。
在一些实施例中，如表4所示，表4示出了本申请实施例提供的Point-NN、Point-PN、以及与相关技术中各个点云识别方法，在数据集Model-NET40(Wu et al.,2015a)上进行少样本识别任务的效果对比数据。表4中以10个独立实验得到的平均精度(AverageAccuracy，AC)为评估指标，数值单位为百分比(％)。如下：
表4
Figure BDA0003654882780000211
基于表4，可以看出，本申请实施例提供的Point-NN在用于少样本识别任务时，对于不同的任务配置，平均精度达到了88.8、90.9、79.9与84.9；并且，相较于相关技术中对应相同任务配置的最高的实验数据，仍能体现较大的精度提升效果。比如对于任务配置5-way中的10-shot，相关技术中最高的实验数据为PointCNN(Li et al.,2018)对应的平均精度65.4，而本申请实施例提供的Point-NN的平均精度为88.8，提高了23.4。
需要说明的是，本申请实施例提出的点云识别方法也可以适用于二维图像，本申请实施例不作限定。
基于本申请实施例的点云识别方法，本申请实施例还提供一种点云识别装置，如图12所示，图12为本申请实施例提供的一种点云识别装置的结构示意图，该点云识别装置80包括：
编码模块801，用于对点云中每个点的位置信息进行位置编码，得到所述每个点的初始特征；
确定模块802，用于在所述点云中确定至少一个初始中心点，以及确定所述至少一个初始中心点中每个初始中心点对应的至少一个邻近点；
聚合模块803，用于对于所述每个初始中心点，通过计算邻近点与初始中心点的距离，对至少一个邻近点对应的至少一个初始特征进行特征聚合，得到所述每个初始中心点对应的邻域特征；
所述确定模块802与所述聚合模块803，还用于基于所述每个初始中心点对应的邻域特征，在所述至少一个初始中心点中进行下一次中心点确定与邻近点特征聚合，直至确定出全局中心点以及全局特征；所述全局特征是通过对所述全局中心点对应的至少一个邻近点进行特征聚合得到的；
识别模块804，用于基于所述全局特征进行识别，得到所述点云的识别结果。
在一些实施例中，所述聚合模块803，还用于根据所述至少一个初始邻近点中每个初始邻近点的第一位置信息，以及所述每个初始中心点的第二位置信息，得到所述每个初始邻近点与所述每个初始中心点之间的距离；对所述距离进行位置编码，作为所述每个初始邻近点对应的权重；基于所述权重，对所述每个初始邻近点对应的初始特征进行加权，并对得到的至少一个加权特征进行融合，得到所述每个初始中心点对应的所述邻域特征。
在一些实施例中，所述聚合模块803，还用于对于所述每个初始邻近点，将所述权重与所述每个初始邻近点对应的初始特征按特征维度进行相乘，得到所述每个邻近点对应的加权特征，得到所述至少一个初始邻近点对应的所述至少一个加权特征；所述加权特征包含至少一个特征维度；对于所述至少一个特征维度中的每个特征维度，将所述每个特征维度在所述至少一个加权特征中对应的最大值，作为所述每个特征维度的邻域特征值，得到所述每个初始中心点对应的所述邻域特征。
在一些实施例中，所述确定模块802与所述聚合模块803，还用于在所述至少一个初始中心点的数量大于预设数量阈值的情况下，在所述至少一个初始中心点中确定至少一个更新中心点；对于所述至少一个更新中心点中的每个更新中心点，在所述至少一个初始中心点中确定出所述每个更新中心点对应的至少一个更新邻近点，并对所述至少一个更新邻近点对应的至少一个邻域特征进行特征聚合，得到所述每个更新中心点对应的更新邻域特征；以上述过程迭代进行，直至基于上一次的至少一个更新中心点确定出的更新中心点数量达到所述预设数量阈值的情况下，得到全局中心点；确定所述全局中心点对应的至少一个全局邻近点，并对所述至少一个全局邻近点对应的至少一个更新邻域特征进行特征聚合，得到所述全局特征。
在一些实施例中，所述点云识别装置80还包括预训练的第一线性层，所述第一线性层，用于所述确定所述至少一个初始中心点中每个初始中心点对应的至少一个邻近点之后，对所述至少一个初始特征进行线性变换，并利用线性变换后的至少一个第一特征更新所述至少一个初始特征。
在一些实施例中，所述点云识别装置80还包括预训练的第二线性层，所述第二线性层，用于得到所述每个邻近点对应的加权特征之后，对所述每个邻近点对应的加权特征进行线性变换，并利用线性变换后的加权特征更新所述每个初始邻近点对应的加权特征。
在一些实施例中，所述点云识别装置80还包括预训练的第三线性层，所述第三线性层，用于得到所述每个初始中心点对应的邻域特征之后，对所述每个初始中心点对应的邻域特征进行线性变换，并利用线性变换后的邻域特征更新所述每个初始中心点对应的邻域特征。
在一些实施例中，所述确定模块802，还用于利用最远点采样算法，从所述点云中确定出至少一个初始中心点；对于所述至少一个初始中心点中的每个初始中心点，利用邻近分类算法，确定出所述至少一个初始邻近点。
在一些实施例中，所述识别模块804，还用于将所述全局特征与至少一个预设全局特征进行对比，得到所述全局特征与所述至少一个预设全局特征之间的至少一个相似度；所述至少一个预设全局特征对应至少一个预设类别；根据所述至少一个相似度，得到所述至少一个预设类别对应的至少一个第一置信度；并根据所述至少一个第一置信度，在所述至少一个预设类别中确定所述全局特征对应的目标预设类别；将所述目标预设类别作为所述识别结果。
在一些实施例中，所述识别模块804，还用于所述根据所述至少一个相似度，得到所述至少一个预设类别对应的至少一个第一置信度之后，利用预训练的第一识别网络，对所述点云进行识别，得到所述至少一个预设类别对应的至少一个第二置信度；对所述至少一个第一置信度与所述至少一个第二置信度进行加权融合，基于融合得到的至少一个置信度确定所述识别结果。
在一些实施例中，所述识别模块804，还用于通过预训练的第二识别网络，对所述全局特征进行识别，得到所述点云的识别结果。
在一些实施例中，所述点云识别装置80还包括特征库构建模块，所述特征库构建模块，用于所述将所述全局特征与至少一个预设全局特征进行对比，得到所述全局特征与所述至少一个预设全局特征之间的至少一个相似度之前，获取至少一个点云样本；所述至少一个点云样本对应所述至少一个预设类别；对于所述至少一个点云样本中的每个点云样本，迭代地进行位置编码、中心点确定与特征聚合，直至得到所述每个点云样本对应的预设全局特征，得到所述至少一个预设全局特征。
在本申请实施例中，图13为本申请实施例提出的点云识别设备组成结构示意图，如图13所示，本申请实施例提出的点云识别设备90还可以包括处理器901、存储有处理器901可执行指令的存储器902，在一些实施例中，点云识别设备90还可以包括通信接口903，和用于连接处理器901、存储器902以及通信接口903的总线904。
在本申请实施例中，上述处理器901可以为特定用途集成电路(ApplicationSpecific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgRAMmable Logic Device，PLD)、现场可编程门阵列(Field ProgRAMmable GateArray，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。
在本申请实施例中，总线904用于连接通信接口903、处理器901以及存储器902以及这些器件之间的相互通信。
在本申请实施例中，上述处理器901，用于对点云中每个点的位置信息进行位置编码，得到每个点的初始特征；在点云中确定至少一个初始中心点，以及确定至少一个初始中心点中每个初始中心点对应的至少一个邻近点；通过计算邻近点与初始中心点的距离，对至少一个邻近点对应的至少一个初始特征进行特征聚合，得到每个初始中心点对应的邻域特征；基于每个初始中心点对应的邻域特征，在至少一个初始中心点中进行下一次中心点确定与邻近点特征聚合，直至确定出全局中心点以及全局特征；基于全局特征进行识别，得到点云的识别结果。
点云识别设备90中存储器902可以与处理器901连接，存储器902用于存储可执行程序代码和数据，该程序代码包括计算机操作指令，存储器902可能包含高速RAM存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。在实际应用中，上述存储器902可以是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-StateDrive，SSD)；或者上述种类的存储器的组合，并向处理器901提供指令和数据。
另外，在本申请实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上任一实施例所述的点云识别方法。
示例性的，本实施例中的一种点云识别方法对应的程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种点云识别方法对应的程序指令被一电子设备读取或被执行时，可以实现如上述任一实施例所述的点云识别方法。需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (15)

1.一种点云识别方法，其特征在于，包括：
对点云中每个点的位置信息进行位置编码，得到所述每个点的初始特征；
在所述点云中确定至少一个初始中心点，以及确定所述至少一个初始中心点中每个初始中心点对应的至少一个邻近点；
对于所述每个初始中心点，通过计算邻近点与初始中心点的距离，对至少一个邻近点对应的至少一个初始特征进行特征聚合，得到所述每个初始中心点对应的邻域特征；
基于所述每个初始中心点对应的邻域特征，在所述至少一个初始中心点中进行下一次中心点确定与邻近点特征聚合，直至确定出全局中心点以及全局特征；所述全局特征是通过对所述全局中心点对应的至少一个邻近点进行特征聚合得到的；
基于所述全局特征进行识别，得到所述点云的识别结果。
2.根据权利要求1所述的方法，其特征在于，所述通过计算邻近点与初始中心点的距离，对至少一个邻近点对应的至少一个初始特征进行特征聚合，得到所述每个初始中心点对应的邻域特征，包括：
根据所述至少一个初始邻近点中每个初始邻近点的第一位置信息，以及所述每个初始中心点的第二位置信息，得到所述每个初始邻近点与所述每个初始中心点之间的距离；
对所述距离进行位置编码，作为所述每个初始邻近点对应的权重；
基于所述权重，对所述每个初始邻近点对应的初始特征进行加权，并对得到的至少一个加权特征进行融合，得到所述每个初始中心点对应的所述邻域特征。
3.根据权利要求2所述的方法，其特征在于，所述基于所述权重，对所述每个初始邻近点对应的初始特征进行加权，并对得到的至少一个加权特征进行融合，得到所述每个初始中心点对应的所述邻域特征，包括：
对于所述每个初始邻近点，将所述权重与所述每个初始邻近点对应的初始特征按特征维度进行相乘，得到所述每个邻近点对应的加权特征，得到所述至少一个初始邻近点对应的所述至少一个加权特征；所述加权特征包含至少一个特征维度；
对于所述至少一个特征维度中的每个特征维度，将所述每个特征维度在所述至少一个加权特征中对应的最大值，作为所述每个特征维度的邻域特征值，得到所述每个初始中心点对应的所述邻域特征。
4.根据权利要求3所述的方法，其特征在于，所述基于所述每个初始中心点对应的邻域特征，在所述至少一个初始中心点中进行下一次中心点确定与邻近点特征聚合，直至确定出全局中心点以及全局特征，包括：
在所述至少一个初始中心点的数量大于预设数量阈值的情况下，在所述至少一个初始中心点中确定至少一个更新中心点；
对于所述至少一个更新中心点中的每个更新中心点，在所述至少一个初始中心点中确定出所述每个更新中心点对应的至少一个更新邻近点，并对所述至少一个更新邻近点对应的至少一个邻域特征进行特征聚合，得到所述每个更新中心点对应的更新邻域特征；以上述过程迭代进行，直至基于上一次的至少一个更新中心点确定出的更新中心点数量达到所述预设数量阈值的情况下，得到全局中心点；
确定所述全局中心点对应的至少一个全局邻近点，并对所述至少一个全局邻近点对应的至少一个更新邻域特征进行特征聚合，得到所述全局特征。
5.根据权利要求1所述的方法，其特征在于，所述确定所述至少一个初始中心点中每个初始中心点对应的至少一个邻近点之后，所述方法还包括：
通过预训练的第一线性层，对所述至少一个初始特征进行线性变换，并利用线性变换后的至少一个第一特征更新所述至少一个初始特征。
6.根据权利要求3所述的方法，其特征在于，所述得到所述每个邻近点对应的加权特征之后，所述方法还包括：
通过预训练的第二线性层，对所述每个邻近点对应的加权特征进行线性变换，并利用线性变换后的加权特征更新所述每个初始邻近点对应的加权特征。
7.根据权利要求1所述的方法，其特征在于，所述得到所述每个初始中心点对应的邻域特征之后，所述方法还包括：
通过预训练的第三线性层，对所述每个初始中心点对应的邻域特征进行线性变换，并利用线性变换后的邻域特征更新所述每个初始中心点对应的邻域特征。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述在所述点云中确定至少一个初始中心点，以及确定所述至少一个初始中心点中每个初始中心点对应的至少一个邻近点，包括：
利用最远点采样算法，从所述点云中确定出至少一个初始中心点；
对于所述至少一个初始中心点中的每个初始中心点，利用邻近分类算法，确定出所述至少一个初始邻近点。
9.根据权利要求1-7任一项所述的方法，其特征在于，所述基于所述全局特征进行识别，得到所述点云的识别结果，包括：
将所述全局特征与至少一个预设全局特征进行对比，得到所述全局特征与所述至少一个预设全局特征之间的至少一个相似度；所述至少一个预设全局特征对应至少一个预设类别；
根据所述至少一个相似度，得到所述至少一个预设类别对应的至少一个第一置信度；并根据所述至少一个第一置信度，在所述至少一个预设类别中确定所述全局特征对应的目标预设类别；
将所述目标预设类别作为所述识别结果。
10.根据权利要求9所述的方法，其特征在于，所述根据所述至少一个相似度，得到所述至少一个预设类别对应的至少一个第一置信度之后，所述方法还包括：
利用预训练的第一识别网络，对所述点云进行识别，得到所述至少一个预设类别对应的至少一个第二置信度；
对所述至少一个第一置信度与所述至少一个第二置信度进行加权融合，基于融合得到的至少一个置信度确定所述识别结果。
11.根据权利要求1-7任一项所述的方法，其特征在于，所述基于所述全局特征进行识别，得到所述点云的识别结果，包括：
通过预训练的第二识别网络，对所述全局特征进行识别，得到所述点云的识别结果。
12.根据权利要求9所述的方法，其特征在于，所述将所述全局特征与至少一个预设全局特征进行对比，得到所述全局特征与所述至少一个预设全局特征之间的至少一个相似度之前，所述方法还包括：
获取至少一个点云样本；所述至少一个点云样本对应所述至少一个预设类别；
对于所述至少一个点云样本中的每个点云样本，迭代地进行位置编码、中心点确定与特征聚合，直至得到所述每个点云样本对应的预设全局特征，得到所述至少一个预设全局特征。
13.一种点云识别装置，其特征在于，包括：
编码模块，用于对点云中每个点的位置信息进行位置编码，得到所述每个点的初始特征；
确定模块，用于在所述点云中确定至少一个初始中心点，以及确定所述至少一个初始中心点中每个初始中心点对应的至少一个邻近点；
聚合模块，用于对于所述每个初始中心点，通过计算邻近点与初始中心点的距离，对至少一个邻近点对应的至少一个初始特征进行特征聚合，得到所述每个初始中心点对应的邻域特征；
所述确定模块与所述聚合模块，还用于基于所述每个初始中心点对应的邻域特征，在所述至少一个初始中心点中进行下一次中心点确定与邻近点特征聚合，直至确定出全局中心点以及全局特征；所述全局特征是通过对所述全局中心点对应的至少一个邻近点进行特征聚合得到的；
识别模块，用于基于所述全局特征进行识别，得到所述点云的识别结果。
14.一种点云识别设备，其特征在于，包括：
存储器，用于存储可执行数据指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至12任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至12任一项所述的方法。
CN202210556173.6A 2022-05-20 2022-05-20 点云识别方法、装置、设备和计算机可读存储介质 Active CN114926647B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210556173.6A CN114926647B (zh) 2022-05-20 2022-05-20 点云识别方法、装置、设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210556173.6A CN114926647B (zh) 2022-05-20 2022-05-20 点云识别方法、装置、设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114926647A true CN114926647A (zh) 2022-08-19
CN114926647B CN114926647B (zh) 2024-06-07

Family

ID=82810212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210556173.6A Active CN114926647B (zh) 2022-05-20 2022-05-20 点云识别方法、装置、设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114926647B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160163096A1 (en) * 2014-12-03 2016-06-09 Fu Tai Hua Industry (Shenzhen) Co., Ltd. Computing device and method for processing point clouds
CN112488117A (zh) * 2020-12-11 2021-03-12 南京理工大学 一种基于方向诱导卷积的点云分析方法
CN112529010A (zh) * 2020-12-04 2021-03-19 浙江大学计算机创新技术研究院 一种基于在线局部特征提取的点云识别方法
CN113361538A (zh) * 2021-06-22 2021-09-07 中国科学技术大学 一种基于自适应选择邻域的点云分类和分割方法及系统
CN114494172A (zh) * 2022-01-20 2022-05-13 上海人工智能创新中心 点云检测方法及装置、电子设备和计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160163096A1 (en) * 2014-12-03 2016-06-09 Fu Tai Hua Industry (Shenzhen) Co., Ltd. Computing device and method for processing point clouds
CN112529010A (zh) * 2020-12-04 2021-03-19 浙江大学计算机创新技术研究院 一种基于在线局部特征提取的点云识别方法
CN112488117A (zh) * 2020-12-11 2021-03-12 南京理工大学 一种基于方向诱导卷积的点云分析方法
CN113361538A (zh) * 2021-06-22 2021-09-07 中国科学技术大学 一种基于自适应选择邻域的点云分类和分割方法及系统
CN114494172A (zh) * 2022-01-20 2022-05-13 上海人工智能创新中心 点云检测方法及装置、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN114926647B (zh) 2024-06-07

Similar Documents

Publication Publication Date Title
Vidanapathirana et al. Locus: Lidar-based place recognition using spatiotemporal higher-order pooling
Gao et al. 3-D object retrieval and recognition with hypergraph analysis
Patel et al. Kernel sparse subspace clustering
CN105960647B (zh) 紧凑人脸表示
CN108229347B (zh) 用于人识别的拟吉布斯结构采样的深层置换的方法和装置
Zhu et al. Exploring consistent preferences: discrete hashing with pair-exemplar for scalable landmark search
JP6203077B2 (ja) 学習装置、密度計測装置、学習方法、学習プログラム、及び密度計測システム
CN111627065A (zh) 一种视觉定位方法及装置、存储介质
WO2018134964A1 (ja) 画像検索システム、画像検索方法およびプログラム
CN111325245B (zh) 重复图像识别方法、装置、电子设备及计算机可读存储介质
CN113850281B (zh) 一种基于meanshift优化的数据处理方法和装置
CN110414550B (zh) 人脸识别模型的训练方法、装置、系统和计算机可读介质
WO2023108995A1 (zh) 向量相似度计算方法、装置、设备及存储介质
CN111831844A (zh) 图像检索方法、图像检索装置、图像检索设备及介质
CN106599917A (zh) 一种基于稀疏表示的近似图像重复检测方法
CN112529068B (zh) 一种多视图图像分类方法、系统、计算机设备和存储介质
Xu et al. Iterative manifold embedding layer learned by incomplete data for large-scale image retrieval
CN106611030B (zh) 基于视频的对象相似度比较方法和检索方法及其系统
Kishorjit Singh et al. Image classification using SLIC superpixel and FAAGKFCM image segmentation
Tadepalli et al. Content‐based image retrieval using Gaussian–Hermite moments and firefly and grey wolf optimization
Lejbølle et al. Enhancing person re‐identification by late fusion of low‐, mid‐and high‐level features
CN114781779A (zh) 一种无监督能耗异常检测方法、装置及存储介质
Sun et al. Image matching via feature fusion and coherent constraint
Zhang et al. Learning a probabilistic topology discovering model for scene categorization
CN112257689A (zh) 人脸识别模型的训练和识别方法、存储介质及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant