CN114638953B - 点云数据的分割方法、装置及计算机可读存储介质 - Google Patents

点云数据的分割方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN114638953B
CN114638953B CN202210163268.1A CN202210163268A CN114638953B CN 114638953 B CN114638953 B CN 114638953B CN 202210163268 A CN202210163268 A CN 202210163268A CN 114638953 B CN114638953 B CN 114638953B
Authority
CN
China
Prior art keywords
point
sparse
voxel
point cloud
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210163268.1A
Other languages
English (en)
Other versions
CN114638953A (zh
Inventor
许双杰
万锐
邹晓艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DeepRoute AI Ltd
Original Assignee
DeepRoute AI Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DeepRoute AI Ltd filed Critical DeepRoute AI Ltd
Priority to CN202210163268.1A priority Critical patent/CN114638953B/zh
Publication of CN114638953A publication Critical patent/CN114638953A/zh
Application granted granted Critical
Publication of CN114638953B publication Critical patent/CN114638953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了点云数据的分割方法、装置及计算机可读存储介质。该方法包括：获取原始点云数据；基于原始点云数据获得体素特征；基于体素特征预测原始点云数据所对应的质心以及点级别的偏移；基于质心以及点级别的偏移对原始点云数据进行全景分割。通过上述方式，能够解决表面聚集的点云数据远离其对象的质心的问题，提高对点云数据的分割准确性。

Description

点云数据的分割方法、装置及计算机可读存储介质
技术领域
本申请涉及点云数据处理技术领域，特别涉及点云数据的分割方法、装置及计算机可读存储介质。
背景技术
三维的场景分割对于许多机器人应用，特别是自动驾驶必不可少的。两个重要任务是语义分割和实例。通过前者，自动驾驶汽车可以识别无定形表面的类型，例如道路和植被，而通过后者，自动驾驶汽车可以识别单个物体。3D全景分割将这两个典型的截然不同任务统一在框架中，为自动驾驶汽车提供了对周围环境的全面解读。
虽然全景分割在图像上取得了巨大的进展，但是3D上的全景分割未得到充分的探索。
发明内容
本申请主要解决的技术问题是提供点云数据的分割方法、装置及计算机可读存储介质，能够解决表面聚集的点云数据远离其对象的质心的问题，提高对点云数据的分割准确性。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种点云数据的分割方法，该方法包括：获取原始点云数据；基于原始点云数据获得体素特征；基于体素特征预测原始点云数据所对应的质心以及点级别的偏移；基于质心以及点级别的偏移对原始点云数据进行全景分割。
其中，基于原始点云数据获得体素特征，包括：利用稀疏体素特征编码器对原始点云数据进行特征提取，得到体素特征。
其中，基于体素特征预测原始点云数据所对应的质心以及点级别的偏移，还包括：基于体素特征预测原始点云数据所对应的点级别的语义；基于质心以及点级别的偏移对原始点云数据进行全景分割，包括：基于质心、点级别的偏移以及点级别的语义对原始点云数据进行全景分割。
其中，基于体素特征预测原始点云数据所对应的质心以及点级别的偏移，包括：利用三维稀疏残差网络对体素特征进行稀疏特征提取，得到稀疏体素特征；基于稀疏体素特征预测原始点云数据所对应的质心以及点级别的偏移；基于体素特征预测原始点云数据所对应的点级别的语义，包括：基于稀疏体素特征预测原始点云数据所对应的点级别的语义。
其中，基于稀疏体素特征预测原始点云数据所对应的点级别的偏移，包括：将稀疏体素特征的坐标映射至稀疏体素特征对应的原始点云数据的数据点，得到每一数据点对应的点体素特征；基于点体素特征预测原始点云数据所对应的点级别的偏移；基于稀疏体素特征预测原始点云数据所对应的点级别的语义，包括：基于点体素特征预测原始点云数据所对应的点级别的语义。
其中，三维稀疏残差网络包括：第一网络块、第二网络块、第三网络块、第四网络块和融合层；利用三维稀疏残差网络对体素特征进行稀疏特征提取，得到稀疏体素特征，包括：利用第一网络块对体素特征进行稀疏特征提取，得到第一稀疏体素特征；利用第二网络块对第一稀疏体素特征进行稀疏特征提取，得到第二稀疏体素特征；利用第三网络块对第二稀疏体素特征进行稀疏特征提取，得到第三稀疏体素特征；利用第四网络块对第三稀疏体素特征进行稀疏特征提取，得到第四稀疏体素特征；利用融合层对第二稀疏体素特征、第三稀疏体素特征和第四稀疏体素特征进行拼接融合，得到第五稀疏体素特征；基于稀疏体素特征预测原始点云数据所对应的质心以及点级别的偏移，包括：基于第五稀疏体素特征预测原始点云数据所对应的质心以及点级别的偏移。
其中，基于稀疏体素特征预测原始点云数据所对应的质心，包括：利用三维热力图网络预测每一稀疏体素特征属于质心的置信度；基于置信度对稀疏体素特征进行最大池化操作，确定出池化后的稀疏体素特征；将满足预设置信度条件的池化后的稀疏体素特征分别作为质心。
其中，基于质心、点级别的偏移以及点级别的语义对原始点云数据进行全景分割，包括：利用每一数据点对应的点级别的偏移和原始坐标，确定每一数据点的目标坐标；基于目标坐标确定每一数据点对应的质心；基于同一质心的数据点进行分割，得到对应每一质心的原始子点云数据，以根据每一原始子点云数据确定一物体；利用每一原始子数据点的对应的点级别的语义对物体进行语义标注。
其中，利用每一数据点对应的点级别的偏移和原始坐标，确定每一数据点的目标坐标之前，包括：利用每一数据点的对应的点级别的语义确定出前景数据点和背景数据点；利用每一数据点对应的点级别的偏移和原始坐标，确定每一数据点的目标坐标，包括：利用每一前景数据点对应的点级别的偏移和原始坐标，确定每一前景数据点的目标坐标。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种点云数据的分割装置，该分割装置包括处理器以及与处理器耦接的存储器，存储器用于存储计算机程序，处理器用于执行计算机程序，以实现如上述技术方案提供的方法。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现如上述技术方案提供的方法。
本申请实施例的有益效果是：区别于现有技术，本申请提供的点云数据的分割方法，该方法包括：获取原始点云数据；基于原始点云数据获得体素特征；基于体素特征预测原始点云数据所对应的质心以及点级别的偏移；基于质心以及点级别的偏移对原始点云数据进行全景分割。通过上述方式，利用点云数据对应的质心以及点级别的偏移对点云数据进行分割，以分割出不同物体，能够解决表面聚集的点云数据远离其对象的质心的问题，提高对点云数据的分割准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的点云数据的分割方法第一实施例的流程示意图；
图2是本申请提供的按照体素划分的结构示意图；
图3是本申请提供的点云数据的分割方法第二实施例的流程示意图；
图4是本申请提供的步骤33一实施例的流程示意图；
图5是本申请提供的三维稀疏网络的结构示意图；
图6是本申请提供的步骤331一实施例的流程示意图；
图7是本申请提供的步骤332一实施例的流程示意图；
图8是本申请提供的步骤34一实施例的流程示意图；
图9是本申请提供的步骤35一实施例的流程示意图；
图10是本申请提供的步骤35另一实施例的流程示意图；
图11是本申请提供的点云分割模型一实施例的结构示意图；
图12是本申请提供的点云数据的分割装置一实施例的结构示意图；
图13是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
参阅图1，图1是本申请提供的点云数据的分割方法第一实施例的流程示意图。该方法包括：
步骤11：获取原始点云数据。
其中，原始点云数据可以基于雷达传感器采集得到。
步骤12：基于原始点云数据获得体素特征。
其中，体素是3D空间的像素。量化的，大小固定的点云。每个单元都是固定大小和离散坐标。其中，体素的大小可以提前设置，如0.1毫米*0.1毫米*0.1毫米的正方体，也可以是0.2毫米*0.2毫米*0.2毫米的正方体。即，一个体素中能够包括若干原始点云数据中的数据点。
如图2所示，利用正方体的格子将原始点云数据分割，即一个格子可作为一个体素。
其中，可以采用已训练的神经网络模型对原始点云数据进行特征提取，得到对应的体素特征。
步骤13：基于体素特征预测原始点云数据所对应的质心以及点级别的偏移。
如采用三维热力图的方式，确定体素特征中对应质心的体素特征。其中，该质心对应的体素特征可能在原始点云数据上没有对应的数据点，而是存在体素空间中的一个虚拟点。
点级别的偏移是指原始点云数据中的数据点对对应的物体的质心的距离。
步骤14：基于质心以及点级别的偏移对原始点云数据进行全景分割。
在确定质心后，质心存在一质心坐标。原始点云数据中的每一数据点在采集时具有相应的坐标，则每一数据点与点级别的偏移相结合，则可以得到每一数据点对应的质心的坐标。
可以理解，在原始点云数据中，通常存在多个物体，因此对应有多个质心，则可以基于每一质心坐标将每一数据点进行分类，得到每一质心对应的若干数据点。
在一些实施例中，每一数据点对应的质心的坐标与多个质心进行距离上的计算，将每一数据点分类至距离最近的质心。
进而可以基于分类后的数据点进行全景分割。
在本实施例中，通过获取原始点云数据；基于原始点云数据获得体素特征；基于体素特征预测原始点云数据所对应的质心以及点级别的偏移；基于质心以及点级别的偏移对原始点云数据进行全景分割的方式，利用点云数据对应的质心以及点级别的偏移对点云数据进行分割，以分割出不同物体，能够解决表面聚集的点云数据远离其对象的质心的问题，提高对点云数据的分割准确性。
参阅图3，图3是本申请提供的点云数据的分割方法第一实施例的流程示意图。该方法包括：
步骤31：获取原始点云数据。
步骤32：利用稀疏体素特征编码器对原始点云数据进行特征提取，得到体素特征。
其中，通过稀疏体素特征编码器来对原始点云数据进行体素化的特征提取，得到点级别的特征向量，以及体素级别的体素特征。先通过稀疏体素特征编码器中逐点的多层感知机(MLP)对原始点云数据中的每一数据点进行特征提取，得到每一数据点的点云特征。如两层线性的多层感知机，每一层的感知机的输出通道是32或64。
再将原始点云数据按照体素大小进行划分，得到每一体素对应的数据点。因这些数据点均已得到相应的点云特征，则此时可以将这些数据点的点云特征进行聚合，形成体素特征。
具体地，确定目标体素中所有的数据点，对数据点对应的点云特征进行取最大值或取最小值或取平均值的操作，得到一个目标点云特征。将此目标点云特征作为目标体素的体素特征。
进一步，可以将体素特征再次与目标体素中所有的数据点对应的点云特征进行特征合并，并对合并后的特征进行多层感知机特征提取操作，使得最后数据点的点云特征具有体素特征的信息，即点云特征包含了体素特征的上下文信息。
然后在此对目标体素中所有的数据点对应的点云特征进行取最大值或取最小值或取平均值的操作，得到一个目标点云特征。将此目标点云特征作为目标体素的体素特征。
此时，体素特征和点云特征具有更强的关联性。
步骤33：基于体素特征预测原始点云数据所对应的质心。
在一些实施例中，参阅图4，步骤33可以是以下流程：
步骤331：利用三维稀疏残差网络对体素特征进行稀疏特征提取，得到稀疏体素特征。
结合图5和图6进行说明：在图5中，三维稀疏残差网络包括：第一网络块、第二网络块、第三网络块、第四网络块和融合层。其中，第一网络块包括2个基础单元、第二网络块包括2个基础单元、第三网络块包括3个基础单元、第四网络块包括4个基础单元，每一基础单元包括两层子流形稀疏卷积和一层稀疏卷积。
因此，如图6所示，步骤331可以是以下流程：
步骤3311：利用第一网络块对体素特征进行稀疏特征提取，得到第一稀疏体素特征。
利用第一网络块中的2个基础单元中的子流形稀疏卷积和稀疏卷积对体素特征进行稀疏特征提取，得到第一稀疏体素特征。
步骤3312：利用第二网络块对第一稀疏体素特征进行稀疏特征提取，得到第二稀疏体素特征。
利用第二网络块中的2个基础单元中的子流形稀疏卷积和稀疏卷积对第一稀疏体素特征进行稀疏特征提取，得到第二稀疏体素特征。
步骤3313：利用第三网络块对第二稀疏体素特征进行稀疏特征提取，得到第三稀疏体素特征。
利用第三网络块中的3个基础单元中的子流形稀疏卷积和稀疏卷积对第二稀疏体素特征进行稀疏特征提取，得到第三稀疏体素特征。
步骤3314：利用第四网络块对第三稀疏体素特征进行稀疏特征提取，得到第四稀疏体素特征。
利用第四网络块中的4个基础单元中的子流形稀疏卷积和稀疏卷积对第三稀疏体素特征进行稀疏特征提取，得到第四稀疏体素特征。
步骤3315：利用融合层对第二稀疏体素特征、第三稀疏体素特征和第四稀疏体素特征进行拼接融合，得到第五稀疏体素特征。
第五稀疏体素特征具有更多的信息。
在上述过程中，子流形稀疏卷积在计算中能够保持特征稀疏性。稀疏卷积产生了激活区域的稀释，用于向外扩散特征，以覆盖真正的物体质心，而真正的物体质心原本可能是无数据点的。因此，子流形稀疏卷积和稀疏卷积的综合应用非常适用于仅分布在物体表面的稀疏点云。
具体地，每一基础单元中的子流形稀疏卷积用于进行特征提取，稀疏卷积用于将该基础单元的输入与输出进行短路连接，以完成拼接。
在一些实施例中，第一网络块和第二网络块采用了子流型稀疏最大池化，以扩大体素感受野。
步骤332：基于稀疏体素特征预测原始点云数据所对应的质心。
由此，步骤332可以基于第五稀疏体素特征确定原始点云数据对应的至少一个物体质心。
在一些实施例中，参阅图7，步骤332可以是以下流程：
步骤3321：利用三维热力图网络预测每一稀疏体素特征属于质心的置信度。
步骤3322：基于置信度对稀疏体素特征进行最大池化操作，确定出池化后的稀疏体素特征。
在一些实施例中，对被激活的体素进行稀疏最大池化，接着保留在池化之前与池化之后体素特征不变的体素坐标。
步骤3323：将满足预设置信度条件的池化后的稀疏体素特征分别作为质心。
由于预测物体质心包含了许多不干净的预测，本申请设置了一个阈值来过滤掉中低置信度的预测。接着选择K个置信度最高的稀疏体素特征当作最终的物体质心。
步骤34：基于体素特征预测原始点云数据所对应的点级别的偏移以及点级别的语义。
点级别的偏移表示数据点到数据点对应的物体质心的距离，点级别的语义表示该数据点对应的语义，如物体类型。
可以利用PointNet、PointNet++、PointSIFT、SGPN、SPG、3P-RNN等网络实现对点级别的语义的预测。
在一些实施例中，参阅图8，步骤34可以是以下流程：
步骤341：将稀疏体素特征的坐标映射至稀疏体素特征对应的原始点云数据的数据点，得到每一数据点对应的点体素特征。
在一些实施例中，可以基于上述的第二稀疏体素特征、第三稀疏体素特征、第四稀疏体素特征以及稀疏体素特征编码器中输出的点云特征，确定出原始点云数据中每一数据点的语义和偏移。
具体地，将第二稀疏体素特征、第三稀疏体素特征、第四稀疏体素特征的坐标映射至原始点云数据中相应的数据点，得到每一数据点对应的点体素特征。即点体素特征具有不同维度的体素特征的信息，即点体素特征包含了体素特征的上下文信息。
步骤342：基于点体素特征预测原始点云数据所对应的点级别的偏移和点级别的语义。
在一些实施例中，可以利用逐点语义网络基于点体素特征确定每一数据点的语义。利用逐点偏移网络基于点体素特征确定每一数据点的偏移。
步骤35：基于质心、点级别的偏移以及点级别的语义对原始点云数据进行全景分割。
在一些实施例中，参阅图9，步骤35可以是以下流程：
步骤351：利用每一数据点对应的点级别的偏移和原始坐标，确定每一数据点的目标坐标。
步骤352：基于目标坐标确定每一数据点对应的质心。
因具有至少一个物体质心，则可以确定目标坐标与每一物体质心之间的距离。将最短距离对应的物体质心作为该数据点对应的目标物体质心。
如，此时存在物体质心A、物体质心B、物体质心C和物体质心D。数据点a与物体质心A之间的距离为A1，数据点a与物体质心B之间的距离为B1，数据点a与物体质心C之间的距离为C1，数据点a与物体质心D之间的距离为D1。A1最短，则将物体质心A作为数据点a的目标物体质心。
步骤353：基于同一质心的数据点进行分割，得到对应每一质心的原始子原始点云数据，以根据每一原始子点云数据确定一物体。
按照上述方式，每一数据点均对应确定了物体质心。即每一物体质心对应了若干原始子点云数据，则可以将对应的若干原始子点云数据作为一个物体。
步骤354：利用每一原始子数据点的对应的点级别的语义对物体进行语义标注。
因确定了每一数据点的语义，则可以利用每一数据点的语义对物体进行语义标注。
如，确定每一物体中数据点的类型。若均是同一类型，则将此类型作为物体类型进行标注。若存在不同类型，则确定每一类型的数据点数量，将大于阈值的数据点对应的类型作为物体类型进行标注。并将所有数据点的类型均修改为此时的物体类型。
在其他实施例中，参阅图10，步骤35可以是以下流程：
步骤101：利用每一数据点的对应的点级别的语义确定出前景数据点和背景数据点。
其中，前景数据点对应的是目标物体，背景数据点是常规背景，如地面等。
利用逐点语义网络基于点体素特征确定每一数据点的类型，以此确定出前景数据点和背景数据点。
由此，可以将背景数据点滤除掉。
步骤102：利用每一前景数据点对应的点级别的偏移和原始坐标，确定每一前景数据点的目标坐标。
步骤103：基于目标坐标确定每一数据点对应的质心。
步骤104：基于同一质心的数据点进行分割，得到对应每一质心的原始子点云数据，以根据每一原始子点云数据确定一物体。
步骤105：利用每一原始子数据点的对应的点级别的语义对物体进行语义标注。
步骤102-步骤105与上述任一实施例具有相同或相似的技术方案，这里不再赘述。
在本实施例中，利用三种子任务来进行点云分割，同时整体的运行效率可以达到很快的速度，实时运行。且利用SVFE模块比传统的体素特征提取模块相比用了稀疏的特性，速度更快，效果更好。以及使用稀疏卷积和类似于Resnet的特征短接的方式，使点体素特征具有更多的体素特征的上下文信息。
进一步，利用点云数据对应的至少一个物体质心对点云数据进行分割，以分割出不同物体，能够解决表面聚集的点云数据远离其对象的质心的问题，提高对点云数据的分割准确性。
在一应用场景中，上述过程采用训练好的点云分割网络进行点云数据的分割。结合图11进行说明：点云分割模型包括：稀疏体素特征编码器、三维稀疏残差网络、点体素网络、第一监督网络、第二监督网络、第三监督网络和第四监督网络。
其中，点体素网络包括第一点云特征提取层、第一点体素特征提取层、第二点体素特征提取层和第三点体素特征提取层。三维稀疏残差网络包括：第一网络块、第二网络块、第三网络块、第四网络块和融合层。
第二监督网络为三维热力图网络，第三监督网络为逐点语义网络和第四监督网络为逐点偏移网络。
将原始点云数据输入至稀疏体素特征编码网络进行特征提取，会对应得到每一数据点的点云特征以及体素特征。
将体素特征输入至第一网络块进行特征提取，得到第一稀疏体素特征。将第一体素特征输入至第二网络块进行特征提取，得到第二稀疏体素特征。
将第二体素特征输入至第三网络块进行特征提取，得到第三稀疏体素特征。
将第三体素特征输入至第四网络块进行特征提取，得到第四稀疏体素特征。
点云特征输入至第一点云特征提取层进行特征提取，会对应得到第一点云特征。
将第一点云特征和第二稀疏体素特征输入至第一点体素特征提取层进行特征提取及融合，得到第一点体素特征。
将第一点体素特征和第三稀疏体素特征输入至第二点体素特征提取层进行特征提取及融合，得到第二点体素特征。
将第二点体素特征和第四疏体素特征输入至第三点体素特征提取层进行特征提取及融合，得到第三点体素特征。
将第三点体素特征分别输入至逐点语义网络和逐点偏移网络。得到每一数据点的语义信息和偏移量。
以及将第二稀疏体素特征、第三稀疏体素特征和第四稀疏体素特征输入至融合层进行拼接融合，得到第五稀疏体素特征。
将第五稀疏体素特征输入至三维热力图网络进行热力图学习，得到第五稀疏体素特征对应的第二检测信息。
利用语义信息、偏移量和第二检测信息对原始点云数据进行分割。
具体地，点云分割模型可以采用以下方式：
混合稀疏监督由负责不同任务的四个监督网络组成：用于预测无定型表面的逐点语义网络；逐点偏移网络；用于物体聚类的3D类别无关稀疏编码质心热力图网络；以及用于更好特征学习的辅助稀疏体素语义网络，即第一监督网络。这四个网络共享主干网络，端到端地进行训练，对于语义及实例分割的联合学习均起到了有效的作用。
其中，逐点语义网络由一系列线性层组成，被应用于之前的许多工作。使用Lovász-Softmax损失与交叉熵损失之和用于逐点语义网络的监督。记这个损失为LSp。
逐点偏移网络，用于监督每一数据点的偏移。假设属于物体的点的个数为，偏移预测被记为即预测偏移量。则通过将O加到点云原始坐标上，就获得了偏移之后的点，期待这些点分布在物体质心周围。对于真值，建立一个实例张量IP＝{RP·MI,I}，其中，I表示实例分割真值标签，MI表示仅含物体点的真值二值掩码。使用/>表示物体点的质心真值。为了得到RC，对IP使用FP→V操作算子来得到NC个质心，然后使用Φ指代取均值的FP→V操作算子来回到每个实例点。如利用以下公式表示：
RC＝FP→V(FP→V(IP,Φ))。
采用smooth L1损失来回归偏移，其中仅有物体点参与这个损失的计算，采用以下公式表达：
LO＝LSmoothL1(O-(RC-RP·MI))。
3D类别无关稀疏编码质心热力图网络。记被激活的体素数量为NV，这个热力图网络建模了一张表示了每个3D体素是一个物体质心的概率，即因此我们通过每个物体质心和其周围被激活体素的距离的倒数来计算稀疏编码的真值HGT。具体的，采用以下公式进行表达：
RH＝FP→V(IP,Φ),VI＝FP→V({RP·MI,I},Φ')；
其中，Φ表示取平均的算子，Φ'表示取计算实例标签最大数量的算子，VI表示体素的实例标签t，RH表示不同实例标签t'对应的质心vc。为了高效地实现RH和VI的计算，建立一个实例向量IP＝{I,RP·MI}，其中I表示实例标签。
另外，在HGT中将质心体素设为1，将质心周围的体素设为0.8，来保证真值能包含真正的质心。另一方面，在稀疏编码质心热图网络中的稀疏卷积层采用SC卷积，从而使得热图的特征能向外扩散到真正的物体质心。因此，FP→V算子需要被应用到这里以对齐不匹配的HGT和H。用focal损失进行损失计算，采用以下公式表达：
LH＝Lfocal(FP→V(H,HGT))。
稀疏体素语义网络。来自于主干网络中多个层级的稀疏体素特征分别被输入至稀疏体素语义网络，包含了一系列的用于保持被激活区域的SSC卷积层。记第i个层级的稀疏体素预测为/>其对应的真值为/>一个特征为有效体素中大多数点类别的稀疏编码张量。采用FV→V来对齐/>和/>损失用以下公式计算：
其中LLV表示用＝Lovász-Softmax损失，LCE表示交叉熵损失。稀疏体素语义网络作为一个辅助的监督，在与前述网络的联合训练中获取更充分的特征学习。
点云分割模型的总体的损失为以上所有和，用以下公式表达：
L＝λ1LSp+λ2LO+λ3LH+λ4LSV。
以下介绍上述过程中的操作算子。
对于大多数基于体素的方法，特征对齐是体素特征编码器或收集点状特征以在点和体素状特征之间传递的常见操作。然而，以往的工作只考虑了两种情况：1.将点特征体素化为体素的FP→V；2.从体素收集点特征的FV→P，这两种方法都无法解决不匹配的体素特征之间的对齐问题。为了对稀疏体素特征进行监督，本申请引入了一种新的算子FV→V。
将无序点和稀疏体素(包括预测和标签)的数据统一到一个稀疏表示中。稀疏张量表示为：
S＝{C,F}，C＝{ck＝(x,y,z),k∈[1,N]}。
其中，C是3D体素或者点云中的空间坐标，F是坐标对应的特征向量。更具体来说，点云分割网络在两大类张量上进行操作：点云张量T＝{RP,FP}和稀疏体素张量S＝{RV,FV}。T和S相互变换以对齐点和体素之间的特征。
1)FP→V：给定一个点云特征T，通过FP→V算子将它转换成稀疏体素张量S。
{RV,FV}＝FP→V({RP,FP},Φ)；
其中，s指代体素的大小，Φ默认指代取最大数值的算子。FP→V实际上显示了坐标和特征的同时体素化。
2)FV→P：为了从稀疏体素张量S聚集点张量T，FV→P运算符指定其所在体素的每个点特征，将其表示为：
{RP,FP}＝FV→P({RV,FV})；
3)FV→V：以上FP→V和FV→P运算符仅考虑点和体素之间的变换，无法处理稀疏体素张量对齐或监督等情况。给定坐标可能不匹配的两个张量S和S'，FV→V根据相应的坐标以贪婪的方式匹配它们的特征，如，首先构建哈希表来编码所有激活的体素的坐标。然后，使用目标稀疏要素坐标作为关键字。
以下分别介绍稀疏体素特征编码网络、三维稀疏残差网络、点体素网络的工作原理。
稀疏体素特征编码网络将训练点云的每个数据点分配到空间均匀分布的体素，并同时提取逐点特征和稀疏体素特征。对于点云{RP,F}，由F←{F,cm,vm}表示，其中原始特征F与该体素中点的质心cm及体素中心点坐标vm连接起来。在几层线性层之后，Fp→V和FV→P操作算子被联合用于提取每层的输出，采用以下公式表示：
F＝MLP(F),FV＝Fp→V(F,Φ)；
其中，表示特征concat操作。在本稀疏体素特征编码网络中，逐点特征包含了体素的几何上下文，同时稀疏体素特征FV被喂进接下来的三维稀疏残差网络中。Φ表示取平均的算子。
三维稀疏残差网络中综合使用两种稀疏卷积(SC与SSC)。SSC在计算中保持了特征稀疏性，被广泛使用于本网络；同时SC产生了激活区域的稀释，仅被用于特图网络头中以向外扩散特征、覆盖真正的实例质心，而真正的质心原本可能是无点的。这种综合应用非常适用于仅分布在物体表面的稀疏点云。
三维稀疏残差网络包括四个网络块。基础块SUBM被定义为一个基础单元，包含两层卷积核尺寸为3的SSC以及一层卷积核尺寸为1的SC。前者用于特征提取，后者用于将该单元的输入与输出进行短路连接。网络块1到4分别包含了2，2，3，4个基础块单元。另外，最初的两个网络块采用了子流型稀疏最大池化，以扩大体素感受野。记输入稀疏特征FV，则每个网络块的输出特征被记为其中i等于1到4。
点体素网络。在点体素网络中将多层级稀疏特征与逐点特征进行联合编码。这种联合编码是非常有效的特征聚合。然而，在相关技术中仅索引了邻域的关键点对应的非空体素，而本申请提取则通过FV→P操作算子覆盖了整个点云，采用以下公式表示：
/>
通过这种方式聚合了最后三个网络块中的稀疏体素特征和稀疏体素特征编码网络输出的数据点特征，使得点分支的输出P综合了浅层的几何信息以及深层的上下文信息。
进一步，在利用上述训练后的点云分割模型进行全景实例推理时，其中物体质心的推理如下：
在推理时，为了进一步获取质心预测CP∈RK×3，首先对H中被激活的体素进行稀疏最大池化，接着保留在池化之前与之后特征不变的体素坐标。采用以下公式进行表达：
其中，SMP表示核尺寸为Γ的3D稀疏最大池化层。由于包含了许多不干净的预测，本申请设置了一个阈值T来过滤掉中低置信度的预测。接着K个置信度最高的质心被当作最终的质心预测。
类别无关的实例标签分配。通过预测的K个质心CP和逐点偏移O，通过下式将每个偏移后的数据点分配给其最近的质心预测：
其中，RI＝RP·MI表示预测的物体点的坐标，而IL∈{0,...,K-1}表示预测的实例ID。由于K应该被设为一个大于单个场景中物体的最大数的值，一些预测的质心无法被分配到任何点，因此这些质心在推理中被删除了。此外，无定形表面类别的点的实例ID被设为0。
最终的全景分割结果通过融合类别无关的实例分割结果与逐点语义结果得到。本申请采用一个可并行化的融合策略：对每个一个质心c∈CP，通过下述方式获得其语义标签sc：对分配给该质心的点集的语义预测进行sP行投票，票数最多的类别被设为该质心的语义标签。接着将点集标签sP中的离群值修改为sc，这个操作使得语义预测与实例预测相互改善。
参阅图12，图12是本申请提供的点云数据的分割装置一实施例的结构示意图。该分割装置120包括处理器121以及与处理器121耦接的存储器122，存储器122用于存储计算机程序，处理器121用于执行计算机程序，以实现以下方法：
获取原始点云数据；基于原始点云数据获得体素特征；基于体素特征预测原始点云数据所对应的质心以及点级别的偏移；基于质心以及点级别的偏移对原始点云数据进行全景分割。
可以理解，处理器121用于执行计算机程序，以实现上述任一实施例的技术方案，这里不做赘述。
参阅图13，图13是本申请提供的计算机可读存储介质一实施例的结构示意图。该计算机可读存储介质130用于存储计算机程序131，计算机程序131在被处理器执行时，用于实现以下方法：
获取原始点云数据；基于原始点云数据获得体素特征；基于体素特征预测原始点云数据所对应的质心以及点级别的偏移；基于质心以及点级别的偏移对原始点云数据进行全景分割。
可以理解，计算机程序131在被处理器执行时，还用于实现上述任一实施例的技术方案，这里不做赘述。
综上，本申请通过直接回归类别无关的体素编码质心的3D稀疏映射和质心的逐点偏移来解决点云表面聚集问题。不采用任何耗时的聚类投票/采样的情况下，通过将每个移动点分配到它们最接近预测质心，此分组策略基本上在计算量上没有成本。此外，网络采用了三维稀疏卷积算子，使用三维稀疏卷积来设计网络基础结构，同时引入特征短接的方法，这样能够提取更加细致的特征，解决小物体被合并的问题，提升分割准确性。
在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，电路或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是根据本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (8)

1.一种点云数据的分割方法，其特征在于，所述方法包括：
获取原始点云数据；
基于所述原始点云数据获得体素特征；
利用三维稀疏残差网络对所述体素特征进行稀疏特征提取，得到稀疏体素特征；所述三维稀疏残差网络包括第一网络块、第二网络块、第三网络块和第四网络块，其中，所述第一网络块包括2个基础单元、所述第二网络块包括2个基础单元、所述第三网络块包括3个基础单元、所述第四网络块包括4个基础单元，每一网络块中的基础单元包含两层子流形稀疏卷积和一层稀疏卷积，子流形稀疏卷积用于特征提取，稀疏卷积用于将该单元的输入与输出进行短路连接，产生了激活区域的稀释，以覆盖真正的物体质心，最初的两个网络块采用了子流型稀疏最大池化，以扩大体素感受野；
基于所述稀疏体素特征预测所述原始点云数据所对应的质心；以及将所述稀疏体素特征的坐标映射至所述稀疏体素特征对应的所述原始点云数据的数据点，得到每一数据点对应的点体素特征；
基于所述点体素特征预测所述原始点云数据所对应的点级别的偏移；
基于所述点体素特征预测所述原始点云数据所对应的所述点级别的语义；
基于所述质心、所述点级别的偏移以及所述点级别的语义对所述原始点云数据进行全景分割。
2.根据权利要求1所述的方法，其特征在于，所述基于所述原始点云数据获得体素特征，包括：
利用稀疏体素特征编码器对所述原始点云数据进行特征提取，得到所述体素特征。
3.根据权利要求1所述的方法，其特征在于，所述三维稀疏残差网络包括：第一网络块、第二网络块、第三网络块、第四网络块和融合层；
所述利用三维稀疏残差网络对所述体素特征进行稀疏特征提取，得到稀疏体素特征，包括：
利用所述第一网络块对所述体素特征进行稀疏特征提取，得到第一稀疏体素特征；
利用所述第二网络块对所述第一稀疏体素特征进行稀疏特征提取，得到第二稀疏体素特征；
利用所述第三网络块对所述第二稀疏体素特征进行稀疏特征提取，得到第三稀疏体素特征；
利用所述第四网络块对所述第三稀疏体素特征进行稀疏特征提取，得到第四稀疏体素特征；
利用所述融合层对所述第二稀疏体素特征、所述第三稀疏体素特征和所述第四稀疏体素特征进行拼接融合，得到第五稀疏体素特征；
所述基于所述稀疏体素特征预测所述原始点云数据所对应的质心以及点级别的偏移，包括：
基于所述第五稀疏体素特征预测所述原始点云数据所对应的质心以及点级别的偏移。
4.根据权利要求1所述的方法，其特征在于，所述基于所述稀疏体素特征预测所述原始点云数据所对应的质心，包括：
利用三维热力图网络预测每一所述稀疏体素特征属于质心的置信度；
基于所述置信度对所述稀疏体素特征进行最大池化操作，确定出池化后的所述稀疏体素特征；
将满足预设置信度条件的池化后的所述稀疏体素特征分别作为质心。
5.根据权利要求1所述的方法，其特征在于，所述基于所述质心、所述点级别的偏移以及所述点级别的语义对所述原始点云数据进行全景分割，包括：
利用每一数据点对应的所述点级别的偏移和原始坐标，确定每一所述数据点的目标坐标；
基于所述目标坐标确定每一所述数据点对应的所述质心；
基于同一质心的所述数据点进行分割，得到对应每一质心的原始子点云数据，以根据每一原始子点云数据确定一物体；
利用每一原始子数据点的对应的所述点级别的语义对所述物体进行语义标注。
6.根据权利要求5所述的方法，其特征在于，所述利用每一数据点对应的所述点级别的偏移和原始坐标，确定每一所述数据点的目标坐标之前，包括：
利用每一数据点的对应的所述点级别的语义确定出前景数据点和背景数据点；
所述利用所述每一数据点对应的所述点级别的偏移和原始坐标，确定每一所述数据点的目标坐标，包括：
利用每一所述前景数据点对应的所述点级别的偏移和所述原始坐标，确定每一所述前景数据点的目标坐标。
7.一种点云数据的分割装置，其特征在于，所述分割装置包括处理器以及与所述处理器耦接的存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，以实现如权利要求1-6任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序在被处理器执行时，用于实现如权利要求1-6任一项所述的方法。
CN202210163268.1A 2022-02-22 2022-02-22 点云数据的分割方法、装置及计算机可读存储介质 Active CN114638953B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210163268.1A CN114638953B (zh) 2022-02-22 2022-02-22 点云数据的分割方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210163268.1A CN114638953B (zh) 2022-02-22 2022-02-22 点云数据的分割方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114638953A CN114638953A (zh) 2022-06-17
CN114638953B true CN114638953B (zh) 2023-12-22

Family

ID=81946271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210163268.1A Active CN114638953B (zh) 2022-02-22 2022-02-22 点云数据的分割方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114638953B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019008222A1 (en) * 2017-07-07 2019-01-10 Nokia Technologies Oy METHOD AND APPARATUS FOR ENCODING MULTIMEDIA CONTENT
CN111199206A (zh) * 2019-12-30 2020-05-26 上海眼控科技股份有限公司 三维目标检测方法、装置、计算机设备及存储介质
CN112149677A (zh) * 2020-09-14 2020-12-29 上海眼控科技股份有限公司 一种点云语义分割的方法、装置及设备
US10970518B1 (en) * 2017-11-14 2021-04-06 Apple Inc. Voxel-based feature learning network
CN112949640A (zh) * 2021-01-29 2021-06-11 罗普特科技集团股份有限公司 点云语义分割方法、装置、计算设备及存储介质
CN113359810A (zh) * 2021-07-29 2021-09-07 东北大学 一种基于多传感器的无人机着陆区域识别方法
CN113378854A (zh) * 2021-06-11 2021-09-10 武汉大学 一种融合原始点云和体素划分的点云目标检测方法
WO2022017131A1 (zh) * 2020-07-22 2022-01-27 商汤集团有限公司 点云数据的处理方法、智能行驶控制方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970542B2 (en) * 2019-02-22 2021-04-06 Here Global B.V. Scalable three dimensional object segmentation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019008222A1 (en) * 2017-07-07 2019-01-10 Nokia Technologies Oy METHOD AND APPARATUS FOR ENCODING MULTIMEDIA CONTENT
US10970518B1 (en) * 2017-11-14 2021-04-06 Apple Inc. Voxel-based feature learning network
CN111199206A (zh) * 2019-12-30 2020-05-26 上海眼控科技股份有限公司 三维目标检测方法、装置、计算机设备及存储介质
WO2022017131A1 (zh) * 2020-07-22 2022-01-27 商汤集团有限公司 点云数据的处理方法、智能行驶控制方法及装置
CN112149677A (zh) * 2020-09-14 2020-12-29 上海眼控科技股份有限公司 一种点云语义分割的方法、装置及设备
CN112949640A (zh) * 2021-01-29 2021-06-11 罗普特科技集团股份有限公司 点云语义分割方法、装置、计算设备及存储介质
CN113378854A (zh) * 2021-06-11 2021-09-10 武汉大学 一种融合原始点云和体素划分的点云目标检测方法
CN113359810A (zh) * 2021-07-29 2021-09-07 东北大学 一种基于多传感器的无人机着陆区域识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Shuangjie Xu 等.Sparse Cross-scale Attention Network for Efficient LiDAR Panoptic Segmentation.《arXiv:2201.05972v1 [cs.CV]》.2022,1-9. *
Sparse Cross-scale Attention Network for Efficient LiDAR Panoptic Segmentation;Shuangjie Xu 等;《arXiv:2201.05972v1 [cs.CV]》;1-9 *
基于切片采样和质心距直方图特征的室外大场景三维点云分类;佟国峰;杜宪策;李勇;陈槐嵘;张庆春;;中国激光(第10期);156-164 *
基于图割算法的摄影测量点云面向对象分类方法;郑特;邹峥嵘;张云生;杜守基;何雪;;测绘工程(第03期);19-22 *

Also Published As

Publication number Publication date
CN114638953A (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN111339903B (zh) 一种多人人体姿态估计方法
Li et al. A geometry-attentional network for ALS point cloud classification
Trivedi et al. Low-level segmentation of aerial images with fuzzy clustering
KR20210074353A (ko) 포인트 클라우드 세그먼트화 방법, 컴퓨터로 판독 가능한 저장 매체 및 컴퓨터 기기
WO2021155792A1 (zh) 一种处理装置、方法及存储介质
CN112990211B (zh) 一种神经网络的训练方法、图像处理方法以及装置
CN114638954B (zh) 点云分割模型的训练方法、点云数据分割方法及相关装置
CN111476806B (zh) 图像处理方法、装置、计算机设备和存储介质
CN113362382A (zh) 三维重建方法和三维重建装置
CN105528575A (zh) 基于上下文推理的天空检测算法
CN115861619A (zh) 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统
CN113988147B (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN113420827A (zh) 语义分割网络训练和图像语义分割方法、装置及设备
CN112668662A (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
CN114638953B (zh) 点云数据的分割方法、装置及计算机可读存储介质
Zhang et al. Exploring Semantic Information Extraction from Different Data Forms in 3D Point Cloud Semantic Segmentation
CN116912486A (zh) 基于边缘卷积和多维特征融合的目标分割方法、电子装置
CN116958624A (zh) 指定材质的识别方法、装置、设备、介质及程序产品
Eken et al. A MapReduce-based distributed and scalable framework for stitching of satellite mosaic images
CN115471833A (zh) 一种动态局部自注意力卷积网络点云分析系统及方法
CN112801153B (zh) 一种嵌入lbp特征的图的半监督图像分类方法及系统
CN114648762A (zh) 语义分割方法、装置、电子设备和计算机可读存储介质
Shoman et al. Real-to-synthetic feature transform for illumination invariant camera localization
Li et al. Structure-guided camera localization for indoor environments
Gao et al. Semantic Segmentation of Substation Site Cloud Based on Seg-PointNet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant