CN110163906A - 点云数据处理方法、装置、电子设备及存储介质 - Google Patents

点云数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110163906A
CN110163906A CN201910430700.7A CN201910430700A CN110163906A CN 110163906 A CN110163906 A CN 110163906A CN 201910430700 A CN201910430700 A CN 201910430700A CN 110163906 A CN110163906 A CN 110163906A
Authority
CN
China
Prior art keywords
data
point cloud
discrete convolution
cloud data
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910430700.7A
Other languages
English (en)
Other versions
CN110163906B (zh
Inventor
毛佳庚
王晓刚
李鸿升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201910430700.7A priority Critical patent/CN110163906B/zh
Publication of CN110163906A publication Critical patent/CN110163906A/zh
Priority to PCT/CN2019/121776 priority patent/WO2020233069A1/zh
Priority to SG11202010693SA priority patent/SG11202010693SA/en
Priority to JP2020565957A priority patent/JP7475287B2/ja
Priority to KR1020207031573A priority patent/KR102535158B1/ko
Priority to US17/082,686 priority patent/US20210042501A1/en
Application granted granted Critical
Publication of CN110163906B publication Critical patent/CN110163906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

本发明实施例公开了一种点云数据处理方法、装置、电子设备及存储介质。所述方法包括：获得目标场景中的点云数据以及第一离散卷积核的权重向量；基于所述点云数据和所述第一离散卷积核的权重向量对所述点云数据进行插值处理，获得第一权重数据；所述第一权重数据表征所述点云数据分配至所述第一离散卷积核的权重向量对应位置处的权重；基于所述第一权重数据和所述第一离散卷积核的权重向量对所述点云数据进行第一离散卷积处理，获得第一离散卷积结果；基于所述第一离散卷积结果，获得所述点云数据中至少部分点云数据的空间结构特征。

Description

点云数据处理方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机应用技术领域，具体涉及一种点云数据处理方法、装置、电子设备及计算机可读存储介质。
背景技术
点云识别是计算机视觉和深度学习领域的重要问题，通过对点云数据进行学习，从而识别物体的三维结构。
发明内容
为解决现有存在的技术问题，本发明实施例提供一种点云数据处理方法、装置及电子设备。
为达到上述目的，本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种点云数据处理方法，所述方法包括：
获得目标场景中的点云数据以及第一离散卷积核的权重向量；
基于所述点云数据和所述第一离散卷积核的权重向量对所述点云数据进行插值处理，获得第一权重数据；所述第一权重数据表征所述点云数据分配至所述第一离散卷积核的权重向量对应位置处的权重；
基于所述第一权重数据和所述第一离散卷积核的权重向量对所述点云数据进行第一离散卷积处理，获得第一离散卷积结果；
基于所述第一离散卷积结果，获得所述点云数据中至少部分点云数据的空间结构特征。
上述方案中，所述基于所述点云数据和所述第一离散卷积核的权重向量对所述点云数据进行插值处理，获得第一权重数据，包括：
基于所述点云数据和所述第一离散卷积核的权重向量按照预设的插值处理方式获得第一权重数据，所述第一权重数据表征将所述点云数据分配至满足预设条件的第一离散卷积核的权重向量对应位置处的权重；
其中，所述点云数据位于所述满足预设条件的第一离散卷积核的权重向量所围成的特定几何形状区域内。
上述方案中，在获得所述第一离散卷积结果之后，所述方法还包括：
基于归一化参数对第一离散卷积结果进行归一化处理；所述归一化参数是根据所述点云数据所在的所述特定几何形状区域内的点云数据的数量确定的；
所述基于所述第一离散卷积结果，获得所述点云数据中至少部分点云数据的空间结构特征，包括：基于归一化处理后的结果，获得所述点云数据中至少部分点云数据的空间结构特征。
上述方案中，所述第一离散卷积核的权重向量为n组，所述第一权重数据为n组，n为大于等于2的整数；
所述基于所述第一权重数据和所述第一离散卷积核的权重向量对所述点云数据进行第一离散卷积处理，获得第一离散卷积结果，包括：
分别基于第k组第一权重数据以及第k组第一卷积参数对第k组第一离散卷积核的权重向量和所述点云数据进行第k个第一离散卷积处理，获得第k个第一离散卷积结果；所述第k组第一卷积参数对应于第k个第一离散卷积处理的尺寸范围；k为大于等于1且小于等于n的整数；
所述基于所述第一离散卷积结果，获得所述点云数据中至少部分点云数据的空间结构特征，包括：
基于n个第一离散卷积结果确定所述点云数据的空间结构特征。
上述方案中，所述基于所述n个第一离散卷积结果确定所述点云数据的空间结构特征，包括：基于第一处理数据和第二离散卷积核的权重向量对所述第一处理数据进行插值处理，获得第二权重数据；所述第二权重数据表征所述第一处理数据分配至所述第二离散卷积核的权重向量对应位置处的权重；其中，所述第一处理数据根据前一次离散卷积处理的结果确定，在前一次离散卷积处理的结果为n个第一离散卷积结果的情况下，所述第一处理数据根据所述n个第一离散卷积结果确定；
基于所述第二权重数据和所述第二离散卷积核的权重向量对所述第一处理数据进行第二离散卷积处理，获得第二离散卷积结果；
基于所述第二离散卷积结果，获得所述点云数据的空间结构特征。
上述方案中，所述第二离散卷积核的权重向量为l组，所述第二权重数据为l组，l为大于等于2的整数；
所述基于所述第二权重数据和所述第二离散卷积核的权重向量对所述第一处理数据重新进行离散卷积处理，包括：
基于第m组第二权重数据以及第m组第二卷积参数对第m组第二离散卷积核的权重向量和所述第一处理数据进行第m个第二离散卷积处理，获得第m个第二离散卷积结果；所述第m组第二卷积参数对应于第m个离散卷积处理的尺寸范围；m为大于等于1且小于等于l的整数；
所述基于第二离散卷积结果，获得所述点云数据的空间结构特征，包括：
基于l个第二离散卷积结果确定所述点云数据的空间结构特征。
上述方案中，所述方法还包括：基于所述点云数据的空间结构特征确定所述目标场景中的对象的类别。
上述方案中，所述基于所述第一离散卷积结果，获得所述点云数据中至少部分点云数据的空间结构特征，包括：
对所述第一离散卷积结果进行第一上采样处理，获得第一上采样处理结果；
基于所述第一上采样处理结果获得所述点云数据中至少一个点数据的空间结构特征。
上述方案中，所述基于所述第一上采样处理结果获得所述点云数据中至少一个点数据的空间结构特征，包括：
基于前一次上采样处理后的结果和第三离散卷积核的权重向量对所述前一次上采样处理后的结果进行插值处理，获得第三权重数据；所述第三权重数据表征所述前一次上上采样处理后的结果分配至所述第三离散卷积核的权重向量对应位置处的权重；在前一次上采样处理是对第一离散卷积结果进行的第一上采样处理的情况下，前一次上采样处理后的结果为第一上采样结果；
基于所述第三权重数据和所述第三离散卷积核的权重向量对所述前一次上采样处理后的结果进行第三离散卷积处理，获得第三离散卷积结果；
对所述第三离散卷积结果进行第二上采样处理，获得第二上采样处理结果；
基于所述第二上采样处理结果获得所述点云数据中至少一个点数据的空间结构特征。
上述方案中，所述方法还包括：基于所述点云数据中至少一个点数据的空间结构特征确定所述至少一个点数据的语义信息。
本发明实施例还提供了一种点云数据处理装置，所述装置包括：获取单元、插值处理单元和特征获取单元；其中，
所述获取单元，用于获得目标场景中的点云数据以及第一离散卷积核的权重向量；
所述插值处理单元，用于基于所述点云数据和所述第一离散卷积核的权重向量对所述点云数据进行插值处理，获得第一权重数据；所述第一权重数据表征所述点云数据分配至所述第一离散卷积核的权重向量对应位置处的权重；
所述特征获取单元，用于基于所述第一权重数据和所述第一离散卷积核的权重向量对所述点云数据进行第一离散卷积处理，获得第一离散卷积结果；基于所述第一离散卷积结果获得所述点云数据中至少部分点云数据的空间结构特征。
上述方案中，所述插值处理单元，用于基于所述点云数据和所述第一离散卷积核的权重向量按照预设的插值处理方式获得第一权重数据，所述第一权重数据表征将所述点云数据分配至满足预设条件的第一离散卷积核的权重向量对应位置处的权重；其中，所述点云数据位于所述满足预设条件的第一离散卷积核的权重向量所围成的特定几何形状区域内。
上述方案中，所述特征获取单元，用于基于所述第一权重数据和所述第一离散卷积核的权重向量对所述点云数据进行第一离散卷积处理，获得第一离散卷积结果；基于归一化参数对第一离散卷积结果进行归一化处理；所述归一化参数是根据所述点云数据所在的所述特定几何形状区域内的点云数据的数量确定的；基于归一化处理后的结果，获得所述点云数据中至少部分点云数据的空间结构特征。
上述方案中，所述第一离散卷积核的权重向量为n组，所述第一权重数据为n组，n为大于等于2的整数；所述特征获取单元，用于基于第k组第一权重数据以及第k组第一卷积参数对k组第一离散卷积核的权重向量和所述点云数据进行第k个第一离散卷积处理，获得第k个第一离散卷积结果；所述第k组第一卷积参数对应于第k个第一离散卷积处理的尺寸范围；k为大于等于1且小于等于n的整数；基于n个第一离散卷积结果确定所述点云数据的空间结构特征。
上述方案中，所述插值处理单元，还用于基于第一处理数据和第二离散卷积核的权重向量对所述第一处理数据进行插值处理，获得第二权重数据；所述第二权重数据表征所述第一处理数据分配至所述第二离散卷积核的权重向量对应位置处的权重；其中，所述第一处理数据根据前一次离散卷积处理的结果确定，在前一次离散卷积处理的结果为n个第一离散卷积结果的情况下，所述第一处理数据根据所述n个第一离散卷积结果确定；
所述特征获取单元，还用于基于所述第二权重数据和所述第二离散卷积核的权重向量对所述第一处理数据进行第二离散卷积处理，获得第二离散卷积结果；基于所述第二离散卷积结果，获得所述点云数据的空间结构特征。
上述方案中，所述第二离散卷积核的权重向量为l组，所述第二权重数据为l组，l为大于等于2的整数；
所述特征获取单元，用于基于第m组第二权重数据以及第m组第二卷积参数对第m组第二离散卷积核的权重向量和所述第一处理数据进行第m个第二离散卷积处理，获得第m个第二离散卷积结果；所述第m组第二卷积参数对应于第m个离散卷积处理的尺寸范围；m为大于等于1且小于等于l的整数；还用于基于l个第二离散卷积结果确定所述点云数据的空间结构特征。
上述方案中，所述装置还包括第一确定单元，用于基于所述点云数据的空间结构特征确定所述目标场景中的对象的类别。
上述方案中，所述特征获取单元，用于基于所述第一权重数据和所述第一离散卷积核的权重向量对所述点云数据进行第一离散卷积处理，获得第一离散卷积结果；对所述第一离散卷积结果进行第一上采样处理，获得第一上采样处理结果；基于所述第一上采样处理结果获得所述点云数据中至少一个点数据的空间结构特征。
上述方案中，所述插值处理单元，还用于基于前一次上采样处理后的结果和第三离散卷积核的权重向量对所述前一次上采样处理后的结果进行插值处理，获得第三权重数据；所述第三权重数据表征所述前一次上采样处理后的结果分配至所述第三离散卷积核的权重向量对应位置处的权重；在前一次上采样处理是对第一离散卷积结果进行的第一上采样处理的情况下，前一次上采样处理后的结果为第一上采样结果；
所述特征获取单元，还用于基于所述第三权重数据和所述第三离散卷积核的权重向量对所述前一次上采样处理后的结果进行第三离散卷积处理，获得第三离散卷积结果；对所述第三离散卷积结果进行第二上采样处理，获得第二上采样处理结果；基于所述第二上采样处理结果获得所述点云数据中至少一个点数据的空间结构特征。
上述方案中，所述装置还包括第二确定单元，用于基于所述点云数据中至少一个点数据的空间结构特征确定所述至少一个点数据的语义信息。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述方法的步骤。
本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明实施例所述方法的步骤。
本发明实施例提供的点云数据处理方法、装置、电子设备及计算机可读存储介质，所述方法包括：获得目标场景中的点云数据以及第一离散卷积核的权重向量；基于所述点云数据和所述第一离散卷积核的权重向量对所述点云数据进行插值处理，获得第一权重数据；所述第一权重数据用于建立所述点云数据与所述第一离散卷积核的权重向量的关联；基于所述第一权重数据和所述第一离散卷积核的权重向量对所述点云数据进行离散卷积处理，获得所述点云数据中至少部分点云数据的空间结构特征。采用本发明实施例的技术方案，通过对点云数据进行插值处理，建立点云数据与第一离散卷积核之间的关联，也即获得表征点云数据分配至第一离散卷积核的权重向量对应位置处的权重，从而将离散的点云数据与离散卷积核的权重向量进行对齐，显式定义点云数据和第一离散卷积核之间的几何关系，以便于在离散卷积处理过程中能够更好的捕获点云数据的空间结构特征。
附图说明
图1为本发明实施例的点云数据处理方法的流程示意图一；
图2a和图2b分别为本发明实施例的点云处理方法中的插值处理示意图；
图3为本发明实施例的点云数据处理方法的流程示意图二；
图4为本发明实施例的点云数据处理方法中的第一网络的结构示意图；
图5为本发明实施例的点云数据处理方法的流程示意图三；
图6为本发明实施例的点云数据处理方法中的第二网络的结构示意图；
图7为本发明实施例的点云数据处理装置的组成结构示意图一；
图8为本发明实施例的点云数据处理装置的组成结构示意图二；
图9为本发明实施例的点云数据处理装置的组成结构示意图三；
图10为本发明实施例的电子设备的组成结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细的说明。
本发明实施例提供了一种点云数据处理方法。图1为本发明实施例的点云数据处理方法的流程示意图一；如图1所示，所述方法包括：
步骤101：获得目标场景中的点云数据以及第一离散卷积核的权重向量；
步骤102：基于所述点云数据和所述第一离散卷积核的权重向量对所述点云数据进行插值处理，获得第一权重数据；所述第一权重数据表征所述点云数据分配至所述第一离散卷积核的权重向量对应位置处的权重；
步骤103：基于所述第一权重数据和所述第一离散卷积核的权重向量对所述点云数据进行第一离散卷积处理，获得第一离散卷积结果；
步骤104：基于所述第一离散卷积结果，获得所述点云数据中至少部分点云数据的空间结构特征。
本实施例中，点云数据指的是通过测量设备得到的目标场景中的对象的外观表面的点数据集合，表征目标场景中的对象的表面特性的海量的点的集合。所述点云数据包括每个点的三维坐标数据。实际应用中，作为一种实施方式，所述点云数据可通过N*3的矩阵向量表示，其中，N表示点云数据中的点的数量，每个点的三维坐标可通过1*3的特征向量表示。在其他实施方式中，所述点云数据除了包括每个点的三维坐标数据之外，还可包括颜色信息，例如包括红色(Red)、绿色(Green)、蓝色(Blue)的颜色数据(简称为RGB数据)，则所述点云数据可通过N*6的矩阵表示，每个点的数据可通过1*6的矩阵表示，其中，三个维度的数据用于表示点的三维坐标，其余三个维度的数据可用于表示三种颜色的数据。
其中，所述点云数据还包括描述信息，所述描述信息可通过点云数据中每个点的特征表示，所述点云数据中每个点的特征可包括法线方向、曲率等特征。实际应用中，所述描述信息也可通过包含有点云数据的特征的特征向量表示。可以理解，所述点云数据包括点云数据对应的位置信息和特征向量。
本实施例中，离散卷积核的权重向量(包括本实施例中的第一离散卷积核的权重向量以及后续实施例中的第二离散卷积核的权重向量以及第三离散卷积核的权重向量)为三维离散卷积核的权重向量。可以理解，三维离散卷积核在进行离散卷积处理过程中对应于一立方体区域，则该立方体区域的八个顶点对应于离散卷积核的权重向量(本实施例中的第一离散卷积核的权重向量)，可以理解，本实施例中所述离散卷积核的权重向量并非指一个权重向量，至少指八个权重向量，该八个权重向量可以是同一个离散卷积核的权重向量，也可以是多个不同的离散卷积核的权重向量。
本实施例中，离散卷积核的权重向量对应有卷积参数，所述卷积参数可包括卷积核大小和长度；其中，所述卷积核大小和长度决定卷积操作的尺寸范围，也即决定着立方体区域的大小或边长。
本实施例中，由于点云数据中的各个点是离散分布的，为了使点云数据的空间结构信息被充分识别，本实施例中首先通过步骤102记载的技术方案对点云数据进行插值处理，从而建立点云数据与第一离散卷积核的权重向量的关联，以便将点云数据与第一离散卷积核的权重向量所在位置对齐，从而在离散卷积处理过程中能够更好的捕获点云数据的空间结构特征。
在本发明的一种可选实施例中，针对步骤102，所述基于所述点云数据和所述第一离散卷积核的权重向量对所述点云数据进行插值处理，获得第一权重数据，包括：基于所述点云数据和所述第一离散卷积核的权重向量按照预设的插值处理方式获得第一权重数据，所述第一权重数据表征将所述点云数据分配至满足预设条件的第一离散卷积核的权重向量对应位置处的权重；其中，所述点云数据位于所述满足预设条件的第一离散卷积核的权重向量所围成的特定几何形状区域内。
本实施例中，可通过预设的不同的插值处理方式对点云数据进行插值处理。其中，插值处理可通过插值函数实现，即可通过不同的插值函数对点云数据进行插值处理。例如，所述插值处理方式可为三线性插值处理方式或高斯插值处理方式，也即可通过三线性插值函数或高斯函数对点云数据进行插值处理。实际应用中，可将离散卷积核的权重向量(本实施例中即为第一离散卷积核的权重向量)和点云数据(具体为点云数据的坐标)输入至插值函数，获得第一权重数据。
本实施例中，对于不同的插值处理方式，对应于相同点云数据的、满足预设条件的第一离散卷积核的权重向量是不同的，并且特定几何形状区域也是不同的。其中，满足预设条件的第一离散卷积核的权重向量为围成点云数据所在的特定几何形状区域的离散卷积核的权重向量。
图2a和图2b分别为本发明实施例的点云数据处理方法中的插值处理示意图。作为一种实施方式，如图2a所示，在插值处理方式为三线性插值处理方式的情况下，特定几何形状区域为离散卷积核对应的立方体区域，也即八个权重向量(本实施例中为第一离散卷积核的权重向量)形成的立方体区域，立方体区域的八个顶点分别对应八个权重向量，每个立方体区域的8个顶点对应的8个权重向量可能是同一个离散卷积核的，也可能是多个不同离散卷积核的。因此点在哪个立方体区域内，则满足预设条件的第一离散卷积核的权重向量为该点所在的立方体区域的8个顶点对应的权重向量，如图2a所示。相应的，通过三线性插值方式对点云数据进行处理，获得的第一权重数据表征将所述点云数据分配至所在的立方体区域对应的八个权重向量中各个权重向量对应位置的权重。
作为另一种实施方式，如图2b所示，在插值处理方式为高斯插值处理方式的情况下，特定几何形状区域为以离散卷积核的权重向量(本实施例中为第一离散卷积核的权重向量)为球心、预设长度为半径的球状区域；其中，不同的离散卷积核的权重向量对应的球状区域的半径可相同或不同。可以理解，实际应用中，点云数据所在的球状区域可以是一个，也可以是两个或两个以上，也可以是零个，具体如图2b所示。通过高斯插值方式对点云数据进行处理，获得的第一权重数据表征将所述点云数据分配至该点云数据所在的球状区域的球心处(即某第一离散卷积核的权重向量)的权重。
可以理解，一个点云数据可与一个离散卷积核的八个的权重向量均建立关联，如图2a所示的场景；也可与一个离散卷积核的部分权重向量(例如一个第一离散卷积核的权重向量)建立关联，如图2b所示的场景；也可与多个离散卷积核中每个离散卷积核的部分权重向量建立关联，例如高斯插值处理方式中，各个球状区域的半径较大，以至于点云数据处于多个不同的离散卷积核的权重向量对应的球状区域内。
在本发明的一种可选实施例中，针对步骤103，通常情况下，离散卷积处理是指将两个离散序列按照约定规则将有关序列分别两两相乘再相加的处理方式。而本实施例中是基于第一权重数据和所述第一离散卷积核的权重向量对所述点云数据进行离散卷积处理，相当于本实施例中是一种带权的离散卷积处理方式，也即针对每一次的有关序列的两两相乘处理，均将相乘结果乘以所述第一权重数据。本实施例中，是将第一离散卷积核的权重向量与点云数据的特征向量进行两两相乘处理，而每个两两相乘的结果均乘以所述第一权重数据，然后再相加。
在本发明的一种可选实施例中，针对步骤103，所述在获得所述第一离散卷积结果之后，所述方法还包括：基于归一化参数对所述第一离散卷积结果进行归一化处理；所述归一化参数是根据所述点云数据所在的所述特定几何形状区域内的点云数据的数量确定的。作为一种示例，若采用三线性插值处理方式，则如图2a所示的某一立方体区域内的点云数量为4个，则在针对这4个点云数据中的每个点云数据进行离散卷积处理获得第一离散卷积结果之后，基于数值4对该第一离散卷积结果进行归一化处理。作为另一种示例，若采用高斯插值处理方式，则如图2b所示的某一球状区域内的点云数量为2个，则在针对这2个点云数据中的每个点云数据进行离散卷积处理获得第一离散卷积结果之后，基于数值2对该第一离散卷积结果进行归一化处理。
作为一种实施方式，上述第一离散卷积处理以及归一化处理可参照以下表达式进行：
其中，表示输出的归一化处理后的离散卷积结果(本实施例中即归一化处理后的第一离散卷积结果)；表示输出的点云位置；Np'表示所述特定几何形状区域内的点云数据数量；p'表示离散卷积核的权重向量(本实施例中即第一离散卷积核的权重向量)对应的位置，pδ表示点云数据对应的位置，T(pδ,p')表示基于离散卷积核的权重向量(本实施例中即第一离散卷积核的权重向量)对应的位置和点云数据对应的位置以及插值函数T确定的权重数据(本实施例中即第一权重数据)；W(p')表示离散卷积核的权重向量(本实施例中即第一离散卷积核的权重向量)；表示所述特定几何区域内的点云数据的特征向量。
本实施例步骤103中，基于第一权重数据和第一离散卷积核的权重向量对点云数据进行第一离散卷积处理，也即将点云数据分配至满足预设条件的第一离散卷积核的权重向量对应位置处后，通过第一离散卷积核的权重向量对点云数据进行离散卷积处理，从而获得表征点云数据的空间结构特征的特征向量，也即获得第一离散卷积结果。
结合到应用中，可基于赋予神经网络的任务的不同，通过神经网络识别点云数据的空间结构特征进而确定目标场景中的对象的类别，所述对象的类别例如车辆、人等等，通过该神经网络可直接输出目标场景中的对象的类别。也可通过神经网络识别点云数据中至少一个点数据的空间结构特征进而确定点云数据中的至少一个点数据的语义信息，点数据的语义信息可表示点数据的类别，所述点数据的类别表明所述点数据所属的对象信息，例如，目标场景中包括人、车辆等多个对象，则可通过点数据的语义信息识别，确定点云数据中的点数据对应的对象是人或是车辆，则可通过点数据的语义信息识别确定对应于人的所有点数据以及对应于车辆的所有点数据。
本实施例步骤104中，通过对点云数据进行第一离散卷积处理，目的使点云数据中的点数据与其他点数据之间的差异扩大化，从而获得所述点云数据中至少部分点云数据的空间结构特征，其中，所述空间结构特征表征在三维空间场景下的点云数据的特征，所述点云数据的特征可包括法线方向、曲率等等，通过对点云数据中至少部分点云数据的空间结构特征的确定，具体基于点云数据的法线方向、曲率等特征结合点云数据所在位置的确定，为后续确定目标场景中的对象以及该对象的类别，或者确定点云数据中至少一个点数据的语义信息提供了依据。
基于此，本实施例的技术方案适用于虚拟现实、增强现实、医疗、航空、智能驾驶、机器人等领域。例如在智能驾驶领域，通过对行驶车辆前方场景的点云数据的采集，对点云数据采用本实施例中的处理方式进行识别，可确定点云数据中各个点数据所属的对象，从而实现各点数据的语义分隔；或者还可确定点云数据对应的场景中的对象的分类，从而识别出行驶车辆前方场景中是包括有其他车辆，或是包括行人等，为行驶车辆后续执行的操作提供基础数据。
采用本发明实施例的技术方案，通过对点云数据进行插值处理，建立点云数据与第一离散卷积核之间的关联，也即获得表征点云数据分配至第一离散卷积核的权重向量对应位置处的权重，从而将离散的点云数据与离散卷积核的权重向量进行对齐，显式定义点云数据和第一离散卷积核之间的几何关系，以便于在离散卷积处理过程中能够更好的捕获点云数据的空间结构特征。
本发明实施例还提供了一种点云数据处理方法。图3为本发明实施例的点云数据处理方法的流程示意图二；如图3所示，所述方法包括：
步骤201：获得目标场景中的点云数据以及第一离散卷积核的权重向量；
步骤202：基于所述点云数据和所述第一离散卷积核的权重向量对所述点云数据进行插值处理，获得第一权重数据；所述第一权重数据表征所述点云数据分配至所述第一离散卷积核的权重向量对应位置处的权重；其中，所述第一离散卷积核的权重向量为n组，所述第一权重数据为n组，n为大于等于2的整数；
步骤203：基于第k组第一权重数据以及第k组第一卷积参数对第k组第一离散卷积核的权重向量和所述点云数据进行第k个第一离散卷积处理，获得第k个第一离散卷积结果；所述第k组第一卷积参数对应于第k个第一离散卷积处理的尺寸范围；k为大于等于1且小于等于n的整数；
步骤204：基于n个第一离散卷积结果确定所述点云数据的空间结构特征。
本实施例步骤201至步骤202的详细阐述具体可参照前述实施例中的步骤101至步骤102中的详细阐述，这里不再赘述。同理，本实施例各步骤中的插值处理和离散卷积处理的详细阐述具体可参照前述实施例中步骤102至步骤103的详细阐述，这里不再赘述。
在本发明的一种可选实施例中，针对步骤202，所述第一离散卷积核的权重向量为n组；则所述基于所述点云数据和所述第一离散卷积核的权重向量对所述点云数据进行插值处理，获得第一权重数据，包括：基于所述点云数据和第k组第一离散卷积核的权重向量分别对所述点云数据进行插值处理，获得第k组第一权重数据；k为大于等于1小于等于n的整数；n为大于等于2的整数。实际应用中，第一离散卷积核的权重向量可具有n组，将点云数据和n组第一离散卷积核的权重向量中的第k组第一离散卷积核的权重向量分别输入至插值函数，获得第k组第一权重数据。也就是说，将点云数据和n组第一离散卷积核的权重向量分别输入插值函数中，可获得n组第一权重数据。
本实施例中，三维离散卷积核在进行离散卷积处理过程中对应于一立方体区域，则该立方体区域的八个顶点对应于八个权重向量(记为第一离散卷积核的权重向量)，每个三维离散卷积核对应有卷积参数，也即该三维离散卷积核对应的第一离散卷积核的权重向量对应有卷积参数，所述卷积参数可包括卷积核大小和长度；其中，所述卷积核大小和长度决定卷积操作的尺寸范围，也即决定着立方体区域的大小或边长。
本实施例中，针对点云数据，采用第k组第一权重数据以及第k组第一卷积参数对第k组第一离散卷积核的权重向量和点云数据进行第k个第一离散卷积处理，获得第k个第一离散卷积结果，具体的第一离散卷积处理过程可参照前述实施例所述，这里不再赘述。实际应用中，本实施例中的插值处理和离散卷积处理可通过网络中的插值离散卷积层实现。可以理解，本实施例中通过n个插值离散卷积层分别对同一点云数据进行插值处理、离散卷积处理，从而获得n个第一离散卷积结果。
其中，所述第k组第一卷积参数对应于第k个第一离散卷积处理的尺寸范围，也就是说，n组第一卷积参数中至少部分第一卷积参数对应的离散卷积处理的尺寸范围不同。可以理解，所述第一卷积参数越大，离散卷积处理的尺寸范围越大，感受野越大；相应的，所述第一卷积参数越小，离散卷积处理的尺寸范围越小，感受野越小。本实施例可通过较小的第一卷积参数对应的一组第一离散卷积核的权重向量对点云数据进行离散卷积处理，获得目标对象表面精细的空间结构特征；可通过较大的第一卷积参数对应的一组第一离散卷积核的权重向量对点云数据进行离散卷积处理，获得背景的空间结构特征。可以理解，包含本实施例中的n个离散卷积层的网络，能够分别通过n组第一离散卷积核的权重向量中的第k组第一离散卷积核的权重向量以及对应的第k组第一卷积参数对点云数据进行插值处理以及离散卷积处理，该网络为具有多感受野的神经网络，能够捕获点云数据的表面精细的空间结构特征和背景信息的空间结构特征，有利于后续的点云数据的类别，即目标场景中的对象的类别(即分类任务)的确定，能够提升分类任务的准确性。
上述实施方式中，是针对点云数据基于n组第一离散卷积核的权重向量以及n组第一卷积参数采用并行的方式进行的一次的插值处理和离散卷积处理，基于获得的n个第一离散卷积结果确定所述点云数据的空间结构特征。在其他实施方式中，为了更好的识别点云数据的空间结构特征，可以依次进行多次的插值处理和离散卷积处理，在每次的插值处理和离散卷积处理过程中，可基于多组第一离散卷积核的权重向量以及多组第一卷积参数采用并行的方式进行插值处理和离散卷积处理。
在本发明的一种可选实施例中，所述基于所述n个第一离散卷积结果确定所述点云数据的空间结构特征，包括：基于第一处理数据和第二离散卷积核的权重向量对所述第一处理数据进行插值处理，获得第二权重数据；所述第二权重数据表征所述第一处理数据分配至所述第二离散卷积核的权重向量对应位置处的权重；其中，所述第一处理数据根据前一次离散卷积处理的结果确定，在前一次离散卷积处理的结果为n个第一离散卷积结果的情况下，所述第一处理数据根据所述n个第一离散卷积结果确定；基于所述第二权重数据和所述第二离散卷积核的权重向量对所述第一处理数据进行第二离散卷积处理，获得第二离散卷积结果；基于所述第二离散卷积结果，获得所述点云数据的空间结构特征。
作为一种实施方式，本实施例中对n个第一离散卷积结果进行整合，获得第一处理数据。实际应用中，可对n个第一离散卷积结果中的每个第一离散卷积结果中的对应通道的数据进行加权求和处理，从而获得第一处理数据。进一步采用第二离散卷积核的权重向量针对所述第一处理数据进行插值处理，以及，基于第二离散卷积核的权重向量和第二权重数据对所述第一数据进行离散卷积处理，获得第二离散卷积结果。其中，插值处理和离散卷积处理的具体实现方式与前述实施例相同，这里不再赘述。在其他实施方式中，可根据前一次离散卷积处理的结果确定所述第一处理数据，所述第一处理数据的确定方式与前述实施方式相似，这里不再赘述。
本实施例中，所述第二离散卷积核的权重向量为l组，所述第二权重数据为l组，l为大于等于2的整数；所述基于所述第二权重数据和所述第二离散卷积核的权重向量对所述第一处理数据重新进行离散卷积处理，包括：基于第m组第二权重数据以及第m组第二卷积参数对第m组第二离散卷积核的权重向量和所述第一处理数据进行第m个第二离散卷积处理，获得第m个第二离散卷积结果；所述第m组第二卷积参数对应于第m个离散卷积处理的尺寸范围；m为大于等于1且小于等于l的整数；所述基于第二离散卷积结果，获得所述点云数据的空间结构特征，包括：基于l个第二离散卷积结果确定所述点云数据的空间结构特征。其中，l的数值与n的数值相同或不同
可以理解，以点云数据依次进行两次的插值处理和离散卷积处理为例，则点云数据先通过n组第一离散卷积核的权重向量中的第k组第一离散卷积核的权重向量分别进行插值处理，以及通过n组第一离散卷积核的权重向量中的第k组第一离散卷积核的权重向量和n组第一卷积层参数中的第k组第一卷积参数分别进行离散卷积处理后，获得n个第一离散卷积结果；再将n个第一离散卷积结果整合为第一处理数据后，再通过l组第二离散卷积核的权重向量中的第m组第二离散卷积核的权重向量进行插值处理，以及通过l组第二离散卷积核的权重向量中的第m组第二离散卷积核的权重向量和l组第二卷积参数中的第m组第二卷积参数分别进行离散卷积处理，获得l个第二离散卷积结果，基于l个第二离散卷积过程确定所述点云数据的空间结构特征。也就是说，本实施例中的点云数据经过了插值-离散卷积-插值-离散卷积的处理过程，每次插值处理和离散卷积处理过程中又分别通过多条路径对点云数据进行插值处理和离散卷积处理。实际应用中，循环处理的次数可基于实际情况确定，例如可以为三次。
下面结合一具体的网络结构进行详细说明。
图4为本发明实施例的点云数据处理方法中的第一网络的结构示意图；以包括三组插值卷积层为例进行说明，每组插值卷积层可分别对输入数据进行插值处理和离散卷积处理，即每组插值卷积层可执行本实施例中的插值处理和离散卷积处理过程。如图4所示，将点云数据分别输入至三个插值卷积块(InterpConv Block)中进行插值处理和离散卷积处理；其中，每个插值卷积块中分别包括三个插值卷积层，依次包括1*1*1的插值卷积层(InterpConv)、3*3*3的插值卷积层和1*1*1的插值卷积层；其中，1*1*1的插值卷积层是用于调整通道(channel)的。不同的插值卷积块中的3*3*3的插值卷积层对应的卷积参数不同，例如第一个插值卷积块中3*3*3的插值卷积层对应的卷积参数l＝0.4，第二个插值卷积块中3*3*3的插值卷积层对应的卷积参数l＝0.2，第三个插值卷积块中3*3*3的插值卷积层对应的卷积参数l＝0.1。本示例中，卷积参数l表示卷积核长度(kernel length)。作为一种示例，卷积核长度的两倍(kernel length*2)可以表示图2所示的由八个权重向量形成的立方体的边长。
本示例中，输入的点云数据通过N*3的矩阵向量表示；点云数据分别通过三条路径的1*1*1的插值卷积层进行插值卷积处理后，获得的数据为32通道的数据，记为N*32；再将32通道的数据(即N*32)分别输入至3*3*3的插值卷积层，获得的数据为被下采样到原数据1/2的64通道的数据，记为N/2*64；再将下采样到原数据1/2的64通道的数据(N/2*64)输入至1*1*1的插值卷积层进行插值卷积处理后，获得被下采样到原数据1/2的128通道的数据，记为N/2*128。其中，上述处理过程可记为在一个点云处理块中的处理过程，该点云处理块中科包括三个插值卷积块(InterpConv Block)。在本示例中，可通过至少两个点云处理块重复对点云数据进行插值卷积处理，如图4所示，通过两个点云处理块重复对点云数据进行插值卷积处理。每个点云处理块中的插值卷积块的数量可相同也可不同，在本示例中两个点云处理块中的插值卷积块的数量是相同的，均为三个。将三个N/2*128数据进行整合后，再次通过点云处理块中的三个插值卷积块分别对整合后的N/2*128数据进行处理，处理过程与前述第一个点云数据块的处理过程相似。区别在于，第二个点云处理块中插值卷积块对应的卷积参数与第一个点云处理块中插值卷积块对应的卷积参数可不同，第二个点云处理块中插值卷积块对应的卷积参数大于第一个点云处理块中插值卷积块对应的卷积参数，例如第二个点云处理块中的第一个插值卷积块中3*3*3的插值卷积层对应的卷积参数l＝0.8，第一个点云处理块中的第一个插值卷积块中3*3*3的插值卷积层对应的卷积参数l＝0.4；第二个点云处理块中的第二个插值卷积块中3*3*3的插值卷积层对应的卷积参数l＝0.4，第一个点云处理块中的第二个插值卷积块中3*3*3的插值卷积层对应的卷积参数l＝0.2。可以理解，本实施例中在针对点云数据进行重复的插值处理和离散卷积处理过程中(即串行的插值卷积处理过程中)，每次的离散卷积处理对应的卷积参数是逐渐增大的。而采用不同的离散卷积核的权重向量和卷积参数分别对点云数据的插值处理和离散卷积处理过程中(即并行的插值卷积处理过程中)，不同的离散卷积处理对应的卷积参数可以是不同的。
进一步地，如图4所示，针对第二个点云处理块获得的三个N/4*256数据进行整合，具体是将三个N/4*256进行通道数相加后，获得768个通道的数据，记为N/4*768。对N/4*768通过1*1*1的插值卷积层进行插值卷积处理，获得1024个通道的数据，记为N/4*1024。基于最大池化层(Maxpooling)对N/4*1024进行最大池化处理，获得表征全局的特征向量的数据，记为1*1024。基于全连接层(FC)对1*1024进行处理，获得40个通道的数据，记为1*40，每个通道对应一个维度，也即输出40个维度的数据，每个维度对应一个类别。
在本发明的一种可选实施例中，所述方法还包括：步骤207：基于所述点云数据的空间结构特征确定所述目标场景中的对象的类别。
本实施例中，基于输出的表征点云数据的空间结构特征的多个维度的数据确定所述点云数据对应的对象的类别，也即确定目标场景中的对象的类别。具体的，基于所述多个维度的数据中数值最大的维度的数据确定所述对象的类别。例如，图4中所示的示例中，输出40个维度的数据，每个维度的数据可对应一个类别，则从40个维度的数据中确定数值最大的维度的数据，将数值最大的维度的数据对应的类别确定为所述对象的类别。
采用本发明实施例的技术方案，一方面，通过对点云数据进行插值处理，获得用于建立点云数据与第一离散卷积的关联的权重数据，也即获得表征点云数据分配至第一离散卷积核的权重向量对应位置的权重，从而使得将离散的点云数据与离散卷积核的权重向量进行对齐，便于在离散卷积处理过程中能够更好的捕获点云数据的空间结构特征；另一方面，通过不同的卷积参数的分别对点云数据进行离散卷积处理，实现了点云数据的表面精细的空间结构特征和背景信息的空间结构特征的获取，能够提升点云数据对应的对象分类的准确性。
本发明实施例还提供了一种点云数据处理方法。图5为本发明实施例的点云数据处理方法的流程示意图三；如图5所示，所述方法包括：
步骤301：获得目标场景中的点云数据以及第一离散卷积核的权重向量；
步骤302：基于所述点云数据和所述第一离散卷积核的权重向量对所述点云数据进行插值处理，获得第一权重数据；所述第一权重数据表征所述点云数据分配至所述第一离散卷积核的权重向量对应位置处的权重；
步骤303：基于所述第一权重数据和所述第一离散卷积核的权重向量对所述点云数据进行第一离散卷积处理，获得第一离散卷积结果；
步骤304：对所述第一离散卷积结果进行第一上采样处理，获得第一上采样处理结果；
步骤305：基于所述第一上采样处理结果获得所述点云数据中至少一个点数据的空间结构特征。
本实施例步骤301至步骤302的详细阐述具体可参照前述实施例中的步骤101至步骤102中的详细阐述，这里不再赘述。同理，本实施例各步骤中的插值处理和离散卷积处理的详细阐述具体可参照前述实施例中步骤102至步骤103的详细阐述，这里不再赘述。
本实施例中，为了能够提取出的点云数据中至少一个点数据的空间结构特征，从而后续便于基于至少一个点数据的空间结构特征确定至少一个点数据的语义信息，本实施例中在对点云数据进行第一离散卷积处理之后，由于离散卷积处理过程伴随着尺寸的缩小，因此需要对所述第一离散卷积结果进行第一上采样处理，从而恢复第一离散卷积结果的尺寸，也即将第一离散卷积结果的尺寸进行放大，获得第一上采样处理结果，基于所述第一上采样处理结果获得所述点云数据中至少一个点数据的空间结构特征。实际应用中，插值处理和离散卷积处理对应的结构可称为编码器结构，上采样处理对应的结构可称为解码器结构。
上述实施方式中，是针对点云数据的一次插值处理、离散卷积处理以及上采样处理，在其他实施方式中，为了更好的识别点云数据中的至少一个点数据的空间结构特征，可以依次进行多次的插值处理、离散卷积处理和上采样处理。
在本发明的一种可选实施例中，所述基于所述第一上采样处理结果获得所述点云数据中至少一个点数据的空间结构特征，包括：基于前一次上采样处理后的结果和第三离散卷积核的权重向量对所述前一次上采样处理后的结果进行插值处理，获得第三权重数据；所述第三权重数据表征前一次上采样处理后的结果分配至所述第三离散卷积核的权重向量对应位置处的权重；在前一次上采样处理是对第一离散卷积结果进行的第一上采样处理的情况下，前一次上采样处理后的结果为第一上采样结果；基于所述第三权重数据和所述第三离散卷积核的权重向量对所述前一次上采样处理后的结果进行第三离散卷积处理，获得第三离散卷积结果；对所述第三离散卷积结果进行第二上采样处理，获得第二上采样处理结果；基于所述第二上采样处理结果获得所述点云数据中至少一个点数据的空间结构特征。
可以理解，将点云数据进行一次插值处理、第一离散卷积处理以及第一上采样处理后，可重复进行插值处理，第二离散卷积处理以及第二上采样处理，重复的次数可依据实际情况预先配置。
下面结合一具体的网络结构进行详细说明。
图6为本发明实施例的点云数据处理方法中的第二网络的结构示意图；如图6所示，包括编码器和解码器；其中，所述编码器包括多个插值卷积层，通过所述多个插值卷积层依次对点云数据进行插值处理和离散卷积处理，每个插值卷积层可执行本实施例中的插值处理和离散卷积处理过程。其中，所述多个插值卷积层对应的卷积参数可不同。作为一种示例，所述多个插值卷积层各自对应的卷积参数可逐级增加。例如图6所示，第一个3*3*3的插值卷积层对应的卷积参数l＝0.05；第二个3*3*3的插值卷积层对应的卷积参数l＝0.1；第三个3*3*3的插值卷积层对应的卷积参数l＝0.2；第四个3*3*3的插值卷积层对应的卷积参数l＝0.4。本示例中，卷积参数l表示卷积核长度(kernel length)。作为一种示例，卷积核长度的两倍(kernel length*2)为图2所示的由八个权重向量形成的立方体的边长。
本示例中，输入的点云数据通过N*3的矩阵向量表示；点云数据通过第一个3*3*3的插值卷积层进行插值卷积处理后，获得的数据为被下采样到原数据1/2的16通道的数据，记为N/2*16；将下采样到原数据1/2的16通道的数据(N/2*16)输入至1*1*1的插值卷积层进行插值卷积处理后，获得通道数量调整为32通道的数据，记为N/2*32，可以理解，本发明各实施例中，1*1*1的插值卷积层均是同于调整通道数量的。将N/2*32的数据输入至第二个3*3*3的插值卷积层进行插值卷积处理，获得被下采样到原数据1/4的32通道的数据，记为N/4*32。将N/4*32的数据输入至1*1*1的插值卷积层进行插值卷积处理后，获得通道数量调整为64通道的数据，记为N/4*64。将N/4*64的数据输入至第三个3*3*3的插值卷积层进行插值卷积处理，获得的数据为被下采样到原数据1/8的32通道的数据，记为N/8*64。将N/8*64的数据输入至1*1*1的插值卷积层进行插值卷积处理后，获得通道数量调整为128通道的数据，记为N/8*128。将N/8*128的数据输入至第四个3*3*3的插值卷积层进行插值卷积处理，获得的数据为被下采样到原数据1/16的128通道的数据，记为N/16*128。将N/16*128的数据输入至1*1*1的插值卷积层进行插值卷积处理后，获得通道数量调整为256通道的数据，记为N/16*256。以上可作为网络的编码器结构的处理过程。
进一步地，对N/16*256数据进行上采样(Upsampling)处理，获得的数据为被上采样到原数据1/8的256通道的数据，记为N/8*256；对N/8*256数据进行上采样处理，获得的数据为被上采样到原数据1/4的128通道的数据，记为N/4*128；对N/4*128数据进行上采样处理，获得的数据为被上采样到原数据1/2的128通道的数据，记为N/2*128；对N/2*128数据进行上采样处理，获得的数据为被上采样到原数据的128通道的数据，记为N*128。将N*128数据输入至1*1*1的插值卷积层进行插值卷积处理后，获得N*m的数据，其中，m可表示为点云数据中的点云的数量，也即获得对应于每个点云的多个维度的特征数据。
在本发明的一种可选实施例中，所述方法还包括步骤306：基于所述点云数据中至少一个点数据的空间结构特征确定所述至少一个点数据的语义信息。
本实施例中，基于输出的表征至少一个点数据的空间结构特征的多个维度的数据确定所述至少一个点数据的语义信息，也即确定所述至少一个点数据的类别，所述点数据的类别表明所述点数据所属的对象信息，例如，目标场景中包括人、车辆等多个对象，则可通过点数据的语义信息识别，确定点云数据中的点数据对应的对象是人或是车辆，则可通过点数据的语义信息识别确定对应于人的所有点数据以及对应于车辆的所有点数据。具体的，基于所述至少一个点数据中每个点数据对应的多个维度的特征数据中数值最大的维度的数据确定该点数据的语义信息。例如，图6中所示的示例中，针对每个点数据输出N个维度的特征数据，每个维度的数据可对应一个类别，则从N个维度的数据中确定数值最大的维度的数据，将数值最大的维度的数据对应的类别确定为该点数据的语义信息。
采用本发明实施例的技术方案，通过对点云数据进行插值处理，获得用于建立点云数据与第一离散卷积的关联的权重数据，也即获得表征点云数据分配至第一离散卷积核的权重向量对应位置的权重，从而使得将离散的点云数据与离散卷积核的权重向量进行对齐，便于在离散卷积处理过程中能够更好的捕获点云数据的空间结构特征，从而更好的获取点云数据的语义信息。
本发明实施例还提供了一种点云数据处理装置。图7为本发明实施例的点云数据处理装置的组成结构示意图一；如图7所示，所述装置包括：获取单元41、插值处理单元42和特征获取单元43；其中，
所述获取单元41，用于获得目标场景中的点云数据以及第一离散卷积核的权重向量；
所述插值处理单元42，用于基于所述点云数据和所述第一离散卷积核的权重向量对所述点云数据进行插值处理，获得第一权重数据；所述第一权重数据表征所述点云数据分配至所述第一离散卷积核的权重向量对应位置处的权重；
所述特征获取单元43，用于基于所述第一权重数据和所述第一离散卷积核的权重向量对所述点云数据进行第一离散卷积处理，获得第一离散卷积结果；基于所述第一离散卷积结果获得所述点云数据中至少部分点云数据的空间结构特征。
本实施例中，可选地，所述插值处理单元42，用于基于所述点云数据和所述第一离散卷积核的权重向量按照预设的插值处理方式获得第一权重数据，所述第一权重数据表征将所述点云数据分配至满足预设条件的第一离散卷积核的权重向量对应位置的权重；其中，所述点云数据位于所述满足预设条件的第一离散卷积核的权重向量所围成的特定几何形状区域内。
可选地，所述特征获取单元43，还用于基于所述第一权重数据和所述第一离散卷积核的权重向量对所述点云数据进行第一离散卷积处理，获得第一离散卷积结果；基于归一化参数对第一离散卷积结果进行归一化处理；所述归一化参数是根据所述点云数据所在的所述特定几何形状区域内的点云数据的数量确定的；基于归一化处理后的结果，获得所述点云数据中至少部分点云数据的空间结构特征。
作为一种实施方式，所述第一离散卷积核的权重向量为n组，所述第一权重数据为n组，n为大于等于2的整数；所述特征获取单元43，用于基于第k组第一权重数据以及第k组第一卷积参数对第k组第一离散卷积核的权重向量和所述点云数据进行第k个第一离散卷积处理，获得第k个第一离散卷积结果；所述第k组第一卷积参数对应于第k个离散卷积处理的尺寸范围；k为大于等于1小于且等于n的整数；基于n个第一离散卷积结果确定所述点云数据的空间结构特征。
在本发明的一种可选实施例中，所述插值处理单元42，还用于基于第一处理数据和第二离散卷积核的权重向量对所述第一处理数据进行插值处理，获得第二权重数据；所述第二权重数据表征所述第一处理数据分配至所述第二离散卷积核的权重向量对应位置处的权重；其中，所述第一处理数据根据前一次离散卷积处理的结果确定，在前一次离散卷积处理的结果为n个第一离散卷积结果的情况下，所述第一处理数据根据所述n个第一离散卷积结果确定；
所述特征获取单元43，还用于基于所述第二权重数据和所述第二离散卷积核的权重向量对所述第一处理数据进行第二离散卷积处理，获得第二离散卷积结果；基于所述第二离散卷积结果，获得所述点云数据的空间结构特征。
其中，可选地，所述第二离散卷积核的权重向量为l组，所述第二权重数据为l组，l为大于等于2的整数；所述特征获取单元43，用于基于第m组第二权重数据以及第m组第二卷积参数对第m组第二离散卷积核的权重向量和所述第一处理数据进行第m个第二离散卷积处理，获得第m个第二离散卷积结果；所述第m组第二卷积参数对应于第m个离散卷积处理的尺寸范围；m为大于等于1且小于等于l的整数；还用于基于l个第二离散卷积结果确定所述点云数据的空间结构特征。
在本发明的一种可选实施例中，如图8所示，所述装置还包括第一确定单元44，用于基于所述点云数据的空间结构特征确定所述目标场景中的对象的类别。
作为另一种实施方式，所述特征获取单元43，用于基于所述第一权重数据和所述第一离散卷积核的权重向量对所述点云数据进行第一离散卷积处理，获得第一离散卷积结果；对所述第一离散卷积结果进行第一上采样处理，获得第一上采样处理结果；基于所述第一上采样处理结果获得所述点云数据中至少一个点数据的空间结构特征。
在本发明的另一种可选实施例中，可选地，所述插值处理单元42，还用于基于前一次上采样处理后的结果和第三离散卷积核的权重向量对所述前一次上采样处理后的结果进行插值处理，获得第三权重数据；所述第三权重数据表征所述前一次上采样处理后的结果分配至所述第三离散卷积核的权重向量对应位置处的权重；在前一次上采样处理是对第一离散卷积结果进行的第一上采样处理的情况下，前一次上采样处理后的结果为第一上采样结果；
所述特征获取单元43，还用于基于所述第三权重数据和所述第三离散卷积核的权重向量对所述前一次上采样处理后的结果进行第三离散卷积处理，获得第三离散卷积结果；对所述第三离散卷积结果进行第二上采样处理，获得第二上采样处理结果；基于所述第二上采样处理结果获得所述点云数据中至少一个点数据的空间结构特征。
在本发明的一种可选实施例中，如图9所示，所述装置还包括第二确定单元45，用于基于所述点云数据中至少一个点数据的空间结构特征确定所述至少一个点数据的语义信息。
本发明实施例中，所述装置中的获取单元41、插值处理单元42、特征获取单元43、第一确定单元44和第二确定单元45，在实际应用中均可由中央处理器(CPU，CentralProcessing Unit)、数字信号处理器(DSP，Digital Signal Processor)、微控制单元(MCU，Microcontroller Unit)或可编程门阵列(FPGA，Field－Programmable Gate Array)实现。
需要说明的是：上述实施例提供的点云数据处理装置在进行点云数据处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的点云数据处理装置与点云数据处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本发明实施例还提供了一种电子设备。图10为本发明实施例的电子设备的组成结构示意图；如图10所示，包括存储器52、处理器51及存储在存储器52上并可在处理器51上运行的计算机程序，所述处理器51执行所述程序时实现本发明实施例所述点云数据处理方法的步骤。
可选地，电子设备中的各个组件可通过总线系统53耦合在一起。可理解，总线系统53用于实现这些组件之间的连接通信。总线系统53除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为总线系统53。
可以理解，存储器52可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器52旨在包括但不限于这些和任意其它适合类型的存储器。
上述本发明实施例揭示的方法可以应用于处理器51中，或者由处理器51实现。处理器51可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器51中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器51可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器51可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器52，处理器51读取存储器52中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，电子设备可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、FPGA、通用处理器、控制器、MCU、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。
在示例性实施例中，本发明实施例还提供了一种计算机存储介质，例如包括计算机程序的存储器52，上述计算机程序可由电子设备的处理器51执行，以完成前述方法所述步骤。计算机存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
本发明实施例提供的计算机存储介质，其上存储有计算机指令，该指令被处理器执行时实现本发明实施例所述的点云数据处理方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种点云数据处理方法，其特征在于，所述方法包括：
获得目标场景中的点云数据以及第一离散卷积核的权重向量；
基于所述点云数据和所述第一离散卷积核的权重向量对所述点云数据进行插值处理，获得第一权重数据；所述第一权重数据表征所述点云数据分配至所述第一离散卷积核的权重向量对应位置处的权重；
基于所述第一权重数据和所述第一离散卷积核的权重向量对所述点云数据进行第一离散卷积处理，获得第一离散卷积结果；
基于所述第一离散卷积结果，获得所述点云数据中至少部分点云数据的空间结构特征。
2.根据权利要求1所述的方法，其特征在于，所述基于所述点云数据和所述第一离散卷积核的权重向量对所述点云数据进行插值处理，获得第一权重数据，包括：
基于所述点云数据和所述第一离散卷积核的权重向量按照预设的插值处理方式获得第一权重数据，所述第一权重数据表征将所述点云数据分配至满足预设条件的第一离散卷积核的权重向量对应位置处的权重；
其中，所述点云数据位于所述满足预设条件的第一离散卷积核的权重向量所围成的特定几何形状区域内。
3.根据权利要求2所述的方法，其特征在于，在获得所述第一离散卷积结果之后，所述方法还包括：
基于归一化参数对第一离散卷积结果进行归一化处理；所述归一化参数是根据所述点云数据所在的所述特定几何形状区域内的点云数据的数量确定的；
所述基于所述第一离散卷积结果，获得所述点云数据中至少部分点云数据的空间结构特征，包括：
基于归一化处理后的结果，获得所述点云数据中至少部分点云数据的空间结构特征。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述第一离散卷积核的权重向量为n组，所述第一权重数据为n组，n为大于等于2的整数；
所述基于所述第一权重数据和所述第一离散卷积核的权重向量对所述点云数据进行第一离散卷积处理，获得第一离散卷积结果，包括：
基于第k组第一权重数据以及第k组第一卷积参数对第k组第一离散卷积核的权重向量和所述点云数据进行第k个第一离散卷积处理，获得第k个第一离散卷积结果；所述第k组第一卷积参数对应于第k个第一离散卷积处理的尺寸范围；k为大于等于1且小于等于n的整数；
所述基于所述第一离散卷积结果，获得所述点云数据中至少部分点云数据的空间结构特征，包括：
基于n个第一离散卷积结果确定所述点云数据的空间结构特征。
5.根据权利要求4所述的方法，其特征在于，所述基于所述n个第一离散卷积结果确定所述点云数据的空间结构特征，包括：
基于第一处理数据和第二离散卷积核的权重向量对所述第一处理数据进行插值处理，获得第二权重数据；所述第二权重数据表征所述第一处理数据分配至所述第二离散卷积核的权重向量对应位置处的权重；其中，所述第一处理数据根据前一次离散卷积处理的结果确定，在前一次离散卷积处理的结果为n个第一离散卷积结果的情况下，所述第一处理数据根据所述n个第一离散卷积结果确定；
基于所述第二权重数据和所述第二离散卷积核的权重向量对所述第一处理数据进行第二离散卷积处理，获得第二离散卷积结果；
基于所述第二离散卷积结果，获得所述点云数据的空间结构特征。
6.根据权利要求5所述的方法，其特征在于，所述第二离散卷积核的权重向量为l组，所述第二权重数据为l组，l为大于等于2的整数；
所述基于所述第二权重数据和所述第二离散卷积核的权重向量对所述第一处理数据重新进行离散卷积处理，包括：
基于第m组第二权重数据以及第m组第二卷积参数对第m组第二离散卷积核的权重向量和所述第一处理数据进行第m个第二离散卷积处理，获得第m个第二离散卷积结果；所述第m组第二卷积参数对应于第m个第二离散卷积处理的尺寸范围；m为大于等于1且小于等于l的整数；
所述基于第二离散卷积结果，获得所述点云数据的空间结构特征，包括：
基于l个第二离散卷积结果确定所述点云数据的空间结构特征。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：
基于所述点云数据的空间结构特征确定所述目标场景中的对象的类别。
8.一种点云数据处理装置，其特征在于，所述装置包括：获取单元、插值处理单元和特征获取单元；其中，
所述获取单元，用于获得目标场景中的点云数据以及第一离散卷积核的权重向量；
所述插值处理单元，用于基于所述点云数据和所述第一离散卷积核的权重向量对所述点云数据进行插值处理，获得第一权重数据；所述第一权重数据表征所述点云数据分配至所述第一离散卷积核的权重向量对应位置处的权重；
所述特征获取单元，用于基于所述第一权重数据和所述第一离散卷积核的权重向量对所述点云数据进行第一离散卷积处理，获得第一离散卷积结果；基于所述第一离散卷积结果获得所述点云数据中至少部分点云数据的空间结构特征。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述方法的步骤。
CN201910430700.7A 2019-05-22 2019-05-22 点云数据处理方法、装置、电子设备及存储介质 Active CN110163906B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201910430700.7A CN110163906B (zh) 2019-05-22 2019-05-22 点云数据处理方法、装置、电子设备及存储介质
PCT/CN2019/121776 WO2020233069A1 (zh) 2019-05-22 2019-11-28 点云数据处理方法、装置、电子设备及存储介质
SG11202010693SA SG11202010693SA (en) 2019-05-22 2019-11-28 Method and device for processing point cloud data, electronic device and storage medium
JP2020565957A JP7475287B2 (ja) 2019-05-22 2019-11-28 ポイントクラウドデータの処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム
KR1020207031573A KR102535158B1 (ko) 2019-05-22 2019-11-28 포인트 클라우드 데이터 처리 방법, 장치, 전자 기기 및 저장 매체
US17/082,686 US20210042501A1 (en) 2019-05-22 2020-10-28 Method and device for processing point cloud data, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910430700.7A CN110163906B (zh) 2019-05-22 2019-05-22 点云数据处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110163906A true CN110163906A (zh) 2019-08-23
CN110163906B CN110163906B (zh) 2021-10-29

Family

ID=67632023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910430700.7A Active CN110163906B (zh) 2019-05-22 2019-05-22 点云数据处理方法、装置、电子设备及存储介质

Country Status (6)

Country Link
US (1) US20210042501A1 (zh)
JP (1) JP7475287B2 (zh)
KR (1) KR102535158B1 (zh)
CN (1) CN110163906B (zh)
SG (1) SG11202010693SA (zh)
WO (1) WO2020233069A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969689A (zh) * 2019-12-03 2020-04-07 上海眼控科技股份有限公司 点云特征提取方法、装置、计算机设备和存储介质
WO2020233069A1 (zh) * 2019-05-22 2020-11-26 北京市商汤科技开发有限公司 点云数据处理方法、装置、电子设备及存储介质
CN112935703A (zh) * 2021-03-19 2021-06-11 山东大学 识别动态托盘终端的移动机器人位姿校正方法及系统
CN112991473A (zh) * 2021-03-19 2021-06-18 华南理工大学 一种基于立方体模板的神经网络编码解码方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113189634B (zh) * 2021-03-02 2022-10-25 四川新先达测控技术有限公司 一种类高斯成形方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550688A (zh) * 2015-12-04 2016-05-04 百度在线网络技术（北京）有限公司 点云数据的分类方法及装置
CN107918753A (zh) * 2016-10-10 2018-04-17 腾讯科技（深圳）有限公司 点云数据处理方法及装置
CN108230329A (zh) * 2017-12-18 2018-06-29 孙颖 基于多尺度卷积神经网络的语义分割方法
CN109410307A (zh) * 2018-10-16 2019-03-01 大连理工大学 一种场景点云语义分割方法
CN109597087A (zh) * 2018-11-15 2019-04-09 天津大学 一种基于点云数据的3d目标检测方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69430153T2 (de) * 1993-06-21 2002-09-05 Nippon Telegraph & Telephone Verfahren und Vorrichtung zur dreidimensionalen Bilderzeugung von Objekten
RU2416783C2 (ru) * 2005-06-28 2011-04-20 Скэнэлайз Пти Лтд Система и способ измерения и составления карты поверхности относительно репера
CN101063967B (zh) * 2006-04-28 2010-11-10 鸿富锦精密工业（深圳）有限公司 点云自动修剪系统及方法
EP2097818A4 (en) * 2006-11-22 2014-01-29 Parkervision Inc MULTIDIMENSIONAL ERROR CORRECTION FOR COMMUNICATION SYSTEMS
US10378891B2 (en) * 2007-12-28 2019-08-13 Outotec Pty Ltd System and method for measuring and mapping a surface relative to a reference
US9068809B1 (en) * 2013-06-06 2015-06-30 The Boeing Company Quasi-virtual locate/drill/shim process
CN105590311A (zh) * 2014-11-13 2016-05-18 富泰华工业（深圳）有限公司 图形化平面数据分析系统及方法
US10459084B2 (en) * 2014-12-30 2019-10-29 Nokia Technologies Oy Range sensing using a hybrid range sensing device
US11458034B2 (en) * 2016-05-03 2022-10-04 Icarus Medical, LLC Method for automating body part sizing
CN107358655B (zh) * 2017-07-27 2020-09-22 秦皇岛燕大燕软信息系统有限公司 基于离散平稳小波变换的半球面和圆锥面模型的辨识方法
US11500099B2 (en) * 2018-03-14 2022-11-15 Uatc, Llc Three-dimensional object detection
US10572770B2 (en) * 2018-06-15 2020-02-25 Intel Corporation Tangent convolution for 3D data
CN108921939A (zh) * 2018-07-04 2018-11-30 王斌 一种基于图片的三维场景重建方法
CN110163906B (zh) 2019-05-22 2021-10-29 北京市商汤科技开发有限公司 点云数据处理方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550688A (zh) * 2015-12-04 2016-05-04 百度在线网络技术（北京）有限公司 点云数据的分类方法及装置
CN107918753A (zh) * 2016-10-10 2018-04-17 腾讯科技（深圳）有限公司 点云数据处理方法及装置
CN108230329A (zh) * 2017-12-18 2018-06-29 孙颖 基于多尺度卷积神经网络的语义分割方法
CN109410307A (zh) * 2018-10-16 2019-03-01 大连理工大学 一种场景点云语义分割方法
CN109597087A (zh) * 2018-11-15 2019-04-09 天津大学 一种基于点云数据的3d目标检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ALI CHERAGHIAN ET AL.: "3DCapsule: Extending the Capsule Architecture to Classify 3D Point Clouds", 《ARXIV》 *
CHARLES R. QI ET AL.: "PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation", 《ARXIV》 *
KAIMING HE ET AL.: "Mask R-CNN", 《ARXIV》 *
MAXIM TATARCHENKO ET AL.: "Tangent Convolutions for Dense Prediction in 3D", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
WENXUAN WU ET AL.: "PointConv: Deep Convolutional Networks on 3D Point Clouds", 《ARXIV》 *
YIZHAK BEN-SHABAT ET AL.: "3D Point Cloud Classification and Segmentation using 3D Modified Fisher Vector Representation for Convolutional Neural Networks", 《ARXIV》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020233069A1 (zh) * 2019-05-22 2020-11-26 北京市商汤科技开发有限公司 点云数据处理方法、装置、电子设备及存储介质
KR20200139761A (ko) * 2019-05-22 2020-12-14 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 포인트 클라우드 데이터 처리 방법, 장치, 전자 기기 및 저장 매체
KR102535158B1 (ko) 2019-05-22 2023-05-22 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 포인트 클라우드 데이터 처리 방법, 장치, 전자 기기 및 저장 매체
CN110969689A (zh) * 2019-12-03 2020-04-07 上海眼控科技股份有限公司 点云特征提取方法、装置、计算机设备和存储介质
CN112935703A (zh) * 2021-03-19 2021-06-11 山东大学 识别动态托盘终端的移动机器人位姿校正方法及系统
CN112991473A (zh) * 2021-03-19 2021-06-18 华南理工大学 一种基于立方体模板的神经网络编码解码方法及系统
CN112935703B (zh) * 2021-03-19 2022-09-27 山东大学 识别动态托盘终端的移动机器人位姿校正方法及系统

Also Published As

Publication number Publication date
WO2020233069A1 (zh) 2020-11-26
SG11202010693SA (en) 2020-12-30
KR20200139761A (ko) 2020-12-14
JP2021528726A (ja) 2021-10-21
US20210042501A1 (en) 2021-02-11
JP7475287B2 (ja) 2024-04-26
KR102535158B1 (ko) 2023-05-22
CN110163906B (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN110163906A (zh) 点云数据处理方法、装置、电子设备及存储介质
Howard et al. Mobilenets: Efficient convolutional neural networks for mobile vision applications
EP3746945B1 (en) Improving performance of neural network arrays
EP3349153B1 (en) Convolutional neural network (cnn) processing method and apparatus
TWI811291B (zh) 深度學習加速器及加快深度學習操作的方法
CN110674829B (zh) 一种基于图卷积注意网络的三维目标检测方法
CN109558832A (zh) 一种人体姿态检测方法、装置、设备及存储介质
CN110659664B (zh) 一种基于ssd的高精度识别小物体的方法
JP2021526276A (ja) 画像分割と分割ネットワークトレーニング方法および装置、機器、媒体、並びに製品
CN105608490B (zh) 细胞阵列计算系统以及其中的通信方法
KR102038390B1 (ko) 고효율 병렬 처리를 위한 인공 신경망 모듈 및 이의 스케쥴링 방법
CN110322520A (zh) 图像主色提取方法、装置、电子设备及存储介质
CN107169954A (zh) 一种基于并行卷积神经网络的图像显著性检测方法
CN111860138A (zh) 基于全融合网络的三维点云语义分割方法及系统
CN113159232A (zh) 一种三维目标分类、分割方法
CN111611925A (zh) 一种建筑物检测与识别方法及装置
KR102128789B1 (ko) 심층 합성곱 뉴럴 네트워크를 위한 효율적인 팽창 합성곱 기법을 제공하는 방법 및 장치
DE102017117381A1 (de) Beschleuniger für dünnbesetzte faltende neuronale Netze
DE102021114013A1 (de) Techniken zum effizienten abtasten eines bildes
CN116403062A (zh) 一种点云目标检测方法、系统、设备及介质
JPH01204181A (ja) オブジエクト相互間の干渉を調べる方法
DE102022128966A1 (de) Parallelverarbeitung zur kombinatorischen optimierung
CN116977683A (zh) 对象识别方法、装置、计算机设备、存储介质和程序产品
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
JP2022520912A (ja) データ処理方法、装置及びチップ、電子機器、記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant