CN113052131A - 点云数据处理、自动驾驶车辆控制方法及装置 - Google Patents

点云数据处理、自动驾驶车辆控制方法及装置 Download PDF

Info

Publication number
CN113052131A
CN113052131A CN202110424822.2A CN202110424822A CN113052131A CN 113052131 A CN113052131 A CN 113052131A CN 202110424822 A CN202110424822 A CN 202110424822A CN 113052131 A CN113052131 A CN 113052131A
Authority
CN
China
Prior art keywords
point cloud
point
cloud data
feature vector
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110424822.2A
Other languages
English (en)
Inventor
何欣栋
刘浩
曾星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202110424822.2A priority Critical patent/CN113052131A/zh
Publication of CN113052131A publication Critical patent/CN113052131A/zh
Priority to PCT/CN2022/086638 priority patent/WO2022222827A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了一种点云数据处理、自动驾驶车辆控制方法及装置，包括：获取待识别的点云数据；将所述点云数据对应的点云空间按照预设尺寸划分栅格，确定所述点云数据指示的每个点云点所在的栅格的索引信息；对所述点云数据中的每个点云点的数据进行特征提取，确定所述每个点云点的第一特征向量；基于所述点云数据中每个点云点的第一特征向量和各个点云点所在的栅格的索引信息，生成所述点云数据中每个点云点的第二特征向量。

Description

点云数据处理、自动驾驶车辆控制方法及装置
技术领域
本公开涉及计算机技术领域，具体而言，涉及一种点云数据处理、自动驾驶车辆控制方法及装置。
背景技术
自动驾驶车辆在行驶过程中，会对当前时刻采集的点云数据提取点云特征，然后基于提取的点云特征，对自动驾驶车辆周围的障碍物进行识别，再根据识别结果对自动驾驶车辆进行控制。
相关技术中，在对点云数据进行点云特征提取时，一般是通过体素特征编码(Voxel Feature Encoding，VFE)网络进行提取，在提取过程中，一般是将点云数据所在的点云空间划分成同等尺寸的栅格，然后通过补零或者下采样的方式使得落入各个栅格内的点云点的个数相同，再对各个栅格内的点云点进行特征提取。
然而这种方法在进行特征提取时，容易受到补零或者下采样操作的影响，提取的点云特征精度较低。
发明内容
本公开实施例至少提供一种点云数据处理、自动驾驶车辆控制方法及装置。
第一方面，本公开实施例提供了一种点云数据处理方法，包括：
获取待识别的点云数据；
将所述点云数据对应的点云空间按照预设尺寸划分栅格，确定所述点云数据指示的每个点云点所在的栅格的索引信息；
对所述点云数据中的每个点云点的数据进行特征提取，确定所述每个点云点的第一特征向量；
基于所述点云数据中每个点云点的第一特征向量和各个点云点所在的栅格的索引信息，生成所述点云数据中每个点云点的第二特征向量。
本公开提供的上述方法中，在对点云点进行特征提取时，是将每个点云点作为一个独立的样本直接进行的特征提取，提取出的每个点云点的第一特征向量保持了每个点云点本身的特征的独立性，不会受到其他点云点特征的影响；再结合点云点所在的栅格的索引信息和点云点的第一特征向量，生成的点云点的第二特征向量，这样提取出的点云点的第二特征向量比较精确，在基于第二特征向量进行物体识别时，识别精度较高，另外，由于无需进行补零操作，实际中参与运算的点云点的个数相比较于现有技术有所减少，因此提高了点云特征提取的效率。
一种可能的实施方式中，所述对所述点云数据中的每个点云点的数据进行特征提取，确定所述每个点云点的第一特征向量，包括：
基于所述点云数据，生成用于表征所述点云数据中每个点云点的属性信息的初始特征向量；
基于添加有偏置参数的多层感知机对所述初始特征向量进行特征提取后，再通过激活函数处理，得到所述点云数据中每个点云点的第一特征向量。
通过这种方式，在进行特征提取时，去除了归一化层，可以保证每个点云点的特征不受其他点云点特征的影响，保证了点云特征的独立性。
一种可能的实施方式中，所述基于所述点云数据中每个点云点的第一特征向量和各个点云点所在的栅格的索引信息，生成所述点云数据的第二特征向量，包括：
基于所述每个点云点的第一特征向量和各个点云点所在的栅格的索引信息进行最大池化运算，确定每个栅格对应的第三特征向量；
将所述每个点云点的第一特征向量与该点云点所在的栅格对应的第三特征向量进行拼接，得到所述点云数据中每个点云点对应的第二特征向量。
一种可能的实施方式中，所述基于所述每个点云点的第一特征向量和各个点云点所在的栅格的索引信息进行最大池化运算，确定每个栅格对应的第三特征向量，包括：
基于各个点云点所在的栅格的索引信息，确定属于同一栅格的点云点的第一特征向量；
基于所述属于同一栅格的点云点的第一特征向量进行最大池化运算，确定每个栅格对应的第三特征向量。
由于在进行点云特征提取时，是将每个点都作为样本数据进行特征提取，因此在得到第一特征向量之后，是无法确定各个点云点属于哪个栅格的，通过预先存储索引信息，可以确定属于同一栅格的点云点，进而实现同一栅格的点云点的最大池化处理。
一种可能的实施方式中，在生成所述点云数据中每个点云点的第二特征向量之后，所述方法还包括：
将生成的第二特征向量作为更新后的初始特征向量，并返回执行对所述初始特征向量进行特征提取的步骤，直至满足预设截止条件。
通过多次循环执行特征提取的步骤，可以使得最终得到的第二特征向量精度更高，进而在基于第二特征向量进行目标检测时，检测结果更准确。
一种可能的实施方式中，在生成所述点云数据中每个点云点的第二特征向量之后，所述方法还包括：
基于所述第二特征向量进行目标检测，得到所述点云数据对应的目标检测结果。
一种可能的实施方式中，所述最大池化运算的运算参数包括线程个数、线程块个数；
根据以下方法确定所述最大池化运算的运算参数：
获取所述最大池化运算的初始运算参数；以及，接收针对所述运算参数的修改指令；
基于所述修改指令，调整所述运算参数的取值。
第二方面，本公开实施例提供了一种自动驾驶车辆控制方法，包括：
获取自动驾驶车辆行驶过程中采集的点云数据；
基于如第一方面或第一方面任一种可能的实施方式所述的方法，确定所述点云数据对应的第二特征向量，并基于所述第二特征向量进行障碍物检测；
基于障碍物检测结果，控制所述自动驾驶车辆的行驶。
第三方面，本公开实施例还提供一种点云数据处理装置，包括：
第一获取模块，用于获取待识别的点云数据；
第一确定模块，用于将所述点云数据对应的点云空间按照预设尺寸划分栅格，确定所述点云数据指示的每个点云点所在的栅格的索引信息；
第二确定模块，用于对所述点云数据中的每个点云点的数据进行特征提取，确定所述每个点云点的第一特征向量；
生成模块，用于基于所述点云数据中每个点云点的第一特征向量和各个点云点所在的栅格的索引信息，生成所述点云数据中每个点云点的第二特征向量。
第四方面，本公开实施例还提供了一种自动驾驶车辆控制装置，包括：
第二获取模块，用于获取自动驾驶车辆行驶过程中采集的点云数据；
第三确定模块，用于基于如第一方面或第一方面任一种可能的实施方式所述的方法，确定所述点云数据对应的第二特征向量，并基于所述第二特征向量进行障碍物检测；
控制模块，用于基于障碍物检测结果，控制所述自动驾驶车辆的行驶。
第五方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤，或执行上述第二方面所述的步骤。
第六方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤，或执行上述第二方面所述的步骤。
关于上述点云数据处理装置、计算机设备、及计算机可读存储介质的效果描述参见上述点云数据处理方法的说明，这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的VFE网络进行点云特征提取的示意图；
图2示出了本公开实施例所提供的一种点云数据处理方法的流程图；
图3示出了本公开实施例所提供的点云数据处理方法中，第一特征向量确定方法的流程图；
图4示出了本公开实施例所提供的点云数据处理方法中，第二特征向量确定方法的流程图；
图5示出了本公开实施例所提供的一种点云数据处理方法的示意图；
图6示出了本公开实施例所提供的一种自动驾驶车辆控制方法的流程示意图；
图7示出了本公开实施例所提供的一种点云数据处理装置的架构示意图；
图8示出了本公开实施例所提供的一种自动驾驶车辆控制装置的架构示意图；
图9示出了本公开实施例所提供的计算机设备900的结构示意图；
图10示出了本公开实施例所提供的计算机设备1000的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
相关技术中，在对点云特征进行特征提取时，一般是通过VFE网络进行提取，具体的提取过程如下图1所示：
首先，在获取到任一帧点云数据之后，可以将该点云数据对应的三维空间，按照l*w*h的尺寸进行分块，得到多个尺寸相同的栅格，然后确定落入每个栅格内的点云点的个数。针对任一栅格，若该栅格内的点云点的个数大于预设个数Q，则从落入该栅格内的点云点中随机选取Q个点云点作为该栅格内的点云点，若该栅格内的点云点的个数小于预设个数Q，则在该栅格内进行补零操作(即在该栅格内增加虚拟点云点，该点云点的坐标及强度均为0)，以增加该栅格内的点云点的个数。
经过上述操作，L*W*H的三维空间内的每个栅格内点云个数均是Q，然后将L*W*H的三维空间内的点云数据作为一个批次(batch)，每个栅格作为一个batch内的样本数据，这样若有N个栅格，则一个batch中可以得到N个样本数据，每个样本数据中包括Q个点云点。
这里，具体的，一帧点云数据可以通过维度为N*4的点云张量存储，“N”表示该任一帧点云数据中点云点的个数，“4”表示每个点云点的属性信息，所述属性信息包括该点云点的三维坐标以及反射强度。在将点云空间按照上述方法进行栅格化处理后，实际上是先将N*4的点云张量转换为J*K*H*Q*4维的张量，这里J*K*H是指切分成了J*K*H个栅格，每个栅格内有Q个点云点，每个点云点是4维的，所述将每个栅格作为一个batch内的样本数据，可以是将J*K*H*Q*4维的张量按照预设顺序进行排列，变成[J*K*H，4，Q，1]的张量，这里，所述四维张量的取值分别表示每个样本数据的个数、通道数、高度、宽度。
然后，针对一个batch内的样本数据，再去进行特征提取(实际上是对四维张量进行特征提取)，具体的，如图1所示，可以依次经过多层感知器(Muti－Layer Perception，MLP)、批量归一化层(Batch Normalization，BN)、以及激活函数Relu处理后，得到每个点云的初步特征。
由于在前边对部分栅格内进行了补零操作，因此为了避免零点对于最终的特征提取的影响，针对每个栅格，可以生成该栅格的掩码mask，每个栅格的mask中零点对应的位置的取值为0，非零点的点云点对应的位置的取值为1，将各个栅格的mask粘贴起来(例如可以通过tile操作)后，与上个步骤中得到的点云的初步特征对应相乘，去除零点对应的特征。
针对去除零点对应的特征的特征向量，针对每个栅格，做最大池化处理，得到每个栅格的代表特征，然后针对每个点云点的特征，将该点云点的特征与该点云点落入的栅格的代表特征进行拼接操作(例如可以通过concat操作)，得到该点云点最终的特征，将每个点云点都执行这样的操作，进而完成对点云特征的提取。
上述过程中，由于是将每个栅格内的全部点云点作为一个batch内的一个样本数据，因此为了保证样本数据的规整，方便后续计算，对实际落入每个栅格内的点云点进行了下采样或者补零操作，对于下采样操作，对于同一帧点云数据，在进行下采样时可能采样的点云点并不相同，这就导致对于同一帧点云数据，不同次的特征提取所提取到的特征可能不同，进而可能导致对于障碍物的检测结果不同；而对于补零操作，由于要经过批量归一化层的处理，批量归一化层需要对MLP提取到的特征进行归一化处理，例如进行方差计算、均值计算等，而这个过程中点云点的特征会受到零点特征的影响，进而影响最终提取的点云特征。
基于此，本公开提供了一种点云数据处理方法，在对点云点进行特征提取时，是将每个点云点作为一个独立的样本直接进行的特征提取，提取出的每个点云点的第一特征向量保持了每个点云点本身的特征的独立性，不会受到其他点云点特征的影响；再结合点云点所在栅格的索引信息和点云点的第一特征向量，生成的点云点的第二特征向量，这样提取出的点云点的第二特征向量比较精确，在基于第二特征向量进行物体识别时，识别精度较高，另外，由于无需进行补零操作，实际中参与运算的点云点的个数相比较于现有技术有所减少，因此提高了点云特征提取的效率。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种点云数据处理方法进行详细介绍，本公开实施例所提供的点云特征提提取方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该点云数据处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图2所示，为本公开实施例提供的点云数据处理方法的流程图，所述方法包括步骤201～步骤204，其中：
步骤201、获取待识别的点云数据。
步骤202、将所述点云数据对应的点云空间按照预设尺寸划分栅格，确定所述点云数据指示的每个点云点所在的栅格的索引信息。
步骤203、对所述点云数据中的每个点云点的数据进行特征提取，确定所述每个点云点的第一特征向量。
步骤204、基于所述点云数据中每个点云点的第一特征向量和各个点云点所在的栅格的索引信息，生成所述点云数据中每个点云点的第二特征向量。以下是对上述步骤的详细说明。
针对步骤201、
在一种可能的实施方式中，所述待识别的点云数据可以是自动驾驶车辆在行驶过程中，由部署在自动驾驶车辆上的雷达采集的数据，所述待识别的点云数据可以是一帧点云数据。
若执行本方案的计算机设备为自动驾驶车辆上的计算机设备，所述自动驾驶车辆在行驶过程中，控制雷达按照预设频率采集点云数据后，可以直接由所述雷达将数据传输至所述计算机设备中，由所述计算机设备执行后续的步骤；或者，执行本公开的计算机设备为外部计算机设备，例如可以是服务器，则自动驾驶车辆在行驶过程中，在控制雷达按照预设频率采集点云后，雷达将点云数据传输至自动驾驶车辆上的中控机上，然后由中控机传输所述服务器，并通过所述服务器执行后续的步骤。
这里，所述雷达包括但不仅限于激光雷达、毫米波雷达、超声波雷达等，对于其他可以采集点云数据的雷达本公开也并不限制。
针对步骤202、
在一种可能的实施方式中，在将所述点云数据对应的点云空间按照预设尺寸划分栅格前，可以先对该点云数据所在的点云空间进行裁剪，例如可以将该点云空间裁剪成L*W*H的点云空间，裁剪后的点云空间中的物体对于自动驾驶车辆的行驶会产生影响，对于L*W*H外的区域内的点云数据对应的物体，由于距离自动驾驶车辆较远，不会对自动驾驶车辆的行驶产生影响，因此，无需对这部分的点云数据进行计算，这样在划分栅格先将点云空间进行裁剪，可以提高点云特征的提取效率。
然后将L*W*H的点云空间按照预设尺寸l*w*h划分栅格，然后确定点云数据中每个点云点所在的栅格的索引信息，这里所述点云点所在的栅格的索引信息可以理解为该点云点落入的栅格的标识信息。
每个点云点都有对应的属性信息，所述属性信息包括该点云点在点云空间中的三维坐标，以及该点云点对应的强度，该三维坐标为以雷达为坐标原点的坐标系下的坐标；在将点云空间划分栅格后，可以确定每个栅格对应的坐标范围；在确定每个点云点所在的栅格的索引信息时，可以基于该点云点的三维坐标，确定坐标范围包括该三维坐标的三维坐标的栅格，并将确定的栅格的标识信息作为该点云点所在的栅格的索引信息。
针对步骤203、
在一种可能的实施方式中，在对点云数据中的每个点云点的数据进行特征提取，确定每个点云点的第一特征向量时，可以参照如图3所示的方法，包括以下几个步骤：
步骤301、基于所述点云数据，生成用于表征所述点云数据中每个点云点的属性信息的初始特征向量。
具体的，任一帧点云数据可以用维度为N*4的点云张量(即为上述初始特征向量)存储，“N”表示该任一帧点云数据中点云点的个数，“4”表示每个点云点的属性信息，所述属性信息包括该点云点的三维坐标以及反射强度，所述属性信息的取值即可构成上述初始特征向量，将所述点云数据中每个点云点的初始特征向量进行粘贴tile操作，可以得到所述维度为N*4的点云张量。
这里，由于本公开所提供的方法中，是将单个点云点作为一个batch中的样本数据，因此可以将点云张量N*4转换为[1，4，N，1]的张量，这里，所述四维张量的取值分别表示nchw，其中，n表示数量、c表示通道数、h表示高度、w表示宽度。
这样，由于将点云张量按照这种方法进行了转换，因此后续在进行特征提取时，能够将每个点云点作为一个batch中的样本数据，进而可以针对每个点云点单独进行特征提取。
步骤302、基于添加有偏置参数的多层感知机对所述初始特征向量进行特征提取后，再通过激活函数处理，得到所述点云数据中每个点云点的第一特征向量。
这里，所述多层感知机可以理解为用于对初始特征向量进行特征提取的神经网络，包括卷积层、全连接层等；添加有偏置参数的多层感知机可以适配于多种点云点的特征提取，所述偏置参数可以为神经网络的训练过程中训练的参数之一；所述激活函数可以是relu函数。
针对步骤204、
在一种可能的实施方式中，在基于所述点云数据中每个点云点的第一特征向量和各个点云点所在的栅格的索引信息，生成所述点云数据中每个点云点的第二特征向量时，可以参照如图4所示的方法，包括以下几个步骤：
步骤401、基于所述每个点云点的第一特征向量和各个点云点所在的栅格的索引信息进行最大池化运算，确定每个栅格对应的第三特征向量。
这里，在基于每个点云点的第一特征向量和每个点云点所在的栅格的索引信息进行最大池化运算时，可以先基于点云点所在的栅格的索引信息，确定属于同一栅格的点云点；然后基于属于同一栅格的点云点的第一特征向量进行最大池化运算，以确定每个栅格对应的第三特征向量。
在一种可能的实施方式中，所述最大池化的运算参与包括线程thread数、线程块block数。
在确定最大池化运算的运算参数时，可以先获取最大池化运算的初始运算参数；以及，接收针对所述运算参数的修改指令，再基于所述修改指令，调整所述运算参数的取值。其中，所述修改指令可以是包括修改后的thread数和block数的指令。
示例性的，所述最大池化运算的初始运算参数可以为对图像进行最大池化处理时的运算参数，在对图像进行最大池化处理时，是将整个图像做个一个batch，图像的一个batch中的数据较多，因此需要的block的数量较少，需要的thread的数量较多。引用至本方案，为加快最大池化速度，可以是减少单个kernel分配的GPU的thread的数量，同时增加block的数量，由于每个block中包含有多个线程，不同的block可以并行运算，这样可以并行对不同栅格进行最大池化运算结果的计算，而增加block数量之后，由于GPU的线程总数是有限的，由于处理的是点云数据，计算量较少，因此少量的thread即可完成计算，因此为保证运算效率，因此需要降低单个kernel函数分配的thread的数量。这样进行调整之后，相当于增加了多个block，且减少了每个block分配的thread的数量，这样可以提高最大池化计算的效率。
步骤402、将所述每个点云点的第一特征向量与该点云点所在的栅格对应的第三特征向量进行拼接，得到所述点云数据中每个点云点对应的第二特征向量。
所述进行拼接，例如可以是通过concat操作按照对应位置进行拼接。
示例性的，若点云点A、点云点B、点云点C属于同一栅格1，经过最大池化运算后，栅格1对应的第三特征向量为D，则在将所述每个点云点的第一特征向量与该点云点所属的栅格对应的第三特征向量进行拼接时，可以将点云点A的第一特征向量与第三特征向量D进行拼接，得到点云点A的第二特征向量，将点云点B的第一特征向量与第三特征向量D进行拼接，得到点云点B的第二特征向量，将点云点C的第一特征向量与第三特征向量D进行拼接，得到点云点C的第二特征向量。
其中，由于线程的数量与所申请的内存的大小有关，申请的内存较大，则可以启动较多线程进行内存内容的运算，内存若较小，则可调用的线程数量较少，基于此，在确定所述点云数据中每个点云点对应的第二特征向量时，可以直接申请较大容量的内存，在将所述每个点云点的第一特征向量与该点云点所属的栅格对应的第三特征向量进行拼接时，可以是分别将点云点的第一特征向量和该点云点所属的栅格对应的第三特征向量填充至申请的内存中，由此，可以调用更多的线程来完成特征向量的拼接。
在一种可能的实施方式中，在确定每个点云点所在栅格的索引信息之后，可以将点云数据的初始特征向量输入至神经网络中，由神经网络执行后续步骤以确定第二特征向量。
在一种可能的实施方式中，在生成点云数据中每个点云点的第二特征向量之后，可以将生成的第二特征向量作为更新后的初始特征向量，并返回执行对所述初始特征向量进行特征提取的步骤，直至满足预设截止条件。
实际应用中，可以是将生成的第二特征向量作为更新后的初始特征向量，然后重新输入至神经网络中，循环执行上述步骤，直至满足预设截止条件。
这里，所述预设截止条件可以是达到预设循环次数，或者得到的第二特征向量满足预设维度。
在一种可能的实施方式中，在生成所述点云数据中每个点云点的第二特征向量之后，可以基于所述第二特征向量进行目标检测，得到所述点云数据对应的目标检测结果，示例性的，可以将第二特征向量输入至目标检测网络中，得到目标检测结果。
在上述进行点云数据处理的过程中，去除了现有技术中归一化层，归一化的目的是使得数据变得规整，从而加快模型的收敛，而本公开所提供的方法在进行点云特征提取时并未进行归一化处理，因此，为加快模型的收敛，可以在后续进行目标检测时，增加归一化层，这样可以在加快模型收敛的同时，提高点云特征提取的效率和精度。
上述神经网络在训练过程中，可以与目标检测网络一起训练，具体的，可以获取携带有标注信息的样本点云数据，所述标注信息用于表示所述样本点云数据中的点云点是否为物体对应的点云点；然后将样本点云数据输入至待训练的神经网络中，确定每个点云点的第二特征向量，然后将每个点云点的特征向量输入至目标检测网络，确定样本点云数据对应的目标检测结果，然后基于目标检测结果和标注信息，训练所述神经网络和所述目标检测网络。
下面，将结合具体的附图对上述点云数据处理方法进行介绍，参见图5所示，为本公开提供的一种点云数据处理方法的示意图，包括：
将点云数据中所有点云点对应的初始特征向量输入至神经网络中，神经网络先通过添加有偏置参数的多层感知器MLP对初始特征向量进行特征提取之后，得到每个点云点的特征向量，然后将每个点云点的特征向量经过激活函数处理，得到每个点云点的第一特征向量。
这里，所述初始特征向量C0维的，可以将各个点云点的初始特征向量通过tile操作生成初始特征张量[N，C0]，这里N表示点云数据中点云点的个数，C0为4，表示点云点的三维坐标以及反射强度；在通过MLP和激活函数Relu依次对初始特征张量进行处理，数据维度是不会发生改变的，即每个点云点的第一特征向量也是C0维的，N个C0维的第一特征向量进行粘贴操作(例如tile操作)得到第一特征张量[N，C0]。
然后基于每个点所在的栅格的索引信息，确定栅格特征张量[N，3]，所述“3”表示三维的栅格特征向量，所述栅格特征向量表示栅格在三维空间中的坐标，例如[1，2，3]表示第一行，第二列，第三纵向位置处的栅格。
再结合所述栅格特征张量和所述第一特征张量进行最大池化处理，确定M个栅格的特征[M，C0]，然后将M个栅格的特征[M，C0]分别与对应的第一特征向量进行合并(例如可以通过concat操作)，最终得到每个点云点的第二特征向量，所述第二特征向量为2*C0维的，N个2*C0维的第二特征向量构成第二特征张量[N，2*C0]。
上述方法中，在对点云点进行特征提取时，是将每个点云点作为一个独立的样本直接进行的特征提取，提取出的每个点云点的第一特征向量保持了每个点云点本身的特征的独立性，不会受到其他点云点特征的影响；再结合点云点所在栅格的索引信息和点云点的第一特征向量，生成的点云点的第二特征向量，这样提取出的点云点的第二特征向量比较精确，在基于第二特征向量进行物体识别时，识别精度较高，另外，由于无需进行补零操作，实际中参与运算的点云点的个数相比较于现有技术有所减少，因此提高了点云特征提取的效率。
结合相同的构思，本公开实施例还提供了一种自动驾驶车辆控制方法，参见图6所示，为本公开时候实施例提供的一种自动驾驶车辆控制方法的流程示意图，包括以下几个步骤：
步骤601、获取自动驾驶车辆行驶过程中采集的点云数据。
步骤602、基于如上述点云数据处理方法，确定所述点云数据对应的第二特征向量，并基于所述第二特征向量进行障碍物检测。
步骤603、基于障碍物检测结果，控制所述自动驾驶车辆的行驶。
这里，所述控制自动驾驶车辆的行驶例如可以是控制自动驾驶车辆加速、减速、刹车、转向等。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与点云数据处理方法对应的点云数据处理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述点云数据处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图7所示，为本公开实施例提供的一种点云数据处理装置的架构示意图，所述装置包括：第一获取模块701、第一确定模块702、第二确定模块703、生成模块704；其中，
第一获取模块701，用于获取待识别的点云数据；
第一确定模块702，用于将所述点云数据对应的点云空间按照预设尺寸划分栅格，确定所述点云数据指示的每个点云点所在的栅格的索引信息；
第二确定模块703，用于对所述点云数据中的每个点云点的数据进行特征提取，确定所述每个点云点的第一特征向量；
生成模块704，用于基于所述点云数据中每个点云点的第一特征向量和各个点云点所在的栅格的索引信息，生成所述点云数据中每个点云点的第二特征向量。
一种可能的实施方式中，所述第二确定模块703，在对所述点云数据中的每个点云点的数据进行特征提取，确定所述每个点云点的第一特征向量时，用于：
基于所述点云数据，生成用于表征所述点云数据中每个点云点的属性信息的初始特征向量；
基于添加有偏置参数的多层感知机对所述初始特征向量进行特征提取后，再通过激活函数处理，得到所述点云数据中每个点云点的第一特征向量。
一种可能的实施方式中，所述生成模块704，在基于所述点云数据中每个点云点的第一特征向量和各个点云点所在的栅格的索引信息，生成所述点云数据的第二特征向量时，用于：
基于所述每个点云点的第一特征向量和各个点云点所在的栅格的索引信息进行最大池化运算，确定每个栅格对应的第三特征向量；
将所述每个点云点的第一特征向量与该点云点所在的栅格对应的第三特征向量进行拼接，得到所述点云数据中每个点云点对应的第二特征向量。
一种可能的实施方式中，所述生成模块704，在基于所述每个点云点的第一特征向量和各个点云点所在的栅格的索引信息进行最大池化运算，确定每个栅格对应的第三特征向量时，用于：
基于各个点云点所在的栅格的索引信息，确定属于同一栅格的点云点的第一特征向量；
基于所述属于同一栅格的点云点的第一特征向量进行最大池化运算，确定每个栅格对应的第三特征向量。
一种可能的实施方式中，所述生成模块704，还用于：
在生成所述点云数据中每个点云点的第二特征向量之后，将生成的第二特征向量作为更新后的初始特征向量，并返回执行对所述初始特征向量进行特征提取的步骤，直至满足预设截止条件。
一种可能的实施方式中，所述装置还包括检测模块705，用于：
在生成所述点云数据中每个点云点的第二特征向量之后，基于所述第二特征向量进行目标检测，得到所述点云数据对应的目标检测结果。
一种可能的实施方式中，所述最大池化运算的运算参数包括线程个数、线程块个数；
所述生成模块704用于根据以下方法确定所述最大池化运算的运算参数：
获取所述最大池化运算的初始运算参数；以及，接收针对所述运算参数的修改指令；
基于所述修改指令，调整所述运算参数的取值。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
参照图8所示，为本公开实施例提供的一种自动驾驶车辆控制装置的架构示意图，所述装置包括：第二获取模块801、第三确定模块802、控制模块803；其中，
第二获取模块801，用于获取自动驾驶车辆行驶过程中采集的点云数据；
第三确定模块802，用于基于如上述点云数据处理方法，确定所述点云数据对应的第二特征向量，并基于所述第二特征向量进行障碍物检测；
控制模块803，用于基于障碍物检测结果，控制所述自动驾驶车辆的行驶。
基于同一技术构思，本公开实施例还提供了一种计算机设备。参照图9所示，为本公开实施例提供的计算机设备900的结构示意图，包括处理器901、存储器902、和总线903。其中，存储器902用于存储执行指令，包括内存9021和外部存储器9022；这里的内存9021也称内存储器，用于暂时存放处理器901中的运算数据，以及与硬盘等外部存储器9022交换的数据，处理器901通过内存9021与外部存储器9022进行数据交换，当计算机设备900运行时，处理器901与存储器902之间通过总线903通信，使得处理器901在执行以下指令：
获取待识别的点云数据；
将所述点云数据对应的点云空间按照预设尺寸划分栅格，确定所述点云数据指示的每个点云点所在的栅格的索引信息；
对所述点云数据中的每个点云点的数据进行特征提取，确定所述每个点云点的第一特征向量；
基于所述点云数据中每个点云点的第一特征向量和各个点云点所在的栅格的索引信息，生成所述点云数据中每个点云点的第二特征向量。
基于同一技术构思，本公开实施例还提供了一种计算机设备。参照图9所示，为本公开实施例提供的计算机设备1000的结构示意图，包括处理器1001、存储器1002、和总线1003。其中，存储器1002用于存储执行指令，包括内存10021和外部存储器10022；这里的内存10021也称内存储器，用于暂时存放处理器1001中的运算数据，以及与硬盘等外部存储器10022交换的数据，处理器1001通过内存10021与外部存储器10022进行数据交换，当计算机设备1000运行时，处理器1001与存储器1002之间通过总线1003通信，使得处理器1001在执行以下指令：
获取自动驾驶车辆行驶过程中采集的点云数据；
基于如上述点云数据处理方法，确定所述点云数据对应的第二特征向量，并基于所述第二特征向量进行障碍物检测；
基于障碍物检测结果，控制所述自动驾驶车辆的行驶。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的点云数据处理/自动驾驶车辆控制方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的点云数据处理/自动驾驶车辆控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种点云数据处理方法，其特征在于，包括：
获取待识别的点云数据；
将所述点云数据对应的点云空间按照预设尺寸划分栅格，确定所述点云数据指示的每个点云点所在的栅格的索引信息；
对所述点云数据中的每个点云点的数据进行特征提取，确定所述每个点云点的第一特征向量；
基于所述点云数据中每个点云点的第一特征向量和各个点云点所在的栅格的索引信息，生成所述点云数据中每个点云点的第二特征向量。
2.根据权利要求1所述的方法，其特征在于，所述对所述点云数据中的每个点云点的数据进行特征提取，确定所述每个点云点的第一特征向量，包括：
基于所述点云数据，生成用于表征所述点云数据中每个点云点的属性信息的初始特征向量；
基于添加有偏置参数的多层感知机对所述初始特征向量进行特征提取后，再通过激活函数处理，得到所述点云数据中每个点云点的第一特征向量。
3.根据权利要求1或2所述的方法，其特征在于，所述基于所述点云数据中每个点云点的第一特征向量和各个点云点所在的栅格的索引信息，生成所述点云数据的第二特征向量，包括：
基于所述每个点云点的第一特征向量和各个点云点所在的栅格的索引信息进行最大池化运算，确定每个栅格对应的第三特征向量；
将所述每个点云点的第一特征向量与该点云点所在的栅格对应的第三特征向量进行拼接，得到所述点云数据中每个点云点对应的第二特征向量。
4.根据权利要求3所述的方法，其特征在于，所述基于所述每个点云点的第一特征向量和各个点云点所在的栅格的索引信息进行最大池化运算，确定每个栅格对应的第三特征向量，包括：
基于各个点云点所在的栅格的索引信息，确定属于同一栅格的点云点的第一特征向量；
基于所述属于同一栅格的点云点的第一特征向量进行最大池化运算，确定每个栅格对应的第三特征向量。
5.根据权利要求2所述的方法，其特征在于，在生成所述点云数据中每个点云点的第二特征向量之后，所述方法还包括：
将生成的第二特征向量作为更新后的初始特征向量，并返回执行对所述初始特征向量进行特征提取的步骤，直至满足预设截止条件。
6.根据权利要求1～5任一所述的方法，其特征在于，在生成所述点云数据中每个点云点的第二特征向量之后，所述方法还包括：
基于所述第二特征向量进行目标检测，得到所述点云数据对应的目标检测结果。
7.根据权利要求3所述的方法，其特征在于，所述最大池化运算的运算参数包括线程个数、线程块个数；
根据以下方法确定所述最大池化运算的运算参数：
获取所述最大池化运算的初始运算参数；以及，接收针对所述运算参数的修改指令；
基于所述修改指令，调整所述运算参数的取值。
8.一种自动驾驶车辆控制方法，其特征在于，包括：
获取自动驾驶车辆行驶过程中采集的点云数据；
基于如权利要求1～7任一所述的方法，确定所述点云数据对应的第二特征向量，并基于所述第二特征向量进行障碍物检测；
基于障碍物检测结果，控制所述自动驾驶车辆的行驶。
9.一种点云数据处理装置，其特征在于，包括：
第一获取模块，用于获取待识别的点云数据；
第一确定模块，用于将所述点云数据对应的点云空间按照预设尺寸划分栅格，确定所述点云数据指示的每个点云点所在的栅格的索引信息；
第二确定模块，用于对所述点云数据中的每个点云点的数据进行特征提取，确定所述每个点云点的第一特征向量；
生成模块，用于基于所述点云数据中每个点云点的第一特征向量和各个点云点所在的栅格的索引信息，生成所述点云数据中每个点云点的第二特征向量。
10.一种自动驾驶车辆控制装置，其特征在于，包括：
第二获取模块，用于获取自动驾驶车辆行驶过程中采集的点云数据；
第三确定模块，用于基于如权利要求1～7任一所述的方法，确定所述点云数据对应的第二特征向量，并基于所述第二特征向量进行障碍物检测；
控制模块，用于基于障碍物检测结果，控制所述自动驾驶车辆的行驶。
11.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一项所述的点云数据处理方法的步骤，或者执行如权利要求8所述的自动驾驶车辆控制方法的步骤。
12.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一项所述的点云数据处理方法的步骤，或者执行如权利要求8所述的自动驾驶车辆控制方法的步骤。
CN202110424822.2A 2021-04-20 2021-04-20 点云数据处理、自动驾驶车辆控制方法及装置 Pending CN113052131A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110424822.2A CN113052131A (zh) 2021-04-20 2021-04-20 点云数据处理、自动驾驶车辆控制方法及装置
PCT/CN2022/086638 WO2022222827A1 (zh) 2021-04-20 2022-04-13 点云数据处理方法及装置和自动驾驶车辆控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110424822.2A CN113052131A (zh) 2021-04-20 2021-04-20 点云数据处理、自动驾驶车辆控制方法及装置

Publications (1)

Publication Number Publication Date
CN113052131A true CN113052131A (zh) 2021-06-29

Family

ID=76519572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110424822.2A Pending CN113052131A (zh) 2021-04-20 2021-04-20 点云数据处理、自动驾驶车辆控制方法及装置

Country Status (2)

Country Link
CN (1) CN113052131A (zh)
WO (1) WO2022222827A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022222827A1 (zh) * 2021-04-20 2022-10-27 上海商汤智能科技有限公司 点云数据处理方法及装置和自动驾驶车辆控制方法及装置

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180165547A1 (en) * 2016-12-08 2018-06-14 Shenzhen University Object Recognition Method and Device
CN108564650A (zh) * 2018-01-08 2018-09-21 南京林业大学 基于车载2D LiDAR点云数据的行道树靶标识别方法
CN110232329A (zh) * 2019-05-23 2019-09-13 星际空间（天津）科技发展有限公司 基于深度学习的点云分类方法、装置、存储介质及设备
CN110414577A (zh) * 2019-07-16 2019-11-05 电子科技大学 一种基于深度学习的激光雷达点云多目标地物识别方法
US20200025935A1 (en) * 2018-03-14 2020-01-23 Uber Technologies, Inc. Three-Dimensional Object Detection
CN111160302A (zh) * 2019-12-31 2020-05-15 深圳一清创新科技有限公司 基于自动驾驶环境的障碍物信息识别方法和装置
CN111722245A (zh) * 2020-06-22 2020-09-29 北京百度网讯科技有限公司 定位方法、定位装置和电子设备
US10839530B1 (en) * 2018-09-04 2020-11-17 Apple Inc. Moving point detection
CN112002015A (zh) * 2020-09-10 2020-11-27 熵智科技(深圳)有限公司 无序点云生成网格数据结构的方法、装置、设备及介质
CN112154448A (zh) * 2019-09-29 2020-12-29 深圳市大疆创新科技有限公司 目标检测方法、设备及可移动平台
CN112164138A (zh) * 2020-10-30 2021-01-01 上海商汤临港智能科技有限公司 一种点云数据筛选方法及装置
CN112184867A (zh) * 2020-09-23 2021-01-05 中国第一汽车股份有限公司 点云特征提取方法、装置、设备及存储介质
CN112347999A (zh) * 2021-01-07 2021-02-09 深圳市速腾聚创科技有限公司 障碍物识别模型训练方法、障碍物识别方法、装置及系统
CN112347986A (zh) * 2020-11-30 2021-02-09 上海商汤临港智能科技有限公司 样本生成、神经网络训练、智能行驶控制方法及装置
CN112446385A (zh) * 2021-01-29 2021-03-05 清华大学 一种场景语义分割方法、装置、电子设备
CN112598615A (zh) * 2020-11-02 2021-04-02 禾多科技（北京）有限公司 障碍物检测方法、装置、电子设备和计算机可读介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970518B1 (en) * 2017-11-14 2021-04-06 Apple Inc. Voxel-based feature learning network
CN110045729B (zh) * 2019-03-12 2022-09-13 北京小马慧行科技有限公司 一种车辆自动驾驶方法及装置
CN113052131A (zh) * 2021-04-20 2021-06-29 深圳市商汤科技有限公司 点云数据处理、自动驾驶车辆控制方法及装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180165547A1 (en) * 2016-12-08 2018-06-14 Shenzhen University Object Recognition Method and Device
CN108564650A (zh) * 2018-01-08 2018-09-21 南京林业大学 基于车载2D LiDAR点云数据的行道树靶标识别方法
US20200025935A1 (en) * 2018-03-14 2020-01-23 Uber Technologies, Inc. Three-Dimensional Object Detection
US10839530B1 (en) * 2018-09-04 2020-11-17 Apple Inc. Moving point detection
CN110232329A (zh) * 2019-05-23 2019-09-13 星际空间（天津）科技发展有限公司 基于深度学习的点云分类方法、装置、存储介质及设备
CN110414577A (zh) * 2019-07-16 2019-11-05 电子科技大学 一种基于深度学习的激光雷达点云多目标地物识别方法
CN112154448A (zh) * 2019-09-29 2020-12-29 深圳市大疆创新科技有限公司 目标检测方法、设备及可移动平台
CN111160302A (zh) * 2019-12-31 2020-05-15 深圳一清创新科技有限公司 基于自动驾驶环境的障碍物信息识别方法和装置
CN111722245A (zh) * 2020-06-22 2020-09-29 北京百度网讯科技有限公司 定位方法、定位装置和电子设备
CN112002015A (zh) * 2020-09-10 2020-11-27 熵智科技(深圳)有限公司 无序点云生成网格数据结构的方法、装置、设备及介质
CN112184867A (zh) * 2020-09-23 2021-01-05 中国第一汽车股份有限公司 点云特征提取方法、装置、设备及存储介质
CN112164138A (zh) * 2020-10-30 2021-01-01 上海商汤临港智能科技有限公司 一种点云数据筛选方法及装置
CN112598615A (zh) * 2020-11-02 2021-04-02 禾多科技（北京）有限公司 障碍物检测方法、装置、电子设备和计算机可读介质
CN112347986A (zh) * 2020-11-30 2021-02-09 上海商汤临港智能科技有限公司 样本生成、神经网络训练、智能行驶控制方法及装置
CN112347999A (zh) * 2021-01-07 2021-02-09 深圳市速腾聚创科技有限公司 障碍物识别模型训练方法、障碍物识别方法、装置及系统
CN112446385A (zh) * 2021-01-29 2021-03-05 清华大学 一种场景语义分割方法、装置、电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邢正全;邓喀中;薛继群;: "基于栅格划分和法向量估计的点云数据压缩", 测绘通报, no. 07, pages 50 - 52 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022222827A1 (zh) * 2021-04-20 2022-10-27 上海商汤智能科技有限公司 点云数据处理方法及装置和自动驾驶车辆控制方法及装置

Also Published As

Publication number Publication date
WO2022222827A1 (zh) 2022-10-27

Similar Documents

Publication Publication Date Title
CN109523621B (zh) 对象的加载方法和装置、存储介质、电子装置
CN109711410A (zh) 一种三维物体快速分割和识别方法、装置及系统
CN110135227B (zh) 一种基于机器学习的激光点云室外场景自动分割方法
CN113971221A (zh) 一种点云数据的处理方法、装置、电子设备及存储介质
CN110632608A (zh) 一种基于激光点云的目标检测方法和装置
CN112907747A (zh) 一种点云数据处理的方法、装置、电子设备及存储介质
CN111598111A (zh) 三维模型生成方法、装置、计算机设备及存储介质
CN113610966A (zh) 三维姿态调整的方法、装置、电子设备及存储介质
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN113052131A (zh) 点云数据处理、自动驾驶车辆控制方法及装置
CN113759338A (zh) 一种目标检测方法、装置、电子设备及存储介质
CN116596755A (zh) 一种点云数据的拼接方法、装置、设备及存储介质
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
CN108986210B (zh) 三维场景重建的方法和设备
CN112946612A (zh) 外参标定方法、装置、电子设备及存储介质
CN109978043B (zh) 一种目标检测方法及装置
CN115588187B (zh) 基于三维点云的行人检测方法、装置、设备以及存储介质
CN114674328B (zh) 地图生成方法、装置、电子设备、存储介质、及车辆
US10861174B2 (en) Selective 3D registration
CN115511731A (zh) 一种噪声处理方法和噪声处理设备
CN113808196A (zh) 平面融合定位方法、装置、电子设备及存储介质
CN113963028A (zh) 一种碰撞检测方法、装置、计算机设备及存储介质
CN111325343B (zh) 神经网络的确定、目标检测、智能行驶控制方法及装置
KR20230065443A (ko) 포인트 클라우드 데이터 증강 방법 및 이를 이용하는 학습 방법
CN116091751B (zh) 一种点云分类方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40049929

Country of ref document: HK