CN111816020A - 将合成激光雷达数据迁移至真实域用于自动驾驶汽车训练 - Google Patents

将合成激光雷达数据迁移至真实域用于自动驾驶汽车训练 Download PDF

Info

Publication number
CN111816020A
CN111816020A CN202010263651.5A CN202010263651A CN111816020A CN 111816020 A CN111816020 A CN 111816020A CN 202010263651 A CN202010263651 A CN 202010263651A CN 111816020 A CN111816020 A CN 111816020A
Authority
CN
China
Prior art keywords
lidar data
synthetic
synthetic lidar
data
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010263651.5A
Other languages
English (en)
Inventor
K.陈
J.海斯
E.尤梅尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ergo Artificial Intelligence Co ltd
Argo AI LLC
Original Assignee
Ergo Artificial Intelligence Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ergo Artificial Intelligence Co ltd filed Critical Ergo Artificial Intelligence Co ltd
Publication of CN111816020A publication Critical patent/CN111816020A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/90—Lidar systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/05—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请披露了将合成激光雷达数据关联至真实域来训练自动驾驶汽车在环境中运行的方法和系统。为此，该系统先获取合成激光雷达数据的数据集，将合成激光雷达数据迁移至二维表达，然后运用所述二维表达训练真实环境模型，最后使用经训练的所述真实环境模型训练自动驾驶汽车。

Description

将合成激光雷达数据迁移至真实域用于自动驾驶汽车训练
技术领域
本申请涉及自动驾驶汽车训练领域，尤其涉及一种将合成激光雷达数据关联至真实域，以训练自动驾驶汽车如何在环境中运行的方法、系统及计算机可读介质。
背景技术
自动驾驶汽车需要大量行驶环境相关数据，以探测和识别环境中的物体，并预测其他物体(如行人和其他车辆)的行动。用于收集此类数据的一种系统为激光雷达(LiDAR)系统。激光雷达系统向物体发射激光，然后通过各种探测器测量物体反射光。该激光雷达系统分析反射光的特征，并形成三维(3D)点云数据，描绘环境中物体的三维形状和环境特征。
训练自动驾驶汽车还需三维数据集，以构建在环境中行动和反应的知识库。但是，在所有区域收集激光雷达数据费时且昂贵。而且在任何环境中，物体位置都会不断变化。
本申请描述的实施例旨在解决上述问题和/或其他问题。
发明内容
本申请披露了相关方法，将合成激光雷达数据关联至真实域，以训练自动驾驶汽车如何在环境中运行。为此，该系统先获取合成激光雷达数据的数据集，将合成激光雷达数据迁移至二维表达，然后运用所述二维表达训练真实环境模型，最后使用经训练的所述真实环境模型训练自动驾驶汽车。
在一些实施例中，获取合成激光雷达数据的数据集可包括，在仿真应用的模拟环境中操作虚拟汽车，并通过所述仿真应用生成所述合成激光雷达数据的数据集。使用仿真应用生成所述合成激光雷达数据的数据集可包括，在模拟环境中操作虚拟汽车时：(1)获取仿真生成的深度图像；(2)从仿真生成的多个图像帧当中提取样本；(3)将所提取的样本关联至深度图像，以将所提取的每一样本逼近一个或多个深度图像中的像素。
在一些实施例中，将合成激光雷达数据迁移至二维表达可包括，将合成激光雷达数据迁移至鸟瞰表达。在其他实施例中，将合成激光雷达数据迁移至二维表达则可包括生成二维正视图像。
在一些实施例中，所述系统可在合成激光雷达数据的不同帧内生成地面实况注释，以识别合成激光雷达数据中的一个或多个物体。此措施适用于三维点云或所述合成激光雷达数据迁移至二维表达生成的二维图像。
在一些实施例中，所述系统可接收在真实环境中捕获的图像。在此情况下，将所述合成激光雷达数据迁移至所述二维表达可包括：(1)从所述激光雷达数据生成二维正视图像；(2)将所述合成激光雷达数据中的一个或多个物体映射至所述捕获图像中的一个或多个物体上。所述系统也可在合成激光雷达数据的不同帧内生成地面实况注释，以识别合成激光雷达数据中的一个或多个物体；在此情况下，至少部分所述正视图像可包括识别一个或多个物体的一个或多个地面实况注释。可选地，使用二维表达训练真实环境模型可包括，使用在真实环境中捕获的图像、来自激光雷达数据的二维正视图像以及映射结果来训练真实环境模型。
附图说明
图1为将合成激光雷达数据迁移至真实域的方法流程图。
图2为现有技术中可能存在的自动驾驶汽车操作仿真系统的示例图像。
图3展示了如何为仿真系统的一帧数据添加二维边界框，以识别该帧内的物体并建立地面实况。
图4展示了如何为仿真系统的一帧数据添加三维边界框。
图5为可用于收集现实激光雷达数据的激光雷达系统组成部分示例。
图6为计算机系统组成部分示例，该系统可用于生成合成激光雷达数据，以及处理上述仿真和现实激光雷达数据。
具体实施方式
除非上下文另有明确所指，本申请中的单数形式“一个”、“所述”包括复数情况。除非另有定义，本文使用的所有技术和科学术语的含义与本领域一般技术人员通常理解的含义相同。本申请所用“包括”一词是指“包括但不限于”。本申请所用“示例”一词是指“举例说明”，并非指某一示例是首选或必须的。与本披露相关的其他术语定义见本说明书末尾。
本披露主要涉及合成激光雷达数据的生成和处理，例如在自动驾驶汽车或其他机器人系统中的使用。合成激光雷达数据目前由汽车模拟器生成并用于模拟汽车在现实环境中的操作。在本披露中，合成激光雷达数据用于训练自动驾驶汽车，并开发知识库，以供汽车在现实驾驶中使用。
如图1流程图所示，含有处理器的电子设备可执行编程指令，获取合成激光雷达数据的数据集(步骤101)。所述合成激光雷达数据为表示模拟环境中三维形状的数据集。
所述系统可利用现有合成激光雷达数据集，或使用现有仿真应用生成该数据集，例如使用目前可用于机器学习应用的驾驶模拟器。如CARLA模拟器，是现有的一种开源仿真工具，可用于自动驾驶汽车机器学习应用。图2为现有技术中模拟器示例，展示了汽车在模拟环境中行驶。为从模拟器获取模拟激光雷达数据，模拟器操作员可驾驶模拟器中的虚拟汽车。汽车在模拟环境中移动时，设定模拟器从模拟环境中收集合成激光雷达数据。所述电子设备可捕获该合成激光雷达数据并修饰模拟激光雷达数据集，使其更接近于真实域的准确表达。
为捕获模拟激光雷达数据，处理器可获取模拟过程的深度图像(例如，二维图像中每个像素都有一个与像素相关的深度值)，然后从多帧提取四个深度图(前、左、右、后)。以给定高程和方位角作为样本，所述系统可将提取的每一样本逼近深度图像中的特定像素。在模拟过程中使用深度图，有助于模拟器产生更准确的激光雷达结果。所述系统可以从任意数量的帧捕获数据，系统捕获的帧越多，其生成的表达越准确。
回到图1，所述电子设备还将从电子模拟器或其他来源接收二维边界框和三维边界框识别，作为每个帧内各种物体(如行人、其他车辆和其他障碍物)的地面实况注释(步骤102)。所述边界框作为数据的注解，并将边界框内的物体关联至现实物体。见图3示例，在第一帧的一辆汽车周围添加了第一边界框301。此时该汽车与观测点之间的距离为第一距离(即相对于模拟过程中激光雷达传感器的位置在该帧内的深度)。在第二帧的一辆汽车周围添加了第二边界框302。此时该汽车已移动至更靠近观测点的位置。除了图3所示二维边界框，系统还可如图4所示接收输入并生成三维边界框。在图4中，该系统从如左边所示帧开始，为图右侧所示帧添加立体注释401、402。在操作过程中，模拟机制会试图预测这些长方体随着时间推移的位置。
合成激光雷达数据颇有用处，但与现实激光雷达系统返回的数据有典型差异。例如，现实激光雷达系统返回数据包含一些干扰(如错误)以及干扰图样。从现实激光雷达系统捕获的数据还基于所感应物体具有不同特性(例如，黑色车辆或车窗的返回数据比浅色车辆车身少)。合成激光雷达数据与真实世界激光雷达数据之间的这种域不匹配，会影响合成激光雷达数据的可用性。
因此，回到图1，为将合成激光雷达数据迁移至真实域(即让合成数据提供更接近真实世界的表达)，所述系统将合成激光雷达数据点云绘制为一种不同的激光雷达表达，例如鸟瞰(BEV)表达(步骤103)。因为鸟瞰表达是一种二维表达，此过程可以不包括深度数据，在每一单元中用最大高度(即最大深度值)对点进行编码。
将合成激光雷达数据迁移至鸟瞰表达时，所述系统会模仿特定激光雷达系统的示例图样。该激光雷达系统应为将要安装到受训练现实汽车上的激光雷达系统。所述系统还应模仿不同物体和表面带来的示例干扰。所述系统可通过实现生成模型的卷积神经网络(CNN)实现这一过程，如运用名为循环生成对抗网络(CycleGAN)模型的生成对抗网络方法。CycleGAN模型在转换源域和目标域的训练数据时无需一对一映射。在本申请讨论的系统中，CycleGAN模型可用两个图像集：一个是关于合成激光雷达数据集的图像集，另一个是关于现实激光雷达数据的图像集。可将合成激光雷达数据集中的图像转化为现实图像。
因此，为将激光雷达点云表达迁移至鸟瞰表达(步骤103)，所述系统可从模拟器(即合成激光雷达数据)中捕获图像(步骤131)。例如可运用模拟环境的模拟摄像头从合成激光雷达数据捕获或生成模拟图像。所述系统也可接收来自现实环境的图像，例如来自安装在带有现实激光雷达系统真实汽车上的一个或多个摄像头捕获的数据集。(步骤132)。
所述系统运用方程式将所述合成激光雷达点云迁移至二维正视图像，例如：
Figure BDA0002440380190000041
Figure BDA0002440380190000042
激光雷达点(x，y，z)要投影至图像上，c表示该图像的列，r表示该图像的行。
此过程创建双通道图像，其中一个通道用于深度，另一个通道用于强度。可选地，所述系统也可只考虑特定尺寸深度的通道(例如位于[0,120]米之间的值)。生成合成激光雷达数据正视图集和现实环境正视图集之后，所述系统可运用这些图集训练卷积神经网络(如CycleGAN模型)(步骤104)。为实现这一步骤，所述系统可从合成激光雷达数据中提取稠密正视深度图像，并形成样本。在稠密正视深度图像中，每一(或大多数)像素与深度测量相关联，这与理想激光雷达系统若能够进行测量时的效果相同。虽然合成激光雷达数据集的稠密图像与真实激光雷达样本不甚相似，其所含信息比典型的现实激光雷达图像更为丰富，可供所述系统使用。为减少点云中的降采样伪影，所述系统可创建合成稠密正视图像数据集。还可从模拟过程为稠密正视图像增加语义类等通道。
因此，所述激光雷达数据转化方法的一个实际应用是改善自动驾驶汽车模拟过程，让其使用的合成激光雷达数据比转化前更接近现实环境。此举有助于进一步缩短自动驾驶汽车在投入实际使用之前构建在环境中行动和反应的知识库的时间。
图5为一种激光雷达系统501示例，可用于不同实施例，以在现实环境中收集激光雷达点云。如图5所示，激光雷达系统包括扫描仪外壳505。该外壳带有围绕外壳设置的光发射器/接收器外罩局部511。所述外罩局部511由透光材料制成。以便所述系统透过外罩局部511向外发射光(如红外光)并接收反射光。图5仅展示了外罩局部511，在实际应用中该外罩局部会包围整个外壳505全周。
所述激光雷达系统501包括光发射器系统504，其位置设定使得一个或多个激光发射器芯片或其他光发射设备产生的光脉冲能够透过外罩局部511发射。所述发射器系统504可包括任何数量的独立发射器，例如8个发射器，64个发射器或128个发射器。
所述激光雷达系统501还包括光探测器508。所述光探测器包括一个或一系列光电探测器，用于接收反射回所述系统的光。如图所示，发射器系统504和光探测器单元508还可成角度地置于镜面502前方。该镜面502与电机503相连。此电机可使镜面360°旋转，系统因而能够通过外罩局部511全周各处发射和接收光。由发射器系统504发射的光先经过镜面502的反射，再从外罩局部511离开系统。通过外罩局部进入的接收光也由镜面502反射至光探测器单元508。而在可选实施例中，镜面502可带有槽孔。所述激光发射器系统504可置于镜面502后方，其位置设定可使得光从槽孔通过。电机503可让激光发射器系统504和镜面502作为一个单元旋转。可选地，光探测器单元508也可连接到这样的旋转结构：镜面502与激光发射器系统504作为结构的一部分，跟随光发射器/光接收器结构旋转。
一个或多个光学元件结构509可置于镜面502前，聚焦和引导穿过光学元件结构509的光。如图所示，所述系统包括光学元件结构509。该结构置于镜面502前，且与系统的旋转部件连接，因而光学元件结构509能够跟随镜面502旋转。可选地，所述光学元件结构509可包括多个此类结构(如透镜和/或波片)。可选地，多个光学元件结构509可排列于外罩局部511上或与其整合。
可选地，每一光学元件结构509可包括一个分束器，分离系统接收光与系统产生的光。例如，所述分束器可包括一个四分之一波片或半波片，分离光束，并保证接收光被导向接收器单元而非发射器单元(如果没有此类波片，这种情况可能发生，因为发射光和接收光可能会表现出相同或相似的偏振)。
所述激光雷达系统包括为光发射器单元504供电的供电单元521、电机503以及其他电子元件。所述激光雷达系统还包括分析器515。所述分析器带有处理器522和非临时计算机可读内存523等元件，其中包含编程指令，用于指示系统接收并分析由光探测单元收集的数据，以测量接收光的特征并生成信息。连接的系统可利用该信息在数据来源环境中作出运行决定。可选地，分析器515可如图所示与激光雷达系统501整合。也可部分或全部位于所述激光雷达系统外部，并通过有线或无线通信网络或链路与激光雷达系统通信连接。
图6展示了所述系统内任意电子元件可包括的内部硬件，例如内部处理系统、外部监视和报告系统或远程服务器。电气总线900作为信息高速公路，连接图示硬件的其他组件。处理器905为系统的中央处理设备，用于执行编程指令所需的计算和逻辑操作。本申请和权利要求中使用的术语“处理器”和“处理设备”，可指共同执行操作的一组处理器中的单个或任意数量的处理器，如中央处理单元(CPU)、图形处理单元(GPU)、远程服务器或所述处理器的组合。示例内存设备925包括只读内存(ROM)、随机存取存储器(RAM)、闪存、硬盘和其他能够存储电子数据的设备。内存设备可包括存储数据和/或指令的单个设备或设备集合。本发明的不同实施例可包括计算机可读介质。该介质包含编程指令，用于使一个或多个处理器、打印设备和/或扫描设备执行前图所述功能。
可选显示界面930可允许来自总线900的信息以视觉、图形或字母数字格式显示在显示设备935上。还可设置音频接口和音频输出(如扬声器)。与外部设备的通信可通过各种通信设备940实现，例如射频识别(RFID)标签和/或短程或近场通信收发器。可选地，每个通信设备均可通过一个或多个通信系统与设备的其他组件连接。所述通信设备940可用于与通信网络进行通信连接，如因特网、局域网或移动电话数据网络。
所述硬件还可包括用户界面传感器945，允许从输入设备950接收数据，输入设备如键盘、鼠标、操纵杆、触摸屏、触摸板、遥控器、指示设备和/或麦克风。摄像头920能捕获视频和/或静止图像。所述系统可接收来自该摄像头的数字图像帧。也可接收来自加速度计、陀螺仪或惯性测量单元等运动和/或位置传感器970的数据。还可接收来自激光雷达系统960的数据，例如本申请前述的激光雷达系统。
前文所披露的特性和功能以及替代方案可结合到许多其他不同的系统或应用中。各种组件可在硬件、软件或嵌入式软件中实现。本领域技术人员可以作出各种目前不可预见或预期之外的选择、修改、变更或改进，也都包含在所披露的实施例中。
与上述披露相关的术语包括；
“自动设备”或“机器人设备”是指一种电子设备。该设备包括处理器、编程指令和一个或多个组件。这些组件在少量或没有人工干预的情况下，根据处理器命令至少能够执行某些操作或任务。例如，自动设备可以执行一个或多个自动功能或功能集。此类操作、功能或任务的示例可包括但不限于导航、运输、驾驶、配送、装载、卸载、医疗相关流程、施工相关流程等。例如，自动化设备包括但不限于自动驾驶汽车、无人机和其他自动机器人设备。
“电子设备”或“计算设备”是指包含处理器和内存的设备。每个设备可自带处理器和/或内存，或与其他设备共享处理器和/或内存，例如虚拟机或容器。内存包含或接收编程指令。处理器执行这些指令时，电子设备根据编程指令执行一个或多个操作。
“内存”、“内存设备”、“数据存储”、“数据存储设施”等术语指存储了计算机可读数据、编程指令或两者均有的非临时设备。除非另有具体说明，“内存”、“内存设备”、“数据存储”、“数据存储设施”等术语包括单一设备实施例、多个内存设备共同或协作储存一系列数据或指令的实施例，以及此类设备内部的独立扇区。
“处理器”和“处理设备”指电子设备的硬件组件，用于执行编程指令。除非另有具体说明，单数形式的“处理器”或“处理设备”包括单一处理设备实施例和多个处理设备共同或协作执行处理的实施例。
“汽车”一词是指能够运载一名或多名乘员和/或货物、由任何形式的能量提供动力的任何移动运输形式。“汽车”一词包括但不限于轿车、卡车、面包车、火车、自动驾驶汽车、飞机、空中无人机等。“自动驾驶汽车”具有处理器、编程指令和动力传动系统组件。这些组件由处理器控制，无需人工操作。自动驾驶汽车可以是全自动的，此时在大多数或所有驾驶条件和功能中不需要人工操作。也可以是半自动的，此时在某些情况下或特定操作中可能需要人工，或者人类操作员可接管汽车的自动驾驶系统，控制车辆。
“执行流程”一词是指按特定顺序执行的一系列功能。功能是指使得系统执行一个或多个动作的一个或多个操作指令。在不同的实施例中，执行流程可能与自动设备操作有关。例如，就自动驾驶汽车而言，汽车在特定情况下可能会遵照特定的执行流程。例如，汽车在刚刚变绿的红灯处停下。此时执行流程可能包括确定是否为绿灯、确定汽车前方或周围有无障碍物的功能，只有在绿灯且无障碍物时方可加速。如果自动设备的子系统无法实施执行流程中的功能，或其执行功能的顺序不当，该错误可能表明发生了故障或执行流程存在另外的问题。
“自动设备监控系统”是一组硬件，以通信和/或电气方式与自动设备的各种组件(如传感器)连接，以便从这些组件收集状态或操作参数值。自动设备监控系统可包括或连接到数据记录设备。该设备包括数据输入(如无线接收器)，用于直接或间接从设备组件接收设备操作数据。该监控系统还可包括处理器、发射机和带有编程指令的内存。监控系统可包括发射机，用于向外部电子设备和/或远程服务器传输命令和/或数据。在不同的实施例中，监控系统可嵌入自动设备的其他计算系统组件或与之集成。也可以是一个单独的设备，与一个或多个其他本地系统通信，例如自动驾驶汽车与车载诊断系统。
本申请所用“光”一词是指与光频率相关的电磁辐射，例如紫外线、可见光、红外辐射和太赫兹辐射。示例光发射器包括激光发射器和其他发射汇聚光的发射器。在本申请中，“发射器”一词是指光发射器，例如发射红外光的激光发射器。
在本申请中，使用“第一”和“第二”等用语来修饰名词时，如非特别说明，该用法只是为了区分一个物件和另一个物件，并非意图规定特别的顺序。此外，“垂直”和“水平”或“前”和“后”等相对位置的用语，旨在描述相对位置，而非绝对位置，并且仅指该类用语相关设备的一个可能位置，取决于所述设备的方向。
上述特性和功能以及替代方案可以结合到许多其他不同的系统或应用中。本领域技术人员可以作出各种选择、修改、变更或改进，也都包含在所披露的实施例中。

Claims (20)

1.一种将合成激光雷达数据关联至真实域用于自动驾驶汽车训练的方法，包括，通过处理设备：
获取合成激光雷达数据的数据集；
将所述合成激光雷达数据迁移至二维表达；
使用所述二维表达训练真实环境模型；
使用经训练的所述真实环境模型训练自动驾驶汽车。
2.根据权利要求1所述的方法，其特征在于，所述获取合成激光雷达数据的数据集包括，在仿真应用的模拟环境中操作虚拟汽车，并通过所述仿真应用生成所述合成激光雷达数据的数据集。
3.根据权利要求2所述的方法，其特征在于，所述使用仿真应用生成所述合成激光雷达数据的数据集包括，在模拟环境中操作虚拟汽车时：
获取仿真生成的多个深度图像；
从仿真生成的多个图像帧当中提取样本；
将所述样本关联至深度图像，以将每一样本逼近一个或多个深度图像中的像素。
4.根据权利要求1所述的方法，其特征在于，将合成激光雷达数据迁移至二维表达包括，将合成激光雷达数据迁移至鸟瞰表达。
5.根据权利要求1所述的方法，其特征在于，将合成激光雷达数据迁移至二维表达包括，生成多幅二维正视图像。
6.根据权利要求1所述的方法，还包括，在合成激光雷达数据的多帧内生成地面实况注释，以识别合成激光雷达数据中的一个或多个物体。
7.根据权利要求1所述的方法，其特征在于：
所述方法还包括，接收真实环境中捕获的多幅图像；
将所述合成激光雷达数据迁移至所述二维表达包括：
从所述激光雷达数据生成多幅二维正视图像，
将所述合成激光雷达数据中的一个或多个物体映射至所述多幅图像中的一个或多个物体上。
8.根据权利要求7所述的方法，其特征在于：
所述方法还包括，在合成激光雷达数据的多帧内生成地面实况注释，以识别所述合成激光雷达数据中的一个或多个物体；
其中至少部分所述正视图像包括识别一个或多个物体的一个或多个地面实况注释。
9.根据权利要求7所述的方法，其特征在于，使用二维表达训练真实环境模型包括，使用在真实环境中捕获的多幅图像、来自激光雷达数据的二维正视图像以及映射结果来训练真实环境模型。
10.一种将合成激光雷达数据关联至真实域用于自动驾驶汽车训练的系统，所述系统包括：
处理器；
非临时内存，储存了合成激光雷达数据的数据集；
包含编程指令的非临时内存，所述编程指令用于指示处理器：
访问合成激光雷达数据的数据集，并从该数据集提取合成激光雷达数据，
将所提取的合成激光雷达数据迁移至二维表达，
使用所述二维表达训练真实环境模型；
使用经训练的所述真实环境模型训练自动驾驶汽车。
11.根据权利要求10所述的系统，还包括另外的编程指令，用于指示处理器实现仿真应用，该仿真应用通过在其模拟环境中操作虚拟汽车，生成所述合成激光雷达数据的数据集。
12.根据权利要求11所述的系统，其特征在于，实现仿真应用并生成所述合成激光雷达数据的数据集的所述指令包括如下指令，在模拟环境中操作虚拟汽车时：
获取仿真生成的多个深度图像；
从仿真生成的多个图像帧当中提取样本；
将所述样本关联至深度图像，以将每一样本逼近一个或多个深度图像中的像素。
13.根据权利要求10所述的系统，其特征在于，将合成激光雷达数据迁移至二维表达的所述编程指令，包括将合成激光雷达数据迁移至鸟瞰表达的指令。
14.根据权利要求10所述的系统，其特征在于，将合成激光雷达数据迁移至二维表达的所述编程指令，包括生成多幅二维正视图像的指令。
15.根据权利要求10所述的系统，还包括另外的编程指令，用于指示处理器在合成激光雷达数据的多帧内生成地面实况注释，以识别所述合成激光雷达数据中的一个或多个物体。
16.根据权利要求10所述的系统：
还包括另外的编程指令，用于指示所述系统接收真实环境中捕获的多幅图像；
其中指示将合成激光雷达数据迁移至二维表达的所述编程指令包括以下指令：
从所述激光雷达数据生成多幅二维正视图像，
将所述合成激光雷达数据中的一个或多个物体映射至所述多幅图像中的一个或多个物体上。
17.根据权利要求16所述的系统：
还包括另外的编程指令，用于指示处理器在所述合成激光雷达数据的数据集多帧内生成地面实况注释，以识别所述合成激光雷达数据中的一个或多个物体；
其中至少部分所述正视图像包括识别一个或多个物体的一个或多个地面实况注释。
18.根据权利要求16所述的系统，其特征在于，指示运用二维表达来训练真实环境模型的指令包括如下指令，使用在真实环境中捕获的多幅图像、来自激光雷达数据的二维正视图像以及映射结果来训练真实环境模型。
19.一种非临时计算机可读介质，包括编程指令，将合成激光雷达数据关联到真实域用于自动驾驶汽车训练，所述指令包括以下指令：
接收在真实环境中捕获的多幅图像；
实现仿真应用，该仿真应用通过在其模拟环境中操作虚拟汽车，生成所述合成激光雷达数据的数据集；
从所述数据集提取合成激光雷达数据；
通过以下步骤将所提取的合成激光雷达数据迁移至二维表达：
从所述激光雷达数据生成多幅二维正视图像，
将所述合成激光雷达数据中的一个或多个物体映射至所述多幅图像中的一个或多个物体上；使用所述二维表达来训练真实环境模型；使用经训练的所述真实环境模型训练自动驾驶汽车。
20.根据权利要求19所述的计算机可读介质，其特征在于：
所述实现仿真应用以生成所述合成激光雷达数据集的编程指令包括如下指令，在模拟环境中操作虚拟汽车时：
获取仿真生成的多个深度图像；
从仿真生成的多个图像帧当中提取样本；
将所述样本关联至深度图像，以将每一样本逼近一个或多个深度图像中的像素。
CN202010263651.5A 2019-04-10 2020-04-07 将合成激光雷达数据迁移至真实域用于自动驾驶汽车训练 Pending CN111816020A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/380,180 2019-04-10
US16/380,180 US11016496B2 (en) 2019-04-10 2019-04-10 Transferring synthetic LiDAR system data to real world domain for autonomous vehicle training applications

Publications (1)

Publication Number Publication Date
CN111816020A true CN111816020A (zh) 2020-10-23

Family

ID=70277291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010263651.5A Pending CN111816020A (zh) 2019-04-10 2020-04-07 将合成激光雷达数据迁移至真实域用于自动驾驶汽车训练

Country Status (3)

Country Link
US (2) US11016496B2 (zh)
EP (1) EP3723001A1 (zh)
CN (1) CN111816020A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114333489A (zh) * 2021-12-30 2022-04-12 广州小鹏汽车科技有限公司 远程驾驶仿真方法、设备及仿真系统

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11275673B1 (en) * 2019-06-24 2022-03-15 Zoox, Inc. Simulated LiDAR data
US11449709B2 (en) * 2019-08-08 2022-09-20 Nvidia Corporation Domain restriction of neural networks through synthetic data pre-training
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
US11327178B2 (en) * 2019-09-06 2022-05-10 Volvo Car Corporation Piece-wise network structure for long range environment perception
CN112132829A (zh) * 2020-10-23 2020-12-25 北京百度网讯科技有限公司 车辆信息的检测方法、装置、电子设备和存储介质
US11557129B2 (en) * 2021-04-27 2023-01-17 Argo AI, LLC Systems and methods for producing amodal cuboids
US20220402520A1 (en) * 2021-06-16 2022-12-22 Waymo Llc Implementing synthetic scenes for autonomous vehicles
CN113820694B (zh) * 2021-11-24 2022-03-01 腾讯科技（深圳）有限公司 一种仿真测距的方法、相关装置、设备以及存储介质
US20230230257A1 (en) * 2021-12-31 2023-07-20 Rivian Ip Holdings, Llc Systems and methods for improved three-dimensional data association using information from two-dimensional images
CN114895316B (zh) * 2022-07-11 2022-10-28 之江实验室 一种多激光雷达测距的快速数值仿真方法和装置
CN116644616B (zh) * 2023-07-25 2023-09-22 北京赛目科技股份有限公司 点云畸变效果还原方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107031656A (zh) * 2015-12-18 2017-08-11 福特全球技术公司 用于车轮止动器检测的虚拟传感器数据生成
CN108227707A (zh) * 2017-12-25 2018-06-29 清华大学苏州汽车研究院（吴江） 基于激光雷达和端到端深度学习方法的自动驾驶方法
CN108415032A (zh) * 2018-03-05 2018-08-17 中山大学 一种基于深度学习与激光雷达的点云语义地图构建方法
WO2018176000A1 (en) * 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US20180345496A1 (en) * 2017-06-05 2018-12-06 Autodesk, Inc. Adapting simulation data to real-world conditions encountered by physical processes
CN109407679A (zh) * 2018-12-28 2019-03-01 百度在线网络技术（北京）有限公司 用于控制无人驾驶汽车的方法和装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017157967A1 (en) 2016-03-14 2017-09-21 Imra Europe Sas Processing method of a 3d point cloud
US10592805B2 (en) * 2016-08-26 2020-03-17 Ford Global Technologies, Llc Physics modeling for radar and ultrasonic sensors
US10509947B1 (en) * 2017-04-11 2019-12-17 Zoox, Inc. Converting multi-dimensional data for image analysis
US20180349746A1 (en) * 2017-05-31 2018-12-06 Uber Technologies, Inc. Top-View Lidar-Based Object Detection
US20180373980A1 (en) * 2017-06-27 2018-12-27 drive.ai Inc. Method for training and refining an artificial intelligence
US10535191B2 (en) * 2017-12-21 2020-01-14 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
US10906536B2 (en) * 2018-04-11 2021-02-02 Aurora Innovation, Inc. Control of autonomous vehicle based on determined yaw parameter(s) of additional vehicle
US10839262B2 (en) * 2018-04-24 2020-11-17 Here Global B.V. Machine learning a feature detector using synthetic training data
US10539665B1 (en) * 2018-08-06 2020-01-21 Luminar Technologies, Inc. Determining distortion by tracking objects across successive frames
US20200074233A1 (en) * 2018-09-04 2020-03-05 Luminar Technologies, Inc. Automatically generating training data for a lidar using simulated vehicles in virtual space
US11151734B2 (en) * 2018-09-14 2021-10-19 Huawei Technologies Co., Ltd. Method and system for generating synthetic point cloud data using a generative model
US11734472B2 (en) * 2018-12-07 2023-08-22 Zoox, Inc. System and method for modeling physical objects in a simulation
US11772663B2 (en) * 2018-12-10 2023-10-03 Perceptive Automata, Inc. Neural network based modeling and simulation of non-stationary traffic objects for testing and development of autonomous vehicle systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107031656A (zh) * 2015-12-18 2017-08-11 福特全球技术公司 用于车轮止动器检测的虚拟传感器数据生成
WO2018176000A1 (en) * 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US20180345496A1 (en) * 2017-06-05 2018-12-06 Autodesk, Inc. Adapting simulation data to real-world conditions encountered by physical processes
CN108227707A (zh) * 2017-12-25 2018-06-29 清华大学苏州汽车研究院（吴江） 基于激光雷达和端到端深度学习方法的自动驾驶方法
CN108415032A (zh) * 2018-03-05 2018-08-17 中山大学 一种基于深度学习与激光雷达的点云语义地图构建方法
CN109407679A (zh) * 2018-12-28 2019-03-01 百度在线网络技术（北京）有限公司 用于控制无人驾驶汽车的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAZUKI MINEMURA 等: "LMNet: real-time multiclass object detection on CPU using 3D LiDAR", 《2018 3RD ASIA-PACIFIC CONFERENCE ON INTELLIGENT ROBOT SYSTEMS》 *
YIMING ZENG 等: "RT3D: real-time 3-D vehicle detection in LiDAR point cloud for autonomous driving", 《IEEE ROBOTICS AND AUTOMATION LETTERS》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114333489A (zh) * 2021-12-30 2022-04-12 广州小鹏汽车科技有限公司 远程驾驶仿真方法、设备及仿真系统

Also Published As

Publication number Publication date
US11734935B2 (en) 2023-08-22
US20210263528A1 (en) 2021-08-26
US11016496B2 (en) 2021-05-25
EP3723001A1 (en) 2020-10-14
US20200326717A1 (en) 2020-10-15

Similar Documents

Publication Publication Date Title
CN111816020A (zh) 将合成激光雷达数据迁移至真实域用于自动驾驶汽车训练
US12020476B2 (en) Data synthesis for autonomous control systems
US10565458B2 (en) Simulation system, simulation program and simulation method
US11042723B2 (en) Systems and methods for depth map sampling
US20190065637A1 (en) Augmenting Real Sensor Recordings With Simulated Sensor Data
CN112912920A (zh) 用于2d卷积神经网络的点云数据转换方法和系统
CN106503653A (zh) 区域标注方法、装置和电子设备
US11941888B2 (en) Method and device for generating training data for a recognition model for recognizing objects in sensor data of a sensor, in particular, of a vehicle, method for training and method for activating
KR102308456B1 (ko) 라이다 및 카메라 수집정보 기반 수종탐지 시스템 및 이를 이용한 수종탐지방법, 수종탐지방법을 수행하는 프로그램이 수록된 기록매체
CN111339876B (zh) 用于识别场景中各区域类型的方法和装置
CN107966155A (zh) 对象定位方法、对象定位系统和电子设备
CN116348739B (zh) 基于光线投射和语义类图像的地图生成系统和方法
Eiris et al. InDrone: a 2D-based drone flight behavior visualization platform for indoor building inspection
CN113393448A (zh) 一种形变检测方法、装置、设备及计算机可读存储介质
RU2562368C1 (ru) Способ трёхмерного (3d) картографирования
US20230080540A1 (en) Lidar simulation system
Pieczyński et al. A fast, lightweight deep learning vision pipeline for autonomous UAV landing support with added robustness
CN115934088A (zh) 一种可视化分析系统
Kikkawa et al. Accuracy evaluation and prediction of single-image camera calibration
Weerasinghe LIDAR-Based 3D Object Detection for Autonomous Driving A Comprehensive Exploration of Methods, Implementation Steps, Tools, and Challenges in Integrating Deep Learning Techniques
US11682140B1 (en) Methods and apparatus for calibrating stereo cameras using a time-of-flight sensor
CN117854068A (zh) 点云标注方法及装置、电子设备和存储介质
EP2639771B1 (en) Augmented vision in image sequence generated from a moving vehicle
AU2021102808A4 (en) A LiDAR point classification system for visualizing and processing LiDAR data and its method there of
CN117034579A (zh) 点云数据生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination