CN113376657A - 用于自动驾驶车辆lidar数据的自动标记系统 - Google Patents

用于自动驾驶车辆lidar数据的自动标记系统 Download PDF

Info

Publication number
CN113376657A
CN113376657A CN202011015303.2A CN202011015303A CN113376657A CN 113376657 A CN113376657 A CN 113376657A CN 202011015303 A CN202011015303 A CN 202011015303A CN 113376657 A CN113376657 A CN 113376657A
Authority
CN
China
Prior art keywords
data
objects
light detection
sensor
ranging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011015303.2A
Other languages
English (en)
Other versions
CN113376657B (zh
Inventor
朱帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of CN113376657A publication Critical patent/CN113376657A/zh
Application granted granted Critical
Publication of CN113376657B publication Critical patent/CN113376657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Abstract

公开了一种使用诸如高端LIDAR的高端感知传感器自动标记自动驾驶车辆的低端LIDAR的传感器数据的系统和方法。与高端LIDAR一起操作的感知系统可处理来自高端LIDAR的感测数据，以检测对象，并生成车辆周围的对象的元数据。通过将来自高端LIDAR的数据与来自诸如摄像机和雷达的其它传感器的数据进行融合，可进一步增强使用高端LIDAR正确识别对象的置信度水平。该方法可使用从由高端LIDAR和其它传感器捕获的数据处理的检测对象和检测对象的元数据作为地面真值来标记由安装在车辆上的低端LIDAR捕获的相同场景的数据。神经网络可在离线监督训练期间使用来自低端LIDAR的标记的传感器数据。

Description

用于自动驾驶车辆LIDAR数据的自动标记系统
技术领域
本公开的实施方式总体涉及操作自动驾驶车辆。更具体地，本公开的实施方式涉及用于对来自自动驾驶车辆(ADV)的感知传感器的传感器数据进行自动标记的方法和系统。
背景技术
以自动驾驶模式运行(例如，无人驾驶)的车辆可将乘员、尤其是驾驶员从一些驾驶相关的职责中解放出来。当以自动驾驶模式运行时，车辆可使用车载传感器导航到各个位置，从而允许车辆在最少人机交互的情况下或在没有任何乘客的一些情况下行驶。
运动规划和控制是自动驾驶中的关键操作。运动规划和控制操作的安全性、准确性和效率取决于ADV感测和预测诸如其它车辆或行人的移动障碍物的运动以及识别非移动对象的能力。诸如摄像机、光探测和测距(LIDAR)单元，雷达等的传感器用于捕获车辆周围的环境的视频和电磁图像。ADV可处理由传感器捕获的信息以感知驾驶环境，该驾驶环境包括ADV周围的障碍物、交通要素和道路特征，以用于规划和控制ADV的运动。
为了识别ADV周围的对象和预测附近车辆的运动或轨迹以进行安全导航，ADV的感知模块可使用对所捕获的传感器数据进行操作的神经网络。传感器数据可由具有64或128个激光射线的高端LIDAR以及摄像机、雷达等的那些来捕获。然而，由于高端LIDAR和相关联的计算硬件的高成本，可能希望找到具有16、32或40个射线的低成本LIDAR。为了使感知模块与低成本LIDAR一起操作，可能需要使用由低成本LIDAR捕获的标记数据来训练感知模块的神经网络。对来自传感器的感知数据进行标记很耗时、昂贵，并且经常是手动处理。希望能够自动地、有效地和成本有效地标记来自低成本LIDAR的、用于训练ADV的感知模块的神经网络的感知数据，所述感知模块与低成本LIDAR一起操作。
发明内容
在第一方面，本公开提供了一种用于标记由自动驾驶车辆(ADV)捕获的传感器数据的计算机实施的方法，该方法包括：接收由ADV的参考光探测和测距(LIDAR)传感器捕获的数据；从由LIDAR传感器接收到的数据中检测ADV的驾驶环境中的多个对象，以生成多个对象的信息；收集由ADV的目标LIDAR传感器捕获的目标LIDAR数据；以及使用多个对象的信息作为地面真值来标记目标LIDAR数据，以生成用于目标LIDAR数据的多个标记对象。
在第二方面，本公开提供了一种存储有指令的非暂时性机器可读介质，指令在由处理器执行时，致使处理器执行对由自动驾驶车辆(ADV)捕获的传感器数据进行标记的操作，该操作包括：接收由ADV的参考光探测和测距(LIDAR)传感器捕获的数据；从由LIDAR传感器接收到的数据中检测ADV的驾驶环境中的多个对象，以生成多个对象的信息；收集由ADV的目标LIDAR传感器捕获的目标LIDAR数据；以及使用多个对象的信息作为地面真值来标记目标LIDAR数据，以生成用于目标LIDAR数据的多个标记对象。
在第三方面，本公开提供了一种数据处理系统，该数据处理系统包括：处理器；以及存储器，联接至处理器以存储指令，指令在由处理器执行时致使处理器执行对由自动驾驶车辆(ADV)捕获的传感器数据进行标记的操作，该操作包括：接收由ADV的参考光探测和测距(LIDAR)传感器捕获的数据；从由LIDAR传感器接收到的数据中检测ADV的驾驶环境中的多个对象，以生成多个对象的信息；收集由ADV的目标LIDAR传感器捕获的目标LIDAR数据；以及使用多个对象的信息作为地面真值来标记目标LIDAR数据，以生成用于目标LIDAR数据的多个标记对象。
附图说明
本公开的实施方式在附图的各图中以举例而非限制的方式示出，附图中的相同参考标记指示相似元件。
图1是示出根据一个实施方式的网络化系统的框图。
图2是示出根据一个实施方式的自动驾驶车辆的示例的框图。
图3A至图3B是示出根据一个实施方式的与自动驾驶车辆一起使用的感知与规划系统的示例的框图。
图4是示出根据一个实施方式的自动驾驶系统的架构的框图。
图5A是示出根据一个实施方式的传感器单元的示例的框图。
图5B是示出根据一个实施方式的组合来自多个传感器的数据的传感器单元的示例的框图。
图6是示出根据一个实施方式的融合由LIDAR和其它传感器捕获的以供感知与规划系统处理的数据的传感器系统的示例的框图。
图7是示出根据一个实施方式的捕获来自高端参考LIDAR和其它传感器的融合数据以生成标记对象的系统的示例的框图，该标记对象用作对从低端目标LIDAR收集的数据进行标记的地面真值。
图8是示出根据一个实施方式的用于捕获来自高端参考LIDAR的数据以生成标记对象并使用标记对象作为地面真值来标记从低端目标LIDAR收集的数据的方法的示例的流程图。
图9是示出根据一个实施方式的用于使用从由高端参考LIDAR和其它传感器捕获的数据生成的标记对象来标记来自低端目标LIDAR的数据并且使用来自目标LIDAR的标记数据来训练感知模块的方法的示例的流程图。
具体实施方式
将参考以下所讨论的细节来描述本公开的各种实施方式和方面，附图将示出所述各种实施方式。下列描述和附图是本公开的说明，而不应当解释为对本公开进行限制。描述了许多特定细节以提供对本公开的各种实施方式的全面理解。然而，在某些情况下，并未描述众所周知的或常规的细节，以提供对本公开的实施方式的简洁讨论。
本说明书中对“一个实施方式”或“实施方式”的提及意味着结合该实施方式所描述的特定特征、结构或特性可包括在本公开的至少一个实施方式中。短语“在一个实施方式中”在本说明书中各个地方的出现不必全部指同一实施方式。
ADV的运动规划和控制取决于ADV感知ADV周围的驾驶环境的能力，诸如检测ADV周围的移动车辆或行人的轨迹，以及交通要素、道路特征和其它非移动对象的位置。为了识别ADV周围的对象以及为了预测附近车辆的运动或轨迹以进行安全导航，ADV的感知模块可使用神经网络，该神经网络对由诸如高端LIDAR的感知传感器捕获的数据进行操作。由于通常具有64或128条射线的高端LIDAR的成本和相关硬件的成本，希望使用仅具有40、32或16条射线的低端LIDAR。可训练感知模块的神经网络，诸如在离线监督训练期间，以使用已被标记为表示各对象的低端LIDAR的传感器数据来识别各种对象。然而，标记用于训练的传感器数据是耗时且昂贵的过程。公开了使用诸如高端LIDAR的高端感知传感器来自动和有效地标记低端感知传感器的传感器数据的方法和系统。
根据一些实施方式，与ADV上的高端LIDAR一起操作的感知模块可处理来自高端LIDAR的感测数据以检测对象并生成关于ADV周围的对象的信息。使用高端LIDAR从感知模块正确识别对象的置信度水平通常很高，并且可通过将来自高端LIDAR的数据与来自诸如摄像机和雷达的其它传感器的数据进行融合而进一步增强置信度水平。感知模块可使用检测到的对象和从由高端LIDAR和其它传感器捕获的数据处理的关于检测到的对象的信息作为地面真值来标记由安装在ADV上的一个或多个低端LIDAR捕获的相同场景的数据。来自低端LIDAR的数据可根据数据所表示的对象的类型(诸如车辆、人、自行车、障碍物、非移动对象等)进行标记。其它标记的信息可包括运动对象的相对位置、速度、加速度、轨迹、尺寸等，或者对象的尺寸、形状或其它物理特性。在一些实施方式中，不能被标记为已知对象的数据可与对应于已知对象的数据区分开来。例如，从低端LIDAR的感测数据处理的图像可使用多边形框来识别未知对象，并且使用矩形来识别已知对象。
由于感知模块处理与来自其它传感器的数据融合的高端LIDAR数据的复杂性，分配给来自低端LIDAR的数据的标签可具有高置信度水平。在一些实施方式中，对于不能被标记的数据或者为了验证标记对象的正确性，离线过程可手动地标记数据或者双重检查被标记的数据的准确性。然而，即使在执行传感器数据的零星手动标记时，使用来自对高端传感器数据操作的感知模块的输出作为地面真值来自动标记来自低端传感器的传感器数据比使用手动过程标记所有传感器数据更有效。感知模块的神经网络可在离线监督训练期间使用来自低端LIDAR的标记的传感器数据来识别对应于标记数据的对象。
根据一个实施方式，公开了一种用于标记由ADV捕获的传感器数据的方法。该方法包括接收由ADV的参考LIDAR捕获的传感器数据。该方法还包括通过处理由参考LIDAR捕获的传感器数据来检测ADV周围的驾驶环境中的对象，以生成用于检测到的对象的信息。该方法还包括收集由ADV的目标LIDAR捕获的传感器数据。该方法还包括通过使用从处理由参考LIDAR捕获的传感器数据中检测到的对象的信息来标记由目标LIDAR捕获的传感器数据。检测到的对象的信息可用作地面真值，以生成用于由目标LIDAR捕获的传感器数据的标记对象。
图1是示出根据本公开的一个实施方式的自动驾驶车辆网络配置的框图。参考图1，网络配置100包括可通过网络102通信地联接到一个或多个服务器103至104的自动驾驶车辆101。尽管示出一个自动驾驶车辆，但多个自动驾驶车辆可通过网络102联接到彼此和/或联接到服务器103至104。网络102可以是任何类型的网络，例如，有线或无线的局域网(LAN)、诸如互联网的广域网(WAN)、蜂窝网络、卫星网络或其组合。服务器103至104可以是任何类型的服务器或服务器群集，诸如，网络或云服务器、应用服务器、后端服务器或其组合。服务器103至104可以是数据分析服务器、内容服务器、交通信息服务器、地图和兴趣点(MPOI)服务器或位置服务器等。在一个实施方式中，自动驾驶车辆101可从服务器103或104下载HD地图以用于运动规划和控制。
自动驾驶车辆是指可配置成以自动驾驶模式操作的车辆，在所述自动驾驶模式下车辆在极少或没有来自驾驶员的输入的情况下导航通过环境。这种自动驾驶车辆可包括传感器系统，所述传感器系统具有配置成检测与车辆运行环境有关的信息的一个或多个传感器。所述车辆和其相关联的控制器使用所检测的信息来导航通过所述环境。自动驾驶车辆101可在手动模式下、在全自动驾驶模式下或者在部分自动驾驶模式下运行。
在一个实施方式中，自动驾驶车辆101包括，但不限于，感知与规划系统110、车辆控制系统111、无线通信系统112、用户接口系统113和传感器系统115。自动驾驶车辆101还可包括普通车辆中包括的某些常用部件，诸如：发动机、车轮、方向盘、变速器等，所述部件可由车辆控制系统111和/或感知与规划系统110使用多种通信信号和/或命令进行控制，该多种通信信号和/或命令例如，加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等。
部件110至115可经由互连件、总线、网络或其组合通信地联接到彼此。例如，部件110至115可经由控制器局域网(CAN)总线通信地联接到彼此。CAN总线是设计成允许微控制器和装置在没有主机的应用中与彼此通信的车辆总线标准。它是最初是为汽车内的复用电气布线设计的基于消息的协议，但也用于许多其它环境。
现在参考图2，在一个实施方式中，传感器系统115包括但不限于一个或多个摄像机211、全球定位系统(GPS)单元212、惯性测量单元(IMU)213、雷达单元214以及光探测和测距(LIDAR)单元215。GPS单元212可包括收发器，所述收发器可操作以提供关于自动驾驶车辆的位置的信息。IMU单元213可基于惯性加速度来感测自动驾驶车辆的位置和定向变化。雷达单元214可表示利用无线电信号来感测自动驾驶车辆的本地环境内的对象的系统。在一些实施方式中，除感测对象之外，雷达单元214可另外感测对象的速度和/或前进方向。LIDAR单元215可使用激光来感测自动驾驶车辆所处环境中的对象。除其它系统部件之外，LIDAR单元215还可包括一个或多个激光源、激光扫描器以及一个或多个检测器。摄像机211可包括用来采集自动驾驶车辆周围环境的图像的一个或多个装置。摄像机211可以是静物摄像机和/或视频摄像机。摄像机可以是可机械地移动的，例如，通过将摄像机安装在旋转和/或倾斜平台上。
传感器系统115还可包括其它传感器，诸如：声纳传感器、红外传感器、转向传感器、油门传感器、制动传感器以及音频传感器(例如，麦克风)。音频传感器可配置成从自动驾驶车辆周围的环境中采集声音。转向传感器可配置成感测方向盘、车辆的车轮或其组合的转向角度。油门传感器和制动传感器分别感测车辆的油门位置和制动位置。在一些情形下，油门传感器和制动传感器可集成为集成式油门/制动传感器。
在一个实施方式中，车辆控制系统111包括但不限于转向单元201、油门单元202(也称为加速单元)和制动单元203。转向单元201用来调整车辆的方向或前进方向。油门单元202用来控制电动机或发动机的速度，电动机或发动机的速度进而控制车辆的速度和加速度。制动单元203通过提供摩擦使车辆的车轮或轮胎减速而使车辆减速。应注意，如图2所示的部件可以以硬件、软件或其组合实施。
返回参考图1，无线通信系统112配置成允许自动驾驶车辆101与诸如装置、传感器、其它车辆等外部系统之间的通信。例如，无线通信系统112可以与一个或多个装置直接无线通信，或者经由通信网络进行无线通信，诸如，通过网络102与服务器103至104通信。无线通信系统112可使用任何蜂窝通信网络或无线局域网(WLAN)，例如，使用WiFi，以与另一部件或系统通信。无线通信系统112可例如使用红外链路、蓝牙等与装置(例如，乘客的移动装置、显示装置、车辆101内的扬声器)直接通信。用户接口系统113可以是在车辆101内实施的外围装置的部分，包括例如键盘、触摸屏显示器、麦克风和扬声器等。
自动驾驶车辆101的功能中的一些或全部可由感知与规划系统110控制或管理，尤其当在自动驾驶模式下操作时。感知与规划系统110包括必要的硬件(例如，处理器、存储器、存储装置)和软件(例如，操作系统、规划和路线安排程序)，以从传感器系统115、控制系统111、无线通信系统112和/或用户接口系统113接收信息，处理所接收的信息，规划从起始点到目的地点的路线或路径，随后基于规划和控制信息来驾驶车辆101。可替代地，感知与规划系统110可与车辆控制系统111集成在一起。
例如，作为乘客的用户可例如经由用户接口来指定行程的起始位置和目的地。感知与规划系统110获得行程相关数据。例如，感知与规划系统110可从MPOI服务器中获得位置和路线信息，所述MPOI服务器可以是服务器103至104的一部分。位置服务器提供位置服务，并且MPOI服务器提供地图服务和某些位置的POI。可替代地，此类位置和MPOI信息可本地高速缓存在感知与规划系统110的永久性存储装置中。在一个实施方式中，位置和MPOI信息可从自服务器103至104下载的HD地图获得。
当自动驾驶车辆101沿着路线移动时，感知与规划系统110也可从交通信息系统或服务器(TIS)获得实时交通信息。应注意，服务器103至104可由第三方实体进行操作，诸如服务提供商，其将开始位置和目的地位置下载到感知与规划系统110，以便感知与规划系统110规划路线。第三方实体还可向感知与规划系统110发出命令，以命令自动驾驶车辆101开始在所规划的路线上行驶。可替代地，服务器103至104的功能可与感知与规划系统110集成在一起。基于实时交通信息、MPOI信息和位置信息以及由传感器系统115检测或感测的实时本地环境数据(例如，障碍物、对象、附近车辆)，感知与规划系统110可规划最佳路线并且根据所规划的路线例如经由控制系统111来驾驶车辆101，以安全且高效到达指定目的地。
服务器103可以是数据分析系统，从而为各种客户执行数据分析服务。在一个实施方式中，数据分析系统103包括数据收集器121和机器学习引擎122。数据收集器121从各种车辆(自动驾驶车辆或由人类驾驶员驾驶的常规车辆)收集驾驶统计数据123。驾驶统计数据123包括指示所发出的驾驶指令(例如，油门、制动、转向指令)以及由车辆的传感器在不同的时间点捕捉到的车辆的响应(例如，速度、加速、减速、方向)的信息。驾驶统计数据123还可包括描述不同时间点下的驾驶环境的信息，例如，路线(包括起始位置和目的地位置)、MPOI、道路状况、天气状况等。驾驶统计数据123还可包括由IMU和GPS传感器捕获的描述车辆的位置和定向的姿势。
基于驾驶统计数据123，出于各种目的，机器学习引擎122生成或训练一组规则、算法和/或预测模型124。在一个实施方式中，算法124可包括用于预测自动驾驶车辆101的环境中的其它车辆的轨迹的深度学习神经网络模型，以使得感知与规划系统110能够导航自动驾驶车辆101，以避免与其它车辆碰撞。
在一些实施方式中，数据分析系统103可执行由安装在自动驾驶车辆101上的低端LIDAR捕获的数据的感知数据标记。数据收集器121可收集检测到的对象和关于由感知与规划系统110生成的检测到的对象的信息，所述感知与规划系统110处理由自动驾驶车辆101的传感器系统115的高端LIDAR和其它传感器捕获的数据。数据收集器121还可收集由低端LIDAR捕获的数据。数据分析系统103可使用检测到的对象和关于检测到的对象的信息作为地面真值来标记来自低端LIDAR的数据。机器学习引擎122可使用来自低端LIDAR的标记的传感器数据来训练深度学习神经网络的规则、算法和/或预测模型124的集合。所训练的规则、算法和/或预测模型124的集合可由感知与规划系统110使用，以基于由低端LIDAR捕获的数据来检测自动驾驶车辆101的环境中的对象。
算法124可上载到ADV上，以便在自动驾驶期间实时使用，或者可由诸如服务器103的障碍物跟踪引擎125的其它模块使用。在一个实施方式中，障碍物跟踪引擎125可基于移动障碍物(诸如车辆或行人)的过去轨迹和移动障碍物在其中操作的环境来预测自动驾驶车辆101周围的移动障碍物的近期运动或轨迹。尽管障碍物跟踪引擎125示出为服务器103的一部分，但是在一些实施方式中，引擎125可以是服务器104的一部分。
图3A和图3B是示出根据一个实施方式的与自动驾驶车辆一起使用的感知与规划系统的示例的框图。系统300可实施为图1的自动驾驶车辆101的一部分，包括但不限于感知与规划系统110、控制系统111和传感器系统115。参考图3A至图3B，感知与规划系统110包括但不限于定位模块301、感知模块302、预测模块303、决策模块304、规划模块305、控制模块306、路线安排模块307和感知数据标记模块308。
模块301至308中的一些或全部可以以软件、硬件或其组合实施。例如，这些模块可安装在永久性存储装置352中、加载到存储器351中，并且由一个或多个处理器(未示出)执行。可替代地，此类部件可实施为经编程或嵌入到专用硬件(诸如集成电路(例如，专用IC或ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA))中的可执行代码，该可执行代码可经由相应驱动器和/或操作系统从应用程序访问。此外，这类部件可实施为处理器或处理器内核中的特定硬件逻辑，作为可由软件部件经由一个或多个特定指令访问的指令集的一部分。应注意，这些模块中的一些或全部可通信地联接到图2的车辆控制系统111的一些或全部模块或者与它们集成在一起。模块301至308中的一些可一起集成为集成模块。例如，决策模块304和规划模块305可集成为单个模块。
定位模块301确定自动驾驶车辆101的当前位置(例如，利用GPS单元212)以及管理与用户的行程或路线相关的任何数据。定位模块301(又称作为地图与路线模块)管理与用户的行程或路线相关的任何数据。用户可例如经由用户接口登录并且指定行程的起始位置和目的地。定位模块301与自动驾驶车辆101的诸如地图与路线信息311的其它部件通信，以获得行程相关数据。例如，定位模块301可从位置服务器和地图与POI(MPOI)服务器获得位置和路线信息。位置服务器提供位置服务，并且MPOI服务器提供地图服务和某些位置的POI，从而可作为地图与路线信息311的一部分高速缓存。在一个实施方式中，地图与路线信息311可以是HD地图。HD地图可从位置服务器和MPOI服务器下载。当自动驾驶车辆101沿着路线移动时，定位模块301也可从交通信息系统或服务器获得实时交通信息。
基于由传感器系统115提供的传感器数据和由定位模块301获得的定位信息，感知模块302确定对周围环境的感知。感知信息可表示普通驾驶员在驾驶员正驾驶的车辆周围将感知到的东西。感知可包括例如采用对象形式的车道配置、交通灯信号、另一车辆的相对位置、行人、建筑物、人行横道或其它交通相关标志(例如，停止标志、让行标志)等。车道配置包括描述一个或多个车道的信息，诸如，例如车道的形状(例如，直线或弯曲)、车道的宽度、道路中的车道数量、单向或双向车道、合并或分开车道、出口车道等。
感知模块302可包括计算机视觉系统或计算机视觉系统的功能，以处理并分析由一个或多个摄像机采集的图像，从而识别自动驾驶车辆101的环境中的对象和/或特征。所述对象可包括交通信号、道路边界、其它车辆、行人和/或障碍物等。计算机视觉系统可使用对象识别算法、视频跟踪以及其它计算机视觉技术。在一些实施方式中，计算机视觉系统可绘制环境地图，跟踪对象，以及估算对象的速度等。感知模块302也可基于由诸如雷达和/或LIDAR的其它传感器提供的其它传感器数据来检测对象。在一个实施方式中，感知模块302可生成图像地图，该图像地图示出在自动驾驶车辆101的环境中的其他车辆或行人的当前位置、当前前进方向和过去轨迹。对象、特征、关于对象的运动的信息以及描述对象的元数据可用作地面真值，以标记由另一传感器(诸如在本公开的实施方式中公开的低端LIDAR)捕获的图像。
针对每个对象，预测模块303预测对象在这种情况下将如何表现。预测是基于感知数据执行的，该感知数据在考虑一组地图/路线信息311和交通规则312的时间点感知驾驶环境。例如，如果对象为相反方向上的车辆且当前驾驶环境包括十字路口，则预测模块303将预测车辆是否可能会笔直向前移动或转弯。如果感知数据表明十字路口没有交通灯，则预测模块303可能会预测车辆在进入十字路口之前可能需要完全停车。如果感知数据表明车辆目前处于左转唯一车道或右转唯一车道，则预测模块303可能预测车辆将更可能分别左转或右转。
针对每个对象，决策模块304作出关于如何处置对象的决定。例如，针对特定对象(例如，交叉路线中的另一车辆)以及描述对象的元数据(例如，速度、方向、转弯角度)，决策模块304决定如何与所述对象相遇(例如，超车、让行、停止、超过)。决策模块304可根据诸如交通规则或驾驶规则312的规则集来作出此类决定，所述规则集可存储在永久性存储装置352中。
路线安排模块307配置成提供从起始点到目的地点的一个或多个路线或路径。对于从起始位置到目的地位置的给定行程，例如从用户接收的给定行程，路线安排模块307获得路线与地图信息311，并确定从起始位置至到达目的地位置的所有可能路线或路径。路线安排模块307可生成地形图形式的参考线，它确定了从起始位置至到达目的地位置的每个路线。参考线是指不受其它诸如其它车辆、障碍物或交通状况的任何干扰的理想路线或路径。即，如果道路上没有其它车辆、行人或障碍物，则ADV应精确地或紧密地跟随参考线。然后，将地形图提供至决策模块304和/或规划模块305。决策模块304和/或规划模块305检查所有可能的路线，以根据由其它模块提供的其它数据选择和更改最佳路线中的一个，其中，其它数据诸如为来自定位模块301的交通状况、由感知模块302感知到的驾驶环境以及由预测模块303预测的交通状况。根据时间点下的特定驾驶环境，用于控制ADV的实际路径或路线可能接近于或不同于由路线安排模块307提供的参考线。
因此，基于针对所感知到的对象中的每个的决定，决策模块304和/或规划模块305使用由路线安排模块307提供的参考线作为基础，为自动驾驶车辆规划路径或路线以及驾驶参数(例如，距离、速度和/或转弯角度)。换言之，针对给定的对象，决策模块304决定对该对象做什么，而规划模块305确定如何去做。例如，针对给定的对象，决策模块304可决定超过所述对象，而规划模块305可确定在所述对象的左侧还是右侧超过。规划和控制数据由规划模块305生成，包括描述车辆101在下一移动循环(例如，下一路线/路径段)中将如何移动的信息。例如，规划和控制数据可指示车辆101以30英里每小时(mph)的速度移动10米，随后以25mph的速度变到右侧车道。
基于规划和控制数据，控制模块306根据由规划和控制数据限定的路线或路径通过将适当的命令或信号发送到车辆控制系统111来控制并驾驶自动驾驶车辆。所述规划和控制数据包括足够的信息，以沿着路径或路线在不同的时间点使用适当的车辆设置或驾驶参数(例如，油门、制动、转向命令)将车辆从路线或路径的第一点驾驶到第二点。
在一个实施方式中，规划阶段在多个规划周期(也称作为驾驶周期)中执行，例如，在每个时间间隔为100毫秒(ms)的周期中执行。对于规划周期或驾驶周期中的每一个，将基于规划和控制数据发出一个或多个控制命令。即，对于每100ms，规划模块305规划下一个路线段或路径段，例如，包括目标位置和ADV到达目标位置所需要的时间。可替代地，规划模块305还可规定具体的速度、方向和/或转向角等。在一个实施方式中，规划模块305为下一个预定时段(诸如，5秒)规划路线段或路径段。对于每个规划周期，规划模块305基于在前一周期中规划的目标位置规划用于当前周期(例如，下一个5秒)的目标位置。控制模块306然后基于当前周期的规划和控制数据生成一个或多个控制命令(例如，油门、制动、转向控制命令)。
应注意，决策模块304和规划模块305可集成为集成模块。决策模块304/规划模块305可包括导航系统或导航系统的功能，以确定自动驾驶车辆的驾驶路径。例如，导航系统可确定用于影响自动驾驶车辆沿着以下路径移动的一系列速度和前进方向：所述路径在使自动驾驶车辆沿着通往最终目的地的基于车行道的路径前进的同时，基本上避免感知到的障碍物。目的地可根据经由用户接口系统113进行的用户输入来设定。导航系统可在自动驾驶车辆正在运行的同时动态地更新驾驶路径。导航系统可将来自GPS系统和一个或多个地图的数据合并，以确定用于自动驾驶车辆的驾驶路径。
决策模块304/规划模块305还可包括防撞系统或防撞系统的功能，以识别、评估并且避免或以其它方式越过自动驾驶车辆的环境中的潜在障碍物。例如，防撞系统可通过以下方式实现自动驾驶车辆的导航中的变化：操作控制系统111中的一个或多个子系统来采取变向操纵、转弯操纵、制动操纵等。防撞系统可基于周围的交通模式、道路状况等自动确定可行的障碍物回避操纵。防撞系统可被配置成使得当其它传感器系统检测到位于自动驾驶车辆将变向进入的相邻区域中的行人、车辆、建筑障碍物等时不采取变向操纵。防撞系统可自动选择既可使用又使得自动驾驶车辆乘员的安全性最大化的操纵。防撞系统可选择预测使得自动驾驶车辆的乘客舱中出现最小量的加速度的避让操纵。
在一些实施方式中，感知数据标记模块308可使用来自感知模块302的检测对象和关于检测对象的元数据作为地面真值来标记来自低端LIDAR的数据。标记的数据可用于训练感知模块302的深度学习神经网络的规则、算法和/或预测模型的集合。感知模块302可使用训练的规则、算法和/或预测模型的集合来基于由低端LIDAR捕获的数据来检测自动驾驶车辆的环境中的对象。
图4是示出根据一个实施方式的用于自动驾驶的系统架构的框图。系统架构400可表示如图3A和图3B中所示的自动驾驶系统的系统架构。参考图4，系统架构400包括但不限于应用程序层401、规划与控制(PNC)层402、感知层403、驱动器层404、固件层405和硬件层406。应用程序层401可包括与自动驾驶车辆的用户或乘客交互的用户接口或配置应用，诸如与用户接口系统113相关联的功能。PNC层402可包括至少规划模块305和控制模块306的功能。感知层403可包括至少感知模块302的功能。在一个实施方式中，存在包括预测模块303和/或决策模块304的功能的附加层。可替代地，这种功能可包括在PNC层402和/或感知层403中。固件层405可至少表示传感器系统115的功能，其可以以现场可编程门阵列(FPGA)的形式实现。硬件层406可表示自动驾驶车辆的硬件，诸如控制系统111。层401至403可经由装置驱动器层404与固件层405和硬件层406通信。
图5A是示出根据本公开的一个实施方式的传感器系统的示例的框图。参考图5A，传感器系统115包括多个传感器510和联接至主机系统110的传感器单元500。主机系统110表示如上所述的规划与控制系统，其可包括如图3A和图3B中所示的模块中的至少一些。传感器单元500可以以FPGA器件或ASIC(专用集成电路)器件的形式实现。在一个实施方式中，传感器单元500尤其包括一个或多个传感器数据处理模块501(也简称为传感器处理模块)、数据传输模块502和传感器控制模块或逻辑503。模块501至503可经由传感器接口504与传感器510通信，以及经由主机接口505与主机系统110通信。可选地，可利用内部或外部缓冲器506来缓冲数据以进行处理。
在一个实施方式中，对于接收路径或上游方向，传感器处理模块501配置为经由传感器接口504从传感器接收传感器数据，并处理传感器数据(例如，格式转换，错误检查)，该传感器数据可被暂时性地存储在缓冲器506中。数据传输模块502配置为使用与主机接口505兼容的通信协议将处理后的数据传输至主机系统110。类似地，对于发送路径或下游方向，数据传输模块502配置为从主机系统110接收数据或命令。然后，该数据由传感器处理模块501处理成与相应传感器兼容的格式。处理后的数据然后发送至传感器。
在一个实施方式中，传感器控制模块或逻辑503配置为响应于经由主机接口505从主机系统(例如，感知模块302)接收的命令来控制传感器510的某些操作，诸如捕获传感器数据的激活的定时。主机系统110可配置传感器510以便以协同和/或同步的方式捕获传感器数据，使得传感器数据可用于在任何时间点感知车辆周围的驾驶环境。
传感器接口504可包括以太网、USB(通用串行总线)、LTE(长期演进)或蜂窝、WiFi、GPS、摄像机、CAN，串行(例如，通用异步收机发器或UART)、SIM(用户识别模块)卡和其它通用输入/输出(GPIO)接口中的一个或多个。主机接口505可以是任何高速或高带宽接口，诸如PCIe(外围部件互连或PCI Express)接口。传感器510可包括在自动驾驶车辆中使用的各种传感器，诸如例如摄像机、LIDAR装置、雷达装置、GPS接收器、IMU、超声波传感器、GNSS(全球导航卫星系统)接收器、LTE或蜂窝SIM卡，车辆传感器(例如，油门、制动、转向传感器)和系统传感器(温度、湿度、压力传感器)等。
例如，摄像机可经由以太网或GPIO接口联接。GPS传感器可经由USB或特定GPS接口联接。车辆传感器可通过CAN接口联接。雷达传感器或超声波传感器可经由GPIO接口联接。LIDAR装置可经由以太网接口联接。外部SIM模块可经由LTE接口联接。类似地，可将内部SIM模块插入到传感器单元500的SIM插座上。诸如UART的串行接口可与控制台系统联接以用于调试目的。
应注意，传感器510可以是任何类型的传感器，并且由各种供货商或供应商提供。例如，传感器510可包括高端LIDAR、摄像机和雷达，它们的数据可由主机系统110融合和处理以检测对象并生成关于自动驾驶车辆周围的对象的信息。对象可包括交通信号、道路边界、其它车辆、行人和/或障碍物等。关于对象的信息可包括环境中其他车辆或行人的当前位置、当前前进方向以及过去轨迹。传感器510还可包括一个或多个低端LIDAR单元，其数据使用对象和关于从由高端LIDAR和其它传感器捕获的数据检测到的对象的信息作为地面真值进行标记。
传感器处理模块501配置为处理不同类型的传感器以及它们相应的数据格式和通信协议。根据一个实施方式，传感器510中的每个均与用于处理传感器数据和用于在主机系统110与相应传感器之间传输处理后的传感器数据的特定信道相关联。如图5B中所示，每个信道均包括特定的传感器处理模块和特定的数据传输模块，这些模块已配置或编程为处理相应的传感器数据和协议。
现在参考图5B，传感器处理模块501A至501C专门配置成分别处理从传感器510A至510C获得的传感器数据。应注意，传感器510A至510C可以是相同或不同类型的传感器。传感器处理模块501A至501C可配置成(例如，软件可配置)以处理用于不同类型传感器的不同传感器过程。例如，如果传感器510A是摄像机，则处理模块501A可配置为处理对表示由摄像机510A捕获的图像的特定像素数据的像素处理操作。类似地，如果传感器510A是LIDAR装置，则处理模块501A配置为具体地处理LIDAR数据。即，根据一个实施方式，根据特定传感器的具体类型，其相应的处理模块可配置为使用与传感器数据的类型相对应的特定过程或方法来处理相应的传感器数据。
类似地，数据传输模块502A至502C可配置成在不同模式下操作，因为不同种类的传感器数据可具有不同的尺寸或灵敏度，这需要不同的速度或定时要求。根据一个实施方式，数据传输模块502A至502C中的每个均可配置为在低延时模式、高带宽模式或存储器模式(也称为固定存储器模式)中的一个模式下操作。
当在低延时模式下操作时，根据一个实施方式，数据传输模块(例如，数据传输模块502)配置为在没有延迟或具有最小延迟的情况下尽可能快地将从传感器接收的传感器数据发送至主机系统。传感器数据中的一些在需要尽可能快地处理的定时方面非常敏感。这种传感器数据的示例包括车辆状态，诸如车辆速度、加速度、转向角等。
当在高带宽模式下操作时，根据一个实施方式，数据传输模块(例如，数据传输模块502)配置为将从传感器接收的传感器数据累积到预定量，但是仍然在数据传输模块与主机系统110之间的连接的带宽内。然后，累积的传感器数据以批次传输至主机系统110，这使得数据传输模块与主机系统110之间的连接的带宽最大化。通常，高带宽模式用于产生大量传感器数据的传感器。这种传感器数据的示例包括摄像机像素数据。
当在存储器模式下操作时，根据一个实施方式，数据传输模块配置为类似于共享存储器页面，将从传感器接收的传感器数据直接写入主机系统110的映射存储器的存储位置。使用存储器模式传输的传感器数据的示例包括诸如温度、风扇速度等的系统状态数据。
图6是示出根据一个实施方式的传感器系统的示例的框图，该传感器系统配置为组合或融合由LIDAR和其它传感器捕获的数据，以便由感知与规划系统110进行处理。传感器系统115表示图5B的传感器系统的一个实施方式，其中，传感器包括摄像机211、LIDAR215和雷达214。摄像机211、LIDAR 215和雷达214可各自包括多个传感器，并且传感器中的每个均可与用于提供ADV周围环境的视频或电磁数据的信道相关联。
传感器组合模块600将来自摄像机211、LIDAR 215和雷达214的传感器数据进行组合或合并。传感器数据组合操作可包括：传感器数据的时间戳标注，来自摄像机211的数据的视频压缩，压缩的视频数据的分割，传感器数据的时间同步，传感器数据的合并等。传感器组合模块600可包括配置成从摄像机211接收数据的摄像机接口601、配置成从LIDAR 215接收数据的LIDAR接口603、配置成从雷达214接收数据的雷达接口605；视频编解码器607、多传感器融合模块609、主机接口505以及网络接口611。在一个实施方式中，传感器组合模块600可以以FPGA或ASIC实现。摄像机接口601、LIDAR接口603和雷达接口605配置为从它们各自的传感器接收数据，并且可包括以太网、USB、LTE或蜂窝、WiFi、串行(例如，UART)和其它GPIO接口中的一个或多个。
LIDAR接口603可用时间戳标注来自LIDAR 215的数据，以指示接收到LIDAR数据单元的时间。类似地，雷达接口605可用时间戳标注来自雷达214的数据，以指示接收到雷达数据单元的时间。视频编解码器607可对由摄像机接口601接收的来自摄像机211的视频数据帧执行视频压缩。压缩的视频数据可用时间戳标注，以指示由摄像机接口601接收到相应的未压缩视频数据帧的时间。多传感器融合模块609可使压缩的视频数据、LIDAR数据和雷达数据对准或时间同步以进行组合。多传感器融合模块609可将组合的传感器数据存储到存储器615中。处理器617可从存储器615读取组合的传感器数据，以便通过主机接口505传输至感知与规划系统110，或者通过网络接口611传输至数据网络613。
图7是示出根据一个实施方式的系统的示例的框图，该系统配置为从高端参考LIDAR和其它传感器捕获融合数据，以生成被用作地面真值以标记从低端目标LIDAR收集的数据的标记对象。传感器系统115可以是图6的传感器系统115，其配置成组合或融合来自摄像机211、参考LIDAR 215和雷达214的传感器数据以生成组合的传感器数据。
参考LIDAR 215可以是具有128或64条射线的高端LIDAR。数据收集自动驾驶车辆可配备有包括参考LIDAR 215、摄像机211和雷达214的传感器系统115以及一个或多个低端目标LIDAR，诸如目标LIDAR 1(221)和目标LIDAR 2(222)。目标LIDAR 1(221)和目标LIDAR2(222)可仅具有40、32或16条射线，并且可以以它们在自动驾驶车辆上操作使用的预期的3-D位置和定向安装在数据收集自动驾驶车辆上。
感知与规划系统110可处理由传感器组合模块600提供的来自参考LIDAR 215、摄像机211和雷达214的组合传感器数据，以检测对象，并针对规划周期的每个时间点生成数据收集自动驾驶车辆周围的对象的信息或元数据。对象可包括车道配置、交通灯信号、道路边界、其它车辆、行人、自行车、建筑物、人行横道、其它交通相关标志(例如，停车标志、让行标志)或障碍物。关于对象的信息或元数据可包括每个车辆或行人在每个时间点的当前位置、当前速度、当前加速度、当前前进方向、转弯角度以及其它运动信息。对象的信息或元数据还可包括对象的过去的轨迹、先前时间点的跟踪信息、尺寸、形状或其它物理特性。感知与规划系统110从组合传感器数据正确识别对象和它们的元数据的置信度水平很高，因此可将结果用作地面真值来标记来自低端目标LIDAR的数据。
数据收集与标记模块621可从感知与规划系统110接收检测到的对象和检测到的对象的元数据。在一些实施方式中，数据收集与标记模块621可以是图1的数据分析系统103的数据收集器121。数据收集与标记模块621还可收集由目标LIDAR 1(221)和目标LIDAR 2(222)捕获的数据。在一个实施方式中，由目标LIDAR 1(221)和目标LIDAR 2(222)捕获的数据可在被数据收集与标记模块621收集之前首先被处理，例如被传感器处理模块501处理。
数据收集与标记模块621可将来自目标LIDAR 1(221)和目标LIDAR 2(222)的数据与摄像机211、参考LIDAR 215和雷达214的组合传感器数据对准或时间同步。数据收集与标记模块621可使用由感知与规划系统110从组合的传感器数据中检测到的对象和对象的元数据作为地面真值来标记由目标LIDAR 1(221)和目标LIDAR 2(222)捕获的数据。例如，由目标LIDAR从与由参考LIDAR和其它传感器所捕获的相同场景捕获的数据可被标记为表示来自地面真值的车道配置、交通灯信号、道路边界、其它车辆、行人、自行车、建筑物、人行横道、障碍物等。表示对象的运动信息、过去轨迹、物理特性等的元数据也可标注在对象上。
在一些实施方式中，不能标记为已知对象的数据可与对应于已知对象的数据区分开来。例如，从所捕获的目标LIDAR的数据处理的图像可使用多边形框来识别未知对象，以及使用矩形来识别已知对象。在一些实施方式中，对于不能被标记的数据或者为了验证标记对象的正确性，离线过程可手动地标记数据或者双重检查被标记的数据的准确性。
离线机器学习引擎可使用来自目标LIDAR的标记数据来训练深度学习神经网络的规则、算法和/或预测模型的集合，以识别对应于标记数据的对象。所训练的规则、算法和/或预测模型的集合可由感知与规划系统110使用，以在在线操作期间检测配备有目标LIDAR的自动驾驶车辆的环境中的对象。
图8是示出根据一个实施方式的用于从高端参考LIDAR捕获数据以生成标记对象并使用标记对象作为地面真值来标记从低端目标LIDAR收集的数据的方法800的示例的流程图。方法800可由可包括软件、硬件或其组合的处理逻辑来执行。例如，方法800可由诸如结合图7所描述的自动驾驶车辆的传感器系统115、感知与规划系统110以及数据收集与标记模块621来执行。
在操作801处，方法800接收由参考LIDAR捕获的数据。参考LIDAR可以是具有128或64条射线的高端LIDAR。数据收集自动驾驶车辆可配备有参考LIDAR。参考LIDAR数据可用时间戳来标注，以指示捕获或接收到参考LIDAR数据单元的时间。
在操作802处，方法800从所接收的参考LIDAR数据生成标记对象。在一些实施方式中，感知与规划系统110可处理所接收的参考LIDAR数据，以检测对象，并针对规划周期的每个时间点生成数据收集自动驾驶车辆周围的对象的信息或元数据。对象可包括车道配置、交通灯信号、道路边界、其它车辆、行人、自行车、建筑物、人行横道、其它交通相关标志(例如，停车标志、让行标志)或障碍物。关于对象的信息或元数据可包括每个车辆或行人在每个时间点的当前位置、当前速度、当前加速度、当前前进方向、转弯角度以及其它运动信息。关于对象的信息或元数据还可包括对象的过去轨迹、在先前时间点的跟踪信息、尺寸、形状或其它物理特性。
在操作803处，方法800从目标LIDAR接收要使用从参考LIDAR数据生成的标记对象进行标记的数据。可用时间戳来标注目标LIDAR数据，以指示捕获或接收到目标LIDAR数据单元的时间。在一些实施方式中，可处理目标LIDAR数据以生成图像。在一些实施方式中，方法800可将目标LIDAR数据的时间戳与参考LIDAR数据的时间戳对准或时间同步。目标LIDAR可以是功能上不如参考LIDAR的低端LIDAR，诸如仅具有40、32或16条射线的低端LIDAR。目标LIDAR可以以其在自动驾驶车辆上操作使用的预期3-D位置和定向安装在数据收集自动驾驶车辆上。
在操作804处，方法800使用从参考LIDAR数据生成的标记对象和对象的元数据作为地面真值来标记来自目标LIDAR的数据。例如，由目标LIDAR从与由参考LIDAR捕获的场景相同的场景捕获的数据可标记为表示来自地面真值的车道配置、交通灯信号、道路边界、其它车辆、行人、自行车、建筑物、人行横道、障碍物等。表示对象的运动信息、过去轨迹、物理特性等的元数据也可标注在对象上。
图9是示出根据一个实施方式的用于使用从由高端参考LIDAR和其它传感器捕获的数据生成的标记对象来标记来自低端目标LIDAR的数据并且使用来自目标LIDAR的标记数据来训练感知模块的方法900的示例的流程图。方法900可由可包括软件、硬件或其组合的处理逻辑来执行。例如，方法900可由诸如结合图7所描述的自动驾驶车辆的传感器系统115、感知与规划系统110以及数据收集与标记模块621来执行。
在操作901处，方法900接收由参考LIDAR捕获的数据。参考LIDAR可以是高端LIDAR，其具有128或64条射线并安装在数据收集自动驾驶车辆上。操作901可类似于操作801。
在操作903处，方法900接收由安装在数据收集自动驾驶车辆上的其它传感器(诸如摄像机和雷达)捕获的数据。由其它传感器捕获的数据可进行时间标注。例如，雷达数据可用时间戳标注，以指示捕获或接收到雷达数据单元的时间。类似地，压缩视频数据可用时间戳标注，以指示摄像机捕获或接收到未压缩视频数据的相应帧的时间。
在操作905处，方法900将从参考LIDAR接收的数据和从其它传感器接收的数据进行融合或组合以生成融合的传感器数据。在一些实施方式中，传感器组合模块，诸如图7的传感器系统115的传感器组合模块600，可在组合操作期间使用时间戳将参考LIDAR数据和从其它传感器接收的数据对准或时间同步。
在操作907处，方法900从融合的传感器数据生成用于多个时间点的标记对象。在一些实施方式中，感知与规划系统110可处理融合的传感器数据以检测对象，并针对规划周期的每个时间点生成数据收集自动驾驶车辆周围的对象的信息或元数据。对象可包括车道配置、交通灯信号、道路边界、其它车辆、行人、自行车、建筑物、人行横道、其它交通相关标志(例如，停车标志、让行标志)或障碍物。关于对象的信息或元数据可包括每个车辆或行人在每个时间点的当前位置、当前速度、当前加速度、当前前进方向、转弯角度以及其它运动信息。关于对象的信息或元数据还可包括对象的过去轨迹、在先前时间点的跟踪信息、尺寸、形状或其它物理特性。使用融合的传感器数据正确识别对象及其元数据的方法900的置信度水平可高于单独使用参考LIDAR数据的置信度水平。
在操作909处，方法900从目标LIDAR接收待使用从组合的传感器数据生成的标记对象标记的多个时间点的数据。目标LIDAR数据可用时间戳标注，以指示捕获或接收到目标LIDAR数据单元的时间。在一些实施方式中，可处理目标LIDAR数据以生成图像。在一些实施方式中，方法900可将目标LIDAR数据的时间戳与融合的传感器数据的时间戳对准或时间同步。目标LIDAR可以是功能上不如参考LIDAR的低端LIDAR，诸如仅具有40、32或16条射线的低端LIDAR。操作909可类似于操作803。
在操作911处，方法900使用从融合的传感器数据生成的标记对象和对象的元数据作为地面真值来标记来自目标LIDAR的数据。例如，由目标LIDAR从与由参考LIDAR和其它传感器捕获的场景相同的场景捕获的数据可标记为表示来自地面真值的车道配置、交通灯信号、道路边界、其它车辆、行人、自行车、建筑物、人行横道、障碍物等。表示对象的运动信息、过去轨迹、物理特性等的元数据也可标注在对象上。
在操作913处，方法900确定是否存在来自目标LIDAR的不能标记为已知对象的数据。在一些实施方式中，不能标记为已知对象的数据可与对应于已知对象的数据区分开来。例如，从所捕获的目标LIDAR的数据处理的图像可使用多边形框来识别未知对象，以及使用矩形来识别已知对象。在一些实施方式中，操作913可确定是否要验证用已知对象标记的目标LIDAR的数据。
在操作915处，如果存在来自目标LIDAR的不能标记为已知对象的数据，则方法900用已知对象标记该数据。在一些实施方式中，如果要验证用已知对象标记的目标LIDAR的数据，则方法900验证所标记的对象。在一些实施方式中，操作915可在离线过程中手动执行。
在操作917处，如果来自目标LIDAR的数据都已经用已知对象标记，则方法900使用来自目标LIDAR的标记数据来训练深度学习神经网络。在一些实施方式中，离线机器学习引擎可使用来自目标LIDAR的标记数据来训练深度学习神经网络的规则、算法和/或预测模型的集合，以识别对应于标记数据的对象。所训练的规则、算法和/或预测模型的集合可由感知与规划系统110使用，以在在线操作期间检测配备有目标LIDAR的自动驾驶车辆的环境中的对象。
数据处理系统可执行上述过程或方法中的任一个，诸如例如使用从由高端参考LIDAR和其它传感器捕获的数据生成的标记对象来标记来自低端目标LIDAR的数据的方法。数据处理系统可包括许多不同的部件。这些部件可实施为集成电路(IC)、集成电路的部分、分立电子装置或适用于电路板(诸如，计算机系统的主板或插入卡)的其它模块或者实施为以其它方式并入计算机系统的机架内的部件。
数据处理系统可包括一个或多个处理器、一个或多个存储器、以及经由总线连接的装置。处理器可表示一个或多个通用处理器，诸如，微处理器、中央处理单元(CPU)等。更具体地，处理器可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、或实施其它指令集的处理器、或实施指令集组合的处理器。处理器还可以是一个或多个专用处理器，诸如，专用集成电路(ASIC)、蜂窝或基带处理器、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器、图形处理器、通信处理器、加密处理器、协处理器、嵌入式处理器、或者能够处理指令的任何其它类型的逻辑。处理器可配置成执行存储在存储器中的用于执行本文中讨论的操作和步骤的指令。
本文所述的处理模块/单元/逻辑、部件以及其它特征可实施为分立硬件部件或集成在硬件部件(诸如，ASICS、FPGA、DSP或类似装置)的功能中。此外，处理模块/单元/逻辑可实施为硬件装置内的固件或功能电路。此外，处理模块/单元/逻辑可以以硬件装置和软件部件的任何组合来实施。
前述详细描述中的一些部分已经根据在计算机存储器内对数据位的运算的算法和符号表示而呈现。这些算法描述和表示是数据处理领域中的技术人员所使用的方式，以将他们的工作实质最有效地传达给本领域中的其他技术人员。本文中，算法通常被认为是导致所期望结果的自洽操作序列。这些操作是指需要对物理量进行物理操控的操作。
然而，应当牢记，所有这些和类似的术语均旨在与适当的物理量关联，并且仅仅是应用于这些量的方便标记。除非在以上讨论中以其它方式明确地指出，否则应当了解，在整个说明书中，利用术语(诸如所附权利要求书中所阐述的术语)进行的讨论是指计算机系统或类似电子计算装置的动作和处理，所述计算机系统或电子计算装置操控计算机系统的寄存器和存储器内的表示为物理(电子)量的数据，并将所述数据变换成计算机系统存储器或寄存器或者其它此类信息存储装置、传输或显示装置内类似地表示为物理量的其它数据。
本公开的实施方式还涉及用于执行本文中的操作的设备。这种计算机程序存储在非暂时性计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式存储信息的任何机构。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、闪存存储器装置)。
前述附图中所描绘的过程或方法可由处理逻辑来执行，所述处理逻辑包括硬件(例如，电路、专用逻辑等)、软件(例如，体现在非暂时性计算机可读介质上)或两者的组合。尽管所述过程或方法在上文是依据一些顺序操作来描述的，但是应当了解，所述操作中的一些可按不同的顺序执行。此外，一些操作可并行地执行而不是顺序地执行。
本公开的实施方式并未参考任何特定的编程语言进行描述。应认识到，可使用多种编程语言来实施如本文描述的本公开的实施方式的教导。
在以上的说明书中，已经参考本公开的具体示例性实施方式对本公开的实施方式进行了描述。将显而易见的是，在不脱离所附权利要求书中阐述的本公开的更宽泛精神和范围的情况下，可对本发明作出各种修改。因此，应当在说明性意义而不是限制性意义上来理解本说明书和附图。

Claims (20)

1.一种用于标记由自动驾驶车辆捕获的传感器数据的计算机实施的方法，所述方法包括：
接收由所述自动驾驶车辆的参考光探测和测距传感器捕获的数据；
从由所述光探测和测距传感器接收到的所述数据中检测所述自动驾驶车辆的驾驶环境中的多个对象，以生成所述多个对象的信息；
收集由所述自动驾驶车辆的目标光探测和测距传感器捕获的目标光探测和测距数据；以及
使用所述多个对象的信息作为地面真值来标记所述目标光探测和测距数据，以生成用于所述目标光探测和测距数据的多个标记对象。
2.根据权利要求1所述的方法，其中，所述目标光探测和测距传感器具有比所述参考光探测和测距传感器少的射线数量。
3.根据权利要求1所述的方法，其中，所述目标光探测和测距数据包括由所述目标光探测和测距传感器从由所述参考光探测和测距传感器捕获的所述驾驶环境的相同场景捕获的数据。
4.根据权利要求1所述的方法，其中，所述多个对象的信息包括所述多个对象中的一个或多个对象的对象类型以及所述多个对象中的一个或多个对象的元数据。
5.根据权利要求4所述的方法，其中，用于所述目标光探测和测距数据的所述多个标记对象包括使用所述元数据标记的移动对象、非移动障碍物和所述移动对象的运动信息。
6.根据权利要求1所述的方法，还包括：
接收由所述自动驾驶车辆的一个或多个附加传感器捕获的传感器数据；以及
将由所述参考光探测和测距传感器捕获的数据和由所述一个或多个附加传感器捕获的传感器数据进行融合，以生成融合传感器数据。
7.根据权利要求6所述的方法，其中，检测所述自动驾驶车辆的驾驶环境中的多个对象包括通过处理所述融合传感器数据来生成对于多个时间点的所述多个对象的信息。
8.根据权利要求6所述的方法，其中，所述目标光探测和测距数据包括尚未被标记的数据，并且其中所述方法还包括：
对尚未用一个或多个已知对象标记的数据进行离线标记。
9.根据权利要求1所述的方法，还包括：
使用用于所述目标光探测和测距数据的所述多个标记对象来训练神经网络的一组规则，以检测所述多个对象。
10.一种存储有指令的非暂时性机器可读介质，所述指令在由处理器执行时致使所述处理器执行对由自动驾驶车辆捕获的传感器数据进行标记的操作，所述操作包括：
接收由所述自动驾驶车辆的参考光探测和测距传感器捕获的数据；
从由所述光探测和测距传感器接收到的所述数据中检测所述自动驾驶车辆的驾驶环境中的多个对象，以生成所述多个对象的信息；
收集由所述自动驾驶车辆的目标光探测和测距传感器捕获的目标光探测和测距数据；以及
使用所述多个对象的信息作为地面真值来标记所述目标光探测和测距数据，以生成用于所述目标光探测和测距数据的多个标记对象。
11.根据权利要求10所述的非暂时性机器可读介质，其中，所述目标光探测和测距传感器具有比所述参考光探测和测距传感器少的射线数量。
12.根据权利要求10所述的非暂时性机器可读介质，其中，所述目标光探测和测距数据包括由所述目标光探测和测距传感器从由所述参考光探测和测距传感器捕获的所述驾驶环境的相同场景捕获的数据。
13.根据权利要求10所述的非暂时性机器可读介质，其中，所述多个对象的信息包括所述多个对象中的一个或多个对象的对象类型以及所述多个对象中的一个或多个对象的元数据。
14.根据权利要求13所述的非暂时性机器可读介质，其中，用于所述目标光探测和测距数据的所述多个标记对象包括使用所述元数据标记的移动对象、非移动障碍物和所述移动对象的运动信息。
15.根据权利要求10所述的非暂时性机器可读介质，其中，所述操作还包括：
接收由所述自动驾驶车辆的一个或多个附加传感器捕获的传感器数据；以及
将由所述参考光探测和测距传感器捕获的数据和由所述一个或多个附加传感器捕获的传感器数据进行融合，以生成融合传感器数据，以及
其中，用于检测所述自动驾驶车辆的驾驶环境中的多个对象的操作包括通过处理所述融合传感器数据来生成对于多个时间点的所述多个对象的信息。
16.根据权利要求10所述的非暂时性机器可读介质，其中，所述操作还包括：
使用用于所述目标光探测和测距数据的所述多个标记对象来训练神经网络的一组规则，以检测所述多个对象。
17.一种数据处理系统，包括：
处理器；以及
存储器，联接至所述处理器以存储指令，所述指令在由所述处理器执行时致使所述处理器执行对由自动驾驶车辆捕获的传感器数据进行标记的操作，所述操作包括：
接收由所述自动驾驶车辆的参考光探测和测距传感器捕获的数据；
从由所述光探测和测距传感器接收到的所述数据中检测所述自动驾驶车辆的驾驶环境中的多个对象，以生成所述多个对象的信息；
收集由所述自动驾驶车辆的目标光探测和测距传感器捕获的目标光探测和测距数据；以及
使用所述多个对象的信息作为地面真值来标记所述目标光探测和测距数据，以生成用于所述目标光探测和测距数据的多个标记对象。
18.根据权利要求17所述的数据处理系统，其中，所述目标光探测和测距传感器具有比所述参考光探测和测距传感器少的射线数量。
19.根据权利要求17所述的数据处理系统，其中，所述操作还包括：
接收由所述自动驾驶车辆的一个或多个附加传感器捕获的传感器数据；以及
将由所述参考光探测和测距传感器捕获的数据和由所述一个或多个附加传感器捕获的传感器数据进行融合，以生成融合传感器数据，以及
其中，用于检测所述自动驾驶车辆的驾驶环境中的多个对象的操作包括通过处理所述融合传感器数据来生成用于多个时间点的所述多个对象的信息。
20.根据权利要求17所述的数据处理系统，其中，所述操作还包括：
使用用于所述目标光探测和测距数据的所述多个标记对象来训练神经网络的一组规则，以检测所述多个对象。
CN202011015303.2A 2020-02-25 2020-09-24 用于自动驾驶车辆lidar数据的自动标记系统 Active CN113376657B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/800,125 US11592570B2 (en) 2020-02-25 2020-02-25 Automated labeling system for autonomous driving vehicle lidar data
US16/800,125 2020-02-25

Publications (2)

Publication Number Publication Date
CN113376657A true CN113376657A (zh) 2021-09-10
CN113376657B CN113376657B (zh) 2024-05-14

Family

ID=

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115034324A (zh) * 2022-06-21 2022-09-09 同济大学 一种多传感器融合感知效能增强方法
US20220407769A1 (en) * 2021-06-16 2022-12-22 Ironwood Cyber Inc. Control system anomaly detection using neural network consensus

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170169627A1 (en) * 2015-12-09 2017-06-15 Hyundai Motor Company Apparatus and method for failure diagnosis and calibration of sensors for advanced driver assistance systems
CN107415945A (zh) * 2016-05-24 2017-12-01 通用汽车环球科技运作有限责任公司 用于评估车道换道的自动驱动系统及其使用方法
WO2018182737A1 (en) * 2017-03-31 2018-10-04 Airbus Group Hq, Inc. Systems and methods for calibrating vehicular sensors
DE102017222183A1 (de) * 2017-12-07 2019-06-13 Audi Ag Verfahren und System zum Überwachen mehrerer Umgebungssensoren eines Kraftfahrzeugs
CN110377024A (zh) * 2018-04-13 2019-10-25 百度（美国）有限责任公司 用于自动驾驶车辆的自动数据标注
US20190382031A1 (en) * 2018-06-18 2019-12-19 Baidu Usa Llc Methods for handling sensor failures in autonomous driving vehicles
CN110618678A (zh) * 2018-06-19 2019-12-27 辉达公司 自主机器应用中的行为引导路径规划

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170169627A1 (en) * 2015-12-09 2017-06-15 Hyundai Motor Company Apparatus and method for failure diagnosis and calibration of sensors for advanced driver assistance systems
CN107415945A (zh) * 2016-05-24 2017-12-01 通用汽车环球科技运作有限责任公司 用于评估车道换道的自动驱动系统及其使用方法
WO2018182737A1 (en) * 2017-03-31 2018-10-04 Airbus Group Hq, Inc. Systems and methods for calibrating vehicular sensors
CN110612234A (zh) * 2017-03-31 2019-12-24 空中客车A^3有限责任公司 用于校准交通工具传感器的系统和方法
DE102017222183A1 (de) * 2017-12-07 2019-06-13 Audi Ag Verfahren und System zum Überwachen mehrerer Umgebungssensoren eines Kraftfahrzeugs
CN110377024A (zh) * 2018-04-13 2019-10-25 百度（美国）有限责任公司 用于自动驾驶车辆的自动数据标注
US20190382031A1 (en) * 2018-06-18 2019-12-19 Baidu Usa Llc Methods for handling sensor failures in autonomous driving vehicles
CN110618678A (zh) * 2018-06-19 2019-12-27 辉达公司 自主机器应用中的行为引导路径规划

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈;章娅玮;陈龙;: "传感器技术在无人驾驶汽车中的应用和专利分析", 功能材料与器件学报, no. 01 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220407769A1 (en) * 2021-06-16 2022-12-22 Ironwood Cyber Inc. Control system anomaly detection using neural network consensus
US11546205B1 (en) * 2021-06-16 2023-01-03 Ironwood Cyber Inc. Control system anomaly detection using neural network consensus
CN115034324A (zh) * 2022-06-21 2022-09-09 同济大学 一种多传感器融合感知效能增强方法

Also Published As

Publication number Publication date
US20210263157A1 (en) 2021-08-26
US11592570B2 (en) 2023-02-28

Similar Documents

Publication Publication Date Title
US11592570B2 (en) Automated labeling system for autonomous driving vehicle lidar data
CN113128326B (zh) 具有语义地图和lstm的车辆轨迹预测模型
CN111775945B (zh) 用于自动驾驶的用于检测最接近的路径内对象的方法和装置
CN112498365A (zh) 基于置信度水平和距离、响应于障碍物的自动驾驶车辆的延迟决策
US11456890B2 (en) Open and safe monitoring system for autonomous driving platform
CN112543876B (zh) 用于自动驾驶车辆中的传感器同步性数据分析的系统
US20210311474A1 (en) Static obstacle map based perception system
CN111860198A (zh) 用于自主驾驶车辆adv的处理点云数据的方法、装置和系统、及计算机可读介质
US11496707B1 (en) Fleet dashcam system for event-based scenario generation
CN111103876A (zh) 自动驾驶车辆的基于雷达通信的扩展感知
CN112825127A (zh) 生成用于自动驾驶标记的紧密2d边界框的新方法
CN113129624A (zh) 交通堵塞情况下的最快车道确定算法
EP3757711B1 (en) A vehicle-platoons implementation under autonomous driving system designed for single vehicle
JP7317157B2 (ja) 緊急車両のオーディオ及びビジュアル検出のポスト融合
CN112166618B (zh) 自动驾驶系统、自动驾驶系统的传感器单元、用于操作自动驾驶车辆的计算机实现的方法
CN113874680A (zh) 用于惯性导航系统的双惯性测量单元
CN114764523A (zh) 利用自主驾驶车辆的模型训练和车载验证的系统和方法
CN114763159A (zh) 利用自主驾驶车辆的自动音频数据标记
CN113642372B (zh) 在自主驾驶车辆的操作中基于灰度图像识别对象的方法和系统
CN113728211A (zh) 自动驾驶系统中惯性导航系统的时间确定
CN111862226A (zh) 用于车辆中的摄像机校准和图像预处理的硬件设计
KR102597917B1 (ko) 자율 주행 차량을 위한 음원 검출 및 위치 측정
CN113376657B (zh) 用于自动驾驶车辆lidar数据的自动标记系统
CN113815526A (zh) 用于自动驾驶车辆的早期制动灯警告系统
CN113492848A (zh) 用于自主驾驶车辆安全操作员的前方碰撞告警警报系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant