CN109937343B - 用于自动驾驶车辆交通预测中的预测轨迹的评估框架 - Google Patents

用于自动驾驶车辆交通预测中的预测轨迹的评估框架 Download PDF

Info

Publication number
CN109937343B
CN109937343B CN201780002410.1A CN201780002410A CN109937343B CN 109937343 B CN109937343 B CN 109937343B CN 201780002410 A CN201780002410 A CN 201780002410A CN 109937343 B CN109937343 B CN 109937343B
Authority
CN
China
Prior art keywords
predicted
trajectory
track
lane
actual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780002410.1A
Other languages
English (en)
Other versions
CN109937343A (zh
Inventor
李力耘
缪景皓
夏中谱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu com Times Technology Beijing Co Ltd
Baidu USA LLC
Original Assignee
Baidu com Times Technology Beijing Co Ltd
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu com Times Technology Beijing Co Ltd, Baidu USA LLC filed Critical Baidu com Times Technology Beijing Co Ltd
Publication of CN109937343A publication Critical patent/CN109937343A/zh
Application granted granted Critical
Publication of CN109937343B publication Critical patent/CN109937343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G06F18/2185—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor the supervisor being an automated module, e.g. intelligent oracle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

根据一个实施方式，当接收到预测轨迹时，从预测轨迹的轨迹点中的至少一些提取一个或多个特征的集合。预测轨迹使用预测方法或算法基于感知数据而预测，其中，感知数据感知在自动驾驶车辆(ADV)周围的驾驶环境内的对象。将所提取的特征输送到预定的DNN模型中以生成相似度分数。相似度分数表示预测轨迹与用于训练DNN模型的现有实际轨迹之间的差异或相似度。相似度分数可用于评估预测预测轨迹的预测方法。

Description

用于自动驾驶车辆交通预测中的预测轨迹的评估框架
技术领域
本公开的实施方式大体涉及操作自动驾驶车辆。更具体地，本公开的实施方式涉及评估自动驾驶车辆的交通预测。
背景技术
以自动驾驶模式(例如，无人驾驶)操作的车辆可使驾乘者(尤其是驾驶者)免于一些与驾驶有关的职责。当以自动驾驶模式操作时，车辆可使用车载传感器导航到各个位置，从而允许车辆以最少的人机交互或者在没有任何乘客的一些情况下行驶。
交通预测是建立自动驾驶车辆软件时要解决的非常重要的问题。当感知模块采集传感器数据并生成结构化的检测对象(诸如，车辆、骑车者和行人)时，预测模块需要实际预测这些对象的行为。预测的输出包括预测轨迹，其代表对象将在不久的将来所处的可能的时间-空间位置。虽然很容易在具体的分类层次上评估预测的“行为”，但很难数值上且客观上测量预测轨迹与实际轨迹之间的实际相似度。
发明内容
本公开的实施方式提供了用于评估自动驾驶车辆的轨迹预测的计算机实施方法、非暂时性机器可读介质和数据处理系统。
在本公开的一方面中，用于评估自动驾驶车辆的轨迹预测的计算机实施方法包括：接收使用预测方法基于感知数据而生成的对象的预测轨迹，其中，感知数据感知在自动驾驶车辆(ADV)周围的驾驶环境内的对象；针对从预测轨迹的多个轨迹点选择的至少一些轨迹点，从所选择的轨迹点提取多个特征；对所提取的特征应用深度神经网络(DNN)模型以生成相似度分数，其中，相似度分数代表由DNN模型模拟的、预测轨迹与现有实际轨迹之间的相似度；以及基于相似度分数来确定预测方法的准确度。
在本公开的另一方面中，非暂时性机器可读介质具有存储在其中的指令，该指令在被处理器执行时致使处理器执行操作。该操作包括：接收使用预测方法基于而生成的对象的预测轨迹，其中，感知数据感知在自动驾驶车辆(ADV)周围的驾驶环境内的对象；针对从预测轨迹的多个轨迹点选择的至少一些轨迹点，从所选择的轨迹点提取多个特征；对所提取的特征应用深度神经网络(DNN)模型以生成相似度分数，其中，相似度分数代表由DNN模型模拟的、预测轨迹与现有实际轨迹之间的相似度；以及基于相似度分数确定预测方法的准确度。
在本公开的又一方面中，数据处理系统包括处理器和存储器，存储器联接至处理器以存储指令，该指令在被处理器执行时致使处理器执行操作。该操作包括：接收使用预测方法基于感知数据而生成的对象的预测轨迹，其中，感知数据感知在自动驾驶车辆(ADV)周围的驾驶环境内的对象；针对从预测轨迹的多个轨迹点选择的至少一些轨迹点，从所选择的轨迹点提取多个特征；对所提取的特征应用深度神经网络(DNN)模型以生成相似度分数，其中相似度分数代表由DNN模型模拟的、预测轨迹与现有实际轨迹之间的相似度；以及基于相似度分数确定预测方法的准确度。
附图说明
本公开的实施方式以示例的方式示出，而不限于附图中的图，在附图中，相同的附图标记表示相同的元件。
图1是示出根据一个实施方式的网络系统的框图。
图2是示出根据一个实施方式的自动驾驶车辆的示例的框图。
图3是示出根据一个实施方式的与自动驾驶车辆一起使用的感知与规划系统的示例的框图。
图4是示出根据一个实施方式的数据分析系统的框图。
图5是示出实际轨迹和预测轨迹的示例的示图。
图6是示出根据一个实施方式的深度神经网络的示例的框图。
图7是示出根据一个实施方式的训练深度神经网络的过程的流程图。
图8是示出根据一个实施方式的评估自动驾驶的预测方法的过程的流程图。
图9是示出根据一个实施方式的数据处理系统的框图。
具体实施方式
将参照以下讨论的细节描述本公开的多种实施方式和方面，并且附图将示出多种实施方式。以下描述和附图是对本公开的说明，而不应被解释为限制本公开。描述了诸多具体细节以提供对本公开的多种实施方式的透彻理解。然而，在某些情况下，为了提供对本公开的实施方式的简要讨论，没有描述公知的或常规的细节。
在说明书中，对“一个实施方式”或“实施方式”的引述是指与该实施方式结合描述的特定特征、结构或特性可包括在本公开的至少一个实施方式中。说明书中各处出现的短语“在一个实施方式中”不一定全部指代同一实施方式。
在自动驾驶软件系统中，感知模块和预测模块是提取“客观”和“主观”信息的两个重要模块。当感知模块从原始传感器数据提取更多的客观信息(诸如，对象存在性、速度、位置和前进方向)时，预测模块负责计算“预测”。因此，这些预测包括行为层次预测。例如，在某一时刻，检测的以某一速度处于某一车道的车辆是否将从当前车道改变到相邻车道。这样的预测用空间-时间轨迹点来更具体地例示。这些具有点的轨迹将被下游模块(诸如，运动规划和控制)充分地利用，以作出安全合理的自动驾驶决策。
感知模块利用可包括但不限于点云、相机图像的原始传感器数据、全球定位系统(GPS)和/或雷达。感知模块负责检测感知对象，并用诸如位置、速度和前进方向的信息来补充检测的感知对象。这样的信息更“客观”。预测模块负责对所有这些对象在不久的将来的行为进行预测。这样的预测通常首先是在元-行为层次上进行计算，例如，对象将保持其当前车道还是将改变到另一车道，或者甚至停下来。在作出这样的行为层次预测之后，将以实际的具体轨迹来例示这些预测。轨迹被表示为“轨迹点”的集合，其中，每个点表示对象的未来位置以及该点处的预测速度和前进方向。本公开的实施方式系统地计算这些预测轨迹与对象所采用的实际轨迹之间的相似度。
根据一些实施方式，深度神经网络(DNN)被训练，并且用于通过训练评估网络来解决相似度评估问题以及用于使用该网络来确定预测轨迹和实际轨迹的差异或相似度，以便评估用于生成预测轨迹的预测方法的准确度。在一个实施方式中，预测轨迹被用作负示例并且实际轨迹被用作正示例。用设计的特征从这些例子建立DNN网络。如果预测轨迹的形状与实际轨迹的分布不同，则该网络将具有区分“实际”轨迹与“预测”轨迹的区别的识别能力。因此，如果在生成更好的轨迹方面作出一些改进并且将这些预测轨迹输送至该网络中，则所训练的网络将倾向于通过给予接近预定值(例如，1)的分数而将“预测轨迹”更大程度地分类为“实际轨迹”。在这样的配置中，将使用创造性且新颖的方式来评估预测轨迹相对于实际轨迹的相似度。
根据本公开的一方面，当接收到预测轨迹时，从预测轨迹的轨迹点中的至少一些提取一个或多个特征的集合。预测轨迹使用预测方法或算法基于感知自动驾驶车辆(ADV)周围的驾驶环境内的对象的感知数据来预测。所提取的特征被输送至预定DNN模型中以生成相似度分数。相似度分数代表预测轨迹与用于训练DNN模型的现有实际轨迹之间的差异或相似度。相似度分数可用于对预测预测轨迹的预测方法进行评估。
例如，与1更接近的相似度分数指示预测轨迹更可能接近相应的对象在不久的将来可能移动的实际轨迹，这表示该预测方法准确地预测对象的潜在移动。另外，如果相似度分数更接近-1，则其指示实际轨迹偏离预测轨迹，这表示预测方法可能需要改善或修改。通过使用DNN模型系统地生成作为评估分数的相似度分数，可系统地评估用于预测对象的轨迹的预测方法。因此，可基于评估分数对预测方法进行精细调节和改善。
根据本公开的另一方面，可基于包括预测轨迹和过去捕获的与预测轨迹对应的实际轨迹的大量现有驾驶统计信息来训练DNN模型或多个DNN模型。对于每一对预测轨迹和相应的实际轨迹，从预测轨迹提取预测特征的集合以及从相应的实际轨迹提取实际特征的集合。基于预测特征和实际特征来训练DNN网络或模型。将实际特征用作正示例而将预测特征用作负示例来训练DNN模型。该模型考虑相应特征基于预测特征进行学习以产生相似度分数。相似度分数表示由预测特征代表的轨迹与由实际特征代表的实际轨迹之间的差异或相似度。与第一预定值(例如，1)更接近的相似度分数指示预测轨迹与相应的实际轨迹相似。与第二预定值(例如，-1)更接近的相似度分数指示预测轨迹与相应的实际轨迹不相似。使用大量预测轨迹和相应的实际轨迹，可将DNN模型训练得更准确。
图1是示出根据本公开一个实施方式的自动驾驶车辆网络配置的框图。参照图1，网络配置100包括可通过网络102通信地联接至一个或多个服务器103-104的自动驾驶车辆101。虽然示出了一个自动驾驶车辆，但多个自动驾驶车辆可通过网络102彼此联接和/或联接至服务器103-104。网络102可以是任何类型的网络，例如，有线或无线的局域网(LAN)、诸如互联网的广域网(WAN)、蜂窝网络、卫星网络或其组合。服务器103-104可以是任何种类的服务器或服务器的集群，例如，Web服务器或云服务器、应用服务器、后端服务器或其组合。服务器103-104可以是数据分析服务器、内容服务器、交通信息服务器、地图和兴趣点(MPOI)服务器或位置服务器等。
自动驾驶车辆是指可配置成处于自动驾驶模式的车辆，其中车辆在驾驶者很少或没有输入的环境下进行导航。这样的自动驾驶车辆可包括具有一个或多个传感器的传感器系统，该一个或多个传感器配置成检测与车辆操作环境相关的信息。车辆及其关联的控制器使用所检测到的信息在环境中进行导航。自动驾驶车辆101可以以手动模式、全自动驾驶模式或部分自动驾驶模式操作。
在一个实施方式中，自动驾驶车辆101包括但不限于感知与规划系统110、车辆控制系统111、无线通信系统112、用户接口系统113、信息娱乐系统114和传感器系统115。自动驾驶车辆101还可包括普通车辆中包括的某些通用部件(诸如，发动机、车轮、方向盘、变速器等)，这些可由车辆控制系统111和/或感知与规划系统110例如使用各种通信信号和/或命令(例如，加速信号或命令、减速信号或命令、制动信号或命令等)来控制。
部件110-115可经由互连件、总线、网络或其组合而彼此通信地联接。例如，部件110-115可经由控制器区域网(CAN)总线而彼此通信地联接。CAN总线是车辆总线标准，其被设计成允许微控制器和装置在没有主机的应用中彼此通信。它是基于消息的协议，最初被设计用于汽车内的复用电气布线，但也用于许多其它环境。
现在参照图2，在一个实施方式中，传感器系统115包括但不限于一个或多个相机211、全球定位系统(GPS)单元212、惯性测量单元(IMU)213、雷达单元214以及光检测和测距(LIDAR)单元215。GPS系统212可包括可操作为提供与自动驾驶车辆的位置有关的信息的收发器。IMU单元213可基于惯性加速度来感测自动驾驶车辆的位置和取向变化。雷达单元214可表示利用无线电信号来感测自动驾驶车辆的局部环境内的对象的系统。在一些实施方式中，除感测对象之外，雷达单元214还可感测对象的速度和/或前进方向。LIDAR单元215可使用激光来感测自动驾驶车辆所位于的环境中的对象。LIDAR单元215可包括一个或多个激光源、激光扫描器和一个或多个检测器以及其它系统部件。相机211可包括一个或多个装置以采集自动驾驶车辆周围环境的图像。相机211可以是静物相机和/或视频相机。可例如通过将相机安装在旋转和/或倾斜的平台上而使相机机械地可移动。
传感器系统115还可包括其它传感器，例如，声纳传感器、红外传感器、转向传感器、油门传感器、制动传感器以及音频传感器(例如，麦克风)。音频传感器可配置成从自动驾驶车辆周围的环境采集声音。转向传感器可配置成感测车辆的方向盘、车轮或其组合的转向角度。油门传感器和制动传感器分别感测车辆的油门位置和制动位置。在一些情况下，油门传感器和制动传感器可集成为集成的油门/制动传感器。
在一个实施方式中，车辆控制系统111包括但不限于转向单元201、油门单元202(也称为加速单元)以及制动单元203。转向单元201用于调节车辆的方向或前进方向。油门单元202用于控制电动机或发动机的速度，继而控制车辆的速度和加速度。制动单元203通过提供摩擦使车辆的车轮或轮胎变慢来使车辆减速。应注意的是，图2中示出的部件可以以硬件、软件或其组合来实施。
返回参考图1，无线通信系统112用于允许自动驾驶车辆101与外部系统(例如，装置、传感器其它车辆等)之间进行通信。例如，无线通信系统112可直接地或经过通信网络而与一个或多个装置无线地通信，例如，通过网络102与服务器103-104通信。无线通信系统112可使用任何蜂窝通信网络或无线局域网(WLAN)，例如利用WiFi来与另一部件或系统通信。无线通信系统112可例如使用红外链路、蓝牙等而与装置(例如，乘客的移动装置、车辆101内的显示装置、扬声器)直接通信。用户接口系统113可以是车辆101内实施的外围装置的一部分，包括例如键盘、触摸屏显示装置、麦克风和扬声器等。
自动驾驶车辆101的一些功能或全部功能可以由感知与规划系统110控制或管理，尤其是当以自动驾驶模式操作时。感知与规划系统110包括必要的硬件(例如，处理器、存储器、存储设备)和软件(例如，操作系统、规划和路线安排程序)以从传感器系统115、控制系统111、无线通信系统112和/或用户接口系统113接收信息，处理所接收的信息，规划从起始点到目的点的路线或路径，随后基于规划和控制信息驾驶车辆101。可替代地，感知与规划系统110可与车辆控制系统111集成。
例如，作为乘客的用户可例如经由用户接口来指定行程的起始位置和目的地。感知与规划系统110获取与行程相关的数据。例如感知与规划系统110可从MPOI服务器获取位置和路线信息，MPOI服务器可以是服务器103-104中的一部分。位置服务器提供位置服务，以及MPOI服务器提供地图服务和某些位置的POI。可替代地，这样的位置和MPOI信息可本地寄存在感知与规划系统110的永久性存储装置中。
当自动驾驶车辆101沿着路线移动时，感知与规划系统110还可从交通信息系统或服务器(TIS)获取实时交通信息。应注意的是，服务器103-104可由第三方实体操作。可替代地，服务器103-104的功能可与感知与规划系统110集成。基于实时交通信息、MPOI信息和位置信息以及由传感器系统115检测到的或感测到的实时本地环境数据(例如，障碍物、对象、附近车辆)，感知与规划系统110可规划最优路线并例如经由控制系统111根据所规划的路线来驾驶车辆101以安全地和高效地到达指定目的地。
服务器103可以是为各种客户端执行数据分析服务的数据分析系统。在一个实施方式中，数据分析系统103包括数据采集器121和机器学习引擎122。数据采集器121从各种车辆(自动驾驶车辆或由人类驾驶者驾驶的常规车辆)采集驾驶统计信息123。驾驶统计信息123包括指示发出的驾驶命令(例如，油门命令、制动命令、控制命令)和由车辆的传感器在不同时间点捕获的车辆的响应(例如，速度、加速度、减速度、方向)的信息。驾驶统计信息123还可例如包括描述不同时间点的驾驶环境的信息，例如，路线(包括起始位置和目的地位置)、MPOI、道路状况、天气状况等。
基于驾驶统计信息123，机器学习引擎122出于各种目的生成或训练规则、算法和/或预测模型124的集合。例如，模型124可包括一个或多个DNN模型以确定对象的预测轨迹与对象的实际轨迹之间的相似度。深度神经网络(DNN)是基于驾驶统计信息123而训练的，并通过训练评估网络而用于解决相似的评估问题。DNN模型用于确定预测轨迹和实际轨迹的差异或相似度，以便评估用于生成预测轨迹的预测方法的准确度。驾驶统计信息123可包括由各种ADV使用一种或多种预测方法或算法感知的各种对象的预测轨迹，其中预测轨迹可被捕获并存储在ADV的永久性存储装置中。此外，每个ADV还可基于感知数据来捕获对象的实际轨迹，其中实际轨迹也可存储在永久性存储装置中。
在一个实施方式中，机器学习引擎122使用预测轨迹作为负示例并使用实际轨迹作为正示例来训练DNN模型124。用设计的特征从这些例子建立DNN网络。如果预测轨迹的形状与实际轨迹的分布不同，则该网络将具有区分“实际”轨迹与“预测”轨迹的区别的识别能力。因此，如果在生成更好的轨迹方面作出一些改进并且将这些预测轨迹输送至该网络中，则所训练的网络将倾向于通过给予接近预定值(例如，1)的分数而将“预测轨迹”更大程度地分类为“实际轨迹”。随后，DNN模型124可用于例如通过预测评估系统或模块125来评估未来的轨迹预测。
图3是示出根据一个实施方式的与自动驾驶车辆一起使用的感知与规划系统的示例的框图。系统300可实施为图1的自动驾驶车辆101的一部分，其包括但不限于感知与规划系统110、控制系统111和传感器系统115。参照图3，感知与规划系统110包括但不限于定位模块301、感知模块302、预测模块303、决策模块304、规划模块305、控制模块306、数据采集器307和预测评估模块308。
模块301-308中的一些或全部可以以软件、硬件或其组合来实施。例如，这些模块可安装在永久性存储装置352中，加载到存储器351中并由一个或多个处理器(未示出)执行。应注意的是，这些模块中的一些或全部可以与图2的车辆控制系统111的一些模块或全部模块通信地联接或集成在一起。模块301-308中的一些可一起集成为集成模块。
定位模块301确定自动驾驶车辆101的当前位置(例如，利用GPS单元212)以及管理与用户的行程或路线相关的任何数据。定位模块301(也称为地图与路线模块)管理与用户的行程或路线相关的任何数据。用户可以例如经由用户接口登录并且指定行程的起始位置和目的地。定位模块301与自动驾驶车辆101的其它部件(例如，地图和路线信息311)通信以获取与行程相关的数据。例如，定位模块301可从位置服务器及地图与POI(MPOI)服务器获取位置和路线信息。位置服务器提供位置服务，MPOI服务器提供地图服务和某些位置的POI，这可作为地图和路线信息311的一部分寄存。当自动驾驶车辆101沿着路线移动时，定位模块301还可从交通信息系统或服务器获取实时交通信息。
基于由传感器系统115提供的传感器数据和由定位模块301获取的定位信息，感知模块302确定出对周围环境的感知。感知信息可表示普通驾驶者将在驾驶者所驾驶的车辆周围感知到的事物。感知可包括例如呈对象的形式的车道配置(例如，直行或弯曲车道)、交通灯信号、另一车辆的相对位置、行人、建筑物、人行横道或其它与交通相关的标志(例如，停止标志、让行标志)等。
感知模块302可包括计算机视觉系统或计算机视觉系统的功能以处理和分析由一个或多个相机捕获的图像，以便标识自动驾驶车辆的环境中的对象和/或特征。对象可包括交通信号、道路边界、其它车辆、行人和/或障碍物等。计算机视觉系统可使用对象识别算法、视频跟踪和其它计算机视觉技术。在一些实施方式中，计算机视觉系统可绘制环境的地图、跟踪对象以及估算对象的速度等。感知模块302还可基于由其它传感器(例如，雷达和/或LIDAR)提供的其它传感器数据来检测对象。
针对每个对象，预测模块303预测在该情况下对象将如何表现。考虑到地图/路线信息311和交通规则312的集合，基于感知该时间点的驾驶环境的感知数据执行预测。例如，如果对象是相反方向的车辆并且当前驾驶环境包括交叉路口，则预测模块303将预测车辆是可能直接前进还是转弯。如果感知数据指示交叉路口没有交通灯，则预测模块303可预测出车辆在进入交叉路口前可能必须完全停止。如果感知数据指示车辆当前位于仅左转弯车道或仅右转弯车道，则预测模块303可预测车辆更可能分别左转弯或右转弯。
针对每个对象，决策模块304作出关于如何处理对象的决策。例如，针对特定对象(例如，交叉路线中的另一车辆)以及其描述该对象的元数据(例如，速度、方向、转弯角度)，决策模块304决策如何应对该对象(例如，超车、让行、停止或经过)。决策模块304可根据可存储在永久性存储装置352中的规则(诸如，交通规则或驾驶规则312)的集合作出这种决策。
基于对感知的每个对象的决策，规划模块305为自动驾驶车辆规划路径或路线以及驾驶参数(例如，距离、速度和/或转弯角度)。换言之，针对给定的对象，决策模块304决策如何面对该对象，而规划模块305确定如何做。例如，针对给定的对象，决策模块304可决定经过该对象，而规划模块305可确定是在该对象的左侧还是右侧经过。规划和控制数据由规划模块305生成，其包括描述自动驾驶车辆101将如何在下一个移动周期(例如，下一路线/路径段)移动的信息。例如，规划和控制数据可指示自动驾驶车辆101以30英里/小时(mph)的速度移动10米，然后以25mph的速度改变到右车道。
基于规划和控制数据，控制模块306根据由规划和控制数据限定的路线或路径通过向车辆控制系统111发送适当的命令或信号来控制并驾驶自动驾驶车辆。规划和控制数据包括足够的信息以使用适当的车辆设置或驾驶参数(例如，油门、制动和转向命令)沿着路径或路线在不同时间点将车辆从路线或路径的第一点驾驶到第二点。
在一个实施方式中，规划阶段在一定数量的规划周期(也称为例如命令周期，例如，每次间隔100毫秒(ms))中执行。对于每个规划周期或命令周期，将基于规划和控制数据发出一个或多个控制命令。换言之，对于每100ms，规划模块305规划下一路线段或路径段(例如，ADV所需的目标位置和时间)以到达目标位置。可替代地，规划模块305可进一步指定特定的速度、方向和/或转向角度等。在一个实施方式中，规划模块305规划下一预定时间段(例如，5秒)的路线段或路径段。对于每个规划周期，规划模块305基于前一周期中规划的目标位置来规划当前周期(例如，下一个5秒)的目标位置。随后，控制模块306基于当前周期的规划和控制数据来生成一个或多个控制命令(例如，油门、制动、转向控制命令)。
应注意的是，决策模块304和规划模块305可集成为集成模块。决策模块304/规划模块305可包括导航系统或导航系统的功能，以确定自动驾驶车辆的驾驶路径。例如，导航系统可确定一系列速度和定向的前进方向以实现使自动驾驶车辆大体上沿着通往最终目的地的基于道路的路径前进的同时，使自动驾驶车辆沿着基本上回避了感知到的障碍物的路径移动。该目的地可根据经由用户接口系统113进行的用户输入而设置。导航系统可在自动驾驶车辆操作时动态地更新驾驶路径。导航系统可结合来自GPS系统和一个或多个地图的数据，以便确定自动驾驶车辆的驾驶路径。
决策模块304/规划模块305还可包括防碰撞系统或防碰撞系统的功能，以标识、评估和回避或以其它方式越过自动驾驶车辆的环境中的潜在障碍物。例如，防碰撞系统可通过操作控制系统111中的一个或多个子系统来实现自动驾驶车辆的导航的改变，以进行变向操纵、转弯操纵、制动操纵等。防碰撞系统可基于周围交通型式、道路状况等自动地确定可行的障碍物回避操纵。防碰撞系统可配置成当其它传感器系统在自动驾驶车辆将要变向到的相邻区域中检测到车辆、建筑障碍物等时使得不进行变向操纵。防碰撞系统可自动地选择可用的且使自动驾驶车辆的驾乘者最安全的操纵。防碰撞系统可选择预测的使自动驾驶车辆的乘客车厢中的加速度值最小的规避操纵。
根据一个实施方式，数据采集器307从模块301-306采集数据，并将该数据存储在永久性存储装置352中。例如，数据采集器307从感知模块302采集实际轨迹，并将所采集的实际轨迹存储在永久性存储装置352中作为实际轨迹313的一部分。数据采集器307还可从预测模块303采集预测轨迹，并将预测轨迹存储在永久性存储装置352中作为预测轨迹314的一部分。实际轨迹313和预测轨迹314可用于训练诸如DNN模型315的DNN模型(也称为预测评估模型)以例如通过可选择的预测评估模块或系统308评估预测模块303的性能，预测评估模块或系统308可实施为图1的预测评估器125的一部分。可替代地，实际轨迹313和预测轨迹314可被集中处理以通过数据分析系统(例如，数据分析系统103)对DNN模型进行训练。
图4是示出根据一个实施方式的数据分析系统的框图。系统400可实施为图1的系统103的一部分。参照图4，系统400包括加载到存储器402中并由一个或多个处理器401执行的机器学习引擎122、数据采集器121和预测评估模块308。在一个实施方式中，数据采集器121从在不同驾驶环境下在各种道路上驾驶的各种ADV采集驾驶统计信息。每个ADV感知并预测对象的轨迹、捕获对象的实际轨迹以及存储由ADV的各预测模块预测的相应预测轨迹。随后通过数据采集器121采集实际轨迹和预测轨迹，并且将实际轨迹和预测轨迹作为知实际轨迹313和已知预测轨迹314的一部分存储在永久性存储装置403中。术语“已知轨迹”是指出于训练预测评估模型(诸如，DNN模型315)的目的而用作轨迹的训练集合的现有轨迹。
基于已知实际轨迹313和已知预测轨迹314，机器学习引擎122配置为基于从已知实际轨迹313和已知预测轨迹314提取的特征对DNN模型315进行训练。根据一个实施方式，可基于大量现有驾驶统计信息(包括已知预测轨迹314和过去捕获的与预测轨迹对应的已知实际轨迹313)来训练DNN模型或多个DNN模型315。
参照图5，在此示例中，假定对象的已知实际轨迹501在对象行驶经过车道500时已经例如由感知模块302捕获以及对象的已知预测轨迹502已经由ADV的预测模块303生成。预测轨迹502包括一系列轨迹点(例如，轨迹点511，也称为车道点)。每个轨迹点与描述该轨迹点的元数据的集合相关联。元数据可包括标识在由相应轨迹点代表的特定时刻对象移动的车道、对象的速度、对象的前进方向和/或对象的位置等信息。
对于预测轨迹和相应的实际轨迹的轨迹点的至少一些对，从预测轨迹502提取预测特征的集合以及从相应的实际轨迹501提取实际特征的集合。基于预测特征和实际特征训练DNN网络或模型。将实际特征用作正示例而将预测特征用作负示例来训练DNN模型。
在一个实施方式中，轨迹点的特征包括物理属性的集合和与轨迹相关的属性的集合。物理属性包括但不限于在由相应轨迹点代表的特定时刻处相对于轨迹的起始点的相对前进方向、速度、相对位置(例如，经度和纬度)以及对象到达轨迹的目的点的抵达时间。与轨迹相关的属性包括但不限于标识对象移动的特定车道的车道标识符(ID)、车道的方向(例如，转弯或向左或右弯曲)、距离车道的边界或路缘的距离、此刻对象的前进方向与车道的方向之间的差异和/或此刻轨迹点与车道的中心线之间的距离。
在如图5中所示的示例中，车道ID将足以标识车道500。将基于车道500的参考线(一般地，中心线)510的方向来确定此刻车道500的方向。例如，由轨迹点511代表的此刻的车道方向将基于与轨迹点511对应的参考线的角度来测量。轨迹点511与车道500的路缘之间的距离将基于轨迹点511与路缘503和/或路缘504之间的距离来测量。随后，如图6中所示，将物理属性和与轨迹相关的属性输送到DNN模型的一个或多个输入。
DNN是在输入层与输出层之间具有多个隐藏层的人工神经网络(ANN)。与浅层的ANN相似，DNN可模拟复杂的非线性关系。DNN架构生成组合模型，其中，对象被表示为图像基元的分层组合。额外的层使得可以组合来自下层的特征，从而给予比类似表现的浅层网络用更少的单元来模型化复杂的数据的可能性。深度架构包括一些基本方法的许多变型。每个架构在特定领域获得成功。将多个架构的性能进行比较不一定是可行的，因为它们并非都根据相同的数据集进行评估。
参照图6，已知实际轨迹和已知预测轨迹的物理属性601和与轨迹相关的属性602分别作为正示例和负示例被输送至DNN模型600的输入中。DNN模型600的输出产生代表实际轨迹与预测轨迹之间的差异的相似度分数603。DNN模型可基于各种轨迹的大量特征而被训练。给定已知预测轨迹和已知实际轨迹，从DNN模型的输出获得相似度分数。将该相似度分数与期望的相似度分数进行比较。如果计算出的相似度分数与期望的相似度分数不够接近，则将反复地训练DNN模型直到计算出的相似度分数在期望的相似度分数内。
该模型可考虑相应特征基于预测特征进行学习以产生相似度分数。相似度分数表示由预测特征代表的轨迹与由实际特征代表的实际轨迹之间的差异或相似度。与第一预定值(例如，1)更接近的相似度分数指示预测轨迹与相应的实际轨迹相似。与第二预定值(例如，-1)更接近的相似度分数指示预测轨迹与相应的实际轨迹不相似。使用大量预测轨迹和相应的实际轨迹，可将DNN模型训练变得更准确。
一旦DNN模型315已经被训练并建立，再次参考图4，DNN模型315可用于评估由未知预测轨迹415代表的未来预测。未知预测轨迹415可由预测模块303预测。在一个实施方式中，特征提取器411配置成从未知预测轨迹415的至少一些轨迹点提取预测特征。提取的特征包括如上所述的物理属性的集合和与轨迹相关的属性的集合。然后，将提取的特征输送到DNN模型315中以产生相似度分数。轨迹评估模块412评估由预测模块使用的预测方法或算法的性能。
例如，与1更接近的相似度分数指示预测轨迹更可能接近相应的对象在不久的将来可能移动的实际轨迹，这表示该预测方法准确地预测对象的潜在移动。另外，如果相似度分数更接近-1，则其指示实际轨迹偏离预测轨迹，这表示预测方法可能需要改善。通过使用DNN模型来系统地生成作为评估分数的相似度分数，可系统地对用于预测对象的轨迹的预测方法进行评估。因此，可基于评估分数对预测方法进行精细调节和改善。在一个实施方式中，对每个选择的轨迹点计算相似度分数。所选择的轨迹点的相似度分数的平均值可用于表示预测轨迹的最终相似度分数。类似地，使用特定预测方法预测的预测轨迹中的一些或全部的相似度分数的平均值可用作预测方法的最终评估分数。
图7是示出根据一个实施方式的对用于评估预测轨迹的深度神经网络进行训练的过程的流程图。过程700可由处理逻辑执行，处理逻辑可包括软件、硬件或其组合。例如，过程700可由图4的系统400执行。参照图7，在操作701中，处理逻辑接收响应于感知数据而生成的预测轨迹(例如，已知预测轨迹)，其中，感知数据感知ADV周围的驾驶环境的对象。在操作702中，处理逻辑从预测轨迹的轨迹点中的至少一些提取预测特征。在操作703中，处理逻辑接收对象的实际轨迹(例如，已知实际轨迹)，其中，对象的实际轨迹为对象实际行驶的轨迹。作为响应，在操作704中，处理逻辑从实际轨迹的轨迹点中的至少一些提取实际特征。在操作705中，处理逻辑基于提取的作为负示例的预测特征和作为正示例的实际特征来训练DNN模型。
图8是示出根据一个实施方式的使用深度神经网络评估预测轨迹的过程的流程图。过程800可由处理逻辑执行，处理逻辑可包括软件、硬件或其组合。例如，过程800可由图4的系统400执行。参照图8，在操作801中，处理逻辑接收使用预测方法或算法基于感知数据而生成的预测轨迹(例如，未知预测轨迹)，其中，感知数据感知ADV周围的驾驶环境内的对象。对于预测轨迹的轨迹点中的至少一些，在操作802中，处理逻辑从选择的轨迹点提取特征的集合。在操作803中，处理逻辑将预定的DNN模型应用于该特征以将该特征分类并生成相似度分数。相似度分数代表预测轨迹与一个或多个现有实际轨迹之间的相似度。在操作804中，处理逻辑基于相似度分数确定预测方法或算法的性能或准确度。
应注意的是，以上示出和描述的部件中的一些或全部可以以软件、硬件或其组合来实施。例如，这样的部件可以实施为安装和存储在永久性存储装置中的软件，软件可由处理器(未示出)加载在存储器中并执行，从而执行本申请中描述的过程或操作。可替代地，这样的部件可实施为编程到或嵌入到专用硬件(诸如，集成电路(例如，专用IC或ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA))中的可执行程序代码，可执行程序代码可经由相应的驱动器和/或操作系统从应用访问。此外，这样的部件可实施为处理器或处理器核中的作为由软件部件经由一个或多个特定指令可访问的指令集的一部分的特定硬件逻辑。
图9是示出可与本公开的一个实施方式一起使用的数据处理系统的示例的框图。例如，系统1500可例如代表执行上述过程或方法中的任一个的上述任何数据处理系统，例如，图1的服务器103-104中的任一个或感知与规划系统110和/或图4的系统400。系统1500可包括许多不同部件。这些部件可实施为集成电路(IC)、集成电路的一部分、离散的电子装置或适合于电路板(例如，计算机系统的主板或插入卡)的其它模块，或作为以其它方式并入计算机系统的框架中的部件。
还应注意的是，系统1500旨在示出计算机系统的许多部件的高阶视图。然而，应当理解的是，在某些实现方式中可以存在另外的部件，此外，在其它实现方式中，可以出现所示部件的不同布置。系统1500可以表示台式机、膝上型计算机、平板计算机、服务器、移动电话、媒体播放器、个人数字助理(PDA)、智能手表、个人通信器、游戏装置、网络路由器或集线器、无线接入点(AP)或中继器、机顶盒或其组合。此外，尽管仅示出单个机器或系统，但术语“机器”或“系统”还应当认为包括独立地或联合地执行指令集(或多个指令集)来执行本文讨论的任何一种或多种方法的机器或系统的任何集合。
在一个实施方式中，系统1500包括通过总线或互连件1510连接的处理器1501、存储器1503和装置1505-1508。处理器1501可以表示其中包括单个处理器核或多个处理器核的单个处理器或多个处理器。处理器1501可以表示一个或多个通用处理器，例如微处理器、中央处理单元(CPU)等。更具体地，处理器1501可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器或者实现其它指令集的处理器或者实现指令集的组合的处理器。处理器1501还可以是一个或多个专用处理器，例如，专用集成电路(ASIC)、蜂窝或基带处理器、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器、图形处理器、通信处理器、加密处理器、协同处理器、嵌入式处理器或者能够处理指令的任何其它类型的逻辑。
处理器1501(其可以是诸如超低电压处理器的低功率多核处理器套接口)可以充当用于与系统的各种部件进行通信的主处理单元和中央集线器。这种处理器可以实施为片上系统(SoC)。处理器1501被配置成执行用于执行本文中讨论的操作和步骤的指令。系统1500还可以包括与可选的图形子系统1504通信的图形接口，图形子系统1504可以包括显示控制器、图形处理器和/或显示装置。
处理器1501可以与存储器1503通信，存储器1503在一个实施方式中可以通过多个存储器装置来实施，以提供给定量的系统存储。存储器1503可以包括诸如随机存取存储器(RAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)的一个或多个易失性存储(或存储器)装置，或者其它类型的存储装置。存储器1503可以存储包括由处理器1501或任何其它装置执行的一系列指令的信息。例如，各种操作系统、装置驱动程序、固件(例如输入输出基本系统或BIOS)和/或应用的可执行代码和/或数据可以加载到存储器1503中并且由处理器1501执行。操作系统可以例如是任何种类的操作系统，例如机器人操作系统(ROS)、LINUX、UNIX、来自微软公司
Figure GDA0001548929990000171
的/>
Figure GDA0001548929990000173
操作系统、来自苹果公司(Apple)的Mac
Figure GDA0001548929990000172
来自谷歌公司/>
Figure GDA0001548929990000181
的/>
Figure GDA0001548929990000182
或者其它实时或嵌入式操作系统。
系统1500还可以包括诸如装置1505-1508的IO装置，包括网络接口装置1505、可选的输入装置1506以及其它可选的IO装置1507。网络接口装置1505可以包括无线收发器和/或网络接口卡(NIC)。无线收发器可以是WiFi收发器、红外收发器、蓝牙收发器、WiMax收发器、无线蜂窝电话收发器、卫星收发器(例如，全球定位系统(GPS)收发器)或者其它射频(RF)收发器或其组合。NIC可以是以太网卡。
输入装置1506可以包括鼠标、触摸板、触敏屏幕(其可以与显示装置1504集成)、诸如手写笔的指针装置和/或键盘(例如，物理键盘或者被显示为触敏屏幕的一部分的虚拟键盘)。例如，输入装置1506可以包括联接到触摸屏的触摸屏控制器。触摸屏和触摸屏控制器可例如使用各种触敏技术中的任何一种以及其它接近传感器阵列或者用于确定与触摸屏接触的一个或多个点的其它元件来检测其接触和移动或其间断，其中，触敏技术包括但不限于电容式、电阻式、红外式和表面声波技术。
IO装置1507可以包括音频装置。音频装置可以包括扬声器和/或麦克风以促进语音支持功能，例如语音识别、语音复制、数字记录和/或电话功能。其它IO装置1507还可以包括通用串行总线(USB)端口、并行端口、串行端口、打印机、网络接口、总线桥(例如，PCI-PCI桥)、传感器(例如，运动传感器，诸如加速度计、陀螺仪、磁强计、光传感器、罗盘、接近传感器等)或它们的组合。装置1507还可以包括成像处理子系统(例如，相机)，成像处理子系统可以包括用于促进相机功能(例如，记录照片和视频剪辑)的光学传感器(例如，电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)光学传感器)。根据系统1500的特定配置或设计，某些传感器可以通过传感器集线器(未示出)联接到互连件1510，而诸如键盘或热传感器的其它装置可以由嵌入式控制器(未示出)控制。
为了提供对诸如数据、应用、一个或多个操作系统等信息的永久性存储，大容量存储设备(未示出)也可以联接到处理器1501。在各种实施方式中，为了实现更薄和更轻的系统设计以及改善系统响应性，可以通过固态装置(SSD)来实施此大容量存储装置。然而，在其它实施方式中，大容量存储装置可以主要使用硬盘驱动器(HDD)来实施，其中较小量的SSD存储设备充当SSD高速缓存以实现在断电事件期间对环境状态和其它此类信息的非易失性存储，从而使得在重新开始系统活动时可以发生快速通电。闪存装置也可以例如经由串行外围接口(SPI)联接到处理器1501。这种闪存装置可以提供对系统软件(包括系统的BIOS以及其它固件)的非易失性存储。
存储装置1508可以包括计算机可访问存储介质1509(也称为机器可读存储介质或计算机可读介质)，计算机可访问存储介质1509上存储实现本文中描述的方法或功能中的任何一种或多种的一个或多个指令集或软件(例如，模块、单元和/或逻辑1528)。处理模块/单元/逻辑1528可以例如表示上述任何部件，例如规划模块305、控制模块30/6、机器学习引擎122以及预测评估模块308。处理模块/单元/逻辑1528还可以在其由数据处理系统1500、存储器1503和处理器1501执行期间完全地或至少部分地驻留在存储器1503内和/或处理器1501内，数据处理系统1500、存储器1503和处理器1501也构成机器可访问存储介质。处理模块/单元/逻辑1528可以进一步经由网络接口装置1505通过网络传输或接收。
计算机可读存储介质1509还可以用于永久性地存储上述一些软件功能。尽管在示例性实施方式中将计算机可读存储介质1509示出为单个介质，但术语“计算机可读存储介质”应被认为包括存储一个或多个指令集的单个介质或多个介质(例如，集中式数据库或分布式数据库和/或相关联的高速缓存和服务器)。术语“计算机可读存储介质”还应当包括能够存储或编码指令集的任何介质，该组指令由机器执行并且致使机器执行本公开的方法中的任何一个或多个。应相应地认为术语“计算机可读存储介质”包括但不限于固态存储器以及光学和磁性介质或者任何其它非暂时性机器可读介质。
本文中描述的处理模块/单元/逻辑1528、部件和其它特征可以被实施为离散的硬件部件，或者集成在硬件部件(诸如ASICS、FPGA、DSP或类似装置)的功能中。此外，处理模块/单元/逻辑1528可以被实施为硬件装置内的固件或功能电路。此外，处理模块/单元/逻辑1528可以以任何组合的硬件装置和软件部件来实施。
应注意的是，虽然系统1500被示出为具有数据处理系统的各种部件，但并不旨在表示将部件互连的任何特定架构或方式；因为这样的细节与本公开的实施方式没有密切关系。还应理解，具有更少部件或可能更多部件的网络计算机、手持计算机、移动电话、服务器和/或其它数据处理系统也可以用于本公开的实施方式。
前面详细描述的一些部分已经根据在计算机存储器内对数据位的操作的算法和符号进行呈现。这些算法描述和表示是由数据处理领域的技术人员使用以将他们的工作要旨最有效地传达给本领域其它技术人员的方式。算法在此并且一般被认为是产生预期结果的一些列自洽操作。这些操作是需要对物理量进行物理操纵的操作。
然而，应当记住的是，所有这些和类似的术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便标签。除非另外特别说明，否则如从以上讨论显而易见，应当理解，在整个说明书中，利用诸如在所附权利要求中阐述的那些术语的讨论是指计算机系统或类似的电子计算装置的动作和处理，计算机系统或电子计算装置操纵在计算机系统的寄存器和存储器内作为物理(电子)量表示的数据并将其转换为在计算机系统存储器或寄存器或者其它这样的信息存储装置、传输装置或显示装置内的作为物理量类似地表示的其它数据。
本公开的实施方式还涉及用于执行本文的操作的设备。这样的计算机程序被存储在非暂时性计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式存储信息的任何机构。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质，例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、闪存装置。
前述附图中所描绘的过程或方法可以通过包括硬件(例如，电路、专用逻辑等)、软件(例如，实施在非暂时性计算机可读介质上)或二者的组合的处理逻辑来执行。虽然以上按一些顺序操作描述了该过程或方法，但应当理解的是，所描述的操作中的一些可以以不同的顺序来执行。此外，一些操作可以并行地而不是顺序地执行。
本发明的实施方式未参考任何特定的编程语言来描述。应当理解的是，可以使用各种编程语言来实施如本文所描述的本公开的实施方式的教导。
在上述说明中，已参考本公开的具体示例性实施方式描述了本公开的实施方式。将显而易见的是，在不背离如所附权利要求所阐述的本发明的更广泛的精神和范围的情况下，可以对本公开的实施方式进行各种修改。相应地，说明书和附图被认为是说明性意义而非限制性意义。

Claims (21)

1.用于评估自动驾驶车辆的轨迹预测的计算机实施方法，所述方法包括：
接收使用预测方法基于感知数据而生成的对象的预测轨迹，其中，所述感知数据感知自动驾驶车辆周围的驾驶环境内的所述对象；
针对从所述预测轨迹的多个轨迹点选择的至少一些轨迹点，从所选择的轨迹点提取多个特征，所提取的每个轨迹点的特征包括物理属性的集合和与轨迹相关的属性的集合；
对每个选择的轨迹点所提取的特征应用深度神经网络模型以生成相似度分数，所选择的轨迹点的相似度分数的平均值用于表示所述预测轨迹的最终相似度分数，其中，所述最终相似度分数代表由所述深度神经网络模型模拟的、所述预测轨迹与现有实际轨迹之间的相似度；以及
基于所述最终相似度分数确定所述预测方法的准确度。
2.根据权利要求1所述的方法，其中，所接收的预测轨迹是由一个或多个自动驾驶车辆使用所述预测方法预测的多个预测轨迹中的一个。
3.根据权利要求1所述的方法，其中，所述物理属性包括所述轨迹点的相对前进方向和速度。
4.根据权利要求3所述的方法，其中，每个轨迹点的所述物理属性还包括：所述轨迹点相对于所述预测轨迹的起始点的位置和所述对象到达所述轨迹的目的点的抵达时间。
5.根据权利要求1所述的方法，其中，所述与轨迹相关的属性包括：
标识所述对象所行驶的车道的车道标识符；
指示所述车道是左转弯还是右转弯的指示；以及
所述对象与所述车道的路缘之间的距离。
6.根据权利要求5所述的方法，其中，所述与轨迹相关的属性还包括：
所述对象的前进方向与所述车道的车道方向之间的差异；以及
所述对象与所述车道的参考线之间的距离。
7.根据权利要求1所述的方法，还包括生成所述深度神经网络模型，其中，生成所述深度神经网络模型包括：
接收基于对象的感知数据预测的所述对象的第二预测轨迹；
从所述第二预测轨迹提取预测特征；
接收所述对象实际行驶的实际轨迹；
提取所述实际轨迹的实际特征；以及
基于作为负示例的所述预测特征和作为正示例的所述实际特征来训练并生成所述深度神经网络模型。
8.非暂时性机器可读介质，所述非暂时性机器可读介质中存储有指令，所述指令在被处理器执行时致使所述处理器执行操作，所述操作包括：
接收使用预测方法基于感知数据而生成的对象的预测轨迹，其中，所述感知数据感知在自动驾驶车辆周围的驾驶环境内的所述对象；
针对从所述预测轨迹的多个轨迹点选择的至少一些轨迹点，从所选择的轨迹点提取多个特征，所提取的每个轨迹点的特征包括物理属性的集合和与轨迹相关的属性的集合；
对每个选择的轨迹点所提取的特征应用深度神经网络模型以生成相似度分数，所选择的轨迹点的相似度分数的平均值用于表示所述预测轨迹的最终相似度分数，其中，所述最终相似度分数代表由所述深度神经网络模型模拟的、所述预测轨迹与现有实际轨迹之间的相似度；以及
基于所述最终相似度分数确定所述预测方法的准确度。
9.根据权利要求8所述的机器可读介质，其中，所接收的预测轨迹是由一个或多个自动驾驶车辆使用所述预测方法预测的多个预测轨迹中的一个。
10.根据权利要求8所述的机器可读介质，其中，所述物理属性包括所述轨迹点的相对前进方向和速度。
11.根据权利要求10所述的机器可读介质，其中，每个轨迹点的所述物理属性还包括所述轨迹点相对于所述预测轨迹的起始点的位置和所述对象到达所述轨迹的目的点的抵达时间。
12.根据权利要求8所述的机器可读介质，其中，所述与轨迹相关的属性包括：
标识所述对象所行驶的车道的车道标识符；
指示所述车道是左转弯还是右转弯的指示；以及
所述对象与所述车道的路缘之间的距离。
13.根据权利要求12所述的机器可读介质，其中，所述与轨迹相关的属性还包括：
所述对象的前进方向与所述车道的车道方向之间的差异；以及
所述对象与所述车道的参考线之间的距离。
14.根据权利要求8所述的机器可读介质：其中，所述操作还包括生成所述深度神经网络模型，其中，生成所述深度神经网络模型包括：
接收基于对象的感知数据预测的所述对象的第二预测轨迹；
从所述第二预测轨迹提取预测特征；
接收所述对象实际行驶的实际轨迹；
提取所述实际轨迹的实际特征；以及
基于作为负示例的所述预测特征和作为正示例的所述实际特征来训练并生成所述深度神经网络模型。
15.数据处理系统，包括：
处理器；以及
存储器，联接至所述处理器以存储指令，所述指令在被所述处理器执行时致使所述处理器执行操作，所述操作包括：
接收使用预测方法基于感知数据而生成的对象的预测轨迹，其中，所述感知数据感知自动驾驶车辆周围的驾驶环境内的所述对象；
针对从所述预测轨迹的多个轨迹点选择的至少一些轨迹点，从所选择的轨迹点提取多个特征，所提取的每个轨迹点的特征包括物理属性的集合和与轨迹相关的属性的集合；
对每个选择的轨迹点所提取的特征应用深度神经网络模型以生成相似度分数，所选择的轨迹点的相似度分数的平均值用于表示所述预测轨迹的最终相似度分数，其中，所述最终相似度分数代表由所述深度神经网络模型模拟的、所述预测轨迹与现有实际轨迹之间的相似度；以及
基于所述最终相似度分数确定所述预测方法的准确度。
16.根据权利要求15所述的系统，其中，所接收的预测轨迹是由一个或多个自动驾驶车辆使用所述预测方法预测的多个预测轨迹中的一个。
17.根据权利要求15所述的系统，其中，所述物理属性包括所述轨迹点的相对前进方向和速度。
18.根据权利要求17所述的系统，其中，每个轨迹点的所述物理属性还包括：所述轨迹点相对于所述预测轨迹的起始点的位置和所述对象到达所述轨迹的目的点的抵达时间。
19.根据权利要求15所述的系统，其中，所述与轨迹相关的属性包括：
标识所述对象所行驶的车道的车道标识符；
指示所述车道是左转弯还是右转弯的指示；以及
所述对象与所述车道的路缘之间的距离。
20.根据权利要求19所述的系统，其中，所述与轨迹相关的属性还包括：
所述对象的前进方向与所述车道的车道方向之间的差异；以及
所述对象与所述车道的参考线之间的距离。
21.根据权利要求15所述的系统，其中，所述操作还包括生成所述深度神经网络模型，其中，生成所述深度神经网络模型包括：
接收基于对象的感知数据预测的所述对象的第二预测轨迹；
从所述第二预测轨迹提取预测特征；
接收所述对象实际行驶的实际轨迹；
提取所述实际轨迹的实际特征；以及
基于作为负示例的所述预测特征和作为正示例的所述实际特征来训练并生成所述深度神经网络模型。
CN201780002410.1A 2017-06-22 2017-06-22 用于自动驾驶车辆交通预测中的预测轨迹的评估框架 Active CN109937343B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/089487 WO2018232680A1 (en) 2017-06-22 2017-06-22 EVALUATION FRAME FOR PREDICTED TRAJECTORIES IN A SELF-CONTAINING VEHICLE TRAFFIC PREDICTION

Publications (2)

Publication Number Publication Date
CN109937343A CN109937343A (zh) 2019-06-25
CN109937343B true CN109937343B (zh) 2023-06-13

Family

ID=64693501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780002410.1A Active CN109937343B (zh) 2017-06-22 2017-06-22 用于自动驾驶车辆交通预测中的预测轨迹的评估框架

Country Status (6)

Country Link
US (1) US11545033B2 (zh)
EP (1) EP3436783A1 (zh)
JP (1) JP6722280B2 (zh)
KR (1) KR102070527B1 (zh)
CN (1) CN109937343B (zh)
WO (1) WO2018232680A1 (zh)

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180374341A1 (en) * 2017-06-27 2018-12-27 GM Global Technology Operations LLC Systems and methods for predicting traffic patterns in an autonomous vehicle
US10782694B2 (en) * 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10739775B2 (en) * 2017-10-28 2020-08-11 Tusimple, Inc. System and method for real world autonomous vehicle trajectory simulation
US10737717B2 (en) * 2018-02-14 2020-08-11 GM Global Technology Operations LLC Trajectory tracking for vehicle lateral control using neural network
CN110298219A (zh) * 2018-03-23 2019-10-01 广州汽车集团股份有限公司 无人驾驶车道保持方法、装置、计算机设备和存储介质
US10457294B1 (en) * 2018-06-27 2019-10-29 Baidu Usa Llc Neural network based safety monitoring system for autonomous vehicles
EP3598414A1 (en) * 2018-07-20 2020-01-22 Volvo Car Corporation System and method for avoiding a collision course
US10814881B2 (en) * 2018-10-16 2020-10-27 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle velocity predictor using neural networks based on V2X data augmentation to enable predictive optimal control of connected and automated vehicles
EP3650297B1 (en) 2018-11-08 2023-06-14 Bayerische Motoren Werke Aktiengesellschaft Method and apparatus for determining information related to a lane change of a target vehicle, and computer program
US11577750B2 (en) * 2018-11-08 2023-02-14 Bayerische Motoren Werke Aktiengesellschaft Method and apparatus for determining a vehicle comfort metric for a prediction of a driving maneuver of a target vehicle
US11126197B2 (en) * 2018-11-19 2021-09-21 Waymo Llc Verification of iterative closest point alignments for autonomous vehicles
US11829870B2 (en) * 2018-11-26 2023-11-28 Uber Technologies, Inc. Deep reinforcement learning based models for hard-exploration problems
US10997729B2 (en) * 2018-11-30 2021-05-04 Baidu Usa Llc Real time object behavior prediction
CN109829577B (zh) * 2019-01-17 2021-10-01 北京交通大学 基于深度神经网络结构模型的轨道列车运行状态预测方法
US11733703B2 (en) * 2019-01-30 2023-08-22 Perceptive Automata, Inc. Automatic braking of autonomous vehicles using machine learning based prediction of behavior of a traffic entity
WO2020154964A1 (en) * 2019-01-30 2020-08-06 Baidu.Com Times Technology (Beijing) Co., Ltd. A point clouds registration system for autonomous vehicles
US11467579B2 (en) 2019-02-06 2022-10-11 Perceptive Automata, Inc. Probabilistic neural network for predicting hidden context of traffic entities for autonomous vehicles
EP3924795A4 (en) * 2019-02-15 2022-12-21 Bayerische Motoren Werke Aktiengesellschaft TRAJECTORY PREDICTION USED FOR A DRIVING STRATEGY
US11126179B2 (en) * 2019-02-21 2021-09-21 Zoox, Inc. Motion prediction based on appearance
CN109857118B (zh) * 2019-03-12 2022-08-16 百度在线网络技术（北京）有限公司 无人车规划驾驶策略的方法、装置、设备及存储介质
CN111316286B (zh) * 2019-03-27 2024-09-10 深圳市卓驭科技有限公司 轨迹预测方法及装置、存储介质、驾驶系统与车辆
DE102019002790B4 (de) 2019-04-16 2023-05-04 Mercedes-Benz Group AG Verfahren zur Prädiktion einer Verkehrssituation für ein Fahrzeug
CN109961106B (zh) * 2019-04-18 2022-03-18 北京百度网讯科技有限公司 轨迹分类模型的训练方法和装置、电子设备
NL2023068B1 (en) * 2019-05-03 2020-11-30 Prodrive Tech Bv System and method for positioning a mobile assembly
US11131993B2 (en) 2019-05-29 2021-09-28 Argo AI, LLC Methods and systems for trajectory forecasting with recurrent neural networks using inertial behavioral rollout
CN110187707B (zh) * 2019-05-30 2022-05-10 北京三快在线科技有限公司 无人驾驶设备运行轨迹的规划方法、装置及无人驾驶设备
US11531349B2 (en) 2019-06-21 2022-12-20 Volkswagen Ag Corner case detection and collection for a path planning system
US11327497B2 (en) 2019-06-21 2022-05-10 Volkswagen Ag Autonomous transportation vehicle image augmentation
CN114080634B (zh) * 2019-07-03 2024-04-26 伟摩有限责任公司 使用锚定轨迹的代理轨迹预测
DE102019209736A1 (de) * 2019-07-03 2021-01-07 Robert Bosch Gmbh Verfahren zur Bewertung möglicher Trajektorien
US11631325B2 (en) * 2019-08-26 2023-04-18 GM Global Technology Operations LLC Methods and systems for traffic light state monitoring and traffic light to lane assignment
US11332132B2 (en) 2019-08-30 2022-05-17 Argo AI, LLC Method of handling occlusions at intersections in operation of autonomous vehicle
US11340622B2 (en) 2019-08-30 2022-05-24 Waymo Llc Determining respective impacts of agents
US11345342B2 (en) * 2019-09-27 2022-05-31 Intel Corporation Potential collision warning system based on road user intent prediction
WO2021062594A1 (en) * 2019-09-30 2021-04-08 Beijing Voyager Technology Co., Ltd. Systems and methods for jointly predicting trajectories of multiple moving objects
CN114556249A (zh) * 2019-09-30 2022-05-27 北京航迹科技有限公司 用于预测车辆轨迹的系统和方法
WO2021062595A1 (en) * 2019-09-30 2021-04-08 Beijing Voyager Technology Co., Ltd. Systems and methods for predicting a pedestrian movement trajectory
EP3800521B1 (en) * 2019-10-01 2023-07-26 Elektrobit Automotive GmbH Deep learning based motion control of a vehicle
EP3812954A1 (en) * 2019-10-21 2021-04-28 Zenuity AB Performance monitoring and evaluation of a vehicle adas or autonomous driving feature
CN112712729B (zh) * 2019-10-26 2023-01-06 华为技术有限公司 预测运动轨迹的方法和系统
CN110758403B (zh) * 2019-10-30 2022-03-01 北京百度网讯科技有限公司 自动驾驶车辆的控制方法、装置、设备及存储介质
US11586931B2 (en) * 2019-10-31 2023-02-21 Waymo Llc Training trajectory scoring neural networks to accurately assign scores
US11912271B2 (en) 2019-11-07 2024-02-27 Motional Ad Llc Trajectory prediction from precomputed or dynamically generated bank of trajectories
WO2021097823A1 (zh) * 2019-11-22 2021-05-27 华为技术有限公司 用于确定车辆可通行空间的方法和装置
US20210173402A1 (en) * 2019-12-06 2021-06-10 Lyft, Inc. Systems and methods for determining vehicle trajectories directly from data indicative of human-driving behavior
US11061403B2 (en) * 2019-12-12 2021-07-13 Baidu Usa Llc Path planning with a preparation distance for a lane-change
CN111081017B (zh) * 2019-12-19 2021-07-06 苏州智加科技有限公司 车辆信息管理系统、方法、计算机设备及存储介质
US11900224B2 (en) * 2019-12-26 2024-02-13 Waymo Llc Generating trajectory labels from short-term intention and long-term result
US11967106B2 (en) * 2019-12-27 2024-04-23 Motional Ad Llc Object tracking supporting autonomous vehicle navigation
WO2021134169A1 (zh) * 2019-12-30 2021-07-08 华为技术有限公司 一种轨迹预测方法及相关设备
WO2021134357A1 (zh) * 2019-12-30 2021-07-08 深圳元戎启行科技有限公司 感知信息处理方法、装置、计算机设备和存储介质
CN113112643A (zh) * 2020-01-13 2021-07-13 北京地平线机器人技术研发有限公司 预测轨迹的评价方法、装置以及电子设备和存储介质
EP3872710A1 (en) * 2020-02-27 2021-09-01 Aptiv Technologies Limited Method and system for determining information on an expected trajectory of an object
CN111260082B (zh) * 2020-03-08 2023-11-07 北京瀚科科技集团有限公司 一种基于神经网络的空间对象运动轨迹预测模型构建方法
CN111829530B (zh) * 2020-03-10 2022-05-03 北京嘀嘀无限科技发展有限公司 一种评估方法、装置、存储介质以及电子设备
CN113393011B (zh) * 2020-03-13 2024-05-10 百度在线网络技术（北京）有限公司 预测限速信息的方法、装置、计算机设备和介质
CN111259801B (zh) * 2020-03-23 2021-07-20 重庆特斯联智慧科技股份有限公司 一种轨迹预测的人流冲突调节方法和系统
US11535274B2 (en) * 2020-03-26 2022-12-27 Pony Ai Inc. Self-learning vehicle performance optimization
CN113511204B (zh) * 2020-03-27 2022-11-11 华为技术有限公司 一种车辆换道行为识别方法及相关设备
US20210304018A1 (en) * 2020-03-31 2021-09-30 Lyft, Inc. Systems and methods for predicting agent trajectory
CN111488984B (zh) * 2020-04-03 2023-07-21 中国科学院计算技术研究所 一种用于训练轨迹预测模型的方法和轨迹预测方法
US11703599B2 (en) * 2020-05-15 2023-07-18 Baidu Usa Llc Partial point cloud-based pedestrians' velocity estimation method
CN113799793B (zh) * 2020-05-29 2023-05-12 魔门塔(苏州)科技有限公司 一种基于数据驱动的实现预测模型自动化迭代的系统
CN111858800B (zh) * 2020-06-29 2024-03-26 北京百度网讯科技有限公司 确定大门通行状态的方法、装置、设备和计算机存储介质
CN111862144A (zh) * 2020-07-01 2020-10-30 睿视智觉（厦门）科技有限公司 一种确定物体移动轨迹分数的方法及装置
EP4172018A4 (en) * 2020-07-28 2024-06-05 Waymo Llc AGENT PATH PREDICTION USING TARGET LOCATIONS
CN111873989B (zh) * 2020-07-29 2021-07-06 北京三快在线科技有限公司 车辆控制方法及装置
CN112017171B (zh) * 2020-08-27 2021-10-26 四川云从天府人工智能科技有限公司 一种图像处理指标评估方法、系统、设备和介质
KR20220038859A (ko) 2020-09-21 2022-03-29 주식회사 스프링클라우드 표준 자율주행 인지 소프트웨어 품질 평가 장치 및 방법
KR20220038857A (ko) 2020-09-21 2022-03-29 주식회사 스프링클라우드 자율주행 상황 인지 알고리즘 평가 서비스 장치 및 방법
US11648965B2 (en) 2020-09-28 2023-05-16 Argo AI, LLC Method and system for using a reaction of other road users to ego-vehicle actions in autonomous driving
CN112212874B (zh) * 2020-11-09 2022-09-16 福建牧月科技有限公司 车辆轨迹预测方法、装置、电子设备及计算机可读介质
WO2022104256A1 (en) * 2020-11-16 2022-05-19 Waymo Llc Processing sparse top-down input representations of an environment using neural networks
CN112461250A (zh) * 2020-11-16 2021-03-09 北京百度网讯科技有限公司 车辆航位推算服务的评估方法、装置、仿真设备及介质
US11554794B2 (en) * 2020-11-25 2023-01-17 Argo AI, LLC Method and system for determining a mover model for motion forecasting in autonomous vehicle control
CN114572240B (zh) * 2020-11-30 2023-11-14 北京百度网讯科技有限公司 车辆行驶控制方法、装置、车辆、电子设备及存储介质
CN113156961B (zh) * 2021-04-28 2024-04-12 广州极飞科技股份有限公司 驾驶控制模型训练方法、驾驶控制方法及相关装置
KR102589987B1 (ko) * 2021-05-04 2023-10-18 인하대학교 산학협력단 영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 방법 및 장치
CN113212454B (zh) * 2021-05-20 2023-05-12 中国第一汽车股份有限公司 车辆行驶状态的调整方法、装置、计算机设备和存储介质
CN113155173B (zh) * 2021-06-02 2022-08-30 福瑞泰克智能系统有限公司 感知性能评测方法、装置、电子装置和存储介质
US11887317B2 (en) * 2021-08-30 2024-01-30 Ford Global Technologies, Llc Object trajectory forecasting
US20230060776A1 (en) * 2021-09-01 2023-03-02 Baidu Usa Llc Decision consistency profiler for an autonomous driving vehicle
CN114348019B (zh) * 2021-12-20 2023-11-07 清华大学 车辆轨迹预测方法、装置、计算机设备和存储介质
KR102445049B1 (ko) * 2022-04-15 2022-09-21 국방과학연구소 단일 신경망 추정 자율주행 차량의 모델 예측 제어 방법 및 모델 예측 제어 시스템
CN114758502B (zh) * 2022-04-29 2023-08-18 北京百度网讯科技有限公司 双车联合轨迹预测方法及装置、电子设备和自动驾驶车辆
US20230406345A1 (en) * 2022-06-17 2023-12-21 Baidu Usa Llc Distributional expert demonstrations for autonomous driving
KR20240053352A (ko) 2022-10-17 2024-04-24 주식회사 스프링클라우드 자율 주행 소프트웨어의 위험도 산출 방법 및 장치
KR20240053351A (ko) 2022-10-17 2024-04-24 주식회사 스프링클라우드 자율 주행 이벤트 기반의 자율 주행 소프트웨어 평가 방법 및 장치
KR20240053350A (ko) 2022-10-17 2024-04-24 주식회사 스프링클라우드 자율 주행 소프트웨어 평가 방법 및 장치
CN116091553B (zh) * 2023-04-04 2023-06-30 小米汽车科技有限公司 轨迹的确定方法、装置、电子设备、车辆和存储介质
CN116358562B (zh) * 2023-05-31 2023-08-01 氧乐互动(天津)科技有限公司 消毒操作轨迹检测方法、装置、设备和存储介质

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3099934B2 (ja) * 1994-09-08 2000-10-16 株式会社東芝 走行所要時間予測装置
JP4577248B2 (ja) 2006-03-23 2010-11-10 トヨタ自動車株式会社 移動体の経路探索システム、経路探索方法及び経路探索プログラム
WO2009111499A2 (en) * 2008-03-03 2009-09-11 Videoiq, Inc. Dynamic object classification
US8190330B2 (en) 2009-03-06 2012-05-29 GM Global Technology Operations LLC Model based predictive control for automated lane centering/changing control systems
US8849508B2 (en) * 2011-03-28 2014-09-30 Tk Holdings Inc. Driver assistance system and method
US8466807B2 (en) * 2011-06-01 2013-06-18 GM Global Technology Operations LLC Fast collision detection technique for connected autonomous and manual vehicles
US20150074026A1 (en) * 2011-08-17 2015-03-12 Qualcomm Technologies Inc. Apparatus and methods for event-based plasticity in spiking neuron networks
JP5652364B2 (ja) * 2011-09-24 2015-01-14 株式会社デンソー 車両用挙動制御装置
JP6011788B2 (ja) * 2012-09-03 2016-10-19 マツダ株式会社 車両用制御装置
KR101500168B1 (ko) * 2013-10-14 2015-03-06 현대자동차주식회사 주행 도로의 측면 경계 인지 방법
CA2941250A1 (en) * 2014-03-19 2015-09-24 Neurala, Inc. Methods and apparatus for autonomous robotic control
US20150292894A1 (en) 2014-04-11 2015-10-15 Telecommunication Systems, Inc. Travel route
CN106687327B (zh) * 2014-09-29 2018-12-11 矢崎总业株式会社 车辆显示装置
US9630318B2 (en) * 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
US9248834B1 (en) * 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
CN104484911B (zh) * 2014-10-29 2016-08-24 云南大学 基于QoE的个性化自动驾驶参数优化设定方法
CN118816923A (zh) * 2015-02-10 2024-10-22 御眼视觉技术有限公司 用于自主车辆导航的稀疏地图
US10536357B2 (en) * 2015-06-05 2020-01-14 Cisco Technology, Inc. Late data detection in data center
CN105069842A (zh) * 2015-08-03 2015-11-18 百度在线网络技术（北京）有限公司 道路三维模型的建模方法和装置
KR101714185B1 (ko) * 2015-08-05 2017-03-22 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
US9804599B2 (en) * 2015-11-04 2017-10-31 Zoox, Inc. Active lighting control for communicating a state of an autonomous vehicle to entities in a surrounding environment
US10745003B2 (en) * 2015-11-04 2020-08-18 Zoox, Inc. Resilient safety system for a robotic vehicle
KR102137213B1 (ko) * 2015-11-16 2020-08-13 삼성전자 주식회사 자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치
CN105741595B (zh) 2016-04-27 2018-02-27 常州加美科技有限公司 一种基于云端数据库的无人驾驶车辆导航行车方法
CN106314438B (zh) * 2016-08-15 2018-09-25 西北工业大学 一种司机驾驶轨迹中异常轨迹的检测方法和系统
CN106570764A (zh) * 2016-11-09 2017-04-19 广州杰赛科技股份有限公司 一种用户关系预测方法及装置
US10255525B1 (en) * 2017-04-25 2019-04-09 Uber Technologies, Inc. FPGA device for image classification

Also Published As

Publication number Publication date
JP6722280B2 (ja) 2020-07-15
EP3436783A4 (en) 2019-02-06
WO2018232680A1 (en) 2018-12-27
EP3436783A1 (en) 2019-02-06
JP2019527813A (ja) 2019-10-03
CN109937343A (zh) 2019-06-25
KR102070527B1 (ko) 2020-01-28
KR20190013689A (ko) 2019-02-11
US20180374359A1 (en) 2018-12-27
US11545033B2 (en) 2023-01-03

Similar Documents

Publication Publication Date Title
CN109937343B (zh) 用于自动驾驶车辆交通预测中的预测轨迹的评估框架
US12017663B2 (en) Sensor aggregation framework for autonomous driving vehicles
US11328219B2 (en) System and method for training a machine learning model deployed on a simulation platform
CN111076732B (zh) 基于车辆行驶的轨迹标记和生成高清地图的标记方案
CN109489673B (zh) 用于自动驾驶车辆的数据驱动地图更新系统
CN109429518B (zh) 基于地图图像的自动驾驶交通预测
KR102062608B1 (ko) 자율 주행 차량의 제어 피드백에 기초한 맵 업데이트 방법 및 시스템
EP3580625B1 (en) Driving scenario based lane guidelines for path planning of autonomous driving vehicles
US11003183B2 (en) Driving scene based path planning for autonomous driving vehicles
CN108139884B (zh) 用于操作自动驾驶车辆的方法和系统
CN111240312B (zh) 用于自动驾驶车辆的基于学习的动态建模方法
CN111476079B (zh) 将用于对象检测的地图特征与lidar合并的全面且有效的方法
CN111380534B (zh) 用于自动驾驶车辆的基于st图学习的方法
CN108891417B (zh) 用于操作自动驾驶车辆的方法及数据处理系统
CN108733046B (zh) 用于自动驾驶车辆的轨迹重新规划的系统和方法
CN110621541B (zh) 用于生成轨迹以操作自动驾驶车辆的方法和系统
CN108334077B (zh) 确定自动驾驶车辆的速度控制的单位增益的方法和系统
EP3327530A1 (en) Method for determining command delays of autonomous vehicles
CN110597243A (zh) 自动驾驶车辆的基于v2x通信的车辆车道系统
CN111649751B (zh) 一种用于参考线平滑的超自由缝合方法
CN111655561B (zh) 无需地图和定位的自动驾驶车辆的拐角协商方法
CN111240315A (zh) 使用预定负载校准表确定自动驾驶车辆的车辆负载的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant