CN110389585A - 用于自动驾驶车辆的基于学习的速度规划器 - Google Patents

用于自动驾驶车辆的基于学习的速度规划器 Download PDF

Info

Publication number
CN110389585A
CN110389585A CN201910053854.9A CN201910053854A CN110389585A CN 110389585 A CN110389585 A CN 110389585A CN 201910053854 A CN201910053854 A CN 201910053854A CN 110389585 A CN110389585 A CN 110389585A
Authority
CN
China
Prior art keywords
automatic driving
path
model
driving vehicle
adv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910053854.9A
Other languages
English (en)
Other versions
CN110389585B (zh
Inventor
张亮亮
李栋
胡江滔
陶佳鸣
蒋一飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of CN110389585A publication Critical patent/CN110389585A/zh
Application granted granted Critical
Publication of CN110389585B publication Critical patent/CN110389585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0008—Feedback, closed loop systems or details of feedback error signal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

公开了一种用于自动驾驶车辆(ADV)的基于学习的速度规划器。ADV设置为人类驾驶模式。驾驶控制元件受人类驾驶员的控制，而其它ADV逻辑仍被启用。ADV规划在具有障碍物的路线段上的路线路径。ADV逻辑生成针对路径段的基点‑时间图，以及包含路径和障碍物的单元网格。从网格生成特征向量。当ADV沿着路径导航时记录人类驾驶行为。将针对大量路径、障碍物和ADV记录的驾驶数据发送到服务器以生成速度模型。速度模型被下载到一个或多个ADV以用于自动驾驶模式，从而确定在类似驾驶情况下使用的初始速度。

Description

用于自动驾驶车辆的基于学习的速度规划器
技术领域
本公开的实施方式总体上涉及操作自动驾驶车辆。更具体地，本公开的实施方式涉及用于在存在潜在障碍物的情况下导航自动驾驶车辆(ADV)的速度规划。
背景技术
当在ADV选择的路线上围绕一个或多个障碍物导航自动驾驶车辆(ADV)时，速度规划是重要的。在现有技术中，速度规划方法使用动态编程或二次编程来优化ADV的速度。现有技术方法在计算成本很高并且难以媲及人类驾驶行为。
发明内容
本申请提供了一种为自动驾驶车辆提供导航的速度规划方法，所述方法包括：根据所述自动驾驶车辆在自动驾驶模式中将遵循的路径上的、所述自动驾驶车辆的一个或多个障碍物生成单元网格，所述单元网格表示包含所述路径的区域，其中，所述单元网格中的与所述一个或多个障碍物重合的网格单元被设置为第一值，并且所有其它网格单元被设置为第二值；从所述单元网格生成特征向量F'；使用所述特征向量F'和速度模型WMODEL确定用于在所述自动驾驶模式中沿着所述路径为所述自动驾驶车辆提供导航的初始速度v0；以及所述自动驾驶车辆在所述自动驾驶模式下以所述初始速度v0导航通过所述路径。
根据本申请实施方式，所述单元网格包括所述路径的基点-时间图，所述单元网格的尺寸为K×P，并且所述特征向量F'的长度为K乘以P。
根据本申请实施方式，所述第一值为1，并且所述第二值为0。
根据本申请实施方式，确定所述初始速度v0包括计算所述特征向量F'的转置和所述速度模型WMODEL的点积。
根据本申请实施方式，从远程服务器接收所述速度模型WMODEL，并且使用特征向量F以及多个人类驾驶的自动驾驶车辆驾驶记录中的每一个驾驶记录的初始路径速度训练所述速度模型WMODEL，其中，所述特征向量F和所述初始路径速度能够在所述驾驶记录之间变化。
根据本申请实施方式，所述方法还包括从多个特征向量中选择最接近对应于F'的特征向量FMODEL，并且确定对应于所选特征向量FMODEL的速度模型WMODEL。
本申请提供了一种用可执行指令编程的非暂时性计算机可读介质，所述可执行指令在由处理器系统执行时执行用于在自动驾驶车辆中进行速度规划的操作，所述操作包括：根据所述自动驾驶车辆在自动驾驶模式中将遵循的路径上的、所述自动驾驶车辆的一个或多个障碍物生成单元网格，所述单元网格表示包含所述路径的区域，其中，所述单元网格中的与所述一个或多个障碍物重合的网格单元被设置为第一值，并且所有其它网格单元被设置为第二值；从所述单元网格生成特征向量F'；使用所述特征向量F'和速度模型WMODEL确定用于在所述自动驾驶模式中沿着所述路径为所述自动驾驶车辆提供导航的初始速度v0；以及所述自动驾驶车辆在所述自动驾驶模式下以所述初始速度v0导航通过所述路径。
本申请提供了一种速度规划系统，包括具有至少一个硬件处理器的处理系统，所述处理系统联接到用可执行指令编程的存储器，所述可执行指令在由所述处理系统执行时执行用于在自动驾驶车辆中进行速度规划的操作，所述操作包括：根据所述自动驾驶车辆在自动驾驶模式中将遵循的路径上的、所述自动驾驶车辆的一个或多个障碍物生成单元网格，所述单元网格表示包含所述路径的区域，其中，所述单元网格中的与所述一个或多个障碍物重合的网格单元被设置为第一值，并且所有其它网格单元被设置为第二值；从所述单元网格生成特征向量F'；使用所述特征向量F'和速度模型WMODEL确定用于在所述自动驾驶模式中沿着所述路径为所述自动驾驶车辆提供导航的初始速度v0；以及所述自动驾驶车辆在所述自动驾驶模式下以所述初始速度v0导航通过所述路径。
本申请提供了一种确定速度模型WMODEL的计算机实施的方法，所述方法包括：从多个人类驾驶的自动驾驶车辆驾驶记录中选择N个驾驶记录，所述N个记录中的每个记录包括特征向量F和初始速度v0，所述初始速度v0表示所述自动驾驶车辆在所述自动驾驶车辆驾驶通过的路径的开始处的速度，并且所述特征向量F表示当所述自动驾驶车辆驾驶通过路径时所述自动驾驶车辆的一个或多个障碍物的至少一部分；使用所述特征向量F和所选的N个记录中的每个记录的初始速度v0训练速度模型WMODEL；使用供所述自动驾驶车辆在自动驾驶模式下使用的速度模型WMODEL更新至少一个自动驾驶车辆的逻辑，从而在导航自动驾驶车辆驾驶段时提高所述自动驾驶车辆的速度规划效率。
根据本申请实施方式，训练所述速度模型WMODEL包括：确定使求和最小化的WMODEL，其中，Fi T是Fi的转置，Fi是选择的第i个特征向量，以及vi是由所述自动驾驶车辆的人类驾驶员根据所述特征向量Fi中表示的所述一个或多个障碍物驾驶通过的路径的起始处的第i个初始速度v0。
根据本申请实施方式，所述方法还包括将特征向量FMODEL与所述速度模型WMODEL相关联，其中，所述特征向量FMODEL与所述N个驾驶记录中的特征向量F相同。
附图说明
本公开的实施方式在附图的各图中以举例而非限制的方式示出，附图中的相同的附图标记指代相似的元件。
图1是示出根据一个实施方式的为实施用于自动驾驶车辆(ADV)的基于学习的速度规划器的网络化系统的框图。
图2是示出根据一个实施方式的为实施用于自动驾驶车辆(ADV)的基于学习的速度规划器的自动驾驶车辆的示例的框图。
图3是示出根据一个实施方式的在自动驾驶车辆(ADV)中实施用于ADV的基于学习的速度规划器的感知与规划系统的示例的框图。
图4示出了根据一个实施方式的实施用于自动驾驶车辆(ADV)的基于学习的速度规划器的、由人类驾驶员根据沿路径的多个障碍物导航通过ADV路线段的示例ADV路径。
图5是示出根据一个实施方式的实施用于自动驾驶车辆(ADV)的基于学习的速度规划器的方法的框图。
图6是示出根据一个实施方式的在自动驾驶车辆(ADV)中记录人类驾驶以实施用于ADV的基于学习的速度规划器的方法的框图。
图7是示出根据一个实施方式的远程服务器从自动驾驶车辆(ADV)的人类驾驶员数据训练速度模型以实施用于ADV的基于学习的速度规划器的框图。
图8是示出根据一个实施方式的通过实施用于自动驾驶车辆(ADV)的基于学习的速度规划器来改进ADV导航的方法的框图。
图9是示出根据一个实施方式的数据处理系统的框图。
具体实施方式
将参考以下所讨论的细节来描述本公开的各种实施方式和方面，并且附图将示出各种实施方式。以下描述和附图是对本公开的说明，并且不应被解释为限制本公开。描述了许多特定细节以提供对本公开各种实施方式的全面理解。然而，在某些情况下，并未描述众所周知的或常规的细节以提供对本公开的实施方式的简洁讨论。
本说明书中对“一个实施方式”或“实施方式”的提及意味着结合该实施方式所描述的特定特征、结构或特性可以包括在本公开的至少一个实施方式中。短语“在一个实施方式中”在本说明书中各个地方的出现不必全部指相同的实施方式。
根据一些实施方式，根据一个或多个障碍物和导航路线段(称为“路径”)，从人类驾驶员驾驶的ADV收集初始速度数据。ADV设置为人类驾驶模式。在人类驾驶模式中，ADV的控制系统被绕过，使得人类可以控制ADV。其它ADV逻辑保持启用和运行。路径由ADV的规划模块确定。沿着路径的一个或多个障碍物由ADV的感知模块确定。生成基点-时间(S-T)图和包含路径和障碍物的至少一部分的K×P单元网格。将与障碍物重合的单元设置为第一值，例如1。其它单元设置为第二值，例如0。将单元网格转换为长度为K×P的特征向量F。ADV记录在路径的起始点处(网格单元(0,0)处)记录的由人类驾驶员选择的初始速度v0。初始速度v0和特征向量F被记录为用于发送到远程服务器的驾驶记录。在实施方式中，将驾驶记录实时或接近实时地发送到远程服务器。在实施方式中，可以将驾驶记录存储在ADV处以在稍后的时间发送到远程服务器。
在实施方式中，在远程服务器上实施机器学习一个或多个速度模型的方法。远程服务器接收并存储来自在人类驾驶模式中由人类驾驶员驾驶的大量ADV的大量驾驶记录。每个驾驶记录包括特征向量F和初始速度v0，特征向量F表示沿着导航路线的一部分(“路径”)的、ADV的一个或多个障碍物，初始速度v0由人类驾驶员在路径中的第一点处选择。特征向量F表示包含路径和路径上的一个或多个障碍物的至少一部分的K×P单元网格。远程服务器可从大量驾驶记录中选择多个(N个)驾驶记录，并使用机器学习来训练初始速度模型WMODEL。远程服务器可将速度模型WMODEL发送到一个或多个ADV。WMODEL可表示为速度模型向量。
在另一实施方式中，ADV可从远程服务器接收速度模型WMODEL。在自动驾驶模式中，ADV可根据沿着路径的一个或多个障碍物确定ADV要导航的路径。ADV可将障碍物映射到K×P单元网格中，每个网格单元具有某一值。在实施方式中，如果网格单元与障碍物重合，则ADV可将网格单元值设置为1。否则将网格单元设置为0。然后，ADV可以从网格单元生成K×P长度的特征向量F'。在实施方式中，v0可以从F'转置(F'T)和WMODEL的点积确定。然后，根据由特征向量F'表示的障碍物，ADV可以在路径的初始点处以速度v0开始自动地导航通过路径。在实施方式中，可选地，可训练WMODEL以确定初始加速度a0。用于导航通过路径的初始加速度a0可以从F'转置(F'T)和WMODEL的点积确定。
图1是示出根据一个实施方式的为实施用于自动驾驶车辆(ADV)的基于学习的速度规划器的网络化系统的框图。参考图1，网络配置100包括可以通过网络102通信地联接到一个或多个服务器103至104的自动驾驶车辆101。尽管示出一个自动驾驶车辆，但多个自动驾驶车辆可以通过网络102联接到彼此和/或联接到服务器103至104。网络102可以是任何类型的网络，例如，有线或无线的局域网(LAN)、诸如互联网的广域网(WAN)、蜂窝网络、卫星网络或其组合。服务器103至104可以是任何类型的服务器或服务器群集，诸如，网络或云服务器、应用服务器、后端服务器或其组合。服务器103至104可以是数据分析服务器、内容服务器、交通信息服务器、地图和兴趣点(MPOI)服务器或者位置服务器等。
自动驾驶车辆是指可以被配置成处于自动驾驶模式下操作的车辆，在所述自动驾驶模式下车辆在极少或没有来自驾驶员的输入的情况下导航通过环境。这种自动驾驶车辆可以包括传感器系统，所述传感器系统具有被配置成检测与车辆运行环境有关的信息的一个或多个传感器。所述车辆和其相关联的控制器使用所检测的信息来导航通过所述环境。自动驾驶车辆101可以在手动模式下、在全自动驾驶模式下或者在部分自动驾驶模式下运行。
在一个实施方式中，自动驾驶车辆101包括，但不限于，感知与规划系统110、车辆控制系统111、无线通信系统112、用户接口系统113和传感器系统115。自动驾驶车辆101还可以包括普通车辆中包括的某些常用部件，诸如：发动机、车轮、方向盘、变速器等，所述部件可以由车辆控制系统111和/或感知与规划系统110使用多种通信信号和/或命令进行控制，该多种通信信号和/或命令例如，加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等。
部件110至115可以经由互连件、总线、网络或其组合通信地联接到彼此。例如，部件110至115可以经由控制器局域网(CAN)总线通信地联接到彼此。CAN总线是被设计成允许微控制器和装置在没有主机的应用中与彼此通信的车辆总线标准。它是最初是为汽车内的复用电气布线设计的基于消息的协议，但也用于许多其它环境。
现在参考图2，在一个实施方式中，传感器系统115包括但不限于一个或多个相机211、全球定位系统(GPS)单元212、惯性测量单元(IMU)213、雷达单元214以及光探测和测距(LIDAR)单元215。GPS系统212可以包括收发器，所述收发器可操作以提供关于自动驾驶车辆的位置的信息。IMU单元213可以基于惯性加速度来感测自动驾驶车辆的位置和方位变化。雷达单元214可以表示利用无线电信号来感测自动驾驶车辆的本地环境内的对象的系统。在一些实施方式中，除感测对象之外，雷达单元214可以另外感测对象的速度和/或前进方向。LIDAR单元215可以使用激光来感测自动驾驶车辆所处环境中的对象。除其它系统部件之外，LIDAR单元215还可以包括一个或多个激光源、激光扫描器以及一个或多个检测器。相机211可以包括用来采集自动驾驶车辆周围环境的图像的一个或多个装置。相机211可以是静物相机和/或视频相机。相机211可包括红外相机。相机可以是可机械地移动的，例如，通过将相机安装在旋转和/或倾斜平台上。
传感器系统115还可以包括其它传感器，诸如：声纳传感器、红外传感器、转向传感器、油门传感器、制动传感器以及音频传感器(例如，麦克风)。音频传感器可以被配置成从自动驾驶车辆周围的环境中采集声音。转向传感器可以被配置成感测方向盘、车辆的车轮或其组合的转向角度。油门传感器和制动传感器分别感测车辆的油门位置和制动位置。在一些情形下，油门传感器和制动传感器可以集成为集成式油门/制动传感器。
在一个实施方式中，车辆控制系统111包括但不限于转向单元201、油门单元202(也被称为加速单元)和制动单元203。转向单元201用来调整车辆的方向或前进方向。油门单元202用来控制电动机或发动机的速度，电动机或发动机的速度进而控制车辆的速度和加速度。制动单元203通过提供摩擦使车辆的车轮或轮胎减速而使车辆减速。应注意，如图2所示的部件可以以硬件、软件或其组合实施。如下面参考图3所描述的，控制系统111可包括用于检测控制系统111中的每个控制的故障的逻辑。
回到图1，无线通信系统112允许自动驾驶车辆101与诸如装置、传感器、其它车辆等外部系统之间的通信。例如，无线通信系统112可以与一个或多个装置直接无线通信，或者经由通信网络进行无线通信，诸如，通过网络102与服务器103至104通信。无线通信系统112可以使用任何蜂窝通信网络或无线局域网(WLAN)，例如，使用WiFi，以与另一部件或系统通信。无线通信系统112可以例如使用红外链路、蓝牙等与装置(例如，乘客的移动装置、显示装置、车辆101内的扬声器)直接通信。用户接口系统113可以是在车辆101内实施的外围装置的部分，包括例如键盘、触摸屏显示装置、麦克风和扬声器等。
自动驾驶车辆101的功能中的一些或全部可以由感知与规划系统110控制或管理，尤其当在自动驾驶模式下操作时。感知与规划系统110包括必要的硬件(例如，处理器、存储器、存储设备)和软件(例如，操作系统、规划和路线安排程序)，以从传感器系统115、控制系统111、无线通信系统112和/或用户接口系统113接收信息，处理所接收的信息，规划从起始点到目的地点的路线或路径，随后基于规划和控制信息来驾驶车辆101。替代地，感知与规划系统110可以与车辆控制系统111集成在一起。
例如，作为乘客的用户可以例如经由用户接口来指定行程的起始位置和目的地。感知与规划系统110获得行程相关数据。例如，感知与规划系统110可以从MPOI服务器中获得位置和路线信息，所述MPOI服务器可以是服务器103至104的一部分。位置服务器提供位置服务，并且MPOI服务器提供地图服务和某些位置的POI。替代地，此类位置和MPOI信息可以本地高速缓存在感知与规划系统110的永久性存储装置中。
当自动驾驶车辆101沿着路线移动时，感知与规划系统110也可以从交通信息系统或服务器(TIS)获得实时交通信息。应注意，服务器103至104可以由第三方实体进行操作。替代地，服务器103至104的功能可以与感知与规划系统110集成在一起。基于实时交通信息、MPOI信息和位置信息以及由传感器系统115检测或感测的实时本地环境数据(例如，障碍物、对象、附近车辆)，感知与规划系统110可以规划最佳路线并且根据所规划的路线例如经由控制系统111来驾驶车辆101，以安全且高效到达指定目的地。最优路径可包括多个段，每个段可通过感知与规划系统110通过从该段的多个候选路径曲线确定该段的最优路径曲线来优化，每个候选路径曲线由感知与规划系统110生成。
服务器103可为用于为各种客户端执行数据分析服务的数据分析系统。在一个实施方式中，数据分析系统103包括数据收集器121和机器学习引擎122。数据收集器121从多种车辆(自动驾驶车辆或由人类驾驶员驾驶的常规车辆)收集驾驶统计数据123。驾驶统计数据123包括表示所发出的驾驶命令(例如，油门命令、制动命令和转向命令)以及在不同的时间点处由车辆的传感器捕获的车辆的响应(例如，速度、加速度、减速度、方向)的信息。驾驶统计数据123还可包括描述不同的时间点处的驾驶环境的信息，诸如，例如，路线(包括起点位置和目的地位置)、MPOI、道路状况、天气状况等。
在实施方式中，驾驶统计数据可包括当ADV处于人类驾驶员模式时的驾驶记录。人类驾驶模式绕过ADV控制系统逻辑，以使得人类驾驶员可控制ADV。在实施方式中，驾驶记录可用于使用机器学习引擎122来学习人类驾驶判断。可以为人类驾驶员将导航的ADV驾驶路线段确定导航路径。路径可具有一个或多个障碍物。可生成包括路径和障碍物的至少一部分的单元网格。与障碍物重合的单元格可设置为1，而所有其它单元格设置为0。单元网格可表示为特征向量F。当ADV 101开始在人类控制下导航路径时，特征向量F和初始ADV速度v0和/或初始加速度a0可被储存为驾驶记录并被发送到远程服务器，例如具有机器学习算法124并使用机器算法引擎122的服务器103。
基于驾驶统计数据123，机器学习引擎122针对各种目的生成或训练规则集、算法和/或预测模型124，包括用于警报自动驾驶车辆的驾驶员的警报系统的多级警报算法。例如，机器学习引擎122可使用大量的ADV驾驶统计数据123来训练速度模型WMODEL124。当ADV开始导航通过具有特征向量F的路径时，训练的速度模型WMODEL124可下载到一个或多个ADV以改进初始速度选择v0或初始加速度a0。
图3是示出根据一个实施方式的在ADV中实施用于自动驾驶车辆(ADV)的基于学习的速度规划器的感知与规划系统的示例的框图。系统300可实施为图1的自动驾驶车辆101的一部分，包括但不限于感知与规划系统110、控制系统111和传感器系统115。参考图3，感知与规划系统110包括但不限于定位模块301、感知模块302、预测模块303、决策模块304、规划模块305、控制模块306、路线制定模块307、速度数据收集器308和速度规划模块309。定位模块301可包括地图和路线数据311和路线制定模块307。
模块301至309中的一些或全部可以以软件、硬件或其组合实施。例如，这些模块可安装在永久性存储装置352中、加载到存储器351中，并且由一个或多个处理器(未示出)执行。应注意，这些模块中的一些或全部可通信地联接到图2的车辆控制系统111的一些或全部模块或者与它们集成在一起。模块301至309中的一些可一起集成为集成模块。
定位模块301确定自动驾驶车辆300的当前位置(例如，利用GPS单元212)并管理与用户的行程或路线相关的任何数据。定位模块301可被称为地图与路线模块。用户可以例如经由用户接口登录并且指定行程的开始位置和目的地。定位模块301与自动驾驶车辆300的诸如地图和路线信息311的其它组件通信，以获得行程相关数据。例如，定位模块301可从位置服务器和地图与POI(MPOI)服务器获得位置和路线信息。位置服务器提供位置服务，以及MPOI服务器提供地图服务和某些位置的POI，这些可作为地图和路线信息311的一部分高速缓存。当自动驾驶车辆300沿着路线移动时，定位模块301也可从交通信息系统或服务器获得实时交通信息。
基于由传感器系统115提供的传感器数据和由定位模块301获得的定位信息，感知模块302确定对周围环境的感知。感知信息可以表示普通驾驶员在驾驶员正驾驶的车辆周围将感知到的东西。感知可以包括例如采用对象形式的车道配置(例如，直线车道或弯曲车道)、交通灯信号、另一车辆的相对位置、行人、建筑物、人行横道或其它交通相关标志(例如，停止标志、让行标志)等。
感知模块302可以包括计算机视觉系统或计算机视觉系统的功能，以处理并分析由一个或多个相机采集的图像，从而识别自动驾驶车辆环境中的对象和/或特征。所述对象可以包括交通信号、道路边界、其它车辆、行人和/或障碍物等。计算机视觉系统可以使用对象识别算法、视频跟踪以及其它计算机视觉技术。在一些实施方式中，计算机视觉系统可以绘制环境地图，跟踪对象，以及估算对象的速度等。感知模块302也可以基于由诸如雷达和/或LIDAR的其它传感器提供的其它传感器数据来检测对象。
针对每个对象，预测模块303预测该对象在此情形下的行为。根据地图/路线信息311和交通规则312的集合，基于在该时间点感知驾驶环境的感知数据来执行预测。例如，如果对象是处于相反方向的车辆并且当前驾驶环境包括十字路口，则预测模块303将预测车辆是将可能直线向前移动还是进行转弯。如果感知数据表明十字路口没有交通灯，则预测模块303可预测车辆在进入十字路口之前可能需要完全停止。如果感知数据表明车辆当前处于左转专用车道或右转专用车道，则预测模块303可分别预测车辆将更可能向左转弯或向右转弯。
针对每个对象，决策模块304作出关于如何处置对象的决定。例如，针对特定对象(例如，交叉路线中的另一车辆)以及描述对象的元数据(例如，速度、方向、转弯角度)，决策模块304决定如何与所述对象相遇(例如，超车、让行、停止、超过)。决策模块304可根据诸如交通规则或驾驶规则312的规则集来作出此类决定，所述规则集可存储在永久性存储装置352中。
基于针对所感知到的对象中的每个的决定以及从用于路线的驾驶路段的多个候选路径曲线中确定出的最小路径曲线，规划模块305使用由路线制定模块307提供的参考线作为基础来为自动驾驶车辆规划路径或路线以及驾驶参数(例如，距离、速度和/或转弯角度)。即，针对给定的对象，决策模块304决定对该对象做什么，而规划模块305确定如何去做。例如，针对给定的对象，决策模块304可以决定超过所述对象，而规划模块305可以确定在所述对象的左侧还是右侧超过。规划和控制数据由规划模块305生成，包括描述车辆300在下一移动循环(例如，下一路线/路径段)中将如何移动的信息。例如，规划和控制数据可以指示车辆300以30英里每小时(mph)的速度移动10米，随后以25mph的速度变到右侧车道。
基于规划和控制数据，控制模块306根据由规划和控制数据限定的路线或路径通过将适当的命令或信号发送到车辆控制系统111来控制并驾驶自动驾驶车辆。所述规划和控制数据包括足够的信息，以沿着路径或路线在不同的时间点使用适当的车辆设置或驾驶参数(例如，油门、制动和转弯命令)将车辆从路线或路径的第一点驾驶到第二点。
在一个实施方式中，在多个规划周期(也被称为命令周期)(诸如，例如，在每100毫秒(ms)的时间间隔中)中执行规划阶段。针对每个规划周期或命令周期，将基于规划数据和控制数据发出一个或多个控制命令。即，对于每个100ms，规划模块305规划下一路线段或路径段，例如，包括目标位置和ADV到达目标位置所需的时间。替代地，规划模块305还可指定具体速度、方向和/或转向角等。在一个实施方式中，规划模块305为下一预定时间段(诸如5秒)规划路线段或路径段。对于每个规划周期，规划模块305基于先前周期中规划的目标位置来规划当前周期(例如，接下来的5秒)的目标位置。然后，控制模块306基于当前周期的规划数据和控制数据生成一个或多个控制命令(例如，油门命令、制动命令、转向控制命令)。控制模块306可被绕过，使得人类驾驶员可控制ADV，同时ADV的其它逻辑保持可操作。
应注意，决策模块304和规划模块305可以集成为集成模块。决策模块304/规划模块305可以包括导航系统或导航系统的功能，以确定自动驾驶车辆的驾驶路径。例如，导航系统可以确定用于实现自动驾驶车辆沿着以下路径移动的一系列速度和前进方向：所述路径在使自动驾驶车辆沿着通往最终目的地的基于车行道的路径前进的同时，基本上避免感知到的障碍物。目的地可以根据经由用户接口系统113进行的用户输入来设定。导航系统可以在自动驾驶车辆正在运行的同时动态地更新驾驶路径。导航系统可以将来自GPS系统和一个或多个地图的数据合并，以确定用于自动驾驶车辆的驾驶路径。
决策模块304/规划模块305还可以包括防撞系统或防撞系统的功能，以识别、评估并且避免或以其它方式越过自动驾驶车辆的环境中的潜在障碍物。例如，防撞系统可以通过以下方式实现自动驾驶车辆的导航中的变化：操作控制系统111中的一个或多个子系统来采取变向操纵、转弯操纵、制动操纵等。防撞系统可以基于周围的交通模式、道路状况等自动确定可行的障碍物回避操纵。防撞系统可以被配置成使得当其它传感器系统检测到位于自动驾驶车辆将变向进入的相邻区域中的车辆、建筑障碍物等时不采取变向操纵。防撞系统可以自动选择既可使用又使得自动驾驶车辆乘员的安全性最大化的操纵。防撞系统可以选择预测使得自动驾驶车辆的乘客舱中出现最小量的加速度的避让操纵。
路线制定模块307配置成提供从起点到目的点的一个或多个路线或路径。对于从开始位置到目的地位置的给定行程(例如，从用户接收的)，路线制定模块307获得路线和地图信息311，并且确定从开始位置至到达目的地位置的所有可能的路线或路径。路线制定模块307可以以地形图的形式针对其确定的从开始位置至到达目的地位置的每个路线生成参考线。参考线指的是理想的路线或路径，而不受诸如其它车辆、障碍物或交通状况的其它事物的任何干扰。即，如果道路上不存在其它车辆、行人或障碍物，则ADV应该精确地或紧密地遵循参考线。然后，地形图被提供至决策模块304和/或规划模块305。根据由其它模块提供的其它数据(诸如，来自定位模块301的交通状况、由感知模块302感知的驾驶环境和由预测模块303预测的交通状况)，决策模块304和/或规划模块305检查所有可能的路线以选择和修改一个最优路线。用于控制ADV的实际路径或路线可与由路线制定模块307提供的参考线接近或不同，这取决于该时间点的特定驾驶环境。检查所有可能的路线可包括，针对从可能的路线中选择的路线，确定所选路线段，以及确定用于导航通过所选路线段的多个候选路径曲线。导航通过驾驶段(或“路径”)可包括确定在开始路径时ADV的初始速度v0。初始速度v0可取决于路径上的一个或多个障碍物。当人类在人类驾驶员模式驾驶下驾驶时所收集的速度数据可用于训练一个或多个速度模型(使用机器学习)以模拟初始速度v0的人类决策。
速度数据收集器308将某些驾驶状况记录到驾驶记录中。在人类驾驶员模式中，ADV可沿着具有一个或多个障碍物的路径导航。该路径可表示为基点-时间(S-T)图，其包括包含路径和一个或多个障碍物的至少一部分的值的单元网格。可通过例如将与障碍物重合的网格单元的网格单元值设置为1，否则设置网格单元为0来将向ADV的一个或多个障碍物合并到单元网格中。单元网格可表示为特征向量F。将ADV设置为人类驾驶员模式，人类驾驶员可以以初始速度v0开始驾驶路径。速度数据收集器308可将特征向量F和初始速度v0记录到驾驶记录中。速度数据收集器308可记录沿行驶路线的多个路径中的每个路径的驾驶记录。在实施方式中，针对每个驾驶路线段，可多次确定特征向量F和初始驾驶速度v0和/或初始加速度a0。在实施方式中，可响应于路径上的一个或多个障碍物的变化(例如，障碍物进入或离开包括包含该路径的单元网格的区域)来记录新的特征向量F和初始速度v0和/或初始加速度a0。记录的驾驶记录可实时或接近实时地从ADV发送到远程服务器。在实施方式中，记录的驾驶记录可在指定时间或在诸如ADV到达路线上的目的地的事件之后以数据包(batch)的形式被发送到远程服务器。远程服务器(例如，图1的服务器103)可用于训练速度模型，该速度模型用于之后下载到一个或多个ADV以改进自动驾驶模式中的ADV的速度规划。速度规划可由速度规划模块309执行。
速度规划模块309可从远程服务器103接收速度模型WMODEL。根据以特征向量F'表示的、ADV的一个或多个障碍物，速度规划模块309使用速度模型WMODEL来确定以自动驾驶模式在路径上开始驾驶ADV的初始速度v0或初始加速度a0。速度规划模块309可使用特征向量F'和速度模型WMODEL来确定开始在路径上驾驶的初始速度v0或初始加速度a0。在实施方式中，初始速度v0或初始加速度a0可通过计算F'转置(F'T)和WMODEL的点积来确定。
应注意，如上文示出和描述的部件中的一些或全部可以在软件、硬件或其组合中实施。例如，此类部件可以实施为安装并存储在永久性存储装置中的软件，所述软件可以通过处理器(未示出)加载在存储器中并在存储器中执行以实施贯穿本申请所述的过程或操作。替代地，此类部件可以实施为编程或嵌入到专用硬件(诸如，集成电路(例如，专用集成电路或ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA))中的可执行代码，所述可执行代码可以经由来自应用的相应驱动程序和/或操作系统来访问。此外，此类部件可以实施为处理器或处理器内核中的特定硬件逻辑，作为可由软件部件通过一个或多个特定指令访问的指令集的一部分。
图4示出了根据一个实施方式的实施用于自动驾驶车辆(ADV)的、基于学习的速度规划器的根据沿路径的多个障碍物导航通过ADV路线段的示例ADV路径。在图4中，示出了在第一障碍物401与第二障碍物402之间穿过的驾驶路径410。可通过感知模块302感知障碍物并通过预测模块303预测障碍物行为来确定障碍物401和402。根据障碍物和障碍物行为，规划模块305可确定路径410以在障碍物401和402周围导航。障碍物可在包含路径和障碍物401和402的至少一部分的单元网格中表示。可将与障碍物重合的网格单元设置为值1，并且可将其余的网格单元设置为值0。网格可以是K×P单元的大小。单元网格可表示为特征向量F，具有长度K×P。
图4可应用于ADV处于人类驾驶员模式的数据收集场景，生成特征向量F，并且人类驾驶员选择初始速度v0以开始驾驶从单元网格上的点(0,0)起始的路径。由速度数据收集器308记录驾驶数据记录。图4还可应用于ADV处于自动驾驶模式的速度规划场景，并且速度规划模块309使用特征向量F'和速度模型WMODEL来确定在自动驾驶模式中用于导航路径410的初始速度v0或初始加速度a0。
图5是示出根据一个实施方式的实施用于自动驾驶车辆(ADV)的基于学习的速度规划器的方法500的流程图。
在操作505中，可将ADV 101设置为人类驾驶模式。人类驾驶模式绕过控制模块306，使得人类驾驶员可以控制ADV，而所有其它ADV逻辑继续有效。ADV规划模块305可生成人类驾驶员要导航通过的路径。感知模块302和预测模块303可沿路径检测向ADV的一个或多个障碍物并预测障碍物的行为。ADV逻辑可生成包含路径和障碍物的至少一部分的单元网格。与障碍物重合的网格单元可设置为值1。其余的网格单元可设置为0。单元网格可表示为特征向量F。
在操作510中，人类驾驶员以初始速度v0开始在路径上驾驶ADV。速度数据收集模块308可将特征向量和初始速度v0和/或初始加速度a0记录到驾驶记录中。在操作515中，可将驾驶记录发送到远程服务器。在实施方式中，一个或多个驾驶记录的发送可以是实时的、接近实时的或者可以延迟到稍后的时间。下面参考图6更详细地描述操作505到操作515。
在操作520中，远程服务器可查询从大量ADV接收的用于大量驾驶路径和障碍物的驾驶记录，每个驾驶记录包括特征向量F和初始速度v0和/或初始加速度a0。远程服务器(例如，服务器103)可针对大量特征向量F和相关联的初始速度v0执行速度模型的机器学习。下面参考图7更详细地描述操作520。
在操作525中，远程服务器可向一个或多个ADV发送速度模型WMODEL或以其它方式使得速度模型WMODEL能够下载到一个或多个ADV。对于具有特征向量F'的ADV的新驾驶情况，速度模型WMODEL和特征向量F'可用于确定初始速度v0或初始加速度a0以在自动驾驶模式中开始在路径上为ADV提供导航。
在操作530中，当在自动驾驶模式下驾驶时，ADV根据特征向量F'中的障碍物来计算用于导航通过路径的初始速度v0。在实施方式中，计算v0包括计算特征向量F'的转置(F'T)和WMODEL的点积。下面参考图8更详细地描述操作525和操作530。
图6是示出根据一个实施方式的在自动驾驶车辆(ADV)中记录人类驾驶数据以实施用于ADV的基于学习的速度规划器的方法600的流程图。在操作605中，ADV被设置为人类驾驶员模式。在人类驾驶员模式中，控制单元306被绕过，使得人类驾驶员可执行诸如转向、制动和油门控制的控制功能。ADV逻辑的其它模块保持可被运行。
在操作610中，规划模块305规划用于导航的路线，并且路线制定模块307可提供包括一部分路线的路径。感知模块302可检测沿路径的一个或多个障碍物，并且预测模块303可预测一个或多个障碍物的行为。
在操作615中，ADV将一个或多个障碍物映射到包含路径和一个或多个障碍物的至少一部分的K×P单元网格中。与障碍物重合的网格单元可以具有值1，否则具有值0。
在操作620中，当ADV开始导航通过路过障碍物的路径时，ADV速度数据收集器308记录由人类驾驶员选择的初始速度v0和/或初始加速度a0。
在操作625中，ADV逻辑可将单元网格转换为具有尺寸K×P的特征向量F，并且将特征向量F与初始速度v0和/或初始加速度a0相关联地存储在驾驶记录中。
在操作630中，ADV可将速度驾驶记录发送到远程服务器以用于一个或多个速度模型WMODEL的机器学习，每个速度驾驶记录包括特征向量F和初始速度v0和/或初始加速度a0。
图7是示出根据一个实施方式的远程服务器从自动驾驶车辆(ADV)的人类驾驶员数据训练速度模型WMODEL以实施用于ADV的基于学习的速度规划模块309的方法700的流程图。速度模型WMODEL可表示为向量。措辞WMODEL用于表明以任何方式表示的速度模型，包括作为向量表示的速度模型。
在操作705中，服务器选择在大量ADV的人类驾驶员模式期间生成的N个ADV驾驶记录。每个驾驶记录可包括特征向量F、初始速度v0和/或初始加速度a0。特征向量表示路径上的一个或多个障碍物到ADV的映射。人类驾驶员在开始沿着路径驾驶时选择初始速度v0。在实施方式中，选择驾驶记录可包括选择具有相同或基本相同的特征向量F的驾驶记录，使得针对特定一组障碍物训练速度模型WMODEL。这样的实施方式可在各种情况下使用，例如，当一组障碍物构成已知的困难或危险的驾驶情况时。在这种情况下，特定WMODEL可与生成WMODEL的代表性对应FMODEL相关联地存储，使得可在ADV驾驶情况下确定对应于FMODEL的特定WMODEL，其中，ADV特征向量F'对应于FMODEL。在操作710中，服务器使用所选择的驾驶记录来训练速度模型WMODEL。训练速度模型WMODEL包括确定最小化求和中的WMODEL，其中，是Fi的转置，Fi是选择的第i个特征向量，并且vi是由ADV的人类驾驶员根据特征向量Fi中表示的一个或多个障碍物驾驶的路径的起始处的第i个初始速度v0。在操作715中，服务器生成作为长度K×P的向量的速度模型WMODEL以在自动驾驶模式中的ADV使用，从而确定用于驾驶通过具有特征向量F'的路径的初始速度v0。在操作720中，服务器将速度模型WMODEL发送到一个或多个ADV以用于速度规划，以在自动驾驶模式中导航通过ADV的路径。
图8是示出根据一个实施方式的通过实施用于自动驾驶车辆(ADV)的基于学习的速度规划器来改进ADV导航的方法800的流程图。方法800由自动驾驶模式中的ADV实践。在操作805中，ADV从远程服务器接收速度模型WMODEL。WMODEL由远程服务器根据大量驾驶记录训练，每个驾驶记录具有特征向量和初始速度v0和/或初始加速度a0。
在操作810中，ADV感知与规划模块可确定作为ADV导航通过线路段的路径，以及沿着路线段(或“路径”)的、ADV的一个或多个障碍物。在操作815中，可生成包含路径和障碍物的至少一部分的K×P个单元的网格。与障碍物重合的网格单元可设置为值1，而其它网格单元设置为值0。可将单元网格生成为表示障碍物的特征向量F'。
在操作825中，速度规划模块309使用特征向量F'和速度模型WMODEL来计算用于开始导航通过路径的初始速度v0。使用F'的转置(F'T)和WMODEL的点积计算初始速度v0。在操作830中，ADV在自动模式中以速度v0从用于生成特征向量F'的K×P单元网格的点(0,0)处开始导航通过路径。
图9是示出可以与本公开的一个实施方式一起使用的数据处理系统的示例的框图。例如，系统1500可以表示以上所述的执行上述过程或方法中的任一个的任何数据处理系统，例如，图1的感知与规划系统110或者服务器103至104中的任一个。系统1500可以包括许多不同的部件。这些部件可以实施为集成电路(IC)、集成电路的部分、分立电子装置或适用于电路板(诸如，计算机系统的主板或插入卡)的其它模块或者实施为以其它方式并入计算机系统的机架内的部件。
还应注意，系统1500旨在示出计算机系统的许多部件的高阶视图。然而，应当理解的是，某些实施例中可以具有附加的部件，此外，其它实施例中可以具有所示部件的不同布置。系统1500可以表示台式计算机、膝上型计算机、平板计算机、服务器、移动电话、媒体播放器、个人数字助理(PDA)、智能手表、个人通信器、游戏装置、网络路由器或集线器、无线接入点(AP)或中继器、机顶盒或其组合。此外，虽然仅示出了单个机器或系统，但是术语“机器”或“系统”还应当被理解为包括单独地或共同地执行一个(或多个)指令集以执行本文所讨论的任何一种或多种方法的机器或系统的任何集合。
在一个实施方式中，系统1500包括通过总线或互连件1510连接的处理器1501、存储器1503以及装置1505至1508。处理器1501可以表示其中包括单个处理器内核或多个处理器内核的单个处理器或多个处理器。处理器1501可以表示一个或多个通用处理器，诸如，微处理器、中央处理单元(CPU)等。更具体地，处理器1501可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、或实施其它指令集的处理器、或实施指令集组合的处理器。处理器1501还可以是一个或多个专用处理器，诸如，专用集成电路(ASIC)、蜂窝或基带处理器、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器、图形处理器、通信处理器、加密处理器、协处理器、嵌入式处理器、或者能够处理指令的任何其它类型的逻辑。
处理器1501(其可以是低功率多核处理器套接口，诸如超低电压处理器)可以充当用于与所述系统的各种部件通信的主处理单元和中央集线器。这种处理器可以实施为片上系统(SoC)。处理器1501被配置成执行用于执行本文所讨论的操作和步骤的指令。系统1500还可以包括与可选的图形子系统1504通信的图形接口，图形子系统1504可以包括显示控制器、图形处理器和/或显示装置。
处理器1501可以与存储器1503通信，存储器1503在一个实施方式中可以经由多个存储器装置实施以提供给定量的系统存储。存储器1503可以包括一个或多个易失性存储(或存储器)装置，诸如，随机存取存储器(RAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)或者其它类型的存储装置。存储器1503可以存储包括由处理器1501或任何其它装置执行的指令序列的信息。例如，各种操作系统、装置驱动程序、固件(例如，输入输出基本系统或BIOS)和/或应用的可执行代码和/或数据可以加载到存储器1503中并由处理器1501执行。操作系统可以是任何类型的操作系统，例如，机器人操作系统(ROS)、来自公司的操作系统、来自苹果公司的Mac来自公司的LINUX、UNIX，或者其它实时或嵌入式操作系统。
系统1500还可以包括IO装置，诸如装置1505至1508，包括网络接口装置1505、可选的输入装置1506，以及其它可选的IO装置1507。网络接口装置1505可以包括无线收发器和/或网络接口卡(NIC)。所述无线收发器可以是WiFi收发器、红外收发器、蓝牙收发器、WiMax收发器、无线蜂窝电话收发器、卫星收发器(例如，全球定位系统(GPS)收发器)或其它射频(RF)收发器或者它们的组合。NIC可以是以太网卡。
输入装置1506可以包括鼠标、触摸板、触敏屏幕(其可以与显示装置1504集成在一起)、指针装置(诸如，手写笔)和/或键盘(例如，物理键盘或作为触敏屏幕的一部分显示的虚拟键盘)。例如，输入装置1506可以包括联接到触摸屏的触摸屏控制器。触摸屏和触摸屏控制器例如可以使用多种触敏技术(包括但不限于电容、电阻、红外和表面声波技术)中的任一种，以及其它接近传感器阵列或用于确定与触摸屏接触的一个或多个点的其它元件来检测其接触和移动或间断。
IO装置1507可以包括音频装置。音频装置可以包括扬声器和/或麦克风，以促进支持语音的功能，诸如语音识别、语音复制、数字记录和/或电话功能。其它IO装置1507还可以包括通用串行总线(USB)端口、并行端口、串行端口、打印机、网络接口、总线桥(例如，PCI-PCI桥)、传感器(例如，诸如加速度计运动传感器、陀螺仪、磁强计、光传感器、罗盘、接近传感器等)或者它们的组合。装置1507还可以包括成像处理子系统(例如，相机)，所述成像处理子系统可以包括用于促进相机功能(诸如，记录照片和视频片段)的光学传感器，诸如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)光学传感器。某些传感器可以经由传感器集线器(未示出)联接到互连件1510，而诸如键盘或热传感器的其它装置可以根据系统1500的具体配置或设计由嵌入式控制器(未示出)控制。
为了提供对诸如数据、应用、一个或多个操作系统等信息的永久性存储，大容量存储设备(未示出)也可以联接到处理器1501。在各种实施方式中，为了实现更薄且更轻的系统设计并且改进系统响应性，这种大容量存储设备可以经由固态装置(SSD)来实施。然而，在其它实施方式中，大容量存储设备可以主要使用硬盘驱动器(HDD)来实施，其中较小量的SSD存储设备充当SSD高速缓存以在断电事件期间实现上下文状态以及其它此类信息的非易失性存储，从而使得在系统活动重新启动时能够实现快速通电。另外，闪存装置可以例如经由串行外围接口(SPI)联接到处理器1501。这种闪存装置可以提供系统软件的非易失性存储，所述系统软件包括所述系统的BIOS以及其它固件。
存储装置1508可以包括计算机可访问的存储介质1509(也被称为机器可读存储介质或计算机可读介质)，其上存储有体现本文所述的任何一种或多种方法或功能的一个或多个指令集或软件(例如，模块、单元和/或逻辑1528)。处理模块/单元/逻辑1528可以表示上述部件中的任一个，例如，规划模块305、控制模块306、和/或速度数据收集器308和速度规划模块309。处理模块/单元/逻辑1528还可以在其由数据处理系统1500、存储器1503和处理器1501执行期间完全地或至少部分地驻留在存储器1503内和/或处理器1501内，数据处理系统1500、存储器1503和处理器1501也构成机器可访问的存储介质。处理模块/单元/逻辑1528还可以通过网络经由网络接口装置1505进行发送或接收。
计算机可读存储介质1509也可以用来永久性地存储以上描述的一些软件功能。虽然计算机可读存储介质1509在示例性实施方式中被示为单个介质，但是术语“计算机可读存储介质”应当被认为包括存储所述一个或多个指令集的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)。术语“计算机可读存储介质”还应当被认为包括能够存储或编码指令集的任何介质，所述指令集用于由机器执行并且使得所述机器执行本公开的任何一种或多种方法。因此，术语“计算机可读存储介质”应当被认为包括但不限于固态存储器以及光学介质和磁性介质，或者任何其它非暂时性机器可读介质。
本文所述的处理模块/单元/逻辑1528、部件以及其它特征可以实施为分立硬件部件或集成在硬件部件(诸如，ASICS、FPGA、DSP或类似装置)的功能中。此外，处理模块/单元/逻辑1528可以实施为硬件装置内的固件或功能电路。此外，处理模块/单元/逻辑1528可以以硬件装置和软件部件的任何组合来实施。
应注意，虽然系统1500被示出为具有数据处理系统的各种部件，但是并不旨在表示使部件互连的任何特定架构或方式；因为此类细节和本公开的实施方式没有密切关系。还应当认识到，具有更少部件或可能具有更多部件的网络计算机、手持计算机、移动电话、服务器和/或其它数据处理系统也可以与本公开的实施方式一起使用。
前述详细描述中的一些部分已经根据在计算机存储器内对数据位的运算的算法和符号表示而呈现。这些算法描述和表示是数据处理领域中的技术人员所使用的方式，以将他们的工作实质最有效地传达给本领域中的其他技术人员。本文中，算法通常被认为是导致所期望结果的自洽操作序列。这些操作是指需要对物理量进行物理操控的操作。
然而，应当牢记，所有这些和类似的术语均旨在与适当的物理量关联，并且仅仅是应用于这些量的方便标记。除非在以上讨论中以其它方式明确地指出，否则应当了解，在整个说明书中，利用术语(诸如所附权利要求书中所阐述的术语)进行的讨论是指计算机系统或类似电子计算装置的动作和处理，所述计算机系统或电子计算装置操控计算机系统的寄存器和存储器内的表示为物理(电子)量的数据，并将所述数据变换成计算机系统存储器或寄存器或者其它此类信息存储设备、发送或显示装置内类似地表示为物理量的其它数据。
本公开的实施方式还涉及用于执行本文中的操作的设备。这种计算机程序被存储在非暂时性计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式存储信息的任何机构。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、闪存存储器装置)。
前述附图中所描绘的过程或方法可以由处理逻辑来执行，所述处理逻辑包括硬件(例如，电路、专用逻辑等)、软件(例如，体现在非暂时性计算机可读介质上)或两者的组合。尽管所述过程或方法在上文是依据一些顺序操作来描述的，但是应当了解，所述操作中的一些可以按不同的顺序执行。此外，一些操作可以并行地执行而不是顺序地执行。
本公开的实施方式并未参考任何特定的编程语言进行描述。应认识到，可以使用多种编程语言来实施如本文描述的本公开的实施方式的教导。
在以上的说明书中，已经参考本公开的具体示例性实施方式对本公开的实施方式进行了描述。将显而易见的是，在不脱离所附权利要求书中阐述的本公开的更宽泛精神和范围的情况下，可以对本公开作出各种修改。因此，应当在说明性意义而不是限制性意义上来理解本说明书和附图。

Claims (21)

1.一种为自动驾驶车辆提供导航的速度规划方法，所述方法包括：
根据所述自动驾驶车辆在自动驾驶模式中将遵循的路径上的、所述自动驾驶车辆的一个或多个障碍物生成单元网格，所述单元网格表示包含所述路径的区域，其中，所述单元网格中的与所述一个或多个障碍物重合的网格单元被设置为第一值，并且所有其它网格单元被设置为第二值；
从所述单元网格生成特征向量F'；
使用所述特征向量F'和速度模型WMODEL确定用于在所述自动驾驶模式中沿着所述路径为所述自动驾驶车辆提供导航的初始速度v0；以及
所述自动驾驶车辆在所述自动驾驶模式下以所述初始速度v0导航通过所述路径。
2.根据权利要求1所述的方法，其中，所述单元网格包括所述路径的基点-时间图，所述单元网格的尺寸为K×P，并且所述特征向量F'的长度为K乘以P。
3.根据权利要求1所述的方法，其中，所述第一值为1，并且所述第二值为0。
4.根据权利要求1所述的方法，其中，确定所述初始速度v0包括计算所述特征向量F'的转置和所述速度模型WMODEL的点积。
5.根据权利要求1所述的方法，其中，从远程服务器接收所述速度模型WMODEL，并且使用特征向量F以及多个人类驾驶的自动驾驶车辆驾驶记录中的每一个驾驶记录的初始路径速度训练所述速度模型WMODEL，其中，所述特征向量F和所述初始路径速度能够在所述驾驶记录之间变化。
6.根据权利要求1所述的方法，还包括：
从多个特征向量中选择最接近对应于所述特征向量F'的特征向量FMODEL，并且确定对应于所选特征向量FMODEL的速度模型WMODEL。
7.一种用可执行指令编程的非暂时性计算机可读介质，所述可执行指令在由处理器系统执行时执行用于在自动驾驶车辆中进行速度规划的操作，所述操作包括：
根据所述自动驾驶车辆在自动驾驶模式中将遵循的路径上的、所述自动驾驶车辆的一个或多个障碍物生成单元网格，所述单元网格表示包含所述路径的区域，其中，所述单元网格中的与所述一个或多个障碍物重合的网格单元被设置为第一值，并且所有其它网格单元被设置为第二值；
从所述单元网格生成特征向量F'；
使用所述特征向量F'和速度模型WMODEL确定用于在所述自动驾驶模式中沿着所述路径为所述自动驾驶车辆提供导航的初始速度v0；以及
所述自动驾驶车辆在所述自动驾驶模式下以所述初始速度v0导航通过所述路径。
8.根据权利要求7所述的介质，其中，所述单元网格包括所述路径的基点-时间图，所述单元网格的尺寸为K×P，并且所述特征向量F'的长度为K乘以P。
9.根据权利要求7所述的介质，其中，所述第一值为1，并且所述第二值为0。
10.根据权利要求7所述的介质，其中，确定所述初始速度v0包括计算所述特征向量F'的转置和所述速度模型WMODEL的点积。
11.根据权利要求7所述的介质，其中，从远程服务器接收所述速度模型WMODEL，并且使用特征向量F以及多个人类驾驶的自动驾驶车辆驾驶记录中的每一个驾驶记录的初始路径速度训练所述速度模型WMODEL，其中，所述特征向量F和所述初始路径速度能够在所述驾驶记录之间变化。
12.根据权利要求7所述的介质，还包括：
从多个特征向量中选择最接近对应于F'的特征向量FMODEL，并且确定对应于所选特征向量FMODEL的速度模型WMODEL。
13.一种速度规划系统，包括具有至少一个硬件处理器的处理系统，所述处理系统联接到用可执行指令编程的存储器，所述可执行指令在由所述处理系统执行时执行用于在自动驾驶车辆中进行速度规划的操作，所述操作包括：
根据所述自动驾驶车辆在自动驾驶模式中将遵循的路径上的、所述自动驾驶车辆的一个或多个障碍物生成单元网格，所述单元网格表示包含所述路径的区域，其中，所述单元网格中的与所述一个或多个障碍物重合的网格单元被设置为第一值，并且所有其它网格单元被设置为第二值；
从所述单元网格生成特征向量F'；
使用所述特征向量F'和速度模型WMODEL确定用于在所述自动驾驶模式中沿着所述路径为所述自动驾驶车辆提供导航的初始速度v0；以及
所述自动驾驶车辆在所述自动驾驶模式下以所述初始速度v0导航通过所述路径。
14.根据权利要求13所述的系统，其中，所述单元网格包括所述路径的基点-时间图，所述单元网格的尺寸为K×P，并且所述特征向量F'的长度为K乘以P。
15.根据权利要求13所述的系统，其中，所述第一值为1，并且所述第二值为0。
16.根据权利要求13所述的系统，其中，确定所述初始速度v0包括计算所述特征向量F'的转置和所述速度模型WMODEL的点积。
17.根据权利要求13所述的系统，其中，从远程服务器接收所述速度模型WMODEL，并且使用特征向量F以及多个人类驾驶的自动驾驶车辆驾驶记录中的每一个驾驶记录的初始路径速度训练所述速度模型WMODEL，其中，所述特征向量F和所述初始路径速度能够在所述驾驶记录之间变化。
18.根据权利要求13所述的系统，其中，所述操作还包括：
从多个特征向量中选择最接近对应于F'的特征向量FMODEL，并且确定对应于所选特征向量FMODEL的速度模型WMODEL。
19.一种确定速度模型WMODEL的计算机实施的方法，所述方法包括：
从多个人类驾驶的自动驾驶车辆驾驶记录中选择N个驾驶记录，所述N个记录中的每个记录包括特征向量F和初始速度v0，所述初始速度v0表示所述自动驾驶车辆在所述自动驾驶车辆驾驶通过的路径的开始处的速度，并且所述特征向量F表示当所述自动驾驶车辆驾驶通过路径时所述自动驾驶车辆的一个或多个障碍物的至少一部分；
使用所述特征向量F和所选的N个记录中的每个记录的初始速度v0训练速度模型WMODEL；
使用供所述自动驾驶车辆在自动驾驶模式下使用的所述速度模型WMODEL更新至少一个自动驾驶车辆的逻辑，从而在导航通过自动驾驶车辆驾驶段时提高所述自动驾驶车辆的速度规划效率。
20.根据权利要求19所述的方法，其中，训练所述速度模型WMODEL包括：
确定使求和最小化的WMODEL，其中，Fi T是Fi的转置，Fi是选择的第i个特征向量，以及
vi是由所述自动驾驶车辆的人类驾驶员根据所述特征向量Fi中表示的所述一个或多个障碍物驾驶通过的路径的起始处的第i个初始速度v0。
21.根据权利要求19所述的方法，还包括：
将特征向量FMODEL与所述速度模型WMODEL相关联，其中，所述特征向量FMODEL与所述N个驾驶记录中的特征向量F相同。
CN201910053854.9A 2018-04-16 2019-01-21 用于自动驾驶车辆的基于学习的速度规划器 Active CN110389585B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/954,366 2018-04-16
US15/954,366 US11126199B2 (en) 2018-04-16 2018-04-16 Learning based speed planner for autonomous driving vehicles

Publications (2)

Publication Number Publication Date
CN110389585A true CN110389585A (zh) 2019-10-29
CN110389585B CN110389585B (zh) 2023-01-03

Family

ID=68161760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910053854.9A Active CN110389585B (zh) 2018-04-16 2019-01-21 用于自动驾驶车辆的基于学习的速度规划器

Country Status (3)

Country Link
US (1) US11126199B2 (zh)
JP (1) JP6748244B2 (zh)
CN (1) CN110389585B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112829770A (zh) * 2020-08-04 2021-05-25 百度（美国）有限责任公司 基于车道边界和车辆速度的绕行决策
CN113076697A (zh) * 2021-04-20 2021-07-06 潍柴动力股份有限公司 典型驾驶工况的构建方法、相关装置及计算机存储介质
CN113448329A (zh) * 2020-03-25 2021-09-28 百度（美国）有限责任公司 减少用于规划自主驾驶车辆的路径的障碍物的方法及系统
CN113508065A (zh) * 2020-01-23 2021-10-15 百度时代网络技术（北京）有限公司 用于自主车辆控制的跨平台控制剖析
CN114620068A (zh) * 2020-12-09 2022-06-14 伟摩有限责任公司 自动驾驶系统的物理信息优化

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11077756B2 (en) * 2017-11-23 2021-08-03 Intel Corporation Area occupancy determining device
US10816985B2 (en) * 2018-04-17 2020-10-27 Baidu Usa Llc Method on moving obstacle representation for trajectory planning
FR3086073B1 (fr) * 2018-09-19 2020-12-11 Transdev Group Dispositif electronique de determination d'une trajectoire d'arret d'urgence d'un vehicule autonome, vehicule et procede associes
EP3627250B1 (en) * 2018-09-21 2023-12-06 Tata Consultancy Services Limited Method and system for free space detection in a cluttered environment
US20220017106A1 (en) * 2018-12-26 2022-01-20 Mitsubishi Electric Corporation Moving object control device, moving object control learning device, and moving object control method
US10809736B2 (en) * 2018-12-27 2020-10-20 Baidu Usa Llc ST-graph learning based decision for autonomous driving vehicle
US10928827B2 (en) * 2019-01-07 2021-02-23 Toyota Research Institute, Inc. Systems and methods for generating a path for a vehicle
US10843728B2 (en) * 2019-01-31 2020-11-24 StradVision, Inc. Method and device for delivering steering intention of autonomous driving module or driver to steering apparatus of subject vehicle more accurately
JP7207256B2 (ja) * 2019-10-15 2023-01-18 トヨタ自動車株式会社 車両制御システム
CN110794839B (zh) * 2019-11-07 2022-04-29 中国第一汽车股份有限公司 一种异形路口的自动驾驶控制方法及车辆
US11760381B1 (en) * 2020-03-24 2023-09-19 Gm Cruise Holdings Llc Contextually-aware dynamic safety envelope for autonomous vehicles
JP7369077B2 (ja) * 2020-03-31 2023-10-25 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
US11945469B2 (en) * 2020-11-25 2024-04-02 Zoox, Inc. Object uncertainty models
KR102614256B1 (ko) * 2021-02-02 2023-12-15 우석대학교 산학협력단 자율주행을 위한 3차원 벡터좌표시스템
US12085952B2 (en) * 2021-09-14 2024-09-10 Waymo Llc Flow-based motion planning blueprint for autonomous vehicles
CN113665590B (zh) * 2021-09-24 2024-04-19 阿波罗智联(北京)科技有限公司 控制车辆的方法、装置、设备、介质和车辆
KR20230147414A (ko) * 2022-04-14 2023-10-23 주식회사 베스텔라랩 벡터기반 동적지도에 의한 자율주행차량의 길 및 위험요소 안내

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10100737A (ja) * 1996-09-27 1998-04-21 Honda Motor Co Ltd 自動運転車
JP2001142531A (ja) * 1999-11-16 2001-05-25 Honda Motor Co Ltd 自立型移動体および移動計画検査装置
JP2006350776A (ja) * 2005-06-17 2006-12-28 Honda Motor Co Ltd 移動体の経路生成装置
CN1894739A (zh) * 2003-05-09 2007-01-10 思科技术公司 依赖于源的文本到语音系统
US20070219720A1 (en) * 2006-03-16 2007-09-20 The Gray Insurance Company Navigation and control system for autonomous vehicles
US20090319112A1 (en) * 2007-09-28 2009-12-24 Honeywell International Inc. Automatic planning and regulation of the speed of autonomous vehicles
CN101650189A (zh) * 2008-08-14 2010-02-17 微星科技股份有限公司 行走路径规划方法与避开动态障碍物的导航方法
CN102254192A (zh) * 2011-07-13 2011-11-23 北京交通大学 基于模糊k近邻的三维模型半自动标注方法及系统
ES2374544T3 (es) * 2005-09-30 2012-02-17 Saab Ab Procedimiento de planificación de la velocidad de una nave a lo largo de una ruta.
CN103217981A (zh) * 2013-04-18 2013-07-24 东南大学 一种基于积分变结构控制的四旋翼飞行器速度控制方法
CN104298114A (zh) * 2014-10-29 2015-01-21 西南科技大学 自适应鲁棒s型速度规划算法
CN104391902A (zh) * 2014-11-12 2015-03-04 清华大学 一种基于最大熵话题模型的在线文档分类方法及装置
CN104699102A (zh) * 2015-02-06 2015-06-10 东北大学 一种无人机与智能车协同导航与侦查监控系统及方法
US20160026182A1 (en) * 2014-07-25 2016-01-28 Here Global B.V. Personalized Driving of Autonomously Driven Vehicles
US20160091320A1 (en) * 2014-09-30 2016-03-31 General Electric Company System and method for displaying planned speed values
CN106828493A (zh) * 2017-02-20 2017-06-13 北理慧动（常熟）车辆科技有限公司 一种自动驾驶车辆分层式纵向规划控制系统及方法
CN107168335A (zh) * 2017-06-28 2017-09-15 大连海事大学 一种考虑混合多目标避障的水面无人艇路径跟踪制导方法
CN107182206A (zh) * 2016-06-08 2017-09-19 驭势科技（北京）有限公司 车辆自动驾驶的速度规划方法、装置及计算装置
CN107331182A (zh) * 2017-07-13 2017-11-07 北京航空航天大学 一种面向连续信号交叉口的网联环境下自动驾驶车速控制方法
CN107810522A (zh) * 2015-06-24 2018-03-16 微软技术许可有限责任公司 实时、基于模型的对象检测及姿态估计

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL72685A (en) * 1983-08-30 1988-08-31 Gen Electric Advanced video object generator
JPH03263993A (ja) * 1990-03-14 1991-11-25 Hitachi Denshi Ltd レジストレーション検出装置
JP3540142B2 (ja) * 1998-01-30 2004-07-07 株式会社東芝 動きベクトル検出回路および動きベクトル検出方法
JP3861623B2 (ja) * 2001-06-05 2006-12-20 ソニー株式会社 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム
US20040236468A1 (en) * 2003-03-14 2004-11-25 Taylor Charles E. Robot vacuum with remote control mode
US20050010331A1 (en) * 2003-03-14 2005-01-13 Taylor Charles E. Robot vacuum with floor type modes
US7805220B2 (en) * 2003-03-14 2010-09-28 Sharper Image Acquisition Llc Robot vacuum with internal mapping system
JP3952305B2 (ja) * 2004-02-06 2007-08-01 シャープ株式会社 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体
US20050273967A1 (en) * 2004-03-11 2005-12-15 Taylor Charles E Robot vacuum with boundary cones
JP4107605B2 (ja) * 2005-02-01 2008-06-25 シャープ株式会社 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体
ATE504872T1 (de) * 2005-07-26 2011-04-15 Macdonald Dettwiler & Associates Inc Führungs-, navigations- und steuersystem für ein fahrzeug
US7539557B2 (en) * 2005-12-30 2009-05-26 Irobot Corporation Autonomous mobile robot
US8577538B2 (en) * 2006-07-14 2013-11-05 Irobot Corporation Method and system for controlling a remote vehicle
KR100791386B1 (ko) * 2006-08-18 2008-01-07 삼성전자주식회사 이동 로봇의 영역 분리 방법 및 장치
CN101542233B (zh) * 2007-08-07 2011-12-28 松下电器产业株式会社 图像处理装置以及图像处理方法
US7788614B1 (en) * 2007-09-04 2010-08-31 Altera Corporation Method and apparatus for performing analytic placement techniques on logic devices with restrictive areas
JP5408143B2 (ja) * 2009-02-03 2014-02-05 日本電気株式会社 パターン認識装置、パターン認識方法およびパターン認識プログラム
KR101633889B1 (ko) * 2009-02-18 2016-06-28 삼성전자주식회사 격자지도를 이용한 경로 생성 장치 및 방법
JP5161845B2 (ja) * 2009-07-31 2013-03-13 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP5870273B2 (ja) * 2010-08-03 2016-02-24 パナソニックＩｐマネジメント株式会社 物体検出装置、物体検出方法及びプログラム
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
KR101203897B1 (ko) * 2011-02-25 2012-11-23 동국대학교 산학협력단 이동체（ｍｏｂｉｌｅ ｂｏｄｙ）를 위한 셀?기반 경로 계획 장치 및 방법
DE102013200387A1 (de) * 2013-01-14 2014-07-17 Robert Bosch Gmbh Erstellung einer Hinderniskarte
JP5494845B1 (ja) 2013-01-17 2014-05-21 株式会社デンソーアイティーラボラトリ 情報提供システム
IL227860B (en) * 2013-08-08 2019-05-30 Israel Aerospace Ind Ltd Classification of objects in a scanned environment
US9834207B2 (en) * 2014-04-15 2017-12-05 GM Global Technology Operations LLC Method and system for detecting, tracking and estimating stationary roadside objects
GB2521491B (en) * 2014-06-17 2016-10-19 Imagination Tech Ltd Motion estimation
EP3032454B1 (en) 2014-12-10 2018-09-26 Honda Research Institute Europe GmbH Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system
US9868211B2 (en) * 2015-04-09 2018-01-16 Irobot Corporation Restricting movement of a mobile robot
JP6559535B2 (ja) * 2015-10-22 2019-08-14 株式会社東芝 障害物マップ生成装置、その方法、及び、そのプログラム
JP6606049B2 (ja) * 2015-10-28 2019-11-13 本田技研工業株式会社 自動運転システム及びナビケーションシステム
US9798327B2 (en) * 2016-01-08 2017-10-24 King Fahd University Of Petroleum And Minerals Apparatus and method for deploying sensors
JP2017162438A (ja) 2016-03-11 2017-09-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 危険予測方法
US20170329347A1 (en) * 2016-05-11 2017-11-16 Brain Corporation Systems and methods for training a robot to autonomously travel a route
JP6684681B2 (ja) 2016-08-10 2020-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 動的地図構成方法、動的地図構成システム及び移動端末
US10571925B1 (en) * 2016-08-29 2020-02-25 Trifo, Inc. Autonomous platform guidance systems with auxiliary sensors and task planning
US10571926B1 (en) * 2016-08-29 2020-02-25 Trifo, Inc. Autonomous platform guidance systems with auxiliary sensors and obstacle avoidance
US10635913B2 (en) * 2016-10-17 2020-04-28 Mediatek Inc. Path planning method and related navigation device
US10579065B2 (en) * 2016-11-23 2020-03-03 Baidu Usa Llc Algorithm and infrastructure for robust and efficient vehicle localization
US20180170392A1 (en) * 2016-12-20 2018-06-21 Baidu Usa Llc Method and System to Recognize Individual Driving Preference for Autonomous Vehicles
US10721859B2 (en) * 2017-01-08 2020-07-28 Dolly Y. Wu PLLC Monitoring and control implement for crop improvement
US10754351B2 (en) * 2017-02-28 2020-08-25 Toyota Jidosha Kabushiki Kaisha Observability grid-based autonomous environment search
KR101888963B1 (ko) * 2017-03-06 2018-08-17 (주)오앤드리메디컬로봇 레이저 치료를 위한 영역 분할 방법, 그를 이용한 레이저 치료 방법 및 장치
JP6640777B2 (ja) * 2017-03-17 2020-02-05 株式会社東芝 移動制御システム、移動制御装置及びプログラム
US10509947B1 (en) * 2017-04-11 2019-12-17 Zoox, Inc. Converting multi-dimensional data for image analysis
US10593042B1 (en) * 2017-04-11 2020-03-17 Zoox, Inc. Perspective conversion for multi-dimensional data analysis
JP6828579B2 (ja) * 2017-04-27 2021-02-10 トヨタ自動車株式会社 環境整備ロボットおよびその制御プログラム
JP6673293B2 (ja) * 2017-05-24 2020-03-25 トヨタ自動車株式会社 車両システム
US10496104B1 (en) * 2017-07-05 2019-12-03 Perceptin Shenzhen Limited Positional awareness with quadocular sensor in autonomous platforms
EP3460516B1 (en) * 2017-09-20 2020-05-27 Aptiv Technologies Limited A device and a method for distinguishing between traversable and non-traversable objects
US11334086B2 (en) * 2017-09-27 2022-05-17 Intel Corporation Autonomous robots and methods of operating the same
US10606270B2 (en) * 2017-10-18 2020-03-31 Luminar Technologies, Inc. Controlling an autonomous vehicle using cost maps
US10303178B1 (en) * 2017-12-15 2019-05-28 Waymo Llc Collision mitigation static occupancy grid
CN111133447B (zh) * 2018-02-18 2024-03-19 辉达公司 适于自主驾驶的对象检测和检测置信度的方法和系统
US10948918B2 (en) * 2018-02-23 2021-03-16 Tata Consultancy Services Limited Context based path planning for vector navigation in hexagonal spatial maps
US11243540B2 (en) * 2018-05-17 2022-02-08 University Of Connecticut System and method for complete coverage of unknown environments
US10800408B2 (en) * 2018-05-24 2020-10-13 Baidu Usa Llc Determining driving paths for autonomous driving that avoid moving obstacles
US10810792B2 (en) * 2018-05-31 2020-10-20 Toyota Research Institute, Inc. Inferring locations of 3D objects in a spatial environment
US10642275B2 (en) * 2018-06-18 2020-05-05 Zoox, Inc. Occulsion aware planning and control
US11048265B2 (en) * 2018-06-18 2021-06-29 Zoox, Inc. Occlusion aware planning
US11186276B2 (en) * 2018-07-27 2021-11-30 Baidu Usa Llc Adjusting speeds along a path for autonomous driving vehicles
US11521009B2 (en) * 2018-09-04 2022-12-06 Luminar, Llc Automatically generating training data for a lidar using simulated vehicles in virtual space
US11353577B2 (en) * 2018-09-28 2022-06-07 Zoox, Inc. Radar spatial estimation
US11097748B2 (en) * 2018-10-23 2021-08-24 Baidu Usa Llc Two-step reference line smoothing method to mimic human driving behaviors for autonomous driving cars
US10311324B1 (en) * 2018-10-26 2019-06-04 StradVision, Inc. Learning method, learning device for detecting objectness by detecting bottom lines and top lines of nearest obstacles and testing method, testing device using the same
US11465633B2 (en) * 2018-11-14 2022-10-11 Huawei Technologies Co., Ltd. Method and system for generating predicted occupancy grid maps
US11300959B2 (en) * 2019-08-30 2022-04-12 Huawei Technologies Co., Ltd. System and method for predictive path planning in autonomous vehicles

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10100737A (ja) * 1996-09-27 1998-04-21 Honda Motor Co Ltd 自動運転車
JP2001142531A (ja) * 1999-11-16 2001-05-25 Honda Motor Co Ltd 自立型移動体および移動計画検査装置
CN1894739A (zh) * 2003-05-09 2007-01-10 思科技术公司 依赖于源的文本到语音系统
JP2006350776A (ja) * 2005-06-17 2006-12-28 Honda Motor Co Ltd 移動体の経路生成装置
ES2374544T3 (es) * 2005-09-30 2012-02-17 Saab Ab Procedimiento de planificación de la velocidad de una nave a lo largo de una ruta.
US20070219720A1 (en) * 2006-03-16 2007-09-20 The Gray Insurance Company Navigation and control system for autonomous vehicles
US20090319112A1 (en) * 2007-09-28 2009-12-24 Honeywell International Inc. Automatic planning and regulation of the speed of autonomous vehicles
CN101650189A (zh) * 2008-08-14 2010-02-17 微星科技股份有限公司 行走路径规划方法与避开动态障碍物的导航方法
CN102254192A (zh) * 2011-07-13 2011-11-23 北京交通大学 基于模糊k近邻的三维模型半自动标注方法及系统
CN103217981A (zh) * 2013-04-18 2013-07-24 东南大学 一种基于积分变结构控制的四旋翼飞行器速度控制方法
US20160026182A1 (en) * 2014-07-25 2016-01-28 Here Global B.V. Personalized Driving of Autonomously Driven Vehicles
US20160091320A1 (en) * 2014-09-30 2016-03-31 General Electric Company System and method for displaying planned speed values
CN104298114A (zh) * 2014-10-29 2015-01-21 西南科技大学 自适应鲁棒s型速度规划算法
CN104391902A (zh) * 2014-11-12 2015-03-04 清华大学 一种基于最大熵话题模型的在线文档分类方法及装置
CN104699102A (zh) * 2015-02-06 2015-06-10 东北大学 一种无人机与智能车协同导航与侦查监控系统及方法
CN107810522A (zh) * 2015-06-24 2018-03-16 微软技术许可有限责任公司 实时、基于模型的对象检测及姿态估计
CN107182206A (zh) * 2016-06-08 2017-09-19 驭势科技（北京）有限公司 车辆自动驾驶的速度规划方法、装置及计算装置
CN106828493A (zh) * 2017-02-20 2017-06-13 北理慧动（常熟）车辆科技有限公司 一种自动驾驶车辆分层式纵向规划控制系统及方法
CN107168335A (zh) * 2017-06-28 2017-09-15 大连海事大学 一种考虑混合多目标避障的水面无人艇路径跟踪制导方法
CN107331182A (zh) * 2017-07-13 2017-11-07 北京航空航天大学 一种面向连续信号交叉口的网联环境下自动驾驶车速控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李洪波等: "遗传算法在ATO目标速度曲线规划中的应用", 《铁路计算机应用》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113508065A (zh) * 2020-01-23 2021-10-15 百度时代网络技术（北京）有限公司 用于自主车辆控制的跨平台控制剖析
CN113508065B (zh) * 2020-01-23 2023-08-04 百度时代网络技术（北京）有限公司 用于自主车辆控制的跨平台控制剖析
CN113448329A (zh) * 2020-03-25 2021-09-28 百度（美国）有限责任公司 减少用于规划自主驾驶车辆的路径的障碍物的方法及系统
CN113448329B (zh) * 2020-03-25 2023-12-22 百度（美国）有限责任公司 减少用于规划自主驾驶车辆的路径的障碍物的方法及系统
CN112829770A (zh) * 2020-08-04 2021-05-25 百度（美国）有限责任公司 基于车道边界和车辆速度的绕行决策
CN114620068A (zh) * 2020-12-09 2022-06-14 伟摩有限责任公司 自动驾驶系统的物理信息优化
CN114620068B (zh) * 2020-12-09 2024-05-28 伟摩有限责任公司 自动驾驶系统的物理信息优化
CN113076697A (zh) * 2021-04-20 2021-07-06 潍柴动力股份有限公司 典型驾驶工况的构建方法、相关装置及计算机存储介质

Also Published As

Publication number Publication date
JP2019182401A (ja) 2019-10-24
CN110389585B (zh) 2023-01-03
US11126199B2 (en) 2021-09-21
US20190317520A1 (en) 2019-10-17
JP6748244B2 (ja) 2020-08-26

Similar Documents

Publication Publication Date Title
CN110389585A (zh) 用于自动驾驶车辆的基于学习的速度规划器
CN109489673A (zh) 用于自动驾驶车辆的数据驱动地图更新系统
CN110389583A (zh) 生成自动驾驶车辆的轨迹的方法
CN109429518A (zh) 基于地图图像的自动驾驶交通预测
CN109947090A (zh) 用于自动驾驶车辆规划的非阻塞边界
CN110388931A (zh) 将对象的二维边界框转换成自动驾驶车辆的三维位置的方法
CN110389584A (zh) 用于评估自动驾驶车辆的轨迹候选项的方法
CN110389581A (zh) 用于为自动驾驶车辆生成障碍物的预测轨迹的方法
CN110377024A (zh) 用于自动驾驶车辆的自动数据标注
CN110345955A (zh) 用于自动驾驶的感知与规划协作框架
CN110378483A (zh) 部署在模拟平台上的用于训练机器学习模型的系统和方法
CN110239562A (zh) 自动驾驶车辆的基于周围车辆行为的实时感知调整与驾驶调适
CN109426256A (zh) 自动驾驶车辆的基于驾驶员意图的车道辅助系统
CN110462543A (zh) 用于评估自动驾驶车辆的感知要求的基于仿真的方法
CN108732589A (zh) 利用3d lidar和定位自动采集用于对象识别的训练数据
CN109937343A (zh) 用于自动驾驶车辆交通预测中的预测轨迹的评估框架
CN110096053A (zh) 用于自动驾驶车辆的驾驶轨迹生成方法、系统和机器可读介质
CN108733046A (zh) 用于自动驾驶车辆的轨迹重新规划的系统和方法
CN108604095A (zh) 动态调整自动驾驶车辆的转向率的方法
CN110377025A (zh) 用于自动驾驶车辆的传感器聚合框架
CN108139884A (zh) 模拟自动驾驶车辆移动的物理模型和结合机器学习的方法
CN109491375A (zh) 用于自动驾驶车辆的基于驾驶场景的路径规划
CN110347145A (zh) 用于自动驾驶车辆的感知辅助
CN110533943A (zh) 确定自动驾驶车辆的车道改变轨迹的方法
CN109489675A (zh) 用于自动驾驶车辆的基于成本的路径规划

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant