CN108431549B - 具有施加的约束的经训练的系统 - Google Patents

具有施加的约束的经训练的系统 Download PDF

Info

Publication number
CN108431549B
CN108431549B CN201780005459.2A CN201780005459A CN108431549B CN 108431549 B CN108431549 B CN 108431549B CN 201780005459 A CN201780005459 A CN 201780005459A CN 108431549 B CN108431549 B CN 108431549B
Authority
CN
China
Prior art keywords
navigation
vehicle
host vehicle
action
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780005459.2A
Other languages
English (en)
Other versions
CN108431549A (zh
Inventor
S.沙莱夫-施瓦兹
A.沙舒阿
G.斯坦
S.沙马赫
Y.塔耶布
O.布伯曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mobileye Vision Technologies Ltd
Original Assignee
Mobileye Vision Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobileye Vision Technologies Ltd filed Critical Mobileye Vision Technologies Ltd
Priority to CN202010799649.XA priority Critical patent/CN112051855A/zh
Priority to CN202410828976.1A priority patent/CN118838336A/zh
Publication of CN108431549A publication Critical patent/CN108431549A/zh
Application granted granted Critical
Publication of CN108431549B publication Critical patent/CN108431549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • B60W50/045—Monitoring control system parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B60W2050/0088—Adaptive recalibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/16—Pitch
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/18—Roll
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/15—Road slope, i.e. the inclination of a road segment in the longitudinal direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/30—Road curve radius
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4046—Behavior, e.g. aggressive or erratic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

提供了使用强化学习技术来导航自主车辆的系统和方法。在一个实施方式中，用于主车辆的导航系统可以包括至少一个处理设备，该至少一个处理设备被编程为：从相机接收表示主车辆的环境的多个图像；分析多个图像以识别与主车辆相关联的导航状态；向经训练的导航系统提供导航状态；从经训练的导航系统接收用于由主车辆响应于所识别的导航状态而执行的期望导航动作；关于一个或多个预定导航约束分析期望导航动作；确定主车辆的实际导航动作，其中实际导航动作包括基于一个或多个预定导航约束确定的对期望导航动作的至少一个修改；并且响应于所确定的主车辆的实际导航动作引起主车辆的导航致动器的至少一个调节。

Description

具有施加的约束的经训练的系统
相关申请的交叉引用
本申请要求以下各项的优先权权益：2016年1月5日提交的美国临时专利申请第62/274,883号；2016年1月5日提交的美国临时专利申请第62/275,046号、2016年6月27日提交的美国临时专利申请第62/354,946号；2016年7月11日提交的美国临时专利申请第62/360,600号；2016年7月12日提交的美国临时专利申请第62/361,352号；2016年8月10日提交的美国临时专利申请第62/373,153号；2016年8月23日提交的美国临时专利申请第62/378,554号；2016年9月19日提交的美国临时专利申请第62/396,462号；2016年10月11日提交的美国临时专利申请第62/406,604号；2016年10月31日提交的美国临时专利申请第62/415,135号；2016年12月19日提交的美国临时专利申请第62/436,097号；以及2016年12月22日提交的美国临时专利申请第62/437,953号。所有前述申请通过引用整体并入本文。
技术领域
本公开总体涉及自主车辆导航。此外，本公开涉及使用强化学习技术进行导航的系统和方法。
背景技术
随着技术的不断进步，能够在道路上导航的完全自主车辆的目标即将出现。自主车辆可能需要考虑各种各样的因素，并且基于那些因素做出适当的决定，以安全和准确地到达期望的目的地。例如，自主车辆可能需要处理和解释可视信息(例如，从相机捕捉的信息)，并且也可能使用从其它源(例如，从GPS设备、速度传感器、加速计、悬架传感器等)获得的信息。同时，为了导航到目的地，自主车辆还可能需要标识其在特定道路内(例如，在多车道道路内的特定车道)的位置、沿着其它车辆旁边导航、避开障碍物和行人、观察交通信号和标志、在适当的交叉路口或交汇处从一条道路行进到另一条道路，并对车辆运行期间发生或进展的任何其他情况作出反应。
发明内容
与本公开一致的实施例提供了用于自主车辆导航的系统和方法。所公开的实施例可以使用相机来提供自主车辆导航特征。例如，与所公开的实施例一致，所公开的系统可以包括一个、两个、或更多监测车辆的环境的相机。所公开的系统可以基于，例如对由一个或多个相机捕捉的图像的分析来提供导航响应。导航响应还可以考虑其它数据，包括：例如，全球位置系统(global positioning system，GPS)数据、传感器数据(来自加速器、速度传感器、悬架传感器等)和/或其它地图数据。
提供了使用强化学习技术来导航自主车辆的系统和方法。在一个实施方式中，用于主车辆的导航系统可以包括至少一个处理设备，所述至少一个处理设备被编程为：从相机接收表示所述主车辆的环境的多个图像；分析所述多个图像以识别与所述主车辆相关联的导航状态；向经训练的导航系统提供所述导航状态；从所述经训练的导航系统接收用于由主车辆响应于所识别的导航状态而执行的期望导航动作；关于一个或多个预定导航约束分析所述期望导航动作；确定主车辆的实际导航动作，其中所述实际导航动作包括基于所述一个或多个预定导航约束确定的、对所述期望导航动作的至少一个修改；以及响应于所确定的主车辆的实际导航动作，引起对所述主车辆的导航致动器的至少一个调节。
在一些实施例中，自主车辆可以包括框架；附接到框架的主体；相机；以及导航系统。所述导航系统可包括至少一个处理设备，所述至少一个处理设备被编程为：从相机接收表示车辆的环境的多个图像；分析所述多个图像以识别与所述车辆相关联的导航状态；向经训练的导航系统提供所述导航状态；从所述经训练的导航系统接收用于由所述车辆响应于所识别的导航状态而执行的期望导航动作；关于一个或多个预定导航约束分析所述期望导航动作；确定所述车辆的实际导航动作，其中所述实际导航动作包括基于所述一个或多个预定导航约束确定的对所述期望导航动作的至少一个修改；以及响应于所确定的主车辆的实际导航动作引起对所述车辆的导航致动器的至少一个调节。
在一些实施例中，导航自主车辆的方法可以包括：从与所述自主车辆相关联的相机接收表示所述自主车辆的环境的多个图像；分析所述多个图像以识别与所述自主车辆相关联的导航状态；向经训练的导航系统提供所述导航状态；从所述经训练的导航系统接收用于由所述自主车辆响应于所识别的导航状态而执行的期望导航动作；关于一个或多个预定导航约束分析所述期望导航动作；确定所述自主车辆的实际导航动作，其中所述实际导航动作包括基于所述一个或多个预定导航约束确定的对所述期望导航动作的至少一个修改；以及响应于所确定的主车辆的实际导航动作引起对所述自主车辆的导航致动器的至少一个调节。
在一些实施例中，用于主车辆的导航系统可包括至少一个处理设备，所述至少一个处理设备被编程为：从相机接收表示主车辆的环境的多个图像；分析所述多个图像以识别与所述主车辆相关联的导航状态；确定所述导航状态涉及的第一预定导航约束和第二预定导航约束，其中所述第一预定导航约束不同于所述第二预定导航约束，并且其中所述第二预定导航约束具有比所述第一预定导航约束更高的优先级；基于所识别的导航状态，在所述第一预定导航约束和所述第二预定导航约束两者均能够被满足的情况下，确定满足所述第一预定导航约束和所述第二预定导航约束两者的主车辆的第一导航动作；基于所识别的导航状态，在所述第一预定导航约束和所述第二预定导航约束不能均被满足的情况下，确定满足所述第二预定导航约束但不满足所述第一预定导航约束的主车辆的第二导航动作；以及响应于所确定的主车辆的第一导航动作或所确定的主车辆的第二导航动作引起对所述主车辆的导航致动器的至少一个调节。
在一些实施例中，自主车辆可以包括框架；附接到框架的主体；相机；以及导航系统。所述导航系统可包括至少一个处理设备，所述至少一个处理设备被编程为：从相机接收表示自主车辆的环境的多个图像；分析所述多个图像以识别与所述自主车辆相关联的导航状态；确定所述导航状态涉及的第一预定导航约束和第二预定导航约束，其中所述第一预定导航约束不同于所述第二预定导航约束，并且其中所述第二预定导航约束具有比所述第一预定导航约束更高的优先级；基于所识别的导航状态，在所述第一预定导航约束和所述第二预定导航约束两者均能够被满足的情况下，确定满足所述第一预定导航约束和所述第二预定导航约束两者的主车辆的第一导航动作；基于所识别的导航状态，在所述第一预定导航约束和所述第二预定导航约束不能均被满足的情况下，确定满足所述第二预定导航约束但不满足所述第一预定导航约束的主车辆的第二导航动作；以及响应于所确定的主车辆的第一导航动作或所确定的主车辆的第二导航动作引起对所述主车辆的导航致动器的至少一个调节。
在一些实施例中，导航自主车辆的方法可以包括：从相机接收表示自主车辆的环境的多个图像；分析所述多个图像以识别与所述自主车辆相关联的导航状态；确定所述导航状态涉及的第一预定导航约束和第二预定导航约束，其中所述第一预定导航约束不同于所述第二预定导航约束，并且其中所述第二预定导航约束具有比所述第一预定导航约束更高的优先级；基于所识别的导航状态，在所述第一预定导航约束和所述第二预定导航约束两者均能够被满足的情况下，确定满足所述第一预定导航约束和所述第二预定导航约束两者的主车辆的第一导航动作；基于所识别的导航状态，在所述第一预定导航约束和所述第二预定导航约束不能均被满足的情况下，确定满足所述第二预定导航约束但不满足所述第一预定导航约束的主车辆的第二导航动作；以及响应于所确定的主车辆的第一导航动作或所确定的主车辆的第二导航动作引起对所述主车辆的导航致动器的至少一个调节。
在一些实施例中，用于主车辆的导航系统可以包括至少一个处理设备，所述至少一个处理设备被编程为：从相机接收表示主车辆的环境的多个图像；分析所述多个图像以识别与所述主车辆相关联的导航状态；确定所述导航状态的至少一个方面涉及的第一预定导航约束；基于对所述多个图像的分析，识别至少一个导航约束松弛因素的存在；基于对所述至少一个导航约束松弛因素的识别，确定第二导航约束，其中所述第二导航约束不同于所述第一导航约束，并且所述第二导航约束包括相对于所述第一导航约束被松弛的至少一个特性；基于所识别的导航状态，确定满足所述第二导航约束的主车辆的导航动作；以及响应于所确定的导航动作引起对所述主车辆的导航致动器的至少一个调节。
在一些实施例中，自主车辆可以包括框架；附接到框架的主体；相机；以及至少一个处理设备，所述至少一个处理设备被编程为：从相机接收表示主车辆的环境的多个图像；分析所述多个图像以识别与所述主车辆相关联的导航状态；确定所述导航状态的至少一个方面涉及的第一预定导航约束；基于对所述多个图像的分析，识别至少一个导航约束松弛因素的存在；基于对所述至少一个导航约束松弛因素的识别，确定第二导航约束，其中所述第二导航约束不同于所述第一导航约束，并且所述第二导航约束包括相对于所述第一导航约束被松弛的至少一个特性；基于所识别的导航状态，确定满足所述第二导航约束的主车辆的导航动作；以及响应于所确定的导航动作引起对所述主车辆的导航致动器的至少一个调节。
在一些实施例中，用于导航自主车辆的方法可以包括：从相机接收表示自主车辆的环境的多个图像；分析所述多个图像以识别与所述自主车辆相关联的导航状态；确定所述导航状态的至少一个方面涉及的第一预定导航约束；基于对所述多个图像的分析，识别至少一个导航约束松弛因素的存在；基于对所述至少一个导航约束松弛因素的识别，确定第二导航约束，其中所述第二导航约束不同于所述第一导航约束，并且所述第二导航约束包括相对于所述第一导航约束被松弛的至少一个特性；基于所识别的导航状态，确定满足所述第二导航约束的自主车辆的导航动作；以及响应于所确定的导航动作引起对所述自主车辆的导航致动器的至少一个调节。
在一些实施例中，用于主车辆的导航系统可以包括至少一个处理设备，所述至少一个处理设备被编程为：从相机接收表示自主车辆的环境的多个图像；分析所述多个图像以识别与所述自主车辆相关联的导航状态；确定所述导航状态的至少一个方面涉及的第一预定导航约束；基于对所述多个图像的分析，识别至少一个导航约束增强因素的存在；基于对所述至少一个导航约束增强因素的识别，确定第二导航约束，其中所述第二导航约束不同于所述第一导航约束，并且所述第二导航约束包括相对于所述第一导航约束被增强的至少一个特性；基于所识别的导航状态，确定满足所述第二导航约束的自主车辆的导航动作；以及响应于所确定的导航动作引起对所述自主车辆的导航致动器的至少一个调节。
在一些实施例中，自主车辆可以包括框架；附接到框架的主体；相机；以及至少一个处理设备，所述至少一个处理设备被编程为：从相机接收表示自主车辆的环境的多个图像；分析所述多个图像以识别与所述自主车辆相关联的导航状态；确定所述导航状态的至少一个方面涉及的第一预定导航约束；基于对所述多个图像的分析，识别至少一个导航约束增强因素的存在；基于对所述至少一个导航约束增强因素的识别，确定第二导航约束，其中所述第二导航约束不同于所述第一导航约束，并且所述第二导航约束包括相对于所述第一导航约束被增强的至少一个特性；基于所识别的导航状态，确定满足所述第二导航约束的自主车辆的导航动作；以及响应于所确定的导航动作引起对所述自主车辆的导航致动器的至少一个调节。
在一些实施例中，导航自主车辆的方法可以包括：从相机接收表示自主车辆的环境的多个图像；分析所述多个图像以识别与所述自主车辆相关联的导航状态；确定所述导航状态的至少一个方面涉及的第一预定导航约束；基于对所述多个图像的分析，识别至少一个导航约束增强因素的存在；基于对所述至少一个导航约束增强因素的识别，确定第二导航约束，其中所述第二导航约束不同于所述第一导航约束，并且所述第二导航约束包括相对于所述第一导航约束被增强的至少一个特性；基于所识别的导航状态，确定满足所述第二导航约束的自主车辆的导航动作；以及响应于所确定的导航动作引起对所述自主车辆的导航致动器的至少一个调节。
在一些实施例中，用于主车辆的导航系统可以包括至少一个处理设备，所述处理设备被编程为：从相机接收表示主车辆的环境的多个图像；分析所述多个图像以识别所述主车辆的环境中的目标车辆；分析所述多个图像以在所述主车辆的所述环境中识别对所述目标车辆的至少一个障碍物；基于对所述多个图像的分析，确定所述目标车辆的相对于对所述目标车辆的至少一个识别的障碍物的至少一个导航特性；基于所识别的至少一个导航特性，确定所述主车辆的导航动作；以及响应于所确定的导航动作引起对所述主车辆的导航致动器的至少一个调节。
在一些实施例中，用于主车辆的导航系统可包括至少一个处理设备，所述至少一个处理设备被编程为：从相机接收代表主车辆的环境的多个图像；分析所述多个图像以识别所述主车辆的环境中的目标车辆；基于对所述多个图像的分析，确定指示与所述目标车辆相关联的侵略等级的所述目标车辆的至少一个导航特性；基于所识别的至少一个导航特性，确定主车辆的导航动作；以及响应于所确定的导航动作引起对所述主车辆的导航致动器的至少一个调整。
在一些实施例中，自主车辆可以包括框架；附接到框架的主体；相机；以及至少一个处理设备，所述至少一个处理设备被编程为：从相机接收表示自主车辆的环境的多个图像；分析所述多个图像以识别所述自主车辆的环境中的目标车辆；分析所述多个图像以在所述自主车辆的所述环境中识别对所述目标车辆的至少一个障碍物；基于对所述多个图像的分析，确定所述目标车辆的相对于对所述目标车辆的至少一个识别的障碍物的至少一个导航特性；基于所识别的至少一个导航特性，确定所述自主车辆的导航动作；以及响应于所确定的导航动作引起对所述自主车辆的导航致动器的至少一个调节。
在一些实施例中，导航自主车辆的方法可以包括：从相机接收表示自主车辆的环境的多个图像；分析所述多个图像以识别所述自主车辆的环境中的目标车辆；分析所述多个图像以在所述自主车辆的所述环境中识别对所述目标车辆的至少一个障碍物；基于对所述多个图像的分析，确定所述目标车辆的相对于对所述目标车辆的至少一个识别的障碍物的至少一个导航特性；基于所识别的至少一个导航特性，确定所述自主车辆的导航动作；以及响应于所确定的导航动作引起对所述自主车辆的导航致动器的至少一个调节。
在一些实施例中，用于主车辆的导航系统可以包括至少一个处理设备，所述至少一个处理设备被编程为：从相机接收表示主车辆的环境的多个图像；分析所述多个图像以识别与所述主车辆相关联的当前导航状态；基于所识别的当前导航状态，确定所述主车辆的第一潜在导航动作；基于所述第一潜在导航动作和所识别的当前导航状态，确定预期奖励的第一指示符；基于所述第一潜在导航动作，预测第一未来导航状态；确定与至少一个未来动作相关联的预期奖励的第二指示符，所述至少一个未来动作被确定为是所述主车辆响应于所述第一未来导航状态而可用的；基于所识别的当前导航状态，确定所述主车辆的第二潜在导航动作；基于所述第二潜在导航动作和所识别的当前导航状态，确定预期奖励的第三指示符；基于所述第二潜在导航动作，预测第二未来导航状态；确定与至少一个未来动作相关联的预期奖励的第四指示符，所述至少一个未来动作被确定为是所述主车辆响应于所述第二未来导航状态而可用的；基于对以下的确定来选择所述第二潜在导航动作：尽管与所述第一指示符相关联的预期奖励大于与所述第三指示符相关联的预期奖励，但与所述第四指示符相关联的预期奖励大于与所述第一指示符相关联的预期奖励；以及响应于所选择的第二潜在导航动作引起对所述主车辆的导航致动器的至少一个调节。
在一些实施例中，自主车辆可以包括框架；附接到框架的主体；相机；以及至少一个处理设备，所述至少一个处理设备被编程为：从相机接收表示自主车辆的环境的多个图像；分析所述多个图像以识别与所述自主车辆相关联的当前导航状态；基于所识别的当前导航状态，确定所述自主车辆的第一潜在导航动作；基于所述第一潜在导航动作和所识别的当前导航状态，确定预期奖励的第一指示符；基于所述第一潜在导航动作，预测第一未来导航状态；确定与至少一个未来动作相关联的预期奖励的第二指示符，所述至少一个未来动作被确定为是所述自主车辆响应于所述第一未来导航状态而可用的；基于所识别的当前导航状态，确定所述自主车辆的第二潜在导航动作；基于所述第二潜在导航动作和所识别的当前导航状态，确定预期奖励的第三指示符；基于所述第二潜在导航动作，预测第二未来导航状态；确定与至少一个未来动作相关联的预期奖励的第四指示符，所述至少一个未来动作被确定为是所述自主车辆响应于所述第二未来导航状态而可用的；基于对以下的确定来选择所述第二潜在导航动作：尽管与所述第一指示符相关联的预期奖励大于与所述第三指示符相关联的预期奖励，但与所述第四指示符相关联的预期奖励大于与所述第一指示符相关联的预期奖励；以及响应于所选择的第二潜在导航动作引起对所述自主车辆的导航致动器的至少一个调节。
在一些实施例中，用于导航自主车辆的方法可以包括：从相机接收表示主车辆的环境的多个图像；分析所述多个图像以识别与所述自主车辆相关联的当前导航状态；基于所识别的当前导航状态，确定所述自主车辆的第一潜在导航动作；基于所述第一潜在导航动作和所识别的当前导航状态，确定预期奖励的第一指示符；基于所述第一潜在导航动作，预测第一未来导航状态；确定与至少一个未来动作相关联的预期奖励的第二指示符，所述至少一个未来动作被确定为是所述自主车辆响应于所述第一未来导航状态而可用的；基于所识别的当前导航状态，确定所述自主车辆的第二潜在导航动作；基于所述第二潜在导航动作和所识别的当前导航状态，确定预期奖励的第三指示符；基于所述第二潜在导航动作，预测第二未来导航状态；确定与至少一个未来动作相关联的预期奖励的第四指示符，所述至少一个未来动作被确定为是所述自主车辆响应于所述第二未来导航状态而可用的；基于对以下的确定来选择所述第二潜在导航动作：尽管与所述第一指示符相关联的预期奖励大于与所述第三指示符相关联的预期奖励，但与所述第四指示符相关联的预期奖励大于与所述第一指示符相关联的预期奖励；以及响应于所选择的第二潜在导航动作引起对所述自主车辆的导航致动器的至少一个调节。
与其它公开的实施例一致，非暂时性计算机可读存储介质可以存储由至少一个处理设备执行并且执行本文所描述的方法中的任何的程序指令。
前述的一般描述和下面的详细描述仅仅是示范性和说明性的，并且不限制权利要求。
附图说明
并入本公开中并构成本公开的一部分的附图示出所公开的各种实施例。在附图中：
图1是与所公开的实施例一致的示例系统的图示性表示。
图2A是包括与所公开的实施例一致的系统的示例车辆的图示性侧视图表示。
图2B是与所公开的实施例一致的图2A中所示的车辆和系统的图示性顶视图表示。
图2C是包括与所公开的实施例一致的系统的车辆的另一实施例的图示性顶视图表示。
图2D是包括与所公开的实施例一致的系统的车辆的又一实施例的图示性顶视图表示。
图2E是包括与所公开的实施例一致的系统的车辆的又一实施例的图示性顶视图表示。
图2F是与所公开的实施例一致的示例车辆控制系统的图示性表示。
图3A是与所公开的实施例一致的、包括后视镜和用于车辆成像系统的用户界面的车辆的内部的图示性表示。
图3B是与所公开的实施例一致的、配置为位置在后视镜之后并抵靠车辆风挡的相机安装的示例的图示。
图3C是与所公开的实施例一致的图3B中所示的相机安装从不同的视角的图示。
图3D是与所公开的实施例一致的、配置为位置在后视镜之后并抵靠车辆风挡的相机安装的示例的图示。
图4是与所公开的实施例一致的、配置为存储用于执行一个或多个操作的指令的存储器的示例框图。
图5A是示出与所公开的实施例一致的、用于基于单目图像分析引起一个或多个导航响应的示例处理的流程图。
图5B是示出与所公开的实施例一致的、用于在一组图像中检测一个或多个车辆和/或行人的示例处理的流程图。
图5C是示出与所公开的实施例一致的、用于在一组图像中检测道路标记和/或车道几何信息的示例处理的流程图。
图5D是示出与所公开的实施例一致的、用于在一组图像中检测交通灯的示例处理的流程图。
图5E是示出与所公开的实施例一致的、用于基于车辆路径引起一个或多个导航响应的示例处理的流程图。
图5F是示出与所公开的实施例一致的、用于确定前方车辆是否正在改变车道的示例处理的流程图。
图6是示出与所公开的实施例一致的、用于基于立体图像分析引起一个或多个导航响应的示例处理的流程图。
图7是示出与所公开的实施例一致的、用于基于三组图像的分析引起一个或多个导航响应的示例处理的流程图。
图8是与所公开的实施例一致的、可由自主车辆的导航系统的一个或多个专门编程的处理设备来实现的模块的框图表示。
图9是与所公开的实施例一致的导航选项图。
图10是与所公开的实施例一致的导航选项图。
图11A、图11B和图11C提供了与所公开的实施例一致的并道区(merge zone)中的主车辆的导航选项的示意表示。
图11D提供了双并道场景的图示性描述。
图11E提供了在双并道场景中潜在有用的选项图。
图12提供了与所公开的实施例一致的、捕捉了主车辆的环境的代表性图像以及潜在导航约束的图。
图13提供了与所公开的实施例一致的、用于导航车辆的算法流程图。
图14提供了与所公开的实施例一致的、用于导航车辆的算法流程图。
图15提供了与所公开的实施例一致的、用于导航车辆的算法流程图。
图16提供了与所公开的实施例一致的、用于导航车辆的算法流程图。
图17A和17B提供了与所公开的实施例一致的、导航进入环形道的主车辆的图示性图示。
图18提供了与所公开的实施例一致的、用于导航车辆的算法流程图。
具体实施方式
接下来的详细描述参考附图。只要可能，在附图和接下来的描述中使用相同的参考标号来指代相同或相似的部分。尽管本文描述了若干示例性实施例，但是修改、调节和其它实施方式是可能的。例如，可以对附图中示出的组件做出替换、添加或修改，并且可以通过对所公开的方法进行步骤的替换、重新排序、移除或添加，来对本文描述的示例性方法进行修改。因此，接下来的详细描述并不限于所公开的实施例和示例。相反，适当的范围由所附权利要求限定。
自主车辆概览
如贯穿本公开所使用的，术语“自主车辆”是指在没有驾驶员输入的情况下能够实施至少一个导航改变的车辆。“导航改变”是指车辆的转向、制动、或加速/减速中的一个或多个。所谓自主，是指车辆不需要是完全自动的(例如，在没有驾驶员或没有驾驶员输入的情况下完全可操作的)。相反，自主车辆包括能够在某些时间段期间在驾驶员的控制下操作，且在其他时间段期间无需驾驶员控制而操作那些车辆。自主车辆还可以包括仅控制车辆导航的一些方面，诸如转向(例如，在车辆车道约束之间维持车辆路线)或在某些情况下(但并非在所有情况下)的某些转向操作，但可以将其它方面交给驾驶员(例如，制动或在某些情况在的制动)的车辆。在一些情况下，自主车辆可以处理车辆的制动、速率控制和/或转向的一些或全部方面。
由于人类驾驶员通常依赖于可视线索和观察以便控制车辆，因此而建造了交通基础设施，其具有被设计为向驾驶员提供可视信息的车道标记、交通标志和交通灯。鉴于交通基础设施的这些设计特性，自主车辆可以包括相机以及分析从车辆的环境捕捉的可视信息的处理单元。可视信息可以包括，例如表示可由驾驶员观察到的交通基础设施(例如，车道标记、交通标志、交通灯等)的组件以及其它障碍物(例如，其它车辆、行人、碎片等)的图像。此外，自主车辆还可以使用存储的信息，诸如在导航时提供车辆环境的模型的信息。例如，车辆可以使用GPS数据、传感器数据(例如，来自加速计、速率传感器、悬架传感器等)和/或其它地图数据，以在车辆正在行驶的同时提供与其环境有关的信息，并且该车辆(以及其它车辆)可以使用该信息在模型上对其自身定位。一些车辆也能够在车辆之间进行通信、共享信息、改变同伴车辆的危险或车辆周围的变化等。
系统概览
图1是根据所公开的示例实施例的系统100的框图表示。取决于特定实施方式的要求，系统100可以包括各种组件。在一些实施例中，系统100可以包括处理单元110、图像获取单元120、位置传感器130、一个或多个存储器单元140、150、地图数据库160、用户界面170和无线收发器172。处理单元110可以包括一个或多个处理设备。在一些实施例中，处理单元110可以包括应用处理器180、图像处理器190或任何其它合适的处理设备。类似地，取决于特定应用的要求，图像获取单元120可以包括任意数量的图像获取设备和组件。在一些实施例中，图像获取单元120可以包括一个或多个图像捕捉设备(例如，相机、电荷耦合器件(CCD)或任意其他类型的图像传感器)，诸如图像捕捉设备122、图像捕捉设备124和图像捕捉设备126。系统100还可以包括将处理单元110通信地连接到图像获取单元120的数据接口128。例如，数据接口128可以包括用于将由图像获取单元120获取的图像数据传输到处理单元110的任何有线和/或无线的链路或多个链路。
无线收发器172可以包括被配置为通过使用射频、红外频率、磁场、或电场通过空中接口来交换传输到一个或多个网络(例如，蜂窝、因特网等)的一个或多个设备。无线收发器172可以使用任何熟知的标准来发送和/或接收数据(例如，Wi-Fi、
Figure BDA0001710761830000121
蓝牙智能、802.15.4、ZigBee等)。这种传输可以包括从主车辆到一个或多个远程定位的服务器的通信。这种传输还可以包括主车辆与在主车辆的环境中的一个或多个目标车辆之间的(单向或双向的)通信(例如，为了便于考虑到或连同在主车辆的环境中的目标车辆来协调主车辆的导航)，或者甚至向发送车辆附近的未指定的接收者的广播传输。
应用处理器180和图像处理器190两者都可以包括各种类型的基于硬件的处理设备。例如，应用处理器180和图像处理器190中的任一者或两者可以包括微处理器、预处理器(诸如图像预处理器)、图形处理器、中央处理单元(CPU)、辅助电路、数字信号处理器、集成电路、存储器或适用于运行应用和适用于图像处理和分析的任何其它类型的设备。在一些实施例中，应用处理器180和/或图像处理器190可以包括任何类型的单核或多核处理器、移动设备微控制器、中央处理单元等。可以使用各种处理设备，包括例如可从诸如
Figure BDA0001710761830000122
等制造商获得的处理器，并且可以包括各种架构(例如，x86处理器、
Figure BDA0001710761830000131
等)。
在一些实施例中，应用处理器180和/或图像处理器190可以包括可从
Figure BDA0001710761830000132
获得的任何EyeQ系列处理器芯片。这些处理器设计均包括具有本地存储器和指令集的多个处理单元。这样的处理器可以包括用于从多个图像传感器接收图像数据的视频输入，并且还可以包括视频输出能力。在一个示例中，
Figure BDA0001710761830000133
使用在332兆赫兹下操作的90纳米-微米技术。
Figure BDA0001710761830000134
架构由两个浮点式超线程32位RISC CPU(
Figure BDA0001710761830000135
核)、五个视觉计算引擎(VCE)、三个矢量微代码处理器
Figure BDA0001710761830000136
丹那利(Denali)64位移动DDR控制器、128位内部声能互连(Sonics Interconnect)、双16位视频输入和18位视频输出控制器、16通道DMA和若干外围设备构成。MIPS34K CPU管理这五个VCE、三个VMPTM和DMA、第二MIPS34KCPU和多通道DMA以及其它外围设备。这五个VCE、三个
Figure BDA0001710761830000137
和MIPS34K CPU可以执行多功能捆绑应用所需要的密集视觉计算。在另一实例中，作为第三代处理器并且比
Figure BDA0001710761830000138
强六倍的
Figure BDA0001710761830000139
可以在所公开的实施例中使用。在其他示例中，可以在所公开的实施例中使用
Figure BDA00017107618300001310
和/或
Figure BDA00017107618300001311
当然，任何更新的或未来的EyeQ处理设备也可以与所公开的实施例一起使用。
任何本文所公开的处理设备可以被配置为执行某些功能。配置处理设备(诸如任何所描述的EyeQ处理器或其它控制器或微处理器)以执行某些功能可以包括对计算机可执行指令的编程，并使处理设备在其操作期间可获得这些指令以用于执行。在一些实施例中，配置处理设备可以包括直接利用架构指令对处理设备编程。在其它实施例中，配置处理设备可以包括将可执行指令存储在操作期间处理设备可访问的存储器上。例如，处理设备在操作期间可以访问该存储器以获得并执行所存储的指令。在任一情况下，被配置为执行本文公开的感测、图像分析和/或导航功能的处理设备表示控制主车辆的多个基于硬件的组件的专用的基于硬件的系统。
尽管图1描绘了包含在处理单元110中的两个单独的处理设备，但是可以使用更多或更少的处理设备。例如，在一些实施例中，可以使用单个处理设备完成应用处理器180和图像处理器190的任务。在其它实施例中，这些任务可以由两个以上的处理设备执行。另外，在一些实施例中，系统100可以包括处理单元110中的一个或多个，而不包括诸如图像获取单元120的其它组件。
处理单元110可以包括各种类型的设备。例如，处理单元110可以包括各种设备，诸如控制器、图像预处理器、中央处理单元(CPU)、辅助电路、数字信号处理器、集成电路、存储器或任何其它类型的用于图像处理和分析的设备。图像预处理器可以包括用于捕捉、数字化和处理来自图像传感器的影像的视频处理器。CPU可以包括任何数量的微控制器或微处理器。辅助电路可以是任何数量的本领域公知的电路，包括高速缓存、电力供给、时钟和输入输出电路。存储器可以存储软件，该软件在由处理器执行时控制系统的操作。存储器可以包括数据库和图像处理软件。存储器可以包括任何数量的随机存取存储器、只读存储器、闪速存储器、磁盘驱动器、光存储、磁带存储、可移动存储和其它类型的存储。在一个实例中，存储器可以与处理单元110分离。在另一实例中，存储器可以被集成到处理单元110中。
每个存储器140、150可以包括软件指令，该软件指令在由处理器(例如，应用处理器180和/或图像处理器190)执行时可以控制系统100的各个方面的操作。这些存储器单元可以包括各种数据库和图像处理软件。存储器单元可以包括随机存取存储器、只读存储器、闪速存储器、磁盘驱动器、光存储、磁带存储、可移动存储和/或任何其它类型的存储。在一些实施例中，存储器单元140、150可以与应用处理器180和/或图像处理器190分离。在其它实施例中，这些存储器单元可以被集成到应用处理器180和/或图像处理器190中。
位置传感器130可以包括适用于确定与系统100的至少一个组件相关联的位置的任何类型的设备。在一些实施例中，位置传感器130可以包括GPS接收器。这种接收器可以通过处理由全球定位系统卫星广播的信号来确定用户位置和速度。可以使得来自位置传感器130的位置信息对于应用处理器180和/或图像处理器190可用。
在一些实施例中，系统100可以包括诸如用于测量车辆200的速率的速率传感器(例如，速率计)的组件。系统100还可以包括用于测量车辆200沿一个或多个轴的加速度的一个或多个加速度计(单轴或多轴的)。
存储器单元140、150可以包括数据库，或以任何其他形式组织的、指示已知地标的位置的数据。可以与位置信息(诸如GPS坐标、车辆的自我运动等)一起处理环境的传感信息(诸如来自激光雷达或两个或更多个图像的立体处理的图像、雷达信号、深度信息)，以确定车辆相对于已知地标的当前位置，并且改进车辆位置。这项技术的某些方面包含于称为REMTM的定位技术中，该技术由本申请的受让人销售。
用户界面170可以包括适用于向系统100的一个或多个用户提供信息或从系统100的一个或多个用户接收输入的任何设备。在一些实施例中，用户界面170可以包括用户输入设备，包括例如触摸屏、麦克风、键盘、指针设备、跟踪转轮、相机、旋钮、按钮等。利用这种输入设备，用户能够通过键入指令或信息、提供语音命令、使用按钮、指针或眼睛跟踪能力在屏幕上选择菜单选项、或通过任何其它适用于向系统100传送信息的技术来向系统100提供信息输入或命令。
用户界面170可以配备有一个或多个处理设备，其配置为向用户提供和从用户接收信息，并处理该信息以由例如应用处理器180使用。在一些实施例中，这种处理设备可以执行指令以辨识和跟踪眼睛运动、接收和解释语音命令、辨识和解释在触摸屏上做出的触摸和/或手势、响应键盘输入或菜单选择等。在一些实施例中，用户界面170可以包括显示器、扬声器、触觉设备和/或任何其它用于向用户提供输出信息的设备。
地图数据库160可以包括任何类型的用于存储对系统100有用的地图数据的数据库。在一些实施例中，地图数据库160可以包括与各种项目在参考坐标系统中的位置有关的数据，各种项目包括道路、水特征、地理特征、商业区、感兴趣的点、餐馆、加油站等。地图数据库160不仅可以存储这些项目的位置，而且可以存储与这些项目有关的描述符，包括例如与任何所存储的特征相关联的名称。在一些实施例中，地图数据库160可以与系统100的其它部件物理上位置在一起。替代或附加地，地图数据库160或其一部分可以相对于系统100的其它组件(例如，处理单元110)远程地定位。在这种实施例中，来自地图数据库160的信息可以通过与网络的有线或无线数据连接(例如，通过蜂窝网络和/或因特网等)而下载。在一些情况下，地图数据库160可以存储稀疏数据模型，所述稀疏数据模型包括某些道路特征(例如，车道标记)或主车辆的目标轨迹的多项式表示。地图数据库160还可以包括已存储的各种辨识出的地标的表示，该地标的表示可用于确定或更新主车辆相对于目标轨迹的已知位置。地标表示可以包括数据字段，诸如地标类型、地标位置以及其他潜在标识符。
图像捕捉设备122、124和126均可以包括任何类型的适用于从环境捕捉至少一个图像的设备。此外，可以使用任何数量的图像捕捉设备来获取用于输入到图像处理器的图像。一些实施例可以仅包括单个图像捕捉设备，而其它实施例可以包括两个、三个、或甚至四个、或更多个图像捕捉设备。以下将参考图2B至图2E进一步描述图像捕捉设备122、124和126。
一个或多个相机(例如，图像捕捉设备122、124和126)可以是包括在车辆上的感测块的一部分。感测块中可以包括各种其他传感器，并且可以依靠任何或全部传感器，以形成车辆的感测的导航状态。除了相机(前方、侧方、后方等)之外，其他传感器(诸如雷达、激光雷达和声学传感器)可被包含在感测块中。另外，感测块可以包括一个或多个组件，所述组件被配置为传送和发送/接收与车辆的环境有关的信息。例如，这种组件可以包括无线收发器(RF等)，其可以从相对于主车辆远程位置的源接收基于传感器的信息或与主车辆的环境有关的任何其他类型的信息。这种信息可以包括从主车辆以外的车辆系统接收的传感器输出信息或相关信息。在一些实施例中，这种信息可以包括从远程计算设备、中央服务器等接收的信息。此外，相机可以采用许多不同的配置：单个相机单元、多个相机、相机群、长FOV、短FOV、宽角度、鱼眼等。
系统100或其各种组件可以合并到各种不同的平台中。在一些实施例中，系统100可以被包括在车辆200上，如图2A所示。例如，车辆200可以配备有如上关于图1描述的系统100的处理单元110和任何其它组件。在一些实施例中，车辆200可以仅配备有单个图像捕捉设备(例如，相机)，而在其它实施例中，诸如结合图2B至图2E所讨论的那些，可以使用多个图像捕捉设备。例如，图2A中所示的车辆200的图像捕捉设备122和124中的任一个可以是ADAS(Advanced Driver Assistance System，高级驾驶员辅助系统)成像集的一部分。
作为图像获取单元120的一部分的、被包括在车辆200上的图像捕捉设备，可以被置于任何合适的位置。在一些实施例中，如图2A至图2E，以及图3A至图3C中所示，图像捕捉设备122可以位于后视镜的附近。此位置可以提供与车辆200的驾驶员相似的视线，这可以辅助确定对驾驶员而言什么是可视和不可视的。图像捕捉设备122可以被置于靠近后视镜的任何位置，而将图像捕捉设备122放置在镜子的驾驶员侧还可以辅助获得表示驾驶员的视场和/或视线的图像。
还可以使用图像获取单元120的图像捕捉设备的其它位置。例如，图像捕捉设备124可以位于车辆200的保险杠上或保险杠中。这种位置尤其可以适用于具有宽视场的图像捕捉设备。位于保险杠的图像捕捉设备的视线可以与驾驶员的视线不同，并且因此，保险杠图像捕捉设备和驾驶员可能不总是看到相同的对象。图像捕捉设备(例如，图像捕捉设备122、124和126)还可以位于其它位置中。例如，图像捕捉设备可以位于车辆200的侧视镜中的一者或两者之上或之中、车辆200的车顶上、车辆200的引擎盖上、车辆200的后备箱上、车辆200的侧面上、安装在车辆200的任何车窗上、置于车辆200的任何车窗的后面、或置于在任何车窗的前面、以及安装在车辆200的前部和/或后部上的照明设备中或附近。
除了图像捕捉设备，车辆200还可以包括系统100的各种其它组件。例如，处理单元110可以被包括在车辆200上，与车辆的引擎控制单元(engine control unit，ECU)集成或分离。车辆200还可以配备有诸如GPS接收器的位置传感器130，并且还可以包括地图数据库160以及存储器单元140和150。
如早先讨论的，无线收发器172可以通过一个或多个网络(例如，蜂窝网络、因特网等)和/或接收数据。例如，无线收发器172可以将系统100收集的数据上传到一个或多个服务器，并且从一个或多个服务器下载数据。经由无线收发器172，系统100可以接收，例如对存储在地图数据库160、存储器140和/或存储器150中存储的数据的周期性更新或按需求更新。类似地，无线收发器172可以将来自系统100的任何数据(例如，由图像获取单元120捕捉的图像、由位置传感器130或其它传感器、车辆控制系统接收的数据等)和/或由处理单元110处理的任何数据上传到一个或多个服务器。
系统100可以基于隐私等级设置将数据上传到服务器(例如，上传到云)。例如，系统100可以实施隐私等级设置，以规定或限制发送到服务器的、可以唯一地标识车辆和/或车辆的驾驶员/所有者的数据(包括元数据)的类型。这种设置可以由用户经由例如无线收发器172来设置、可以由出厂默认设置、或由无线收发器172接收的数据来初始化。
在一些实施例中，系统100可以根据“高”隐私等级上传数据，并且在设定了设置的情况下，系统100可以传输数据(例如，与路途有关的位置信息、捕捉的图像等)，而不带有任何关于特定车辆和/或驾驶员/所有者的细节。例如，当根据“高”隐私设置来上传数据时，系统100可以不包括车辆标识编号(vehicle identification number，VIN)或车辆的驾驶员或所有者的名字，并且可以代替地传输数据(诸如，捕捉的图像和/或与路途有关的受限的位置信息)。
也可以考虑其它隐私等级。例如，系统100可以根据“中间”隐私等级向服务器传输数据，并且可以包括在“高”隐私等级下不包括的额外信息，诸如车辆的型号和/或模型和/或车辆类型(例如载客车辆、运动型多用途车辆、卡车等)。在一些实施例中，系统100可以根据“低”隐私等级上传数据。在“低”隐私等级设置下，系统100可以上传数据，并且包括足以唯一地标识特定车辆、所有者/驾驶员和/或车辆行驶过的部分或整个路途的信息。这种“低”隐私等级数据可以包括以下中的一个或多个：例如VIN、驾驶员/所有者姓名、出发之前车辆的源点、车辆的期望目的地、车辆的型号和/或模型、车辆类型等。
图2A是根据所公开的实施例的示例车辆成像系统的图示性侧视图表示。图2B是图2A中所示的实施例的图示性顶视图例示。如图2B所示，所公开的实施例可以包括车辆200，该车辆200在其车体中包括系统100，该系统100具有位于车辆200的后视镜附近和/或靠近驾驶员的第一图像捕捉设备122、位于车辆200的保险杠区域(例如，保险杠区域210中的一个)之上或之中的第二图像捕捉设备124、以及处理单元110。
如图2C所示，图像捕捉设备122和124两者可以都位于车辆200的后视镜附近和/或靠近驾驶员。此外，尽管图2B和图2C示出了两个图像捕捉设备122和124，应理解的是，其它实施例可以包括两个以上的图像捕捉设备。例如，在图2D和图2E中所示的实施例中，第一图像捕捉设备122、第二图像捕捉设备124和第三图像捕捉设备126被包括在车辆200的系统100中。
如图2D所示，图像捕捉设备122可以位于车辆200的后视镜附近和/或靠近驾驶员，并且图像捕捉设备124和126可以位于车辆200的保险杠区域(例如，保险杠区域210中的一个)之上或之中。并且如图2E所示，图像捕捉设备122、124和126可以位于车辆200的后视镜附近和/或靠近驾驶席。所公开的实施例不限于图像捕捉设备的任何特定数量和配置，并且图像捕捉设备可以位于车辆200内或车辆200上的任何合适的位置中。
应理解的是，所公开的实施例不限于车辆，并且可以被应用在其它情景中。还应理解，所公开的实施例不限于车辆200的特定类型，并且可以适用于所有类型的车辆，包括汽车、卡车、拖车和其它类型的车辆。
第一图像捕捉设备122可以包括任何合适类型的图像捕捉设备。图像捕捉设备122可以包括光轴。在一个实例中，图像捕捉设备122可以包括具有全局快门的AptinaM9V024WVGA传感器。在其它实施例中，图像捕捉设备122可以提供1280×960像素的分辨率，并且可以包括滚动快门。图像捕捉设备122可以包括各种光学元件。在一些实施例中，可以包括一个或多个镜头，例如用于为图像捕捉设备提供期望的焦距和视场。在一些实施例中，图像捕捉设备122可以与6毫米镜头或12毫米镜头相关联。在一些实施例中，如图2D所示，图像捕捉设备122可以配置为捕捉具有期望的视场(FOV)202的图像。例如，图像捕捉设备122可以配置为具有常规FOV，诸如在40度到56度的范围内，包括46度FOV、50度FOV、52度FOV，或更大的FOV。可替代地，图像捕捉设备122可以配置为具有在23至40度的范围内的窄FOV，诸如28度FOV或36度FOV。此外，图像捕捉设备122可以配置为具有在100至180度的范围内的宽FOV。在一些实施例中，图像捕捉设备122可以包括广角保险杠相机或者具有高达180度的FOV的相机。在一些实施例中，图像捕捉设备122可以是具有大约2：1的高宽比(例如，H×V＝3800×1900像素)、具有大约100度水平FOV的7.2M(百万)像素图像捕捉设备。这种图像捕捉设备可以被用来替代三个图像捕捉设备配置。由于显著的镜头失真，在图像捕捉设备使用径向对称镜头的实施方式中，这种图像捕捉设备的垂直FOV可以显著地小于50度。例如，这种镜头可以不是径向对称的，这将允许在100度水平FOV情况下垂直FOV大于50度。
第一图像捕捉设备122可以获取关于与车辆200相关联的场景的多个第一图像。多个第一图像中的每一个可以作为一系列的图像扫描线而被获取，其可使用滚动快门来捕捉。每个扫描线可以包括多个像素。
第一图像捕捉设备122可以具有与第一系列图像扫描线中的每一个的获取相关联的扫描速率。扫描速率可以指，图像传感器可以以该扫描速率获取与包含在特定扫描线中的每个像素相关联的图像数据。
图像捕捉设备122、124和126可以包含任何合适的类型和数量的图像传感器，例如，包括CCD传感器或CMOS传感器等。在一个实施例中，可以采用CMOS图像传感器以及滚动快门，以使得一行中的每个像素一次被读取一个，并且各行的扫描在逐行的基础上继续进行，直到已经捕捉了整个图像帧。在一些实施例中，可以相对于帧从顶部到底部顺序地捕捉各行。
在一些实施例中，本文公开的图像捕捉设备中的一个或多个(例如，图像捕捉设备122、124和126)可以构成高分辨率成像器，并且可以具有大于5M像素、7M像素、10M像素或更大像素的分辨率。
滚动快门的使用可能导致不同行中的像素在不同的时间被曝光和捕捉，这可能引起所捕捉的图像帧中的扭曲和其它图像伪像。另一方面，当图像捕捉设备122配置为利用全局或同步快门操作时，所有像素可以以相同量的时间并且在共同曝光时段期间被曝光。其结果是，在从采用全局快门的系统收集的帧中的图像数据表示在一特定时间的整个FOV(诸如FOV 202)的快照。与之相比，在滚动快门应用中，在不同的时间，帧中的每行被曝光并且数据被捕捉。因此，在具有滚动快门的图像捕捉设备中，移动对象可能出现失真。将在下面更详细地描述这种现象。
第二图像捕捉设备124和第三图像捕捉设备126可以是任何类型的图像捕捉设备。类似于第一图像捕捉设备122，图像捕捉设备124和126中的每一个可以包括光轴。在一个实施例中，图像捕捉设备124和126中的每一个可以包括具有全局快门的Aptina M9V024WVGA传感器。可替代地，图像捕捉设备124和126中的每一个可以包括滚动快门。类似于图像捕捉设备122，图像捕捉设备124和126可以配置为包括各种镜头和光学元件。在一些实施例中，与图像捕捉设备124和126相关联的镜头可以提供FOV(诸如FOV 204和206)，其等于或窄于与图像捕捉设备122相关联的FOV(诸如FOV 202)。例如，图像捕捉设备124和126可以具有40度、30度、26度、23度、20度或更小的FOV。
图像捕捉设备124和126可以获取关于与车辆200相关联的场景的多个第二图像和第三图像。该多个第二图像和第三图像中的每一个可以作为第二系列和第三系列的图像扫描线而被获取，这可以使用滚动快门进行捕捉。每个扫描线或行可以具有多个像素。图像捕捉设备124和126可以具有与被包含在第二系列和第三系列中的每个图像扫描线的获取相关联的第二扫描速率和第三扫描速率。
每个图像捕捉设备122、124和126可以放置在相对于车辆200的任何合适的位置和方向处。可以选择图像捕捉设备122、124和126的相对位置以帮助将从图像捕捉设备获取的信息融合在一起。例如，在一些实施例中，与图像捕捉设备124相关联的FOV(诸如FOV 204)可能部分地或完全地和与图像捕捉设备122相关联的FOV(例如FOV 202)以及与图像捕捉设备126相关联的FOV(例如FOV 206)重叠。
图像捕捉设备122、124和126可以位于车辆200上的任何合适的相对高度处。在一个实例中，在图像捕捉设备122、124和126之间可以存在高度差，其可以提供足够的视差信息以使能立体分析。例如，如图2A所示，两个图像捕捉设备122和124在不同的高度处。例如，在图像捕捉设备122、124和126之间还可以存在横向位移差，为处理单元110的立体分析给出了额外的视差信息。如图2C和图2D所示，横向位移的差异可以通过dx表示。在一些实施例中，图像捕捉设备122、124和126之间可能存在前向或后向位移(例如，范围位移)。例如，图像捕捉设备122可以位于图像捕捉设备124和/或图像捕捉设备126之后0.5到2米或以上。这种类型的位移可以使得图像捕捉设备之一能够覆盖其它(一个或多个)图像捕捉设备的潜在盲点。
图像捕捉设备122可以具有任何合适的分辨率能力(例如，与图像传感器相关联的像素的数量)，并且与图像捕捉设备122相关联的(一个或多个)图像传感器的分辨率可以比与图像捕捉设备124和126相关联的(一个或多个)图像传感器的分辨率更高、更低、或者与之相同。在一些实施例中，与图像捕捉设备122和/或图像捕捉设备124和126相关联的(一个或多个)图像传感器可以具有640×480、1024×768、1280×960的分辨率，或任何其它合适的分辨率。
帧速率(例如，在该速率下，图像捕捉设备获取一个图像帧的一组像素数据，然后继续捕捉与下一个图像帧相关联的像素数据)可以是可控的。与图像捕捉设备122相关联的帧速率可以比与图像捕捉设备124和126相关联的帧速率更高、更低或与之相同。与图像捕捉设备122、124和126相关联的帧速率可以取决于可能影响帧速率的定时的各种因素。例如，图像捕捉设备122、124和126中的一个或多个可以包括可选择的像素延迟时段，其在获取与图像捕捉设备122、124和/或126中的图像传感器的一个或多个像素相关联的图像数据之前或之后施加。通常，可以根据用于该设备的时钟速率来获取对应于每个像素的图像数据(例如，每个时钟周期一个像素)。另外，在包括滚动快门的实施例中，图像捕捉设备122、124和126中的一个或多个可以包括可选择的水平消隐时段，其在获取与图像捕捉设备122、124和/或126中的图像传感器的一行像素相关联的图像数据之前或之后施加。此外，图像捕捉设备122、124和126的一个或多个图像可以包括可选择的垂直消隐时段，其在获取与图像捕捉设备122、124和126的图像帧相关联的图像数据之前或之后施加。
这些定时控制可以使能与图像捕捉设备122、124和126相关联的帧速率的同步，即便每个的线扫描率速率不同。此外，如将在下面更详细地讨论的，这些可选择的定时控制以及其它因素(例如，图像传感器分辨率、最大线扫描速率等)可以使能从图像捕捉设备122的FOV与图像捕捉设备124和126的一个或多个FOV重叠的区域的图像捕捉的同步，即便图像捕捉设备122的视场不同于图像捕捉设备124和126的FOV。
图像捕捉设备122、124和126中的帧速率定时可以取决于相关联的图像传感器的分辨率。例如，假定对于两个设备，线扫描速率类似，如果一个设备包括具有640×480的分辨率的图像传感器，并且另一设备包括具有1280×960的分辨率的图像传感器，则需要更多的时间来从具有更高分辨率的传感器获取一帧图像数据。
可能影响图像捕捉设备122、124和126中的图像数据获取的定时的另一个因素是最大线扫描速率。例如，从被包含在图像捕捉设备122、124和126中的图像传感器获取一行图像数据将需要某个最低时间量。假定没有添加像素延迟时段，则用于获取一行图像数据的此最低时间量将与用于特定设备的最大线扫描速率有关。提供较高的最大线扫描速率的设备具有提供比具有较低的最大线扫描速率的设备更高的帧速率的潜力。在一些实施例中，图像捕捉设备124和126的一个或多个可以具有高于与图像捕捉设备122相关联的最大线扫描速率的最大线扫描速率。在一些实施例中，图像捕捉设备124和/或126的最大线扫描速率可以是图像捕捉设备122的最大线扫描速率的1.25、1.5、1.75或2倍或更多倍。
在另一实施例中，图像捕捉设备122、124和126可以具有相同的最大线扫描速率，但图像捕捉设备122可以以小于或等于其最大扫描速率的扫描速率而操作。该系统可以配置为使得图像捕捉设备124和126的一个或多个以等于图像捕捉设备122的线扫描速度的线扫描速率而操作。在其它实例中，该系统可以配置为使得图像捕捉设备124和/或图像捕捉设备126的线扫描速率可以是图像捕捉设备122的线扫描速度的1.25、1.5、1.75、或2倍或更多倍。
在一些实施例中，图像捕捉设备122、124和126可以是不对称的。也就是说，它们可包括具有不同视场(FOV)和焦距的相机。例如，图像捕捉设备122、124和126的视场可以包括关于车辆200的环境的任何期望的区域。在一些实施例中，图像捕捉设备122、124和126的一个或多个可以配置为从在车辆200前面、车辆200后面、车辆200的侧面、或其组合的环境获取图像数据。
此外，与每个图像捕捉设备122、124和/或126相关联的焦距可以是可选择的(例如，通过包括适当的镜头等)，使得每个设备在相对于车辆200的期望的距离范围处获取对象的图像。例如，在一些实施例中，图像捕捉设备122、124和126可以获取离车辆几米之内的接近对象的图像。图像捕捉设备122、124和126还可以配置为获取离车辆更远的范围处(例如，25米、50米、100米、150米或更远)的对象的图像。此外，图像捕捉设备122、124和126的焦距可以被选择以使得一个图像捕捉设备(例如，图像捕捉设备122)可以获取相对靠近车辆(例如，在10米内或20米内的)对象的图像，而其它图像捕捉设备(例如，图像捕捉设备124和126)可以获取离车辆200较远的(例如，大于20米、50米、100米、150米等的)对象的图像。
根据一些实施例，一个或多个图像捕捉设备122、124和126的FOV可以具有广角。例如，具有140度的FOV可能是有利的，尤其是对于可以被用于捕捉车辆200附近的区域的图像的图像捕捉设备122、124和126。例如，图像捕捉设备122可以被用来捕捉车辆200的右侧或左侧的区域的图像，并且在这种实施例中，可能期望图像捕捉设备122具有宽FOV(例如，至少140度)。
与每个图像捕捉设备122、124和126相关联的FOV可以取决于各自的焦距。例如，随着焦距增加，对应的视场减小。
图像捕捉设备122、124和126可以配置为具有任何合适的视场。在一个特定示例中，图像捕捉设备122可以具有46度的水平FOV，图像捕捉设备124可以具有23度的水平FOV，并且图像捕捉设备126可以具有在23度和46度之间的水平FOV。在另一实例中，图像捕捉设备122可以具有52度的水平FOV，图像捕捉设备124可以具有26度的水平FOV，并且图像捕捉设备126可以具有在26度和52度之间的水平FOV。在一些实施例中，图像捕捉设备122的FOV与图像捕捉设备124和/或图像捕捉设备126的FOV的比率可以从1.5到2.0变化。在其它实施例中，该比率可以在1.25与2.25之间变化。
系统100可以配置为使得图像捕捉设备122的视场至少部分地或完全地与图像捕捉设备124和/或图像捕捉设备126的视场重叠。在一些实施例中，系统100可以配置为使得图像捕捉设备124和126的视场例如落入(例如，窄于)图像捕捉设备122的视场并且与图像捕捉设备122的视场共享共同的中心。在其它实施例中，图像捕捉设备122、124和126可以捕捉相邻的FOV，或者可以在它们FOV中具有部分重叠。在一些实施例中，图像捕捉设备122、124和126的视场可以对齐，以使得较窄FOV图像捕捉设备124和/或126的中心可以位于较宽FOV设备122的视场的下半部分中。
图2F是根据所公开的实施例的示例车辆控制系统的图示性表示。如图2F所指示的，车辆200可以包括油门调节系统220、制动系统230和转向系统240。系统100可以经过一个或多个数据链路(例如，任何用于传输数据的有线和/或无线链路)向油门调节系统220、制动系统230和转向系统240的一个或多个提供输入(例如，控制信号)。例如，基于对由图像捕捉设备122、124和/或126获取的图像的分析，系统100可以向油门调节系统220、制动系统230和转向系统240的一个或多个提供控制信号以导航车辆200(例如，通过引起加速、转向、车道变换等)。此外，系统100可以从油门调节系统220、制动系统230和转向系统240的一个或多个接收指示车辆200的运行条件(例如，速度、车辆200是否正在制动和/或转向等)的输入。以下结合图4至图7提供进一步的细节。
如图3A所示，车辆200还可以包括用于与车辆200的驾驶员或乘客进行交互的用户界面170。例如，车辆应用中的用户界面170可以包括触摸屏320、旋钮330、按钮340和麦克风350。车辆200的驾驶员或乘客还可以使用手柄(例如，位于车辆200的转向杆上或附近，包括例如转向信号手柄)、按钮(例如，位于车辆200的方向盘上)等与系统100交互。在一些实施例中，麦克风350可以位于与后视镜310相邻。类似地，在一些实施例中，图像捕捉设备122可以位于靠近后视镜310。在一些实施例中，用户界面170还可以包括一个或多个扬声器360(例如，车辆音频系统的扬声器)。例如，系统100可以经由扬声器360提供各种通知(例如，警报)。
图3B至图3D是根据所公开的实施例的配置为位于后视镜(例如，后视镜310)后面并与车辆风挡相对的示例相机安装370的例示。如图3B所示，相机安装370可以包括图像捕捉设备122、124和126。图像捕捉设备124和126可以位于遮光板380的后面，其中遮光板380可以相对于车辆风挡齐平(flush)并且包括薄膜和/或防反射材料的合成物。例如，遮光板380可被放置为使得它相对于具有匹配斜面的车辆的风挡对齐。在一些实施例中，图像捕捉设备122、124和126的每个可以位于遮光板380的后面，例如在图3D中所描绘的。所公开的实施例不限于图像捕捉设备122、124和126、相机安装370和遮光板380的任何特定配置。图3C是图3B所示的相机安装370从前面视角的例示。
如受益于本公开的本领域技术人员将理解的，可以对前述所公开的实施例做出许多变型和/或修改。例如，并非所有组件对于系统100的操作是必要的。此外，任何组件可以位于系统100的任何适当的部件中并且组件可以被重新布置成各种配置同时提供所公开的实施例的功能。因此，前述配置是示例性的，并且不管上述讨论的配置如何，系统100都可以提供广阔范围的功能以分析车辆200的周围并响应于该分析而导航车辆200。
如在下面更详细讨论的并且根据各种所公开的实施例，系统100可以提供各种关于自主驾驶和/或驾驶员辅助技术的特征。例如，系统100可以分析图像数据、位置数据(例如，GPS位置信息)、地图数据、速度数据和/或来自包含在车辆200中的传感器的数据。系统100可以从例如图像获取单元120、位置传感器130以及其它传感器收集数据用于分析。此外，系统100可以分析所收集的数据以确定车辆200是否应该采取某个动作，然后无需人工干预而自动采取所确定的动作。例如，当车辆200无需人工干预而导航时，系统100可以自动地控制车辆200的制动、加速、和/或转向(例如，通过向油门调节系统220、制动系统230和转向系统240的一个或多个发送控制信号)。此外，系统100可以分析所收集的数据，并基于对所收集的数据的分析向车辆乘员发出警告和/或警报。下面提供关于系统100提供的各种实施例的额外的细节。
前向多成像系统
如上所讨论的，系统100可以提供使用多相机系统的驾驶辅助功能。多相机系统可以使用面向车辆的前方的一个或多个相机。在其它实施例中，多相机系统可以包括面向车辆的侧方或面向车辆的后方的一个或多个相机。在一个实施例中，例如系统100可以使用双相机成像系统，其中，第一相机和第二相机(例如，图像捕捉设备122和124)可以位于车辆(例如，车辆200)的前面和/或侧面处。其他相机配置与所公开的实施例一致，并且本文公开的配置是示例。例如，系统100可以包括任何数量的相机的配置(例如，一个、两个、三个、四个、五个、六个、七个、八个等)。此外，系统100可以包括相机“群集”。例如，相机群集(包括任何适当数量的相机，例如一个、四个、八个等)可以相对于车辆是前向的，或者可以面向任何其他方向(例如，后向、侧向、成角度的等)。因此，系统100可以包括多个相机群集，其中每个群集以特定方向定向，以从车辆环境的特定区域捕捉图像。
第一相机可以具有大于、小于、或部分重叠于第二相机的视场的视场。此外，第一相机可以连接到第一图像处理器以执行对由第一相机提供的图像的单目图像分析，并且第二相机可以连接到第二图像处理器以执行对由第二相机提供的图像的单目图像分析。第一和第二图像处理器的输出(例如，处理后的信息)可以被组合。在一些实施例中，第二图像处理器可以从第一相机和第二相机两者接收图像以执行立体分析。在另一实施例中，系统100可以使用三相机成像系统，其中每个相机具有不同的视场。因此，这种系统可以基于从位于车辆的前方和侧方的变化距离处的对象得到的信息做出决定。对单目图像分析的参考可以参考基于从单个视点(例如，从单个相机)捕捉的图像执行图像分析的实例。立体图像分析可以参考基于利用图像捕捉参数的一个或多个变化而捕捉的两个或多个图像执行图像分析的实例。例如，捕捉到的适用于执行立体图像分析的图像可以包括以下捕捉图像：从两个或多个不同的位置、从不同的视场、使用不同的焦距、与视差信息一起等捕捉的图像。
例如，在一个实施例中，系统100可以使用图像捕捉设备122至126实现三相机配置。在这种配置中，图像捕捉设备122可以提供窄视场(例如，34度或从大约20度至45度的范围选择的其它值等)，图像捕捉设备124可以提供宽视场(例如，150度或从大约100度至大约180度的范围选择的其它值)，并且图像捕捉设备126可以提供中间的视场(例如，46度或从大约35度至大约60度的范围选择的其它值)。在一些实施例中，图像捕捉设备126可以作为主相机或基本相机。图像捕捉设备122至126可以位于后视镜310的后面并且基本上并排(例如，相距6厘米)。此外，在一些实施例中，如以上所讨论的，图像捕捉设备122至126的一个或多个可以被安装在与车辆200的风挡齐平的遮光板380的后面。这种遮挡可以作用以减少任何来自车内的反射对图像捕捉设备122至126的影响。
在另一实施例中，如以上结合图3B和3C所讨论的，宽视场相机(例如，上述示例中的图像捕捉设备124)可以被安装得低于窄视场相机和主视场相机(例如，上述的示例中的图像捕捉设备122和126)。这种配置可以提供来自宽视场相机的自由视线。为减少反射，相机可以被安装得靠近车辆200的风挡，并且在相机上可以包括偏振器以衰减(damp)反射光。
三相机系统可以提供某些性能特性。例如，一些实施例可以包括通过一个相机基于来自另一相机的检测结果来验证对象的检测的能力。在上面讨论的三相机配置中，处理单元110可以包括例如三个处理设备(例如，三个如以上所讨论的EyeQ系列处理器芯片)，其中每个处理设备专用于处理由图像捕捉设备122至126的一个或多个捕捉的图像。
在三相机系统中，第一处理设备可以从主相机和窄视场相机两者接收图像，并且执行对窄FOV相机的视觉处理，例如以检测其它车辆、行人、车道标记、交通标志、交通灯以及其它道路对象。另外，第一处理设备可以计算来自主相机和窄相机的图像之间的像素的视差，并且创建车辆200的环境的3D重建。然后第一处理设备可以组合3D重建与3D地图数据、或组合3D重建与基于来自另一相机的信息计算出的3D信息。
第二处理设备可以从主相机接收图像，并执行视觉处理以检测其它车辆、行人、车道标记、交通标志、交通灯和其它道路对象。另外，第二处理设备可以计算相机位移，并且基于该位移计算连续图像之间的像素的视差，并创建场景的3D重建(例如，运动恢复结构(structure from motion))。第二处理设备可以将基于3D重建的运动恢复结构发送到第一处理设备以与立体3D图像进行组合。
第三处理设备可以从宽FOV相机接收图像，并处理该图像以检测车辆、行人、车道标记、交通标志、交通灯和其它道路对象。第三处理设备还可以执行额外的处理指令来分析图像，以识别图像中移动的对象，诸如正改变车道的车辆、行人等。
在一些实施例中，使得基于图像的信息的流被独立地捕捉和处理可以提供用于在系统中提供冗余的机会。这种冗余可以包括例如使用第一图像捕捉设备和从该设备处理的图像来验证和/或补充通过从至少第二图像捕捉设备捕捉和处理图像信息而获得的信息。
在一些实施例中，系统100将两个图像捕捉设备(例如，图像捕捉设备122和124)用在为车辆200提供导航辅助中，并使用第三图像捕捉设备(例如，图像捕捉设备126)来提供冗余并验证对从其它两个图像捕捉设备接收到的数据的分析。例如，在这种配置中，图像捕捉设备122和124可以提供用于通过系统100进行立体分析的图像以导航车辆200，而图像捕捉设备126可以提供用于通过系统100进行单目分析的图像以提供对基于从图像捕捉设备122和/或图像捕捉设备124捕捉的图像而获得的信息的冗余和验证。即，图像捕捉设备126(和对应的处理设备)可以被视为提供用于提供对从图像捕捉设备122和124得到的分析的检查的冗余子系统(例如，以提供自动紧急制动(AEB)系统)。此外，在一些实施例中，可基于从一个或多个传感器接收的信息(例如，雷达、激光雷达、声学传感器，从车辆外部的一个或多个收发器接收的信息等)来补充接收到的数据的冗余和验证。
本领域的技术人员将认识到，上述相机配置、相机放置、相机数量、相机位置等仅为示例。在不脱离所公开的实施例的范围下，这些组件和关于整个系统描述的其它组件可以被组装并且在各种不同的配置中使用。关于使用多相机系统以提供驾驶员辅助和/或自主车辆功能的进一步的细节如下。
图4是可以被存储/被编程具有用于执行与本公开实施例一致的一个或多个操作的指令的存储器140和/或存储器150的示范性功能性框图。虽然下面指代存储器140，但是本领域技术人员将认识到指令可以被存储在存储器140和/或存储器150中。
如图4所示，存储器140可以存储单目图像分析模块402、立体图像分析模块404、速度和加速度模块406以及导航响应模块408。所公开的实施例不限于存储器140的任何特定配置。此外，应用处理器180和/或图像处理器190可以执行在被包含在存储器140中的任何模块402至408中所存储的指令。本领域的技术人员将理解，在下面的讨论中，对处理单元110的参考可以单独地或统一地指代应用处理器180和图像处理器190。因此，任何以下处理的步骤可以由一个或多个处理设备来执行。
在一个实施例中，单目图像分析模块402可以存储指令(诸如计算机视觉软件)，该指令在由处理单元110执行时，执行对由图像捕捉设备122、124和126的一个获取的一组图像的单目图像分析。在一些实施例中，处理单元110可以将来自一组图像的信息与额外的传感信息(例如，来自雷达的信息)组合以执行单目图像分析。如以下结合图5A至图5D所描述的，单目图像分析模块402可以包括用于在该组图像内检测一组特征的指令，所述特征诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、危险对象以及任何其它与车辆的环境相关联的特征。基于该分析，系统100(例如，经由处理单元110)可以引起车辆200中的一个或多个导航响应，诸如转向、车道变换、加速度的改变等，如以下结合导航响应模块408所讨论的。
在一个实施例中，单目图像分析模块402可以存储指令(诸如计算机视觉软件)，该指令在由处理单元110执行时，执行对由图像捕捉设备122、124和126的一个获取的一组图像的单目图像分析。在一些实施例中，处理单元110可以将来自一组图像的信息与额外的传感信息(例如，来自雷达、激光雷达等的信息)组合以执行单目图像分析。如以下结合图5A至图5D所描述的，单目图像分析模块402可以包括用于在该组图像内检测一组特征的指令，所述特征诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、危险对象以及任何其它与车辆的环境相关联的特征。基于该分析，系统100(例如，经由处理单元110)可以引起车辆200中的一个或多个导航响应，诸如转向、车道变换、加速度的改变等，如以下结合确定导航响应所讨论的。
在一个实施例中，立体图像分析模块404可以存储指令(诸如，计算机视觉软件)，该指令在由处理单元110执行时，执行对由从任意图像捕捉设备122、124和126中选择的图像捕捉设备的组合而获取的第一组和第二组图像的立体图像分析。在一些实施例中，处理单元110可以将来自第一组和第二组图像的信息与额外的传感信息(例如，来自雷达的信息)组合以执行立体图像分析。例如，立体图像分析模块404可以包括用于基于由图像捕捉设备124获取的第一组图像和由图像捕捉设备126获取的第二组图像执行立体图像分析的指令。如下面结合图6所描述的，立体图像分析模块404可以包括用于检测第一组和第二组图像内的一组特征的指令，所述特征诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、危险对象等。基于该分析，处理单元110可以引起车辆200中的一个或多个导航响应，诸如转向、车道变换、加速度的改变等，如以下结合导航响应模块408所讨论的。此外，在一些实施例中，立体图像分析模块404可实施与经训练的系统(诸如神经网络或深度神经网络)或未经训练的系统相关联的技术。
在一个实施例中，速度和加速度模块406可以存储被配置为对从车辆200中配置为引起车辆200的速度和/或加速度的改变的一个或多个计算和机电设备收到的数据进行分析的软件。例如，处理单元110可以执行与速度和加速度模块406相关联的指令，以基于从单目图像分析模块402和/或立体图像分析模块404的执行而得到的数据来计算车辆200的目标速度。这种数据可以包括例如目标位置、速度和/或加速度、车辆200相对于附近车辆、行人或道路对象的位置和/或速度、车辆200相对于道路的车道标记等的位置信息等。此外，处理单元110可以基于传感输入(例如，来自雷达的信息)和来自车辆200的其它系统、诸如油门调节系统220、制动系统230和/或转向系统240的输入来计算车辆200的目标速度。基于计算的目标速度，处理单元110可以向车辆200的油门调节系统220、制动系统230和/或转向系统的240传输电子信号，例如通过物理地压下制动器或松开车辆200的加速器，来触发速度和/或加速度的变化。
在一个实施例中，导航响应模块408可以存储可由处理单元110执行以基于从单目图像分析模块402和/或立体声图像分析模块404的执行而得到的数据来确定期望的导航响应的软件。这种数据可以包括与附近的车辆、行人和道路对象相关联的位置和速度信息、车辆200的目标位置信息等。另外，在一些实施例中，导航响应可以(部分地或完全地)基于地图数据、车辆200的预定位置、和/或车辆200与从单目图像分析模块402和/或立体声图像分析模块404的执行检测到的一个或多个对象之间的相对速度或相对加速度。导航响应模块408还可以基于传感输入(例如，来自雷达的信息)和来自车辆200的其它系统、诸如车辆200的油门调节系统220、制动系统230和转向系统240的输入确定期望的导航响应。基于期望的导航响应，处理单元110可以向车辆200的油门调节系统220、制动系统230和转向系统240传输电子信号以触发期望的导航响应，例如通过转动车辆200的方向盘以实现预定角度的旋转。在一些实施例中，处理单元110可以使用导航响应模块408的输出(例如，期望的导航响应)作为对速度和加速度模块406的执行的输入，用于计算车辆200的速度的改变。
此外，本文公开的任何模块(例如，模块402、404和406)可以实现与经训练的系统(诸如神经网络或深度神经网络)或未经训练的系统相关联的技术。
图5A是示出根据所公开的实施例的用于基于单目图像分析引起一个或多个导航响应的示例过程500A的流程图。在步骤510，处理单元110可以经由在处理单元110和图像获取单元120之间的数据接口128接收多个图像。例如，包含在图像获取单元120中的相机(诸如具有视场202的图像捕捉设备122)可以捕捉车辆200的前方(例如，或者车辆的侧方或后方)区域的多个图像并经过数据连接(例如，数字、有线、USB、无线、蓝牙等)将它们传输到处理单元110。在步骤520，处理单元110可以执行单目图像分析模块402来分析该多个图像，如以下结合图5B至5D进一步详细描述的。通过执行该分析，处理单元110可以在该组图像内检测一组特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯等。
在步骤520，处理单元110还可以执行单目图像分析模块402来检测各种道路危险，诸如例如卡车轮胎的部件、倒下的道路标志、松散货物、小动物等。道路危险可能在结构、形状、大小和颜色上变化，这可能使这种危险的检测更加困难。在一些实施例中，处理单元110可以执行单目图像分析模块402来对该多个图像执行多帧分析以检测道路危险。例如，处理单元110可以估计连续图像帧之间的相机运动，并计算帧之间的像素中的视差来构建道路的3D地图。然后，处理单元110可以使用该3D地图来检测路面、以及存在于路面上的危险。
在步骤530，处理单元110可以执行导航响应模块408以基于在步骤520中执行的分析和如以上结合图4描述的技术引起一个或多个导航响应。导航响应可以包括例如转向、车道变换、加速度变化等。在一些实施例中，处理单元110可以使用从速度和加速度模块406的执行得到的数据来引起一个或多个导航响应。此外，多个导航响应可能同时地、按照顺序地或以其任意组合而发生。例如，处理单元110可以通过例如按照顺序地向车辆200的转向系统240和油门调节系统220传输控制信号，使得车辆200变换一个车道然后加速。可替代地，处理单元110可以通过例如同时向车辆200的制动系统230和转向系统240传输控制信号，使得车辆200制动同时变换车道。
图5B是示出根据所公开的实施例的用于在一组图像中检测一个或多个的车辆和/或行人的示例过程500B的流程图。处理单元110可以执行单目图像分析模块402来实现过程500B。在步骤540，处理单元110可以确定表示可能的车辆和/或行人的一组候选对象。例如，处理单元110可以扫描一个或多个图像，将该图像与一个或多个预定模式比较，并且在每个图像内识别可能包含感兴趣的对象(例如，车辆、行人或其部分)的可能的位置。预定模式可以以实现高“伪命中”率和低“漏掉”率的这种方式来设计。例如，处理单元110可以将低的相似性的阈值用在预定模式以将候选对象识别为可能的车辆或行人。这样做可以允许处理单元110减少漏掉(例如，未识别出)表示车辆或行人的候选对象的可能性。
在步骤542，处理单元110可以基于分类标准过滤该组候选对象以排除某些候选(例如，不相关或较不相关的对象)。这种标准可以从与存储在数据库(例如，存储在存储器140中的数据库)中的对象类型相关联的各种属性得到。属性可以包括对象形状、尺寸、纹理、位置(例如，相对于车辆200)等。因此，处理单元110可以使用一组或多组标准来从该组候选对象中拒绝伪候选。
在步骤544，处理单元110可以分析多帧图像，以确定在该组候选对象中的对象是否表示车辆和/或行人。例如，处理单元110可以跨连续帧来跟踪检测到的候选对象并累积与检测到的对象相关联的逐帧数据(例如，尺寸、相对于车辆200的位置等)。此外，处理单元110可以估计检测到的对象的参数并将该对象的逐帧位置数据与预测的位置比较。
在步骤546，处理单元110可以对于检测到的对象构建一组测量。这种测量可以包括例如与检测到的对象相关联的位置、速度和加速度值(相对于车辆200)。在一些实施例中，处理单元110可以基于使用一系列基于时间的观察的、诸如卡尔曼滤波器或线性二次估计(LQE)的估计技术和/或基于对于不同对象类型(例如，汽车、卡车、行人、自行车、道路标志等)可用的建模数据，来构建该测量。卡尔曼滤波器可以基于对象的比例的测量，其中该比例测量与要碰撞的时间(例如，车辆200到达对象的时间量)成比例。因此，通过执行步骤540至546，处理单元110可以识别在该组捕捉图像内出现的车辆和行人，并得到与该车辆和行人相关联的信息(例如，位置、速度、大小)。基于该识别和所得到的信息，处理单元110可以引起车辆200中的一个或多个导航响应，如以上结合图5A所描述的。
在步骤548，处理单元110可以执行对一个或多个图像的光流分析，以减少检测到“伪命中”和漏掉表示车辆或行人的候选对象的可能性。光流分析可以指，例如在一个或多个图像中分析相对于车辆200的、与其它车辆和行人相关联的并且区别于路面运动的运动模式。处理单元110可以通过跨越在不同时间捕捉到的多个图像帧观察对象的不同位置，来计算候选对象的运动。处理单元110可以使用该位置和时间值作为对用于计算候选对象的运动的数学模型的输入。因此，光流分析可以提供检测车辆200附近的车辆和行人的另一种方法。处理单元110可以结合步骤540至546执行光流分析，以提供检测车辆和行人的冗余，并提高系统100的可靠性。
图5C是示出根据所公开的实施例的用于在一组图像中检测道路标记和/或车道几何信息的示例过程500C的流程图。处理单元110可以执行单目图像分析模块402来实现处理500C。在步骤550，处理单元110可以通过扫描一个或多个图像来检测一组对象。为了检测车道标记、车道几何信息以及其它相关的道路标记的片段，处理单元110可以过滤该组对象以排除那些被确定为不相关的(例如，小坑洼、小石块等)。在步骤552，处理单元110可以将在步骤550中检测到的属于相同的道路标记或车道标记的片段分组在一起。基于该分组，处理单元110可以产生表示所检测到的片段的模型，诸如数学模型。
在步骤554，处理单元110可以构建与所检测的片段相关联的一组测量。在一些实施例中，处理单元110可以创建所检测的片段从图像平面到现实世界平面上的投影。该投影可以使用具有与诸如所检测的道路的位置、斜率、曲率和曲率导数的物理属性对应的系数的三次多项式来表征。在产生该投影中，处理单元110可以考虑路面的变化、以及与车辆200相关联的俯仰(pitch)和滚转(roll)速率。此外，处理单元110可以通过分析出现在路面上的位置和运动线索来对道路标高进行建模。此外，处理单元110可以通过跟踪一个或多个图像中的一组特征点来估计与车辆200相关联的俯仰和滚转速率。
在步骤556，处理单元110可以通过例如跨连续图像帧跟踪所检测到的片段并累积与检测到的片段相关联的逐帧数据来执行多帧分析。由于处理单元110执行多帧分析，在步骤554中构建的该组测量可以变得更可靠并且与越来越高的置信水平相关联。因此，通过执行步骤550至556，处理单元110可以识别在该组捕捉图像中出现的道路标记并得到车道几何信息。基于该识别和所得到的信息，处理单元110可以引起车辆200中的一个或多个导航响应，如以上结合图5A所描述的。
在步骤558，处理单元110可以考虑额外的信息源，以进一步产生车辆200的在其周围的环境中的安全模型。处理单元110可以使用该安全模型来定义系统100可以在其中以安全的方式执行车辆200的自主控制的环境。为产生该安全模型，在一些实施例中，处理单元110可以考虑其它车辆的位置和运动、所检测的路缘和护栏、和/或从地图数据(诸如来自地图数据库160的数据)提取的一般道路形状描述。通过考虑额外的信息源，处理单元110可以提供用于检测道路标记和车道几何结构的冗余，并增加系统100的可靠性。
图5D是示出了根据所公开的实施例的用于在一组图像中检测交通灯的示例过程500D的流程图。处理单元110可以执行单目图像分析模块402来实现处理500D。在步骤560，处理单元110可以扫描该组图像，并识别出现在图像中的可能包含交通灯的位置处的对象。例如，处理单元110可以过滤所识别的对象来构造一组候选对象，排除不可能对应于交通灯的那些对象。过滤可以基于与交通灯相关联的诸如形状、尺寸、纹理、位置(例如，相对于车辆200)等的各种属性来进行。这种属性可以基于交通灯和交通控制信号的多个示例并存储在数据库中。在一些实施例中，处理单元110可以对反映可能的交通灯的该组候选对象执行多帧分析。例如，处理单元110可以跨连续图像帧跟踪候选对象，估计候选对象的现实世界位置，并过滤掉那些移动的对象(其不可能是交通灯)。在一些实施例中，处理单元110可以对候选对象执行颜色分析，并识别出现在可能的交通灯内的所检测到的颜色的相对位置。
在步骤562，处理单元110可以分析交叉口的几何形状。该分析可以基于以下的任意组合：(i)在车辆200的任一侧检测到的车道的数量、(ii)在道路上检测到的标记(如箭头标记)、和(iii)从地图数据(例如，来自地图数据库160的数据)提取的交叉口的描述。处理单元110可以使用从单目分析模块402的执行得到的信息进行分析。此外，处理单元110可以确定在步骤560中检测到的交通灯和在车辆200附近出现的车道之间的对应性。
在步骤564，随着车辆200接近交叉口，处理单元110可以更新与所分析的交叉口几何形状和所检测到的交通灯相关联的置信度水平。例如，被估计为出现在交叉口处的交通灯的数量与实际出现在交叉口处的交通灯的数量比较可能影响置信度水平。因此，基于该置信度水平，处理单元110可以将控制委托给车辆200的驾驶员以便改进安全条件。通过执行步骤560至564，处理单元110可以识别出现在该组捕捉图像内的交通灯，并分析交叉口几何形状信息。基于该识别和分析，处理单元110可以引起车辆200中一个或多个导航响应，如以上结合图5A所描述的。
图5E是示出了根据所公开的实施例的用于基于车辆路径引起车辆中的一个或多个导航响应的示例过程500E的流程图。在步骤570，处理单元110可以构建与车辆200相关联的初始车辆路径。车辆路径可以使用以坐标(x,z)表达的一组点来表示，并且该组点中两个点之间的距离di可以落入1至5米的范围中。在一个实施例中，处理单元110可以使用诸如左道路多项式和右道路多项式的两个多项式来构建初始车辆路径。处理单元110可以计算该两个多项式之间的几何中点，并且将被包含在得到的车辆路径中的每个点偏移预定的偏移(例如，智能车道偏移)，如果有的话(零偏移可以对应于在车道的中间行驶)。该偏移可以在垂直于在车辆路径中的任何两点之间的线段的方向上。在另一个实施例中，处理单元110可以使用一个多项式和估计的车道宽度，来将车辆路径的每个点偏移估计的车道宽度的一半加上预定偏移(例如，智能车道偏移)。
在步骤572，处理单元110可以更新在步骤570构建的车辆路径。处理单元110可以使用更高的分辨率来重建在步骤570构建的车辆路径，以使得表示车辆路径的该组点中两个点之间的距离dk小于上述距离di。例如，该距离dk可以落入0.1至0.3米的范围中。处理单元110可以使用抛物线样条算法(parabolic spline algorithm)重建车辆路径，这可以产生对应于车辆路径的总长度的累积距离向量S(即，基于表示车辆路径的该组点)。
在步骤574，处理单元110可以基于在步骤572构建的更新的车辆路径来确定前视点(look-ahead point)(以坐标表达为(xi,zi))。处理单元110可以从累积距离向量S提取前视点，并且该前视点可以与前视距离和前视时间相关联。前视距离可以具有范围为从10米至20米的下限，可以被计算为车辆200的速度和前视时间的乘积。例如，随着车辆200的速度下降，前视距离也可以减小(例如，直到它到达下限)。前视时间的范围可以从0.5到1.5秒，可以与关联于引起车辆200中的导航响应的诸如航向误差(heading error)跟踪控制环路的一个或多个控制环路的增益成反比。例如，该航向误差跟踪控制环路的增益可以取决于横摆角速率环路、转向致动器环路、汽车横向动力学等的带宽。因此，航向误差跟踪控制环路的增益越高，前视时间越短。
在步骤576，处理单元110可以基于在步骤574中确定的前视点来确定航向误差和横摆角速率命令。处理单元110可以通过计算前视点的反正切，例如arctan(xi/zi)来确定航向误差。处理单元110可以将横摆角率命令确定为航向误差和高水平控制增益的乘积。如果前视距离不在下限处，则高水平控制增益可以等于：(2/前视时间)。否则，高水平控制增益可以等于：(2×车辆200的速度/前视距离)。
图5F是示出了根据所公开的实施例的用于确定前方车辆是否正在改变车道的示例过程500F的流程图。在步骤580，处理单元110可以确定与前方车辆(例如，在车辆200前方行驶的车辆)相关联的导航信息。例如，处理单元110可以使用以上结合图5A和图5B所描述的技术来确定前方车辆的位置、速度(例如，方向和速度)和/或加速度。处理单元110还可以使用以上结合图5E所描述的技术来确定一个或多个道路多项式、前视点(与车辆200相关联)和/或追踪轨迹(snail trail)(例如，描述前方车辆所采取的路径的一组点)。
在步骤582，处理单元110可以分析在步骤580中确定的导航信息。在一个实施例中，处理单元110可以计算追踪轨迹和道路多项式之间的距离(例如，沿着该轨迹)。如果沿着该轨迹的这个距离的变化(variance)超过预定的阈值(例如，在直路上0.1至0.2米，在适度弯曲道路上0.3至0.4米，以及在急转弯道路上0.5至0.6米)，则处理单元110可以确定前方车辆很可能正在改变车道。在检测到多个车辆在车辆200前方行驶的情形中，处理单元110可以比较与每个车辆相关联的追踪轨迹。基于该比较，处理单元110可以确定追踪轨迹与其它车辆的追踪轨迹不匹配的车辆很可能正在改变车道。处理单元110可以额外地将(与前方车辆相关联的)追踪轨迹的曲率与前方车辆正在其中行驶的道路段的期望曲率相比较。该期望曲率可以从地图数据(例如，来自地图数据库160的数据)、从道路多项式、从其它车辆的追踪轨迹、从关于道路现有知识等提取。如果追踪轨迹的曲率和道路段的期望曲率的差异超过预定的阈值，则处理单元110可以确定前方车辆很可能正在改变车道。
在另一个实施例中，处理单元110可以在特定时间段(例如，0.5至1.5秒)将前方车辆的瞬时位置与(与车辆200相关联的)前视点相比较。如果前方车辆的瞬时位置与前视点之间的距离在该特定时间段期间变化，并且变化的累积总和超过预定阈值(例如，直路上0.3至0.4米，适度弯曲道路上0.7至0.8米，以及急转弯道路上1.3至1.7米)，则处理单元110可以确定前方车辆很可能正在改变车道。在另一实施例中，处理单元110可以通过将沿着追踪轨迹行驶的横向距离与该追踪路径的期望曲率相比较，来分析该追踪轨迹的几何形状。期望曲率半径可以根据公式确定：(δz 2+δx 2)/2/(δx)，其中δx表示行驶的横向距离以及δz表示的行驶的纵向距离。如果行驶的横向距离和期望曲率之间的差异超过预定阈值(例如，500至700米)，则处理单元110可以确定前方车辆很可能正在改变车道。在另一个实施例中，处理单元110可以分析前方车辆的位置。如果前方车辆的位置遮挡了道路多项式(例如，前车覆盖在道路多项式的上方)，则处理单元110可以确定前方车辆很可能正在改变车道。在前方车辆的位置是使得在前方车辆的前方检测到另一车辆并且这两个车辆的追踪轨迹不平行的情况下，处理单元110可以确定(较近的)前方车辆很可能正在改变车道。
在步骤584，处理单元110可以基于在步骤582进行的分析确定前方车辆200是否正在改变车道。例如，处理单元110可以基于在步骤582执行的各个分析的加权平均来做出该确定。在这种方案下，例如，由处理单元110基于特定类型的分析做出的前方车辆很可能正在改变通道的决定可以被分配值“1”(以及“0”用来表示前方车辆不太可能正在改变车道的确定)。在步骤582中执行的不同分析可以被分配不同的权重，并且所公开的实施例不限于分析和权重的任何特定组合。此外，在一些实施例中，所述分析可以利用经训练的系统(例如，机器学习或深度学习系统)，其可以例如基于在当前位置处捕捉的图像来估计在车辆当前位置前方的未来路径。
图6是示出了根据所公开的实施例的用于基于立体图像分析引起一个或多个导航响应的示例过程600的流程图。在步骤610，处理单元110可以经由数据接口128接收第一和第二多个图像。例如，被包含在图像获取单元120的相机(诸如具有视场202和204的图像捕捉设备122和124)可以捕捉在车辆200前方的区域的第一和第二多个图像，并经过数字连接(例如，USB、无线、蓝牙等)将它们传输到处理单元110。在一些实施例中，处理单元110可以经由两个或多个数据接口接收该第一和第二多个图像。所公开的实施例不限于任何特定的数据接口配置或协议。
在步骤620，处理单元110可以执行立体图像分析模块404来执行对第一和第二多个图像的立体图像分析，以创建在车辆前方的道路的3D地图并检测图像内的特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、道路危险等。立体图像分析可以以类似于以上结合图5A-图5D描述的步骤的方式来执行。例如，处理单元110可以执行立体图像分析模块404以在第一和第二多个图像内检测候选对象(例如，车辆、行人、道路标志、交通灯、道路危险等)，基于各种标准过滤掉候选对象的子集，并对剩余的候选对象执行多帧分析、构建测量、并确定置信度水平。在执行上述步骤中，处理单元110可以考虑来自第一和第二多个图像二者的信息，而不是来自单独一组图像的信息。例如，处理单元110可以分析出现在第一和第二多个图像二者中的候选对象的像素级数据(或来自捕捉图像的两个流中的其它数据子集)的差异。作为另一示例，处理单元110可以通过观察候选对象在多个图像的一个中出现而未在另一个中出现，或相对于可能相对于出现在两个图像流中的对象而存在的其它差异，来估计候选对象(例如，相对于车辆200)的位置和/或速度。例如，可以基于与出现在图像流的一个或两者中的对象相关联的轨迹、位置、移动特性等特征，来确定相对于车辆200的位置、速度和/或加速度。
在步骤630中，处理单元110可以执行导航响应模块408，以基于在步骤620中执行的分析和如以上结合图4所描述的技术而引起车辆200中的一个或多个导航响应。导航响应可以包括例如转向、车道变换、加速度的改变、速度的改变、制动等。在一些实施例中，处理单元110可以使用从速度和加速度模块406的执行得到的数据来引起该一个或多个导航响应。此外，多个导航响应可以同时地、按照顺序地、或以其任意组合而发生。
图7是示出了根据所公开的实施例的用于基于三组图像的分析来引起一个或多个导航响应的示例过程700的流程图。在步骤710中，处理单元110可以经由数据接口128接收第一、第二和第三多个图像。例如，被包含在图像获取单元120的相机(诸如具有视场202、204和206的图像捕捉设备122、124和126)可以捕捉在车辆200前方和/或侧方的区域的第一、第二和第三多个图像，并且经过数字连接(例如，USB、无线、蓝牙等)将它们传输到处理单元110。在一些实施例中，处理单元110可以经由三个或更多数据接口接收第一、第二和第三多个图像。例如，图像捕捉设备122、124、126的每个可以具有用于向处理单元110传送数据的相关联的数据接口。所公开的实施例不限于任何特定的数据接口配置或协议。
在步骤720，处理单元110可以分析该第一、第二和第三多个图像以检测图像内的特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、道路危险等。该分析可以以类似于以上结合图5A-图5D和图6所描述的步骤的方式来执行。例如，处理单元110可以对第一、第二和第三多个图像的每个执行单目图像分析(例如，经由单目图像分析模块402的执行以及基于以上结合图5A-图5D所描述的步骤)。可替代地，处理单元110可对第一和第二多个图像、第二和第三多个图像、和/或第一和第三多个图像执行立体图像分析(例如，经由立体图像分析模块404的执行以及基于以上结合图6所描述的步骤)。对应于第一、第二和/或第三多个图像的分析的处理后的信息可以进行组合。在一些实施例中，处理单元110可以执行单目和立体图像分析的组合。例如，处理单元110可以对第一多个图像执行单目图像分析(例如，经由单目图像分析模块402的执行)并且对第二和第三多个图像执行立体图像分析(例如，经由立体图像分析模块404的执行)。图像捕捉设备122、124和126—包括它们各自的位置和视场202、204和206—的配置可以影响对第一、第二和第三多个图像进行的分析的类型。所公开的实施例不限于图像捕捉设备122、124和126的特定配置或对第一、第二和第三多个图像进行的分析的类型。
在一些实施例中，处理单元110可以基于在步骤710和720所获取和分析的图像对系统100执行测试。这种测试可以提供对于图像获取设备122、124和126的某些配置的系统100的整体性能的指示符。例如，处理单元110可以确定“伪命中”(例如，系统100不正确地确定车辆或行人的存在的情况)和“漏掉”的比例。
在步骤730，处理单元110可以基于从第一、第二和第三多个图像中的两个得到的信息引起车辆200中的一个或多个导航响应。对第一、第二和第三多个图像中的两个的选择可以取决于各种因素，诸如例如在多个图像的每个中检测到的对象的数量、类型和大小。处理单元110还可以基于图像质量和分辨率、图像中反映的有效视场、捕捉的帧的数量、实际出现在帧中的一个或多个感兴趣的对象的程度(例如，其中出现有对象的帧的百分比、出现在每个这种帧中的对象的比例)等进行选择。
在一些实施例中，处理单元110可以通过确定从一个图像源得到的信息与从其它图像源得到的信息的相一致的程度，选择从第一、第二和第三多个图像中的两个得到的信息。例如，处理单元110可以将从图像捕捉设备122、124和126的每个得到的处理后的信息组合(无论通过单目分析、立体分析、还是两者的任意组合)，并确定在从图像捕捉设备122、124和126的每个捕捉到的图像之间相一致的视觉指示符(例如，车道标记、检测到的车辆及其位置和/或路径、检测到的交通灯等)。处理单元110还可以排除在捕捉到的图像之间不一致的信息(例如，正改变车道的车辆、指示车辆太靠近车辆200的车道模型等)。因此，处理单元110可以基于相一致和不一致的信息的确定，来选择从第一、第二和第三多个图像的两个得到的信息。
导航响应可以包括例如转向、车道变换、制动、加速度的改变等。处理单元110可以基于在步骤720所执行的分析和如以上结合图4所描述的技术引起一个或多个导航响应。处理单元110还可以使用从速度和加速度模块406的执行得到的数据引起一个或多个导航响应。在一些实施例中，处理单元110可以基于在车辆200与在第一、第二和第三多个图像的任一者内检测到的对象之间的相对位置、相对速度和/或相对加速度来引起一个或多个导航响应。多个导航响应可以同时地、按顺序地或以其任意组合而发生。
强化学习和经训练的导航系统
下面的部分讨论自主驾驶以及用于完成车辆的自主控制的系统和方法，无论该控制是完全自主的(自驾驶车辆)还是部分自主的(例如，一个或多个驾驶员辅助系统或功能)。如图8所示，自主驾驶任务可以被划分为三个主要模块，包括感测模块801、驾驶策略模块803和控制模块805。在一些实施例中，模块801、803和805可以被存储在系统100的存储器单元140和/或存储器单元150中，或者模块801、803和805(或其中的部分)可以远离系统100而被存储(例如，经由例如无线收发器172存储在系统100可访问的服务器中)。此外，本文公开的任何模块(例如，模块801、803和805)可以实施与经训练的系统(诸如神经网络或深度神经网络)或未经训练的系统相关联的技术。
可以使用处理单元110实施的感测模块801可以处理与感测主车辆的环境中的导航状态有关的各种任务。这些任务可能依赖于来自与主车辆相关联的各种传感器和感测系统的输入。这些输入可以包括来自一个或多个车载相机的图像或图像流、GPS位置信息、加速度计输出、用户反馈或到一个或多个用户接口设备的用户输入、雷达、激光雷达等。可以包括来自相机和/或任何其他可用的传感器的数据以及地图信息的感测可以被收集、分析并且制定成“感测到的状态”，该感测到的状态描述从主车辆的环境中的场景提取的信息。该感测到的状态可以包括与目标车辆、车道标记、行人、交通灯、道路几何结构、车道形状、障碍物、到其他对象/车辆的距离、相对速度、相对加速度有关的感测到的信息，以及任何其他潜在的感测到的信息。可以实施监督式机器学习，以便基于提供给感测模块801的感测到的数据产生感测状态输出。感测模块的输出可以表示主车辆的感测到的导航“状态”，其可以被传递至驾驶策略模块803。
尽管可以基于从与主车辆相关联的一个或多个相机或图像传感器接收的图像数据产生感测到的状态，但是还可以使用任何合适的传感器或传感器组合来产生在导航中使用的感测到的状态。在一些实施例中，可以在不依赖捕捉的图像数据的情况下产生感测到的状态。实际上，本文描述的任何导航原理可应用于基于捕捉的图像数据产生的感测到的状态以及使用其他基于非图像的传感器产生的感测到的状态。感测到的状态还可以经由主车辆外部的源来确定。例如，可以全部或部分地基于从远离主车辆的源接收的信息(例如，基于从其他车辆共享的、从中央服务器共享的、或来自与主车辆的导航状态有关的任何其他信息源的传感器信息、经处理的状态信息等)，来产生感测到的状态。
驾驶策略模块803(在下文作更详细地讨论并且可以使用处理单元110来实施)可以实施期望的驾驶策略，以便决定主车辆响应于感测到的导航状态要采取的一个或多个导航动作。如果在主车辆的环境中不存在其他作用者(agent)(例如，目标车辆或行人)，则可以以相对直接的方式处理输入到驾驶策略模块803的感测到的状态。当感测到的状态需要与一个或多个其他作用者进行协商时，任务变得更加复杂。用于生成驾驶策略模块803的输出的技术可以包括强化学习(下文更详细地讨论)。驾驶策略模块803的输出可以包括主车辆的至少一个导航动作，并且可以包括期望的加速度(其可以转化为主车辆的更新的速度)、主车辆的期望偏航率、期望的轨迹、以及其他潜在的期望导航动作。
基于来自驾驶策略模块803的输出，同样可以使用处理单元110实施的控制模块805产生用于与主车辆相关联的一个或多个致动器或受控设备的控制指令。这种致动器和设备可以包括加速器、一个或多个转向控制器、制动器、信号传输器、显示器或可以作为与主车辆相关联的导航操作的一部分而被控制的任何其它致动器或设备。控制理论的方面可以被用来生成控制模块805的输出。控制模块805可以负责产生并且输出指令至主车辆的可控组件，以便实施驾驶策略模块803的期望的导航目标或要求。
回到驾驶策略模块803，在一些实施例中，可以使用通过强化学习训练的经训练的系统来实施驾驶策略模块803。在其他实施例中，驾驶策略模块803可以在没有机器学习方法的情况下、通过使用指定的算法来“手动”解决自主导航期间可能出现的各种情景来实施。然而，这种方法虽然可行，但可能导致驾驶策略过于简单化，并且可能缺乏基于机器学习的经训练的系统的灵活性。例如，经训练的系统可能会更好地配备来处理复杂的导航状态，并且可以更好地确定出租车是在停车还是停下车来接/送乘客；确定行人是否意图穿过主车辆前的街道；具有防御性地平衡其他驾驶员的意外行为；在牵涉目标车辆和/或行人的密集交通中协商；决定何时暂停(suspend)某些导航规则或增强(augment)其他规则；预期未感测到但预期到的状况(例如，行人是否会从汽车或障碍物后面冒出)；等等。基于强化学习的经训练的系统还可以更好地配备来解决连续且高维度的状态空间以及连续的动作空间。
使用强化学习对系统进行训练可能涉及学习驾驶策略，以便从感测到的状态映射到导航动作。驾驶策略是函数π：S→A，其中S是一组状态，而
Figure BDA0001710761830000421
是动作空间(例如，期望的速度、加速度、偏航命令等)。状态空间是S＝Ss×Sp，其中Ss是感测状态，且Sp是关于该策略所保存的状态的附加信息。以离散的时间间隔工作，在时间t处，可以观察当前状态st∈S，并且可以应用该策略来获得期望的动作at＝π(st)。
可以通过暴露于各种导航状态来训练系统，从而使该系统应用该策略，提供奖励(基于被设计为奖励期望导航行为的奖励函数)。基于奖励反馈，该系统可以“学习”该策略，并且在产生期望导航动作过程中成为经训练的。例如，学习系统可以观察当前状态st∈S，并基于策略
Figure BDA0001710761830000422
来决定动作at∈A。基于所决定的动作(以及该动作的实施)，环境移至下一个状态st-1∈S，以由该学习系统观察。对于响应于观察到的状态而产生的每个动作，对该学习系统的反馈是奖励信号r1，r2，...。
强化学习(RL)的目标是找到策略π。通常假设：在时间t处，存在奖励函数rt，其测量处于状态st并采取动作at的瞬时质量。然而，在时间t处采取动作at影响了环境，并因此影响未来状态的值。因此，当决定采取何种动作时，不仅应考虑当前的奖励，还应考虑未来的奖励。在某些情况下，当系统确定在以下情形时，即使某一动作与低于另一个可用选项的奖励相关联，该系统也应采取该动作：如果现在采用较低奖励选项则在将来可能实现更大的奖励。为了对此形式化，观察到：策略π以及初始状态s归纳出在
Figure BDA0001710761830000431
上的分布，其中如果作用者在状态s0＝s处开始并从那里开始遵循策略π，则向量(r1,…,rT)的概率为观察奖励r1,…,rT的概率。初始状态s的值可定义为：
Figure BDA0001710761830000432
代替将时间范围限定为T，可以不考虑未来奖励来进行定义，对于一些固定的γ∈(0，1)：
Figure BDA0001710761830000433
在任何情况下，最佳策略是下式的解：
Figure BDA0001710761830000434
其中，期望(expectation)超过初始状态s。
有若干种可能用于训练驾驶策略系统的方法。例如，可以使用模仿(imitation)方法(例如，行为克隆)，在该方法中，系统从状态/动作对中学习，其中动作是好的作用者(例如，人类)响应于特定的观察到的状态而会选择的那些动作。假设观察人类驾驶员。通过这个观察，许多形式为(st,at)的示例(其中st是状态，而at是人类驾驶员的动作)可以被获得、观察并且用作训练驾驶策略系统的基础。例如，监督式学习可以用来学习策略π，使得π(st)≈at。这种方法有许多潜在的优点。首先，不要求定义奖励函数。其次，该学习是受监督的并且是离线发生的(不需要在学习过程中应用作用者)。这种方法的缺点在于：不同的人类驾驶员、甚至是相同的人类驾驶员在其策略选择中并不是确定性的。因此，对于||π(st)-at||非常小的函数的学习通常是不可行。而且，随着时间的推移，即使是小的误差也可能会累积而产生较大的误差。
可以采用的另一种技术是基于策略的学习。此处，可以以参数形式来表达策略，并且使用合适的优化技术(例如，随机梯度下降)直接对策略进行优化。该方法是直接对
Figure BDA0001710761830000441
中给出的问题进行求解。当然还有很多方法可以解决这个问题。这种方法的一个优点在于：其直接解决了问题，因此往往导致良好的实际结果。一个潜在的缺点是：其往往需要“在线策略”训练，即π的学习是迭代过程，其中在迭代j时我们具有非完美的策略πj，并为了构造下一个策略πj，我们必须在基于πj动作时与环境进行交互。
系统还可以通过基于值的学习(学习Q或V函数)来训练。假设，良好近似能够学习到最佳值函数V*。可以构建最佳策略(例如，依靠贝尔曼方程(Bellman equation))。有些版本的基于值的学习可以离线实施(称为“离线策略”训练)。基于值的方法的一些缺点可能是由于其强烈依赖于马尔可夫假设(Markovian assumptions)以及需要对复杂函数的近似(相比直接对策略近似，对值函数的近似可能更难)。
另一种技术可以包括基于模型的学习和规划(学习状态转换的概率并对寻找最优V的优化问题求解)。这些技术的组合也可以用来训练学习系统。在这种方法中，可以学习过程的动态性，即，采取(st,at)并在下一个状态st+1上产生分布的函数。一旦学习了这个函数，可以求解最佳问题，以找到其值为最佳的策略π。这就是所谓的“规划”。这种方法的一个优点可能在于：学习部分受到监督，并且可以通过观察三元组(st,at,st+1)而被离线应用。类似于“模仿”方法，这种方法的一个缺点可能在于：学习过程中小的误差可能积累并产生未充分执行的策略。
用于训练驾驶策略模块803的另一种方法可以包括将驾驶策略函数分解为语义上有意义的分量。这允许手动实施该策略的某些部分，这可以确保策略的安全性；并且可以使用强化学习技术来实施策略的其他部分，这可以适应性地实现于许多情景、防御性/侵占性行为之间的类似于人的平衡、以及与其他驾驶员的类似于人的协商。从技术角度而言，强化学习方法可以结合几种方法，并提供易于操作的训练程序，其中大部分训练可以使用记录的数据或自行构建的模拟器来执行。
在一些实施例中，驾驶策略模块803的训练可以依赖于“选项”机制。为了说明，考虑双车道高速公路的驾驶策略的简单情景。在直接RL方法中，策略π将状态映射到
Figure BDA0001710761830000442
其中π(s)的第一个分量是期望的加速度命令，π(s)的第二个分量是偏航率。在经修改的方法中，可以构建以下策略：
自动巡航控制(ACC)策略，oACC：S→A：该策略总是输出为0的偏航率，并且仅改变速度以实现平稳且无事故的驾驶。
ACC+左策略，oL：S→A：该策略的纵向命令与ACC命令相同。偏航率是将车辆朝左车道的中间居中同时确保安全的横向移动(例如，如果在左侧有车，则不向左移动)的直接实施方式。
ACC+右策略，oR：S→A：与oL相同，但是车辆可以朝右车道的中间居中。
这些策略可以被称为“选项”。依靠这些“选项”，可以学习选择了选项的策略πo：S→O，其中O是一组可用选项。在一个情况下，O＝{oACC，oL，oR}。选项选择器策略πo通过对每个s设置
Figure BDA0001710761830000451
来定义实际的策略π：S→A。
实践中，策略函数可以被分解为选项图901，如图9所示。图10中示出了另一个示例选项图1000。选项图可以表示被组织为有向非循环图(DAG)的分层决策集。存在一个称为图的根(root)节点903的特殊节点。该节点不具有进入(incoming)节点。决策过程从根节点开始遍历整个图，直到其到达“叶”节点，该叶节点是指没有外出(outgoing)决策线的节点。如图9所示，叶节点可以包括例如节点905、907和909。在遇到叶节点时，驾驶策略模块803可以输出与期望导航动作相关联的加速和转向命令，该期望导航动作与叶节点相关联。
例如，内部节点(诸如节点911、913和915)可引起一策略的实施，该策略在其可用选项中选择子代(child)。内部节点的可用子代的集合包括经由决策线与特定内部节点相关联的所有节点。例如，图9中被指定为“并道(merge)”的内部节点913包括各自通过决策线与节点913相连的三个子代节点909、915和917(分别为“保持”、“右超车”和“左超车”)。
决策制定系统的灵活性可以通过使节点能够调节其在选项图的层级中的位置而获得。例如，可以允许任何节点声明自己为“关键”。每个节点可以实施“是关键的(iscritical)”的函数，如果节点处于其策略实施的关键部分，则该函数输出“真”。例如，负责接管的节点可以在操纵中途声明自己为关键。这可对节点u的可用子代的集合施加约束，该节点u的可用子代可以包括作为节点u的子代的所有节点v，并且存在从v到叶节点的经过被指定为关键的所有节点的路径。一方面，这种方法可以允许在每个时间步骤在图上声明期望路径，同时另一方面，可以保留策略的稳定性，特别是在策略的关键部分正在被实施时。
通过定义选项图，学习驾驶策略π：S→A的问题可以被分解成为图中的每个节点定义策略的问题，其中内部节点处的策略应当从可用的子代节点之中进行选择。对于一些节点，相应的策略可以手动实现(例如，通过如果-则(if-then)类型算法来指定响应于观察到的状态的一组动作)，而对于其他策略可以使用通过强化学习构建的经训练的系统来实施。手动或经训练/学习的方法之间的选择可以取决于与任务相关联的安全方面以及取决于其相对简单性。选项图可以以使得一些节点直接实施的方式构建，而其他节点可以依赖于经训练的模型。这种方法可以确保系统的安全运行。
以下讨论提供了关于在驾驶策略模块803内的图9中的选项图的作用的进一步细节。如上所述，对驾驶策略模块的输入是“感测到的状态”，其概括了环境图，例如，从可用的传感器获得的。驾驶策略模块803的输出是一组期望(可选地连同一组硬性约束)，该组期望将轨迹定义为对优化问题的求解。
如上所述，选项图表示被组织为DAG的分层决策集。存在称为图的“根”的特殊节点。根节点是没有进入边(例如，决策线)的唯一节点。决策过程从根节点开始遍历该图，直到其到达“叶”节点，所述叶节点即没有外出边的节点。每个内部节点应当实施在其可用的子代之中挑选一个子代的策略。每个叶节点应实施基于从根到叶的整个路径定义了一组期望(例如，主车辆的一组导航目标)的策略。该组期望连同基于感测到的状态而被直接定义的一组硬性约束一起建立了优化问题，该优化问题的解是车辆的轨迹。可以采用硬性约束来进一步提高系统的安全性，并且该期望可以用于提供系统的驾驶舒适性和类似于人的驾驶行为。作为优化问题的解而提供的轨迹又定义了应该提供给转向、制动和/或引擎致动器的命令，以便完成该轨迹。
返回图9，选项图901表示双车道高速公路的选项图，包括并入车道(意味着在某些点，第三车道并入到高速公路的右侧车道或左侧车道中)。根节点903首先决定主车辆是处于普通道路情景还是接近并道情景。这是可以基于感测状态而实施的决策的示例。普通道路节点911包括三个子节点：保持节点909、左超车节点917和右超车节点915。保持是指主车辆想要继续在相同车道中行驶的情况。保持节点是叶节点(没有外出边/线)。因此，保持节点定义了一组期望。其定义的第一个期望可以包括期望的横向位置——例如，尽可能靠近当前行驶车道的中心。还可以期望平稳地导航(例如，在预定的或允许的加速度最大值内)。保持节点还可以定义主车辆如何对其他车辆作出反应。例如，保持节点可以查看感测到的目标车辆并且为每个分配语义含义，该语义含义可以被转换成轨迹的分量。
各种语义含义可以被分配给主车辆的环境中的目标车辆。例如，在一些实施例中，语义含义可以包括以下指定中的任何：1)不相关：指示场景中感测到的车辆当前不相关；2)下一车道：指示感测到的车辆在相邻车道中并且相对于该车辆应当保持适当的偏移(精确的偏移可以在优化问题中计算，该优化问题在给定期望和硬性约束下构建轨迹，并且该精确的偏移可以潜在地是取决于车辆的——选项图的保持叶设定目标车辆的语义类型，其定义相对于目标车辆的期望)；3)让路：主车辆将尝试通过例如降低速度(特别是在主车辆确定目标车辆可能切入主车辆的车道的情况下)让路给感测到的目标车辆；4)占道(takeway)：主车辆将尝试通过例如增加速度占用路的权利；5)跟随：主车辆期望跟随在该目标车辆后保持平稳驾驶；6)左/右超车：这意味着主车辆想要发起到左或右车道的变道。左超车节点917和左超车节点915是尚未定义期望的内部节点。
选项图901中的下一个节点是选择间隙节点919。该节点可以负责选择主车辆期望进入的特定目标车道中的两个目标车辆之间的间隙。通过选择形式IDj的节点，对于j的某个值，主车辆到达为轨迹优化问题指定了期望的叶——例如，主车辆希望进行操纵以便到达所选择的间隙。这种操纵可能涉及首先在当前车道加速/制动，然后在适当的时间前往目标车道以进入所选择的间隙。如果选择间隙节点919不能找到适当的间隙，则其移动到中止节点921，所述中止节点921定义了回到当前车道的中心并取消超车的期望。
返回到并道节点913，当主车辆接近并道时，其具有可取决于特定情况的若干选项。例如，如图11A所示，主车辆1105沿着双车道道路行驶，其中在双车道道路的主车道或并入车道1111中没有检测到其他目标车辆。在这种情况下，驾驶策略模块803在到达并道节点913时可以选择保持节点909。也就是说，在没有目标车辆被感测为并道到道路上的情况下，可以期望保持在其当前车道内。
在图11B中，情况稍有不同。此处，主车辆1105感测从并入车道1111进入主要道路1112的一个或多个目标车辆1107。在这种情况下，一旦驾驶策略模块803遇到并道节点913，它可以选择发起左超车操纵，以避免并道情况。
在图11C中，主车辆1105遇到从并入车道1111进入主要道路1112的一个或多个目标车辆1107。主车辆1105还检测在与主车辆的车道相邻的车道中行驶的目标车辆1109。主车辆还检测到在与主车辆1105相同的车道上行驶的一个或多个目标车辆1110。在这种情况下，驾驶策略模块803可以决定调节主车辆1105的速度，以为目标车辆1107让路并且行进在目标车辆1115前面。这可以例如通过进行到选择间隙节点919来实现，该间隙节点919又将选择ID0(车辆1107)和ID1(车辆1115)之间的间隙作为适当的并道间隙。在这种情况下，并道情况的适当间隙定义了轨迹规划器优化问题的目标。
如上所述，选项图的节点可以将其自己声明为“关键”，这可以确保所选择的选项通过关键节点。形式上，每个节点可以实施IsCritical函数。在选项图上从根到叶执行正向传递，并且对轨迹规划器的优化问题求解之后，可以从叶返回到根执行反向传递。沿着这个反向传递，可以调用传递中所有节点的IsCritical函数，并且可以保存所有关键节点的列表。在对应于下一时间帧的正向路径中，驾驶策略模块803可能需要选择从根节点到叶的经过所有关键节点的路径。
图11A至图11C可用于显示该方法的潜在益处。例如，在发起超车动作并且驾驶策略模块803到达对应于IDk的叶的情况下，例如当主车辆处于超车操纵的中途时，选择保持节点909将会是不期望。为了避免这种跳动，IDj节点可以将其自己指定为关键。在操纵期间，可以监测轨迹规划器的成功，并且如果超车操纵按预期进行，则函数IsCritical将返回“真”值。此方法可以确保在接下来的时间帧内，超车操纵将继续(而不是跳到另一个在完成最初选择的操纵之前潜在不一致的操纵)。另一方面，如果对操纵的监测指示所选择的操纵没有按预期进行，或者如果操纵变得不必要或不可能，则IsCritical函数可以返回“假”值。这可以允许选择间隙节点在下一时间帧中选择不同的间隙，或完全中止超车操纵。此方法一方面可以允许在每个时间步骤在选项图上声明期望的路径，同时在另一方面，可以在执行的关键部分时帮助提高策略的稳定性。
硬性约束可以与导航期望不同，这将在下面更详细地讨论。例如，硬性约束可以通过对规划的导航动作应用附加的过滤层来确保安全驾驶。可以根据感测到的状态来确定所涉及的硬性约束，所述硬性约束可以被手动编程和定义，而不是通过使用基于强化学习建立的经训练的系统。然而，在一些实施例中，经训练的系统可以学习要应用和遵循的可适用的硬性约束。这种方法可以促使驾驶策略模块803到达已经符合可适用的硬性约束的所选动作，这可以减少或消除可能需要之后修改以符合可适用的硬性约束的所选动作。尽管如此，作为冗余安全措施，即使在驾驶策略模块803已经被训练以应对预定硬性约束的情况下，也可以对驾驶策略模块803的输出应用硬性约束。
存在许多潜在的硬性约束的示例。例如，可以结合道路边缘上的护栏来定义硬性约束。在任何情况下，主车辆均不允许通过护栏。这种规则对主车辆的轨迹产生了硬性横向约束。硬性约束的另一个示例可以包括道路颠簸(例如，速度控制颠簸)，其可以在颠簸之前以及正穿过颠簸时引起对驾驶速度的硬性约束。硬性约束可以被认为是严格安全的，因此可以手动定义，而不是仅仅依靠在训练期间学习约束的经训练的系统。
与硬性约束相比，期望的目标可以是实现或达到舒适的驾驶。如以上所讨论的，期望的示例可以包括将主车辆置于车道内的与主车辆车道的中心对应的横向位置处的目标。另一个期望可能包括适合进入的间隙的ID。注意，主车辆不需要精确地处于车道中心，而是期望尽可能靠近即使在偏离车道中心的情况下也确保主车辆倾向于迁移到车道的中心的位置。期望可以不是严格安全的。在一些实施例中，期望可能需要与其他驾驶员和行人协商。构建期望的一种方法可以依赖于选项图，并且在图的至少一些节点中实现的策略可以基于强化学习。
对于实现为基于学习训练的节点的选项图901或1000的节点，训练过程可以包括将问题分解成监督式学习阶段和强化学习阶段。在监督式学习阶段，可以学习从(st,at)到
Figure BDA0001710761830000492
的可微(differentiable)映射，使得
Figure BDA0001710761830000491
这可能类似于“基于模型”的强化学习。然而，在网络的前向环路中，可以用st+1的实际值来代替
Figure BDA0001710761830000494
从而消除了误差累积的问题。
Figure BDA0001710761830000493
预测的作用是将消息从未来传播回过去的动作。从这个意义上讲，该算法可以是“基于模型”的强化学习与“基于策略的学习”的组合。
在某些情景下可能提供的重要元素是从未来损失/奖励回到对动作的决策的可微路径。通过选项图结构，涉及安全约束的选项的实现通常是不可微的。为了克服这个问题，对学习的策略节点中的子代的选择可以是随机的。也就是说，节点可以输出概率向量p，其分配在选择特定节点的每个子代中使用的概率。假设节点有k个子代，并令a(1)，...，a(k)为从每个子代到叶的路径的动作。所得到的预测动作因此为
Figure BDA0001710761830000501
这可能导致从该动作到p的可微路径。在实践中，动作a可以被选择为对于i～p的a(i)，并且a和
Figure BDA0001710761830000502
之间的差可以被称为加性噪声。
对于给定st,at下
Figure BDA0001710761830000503
的训练，可以将监督式学习与真实数据一起使用。对于节点策略的训练，可以使用模拟器。之后，可以使用真实数据完成策略的微调。两个概念可以使模拟更加真实。首先，使用模仿，可以使用“行为克隆”范式，使用大型现实世界数据集来构建初始策略。在某些情况下，所得到的作用者可能是合适的。在其他情况下，所得到的作用者至少为道路上的其他作用者形成了非常好的初始策略。其次，使用自我发挥(self-play)，我们自己的策略可被用来加强训练。例如，给定了可能是有经验的其他作用者(汽车/行人)的初步实施，则可以基于模拟器对策略进行训练。一些其他作用者可被新的策略取代，并且可以重复该过程。因此，该策略能够继续改善，因为其应该对更多种类的具有不同复杂等级的其他作用者做出响应。
此外，在一些实施例中，系统可以实施多作用者的方法。例如，该系统可以考虑来自各种源的数据和/或从多个角度捕捉的图像。此外，一些公开的实施例可以提供能量的经济性，因为可以考虑不直接涉及主车辆但对主车辆可能产生影响的事件的预期，或者甚至对可导致涉及其他车辆的情况的不可预测情况的事件的预期可以是考虑因素(例如，雷达可能会“看穿(see through)”前方车辆以及不可避免的预期、或者甚至将影响主车辆的事件的高可能性)。
具有施加的导航约束的经训练的系统
在自主驾驶的情况下，重要关注的是如何确保经训练的导航网络的经学习的策略是安全的。在一些实施例中，可以使用约束来训练驾驶策略系统，使得由经训练的系统选择的动作可以已经应对(account for)可适用的安全约束。另外，在一些实施例中，可以通过将经训练的系统的所选动作经过主车辆的环境中的特定的感测到的场景所涉及的一个或多个硬性约束来提供额外的安全层。这种方法可以确保主车辆采取的动作仅限于被确认为满足可适用的安全约束的那些动作。
作为其核心，导航系统可以包括基于将观察到的状态映射到一个或多个期望动作的策略函数的学习算法。在一些实施方式中，学习算法是深度学习算法。期望动作可以包括预期使车辆的预期奖励最大化的至少一个动作。虽然在一些情况下，车辆采取的实际动作可以对应于期望动作中的一个，但是在其他情况下，可以基于观察到的状态、一个或多个期望动作和对学习导航引擎施加的非学习的硬性约束(例如，安全约束)来确定采取的实际动作。这些约束可以包括围绕各种类型的检测到的对象(例如，目标车辆、行人、道路侧或道路上的静止对象、道路侧或道路上的移动对象、护栏等等)的禁止驾驶区。在一些情况下，该禁止驾驶区的大小可以基于检测到的对象的检测到的运动(例如，速度和/或方向)而变化。其他约束可以包括在行人的影响区内穿行时的最大行驶速度、最大减速率(来应对主车辆后方的目标车辆间距)、在感测到的人行横道或铁路道口处的强制停止等。
与通过机器学习训练的系统结合使用的硬性约束可以在自主驾驶中提供一定程度的安全性，其可以超过仅基于经训练的系统的输出的可达到的安全性程度。例如，机器学习系统可以使用期望的一组约束作为训练指导来训练，并且因此，经训练的系统可以响应于感测到的导航状态而选择动作，该动作应对并遵守可适用的导航约束的限制。然而，经训练的系统在选择导航动作方面仍具有一定的灵活性，并且因此，至少在某些情况下，由经训练的系统选择的动作可以不严格遵守相关的导航约束。因此，为了要求所选动作严格遵守相关的导航约束，可以使用在学习/经训练的框架之外的、保证严格适用相关的导航约束的非机器学习组件对经训练的系统的输出进行组合、比较、过滤、调节、修改等。
以下讨论提供了关于经训练的系统以及从将经训练的系统与经训练的/学习框架外的算法组件组合的潜在益处(特别是从安全角度而言)的附加细节。如前所述，策略的强化学习目标可以通过随机梯度上升来优化。目标(例如，预期奖励)可以被定义为
Figure BDA0001710761830000511
涉及预期的目标可以用于机器学习场景中。然而，这样的目标，在不受限于导航约束的情况下，可能不会返回严格受限于这些约束的动作。例如，考虑一奖励函数，其中，
Figure BDA0001710761830000514
表示要避免罕见的“困境(corner)”事件(例如，诸如事故)的轨迹，而
Figure BDA0001710761830000512
表示其余的轨迹，学习系统的一个目标可以是学习执行超车操纵。通常，在无事故的轨迹中，
Figure BDA0001710761830000513
将会奖励成功、平稳的超车，并且惩罚在车道中停留而未完成超车——因此，范围为[-1,1]。如果序列
Figure BDA0001710761830000521
代表事故，那么奖励-r应该提供足够高的惩罚来阻止这种事件发生。问题是确保无事故驾驶的值r应该是什么。
观察到，事故对
Figure BDA0001710761830000522
的影响是附加项-pr，其中p是具有事故事件的轨迹的概率质量。如果该项是可以忽略不计的，即，p＜＜1/r，则学习系统可以倾向于执行了事故的策略(或者通常采用不计后果的驾驶策略)，以便成功地履行超车操纵，而不是以某些超车操纵没有成功完成为代价而会更加防御性的策略。换言之，如果事故的概率至多为p，那么必须设定r使得r＞＞1/p。可以期望使p非常小(例如，在p＝10-9的数量级)。因此，r应该很大。在策略梯度中，可以估计
Figure BDA0001710761830000523
的梯度。以下引理表明，随机变量
Figure BDA0001710761830000524
的方差随着pr2而变大，该方差对于r＞＞1/p而言是大于r的。因此，估计目标可能是困难的，估计其梯度可能更加困难。
引理：令πo为策略，并且令p和r是标量，使得在概率p下获得
Figure BDA00017107618300005214
并且在概率1-p下我们获得
Figure BDA0001710761830000525
然后，
Figure BDA0001710761830000526
其中，最终近似适用于r≥1/p的情况。
该讨论表明，形式为
Figure BDA0001710761830000527
的目标可能不会确保功能性安全而不引起方差问题。用于降低方差的基线减法方法可能无法为问题提供足够的补救措施，因为该问题将从
Figure BDA0001710761830000528
的高方差转移到基线常数的同样高的方差，该基线常数的估计同样会受到数值不稳定性的影响。并且，如果事故的概率为p，那么在获得事故事件之前，应平均对至少1/p个序列(sequences)进行采样。这意味着用于旨在使
Figure BDA0001710761830000529
最小化的学习算法的序列的样本的下限为1/p个。这个问题的解可以在本文描述的架构设计中找到，而不是通过数字调节技术。此处的方法是基于这样的观念，即硬性约束应该在学习框架之外注入。换言之，策略函数可以分解为可学习部分和不可学习部分。形式上，策略函数可以被构造为
Figure BDA00017107618300005210
其中
Figure BDA00017107618300005211
将(不可知的)状态空间映射到一组期望(例如，期望的导航目标等)，而π(T)将该期望映射到轨迹(其可确定汽车在短距离内应该如何移动)。函数π(T)负责驾驶的舒适性和制定策略性决定，诸如哪些其他汽车应该被超车或被让路、以及什么是主车辆在其车道内的期望位置等等。从感测到的导航状态到期望的映射是策略
Figure BDA00017107618300005212
其可以从通过使预期奖励最大化的经验中学习。由
Figure BDA00017107618300005213
产生的期望可以转化为对于驾驶轨迹的代价函数。函数π(T)并非学习的函数，其可以通过找到使在功能性安全方面受到硬性约束的代价最小化的轨迹来实现。这种分解可以确保功能性安全，与此同时提供舒适的驾驶。
如图11D所示，双并道导航情况提供了进一步示出这些概念的示例。在双并道中，车辆从左侧和右侧两侧接近并道区域1130。并且，来自各侧的车辆(诸如车辆1133或车辆1135)可以决定是否并道至并道区域1130的另一侧的车道中。在繁忙交通中成功执行双并道可能需要显著的协商技巧和经验，并且可能难以通过枚举场景中所有作用者可能采取的所有可能的轨迹而以启发式或蛮力方法来执行。在该双并道的示例中，可以定义适合于双并道操纵的一组期望
Figure BDA0001710761830000531
Figure BDA0001710761830000532
可以是以下集合的笛卡尔乘积：
Figure BDA0001710761830000533
其中，[0,vmax]是主车辆的期望的目标速度，L＝{1,1.5,2,2.5,3,3.5,4}是以车道为单位的期望的横向位置，其中整数表示车道中心，分数表示车道边界，而{g,t,o}是分配给n个其他车辆中的每个的分类标签。如果主车辆要给另一车辆让路，则另一车辆可以被分配“g”，如果主车辆要相对于另一车辆占道，则另一车辆可以被分配“t”，或者如果主车辆要相对于另一车辆保持一偏移，则另一车辆可以分配“o”。
下面描述了一组期望
Figure BDA0001710761830000534
如何可以转化为对于驾驶轨迹的代价函数。驾驶轨迹可以由(x1，y1)，...，(xk，yk)表示，其中(xi，yi)为主车辆在时间τ·i处的(横向，纵向)位置(以自我为中心的单位)，在一些实验中，τ＝0.1秒并且k＝10。当然，还可以选择其他值。分配给轨迹的代价可以包括分配给期望的速度、横向位置以及分配给其他n个车辆中的每个车辆的标签的个体代价的加权总和。
给定期望的速度υ∈[0，υmax]，与速度相关联的轨迹的代价为
Figure BDA0001710761830000535
给定期望的横向位置l∈L，与期望的横向位置相关联的代价为
Figure BDA0001710761830000536
其中dist(x,y,l)是从点(x,y)到车道位置l的距离。关于由于其他车辆导致的代价，对于任何其他车辆，(x′1，y′1)，...，(x′k，y′k)可以表示以主车辆的以自我为中心的单位的其他车辆，并且i可以是最早的点，存在j，使得(xi,yi)与(x’j,y’j)之间的距离很小。如果没有这样的点，则i可被设置为i＝∞。如果另一车辆被分类为“让路”，则可能期望τi＞τj+0.5，这意味着主车辆将在另一车辆到达同一点后至少0.5秒后到达轨迹相交点。用于将上述约束转换为代价的可能公式为[τ(j-i)+0.5]+。
同样，如果另一车辆被分类为“占道”，可能期望τj＞τi+0.5，这可能会转化为代价[τ(i-j)+0.5]+。如果另一车辆被分类为“偏移”，则可能期望i＝∞，这意味着主车辆的轨迹和偏移车的轨迹不相交。这种情况可以通过相对于轨迹之间的距离进行惩罚来转化为代价。
为这些代价中的每一个分配权重可以为轨迹规划器提供单个目标函数π(T)。鼓励平稳驾驶的代价可以被增加至该目标。而且，为了确保轨迹的功能性安全，可以将硬性约束增加至该目标。例如，可以禁止(xi,yi)离开道路，并且如果|i–j|小，则可以禁止(xi,yi)接近(x’j,y’j)((x’j,y’j)表示任何其他车辆的任何轨迹点(x’j,y’j))。
总而言之，策略πθ可以被分解成从不可知状态到一组期望的映射以及从期望到实际轨迹的映射。后一种映射不是基于学习的，并且可以通过求解优化问题来实现，该优化问题的代价取决于期望，并且其硬性约束可以保证该策略的功能性安全。
以下讨论描述从不可知状态到该组期望的映射。如上所述，为了符合功能性安全，仅依靠强化学习的系统可能遭受关于奖励
Figure BDA0001710761830000544
的高且不便利的方差。通过使用策略梯度迭代将问题分解成从(不可知的)状态空间到一组期望的映射，然后通过映射到不涉及基于机器学习训练的系统的实际轨迹，可以避免该结果。
出于各种原因，决策制定可以被进一步分解为语义上有意义的分量。例如，
Figure BDA0001710761830000541
的大小可能是大的甚至连续的。在关于图11D的上面描述的双并道场景中，
Figure BDA0001710761830000542
另外，梯度估计器可能涉及项
Figure BDA0001710761830000543
在这样的表达式中，方差可以随着时间范围T增长。在某些情况下，T的值可大致为250，这可能足以产生显著的方差。假设采样率在10Hz范围内，并且并道区域1130为100米，则并道的准备可以在并道区域之前大约300米处开始。如果主车辆以每秒16米(约每小时60公里)的速度行驶，则对于片段的T的值可以大致为250。
回到选项图的概念，图11E中示出了可以表示图11D中描绘的双并道情景的选项图。如前所述，选项图可以表示组织为有向非循环图(DAG)的分层决策集。在该图中可能存在被称为“根”节点1140的特殊节点，该节点可以是没有进入边(例如，决策线)的唯一节点。决策过程可以从根节点开始遍历该图，直到其到达“叶”节点，即，没有外出边的节点。每个内部节点可以实施从其可用子代中选择一子代的策略函数。可以存在从选项图上的一组遍历到一组期望
Figure BDA0001710761830000551
的预定映射。换言之，在选项图上遍历可以被自动转换为
Figure BDA0001710761830000552
中的期望。给定图中的一节点v，参数向量θv可以指定选择v的子代的策略。如果θ是所有θv的联结(concatenation)，那么，可以通过从图的根遍历到树叶来定义
Figure BDA0001710761830000553
同时在每个节点v处使用由θv定义的策略来选择子代节点。
在图11E中的双并道选项图1139中，根节点1140可首先判定主车辆是否在并道区域内(例如，图11D中的区域1130)，或者主车辆是否正在接近并道区域并且需要为可能的并道做准备。在这两种情况下，主车辆可能需要决定是否改变车道(例如，向左或向右)或是否保持在当前车道中。如果主车辆已决定改变车道，则主车辆可能需要决定条件是否适合继续并执行车道改变操纵(例如，在“继续”节点1142处)。如果不可能改变车道，则主车辆可以试图通过以处于车道标记上为目标，而朝着期望的车道“推进”(例如，在节点1144处，作为与期望车道中的车辆的协商的一部分)。替代地，主车辆可以选择“保持”在同一车道中(例如，在节点1146处)。这种过程可以以自然的方式确定主车辆的横向位置。例如，
这可以实现以自然的方式确定期望的横向位置。例如，如果主车辆将车道从车道2改变为车道3，则“继续”节点可以将期望的横向位置设置为3，“停留”节点可以将期望的横向位置设置为2，而“推进”节点可以将期望的横向位置设置为2.5。接下来，主车辆可以决定是维持“相同”速度(节点1148)、“加速”(节点1150)或是“减速”(节点1152)。接下来，主车辆可以进入超越其他车辆并且将它们的语义含义设置为集合{g,t,o}中的值的“链状”结构1154。这个过程可以设置相对于其他车辆的期望。该链中所有节点的参数可以共享(类似于递归神经网络)。
选项的潜在益处是结果的可解释性。另一个潜在益处在于可以依赖集合
Figure BDA0001710761830000554
的可分解结构，并且因此，可以从少数的概率之中选择每个节点处的策略。另外，该结构可以允许降低策略梯度估计器的方差。
如上所述，双并道场景中片段的长度可以大致为T＝250个步骤。这样的值(或取决于特定的导航场景的任何其他合适的值)可以提供足够的时间来看到主车辆动作的后果(例如，如果主车辆决定改变车道作为并道的准备，主车辆仅在成功完成并道后才能看到益处)。另一方面，由于驾驶的动态性，主车辆必须以足够快的频率(例如，在上述情况下为10Hz)做出决定。
选项图可以实现以至少两种方式降低T的有效值。首先，给定更高等级的决策，可以为较低等级的决策定义奖励，同时考虑较短的片段。例如，当主车辆已经选择了“车道改变”和“继续”节点时，通过观看2至3秒的片段(意味着T变为20-30，而不是250)，可以学习用于为车辆分配语义含义的策略。其次，对于高等级决定(诸如是否改变车道或保持在同一车道)，主车辆可能不需要每0.1秒做出决策。替代地，主车辆能够以较低频率(例如，每秒)作出决策，或者实现“选项终止”功能，然后可以仅在每次选项终止之后计算梯度。在这两种情况下，T的有效值可能比其原始值小一个数量级。总而言之，每个节点的估计器可以取决于T的值，其比原来的250个步骤小一个数量级，这可能会立即转到一个较小的方差。
如上所述，硬性约束可以促进更安全的驾驶，并且可以存在几种不同类型的约束。例如，可以直接根据感测状态定义静态硬性约束。这些硬性约束可包括在主车辆的环境内的减速带、速度限制、道路弯曲、交叉口等，其可能涉及对车辆速度、航向、加速、制动(减速)等的一个或多个约束。静态硬性约束可能还包括语义上的自由空间，其中，例如，主车辆被禁止驶出自由空间之外，以及被禁止太靠近物理障碍行驶。静态硬性约束还可以限制(例如，禁止)不符合车辆的运动学运动的各个方面的操纵，例如，可以使用静态硬性约束来禁止可能导致主车辆翻转、滑动或者其他失去控制的操纵。
硬性约束还可以与车辆相关联。例如，可以采用一约束，该约束要求车辆保持到其他车辆的至少一米的纵向距离和到其他车辆的至少0.5米的横向距离。还可以应用约束，使得主车辆将避免保持与一个或多个其他车辆冲突的路线。例如，时间τ可以是基于特定场景的时间度量。可以从当前时间到时间τ考虑主车辆和一个或多个其他车辆的预测轨迹。在两条轨迹相交的情况下，
Figure BDA0001710761830000561
可以表示车辆i到达和离开相交点的时间。也就是说，每辆汽车将在汽车的第一部分通过相交点时到达该点处，并且在汽车的最后部分通过该相交点之前需要一时间量。该时间量将到达时间与离开时间分开。假设
Figure BDA0001710761830000562
(即，车辆1的到达时间小于车辆2的到达时间)，那么我们将希望确保车辆1在车辆2到达之前已经离开相交点。否则，将会导致碰撞。因此，可以实施使得
Figure BDA0001710761830000563
的硬性约束。并且，为了确保车辆1和车辆2以最小量彼此错开，通过将缓冲时间(例如，0.5秒或另一适当值)包括在约束中，可以获得附加的安全余量。与两车辆的预测的相交轨迹有关的硬性约束可以表示为
Figure BDA0001710761830000571
主车辆和一个或多个其他车辆的轨迹被追踪的时间量τ可以变化。然而，在交叉口场景中，速度可能更低，τ可能更长，并且τ可以被定义为使得主车辆将在小于τ秒内进入和离开交叉口。
当然，对车辆轨迹应用硬性约束要求预测那些车辆的轨迹。对于主车辆而言，轨迹预测可能相对直接，因为主车辆通常已经理解并且事实上正在在任何给定时间对预期轨迹进行规划。相对于其他车辆，预测它们的轨迹可能不那么简单。对于其他车辆而言，用于确定预测轨迹的基线计算可以依赖于其他车辆的当前速度和航向，例如，如基于对由主车辆上的一个或多个相机和/或其他传感器(雷达、激光雷达、声学等)捕捉的图像流的分析所确定的。
然而，可能存在一些例外，其可以简化问题或者至少提供在针对另一车辆预测的轨迹中增加的置信度。例如，对于存在车道指示的结构化道路以及可能存在让路规则的情况，其他车辆的轨迹可以至少部分地基于其他车辆相对于车道的位置以及基于可适用的让路规则。因此，在一些情况下，当观察到车道结构时，可以假设下一车道的车辆将遵守车道边界。也就是说，主车辆可以假设下一车道的车辆将保持在其车道中，除非观察到证据(例如，信号灯、强的横向运动、穿过车道边界的移动)，从而指示下一车道的车辆将切入主车辆的车道。
其他情况也可以提供关于其他车辆的预期轨迹的线索。例如，在主车辆可能有路权的地方的停车标志、交通灯、环形道等处，可以假设其他车辆将遵守该路权。因此，除非观察到违反规则的证据，否则可以假设其他车辆沿着遵守主车辆拥有的路权的轨迹继续前进。
还可以相对于主车辆环境中的行人应用硬性约束。例如，可以建立相对于行人的缓冲距离，使得禁止主车辆相对于任何观察到的行人比规定的缓冲距离更近地行驶。行人缓冲距离可以是任何合适的距离。在一些实施例中，缓冲距离可以是相对于观察到的行人至少一米。
类似于具有车辆的情况，还可以相对于行人与主车辆之间的相对运动来应用硬性约束。例如，可以相对于主车辆的预计轨迹来监测行人的轨迹(基于航向和速率)。给定特定的行人轨迹，其中轨迹上的每个点p，t(p)可以表示行人到达点p所需的时间。为了保持距行人至少1米的所需的缓冲距离，t(p)必须大于主车辆将到达点p的时间(具有足够的时间差，使得主车辆在行人的前方以至少一米的距离通过)，或者t(p)必须小于主车辆将到达点p的时间(例如，如果主车辆制动来为行人让路)。尽管如此，在后一示例中，硬性约束可能要求主车辆在晚于行人足够的时间到达点p，使得主车辆可以在行人后方通过，并且保持至少一米的所需的缓冲距离。当然，对行人的硬性约束可能有例外。例如，在主车辆具有路权或速度非常缓慢的情况下，并且没有观察到行人将拒绝为主车辆让路或将以其他方式导向主车辆的证据，可以松弛(relax)行人硬性约束(例如，到至少0.75米或0.50米的较小缓冲)。
在一些示例中，在确定不是全部约束都可以被满足的情况下，可以松弛约束。例如，在道路太窄而不能留出两个路缘或路缘与停放车辆的所需间距(例如0.5米)的情况下，如果存在减轻情况，则可以松弛一个或多个约束。例如，如果人行道上没有行人(或其他对象)，可以在离路缘0.1米处缓慢行驶。在一些实施例中，如果松弛约束会改善用户体验，则可以松弛约束。例如，为了避免坑洼，可以松弛约束以允许车辆比通常可能允许的更靠近车道边缘、路缘或行人。此外，在确定哪些约束要松弛时，在一些实施例中，选择要松弛的一个或多个约束是被认为对安全具有最小可用负面影响的那些约束。例如，在松弛处理与其他车辆的接近度的一个约束之前，可以松弛关于车辆可能有多接近行进到路缘或混凝土障碍的约束。在一些实施例中，行人约束可以是最后被松弛的，或者在某些情况下可能永远不被松弛。
图12示出可在主车辆的导航期间捕捉和分析的场景的示例。例如，主车辆可以包括如上所述的导航系统(例如，系统100)，其可以从与主车辆相关联的相机(例如，图像捕捉设备122、图像捕捉设备124和图像捕捉设备126中的至少一个)接收表示主车辆的环境的多个图像。图12中所示的场景是可以在时间t从沿着预测轨迹1212在车道1210中行驶的主车辆的环境捕捉的图像之一的示例。导航系统可以包括至少一个处理设备(例如，包括上述的任何EyeQ处理器或其他设备)，所述处理设备被专门编程为接收多个图像并分析图像以确定响应于场景的动作。具体而言，如图8所示，至少一个处理设备可以实现感测模块801、驱动策略模块803和控制模块805。感测模块801可以负责收集并输出从相机收集的图像信息，并且将该信息以识别的导航状态的形式提供至驾驶策略模块803，这可以构成已经通过机器学习技术(诸如监督式学习、强化学习等)训练的经训练的导航系统。基于由感测模块801提供至驾驶策略模块803的导航状态信息，驾驶策略模块803(例如，通过实施上述的选项图方法)可以生成用于由主车辆响应于所识别的导航状态而执行的期望导航动作。
在一些实施例中，至少一个处理设备可以使用例如控制模块805，将期望导航动作直接转换成导航命令。然而，在其他实施例中，可以应用硬性约束，使得针对场景和所述期望导航动作可能涉及的各种预定导航约束，对由驾驶策略模块803提供的期望导航动作进行测试。例如，在驾驶策略模块803输出将引起主车辆跟随轨迹1212的期望导航动作的情况下，可以相对于与主车辆的环境的各个方面相关联的一个或多个硬性约束来测试该导航动作。例如，捕捉图像1201可以显示路缘1213、行人1215、目标车辆1217以及存在于场景中的静止对象(例如，翻转的箱子)。这些中的每个都可以与一个或多个硬性约束相关联。例如，路缘1213可以与禁止主车辆驶入路缘或经过路缘并且到人行道1214上的静态约束相关联。路缘1213还可以与路障包络(envelope)相关联，该路障包络限定了远离路缘(例如，0.1米、0.25米、0.5米、1米等)并且沿着路缘延伸的距离(例如，缓冲区)，该距离限定了主车辆的禁止行驶区。当然，静态约束还可以与其他类型的路边边界(例如，护栏、混凝土柱、交通锥标、桥塔或任何其他类型的路侧障碍)相关联。
应注意，距离和范围可以通过任何合适的方法来确定。例如，在一些实施例中，距离信息可以由车载雷达和/或激光雷达系统提供。替代地或另外地，距离信息可以从对从主车辆的环境捕捉的一个或多个图像的分析中导出。例如，可以确定图像中表示的辨识的对象的多个像素，并将其与图像捕捉设备的已知视场和焦距几何结构进行比较，以确定比例和距离。例如，可以通过在已知时间间隔内从图像到图像地观察对象之间的比例变化，来确定速度和加速度。该分析可以指示对象朝着主车辆或者远离主车辆的运动方向、以及对象正在以多快速度远离主车辆或朝主车辆过来。可以通过分析在已知时间段内从一个图像到另一个图像的对象X坐标位置的变化，来确定穿越速度。
行人1215可以与限定了缓冲区1216的行人包络相关联。在一些情况下，施加的硬性约束可以禁止主车辆在离行人1215一米的距离内(在相对于行人1215的任何方向)行驶。行人1215还可以限定行人影响区1220的位置。这种影响区可以与限制主车辆在影响区内的速度的约束相关联。影响区可以从行人1215延伸5米、10米、20米等。影响区的每个分级(graduation)可以与不同的速度限制相关联。例如，在离行人1215一米至五米的区域内，主车辆可以被限制为第一速度(例如，10mph(每小时英里数)，20mph等)，所述第一速度可以小于从5米延伸至10米的行人影响区中的速度限制。可以对于影响区的各级使用任何分级。在一些实施例中，第一级可以比从一米到五米更窄，并且可以仅从一米延伸到两米。在其他实施例中，影响区的第一级可从一米(围绕行人的禁止行驶区的边界)延伸至至少10米的距离。第二级又可以从十米延伸到至少约二十米。第二级可以与主车辆的最大行驶速度相关联，其大于与行人影响区的第一级相关联的最大行驶速度。
一个或多个静止对象约束也可以与主车辆的环境中检测到的场景有关。例如，在图像1201中，至少一个处理设备可以检测静止对象，诸如存在于道路中的箱子1219。检测到的静止对象可以包括各种对象，诸如树、杆、道路标志或道路中的对象中的至少一个。一个或多个预定导航约束可以与检测到的静止对象相关联。例如，这种约束可以包括静止对象包络，其中所述静止对象包络限定了关于对象的缓冲区，在该缓冲区内可以禁止主车辆的导航。缓冲区的至少一部分可以从检测到的静止对象的边缘延伸预定距离。例如，在由图像1201表示的场景中，至少0.1米、0.25米、0.5米或更多的缓冲区可以与箱子1219相关联，使得主车辆将以至少一段距离(例如，缓冲区距离)通过箱子的右侧或左侧，以避免与检测到的静止对象发生碰撞。
预定的硬性约束还可以包括一个或多个目标车辆约束。例如，可以在图像1201中检测到目标车辆1217。为了确保主车辆不与目标车辆1217碰撞，可以采用一个或多个硬性约束。在一些情况下，目标车辆包络可以与单个缓冲区距离相关联。例如，可以通过在所有方向上围绕目标车辆1米的距离来限定缓冲区。缓冲区可以限定从目标车辆延伸至少一米的区域，禁止主车辆导航到该区域中。
然而，围绕目标车辆1217的包络不需要由固定的缓冲距离限定。在一些情况下，与目标车辆(或在主车辆的环境中检测到的任何其他可移动对象)相关联的预定硬性约束可取决于主车辆相对于检测到的目标车辆的定向。例如，在一些情况下，纵向缓冲区距离(例如，从目标车辆向主车辆的前方或后方延伸的距离——诸如在主车辆正朝着目标车辆行驶的情况下)可以为至少一米。横向缓冲区距离(例如，从目标车辆向主车辆的任一侧延伸的距离——诸如当主车辆以与目标车辆相同或相反的方向行驶时，使得主车辆的一侧将邻近目标车辆的一侧通过)可以为至少0.5米。
如上所述，通过对主车辆的环境中的目标车辆或行人的检测，还可能涉及其他约束。例如，可以考虑主车辆和目标车辆1217的预测轨迹，并且在两个轨迹相交(例如，在相交点1230处)的情况下，硬性约束可能需要
Figure BDA0001710761830000611
或者
Figure BDA0001710761830000612
其中主车辆为车辆1，而目标车辆1217为车辆2。类似地，可以相对于主车辆的预计轨迹来监测行人1215的轨迹(基于前进方向和速率)。给定特定的行人轨迹，对于轨迹上的每个点p上，t(p)将表示行人到达点p(即，图12中的点1231)所需的时间。为了保持距行人至少1米的所需缓冲距离，t(p)必须大于主车辆将到达点p的时间(具有足够的时间差，使得主车辆在行人前方以至少一米的距离通过)，或者t(p)必须小于主车辆将到达点p的时间(例如，如果主车辆制动来为行人让路)。尽管如此，在后一示例中，硬性约束将要求主车辆在晚于行人的足够时间到达点p，使得主车辆可以在行人后方通过，并且保持至少一米的所需的缓冲距离。
还可以采用其他硬性约束。例如，至少在一些情况下，可以采用主车辆的最大减速率。这种最大减速率可以基于检测到的距跟随主车辆的目标车辆的距离(例如，使用从后向相机收集的图像)而被确定。硬性约束可以包括在感测到的人行横道或铁路道口处的强制停止、或其他可适用的约束。
在对主车辆的环境中的场景的分析指示可能涉及一个或多个预定导航约束的情况下，可以相对于主车辆的一个或多个规划的导航动作来施加这些约束。例如，在对场景的分析导致驾驶策略模块803返回期望导航动作的情况下，可以针对一个或多个涉及的约束来测试该期望导航动作。如果期望导航动作被确定为违反所涉及的约束的任何方面(例如，如果期望导航动作将驱使主车辆在行人1215的0.7米的距离内，其中预定硬性约束要求主车辆保持距离行人1215至少1.0米)，则可以基于一个或多个预定导航约束对期望导航动作做出至少一个修改。以这种方式调节期望导航动作可以按照主车辆的环境中检测到的特定场景所涉及的约束，为主车辆提供实际导航动作。
在确定主车辆的实际导航动作之后，可以通过响应于所确定的主车辆的实际导航动作而引起对主车辆的导航致动器的至少一个调节，来实现该导航动作。这种导航致动器可以包括主车辆的转向机构、制动器或加速器中的至少一个。
优先约束
如上所述，导航系统可采用各种硬性约束来确保主车辆的安全操作。约束可以包括相对于行人、目标车辆、路障或检测到的对象的最小安全驾驶距离、当在检测到的行人的影响区内通过时的最大行驶速度、或者主车辆的最大减速率等等。这些约束可以对基于机器学习(监督式、强化或组合)训练的经训练的系统来施加，但是它们也可以对非训练的系统(例如，那些采用算法来直接处理来自主车辆环境的场景中发生的预期情况)有用。
在任何一种情况下，都可能存在约束的层级。换言之，一些导航约束优先于其他约束。因此，如果出现不可获得会导致所有相关约束被满足的导航动作的情况，则导航系统可首先确定实现最高优先级约束的可用导航动作。例如，即使避开行人的导航会导致与道路中检测到的另一车辆或对象碰撞，系统也可以使车辆首先避开该行人。在另一个示例中，系统可以使车辆骑上路缘来避开行人。
图13提供了示出用于实现基于对主车辆的环境中场景的分析而确定的相关约束的层级的算法的流程图。例如，在步骤1301，与导航系统相关联的至少一个处理设备(例如，EyeQ处理器等)可以从安装在主车辆上的相机接收表示主车辆的环境的多个图像。通过在步骤1303对表示主车辆环境的场景的图像的分析，可以识别与主车辆相关联的导航状态。例如，导航状态可以指示主车辆正沿着双车道道路1210行驶，如图12所示，其中目标车辆1217正在移动通过主车辆前方的路口，行人1215正在等待穿过主车辆行驶的道路，对象1219存在于主车辆车道的前方，以及场景的各种其他属性。
在步骤1305，可以确定主车辆的导航状态涉及的一个或多个导航约束。例如，在分析由一个或多个捕捉图像表示的主车辆的环境中的场景之后，至少一个处理设备可以确定通过对捕捉图像的图像分析所辨识的对象、车辆、行人等涉及的一个或多个导航约束。在一些实施例中，至少一个处理设备可以确定导航状态涉及的至少第一预定导航约束和第二预定导航约束，并且第一预定导航约束可以不同于第二预定导航约束。例如，第一导航约束可以涉及在主车辆的环境中检测到的一个或多个目标车辆，而第二导航约束可以涉及在主车辆的环境中检测到的行人。
在步骤1307，至少一个处理设备可以确定与在步骤1305中识别的约束相关联的优先级。在所描述的示例中，涉及行人的第二预定导航约束可以具有比涉及目标车辆的第一预定导航约束更高的优先级。虽然可以基于各种因素来确定或分配与导航约束相关联的优先级，但是在一些实施例中，导航约束的优先级可能与其从安全角度而言的相对重要性有关。例如，虽然在尽可能多的情况下遵守或满足所有实施的导航约束可能是重要的，但是一些约束可能与其他约束相比与具有更高的安全风险相关联，因此，这些约束可被分配更高的优先级。例如，要求主车辆保持与行人间距至少1米的导航约束可具有比要求主车辆保持与目标车辆间距至少1米的约束更高的优先级。这可能是因为与行人相撞会比与另一车辆相撞造成更严重的后果。类似地，保持主车辆与目标车辆之间的间距可以具有比以下约束更高的优先级：要求主车辆避开道路上的箱子、在减速带上低于特定速度驾驶、或者使主车辆占有者暴露于不超过最大加速度等级。
虽然驾驶策略模块803被设计为通过满足特定场景或导航状态涉及的导航约束以使安全性最大化，但是在一些情况下，实际上不可能满足每个所涉及的约束。在这种情况下，如步骤1309所示，可以使用每个涉及的约束的优先级来确定应该首先满足哪个涉及的约束。继续上面的示例，在不可能同时满足行人间隙约束和目标车辆间隙两者约束，而只能满足其中一个约束的情况下，则更高优先级的行人间隙约束可导致该约束在尝试保持到目标车辆的间隙之前被满足。因此，在正常情况下，如步骤1311所示，在第一预定导航约束和第二预定导航约束两者都可以被满足的情况下，至少一个处理设备可以基于所识别的主车辆的导航状态来确定满足第一预定导航约束和第二预定导航约束两者的主车辆的第一导航动作。然而，在其他情况下，在不是所有涉及的约束都可以被满足的情况下，如步骤1313所示，第一预定导航约束和第二预定导航约束不能同时被满足的情况下，至少一个处理设备可以基于所识别的导航状态，确定满足第二预定导航约束(即，较高优先级约束)但不满足第一预定导航约束(具有低于第二导航约束的优先级)的主车辆的第二导航动作。
接下来，在步骤1315，为了实施所确定的主车辆的导航动作，至少一个处理设备可以响应于所确定的主车辆的第一导航动作或所确定的主车辆的第二导航动作引起对主车辆的导航致动器的至少一个调节。如在前面的示例中所述，导航致动器可以包括转向机构、制动器或加速器中的至少一个。
约束松弛
如上所述，出于安全目的可以施加导航约束。约束可以包括相对于行人、目标车辆、路障或检测到的对象的最小安全驾驶距离、当在检测到的行人的影响区内通过时的最大行驶速度、或者主车辆的最大减速率等等。这些约束可能会被施加在学习或非学习的导航系统中。在某些情况下，这些约束可能会被松弛。例如，在主车辆在行人附近减速或停靠的情况下，然后缓慢前进以传达要驶过行人的意图，可以从所获取的图像中检测行人的响应。如果行人的响应是保持静止或停止移动(和/或如果感测到与行人的眼神接触)，则可以理解该行人认识到导航系统要驶过行人的意图。在这种情况下，系统可松弛一个或多个预定约束并实施较不严格的约束(例如，允许车辆在行人0.5米内导航，而不是在更严格的1米边界内)。
图14提供了用于基于一个或多个导航约束的松弛来实施主车辆的控制的流程图。在步骤1401，至少一个处理设备可以从与主车辆相关联的相机接收表示主车辆的环境的多个图像。在步骤1403对图像的分析可以使得能够识别与主车辆相关联的导航状态。在步骤1405，至少一个处理器可以确定与主车辆的导航状态相关联的导航约束。导航约束可以包括导航状态的至少一个方面所涉及的第一预定导航约束。在步骤1407，多个图像的分析可以揭示至少一个导航约束松弛因素(Relaxation factor)的存在。
导航约束松弛因素可以包括一个或多个导航约束在至少一个方面可以被暂停、改变或以其他方式松弛的任何合适的指示符。在一些实施例中，至少一个导航约束松弛因素可以包括(基于图像分析)行人的眼睛正看向主车辆的方向的确定。在这种情况下，可以更安全地假定行人意识到主车辆。因此，行人不会参与导致行人移动到主车辆路径中的意外动作的置信度可能更高。还可以使用其他约束松弛因素。例如，至少一个导航约束松弛因素可以包括：被确定为没有在移动的行人(例如，假定不太可能进入主车辆路径的个人)；或者其运动被确定为正在减慢的行人。导航约束松弛因素还可以包括更复杂的动作，诸如被确定为在主车辆停住然后恢复移动后没有在移动的行人。在这种情况下，可以假设行人知道主车辆具有路权，并且行人停住可以表明行人让路给主车辆的意图。其他可能导致一个或多个约束被松弛的情况包括路缘石的类型(例如，低路缘石或具有渐变坡度的路缘石可能允许松弛的距离约束)、在人行道上缺少行人或其他对象、车辆处于引擎未运转可以具有松弛的距离、或者行人正背向和/或移动远离于主车辆驶向的区域的情况。
在识别导航约束松弛因素的存在(例如，在步骤1407)的情况下，可以响应于约束松弛因素的检测来确定或产生第二导航约束。该第二导航约束可以不同于第一导航约束，并且所述第二导航约束可以包括相对于第一导航约束被松弛的至少一个特性。第二导航约束可以包括基于第一约束的新生成的约束，其中所述新生成的约束包括在至少一个方面松弛第一约束的至少一个修改。可替代地，第二约束可以构成在至少一个方面比第一导航约束更不严格的预定约束。在一些实施例中，可以保留这种第二约束，以仅用于在主车辆的环境中识别约束松弛因素的情况。无论第二约束是新生成的还是从一组完全或部分可用的预定约束中选择的，应用第二导航约束代替更严格的第一导航约束(可以应用在没有检测到相关导航约束松弛因素的情况)可以被称为约束松弛并且可以在步骤1409中完成。
在步骤1407检测到至少一个约束松弛因素，并且在步骤1409中已经松弛了至少一个约束的情况下，可以在步骤1411中确定主车辆的导航动作。主车辆的导航动作可以基于所识别的导航状态并且可以满足第二导航约束。可以在步骤1413通过响应于所确定的导航动作而引起对主车辆的导航致动器的至少一个调节来实施导航动作。
如上所述，导航约束和松弛导航约束的使用可以对经训练(例如，通过机器学习)或未经训练(例如，被编程为响应于特定导航状态以预定动作来响应的导航系统)的导航系统采用。在使用经训练的导航系统的情况下，用于某些导航情况的松弛导航约束的可用性可以表示从经训练的系统响应到未经训练的系统响应的模式切换。例如，经训练的导航网络可以基于第一导航约束来确定主车辆的原始导航动作。然而，车辆采取的动作可以是与满足第一导航约束的导航动作不同的动作。相反，所采取的动作可以满足更松弛的第二导航约束，并且可以是由未经训练的系统产生的动作(例如，作为在主车辆的环境中检测到特定状况的响应，诸如导航约束松弛因素的存在)。
有许多可以响应于在主车辆的环境中检测到约束松弛因素而被松弛的导航约束的示例。例如，在预定导航约束包括与检测到的行人相关联的缓冲区，并且缓冲区的至少一部分从检测到的行人延伸一定距离的情况下，被松弛的导航约束(新产生的、从预定集合中从存储器中调用，或生成为先前存在的约束的松弛版本)可以包括不同的或修改的缓冲区。例如，不同的或修改的缓冲区可以具有比相对于检测到的行人的原始的或未修改的缓冲区更小的相对于行人的距离。因此，在主车辆的环境中检测到适当的约束松弛因素的情况下，鉴于经松弛的约束，可以允许主车辆更靠近检测到的行人而导航。
如上所述，导航约束的被松弛的特性可以包括与至少一个行人相关联的缓冲区的宽度减少。然而，被松弛的特性还可以包括对与目标车辆、检测到的对象、路侧障碍或在主车辆的环境中检测到的任何其他对象相关联的缓冲区的宽度减少。
至少一个被松弛的特性还可以包括导航约束特性的其他类型的修改。例如，被松弛的特性可以包括与至少一个预定导航约束相关联的速度的增加。被松弛的特性还可以包括与至少一个预定导航约束相关联的最大可允许减速度/加速度的增加。
尽管如上所述在某些情况下约束可以被松弛，而在其他情况下，导航约束可以被增强(augment)。例如，在一些情况下，导航系统可以确定授权(warrant)对一组正常导航约束的增强的条件。这种增强可以包括将新的约束添加到一组预定的约束或者调节预定约束的一个或多个方面。添加或调节可导致相对于在正常驾驶条件下适用的该组预定约束更为保守的导航。可以授权约束增强的条件可以包括传感器故障、不利的环境条件(雨、雪、雾或与可见性降低或车辆牵引力降低相关联的其他情形)等。
图15提供用于基于对一个或多个导航约束的增强来实施主车辆的控制的流程图。在步骤1501，至少一个处理设备可以从与主车辆相关联的相机接收表示主车辆的环境的多个图像。在步骤1503对图像的分析可以使得能够识别与主车辆相关联的导航状态。在步骤1505，至少一个处理器可以确定与主车辆的导航状态相关联的导航约束。导航约束可以包括导航状态的至少一个方面所涉及的第一预定导航约束。在步骤1507，对多个图像的分析可以揭示至少一个导航约束增强因素的存在。
涉及的导航约束可以包括上述的(例如，关于图12)任何导航约束或任何其他合适的导航约束。导航约束增强因素可以包括一个或多个导航约束可以在至少一个方面被补充/增强的任何指示符。可以在每个组的基础上(例如，通过将新的导航约束添加到一组预定的约束)或者可以在每个约束的基础上(例如，修改特定的约束，使得经修改约束比原始约束更具限制性，或者添加对应于预定约束的新约束，其中该新约束在至少一个方面比对应约束更具限制性)，来执行导航约束的补充或增强。另外或可替代地，导航约束的补充或增强可以是指基于层级从一组预定约束中进行选择。例如，一组被增强的约束可用于基于是否在主车辆的环境中或相对于主车辆检测到导航增强因素来进行选择。在没有检测到增强因素的正常情况下，则可以从适用于正常情况的约束中抽取所涉及的导航约束。另一方面，在检测到一个或多个约束增强因素的情况下，所涉及的约束可以从被增强的约束中抽取，该被增强的约束是相对于一个或多个增强因素而生成或预定的。被增强的约束在至少一个方面与正常情况下适用的对应约束相比可能更具限制性。
在一些实施例中，至少一个导航约束增强因素可以包括在主车辆的环境中检测到(例如，基于图像分析)道路表面上存在冰、雪或水。例如，这种确定可以基于检测到以下：干燥道路的反射率高于预期的区域(例如，指示道路上的冰或水)；道路上的白色区域表示雪的存在；与道路上存在纵向沟(例如，雪中的轮胎痕迹)一致的道路上的阴影；主车辆挡风玻璃上的水滴或冰/雪颗粒；或者道路表面上存在水或冰/雪的任何其他合适的指示符。
至少一个导航约束增强因素还可以包括在主车辆的挡风玻璃的外表面上检测到的颗粒。这种颗粒可能会损害与主车辆相关联的一个或多个图像捕捉设备的图像质量。虽然关于主车辆的挡风玻璃进行了描述，其与安装在主车辆的挡风玻璃后面的相机相关，但对在其他表面(例如，相机的镜头或镜头盖、前灯透镜、后挡风玻璃、尾灯透镜或对于与主车辆相关联的图像捕捉设备可见(或由传感器检测到)的主车辆的任何其他表面)上的颗粒的检测，也可指示导航约束增强因素的存在。
导航约束增强因素也可以被检测为一个或多个图像获取设备的属性。例如，检测到的由与主车辆相关联的图像捕捉设备(例如，相机)捕捉的一个或多个图像的图像质量方面的降低，也可以构成导航约束增强因素。图像质量的下降可能与硬件故障或部分硬件故障相关联，所述硬件故障与图像捕捉设备或与图像捕捉设备相关联的组件相关联。这种图像质量的下降也可能是由环境条件引起的。例如，在主车辆周围的空气中存在烟、雾、雨、雪等也可能导致降低相对于可能存在于主车辆的环境中的道路、行人、目标车辆等的图像质量。
导航约束增强因素还可以涉及主车辆的其它方面。例如，在一些情况下，导航约束增强因素可以包括检测到的与主车辆关联的系统或传感器的故障或部分故障。这种增强因素可以包括，例如检测到速度传感器、GPS接收器、加速度计、相机、雷达、激光雷达、制动器、轮胎或与主车辆相关联的任何其他系统的故障或部分故障，所述故障可影响主车辆相对于与主车辆的导航状态相关联的导航约束进行导航的能力。
在识别导航约束增强因素的存在(例如，在步骤1507)的情况下，可以响应于检测到约束增强因素来确定或产生第二导航约束。该第二导航约束可以不同于第一导航约束，并且所述第二导航约束可以包括相对于第一导航约束被增强的至少一个特性。第二导航约束可以比第一导航约束更具限制性，因为检测到在主车辆的环境中的或者与主车辆相关联的约束增强因素可以表明主车辆可以具有至少一个相对于正常操作条件降低的导航能力。这种降低的能力可以包括较低的道路牵引力(例如，道路上的冰、雪、或水；降低的轮胎压力等)；受损的视觉(例如，降低捕捉图像质量的雨、雪、沙尘、烟、雾等)；受损的检测能力(例如，传感器故障或部分故障、传感器性能降低等)，或主车辆响应于检测到的导航状态而导航的能力方面的任何其他降低。
在步骤1507中检测到至少一个约束增强因素，并且在步骤1509中增强了至少一个约束的情况下，可以在步骤1511中确定主车辆的导航动作。主车辆的导航动作可以基于所识别的导航状态并且可以满足第二导航(即，被增强的)约束。可以在步骤1513通过响应于所确定的导航动作而引起对主车辆的导航致动器进行至少一个调节来实施导航动作。
如所讨论的，导航约束和被增强的导航约束的使用可以对经训练(例如，通过机器学习)或未经训练(例如，被编程为响应于特定导航状态以预定动作来响应的系统)的导航系统采用。在使用经训练的导航系统的情况下，针对某些导航情况的被增强的导航约束的可用性可表示从经训练的系统响应到未经训练的系统响应的模式切换。例如，经训练的导航网络可以基于第一导航约束来确定主车辆的原始导航动作。然而，车辆采取的动作可以是与满足第一导航约束的导航动作不同的动作。相反，所采取的动作可以满足被增强的第二导航约束，并且可以是由未经训练的系统产生的动作(例如，作为对在主车辆的环境中检测到特定条件的响应，诸如存在导航约束增强因素)。
有许多可以响应于在主车辆的环境中检测到约束增强因素而生成、补充或增强的导航约束的示例。例如，在预定导航约束包括与检测到的行人、对象、车辆等相关联的缓冲区，并且缓冲区的至少一部分从检测到的行人/对象/车辆延伸一定距离的情况下，被增强的导航约束(新产生的、从预定集合中从存储器调用的，或作为先前存在的约束的增强版本而生成的)可以包括不同的或修改的缓冲区。例如，不同的或修改的缓冲区可以具有比相对于检测到的行人/对象/车辆的原始的或未修改的缓冲区更大的相对于行人/对象/车辆的距离。因此，在主车辆的环境中或相对于主车辆检测到适当的约束增强因素的情况下，鉴于该被增强的约束，可以强制主车辆更远离检测到的行人/对象/车辆而导航。
至少一个被增强的特性还可以包括导航约束特性的其他类型的修改。例如，被增强的特性可以包括与至少一个预定导航约束相关联的速度的降低。被增强的特性还可以包括与至少一个预定导航约束相关联的最大可允许减速度/加速度的减小。
基于长远规划的导航
在一些实施例中，所公开的导航系统不仅可以对主车辆的环境中检测到的导航状态进行响应，而且还可以基于长远规划(long range planning)来确定一个或多个导航动作。例如，系统可以考虑可用作相对于检测到的导航状态进行导航的选项的一个或多个的导航动作对未来导航状态的潜在影响。考虑可用的动作对未来状态的影响可以使得导航系统不仅基于当前检测到的导航状态、而且还基于长远规划来确定导航动作。在导航系统采用一种或多种奖励函数作为从可用选项中选择导航动作的技术的情况下，使用长远规划技术的导航可能尤其适用。可以相对于可以响应于检测到的主车辆的当前导航状态而采取的可用导航动作，来分析潜在奖励。然而，进一步地，还可以相对于可以响应于未来导航状态而采取的动作，来分析潜在奖励，所述未来导航状态预计是由于对当前导航状态的可用动作而造成的。因此，所公开的导航系统在某些情况下可以响应于检测到的导航状态而从可以响应于当前导航状态而采取的可用动作之中选择导航动作，即使在所选择的导航动作可能不会产生最高的奖励的情况下。这在系统确定以下情况时尤其正确：所选择的动作可能导致未来导航状态，该未来导航状态引起一个或多个潜在的导航动作，其中该潜在的导航动作提供比所选择的动作或者在某些情况下比相对于当前导航状态可用的任何动作更高的奖励。该原理可以更简单地表达为：为了在未来产生更高的奖励选项，而在现在采取不那么有利的动作。因此，所公开的能够进行长远规划的导航系统可以选择短期非最理想的动作，其中长期预测指示奖励的短期损失会导致长期奖励增加。
通常，自主驾驶应用可涉及一系列规划问题，其中导航系统可以决定即时动作以便优化长期目标。例如，当车辆在环形道处遇到并道情况时，导航系统可以决定即时加速或制动命令，以便发起到环形道的导航。虽然在环形道处对检测到的导航状态的即时动作可能涉及响应于所检测到的状态的加速或制动命令，但长期目标是成功并道，并且所选命令的长期影响是并道的成功/失败。可以通过将问题分解为两个阶段来解决规划问题。首先，监督式学习可以应用于基于现在来预测近未来(假设预测因素(predictor)相对于现在的表示将是可微的)。其次，可以使用递归神经网络对作用者的完整轨迹进行建模，其中未解释的因素被建模为(加性)输入节点。这可以允许使用监督式学习技术和对递归神经网络直接优化来确定长期规划问题的解。这种方法还可以使得能够通过将对抗性要素纳入环境来学习鲁棒的策略。
自主驾驶系统的两个最基本的要素是感测和规划。感测处理的是寻找环境的现在状态的紧凑表示，而计划处理的是决定采取何种动作以优化未来目标。监督式机器学习技术对求解感测问题是有用的。机器学习算法框架也可以用于规划部分，尤其是强化学习(RL)框架，诸如上述那些。
RL可以按照连续几轮(round)的顺序而执行。在第t轮，规划器(亦称作用者或驾驶策略模块803)可以观察状态st∈S，其表示作用者和环境。然后其应该决定动作at∈A。在执行该动作后，该作用者接收即时奖励
Figure BDA0001710761830000701
并移至新的状态st+1。作为示例，主车辆可以包括自适应巡航控制(ACC)系统，其中车辆应该自主地实施加速/制动，以在保持平稳驾驶的同时保持与前车的适当距离。该状态可以被建模为一对
Figure BDA0001710761830000702
其中xt是到前车的距离，vt是主车辆相对于前车速度的速度。所述动作
Figure BDA0001710761830000703
将是加速命令(若at<0则主车辆减速)。奖励可以是取决于|at|(反映驾驶的平稳性)和st(反映主车辆与前车保持安全距离)的函数。规划器的目标是使累积奖励最大化(可能达到时间范围或未来奖励的折扣后的总和)。要做到这一点，规划器可依赖策略π∶S→A，其将状态映射到动作。
监督学习(SL)可以被看作是RL的特例，其中st是从S上的一些分布中采样的，并且奖励函数可以具有
Figure BDA0001710761830000704
的形式，其中
Figure BDA0001710761830000705
是损失函数，并且学习器观察yt的值，yt为在查看状态st时要采取的最佳动作的值(可能有噪声)。通常的RL模型与SL的特例之间可能存在若干差异，并且这些差异使通常的RL问题更具挑战性。
在一些SL情况下，学习器采取的动作(或预测)可能对环境没有影响。换言之，st+1和at是独立的。这会有两个重要的含义。首先，在SL中，样本(s1，y1)，...，(sm，ym)可以提前被收集，然后才能开始搜索相对于样本具有良好准确度的策略(或预测变量)。相反，在RL中，状态st+1通常取决于所采取的动作(以及之前的状态)，而这又取决于用于生成该动作的策略。这将使数据生成过程束缚于策略学习过程。其次，因为在SL中动作不影响环境，所以选择at对π的表现的贡献是局部的。具体而言，at只影响即时奖励的值。相反，在RL中，第t轮采取的动作可能会对未来轮中的奖励值产生长期影响。
在SL中，“正确”答案的知识yt、连同奖励
Figure BDA0001710761830000711
的形状一起可以提供对于at的所有可能的选择的奖励的全部知识，这可以使得能够计算奖励相对于at的导数。相反，在RL中，奖励的“一次性”值可能是对于所采取动作的具体选择而全部能观察到的。这可以被称为“强盗(Bandit)”反馈。这是需要“探索”作为长期导航规划的一部分的最重要原因之一，因为在基于RL的系统中，如果只有“强盗”反馈可用，则系统可能并不总是知道所采取的动作是否是要采取的最好的动作。
许多RL算法至少部分地依赖于马尔可夫决策过程(MDP，Markov DecisionProcess)的数学优化模型。马尔可夫假设是：给定st和at，st+1的分布被完全确定。依据MDP状态上的稳定分布，其给出了给定策略的累积奖励的闭合解表达式。策略的稳定分布可以表示为线性规划问题的解。这产生了两类算法：1)相对于原始问题的优化，其被称为策略搜索；2)相对于双重问题的优化，其变量被称为值函数Vπ。如果MDP从初始状态s开始，并且从那里根据π来选择动作，则值函数确定预期累积奖励。相关量是状态-动作值函数Qπ(s，a)，其确定累积奖励，假设从状态s开始，立即选择的动作a，以及从那里根据π选择的动作。Q函数可能会引起最优策略的表征(使用贝尔曼方程)。特别是，Q函数可能表明最优策略是从S到A的确定性函数(实际上，它可能被表征为相对于最优Q函数的“贪婪”策略)。
MDP模型的一个潜在优点在于其允许使用Q函数将未来耦合到现在。例如，考虑到主车辆现在处于状态s，Qπ(s，a)的值可以指示执行动作a对未来的影响。因此，Q函数可以提供动作a的质量的局部测量，从而使RL问题更类似于SL场景。
许多RL算法以某种方式近似V函数或Q函数。值迭代算法(例如Q学习算法)可以依赖于以下事实：最优策略的V和Q函数可以是从贝尔曼方程导出的一些运算符的固定点。行动者-评价器(Actor-critic)策略迭代算法旨在以迭代的方式学习策略，其中在迭代t处，“评价器”估计
Figure BDA0001710761830000721
并且基于该估计，“行动者”改进策略。
尽管MDP的数学优势和切换到Q函数表示的方便性，但该方法可能具有若干限制。例如，马尔可夫行为状态的近似概念可能是在某些情况下所能找到的全部。此外，状态的转变不仅取决于作用者的行为，还取决于环境中其他参与者的行为。例如，在上面提到的ACC示例中，尽管自主车辆的动态可以是马尔可夫的，但下一个状态可取决于另一车辆的驾驶员的行为，而该行为不一定是马尔可夫的。对这个问题的一个可能的解决方案是使用部分观察到的MDP，其中假设存在马尔可夫状态，但是根据隐藏状态分布的观察是可以看到的。
更直接的方法可以考虑MDP的博弈理论概括(例如，随机博弈框架)。事实上，用于MDP的算法可以被推广到多作用者博弈(例如，最小最大-Q学习或纳什-Q学习)。其他方法可包括其他参与者的显式建模以及消除遗憾(vanishing regret)学习算法。在多作用者场景中的学习可能比在单作用者场景中更复杂。
Q函数表示的第二限制可以通过偏离表格场景(tabular setting)而产生。表格场景就是当状态和动作的数量很小之时，因此Q可以表示为|S|个行和|A|个列的表格。然而，如果S和A的自然表示包含欧几里得空间，并且状态和动作空间是离散的，则状态/动作的数量可能在维度上是指数的。在这种情况下，采用表格场景可能并不实际。相反，Q函数可以由来自参数假设类别(例如，某个架构的神经网络)的某个函数来近似。例如，可以使用深Q网络(DQN，deep-Q-network)学习算法。在DQN中，状态空间可以是连续的，而动作空间可能仍然是小的离散集合。可能存在处理连续动作空间的方法，但它们可能依赖于对Q函数近似。在任何情况下，Q函数都可能是复杂的且对噪声敏感，因此可能会对学习带来挑战。
不同的方法可以是使用递归神经网络(RNN，recurrent neural network)来解决RL问题。在某些情况下，RNN可以与多作用者博弈的概念和来自博弈论的对抗环境的稳健性相结合。此外，这种方法可能并不明确依赖任何马尔可夫假设。
以下更详细地描述通过基于预测进行规划来导航的方法。在这种方法中，可以假定状态空间S是
Figure BDA0001710761830000731
的子集，而动作空间A是
Figure BDA0001710761830000732
的子集。这在许多应用中可能是一种自然表现。如上所述，RL和SL之间可能存在两个关键区别：(1)因为过去的动作影响未来的奖励，来自未来的信息可能需要传播回过去；(2)奖励的“强盗”本质可能模糊(状态、动作)和奖励之间的依赖性，这会使学习过程复杂化。
作为该方法的第一步，可以观察到存在有趣的问题，其中奖励的强盗本质并不是问题。例如，ACC应用的奖励值(如下面将更详细讨论的)可能相对于当前状态和动作是可微的。事实上，即使奖励是以“强盗”方式给出的，学习可微函数
Figure BDA0001710761830000733
使得
Figure BDA0001710761830000734
的问题可以是相对直接的SL问题(例如，一维回归问题)。因此，该方法的第一步可以是将奖励定义为函数
Figure BDA0001710761830000735
该函数关于s和a是可微的，或者该方法的第一步可以是使用回归学习算法，以便学习可微函数
Figure BDA0001710761830000736
该函数至少使至少样本上的一些回归损失最小化，其中实例向量为
Figure BDA0001710761830000737
以及目标标量为rt。在某些情况下，为了创建一套训练集，可以使用探索的元素。
为了解决过去与未来之间的联系，可以使用类似的想法。例如，假设可以学习一个可微函数
Figure BDA0001710761830000738
使得
Figure BDA0001710761830000739
学习这样的函数可以表征为SL问题。
Figure BDA00017107618300007310
可能被认为是近未来的预测符。接下来，可以使用参数函数πθ：S→A来描述从S映射到A的策略。将πθ表达为神经网络，可以使得能够使用递归神经网络(RNN)来表达运行作用者T轮的片段，其中下一个状态被定义为
Figure BDA00017107618300007311
此处，
Figure BDA00017107618300007312
可由环境所定义，并可表达近未来的不可预测的方面。st+1以可微方式依赖于st和at的事实可以使得未来的奖励值和过去的行为之间存在联系。策略函数πθ的参数向量可以通过在所得到的RNN上进行反向传播来学习。请注意，不需要在vt上施加显式概率假设。特别是，不需要对于马尔可夫关系的要求。相反，递归网络可依赖于在过去和未来之间传播“足够”的信息。直观地说，
Figure BDA00017107618300007313
可以描述近未来的可预测部分，同时vt可以表达由于环境中其他参与者的行为而可能出现的不可预测的方面。学习系统应该学习对其他玩家的行为而言是稳健的策略。如果||vt||很大，过去的动作与未来的奖励值之间的联系可能会过于嘈杂，而无法学习有意义的策略。以透明的方式明确表达系统的动态可以使得更容易地结合先验知识。例如，先验知识可以简化定义
Figure BDA00017107618300007314
的问题。
如上所述，学习系统可受益于相对于对抗环境(诸如主车辆的环境)的鲁棒性，所述环境可包括可能以预料外的方式动作的多个其他驾驶员。在不对vt施加概率性假设的模型中，可以考虑其中是以对抗方式来选择vt的环境。在某些情况下，可以会对μt施加限制，否则对抗方可能会使规划问题变得困难甚至不可能。一种自然约束可能是要求由常数来限制||μt||。
针对对抗环境的鲁棒性可能在自主驾驶应用中有用。以对抗的方式选择μt甚至可加快学习过程，因为它可以将学习系统专注于稳健的最佳策略。简单的博弈可以用来说明这个概念。状态为
Figure BDA0001710761830000741
动作为
Figure BDA0001710761830000742
即时损失函数为0.1|at|+[|st|-2]+，其中[x]+＝max{x，0}为ReLU(修正线性单位)函数。下一个状态为st+1＝st+at+vt，其中vt∈[-0.5，0.5]是对于环境以对抗的方式来选择的。此处，最优策略可以写成带有ReLU的双层网络：at＝-[st-1.5]++[-st-1.5]+。观察到当|st|∈(1.5，2]时，最优动作可能比动作a＝0具有更大的即时损失。因此，系统可以为未来做出规划，并且可以不仅仅依赖于即时损失。观察到损失关于at的导数为0.1sign(at)，并且关于st的导数是1[|st|＞2]sign(st)。在st∈(1.5，2]的情况下，vt的对抗性选择将会设定vt＝0.5，因此，无论何时at＞1.5-st，在t+1轮可以有非零损失。在这种情况下，损失的导数可以直接向后传播到at。因此，在at的选择是非最优的情况下，vt的对抗性选择可以帮助导航系统获得非零后向传播消息。这种关系可以帮助导航系统基于以下预期来选择当前动作，即预期这种当前行为(即使该行为会导致非最优奖励甚至损失)将在未来提供导致更高的奖励的更优化的动作的机会。
这种方法可以应用于实际上可能出现的任何导航情况。以下描述适用于一个示例的方法：自适应巡航控制(ACC)。在ACC问题中，主车辆可能试图与前方的目标车辆保持适当的距离(例如，到目标车辆1.5秒)。另一个目标可能是尽可能平稳地驾驶，同时保持期望的间隙。代表这种情况的模型可以如下定义。状态空间为
Figure BDA0001710761830000743
动作空间为
Figure BDA0001710761830000744
状态的第一坐标是目标汽车的速度，第二坐标是主车辆的速度，而最后的坐标是主车辆与目标车辆之间的距离(例如，沿道路曲线的主车辆的位置减去目标车辆的位置)。主车辆采取的动作是加速，并可以用at来表示。量τ可以表示连续轮之间的时间差。虽然τ可被设置为任何合适的量，但是在一个示例中，τ可以是0.1秒。位置st可以表示为
Figure BDA0001710761830000745
并且目标车辆的(未知)加速度可以表示为
Figure BDA0001710761830000746
系统的完整动态可以通过以下描述来描述：
Figure BDA0001710761830000751
Figure BDA0001710761830000752
Figure BDA0001710761830000753
这可以被描述为两个向量的总和：
Figure BDA0001710761830000754
第一向量是可预测的部分，而第二向量是不可预测的部分。第t轮的奖励定义如下：
Figure BDA0001710761830000755
其中
Figure BDA0001710761830000756
第一项可导致对非零加速度的惩罚，因此鼓励平稳驾驶。第二项取决于到目标汽车的距离xt和期望的距离
Figure BDA0001710761830000757
之间的比率，所述期望的距离被定义为1米的距离和1.5秒刹车距离之间的最大值。在某些情况下，这个比率可能恰好为1，但只要该比率在[0.7,1.3]范围内，策略可能会放弃任何处罚，这可能会使主车辆在导航方面放松——可能在实现平稳的驾驶方面很重要的特性。
实施以上概述的方法，主车辆的导航系统(例如，通过在导航系统的处理单元110内的驾驶策略模块803的操作)可以响应于观察到的状态来选择动作。所选动作可以基于不仅对与相对于感测到的导航状态可用的响应动作相关联的奖励的分析，而且还可以基于对未来状态、响应于未来状态的潜在动作和与潜在的动作相关联的奖励的考虑和分析。
图16示出了基于检测和长远规划的导航的算法方法。例如，在步骤1601，主车辆的导航系统的至少一个处理设备110可以接收多个图像。这些图像可以捕捉表示主车辆的环境的场景，并且可以由上述任何图像捕捉设备(例如，相机、传感器等)提供。在步骤1603分析这些图像中的一个或多个可以使至少一个处理设备110能够识别与主车辆相关联的当前导航状态(如上所述)。
在步骤1605、1607和1609，可以确定响应于感测到的导航状态的各种潜在的导航动作。这些潜在的导航动作(例如，第一导航动作至第N可用导航动作)可以基于感测到的状态和导航系统的长远目标来确定(例如，完成合并、平稳地跟随前车、超过目标车辆、避开道路中的对象、针对检测到的停车标志而减速、避开切入的目标车辆、或可以推进系统的导航目标的任何其他导航动作)。
对于所确定的潜在导航动作中的每个，系统可以确定预期奖励。预期奖励可以根据上述技术中的任一种来确定，并且可以包括关于一个或多个奖励函数对特定潜在动作的分析。对于在步骤1605、1607和1609中确定的每个潜在导航动作(例如，第一，第二和第N个)，可以分别确定预期奖励1606、1608和1610。
在一些情况下，主车辆的导航系统可基于与预期奖励1606、1608和1610(或预期奖励的任何其他类型的指示符)相关联的值，从可用潜在动作中选择。例如，在某些情况下，可以选择产生最高预期奖励的动作。
在其他情况下，尤其是在导航系统进行长远规划以确定主车辆的导航动作的情况下，系统可以不选择产生最高预期奖励的潜在动作。相反，如果响应于当前导航状态选择了较低的奖励动作，则系统可以展望未来以分析是否有机会在之后实现较高奖励。例如，对于在步骤1605、1607和1609处确定的任何或全部潜在动作，可以确定未来状态。在步骤1613、1615和1617确定的每个未来状态可以表示预期基于当前导航状态、由相应潜在动作(例如，在步骤1605、1607和1609确定的潜在动作)修改而得到的未来导航状态。
对于在步骤1613、1615和1617预测的未来状态中的每个，可以确定和评估一个或多个未来动作(作为响应于确定的未来状态而可用的导航选项)。在步骤1619、1621和1623处，例如，可以(例如，基于一个或多个奖励函数)产生与一个或多个未来动作相关联的预期奖励的值或任何其他类型的指示符。与一个或多个未来动作相关的预期奖励可以通过比较与每个未来动作相关联的奖励函数的值或通过比较与预期奖励相关联的任何其他指示符来评估。
在步骤1625，主车辆的导航系统可基于预期奖励的比较，不仅基于相对于当前导航状态识别的潜在动作(例如，步骤1605、1607和1609中的)，并且还基于作为响应于预测的未来状态可用的潜在未来动作的结果而确定的预期奖励(例如，在步骤1613、1615和1617处确定的)，来选择主车辆的导航动作。在步骤1625处的选择可以基于在步骤1619、1621和1623处执行的选项和奖励分析。
在步骤1625处对导航动作的选择可以仅基于与未来动作选项相关联的预期奖励的比较。在这种情况下，导航系统可以仅基于对从对潜在的未来导航状态的动作得到的预期奖励的比较，来选择对当前状态的动作。例如，系统可以选择在步骤1650、1610和1609处识别的、与通过在步骤1619、1621和1623处的分析确定的最高未来奖励值相关联的潜在动作。
在步骤1625对导航动作的选择还可以仅基于当前动作选项的比较(如上所述)。在这种情况下，导航系统可以选择在步骤1605、1607或1609识别的、与最高预期奖励1606、1608或1610相关联的潜在动作。这种选择可以在很少或不考虑未来导航状态或对响应于预期未来导航状态的可用导航动作的未来预期奖励的情况下执行。
另一方面，在一些情况下，在步骤1625对导航动作的选择可以基于与未来动作选项和当前动作选项两者相关联的预期奖励的比较。事实上，这可能是基于长远规划的导航原理之一。例如，可以分析对未来动作的预期奖励，以确定是否有任何预期奖励可以授权响应于当前导航状态对较低的奖励动作进行的选择，以便响应于后续导航动作实现潜在的较高奖励，该后续导航动作是预期响应于未来导航状态而可用的。作为示例，预期奖励1606的值或其他指示符可以指示在奖励1606、1608和1610当中的最高预期奖励。另一方面，预期奖励1608可以指示在奖励1606、1608和1610当中的最低预期奖励。并非简单地选择在步骤1605确定的潜在动作(即，引起最高预期奖励1606的动作)，可以将未来状态、潜在的未来动作、以及未来奖励的分析用于在步骤1625进行导航动作选择。在一个示例中，可以确定在步骤1621识别的奖励(响应于对步骤1615确定的未来状态的至少一个未来动作，而步骤1615确定的未来状态是基于步骤1607中确定的第二潜在动作的)可以高于预期奖励1606。基于该比较，可以选择在步骤1607确定的第二潜在动作，而不是在步骤1605确定的第一潜在动作，尽管预期奖励1606高于预期奖励1608。在一个示例中，在步骤1605确定的潜在导航动作可以包括在检测到的目标车辆前面的并道，而在步骤1607确定的潜在导航动作可以包括在目标车辆后面的并道。尽管在目标车辆前面并道的预期奖励1606可能高于与在目标车辆后面并道相关联的预期奖励1608，但可以确定在目标车辆后面并道可能导致一未来状态，对于该未来状态可能存在产生比预期奖励1606、1608或基于响应于当前的、感测到的导航状态的可用动作的其他奖励甚至更高的潜在奖励的动作选项。
在步骤1625处从潜在动作之中进行选择可以基于预期奖励(或相对于另一个潜在动作，与一个潜在动作相关联的任何其他度量或指示符)的任何合适的比较。在一些情况下，如上所述，如果预计第二潜在动作要提供与高于与第一潜在动作相关联的奖励的预期奖励相关联的至少一个未来动作，则可以越过第一潜在动作而选择第二潜在动作。在其他情况下，可以采用更复杂的比较。例如，与响应于预计的未来状态的动作选项相关联的奖励可以与与确定的潜在动作相关联的多于一个预期奖励相比较。
在一些情况下，如果至少一个未来动作被预期产生高于预期作为对当前状态的潜在动作的结果的任何奖励(例如，预期奖励1606、1608、1610等)的奖励时，则基于预计的未来状态的动作和预期奖励可以影响对当前状态的潜在动作的选择。在某些情况下，产生最高的预期奖励(例如，从与对感测到的当前状态的潜在动作相关联的预期奖励、以及从与相对于潜在未来导航状态的潜在未来动作选项相关联的预期奖励当中)的未来动作选项可以用作选择对当前导航状态的潜在动作的指导。也就是说，在识别产生最高预期奖励(或者高于预定阈值的奖励等)的未来动作选项之后，在步骤1625可以选择将导致与识别的、产生最高的预期奖励的未来动作相关联的未来状态的潜在动作。
在其他情况下，可以基于预期奖励之间确定的差，来进行可用动作的选择。例如，如果与在步骤1621确定的未来动作相关联的预期奖励与预期奖励1606之间的差大于预期奖励1608与预期奖励1606之间的差(假设正符号的差)，则可以选择在步骤1607确定的第二潜在动作。在另一个示例中，如果与在步骤1621确定的未来动作相关联的预期奖励和与在步骤1619确定的未来动作相关联的预期奖励之间的差大于预期奖励1608与预期奖励1606之间的差，则可以选择在步骤1607确定的第二潜在动作。
已经描述了用于从潜对当前导航状态的动作当中进行选择的若干示例。然而，可以使用任何其他合适的比较技术或标准，用于通过基于延伸到预计的未来状态的动作和奖励分析的长远规划来选择可用动作。此外，虽然图16表示长远规划分析中的两个层(例如，第一层考虑对当前状态的潜在动作产生的奖励，第二层考虑响应于预计的未来状态的未来动作选项产生的奖励)，然而，基于更多层的分析可以是能够的。例如，不是将长远规划分析基于一个或两个层，而是可以使用三层、四层或更多层分析来从响应于当前的导航状态的可用潜在动作当中选择。
在从响应于感测到的导航状态的潜在动作当中进行选择之后，在步骤1627，至少一个处理器可以响应于所选择的潜在导航而引起对主车辆的导航致动器的至少一个调节动作。导航致动器可以包括用于控制主车辆的至少一个方面的任何合适的装置。例如，导航致动器可以包括转向机构、制动器或加速器中的至少一个。
基于推断的其他方侵略的导航
可以通过分析获取的图像流来监测目标车辆，以确定驾驶侵略的指示符。本文将侵略描述为定性或定量参数，但可以使用其他特性：注意力的感知等级(驾驶员的潜在损伤、手机造成分心、睡着等)。在一些情况下，目标车辆可以被认为具有防御性姿势，并且在一些情况下，可以确定目标车辆具有更具侵略性姿势。基于侵略指示符可以选择或产生导航动作。例如，在一些情况下，可以跟踪相对于主车辆的相对速度、相对加速度、相对加速度的增加、跟随距离等，以确定目标车辆是侵略性的还是防御性的。例如，如果目标车辆被确定为具有超过阈值的侵略等级，则主车辆可能倾向于让路给目标车辆。还可以基于确定的目标车辆相对于目标车辆的路径中或其附近的一个或多个障碍物(例如，前方车辆、道路上的障碍物、交通灯等)的行为，来辨别目标车辆的侵略等级。
作为对这个概念的介绍，将相对于主车辆并道至环形道来描述示例性实验，其中导航目标是穿过环形道并从环形道出去。该情况可以以主车辆接近环形道的入口开始，并且可以以主车辆到达环形道的出口(例如，第二出口)结束。可以基于主车辆是否始终与所有其他车辆保持安全距离、主车辆是否尽快完成路线、以及主车辆是否遵循平稳的加速策略来衡量成功。在这个示例中，NT个目标车辆可以随机置于环形道上。为了对对抗和典型行为的混合进行建模，在概率p下，目标车辆可以通过“侵略性”驾驶策略来建模，使得侵略性的目标车辆在主车辆试图在目标车辆前方并道时加速。在概率1-p下，目标车辆可以通过“防御性”驾驶策略来建模，使得目标车辆减速并让主车辆并道。在该实验中，p＝0.5，并且可以不为主车辆的导航系统提供关于其他驾驶员的类型的信息。可以在片段开始时随机选择其他驾驶员的类型。
导航状态可以表示为主车辆(作用者)的速度和位置、以及目标车辆的位置、速度和加速度。保持目标加速度观察可能很重要，以便基于当前状态区分侵略性和防御性的驾驶员。所有目标车辆都可能沿着环形路径为轮廓的一维曲线移动。主车辆可以在其自身的一维曲线移动，该曲线在并道点处与目标车辆的曲线相交，并且该点是两条曲线的起点。为了对合理驾驶进行建模，所有车辆的加速度的绝对值可以以常数为界限。因为不允许倒退驾驶，速度也可以通过ReLU传递。注意，通过不允许倒退驾驶，因此长远规划可以成为必要条件，因为作用者不会对其过去的行为后悔。
如上所述，下一状态st+1可被分解为可预测部分
Figure BDA0001710761830000801
和不可预测部分vt的总和。表达式
Figure BDA0001710761830000802
可以表示车辆位置和速度的动态(可以以可微分的方式良定义)，同时vt可以表示目标车辆的加速度。可以验证，
Figure BDA0001710761830000803
可以表示为ReLU函数在仿射变换上的组合，因此其相对于st和at是可微的。该向量vt可以由模拟器以不可微的方式来定义，并且可以对一些目标实施侵略性行为并对其他目标实施防御性行为。在图17A和17B中示出了来自这种模拟器的两个帧。在这个示例性实验中，主车辆1701学习到在它接近环形道的入口时减速。它还学习到为侵略性车辆(例如，车辆1703和1705)让路，并且在防御性车辆(例如，车辆1706、1708和1710)前方并道时安全地继续行驶。在由图17A和17B表示的示例中，没有为主车辆1701的导航系统提供目标车辆的类型。而是，通过基于观察到的(例如，目标车辆的)位置和加速度的推断，来确定特定车辆是否被确定为侵略性或防御性的。在图17A中，基于位置、速度和/或相对加速度，主车辆1701可以确定车辆1703具有侵略性的倾向，并且因此主车辆1701可以停下并等待目标车辆1703通过而不是尝试在目标车辆1703的前方并道。然而，在图17B中，目标车辆1701辨识出在车辆1703后面行驶的目标车辆1710展现出防御性的倾向(同样基于观察到的车辆1710的位置、速度和/或相对加速度)，因此完成了在目标车辆1710前方以及目标车辆1703后方的成功并道。
图18提供了表示用于基于预测的其他车辆的侵略来导航主车辆的示例性算法的流程图。在图18的示例中，可以基于相对于目标车辆的环境中的对象所观察到目标车辆的行为，来推断与至少一个目标车辆相关联的侵略等级。例如，在步骤1801，主车辆导航系统的至少一个处理设备(例如，处理设备110)可以从与主车辆相关联的相机接收表示主车辆的环境的多个图像。在步骤1803，对一个或多个所接收的图像的分析可以使至少一个处理器能够识别主车辆1701的环境中的目标车辆(例如，车辆1703)。在步骤1805，对一个或多个所接收的图像的分析可以使至少一个处理设备能够在主车辆的环境中识别目标车辆的至少一个障碍物。所述对象可以包括道路中的碎片、停车灯/交通灯、行人、另一车辆(例如，在目标车辆前方行驶的车辆、停放的车辆等)、道路中的箱子、路障、路缘或可能在主车辆的环境中遇到的任何其他类型的对象。在步骤1807，对一个或多个接收的图像的分析可以使至少一个处理设备能够确定目标车辆相对于目标车辆的至少一个识别的障碍物的至少一个导航特性。
可以使用各种导航特性来推断检测到的目标车辆的侵略等级，以便产生对目标车辆的适当的导航响应。例如，这种导航特性可以包括目标车辆与至少一个识别的障碍物之间的相对加速度、目标车辆距障碍物的距离(例如，目标车辆在另一车辆后面的跟随距离)、和/或目标车辆与障碍物之间的相对速度等。
在一些实施例中，可以基于来自与主车辆相关联的传感器(例如雷达、速度传感器、GPS等)的输出来确定目标车辆的导航特性。然而，在一些情况下，可以部分地或完全地基于对主车辆的环境的图像的分析来确定目标车辆的导航特性。例如，上文所述和在例如通过引用合并如此处的美国专利号9,168,868中描述的图像分析技术可以用于识别主车辆的环境内的目标车辆。并且，随着时间的推移监测目标车辆在捕捉图像中的位置和/或监测与目标车辆相关联的一个或多个特征(例如，尾灯、头灯、保险杠、车轮等)在捕捉图像中的位置，可以使得能够确定目标车辆与主车辆之间或者目标车辆与主车辆的环境中的一个或多个其它对象之间的相对距离、速度和/或加速度。
可以从目标车辆的任何合适的观察到的导航特性或观察到的导航特性的任何组合中推断所识别的目标车辆的侵略等级。例如，可以基于任何观察到的特性和一个或多个预定阈值等级或任何其他合适的定性或定量分析，作出对侵略性的确定。在一些实施例中，如果目标车辆被观察到以小于预定侵略性距离阈值的距离跟随主车辆或另一车辆，则目标车辆可被认为是侵略性的。另一方面，被观察到以大于预定防御性距离阈值的距离跟随主车辆或另一车辆的目标车辆可被认为是防御性的。预定侵略性距离阈值不需要与预定防御性距离阈值相同。另外，预定侵略性距离阈值和预定防御性距离阈值中的任一个或两者可以包括值的范围，而不是分界值(bright line value)。此外，预定侵略性距离阈值和预定防御性距离阈值都不必被固定。相反，这些值或值的范围可以随时间而改变，并且可以基于观察到的目标车辆的特性来应用不同的阈值/阈值的范围。例如，所应用的阈值可以取决于目标车辆的一个或多个其他特性。较高的所观察到的相对速度和/或加速度可以授权应用较大的阈值/范围。相反，较低的相对速度和/或加速度(包括零相对速度和/或加速度)可以授权在进行侵略性/防御性推断时应用较小的距离阈值/范围。
侵略性/防御性推断也可以基于相对速度和/或相对加速度阈值。如果观察到的目标车辆相对于另一车辆的相对速度和/或相对加速度超过预定等级或范围，则该目标车辆可被认为是侵略性的。如果观察到的目标车辆相对于另一车辆的相对速度和/或相对加速度低于预定水平或范围，则该目标车辆可被认为是防御性的。
尽管可以仅基于任何观察到的导航特性来进行侵略性/防御性确定，但该确定还可以取决于观察到的特性的任何组合。例如，如上所述，在一些情况下，目标车辆可能仅基于观察到其正在以某个阈值或范围以下的距离跟随另一车辆而被认为是侵略性的。然而，在其他情况下，如果目标车辆以小于预定量(其可以与仅基于距离进行确定时应用的阈值相同或不同)并且具有大于预定量或范围的相对速度和/或相对加速度跟随另一车辆，则该目标车辆可以被认为是侵略性的。类似地，目标车辆可以仅基于观察到其正在以大于某个阈值或范围的距离跟随另一车辆而被认为是防御性的。然而，在其他情况下，如果目标车辆以大于预定量(其可以与仅基于距离进行确定时应用的阈值相同或不同)并且具有小于预定量或范围的相对速度和/或相对加速度跟随另一车辆，则该目标车辆可以被认为是防御性的。如果例如车辆超过0.5G加速度或减速度(例如，5m/s3觉克(jerk))、车辆在车道变换或曲线上具有0.5G的横向加速度、一车辆导致另一车辆进行上述任何一项、车辆改变车道并导致另一车辆以0.3G减速度或3米/秒觉克以上进行让路、和/或车辆在不停的情况下改变两条车道，则系统100可以得出侵略性/防御性。
应该理解的是，对超过一范围的量的参考可以指示该量超过与该范围相关联的所有值或落入该范围内。类似地，对低于一范围的量的参考可以指示该量低于与该范围相关的所有值或落入该范围内。另外，尽管相对于距离、相对加速度和相对速度描述了用于进行侵略性/防御性推断的示例，但是可以使用任何其他合适的量。例如，可以使用对要发生碰撞的时间的计算、或者目标车辆的距离、加速度和/或速度的任何间接指示符。还应该注意的是，尽管上述示例集中于相对于其他车辆的目标车辆，但是可以通过观察目标车辆相对于任何其他类型的障碍物(例如，行人、路障、交通灯、碎片等)的导航特性来进行侵略性/防御性推断。
回到图17A和17B所示的示例，当主车辆1701接近环形道时，导航系统(包括它的至少一个处理设备)可以接收来自与主车辆相关联的相机的图像流。基于对一个或多个接收的图像的分析，可以识别目标车辆1703、1705、1706、1708和1710中的任何一个。此外，导航系统可以分析一个或多个识别的目标车辆的导航特性。导航系统可以辨识到目标车辆1703与1705之间的间隙表示潜在并道至环形道的第一机会。导航系统可以分析目标车辆1703以确定与目标车辆1703相关联的侵略指示符。如果目标车辆1703被认为是侵略性的，则主车辆导航系统可以选择为车辆1703让路而不是在车辆1703前方并道。另一方面，如果目标车辆1703被认为是防御性的，则主车辆导航系统可以尝试在车辆1703前完成并道动作。
当主车辆1701接近环形道时，导航系统的至少一个处理设备可以分析所捕捉的图像以确定与目标车辆1703相关联的导航特性。例如，基于图像，其可以确定车辆1703以一距离跟随车辆1705，该距离为主车辆1701安全进入提供足够的间隙。事实上，可以确定车辆1703以超过侵略性距离阈值的距离跟随车辆1705，并且因此基于该信息，主车辆导航系统可能倾向于将目标车辆1703识别为防御性的。然而，在一些情况下，如上所述，可以在进行侵略性/防御性确定时，分析目标车辆的多于一个的导航特性。进一步分析，主车辆导航系统可以确定，当目标车辆1703以非侵略距离在目标车辆1705后面跟随时，车辆1703相对于车辆1705具有超过与侵略性行为相关联的一个或多个阈值的相对速度和/或相对加速度。实际上，主车辆1701可以确定目标车辆1703相对于车辆1705正在加速，并且靠近存在于车辆1703与1705之间的间隙。基于对相对速度、加速度和距离(以及甚至是车辆1703与1705之间的间隙正在靠近的速率)的进一步分析，主车辆1701可以确定目标车辆1703正在侵略性地表现行为。因此，虽然可能存在主车辆可以安全地导航进入的足够间隙，但主车辆1701可以预期在目标车辆1703前方的并道将导致在主车辆紧后面的侵略性地导航的车辆。此外，基于通过图像分析或其他传感器输出观察到的行为，目标车辆1703可以被预期为：如果主车辆1701要在车辆1703的前方并道，则目标车辆1703将继续加速朝向主车辆1701或者以非零相对速度继续朝向主车辆1701行驶。从安全角度来看，这种情况可能是不希望的，并且也可能导致主车辆的乘客不适。出于这种原因，如图17B所示，主车辆1701可以选择为车辆1703让路，并且在车辆1703后面并且在车辆1710的前方并道至环形路，车辆1710是基于对其一个或多个导航特性的分析而被视为是防御性的。
回到图18，在步骤1809，主车辆的导航系统的至少一个处理设备可以基于识别的目标车辆相对于识别的障碍物的至少一个导航特性，来确定主车辆的导航动作(例如，在车辆1710的前方和车辆1703的后方并道)。为了实施该导航动作(在步骤1811)，至少一个处理设备可以响应于所确定的导航动作引起对主车辆的导航致动器的至少一个调节。例如，可以应用制动器以便让路给图17A中的车辆1703，并且加速器可以与主车辆的车轮的转向一起应用以便使主车辆在车辆1703后面进入环形交叉口，如图17B所示。
如以上示例中所述，主车辆的导航可以基于目标车辆相对于另一车辆或对象的导航特性。另外，主车辆的导航可以仅基于目标车辆的导航特性而不特别参考另一车辆或对象。例如，在图18的步骤1807处，对从主车辆的环境捕捉的多个图像的分析可以使得能够确定识别的目标车辆的至少一个导航特性，该导航特性指示与目标车辆相关联的侵略等级。导航特性可以包括速度、加速度等，其不需要相对于另一对象或目标车辆参考以进行侵略性/防御性的确定。例如，观察到的与目标车辆相关联的超过预定阈值或落入或超过数值范围的加速度和/或速度可以指示侵略性行为。相反，观察到的与目标车辆相关联的低于预定阈值或落入或超过数值范围的加速度和/或速度可以指示防御性行为。
当然，在一些情况下，为了进行侵略性/防御性的确定，可以相对于主车辆来参考所观察到的导航特性(例如，位置、距离、加速度等)。例如，观察到的目标车辆的指示与目标车辆相关联的侵略等级的导航特性可以包括目标车辆与主车辆之间的相对加速度的增加、主车辆后方目标车辆的跟随距离、目标车辆与主车辆之间的相对速度等。
出于说明的目的已经呈现了前面的描述。它不是穷举性的并且不限于所公开的实施例的精确形式。本领域技术人员通过考虑所公开的实施例的说明和实践，修改和改编将是显而易见的。另外，尽管所公开的实施例的方面被描述为存储在存储器中，本领域的技术人员将理解，这些方面也可以存储在其它类型的计算机可读介质上，诸如辅助存储设备，例如，硬盘或CD ROM、或其它形式的RAM或ROM、USB介质、DVD、蓝光、4K超HD蓝光、或其它光驱动介质。
基于书面说明和所公开的方法的计算机程序在有经验的开发人员的技术范围内。可以使用任何本领域技术人员已知的技术来创建或可以结合现有的软件来设计各种程序或程序模块。例如，程序段或程序模块可以以或通过.NET Framework、.NET CompactFramework(以及相关的语言，诸如Visual Basic，C等)、JAVA、C++、Objective-C、HTML、HTML/AJAX组合、XML或者包含Java小程序的HTML来设计。
此外，虽然已经在本文中描述了说明性实施例，但是本领域技术人员基于本公开将认识到具有等同的要素、修改、省略、组合(例如，遍及各个实施例的方面的)、改编和/或改变的任何以及所有实施例的范围。权利要求书中的限定将基于权利要求书中采用的语言宽泛地解释，并且不限于在本说明书中或在本申请的审查期间所描述的示例。示例将被理解为非排他性的。此外，所公开的方法的步骤可以以任何方式修改，包括通过重新排序步骤和/或插入或删除步骤。因此，意图是说明书和示例被视为仅是说明性的，真正的范围和精神由以下权利要求及其等同物的全部范围来表示。

Claims (30)

1.一种用于主车辆的导航系统，所述系统包括：
至少一个处理设备，被编程为：
从相机接收表示所述主车辆的环境的多个图像；
分析所述多个图像以识别与所述主车辆相关联的导航状态；
向经训练的导航系统提供所述导航状态；
从所述经训练的导航系统接收用于由所述主车辆响应于所识别的导航状态而执行的期望导航动作；
关于一个或多个预定导航约束分析所述期望导航动作以确定所述期望导航动作是否违反所述一个或多个预定导航约束分析；
确定所述主车辆的实际导航动作，其中，如果所述期望导航动作被确定为违反所述一个或多个预定导航约束，所述实际导航动作包括对所述期望导航动作的至少一个修改；以及
响应于所确定的所述主车辆的实际导航动作，引起对所述主车辆的导航致动器的至少一个调节。
2.根据权利要求1所述的导航系统，其中，所述经训练的导航系统通过强化学习来训练，来应对所述预定导航约束，以便提供所述期望导航动作。
3.根据权利要求1所述的导航系统，其中，所述一个或多个预定导航约束包括行人包络。
4.根据权利要求3所述的导航系统，其中，所述行人包络限定缓冲区，在所述缓冲区内所述主车辆的导航被禁止，并且所述缓冲区的至少一部分从检测到的行人延伸预定距离。
5.根据权利要求4所述的导航系统，其中，所述预定距离为至少一米。
6.根据权利要求1所述的导航系统，其中，所述一个或多个预定导航约束包括目标车辆包络。
7.根据权利要求6所述的导航系统，其中，所述目标车辆包络限定缓冲区，在所述缓冲区内所述主车辆的导航被禁止，并且所述缓冲区的至少一部分从检测到的目标车辆延伸预定距离。
8.根据权利要求1所述的导航系统，其中，所述一个或多个预定导航约束包括静止对象包络。
9.根据权利要求8所述的导航系统，其中，所述静止对象包络限定缓冲区，在所述缓冲区内所述主车辆的导航被禁止，并且所述缓冲区的至少一部分从检测到的静止对象延伸预定距离。
10.根据权利要求9所述的导航系统，其中，所述检测到的静止对象包括树、杆、道路标志或道路中的对象中的至少一个。
11.根据权利要求1所述的导航系统，其中，所述一个或多个预定导航约束包括路障包络。
12.根据权利要求11所述的导航系统，其中，所述路障包络限定缓冲区，在所述缓冲区内所述主车辆的导航被禁止，并且所述缓冲区从检测到的路障的表面延伸预定距离。
13.根据权利要求12所述的导航系统，其中，所述路障包括护栏或路侧障碍。
14.根据权利要求1所述的导航系统，其中，所述一个或多个预定导航约束基于与在所述多个图像中识别的对象相关联的检测到的运动而变化。
15.根据权利要求1所述的导航系统，其中，所述预定导航约束包括当在检测到的行人的影响区内通过时的最大行驶速度。
16.根据权利要求15所述的导航系统，其中，所述影响区在所述检测到的行人的预定距离内。
17.根据权利要求16所述的导航系统，其中，所述影响区是多级的，每级与不同的最大行驶速度相关联。
18.根据权利要求17所述的导航系统，其中，第一级延伸至至少10米的距离。
19.根据权利要求17所述的导航系统，其中，第二级延伸至至少20米的距离并且与一最大行驶速度相关联，所述最大行驶速度大于与第一级相关联的最大行驶速度。
20.根据权利要求1所述的导航系统，其中，所述一个或多个预定导航约束包括最大减速率。
21.根据权利要求20所述的导航系统，其中，所述最大减速率基于检测到的到跟随所述主车辆的目标车辆的距离来确定。
22.根据权利要求1所述的导航系统，其中，所述一个或多个预定导航约束包括在感测到的人行横道或铁路道口处的强制停止。
23.根据权利要求1所述的导航系统，其中，所述一个或多个预定导航约束包括以下要求：所述主车辆从所述主车辆与至少一个目标车辆的轨迹之间的预计交叉点处的点的离开时间早于所述至少一个目标车辆的到达时间。
24.根据权利要求23所述的导航系统，其中，所述主车辆的离开时间和所述至少一个目标车辆的到达时间隔开预定时间间隔。
25.根据权利要求24所述的导航系统，其中，所述预定时间间隔为至少0.5秒。
26.根据权利要求1所述的导航系统，其中，所述一个或多个预定导航约束包括以下要求：所述主车辆到所述主车辆与至少一个目标车辆的轨迹之间的预计交叉点处的点的到达时间晚于所述至少一个目标车辆的离开时间。
27.根据权利要求26所述的导航系统，其中，所述主车辆的到达时间和所述至少一个目标车辆的离开时间隔开预定时间间隔。
28.根据权利要求1所述的导航系统，其中，所述导航致动器包括转向机构、制动器或加速器中的至少一个。
29.一种自主车辆，所述自主车辆包括：
框架；
附接到所述框架的主体；
相机；以及
导航系统，所述导航系统包括：
至少一个处理设备，被编程为：
从相机接收表示所述车辆的环境的多个图像；
分析所述多个图像以识别与所述车辆相关联的导航状态；
向经训练的导航系统提供所述导航状态；
从所述经训练的导航系统接收用于由所述车辆响应于所识别的导航状态而执行的期望导航动作；
关于一个或多个预定导航约束分析所述期望导航动作以确定所述期望导航动作是否违反所述一个或多个预定导航约束分析；
确定所述车辆的实际导航动作，其中，如果所述期望导航动作被确定为违反所述一个或多个预定导航约束，所述实际导航动作包括对所述期望导航动作的至少一个修改；以及
响应于所确定的主车辆的实际导航动作引起对所述车辆的导航致动器的至少一个调节。
30.一种用于导航自主车辆的方法，所述方法包括：
从与所述自主车辆相关联的相机接收表示所述自主车辆的环境的多个图像；
分析所述多个图像以识别与所述自主车辆相关联的导航状态；
向经训练的导航系统提供所述导航状态；
从所述经训练的导航系统接收用于由所述自主车辆响应于所识别的导航状态而执行的期望导航动作；
关于一个或多个预定导航约束分析所述期望导航动作以确定所述期望导航动作是否违反所述一个或多个预定导航约束分析；
确定所述自主车辆的实际导航动作，其中，如果所述期望导航动作被确定为违反所述一个或多个预定导航约束，所述实际导航动作包括对所述期望导航动作的至少一个修改；以及
响应于所确定的所述自主车辆的实际导航动作引起对所述自主车辆的导航致动器的至少一个调节。
CN201780005459.2A 2016-01-05 2017-01-05 具有施加的约束的经训练的系统 Active CN108431549B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010799649.XA CN112051855A (zh) 2016-01-05 2017-01-05 用于主车辆的导航系统、自主车辆及导航自主车辆的方法
CN202410828976.1A CN118838336A (zh) 2016-01-05 2017-01-05 用于主车辆的导航系统、自主车辆及导航自主车辆的方法

Applications Claiming Priority (25)

Application Number Priority Date Filing Date Title
US201662274883P 2016-01-05 2016-01-05
US201662275046P 2016-01-05 2016-01-05
US62/274,883 2016-01-05
US62/275,046 2016-01-05
US201662354946P 2016-06-27 2016-06-27
US62/354,946 2016-06-27
US201662360600P 2016-07-11 2016-07-11
US62/360,600 2016-07-11
US201662361352P 2016-07-12 2016-07-12
US62/361,352 2016-07-12
US201662373153P 2016-08-10 2016-08-10
US62/373,153 2016-08-10
US201662378554P 2016-08-23 2016-08-23
US62/378,554 2016-08-23
US201662396462P 2016-09-19 2016-09-19
US62/396,462 2016-09-19
US201662406604P 2016-10-11 2016-10-11
US62/406,604 2016-10-11
US201662415135P 2016-10-31 2016-10-31
US62/415,135 2016-10-31
US201662436097P 2016-12-19 2016-12-19
US62/436,097 2016-12-19
US201662437953P 2016-12-22 2016-12-22
US62/437,953 2016-12-22
PCT/US2017/012334 WO2017120336A2 (en) 2016-01-05 2017-01-05 Trained navigational system with imposed constraints

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202010799649.XA Division CN112051855A (zh) 2016-01-05 2017-01-05 用于主车辆的导航系统、自主车辆及导航自主车辆的方法
CN202410828976.1A Division CN118838336A (zh) 2016-01-05 2017-01-05 用于主车辆的导航系统、自主车辆及导航自主车辆的方法

Publications (2)

Publication Number Publication Date
CN108431549A CN108431549A (zh) 2018-08-21
CN108431549B true CN108431549B (zh) 2020-09-04

Family

ID=57882165

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201780005459.2A Active CN108431549B (zh) 2016-01-05 2017-01-05 具有施加的约束的经训练的系统
CN202410828976.1A Pending CN118838336A (zh) 2016-01-05 2017-01-05 用于主车辆的导航系统、自主车辆及导航自主车辆的方法
CN202010799649.XA Pending CN112051855A (zh) 2016-01-05 2017-01-05 用于主车辆的导航系统、自主车辆及导航自主车辆的方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202410828976.1A Pending CN118838336A (zh) 2016-01-05 2017-01-05 用于主车辆的导航系统、自主车辆及导航自主车辆的方法
CN202010799649.XA Pending CN112051855A (zh) 2016-01-05 2017-01-05 用于主车辆的导航系统、自主车辆及导航自主车辆的方法

Country Status (4)

Country Link
US (11) US9977430B2 (zh)
EP (1) EP3400419A2 (zh)
CN (3) CN108431549B (zh)
WO (1) WO2017120336A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210101616A1 (en) * 2019-10-08 2021-04-08 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation

Families Citing this family (264)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016158197A1 (ja) * 2015-03-31 2016-10-06 日立オートモティブシステムズ株式会社 自動運転制御装置
DE102015004478A1 (de) * 2015-04-07 2016-10-13 Lucas Automotive Gmbh Steuerungs-System und Verfahren zum Ermöglichen eines Einscherens eines anderen Kraftfahrzeugs aus einer Nachbarspur im ACC-Betrieb des eigenen Kraftfahrzeugs
DE102015213181B3 (de) * 2015-07-14 2017-01-19 Bayerische Motoren Werke Aktiengesellschaft Längsführendes Fahrerassistenzsystem in einem Kraftfahrzeug
DE102015213183A1 (de) 2015-07-14 2017-01-19 Bayerische Motoren Werke Aktiengesellschaft Längsführendes Fahrerassistenzsystem in einem Kraftfahrzeug
DE102015213190B3 (de) 2015-07-14 2016-09-29 Bayerische Motoren Werke Aktiengesellschaft Längsführendes Fahrerassistenzsystem in einem Kraftfahrzeug
US11235777B2 (en) * 2015-10-15 2022-02-01 Harman International Industries, Incorporated Vehicle path prediction and target classification for autonomous vehicle operation
CN108431549B (zh) * 2016-01-05 2020-09-04 御眼视觉技术有限公司 具有施加的约束的经训练的系统
US10402670B2 (en) * 2016-04-19 2019-09-03 GM Global Technology Operations LLC Parallel scene primitive detection using a surround camera system
CN106080590B (zh) * 2016-06-12 2018-04-03 百度在线网络技术（北京）有限公司 车辆控制方法和装置以及决策模型的获取方法和装置
US10286913B2 (en) * 2016-06-23 2019-05-14 Honda Motor Co., Ltd. System and method for merge assist using vehicular communication
US10737667B2 (en) 2016-06-23 2020-08-11 Honda Motor Co., Ltd. System and method for vehicle control in tailgating situations
US10332403B2 (en) 2017-01-04 2019-06-25 Honda Motor Co., Ltd. System and method for vehicle congestion estimation
US10449962B2 (en) 2016-06-23 2019-10-22 Honda Motor Co., Ltd. System and method for vehicle control using vehicular communication
US10625742B2 (en) 2016-06-23 2020-04-21 Honda Motor Co., Ltd. System and method for vehicle control in tailgating situations
US10081357B2 (en) 2016-06-23 2018-09-25 Honda Motor Co., Ltd. Vehicular communications network and methods of use and manufacture thereof
CN107563256A (zh) * 2016-06-30 2018-01-09 北京旷视科技有限公司 辅助驾驶信息产生方法及装置、辅助驾驶系统
US10640111B1 (en) * 2016-09-07 2020-05-05 Waymo Llc Speed planning for autonomous vehicles
US11067996B2 (en) 2016-09-08 2021-07-20 Siemens Industry Software Inc. Event-driven region of interest management
US10317901B2 (en) 2016-09-08 2019-06-11 Mentor Graphics Development (Deutschland) Gmbh Low-level sensor fusion
US10678240B2 (en) 2016-09-08 2020-06-09 Mentor Graphics Corporation Sensor modification based on an annotated environmental model
US10585409B2 (en) * 2016-09-08 2020-03-10 Mentor Graphics Corporation Vehicle localization with map-matched sensor measurements
JP2018060268A (ja) * 2016-10-03 2018-04-12 株式会社日立製作所 認識装置および学習システム
JP6728495B2 (ja) * 2016-11-04 2020-07-22 ディープマインド テクノロジーズ リミテッド 強化学習を用いた環境予測
US10421460B2 (en) * 2016-11-09 2019-09-24 Baidu Usa Llc Evaluation framework for decision making of autonomous driving vehicle
KR101846734B1 (ko) * 2016-11-09 2018-05-18 현대자동차주식회사 운전 상태 판단 장치 및 방법
US10139818B2 (en) * 2016-11-16 2018-11-27 Baidu Usa Llc Visual communication system for autonomous driving vehicles (ADV)
US10745009B2 (en) * 2016-12-21 2020-08-18 Samsung Electronics Co., Ltd. Electronic apparatus for determining a dangerous situation of a vehicle and method of operating the same
EP3548845B1 (en) * 2017-01-12 2021-10-13 Mobileye Vision Technologies Ltd. Navigation based on vehicle activity
US20180208203A1 (en) * 2017-01-26 2018-07-26 International Business Machines Corporation System, method and computer program product for braking control when approaching a traffic signal
US10611370B2 (en) * 2017-02-09 2020-04-07 Panasonic Intellectual Property Corporation Of America Information processing apparatus, information processing method, and non-transitory recording medium
MX2019009397A (es) 2017-02-10 2019-12-05 Nissan North America Inc Gestion operacional de vehiculo autonomo que incluye operar una instancia de modelo de proceso de decision de markov parcialmente observable.
EP4357869A3 (en) * 2017-03-20 2024-06-12 Mobileye Vision Technologies Ltd. Trajectory selection for an autonomous vehicle
WO2018189840A1 (ja) 2017-04-12 2018-10-18 川崎重工業株式会社 車両の会話情報出力装置、及び会話情報出力方法
US11106426B2 (en) * 2017-04-12 2021-08-31 Kawasaki Jukogyo Kabushiki Kaisha Vehicle conversation information output device and conversation information output method
US20180299893A1 (en) * 2017-04-18 2018-10-18 nuTonomy Inc. Automatically perceiving travel signals
US10650256B2 (en) 2017-04-18 2020-05-12 nuTonomy Inc. Automatically perceiving travel signals
US10643084B2 (en) 2017-04-18 2020-05-05 nuTonomy Inc. Automatically perceiving travel signals
US20180314253A1 (en) 2017-05-01 2018-11-01 Mentor Graphics Development (Deutschland) Gmbh Embedded automotive perception with machine learning classification of sensor data
US10783787B2 (en) * 2017-05-31 2020-09-22 Regents Of The University Of Minnesota Freeway queue warning system
US10377377B2 (en) * 2017-06-08 2019-08-13 GM Global Technology Operations LLC Active lane positioning for blind zone mitigation
EP3644293B1 (en) * 2017-06-20 2021-08-04 Nissan Motor Co., Ltd. Travel control method and travel control device
JP2019008519A (ja) * 2017-06-23 2019-01-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 移動体検出方法、移動体学習方法、移動体検出装置、移動体学習装置、移動体検出システム、および、プログラム
WO2019005547A1 (en) * 2017-06-28 2019-01-03 Panasonic Intellectual Property Corporation Of America MOBILE BODY CONTROL APPARATUS, MOBILE BODY CONTROL METHOD, AND LEARNING METHOD
US10496099B2 (en) * 2017-07-18 2019-12-03 Uatc, Llc Systems and methods for speed limit context awareness
US10235881B2 (en) * 2017-07-28 2019-03-19 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous operation capability configuration for a vehicle
KR102342143B1 (ko) * 2017-08-08 2021-12-23 주식회사 만도모빌리티솔루션즈 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법
US10599161B2 (en) * 2017-08-08 2020-03-24 Skydio, Inc. Image space motion planning of an autonomous vehicle
US10216189B1 (en) 2017-08-23 2019-02-26 Uber Technologies, Inc. Systems and methods for prioritizing object prediction for autonomous vehicles
US10678241B2 (en) * 2017-09-06 2020-06-09 GM Global Technology Operations LLC Unsupervised learning agents for autonomous driving applications
US10782694B2 (en) * 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10782693B2 (en) 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US20190079526A1 (en) * 2017-09-08 2019-03-14 Uber Technologies, Inc. Orientation Determination in Object Detection and Tracking for Autonomous Vehicles
US10254759B1 (en) 2017-09-14 2019-04-09 Waymo Llc Interactive autonomous vehicle agent
CN109507997B (zh) * 2017-09-15 2021-11-12 现代摩比斯株式会社 用于自动驾驶的装置、方法和系统
DE102017217156B4 (de) * 2017-09-27 2021-12-23 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ansteuerung eines Fahrerassistenzsystems unter Verwendung eines Stereokamerasystems mit einer ersten und einer zweiten Kamera
WO2019063734A1 (fr) * 2017-09-28 2019-04-04 Renault S.A.S Procédé et dispositif pour améliorer la sécurité en roulage d'un véhicule
US10768626B2 (en) 2017-09-30 2020-09-08 Tusimple, Inc. System and method for providing multiple agents for decision making, trajectory planning, and control for autonomous vehicles
KR101956689B1 (ko) * 2017-10-16 2019-07-04 주식회사 만도 긴급차량 운행경로 생성기능을 갖는 자동 순항 제어장치 및 제어방법
NL2019756B1 (nl) * 2017-10-18 2019-04-25 Johannes Smit Stephan Systeem voor het aansturen van een op basis van stuur- en versnellingswaarden bestuurbaar autonoom rijdend voertuig, autonoom rijdend voertuig voorzien van een dergelijk systeem en werkwijze voor het trainen van een dergelijk systeem.
US10606270B2 (en) 2017-10-18 2020-03-31 Luminar Technologies, Inc. Controlling an autonomous vehicle using cost maps
WO2019089015A1 (en) 2017-10-31 2019-05-09 Nissan North America, Inc. Autonomous vehicle operation with explicit occlusion reasoning
CN115610409A (zh) * 2017-11-07 2023-01-17 图森有限公司 用于自主车辆的轨迹规划的基于预测的系统和方法
US10380409B2 (en) * 2017-11-16 2019-08-13 Blast Motion Inc. Method for estimating a 3D trajectory of a projectile from 2D camera images
US10967861B2 (en) 2018-11-13 2021-04-06 Waymo Llc Using discomfort for speed planning in responding to tailgating vehicles for autonomous vehicles
US10627825B2 (en) 2017-11-22 2020-04-21 Waymo Llc Using discomfort for speed planning in autonomous vehicles
EP3714341B1 (en) * 2017-11-24 2021-08-11 Telefonaktiebolaget LM Ericsson (publ) Collision prevention system and method
JP6627127B2 (ja) * 2017-11-27 2020-01-08 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
MX2020004378A (es) * 2017-11-30 2020-08-20 Nissan North America Inc Escenarios de gestion operacional de vehiculo autonomo.
JP6922706B2 (ja) * 2017-12-06 2021-08-18 トヨタ自動車株式会社 センサー搭載構造
US20200283163A1 (en) * 2017-12-14 2020-09-10 Saab Ab Flight vision system and method for presenting images from the surrounding of an airborne vehicle in a flight vision system
JP6963490B2 (ja) * 2017-12-15 2021-11-10 株式会社デンソー 車両制御装置
US11273836B2 (en) 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
US11874120B2 (en) 2017-12-22 2024-01-16 Nissan North America, Inc. Shared autonomous vehicle operational management
JP6965739B2 (ja) * 2017-12-27 2021-11-10 株式会社デンソー 車両制御装置
AU2017421869A1 (en) * 2017-12-29 2019-07-18 Beijing Voyager Technology Co., Ltd. Systems and methods for path determination
US20210065056A1 (en) * 2018-01-10 2021-03-04 Nec Corporation Parameter calculating device, parameter calculating method, and recording medium having parameter calculating program recorded thereon
US11688160B2 (en) * 2018-01-17 2023-06-27 Huawei Technologies Co., Ltd. Method of generating training data for training a neural network, method of training a neural network and using neural network for autonomous operations
US11687079B2 (en) * 2018-01-26 2023-06-27 Uatc, Llc Methods, devices, and systems for analyzing motion plans of autonomous vehicles
US10553044B2 (en) 2018-01-31 2020-02-04 Mentor Graphics Development (Deutschland) Gmbh Self-diagnosis of faults with a secondary system in an autonomous driving system
US11145146B2 (en) 2018-01-31 2021-10-12 Mentor Graphics (Deutschland) Gmbh Self-diagnosis of faults in an autonomous driving system
CN108363393B (zh) * 2018-02-05 2019-09-27 腾讯科技（深圳）有限公司 一种智能运动设备及其导航方法和存储介质
WO2019157193A1 (en) * 2018-02-09 2019-08-15 Nvidia Corporation Controlling autonomous vehicles using safe arrival times
EP3707645A1 (en) * 2018-02-09 2020-09-16 Deepmind Technologies Limited Neural network systems implementing conditional neural processes for efficient learning
US10670412B2 (en) * 2018-02-20 2020-06-02 Veoneer Us, Inc. System and method for generating a target path for a vehicle
US11468310B2 (en) * 2018-03-07 2022-10-11 International Business Machines Corporation Constraining actions for reinforcement learning under safety requirements
US11932251B2 (en) * 2018-03-09 2024-03-19 Honda Motor Co., Ltd. Vehicle control device, vehicle control method, and program
CN108482384A (zh) * 2018-03-12 2018-09-04 京东方科技集团股份有限公司 一种车辆辅助驾驶设备、系统和方法
JP2019156180A (ja) * 2018-03-13 2019-09-19 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
DE102019202090A1 (de) 2018-03-14 2019-09-19 Robert Bosch Gmbh Verfahren zum Erzeugen eines Trainingsdatensatzes zum Trainieren eines Künstlichen-Intelligenz-Moduls für eine Steuervorrichtung eines Roboters
US11243541B2 (en) 2018-03-23 2022-02-08 Uatc, Llc Motion-plan validator for autonomous vehicle
US11630998B2 (en) 2018-03-26 2023-04-18 Cohda Wireless Pty Ltd. Systems and methods for automatically training neural networks
WO2019190627A1 (en) * 2018-03-26 2019-10-03 Hrl Laboratories, Llc System and method for estimating uncertainty of the decisions made by a supervised machine learner
CN110309277B (zh) * 2018-03-28 2023-08-18 蔚来控股有限公司 人机对话语义解析方法和系统、车载人机对话方法和系统、控制器及存储介质
US11106211B2 (en) * 2018-04-02 2021-08-31 Sony Group Corporation Vision-based sample-efficient reinforcement learning framework for autonomous driving
CN110378460B (zh) * 2018-04-13 2022-03-08 北京智行者科技有限公司 决策方法
CN110390398B (zh) * 2018-04-13 2021-09-10 北京智行者科技有限公司 在线学习方法
US11327156B2 (en) 2018-04-26 2022-05-10 Metawave Corporation Reinforcement learning engine for a radar system
US10990096B2 (en) * 2018-04-27 2021-04-27 Honda Motor Co., Ltd. Reinforcement learning on autonomous vehicles
US11480971B2 (en) * 2018-05-01 2022-10-25 Honda Motor Co., Ltd. Systems and methods for generating instructions for navigating intersections with autonomous vehicles
DE102018207015B4 (de) * 2018-05-07 2023-08-24 Audi Ag Verfahren zum Trainieren selbstlernender Steuerungsalgorithmen für autonom bewegbare Vorrichtungen und autonom bewegbare Vorrichtung
US11610165B2 (en) * 2018-05-09 2023-03-21 Volvo Car Corporation Method and system for orchestrating multi-party services using semi-cooperative nash equilibrium based on artificial intelligence, neural network models,reinforcement learning and finite-state automata
US11042156B2 (en) * 2018-05-14 2021-06-22 Honda Motor Co., Ltd. System and method for learning and executing naturalistic driving behavior
DE102018208150B4 (de) * 2018-05-24 2023-08-24 Audi Ag Verfahren und System zum Sicherstellen einer Echtzeitfähigkeit eines Fahrerassistenzsystems
US11755902B2 (en) * 2018-06-01 2023-09-12 The Charles Stark Draper Laboratory, Inc. Co-adaptation for learning and control of devices
CN108805907B (zh) * 2018-06-05 2022-03-29 中南大学 一种行人姿势多特征智能辨识方法
DE102018210280A1 (de) * 2018-06-25 2020-01-02 Robert Bosch Gmbh Anpassung der Trajektorie eines Ego-Fahrzeugs an bewegte Fremdobjekte
CN108922176B (zh) * 2018-06-27 2021-05-14 华南理工大学 一种混合交通冲突态势的快速判断方法
US11073405B2 (en) * 2018-06-29 2021-07-27 International Business Machines Corporation Comparative priority and target destination based lane assignment of autonomous vehicles
EP3588226B1 (en) * 2018-06-29 2020-06-24 Zenuity AB Method and arrangement for generating control commands for an autonomous road vehicle
CN110727266B (zh) * 2018-06-29 2022-02-08 比亚迪股份有限公司 轨迹规划方法、装置及车辆及其控制方法、系统
JP6939723B2 (ja) * 2018-07-02 2021-09-22 株式会社デンソー 衝突判定装置
JP7245006B2 (ja) * 2018-07-05 2023-03-23 株式会社デンソー 車両の運転支援制御装置、車両の運転支援システムおよび車両の運転支援制御方法
CA3105853A1 (en) * 2018-07-06 2020-01-09 Eagle Aerospace Ltd. Adaptive braking and directional control system (abadcs)
US20200010084A1 (en) * 2018-07-09 2020-01-09 Visteon Global Technologies, Inc. Deep reinforcement learning for a general framework for model-based longitudinal control
KR102611934B1 (ko) * 2018-07-11 2023-12-08 르노 에스.아.에스. 주행 지원 방법 및 주행 지원 장치
WO2020014683A1 (en) 2018-07-13 2020-01-16 Kache.AI Systems and methods for autonomous object detection and vehicle following
US20210312725A1 (en) * 2018-07-14 2021-10-07 Moove.Ai Vehicle-data analytics
US10663963B2 (en) * 2018-08-03 2020-05-26 Here Global B.V. Method and apparatus for visualizing future events for passengers of autonomous vehicles
FR3084867B1 (fr) * 2018-08-07 2021-01-15 Psa Automobiles Sa Procede d’assistance pour qu’un vehicule a conduite automatisee suive une trajectoire, par apprentissage par renforcement de type acteur critique a seuil
EP3787947A2 (en) * 2018-08-14 2021-03-10 Mobileye Vision Technologies Ltd. Systems and methods for navigating with safe distances
US10754338B2 (en) * 2018-08-14 2020-08-25 GM Global Technology Operations LLC Controlling an autonomous vehicle based upon labels assigned to objects represented in sensor data
JP7011239B2 (ja) * 2018-08-17 2022-01-26 横河電機株式会社 装置、方法、プログラム、および、記録媒体
CN109272108A (zh) * 2018-08-22 2019-01-25 深圳市亚博智能科技有限公司 基于神经网络算法的移动控制方法、系统和计算机设备
US10703370B2 (en) * 2018-08-24 2020-07-07 Ford Global Technologies, Llc Vehicle action control
JP7192704B2 (ja) * 2018-08-31 2022-12-20 株式会社デンソー 地図生成装置及び地図生成プログラム
KR102592825B1 (ko) * 2018-08-31 2023-10-23 현대자동차주식회사 충돌 회피 제어 장치 및 그 방법
US10839230B2 (en) 2018-09-06 2020-11-17 Ford Global Technologies, Llc Multi-tier network for task-oriented deep neural network
US10882522B2 (en) * 2018-09-13 2021-01-05 Toyota Research Institute, Inc. Systems and methods for agent tracking
JP7107125B2 (ja) * 2018-09-19 2022-07-27 トヨタ自動車株式会社 車両制御装置
US20200104289A1 (en) * 2018-09-27 2020-04-02 Aptiv Technologies Limited Sharing classified objects perceived by autonomous vehicles
FR3086622B1 (fr) * 2018-09-28 2022-06-24 Renault Sas Dispositif de planification d'un chemin et/ou d'une trajectoire d'un vehicule automobile
US11495028B2 (en) * 2018-09-28 2022-11-08 Intel Corporation Obstacle analyzer, vehicle control system, and methods thereof
KR102637599B1 (ko) * 2018-10-08 2024-02-19 주식회사 에이치엘클레무브 차량간 통신 정보를 이용한 차선변경 제어장치 및 방법과, 그를 위한 성향 정보 산출 장치
US10747230B2 (en) * 2018-10-08 2020-08-18 Mando Corporation Vehicle control apparatus, vehicle control system, and image sensor
US10503966B1 (en) * 2018-10-11 2019-12-10 Tindei Network Technology (Shanghai) Co., Ltd. Binocular pedestrian detection system having dual-stream deep learning neural network and the methods of using the same
US11260872B2 (en) * 2018-10-12 2022-03-01 Honda Motor Co., Ltd. System and method for utilizing a temporal recurrent network for online action detection
TWI678305B (zh) * 2018-10-19 2019-12-01 財團法人車輛研究測試中心 具決策診斷之自動駕駛方法及其裝置
US11827241B2 (en) 2018-10-29 2023-11-28 Motional Ad Llc Adjusting lateral clearance for a vehicle using a multi-dimensional envelope
US10962381B2 (en) * 2018-11-01 2021-03-30 Here Global B.V. Method, apparatus, and computer program product for creating traffic information for specialized vehicle types
EP3650297B1 (en) 2018-11-08 2023-06-14 Bayerische Motoren Werke Aktiengesellschaft Method and apparatus for determining information related to a lane change of a target vehicle, and computer program
ES2914630T3 (es) * 2018-11-08 2022-06-14 Intsite Ltd Sistema y método para la operación autónoma de maquinaria pesada
US11657251B2 (en) * 2018-11-12 2023-05-23 Honda Motor Co., Ltd. System and method for multi-agent reinforcement learning with periodic parameter sharing
DE102018219391B4 (de) * 2018-11-14 2021-05-20 Honda Motor Co., Ltd. Fahrzeugsteuervorrichtung, Fahrzeugsteuerverfahren undFahrzeugsteuerprogramm
TWI674984B (zh) * 2018-11-15 2019-10-21 財團法人車輛研究測試中心 自動駕駛車輛之行駛軌跡規劃系統及方法
US11048253B2 (en) 2018-11-21 2021-06-29 Waymo Llc Agent prioritization for autonomous vehicles
US10896334B2 (en) 2018-11-28 2021-01-19 Here Global B.V. Method and system of a machine learning model for detection of physical dividers
US11131992B2 (en) 2018-11-30 2021-09-28 Denso International America, Inc. Multi-level collaborative control system with dual neural network planning for autonomous vehicle control in a noisy environment
JP7155975B2 (ja) * 2018-12-10 2022-10-19 トヨタ自動車株式会社 車両制御装置
EP3667556A1 (en) * 2018-12-12 2020-06-17 Visteon Global Technologies, Inc. Autonomous lane change
KR102555915B1 (ko) * 2018-12-12 2023-07-18 현대자동차주식회사 차량의 주행 제어장치 및 그 방법
EP3877117B1 (en) * 2018-12-13 2024-10-16 Siemens Aktiengesellschaft Automated system including reachability analysis
US10955853B2 (en) 2018-12-18 2021-03-23 Beijing Voyager Technology Co., Ltd. Systems and methods for autonomous driving
CN111413957B (zh) * 2018-12-18 2021-11-02 北京航迹科技有限公司 用于确定自动驾驶中的驾驶动作的系统和方法
CN111338333B (zh) * 2018-12-18 2021-08-31 北京航迹科技有限公司 用于自动驾驶的系统和方法
US11782158B2 (en) 2018-12-21 2023-10-10 Waymo Llc Multi-stage object heading estimation
CN109871010B (zh) * 2018-12-25 2022-03-22 南方科技大学 基于强化学习型的方法及系统
US11200429B1 (en) * 2018-12-28 2021-12-14 Zoox, Inc. Tracking objects using sensor data segmentations and/or representations
CN110667578B (zh) * 2018-12-29 2021-09-17 毫末智行科技有限公司 自动驾驶车辆的横向决策系统及横向决策确定方法
US10960886B2 (en) 2019-01-29 2021-03-30 Motional Ad Llc Traffic light estimation
US11355011B1 (en) * 2019-01-31 2022-06-07 United Services Automobile Association (Usaa) Autonomous vehicle convergence avoidance systems and methods
US10503174B1 (en) * 2019-01-31 2019-12-10 StradVision, Inc. Method and device for optimized resource allocation in autonomous driving on the basis of reinforcement learning using data from lidar, radar, and camera sensor
US11242050B2 (en) * 2019-01-31 2022-02-08 Honda Motor Co., Ltd. Reinforcement learning with scene decomposition for navigating complex environments
CN111523673B (zh) * 2019-02-01 2021-07-27 创新先进技术有限公司 模型训练方法、装置及系统
CN109741626B (zh) * 2019-02-24 2023-09-29 苏州科技大学 停车场停车情况预测方法、调度方法和系统
JP7359551B2 (ja) * 2019-02-26 2023-10-11 本田技研工業株式会社 道路管理システム
US11580445B2 (en) * 2019-03-05 2023-02-14 Salesforce.Com, Inc. Efficient off-policy credit assignment
JP7316064B2 (ja) * 2019-03-08 2023-07-27 株式会社Subaru 車両の制御装置、車両の制御方法及びプログラム
JP2020148593A (ja) * 2019-03-13 2020-09-17 株式会社明電舎 自動操縦ロボットを制御する操作推論学習モデルの学習システム及び学習方法
US11216001B2 (en) 2019-03-20 2022-01-04 Honda Motor Co., Ltd. System and method for outputting vehicle dynamic controls using deep neural networks
US20200310420A1 (en) * 2019-03-26 2020-10-01 GM Global Technology Operations LLC System and method to train and select a best solution in a dynamical system
US11560146B2 (en) * 2019-03-26 2023-01-24 Ford Global Technologies, Llc Interpreting data of reinforcement learning agent controller
US11989625B2 (en) 2019-03-29 2024-05-21 Honeywell International Inc. Method and system for detecting and avoiding loss of separation between vehicles and updating the same
JP7135977B2 (ja) 2019-03-29 2022-09-13 マツダ株式会社 車両用演算装置
CN110084245B (zh) * 2019-04-04 2020-12-25 中国科学院自动化研究所 基于视觉注意机制强化学习弱监督图像检测方法、系统
CN109901402B (zh) * 2019-04-08 2021-10-29 哈尔滨工程大学 一种基于航向平滑技术的自主水下机器人路径跟踪方法
CN110084168B (zh) * 2019-04-22 2021-04-23 中国科学院自动化研究所 一种主动目标识别方法及装置
EP3730384B1 (en) * 2019-04-24 2022-10-26 Aptiv Technologies Limited System and method for trajectory estimation
CN110081897B (zh) * 2019-05-06 2020-10-27 江南大学 一种限制性骑行路径规划装置及方法
US11110917B2 (en) * 2019-05-13 2021-09-07 Great Wall Motor Company Limited Method and apparatus for interaction aware traffic scene prediction
CN110532846B (zh) * 2019-05-21 2022-09-16 华为技术有限公司 自动换道方法、装置及存储介质
WO2020242945A1 (en) * 2019-05-24 2020-12-03 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation based on image analysis
US11321635B2 (en) 2019-05-29 2022-05-03 United States Of America As Represented By The Secretary Of The Navy Method for performing multi-agent reinforcement learning in the presence of unreliable communications via distributed consensus
US11131993B2 (en) 2019-05-29 2021-09-28 Argo AI, LLC Methods and systems for trajectory forecasting with recurrent neural networks using inertial behavioral rollout
EP3748456A1 (en) * 2019-06-04 2020-12-09 Hitachi Automotive Systems, Ltd. Autonomous driving control system and apparatus for determining vehicle travelling data usable in said autonomous driving control system
CN114364591A (zh) * 2019-06-06 2022-04-15 移动眼视觉科技有限公司 用于交通工具导航系统和方法
US10990855B2 (en) * 2019-06-13 2021-04-27 Baidu Usa Llc Detecting adversarial samples by a vision based perception system
EP3751465A1 (en) * 2019-06-14 2020-12-16 Bayerische Motoren Werke Aktiengesellschaft Methods, apparatuses and computer programs for generating a reinforcement learning-based machine-learning model and for generating a control signal for operating a vehicle
US11921519B2 (en) 2019-06-24 2024-03-05 Arizona Board Of Regents On Behalf Of Arizona State University Partition-based parametric active model discrimination with applications to driver intention estimation
KR20210000994A (ko) * 2019-06-26 2021-01-06 현대자동차주식회사 차량 및 그 제어방법
CN110361709B (zh) * 2019-06-28 2021-04-20 清矽微电子(南京)有限公司 一种基于动态虚警概率的车载毫米波雷达目标识别方法
CN112141095B (zh) * 2019-06-28 2022-07-15 北京新能源汽车股份有限公司 一种车辆控制方法、车辆控制器及汽车
US11467588B2 (en) 2019-07-03 2022-10-11 Denso International America, Inc. Systems and methods for controlling an autonomous vehicle using target orientated artificial intelligence
US11650067B2 (en) 2019-07-08 2023-05-16 Toyota Motor North America, Inc. System and method for reducing route time using big data
CN110348418B (zh) * 2019-07-17 2022-03-11 上海商汤智能科技有限公司 目标跟踪方法及装置、智能移动设备和存储介质
DE102019211674A1 (de) * 2019-08-02 2021-02-04 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ausgeben eines Steuersignals an eine Einheit einer mobilen Arbeitsmaschine, insbesondere einer Hubarbeitsbühne
CN110488816B (zh) * 2019-08-06 2021-12-31 华为技术有限公司 自动驾驶纵向规划方法及相关设备
KR20210026248A (ko) * 2019-08-29 2021-03-10 현대자동차주식회사 차량 사고 통보 장치, 그를 포함한 시스템 및 그 방법
US20210074162A1 (en) * 2019-09-09 2021-03-11 GM Global Technology Operations LLC Methods and systems for performing lane changes by an autonomous vehicle
US20210078735A1 (en) * 2019-09-18 2021-03-18 Bae Systems Information And Electronic Systems Integration Inc. Satellite threat mitigation by application of reinforcement machine learning in physics based space simulation
US11087147B2 (en) * 2019-09-19 2021-08-10 Ford Global Technologies, Llc Vehicle lane mapping
US11852746B2 (en) * 2019-10-07 2023-12-26 Metawave Corporation Multi-sensor fusion platform for bootstrapping the training of a beam steering radar
US11334671B2 (en) 2019-10-14 2022-05-17 International Business Machines Corporation Adding adversarial robustness to trained machine learning models
EP3819891A1 (en) * 2019-11-07 2021-05-12 Ningbo Geely Automobile Research & Development Co. Ltd. Threat mitigation for vehicles
CN110882542B (zh) * 2019-11-13 2023-07-18 广州多益网络股份有限公司 游戏智能体的训练方法、装置、设备及存储介质
US11465617B2 (en) * 2019-11-19 2022-10-11 Ford Global Technologies, Llc Vehicle path planning
CN112906900A (zh) * 2019-11-19 2021-06-04 D.S.瑞德有限公司 用于监视车辆的状况和用于告警反常/缺陷的方法和系统
US11899454B2 (en) 2019-11-26 2024-02-13 Nissan North America, Inc. Objective-based reasoning in autonomous vehicle decision-making
US11635758B2 (en) 2019-11-26 2023-04-25 Nissan North America, Inc. Risk aware executor with action set recommendations
CN110968866B (zh) * 2019-11-27 2021-12-07 浙江工业大学 一种面向深度强化学习模型对抗攻击的防御方法
US11613269B2 (en) 2019-12-23 2023-03-28 Nissan North America, Inc. Learning safety and human-centered constraints in autonomous vehicles
CN111007858B (zh) * 2019-12-23 2023-04-28 北京三快在线科技有限公司 车辆行驶决策模型的训练方法、行驶决策确定方法及装置
US11300957B2 (en) 2019-12-26 2022-04-12 Nissan North America, Inc. Multiple objective explanation and control interface design
TWI765208B (zh) * 2020-01-06 2022-05-21 為升電裝工業股份有限公司 具車速偵測功能的盲點偵測系統、偵測裝置及其測速方法
US11577746B2 (en) 2020-01-31 2023-02-14 Nissan North America, Inc. Explainability of autonomous vehicle decision making
US11714971B2 (en) 2020-01-31 2023-08-01 Nissan North America, Inc. Explainability of autonomous vehicle decision making
US11587333B2 (en) * 2020-02-10 2023-02-21 GM Global Technology Operations LLC Systems and methods for monitoring and maintaining stability of vehicle cargo
EP3866074B1 (en) * 2020-02-14 2022-11-30 Robert Bosch GmbH Method and device for controlling a robot
JP7331731B2 (ja) * 2020-02-21 2023-08-23 トヨタ自動車株式会社 車両用電子ミラーシステム
US11836585B2 (en) * 2020-03-02 2023-12-05 Uatc, Llc Systems and methods for training probabilistic object motion prediction models using non-differentiable prior knowledge
US11782438B2 (en) 2020-03-17 2023-10-10 Nissan North America, Inc. Apparatus and method for post-processing a decision-making model of an autonomous vehicle using multivariate data
US11708071B2 (en) 2020-03-30 2023-07-25 Denso Corporation Target-orientated navigation system for a vehicle using a generic navigation system and related method
EP4116738A4 (en) * 2020-03-31 2024-03-20 Bitsensing Inc. RADAR DEVICE AND METHOD FOR CLASSIFYING OBJECTS
US11586209B2 (en) * 2020-04-08 2023-02-21 Baidu Usa Llc Differential dynamic programming (DDP) based planning architecture for autonomous driving vehicles
US11430042B2 (en) 2020-04-30 2022-08-30 Capital One Services, Llc Methods and systems for providing a vehicle recommendation
CN111497842B (zh) * 2020-04-30 2023-03-24 重庆大学 一种人机双闭环分层协同纵向跟车控制方法
US11872965B2 (en) * 2020-05-11 2024-01-16 Hunter Engineering Company System and method for gyroscopic placement of vehicle ADAS targets
US12077190B2 (en) 2020-05-18 2024-09-03 Nvidia Corporation Efficient safety aware path selection and planning for autonomous machine applications
JP7375678B2 (ja) * 2020-06-02 2023-11-08 トヨタ自動車株式会社 車両制御方法、車両制御プログラム、及び車両制御システム
CN111661048B (zh) * 2020-06-10 2023-04-07 中车株洲电力机车有限公司 多铰接式车辆及其轨迹跟随控制方法与系统
US20210389138A1 (en) * 2020-06-15 2021-12-16 Google Llc Vehicle Communication System for Optimizing Traffic Flow
US20200324794A1 (en) * 2020-06-25 2020-10-15 Intel Corporation Technology to apply driving norms for automated vehicle behavior prediction
US20200326721A1 (en) * 2020-06-26 2020-10-15 Intel Corporation Occupancy verification device and method
JP7380454B2 (ja) * 2020-07-01 2023-11-15 トヨタ自動車株式会社 制御装置、プログラム、及び制御方法
US11682272B2 (en) * 2020-07-07 2023-06-20 Nvidia Corporation Systems and methods for pedestrian crossing risk assessment and directional warning
US12085945B2 (en) * 2020-07-13 2024-09-10 Baidu Usa Llc Random shift based path centering system for autonomous vehicles
US11608067B2 (en) * 2020-08-12 2023-03-21 Honda Motor Co., Ltd. Probabilistic-based lane-change decision making and motion planning system and method thereof
US11958498B2 (en) 2020-08-24 2024-04-16 Toyota Research Institute, Inc. Data-driven warm start selection for optimization-based trajectory planning
CN116194935B (zh) * 2020-09-22 2024-02-20 格步计程车控股私人有限公司 用于确定地理区域中的车辆的导航简档的方法和设备
EP3975035A1 (en) 2020-09-23 2022-03-30 Valeo Internal Automotive Software Egypt, a limited liability company Method and system for road safety assessment
US11648965B2 (en) 2020-09-28 2023-05-16 Argo AI, LLC Method and system for using a reaction of other road users to ego-vehicle actions in autonomous driving
US11748995B2 (en) * 2020-09-29 2023-09-05 Toyota Research Institute, Inc. Object state tracking and prediction using supplemental information
US11414101B1 (en) * 2020-09-30 2022-08-16 United Services Automobile Association (Usaa) Systems and methods for automatic sheltering in storms
US20220097690A1 (en) * 2020-09-30 2022-03-31 Toyota Motor Engineering & Manufacturing North America, Inc. Optical sense-compute solution for real-time navigation involving multiple vehicles
US12065139B2 (en) * 2020-11-10 2024-08-20 Honda Motor Co., Ltd. System and method for completing risk object identification
US12062242B2 (en) 2020-12-03 2024-08-13 Hl Klemove Corp. Method and system for real-time continuous lane mapping and classification
US11807267B2 (en) 2020-12-31 2023-11-07 Toyota Research Institute, Inc. Systems and methods for risk-sensitive sequential action control for robotic devices
FR3118928B1 (fr) 2021-01-19 2023-12-15 Baptiste Hanrion Procédé et système d’aide à la conduite d’un véhicule dans un flux de circulation impliquant d’autres véhicules
US11586865B2 (en) * 2021-02-18 2023-02-21 Volkswagen Aktiengesellschaft Apparatus, system and method for fusing sensor data to do sensor translation
US11794779B2 (en) * 2021-03-19 2023-10-24 Waymo Llc Pullover maneuvers for autonomous vehicles
CN113008260B (zh) * 2021-03-26 2024-03-22 上海商汤临港智能科技有限公司 一种导航信息处理方法、装置、电子设备及存储介质
CN113022539B (zh) * 2021-03-26 2022-10-04 浙江吉利控股集团有限公司 一种动物驱离方法、系统、存储介质及设备
US11958503B2 (en) 2021-04-16 2024-04-16 Motional Ad Llc Techniques for navigating an autonomous vehicle based on perceived risk
WO2022246802A1 (zh) * 2021-05-28 2022-12-01 华为技术有限公司 一种驾驶策略确定方法、装置、设备及车辆
GB2607601A (en) * 2021-06-07 2022-12-14 Khemiri Nizar The use of predefined (pre-built) graphical representations of roads for autonomous driving of vehicles and display of route planning.
CN113548047B (zh) * 2021-06-08 2022-11-11 重庆大学 一种基于深度学习的个性化车道保持辅助方法及装置
US20230020503A1 (en) * 2021-07-08 2023-01-19 Ford Global Technologies, Llc Machine control
CN113635896B (zh) * 2021-07-31 2023-06-20 华为技术有限公司 一种驾驶行为确定方法及其相关设备
EP4209963A1 (en) 2022-01-11 2023-07-12 Ford Global Technologies, LLC Method for autonomous driving of a vehicle, a data processing circuit, a computer program, and a computer-readable medium
US11960273B2 (en) * 2022-06-09 2024-04-16 Xerox Corporation Method and architecture for AI-assisted supervision for a controlled system
US20240025443A1 (en) * 2022-07-22 2024-01-25 Motional Ad Llc Path generation based on predicted actions
CN115774264B (zh) * 2022-11-29 2023-06-16 中国科学院紫金山天文台 空间碎片全时域激光探测的目标捕获和跟踪方法、存储介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5170352A (en) * 1990-05-07 1992-12-08 Fmc Corporation Multi-purpose autonomous vehicle with path plotting
CN1907750A (zh) * 2005-08-05 2007-02-07 日产自动车株式会社 车辆驾驶辅助系统和车辆驾驶辅助方法

Family Cites Families (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62155140A (ja) * 1985-12-27 1987-07-10 Aisin Warner Ltd 車両制御用道路画像入力方式
US6963661B1 (en) * 1999-09-09 2005-11-08 Kabushiki Kaisha Toshiba Obstacle detection system and method therefor
JP4062848B2 (ja) * 2000-02-23 2008-03-19 アイシン・エィ・ダブリュ株式会社 自動変速機の制御装置
DE10059426A1 (de) * 2000-11-30 2002-06-13 Bosch Gmbh Robert Verfahren zur Auslösung von Rückhaltemitteln in einem Kraftfahrzeug
GB0114424D0 (en) * 2001-06-13 2001-08-08 Ricardo Consulting Eng Improved vehicle control
EP3454315A1 (en) 2004-04-08 2019-03-13 Mobileye Vision Technologies Ltd. Collision warning system
US8078338B2 (en) * 2004-10-22 2011-12-13 Irobot Corporation System and method for behavior based control of an autonomous vehicle
US7499804B2 (en) * 2004-10-22 2009-03-03 Irobot Corporation System and method for multi-modal control of an autonomous vehicle
US7493202B2 (en) * 2004-11-12 2009-02-17 Takata Corporation Vehicle safety control system by image processing
JP4684954B2 (ja) * 2005-08-31 2011-05-18 本田技研工業株式会社 車両の走行安全装置
JP2009530166A (ja) * 2006-03-22 2009-08-27 ジーエム グローバル テクノロジー オペレーションズ，インク． 運転スタイル感応性車両サブシステム制御方法及び装置
US7979174B2 (en) * 2007-09-28 2011-07-12 Honeywell International Inc. Automatic planning and regulation of the speed of autonomous vehicles
EP2055601A1 (en) * 2007-10-29 2009-05-06 MAGNETI MARELLI POWERTRAIN S.p.A. Control method for limiting the performances of a road vehicle
US7755472B2 (en) * 2007-12-10 2010-07-13 Grossman Victor A System and method for setting functions according to location
US8380406B2 (en) * 2008-06-12 2013-02-19 Ford Global Technologies, Llc Using driving behavior to determine gear changes of an automatic transmission
US8116971B2 (en) * 2008-06-26 2012-02-14 Microsoft Corporation Training a driver of a vehicle to achieve improved fuel economy
US9493149B2 (en) * 2008-07-02 2016-11-15 Michael Phelan Driver authentication system and method for monitoring and controlling vehicle usage
JP5332356B2 (ja) * 2008-07-08 2013-11-06 日産自動車株式会社 車両用運転支援装置
US8126642B2 (en) * 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US20100209892A1 (en) * 2009-02-18 2010-08-19 Gm Global Technology Operations, Inc. Driving skill recognition based on manual transmission shift behavior
US8170725B2 (en) * 2009-02-18 2012-05-01 GM Global Technology Operations LLC Vehicle stability enhancement control adaptation to driving skill based on highway on/off ramp maneuver
US20100209891A1 (en) * 2009-02-18 2010-08-19 Gm Global Technology Operations, Inc. Driving skill recognition based on stop-and-go driving behavior
US8886365B2 (en) * 2009-10-30 2014-11-11 Ford Global Technologies, Llc Vehicle and method for advising driver of same
US8738228B2 (en) * 2009-10-30 2014-05-27 Ford Global Technologies, Llc Vehicle and method of tuning performance of same
JP5269755B2 (ja) * 2009-12-10 2013-08-21 株式会社日立製作所 人横断支援車両システム及び人横断支援方法
US8537030B2 (en) * 2010-02-15 2013-09-17 Ford Global Technologies, Llc Pedestrian alert system and method
JP5126320B2 (ja) * 2010-08-30 2013-01-23 トヨタ自動車株式会社 車両の制御装置
EP2615595B1 (en) * 2010-09-08 2015-03-04 Toyota Jidosha Kabushiki Kaisha Degree of danger calculation apparatus
JP5573530B2 (ja) * 2010-09-15 2014-08-20 トヨタ自動車株式会社 車両の制御装置
JP5880580B2 (ja) * 2012-01-20 2016-03-09 トヨタ自動車株式会社 車両挙動予測装置及び車両挙動予測方法、並びに運転支援装置
US8457827B1 (en) * 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US8761991B1 (en) * 2012-04-09 2014-06-24 Google Inc. Use of uncertainty regarding observations of traffic intersections to modify behavior of a vehicle
US9176500B1 (en) * 2012-05-14 2015-11-03 Google Inc. Consideration of risks in active sensing for an autonomous vehicle
US8781669B1 (en) * 2012-05-14 2014-07-15 Google Inc. Consideration of risks in active sensing for an autonomous vehicle
US8473144B1 (en) * 2012-10-30 2013-06-25 Google Inc. Controlling vehicle lateral lane positioning
US9950708B1 (en) * 2012-11-02 2018-04-24 Waymo Llc Adaptation of autonomous driving behaviour based on occupant presence and position
WO2014091611A1 (ja) * 2012-12-13 2014-06-19 株式会社日立製作所 自律走行装置
US9079533B2 (en) * 2013-02-27 2015-07-14 Peter Pottier Programmable devices for alerting vehicles and pedestrians and methods of using the same
US9008890B1 (en) * 2013-03-15 2015-04-14 Google Inc. Augmented trajectories for autonomous vehicles
US8849494B1 (en) 2013-03-15 2014-09-30 Google Inc. Data selection by an autonomous vehicle for trajectory modification
WO2014190208A2 (en) * 2013-05-22 2014-11-27 Neurala, Inc. Methods and apparatus for early sensory integration and robust acquisition of real world knowledge
JP6258639B2 (ja) * 2013-09-04 2018-01-10 トヨタ自動車株式会社 衝突回避支援装置及び衝突回避支援方法
CN106030609B (zh) * 2013-12-04 2020-07-03 移动眼视力科技有限公司 用于模仿前车的系统和方法
US9349293B2 (en) * 2014-02-07 2016-05-24 Here Global B.V Method and apparatus for providing vehicle synchronization to facilitate a crossing
EP2923911B1 (en) * 2014-03-24 2019-03-13 Honda Research Institute Europe GmbH A method and system for predicting movement behavior of a target traffic object
US20150329043A1 (en) * 2014-05-13 2015-11-19 Continental Automotive Systems, Inc. Warning to a Pedestrian in Dangerous Situation
CN106663193B (zh) * 2014-05-14 2020-12-25 御眼视觉技术有限公司 用于路缘检测和行人危险评估的系统和方法
US9475422B2 (en) * 2014-05-22 2016-10-25 Applied Invention, Llc Communication between autonomous vehicle and external observers
US9457807B2 (en) * 2014-06-05 2016-10-04 GM Global Technology Operations LLC Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver
US9428187B2 (en) * 2014-06-05 2016-08-30 GM Global Technology Operations LLC Lane change path planning algorithm for autonomous driving vehicle
US9428195B1 (en) * 2014-07-24 2016-08-30 Lytx, Inc. Back-end event risk assessment with historical coaching profiles
JP6137081B2 (ja) * 2014-07-29 2017-05-31 株式会社デンソー 車載機器
EP2990290B1 (en) * 2014-09-01 2019-11-06 Honda Research Institute Europe GmbH Method and system for post-collision manoeuvre planning and vehicle equipped with such system
KR101484249B1 (ko) * 2014-09-22 2015-01-16 현대자동차 주식회사 차량의 주행 모드 제어 장치 및 방법
US9056616B1 (en) * 2014-09-23 2015-06-16 State Farm Mutual Automobile Insurance Student driver feedback system allowing entry of tagged events by instructors during driving tests
US9630318B2 (en) * 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
US9248834B1 (en) * 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
US9804594B2 (en) * 2014-11-07 2017-10-31 Clearpath Robotics, Inc. Self-calibrating sensors and actuators for unmanned vehicles
US9776512B2 (en) * 2014-11-10 2017-10-03 Streetsmart Ltd. Methods, circuits, devices, systems and associated computer executable code for driver decision support
US10024684B2 (en) * 2014-12-02 2018-07-17 Operr Technologies, Inc. Method and system for avoidance of accidents
DE102014226188A1 (de) * 2014-12-17 2016-06-23 Bayerische Motoren Werke Aktiengesellschaft Kommunikation zwischen einem Fahrzeug und einem Verkehrsteilnehmer im Umfeld des Fahrzeugs
US9573600B2 (en) * 2014-12-19 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for generating and using driver specific vehicle controls
US20160231746A1 (en) * 2015-02-06 2016-08-11 Delphi Technologies, Inc. System And Method To Operate An Automated Vehicle
JP6361567B2 (ja) * 2015-04-27 2018-07-25 トヨタ自動車株式会社 自動運転車両システム
US10015041B2 (en) * 2015-09-17 2018-07-03 Comcast Cable Communications, Llc Providing network connectivity for a service disruption
US9914460B2 (en) * 2015-09-25 2018-03-13 Mcafee, Llc Contextual scoring of automobile drivers
US20170123623A1 (en) * 2015-10-29 2017-05-04 Google Inc. Terminating computing applications using a gesture
US9494940B1 (en) * 2015-11-04 2016-11-15 Zoox, Inc. Quadrant configuration of robotic vehicles
US9612123B1 (en) * 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
US9910441B2 (en) * 2015-11-04 2018-03-06 Zoox, Inc. Adaptive autonomous vehicle planner logic
US9606539B1 (en) * 2015-11-04 2017-03-28 Zoox, Inc. Autonomous vehicle fleet service and system
US9958864B2 (en) * 2015-11-04 2018-05-01 Zoox, Inc. Coordination of dispatching and maintaining fleet of autonomous vehicles
US9804599B2 (en) * 2015-11-04 2017-10-31 Zoox, Inc. Active lighting control for communicating a state of an autonomous vehicle to entities in a surrounding environment
DE102015221817A1 (de) * 2015-11-06 2017-05-11 Audi Ag Verfahren zum dezentralen Abstimmen von Fahrmanövern
CN108431549B (zh) * 2016-01-05 2020-09-04 御眼视觉技术有限公司 具有施加的约束的经训练的系统
US9902311B2 (en) * 2016-02-22 2018-02-27 Uber Technologies, Inc. Lighting device for a vehicle
US9645577B1 (en) * 2016-03-23 2017-05-09 nuTonomy Inc. Facilitating vehicle driving and self-driving
US9857795B2 (en) * 2016-03-24 2018-01-02 Honda Motor Co., Ltd. System and method for trajectory planning for unexpected pedestrians
US10303166B2 (en) * 2016-05-23 2019-05-28 nuTonomy Inc. Supervisory control of vehicles
DE102016007631A1 (de) * 2016-06-23 2017-12-28 Wabco Gmbh Verfahren zum Durchführen einer Notbremsung in einem Fahrzeug sowie Notbremssystem zur Durchführung des Verfahrens
US10595037B2 (en) * 2016-10-28 2020-03-17 Nec Corporation Dynamic scene prediction with multiple interacting agents
WO2018081807A2 (en) * 2016-10-31 2018-05-03 Mobileye Vision Technologies Ltd. Systems and methods for navigating lane merges and lane splits
US9933781B1 (en) * 2016-11-23 2018-04-03 Denso International America, Inc. Data-driven planning for automated driving
US10846590B2 (en) * 2016-12-20 2020-11-24 Intel Corporation Autonomous navigation using spiking neuromorphic computers
US9953538B1 (en) * 2017-01-17 2018-04-24 Lyft, Inc. Autonomous vehicle notification system
US20180370502A1 (en) * 2017-06-27 2018-12-27 Dura Operating, Llc Method and system for autonomous emergency self-learning braking for a vehicle
US10268191B1 (en) * 2017-07-07 2019-04-23 Zoox, Inc. Predictive teleoperator situational awareness
DE102017212373A1 (de) * 2017-07-19 2019-01-24 Volkswagen Aktiengesellschaft Verfahren zur Bestimmung einer Trajektorie für eine autonom fahrendes Kraftfahrzeug, Steuereinrichtung und Kraftfahrzeug
US10261514B2 (en) * 2017-08-16 2019-04-16 Uber Technologies, Inc. Systems and methods for communicating autonomous vehicle scenario evaluation and intended vehicle actions
US11009874B2 (en) * 2017-09-14 2021-05-18 Uatc, Llc Fault-tolerant control of an autonomous vehicle with multiple control lanes
US10606270B2 (en) * 2017-10-18 2020-03-31 Luminar Technologies, Inc. Controlling an autonomous vehicle using cost maps
US20190220016A1 (en) * 2018-01-15 2019-07-18 Uber Technologies, Inc. Discrete Decision Architecture for Motion Planning System of an Autonomous Vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5170352A (en) * 1990-05-07 1992-12-08 Fmc Corporation Multi-purpose autonomous vehicle with path plotting
CN1907750A (zh) * 2005-08-05 2007-02-07 日产自动车株式会社 车辆驾驶辅助系统和车辆驾驶辅助方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210101616A1 (en) * 2019-10-08 2021-04-08 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation

Also Published As

Publication number Publication date
US11561551B2 (en) 2023-01-24
US9977430B2 (en) 2018-05-22
US10782703B2 (en) 2020-09-22
WO2017120336A2 (en) 2017-07-13
US10845816B2 (en) 2020-11-24
US20180307240A1 (en) 2018-10-25
US20190286157A1 (en) 2019-09-19
US10649462B2 (en) 2020-05-12
US10627830B2 (en) 2020-04-21
US20180307239A1 (en) 2018-10-25
CN118838336A (zh) 2024-10-25
CN112051855A (zh) 2020-12-08
US20190286156A1 (en) 2019-09-19
US10606278B2 (en) 2020-03-31
WO2017120336A3 (en) 2017-08-24
US20180307229A1 (en) 2018-10-25
US20210034068A1 (en) 2021-02-04
US10591929B2 (en) 2020-03-17
US20190286155A1 (en) 2019-09-19
US10514705B2 (en) 2019-12-24
US20180032082A1 (en) 2018-02-01
EP3400419A2 (en) 2018-11-14
US10795375B2 (en) 2020-10-06
US20180314266A1 (en) 2018-11-01
US20190286154A1 (en) 2019-09-19
US10698414B2 (en) 2020-06-30
US20180304889A1 (en) 2018-10-25
CN108431549A (zh) 2018-08-21

Similar Documents

Publication Publication Date Title
CN108431549B (zh) 具有施加的约束的经训练的系统
CN110402371B (zh) 用于利用感测不确定性导航的系统和方法
CN110383008B (zh) 基于车辆活动的导航
CN112629551B (zh) 具有施加的责任约束的导航系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant