CN110383008B - 基于车辆活动的导航 - Google Patents

基于车辆活动的导航 Download PDF

Info

Publication number
CN110383008B
CN110383008B CN201880016183.2A CN201880016183A CN110383008B CN 110383008 B CN110383008 B CN 110383008B CN 201880016183 A CN201880016183 A CN 201880016183A CN 110383008 B CN110383008 B CN 110383008B
Authority
CN
China
Prior art keywords
vehicle
host vehicle
navigation
lane
navigational
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880016183.2A
Other languages
English (en)
Other versions
CN110383008A (zh
Inventor
S.沙莱夫-什瓦尔茨
A.沙舒亚
G.斯坦
S.沙马
Y.泰埃布
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mobileye Vision Technologies Ltd
Original Assignee
Mobileye Vision Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobileye Vision Technologies Ltd filed Critical Mobileye Vision Technologies Ltd
Priority to CN201910934322.6A priority Critical patent/CN110657820A/zh
Publication of CN110383008A publication Critical patent/CN110383008A/zh
Application granted granted Critical
Publication of CN110383008B publication Critical patent/CN110383008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B60W30/162—Speed limiting therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B60W30/165—Automatically following the path of a preceding lead vehicle, e.g. "electronic tow-bar"
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/15—Agricultural vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/17—Construction vehicles, e.g. graders, excavators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4046—Behavior, e.g. aggressive or erratic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4048—Field of view, e.g. obstructed view or direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/60—Traversable objects, e.g. speed bumps or curbs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本公开涉及用于主车辆导航的系统和方法。在一个实施方式中，用于主车辆的导航系统可以包括至少一个处理设备，该处理设备被编程为从相机接收表示主车辆环境的多个图像；分析多个图像以识别第一交通流和第二交通流；确定指示第一交通流和第二交通流交替并入合并车道的至少一个导航状态特性的存在；引起至少第一导航改变，以允许来自第一交通流的一个目标车辆前进到主车辆前方；并且引起至少第二导航改变，以使得主车辆跟随目标车辆进入合并车道。

Description

基于车辆活动的导航
相关申请的交叉引用
本申请要求2017年1月12日提交的美国临时专利申请第62/445,500号、2017年8月16日提交的美国临时专利申请第62/546,343号、2017年9月29日提交的美国临时专利申请第62/565,244号、和2017年11月7日提交的美国临时专利申请第62/582,687号的优先权。前述申请通过引用整体并入本文。
技术领域
本公开总体上涉及自主车辆导航。此外，本公开涉及用于使用强化学习技术进行导航的系统和方法。
背景技术
随着技术的不断进步，能够在车行道上导航的完全自主车辆的目标即将出现。自主车辆可能需要考虑各种各样的因素，并且基于那些因素做出适当的决定，以安全和准确地到达期望的目的地。例如，自主车辆可能需要处理和解释可视信息(例如，从相机捕捉的信息)，从雷达或激光雷达的信息，并且也可能使用从其它源(例如，从GPS设备、速度传感器、加速度计、悬架传感器等)获得的信息。同时，为了导航到目的地，自主车辆还可能需要标识其在特定车行道内(例如，在多车道道路内的特定车道)的地点、沿着其它车辆旁边导航、避开障碍和行人、观察交通信号和标志、在适当的交叉口或交汇处从一条道路行进到另一条道路，并对车辆运行期间发生或进展的任何其他情况作出响应。
此外，自主车辆需要考虑道路上的其他车辆，例如，在并道期间和/或通过与道路上的其他驾驶员协商。自主车辆还需要响应传统的指示符，诸如制动灯和跟随车辆的特性。最后，重要的是自主车辆不应阻碍紧急车辆的移动。
发明内容
与本公开一致的实施例提供了用于自主车辆导航的系统和方法。所公开的实施例可以使用相机来提供自主车辆导航特征。例如，与所公开的实施例一致，所公开的系统可以包括一个、两个或多个监测车辆环境的相机。所公开的系统可以基于例如对由一个或多个相机捕捉的图像的分析来提供导航响应。导航响应还可以考虑其他数据，包括例如全球定位系统(Global Positioning System，GPS)数据、传感器数据(例如，来自加速度计、速度传感器、悬架传感器等)、和/或其他地图数据。
在一个实施例中，用于主车辆的导航系统可以包括至少一个处理设备。该至少一个处理设备可以被编程为：从相机接收表示主车辆环境的多个图像；并且分析多个图像以识别第一交通流(flow of traffic)和第二交通流。第二交通流可以包括主车辆。该至少一个处理设备可以进一步被编程为：确定车辆环境中指示第一交通流和第二交通流交替并入合并车道(merged lane)的至少一个导航状态特性的存在；引起主车辆的至少第一导航改变，以允许来自第一交通流的一个目标车辆前进到主车辆前方；并且引起主车辆的至少第二导航改变，以使得主车辆跟随目标车辆在来自第一交通流的第二目标车辆的前方进入合并车道。
在一个实施例中，用于导航主车辆的计算机实现的方法可以包括：从相机接收表示主车辆环境的多个图像；以及分析多个图像以识别第一交通流和第二交通流。第二交通流可以包括主车辆。该方法还可以包括：确定车辆环境中指示第一交通流和第二交通流交替并入合并车道的至少一个导航状态特性的存在；引起主车辆的至少第一导航改变，以允许来自第一交通流的一个目标车辆前进到主车辆前方；并且引起主车辆的至少第二导航改变，以使得主车辆跟随目标车辆在来自第一交通流的第二目标车辆的前方进入合并车道。
在一个实施例中，用于主车辆的导航系统可以包括至少一个处理设备。该至少一个处理设备可以被编程为：从与主车辆相关联的至少一个传感器接收主车辆环境中存在紧急车辆的指示；并且响应于主车辆环境中存在紧急车辆的指示，引起主车辆的至少一个导航改变。
在一个实施例中，用于导航主车辆的计算机实现的方法可以包括：从与主车辆相关联的至少一个传感器接收主车辆环境中存在紧急车辆的指示；以及响应于主车辆环境中存在紧急车辆的指示，引起主车辆的至少一个导航改变。
在一个实施例中，用于主车辆的导航系统可以包括至少一个处理设备。该至少一个处理设备可以被编程为：从相机接收表示主车辆环境的多个图像；以及分析多个图像以识别主车辆环境中的至少一个目标车辆。目标车辆可以具有影响主车辆的至少一个规划导航动作的位置。该至少一个处理设备可以进一步被编程为：引起主车辆的至少一个导航改变，以向目标车辆发出主车辆进行后续导航操纵的意图的信号；分析多个图像，以检测相对于主车辆的至少一个导航改变的、目标车辆的导航状态的改变；基于检测到的目标车辆的导航状态的改变，确定主车辆的导航动作；并且响应于所确定的主车辆的导航动作，引起主车辆的导航致动器的至少一个调节。
在一个实施例中，用于主车辆的导航系统可以包括至少一个处理设备。该至少一个处理设备可以被编程为：从相机接收表示主车辆环境的多个图像；以及分析多个图像以识别主车辆环境中的第一目标车辆和第二目标车辆。第一目标车辆可以在邻接主车辆正在行驶的行驶车道的行驶车道中行驶在第二目标车辆后面。该至少一个处理设备可以进一步被编程为：分析多个图像以确定第一目标车辆和第二目标车辆之间的距离；以及从多个图像中确定到达与第一目标车辆和第二目标车辆之一相关联的边界的时间。所确定的时间可以超过第一阈值并且不超过第二阈值，第二阈值大于第一阈值。该至少一个处理设备可以进一步被编程为：基于所确定的时间，引起主车辆的至少一个导航改变，以向目标车辆发出主车辆进行后续导航操纵的意图的信号；分析多个图像，以检测相对于主车辆的至少一个导航改变的、目标车辆的导航状态的改变；基于检测到的目标车辆的导航状态的改变，确定主车辆的导航动作；并且响应于所确定的主车辆的导航动作，引起主车辆的导航致动器的至少一个调节。
在一个实施例中，用于导航主车辆的计算机实现的方法可以包括：从相机接收表示主车辆环境的多个图像；以及分析多个图像以识别主车辆环境中的至少一个目标车辆。目标车辆可以具有影响主车辆的至少一个规划导航动作的位置。该方法还可以包括：引起主车辆的至少一个导航改变，以向目标车辆发出主车辆进行后续导航操纵的意图的信号；分析多个图像，以检测相对于主车辆的至少一个导航改变的、目标车辆的导航状态的改变；基于检测到的目标车辆的导航状态的改变，确定主车辆的导航动作；以及响应于所确定的主车辆的导航动作，引起主车辆的导航致动器的至少一个调节。
在一个实施例中，用于导航主车辆的计算机实现的方法可以包括：从相机接收表示主车辆环境的多个图像；以及分析多个图像以识别主车辆环境中的第一目标车辆和第二目标车辆。第一目标车辆可以在邻接主车辆正在行驶的行驶车道的行驶车道中行驶在第二目标车辆后面。该方法还可以包括：分析多个图像以确定第一目标车辆和第二目标车辆之间的距离；以及从多个图像中确定到达与第一目标车辆和第二目标车辆之一相关联的边界的时间。所确定的时间可以超过第一阈值并且不超过第二阈值，第二阈值大于第一阈值。该方法还可以包括：基于所确定的时间，引起主车辆的至少一个导航改变，以向目标车辆发出主车辆进行后续导航操纵的意图的信号；分析多个图像，以检测相对于主车辆的至少一个导航改变的、目标车辆的导航状态的改变；基于检测到的目标车辆的导航状态的改变，确定主车辆的导航动作；以及响应于所确定的主车辆的导航动作，引起主车辆的导航致动器的至少一个调节。
在一个实施例中，用于主车辆的导航系统可以包括至少一个处理设备。该至少一个处理设备可以被编程为：从后向相机接收表示主车辆后面环境的多个图像；分析多个图像以识别主车辆后面环境中的至少一个目标车辆；基于对多个图像的分析，识别目标车辆的至少一个导航特性的指示符；并且基于所识别的目标车辆的至少一个导航特性来确定主车辆的导航动作。
在一个实施例中，用于导航主车辆的计算机实现的方法可以包括从后向相机接收表示主车辆后面环境的多个图像；分析多个图像以识别主车辆后面环境中的至少一个目标车辆；基于对多个图像的分析，识别目标车辆的至少一个导航特性的指示符；以及基于所识别的目标车辆的至少一个导航特性来确定主车辆的导航动作。
在一个实施例中，用于主车辆的导航系统可以包括至少一个处理设备。该至少一个处理设备可以被编程为：从相机接收表示主车辆前方环境的多个图像；分析多个图像以识别主车辆前方环境中的至少一个目标车辆；基于对多个图像的分析，识别与目标车辆相关联的至少一个制动灯；基于对多个图像的分析，识别与至少一个制动灯的照明状态的改变相关联的至少一个特性；并且基于所识别的与至少一个制动灯的照明状态的改变相关联的至少一个特性来引起主车辆的导航改变。至少一个特性可以包括至少一个制动灯的照明状态改变的频率、至少一个制动灯在激活后保持照明的时间长度、至少一个制动灯在预定时间间隔内被激活的次数或其任意组合。
在一个实施例中，用于导航主车辆的计算机实现的方法可以包括：从相机接收表示主车辆前方环境的多个图像；分析多个图像以识别主车辆前方环境中的至少一个目标车辆；基于对多个图像的分析，识别与目标车辆相关联的至少一个制动灯；基于对多个图像的分析，识别与至少一个制动灯的照明状态的改变相关联的至少一个特性；以及基于所识别的与至少一个制动灯的照明状态的改变相关联的至少一个特性来引起主车辆的导航改变。至少一个特性可以包括至少一个制动灯的照明状态改变的频率、至少一个制动灯在激活后保持照明的时间长度、至少一个制动灯在预定时间间隔内被激活的次数或其任意组合。
与其他公开的实施例一致，非暂时性计算机可读存储介质可以存储程序指令，这些程序指令由至少一个处理设备执行并进行本文描述的任何方法。
前面的一般描述和下面的详细描述仅仅是示例性和解释性的，而不是对权利要求的限制。
附图说明
并入本公开中并构成本公开的一部分的附图示出所公开的各种实施例。
在附图中：
图1是与所公开的实施例一致的示例系统的图示性表示。
图2A是包括与所公开的实施例一致的系统的示例车辆的图示性侧视图表示。
图2B是与所公开的实施例一致的图2A中所示的车辆和系统的图示性顶视图表示。
图2C是包括与所公开的实施例一致的系统的车辆的另一实施例的图示性顶视图表示。
图2D是包括与所公开的实施例一致的系统的车辆的又一实施例的图示性顶视图表示。
图2E是包括与所公开的实施例一致的系统的车辆的又一实施例的图示性顶视图表示。
图2F是与所公开的实施例一致的示例车辆控制系统的图示性表示。
图3A是与所公开的实施例一致的、包括后视镜和用于车辆成像系统的用户界面的车辆的内部的图示性表示。
图3B是与所公开的实施例一致的、配置为位置在后视镜之后并抵靠车辆挡风玻璃的相机安装的示例的图示。
图3C是与所公开的实施例一致的图3B中所示的相机安装从不同的视角的图示。
图3D是与所公开的实施例一致的、配置为位于后视镜之后并抵靠车辆挡风玻璃的相机安装的示例的图示。
图4是与所公开的实施例一致的、配置为存储用于执行一个或多个操作的指令的存储器的示例框图。
图5A是示出与所公开的实施例一致的、用于基于单目图像分析引起一个或多个导航响应的示例处理的流程图。
图5B是示出与所公开的实施例一致的、用于在一组图像中检测一个或多个车辆和/或行人的示例处理的流程图。
图5C是示出与所公开的实施例一致的、用于在一组图像中检测道路标记和/或车道几何信息的示例处理的流程图。
图5D是示出与所公开的实施例一致的、用于在一组图像中检测交通灯的示例处理的流程图。
图5E是示出与所公开的实施例一致的、用于基于车辆路径引起一个或多个导航响应的示例处理的流程图。
图5F是示出与所公开的实施例一致的、用于确定前方车辆是否正在改变车道的示例处理的流程图。
图6是示出与所公开的实施例一致的、用于基于立体图像分析引起一个或多个导航响应的示例处理的流程图。
图7是示出与所公开的实施例一致的、用于基于三组图像的分析引起一个或多个导航响应的示例处理的流程图。
图8是与所公开的实施例一致的、可由自主车辆的导航系统的一个或多个专门编程的处理设备来实现的模块的框图表示。
图9是与所公开的实施例一致的导航选项图。
图10是与所公开的实施例一致的导航选项图。
图11A、图11B和图11C提供了与所公开的实施例一致的并道区(merge zone)中的主车辆的导航选项的示意表示。
图11D提供了与所公开的实施例一致的双并道场景的图示性描述。
图11E提供了与所公开的实施例一致的、在双并道场景中潜在有用的选项图。
图12提供了与所公开的实施例一致的、捕捉了主车辆的环境的表示性图像以及潜在导航约束的图。
图13提供了与所公开的实施例一致的、用于导航车辆的算法流程图。
图14提供了与所公开的实施例一致的、用于导航车辆的算法流程图。
图15提供了与所公开的实施例一致的、用于导航车辆的算法流程图。
图16提供了与所公开的实施例一致的、用于导航车辆的算法流程图。
图17A和17B提供了与所公开的实施例一致的、导航进入环形道的主车辆的图示性图示。
图18提供了与所公开的实施例一致的、用于导航车辆的算法流程图。
图19是与所公开的实施例一致的、被配置为存储用于在交替并道区导航的指令的存储器的示例性框图。
图20A提供了与所公开的实施例一致的、基于感测到的车道终点进行导航的主车辆的示意图。
图20B提供了与所公开的实施例一致的、基于感测到的车道终点进行导航的主车辆的另一示意图。
图20C提供了与所公开的实施例一致的、基于感测到的交通转盘(trafficcircle)进行导航的主车辆的示意图。
图20D提供了与所公开的实施例一致的、基于感测到的交通转盘进行导航的主车辆的另一示意图。
图21提供了与所公开的实施例一致的、用于在交替并道区中导航车辆的算法流程图。
图22是与所公开的实施例一致的、被配置为存储用于在存在紧急车辆的情况下进行导航的指令的存储器的示例性框图。
图23提供了与所公开的实施例一致的、基于紧急车辆的存在进行导航的主车辆的示意图。
图24提供了与所公开的实施例一致的、用于在存在紧急车辆的情况下导航车辆的算法流程图。
图25是与所公开的实施例一致的、被配置为存储用于通过与其他车辆的自动协商来进行导航的指令的存储器的示例性框图。
图26A提供了与所公开的实施例一致的、基于与另一车辆的自动协商来进行导航的主车辆的示意图。
图26B提供了与所公开的实施例一致的、基于与另一车辆的自动协商来进行导航的主车辆的另一示意图。
图26C提供了与所公开的实施例一致的、基于与主车辆正在并入的车道中的另一车辆的自动协商来进行导航的主车辆的示意图。
图26D提供了与所公开的实施例一致的、基于与交通转盘中的第一目标车辆和第二目标车辆的自动协商来进行导航的主车辆的示意图。
图27A提供了与所公开的实施例一致的、基于与其他车辆的自动协商来导航车辆的算法流程图。
图27B提供了与所公开的实施例一致的、用于基于与其他车辆的自动协商来导航车辆的另一算法流程图。
图28是与所公开的实施例一致的、被配置为存储用于使用跟随车辆的行为来进行导航的指令的存储器的示例性框图。
图29A提供了与所公开的实施例一致的、基于跟随车辆的行为来进行导航的主车辆的示意图。
图29B提供了与所公开的实施例一致的、基于跟随车辆的行为来进行导航的主车辆的另一示意图。
图30提供了与所公开的实施例一致的、用于基于跟随车辆的行为来导航车辆的算法流程图。
图31是与所公开的实施例一致的、被配置为存储使用感测到的制动灯模式进行导航的指令的存储器的示例性框图。
图32A提供了与所公开的实施例一致的、基于感测到的前方车辆的制动灯模式来进行导航的主车辆的示意图。
图32B提供了与所公开的实施例一致的、基于感测到的前方车辆的制动灯模式来进行导航的主车辆的另一示意图。
图33提供了与所公开的实施例一致的、用于基于感测到的前方车辆的制动灯模式来导航车辆的算法流程图。
具体实施方式
接下来的详细描述参考附图。只要可能，在附图和接下来的描述中使用相同的附图标记来指代相同或相似的部分。尽管本文描述了若干示例性实施例，但是修改、调整和其它实施方式是可能的。例如，可以对附图中示出的组件做出替换、添加或修改，并且可以通过对所公开的方法进行步骤的替换、重新排序、移除或添加，来对本文描述的示例性方法进行修改。因此，接下来的详细描述并不限于所公开的实施例和示例。相反，适当的范围由所附权利要求限定。
自主车辆概览
如贯穿本公开所使用的，术语“自主车辆”是指在没有驾驶员输入的情况下能够实现至少一个导航改变的车辆。“导航改变”是指车辆的转向、制动、或加速/减速中的一个或多个。所谓自主，是指车辆不需要是完全自动的(例如，在没有驾驶员或没有驾驶员输入的情况下完全可操作的)。相反，自主车辆包括能够在某些时间段期间在驾驶员的控制下操作，且能够在其他时间段期间无需驾驶员控制而操作的那些车辆。自主车辆还可以包括仅控制车辆导航的某些方面(诸如转向(例如，在车辆车道约束之间维持车辆路线)或在某些情况下(但并非在所有情况下)的某些转向操作)，但可以将其它方面交给驾驶员(例如，制动或在某些情况下的制动)的车辆。在一些情况下，自主车辆可以处理车辆的制动、速率控制和/或转向的某些或全部方面。
由于人类驾驶员通常依赖于可视线索和观察以便控制车辆，因此而建造了交通基础设施，其带有被设计为向驾驶员提供可视信息的车道标记、交通标志和交通灯。鉴于交通基础设施的这些设计特性，自主车辆可以包括相机以及分析从车辆的环境捕捉的可视信息的处理单元。可视信息可以包括，例如表示可由驾驶员观察到的交通基础设施的组件(例如，车道标记、交通标志、交通灯等)以及其它障碍物(例如，其它车辆、行人、碎片等)的图像。此外，自主车辆还可以使用存储的信息，诸如在导航时提供车辆环境的模型的信息。例如，车辆可以使用GPS数据、传感器数据(例如，来自加速计、速度传感器、悬架传感器等)和/或其它地图数据，以在车辆正在行驶的同时提供与其环境有关的信息，并且该车辆(以及其它车辆)可以使用该信息在模型上对其自身定位。一些车辆也能够在车辆之间进行通信、共享信息、改变同伴车辆的危险或车辆周围的变化等。
系统概览
图1是与所公开的示例实施例一致的系统100的框图表示。取决于特定实施方式的要求，系统100可以包括各种组件。在一些实施例中，系统100可以包括处理单元110、图像获取单元120、位置传感器130、一个或多个存储器单元140、150、地图数据库160、用户界面170和无线收发器172。处理单元110可以包括一个或多个处理设备。在一些实施例中，处理单元110可以包括应用处理器180、图像处理器190或任何其它合适的处理设备。类似地，取决于特定应用的要求，图像获取单元120可以包括任意数量的图像获取设备和组件。在一些实施例中，图像获取单元120可以包括一个或多个图像捕捉设备(例如，相机、电荷耦合器件(CCD)或任意其他类型的图像传感器)，诸如图像捕捉设备122、图像捕捉设备124和图像捕捉设备126。系统100还可以包括将处理单元110通信地连接到图像获取单元120的数据接口128。例如，数据接口128可以包括用于将由图像获取单元120获取的图像数据传输到处理单元110的任何有线和/或无线的一个或多个链路。
无线收发器172可以包括被配置为通过使用射频、红外频率、磁场、或电场来交换通过空中接口到一个或多个网络(例如，蜂窝、因特网等)的传输的一个或多个设备。无线收发器172可以使用任何熟知的标准来发送和/或接收数据(例如，Wi-Fi、蓝牙智能、802.15.4、ZigBee等)。这样的传输可以包括从主车辆到一个或多个远程定位的服务器的通信。这样的传输还可以包括主车辆与在主车辆的环境中的一个或多个目标车辆之间的(单向或双向的)通信(例如，为了便于考虑到或连同在主车辆的环境中的目标车辆来协调主车辆的导航)，或者甚至向发送车辆附近的未指定的接收者的广播传输。
应用处理器180和图像处理器190两者都可以包括各种类型的基于硬件的处理设备。例如，应用处理器180和图像处理器190中的任一者或两者可以包括微处理器、预处理器(诸如图像预处理器)、图形处理器、中央处理单元(CPU)、辅助电路、数字信号处理器、集成电路、存储器或适用于运行应用和适用于图像处理和分析的任何其它类型的设备。在一些实施例中，应用处理器180和/或图像处理器190可以包括任何类型的单核或多核处理器、移动设备微控制器、中央处理单元等。可以使用各种处理设备，包括例如可从诸如等制造商获得的处理器，并且可以包括各种架构(例如，x86处理器、等)。
在一些实施例中，应用处理器180和/或图像处理器190可以包括可从获得的任何EyeQ系列处理器芯片。这些处理器设计均包括带有本地存储器和指令集的多个处理单元。这样的处理器可以包括用于从多个图像传感器接收图像数据的视频输入，并且还可以包括视频输出能力。在一个示例中，/>使用在332兆赫兹下操作的90纳米-微米技术。/>架构由两个浮点式超线程32位RISC CPU(/>核)、五个视觉计算引擎(VCE)、三个矢量微代码处理器/>丹那利(Denali)64位移动DDR控制器、128位内部声能互连(Sonics Interconnect)、双16位视频输入和18位视频输出控制器、16通道DMA和若干外围设备构成。MIPS34K CPU管理这五个VCE、三个VMPTM和DMA、第二MIPS34KCPU和多通道DMA以及其它外围设备。这五个VCE、三个/>和MIPS34K CPU可以执行多功能捆绑应用所需要的密集视觉计算。在另一示例中，作为第三代处理器并且比/>强六倍的/>可以在所公开的实施例中使用。在其他示例中，可以在所公开的实施例中使用/>和/或/>当然，任何更新的或未来的EyeQ处理设备也可以与所公开的实施例一起使用。
任何本文所公开的处理设备可以被配置为执行某些功能。配置处理设备(诸如任何所描述的EyeQ处理器或其它控制器或微处理器)以执行某些功能可以包括对计算机可执行指令的编程，并使处理设备在其操作期间可获得这些指令以用于执行。在一些实施例中，配置处理设备可以包括直接利用架构指令对处理设备编程。在其它实施例中，配置处理设备可以包括将可执行指令存储在操作期间处理设备可访问的存储器上。例如，处理设备在操作期间可以访问该存储器以获得并执行所存储的指令。在任一情况下，被配置为执行本文公开的感测、图像分析和/或导航功能的处理设备表示控制主车辆的多个基于硬件的组件的专用的基于硬件的系统。
尽管图1描绘了包含在处理单元110中的两个单独的处理设备，但是可以使用更多或更少的处理设备。例如，在一些实施例中，可以使用单个处理设备完成应用处理器180和图像处理器190的任务。在其它实施例中，这些任务可以由两个以上的处理设备执行。另外，在一些实施例中，系统100可以包括一个或多个处理单元110，而不包括诸如图像获取单元120之类的其它组件。
处理单元110可以包括各种类型的设备。例如，处理单元110可以包括各种设备，诸如控制器、图像预处理器、中央处理单元(CPU)、辅助电路、数字信号处理器、集成电路、存储器或任何其它类型的用于图像处理和分析的设备。图像预处理器可以包括用于捕捉、数字化和处理来自图像传感器的影像的视频处理器。CPU可以包括任何数量的微控制器或微处理器。辅助电路可以是任何数量的本领域公知的电路，包括高速缓存、电力供给、时钟和输入输出电路。存储器可以存储软件，该软件在由处理器执行时控制系统的操作。存储器可以包括数据库和图像处理软件。存储器可以包括任何数量的随机存取存储器、只读存储器、闪速存储器、磁盘驱动器、光存储、磁带存储、可移动存储和其它类型的存储。在一个实例中，存储器可以与处理单元110分离。在另一实例中，存储器可以被集成到处理单元110中。
每个存储器140、150可以包括软件指令，该软件指令在由处理器(例如，应用处理器180和/或图像处理器190)执行时可以控制系统100的各个方面的操作。例如，这些存储器单元可以包括各种数据库和图像处理软件，以及经训练的系统，诸如神经网络和深度神经网络。存储器单元可以包括随机存取存储器、只读存储器、闪速存储器、磁盘驱动器、光存储、磁带存储、可移动存储和/或任何其它类型的存储。在一些实施例中，存储器单元140、150可以与应用处理器180和/或图像处理器190分离。在其它实施例中，这些存储器单元可以被集成到应用处理器180和/或图像处理器190中。
位置传感器130可以包括适用于确定与系统100的至少一个组件相关联的位置的任何类型的设备。在一些实施例中，位置传感器130可以包括GPS接收器。这种接收器可以通过处理由全球定位系统卫星广播的信号来确定用户位置和速度。可以使得来自位置传感器130的位置信息对于应用处理器180和/或图像处理器190可用。
在一些实施例中，系统100可以包括诸如用于测量车辆200的速率的速度传感器(例如，速度计)之类的组件。系统100还可以包括用于测量车辆200沿一个或多个轴的加速度的一个或多个加速度计(单轴或多轴的)。
存储器单元140、150可以包括数据库，或以任何其他形式组织的、指示已知地标的位置的数据。环境的传感信息(诸如来自激光雷达或两个或更多个图像的立体处理的图像、雷达信号、深度信息)可以与位置信息(诸如GPS坐标、车辆的自我运动等)一起处理，以确定车辆相对于已知地标的当前位置，并且改进车辆位置。这项技术的某些方面包含于被称为REMTM的定位技术中，该技术由本申请的受让人销售。
用户界面170可以包括适用于向系统100的一个或多个用户提供信息或从系统100的一个或多个用户接收输入的任何设备。在一些实施例中，用户界面170可以包括用户输入设备，包括例如触摸屏、麦克风、键盘、指针设备、跟踪转轮、相机、旋钮、按钮等。利用这样的输入设备，用户能够通过键入指令或信息、提供语音命令、使用按钮、指针或眼睛跟踪能力在屏幕上选择菜单选项、或通过任何其它适用于向系统100传送信息的技术来向系统100提供信息输入或命令。
用户界面170可以配备有一个或多个处理设备，其配置为向用户提供和从用户接收信息，并处理该信息以由例如应用处理器180使用。在一些实施例中，这样的处理设备可以执行指令以辨识和跟踪眼睛运动、接收和解释语音命令、辨识和解释在触摸屏上做出的触摸和/或手势、响应键盘输入或菜单选择等。在一些实施例中，用户界面170可以包括显示器、扬声器、触觉设备和/或任何其它用于向用户提供输出信息的设备。
地图数据库160可以包括任何类型的用于存储对系统100有用的地图数据的数据库。在一些实施例中，地图数据库160可以包括与各种项目在参考坐标系统中的位置有关的数据，各种项目包括道路、水特征、地理特征、商业区、感兴趣的点、餐馆、加油站等。地图数据库160不仅可以存储这些项目的位置，而且可以存储与这些项目有关的描述符，包括例如与任何所存储的特征相关联的名称。在一些实施例中，地图数据库160可以与系统100的其它部件在物理上位于一起。替代或附加地，地图数据库160或其一部分可以相对于系统100的其它组件(例如，处理单元110)位于远处。在这种实施例中，来自地图数据库160的信息可以通过与网络的有线或无线数据连接(例如，通过蜂窝网络和/或因特网等)而下载。在一些情况下，地图数据库160可以存储稀疏数据模型，该稀疏数据模型包括某些道路特征(例如，车道标记)或主车辆的目标轨迹的多项式表示。地图数据库160还可以包括已存储的各种辨识出的地标的表示，该地标的表示可用于确定或更新主车辆相对于目标轨迹的已知位置。地标表示可以包括数据字段，诸如地标类型、地标位置以及其他潜在标识符。
图像捕捉设备122、124和126均可以包括任何类型的适用于从环境捕捉至少一个图像的设备。此外，可以使用任何数量的图像捕捉设备来获取用于输入到图像处理器的图像。一些实施例可以仅包括单个图像捕捉设备，而其它实施例可以包括两个、三个、或甚至四个、或更多个图像捕捉设备。以下将参考图2B至图2E进一步描述图像捕捉设备122、124和126。
一个或多个相机(例如，图像捕捉设备122、124和126)可以是包括在车辆上的感测块的一部分。感测块中可以包括各种其他传感器，并且可以依靠这些传感器中的任何或全部，以形成车辆的感测的导航状态。除了相机(前方、侧方、后方等)之外，其他传感器(诸如雷达、激光雷达和声学传感器)可被包含在感测块中。另外，感测块可以包括一个或多个组件，该组件被配置为传送和发送/接收与车辆的环境有关的信息。例如，这种组件可以包括无线收发器(RF等)，其可以从相对于主车辆位于远处的源接收基于传感器的信息或与主车辆的环境有关的任何其他类型的信息。这些信息可以包括从主车辆以外的车辆系统接收的传感器输出信息或相关信息。在一些实施例中，这些信息可以包括从远程计算设备、中央服务器等接收的信息。此外，相机可以采用许多不同的配置：单个相机单元、多个相机、相机群、长FOV、短FOV、广角、鱼眼等。
系统100或其各种组件可以合并到各种不同的平台中。在一些实施例中，系统100可以被包括在车辆200上，如图2A所示。例如，车辆200可以配备有如上关于图1描述的系统100的处理单元110和任何其它组件。在一些实施例中，车辆200可以仅配备有单个图像捕捉设备(例如，相机)，而在其它实施例中，诸如结合图2B至图2E所讨论的那些实施例，可以使用多个图像捕捉设备。例如，图2A中所示的车辆200的图像捕捉设备122和124中的任一个可以是ADAS(Advanced Driver Assistance System，高级驾驶员辅助系统)成像集的一部分。
作为图像获取单元120的一部分的、被包括在车辆200上的图像捕捉设备，可以被置于任何合适的位置。在一些实施例中，如图2A至图2E，以及图3A至图3C中所示，图像捕捉设备122可以位于后视镜的附近。此位置可以提供与车辆200的驾驶员的视线相似的视线，这可以辅助确定对驾驶员而言什么是可视和不可视的。图像捕捉设备122可以被置于靠近后视镜的任何位置，而将图像捕捉设备122放置在镜子的驾驶员侧还可以辅助获得表示驾驶员的视场和/或视线的图像。
还可以使用图像获取单元120的图像捕捉设备的其它位置。例如，图像捕捉设备124可以位于车辆200的保险杠上或保险杠中。这种位置尤其可以适用于具有宽视场的图像捕捉设备。位于保险杠的图像捕捉设备的视线可以与驾驶员的视线不同，并且因此，保险杠图像捕捉设备和驾驶员可能不总是看到相同的对象。图像捕捉设备(例如，图像捕捉设备122、124和126)还可以位于其它位置中。例如，图像捕捉设备可以位于车辆200的侧视镜中的一者或两者之上或之中、车辆200的车顶上、车辆200的引擎盖上、车辆200的后备箱上、车辆200的侧面上、安装在车辆200的任何车窗上、置于车辆200的任何车窗的后面、或置于任何车窗的前面、以及安装在车辆200的前部和/或后部上的照明设备中或附近。
除了图像捕捉设备，车辆200还可以包括系统100的各种其它组件。例如，处理单元110可以被包括在车辆200上，与车辆的引擎控制单元(engine control unit，ECU)集成或分离。车辆200还可以配备有诸如GPS接收器之类的位置传感器130，并且还可以包括地图数据库160以及存储器单元140和150。
如早先讨论的，无线收发器172可以通过一个或多个网络(例如，蜂窝网络、因特网等)和/或接收数据。例如，无线收发器172可以将系统100收集的数据上传到一个或多个服务器，并且从一个或多个服务器下载数据。经由无线收发器172，系统100可以接收，例如对存储在地图数据库160、存储器140和/或存储器150中存储的数据的周期性更新或按需求更新。类似地，无线收发器172可以将来自系统100的任何数据(例如，由图像获取单元120捕捉的图像、由位置传感器130或其它传感器、车辆控制系统接收的数据等)和/或由处理单元110处理的任何数据上传到一个或多个服务器。
系统100可以基于隐私等级设置将数据上传到服务器(例如，上传到云)。例如，系统100可以实施隐私等级设置，以规定或限制发送到服务器的、可以唯一地标识车辆和/或车辆的驾驶员/所有者的数据(包括元数据)的类型。这些设置可以由用户经由例如无线收发器172来设置、可以由出厂默认设置、或由无线收发器172接收的数据来初始化。
在一些实施例中，系统100可以根据“高”隐私等级上传数据，并且在设定了设置的情况下，系统100可以传输数据(例如，与路途有关的位置信息、捕捉的图像等)，而不带有任何关于特定车辆和/或驾驶员/所有者的细节。例如，当根据“高”隐私设置来上传数据时，系统100可以不包括车辆标识编号(vehicle identification number，VIN)或车辆的驾驶员或所有者的名字，并且可以代替地传输数据(诸如，捕捉的图像和/或与路途有关的受限的位置信息)。
也可以考虑其它隐私等级。例如，系统100可以根据“中间”隐私等级向服务器传输数据，并且可以包括在“高”隐私等级下不包括的额外信息，诸如车辆的型号和/或模型和/或车辆类型(例如载客车辆、运动型多用途车辆、卡车等)。在一些实施例中，系统100可以根据“低”隐私等级上传数据。在“低”隐私等级设置下，系统100可以上传数据，并且包括足以唯一地标识特定车辆、所有者/驾驶员和/或车辆行驶过的部分路途或整个路途的信息。例如，这些“低”隐私等级数据可以包括以下中的一个或多个：VIN、驾驶员/所有者姓名、出发之前车辆的源点、车辆的期望目的地、车辆的型号和/或模型、车辆类型等。
图2A是与所公开的实施例一致的、示例车辆成像系统的图示性侧视图表示。图2B是图2A中所示的实施例的图示性顶视图例示。如图2B所示，所公开的实施例可以包括车辆200，该车辆200在其车体中包括系统100，该系统100带有位于车辆200的后视镜附近和/或靠近驾驶员的第一图像捕捉设备122、位于车辆200的保险杠区域(例如，保险杠区域210中的一个)之上或之中的第二图像捕捉设备124、以及处理单元110。
如图2C所示，图像捕捉设备122和124两者可以都位于车辆200的后视镜附近和/或靠近驾驶员。此外，尽管图2B和图2C示出了两个图像捕捉设备122和124，应理解的是，其它实施例可以包括两个以上的图像捕捉设备。例如，在图2D和图2E中所示的实施例中，第一图像捕捉设备122、第二图像捕捉设备124和第三图像捕捉设备126被包括在车辆200的系统100中。
如图2D所示，图像捕捉设备122可以位于车辆200的后视镜附近和/或靠近驾驶员，并且图像捕捉设备124和126可以位于车辆200的保险杠区域(例如，保险杠区域210中的一个)之上或之中。并且如图2E所示，图像捕捉设备122、124和126可以位于车辆200的后视镜附近和/或靠近驾驶席。所公开的实施例不限于图像捕捉设备的任何特定数量和配置，并且图像捕捉设备可以位于车辆200内或车辆200上的任何合适的位置中。
应理解的是，所公开的实施例不限于车辆，并且可以被应用在其它情景中。还应理解，所公开的实施例不限于车辆200的特定类型，并且可以适用于所有类型的车辆，包括汽车、卡车、拖车和其它类型的车辆。
第一图像捕捉设备122可以包括任何合适类型的图像捕捉设备。图像捕捉设备122可以包括光轴。在一个实例中，图像捕捉设备122可以包括带有全局快门的Aptina M9V024WVGA传感器。在其它实施例中，图像捕捉设备122可以提供1280×960像素的分辨率，并且可以包括滚动快门。图像捕捉设备122可以包括各种光学元件。在一些实施例中，可以包括一个或多个镜头，例如用于为图像捕捉设备提供期望的焦距和视场。在一些实施例中，图像捕捉设备122可以与6毫米镜头或12毫米镜头相关联。在一些实施例中，如图2D所示，图像捕捉设备122可以配置为捕捉具有期望的视场(FOV)202的图像。例如，图像捕捉设备122可以配置为具有常规FOV，诸如在40度到56度的范围内，包括46度FOV、50度FOV、52度FOV，或更大的FOV。可替代地，图像捕捉设备122可以配置为具有在23至40度的范围内的窄FOV，诸如28度FOV或36度FOV。此外，图像捕捉设备122可以配置为具有在100至180度的范围内的宽FOV。在一些实施例中，图像捕捉设备122可以包括广角保险杠相机或者带有高达180度的FOV的相机。在一些实施例中，图像捕捉设备122可以是带有大约2：1的高宽比(例如，H×V＝3800×1900像素)、带有大约100度水平FOV的7.2M(百万)像素图像捕捉设备。这种图像捕捉设备可以被用来替代三个图像捕捉设备配置。由于显著的镜头失真，在图像捕捉设备使用径向对称镜头的实施方式中，这种图像捕捉设备的垂直FOV可以显著地小于50度。例如，这种镜头可以不是径向对称的，这将允许在100度水平FOV情况下垂直FOV大于50度。
第一图像捕捉设备122可以获取关于与车辆200相关联的场景的多个第一图像。多个第一图像中的每一个可以作为一系列的图像扫描线而被获取，其可使用滚动快门来捕捉。每个扫描线可以包括多个像素。
第一图像捕捉设备122可以具有与第一系列图像扫描线中的每一个的获取相关联的扫描速率。扫描速率可以指，图像传感器可以以该扫描速率获取与包含在特定扫描线中的每个像素相关联的图像数据。
图像捕捉设备122、124和126可以包含任何合适的类型和数量的图像传感器，例如，包括CCD传感器或CMOS传感器等。在一个实施例中，可以采用CMOS图像传感器以及滚动快门，以使得一行中的每个像素一次被读取一个，并且各行的扫描在逐行的基础上继续进行，直到已经捕捉了整个图像帧。在一些实施例中，可以相对于帧从顶部到底部顺序地捕捉各行。
在一些实施例中，本文公开的图像捕捉设备(例如，图像捕捉设备122、124和126)中的一个或多个可以构成高分辨率成像器，并且可以具有大于5M像素、7M像素、10M像素或更大像素的分辨率。
滚动快门的使用可能导致不同行中的像素在不同的时间被曝光和捕捉，这可能引起所捕捉的图像帧中的扭曲和其它图像伪像。另一方面，当图像捕捉设备122配置为利用全局或同步快门操作时，所有像素可以以相同的时间量并且在共同的曝光时段期间被曝光。其结果是，在从采用全局快门的系统收集的帧中的图像数据表示在一特定时间的整个FOV(诸如FOV 202)的快照。与之相比，在滚动快门应用中，在不同的时间，帧中的每行被曝光并且数据被捕捉。因此，在具有滚动快门的图像捕捉设备中，移动对象可能出现失真。将在下面更详细地描述这种现象。
第二图像捕捉设备124和第三图像捕捉设备126可以是任何类型的图像捕捉设备。类似于第一图像捕捉设备122，图像捕捉设备124和126中的每一个可以包括光轴。在一个实施例中，图像捕捉设备124和126中的每一个可以包括带有全局快门的Aptina M9V024 WVGA传感器。可替代地，图像捕捉设备124和126中的每一个可以包括滚动快门。类似于图像捕捉设备122，图像捕捉设备124和126可以配置为包括各种镜头和光学元件。在一些实施例中，与图像捕捉设备124和126相关联的镜头可以提供FOV(诸如FOV204和206)，其等于或窄于与图像捕捉设备122相关联的FOV(诸如FOV202)。例如，图像捕捉设备124和126可以具有40度、30度、26度、23度、20度或更小的FOV。
图像捕捉设备124和126可以获取关于与车辆200相关联的场景的多个第二图像和第三图像。该多个第二图像和第三图像中的每一个可以作为第二系列图像扫描线和第三系列图像扫描线而被获取，这可以使用滚动快门进行捕捉。每个扫描线或行可以具有多个像素。图像捕捉设备124和126可以具有与被包含在第二系列和第三系列中的每个图像扫描线的获取相关联的第二扫描速率和第三扫描速率。
每个图像捕捉设备122、124和126可以放置在相对于车辆200的任何合适的位置和方向处。可以选择图像捕捉设备122、124和126的相对位置以帮助将从图像捕捉设备获取的信息融合在一起。例如，在一些实施例中，与图像捕捉设备124相关联的FOV(诸如FOV 204)可能部分地或完全地和与图像捕捉设备122相关联的FOV(诸如FOV 202)以及与图像捕捉设备126相关联的FOV(诸如FOV 206)重叠。
图像捕捉设备122、124和126可以位于车辆200上的任何合适的相对高度处。在一个实例中，在图像捕捉设备122、124和126之间可以存在高度差，其可以提供足够的视差信息以使能立体分析。例如，如图2A所示，两个图像捕捉设备122和124在不同的高度处。例如，在图像捕捉设备122、124和126之间还可以存在横向位移差，为处理单元110的立体分析给出了额外的视差信息。如图2C和图2D所示，横向位移的差异可以通过dx表示。在一些实施例中，图像捕捉设备122、124和126之间可能存在前向或后向位移(例如，范围位移)。例如，图像捕捉设备122可以位于图像捕捉设备124和/或图像捕捉设备126之后0.5到2米或以上。这种类型的位移可以使得图像捕捉设备之一能够覆盖其它(一个或多个)图像捕捉设备的潜在盲点。
图像捕捉设备122可以具有任何合适的分辨率能力(例如，与图像传感器相关联的像素的数量)，并且与图像捕捉设备122相关联的(一个或多个)图像传感器的分辨率可以比与图像捕捉设备124和126相关联的(一个或多个)图像传感器的分辨率更高、更低、或者与之相同。在一些实施例中，与图像捕捉设备122和/或图像捕捉设备124和126相关联的(一个或多个)图像传感器可以具有640×480、1024×768、1280×960的分辨率，或任何其它合适的分辨率。
帧速率(例如，在该速率下，图像捕捉设备获取一个图像帧的一组像素数据，然后继续捕捉与下一个图像帧相关联的像素数据)可以是可控的。与图像捕捉设备122相关联的帧速率可以比与图像捕捉设备124和126相关联的帧速率更高、更低或与之相同。与图像捕捉设备122、124和126相关联的帧速率可以取决于可能影响帧速率的定时的各种因素。例如，图像捕捉设备122、124和126中的一个或多个可以包括可选择的像素延迟时段，其在获取与图像捕捉设备122、124和/或126中的图像传感器的一个或多个像素相关联的图像数据之前或之后施加。通常，可以根据用于该设备的时钟速率来获取对应于每个像素的图像数据(例如，每个时钟周期一个像素)。另外，在包括滚动快门的实施例中，图像捕捉设备122、124和126中的一个或多个可以包括可选择的水平消隐时段，其在获取与图像捕捉设备122、124和/或126中的图像传感器的一行像素相关联的图像数据之前或之后施加。此外，图像捕捉设备122、124和126中的一个或多个可以包括可选择的垂直消隐时段，其在获取与图像捕捉设备122、124和126的图像帧相关联的图像数据之前或之后施加。
这些定时控制可以使能与图像捕捉设备122、124和126相关联的帧速率的同步，即便每个的线扫描速率不同。此外，如将在下面更详细地讨论的，这些可选择的定时控制以及其它因素(例如，图像传感器分辨率、最大线扫描速率等)可以使能从图像捕捉设备122的FOV与图像捕捉设备124和126的一个或多个FOV重叠的区域的图像捕捉的同步，即便图像捕捉设备122的视场不同于图像捕捉设备124和126的FOV。
图像捕捉设备122、124和126中的帧速率定时可以取决于相关联的图像传感器的分辨率。例如，假定对于两个设备，线扫描速率类似，如果一个设备包括具有640×480的分辨率的图像传感器，并且另一设备包括带有1280×960的分辨率的图像传感器，则需要更多的时间来从具有更高分辨率的传感器获取一帧图像数据。
可能影响图像捕捉设备122、124和126中的图像数据获取的定时的另一个因素是最大线扫描速率。例如，从被包含在图像捕捉设备122、124和126中的图像传感器获取一行图像数据将需要某个最低时间量。假定没有添加像素延迟时段，则用于获取一行图像数据的此最低时间量将与用于特定设备的最大线扫描速率有关。提供较高的最大线扫描速率的设备具有提供比带有较低的最大线扫描速率的设备更高的帧速率的潜力。在一些实施例中，图像捕捉设备124和126中的一个或多个可以具有高于与图像捕捉设备122相关联的最大线扫描速率的最大线扫描速率。在一些实施例中，图像捕捉设备124和/或126的最大线扫描速率可以是图像捕捉设备122的最大线扫描速率的1.25、1.5、1.75或2倍或更多倍。
在另一实施例中，图像捕捉设备122、124和126可以具有相同的最大线扫描速率，但图像捕捉设备122可以以小于或等于其最大扫描速率的扫描速率而操作。该系统可以配置为使得图像捕捉设备124和126中的一个或多个以等于图像捕捉设备122的线扫描速率的线扫描速率而操作。在其它实例中，该系统可以配置为使得图像捕捉设备124和/或图像捕捉设备126的线扫描速率可以是图像捕捉设备122的线扫描速率的1.25、1.5、1.75、或2倍或更多倍。
在一些实施例中，图像捕捉设备122、124和126可以是不对称的。也就是说，它们可包括具有不同视场(FOV)和焦距的相机。例如，图像捕捉设备122、124和126的视场可以包括关于车辆200的环境的任何期望的区域。在一些实施例中，图像捕捉设备122、124和126中的一个或多个可以配置为从在车辆200前面、车辆200后面、车辆200的侧面、或其组合的环境获取图像数据。
此外，与每个图像捕捉设备122、124和/或126相关联的焦距可以是可选择的(例如，通过包括适当的镜头等)，使得每个设备在相对于车辆200的期望的距离范围处获取对象的图像。例如，在一些实施例中，图像捕捉设备122、124和126可以获取离车辆几米之内的接近对象的图像。图像捕捉设备122、124和126还可以配置为获取离车辆更远的范围处(例如，25米、50米、100米、150米或更远)的对象的图像。此外，图像捕捉设备122、124和126的焦距可以被选择以使得一个图像捕捉设备(例如，图像捕捉设备122)可以获取相对靠近车辆的(例如，在10米内或20米内的)对象的图像，而其它图像捕捉设备(例如，图像捕捉设备124和126)可以获取离车辆200较远的(例如，大于20米、50米、100米、150米等的)对象的图像。
根据一些实施例，一个或多个图像捕捉设备122、124和126的FOV可以具有广角。例如，具有140度的FOV可能是有利的，尤其是对于可以被用于捕捉车辆200附近的区域的图像的图像捕捉设备122、124和126。例如，图像捕捉设备122可以被用来捕捉车辆200的右侧或左侧的区域的图像，并且在这些实施例中，可能期望图像捕捉设备122具有宽FOV(例如，至少140度)。
与图像捕捉设备122、124和126中的每一个相关联的视场可以取决于各自的焦距。例如，随着焦距增加，对应的视场减小。
图像捕捉设备122、124和126可以配置为具有任何合适的视场。在一个特定示例中，图像捕捉设备122可以具有46度的水平FOV，图像捕捉设备124可以具有23度的水平FOV，并且图像捕捉设备126可以具有在23度和46度之间的水平FOV。在另一实例中，图像捕捉设备122可以具有52度的水平FOV，图像捕捉设备124可以具有26度的水平FOV，并且图像捕捉设备126可以具有在26度和52度之间的水平FOV。在一些实施例中，图像捕捉设备122的FOV与图像捕捉设备124和/或图像捕捉设备126的FOV的比率可以从1.5到2.0变化。在其它实施例中，该比率可以在1.25与2.25之间变化。
系统100可以配置为使得图像捕捉设备122的视场至少部分地或完全地与图像捕捉设备124和/或图像捕捉设备126的视场重叠。在一些实施例中，系统100可以配置为使得图像捕捉设备124和126的视场例如落入(例如，窄于)图像捕捉设备122的视场并且与图像捕捉设备122的视场共享共同的中心。在其它实施例中，图像捕捉设备122、124和126可以捕捉相邻的FOV，或者可以在它们的FOV中具有部分重叠。在一些实施例中，图像捕捉设备122、124和126的视场可以对齐，以使得较窄FOV图像捕捉设备124和/或126的中心可以位于较宽FOV设备122的视场的下半部分中。
图2F是与所公开的实施例一致的示例车辆控制系统的图示性表示。如
图2F所指示的，车辆200可以包括油门调节系统220、制动系统230和转向系统240。系统100可以通过一个或多个数据链路(例如，任何用于传输数据的有线和/或无线链路)向油门调节系统220、制动系统230和转向系统240中的一个或多个提供输入(例如，控制信号)。例如，基于对由图像捕捉设备122、124和/或126获取的图像的分析，系统100可以向油门调节系统220、制动系统230和转向系统240中的一个或多个提供控制信号以导航车辆200(例如，通过引起加速、转向、车道变换等)。此外，系统100可以从油门调节系统220、制动系统230和转向系统240中的一个或多个接收指示车辆200的运行条件(例如，速率、车辆200是否正在制动和/或转向等)的输入。以下结合图4至图7提供进一步的细节。
如图3A所示，车辆200还可以包括用于与车辆200的驾驶员或乘客进行交互的用户界面170。例如，车辆应用中的用户界面170可以包括触摸屏320、旋钮330、按钮340和麦克风350。车辆200的驾驶员或乘客还可以使用手柄(例如，位于车辆200的转向杆上或附近，包括例如转向信号手柄)、按钮(例如，位于车辆200的方向盘上)等与系统100交互。在一些实施例中，麦克风350可以位于与后视镜310相邻。类似地，在一些实施例中，图像捕捉设备122可以位于靠近后视镜310。在一些实施例中，用户界面170还可以包括一个或多个扬声器360(例如，车辆音频系统的扬声器)。例如，系统100可以经由扬声器360提供各种通知(例如，警报)。
图3B至图3D是与所公开的实施例一致的配置为位于后视镜(例如，后视镜310)后面并与车辆挡风玻璃相对的示例相机安装370的例示。如图3B所示，相机安装370可以包括图像捕捉设备122、124和126。图像捕捉设备124和126可以位于遮光板380的后面，其中遮光板380可以相对于车辆挡风玻璃齐平(flush)并且包括薄膜和/或防反射材料的合成物。例如，遮光板380可被放置为使得它相对于具有匹配斜面的车辆的挡风玻璃对齐。在一些实施例中，图像捕捉设备122、124和126中的每个可以位于遮光板380的后面，例如在图3D中所描绘的。所公开的实施例不限于图像捕捉设备122、124和126、相机安装370和遮光板380的任何特定配置。图3C是图3B所示的相机安装370从前面视角的例示。
如受益于本公开的本领域技术人员将理解的，可以对前述所公开的实施例做出许多变型和/或修改。例如，并非所有组件对于系统100的操作是必要的。此外，任何组件可以位于系统100的任何适当的部件中并且组件可以被重新布置成各种配置同时提供所公开的实施例的功能。因此，前述配置是示例性的，并且不管上述讨论的配置如何，系统100都可以提供广阔范围的功能以分析车辆200的周围并响应于该分析而导航车辆200。
如在下面更详细讨论的并且根据各种所公开的实施例，系统100可以提供各种关于自主驾驶和/或驾驶员辅助技术的特征。例如，系统100可以分析图像数据、位置数据(例如，GPS位置信息)、地图数据、速率数据和/或来自包含在车辆200中的传感器的数据。系统100可以从例如图像获取单元120、位置传感器130以及其它传感器收集数据用于分析。此外，系统100可以分析所收集的数据以确定车辆200是否应该采取某个动作，然后无需人工干预而自动采取所确定的动作。例如，当车辆200无需人工干预而导航时，系统100可以自动地控制车辆200的制动、加速、和/或转向(例如，通过向油门调节系统220、制动系统230和转向系统240中的一个或多个发送控制信号)。此外，系统100可以分析所收集的数据，并基于对所收集的数据的分析向车辆乘员发出警告和/或警报。下面提供关于系统100提供的各种实施例的额外的细节。
前向多成像系统
如上所讨论的，系统100可以提供使用多相机系统的驾驶辅助功能。多相机系统可以使用面向车辆的前方的一个或多个相机。在其它实施例中，多相机系统可以包括面向车辆的侧方或面向车辆的后方的一个或多个相机。在一个实施例中，例如系统100可以使用双相机成像系统，其中，第一相机和第二相机(例如，图像捕捉设备122和124)可以位于车辆(例如，车辆200)的前面和/或侧面处。其他相机配置与所公开的实施例一致，并且本文公开的配置是示例性的。例如，系统100可以包括任何数量的相机的配置(例如，一个、两个、三个、四个、五个、六个、七个、八个等)。此外，系统100可以包括相机“群集”。例如，相机群集(包括任何适当数量的相机，例如一个、四个、八个等)可以相对于车辆是前向的，或者可以面向任何其他方向(例如，后向、侧向、成角度的等)。因此，系统100可以包括多个相机群集，其中每个群集以特定方向定向，以从车辆环境的特定区域捕捉图像。
第一相机可以具有大于、小于、或部分重叠于第二相机的视场的视场。此外，第一相机可以连接到第一图像处理器以执行对由第一相机提供的图像的单目图像分析，并且第二相机可以连接到第二图像处理器以执行对由第二相机提供的图像的单目图像分析。第一和第二图像处理器的输出(例如，处理后的信息)可以被组合。在一些实施例中，第二图像处理器可以从第一相机和第二相机两者接收图像以执行立体分析。在另一实施例中，系统100可以使用三相机成像系统，其中每个相机具有不同的视场。因此，这种系统可以基于从位于车辆的前方和侧方的变化距离处的对象得到的信息做出决定。对单目图像分析的参考可以参考基于从单个视点(例如，从单个相机)捕捉的图像执行图像分析的实例。立体图像分析可以参考基于利用图像捕捉参数的一个或多个变化而捕捉的两个或更多个图像执行图像分析的实例。例如，捕捉到的适用于执行立体图像分析的图像可以包括以下捕捉的图像：从两个或更多个不同的位置、从不同的视场、使用不同的焦距、与视差信息一起等捕捉的图像。
例如，在一个实施例中，系统100可以使用图像捕捉设备122至126实现三相机配置。在这种配置中，图像捕捉设备122可以提供窄视场(例如，34度或从大约20度至45度的范围选择的其它值等)，图像捕捉设备124可以提供宽视场(例如，150度或从大约100度至大约180度的范围选择的其它值)，并且图像捕捉设备126可以提供中间视场(例如，46度或从大约35度至大约60度的范围选择的其它值)。在一些实施例中，图像捕捉设备126可以作为主相机或基本相机。图像捕捉设备122至126可以位于后视镜310的后面并且基本上并排(例如，相距6厘米)。此外，在一些实施例中，如以上所讨论的，图像捕捉设备122至126中的一个或多个可以被安装在与车辆200的挡风玻璃齐平的遮光板380的后面。这种遮挡可以作用以减少任何来自车内的反射对图像捕捉设备122至126的影响。
在另一实施例中，如以上结合图3B和3C所讨论的，宽视场相机(例如，上述示例中的图像捕捉设备124)可以被安装得低于窄视场相机和主视场相机(例如，上述的示例中的图像捕捉设备122和126)。这种配置可以提供来自宽视场相机的自由视线。为减少反射，相机可以被安装得靠近车辆200的挡风玻璃，并且在相机上可以包括偏振器以衰减(damp)反射光。
三相机系统可以提供某些性能特性。例如，一些实施例可以包括通过一个相机基于来自另一相机的检测结果来验证对象的检测的能力。在上面讨论的三相机配置中，处理单元110可以包括例如三个处理设备(例如，三个如以上所讨论的EyeQ系列处理器芯片)，其中每个处理设备专用于处理由图像捕捉设备122至126中的一个或多个捕捉的图像。
在三相机系统中，第一处理设备可以从主相机和窄视场相机两者接收图像，并且执行对窄FOV相机的视觉处理，以例如检测其它车辆、行人、车道标记、交通标志、交通灯以及其它道路对象。另外，第一处理设备可以计算来自主相机和窄相机的图像之间的像素的视差，并且创建车辆200的环境的3D重建。然后第一处理设备可以组合3D重建与3D地图数据、或组合3D重建与基于来自另一相机的信息计算出的3D信息。
第二处理设备可以从主相机接收图像，并执行视觉处理以检测其它车辆、行人、车道标记、交通标志、交通灯和其它道路对象。另外，第二处理设备可以计算相机位移，并且基于该位移计算连续图像之间的像素的视差，并创建场景的3D重建(例如，运动恢复结构(structure from motion))。第二处理设备可以将基于3D重建的运动恢复结构发送到第一处理设备以与立体3D图像进行组合。
第三处理设备可以从宽FOV相机接收图像，并处理该图像以检测车辆、行人、车道标记、交通标志、交通灯和其它道路对象。第三处理设备还可以执行额外的处理指令来分析图像，以识别图像中移动的对象，诸如正改变车道的车辆、行人等。
在一些实施例中，使得基于图像的信息的流被独立地捕捉和处理可以提供用于在系统中提供冗余的机会。这种冗余可以包括例如使用第一图像捕捉设备和从该设备处理的图像来验证和/或补充通过从至少第二图像捕捉设备捕捉和处理图像信息而获得的信息。
在一些实施例中，系统100将两个图像捕捉设备(例如，图像捕捉设备122和124)用在为车辆200提供导航辅助中，并使用第三图像捕捉设备(例如，图像捕捉设备126)来提供冗余并验证对从其它两个图像捕捉设备接收到的数据的分析。例如，在这种配置中，图像捕捉设备122和124可以提供用于通过系统100进行立体分析的图像以导航车辆200，而图像捕捉设备126可以提供用于通过系统100进行单目分析的图像以提供对基于从图像捕捉设备122和/或图像捕捉设备124捕捉的图像而获得的信息的冗余和验证。即，图像捕捉设备126(和对应的处理设备)可以被视为提供用于提供对从图像捕捉设备122和124得到的分析的检查的冗余子系统(例如，以提供自动紧急制动(AEB)系统)。此外，在一些实施例中，可基于从一个或多个传感器接收的信息(例如，雷达、激光雷达、声学传感器，从车辆外部的一个或多个收发器接收的信息等)来补充接收到的数据的冗余和验证。
本领域的技术人员将认识到，上述相机配置、相机放置、相机数量、相机位置等仅为示例。在不脱离所公开的实施例的范围下，这些组件和关于整个系统描述的其它组件可以被组装并且在各种不同的配置中使用。关于使用多相机系统以提供驾驶员辅助和/或自主车辆功能的进一步的细节如下。
图4是可以存储/编程有用于执行与本公开实施例一致的一个或多个操作的指令的存储器140和/或存储器150的示范性功能性框图。虽然下面指代存储器140，但是本领域技术人员将认识到指令可以被存储在存储器140和/或存储器150中。
如图4所示，存储器140可以存储单目图像分析模块402、立体图像分析模块404、速度和加速度模块406以及导航响应模块408。所公开的实施例不限于存储器140的任何特定配置。此外，应用处理器180和/或图像处理器190可以执行在被包含在存储器140中的任何模块402至408中所存储的指令。本领域技术人员将理解，在下面的讨论中，对处理单元110的参考可以单独地或统一地指代应用处理器180和图像处理器190。因此，任何以下处理的步骤可以由一个或多个处理设备来执行。
在一个实施例中，单目图像分析模块402可以存储指令(诸如计算机视觉软件)，该指令在由处理单元110执行时，执行对由图像捕捉设备122、124和126中的一个获取的一组图像的单目图像分析。在一些实施例中，处理单元110可以将来自一组图像的信息与额外的传感信息(例如，来自雷达的信息)组合以执行单目图像分析。如以下结合图5A至图5D所描述的，单目图像分析模块402可以包括用于在该组图像内检测一组特征的指令，该特征诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、危险对象以及任何其它与车辆的环境相关联的特征。基于该分析，系统100(例如，经由处理单元110)可以引起车辆200中的一个或多个导航响应，诸如转向、车道变换、加速度的改变等，如以下结合导航响应模块408所讨论的。
在一个实施例中，单目图像分析模块402可以存储指令(诸如计算机视觉软件)，该指令在由处理单元110执行时，执行对由图像捕捉设备122、124和126中的一个获取的一组图像的单目图像分析。在一些实施例中，处理单元110可以将来自一组图像的信息与额外的传感信息(例如，来自雷达、激光雷达等的信息)组合以执行单目图像分析。如以下结合图5A至图5D所描述的，单目图像分析模块402可以包括用于在该组图像内检测一组特征的指令，该特征诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、危险对象以及任何其它与车辆的环境相关联的特征。基于该分析，系统100(例如，经由处理单元110)可以引起车辆200中的一个或多个导航响应，诸如转向、车道变换、加速度的改变等，如以下结合确定导航响应所讨论的。
在一个实施例中，立体图像分析模块404可以存储指令(诸如，计算机视觉软件)，该指令在由处理单元110执行时，执行对由从任意图像捕捉设备122、124和126中选择的图像捕捉设备的组合而获取的第一组和第二组图像的立体图像分析。在一些实施例中，处理单元110可以将来自第一组和第二组图像的信息与额外的传感信息(例如，来自雷达的信息)组合以执行立体图像分析。例如，立体图像分析模块404可以包括用于基于由图像捕捉设备124获取的第一组图像和由图像捕捉设备126获取的第二组图像执行立体图像分析的指令。如下面结合图6所描述的，立体图像分析模块404可以包括用于检测第一组和第二组图像内的一组特征的指令，该特征诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、危险对象等。基于该分析，处理单元110可以引起车辆200中的一个或多个导航响应，诸如转向、车道变换、加速度的改变等，如以下结合导航响应模块408所讨论的。此外，在一些实施例中，立体图像分析模块404可实施与经训练的系统(诸如神经网络或深度神经网络)或未经训练的系统相关联的技术。
在一个实施例中，速度和加速度模块406可以存储被配置为对从车辆200中配置为引起车辆200的速度和/或加速度的改变的一个或多个计算和机电设备接收到的数据进行分析的软件。例如，处理单元110可以执行与速度和加速度模块406相关联的指令，以基于从单目图像分析模块402和/或立体图像分析模块404的执行而得到的数据来计算车辆200的目标速率。这种数据可以包括例如目标位置、速度和/或加速度、车辆200相对于附近车辆、行人或道路对象的位置和/或速率、车辆200相对于道路的车道标记等的位置信息等。此外，处理单元110可以基于传感输入(例如，来自雷达的信息)和来自车辆200的其它系统(诸如油门调节系统220、制动系统230和/或转向系统240)的输入来计算车辆200的目标速率。基于计算的目标速率，处理单元110可以向车辆200的油门调节系统220、制动系统230和/或转向系统的240传输电子信号，例如通过物理地压下制动器或松开车辆200的加速器，来触发速度和/或加速度的变化。
在一个实施例中，导航响应模块408可以存储软件，该软件可由处理单元110执行以基于从单目图像分析模块402和/或立体图像分析模块404的执行而得到的数据来确定期望的导航响应。这种数据可以包括与附近的车辆、行人和道路对象相关联的位置和速率信息、车辆200的目标位置信息等。另外，在一些实施例中，导航响应可以(部分地或完全地)基于地图数据、车辆200的预定位置、和/或车辆200与从单目图像分析模块402和/或立体图像分析模块404的执行检测到的一个或多个对象之间的相对速度或相对加速度。导航响应模块408还可以基于传感输入(例如，来自雷达的信息)和来自车辆200的其它系统(诸如车辆200的油门调节系统220、制动系统230和转向系统240)的输入确定期望的导航响应。基于期望的导航响应，处理单元110可以向车辆200的油门调节系统220、制动系统230和转向系统240传输电子信号以触发期望的导航响应，例如通过转动车辆200的方向盘以实现预定角度的旋转。在一些实施例中，处理单元110可以使用导航响应模块408的输出(例如，期望的导航响应)作为对速度和加速度模块406的执行的输入，以用于计算车辆200的速率的改变。
此外，本文公开的任何模块(例如，模块402、404和406)可以实现与经训练的系统(诸如神经网络或深度神经网络)或未经训练的系统相关联的技术。
图5A是示出与所公开的实施例一致的、用于基于单目图像分析引起一个或多个导航响应的示例处理500A的流程图。在步骤510，处理单元110可以经由在处理单元110和图像获取单元120之间的数据接口128接收多个图像。例如，包含在图像获取单元120中的相机(诸如具有视场202的图像捕捉设备122)可以捕捉车辆200的前方(例如，或者车辆的侧方或后方)区域的多个图像并经过数据连接(例如，数字、有线、USB、无线、蓝牙等)将它们传输到处理单元110。在步骤520，处理单元110可以执行单目图像分析模块402来分析该多个图像，如以下结合图5B至5D进一步详细描述的。通过执行该分析，处理单元110可以在该组图像内检测一组特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯等。
在步骤520，处理单元110还可以执行单目图像分析模块402来检测各种道路危险，诸如例如卡车轮胎的部件、倒下的道路标志、松散货物、小动物等。道路危险可能在结构、形状、大小和颜色上变化，这可能使这些危险的检测更加困难。在一些实施例中，处理单元110可以执行单目图像分析模块402来对该多个图像执行多帧分析以检测道路危险。例如，处理单元110可以估计连续图像帧之间的相机运动，并计算帧之间的像素中的视差来构建道路的3D地图。然后，处理单元110可以使用该3D地图来检测路面、以及存在于路面上的危险。
在步骤530，处理单元110可以执行导航响应模块408以基于在步骤520中执行的分析和如以上结合图4描述的技术引起一个或多个导航响应。导航响应可以包括例如转向、车道变换、加速度变化等。在一些实施例中，处理单元110可以使用从速度和加速度模块406的执行得到的数据来引起一个或多个导航响应。此外，多个导航响应可能同时地、按照顺序地或以其任意组合而发生。例如，处理单元110可以通过例如按照顺序地向车辆200的转向系统240和油门调节系统220传输控制信号，使得车辆200变换一个车道然后加速。可替代地，处理单元110可以通过例如同时向车辆200的制动系统230和转向系统240传输控制信号，使得车辆200制动同时变换车道。
图5B是示出与所公开的实施例一致的用于在一组图像中检测一个或多个的车辆和/或行人的示例处理500B的流程图。处理单元110可以执行单目图像分析模块402来实现处理500B。在步骤540，处理单元110可以确定表示可能的车辆和/或行人的一组候选对象。例如，处理单元110可以扫描一个或多个图像，将该图像与一个或多个预定模式比较，并且在每个图像内识别可能包含感兴趣的对象(例如，车辆、行人或其部分)的可能的位置。预定模式可以以实现高“伪命中”率和低“漏掉”率的这种方式来设计。例如，处理单元110可以将低的相似性的阈值用在预定模式以将候选对象识别为可能的车辆或行人。这样做可以允许处理单元110减少漏掉(例如，未识别出)表示车辆或行人的候选对象的可能性。
在步骤542，处理单元110可以基于分类标准过滤该组候选对象以排除某些候选(例如，不相关或较不相关的对象)。这种标准可以从与存储在数据库(例如，存储在存储器140中的数据库)中的对象类型相关联的各种属性得到。属性可以包括对象形状、尺寸、纹理、位置(例如，相对于车辆200)等。因此，处理单元110可以使用一组或多组标准来从该组候选对象中拒绝伪候选。
在步骤544，处理单元110可以分析多帧图像，以确定在该组候选对象中的对象是否表示车辆和/或行人。例如，处理单元110可以跨连续帧来跟踪检测到的候选对象并累积与检测到的对象相关联的逐帧数据(例如，大小、相对于车辆200的位置等)。此外，处理单元110可以估计检测到的对象的参数并将该对象的逐帧位置数据与预测的位置比较。
在步骤546，处理单元110可以对于检测到的对象构建一组测量。这种测量可以包括例如与检测到的对象相关联的(相对于车辆200的)位置、速度和加速度值。在一些实施例中，处理单元110可以基于使用一系列基于时间的观察的、诸如卡尔曼滤波器或线性二次估计(LQE)的估计技术和/或基于对于不同对象类型(例如，汽车、卡车、行人、自行车、道路标志等)可用的建模数据，来构建该测量。卡尔曼滤波器可以基于对象的比例的测量，其中该比例测量与要碰撞的时间(例如，车辆200到达对象的时间量)成比例。因此，通过执行步骤540至546，处理单元110可以识别在该组捕捉图像内出现的车辆和行人，并得到与该车辆和行人相关联的信息(例如，位置、速率、大小)。基于该识别和所得到的信息，处理单元110可以引起车辆200中的一个或多个导航响应，如以上结合图5A所描述的。
在步骤548，处理单元110可以执行对一个或多个图像的光流分析，以减少检测到“伪命中”和漏掉表示车辆或行人的候选对象的可能性。光流分析可以指，例如在一个或多个图像中分析相对于车辆200的、与其它车辆和行人相关联的并且区别于路面运动的运动模式。处理单元110可以通过跨越在不同时间捕捉到的多个图像帧观察对象的不同位置，来计算候选对象的运动。处理单元110可以使用该位置和时间值作为对用于计算候选对象的运动的数学模型的输入。因此，光流分析可以提供检测车辆200附近的车辆和行人的另一种方法。处理单元110可以结合步骤540至546执行光流分析，以提供检测车辆和行人的冗余，并提高系统100的可靠性。
图5C是示出与所公开的实施例一致的用于在一组图像中检测道路标记和/或车道几何信息的示例处理500C的流程图。处理单元110可以执行单目图像分析模块402来实现处理500C。在步骤550，处理单元110可以通过扫描一个或多个图像来检测一组对象。为了检测车道标记、车道几何信息以及其它相关的道路标记的分段(segment)，处理单元110可以过滤该组对象以排除那些被确定为不相关的(例如，小坑洼、小石块等)。在步骤552，处理单元110可以将在步骤550中检测到的属于相同的道路标记或车道标记的分段分组在一起。基于该分组，处理单元110可以产生表示所检测到的分段的模型，诸如数学模型。
在步骤554，处理单元110可以构建与所检测的分段相关联的一组测量。在一些实施例中，处理单元110可以创建所检测的分段从图像平面到现实世界平面上的投影。该投影可以使用具有与诸如所检测的道路的位置、斜率、曲率和曲率导数之类的物理属性对应的系数的三次多项式来表征。在产生该投影中，处理单元110可以考虑路面的变化、以及与车辆200相关联的俯仰(pitch)率和滚转(roll)率。此外，处理单元110可以通过分析出现在路面上的位置和运动线索来对道路标高进行建模。此外，处理单元110可以通过跟踪一个或多个图像中的一组特征点来估计与车辆200相关联的俯仰率和滚转率。
在步骤556，处理单元110可以通过例如跨连续图像帧跟踪所检测到的分段并累积与检测到的分段相关联的逐帧数据来执行多帧分析。由于处理单元110执行多帧分析，在步骤554中构建的该组测量可以变得更可靠并且与越来越高的置信度水平相关联。因此，通过执行步骤550至556，处理单元110可以识别在该组捕捉图像中出现的道路标记并得到车道几何信息。基于该识别和所得到的信息，处理单元110可以引起车辆200中的一个或多个导航响应，如以上结合图5A所描述的。
在步骤558，处理单元110可以考虑额外的信息源，以进一步产生车辆200在其周围的环境中的安全模型。处理单元110可以使用该安全模型来定义系统100可以在其中以安全的方式执行车辆200的自主控制的环境。为产生该安全模型，在一些实施例中，处理单元110可以考虑其它车辆的位置和运动、所检测的路缘和护栏、和/或从地图数据(诸如来自地图数据库160的数据)提取的一般道路形状描述。通过考虑额外的信息源，处理单元110可以提供用于检测道路标记和车道几何结构的冗余，并增加系统100的可靠性。
图5D是示出了与所公开的实施例一致的用于在一组图像中检测交通灯的示例处理500D的流程图。处理单元110可以执行单目图像分析模块402来实现处理500D。在步骤560，处理单元110可以扫描该组图像，并识别出现在图像中的可能包含交通灯的位置处的对象。例如，处理单元110可以过滤所识别的对象来构造一组候选对象，排除不可能对应于交通灯的那些对象。过滤可以基于与交通灯相关联的诸如形状、尺寸、纹理、位置(例如，相对于车辆200)等之类的各种属性来进行。这种属性可以基于交通灯和交通控制信号的多个示例并存储在数据库中。在一些实施例中，处理单元110可以对反映可能的交通灯的该组候选对象执行多帧分析。例如，处理单元110可以跨连续图像帧跟踪候选对象，估计候选对象的现实世界位置，并过滤掉那些移动的对象(其不可能是交通灯)。在一些实施例中，处理单元110可以对候选对象执行颜色分析，并识别出现在可能的交通灯内的所检测到的颜色的相对位置。
在步骤562，处理单元110可以分析交叉口的几何形状。该分析可以基于以下的任意组合：(i)在车辆200的任一侧检测到的车道的数量、(ii)在道路上检测到的标记(如箭头标记)、和(iii)从地图数据(例如，来自地图数据库160的数据)提取的交叉口的描述。处理单元110可以使用从单目分析模块402的执行得到的信息来进行分析。此外，处理单元110可以确定在步骤560中检测到的交通灯和在车辆200附近出现的车道之间的对应性。
在步骤564，随着车辆200接近交叉口，处理单元110可以更新与所分析的交叉口几何形状和所检测到的交通灯相关联的置信度水平。例如，被估计为出现在交叉口处的交通灯的数量与实际出现在交叉口处的交通灯的数量比较可能影响置信度水平。因此，基于该置信度水平，处理单元110可以将控制委托给车辆200的驾驶员以便改进安全条件。通过执行步骤560至564，处理单元110可以识别出现在该组捕捉图像内的交通灯，并分析交叉口几何形状信息。基于该识别和分析，处理单元110可以引起车辆200中一个或多个导航响应，如以上结合图5A所描述的。
图5E是示出了与所公开的实施例一致的、用于基于车辆路径引起车辆中的一个或多个导航响应的示例处理500E的流程图。在步骤570，处理单元110可以构建与车辆200相关联的初始车辆路径。车辆路径可以使用以坐标(x,z)表达的一组点来表示，并且该组点中两个点之间的距离di可以落入1至5米的范围中。在一个实施例中，处理单元110可以使用诸如左道路多项式和右道路多项式的两个多项式来构建初始车辆路径。处理单元110可以计算该两个多项式之间的几何中点，并且将被包含在得到的车辆路径中的每个点偏移预定的偏移(例如，智能车道偏移)，如果有的话(零偏移可以对应于在车道的中间行驶)。该偏移可以在垂直于在车辆路径中的任何两点之间的线段的方向上。在另一个实施例中，处理单元110可以使用一个多项式和估计的车道宽度，来将车辆路径的每个点偏移估计的车道宽度的一半加上预定偏移(例如，智能车道偏移)。
在步骤572，处理单元110可以更新在步骤570构建的车辆路径。处理单元110可以使用更高的分辨率来重建在步骤570构建的车辆路径，以使得表示车辆路径的该组点中两个点之间的距离dk小于上述距离di。例如，该距离dk可以落入0.1至0.3米的范围中。处理单元110可以使用抛物线样条算法(parabolic spline algorithm)重建车辆路径，这可以产生对应于车辆路径的总长度的累积距离向量S(即，基于表示车辆路径的该组点)。
在步骤574，处理单元110可以基于在步骤572构建的更新的车辆路径来确定前视点(look-ahead point)(以坐标表达为(xl,zl))。处理单元110可以从累积距离向量S提取前视点，并且该前视点可以与前视距离和前视时间相关联。前视距离可以具有范围为从10米至20米的下限，可以被计算为车辆200的速率和前视时间的乘积。例如，随着车辆200的速率下降，前视距离也可以减小(例如，直到它到达下限)。前视时间的范围可以从0.5到1.5秒，可以与关联于引起车辆200中的导航响应的诸如航向误差(heading error)跟踪控制环路的一个或多个控制环路的增益成反比。例如，该航向误差跟踪控制环路的增益可以取决于横摆角速率环路、转向致动器环路、汽车横向动力学等的带宽。因此，航向误差跟踪控制环路的增益越高，前视时间越短。
在步骤576，处理单元110可以基于在步骤574中确定的前视点来确定航向误差和横摆角速率命令。处理单元110可以通过计算前视点的反正切，例如arctan(xl,zl)来确定航向误差。处理单元110可以将横摆角速率命令确定为航向误差和高水平控制增益的乘积。如果前视距离不在下限处，则高水平控制增益可以等于：(2/前视时间)。否则，高水平控制增益可以等于：(2×车辆200的速率/前视距离)。
图5F是示出了与所公开的实施例一致的用于确定前方车辆是否正在改变车道的示例处理500F的流程图。在步骤580，处理单元110可以确定与前方车辆(例如，在车辆200前方行驶的车辆)相关联的导航信息。例如，处理单元110可以使用以上结合图5A和图5B所描述的技术来确定前方车辆的位置、速度(例如，方向和速率)和/或加速度。处理单元110还可以使用以上结合图5E所描述的技术来确定一个或多个道路多项式、前视点(与车辆200相关联)和/或追踪轨迹(snail trail)(例如，描述前方车辆所采取的路径的一组点)。
在步骤582，处理单元110可以分析在步骤580中确定的导航信息。在一个实施例中，处理单元110可以计算追踪轨迹和道路多项式之间的距离(例如，沿着该轨迹)。如果沿着该轨迹的这个距离的变化(variance)超过预定的阈值(例如，在直路上0.1至0.2米，在适度弯曲道路上0.3至0.4米，以及在急转弯道路上0.5至0.6米)，则处理单元110可以确定前方车辆很可能正在改变车道。在检测到多个车辆在车辆200前方行驶的情形中，处理单元110可以比较与每个车辆相关联的追踪轨迹。基于该比较，处理单元110可以确定追踪轨迹与其它车辆的追踪轨迹不匹配的车辆很可能正在改变车道。处理单元110可以额外地将(与前方车辆相关联的)追踪轨迹的曲率与前方车辆正在其中行驶的道路段的期望曲率相比较。该期望曲率可以从地图数据(例如，来自地图数据库160的数据)、从道路多项式、从其它车辆的追踪轨迹、从关于道路现有知识等提取。如果追踪轨迹的曲率和道路段的期望曲率的差异超过预定的阈值，则处理单元110可以确定前方车辆很可能正在改变车道。
在另一个实施例中，处理单元110可以在特定时间段(例如，0.5至1.5秒)将前方车辆的瞬时位置与(与车辆200相关联的)前视点相比较。如果前方车辆的瞬时位置与前视点之间的距离在该特定时间段期间变化，并且变化的累积总和超过预定阈值(例如，直路上0.3至0.4米，适度弯曲道路上0.7至0.8米，以及急转弯道路上1.3至1.7米)，则处理单元110可以确定前方车辆很可能正在改变车道。在另一实施例中，处理单元110可以通过将沿着追踪轨迹行驶的横向距离与该追踪轨迹的期望曲率相比较，来分析该追踪轨迹的几何形状。期望曲率半径可以根据公式确定：(δz 2+δx 2)/2/(δx)，其中δx表示行驶的横向距离以及δz表示的行驶的纵向距离。如果行驶的横向距离和期望曲率之间的差异超过预定阈值(例如，500至700米)，则处理单元110可以确定前方车辆很可能正在改变车道。在另一个实施例中，处理单元110可以分析前方车辆的位置。如果前方车辆的位置遮挡了道路多项式(例如，前车覆盖在道路多项式的上方)，则处理单元110可以确定前方车辆很可能正在改变车道。在前方车辆的位置是使得在前方车辆的前方检测到另一车辆并且这两个车辆的追踪轨迹不平行的情况下，处理单元110可以确定(较近的)前方车辆很可能正在改变车道。
在步骤584，处理单元110可以基于在步骤582进行的分析确定前方车辆200是否正在改变车道。例如，处理单元110可以基于在步骤582执行的各个分析的加权平均来做出该确定。在这种方案下，例如，由处理单元110基于特定类型的分析做出的前方车辆很可能正在改变通道的决定可以被分配值“1”(以及“0”用来表示前方车辆不太可能正在改变车道的确定)。在步骤582中执行的不同分析可以被分配不同的权重，并且所公开的实施例不限于分析和权重的任何特定组合。此外，在一些实施例中，所述分析可以利用经训练的系统(例如，机器学习或深度学习系统)，其可以例如基于在当前位置处捕捉的图像来估计在车辆当前位置前方的未来路径。
图6是示出了与所公开的实施例一致的用于基于立体图像分析引起一个或多个导航响应的示例处理600的流程图。在步骤610，处理单元110可以经由数据接口128接收第一和第二多个图像。例如，被包含在图像获取单元120的相机(诸如具有视场202和204的图像捕捉设备122和124)可以捕捉在车辆200前方的区域的第一和第二多个图像，并经过数字连接(例如，USB、无线、蓝牙等)将它们传输到处理单元110。在一些实施例中，处理单元110可以经由两个或更多个数据接口接收该第一和第二多个图像。所公开的实施例不限于任何特定的数据接口配置或协议。
在步骤620，处理单元110可以执行立体图像分析模块404来执行对第一和第二多个图像的立体图像分析，以创建在车辆前方的道路的3D地图并检测图像内的特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、道路危险等。立体图像分析可以以类似于以上结合图5A-图5D描述的步骤的方式来执行。例如，处理单元110可以执行立体图像分析模块404以在第一和第二多个图像内检测候选对象(例如，车辆、行人、道路标记、交通灯、道路危险等)，基于各种标准过滤掉候选对象的子集，并对剩余的候选对象执行多帧分析、构建测量、并确定置信度水平。在执行上述步骤中，处理单元110可以考虑来自第一和第二多个图像二者的信息，而不是来自单独一组图像的信息。例如，处理单元110可以分析出现在第一和第二多个图像二者中的候选对象的像素级数据(或来自捕捉图像的两个流中的其它数据子集)的差异。作为另一示例，处理单元110可以通过观察候选对象在多个图像的一个中出现而未在另一个中出现，或相对于可能相对于出现在两个图像流中的对象而存在的其它差异，来估计候选对象(例如，相对于车辆200)的位置和/或速度。例如，可以基于与出现在图像流中的一个或两者中的对象相关联的轨迹、位置、移动特性等特征，来确定相对于车辆200的位置、速度和/或加速度。
在步骤630中，处理单元110可以执行导航响应模块408，以基于在步骤620中执行的分析和如以上结合图4所描述的技术而引起车辆200中的一个或多个导航响应。导航响应可以包括例如转向、车道变换、加速度的改变、速度的改变、制动等。在一些实施例中，处理单元110可以使用从速度和加速度模块406的执行得到的数据来引起该一个或多个导航响应。此外，多个导航响应可以同时地、按照顺序地、或以其任意组合而发生。
图7是示出了与所公开的实施例一致的用于基于对三组图像的分析来引起一个或多个导航响应的示例处理700的流程图。在步骤710中，处理单元110可以经由数据接口128接收第一、第二和第三多个图像。例如，被包含在图像获取单元120的相机(诸如具有视场202、204和206的图像捕捉设备122、124和126)可以捕捉在车辆200前方和/或侧方的区域的第一、第二和第三多个图像，并且经过数字连接(例如，USB、无线、蓝牙等)将它们传输到处理单元110。在一些实施例中，处理单元110可以经由三个或更多个数据接口接收第一、第二和第三多个图像。例如，图像捕捉设备122、124、126的每个可以具有用于向处理单元110传送数据的相关联的数据接口。所公开的实施例不限于任何特定的数据接口配置或协议。
在步骤720，处理单元110可以分析该第一、第二和第三多个图像以检测图像内的特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、道路危险等。该分析可以以类似于以上结合图5A-图5D和图6所描述的步骤的方式来执行。例如，处理单元110可以对第一、第二和第三多个图像的每个执行单目图像分析(例如，经由单目图像分析模块402的执行以及基于以上结合图5A-图5D所描述的步骤)。可替代地，处理单元110可对第一和第二多个图像、第二和第三多个图像、和/或第一和第三多个图像执行立体图像分析(例如，经由立体图像分析模块404的执行以及基于以上结合图6所描述的步骤)。与对第一、第二和/或第三多个图像的分析相对应的处理后的信息可以进行组合。在一些实施例中，处理单元110可以执行单目和立体图像分析的组合。例如，处理单元110可以对第一多个图像执行单目图像分析(例如，经由单目图像分析模块402的执行)并且对第二和第三多个图像执行立体图像分析(例如，经由立体图像分析模块404的执行)。图像捕捉设备122、124和126的配置—包括它们各自的位置和视场202、204和206—可以影响对第一、第二和第三多个图像进行的分析的类型。所公开的实施例不限于图像捕捉设备122、124和126的特定配置或对第一、第二和第三多个图像进行的分析的类型。
在一些实施例中，处理单元110可以基于在步骤710和720所获取和分析的图像对系统100执行测试。这种测试可以提供对于图像获取设备122、124和126的某些配置的系统100的整体性能的指示符。例如，处理单元110可以确定“伪命中”(例如，系统100不正确地确定车辆或行人的存在的情况)和“漏掉”的比例。
在步骤730，处理单元110可以基于从第一、第二和第三多个图像中的两个得到的信息引起车辆200中的一个或多个导航响应。对第一、第二和第三多个图像中的两个的选择可以取决于各种因素，诸如例如在多个图像的每个中检测到的对象的数量、类型和大小。处理单元110还可以基于图像质量和分辨率、图像中反映的有效视场、捕捉的帧的数量、一个或多个感兴趣的对象实际出现在帧中的程度(例如，其中出现有对象的帧的百分比、出现在每个这种帧中的对象的比例)等进行选择。
在一些实施例中，处理单元110可以通过确定从一个图像源得到的信息与从其它图像源得到的信息的相一致的程度，对从第一、第二和第三多个图像中的两个得到的信息进行选择。例如，处理单元110可以将从图像捕捉设备122、124和126的每个得到的处理后的信息组合(无论通过单目分析、立体分析、还是两者的任意组合)，并确定在从图像捕捉设备122、124和126的每个捕捉到的图像之间相一致的视觉指示符(例如，车道标记、检测到的车辆及其位置和/或路径、检测到的交通灯等)。处理单元110还可以排除在捕捉到的图像之间不一致的信息(例如，正改变车道的车辆、指示车辆太靠近车辆200的车道模型等)。因此，处理单元110可以基于对相一致和不一致的信息的确定，来选择从第一、第二和第三多个图像的两个得到的信息。
导航响应可以包括例如转向、车道变换、加速度的改变等。处理单元110可以基于在步骤720所执行的分析和如以上结合图4所描述的技术引起一个或多个导航响应。处理单元110还可以使用从速度和加速度模块406的执行得到的数据引起一个或多个导航响应。在一些实施例中，处理单元110可以基于在车辆200与在第一、第二和第三多个图像的任一者内检测到的对象之间的相对位置、相对速度和/或相对加速度来引起一个或多个导航响应。多个导航响应可以同时地、按顺序地或以其任意组合而发生。
强化学习和经训练的导航系统
下面的部分讨论自主驾驶以及用于完成车辆的自主控制的系统和方法，无论该控制是完全自主的(自驾驶车辆)还是部分自主的(例如，一个或多个驾驶员辅助系统或功能)。如图8所示，自主驾驶任务可以被划分为三个主要模块，包括感测模块801、驾驶策略模块803和控制模块805。在一些实施例中，模块801、803和805可以被存储在系统100的存储器单元140和/或存储器单元150中，或者模块801、803和805(或其中的部分)可以远离系统100而被存储(例如，存储在系统100经由例如无线收发器172可访问的服务器中)。此外，本文公开的任何模块(例如，模块801、803和805)可以实施与经训练的系统(诸如神经网络或深度神经网络)或未经训练的系统相关联的技术。
可以使用处理单元110实施的感测模块801可以处理与感测主车辆的环境中的导航状态有关的各种任务。这些任务可以依赖于来自与主车辆相关联的各种传感器和感测系统的输入。这些输入可以包括来自一个或多个车载相机的图像或图像流、GPS位置信息、加速度计输出、用户反馈或对一个或多个用户接口设备的用户输入、雷达、激光雷达等。可以包括来自相机和/或任何其他可用的传感器的数据以及地图信息的感测可以被收集、分析并且制定成“感测到的状态”，该感测到的状态描述从主车辆的环境中的场景提取的信息。该感测到的状态可以包括与目标车辆、车道标记、行人、交通灯、道路几何形状、车道形状、障碍物、到其他对象/车辆的距离、相对速度、相对加速度有关的感测到的信息，以及任何其他潜在的感测到的信息。可以实施监督式机器学习，以便基于提供给感测模块801的感测到的数据产生感测状态输出。感测模块的输出可以表示主车辆的感测到的导航“状态”，其可以被传递至驾驶策略模块803。
尽管可以基于从与主车辆相关联的一个或多个相机或图像传感器接收的图像数据产生感测到的状态，但是还可以使用任何合适的传感器或传感器组合来产生在导航中使用的感测到的状态。在一些实施例中，可以在不依赖捕捉的图像数据的情况下产生感测到的状态。实际上，本文描述的任何导航原理可应用于基于捕捉的图像数据产生的感测到的状态以及使用其他基于非图像的传感器产生的感测到的状态。感测到的状态还可以经由主车辆外部的源来确定。例如，可以全部或部分地基于从远离主车辆的源接收的信息(例如，基于从其他车辆共享的、从中央服务器共享的、或来自与主车辆的导航状态有关的任何其他信息源的传感器信息、经处理的状态信息等)，来产生感测到的状态。
驾驶策略模块803(在下文作更详细地讨论并且可以使用处理单元110来实施)可以实施期望的驾驶策略，以便响应于感测到的导航状态决定主车辆要采取的一个或多个导航动作。如果在主车辆的环境中不存在其他作用者(agent)(例如，目标车辆或行人)，则可以以相对直接的方式处理输入到驾驶策略模块803的感测到的状态。当感测到的状态需要与一个或多个其他作用者进行协商时，任务变得更加复杂。用于生成驾驶策略模块803的输出的技术可以包括强化学习(下文更详细地讨论)。驾驶策略模块803的输出可以包括主车辆的至少一个导航动作，并且可以包括期望的加速度(其可以转化为主车辆的更新的速度)、主车辆的期望横摆率、期望的轨迹、以及其他潜在的期望导航动作。
基于来自驾驶策略模块803的输出，同样可以使用处理单元110实施的控制模块805可以产生用于与主车辆相关联的一个或多个致动器或受控设备的控制指令。这种致动器和设备可以包括加速器、一个或多个转向控制器、制动器、信号传输器、显示器或可以作为与主车辆相关联的导航操作的一部分而被控制的任何其它致动器或设备。控制理论的方面可以被用来生成控制模块805的输出。控制模块805可以负责产生并且输出指令至主车辆的可控组件，以便实施驾驶策略模块803的期望的导航目标或要求。
回到驾驶策略模块803，在一些实施例中，可以使用通过强化学习训练的经训练的系统来实施驾驶策略模块803。在其他实施例中，驾驶策略模块803可以在不用机器学习方法的情况下、通过使用指定的算法来“手动”解决自主导航期间可能出现的各种情景来实施。然而，这种方法虽然可行，但可能导致驾驶策略过于简单化，并且可能缺乏基于机器学习的经训练的系统的灵活性。例如，经训练的系统可能会更好地配备来处理复杂的导航状态，并且可以更好地确定出租车是在停车还是停下车来接/送乘客；确定行人是否意图穿过主车辆前的街道；防御性地平衡其他驾驶员的意外行为；在牵涉目标车辆和/或行人的密集交通中协商；决定何时暂停(suspend)某些导航规则或增强(augment)其他规则；预期未感测到但预期到的状况(例如，行人是否会从汽车或障碍物后面冒出)；等等。基于强化学习的经训练的系统还可以更好地配备来解决连续且高维度的状态空间以及连续的动作空间。
使用强化学习对系统进行训练可以涉及学习驾驶策略，以便从感测到的状态映射到导航动作。驾驶策略是函数π：S→A，其中S是一组状态，而是动作空间(例如，期望的速率、加速度、横摆命令等)。状态空间是S＝Ss×Sp，其中Ss是感测状态，且Sp是关于通过该策略所保存的状态的附加信息。以离散的时间间隔工作，在时间t处，可以观察当前状态st∈S，并且可以应用该策略来获得期望的动作at＝π(st)。
可以通过暴露于各种导航状态，使该系统应用该策略，提供奖励(基于被设计为奖励期望导航行为的奖励函数)，来训练该系统。基于奖励反馈，该系统可以“学习”该策略，并且变得在产生期望导航动作方面是经训练的。例如，学习系统可以观察当前状态st∈S，并基于策略π：来决定动作at∈A。基于所决定的动作(以及该动作的实施)，环境移至下一个状态st+1∈S，以由该学习系统观察。对于响应于观察到的状态而产生的每个动作，对该学习系统的反馈是奖励信号r1，r2，...。
强化学习(RL)的目标是找到策略π。通常假设：在时间t处，存在奖励函数rt，其测量处于状态st并采取动作at的瞬时质量。然而，在时间t处采取动作at影响了环境，并因此影响未来状态的值。因此，当决定采取何种动作时，不仅应考虑当前的奖励，还应考虑未来的奖励。在某些情况下，当系统确定如果现在采用较低奖励选项则在将来可能实现更高的奖励时，则即使某一动作与低于另一个可用选项的奖励相关联，该系统也应采取该动作。为了对此形式化，观察到策略π以及初始状态s归纳出在上的分布，其中如果作用者在状态s0＝s处开始并从那里开始遵循策略π，则向量(r1,…,rT)的概率为观察到奖励r1,…,rT的概率。初始状态s的值可定义为：
代替将时间范围限定为T，可以对未来奖励打折扣(discount)，以对于一些固定的γ∈(0，1)，定义：
在任何情况下，最佳策略是下式的解：
其中，期望(expectation)在初始状态s之上。
有若干种可能用于训练驾驶策略系统的方法。例如，可以使用模仿(imitation)方法(例如，行为克隆)，在该方法中，系统从状态/动作对中学习，其中动作是好的作用者(例如，人类)响应于特定的观察到的状态而会选择的那些动作。假设观察人类驾驶员。通过这个观察，许多形式为(st,at)的示例(其中st是状态，而at是人类驾驶员的动作)可以被获得、观察并且用作训练驾驶策略系统的基础。例如，监督式学习可以用来学习策略π，使得π(st)≈at。这种方法有许多潜在的优点。首先，不要求定义奖励函数。其次，该学习是受监督的并且是离线发生的(不需要在学习过程中应用作用者)。这种方法的缺点在于：不同的人类驾驶员、甚至是相同的人类驾驶员在其策略选择中并不是确定性的。因此，对于||π(st)-at||非常小的函数的学习通常是不可行的。而且，随着时间的推移，即使是小的误差也可能会累积而产生较大的误差。
可以采用的另一种技术是基于策略的学习。此处，可以以参数形式来表达策略，并且使用合适的优化技术(例如，随机梯度下降)直接对策略进行优化。该方法是直接对以给出的问题进行求解。当然还有很多方法可以对这个问题求解。这种方法的一个优点在于：其直接解决了问题，因此往往导致良好的实际结果。一个潜在的缺点是：其往往需要“在线策略”训练，即π的学习是迭代过程，其中在迭代j时，具有非完美的策略πj，并为了构造下一个策略πj，必须在基于πj动作的同时与环境进行交互。
系统还可以通过基于值的学习(学习Q或V函数)来训练。假设，良好近似能够学习到最佳值函数V*。可以构建最佳策略(例如，依靠贝尔曼方程(Bellman equation))。有些版本的基于值的学习可以离线实施(称为“离线策略”训练)。基于值的方法的一些缺点可能是由于其强烈依赖于马尔可夫假设(Markovian assumptions)以及需要对复杂函数的近似(相比直接对策略近似，对值函数的近似可能更难)。
另一种技术可以包括基于模型的学习和规划(学习状态转换的概率并对寻找最优V的优化问题求解)。这些技术的组合也可以用来训练学习系统。在这种方法中，可以学习过程的动态性，即，采取(st，at)并在下一个状态st+1上产生分布的函数。一旦学习了这个函数，可以求解最佳问题，以找到其值为最佳的策略π。这就是所谓的“规划”。这种方法的一个优点可能在于：学习部分受到监督，并且可以通过观察三元组(st，at，st+1)而被离线应用。类似于“模仿”方法，这种方法的一个缺点可能在于：学习过程中小的误差可能积累并产生未充分执行的策略。
用于训练驾驶策略模块803的另一种方法可以包括将驾驶策略函数分解为语义上有意义的分量。这允许手动实施该策略的某些部分，这可以确保策略的安全性；并且可以使用强化学习技术来实施策略的其他部分，这可以适应性地实现于许多情景、防御性/侵略性行为之间的类似于人的平衡、以及与其他驾驶员的类似于人的协商。从技术角度而言，强化学习方法可以结合几种方法，并提供易于操作的训练程序，其中大部分训练可以使用记录的数据或自行构建的模拟器来执行。
在一些实施例中，驾驶策略模块803的训练可以依赖于“选项”机制。为了说明，考虑双车道高速公路的驾驶策略的简单情景。在直接RL方法中，策略π将状态映射到中，其中π(s)的第一个分量是期望的加速度命令，且π(s)的第二个分量是横摆率。在经修改的方法中，可以构建以下策略：
自动巡航控制(ACC)策略，oACC：S→A：该策略总是输出为0的横摆率，并且仅改变速率以实现平稳且无事故的驾驶。
ACC+左策略，oL：S→A：该策略的纵向命令与ACC命令相同。横摆率是将车辆朝左车道的中间居中同时确保安全的横向移动(例如，如果在左侧有车，则不向左移动)的直接实施方式。
ACC+右策略，oR：S→A：与oL相同，但是车辆可以朝右车道的中间居中。
这些策略可以被称为“选项”。依靠这些“选项”，可以学习选择了选项的策略而：S→O，其中O是一组可用选项。在一个情况下，O＝{oACC，oL，oR}。选项选择器策略πo通过对每个s设置来定义实际的策略π：S→A。
实践中，策略函数可以被分解为选项图901，如图9所示。图10中示出了另一个示例选项图1000。选项图可以表示被组织为有向非循环图(DAG)的分层决策集。存在一个称为图的根(root)节点903的特殊节点。该节点不具有进入(incoming)节点。决策过程从根节点开始遍历整个图，直到其到达“叶”节点，该叶节点是指没有外出(outgoing)决策线的节点。如图9所示，叶节点可以包括例如节点905、907和909。在遇到叶节点时，驾驶策略模块803可以输出与期望导航动作相关联的加速和转向命令，该期望导航动作与叶节点相关联。
内部节点(诸如节点911、913和915)例如可引起一策略的实施，该策略在其可用选项中选择子代(child)。内部节点的可用子代的集合包括经由决策线与特定内部节点相关联的所有节点。例如，图9中被指定为“并道(merge)”的内部节点913包括各自通过决策线与节点913相连的三个子代节点909、915和917(分别为“保持”、“右超车”和“左超车”)。
可以通过使节点能够调节其在选项图的层级中的位置而获得决策制定系统的灵活性。例如，可以允许任何节点声明自己为“关键(critical)”。每个节点可以实施“是关键的(is critical)”的函数，如果节点处于其策略实施的关键部分，则该函数输出“真”。例如，负责超车的节点可以在操纵中途声明自己为关键。这可对节点u的可用子代的集合施加约束，该节点u的可用子代可以包括作为节点u的子代的所有节点v，并且存在从v到叶节点的经过所有被指定为关键的节点的路径。一方面，这种方法可以允许在每个时间步在图上声明期望路径，同时另一方面，可以保留策略的稳定性，特别是在策略的关键部分正在被实施之时。
通过定义选项图，学习驾驶策略π：S→A的问题可以被分解成为图中的每个节点定义策略的问题，其中内部节点处的策略应当从可用的子代节点之中进行选择。对于一些节点，相应的策略可以手动实现(例如，通过如果-则(if-then)类型算法来指定响应于观察到的状态的一组动作)，而对于其他策略可以使用通过强化学习构建的经训练的系统来实施。手动或经训练/学习的方法之间的选择可以取决于与任务相关联的安全方面以及取决于其相对简单性。可以以使得一些节点直接实施、而其他节点可以依赖于经训练的模型的方式，来构建选项图。这种方法可以确保系统的安全运行。
以下讨论提供了关于在驾驶策略模块803内的如图9中的选项图的作用的进一步细节。如上所述，对驾驶策略模块的输入是“感测到的状态”，其概括了环境图，例如，从可用的传感器获得的。驾驶策略模块803的输出是一组期望(可选地连同一组硬性约束)，该组期望将轨迹定义为对优化问题的解。
如上所述，选项图表示被组织为DAG的分层决策集。存在称为图的“根”的特殊节点。根节点是没有进入边(例如，决策线)的唯一节点。决策过程从根节点开始遍历该图，直到其到达“叶”节点，所述叶节点即没有外出边的节点。每个内部节点应当实施在其可用的子代之中挑选一个子代的策略。每个叶节点应实施基于从根到叶的整个路径定义了一组期望(例如，主车辆的一组导航目标)的策略。基于感测到的状态而被直接定义的该组期望连同一组硬性约束一起建立了优化问题，该优化问题的解是车辆的轨迹。可以采用硬性约束来进一步提高系统的安全性，并且该期望可以用于提供系统的驾驶舒适性和类似于人的驾驶行为。作为优化问题的解而提供的轨迹进而定义了应该提供给转向、制动和/或引擎致动器的命令，以便完成该轨迹。
返回图9，选项图901表示双车道高速公路的选项图，包括并入车道(意味着在某些点，第三车道并入到高速公路的右侧车道或左侧车道中)。根节点903首先决定主车辆是处于普通道路情景还是接近并道情景。这是可以基于感测状态而实施的决策的示例。普通道路节点911包括三个子节点：保持节点909、左超车节点917和右超车节点915。保持是指主车辆想要继续在相同车道中行驶的情况。保持节点是叶节点(没有外出边/线)。因此，保持节点定义了一组期望。其定义的第一个期望可以包括期望的横向位置——例如，尽可能靠近当前行驶车道的中心。还可以期望平稳地导航(例如，在预定的或允许的加速度最大值内)。保持节点还可以定义主车辆如何对其他车辆作出反应。例如，保持节点可以查看感测到的目标车辆并且为每个车辆分配语义含义，该语义含义可以被转换成轨迹的分量。
各种语义含义可以被分配给主车辆的环境中的目标车辆。例如，在一些实施例中，语义含义可以包括以下指定中的任何指定：1)不相关：指示场景中感测到的车辆当前不相关；2)下一车道：指示感测到的车辆在相邻车道中并且相对于该车辆应当保持适当的偏移(精确的偏移可以在优化问题中计算，该优化问题在给定期望和硬性约束下构建轨迹，并且该精确的偏移可以潜在地是取决于车辆的——选项图的保持叶设定目标车辆的语义类型，其定义相对于目标车辆的期望)；3)让路：主车辆将尝试通过例如降低速度(特别是在主车辆确定目标车辆可能切入主车辆的车道的情况下)让路给感测到的目标车辆；4)占道(takeway)：主车辆将尝试通过例如增加速度占用路权；5)跟随：主车辆期望跟随在该目标车辆后保持平稳驾驶；6)左/右超车：这意味着主车辆想要发起到左或右车道的变道。左超车节点917和左超车节点915是尚未定义期望的内部节点。
选项图901中的下一个节点是选择间隙节点919。该节点可以负责选择主车辆期望进入的特定目标车道中的两个目标车辆之间的间隙。通过选择形式IDj的节点，对于j的某个值，主车辆到达为轨迹优化问题指定了期望的叶——例如，主车辆希望进行操纵以便到达所选择的间隙。这种操纵可能涉及首先在当前车道加速/制动，然后在适当的时间前往目标车道以进入所选择的间隙。如果选择间隙节点919不能找到适当的间隙，则其移动到中止节点921，所述中止节点921定义了回到当前车道的中心并取消超车的期望。
返回到并道节点913，当主车辆接近并道时，其具有可取决于特定情况的若干选项。例如，如图11A所示，主车辆1105沿着双车道道路行驶，其中在双车道道路的主车道或并入车道1111中没有检测到其他目标车辆。在这种情况下，驾驶策略模块803在到达并道节点913时可以选择保持节点909。也就是说，在没有目标车辆被感测为并道到道路上的情况下，可以期望保持在其当前车道内。
在图11B中，情况稍有不同。此处，主车辆1105感测从并入车道1111进入主要道路1112的一个或多个目标车辆1107。在这种情况下，一旦驾驶策略模块803遇到并道节点913，它可以选择发起左超车操纵，以避免并道情况。
在图11C中，主车辆1105遇到从并入车道1111进入主要道路1112的一个或多个目标车辆1107。主车辆1105还检测在与主车辆的车道相邻的车道中行驶的目标车辆1109。主车辆还检测到在与主车辆1105相同的车道上行驶的一个或多个目标车辆1110。在这种情况下，驾驶策略模块803可以决定调节主车辆1105的速率，以为目标车辆1107让路并且行进在目标车辆1115前面。这可以例如通过以下方式来实现：进行到选择间隙节点919，该间隙节点919进而将选择ID0(车辆1107)和ID1(车辆1115)之间的间隙作为适当的并道间隙。在这种情况下，并道情况的适当间隙定义了轨迹规划器优化问题的目标。
如上所述，选项图的节点可以将其自己声明为“关键”，这可以确保所选择的选项通过关键节点。形式上，每个节点可以实施IsCritical函数。在选项图上从根到叶执行正向传递，并且对轨迹规划器的优化问题求解之后，可以从叶返回到根执行反向传递。沿着这个反向传递，可以调用传递中所有节点的IsCritical函数，并且可以保存所有关键节点的列表。在对应于下一时间帧的正向路径中，可能需要驾驶策略模块803选择从根节点到叶的经过所有关键节点的路径。
图11A至图11C可用于显示该方法的潜在益处。例如，在发起超车动作并且驾驶策略模块803到达对应于IDk的叶的情况下，例如当主车辆处于超车操纵的中途时，选择保持节点909将会是不期望的。为了避免这种跳动，IDj节点可以将其自己指定为关键。在操纵期间，可以监测轨迹规划器的成功，并且如果超车操纵按预期进行，则函数IsCritical将返回“真”值。此方法可以确保在下一时间帧内，超车操纵将继续(而不是在完成最初选择的操纵之前跳到另一个潜在不一致的操纵)。另一方面，如果对操纵的监测指示所选择的操纵没有按预期进行，或者如果操纵变得不必要或不可能，则IsCritical函数可以返回“假”值。这可以允许选择间隙节点在下一时间帧中选择不同的间隙，或完全中止超车操纵。此方法一方面可以允许在每个时间步在选项图上声明期望的路径，同时在另一方面，可以在执行的关键部分时帮助提高策略的稳定性。
硬性约束可以与导航期望不同，这将在下面更详细地讨论。例如，硬性约束可以通过对规划的导航动作应用附加的过滤层来确保安全驾驶。可以根据感测到的状态来确定所涉及的硬性约束，所述硬性约束可以被手动地编程和定义，而不是通过使用基于强化学习建立的经训练的系统。然而，在一些实施例中，经训练的系统可以学习要应用和遵循的可适用的硬性约束。这种方法可以促使驾驶策略模块803到达已经符合可适用的硬性约束的所选动作，这可以减少或消除可能需要之后修改以符合可适用的硬性约束的所选动作。尽管如此，作为冗余安全措施，即使在驾驶策略模块803已经被训练以应对预定硬性约束的情况下，也可以对驾驶策略模块803的输出应用硬性约束。
存在许多潜在的硬性约束的示例。例如，可以结合道路边缘上的护栏来定义硬性约束。在任何情况下，均不允许主车辆通过护栏。这种规则对主车辆的轨迹产生了硬性横向约束。硬性约束的另一个示例可以包括道路颠簸(例如，速率控制颠簸)，其可以在颠簸之前以及正穿过颠簸时引起对驾驶速度的硬性约束。硬性约束可以被认为是安全关键的，因此可以手动定义，而不是仅仅依靠在训练期间学习约束的经训练的系统。
与硬性约束相比，期望的目标可以是实现或达到舒适的驾驶。如以上所讨论的，期望的示例可以包括将主车辆置于车道内的与主车辆车道的中心对应的横向位置处的目标。另一个期望可能包括适合进入的间隙的ID。注意，主车辆不需要精确地处于车道中心，而是，尽可能靠近它的期望可以确保，即使在偏离车道中心的情况下，主车辆也倾向于迁移到车道的中心。期望可以不是安全关键的。在一些实施例中，期望可能需要与其他驾驶员和行人协商。构建期望的一种方法可以依赖于选项图，并且在图的至少一些节点中实现的策略可以基于强化学习。
对于实现为基于学习训练的节点的选项图901或1000的节点，训练过程可以包括将问题分解成监督式学习阶段和强化学习阶段。在监督式学习阶段，可以学习从(st,at)到的可微(differentiable)映射，使得/>这可以类似于“基于模型”的强化学习。然而，在网络的前向环路中，可以用st+1的实际值来代替/>从而消除了误差累积的问题。/>预测的作用是将消息从未来传播回过去的动作。从这个意义上讲，该算法可以是“基于模型”的强化学习与“基于策略的学习”的组合。
在某些情景下可以提供的重要元素是从未来损失/奖励回到对动作的决策的可微路径。通过选项图结构，涉及安全约束的选项的实现通常是不可微的。为了克服这个问题，对学习的策略节点中的子代的选择可以是随机的。也就是说，节点可以输出概率向量p，其分配用于选择特定节点的每个子代的概率。假设节点有k个子代，并令a(1)，...，a(k)为从每个子代到叶的路径的动作。所得到的预测动作因此为这可能导致从该动作到p的可微路径。在实践中，动作a可以被选择为对于i～p的a(i)，并且a和/>之间的差可以被称为加性噪声。
对于给定st,at下的训练，可以将监督式学习与真实数据一起使用。对于节点策略的训练，可以使用模拟器。之后，可以使用真实数据完成策略的微调。两个概念可以使模拟更加真实。首先，使用模仿，可以使用“行为克隆”范式，使用大型现实世界数据集来构建初始策略。在某些情况下，所得到的作用者可以是合适的。在其他情况下，所得到的作用者至少为道路上的其他作用者形成了非常好的初始策略。其次，使用自我发挥(self-play)，我们自己的策略可被用来加强训练。例如，给定了可以是有经验的其他作用者(汽车/行人)的初步实施，则可以基于模拟器对策略进行训练。一些其他作用者可被新的策略取代，并且可以重复该过程。因此，该策略能够继续改善，因为其应该对更多种类的具有不同复杂等级的其他作用者做出响应。
此外，在一些实施例中，系统可以实施多作用者的方法。例如，该系统可以考虑来自各种源的数据和/或从多个角度捕捉的图像。此外，一些公开的实施例可以提供能量的经济性，因为可以考虑不直接涉及主车辆但对主车辆可能产生影响的事件的预期，或者甚至对可能导致涉及其他车辆的不可预测情况的事件的预期可以是考虑因素(例如，雷达可能会“看穿(see through)”前方车辆以及不可避免的预期、或者甚至将影响主车辆的事件的高可能性)。
带有施加的导航约束的经训练的系统
在自主驾驶的情况下，重要关注的是如何确保经训练的导航网络的经学习的策略是安全的。在一些实施例中，可以使用约束来训练驾驶策略系统，使得由经训练的系统选择的动作已经可以应对(account for)可适用的安全约束。另外，在一些实施例中，可以通过将经训练的系统的所选动作传递经过主车辆的环境中的特定的感测到的场景所涉及的一个或多个硬性约束，来提供额外的安全层。这种方法可以确保主车辆采取的动作仅限于被确认为满足可适用的安全约束的那些动作。
在其核心，导航系统可以包括基于将观察到的状态映射到一个或多个期望动作的策略函数的学习算法。在一些实施方式中，学习算法是深度学习算法。期望动作可以包括预期使车辆的预期奖励最大化的至少一个动作。虽然在一些情况下，车辆采取的实际动作可以对应于期望动作中的一个，但是在其他情况下，可以基于观察到的状态、一个或多个期望动作和对学习导航引擎施加的非学习的硬性约束(例如，安全约束)来确定采取的实际动作。这些约束可以包括围绕各种类型的检测到的对象(例如，目标车辆、行人、道路侧或道路上的静止对象、道路侧或道路上的移动对象、护栏等等)的禁止驾驶区。在一些情况下，该区的大小可以基于检测到的对象的检测到的运动(例如，速率和/或方向)而变化。其他约束可以包括在行人的影响区内穿行时的最大行驶速度、最大减速率(来应对主车辆后方的目标车辆间距)、在感测到的人行横道或铁路道口处的强制停止等。
与通过机器学习训练的系统结合使用的硬性约束可以在自主驾驶中提供一定程度的安全性，其可以超过仅基于经训练的系统的输出可达到的安全性程度。例如，可以使用期望的一组约束作为训练指导来训练机器学习系统，并且因此，经训练的系统可以响应于感测到的导航状态而选择动作，该动作应对并遵守可适用的导航约束的限制。然而，经训练的系统在选择导航动作方面仍具有一定的灵活性，并且因此，至少在某些情况下，由经训练的系统选择的动作可以不严格遵守相关的导航约束。因此，为了要求所选动作严格遵守相关的导航约束，可以使用在学习/经训练的框架之外的、保证严格适用相关的导航约束的非机器学习组件对经训练的系统的输出进行组合、比较、过滤、调节、修改等。
以下讨论提供了关于经训练的系统以及从将经训练的系统与经训练的/学习框架外的算法组件组合收集的潜在益处(特别是从安全角度而言)的附加细节。如前所述，可以通过随机梯度上升来优化策略的强化学习目标。目标(例如，预期奖励)可以被定义为
涉及期望的目标可以用于机器学习情景中。然而，这样的目标，在不受限于导航约束的情况下，可能不会返回严格受限于这些约束的动作。例如，考虑一奖励函数，其中，表示要避免的罕见“困境(corner)”事件(例如，诸如事故)的轨迹，而表示其余的轨迹，学习系统的一个目标可以是学习执行超车操纵。通常，在无事故的轨迹中，/>将会奖励成功、平稳的超车，并且惩罚在车道中停留而未完成超车——因此，范围为[-1,1]。如果序列/>代表事故，那么奖励-r应该提供足够高的惩罚来阻止这种事件发生。问题是确保无事故驾驶的值r应该是什么。
观察到，事故对的影响是附加项-pr，其中p是带有事故事件的轨迹的概率质量。如果该项是可以忽略不计的，即，p＜＜1/r，则学习系统可以更经常优选执行了事故的策略(或者通常采用不计后果的驾驶策略)，以便成功地履行超车操纵，而不是以某些超车操纵没有成功完成为代价而会更加防御性的策略。换言之，如果事故的概率至多为p，那么必须设定r使得r＞＞1/p。可以期望使p非常小(例如，在p＝10-9的数量级)。因此，r应该很大。在策略梯度中，可以估计/>的梯度。以下引理表明，随机变量/>的方差随着pr2而变大，该方差对于r＞＞1/p而言是大于r的。因此，估计目标可能是困难的，估计其梯度可能更加困难。
引理：令πo为策略，并且令p和r是标量，使得在概率p下获得并且在概率1-p下获得/>那么，
/>
其中，最终近似适用于r≥1/p的情况。
该讨论表明，形式为的目标可能不会确保功能性安全而不引起方差问题。用于降低方差的基线减法方法可能无法为该问题提供足够的补救措施，因为该问题将从的高方差转移到基线常数的同样高的方差，该基线常数的估计同样会受到数值不稳定性的影响。并且，如果事故的概率为p，那么在获得事故事件之前，应平均对至少1/p个序列(sequences)进行采样。这意味着，用于旨在使/>最小化的学习算法的序列的样本的下限为1/p个。这个问题的解可以在本文描述的架构设计中找到，而不是通过数字调节技术。此处的方法是基于这样的观念，即硬性约束应该在学习框架之外注入。换言之，策略函数可以分解为可学习部分和不可学习部分。形式上，策略函数可以被构造为/>其中/>将(不可知的)状态空间映射到一组期望(例如，期望的导航目标等)，而π(T)将该期望映射到轨迹(其可确定汽车在短距离内应该如何移动)。函数π(T)负责驾驶的舒适性和制定策略性决定，诸如哪些其他汽车应该被超车或被让路、以及主车辆在其车道内的期望位置是什么等等。从感测到的导航状态到期望的映射是策略/>其可以通过使预期奖励最大化而从经验中学习。由/>产生的期望可以转化为对于驾驶轨迹的代价函数。函数π(T)并非学习的函数，其可以通过找到使在功能性安全方面受到硬性约束的代价最小化的轨迹来实现。这种分解可以确保功能性安全，与此同时提供舒适的驾驶。
如图11D所示，双并道导航情况提供了进一步示出这些概念的示例。在双并道中，车辆从左侧和右侧两侧接近并道区域1130。并且，来自各侧的车辆(诸如车辆1133或车辆1135)可以决定是否并道至并道区域1130的另一侧的车道中。在繁忙交通中成功执行双并道可能需要显著的协商技巧和经验，并且可能难以通过枚举场景中所有作用者可能采取的所有可能的轨迹而以启发式或蛮力方法来执行。在该双并道的示例中，可以定义适合于双并道操纵的一组期望 可以是以下集合的笛卡尔乘积：
其中，[0，vmax]是主车辆的期望的目标速率，L＝{1，1.5，2，2.5，3，3.5，4}是以车道为单位的期望的横向位置，其中整数表示车道中心，分数表示车道边界，而{g，t，o}是分配给n个其他车辆中的每个的分类标签。如果主车辆要给另一车辆让路，则另一车辆可以被分配“g”，如果主车辆要相对于另一车辆占道，则另一车辆可以被分配“t”，或者如果主车辆要相对于另一车辆保持一偏移距离，则另一车辆可以被分配“o”。
下面描述了一组期望如何可以转化为对于驾驶轨迹的代价函数。驾驶轨迹可以由(x1，y1)，...，(xk，yk)表示，其中(xi，yi)为主车辆在时间τ·i处的(横向，纵向)位置(以自我为中心的单位)，在一些实验中，于＝0.1秒并且k＝10。当然，还可以选择其他值。分配给轨迹的代价可以包括分配给期望的速率、横向位置以及分配给其他n个车辆中的每个车辆的标签的各个代价的加权总和。
给定期望的速率v∈[0，vmax|，与速率相关联的轨迹的代价为
给定期望的横向位置l∈L，与期望的横向位置相关联的代价为
其中dist(x，y，l)是从点(x，y)到车道位置l的距离。关于由于其他车辆导致的代价，对于任何其他车辆，(x′1，y′1)，...，(x′k，y′k)可以表示以主车辆的以自我为中心的单位的其他车辆，并且i可以是最早的点，对于该点，存在j，使得(xi，yi)与(x’j，y’j)之间的距离很小。如果没有这样的点，则i可被设置为i＝∞。如果另一车辆被分类为“让路”，则可以期望τi＞τj+0.5，这意味着主车辆将在另一车辆到达同一点后至少0.5秒后到达轨迹相交点。用于将上述约束转换为代价的可以公式为[τ(j-i)+0.5]+。
同样，如果另一汽车被分类为“占道”，可以期望τj＞τi+0.5，其可以转化为代价[τ(i-j)+0.5]+。如果另一汽车被分类为“偏移”，则可以期望i＝∞，这意味着主车辆的轨迹和偏移汽车的轨迹不相交。可以通过相对于轨迹之间的距离进行惩罚，将这种情况转化为代价。
为这些代价中的每一个分配权重可以为轨迹规划器提供单个目标函数π(T)。鼓励平稳驾驶的代价可以被增加至该目标。而且，为了确保轨迹的功能性安全，可以将硬性约束增加至该目标。例如，可以禁止(xi，yi)离开道路，并且如果|i-j|小，则可以对于任何其他车辆的任何轨迹点(x’j，y’j)，禁止(xi，yi)接近(x’j，y’j)。
总而言之，策略πθ可以被分解成从不可知状态到一组期望的映射以及从期望到实际轨迹的映射。后一种映射不是基于学习的，并且可以通过求解优化问题来实现，该优化问题的代价取决于期望，并且其硬性约束可以保证该策略的功能性安全。
以下讨论描述从不可知状态到该组期望的映射。如上所述，为了符合功能性安全，仅依靠强化学习的系统可能遭受关于奖励的高且不便利的方差。通过使用策略梯度迭代将问题分解成从(不可知的)状态空间到一组期望的映射，随后不涉及基于机器学习训练的系统而映射到实际轨迹，可以避免该结果。
出于各种原因，决策制定可以被进一步分解为语义上有意义的分量。例如，的大小可能是大的甚至连续的。在关于图11D的上面描述的双并道场景中，/>另外，梯度估计器可能涉及项/>在这样的表达式中，方差可以随着时间范围T增长。在某些情况下，T的值可大致为250，这可能足以产生显著的方差。假设采样率在10Hz范围内，并且并道区域1130为100米，则并道的准备可以在并道区域之前大约300米处开始。如果主车辆以每秒16米(约每小时60公里)的速度行驶，则对于片段(episode)的T的值可以大致为250。
回到选项图的概念，图11E中示出了可以表示图11D中描绘的双并道情景的选项图。如前所述，选项图可以表示组织为有向非循环图(DAG)的分层决策集。在该图中可能存在被称为“根”节点1140的特殊节点，该节点可以是没有进入边(例如，决策线)的唯一节点。决策过程可以从根节点开始遍历该图，直到其到达“叶”节点，即，没有外出边的节点。每个内部节点可以实施从其可用子代中选择一子代的策略函数。可以存在从选项图上的一组遍历到一组期望的预定映射。换言之，在选项图上的遍历可以被自动转换为/>中的期望。给定图中的一节点v，参数向量θv可以指定选择v的子代的策略。如果θ是所有θv的联结(concatenation)，那么，可以通过从图的根遍历到叶来定义/>同时在每个节点v处使用由θv定义的策略来选择子代节点。
在图11E中的双并道选项图1139中，根节点1140可首先判定主车辆是否在并道区域内(例如，图11D中的区域1130)，或者主车辆是否正在接近并道区域并且需要为可能的并道做准备。在这两种情况下，主车辆可能需要决定是否改变车道(例如，向左或向右)或是否保持在当前车道中。如果主车辆已决定改变车道，则主车辆可能需要决定条件是否适合继续并执行车道改变操纵(例如，在“继续”节点1142处)。如果不可能改变车道，则主车辆可以试图通过以处于车道标记上为目标，而朝着期望的车道“推进”(例如，在节点1144处，作为与期望车道中的车辆的协商的一部分)。替代地，主车辆可以选择“保持”在同一车道中(例如，在节点1146处)。这种过程可以以自然的方式确定主车辆的横向位置。例如，
这可以实现以自然的方式确定期望的横向位置。例如，如果主车辆将车道从车道2改变为车道3，则“继续”节点可以将期望的横向位置设置为3，“保持”节点可以将期望的横向位置设置为2，而“推进”节点可以将期望的横向位置设置为2.5。接下来，主车辆可以决定是维持“相同”速率(节点1148)、“加速”(节点1150)或是“减速”(节点1152)。接下来，主车辆可以进入超越其他车辆并且将它们的语义含义设置为集合{g,t,o}中的值的“链状”结构1154。这个过程可以设置相对于其他车辆的期望。该链中所有节点的参数可以共享(类似于循环神经网络)。
选项的潜在益处是结果的可解释性。另一个潜在益处在于可以依赖集合的可分解结构，并且因此，可以从少数的概率之中选择每个节点处的策略。另外，该结构可以允许降低策略梯度估计器的方差。
如上所述，双并道场景中片段的长度可以大致为T＝250个步长。这样的值(或取决于特定的导航情景的任何其他合适的值)可以提供足够的时间来看到主车辆动作的后果(例如，如果主车辆决定改变车道作为并道的准备，主车辆仅在成功完成并道后才能看到益处)。另一方面，由于驾驶的动态性，主车辆必须以足够快的频率(例如，在上述情况下为10Hz)做出决策。
选项图可以以至少两种方式实现降低T的有效值。首先，给定更高等级的决策，可以为较低等级的决策定义奖励，同时考虑较短的片段。例如，当主车辆已经选择了“车道改变”和“继续”节点时，通过观看2至3秒的片段(意味着T变为20-30，而不是250)，可以学习用于为车辆分配语义含义的策略。其次，对于高等级决策(诸如是否改变车道或保持在同一车道)，主车辆可能不需要每0.1秒做出决策。替代地，主车辆能够以较低频率(例如，每秒)作出决策，或者实现“选项终止”功能，然后可以仅在每次选项终止之后计算梯度。在这两种情况下，T的有效值可能比其原始值小一个数量级。总而言之，每个节点的估计器可以取决于T的值，其比原来的250个步长小一个数量级，这可能会立即转到一个较小的方差。
如上所述，硬性约束可以促进更安全的驾驶，并且可以存在几种不同类型的约束。例如，可以直接根据感测状态定义静态硬性约束。这些硬性约束可包括在主车辆的环境内的减速带、速率限制、道路弯曲、交叉口等，其可能涉及对车辆速率、航向、加速、制动(减速)等的一个或多个约束。静态硬性约束可能还包括语义上的自由空间，其中，例如，主车辆被禁止驶出自由空间之外，以及被禁止太靠近物理障碍行驶。静态硬性约束还可以限制(例如，禁止)不符合车辆的运动学运动的各个方面的操纵，例如，可以使用静态硬性约束来禁止可能导致主车辆翻转、滑动或者其他失去控制的操纵。
硬性约束还可以与车辆相关联。例如，可以采用一约束，该约束要求车辆保持到其他车辆的至少一米的纵向距离和到其他车辆的至少0.5米的横向距离。还可以应用约束，使得主车辆将避免保持与一个或多个其他车辆的碰撞路线。例如，时间τ可以是基于特定场景的时间度量。可以从当前时间到时间τ考虑主车辆和一个或多个其他车辆的预测轨迹。在两条轨迹相交的情况下，可以表示车辆i到达和离开相交点的时间。也就是说，每辆汽车将在汽车的第一部分通过相交点时到达该点处，并且在汽车的最后部分通过该相交点之前需要一定时间量。该时间量将到达时间与离开时间分开。假设/>(即，车辆1的到达时间小于车辆2的到达时间)，那么我们将希望确保车辆1在车辆2到达之前已经离开相交点。否则，将会导致碰撞。因此，可以实施使得/>的硬性约束。并且，为了确保车辆1和车辆2以最小量彼此错开，通过将缓冲时间(例如，0.5秒或另一适当值)包括在约束中，可以获得附加的安全余量。与两车辆的预测的相交轨迹有关的硬性约束可以表示为/>
主车辆和一个或多个其他车辆的轨迹被追踪的时间量τ可以变化。然而，在交叉口情景中，速率可能更低，τ可能更长，并且τ可以被定义为使得主车辆将在小于τ秒内进入和离开交叉口。
当然，对车辆轨迹应用硬性约束要求预测那些车辆的轨迹。对于主车辆而言，轨迹预测可能相对直接，因为主车辆通常已经理解并且事实上正在在任何给定时间对预期轨迹进行规划。相对于其他车辆，预测它们的轨迹可能不那么直接。对于其他车辆而言，用于确定预测轨迹的基线计算可能依赖于其他车辆的当前速率和航向，例如，如基于对由主车辆上的一个或多个相机和/或其他传感器(雷达、激光雷达、声学等)捕捉的图像流的分析所确定的。
然而，可能存在一些例外，其可以简化问题或者至少提供在针对另一车辆预测的轨迹中的增加的置信度。例如，对于存在车道指示的结构化道路以及可能存在让路规则的情况，其他车辆的轨迹可以至少部分地基于其他车辆相对于车道的位置以及基于可适用的让路规则。因此，在一些情况下，当观察到车道结构时，可以假设下一车道的车辆将遵守车道边界。也就是说，主车辆可以假设下一车道的车辆将保持在其车道中，除非观察到指示下一车道的车辆将切入主车辆的车道中的证据(例如，信号灯、强的横向运动、跨车道边界的移动)。
其他情况也可以提供关于其他车辆的预期轨迹的线索。例如，在主车辆可以有路权的停车标志、交通灯、环形道等处，可以假设其他车辆将遵守该路权。因此，除非观察到违反规则的证据，否则可以假设其他车辆沿着遵守主车辆拥有的路权的轨迹继续前进。
还可以相对于主车辆环境中的行人应用硬性约束。例如，可以相对于行人建立缓冲距离，使得禁止主车辆相对于任何观察到的行人比规定的缓冲距离更近地行驶。行人缓冲距离可以是任何合适的距离。在一些实施例中，缓冲距离可以是相对于观察到的行人至少一米。
类似于带有车辆的情况，还可以相对于行人与主车辆之间的相对运动来应用硬性约束。例如，可以相对于主车辆的预计轨迹来监测行人的轨迹(基于航向和速率)。给定特定的行人轨迹，其中对于轨迹上的每个点p，t(p)可以表示行人到达点p所需的时间。为了保持距行人至少1米的所需的缓冲距离，t(p)必须大于主车辆将到达点p的时间(具有足够的时间差，使得主车辆在行人的前方以至少一米的距离通过)，或者t(p)必须小于主车辆将到达点p的时间(例如，如果主车辆制动来为行人让路)。尽管如此，在后一示例中，硬性约束可能要求主车辆在晚于行人足够的时间到达点p，使得主车辆可以在行人后方通过，并且维持至少一米的所需的缓冲距离。当然，对行人的硬性约束可能有例外。例如，在主车辆具有路权或速度非常缓慢的情况下，并且没有观察到行人将拒绝为主车辆让路或将以其他方式导航向主车辆的证据，可以松弛(relax)行人硬性约束(例如，到至少0.75米或0.50米的较小缓冲)。
在一些示例中，在确定不是全部约束都可以被满足的情况下，可以松弛约束。例如，在道路太窄而不能留出两个路缘或路缘与停放车辆的所需间距(例如0.5米)的情况下，如果存在减轻情况，则可以松弛一个或多个约束。例如，如果人行道上没有行人(或其他对象)，可以在离路缘0.1米处缓慢行驶。在一些实施例中，如果松弛约束会改善用户体验，则可以松弛约束。例如，为了避免坑洼，可以松弛约束以允许车辆比通常可能允许的更靠近车道边缘、路缘或行人。此外，在确定哪些约束要松弛时，在一些实施例中，选择要松弛的一个或多个约束是被认为对安全具有最小可用负面影响的那些约束。例如，在松弛涉及与其他车辆的接近度的一个约束之前，可以松弛关于车辆可以有多接近行驶到路缘或混凝土障碍的约束。在一些实施例中，行人约束可以是最后被松弛的，或者在某些情况下可能永远不被松弛。
图12示出可在主车辆的导航期间捕捉和分析的场景的示例。例如，主车辆可以包括如上所述的导航系统(例如，系统100)，其可以从与主车辆相关联的相机(例如，图像捕捉设备122、图像捕捉设备124和图像捕捉设备126中的至少一个)接收表示主车辆的环境的多个图像。图12中所示的场景是可以在时间t从沿着预测轨迹1212在车道1210中行驶的主车辆的环境捕捉的图像之一的示例。导航系统可以包括至少一个处理设备(例如，包括上述的任何EyeQ处理器或其他设备)，所述处理设备被专门编程为接收多个图像并分析图像以确定响应于场景的动作。具体而言，如图8所示，至少一个处理设备可以实现感测模块801、驾驶策略模块803和控制模块805。感测模块801可以负责收集并输出从相机收集的图像信息，并且将该信息以所识别的导航状态的形式提供至驾驶策略模块803，其可以构成已经通过机器学习技术(诸如监督式学习、强化学习等)训练的经训练的导航系统。基于由感测模块801提供至驾驶策略模块803的导航状态信息，驾驶策略模块803(例如，通过实施上述的选项图方法)可以生成用于由主车辆响应于所识别的导航状态而执行的期望导航动作。
在一些实施例中，至少一个处理设备可以使用例如控制模块805，将期望导航动作直接转换成导航命令。然而，在其他实施例中，可以应用硬性约束，使得针对场景和所述期望导航动作可能涉及的各种预定导航约束，对由驾驶策略模块803提供的期望导航动作进行测试。例如，在驾驶策略模块803输出将引起主车辆跟随轨迹1212的期望导航动作的情况下，可以相对于与主车辆的环境的各个方面相关联的一个或多个硬性约束来测试该导航动作。例如，捕捉图像1201可以显示路缘1213、行人1215、目标车辆1217以及存在于场景中的静止对象(例如，翻倒的箱子)。这些中的每个都可以与一个或多个硬性约束相关联。例如，路缘1213可以与禁止主车辆导航进路缘或经过路缘并且到人行道1214上的静态约束相关联。路缘1213还可以与路障包络(envelope)相关联，该路障包络限定了远离路缘(例如，0.1米、0.25米、0.5米、1米等)并且沿着路缘延伸的距离(例如，缓冲区)，该距离限定了主车辆的禁止导航区。当然，静态约束还可以与其他类型的路侧边界(例如，护栏、混凝土柱、交通锥标、桥塔或任何其他类型的路侧障碍)相关联。
应注意，距离和范围可以通过任何合适的方法来确定。例如，在一些实施例中，距离信息可以由车载雷达和/或激光雷达系统提供。替代地或另外地，距离信息可以从对从主车辆的环境捕捉的一个或多个图像的分析中导出。例如，可以确定图像中表示的已辨识的对象的多个像素，并将其与图像捕捉设备的已知视场和焦距几何形状进行比较，以确定比例和距离。例如，可以通过观察在已知时间间隔内从图像到图像的对象之间的比例变化，来确定速度和加速度。该分析可以指示对象朝着主车辆或者远离主车辆的运动方向、以及对象正在以多快速度远离主车辆或朝主车辆过来。可以通过分析在已知时间段内从一个图像到另一个图像的对象X坐标位置的变化，来确定穿越速度。
行人1215可以与限定了缓冲区1216的行人包络相关联。在一些情况下，施加的硬性约束可以禁止主车辆在离行人1215一米的距离内(在相对于行人1215的任何方向)导航。行人1215还可以限定行人影响区1220的位置。这种影响区可以与限制主车辆在影响区内的速度的约束相关联。影响区可以从行人1215延伸5米、10米、20米等。影响区的每个分级(graduation)可以与不同的速率限制相关联。例如，在离行人1215一米至五米的区域内，主车辆可以被限制为第一速率(例如，10mph(每小时英里数)，20mph等)，所述第一速率可以小于从5米延伸至10米的行人影响区中的速率限制。可以对于影响区的各级使用任何分级。在一些实施例中，第一级可以比从一米到五米更窄，并且可以仅从一米延伸到两米。在其他实施例中，影响区的第一级可从一米(围绕行人的禁止导航区的边界)延伸至至少10米的距离。第二级又可以从十米延伸到至少约二十米。第二级可以与主车辆的最大行驶速度相关联，其大于与行人影响区的第一级相关联的最大行驶速度。
一个或多个静止对象约束也可以与主车辆的环境中检测到的场景有关。例如，在图像1201中，至少一个处理设备可以检测静止对象，诸如存在于道路中的箱子1219。检测到的静止对象可以包括各种对象，诸如树、杆、道路标志或道路中的对象中的至少一个。一个或多个预定导航约束可以与检测到的静止对象相关联。例如，这种约束可以包括静止对象包络，其中所述静止对象包络限定了关于对象的缓冲区，可以禁止主车辆导航到该缓冲区内。缓冲区的至少一部分可以从检测到的静止对象的边缘延伸预定距离。例如，在由图像1201表示的场景中，至少0.1米、0.25米、0.5米或更多的缓冲区可以与箱子1219相关联，使得主车辆将以至少一段距离(例如，缓冲区距离)通过箱子的右侧或左侧，以避免与检测到的静止对象发生碰撞。
预定的硬性约束还可以包括一个或多个目标车辆约束。例如，可以在图像1201中检测到目标车辆1217。为了确保主车辆不与目标车辆1217碰撞，可以采用一个或多个硬性约束。在一些情况下，目标车辆包络可以与单个缓冲区距离相关联。例如，可以通过在所有方向上围绕目标车辆1米的距离来限定缓冲区。缓冲区可以限定从目标车辆延伸至少一米的区域，禁止主车辆导航到该区域中。
然而，围绕目标车辆1217的包络不需要由固定的缓冲距离限定。在一些情况下，与目标车辆(或在主车辆的环境中检测到的任何其他可移动对象)相关联的预定硬性约束可取决于主车辆相对于检测到的目标车辆的定向。例如，在一些情况下，纵向缓冲区距离(例如，从目标车辆向主车辆的前方或后方延伸的距离——诸如在主车辆正朝着目标车辆行驶的情况下)可以为至少一米。横向缓冲区距离(例如，从目标车辆向主车辆的任一侧延伸的距离——诸如当主车辆以与目标车辆相同或相反的方向行驶时，使得主车辆的一侧将邻近目标车辆的一侧通过)可以为至少0.5米。
如上所述，通过对主车辆的环境中的目标车辆或行人的检测，还可能涉及其他约束。例如，可以考虑主车辆和目标车辆1217的预测轨迹，并且在两个轨迹相交(例如，在相交点1230处)的情况下，硬性约束可以需要或者/>其中主车辆为车辆1，而目标车辆1217为车辆2。类似地，可以相对于主车辆的预计轨迹来监测行人1215的轨迹(基于前进方向和速率)。给定特定的行人轨迹，对于轨迹上的每个点p上，t(p)将表示行人到达点p(即，图12中的点1231)所需的时间。为了保持距行人至少1米的所需缓冲距离，t(p)必须大于主车辆将到达点p的时间(具有足够的时间差，使得主车辆在行人前方以至少一米的距离通过)，或者t(p)必须小于主车辆将到达点p的时间(例如，如果主车辆制动来为行人让路)。尽管如此，在后一示例中，硬性约束将要求主车辆以足够的时间晚于行人到达点p，使得主车辆可以在行人后方通过，并且保持至少一米的所需的缓冲距离。
还可以采用其他硬性约束。例如，至少在一些情况下，可以采用主车辆的最大减速率。这种最大减速率可以基于检测到的距跟随主车辆的目标车辆的距离(例如，使用从后向相机收集的图像)而被确定。硬性约束可以包括在感测到的人行横道或铁路道口处的强制停止、或其他可适用的约束。
在对主车辆的环境中的场景的分析指示可能涉及一个或多个预定导航约束的情况下，可以相对于主车辆的一个或多个规划的导航动作来施加这些约束。例如，在对场景的分析导致驾驶策略模块803返回期望导航动作的情况下，可以针对一个或多个涉及的约束来测试该期望导航动作。如果期望导航动作被确定为违反所涉及的约束的任何方面(例如，如果期望导航动作将驱使主车辆在行人1215的0.7米的距离内，其中预定硬性约束要求主车辆保持距离行人1215至少1.0米)，则可以基于一个或多个预定导航约束对期望导航动作做出至少一个修改。以这种方式调节期望导航动作可以遵循在主车辆的环境中检测到的特定场景所涉及的约束，为主车辆提供实际导航动作。
在确定主车辆的实际导航动作之后，可以通过响应于所确定的主车辆的实际导航动作而引起对主车辆的导航致动器的至少一个调节，来实现该导航动作。这种导航致动器可以包括主车辆的转向机构、制动器或加速器中的至少一个。
优先约束
如上所述，导航系统可采用各种硬性约束来确保主车辆的安全操作。约束可以包括相对于行人、目标车辆、路障或检测到的对象的最小安全驾驶距离、当在检测到的行人的影响区内通过时的最大行驶速率、或者主车辆的最大减速率等等。这些约束可以对基于机器学习(监督式、强化或组合)训练的经训练的系统来施加，但是它们也可以对非经训练的系统(例如，采用算法来直接处理在来自主车辆环境的场景中发生的预期情况的那些系统)有用。
在任何一种情况下，都可能存在约束的层级。换言之，一些导航约束优先于其他约束。因此，如果出现了不可获得会导致所有相关约束均被满足的导航动作的情况，则导航系统可首先确定实现最高优先级约束的可用导航动作。例如，系统也可以使车辆首先避开该行人，即使避开该行人的导航会导致与道路中检测到的另一车辆或对象碰撞。在另一个示例中，系统可以使车辆骑上路缘来避开行人。
图13提供了示出用于实现基于对主车辆的环境中场景的分析而确定的相关约束的层级的算法的流程图。例如，在步骤1301，与导航系统相关联的至少一个处理设备(例如，EyeQ处理器等)可以从安装在主车辆上的相机接收表示主车辆的环境的多个图像。通过在步骤1303对表示主车辆环境的场景的图像的分析，可以识别与主车辆相关联的导航状态。例如，导航状态可以指示主车辆正沿着双车道道路1210行驶，如图12所示，其中目标车辆1217正在移动通过主车辆前方的交叉口，行人1215正在等待穿过主车辆行驶的道路，对象1219存在于主车辆车道的前方，以及场景的各种其他属性。
在步骤1305，可以确定主车辆的导航状态涉及的一个或多个导航约束。例如，在分析由一个或多个捕捉图像表示的主车辆的环境中的场景之后，至少一个处理设备可以确定通过对捕捉图像的图像分析所辨识的对象、车辆、行人等涉及的一个或多个导航约束。在一些实施例中，至少一个处理设备可以确定导航状态涉及的至少第一预定导航约束和第二预定导航约束，并且第一预定导航约束可以不同于第二预定导航约束。例如，第一导航约束可以涉及在主车辆的环境中检测到的一个或多个目标车辆，而第二导航约束可以涉及在主车辆的环境中检测到的行人。
在步骤1307，至少一个处理设备可以确定与在步骤1305中识别的约束相关联的优先级。在所描述的示例中，涉及行人的第二预定导航约束可以具有比涉及目标车辆的第一预定导航约束更高的优先级。虽然可以基于各种因素来确定或分配与导航约束相关联的优先级，但是在一些实施例中，导航约束的优先级可能与其从安全角度而言的相对重要性有关。例如，虽然在尽可能多的情况下遵守或满足所有实施的导航约束可能是重要的，但是一些约束可能与其他约束相比与具有更高的安全风险相关联，因此，这些约束可被分配更高的优先级。例如，要求主车辆保持与行人间距至少1米的导航约束可具有比要求主车辆保持与目标车辆间距至少1米的约束更高的优先级。这可能是因为与行人相撞会比与另一车辆相撞造成更严重的后果。类似地，保持主车辆与目标车辆之间的间距可以具有比以下约束更高的优先级：要求主车辆避开道路上的箱子、在减速带上低于特定速度驾驶、或者使主车辆占有者暴露于不超过最大加速度等级。
虽然驾驶策略模块803被设计为通过满足特定场景或导航状态涉及的导航约束以使安全性最大化，但是在一些情况下，实际上不可能满足每个所涉及的约束。在这种情况下，如步骤1309所示，可以使用每个涉及的约束的优先级来确定应该首先满足哪个涉及的约束。继续上面的示例，在不可能同时满足行人间隙约束和目标车辆间隙两者约束，而只能满足其中一个约束的情况下，则更高优先级的行人间隙约束可导致该约束在尝试保持到目标车辆的间隙之前被满足。因此，在正常情况下，如步骤1311所示，在第一预定导航约束和第二预定导航约束两者都可以被满足的情况下，至少一个处理设备可以基于所识别的主车辆的导航状态来确定满足第一预定导航约束和第二预定导航约束两者的主车辆的第一导航动作。然而，在其他情况下，在不是所有涉及的约束都可以被满足的情况下，如步骤1313所示，第一预定导航约束和第二预定导航约束不能同时被满足的情况下，至少一个处理设备可以基于所识别的导航状态，确定满足第二预定导航约束(即，较高优先级约束)但不满足第一预定导航约束(具有低于第二导航约束的优先级)的主车辆的第二导航动作。
接下来，在步骤1315，为了实施所确定的主车辆的导航动作，至少一个处理设备可以响应于所确定的主车辆的第一导航动作或所确定的主车辆的第二导航动作，引起对主车辆的导航致动器的至少一个调节。如在前面的示例中所述，导航致动器可以包括转向机构、制动器或加速器中的至少一个。
约束松弛
如上所述，出于安全目的可以施加导航约束。约束可以包括相对于行人、目标车辆、路障或检测到的对象的最小安全驾驶距离、当在检测到的行人的影响区内通过时的最大行驶速度、或者主车辆的最大减速率等等。这些约束可以被施加在学习或非学习的导航系统中。在某些情况下，这些约束可以被松弛。例如，在主车辆在行人附近减速或停靠，然后缓慢前进以传达要驶过行人的意图的情况下，可以从所获取的图像中检测行人的响应。如果行人的响应是保持静止或停止移动(和/或如果感测到与行人的眼神接触)，则可以理解该行人认识到导航系统要驶过行人的意图。在这种情况下，系统可松弛一个或多个预定约束并实施较不那么严格的约束(例如，允许车辆在行人0.5米内导航，而不是在更严格的1米边界内)。
图14提供了用于基于一个或多个导航约束的松弛来实施主车辆的控制的流程图。在步骤1401，至少一个处理设备可以从与主车辆相关联的相机接收表示主车辆的环境的多个图像。在步骤1403对图像的分析可以使得能够识别与主车辆相关联的导航状态。在步骤1405，至少一个处理器可以确定与主车辆的导航状态相关联的导航约束。导航约束可以包括导航状态的至少一个方面所涉及的第一预定导航约束。在步骤1407，多个图像的分析可以揭示至少一个导航约束松弛因素(relaxation factor)的存在。
导航约束松弛因素可以包括一个或多个导航约束在至少一个方面可以被暂停、改变或以其他方式松弛的任何合适的指示符。在一些实施例中，至少一个导航约束松弛因素可以包括(基于图像分析)行人的眼睛正看向主车辆的方向的确定。在这种情况下，可以更安全地假定行人意识到主车辆。因此，行人不会参与导致行人移动到主车辆路径中的意外动作的置信度可能更高。还可以使用其他约束松弛因素。例如，至少一个导航约束松弛因素可以包括：被确定为没有在移动的行人(例如，假定不太可能进入主车辆路径的行人)；或者其运动被确定为正在减慢的行人。导航约束松弛因素还可以包括更复杂的动作，诸如被确定为在主车辆停住然后恢复移动后没有在移动的行人。在这种情况下，可以假设行人知道主车辆具有路权，并且行人停住可以表明行人让路给主车辆的意图。其他可能导致一个或多个约束被松弛的情况包括路缘石的类型(例如，低路缘石或具有渐变坡度的路缘石可能允许松弛的距离约束)、在人行道上缺少行人或其他对象、处于其引擎未运转的车辆可以具有松弛的距离、或者行人正背向和/或远离于主车辆驶向的区域移动的情况。
在识别存在导航约束松弛因素(例如，在步骤1407)的情况下，可以响应于约束松弛因素的检测来确定或产生第二导航约束。该第二导航约束可以不同于第一导航约束，并且所述第二导航约束可以包括相对于第一导航约束被松弛的至少一个特性。第二导航约束可以包括基于第一约束的新生成的约束，其中所述新生成的约束包括在至少一个方面松弛第一约束的至少一个修改。可替代地，第二约束可以构成在至少一个方面比第一导航约束不那么严格的预定约束。在一些实施例中，可以保留这种第二约束，以仅用于在主车辆的环境中识别约束松弛因素的情况。无论第二约束是新生成的还是从一组完全或部分可用的预定约束中选择的，应用第二导航约束代替更严格的第一导航约束(其可以应用在没有检测到相关导航约束松弛因素的情况)可以被称为约束松弛并且可以在步骤1409中完成。
在步骤1407检测到至少一个约束松弛因素，并且在步骤1409中已经松弛了至少一个约束的情况下，可以在步骤1411中确定主车辆的导航动作。主车辆的导航动作可以基于所识别的导航状态并且可以满足第二导航约束。可以在步骤1413通过响应于所确定的导航动作而引起对主车辆的导航致动器的至少一个调节来实施导航动作。
如上所述，导航约束和松弛导航约束的使用可以对经训练(例如，通过机器学习)或未经训练(例如，被编程为响应于特定导航状态以预定动作来响应的导航系统)的导航系统采用。在使用经训练的导航系统的情况下，用于某些导航情况的松弛导航约束的可用性可以表示从经训练的系统响应到未经训练的系统响应的模式切换。例如，经训练的导航网络可以基于第一导航约束来确定主车辆的原始导航动作。然而，车辆采取的动作可以是与满足第一导航约束的导航动作不同的动作。相反，所采取的动作可以满足更松弛的第二导航约束，并且可以是由未经训练的系统产生的动作(例如，作为在主车辆的环境中检测到特定状况的响应，诸如导航约束松弛因素的存在)。
有许多可以响应于在主车辆的环境中检测到约束松弛因素而被松弛的导航约束的示例。例如，在预定导航约束包括与检测到的行人相关联的缓冲区，并且缓冲区的至少一部分从检测到的行人延伸一定距离的情况下，被松弛的导航约束(新产生的、从预定集合中从存储器中调用的，或作为先前存在的约束的松弛版本生成的)可以包括不同的或修改的缓冲区。例如，不同的或修改的缓冲区可以具有比相对于检测到的行人的原始的或未修改的缓冲区更小的相对于行人的距离。因此，在主车辆的环境中检测到适当的约束松弛因素的情况下，鉴于经松弛的约束，可以允许主车辆更靠近检测到的行人而导航。
如上所述，导航约束的被松弛的特性可以包括与至少一个行人相关联的缓冲区的宽度减少。然而，被松弛的特性还可以包括对与目标车辆、检测到的对象、路侧障碍或在主车辆的环境中检测到的任何其他对象相关联的缓冲区的宽度减少。
至少一个被松弛的特性还可以包括导航约束特性的其他类型的修改。例如，被松弛的特性可以包括与至少一个预定导航约束相关联的速率的增加。被松弛的特性还可以包括与至少一个预定导航约束相关联的最大可允许减速度/加速度的增加。
尽管如上所述在某些情况下约束可以被松弛，而在其他情况下，导航约束可以被增强(augment)。例如，在一些情况下，导航系统可以确定授权(warrant)对一组正常导航约束的增强的条件。这种增强可以包括将新的约束添加到一组预定的约束或者调节预定约束的一个或多个方面。添加或调节可导致相对于在正常驾驶条件下可适用的该组预定约束而言更为保守的导航。可以授权约束增强的条件可以包括传感器故障、不利的环境条件(雨、雪、雾或与可见性降低或车辆牵引力降低相关联的其他情形)等。
图15提供用于基于对一个或多个导航约束的增强来实施主车辆的控制的流程图。在步骤1501，至少一个处理设备可以从与主车辆相关联的相机接收表示主车辆的环境的多个图像。在步骤1503对图像的分析可以使得能够识别与主车辆相关联的导航状态。在步骤1505，至少一个处理器可以确定与主车辆的导航状态相关联的导航约束。导航约束可以包括导航状态的至少一个方面所涉及的第一预定导航约束。在步骤1507，对多个图像的分析可以揭示至少一个导航约束增强因素的存在。
涉及的导航约束可以包括上述的(例如，关于图12)任何导航约束或任何其他合适的导航约束。导航约束增强因素可以包括一个或多个导航约束可以在至少一个方面被补充/增强的任何指示符。可以在每个组的基础上(例如，通过将新的导航约束添加到一组预定的约束)或者可以在每个约束的基础上(例如，修改特定的约束，使得经修改约束比原始约束更具限制性，或者添加对应于预定约束的新约束，其中该新约束在至少一个方面比对应约束更具限制性)，来执行导航约束的补充或增强。另外或可替代地，导航约束的补充或增强可以是指基于层级从一组预定约束中进行选择。例如，一组被增强的约束可用于基于是否在主车辆的环境中或相对于主车辆检测到导航增强因素来进行选择。在没有检测到增强因素的正常情况下，则可以从适用于正常情况的约束中抽取所涉及的导航约束。另一方面，在检测到一个或多个约束增强因素的情况下，所涉及的约束可以从被增强的约束中抽取，该被增强的约束是相对于一个或多个增强因素而生成或预定的。被增强的约束在至少一个方面与正常情况下适用的对应约束相比可能更具限制性。
在一些实施例中，至少一个导航约束增强因素可以包括在主车辆的环境中检测到(例如，基于图像分析)道路表面上存在冰、雪或水。例如，这种确定可以基于对以下的检测：反射率高于干燥道路所预期的区域(例如，指示道路上的冰或水)；道路上的指示雪的存在的白色区域；道路上的与道路上存在纵向沟(例如，雪中的轮胎痕迹)一致的阴影；主车辆挡风玻璃上的水滴或冰/雪颗粒；或者道路表面上存在水或冰/雪的任何其他合适的指示符。
至少一个导航约束增强因素还可以包括在主车辆的挡风玻璃的外表面上检测到的颗粒。这种颗粒可能会损害与主车辆相关联的一个或多个图像捕捉设备的图像质量。虽然关于主车辆的挡风玻璃进行了描述，其与安装在主车辆的挡风玻璃后面的相机相关，但对在其他表面(例如，相机的镜头或镜头盖、前灯透镜、后挡风玻璃、尾灯透镜或对于与主车辆相关联的图像捕捉设备可见(或由传感器检测到)的主车辆的任何其他表面)上的颗粒的检测，也可指示导航约束增强因素的存在。
导航约束增强因素也可以被检测为一个或多个图像获取设备的属性。例如，检测到的由与主车辆相关联的图像捕捉设备(例如，相机)捕捉的一个或多个图像的图像质量方面的降低，也可以构成导航约束增强因素。图像质量的下降可能与硬件故障或部分硬件故障相关联，该故障与图像捕捉设备或与图像捕捉设备相关联的组件相关联。这种图像质量的下降也可能是由环境条件引起的。例如，在主车辆周围的空气中存在烟、雾、雨、雪等也可能导致降低相对于可能存在于主车辆的环境中的道路、行人、目标车辆等的图像质量。
导航约束增强因素还可以涉及主车辆的其它方面。例如，在一些情况下，导航约束增强因素可以包括检测到的与主车辆关联的系统或传感器的故障或部分故障。这种增强因素可以包括，例如检测到速度传感器、GPS接收器、加速度计、相机、雷达、激光雷达、制动器、轮胎或与主车辆相关联的任何其他系统的故障或部分故障，该故障可影响主车辆相对于与主车辆的导航状态相关联的导航约束进行导航的能力。
在识别导航约束增强因素的存在(例如，在步骤1507)的情况下，可以响应于检测到约束增强因素来确定或产生第二导航约束。该第二导航约束可以不同于第一导航约束，并且所述第二导航约束可以包括相对于第一导航约束被增强的至少一个特性。第二导航约束可以比第一导航约束更具限制性，因为检测到在主车辆的环境中的或者与主车辆相关联的约束增强因素可以表明主车辆可以具有至少一个相对于正常操作条件降低的导航能力。这种降低的能力可以包括较低的道路牵引力(例如，道路上的冰、雪、或水；降低的轮胎压力等)；受损的视觉(例如，降低捕捉图像质量的雨、雪、沙尘、烟、雾等)；受损的检测能力(例如，传感器故障或部分故障、传感器性能降低等)，或主车辆响应于检测到的导航状态而导航的能力方面的任何其他降低。
在步骤1507中检测到至少一个约束增强因素，并且在步骤1509中增强了至少一个约束的情况下，可以在步骤1511中确定主车辆的导航动作。主车辆的导航动作可以基于所识别的导航状态并且可以满足第二导航(即，被增强的)约束。可以在步骤1513通过响应于所确定的导航动作而引起对主车辆的导航致动器进行至少一个调节来实施导航动作。
如所讨论的，导航约束和被增强的导航约束的使用可以对经训练(例如，通过机器学习)或未经训练(例如，被编程为响应于特定导航状态以预定动作来响应的系统)的导航系统采用。在使用经训练的导航系统的情况下，针对某些导航情况的被增强的导航约束的可用性可表示从经训练的系统响应到未经训练的系统响应的模式切换。例如，经训练的导航网络可以基于第一导航约束来确定主车辆的原始导航动作。然而，车辆采取的动作可以是与满足第一导航约束的导航动作不同的动作。相反，所采取的动作可以满足被增强的第二导航约束，并且可以是由未经训练的系统产生的动作(例如，作为对在主车辆的环境中检测到特定条件的响应，诸如存在导航约束增强因素)。
有许多可以响应于在主车辆的环境中检测到约束增强因素而生成、补充或增强的导航约束的示例。例如，在预定导航约束包括与检测到的行人、对象、车辆等相关联的缓冲区，并且缓冲区的至少一部分从检测到的行人/对象/车辆延伸一定距离的情况下，被增强的导航约束(新产生的、从预定集合中从存储器调用的，或作为先前存在的约束的增强版本而生成的)可以包括不同的或修改的缓冲区。例如，不同的或修改的缓冲区可以具有比相对于检测到的行人/对象/车辆的原始的或未修改的缓冲区而言更大的相对于行人/对象/车辆的距离。因此，在主车辆的环境中或相对于主车辆检测到适当的约束增强因素的情况下，鉴于该被增强的约束，可以强制主车辆更远离检测到的行人/对象/车辆而导航。
至少一个被增强的特性还可以包括导航约束特性的其他类型的修改。例如，被增强的特性可以包括与至少一个预定导航约束相关联的速度的降低。被增强的特性还可以包括与至少一个预定导航约束相关联的最大可允许减速度/加速度的减小。
基于长远规划的导航
在一些实施例中，所公开的导航系统不仅可以对主车辆的环境中检测到的导航状态进行响应，而且还可以基于长远规划(long range planning)来确定一个或多个导航动作。例如，系统可以考虑可用作相对于检测到的导航状态进行导航的选项的一个或多个的导航动作对未来导航状态的潜在影响。考虑可用的动作对未来状态的影响可以使得导航系统不仅基于当前检测到的导航状态、而且还基于长远规划来确定导航动作。在导航系统采用一种或多种奖励函数作为从可用选项中选择导航动作的技术的情况下，使用长远规划技术的导航可能尤其适用。可以相对于可以响应于检测到的主车辆的当前导航状态而采取的可用导航动作，来分析潜在奖励。然而，进一步地，还可以相对于可以响应于未来导航状态而采取的动作，来分析潜在奖励，所述未来导航状态预计是由于对当前导航状态的可用动作而造成的。因此，所公开的导航系统在某些情况下可以响应于检测到的导航状态而从可以响应于当前导航状态而采取的可用动作之中选择导航动作，即使在所选择的导航动作可能不会产生最高的奖励的情况之下。这在系统确定以下情况时尤其正确：所选择的动作可能导致未来导航状态，该未来导航状态引起一个或多个潜在的导航动作，其中该潜在的导航动作提供比所选择的动作或者在某些情况下比相对于当前导航状态可用的任何动作更高的奖励。该原理可以更简单地表达为：为了在未来产生更高的奖励选项，而在现在采取不那么有利的动作。因此，所公开的能够进行长远规划的导航系统可以选择短期非最理想的动作，其中长期预测指示奖励的短期损失会导致长期奖励增加。
通常，自主驾驶应用可涉及一系列规划问题，其中导航系统可以决定即时动作以便优化更长期目标。例如，当车辆在环形道处遇到并道情况时，导航系统可以决定即时加速或制动命令，以便发起到环形道的导航。虽然在环形道处对检测到的导航状态的即时动作可能涉及响应于所检测到的状态的加速或制动命令，但长期目标是成功并道，并且所选命令的长期影响是并道的成功/失败。可以通过将问题分解为两个阶段来解决规划问题。首先，监督式学习可以应用于基于现在来预测近未来(假设预测符(predictor)相对于现在的表示将是可微的)。其次，可以使用循环神经网络对作用者的完整轨迹进行建模，其中未解释的因素被建模为(加性)输入节点。这可以允许使用监督式学习技术和对循环神经网络直接优化来确定长期规划问题的解。这种方法还可以使得能够通过将对抗性要素纳入环境来学习鲁棒的策略。
自主驾驶系统的两个最基本的要素是感测和规划。感测处理的是寻找环境的现在状态的紧凑表示，而规划处理的是决定采取何种动作以优化未来目标。监督式机器学习技术对求解感测问题是有用的。机器学习算法框架也可以用于规划部分，尤其是强化学习(RL)框架，诸如上述那些。
RL可以按照连续几轮(round)的顺序而执行。在第t轮，规划器(亦称作用者或驾驶策略模块803)可以观察状态st∈S，其表示作用者和环境。然后其应该决定动作at∈A。在执行该动作后，该作用者接收即时奖励并移至新的状态st+1。作为示例，主车辆可以包括自适应巡航控制(ACC)系统，其中车辆应该自主地实施加速/制动，以在保持平稳驾驶的同时保持与前车的适当距离。该状态可以被建模为一对/>其中xt是到前车的距离，vt是主车辆相对于前车速度的速度。所述动作/>将是加速命令(若at<0则主车辆减速)。奖励可以是取决于|at|(反映驾驶的平稳性)和st(反映主车辆与前车保持安全距离)的函数。规划器的目标是使累积奖励最大化(可以直至未来奖励的时间范围或折扣后的总和)。要做到这一点，规划器可依赖策略π：S→A，其将状态映射到动作。
监督式学习(SL)可以被看作是RL的特例，其中st是从S上的一些分布中采样的，并且奖励函数可以具有的形式，其中/>是损失函数，并且学习器观察yt的值，yt为在查看状态st时要采取的最佳动作的值(可能有噪声)。通常的RL模型与特例SL之间可能存在若干差异，并且这些差异使通常的RL问题更具挑战性。
在一些SL情况下，学习器采取的动作(或预测)可能对环境没有影响。换言之，st+1和at是独立的。这会有两个重要的含义。首先，在SL中，样本(s1，y1)，...，(sm，ym)可以提前被收集，然后才能开始搜索相对于样本具有良好准确度的策略(或预测符)。相反，在RL中，状态st+1通常取决于所采取的动作(以及之前的状态)，而这又取决于用于生成该动作的策略。这将使数据生成过程束缚于策略学习过程。其次，因为在SL中动作不影响环境，所以选择at对π的表现的贡献是局部的。具体而言，at只影响即时奖励的值。相反，在RL中，第t轮采取的动作可能会对未来轮中的奖励值产生长期影响。
在SL中，“正确”答案的知识yt、连同奖励rt＝-l(at，yt)的形状一起可以提供对于at的所有可能的选择的奖励的全部知识，这可以使得能够计算奖励相对于at的导数。相反，在RL中，奖励的“一次性”值可能是对于所采取动作的具体选择而能观察到的全部。这可以被称为“强盗(Bandit)”反馈。这是需要“探索”作为长期导航规划的一部分的最重要原因之一，因为在基于RL的系统中，如果只有“强盗”反馈可用，则系统可能并不总是知道所采取的动作是否是要采取的最好的动作。
许多RL算法至少部分地依赖于马尔可夫决策过程(MDP，Markov DecisionProcess)的数学优化模型。马尔可夫假设是：给定st和at，st+1的分布被完全确定。依据MDP状态上的稳定分布，其给出了给定策略的累积奖励的闭合解表达式。策略的稳定分布可以表示为线性规划问题的解。这产生了两类算法：1)相对于原始问题的优化，其被称为策略搜索；2)相对于双重问题的优化，其变量被称为值函数Vπ。如果MDP从初始状态s开始，并且从那里根据π来选择动作，则值函数确定预期累积奖励。相关量是状态-动作值函数Qπ(s，a)，假设从状态s开始，即时选择的动作a，以及从那里根据π选择的动作，则状态-动作值函数确定累积奖励。Q函数可能会引起最优策略的表征(使用贝尔曼方程)。特别是，Q函数可能表明最优策略是从S到A的确定性函数(实际上，它可能被表征为相对于最优Q函数的“贪婪”策略)。
MDP模型的一个潜在优点在于其允许使用Q函数将未来耦合到现在。例如，假设主车辆现在处于状态s，Qπ(s，a)的值可以指示执行动作a对未来的影响。因此，Q函数可以提供动作a的质量的局部测量，从而使RL问题更类似于SL场景。
许多RL算法以某种方式近似V函数或Q函数。值迭代算法(例如Q学习算法)可以依赖于以下事实：最优策略的V和Q函数可以是从贝尔曼方程导出的一些运算符的固定点。行动者-评价器(Actor-critic)策略迭代算法旨在以迭代的方式学习策略，其中在迭代t处，“评价器”估计并且基于该估计，“行动者”改进策略。
尽管MDP的数学优势和切换到Q函数表示的方便性，但该方法可能具有若干限制。例如，马尔可夫行为状态的近似概念可能是在某些情况下所能找到的全部。此外，状态的转变不仅取决于作用者的行为，还取决于环境中其他参与者的行为。例如，在上面提到的ACC示例中，尽管自主车辆的动态可以是马尔可夫的，但下一个状态可取决于另一车辆的驾驶员的行为，而该行为不一定是马尔可夫的。对这个问题的一个可能的解决方案是使用部分观察到的MDP，其中假设：存在马尔可夫状态，但是可以看到的是根据隐藏状态而分布的观察。
更直接的方法可以考虑MDP的博弈理论概括(例如，随机博弈框架)。事实上，用于MDP的算法可以被推广到多作用者博弈(例如，最小最大-Q学习或纳什-Q学习)。其他方法可包括其他参与者的显式建模以及消除遗憾(vanishing regret)学习算法。在多作用者场景中的学习可能比在单作用者场景中更复杂。
Q函数表示的第二限制可以通过偏离表格场景(tabular setting)而产生。表格场景就是当状态和动作的数量很小之时，因此Q可以表示为|S|个行和|A|个列的表格。然而，如果S和A的自然表示包含欧几里得空间，并且状态和动作空间是离散的，则状态/动作的数量可能在维度上是指数的。在这种情况下，采用表格场景可能并不实际。相反，Q函数可以由来自参数假设类别(例如，某个架构的神经网络)的某个函数来近似。例如，可以使用深Q网络(DQN，deep-Q-network)学习算法。在DQN中，状态空间可以是连续的，而动作空间可以仍然是小的离散集合。可以存在处理连续动作空间的方法，但它们可能依赖于对Q函数近似。在任何情况下，Q函数都可能是复杂的且对噪声敏感，因此可能会对学习带来挑战。
不同的方法可以是使用循环神经网络(RNN，recurrent neural network)来解决RL问题。在某些情况下，RNN可以与多作用者博弈的概念和来自博弈论的对抗环境的稳健性相结合。此外，这种方法可以并不明确依赖任何马尔可夫假设。
以下更详细地描述通过基于预测进行规划来导航的方法。在这种方法中，可以假定状态空间S是的子集，而动作空间A是/>的子集。这在许多应用中可能是一种自然表现。如上所述，RL和SL之间可能存在两个关键区别：(1)因为过去的动作影响未来的奖励，来自未来的信息可能需要传播回过去；(2)奖励的“强盗”本质可能模糊(状态、动作)和奖励之间的依赖性，这会使学习过程复杂化。
作为该方法的第一步，可以观察到存在有趣的问题，其中奖励的强盗本质并不是问题。例如，ACC应用的奖励值(如下面将更详细讨论的)可能相对于当前状态和动作是可微的。事实上，即使奖励是以“强盗”方式给出的，学习可微函数使得/>的问题可以是相对直接的SL问题(例如，一维回归问题)。因此，该方法的第一步可以是将奖励定义为函数/>该函数关于s和a是可微的，或者该方法的第一步可以是使用回归学习算法，以便学习可微函数/>该函数至少使样本上的至少一些回归损失最小化，其中实例向量为/>以及目标标量为rt。在某些情况下，为了创建训练集，可以使用探索的元素。
为了解决过去与未来之间的联系，可以使用类似的想法。例如，假设可以学习一个可微函数使得/>学习这样的函数可以表征为SL问题。/>可以被认为是近未来的预测符。接下来，可以使用参数函数πθ：S→A来描述从S映射到A的策略。将πθ表达为神经网络，可以使得能够使用循环神经网络(RNN)来表达运行作用者达T轮的片段，其中下一个状态被定义为/>此处，/>可由环境所定义，并可表达近未来的不可预测的方面。st+1以可微方式依赖于st和at的事实可以使能未来的奖励值和过去的行为之间的联系。策略函数πθ的参数向量可以通过在所得到的RNN上进行反向传播来学习。请注意，不需要在vt上施加显式概率假设。特别是，不需要对于马尔可夫关系的要求。相反，可依赖循环网络在过去和未来之间传播“足够”的信息。直观地说，/>可以描述近未来的可预测部分，同时vt可以表达由于环境中其他参与者的行为而可能出现的不可预测的方面。学习系统应该学习对其他参与者的行为而言是稳健的策略。如果||vt||很大，过去的动作与未来的奖励值之间的联系可能会过于嘈杂，而无法学习有意义的策略。以透明的方式明确表达系统的动态可以使得更容易地结合先验知识。例如，先验知识可以简化定义/>的问题。
如上所述，学习系统可受益于相对于对抗环境(诸如主车辆的环境)的鲁棒性，所述环境可包括可能以预料外的方式动作的多个其他驾驶员。在不对vt施加概率性假设的模型中，可以考虑其中是以对抗方式来选择vt的环境。在某些情况下，可以对μt施加限制，否则对抗方可能会使规划问题变得困难甚至不可能。一种自然约束可能是要求由常数来限制||μt||。
针对对抗环境的鲁棒性可能在自主驾驶应用中有用。以对抗的方式选择μt甚至可加快学习过程，因为它可以将学习系统专注于稳健的最佳策略。可以用简单的博弈来说明这个概念。状态为动作为/>即时损失函数为0.1|at|+[|st|-2]+，其中[x]+＝max{x，0}为ReLU(修正线性单元)函数。下一个状态为St+1＝st+at+vt，其中vt∈[-0.5，0.5]是对于环境以对抗的方式来选择的。此处，最优策略可以写成带有ReLU的双层网络：at＝[st-1.5]++[-st-1.5]+。观察到，当|st|∈(1.5，2]时，最优动作可能比动作a＝0具有更大的即时损失。因此，系统可以为未来做出规划，并且可以不仅仅依赖于即时损失。观察到，损失关于at的导数为0.1sign(at)，并且关于st的导数是1[|st|＞2]sign(st)。在st∈(1.5，2]的情况下，vt的对抗性选择将会设定vt＝0.5，因此，无论何时at＞1.5-st，在t+1轮可以有非零损失。在这种情况下，损失的导数可以直接向后传播到at。因此，在at的选择是非最优的情况下，vt的对抗性选择可以帮助导航系统获得非零后向传播消息。这种关系可以帮助导航系统基于以下预期来选择当前动作，即：预期这种当前行为(即使该行为会导致非最优奖励甚至损失)将在未来提供导致更高的奖励的更优化的动作的机会。
这种方法可以应用于实际上可能出现的任何导航情况。以下描述适用于一个示例的方法：自适应巡航控制(ACC)。在ACC问题中，主车辆可能试图与前方的目标车辆保持适当的距离(例如，到目标车辆1.5秒)。另一个目标可能是尽可能平稳地驾驶，同时保持期望的间隙。代表这种情况的模型可以如下定义。状态空间为动作空间为/>状态的第一坐标是目标汽车的速度，第二坐标是主车辆的速度，而最后的坐标是主车辆与目标车辆之间的距离(例如，沿道路曲线的主车辆的位置减去目标车辆的位置)。主车辆采取的动作是加速，并可以用at来表示。量τ可以表示连续轮之间的时间差。虽然τ可被设置为任何合适的量，但是在一个示例中，τ可以是0.1秒。位置st可以表示为/>并且目标车辆的(未知)加速度可以表示为/>
系统的完整动态可以通过以下描述来描述：
这可以被描述为两个向量的总和：
第一向量是可预测的部分，而第二向量是不可预测的部分。第t轮的奖励定义如下：
其中/>
第一项可导致对非零加速度的惩罚，因此鼓励平稳驾驶。第二项取决于到目标汽车的距离xt和期望的距离之间的比率，所述期望的距离被定义为1米的距离和1.5秒刹车距离之间的最大值。在某些情况下，这个比率可能恰好为1，但只要该比率在[0.7，1.3]范围内，策略可能会放弃任何处罚，这可能会使主车辆在导航方面有所放松——可能在实现平稳的驾驶方面很重要的特性。
实施以上概述的方法，主车辆的导航系统(例如，通过在导航系统的处理单元110内的驾驶策略模块803的操作)可以响应于观察到的状态来选择动作。所选动作可以基于不仅对与相对于感测到的导航状态可用的响应动作相关联的奖励的分析，而且还可以基于对未来状态、响应于未来状态的潜在动作和与潜在的动作相关联的奖励的考虑和分析。
图16示出了基于检测和长远规划的导航的算法方法。例如，在步骤1601，主车辆的导航系统的至少一个处理设备110可以接收多个图像。这些图像可以捕捉表示主车辆的环境的场景，并且可以由上述任何图像捕捉设备(例如，相机、传感器等)提供。在步骤1603分析这些图像中的一个或多个可以使至少一个处理设备110能够识别与主车辆相关联的当前导航状态(如上所述)。
在步骤1605、1607和1609，可以确定响应于感测到的导航状态的各种潜在的导航动作。这些潜在的导航动作(例如，第一导航动作至第N可用导航动作)可以基于感测到的状态和导航系统的长远目标(例如，完成合并、平稳地跟随前车、超过目标车辆、避开道路中的对象、针对检测到的停车标志而减速、避开切入的目标车辆、或可以推进系统的导航目标的任何其他导航动作)来确定。
对于所确定的潜在导航动作中的每个，系统可以确定预期奖励。预期奖励可以根据上述技术中的任一种来确定，并且可以包括关于一个或多个奖励函数对特定潜在动作的分析。对于在步骤1605、1607和1609中确定的每个潜在导航动作(例如，第一，第二和第N)，可以分别确定预期奖励1606、1608和1610。
在一些情况下，主车辆的导航系统可基于与预期奖励1606、1608和1610(或预期奖励的任何其他类型的指示符)相关联的值，从可用潜在动作中选择。例如，在某些情况下，可以选择产生最高预期奖励的动作。
在其他情况下，尤其是在导航系统进行长远规划以确定主车辆的导航动作的情况下，系统可以不选择产生最高预期奖励的潜在动作。相反，系统可以展望未来以分析，如果响应于当前导航状态选择了较低的奖励动作，是否有机会在之后实现较高奖励。例如，对于在步骤1605、1607和1609处确定的任何或全部潜在动作，可以确定未来状态。在步骤1613、1615和1617确定的每个未来状态可以表示预期基于当前导航状态、由相应潜在动作(例如，在步骤1605、1607和1609确定的潜在动作)修改而得到的未来导航状态。
对于在步骤1613、1615和1617预测的未来状态中的每个，可以确定和评估一个或多个未来动作(作为响应于确定的未来状态而可用的导航选项)。在步骤1619、1621和1623处，例如，可以(例如，基于一个或多个奖励函数)产生与一个或多个未来动作相关联的预期奖励的值或任何其他类型的指示符。可以通过比较与每个未来动作相关联的奖励函数的值或通过比较与预期奖励相关联的任何其他指示符，来评估与一个或多个未来动作相关的预期奖励。
在步骤1625，主车辆的导航系统可基于预期奖励的比较，不仅基于相对于当前导航状态识别的潜在动作(例如，步骤1605、1607和1609中的)，并且还基于作为响应于预测的未来状态可用的潜在未来动作的结果而确定的预期奖励(例如，在步骤1613、1615和1617处确定的)，来选择主车辆的导航动作。在步骤1625处的选择可以基于在步骤1619、1621和1623处执行的选项和奖励分析。
在步骤1625处对导航动作的选择可以仅基于与未来动作选项相关联的预期奖励的比较。在这种情况下，导航系统可以仅基于对从对潜在的未来导航状态的动作得到的预期奖励的比较，来选择对当前状态的动作。例如，系统可以选择在步骤1650、1610和1609处识别的、与通过在步骤1619、1621和1623处的分析确定的最高未来奖励值相关联的潜在动作。
在步骤1625对导航动作的选择还可以仅基于当前动作选项的比较(如上所述)。在这种情况下，导航系统可以选择在步骤1605、1607或1609识别的、与最高预期奖励1606、1608或1610相关联的潜在动作。这种选择可以在很少或不考虑未来导航状态或对响应于预期未来导航状态的可用导航动作的未来预期奖励的情况下执行。
另一方面，在一些情况下，在步骤1625对导航动作的选择可以基于与未来动作选项和当前动作选项两者相关联的预期奖励的比较。事实上，这可能是基于长远规划的导航原理之一。例如，可以分析对未来动作的预期奖励，以确定是否有任何预期奖励可以授权响应于当前导航状态对较低的奖励动作进行的选择，以便响应于后续导航动作实现潜在的较高奖励，该后续导航动作是预期响应于未来导航状态而可用的。作为示例，预期奖励1606的值或其他指示符可以指示在奖励1606、1608和1610当中的最高预期奖励。另一方面，预期奖励1608可以指示在奖励1606、1608和1610当中的最低预期奖励。并非简单地选择在步骤1605确定的潜在动作(即，引起最高预期奖励1606的动作)，可以将未来状态、潜在的未来动作、以及未来奖励的分析用于在步骤1625进行导航动作选择。在一个示例中，可以确定在步骤1621识别的奖励(响应于对步骤1615确定的未来状态的至少一个未来动作，而步骤1615确定的未来状态是基于步骤1607中确定的第二潜在动作的)可以高于预期奖励1606。基于该比较，可以选择在步骤1607确定的第二潜在动作，而不是在步骤1605确定的第一潜在动作，尽管预期奖励1606高于预期奖励1608。在一个示例中，在步骤1605确定的潜在导航动作可以包括在检测到的目标车辆前面的并道，而在步骤1607确定的潜在导航动作可以包括在目标车辆后面的并道。尽管在目标车辆前面并道的预期奖励1606可能高于与在目标车辆后面并道相关联的预期奖励1608，但可以确定在目标车辆后面并道可能导致一未来状态，对于该未来状态可能存在产生比预期奖励1606、1608或基于响应于当前的、感测到的导航状态的可用动作的其他奖励甚至更高的潜在奖励的动作选项。
在步骤1625处从潜在动作之中进行选择可以基于预期奖励的任何合适的比较(或将与一个潜在动作相关联的益处的任何其他度量或指示符彼此比较)。在一些情况下，如上所述，如果预计第二潜在动作要提供与高于与第一潜在动作相关联的奖励的预期奖励相关联的至少一个未来动作，则可以越过第一潜在动作而选择第二潜在动作。在其他情况下，可以采用更复杂的比较。例如，与响应于预计的未来状态的动作选项相关联的奖励可以与与确定的潜在动作相关联的多于一个预期奖励相比较。
在一些情况下，如果至少一个未来动作被预期产生高于预期作为对当前状态的潜在动作的结果的任何奖励(例如，预期奖励1606、1608、1610等)的奖励时，则基于预计的未来状态的动作和预期奖励可以影响对当前状态的潜在动作的选择。在某些情况下，产生最高的预期奖励(例如，从与对感测到的当前状态的潜在动作相关联的预期奖励、以及从与相对于潜在未来导航状态的潜在未来动作选项相关联的预期奖励当中)的未来动作选项可以用作选择对当前导航状态的潜在动作的指导。也就是说，在识别产生最高预期奖励(或者高于预定阈值的奖励等)的未来动作选项之后，在步骤1625可以选择将导致与识别的、产生最高的预期奖励的未来动作相关联的未来状态的潜在动作。
在其他情况下，可以基于预期奖励之间确定的差，来进行可用动作的选择。例如，如果与在步骤1621确定的未来动作相关联的预期奖励与预期奖励1606之间的差大于预期奖励1608与预期奖励1606之间的差(假设正符号的差)，则可以选择在步骤1607确定的第二潜在动作。在另一个示例中，如果与在步骤1621确定的未来动作相关联的预期奖励和与在步骤1619确定的未来动作相关联的预期奖励之间的差大于预期奖励1608与预期奖励1606之间的差，则可以选择在步骤1607确定的第二潜在动作。
已经描述了用于从对当前导航状态的潜在动作当中进行选择的若干示例。然而，可以使用任何其他合适的比较技术或标准，用于通过基于延伸到预计的未来状态的动作和奖励分析的长远规划来选择可用动作。此外，虽然图16表示长远规划分析中的两个层(例如，第一层考虑对当前状态的潜在动作产生的奖励，而第二层考虑响应于预计的未来状态的未来动作选项产生的奖励)，然而，基于更多层的分析可以是能够的。例如，不是将长远规划分析基于一个或两个层，而是可以使用三层、四层或更多层分析来从响应于当前的导航状态的可用潜在动作当中选择。
在从响应于感测到的导航状态的潜在动作当中进行选择之后，在步骤1627，至少一个处理器可以响应于所选择的潜在导航而引起对主车辆的导航致动器的至少一个调节动作。导航致动器可以包括用于控制主车辆的至少一个方面的任何合适的装置。例如，导航致动器可以包括转向机构、制动器或加速器中的至少一个。
基于推断的其他方侵略的导航
可以通过分析获取的图像流来监测目标车辆，以确定驾驶侵略的指示符。本文将侵略描述为定性或定量参数，但可以使用其他特性：注意力的感知等级(驾驶员的潜在损伤、手机造成分心、睡着等)。在一些情况下，目标车辆可以被认为具有防御性姿势，并且在一些情况下，可以确定目标车辆具有更具侵略性姿势。基于侵略指示符可以选择或产生导航动作。例如，在一些情况下，可以跟踪相对于主车辆的相对速度、相对加速度、相对加速度的增加、跟随距离等，以确定目标车辆是侵略性的还是防御性的。例如，如果目标车辆被确定为具有超过阈值的侵略等级，则主车辆可能倾向于让路给目标车辆。还可以基于确定的目标车辆相对于目标车辆的路径中或其附近的一个或多个障碍物(例如，前方车辆、道路上的障碍物、交通灯等)的行为，来辨别目标车辆的侵略等级。
作为对这个概念的介绍，将相对于主车辆并道至环形道来描述示例性实验，其中导航目标是穿过环形道并从环形道出去。该情况可以以主车辆接近环形道的入口开始，并且可以以主车辆到达环形道的出口(例如，第二出口)结束。可以基于主车辆是否始终与所有其他车辆保持安全距离、主车辆是否尽快完成路线、以及主车辆是否遵循平稳的加速策略来衡量成功。在这个示例中，NT个目标车辆可以随机置于环形道上。为了对对抗和典型行为的混合进行建模，在概率p下，目标车辆可以通过“侵略性”驾驶策略来建模，使得侵略性的目标车辆在主车辆试图在目标车辆前方并道时加速。在概率1-p下，目标车辆可以通过“防御性”驾驶策略来建模，使得目标车辆减速并让主车辆并道。在该实验中，p＝0.5，并且可以不为主车辆的导航系统提供关于其他驾驶员的类型的信息。可以在片段开始时随机选择其他驾驶员的类型。
导航状态可以表示为主车辆(作用者)的速度和位置、以及目标车辆的位置、速度和加速度。保持目标加速度观察可能很重要，以便基于当前状态区分侵略性和防御性的驾驶员。所有目标车辆都可能沿着环形路径为轮廓的一维曲线移动。主车辆可以在其自身的一维曲线移动，该曲线在并道点处与目标车辆的曲线相交，并且该点是两条曲线的起点。为了对合理驾驶进行建模，所有车辆的加速度的绝对值可以以常数为界限。因为不允许倒退驾驶，速度也可以通过ReLU传递。注意，通过不允许倒退驾驶，因此长远规划可以成为必要的，因为作用者不会对其过去的行为后悔。
如上所述，下一状态st+1可被分解为可预测部分和不可预测部分vt的总和。表达式/>可以表示车辆位置和速度的动态(可以以可微分的方式良好地定义)，同时νt可以表示目标车辆的加速度。可以验证，/>可以表示为ReLU函数在仿射变换上的组合，因此其相对于st和at是可微的。该向量νt可以由模拟器以不可微的方式来定义，并且可以对一些目标实施侵略性行为并对其他目标实施防御性行为。在图17A和17B中示出了来自这种模拟器的两个帧。在这个示例性实验中，主车辆1701学习到在它接近环形道的入口时减速。它还学习到为侵略性车辆(例如，车辆1703和1705)让路，并且在防御性车辆(例如，车辆1706、1708和1710)前方并道时安全地继续行驶。在由图17A和17B表示的示例中，没有为主车辆1701的导航系统提供目标车辆的类型。而是，通过基于观察到的(例如，目标车辆的)位置和加速度的推断，来确定特定车辆是否被确定为侵略性或防御性的。在图17A中，基于位置、速度和/或相对加速度，主车辆1701可以确定车辆1703具有侵略性的倾向，并且因此主车辆1701可以停下并等待目标车辆1703通过而不是尝试在目标车辆1703的前方并道。然而，在图17B中，目标车辆1701辨识出在车辆1703后面行驶的目标车辆1710展现出防御性的倾向(同样基于观察到的车辆1710的位置、速度和/或相对加速度)，因此完成了在目标车辆1710前方以及目标车辆1703后方的成功并道。
图18提供了表示用于基于预测的其他车辆的侵略来导航主车辆的示例性算法的流程图。在图18的示例中，可以基于相对于目标车辆的环境中的对象所观察到目标车辆的行为，来推断与至少一个目标车辆相关联的侵略等级。例如，在步骤1801，主车辆导航系统的至少一个处理设备(例如，处理设备110)可以从与主车辆相关联的相机接收表示主车辆的环境的多个图像。在步骤1803，对一个或多个所接收的图像的分析可以使至少一个处理器能够识别主车辆1701的环境中的目标车辆(例如，车辆1703)。在步骤1805，对一个或多个所接收的图像的分析可以使至少一个处理设备能够在主车辆的环境中识别目标车辆的至少一个障碍物。所述对象可以包括道路中的碎片、停车灯/交通灯、行人、另一车辆(例如，在目标车辆前方行驶的车辆、停放的车辆等)、道路中的箱子、路障、路缘或可能在主车辆的环境中遇到的任何其他类型的对象。在步骤1807，对一个或多个接收的图像的分析可以使至少一个处理设备能够确定目标车辆相对于目标车辆的至少一个识别的障碍物的至少一个导航特性。
可以使用各种导航特性来推断检测到的目标车辆的侵略等级，以便产生对目标车辆的适当的导航响应。例如，这种导航特性可以包括目标车辆与至少一个识别的障碍物之间的相对加速度、目标车辆距障碍物的距离(例如，目标车辆在另一车辆后面的跟随距离)、和/或目标车辆与障碍物之间的相对速度等。
在一些实施例中，可以基于来自与主车辆相关联的传感器(例如雷达、速度传感器、GPS等)的输出来确定目标车辆的导航特性。然而，在一些情况下，可以部分地或完全地基于对主车辆的环境的图像的分析来确定目标车辆的导航特性。例如，上文所述和在例如通过引用合并如此处的美国专利号9,168,868中描述的图像分析技术可以用于识别主车辆的环境内的目标车辆。并且，随着时间的推移监测目标车辆在捕捉图像中的位置和/或监测与目标车辆相关联的一个或多个特征(例如，尾灯、头灯、保险杠、车轮等)在捕捉图像中的位置，可以使得能够确定目标车辆与主车辆之间或者目标车辆与主车辆的环境中的一个或多个其它对象之间的相对距离、速度和/或加速度。
可以从目标车辆的任何合适的观察到的导航特性或观察到的导航特性的任何组合中推断所识别的目标车辆的侵略等级。例如，可以基于任何观察到的特性和一个或多个预定阈值等级或任何其他合适的定性或定量分析，作出对侵略性的确定。在一些实施例中，如果目标车辆被观察到以小于预定侵略性距离阈值的距离跟随主车辆或另一车辆，则目标车辆可被认为是侵略性的。另一方面，被观察到以大于预定防御性距离阈值的距离跟随主车辆或另一车辆的目标车辆可被认为是防御性的。预定侵略性距离阈值不需要与预定防御性距离阈值相同。另外，预定侵略性距离阈值和预定防御性距离阈值中的任一个或两者可以包括值的范围，而不是分界值(bright line value)。此外，预定侵略性距离阈值和预定防御性距离阈值都不必被固定。相反，这些值或值的范围可以随时间而改变，并且可以基于观察到的目标车辆的特性来应用不同的阈值/阈值的范围。例如，所应用的阈值可以取决于目标车辆的一个或多个其他特性。较高的所观察到的相对速度和/或加速度可以授权应用较大的阈值/范围。相反，较低的相对速度和/或加速度(包括零相对速度和/或加速度)可以授权在进行侵略性/防御性推断时应用较小的距离阈值/范围。
侵略性/防御性推断也可以基于相对速度和/或相对加速度阈值。如果观察到的目标车辆相对于另一车辆的相对速度和/或相对加速度超过预定等级或范围，则该目标车辆可被认为是侵略性的。如果观察到的目标车辆相对于另一车辆的相对速度和/或相对加速度低于预定水平或范围，则该目标车辆可被认为是防御性的。
尽管可以仅基于任何观察到的导航特性来进行侵略性/防御性确定，但该确定还可以取决于观察到的特性的任何组合。例如，如上所述，在一些情况下，目标车辆可以仅基于观察到其正在以某个阈值或范围以下的距离跟随另一车辆而被认为是侵略性的。然而，在其他情况下，如果目标车辆以小于预定量(其可以与仅基于距离进行确定时应用的阈值相同或不同)并且具有大于预定量或范围的相对速度和/或相对加速度跟随另一车辆，则该目标车辆可以被认为是侵略性的。类似地，目标车辆可以仅基于观察到其正在以大于某个阈值或范围的距离跟随另一车辆而被认为是防御性的。然而，在其他情况下，如果目标车辆以大于预定量(其可以与仅基于距离进行确定时应用的阈值相同或不同)并且具有小于预定量或范围的相对速度和/或相对加速度跟随另一车辆，则该目标车辆可以被认为是防御性的。如果例如车辆超过0.5G加速度或减速度(例如，5m/s3觉克(jerk))、车辆在车道变换或曲线上具有0.5G的横向加速度、一车辆导致另一车辆进行上述任何一项、车辆改变车道并导致另一车辆以0.3G减速度或3米/秒觉克以上进行让路、和/或车辆在不停的情况下改变两条车道，则系统100可以得出侵略性/防御性。
应该理解的是，对超过一范围的量的引用可以指示该量超过与该范围相关联的所有值或落入该范围内。类似地，对低于一范围的量的引用可以指示该量低于与该范围相关的所有值或落入该范围内。另外，尽管相对于距离、相对加速度和相对速度描述了用于进行侵略性/防御性推断的示例，但是可以使用任何其他合适的量。例如，可以使用对要发生碰撞的时间的计算、或者目标车辆的距离、加速度和/或速度的任何间接指示符。还应该注意的是，尽管上述示例关注于相对于其他车辆的目标车辆，但是可以通过观察目标车辆相对于任何其他类型的障碍物(例如，行人、路障、交通灯、碎片等)的导航特性来进行侵略性/防御性推断。
回到图17A和17B所示的示例，当主车辆1701接近环形道时，导航系统(包括它的至少一个处理设备)可以接收来自与主车辆相关联的相机的图像流。基于对一个或多个接收的图像的分析，可以识别目标车辆1703、1705、1706、1708和1710中的任何一个。此外，导航系统可以分析一个或多个识别的目标车辆的导航特性。导航系统可以辨识到目标车辆1703与1705之间的间隙表示潜在并道至环形道的第一机会。导航系统可以分析目标车辆1703以确定与目标车辆1703相关联的侵略指示符。如果目标车辆1703被认为是侵略性的，则主车辆导航系统可以选择为车辆1703让路而不是在车辆1703前方并道。另一方面，如果目标车辆1703被认为是防御性的，则主车辆导航系统可以尝试在车辆1703前完成并道动作。
当主车辆1701接近环形道时，导航系统的至少一个处理设备可以分析所捕捉的图像以确定与目标车辆1703相关联的导航特性。例如，基于图像，其可以确定车辆1703以一距离跟随车辆1705，该距离为主车辆1701安全进入提供足够的间隙。事实上，可以确定车辆1703以超过侵略性距离阈值的距离跟随车辆1705，并且因此基于该信息，主车辆导航系统可以倾向于将目标车辆1703识别为防御性的。然而，在一些情况下，如上所述，可以在进行侵略性/防御性确定时，分析目标车辆的多于一个的导航特性。进一步分析，主车辆导航系统可以确定，当目标车辆1703以非侵略距离在目标车辆1705后面跟随时，车辆1703相对于车辆1705具有超过与侵略性行为相关联的一个或多个阈值的相对速度和/或相对加速度。实际上，主车辆1701可以确定目标车辆1703相对于车辆1705正在加速，并且靠近存在于车辆1703与1705之间的间隙。基于对相对速度、加速度和距离(以及甚至是车辆1703与1705之间的间隙正在靠近的速率)的进一步分析，主车辆1701可以确定目标车辆1703正在侵略性地表现行为。因此，虽然可能存在主车辆可以安全地导航进入的足够间隙，但主车辆1701可以预期在目标车辆1703前方的并道将导致在主车辆紧后面的侵略性地导航的车辆。此外，基于通过图像分析或其他传感器输出观察到的行为，目标车辆1703可以被预期为：如果主车辆1701要在车辆1703的前方并道，则目标车辆1703将继续加速朝向主车辆1701或者以非零相对速度继续朝向主车辆1701行驶。从安全角度来看，这种情况可能是不希望的，并且也可能导致主车辆的乘客不适。出于这种原因，如图17B所示，主车辆1701可以选择为车辆1703让路，并且在车辆1703后面并且在车辆1710的前方并道至环形道，该车辆1710基于对其一个或多个导航特性的分析而被视为是防御性的。
回到图18，在步骤1809，主车辆的导航系统的至少一个处理设备可以基于识别的目标车辆相对于识别的障碍物的至少一个导航特性，来确定主车辆的导航动作(例如，在车辆1710的前方和车辆1703的后方并道)。为了实施该导航动作(在步骤1811)，至少一个处理设备可以响应于所确定的导航动作引起对主车辆的导航致动器的至少一个调节。例如，可以应用制动器以便让路给图17A中的车辆1703，并且加速器可以与主车辆的车轮的转向一起应用以便使主车辆在车辆1703后面进入环形道，如图17B所示。
如以上示例中所述，主车辆的导航可以基于目标车辆相对于另一车辆或对象的导航特性。另外，主车辆的导航可以仅基于目标车辆的导航特性而不特别参考另一车辆或对象。例如，在图18的步骤1807处，对从主车辆的环境捕捉的多个图像的分析可以使得能够确定识别的目标车辆的至少一个导航特性，该导航特性指示与目标车辆相关联的侵略等级。导航特性可以包括速度、加速度等，其不需要相对于另一对象或目标车辆进行参考，以便进行侵略性/防御性的确定。例如，观察到的与目标车辆相关联的超过预定阈值或落入或超过数值范围的加速度和/或速度可以指示侵略性行为。相反，观察到的与目标车辆相关联的低于预定阈值或落入或超过数值范围的加速度和/或速度可以指示防御性行为。
当然，在一些情况下，为了进行侵略性/防御性的确定，可以相对于主车辆来参考所观察到的导航特性(例如，位置、距离、加速度等)。例如，观察到的目标车辆的指示与目标车辆相关联的侵略等级的导航特性可以包括目标车辆与主车辆之间的相对加速度的增加、主车辆后方目标车辆的跟随距离、目标车辆与主车辆之间的相对速度等。
交替并道区的导航
在一些实施例中，主车辆的导航系统可以分析图像流以确定何时存在交替并道情况(例如，当两条车道由于变窄的道路或施工，在交通转盘、并道区等处会聚时)。与现存系统不同，这可以允许主车辆安全地并道而不需要人工干预。
在这样的实施例中，导航系统可以跟踪并道交通流中的车辆应当前进的顺序。因此，主车辆可以在前方拉开间隙，以允许来自另一车道的车辆前进到主车辆前方。假设主车辆将跟随被允许进入主车辆前方拉开的间隙，主车辆也可以继续向前挪动。在另一示例中，假设主车辆将填充前方的间隙，主车辆可以检测前方的间隙并继续向前挪动。
图19是被配置为存储用于在交替并道区导航的指令的存储器1900的框图。尽管在图19中被描绘为单个存储器，但是存储器1900可以包括一个或多个非易失性存储器(例如，硬盘驱动器、闪存等)和/或易失性存储器(例如，RAM等)。在一些实施例中，存储器1900可以包括在系统100中。例如，存储器1900可以至少部分地包括一个或多个存储器单元140、150的一部分。
如图19所示，存储器1900可以包括图像接收模块1902。图像接收模块1902可以从相机接收表示主车辆环境的多个图像。无论是直接从相机还是从连接到(一个或多个)网络的一个或多个存储器，多个图像可以直接从相机接收(例如，使用一条或多条总线)、从存储来自相机的图像的一个或多个存储器检索、和/或通过一个或多个计算机网络接收。
在一些实施例中，模块1902可以从主车辆中的其他传感器接收替代或附加信息。例如，模块1902可以从速度计、GPS、加速度计、雷达、激光雷达、悬架传感器等中的至少一个接收信息。
如图19中进一步描绘的，存储器1900可以包括流识别模块1904。流识别模块1904可以分析经由图像接收模块1902接收的多个图像，以识别第一交通流和第二交通流。例如，流识别模块1904可以应用一个或多个图像分类器(可选地为级联分类器)来识别多个图像中的交通流。图像分类器可以例如除了识别车辆的运动方向之外还识别车辆，以导出交通流。附加地或替代地，图像分类器可以识别一个或多个道路标记(例如，虚线、实线、混凝土障碍等)作为交通流的边界。除了或代替一个或多个分类器，流识别模块1904可以确定多个图像的时间序列内的光流，并基于此确定流。例如，光流可以用于识别在轨迹上移动的一个或多个车辆，然后该轨迹被用于确定交通流。
一个或多个神经网络可以与上述任何技术结合使用或代替上述任何技术使用。例如，一个或多个神经网络可以使用具有相关联的交通流并最小化与其相关联的损失函数的图像训练集来训练。一个或多个神经网络可以继续使用真实数据来训练。例如，可以接收来自人类驾驶员的反馈，并将其结合到一个或多个神经网络中，以提高准确度。在一些实施例中，训练和/或反馈合并可以远离主车辆(例如，在一个或多个远程服务器上)执行。因此，一个或多个神经网络(以及对其的更新)可以从一个或多个远程服务器发送到主车辆。替代地，主车辆可以向一个或多个远程服务器发送图像，用于在一个或多个神经网络上进行处理。
在一些实施例中，第二交通流可以包括主车辆。在这样的实施例中，流识别模块1904可以至少部分地基于角度来识别第二流和/或第一流。例如，第二流可被识别为主车辆前方角度最接近0°的交通流，并且第一流可被识别为主车辆前方成锐角的交通流。在使用光流的实施例中，流识别模块1904可以通过使用环境的光流来识别第二流，以确定主车辆正在其中行驶的交通流。附加地或替代地，流识别模块1904可以基于主车辆的历史轨迹和/或主车辆的预测轨迹来识别第二流(可选地，除了多个图像之外，还利用来自诸如速度计之类的一个或多个传感器的反馈)。
在除相机之外或代替相机使用激光雷达和/或雷达的实施例中，流识别模块1904可以分析来自激光雷达和/或雷达的输出，以确定第一流和第二流。例如，激光雷达和/或雷达可以输出所识别的对象(诸如其他车辆和/或道路标记)的位置的指示符。基于这些位置，可以确定第一流和第二流。附加地或替代地，可以使用来自激光雷达和/或雷达的输出的时间序列来确定光流。例如，光流可以用于识别在轨迹上移动的一个或多个车辆，然后该轨迹被用于确定交通流。
如图19中所描绘的，存储器1900可以还包括导航状态模块1906。导航状态模块1906确定车辆环境中指示第一交通流和第二交通流交替并入合并车道的至少一个导航状态特性的存在。例如，导航状态特性可以包括感测到的交通转盘、感测到的车道终点、交通拥堵和至少一个车道并道条件等。
导航状态模块1906可以使用多个图像来确定至少一个导航状态特性。例如，导航状态模块1906可以使用一个或多个图像分类器来识别指示合并车道的道路标记、标志和/或施工障碍(诸如锥体、桶、箭头板等)。在另一示例中，导航状态模块1906可以使用一个或多个图像分类器来识别道路边界(例如，路缘、混凝土障碍等)并且基于由所识别的边界形成的形状，确定交通转盘的存在。类似地，导航状态模块1906可以使用一个或多个图像分类器来识别道路边界(例如，路缘、混凝土障碍等)和道路标志；基于由所识别的边界形成的形状和道路标志的缺乏，导航状态模块1906可以确定不受控制的交叉口的存在。一个或多个神经网络可以与上述任何技术结合使用或代替上述任何技术使用。
另外，在一些实施例中，导航状态模块1906可以识别第一交通流中的间隙。例如，导航状态模块1906可以使用一个或多个图像分类器来识别第一交通流内的车辆以及所识别的车辆之间的间隙。附加地或替代地，导航状态模块1906可以识别第一交通流中的车辆类型，并基于车辆的一个或多个所识别的部分以及关于所识别的类型的已知信息来确定间隙。例如，导航状态模块1906可以识别本田CR-V的前灯，识别本田CR-V前方的雪佛兰Malibu的前灯，并且基于雪佛兰Malibu的已知长度，确定雪佛兰Malibu和本田CR-V之间的间隙。一个或多个神经网络可以与上述任何技术结合使用或代替上述任何技术使用。
最后，存储器1900可以包括导航改变模块1908。导航改变模块1908可以引起主车辆的至少第一导航改变，以允许来自第一交通流的一个目标车辆前进到主车辆前方。例如，第一导航改变可以包括减慢主车辆或者可以包括减慢主车辆以允许在第二交通流中在主车辆与主车辆前方的车辆后面之间拉开间隙。替代地，导航改变模块1908可以引起主车辆的至少第一导航改变，以朝向来自第一交通流的一个目标车辆前方的间隙前进。例如，第一导航改变可以包括主车辆的加速以朝向间隙前进。
此外，导航改变模块1908可以引起主车辆的至少第二导航改变，以使得主车辆跟随目标车辆在来自第一交通流的第二目标车辆的前方进入合并车道。例如，第二导航改变可以例如包括主车辆的加速以跟随目标车辆。替代地，导航改变模块1908可以引起主车辆的至少第二导航改变，以使得主车辆跟随目标车辆前方的第二目标车辆进入合并车道。例如，第一导航改变可以包括减慢主车辆以避免在移动到目标车辆前方的合并地面期间或之后与第二目标车辆碰撞。
在主车辆在第二目标车辆的前方跟随目标车辆进入合并车道的实施例中，导航状态模块1906和/或导航改变模块1908可以进一步监测第二目标车辆，以获得第二目标车辆正在拉开间隙以允许主车辆跟随第一目标车辆的指示。替代地，在主车辆跟随目标车辆前方的第二目标车辆进入合并车道的实施例中，导航状态模块1906和/或导航改变模块1908可以进一步监测第一目标车辆以获得检测到的第一目标车辆允许主车辆进入第二目标车辆后方的间隙的指示。可以从多个图像中确定上述指示中的任何一个。例如，可以分析多个图像(例如，使用一个或多个分类器、光流分析、一个或多个神经网络或其任意组合)，以确定第二目标车辆是否正在减速(即，正在拉开间隙)或者第一目标车辆是否正在减速(即，允许主车辆进入检测到的间隙)。
图20A是基于感测到的车道终点来进行导航的主车辆2020的示意图。在图20A的示例中，主车辆2020可以识别第一交通流和第二交通流并道2030进合并车道并道。此外，在图20A的示例中，主车辆2020可以减速以允许来自第一交通流的目标车辆2010前进到主车辆2020前方。尽管在图20A中未示出，但是主车辆2020然后可以加速以在目标车辆2010后面的另一目标车辆(未示出)的前方跟随目标车辆2010。主车辆2020可以包括上述存储器1900，并使用其中的模块来执行图20A中描绘的决策。附加地或替代地，主车辆2020可以执行下面描述的方法2100，以执行图20A中描绘的决策。
图20B是主车辆2020基于感测到的车道终点来进行导航的另一示意图。在图20B的示例中，主车辆2020可以识别第一交通流和第二交通流并道2030进合并车道并道。此外，在图20B的示例中，主车辆2020可以朝向所识别的来自第一交通流的目标车辆2010前方的间隙加速。尽管在图20B中未描绘，但是主车辆2020然后可以减速以跟随在所识别的间隙前方的另一目标车辆(未示出)。
图20C是基于感测到的交通转盘来进行导航的主车辆2060的示意图。在图20C的示例中，主车辆2060可以识别即将到来的交通转盘。此外，在图20C的示例中，主车辆2060可以朝向所识别的第一交通流中的目标车辆2040和目标车辆2050之间的间隙加速。
图20D是基于感测到的交通转盘来进行导航的主车辆2060的另一示意图。在图20D的示例中，主车辆2060可以识别出它在交通转盘内。此外，在图20D的示例中，主车辆2060可以减速以允许来自第一交通流的目标车辆2050前进到主车辆2060的前方。尽管在图20D中未描绘，但是主车辆2060然后可以加速以跟随目标车辆2050。
主车辆2060可以包括上述存储器1900，并使用其中的模块来执行图20A-20D中描绘的决策。附加地或替代地，主车辆2060可以执行下面描述的方法2100，以执行图20A-20D中描绘的决策。
图21描绘了用于在交替并道区中导航主车辆的方法2100的流程图。方法2100可以例如由主车辆的至少一个处理设备(例如，处理设备110)来实施。
在步骤2110，处理设备110可以从相机接收表示主车辆环境的多个图像。例如，相机可以是图像捕捉设备122、图像捕捉设备124和图像捕捉设备126中的至少一个。可以从不同的角度(例如，使用不同的相机)和/或在不同的时间捕捉多个图像。在一个特定示例中，多个图像可以表示多个帧时间序列，每个序列覆盖相同的时间段，但是以唯一(unique)的角度。
在一些实施例中，处理设备110可以从主车辆中的其他传感器接收附加信息。例如，处理设备110可以从速度计、GPS、加速度计、雷达、激光雷达、悬架传感器等接收信息。
在步骤2120，处理设备110可以分析多个图像以识别第一交通流和第二交通流。例如，处理设备110可以应用一个或多个图像分类器和/或级联分类器来识别交通流。图像分类器可以例如识别多个图像中的一个或多个图像中的车辆。另外，图像分类器可以跨多个图像的时间序列识别所识别的车辆的运动方向。所识别的车辆和运动方向可用于导出第一交通流和第二交通流。
附加地或替代地，图像分类器可以识别一个或多个道路标记，诸如黄色虚线、白色虚线、白色实线、黄色双实线、混凝土障碍、护栏等。所识别的道路标记可以是第一交通流和第二交通流的边界。在将所识别的车辆与所识别的道路标记相结合的实施例中，处理设备110可以使用所识别的车辆来识别第一交通流和第二交通流，然后使用相应的车道标记来描绘已经识别到的第一交通流和第二交通流的边界。
除了使用图像分类器之外或代替使用图像分类器，处理设备110可以确定多个图像内的光流，并基于此确定第一交通流和第二交通流。例如，可以基于在轨迹上移动的一个或多个车辆来识别光流。在将光流与所识别的道路标记相结合的实施例中，处理设备110可以使用光流来识别第一交通流和第二交通流，然后使用相应的车道标记来描绘已经识别到的第一交通流和第二交通流的边界。一个或多个神经网络可以与上述任何技术结合使用或代替上述任何技术使用。
在一些实施例中，第二交通流可以包括主车辆。因此，处理设备110可以至少部分地基于角度来识别第二交通流(和/或第一交通流)。例如，处理设备110可以将第二交通流识别为主车辆前方角度最接近0°的交通流。另一方面，处理设备110可以将第一交通流识别为主车辆前方成锐角的交通流。在处理设备110使用光流的实施例中，处理设备110可以使用环境的光流来识别第二交通流，以确定主车辆正在行驶的交通流。附加地或替代地，处理设备110可以基于主车辆的历史轨迹(例如，从主车辆的GPS接收)和/或主车辆的预测轨迹(例如，基于从转向传感器、速度计、加速度计或其任意组合接收的信息)来识别第二交通流。
在步骤2130，处理设备110可以确定车辆环境中指示第一交通流和第二交通流交替并入合并车道的至少一个导航状态特性的存在。例如，处理设备110可以使用一个或多个图像分类器来识别至少一个导航状态特性。在一个特定示例中，一个或多个分类器可以识别指示合并车道的道路标记，诸如终止实线或虚线、变窄车道等。附加地或替代地，一个或多个分类器可以识别指示合并车道的标志，诸如让路标志、并道标志、车道结束标志、交通不停止标志、进入车行道并道标志等。附加地或替代地，一个或多个分类器可以识别指示合并车道的施工障碍，诸如锥体、桶、箭头板等。
在另一示例中，处理设备110可以使用一个或多个图像分类器来识别道路边界(例如，路缘、混凝土障碍等)并且，基于由所识别的边界形成的形状，确定交通转盘的存在。类似地，处理设备110可以使用一个或多个图像分类器来识别道路边界(例如，路缘、混凝土障碍等)和道路标志；基于由所识别的边界形成的形状和道路标志的缺乏，处理设备110可以确定不受控制的交叉口的存在。
在任一上述示例中，处理设备110可以进一步确定并道交通流中的车辆应当前进的顺序。例如，基于识别车辆及其运动的一个或多个图像分类器和/或基于所识别的车辆的一个或多个光流，处理设备110可以确定第一交通流或第二交通流是否必须让路或停止，或者第一交通流和第二交通流是否表示交替并道情况。在一个特定示例中，当出现让路标志时和/或当一个交通流减速而另一个交通流没有减速时，处理设备110可以确定第一交通流(或第二交通流)必须让路，或者当出现停车标志时和/或当一个交通流停止而另一个交通流没有停止时，处理设备110可以确定第一交通流(或第二交通流)必须停止。在类似的示例中，如果两个交通流响应于彼此而减速和/或停止，和/或如果第一交通流和第二交通流以近似交替的节奏进入合并车道，则处理设备110可以确定存在交替并道情况。(如本文所用，“近似”可以指具有一个或多个异常值的一般模式；例如，来自第一交通流的两个车辆和来自第二交通流的两个车辆可以交替，随后出现来自第一交通流的两个车辆都进入合并车道的异常值。)一个或多个神经网络可以与上述任何技术结合使用或代替上述任何技术使用。
另外，在一些实施例中，处理设备110可以识别第一交通流中的间隙。例如，处理设备110可以使用一个或多个图像分类器来识别第一流内的车辆以及所识别的车辆之间的间隙。附加地或替代地，处理设备110可以识别第一交通流中的车辆类型，并基于车辆的一个或多个所识别的部分以及关于所识别的类型的已知信息来确定间隙。已知信息可以存储在一个或多个存储器中。例如，已知信息可以包括在数据库中按车辆的年份、品牌和/或型号索引的车辆类型的尺寸(诸如长度或宽度)。因此，处理设备可以识别2010款通用Sierra1500前面的2000款林肯LS，然后基于所识别的前灯和从数据库提取的2000款林肯LS的长度和/或基于所识别的尾灯和从数据库提取的2010款通用Sierra 1500的长度来识别二者之间的间隙。一个或多个神经网络可以与上述任何技术结合使用或代替上述任何技术使用。
在步骤2140，处理设备110可以引起主车辆的至少第一导航改变，以允许来自第一交通流的一个目标车辆前进到主车辆的前方。例如，第一导航改变可以包括减慢主车辆或者可以包括减慢主车辆以允许在第二交通流中在主车辆与主车辆前方的车辆后面之间拉开间隙。
在处理设备110识别第一交通流中的间隙的实施例中，处理设备110可以引起主车辆的至少第一导航改变，以朝向来自第一交通流的一个目标车辆前方的所识别的间隙前进。例如，第一导航改变可以包括主车辆的加速以朝向间隙前进。
在步骤2150，处理设备110可以引起主车辆的至少第二导航改变，以使得主车辆跟随目标车辆在来自第一交通流的第二目标车辆的前方进入合并车道。例如，第二导航改变可以例如包括主车辆的加速以跟随目标车辆。
在处理设备110识别第一交通流中的间隙的实施例中，处理设备110可以引起主车辆的至少第二导航改变，以使得主车辆跟随目标车辆前方的第二目标车辆进入合并车道。例如，第一导航改变可以包括减慢主车辆以避免在移动到目标车辆前方的合并地面期间或之后与第二目标车辆碰撞。
方法2100可以包括附加步骤。例如，方法2100可以包括监测第二目标车辆，以获得第二目标车辆正在拉开间隙以允许主车辆跟随第一目标车辆的指示。例如，处理设备110可以接收更新的多个图像，这些图像可以被分析(例如，使用一个或多个分类器、光流分析、一个或多个神经网络或其任意组合)以确定第二目标车辆是否正在减速(即，拉开间隙)。
在处理设备110引起主车辆的至少第一导航改变，以朝向来自第一交通流的一个目标车辆前方的所识别的间隙前进的实施例中，处理设备2100可以进一步监测第一目标车辆以获得第一目标车辆允许主车辆进入第二目标车辆后面的检测到的间隙的指示。例如，处理设备110可以接收更新的多个图像，这些图像可以被分析(例如，使用一个或多个分类器、光流分析、一个或多个神经网络或其任意组合)以确定第一目标车辆是保持恒定速率还是正在减速(即，允许主车辆进入检测到的间隙)。
在存在紧急车辆的情况下进行导航
在一些实施例中，主车辆的导航系统可以分析图像流以及来自一个或多个其他传感器的输入，以确定何时存在紧急车辆(例如，处于紧急模式)。与现存系统不同，这可以允许主车辆在紧急情况下保持安全而不依赖人工干预。
在一些实施例中，导航系统可以在从相机接收的一个或多个图像中识别紧急车辆(例如，基于检测到的闪光灯的存在、紧急车辆的确定颜色、紧急车辆上的一个或多个检测到的标记、紧急车辆上的一个或多个识别出的徽标和/或文本等)。附加地或替代地，导航系统可以通过使用(可选地，定向的)麦克风检测声音(例如，警报)来识别紧急车辆。
图22是被配置为存储用于在存在紧急车辆的情况下进行导航的指令的存储器2200的框图。尽管在图22中被描绘为单个存储器，但是存储器2200可以包括一个或多个非易失性存储器(例如，硬盘驱动器、闪存等)和/或易失性存储器(例如，RAM等)。在一些实施例中，存储器2200可以包括在系统100中。例如，存储器2200可以至少部分地包括一个或多个存储器单元140、150的一部分。
如图22所描绘的，存储器2200可以包括图像接收模块2202。图像接收模块2202可以从与主车辆相关联的相机接收主车辆环境中存在紧急车辆的指示。无论是直接从相机还是从连接到(一个或多个)网络的一个或多个存储器，多个图像可以直接从相机接收(例如，使用一条或多条总线)、从存储来自相机的图像的一个或多个存储器检索、和/或通过一个或多个计算机网络接收。
附加地或替代地，模块2202可以从与主车辆相关联的至少一个传感器接收指示。例如，除了相机之外或者代替相机，模块2202可以从(可选地，定向的)麦克风接收指示。在另一示例中，模块2202可以从速度计、GPS、加速度计、雷达、激光雷达、悬架传感器等中的至少一个接收信息。附加地或替代地，模块2202可以接收从紧急车辆广播的信号(诸如射频信号)。
如图22中进一步描绘的，存储器2200可以包括紧急车辆模块2204。紧急车辆模块2204可以使用来自模块2202的指示来检测紧急车辆的存在。附加地或替代地，紧急车辆模块2204可以使用来自灯和/或警报检测模块2206的一个或多个检测来确认紧急车辆的存在。
如图22所描绘的，存储器2200还可以包括灯和/或警报检测模块2206。在一个示例中，模块2206可以检测由图像接收模块2202接收的图像流中的闪光灯。附加地或替代地，模块2206可以在由图像接收模块2202接收的至少一个图像中检测与车辆相关联的紧急灯。附加地或替代地，模块2206可以在由图像接收模块2202接收的至少一个图像中检测车辆上的徽标和/或文本，该徽标或文本与所识别的紧急车辆相关联。附加地或替代地，模块2206可以在由图像接收模块2202接收的至少一个图像中检测车辆上的颜色或标记，该颜色或标记与所识别的紧急车辆相关联。在这些示例中，模块2206可以进一步检测与紧急车辆相关联的至少一个有源灯(例如，在图像流中和/或在至少一个图像中)，或者检测与紧急车辆相关联的警报(例如，使用麦克风)。
在模块2202从麦克风接收音频的实施例中，模块2206可以附加地或替代地检测警报。此外，在麦克风是定向麦克风的实施例中，模块2206还可以确定警报在主车辆前面、在主车辆侧面或在主车辆后面。
最后，存储器2200可以包括导航改变模块2208。导航改变模块2208可以响应于主车辆环境中存在紧急车辆的指示，引起主车辆的至少一个导航改变。例如，至少一个导航改变可以包括减慢主车辆、将主车辆移动到路边、将主车辆移动到不同的行驶车道或其任意组合。
图23是基于紧急车辆2310的存在进行导航的主车辆2320的示意图。在图23的示例中，紧急车辆2310具有与作为紧急车辆相关联的灯。此外，在图23的示例中，紧急车辆2310具有与作为紧急车辆相关联的闪光灯。尽管在图23中未描绘，但是紧急车辆2310存在的附加或替代指示符可以由主车辆2320检测，诸如检测一个或多个徽标、文本、一种或多种颜色、一个或多个标记或其任意组合和/或检测警报。在图像中检测到文本的实施例中，主车辆2320的至少一个处理设备可以对文本执行光学字符识别(Optical CharacterRecognition，OCR)，以便将所识别的文本与关联于紧急车辆的已知文本图案进行比较。
在图23的示例中，主车辆2320响应于紧急车辆2310的存在而移动到另一行驶车道。尽管在图23中未描绘，但是可以引起附加的或替代的导航改变，诸如将主车辆2320移动到路边、减慢主车辆2320等。主车辆2320可以包括上述存储器2200，并使用其中的模块来执行图23中描绘的决策。附加地或替代地，主车辆2320可以执行下面描述的方法2400，以执行图23中描绘的决策。
图24描绘了用于在存在紧急车辆的情况下导航车辆的方法2400的流程图。方法2400可以例如由主车辆的至少一个处理设备(例如，处理设备110)来实施。
在步骤2410，处理设备110可以从与主车辆相关联的至少一个传感器接收主车辆环境中存在紧急车辆的指示。例如，至少一个传感器可以包括相机、(可选地，定向的)麦克风、雷达、激光雷达或其任意组合。
在一个示例中，存在紧急车辆的指示可以包括在由相机捕捉并提供给至少一个处理设备(例如，处理设备110)的图像流中检测到闪光灯。这种指示可以使用应用于图像流的一个或多个图像分类器来检测。一个或多个图像分类器可以可选地与一个或多个神经网络一起使用。
附加地或替代地，存在紧急车辆的指示可以包括在由相机捕捉并提供给至少一个处理设备(例如，处理设备110)的至少一个图像中检测到与车辆相关联的紧急灯。这种指示可以使用应用于图像流的一个或多个图像分类器来检测。一个或多个图像分类器可以可选地与一个或多个神经网络一起使用。
附加地或替代地，存在紧急车辆的指示可以包括在由相机捕捉并提供给至少一个处理设备(例如，处理设备110)的至少一个图像中检测到车辆上与所识别的紧急车辆相关联的徽标或文本。附加地或替代地，存在紧急车辆的指示可以包括在由相机捕捉并提供给至少一个处理设备(例如，处理设备110)的至少一个图像中检测到车辆上与所识别的紧急车辆相关联的颜色或标记。在这样的示例中，存在紧急车辆的指示可以还包括检测到与紧急车辆相关联的至少一个有源灯(例如，使用相机)或检测到与紧急车辆相关联的警报(例如，使用麦克风)。
在存在紧急车辆的指示包括检测到与紧急车辆相关联的至少一个有源灯或检测到与紧急车辆相关联的警报的实施例中，至少一个处理设备(例如，处理设备110)可以在一个时间段内进一步跟踪至少一个有源灯或警报的检测。例如，可以通过随时间监测检测到的灯的大小和/或检测到的灯的强度来跟踪(例如，使用相机)有源灯。附加地或替代地，可以随时间监测(例如，使用相机)有源灯(例如，相对于主车辆)的横向位移。在包括检测到的警报的实施例中，警报的频率和/或幅度可以随时间被监测。
此外，至少一个处理设备(例如，处理设备110)可以基于跟踪来确定紧急车辆是否正在朝向主车辆移动。例如，如果大小和/或强度随时间增加(可选地，直到饱和水平)，处理设备110可以确定紧急车辆正在朝向主车辆移动。附加地或替代地，如果有源灯的横向位移随着时间推移接近零，则处理设备110可以确定紧急车辆正在朝向主车辆移动。在包括检测到的警报的实施例中，如果随时间警报的频率蓝移(blue-shifted)和/或警报的幅度增加，则处理设备110可以确定紧急车辆正在朝向主车辆移动。上述示例中的任何一个都可以具有用于做出确定的一个或多个阈值。例如，大小和/或强度可能必须增加到超过阈值、在超过阈值时间长度的时间内增加、和/或以高于阈值的速率增加。类似地，横向位移可能必须降低到低于阈值、在超过阈值长度的时间内接近零、和/或以低于阈值的速率降低。在包括检测到的警报的实施例中，警报的频率可能必须蓝移超过阈值和/或在超过阈值时间长度的时间内蓝移。附加地或替代地，幅度可能必须增加到超过阈值、在超过阈值时间长度的时间内增加、和/或以高于阈值的速率增加。
附加地或替代地，存在紧急车辆的指示可以包括检测到警报。例如，检测可以由定向麦克风提供，并且警报可以被确定为在主车辆后面(或者在主车辆前面或者在主车辆侧面)。附加地或替代地，处理设备110可以基于检测到的警报中存在的波移(waveshift)来确定紧急车辆是否正在接近主车辆。
在步骤2420，处理设备110可以响应于主车辆环境中存在紧急车辆的指示，引起主车辆的至少一个导航改变。例如，处理设备110可以减慢主车辆、将主车辆移动到路边、将主车辆移动到不同的行驶车道或其任意组合。
在一些实施例中，至少一个导航改变可以取决于检测到的警报的位置。例如，在警报被确定在主车辆后面的实施例中，至少一个导航改变可以包括将主车辆移动到路边和/或将主车辆移动到不同的行驶车道。在另一示例中，在警报被确定在主车辆侧面的实施例中，至少一个导航改变可以包括减慢主车辆。在又一示例中，在警报被确定在主车辆前方的实施例中，至少一个导航改变可以包括保持主车辆的速度或减慢主车辆。
附加地或替代地，至少一个导航改变可以取决于检测到的警报的波移。例如，在警报被确定为正在接近主车辆的实施例中，至少一个导航改变可以包括将主车辆移动得远离警报(例如，如果警报在车辆前方并且正在接近，则减速)。在另一示例中，在警报被确定为远离主车辆移动的实施例中，至少一个导航改变可以包括将主车辆移动得更远离警报(例如，如果警报在车辆的侧面并且正在后退，则移动到另一行驶车道)。
附加地或替代地，可以通过覆写(override)一个或多个舒适性参数以便保持一个或多个安全参数来确定至少一个导航改变。例如，舒适性参数可以包括对横向重力的限制，并且可以被覆写以便快速移动主车辆，例如，以避免与紧急车辆碰撞。在另一示例中，舒适性参数可以包括对减速的限制，并且可以被覆写，以便快速减慢主车辆。
方法2400可以包括附加步骤。例如，方法2400可以还包括监测主车辆环境以获得紧急车辆已经经过主车辆的指示。在这样的示例中，处理设备110可以接收一个或多个更新的图像，这些图像可以被分析(例如，使用一个或多个分类器，可选地，使用一个或多个神经网络)以确定检测到的(一个或多个)灯、检测到的徽标或文本、检测到的颜色或标记等是否正在远离主车辆移动。附加地或替代地，处理设备110可以从麦克风接收更新的音频，该更新的音频可以被分析以指示紧急车辆正在远离主车辆移动(例如，如果音频的音量正在减小)。此外，方法2400还可以包括响应于紧急车辆已经经过主车辆的指示，引起主车辆中的至少一个附加导航改变。例如，处理设备110可以加速主车辆、将主车辆移回道路、将主车辆移回原始行驶车道或其任意组合。
在另一示例中，方法2400可以还包括，响应于该指示，覆写主车辆的正常操作，以便引起至少一个导航改变。例如，处理设备110可以覆写主车辆的轨迹，以便将主车辆移动到路边、将主车辆移动到不同的行驶车道。在另一示例中，处理设备110可以覆写主车辆的速率控制，以便响应于存在紧急车辆的指示来减慢主车辆。
通过与其他车辆的自动协商来进行导航
在一些实施例中，主车辆的导航系统可以自动采取某些动作来向主车辆环境中的其他车辆传达导航意图。与现存的系统不同，这可以允许主车辆安全地模拟人类驾驶员的导航协商而不依赖人工干预。
例如，通过采取初始动作，主车辆可以传达在目标车辆前方改变车道、在目标车辆前方并入合并车道或交通转盘、允许目标车辆在主车辆前方改变车道、允许目标车辆在主车辆前方并入合并车道或交通转盘等的期望或意图。在这样的示例中，初始动作可以包括朝向主车辆希望进入的车道的轻微移动，向前轻微挪动进入交通线(例如，在车道并道处、交通转盘处等)、轻微的制动动作、前灯闪光等。然后可以通过跟踪至少一个目标车辆对初始动作的响应来确定主车辆的完整导航动作。在一些实施例中，初始动作可以伴随有一个或多个附加的意图指示符，诸如闪烁主车辆的转向信号、闪烁主车辆的制动灯、闪烁主车辆的前灯、无线地(例如，经由4G、经由LTE、经由WiFi等)发送到一个或多个目标车辆的信息信号等。
图25是被配置为存储用于通过与其他车辆的自动协商来进行导航的指令的存储器2500的框图。尽管在图25中被描绘为单个存储器，但是存储器2500可以包括一个或多个非易失性存储器(例如，硬盘驱动器、闪存等)和/或易失性存储器(例如，RAM等)。在一些实施例中，存储器2500可以包括在系统100中。例如，存储器2500可以至少部分地包括一个或多个存储器单元140、150的一部分。
如图25所描绘的，存储器2500可以包括图像接收模块2502。图像接收模块2502可以从相机接收表示主车辆环境的多个图像。，无论是直接从相机还是从连接到(一个或多个)网络的一个或多个存储器，多个图像可以直接从相机接收(例如，使用一条或多条总线)、从存储来自相机的图像的一个或多个存储器检索，和/或通过一个或多个计算机网络接收。
在一些实施例中，模块2502可以从主车辆中的其他传感器接收替代或附加信息。例如，模块2502可以从速度计、GPS、加速度计、雷达、激光雷达、悬架传感器等中的至少一个接收信息。
如图25中进一步描绘的，存储器2500可以包括导航意图模块2504。导航意图模块2504可以分析由图像接收模块2502接收的多个图像，以识别主车辆环境中的至少一个目标车辆。例如，导航意图模块2504可以应用一个或多个图像分类器(可选地，级联分类器)来识别至少一个目标车辆。
一个或多个神经网络可以与图像分类器结合使用或代替图像分类器使用。例如，一个或多个神经网络可以使用具有相关联的目标车辆并最小化与其相关联的损失函数的图像训练集来训练。一个或多个神经网络可以继续使用真实数据来训练。例如，可以接收来自人类驾驶员的反馈，并将其结合到一个或多个神经网络中，以提高准确度。在一些实施例中，训练和/或反馈合并可以远离主车辆(例如，在一个或多个远程服务器上)执行。因此，一个或多个神经网络(以及对其的更新)可以从一个或多个远程服务器发送到主车辆。替代地，主车辆可以向一个或多个远程服务器发送图像，用于在一个或多个神经网络上进行处理。
目标车辆可以具有影响主车辆的至少一个规划导航动作的位置。在一些实施例中，导航意图模块2504可以确定和/或接收至少一个规划导航动作，并且基于至少一个规划导航动作确定影响至少一个规划导航动作的一个或多个区(zone)。在至少一个规划导航动作包括改变车道的示例中，导航意图模块2504可以将新车道的一部分(可选地，与当前车道的一部分)确定为影响至少一个规划导航动作的区。在至少一个规划导航动作包括左转的另一示例中，导航意图模块2504可以将交叉口的一部分(可选地与当前车道和/或意图车道的一部分)确定为影响至少一个规划导航动作的区。
因此，导航意图模块2504可以通过将一个或多个图像分类器(事前(ex ante)或事后(ex post))限制于一个或多个区内的所识别的车辆来识别至少一个目标车辆。在一些实施例中，所识别的车辆的位置可以是点(例如，所识别的或估计的车辆中心、所识别的或估计的车辆的一个或多个车轮的位置等；GPS坐标；等)，并且只有当这些点在一个或多个区内时，所识别的车辆才可以被分类为目标车辆。在其他实施例中，所识别的车辆的位置可以是具有预期的误差方差(variance)或余量(margin)的点，并且只有当预期的方差或余量与一个或多个区重叠时(可选地，具有重叠阈值，例如，至少0.5米的重叠、至少1米的重叠等)，所识别的车辆才可以被分类为目标车辆。在又一实施例中，所识别的车辆的位置可以是区域(例如，边界框)，并且仅当该区域(region)与一个或多个区重叠时(可选地，具有重叠阈值，例如，至少10％的区域重叠、至少20％的区域重叠，等等)，所识别的车辆才可以被分类为目标车辆。
在替代实施例中，导航意图模块2504可以分析多个图像，以识别主车辆环境中的第一目标车辆和第二目标车辆。例如，导航意图模块2504可以应用一个或多个图像分类器(可选地，级联分类器)来识别第一目标车辆和第二目标车辆。如上所述，一个或多个神经网络可以与图像分类器结合使用或代替图像分类器使用。第一目标车辆可以在邻接主车辆正在行驶的行驶车道的行驶车道中行驶在第二目标车辆后面。
在这样的实施例中，导航意图模块2504可以分析多个图像以确定第一目标车辆和第二目标车辆之间的距离。例如，一个或多个分类器可以识别第一目标车辆和第二目标车辆的一个或多个部分(例如前灯、尾灯、车轮等)。可以使用多个图像来估计所识别的部分之间的距离。附加地或替代地，一个或多个分类器可以估计第一目标车辆的边界框和第二目标车辆的边界框，并确定两个估计的边界框之间的距离。
可选地，导航意图模块2504可以使用关于车辆类型的已知信息(例如，诸如宽度和长度之类的尺寸)来估计距离。例如，导航意图模块2504可以将第一目标车辆识别为2010款雪佛兰Silverado，并且将第二目标车辆识别为2016款现代Sonata，并且使用2010款雪佛兰Silverado和/或2016款现代Sonata的已知长度来估计第一目标车辆和第二目标车辆之间的距离。如上所述，一个或多个神经网络可以与图像分类器结合使用或代替图像分类器使用。
在该实施例中，导航意图模块2504可以进一步从多个图像中确定到达与第一目标车辆和第二目标车辆之一相关联的边界的时间。例如，边界可以包括第一目标车辆或第二目标车辆的边界框的边界。在另一示例中，边界可以包括所确定的距第一目标车辆或第二目标车辆的安全距离。安全距离可以基于目标车辆的已知或所确定的属性(诸如长度、宽度、最大减速等)、目标车辆的速率、目标车辆的航向等来确定。所确定的时间可以超过第一阈值并且不超过第二阈值，第二阈值大于第一阈值。
在上述任何实施例中，导航意图模块2504还可以基于检测到的目标车辆导航状态的改变来确定主车辆的导航动作。例如，如果检测到的目标车辆的反应包括目标车辆减速，则主车辆的至少一个导航改变可以包括应用主车辆的制动器以减慢主车辆。在另一示例中，如果检测到的目标车辆的反应包括目标车辆改变车道，则主车辆的至少一个导航改变可以包括在行驶车道内横向移动主车辆。在具有第一目标车辆和第二目标车辆的实施例中，目标车辆可以是第一目标车辆和第二目标车辆中的至少一个。
如图25所描绘的，存储器2500可以还包括导航状态检测模块2506。导航状态检测模块2506可以分析多个图像，以检测响应于主车辆的至少一个导航改变的、目标车辆的导航状态的改变。例如，导航状态检测模块2506可以检测目标车辆是否在主车辆中的至少一次导航改变之后加速、减速、改变车道、开始转向或以其他方式移动。附加地或替代地，导航状态检测模块2506可以检测目标车辆是否在主车辆的至少一个导航改变之后闪烁前灯、闪烁制动灯、闪烁转向信号或以其他方式发出另一指示符。可以使用一个或多个图像分类器(可选地，与一个或多个神经网络)来检测上述任何改变。在具有第一目标车辆和第二目标车辆的实施例中，目标车辆可以是第一目标车辆和第二目标车辆中的至少一个。
在一些实施例中，可以至少部分地基于预测的目标车辆导航状态的改变来确定至少一个导航改变。例如，导航状态检测模块2506可以基于检测到的目标车辆的属性(诸如目标车辆是否加速、减速、改变车道、正在转向或以其他可检测的方式移动)来预测改变。附加地或替代地，导航状态检测模块2506可以检测目标车辆是否闪烁前灯、闪烁制动灯、闪烁转向信号或以其他方式发出另一指示符。可以使用一个或多个图像分类器(可选地，使用一个或多个神经网络)来检测上述任何改变。
最后，存储器2500可以包括导航改变模块2508。导航改变模块2508可以引起主车辆的至少一个导航改变，以向目标车辆发出主车辆进行后续导航操纵的意图的信号。例如，主车辆的至少一个导航改变可以包括主车辆的制动器的应用以减慢主车辆、改变主车辆的速度、在行驶车道内横向移动主车辆、将主车辆朝向目标车辆的行驶路径移动、或其任意组合。
附加地或替代地，导航改变模块2508可以至少部分地基于一个或多个安全约束来确定至少一个导航改变。例如，上面描述的任何安全约束(例如，硬性约束，诸如围绕各种类型的检测到的对象(例如目标车辆、行人、道路侧或道路中的静止对象、道路侧或道路中的移动对象、护栏等等)的禁止驾驶区；在行人的影响区内穿行时的最大行驶速度；最大减速，可选地确定为应对主车辆后方的目标车辆间距；在感测到的人行横道或铁路道口处的强制停止；等等)。
在类似实施例中，至少一个导航改变可以包括后续导航操纵的部分实现。例如，如果后续导航操纵是车道改变，则至少一个导航改变可以包括向意图车道的轻微移动。在另一示例中，如果后续导航操纵是主车辆的减速，则至少一个导航改变可以包括主车辆的制动器的轻微应用。
在替代实施例中，导航改变模块2508可以基于到达与第一目标车辆和第二目标车辆之一相关联的边界的确定的时间，引起主车辆的至少一个导航改变，以向目标车辆发出主车辆进行后续导航操纵的意图的信号。例如，如果边界是主车辆和目标车辆之间的重叠，则至少一个导航改变可以是主车辆的加速或减速(例如，为了避开边界)。
在上述任何实施例中，导航改变模块2508还可以响应于所确定的主车辆的导航动作，引起主车辆的导航致动器的至少一个调节。如上所述，导航致动器可以包括转向机构、制动器或加速器中的至少一个。
在上述任何实施例中，导航动作可以基于检测到的目标车辆导航状态中的改变是提供了在不违反一个或多个安全约束的情况下完成后续导航操纵的机会，还是致使后续导航操纵违反一个或多个安全约束。如上所述，安全约束可以包括硬性约束，诸如围绕各种类型的检测到的对象(例如目标车辆、行人、道路侧或道路中的静止对象、道路侧或道路中的移动对象、护栏等等)的禁止驾驶区；在行人的影响区内穿行时的最大行驶速度；最大减速度，可选地确定为应对主车辆后方的目标车辆间距；在感测到的人行横道或铁路道口处的强制停止；等等。在一个示例中，如果至少一个导航动作包括轻微移动到意图车道，并且意图车道中的目标车辆在主车辆后面并加速，则导航动作可以将主车辆移回原始车道，因为改变车道可能侵占主车辆和目标车辆之间的禁止驾驶区。在类似示例中，如果至少一个导航动作包括轻微移动到意图车道，并且意图车道中的目标车辆在主车辆前面并加速，则导航动作可以完成车道改变，因为改变车道不会侵占主车辆和目标车辆之间的禁止驾驶区。
图26A是基于与另一车辆2620的自动协商来进行导航的主车辆2610的示意图。在图26A的示例中，作为导航改变，主车辆2610轻微移动到邻接车道，以向目标车辆2620发出进行改变车道(进入邻接车道)的后续导航操纵的意图的信号。在图26A的示例中，目标车辆2620然后通过加速改变其导航状态。因此，主车辆2620基于检测到的目标车辆2620的导航状态的改变而移回到其原始车道。
图26B是基于与另一车辆2620的自动协商来进行导航的主车辆2610的另一示意图。在图26B的示例中，作为导航改变，主车辆2610轻微移动到邻接车道，以向目标车辆2620发出进行改变车道(进入邻接车道)的后续导航操纵的意图的信号。在图26B的示例中，目标车辆2620然后通过减速改变其导航状态。因此，主车辆2620基于检测到的目标车辆2620的导航状态的改变完成其进入邻接车道的意图车道改变。
图26C是基于与主车辆正在并入的车道中的另一车辆2640的自动协商来进行导航的主车辆2630的示意图。在图26C的示例中，主车辆2630闪烁其前灯，以向目标车辆2640发出进行向目标车辆2640让路的后续导航操纵的意图的信号。在图26C的示例中，目标车辆2640然后通过加速改变其导航状态。因此，主车辆2630基于检测到的目标车辆2640的导航状态的改变来完成其意图的让路(通过减速)。在图26C中未描绘的替代示例中，目标车辆2640可以通过减速来改变其导航状态。因此，主车辆2630可以基于检测到的目标车辆2640的导航状态的改变来取消其意图的让路(例如，通过加速)。
图26D是基于与交通转盘内的第一目标车辆2640和第二目标车辆2650的自动协商来进行导航的主车辆2660的示意图。在图26D的示例中，主车辆2660基于第一目标车辆2640和第二目标车辆2650之间的距离来确定交通转盘将拉开的时间。基于所确定的时间，主车辆2660轻微移动到交通转盘，以向目标车辆2650发出进行进入交通转盘的后续导航操纵的意图的信号。在图26D的示例中，目标车辆2650然后通过减速改变其导航状态。因此，主车辆2660基于检测到的目标车辆2650的导航状态的改变来完成其意图的进入(通过加速并完全进入交通转盘)。在图26D中未描绘的替代示例中，目标车辆2650可以通过加速来改变其导航状态。因此，主车辆2660可以基于检测到的目标车辆2650的导航状态的改变来取消其意图的进入(例如，通过制动)。
主车辆2660可以包括上述存储器2500，并使用其中的模块来执行图26A-26D中描绘的决策。附加地或替代地，主车辆2660可以执行下面描述的方法2700和/或方法2750，以执行图26A-26D中描绘的决策。
图27A描绘了用于基于与其他车辆的自动协商来导航车辆的方法2700的流程图。方法2700可以例如由主车辆的至少一个处理设备(例如，处理设备110)来实施。
在步骤2705，处理设备110可以从相机接收表示主车辆环境的多个图像。例如，相机可以是图像捕捉设备122、图像捕捉设备124和图像捕捉设备126中的至少一个。可以从不同的角度(例如，使用不同的相机)和/或在不同的时间捕捉多个图像。在一个特定示例中，多个图像可以表示多个帧时间序列，每个序列覆盖相同的时间段，但是以唯一的角度。
在一些实施例中，处理设备110可以从主车辆中的其他传感器接收附加信息。例如，处理设备110可以从速度计、GPS、加速度计、雷达、激光雷达、悬架传感器等接收信息。
在步骤2710，处理设备110可以分析多个图像以识别主车辆环境中的至少一个目标车辆。例如，处理设备110可以应用一个或多个图像分类器(可选地，级联分类器)来识别至少一个目标车辆。一个或多个神经网络可以与图像分类器结合使用或代替图像分类器使用。
在一些实施例中，目标车辆可以具有影响主车辆的至少一个规划导航动作的位置。例如，处理设备110可以确定至少一个规划导航动作和/或从一个或多个存储器(例如，在由主车辆上的不同处理设备确定之后)和/或通过一个或多个网络(例如，从远程服务器)接收至少一个规划导航动作。基于至少一个规划导航动作，处理设备110可以确定影响至少一个规划导航动作的一个或多个区。在至少一个规划导航动作包括并入车道的示例中，处理设备110可以将车道的一部分确定为影响至少一个规划导航动作的区。在至少一个规划导航动作包括进入交通转盘的另一示例中，处理设备110可以将交通转盘的一部分(可选地，交通转盘入口的一部分)确定为影响至少一个规划导航动作的区。
因此，处理设备110可以通过将一个或多个图像分类器仅应用于一个或多个区(或者在一个或多个区的误差余量内)来识别至少一个目标车辆。附加地或替代地，处理设备110可以将一个或多个图像分类器应用于整个图像，然后将至少一个目标车辆确定为在一个或多个区内的所识别的车辆的子集。如前所述，所识别的车辆的位置可以是可选地具有预期的误差方差或余量的点(例如，所识别或估计的车辆中心、所识别或估计的车辆的一个或多个车轮的位置等)。因此，如果这些点在一个或多个区内和/或如果预期的方差或余量与一个或多个区重叠(可选地，具有重叠阈值，例如至少0.5米的重叠、至少1米的重叠等)，则所识别的车辆可以被分类为目标车辆。在其他实施例中，所识别的车辆的位置可以是区域(例如，边界框)。因此，只有当该区域与一个或多个区重叠时(可选地，具有重叠阈值，例如，至少10％的区域重叠、至少20％的区域重叠，等等)，所识别的车辆才可以被分类为目标车辆。
该至少一个目标车辆可以在不同的感兴趣位置。例如，目标车辆可以正在邻接主车辆的车道上行驶、可以被包括在穿过交通转盘的一排汽车中、可以被包括在包括主车辆的车道正在并入的车道中的一排汽车中、或者它们的任意组合。
在步骤2715，处理设备110可以引起主车辆的至少一个导航改变，以向目标车辆发出主车辆进行后续导航操纵的意图的信号。例如，主车辆的至少一个导航改变可以包括主车辆的制动器的应用以减慢主车辆、改变主车辆的速度、在行驶车道内横向移动主车辆、将主车辆朝向目标车辆的行驶路径移动、或其任意组合。在一个示例中，如果至少一个规划导航动作包括改变车道，则至少一个导航改变可以包括朝向(可选地，进入)意图车道的轻微横向移动。在另一示例中，如果至少一个规划导航动作包括离开高速公路或州际公路，则至少一个导航改变可以包括主车辆的制动器的应用。在又一示例中，如果至少一个规划导航动作包括并入合并车道中，则至少一个导航改变可以包括主车辆的加速和/或朝向(可选地，进入)合并车道的轻微横向移动。在又一示例中，如果至少一个规划导航动作包括进入交通转盘，则至少一个导航改变可以包括主车辆的加速和/或轻微移动到交通转盘。在另一示例中，如果至少一个规划导航动作包括离开交通转盘，则至少一个导航改变可以包括主车辆的制动和/或离开交通转盘的轻微移动。
在步骤2720，处理设备110可以分析多个图像，以检测响应于主车辆的至少一个导航改变的、目标车辆的导航状态的改变。例如，检测到的目标车辆的反应可以包括目标车辆减速、目标车辆改变车道或其任意组合。
在步骤2725，处理设备110可以基于检测到的目标车辆导航状态的改变来确定主车辆的导航动作。例如，处理设备110可以接收用于检测改变的更新的多个图像。类似于至少一个目标车辆，处理设备110可以将一个或多个图像分类器(可选地，级联分类器)应用于更新的图像，以识别检测到的改变。附加地或替代地，处理设备110可以计算更新的图像的光流，以检测诸如目标车辆的加速度、目标车辆的减速、目标车辆的横向移动等改变。一个或多个神经网络可以与图像分类器和/或光流算法结合使用或代替图像分类器和/或光流算法使用。
在检测到的改变指示目标车辆允许至少一个规划导航动作的实施例中，可以计算所确定的导航动作以完成至少一个规划导航动作。例如，如果至少一个导航改变包括朝向(可选地，进入)意图车道的轻微横向移动，则检测到的使得在意图车道中拉开间隙的目标车辆的加速或减速的改变可以指示对意图车道改变的允许。在另一示例中，如果至少一个导航改变包括主车辆的制动器的应用，则检测到的进入另一车道的横向移动的改变可以指示对意图离开高速公路或州际公路的允许。在又一示例中，如果至少一个导航改变包括主车辆的加速和/或朝向(可选地，进入)合并车道的轻微横向移动，则检测到的使得在意图车道中拉开间隙的目标车辆的减速的改变和/或目标车辆的前灯闪光可以指示对意图并道的允许。在又一示例中，如果至少一个导航改变包括主车辆的加速和/或进入交通转盘的轻微移动，则检测到的使得在意图车道中拉开间隙的目标车辆的减速的改变和/或目标车辆的前灯闪光可以指示对意图进入交通转盘的允许。在另一示例中，如果至少一个导航改变包括主车辆的制动和/或离开交通转盘的轻微移动，则检测到的进入另一车道的横向移动的改变可以指示对意图离开交通转盘的允许。
另一方面，在检测到的改变指示目标车辆正在拒绝至少一个规划导航动作的实施例中，可以计算所确定的导航动作以取消至少一个规划导航动作。例如，如果至少一个导航改变包括朝向(可选地，进入)意图车道的轻微横向移动，则检测到的使得目标车辆阻碍主车辆移动进入意图车道的、目标车辆的加速或减速的改变可以指示对意图车道改变的拒绝。在另一示例中，如果至少一个导航改变包括主车辆的制动器的应用，则检测到的使得目标车辆阻碍主车辆离开高速公路或州际公路的、目标车辆的加速或减速的改变可以指示对意图离开高速公路或州际公路的拒绝。在又一示例中，如果至少一个导航改变包括主车辆的加速和/或朝向(可选地，进入)合并车道的轻微横向移动，则检测到的使得目标车辆阻碍主车辆移动进入合并车道的、目标车辆的加速的改变可以指示对意图并道的拒绝。在又一示例中，如果至少一个导航改变包括主车辆的加速和/或进入交通转盘的轻微移动，则检测到的使得目标车辆阻碍主车辆进入交通转盘的、目标车辆的加速的改变可以指示对意图进入交通转盘的拒绝。在另一示例中，如果至少一个导航改变包括主车辆的制动和/或离开交通转盘的轻微移动，则检测到的使得目标车辆阻碍主车辆离开交通转盘的、目标车辆的加速或减速的改变可以指示对意图离开交通转盘的拒绝。
在步骤2730，处理设备110可以响应于所确定的主车辆的导航动作，引起主车辆的导航致动器的至少一个调节。例如，如果所确定的导航动作是主车辆的横向移动，则处理设备110可以调节主车辆的转向机构。类似地，如果所确定的导航动作是主车辆的加速，则处理设备110可以调节主车辆的加速器。此外，如果所确定的导航动作是主车辆的减速，则处理设备110可以调节主车辆的制动器。
方法2700可以包括附加步骤。例如，方法2700可以还包括向目标车辆发出进行后续操纵的意图的一个或多个附加指示符。一个或多个附加指示符可以包括灯闪光(例如，来自前灯、尾灯、制动灯、转向信号等)。例如，主车辆的轻微制动可以与制动灯的闪烁相结合，以发出减速意图的信号(例如，如果主车辆正离开高速公路、州际公路或交通转盘)。在另一示例中，主车辆的轻微制动可以与前灯的闪烁相结合，以发出向目标车辆让路的意图的信号。在又一示例中，轻微加速、轻微制动和/或轻微横向移动可以与转向信号的闪烁相结合，以发出改变车道的意图的信号。
附加地或替代地，一个或多个附加指示符包括无线发送到目标车辆的信息信号。例如，信息信号可以使用蜂窝网络(诸如4G、LTE等)、有限区域无线网络(诸如蓝牙、Wi-Fi等)、直接射频信号或其任意组合来发送。
图27B描绘了用于基于与其他车辆的自动协商来导航车辆的方法2750的流程图。方法2750可以例如由主车辆的至少一个处理设备(例如，处理设备110)来实施。
在步骤2755，处理设备110可以从相机接收表示主车辆环境的多个图像。例如，方法2750的步骤2755可以类似于上述方法2700的步骤2705来执行。
在步骤2760，处理设备110可以分析多个图像，以识别主车辆环境中的第一目标车辆和第二目标车辆。例如，处理设备110可以应用一个或多个图像分类器(可选地，级联分类器)来识别第一目标车辆和第二目标车辆。一个或多个神经网络可以与图像分类器结合使用或代替图像分类器使用。
第一目标车辆可以在邻接主车辆正在行驶的行驶车道的行驶车道中行驶在第二目标车辆后面。例如，处理设备110可以应用一个或多个图像分类器(可选地，级联分类器)来识别车道边界(例如，如前所述，通过识别一个或多个道路标记)，并相应地对第一目标车辆和第二目标车辆的行驶车道(和/或主车辆的行驶车道)进行分类。附加地或替代地，可以使用多个图像中的一个或多个光流来确定第一目标车辆和第二目标车辆的行驶车道，从而允许确定第一目标车辆和第二目标车辆的预测轨迹以及基于该轨迹确定相关联的行驶车道。附加地或替代地，可以使用主车辆的历史轨迹和/或主车辆的预测轨迹(除了多个图像之外，可选地使用来自诸如速度计和/或GPS之类的一个或多个传感器的反馈)来确定主车辆的行驶车道。
在步骤2765，处理设备110可以分析多个图像以确定第一目标车辆和第二目标车辆之间的距离。例如，如上所述，处理设备110可以应用一个或多个分类器来识别第一目标车辆和第二目标车辆的一个或多个部分(例如，前灯、尾灯、车轮等)。可以使用多个图像来估计所识别的部分之间的距离。附加地或替代地，一个或多个分类器可以估计第一目标车辆的边界框和第二目标车辆的边界框，并确定两个估计的边界框之间的距离。附加地或替代地，处理设备110可以应用一个或多个分类器来确定第一目标车辆和第二目标车辆的年份、品牌和/或型号，然后使用关于车辆类型的已知信息(例如，诸如宽度和长度之类的尺寸)来估计距离。在一个特定示例中，处理设备110可以将第一目标车辆识别为2014款丰田Corolla，将第二目标车辆识别为2018款雷克萨斯RX 350，并且使用2014款丰田Corolla和/或2018款雷克萨斯RX350的已知长度来估计第一目标车辆和第二目标车辆之间的距离。一个或多个神经网络可以与图像分类器结合使用或代替图像分类器使用。
在步骤2770，处理设备110可以从多个图像中确定到达与第一目标车辆和第二目标车辆之一相关联的边界的时间。例如，边界可以包括第一目标车辆和第二目标车辆之间的间隙的预期闭合。所确定的时间可以超过第一阈值并且不超过第二阈值，第二阈值大于第一阈值。
在步骤2775，处理设备110可以基于所确定的时间引起主车辆的至少一个导航改变，以向目标车辆发出主车辆进行后续导航操纵的意图的信号。例如，方法2750的步骤2775可以类似于上述方法2700的步骤2715来执行，但是可以基于所确定的时间引起至少一个导航改变。至少一个导航改变可以包括轻微移动到第一目标车辆和第二目标车辆之间的间隙中，基于所确定的时间来计算该移动的快慢。
在步骤2780，处理设备110可以分析多个图像，以检测响应于主车辆的至少一个导航改变的、目标车辆的导航状态的改变。例如，方法2750的步骤2780可以类似于上述方法2700的步骤2720来执行。
在步骤2785，处理设备110可以基于检测到的目标车辆的导航状态的改变来确定主车辆的导航动作。例如，方法2750的步骤2785可以类似于上述方法2700的步骤2725来执行。
在步骤2790，处理设备110可以响应于所确定的主车辆的导航动作，引起主车辆的导航致动器的至少一个调节。例如，方法2750的步骤2790可以类似于上述方法2700的步骤2730来执行。
方法2750可以包括附加步骤。例如，方法2750可以还包括向目标车辆发出进行后续操纵的意图的一个或多个附加指示符。如以上关于方法2700所解释的，一个或多个附加指示符可以包括灯闪光。附加地或替代地，如以上关于方法2700所解释的，一个或多个附加指示符包括无线发送到目标车辆的信息信号。
基于跟随车辆的行为进行导航
在一些实施例中，主车辆的导航系统可以监测跟随车辆并确定参数，诸如跟随距离、相对速度和/或相对加速度。基于与这些参数中的任何一个相关联的值、这些参数的组合或依赖于这些参数的量(例如，主车辆制动时的碰撞时间)，主车辆可以进行一个或多个导航改变。这可以允许主车辆通过考虑除前方车辆(leading vehicle)之外的跟随车辆来增加安全性和效率，以及增加乘客舒适性。这种能力可以减少对人工干预的需求，以及增加超出人类极限的安全性，这至少部分是因为人脑以无缝(且几乎同时)的方式应对前方车辆和跟随车辆以及对前方车辆和跟随车辆作出反应的能力有限。
在一些实施例中，导航系统可以响应于监测跟随车辆而引起主车辆的导航改变。例如，当与跟随车辆碰撞的时间的指示符小于预定阈值时，主车辆可以改变车道、减速以增加到前方车辆的距离、降低最大允许制动率等。
图28是被配置为存储使用跟随车辆的行为来进行导航的指令的存储器2800的框图。尽管在图28中被描绘为单个存储器，但是存储器2800可以包括一个或多个非易失性存储器(例如，硬盘驱动器、闪存等)和/或易失性存储器(例如，RAM等)。在一些实施例中，存储器2800可以包括在系统100中。例如，存储器2800可以至少部分地包括一个或多个存储器单元140、150的一部分。
如图28所描绘的，存储器2800可以包括图像接收模块2802。图像接收模块2802可以从后向相机接收表示主车辆后面环境的多个图像。无论是直接从后向相机还是从连接到(一个或多个)网络的一个或多个存储器，多个图像可以直接从后向相机接收(例如，使用一条或多条总线)、从存储来自后向相机的图像的一个或多个存储器中检索，和/或通过一个或多个计算机网络接收。
在一些实施例中，模块2802可以从主车辆中的其他传感器接收替代或附加信息。例如，模块2802可以从速度计、GPS、加速度计、雷达、激光雷达、悬架传感器等中的至少一个接收信息。
如图28中进一步描绘的，存储器2800可以包括目标车辆识别模块2804。目标车辆识别模块2804可以分析经由图像接收模块2802接收的多个图像，以识别主车辆后面环境中的至少一个目标车辆。例如，目标车辆识别模块2804可以应用一个或多个图像分类器(可选地，级联分类器)来识别多个图像中的至少一个目标车辆。一个或多个神经网络可以与上述任何技术结合使用或代替上述任何技术使用。如图28所描绘的，存储器2800可以还包括导航指示符识别模块2806。导航指示符识别模块2806可以基于对多个图像的分析来识别目标车辆的至少一个导航特性的指示符。例如，目标车辆的至少一个导航特性可以包括目标车辆和主车辆之间的相对加速度、目标车辆和主车辆之间的相对速度、目标车辆和主车辆之间的跟随距离、目标车辆和主车辆之间的碰撞时间等。
在一些实施例中，导航指示符识别模块2806可以应用一个或多个图像分类器(可选地，级联分类器)来识别多个图像中的导航指示符。一个或多个图像分类器可以应用于包括至少一个目标车辆的图像的一部分。例如，识别目标车辆可包括计算所识别的车辆的边界框，使得用于识别导航指示符的一个或多个分类器可以应用于边界框(或包括边界框和边界框周围的缓冲区的区域)。
附加地或替代地，导航指示符识别模块2806可以计算图像之间的光流，以识别至少一个导航特性。例如，光流可以允许计算目标车辆的绝对和/或相对速度。可以对一个或多个分类器和/或光流算法的结果执行进一步处理。例如，导航指示符识别模块2806可以基于目标车辆的速度计算相对加速度、碰撞时间、制动距离等。在另一示例中，导航指示符识别模块2806可以基于目标车辆的位置(例如，点位置、边界框等)来计算跟随距离。一个或多个神经网络可以与上述任何技术结合使用或代替上述任何技术使用。
最后，存储器2800可以包括导航动作模块2808。导航动作模块2808可以基于所识别的目标车辆的至少一个导航特性来确定主车辆的导航动作。例如，所确定的主车辆的导航动作可以包括减慢主车辆以增加主车辆和主车辆前方的前方车辆之间的间隙、将主车辆从当前行驶车道导航到不同的行驶车道、降低主车辆的最大允许制动率等。在一个示例中，如果至少一个导航特性包括小于阈值的碰撞时间，则所确定的导航动作可以包括减慢主车辆和/或将主车辆从当前行驶车道导航到不同的行驶车道。在另一示例中，如果至少一个导航特性包括小于阈值的跟随距离，则所确定的导航动作可以包括加速主车辆和/或将主车辆从当前行驶车道导航到不同的行驶车道。在又一示例中，如果至少一个导航特性包括高于阈值的相对速度，则所确定的导航动作可以包括降低主车辆的最大允许制动率和/或将主车辆从当前行驶车道导航到不同的行驶车道。在又一示例中，如果至少一个导航特性包括高于阈值的相对加速度，则所确定的导航动作可以包括减慢主车辆和/或将主车辆从当前行驶车道导航到不同的行驶车道。
在一些实施例中，导航动作模块2808还可以响应于所确定的主车辆的导航动作，引起主车辆的导航致动器的至少一个调节。如上所述，导航致动器可以包括转向机构、制动器或加速器中的至少一个。
图29A是基于跟随车辆2930的行为来进行导航的主车辆2910的示意图。在图29A的示例中，主车辆2910响应于与跟随车辆2930碰撞的时间小于预定阈值的指示符而减速。因此，如果跟随车辆2930与主车辆2910碰撞，主车辆2910可以通过确保主车辆2910不会被推入前方车辆2920来防止级联碰撞。此外，主车辆2910可以鼓励跟随车辆2930改变车道，以便安全通过主车辆2910，而不是继续尾随主车辆2910。
图29B是基于跟随车辆2930的行为来进行导航的主车辆2910的另一示意图。在图29B的示例中，主车辆2910响应于与跟随车辆2930碰撞的时间小于预定阈值的指示符而改变车道。因此，主车辆2910可以通过改变车道来防止碰撞。此外，主车辆2910可以鼓励跟随车辆2630安全通过主车辆2910，而不是改变车道并继续尾随主车辆2910。
主车辆2910可以包括上面描述的存储器2800，并使用其中的模块来执行图29A和29B中描绘的决策。附加地或替代地，主车辆2910可以执行下面描述的方法3000，以执行图29A和29B中描绘的决策。
图30描绘了用于基于跟随车辆的行为来导航车辆的方法3000的流程图。方法3000可以例如由主车辆的至少一个处理设备(例如，处理设备110)来实施。
在步骤3010，处理设备110可以从后向相机接收表示主车辆后面环境的多个图像。在一些实施例中，可以从不同的角度(例如，使用不同的相机)和/或在不同的时间捕捉多个图像。在一个特定示例中，多个图像可以表示多个帧时间序列，每个序列覆盖相同的时间段，但是以唯一的角度。
在步骤3020，处理设备110可以分析多个图像，以识别主车辆后面环境中的至少一个目标车辆。例如，处理设备110可以应用一个或多个图像分类器(可选地，级联分类器)来识别多个图像中的至少一个目标车辆。一个或多个神经网络可以与上述任何技术结合使用或代替上述任何技术使用。
在步骤3030，处理设备110可以基于对多个图像的分析来识别目标车辆的至少一个导航特性的指示符。例如，目标车辆的至少一个导航特性可以包括目标车辆和主车辆之间的相对加速度、目标车辆和主车辆之间的相对速度、目标车辆和主车辆之间的跟随距离、目标车辆和主车辆之间的碰撞时间等。在一些实施例中，处理设备110可以应用一个或多个图像分类器(可选地，级联分类器)来识别多个图像中的导航指示符。一个或多个图像分类器可以应用于作为整体的图像和/或应用于包括至少一个目标车辆的图像的一个或多个部分，诸如目标车辆的边界框(可选地，和边界框周围的缓冲区)。附加地或替代地，处理设备110可以计算图像之间的光流，以识别至少一个导航特性。例如，光流可以允许计算目标车辆的绝对和/或相对速度。可以对一个或多个分类器和/或光流算法的结果执行进一步处理。例如，处理设备110可以基于目标车辆的速度计算相对加速度、碰撞时间、制动距离等；可以基于目标车辆的位置(例如，点位置、边界框等)计算跟随距离；等等。一个或多个神经网络可以与上述任何技术结合使用或代替上述任何技术使用。
在步骤3040，处理设备110可以基于所识别的目标车辆的至少一个导航特性来确定主车辆的导航动作。例如，所确定的主车辆的导航动作可以包括减慢主车辆以增加主车辆和主车辆前方的前方车辆之间的间隙、将主车辆从当前行驶车道导航到不同的行驶车道、降低主车辆的最大允许制动率等。
方法3000可以包括附加步骤。例如，方法3000可以还包括响应于所确定的主车辆的导航动作，引起主车辆的导航致动器的至少一个调节。在一个特定示例中，如果所确定的导航动作是主车辆的横向移动，则处理设备110可以调节主车辆的转向机构。类似地，如果所确定的导航动作是主车辆的加速，则处理设备110可以调节主车辆的加速器。此外，如果所确定的导航动作是主车辆的减速，则处理设备110可以调节主车辆的制动器。
基于感测到的制动灯模式进行导航
在一些实施例中，主车辆的导航系统可以监测前方车辆的制动特性。基于制动特性，主车辆可以进行一个或多个导航改变(例如，当确定前方车辆频繁或不规律地制动时)。这种频繁或不规律制动可能指示前方车辆正以不安全的距离跟随另一车辆和/或由缺乏注意力和/或难以保持清醒的驾驶员驾驶。
在一些实施例中，导航系统可以响应于制动特性，引起主车辆的导航改变。例如，主车辆可以减速、增加到目标车辆的跟随距离、改变车道等。这种能力可以允许自主车辆在不需要人工干预的情况下抢先避开危险的驾驶员和/或情况。
图31是被配置为存储用于使用感测到的制动灯模式进行导航的指令的存储器3100的框图。尽管在图31中被描绘为单个存储器，但是存储器3100可以包括一个或多个非易失性存储器(例如，硬盘驱动器、闪存等)和/或易失性存储器(例如，RAM等)。在一些实施例中，存储器3100可以包括在系统100中。例如，存储器3100可以至少部分地包括一个或多个存储器单元140、150的一部分。
如图31所描绘的，存储器3100可以包括图像接收模块3102。图像接收模块3201可以从相机接收表示主车辆前方环境的多个图像。无论是直接从相机还是从连接到(一个或多个)网络的一个或多个存储器，多个图像可以直接从相机接收(例如，使用一条或多条总线)、从存储来自相机的图像的一个或多个存储器检索，和/或通过一个或多个计算机网络接收。
在一些实施例中，模块3102可以从主车辆中的其他传感器接收替代或附加信息。例如，模块3102可以从速度计、GPS、加速度计、雷达、激光雷达、悬架传感器等中的至少一个接收信息。
如图31中进一步描绘的，存储器3100可以包括目标车辆识别模块3104。目标车辆识别模块3104可以分析多个图像，以识别主车辆前方环境中的至少一个目标车辆。例如，目标车辆识别模块3104可以应用一个或多个图像分类器(可选地，级联分类器)来识别多个图像中的至少一个目标车辆。一个或多个神经网络可以与上述任何技术结合使用或代替上述任何技术使用。例如，一个或多个神经网络可以使用具有相关联的目标车辆并最小化与其相关联的损失函数的图像训练集来训练。一个或多个神经网络可以继续使用真实数据来训练。例如，可以接收来自人类驾驶员的反馈，并将其结合到一个或多个神经网络中，以提高准确度。在一些实施例中，训练和/或反馈合并可以远离主车辆(例如，在一个或多个远程服务器上)执行。因此，一个或多个神经网络(以及对其的更新)可以从一个或多个远程服务器发送到主车辆。替代地，主车辆可以向一个或多个远程服务器发送图像，用于在一个或多个神经网络上进行处理。
如图31所描绘的，存储器3100可以还包括制动灯识别模块3106。制动灯识别模块3106可以基于对多个图像的分析来识别与目标车辆相关联的至少一个制动灯。类似于目标车辆识别模块3104，制动灯识别模块3106可以应用一个或多个图像分类器(可选地，级联分类器)来识别多个图像中的至少一个制动灯。一个或多个图像分类器可以应用于包括至少一个目标车辆的图像的一部分。例如，识别目标车辆可包括计算所识别的车辆的边界框，使得用于识别制动灯的一个或多个分类器可以应用于边界框(或包括边界框和边界框周围的缓冲区的区域)。一个或多个神经网络可以与上述任何技术结合使用或代替上述任何技术使用。
制动灯识别模块3106可以基于对多个图像的分析，进一步识别与至少一个制动灯的照明状态的改变相关联的至少一个特性。例如，至少一个特性可以包括至少一个制动灯的照明状态改变的频率、至少一个制动灯在激活后保持照明的时间长度、至少一个制动灯在预定时间间隔内被激活的次数、一个时间段内的模式或其任意组合。
在一些实施例中，制动灯识别模块3106可以应用一个或多个图像分类器(可选地，级联分类器)来识别多个图像中的至少一个特性。一个或多个图像分类器可以应用于包括至少一个目标车辆的图像的一部分或者包括至少一个制动灯的图像的一部分。例如，识别目标车辆或制动灯可以包括计算所识别的车辆或所识别的制动灯的边界框，使得用于识别特性的一个或多个分类器可以应用于边界框(或包括边界框和边界框周围的缓冲区的区域)。一个或多个神经网络可以与上述任何技术结合使用或代替上述任何技术使用。作为使用多个图像的附加或替代，模块3102、3104和3106可以协作从至少一个目标车辆接收无线信号。这种信号可以直接从目标车辆接收(例如，作为射频信号)、通过一个或多个计算机网络(例如，4G、LTE、Wi-Fi、蓝牙等)从目标车辆发送到主车辆、和/或从目标车辆发送到一个或多个远程服务器，然后从(一个或多个)服务器中继到主车辆。信号可以指示目标车辆已经压下其制动器。信号还可以包括制动器被压下的时间长度。替代地，(一个或多个)服务器和/或主车辆可以基于指示制动器被压下的信号的发送/接收时间和指示制动器被释放的信号的发送/接收时间来计算时间长度。
最后，存储器3100可以包括导航改变模块3108。导航改变模块3108可以基于所识别的与至少一个制动灯的照明状态的改变相关联的至少一个特性来引起主车辆的导航改变。例如，主车辆的导航改变可以包括减慢主车辆以增加主车辆和目标车辆之间的间隙，将主车辆从当前行驶车道导航到不同的行驶车道，等等。在一个特定示例中，如果至少一个特性包括至少一个制动灯的照明状态改变的频率高于阈值，则所确定的导航动作可以包括减慢主车辆以增加主车辆和目标车辆之间的间隙和/或将主车辆从当前行驶车道导航到不同的行驶车道。在另一特定示例中，如果至少一个特性包括至少一个制动灯在激活后保持照明的时间长度高于阈值，则所确定的导航动作可以包括减慢主车辆以增加主车辆和目标车辆之间的间隙和/或将主车辆从当前行驶车道导航到不同的行驶车道。在又一特定示例中，如果至少一个特性包括至少一个制动灯在预定时间间隔内被激活的次数高于阈值，则所确定的导航动作可以包括减慢主车辆以增加主车辆和目标车辆之间的间隙和/或将主车辆从当前行驶车道导航到不同的行驶车道。在另一示例中，如果至少一个特性包括在一个时间段内被确定为不规律的模式(例如，通过应用频率测试、串行测试、扑克(poker)测试、间隙测试、单比特测试、Wald-Wolfowitz测试、自相关测试、Kolmogorov-Smirnov测试、频谱测试和/或Diehard测试；通过计算熵；等等)，则所确定的导航动作可以包括减慢主车辆以增加主车辆和目标车辆之间的间隙和/或将主车辆从当前行驶车道导航到不同的行驶车道。
除了与至少一个制动灯的照明状态的改变相关联的至少一个特性之外，导航改变模块3108可以考虑与目标车辆速度相关联的至少一个特性。例如，导航改变模块3108可以基于目标车辆制动时的平均(或中值、众数等)减速度来确定频率阈值。因此，如果目标车辆进行不太频繁但过重的制动，导航改变模块3108仍可以引起导航改变。在另一示例中，导航改变模块3108可以基于目标车辆制动后的平均(或中值、众数等)加速度来确定预定时间间隔内的次数阈值。因此，如果目标车辆较少发生制动，但之后进行过重的加速，导航改变模块3108仍可引起导航改变。
附加地或替代地，除了与至少一个制动灯的照明状态的改变相关联的至少一个特性之外，导航改变模块3108可以考虑与目标车辆的轨迹相关联的至少一个特性。例如，导航改变模块3108可以基于目标车辆偏离预期轨迹的平均(或中值、众数等)漂移来确定频率阈值。因此，如果目标车辆进行不太频繁的制动但是在其车道内转弯，导航改变模块3108仍然可以引起导航改变。在另一示例中，导航改变模块3108可以基于目标车辆的平均(或中值、众数等)车道改变来确定预定时间间隔内的次数阈值。因此，如果目标车辆较少发生制动但频繁进行车道改变，导航改变模块3108仍可引起导航改变。
在一些实施例中，引起主车辆的导航改变可以包括引起主车辆的导航致动器的调节。如上所述，导航致动器可以包括转向机构、制动器或加速器中的至少一个。
图32A是基于感测到的前方车辆3220的制动灯模式来进行导航的主车辆3210的示意图。在图32A的示例中，主车辆3210响应于与目标车辆3220的至少一个制动灯的照明状态的改变相关联的特性而减速。例如，特性可以包括目标车辆3220的至少一个制动灯的照明状态改变的频率，并且该频率可以超过阈值。在另一示例中，特性可以包括目标车辆3220的至少一个制动灯在激活后保持照明的时间长度，并且该时间长度可以超过阈值。在又一示例中，特性可以包括目标车辆3220的至少一个制动灯在预定时间间隔内被激活的次数，并且该次数可以超过阈值。上述任何示例都可以组合。
图32B是基于感测到的前方车辆3220的制动灯模式来进行导航的主车辆3210的另一示意图。在图32B的示例中，主车辆3210响应于与目标车辆3220的至少一个制动灯的照明状态的改变相关联的特性而改变车道。例如，特性可以包括目标车辆3220的至少一个制动灯的照明状态改变的频率，并且该频率可以超过阈值。在另一示例中，特性可以包括目标车辆3220的至少一个制动灯在激活后保持照明的时间长度，并且该时间长度可以超过阈值。在又一示例中，特性可以包括目标车辆3220的至少一个制动灯在预定时间间隔内被激活的次数，并且该次数可以超过阈值。上述任何示例都可以组合。
主车辆3210可以包括上面描述的存储器3100，并使用其中的模块来执行图32A和32B中描绘的决策。附加地或替代地，主车辆3210可以执行下面描述的方法3300，以执行图32A和32B中描绘的决策。
图33描绘了用于基于感测到的前方车辆的制动灯模式来导航车辆的方法3300的流程图。方法3300可以例如由主车辆的至少一个处理设备(例如，处理设备110)来实施。
在步骤3310，处理设备110可以从相机接收表示主车辆前方环境的多个图像。例如，相机可以是图像捕捉设备122、图像捕捉设备124和图像捕捉设备126中的至少一个。可以从不同的角度(例如，使用不同的相机)和/或在不同的时间捕捉多个图像。在一个特定示例中，多个图像可以表示多个帧时间序列，每个序列覆盖相同的时间段，但是以唯一的角度。
在一些实施例中，处理设备110可以从主车辆中的其他传感器接收附加信息。例如，处理设备110可以从速度计、GPS、加速度计、雷达、激光雷达、悬架传感器等接收信息。
在步骤3320，处理设备110可以分析多个图像，以识别主车辆前方环境中的至少一个目标车辆。例如，处理设备110可以应用一个或多个图像分类器(可选地，级联分类器)来识别多个图像中的至少一个目标车辆。一个或多个神经网络可以与上述任何技术结合使用或代替上述任何技术使用。
在步骤3330，处理设备110可以基于对多个图像的分析来识别与目标车辆相关联的至少一个制动灯。例如，处理设备110可以应用一个或多个图像分类器(可选地，级联分类器)来识别多个图像中的至少一个制动灯。一个或多个图像分类器可以应用于作为整体的图像或者应用于包括至少一个目标车辆的图像的一部分。一个或多个神经网络可以与上述任何技术结合使用或代替上述任何技术使用。
在步骤3340，处理设备110可以基于对多个图像的分析来识别与至少一个制动灯的照明状态的改变相关联的至少一个特性。例如，至少一个特性可以包括至少一个制动灯的照明状态改变的频率、至少一个制动灯在激活后保持照明的时间长度、至少一个制动灯在预定时间间隔内被激活的次数、一个时间段内的模式或其任意组合。
在一些实施例中，处理设备110可以接收用于检测至少一个特性的更新的多个图像。类似于至少一个目标车辆和至少一个制动灯，处理设备110可以将一个或多个图像分类器(可选地，级联分类器)应用于更新的图像，以识别检测到的改变。附加地或替代地，处理设备110可以计算更新的图像的光流，以检测至少一个制动灯的照明状态的改变。一个或多个神经网络可以与图像分类器和/或光流算法结合使用或代替图像分类器和/或光流算法使用。
在步骤3350，处理设备110可以基于所识别的与至少一个制动灯的照明状态的改变相关联的至少一个特性来引起主车辆的导航改变。例如，主车辆的导航改变可以包括减慢主车辆以增加主车辆和目标车辆之间的间隙，将主车辆从当前行驶车道导航到不同的行驶车道，等等。
在一些实施例中，引起主车辆的导航改变可以包括引起主车辆的导航致动器的调节。在一个特定示例中，如果导航改变包括减慢主车辆以增加主车辆和目标车辆之间的间隙，则处理设备110可以调节主车辆的制动器。类似地，如果导航改变包括将主车辆从当前行驶车道导航到不同的行驶车道，则处理设备110可以调节主车辆的转向机构。
方法3300可以包括附加步骤。例如，方法3300可以还包括基于第一导航改变引起主车辆的第二导航改变。例如，如果第一导航改变包括将主车辆从当前行驶车道导航到不同的行驶车道，则第二导航改变可以包括加速主车辆以通过目标车辆。在另一示例中，如果第一导航改变包括减慢主车辆以增加主车辆和目标车辆之间的间隙，则第二导航改变可以包括将主车辆从当前行驶车道导航到不同的行驶车道。
前面的描述是为了说明的目的而给出的。它不是穷尽的，并且不限于所公开的精确形式或实施例。考虑到所公开的实施例的说明书和实践，修改和改编对于本领域技术人员来说将是显而易见的。此外，尽管所公开的实施例的各方面被描述为存储在存储器中，但是本领域技术人员将理解，这些方面也可以存储在其他类型的计算机可读介质上，诸如辅助存储设备，例如硬盘或CD ROM，或其他形式的RAM或ROM、USB介质、DVD、蓝光、4K超高清蓝光或其他光驱介质。
基于书面描述和所公开的方法的计算机程序在有经验的开发者的技能范围内。各种程序或程序模块可以使用本领域技术人员已知的任何技术来创建，或者可以结合现有软件来设计。例如，程序段或程序模块可以用或通过.Net Framework、.Net CompactFramework(以及相关语言，诸如Visual Basic、C等)、Java、C++、Objective-C、HTML、HTML/AJAX组合、XML或包含Java小程序的HTML设计。
此外，尽管本文已经描述了说明性实施例，但是本领域技术人员基于本公开将会理解具有等同的元素、修改、省略、组合(例如，跨越各种实施例的方面的)、改编和/或改变的任何和所有实施例的范围。权利要求中的限制应基于权利要求中采用的语言进行广义解释，而不限于本说明书中描述的示例或在申请过程期间描述的示例。这些示例应被解释为非排他性的。此外，所公开的方法的步骤可以以任何方式修改，包括通过重新排序步骤和/或插入或删除步骤。因此，说明书和示例仅被认为是说明性的，真正的范围和精神由所附权利要求及其等同物的全部范围来指示。

Claims (18)

1.一种用于主车辆的导航系统，所述系统包括：
至少一个处理设备，被编程为：
从相机接收表示主车辆环境的多个图像；
分析所述多个图像以识别包括第一交通流和第二交通流的双并道场景，其中所述第一交通流正在主车辆侧面的第一车道中行驶，并且所述第二交通流正在包括主车辆的第二车道中行驶，并且其中允许在第一车道中行驶的车辆并入第二车道，并且允许在第二车道中行驶的车辆并入第一车道；
确定车辆环境中在第一交通流中的第一目标车辆和在第二交通流中的第二目标车辆的存在，其中第一目标车辆与第一轨迹相关联，并且第二目标车辆与第二轨迹相关联；
基于第一轨迹和第二轨迹，确定与第一目标车辆和第二目标车辆中的每一个相关联的分类，其中所述分类指示所述主车辆将相对于目标车辆让路、占道或保持偏移距离；
基于主车辆的驾驶策略函数以及第一目标车辆和第二目标车辆的分类来确定多个潜在导航动作，其中所述驾驶策略函数被分解为包括选项节点的分层集合的选项图，以及其中所述潜在导航动作包括所述主车辆潜在地采取以实现导航目标的动作；和
通过遍历所述选项图基于所述选项图的输出，引起主车辆的导航改变。
2.根据权利要求1所述的系统，其中，所述导航改变包括减慢主车辆。
3.根据权利要求1所述的系统，其中，所述导航改变包括执行并道操纵。
4.根据权利要求1所述的系统，其中，所述导航改变包括朝向期望的横向位置进行操纵。
5.根据权利要求1所述的系统，其中，所述导航改变包括使主车辆加速。
6.根据权利要求1所述的系统，其中，主车辆的轨迹在相交点处与第一目标车辆的第一轨迹相交，第一目标车辆被分类为让路车辆，并且所述导航动作使主车辆在第一目标车辆之后的预定时间量到达所述相交点。
7.根据权利要求1所述的系统，其中，主车辆的轨迹在相交点处与第一目标车辆的第一轨迹相交，第一目标车辆被分类为占道车辆，并且所述导航动作使主车辆在第一目标车辆之前的预定时间量到达所述相交点。
8.根据权利要求1所述的系统，其中，所述第一车辆或所述第二车辆中的至少一个被分类为偏移车辆，并且所述偏移车辆的轨迹和主车辆的轨迹不相交。
9.一种用于导航主车辆的计算机实现的方法，所述方法包括：
从相机接收表示主车辆环境的多个图像；
分析所述多个图像以识别包括第一交通流和第二交通流的双并道场景，其中所述第一交通流正在主车辆侧面的第一车道中行驶，并且所述第二交通流正在包括主车辆的第二车道中行驶，并且其中允许在第一车道中行驶的车辆并入第二车道，并且允许在第二车道中行驶的车辆并入第一车道；
确定车辆环境中在第一交通流中的第一目标车辆和在第二交通流中的第二目标车辆的存在，其中第一目标车辆与第一轨迹相关联，并且第二目标车辆与第二轨迹相关联；
基于第一轨迹和第二轨迹，确定与第一目标车辆和第二目标车辆中的每一个相关联的分类，其中所述分类指示所述主车辆将相对于目标车辆让路、占道或保持偏移距离；
基于主车辆的驾驶策略函数以及第一目标车辆和第二目标车辆的分类来确定一组潜在导航动作，其中所述驾驶策略函数被分解为包括选项节点的分层集合的选项图，以及其中所述潜在导航动作包括所述主车辆潜在地采取以实现导航目标的动作；和
通过遍历所述选项图基于所述选项图的输出，引起主车辆的导航改变。
10.根据权利要求9所述的方法，其中，所述第一轨迹或所述第二轨迹与代价函数相关联。
11.根据权利要求9所述的方法，其中，所述方法还包括：
分析所述多个图像以识别主车辆环境中的约束。
12.根据权利要求11所述的方法，其中，所述导航状态特性包括感测到的车道终点。
13.根据权利要求9所述的方法，其中，所述多个潜在导航动作包括其中主车辆朝向期望的横向位置而横向地移动的操纵。
14.根据权利要求9所述的方法，其中，所述多个潜在导航动作包括使主车辆留在所述第二车道中。
15.根据权利要求9所述的方法，其中，部分地基于主车辆环境中的对象来确定所述第一轨迹或所述第二轨迹。
16.根据权利要求15所述的方法，其中，所述对象与一个或多个规则相关联，所述一个或多个规则指示预定轨迹。
17.一种存储指令的非暂时性计算机可读存储介质，所述指令在由至少一个处理设备执行时，使得所述至少一个处理设备：
从相机接收表示主车辆环境的多个图像；
分析所述多个图像以识别包括第一交通流和第二交通流的双并道场景，其中所述第一交通流正在主车辆侧面的第一车道中行驶，并且所述第二交通流正在包括主车辆的第二车道中行驶，并且其中允许在第一车道中行驶的车辆并入第二车道，并且允许在第二车道中行驶的车辆并入第一车道；
确定车辆环境中在第一交通流中的第一目标车辆和在第二交通流中的第二目标车辆的存在，其中第一目标车辆与第一轨迹相关联，并且第二目标车辆与第二轨迹相关联；
基于第一轨迹和第二轨迹，确定与第一目标车辆和第二目标车辆中的每一个相关联的分类，其中所述分类指示所述主车辆将相对于目标车辆让路、占道或保持偏移距离；
基于主车辆的驾驶策略函数以及第一目标车辆和第二目标车辆的分类来确定多个潜在导航动作，其中所述驾驶策略函数被分解为包括选项节点的分层集合的选项图，以及其中所述潜在导航动作包括所述主车辆潜在地采取以实现导航目标的动作；和
通过遍历所述选项图基于所述选项图的输出，引起主车辆的导航改变。
18.根据权利要求17所述的非暂时性计算机可读存储介质，其中，所述指令还包括用于相对于在主车辆环境中识别出的约束来测试所述导航改变的指令。
CN201880016183.2A 2017-01-12 2018-01-11 基于车辆活动的导航 Active CN110383008B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910934322.6A CN110657820A (zh) 2017-01-12 2018-01-11 基于车辆活动的导航

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201762445500P 2017-01-12 2017-01-12
US62/445,500 2017-01-12
US201762546343P 2017-08-16 2017-08-16
US62/546,343 2017-08-16
US201762565244P 2017-09-29 2017-09-29
US62/565,244 2017-09-29
US201762582687P 2017-11-07 2017-11-07
US62/582,687 2017-11-07
PCT/US2018/013375 WO2018132607A2 (en) 2017-01-12 2018-01-11 Navigation based on vehicle activity

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910934322.6A Division CN110657820A (zh) 2017-01-12 2018-01-11 基于车辆活动的导航

Publications (2)

Publication Number Publication Date
CN110383008A CN110383008A (zh) 2019-10-25
CN110383008B true CN110383008B (zh) 2024-01-23

Family

ID=61054599

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201880013023.2A Active CN110325823B (zh) 2017-01-12 2018-01-11 基于规则的导航
CN201880016183.2A Active CN110383008B (zh) 2017-01-12 2018-01-11 基于车辆活动的导航
CN201910934322.6A Pending CN110657820A (zh) 2017-01-12 2018-01-11 基于车辆活动的导航

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201880013023.2A Active CN110325823B (zh) 2017-01-12 2018-01-11 基于规则的导航

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910934322.6A Pending CN110657820A (zh) 2017-01-12 2018-01-11 基于车辆活动的导航

Country Status (8)

Country Link
US (9) US11738741B2 (zh)
EP (4) EP4230964A1 (zh)
JP (4) JP7160251B2 (zh)
KR (3) KR102535540B1 (zh)
CN (3) CN110325823B (zh)
CA (1) CA3049770A1 (zh)
IL (3) IL287819B (zh)
WO (3) WO2018132608A2 (zh)

Families Citing this family (201)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9499139B2 (en) 2013-12-05 2016-11-22 Magna Electronics Inc. Vehicle monitoring system
KR102235166B1 (ko) * 2015-09-21 2021-04-02 주식회사 레인보우로보틱스 실시간 로봇 시스템, 로봇 시스템 제어 장치 및 로봇 시스템 제어 방법
DE102015218809A1 (de) * 2015-09-29 2017-03-30 Continental Teves Ag & Co. Ohg Verfahren zum Aktualisieren einer elektronischen Karte eines Fahrzeugs
WO2018024320A1 (en) * 2016-08-02 2018-02-08 Bayerische Motoren Werke Aktiengesellschaft A method for learning an illumination-pattern of a monitored automobile and a respective automobile
KR102535540B1 (ko) * 2017-01-12 2023-05-23 모빌아이 비젼 테크놀로지스 엘티디. 차량 움직임에 기반한 항법
US20180208203A1 (en) * 2017-01-26 2018-07-26 International Business Machines Corporation System, method and computer program product for braking control when approaching a traffic signal
CN110431037B (zh) 2017-02-10 2022-11-29 日产北美公司 包括运用部分可观察马尔可夫决策过程模型示例的自主车辆操作管理
FR3062944B1 (fr) * 2017-02-10 2021-05-14 Continental Automotive France Procede de detection de faux-positifs relatifs a un feu de signalisation
BR112019016278A2 (pt) * 2017-02-10 2020-04-07 Nissan North America, Inc. monitoramento de bloqueio de gerenciamento operacional de veículo autônomo
US10671076B1 (en) 2017-03-01 2020-06-02 Zoox, Inc. Trajectory prediction of third-party objects using temporal logic and tree search
US10133275B1 (en) 2017-03-01 2018-11-20 Zoox, Inc. Trajectory generation using temporal logic and tree search
CN108305477B (zh) * 2017-04-20 2019-08-13 腾讯科技（深圳）有限公司 一种车道选择方法及终端
JP6827107B2 (ja) * 2017-05-24 2021-02-10 本田技研工業株式会社 車両制御装置
US10296004B2 (en) * 2017-06-21 2019-05-21 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous operation for an autonomous vehicle objective in a multi-vehicle environment
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10850732B2 (en) * 2017-09-05 2020-12-01 Aptiv Technologies Limited Automated speed control system
US20190079517A1 (en) 2017-09-08 2019-03-14 nuTonomy Inc. Planning autonomous motion
US10733465B2 (en) 2017-09-20 2020-08-04 Tusimple, Inc. System and method for vehicle taillight state recognition
JP2019075008A (ja) * 2017-10-18 2019-05-16 トヨタ自動車株式会社 車両制御装置
WO2019088977A1 (en) 2017-10-30 2019-05-09 Nissan North America, Inc. Continual planning and metareasoning for controlling an autonomous vehicle
US11027751B2 (en) 2017-10-31 2021-06-08 Nissan North America, Inc. Reinforcement and model learning for vehicle operation
US11702070B2 (en) 2017-10-31 2023-07-18 Nissan North America, Inc. Autonomous vehicle operation with explicit occlusion reasoning
US20180079423A1 (en) * 2017-11-27 2018-03-22 GM Global Technology Operations LLC Active traffic participant
BR112020010209B1 (pt) * 2017-11-30 2023-12-05 Nissan North America, Inc. Métodos para uso na travessia de uma rede de transporte de veículos e veículo autônomo
EP3726329A4 (en) * 2017-12-12 2021-01-27 Sony Corporation INFORMATION PROCESSING DEVICE, MOBILE BODY, CONTROL SYSTEM, INFORMATION PROCESSING PROCESS AND PROGRAM
WO2019117774A1 (en) * 2017-12-14 2019-06-20 Saab Ab Flight vision system and method for presenting images from the surrounding of an airborne vehicle in a flight vision system
US20190185012A1 (en) 2017-12-18 2019-06-20 PlusAI Corp Method and system for personalized motion planning in autonomous driving vehicles
US11130497B2 (en) 2017-12-18 2021-09-28 Plusai Limited Method and system for ensemble vehicle control prediction in autonomous driving vehicles
US20190187719A1 (en) * 2017-12-19 2019-06-20 Trw Automotive U.S. Llc Emergency lane change assistance system
WO2020204871A1 (en) 2017-12-22 2020-10-08 Nissan North America, Inc. Shared autonomous vehicle operational management
US11422561B2 (en) * 2018-01-11 2022-08-23 Toyota Jidosha Kabushiki Kaisha Sensor system for multiple perspective sensor data sets
US10955851B2 (en) 2018-02-14 2021-03-23 Zoox, Inc. Detecting blocking objects
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
WO2019164531A1 (en) 2018-02-26 2019-08-29 Nissan North America, Inc. Centralized shared autonomous vehicle operational management
JP7000202B2 (ja) * 2018-02-27 2022-01-19 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
JP2019156180A (ja) * 2018-03-13 2019-09-19 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP7043003B2 (ja) * 2018-03-29 2022-03-29 豊田合成株式会社 車両用ドア開閉装置
US11671329B2 (en) * 2018-04-04 2023-06-06 Arista Networks, Inc. Computation of network flooding topologies
US10414395B1 (en) 2018-04-06 2019-09-17 Zoox, Inc. Feature-based prediction
US10895468B2 (en) * 2018-04-10 2021-01-19 Toyota Jidosha Kabushiki Kaisha Dynamic lane-level vehicle navigation with lane group identification
FR3080346B1 (fr) * 2018-04-23 2020-05-15 Renault S.A.S. Procede de selection par un vehicule automobile d’une voie de circulation preferee pour traverser une aire de peage
US10816968B2 (en) * 2018-05-08 2020-10-27 GM Global Technology Operations LLC System and method for access to restricted areas by an autonomous vehicle
US11126873B2 (en) * 2018-05-17 2021-09-21 Zoox, Inc. Vehicle lighting state determination
US11510404B2 (en) * 2018-05-24 2022-11-29 Blue River Technology Inc. Boom sprayer including machine feedback control
US11218399B2 (en) 2018-06-20 2022-01-04 Arista Networks, Inc. Embedded area abstraction
US11120688B2 (en) 2018-06-29 2021-09-14 Nissan North America, Inc. Orientation-adjust actions for autonomous vehicle operational management
CA3105825C (en) * 2018-07-12 2023-03-28 Raven Industries, Inc. Implement position control system and method for same
WO2020014683A1 (en) * 2018-07-13 2020-01-16 Kache.AI Systems and methods for autonomous object detection and vehicle following
US11287814B2 (en) * 2018-08-07 2022-03-29 GM Global Technology Operations LLC Lane change detection system and method for an autonomous vehicle
JP7091956B2 (ja) * 2018-09-07 2022-06-28 トヨタ自動車株式会社 車両の車線変更支援装置
US10884424B2 (en) 2018-09-07 2021-01-05 GM Global Technology Operations LLC Traffic light occlusion detection for autonomous vehicle
EP3848272B1 (en) * 2018-09-07 2023-11-01 Nissan Motor Co., Ltd. Vehicle traveling control method and traveling control device
US10752258B2 (en) * 2018-09-17 2020-08-25 GM Global Technology Operations LLC Apparatus and method for audible driver confirmation for maneuvers in an autonomous vehicle
KR102637599B1 (ko) * 2018-10-08 2024-02-19 주식회사 에이치엘클레무브 차량간 통신 정보를 이용한 차선변경 제어장치 및 방법과, 그를 위한 성향 정보 산출 장치
KR20200040374A (ko) * 2018-10-10 2020-04-20 삼성전자주식회사 거리 추정 방법 및 장치
US10627819B1 (en) 2018-10-11 2020-04-21 Pony Ai Inc. On-site notification from autonomous vehicle for traffic safety
US10816987B2 (en) * 2018-10-15 2020-10-27 Zoox, Inc. Responsive vehicle control
US10940863B2 (en) * 2018-11-01 2021-03-09 GM Global Technology Operations LLC Spatial and temporal attention-based deep reinforcement learning of hierarchical lane-change policies for controlling an autonomous vehicle
EP3881102A1 (en) * 2018-11-12 2021-09-22 SRG Global, Inc. Detection of modified vehicle body components for aeb response
JP7183729B2 (ja) * 2018-11-26 2022-12-06 トヨタ自動車株式会社 撮影異常診断装置
US11537811B2 (en) * 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
CN113168770B (zh) 2018-12-06 2023-02-03 日产自动车株式会社 行驶辅助方法及行驶辅助装置
DK180555B1 (en) * 2018-12-10 2021-06-17 Motional Ad Llc Systems and methods for validating and calibrating sensors
JP7085973B2 (ja) * 2018-12-12 2022-06-17 本田技研工業株式会社 運転支援装置、車両、運転支援装置の制御方法および運転支援プログラム
US11403955B2 (en) 2018-12-14 2022-08-02 Brunswick Corporation Marine propulsion control system and method with proximity-based velocity limiting
US11373537B2 (en) 2018-12-21 2022-06-28 Brunswick Corporation Marine propulsion control system and method with collision avoidance override
CN110614995B (zh) * 2018-12-29 2021-01-22 长城汽车股份有限公司 车辆自动驾驶时的行车道选择方法、选择系统及车辆
US10780861B2 (en) * 2019-01-08 2020-09-22 Ford Global Technologies, Llc Liquid droplet path prediction
EP3683782B1 (en) * 2019-01-18 2023-06-28 Honda Research Institute Europe GmbH Method for assisting a driver, driver assistance system, and vehicle including such driver assistance system
US11338807B2 (en) * 2019-01-30 2022-05-24 Allstate Insurance Company Dynamic distance estimation output generation based on monocular video
US11702178B2 (en) 2019-01-31 2023-07-18 Brunswick Corporation Marine propulsion control system, method, and user interface for marine vessel docking and launch
US11257378B2 (en) 2019-01-31 2022-02-22 Brunswick Corporation Marine propulsion control system and method
US11074480B2 (en) * 2019-01-31 2021-07-27 StradVision, Inc. Learning method and learning device for supporting reinforcement learning by using human driving data as training data to thereby perform personalized path planning
US10796571B2 (en) * 2019-01-31 2020-10-06 StradVision, Inc. Method and device for detecting emergency vehicles in real time and planning driving routes to cope with situations to be expected to be occurred by the emergency vehicles
CN111325318B (zh) * 2019-02-01 2023-11-24 北京地平线机器人技术研发有限公司 神经网络的训练方法、神经网络的训练装置和电子设备
JP7275623B2 (ja) * 2019-02-12 2023-05-18 株式会社デンソー 運転支援装置
DE102019202107B3 (de) * 2019-02-18 2020-04-23 Zf Friedrichshafen Ag Kollisionsvermeidung einer autonomen Landmaschine
JP7199269B2 (ja) * 2019-03-20 2023-01-05 日立Astemo株式会社 外界センシング情報処理装置
WO2020195969A1 (ja) * 2019-03-28 2020-10-01 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2020164045A (ja) * 2019-03-29 2020-10-08 マツダ株式会社 車両走行制御装置
JP2020179729A (ja) * 2019-04-24 2020-11-05 マツダ株式会社 車両制御装置
JP7197832B2 (ja) * 2019-04-24 2022-12-28 マツダ株式会社 車両制御装置
US11267393B2 (en) * 2019-05-16 2022-03-08 Magna Electronics Inc. Vehicular alert system for alerting drivers of other vehicles responsive to a change in driving conditions
JP7303667B2 (ja) * 2019-05-31 2023-07-05 株式会社Subaru 自動運転支援装置
US20200406894A1 (en) * 2019-06-28 2020-12-31 Zoox, Inc. System and method for determining a target vehicle speed
US11275370B2 (en) 2019-06-28 2022-03-15 Zoox, Inc. Techniques for navigating vehicles using teleoperator instructions
US11209822B2 (en) * 2019-06-28 2021-12-28 Zoox, Inc. Techniques for contacting a teleoperator
JP6898388B2 (ja) * 2019-07-05 2021-07-07 本田技研工業株式会社 車両の制御システム、車両の制御方法、およびプログラム
US20210025738A1 (en) * 2019-07-24 2021-01-28 EMC IP Holding Company LLC System and method for device operation monitoring
KR20190098735A (ko) * 2019-08-01 2019-08-22 엘지전자 주식회사 차량 단말 및 그의 동작 방법
US11403853B2 (en) 2019-08-30 2022-08-02 Waymo Llc Occupancy prediction neural networks
JP7161458B2 (ja) * 2019-09-09 2022-10-26 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US11614739B2 (en) 2019-09-24 2023-03-28 Apple Inc. Systems and methods for hedging for different gaps in an interaction zone
CN112572462B (zh) 2019-09-30 2022-09-20 阿波罗智能技术(北京)有限公司 自动驾驶的控制方法、装置、电子设备及存储介质
WO2021062596A1 (en) * 2019-09-30 2021-04-08 Beijing Voyager Technology Co., Ltd. Systems and methods for predicting a vehicle trajectory
US11834045B2 (en) 2019-10-08 2023-12-05 Motional Ad Llc Navigating multi-way stop intersections with an autonomous vehicle
US11420630B2 (en) 2019-10-24 2022-08-23 Zoox, Inc. Trajectory modifications based on a collision zone
US11643073B2 (en) * 2019-10-24 2023-05-09 Zoox, Inc. Trajectory modifications based on a collision zone
US11577757B2 (en) * 2019-11-01 2023-02-14 Honda Motor Co., Ltd. System and method for future forecasting using action priors
CN110728878A (zh) * 2019-11-06 2020-01-24 北京千种幻影科技有限公司 一种体感交互vr模拟驾驶装置
US11640155B2 (en) * 2019-11-07 2023-05-02 Baker Hughes Oilfield Operations Llc Customizable workflows for machinery management
CN110989568B (zh) * 2019-11-15 2021-03-30 吉林大学 一种基于模糊控制器的自动驾驶车辆安全通行方法及系统
US11635758B2 (en) 2019-11-26 2023-04-25 Nissan North America, Inc. Risk aware executor with action set recommendations
US11899454B2 (en) 2019-11-26 2024-02-13 Nissan North America, Inc. Objective-based reasoning in autonomous vehicle decision-making
CN112859830B (zh) * 2019-11-28 2022-08-26 华为技术有限公司 一种设计运行区域odd判断方法、装置及相关设备
US11609576B2 (en) * 2019-12-05 2023-03-21 Baidu Usa Llc Emergency vehicle audio detection
CN112925301A (zh) * 2019-12-05 2021-06-08 杭州海康机器人技术有限公司 用于agv避险的控制方法和agv
GB202305331D0 (en) 2019-12-18 2023-05-24 Motional Ad Llc Camera-to-lidar calibration and validation
US11592575B2 (en) * 2019-12-20 2023-02-28 Waymo Llc Sensor steering for multi-directional long-range perception
US11613269B2 (en) 2019-12-23 2023-03-28 Nissan North America, Inc. Learning safety and human-centered constraints in autonomous vehicles
US11300957B2 (en) 2019-12-26 2022-04-12 Nissan North America, Inc. Multiple objective explanation and control interface design
US11415992B2 (en) * 2019-12-27 2022-08-16 Woven Planet North America, Inc. Resource prioritization based on travel path relevance
CN113261035B (zh) * 2019-12-30 2022-09-16 华为技术有限公司 一种轨迹预测方法及相关设备
US11296948B2 (en) 2020-01-09 2022-04-05 Arista Networks, Inc. Topology partition detection
CN113128315A (zh) * 2020-01-15 2021-07-16 宝马股份公司 一种传感器模型性能评估方法、装置、设备及存储介质
WO2021146910A1 (zh) * 2020-01-21 2021-07-29 深圳元戎启行科技有限公司 基于图计算的车辆驾驶数据处理方法、装置和计算机设备
CN111258300B (zh) * 2020-01-22 2023-05-30 长安大学 一种无人车无信号灯环岛通行能力测试系统及测试方法
US11513603B2 (en) * 2020-01-30 2022-11-29 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for interpreting gestures
US11577746B2 (en) 2020-01-31 2023-02-14 Nissan North America, Inc. Explainability of autonomous vehicle decision making
US11714971B2 (en) 2020-01-31 2023-08-01 Nissan North America, Inc. Explainability of autonomous vehicle decision making
CN111289003A (zh) * 2020-02-06 2020-06-16 广州小马智行科技有限公司 路径规划方法、装置、系统、存储介质和处理器
JP7371520B2 (ja) * 2020-02-14 2023-10-31 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び、プログラム
US11599117B2 (en) * 2020-02-20 2023-03-07 Steering Solutions Ip Holding Corporation Systems and methods for obstacle proximity detection
CN111301410B (zh) * 2020-02-24 2022-01-28 新石器慧通（北京）科技有限公司 自动驾驶车辆及其车速调节方法
US11639173B2 (en) * 2020-02-26 2023-05-02 Ford Global Technologies, Llc Vehicle planned path signal
US11195033B2 (en) * 2020-02-27 2021-12-07 Gm Cruise Holdings Llc Multi-modal, multi-technique vehicle signal detection
US20210284191A1 (en) * 2020-03-11 2021-09-16 Cartica Ai Ltd Autonomous driving using local driving patterns
JP7383532B2 (ja) * 2020-03-12 2023-11-20 本田技研工業株式会社 制御装置及び車両
CN111352426B (zh) * 2020-03-17 2021-03-02 广西柳工机械股份有限公司 一种车辆避障方法、车辆避障装置、车辆避障系统和车辆
US11782438B2 (en) 2020-03-17 2023-10-10 Nissan North America, Inc. Apparatus and method for post-processing a decision-making model of an autonomous vehicle using multivariate data
US11488424B2 (en) 2020-03-19 2022-11-01 Toyota Motor North America, Inc. Motion-based transport assessment
US11720114B2 (en) 2020-03-19 2023-08-08 Toyota Motor North America, Inc. Safety of transport maneuvering
US11097735B1 (en) * 2020-03-19 2021-08-24 Toyota Motor North America, Inc. Transport lane usage
JP7115502B2 (ja) 2020-03-23 2022-08-09 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
DE102020107880A1 (de) * 2020-03-23 2021-09-23 Ford Global Technologies, Llc Verfahren zum Steuern eines Geschwindigkeitsregelsystems in einem Kurvenverlauf
JP7359735B2 (ja) * 2020-04-06 2023-10-11 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7388971B2 (ja) 2020-04-06 2023-11-29 トヨタ自動車株式会社 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
CN111497842B (zh) * 2020-04-30 2023-03-24 重庆大学 一种人机双闭环分层协同纵向跟车控制方法
US11145202B1 (en) * 2020-05-01 2021-10-12 United Services Automobile Association (Usaa) Systems and methods for providing warnings of imminent hazards
CN111597986B (zh) * 2020-05-15 2023-09-29 北京百度网讯科技有限公司 用于生成信息的方法、装置、设备和存储介质
CN111580522A (zh) * 2020-05-15 2020-08-25 东风柳州汽车有限公司 无人驾驶汽车的控制方法、汽车和存储介质
US11551429B2 (en) 2020-06-05 2023-01-10 Uatc, Llc Photorealistic image simulation with geometry-aware composition
GB2595856A (en) * 2020-06-08 2021-12-15 Daimler Ag A method for determining a trajectory of an autonomous motor vehicle, as well as an assistance system
CN111785045B (zh) * 2020-06-17 2022-07-05 南京理工大学 基于演员-评论家算法的分布式交通信号灯联合控制方法
US20210394756A1 (en) * 2020-06-18 2021-12-23 GM Global Technology Operations LLC System and method for predictive vehicle launch
CN111832179B (zh) * 2020-07-17 2023-08-15 北京赛目科技有限公司 无人车的测试场景创建方法及装置
US11644835B2 (en) 2020-07-29 2023-05-09 Toyota Research Institute, Inc. Game-theoretic planning for risk-aware interactive agents
US11396305B2 (en) 2020-07-30 2022-07-26 Toyota Research Institute, Inc. Systems and methods for improving driver warnings during automated driving
KR20220017228A (ko) * 2020-08-04 2022-02-11 현대자동차주식회사 차량 주행 제어 장치 및 방법
US11608067B2 (en) * 2020-08-12 2023-03-21 Honda Motor Co., Ltd. Probabilistic-based lane-change decision making and motion planning system and method thereof
US11501538B2 (en) * 2020-08-24 2022-11-15 Verizon Connect Development Limited Systems and methods for detecting vehicle tailgating
US11726471B2 (en) * 2020-08-27 2023-08-15 Waymo Llc Methods and systems for gradually adjusting vehicle sensor perspective using remote assistance
KR102551283B1 (ko) * 2020-09-08 2023-07-06 한국전자통신연구원 메타인지 기반 자율주행 보정 장치 및 방법
KR20220036423A (ko) * 2020-09-15 2022-03-23 현대자동차주식회사 차량 및 그를 위한 자율주행 제어방법
US11597388B2 (en) * 2020-09-24 2023-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for connected vehicle lane merge
DE102020212565A1 (de) * 2020-10-06 2022-04-07 Volkswagen Aktiengesellschaft Fahrzeug, Vorrichtung, Computerprogramm und Verfahren zur Durchführung in einem Fahrzeug
US11725950B2 (en) * 2020-10-24 2023-08-15 International Business Machines Corporation Substitute autonomous vehicle data
KR20220056922A (ko) * 2020-10-28 2022-05-09 현대자동차주식회사 자율주행 제어 장치 및 방법
KR102570175B1 (ko) * 2020-11-02 2023-08-23 메르세데스-벤츠 그룹 아게 자율주행차량의 제어 방법
CN114527737A (zh) 2020-11-06 2022-05-24 百度在线网络技术（北京）有限公司 用于自动驾驶的速度规划方法、装置、设备、介质和车辆
CN112614382B (zh) * 2020-11-11 2022-03-04 山东卓智软件股份有限公司 相对距离智能化调节系统
US11461992B2 (en) * 2020-11-12 2022-10-04 Samsung Electronics Co., Ltd. Region of interest selection for object detection
WO2022107277A1 (ja) * 2020-11-19 2022-05-27 日産自動車株式会社 車両の走行制御方法及び走行制御装置
CN112498351B (zh) * 2020-11-20 2021-11-23 东风汽车集团有限公司 一种基于v2v的自动驾驶优化系统及方法
KR102509622B1 (ko) * 2020-11-23 2023-03-13 한양대학교 산학협력단 자동주차 시스템 안정성을 보장하는 근사 클로소이드 기반 로컬 경로 생성 방법 및 장치
CN112560609B (zh) 2020-12-03 2022-11-15 北京百度网讯科技有限公司 路况预估方法、建立路况预估模型的方法及对应装置
CN112590791B (zh) * 2020-12-16 2022-03-11 东南大学 一种基于博弈论的智能车换道间隙选择方法及装置
US11776281B2 (en) 2020-12-22 2023-10-03 Toyota Research Institute, Inc. Systems and methods for traffic light detection and classification
CN114633749A (zh) * 2021-01-11 2022-06-17 广东科学技术职业学院 一种无人驾驶车辆
CN112706783B (zh) * 2021-01-12 2022-06-28 重庆大学 一种基于状态流的自动驾驶汽车纵向速度控制方法
US11834042B2 (en) * 2021-01-14 2023-12-05 GM Global Technology Operations LLC Methods, systems, and apparatuses for behavioral based adaptive cruise control (ACC) to driver's vehicle operation style
WO2022158272A1 (ja) * 2021-01-22 2022-07-28 株式会社デンソー 処理方法、処理システム、処理プログラム、処理装置
JP2022125580A (ja) * 2021-02-17 2022-08-29 トヨタ自動車株式会社 衝突回避支援装置
CN113022555B (zh) * 2021-03-01 2023-01-20 重庆兰德适普信息科技有限公司 一种速差滑移转向车辆的目标跟随控制方法和装置
CN112918481A (zh) * 2021-03-25 2021-06-08 蔚来汽车科技(安徽)有限公司 确定驾驶参数的方法及车辆控制装置
US11810289B2 (en) 2021-03-31 2023-11-07 Caterpillar Inc. Estimating the moving state of rotating machines systems and methods
CN112937588B (zh) * 2021-04-01 2022-03-25 吉林大学 一种冰雪车辙路况的车辆稳定性分析方法
US20230020503A1 (en) * 2021-07-08 2023-01-19 Ford Global Technologies, Llc Machine control
CN113415274B (zh) * 2021-07-14 2022-07-05 重庆长安汽车股份有限公司 自动驾驶的跟车轨迹规划系统、方法、车辆及存储介质
US11724739B2 (en) * 2021-07-22 2023-08-15 GM Global Technology Operations LLC Vehicle actuation commands to affect transient handling
WO2023012671A1 (en) * 2021-08-02 2023-02-09 Mobileye Vision Technologies Ltd. Vulnerable road user (vru) collision avoidance system
CN113625718B (zh) * 2021-08-12 2023-07-21 上汽大众汽车有限公司 车辆的行驶路径规划方法
KR102624143B1 (ko) * 2021-09-24 2024-01-12 (주) 오토노머스에이투지 교차로에 설치된 라이다를 이용하여 신호등을 제어하기 위한 방법 및 이를 이용한 서버
DE102021125525A1 (de) * 2021-10-01 2023-04-06 Deere & Company Verfahren zur Ausgabe von Kollisionswarnungen für ein land-wirtschaftliches Fahrzeuggespann
US11760368B2 (en) * 2021-10-19 2023-09-19 Cyngn, Inc. System and method of same-loop adaptive simulation for autonomous driving
US20230127465A1 (en) * 2021-10-26 2023-04-27 Ford Global Technologies, Llc System and method for approaching vehicle detection
US11952014B2 (en) 2021-10-29 2024-04-09 Waymo Llc Behavior predictions for active emergency vehicles
US11938968B2 (en) 2021-11-10 2024-03-26 Robert Bosch Gmbh Trajectory design for image data acquisition for object detection/recognition
WO2023090166A1 (ja) * 2021-11-22 2023-05-25 株式会社デンソー 車両用制御装置及び車両用制御方法
CN114489038B (zh) * 2021-12-08 2024-02-27 农芯(南京)智慧农业研究院有限公司 一种基于强化学习的农林用车辆的导航控制方法
CN114550297B (zh) * 2022-02-25 2022-09-27 北京拙河科技有限公司 一种行人的意图分析方法及系统
CN114596470A (zh) * 2022-03-31 2022-06-07 广州文远知行科技有限公司 一种并道危险场景分类系统、方法、设备和介质
US20230322208A1 (en) * 2022-04-06 2023-10-12 Mobileye Vision Technologies Ltd. Steering limiters for vehicle navigation
US20230326091A1 (en) * 2022-04-07 2023-10-12 GM Global Technology Operations LLC Systems and methods for testing vehicle systems
US20230351886A1 (en) * 2022-04-28 2023-11-02 Toyota Research Institute, Inc. Traffic signal understandings and representation for prediction, planning, and control
WO2023212338A1 (en) * 2022-04-29 2023-11-02 Apple Inc. Systems and methods for movement control in multi-device environments
CN115100540A (zh) * 2022-06-30 2022-09-23 电子科技大学 一种高分辨率遥感影像道路自动提取的方法
WO2024012660A1 (en) * 2022-07-12 2024-01-18 Volvo Autonomous Solutions AB A computer-implemented method for determining a speed profile along a predetermined travelling path for an autonomous vehicle
CN116028882B (zh) * 2023-03-29 2023-06-02 深圳市傲天科技股份有限公司 用户标注和分类方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009025090A (ja) * 2007-07-18 2009-02-05 Funai Electric Co Ltd ナビゲーション装置
CN104422462A (zh) * 2013-09-06 2015-03-18 上海博泰悦臻电子设备制造有限公司 一种车辆导航的方法、装置
CN104776854A (zh) * 2015-04-30 2015-07-15 上海天奕达电子科技有限公司 跟车导航方法及系统、导航系统
CN105074793A (zh) * 2013-03-15 2015-11-18 凯利普公司 用于车辆路径规划和交通管理的车道级车辆导航
CN105593700A (zh) * 2013-10-03 2016-05-18 罗伯特·博世有限公司 带有入口匝道检测的自适应巡航控制
CN106030609A (zh) * 2013-12-04 2016-10-12 移动眼视力科技有限公司 用于模仿前车的系统和方法

Family Cites Families (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3104533B2 (ja) * 1993-12-02 2000-10-30 トヨタ自動車株式会社 車載用の物体検出装置
US5955945A (en) * 1995-07-10 1999-09-21 Fuhrer; Kenneth Fail safe system for providing warning signals upon the failure of motorcycle brake or tail lights
JPH11210513A (ja) * 1998-01-21 1999-08-03 Honda Motor Co Ltd 車両の駆動力制御装置
JP3805923B2 (ja) * 1999-04-28 2006-08-09 本田技研工業株式会社 車両通信装置
US6122593A (en) * 1999-08-03 2000-09-19 Navigation Technologies Corporation Method and system for providing a preview of a route calculated with a navigation system
AU2002225741A1 (en) * 2000-11-06 2002-05-15 Cathy D. Santa Cruz Method and apparatus used for installation and operation of a front vehicle brake light
US20030128112A1 (en) * 2002-01-09 2003-07-10 Cho-Ki Chow Wireless speed indicating system of automobile
US7774137B2 (en) * 2003-06-24 2010-08-10 Steve Thorne Speed-monitoring radar-activated brake light
JP3925474B2 (ja) * 2003-07-18 2007-06-06 日産自動車株式会社 車線変更支援装置
JP2005115484A (ja) 2003-09-17 2005-04-28 Fujitsu Ten Ltd 運転支援装置
DE602005007006D1 (de) 2004-04-08 2008-07-03 Mobileye Technologies Ltd Kollisionswarnsystem
DE102004031933A1 (de) * 2004-06-27 2006-02-09 Stiftung Alfred-Wegener-Institut Für Polar- Und Meeresforschung Rechnergestütztes Planungsverfahren für einen Reiseplan
JP2006251888A (ja) 2005-03-08 2006-09-21 Denso Corp 車両用運転支援装置及び車両用ナビゲーション装置
JP2006260217A (ja) * 2005-03-17 2006-09-28 Advics:Kk 車両用走行支援装置
DE102005062275A1 (de) * 2005-12-24 2007-06-28 Daimlerchrysler Ag Verfahren zur Erkennung eines drohenden Heckaufpralls
JP4400584B2 (ja) * 2006-03-01 2010-01-20 トヨタ自動車株式会社 障害物検出方法及び障害物検出装置
EP1862988B1 (en) * 2006-05-30 2009-11-04 Mazda Motor Corporation A driving assist for a vehicle
JP4914234B2 (ja) * 2007-01-31 2012-04-11 富士重工業株式会社 先行車両検出装置
TWI314115B (en) * 2007-09-27 2009-09-01 Ind Tech Res Inst Method and apparatus for predicting/alarming the moving of hidden objects
DE102008011228A1 (de) * 2008-02-26 2009-08-27 Robert Bosch Gmbh Verfahren zur Unterstützung eines Nutzers eines Fahrzeugs, Steuereinrichtung für ein Fahrerassistenzsystem eines Fahrzeugs und Fahrzeug mit einer derartigen Steuereinrichtung
JP5345350B2 (ja) * 2008-07-30 2013-11-20 富士重工業株式会社 車両の運転支援装置
JP4957747B2 (ja) * 2009-05-18 2012-06-20 トヨタ自動車株式会社 車両環境推定装置
JP5441549B2 (ja) * 2009-07-29 2014-03-12 日立オートモティブシステムズ株式会社 道路形状認識装置
JP5381665B2 (ja) * 2009-12-02 2014-01-08 トヨタ自動車株式会社 車両制御装置
JP5609604B2 (ja) * 2009-12-11 2014-10-22 株式会社デンソー ナビゲーション装置
JP5545022B2 (ja) * 2010-05-14 2014-07-09 トヨタ自動車株式会社 障害物認識装置
WO2012009620A1 (en) * 2010-07-16 2012-01-19 Carnegie Mellon University Methods and systems for coordinating vehicular traffic using in-vehicle virtual traffic control signals enabled by vehicle-to-vehicle communications
US9424468B2 (en) * 2010-09-08 2016-08-23 Toyota Jidosha Kabushiki Kaisha Moving object prediction device, hypothetical movable object prediction device, program, moving object prediction method and hypothetical movable object prediction method
DE102010040803A1 (de) * 2010-09-15 2012-03-15 Continental Teves Ag & Co. Ohg Visuelles Fahrerinformations- und Warnsystem für einen Fahrer eines Kraftfahrzeugs
JP5583540B2 (ja) * 2010-10-01 2014-09-03 パナソニック株式会社 事故要因領域特定装置および事故要因領域特定プログラム
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
DE102010052406A1 (de) * 2010-11-24 2011-07-07 Daimler AG, 70327 Verfahren zur Vermeidung oder Verminderung von Fahrzeugkollisionen
JP5189157B2 (ja) * 2010-11-30 2013-04-24 株式会社豊田中央研究所 可動物の目標状態決定装置及びプログラム
DE102011012793B4 (de) * 2011-03-02 2023-05-04 Volkswagen Ag Fahrerassistenzverfahren und Fahrerassistenzsystem
CN103703496B (zh) * 2011-08-10 2016-01-20 丰田自动车株式会社 驾驶辅助装置
DE102011116169A1 (de) * 2011-10-14 2013-04-18 Continental Teves Ag & Co. Ohg Vorrichtung zur Unterstützung eines Fahrers beim Fahren eines Fahrzeugs oder zum autonomen Fahren eines Fahrzeugs
JP5863481B2 (ja) * 2012-01-30 2016-02-16 日立マクセル株式会社 車両用衝突危険予測装置
US9020760B2 (en) * 2012-02-08 2015-04-28 Telogis, Inc. System for classifying streets for vehicle navigation
US8731742B2 (en) * 2012-04-05 2014-05-20 GM Global Technology Operations LLC Target vehicle movement classification
US8504233B1 (en) * 2012-04-27 2013-08-06 Google Inc. Safely navigating on roads through maintaining safe distance from other vehicles
JP6163718B2 (ja) 2012-08-30 2017-07-19 トヨタ自動車株式会社 車両制御装置
CN103903478A (zh) * 2012-12-29 2014-07-02 富泰华工业（深圳）有限公司 行车预警系统
US8788134B1 (en) * 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
US9092986B2 (en) * 2013-02-04 2015-07-28 Magna Electronics Inc. Vehicular vision system
GB2511750B (en) * 2013-03-11 2015-07-29 Jaguar Land Rover Ltd A driving assistance system, vehicle and method
US9254846B2 (en) * 2013-05-03 2016-02-09 Google Inc. Predictive reasoning for controlling speed of a vehicle
US9260095B2 (en) * 2013-06-19 2016-02-16 Magna Electronics Inc. Vehicle vision system with collision mitigation
JP6138655B2 (ja) * 2013-10-10 2017-05-31 日立オートモティブシステムズ株式会社 車両の運動制御装置
US20150120244A1 (en) * 2013-10-31 2015-04-30 Here Global B.V. Method and apparatus for road width estimation
JP2016536220A (ja) * 2013-12-11 2016-11-24 インテル コーポレイション 個別的な運転の好みに適応された車両のコンピュータ化された支援又は自立運転
US9988047B2 (en) * 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control
KR101500238B1 (ko) * 2013-12-23 2015-03-06 현대자동차주식회사 차량용 헤드업 디스플레이 조명 표시 방법
KR101541483B1 (ko) * 2014-01-03 2015-08-03 현대모비스(주) 차선 변경 감시 장치 및 그 제어 방법
JP6331402B2 (ja) * 2014-01-14 2018-05-30 株式会社デンソー 移動体検出装置および移動体検出方法
US9809219B2 (en) * 2014-01-29 2017-11-07 Continental Automotive Systems, Inc. System for accommodating a pedestrian during autonomous vehicle operation
EP3100206B1 (en) * 2014-01-30 2020-09-09 Mobileye Vision Technologies Ltd. Systems and methods for lane end recognition
JP6281483B2 (ja) * 2014-04-17 2018-02-21 株式会社デンソー 故障検出システム、情報処理装置、及び車両搭載装置
KR20150137799A (ko) * 2014-05-30 2015-12-09 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP6331858B2 (ja) 2014-08-07 2018-05-30 日産自動車株式会社 先行車追越支援装置
US9796326B2 (en) * 2014-08-08 2017-10-24 GM Global Technology Operations LLC Systems and methods for vehicle hazard light control with selectable lighting patterns
EP3183688B1 (en) * 2014-08-18 2023-08-23 Mobileye Vision Technologies Ltd. Recognition and prediction of lane constraints
US9534910B2 (en) * 2014-12-09 2017-01-03 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to yield scenarios
US9528838B2 (en) * 2014-12-09 2016-12-27 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to intersection priority
JP6470039B2 (ja) 2014-12-26 2019-02-13 日立オートモティブシステムズ株式会社 車両制御システム
US9406234B2 (en) * 2015-01-02 2016-08-02 Atieva, Inc. Automatically activated blind spot camera system
US10395541B2 (en) * 2015-01-16 2019-08-27 Texas Instruments Incorporated Integrated fault-tolerant augmented area viewing system
JP2016142612A (ja) * 2015-02-02 2016-08-08 日立オートモティブシステムズ株式会社 車両制御装置、距離算出装置および距離算出方法
KR102622571B1 (ko) * 2015-02-10 2024-01-09 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
KR102034722B1 (ko) * 2015-03-19 2019-10-21 현대자동차주식회사 차량, 차량의 통신 방법 및 차량에 포함된 무선 통신 장치
KR20160112552A (ko) * 2015-03-19 2016-09-28 현대자동차주식회사 차량, 차량의 통신 방법 및 차량에 포함된 무선 통신 장치
EP3091370B1 (en) * 2015-05-05 2021-01-06 Volvo Car Corporation Method and arrangement for determining safe vehicle trajectories
KR101843773B1 (ko) * 2015-06-30 2018-05-14 엘지전자 주식회사 차량 운전 보조 장치, 차량용 디스플레이 장치 및 차량
US9511767B1 (en) * 2015-07-01 2016-12-06 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle action planning using behavior prediction
JP6584509B2 (ja) * 2015-07-31 2019-10-02 日立オートモティブシステムズ株式会社 車両用操舵支援制御装置
US9550528B1 (en) * 2015-09-14 2017-01-24 Ford Global Technologies, Llc Lane change negotiation
CN105679090B (zh) * 2015-10-21 2017-11-28 天津师范大学 一种基于智能手机的夜间司机驾驶辅助方法
US10800455B2 (en) * 2015-12-17 2020-10-13 Ford Global Technologies, Llc Vehicle turn signal detection
US20170190286A1 (en) * 2016-01-03 2017-07-06 Edward Yavitz GPS Vehicle Speed and Velocity Change Indicator
CN108431549B (zh) * 2016-01-05 2020-09-04 御眼视觉技术有限公司 具有施加的约束的经训练的系统
JP6597344B2 (ja) 2016-01-29 2019-10-30 トヨタ自動車株式会社 車両制御装置
JP2019059245A (ja) 2016-02-05 2019-04-18 マクセル株式会社 ヘッドアップディスプレイ装置及びその表示制御方法
US10160437B2 (en) * 2016-02-29 2018-12-25 Magna Electronics Inc. Vehicle control system with reverse assist
DE102016002927A1 (de) * 2016-03-10 2016-10-06 Daimler Ag Verfahren zumindest zur Verringerung einer Kollisionsschwere für ein Fahrzeug
JP6270227B2 (ja) * 2016-03-14 2018-01-31 本田技研工業株式会社 車両制御装置、車両制御方法、および車両制御プログラム
US9857795B2 (en) * 2016-03-24 2018-01-02 Honda Motor Co., Ltd. System and method for trajectory planning for unexpected pedestrians
WO2017187622A1 (ja) * 2016-04-28 2017-11-02 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
KR101795249B1 (ko) * 2016-05-02 2017-11-07 현대자동차주식회사 차량 및 그것의 주행 안전 지원 방법
US20170329332A1 (en) * 2016-05-10 2017-11-16 Uber Technologies, Inc. Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object
US20170329346A1 (en) * 2016-05-12 2017-11-16 Magna Electronics Inc. Vehicle autonomous parking system
KR20230017365A (ko) * 2016-06-27 2023-02-03 모빌아이 비젼 테크놀로지스 엘티디. 검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어
JP6380919B2 (ja) * 2016-09-01 2018-08-29 マツダ株式会社 車両制御装置
JP6680170B2 (ja) * 2016-09-30 2020-04-15 株式会社デンソー 運転支援装置及び運転支援方法
EP3496069B1 (en) * 2016-10-07 2022-10-26 Aisin Corporation Travel assistance device and computer program
JP6916609B2 (ja) * 2016-11-21 2021-08-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 交差点情報配信装置及び交差点情報配信方法
JP6536554B2 (ja) * 2016-12-13 2019-07-03 トヨタ自動車株式会社 ウィンカ判定装置及び自動運転システム
KR102383427B1 (ko) * 2016-12-16 2022-04-07 현대자동차주식회사 자율주행 제어 장치 및 방법
JP6478415B2 (ja) * 2016-12-20 2019-03-06 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
KR102535540B1 (ko) * 2017-01-12 2023-05-23 모빌아이 비젼 테크놀로지스 엘티디. 차량 움직임에 기반한 항법
US10453344B2 (en) * 2017-02-16 2019-10-22 Panasonic Intellectual Corporation Of America Information processing apparatus and non-transitory recording medium
US10133275B1 (en) * 2017-03-01 2018-11-20 Zoox, Inc. Trajectory generation using temporal logic and tree search
KR102646644B1 (ko) * 2017-03-01 2024-03-13 모빌아이 비젼 테크놀로지스 엘티디. 감지 불확실성이 있는 항법을 위한 시스템 및 방법
WO2018158911A1 (ja) * 2017-03-02 2018-09-07 日産自動車株式会社 運転支援方法及び運転支援装置
JP2018151858A (ja) * 2017-03-13 2018-09-27 株式会社デンソーテン 車載機器、駐車管理装置、駐車管理システム、出庫準備方法、及び駐車管理方法
US10994730B2 (en) * 2017-04-19 2021-05-04 Nissan Motor Co., Ltd. Traveling assistance method and traveling assistance device
US20180307245A1 (en) * 2017-05-31 2018-10-25 Muhammad Zain Khawaja Autonomous Vehicle Corridor
WO2019008716A1 (ja) * 2017-07-06 2019-01-10 マクセル株式会社 可視外計測装置および可視外計測方法
US10620638B2 (en) * 2017-08-18 2020-04-14 Wipro Limited Method, system, and device for guiding autonomous vehicles based on dynamic extraction of road region
US10788585B2 (en) * 2017-09-15 2020-09-29 Toyota Research Institute, Inc. System and method for object detection using a probabilistic observation model
US11787287B2 (en) * 2017-11-17 2023-10-17 Aisin Corporation Vehicle drive assist system, vehicle drive assist method, and vehicle drive assist program
US20190278294A1 (en) * 2018-03-07 2019-09-12 Casio Computer Co., Ltd. Autonomous mobile apparatus, autonomous move method, and recording medium
CN117022255A (zh) * 2018-03-20 2023-11-10 御眼视觉技术有限公司 用于主车辆的自动驾驶系统、机器可读存储介质和装置
US10895468B2 (en) * 2018-04-10 2021-01-19 Toyota Jidosha Kabushiki Kaisha Dynamic lane-level vehicle navigation with lane group identification
US10642275B2 (en) * 2018-06-18 2020-05-05 Zoox, Inc. Occulsion aware planning and control
WO2020012212A1 (ja) * 2018-07-12 2020-01-16 日産自動車株式会社 走行支援方法及び走行支援装置
US11724691B2 (en) * 2018-09-15 2023-08-15 Toyota Research Institute, Inc. Systems and methods for estimating the risk associated with a vehicular maneuver
JP7067400B2 (ja) * 2018-10-05 2022-05-16 オムロン株式会社 検知装置、移動体システム、及び検知方法
US10627819B1 (en) * 2018-10-11 2020-04-21 Pony Ai Inc. On-site notification from autonomous vehicle for traffic safety
JP6958537B2 (ja) * 2018-12-20 2021-11-02 オムロン株式会社 検知装置、移動体システム、及び検知方法
US11188082B2 (en) * 2019-01-11 2021-11-30 Zoox, Inc. Occlusion prediction and trajectory evaluation
JP7275623B2 (ja) * 2019-02-12 2023-05-18 株式会社デンソー 運転支援装置
US11016492B2 (en) * 2019-02-28 2021-05-25 Zoox, Inc. Determining occupancy of occluded regions
JP7199269B2 (ja) * 2019-03-20 2023-01-05 日立Astemo株式会社 外界センシング情報処理装置
WO2020245654A1 (en) * 2019-06-06 2020-12-10 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation
US20210031760A1 (en) * 2019-07-31 2021-02-04 Nissan North America, Inc. Contingency Planning and Safety Assurance
US11403943B2 (en) * 2020-07-14 2022-08-02 Argo AI, LLC Method and system for vehicle navigation using information from smart node
US11473917B2 (en) * 2020-07-14 2022-10-18 Argo AI, LLC System for augmenting autonomous vehicle perception using smart nodes
US20220097726A1 (en) * 2020-09-29 2022-03-31 Waymo Llc Planning for occlusions with surfel maps
US11295147B1 (en) * 2020-11-27 2022-04-05 HCL Technologies Italy S.p.A. Method and system for detecting and managing obfuscation of a road sign
US20220185267A1 (en) * 2020-12-16 2022-06-16 Zoox, Inc. Object determination in an occluded region
CN114643996A (zh) * 2020-12-19 2022-06-21 荷兰移动驱动器公司 辅助驾驶方法以及车辆
JP2022128712A (ja) * 2021-02-24 2022-09-05 本田技研工業株式会社 道路情報生成装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009025090A (ja) * 2007-07-18 2009-02-05 Funai Electric Co Ltd ナビゲーション装置
CN105074793A (zh) * 2013-03-15 2015-11-18 凯利普公司 用于车辆路径规划和交通管理的车道级车辆导航
CN104422462A (zh) * 2013-09-06 2015-03-18 上海博泰悦臻电子设备制造有限公司 一种车辆导航的方法、装置
CN105593700A (zh) * 2013-10-03 2016-05-18 罗伯特·博世有限公司 带有入口匝道检测的自适应巡航控制
CN106030609A (zh) * 2013-12-04 2016-10-12 移动眼视力科技有限公司 用于模仿前车的系统和方法
CN104776854A (zh) * 2015-04-30 2015-07-15 上海天奕达电子科技有限公司 跟车导航方法及系统、导航系统

Also Published As

Publication number Publication date
CN110657820A (zh) 2020-01-07
KR102513185B1 (ko) 2023-03-23
US11738741B2 (en) 2023-08-29
CN110383008A (zh) 2019-10-25
EP3657130A1 (en) 2020-05-27
JP2022173452A (ja) 2022-11-18
US20190329769A1 (en) 2019-10-31
US20190333381A1 (en) 2019-10-31
WO2018132614A3 (en) 2018-08-23
KR20190107057A (ko) 2019-09-18
WO2018132608A2 (en) 2018-07-19
US20190329773A1 (en) 2019-10-31
IL267857B (en) 2021-12-01
US20190329782A1 (en) 2019-10-31
IL267857A (en) 2019-09-26
US20190329768A1 (en) 2019-10-31
CN110325823A (zh) 2019-10-11
IL293713B2 (en) 2023-06-01
WO2018132614A2 (en) 2018-07-19
JP2020506838A (ja) 2020-03-05
EP3545265A2 (en) 2019-10-02
JP7159533B2 (ja) 2022-10-25
US11608057B2 (en) 2023-03-21
KR102551130B1 (ko) 2023-07-05
IL287819A (en) 2022-01-01
JP7283680B2 (ja) 2023-05-30
IL293713A (en) 2022-08-01
US11034346B2 (en) 2021-06-15
EP4230964A1 (en) 2023-08-23
US20210269021A1 (en) 2021-09-02
WO2018132607A2 (en) 2018-07-19
JP2020015504A (ja) 2020-01-30
US11173900B2 (en) 2021-11-16
IL287819B (en) 2022-07-01
US10875528B2 (en) 2020-12-29
EP3548845B1 (en) 2021-10-13
EP3657130B1 (en) 2023-05-10
WO2018132608A3 (en) 2018-08-23
WO2018132607A3 (en) 2018-08-23
US20190329783A1 (en) 2019-10-31
CN110325823B (zh) 2023-08-29
JP2020516971A (ja) 2020-06-11
EP3548845A2 (en) 2019-10-09
KR20190107071A (ko) 2019-09-18
US20230347877A1 (en) 2023-11-02
JP7160251B2 (ja) 2022-10-25
US20220363248A1 (en) 2022-11-17
CA3049770A1 (en) 2018-07-19
KR102535540B1 (ko) 2023-05-23
KR20190099088A (ko) 2019-08-23

Similar Documents

Publication Publication Date Title
CN110383008B (zh) 基于车辆活动的导航
CN110402371B (zh) 用于利用感测不确定性导航的系统和方法
CN108431549B (zh) 具有施加的约束的经训练的系统
CN111278704B (zh) 用于导航车辆的系统和方法
CN112629551B (zh) 具有施加的责任约束的导航系统
CN112629551A (zh) 具有施加的责任约束的导航系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant