JP2020187754A - 課せられる責任の制約を伴うナビゲーションシステム - Google Patents

課せられる責任の制約を伴うナビゲーションシステム Download PDF

Info

Publication number
JP2020187754A
JP2020187754A JP2020089156A JP2020089156A JP2020187754A JP 2020187754 A JP2020187754 A JP 2020187754A JP 2020089156 A JP2020089156 A JP 2020089156A JP 2020089156 A JP2020089156 A JP 2020089156A JP 2020187754 A JP2020187754 A JP 2020187754A
Authority
JP
Japan
Prior art keywords
host vehicle
vehicle
navigation
accident liability
planned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020089156A
Other languages
English (en)
Inventor
シャレブ−シュワルツ,シャイ
Shalev-Shwartz Shai
シャマ,シェイクド
Shammah Shaked
シャシュア,アムノン
Shashua Amnon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mobileye Vision Technologies Ltd
Original Assignee
Mobileye Vision Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobileye Vision Technologies Ltd filed Critical Mobileye Vision Technologies Ltd
Publication of JP2020187754A publication Critical patent/JP2020187754A/ja
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0953Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105Speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B62D15/0265Automatic obstacle avoidance by steering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3446Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08Insurance
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/006Indicating maintenance
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/02Registering or indicating driving, working, idle, or waiting time only
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • B60W2050/0004In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005Processor details or data handling, e.g. memory registers or chip architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/009Priority selection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2400/00Indexing codes relating to detected, measured or calculated conditions or factors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/50Barriers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/20Static objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • B60W2554/4023Type large-size vehicles, e.g. trucks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • B60W2554/4026Cycles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • B60W2554/4029Pedestrians
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4046Behavior, e.g. aggressive or erratic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/60Traversable objects, e.g. speed bumps or curbs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/801Lateral distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/802Longitudinal distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/804Relative longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60Traffic rules, e.g. speed limits or right of way
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/18Braking system

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Business, Economics & Management (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Technology Law (AREA)
  • Development Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Diaphragms For Electromechanical Transducers (AREA)

Abstract

【課題】ホスト車両をナビゲートするためのシステム及び方法を提供する。【解決手段】システムは、ホスト車両1901の環境を表す少なくとも1つの画像を画像捕捉装置から受信することと、ホスト車両のナビゲーション目標を達成するための計画されたナビゲーション動作を少なくとも1つの運転ポリシに基づいて決定することと、計画されたナビゲーション動作を少なくとも1つの事故責任規則に対してテストすることと、少計画されたナビゲーション動作が行われる場合にホスト車両について潜在的な事故責任があることを示す場合、計画されたナビゲーション動作をホスト車両に実施させないことと、少なくとも1つの事故責任規則に対する計画されたナビゲーション動作のテストが、計画されたナビゲーション動作が行われる場合にホスト車両について事故責任が生じないであろうことを示す場合、計画されたナビゲーション動作をホスト車両に実施させる。【選択図】図19

Description

関連出願の相互参照
[001] 本願は、2016年12月23日に出願された米国仮特許出願第62/438
,563号、2017年8月16日に出願された米国仮特許出願第62/546,343
号、2017年9月29日に出願された米国仮特許出願第62/565,244号及び2
017年11月7日に出願された米国仮特許出願第62/582,687号の優先権の利
益を主張するものである。上記の出願の全ては、参照によりその全体が本明細書に援用さ
れる。
背景
技術分野
[002] 本開示は、概して、自律車両ナビゲーションに関する。加えて、本開示は、潜
在的な(生じ得る)事故責任の制約に従ってナビゲートするためのシステム及び方法に関
する。
背景情報
[003] 技術が進化し続けるにつれ、路上でナビゲート可能な完全自律車両という目標
が現実味を帯びてきている。自律車両は、様々な要因を考慮する必要があり得、それらの
要因に基づいて、意図される目的地に安全且つ正確に到達するのに適切な判断を下し得る
。例えば、自律車両は、視覚的情報(例えば、カメラから捕捉される情報)、レーダ、又
はライダからの情報を処理して解釈する必要があり得ると共に、他のソース(例えば、G
PSデバイス、速度センサ、加速度計、サスペンションセンサ等)から得られる情報を使
用することもある。同時に、目的地にナビゲートするために、自律車両は、特定の道路(
例えば、複数レーン道路内の特定のレーン)内の自らの位置を識別し、他の車両と並んで
ナビゲートし、障害物及び歩行者を回避し、交通信号及び標識を観測し、適切な交差点又
はインターチェンジで、ある道路から別の道路に進み、車両の動作中に起こるか又は展開
する他の任意の状況に応答する必要もあり得る。更に、ナビゲーションシステムは、一定
の課された制約に従わなければならない場合がある。幾つかの場合、それらの制約は、ホ
スト車両と、他の車両や歩行者等の1つ又は複数の他の物体との間の相互作用に関係する
場合がある。他の事例では、それらの制約は、ホスト車両のための1つ又は複数のナビゲ
ーション動作を実施する際に従うべき責任規則に関係し得る。
[004] 自律運転の分野では、存立可能な自律車両システムにとって2つの重要な検討
事項がある。1つ目の検討事項は、安全を保証するために全ての自動運転車両が満たさな
ければならない要件を含む安全保証の標準化、及びそれらの要件をどのように検証できる
かである。2つ目の検討事項は、スケーラビリティであり、なぜなら、コストが上昇する
原因となるエンジニアリングの解決策は、何百万台もの車に合わせてスケーリングするこ
とにならず、自律車両の広範な採用又は更にはそれほど広範でない採用さえ妨げる可能性
があるからである。従って、安全保証のための解釈可能な数学モデル及び何百万台もの車
に合わせてスケーリング可能でありながら、安全保証の要件に従うシステムの設計が求め
られている。
概要
[005] 本開示による実施形態は、自律車両ナビゲーションのシステム及び方法を提供
する。開示される実施形態は、カメラを使用して、自律車両ナビゲーション特徴を提供し
得る。例えば、本開示の実施形態によれば、開示されるシステムは、車両の環境を監視す
る1つ、2つ、又は3つ以上のカメラを含み得る。開示されるシステムは、例えば、カメ
ラの1つ又は複数により捕捉された画像の分析に基づいて、ナビゲーション応答を提供し
得る。ナビゲーション応答は、例えば、全地球測位(GPS)データ、センサデータ(例
えば、加速度計、速度センサ、サスペンションセンサ等から)、及び/又は他の地図デー
タを含む他のデータを考慮することもできる。
[006] ホスト車両をナビゲートするためのシステム及び方法が提供される。幾つかの
実施形態では、システムは、ホスト車両の環境を表す少なくとも1つの画像を画像捕捉装
置から受信することと、ホスト車両のナビゲーション目標を達成するための計画されたナ
ビゲーション動作を少なくとも1つの運転ポリシに基づいて決定することと、少なくとも
1つの画像を分析してホスト車両の環境内の目標車両を識別することと、識別された目標
車両に対するホスト車両の潜在的な事故責任を決定するために、計画されたナビゲーショ
ン動作を少なくとも1つの事故責任規則に対してテストすることと、少なくとも1つの事
故責任規則に対する計画されたナビゲーション動作のテストが、計画されたナビゲーショ
ン動作が行われる場合にホスト車両について潜在的な事故責任があることを示す場合、計
画されたナビゲーション動作をホスト車両に実施させないことと、少なくとも1つの事故
責任規則に対する計画されたナビゲーション動作のテストが、計画されたナビゲーション
動作が行われる場合にホスト車両について事故責任が生じないであろうことを示す場合、
計画されたナビゲーション動作をホスト車両に実施させることとを行うようにプログラム
される少なくとも1つの処理デバイスを含み得る。
[007] 幾つかの実施形態では、ホスト車両のためのナビゲーションシステムは、ホス
ト車両の環境を表す少なくとも1つの画像を画像捕捉装置から受信することと、ホスト車
両のための複数の潜在的な(選択し得る)ナビゲーション動作を少なくとも1つの運転ポ
リシに基づいて決定することと、少なくとも1つの画像を分析してホスト車両の環境内の
目標車両を識別することと、識別された目標車両に対するホスト車両の潜在的な事故責任
を決定するために、複数の潜在的なナビゲーション動作を少なくとも1つの事故責任規則
に対してテストすることと、潜在的なナビゲーション動作の1つを選択することであって
、潜在的なナビゲーション動作のその1つについて、テストは、選択された潜在的なナビ
ゲーション動作が行われる場合にホスト車両について事故責任が生じないであろうことを
示す、選択することと、選択された潜在的なナビゲーション動作をホスト車両に実施させ
ることとを行うようにプログラムされる少なくとも1つの処理デバイスを含み得る。
[008] 幾つかの実施形態では、ホスト車両をナビゲートするためのシステムは、ホス
ト車両の環境を表す少なくとも1つの画像を画像捕捉装置から受信することと、ホスト車
両のナビゲーション目標を達成するための2つ以上の計画されたナビゲーション動作を少
なくとも1つの運転ポリシに基づいて決定することと、少なくとも1つの画像を分析して
ホスト車両の環境内の目標車両を識別することと、潜在的な事故責任を決定するために、
2つ以上の計画されたナビゲーション動作のそれぞれを少なくとも1つの事故責任規則に
対してテストすることと、2つ以上の計画されたナビゲーション動作のそれぞれについて
、テストが、2つ以上の計画されたナビゲーション動作の特定の1つが行われる場合にホ
スト車両について潜在的な事故責任があることを示す場合、計画されたナビゲーション動
作の特定の1つをホスト車両に実施させないことと、2つ以上の計画されたナビゲーショ
ン動作のそれぞれについて、テストが、2つ以上の計画されたナビゲーション動作の特定
の1つが行われる場合にホスト車両について事故責任が生じないであろうことを示す場合
、2つ以上の計画されたナビゲーション動作の特定の1つを、実施のための存立可能な候
補として識別することと、少なくとも1つのコスト関数に基づき、実施のための存立可能
な候補の中から行われるナビゲーション動作を選択することと、選択されたナビゲーショ
ン動作をホスト車両に実施させることとを行うようにプログラムされる少なくとも1つの
処理デバイスを含み得る。
[009] 幾つかの実施形態では、ホスト車両のための事故責任追跡システムは、ホスト
車両の環境を表す少なくとも1つの画像を画像捕捉装置から受信することと、少なくとも
1つの画像を分析してホスト車両の環境内の目標車両を識別することと、少なくとも1つ
の画像の分析に基づき、識別された目標車両のナビゲーション状態の1つ又は複数の特性
を決定することと、識別された目標車両のナビゲーション状態の決定された1つ又は複数
の特性を少なくとも1つの事故責任規則と比較することと、識別された目標車両のナビゲ
ーション状態の決定された1つ又は複数の特性の少なくとも1つの事故責任規則との比較
に基づき、識別された目標車両側の潜在的な事故責任を示す少なくとも1つの値を記憶す
ることと、ホスト車両と少なくとも1つの目標車両との間の事故後、事故の責任を決定す
るために、記憶された少なくとも1つの値を出力することとを行うようにプログラムされ
る少なくとも1つの処理デバイスを含み得る。
[010] 幾つかの実施形態では、ホスト車両をナビゲートするためのシステムは、ホス
ト車両の環境を表す少なくとも1つの画像を画像捕捉装置から受信することと、ホスト車
両のナビゲーション目標を達成するための計画されたナビゲーション動作を少なくとも1
つの運転ポリシに基づいて決定することと、少なくとも1つの画像を分析してホスト車両
の環境内の目標車両を識別することと、潜在的な事故責任を決定するために、計画された
ナビゲーション動作を少なくとも1つの事故責任規則に対してテストすることと、少なく
とも1つの事故責任規則に対する計画されたナビゲーション動作のテストが、計画された
ナビゲーション動作が行われる場合にホスト車両について潜在的な事故責任があることを
示す場合、計画されたナビゲーション動作をホスト車両に実施させないことと、少なくと
も1つの事故責任規則に対する計画されたナビゲーション動作のテストが、計画されたナ
ビゲーション動作が行われる場合にホスト車両について事故責任が生じないであろうこと
を示す場合、計画されたナビゲーション動作をホスト車両に実施させることとを行うよう
にプログラムされる少なくとも1つの処理デバイスを含むことができ、少なくとも1つの
処理デバイスは、少なくとも1つの画像の分析に基づき、識別された目標車両のナビゲー
ション状態の1つ又は複数の特性を決定することと、識別された目標車両のナビゲーショ
ン状態の決定された1つ又は複数の特性を少なくとも1つの事故責任規則と比較すること
と、識別された目標車両のナビゲーション状態の決定された1つ又は複数の特性の少なく
とも1つの事故責任規則との比較に基づき、識別された目標車両の側の潜在的な事故責任
を示す少なくとも1つの値を記憶することとを行うように更にプログラムされる。
[011] 幾つかの実施形態では、ホスト車両をナビゲートするためのシステムは、ホス
ト車両の環境を表す少なくとも1つの画像を画像捕捉装置から受信することと、ホスト車
両のナビゲーション目標を達成するための計画されたナビゲーション動作を少なくとも1
つの運転ポリシに基づいて決定することと、少なくとも1つの画像を分析してホスト車両
の環境内の目標車両を識別することと、計画されたナビゲーション動作が行われた場合に
生じることになる、ホスト車両と目標車両との間の次の状態の距離を決定することと、ホ
スト車両の現在の最大ブレーキ能力及びホスト車両の現在の速度を決定することと、目標
車両の現在の速度を決定し、且つ目標車両の少なくとも1つの認識された特性に基づいて
目標車両の最大ブレーキ能力を仮定することと、ホスト車両の最大ブレーキ能力及びホス
ト車両の現在の速度を所与として、目標車両の現在の速度及び目標車両の仮定された最大
ブレーキ能力に基づいて決定される目標車両の移動距離に、決定された次の状態の距離を
加算したもの未満である停止距離内でホスト車両が停止され得る場合、計画されたナビゲ
ーション動作を実施することとを行うようにプログラムされる少なくとも1つの処理デバ
イスを含み得る。
[012] 幾つかの実施形態では、ホスト車両をナビゲートするためのシステムは、ホス
ト車両の環境を表す少なくとも1つの画像を画像捕捉装置から受信することと、ホスト車
両のナビゲーション目標を達成するための計画されたナビゲーション動作を少なくとも1
つの運転ポリシに基づいて決定することと、少なくとも1つの画像を分析して、ホスト車
両の前方の第1の目標車両及び第1の目標車両の前方の第2の目標車両を識別することと
、計画されたナビゲーション動作が行われた場合に生じることになる、ホスト車両と第2
の目標車両との間の次の状態の距離を決定することと、ホスト車両の現在の最大ブレーキ
能力及びホスト車両の現在の速度を決定することと、ホスト車両の最大ブレーキ能力及び
ホスト車両の現在の速度を所与として、ホスト車両と第2の目標車両との間の決定された
次の状態の距離未満である停止距離内でホスト車両が停止され得る場合、計画されたナビ
ゲーション動作を実施することを行うようにプログラムされる少なくとも1つの処理デバ
イスを含み得る。
[013] 幾つかの実施形態では、ホスト車両をナビゲートするためのシステムは、ホス
ト車両の環境を表す少なくとも1つの画像を画像捕捉装置から受信することと、少なくと
も1つの画像を分析してホスト車両の環境内の目標車両を識別することと、ホスト車両の
ナビゲーション目標を達成するための2つ以上の潜在的なナビゲーション動作を決定する
ことと、2つ以上の潜在的なナビゲーション動作のそれぞれについて、ホスト車両と識別
された目標車両との間の潜在的な事故責任のインジケータを決定するために2つ以上の潜
在的なナビゲーション動作のそれぞれを少なくとも1つの事故責任規則に対してテストす
ることと、2つ以上の潜在的なナビゲーション動作の1つを実施のために選択することで
あって、前記選択された動作に関連する潜在的な事故責任のインジケータが、前記選択さ
れた動作を実施する結果として潜在的な事故責任がホスト車両に伴わないことを示す場合
にのみ、前記1つを選択することとを行うようにプログラムされる少なくとも1つの処理
デバイスを含み得る。
[014] 幾つかの実施形態では、ホスト車両をナビゲートするためのシステムは、ホス
ト車両の環境を表す少なくとも1つの画像を画像捕捉装置から受信することと、ホスト車
両の現在のナビゲーション状態のインジケータを少なくとも1つのセンサから受信するこ
とと、少なくとも1つの画像の分析及びホスト車両の現在のナビゲーション状態のインジ
ケータに基づき、ホスト車両と1つ又は複数の物体との間の衝突が不可避であると決定す
ることと、少なくとも1つの運転ポリシに基づき、第1の物体との予期される衝突を伴う
ホスト車両のための第1の計画されたナビゲーション動作と、第2の物体との予期される
衝突を伴うホスト車両のための第2の計画されたナビゲーション動作とを決定することと
、潜在的な事故責任を決定するために、第1の計画されたナビゲーション動作及び第2の
計画されたナビゲーション動作を少なくとも1つの事故責任規則に対してテストすること
と、少なくとも1つの事故責任規則に対する第1の計画されたナビゲーション動作のテス
トが、第1の計画されたナビゲーション動作が行われる場合にホスト車両について潜在的
な事故責任があることを示す場合、第1の計画されたナビゲーション動作をホスト車両に
実施させないことと、少なくとも1つの事故責任規則に対する第2の計画されたナビゲー
ション動作のテストが、第2の計画されたナビゲーション動作が行われる場合にホスト車
両について事故責任が生じないであろうことを示す場合、第2の計画されたナビゲーショ
ン動作をホスト車両に実施させることとを行うようにプログラムされる少なくとも1つの
処理デバイスを含み得る。
[015] 開示される他の実施形態によれば、非一時的コンピュータ可読記憶媒体は、少
なくとも1つの処理デバイスにより実行可能であり、且つ本明細書に記載される任意のス
テップ及び/又は方法を実行するプログラム命令を記憶し得る。
[016] 上述した概説及び以下に詳述する説明は、単に例示的及び説明的なものであり
、特許請求の範囲の限定ではない。
図面の簡単な説明
[017] 本開示に組み込まれ、本明細書の一部をなす添付図面は、開示される様々な実
施形態を示す。
[018]開示される実施形態による例示的なシステムの図表現である。 [019]開示される実施形態によるシステムを含む例示的な車両の側面図表現である。 [020]開示される実施形態による図2Aに示される車両及びシステムの上面図表現である。 [021]開示される実施形態によるシステムを含む車両の別の実施形態の上面図表現である。 [022]開示される実施形態によるシステムを含む車両の更に別の実施形態の上面図表現である。 [023]開示される実施形態によるシステムを含む車両の更に別の実施形態の上面図表現である。 [024]開示される実施形態による例示的な車両制御システムの図表現である。 [025]バックミラーと、開示される実施形態による車両撮像システムのユーザインタフェースとを含む車両の内部の図表現である。 [026]開示される実施形態による、バックミラーの背後に、車両フロントガラスと対向して位置決めされるように構成されるカメラマウントの例の図である。 [027]開示される実施形態による、異なる視点からの図3Bに示されるカメラマウントの図である。 [028]開示される実施形態による、バックミラーの背後に、車両フロントガラスと対向して位置決めされるように構成されるカメラマウントの例の図である。 [029]開示される実施形態による1つ又は複数の動作を実行する命令を記憶するように構成されるメモリの例示的なブロック図である。 [030]開示される実施形態による、単眼画像分析に基づいて1つ又は複数のナビゲーション応答を生じさせる例示的なプロセスを示すフローチャートである。 [031]開示される実施形態による、画像の組内の1つ又は複数の車両及び/又は歩行者を検出する例示的なプロセスを示すフローチャートである。 [032]開示される実施形態による、画像の組内の道路マーク及び/又はレーンジオメトリ情報を検出する例示的なプロセスを示すフローチャートである。 [033]開示される実施形態による、画像の組内の信号機を検出する例示的なプロセスを示すフローチャートである。 [034]開示される実施形態による、車両経路に基づいて1つ又は複数のナビゲーション応答を生じさせる例示的なプロセスのフローチャートである。 [035]開示される実施形態による、先行車両がレーンを変更中であるか否かを特定する例示的なプロセスを示すフローチャートである。 [036]開示される実施形態による、立体画像分析に基づいて1つ又は複数のナビゲーション応答を生じさせる例示的なプロセスを示すフローチャートである。 [037]開示される実施形態による、3組の画像の分析に基づいて1つ又は複数のナビゲーション応答を生じさせる例示的なプロセスを示すフローチャートである。 [038]開示される実施形態による、自律車両のためのナビゲーションシステムの1つ又は複数の具体的にプログラムされた処理デバイスによって実装され得るモジュールのブロック図表現である。 [039]開示される実施形態による、ナビゲーションの選択肢のグラフである。 [040]開示される実施形態による、ナビゲーションの選択肢のグラフである。 [041]開示される実施形態による、合流区域内のホスト車両のナビゲーションの選択肢の概略図を示す。 [041]開示される実施形態による、合流区域内のホスト車両のナビゲーションの選択肢の概略図を示す。 [041]開示される実施形態による、合流区域内のホスト車両のナビゲーションの選択肢の概略図を示す。 [042]開示される実施形態による二重合流シナリオの図表現を示す。 [043]開示される実施形態による二重合流シナリオにおいて潜在的に有用な選択肢のグラフを示す。 [044]開示される実施形態による、潜在的なナビゲーション制約と共にホスト車両の環境について捕捉した代表的な画像の図を示す。 [045]開示される実施形態による、車両をナビゲートするためのアルゴリズムのフローチャートを示す。 [046]開示される実施形態による、車両をナビゲートするためのアルゴリズムのフローチャートを示す。 [047]開示される実施形態による、車両をナビゲートするためのアルゴリズムのフローチャートを示す。 [048]開示される実施形態による、車両をナビゲートするためのアルゴリズムのフローチャートを示す。 [049]開示される実施形態による、環状交差路内にナビゲートするホスト車両の図を示す。 [049]開示される実施形態による、環状交差路内にナビゲートするホスト車両の図を示す。 [050]開示される実施形態による、車両をナビゲートするためのアルゴリズムのフローチャートを示す。 [051]開示される実施形態による、複数レーン高速道路上を走行するホスト車両の一例を示す。 [052]開示される実施形態による、別の車両の前に割り込む車両の一例を示す。 [052]開示される実施形態による、別の車両の前に割り込む車両の一例を示す。 [053]開示される実施形態による、別の車両を追走する車両の一例を示す。 [054]開示される実施形態による、駐車場を出て、場合により交通量が多い道路に合流する車両の一例を示す。 [055]開示される実施形態による、道路上を進む車両を示す。 [056]開示される実施形態によるシナリオの一例を示す。 [056]開示される実施形態によるシナリオの一例を示す。 [056]開示される実施形態によるシナリオの一例を示す。 [056]開示される実施形態によるシナリオの一例を示す。 [057]開示される実施形態によるシナリオの一例を示す。 [058]開示される実施形態によるシナリオの一例を示す。 [059]開示される実施形態によるシナリオの一例を示す。 [060]開示される実施形態による、車両が別の車両を追走するシナリオの一例を示す。 [060]開示される実施形態による、車両が別の車両を追走するシナリオの一例を示す。 [061]開示される実施形態による、割り込みシナリオにおける過失の一例を示す。 [061]開示される実施形態による、割り込みシナリオにおける過失の一例を示す。 [062]開示される実施形態による、割り込みシナリオにおける過失の一例を示す。 [062]開示される実施形態による、割り込みシナリオにおける過失の一例を示す。 [063]開示される実施形態による、ドリフトシナリオにおける過失の一例を示す。 [063]開示される実施形態による、ドリフトシナリオにおける過失の一例を示す。 [063]開示される実施形態による、ドリフトシナリオにおける過失の一例を示す。 [063]開示される実施形態による、ドリフトシナリオにおける過失の一例を示す。 [064]開示される実施形態による、双方向交通シナリオにおける過失の一例を示す。 [064]開示される実施形態による、双方向交通シナリオにおける過失の一例を示す。 [065]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [065]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [066]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [066]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [067]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [067]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [068]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [068]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [069]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [069]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [070]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [070]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [071]開示される実施形態による、信号機シナリオにおける過失の一例を示す。 [071]開示される実施形態による、信号機シナリオにおける過失の一例を示す。 [072]開示される実施形態による、信号機シナリオにおける過失の一例を示す。 [072]開示される実施形態による、信号機シナリオにおける過失の一例を示す。 [073]開示される実施形態による、信号機シナリオにおける過失の一例を示す。 [073]開示される実施形態による、信号機シナリオにおける過失の一例を示す。 [074]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [074]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [074]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [075]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [075]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [075]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [076]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [076]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [076]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [077]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [077]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [077]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [077]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。
詳細な説明
[078] 以下の詳細な説明は、添付図面を参照する。可能な場合には常に、図面及び以
下の説明において、同じ又は同様の部分を指すのに同じ参照番号が使用される。幾つかの
例示的な実施形態は本明細書で説明されるが、変更形態、適応形態、及び他の実装形態が
可能である。例えば、図面に示される構成要素に対する置換形態、追加形態、又は変更形
態がなされ得、本明細書に記載される例示的な方法は、開示される方法のステップの置換
、順序替え、削除、又は追加により変更することができる。従って、以下の詳細な説明は
、開示される実施形態及び例に限定されない。その代わり、適切な範囲は、添付の特許請
求の範囲により規定される。
[079] 自律車両の概要
[080] 本開示の全体を通して使用するとき、「自律車両」という用語は、ドライバー
の入力なしで少なくとも1つのナビゲーション変更を実施することができる車両を指す。
「ナビゲーション変更」は、車両の操舵、ブレーキ、又は加速/減速の1つ又は複数の変
更を指す。自律的であるために、車両は、完全に自動である(例えば、ドライバー又はド
ライバー入力なしに完全に動作可能である)必要はない。むしろ、自律車両は、特定の時
間期間中にドライバーの制御下で動作し、他の時間期間中にドライバーの制御なしで動作
することができる車両を含む。自律車両は、(例えば、車両レーン制約間に車両コースを
維持するために)操舵等の車両ナビゲーションの幾つかの側面のみを制御するか、又は(
あらゆる状況下ではなく)一定の状況下で幾つかの操舵動作を制御する一方、他の側面(
例えば、ブレーキ又は一定の状況下でのブレーキ)をドライバーに任せ得る車両を含むこ
ともできる。幾つかの場合、自律車両は、車両のブレーキ、速度制御及び/又は操舵の幾
つかの又は全ての側面を扱い得る。
[081] 人間のドライバーは、通常、車両を制御するために視覚的手掛かり及び観測に
依存することから、交通基盤は、それに従って構築されており、レーンマーク、交通標識
、及び信号機は、視覚的情報をドライバーに提供するように設計されている。交通基盤の
これらの設計特徴に鑑みて、自律車両は、カメラと、車両の環境から捕捉される視覚的情
報を分析する処理ユニットとを含み得る。視覚的情報は、例えば、ドライバーにより観測
可能な交通基盤の構成要素(例えば、レーンマーク、交通標識、信号機等)及び他の障害
物(例えば、他の車両、歩行者、瓦礫等)を表す画像を含み得る。更に、自動車両は、ナ
ビゲート時、車両の環境のモデルを提供する情報等の記憶された情報を使用することもで
きる。例えば、車両は、GPSデータ、センサデータ(例えば、加速度計、速度センサ、
サスペンションセンサ等からの)、及び/又は他の地図データを使用して、車両が走行し
ている間、車両の環境に関連する情報を提供し得、車両(及び他の車両)は情報を使用し
て、モデル上で自身の位置を特定し得る。一部の車両は、車両間の通信、情報の共有、車
両の周囲の危険又は変化のピア車両の変更等も可能であり得る。
[082] システム概要
[083] 図1は、開示される例示的な実施形態によるシステム100のブロック図表現
である。システム100は、特定の実施要件に応じて様々な構成要素を含み得る。幾つか
の実施形態では、システム100は、処理ユニット110、画像取得ユニット120、位
置センサ130、1つ又は複数のメモリユニット140、150、地図データベース16
0、ユーザインタフェース170、及び無線送受信機172を含み得る。処理ユニット1
10は、1つ又は複数の処理デバイスを含み得る。幾つかの実施形態では、処理ユニット
110は、アプリケーションプロセッサ180、画像プロセッサ190、又は他の任意の
適切な処理デバイスを含み得る。同様に、画像取得ユニット120は、特定の用途の要件
に応じて任意の数の画像取得デバイス及び構成要素を含み得る。幾つかの実施形態では、
画像取得ユニット120は、画像捕捉デバイス122、画像捕捉デバイス124、画像捕
捉デバイス126等の1つ又は複数の画像捕捉デバイス(例えば、カメラ、CCD、他の
任意の種類の画像センサ)を含み得る。システム100は、処理ユニット110を画像取
得ユニット120に通信可能に接続するデータインタフェース128を含むこともできる
。例えば、データインタフェース128は、画像取得ユニット120によって取得された
画像データを処理ユニット110に伝送するための1つ又は複数の任意の有線リンク及び
/又は無線リンクを含み得る。
[084] 無線送受信機172は、無線周波数、赤外線周波数、磁場、又は電場の使用に
より無線インタフェースを介して伝送を1つ又は複数のネットワーク(例えば、セルラや
インターネット等)と交換するように構成される1つ又は複数のデバイスを含み得る。無
線送受信機172は、任意の既知の標準を使用してデータを送信及び/又は受信し得る(
例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)、Bluetooth Smart、802.15.4、Zig
Bee(登録商標)等)。かかる伝送は、ホスト車両から1つ又は複数の遠隔設置されたサ
ーバへの通信を含み得る。かかる伝送は、(例えば、ホスト車両の環境内の目標車両を考
慮して又はかかる目標車両と共にホスト車両のナビゲーションの調整を促進するための)
ホスト車両とホスト車両の環境内の1つ又は複数の目標車両との間の(単方向又は双方向
)通信、更には伝送側の車両の付近にある未指定の受け手へのブロードキャスト伝送も含
み得る。
[085] アプリケーションプロセッサ180及び画像プロセッサ190の両方は、様々
なタイプのハードウェアベースの処理デバイスを含み得る。例えば、アプリケーションプ
ロセッサ180及び画像プロセッサ190のいずれか一方又は両方は、マイクロプロセッ
サ、プリプロセッサ(画像プリプロセッサ等)、グラフィックスプロセッサ、中央演算処
理装置(CPU)、サポート回路、デジタル信号プロセッサ、集積回路、メモリ、又はア
プリケーションを実行し、画像を処理して分析するのに適する任意の他のタイプのデバイ
スを含み得る。幾つかの実施形態では、アプリケーションプロセッサ180及び/又は画
像プロセッサ190は、任意のタイプのシングルコア又はマルチコアプロセッサ、モバイ
ルデバイスマイクロコントローラ、中央演算処理装置等を含み得る。例えば、Intel(登
録商標)、AMD(登録商標)等の製造業者から入手可能なプロセッサを含め、様々な処
理デバイスが使用可能であり、様々なアーキテクチャ(例えば、x86プロセッサ、ARM
(登録商標)等)を含み得る。
[086] 幾つかの実施形態では、アプリケーションプロセッサ180及び/又は画像プ
ロセッサ190は、Mobileye(登録商標)から入手可能な任意のEyeQシリーズのプロセッ
サを含み得る。これらのプロセッサ設計は、それぞれローカルメモリ及び命令セットを有
する複数の処理ユニットを含む。そのようなプロセッサは、複数の画像センサから画像デ
ータを受信するビデオ入力を含み得ると共に、ビデオ出力機能を含むこともできる。一例
では、EyeQ2(登録商標)は、332MHzで動作する90nm−ミクロン技術を使用す
る。EyeQ2(登録商標)アーキテクチャは、2つの浮動小数点ハイパースレッド32ビッ
トRISC CPU(MIPS32(登録商標)34K(登録商標)コア)、5つのビジョン計算
エンジン(VCE)、3つのベクトルマイクロコードプロセッサ(VMP(登録商標))
、Denali64ビットモバイルDDRコントローラ、128ビット内部音響相互接続、デュ
アル16ビットビデオ入力及び18ビットビデオ出力コントローラ、16チャネルDMA
、及び幾つかの周辺機器からなる。MIPS34K CPUは、5つのVCE、3つのV
MP(商標)及びDMA、第2のMIPS34K CPU及びマルチチャネルDMA、並
びに他の周辺機器を管理する。5つのVCE、3つのVMP(登録商標)、及びMIPS
34K CPUは、多機能バンドルアプリケーションにより要求される集中的なビジョン
計算を実行することができる。別の例では、開示される実施形態において、第三世代プロ
セッサであり、EyeQ2(登録商標)よりも6倍強力なEyeQ3(登録商標)を使用し得る。他
の例では、EyeQ4(登録商標)及び/又はEyeQ5(登録商標)を開示する実施形態で使用す
ることができる。当然ながら、それよりも新しい又は将来のEyeQ処理デバイスは、開示す
る実施形態と共に使用され得る。
[087] 本明細書で開示する処理デバイスのいずれも特定の機能を実行するように構成
することができる。記載のEyeQプロセッサ又は他のコントローラ若しくはマイクロプロセ
ッサのいずれか等の処理デバイスを、特定の機能を実行するように構成することは、コン
ピュータ実行可能命令をプログラムし、処理デバイスの動作中に実行するためにそれらの
命令を処理デバイスに提供することを含み得る。幾つかの実施形態では、処理デバイスを
構成することは、処理デバイスにアーキテクチャ的命令を直接プログラムすることを含み
得る。他の実施形態では、処理デバイスを構成することは、動作中に処理デバイスがアク
セス可能なメモリ上に実行可能命令を記憶することを含み得る。例えば、処理デバイスは
、動作中にメモリにアクセスして、記憶された命令を取得及び実行し得る。いずれにせよ
、本明細書で開示する検知、画像分析、及び/又はナビゲーション機能を実行するように
構成される処理デバイスは、ホスト車両の複数のハードウェアベースの構成要素を制御す
る専用のハードウェアベースのシステムを表す。
[088] 図1は、処理ユニット110に含まれる2つの別個の処理デバイスを示すが、
より多数又はより少数の処理デバイスを使用することもできる。例えば、幾つかの実施形
態では、単一の処理デバイスを使用して、アプリケーションプロセッサ180及び画像プ
ロセッサ190のタスクを達成し得る。他の実施形態では、これらのタスクは、3つ以上
の処理デバイスにより実行し得る。更に、幾つかの実施形態では、システム100は、画
像取得ユニット120等の他の構成要素を含まず、処理ユニット110の1つ又は複数を
含み得る。
[089] 処理ユニット110は、様々なタイプのデバイスを含み得る。例えば、処理ユ
ニット110は、コントローラ、画像プリプロセッサ、中央演算処理装置(CPU)、サ
ポート回路、デジタル信号プロセッサ、集積回路、メモリ、又は画像を処理し分析する任
意の他のタイプのデバイス等の様々なデバイスを含み得る。画像プリプロセッサは、画像
センサから画像を捕捉し、デジタル化し、処理するビデオプロセッサを含み得る。CPU
は、任意の数のマイクロコントローラ又はマイクロプロセッサを含み得る。サポート回路
は、キャッシュ、電源、クロック、及び入出力回路を含め、当技術分野で一般に周知の任
意の数の回路であり得る。メモリは、プロセッサにより実行されると、システムの動作を
制御するソフトウェアを記憶し得る。メモリは、データベース及び画像処理ソフトウェア
を含み得る。メモリは、任意の数のランダムアクセスメモリ、読み取り専用メモリ、フラ
ッシュメモリ、ディスクドライブ、光学記憶装置、テープ記憶装置、リムーバブル記憶装
置、及び他のタイプの記憶装置を含み得る。一例では、メモリは、処理ユニット110と
は別個であり得る。別の例では、メモリは、処理ユニット110に統合し得る。
[090] 各メモリ140、150は、プロセッサ(例えば、アプリケーションプロセッ
サ180及び/又は画像プロセッサ190)によって実行されるとき、システム100の
様々な態様の動作を制御し得るソフトウェア命令を含み得る。これらのメモリユニットは
、様々なデータベース及び画像処理ソフトウェア、並びに例えばニューラルネットワーク
又はディープニューラルネットワーク等のトレーニング済みシステムを含み得る。メモリ
ユニットは、ランダムアクセスメモリ、読み取り専用メモリ、フラッシュメモリ、ディス
クドライブ、光学記憶装置、テープ記憶装置、リムーバブル記憶装置、及び/又は他の任
意の種類の記憶装置を含み得る。幾つかの実施形態では、メモリユニット140、150
は、アプリケーションプロセッサ180及び/又は画像プロセッサ190とは別個であり
得る。他の実施形態では、これらのメモリユニットは、アプリケーションプロセッサ18
0及び/又は画像プロセッサ190に統合され得る。
[091] 位置センサ130は、システム100の少なくとも1つの構成要素に関連付け
られた位置を特定するのに適する任意のタイプのデバイスを含み得る。幾つかの実施形態
では、位置センサ130はGPS受信機を含み得る。そのような受信機は、全地球測位シ
ステム衛星によりブロードキャストされる信号を処理することにより、ユーザの位置及び
速度を特定することができる。位置センサ130からの位置情報は、アプリケーションプ
ロセッサ180及び/又は画像プロセッサ190に提供し得る。
[092] 幾つかの実施形態では、システム100は、車両200の速度を測定するため
の速度センサ(例えば、速度計)等の構成要素を含み得る。システム100は、1つ又は
複数の軸に沿って車両200の加速度を測定するための1つ又は複数の(単軸又は多軸の
)加速度計も含み得る。
[093] メモリユニット140、150は、既知の陸標の位置を示すデータベース又は
他の任意の形式で編成されるデータを含み得る。環境のセンサ情報(画像、レーダ信号、
2つ以上の画像をライダ又は立体処理することによる深度情報等)をGPS座標や車両の
自己運動等の位置情報と一緒に処理して、既知の陸標に対する車両の現在位置を求め、車
両の位置を洗練させることができる。この技術の特定の側面は、本願の譲受人によって販
売されているREM(商標)として知られる位置特定技術に含まれる。
[094] ユーザインタフェース170は、情報を提供するか、又はシステム100の1
人若しくは複数のユーザから入力を受信するのに適する任意のデバイスを含み得る。幾つ
かの実施形態では、ユーザインタフェース170は、例えば、タッチスクリーン、マイク
ロフォン、キーボード、ポインタデバイス、トラックホィール、カメラ、つまみ、ボタン
等を含め、ユーザ入力デバイスを含み得る。そのような入力デバイスを用いて、ユーザは
、命令若しくは情報をタイプし、音声コマンドを提供し、ボタン、ポインタ、若しくは目
追跡機能を使用して、又は情報をシステム100に通信する任意の他の適する技法を通し
て画面上のメニュー選択肢を選択することにより、システム100に情報入力又はコマン
ドを提供可能であり得る。
[095] ユーザインタフェース170は、ユーザに情報を提供するか、又はユーザから
情報を受信し、例えば、アプリケーションプロセッサ180による使用のためにその情報
を処理するように構成される1つ又は複数の処理デバイスを備え得る。幾つかの実施形態
では、そのような処理デバイスは、目の動きを認識して追跡する命令、音声コマンドを受
信して解釈する命令、タッチスクリーンで行われたタッチ及び/又はジェスチャを認識し
て解釈する命令、キーボード入力又はメニュー選択に応答する命令等を実行し得る。幾つ
かの実施形態では、ユーザインタフェース170は、ディスプレイ、スピーカ、触覚デバ
イス、及び/又は出力情報をユーザに提供する任意の他のデバイスを含み得る。
[096] 地図データベース160は、システム100にとって有用な地図データを記憶
する任意のタイプのデータベースを含み得る。幾つかの実施形態では、地図データベース
160は、道路、水特徴、地理的特徴、ビジネス、関心点、レストラン、ガソリンスタン
ド等を含め、様々な項目の、基準座標系での位置に関連するデータを含み得る。地図デー
タベース160は、そのような項目の位置のみならず、例えば、記憶された特徴のいずれ
かに関連付けられた名称を含め、それらの項目に関連する記述子も記憶し得る。幾つかの
実施形態では、地図データベース160は、システム100の他の構成要素と共に物理的
に配置し得る。代替又は追加として、地図データベース160又はその一部は、システム
100の他の構成要素(例えば、処理ユニット110)に関してリモートに配置し得る。
そのような実施形態では、地図データベース160からの情報は、有線又は無線データ接
続を介してネットワークにダウンロードし得る(例えば、セルラネットワーク及び/又は
インターネット等を介して)。幾つかの場合、地図データベース160は、特定の道路の
特徴(例えば、レーンマーク)又はホスト車両の目標軌道の多項式表現を含む疎なデータ
モデルを記憶し得る。地図データベース160は、目標軌道に対するホスト車両の既知の
位置を決定又は更新するために使用され得る様々な認識された陸標の記憶された表現も含
み得る。陸標表現は、潜在的な識別子の中でも、陸標の種類や陸標の位置等のデータフィ
ールドを特に含み得る。
[097] 画像捕捉デバイス122、124、及び126は、それぞれ環境から少なくと
も1つの画像を捕捉するのに適する任意のタイプのデバイスを含み得る。更に、任意の数
の画像捕捉デバイスを使用して、画像プロセッサに入力する画像を取得し得る。幾つかの
実施形態は、単一の画像捕捉デバイスのみを含み得、一方、他の実施形態は、2つ、3つ
、更には4つ以上の画像捕捉デバイスを含み得る。画像捕捉デバイス122、124、及
び126については、図2B〜図2Eを参照して更に以下に説明する。
[098] 1つ又は複数のカメラ(例えば、画像捕捉装置122、124、及び126)
は、車両上に含まれる検知ブロックの一部であり得る。他の様々なセンサが検知ブロック
に含まれ得、車両の検知されたナビゲーション状態を開発するためにセンサのいずれか又
は全てを利用することができる。カメラ(前向き、横向き、後向き等)に加えて、レーダ
、ライダ、音響センサ等の他のセンサが検知ブロックに含まれ得る。加えて、検知ブロッ
クは、車両の環境に関係する情報を伝達し、送受信するように構成される1つ又は複数の
構成要素を含み得る。例えば、かかる構成要素は、ホスト車両に対して遠隔設置されたソ
ースからホスト車両の環境に関係するセンサベースの情報又は他の任意の種類の情報を受
信し得る無線送受信機(RF等)を含み得る。かかる情報は、ホスト車両以外の車両シス
テムから受信されるセンサ出力情報又は関連情報を含み得る。幾つかの実施形態では、か
かる情報は、遠隔計算装置や集中サーバ等から受信される情報を含み得る。更に、カメラ
は、単一のカメラユニット、複数のカメラ、カメラクラスタ、長いFOV、短いFOV、
広角、魚眼等の多くの異なる構成を取ることができる。
[099] システム100又はシステム100の様々な構成要素は、様々な異なるプラッ
トフォームに組み込み得る。幾つかの実施形態では、システム100は、図2Aに示され
るように、車両200に含め得る。例えば、車両200は、図1に関して上述したように
、処理ユニット110及びシステム100の任意の他の構成要素を備え得る。幾つかの実
施形態では、車両200は単一の画像捕捉デバイス(例えば、カメラ)のみを備え得、一
方、図2B〜図2Eに関連して考察した実施形態等の他の実施形態では、複数の画像捕捉
デバイスが使用可能である。例えば、図2Aに示されるように、車両200の画像捕捉デ
バイス122及び124のいずれかは、ADAS(最新運転者支援システム)撮像セット
の一部であり得る。
[0100] 画像取得ユニット120の一部として車両200に含まれる画像捕捉デバイス
は、任意の適する位置に位置し得る。幾つかの実施形態では、図2A〜図2E及び図3A
〜図3Cに示されるように、画像捕捉デバイス122は、バックミラーの近傍に配置し得
る。この位置は、車両200のドライバーと同様の視線を提供し得、ドライバーにとって
何が見え、何が見えないかの判断を支援し得る。画像捕捉デバイス122は、バックミラ
ーの近傍の任意の位置に位置し得るが、画像捕捉デバイス122をミラーのドライバー側
に配置することは、ドライバーの視野及び/又は視線を表す画像の取得を更に支援し得る
[0101] 画像取得ユニット120の画像捕捉デバイスに他の位置を使用することもでき
る。例えば、画像捕捉デバイス124は、車両200のバンパー上又はバンパー内に配置
し得る。そのような位置は、広視野を有する画像捕捉デバイスに特に適し得る。バンパー
に配置される画像捕捉デバイスの視線は、ドライバーの視線と異なることができ、従って
、バンパー画像捕捉デバイス及びドライバーは、同じ物体を常に見ているわけではない。
画像捕捉デバイス(例えば、画像捕捉デバイス122、124、及び126)は、他の位
置に配置することもできる。例えば、画像捕捉デバイスは、車両200のサイドミラーの
一方又は両方、車両200のルーフ、車両200のフード、車両200のトランク、車両
200の側部に配置し得、車両200の任意のウィンドウに搭載、背後に位置決め、又は
前に位置決めし得、車両200の前部及び/又は後部のライト又はその近傍等に搭載し得
る。
[0102] 画像捕捉デバイスに加えて、車両200は、システム100の様々な他の構成
要素を含み得る。例えば、処理ユニット110は、車両のエンジン制御ユニット(ECU
)に統合されるか、又はECUとは別個に車両200に含まれ得る。車両200には、G
PS受信機等の位置センサ130を備えることもでき、車両200は、地図データベース
160並びにメモリユニット140及び150を含むこともできる。
[0103] 上述したように、無線送受信機172は、1つ又は複数のネットワーク(例え
ば、セルラネットワーク、インターネット等)を介してデータを及び/又は受信し得る。
例えば、無線送受信機172は、システム100により収集されたデータを1つ又は複数
のサーバにアップロードし、データを1つ又は複数のサーバからダウンロードし得る。無
線送受信機172を介して、システム100は、例えば、定期的に又は需要時に地図デー
タベース160、メモリ140、及び/又はメモリ150に記憶されたデータへの更新を
受信し得る。同様に、無線送受信機172は、システム100からの任意のデータ(例え
ば、画像取得ユニット120により捕捉された画像、位置センサ130、他のセンサ、又
は車両制御システムにより受信されたデータ等)及び/又は処理ユニット110により処
理された任意のデータを1つ又は複数のサーバにアップロードし得る。
[0104] システム100は、プライバシーレベル設定に基づいてデータをサーバ(例え
ば、クラウド)にアップロードし得る。例えば、システム100は、サーバに送信される
、車両及び/又は車両のドライバー/所有者を一意に識別し得るタイプのデータ(メタデ
ータを含む)を規制又は制限するプライバシーレベル設定を実施し得る。そのような設定
は、例えば、無線送受信機172を介してユーザにより設定されてもよく、工場デフォル
ト設定により初期化されてもよく、又は無線送受信機172により受信されるデータによ
り設定されてもよい。
[0105] 幾つかの実施形態では、システム100は、「高」プライバシーレベルに従っ
てデータをアップロードし得、設定下において、システム100は、特定の車両及び/又
はドライバー/所有者についてのいかなる詳細もないデータ(例えば、ルートに関連する
位置情報、捕捉画像等)を送信し得る。例えば、「高」プライバシーレベルに従ってデー
タをアップロードする場合、システム100は、車両識別番号(VIN)又は車両のドラ
イバー若しくは所有者の氏名を含まず、代わりに、捕捉画像及び/又はルートに関連する
限られた位置情報等のデータを送信し得る。
[0106] 他のプライバシーレベルも意図される。例えば、システム100は、「中」プ
ライバシーレベルに従ってデータをサーバに送信し得、車両及び/又は車両タイプのメー
カー及び/又はモデル(例えば、乗用車、スポーツユーティリティ車、トラック等)等の
「高」プライバシーレベル下では含まれない追加情報を含み得る。幾つかの実施形態では
、システム100は、「低」プライバシーレベルに従ってデータをアップロードし得る。
「低」プライバシーレベル設定下では、システム100は、特定の車両、所有者/ドライ
バー、及び/又は車両が走行したルートの一部又は全体を一意に識別するのに十分なデー
タをアップロードし、そのような情報を含み得る。そのような「低」プライバシーレベル
データは、例えば、VIN、ドライバー/所有者氏名、出発前の車両の出発点、車両の意
図される目的地、車両のメーカー及び/又はモデル、車両のタイプ等の1つ又は複数を含
み得る。
[0107] 図2Aは、開示される実施形態による例示的な車両撮像システムの側面図表現
である。図2Bは、図2Aに示される実施形態の上面図表現である。図2Bに示されるよ
うに、開示される実施形態は、バックミラーの近傍及び/又は車両200のドライバー近
傍に位置決めされた第1の画像捕捉デバイス122と、車両200のバンパー領域(例え
ば、バンパー領域210の1つ)上又はバンパー領域内に位置決めされる第2の画像捕捉
デバイス124と、処理ユニット110とを有するシステム100を本体内に含む車両2
00を示し得る。
[0108] 図2Cに示されるように、画像捕捉デバイス122及び124の両方は、車両
200のバックミラーの近傍及び/又はドライバーの近傍に位置決めし得る。更に、2つ
の画像捕捉デバイス122及び124が図2B及び図2Cに示されているが、他の実施形
態が3つ以上の画像捕捉デバイスを含み得ることを理解されたい。例えば、図2D及び図
2Eに示される実施形態では、第1の画像捕捉デバイス122、第2の画像捕捉デバイス
124、及び第3の画像補足デバイス126が車両200のシステム100に含まれる。
[0109] 図2Dに示されるように、画像捕捉デバイス122は、車両200のバックミ
ラーの近傍及び/又はドライバーの近傍に位置決めし得、画像補足デバイス124及び1
26は、車両200のバンパー領域(例えば、バンパー領域210の1つ)上に位置決め
し得る。また、図2Eに示されるように、画像補足デバイス122、124、及び126
は、車両200のバックミラーの近傍及び/又はドライバーシートの近傍に位置決めし得
る。開示される実施形態は、いかなる特定の数及び構成の画像捕捉デバイスにも限定され
ず、画像捕捉デバイスは、車両200内及び/又は車両200上の任意の適する位置に位
置決めし得る。
[0110] 開示される実施形態が車両に限定されず、他の状況でも適用可能なことを理解
されたい。開示される実施形態が特定のタイプの車両200に限定されず、自動車、トラ
ック、トレーラー、及び他のタイプの車両を含む全てのタイプの車両に適用可能であり得
ることも理解されたい。
[0111] 第1の画像捕捉デバイス122は、任意の適するタイプの画像捕捉デバイスを
含み得る。画像捕捉デバイス122は光軸を含み得る。一例では、画像捕捉デバイス12
2は、グローバルシャッタを有するAptina M9V024 WVGAセンサを含み得る。他の実施形態
では、画像捕捉デバイス122は、1280×960ピクセルの解像度を提供し得、ロー
リングシャッタを含み得る。画像捕捉デバイス122は、様々な光学要素を含み得る。幾
つかの実施形態では、1枚又は複数枚のレンズが含まれて、例えば、画像捕捉デバイスの
所望の焦点距離及び視野を提供し得る。幾つかの実施形態では、画像捕捉デバイス122
に6mmレンズ又は12mmレンズを関連付け得る。幾つかの実施形態では、画像捕捉デ
バイス122は、図2Dに示されるように、所望の視野(FOV)202を有する画像を
捕捉するように構成し得る。例えば、画像捕捉デバイス122は、46度FOV、50度
FOV、52度FOV、又は52度FOVを超える度数を含め、40度〜56度の範囲内
等の通常のFOVを有するように構成し得る。代替的には、画像捕捉デバイス122は、
28度FOV又は36度FOV等の23〜40度の範囲の狭いFOVを有するように構成
し得る。加えて、画像捕捉デバイス122は、100〜180度の範囲の広いFOVを有
するように構成し得る。幾つかの実施形態では、画像捕捉デバイス122は、広角バンパ
ーカメラ又は最高で180度FOVを有するバンパーカメラを含み得る。幾つかの実施形
態では、画像捕捉デバイス122は、約100度の水平FOVを有するアスペクト比約2
:1(例えば、H×V=3800×1900ピクセル)の7.2Mピクセル画像捕捉デバ
イスであり得る。そのような画像捕捉デバイスは、三次元画像捕捉デバイス構成の代わり
に使用し得る。大きいレンズ歪みに起因して、そのような画像捕捉デバイスの垂直FOV
は、画像捕捉デバイスが半径方向に対称なレンズを使用する実装形態では、50度よりは
るかに低くなり得る。例えば、そのようなレンズは、半径方向で対称ではなく、それによ
り、水平FOV100度で、50度よりも大きい垂直FOVが可能である。
[0112] 第1の画像捕捉デバイス122は、車両200に関連付けられたシーンに対し
て複数の第1の画像を取得し得る。複数の第1の画像は、それぞれ一連の画像走査線とし
て取得し得、これらはローリングシャッタを使用して捕捉し得る。各走査線は複数のピク
セルを含み得る。
[0113] 第1の画像捕捉デバイス122は、第1の一連の画像走査線のそれぞれの取得
に関連付けられた走査レートを有し得る。走査レートは、画像センサが、特定の走査線に
含まれる各ピクセルに関連付けられた画像データを取得することができるレートを指し得
る。
[0114] 画像捕捉デバイス122、124、及び126は、例えば、CCDセンサ又は
CMOSセンサを含む、任意の適するタイプ及び数の画像センサを含み得る。一実施形態
では、CMOS画像センサはローリングシャッタと共に利用し得、それにより、行内の各
ピクセルは一度に1つずつ読み取られ、行の走査は、画像フレーム全体が捕捉されるまで
行毎に進められる。幾つかの実施形態では、行は、フレームに対して上から下に順次捕捉
し得る。
[0115] 幾つかの実施形態では、本明細書に開示される画像捕捉デバイス(例えば、画
像捕捉デバイス122、124、及び126)の1つ又は複数は、高解像度イメージャを
構成し得、5Mピクセル超、7Mピクセル超、10Mピクセル超、又はそれを超える解像
度を有し得る。
[0116] ローリングシャッタの使用により、異なる行内のピクセルは異なるときに露出
され捕捉されることになり得、それにより、スキュー及び他の画像アーチファクトが捕捉
画像フレームで生じ得る。他方、画像捕捉デバイス122がグローバル又は同期シャッタ
を用いて動作するように構成される場合、全ピクセルは、同量の時間にわたり、共通の露
出期間中に露出し得る。その結果、グローバルシャッタを利用するシステムから収集され
るフレーム内の画像データは、特定のときのFOV全体(FOV202等)のスナップシ
ョットを表す。それとは逆に、ローリングシャッタを適用する場合、フレーム内の各行が
露出され、データは異なる時間に捕捉される。従って、移動中の物体は、ローリングシャ
ッタを有する画像捕捉デバイスでは歪んで見えることがある。この現象について以下によ
り詳細に説明する。
[0117] 第2の画像捕捉デバイス124及び第3の画像捕捉デバイス126は、任意の
タイプの画像捕捉デバイスであり得る。第1の画像捕捉デバイス122のように、画像捕
捉デバイス124及び126のそれぞれは、光軸を含み得る。一実施形態では、画像捕捉
デバイス124及び126のそれぞれは、グローバルシャッタを有するAptina M9V024 WV
GAセンサを含み得る。代替的には、画像捕捉デバイス124及び126のそれぞれは、ロ
ーリングシャッタを含み得る。画像捕捉デバイス122のように、画像捕捉デバイス12
4及び126は、様々なレンズ及び光学要素を含むように構成し得る。幾つかの実施形態
では、画像捕捉デバイス124及び126に関連付けられたレンズは、画像捕捉デバイス
122に関連付けられたFOV(FOV202等)と同じであるか、又は狭いFOV(F
OV204及び206等)を提供し得る。例えば、画像捕捉デバイス124及び126は
、40度、30度、26度、23度、20度、又は20度未満のFOVを有し得る。
[0118] 画像捕捉デバイス124及び126は、車両200に関連付けられたシーンに
対して複数の第2及び第3の画像を取得し得る。複数の第2及び第3の画像のそれぞれは
、第2及び第3の一連の画像走査線として取得し得、これらはローリングシャッタを使用
して捕捉し得る。各走査線又は各行は、複数のピクセルを有し得る。画像捕捉デバイス1
24及び126は、第2及び第3の一連内に含まれる各画像走査線の取得に関連付けられ
た第2及び第3の走査レートを有し得る。
[0119] 各画像捕捉デバイス122、124、及び126は、任意の適する位置に、車
両200に対して任意の適する向きで位置決めし得る。画像捕捉デバイス122、124
、及び126の相対位置は、画像捕捉デバイスから取得される情報を一緒に融合させるこ
とを支援するように選択し得る。例えば、幾つかの実施形態では、画像捕捉デバイス12
4に関連付けられたFOV(FOV204)は、画像捕捉デバイス122に関連付けられ
たFOV(FOV202等)及び画像捕捉デバイス126に関連付けられたFOV(FO
V206等)と部分的又は完全に重複し得る。
[0120] 画像捕捉デバイス122、124、及び126は、任意の適する相対高さで車
両200に配置し得る。一例では、画像捕捉デバイス122、124、及び126間に高
さ差があり得、高さ差は、立体分析を可能にするのに十分な視差情報を提供し得る。例え
ば、図2Aに示されるように、2つの画像捕捉デバイス122及び124は異なる高さに
ある。画像捕捉デバイス122、124、及び126間には横方向変位差もあり得、例え
ば、処理ユニット110による立体分析に追加の視差情報を与える。横方向変位差は、図
2C及び図2Dに示されるように、dで示し得る。幾つかの実施形態では、前部変位又
は後部変位(例えば、範囲変位)が、画像捕捉デバイス122、124、126間に存在
し得る。例えば、画像捕捉デバイス122は、画像捕捉デバイス124及び/又は画像捕
捉デバイス126の0.5〜2メートル以上背後に配置し得る。このタイプの変位では、
画像捕捉デバイスの1つが、他の画像捕捉デバイスの潜在的なブラインドスポットをカバ
ー可能であり得る。
[0121] 画像捕捉デバイス122は、任意の適する解像度能力(例えば、画像センサに
関連付けられたピクセル数)を有し得、画像捕捉デバイス122に関連付けられた画像セ
ンサの解像度は、画像捕捉デバイス124及び126に関連付けられた画像センサの解像
度よりも高くてもよく、低くてもよく、又は同じであってもよい。幾つかの実施形態では
、画像捕捉デバイス122及び/又は画像捕捉デバイス124及び126に関連付けられ
た画像センサは、解像度640×480、1024×768、1280×960、又は任
意の他の適する解像度を有し得る。
[0122] フレームレート(例えば、画像捕捉デバイスが、次の画像フレームに関連付け
られたピクセルデータの捕捉に移る前に、1つの画像フレームのピクセルデータの組を取
得するレート)は、制御可能であり得る。画像捕捉デバイス122に関連付けられたフレ
ームレートは、画像捕捉デバイス124及び126に関連付けられたフレームレートより
も高くてもよく、低くてもよく、又は同じであってもよい。画像捕捉デバイス122、1
24、及び126に関連付けられたフレームレートは、フレームレートのタイミングに影
響を及ぼし得る様々なファクタに依存し得る。例えば、画像捕捉デバイス122、124
、及び126の1つ又は複数は、画像捕捉デバイス122、124、及び/又は126内
の画像センサの1つ又は複数のピクセルに関連付けられた画像データの取得前又は取得後
に課される選択可能なピクセル遅延期間を含み得る。一般に、各ピクセルに対応する画像
データは、デバイスのクロックレート(例えば、1クロックサイクル当たり1ピクセル)
に従って取得し得る。更に、ローリングシャッタを含む実施形態では、画像捕捉デバイス
122、124、及び126の1つ又は複数は、画像捕捉デバイス122、124、及び
/又は126内の画像センサのピクセル行に関連付けられた画像データの取得前又は取得
後に課される選択可能な水平ブランク期間を含み得る。更に、画像捕捉デバイス122、
124、及び/又は126の1つ又は複数は、画像捕捉デバイス122、124、及び1
26の画像フレームに関連付けられた画像データの取得前又は取得後に課される選択可能
な垂直ブランク期間を含み得る。
[0123] これらのタイミング制御により、各画像捕捉デバイスの線走査レートが異なる
場合でも、画像捕捉デバイス122、124、及び126に関連付けられたフレームレー
トを同期させることができ得る。更に、以下に更に詳細に考察するように、ファクタ(例
えば、画像センサ解像度、最高線走査レート等)の中でも特に、これらの選択可能なタイ
ミング制御により、画像捕捉デバイス122の視野が画像捕捉デバイス124及び126
のFOVと異なる場合でも、画像捕捉デバイス122のFOVが画像捕捉デバイス124
及び126の1つ又は複数のFOVと重複するエリアからの画像捕捉を同期させることが
可能になり得る。
[0124] 画像捕捉デバイス122、124、及び126でのフレームレートタイミング
は、関連付けられた画像センサの解像度に依存し得る。例えば、両デバイスの線走査レー
トが同様であると仮定し、一方のデバイスが解像度640×480を有する画像センサを
含み、他方のデバイスが解像度1280×960を有する画像センサを含む場合、高い解
像度を有するセンサからの画像データのフレーム取得ほど、長い時間が必要になる。
[0125] 画像捕捉デバイス122、124、及び126での画像データ取得のタイミン
グに影響を及ぼし得る他のファクタは、最高線走査レートである。例えば、画像捕捉デバ
イス122、124、及び126に含まれる画像センサからの画像データ行の取得は、何
らかの最小時間量を必要とする。ピクセル遅延期間が追加されないと仮定すると、画像デ
ータ行を取得するこの最小時間量は、特定のデバイスの最高線走査レートに関連すること
になる。高い最高線走査レートを提供するデバイスほど、より低い最高線走査レートを有
するデバイスよりも高いフレームレートを提供する潜在性を有する。幾つかの実施形態で
は、画像捕捉デバイス124及び126の一方又は両方は、画像捕捉デバイス122に関
連付けられた最高線走査レートよりも高い最高線走査レートを有し得る。幾つかの実施形
態では、画像捕捉デバイス124及び/又は126の最高線走査レートは、画像捕捉デバ
イス122の最高線走査レートの1.25倍、1.5倍、1.75倍、又は2倍以上であ
り得る。
[0126] 別の実施形態では、画像捕捉デバイス122、124、及び126は、同じ最
高線走査レートを有し得るが、画像捕捉デバイス122は、その最高走査レート以下の走
査レートで動作し得る。システムは、画像捕捉デバイス124及び126の一方又は両方
が画像捕捉デバイス122の線走査レートと等しい線走査レートで動作するように構成し
得る。他の例では、システムは、画像捕捉デバイス124及び/又は126の線走査レー
トが、画像捕捉デバイス122の線走査レートの1.25倍、1.5倍、1.75倍、又
は2倍以上であり得るように構成し得る。
[0127] 幾つかの実施形態では、画像捕捉デバイス122、124、及び126は非対
称であり得る。すなわち、これら画像捕捉デバイスは、異なる視野(FOV)及び焦点距
離を有するカメラを含み得る。画像捕捉デバイス122、124、及び126の視野は、
例えば、車両200の環境に対する任意の所望のエリアを含み得る。幾つかの実施形態で
は、画像捕捉デバイス122、124、及び126の1つ又は複数は、車両200の前の
環境、車両200の背後の環境、車両200の両側の環境、又はそれらの組合せから画像
データを取得するように構成し得る。
[0128] 更に、各画像捕捉デバイス122、124、及び/又は126に関連付けられ
た焦点距離は、各デバイスが車両200から所望の距離範囲にある物体の画像を取得する
ように選択可能であり得る(例えば、適切なレンズの包含等により)。例えば、幾つかの
実施形態では、画像捕捉デバイス122、124、及び126は、車両から数メートル以
内の近接物体の画像を取得し得る。画像捕捉デバイス122、124、126は、車両か
らより離れた範囲(例えば、25m、50m、100m、150m、又はそれを超える)
における物体の画像を取得するように構成することもできる。更に、画像捕捉デバイス1
22、124、及び126の焦点距離は、ある画像捕捉デバイス(例えば、画像捕捉デバ
イス122)が車両に比較的近い(例えば、10m以内又は20m以内)物体の画像を取
得することができ、一方、その他の画像捕捉デバイス(例えば、画像捕捉デバイス124
及び126)が、車両200からより離れた物体(例えば、20m超、50m超、100
m超、150m超等)の画像を取得することができるように選択し得る。
[0129] 幾つかの実施形態によれば、1つ又は複数の画像捕捉デバイス122、124
、及び126のFOVは、広角を有し得る。例えば、特に車両200の近傍エリアの画像
取得に使用し得る画像捕捉デバイス122、124、及び126には140度のFOVを
有することが有利であり得る。例えば、画像捕捉デバイス122は、車両200の右又は
左のエリアの画像の捕捉に使用し得、そのような実施形態では、画像捕捉デバイス122
が広いFOV(例えば、少なくとも140度)を有することが望ましいことがある。
[0130] 画像捕捉デバイス122、124、及び126のそれぞれに関連付けられた視
野は、各焦点距離に依存し得る。例えば、焦点距離が増大するにつれて、対応する視野は
低減する。
[0131] 画像捕捉デバイス122、124、及び126は、任意の適する視野を有する
ように構成し得る。特定の一例では、画像捕捉デバイス122は、水平FOV46度を有
し得、画像捕捉デバイス124は水平FOV23度を有し得、画像捕捉デバイス126は
水平FOV23〜46度を有し得る。別の例では、画像捕捉デバイス122は水平FOV
52度を有し得、画像捕捉デバイス124は水平FOV26度を有し得、画像捕捉デバイ
ス126は、水平FOV26〜52度を有し得る。幾つかの実施形態では、画像捕捉デバ
イス122のFOVと画像捕捉デバイス124及び/又は画像捕捉デバイス126のFO
Vとの比率は、1.5〜2.0で変化し得る。他の実施形態では、この比率は1.25〜
2.25で変化し得る。
[0132] システム100は、画像捕捉デバイス122の視野が、画像捕捉デバイス12
4及び/又は画像捕捉デバイス126の視野と少なくとも部分的に又は完全に重複するよ
うに構成し得る。幾つかの実施形態では、システム100は、画像捕捉デバイス124及
び126の視野が、例えば、画像捕捉デバイス122の視野内に入り(例えば、画像捕捉
デバイス122の視野よりも小さく)、画像捕捉デバイス122の視野と共通の中心を共
有するように構成し得る。他の実施形態では、画像捕捉デバイス122、124、及び1
26は、隣接するFOVを捕捉してもよく、又は部分的に重複するFOVを有してもよい
。幾つかの実施形態では、画像捕捉デバイス122、124、及び126の視野は、FO
Vのより狭い画像捕捉デバイス124及び/又は126の中心が、FOVがより広いデバ
イス122の視野の下半分に配置され得るように位置合わせし得る。
[0133] 図2Fは、開示される実施形態による例示的な車両制御システムの図表現であ
る。図2Fに示されるように、車両200は、スロットルシステム220、ブレーキシス
テム230、及び操舵システム240を含み得る。システム100は、1つ又は複数のデ
ータリンク(例えば、任意の有線及び/又は無線リンク又はデータを伝送するリンク)を
介して、スロットルシステム220、ブレーキシステム230、及び操舵システム240
の1つ又は複数に入力(例えば、制御信号)を提供し得る。例えば、画像捕捉デバイス1
22、124、及び/又は126により取得された画像の分析に基づいて、システム10
0は、車両200をナビゲートする制御信号をスロットルシステム220、ブレーキシス
テム230、及び操舵システム240の1つ又は複数に提供し得る(例えば、加速、ター
ン、レーンシフト等を行わせることにより)。更に、システム100は、車両200の動
作状況を示す入力(例えば、速度、車両200がブレーキ中及び/又はターン中であるか
否か等)をスロットルシステム220、ブレーキシステム230、及び操舵システム24
の1つ又は複数から受信し得る。以下では、更なる詳細を図4〜図7に関連して提供する
[0134] 図3Aに示されるように、車両200は、車両200のドライバー又は乗員と
対話するユーザインタフェース170を含むこともできる。例えば、車両アプリケーショ
ン内のユーザインタフェース170は、タッチスクリーン320、つまみ330、ボタン
340、及びマイクロフォン350を含み得る。車両200のドライバー又は乗員は、ハ
ンドル(例えば、例えばウィンカーハンドルを含め、車両200のステアリングコラム上
又はその近傍に配置される)及びボタン(例えば、車両200のハンドルに配置される)
等を使用して、システム100と対話することもできる。幾つかの実施形態では、マイク
ロフォン350はバックミラー310に隣接して位置決めし得る。同様に、幾つかの実施
形態では、画像捕捉デバイス122は、バックミラー310の近傍に配置し得る。幾つか
の実施形態では、ユーザインタフェース170は、1つ又は複数のスピーカ360(例え
ば、車両オーディオシステムのスピーカ)を含むこともできる。例えば、システム100
は、スピーカ360を介して様々な通知(例えば、アラート)を提供し得る。
[0135] 図3B〜図3Dは、開示される実施形態による、バックミラー(例えば、バッ
クミラー310)の背後に、車両フロントガラスと対向して位置決めされるように構成さ
れる例示的なカメラマウント370の図である。図3Bに示されるように、カメラマウン
ト370は、画像捕捉デバイス122、124、及び126を含み得る。画像捕捉デバイ
ス124及び126は、グレアシールド380の背後に位置決めし得、グレアシールド3
80は、フロントガラスに直接接触し得、フィルム及び/又は反射防止材料の組成物を含
み得る。例えば、グレアシールド380は、一致する傾斜を有するフロントガラスと対向
して位置合わせされるように位置決めし得る。幾つかの実施形態では、画像捕捉デバイス
122、124、及び126のそれぞれは、例えば、図3Dに示されるように、グレアシ
ールド380の背後に位置決めし得る。開示される実施形態は、画像捕捉デバイス122
、124及び126、カメラマウント370、並びにグレアシールド380のいかなる特
定の構成にも限定されない。図3Cは、前から見た図3Bに示されるカメラマウント37
0の図である。
[0136] 本開示の恩恵を受ける当業者により理解されるように、上記開示された実施形
態に対する多くの変形形態及び/又は変更形態がなされ得る。例えば、全ての構成要素が
システム100の動作にとって必須であるわけではない。更に、任意の構成要素がシステ
ム100の任意の適切な部分に配置し得、構成要素は、開示される実施形態の機能を提供
しながら、様々な構成に再配置し得る。従って、上述した構成は例であり、上述した構成
に関係なく、システム100は、車両200の周囲を分析し、分析に応答して車両200
をナビゲートする広範囲の機能を提供することができる。
[0137] 以下に更に詳細に考察するように、様々な開示される実施形態により、システ
ム100は、自律運転及び/又はドライバー支援技術に関連する様々な特徴を提供し得る
。例えば、システム100は、画像データ、位置データ(例えば、GPS位置情報)、地
図データ、速度データ、及び/又は車両200に含まれるセンサからのデータを分析し得
る。システム100は、例えば、画像取得ユニット120、位置センサ130、及び他の
センサから、分析のためにデータを収集し得る。更に、システム100は、収集されたデ
ータを分析して、車両200が特定の行動をとるべきか否かを特定し、次に、人間の介入
なしで、判断された動作を自動的にとり得る。例えば、車両200が人間の加入なしでナ
ビゲートする場合、システム100は、車両200のブレーキ、加速度、及び/又は操舵
を自動的に制御し得る(例えば、制御信号をスロットルシステム220、ブレーキシステ
ム230、及び操舵システム240の1つ又は複数に送信することにより)。更に、シス
テム100は、収集されたデータを分析し、収集されたデータの分析に基づいて警告及び
/又はアラートを車両の搭乗者に発行し得る。システム100により提供される様々な実
施形態に関する更なる詳細を以下に提供する。
[0138] 前向きマルチ撮像システム
[0139] 上述したように、システム100は、マルチカメラシステムを使用する運転支
援機能を提供し得る。マルチカメラシステムは、車両の前方方向を向いた1つ又は複数の
カメラを使用し得る。他の実施形態では、マルチカメラシステムは、車両の側部又は車両
の後方を向いた1つ又は複数のカメラを含み得る。一実施形態では、例えば、システム1
00は2カメラ撮像システムを使用し得、その場合、第1のカメラ及び第2のカメラ(例
えば、画像捕捉デバイス122及び124)は、車両(例えば、車両200)の前部及び
/又は側部に位置決めし得る。他のカメラの構成も開示する実施形態と合致し、本明細書
で開示する構成は、例である。例えば、システム100は、任意の数(例えば、1つ、2
つ、3つ、4つ、5つ、6つ、7つ、8つ等)のカメラの構成を含み得る。更に、システ
ム100は、カメラの「クラスタ」を含み得る。例えば、(任意の適切な数、例えば1つ
、4つ、8つ等のカメラを含む)カメラのクラスタは、車両に対して前向きとすることが
でき、又は他の任意の方向を向いていることができる(例えば、後向き、横向き、斜め等
)。従って、各クラスタが車両の環境の特定の領域から画像を捕捉するように特定の方向
に向けられた状態で、システム100は、カメラの複数のクラスタを含み得る。
[0140] 第1のカメラは、第2のカメラの視野よりも大きい、小さい、又は部分的に重
複する視野を有し得る。更に、第1のカメラは、第1の画像プロセッサに接続されて、第
1のカメラにより提供される画像の単眼画像分析を実行し得、第2のカメラは第2の画像
プロセッサに接続されて、第2のカメラにより提供される画像の単眼画像分析を実行し得
る。第1及び第2の画像プロセッサの出力(例えば、処理された情報)は結合し得る。幾
つかの実施形態では、第2の画像プロセッサは、第1のカメラ及び第2のカメラの両方か
らの画像を受信して、立体分析を実行し得る。別の実施形態では、システム100は3カ
メラ撮像システムを使用し得、この場合、各カメラは異なる視野を有する。従って、その
ようなシステムは、車両の前方及び側部の両方の様々な距離にある物体から導出される情
報に基づいて判断を下し得る。単眼画像分析との言及は、画像分析が単一視点から(例え
ば、単一のカメラ)から捕捉される画像に基づいて画像分析が実行される場合を指し得る
。立体画像分析は、画像捕捉パラメータの1つ又は複数を変更した状態で捕捉された2つ
以上の画像に基づいて画像分析が実行される場合を指し得る。例えば、立体画像分析の実
行に適した捕捉画像は、2つ以上の異なる位置から捕捉される画像、異なる視野から捕捉
される画像、異なる焦点距離を使用して捕捉される画像、視差情報付きで捕捉される画像
等を含み得る。
[0141] 例えば、一実施形態では、システム100は、画像捕捉デバイス122〜12
6を使用する3カメラ構成を実施し得る。そのような構成では、画像捕捉デバイス122
は、狭視野(例えば、34度又は約20〜45度の範囲から選択される他の値等)を提供
し得、画像捕捉デバイス124は、広視野(例えば、150度又は約100〜約180度
の範囲から選択される他の値)を提供し得、画像捕捉デバイス126は、中視野(例えば
、46度又は約35〜約60度の範囲から選択される他の値)を提供し得る。幾つかの実
施形態では、画像捕捉デバイス126は、主又は一次カメラとして動作し得る。画像捕捉
デバイス122〜126は、バックミラー310の背後に、実質的に並んで(例えば、6
cm離間)位置決めし得る。更に、幾つかの実施形態では、上述したように、画像捕捉デ
バイス122〜126の1つ又は複数は、車両200のフロントガラスと同一平面のグレ
アシールド380の背後に搭載し得る。そのようなシールドは、車内部からのいかなる反
射の画像捕捉デバイス122〜126への影響も最小にするように動作し得る。
[0142] 別の実施形態では、図3B及び図3Cに関連して上述したように、広視野カメ
ラ(例えば、上記例では画像捕捉デバイス124)は、狭い主視野カメラ(例えば、上記
例では画像捕捉デバイス122及び126)よりも低く搭載し得る。この構成は、広視野
カメラからの自由な視線を提供し得る。反射を低減するために、カメラは、車両200の
フロントガラス近くに搭載し得、反射光を弱める偏光器をカメラに含み得る。
[0143] 3カメラシステムは、特定の性能特徴を提供し得る。例えば、幾つかの実施形
態は、あるカメラによる物体の検出を別のカメラからの検出結果に基づいて検証する機能
を含み得る。上述した3カメラ構成では、処理ユニット110は、例えば、3つの処理デ
バイス(例えば、上述したように3つのEyeQシリーズのプロセッサチップ)を含み得、各
処理デバイスは、画像捕捉デバイス122〜126の1つ又は複数により捕捉される画像
の処理に向けられる。
[0144] 3カメラシステムでは、第1の処理デバイスは、主カメラ及び狭視野カメラの
両方から画像を受信し得、狭FOVカメラのビジョン処理を実行して、例えば、他の車両
、歩行者、レーンマーク、交通標識、信号機、及び他の道路物体を検出し得る。更に、第
1の処理デバイスは、主カメラからの画像と狭カメラからの画像との間でのピクセルの視
差を計算し、車両200の環境の3D再構築を作成し得る。次に、第1の処理デバイスは
、3D再構築を3Dマップデータ又は別のカメラからの情報に基づいて計算される3D情
報と結合し得る。
[0145] 第2の処理デバイスは、主カメラから画像を受信し得、ビジョン処理を実行し
て、他の車両、歩行者、レーンマーク、交通標識、信号機、及び他の道路物体を検出し得
る。更に、第2の処理デバイスは、カメラ変位を計算し、変位に基づいて、連続画像間の
ピクセルの視差を計算し、シーンの3D再構築(例えば、ストラクチャーフロムモーショ
ン)を作成し得る。第2の処理デバイスは、3D再構築に基づくストラクチャーフロムモ
ーションを第1の処理デバイスに送信し、ストラクチャーフロムモーションを立体3D画
像と結合し得る。
[0146] 第3の処理デバイスは、画像を広FOVカメラから受信し、画像を処理して、
車両、歩行者、レーンマーク、交通標識、信号機、及び他の道路物体を検出し得る。第3
の処理デバイスは、追加の処理命令を更に実行して、画像を分析し、レーン変更中の車両
、歩行者等の画像内の移動中の物体を識別し得る。
[0147] 幾つかの実施形態では、画像に基づく情報ストリームを独立して捕捉させ、処
理させることは、システムで冗長性を提供する機会を提供し得る。そのような冗長性は、
例えば、第1の画像捕捉デバイス及びそのデバイスから処理された画像を使用して、少な
くとも第2の画像捕捉デバイスから画像情報を捕捉し処理することにより得られる情報を
検証及び/又は補足し得る。
[0148] 幾つかの実施形態では、システム100は、車両200にナビゲーション支援
を提供するに当たり2つの画像捕捉デバイス(例えば、画像捕捉デバイス122及び12
4)を使用し得、第3の画像捕捉デバイス(例えば、画像捕捉デバイス126)を使用し
て、冗長性を提供し、他の2つの画像捕捉デバイスから受信されるデータの分析を検証し
得る。例えば、そのような構成では、画像捕捉デバイス122及び124は、車両200
をナビゲートするためのシステム100による立体分析のために画像を提供し得、一方、
画像捕捉デバイス126は、システム100による単眼分析のために画像を提供して、画
像捕捉デバイス123及び/又は画像捕捉デバイス124から補足された画像に基づいて
得られる情報の冗長性及び検証を提供し得る。すなわち、画像捕捉デバイス126(及び
対応する処理デバイス)は、(例えば、自動緊急ブレーキ(AEB)システムを提供する
ために)画像捕捉デバイス122及び124から導出された分析へのチェックを提供する
冗長サブシステムを提供すると見なし得る。更に幾つかの実施形態では、1つ又は複数の
センサ(例えば、レーダ、ライダ、音響センサ、車外の1つ又は複数の送受信機から受信
される情報等)から受信される情報に基づいて受信データの冗長性及び検証を補うことが
できる。
[0149] 上記カメラ構成、カメラ配置、カメラ数、カメラ位置等が単なる例示であるこ
とを当業者は認識するであろう。全体システムに対して説明されるこれらの構成要素等は
、開示される実施形態の範囲から逸脱せずに、様々な異なる構成で組み立て且つ使用し得
る。ドライバー支援及び/又は自律車両機能を提供するためのマルチカメラシステムの使
用に関する更なる詳細が以下に続く。
[0150] 図4は、開示される実施形態による1つ又は複数の動作を実行する命令を記憶
/プログラムされ得るメモリ140及び/又は150の例示的な機能ブロック図である。
以下ではメモリ140を参照するが、当業者は、命令がメモリ140及び/又は150に
記憶可能なことを認識するであろう。
[0151] 図4に示されるように、メモリ140は、単眼画像分析モジュール402、立
体画像分析モジュール404、速度及び加速度モジュール406、並びにナビゲーション
応答モジュール408を記憶し得る。開示される実施形態は、いかなる特定の構成のメモ
リ140にも限定されない。更に、アプリケーションプロセッサ180及び/又は画像プ
ロセッサ190は、メモリ140に含まれる任意のモジュール402〜408に記憶され
た命令を実行し得る。以下の考察での処理ユニット110の参照が、アプリケーションプ
ロセッサ180及び画像プロセッサ190を個々に又はまとめて指し得ることを当業者は
理解するであろう。従って、以下のプロセスのいずれかのステップは、1つ又は複数の処
理デバイスにより実行し得る。
[0152] 一実施形態では、単眼画像分析モジュール402は命令(コンピュータビジョ
ンソフトウェア等)を記憶し得、命令は、処理ユニット110により実行されると、画像
捕捉デバイス122、124、及び126の1つにより取得された画像の組の単眼画像分
析を実行する。幾つかの実施形態では、処理ユニット110は、画像の組からの情報を追
加のセンサ情報(例えば、レーダからの情報)と結合して、単眼画像分析を実行し得る。
以下の図5A〜図5Dに関連して説明するように、単眼画像分析モジュール402は、レ
ーンマーク、車両、歩行者、道路標識、高速道路出口ランプ、信号機、危険物、及び車両
の環境に関連付けられた任意の他の特徴等、画像の組内の特徴の組を検出する命令を含み
得る。分析に基づいて、システム100は、ナビゲーション応答モジュール408に関連
して以下で考察するように、ターン、レーンシフト、及び加速度変更等の1つ又は複数の
ナビゲーション応答を車両200において生じさせ得る(例えば、処理ユニット110を
介して)。
[0153] 一実施形態では、単眼画像分析モジュール402は、処理ユニット110によ
って実行されるとき、画像捕捉装置122、124、及び126の1つによって取得され
る画像の組の単眼画像分析を実行する命令(コンピュータビジョンソフトウェア等)を記
憶し得る。幾つかの実施形態では、処理ユニット110は、画像の組からの情報を追加の
センサ情報(例えば、レーダやライダ等からの情報)と結合して単眼画像分析を実行し得
る。図5A〜図5Dに関連して以下で説明するように、単眼画像分析モジュール402は
、レーンマーク、車両、歩行者、道路標識、高速道路出口ランプ、信号機、危険物、及び
車両の環境に関連する他の任意の特徴等、画像の組内の特徴の組を検出するための命令を
含み得る。分析に基づいて、システム100は、(例えば、処理ユニット110によって
)ナビゲーション応答を決定することに関連して以下で考察するように、ターン、レーン
シフト、加速度変更等の1つ又は複数のナビゲーション応答を車両200において生じさ
せ得る。
[0154] 一実施形態では、立体画像分析モジュール404は命令(コンピュータビジョ
ンソフトウェア等)を記憶し得、命令は、処理ユニット110により実行されると、画像
捕捉デバイス122、124、及び126から選択された画像捕捉デバイスの組合せによ
り取得される第1及び第2の組の画像の立体画像分析を実行する。幾つかの実施形態では
、処理ユニット110は、第1及び第2の組の画像からの情報を追加のセンサ情報(例え
ば、レーダからの情報)と結合して、立体画像分析を実行し得る。例えば、立体画像分析
モジュール404は、画像捕捉デバイス124により取得される第1の組の画像及び画像
捕捉デバイス126により取得される第2の組の画像に基づいて、立体画像分析を実行す
る命令を含み得る。以下で図6に関連して説明するように、立体画像分析モジュール40
4は、レーンマーク、車両、歩行者、道路標識、高速道路出口ランプ、信号機、及び危険
物等の第1及び第2の組の画像内の特徴の組を検出する命令を含み得る。分析に基づいて
、処理ユニット110は、ナビゲーション応答モジュール408に関連して後述するよう
に、ターン、レーンシフト、及び加速度変更等の1つ又は複数のナビゲーション応答を車
両200において生じさせ得る。更に、幾つかの実施形態では、立体画像分析モジュール
404は、トレーニング済みシステム(ニューラルネットワーク又はディープニューラル
ネットワーク等)又はトレーニングされていないシステムに関連する技法を実装すること
ができる。
[0155] 一実施形態では、速度及び加速度モジュール406は、車両200の速度及び
/又は加速度を変更させるように構成される車両200内の1つ又は複数の計算及び電気
機械デバイスから受信されるデータを分析するように構成されるソフトウェアを記憶し得
る。例えば、処理ユニット110は、速度及び加速度モジュール406に関連付けられた
命令を実行して、単眼画像分析モジュール402及び/又は立体画像分析モジュール40
4の実行から導出されるデータに基づいて、車両200の目標速度を計算し得る。そのよ
うなデータとしては、例えば、目標位置、速度、及び/又は加速度、付近の車両、歩行者
、又は道路物体に対する車両200の位置及び/又は速度、及び道路のレーンマークに対
する車両200の位置情報等を挙げ得る。加えて、処理ユニット110は、センサ入力(
例えば、レーダからの情報)と、車両200のスロットルシステム220、ブレーキシス
テム230、及び/又は操舵システム240等の車両200の他のシステムからの入力と
に基づいて、車両200の目標速度を計算し得る。計算された目標速度に基づいて、処理
ユニット110は、電子信号を車両200のスロットルシステム220、ブレーキシステ
ム230、及び/又は操舵システム240に送信して、例えば、車両200のブレーキを
物理的に弱めるか、又はアクセルを弱めることにより速度及び/又は加速度の変更をトリ
ガーし得る。
[0156] 一実施形態では、ナビゲーション応答モジュール408は、処理ユニット11
0により実行可能であり、単眼画像分析モジュール402及び/又は立体画像分析モジュ
ール404の実行から導出されるデータに基づいて、所望のナビゲーション応答を決定す
るソフトウェアを記憶し得る。そのようなデータは、付近の車両、歩行者、及び道路物体
に関連付けられた位置及び速度情報並びに車両200の目標位置情報等を含み得る。更に
、幾つかの実施形態では、ナビゲーション応答は、地図データ、車両200の所定の位置
、及び/又は車両200と、単眼画像分析モジュール402及び/又は立体画像分析モジ
ュール404の実行から検出される1つ又は複数の物体との間の相対速度又は相対加速度
に基づき得る(部分的又は完全に)。ナビゲーション応答モジュール408は、センサ入
力(例えば、レーダからの情報)と、車両200のスロットルシステム220、ブレーキ
システム230、及び操舵システム240等の車両200の他のシステムからの入力とに
基づいて、所望のナビゲーション応答を決定することもできる。所望のナビゲーション応
答に基づいて、処理ユニット110は、電子信号を車両200のスロットルシステム22
0、ブレーキシステム230、及び操舵システム240に送信して、例えば、車両200
のハンドルをターンさせ、所定の角度の回転を達成することにより、所望のナビゲーショ
ン応答をトリガーし得る。幾つかの実施形態では、処理ユニット110は、車両200の
速度変更を計算するための速度及び加速度モジュール406の実行への入力として、ナビ
ゲーション応答モジュール408の出力(例えば、所望のナビゲーション応答)を使用し
得る。
[0157] 更に、本明細書で開示するモジュール(例えば、モジュール402、404、
及び406)のいずれも、トレーニング済みシステム(ニューラルネットワーク又はディ
ープニューラルネットワーク等)又はトレーニングされていないシステムに関連する技法
を実装することができる。
[0158] 図5Aは、開示される実施形態による、単眼画像分析に基づいて1つ又は複数
のナビゲーション応答を生じさせる例示的なプロセス500Aを示すフローチャートであ
る。ステップ510において、処理ユニット110は、処理ユニット110と画像取得ユ
ニット120との間のデータインタフェース128を介して、複数の画像を受信し得る。
例えば、画像取得ユニット120に含まれるカメラ(視野202を有する画像捕捉デバイ
ス122等)は、車両200の前方(又は例えば車両の側部若しくは後方)のエリアの複
数の画像を捕捉し、データ接続(例えば、デジタル、有線、USB、無線、Bluetooth等
)を介して処理ユニット110に送信し得る。処理ユニット110は、単眼画像分析モジ
ュール402を実行して、ステップ520において、以下で図5B〜図5Dに関連して更
に詳細に説明するように、複数の画像を分析し得る。分析を実行することにより、処理ユ
ニット110は、レーンマーク、車両、歩行者、道路標識、高速道路出口ランプ、及び信
号機等の画像の組内の特徴の組を検出し得る。
[0159] 処理ユニット110は、ステップ520において、単眼画像分析モジュール4
02を実行して、例えばトラックタイヤの部品、落ちた道路標識、緩んだ貨物、及び小動
物等の様々な道路危険物を検出することもできる。道路危険物の構造、形状、サイズ、及
び色は様々であり得、そのような危険物の検出をより難しくする。幾つかの実施形態では
、処理ユニット110は、単眼画像分析モジュール402を実行して、マルチフレーム分
析を複数の画像に対して実行して、道路危険物を検出し得る。例えば、処理ユニット11
0は、連続画像フレーム間でのカメラ移動を推定し、フレーム間のピクセルの視差を計算
して、道路の3Dマップを構築し得る。次に、処理ユニット110は、3Dマップを使用
して、路面及び路面の上に存在する危険物を検出し得る。
[0160] ステップ530において、処理ユニット110は、ナビゲーション応答モジュ
ール408を実行して、ステップ520において実行された分析及び図4に関連して上述
した技法に基づいて、車両200に1つ又は複数のナビゲーション応答を生じさせ得る。
ナビゲーション応答は、例えば、ターン、レーンシフト、及び加速度変更等を含み得る。
幾つかの実施形態では、処理ユニット110は、速度及び加速度モジュール406の実行
から導出されるデータを使用して、1つ又は複数のナビゲーション応答を生じさせ得る。
更に、複数のナビゲーション応答は同時に生じてもよく、順次生じてもよく、又はそれら
の任意の組合せで生じてもよい。例えば、処理ユニット110は、例えば、制御信号を車
両200の操舵システム240及びスロットルシステム220に順次送信することにより
、車両200に1レーン超えさせ、それから例えば加速させ得る。代替的には、処理ユニ
ット110は、例えば、制御信号を車両200のブレーキシステム230及び操舵システ
ム240に同時に送信することにより、車両200に、ブレーキを掛けさせ、それと同時
にレーンをシフトさせ得る。
[0161] 図5Bは、開示される実施形態による、画像の組内の1つ又は複数の車両及び
/又は歩行者を検出する例示的なプロセス500Bを示すフローチャートである。処理ユ
ニット110は、単眼画像分析モジュール402を実行して、プロセス500Bを実施し
得る。ステップ540において、処理ユニット110は、存在する可能性がある車両及び
/又は歩行者を表す候補物体の組を特定し得る。例えば、処理ユニット110は、1つ又
は複数の画像を走査し、画像を1つ又は複数の所定のパターンと比較し、各画像内で、対
象物体(例えば、車両、歩行者、又はそれらの部分)を含み得る可能性がある位置を識別
し得る。所定のパターンは、低率の「偽性ヒット」及び低率の「見逃し」を達成するよう
に指定し得る。例えば、処理ユニット110は、所定のパターンへの低い類似性閾値を使
用して、可能性のある車両又は歩行者として候補物体を識別し得る。そうすることにより
、処理ユニット110は、車両又は歩行者を表す候補物体を見逃す(例えば、識別しない
)確率を低減することができ得る。
[0162] ステップ542において、処理ユニット110は、候補物体の組をフィルタリ
ングして、分類基準に基づいて特定の候補(例えば、無関係又は関係性の低い物体)を除
外し得る。そのような基準は、データベース(例えば、メモリ140に記憶されるデータ
ベース)に記憶された物体タイプに関連付けられた様々な特性から導出し得る。特性は、
物体の形状、寸法、テクスチャ、及び位置(例えば、車両200に対する)等を含み得る
。従って、処理ユニット110は、1つ又は複数の組の基準を使用して、候補物体の組か
ら偽性候補を拒絶し得る。
[0163] ステップ544において、処理ユニット110は、複数の画像フレームを分析
して、候補画像の組内の物体が車両及び/又は歩行者を表しているか否かを特定し得る。
例えば、処理ユニット110は、連続フレームにわたり検出された候補物体を追跡し、検
出された物体に関連付けられたフレーム毎データ(例えば、サイズ、車両200に対する
位置等)を蓄積し得る。更に、処理ユニット110は、検出された物体のパラメータを推
定し、物体のフレーム毎位置データを予測位置と比較し得る。
[0164] ステップ546において、処理ユニット110は、検出された物体の測定値の
組を構築し得る。そのような測定値は、例えば、検出された物体に関連付けられた位置、
速度、及び加速度値(車両200に対する)を含み得る。幾つかの実施形態では、処理ユ
ニット110は、カルマンフィルタ又は線形二次推定(LQE)等の一連の時間ベースの
観測値を使用する推定技法及び/又は異なる物体タイプ(例えば、車、トラック、歩行者
、自転車、道路標識等)で利用可能なモデリングデータに基づいて、測定値を構築し得る
。カルマンフィルタは、物体のスケール測定値に基づき得、ここで、スケール測定値は衝
突までの時間(例えば、車両200が物体に達するまでの時間量)に比例する。従って、
ステップ540〜546を実行することにより、処理ユニット110は、捕捉画像の組内
に現れる車両及び歩行者を識別し、車両及び歩行者に関連付けられた情報(例えば、位置
、速度、サイズ)を導出し得る。識別及び導出される情報に基づいて、処理ユニット11
0は、図5Aに関連して上述したように、車両200で1つ又は複数のナビゲーション応
答を生じさせ得る。
[0165] ステップ548において、処理ユニット110は、1つ又は複数の画像のオプ
ティカルフロー分析を実行して、「偽性ヒット」を検出する確率及び車両又は歩行者を表
す候補物体を見逃す確率を低減し得る。オプティカルフロー分析は、例えば、他の車両及
び歩行者に関連付けられた1つ又は複数の画像内の車両200に対する、路面の動きとは
別個の移動パターンを分析することを指し得る。処理ユニット110は、異なる時刻に捕
捉された複数の画像フレームにわたる物体の異なる位置を観測することにより、候補物体
の移動を計算し得る。処理ユニット110は、位置及び時間値を数学モデルへの入力とし
て使用して、候補物体の移動を計算し得る。従って、オプティカルフロー分析は、車両2
00の付近にある車両及び歩行者を検出する別の方法を提供し得る。処理ユニット110
は、ステップ540〜546と組み合わせてオプティカルフロー分析を実行して、車両及
び歩行者を検出する冗長性を提供すると共に、システム100の信頼度を上げ得る。
[0166] 図5Cは、開示される実施形態による、画像の組内の道路マーク及び/又はレ
ーンジオメトリ情報を検出する例示的なプロセス500Cを示すフローチャートである。
処理ユニット110は、単眼画像分析モジュール402を実行して、プロセス500Cを
実施し得る。ステップ550において、処理ユニット110は、1つ又は複数の画像を走
査することにより物体の組を検出し得る。レーンマークのセグメント、レーンジオメトリ
情報、及び他の関連道路マークを検出するために、処理ユニット110は、物体の組をフ
ィルタリングして、無関連(例えば、小さい穴、小さい岩等)であると判断されるものを
除外し得る。ステップ552において、処理ユニット110は、同じ道路マーク又はレー
ンマークに属する、ステップ550において検出されたセグメントを一緒にグループ化し
得る。グループ化に基づいて、処理ユニット110は、数学モデル等のモデルを開発して
、検出されたセグメントを表し得る。
[0167] ステップ554において、処理ユニット110は、検出されたセグメントに関
連付けられた測定値の組を構築し得る。幾つかの実施形態では、処理ユニット110は、
画像平面から実世界平面への検出セグメントの射影を作成し得る。射影は、検出された道
路の位置、傾斜、曲率、及び曲率微分等の物理特性に対応する係数を有する三次多項式を
使用して特徴付け得る。射影を生成するに当たり、処理ユニット110は、路面変化並び
に車両200に関連付けられたピッチ及びロール率を考慮に入れ得る。加えて、処理ユニ
ット110は、位置及び路面に存在するモーションキューを分析することにより道路高を
モデリングし得る。更に、処理ユニット110は、1つ又は複数の画像での特徴点の組を
追跡することにより、車両200に関連付けられたピッチ率及びロール率を推定し得る。
[0168] ステップ556において、処理ユニット110は、例えば、連続した画像フレ
ームにわたり検出セグメントを追跡し、検出セグメントに関連付けられたフレーム毎デー
タを蓄積することにより、マルチフレーム分析を実行し得る。処理ユニット110はマル
チフレーム分析を実行する場合、ステップ554において構築された測定値の組はより信
頼性の高いものになり得、ますます高い信頼度を関連付け得る。従って、ステップ550
〜556を実行することにより、処理ユニット110は、捕捉画像の組内に現れる道路マ
ークを識別し、レーンジオメトリ情報を導出し得る。識別及び導出される情報に基づいて
、処理ユニット110は、図5Aに関連して上述したように、車両200で1つ又は複数
のナビゲーション応答を生じさせ得る。
[0169] ステップ558において、処理ユニット110は、追加の情報ソースを考慮し
て、車両の周囲の状況における車両200の安全モデルを更に開発し得る。処理ユニット
110は、安全モデルを使用して、システム100が車両200の自律制御を安全に実行
し得る状況を定義し得る。安全モデルを開発するために、幾つかの実施形態では、処理ユ
ニット110は、他の車両の位置及び動き、検出された道路縁部及び障壁、及び/又は地
図データ(地図データベース160からのデータ等)から抽出された一般道路形状記述を
考慮し得る。追加の情報ソースを考慮することにより、処理ユニット110は、道路マー
ク及びレーンジオメトリを検出する冗長性を提供し、システム100の信頼性を上げ得る
[0170] 図5Dは、開示される実施形態による、画像の組内の信号機を検出する例示的
なプロセス500Dを示すフローチャートである。処理ユニット110は、単眼画像分析
モジュール402を実行して、プロセス500Dを実施し得る。ステップ560において
、処理ユニット110は、画像の組を走査し、信号機を含む可能性が高い画像内の位置に
現れる物体を識別し得る。例えば、処理ユニット110は、識別された物体をフィルタリ
ングして、信号機に対応する可能性が低い物体を除外した候補物体の組を構築し得る。フ
ィルタリングは、形状、寸法、テクスチャ、及び位置(例えば、車両200に対する)等
の信号機に関連付けられた様々な特性に基づいて行い得る。そのような特性は、信号機及
び交通制御信号の多くの例に基づき得、データベースに記憶し得る。幾つかの実施形態で
は、処理ユニット110は、可能性のある信号機を反映した候補物体の組に対してマルチ
フレーム分析を実行し得る。例えば、処理ユニット110は、連続した画像フレームにわ
たり候補物体を追跡し、候補物体の現実世界位置を推定し、移動している(信号機である
可能性が低い)物体をフィルタリングして除去し得る。幾つかの実施形態では、処理ユニ
ット110は、カラー分析を候補物体に対して実行し、可能性のある信号機内部に表され
る検出色の相対位置を識別し得る。
[0171] ステップ562において、処理ユニット110は、交差点のジオメトリを分析
し得る。分析は、(i)車両200の両側で検出されるレーン数、(ii)道路で検出さ
れたマーク(矢印マーク等)、及び(iii)地図データ(地図データベース160から
のデータ等)から抽出された交差点の記述の任意の組合せに基づき得る。処理ユニット1
10は、単眼分析モジュール402の実行から導出される情報を使用して、分析を行い得
る。加えて、処理ユニット110は、ステップ560において検出された信号機と、車両
200近傍に現れるレーンとの対応性を特定し得る。
[0172] 車両200が交差点に近づくにつれて、ステップ564において、処理ユニッ
ト110は、分析された交差点ジオメトリ及び検出された信号機に関連付けられた信頼度
を更新し得る。例えば、交差点に実際に現れる数と比較した、交差点に現れると推定され
た信号機の数は、信頼度に影響を及ぼし得る。従って、信頼度に基づいて、処理ユニット
110は、車両200のドライバーに制御を委任して、安全状況を改善し得る。ステップ
560〜564を実行することにより、処理ユニット110は、捕捉画像の組内に現れる
信号機を識別し、交差点ジオメトリ情報を分析し得る。識別及び分析に基づいて、処理ユ
ニット110は、図5Aに関連して上述したように、車両200で1つ又は複数のナビゲ
ーション応答を生じさせ得る。
[0173] 図5Eは、開示される実施形態による、車両経路に基づいて車両200で1つ
又は複数のナビゲーション応答を生じさせる例示的なプロセス500Eのフローチャート
である。ステップ570において、処理ユニット110は、車両200に関連付けられた
初期車両経路を構築し得る。車両経路は、座標(x,y)で表される点の組を使用して表
し得、点の組内の2点間距離dは、1〜5メートルの範囲内にあり得る。一実施形態で
は、処理ユニット110は、左右の道路多項式等の2つの多項式を使用して初期車両経路
を構築し得る。処理ユニット110は、2つの多項式間の幾何学的中間点を計算し、所定
のオフセットがある場合(オフセット0は、レーンの中央での走行に対応し得る)、所定
のオフセット(例えば、スマートレーンオフセット)だけ、結果として生成される車両経
路に含まれる各点をオフセットさせ得る。オフセットは、車両経路内の任意の2点間のセ
グメントに垂直の方向であり得る。別の実施形態では、処理ユニット110は、1つの多
項式及び推定レーン幅を使用して、推定レーン幅の半分に所定のオフセット(例えば、ス
マートレーンオフセット)を加えたものだけ車両経路の各点をオフセットさせ得る。
[0174] ステップ572において、処理ユニット110は、ステップ570において構
築された車両経路を更新し得る。処理ユニット110は、車両経路を表す点の組内の2点
間距離dが、上述した距離dよりも短くなるように、より高い解像度を使用して、5
70において構築された車両経路を再構築し得る。例えば、距離dは0.1〜0.3メ
ートルの範囲であり得る。処理ユニット110は、放物線スプラインアルゴリズムを使用
して車両経路を再構築し得、これは、車両経路の全長(すなわち、車両経路を表す点の組
に基づく)に対応する累積距離ベクトルSをもたらし得る。
[0175] ステップ574において、処理ユニット110は、ステップ572において行
われた更新車両経路に基づいて、先読み点((x,z)として座標で表される)を特
定し得る。処理ユニット110は、累積距離ベクトルSから先読み点を抽出し得、先読み
点には、先読み距離及び先読み時間を関連付け得る。先読み距離は、下限範囲10〜20
メートルを有し得、車両200の速度と先読み時間との積として計算し得る。例えば、車
両200の速度が下がるにつれて、先読み距離も短くなり得る(例えば、下限に達するま
で)。0.5〜1.5秒の範囲であり得る先読み時間は、進行エラー追跡制御ループ等の
車両200でナビゲーション応答を生じさせることに関連付けられた1つ又は複数の制御
ループの利得に反比例し得る。例えば、進行エラー追跡制御ループの利得は、ヨー率ルー
プ、操舵アクチュエータループ、及び車横方向ダイナミクス等の帯域幅に依存し得る。従
って、進行エラー追跡制御ループの利得が高いほど、先読み時間は短くなる。
[0176] ステップ576において、処理ユニット110は、ステップ574において特
定される先読み点に基づいて、進行エラー及びヨー率コマンドを決定し得る。処理ユニッ
ト110は、先読み点の逆正接、例えばarctan(x/z)を計算することによ
り、進行エラーを特定し得る。処理ユニット110は、進行エラーと高レベル制御利得と
の積としてヨー率コマンドを決定し得る。高レベル制御利得は、先読み距離が下限にない
場合、(2/先読み時間)に等しい値であり得る。先読み距離が下限である場合、高レベ
ル制御利得は、(2車両200の速度/先読み距離)に等しい値であり得る。
[0177] 図5Fは、開示される実施形態による、先行車両がレーンを変更中であるか否
かを特定する例示的なプロセス500Fを示すフローチャートである。ステップ580に
おいて、処理ユニット110は、先行車両(例えば、車両200の前を移動中の車両)に
関連付けられたナビゲーション情報を特定し得る。例えば、処理ユニット110は、図5
A及び図5Bに関連して上述した技法を使用して、先行車両の位置、速度(例えば、方向
及び速さ)、及び/又は加速度を特定し得る。処理ユニット110は、図5Eに関連して
上述した技法を使用して、1つ又は複数の道路多項式、先読み点(車両200に関連付け
られる)、及び/又はスネイルトレイル(例えば、先行車両がとった経路を記述する点の
組)を特定することもできる。
[0178] ステップ582において、処理ユニット110は、ステップ580において特
定されたナビゲーション情報を分析し得る。一実施形態では、処理ユニット110は、ス
ネイルトレイルと道路多項式との間の距離(例えば、トレイルに沿った)を計算し得る。
トレイルに沿ったこの距離の相違が所定の閾値(例えば、直線道路では0.1〜0.2メ
ートル、緩くカーブした道路では0.3〜0.4メートル、急カーブの道路では0.5〜
0.6メートル)を超える場合、処理ユニット110は、先行車両がレーン変更中である
可能性が高いと判断し得る。複数の車両が、車両200の前を走行中であることが検出さ
れる場合、処理ユニット110は、各車両に関連付けられたスネイルトレイルを比較し得
る。比較に基づいて、処理ユニット110は、スネイルトレイルが他の車両のスネイルト
レイルに一致しない車両が、レーン変更中である可能性が高いと判断し得る。処理ユニッ
ト110は更に、スネイルトレイル(先行車両に関連付けられた)の曲率を、先行車両が
移動中の道路区分の予期される曲率と比較し得る。予期される曲率は、地図データ(例え
ば、地図データベース160からのデータ)、道路多項式、他の車両のスネイルトレイル
、及び道路についての事前知識等から抽出し得る。スネイルトレイルの曲率と道路区分の
予期される曲率との差が、所定の閾値を超える場合、処理ユニット110は、先行車両が
レーン変更中である可能性が高いと判断し得る。
[0179] 別の実施形態では、処理ユニット110は、特定の時間期間(例えば、0.5
〜1.5秒)にわたり、先行車両の瞬間位置を先読み点(車両200に関連付けられた)
と比較し得る。特定の時間期間中の先行車両の瞬間位置と先読み点との間の距離の差及び
相違の累積和が、所定の閾値(例えば、直線道路では0.3〜0.4メートル、緩くカー
ブした道路では0.7〜0.8メートル、急カーブの道路では1.3〜1.7メートル)
を超える場合、処理ユニット110は、先行車両がレーン変更中である可能性が高いと判
断し得る。別の実施形態では、処理ユニット110は、トレイルに沿って移動した横方向
距離をスネイルトレイルの予期される曲率と比較することにより、スネイルトレイルの幾
何学的形状を分析し得る。予期される曲率半径は、計算:
(δ +δ )/2/(δ
に従って特定し得、式中、σは横方向移動距離を表し、σは縦方向移動距離を表す。
横方向移動距離と予期される曲率との差が所定の閾値(例えば、500〜700メートル
)を超える場合、処理ユニット110は、先行車両がレーン変更中である可能性が高いと
判断し得る。別の実施形態では、処理ユニット110は、先行車両の位置を分析し得る。
先行車両の位置が道路多項式を曖昧にする(例えば、先行車両が道路多項式の上に重なる
)場合、処理ユニット110は、先行車両がレーン変更中である可能性が高いと判断し得
る。先行車両の位置が、別の車両が先行車両の前方で検出され、2つの車両のスネイルト
レイルが平行ではないようなものである場合、処理ユニット110は、(より近い)先行
車両がレーン変更中である可能性が高いと判断し得る。
[0180] ステップ584において、処理ユニット110は、ステップ582において実
行された分析に基づいて、先行車両200がレーン変更中であるか否かを特定し得る。例
えば、処理ユニット110は、ステップ582において実行された個々の分析の加重平均
に基づいてその判断を下し得る。そのような方式下では、例えば、特定のタイプの分析に
基づいた、先行車両がレーン変更中である可能性が高いという処理ユニット110による
判断には、値「1」を割り当て得る(「0」は、先行車両がレーン変更中である可能性が
低いとの判断を表す)。ステップ582において実行される異なる分析には異なる重みを
割り当て得、開示される実施形態は、分析及び重みのいかなる特定の組合せにも限定され
ない。更に、幾つかの実施形態では、分析は、トレーニング済みシステム(例えば、機械
学習又はディープラーニングシステム)を利用でき、かかるシステムは、例えば、現在位
置において捕捉した画像に基づいて車両の現在位置よりも先の将来の経路を推定すること
ができる。
[0181] 図6は、開示される実施形態による、立体画像分析に基づいて1つ又は複数の
ナビゲーション応答を生じさせる例示的なプロセス600を示すフローチャートである。
ステップ610において、処理ユニット110は、データインタフェース128を介して
第1及び第2の複数の画像を受信し得る。例えば、画像取得ユニット120に含まれるカ
メラ(視野202及び204を有する画像捕捉デバイス122及び124等)は、車両2
00の前方のエリアの第1及び第2の複数の画像を捕捉し、デジタル接続(例えば、US
B、無線、Bluetooth等)を介して処理ユニット110に送信し得る。幾つかの実施形態
では、処理ユニット110は、2つ以上のデータインタフェースを介して第1及び第2の
複数の画像を受信し得る。開示される実施形態は、いかなる特定のデータインタフェース
構成又はプロトコルにも限定されない。
[0182] ステップ620において、処理ユニット110は、立体画像分析モジュール4
04を実行して、第1及び第2の複数の画像の立体画像分析を実行して、車両の前の道路
の3Dマップを作成し、レーンマーク、車両、歩行者、道路標識、高速道路出口ランプ、
信号機、及び道路危険物等の画像内の特徴を検出し得る。立体画像分析は、図5A〜図5
Dに関連して上述したステップと同様に実行し得る。例えば、処理ユニット110は、立
体画像分析モジュール404を実行して、第1及び第2の複数の画像内の候補物体(例え
ば、車両、歩行者、道路マーク、信号機、道路危険物等)を検出し、様々な基準に基づい
て候補物体のサブセットをフィルタリングして除外し、マルチフレーム分析を実行し、測
定値を構築し、残りの候補物体の信頼度を特定し得る。上記ステップを実行するに当たり
、処理ユニット110は、画像の1つの組のみからの情報ではなく、第1及び第2の複数
の画像の両方からの情報を考慮し得る。例えば、処理ユニット110は、第1及び第2の
複数の画像の両方に現れる候補物体のピクセルレベルデータ(又は捕捉画像の2つのスト
リームの中からの他のデータサブセット)の差を分析し得る。別の例として、処理ユニッ
ト110は、物体が複数の画像の1枚に現れるが、他の画像では現れないことを観測する
ことにより、又は2つの画像ストリームに現れる物体に関して存在し得る他の差に対して
、候補物体の位置及び/又は速度(例えば、車両200に対する)を推定し得る。例えば
、車両200に対する位置、速度、及び/又は加速度は、画像ストリームの一方又は両方
に現れる物体に関連付けられた特徴の軌道、位置、移動特性等に基づいて特定し得る。
[0183] ステップ630において、処理ユニット110は、ナビゲーション応答モジュ
ール408を実行して、ステップ620において実行された分析及び図4に関連して上述
した技法に基づいて、車両200で1つ又は複数のナビゲーション動作を生じさせ得る。
ナビゲーション応答は、例えば、ターン、レーンシフト、加速度変更、速度変更、及びブ
レーキ等を含み得る。幾つかの実施形態では、処理ユニット110は、速度及び加速度モ
ジュール406の実行から導出されるデータを使用して、1つ又は複数のナビゲーション
応答を生じさせ得る。更に、複数のナビゲーション応答は、同時に行ってもよく、順次行
ってもよく、又はそれらの任意の組合せで行ってもよい。
[0184] 図7は、開示される実施形態による、3組の画像の分析に基づいて1つ又は複
数のナビゲーション応答を生じさせる例示的なプロセス700を示すフローチャートであ
る。ステップ710において、処理ユニット110は、データインタフェース128を介
して第1、第2、及び第3の複数の画像を受信し得る。例えば、画像取得ユニット120
に含まれるカメラ(視野202、204、及び206を有する画像捕捉デバイス122、
124、及び126等)は、車両200の前方及び/又は側部のエリアの第1、第2、及
び第3の複数の画像を捕捉し、デジタル接続(例えば、USB、無線、Bluetooth等)を
介して処理ユニット110に送信し得る。幾つかの実施形態では、処理ユニット110は
、3つ以上のデータインタフェースを介して第1、第2、及び第3の複数の画像を受信し
得る。例えば、画像捕捉デバイス122、124、及び126のそれぞれは、処理ユニッ
ト110にデータを通信する関連付けられたデータインタフェースを有し得る。開示され
る実施形態は、いかなる特定のデータインタフェース構成又はプロトコルにも限定されな
い。
[0185] ステップ720において、処理ユニット110は、第1、第2、及び第3の複
数の画像を分析して、レーンマーク、車両、歩行者、道路標識、高速道路出口ランプ、信
号機、及び道路危険物等の画像内の特徴を検出し得る。分析は、図5A〜図5D及び図6
に関連して上述したステップと同様に実行し得る。例えば、処理ユニット110は、単眼
画像分析を第1、第2、及び第3の複数のそれぞれの画像に対して実行し得る(例えば、
単眼画像分析モジュール402の実行及び図5A〜図5Dに関連して上述したステップに
基づいて)。代替的には、処理ユニット110は、立体画像分析を第1及び第2の複数の
画像、第2及び第3の複数の画像、及び/又は第1及び第3の複数の画像に対して実行し
得る(例えば、立体画像分析モジュール404の実行を介して及び図6に関連して上述し
たステップに基づいて)。第1、第2、及び/又は第3の複数の画像の分析に対応する処
理済み情報は、結合し得る。幾つかの実施形態では、処理ユニット110は、単眼画像分
析と立体画像分析との組合せを実行し得る。例えば、処理ユニット110は、単眼画像分
析を第1の複数の画像に対して実行し(例えば、単眼画像分析モジュール402の実行を
介して)、立体画像分析を第2及び第3の複数の画像に対して実行し得る(例えば、立体
画像分析モジュール404の実行を介して)。画像捕捉デバイス122、124、及び1
26の構成 − 各位置及び視野202、204、及び206を含め − は、第1、第
2、及び第3の複数の画像に対して行われる分析のタイプに影響を及ぼし得る。開示され
る実施形態は、画像捕捉デバイス122、124、及び126の特定の構成又は第1、第
2、及び第3の複数の画像に対して行われる分析のタイプに限定されない。
[0186] 幾つかの実施形態では、処理ユニット110は、ステップ710及び720に
おいて取得され分析された画像に基づいて、システム100にテストを実行し得る。その
ようなテストは、画像捕捉デバイス122、124、及び126の特定の構成でのシステ
ム100の全体性能のインジケータを提供し得る。例えば、処理ユニット110は、「偽
性ヒット」(例えば、システム100が車両又は歩行者の存在を誤って判断する場合)及
び「見落とし」の割合を特定し得る。
[0187] ステップ730において、処理ユニット110は、第1、第2、及び第3の複
数の画像の2つから導出される情報に基づいて、車両200での1つ又は複数のナビゲー
ション応答を生じさせ得る。第1、第2、及び第3の複数の画像の2つの選択は、例えば
、複数の画像のそれぞれで検出される物体の数、タイプ、及びサイズ等の様々なファクタ
に依存し得る。処理ユニット110は、画像の品質及び解像度、画像に反映される有効視
野、捕捉フレーム数、及び対象となる1つ又は複数の物体が実際にフレームに現れる程度
(例えば、物体が現れるフレームのパーセンテージ、物体がそのような各フレームで現れ
る割合等)等に基づいて選択を行うことができる。
[0188] 幾つかの実施形態では、処理ユニット110は、ある画像ソースから導出され
た情報が、他の画像ソースから導出される情報と一貫する程度を特定することにより、第
1、第2、及び第3の複数の画像の2つから導出される情報を選択し得る。例えば、処理
ユニット110は、画像捕捉デバイス122、124、及び126のそれぞれから導出さ
れる処理済み情報(単眼分析であれ、立体分析であれ、又はそれら2つの任意の組合せで
あれ関係なく)を結合して、画像捕捉デバイス122、124、及び126のそれぞれか
ら捕捉される画像にわたり一貫する視覚的インジケータ(例えば、レーンマーク、検出さ
れた車両及び/又はその位置及び/又は経路、検出された信号機等)を特定し得る。処理
ユニット110は、捕捉画像にわたり一貫しない情報(例えば、レーンを変更中の車両、
車両200に近過ぎる車両を示すレーンモデル等)を除外することもできる。従って、処
理ユニット110は、一貫情報及び非一貫情報の特定に基づいて、第1、第2、及び第3
の複数の画像の2つからの導出される情報を選択し得る。
[0189] ナビゲーション応答は、例えば、ターン、レーンシフト、及び加速度変更を含
み得る。処理ユニット110は、ステップ720において実行される分析及び図4に関連
して上述した技法に基づいて、1つ又は複数のナビゲーション応答を生じさせ得る。処理
ユニット110は、速度及び加速度モジュール406の実行から導出されるデータを使用
して、1つ又は複数のナビゲーション応答を生じさせることもできる。幾つかの実施形態
では、処理ユニット110は、車両200と第1、第2、及び第3の複数の画像のいずれ
かで検出される物体との間の相対位置、相対速度、及び/又は相対加速度に基づいて、1
つ又は複数のナビゲーション応答を生じさせ得る。複数のナビゲーション応答は、同時に
行ってもよく、順次行ってもよく、又はそれらの任意の組合せで行ってもよい。
[0190] 強化学習及びトレーニング済みナビゲーションシステム
[0191] 以下の節は、車両の自律制御が完全に自律的(自動運転車両)であろうと、部
分的に自律的(例えば、1人又は複数のドライバーがシステム又は機能を支援する)であ
ろうと、車両の自律制御を実現するためのシステム及び方法と共に自律運転について論じ
る。図8に示すように、自律運転タスクは、検知モジュール801、運転ポリシモジュー
ル803、及び制御モジュール805を含む3つの主なモジュールに分けることができる
。幾つかの実施形態では、モジュール801、803、及び805をシステム100のメ
モリユニット140及び/又はメモリユニット150内に記憶することができ、及び/又
はモジュール801、803、及び805(又はその一部)をシステム100から離して
記憶する(例えば、無線送受信機172によって例えばシステム100がアクセス可能な
サーバ内に記憶する)ことができる。更に、本明細書で開示するモジュール(例えば、モ
ジュール801、803、及び805)のいずれも、トレーニング済みシステム(ニュー
ラルネットワーク又はディープニューラルネットワーク等)又はトレーニングされていな
いシステムに関連する技法を実装することができる。
[0192] 処理ユニット110を使用して実装することができる検知モジュール801は
、ホスト車両の環境内のナビゲーション状態の検知に関連する様々なタスクを処理するこ
とができる。かかるタスクは、ホスト車両に関連する様々なセンサ及び検知システムから
の入力に依存し得る。それらの入力は、1つ又は複数のオンボードカメラからの画像又は
画像ストリーム、GPS位置情報、加速度計の出力、ユーザフィードバック、1つ又は複
数のユーザインタフェース装置へのユーザ入力、レーダ、ライダ等を含み得る。地図情報
と共にカメラ及び/又は他の任意の利用可能なセンサからのデータを含み得る検知データ
を収集し、分析し、ホスト車両の環境内のシーンから抽出される情報を記述する「検知状
態」へと系統立てて表すことができる。検知状態は、任意の潜在的な(可能性のある)検
知情報の中でも、目標車両、レーンマーク、歩行者、信号機、道路の幾何学的形状、レー
ン形状、障害物、他の物体/車両までの距離、相対速度、相対加速度に関係する検知情報
を特に含み得る。検知モジュール801に提供される検知データに基づいて検知状態出力
を作り出すために、教師あり機械学習を実施することができる。検知モジュールの出力は
、ホスト車両の検知ナビゲーション「状態」を表すことができ、それは、運転ポリシモジ
ュール803に送られ得る。
[0193] ホスト車両に関連する1つ又は複数のカメラ又は画像センサから受信される画
像データに基づいて検知状態を決定することができるが、ナビゲーションに使用される検
知状態は、任意の適切なセンサ又はセンサの組合せを使用して決定することができる。幾
つかの実施形態では、捕捉画像データを使用することなしに検知状態を決定することがで
きる。実際、本明細書に記載のナビゲーション原理のいずれも、捕捉画像データに基づい
て決定される検知状態並びに他の非画像ベースのセンサを使用して決定される検知状態に
適用可能であり得る。検知状態は、ホスト車両の外部のソースによって決定することもで
きる。例えば、検知状態は、ホスト車両から離れたソースから受信される情報に基づいて
(例えば、他の車両から共有されるか、中央サーバから共有されるか、又はホスト車両の
ナビゲーション状態に関連する情報の他の任意のソースから共有されるセンサ情報や処理
された状態情報等に基づいて)完全に又は部分的に決定することができる。
[0194] 以下でより詳細に解説し、処理ユニット110を使用して実装することができ
る運転ポリシモジュール803は、検知されるナビゲーション状態に応じてホスト車両が
行う1つ又は複数のナビゲーション動作を決定するための所望の運転ポリシを実装するこ
とができる。ホスト車両の環境内に他のエージェント(例えば、目標車両又は歩行者)が
ない場合、運転ポリシモジュール803に入力される検知状態は、比較的簡単な方法で処
理することができる。検知状態が1つ又は複数の他のエージェントとの折衝を必要とする
場合、このタスクは、より複雑になる。運転ポリシモジュール803の出力を生成するた
めに使用される技術は、強化学習(以下でより詳細に解説する)を含み得る。運転ポリシ
モジュール803の出力は、ホスト車両のための少なくとも1つのナビゲーション動作を
含むことができ、潜在的な所望のナビゲーション動作の中でも、(ホスト車両の更新され
た速度につながり得る)所望の加速度、ホスト車両の所望のヨー率、所望の軌道を特に含
み得る。
[0195] 運転ポリシモジュール803からの出力に基づき、同じく処理ユニット110
を使用して実装することができる制御モジュール805は、ホスト車両に関連する1つ又
は複数のアクチュエータ又は被制御装置のための制御命令を決定することができる。かか
るアクチュエータ及び装置は、アクセル、1つ又は複数の操舵制御、ブレーキ、信号送信
機、ディスプレイ、又はホスト車両に関連するナビゲーション動作の一環として制御され
得る他の任意のアクチュエータ若しくは装置を含み得る。制御モジュール805の出力を
生成するために制御理論の側面を使用することができる。運転ポリシモジュール803の
所望のナビゲーション目標又は要件を実施するために、制御モジュール805は、ホスト
車両の制御可能な構成要素への命令を決定し出力することを担い得る。
[0196] 運転ポリシモジュール803に戻り、幾つかの実施形態では、強化学習によっ
てトレーニングされるトレーニング済みシステムを使用して運転ポリシモジュール803
を実装することができる。他の実施形態では、指定のアルゴリズムを使用して自律ナビゲ
ーション中に生じ得る様々なシナリオに「手動で」対処することにより、運転ポリシモジ
ュール803を機械学習法なしに実装することができる。しかし、かかる手法は、実行可
能であるが、あまりにも単純過ぎる運転ポリシをもたらす可能性があり、機械学習に基づ
くトレーニング済みシステムの柔軟性を欠く場合がある。トレーニング済みシステムは、
複雑なナビゲーション状態を処理する態勢がより整っている場合があり、タクシーが駐車
しているか、乗客を乗せる又は降ろすために停車しているかをより良好に判定することが
でき、ホスト車両の前方の道路を歩行者が横断しようとしているかどうかをより良好に判
定し、自衛性に対する他のドライバーの予期せぬ挙動のバランスをより良好に取り、目標
車両及び/又は歩行者を含む混雑した道路をより良好に通り抜け、特定のナビゲーション
規則を中断するか又は他の規則を増強するときをより良好に決定し、未検知であるが予期
される条件(例えば、歩行者が車又は障害物の裏から現れるかどうか)等をより良好に予
期することができる。強化学習に基づくトレーニング済みシステムは、連続的な動作空間
と共に連続的且つ高次元の状態空間に対処する態勢がより整っている場合もある。
[0197] 強化学習を使用してシステムをトレーニングすることは、検知状態からナビゲ
ーション動作にマッピングするために運転ポリシを学習することを含み得る。運転ポリシ
は、関数π:S→Aであり、Sは、状態の組であり、

は、動作空間(例えば、所望の速度、加速度、ヨーコマンド等)である。状態空間は、S
=SxSであり、Sは、検知状態であり、Sは、ポリシによって保存された状態
に対する追加情報である。離散的な時間間隔で機能し、時点tにおいて現在の状態s
Sを観測することができ、ポリシを適用して所望の動作a=π(s)を得ることがで
きる。
[0198] システムは、様々なナビゲーション状態にさらし、システムにポリシを適用さ
せ、(所望のナビゲーション挙動に報酬を与えるように設計される報酬関数に基づいて)
報酬を与えることによってトレーニングすることができる。報酬のフィードバックに基づ
き、システムは、ポリシを「学習」することができ、所望のナビゲーション動作を作り出
すことにおいてトレーニングされた状態になる。例えば、学習システムは、現在の状態s
∈Sを観測し、ポリシ

に基づいて動作a∈Aを決定することができる。決定された動作(及びその動作の実施
)に基づき、環境は、学習システムによって観測するための次の状態st+1∈Sに移る
。観測された状態に応じて決定される各動作について、学習システムに対するフィードバ
ックは、報酬信号r、r、...である。
[0199] 強化学習(RL)の目標は、ポリシπを見つけることである。時点tにおいて
、状態sにあり、動作aを行う即時の品質を測定する報酬関数rがあると通常想定
される。しかし、時点tにおいて動作aを行うことは、環境に影響を与え、従って将来
の状態の値に影響を及ぼす。その結果、いずれの動作を行うかを決定するとき、現在の報
酬を考慮するだけでなく将来の報酬も検討すべきである。幾つかの場合、ここで報酬が低
い選択肢を行った場合により多くの報酬を将来実現できるとシステムが判定する場合、た
とえ利用可能な別の選択肢よりも特定の動作が低い報酬に関連していても、システムは、
その動作を行うべきである。これを形式化するために、ポリシπ及び初期状態sが、

にわたる分布を引き起こすことを観測し、エージェントが状態s=sから開始し、そこ
からポリシπに従う場合、ベクトル(r,...,r)の確率は、報酬r,...
,rを観測する確率である。初期状態sの値は、次式で定めることができる。
[0200]
[0201] 対象期間をTに限定するのではなく、将来の報酬を割り引いて一部の固定され
たγ∈(0,1)について次式を定めることができる。
[0202]
[0203] いずれにせよ、最適なポリシは、
[0204]

[0205] の解であり、期待値は、初期状態sにわたる。
[0206] 運転ポリシシステムをトレーニングするための幾つかのあり得る方法体系があ
る。例えば、システムは、状態/動作の対から学習する模倣手法(例えば、挙動クローニ
ング)を使用することができ、動作は、特定の観測状態に応じて優良なエージェント(例
えば、人間)によって選択されるものである。人間のドライバーが観測されると仮定する
。この観測により、運転ポリシシステムをトレーニングするための基礎として、(s
)という形式(sは、状態であり、aは、人間のドライバーの動作である)の多
くの例を取得し、観測し、使用することができる。例えば、π(s)≒aが成立する
ように教師あり学習を使用してポリシπを学習することができる。この手法には多くの潜
在的な利点がある。第1に、報酬関数を定める必要がない。第2に、学習は、「教師あり
」であり、オフラインで行われる(学習プロセス内でエージェントを適用する必要はない
)。この方法の不利点は、様々な人間のドライバー及び更には同じ人間のドライバーでさ
え自分のポリシ選択の点で決定論的でないことである。従って、||π(s)−a
|が非常に小さい関数を学習するのは不可能であることが多い。更に、小さい誤差でさえ
徐々に蓄積して大きい誤差を発生させる場合がある。
[0207] 使用され得る別の技法は、ポリシベースの学習である。ここで、ポリシは、パ
ラメトリック形式で表し、適切な最適化技法(例えば、確率勾配降下)を使用して直接最
適化することができる。この手法は、

で与えられる問題を直接解くことである。当然ながら、この問題を解く多くの方法がある
。この手法の1つの利点は、この手法が問題に直接取り組み、その結果、多くの場合に優
れた実用的結果をもたらすことである。1つの潜在的な不利点は、この手法が多くの場合
に「オンポリシ」トレーニングを必要とすることであり、すなわち、πの学習は、反復的
プロセスであり、完全ではないポリシπが反復jで得られ、次のポリシπを構築する
には、πに基づいて動作しながら環境と相互作用しなければならない。
[0208] システムは、バリューベースの学習(Q関数又はV関数の学習)によってトレ
ーニングすることもできる。最適値関数Vについて優れた近似を学習できると仮定する
。(例えば、ベルマン方程式を使用することにより)最適なポリシを構築することができ
る。バリューベースの学習の一部のバージョンは、オフラインで実施することができる(
「オフポリシ」トレーニングと呼ぶ)。バリューベースの手法の一部の不利点は、この手
法がマルコフ仮定及び複雑な関数の所要の近似に強く依存することに起因し得る(ポリシ
を直接近似するよりも価値関数を近似する方が困難であり得る)。
[0209] 別の技法は、モデルベースの学習及び計画(状態遷移の確率を学習し、最適な
Vを見出す最適化問題を解くこと)を含み得る。学習システムをトレーニングするために
これらの技法の組合せを使用することもできる。この手法では、プロセスのダイナミクス
、すなわち(s,a)を取り、次の状態st+1にわたる分布をもたらす関数を学習
することができる。この関数が学習されると、最適化問題を解いてその値が最適であるポ
リシπを見出すことができる。これを「計画」と呼ぶ。この手法の1つの利点は、学習部
分が「教師あり」であり、三つ組(s,a,st+1)を観測することによってオフ
ラインで適用できることであり得る。「模倣」手法と同様に、この手法の1つの不利点は
、学習プロセスにおける小さい誤差が蓄積し、機能が不十分なポリシをもたらす場合があ
ることであり得る。
[0210] 運転ポリシモジュール803をトレーニングするための別の手法は、運転ポリ
シ関数を意味的に重要な構成要素へと分解することを含み得る。そのようにすることは、
ポリシの安全性を保証し得るポリシの一部を手動で実装すること、並びに多くのシナリオ
への適応性、自衛的挙動/攻撃的挙動間の人間並みのバランス、及び他のドライバーとの
人間並みの折衝を可能にし得る強化学習法を使用してポリシの他の部分を実装することを
可能にする。技術的な観点から、強化学習法は、幾つかの方法体系を組み合わせ、トレー
ニングの殆どが、記録されたデータ又は自己構築シミュレータを使用して実行され得る扱
い易いトレーニング手続きを提供することができる。
[0211] 幾つかの実施形態では、運転ポリシモジュール803のトレーニングは、「選
択肢」メカニズムを利用することができる。それを例証するために、2レーンの高速道路
のための運転ポリシの単純なシナリオを検討する。ダイレクトRL手法では、状態を

にマップするポリシπ、π(s)の第1の成分は、所望の加速コマンドであり、π(s)
の第2の成分は、ヨー率である。修正された手法では、以下のポリシを構築することがで
きる。
[0212] 自動クルーズコントロール(ACC)ポリシ、oACC:S→A;このポリシ
は、0のヨー率を常に出力し、スムーズ且つ事故のない運転を実施するために速度のみを
変更する。
[0213] ACC+Leftポリシ、o:S→A;このポリシの縦方向のコマンドは、
ACCコマンドと同じである。ヨー率は、安全な横方向の移動を確実にしながら(例えば
、左側に車がある場合には左に移動しない)、車両を左レーンの中央に向けてセンタリン
グすることの簡単な実施である。
[0214] ACC+Rightポリシ、o:S→A;oと同じであるが、車両は、右
レーンの中央に向けてセンタリングされ得る。
[0215] これらのポリシは、「選択肢」と呼ぶことができる。これらの「選択肢」に依
存し、選択肢を選択するポリシπ:S→Oを学習することができ、但し、Oは、利用可
能な選択肢の組である。ある事例では、O={oACC,o,o}が成立する。全て
のsについて、

を設定することにより、選択肢セレクタポリシπは、実際のポリシ、π:S→Aを定め
る。
[0216] 実際には、ポリシ関数は、図9に示すように選択肢のグラフ901へと分解す
ることができる。図10に選択肢のグラフ1000の別の例を示す。選択肢のグラフは、
有向非巡回グラフ(DAG)として編成される階層型の決定の組を表し得る。グラフの根
ノード903と呼ばれる特別なノードがある。このノードには入力ノードがない。決定プ
ロセスは、根ノードから始まり、出力決定線を有さないノードを指す「葉」ノードに到達
するまでこのグラフを横断する。図9に示すように、葉ノードは、例えば、ノード905
、907、及び909を含み得る。葉ノードに遭遇すると、運転ポリシモジュール803
は、葉ノードに関連する所望のナビゲーション動作に関連する加速コマンド及び操舵コマ
ンドを出力し得る。
[0217] 例えば、ノード911、913、915等の内部ノードは、その利用可能な選
択肢の中から子を選択するポリシの実装をもたらし得る。内部ノードの利用可能な子の組
は、決定線によって特定の内部ノードに関連するノードの全てを含む。例えば、図9で「
合流」として示す内部ノード913は、決定線によってノード913にそれぞれつながれ
る3つの子ノード909、915、及び917(「留まる」、「右側追い越し」、及び「
左側追い越し」のそれぞれ)を含む。
[0218] 選択肢のグラフの階層内でノードが自らの位置を調節できるようにすることに
より、意思決定システムの柔軟性を得ることができる。例えば、ノードのいずれも自らを
「重大」であると宣言することを認められ得る。各ノードは、ノードがそのポリシ実装の
重大なセクション内にある場合、「真」を出力する関数「is critical」を実装すること
ができる。例えば、テイクオーバを担うノードは、操作中に自らを重大であると宣言する
ことができる。これは、ノードuの利用可能な子の組に対して制約を課す可能性があり、
かかる子は、ノードuの子であり、且つvから葉ノードへの重大であると指定される全て
のノードを通過する経路が存在する全てのノードvを含み得る。かかる手法は、一方では
、各時間ステップにおけるグラフ上の所望の経路の宣言を可能にし得るのに対し、他方で
は、とりわけポリシの重大な部分が実施されている間にポリシの安定性を保つことができ
る。
[0219] 選択肢のグラフを定めることにより、運転ポリシπ:S→Aを学習する問題を
、グラフの各ノードのポリシを定義する問題へと分解することができ、内部ノードにおけ
るポリシは、利用可能な子ノードの中から選択すべきである。ノードの一部について、個
々のポリシを(例えば、観測される状態に応じた動作の組を指定するif-then形式のアル
ゴリズムによって)手動で実装することができる一方、他のものについて、強化学習によ
って構築されるトレーニング済みシステムを使用してポリシを実装することができる。手
動の手法又はトレーニングされた/学習された手法の選択は、タスクに関連する安全性の
側面及びその相対的な単純さに依存し得る。選択肢のグラフは、ノードの一部が簡単に実
装される一方、他のノードがトレーニング済みモデルに依存し得る方法で構築され得る。
かかる手法は、システムの安全な動作を保証することができる。
[0220] 以下の解説は、運転ポリシモジュール803内の図9の選択肢のグラフの役割
に関する更なる詳細を与える。上記で論じたように、運転ポリシモジュールへの入力は、
例えば、利用可能なセンサから得られる環境地図の概要を示す「検知状態」である。運転
ポリシモジュール803の出力は、最適化問題の解として軌道を定める願望の組(a set
of desires)(任意選択的に厳密制約の組を伴う)である。
[0221] 上記のように、選択肢のグラフは、DAGとして編成される階層型の決定の組
を表す。グラフの「根」と呼ばれる特別なノードがある。根ノードは、入力辺(例えば、
決定線)を有さない唯一のノードである。決定プロセスは、根ノードから始まり、「葉」
ノード、すなわち出力辺を有さないノードに到達するまでグラフを横断する。各内部ノー
ドは、自らの利用可能な子の中から1つの子を選ぶポリシを実装すべきである。全ての葉
ノードは、根から葉までの全経路に基づいて願望の組(例えば、ホスト車両のためのナビ
ゲーション目標の組)を定めるポリシを実装すべきである。検知状態に基づいて直接定め
られる厳密制約の組と共に、願望の組は、その解が車両の軌道である最適化問題を確立す
る。システムの安全性を更に高めるために厳密制約を使用することができ、運転の快適さ
及びシステムの人間並みの運転挙動をもたらすために「願望」を使用することができる。
最適化問題への解として提供される軌道は、従って、軌道を実現するためにステアリング
、ブレーキ、及び/又はエンジンアクチュエータに与えられるべきコマンドを定める。
[0222] 図9に戻ると、選択肢のグラフ901は、合流レーンを含む2レーンの高速道
路(ある時点において第3のレーンが高速道路の右レーン又は左レーンに合流することを
意味する)に関する選択肢のグラフを表す。根ノード903は、ホスト車両が単純な道路
のシナリオにあるか、合流シナリオに近づいているかをまず判断する。これは、検知状態
に基づいて実施可能な判断の一例である。単純な道路のノード911は、留まるノード9
09、左側追い越しノード917、及び右側追い越しノード915という3つの子ノード
を含む。留まるとは、ホスト車両が同じレーン内を走行し続けたい状況を指す。留まるノ
ードは、葉ノードである(出力辺/線がない)。従って、留まるノードは、願望の組を定
める。このノードが定める第1の願望は、例えば、現在の移動レーンの中央に可能な限り
近い所望の横方向位置を含み得る。スムーズに(例えば、既定の又は許容可能な加速最大
値の範囲内で)ナビゲートする願望もあり得る。留まるノードは、ホスト車両が他の車両
に対してどのように反応するかも定めることができる。例えば、留まるノードは、検知さ
れる目標車両を調査し、軌道の成分に変換され得る意味論的意味(semantic meaning)を
それぞれに割り当てることができる。
[0223] ホスト車両の環境内の目標車両に様々な意味論的意味を割り当てることができ
る。例えば、幾つかの実施形態では、意味論的意味は、以下の指示のいずれかを含むこと
ができる:1)無関係:シーン内の検知車両が現在関係しないことを示す、2)隣レーン
:検知車両が隣接レーン内にあり、その車両に対して適切なオフセットを保つべきである
ことを示す(正確なオフセットは、願望及び厳密制約を所与として軌道を構築する最適化
問題で計算することができ、場合により車両に依存することができ、選択肢のグラフの留
まる葉は、目標車両に対する願望を定める目標車両の意味論の種類を設定する)、3)道
を譲る:ホスト車両は、(とりわけホスト車両のレーン内に目標車両が割り込む可能性が
高いとホスト車両が判定する場合に)検知した目標車両に例えば減速することによって道
を譲ろうと試みる、4)道を進む:ホスト車両が例えば加速することによって優先通行権
を受けて応じようと試みる、5)追走:ホスト車両がこの目標車両を追走してスムーズな
運転を維持することを望む、6)左側/右側追い越し:これは、ホスト車両が左レーン又
は右レーンへのレーン変更を開始したいことを意味する。左側追い越しノード917及び
右側追い越しノード915は、依然として願望を定めていない内部ノードである。
[0224] 選択肢のグラフ901内の次のノードは、間隙選択ノード919である。この
ノードは、ホスト車両が入りたい特定の目標レーン内の2つの目標車両間の間隙を選択す
ることを担い得る。IDj形式のノードを選択することにより、jの何らかの値について
、ホスト車両は、軌道最適化問題に関する願望、例えば選択された間隙に到達するために
ホスト車両が操作を行いたいことを指定する葉に到達する。かかる操作は、現在のレーン
内でまず加速し/ブレーキをかけ、選択された間隙に入るのに適した時点において目標レ
ーンに進むことを含み得る。間隙選択ノード919が適切な間隙を見つけることができな
い場合、現在のレーンの中央に戻り、追い越しを取り消す願望を定める中止ノード921
に進む。
[0225] 合流ノード913に戻り、ホスト車両が合流に近づくと、ホスト車両には、特
定の状況に依存し得る幾つかの選択肢がある。例えば、図11Aに示すように、ホスト車
両1105は、2レーン道路の主要レーン又は合流レーン1111内で他の目標車両を検
出していない状態で2レーン道路に沿って移動している。この状況では、運転ポリシモジ
ュール803は、合流ノード913に到達すると、留まるノード909を選択することが
できる。すなわち、道路に合流するものとして目標車両を検知しない場合、自らの現在の
レーン内に留まることが望ましい場合がある。
[0226] 図11Bでは、この状況が僅かに異なる。ここで、ホスト車両1105は、合
流レーン1111から主たる道路1112に入ってくる1つ又は複数の目標車両1107
を検知する。この状況では、運転ポリシモジュール803が合流ノード913に直面する
と、運転ポリシモジュール803は、合流の状況を回避するために左側追い越し操作を開
始することに決めることができる。
[0227] 図11Cでは、ホスト車両1105は、合流レーン1111から主たる道路1
112に入る1つ又は複数の目標車両1107に遭遇する。ホスト車両1105は、ホス
ト車両のレーンに隣接するレーン内を移動する目標車両1109も検出する。ホスト車両
は、ホスト車両1105と同じレーン内を移動する1つ又は複数の目標車両1110も検
出する。この状況では、運転ポリシモジュール803は、ホスト車両1105の速度を調
節して目標車両1107に道を譲り、目標車両1115の前に進むことに決めることがで
きる。これは、例えば、適切な合流の間隙としてID0(車両1107)とID1(車両
1115)との間の間隙を選択する間隙選択ノード919に進むことによって実現され得
る。その場合、合流の状況の適切な間隙が軌道プランナ最適化問題の目的を定める。
[0228] 上記で論じたように、選択肢のグラフのノードは、自らを「重大」であると宣
言することができ、かかる宣言は、選択される選択肢が重大なノードを通過することを確
実にし得る。形式上、各ノードは関数IsCriticalを実装することができる。選択肢のグラ
フ上で根から葉への順方向パスを行い、軌道プランナの最適化問題を解いた後、葉から根
に逆方向パスを行うことができる。この逆方向パスに沿ってパス内の全てのノードのIsCr
itical関数を呼び出すことができ、全ての重大なノードのリストを保存することができる
。次の時間枠に対応する順方向経路内において、全ての重大なノードを通過する根ノード
から葉ノードへの経路を選択することを運転ポリシモジュール803が要求され得る。
[0229] 図11A〜図11Cは、この手法の潜在的な利益を示すために使用することが
できる。例えば、追い越し動作が開始され、運転ポリシモジュール803がIDkに対応
する葉に到達する状況では、ホスト車両が追い越し操作の途中にある場合、例えば留まる
ノード909を選択することは望ましくない。このジャンプ性を回避するために、IDj
ノードは、自らを重大であると指定することができる。操作中、軌道プランナの成功を監
視することができ、関数IsCriticalは、追い越し操作が意図した通りに進む場合に「真」
値を返す。この手法は、(最初に選択した操作を完了する前に潜在的に一貫性のない別の
操作にジャンプするのではなく)次の時間枠内で追い越し操作が続行されることを確実に
し得る。他方では、選択された操作が意図した通りに進んでいないことを操作の監視が示
す場合又は操作が不要若しくは不可能になった場合、関数IsCriticalは、「偽」値を返す
ことができる。これは、間隙選択ノードが次の時間枠内で異なる間隙を選択すること、又
は追い越し操作を完全に中止することを可能にし得る。この手法は、一方では、各時間ス
テップにおける選択肢のグラフ上の所望の経路の宣言を可能にし得るのに対し、他方では
、実行の重大な部分にある間のポリシの安定性を促進することを支援し得る。
[0230] 以下でより詳細に解説する厳密制約は、ナビゲーションの願望と区別すること
ができる。例えば、厳密制約は、計画されたナビゲーション動作の追加のフィルタリング
層を適用することによって安全運転を保証することができる。強化学習に基づいて構築さ
れるトレーニング済みシステムを使用することによってではなく、手動でプログラムされ
定義され得る関与する厳密制約は、検知状態から決定することができる。但し、幾つかの
実施形態では、トレーニングされたシステムは、適用され従うことになる適用可能な厳密
制約を学習することができる。かかる手法は、適用可能な厳密制約に既に準拠している被
選択動作に運転ポリシモジュール803が到達することを促進することができ、そうする
ことで適用可能な厳密制約に準拠するために後に修正を必要とし得る被選択動作を減らす
か又は除去することができる。それでもなお、冗長な安全対策として、所定の厳密制約を
考慮するように運転ポリシモジュール803が訓練されている場合でも、運転ポリシモジ
ュール803の出力に厳密制約を適用することができる。
[0231] 潜在的な厳密制約の多くの例がある。例えば、厳密制約は、道路縁のガードレ
ールに関連して定めることができる。いかなる状況でも、ホスト車両がガードレールを越
えることは認められない。そのような規則は、ホスト車両の軌道に対する横方向の厳密制
約を引き起こす。厳密制約の別の例は、道路のバンプ(例えば、速度制御バンプ)を含む
ことができ、かかるバンプは、バンプ前の又はバンプを横断する間の運転速度に対する厳
密制約を引き起こし得る。厳密制約は、安全を最重視すべきであると考えることができ、
従ってトレーニング中に制約を学習するトレーニング済みシステムに専ら依存するのでは
なく、手動で定めることができる。
[0232] 厳密制約とは対照的に、願望の目標は、快適な運転を可能にするか又は実現す
ることであり得る。上記で論じたように、願望の一例は、ホスト車両のレーンの中央に対
応するレーン内の横方向位置にホスト車両を位置決めする目標を含み得る。別の願望は、
入り込むための間隙のIDを含み得る。ホスト車両は、厳密にレーンの中央にある必要は
なく、代わりにレーンの中央に可能な限り近くありたいという願望は、ホスト車両がレー
ンの中央から外れた場合にもレーンの中央に移動し易いことを保証できることに留意され
たい。願望は、安全を最重視しなくてもよい。幾つかの実施形態では、願望は、他のドラ
イバー及び歩行者との折衝を必要とし得る。願望を構築するためのある手法は、選択肢の
グラフを利用することができ、グラフの少なくとも一部のノード内で実装されるポリシは
、強化学習に基づき得る。
[0233] 学習に基づいてトレーニングされるノードとして実装される選択肢のグラフ9
01又は1000のノードについて、トレーニングプロセスは、問題を教師あり学習フェ
ーズ及び強化学習フェーズへと分解することを含み得る。教師あり学習フェーズでは、

が成立するように、(s,a)から

への可微分マッピングが学習され得る。これは、「モデルベースの」強化学習と同様であ
り得る。しかし、ネットワークの順方向ループでは、

をst+1の実際の値で置換し、それにより誤差が蓄積する問題をなくすことができる。

の予測の役割は、将来から過去の動作にメッセージを伝えることである。この意味におい
て、アルゴリズムは、「モデルベースの」強化学習と「ポリシベースの学習」との組み合
わせであり得る。
[0234] 一部のシナリオにおいて提供され得る重要な要素は、将来の損失/報酬から動
作に関する決定に戻る可微分経路である。選択肢のグラフの構造では、安全制約を含む選
択肢の実装は、通常、微分可能でない。この問題を克服するために、学習されるポリシの
ノードにおける子の選択は、確率論的であり得る。すなわち、ノードは、確率ベクトルp
を出力することができ、確率ベクトルpは、特定のノードの子のそれぞれを選択する際に
使用される確率を割り当てる。あるノードがk個の子を有すると仮定し、a(1),..
.,a(k)がそれぞれの子から葉への経路の動作とする。従って、結果として生じる予
測動作は、

であり、これは、動作からpへの可微分経路をもたらし得る。実際には、動作aは、i〜
pに関してa(i)であるように選択することができ、aと

との差を付加雑音と呼ぶことができる。
[0235] s、aを所与として、

をトレーニングするために、実際のデータと共に教師あり学習を使用することができる。
ノードのポリシをトレーニングするためにシミュレータを使用することができる。後に実
際のデータを使用してポリシの微調整を実現することができる。2つの概念がシミュレー
ションをより現実的にし得る。第1に、模倣を使用し、大規模な現実世界のデータセット
を使用する「挙動クローニング」パラダイムを使用して初期ポリシを構築することができ
る。幾つかの場合、結果として生じるエージェントが適している場合がある。他の事例で
は、結果として生じるエージェントは、道路上の他のエージェントのための非常に優れた
初期ポリシを少なくとも形成する。第2に、セルフプレイを使用し、本発明者らの独自の
ポリシを使用してトレーニングを増強することができる。例えば、遭遇し得る他のエージ
ェント(車/歩行者)の初期実装を所与として、シミュレータに基づいてポリシをトレー
ニングすることができる。他のエージェントの一部は、新たなポリシで置換することがで
き、このプロセスを繰り返すことができる。その結果、異なる洗練レベルを有する一層多
岐にわたる他のエージェントに応答すべきであるため、ポリシが改善し続けることができ
る。
[0236] 更に幾つかの実施形態では、システムは、マルチエージェント手法を実装する
ことができる。例えば、システムは、様々なソースからのデータ及び/又は複数の角度か
ら捕捉する画像を考慮することができる。更に、ホスト車両に直接関係しないが、ホスト
車両に影響を有し得る事象の予測を考慮することができ、更には他の車両に関係する予測
不能な状況をもたらし得る事象の予測が検討事項であり得る(例えば、レーダは、先行車
両及びホスト車両に影響を及ぼす不可避の事象、更にはかかる事象の高い可能性の予想を
「見通す」ことができる)ため、開示する一部の実施形態は、エネルギの節約をもたらし
得る。
[0237] 課せられたナビゲーション制約を伴うトレーニング済みシステム
[0238] 自律運転に関連して、重大な関心事は、トレーニング済みナビゲーションネッ
トワークの学習されたポリシが安全であることをどのように保証するかである。幾つかの
実施形態では、制約を使用して運転ポリシシステムをトレーニングすることができ、その
ため、トレーニング済みシステムによって選択される動作は、適用可能な安全制約を既に
考慮している可能性がある。加えて、幾つかの実施形態では、ホスト車両の環境内の特定
の検知シーンによって関与される1つ又は複数の厳密制約にトレーニング済みシステムの
被選択動作を通すことにより、追加の安全層を提供することができる。かかる手法は、ホ
スト車両によって行われる動作が、適用可能な安全制約を満たすものであると確認される
ものに限定されていることを確実にし得る。
[0239] その核心において、ナビゲーションシステムは、観測した状態を1つ又は複数
の所望の動作にマップするポリシ関数に基づく学習アルゴリズムを含み得る。一部の実装
形態では、学習アルゴリズムは、ディープラーニングアルゴリズムである。所望の動作は
、車両について予期される報酬を最大化することが期待される少なくとも1つの動作を含
み得る。幾つかの場合、車両が行う実際の動作は、所望の動作の1つに対応し得るが、他
の事例では、行われる実際の動作は、観測される状態、1つ又は複数の所望の動作、及び
学習するナビゲーションエンジンに課せられる非学習厳密制約(例えば、安全制約)に基
づいて決定され得る。これらの制約は、様々な種類の検出物体(例えば、目標車両、歩行
者、路肩の又は道路内の静的物体、路肩の又は道路内の移動物体、ガードレール等)を取
り囲む非運転区域を含み得る。幾つかの場合、区域のサイズは、検出物体の検出される動
き(例えば、速度及び/又は方向)に基づいて変わり得る。他の制約は、歩行者の影響区
域内を通過するときの最大移動速度、(ホスト車両の後ろの目標車両の間隔に対処するた
めの)最大減速度、検知した横断歩道又は踏切における強制的な停止等を含み得る。
[0240] 機械学習によってトレーニングされるシステムと共に使用される厳密制約は、
トレーニング済みシステムのみの出力に基づいて得ることができる安全度を上回り得るあ
る程度の安全性を自律運転において提供することができる。例えば、機械学習システムは
、トレーニングのガイドラインとして所望の制約の組を使用してトレーニングすることが
でき、従って、トレーニング済みシステムは、適用可能なナビゲーション制約の制限で構
成されかかる制限を満たす動作を、検知されたナビゲーション状態に応じて選択すること
ができる。しかし、それでもなお、ナビゲーション動作を選択する際、トレーニング済み
システムは、幾らかの柔軟性を有し、従ってトレーニング済みシステムによって選択され
る動作が、関連するナビゲーション制約に厳密に従わない可能性がある少なくとも幾つか
の状況があり得る。従って、選択される動作が、関連するナビゲーション制約に厳密に従
うことを求めるために、学習/トレーニングフレームワークの外側にある関連するナビゲ
ーション制約の厳密な適用を保証する非機械学習構成要素を使用し、トレーニング済みシ
ステムの出力を組み合わせ、比較し、フィルタリングし、調節し、修正等することができ
る。
[0241] 以下の解説は、トレーニング済みシステム及びトレーニング済みシステムを、
トレーニング/学習フレームワークの外側にあるアルゴリズム構成要素と組み合わせるこ
とから得ることができる(とりわけ安全性の観点からの)潜在的な利益に関する更なる詳
細を示す。先に論じたように、ポリシによる強化学習目的は、確率勾配上昇によって最適
化することができる。目的(例えば、期待報酬)は、

として定めることができる。
[0242] 機械学習シナリオでは、期待値を含む目的を使用することができる。但し、か
かる目的は、ナビゲーション制約に拘束されることなしに、それらの制約によって厳密に
拘束される動作を返さない場合がある。例えば、回避すべき稀な「曲がり角」の事象(例
えば、事故等)を表す軌道について、

が成立し、残りの軌道について、

が成立する報酬関数を検討し、学習システムの1つの目標は、追い越し操作の実行を学習
することであり得る。通常、事故のない軌道では、

は、問題ないスムーズな追い越しに報酬を与え、追い越しを完了せずにレーン内に、従っ
て範囲[−1,1]内に留まることにペナルティを科す。シーケンス

が事故を表す場合、報酬−rは、かかる発生を妨げるために十分高いペナルティを与える
べきである。問題は、事故のない運転を保証するためにrの値を何にすべきかである。
[0243]

に対する事故の効果は、加法項−pであり、pは、事故の事象を伴う軌道の確率質量で
あることに注意されたい。この項が無視できる、すなわちp<<1/rである場合、学習
システムは、一部の追い越し操作の完了が成功しないことを犠牲にして、より自衛的であ
るポリシよりも頻繁に追い越し操作の成功を果たすために、事故を行うポリシを優先させ
る(又は全般的に無頓着な運転ポリシを採用する)ことができる。換言すれば、事故の確
率がp以下である場合、r>>1/pであるようにrを設定しなければならない。pを極
めて小さくする(例えば、p=10−9程度)ことが望ましい場合がある。従って、rは
、大きいべきである。ポリシの勾配では、

の勾配を推定することができる。以下の補助定理は、確率変数

の分散が、r>>1/pでrを上回る

と共に大きくなることを示す。従って、目的を推定することが困難な場合があり、その勾
配を推定することは一層困難であり得る。
[0244] 補助定理:πをポリシとし、p及びrをスカラとし、それにより、確率pに
おいて、

が得られ、確率1−pにおいて、

が得られる。従って、次式
[0245]

[0246] が成立し、最後の近似は、r≧1/pの場合に該当する。
[0247] この解説は、形式

のオブジェクションが分散問題を引き起こすことなしに機能的安全性を保証できない可能
性があることを示す。分散を減らすためのベースラインサブトラクション法は、問題に対
する十分な処置を提供しない可能性があり、なぜなら、問題は、

の高い分散から、その推定が数値的不安定を等しく被るベースライン定数の等しく高い分
散にシフトするからである。更に、事故の確率がpである場合、事故の事象を得る前に平
均して少なくとも1/pシーケンスがサンプリングされるべきである。これは、

を最小化しようとする学習アルゴリズムのためのシーケンスの1/pサンプルの下端を含
意する。この問題に対する解決策は、数値的調整技法によってではなく、本明細書に記載
のアーキテクチャ設計において見出すことができる。ここでの手法は、厳密制約が学習フ
レームワークの外側に投入されるべきであるという考えに基づく。換言すれば、ポリシ関
数は、学習可能部分及び学習不能部分に分解することができる。形式的に、ポリシ関数は


として構成することができ、

は、(不可知論的な)状態空間を願望の組(例えば、所望のナビゲーション目標等)にマ
ップする一方、π(T)は、願望を(短期のうちに車がどのように動くべきかを決定し得
る)軌道にマップする。関数

は、運転の快適さ、並びに他のいずれの車を追い越すべきか、他のいずれの車に道を譲る
べきか、及びホスト車両のレーン内でのホスト車両の所望の位置はいずれであるか等の戦
略的決定を行うことを担う。検知されるナビゲーション状態から願望へのマッピングは、
期待報酬を最大化することによって経験から学習され得るポリシ

である。

によって作り出される願望は、運転軌道にわたるコスト関数に変換され得る。機能的安全
性に関する厳密制約の影響下にあるコストを最小化する軌道を見つけることにより、学習
される関数ではない関数π(T)を実施することができる。この分解は、快適な運転を提
供するのと同時に機能的安全性を保証することができる。
[0248] 図11Dに示す二重合流ナビゲーション状況は、これらの概念を更に示す一例
を与える。二重合流では、左側と右側との両方から車両が合流領域1130に到達する。
それぞれの側から、車両1133又は車両1135等の車両が合流領域1130の反対側
のレーン内に合流するかどうかを決定することができる。混雑した交通において、二重合
流を問題なく実行することは、著しい折衝スキル及び経験を必要とする場合があり、シー
ン内の全てのエージェントが行い得る可能な全ての軌道を列挙することによる発見的手法
又は総当たり的手法において実行するのは困難であり得る。この二重合流の例では、二重
合流操作に適した願望の組Dを定めることができる。Dは、以下の組のデカルト積
D=[0,vmax]xLx{g,t,o}
とすることができ、但し、[0,vmax]は、ホスト車両の所望の目標速度であり、L
={1,1.5,2,2.5,3,3.5,4}は、レーン単位での所望の横方向位置で
あり、整数は、レーンの中央を示し、分数は、レーンの境界を示し、{g,t,o}は、
他のn台の車両のそれぞれに割り当てられる分類ラベルである。ホスト車両が他の車両に
道を譲るべき場合、他の車両に「g」を割り当てることができ、ホスト車両が他の車両に
対して道を得るべき場合、他の車両に「t」を割り当てることができ、又はホスト車両が
他の車両に対してオフセット距離を保つべき場合、他の車両に「o」を割り当てることが
できる。
[0249] 以下は、願望の組(v,l,c,...,c)∈Dを運転軌道にわたるコ
スト関数にどのように変換できるかについての説明である。運転軌道は、(x,y
,...,(x,y)によって表すことができ、(x,y)は、時点τ・iにお
ける(自己中心的な単位での)ホスト車両の(横方向、縦方向の)位置である。一部の実
験では、τ=0.1秒であり、k=10である。当然ながら、他の値を選択することもで
きる。軌道に割り当てられるコストは、所望の速度、横方向位置、及び他のn台の車両の
それぞれに割り当てられるラベルに割り当てられる個々のコストの加重和を含み得る。
[0250] 所望の速度v∈[0,vmax]を所与として、速度に関連する軌道のコスト

である。
[0251] 所望の横方向位置l∈Lを所与として、所望の横方向位置に関連するコスト

[0252] であり、但し、dist(x,y,l)は、点(x,y)からレーンの位置l
までの距離である。他の車両に起因するコストに関して、他の任意の車両について、(x
,y’),...,(x’,y’)は、ホスト車両の自己中心的な単位での他
の車両を表すことができ、iは、(x,y)と(x’,y’)との間の距離が小
さいようにjが存在する最も早い点であり得る。そのような点がない場合、iは、i=∞
として設定することができる。別の車が「道を譲る」と分類される場合、τi>τj+0
.5であることが望ましい場合があり、これは、他の車両が軌道の交点に到達する少なく
とも0.5秒後にホスト車両がその同一点に到達することを意味する。上記の制約をコス
トに変換するためのあり得る式は、[τ(j−i)+0.5]である。
[0253] 同様に、別の車が「道を取る」と分類される場合、τj>τi+0.5である
ことが望ましい場合があり、これは、コスト[τ(i−j)+0.5]に変換され得る
。別の車が「オフセット」として分類される場合、i=∞であることが望ましい場合があ
り、これは、ホスト車両の軌道とオフセット車の軌道とが交差しないことを意味する。こ
の条件は、軌道間の距離に関してペナルティを科すことによってコストに変換することが
できる。
[0254] これらのコストのそれぞれに重みを割り当てることは、軌道プランナのための
単一の目的関数π(T)を与え得る。スムーズな運転を促進するコストを目的に追加する
ことができる。軌道の機能的安全性を保証するために厳密制約を目的に追加することがで
きる。例えば、(x,y)は、道路から外れることを禁じられ得、(x,y)は
、|i−j|が小さい場合に他の任意の車両の任意の軌道点(x’,y’)について
(x’,y’)に近づくことを禁じられ得る。
[0255] 要約すると、ポリシπθは、不可知論的な状態から願望の組へのマッピング、
及び願望から実際の軌道へのマッピングへと分解することができる。後者のマッピングは
、学習に基づかず、そのコストが願望に依存し且つその厳密制約がポリシの機能的安全性
を保証し得る最適化問題を解くことによって実施することができる。
[0256] 以下の解説は、不可知論的な状態から願望の組へのマッピングについて説明す
る。上記で説明したように、機能的安全性に準拠するために、強化学習のみに依存するシ
ステムは、報酬

に関する大きく扱いにくい分散に直面する可能性がある。この結果は、ポリシ勾配反復を
使用することにより、(不可知論的な)状態空間から願望の組へのマッピングと、その後
に続く、機械学習に基づいてトレーニングされるシステムを含まない実際の軌道へのマッ
ピングとに問題を分解することによって回避することができる。
[0257] 様々な理由から、意味論的に有意な構成要素へと意思決定を更に分解すること
ができる。例えば、Dのサイズが大きく、更には連続的である場合がある。図11Dに関
して上記で説明した二重合流シナリオでは、D=[0,vmax]xLx{g,t,o}
)が成立する。加えて、勾配推定子は、項

を含み得る。この式では、分散が対象期間Tと共に増加し得る。幾つかの場合、Tの値は
、およそ250とすることができ、この値は、有意の分散を作り出すのに十分高いもので
あり得る。サンプリングレートが10Hzの範囲内にあり、合流領域1130が100メ
ートルであると仮定し、合流の準備は、合流領域の約300メートル手前で始まり得る。
ホスト車両が16メートル/秒(時速約60キロ)で移動する場合、エピソードのTの値
は、およそ250であり得る。
[0258] 選択肢のグラフの概念に戻り、図11Dに示す二重合流シナリオを表し得る選
択肢のグラフを図11Eに示す。先に論じたように、選択肢のグラフは、有向非巡回グラ
フ(DAG)として編成される階層型の決定の組を表し得る。「根」ノード1140と呼
ばれる特別なノードがグラフ内にあり得、根ノードは、入力辺(例えば、決定線)を有さ
ない唯一のノードである。決定プロセスは、根ノードから始まり、「葉」ノード、すなわ
ち出力辺を有さないノードに到達するまでグラフを横断し得る。各内部ノードは、自らの
利用可能な子の中から1つの子を選ぶポリシ関数を実装することができる。選択肢のグラ
フ上の横断の組から願望の組Dへの既定のマッピングがあり得る。換言すれば、選択肢の
グラフ上での横断がD内の願望に自動で変換され得る。グラフ内のノードvを所与として
、パラメータベクトルθは、vの子を選択するポリシを規定し得る。θが全てのθ
連結である場合、各ノードvにおいてθによって定められるポリシを使用して、子ノー
ドを選択しながらグラフの根から葉に横断することにより、

を定めることができる。
[0259] 図11Eの二重合流の選択肢のグラフ1139では、ホスト車両が合流領域(
例えば、図11Dの領域1130)内にあるかどうか、又は代わりにホスト車両が合流領
域に近づいており、あり得る合流に備える必要があるかどうかを根ノード1140がまず
判断することができる。いずれの場合にも、ホスト車両は、レーンを(例えば、左側に又
は右側に)変更するかどうか、又は現在のレーン内に留まるかどうかを決定する必要があ
り得る。ホスト車両がレーンを変更することに決めた場合、ホスト車両は、そのまま続行
して、(例えば、「行く」ノード1142において)レーン変更操作を行うのに条件が適
しているかどうかを判断する必要があり得る。レーンを変更することが可能ではない場合
、ホスト車両は、レーンマーク上に存在することを狙うことにより、(例えば、所望のレ
ーン内の車両との折衝の一環としてノード1144において)所望のレーンに向かって「
押し進む」ことを試みることができる。或いは、ホスト車両は、(例えば、ノード114
6において)同じレーン内に「留まる」ことを選び得る。このプロセスは、ホスト車両の
横方向位置を自然な方法で決定することができる。例えば。
[0260] これは、所望の横方向位置を自然な方法で決定することを可能にし得る。例え
ば、ホスト車両がレーン2からレーン3にレーンを変更する場合、「行く」ノードは、所
望の横方向位置を3に設定することができ、「留まる」ノードは、所望の横方向位置を2
に設定することができ、「押し進む」ノードは、所望の横方向位置を2.5に設定するこ
とができる。次に、ホスト車両は、「同じ」速度を保つか(ノード1148)、「加速」
するか(ノード1150)、又は「減速」するか(ノード1152)を決めることができ
る。次に、ホスト車両は、他の車両を調べる「鎖状」構造1154に入ることができ、そ
れらの意味論的意味を組{g,t,o}内の値に設定する。このプロセスは、他の車両に
対する願望を設定し得る。この鎖内の全てのノードのパラメータは、(回帰ニューラルネ
ットワークと同様に)共有され得る。
[0261] 選択肢の潜在的な利益は、結果の解釈可能性である。別の潜在的な利益は、組
Dの分解可能な構造を利用することができ、従って各ノードにおけるポリシを少数の可能
性の中から選べることである。加えて、構造は、ポリシ勾配推定子の分散を減らすことを
可能にし得る。
[0262] 上記で論じたように、二重合流シナリオにおけるエピソードの長さは、およそ
T=250ステップであり得る。この値(又は特定のナビゲーションシナリオに応じた他
の任意の適切な値)は、ホスト車両の動作の結果を認めるのに十分な時間を与え得る(例
えば、ホスト車両が合流の準備としてレーンを変更することに決めた場合、ホスト車両は
、合流を問題なく完了した後にのみ利益を認める)。他方では、運転のダイナミクスによ
り、ホスト車両は、十分速い頻度(例えば、上記の事例では10Hz)で意思決定を行わ
なければならない。
[0263] 選択肢のグラフは、Tの有効値を少なくとも2つの方法で減らすことを可能に
し得る。第1に、高レベルの決定を所与として、より短いエピソードを考慮に入れながら
低レベルの決定について報酬を定めることができる。例えば、ホスト車両が「レーン変更
」及び「行く」ノードを既に選択している場合、2〜3秒のエピソードを見ることにより
、意味論的意味を車両に割り当てるためのポリシが学習され得る(Tが250ではなく2
0〜30になることを意味する)。第2に、高レベルの決定(レーンを変更するか又は同
じレーン内に留まるか等)について、ホスト車両は、0.1秒ごとに意思決定を行う必要
がない可能性がある。代わりに、ホスト車両は、より低い頻度で(例えば、毎秒)意思決
定を行うことができてもよく、又は「選択肢終了」関数を実装できてもよく、選択肢の毎
終了後にのみ勾配が計算され得る。いずれの場合にも、Tの有効値は、その元の値よりも
一桁小さいものであり得る。全体的に見て、全てのノードにおける推定は、元の250ス
テップよりも一桁小さいTの値に依存することができ、それは、より小さい分散に直ちに
変わり得る。
[0264] 上記で論じたように、厳密制約は、より安全な運転を促進することができ、幾
つかの異なる種類の制約があり得る。例えば、静的な厳密制約は、検知状態から直接定め
られ得る。これらは、車両の速度、進行方位、加速、ブレーキ(減速)等に対する1つ又
は複数の制約を含意し得るホスト車両の環境内の減速バンプ、制限速度、道路の曲率、交
差点等を含み得る。静的な厳密制約は、意味論的自由空間も含むことができ、そこでは、
ホスト車両は、例えば、自由空間の外側に行くこと、及び物理的障壁にあまりにも近くナ
ビゲートすることを禁止される。静的な厳密制約は、車両の運動学的な動きの様々な側面
に従わない操作を制限する(例えば、禁止する)こともでき、例えば、静的な厳密制約は
、ホスト車両が横転すること、滑ること、又は他の方法で制御を失うことにつながり得る
操作を禁止するために使用することができる。
[0265] 厳密制約は、車両に関連することもできる。例えば、車両が他の車両への少な
くとも1メートルの縦方向距離及び他の車両からの少なくとも0.5メートルの横方向距
離を保つことを要求する制約を使用することができる。ホスト車両が1つ又は複数の他の
車両との衝突コースを保つことを避けるように制約を適用することもできる。例えば、時
間τは、特定のシーンに基づく時間の測度であり得る。現在の時間から時間τまでのホス
ト車両及び1つ又は複数の他の車両の予測軌道を検討することができる。2つの軌道が交
差する場合、

は、交点に車両iが到達する時間及びそこから離脱する時間を表し得る。すなわち、それ
ぞれの車は、車の最初の部分が交点を通過するときに点に到達し、車の最後の部分が交点
を通過するまで一定の時間が必要である。この時間は、到達時間と離脱時間とを分ける。

である(すなわち車両1の到達時間が車両2の到達時間未満である)と仮定し、車両2が
到達するよりも前に車両1が交点を離れていることを確実することが望まれる。さもなけ
れば衝突が発生することになる。従って、

であるように厳密制約を実装することができる。更に、車両1と車両2とが最小量で互い
に当たらないことを確実にするために、制約に緩衝時間(例えば、0.5秒又は別の適切
な値)を含めることによって追加の安全余裕を得ることができる。2つの車両の予測され
る交差軌道に関係する厳密制約は、

として表すことができる。
[0266] ホスト車両及び1つ又は複数の他の車両の軌道を追跡する時間τは、異なり得
る。但し、速度が遅い可能性がある交差点のシナリオでは、τはより長いことができ、ホ
スト車両がτ秒未満で交差点に入り、そこから出ていくようにτを定めることができる。
[0267] 当然ながら、車両の軌道に厳密制約を適用することは、それらの車両の軌道が
予測されることを必要とする。ホスト車両では、任意の所与の時間における意図された軌
道をホスト車両が概して既に理解しており実際に計画しているため、軌道の予測は、比較
的簡単であり得る。他の車両に関して、それらの車両の軌道を予測することは、あまり簡
単ではない可能性がある。他の車両では、予測軌道を決定するためのベースライン計算は
、例えば、ホスト車両に搭載されている1つ若しくは複数のカメラ及び/又は他のセンサ
(レーダ、ライダ、音響等)によって捕捉される画像ストリームの分析に基づいて求めら
れる他の車両の現在の速度及び進行方位に依存し得る。
[0268] 但し、問題を簡単にするか又は別の車両について予測される軌道の更なる信頼
度を少なくとももたらす幾らかの例外があり得る。例えば、レーンの指示があり、道を譲
る規則が存在し得る構造化道路に関して、他の車両の軌道は、レーンに対する当該他の車
両の位置に少なくとも部分的に基づくことができ、適用可能な道を譲る規則に基づくこと
ができる。従って一部の状況では、観測されるレーン構造がある場合、隣のレーンの車両
は、レーンの境界を守ることが想定され得る。すなわち、ホスト車両は、隣のレーンの車
両がホスト車両のレーン内に割り込むことを示す観測された根拠(例えば、信号灯、強い
横方向の動き、レーンの境界を横断する動き)がない限り、隣のレーンの車両が自らのレ
ーン内に留まると想定し得る。
[0269] 他の状況も、他の車両の予期される軌道に関するヒントを与え得る。例えば、
ホスト車両に優先通行権があり得る停止標識、信号機、環状交差路等において、その優先
通行権を他の車両が守ると想定することができる。従って、規則が破られたことが観測さ
れた根拠がない限り、他の車両は、ホスト車両が有する優先通行権を尊重する軌道に沿っ
て進むと想定することができる。
[0270] 厳密制約は、ホスト車両の環境内の歩行者に関して適用することもできる。例
えば、観測される任意の歩行者に対する規定の緩衝距離よりも少しでも近くホスト車両が
ナビゲートすることを禁止されるように、歩行者に対する緩衝距離を確立することができ
る。歩行者の緩衝距離は、任意の適切な距離とすることができる。幾つかの実施形態では
、緩衝距離は、観測される歩行者に対して少なくとも1メートルであり得る。
[0271] 車両の状況と同様に、厳密制約は、歩行者とホスト車両との間の相対運動に対
して適用することもできる。例えば、ホスト車両の予測軌道に対して(進行方向及び速度
に基づく)歩行者の軌道を監視することができる。特定の歩行者の軌道を所与として、軌
道上の全ての点pについて、t(p)は、歩行者が点pに到達するのにかかる時間を表し
得る。歩行者から少なくとも1メートルの所要の緩衝距離を保つために、t(p)は、(
ホスト車両が少なくとも1メートルの距離の差で歩行者の前を通過するように十分な時間
差を伴って)ホスト車両が点pに到達する時間を上回らなければならず、又は(例えば、
ホスト車両がブレーキをかけて歩行者に道を譲る場合)t(p)は、ホスト車両が点pに
到達する時間を下回らなければならない。更に後者の例では、ホスト車両が歩行者の背後
を通過し、少なくとも1メートルの所要の緩衝距離を保つことができるように、ホスト車
両が歩行者よりも十分遅い時間に点pに到達することを厳密制約が要求し得る。当然なが
ら、歩行者の厳密制約には例外があり得る。例えば、ホスト車両に優先通行権があるか又
は速度が非常に遅く、歩行者がホスト車両に道を譲るのを拒否すること又はホスト車両に
向かってナビゲートすることについて観測される根拠がない場合、歩行者の厳密制約を(
例えば、少なくとも0.75メートル又は0.50メートルのより狭い緩衝に)緩和する
ことができる。
[0272] 一部の例では、全てを満たすことができないと判定される場合に制約を緩和す
ることができる。例えば、両方のカーブから又はカーブと駐車車両から所望の間隔(例え
ば、0.5メートル)離れるには道路が狭過ぎる状況では、軽減事由がある場合に制約の
1つ又は複数を緩和することができる。例えば、歩道上に歩行者(又は他の物体)がない
場合、カーブから0.1メートルにおいてゆっくり進むことができる。幾つかの実施形態
では、そうすることでユーザエクスペリエンスが改善する場合、制約を緩和することがで
きる。例えば、くぼみを回避するために、制約を緩和して通常許可され得るよりもレーン
の縁、カーブ、又は歩行者の近くを車両がナビゲートすることを可能にし得る。更に、い
ずれの制約を緩和するかを決定するとき、幾つかの実施形態では、緩和することに決める
1つ又は複数の制約は、安全に対して得られる悪影響が最も少ないと見なされるものであ
る。例えば、車両がカーブ又はコンクリート障壁に対してどの程度近く移動できるかに関
する制約は、他の車両への近さを扱う制約を緩和する前に緩和することができる。幾つか
の実施形態では、歩行者の制約は、緩和される最後のものとすることができ、又は状況に
より決して緩和されない場合がある。
[0273] 図12は、ホスト車両のナビゲーション中に捕捉され分析され得るシーンの一
例を示す。例えば、ホスト車両は、ホスト車両の環境を表す複数の画像をホスト車両に関
連するカメラ(例えば、画像捕捉装置122、画像捕捉装置124、及び画像捕捉装置1
26の少なくとも1つ)から受信し得る上記のナビゲーションシステム(例えば、システ
ム100)を含み得る。図12に示すシーンは、予測軌道1212に沿ってレーン121
0内を移動しているホスト車両の環境から時点tにおいて捕捉され得る画像の1つの一例
である。ナビゲーションシステムは、複数の画像を受信することと、シーンに応じて動作
を決定するためにそれらの画像を分析することとを行うように特別にプログラムされる少
なくとも1つの処理デバイス(例えば、上記のEyeQプロセッサ又は他の装置のいずれかを
含む)を含み得る。とりわけ、少なくとも1つの処理デバイスは、図8に示す検知モジュ
ール801、運転ポリシモジュール803、及び制御モジュール805を実装することが
できる。検知モジュール801は、カメラから収集される画像情報の収集及び出力、並び
にその情報を、識別されたナビゲーション状態の形式で運転ポリシモジュール803に与
えることを担うことができ、運転ポリシモジュール803は、教師あり学習や強化学習等
の機械学習法によってトレーニングされているトレーニング済みナビゲーションシステム
を構成し得る。検知モジュール801によって運転ポリシモジュール803に与えられる
ナビゲーション状態情報に基づき、運転ポリシモジュール803は、(例えば、上記の選
択肢のグラフの手法を実施することにより)、識別されたナビゲーション状態に応じてホ
スト車両によって実行するための所望のナビゲーション動作を生成することができる。
[0274] 幾つかの実施形態では、少なくとも1つの処理デバイスが、例えば制御モジュ
ール805を使用し、所望のナビゲーション動作をナビゲーションコマンドに直接変換す
ることができる。しかし、他の実施形態では、シーン及び所望のナビゲーション動作によ
って関与され得る様々な所定のナビゲーション制約に対して、運転ポリシモジュール80
3によって提供される所望のナビゲーション動作をテストするように厳密制約を適用する
ことができる。例えば、ホスト車両に軌道1212をたどらせる所望のナビゲーション動
作を運転ポリシモジュール803が出力する場合、そのナビゲーション動作は、ホスト車
両の環境の様々な側面に関連する1つ又は複数の厳密制約に対してテストすることができ
る。例えば、捕捉画像1201は、シーン内に存在する縁石1213、歩行者1215、
目標車両1217、及び静的物体(例えば、ひっくり返った箱)を決定し得る。これらの
それぞれが1つ又は複数の厳密制約に関連し得る。例えば、縁石1213は、ホスト車両
が縁石上に又は縁石を超えて歩道1214上にナビゲートすることを防ぐ静的制約に関連
し得る。縁石1213は、ホスト車両にとっての非ナビゲート区域を画定する、縁石から
(例えば、0.1メートル、0.25メートル、0.5メートル、1メートル等)隔てて
且つ縁石に沿って広がる所定距離(例えば、緩衝区域)を画定する道路障壁エンベロープ
にも関連し得る。当然ながら、静的制約は、他の種類の路傍境界(例えば、ガードレール
、コンクリート柱、コーン、パイロン、他の任意の種類の路傍障壁)に関連し得る。
[0275] 距離及び測距は、任意の適切な方法によって決定できることに留意すべきであ
る。例えば、幾つかの実施形態では、距離情報がオンボードのレーダ及び/又はライダシ
ステムによって提供され得る。或いは又は加えて、距離情報は、ホスト車両の環境から捕
捉される1つ又は複数の画像を分析することによって導出することができる。例えば、画
像内で表される認識された物体のピクセル数を求め、画像捕捉装置の既知の視野及び焦点
距離のジオメトリと比較してスケール及び距離を決定することができる。例えば、既知の
時間間隔にわたって複数の画像において物体間のスケールの変化を観測することにより、
速度及び加速度を決定することができる。この分析は、物体がホスト車両からどの程度速
く離れているか又はホスト車両にどの程度速く近づいているかと共に、ホスト車両に向か
う又はホスト車両から離れる移動方向を示し得る。既知の時間期間にわたるある画像から
別の画像への物体のX座標の位置変化を分析することにより、横断速度を決定することが
できる。
[0276] 歩行者1215は、緩衝区域1216を画定する歩行者エンベロープに関連し
得る。幾つかの場合、課せられた厳密制約は、歩行者1215から(歩行者に対する任意
の方向において)1メートルの距離内でホスト車両がナビゲートすることを禁じ得る。歩
行者1215は、歩行者影響区域1220の位置を定めることもできる。この影響区域は
、影響区域内のホスト車両の速度を制限する制約に関連し得る。影響区域は、歩行者12
15から5メートル、10メートル、20メートル等広がり得る。影響区域の各等級に異
なる制限速度を関連付けることができる。例えば、歩行者1215から1メートル〜5メ
ートルの区域内では、ホスト車両は、5メートル〜10メートルに広がる歩行者影響区域
内の制限速度未満であり得る第1の速度(例えば、10mphや20mph等)に限定さ
れ得る。影響区域の様々な段階に関する任意の等級を使用することができる。幾つかの実
施形態では、第1の段階が1メートル〜5メートルよりも狭いことができ、1メートル〜
2メートルにのみ及び得る。他の実施形態では、影響区域の第1の段階が1メートル(歩
行者の周りの非ナビゲート区域の境界)から少なくとも10メートルの距離に広がり得る
。次に、第2の段階は、10メートル〜少なくとも約20メートル広がり得る。第2の段
階は、歩行者影響区域の第1の段階に関連する最大移動速度を上回るホスト車両の最大移
動速度に関連し得る。
[0277] ホスト車両の環境内の検出されたシーンによって1つ又は複数の静的物体制約
も関与され得る。例えば、画像1201では、少なくとも1つの処理デバイスが、道路内
にある箱1219等の静的物体を検出し得る。検出される静的物体は、道路内の木、ポー
ル、道路標識、物体の少なくとも1つ等の様々な物体を含み得る。検出される静的物体に
1つ又は複数の既定のナビゲーション制約が関連し得る。例えば、かかる制約は、静的物
体エンベロープを含むことができ、静的物体エンベロープは、ホスト車両のナビゲーショ
ンがその内部で禁じられ得る物体の周りの緩衝区域を画定する。緩衝区域の少なくとも一
部は、検出された静的物体の縁から所定の距離広がり得る。例えば、画像1201によっ
て表すシーンでは、少なくとも0.1メートル、0.25メートル、0.5メートル、又
はそれを超える緩衝区域が箱1219に関連することができ、そのため、ホスト車両は、
検出された静的物体との衝突を回避するために少なくとも幾らかの距離(例えば、緩衝区
域の距離)の分だけ箱の右側又は左側を通過する。
[0278] 既定の厳密制約は、1つ又は複数の目標車両制約も含み得る。例えば、画像1
201内で目標車両1217が検出され得る。ホスト車両が目標車両1217と衝突しな
いことを確実にするために、1つ又は複数の厳密制約を使用することができる。幾つかの
場合、単一の緩衝区域の距離に目標車両エンベロープが関連し得る。例えば、緩衝区域は
、全方向に目標車両を取り囲む1メートルの距離によって画定され得る。緩衝区域は、ホ
スト車両がその内部にナビゲートすることが禁じられる、目標車両から少なくとも1メー
トル広がる領域を画定し得る。
[0279] 但し、目標車両1217を取り囲むエンベロープは、固定された緩衝距離によ
って画定される必要はない。幾つかの場合、目標車両(又はホスト車両の環境内で検出さ
れる他の任意の移動可能物体)に関連する既定の厳密制約は、検出された目標車両に対す
るホスト車両の向きに依存し得る。例えば、幾つかの場合(ホスト車両が目標車両に向か
って走行している場合など)、目標車両からホスト車両の前部又は後部に及ぶ)縦方向の
緩衝区域の距離は、少なくとも1メートルであり得る。例えば、ホスト車両が目標車両と
同じ又は逆の方向に移動しており、そのため、ホスト車両の側部が目標車両の側部の直接
横を通過する場合等、(目標車両からホスト車両のいずれかの側部に及ぶ)横方向の緩衝
区域の距離は、少なくとも0.5メートルであり得る。
[0280] 上記で説明したように、ホスト車両の環境内の目標車両又は歩行者を検出する
ことにより、他の制約を関与させることもできる。例えば、ホスト車両及び目標車両12
17の予測軌道を検討することができ、2つの軌道が(例えば、交点1230において)
交差するとき厳密制約は、

を要求することができ、ホスト車両は、車両1であり、目標車両1217は、車両2であ
る。同様に、ホスト車両の予測軌道に対して(進行方向及び速度に基づく)歩行者121
5の軌道を監視することができる。特定の歩行者の軌道を所与として、軌道上の全ての点
pについて、t(p)は、歩行者が点p(すなわち図12の点1231)に到達するのに
かかる時間を表す。歩行者から少なくとも1メートルの所要の緩衝距離を保つために、t
(p)は、(ホスト車両が少なくとも1メートルの距離の差で歩行者の前を通過するよう
に十分な時間差を伴って)ホスト車両が点pに到達する時間を上回らなければならず、又
は(例えば、ホスト車両がブレーキをかけて歩行者に道を譲る場合)t(p)は、ホスト
車両が点pに到達する時間を下回らなければならない。更に後者の例では、ホスト車両が
歩行者の背後を通過し、少なくとも1メートルの所要の緩衝距離を保つことができるよう
に、ホスト車両が歩行者よりも十分遅い時間に点pに到達することを厳密制約が要求する
[0281] 他の厳密制約も使用することができる。例えば、少なくとも幾つかの場合、ホ
スト車両の最大減速率を使用することができる。この最大減速率は、(例えば、後向きカ
メラから収集される画像を使用し)ホスト車両を追走する目標車両までの検出距離に基づ
いて決定することができる。厳密制約は、検知した横断歩道又は踏切における強制的な停
止又は他の適用可能な制約を含み得る。
[0282] 1つ又は複数の既定のナビゲーション制約が関与され得ることをホスト車両の
環境内のシーンの分析が示す場合、ホスト車両の1つ又は複数の計画されたナビゲーショ
ン動作に対してそれらの制約を課すことができる。例えば、運転ポリシモジュール803
が所望のナビゲーション動作を返すことをシーンの分析がもたらす場合、その所望のナビ
ゲーション動作を1つ又は複数の関与される制約に対してテストすることができる。所望
のナビゲーション動作が、関与される制約の任意の側面に違反すると判定される場合(例
えば、ホスト車両が歩行者1215から少なくとも1.0メートルに留まることを既定の
厳密制約が要求するとき、所望のナビゲーション動作が歩行者1215の0.7メートル
の距離内にホスト車両を運ぶ場合)、1つ又は複数の既定のナビゲーション制約に基づい
て所望のナビゲーション動作に対する少なくとも1つの修正を加えることができる。この
方法で所望のナビゲーション動作を調節することは、ホスト車両の環境内で検出される特
定のシーンによって関与される制約に準拠してホスト車両の実際のナビゲーション動作を
もたらすことができる。
[0283] ホスト車両の実際のナビゲーション動作を決定した後、決定されたホスト車両
の実際のナビゲーション動作に応じてホスト車両のナビゲーションアクチュエータの少な
くとも1つの調節を引き起こすことにより、そのナビゲーション動作を実施することがで
きる。このナビゲーションアクチュエータは、ホスト車両の操舵メカニズム、ブレーキ、
又はアクセルの少なくとも1つを含み得る。
[0284] 優先順位付けされた制約
[0285] 上記で説明したように、ホスト車両の安全な動作を確実にするために様々な厳
密制約をナビゲーションシステムと共に使用することができる。制約は、とりわけ歩行者
、目標車両、道路障壁、若しくは検出される物体に対する最小安全運転距離、検出される
歩行者の影響区域内を通過するときの最大移動速度、又はホスト車両の最大減速率を含み
得る。これらの制約は、機械学習(教師あり、強化、又はその組み合わせ)に基づいてト
レーニングされるトレーニング済みシステムによって課すことができるが、(例えば、ホ
スト車両の環境のシーン内で生じる予期される状況に直接対処するアルゴリズムを使用す
る)トレーニングされていないシステムでも有用であり得る。
[0286] いずれにせよ、制約の階層があり得る。換言すれば、一部のナビゲーション制
約が他のナビゲーション制約に優先する場合がある。従って、関与される全ての制約を満
たすことになるナビゲーション動作を利用できない状況が発生した場合、ナビゲーション
システムは、最も高い優先順位の制約を最初に実現する利用可能なナビゲーション動作を
決定することができる。例えば、システムは、たとえ歩行者を回避するナビゲーションが
道路内で検出される別の車両又は物体との衝突を引き起こすことになっても、車両に歩行
者をまず回避させることができる。別の例では、システムは、歩行者を回避するために車
両を縁石に乗り上げさせることができる。
[0287] 図13は、ホスト車両の環境内のシーンの分析に基づいて決定される関与され
る制約の階層を実装するためのアルゴリズムを示すフローチャートを示す。例えば、ステ
ップ1301では、ナビゲーションシステムに関連する少なくとも1つのプロセッサ(例
えば、EyeQプロセッサ等)は、ホスト車両の環境を表す複数の画像をホスト車両の搭載カ
メラから受信することができる。ステップ1303において、ホスト車両の環境のシーン
を表す1つ又は複数の画像を分析することにより、ホスト車両に関連するナビゲーション
状態を決定することができる。例えば、ナビゲーション状態は、シーンの様々な特性の中
でも、図12にあるようにホスト車両が2レーン道路1210に沿って移動していること
、目標車両1217がホスト車両の前方の交差点を進んでいること、ホスト車両が移動す
る道路を渡るために歩行者1215が待っていること、ホスト車両のレーンの前方に物体
1219があることを特に示し得る。
[0288] ステップ1305では、ホスト車両のナビゲーション状態によって関与される
1つ又は複数のナビゲーション制約を決定することができる。例えば、少なくとも1つの
処理デバイスは、1つ又は複数の捕捉画像によって表されるホスト車両の環境内のシーン
を分析した後、捕捉画像の画像分析によって認識される物体、車両、歩行者等によって関
与される1つ又は複数のナビゲーション制約を決定することができる。幾つかの実施形態
では、少なくとも1つの処理デバイスは、ナビゲーション状態によって関与される少なく
とも第1の既定のナビゲーション制約及び第2の既定のナビゲーション制約を決定するこ
とができ、第1の既定のナビゲーション制約は、第2の既定のナビゲーション制約と異な
り得る。例えば、第1のナビゲーション制約は、ホスト車両の環境内で検出される1つ又
は複数の目標車両に関係することができ、第2のナビゲーション制約は、ホスト車両の環
境内で検出される歩行者に関係することができる。
[0289] ステップ1307では、少なくとも1つの処理デバイスは、ステップ1305
で識別された制約に関連する優先順位を決定することができる。説明する例では、歩行者
に関係する第2の既定のナビゲーション制約は、目標車両に関係する第1の既定のナビゲ
ーション制約よりも高い優先順位を有し得る。ナビゲーション制約に関連する優先順位は
、様々な要因に基づいて決定されるか又は割り当てられ得るが、幾つかの実施形態では、
ナビゲーション制約の優先順位は、安全性の観点から見たその相対的な重要性に関係し得
る。例えば、できるだけ多くの状況において、全ての実装されたナビゲーション制約に従
うか又はそれを満たすことが重要であり得るが、一部の制約は、他の制約よりも強い安全
性リスクに関連する場合があり、従ってより高い優先順位を割り当てることができる。例
えば、ホスト車両が歩行者から少なくとも1メートルの間隔を保つことを要求するナビゲ
ーション制約は、ホスト車両が目標車両から少なくとも1メートルの間隔を保つことを要
求する制約よりも高い優先順位を有し得る。これは、歩行者との衝突の方が別の車両との
衝突よりも深刻な結果を有し得るからであり得る。同様に、ホスト車両と目標車両との間
の間隔を保つことは、ホスト車両が道路内の箱を回避すること、減速バンプ上において一
定速度未満で走行すること、又はホスト車両の搭乗者を最大加速度レベル以下にさらすこ
とを要求する制約よりも高い優先順位を有し得る。
[0290] 運転ポリシモジュール803は、特定のシーン又はナビゲーション状態によっ
て関与されるナビゲーション制約を満たすことで安全性を最大化するように設計されるが
、状況により関与される全ての制約を満たすことが物理的に不可能であり得る。ステップ
1309に示すように、そのような状況では、関与される各制約の優先順位を使用して、
関与される制約のいずれが最初に満たされるべきかを決定することができる。上記の例を
続け、歩行者との間隙の制約及び目標車両との間隙の制約の両方を満たすことができず、
制約の一方のみを満たすことができる状況では、歩行者との間隙の制約のより高い優先順
位は、目標車両までの間隙を保とうと試みる前に、当該制約が満たされることをもたらし
得る。従って、通常の状況では、ステップ1311に示すように、第1の既定のナビゲー
ション制約及び第2の既定のナビゲーション制約の両方を満たすことができる場合、少な
くとも1つの処理デバイスは、ホスト車両の識別されたナビゲーション状態に基づいて、
第1の既定のナビゲーション制約及び第2の既定のナビゲーション制約の両方を満たすホ
スト車両のための第1のナビゲーション動作を決定することができる。しかし、関与され
る全ての制約を満たすことができない他の状況では、ステップ1313に示すように、第
1の既定のナビゲーション制約及び第2の既定のナビゲーション制約の両方を満たすこと
ができない場合、少なくとも1つの処理デバイスは、識別されたナビゲーション状態に基
づいて、第2の既定のナビゲーション制約(すなわち優先順位が高い方の制約)を満たす
が、第1の既定のナビゲーション制約(第2のナビゲーション制約よりも低い優先順位を
有する)を満たさないホスト車両のための第2のナビゲーション動作を決定することがで
きる。
[0291] 次に、ステップ1315では、決定されたホスト車両のためのナビゲーション
動作を実施するために、少なくとも1つの処理デバイスは、ホスト車両のための決定され
た第1のナビゲーション動作又は決定された第2のナビゲーション動作に応じてホスト車
両のナビゲーションアクチュエータの少なくとも1つの調節を引き起こすことができる。
先の例と同様に、ナビゲーションアクチュエータは、操舵メカニズム、ブレーキ、又はア
クセルの少なくとも1つを含み得る。
[0292] 制約緩和
[0293] 上記で論じたように、安全のためにナビゲーション制約を課すことができる。
制約は、とりわけ歩行者、目標車両、道路障壁、若しくは検出される物体に対する最小安
全運転距離、検出される歩行者の影響区域内を通過するときの最大移動速度、又はホスト
車両の最大減速率を含み得る。これらの制約は、学習ナビゲーションシステム又は非学習
ナビゲーションシステム内で課すことができる。特定の状況では、これらの制約を緩和す
ることができる。例えば、ホスト車両が歩行者の近くで減速し又は停止し、歩行者のそば
を通過する意図を伝えるためにゆっくり進む場合、取得画像から歩行者の反応を検出する
ことができる。歩行者の反応がじっとしていること又は動くことをやめることである場合
(及び/又は歩行者とのアイコンタクトが検知される場合)、歩行者のそばを通過するナ
ビゲーションシステムの意図を歩行者が認識したと理解することができる。そのような状
況では、システムは、1つ又は複数の既定の制約を緩和し、あまり厳しくない制約を実施
する(例えば、より厳格な1メートルの境界内ではなく、歩行者の0.5メートルの範囲
内を車両がナビゲートすることを可能にする)ことができる。
[0294] 図14は、1つ又は複数のナビゲーション制約を緩和することに基づいてホス
ト車両の制御を実施するためのフローチャートを示す。ステップ1401では、少なくと
も1つの処理デバイスは、ホスト車両の環境を表す複数の画像をホスト車両に関連するカ
メラから受信することができる。ステップ1403で画像を分析することは、ホスト車両
に関連するナビゲーション状態を識別することを可能にし得る。ステップ1405では、
少なくとも1つのプロセッサは、ホスト車両のナビゲーション状態に関連するナビゲーシ
ョン制約を決定することができる。ナビゲーション制約は、ナビゲーション状態の少なく
とも1つの側面によって関与される第1の既定のナビゲーション制約を含み得る。ステッ
プ1407では、複数の画像を分析することは、少なくとも1つのナビゲーション制約緩
和要因の存在を決定し得る。
[0295] ナビゲーション制約緩和要因は、1つ又は複数のナビゲーション制約が少なく
とも1つの側面において中断され、変更され、さもなければ緩和され得る任意の適切なイ
ンジケータを含み得る。幾つかの実施形態では、少なくとも1つのナビゲーション制約緩
和要因は、歩行者の目がホスト車両の方向を見ているという(画像分析に基づく)判定を
含み得る。その場合、歩行者がホスト車両を認識していることを、より安全に想定するこ
とができる。その結果、ホスト車両の経路内に歩行者が移動することを引き起こす予期せ
ぬ動作に歩行者が関与しない信頼度が一層高くなり得る。他の制約緩和要因も使用するこ
とができる。例えば、少なくとも1つのナビゲーション制約緩和要因は、動いていないと
判定される歩行者(例えば、ホスト車両の経路に入る可能性が低いと推定される者)、又
はその動きが減速していると判定される歩行者を含み得る。ホスト車両が停止したとき動
いていないと判定され、その後移動を再開する歩行者等、ナビゲーション制約緩和要因は
より複雑な動作も含むことができる。そのような状況では、ホスト車両が優先通行権を有
することを歩行者が理解していると見なすことができ、停止しようとする歩行者は、ホス
ト車両に道を譲る自らの意図を示唆することができる。1つ又は複数の制約を緩和させ得
る他の状況は、縁石の種類(例えば、低い縁石又は傾斜が緩やかなスロープは、距離制約
の緩和を可能にし得る)、歩道上に歩行者又は他の物体がないこと、自らのエンジンがか
かっていない車両を含み、緩和された距離を有することができ、又はホスト車両の進行先
の領域から歩行者の向きがそれている状況及び/又は歩行者が離れている状況を含む。
[0296] ナビゲーション制約緩和要因の存在を(例えば、ステップ1407で)識別す
ると、制約緩和要因を検出することに応じて第2のナビゲーション制約を決定又は作成す
ることができる。この第2のナビゲーション制約は、第1のナビゲーション制約と異なる
ことができ、第1のナビゲーション制約と比較して緩和された少なくとも1つの特性を含
み得る。第2のナビゲーション制約は、第1の制約に基づく新たに生成される制約を含む
ことができ、新たに生成される制約は、少なくとも1つの点において第1の制約を緩和す
る少なくとも1つの修正を含む。或いは、第2の制約は、少なくとも1つの点において第
1のナビゲーション制約よりも厳しくない所定の制約を構成し得る。幾つかの実施形態で
は、ホスト車両の環境内で制約緩和要因が識別される状況でのみ使用するために、この第
2の制約を確保しておくことができる。第2の制約が新たに生成されようと、完全に又は
部分的に利用可能な所定の制約の組から選択されようと、(関連するナビゲーション制約
緩和要因の検出がなければ適用され得る)より厳しい第1のナビゲーション制約の代わり
の第2のナビゲーション制約の適用を制約緩和と呼ぶことができ、ステップ1409で実
現することができる。
[0297] ステップ1407で少なくとも1つの制約緩和要因を検出し、ステップ140
9で少なくとも1つの制約を緩和した場合、ステップ1411でホスト車両のためのナビ
ゲーション動作を決定することができる。ホスト車両のためのナビゲーション動作は、識
別されたナビゲーション状態に基づくことができ、第2のナビゲーション制約を満たすこ
とができる。ステップ1413では、決定されたナビゲーション動作に応じてホスト車両
のナビゲーションアクチュエータの少なくとも1つの調節を引き起こすことにより、その
ナビゲーション動作を実施することができる。
[0298] 上記で論じたように、ナビゲーション制約及び緩和されたナビゲーション制約
を使用することは、(例えば、機械学習によって)トレーニングされたナビゲーションシ
ステム又はトレーニングされていないナビゲーションシステム(例えば、特定のナビゲー
ション状態に応じて所定の動作で応答するようにプログラムされたシステム)と共に用い
ることができる。トレーニング済みナビゲーションシステムを使用する場合、特定のナビ
ゲーション状況に対する緩和されたナビゲーション制約の可用性は、トレーニング済みシ
ステムの応答からトレーニングされていないシステムの応答へのモードの切り替えを表し
得る。例えば、トレーニング済みナビゲーションネットワークは、第1のナビゲーション
制約に基づいてホスト車両のための元のナビゲーション動作を決定することができる。し
かし、車両が行う動作は、第1のナビゲーション制約を満たすナビゲーション動作と異な
るものであり得る。むしろ、行われる動作は、より緩和された第2のナビゲーション制約
を満たすことができ、(例えば、ナビゲーション制約緩和要因があること等、ホスト車両
の環境内の特定の条件を検出することに応じて)トレーニングされていないシステムによ
って決定される動作であり得る。
[0299] ホスト車両の環境内で制約緩和要因を検出することに応じて緩和され得るナビ
ゲーション制約の多くの例がある。例えば、既定のナビゲーション制約が、検出された歩
行者に関連する緩衝区域を含み、緩衝区域の少なくとも一部が、検出された歩行者から所
定の距離広がる場合、(新たに決定される、所定の組からメモリから呼び出される、又は
既存の制約の緩和バージョンとして生成される)緩和されたナビゲーション制約は、異な
る又は修正された緩衝区域を含み得る。例えば、異なる又は修正された緩衝区域は、検出
された歩行者に対する元の又は未修正の緩衝区域よりも短い歩行者に対する距離を有し得
る。その結果、適切な制約緩和要因がホスト車両の環境内で検出される場合、緩和された
制約を考慮し、検出された歩行者のより近くにナビゲートすることをホスト車両が許可さ
れ得る。
[0300] ナビゲーション制約の緩和される特性は、上記で述べたように少なくとも1人
の歩行者に関連する緩衝区域の低減される幅を含み得る。但し、緩和される特性は、目標
車両に関連する緩衝区域の低減される幅、検出物体、路傍障壁、又はホスト車両の環境内
で検出される他の任意の物体も含み得る。
[0301] 少なくとも1つの緩和される特性は、ナビゲーション制約特性における他の種
類の修正も含み得る。例えば、緩和される特性は、少なくとも1つの既定のナビゲーショ
ン制約に関連する速度増加を含み得る。緩和される特性は、少なくとも1つの既定のナビ
ゲーション制約に関連する許容可能な最大減速度/加速度の増加も含み得る。
[0302] 上記のように特定の状況では制約を緩和することができるが、他の状況ではナ
ビゲーション制約を増強することができる。例えば、一部の状況では、ナビゲーションシ
ステムは、通常のナビゲーション制約の組を増強することを諸条件が正当化すると判定し
得る。かかる増強は、既定の制約の組に新たな制約を追加すること又は既定の制約の1つ
又は複数の側面を調節することを含み得る。この追加又は調節は、通常の運転条件下で適
用可能な既定の制約の組に対して、より慎重なナビゲーションをもたらし得る。制約の増
強を正当化し得る条件は、センサの故障や不利な環境条件(視認性の低下又は車両の静止
摩擦の低下に関連する雨、雪、霧、又は他の条件)等を含み得る。
[0303] 図15は、1つ又は複数のナビゲーション制約を増強することに基づいてホス
ト車両の制御を実施するためのフローチャートを示す。ステップ1501では、少なくと
も1つの処理デバイスは、ホスト車両の環境を表す複数の画像をホスト車両に関連するカ
メラから受信することができる。ステップ1503で画像を分析することは、ホスト車両
に関連するナビゲーション状態を識別することを可能にし得る。ステップ1505では、
少なくとも1つのプロセッサは、ホスト車両のナビゲーション状態に関連するナビゲーシ
ョン制約を決定することができる。ナビゲーション制約は、ナビゲーション状態の少なく
とも1つの側面によって関与される第1の既定のナビゲーション制約を含み得る。ステッ
プ1507では、複数の画像を分析することは、少なくとも1つのナビゲーション制約増
強要因の存在を決定し得る。
[0304] 関与されるナビゲーション制約は、(例えば、図12に関して)上記で論じた
ナビゲーション制約のいずれか又は他の任意の適切なナビゲーション制約を含み得る。ナ
ビゲーション制約増強要因は、1つ又は複数のナビゲーション制約が少なくとも1つの側
面において補足/増強され得る任意のインジケータを含み得る。ナビゲーション制約の補
足又は増強は、組ごとに行うことができ(例えば、所定の制約の組に新たなナビゲーショ
ン制約を追加することにより)、又は制約ごとに行うことができる(例えば、修正される
制約が元よりも制限的であるように特定の制約を修正すること、又は所定の制約に対応す
る新たな制約を追加することであり、新たな制約は、少なくとも1つの側面において対応
する制約よりも制限的である)。加えて又は或いは、ナビゲーション制約の補足又は増強
は、階層に基づく所定の制約の組の中から選択することを指す場合もある。例えば、ホス
ト車両の環境内で又はホスト車両に対してナビゲーション増強要因が検出されるかどうか
に基づき、増強された制約の組が選択のために提供され得る。増強要因が検出されない通
常の条件下では、関与されるナビゲーション制約は、通常の条件に適用可能な制約から導
くことができる。他方では、1つ又は複数の制約増強要因が検出される場合、関与される
制約は、1つ又は複数の増強要因に対して生成されるか又は予め定められる増強された制
約から導くことができる。増強された制約は、通常の条件下で適用可能な対応する制約よ
りも少なくとも1つの側面において制限的であり得る。
[0305] 幾つかの実施形態では、少なくとも1つのナビゲーション制約増強要因は、ホ
スト車両の環境内の路面上に氷、雪、又は水があることを(例えば、画像分析に基づいて
)検出することを含み得る。この判定は、例えば、乾燥した道路で予期されるよりも反射
率が高い領域(例えば、道路上の氷又は水を示す)、雪があることを示す路面上の白色領
域、道路上に縦方向の溝(例えば、雪中のタイヤ跡)があることと合致する道路上の影、
ホスト車両のフロントガラス上の水滴若しくは氷/雪の小さい粒、又は路面上に水若しく
は氷/雪があることを示す他の任意の適切なインジケータを検出することに基づき得る。
[0306] 少なくとも1つのナビゲーション制約増強要因は、ホスト車両のフロントガラ
スの外面上の小さい粒を検出することも含み得る。かかる小さい粒は、ホスト車両に関連
する1つ又は複数の画像捕捉装置の画質を損なう可能性がある。ホスト車両のフロントガ
ラスの裏側に搭載されるカメラに関連するものとして、ホスト車両のフロントガラスに関
して説明したが、ホスト車両に関連する他の面上(例えば、カメラのレンズ若しくはレン
ズカバー、ヘッドライトレンズ、リアウィンドウ、テールライトレンズ、又は画像捕捉装
置にとって可視の(又はセンサによって検出される)ホスト車両の他の任意の面上の小さ
い粒を検出することも、ナビゲーション制約増強要因があることを示し得る。
[0307] ナビゲーション制約増強要因は、1つ又は複数の画像取得装置の特性として検
出することもできる。例えば、ホスト車両に関連する画像捕捉装置(例えば、カメラ)に
よって捕捉される1つ又は複数の画像の画質の検出される低下もナビゲーション制約増強
要因を構成し得る。画質の低下は、画像捕捉装置又は画像捕捉装置に関連するアセンブリ
に関連するハードウェアの故障若しくは部分的なハードウェアの故障に関連する場合があ
る。かかる画質の低下は、環境条件によって引き起こされる場合もある。例えば、ホスト
車両を取り囲む空気中に煙、霧、雨、雪等があることは、ホスト車両の環境内にあり得る
道路、歩行者、目標車両等に関する画質の低下に寄与する場合もある。
[0308] ナビゲーション制約増強要因は、ホスト車両の他の側面にも関係し得る。例え
ば、一部の状況では、ナビゲーション制約増強要因は、ホスト車両に関連するシステム又
はセンサの検出された故障又は部分的な故障を含み得る。かかる増強要因は、例えば、ホ
スト車両のナビゲーション状態に関連するナビゲーション制約に対してホスト車両がナビ
ゲートする能力に影響を及ぼし得る、ホスト車両に関連する速度センサ、GPS受信機、
加速度計、カメラ、レーダ、ライダ、ブレーキ、タイヤ、又は他の任意のシステムの故障
又は部分的な故障を検出することを含み得る。
[0309] ナビゲーション制約増強要因があることが(例えば、ステップ1507で)識
別される場合、制約増強要因を検出することに応じて第2のナビゲーション制約を決定又
は作成することができる。この第2のナビゲーション制約は、第1のナビゲーション制約
と異なることができ、第1のナビゲーション制約に対して増強される少なくとも1つの特
性を含み得る。ホスト車両の環境内の又はホスト車両に関連する制約増強要因を検出する
ことは、通常の動作条件と比較してホスト車両の少なくとも1つのナビゲーション能力が
低下している可能性があることを示唆し得るため、第2のナビゲーション制約は、第1の
ナビゲーション制約よりも制限的であり得る。そのような能力の低下は、道路の静止摩擦
の低下(例えば、道路上の氷、雪、又は水、タイヤ空気圧の低下等)、視界が損なわれる
こと(例えば、捕捉画質を下げる雨、雪、塵、煙、霧等)、検出能力が損なわれること(
例えば、センサの故障又は部分的な故障、センサの性能低下等)、又は検出されるナビゲ
ーション状態に応じてホスト車両がナビゲートする能力の他の任意の低下を含み得る。
[0310] ステップ1507で少なくとも1つの制約増強要因を検出し、ステップ150
9で少なくとも1つの制約を増強している場合、ステップ1511でホスト車両のための
ナビゲーション動作を決定することができる。ホスト車両のためのナビゲーション動作は
、識別されたナビゲーション状態に基づくことができ、第2のナビゲーション(すなわち
増強された)制約を満たすことができる。ステップ1513では、決定されたナビゲーシ
ョン動作に応じてホスト車両のナビゲーションアクチュエータの少なくとも1つの調節を
引き起こすことにより、そのナビゲーション動作を実施することができる。
[0311] 先に論じたように、ナビゲーション制約及び増強されたナビゲーション制約を
使用することは、(例えば、機械学習によって)トレーニング済みナビゲーションシステ
ム又はトレーニングされていないナビゲーションシステム(例えば、特定のナビゲーショ
ン状態に応じて所定の動作で応答するようにプログラムされたシステム)と共に用いるこ
とができる。トレーニング済みナビゲーションシステムを使用する場合、特定のナビゲー
ション状況に対する増強されたナビゲーション制約の可用性は、トレーニング済みシステ
ムの応答からトレーニングされていないシステムの応答へのモードの切り替えを表し得る
。例えば、トレーニング済みナビゲーションネットワークは、第1のナビゲーション制約
に基づいてホスト車両のための元のナビゲーション動作を決定することができる。しかし
、車両が行う動作は、第1のナビゲーション制約を満たすナビゲーション動作と異なるも
のであり得る。むしろ、行われる動作は、増強された第2のナビゲーション制約を満たす
ことができ、(例えば、ナビゲーション制約増強要因があること等、ホスト車両の環境内
の特定の条件を検出することに応じて)トレーニングされていないシステムによって決定
される動作であり得る。
[0312] ホスト車両の環境内で制約増強要因を検出することに応じて生成されるか、補
足されるか、又は増強され得るナビゲーション制約の多くの例がある。例えば、既定のナ
ビゲーション制約が、検出された歩行者、物体、車両等に関連する緩衝区域を含み、緩衝
区域の少なくとも一部が、検出された歩行者/物体/車両から所定の距離広がる場合、(
新たに決定される、所定の組からメモリから呼び出される、又は既存の制約の増強バージ
ョンとして生成される)増強されたナビゲーション制約は、異なる又は修正された緩衝区
域を含み得る。例えば、異なる又は修正された緩衝区域は、検出された歩行者/物体/車
両に対する元の又は未修正の緩衝区域よりも長い歩行者/物体/車両に対する距離を有し
得る。その結果、適切な制約増強要因がホスト車両の環境内で又はホスト車両に関連して
検出される場合、増強された制約を考慮し、検出された歩行者/物体/車両のより遠くを
ナビゲートすることをホスト車両が強制され得る。
[0313] 少なくとも1つの増強される特性は、ナビゲーション制約特性における他の種
類の修正も含み得る。例えば、増強される特性は、少なくとも1つの既定のナビゲーショ
ン制約に関連する速度低下を含み得る。増強される特性は、少なくとも1つの既定のナビ
ゲーション制約に関連する許容可能な最大減速度/加速度の低下も含み得る。
[0314] 長期計画に基づくナビゲーション
[0315] 幾つかの実施形態では、開示するナビゲーションシステムは、ホスト車両の環
境内の検出されたナビゲーション状態に応答できるだけではなく、長期計画に基づいて1
つ又は複数のナビゲーション動作を決定することもできる。例えば、システムは、検出さ
れるナビゲーション状態に関してナビゲートするための選択肢として利用可能な1つ又は
複数のナビゲーション動作の、将来のナビゲーション状態に対する潜在的影響を検討する
ことができる。将来の状態に対する利用可能な動作の効果を検討することは、ナビゲーシ
ョンシステムが現在検出しているナビゲーション状態のみに基づいてではなく、長期計画
にも基づいてナビゲーション動作を決定することを可能にし得る。長期計画技法を使用す
るナビゲーションは、利用可能な選択肢の中からナビゲーション動作を選択するための技
法として、ナビゲーションシステムによって1つ又は複数の報酬関数が使用される場合に
特に適用可能であり得る。ホスト車両の検出された現在のナビゲーション状態に応じて行
うことができる利用可能なナビゲーション動作に関して潜在的報酬を分析することができ
る。但し、更に、現在のナビゲーション状態に対する利用可能な動作から生じると予測さ
れる将来のナビゲーション状態に応じて行うことができる動作に関連して潜在的報酬を分
析することもできる。その結果、たとえ選択されるナビゲーション動作が、現在のナビゲ
ーション状態に応じて行うことができる利用可能な動作の中で最も高い報酬をもたらさな
い可能性があっても、開示するナビゲーションシステムは、一部の事例では、検出される
ナビゲーション状態に応じてそのナビゲーション動作を選択する場合がある。これは、と
りわけ、選択した動作、又は一部の事例では現在のナビゲーション状態に対して利用可能
な動作のいずれかよりも高い報酬を与える1つ又は複数の潜在的なナビゲーション動作の
きっかけを作る将来のナビゲーション状態を、選択した動作がもたらし得るとシステムが
判定する場合に該当し得る。この原理は、報酬が高い選択肢を将来もたらすため、より有
利でない動作を現在行うこととして、より単純に表すことができる。従って、長期計画が
可能な開示するナビゲーションシステムは、報酬の短期的な損失が長期的な報酬の増加を
もたらし得ることを長期予測が示す場合、次善の短期動作を選択することができる。
[0316] 概して自律運転のアプリケーションは、長期目的を最適化するためにナビゲー
ションシステムが即時の動作を決定し得る一連の計画問題を含み得る。例えば、車両が環
状交差路において合流する状況に直面した場合、ナビゲーションシステムは、環状交差路
内へのナビゲーションを開始するために即時の加速コマンド又はブレーキコマンドを決定
することができる。環状交差路において検出されるナビゲーション状態に対する即時の動
作は、検出される状態に応じた加速コマンド又はブレーキコマンドを含み得るが、長期目
的は、合流に成功することであり、選択されるコマンドの長期的効果は、合流の成功/失
敗である。問題を2つのフェーズに分解することによって計画問題に対処することができ
る。第1に、(現在の表現に対して予測因子が可微分であると仮定して)現在に基づいて
近い将来を予測するために教師あり学習を適用することができる。第2に、回帰ニューラ
ルネットワークを使用してエージェントの完全な軌道をモデリングすることができ、説明
されていない要因は、(付加的)入力ノードとしてモデリングされる。これは、教師あり
学習法及び回帰ニューラルネットワーク上の直接の最適化を使用して長期計画問題に対す
る解を求めることを可能にし得る。かかる手法は、環境に対する敵対要素を組み込むこと
によってロバストなポリシの学習を可能にすることもできる。
[0317] 自律運転システムの最も基本的な要素の2つは、検知及び計画である。検知は
、環境の現在の状態のコンパクト表現を見つけることに取り組むのに対し、計画は、将来
の目的を最適化するためにいずれの動作を行うかを決定することに取り組む。検知の問題
を解くのに教師あり機械学習法が有用である。計画の部分について機械学習アルゴリズム
フレームワーク、とりわけ上記で記載したような強化学習(RL)フレームワークを使用
することもできる。
[0318] RLは、一連の連続したラウンドによって実行することができる。ラウンドt
では、プランナ(別名としてエージェント又は運転ポリシモジュール803)は、エージ
ェント並びに環境を表す状態s∈Sを観測し得る。次いで、プランナは、動作a∈A
を決定すべきである。動作を実行した後、エージェントは、即時の報酬

を受信し、新たな状態s+1に移される。一例として、ホスト車両は、適応クルーズコ
ントロール(ACC)システムを含むことができ、ACCでは、スムーズな運転を維持し
ながら先行車両までの十分な距離を保つために、車両が加速/ブレーキを自律的に実施す
べきである。状態は、対

としてモデリングすることができ、xは、先行車両までの距離であり、vは、先行車
両の速度に対するホスト車両の速度である。動作

は、加速コマンドである(a<0が成立する場合にはホスト車両が減速する)。報酬は
、(運転のスムーズさを反映する)|a|及び(ホスト車両が先行車両から安全な距離
を保つことを反映する)sに依存する関数であり得る。プランナの目標は、(場合によ
り対象期間又は将来の報酬の割り引かれた和まで)累積報酬を最大化することである。そ
れを行うために、プランナは、状態を動作にマップするポリシπ:S→Aを利用すること
ができる。
[0319] 教師あり学習(SL)は、RLの特別な事例と見なすことができ、教師あり学
習では分布Sからsがサンプリングされ、報酬関数は、r=−l(a,y)の形
式を有することができ、lは、損失関数であり、学習側は、状態sを認めるときに行う
のに最適な動作の(場合により雑音の多い)値であるyの値を観測する。全般的なRL
のモデルとSLの特定の事例との間には幾らかの差がある場合があり、それらの差は、全
般的なRLの問題をより困難にし得る。
[0320] 一部のSLの状況では、学習側が行う動作(又は予測)が環境への影響を有さ
ない場合がある。換言すれば、st+1とaとが独立している。これは、2つの重要な
含意を有し得る。まず、SLでは、サンプル(s,y),...,(s,y)を
事前に収集することができ、そうすることにより、初めてサンプルに対して優れた精度を
有するポリシ(又は予測因子)の探索を開始することができる。対照的に、RLでは、状
態st+1は、通常、行われる動作(更には前の状態)に依存し、行われる動作は、従っ
て、動作を生成するために使用されるポリシに依存する。これは、データ生成プロセスを
ポリシ学習プロセスに結び付ける。第2に、SLでは動作が環境に影響を及ぼさないため
、πの性能に対するaの選択の寄与度は、局所的である。具体的には、aは、即時の
報酬の値にのみ影響を及ぼす。対照的にRLでは、ラウンドtで行われる動作は、将来の
ラウンドにおける報酬値に対して長期的効果を有し得る。
[0321] SLでは、報酬の形状r=−l(a,y)と共に「正しい」解yの知
識は、aのあり得る全ての選択肢に関する報酬の完全な知識を提供することができ、そ
れは、aに関する報酬の微分の計算を可能にし得る。対照的に、RLでは、報酬の「ワ
ンショット」値は、行われる動作の特定の選択について観測することができる全てであり
得る。これを「バンディット」フィードバックと呼ぶことができる。RLベースのシステ
ムでは、「バンディット」フィードバックのみを入手できる場合、システムは、行われた
動作が行うのに最良の動作であったかどうかを常に知ることができない可能性があるため
、これは、長期的なナビゲーション計画の一部として「探索」が必要である最も重要な理
由の1つである。
[0322] 多くのRLアルゴリズムは、マルコフ決定プロセス(MDP)の数学的に明解
なモデルに少なくとも部分的に依存する。マルコフ仮定は、s及びaを所与としてs
t+1の分布が完全に決定されるものである。これは、MDPの状態にわたる定常分布に
関して所与のポリシの累積報酬の閉形式をもたらす。ポリシの定常分布は、線形計画問題
に対する解として表すことができる。これは、1)ポリシ探索と呼ぶことができる主問題
に関する最適化、及び2)その変数が価値関数Vπと呼ばれる双対問題に関する最適化と
いう2つのアルゴリズム群をもたらす。価値関数は、MDPが初期状態sから始まり、そ
こからπに従って動作が選択される場合に期待累積報酬を決定する。関係する量は、状態
−動作価値関数Qπ(s,a)であり、この関数は、状態sからの開始、即時に選択され
る動作a、及びそこからπに従って選択される動作を仮定し累積報酬を決定する。このQ
関数は、(ベルマン方程式を使用する)最適なポリシの特徴付けを引き起こし得る。具体
的には、このQ関数は、最適なポリシがSからAへの決定論的関数であると示すことがで
きる(実際には、最適なポリシは、最適なQ関数に関する「貪欲な」ポリシとして特徴付
けることができる)。
[0323] MDPモデルの1つの潜在的な利点は、MDPモデルがQ関数を使用して将来
を現在に結合することを可能にすることである。例えば、ホスト車両が現在sの状態にあ
ることを所与とし、Qπ(s,a)の値は、将来に対して動作aを実行する効果を示し得
る。従って、Q関数は、動作aの品質の局所的測度を提供し、それによりRL問題をSL
のシナリオに似せることができる。
[0324] 多くのRLアルゴリズムがV関数又はQ関数を何らかの方法で近似する。価値
反復アルゴリズム、例えばQ学習アルゴリズムは、最適なポリシのV関数及びQ関数がベ
ルマン方程式から得られる何らかの演算子の不動点であり得ることを利用することができ
る。Actor-criticなポリシ反復アルゴリズムは、反復的な方法でポリシを学習することを
目標とし、反復tにおいて、「critic」は、

を推定し、この推定に基づいて、「actor」は、ポリシを改善する。
[0325] MDPの数学的な簡素さ及びQ関数表現に切り替える便利さにもかかわらず、
この手法は、幾つかの制限を有し得る。例えば、幾つかの場合、マルコフの挙動状態の近
似の概念が見つかり得る全てである場合がある。更に、状態の遷移は、エージェントの動
作だけではなく、環境内の他のプレーヤの動作にも依存し得る。例えば、上記のACCの
例では、自律車両のダイナミクスは、マルコフ式であり得るが、次の状態は、必ずしもマ
ルコフ式ではない他の車のドライバーの挙動に依存する場合がある。この問題に対する1
つのあり得る解決策は、部分的に観測されるMDPを使用することであり、部分的に観測
されるMDPでは、マルコフ状態はあるが、見ることができるのは、隠れ状態に従って分
散される観測であると仮定される。
[0326] より直接的な手法は、MDPのゲーム理論的汎用化を検討することができる(
例えば、確率ゲームの枠組み)。実際、MDPのためのアルゴリズムは、マルチエージェ
ントゲームに汎用化することができる(例えば、ミニマックスQ学習又はナッシュQ学習
)。他の手法は、他のプレーヤの明確なモデリング及びvanishing regret学習アルゴリズ
ムを含み得る。マルチエージェント設定内での学習は、単一エージェント設定内での学習
よりも複雑であり得る。
[0327] Q関数表現の第2の制限は、表形式設定から逸脱することによって生じ得る。
表形式設定は、状態及び動作の数が少なく、そのため、Qを|S|行及び|A|列の表と
して表すことができる場合である。しかし、S及びAの自然表現がユークリッド空間を含
み、状態空間及び動作空間が離散化される場合、状態/動作の数は、規模の点で指数関数
的であり得る。そのような場合、表形式設定を採用することが実用的でない可能性がある
。代わりに、Q関数は、パラメトリック仮説クラスからの一部の関数によって近似され得
る(例えば、特定のアーキテクチャのニューラルネットワーク)。例えば、ディープQネ
ットワーク(DQN)学習アルゴリズムを使用することができる。DQNでは、状態空間
が連続的であり得るが、動作空間は、小さい離散集合のままであり得る。連続的な動作空
間に対応するための手法が可能であるが、それらは、Q関数を近似することに依存する可
能性がある。いずれにせよ、Q関数は、複雑且つ雑音に敏感な可能性があり、従って学習
が困難であり得る。
[0328] 異なる手法は、回帰ニューラルネットワーク(RNN)を使用してRLの問題
に対処することであり得る。幾つかの場合、RNNは、マルチエージェントゲームの概念
及びゲーム理論からの敵対環境へのロバスト性と組み合わせることができる。更に、この
手法は、マルコフ仮定に明確に依存しないものであり得る。
[0329] 以下では、予測に基づく計画によるナビゲーションのための手法をより詳細に
説明する。この手法では、状態空間Sは、

のサブセットであり、状態空間Aは、

のサブセットであると仮定することができる。これは、多くの応用において自然な表現で
あり得る。上記で述べたように、RLとSLとの間には2つの主な違いがある場合があり
、その違いは、すなわち、(1)過去の動作が将来の報酬に影響するため、将来からの情
報を過去に再び伝える必要があり得ること、及び(2)報酬の「バンディット」な性質は
、(状態,動作)と報酬との間の依存関係を曖昧にする可能性があり、それが学習プロセ
スを複雑にし得ることである。
[0330] この手法の最初のステップとして、報酬のバンディットな性質が重要ではない
興味深い問題があることが観測され得る。例えば、ACCの応用に関する(以下でより詳
細に論じる)報酬値は、現在の状態及び動作に対して可微分であり得る。実際、たとえ報
酬が「バンディット」式に与えられても、

であるように可微分関数

を学習する問題は、比較的単純なSL問題(例えば、一次元の回帰問題)であり得る。従
って、この手法の最初のステップは、s及びaに対して可微分な関数

として報酬を定めること、又はインスタンスベクトルが、

であり、目標スカラがrである状態でサンプルにわたる少なくとも幾らかの回帰損失を
最小化する可微分関数

を学習するために回帰学習アルゴリズムを使用することであり得る。一部の状況では、ト
レーニングセットを作成するために探索の要素を使用することができる。
[0331] 過去と将来との間のつながりに対処するために、同様の概念を使用することが
できる。例えば、

が成立するように可微分関数

が学習可能であると仮定する。かかる関数を学習することは、SL問題として特徴付ける
ことができる。

は、近い将来のための予測因子と見なすことができる。次に、SからAにマップするポリ
シを、パラメトリック関数πθ:S→Aを使用して記述することができる。ニューラルネ
ットワークとしてπθを表現することは、回帰ニューラルネットワーク(RNN)を使用
してエージェントをTラウンド走らせるエピソードの表現を可能にすることができ、次の
状態は、

として定義される。ここで、

は、環境によって定めることができ、近い将来の予測不能な側面を表すことができる。s
t+1がs及びaに可微分な方法で依存することは、将来の報酬値と過去の動作との
間のつながりを可能にし得る。ポリシ関数πθのパラメータベクトルは、結果として生じ
るRNN上の逆伝搬によって学習され得る。明確な確率論的仮定をvに課す必要がない
ことに留意されたい。具体的には、マルコフ関係の要件が必要ない。代わりに、過去と将
来との間で「十分な」情報を伝搬するために回帰ネットワークが利用され得る。直観的に


は、近い将来の予測可能な部分を記述し得る一方、vは、環境内の他のプレーヤの挙動
によって生じ得る予測不能な側面を表し得る。学習システムは、他のプレーヤの挙動に対
してロバストなポリシを学習すべきである。||v||が大きい場合、有意味のポリシ
を学習するには過去の動作と将来の報酬値との間のつながりに雑音が多過ぎる可能性があ
る。システムのダイナミクスをトランスペアレントな方法で明確に表現することは、過去
の知識をより容易に組み込むことを可能にすることができる。例えば、過去の知識は、

を定める問題を単純化し得る。
[0332] 上記で論じたように学習システムは、予期せぬ方法で動作し得る他の複数のド
ライバーを含み得るホスト車両の環境等、敵対環境に対するロバスト性の恩恵を受けるこ
とができる。vに対して確率論的仮定を課さないモデルでは、vが敵対的方法で選択
される環境を検討することができる。幾つかの場合、μに制限を加えることができ、さ
もなければ敵が計画問題を困難にし、又は不可能にさえし得る。1つの自然な制約は、|
|μ||が制約によって境界を付けられることを要求することであり得る。
[0333] 敵対的環境に対するロバスト性は、自律運転の応用において有用であり得る。
敵対的方法でμを選択することは、ロバストな最適ポリシに向けて学習システムを集中
させることができるため、学習プロセスを加速することさえできる。単純なゲームを使用
してこの概念を説明することができる。状態は、

であり、動作は、

であり、即時の損失関数は、0.1|a|+[|s|−2]であり、[x]=m
ax{x,0}は、ReLU(正規化線形ユニット)関数である。次の状態は、st+1
=s+a+vであり、v∈[−0.5,0.5]が敵対的方法で環境のために選
ばれる。ここで、ReLUを伴う2層のネットワークとして最適なポリシを記述すること
ができる:a=−[s−1.5]+[−s−1.5]。|s|∈(1.5,
2]のとき、最適な動作は、動作a=0よりも大きい即時の損失を有し得ることを認識さ
れたい。従って、システムは、将来の計画を立てることができ、即時の損失のみに依存し
なくてもよい。aに対する損失の微分は、0.1sign(a)であり、sに対す
る微分は、1[|s|>2]sign(s)であることを認識されたい。s∈(1
.5,2]の状況では、vの敵対的選択は、v=0.5に設定することであり、従っ
てa>1.5−sのときには常に、ラウンドt+1上で非ゼロ損失があり得る。その
ような場合、損失の微分がaに直接逆伝搬し得る。従ってvの敵対的選択は、a
選択が次善である場合にナビゲーションシステムが非ゼロ逆伝搬メッセージを得ることを
促進することができる。かかる関係は、現在の動作が(たとえその動作が次善の報酬又は
更には損失を招いても)将来より高い報酬をもたらすより最適な動作の機会を与えるとい
う期待に基づき、ナビゲーションシステムが現在の動作を選択することを促進し得る。
[0334] このような手法は、起こり得る事実上全てのナビゲーション状況に適用するこ
とができる。以下では、1つの例、すなわち適応クルーズコントロール(ACC)に適用
される手法について説明する。ACCの問題では、ホスト車両が前方の目標車両までの十
分な距離(例えば、目標車両まで1.5秒)を保とうと試みる場合がある。別の目標は、
所望の間隙を維持しながらできるだけスムーズに走行することであり得る。この状況を表
すモデルを以下のように定めることができる。状態空間は、

であり、動作空間は、

である。状態の第1の座標は、目標車両の速度であり、第2の座標は、ホスト車両の速度
であり、最後の座標は、ホスト車両と目標車両との間の距離(例えば、道路の曲線に沿っ
てホスト車両の位置から目標の位置を引いたもの)である。ホスト車両が行うべき動作は
、加速であり、aで示すことができる。量τは、連続したラウンド間の時間差を示すこ
とができる。τは、任意の適切な量に設定できるが、一例ではτを0.1秒とすることが
できる。位置sは、

で示すことができ、目標車両の(未知の)加速度を

で示すことができる。
[0335] システムの完全なダイナミクスは、次式で記述することができる。
[0336] これは、2つのベクトルの和として記述することができる。
[0337] 第1のベクトルは、予測可能な部分であり、第2のベクトルは、予測不能な部
分である。ラウンドtに対する報酬は、以下のように定められる。
[0338] 第1の項は、非ゼロ加速度に対するペナルティをもたらす可能性があり、従っ
てスムーズな運転を促す。第2の項は、目標の車xまでの距離と所望の距離

との間の比率に依存し、これは、1メートルの距離と1.5秒のブレーキ距離との間の最
大値として定められる。幾つかの場合、この比率がまさに1であり得るが、この比率が[
0.7,1.3]の範囲内にある限り、ポリシは、任意のペナルティなしで済ませること
ができ、それは、スムーズな運転を実現する際に重要であり得る特性である幾らかの緩み
(slack)をナビゲーションにおいてホスト車両に認めることができる。
[0339] 上記で概説した手法を実装し、ホスト車両のナビゲーションシステムは、(例
えば、ナビゲーションシステムの処理ユニット110内の運転ポリシモジュール803の
動作により)観測された状態に応じて動作を選択することができる。選択される動作は、
感知されるナビゲーション状態に関して利用可能な応答動作に関連する報酬のみの分析に
基づくのではなく、将来の状態、将来の状態に応じた潜在的動作、及び潜在的動作に関連
する報酬を検討し分析することにも基づき得る。
[0340] 図16は、検出及び長期計画に基づくナビゲーションに対するアルゴリズム手
法を示す。例えば、ステップ1601では、ホスト車両のためのナビゲーションシステム
の少なくとも1つの処理デバイス110は、複数の画像を受信し得る。これらの画像は、
ホスト車両の環境を表すシーンを捕捉することができ、上記の画像捕捉装置(例えば、カ
メラやセンサ等)のいずれかによって供給され得る。ステップ1603でこれらの画像の
1つ又は複数を分析することは、(上記で説明したように)少なくとも1つの処理デバイ
ス110がホスト車両に関連する現在のナビゲーション状態を識別することを可能にし得
る。
[0341] ステップ1605、1607、及び1609では、検知されるナビゲーション
状態に応じて様々な潜在的なナビゲーション動作を決定することができる。(例えば、合
流を完了するために、先行車両の後にスムーズに続くために、目標車両を追い抜くために
、道路内の物体を回避するために、検出した停止標識のために減速するために、割り込ん
でくる目標車両を回避するために、又はシステムのナビゲーション目標を助長し得る他の
任意のナビゲーション動作を完了するために)これらの潜在的なナビゲーション動作(例
えば、第1のナビゲーション動作から利用可能なN番目のナビゲーション動作まで)は、
検知状態及びナビゲーションシステムの長期目標に基づいて決定することができる。
[0342] 決定される潜在的なナビゲーション動作のそれぞれについて、システムは、期
待報酬を決定することができる。期待報酬は、上記の技法のいずれかに従って決定するこ
とができ、1つ又は複数の報酬関数に対する特定の潜在的動作の分析を含み得る。ステッ
プ1605、1607、及び1609でそれぞれ決定された(例えば、第1の、第2の、
及びN番目の)潜在的なナビゲーション動作のそれぞれについて期待報酬1606、16
08、及び1610を決定することができる。
[0343] 幾つかの場合、ホスト車両のナビゲーションシステムは、期待報酬1606、
1608、及び1610に関連する値(又は期待報酬の他の任意の種類のインジケータ)
に基づいて利用可能な潜在的動作の中から選択を行うことができる。例えば、一部の状況
では、最も高い期待報酬をもたらす動作が選択され得る。
[0344] とりわけ、ナビゲーションシステムがホスト車両のためのナビゲーション動作
を決定するために長期計画に携わる他の事例では、最も高い期待報酬をもたらす潜在的動
作をシステムが選択しない場合がある。むしろ、システムは、将来に目を向けて、現在の
ナビゲーション状態に応じて低報酬の動作を選択した場合により高い報酬を後に実現する
機会があり得るかどうかを分析することができる。例えば、ステップ1605、1607
、及び1609で決定される潜在的動作のいずれか又は全てについて将来の状態を決定す
ることができる。ステップ1613、1615、及び1617で決定されるそれぞれの将
来の状態は、それぞれの潜在的動作(例えば、ステップ1605、1607、及び160
9で決定される潜在的動作)によって修正される現在のナビゲーション状態に基づいて生
じることが予期される将来のナビゲーション状態を表し得る。
[0345] ステップ1613、1615、及び1617で予測される将来の状態のそれぞ
れについて、(決定される将来の状態に応じて利用可能なナビゲーションの選択肢として
の)1つ又は複数の将来の動作を決定し評価することができる。ステップ1619、16
21、及び1623では、例えば、将来の動作の1つ又は複数に関連する期待報酬の値又
は他の任意の種類のインジケータを(例えば、1つ又は複数の報酬関数に基づいて)作成
することができる。1つ又は複数の将来の動作に関連する期待報酬は、それぞれの将来の
動作に関連する報酬関数の値を比較することによって又は期待報酬に関連する他の任意の
インジケータを比較することによって、評価することができる。
[0346] ステップ1625では、ホスト車両のためのナビゲーションシステムは、現在
のナビゲーション状態に対して(例えば、ステップ1605、1607、及び1609で
)識別された潜在的動作のみに基づいてではなく、(例えば、ステップ1613、161
5、及び1617で決定される)予測される将来の状態に応じて利用可能な将来の潜在的
動作の結果として決定される期待報酬にも基づき、期待報酬を比較することに基づいてホ
スト車両のためのナビゲーション動作を選択することができる。ステップ1625での選
択は、ステップ1619、1621、及び1623で実行される選択肢及び報酬の分析に
基づき得る。
[0347] ステップ1625でのナビゲーション動作の選択は、将来の動作の選択肢に関
連する期待報酬を比較することのみに基づき得る。この場合、ナビゲーションシステムは
、潜在的な将来のナビゲーション状態のための動作から生じる期待報酬を比較することの
みに基づいて現在の状態に対する動作を選択することができる。例えば、システムは、ス
テップ1619、1621、及び1623での分析によって決定される最も高い将来の報
酬値に関連する、ステップ1605、1607、又は1609で識別される潜在的な動作
を選択することができる。
[0348] ステップ1625でのナビゲーション動作の選択は、(上記で述べたように)
現在の動作の選択肢を比較することのみに基づき得る。この状況では、ナビゲーションシ
ステムは、最も高い期待報酬1606、1608、又は1610に関連する、ステップ1
605、1607、又は1609で識別される潜在的動作を選択することができる。この
選択は、将来のナビゲーション状態又は予期される将来のナビゲーション状態に応じて利
用可能なナビゲーション動作に対する将来の期待報酬を殆ど又は全く考慮せずに行うこと
ができる。
[0349] 他方では、幾つかの場合、ステップ1625でのナビゲーション動作の選択は
、将来の動作の選択肢及び現在の動作の選択肢の両方に関連する期待報酬を比較すること
に基づき得る。これは、実際、長期計画に基づくナビゲーションの原理の1つであり得る
。将来のナビゲーション状態に応じて利用可能になることが予期されるその後のナビゲー
ション動作に応じて潜在的に高い報酬を実現するために、将来の動作に対する期待報酬を
分析して、現在のナビゲーション状態に応じて報酬がより低い動作を選択することをいず
れかが正当化し得るかどうかを判定することができる。一例として、期待報酬1606の
値又は他のインジケータは、報酬1606、1608、及び1610の中の最も高い期待
報酬を示し得る。他方では、期待報酬1608は、報酬1606、1608、及び161
0の中の最も低い期待報酬を示し得る。ステップ1605で決定される潜在的動作(すな
わち最も高い期待報酬1606を生じさせる動作)を単純に選択するのではなく、ステッ
プ1625でナビゲーション動作の選択を行う際に将来の状態、潜在的な将来の動作、及
び将来の報酬の分析を使用することができる。一例では、ステップ1621で(ステップ
1607で決定される第2の潜在的動作に基づいてステップ1615で決定される将来の
状態に対する少なくとも1つの将来の動作に応じて)識別される報酬が期待報酬1606
よりも高い可能性があると判定され得る。この比較に基づき、期待報酬1606が期待報
酬1608よりも高いにもかかわらず、ステップ1605で決定される第1の潜在的動作
ではなく、ステップ1607で決定される第2の潜在的動作を選択することができる。一
例では、ステップ1605で決定される潜在的なナビゲーション動作は、検出された目標
車両の前に合流することを含み得る一方、ステップ1607で決定される潜在的なナビゲ
ーション動作は、目標車両の後ろに合流することを含み得る。目標車両の前に合流する期
待報酬1606は、目標車両の後ろに合流することに関連する期待報酬1608よりも高
い可能性があるが、目標車両の後ろに合流することは、期待報酬1606、1608、又
は現在の検知されたナビゲーション状態に応じて利用可能な動作に基づく他の報酬よりも
更に高い潜在的報酬を与える動作の選択肢があり得る将来の状態をもたらす可能性がある
と判定されることがある。
[0350] ステップ1625で潜在的動作の中から選択を行うことは、期待報酬(又は他
の潜在的動作に勝るある潜在的動作に関連する利益の、他の任意の測定基準又はインジケ
ータ)の任意の適切な比較に基づき得る。幾つかの場合、上記で説明したように、第1の
潜在的動作に関連する報酬よりも高い期待報酬に関連する少なくとも1つの将来の動作を
第2の潜在的動作がもたらすことが予測される場合、第1の潜在的動作に優先して第2の
潜在的動作を選択することができる。他の事例では、より複雑な比較を使用することがで
きる。例えば、予測される将来の状態に応じた動作の選択肢に関連する報酬を、決定され
る潜在的動作に関連する複数の期待報酬と比較することができる。
[0351] 一部のシナリオでは、現在の状態に対する潜在的動作の結果として期待される
報酬(例えば、期待報酬1606、1608、1610等)のいずれよりも高い報酬を将
来の動作の少なくとも1つがもたらすことが予期される場合、予測される将来の状態に基
づく動作及び期待報酬が、現在の状態に対する潜在的動作の選択に影響を及ぼす場合があ
る。幾つかの場合、現在のナビゲーション状態に対する潜在的動作を選択するためのガイ
ドとして、(例えば、検知される現在の状態に対する潜在的動作に関連する期待報酬並び
に潜在的な将来のナビゲーション状態に対する潜在的な将来の動作の選択肢に関連する期
待報酬の中の)最も高い期待報酬をもたらす将来の動作の選択肢を使用することができる
。すなわち、最も高い期待報酬(又は所定の閾値等を上回る報酬)をもたらす将来の動作
の選択肢を識別した後、最も高い期待報酬をもたらす識別された将来の動作に関連する将
来の状態につながる潜在的動作をステップ1625で選択することができる。
[0352] 他の事例では、期待報酬間の決定される差に基づいて利用可能な動作の選択を
行うことができる。例えば、ステップ1621で決定される将来の動作に関連する期待報
酬と期待報酬1606との差が、期待報酬1608と期待報酬1606との差を上回る場
合(+符号の差を想定する)、ステップ1607で決定される第2の潜在的動作を選択す
ることができる。別の例では、ステップ1621で決定される将来の動作に関連する期待
報酬とステップ1619で決定される将来の動作に関連する期待報酬との差が、期待報酬
1608と期待報酬1606との差を上回る場合、ステップ1607で決定される第2の
潜在的動作を選択することができる。
[0353] 現在のナビゲーション状態に対する潜在的動作の中から選択を行うための幾つ
かの例を説明してきた。但し、予測される将来の状態に及ぶ動作及び報酬の分析に基づく
長期計画によって利用可能な動作を選択するために、他の任意の適切な比較技法又は基準
を使用することができる。加えて、図16では、長期計画分析において2つの層(例えば
、現在の状態に対する潜在的動作から生じる報酬を検討する第1の層、及び予測される将
来の状態に応じた将来の動作の選択肢から生じる報酬を検討する第2の層)を示すが、更
に多い層に基づく分析も可能であり得る。例えば、長期計画分析を1つの層又は2つの層
に基づかせるのではなく、現在のナビゲーション状態に応じて利用可能な潜在的動作の中
から選択を行う際、分析の3つの層、4つの層、又は更に多くの層を使用することができ
る。
[0354] 検知したナビゲーション状態に応じて潜在的動作の中から選択を行った後、ス
テップ1627では、少なくとも1つのプロセッサは、選択された潜在的なナビゲーショ
ン動作に応じてホスト車両のナビゲーションアクチュエータの少なくとも1つの調節を引
き起こすことができる。ナビゲーションアクチュエータは、ホスト車両の少なくとも1つ
の側面を制御するための任意の適切な装置を含み得る。例えば、ナビゲーションアクチュ
エータは、操舵メカニズム、ブレーキ、又はアクセルの少なくとも1つを含み得る。
[0355] 他者の推定される攻撃性に基づくナビゲーション
[0356] 運転の攻撃性のインジケータを決定するために、取得画像ストリームを分析す
ることによって目標車両を監視することができる。本明細書では、攻撃性は質的又は定量
的なパラメータとして記載するが、他の特性、すなわち感知される注意レベル(ドライバ
ーの潜在的な欠陥、注意散漫 − 携帯電話や居眠り等)を使用し得る。一部の事例では
、目標車両が自衛的姿勢を有すると見なすことができ、一部の事例では、目標車両がより
攻撃的な姿勢を有すると見なすことができる。攻撃性のインジケータに基づいてナビゲー
ション動作を選択又は決定することができる。例えば、幾つかの場合、ホスト車両に対す
る相対速度、相対加速度、相対加速度の増加、追走距離等を追跡して、目標車両が攻撃的
であるか又は自衛的であるかを判定することができる。目標車両が閾値を上回る攻撃度の
レベルを有すると判定される場合、例えば、ホスト車両は、目標車両に道を譲ることに傾
き得る。経路内の又は目標車両付近の1つ又は複数の障害物(例えば、先行車両、道路内
の障害物、信号機等)に対する目標車両の決定された挙動に基づき、目標車両の攻撃度の
レベルを決定することもできる。
[0357] この概念への導入として、環状交差路内にホスト車両が合流することに関する
実験の一例を説明し、ここで、ナビゲーション目標は、環状交差路を通過して出ていくこ
とである。この状況は、ホスト車両が環状交差路の入り口に到達することで始まることが
でき、環状交差路の出口(例えば、第2の出口)に到達することで終わり得る。成功は、
ホスト車両が他の全ての車両と常に安全な距離を保つかどうか、ホスト車両ができるだけ
迅速にルートを終了するかどうか、及びホスト車両がスムーズな加速のポリシに従うかど
うかに基づいて測定することができる。この解説では、N台の目標車両が環状交差路上
に無作為に配置され得る。敵対的な挙動及び典型的な挙動の混同をモデリングするために
、確率pで目標車両を「攻撃的な」運転ポリシによってモデリングすることができ、その
ため、ホスト車両が目標車両の前に合流しようと試みるとき、攻撃的な目標車両は、加速
する。確率1−pで目標車両を「自衛的な」運転ポリシによってモデリングすることがで
き、そのため、目標車両は、減速し、ホスト車両を合流させる。この実験ではp=0.5
であり、他のドライバーの種類に関する情報についてはホスト車両のナビゲーションシス
テムに与えられなくてもよい。他のドライバーの種類は、エピソードの開始時に無作為に
選択され得る。
[0358] ナビゲーション状態は、ホスト車両(エージェント)の速度及び位置、並びに
目標車両の位置、速度、及び加速度として表すことができる。現在の状態に基づいて攻撃
的なドライバーと自衛的なドライバーとを区別するには、目標の加速度を観測し続けるこ
とが重要であり得る。全ての目標車両が環状交差路の経路の輪郭を描く1次元曲線上を移
動し得る。ホスト車両は、合流点において目標車両の曲線と交差する独自の1次元曲線上
を移動することができ、この点が両方の曲線の原点である。妥当な運転をモデリングする
ために、全ての車両の加速度の絶対値に定数によって上限を設けることができる。逆方向
に運転することは許可されていないため、速度もReLUを通過させることができる。逆
方向に運転することを許可しないことにより、エージェントは、自らの過去の動作を悔い
ることができないため、長期計画が必要になり得ることに留意されたい。
[0359] 上記で説明したように、次の状態st+1は、予測可能な部分

と、予測不能な部分vとの和に分解することができる。表現

は、(可微分な方法で明確に定めることができる)車両の位置及び速度のダイナミクスを
表し得る一方、vは、目標車両の加速度を表し得る。

は、アフィン変換上のReLU関数の組合せとして表すことができると立証することがで
き、従ってs及びaに関して可微分である。ベクトルvは、微分できない方法でシ
ミュレータによって定められ得、一部の目標の攻撃的挙動及び他の目標の自衛的挙動を実
装し得る。かかるシミュレータからの2つのフレームを図17A及び図17Bに示す。こ
の実験例では、環状交差路の入り口に到達したとき、ホスト車両1701が減速すること
を学習した。ホスト車両1701は、攻撃的な車両(例えば、車両1703及び車両17
05)に道を譲り、自衛的な車両(例えば、車両1706、1708、及び1710)の
前に合流するとき、安全に進むことも学習した。図17A及び図17Bによって示す例で
は、ホスト車両1701のナビゲーションシステムに目標車両の種類が与えられていない
。むしろ、特定の車両が攻撃的と判定されるか又は自衛的と判定されるかは、例えば、目
標車両の観測される位置及び加速度に基づく推定によって決定される。図17Aでは、位
置、速度、及び/又は相対加速度に基づき、ホスト車両1701は、車両1703が攻撃
的な傾向を有すると判定することができ、従って、ホスト車両1701は、目標車両17
03の前に合流しようと試みるのではなく、停止して目標車両1703が通過することを
待つことができる。しかし、図17Bでは、車両1703の後ろを移動している目標車両
1710が自衛的な傾向を示すことを(ここでも車両1710の観測される位置、速度、
及び/又は相対加速度に基づいて)目標車両1701が認識し、従って目標車両1710
の前且つ目標車両1703の後ろへの問題ない合流を完了している。
[0360] 図18は、他の車両の予測される攻撃性に基づいてホスト車両をナビゲートす
るためのアルゴリズムの一例を表すフローチャートを示す。図18の例では、目標車両の
環境内の物体に対する目標車両の観測される挙動に基づき、少なくとも1つの目標車両に
関連する攻撃性のレベルを推定することができる。例えば、ステップ1801では、ホス
ト車両のナビゲーションシステムの少なくとも1つの処理デバイス(例えば、処理デバイ
ス110)は、ホスト車両の環境を表す複数の画像をホスト車両に関連するカメラから受
信することができる。ステップ1803では、受信画像の1つ又は複数を分析することは
、少なくとも1つのプロセッサが、ホスト車両1701の環境内の目標車両(例えば、車
両1703)を識別することを可能にし得る。ステップ1805では、受信画像の1つ又
は複数を分析することは、少なくとも1つの処理デバイスが、ホスト車両の環境内で、目
標車両にとっての少なくとも1つの障害物を識別することを可能にし得る。物体は、道路
内の瓦礫、停止信号/信号機、歩行者、別の車両(例えば、目標車両の前を移動している
車両や駐車車両等)、道路内の箱、道路障壁、カーブ、又はホスト車両の環境内で遭遇さ
れ得る他の任意の種類の物体を含み得る。ステップ1807では、受信画像の1つ又は複
数を分析することは、少なくとも1つの処理デバイスが、目標車両にとっての少なくとも
1つの識別された障害物に対する目標車両の少なくとも1つのナビゲーション特性を決定
することを可能にし得る。
[0361] 目標車両に対する適切なナビゲーション応答を決定するために、様々なナビゲ
ーション特性を使用して、検出された目標車両の攻撃性のレベルを推定することができる
。例えば、かかるナビゲーション特性は、目標車両と少なくとも1つの識別された障害物
との間の相対加速度、目標車両の障害物からの距離(例えば、別の車両の後ろにある目標
車両の追走距離)、及び/又は目標車両と障害物との間の相対速度等を含み得る。
[0362] 幾つかの実施形態では、ホスト車両に関連するセンサ(例えば、レーダ、速度
センサ、GPS等)からの出力に基づいて目標車両のナビゲーション特性を決定すること
ができる。しかし、幾つかの場合、ホスト車両の環境の画像を分析することに部分的に又
は完全に基づいて目標車両のナビゲーション特性が決定され得る。例えば、例として上記
の及び参照により本明細書に援用する米国特許第9,168,868号で記載されている
画像分析技法を使用して、ホスト車両の環境内の目標車両を認識することができる。ある
期間にわたる捕捉画像内の目標車両の位置を監視すること、及び/又は目標車両に関連す
る1つ若しくは複数の特徴(例えば、テールライト、ヘッドライト、バンパー、車輪等)
の捕捉画像内の位置を監視することは、目標車両とホスト車両との間の、又は目標車両と
ホスト車両の環境内の1つ又は複数の他の物体との間の相対的な距離、速度、及び/又は
加速度を求めることを可能にし得る。
[0363] 識別された目標車両の攻撃性のレベルは、目標車両の任意の適切な観測された
ナビゲーション特性、又は観測されたナビゲーション特性の任意の組合せから推定するこ
とができる。例えば、攻撃性の判定は、観測される任意の特性及び1つ又は複数の所定の
閾値レベル又は他の任意の適切な質的若しくは定量的な分析に基づいて行うことができる
。幾つかの実施形態では、目標車両が所定の攻撃的な距離の閾値未満の距離でホスト車両
又は別の車両を追走することが観測される場合、その目標車両を攻撃的と見なすことがで
きる。他方では、所定の攻撃的な距離の閾値を超える距離でホスト車両又は別の車両を追
走することが観測される目標車両は、自衛的と見なすことができる。所定の攻撃的な距離
の閾値は、所定の自衛的な距離の閾値と同じである必要はない。加えて、所定の攻撃的な
距離の閾値及び所定の自衛的な距離の閾値のいずれか又は両方は、明白な境界値ではなく
、ある範囲の値を含み得る。更に、所定の攻撃的な距離の閾値も所定の自衛的な距離の閾
値も固定される必要はない。むしろ、これらの値又は範囲は、時間と共にシフトする場合
があり、目標車両の観測される特性に基づいて様々な閾値/閾値範囲を適用することがで
きる。例えば、適用される閾値は、目標車両の1つ又は複数の他の特性に依存し得る。観
測されるより高い相対速度及び/又は加速度は、より大きい閾値/閾値範囲の適用を正当
化し得る。逆に、ゼロの相対速度及び/又は加速度を含むより低い相対速度及び/又は加
速度は、攻撃的/自衛的の推定を行う際により小さい距離閾値/閾値範囲の適用を正当化
し得る。
[0364] 攻撃的/自衛的の推定は、相対速度及び/又は相対加速度の閾値にも基づき得
る。目標車両は、別の車両に対するその観測される相対速度及び/又はその相対加速度が
所定のレベル又は範囲を上回る場合、攻撃的と見なすことができる。目標車両は、別の車
両に対するその観測される相対速度及び/又はその相対加速度が所定のレベル又は範囲を
下回る場合、自衛的と見なすことができる。
[0365] 攻撃的/自衛的の判定は観測される任意のナビゲーション特性のみに基づいて
行われ得るが、この判定は、観測される特性の任意の組合せに依存することもできる。例
えば、上記で述べたように、幾つかの場合、一定の閾値又は範囲未満の距離で別の車両を
追走することが観測されることのみに基づいて目標車両を攻撃的と見なすことができる。
しかし、他の事例では、所定距離(判定が距離のみに基づく場合に適用される閾値と同じ
であるか又は異なり得る)未満で別の車両を追走すると共に、所定の値又は範囲を上回る
相対速度及び/又は相対加速度を有する場合、目標車両を攻撃的と見なすことができる。
同様に、一定の閾値又は範囲を超える距離で別の車両を追走することが観測されることの
みに基づいて目標車両を自衛的と見なすことができる。しかし、他の事例では、所定距離
(判定が距離のみに基づく場合に適用される閾値と同じであるか又は異なり得る)を超え
て別の車両を追走すると共に、所定の値又は範囲未満の相対速度及び/又は相対加速度を
有する場合、目標車両を自衛的と見なすことができる。システム100は、例えば、車両
が0.5Gの加速度又は減速度を超える場合(例えば、ジャーク5m/s3)、車両がレ
ーン変更又はカーブ上で0.5Gの横加速度を有する場合、車両が上記のいずれかを別の
車両に行わせる場合、車両がレーンを変更し、0.3Gの減速度又は3m/s3のジャー
クを超えて別の車両に道を譲らせる場合、及び/又は車両が停止することなしに2レーン
変更する場合、攻撃的/自衛的と判断することができる。
[0366] ある範囲を上回る量に言及することは、その量が範囲に関連する全ての値を上
回ること又は範囲に含まれることを示し得ることを理解すべきである。同様に、ある範囲
を下回る量に言及することは、その量が範囲に関連する全ての値を下回ること又は範囲に
含まれることを示し得る。加えて、攻撃的/自衛的の推定を行うことについて記載した例
は、距離、相対加速度、及び相対速度に関して説明したが、他の任意の適切な量を使用し
得る。例えば、計算が使用され得る衝突までの時間、又は目標車両の距離、加速度、及び
/又は速度の任意の間接的なインジケータを使用することができる。上記の例は、他の車
両に対する目標車両に焦点を当てるが、攻撃的/自衛的の推定は、他の任意の種類の障害
物(例えば、歩行者、道路障壁、信号機、瓦礫等)に対する目標車両のナビゲーション特
性を観測することで行い得ることにも留意すべきである。
[0367] 図17A及び図17Bに示す例に戻り、ホスト車両1701が環状交差路に近
づくと、自らの少なくとも1つの処理デバイスを含むナビゲーションシステムは、ホスト
車両に関連するカメラから画像ストリームを受信することができる。受信画像の1つ又は
複数の分析に基づき、目標車両1703、1705、1706、1708、及び1710
のいずれかを識別することができる。更に、ナビゲーションシステムは、識別された目標
車両の1つ又は複数のナビゲーション特性を分析することができる。ナビゲーションシス
テムは、目標車両1703と1705との間の間隙が環状交差路内への潜在的合流の第1
の機会を表すと認識することができる。ナビゲーションシステムは、目標車両1703を
分析して、目標車両1703に関連する攻撃性のインジケータを決定することができる。
目標車両1703が攻撃的であると見なされる場合、ホスト車両のナビゲーションシステ
ムは、車両1703の前に合流するのではなく車両1703に道を譲ることに決めること
ができる。他方では、目標車両1703が自衛的であると見なされる場合、ホスト車両の
ナビゲーションシステムは、車両1703の前で合流動作を完了しようと試みることがで
きる。
[0368] ホスト車両1701が環状交差路に到達するとき、ナビゲーションシステムの
少なくとも1つの処理デバイスは、捕捉画像を分析して目標車両1703に関連するナビ
ゲーション特性を決定することができる。例えば、画像に基づき、ホスト車両1701が
安全に入るのに十分な間隙を与える距離で車両1703が車両1705を追走していると
判定され得る。実際、攻撃的な距離の閾値を超える距離で車両1703が車両1705を
追走していると判定される場合があり、従って、この情報に基づき、ホスト車両のナビゲ
ーションシステムは、目標車両1703を自衛的であると識別することに傾き得る。しか
し、一部の状況では、上記で論じたように攻撃的/自衛的の判定を行う際に目標車両の複
数のナビゲーション特性を分析することができる。分析を拡大し、ホスト車両のナビゲー
ションシステムは、目標車両1703が目標車両1705の後ろに攻撃的ではない距離で
続いているが、車両1703が攻撃的挙動に関連する1つ又は複数の閾値を上回る相対速
度及び/又は相対加速度を車両1705に対して有すると判定することができる。実際、
ホスト車両1701は、目標車両1703が車両1705に対して加速しており、車両1
703及び1705間にある間隙を狭めていると判定することができる。相対的な速度、
加速度、及び距離(更には車両1703と1705との間の間隙が狭まっている速度)の
更なる分析に基づき、ホスト車両1701は、目標車両1703が攻撃的に振る舞ってい
ると判定することができる。従ってホスト車両が安全にナビゲートできる十分な間隙はあ
り得るが、ホスト車両1701は、目標車両1703の前に合流することがホスト車両の
真後ろで攻撃的にナビゲートする車両をもたらすことになると予期することができる。更
に、ホスト車両1701が車両1703の前に合流した場合、画像分析又は他のセンサ出
力によって観測される挙動に基づき、目標車両1703がホスト車両1701に向かって
加速し続けること、又は非ゼロ相対速度でホスト車両1701に向かって進むことが予期
され得る。そのような状況は、安全性の観点から望ましくない場合があり、ホスト車両の
乗客の不快感も招き得る。そのような理由から、図17Bに示すようにホスト車両170
1は、車両1703に道を譲り、車両1703の後ろ且つそのナビゲーション特性の1つ
又は複数の分析に基づいて自衛的と見なされる車両1710の前で環状交差路内に合流す
ることに決めることができる。
[0369] 図18に戻り、ステップ1809では、ホスト車両のナビゲーションシステム
の少なくとも1つの処理デバイスは、識別された障害物に対する目標車両の少なくとも1
つの識別されたナビゲーション特性に基づき、ホスト車両のためのナビゲーション動作(
例えば、車両1710の前且つ車両1703の後ろに合流すること)を決定することがで
きる。ナビゲーション動作を(ステップ1811)で実施するために、少なくとも1つの
処理デバイスは、決定されたナビゲーション動作に応じてホスト車両のナビゲーションア
クチュエータの少なくとも1つの調節を引き起こすことができる。例えば、図17Aにお
いて車両1703に道を譲るためにブレーキをかけることができ、図17Bに示すように
車両1703の後ろでホスト車両を環状交差路に入れさせるために、ホスト車両の車輪の
操舵と共にアクセルを踏むことができる。
[0370] 上記の例の中で説明したように、ホスト車両のナビゲーションは、別の車両又
は物体に対する目標車両のナビゲーション特性に基づくことができる。加えて、ホスト車
両のナビゲーションは、別の車両又は物体を具体的に参照することなしに目標車両のナビ
ゲーション特性のみに基づき得る。例えば、図18のステップ1807では、ホスト車両
の環境から捕捉される複数の画像を分析することは、目標車両に関連する攻撃性のレベル
を示す識別された目標車両の少なくとも1つのナビゲーション特性を決定することを可能
にし得る。ナビゲーション特性は、攻撃的/自衛的の判定を行うために、別の物体又は目
標車両に対して参照する必要がない速度や加速度等を含み得る。例えば、所定の閾値を超
える、又はある範囲に含まれる若しくはある範囲を超える、目標車両に関連する観測され
た加速度及び/又は速度が攻撃的な挙動を示し得る。逆に、所定の閾値を下回る、又はあ
る範囲に含まれる若しくはある範囲を超える、目標車両に関連する観測された加速度及び
/又は速度が自衛的な挙動を示し得る。
[0371] 当然ながら、一部の例では、攻撃的/自衛的の判定を行うために、観測される
ナビゲーション特性(例えば、位置、距離、加速度等)をホスト車両に対して参照するこ
とができる。例えば、目標車両に関連する攻撃性のレベルを示す、目標車両の観測される
ナビゲーション特性は、目標車両とホスト車両との間の相対加速度の増加、ホスト車両の
後ろの目標車両の追走距離、目標車両とホスト車両との間の相対速度等を含み得る。
[0372] 事故責任の制約に基づくナビゲーション
[0373] 上記の節で説明したように、特定の規則に対する準拠を確実にするために、計
画されたナビゲーション動作を所定の制約に対してテストすることができる。幾つかの実
施形態では、この概念を潜在的な事故責任の検討に拡張することができる。以下で論じる
ように、自律ナビゲーションの主な目標は、安全性である。絶対的な安全性は、(例えば
、少なくとも自律制御下にある特定のホスト車両は自らの周囲の他の車両を制御できず、
自らの動作のみを制御できることを理由に)不可能であり得るため、自律ナビゲーション
における検討事項として、また計画された動作に対する制約として、潜在的な事故責任を
使用することは、特定の自律車両が危険と見なされるいかなる動作も(例えば、潜在的な
事故責任がホスト車両に帰す可能性がある動作を)行わないことを確実にすることを促進
し得る。安全で且つホスト車両側の帰責事由又は責任の事故を引き起こさないと判定され
る動作のみをホスト車両が行う場合、事故回避の所望のレベル(例えば、運転時間当たり
10−9未満)を実現することができる。
[0374] 自律運転に対して最新の手法が提起する課題は、安全保証の欠如(又は少なく
とも所望の安全レベルを提供できないこと)、更にはスケーラビリティの欠如である。マ
ルチエージェント安全運転を保証する問題を検討する。機械によって引き起こされる交通
事故死を社会が容認する可能性は低いため、許容可能な安全レベルが自律車両の受容に最
重要である。目標は、事故を全く起こさないことであり得るが、複数のエージェントが概
して事故に関与し、事故が他のエージェントの過失によってのみ起きる状況を想定するこ
とができるため、それは、不可能である場合がある。例えば、図19に示すように、ホス
ト車両1901が複数レーン高速道路を走行しており、ホスト車両1901は、目標車両
1903、1905、1907、及び1909に対する自らの動作を制御することができ
るが、自らを取り囲む目標車両の動作を制御することができない。その結果、例えば、車
両1905がホスト車両との衝突コース上でホスト車両のレーンに突然割り込んだ場合、
ホスト車両1901は、目標車両の少なくとも1つとの事故を回避することができない可
能性がある。この困難に対処するために、自律車両の専門家の典型的な応答は、より多く
の走行距離にわたるデータが収集されるにつれて安全性の検証がより厳格になるデータ駆
動型の手法を用いることである。
[0375] しかし、安全性に対するデータ駆動型の手法の問題のある性質を理解するため
に、1時間の(人間の)運転につき事故によって引き起こされる致死率は、10−6であ
ると知られていることをまず考慮する。運転作業において機械が人間に取って代わること
を社会が容認するには、致死率が3桁、すなわち1時間当たり10−9の確率まで減るべ
きであると想定することが妥当である。この推定は、エアバッグの及び航空規格の想定致
死率と同様である。例えば、10−9は、空中で航空機から翼が自然発生的に外れる確率
である。しかし、累積する走行距離に比例して更なる信頼をもたらすデータ駆動型の手法
を使用して安全性を保証する試みは、実用的ではない。1時間の運転当たり10−9の致
死率を保証するのに必要なデータ量は、その逆(すなわち10時間のデータ)に比例し
、それは、およそ300億マイル程度である。更に、マルチエージェントシステムは、そ
の環境と相互作用し、(現実の人間の運転をその全ての情報量の多さ(richness)及び無
謀運転等の複雑さと共にエミュレートする現実的なシミュレータが利用可能でない限り(
しかし、シミュレータを検証する問題の方が安全な自律車両エージェントを作ることより
も一層困難である))オフラインで検証できない可能性が高い。計画及び制御のソフトウ
ェアに対するいかなる変更も同じ規模の新たなデータの収集を必要とし、それは、明らか
に手に負えず、実用的でない。更に、データによってシステムを開発することは、行われ
る動作の解釈可能性及び説明可能性の欠如に常に直面し、自律車両(AV)が事故死を招
く事故を起こす場合、その理由が分からなければならない。その結果、安全性のためのモ
デルベースの手法が必要とされるが、自動車業界における既存の「機能的安全性」及びA
SIL要件は、マルチエージェント環境に対処するように設計されていない。
[0376] 自律車両のための安全運転モデルを開発する際の第2の主な課題は、スケーラ
ビリティが必要なことである。AVの基礎を成す前提は「より良い世界を作ること」を超
えて、むしろドライバーなしのモビリティをドライバー有りよりも低コストで維持できる
という前提に基づく。この前提は、(100万台単位の)AVの大量生産をサポートする
意味及びより重要なことには新たな都市で運転できるようにする些細な増分コストをサポ
ートする意味でスケーラビリティの概念と常に結び付く。従って、計算及び検知のコスト
は、重要であり、AVが大量生産される場合、検証のコスト及び選択された幾つかの都市
ではなく、「どこでも」運転できる能力もビジネスを維持するのに必要な要件である。
[0377] 最近の手法に関する問題は、(i)所要の「計算密度」、(ii)高精細マッ
プが定められ作成される方法、及び(iii)センサの所要の仕様という3軸に沿った「
総当たり的な」考え方にある。総当たり的手法は、スケーラビリティに反し、無限のオン
ボード計算が遍在し、HDマップを構築し維持するコストが些細且つスケーラブルになり
、斬新で超高度なセンサが開発され自動車のグレードに合わせて些細なコストで製品化さ
れる将来に負担を転嫁する。上記のいずれかが実現する将来は、実際、理にかなっている
が、上記の影響力の全てを得ることは、低確率の事象である可能性が高い。従って、社会
が容認することができ且つ先進国内のいずれかの箇所で運転する何百万台もの車をサポー
トする意味でスケーラブルであり、AVプログラム内に安全性及びスケーラビリティを統
合する形式モデルを提供する必要がある。
[0378] 開示する実施形態は、目標の安全レベルを提供することができ(更には安全目
標を上回ることさえでき)、何百万台もの(又はそれを上回る)自律車両を含むシステム
にスケーリングすることもできる解決策を表す。安全面では、「責任敏感型安全性」(R
SS)と呼ばれるモデルが導入され、このモデルは、「事故過失」の概念が解釈可能且つ
説明可能であることを形式化し、ロボットエージェントの動作に「責任」感を組み込む。
RSSの定義は、それが実装される方法によって不可知論的であり、それは、人を納得さ
せるグローバル安全モデルを作成する目標を促進するための重要な特徴である。RSSは
、(図19に見られるように)事故においてエージェントが非対称な役割を担うという考
えによって動機付けられ、かかる事故では、典型的にはエージェントの1つのみが事故の
原因であり、従ってその責任を負う。RSSモデルは、(例えば、遮蔽によって)全ての
エージェントが常に見えるわけではない限られた検知条件下での「慎重な運転」の形式的
処理も含む。RSSモデルの1つの主な目標は、エージェントが自らに「過失」があるか
又は自らに責任がある事故を決して起こさないことを保証することである。モデルは、R
SSに準拠する効率的なポリシ(例えば、「検知状態」を動作にマップする関数)を伴う
場合にのみ有用であり得る。例えば、現時点では無害であるように思われる動作が遠い将
来において大惨事につながる可能性がある(「バタフライ効果」)。RSSは、ホスト車
両の動作の結果として将来事故が発生しないことを保証する(又は少なくとも事実上保証
する)ことができる短期的将来に対する局所的制約の組を構築するのに役立ち得る。
[0379] 別の寄与は、単位、測定、及び動作空間で構成される「意味論的」言語の導入
、並びにそれらがAVの計画、検知、及び作動にどのように組み込まれるかに関する仕様
を軸に展開される。意味論がどのようなものかを知るために、これに関連して、運転講習
を受けている人間が「運転ポリシ」について考えるようにどのように指示されるかを検討
する。これらの指示は、幾何学的ではない(「現在の速度で13.7メートル走行し、次
いで0.8m/sのレートで加速する」という形式を取らない)。むしろ、これらの指
示は、意味論的な性質のものである(「前の車を追走する」又は「左側の車を追い越す」
)。人間の運転ポリシの典型的な言語は、加速度ベクトルの幾何学的単位ではなく縦方向
の目標及び横方向の目標に関する。形式的な意味論的言語は、時間及びエージェントの数
と共に指数関数的に増大しない計画の計算の複雑さとつながりがあり、安全性と快適さと
が相互作用する方法とつながりがあり、検知の計算が定められる方法とつながりがあり、
及びセンサのモダリティ及び融合方法体系内でそれらがどのように相互作用するかの仕様
とつながりがある、複数の面で有用であり得る。(意味論的言語に基づく)融合方法体系
は、10時間程度の運転データのデータセットにわたるオフライン検証のみを行う一方
、RSSモデルは、1時間の運転当たり所要の10−9の致死率を実現することを保証し
得る。
[0380] 例えば、強化学習の設定では、計画に使用される対象期間に関係なく、任意の
所与の時間において検査すべき軌道の数が10によって制約される意味空間上でQ関数
(例えば、エージェントが状態s∈Sにあるとき動作a∈Aを実行する長期の品質を評価
する関数。かかるQ関数を所与として、動作の自然な選択は最も高い品質のもの、π(s
)=argmaxQ(s,a)を選ぶことであり得る)を定めることができる。この空
間内の信号対雑音比は、高い可能性があり、効果的な機械学習法がQ関数のモデリングに
成功することを可能にする。検知の計算の場合、意味論は、安全性に影響を及ぼす間違い
と、運転の快適さに影響を及ぼす間違いとを区別することを可能にし得る。Q関数に結び
付けられる検知のためのPACモデル(確率的で近似的に正しい(PAC))、Valiant
のPAC学習用語を借りる)を定め、RSSに準拠するが、運転の快適さの最適化を可能
にする方法で、測定の間違いをどのように計画に組み込むかを示す。大域座標系に対する
誤差等の他の標準的な誤差の測度は、PAC検知モデルに準拠しない場合があるため、こ
のモデルの特性の側面の成功には意味論的言語が重要であり得る。加えて、意味論的言語
は、低帯域幅の検知データを使用して構築可能であり、従ってクラウドソージングによっ
て構築可能でありスケーラビリティをサポートするHDマップを定めるための重要な実現
要因であり得る。
[0381] 要約すると、開示する実施形態は、AVの重要な要素、すなわち検知、計画、
及び動作に及ぶ形式モデルを含み得る。このモデルは、計画の観点からAV側の責任の事
故がないことを保証することを促進し得る。更にPAC検知モデルにより、検知誤差を伴
っても、説明した融合方法体系は記載した安全モデルに準拠するために非常に妥当な規模
のオフラインデータ集合のみを必要とする場合がある。更に、このモデルは、意味論的言
語によって安全性とスケーラビリティとを結び付けることができ、それにより安全且つス
ケーラブルなAVのための完全な方法体系を提供する。最後に、業界及び取締機関によっ
て採用される承認された安全モデルを開発することは、AVの成功にとって必要な条件で
あり得ることに留意しておく必要がある。
[0382] RSSモデルは、古典的な検知−計画−動作のロボット制御法に概して従うこ
とができる。検知システムは、ホスト車両の環境の現在の状態を理解することを担い得る
。「運転ポリシ」と呼ぶことができ、トレーニング済みシステム(例えば、ニューラルネ
ットワーク)又は組み合わせによってハードコードされた命令の組として実施され得る計
画部分は、運転の目標を達成するために利用可能な選択肢の観点から何が次の最良の動き
であるか(例えば、高速道路から出るために左レーンから右レーンに移動する方法)を決
定することを担い得る。動作部分は計画を実施することを担う(例えば、選択されたナビ
ゲーション動作を実施するために車両を操舵し、加速し、及び/又は車両のブレーキをか
ける等のためのアクチュエータ及び1つ又は複数のコントローラのシステム)。以下に記
載の実施形態は、主に検知部分及び計画部分に焦点を当てる。
[0383] 事故は、検知誤差又は計画誤差に端を発し得る。AVの動作に反応する他の道
路利用者(人間及び機械)があるため、計画は、マルチエージェントの試みである。記載
のRSSモデルは、とりわけ計画部分について安全性に対処するように設計される。これ
をマルチエージェントの安全性と呼ぶことができる。統計的手法では、計画誤差の確率の
推定が「オンライン」で行われ得る。すなわち、計画誤差の頻度の許容可能な推定レベル
をもたらすために、ソフトウェアが更新される度に、その新たなバージョンで何十億マイ
ルも運転されなければならない。これは、明らかに実行不可能である。代替策として、R
SSモデルは、AVに過失がある間違いを計画モジュールが犯さないという100%の保
証(又は事実上100%の保証)を与え得る(「過失」の概念は形式的に定義する)。R
SSモデルは、オンラインテストに依存しないその検証のための効率的手段も提供し得る
[0384] 検知は、車両の動作と独立とすることができ、従って深刻な検知誤差の確率を
、「オフライン」データを使用して検証することができるため、検知システムの誤差は、
検証がより容易であり得る。しかし、10時間を超える運転のオフラインデータを集め
ることでさえ困難である。開示する検知システムの説明の一部として、著しく少量のデー
タを使用して検証することができる融合手法が記載される。
[0385] 記載するRSSシステムは、何百万台もの車に合わせてスケーリング可能とす
ることもできる。例えば、記載される意味論的運転ポリシ及び適用される安全制約は、今
日の技術においてさえ何百万台となる車に合わせてスケーリング可能な検知及びマッピン
グ要件と合致し得る。
[0386] かかるシステムの基礎を成す構成要素のために、AVシステムが守る必要があ
り得る最小限の標準である安全性定義がある。以下の技術的な補助定理では、「システム
が1時間当たりN回の事故を起こす」等の単純な主張を検証することについてさえ、AV
システムの検証のための統計的手法が実行不可能であると示されている。これは、モデル
ベースの安全性定義のみがAVシステムを検証するための実現可能ツールであることを含
意する。補助定理1 Xを確率空間とし、AをPr(A)=p<0.1が成立する事象
とする。Xから、

i.i.d.サンプルをサンプリングし、

とする。従って、Pr(Z=0)≧e−2が成立する。
証明 不等式1−x≧e−2x(付録A.1内で完全性について証明されている)を使
用して次式を得る。

系1 AVシステムAVが、小さいが不十分な確率pで事故を起こすと仮定する。1
/pサンプル与えられる任意の決定論的検証手続きは、AVと事故を全く起こさない
別のAVシステムAVとを一定の確率で区別しない。
[0387] そのような確率の典型的な値にわたる展望を得るために、1時間当たり10
の事故確率を望み、特定のAVシステムが10−8の確率のみを提供すると仮定する。
たとえシステムが10時間の運転を得ても、システムが危険であることを検証プロセス
が示すことができない一定の確率がある。
[0388] 最後に、この課題は、単一の特定の危険なAVシステムを無効化することに関
することに留意されたい。新たなバージョン、バグフィックス、及び更新が必要になるた
め、完全な解決策は、単一のシステムとして見なすことはできない。各変更は、単一のコ
ード行の変更でさえ検証側の観点から新たなシステムを生成する。従って、統計的に検証
される解決策は、新たなシステムによって観測され到達される状態の分布のシフトに対処
するため、あらゆる小さい修正又は変更後に新たなサンプルにわたってそれをオンライン
で行わなければならない。そのような膨大な数のサンプルを繰り返し且つ系統的に得るこ
と(その場合にもシステムを検証できない一定の確率を伴う)は、実行不可能である。
[0389] 更に、いかなる統計的主張も測定のために形式化されなければならない。シス
テムが起こす事故の数にわたる統計的特性を主張することは、「システムが安全な方法で
運転する」と主張するよりも著しく弱い。それを言うには、安全とは何かを形式的に定義
する必要がある。
[0390] 絶対的な安全性は、不可能である
[0391] 車cが行う動作aは、将来のある時点においてその動作後に事故が起こらない
ことが可能である場合、絶対的に安全であると見なすことができる。例えば、図19に示
すような単純な運転シナリオを観測することにより、絶対的な安全性を実現するのは不可
能であることが分かる。車両1901の観点から、周囲の車が自らに衝突しないことを保
証することができる動作はない。自律車両がそのような状況にあることを禁じることによ
ってその問題を解決するのも不可能である。2レーンを超える全ての高速道路は、いずれ
かの時点においてこの問題を招くため、このシナリオを禁じると、車庫内に留まる必要が
あることになる。これらの含意は、一見したところ期待外れであるように思われる。何も
絶対的に安全ではない。しかし、人間のドライバーが絶対的な安全性の要件に従わないこ
とから明らかなように、上記で定めた絶対的な安全性を得るためのかかる要件は、厳し過
ぎる可能性がある。むしろ、人間は、責任に依存する安全性の概念に従って行動する。
[0392] 責任敏感型安全性
[0393] 絶対的な安全性の概念から欠落している重要な側面は、殆どの事故の非対称性
、すなわち衝突の責任があり、従って過失を負うべきなのが通常ドライバーの1人である
ことである。図19の例では、例えば、左側の車1909が突然追突してきた場合、中央
の車1901に過失はない。中央の車1901に責任がないことを考慮する事実を形式化
するために、自らのレーン内に留まるAV1901の挙動は、安全と見なすことができる
。それを行うために、安全運転手法の前提としての役割を果たし得る「事故過失」又は事
故責任の形式的概念について説明する。
[0394] 一例として、直線道路に沿って縦に並んで同じ速度で運転している2つの車c
,cの単純な事例を検討する。前の車であるcが、道路上に現れた障害物により突
然ブレーキをかけ、それを回避できたと仮定する。残念ながら、cから十分な距離を保
っていなかったcは、遅れずに反応することができずにcの後部に衝突する。過失が
にあることは明らかであり、前の車から安全な距離を保ち、予期せぬが妥当なブレー
キに備えておくことは、後ろの車の責任である。
[0395] 次に、より広範なシナリオ群、すなわち車が自由にレーン変更可能な複数レー
ン道路内での運転、他の車の経路内への割り込み、様々な速度での運転等を検討する。以
下の解説を単純化するために、横軸、縦軸がそれぞれx軸、y軸である平面上の直線道路
を想定する。これは、実際の曲線道路と直線道路との間の準同形を定めることによって緩
やかな条件下で実現することができる。加えて、離散的な時空を検討する。定義は、直観
的に異なる2組の事例、すなわち著しい横方向の操作が行われない単純なものと、横方向
の移動を伴うより複雑なものとを区別することを促進し得る。
[0396] 定義1(車のコリドール(corridor)) 車cのコリドールは、範囲[cx,
left,cx,right]×[±∞]であり、但し、cx,left、cx,rig
htは、cの最も左の角の位置、最も右の角の位置である。
[0397] 定義2(割り込み) 時点t−1において車c(図20A及び図20Bの車
2003)が車c(図20A及び図20Bの車2001)のコリドールに交差せず、時
点tにおいて交差する場合、時点tにおいて車cが車cのコリドールに割り込む。
[0398] コリドールの前部/後部間で更なる区別を行うことができる。「割り込みの
方向」という用語は、関連するコリドールの境界の方向に移動することを表し得る。これ
らの定義は、横方向の移動を伴う事例を定めることができる。ある車が別の車を追走する
単純な事例等、かかる発生がない単純な事例では安全な縦方向距離が定められる。
[0399] 定義3(安全な縦方向距離) 車c(車2103)とcの前方コリドール
内にある別の車c(車2105)との間の縦方向距離2101(図21)は、反応時間
pに関して安全であり、cによって行われる任意のブレーキコマンドa、|a|<a
ax,brakeについて、cがその最大ブレーキを時間pから完全停止まで加える場
合、cは、cと衝突しない。
[0400] 以下の補助定理2は、c、cの速度、反応時間ρ、及び最大加速度ama
x,brakeに応じてdを計算する。ρもamax,brakeも定数であり、規則に
よって何らかの妥当な値に決定されるべきである。
[0401] 補助定理2 縦軸上でcの後ろにある車両をcとする。最大ブレーキコマ
ンド及び最大アクセルコマンドをamax,brake、amax,accelとし、c
の反応時間をρとする。車の縦速度をυ、υとし、それらの長さをl、lとす
る。υp,max=υ+ρ・amax,accelと定め、

と定める。L=(l+l)/2とする。従って、cの最小安全縦方向距離は、次式
のようになる。
[0402] 証明 時点tにおける距離をdとする。事故を防ぐために、全てのtについ
てd>Lを得なければならない。dminを構築するために、dに対する最もきつい
必要とされる下限を見つける必要がある。明らかに、dは、少なくともLである必要が
ある。T≧ρ秒後に2つの車が停止しない限り、前の車の速度は、υ−Tamax,b
rakeであるのに対し、cの速度は、υρ,max−(T−ρ)amax,acce
によって上限を設けられる。そのため、T秒後のこれらの車の間の距離は、

によって下限を設けられる。
[0403] Tは、cが完全に停止する時間であり(0の速度)、Tは、他方の車両
が完全に停止する時間であることに留意されたい。amax,brake(T−T
=υρ,max−υ+ρamax,brakeが成立し、そのため、T≦Tである
場合、d>Lであることを要求すれば足りることに留意されたい。T>Tである場
合、次式が成立する。

Tr>Lを要求し、項を整理すれば証明が完了する。
[0404] 最後に、「マージン」の一部の概念との比較を可能にする比較演算子を定める
。長さ及び速度等を比較する場合、非常に類似した量を「等しい」ものとして認める必要
がある。
定義4(μ比較) 2つの数a、bのμ比較は、a>b+μの場合にはa>μbであり
、a<b−μの場合にはa<μbであり、|a−b|≦μの場合にはa=μbである。
[0405] 以下の比較(argminやargmax等)は、一部の適切なμに関するμ
比較である。車c、c間で事故が起きたと想定する。事故の過失が誰にあるかを検討
するために、調べる必要がある関連する瞬間を定める。これは、事故前の且つ直観的に「
復帰不能点」であったある時点であり、この時点後、事故を防ぐために何もすることがで
きない。
[0406] 定義5(過失時点) 事故の過失時点は、
・車の1つと他の車のコリドールとの間の交差があり、
・縦方向距離が安全ではなかった、
事故前の最も早い時点である。
[0407] 事故の瞬間は、両方の条件が当てはまるため、明らかにそのような時点はある
。過失時点は、以下の2つの別個のカテゴリに分けることができる:
・割り込みも発生するものであり、すなわち、それは、ある車と他の車のコリドールと
の交差の第1の瞬間であり、その交差は、危険な距離にある。
・割り込みが発生しないものであり、すなわち安全な縦方向距離でコリドールとの交差
が既にあり、過失時点においてその距離が危険に変わっている。
[0408] 定義6(横方向速度によるμ−Losing) 車c、c間で割り込みが
発生すると仮定する。割り込みの方向に対するその横方向速度がcの横方向速度よりも
μ速い場合、cが横方向速度でμ−Loseすると言える。
[0409] 速度の方向が重要であることに留意すべきである。例えば、−1,1の速度(
両方の車が互いに衝突する)は、互角であるが、速度が1,1+μ/2である場合、他方
の車に対して正の方向を有する車に過失がある。直観的に、この定義は、別の車に横方向
に非常に速く追突する車に過失を負わせることを可能にする。
[0410] 定義7(横方向位置による(μ,μ)−勝利) 車c、c間で割り込
みが発生すると仮定する。割り込みレーンの中央(割り込みに関連するコリドールに最も
近い中央)に対するその横方向位置が(絶対値で)μよりも小さく、cのものよりも
μ小さい場合、cが横方向位置で(μ,μ)−勝利すると言える。
[0411] 直観的に、レーンの中央に非常に近く(μ)かつ他の車よりもはるかに(μ
の分だけ)近い場合、その車に過失を負わせることはない。
[0412] 定義8(過失) 車c、c間の事故の過失又は責任は、過失時点における
状態の関数であり、以下のように定められる:
・過失時点が割り込み時ではない場合、過失は後ろの車にある。
・過失時点が割り込み時でもある場合、車の一方について、一般性を失わずにcにつ
いて一部の既定のμに関して以下の2つの条件、すなわち、
・横方向速度で負けないこと
・横方向位置で勝利すること
が当てはまらない限り、過失は、両方の車にある。
[0413] この事例では、c1が容赦される。換言すれば、危険な割り込みが発生した場
合、車の一方が(著しく)横方向に速くなく、且つレーンの中央に(著しく)近い場合を
除いて両方の車に過失がある。これにより、車を追走する場合に安全な距離を保ち、自ら
のレーン内を単純に走行する車のコリドールに割り込む場合に安全な距離でのみ割り込む
という所望の挙動が捕捉される。以下で更に論じるように、上記の安全ガイドラインに従
うための自動コントローラベースシステムは、過度に自衛的な走行を引き起こすべきでは
ない。
[0414] 限られた検知への対処
[0415] 高速道路の例を検討した後、次に第2の例は限られた検知の問題に対処する。
事故について非難されたときの非常に一般的な人間の反応は、「しかし、見えなかった」
カテゴリに属する。それは、多くの場合に真実である。時として道路の別の部分に集中す
る無意識の決定により、時として不注意により、及び時として物理的制約により(駐車車
両の後ろに隠れている歩行者を見るのは不可能である)、人間の検知能力は、限られてい
る。それらの人間の制約のうち、高度な自動検知システムは、後者の影響のみを受け、コ
ンピュータは決して不注意にならないことと共に、360°の道路のビューは、コンピュ
ータが人間の検知能力を上回ることを引き起こす。「しかし、見えなかった」の例に戻り
、適切な回答は、「より注意すべきであった」である。限られた検知に関してどのような
ものが慎重であるかを形式化するために、図22に示すシナリオを検討する。車2201
(c)が駐車場を出て(場合により)混んでいる道路に合流しようとしているが、その
視界が建物2203によって遮られているため、道に車があるかどうかを見ることができ
ない。これが30km/hの制限速度を有する都市の狭い道であると想定する。人間のド
ライバーの行動は、道路上にゆっくりと合流して検知の制限がなくなるまでより多くの視
野を得ることである。遮られていた物体が初めて明らかになる最初の時点である有意の瞬
間を定めるべきであり、物体が明らかになった後、他の任意の検知可能な物体と同様にそ
れに対処する。
[0416] 定義9(露出時点) 物体の露出時点は、それを見ることができる最初の時点
である。
[0417] 定義10(不当な速度による過失) 露出時点において又はその後、車c
車2205)が速度υ>υlimitで走行しており、cがその速度で走行していなか
ったと想定する。この場合、過失は、cのみにある。cが不当な速度により過失を負
うと言える。
[0418] この拡張は、cが駐車場から安全に出ることを可能にする。本発明者らの先
の責任敏感型安全性の定義を(道路状態及び制限速度に加えて妥当なマージンを使用する
)動力学的なυlimitの定義と共に使用し、図示の最悪の事例において、必要である
のは、cがυlimitを上回らないと仮定しながら割り込みが安全な縦方向距離にあ
るかどうかを確認することのみである。直観的に、これは、より遅く且つ遮蔽体から離れ
て走行し、それによりゆっくりと自らの視野を広げ、安全に道に合流することを後に可能
にするようにcを促す。
[0419] この限られた検知についての基本事例に事故責任の定義を拡張し、拡張群が同
様の事例に対処し得る。見えなくされる可能性がある対象がどのようなものか(近接して
駐車される2つの車の間に潜在的に速い車が隠れることはあり得ないが、歩行者はあり得
る)及びその対象が行い得る最悪の事例の操作がどのようなものか(歩行者のυlimi
は、車のυlimitよりもはるかに小さい)に関する単純な想定は、運転に対する制
約を含意し、最悪の場合に備える必要があり、露出時点が突然訪れた場合に反応する能力
を有する必要がある。都市のシナリオにおけるより複雑な例は、場合により駐車車両によ
って隠れている歩行者のシナリオから得ることができる。歩行者との事故に関する事故過
失を定めることができる。
[0420] 定義11(歩行者との事故の過失) 歩行者との事故の過失は、以下の3つ、
すなわち、
・車の側部に歩行者が衝突し、車の横方向速度が衝突方向に対してμ未満であること、
・露出時点又はその後における歩行者の速度がυlimitを上回ったこと、
・車が完全に停止していたこと
の1つが当てはまらない限り、過失は、常に車にある。
[0421] 変則的に、車がμよりも速く歩行者に追突しない一方で車の側部に歩行者が衝
突する場合、又は車が停止している場合、又は歩行者が必ずしも衝突方向ではない何らか
の方向に超人的に速く走っていた場合にのみ車に過失がない。
[0422] 記載したシステムは、絶対的な安全性は保証しない可能性があるが、(たとえ
あったとしても)非常に少ない事故が自律車両間で起きるシナリオをもたらし得る。例え
ば、全ての車(及び他の道路利用者)が、行った動作の結果としての事故の過失を問われ
ないことを問題なく検証できる場合、事故をなくすことができる。定義上、あらゆる事故
について少なくとも1つの有責の車がある。従って、結果として生じる事故について(上
記のRSSモデルに従って)責任を負う可能性がある動作を行う車がない場合、事故は、
全く起きないはずであり、手に負えず実用的でない統計的方法が求める一種の絶対的な安
全性又はほぼ絶対的な安全性をもたらす。
[0423] 全ての道路の構造が単純なわけではない。交差点及び環状交差路等の一部は、
様々な優先通行権の規則と共により複雑な状況を含む。隠れる物体の全てが車又は歩行者
ではなく、自転車及びバイク、あらゆる適法の道路利用者を考慮すべきである。この節で
紹介した原理は、これらの追加の事例に拡張することができる。
[0424] 責任敏感型安全性のための効率的に検証される条件
[0425] この節は、RSSの実装の側面について論じる。まず始めに、ここで行われる
動作は、例えば、10分間の走行後の事故に対する一連の事象を引き起こすバタフライ効
果を有し得ることに留意すべきである。起こり得る全ての将来の結果を調べる「総当たり
的」手法は、実際的でないだけでなく、不可能である可能性が高い。この課題を克服する
ために、次に、上記の責任敏感型安全性の定義についてそれらを検証するのに計算効率の
良い方法と共に説明する。
[0426] 計算的に実現可能な安全性検証。
[0427] 計算的に実現可能な検証のための主な数学的ツールは、「帰納法」である。帰
納法によって主張を証明するために、単純な事例に関する主張を証明することから始め、
その後、帰納法の各ステップが当該証明をより入り組んだ事例に拡張する。この帰納法ツ
ールが安全性検証にどのように有用であり得るかを示すために、別の車cを追走する車
の単純な例(図21)を再び検討する。以下の制約は、cのポリシに適用すること
ができる。たとえcが−amaxの減速を加えても、その結果生じる次の時間ステップ
におけるcとcとの間の距離が少なくとも(定義3及び補助定理2で定めた)安全な
縦方向距離になるように、ポリシは、各時間ステップtにおいて任意の加速コマンドを選
ぶことができる。そのような動作が存在しない場合、cは、減速−amaxを適用しな
ければならない。以下の補助定理は、帰納法を使用して、上記の制約に従ういかなるポリ
シもcとの事故を決して起こさないことを証明する。
[0428] 補助定理3 定義3で与えた仮定の下、cのポリシが上記で示した制約に従
う場合、cは、cとの事故を決して起こさない。
[0429] 証明 証明は、帰納法による。帰納法の基礎に関して、(補助定理2に従い)
2つの車間距離が安全である最初の状態から開始する。帰納法のステップは、以下の通り
である。ある時点tにおけるcとcとの間の距離を検討する。(cが最大限の減速
を行っても)安全な距離をもたらす動作がある場合には問題ない。全ての動作が安全な距
離を保証できない場合、最大限の減速ではない動作を行った最大時間をt’<tとする。
帰納法の仮定により、時点t’+1では安全な距離にあり、そこから最大限の減速を行っ
た。従って、安全な距離の定義により、時点t’から現在まで衝突はなく、それが証明を
結論付ける。
[0430] 上記の例は、より全般的な概念、すなわち極端な事例においてcによって行
われ、cを「安全な状態」に戻す何らかの緊急操作があることを実証する。上記で説明
したポリシに対する制約は、将来の1つの時間ステップのみに依存し、従って計算効率の
良い方法で検証できることに留意すべきである。
[0431] RSSのための十分な局所特性の概念を汎用化するために、デフォルト緊急ポ
リシ(DEP)をまず定義し、「慎重」と呼ぶ動作実行の局所特性を定めるための構成要
素としてそれを使用する。次に、慎重なコマンドのみを取ることがRSSに十分であるこ
とが示される。
[0432] 定義12(デフォルト緊急ポリシ) デフォルト緊急ポリシ(DEP)は、最
大ブレーキ力及びレーンに対する0度の進行方位に向けた最大限の進行方位の変更を加え
ることである。最大ブレーキ力及び進行方位の変更は、車の物理的パラメータから(場合
により気象条件及び道路条件からも)導出される。定義13(安全な状態) 状態sは、
状態sから始まるDEPを行うことが自らに過失がある事故を引き起こさない場合、安全
である。別の車を追走する車の単純な事例にあるのと同様に、それが安全な状態をもたら
す場合、コマンドを慎重であると定める。定義14(慎重コマンド) 状態sにあると
仮定する。他の車両がここで行う可能性がある可能なコマンドの組Aに対して次の状態s
が安全である場合、コマンドaは、慎重である。上記の定義は、他の車両が行い得る組
Aの中の最悪の事例のコマンドに依存する。最大限のブレーキ/加速及び横方向の移動に
対する妥当な上限に基づいて組Aを構築する。
[0433] 以下の理論は、ここでも帰納法により、慎重なコマンドのみを出す場合、自ら
に過失がある事故がないことを証明する。定理1 時点0においてcが安全な状態にあり
、全ての時間ステップについてcが慎重なコマンドのみを出し、何らかの時間ステップに
おいて慎重なコマンドが存在しない場合、cがDEPを適用すると仮定する。従って、c
は、自らに過失がある事故を決して起こさない。証明 帰納法による。帰納法の基礎は、
安全な状態の定義及び慎重なコマンドの定義からのステップから得られる。
[0434] 安全な状態に迅速に戻り、そこから安全に続行することができるため、この手
法の1つの利益は、無限の将来を調べる必要がない可能性があることである。更に、t+
1において再び計画すること、従って必要に応じてDEPをそこで実行できることを所与
として、頭の中にあり得る可能な長期の計画ではなく(その計画は、t+1において変え
ることができる)、時点tにおいて与えているコマンドのみを調べるべきである。次に、
このトランスペアレントモデルによって実行時に検証されるとき、システムに学習成分を
組み込むことが可能にされる。最後に、この局所的検証は、本発明者らの所望の目標であ
る完全な将来のRSSを含意する。実装の妨げは、別のエージェントがtbrakeまで
実行可能な全ての軌道を、慎重さの定義が含むことであり、それは、中程度のtbrak
でさえ莫大な空間である。この問題に対処するために、次に慎重さ、従ってRSSをス
ケーラブルな方法で検証するための効率的に計算可能な方法を開発する。
[0435] 効率的な慎重さの検証
[0436] 第1の見解は、当方がDEPを実行する一方で当方に過失がある事故を引き起
こす組Aからのコマンドを実行し得る特定の車両

があるとき且つそのときに限り、状態は安全ではない。従って、

で示す単一の目標車両があるシーン、及び全般的な事例において、シーン内の他の車両の
それぞれについて手続きを逐次的に実行することができる。
[0437] 単一の目標車両を検討する場合、cに過失がある事故を発生させる、全て組A
の中にある

で示す

のための一連のコマンドがあるとき且つそのときに限り、動作aは慎重でない。既に証明
したように、時点0において、

がcの前方コリドール内にあることが該当する場合、aの慎重さを調べる簡単な方法があ
り、すなわち、たとえ

が1つの時間ステップについて最大ブレーキをかけても(当方は、aを実行する)、その
結果生じる縦方向距離が安全なままであることを検証するのみでよい。以下の補助定理は
、横方向の操作も検討すべきより入り組んだ事例における慎重さに関する十分な条件を与
える。
[0438] 補助定理4 時点T=0において、

がcの前方コリドールにないと仮定する。全てのT∈(0,tbrake]において、c
に過失がある危険な割り込みがない場合、aは、慎重である。
[0439] 証明 aが慎重ではない、すなわちcに過失がある事故を引き起こす

が存在すると仮定する。事故前に割り込みの時点Tがなければならない。T>0であると
まず仮定する。この割り込みが安全な縦方向距離にあった場合、DEPが−amaxの減
速によって且つ安全な縦方向距離の定義に基づいて実行されることにより、当方に過失が
ある事故はあり得ない(ここで、反応時間ρがステップの時間分解能を上回ると仮定する
)。割り込みが安全ではなかった場合、補助定理の仮定により、過失は、cになく、従っ
て事故の過失もcにはない。
[0440] 最後にT<0の場合、補助定理の仮定により、割り込みの瞬間において、

は、cの後方コリドールにあった。帰納法により、cは、過去に安全な割り込みのみを行
っており、従って割り込みが安全であったか又はcに過失があった。いずれの場合にも現
在の事故の過失はcにない。
[0441] 補助定理4に照らして、cに過失がある危険な割り込みがあり得るかどうかを
調べる問題が残る。時点tにおける危険な割り込みの可能性を調べるための効率的なアル
ゴリズムを以下に示す。全軌道を検証するために、時間間隔[0,tbrake]を離散
化し、(離散化が害されないことを確実にするために安全な距離の定義内のpの僅かに大
きい値と共に)全ての時間間隔にアルゴリズムを適用する。

に境界を付ける最小限の矩形の対角線の長さを

とする。時点t∈[0,tbrake]ごとに、時点tにおけるcの縦方向の「スパン」
であるようにclength(t)を定め、

とする。cwidth[t]を同様の方法で定め、

が成立する。
[0442] 以下の定理は、上記のアルゴリズムの正当性を証明する。
[0443] 定理2 アルゴリズム1が「実現不能」を返す場合、時点tにおける自車に過
失がある危険な割り込みはあり得ない。この定理を証明するために、アルゴリズム1の2
つの構成要素の正当性を証明する以下の重要な補助定理を利用する。縦方向の実現可能性
から始める。
[0444] 補助定理5 アルゴリズム1の表記の下、「実現不能」を返すことにより縦方
向の実現可能性を調べる手続きが結論付けられる場合、時点tにおける自車に過失がある
危険な割り込みはあり得ない。
[0445] 証明 割り込み操作の横方向の側面を無視し、cと

との間の縦方向距離が危険である単なる可能性を調べる。位置

は、時点tにおいて、

によって得ることができる位置に境界を付けることが明らかである。

が成立することにより、得ることができる任意の縦方向の危険な距離が≧Lであることが
得られる。

であると仮定し、ay,min,ay,maxによって境界を付けられる加速コマンドを
使用して、



で示す危険な縦方向位置及び速度が得られると矛盾律によって仮定する。

の定義により、

が得られ、従って車間距離がより大きく、すなわち、

が成立する。

は、(y[t],υ[t])に対して縦方向に安全であるため、縦方向の危険の定義に
より、得られる速度

は、

よりも小さくなければならないことになる。しかし、より遅い速度を実現するには、時間
窓[0,t]の全体を通して、

がay,min未満の平均加速度を使用しなければならず、従って縦方向の危険が、a
,min,ay,maxによって境界を付けられるコマンドを使用して得られることと矛
盾することが明らかである。

の場合、対称な引数を検討することによって証明が完了する。
[0446] 次に横方向の実現可能性。
[0447] 補助定理6 アルゴリズム1の表記の下、「実現不能」を返すことにより横方
向の実現可能性を調べる手続きが結論付けられる場合、時点tにおける自車に過失がある
危険な割り込みはあり得ない。
[0448] 証明 まず、仮定x[t]=0、

、及びv[t]に関するものにより、座標の単純な変化及び相対速度の検討によって一
般性が失われないことが明らかである。更に、同様の引数により、

が成立する場合の事例に簡単に拡張できる。
[0449] 本発明者らの事例では、(x[t],x[t]−W)である割り込みに関与す
る車の位置は、過失に影響を及ぼす何らかの横方向位置による(μ1,μ2)−勝利特性
を含意することに留意されたい。横方向速度をμ−「tie」するために(cが横方向位
置で(μ1,μ2)−勝利しない場合、cに過失を負わせるにはこれで十分であり得る)
、又は横方向速度をμ−勝利する(cが横方向位置で(μ1,μ2)−勝利する場合、c
に過失を負わせるにはこれが必要である)ために、cに過失があるという想定下において
、v[t]に対する本発明者らの仮定により時点tにおいて、

が使用できる最大限の横方向速度は、0であることが得られる。最終位置
と共にax,maxによって境界を付けられる横加速度を使用し、
から始まり
で終わる操作が存在するかどうかを確認することが残されている。言葉では、所望の横方
向速度0で終わる割り込みである。
[0450] アルゴリズムの定義

を想起されたい。ttop<0であると仮定する。これは、最大限の横加速度、すなわち


を使用するとき、

が横方向速度0に到達するのに必要な時間がt未満であることを含意する。これは、所望
の速度に遅れずに到達するためにそれが実行可能な操作がなく、従って問題のある操作が
存在しないことを含意する。従って、この手続きがttop<0により「実現不能」を返
す場合、実際cに過失がある危険な割り込みの実現可能性はない。
[0451] ttop>0の事例を検討する。ここで、手続きがxmax<−Wにより「実
現不能」を返す。

で示し、aによってパラメータ化される、時間範囲[0,t]内の

のための横方向速度プロファイル群を検討する。アルゴリズム内で使用したのと同様の方
法において、

をaごとに定める。全ての

について、ttop(a)>0が成立することに留意されたい。次いで、全ての時点t’
0[0,t]に関する速度プロファイルuを以下のように定める。
[0452] まず、uが制約

を満たすことが見て取れる。第2に、uを使用している間に移動した距離を計算するこ
とができ、それは、この距離が区分線形関数の積分に相当するからである。到達位置を

として定め、アルゴリズム内で定めたxmaxは、正確に、

であることに留意されたい。第3に、移動距離がaと共に単調増加しており境界付けされ
ていないことが見て取れる。従って、所望の任意の最終位置

について、

が成立するaの値が存在する。具体的には、x=x[t]−Wでは、かかる値が存在し、
それをacutで示す。
[0453] アルゴリズム内で定めたxmaxが<x[t]−Wであるため、acut>a
x,maxが得られることを認識されたい。いずれの有効な操作も位置≧x[t]−Wを
もたらすことができないことを示すために、これは、不十分であり、これは、U群のメン
バについてのみ含意される。次に、Uの外側でさえx[t]−Wの最終位置を得る全ての
速度プロファイルが少なくともacutの加速度値を路上で使用しなければならないこと
を証明し、かかる加速度値は、それらの速度プロファイルを無効にし、従って証明を完了
する。
[0454] 一部の速度プロファイルuが境界制約

を満たすと仮定する。更に、その速度プロファイルuが何らかの最終位置

を得ると仮定する。こうして、次式が得られる。
[0455] 全てのτについて、

が成立すると仮定する。具体的には、

が成立する。平均値の定理から、

となるようなζ0[0,ttop(acut)]が存在し、ax,maxを上回る加速度
(すなわちu’、速度の微分)を使用することを理由にuの実現不能性を暗示する。
[0456] 次に、

が全てのτに当てはまらないと仮定する。その場合、

が成立することにより、

となる点がなければならない。かかる点τlargeが[0,ttop(acut)]内
にある場合、上記と同じ方法で平均値の定理を容易に使用して、大き過ぎる加速度が使用
されるζ0[0,τlarge]を得る。この点が[ttop(acut),t]内にの
み存在する場合、−ax,max未満の加速度値が使用される点ζ0[τlarge,t
]を同様の引数が与え、証明を結論付ける。上記の補助定理を備え、定理2の証明は即時
である。
[0457] 安全性検証 − 遮蔽
[0458] 観測される物体に対処するのと同様の方法において、当方に過失がある事故が
決してないことを慎重さが含意することを条件に、隠れた物体に対する慎重さの拡張を定
理1と同様の定理を用いて定義することができる。
[0459] 定義15(隠れた物体に対する慎重さ) 物体の露出時点がt+1であり、t
+1においてデフォルト緊急ポリシ(DEP)を命じ、当方に過失がある事故がない場合
、時点tにおいて与えられるコマンドは、隠れた物体に対して慎重である。
[0460] 補助定理7 隠れた物体及び隠れていない物体に対する慎重なコマンドのみを
出す場合、自らに過失がある事故は決してない。
[0461] 証明 露出時点がt’≦tの状態において、自らに過失がある事故が時点tに
おいて生じたと仮定する。慎重さの仮定により、t’−1において与えたコマンドは、事
故の過失を問われることなしにt’においてDEPを命じることを可能にした。当方に過
失がある事故があったため、当方は、時点t’において明らかにDEPを命じていない。
しかし、t’以降、当方は、隠れていない物体に対して安全であったため、当方が与えた
コマンドは、安全であり、当方に過失がある事故はなかった。
[0462] ここでも、実現可能且つスケーラブルなRSSを可能にする、隠れた物体に関
する最悪の事例の仮定に対する慎重さを確認するための効率的な方法を提供する。
[0463] 運転ポリシ
[0464] 運転ポリシは、検知状態(人間を取り巻く世界の記述)から運転コマンド(例
えば、コマンドは、現在から1秒後に車がいずれにあるべきか及びいずれの速度にあるべ
きかを決定する、次の秒の横加速度及び縦加速度である)へのマッピングである。運転コ
マンドは、コントローラに伝えられ、コントローラは、所望の位置/速度に車を実際に動
かすことを目指す。
[0465] 前の節では、形式的な安全モデル、及び安全を保証する運転ポリシが出すコマ
ンドに対する提案される制約について説明した。安全性に対する制約は、極端な事例につ
いて設計される。概して、これらの制約を必要とすることさえ望んでおらず、快適な乗り
心地をもたらす運転ポリシを構築したい。この節の焦点は、効率的な運転ポリシ、具体的
には何百万台もの車に合わせてスケーリング可能な計算資源を必要とする運転ポリシをど
のように構築するかに関する。現在、この解説は検知状態を得る方法の問題に対処せず、
人間を取り巻く世界を一切の制限なしに忠実に表す理想的な検知状態を仮定する。検知状
態が不正確であることの運転ポリシに対する影響については、後の節で解説する。
[0466] 上記の節で論じた強化学習(RL)の言語において、運転ポリシを定める問題
を明らかにする。RLの各反復時、エージェントは、世界を記述するsで示す状態を観
測し、状態を動作にマップするポリシ関数πに基づいてaで示す動作を選ぶべきである
。自らの動作及び自らの制御が及ばない他の要因(他のエージェントの動作等)の結果、
世界の状態がs+1に変わる。(状態,動作)シーケンスを

で示す。全てのポリシは、(状態,動作)シーケンスにわたる確率関数を引き起こす。こ
の確率関数は、エージェントが行う動作の影響を受ける可能性があるが、環境(具体的に
は他のエージェントがどのように振る舞うか)にも依存する。πによって引き起こされる
(状態,動作)シーケンスにわたる確率をPπで示す。ポリシの質は、

であるように定められ、

は、シーケンス

がどの程度優れているかを測定する報酬関数である。殆どの事例において、

は、

の形式を取り、ρ(s,a)は、状態sにあり動作aを行う即時の質を測定する瞬間報酬
関数である。簡単にするために、より単純なこの事例で進める。
[0467] 上記のRL言語における運転ポリシの問題を明らかにするために、道路、並び
に自車両のみならず他の道路利用者の位置、速度、及び加速度の何らかの表現をsとす
る。横及び縦の加速コマンドをaとする。次の状態st+1は、a並びに他のエージ
ェントがどのように振る舞うかに依存する。瞬間報酬ρ(s,a)は、他の車に対す
る相対位置/速度/加速度、当方の速度と所望の速度との差、所望のルートをたどるかど
うか、当方の加速度が快適かどうか等に依存し得る。
[0468] 時点tにおいてポリシがいずれの動作を行うべきかを決定する際の1つの課題
は、報酬に対するこの動作の長期的効果を推定しなければならないことに由来する。例え
ば、運転ポリシに関連して、時点tにおいて行われる動作が現在では良い動作のように思
われる(すなわち報酬値ρ(s,a)が良い)ことがあり得るが、5秒後に事故を招
く(すなわち5秒後の報酬値が破滅的になる)可能性がある。従って、エージェントが状
態sにあるとき、動作aを行う長期的な質を推定する必要がある。これは、多くの場合、
Q関数と呼ばれ、すなわち、Q(s,a)は、時点sにおいて動作aを行う長期的な質を
反映すべきである。かかるQ関数を所与として、動作の自然な選択は、最も高い品質のも
の、π(s)=argmaxQ(s,a)を選ぶことである。
[0469] 当面の問題は、Qをどのように定め、Qをどのように効率的に評価するかであ
る。s+1は、(s,a)の何らかの決定論的関数、すなわちs+1=f(s
,a)であるという(完全に非現実的な)仮定の単純化をまず行いたい。マルコフ決定
プロセス(MDP)に詳しい者であれば、この仮定がMDPのマルコフ仮定よりも一層強
いこと(すなわち(s,a)を所与としてs+1が過去と条件付き独立であること
)が認識されるであろう。[5]で述べたように、マルコフ仮定でさえ運転等のマルチエ
ージェントシナリオには不十分であり、従って後に仮定を緩和する。
[0470] この仮定の単純化の下、stを所与として、Tステップの決定のシーケンス(
,...,a)ごとに時点t,...,Tに関する将来の状態(s+1,.
..,s+1)並びに報酬値を正確に計算することができる。これらの全ての報酬
値を、例えば、それらの合計

を取ることによって単一の数字に要約すると、Q(s,a)を以下のように定めることが
できる。
[0471] すなわち、Q(s,a)は、当方が状態sにあり、動作aを直ちに実行する場
合に望むことができる最良の将来である。
[0472] どのようにQを計算できるかについて解説する。最初の考えは、可能な動作の
組Aを有限の組

に離散化し、離散化した組内の全ての動作シーケンスを単純に横断することである。次い
で、離散的な動作シーケンス

の数によってランタイムが支配される。

が10の横加速度及び10の縦加速度を表す場合、100の可能性が得られ、これは、
小さいT値でさえ実現不能になる。探索を加速するためのヒューリスティックス(例えば
、粗密探索)が存在するが、この総当たり的手法は、途方もない計算力を必要とする。
[0473] パラメータTは、多くの場合に「計画の対象期間」と呼ばれ、計算時間と評価
の質との間の自然なトレードオフを制御し、Tが大きいほど現在の動作についての本発明
者らの評価が(その影響を一層先の将来まで明確に調べるため)より優れるが、他方では
、Tが大きいことは、計算時間を指数関数的に増加させる。大きいT値が必要であり得る
理由を理解するために、高速道路出口の200メートル手前におり、その出口から出るべ
きシナリオを検討する。対象期間が十分長い場合、tとt+Tとの間の何らかの時点τに
おいて出口レーンに到達しているかどうかを累積報酬が示す。他方では、短い対象期間で
は、正しい即時の動作を実行しても、それがやがて自らを出口レーンに至らせるかどうか
は分からない。
[0474] 別の手法は、

で示すQの近似を構築するためにオフラインの計算を行い、ポリシのオンライン実行中、
将来を明確にロールアウトすることなしに、

をQに対する近似として使用しようと試みる。かかる近似を構築する1つの方法は、動作
領域及び状態領域の両方を離散化することである。これらの離散化した組を



で示す。オフラインの計算は、全ての

についてQ(s,a)の値を評価することができる。次いで、全ての

に関して、



についてQ(s,a)であるように定める。更に、ベルマンの先駆者的研究[2,3]に
基づき、動的計画法の手続き(価値反復アルゴリズム等)に基づいて、

ごとにQ(s,a)を計算することができ、本発明者らの仮定の下では総ランタイムは、

程度である。この手法の主な問題は、いかなる妥当な近似においても

が(次元数の問題により)極めて大きいことである。実際、検知状態は、シーン内の他の
全ての関連車両について6つのパラメータ、すなわち縦方向位置、横方向位置、速度、及
び加速度を表すべきである。たとえ各次元を僅か10個の値に離散化しても(非常に粗い
離散化)、6つの次元があるため、単一の車を記述するのに10の状態が必要であり、
k台の車を記述するには106kの状態が必要である。これは、

内の全ての(s,a)についてQの値を記憶するための非現実的なメモリ要件を招く。
[0475] この次元数の問題に対処するための1つの手法は、手動で決定された特徴にわ
たる線形関数又はディープニューラルネットワーク等の制限された関数族(多くの場合に
仮説クラスと呼ばれる)から到来するようにQを制限することである。例えば、Atari社
のゲームでの遊びに関連して、Qを近似するディープニューラルネットワークを検討する
。Qを近似する関数族を効率的に評価できるという条件において、これは、資源効率の良
い解決策をもたらす。しかし、この手法の幾つかの不利点がある。まず、選択される関数
族が所望のQ関数への優れた近似を含むかどうかは分からない。第2に、たとえそのよう
な関数が存在しても、既存のアルゴリズムがそれを効率的に学習できるかどうかは分から
ない。これまでのところ、運転において直面する問題等の複雑なマルチエージェント問題
についてQ関数を学習することの成功談は多くない。この作業が困難である幾つかの理論
的理由がある。マルコフ仮定に関して述べたように、基礎を成す既存の方法に問題がある
。しかし、以下で説明するように、より深刻な問題は、意思決定の時間分解能に起因する
非常に小さい信号対雑音比である。
[0476] 車両が残り200メートルで高速道路出口から出るためにレーンを変更する必
要があり、現在道路に何もない単純なシナリオを検討する。最良の決定は、レーンを変更
し始めることである。決定は、0.1秒ごとに行うことができ、そのため、現時点tにお
いてQ(s,a)の最良の値は、右への僅かな横加速度に対応する動作aに関するもの
であるべきである。ゼロの横加速度に対応する動作a’を検討する。ここでレーンを変更
すること又は0.1秒後に変更することでは非常に小さい差のみがあるため、Q(s
a)及びQ(s,a’)の値は、ほぼ同じである。換言すれば、a’に優先してaを選
ぶ利点は、非常に小さい。他方では、Qに関する関数近似を使用しており、状態sを測
定する際に雑音があるため、Q値に対する本発明者らの近似は、雑音を伴う可能性が高い
。これは、非常に小さい信号対雑音比の原因となり、それは、とりわけニューラルネット
ワークの近似クラスで頻繁に用いられる確率的学習アルゴリズムでの非常に遅い学習につ
ながる。しかし、述べたように、この問題は、特定の関数近似クラスの特性ではなく、む
しろQ関数の定義に固有である。
[0477] 要約すると、利用可能な手法は、2つのグループに大まかに分けることができ
る。最初のグループは、多くの動作シーケンスにわたって探索すること又は検知状態領域
を離散化し、莫大な表をメモリ内に保つことを含む総当たり的手法である。この手法は、
Qの非常に正確な近似をもたらし得るが、計算時間に関して又はメモリに関して無限の資
源を必要とする。第2のグループは、資源効率の良い手法であり、この手法では短い動作
シーケンスを探索するか又はQに関数近似を適用する。いずれの場合にも、低品位の決定
の原因になり得る低精度のQの近似を得ることに直面する。
[0478] 本明細書に記載の手法は、資源効率が良く且つ正確であり、幾何学的動作から
離れ、次の小節で説明する意味論的動作空間に適合すべきQ関数を構築することを含む。
[0479] 意味論的手法
[0480] 開示する意味論的手法の基礎として、運転免許証を取得したばかりの若者を検
討する。若者の父親が隣に座って「運転ポリシ」の指示を若者に与える。これらの指示は
、幾何学的ではない(「現在の速度で13.7メートル走行し、次いで0.8m/s
レートで加速する」という形式を取らない)。むしろ、これらの指示は、意味論的な性質
のものである(「前の車を追走する」又は「あの左側の車を迅速に追い越す」)。そのよ
うな指示のための意味論的言語を形式化し、それを意味論的動作空間として使用する。次
いで、意味論的動作空間にわたるQ関数を定める。意味論的動作は、将来の多くの意味論
的動作を計画することなしにQ(s,a)を推定することを可能にする、非常に長い対象
期間を有し得ることを示す。意味論的動作の総数は、依然として少ない。これは、資源効
率の良さを依然として保ちながらQ関数の正確な推定を得ることを可能にする。更に、後
に示すように、様々な意味論的動作間の有意差に起因する小さい信号対雑音比に直面する
ことなしに品質関数を更に改善するために学習技法を組み合わせる。
[0481] 次に、意味論的動作空間を定める。主な考えは、横方向の目標及び縦方向の目
標、並びにそれらの目標を達成する攻撃度のレベルを定めることである。横方向の目標は
、レーンの座標系内の所望の位置である(例えば、「目標は、レーン番号2の中央にいる
ことである」)。縦方向の目標は、3つの種類からなる。第1は、他の車両に対する相対
位置及び速度である(例えば、「目標は、車番号3の後ろに車番号3と同じ速度で且つ車
番号3から2秒の距離にいることである」)。第2、は速度目標である(例えば、「この
道路の許容速度に110%を掛けた速度で走行する」)。第3は、特定の位置における速
度制約である(例えば、交差点に到達するときの「停止線における0の速度」、又は急な
カーブを通過するときの「カーブ上の特定の位置における最大60kmhの速度」)。第
3の選択肢では、代わりに「速度プロファイル」(ルート上の幾つかの離散点及びそれら
の点のそれぞれにおける所望の速度)を適用することができる。横方向の目標の妥当な数
は、16=4×4(関連する最大4レーンにおける4つの位置)によって境界を付けられ
る。第1の種類の縦方向の目標の妥当な数は、8×2×3=48(前又は後ろにある関連
する8つの車、及び関連する3つの距離)によって境界を付けられる。絶対速度目標の妥
当な数は、10であり、速度制約の数に対する妥当な上限は、2である。所与の横方向の
目標又は縦方向の目標を実施するには、加速とその後の減速と(又はその逆)を加える必
要がある。目標を達成する積極性は、目標を達成するための(絶対値で)最大限の加速度
/減速度である。目標及び積極性を定めた状態で運動学的計算を使用し、目標を実施する
ための閉じた式が得られる。残った唯一の部分は、横方向の目標と縦方向の目標との間の
組み合わせ(例えば、「横方向の目標から開始し、まさにその途中で縦方向の目標も適用
し始める」)を決定することである。5つの混合時間及び3つの積極性のレベルの組で十
分過ぎるように思われる。全体として、そのサイズが約10である意味論的動作空間を
得た。
[0482] これらの意味論的動作を満たすのに必要な可変時間は、意思決定プロセスの頻
度と同じではないことに触れる価値がある。動的な世界に反応的であるために、高い頻度
において、本発明者らの実装形態では100msごとに意思決定を行うべきである。対照
的にそのような各決定は、はるかに長い対象期間(例えば、10秒)を有する一部の意味
論的動作を満たす軌道を構築することに基づく。軌道の短期プレフィックスをより良く評
価することを促進するため、より長い対象期間を使用する。次の小節では意味論的動作の
評価について解説するが、その前に意味論的動作が十分な探索空間を引き起こすことを主
張する。
[0483] 上記で論じたように、意味論的動作空間は、あり得る全ての幾何学曲線を列挙
するよりも(Tにおいて)そのサイズが指数関数的に小さいあり得る全ての幾何学曲線の
サブセットを引き起こす。最初の即時の質問は、このより小さい探索空間の短期プレフィ
ックスの組が、本発明者らが使用したい全ての幾何学的コマンドを含むかどうかである。
これは、以下の意味で実際に足りる。道路に他のエージェントがない場合、縦方向の目標
、及び/又は絶対加速度のコマンド、及び/又は特定の位置に対する速度制約を設定する
ことを除いて変更を加える理由はない。道路が他のエージェントを含む場合、他のエージ
ェントと優先通行権を折衝したい場合がある。この場合、他のエージェントに対して縦方
向の目標を設定すれば十分である。これらの目標の正確な実施は長期的に変わり得るが、
短期プレフィックスは、さほど変わらない。従って、関連する短期の幾何学的コマンドの
非常に優れた有効範囲が得られる。
[0484] 意味論的動作のための評価関数の構築
[0485] Aで示す意味論的動作の組を定めた。現在状態sにあることを所与とし、最
良のa0Aを選ぶ方法が必要である。この問題に対処するために、[6]の選択肢の
メカニズムと同様の手法をたどる。基本的な考えは、aをメタ動作(meta-action)(
又は選択肢)として考えることである。メタ動作の選択ごとに、メタ動作aの実施を表
す幾何学的軌道(s,a),...,(s,a)を構築する。それを行うには、
当方の動作に他のエージェントがどのように反応するかを当然ながら知る必要があるが、
現在、一部の既知の決定論的関数fについてst+1=f(s,a)が成立するとい
う(非現実的な)仮定を引き続き利用する。状態sにあるときに意味論的動作aを実
行する品質の優れた近似として、

を使用することができる。
[0486] この手法は、強力な運転ポリシをもたらすことができる。しかし、一部の状況
では、より洗練された品質関数が必要な場合がある。例えば、出口レーンに行かなければ
ならないところ、出口レーンの手前で遅いトラックを追走していると仮定する。1つの意
味論的選択肢は、トラックの後ろをゆっくり走行し続けることである。別の意味論的選択
肢は、後に出口レーンに戻って遅れずに出ることができることを願ってトラックを追い越
すことである。先に記載した品質測定は、トラックを追い越した後に何が起きるかを考慮
しないため、たとえ追い越しを行って出口レーンに戻るのに十分な時間があっても第2の
意味論的動作を選択することはない。機械学習は、即時の意味論的動作よりも多くを考慮
に入れる、意味論的動作のより優れた評価を構築することを促進し得る。先に論じたよう
に、即時の幾何学的動作にわたるQ関数の学習は、信号対雑音比が低いこと(利点の欠如
)により問題をはらむ。これは、意味論的動作を検討する場合には問題にならず、それは
、様々な意味論的動作を行うことの間に大きい差があるからであり、且つ意味論的な対象
期間(何個の意味論的動作を考慮に入れるか)が非常に小さい(場合により多くの場合で
3個未満)からである。
[0487] 機械学習を適用することの別の潜在的利点は、汎用化のためであり、すなわち
幾らかの試行錯誤を伴い得る道路の特性の手作業での調査によって全ての道路について十
分な評価関数を設定することができる。しかし、あらゆる道路に自動で汎用化することは
可能であろうか。ここで、未知の道路に対しても汎用化するために、上記で論じた機械学
習法を多岐にわたる道路の種類に基づいてトレーニングすることができる。開示する実施
形態による意味論的動作空間は、潜在的利益を可能にすることができ、すなわち、意味論
的動作は、長い対象期間に関する情報を含み、従って資源効率が良いままでそれらの品質
の非常に正確な評価を得ることができる。
[0488] 他のエージェントのダイナミクス
[0489] これまでのところ、st+1がs及びaの決定論的関数であるという仮定
を利用してきた。前に強調したように、当方の動作が他の道路利用者の振る舞いに影響を
及ぼすため、この仮定は、完全には現実的でない。自らの動作に対する他のエージェント
の一部の反応を考慮に入れる(例えば、安全な割り込みを行う場合、自分の後ろの車は、
背後から当方に追突しないようにその速度を調節すると仮定する)が、他のエージェント
のダイナミクスの全てをモデリングすると仮定するのは現実的ではない。この問題に対す
る解決策は、意思決定を高頻度で再適用し、そうすることにより、本発明者らのモデリン
グを超えた環境の部分に本発明者らのポリシを絶えず適合させることである。ある意味に
おいて、これは、全てのステップにおける世界のマルコフ化と考えることができる。
[0490] 検知
[0491] この節は、検知状態について説明し、検知状態は、シーンの関連情報の記述で
あり、運転ポリシモジュールへの入力を形成する。概して、検知状態は、静的オブジェク
ト及び動的オブジェクトを含む。静的オブジェクトは、レーン、道路の物理的な区切り、
速度に対する制約、優先通行権に対する制約、及び遮蔽体(例えば、合流する道路の関連
部分を遮るフェンス)に関する情報である。動的オブジェクトは、車両(例えば、バウン
ディングボックス、速度、加速度)、歩行者(バウンディングボックス、速度、加速度)
、信号機、道路の動的な区切り(例えば、工事区域のコーン)、一時的な交通標識及び警
察の行動、並びに道路上の他の障害物(例えば、動物やトラックから落ちたマットレス等
)である。
[0492] いかなる妥当なセンサ設定でも正確な検知状態sを得ることは期待できない。
代わりに、x0Xで示す生のセンサ及びマッピングデータを考察し、xを取り適切な検知
状態を作り出す検知システムがある。
[0493] 定義16(検知システム) 検知状態の領域をSが示すものとし、生のセンサ
及びマッピングデータの領域をXとする。検知システムは、関数

である。
[0494]

をsへの妥当な近似としていずれの時点で認めるべきかを理解することは重要である。こ
の質問に答える最終的な方法は、概して本発明者らの運転ポリシの性能、具体的には安全
性に対するこの近似の含意を調べることによる。本発明者らの安全性−快適さの区別に従
い、ここでも危険な挙動につながる検知の間違いと、乗車の快適さの側面に影響を及ぼす
検知の間違いとを区別する。詳細を述べる前に、検知システムが行い得るエラーの種類は
、以下を含み得る。
・偽陰性:検知システムがオブジェクトを見逃す
・偽陽性:検知システムが「実際にはない」オブジェクトを示す
・不正確な測定:検知システムがオブジェクトを正しく検出するが、その位置又は速度
を不正確に推定する
・不正確な意味論:検知システムがオブジェクトを正しく検出するが、その意味論的意
味、例えば信号機の色を間違って解釈する
[0495] 快適さ
[0496] 意味論的動作aについて、現在の検知状態がsであることを所与として、aの
評価を示すためにQ(s,a)を使用したことを想起されたい。本発明者らのポリシは、
動作π(s)=argmaxQ(s,a)を選ぶ。sの代わりに、

を投入した場合、選択される意味論的動作は、

になる。

が成立する場合、

は、sへの優れた近似として受け入れられるべきである。しかし、真の状態sに対する

の質は、何らかのパラメータεについてほぼ最適である、すなわち、

が成立する限り、

を選んでも問題ない。この場合、

がQに対してεaccurateであると本発明者らは言う。必然的に、検知システムが常にεac
curateであることは予期できない。従って、検知システムが幾らかの小さい確率δで失敗
することも認める。この場合、(ValiantのPAC学習用語を借りて)

がProbably(少なくとも1−δのw.p.)、Approximately(εまで)、Correct、又は略し
てPACであると本発明者らは言う。
[0497] システムの様々な側面を評価するために幾つかの(ε,δ)の対を使用するこ
とができる。例えば、軽度のミス、中程度のミス、及び決定的なミスを表すために3つの
閾値ε<ε<εを選び、そのそれぞれに対してδの異なる値を設定することができ
る。これは、以下の定義をもたらす。
[0498] 定義17(PAC検知システム) (精度,信頼性)の対の組を((ε,δ
),...,(ε,δ))とし、検知状態領域をSとし、生のセンサ及びマッピン
グデータ領域をXとし、X×Sにわたる分布をDとする。動作空間をAとし、品質関数を
Q:S×A→|とし、π:S→Aは、π(s)∈argmaxQ(s,a)が成立する
ものとする。全てのi∈{1,...,k}について、

が得られる場合、検知システム

は、上記のパラメータに関して確率的で近似的に正しい(PAC)。
[0499] ここで、定義がX×Sにわたる分布Dに依存する。この分布は、本発明者らの
自律車両の特定のポリシに従うことによってではなく、多くの人間のドライバーのデータ
を記録することによって構築することを強調しておくことが重要である。前者の方が適切
であるように思われるが、後者は、検知システムの開発を実際的でなくするオンライン検
証を必要とする。Dに対する任意の妥当なポリシの影響は小さいため、単純なデータ増補
技法を適用することによって十分な分布を構築し、その後、検知システムの主要な更新ご
とにオフライン検証を行うことができる。この定義は、

を使用して快適な乗車のための十分であるが必要ではない条件を提供する。必要でない理
由は、短期の間違った決定が乗車の快適さに殆ど影響を及ぼさないという重要な事実を無
視するからである。例えば、100メートル先に車両があり、その車両がホスト車両より
も遅いと仮定する。最良の決定は、ここで、弱く加速し始めることである。検知システム
が車両を見逃すが次回(100ミリ秒後に)検出する場合、2つの乗車の違いは、顕著で
はない。提示を単純化するために、この問題を無視し、より強い条件を要求した。マルチ
フレームPAC定義への適合は、概念的に簡単であるが、より技術的である。
[0500] 次に、上記のPAC定義から得られる設計原理を導出する。幾つかの種類の検
知間違いを記載したことを想起されたい。偽陰性、偽陽性、及び不正確な意味論の種類の
間違いでは、間違いが関連しない物体(例えば、直進しているときの左折用信号)に対す
るものであるか、又は定義のδ部分によって捕捉されるかのいずれかである。従って、頻
繁に発生する「不正確な測定」の種類の間違いに焦点を当てる。
[0501] 幾らか意外なことに、自己精度によって(すなわちホスト車両に対する全ての
物体の位置の精度を測定することによって)検知システムの精度を測定する一般的な手法
がPAC検知システムを保証するのに不十分であることを示す。次いで、PAC検知シス
テムを保証する別の手法を提案し、それを効率的に得る方法を示す。幾つかの追加の定義
から始める。
[0502] シーン内の物体оごとに、p(о)、

のそれぞれによるホスト車両の座標系内のоの位置をs、

とする。оとホスト車両との間の距離は、||p||であることに留意されたい。

の付加誤差は、

である。оとホスト車両との間の距離に対する

の相対誤差は、付加誤差割る||p(о)||、すなわち、

である。
[0503] 遠くの物体について付加誤差が小さいことを要求するのは現実的ではない。実
際、оがホスト車両から150メートルの距離にある車両であり、εが中程度のサイズ、
例えばε=0.1のものであると見なす。追加の正確さを得るために、これは、車両の位
置を10cmの精度まで知るべきであることを意味する。これは、手頃な値段のセンサで
は非現実的である。他方では、相対精度では位置を15mの精度に相当する10%まで推
定する必要がある。これは、(以下で説明するように)実現可能である。
[0504] 全てのо∈Оについて、p(о)と、

との間の(相対)誤差が最大εである場合、検知システム

は、物体Оの組をεego-accurateな方法で位置決めする。以下の例は、全ての合理的なQ
に関してεego-accurateな検知状態がPAC検知システムを保証しないことを実証する。
実際、ホスト車両が30m/sの速度で走行し、その150メートル先に停止車両がある
シナリオを検討する。その車両が自車レーン内にある場合且つ遅れずにレーンを変更する
選択肢がない場合、少なくとも3m/sのレートで直ちに減速し始めなければならない
(さもなければ停止が間に合わないか、又は後に更に強く減速しなければならない)。他
方では、その車両が路肩にある場合、強い減速を加える必要はない。p(о)は、これら
の事例の1つである一方、

は、他の事例であり、これらの2つの位置の間には5メートルの差があると仮定する。従
って、

の相対誤差は、以下のようになる。
[0505] すなわち、検知システムは、どちらかと言えば小さいε値(3.5%未満の誤
差)についてεego-accurateである場合があり、更に任意の合理的なQ関数に関して、ブ
レーキを強くかける必要がある状況とブレーキを強くかける必要がない状況とを混同して
いるため、Qの値は、完全に異なる。
[0506] 上記の例は、本発明者らの検知システムがPACであることをεego-accuracy
が保証しないことを示す。PAC検知システムに十分な別の特性があるかどうかはQによ
って決まる。PAC検知システムを保証する単純な位置決めの特性があるQ関数群につい
て説明する。εego-accuracyの問題は、意味論的な間違いを招く可能性があることであり
、上記の例では、

がε<3.5%でεego-accurateでも、車両を正しいレーンに割り当てることに失敗した
。この問題を解決するために、横方向位置に関する意味単位を利用する。
[0507] 定義18(意味単位) レーン中央は、単純な自然の曲線であり、すなわち可
微分単射マッピングl:[a,b]→|であり、全てのa≦t<t≦bについて、
長さ

がt−tに等しい。レーンの幅は、関数w:[a,b]→|である。曲線上への点
x∈|の射影は、xに最も近い曲線上の点、すなわちt=argmint∈[a,b
||l(t)−x||に関する点l(t)である。レーンに対するxの意味論的な縦
方向位置、はtであり、レーンに対するxの意味論的な横方向位置は、l(t)/w
(t)である。上記の一次導関数及び二次導関数として意味論的な速度及び加速度を定
める。
[0508] 幾何学的単位と同様に、意味論的な縦方向距離に関して相対誤差を使用し、真
の距離がp(о)でありながら、

が何らかの物体について

の意味論的な縦方向距離を引き起こす場合、相対誤差は、

である(分母の最大は、物体がほぼ同じ縦方向距離を有する事例(例えば、別のレーン上
の隣の車に対処する)。意味論的な縦方向距離が小さいため、それらに付加誤差を使用す
ることができる。これは、以下の定義をもたらす。
[0509] 定義19(意味単位の誤差) レーンをlとし、レーンに対するホスト車両の
意味論的な縦方向距離が0であると仮定する。ある点を

とし、レーンに対するその点までの意味論的な横方向距離及び縦方向距離をplat(x
),plon(x)とする。近似測定値を



とする。xに対する

とpとの間の距離が以下のように定められる
[0510] 横方向速度及び縦方向速度の距離も同様に定められる。上記の定義を備え、P
AC検知システムに関するQの特性及び対応する十分な条件を定める準備ができている。
[0511] 定義20(Semantically-LipschitzなQ) 全てのa、s、

について、

が成立する場合、Q関数は、L-semantically-Lipschitzであり、

、pは、物体оに関してs、

によって引き起こされる測定である。
[0512] 直接の系として以下が得られる。
[0513] 補助定理8 QがL-semantically-Lipschitzであり、検知システム

が、少なくとも1−δの確率において、

が得られるように意味測定を生成する場合、

は、パラメータ0、δを有するPAC検知システムである。
[0514] 安全性
[0515] この節は、不所望の挙動を引き起こし得る誤差を検知する可能性について論じ
る。先に述べたように、ホストAVに過失がある事故を引き起こさない意味において、ポ
リシは、立証可能な方法で安全である。かかる事故は、ハードウェアの故障(例えば、全
てのセンサの故障又は高速道路上でのパンク)、ソフトウェアの故障(モジュールの一部
における重大なバグ)、又は検知の間違いによって依然として起きる可能性がある。本発
明者らの最終目標は、そのような事象の確率が極めて小さくなること(そのような事故の
1時間当たり10−9の確率)である。この値の真価を評価するために、米国内のドライ
バーが道路上で費やす(2016年の)平均時間数は、300時間未満である。そのため
、期待では、これらの種類の事象の1つから生じる事故に遭うには330万年生きなけれ
ばならない。
[0516] 安全に関連する検知誤差とは何かをまず定める。本発明者らのポリシは、Q(
s,a)を最大化するaの値、すなわちπ(s)=argmaxQ(s,a)をステッ
プごとに選ぶことを想起されたい。慎重でない全ての動作aについてQ(s,a)=−∞
とすることによって安全性を保証する(定義14を参照されたい)。従って、第1の種類
の安全上重大な検知の間違いは、本発明者らの検知システムが危険な動作を選ぶことを招
く場合である。形式的に、

による決定を

とし、

が成立する場合、

が安全上重大な間違いを招くと言える。第2の種類の安全上重大な検知の間違いは、全て
の動作が、

に従って安全ではなく、標準の緊急ポリシ(例えば、ブレーキを強くかけること)を適用
しなければならない一方、sによれば安全な動作、すなわちmaxQ(s,a)>−∞
がある場合である。当方の速度が速く後ろに車がある場合、これは、危険である。このよ
うな間違いを安全上重大なゴーストと呼ぶ。
[0517] 通常、安全上重大な間違いは偽陰性によって引き起こされる一方、安全上重大
なゴーストは、偽陽性によって引き起こされる。このような間違いは、著しく不正確な測
定によって引き起こされることもあるが、殆どの事例において、本発明者らの快適さの目
標は、安全性の定義の境界から本発明者らが遠く隔たっていることを保証し、従って適度
な測定誤差が安全上重大な間違いを引き起こす可能性は低い。安全上重大な間違いの確率
が非常に小さい、例えば1時間当たり10−9未満であることをどのように保証できるで
あろうか。補助定理1から、更なる仮定を行うことなしに10時間よりも長い運転に基
づいて本システムを調べる必要がある。これは、非現実的(又は少なくとも極めて困難)
であり、これは、1年間にわたり330万台の車の運転を記録することに相当する。更に
、そのように高い精度を実現するシステムを構築することは、大きい課題である。システ
ムの設計及び検証の両方の課題に対する解決策は、幾つかのサブシステムを利用すること
であり、それらのサブシステムのそれぞれは、独立に設計され、異なる技術に依存し、個
々の精度を引き上げることを確実にする方法でそれらのシステムが融合される。
[0518] s、s、sで示す3つのサブシステム(4つ以上への拡張は、簡単であ
る)を構築すると仮定する。各サブシステムは、aを受信し、安全/危険を出力すべきで
ある。サブシステムの大多数(この事例では2つ)が安全として受け入れる動作は、安全
と見なされる。少なくとも2つのサブシステムによって安全と見なされる動作がない場合
、デフォルト緊急ポリシが適用される。この融合方式の性能は、以下のように下記の定義
に基づいて分析される。
[0519] 定義21(One side c-approximate independent) 次式

が成立する場合、2つのベルヌーイ確率変数r、rは、one side c-approximate ind
ependentと呼ばれる。
[0520] i0{1,2,3}について、



により、サブシステムiが安全上重大な間違い/ゴーストを行うかどうかをそれぞれ示す
ベルヌーイ確率変数を示す。同様に、e、eは、融合システムの安全上重大な間違い
/ゴーストを示す。任意の対i≠jについて、確率変数



がone sided c-approximate independentであり、同じことが、



にも当てはまるという仮定を利用する。この仮定が合理的である理由を説明する前に、そ
の含意をまず分析したい。eの確率は、

によって境界を付けることができる。
[0521] 従って、全てのサブシステムが、

を有する場合、

が成立する。安全上重大なゴーストの間違いにも全く同じ微分が当てはまる。従って、結
合限界を適用することにより以下のように結論付ける。
[0522] 系2 任意の対i≠jについて、確率変数



がone sided c-approximate independentであり、同じことが、



にも当てはまると仮定する。更に、全てのiについて、

及び

が成立すると仮定する。従って、次式が成立する。
[0523] この系は、検知システムを検証するために著しく小さいデータセットを使用す
ることを可能にする。例えば、10−9の安全上重大な間違いの確率を実現したい場合、
10程度の例を取る代わりに10程度の例を取り、各システムを別々にテストすれば
十分である。
[0524] 無相関な誤差をもたらすセンサの対があり得る。例えば、悪天候の条件に影響
されるが、金属体の影響を受ける可能性が低いカメラとは対照的に、レーダは、悪天候の
条件内で良好に機能するが、関連性のない金属体が原因で機能しない場合がある。一見す
ると、カメラとライダとは共通の誤差源を有し、例えばいずれも霧の多い天候、豪雨又は
雪の影響を受ける。しかし、カメラとライダとでは、誤差の種類が異なり、カメラは、悪
天候によって物体を見逃す可能性があり、ライダは、空気中の粒子からの反射によってゴ
ーストを検出する場合がある。2種類の誤差を区別したため、近似の独立性が引き続き当
てはまる可能性が高い。
[0525] 本発明者らの安全上重要なゴーストの定義は、少なくとも2つのセンサによっ
て全ての動作が危険であることを必要とする。困難な条件(例えば、濃霧)においてもそ
れが起きる可能性は低い。その理由は、そのような状況では、困難な条件の影響を受ける
システム(例えば、ライダ)が、速い速度及び横方向の操作を危険な動作であると宣言す
ることができるため、非常に自衛的な運転を命令するからである。その結果、ホストAV
は、非常にゆっくり走行し、その場合、たとえ緊急停止が必要でも、走行が低速であるた
めに危険ではない。従って、本発明者らの定義は、道路の条件に運転スタイルが適合する
ことをもたらす。
[0526] スケーラブルな検知システムの構築
[0527] 快適さ及び安全性の両方の面での検知システムの要件について説明してきた。
次に、スケーラブルでありながらそれらの要件を満たす検知システムを構築するための手
法について説明する。検知システムの3つの主な構成要素がある。第1の構成要素は、カ
メラに基づくシーンの長距離の360度の有効範囲である。カメラの3つの主な利点は、
(1)高解像度、(2)テクスチャ、(3)価格である。低い価格は、スケーラブルなシ
ステムを可能にする。テクスチャは、レーンマーク、信号機、歩行者の意思、及びその他
のものを含むシーンの意味論を理解できるようにする。高解像度は、長距離の検出を可能
にする。更に、同じ領域内でレーンマーク及び物体を検出することは、優れた意味論的な
横方向の精度を可能にする。カメラの2つの主な不利点は、(1)情報が2Dであり奥行
方向距離の推定が困難であること、(2)照明条件(低い太陽や悪天候)に対する感度で
ある。本システムの次の2つの構成要素を使用してこれらの困難を克服する。
[0528] 本システムの第2の構成要素は、(ホスト車両の環境内で識別される認識済み
陸標の(例えば、画像内の)位置に基づいて目標軌道に沿って正確な位置を決定する能力
と共に、道路区分について予め定められ記憶されている目標軌道に基づくナビゲーション
を含む)REM(Road Experience Management)と呼ばれる意味論的な高精細マッピング
技術である。マップを作成するための一般的な幾何学的手法は、(ライダによって得られ
る)3D点群をマップ作成プロセス内で記録することであり、次いで既存のライダ点をマ
ップ内の点にマッチすることによってマップ上の位置特定が得られる。この手法には幾つ
かの不利点がある。まず、この手法は、多くの点を保存する必要があるため、1キロメー
トルのマッピングデータ当たり大量のメモリを必要とする。これは、高価な通信インフラ
を余儀なくさせる。第2に、全ての車がライダセンサを備えるわけではない可能性がある
ため、マップが非常に低頻度で更新される。道路の変化(工事区域や危険要因)が生じる
可能性があり、ライダに基づくマッピングの解決策の「現実を反映するための時間」は長
い。対照的に、REMは、意味論に基づく手法をたどる。概念は、カメラを備え且つシー
ン内の意味論的に有意な物体(レーンマーク、カーブ、ポール、信号機等)を検出するソ
フトウェアを備える多数の車両を活用することである。今日、クラウドソースによるマッ
プ作成に活用され得るADASシステムを多くの新車が備えている。処理は、車両側で行
われるため、少量の意味データのみがクラウドに伝達されるべきである。これは、スケー
ラブルな方法でマップを非常に頻繁に更新することを可能にする。加えて、自律車両は、
既存の通信プラットフォーム(セルラネットワーク)上で小さいサイズのマッピングデー
タを受信することができる。最後に、高価なライダを必要とすることなしに、マップ上の
非常に正確な位置特定をカメラに基づいて得ることができる。
[0529] REMは、幾つかの目的で使用することができる。まず、REMは、道路の静
的性質に関する先の見通しを与える(高速道路を出る方法についての計画を事前に立てる
ことができる)。第2に、REMは、静的情報の全ての別の正確な情報源を与え、それは
、カメラの検出と共に世界の静的部分のロバストなビューをもたらす。第3に、REMは
、以下のように画像平面の2D情報を3D世界の中に持ち上げる問題を解決する。マップ
は、レーンの全てを3D世界の中の曲線として記述する。マップ上での自車の位置特定は
、道路上の全ての物体を画像平面からその3D位置に自明に持ち上げることを可能にする
。これは、意味単位における精度に従う位置決めシステムをもたらす。システムの第3の
構成要素は、補完的なレーダ及びライダシステムであり得る。これらのシステムは、2つ
の目的に役立ち得る。第1に、これらのシステムは、安全性を増補するための極めて高レ
ベルの精度を提供することができる。第2に、これらのシステムは、速度及び距離に関す
る直接測定を与えることができ、それは、乗車の快適さを更に改善する。
[0530] 以下の節は、RSSシステムの技術的な補助定理及び幾つかの実施上の検討事
項を含む。
[0531] 補助定理9 全てのx0[0,0.1]について、1−x>e−2xが当ては
まる。
証明 f(x)=1−x−e−2xとする。本発明者らの目標は、x0[0,0.1]
について≧0であると示すことである。f(0)=0であり、従って上記の範囲内でf(
x)≧0を得れば十分であることに留意されたい。明確に、f’(x)=−1+2e−2
が成立する。明らかにf’(0)=1であり、単調減少しており、従ってf’(0.1
)>0であることを検証すれば十分であり、これは、数値的に容易に行うことができる(
f’(0.1)≒0.637)。
[0532] 慎重さの効率的検証 − 隠れた物体
[0533] 隠れていない物体と同様に、現在のコマンドを与えること、及びその後DEP
を与えることがRSSかどうかを確認することができる。そのために、露出時点が1であ
ると仮定したとき、tbrakeまで将来をアンロールし、次いで定義上慎重さに関して
十分であるDEPを命令する。隠れた物体に関する最悪の事例を想定したとき、全てのt
’0[0,tbrake]について有過失の事故が起こり得るかどうかを調べる。最悪の
事例の操作及び安全な距離の規則の一部を使用する。遮蔽体に基づく手法を用いて関心点
を見つけ、すなわち遮蔽体ごとに最悪の事例を計算する。これは、決定的な効率駆動型の
手法であり、例えば、歩行者は、車の後ろの多くの位置に隠れることができ、多くの操作
を行い得るが、単一の最悪の事例の位置及び歩行者が行い得る操作がある。
[0534] 次に、隠れた歩行者のより複雑な事例を検討する。駐車車両の後ろの遮蔽領域
を検討する。遮蔽領域内の最も近い点及び当方の車cの前部/側部は、例えば、それらの
幾何学的特性(三角形、矩形)によって見つけることができる。形式的に、遮蔽領域は単
純な形状の少数の凸領域の結合と見なし、そのそれぞれを別々に扱うことができる。更に
歩行者は、あり得る最短経路を使用して車の前部に衝突することができる場合及びその場
合に限り、遮蔽領域から(vlimitの制約下で)車の前部に追突し得ることが分かる
。歩行者が移動し得る最大距離がvlimit・t’であることを使用し、前部にぶつか
る可能性に関する単純な確認を得る。側部への追突に関して、当方の横方向速度が追突方
向にμを上回る場合及びその場合に限り、経路がvlimit・t’よりも短い場合、当
方に責任があることを指摘しておく。開示するのは隠れた歩行者に対する慎重さを検証す
るためのアルゴリズムであり、ここで、自由な擬似コードで示している。車両によって隠
れている歩行者との有過失の事故の可能性があるかどうかの確認である重大な部分は上記
の単純な方法で行われる。
[0535] シミュレータを検証する問題について
[0536] 先に論じたように、マルチエージェントの安全性は、統計的に検証することが
困難な場合があり、それは、かかる検証が「オンライン」式に行われるべきであるためで
ある。運転環境のシミュレータを構築することにより、「研究室」で運転ポリシを検証で
きると唱える者がいる可能性がある。しかし、シミュレータが現実を忠実に表すことを検
証するのは、ポリシ自体を検証するのと同じ程度に難しい。これが該当する理由を理解す
るために、シミュレータに運転ポリシπを適用することは、

の事故の確率をもたらし、現実世界内でのπの事故の確率がpであり、

が成立するという意味でシミュレータが検証されていると仮定する。(0は、10−9
りも小さくなければならない)。次に、運転ポリシをπ’であるように置換する。10
の確率でπ’が人間のドライバーを混乱させ、事故につながる奇妙な動作を行うと仮定
する。元のポリシπの性能を推定する際のシミュレータの極めて優れた機能と矛盾するこ
となしに、この奇妙な動作は、シミュレータ内でモデリングされていない可能性がある(
むしろ、その可能性が高い)。これは、たとえシミュレータが運転ポリシπの現実を反映
することを示していても、別の運転ポリシの現実を反映することを保証しないことを証明
する。
[0537] レーンに基づく座標系
[0538] RSSの定義内で行うことができる1つの仮定の単純化は、道路が一定幅の隣
接した直線レーンによって構成されることである。横軸と縦軸との区別並びに縦方向位置
の順序付けがRSSにおいて重要な役割を果たし得る。更に、それらの方向の定義は、レ
ーンの形状に明確に基づく。平面上の(グローバル)位置からレーンに基づく座標系に変
換することは、問題を元の「一定幅の直線レーン」の事例に減じる。
[0539] レーンの中央が平面上の平滑な有向曲線rであり、r(1),...,r(k
で示すその断片の全てが直線又は弧であると仮定する。曲線の平滑さは、連続する断片
のいかなる対も直線となり得ないことを含意することに留意されたい。形式的に、曲線は
、「縦方向」パラメータY0[Ymin,Ymax]⊂|を平面内にマップし、すなわち
、曲線は、r:[Ymin,Ymax]→|形式の関数である。正のレーン幅値に縦方
向位置Yをマップする連続的なレーン幅関数w:[Ymin,Ymax]→|を定義す
る。それぞれのYについて、rの平滑さから、r┴(Y)で示す位置Yにおける曲線への
単位法線ベクトルを定めることができる。レーン内にある平面上の点のサブセットを以下
のように自然に定める。
R={r(Y)+αw(Y)r┴(Y)|Y0[Ymin,Ymax],α0[±1/
2]}
[0540] 非公式に、本発明者らの目標は、レーン上にある2つの車についてそれらの「
論理的順序付け」が保たれるようにRの変換φを構築することであり、すなわちカーブ上
でcがcの「後ろ」にある場合にはφ(c<φ(cが成立する。c
カーブ上でcの「左側」にある場合にはφ(c<φ(cが成立する。RS
Sと同様にy軸を「縦」軸に、x軸を「横」軸に関連付ける。
[0541] φを定めるために、全てのiについてr(i)が半径ρの弧である場合、r
i)全体を通したレーンの幅は、≦ρ/2であるという仮定を利用する。この仮定は、任
意の現実的な道路に当てはまることに留意されたい。この仮定は、全ての(x’,y’)
0Rについて、(x’,y’)=r(Y’)+α’w(Y’)r┴(Y’)となるような
一意の対Y’0[Ymin,Ymax],α’0[±1/2]が存在することを自明に含
意する。次に、φ:R→|をφ(x’,y’)=(Y’,α’)であるように定めるこ
とができ、(Y’,α’)は、(x’,y’)=r(Y’)+α’w(Y’)r┴(Y’
)を満たす一意の値である。
[0542] この定義は、レーンの座標系内の「横方向の操作」の概念を捉える。例えば、
レーンの境界の1つの真上を車が走行する拡幅レーンを検討する(図23を参照されたい
)。レーン2301の広がりは、車2303がレーンの中央から離れて移動し、従ってレ
ーンに対して横方向速度を有することを意味する。但し、これは、車2303が横方向の
操作を行うことを意味しない。φ(x’,y’)=α’の定義、すなわちw(Y’)単
位でのレーンの中央までの横方向距離は、レーンの境界が±1/2の固定された横方向位
置を有することを含意する。従って、レーンの境界の1つから離れない車は横方向の任意
の移動を行うとは見なされない。最後に、φは、準同形であることが分かる。レーンに基
づく座標系という用語は、φ(R)=[Ymin,Ymax]x[±1/2]について論
じるとき使用される。このようにして、全般的なレーンジオメトリから直線の縦/横座標
系への低減が得られた。
[0543] 全般的な道路構造へのRSSの拡張
[0544] この節では、全ての道路構造に当てはまるRSSの完全な定義について説明す
る。この節は、ポリシがRSSに従うことをどのように効率的に保証するかではなく、R
SSの定義を取り扱う。複数のレーンジオメトリが存在する任意の状況、例えば交差点を
捕捉するために、次にルートの優先権の概念を紹介する。
[0545] 第2の汎用化は、反対方向に走行している2つの車があり得る双方向道路を取
り扱う。この場合、既に確立されているRSSの定義は、対向交通までの「安全な距離」
の軽微な汎用化を伴って引き続き有効である。(信号機を使用して交通の流れを指図する
)管理された交差点は、ルートの優先権及び双方向道路の概念によって完全に対処され得
る。ルートの明確な定義がない非構造化道路(例えば、駐車場)もRSSで対処され得る
。RSSは、この事例でも引き続き有効であり、必要な唯一の修正は、仮想ルートを定め
るための及びそれぞれの車を(場合により幾つかの)ルートに割り当てるための方法であ
る。
[0546] ルートの優先権
[0547] 特定の領域内で重なり合う複数の異なる道路の幾何学的形状が1つのシーン内
にあるシナリオに対処するために、次にルートの優先権の概念を紹介する。図24A〜D
に示す例は環状交差路、交差点、及び高速道路への合流を含む。縦軸及び横軸についての
一貫した意味と共に、全般的なレーンジオメトリをレーンに基づくものに変換する方法に
ついては説明した。次に、異なる道路の幾何学的形状の複数のルートが存在するシナリオ
に対処する。その結果、重なり合う領域に2つの車両が到達するとき、両方の車両が他方
の車両の前方コリドールへの割り込みを行うことになる。(隣接する2つの高速道路のレ
ーンの場合のように)2つのルートが同じ幾何学的形状を有する場合、この現象は、起こ
り得ない。大まかに言うと、ルートの優先権の原理は、ルートr、rが重なり合い且
つrがrに優先する場合、rから来る車両の前方コリドール内に入るrから来る
車両は割り込みを行うと見なされない。
[0548] この概念を形式的に説明するために、事故の過失がレーンの座標系から導出さ
れる幾何学的特性に、及び同じくレーンの座標系に依存する最悪の事例の仮定に依存する
ことを想起されたい。道路の構造を定めるルートをr,...,rとする。単純な例
として、図24Aに示す合流シナリオを検討する。2つの車2401(c)及び240
2(c)がルートr、rをそれぞれ走行しており、rが優先ルートであると仮定
する。例えば、rが高速道路のレーンであり、rが合流レーンであると想定する。ル
ートに基づく座標系をルートごとに定めているため、第1の考察は、任意のルートの座標
系内で任意の操作を検討できることである。例えば、rの座標系を使用した場合、r
に向かって直線に走行することは、rの左側への合流のように思われる。RSSの定義
に対する1つの手法は、∀i0{1,2}の場合及びその場合に限り、操作がrに対し
て安全である場合、車のそれぞれが操作を行えることであり得る。しかし、これは、合流
を行うルートであるrに対して優先ルート上を走行するcが非常に控え目であるべき
ことを含意し、それは、cがルート上を正確に走行することができ、従って横方向位置
で勝利し得るからである。この事例では高速道路上の車に優先通行権があるため、それは
不自然である。この問題を克服するために、ルートの優先権を定める特定の領域を画定し
、ルートの一部のみを安全性に関連があるものと見なす。
[0549] 定義22(ルートの優先権に関する事故責任) r、rが、異なる幾何学
的形状を有する2つの重なり合うルートであると仮定する。rの座標系の縦方向の間隔
[b,e](図25)内でrがrに優先することを表すためにr[b,e]
を使用する。ルートr、r上を走行している車c及びc間で事故が起きたと仮定
する。i0{1,2}では、rの座標系を検討した場合、事故について過失がある車を
⊂{1,2}が示すものとする。事故の過失は、以下の通りである:
・r[b,e]且つrに対する過失時に車の1つがrの系の縦軸の間隔[
b,e]内にあった場合、過失はbによる。
・さもなければ、過失は、b∪b2による。
[0550] この定義を説明するために、高速道路に合流する例を再び検討する。図25の
「b」及び「e」で示す線は、r[b,e]であるb、eの値を示す。従って、
合流する車が、高速道路を走行する車に対して安全でなければならないことを含意しなが
ら、高速道路上で車が自然に走行することを可能にする。具体的には、車2401 c
が横方向速度なしで優先レーンの中央を走行する場合、車2401 cは、非優先レー
ンを走行する車2402 cとの事故について、2402 cが安全な距離で240
1 cのコリドール内に割り込んでいない限り、過失を負わないことに注目されたい。
最終結果は、通常のRSSと非常に似ていることに留意されたい(これは、直線道路上の
車がレーン変更を行おうと試みる事例と全く同じである)。別のエージェントが使用する
ルートが未知である事例があり得ることに留意されたい。例えば、図26では、車260
1は、車2602が経路「a」を取るか、経路「b」を取るかを判定できない場合がある
。この場合、全ての可能性を反復的に調べることによってRSSを得ることができる。
[0551] 双方向交通
[0552] 双方向交通に対処するために、過失の定義に対する修正は、後部/前部の関係
に依存する部分を鮮明にすることを成し遂げ、その理由は、かかる事例においてそれらが
僅かに異なる意味のものであるためである。何らかの直線の2レーン道路を逆向きの縦方
向に走行している、すなわちv1,long・v2,long<0が成立する2つの車c
、cを検討する。駐車中のトラックを追い越すために対向レーンに外れる車又は駐車
場内にバックする車等、レーンに対する運転方向は、合理的な都市シナリオでは負の場合
がある。従って、負の縦速度を非現実的であると想定した事例で紹介した安全な縦方向距
離の定義を拡張する必要がある。cに衝突する前にcがブレーキをかけるのに十分な
反応時間をcによる最大ブレーキが与える場合、cとcとの間の距離は、安全であ
ることを想起されたい。本発明者らの事例では、対向車による「最悪の事例」を僅かに異
なる方法で再び検討し、当然ながら、「最悪の事例」は、対向車が自分に向かって加速す
ることであるとは考えず、衝突を回避するためにブレーキを実際にかけるが、幾らかの適
度なブレーキ力のみを用いることであると考える。車の責任の差を捉えるために、それら
の車の1つが明らかに反対方向に走行する場合、「正しい」運転方向を定義することから
始める。
[0553] 平行レーンに関するRSSの定義では、その中央が割り込み位置に最も近いも
のとして、関連するレーンが定められている。次に、このレーンを検討することに自らを
軽減する(又は対称の場合、定義22にあるように2つのレーンに別々に対処する)こと
ができる。以下の定義では、「進行方位」という用語は、横方向速度を縦方向速度で割っ
たものの(ラジアン単位の)逆正接を示す。
[0554] 定義23(正しい運転方向による(μ,μ,μ)−勝利) c、c
が反対方向に走行している、すなわちv1,long・v2,long<0が成立すると
仮定する。レーンに対するそれらの横位置及び進行方位をx、hとする。以下の条件
の全てが当てはまる場合、cが正しい運転方向により(μ,μ,μ)−勝利する
と言える:
・|h|<μ
・|h−π|<μ
・|x|<μ
[0555] この事象のインジケータをWCDD(i)で示す。
[0556] 言葉では、cは、cが逆方向を取る一方で正しい方向でレーン中央の近く
で走行する場合に勝利する。最大でも1つの車が勝利することができ、車のいずれも勝利
しない場合もある。直観的に、論じた状況で衝突があると仮定する。正しい運転方向で負
ける車cにより多くの責任を課すことが妥当である。正しい運転方向で車が勝利する場
合、これは、amax,brakeを再定義することによって行われる。
[0557] 定義24(妥当なブレーキ力) αmax,brake,wcdd>0をa
ax,brake未満の定数とする。c、cが反対方向に走行していると仮定する。
RBPで示す、それぞれの車cの妥当なブレーキ力は、cが正しい運転方向で(μ
,μ,μ)−勝利する場合にはamax,brake,wcddであり、さもなけ
ればamax,brakeである。
[0558] 正しい運転方向で勝利する/勝利しない場合のamax,brake,wcd
、amax,brakeの正確な値は、定義すべき定数であり、各車が走行する道路及
びレーンの種類に依存し得る。例えば、都市の狭い道では、正しい運転方向で勝利するこ
とは、はるかに小さいブレーキ値を含意しない場合があり、混雑した交通では、自らのレ
ーン内に誰かが明確に外れようが外れまいが車が同様の力でブレーキをかけることを期待
する。しかし、速い速度が許可されている地方の双方向道路の例を検討する。対向レーン
に外れるとき、正しい方向で走行する車がホスト車両との衝突を回避するために非常に強
いブレーキ力を加えることは予期できず、それらの車よりもホスト車両の責任の方が重い
。一方が駐車場へとバックする状態で2つの車が同じレーンにある事例では、異なる定数
を定めることができる。
[0559] 反対方向に走行している車の間の安全な距離、及びその正確な値の即座の導出
を次に定義する。
[0560] 定義25(安全な縦方向距離 − 双方向交通) 反対方向に走行しており、
いずれも互いの前方コリドール内にある車cと別の車cとの間の縦方向距離は、反応
時間ρまでc、cによって行われる任意の加速コマンドa、|a|<amax,ac
celについて、c及びcがその妥当なブレーキ力を時間ρから完全停止まで加える
場合、時間ρに対して安全であり車は衝突しない。
[0561] 補助定理10 c、cを定義25にあるのと同じとする。(iごとの)妥
当なブレーキコマンド及び加速コマンドをRBP、amax,accelとし、車の反
応時間をρとする。車の縦速度をv、vとし、それらの長さをl、lとする。v
i,ρ,max=|v|+ρ・amax,accelと定める。L=(l+l)/
2とする。従って、最小安全縦方向距離は次式のようになる。
[0562] この和における項は、定義25の操作を実行するとき完全に停止するまで各車
が移動する最大距離であることが分かる。従って、完全な停止がLを上回る距離にあるた
めに、最初の距離がこの和及びLの追加の項よりも長くなければならない。
[0563] 双方向交通シナリオの過失/事故責任を定めるために、定義25で定めた危険
な縦方向距離についてRSSの過失時点の同じ定義を使用する。
[0564] 定義26(双方向交通における過失) 反対方向に走行している車c及びc
間の事故の双方向交通における過失は、過失時点における状態の関数であり、以下のよ
うに定められる:
・過失時点が割り込み時でもある場合、過失は、通常のRSSの定義にあるように定め
られる。
・さもなければ、全てのiについて、過失時点後に生じる何らかのtにおいてcが少
なくともRBPの力でブレーキをかけていない場合、過失は、cにある。
[0565] 例えば、過失時点よりも前に行われる安全な割り込みを仮定する。例えば、c
が対向レーンに外れ、cのコリドール内に安全な距離で割り込みを行っている。c
は、正しい運転方向で勝利し、従って、この距離は、非常に長いものであり得る(c
強いブレーキ力を働かせることを期待しておらず、妥当なブレーキ力のみを期待する)。
従って、互いに衝突しない責任が両方の車にある。しかし、割り込みが安全な距離ではな
かった場合、cが横方向の移動なしに自らのレーンの中央を走行した場合、cが無過
失であることを示す通常の定義を使用する。過失は、cのみにある。これは、自らの地
帯内に危険に外れてくる可能性がある交通を心配することなしに、車が自らのレーンの中
央を自然に走行することを可能にする。他方では、都市の混雑した交通で要求される一般
的な操作である対向レーンへの安全な逸脱は認められる。バックによる駐車操作を開始す
る車の例を検討し、その車は、自らの後ろにある車までの距離が安全であることを確認し
ながらバックを開始すべきである。
[0566] 信号機
[0567] 信号機がある交差点を含むシナリオでは、信号機の単純な規則は、「一方の車
のルートが青信号であり、他方の車のルートが赤信号である場合、赤信号のルート上にい
る方に過失がある」ことであると考える人もいることがあり得る。しかし、これは、とり
わけ全ての事例において正しい規則ではない。例えば、図27に示すシナリオを検討する
。たとえ車2701が青信号のルート上にあっても、既に交差点内にある車2703を車
2701が無視することは予期しない。正しい規則は、青信号のルートが赤信号のルート
に対して優先権を有することである。従って、先に記載したルートの優先権の概念に対す
る、信号機に由来する明確な低減が得られる。
[0568] 非構造化道路
[0569] 次に、ルートの明確な幾何学的形状を画定することができない道路を考え、レ
ーン構造が全くないシナリオ(例えば、駐車場)をまず検討する。事故がないことを確実
にする方法は、全ての車が直線に走行する一方、進行方位の変更が生じる場合、自分の周
囲に近い車がないときにかかる変更を行う必要があることを要求することであり得る。こ
の方法の背後にある理論的根拠は、車が、他の車が何を行うかを予測し、それに応じて振
る舞うことができることである。他の車が(進行方位を変えることによって)この予測か
ら逸脱する場合、その操作は、十分に長い距離を伴って行われ、従って予測を訂正するの
に十分な時間があり得る。レーン構造がある場合、他の車が何を行うかについてのより賢
明な予測が可能になり得る。レーン構造が全くない場合、車は、その現在の進行方位に従
って進む。厳密に言えば、これは、全ての車にその進行方位に従って仮想的な直線ルート
を割り当てることと均等である。次に、(例えば、パリのArc de Triompheの周りにある
)大規模な非構造化環状交差路におけるシナリオを検討する。ここで、分別のある予測は
、車がそのオフセットを保ちながら環状交差路の幾何学的形状に従って進むと想定するこ
とである。厳密に言えば、これは、全ての車に環状交差路の中心からのその現在のオフセ
ットに従って仮想的な弧の経路を割り当てることと均等である。
[0570] 実施する特定のナビゲーション命令を決定するときに潜在的な事故責任を考慮
するナビゲーションシステムを提供するために、上記の運転ポリシシステム(例えば、R
Lシステム)を、記載した事故責任規則の1つ又は複数と共に実装することができる。規
則に既に準拠しているシステムによって提案ナビゲーション動作が開発されるように、か
かる規則は、計画段階中、例えばプログラムされた命令の組内又はトレーニング済みモデ
ル内で適用され得る。例えば、運転ポリシモジュールは、例えば、RSSが基づく1つ又
は複数のナビゲーション規則の責任を負うか、又はかかるナビゲーション規則を使ってト
レーニングされ得る。加えて又は或いは、提案ナビゲーション動作が準拠していることを
確実にするために、計画段階によって提案される全ての提案ナビゲーション動作を、関連
する事故責任規則に対してテストするフィルタ層としてRSS安全制約を適用することが
できる。特定の動作がRSS安全制約に準拠している場合、その動作を実施することがで
きる。そうではなく、提案ナビゲーション動作がRSS安全制約に準拠していない場合(
例えば、提案動作が上記の規則の1つ又は複数に基づいてホスト車両にとっての事故責任
を発生させる可能性がある場合)、その動作は行われない。
[0571] 実際には、特定の実装形態は、ホスト車両のためのナビゲーションシステムを
含み得る。ホスト車両は、ホスト車両の環境を表す画像を動作中に捕捉する画像捕捉装置
(例えば、上記に記載したもののいずれか等の1つ又は複数のカメラ)を備えることがで
きる。画像情報を使用し、運転ポリシは、複数の入力を取り込み、ホスト車両のナビゲー
ション目標を達成するための計画されたナビゲーション動作を出力することができる。運
転ポリシは、様々な入力(例えば、目標車両、道路、物体、歩行者等を含むホスト車両の
周囲を示す1つ又は複数のカメラからの画像、ライダ又はレーダシステムからの出力、速
度センサやサスペンションセンサ等からの出力、ホスト車両の1つ又は複数の目標、例え
ば乗客を特定の位置に届けるためのナビゲーション計画を表す情報等)を受け付けること
ができるプログラムされた命令の組やトレーニング済みネットワーク等を含み得る。その
入力に基づき、プロセッサは、例えば、カメラ画像、ライダ出力、レーダ出力等を分析す
ることによりホスト車両の環境内の目標車両を識別することができる。幾つかの実施形態
では、プロセッサは、1つ又は複数のカメラ画像、ライダ出力及び/又はレーダ出力等の
1つ又は複数の入力を分析することにより、ホスト車両の環境内の目標車両を識別するこ
とができる。更に幾つかの実施形態では、プロセッサは、(例えば、1つ又は複数のカメ
ラ画像、ライダ出力及び/又はレーダ出力を分析し、入力の大多数の合致又は組み合わせ
に基づいて目標車両を識別する検出結果を受信することにより)センサ入力の大多数又は
組み合わせの合致に基づいて、ホスト車両の環境内の目標車両を識別することができる。
[0572] 運転ポリシモジュールが入手可能な情報に基づき、ホスト車両のナビゲーショ
ン目標を達成するための1つ又は複数の計画されたナビゲーション動作の形式で、出力を
提供することができる。幾つかの実施形態では、計画されたナビゲーション動作のフィル
タとして、RSS安全制約を適用することができる。すなわち、計画されたナビゲーショ
ン動作は、決定されると、識別された目標車両に対するホスト車両の潜在的な事故責任を
決定するために、少なくとも1つの事故責任規則(例えば、上記で論じた事故責任規則の
いずれか)に対してテストすることができる。先に述べたように、少なくとも1つの事故
責任規則に対する計画されたナビゲーション動作のテストが、計画されたナビゲーション
動作が行われる場合にホスト車両について潜在的な事故責任があり得ることを示す場合、
プロセッサは、計画されたナビゲーション動作をホスト車両に実施させないことができる
。他方では、少なくとも1つの事故責任規則に対する計画されたナビゲーション動作のテ
ストが、計画されたナビゲーション動作が行われる場合にホスト車両について事故責任が
生じないであろうことを示す場合、プロセッサは、計画されたナビゲーション動作をホス
ト車両に実施させることができる。
[0573] 幾つかの実施形態では、システムは、少なくとも1つの事故責任規則に対して
複数の潜在的なナビゲーション動作をテストすることができる。テストの結果に基づき、
システムは、それらの潜在的なナビゲーション動作を、複数の潜在的なナビゲーション動
作のサブセットへとフィルタリングすることができる。例えば、幾つかの実施形態では、
そのサブセットは、少なくとも1つの事故責任規則に対するテストが、潜在的なナビゲー
ション動作が行われる場合にホスト車両について事故責任が生じないであろうことを示す
潜在的なナビゲーション動作のみを含み得る。次いで、システムは、事故責任のない潜在
的なナビゲーション動作をスコア付け及び/又は優先順位付けし、実施するためのナビゲ
ーション動作の1つを例えば最適化されたスコア又は最も高い優先順位に基づいて選択す
ることができる。このスコア及び/又は優先順位は、例えば、乗客にとって最も安全、最
も効率的、最も快適等と見なされる潜在的なナビゲーション動作等、1つ又は複数の要因
に基づき得る。
[0574] 一部の例では、特定の計画されたナビゲーション動作を実施するかどうかの判
定は、計画された動作後の次の状態においてデフォルトの緊急手続きを利用できるかどう
かにも依存し得る。DEPを利用できる場合、RSSフィルタはその計画された動作を承
認することができる。他方では、DEPを利用できない場合、次の状態が危険なものと見
なされる場合があり、計画されたナビゲーション動作が拒否され得る。幾つかの実施形態
では、計画されたナビゲーション動作が少なくとも1つのデフォルトの緊急手続きを含み
得る。
[0575] 記載したシステムの1つの利点は、車両による安全な動作を保証するために、
特定の目標車両に対するホスト車両の動作のみを検討する必要があることである。従って
2つ以上の目標車両がある場合、ホスト車両付近の影響区域内の(例えば、25メートル
、50メートル、100メートル、200メートル等の範囲内の)目標車両に対し、ホス
ト車両の計画された動作を事故責任規則に関して逐次的にテストすることができる。実際
には、少なくとも1つのプロセッサは、ホスト車両の環境を表す少なくとも1つの画像の
分析に基づいて(又はライダ情報又はレーダ情報等に基づいて)ホスト車両の環境内の複
数の他の目標車両を識別し、且つ複数の他の目標車両のそれぞれに対するホスト車両の潜
在的な事故責任を決定するために、少なくとも1つの事故責任規則に対する計画されたナ
ビゲーション動作のテストを繰り返すように更にプログラムされ得る。少なくとも1つの
事故責任規則に対する計画されたナビゲーション動作の繰り返されたテストが、計画され
たナビゲーション動作が行われる場合にホスト車両について潜在的な事故責任があり得る
ことを示す場合、プロセッサは、計画されたナビゲーション動作をホスト車両に実施させ
ないことができる。少なくとも1つの事故責任規則に対する計画されたナビゲーション動
作の繰り返されたテストが、計画されたナビゲーション動作が行われる場合にホスト車両
について事故責任が生じないであろうことを示す場合、プロセッサは、計画されたナビゲ
ーション動作をホスト車両に実施させることができる。
[0576] 先に述べたように、上記の規則のいずれもRSS安全テストの基礎として使用
することができる。幾つかの実施形態では、少なくとも1つの事故責任規則は、識別され
た目標車両の後方の距離であって、その中にホスト車両が事故責任の可能性なしに進むこ
とができない距離を定める追走規則を含む。他の事例では、少なくとも1つの事故責任規
則は、識別された目標車両の前方の距離であって、その中にホスト車両が事故責任の可能
性なしに進むことができない距離を定める先行規則を含む。
[0577] 上記のシステムは、結果として生じる事故の責任を負うことになるいかなる動
作もホスト車両が行うべきではないという規則に対する準拠をテストするためにRSS安
全テストを単一の計画されたナビゲーション動作に適用することができるが、テストは、
2つ以上の計画されたナビゲーション動作に適用することもできる。例えば、幾つかの実
施形態では、少なくとも1つのプロセッサは、少なくとも1つの運転ポリシを適用するこ
とに基づいて、ホスト車両のナビゲーション目標を達成するための2つ以上の計画された
ナビゲーション動作を決定する場合がある。これらの状況では、プロセッサは、潜在的な
事故責任を決定するために2つ以上の計画されたナビゲーション動作のそれぞれを少なく
とも1つの事故責任規則に対してテストすることができる。2つ以上の計画されたナビゲ
ーション動作のそれぞれについて、テストが、2つ以上の計画されたナビゲーション動作
の特定の1つが行われる場合にホスト車両について潜在的な事故責任があり得ることを示
す場合、プロセッサは、計画されたナビゲーション動作の当該特定の1つをホスト車両に
実施させないことができる。他方では、2つ以上の計画されたナビゲーション動作のそれ
ぞれについて、テストが、2つ以上の計画されたナビゲーション動作の特定の1つが行わ
れる場合にホスト車両について事故責任が生じないであろうことを示す場合、プロセッサ
は、2つ以上の計画されたナビゲーション動作の当該特定の1つを実施のための存立可能
な候補として識別することができる。次に、プロセッサは、少なくとも1つのコスト関数
に基づき、実施のための存立可能な候補の中から行われるナビゲーション動作を選択する
ことと、選択されたナビゲーション動作をホスト車両に実施させることとを行うができる
[0578] RSSの実装は、ホスト車両と1つ又は複数の目標車両との間の事故に関する
相対的な潜在的責任の決定に関係することから、安全の準拠のために、計画されたナビゲ
ーション動作をテストすることと共に、システムは、遭遇する車両の事故責任の潜在性を
追跡することができる。例えば、システムは、結果として生じる事故がホスト車両の責任
を招くことになる動作を行うことを回避できる可能性があるだけではなく、ホスト車両シ
ステムは、1つ又は複数の目標車両を追跡し、それらの目標車両によっていずれの事故責
任規則が破られているかを識別し追跡することもでき得る。幾つかの実施形態では、ホス
ト車両のための事故責任追跡システムは、ホスト車両の環境を表す少なくとも1つの画像
を画像捕捉装置から受信することと、少なくとも1つの画像を分析してホスト車両の環境
内の目標車両を識別することとを行うようにプログラムされる少なくとも1つの処理デバ
イスを含み得る。少なくとも1つの画像の分析に基づき、プロセッサは、識別された目標
車両のナビゲーション状態の1つ又は複数の特性を決定するためのプログラミングを含み
得る。車両速度、レーンの中央までの近さ、横方向速度、移動方向、ホスト車両からの距
離、進行方位、又は上記の規則のいずれかに基づいて潜在的な事故責任を決定するために
使用され得る他の任意のパラメータ等、ナビゲーション状態は、目標車両の様々な動作特
性を含み得る。プロセッサは、識別された目標車両のナビゲーション状態の決定された1
つ又は複数の特性を少なくとも1つの事故責任規則(例えば、横方向速度で勝利すること
、方向的な優先権、レーンの中央までの距離で勝利すること、追走の距離又は先行の距離
、割り込み等の上記の規則のいずれか)と比較することができる。状態の1つ又は複数の
規則との比較に基づき、プロセッサは、識別された目標車両側の潜在的な事故責任を示す
少なくとも1つの値を記憶することができる。事故が発生した場合、プロセッサは、記憶
された少なくとも1つの値の出力を(例えば、有線又は無線の任意の適切なデータインタ
フェースを介して)提供することができる。かかる出力は、例えば、ホスト車両と少なく
とも1つの目標車両との間の事故後に提供することができ、その出力は、事故責任の指示
のために使用することができ、或いは事故責任の指示を提供することができる。
[0579] 潜在的な事故責任を示す少なくとも1つの値は、任意の適切な時点において及
び任意の適切な条件下で記憶することができる。幾つかの実施形態では、ホスト車両が、
識別された目標車両との衝突を回避できないと判定される場合、少なくとも1つの処理デ
バイスは、識別された目標車両に関する衝突責任値を割り当て且つ記憶することができる
[0580] 事故責任追跡機能は、単一の目標車両に限定されず、むしろ遭遇する複数の目
標車両の潜在的な事故責任を追跡するために使用することができる。例えば、少なくとも
1つの処理デバイスは、ホスト車両の環境内の複数の目標車両を検出することと、複数の
目標車両のそれぞれのナビゲーション状態特性を決定することと、目標車両のそれぞれに
関するそれぞれのナビゲーション状態特性の少なくとも1つの事故責任規則との比較に基
づき、複数の目標車両のそれぞれの1つの側の潜在的な事故責任を示す値を決定及び記憶
することとを行うようにプログラムされ得る。先に述べたように、責任を追跡するための
基礎として使用することができる事故責任規則は、上記の規則のいずれか又は他の任意の
適切な規則を含み得る。例えば、少なくとも1つの事故責任規則は、横方向速度規則、横
方向位置規則、運転方向の優先権の規則、信号機に基づく規則、交通標識に基づく規則、
ルートの優先権の規則等を含み得る。事故責任追跡機能は、RSS(例えば、ホスト車両
の任意の動作が結果として生じる事故に関する潜在的責任を招くかどうか)を検討するこ
とに基づく安全なナビゲーションと結合することもできる。
[0581] RSSに従って事故責任を検討することに基づくナビゲーションに加えて、ナ
ビゲーションは、車両のナビゲーション状態及び将来の特定のナビゲーション状態が安全
と見なされるかどうか(上記で詳細に説明したように、例えば事故を回避できるように又
は結果として生じる任意の事故がホスト車両の責任と見なされないように、DEPが存在
するかどうか)を判定することに関して検討することもできる。ホスト車両を制御して安
全な状態から安全な状態にナビゲートすることができる。例えば、任意の特定の状態にお
いて、運転ポリシを使用して1つ又は複数の計画されたナビゲーション動作を生成し、計
画された各動作に対応する将来予測される状態がDEPを提供するかどうかを判定するこ
とにより、それらの動作をテストすることができる。DEPを提供する場合、DEPを提
供する1つ又は複数の計画されたナビゲーション動作が安全と見なされ得、実施する資格
を与えられ得る。
[0582] 幾つかの実施形態では、ホスト車両のためのナビゲーションシステムは、ホス
ト車両の環境を表す少なくとも1つの画像を画像捕捉装置から受信することと、ホスト車
両のナビゲーション目標を達成するための計画されたナビゲーション動作を少なくとも1
つの運転ポリシに基づいて決定することと、少なくとも1つの画像を分析してホスト車両
の環境内の目標車両を識別することと、識別された目標車両に対するホスト車両の潜在的
な事故責任を決定するために、計画されたナビゲーション動作を少なくとも1つの事故責
任規則に対してテストすることと、少なくとも1つの事故責任規則に対する計画されたナ
ビゲーション動作のテストが、計画されたナビゲーション動作が行われる場合にホスト車
両について潜在的な事故責任があり得ることを示す場合、計画されたナビゲーション動作
をホスト車両に実施させないことと、少なくとも1つの事故責任規則に対する計画された
ナビゲーション動作のテストが、計画されたナビゲーション動作が行われる場合にホスト
車両について事故責任が生じないであろうことを示す場合、計画されたナビゲーション動
作をホスト車両に実施させることとを行うようにプログラムされる少なくとも1つの処理
デバイスを含み得る。
[0583] 幾つかの実施形態では、ホスト車両のためのナビゲーションシステムは、ホス
ト車両の環境を表す少なくとも1つの画像を画像捕捉装置から受信することと、ホスト車
両のための複数の潜在的なナビゲーション動作を少なくとも1つの運転ポリシに基づいて
決定することと、少なくとも1つの画像を分析してホスト車両の環境内の目標車両を識別
することと、識別された目標車両に対するホスト車両の潜在的な事故責任を決定するため
に、複数の潜在的なナビゲーション動作を少なくとも1つの事故責任規則に対してテスト
することと、潜在的なナビゲーション動作の1つを選択することであって、潜在的なナビ
ゲーション動作のその1つについて、テストは、選択される潜在的なナビゲーション動作
が行われる場合にホスト車両について事故責任が生じないであろうことを示す、潜在的な
ナビゲーション動作の1つを選択することと、選択された潜在的なナビゲーション動作を
ホスト車両に実施させることとを行うようにプログラムされる少なくとも1つの処理デバ
イスを含み得る。一部の例では、選択される潜在的なナビゲーション動作は、複数の潜在
的なナビゲーション動作のサブセットであって、複数の潜在的なナビゲーション動作のそ
のサブセットについて、テストは、複数の潜在的なナビゲーション動作のサブセットのい
ずれかが行われた場合にホスト車両について事故責任が生じないであろうことを示す、複
数の潜在的なナビゲーション動作のサブセットから選択され得る。更に一部の例では、選
択された潜在的なナビゲーション動作は、スコアリングパラメータに従って選択され得る
[0584] 幾つかの実施形態では、ホスト車両をナビゲートするためのシステムは、ホス
ト車両の環境を表す少なくとも1つの画像を画像捕捉装置から受信することと、ホスト車
両のナビゲーション目標を達成するための計画されたナビゲーション動作を少なくとも1
つの運転ポリシに基づいて決定することとを行うようにプログラムされる少なくとも1つ
の処理デバイスを含み得る。プロセッサは、少なくとも1つの画像を分析してホスト車両
の環境内の目標車両を識別することと、計画されたナビゲーション動作が行われた場合に
生じることになる、ホスト車両と目標車両との間の次の状態の距離を決定することと、ホ
スト車両の現在の最大ブレーキ能力及びホスト車両の現在の速度を決定することと、目標
車両の現在の速度を決定し、且つ目標車両の少なくとも1つの認識された特性に基づいて
目標車両の最大ブレーキ能力を仮定することと、ホスト車両の最大ブレーキ能力及びホス
ト車両の現在の速度を所与として、目標車両の現在の速度及び目標車両の仮定された最大
ブレーキ能力に基づいて決定される目標車両の移動距離に、決定された次の状態の距離を
加算したもの未満である停止距離内でホスト車両が停止され得る場合、計画されたナビゲ
ーション動作を実施することとを行うこともできる。停止距離は、ホスト車両がブレーキ
なしの反応時間中に移動する距離を更に含み得る。
[0585] 目標車両の最大ブレーキ能力がそれに基づいて決定される目標車両の認識され
る特性は、任意の適切な特性を含み得る。幾つかの実施形態では、この特性が車両の種類
(例えば、そのそれぞれが異なるブレーキプロファイルに関連し得るオートバイ、車、バ
ス、トラック)、車両のサイズ、予測される又は既知の車両の重さ、(例えば、既知のブ
レーキ能力を調べるために使用され得る)車両のモデル等を含み得る。
[0586] 幾つかの場合、安全な状態の判定を2つ以上の目標車両に対して行うことがで
きる。例えば、幾つかの場合、(距離及びブレーキ能力に基づく)安全な状態の判定は、
ホスト車両に先行する2つ以上の識別された目標車両に基づき得る。かかる判定は、とり
わけ先頭の目標車両の前に何があるかに関する情報を入手できない場合に有用であり得る
。この場合、安全な状態、安全な距離、及び/又は利用可能なDEPを判定するために、
検出可能な先頭車両が動かない又はほぼ動かない障害物との差し迫った衝突を経験すると
仮定することができ、そのため、追走する目標車両は、自らのブレーキプロファイルが認
めるよりも速く停止に到達し得る(例えば、第2の目標車両は第1の先頭車両と衝突し、
その結果、予期される最大ブレーキ条件よりも速く停止に到達し得る)。その場合、安全
な状態、安全な追走距離、DEPの決定をホスト車両に対する識別された先頭の目標車両
の位置に基づかせることが重要であり得る。
[0587] 幾つかの実施形態では、このような安全な状態から安全な状態へのナビゲーシ
ョンシステムは、ホスト車両の環境を表す少なくとも1つの画像を画像捕捉装置から受信
するようにプログラムされる少なくとも1つの処理デバイスを含み得る。ここでも他の実
施形態と同様に、画像捕捉装置(例えば、カメラ)によって捕捉される画像情報をライダ
又はレーダシステム等の1つ又は複数の他のセンサから得られる情報で補うことができる
。幾つかの実施形態では、ナビゲートに使用される画像情報は、光学カメラからではなく
、ライダ又はレーダシステムから生じることさえできる。少なくとも1つのプロセッサは
、ホスト車両のナビゲーション目標を達成するための計画されたナビゲーション動作を少
なくとも1つの運転ポリシに基づいて決定することができる。プロセッサは、(例えば、
ホスト車両の環境の画像をそれから光学や距離マップ等に基づいて得ることができるカメ
ラ、レーダ、ライダ、又は他の任意の装置から得られる)少なくとも1つの画像を分析し
てホスト車両の前方の第1の目標車両及び第1の目標車両の前方の第2の目標車両を識別
することができる。次いで、プロセッサは、計画されたナビゲーション動作が行われた場
合に生じることになる、ホスト車両と第2の目標車両との間の次の状態の距離を決定する
ことができる。次に、プロセッサは、ホスト車両の現在の最大ブレーキ能力及びホスト車
両の現在の速度を決定することができる。プロセッサは、ホスト車両の最大ブレーキ能力
及びホスト車両の現在の速度を所与として、ホスト車両と第2の目標車両との間の決定さ
れた次の状態の距離未満である停止距離内でホスト車両が停止され得る場合、計画された
ナビゲーション動作を実施することができる。
[0588] すなわち、衝突なしに又はホスト車両に責任が帰する衝突なしに、先行する可
視の目標車両とホスト車両との間に次の状態の距離において停止するのに十分な距離があ
るとホスト車両のプロセッサが判定する場合、及び先行する可視の目標車両が任意の瞬間
において突然完全に停止すると仮定し、ホスト車両のプロセッサは、計画されたナビゲー
ション動作を行うことができる。他方では、衝突なしにホスト車両を停止させるのに十分
な空間がない場合、計画されたナビゲーション動作が行われない可能性がある。
[0589] 加えて、幾つかの実施形態では、次の状態の距離がベンチマークとして使用さ
れ得るが、他の事例では、計画されたナビゲーション動作を行うべきかどうかを判定する
ために別の距離値が使用され得る。上記で説明したものと同様に、幾つかの場合、衝突を
回避するためにホスト車両を停止しなければならない可能性がある実際の距離は、予測さ
れる次の状態の距離を下回る場合がある。例えば、先行する可視の目標車両の後に1つ又
は複数の他の車両(上記の例では第1の目標車両)が続く場合、実際の予測される所要停
止距離は、予測される次の状態の距離から先行する可視の目標車両を追走する目標車両の
長さを引いたものになる。先行する可視の目標車両が突然停止した場合、後続の目標車両
が先行する可視の目標車両と衝突し、その結果、それらの車両も衝突を回避するためにホ
スト車両によって回避されなければならないと想定することができる。従って、ホスト車
両のプロセッサは、次の状態の距離からホスト車両と先行する可視の/検出された目標車
両との間に介在する任意の目標車両の合計長を引いたものを評価して、衝突なしに最大ブ
レーキ条件下でホスト車両を停止させるのに十分な空間があるかどうかを判定することが
できる。
[0590] 他の実施形態では、ホスト車両と1つ又は複数の先行する目標車両との間の衝
突を評価するためのベンチマーク距離は、予測される次の状態の距離を上回る場合がある
。例えば、幾つかの場合、先行する可視の/検出された目標車両が直ちにではないが迅速
に停止する場合があり、それにより先行する可視の/検出された目標車両が想定される衝
突後に短距離移動する。例えば、その車両が駐車中の車に衝突した場合、衝突側の車両は
完全に止まるまで幾らかの距離を引き続き移動し得る。想定される衝突後の移動距離は、
関連する目標車両に関する想定又は決定された最小停止距離を下回る場合がある。従って
、幾つかの場合、ホスト車両のプロセッサは、計画されたナビゲーション動作を行うかど
うかを評価する際に次の状態の距離を長くすることができる。例えば、この決定の際、先
行する/可視の目標車両が想定される差し迫った衝突後に移動し得る妥当な距離に対処す
るために、次の状態の距離を5%、10%、20%等長くすることができ、又は所定の固
定距離(10m、20m、50m等)で補うことができる。
[0591] 評価の際に次の状態の距離を想定距離値の分だけ長くすることに加えて、先行
する可視の/検出された目標車両による衝突後の移動距離と、先行する可視の/検出され
た目標車両を追走する(先行する可視の/検出された車両が突然停止した後、その車両と
多重衝突すると仮定され得る)任意の目標車両の長さとの両方を考慮して次の状態の距離
を修正することができる。
[0592] 計画されたナビゲーション動作を行うかどうかの判定を、ホスト車両と、先行
する可視の/検出された目標車両との間の(先行する可視の/検出された目標車両の衝突
後の移動及び/又は先行する可視の/検出された目標車両を追走する車両の長さを考慮す
ることによって修正される)次の状態の距離に基づかせることに加えて、ホスト車両は、
自らの判定において1つ又は複数の先行車両のブレーキ能力を考慮し続けることができる
。例えば、ホスト車両のプロセッサは、計画されたナビゲーション動作が行われた場合に
生じることになる、ホスト車両と第1の目標車両(例えば、先行する可視の/検出された
目標車両を追走する目標車両)との間の次の状態の距離を決定することと、第1の目標車
両の現在の速度を決定し、且つ第1の目標車両の少なくとも1つの認識された特性に基づ
いて第1の目標車両の最大ブレーキ能力を仮定することと、ホスト車両の最大ブレーキ能
力及びホスト車両の現在の速度を所与として、第1の目標車両の現在の速度及び第1の目
標車両の仮定された最大ブレーキ能力に基づいて決定される第1の目標車両の移動距離に
、ホスト車両と第1の目標車両との間の決定された次の状態の距離を加算したもの未満で
ある停止距離内でホスト車両が停止され得ない場合、計画されたナビゲーション動作を実
施しないこととを、続けることができる。ここでも上記の例と同様に、第1の目標車両の
認識された特性は、車両の種類、車両のサイズ、車両のモデル等を含み得る。
[0593] 幾つかの場合、(例えば、他の車両の動作により)ホスト車両は、衝突が差し
迫っており不可避であると判定する場合がある。その場合、ホスト車両のプロセッサは、
結果として生じる衝突がホスト車両の責任を発生させないナビゲーション動作(存在する
場合)を選択するように構成され得る。加えて又は或いは、ホスト車両のプロセッサは、
現在の軌道よりも又は1つ若しくは複数の他のナビゲーション動作と比較してホスト車両
に一層少ない潜在的損害を与え又は目標物に一層少ない潜在的損害を与えるナビゲーショ
ン動作を選択するように構成され得る。更に幾つかの場合、ホスト車両のプロセッサは、
衝突が予期される1つ又は複数の物体の種類を検討することに基づいてナビゲーション動
作を選択することができる。例えば、第1のナビゲーション動作では、駐車中の車との衝
突に直面し、又は第2のナビゲーション動作では動かない物体との衝突に直面する場合、
ホスト車両により少ない潜在的損害を与える動作(例えば、駐車中の車との衝突をもたら
す動作)を選択することができる。第1のナビゲーション動作では、ホスト車両と同様の
方向に移動する車との衝突に直面し、又は第2のナビゲーション動作では駐車中の車との
衝突に直面する場合、ホスト車両により少ない潜在的損害を与える動作(例えば、移動中
の車との衝突をもたらす動作)を選択することができる。第1のナビゲーション動作の結
果として歩行者との衝突に直面し、又は第2のナビゲーション動作では他の任意の物体と
の衝突に直面する場合、歩行者との衝突に対する任意の代替策を提供する動作を選択する
ことができる。
[0594] 実際には、ホスト車両をナビゲートするためのシステムは、ホスト車両の環境
を表す少なくとも1つの画像(例えば、可視画像、ライダ画像、レーダ画像等)を画像捕
捉装置から受信することと、ホスト車両の現在のナビゲーション状態のインジケータを少
なくとも1つのセンサから受信することと、少なくとも1つの画像の分析及びホスト車両
の現在のナビゲーション状態のインジケータに基づいて、ホスト車両と1つ又は複数の物
体との間の衝突が不可避であると判定することとを行うようにプログラムされる少なくと
も1つの処理デバイスを含み得る。プロセッサは、利用可能な代替策を評価することがで
きる。例えば、プロセッサは、少なくとも1つの運転ポリシに基づいて第1の物体との予
期される衝突を伴うホスト車両のための第1の計画されたナビゲーション動作と、第2の
物体との予期される衝突を伴うホスト車両のための第2の計画されたナビゲーション動作
とを決定することができる。潜在的な事故責任を決定するために、第1の計画されたナビ
ゲーション動作及び第2の計画されたナビゲーション動作を少なくとも1つの事故責任規
則に対してテストすることができる。少なくとも1つの事故責任規則に対する第1の計画
されたナビゲーション動作のテストが、第1の計画されたナビゲーション動作が行われる
場合にホスト車両について潜在的な事故責任があり得ることを示す場合、プロセッサは、
第1の計画されたナビゲーション動作をホスト車両に実施させないことができる。少なく
とも1つの事故責任規則に対する第2の計画されたナビゲーション動作のテストが、第2
の計画されたナビゲーション動作が行われる場合にホスト車両について事故責任が生じな
いであろうことを示す場合、プロセッサは、第2の計画されたナビゲーション動作をホス
ト車両に実施させることができる。物体は、他の車両又は車両ではない物体(例えば、道
路の瓦礫、木、ポール、標識、歩行者等)を含み得る。
[0595] 以下の図面及び解説は、開示するシステム及び方法をナビゲートし実施すると
きに生じ得る様々なシナリオの例を与える。これらの例では、ある動作であって、その動
作を行った場合に結果として生じる事故についてホスト車両に帰せられる過失が発生する
、動作を行うことをホスト車両が回避し得る。
[0596] 図28A及び図28Bは、以下のシナリオ及び規則の例を示す。図28Aに示
すように、車両2804(例えば、目標車両)を取り囲む領域は、車両2804の後ろで
距離を置いてレーン内を走行している車両2802(例えば、ホスト車両)にとっての最
小安全距離コリドールを表す。開示する実施形態と合致する1つの規則によれば、車両2
802に過失が帰せられる事故を回避するために、車両2802は、車両2802を取り
囲む領域内に留まることによって最小安全距離を保つ必要がある。対照的に、図28Bに
示すように、車両2804がブレーキをかけた場合、事故が発生した場合には車両280
2に帰責事由がある。
[0597] 図29A及び図29Bは、割り込みシナリオにおける過失の例を示す。これら
のシナリオでは、車両2902の周りの安全コリドールが割り込み操作の帰責事由を決定
する。図29Aに示すように、車両2902が車両2902の前に割り込んでおり、(車
両2902を取り囲む領域によって示す)安全な距離を侵害しており、従って帰責事由が
ある。図29Bに示すように、車両2902が車両2902の前に割り込んでいるが、車
両2904の前の安全な距離を保っている。
[0598] 図30A及び図30Bは、割り込みシナリオにおける過失の例を示す。これら
のシナリオでは、車両3002に帰責事由があるかどうかを車両3004の周りの安全コ
リドールが決定する。図30Aでは、車両3002が車両3006の後ろを走行しており
、目標車両3004が移動しているレーンに車線変更する。このシナリオでは、車両30
02が安全な距離を侵害しており、従って事故が発生した場合には帰責事由がある。図3
0Bでは、車両3002が車両3004の後ろに割り込み、安全な距離を保つ。
[0599] 図31A〜図31Dは、ドリフトシナリオにおける過失の例を示す。図31A
において、このシナリオは、車両3102の幅広コリドールに割り込む車両3104によ
る僅かな横方向の操作で始まる。図31Bでは、車両3104が車両3102の正規コリ
ドールに割り込み続けており、安全距離領域を侵害している。事故が発生した場合、車両
3104に過失がある。図31Cでは、車両3104は、その初期位置を保つ一方、車両
3102が横方向に移動して正規安全距離地帯の侵害を「強いて」いる。事故が発生した
場合、車両3102に過失がある。図31Bでは、車両3102及び車両3104が互い
に向かって横方向に移動する。事故が発生した場合、両方の車両によって過失が分担され
る。
[0600] 図32A及び図32Bは、双方向交通シナリオにおける過失の例を示す。図3
2Aでは、車両3202が車両3206を追い越し、車両3202は、車両3204から
の安全な距離を保つ割り込み操作を行っている。事故が発生した場合、妥当な力でブレー
キをかけなかったことについて車両3204に過失がある。図32Bでは、車両3202
が車両3204からの安全な縦方向距離を保つことなしに割り込んでいる。事故が発生し
た場合、車両3202に過失がある。
[0601] 図33A及び図33Bは、双方向交通シナリオにおける過失の例を示す。図3
3Aでは、車両3302が対向車両3204の経路内にドリフトし、安全な距離を保って
いる。事故が発生した場合、妥当な力でブレーキをかけなかったことについて車両320
4に過失がある。図33Bでは、車両3202が対向車両3204の経路内にドリフトし
、安全な縦方向距離を侵害している。事故が発生した場合、車両3204に過失がある。
[0602] 図34A及び図34Bは、ルート優先権シナリオにおける過失の例を示す。図
34Aでは、車両3202が一時停止の標識を無視している。信号機によって車両320
4に与えられた優先権を尊重していないことについて、過失は、車両3202に帰する。
図34Bでは、車両3202に優先権はないが車両3204の信号が青に変わったとき既
に交差点に入っていた。車両3204が車両3202に衝突した場合、車両3204に過
失がある。
[0603] 図35A及び図35Bは、ルート優先権シナリオにおける過失の例を示す。図
35Aでは、接近している車両3504の経路内に車両3502がバックしている。車両
3502は、安全な距離を保つ割り込み操作を行っている。事故が発生した場合、妥当な
力でブレーキをかけなかったことについて車両3504に過失がある。図35Bでは、安
全な縦方向距離を保つことなしに車両3502の車が割り込んでいる。事故が発生した場
合、車両3502に過失がある。
[0604] 図36A及び図36Bは、ルート優先権シナリオにおける過失の例を示す。図
36Aでは、車両3602及び車両3604が同じ方向に走行している一方、車両360
2が車両3604の経路を横切って左折している。車両3602は安全な距離を保つ割り
込み操作を行っている。事故が発生した場合、妥当な力でブレーキをかけなかったことに
ついて車両3604に過失がある。図36Bでは、安全な縦方向距離を保つことなしに車
両3602が割り込んでいる。事故が発生した場合、車両3602に過失がある。
[0605] 図37A及び図37Bは、ルート優先権シナリオにおける過失の例を示す。図
37Aでは、車両3702が左折したいが、対向車両3704に道を譲らなければならな
い。車両3702は、左折して車両3704に対する安全な距離を侵害している。車両3
702に過失がある。図37Bでは、車両3702が左折して車両3704に対する安全
な距離を保っている。事故が発生した場合、妥当な力でブレーキをかけなかったことにつ
いて車両3704に過失がある。
[0606] 図38A及び図38Bは、ルート優先権シナリオにおける過失の例を示す。図
38Aでは、車両3802及び車両3804が直進しており、車両3802には一時停止
の標識がある。車両3802が交差点に入り、車両3804に対する安全な距離を侵害し
ている。車両3802に過失がある。図38Bでは、車両3802が車両3804に対す
る安全な距離を保ちながら交差点に入っている。事故が発生した場合、妥当な力でブレー
キをかけなかったことについて車両3804に過失がある。
[0607] 図39A及び図39Bは、ルート優先権シナリオにおける過失の例を示す。図
39Aでは、車両3902が左折したいが右側から来る車両3904に道を譲らなければ
ならない。車両3902は、交差点に入り優先通行権及び車両3904に対する安全な距
離を侵害している。車両3902に過失がある。図39Bでは、車両3902が優先通行
権及び車両3904に対する安全な距離を保ちながら交差点に入っている。事故が発生し
た場合、妥当な力でブレーキをかけなかったことについて車両3904に過失がある。
[0608] 図40A及び図40Bは、信号機シナリオにおける過失の例を示す。図40A
では、車両4002が赤信号を無視している。信号機によって車両4004に与えられた
優先権を尊重していないことについて、過失は、車両4002に帰する。図40Bでは、
車両4002に優先権はないが、車両4004の信号が青に変わったときに車両4002
が既に交差点に入っていた。車両4004が車両4002に衝突した場合、車両4004
に過失がある。
[0609] 図41A及び図41Bは、信号機シナリオにおける過失の例を示す。車両41
02が対向車両4104の経路を横切って左折している。優先権は、車両4104にある
。図41では、車両4102が左折し、車両4104に対する安全な距離を侵害している
。過失は、車両4102に帰せられる。図41Bでは、車両4102が左折して車両41
04に対する安全な距離を保っている。事故が発生した場合、妥当な力でブレーキをかけ
なかったことについて車両4104に過失がある。
[0610] 図42A及び図42Bは、信号機シナリオにおける過失の例を示す。図42A
では、車両4202が右折し、直進している車両4204の経路に割り込んでいる。赤信
号時の右折は、適法な操作であると想定されるが、車両4204に対する安全な距離を車
両4202が侵害しているため、車両4204に優先通行権がある。過失は、車両420
2に帰せられる。図42Bでは、車両4202が右折して車両4204に対する安全な距
離を保っている。事故が発生した場合、妥当な力でブレーキをかけなかったことについて
車両4204に過失がある。
[0611] 図43A〜図43Cは、交通弱者(VRU)シナリオの例を示す。車両が操作
を行う場合の動物又はVRUとの事故は、割り込みの異形として処理し、幾つかの例外は
あるが、デフォルトの過失は、車にある。図43Aでは、車両4302が安全な距離を保
ち事故を回避できることを保証しながら動物(又はVRU)の経路内に割り込んでいる。
図43Bでは、車両4302が動物(又はVRU)の経路内に割り込んでおり、安全な距
離を侵害している。過失は、車両4302に帰せられる。図43Cでは、車両4302が
動物を認識して停止し、止まるのに十分な時間を動物に与えている。動物が車に衝突した
場合、動物に過失がある。
[0612] 図44A〜図44Cは、交通弱者(VRU)シナリオの例を示す。図44Aで
は、信号機がある交差点で車両4402が左折し、横断歩道内の歩行者と遭遇する。車両
4402は、赤信号であり、VRUは、青信号である。車両4402に帰責事由がある。
図44Bでは、車両4402が青信号であり、VRUが赤信号である。VRUが横断歩道
に入った場合、VRUに帰責事由がある。図44Cでは、車両4402が青信号であり、
VRUが赤信号である。VRUが横断歩道内に既にいた場合、車両4402に帰責事由が
ある。
[0613] 図45A〜図45Cは、交通弱者(VRU)シナリオの例を示す。図45Aで
は、車両4402が右折し、自転車と遭遇する。自転車は、青信号である。車両4502
に帰責事由がある。図45Bでは、自転車が赤信号である。自転車が交差点に入った場合
、自転車に帰責事由がある。図45Cでは、自転車が赤信号であるが、交差点に既に入っ
ている。車両4502に帰責事由がある。
[0614] 図46A〜図46Dは、交通弱者(VRU)シナリオの例を示す。車両が遂行
操作を行わない場合のVRUとの事故の過失は、幾つかの例外はあるが、デフォルトで車
にある。図46Aでは、車両4602が安全な距離を保つことを常に確認し、VRUとの
事故を回避できることを保証しなければならない。図46Bでは、車両4602が安全な
距離を保たない場合、車両4602に過失がある。図46Cでは、車両4602が、場合
により車両5604によって隠れるVRUとの衝突を回避するのに十分遅い速度を保たな
い場合、又は法定速度を上回って走行する場合、車両4602に過失がある。図46Dで
は、VRUが場合により車両4604によって隠れる別のシナリオにおいて、車両460
2が十分遅い速度を保つがVRUの速度が妥当な閾値を上回る場合、VRUに過失がある
[0615] 本明細書で開示したように、RSSは、マルチエージェントシナリオのための
フレームワークを定める。静的物体との事故、道路からの離脱、制御不能、又は車両故障
の過失は、ホスト側にある。RSSは、ホストの経路内に他の物体が危険を伴って入って
こない限り(その場合、過失は、その物体にある)他の物体との事故が起きないようにす
る慎重な操作を定める。目標物に過失がある確実な衝突の場合、ホストは、自らのブレー
キをかける。システムは、回避操舵をその操作が「慎重」である(別の事故を引き起こさ
ないことが認められる)場合にのみ検討し得る。
[0616] 非衝突インシデントは、車両火災、道路のくぼみ、落下物等によって引き起こ
される事故を含む。これらの事例では、安全な距離で「静的物体」が見えるようになるか
又は慎重な回避操作が存在すると仮定する、「静的物体」シナリオとして分類され得る道
路のくぼみ及び落下物等のホストが回避可能なシナリオを除き、過失は、デフォルトでホ
ストにあり得る。ホスト車両が静止しているマルチエージェントシナリオではホストに過
失はない。この場合、本質的に目標物が危険な割り込みを行っている。例えば、静止して
いる車に自転車がぶつかった場合、ホストに過失はない。
[0617] RSSは、レーンマークのない駐車場又は広い環状交差路等、道路が明確に構
造化されていない場合に過失を割り当てるためのガイドラインも含む。これらの非構造化
道路シナリオでは、各車両の自らの経路からの逸脱を調べて、領域内の他の物体が調節を
行うことを可能にするのに十分な距離を各車両が与えたかどうかを判定することによって
過失が割り当てられる。
[0618] 上記説明は、例示を目的として提示されている。上記説明は網羅的ではなく、
開示される厳密な形態又は実施形態に限定されない。変更形態及び適合形態は、本明細書
を考慮し、開示される実施形態を実施することから当業者に明らかになるであろう。更に
、開示される実施形態の態様は、メモリに記憶されるものとして記載されるが、これらの
態様が、補助記憶装置等の他のタイプのコンピュータ可読媒体、例えばハードディスク若
しくはCD ROM又は他の形態のRAM若しくはROM、USBメディア、DVD、Bl
u-ray(登録商標)、4K超HD Blu-ray、又は他の光学駆動媒体に記憶することも可能
なことを当業者は理解するであろう。
[0619] 記載の説明及び開示される方法に基づくコンピュータプログラムは、経験のあ
る開発者の技能内にある。様々なプログラム又はプログラムモジュールは、当業者に既知
の任意の技法を使用して作成することができるか、又は既存のソフトウェアに関連して設
計することができる。例えば、プログラムセクション又はプログラムモジュールは、.Net
Framework、.Net Compact Framework(及びVisual Basic、C等の関連する言語)、Java
(登録商標)、C++、Objective-C、HTML、HTML/AJAX組み合わせ、XM
L、又はJavaアプレットを包含したHTMLにおいて又はそれにより設計することができ
る。
[0620] 更に、例示的な実施形態を本明細書において説明したが、あらゆる実施形態の
範囲は、本開示に基づいて当業者により理解されるような均等な要素、変更形態、省略形
態、組合せ(例えば、様々な実施形態にわたる態様の)、適合形態、及び/又は代替形態
を有する。特許請求の範囲での限定は、特許請求の範囲に利用される言語に基づいて広く
解釈されるべきであり、本明細書に記載される例又は本願の実行中の例に限定されない。
例は、非排他的として解釈されるべきである。更に、開示される方法のステップは、ステ
ップの順序替え及び/又はステップの挿入又は削除を含め、任意の方法で変更し得る。従
って、本明細書及び例が単なる例示として見なされることが意図され、真の範囲及び趣旨
は、以下の特許請求の範囲及びその全範囲の均等物により示される。
[018]開示される実施形態による例示的なシステムの図表現である。 [019]開示される実施形態によるシステムを含む例示的な車両の側面図表現である。 [020]開示される実施形態による図2Aに示される車両及びシステムの上面図表現である。 [021]開示される実施形態によるシステムを含む車両の別の実施形態の上面図表現である。 [022]開示される実施形態によるシステムを含む車両の更に別の実施形態の上面図表現である。 [023]開示される実施形態によるシステムを含む車両の更に別の実施形態の上面図表現である。 [024]開示される実施形態による例示的な車両制御システムの図表現である。 [025]バックミラーと、開示される実施形態による車両撮像システムのユーザインタフェースとを含む車両の内部の図表現である。 [026]開示される実施形態による、バックミラーの背後に、車両フロントガラスと対向して位置決めされるように構成されるカメラマウントの例の図である。 [027]開示される実施形態による、異なる視点からの図3Bに示されるカメラマウントの図である。 [028]開示される実施形態による、バックミラーの背後に、車両フロントガラスと対向して位置決めされるように構成されるカメラマウントの例の図である。 [029]開示される実施形態による1つ又は複数の動作を実行する命令を記憶するように構成されるメモリの例示的なブロック図である。 [030]開示される実施形態による、単眼画像分析に基づいて1つ又は複数のナビゲーション応答を生じさせる例示的なプロセスを示すフローチャートである。 [031]開示される実施形態による、画像の組内の1つ又は複数の車両及び/又は歩行者を検出する例示的なプロセスを示すフローチャートである。 [032]開示される実施形態による、画像の組内の道路マーク及び/又はレーンジオメトリ情報を検出する例示的なプロセスを示すフローチャートである。 [033]開示される実施形態による、画像の組内の信号機を検出する例示的なプロセスを示すフローチャートである。 [034]開示される実施形態による、車両経路に基づいて1つ又は複数のナビゲーション応答を生じさせる例示的なプロセスのフローチャートである。 [035]開示される実施形態による、先行車両がレーンを変更中であるか否かを特定する例示的なプロセスを示すフローチャートである。 [036]開示される実施形態による、立体画像分析に基づいて1つ又は複数のナビゲーション応答を生じさせる例示的なプロセスを示すフローチャートである。 [037]開示される実施形態による、3組の画像の分析に基づいて1つ又は複数のナビゲーション応答を生じさせる例示的なプロセスを示すフローチャートである。 [038]開示される実施形態による、自律車両のためのナビゲーションシステムの1つ又は複数の具体的にプログラムされた処理デバイスによって実装され得るモジュールのブロック図表現である。 [039]開示される実施形態による、ナビゲーションの選択肢のグラフである。 [040]開示される実施形態による、ナビゲーションの選択肢のグラフである。 [041]開示される実施形態による、合流区域内のホスト車両のナビゲーションの選択肢の概略図を示す。 [041]開示される実施形態による、合流区域内のホスト車両のナビゲーションの選択肢の概略図を示す。 [041]開示される実施形態による、合流区域内のホスト車両のナビゲーションの選択肢の概略図を示す。 [042]開示される実施形態による二重合流シナリオの図表現を示す。 [043]開示される実施形態による二重合流シナリオにおいて潜在的に有用な選択肢のグラフを示す。 [044]開示される実施形態による、潜在的なナビゲーション制約と共にホスト車両の環境について捕捉した代表的な画像の図を示す。 [045]開示される実施形態による、車両をナビゲートするためのアルゴリズムのフローチャートを示す。 [046]開示される実施形態による、車両をナビゲートするためのアルゴリズムのフローチャートを示す。 [047]開示される実施形態による、車両をナビゲートするためのアルゴリズムのフローチャートを示す。 [048]開示される実施形態による、車両をナビゲートするためのアルゴリズムのフローチャートを示す。 [049]開示される実施形態による、環状交差路内にナビゲートするホスト車両の図を示す。 [049]開示される実施形態による、環状交差路内にナビゲートするホスト車両の図を示す。 [050]開示される実施形態による、車両をナビゲートするためのアルゴリズムのフローチャートを示す。 [051]開示される実施形態による、複数レーン高速道路上を走行するホスト車両の一例を示す。 [052]開示される実施形態による、別の車両の前に割り込む車両の一例を示す。 [052]開示される実施形態による、別の車両の前に割り込む車両の一例を示す。 [053]開示される実施形態による、別の車両を追走する車両の一例を示す。 [054]開示される実施形態による、駐車場を出て、場合により交通量が多い道路に合流する車両の一例を示す。 [055]開示される実施形態による、道路上を進む車両を示す。 [056]開示される実施形態によるシナリオの一例を示す。 [056]開示される実施形態によるシナリオの一例を示す。 [056]開示される実施形態によるシナリオの一例を示す。 [056]開示される実施形態によるシナリオの一例を示す。 [057]開示される実施形態によるシナリオの一例を示す。 [058]開示される実施形態によるシナリオの一例を示す。 [059]開示される実施形態によるシナリオの一例を示す。 [060]開示される実施形態による、車両が別の車両を追走するシナリオの一例を示す。 [060]開示される実施形態による、車両が別の車両を追走するシナリオの一例を示す。 [061]開示される実施形態による、割り込みシナリオにおける過失の一例を示す。 [061]開示される実施形態による、割り込みシナリオにおける過失の一例を示す。 [062]開示される実施形態による、割り込みシナリオにおける過失の一例を示す。 [062]開示される実施形態による、割り込みシナリオにおける過失の一例を示す。 [063]開示される実施形態による、ドリフトシナリオにおける過失の一例を示す。 [063]開示される実施形態による、ドリフトシナリオにおける過失の一例を示す。 [063]開示される実施形態による、ドリフトシナリオにおける過失の一例を示す。 [063]開示される実施形態による、ドリフトシナリオにおける過失の一例を示す。 [064]開示される実施形態による、双方向交通シナリオにおける過失の一例を示す。 [064]開示される実施形態による、双方向交通シナリオにおける過失の一例を示す。 開示される実施形態による、双方向交通シナリオにおける過失の一例を示す。 開示される実施形態による、双方向交通シナリオにおける過失の一例を示す。 [065]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [065]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [066]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [066]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [067]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [067]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [068]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [068]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [069]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [069]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [070]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [070]開示される実施形態による、ルート優先権シナリオにおける過失の一例を示す。 [071]開示される実施形態による、信号機シナリオにおける過失の一例を示す。 [071]開示される実施形態による、信号機シナリオにおける過失の一例を示す。 [072]開示される実施形態による、信号機シナリオにおける過失の一例を示す。 [072]開示される実施形態による、信号機シナリオにおける過失の一例を示す。 [073]開示される実施形態による、信号機シナリオにおける過失の一例を示す。 [073]開示される実施形態による、信号機シナリオにおける過失の一例を示す。 [074]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [074]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [074]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [075]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [075]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [075]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [076]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [076]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [076]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [077]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [077]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [077]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。 [077]開示される実施形態による、交通弱者(VRU)シナリオの一例を示す。

Claims (43)

  1. ホスト車両のためのナビゲーションシステムであって、
    前記ホスト車両の環境を表す少なくとも1つの画像を画像捕捉装置から受信することと

    前記ホスト車両のナビゲーション目標を達成するための計画されたナビゲーション動作
    を少なくとも1つの運転ポリシに基づいて決定することと、
    前記少なくとも1つの画像を分析して前記ホスト車両の前記環境内の目標車両を識別す
    ることと、
    前記識別された目標車両に対する前記ホスト車両の潜在的な事故責任を決定するために
    、前記計画されたナビゲーション動作を少なくとも1つの事故責任規則に対してテストす
    ることと、
    前記少なくとも1つの事故責任規則に対する前記計画されたナビゲーション動作の前記
    テストが、前記計画されたナビゲーション動作が行われる場合に前記ホスト車両について
    潜在的な事故責任があることを示す場合、前記計画されたナビゲーション動作を前記ホス
    ト車両に実施させないことと、
    前記少なくとも1つの事故責任規則に対する前記計画されたナビゲーション動作の前記
    テストが、前記計画されたナビゲーション動作が行われる場合に前記ホスト車両について
    事故責任が生じないであろうことを示す場合、前記計画されたナビゲーション動作を前記
    ホスト車両に実施させることと
    を行うようにプログラムされる少なくとも1つの処理デバイス
    を含むナビゲーションシステム。
  2. 前記少なくとも1つの処理デバイスは、前記計画されたナビゲーション動作の実施から
    生じる次のナビゲーション状態においてデフォルトの緊急手続きが前記ホスト車両にとっ
    て利用可能でない限り、前記計画されたナビゲーション動作を実施しないように更にプロ
    グラムされる、請求項1に記載のナビゲーションシステム。
  3. 前記計画されたナビゲーション動作は、少なくとも1つのデフォルトの緊急手続きを含
    む、請求項1に記載のナビゲーションシステム。
  4. 前記少なくとも1つの処理デバイスは、
    前記ホスト車両の環境を表す前記少なくとも1つの画像の分析に基づいて前記ホスト車
    両の前記環境内の複数の他の目標車両を識別し、且つ前記複数の他の目標車両のそれぞれ
    に対する前記ホスト車両の潜在的な事故責任を決定するために、少なくとも1つの事故責
    任規則に対する前記計画されたナビゲーション動作の前記テストを繰り返すことと、
    前記少なくとも1つの事故責任規則に対する前記計画されたナビゲーション動作の前記
    繰り返されたテストが、前記計画されたナビゲーション動作が行われる場合に前記ホスト
    車両について潜在的な事故責任があることを示す場合、前記計画されたナビゲーション動
    作を前記ホスト車両に実施させないことと、
    前記少なくとも1つの事故責任規則に対する前記計画されたナビゲーション動作の前記
    繰り返されたテストが、前記計画されたナビゲーション動作が行われる場合に前記ホスト
    車両について事故責任が生じないであろうことを示す場合、前記計画されたナビゲーショ
    ン動作を前記ホスト車両に実施させることと
    を行うように更にプログラムされる、請求項1に記載のナビゲーションシステム。
  5. 前記少なくとも1つの事故責任規則は、前記識別された目標車両の後方の距離であって
    、その範囲内に前記ホスト車両が事故責任の可能性なしに進むことができない距離を定め
    る追走規則を含む、請求項1に記載のナビゲーションシステム。
  6. 前記少なくとも1つの事故責任規則は、前記識別された目標車両の前方の距離であって
    、その範囲内に前記ホスト車両が事故責任の可能性なしに進むことができない距離を定め
    る先行規則を含む、請求項1に記載のナビゲーションシステム。
  7. 前記運転ポリシは、前記少なくとも1つの事故責任規則に基づいてトレーニングされる
    トレーニング済みシステムによって実装される、請求項1に記載のナビゲーションシステ
    ム。
  8. 前記トレーニング済みシステムは、ニューラルネットワークを含む、請求項7に記載の
    ナビゲーションシステム。
  9. ホスト車両のためのナビゲーションシステムであって、
    前記ホスト車両の環境を表す少なくとも1つの画像を画像捕捉装置から受信することと

    前記ホスト車両のための複数の潜在的なナビゲーション動作を少なくとも1つの運転ポ
    リシに基づいて決定することと、
    前記少なくとも1つの画像を分析して前記ホスト車両の前記環境内の目標車両を識別す
    ることと、
    前記識別された目標車両に対する前記ホスト車両の潜在的な事故責任を決定するために
    、前記複数の潜在的なナビゲーション動作を少なくとも1つの事故責任規則に対してテス
    トすることと、
    前記潜在的なナビゲーション動作の1つを選択することであって、前記潜在的なナビゲ
    ーション動作の前記1つについて、前記テストは、前記選択された潜在的なナビゲーショ
    ン動作が行われる場合に前記ホスト車両について事故責任が生じないであろうことを示す
    、選択することと、
    前記選択された潜在的なナビゲーション動作を前記ホスト車両に実施させることと
    を行うようにプログラムされる少なくとも1つの処理デバイス
    を含むナビゲーションシステム。
  10. 前記選択された潜在的なナビゲーション動作は、前記複数の潜在的なナビゲーション動
    作のサブセットから選択され、前記複数の潜在的なナビゲーション動作の前記サブセット
    について、前記テストは、前記複数の潜在的なナビゲーション動作の前記サブセットのい
    ずれかが行われた場合に前記ホスト車両について事故責任が生じないであろうことを示す
    、請求項9に記載のナビゲーションシステム。
  11. 前記選択された潜在的なナビゲーション動作は、スコアリングパラメータに従って選択
    される、請求項10に記載のナビゲーションシステム。
  12. ホスト車両をナビゲートするためのシステムであって、
    前記ホスト車両の環境を表す少なくとも1つの画像を画像捕捉装置から受信することと

    前記ホスト車両のナビゲーション目標を達成するための2つ以上の計画されたナビゲー
    ション動作を少なくとも1つの運転ポリシに基づいて決定することと、
    前記少なくとも1つの画像を分析して前記ホスト車両の前記環境内の目標車両を識別す
    ることと、
    潜在的な事故責任を決定するために、前記2つ以上の計画されたナビゲーション動作の
    それぞれを少なくとも1つの事故責任規則に対してテストすることと、
    前記2つ以上の計画されたナビゲーション動作のそれぞれについて、前記テストが、前
    記2つ以上の計画されたナビゲーション動作の特定の1つが行われる場合に前記ホスト車
    両について潜在的な事故責任があることを示す場合、前記計画されたナビゲーション動作
    の前記特定の1つを前記ホスト車両に実施させないことと、
    前記2つ以上の計画されたナビゲーション動作のそれぞれについて、前記テストが、前
    記2つ以上の計画されたナビゲーション動作の特定の1つが行われる場合に前記ホスト車
    両について事故責任が生じないであろうことを示す場合、前記2つ以上の計画されたナビ
    ゲーション動作の前記特定の1つを、実施のための存立可能な候補として識別することと

    少なくとも1つのコスト関数に基づき、実施のための前記存立可能な候補の中から行わ
    れるナビゲーション動作を選択することと、
    前記選択されたナビゲーション動作を前記ホスト車両に実施させることと
    を行うようにプログラムされる少なくとも1つの処理デバイス
    を含むシステム。
  13. ホスト車両のための事故責任追跡システムであって、
    前記ホスト車両の環境を表す少なくとも1つの画像を画像捕捉装置から受信することと

    前記少なくとも1つの画像を分析して前記ホスト車両の前記環境内の目標車両を識別す
    ることと、
    前記少なくとも1つの画像の分析に基づき、前記識別された目標車両のナビゲーション
    状態の1つ又は複数の特性を決定することと、
    前記識別された目標車両の前記ナビゲーション状態の前記決定された1つ又は複数の特
    性を少なくとも1つの事故責任規則と比較することと、
    前記識別された目標車両の前記ナビゲーション状態の前記決定された1つ又は複数の特
    性の前記少なくとも1つの事故責任規則との前記比較に基づき、前記識別された目標車両
    側の潜在的な事故責任を示す少なくとも1つの値を記憶することと、
    前記ホスト車両と少なくとも1つの目標車両との間の事故後、前記事故の責任を決定す
    るために、前記記憶された少なくとも1つの値を出力することと
    を行うようにプログラムされる少なくとも1つの処理デバイス
    を含む事故責任追跡システム。
  14. 前記少なくとも1つの処理デバイスは、前記ホスト車両が前記識別された目標車両との
    衝突を回避できない場合、前記識別された目標車両に関する衝突責任値を割り当て且つ記
    憶するように更にプログラムされる、請求項13に記載の追跡システム。
  15. 前記ホスト車両と前記識別された目標車両との間の事故後に衝突責任値にアクセスし、
    且つそれをダウンロードするためのインタフェースを更に含む、請求項13に記載の追跡
    システム。
  16. 前記少なくとも1つの処理デバイスは、前記ホスト車両の前記環境内の複数の目標車両
    を検出することと、前記複数の目標車両のそれぞれのナビゲーション状態特性を決定する
    ことと、前記目標車両のそれぞれに関する前記それぞれのナビゲーション状態特性の前記
    少なくとも1つの事故責任規則との比較に基づき、前記複数の目標車両のそれぞれの1つ
    の側の潜在的な事故責任を示す値を決定及び記憶することとを行うように更にプログラム
    される、請求項13に記載の追跡システム。
  17. 前記少なくとも1つの事故責任規則は、横方向速度規則を含む、請求項13に記載の追
    跡システム。
  18. 前記少なくとも1つの事故責任規則は、横方向位置規則を含む、請求項13に記載の追
    跡システム。
  19. 前記少なくとも1つの事故責任規則は、運転方向の優先権の規則を含む、請求項13に
    記載の追跡システム。
  20. 前記少なくとも1つの事故責任規則は、信号機に基づく規則を含む、請求項13に記載
    の追跡システム。
  21. 前記少なくとも1つの事故責任規則は、交通標識に基づく規則を含む、請求項13に記
    載の追跡システム。
  22. 前記少なくとも1つの事故責任規則は、ルートの優先権の規則を含む、請求項13に記
    載の追跡システム。
  23. ホスト車両をナビゲートするためのシステムであって、
    前記ホスト車両の環境を表す少なくとも1つの画像を画像捕捉装置から受信することと

    前記ホスト車両のナビゲーション目標を達成するための計画されたナビゲーション動作
    を少なくとも1つの運転ポリシに基づいて決定することと、
    前記少なくとも1つの画像を分析して前記ホスト車両の前記環境内の目標車両を識別す
    ることと、
    潜在的な事故責任を決定するために、前記計画されたナビゲーション動作を少なくとも
    1つの事故責任規則に対してテストすることと、
    前記少なくとも1つの事故責任規則に対する前記計画されたナビゲーション動作の前記
    テストが、前記計画されたナビゲーション動作が行われる場合に前記ホスト車両について
    潜在的な事故責任があることを示す場合、前記計画されたナビゲーション動作を前記ホス
    ト車両に実施させないことと、
    前記少なくとも1つの事故責任規則に対する前記計画されたナビゲーション動作の前記
    テストが、前記計画されたナビゲーション動作が行われる場合に前記ホスト車両について
    事故責任が生じないであろうことを示す場合、前記計画されたナビゲーション動作を前記
    ホスト車両に実施させることと
    を行うようにプログラムされる少なくとも1つの処理デバイス
    を含み、前記少なくとも1つの処理デバイスは、
    前記少なくとも1つの画像の分析に基づき、前記識別された目標車両のナビゲーション
    状態の1つ又は複数の特性を決定することと、
    前記識別された目標車両の前記ナビゲーション状態の前記決定された1つ又は複数の特
    性を前記少なくとも1つの事故責任規則と比較することと、
    前記識別された目標車両の前記ナビゲーション状態の前記決定された1つ又は複数の特
    性の前記少なくとも1つの事故責任規則との前記比較に基づき、前記識別された目標車両
    の側の潜在的な事故責任を示す少なくとも1つの値を記憶することと
    を行うように更にプログラムされる、システム。
  24. 前記プロセッサは、前記ホスト車両と少なくとも1つの目標車両との間の事故後、前記
    事故の責任を決定するために、前記記憶された少なくとも1つの値を出力するように更に
    プログラムされる、請求項23に記載のシステム。
  25. 前記少なくとも1つの事故責任規則は、横方向速度規則を含む、請求項23に記載のシ
    ステム。
  26. 前記少なくとも1つの事故責任規則は、横方向位置規則を含む、請求項23に記載のシ
    ステム。
  27. 前記少なくとも1つの事故責任規則は、運転方向の優先権の速度の規則を含む、請求項
    23に記載のシステム。
  28. 前記少なくとも1つの事故責任規則は、信号機に基づく規則を含む、請求項23に記載
    のシステム。
  29. 前記少なくとも1つの事故責任規則は、交通標識に基づく規則を含む、請求項23に記
    載のシステム。
  30. 前記少なくとも1つの事故責任規則は、ルートの優先権の規則を含む、請求項23に記
    載のシステム。
  31. ホスト車両をナビゲートするためのシステムであって、
    前記ホスト車両の環境を表す少なくとも1つの画像を画像捕捉装置から受信することと

    前記ホスト車両のナビゲーション目標を達成するための計画されたナビゲーション動作
    を少なくとも1つの運転ポリシに基づいて決定することと、
    前記少なくとも1つの画像を分析して前記ホスト車両の前記環境内の目標車両を識別す
    ることと、
    前記計画されたナビゲーション動作が行われた場合に生じることになる、前記ホスト車
    両と前記目標車両との間の次の状態の距離を決定することと、
    前記ホスト車両の現在の最大ブレーキ能力及び前記ホスト車両の現在の速度を決定する
    ことと、
    前記目標車両の現在の速度を決定し、且つ前記目標車両の少なくとも1つの認識された
    特性に基づいて前記目標車両の最大ブレーキ能力を仮定することと、
    前記ホスト車両の前記最大ブレーキ能力及び前記ホスト車両の現在の速度を所与として
    、前記目標車両の前記現在の速度及び前記目標車両の前記仮定された最大ブレーキ能力に
    基づいて決定される目標車両の移動距離に、前記決定された次の状態の距離を加算したも
    の未満である停止距離内で前記ホスト車両が停止され得る場合、前記計画されたナビゲー
    ション動作を実施することと
    を行うようにプログラムされる少なくとも1つの処理デバイス
    を含むシステム。
  32. 前記停止距離は、前記ホスト車両がブレーキなしで反応時間中に移動する距離を更に含
    む、請求項31に記載のシステム。
  33. 前記目標車両の前記認識された特性は、車両の種類を含む、請求項31に記載のシステ
    ム。
  34. 前記目標車両の前記認識された特性は、車両のサイズである、請求項31に記載のシス
    テム。
  35. 前記目標車両の前記認識された特性は、車両のモデルを含む、請求項31に記載のシス
    テム。
  36. ホスト車両をナビゲートするためのシステムであって、
    前記ホスト車両の環境を表す少なくとも1つの画像を画像捕捉装置から受信することと

    前記ホスト車両のナビゲーション目標を達成するための計画されたナビゲーション動作
    を少なくとも1つの運転ポリシに基づいて決定することと、
    前記少なくとも1つの画像を分析して、前記ホスト車両の前方の第1の目標車両及び前
    記第1の目標車両の前方の第2の目標車両を識別することと、
    前記計画されたナビゲーション動作が行われた場合に生じることになる、前記ホスト車
    両と前記第2の目標車両との間の次の状態の距離を決定することと、
    前記ホスト車両の現在の最大ブレーキ能力及び前記ホスト車両の現在の速度を決定する
    ことと、
    前記ホスト車両の前記最大ブレーキ能力及び前記ホスト車両の前記現在の速度を所与と
    して、前記ホスト車両と前記第2の目標車両との間の前記決定された次の状態の距離未満
    である停止距離内で前記ホスト車両が停止され得る場合、前記計画されたナビゲーション
    動作を実施することと
    を行うようにプログラムされる少なくとも1つの処理デバイス
    を含むシステム。
  37. 前記少なくとも1つのプロセッサは、
    前記計画されたナビゲーション動作が行われた場合に生じることになる、前記ホスト車
    両と前記第1の目標車両との間の次の状態の距離を決定することと、
    前記第1の目標車両の現在の速度を決定し、且つ前記第1の目標車両の少なくとも1つ
    の認識された特性に基づいて前記第1の目標車両の最大ブレーキ能力を仮定することと、
    前記ホスト車両の前記最大ブレーキ能力及び前記ホスト車両の前記現在の速度を所与と
    して、前記第1の目標車両の前記現在の速度及び前記第1の目標車両の前記仮定された最
    大ブレーキ能力に基づいて決定される第1の目標車両の移動距離に、前記ホスト車両と前
    記第1の目標車両との間の前記決定された次の状態の距離を加算したもの未満である停止
    距離内で前記ホスト車両が停止され得ない場合、前記計画されたナビゲーション動作を実
    施しないことと
    を行うように更にプログラムされる、請求項36に記載のシステム。
  38. 前記第1の目標車両の前記認識された特性は、車両の種類を含む、請求項36に記載の
    システム。
  39. 前記第1の目標車両の前記認識された特性は、車両のサイズである、請求項36に記載
    のシステム。
  40. 前記第1の目標車両の前記認識された特性は、車両のモデルを含む、請求項36に記載
    のシステム。
  41. ホスト車両をナビゲートするためのシステムであって、
    前記ホスト車両の環境を表す少なくとも1つの画像を画像捕捉装置から受信することと

    前記ホスト車両の現在のナビゲーション状態のインジケータを少なくとも1つのセンサ
    から受信することと、
    前記少なくとも1つの画像の分析及び前記ホスト車両の前記現在のナビゲーション状態
    の前記インジケータに基づき、前記ホスト車両と1つ又は複数の物体との間の衝突が不可
    避であると決定することと、
    少なくとも1つの運転ポリシに基づき、第1の物体との予期される衝突を伴う前記ホス
    ト車両のための第1の計画されたナビゲーション動作と、第2の物体との予期される衝突
    を伴う前記ホスト車両のための第2の計画されたナビゲーション動作とを決定することと

    潜在的な事故責任を決定するために、前記第1の計画されたナビゲーション動作及び前
    記第2の計画されたナビゲーション動作を少なくとも1つの事故責任規則に対してテスト
    することと、
    前記少なくとも1つの事故責任規則に対する前記第1の計画されたナビゲーション動作
    の前記テストが、前記第1の計画されたナビゲーション動作が行われる場合に前記ホスト
    車両について潜在的な事故責任があることを示す場合、前記第1の計画されたナビゲーシ
    ョン動作を前記ホスト車両に実施させないことと、
    前記少なくとも1つの事故責任規則に対する前記第2の計画されたナビゲーション動作
    の前記テストが、前記第2の計画されたナビゲーション動作が行われる場合に前記ホスト
    車両について事故責任が生じないであろうことを示す場合、前記第2の計画されたナビゲ
    ーション動作を前記ホスト車両に実施させることと
    を行うようにプログラムされる少なくとも1つの処理デバイス
    を含むシステム。
  42. 前記第1の物体及び前記第2の物体の少なくとも1つは、別の車両を含む、請求項41
    に記載のシステム。
  43. 前記第1の物体及び前記第2の物体の少なくとも1つは、車両ではない物体を含む、請
    求項41に記載のシステム。
JP2020089156A 2016-12-23 2020-05-21 課せられる責任の制約を伴うナビゲーションシステム Pending JP2020187754A (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201662438563P 2016-12-23 2016-12-23
US62/438,563 2016-12-23
US201762546343P 2017-08-16 2017-08-16
US62/546,343 2017-08-16
US201762565244P 2017-09-29 2017-09-29
US62/565,244 2017-09-29
US201762582687P 2017-11-07 2017-11-07
US62/582,687 2017-11-07

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019527180A Division JP6708793B2 (ja) 2016-12-23 2017-12-21 課せられる責任の制約を伴うナビゲーションシステム

Publications (1)

Publication Number Publication Date
JP2020187754A true JP2020187754A (ja) 2020-11-19

Family

ID=61054425

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019527180A Active JP6708793B2 (ja) 2016-12-23 2017-12-21 課せられる責任の制約を伴うナビゲーションシステム
JP2020089156A Pending JP2020187754A (ja) 2016-12-23 2020-05-21 課せられる責任の制約を伴うナビゲーションシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019527180A Active JP6708793B2 (ja) 2016-12-23 2017-12-21 課せられる責任の制約を伴うナビゲーションシステム

Country Status (7)

Country Link
US (6) US11416943B2 (ja)
EP (6) EP3828657A1 (ja)
JP (2) JP6708793B2 (ja)
KR (4) KR102426734B1 (ja)
CN (2) CN112629551B (ja)
IL (3) IL288191B2 (ja)
WO (1) WO2018115963A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023204098A1 (ja) * 2022-04-19 2023-10-26 大学共同利用機関法人情報・システム研究機構 安全ルール生成装置、ナビゲーションシステム、安全ルール生成方法、ナビゲーション方法及びプログラム

Families Citing this family (165)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6690702B2 (ja) * 2016-03-11 2020-04-28 日本電気株式会社 異常走行検出装置、異常走行検出方法とそのプログラム
JP6524943B2 (ja) * 2016-03-17 2019-06-05 株式会社デンソー 走行支援装置
EP3828657A1 (en) * 2016-12-23 2021-06-02 Mobileye Vision Technologies Ltd. Navigational system
US20180208203A1 (en) * 2017-01-26 2018-07-26 International Business Machines Corporation System, method and computer program product for braking control when approaching a traffic signal
JP6890757B2 (ja) 2017-02-10 2021-06-18 ニッサン ノース アメリカ,インク 部分観測マルコフ決定過程モデルインスタンスを動作させることを含む自律走行車動作管理
US11074510B2 (en) * 2017-03-06 2021-07-27 International Business Machines Corporation Embodied cognition platform for use in and control of a device
CN115855022A (zh) * 2017-04-07 2023-03-28 辉达公司 使用深度神经网络执行自主路径导航
EP3401849A1 (de) * 2017-05-09 2018-11-14 dSPACE digital signal processing and control engineering GmbH Produktreifebestimmung eines technischen systems
WO2018215833A1 (en) * 2017-05-23 2018-11-29 1.21 Gigawatts Ltd. Traffic monitoring and management systems and methods
EP3422132B1 (en) * 2017-06-27 2020-06-03 TTTech Auto AG Method and fault tolerant computer architecture for reducing false negatives in fail-safe trajectory planning for a moving entity
US10705531B2 (en) * 2017-09-28 2020-07-07 Nec Corporation Generative adversarial inverse trajectory optimization for probabilistic vehicle forecasting
US10019011B1 (en) * 2017-10-09 2018-07-10 Uber Technologies, Inc. Autonomous vehicles featuring machine-learned yield model
US11093829B2 (en) * 2017-10-12 2021-08-17 Honda Motor Co., Ltd. Interaction-aware decision making
US10739776B2 (en) * 2017-10-12 2020-08-11 Honda Motor Co., Ltd. Autonomous vehicle policy generation
US11657266B2 (en) * 2018-11-16 2023-05-23 Honda Motor Co., Ltd. Cooperative multi-goal, multi-agent, multi-stage reinforcement learning
WO2019089015A1 (en) 2017-10-31 2019-05-09 Nissan North America, Inc. Autonomous vehicle operation with explicit occlusion reasoning
JP6939428B2 (ja) * 2017-11-01 2021-09-22 トヨタ自動車株式会社 車両制御装置
JP7200946B2 (ja) * 2017-12-12 2023-01-10 ソニーグループ株式会社 情報処理装置、制御システム、情報処理方法及びプログラム
WO2019117774A1 (en) * 2017-12-14 2019-06-20 Saab Ab Flight vision system and method for presenting images from the surrounding of an airborne vehicle in a flight vision system
US20190185012A1 (en) 2017-12-18 2019-06-20 PlusAI Corp Method and system for personalized motion planning in autonomous driving vehicles
US11130497B2 (en) 2017-12-18 2021-09-28 Plusai Limited Method and system for ensemble vehicle control prediction in autonomous driving vehicles
KR102463720B1 (ko) * 2017-12-18 2022-11-07 현대자동차주식회사 차량의 경로 생성 시스템 및 방법
US11874120B2 (en) 2017-12-22 2024-01-16 Nissan North America, Inc. Shared autonomous vehicle operational management
US20190220016A1 (en) * 2018-01-15 2019-07-18 Uber Technologies, Inc. Discrete Decision Architecture for Motion Planning System of an Autonomous Vehicle
DE102018200814B3 (de) * 2018-01-18 2019-07-18 Audi Ag Verfahren zum Betrieb eines zur vollständig automatischen Führung eines Kraftfahrzeugs ausgebildeten Fahrzeugführungssystems des Kraftfahrzeugs und Kraftfahrzeug
US11282389B2 (en) * 2018-02-20 2022-03-22 Nortek Security & Control Llc Pedestrian detection for vehicle driving assistance
DE112018007275T5 (de) * 2018-03-14 2020-12-10 Honda Motor Co., Ltd. Informationsbenachrichtigungsvorrichtung eines Grätschsitzfahrzeugs, Grätschsitzfahrzeug und Informationsbenachrichtigungsverfahren
DE102018002156A1 (de) * 2018-03-16 2019-09-19 Trw Automotive Gmbh Ein verbessertes Steuerungssystem und ein verbessertes Steuerungsverfahren für das autonome Steuern eines Kraftfahrzeugs
US10809735B2 (en) * 2018-04-09 2020-10-20 SafeAI, Inc. System and method for a framework of robust and safe reinforcement learning application in real world autonomous vehicle application
US11467590B2 (en) 2018-04-09 2022-10-11 SafeAI, Inc. Techniques for considering uncertainty in use of artificial intelligence models
US11625036B2 (en) 2018-04-09 2023-04-11 SafeAl, Inc. User interface for presenting decisions
US11169536B2 (en) 2018-04-09 2021-11-09 SafeAI, Inc. Analysis of scenarios for controlling vehicle operations
US11561541B2 (en) 2018-04-09 2023-01-24 SafeAI, Inc. Dynamically controlling sensor behavior
WO2019202806A1 (ja) * 2018-04-20 2019-10-24 本田技研工業株式会社 自己位置推定方法
WO2020014683A1 (en) * 2018-07-13 2020-01-16 Kache.AI Systems and methods for autonomous object detection and vehicle following
US10703370B2 (en) * 2018-08-24 2020-07-07 Ford Global Technologies, Llc Vehicle action control
US10832062B1 (en) * 2018-09-28 2020-11-10 Zoox, Inc. Image embedding for object tracking
US10793123B2 (en) 2018-10-04 2020-10-06 Waymo Llc Emergency braking for autonomous vehicles
US10816987B2 (en) * 2018-10-15 2020-10-27 Zoox, Inc. Responsive vehicle control
US20200133308A1 (en) * 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
WO2020092635A1 (en) * 2018-10-30 2020-05-07 Frazzoli Emilio Redundancy in autonomous vehicles
US11198494B2 (en) 2018-11-01 2021-12-14 Brunswick Corporation Methods and systems for controlling propulsion of a marine vessel to enhance proximity sensing in a marine environment
US11209820B2 (en) * 2018-11-14 2021-12-28 Honda Motor Co., Ltd. System and method for providing autonomous vehicular navigation within a crowded environment
US11346950B2 (en) 2018-11-19 2022-05-31 Huawei Technologies Co., Ltd. System, device and method of generating a high resolution and high accuracy point cloud
US11436927B2 (en) 2018-11-21 2022-09-06 Brunswick Corporation Proximity sensing system and method for a marine vessel with automated proximity sensor location estimation
US11794865B1 (en) 2018-11-21 2023-10-24 Brunswick Corporation Proximity sensing system and method for a marine vessel
US11403955B2 (en) 2018-12-14 2022-08-02 Brunswick Corporation Marine propulsion control system and method with proximity-based velocity limiting
US10955853B2 (en) 2018-12-18 2021-03-23 Beijing Voyager Technology Co., Ltd. Systems and methods for autonomous driving
CN111338333B (zh) * 2018-12-18 2021-08-31 北京航迹科技有限公司 用于自动驾驶的系统和方法
DE102018222611A1 (de) * 2018-12-20 2020-06-25 Robert Bosch Gmbh Verfahren zum Betreiben eines automatisierten Fahrzeugs
US11373537B2 (en) 2018-12-21 2022-06-28 Brunswick Corporation Marine propulsion control system and method with collision avoidance override
CN112136021A (zh) * 2018-12-29 2020-12-25 北京嘀嘀无限科技发展有限公司 用于构建基于地标的高清地图的系统和方法
US11468690B2 (en) * 2019-01-30 2022-10-11 Baidu Usa Llc Map partition system for autonomous vehicles
US10627823B1 (en) * 2019-01-30 2020-04-21 StradVision, Inc. Method and device for performing multiple agent sensor fusion in cooperative driving based on reinforcement learning
US11315317B2 (en) * 2019-01-30 2022-04-26 Baidu Usa Llc Point clouds ghosting effects detection system for autonomous driving vehicles
US11702178B2 (en) * 2019-01-31 2023-07-18 Brunswick Corporation Marine propulsion control system, method, and user interface for marine vessel docking and launch
US11257378B2 (en) 2019-01-31 2022-02-22 Brunswick Corporation Marine propulsion control system and method
WO2020184281A1 (ja) * 2019-03-08 2020-09-17 マツダ株式会社 自動車用演算装置
US11550320B2 (en) * 2019-03-18 2023-01-10 Pony Ai Inc. Vehicle redundant processing resource usage
EP3950448B1 (en) * 2019-03-29 2022-11-30 NISSAN MOTOR Co., Ltd. Vehicle control method and vehicle control device
JP2020164045A (ja) * 2019-03-29 2020-10-08 マツダ株式会社 車両走行制御装置
GB2607172B (en) * 2019-04-25 2023-11-01 Motional Ad Llc Graphical user interface for display of autonomous vehicle behaviors
KR102653342B1 (ko) * 2019-05-20 2024-04-02 현대모비스 주식회사 자율 주행 장치 및 방법
DE102020206660A1 (de) * 2019-05-30 2020-12-03 Robert Bosch Gesellschaft mit beschränkter Haftung Redundante umgebungswahrnehmungsverfolgung für automatisierte fahrsysteme
WO2020241971A1 (ko) * 2019-05-30 2020-12-03 엘지전자 주식회사 교통 사고 처리 장치 및 교통 사고 처리 방법
US20220073104A1 (en) * 2019-05-30 2022-03-10 Lg Electronics Inc. Traffic accident management device and traffic accident management method
US11643115B2 (en) * 2019-05-31 2023-05-09 Waymo Llc Tracking vanished objects for autonomous vehicles
WO2021010396A1 (ja) * 2019-07-15 2021-01-21 株式会社Soken 走行記憶システム、潜在事故責任決定装置、走行記憶方法、潜在事故責任決定方法、映像記録システム、自動運転システム、および映像記録方法
CN112242069B (zh) * 2019-07-17 2021-10-01 华为技术有限公司 一种确定车速的方法和装置
US11048256B2 (en) 2019-08-09 2021-06-29 Waymo Llc Parking behaviors for autonomous vehicles
US11161502B2 (en) 2019-08-13 2021-11-02 Zoox, Inc. Cost-based path determination
JP7275993B2 (ja) 2019-08-21 2023-05-18 株式会社Soken 車両制御装置および車両制御方法
US11072326B2 (en) * 2019-08-22 2021-07-27 Argo AI, LLC Systems and methods for trajectory based safekeeping of vehicles
US11167754B2 (en) 2019-08-22 2021-11-09 Argo AI, LLC Systems and methods for trajectory based safekeeping of vehicles
CN110502033B (zh) * 2019-09-04 2022-08-09 中国人民解放军国防科技大学 一种基于强化学习的固定翼无人机群集控制方法
FR3100515B1 (fr) * 2019-09-05 2021-09-17 Renault Sas Procédé de commande d’un système de régulation d’une distance inter-véhicules
JP7313998B2 (ja) * 2019-09-18 2023-07-25 株式会社トプコン 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
WO2021061094A1 (en) * 2019-09-23 2021-04-01 Advanced New Technologies Co., Ltd. System and method for routing optimization
US11279349B2 (en) * 2019-09-26 2022-03-22 Intel Corporation Safety module, automated driving system, and methods thereof
WO2021071878A1 (en) * 2019-10-07 2021-04-15 Gentex Corporation 3d display system for camera monitoring system
JP7255699B2 (ja) 2019-10-09 2023-04-11 株式会社Soken 車両用運転切り替え装置、車両運転システム、車両用運転切り替え方法
JP7331939B2 (ja) 2019-10-14 2023-08-23 株式会社Soken 車載装置及び運転支援方法
JP7207257B2 (ja) * 2019-10-15 2023-01-18 トヨタ自動車株式会社 車両制御システム
US11273806B2 (en) * 2019-10-17 2022-03-15 Ford Global Technologies, Llc Enhanced collision mitigation
WO2021092334A1 (en) * 2019-11-06 2021-05-14 Ohio State Innovation Foundation Systems and methods for vehicle dynamics and powertrain control using multiple horizon optimization
CN110949381B (zh) * 2019-11-12 2021-02-12 深圳大学 一种驾驶行为危险度的监测方法及装置
CN111123738B (zh) * 2019-11-25 2023-06-30 的卢技术有限公司 提高仿真环境中深度强化学习算法训练效率的方法及系统
US11899454B2 (en) 2019-11-26 2024-02-13 Nissan North America, Inc. Objective-based reasoning in autonomous vehicle decision-making
US11635758B2 (en) 2019-11-26 2023-04-25 Nissan North America, Inc. Risk aware executor with action set recommendations
JP7279623B2 (ja) * 2019-11-26 2023-05-23 トヨタ自動車株式会社 情報処理装置、情報処理システム、およびプログラム
CN114283040A (zh) * 2019-12-04 2022-04-05 蚂蚁胜信(上海)信息技术有限公司 交通事故处理方法和装置、电子设备
US10969232B1 (en) * 2019-12-06 2021-04-06 Ushr Inc. Alignment of standard-definition and High-Definition maps
US11513520B2 (en) * 2019-12-10 2022-11-29 International Business Machines Corporation Formally safe symbolic reinforcement learning on visual inputs
CN110906935B (zh) * 2019-12-13 2023-06-13 河海大学常州校区 一种无人艇路径规划方法
JP7184213B2 (ja) 2019-12-18 2022-12-06 株式会社Soken 自動運転装置、ルール判断装置
US11613269B2 (en) 2019-12-23 2023-03-28 Nissan North America, Inc. Learning safety and human-centered constraints in autonomous vehicles
RU2750243C2 (ru) 2019-12-24 2021-06-24 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способ и система для формирования траектории для беспилотного автомобиля (sdc)
US11300957B2 (en) 2019-12-26 2022-04-12 Nissan North America, Inc. Multiple objective explanation and control interface design
DE102020200183A1 (de) * 2020-01-09 2021-07-15 Continental Automotive Gmbh Verfahren zum Erstellen einer probabilistischen Freiraumkarte mit statischen und dynamischen Objekten
WO2021146910A1 (zh) * 2020-01-21 2021-07-29 深圳元戎启行科技有限公司 基于图计算的车辆驾驶数据处理方法、装置和计算机设备
US11577746B2 (en) 2020-01-31 2023-02-14 Nissan North America, Inc. Explainability of autonomous vehicle decision making
US11714971B2 (en) 2020-01-31 2023-08-01 Nissan North America, Inc. Explainability of autonomous vehicle decision making
CN111324120A (zh) * 2020-02-26 2020-06-23 中汽研汽车检验中心(天津)有限公司 一种自动驾驶前车切入切出场景提取方法
US11385642B2 (en) 2020-02-27 2022-07-12 Zoox, Inc. Perpendicular cut-in training
US11782438B2 (en) 2020-03-17 2023-10-10 Nissan North America, Inc. Apparatus and method for post-processing a decision-making model of an autonomous vehicle using multivariate data
DE102020107880A1 (de) * 2020-03-23 2021-09-23 Ford Global Technologies, Llc Verfahren zum Steuern eines Geschwindigkeitsregelsystems in einem Kurvenverlauf
CN111402449A (zh) * 2020-03-27 2020-07-10 斑马网络技术有限公司 行车安全预警方法、行车记录仪及服务器
WO2021203385A1 (zh) * 2020-04-09 2021-10-14 华为技术有限公司 一种生成指令单元组的方法及装置
CN111497842B (zh) * 2020-04-30 2023-03-24 重庆大学 一种人机双闭环分层协同纵向跟车控制方法
US11554790B2 (en) 2020-05-08 2023-01-17 Zoox, Inc. Trajectory classification
US11708093B2 (en) 2020-05-08 2023-07-25 Zoox, Inc. Trajectories with intent
EP4146510A4 (en) * 2020-05-08 2024-05-01 Zoox, Inc. TRAJECTORY CLASSIFICATION
KR102342070B1 (ko) * 2020-05-21 2021-12-22 계명대학교 산학협력단 단안 카메라를 이용한 자동긴급제동시스템의 검증 장치와 방법
CN111780981B (zh) * 2020-05-21 2022-02-18 东南大学 一种智能车辆编队变道性能测评方法
US11511751B2 (en) 2020-05-29 2022-11-29 Toyota Research Institute, Inc. Merge situation exposure algorithms to maximize exposure time
US11030893B1 (en) * 2020-06-05 2021-06-08 Samuel Messinger System for reducing speed of a vehicle and method thereof
CN111562118B (zh) * 2020-06-30 2022-04-15 中汽院智能网联科技有限公司 一种夜间环境下aeb vru性能的测试方法
US11256937B2 (en) * 2020-07-17 2022-02-22 Toyota Motor Engineering & Manufacturing North America, Inc. Anomalous event detection and/or validation using inherent human behavior
US20220028273A1 (en) * 2020-07-24 2022-01-27 Autobrains Technologies Ltd Bypass assistance
CN111824182B (zh) * 2020-07-30 2022-03-22 吉林大学 一种基于深度强化学习的三轴重型车自适应巡航控制算法
US20220034673A1 (en) * 2020-08-03 2022-02-03 GM Global Technology Operations LLC Trailer-considerate route recommendations
CN112149344B (zh) * 2020-08-24 2023-03-28 同济大学 一种基于强化学习的足球机器人带球策略选择方法
US11814075B2 (en) * 2020-08-26 2023-11-14 Motional Ad Llc Conditional motion predictions
WO2022063397A1 (en) * 2020-09-23 2022-03-31 Bayerische Motoren Werke Aktiengesellschaft Determining correctness of image data of camera system
KR102528759B1 (ko) * 2020-09-29 2023-05-08 주식회사 더코더 자율 주행 차량의 안전 운전 제어 시스템 및 이의 실행 방법
CN112249008B (zh) * 2020-09-30 2021-10-26 南京航空航天大学 针对复杂动态环境的无人驾驶汽车预警方法
US11358598B2 (en) 2020-10-01 2022-06-14 Argo AI, LLC Methods and systems for performing outlet inference by an autonomous vehicle to determine feasible paths through an intersection
US11618444B2 (en) 2020-10-01 2023-04-04 Argo AI, LLC Methods and systems for autonomous vehicle inference of routes for actors exhibiting unrecognized behavior
US11731661B2 (en) 2020-10-01 2023-08-22 Argo AI, LLC Systems and methods for imminent collision avoidance
GB2601110A (en) * 2020-11-10 2022-05-25 Sony Interactive Entertainment Inc Latency mitigation system and method
US12017645B1 (en) * 2020-11-24 2024-06-25 Zoox, Inc. Controlling merging vehicles
WO2022132586A1 (en) * 2020-12-14 2022-06-23 Zoox, Inc. Lane change gap finder
CN112590791B (zh) * 2020-12-16 2022-03-11 东南大学 一种基于博弈论的智能车换道间隙选择方法及装置
WO2022130019A1 (en) * 2020-12-17 2022-06-23 Mobileye Vision Technologies Ltd. Vehicle operation safety model test system
US11807267B2 (en) 2020-12-31 2023-11-07 Toyota Research Institute, Inc. Systems and methods for risk-sensitive sequential action control for robotic devices
CN113485099B (zh) * 2020-12-31 2023-09-22 中国电子科技集团公司信息科学研究院 一种非线性离散时间系统的在线学习控制方法
CN113111003B (zh) * 2021-01-11 2022-05-03 北京赛目科技有限公司 一种场景无关的无人驾驶仿真测试评估方法及装置
KR102479484B1 (ko) * 2021-01-13 2022-12-22 부경대학교 산학협력단 비신호 교차로에서 자율주행차량의 개선된 통행을 위한 장치 및 방법
CN116783106A (zh) 2021-01-22 2023-09-19 株式会社电装 处理方法、处理系统、处理程序、处理装置
CN112947415B (zh) * 2021-01-26 2022-07-29 同济大学 一种基于障碍物语义信息的室内路径规划方法
CN112902969B (zh) * 2021-02-03 2023-08-01 重庆大学 一种无人机在数据收集过程中的路径规划方法
WO2022168883A1 (ja) 2021-02-05 2022-08-11 株式会社デンソー 処理方法、処理システム、処理プログラム、処理装置
US11993281B2 (en) * 2021-02-26 2024-05-28 Nissan North America, Inc. Learning in lane-level route planner
EP4068241A1 (en) * 2021-03-30 2022-10-05 Siemens Industry Software NV Driving assistance system and method of controlling autonomous vehicles
US11945441B2 (en) 2021-03-31 2024-04-02 Nissan North America, Inc. Explainability and interface design for lane-level route planner
CN113264064B (zh) * 2021-03-31 2022-05-10 志行千里(北京)科技有限公司 用于交叉路口场景的自动驾驶方法及相关设备
US11708075B2 (en) * 2021-04-08 2023-07-25 Ford Global Technologies, Llc Enhanced adaptive cruise control
US20220381579A1 (en) * 2021-05-26 2022-12-01 Robert Bosch Gmbh Turning path guidance system for vehicles
US11921506B2 (en) * 2021-05-28 2024-03-05 Nissan North America, Inc. Belief state determination for real-time decision-making
KR20230001071A (ko) * 2021-06-25 2023-01-04 현대자동차주식회사 자율 주행 차량, 그를 원격 제어하는 관제 시스템 및 그 방법
US20230020503A1 (en) * 2021-07-08 2023-01-19 Ford Global Technologies, Llc Machine control
WO2023284932A1 (en) * 2021-07-12 2023-01-19 Dr. Ing. H.C. F. Porsche Aktiengeselischaf Device and method for cut-in maneuver auto-labeling
US11724739B2 (en) * 2021-07-22 2023-08-15 GM Global Technology Operations LLC Vehicle actuation commands to affect transient handling
CN113401144B (zh) * 2021-07-27 2022-10-11 阿波罗智能技术(北京)有限公司 自动驾驶车辆的控制方法、装置、设备和介质
US20230053243A1 (en) * 2021-08-11 2023-02-16 Baidu Usa Llc Hybrid Performance Critic for Planning Module's Parameter Tuning in Autonomous Driving Vehicles
CN113781816B (zh) * 2021-09-24 2022-11-08 神华准格尔能源有限责任公司 矿用车辆控制方法、存储介质及电子设备
TWI790825B (zh) 2021-11-19 2023-01-21 財團法人工業技術研究院 安全距離估算系統及其估算方法
US11987237B2 (en) 2021-12-20 2024-05-21 Waymo Llc Systems and methods to determine a lane change strategy at a merge region
CN114415688A (zh) * 2022-01-24 2022-04-29 广州佩誉电子科技有限公司 一种汽车自动驾驶遥控控制系统
CN114291092B (zh) * 2022-01-26 2023-05-16 中国联合网络通信集团有限公司 车辆换道控制方法、装置、电子控制单元及存储介质
CN114241778B (zh) * 2022-02-23 2022-05-17 东南大学 高速公路网联车协同匝道汇入多目标优化控制方法和系统
US20230331256A1 (en) * 2022-04-15 2023-10-19 Motional Ad Llc Discerning fault for rule violations of autonomous vehicles for data processing
CN114639246A (zh) * 2022-05-18 2022-06-17 哈尔滨工业大学 一种高速公路匝道合流区车路协同控制方法及系统
US20230406205A1 (en) * 2022-06-15 2023-12-21 GM Global Technology Operations LLC Dynamically adjusting collision avoidance metric thresholds based on driver's field of view
CN115107759A (zh) * 2022-06-30 2022-09-27 重庆长安汽车股份有限公司 车辆的辅助驾驶方法、装置、车辆及存储介质

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0520592A (ja) 1991-07-11 1993-01-29 Taku Kumagai 自動車運行状況記録方法および同方法を実施する装置
DE59809476D1 (de) 1997-11-03 2003-10-09 Volkswagen Ag Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges
US7117137B1 (en) 1999-12-29 2006-10-03 Ge Harris Railway Electronics, Llc Adaptive train model
JP2003063273A (ja) 2001-08-30 2003-03-05 Hitachi Ltd 車両走行制御装置
US7124027B1 (en) 2002-07-11 2006-10-17 Yazaki North America, Inc. Vehicular collision avoidance system
JP3925474B2 (ja) * 2003-07-18 2007-06-06 日産自動車株式会社 車線変更支援装置
ATE396470T1 (de) 2004-04-08 2008-06-15 Mobileye Technologies Ltd Kollisionswarnsystem
JP4327062B2 (ja) * 2004-10-25 2009-09-09 三菱電機株式会社 ナビゲーション装置
US20070010944A1 (en) * 2005-07-09 2007-01-11 Ferrebee James H Jr Driver-adjustable sensor apparatus, system, & method for improving traffic safety
JP4684954B2 (ja) * 2005-08-31 2011-05-18 本田技研工業株式会社 車両の走行安全装置
KR100761664B1 (ko) * 2005-12-16 2007-10-01 주식회사 대우일렉트로닉스 주행 상황 정보를 저장하는 자동차 내비게이션 장치
KR100823787B1 (ko) * 2006-04-03 2008-04-21 정양권 내비게이션 기능이 부가된 교통사고 블랙박스 장치 및 그에 따른 방법
US8244408B2 (en) * 2009-03-09 2012-08-14 GM Global Technology Operations LLC Method to assess risk associated with operating an autonomic vehicle control system
JP5195672B2 (ja) * 2009-05-29 2013-05-08 トヨタ自動車株式会社 車両制御装置、車両および車両制御方法
EP2289754B1 (en) * 2009-08-31 2015-04-29 Toyota Motor Europe NV/SA Vehicle or traffic control method and system
JP5240316B2 (ja) * 2010-10-26 2013-07-17 株式会社デンソー 車両乗員非操作運転システム
JP2013003928A (ja) * 2011-06-18 2013-01-07 Hitachi Solutions Ltd 車両事故原因推定システム
MX337513B (es) * 2011-09-19 2016-03-09 Tata Consultancy Services Ltd Una plataforma informatica para el desarrollo y despliegue de aplicaciones y servicios de telemetria de vehiculos guiados por sensores.
US8694222B2 (en) 2011-10-26 2014-04-08 GM Global Technology Operations LLC Collision avoidance system and method of operating the same
US20130197736A1 (en) * 2012-01-30 2013-08-01 Google Inc. Vehicle control based on perception uncertainty
JP2013170877A (ja) * 2012-02-20 2013-09-02 Denso Corp センター装置及びナビゲーションシステム
US9429943B2 (en) * 2012-03-05 2016-08-30 Florida A&M University Artificial intelligence valet systems and methods
US8473144B1 (en) * 2012-10-30 2013-06-25 Google Inc. Controlling vehicle lateral lane positioning
CN103065371B (zh) * 2012-12-03 2016-04-06 深圳市元征科技股份有限公司 交通事故责任界定方法
KR101491256B1 (ko) * 2013-05-28 2015-02-06 현대자동차주식회사 무선통신을 이용한 차선인식 장치 및 방법
US9174672B2 (en) * 2013-10-28 2015-11-03 GM Global Technology Operations LLC Path planning for evasive steering maneuver in presence of target vehicle and surrounding objects
EP2869283B1 (en) * 2013-10-31 2017-08-16 Inria Institut National de Recherche en Informatique et en Automatique Method and system of driving assistance for collision avoidance
CN111027420B (zh) 2013-12-04 2023-10-24 移动眼视力科技有限公司 用于模仿前车的系统和方法
KR101559886B1 (ko) 2013-12-27 2015-10-26 한국과학기술원 이동 수단의 집단 제어를 위한 장치 및 방법
EP2892020A1 (en) * 2014-01-06 2015-07-08 Harman International Industries, Incorporated Continuous identity monitoring for classifying driving data for driving performance analysis
US9340207B2 (en) * 2014-01-16 2016-05-17 Toyota Motor Engineering & Manufacturing North America, Inc. Lateral maneuver planner for automated driving system
US20150247719A1 (en) * 2014-03-03 2015-09-03 Tomorrow's Transportation Today Position sensing system for intelligent vehicle guidance
KR20150115288A (ko) 2014-04-03 2015-10-14 한화테크윈 주식회사 자동 주행 장치 제어 시스템 및 그 제어 방법
US10354330B1 (en) * 2014-05-20 2019-07-16 State Farm Mutual Automobile Insurance Company Autonomous feature use monitoring and insurance pricing
DE102014212898A1 (de) 2014-07-03 2016-01-07 Robert Bosch Gmbh Verfahren zum Ermitteln einer Notfall-Trajektorie und Verfahren zum teilautomatisierten oder automatisierten Führen eines Ego-Fahrzeugs
KR20160013713A (ko) * 2014-07-28 2016-02-05 현대자동차주식회사 자율주행차량의 전역경로 생성장치 및 방법
JP6307383B2 (ja) * 2014-08-07 2018-04-04 日立オートモティブシステムズ株式会社 行動計画装置
WO2016024314A1 (ja) * 2014-08-11 2016-02-18 日産自動車株式会社 車両の走行制御装置及び方法
DE102014221898A1 (de) 2014-10-28 2016-04-28 Bayerische Motoren Werke Aktiengesellschaft Faserverbundbauteil mit Versagensverhalten eines duktilen Werkstoffs
KR101664582B1 (ko) * 2014-11-12 2016-10-10 현대자동차주식회사 자율주행차량의 주행경로 생성장치 및 방법
US10192283B2 (en) 2014-12-22 2019-01-29 Cognex Corporation System and method for determining clutter in an acquired image
US9505405B2 (en) * 2015-01-16 2016-11-29 Ford Global Technologies, Llc Rear collision avoidance and mitigation system
US9836963B1 (en) * 2015-01-20 2017-12-05 State Farm Mutual Automobile Insurance Company Determining corrective actions based upon broadcast of telematics data originating from another vehicle
JP6082415B2 (ja) * 2015-03-03 2017-02-15 富士重工業株式会社 車両の走行制御装置
KR101665553B1 (ko) 2015-03-20 2016-10-24 현대자동차주식회사 사고 정보 분석 장치, 이를 포함하는 서버 및 사고 정보 분석 방법
KR101675306B1 (ko) * 2015-03-20 2016-11-11 현대자동차주식회사 사고 정보 관리 장치, 이를 포함하는 차량 및 사고 정보 관리 방법
US9868443B2 (en) * 2015-04-27 2018-01-16 GM Global Technology Operations LLC Reactive path planning for autonomous driving
KR101724887B1 (ko) * 2015-08-10 2017-04-07 현대자동차주식회사 전방 도로 형상과 연결을 분석해 차선 변경과 타이밍을 결정하는 자율주행 제어 장치 및 방법
US10839302B2 (en) * 2015-11-24 2020-11-17 The Research Foundation For The State University Of New York Approximate value iteration with complex returns by bounding
US9862364B2 (en) 2015-12-04 2018-01-09 Waymo Llc Collision mitigated braking for autonomous vehicles
JP2017142145A (ja) * 2016-02-10 2017-08-17 株式会社ゼンリン 車線変更支援装置、車両制御装置およびその方法
WO2017142935A1 (en) * 2016-02-15 2017-08-24 Allstate Insurance Company Real time risk assessment and operational changes with semi-autonomous vehicles
US11250514B2 (en) * 2016-02-15 2022-02-15 Allstate Insurance Company Early notification of non-autonomous area
CN106114507B (zh) * 2016-06-21 2018-04-03 百度在线网络技术(北京)有限公司 用于智能车辆的局部轨迹规划方法和装置
US9953535B1 (en) 2016-06-27 2018-04-24 Amazon Technologies, Inc. Annotated virtual track to inform autonomous vehicle control
CN106157614B (zh) * 2016-06-29 2020-09-04 北京奇虎科技有限公司 汽车事故责任确定方法及系统
WO2018046102A1 (en) * 2016-09-10 2018-03-15 Swiss Reinsurance Company Ltd. Automated, telematics-based system with score-driven triggering and operation of automated sharing economy risk-transfer systems and corresponding method thereof
JP6577926B2 (ja) * 2016-09-26 2019-09-18 本田技研工業株式会社 走行支援装置及び走行支援方法
US10452068B2 (en) 2016-10-17 2019-10-22 Uber Technologies, Inc. Neural network system for autonomous vehicle control
US10248874B2 (en) 2016-11-22 2019-04-02 Ford Global Technologies, Llc Brake light detection
EP3828657A1 (en) * 2016-12-23 2021-06-02 Mobileye Vision Technologies Ltd. Navigational system
CN107067718B (zh) * 2016-12-29 2020-05-01 盯盯拍(深圳)技术股份有限公司 交通事故责任评估方法、交通事故责任评估装置以及交通事故责任评估系统
CN108305477B (zh) * 2017-04-20 2019-08-13 腾讯科技(深圳)有限公司 一种车道选择方法及终端
MX2020001209A (es) * 2017-08-02 2020-03-20 Nissan Motor Metodo de asistencia de viaje y dispositivo de asistencia de viaje.
US10668925B2 (en) * 2017-09-05 2020-06-02 Baidu Usa Llc Driver intention-based lane assistant system for autonomous driving vehicles
US11360475B2 (en) * 2017-12-05 2022-06-14 Waymo Llc Real-time lane change selection for autonomous vehicles
WO2019117774A1 (en) 2017-12-14 2019-06-20 Saab Ab Flight vision system and method for presenting images from the surrounding of an airborne vehicle in a flight vision system
JP7460044B2 (ja) * 2019-03-29 2024-04-02 インテル・コーポレーション 自律車両、ならびに自律車両システムに係る装置、プログラム、およびコンピュータ可読媒体
JP7295684B2 (ja) * 2019-03-29 2023-06-21 株式会社日本総合研究所 事故責任特定方法、事故責任特定装置及びコンピュータプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023204098A1 (ja) * 2022-04-19 2023-10-26 大学共同利用機関法人情報・システム研究機構 安全ルール生成装置、ナビゲーションシステム、安全ルール生成方法、ナビゲーション方法及びプログラム

Also Published As

Publication number Publication date
CN112629551B (zh) 2024-04-26
KR102469732B1 (ko) 2022-11-23
KR102426734B1 (ko) 2022-07-29
US10970790B2 (en) 2021-04-06
EP3836122A1 (en) 2021-06-16
US20190291727A1 (en) 2019-09-26
US20190299983A1 (en) 2019-10-03
JP6708793B2 (ja) 2020-06-10
WO2018115963A2 (en) 2018-06-28
KR20220110857A (ko) 2022-08-09
IL288191B2 (en) 2023-10-01
EP3832419A1 (en) 2021-06-09
IL284500B (en) 2021-12-01
US20190295179A1 (en) 2019-09-26
US10937107B2 (en) 2021-03-02
US20210110483A1 (en) 2021-04-15
JP2020504860A (ja) 2020-02-13
US20210166325A1 (en) 2021-06-03
IL266725B (en) 2021-08-31
KR20210113694A (ko) 2021-09-16
US11727497B2 (en) 2023-08-15
IL288191A (en) 2022-01-01
EP3559600A2 (en) 2019-10-30
CN110214264A (zh) 2019-09-06
WO2018115963A3 (en) 2018-09-27
US11164264B2 (en) 2021-11-02
US11416943B2 (en) 2022-08-16
IL288191B1 (en) 2023-06-01
IL266725A (en) 2019-07-31
EP4220603A1 (en) 2023-08-02
EP3828657A1 (en) 2021-06-02
KR20190091366A (ko) 2019-08-05
CN112629551A (zh) 2021-04-09
EP3805889A1 (en) 2021-04-14
IL284500A (en) 2021-08-31
US20240046363A1 (en) 2024-02-08
KR102316406B1 (ko) 2021-10-25
KR20200049888A (ko) 2020-05-08

Similar Documents

Publication Publication Date Title
JP7367255B2 (ja) 車両をナビゲートするためのシステム及び方法
JP2020187754A (ja) 課せられる責任の制約を伴うナビゲーションシステム
JP2021536599A (ja) 安全な距離でナビゲートするためのシステム及び方法
KR20190107057A (ko) 차량 움직임에 기반한 항법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200915