CN108700876A - 用于自主车辆轨迹修改的远程操作系统和方法 - Google Patents

用于自主车辆轨迹修改的远程操作系统和方法 Download PDF

Info

Publication number
CN108700876A
CN108700876A CN201680064768.2A CN201680064768A CN108700876A CN 108700876 A CN108700876 A CN 108700876A CN 201680064768 A CN201680064768 A CN 201680064768A CN 108700876 A CN108700876 A CN 108700876A
Authority
CN
China
Prior art keywords
data
autonomous vehicle
teleoperator
autonomous
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680064768.2A
Other languages
English (en)
Other versions
CN108700876B (zh
Inventor
J·S·莱文森
T·D·肯特力-克雷
G·T·斯布莱
R·Y·加马拉
A·G·赖格
G·林斯科特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zook Co Ltd
Zoox Inc
Original Assignee
Zook Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/756,996 external-priority patent/US9916703B2/en
Priority claimed from US14/932,940 external-priority patent/US9734455B2/en
Priority claimed from US14/756,991 external-priority patent/US9720415B2/en
Priority claimed from US14/756,992 external-priority patent/US9910441B2/en
Priority claimed from US14/756,995 external-priority patent/US9958864B2/en
Priority claimed from US14/932,966 external-priority patent/US9507346B1/en
Application filed by Zook Co Ltd filed Critical Zook Co Ltd
Priority claimed from PCT/US2016/060018 external-priority patent/WO2017079219A1/en
Publication of CN108700876A publication Critical patent/CN108700876A/zh
Application granted granted Critical
Publication of CN108700876B publication Critical patent/CN108700876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/205—Indicating the location of the monitored vehicles as destination, e.g. accidents, stolen, rental
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L3/00—Electric devices on electrically-propelled vehicles for safety purposes; Monitoring operating variables, e.g. speed, deceleration or energy consumption
    • B60L3/0007—Measures or means for preventing or attenuating collisions
    • B60L3/0015—Prevention of collisions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/28—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating front of vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/30—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating rear of vehicle, e.g. by means of reflecting surfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/503—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/507—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to autonomous vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/508—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to vehicles driving in fleets or convoys
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/3867—Geometry of map features, e.g. shape points, polygons or for simplified maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/387—Organisation of map data, e.g. version management or database structures
    • G01C21/3881—Tile-based structures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G01S17/875—Combinations of systems using electromagnetic waves other than radio waves for determining attitude
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291—Fleet control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291—Fleet control
    • G05D1/0297—Fleet control by controlling means in a control room
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/202—Dispatching vehicles on the basis of a location, e.g. taxi dispatching
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18—Methods or devices for transmitting, conducting or directing sound
    • G10K11/26—Sound-focusing or directing, e.g. scanning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2240/00—Control parameters of input or output; Target parameters
    • B60L2240/60—Navigation input
    • B60L2240/62—Vehicle position
    • B60L2240/622—Vehicle position by satellite navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2260/00—Operating Modes
    • B60L2260/20—Drive modes; Transition between modes
    • B60L2260/32—Auto pilot mode
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/549—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for expressing greetings, gratitude or emotions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R2021/01204—Actuation parameters of safety arrangents
    • B60R2021/01252—Devices other than bags
    • B60R2021/01265—Seat belts
    • B60R2021/01272—Belt tensioners
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/0009—Transmission of position information to remote stations
    • G01S5/0018—Transmission from mobile station to base station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Acoustics & Sound (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Power Engineering (AREA)
  • Sustainable Energy (AREA)
  • Sustainable Development (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Navigation (AREA)
  • Automotive Seat Belt Assembly (AREA)

Abstract

一种方法，包括：经由通信链路从自主无人驾驶车辆接收远程操作消息；检测指定与所述自主无人驾驶车辆相关联的事件(类似于传感器劣化)的数据；识别响应于所述事件执行的一个或多个动作流程；模拟所述动作流程以计算模拟值并且产生可视化数据，以向远程操作员计算装置的显示器呈现与所述事件相关联的信息，以实现期望动作流程的选择。

Description

用于自主车辆轨迹修改的远程操作系统和方法
相关申请的交叉引用
本PCT国际申请是2015年11月4日提交的题为“TELEOPERATION SYSTEM ANDMETHOD FOR TRAJECTORY MODIFICATION OF AUTONOMOUS VEHICLES”的美国申请No.14/932,966的继续，该申请涉及2015年11月4日提交的题为“AUTONOMOUS VEHICLE FLEETSERVICE AND SYSTEM”的美国专利申请No.14/932,959，2015年11月4日提交的题为“ADAPTIVE MAPPING TO NAVIGATE AUTONOMOUS VEHICLES RESPONSIVE TO PHYSICALENVIRONMENT CHANGES”的美国专利申请No.14/932,963，2015年11月4日提交的题为“AUTOMATED EXTRACTION OF SEMANTIC INFORMATION TO ENHANCE INCREMENTAL MAPPINGMODIFICATIONS FOR ROBOTIC VEHICLES”的美国专利申请No.14/932,940，2015年11月4日提交的题为“COORDINATION OF DISPATCHING AND MAINTAINING FLEET OF AUTONOMOUSVEHICLES”的美国专利申请No.14/756,995，2015年11月4日提交的题为“ADAPTIVEAUTONOMOUS VEHICLE PLANNER LOGIC”的美国专利申请No.14/756,992，2015年11月4日提交的题为“SENSOR-BASED OBJECT DETECTION OPTIMIZATION FOR AUTONOMOUS VEHICLES”的美国专利申请No.14/756,991，以及2015年11月4日提交的题为“CALIBRATION FORAUTONOMOUS VEHICLE OPERATION”的美国专利申请No.14/756,996，在此出于所有目的通过引用将所有这些文献全文并入本文。
技术领域
各实施例总体上涉及自主车辆以及关联的机械、电气和电子硬件、计算机软件和系统，以及有线和无线网络通信，以作为服务提供给自主车队。更具体而言，系统、装置和方法被配置成(例如，远程)发起轨迹修改以影响自主车辆的导航。
背景技术
开发无人驾驶车辆的多种方法都主要集中于使常规车辆(例如，人工驾驶的汽车)自动化，目的是生产无人驾驶车辆供消费者购买。例如，若干汽车公司和子公司在改变常规汽车和控制机制，例如转向，以为消费者提供拥有可以无人驾驶的车辆的能力。在一些方法中，常规无人驾驶车辆在某些状况下执行安全关键性驾驶功能，但如果车辆控制器未能解决可能危及乘坐者安全的特定问题，则要求驾驶员采取控制(例如，转向等)。
尽管如此，功能性的常规无人驾驶车辆通常有若干缺点。例如，正在开发的大量无人驾驶汽车是从需要人工(即，人控制)转向和其他类似自主功能的车辆演进的。因此，大部分无人驾驶汽车基于这样的范式：车辆要被设计成适应得到许可的驾驶员，为此在车辆之内保留了特定座椅或位置。这样一来，无人驾驶车辆被设计地并非最优，通常放弃了简化车辆设计和节省资源(例如，降低生产无人驾驶车辆的成本)的机会。常规无人驾驶车辆中还存在其他缺点。
常规交通服务中还存在其他缺点，由于提供常规运输和共乘服务的常见方式的原因，它们并非很适合例如有效管理车辆库存。在一种常规方法中，要求乘客经由中心式服务访问移动应用以请求运输服务，该中心式服务向乘客分配人类驾驶员和车辆(例如，在私人所有关系下)。使用所有人不同的车辆，私人车辆和安全系统的维护通常会不受约束。在另一种常规方法中，一些实体通过允许作为成员登记的驾驶员访问成员间共享的车辆而实现对一组车辆的共乘。这种方法不太适合提供方便的运输服务，因为驾驶员需要在特定地点取走和放回共享车辆，这些地点通常在城市环境中很少很稀疏，并需要进出停放共乘车辆的较为昂贵的不动产(即，停车场)。在上述常规方法中，从库存角度讲，用于提供运输服务的传统车辆通常利用率不够，因为一旦驾驶员离开，车辆就不动了。此外，共乘方式(以及个体拥有的车辆运输服务)通常不太适合重新调整库存以匹配运输服务的需求，以适应使用和典型的行驶模式。也要注意，具有有限自主驾驶自动化能力的一些常规描述的车辆也不太适合重新调整库存，因为通常可能需要人类驾驶员。根据美国运输部的高速公路安全管理局(“NHTSA”)，具有有限自主驾驶自动化能力的车辆示例是被指定为3级(“L3”)车辆的车辆。
作为另一个缺点，无人驾驶车辆的典型方式通常不太适合相对于行驶中车辆和车辆驾驶员或个人之间的交互(例如，社会交互)检测车辆并进行导航。例如，一些常规方法不能充分识别行人、骑行者等，以及关联的交互，例如出于解决无人驾驶车辆乘坐者安全风险的目的的眼神接触、手势等，以及其他车辆的驾驶员、行人等。
因此，需要一种用于实现自主车辆而没有常规技术局限性的方案。
附图说明
在以下具体实施方式和附图中公开了本发明的各种实施例或示例(“示例”)。
图1是绘示了根据一些实施例通信联网到自主车辆服务平台的一队自主车辆的实施方式的图示；
图2是根据一些实施例监测一队自主车辆的流程图的示例；
图3A是绘示了根据一些示例的传感器和其他自主车辆部件的示例的图示；
图3B到3E是绘示了根据一些示例的感测区域冗余和自主车辆适应感测区域损失的示例的图示；
图4是绘示了根据一些示例的系统的功能框图，该系统包括经由通信层通信耦合到自主车辆控制器的自主车辆服务平台；
图5是根据一些实施例控制自主车辆的流程图的示例；
图6是绘示了根据一些实施例用于自主车辆控制器的架构示例的图示；
图7是绘示了根据一些实施例的自主车辆服务平台示例的图示，该自主车辆服务平台实施冗余通信信道以与一队自主车辆保持可靠通信；
图8是绘示了根据一些实施例被配置成在各种应用之间交换数据的消息应用示例的图示；
图9是绘示了根据一些示例使用图8所述的通信协议方便远程操作的数据类型的图示；
图10是示出根据一些实施例的远程操作员界面的示例的图示，远程操作员可以利用该界面影响路径规划；
图11是绘示了根据一些示例被配置成调用远程操作的规划器(planner)示例的图示；
图12是根据一些实施例被配置成控制自主车辆的流程图的示例；
图13示出了根据一些示例规划器可以产生轨迹的示例；
图14是绘示了根据一些实施例的自主车辆服务平台另一示例的图示；
图15是根据一些实施例控制自主车辆的流程图的示例；
图16是根据一些示例实现车队优化管理器的自主车队管理器的示例的图示；
图17是根据一些实施例用于管理一队自主车辆的流程图的示例；
图18是示出了根据一些实施例实施自主车辆通信链路管理器的自主车队管理器的图示；
图19是根据一些实施例用于确定事件期间自主车辆动作的流程图的示例；
图20是示出根据一些实施例的定位器示例的图示；
图21是根据一些实施例基于集成传感器数据产生本地姿态数据的流程图的示例；
图22是示出根据一些实施例的定位器另一示例的图示；
图23是示出根据一些实施例的感知引擎示例的图示；
图24是根据一些实施例产生感知引擎数据的流程图的示例；
图25是示出根据一些实施例的分割处理器的示例；
图26A是示出根据各实施例的对象跟踪器和分类器示例的图示；
图26B是示出根据一些示例的对象跟踪器另一示例的图示；
图27是根据一些示例用于感知引擎的前端处理器的示例；
图28是绘示了根据各实施例被配置成在合成环境中模拟自主车辆的模拟器的图示；
图29是根据一些实施例模拟自主车辆各方面的流程图的示例；
图30是根据一些实施例产生地图数据的流程图的示例；
图31是示出根据一些实施例的制图引擎架构的图示；
图32是绘示了根据一些示例的自主车辆应用的图示；
图33到35示出了根据各实施例被配置成向自主车辆服务的部件提供各种功能性的各种计算平台的示例；
图36是绘示了根据一些示例被配置成至少影响自主车辆导航控制的远程操作员管理器的示例的图示；
图37是绘示了根据一些示例被配置成实现用户界面以有助于远程操作服务命令的远程操作员管理器的示例的图示；
图38是绘示了根据一些示例被配置成实现用户界面以有助于远程操作服务命令的远程操作员管理器的另一示例的图示；
图39是绘示了根据一些示例被配置成实现用户界面以有助于远程操作服务命令的远程操作员管理器的又一示例的图示；
图40是示出了根据一些示例执行远程操作服务的示例的流程图；并且
图41示出了根据各实施例被配置成向自主车辆服务的部件提供各种远程操作相关功能性和/或结构的各种计算平台的示例。
具体实施方式
可以通过众多方式实现各实施例或示例，包括系统、过程、设备、用户接口或计算机可读介质上的一系列程序指令，计算机可读介质例如是计算机可读存储介质或通过光学、电子或无线通信链路发送程序指令的计算机网络。通常，可以按照任意次序执行所公开过程的操作，除非在权利要求中做出其他陈述。
下文连同附图提供对一个或多个示例的详细描述。结合这样的示例提供详细描述，但不限于任何特定示例。保护范围仅受权利要求及其众多替代、修改和等价要件的限制。在以下描述中阐述了众多具体细节，以便提供透彻的理解。提供这些细节是为了举例，可以根据权利要求实践所述的技术而无需这些具体细节的一些或全部。为了清晰起见，未详细描述在涉及示例的技术领域中已知的技术材料，以免使描述不必要地模糊不清。
图1是绘示了根据一些实施例通信联网到自主车辆服务平台的一队自主车辆的实施方式的图示。图示100示出了作为服务工作的一队自主车辆109(例如，一个或多个自主车辆109a到109e)，每个自主车辆109都被配置成在路网110上自驾驶，并与自主车辆服务平台101建立通信链路192。在一队自主车辆109构成服务的示例中，用户102可以经由一个或多个网络106向自主车辆服务平台101发送对自主运输的请求103。作为响应，自主车辆服务平台101可以分派自主车辆109之一以自主地将用户102从地理位置119运输到地理位置111。自主车辆服务平台101可以将自主车辆从车站190分派到地理位置119，或者可以将已经在运输中(例如，没有乘坐者)的自主车辆109c转移到为用户102的运输请求服务。自主车辆服务平台101可以进一步被配置成响应于来自用户102(例如，作为乘客)的请求转移运输中有乘客的自主车辆109c。此外，自主车辆服务平台101可以被配置成保留运输中带乘客的自主车辆109c，以在现有乘客下车之后转移到为用户102的请求服务。需注意，可以实现多个自主车辆服务平台101(未示出)和一个或多个车站190以结合路网110为一个或多个自主车辆190服务。一个或多个车站190可以被配置成存储、服务、管理和/或维护自主车辆109的库存(例如，车站190可以包括实现自主车辆服务平台101的一个或多个计算设备)。
根据一些示例，至少一些自主车辆109a到109e被配置为双向自主车辆，例如双向自主车辆("AV")130。双向自主车辆130可以被配置成在基本沿着但不限于纵轴131的任意方向行驶。因此，双向自主车辆130可以被配置成实施车辆外部的主动照明以提示相邻附近区域中的其他人(例如，其他驾驶员、行人、骑行者等)，以及双向自主车辆130正在行驶的方向。例如，在沿第一方向行驶时可以将主动光源136实现为主动灯138a，或者可以在沿第二方向行驶时实现为主动灯138b。可以使用一种或多种颜色的第一子集实现主动灯138a并具有任选的动画(例如，光强可变的光图案或可以随时间改变的颜色)。类似地，可以使用一种或多种颜色的第二子集以及可能与主动灯138a的那些不同的光图案实现主动灯138b。例如，可以利用白色灯将主动灯138a实现为“头灯”，而可以使用红色灯将主动灯138b实现为“尾灯”。主动灯138a和138b或其部分可以被配置成提供其他与灯相关的功能，例如提供“转向信号指示”功能(例如，使用黄光)。根据各示例，自主车辆130中的逻辑可以被配置成调整主动灯138a和138b以遵守针对任意数量管辖区的各种安全要求和交通规则或法规。
在一些实施例中，双向自主车辆130可以被配置成在四个部分中的每一个中，例如四个部分194中都具有类似的结构元件和部件。至少在本示例中，四个部分被示为由平面132和平面134的相交区域界定的双向自主车辆130的部分，两个平面都通过车辆以在平面132和134的每侧形成两个相似一半。此外，双向自主车辆130可以包括自主车辆控制器147，自主车辆控制器147包括被配置成控制绝大多数车辆功能的逻辑(例如，硬件或软件，或其组合)，所述功能包括驾驶控制(例如，推进、转向等)和主动光源136等功能。双向自主车辆130还包括设置于车辆各处的若干传感器139(其他传感器未示出)。
自主车辆控制器147可以进一步被配置成确定自主车辆109的本地姿态(例如，本地位置)并检测相对于车辆的外部对象。例如，考虑到双向自主车辆130正在路网110中沿方向119行驶。自主车辆控制器147的定位器(未示出)可以确定在地理位置111处的本地姿态。这样一来，定位器可以使用采集的传感器数据，例如与建筑物115和117的表面相关联的传感器数据，传感器数据可以参照参考数据，例如地图数据(例如，3D地图数据，包括反射率数据)进行对比以确定本地姿态。此外，自主车辆控制器147的感知引擎(未示出)可以被配置成检测、分类并预测外部对象，例如外部对象112(“树”)和外部对象114(“行人”)的行为。对这样的外部对象进行分类可以将对象宽泛地分为诸如外部对象112的静态对象和诸如外部对象114的动态对象。定位器和感知引擎以及AV控制器147的其他部件合作，以使得自主车辆109自主驾驶。
根据一些示例，自主车辆服务平台101被配置成如果自主车辆109请求远程操作则提供远程操作员服务。例如，考虑到自主车辆109d中的自主车辆控制器147检测到在点191处道路122上有挡住道路124的对象126，如插图120中所示。如果自主车辆控制器147不能以较高确定度确定车辆109d可以安全通过的路径或轨迹，那么自主车辆控制器147可以发送请求消息105以获得远程操作服务。作为响应，远程操作员计算装置104可以从远程操作员108接收指令以执行一系列动作以成功(并安全)地通过障碍物126。响应数据107然后可以被发送回自主车辆109d，以令车辆例如在其沿替代路径121通过时安全跨越一组双线。在一些示例中，远程操作员计算装置104可以产生响应，标识在规划路径时要排除的地理区域。具体而言，并非是提供要遵循的路径，远程操作员108可以定义自主车辆必须要避开的区域或位置。
考虑前述内容，自主车辆130和/或自主车辆控制器147及其部件的结构和/或功能，可以通过自主相关的操作，例如局域化和感知，进行实时(或接近实时)的轨迹计算，以使得自主车辆109能够自驾驶。
在一些情况下，双向自主车辆130的双向性质提供了一种车辆，其具有彼此类似或基本类似的四个部分194(或任何其他数量的对称部分)。这样的对称性降低了设计复杂性并相对减少了唯一性部件或结构的数量，由此降低了库存和制造复杂性。例如，传动系统和车轮系统可以设置于四个部分的任何部分中。此外，自主车辆控制器147被配置成调用远程操作服务，以减小在解决本来可能影响乘车者安全的事件或问题时自主车辆109交通延迟的可能性。在一些情况下，路网110的可见部分绘示了地理围栏区域，其可以将自主车辆109的移动限制或通过其他方式控制到图1所示的路网。根据各示例，自主车辆109及其车队可以被配置成作为4级(“完全自驾驶自动化”或L4)车辆工作，4级车辆能够按需提供运输，具有点到点个人移动性的便利和隐私，同时提供共享车辆的效率。在一些示例中，自主车辆109或本文所述的任何自主车辆可以被配置成省去方向盘或为自主车辆109提供人工(即，人控制的)转向的任何其他机械装置。此外，自主车辆109或本文所述的任何自主车辆可以被配置成省去车内为操控方向盘或任何机械转向系统的乘车者预留的座椅或位置。
图2是根据一些实施例监测一队自主车辆的流程图的示例。在202，在监测到一队自主车辆时开始流程200。至少一个自主车辆包括自主车辆控制器，其被配置为令车辆自主地从第一地理区域移动到第二地理区域。在204，检测代表与为车辆计算的置信度水平相关联的事件的数据。事件可能是影响自主车辆操作或潜在影响其操作的条件或状况。事件可以在自主车辆内部或外部。例如，挡在道路上的障碍物以及通信的减少或丢失可以被视为事件。事件可以包括交通状况或拥堵，以及被感知引擎感知到的意外或异常数量或类型的外部对象(或轨道)。事件可以包括天气相关的条件(例如，由于冰或雨而失去摩擦力)或太阳照射的角度(例如，日落时)，例如与地平面角度低，导致太阳在其他车辆的人类驾驶员眼睛中明亮地闪光。这些和其他条件可以被视为导致调用远程操作员服务或车辆执行安全停车轨迹的事件。
在206，可以响应于检测到事件而从自主车辆接收代表候选轨迹的子集的数据。例如，自主车辆控制器的规划器可以计算并评估每单位时间，例如一秒钟大量的轨迹(例如，几千或更大)。在一些实施例中，候选轨迹是在考虑事件的情况下自主车辆能够安全向前移动的，提供较高置信度水平的轨迹的子集(例如，使用远程操作员提供的替代路径)。注意，一些候选轨迹可以被排序或与其他候选轨迹相比具有更高的置信度。根据一些示例，候选轨迹的子集可以源自任意数量的源，例如规划器、远程操作员计算装置(例如，远程操作员可以确定并提供近似路径)等，并可以被组合为候选轨迹的超集。在208，可以在一个或多个处理器处识别路径引导数据。路径引导数据可以被配置成辅助远程操作员从一个或多个候选轨迹选择引导轨迹。在一些情况下，路径引导数据指定表示置信度水平或概率的值，置信度水平或概率指示特定候选轨迹可以减小或抵消事件可能影响自主车辆操作的概率的确定程度。可以在210，响应于来自远程操作员的输入(例如，远程操作员可以从一组排序不同的候选轨迹选择至少一个候选轨迹作为引导轨迹)接收引导轨迹作为选定候选轨迹。可以经由操作员界面做出该选择，该操作员界面列出若干候选轨迹，例如，按照从最高置信度水平到最低置信度水平的次序列出。在212，作为引导轨迹的候选轨迹的选择可以被发送到车辆，车辆继而实施引导轨迹，以通过令车辆执行远程操作员指定的策略来解决该状况。这样一来，自主车辆就可以从不规范操作状态过渡出来。
图3A是绘示了根据一些示例的传感器和其他自主车辆部件的示例的图示。图示300示出了双向自主车辆330的内部视图，其包括传感器、信号路由器345、传动系349、可移除电池343、音频发生器344(例如，扬声器或换能器)和自主车辆(“AV”)控制逻辑347。图示300中示出的传感器包括图像拍摄传感器340(例如，任何类型的光拍摄装置或相机)、音频捕获传感器342(例如，任何类型的麦克风)、雷达装置348、声呐装置341(或其他类似传感器，包括超声波传感器或声学相关传感器)以及LIDAR装置346、以及其他传感器类型和模态(其中一些未示出，例如惯性测量单元、或“IMU”、全球定位系统(“GPS”)传感器、声呐传感器等)。注意，四个部分350代表双向自主车辆330的四个“四个部分”的每个的对称性(例如，在图示之外，四个部分350中的每一个可以包括车轮、传动系349、类似的转向机构、类似的结构支撑和构件等)。如图3A所示，类似的传感器可以放在四个部分350的每一个中的类似位置处，不过，可以实施任何其他配置。每个车轮都可以单独转向并独立于其他车轮。还要指出，可移除电池343可以被配置成方便换入和换出，而不是原地充电，由此确保由于必须为电池343充电导致的停机时间减小或可忽略。尽管自主车辆控制器347a被绘示了为用于双向自主车辆330中，但自主车辆控制器347a不受此限制，可以实现于单向自主车辆或任何其他类型的交通工具中，无论是陆地、空中或海上。需注意，图3A中所示传感器的绘示了和描述的位置、地点、取向、数量和类型并非意在加以限制，这样一来，可以有任意数量和类型的传感器，任何传感器都可以位于自主车辆330上的任意地方并任意取向。
根据一些实施例，可以利用实现用于对GPU集群编程的框架和编程模型的图形处理单元(“GPU”)的集群实现自主车辆(“AV”)控制逻辑347的部分。例如，可以使用兼容计算统一装置架构(“CUDATM”)的编程语言和应用编程接口(“API”)模型对GPU编程。CUDATM由加利福尼亚Santa Clara的NVIDIA生产和维护。注意，可以实施其他编程语言，例如OpenCL或任何其他并行编程语言。
根据一些实施例，自主车辆控制逻辑347可以在硬件和/或软件中实现为自主车辆控制器347a，其被示为包括运动控制器362、规划器364、感知引擎366和定位器368。如图所示，自主车辆控制器347a被配置成接收相机数据340a、LIDAR数据346a和雷达数据348a或任何其他测距或局域化数据，包括声呐数据341a等。自主车辆控制器347a还被配置成接收定位数据，例如GPS数据352、IMU数据354和其他位置感测数据(例如，车轮相关的数据，例如转向角、角速度等)。此外，自主车辆控制器347a可以接收任何其他传感器数据356以及参考数据339。在一些情况下，参考数据339包括地图数据(例如，3D地图数据、2D地图数据、4D地图数据(例如，包括Epoch Determination))和路线数据(例如，路网数据，包括，但不限于RNDF数据(或类似数据)、MDF数据(或类似数据))等。
定位器368被配置成从一个或多个源接收传感器数据，例如GPS数据352、车轮数据、IMU数据354、LIDAR数据346a、相机数据340a、雷达数据348a等，以及参考数据339(例如，3D地图数据和路线数据)。定位器368通过将传感器数据与地图数据进行比较来集成(例如，融合传感器数据)和分析，以确定双向自主车辆330的本地姿态(或位置)。根据一些示例，定位器368可以实时或接近实时地产生或更新任何自主车辆的姿态或位置。需注意，定位器368及其功能不需要被限于“双向”车辆，可以在任何类型的任何车辆中实现。因此，定位器368(以及AV控制器347a的其他部件)可以实现于“单向”车辆或任何非自主车辆中。根据一些实施例，描述本地姿态的数据可以包括x坐标、y坐标、z坐标(或任何坐标系的任何坐标，包括极坐标系或柱形坐标系等)、偏转值、翻滚值、俯仰值(例如，角度值)、速率(例如速率)、海拔高度等的一种或多种。
感知引擎366被配置成从一个或多个源接收传感器数据，例如LIDAR数据346a、相机数据340a、雷达数据348a等，以及本地姿态数据。感知引擎366可以被配置为基于传感器数据和其他数据确定外部对象的位置。例如，外部对象可以是并非为可驾驶表面的部分的对象。例如，感知引擎366可以能够检测到外部对象并将其分类为行人、骑行者、狗、其他车辆等(例如，感知引擎366被配置成根据分类类型对对象进行分类，其可以与包括标记的语义信息相关联)。基于这些外部对象的分类，可以将外部对象标记为动态对象或静态对象。例如，被分类为树的外部对象可以被标记为静态对象，而被分类为行人的外部对象可以被标记为动态对象。可以在地图数据中描述或不描述被标记为静态的外部对象。可能被标记为静态的外部对象的示例包括交通锥、道路上布置的水泥路障、道路封闭指示牌、与道路相邻的新放置的邮箱或垃圾箱等。可能被标记为动态的外部对象的示例包括自行车、行人、动物、其他车辆等。如果外部对象被标记为动态，关于外部对象的其他数据可以指示典型水平的活动和速度，以及与分类类型相关联的行为模式。可以通过跟踪外部对象来产生关于外部对象的其他数据。这样一来，可以使用分类类型来预测或通过其他方式确定外部对象例如可能干扰沿规划路径行驶的自主车辆的可能性。例如，被分类为行人的外部对象可以与某一最大速度以及平均速度(例如，基于跟踪数据)相关联。行人相对于自主车辆速度的速度可以用于判断是否可能有碰撞。此外，感知引擎364可以确定与当前和将来的对象状态相关联的不确定水平。在一些示例中，不确定水平可以被表达为估计值(或概率)。
规划器364被配置成从感知引擎366接收感知数据，还可以包括来自定位器368的定位器数据。根据一些示例，感知数据可以包括指定位于自主车辆附近的静态和动态对象的障碍物地图，而定位器数据可以包括本地姿态或位置。在工作时，规划器364产生众多轨迹，并至少基于自主车辆的位置，参照外部动态和静态对象的相对位置，来评估轨迹。规划器364基于各种标准选择最优轨迹，通过该标准，以提供无碰撞行驶的方式指引自主车辆。在一些示例中，规划器364可以被配置成将轨迹计算为概率确定的轨迹。此外，规划器364可以向运动控制器362发送转向和驱动命令(以及减速或制动命令)。运动控制器362接下来可以将命令中的任何命令，例如转向命令、油门或推进命令和制动命令，转换成控制信号(例如，应用于致动器或其他机械接口)，以实施转向或车轮角351和/或速度353的改变。
图3B到3E是绘示了根据一些示例的感测区域冗余和自主车辆适应感测区域损失的示例的图示。图3B的图示391示出了传感器310a检测对象的感测区域301a(例如，用于确定范围或距离或其他信息)。尽管传感器310a可以实现任何类型的传感器或传感器模态，但传感器310a和类似描述的传感器，例如传感器310b、310c和310d可以包括LIDAR装置。因此，感测区域301a、301b、301c和301d均包括激光延伸到其中的场。图3C的图示392绘示了四种交叠的感测区域，其每个都由对应的LIDAR传感器310(未示出)产生。如图所示，感测区域的部分301不包括交叠的感测区域(例如，单个LIDAR场)，感测区域的部分302包括两个交叠的感测区域，部分303包括三个交叠的感测区域，由此，这样的传感器为LIDAR传感器失效时提供了多个水平的冗余性。
图3D示出了根据一些示例，由于LIDAR309工作故障，损失了感测区域。图3C的感测区域302被变换成单个感测区域305，图3C的感测区域301之一消失于间隙304中，图3C的感测区域303的三个被转换成感测区域306(即，限于两个交叠的场)。如果自主汽车330c正在沿行驶方向396行驶，移动中的自主车辆前方的感测区域可能没有后端部分处的感测区域那么鲁棒。根据一些示例，自主车辆控制器(未示出)被配置成利用自主车辆330c的双向性质解决车辆前方引导区域处感测区域的损失问题。图3E绘示了用于恢复自主车辆330d前方感测区域的特定鲁棒性的双向操控。如图所示，更鲁棒的感测区域302设置于与尾灯348共存的车辆330d后部。在方便的时候，自主车辆330d通过拉入行车道397而进行双向操控，并切换其方向，使得尾灯348主动切换到自主车辆330d的另一侧(例如，后沿)。如图所示，自主车辆330d在其沿行驶方向398行驶时恢复车辆前方的鲁棒感测区域302。此外，上述双向操控避免了对需要返回繁忙道路的更复杂操控的需要。
图4是绘示了根据一些示例的系统的功能框图，该系统包括经由通信层通信耦合到自主车辆控制器的自主车辆服务平台。图示400绘示了设置于自主车辆430中的自主车辆控制器(“AV”)447，其又包括若干耦合到自主车辆控制器447的传感器470。传感器470包括一个或多个LIDAR装置472、一个或多个相机474、一个或多个雷达476、一个或多个全球定位系统(“GPS”)数据接收机传感器、一个或多个惯性测量单元(“IMUs”)475、一个或多个测程传感器477(例如，车轮编码器传感器、车轮速度传感器等)，以及任何其他适当的传感器478，例如红外相机或传感器、有超光谱能力的传感器、超声波传感器(或任何其他基于声能的传感器)、基于射频的传感器等。在一些情况下，可以包括被配置成感测车轮转向角的车轮角度传感器，作为测程传感器477或适当的传感器478。在非限制性示例中，自主车辆控制器447可以包括四个或更多个LIDAR 472、十六个或更多相机474和四个或更多雷达单元476。此外，传感器470可以被配置成向自主车辆控制器447的部件并向自主车辆服务平台401的元件提供传感器数据。如图示400中所示，自主车辆控制器447包括规划器464、运动控制器462、定位器468、感知引擎466和本地地图发生器440。需注意，图4的图示400中绘示了的元件可以包括与结合一幅或多幅其他附图描述的元件类似命名的结构和/或功能。
定位器468被配置成相对于参考数据定位自主车辆(即，确定本地姿态)，参考数据可以包括地图数据、路线数据(例如，路网数据，例如RNDF样数据)等。在一些情况下，定位器468被配置成识别例如可以代表自主车辆430相对于环境表达特征的位置的空间点。定位器468被示为包括传感器数据集成器469，其可以被配置成集成(例如，不同传感器模态的)传感器数据的多个子集，以减小与每个个体类型传感器相关的不确定性。根据一些示例，传感器数据集成器469被配置成融合传感器数据(例如，LIDAR数据、相机数据、雷达数据等)以形成用于确定本地姿态的集成传感器数据值。根据一些示例，定位器468检索源自参考数据储存库405的参考数据，其包括用于存储2D地图数据、3D地图数据、4D地图数据等的地图数据储存库405a。定位器468可以被配置成在环境中识别特征的至少子集，以参照地图数据进行匹配，从而识别或通过其他方式确认自主车辆430的姿态。根据一些示例，定位器468可以被配置成识别环境中任意量的特征，这样一组特征可以是一个或多个特征或全部特征。在具体示例中，可以参照代表地图的数据比较任意量的LIDAR数据(例如，大部分或基本全部LIDAR数据)，以实现局域化的目的。通常，通过比较环境特征和地图数据获得的不匹配对象可以是动态对象，例如车辆、骑行者、行人等。注意，可以利用或不利用地图数据来检测动态对象，包括障碍物。具体而言，可以独立于地图数据(即，在没有地图数据的情况下)检测并跟踪动态对象。在一些情况下，可以将2D地图数据和3D地图数据视为“全球地图数据”或已经在一时间点被自主车辆服务平台401验证的地图数据。由于地图数据储存库405a中的地图数据可以被周期性更新和/或验证，所以在地图数据和自主车辆所处的实际环境之间可能存在偏差。因此，定位器468可以检索由本地地图发生器440产生的本地导出的地图数据以增强局域化。本地地图发生器440被配置成实时或接近实时地产生本地地图数据。任选地，本地地图发生器440可以接收静态和动态对象地图数据以例如通过传输无视局域化中的动态对象来增强本地产生的地图的准确性。根据至少一些实施例，本地地图发生器440可以与定位器468集成或形成其部分。在至少一种情况下，本地地图发生器440或者独自或者与定位器468协作，可以被配置成基于同时局域化和制图(“SLAM”)等产生地图和/或参考数据。需注意，定位器468可以对使用地图数据实施“混合”方法，由此，定位器468中的逻辑可以被配置成根据每个地图数据源的可靠程度，从地图数据储存库405a选择各种量的地图数据或从本地地图发生器440选择本地地图数据。因此，考虑到本地产生的地图数据，定位器468仍然可以使用过期的地图数据。
感知引擎466被配置成例如通过识别自主车辆430行驶的周围环境中的感兴趣对象来辅助规划器464规划路线和产生轨迹。此外，概率可以与每个感兴趣对象相关联，由此概率可以代表感兴趣对象可能对安全行驶造成威胁的可能性(例如，快速移动的摩托车可能需要增强跟踪而不是坐在公共汽车站长椅上看报的人)。如图所示，感知引擎466包括对象检测器442和对象分类器444。对象检测器442被配置成相对于环境中的其他特征区分出对象，对象分类器444可被配置成将对象分类成动态或静态对象，并相对于自主车辆430跟踪动态和静态对象的位置以进行规划。此外，感知引擎466可以被配置成向静态或动态对象分配标识符，其指定对象是否是(或有可能成为)可能影响规划器464处路径规划的障碍物。尽管图4中未示出，但要注意，感知引擎466也可以执行其他与感知相关的功能，例如分割和跟踪，下文描述其示例。
规划器464被配置成产生若干候选轨迹，用于实现经由若干可用的路径或路线到达目的地的目标。轨迹评估器465被配置成评估候选轨迹并识别哪些候选轨迹子集与提供通往目的地的无碰撞路径的更高置信度水平相关联。这样一来，轨迹评估器465可以基于相关标准选择最优轨迹，以使得命令为车辆部件450(例如致动器或其他机构)产生控制信号。需注意，相关标准可以包括任意数量的定义最优轨迹的因素，其选择不需要限于减少碰撞。例如，可以做出轨迹的选择以优化用户体验(例如，用户舒适性)以及遵循交通法规的无碰撞轨迹。可以通过在各种线性和角方向上缓和加速度(例如，以减少抽搐式行驶或其他不令人愉悦的运动)来优化用户体验。在一些情况下，相关标准的至少一部分可以指定要推翻或取代其他标准的哪些，同时保持优化的无碰撞行驶。例如，在受限状况(例如，跨过双黄线以在骑行者周围行驶或以比发布的速度极限更高的速度行驶以与车流匹配)中产生轨迹时可以暂时忽略或不强调法律约束。这样一来，控制信号被配置成导致传动系和/或车轮的推进和方向改变。在本示例中，运动控制器462被配置成将命令转换成用于控制自主车辆430的移动的控制信号(例如，速度、车轮角度等)。在轨迹评估器465没有充分多信息确保置信度水平高到足以提供无碰撞优化行驶的情况下，规划器464可以产生请求，向远程操作员404请求远程操作员支持。
自主车辆服务平台401包括远程操作员404(例如，远程操作员计算装置)、参考数据储存库405、地图更新器406、车辆数据控制器408、校准器409和离线对象分类器410。需注意，自主车辆服务平台401的每个元件都可以独立地定位或分布，并与自主车辆服务平台401中的其他元件通信。此外，自主车辆服务平台401的元件可以独立地经由通信层402与自主车辆430通信。地图更新器406被配置成(例如，从本地地图发生器440、传感器460或自主车辆控制器(447)的任何其他部件)接收地图数据，并且还被配置成检测例如地图数据储存库405a中的地图数据与本地产生的地图之间的偏差。车辆数据控制器408可以使得地图更新器406更新储存库405之内的参考数据，并促成对2D、3D和/或4D地图数据的更新。在一些情况下，车辆数据控制器408可以控制在自主车辆服务平台408中接收本地地图数据的速率，以及地图更新器406对地图数据进行更新的频率。
校准器409被配置成对相同或不同类型的各种传感器进行校准。校准器409可以被配置成确定传感器的相对姿态(例如，在笛卡尔空间(x,y,z)中)和传感器的取向(例如，翻滚、俯仰和偏转)。可以相对于其他传感器，以及全局性地相对于车辆的参照系，校准传感器，例如相机、LIDAR传感器、雷达传感器等的姿态和取向。离线自校准也可以校准或估计其他参数，例如车辆惯性传感器、前后轮距、车轮半径或表面道路摩擦力。根据一些示例，也可以在线进行校准以检测参数变化。同样注意，校准器409进行的校准可以包括传感器的固有参数(例如，光学失真、光束角度等)和非固有参数。在一些情况下，例如，可以通过使3D激光数据中的深度不连续性和图像数据边缘之间的相关最大化来执行校准器409。离线对象分类410被配置成从传感器470或自主车辆控制器447的任何其他部件接收数据，例如传感器数据。根据一些实施例，离线对象分类410的离线分类流水线可以被配置成预先收集并注释对象(例如，由人手工进行和/或使用离线标注算法自动进行)，并可以进一步被配置成培训离线分类器(例如，对象分类器444)，它可以在在线自主操作期间提供对象类型的实时分类。
图5是根据一些实施例控制自主车辆的流程图的示例。在502，在例如自主车辆控制器接收源自自主车辆处的多种模态传感器的传感器数据时，流程500开始。可以集成传感器数据的一个或多个子集以产生融合数据，以改善例如估计。在一些示例中，可以在504融合一个或多个传感器(例如，相同或不同模态)的传感器流以形成融合的传感器数据。在一些示例中，可以在504处融合LIDAR传感器数据和相机传感器数据的子集以方便局域化。在506，可以在处理器处导出基于传感器数据的至少两个子集的代表对象的数据。例如，可以至少从LIDAR和相机数据(例如，在感知引擎处)导出标识静态对象或动态对象的数据。在508，判定检测到的对象是否影响规划的路径，并在510处响应于检测到的对象(例如，在规划器处)评估轨迹的子集。在512处判定置信度水平是否超过与自主车辆规范操作相关联的可接受置信度水平。因此，在这种情况下，置信度水平可以使得选择优化路径的确定度可能较低，由此可以将优化路径确定为促成无碰撞行驶、遵守交通法律、提供舒适的用户体验(例如，舒适地乘车)和/或产生候选轨迹或任何其他因素的函数。这样一来，可以在514将对替代路径的请求发送到远程操作员计算装置。之后，远程操作员计算装置可以为规划器提供最优轨迹，自主车辆将在所述最优轨迹上行驶。在一些状况下，车辆也可以判定执行安全停车策略是最佳动作流程(例如，安全且自动地令自主车辆停在危险概率较低的位置)。需注意，本文中该流程图和其他流程图中绘示了的次序并非意在暗示要求线性地执行各种功能，因为流程图的每个部分都可以与流程图的任一个或多个其他部分串行或并行地，并且独立于或依赖于流程图的其他部分被执行。
图6是绘示了根据一些实施例，用于自主车辆控制器的架构示例的图示。图示600绘示了若干过程，包括运动控制器过程662、规划器过程664、感知过程666、制图过程640和局域化过程668，其中一些可以相对于其他过程产生或接收数据。其他过程，例如过程670和650可以方便与自主车辆的一个或多个机械部件交互。例如，感知过程666、制图过程640和局域化过程668被配置成从传感器670接收传感器数据，而规划器过程664和感知过程666被配置成接收引导数据606，其可以包括路线数据，例如路网数据。继续图示600，局域化过程668被配置成接收地图数据605a(即，2D地图数据)、地图数据605b(即，3D地图数据)和本地地图数据642以及其他类型的地图数据。例如，局域化过程668还可以接收其他形式的地图数据，例如4D地图数据，其可以包括例如时间确定。局域化过程668被配置成产生代表本地姿态的本地位置数据641。本地位置数据641被提供给运动控制器过程662、规划器过程664和感知过程666。感知过程666被配置成产生静态和动态对象地图数据667，它们又可以被发送到规划器过程664。在一些示例中，静态和动态对象地图数据667可以与其他数据一起发送，例如语意分类信息和预测的对象行为。规划器过程664被配置成产生轨迹数据665，其描述由规划器664产生的若干轨迹。运动控制器过程使用轨迹数据665以产生低级命令或控制信号，以应用于致动器650，导致转向角和/或速度的改变。
图7是绘示了根据一些实施例的自主车辆服务平台示例的图示，该自主车辆服务平台实施冗余通信信道以与一队自主车辆保持可靠通信。图示700绘示了自主车辆服务平台701，其包括参考数据发生器705、车辆数据控制器702、自主车队管理器703、远程操作员管理器707、模拟器740和策略管理器742。参考数据发生器705被配置成产生并修改地图数据和路线数据(例如，RNDF数据)。此外，参考数据发生器705可以被配置成访问2D地图数据储存库720中的2D地图，访问3D地图数据储存库722中的3D地图，并访问路线数据储存库724中的路线数据。在一些示例中可以实现其他地图表示数据和储存库，例如包括时间确定的4D地图数据。车辆数据控制器702可以被配置成执行各种操作。例如，车辆数据控制器702可以被配置成基于通过信道770的通信质量水平来改变一队自主车辆和平台701之间交换数据的速率。在带宽约束周期期间，例如，可以确定数据通信的优先级，使来自自主车辆730的远程操作请求的优先级高以确保递送。此外，根据特定信道可用的带宽，可以通过信道770针对每个车辆发送可变水平的数据摘要。例如，在存在鲁棒网络连接的情况下，可以发送完整的LIDAR数据(例如，基本全部LIDAR数据，但也可以更少)，而在存在降级或低速连接的情况下，可以发送更简单或更抽象的数据表示(例如，具有关联元数据的边界框等)。自主车队管理器703被配置成协调自主车辆730的分派，以优化多个变量，包括电池电力的高效率使用、行驶时间、在电池低电量状态期间是否可以使用自主车辆730中的空调单元等，其任何变量或所有变量都可以被监测，以优化与操作自主车辆服务相关联的成本函数。可以实施一种算法以分析用以使一队自主车辆的行驶成本或时间最小化的各种变量。此外，自主车队管理器703维护自主车辆的库存以及用于考虑使车队工作时间最大化而供应服务安排的部分。
远程操作员管理器707被配置成管理远程操作员708用以提供输入的若干远程操作员计算装置704。模拟器740被配置成模拟一个或多个自主车辆730的操作，以及远程操作员管理器707和自主车辆730之间的交互。模拟器740还可以模拟设置于自主车辆730中的若干传感器的操作(包括模拟噪声的引入)。此外，可以模拟诸如城市的环境，从而可以将模拟自主车辆引入合成环境中，由此模拟传感器可以接收模拟传感器数据，例如模拟激光回波。模拟器740还可以提供其他功能，包括验证软件更新和/或地图数据。策略管理器742被配置成维护代表策略或规则的数据，考虑到自主车辆在路网中行驶时遇到的状况或事件，自主车辆应当根据这样的策略或规则行动。在一些情况下，可以在模拟器740中模拟更新的策略和/或规则，以考虑到策略的改变而确认一队自主车辆的安全操作。下文进一步描述了自主车辆服务平台701的上述元件的一些。
通信信道770被配置成在一队自主车辆730和自主车辆服务平台701之间提供联网的通信链路。例如，通信信道770包括若干不同类型的网络771、772、773和774，具有对应的子网(例如，771a到771n)，以确保特定水平的冗余性，以用于可靠地操作自主车辆服务。例如，通信信道770中不同类型的网络可以包括不同的蜂窝网络提供商、不同类型的数据网络等，以确保在由于一个或多个网络771、772、773和774中断造成通信减弱或丢失的事件中有足够的带宽。
图8是绘示了根据一些实施例，被配置成在各种应用之间交换数据的消息应用示例的图示。图示800绘示了设置于远程操作员管理器中的远程操作员应用801、设置于自主车辆中的自主车辆应用830，由此远程操作员应用801和自主车辆应用830经由方便通过各种网络，例如网络871、872和其他网络873进行通信的协议交换消息数据。根据一些示例，通信协议是实现为Data Distribution ServiceTM的中间件协议，其具有由对象管理组织联盟维护的规范。根据通信协议，远程操作员应用801和自主车辆应用830可以包括设置于消息域中的消息路由器854，该消息路由器被配置成与远程操作员API852交接。在一些示例中，消息路由器854是路由服务。在一些示例中，远程操作员应用801中的消息域850a可以由远程操作员标识符标识，而消息域850b可以被标识为与车辆标识符相关联的域。远程操作员应用801中的远程操作员API 852被配置成与远程操作员过程803a到803c交接，由此远程操作员过程803b与自主车辆标识符804相关联，且远程操作员过程803c与事件标识符806(例如，指定可能对于无碰撞路径规划有问题的路口的标识符)相关联。自主车辆应用830中的远程操作员API 852被配置成与自主车辆操作系统840交接，自主车辆操作系统840包括感测应用842、感知应用844、局域化应用846和控制应用848。考虑到以上内容，上述通信协议可以方便数据交换，以方便本文所述的远程操作。此外，上述通信协议还可以适于在一个或多个自主车辆以及一个或多个自主车辆服务平台之间提供安全的数据交换。例如，消息路由器854可以被配置成对消息加密和解密，以在例如远程操作员过程803和自主车辆操作系统840之间提供安全交互。
图9是绘示了根据一些示例，使用图8所述的通信协议方便远程操作的数据类型的图示。图示900绘示了与耦合到远程操作员应用901的远程操作员计算装置904交互的远程操作员908，所述远程操作员应用901被配置成经由一个或多个网络971中实现的以数据为中心的消息总线972交换数据。以数据为中心的消息总线972在远程操作员应用901和自主车辆应用930之间提供通信链路。远程操作员应用901中的远程操作员API 962被配置成接收消息服务配置数据964和路线数据960，例如路网数据(例如，RDNF样的数据)、任务数据(例如，MDF数据)等。类似地，消息服务桥932还被配置成接收消息服务配置数据934。消息服务配置数据934和964提供配置数据，以配置远程操作员应用901和自主车辆应用930之间的消息服务。消息服务配置数据934和964的示例包括被实现成配置Data DistributionServiceTM应用的服务质量("QoS")配置数据。
用于方便经由通信协议进行远程操作的数据交换的示例如下所述。考虑由自主车辆控制器的感知系统产生障碍物数据920。此外，由规划器产生规划器选项数据924以通知远程操作员候选轨迹的子集，并由定位器产生位置数据926。障碍物数据920、规划器选项数据924和位置数据926被发送到消息服务桥932，根据消息服务配置数据934，其产生遥测数据940和查询数据942，两者都经由以数据为中心的消息总线972被发送到远程操作员应用901中作为遥测数据950和查询数据952。远程操作员API 962接收遥测数据950和查询数据952，它们接着又根据路线数据960和消息服务配置数据964进行处理。接下来将所得的数据经由远程操作员计算装置904和/或协作显示器(例如，一组合作远程操作员908能够看到的仪表盘显示器)被呈现给远程操作员908。远程操作员908查看远程操作员计算装置904的显示器上呈现的候选轨迹选项，并选择引导的轨迹，其产生命令数据982和查询响应数据980，两者都通过远程操作员API 962作为查询响应数据954和命令数据956被传递。继而，查询响应数据954和命令数据956经由以数据为中心的消息总线972被发送到自主车辆应用930中作为查询响应数据944和命令数据946。消息服务桥932接收查询响应数据944和命令数据946，并产生远程操作员命令数据928，其被配置成产生远程操作员选择的轨迹，由规划器实现。需注意，上述消息过程并非意在限制，也可以实施其他消息协议。
图10是示出根据一些实施例的远程操作员界面的示例的图示，远程操作员可以利用该界面影响路径规划。图示1000绘示了与自主车辆服务平台1001通信的自主车辆1030的示例，其包括配置成方便远程操作的远程操作员管理器1007。在第一示例中，远程操作员管理器1007接收需要远程操作员1008先行查看接近潜在障碍物或低规划器置信度水平区域的自主车辆路径的数据，使得远程操作员1008能够提前解决问题。为了例示，考虑可以将自主车辆正在接近的路口标记为有问题。这样一来，用户界面1010显示沿路径1012行驶的对应自主车辆1030的表示1014，该路径已经由规划器产生的若干轨迹预测。还显示了可能在规划器处导致充分大混淆的其他车辆1011和动态对象1013，例如行人，由此需要远程操作支持。用户界面1010还向远程操作员1008呈现当前速度1022、速度限制1024和电池中当前的电量1026。根据一些示例，用户界面1010可以显示其他数据，例如从自主车辆1030采集的传感器数据。在第二示例中，考虑规划器1064已经产生了若干轨迹，不论是否检测到未标识的对象1046，它们都与规划器产生的路径1044共存。规划器1064还可以产生候选轨迹1040的子集，但在本示例中，规划器不能进行到给定的当前置信度水平。如果规划器1064未能确定替代路径，可以发送远程操作请求。在这种情况下，远程操作员可以选择候选轨迹1040之一，以方便与基于远程操作员的路径1042一致的自主车辆1030行驶。
图11是绘示了根据一些示例，被配置成调用远程操作的规划器示例的图示。图示1100绘示了规划器1164，其包括地形管理器1110、路线管理器1112、路径发生器1114、轨迹评估器1120和轨迹跟踪器1128。地形管理器1110被配置成接收地图数据，例如3D地图数据或其他指定地形特征的类似地图数据。地形管理器1110还被配置成基于通往目的地的路径上与地形相关的特征来识别候选路径。根据各示例，地形管理器1110接收由与车队中一个或多个自主车辆相关联的传感器产生的3D地图。路线管理器1112被配置成接收环境数据1103，其可以包括与可以被选择为通往目的地的路径的一条或多条路线相关联的交通相关信息。路径发生器1114从地形管理器1110和路线管理器1112接收数据，并产生适于向目的地引导自主车辆的一个或多个路径或路段。将代表一个或多个路径或路段的数据发送到轨迹评估器1120中。
轨迹评估器1120包括状态和事件管理器1122，其又可以包括置信度水平发生器1123。轨迹评估器1120还包括引导轨迹发生器1126和轨迹发生器1124。此外，规划器1164被配置成接收策略数据1130、感知引擎数据1132和定位器数据1134。
根据一些示例，策略数据1130可以包括规划器1164用于确定具有产生轨迹的充分高置信度水平的路径。策略数据1130的示例包括指定轨迹产生由距外部对象的间隔距离界定的策略(例如，可能的话，保持安全缓冲器距骑行者3英尺)，或要求轨迹必须不能跨越中央双黄线的策略，或要求将轨迹限于四车道道路中的单车道的策略(例如，基于过往事件，例如典型地在距公交车站最近的车道处聚集)，以及由策略指定的任何其他类似标准。感知引擎数据1132包括感兴趣的静态对象和动态对象的位置地图，定位器数据1134至少包括本地姿态或位置。
状态和事件管理器1122可以被配置成通过概率方式确定自主车辆的操作状态。例如，第一操作状态(即，“规范操作”)可以描述轨迹无碰撞的状况，而第二操作状态(即，“非规范操作”)可以描述与可能轨迹相关联的置信度水平不足以保证无碰撞行驶的另一状况。根据一些示例，状态和事件管理器1122被配置成使用感知数据1132以确定规范或不规范的自主车辆的状态。置信度水平发生器1123可以被配置成分析感知数据1132以确定自主车辆的状态。例如，置信度水平发生器1123可以使用与静态和动态对象相关联的语义信息以及关联的概率估计，以增强规划器1164确定安全动作流程的确定度。例如，规划器1164可以使用指定对象是人或不是人的概率的感知引擎数据1132以判断规划器1164是否安全工作(例如，规划器1164可以接收到对象有98％概率是人，对象不是人的概率为2％的确定程度)。
在(例如，基于统计和概率确定)确定置信度水平低于针对预测安全操作所需的阈值时，较低的置信度水平(例如，单个概率分数)可以触发规划器1164向自主车辆服务平台1101发送对远程操作支持的请求1135。在一些情况下，遥测数据和一组候选轨迹可以伴随请求。遥测数据的示例包括传感器数据、局域化数据、感知数据等。远程操作员1108可以经由远程操作员计算装置1104向引导轨迹发生器1126发送选择的轨迹1137。这样一来，选择的轨迹1137是利用来自远程操作员的引导形成的轨迹。在确认状态没有变化时(例如，非规范状态未决)，引导轨迹发生器1126向轨迹发生器1124传递数据，继而令轨迹跟踪器1128作为轨迹跟踪控制器，使用远程操作指定的轨迹产生控制信号1170(例如，转向角、速度等)。注意，规划器1164可以在状态过渡到非规范状态之前触发发送对远程操作支持的请求1135。具体地讲，自主车辆控制器和/或其部件能够预测，远方的障碍物可能成为问题并事先令规划器1164在自主车辆到达障碍物之前调用远程操作。否则，自主车辆可能通过在遇到障碍物或情形时过渡到安全状态(例如，开到路边停车)而导致延迟。在另一个示例中，可以在自主车辆接近已知难以导航的特定位置之前自动调用远程操作。这种确定可以任选地考虑其他因素，包括当天的时间、太阳位置，如果这样的状况可能给传感器读数的可靠性造成干扰的话，以及从各种源导出的交通或事故数据。
图12是根据一些实施例，被配置成控制自主车辆的流程图的示例。在1202，流程1200开始。代表对象子集的数据是在自主车辆中的规划器处接收的，该对象子集包括与代表针对分类类型的确定程度的数据相关联的至少一个对象。例如，感知引擎数据可以包括与对象相关联的元数据，由此元数据指定与特定分类类型相关联的确定程度。例如，可以以85％正确的置信度水平将动态对象分类为“年轻行人”。在1204，可以接收定位器数据(例如，在规划器处)。定位器数据可以包括在自主车辆之内本地产生的地图数据。本地地图数据可以指定一地理区域可能发生事件的确定程度(包括不确定程度)。事件可能是影响自主车辆操作或潜在影响其操作的条件或状况。事件可以是自主车辆内部(例如，失效或受损的传感器)或外部(例如，道路障碍)的。本文例如在图2以及其他附图和段落中描述了事件的示例。可以在1206确定与感兴趣地理区域共同扩张的路径。例如，考虑事件是在一天中的某时间定位天空中的太阳，其中日光强度在交通繁忙时段影响驾驶员的视觉。这样一来，预计或预测交通可能响应于明亮的日光而减慢。因此，如果不太可能有避免事件的替代路径，规划器可以预见性地调用远程操作。在1208，在规划器处基于本地姿态数据确定本地位置。在1210处，例如，可以基于分类类型的确定程度和事件的确定程度，(例如，通过概率方式)确定自主车辆的操作状态，所述确定程度可以基于任意数量的因素，例如速度、位置和其他状态信息。为了例示，考虑在其他驾驶员的视觉可能将受到太阳影响而给年轻行人造成不安全状况的事件期间，自主车辆检测到年轻行人的示例。因此，相对不安全的状况可能被检测为可能会发生的概率事件(即，可以调用远程操作的不安全状况)。在1212，确定操作状态为规范状态的可能性，基于该确定，向远程操作员计算装置发送消息，请求远程操作抢先过渡到下一操作状态(例如，抢先从规范操作状态过渡到非规范操作状态，例如不安全操作状态)。
图13绘示了根据一些示例规划器可以产生轨迹的示例。图示1300包括轨迹评估器1320和轨迹发生器1324。轨迹评估器1320包括置信度水平发生器1322和远程操作员查询消息器1329。如图所示，轨迹评估器1320耦合到感知引擎1366以接收静态地图数据1301以及当前和预测的对象状态数据1303。轨迹评估器1320还从定位器1368接收本地姿态数据1305，并从全局规划器1369接收规划数据1307。在一种操作状态中(例如，非规范)，置信度水平发生器1322接收静态地图数据1301和当前预测对象状态数据1303。基于这一数据，置信度水平发生器1322可以确定检测到的轨迹与不可接受的置信度水平值相关联。这样一来，置信度水平发生器1322经由远程操作员查询消息器1329发送检测到的轨迹数据1309(例如，包括候选轨迹的数据)，以通知远程操作员，这继而又发送对远程操作员辅助的请求1370。
在另一种操作状态(例如，规范状态)中，静态地图数据1301、当前和预测对象状态数据1303、本地姿态数据1305和规划数据1307(例如，全局规划数据)被接收到轨迹计算器1325中，所述轨迹计算器1325被配置成(例如，迭代地)计算轨迹以确定最优的一条或多条路径。接下来，选择至少一条路径并作为选定路径数据1311发送。根据一些实施例，作为示例，轨迹计算器1325被配置成实施轨迹的重新规划。标称驾驶轨迹发生器1327被配置成以细化方式产生轨迹，例如，通过基于后退地平线控制技术产生轨迹。标称驾驶轨迹发生器1327接下来可以例如向轨迹跟踪器或车辆控制器发送标称驾驶轨迹路径数据1372，以实现转向、加速和其他部件中的物理改变。
图14是绘示了根据一些实施例的自主车辆服务平台另一示例的图示。图示1400绘示了自主车辆服务平台1401，其包括被配置成管理远程操作员1408之间交互和/或通信的远程操作员管理器1407、远程操作员计算装置1404和自主车辆服务平台1401的其他部件。再次参考图示1400，自主车辆服务平台1401包括模拟器1440、储存库1441、策略管理器1442、参考数据更新器1438、2D地图数据储存库1420、3D地图数据储存库1422和路线数据储存库1424。可以在储存库(未示出)中实现并存储其他地图数据，例如4D地图数据(例如，使用时间确定)。
远程操作员动作建议控制器1412包括被配置成经由自主车辆(“AV”)规划器数据1472接收和/或控制远程操作服务请求的逻辑，所述规划器数据1472可以包括对远程操作员辅助的请求以及遥测数据和其他数据。这样一来，规划器数据1472可以包括建议的候选轨迹或路径，远程操作员1408可以经由远程操作员计算装置1404从其中进行选择。根据一些示例，远程操作员动作建议控制器1412可以被配置成访问建议候选轨迹的其他源，从候选轨迹选择优化轨迹。例如，自主车辆规划器数据1472中包含的候选轨迹可以被并行引入模拟器1440中，所述模拟器1440被配置成模拟请求远程操作员辅助的自主车辆正在经历的事件或状况。模拟器1440可以访问在该组候选轨迹上执行模拟必需的地图数据和其他数据，由此模拟器1440不需要穷举地迭代模拟以确认充分性。相反，模拟器1440可以提供确认候选轨迹的适当性，或者可以通过其他方式提示远程操作员谨慎进行其选择。
远程操作员交互捕获分析器1416可以被配置成捕获大量远程操作员事务或交互以在储存库1441中存储，例如，其可以积累与若干远程操作员事务相关的数据，用于至少在一些情况下分析和产生策略。根据一些实施例，储存库1441还可以被配置成存储策略数据，供策略管理器1442访问。此外，远程操作员交互捕获分析器1416可以应用机器学习技术以通过经验方式确定如何最好地对导致请求远程操作辅助的事件或状况做出响应。在一些情况下，策略管理器1442可以被配置成响应于分析一大组远程操作员交互(例如，在应用机器学习技术之后)而更新特定策略或产生新策略。策略管理器1442管理可以被视为规则或指南的策略，自主车辆控制器及其部件在所述策略之下工作，以遵循车辆的自主操作。在一些情况下，可以向模拟器1440应用修改或更新的策略，以确认持久发布或实施这样的策略改变的功效。
模拟器接口控制器1414被配置成在模拟器1440和远程操作员计算装置1404之间提供接口。例如，考虑来自一队自主车辆的传感器数据经由自主(“AV”)车队数据1470被应用于参考数据更新器1438，由此参考数据更新器1438被配置成产生更新的地图和路线数据1439。在一些实施方式中，可以预备性地发布更新的地图和路线数据1439作为地图数据储存库1420和1422中的数据更新或作为路线数据储存库1424中数据的更新。在这种情况下，可以将这样的数据标记为“测试版本”，其中例如在自主车辆使用包括预备更新信息的地图图块时，可以实现用于请求远程操作员服务的更低阈值。此外，可以将更新的地图和路线数据1439引入模拟器1440中用于验证更新的地图数据。在完整发布时(例如，在关闭β测试时)，取消用于请求与地图图块相关的远程操作员服务的先前更低阈值。用户界面图形控制器1410向远程操作员1408提供丰富的图形，由此可以在模拟器1440之内模拟一队自主车辆，并可以经由远程操作员计算装置1404访问，如同模拟自主车队是真实的一般。
图15是根据一些实施例用于控制自主车辆的流程图的示例。在1502，流程1500开始。可以在远程操作员计算装置处接收消息数据，以用于管理一队自主车辆。消息数据可以在为自主车辆规划的路径语境中指示与非规范操作状态相关联的事件属性。例如，事件可以被表征为由于例如大量行人违反交通信号灯匆忙过街而成为问题的特定路口。事件属性描述事件的特性，例如，过街的人数、行人数量增加导致的交通延迟等。在1504，可以访问远程操作储存库以基于与一组自主车辆相关联的汇集数据的模拟操作检索第一建议子集。在这种情况下，模拟器可以是建议源，可以利用其实现远程操作员。此外，还可以访问远程操作储存库以基于响应于类似事件属性的远程操作员交互的汇集检索第二建议子集。具体而言，远程操作员交互捕获分析器可以应用机器学习技术以基于对远程操作辅助的先前请求通过经验方式确定如何最好地对具有类似属性的事件做出响应。在1506，组合建议的第一子集和第二子集以为自主车辆形成一组建议动作流程。在1508，可以在远程操作员计算装置的显示器上视觉呈现该组建议动作流程的表示。在1510，可以检测代表(例如，远程操作员)选择建议动作流程的数据信号。
图16是根据一些示例，实现车队优化管理器的自主车队管理器的示例的图示。图示1600绘示了被配置成管理正在路网1650之内行驶的一队自主车辆1630的自主车队管理器。自主车队管理器1603经由远程操作员计算装置1604耦合到远程操作员1608，并且还耦合到车队管理数据储存库1646。自主车队管理器1603被配置成接收策略数据1602和环境数据1606以及其他数据。再次参考图示1600，车队优化管理器1620被示为还包括交通请求处理器1631，交通请求处理器1631又包括车队数据提取器1632和自主车辆分派优化计算器1634。交通请求处理器1631被配置成处理例如来自请求自主车辆服务的用户1688的交通请求。车队数据提取器1632被配置成提取与车队中自主车辆相关的数据。与每个自主车辆相关联的数据被存储在储存库1646中。例如，针对每个车辆的数据可以描述维护问题、安排的服务呼叫、每天使用情况、电池充电和放电速率以及任何其他数据，它们可以实时更新，可以用于优化一队自主车辆以使停机时间最小化的目的。自主车辆分派优化计算器1634被配置成分析提取的数据并计算车队的最优使用，以确保例如从车站1652分派的下一辆车合计为自主车辆服务提供最少的行驶时间和/或成本。
车队优化管理器1620被示为包括混合自主车辆/非自主车辆处理器1640，混合自主车辆/非自主车辆处理器1640又包括AV/非AV优化计算器1642和非AV选择器1644。根据一些示例，混合自主车辆/非自主车辆处理器1640被配置成管理自主车辆和人类驾驶车辆(例如，作为独立承包人)的混合车队。这样一来，自主车辆服务可以采用非自主车辆以满足超量需求，或者在诸如非AV服务区1690的区域中，它们可能超过地理围栏或在通信覆盖不良的区域中。AV/非AV优化计算器1642被配置成优化自主车队的使用并邀请非AV驾驶员加入运输服务(例如，对自主车辆服务损害最小或没有损害)。非AV选择器1644包括用于基于AV/非AV优化计算器1642导出的计算结果选择若干非AV驾驶员以提供帮助。
图17是根据一些实施例管理一队自主车辆的流程图的示例。在1702，流程1700开始。在1702，接收策略数据。策略数据可以包括定义如何最好应用以选择自主车辆为交通请求服务的参数。在1704，可以从储存库提取车队管理数据。车队管理数据包括针对自主车辆池的数据子集(例如，该数据描述要为运输请求服务的车辆准备情况)。在1706，接收代表交通请求的数据。出于示范性目的，交通请求可以是从第一地理位置到第二地理位置的运输。在1708，计算基于策略数据的属性以确定可用于为请求服务的自主车辆子集。例如，属性可以包括电池电量水平和直到下次安排的维护之前的时间。在1710，选择自主车辆作为从第一地理位置到第二地理位置的运输，产生数据以将自主车辆分派到与交通请求的发起相关联的第三地理位置。
图18是示出了根据一些实施例，实施自主车辆通信链路管理器的自主车队管理器的图示。图示1800绘示了被配置成管理正在路网1880之内行驶的一队自主车辆1830的自主车队管理器，该路网与标识为“通信减弱区域”1880的地区处的通信中断重合。自主车队管理器1803经由远程操作员计算装置1804耦合到远程操作员1808。自主车队管理器1803被配置成接收策略数据1802和环境数据1806以及其他数据。再次参考图示1800，自主车辆通信链路管理器1820被示为包括环境事件检测器1831、策略调整确定器1832和交通请求处理器1834。环境事件检测器1831被配置成接收环境数据1806，环境数据1806指定实现自主车辆服务的环境之内的改变。例如，环境数据1806可以指定该地区1880具有降低的通信服务，这可能影响自主车辆服务。策略调整确定器1832可以指定在这样的事件期间(例如，在失去通信期间)接收交通请求时采用的参数。交通请求处理器1834被配置成考虑到劣化的通信处理交通请求。在本示例中，用户1888正在请求自主车辆服务。此外，交通请求处理器1834包括应用调整的策略改变分派自主车辆的方式以避免由于通信不良导致的复杂化的逻辑。
通信事件检测器1840包括策略下载管理器1842和通信配置(“COMM配置”)AV分派器1844。策略下载管理器1842被配置成考虑到通信减弱区域1880为自主车辆1830提供更新的策略，由此更新的策略可以指定路线以在自主车辆进入该区域时快速离开该区域1880。例如，自主车辆1864可以在驶入该区域1880之前接收更新的策略时刻。在失去通信时，自主车辆1864实施更新的策略，并选择路线1866以快速驶出区域1880。COMM配置AV分派器1844可以被配置成识别要停放被配置为中继以在区域1880上建立对等网络的自主车辆的点1865。这样一来，COMM配置AV分派器1844被配置成分派自主车辆1862(无乘客)以停靠在位置1865处，目的是作为对等自组织网络中的通信塔工作。
图19是根据一些实施例确定事件期间，例如通信劣化或丢失期间，自主车辆动作的流程图的示例。在1901，流程1900开始。接收策略数据，由此策略数据定义在事件期间应用于地理区域中的交通请求的参数。在1902，可以实施以下动作中的一个或多个：(1)向该地理位置该部分中的地理位置分派自主车辆的子集，该自主车辆的子集被配置成停靠在特定地理位置并均充当静止通信中继，或者在地理区域中行驶以均充当移动通信中继，(2)在与该地理区域该部分相关联的自主车辆池的一部分之间实施对等通信，(3)向自主车辆提供事件策略，其描述在事件期间进入该地理区域的该部分的路线，(4)调用远程操作，以及(5)重新计算路径以避开该地理部分。在实施该动作之后，在1914监测该队自主车辆。
图20是示出根据一些实施例的定位器示例的图示。图示2000包括被配置成从传感器2070接收传感器数据的定位器2068，传感器数据例如为LIDAR数据2072、相机数据2074、雷达数据2076和其他数据2078。此外，定位器2068被配置成接收参考数据2020，例如2D地图数据2022、3D地图数据2024和3D本地地图数据。根据一些示例，也可以实施其他地图数据，例如4D地图数据2025和语意地图数据(未示出)，包括对应的数据结构和储存库。再次参考图示2000，定位器2068包括定位系统2010和局域化系统2012，两者都被配置成从传感器2070接收传感器数据以及参考数据2020。局域化数据集成器2014被配置成从定位系统2010接收数据并从局域化系统2012接收数据，由此局域化数据集成器2014被配置成集成或融合来自多个传感器的传感器数据以形成本地姿态数据2052。
图21是根据一些实施例，基于集成传感器数据产生本地姿态数据的流程图的示例。在2101，流程2100开始。在2102，接收参考数据，参考数据包括三维地图数据。在一些示例中，参考数据，例如3D或4D地图数据，可以经由一个或多个网络被接收。在2104，来自一个或多个局域化传感器的局域化数据被接收并放入局域化系统中。在2106，来自一个或多个定位传感器的定位数据被接收并放入定位系统中。在2108，局域化和定位数据被集成。在2110，局域化数据和定位数据被集成以形成指定自主车辆地理位置的本地位置数据。
图22是绘示了根据一些实施例的定位器另一示例的图示。图示2200包括定位器2268，其又包括局域化系统2210和相对局域化系统2212，以分别产生基于定位的数据2250和基于本地位置的数据2251。局域化系统2210包括用于处理GPS数据2273、GPS数据2211和3D地图数据2222和其他任选数据(例如，4D地图数据)的投影处理器2254a。局域化系统2210还包括测程处理器2254b，以处理车轮数据2275(例如，车轮速度)、车辆模型数据2213和3D地图数据2222，以及其他任选数据。此外，局域化系统2210包括集成器处理器2254c，以处理IMU数据2257、车辆模型数据2215和3D地图数据2222，以及其他任选数据。类似地，相对局域化系统2212包括LIDAR局域化处理器2254d，用于处理LIDAR数据2272、2D图块地图数据2220、3D地图数据2222和3D本地地图数据2223和其他任选数据。相对局域化系统2212还包括视觉配准处理器2254e，以处理相机数据2274、3D地图数据2222和3D本地地图数据2223，以及其他任选数据。再者，相对局域化系统2212包括雷达回波处理器2254f，以处理雷达数据2276、3D地图数据2222和3D本地地图数据2223，以及其他任选数据。需注意，在各示例中，可以实现其他类型的传感器数据和传感器或处理器，例如声呐数据等。
再次参考图示2200，基于局域化的数据2250和基于相对局域化的数据2251可以被分别馈送到数据集成器2266a和局域化数据集成器2266中。数据集成器2266a和局域化数据集成器2266可以被配置成融合对应的数据，由此可以在局域化数据集成器2266处与基于相对局域化的数据2251融合之前，在数据集成器2266a处融合基于局域化的数据2250。根据一些实施例，数据集成器2266a被形成为局域化数据集成器2266的部分，或者不存在。无论如何，基于局域化的数据2250和基于相对局域化的数据2251都可以被馈送到局域化数据集成器2266中，以融合数据产生本地位置数据2252。基于局域化的数据2250可以包括来自投影处理器2254a的一元约束数据(和不确定性值)以及来自测程处理器2254b和集成器处理器2254c的二元约束数据(和不确定性值)。基于相对局域化的数据2251可以包括来自局域化处理器2254d和视觉配准处理器2254e，以及任选来自雷达回波处理器2254f的一元约束数据(和不确定性值)。根据一些实施例，局域化数据集成器2266可以实施非线性平滑化功能，例如Kalman滤波器(例如，选通Kalman滤波器)、相对束调节器、姿态曲线缓解、颗粒滤波器、柱状图滤波器等。
图23是绘示了根据一些实施例的感知引擎示例的图示。图示2300包括感知引擎2366，其又包括分割处理器2310、对象跟踪器2330和分类器2360。此外，感知引擎2366被配置成接收例如本地位置数据2352、LIDAR数据2372、相机数据2374和雷达数据2376。需注意，可以访问诸如声呐数据的其他传感器数据，以提供感知引擎2366的功能。分割处理器2310被配置成提取地平面数据和/或分割图像的各部分，以将对象彼此区分并形成静态影像(例如，背景)。在一些情况下，3D斑点可以被分割以彼此进行区分。在一些示例中，斑点可以指标识空间再现的环境中的对象的一组特征，并可以由具有类似特性，例如强度和颜色的元素(例如，相机数据的像素、激光回波数据的点等)构成。在一些示例中，斑点也可以指点云(例如，由彩色激光回波数据构成)或构成对象的其他元素。对象跟踪器2330被配置成针对斑点或其他分割的图像部分进行逐帧的估计。此外，使用数据关联将时间t1第一帧中一个位置处的斑点关联到时间t2第二帧中不同位置处的斑点。在一些示例中，对象跟踪器2330被配置成执行3D对象，例如斑点的实时概率跟踪。分类器2360被配置成识别对象并通过分类类型(例如，行人、骑行者等)和能量/活动(例如，对象是动态还是静态)对该对象进行分类，由此通过语意标签描述代表分类的数据。根据一些实施例，可以对对象类别进行概率估计，例如将对象分类为车辆、骑行者、行人等，每种对象类别具有不同的置信度。感知引擎2366被配置成确定感知引擎数据2354，其可以包括静态对象地图和/或动态对象地图，以及语义信息，从而例如规划器可以使用这种信息增强路径规划。根据各示例，分割处理器2310、对象跟踪器2330和分类器2360的一个或多个可以应用机器学习技术以产生感知引擎数据2354。
图24是根据一些实施例产生感知引擎数据的流程图的示例。流程图2400开始于2402，在此检索代表自主车辆本地位置的数据。在2404，接收来自一个或多个局域化传感器的局域化数据，并在2406处分割设置自主车辆的环境的特征以形成分割对象。在2408在空间上跟踪分割对象的一个或多个部分以形成至少一个具有运动(例如，估计运动)的跟踪对象。在2410，将被跟踪对象至少分类为静态对象或动态对象。在一些情况下，静态对象或动态对象可以与分类类型相关联。在2412，产生标识分类对象的数据。例如，标识分类对象的数据可以包括语义信息。
图25是根据一些实施例的分割处理器的示例。图示2500绘示了分割处理器2510从一个或多个LIDAR2572接收LIDAR数据并从一个或多个相机2574接收相机图像数据。本地姿态数据2552、LIDAR数据和相机图像数据被接收到元旋转发生器2521。在一些示例中，元旋转发生器被配置成基于各种属性(例如，颜色、强度等)将图像划分成可区分区域(例如，点云的群或组)，其中至少两个或更多可以同时或大约同时更新。元旋转数据2522用于在分割处理器2523处进行对象分割和地分割，由此将来自分割处理器2523的元旋转数据2522和分割相关数据都应用于扫描差分处理器2513。扫描差分处理器2513被配置成预测分割图像部分的运动和/或相对速度，其可以用于在2517处识别动态对象。指示具有在2517处检测到的速度的对象的数据任选地被发送到规划器以增强路径规划决策。此外，来自扫描差分处理器2513的数据可以用于近似对象的位置，以形成此类对象的制图(以及任选地识别运动水平)。在一些示例中，可以产生占用网格地图2515。代表占用网格地图2515的数据可以被发送到规划器以进一步(例如，通过降低不确定性)增强路径规划决策。再次参考图示2500，来自一个或多个相机2574的图像相机数据用于在斑点分类器2520中对斑点进行分类，斑点分类器还从分割处理器2523接收斑点数据2524。分割处理器2510还可以从一个或多个雷达2576接收原始的雷达回波数据2512，以在雷达分割处理器2514处进行分割，从而产生雷达相关斑点数据2516。再次参考图25，分割处理器2510还可以接收和/或产生与雷达数据相关的跟踪斑点数据2518。斑点数据2516、跟踪斑点数据2518、来自斑点分类器2510的数据和斑点数据2524可以用于跟踪对象或其部分。根据一些示例，以下一项或多项可以是任选的：扫描差分处理器2513、斑点分类2520和来自雷达的数据2576。
图26A是绘示了根据各实施例的对象跟踪器和分类器示例的图示。图示2600的对象跟踪器2630被配置成接收斑点数据2516、跟踪斑点数据2518、来自斑点分类器2520的数据、斑点数据2524和来自一个或多个相机2676的相机图像数据。图像跟踪器2633被配置成从一个或多个相机2676接收相机图像数据，以产生被跟踪的图像数据，其继而可以被提供到数据关联处理器2632。如图所示，数据关联处理器2632被配置成接收斑点数据2516、跟踪斑点数据2518、来自斑点分类器2520的数据、斑点数据2524和来自图像跟踪器2633的跟踪图像数据，并被进一步配置为识别上述类型数据之间的一种或多种关联。数据关联处理器2632被配置成例如从一个帧到下一帧跟踪各斑点数据，例如，以估计运动等。此外，数据关联处理器2632产生的数据可以由跟踪更新器2634用于更新一个或多个跟踪或跟踪对象。在一些示例中，跟踪更新器2634可以实现Kalman滤波器等，以针对跟踪对象形成更新的数据，其可以在线存储于跟踪数据库(“DB”)2636中。可以经由路径2699在数据关联处理器2632和跟踪数据库2636之间交换反馈数据。在一些示例中，图像跟踪器2633可以是任选的，并可以被排除。对象跟踪器2630也可以使用其他传感器数据，例如雷达或声呐，以及例如任何其他类型的传感器数据。
图26B是绘示了根据至少一些示例的对象跟踪器另一示例的图示。图示2601包括对象跟踪器2631，对象跟踪器2631可以包括与结合一幅或多幅其他附图(例如，图26A)描述的元件类似命名的结构和/或功能。如图所示，对象跟踪器2631包括任选的配准部分2699，其包括被配置成进行对象扫描配准和数据融合的处理器2696。处理器2696被进一步配置成在3D对象数据库2698中存储所得数据。
重新参考图26A，图示2600还包括分类器2660，其可以包括跟踪分类引擎2662，用于产生静态障碍物数据2672和动态障碍物数据2674，两者都可以被发送到规划器用于路径规划。在至少一个示例中，跟踪分类引擎2662被配置成判断障碍物是静态还是动态，以及针对对象的另一种分类类型(例如，对象是车辆、行人、树、骑行者、狗、猫、纸袋等)。静态障碍物数据2672可以被形成为障碍物地图(例如，2D占用地图)的一部分，动态障碍物数据2674可以被形成为包括具有表示速度和分类类型的界定框。至少在一些情况下，动态障碍物数据2674包括2D动态障碍物地图数据。
图27是根据一些示例用于感知引擎的前端处理器的示例。根据各示例，图示2700包括地分割处理器2723a，用于进行地分割，以及过分割处理器2723b，用于执行“过分割”。处理器2723a和2723b被配置成接收任选着色的LIDAR数据2775。过分割处理器2723b产生第一斑点类型(例如，较小的斑点)的数据2710，其被提供给汇聚分类和分割引擎2712，其产生第二斑点类型的数据2714。数据2714被提供给数据关联处理器2732，其被配置成检测数据2714是否驻留在跟踪数据库2736中。在2740处判断第二斑点类型(例如，较大斑点，其可以包括一个或多个较小斑点)的数据2714是否是新跟踪。如果是，在2742处对跟踪进行初始化，否则，可以在跟踪数据库2736中存储跟踪对象数据并由跟踪更新器2742扩展或更新跟踪。跟踪分类引擎2762耦合到跟踪数据库2736，以通过例如增加、去除或修改跟踪相关的数据来识别和更新/修改跟踪。
图28是绘示了根据各实施例，被配置成在合成环境中模拟自主车辆的模拟器的图示。图示2800包括被配置成产生模拟环境2803的模拟器2840。如图所示，模拟器2840被配置成使用参考数据2822(例如，3D地图数据和/或其他地图或路线数据，包括RNDF数据或类似路网数据)产生模拟环境2803之内的模拟几何形状，例如模拟表面2892a和2892b。模拟表面2892a和2892b可以模拟与道路相邻的建筑物的墙壁或前侧。模拟器2840还可以使用预先产生或流程产生的动态对象数据2825以模拟合成环境中的动态行为主体。动态行为主体的示例是模拟动态对象2801，其代表具有速度的模拟骑行者。模拟动态行为主体可以任选地对模拟环境中的其他静态和动态行为主体，包括模拟自主车辆，做出响应。例如，针对模拟环境2803中的其他障碍物，模拟对象2801可以减慢而不是遵循预设轨迹，由此生成现实世界中存在的实际动态环境的更现实模拟。
模拟器2840可以被配置成产生模拟自主车辆控制器2847，其包括感知引擎2866、定位器2868、运动控制器2862和规划器2864的合成调整，上述每者都可以具有本文在模拟环境2803中描述的功能。模拟器2840还可以产生模拟界面("I/F")2849以模拟与不同传感器模态和不同传感器数据格式的数据交换。这样一来，模拟界面2849可以模拟用于来自例如模拟LIDAR传感器2872的分组数据的软件界面。此外，模拟器2840还可以被配置成产生实现模拟AV控制器2847的模拟自主车辆2830。模拟自主车辆2830包括模拟LIDAR传感器2872、模拟相机或图像传感器2874以及模拟雷达传感器2876。在图示的示例中，模拟LIDAR传感器2872可以被配置成产生与光线踪迹2892一致的模拟激光，这导致产生模拟传感器回波2891。需注意，模拟器2840可以模拟在传感器数据上增加噪声或其他环境效应(例如，影响模拟传感器回波2891的增加漫射或反射等)。再者，模拟器2840可以被配置成模拟各种传感器缺陷，包括传感器故障、传感器误校准、间歇性数据中断等。
模拟器2840包括物理处理器2850，用于模拟自主车辆的机械、静态、动态和运动学方面，用于模拟模拟自主车辆2830的行为。例如，物理处理器2850包括用于模拟接触力学的内容力学模块2851、用于模拟模拟主体之间交互的碰撞检测模块2852，以及用于模拟模拟机械交互之间交互的多体动力学模块2854。
模拟器2840还包括模拟器控制器2856，其被配置成控制模拟以适应模拟环境2803的任何合成产生元件的功能，以确定因果关系等。模拟器2840包括模拟器评估器2858，以评估模拟环境2803的合成产生元件的性能。例如，模拟器评估器2858可以分析模拟车辆命令2880(例如，模拟转向角和模拟速度)以判断这样的命令是否是对模拟环境2803之内模拟活动的适当响应。此外，模拟器2858可以评估远程操作员2808经由远程操作员计算装置2804与模拟自主车辆2830的交互。模拟器评估器2858可以评估更新的参考数据2827的效果，包括更新的地图图块和路线数据，它们可以被增加以引导模拟自主车辆2830的响应。模拟器评估器2858还可以在更新、删除或增加策略数据2829时评估模拟器AV控制器2847的响应。模拟器2840的以上描述并非意图进行限制。这样一来，模拟器2840被配置成相对于模拟环境执行自主车辆的各种不同模拟，模拟环境包括静态和动态特征。例如，模拟器2840可以用于验证软件版本的变化以确保可靠性。模拟器2840还可以用于确定车辆的运动学性质并用于校正目的。此外，模拟器2840可以用于利用适用控件的空间和所得轨迹，以便通过自我模拟实现学习。
图29是根据一些实施例用于模拟自主车辆各方面的流程图的示例。流程图2900开始于2902，在此，将包括三维地图数据的参考数据接收到模拟器中。可以在2904处检索针对分类对象定义运动模式的动态对象数据。在2906，至少基于三维("3D")地图数据和动态对象数据形成模拟环境。模拟环境可以包括一个或多个模拟表面。在2908，模拟自主车辆，其包括形成模拟环境一部分的模拟自主车辆控制器。自主车辆控制器可以包括模拟感知引擎和被配置成接收传感器数据的模拟定位器。在2910，基于针对至少一个模拟传感器回波的数据产生模拟传感器数据，并在2912产生模拟车辆命令，以导致模拟自主车辆在合成环境中运动(例如，矢量化推进)。在2914，评估模拟车辆命令以判断模拟自主车辆的行为是否与预期行为一致(例如，与策略一致)。
图30是根据一些实施例用于产生地图数据的流程图的示例。流程图3000开始于3002，在此检索轨迹数据。轨迹数据可以包括在一段时间内捕获的轨迹(例如，作为记录的轨迹)。在3004，可以接收至少局域化数据。可以在一段时间内捕获局域化数据(例如，作为记录的局域化数据)。在3006，可以实现相机或其他图像传感器以产生局域化数据的子集。这样一来，检索的局域化数据可以包括图像数据。在3008，对准局域化数据的子集以识别全球位置(例如，全球姿态)。在3010，基于全球位置产生三维("3D")地图数据，在3012，3维地图数据可适于由例如人工路线数据编辑器(例如，包括人工路网数据编辑器，例如RNDF编辑器)、自动化路线数据发生器(例如，包括自动路网发生器，包括自动RNDF发生器)、一队自主车辆、模拟器、远程操作员计算装置和自主车辆服务的任何其他部件来实现。
图31是绘示了根据一些实施例的制图引擎架构的图示。图示3100包括3D制图引擎，其被配置成接收轨迹日志数据3140、LIDAR日志数据3172、相机日志数据3174、雷达日志数据3176和其他任选的日志传感器数据(未示出)。逻辑3141包括环线闭合检测器3150，其被配置成检测传感器数据是否指示先前到访过空间中附近的点等等。逻辑3141还包括配准控制器3152，用于相对于一个或多个配准点对准地图数据，在一些情况下，包括3D地图数据。此外，逻辑3141提供代表环线闭合的状态的数据3142，供全球姿态曲线图发生器3143使用，其被配置成产生姿态曲线图数据3145。在一些示例中，也可以基于来自配准细化模块3146的数据产生姿态曲线图数据3145。逻辑3144包括3D制图器3154和LIDAR自校准单元3156。此外，逻辑3144接收传感器数据和姿态曲线图数据3145，以产生3D地图数据3120(或其他地图数据，例如4D地图数据)。在一些示例中，逻辑3144可以实施截断符号距离函数("TSDF")以融合传感器数据和/或地图数据，形成最优三维地图。此外，逻辑3144被配置成包括纹理和反射性质。可以发布3D地图数据3120以供人工路线数据编辑器3160(例如，操控路线数据或其他类型的路线或参考数据的编辑器)、自动化路线数据发生器3162(例如，被配置成产生路线数据或其他类型的路网或参考数据的逻辑)、一队自主车辆3164、模拟器3166、远程操作员计算装置3168和自主车辆服务的任何其他部件使用。制图引擎3110可以从人工注释或自动产生的注释以及其他传感器，例如声呐或仪表化环境(例如，智能停车灯)捕获语义信息。
图32是绘示了根据一些示例的自主车辆应用的图示。图示3200绘示了包括自主服务应用3240的移动计算装置3203，该自主服务应用被配置成联系自主车辆服务平台3201以经由自主车辆3230布置用户3202的运输。如图所示，自主服务应用3240可以包括运输控制器3242，其可以是驻留在计算装置(例如，移动电话3203等)上的软件应用。运输控制器3242被配置成接收、调度、选择或执行与用户3202用以布置从用户位置到目的地的运输的自主车辆和/或自主车队相关的操作。例如，用户3202可以打开应用以请求车辆3230。该应用可以显示地图，用户3202可以扎大头针(drop a pin)以指示其例如在地理围栏区域之内的目的地。或者，该应用可以显示附近预先指定的上客位置列表或为用户提供文本输入场，以向其中通过地址或名称键入目的地。
继续参考所示出的示例，自主车辆应用3240还可以包括用户标识控制器3246，其可以被配置成在车辆接近时检测在地理区域中或附近或在自主车辆3230附近的用户3202。在一些状况下，在车辆接近供用户3203使用时，用户3202可能不容易感知或识别自主车辆3230(例如，由于各种其他车辆，包括卡车、小汽车、出租车和其他城市环境中典型的障碍)。在一个示例中，自主车辆3230可以建立无线通信链路3262(例如，经由射频("RF")信号，例如WiFi或包括BLE等)，用于(例如，使用RF信号的相对方向和信号强度)传输和/或确定用户3202相对于自主车辆3230的空间位置。在一些情况下，自主车辆3230可以使用例如GPS数据等检测用户3202的大致地理位置。移动计算装置3203的GPS接收器(未示出)可以被配置成向自主车辆服务应用3240提供GPS数据。因此，用户标识控制器3246可以经由链路3260向自主车辆服务平台3201提供GPS数据，该平台继而可以经由链路3261向自主车辆3230提供该位置。接下来，自主车辆3230可以通过将用户的GPS数据与车辆的GPS导出位置比较来确定用户3202的相对距离和/或方向。
自主车辆3230还可以包括额外逻辑以识别用户3202的存在，使得被配置成执行面部检测算法的逻辑基于用户的唯一性面部特性一般性地，或特异性地识别用户3202的身份(例如，姓名、电话号码等)。此外，自主车辆3230可以包括检测用于识别用户3202的代码的逻辑。这样的代码示例包括专用视觉代码，例如QR代码、色彩代码等，专用音频代码，例如语音激活或识别的代码等。在一些情况下，代码可以是编码的安全密钥，可以经由链路3262以数字方式将其发送到自主车辆3230以确保安全地进入和/或离开。此外，可以使用上述用于识别用户3202的技术的一种或多种作为安全手段以向用户3202授予进入和外出权限，以便防止其他人进入自主车辆3230(例如，以确保第三方的人在到达用户3202之前不进入未被占用的自主车辆)。根据各示例，也可以在自主车辆服务应用3240、自主车辆服务平台3201和自主车辆3230中的一个或多个中实施用于识别用户3202并提供安全进出的任何其他手段。
为了辅助用户3302识别其请求的运输的到达，自主车辆3230可以被配置成在自主车辆3230接近用户3202时通知或通过其他方式提示用户3202其存在。例如，自主车辆3230可以根据特定的光图案激活一个或多个发光器件3280(例如，LED)。具体而言，生成特定的光图案，使得用户3202可以容易地感知到自主车辆3230被预留为用户3202的运输需求服务。例如，自主车辆3230可以产生可以被用户3202感知为“眨眼”的光图案3290或通过这样的视觉和时间方式产生其外部和内部灯的其他动画。产生的光图案3290可以具有或没有声音模式以向用户3202标识这辆车是他们预定的。
根据一些实施例，自主车辆用户控制器3244可以实施被配置成控制自主车辆各种功能的软件应用。此外，应用可以被配置成在向其初始目的地行进期间对自主车辆进行重定向或重新设定路线。此外，自主车辆用户控制器3244可以被配置成令车载逻辑改变自主车辆3230的内部照明以实现例如柔和的光照。控制器3244还可以控制音频源(例如，外部源，例如音乐播放器或移动计算装置3203上本地存储的音频)，选择驾车类型(例如，改变期望加速度和制动强度，改变主动悬架参数以选择一组“道路应对”特性，以实现积极的驾驶特性，包括振动，或者以选择为了舒适而阻抑振动的“软驾车”质量)等等。例如，移动计算装置3203可以被配置成还控制HVAC功能，像换气和温度。
图33到35示出了根据各实施例被配置成向自主车辆服务的部件提供各种功能性的各种计算平台的示例。在一些示例中，计算平台3300可以用于实施计算机程序、应用、方法、过程、算法或其他软件，以执行上述技术。
需注意，图33的各种结构和/或功能都适用于图34和35，这样一来，可以在图33的语境中论述那些图中的一些元件。
在一些情况下，计算平台3300可以设置于任何装置中，例如计算装置3390a中，计算装置3390a可以设置于自主车辆服务平台、自主车辆3391和/或移动计算装置3390b中的一个或多个计算装置中。
计算平台3300包括用于传输信息的总线3302或其他通信机构，其对子系统和装置进行互连，例如处理器3304、系统存储器3306(例如，RAM等)、存储装置3308(例如，ROM等)、存储器内高速缓存(可以实现于RAM 3306或计算平台3300的其他部分中)、通信接口3313(例如，以太网或无线控制器、蓝牙控制器、NFC逻辑等)，以方便经由通信链路3321上的端口进行通信，从而与例如计算装置，包括具有处理器的移动计算装置和/或通信装置通信。可以利用一个或多个图形处理单元(“GPU”)，利用一个或多个中央处理单元(“CPU”)，例如由Corporation制造的那些，或一个或多个虚拟处理器，以及CPU和虚拟处理器的任意组合，来实现处理器3304。计算平台3300经由输入和输出装置3301交换代表输入和输出的数据，输入和输出装置包括，但不限于键盘、鼠标、音频输入(例如，语音转文本装置)、用户接口、显示器、监视器、光标、触敏显示器、LCD或LED显示器和其他I/O相关装置。
根据一些示例，计算平台3300通过由处理器3304执行系统存储器3306中存储的一个或多个系列的一条或多条指令来执行特定操作，且计算平台3300可以实现于客户端-服务器布置、对等布置或任何移动计算装置中，包括智能电话等。此类指令或数据可以从另一个计算机可读介质，诸如存储装置3308被读入系统存储器3306中。在一些示例中，硬连线电路可以取代或结合软件指令加以实施。指令可以嵌入软件或固件中。术语“计算机可读介质”是指参与向处理器3304提供指令加以执行的任何有形介质。这样的介质可以采取很多形式，包括，但不限于非易失性介质和易失性介质。非易失性介质包括例如光盘或磁盘等。易失性介质包括动态存储器，例如系统存储器3306。
计算机可读介质的常见形式例如包括软盘、柔性盘、硬盘、磁带、任何其他磁性介质、CD-ROM、任何其他光学介质、打孔卡、纸带、任何其他具有孔图案的物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储芯片或存储盒或计算机能够读取的任何其他介质。可以使用传输介质进一步发送或接收指令。术语“传输介质”可以包括能够存储、编码或承载供机器执行的指令的任何有形或无形介质，并包括数字或模拟通信信号或其他无形介质，以方便这种指令的通信。传输介质包括同轴电缆、铜线和光纤，包括具有用于传输计算机数据信号的总线3302的线路。
在一些示例中，指令序列的执行可以由计算平台3300执行。根据一些示例，计算平台3300可以由通信链路3321(例如，有线网络，如LAN、PSTN，或任何无线网络，包括各种标准和协议的WiFi、NFC、Zig-Bee等)耦合到任何其他处理器，以彼此协同(或异步地)执行指令序列。计算平台3300可以通过通信链路3321和通信接口3313发送和接收消息、数据和指令，包括程序代码(例如，应用代码)。所接收的程序代码可以在被接收时由处理器3304执行，和/或存储在存储器3306中，或存储在非易失性存储装置中用于稍后执行。
在所示出的示例中，系统存储器3306可以包括各种模块，所述模块包括可执行指令，以实施本文所述的功能。系统存储器3306可以包括操作系统(“O/S”)3332以及应用3336和/或逻辑模块3359。在图33中所示的示例中，系统存储器3306包括自主车辆(“AV”)控制器模块3350和/或其部件(例如，感知引擎模块、局域化模块、规划器模块和/或运动控制器模块)，其中的任何模块或其一个或多个部分可以被配置成通过实施本文所述的一个或多个功能来有助于自主车辆服务。
参考图34中所示的示例，系统存储器3306包括自主车辆服务平台模块3450和/或其部件(例如，远程操作员管理器、模拟器等)，其中的任何模块或其一个或多个部分可以被配置成通过实施本文所述的一个或多个功能来有助于管理自主车辆服务。
参考图35中所示的示例，系统存储器3306包括自主车辆(“AV”)模块和/或其部件，例如，用于移动计算装置中。模块3550的一个或多个部分可以被配置成通过实施本文所述的一个或多个功能来有助于交付自主车辆。
重新参考图33，上述特征的任何特征的结构和/或功能可以实现于软件、硬件、固件、电路或其组合中。需注意，以上结构和构成元件，以及其功能可以与一个或多个其他结构或元件汇聚在一起。或者，可以将元件及其功能细分成构成子元件(如果有的话)。作为软件，可以使用各种类型的编程或格式化语言、框架、句法、应用、协议、对象或技术实现上述技术。作为硬件和/或固件，可以使用各种类型的编程或集成电路设计语言实施上述技术，包括硬件描述语言，例如被配置成设计现场可编程门阵列(“FPGA”)、专用集成电路(“ASIC”)或任何其他类型集成电路的任何寄存器传送语言(“RTL”)。根据一些实施例，术语“模块”可以指例如实现于硬件电路或软件中或其组合中的算法或其部分和/或逻辑。这些可以变化，不限于所提供示例或描述。
在一些实施例中，图33的模块3350、图34的模块3450和图35的模块3550或其部件的一个或多个或本文所述的任何过程或装置可以与移动装置，例如移动电话或计算装置通信(例如，有线或无线)或者可以设置于其中。
在一些情况下，移动装置或与一个或多个模块3359(图33的模块3350、图34的模块3450和图35的模块3550)通信的任何联网的计算装置(未示出)或其部件的一个或多个(或本文所述的任何过程或装置)可以提供本文所述特征的任何特征的结构和/或功能的至少一些。如上述图中所示，上述特征的任何特征的结构和/或功能可以实现于软件、硬件、固件、电路或其组合中。需注意，以上结构和构成元件，以及其功能可以与一个或多个其他结构或元件汇聚或组合在一起。或者，可以将元件及其功能细分成构成子元件(如果有的话)。作为软件，可以使用各种类型的编程或格式化语言、框架、句法、应用、协议、对象或技术实现上述技术中的至少一些。例如，附图中任何附图中所示的元件的至少一个可以代表一种或多种算法。或者，元件的至少一个可以代表逻辑的一部分，该逻辑包括被配置成提供构成结构和/或功能的硬件的一部分。
例如，图33的模块3350、图34的模块3450和图35的模块3550或其部件的一个或多个，或本文所述的任何过程或装置可以实现于一个或多个包括一个或多个被配置成执行存储器中的一种或多种算法的处理器的计算装置(即，任何移动计算装置，例如可穿戴装置、音频装置(例如耳机或耳塞)或移动电话，无论佩戴或携带)中。因此，上述附图中元件的至少一些可以代表一种或多种算法。或者，元件的至少一个可以代表逻辑的一部分，该逻辑包括被配置成提供构成结构和/或功能的硬件的一部分。这些可以变化，不限于所提供示例或描述。
作为硬件和/或固件，可以使用各种类型的编程或集成电路设计语言实施上述结构和技术，包括硬件描述语言，例如被配置成设计现场可编程门阵列(“FPGA”)、专用集成电路(“ASIC”)、多芯片模块或任何其他类型集成电路的任何寄存器传送语言(“RTL”)。
例如，图33的模块3350、图34的模块3450和图35的模块3550或其部件的一个或多个或本文所述的任何过程或装置可以实现于一个或多个包括一个或多个电路的计算装置中。因此，上述附图中的至少一个元件可以代表硬件的一个或多个部件。或者，至少一个元件可以代表逻辑的一部分，该逻辑包括被配置成提供构成结构和/或功能的电路的一部分。
根据一些实施例，术语“电路”是指例如包括若干部件的任何系统，电流流过该若干部件以执行一个或多个功能，部件包括离散和复杂的部件。离散部件的示例包括晶体管、电阻器、电容器、电感器、二极管等，复杂部件的示例包括存储器、处理器、模拟电路、数字电路等，包括现场可编程门阵列(“FPGA”)、专用集成电路(“ASIC”)。因此，电路可以包括电子部件和逻辑部件的系统(例如，被配置成执行指令的逻辑，使得算法的一组可执行指令例如，从而是电路的部件)。根据一些实施例，术语“模块”可以指例如实现于硬件电路或软件中或其组合中的算法或其部分和/或逻辑(即，模块可以被实现为电路)。在一些实施例中，算法和/或存储算法的存储器是电路的“部件”。因此，术语“电路”还可以指例如包括算法的部件的系统。这些可以变化，不限于所提供示例或描述。
图36是绘示了根据一些示例被配置成至少影响自主车辆导航控制的远程操作员管理器的示例的图示。图示3600绘示了产生数据的远程操作员管理器3607，该数据被配置成指导在自主车辆3630处产生轨迹，其中远程操作员管理器3607提供的指导有助于自主车辆3630的导航。远程操作员管理器3607可以包括诸如硬件或软件或其组合的逻辑，并可以设置于远程操作员3608能够与之交互的远程操作员计算装置3604中。因此，远程操作员3608可以例如经由远程操作员计算装置3604的用户界面或显示器远程监测自主车辆3630的若干功能。此外，远程操作员可以基于类似于自主车辆3630行驶所处的物理环境(例如，道路、城市景观等)的占用者的自主车辆3630进行的查看(例如，水平和垂直方向上360度或更小的高清晰度3D视图)，在视觉上辨别事件。具体而言，该视图可以是在行驶方向上相对于例如自主车辆3630前表面的环境可视化。远程操作员3608可以向自主车辆3630和一队自主车辆3630a提供指导或辅助，以辅助导航或解决任何其他事件或状况，无论发生于自主车辆3630外部或内部。
远程操作员管理器3607被配置成响应于从自主车辆3630接收到调用远程操作的信号而经由远程操作员3608之一和自主车辆3630之间的网络3606通过通信信道，从设置远程操作员管理器3607的自主车辆服务平台(未示出)之内或从远程操作员计算装置3604促成连接或会话。这样的信号的示例包括消息数据并被配置成提供信息，以实现远程操作员3608监测自主车辆3630的目的(即，无需远程操作员主动介入)。或者，这样的信号可以包括对远程操作员3608执行任务(例如，提供指导)的请求。在自主车辆3630请求导航相关的远程操作服务的一些示例中，远程操作员管理器3607可以提供代表隐式或显式指导的数据。对于后者而言，显式指导的示例包括涉及特定路由路径(即，特定道路或路段)的动作，可以将所述路由路径作为指令数据3617经由网络3606从远程操作员管理器3607发送。对于前者而言，隐式指导的示例包括避开或绕开特定地理区域(例如，从轨迹计算不强调或排除的道路的建议子集，以便指导自主车辆3630离开这些区域)的指令，以及指定优选行驶通过的区域(例如，在轨迹计算中强调或包括(例如，作为优选)的道路或路段的建议子集，以便指导自主车辆3630驶向这些区域)的指令。根据至少一个示例，任何远程操作员3608都可以发起通信或通过其他方式导致远程操作员计算装置3604和自主车辆3630之间的通信。
根据一些示例，可以响应于消息数据3619调用远程操作员管理器3607，消息数据3619可以包括对很多远程操作服务的一种类型的请求。例如，对远程操作服务的请求可以包括协商自主车辆3630外部的困难或不安全道路状况和障碍物的请求。停靠的汽车上打开的车门可能会阻挡自主车辆3630的行驶，可以将其视为这样的障碍物。消息数据3619还可以包括代表指示的数据，例如，该指示为观测到的车道标记不在物理环境中的预期位置。例如，如果自主车辆控制器3647经历的困难将一个或多个对象或障碍物标识或分类为可能影响规划和/或轨迹产生，消息数据3619还可以包括对远程操作员服务的请求。消息数据3619还可以包括对监测自主车辆3630或其中任何部件的操作(例如，传感器性能、传动系统特性、电池电量等)的请求。在一些示例中，消息数据3619可以包括对传感器相关事件，例如劣化或故障LIDAR传感器、雷达传感器或声呐传感器寻址的信息或请求。其他示例包括故障温度测量、对驱动系的劣化转速计感测等。劣化的LIDAR传感器的示例可能是由于强烈阳光或影响测距的其他光。消息数据3619还可以包括对从多个传感器导出的测量结果，例如运动学相关数据进行寻址的信息或请求。这样的测量结果的示例可以包括相对于摩擦、异常加速测量结果等的预期值而改变的所检测摩擦或车轮位移。还要注意，一队自主车辆3630a中的任何自主车辆都可以产生消息数据3619a，以与远程操作员管理器3607建立远程操作服务或为自主车辆3630提供远程操作服务。上述示例并非意在进行限制，这样一来，消息数据3619可以包括可能适合有助于远程操作的任何类型的数据，例如，遥测数据或规划器数据。
在一些情况下，远程操作员管理器3607可以被配置成调用远程操作服务，使得自主车辆3630不需要产生消息数据以在远程操作员计算装置3604和自主车辆3630之间建立会话。如图所示，远程操作员管理器3607可以包括消息数据发生器3690，其被配置成自产生远程操作服务，以在远程操作员计算装置3604和自主车辆3630之间建立通信。图示3600还绘示了远程操作员管理器3607被通信耦合到储存库3641和参考数据储存库3605，参考数据储存库3605被示为包括地图数据储存库3605a。至少在一些示例中，储存库3641可以被配置为策略储存库，其被配置成存储代表策略或规则的数据，利用该策略或规则基于可能影响自主车辆控制器3647产生轨迹的若干因素确定何时调用远程操作服务。例如，储存库3641中存储的数据可以包括这样的规则：如果车辆保持(例如，超过时间相关阈值)停在停车标志处而没有任何其他检测到的可能禁止通过停车标志行驶的障碍物或阻碍，则将远程操作员计算装置3604连接到自主车辆3630。作为另一个示例，考虑这样的规则：其可以被配置成在超过阈值量时间之后调用远程操作服务，在所述阈值量时间期间，无法接收确认有经由网络3606的通信的周期性信号(例如，心跳信号)。在又一示例中，考虑远程操作员管理器3607访问与预计自主车辆3630会行驶经过的地理区域相关联的地图数据。在一些情况下，这样的地图数据可以链接到提示数据(“AD”)3605b，其指示一条或多条路线(例如，在地图图块中)可以与特定水平的不确定性或导航复杂度相关联。或者，在一些情况下，提示数据可以链接到暂时用于局域化的暂时地图数据，直到例如可以(例如，通过模拟等)验证地图数据为止。因此，提示数据3605b导致远程操作会话的实例化，使得远程操作员能够监测自主车辆3630对这样的地图数据的使用情况。在自主车辆3630到达与链接到提示数据3605b的地图图块相关的位置时，远程操作员管理器3607可以在远程操作员计算装置3604和车辆之间建立连接链路。上述示例并非意在进行限制，这样一来，消息数据发生器3690可以产生适合有助于远程操作的任何类型的数据。
图示3600还绘示了远程操作员管理器3607包括远程操作员动作控制器3612，其可以被配置成有助于远程操作员3608和自主车辆3630中的自主车辆控制器3647之间的交互。远程操作员动作控制器3612被示为包括动作发生器3613，其可以被配置成产生数据以发起一个或多个动作，以响应于例如来自远程操作员3608的输入对自主车辆3630的一个或多个方面进行观测、辅助、监测等。动作发生器3613可以被配置成确定一个或多个动作流程(作为一个或多个远程操作服务)，以为自主车辆3630导航或通过其他方式提供帮助。例如，动作发生器3613可以产生可以由远程操作员3608采取的动作的子集，用于在不安全状况或有害障碍物附近对自主车辆3630进行导航(或在导航中提供辅助)。在这种情况下，远程操作员3608选择的动作可以导致自主车辆3630行驶特定路线，其包括要导航绕过的一个或多个路段，例如，事件位置(例如，事件可能发生的地理位置或区域)。
此外，动作发生器3613可以被配置成产生导航数据(例如，作为指令数据3617)以引导自主车辆3630。因此，动作发生器3613可以识别优选或避开的路线或区域，其可以定义被配置成供例如自主车辆控制器3647的规划器(未示出)使用的数据(作为指令数据3617)。动作发生器3613还可以被配置成发起传感器、通信装置、电气部件、机电部件等的子集的自诊断测试(例如，响应于远程操作员3608选择)或校准，以征求远程操作员3608可以用于确保自主车辆3630预期可操作性的额外信息。因此，远程操作员3608可以经由远程操作员管理器3607与自主车辆3630通信，以评估故障传感器的可操作性，并可以进一步发送指令数据3617，以令自主车辆控制器3647诊断(例如，执行诊断等)、修改或校正感兴趣传感器的操作。动作也可以由被配置成导致呈现传感器的每个视图(例如，对于每个LIDAR传感器的激光回波的每个个体集合)的数据代表，以在监测或诊断传感器性能问题时辅助远程操作员3608。动作发生器3613产生的另一个动作可以包括代表从自主车辆3630获取与过往时段相关联的传感器数据的指令的数据，例如，使得远程操作员3608能够在视觉上审查自主车辆3630在通信丢失期间(例如，在此期间，自主车辆3630使用临时轨迹自导航，以在没有主要轨迹时，例如如果规划器的工作劣化或故障，进行安全停车操作)的动作。
根据各示例，与远程操作服务相关的“事件”可以是影响自主车辆操作，或潜在影响操作的条件或状况(例如，事件可能与计算的置信度水平相关联或以其为特征)。事件可以在自主车辆3630内部或外部。例如，挡在道路上的障碍物以及通信的减少或丢失可以被视为事件。事件可以包括交通状况或拥堵，以及被感知引擎感知到的意外或异常数量或类型的外部对象(或轨道)。事件可以包括天气相关的条件(例如，由于冰或雨而失去摩擦力)或太阳照射的角度(例如，日落时)，例如与地平面角度低，导致太阳在其他车辆的人类驾驶员眼睛中明亮地闪光。明亮的阳光也可能损害传感器的可操作性，例如，基于激光或相机的传感器的可操作性。因此，事件可以是与一个或多个传感器的劣化性能或其故障相关联的状况。可能由于违反规则(例如，对于存储于储存库3641中的规则)或检测到链接到正用于局域化的地图数据的提示数据3605b而发生事件。上述示例并非旨在进行限制，这样一来，这些和其他状况可以被视为可能导致调用远程操作服务的事件。
图示3600示出了远程操作员动作控制器3612还包括通信链路管理器3615，其可以被配置成监测并表征经由网络3606的通信链路的属性(例如，对于替代通信网络，例如各种蜂窝网络和/或其他无线网络等的带宽、标识符)。例如，通信链路管理器3615可以检测带宽的变化，例如带宽的减小，并可以调节远程操作员管理器3607的功能以促成远程操作服务。为了例示，考虑经由网络3606的通信链路的带宽减少一定量的状况。在产生远程操作员通信装置3604的显示时，可以改变可视化数据的量以使远程操作员3608能够通过视觉监测自主车辆3630行驶的物理环境。例如，通信链路管理器3615可以令可视化数据绘示物理环境中动态和静态对象的边界框，而不是使用比边界框具有更大数据量的传感器数据。此外，通信链路管理器3615可以根据远程操作服务可以帮助的事件的关键性来调节带宽。低关键性(例如，导致不可操作的概率低)的事件示例包括没有其他冗余传感器的传感器性能的轻微偏离，而高关键性(例如，导致不可操作的概率高)的事件示例包括道路中的障碍物。此外，通信链路管理器3615可以被配置成识别一个或多个自主车辆3630和远程操作员管理器3607间通信链路的存在或不存在，并可以被配置成相应地调整远程操作服务。例如，在检测到失去周期性确认信号时，远程操作员管理器3607可以提示远程操作员该事件，使得远程操作员可以尝试替代的通信模式(例如，由动作发生器3613产生动作以实施其他蜂窝网络、对等(例如，自主车辆到自主车辆)网络等)。
图示3600的远程操作员管理器3607还包括用户界面控制器3610，其可以被配置成有助于可视化和用户界面功能。用户界面控制器3610的可视化控制器3611被配置成处理传感器产生的数据(例如，LIDAR传感器、相机、雷达、声呐等的一个或多个的融合传感器数据)，以产生高清晰度可视化数据，用于在远程操作员计算装置3604的显示器上呈现。在一些示例中，可视化控制器3611可以实现一个或多个图形处理单元(“GPU”)，包括GPU的集群，以有助于产生高保真影像，远程操作员3608使用所述高保真影像可以辅助自主车辆3630。根据一些示例，可视化控制器3611可以响应于来自通信链路管理器3615的数据产生可视化数据。具体而言，如果通信链路管理器3615指示发生了减小带宽可用性的事件，可视化控制器3611可以有助于使用边界框以在显示器上呈现而不是使用与边界框相关联的对象的图像。
用户界面控制器3610的输入/输出控制器3614被配置成产生代表用户输入和用户输出的数据，两者都可以被呈现给远程操作员计算装置3604的用户界面或显示器。可以在远程操作员计算装置3604的用户界面和远程操作员管理器3607之间交换与用户输入和用户输出相关联的数据信号。这样的数据信号可以有助于远程操作员管理器3607的任何部件或自主车辆服务平台的任何其他部件的操作，以实现远程操作服务。需注意，图36的图示3600中绘示的元件可以包括与结合本文所述的一幅或多幅其他附图描述的元件类似命名的结构和/或功能。
图37是绘示了根据一些示例被配置成实现用户界面以有助于远程操作服务命令的远程操作员管理器的示例的图示。图示3700绘示了远程操作员管理器3707，该远程操作员管理器经由网络3706与自主车辆3730通信耦合并被配置成实现用户界面3701以有助于与远程操作员交互。在图示的示例中，考虑事件位置3703指示一个或多个自主车辆在确定轨迹时可能会遇到一定水平的复杂性的地理位置或其区域。一定水平的复杂性可以被表示为值(例如，数值、概率值、或任何其他适当值)或值的范围，其可以指定是否可以利用远程操作员服务帮助确定轨迹的准确度。在图示的示例中，事件位置3703被绘示为与用户界面3701中的路网3710相关联(例如，基于参考或地图数据、地形数据、交通数据等)。在本示例中，事件位置3703被示为位于较大量路线或轨迹可能受到事件位置3703影响的路段子集的路口或附近处。再次参考本示例，事件位置3703可以是有概率可能发生或正在发生事件，例如交通事故或(例如，基于提示数据)自主车辆3730上的轨迹产生和路线规划可能具有特定水平的复杂性或难度(例如，在一天中的特定时间，明亮的阳光可能会阻碍传感器正常工作)的指示的位置。因此，远程操作员管理器3707可以提供远程操作服务，以有助于自主车辆对事件位置3703导航。
图示3700进一步绘示了经由用户界面3701接受用户输入以有助于任意数量的动作指导自主车辆3730导航的各种示例。在以下示例中，自主车辆3730可以被显示或以视觉方式呈现为自主车辆表示3730a或自主车辆表示3730b。根据图示的示例，远程操作员可以通过向用户界面3701应用用户输入来影响自主车辆3730的导航，从而可以经由一个或多个输入输出装置的任何装置交换代表输入和输出的数据信号，输入输出装置包括，但不限于键盘、鼠标、音频输入(例如，语音转文本装置)、图形用户界面、显示器、监视器、光标、触敏显示器、LCD或LED显示器和其他I/O相关装置。在即将发生的事件位置3703的表示显示于用户界面3701上时，远程操作员可以与用户界面3701交互以提供隐式指导或显示指导，以修改自主车辆3730的轨迹。
为了例示远程操作员实施的命令，考虑这样的示例：其中，用户界面3701显示自主车辆表示3703a，远程操作员与用户界面3701交互以考虑到与该位置3703相关联的事件有助于自主车辆3730导航。诸如用户输入3729a(例如，经由光标或触摸屏输入)的用户输入可以设置导航点“D”，其可以用于提供隐式指导。在本示例中，导航点D可以代表与路网3710中可能影响自主车辆3730处的规划和轨迹产生的地理区域相关联的点。导航点D可以被配置成生成指向导航点D(即，作为吸引点)或离开导航点D(即，作为排斥点)的轨迹。根据一些示例，吸引或排斥的程度可以具有从车辆3730a和导航点D之间的距离r线性或非线性变化的值。例如，如果导航点D被配置为排斥点，自主车辆3730处的规划器可以产生轨迹以(例如，通过概率方式)确定路段3725比路段3727较不可能包括在所产生的轨迹中，后者距导航点D比路段3725距离更远。
继续参考图示示例，远程操作员可以建立边界，以向着或离开边界吸引或排斥针对自主车辆3730的轨迹产生。如图所示，对用户界面3701的用户输入可以在导航点A和B之间建立排斥边界，这样产生了输入信号数据，远程操作员管理器3707处理该输入信号数据以形成指令数据3717，其继而被用于自主车辆3730的轨迹产生过程中以避开排斥边界3794。还要指出，添加导航点C可以建立包围路段3721和3723的排斥区域3792，在轨迹产生过程中可以不强调，或排除两个路段，以便绕过事件位置3703。在一些情况下，排斥区域3792可以被配置为禁止行驶的“非行驶区”。在其他情况下，如果远程操作员希望自主车辆3730导航到事件位置3703(例如，经由路段3721或路段3723)，排斥边界3794和排斥区域3792可以被分别形成为吸引边界和吸引区域。根据一些示例，在例如远程操作员在用户界面3701的表面上刷动手指时形成一组导航点时，用户输入3729b可以包括连续输入(或半连续输入)。如图所示，用户输入3729b形成吸引区域3791，其被配置成向着与吸引区域3791相关联或在其附近的路段影响轨迹产生。在各示例中，可以将上述导航点、边界和区域应用于特定自主车辆或多个自主车辆(例如，一队自主车辆，包括与自主车辆表示3730b相关联的自主车辆)。
图示3700还绘示了经由用户界面3701接受用户输入以向自主车辆3730提供导航指导的示例，可以经由用户界面3701将其呈现给远程操作员作为自主车辆表示3730b。远程操作员管理器3707可以被配置成接受用户输入以通过产生指令数据3717经由用户界面3701调用一个或多个动作，指令数据可以被发送到自主车辆3730。在自主车辆3730被显示为自主车辆表示3730b的情况下，远程操作员管理器3707还可以被配置成导致呈现用户输入3731a、3732a和3733a以在用户界面3701上呈现，其分别对应于第一动作(”1”)3731、第二动作(“2”)3732和第三动作(“3”)3733。动作3731可以包括令自主车辆表示3730b，从而令自主车辆3730在第一条街左转的指令的第一子集。动作3732可以包括令自主车辆表示3730b(以及自主车辆3730)在第二条街左转的指令的子集。动作3733可以包括令自主车辆表示3730b(以及自主车辆3730)在第二条街右转的指令的子集。需注意，动作3731到3733被配置成提供远程操作员指导的路线，以令自主车辆3730b绕过事件位置3703。根据一些示例，用户输入3731a、3732a和3733a可以被配置为指令数据3717，以超驰至少一条规划器产生的轨迹。
如图所示，用户界面3701或其一部分可以呈现一个或多个可选择的动作流程3741，远程操作员可以实施动作流程3741以辅助自主车辆3730的导航。在本示例中，第一用户输入(“动作2”)3732a实施动作3732，第二用户输入(“动作1”)3731a实施动作3731，第三用户输入(“动作3”)3733a实施动作3733。用户输入3731a、3732a和3733a可以代表用户界面3701的交互部分，其响应于例如用户输入3729c激活相应数据信号(作为输入信号)，用户输入可以是手指触摸用户界面3701的特定部分。根据一些示例，自主车辆3730的规划器可以向远程操作员管理器3707发送代表这些选择的数据作为消息数据3719，因为规划器可以识别最优动作和/或轨迹，用于考虑事件向远程操作员呈现并供其选择。此外，用户输入3732a、3731a和3733a均显示带有对应排序3742，分别为0.98、0.96和0.89，为选择适当的用户输入指定相对优先级或建议。不过，要指出，可以使用除排序之外的任何标记。根据一些示例，用户输入3731a、3732a和3733a可以被呈现为潜在方案的加权集合作为动作(例如，概率加权)。在一些示例中，自主车辆3730的规划器可以提供排名3742作为消息数据3719，从而排名3743可以指示由规划器计算的所提出路线或轨迹成功导航的概率。需注意，上述排名3742不限于图示的概率或数字，可以是相对于其他建议选择区分建议选择的任何形式。基于排名值3742为0.98，远程操作员(即，用户输入3729c)可以选择用户输入3732a以实施动作3732。
根据一些示例，模拟器3740可以从自主车辆服务平台和一队自主车辆的任何部件接收消息数据3719以及任何其他数据，以为自主车辆3730(或遇到事件位置3703的后续自主车辆3730)实时(或接近实时)模拟动作3731到3733的实施，以确定具体排名值3742是否是最优。例如，模拟器3740可以产生模拟值3744作为模拟数据3718，以和对应用户输入一起显示。在本示例中，模拟值“1”可以表示与关联排名一致，而模拟值3744更小的值可以表示与远程操作员在依赖排名3742之前可能希望考虑的排名3742分歧更大。在图示的示例中，用户输入3731a的排名值3742与模拟值3744“1”相关联，这样一来，远程操作员可以选择用户输入3731而不是用户输入3732a。根据一些示例，模拟器3740可以被配置成模拟虚拟环境中自主车辆3730的可操作性，远程操作员与用户界面3701的交互，以及可以在其中实施远程操作员管理器3707的自主车辆服务平台的其他功能，以验证远程操作员管理器3707的功能和结构等。
根据各示例，排名值3742和/或模拟器值3744的实施方式不必限于上文所述那些，而是可以包括任何其他值或输入类型，以用于区分远程操作员可以选择的最优动作流程。可以与提供隐式或显式指导一起使用可选动作流程3741，其可以包括除导航相关动作之外的其他动作。其他动作的示例包括测试或查看传感器数据的动作、自校准或自诊断自主车辆3730车上的问题的动作、与车辆3730的乘坐者通信的动作，以及任何其他相关动作。用户输入，例如被示为可选动作流程3741的那些，以及被配置成实现导航点、边界、区域等的用户输入，可以被实现为预防性动作流程，从而自主车辆3730可以及时接收远程操作服务，从而自主车辆3730的操作不必被例如事件或事件位置3703影响或劣化。例如，自主车辆3730不需要在受到事件影响之前停止或改变其行为。需注意，图37的图示3700中绘示的元件可以包括与结合本文所述的一幅或多幅其他附图描述的元件类似命名的结构和/或功能。
图38是绘示了根据一些示例被配置成实现用户界面以有助于远程操作服务命令的远程操作员管理器的另一示例的图示。图示3800绘示了远程操作员管理器3807，该远程操作员管理器经由网络3806与自主车辆3830通信耦合并被配置成实现用户界面3801以有助于与远程操作员交互。在图示的示例中，远程操作员管理器3807被配置成经由用户界面3801呈现来自自主车辆3630行驶的物理环境(例如，道路、城市景观等)中自主车辆沿行驶方向的至少一个前表面的视图3810(例如，3D视图)。根据一些示例，可以从自主车辆3830将代表视图3810的数据作为消息数据3819发送，代表视图3810的数据可以包括优化量的数据(例如，作为网络3806中通信信道带宽的函数等)，例如可以产生任何分辨率的可视化数据的传感器数据(或任意更少量)，使得远程操作员可以基于例如绘示事件的视图3810提供远程操作命令。远程操作员管理器3807可以进一步被配置成经由用户界面3801呈现可选择的动作流程3841、基于消息数据3819的消息日志3841a，以及标识与用户界面3801相关联的特定自主车辆3830的自主车辆("AV")标识符3881a。
在本示例中，考虑基于自主车辆3830可能遇到的事件为与用户界面3801相关联的远程操作员呈现事件相关的信息。远程操作员可以接收代表“不动提示”的消息("la")3843a，其可以指示自主车辆3830正在遇到可以调用远程操作服务的一个或多个事件(例如，与置信度水平范围相关联)。在一些情况下，不动提示指示自主车辆3830已经由于不可确定的原因(例如，考虑到可能防止安全或不受阻挡的行驶的事件，自主车辆的自主车辆控制器可能不能产生可接受的轨迹)而超过阈值时间不动。在此，一个或多个交通锥3861可以被检测为障碍物，(停放的汽车的)车门3869延伸到预计所产生的轨迹会通过的空间区域中也被检测为障碍物。在一些情况下，自主车辆3830的自主车辆控制器可以被配置成在到达与视图3810相关联的地理位置之前检测上述障碍物，从而远程操作员可以预先介入，以提供导航指导作为指令数据3817，令车辆遵循路径3866。利用来自远程操作的预先指导，自主车辆3830的操作不必受到障碍物影响(或受到最小影响)。在其它情况下，车门3869可能瞬时打开，使得自主车辆3830检测到车门打开并停下等待其关闭。如果检测到车辆不同的时间过长，那么消息数据3819可以包括消息3843a。
在另一个示例中，考虑远程操作员管理器3807使得消息("lb")3843b被显示，以向远程操作员指示自主车辆3830失去通信。例如，远程操作员管理器3807判定自主车辆服务平台未能接收到充分的数据，或者存在确认经由网络3806的通信的周期性信号(例如，心跳信号)。远程操作员可以经由用户界面3801发起一个或多个动作以重新建立通信。例如，远程操作员计算装置可以被配置成与自主车辆3830建立替代通信链路(例如，经由对等联网、替代蜂窝网络等)。再次参考上述示例，考虑通信被重新建立，并产生消息("2b")3843c以向远程操作员指示该情况。在这种情况下，查看用户界面3801的远程操作员可以感知到，无论是由于失去通信和/或其他原因，自主车辆3830已经实施安全停车轨迹3892，以在安全区域3890停止自主车辆。而且，远程操作员可以查看消息("3b")3843d，指示自主车辆3830例如正在实施(或已经实施)安全停车恢复模式或例程(可以是任选的)，以确认自主车辆3830在功能上和/或结构上能够继续行驶。例如，安全停车恢复例程可以被配置成确认传感器的子集正工作在规范操作参数的相应范围中。这样一来，自主车辆3830可以能够在完成成功的安全停车恢复过程时恢复自主车辆服务。
此外，远程操作员可以提供用户输入3829a，以选择或激活用户输入(“动作1”)3831a，这可以发起自主车辆3830的自测试例程，以验证其系统的正常工作。远程操作员还可以选择用户输入(“动作2”)3832a以令自主车辆3830对一个或多个传感器或其他部件执行自校准过程。在一些情况下，远程操作员可以选择用户输入(“动作3”)3833a以导致在通信失去之后，安全启动操作之前，中继传感器数据，以判断例如没有其他事件，例如自主车辆3830撞到或通过其他方式碰到弹到街上的篮球。远程操作员可以向自主车辆3830提供指令数据3817，以在一条或多条指导轨迹3866上行驶。
根据一些示例，模拟器3840可以被配置成将自主车辆3830的可操作性模拟为虚拟环境中的虚拟自主车辆3830a。这样一来，虚拟自主车辆3830a可以产生模拟消息数据3819a。需注意，模拟器3740还可以被配置成模拟远程操作员管理器3807的功能，远程操作员与用户界面3801的交互，以及可以在其中实施模拟器3840的自主车辆服务平台的其他功能，以模拟和验证远程操作员管理器3807的功能和结构等。
在一些情况下，远程操作员管理器3807可以令可视化数据通过例如在物理环境的图示中将一个或多个障碍物绘示为边界框3863而不是使用数据量比边界框更大的传感器数据，来调节用于呈现的内容。这样一来，可以经由消息数据3819发送更少数据以形成视图3810。或者，在一些情况下，物理环境中与地图数据偏离充分大的所检测对象或特征可以作为消息数据3819被发送，而不是例如发送与静态相关对象或先前检测对象相关联的数据。在一些示例中，用户3802(例如，R&D开发者或乘客)可以与计算装置3803(例如，移动计算装置)交互，以产生消息数据3819或令自主车辆3830产生这样的数据。需注意，图38的图示3800中绘示的元件可以包括与结合本文所述的一幅或多幅其他附图描述的元件类似命名的结构和/或功能。
图39是绘示了根据一些示例被配置成实现用户界面以有助于远程操作服务命令的远程操作员管理器的又一示例的图示。图示3900绘示了远程操作员管理器3907，该远程操作员管理器经由网络3906与自主车辆3930通信耦合并被配置成实现用户界面3901以有助于与远程操作员交互。在图示的示例中，远程操作员管理器3907被配置成经由用户界面3901呈现视图3910(例如，3D视图)作为物理环境的各部分的具体视图，从而视图3910的每个可以涉及对应传感器产生的环境的被感测部分。根据一些示例，可以从自主车辆发送的代表视图3910的数据可以用于通知远程操作员传感器的操作，使得远程操作员可以基于例如相对于视图3910绘示的事件提供远程操作命令。远程操作员管理器3907可以进一步被配置成经由用户界面3901呈现可选择的动作流程3940、基于消息数据3919的消息日志3941，以及标识与用户界面3901相关联的特定自主车辆3930的自主车辆("AV")标识符3981a。
在图示的示例中，考虑远程操作员接收消息("1")3943a，其指示传感器工作于至少一个参数可以工作于边界参数值范围之内的方式中。在一些状况下，不必在用户界面3901上呈现视图3910，直到远程操作员提供用户输入3929a以选择用户输入(“动作1”)3931a，导致在用户界面3901上查看传感器数据。此外，远程操作员可以经由用户界面3901接收消息("2")3943b，该消息指定传感器提示，从而至少一个传感器参数值可能偏离规范参数值的至少一个范围。这样一来，可以检测到事件为传感器功能的劣化。在实现用户输入3931a时，向自主车辆3930发送指令数据3917，作为响应，其被配置成将感测的数据作为消息数据3919从例如传感器1到4发送到远程操作员管理器3907，这导致呈现传感器数据视图3970、3972、3974和3976。如图所示，诸如传感器1的传感器劣化可以在视觉上被绘示为异常3977(例如，传感器中的物理缺陷、传感器上的遮挡、过强的光等)。因此，远程操作员可以从视觉上确认传感器操作中存在异常。远程操作员可以选择用户输入("2")3932a和用户输入("3")3933a，以通过向自主车辆3930发送这样的指令作为指令数据3917来分别执行传感器校准和传感器重新取向。响应于用户输入的指令可以令自主车辆3930改变其操作以减弱或消除传感器劣化。在图3E、25和本文描述的其他示例中描述了对感兴趣传感器(例如，传感器1)进行重新取向的示例。
根据各示例，可以在用户界面3901上呈现比图示那些更多或更少传感器的视图。此外，任何类型的传感器，例如LIDAR、相机、雷达、声呐等，可以提供任何类型的数据以作为视图3910呈现。还要指出，视图3970、3972、3974和3976不限于上述传感器，远程操作员管理器3907可以被配置成产生所感测参数，例如温度、电池电量、车轮角度、速度等的任何视觉表达。
根据一些示例，模拟器3940可以被配置成将自主车辆3930中传感器的可操作性模拟为用于虚拟环境中的虚拟传感器，连同自主车辆3930的虚拟或合成版本。需注意，产生至少一部分数据的模拟器3740还可以被配置成模拟远程操作员管理器3907的功能，远程操作员与用户界面3901的交互，以及可以在其中实施模拟器3940的自主车辆服务平台的其他功能，以模拟和验证使用远程操作员管理器3907的自主车辆3930中传感器的功能和结构等。需注意，图39的图示3900中绘示的元件可以包括与结合本文所述的一幅或多幅其他附图描述的元件类似命名的结构和/或功能。
图40是示出了根据一些示例执行远程操作服务的示例的流程图。流程4000开始于4002，在此，可以经由例如自主车辆和自主车辆服务平台之间的通信链路接收远程操作消息。在一些示例中，远程操作消息可以包括被配置成提供自主车辆行驶所处物理环境的绘示的传感器数据(或其他数据)。例如，该绘示可以被呈现给用户界面并可以利用融合的传感器数据形成。在4004，基于消息数据检测指定与自主车辆相关联的事件的数据。在4006，可以识别一个或多个动作流程。可以响应于检测到事件而选择至少一个动作加以执行。在4008，产生可视化数据以经由用户界面向与远程操作员计算装置交互的远程操作员呈现与事件相关联的信息。可以将可视化数据呈现给显示器或用户界面，从而为远程操作员呈现可视化数据，以判断是否介入自主车辆的规划操作(例如，轨迹产生)。需注意，本文中该流程图和其他流程图中绘示的次序并非意在暗示要求线性地执行各种功能，因为流程图的每个部分都可以与流程图的任一个或多个其他部分串行或并行地，并且独立于或依赖于流程图的其他部分被执行。
图41示出了根据各实施例被配置成向自主车辆服务的部件提供各种远程操作相关功能性和/或结构的各种计算平台的示例。在一些示例中，计算平台3300可以用于实施计算机程序、应用、方法、过程、算法或其他软件，以执行上述技术。需注意，图33的一个或多个结构和/或功能可以适用于图41，这样一来，可以在图33中论述那些图中的一些元件。还要注意，图41的图示4100中绘示的元件可以包括与结合本文一幅或多幅其他附图描述的元件类似命名的结构和/或功能。
参考图41中所示的示例，系统存储器3306包括自主车辆服务平台模块4150和/或其部件(例如，远程操作员服务模块4152等)，其中的任何模块或其一个或多个部分可以被配置成通过实施本文所述的一个或多个功能来方便为自主车辆服务导航。
尽管出于理解清晰的目的以某些细节描述了前述示例，但上述发明技术不限于所提供的细节。有很多实施上述发明技术的替代方式。公开的示例为例示性的而非限制性的。

Claims (18)

1.一种方法，包括：
经由通信链路从自主无人驾驶车辆接收远程操作消息；
从所述远程操作消息检测指定与所述自主无人驾驶车辆相关联的事件的数据；
识别响应于检测到指定所述事件的数据执行的一个或多个动作流程；
针对所述一个或多个动作流程计算对应的排名；
模拟所述一个或多个动作流程以产生一个或多个模拟动作流程；针对所述一个或多个模拟动作流程计算对应的模拟值；
产生可视化数据，以与所述对应排名和模拟值相关联地向远程操作员计算装置的显示器呈现与所述事件相关联的信息以及所述一个或多个动作流程的至少子集；
接收代表从所述显示器上呈现的所述一个或多个动作流程当中选择所选动作流程的数据；以及
向所述自主无人驾驶车辆发送所选择的动作流程。
2.根据权利要求1所述的方法，还包括在所述显示器上呈现所述可视化数据，以使人类远程操作员能够判断是否介入所述自主无人驾驶车辆的规划器的操作。
3.根据权利要求2所述的方法，其中呈现所述可视化数据包括绘示所述自主无人驾驶车辆行驶所处的物理环境。
4.根据权利要求2所述的方法，其中呈现所述可视化数据包括在所述显示器上被配置成从所述人类远程操作员接受代表动作流程的用户输入的一部分中与所述对应排名相关联地绘示所述一个或多个动作流程的子集。
5.根据权利要求1所述的方法，还包括确定在一段时间期间未能识别来自所述自主无人驾驶车辆的远程操作消息。
6.根据权利要求5所述的方法，其中确定未能识别所述消息包括检测作为来自所述自主无人驾驶车辆的所述远程操作消息的部分的心跳信号的缺失，其中所述心跳信号的缺失表明失去了经由所述通信链路的通信。
7.根据权利要求6所述的方法，还包括从所述远程操作员计算装置接收数据信号，所述远程操作员计算装置被配置成与所述自主无人驾驶车辆建立替代通信链路。
8.根据权利要求1所述的方法，其中产生所述可视化数据包括基于所述通信链路的带宽来调节要呈现的内容。
9.一种方法，包括：
在计算系统处接收从自主无人驾驶车辆上的多个传感器产生的传感器数据；
从所述传感器数据检测所述自主无人驾驶车辆上的至少一个传感器的劣化；
模拟一个或多个动作以产生一个或多个模拟动作；针对所述一个或多个模拟动作计算对应的模拟值；
产生可视化数据以在显示器上呈现给人类远程操作员，所述可视化数据与从所述多个传感器接收的所述传感器数据以及所述至少一个传感器劣化的指示以及所计算的模拟值相关；
在所述计算系统处从所述人类远程操作员接收输入，所述输入指示要采取的用于尝试校正所述至少一个传感器的动作；以及
向所述自主无人驾驶车辆发送所述动作。
10.根据权利要求9所述的方法，其中所述动作包括减轻劣化的影响的指令。
11.根据权利要求9所述的方法，其中所述可视化数据呈现所述传感器的劣化的视觉表示。
12.一种方法，包括：
在计算系统处从自主无人驾驶车辆接收传感器数据，所述传感器数据表示与所述自主无人驾驶车辆相关联的事件；
识别响应于所述事件执行的一个或多个动作流程；
模拟所述一个或多个动作流程以产生一个或多个模拟动作流程；
针对所述一个或多个模拟动作流程计算对应的模拟值；以及
产生与所述一个或多个动作流程相关的可视化数据以在显示器上与所述模拟值相关联地呈现；接收代表从所述显示器上呈现的所述一个或多个动作流程当中选择所选选定动作流程的数据，所述选择部分地基于对应于所述一个或多个动作流程的模拟值；以及向所述自主无人驾驶车辆发送所选的动作流程。
13.根据权利要求12所述的方法，还包括：
针对所述一个或多个动作流程计算对应的排名；以及
产生可视化数据以与所述对应排名相关联地呈现所述一个或多个动作流程的至少子集。
14.根据权利要求12所述的方法，还包括：
接收代表从所述显示器上呈现的所述一个或多个动作流程当中选择所选动作流程的数据，所述选择部分地基于对应于所述一个或多动动作流程的排名和模拟值的组合；以及
向所述自主无人驾驶车辆发送所选的动作流程。
15.根据权利要求12所述的方法，还包括在所述显示器上呈现所述可视化数据，以使人类远程操作员能够选择所述一个或多个动作流程之一。
16.一种方法，包括：
在计算装置的显示器上呈现第一区域，所述第一区域包含与自主无人驾驶车辆操作所处环境相关的第一可视化数据；
在所述计算装置的显示器上呈现第二区域，所述第二区域包含与在所述环境之内操作时所述自主无人驾驶车辆能够执行的动作列表相关的第二可视化数据，所述第二可视化数据还与表示在模拟计算机中模拟对应动作的结果的动作列表中的对应动作的模拟值相关；
在所述计算装置处接收要由所述自主无人驾驶车辆执行的所选动作的用户选择；以及
向所述自主无人驾驶车辆发送所选动作。
17.根据权利要求16所述的方法，其中所述第一区域和所述第二区域同时呈现于所述显示器上，并且所述第二区域小于所述第一区域。
18.根据权利要求16所述的方法，还包括：
在所述第二区域中额外呈现与所述动作列表中的对应动作的排名相关的可视化数据。
CN201680064768.2A 2015-11-04 2016-11-02 用于自主车辆轨迹修改的远程操作系统和方法 Active CN108700876B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US14/932,940 US9734455B2 (en) 2015-11-04 2015-11-04 Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US14/932,966 2015-11-04
US14/756,991 US9720415B2 (en) 2015-11-04 2015-11-04 Sensor-based object-detection optimization for autonomous vehicles
US14/756,992 US9910441B2 (en) 2015-11-04 2015-11-04 Adaptive autonomous vehicle planner logic
US14/756,995 US9958864B2 (en) 2015-11-04 2015-11-04 Coordination of dispatching and maintaining fleet of autonomous vehicles
US14/932,966 US9507346B1 (en) 2015-11-04 2015-11-04 Teleoperation system and method for trajectory modification of autonomous vehicles
US14/756,996 US9916703B2 (en) 2015-11-04 2015-11-04 Calibration for autonomous vehicle operation
PCT/US2016/060018 WO2017079219A1 (en) 2015-11-04 2016-11-02 Teleoperation system and method for trajectory modification of autonomous vehicles

Publications (2)

Publication Number Publication Date
CN108700876A true CN108700876A (zh) 2018-10-23
CN108700876B CN108700876B (zh) 2021-08-27

Family

ID=63077631

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201680064768.2A Active CN108700876B (zh) 2015-11-04 2016-11-02 用于自主车辆轨迹修改的远程操作系统和方法
CN202410296946.0A Pending CN118192555A (zh) 2015-11-04 2016-11-03 响应于物理环境的改变自适应制图以对自主车辆进行导航
CN202111033039.XA Active CN113721629B (zh) 2015-11-04 2016-11-03 响应于物理环境的改变自适应制图以对自主车辆进行导航

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202410296946.0A Pending CN118192555A (zh) 2015-11-04 2016-11-03 响应于物理环境的改变自适应制图以对自主车辆进行导航
CN202111033039.XA Active CN113721629B (zh) 2015-11-04 2016-11-03 响应于物理环境的改变自适应制图以对自主车辆进行导航

Country Status (3)

Country Link
EP (1) EP4180893A1 (zh)
JP (4) JP6962926B2 (zh)
CN (3) CN108700876B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816588A (zh) * 2018-12-29 2019-05-28 百度在线网络技术（北京）有限公司 行车轨迹线的记录方法、装置及设备
CN110154816A (zh) * 2019-05-16 2019-08-23 盐城品迅智能科技服务有限公司 一种用于自动引导小车的充电管理系统及方法
CN110264715A (zh) * 2019-06-20 2019-09-20 大连理工大学 一种基于路段突发拥堵分析的交通事件检测方法
CN111161527A (zh) * 2020-01-03 2020-05-15 财团法人车辆研究测试中心 自驾车远端监控系统及其方法
CN111223321A (zh) * 2018-11-26 2020-06-02 华为技术有限公司 自动驾驶规划的方法、设备及系统
TWI703064B (zh) * 2018-11-16 2020-09-01 大陸商北京嘀嘀無限科技發展有限公司 用於在不良照明狀況下定位運輸工具的系統和方法
CN111679662A (zh) * 2019-02-25 2020-09-18 北汽福田汽车股份有限公司 一种车辆的控制方法及装置、存储介质和处理器
CN111983655A (zh) * 2020-07-22 2020-11-24 汉海信息技术(上海)有限公司 城市峡谷区域的确定方法、装置、电子设备及存储介质
CN112306046A (zh) * 2019-07-29 2021-02-02 丰田自动车株式会社 远程操作系统、计算机可读存储介质以及车辆
CN112590817A (zh) * 2020-12-23 2021-04-02 江苏徐工工程机械研究院有限公司 运输系统的安全保护系统、方法和机群管理设备
CN112817306A (zh) * 2019-10-29 2021-05-18 大众汽车股份公司 车辆的远程操作式驾驶
US20210146978A1 (en) * 2019-11-20 2021-05-20 Thales Canada Inc. High-integrity object detection system and method
CN113272749A (zh) * 2018-11-08 2021-08-17 祖克斯有限公司 自主车辆引导权限框架
CN113496344A (zh) * 2020-04-08 2021-10-12 丰田自动车株式会社 车辆管理系统以及信息处理装置
CN113844465A (zh) * 2021-12-02 2021-12-28 上海车右智能科技有限公司 一种自动驾驶方法及系统
US11262756B2 (en) * 2018-01-15 2022-03-01 Uatc, Llc Discrete decision architecture for motion planning system of an autonomous vehicle
CN114120691A (zh) * 2020-08-27 2022-03-01 伟摩有限责任公司 使用远程辅助逐渐调整车辆传感器视角的方法和系统
CN114148347A (zh) * 2020-09-08 2022-03-08 伟摩有限责任公司 用于使用远程协助将自主载具操纵到位置的方法和系统
CN114555894A (zh) * 2019-05-06 2022-05-27 洛基德机器人有限公司 用于施工现场的自主导航的移动平台
CN114599566A (zh) * 2019-10-22 2022-06-07 株式会社电装 远程辅助系统、车载装置、远程辅助方法以及远程辅助程序
WO2023114223A1 (en) * 2021-12-14 2023-06-22 Zoox, Inc. Autonomous vehicle operations related to detection of an unsafe passenger pickup/delivery condition
US11915533B1 (en) * 2023-01-20 2024-02-27 Embark Trucks Inc. Systems and methods for distributed visualization generaton
US20240085211A1 (en) * 2017-01-19 2024-03-14 Mindmaze Group Sa System, methods, device and apparatuses for preforming simultaneous localization and mapping

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9606539B1 (en) 2015-11-04 2017-03-28 Zoox, Inc. Autonomous vehicle fleet service and system
CN108700876B (zh) * 2015-11-04 2021-08-27 祖克斯有限公司 用于自主车辆轨迹修改的远程操作系统和方法
US11919531B2 (en) * 2018-01-31 2024-03-05 Direct Current Capital LLC Method for customizing motion characteristics of an autonomous vehicle for a user
US11157527B2 (en) * 2018-02-20 2021-10-26 Zoox, Inc. Creating clean maps including semantic information
US10468062B1 (en) * 2018-04-03 2019-11-05 Zoox, Inc. Detecting errors in sensor data
KR102651410B1 (ko) 2018-12-28 2024-03-28 현대자동차주식회사 자율 발렛 주차를 지원하는 시스템 및 방법, 그리고 이를 위한 인프라 및 차량
CN109817021B (zh) * 2019-01-15 2021-11-02 阿波罗智能技术(北京)有限公司 一种激光雷达路侧盲区交通参与者避让方法和装置
CN109709966B (zh) * 2019-01-15 2021-12-07 阿波罗智能技术(北京)有限公司 用于无人车的控制方法和装置
JP7133570B2 (ja) * 2019-01-30 2022-09-08 バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッド 自動運転車のためのリアルタイム地図生成システム
CN111771229B (zh) 2019-01-30 2023-11-21 百度时代网络技术（北京）有限公司 用于自动驾驶车辆的点云重影效果检测系统
KR102379295B1 (ko) * 2019-01-30 2022-03-25 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 자율 주행 차량을 위한 rgb 포인트 클라우드 기반의 맵 생성 시스템
US11364932B2 (en) 2019-06-25 2022-06-21 Lg Electronics Inc. Method for transmitting sensing information for remote driving in automated vehicle and highway system and apparatus therefor
JP7192709B2 (ja) * 2019-08-09 2022-12-20 トヨタ自動車株式会社 車両遠隔指示訓練装置
KR102231503B1 (ko) * 2019-09-02 2021-03-24 엘지전자 주식회사 자율 주행 제어 방법과 이를 이용한 자율 주행 시스템
US11316749B1 (en) * 2019-10-21 2022-04-26 Splunk Inc. Generating three-dimensional representation of one or more cloud computing systems
CN111026873B (zh) * 2019-10-24 2023-06-20 中国人民解放军军事科学院国防科技创新研究院 无人车及其导航方法、装置
JP7172946B2 (ja) * 2019-10-29 2022-11-16 株式会社デンソー 管理システム、管理方法、及び管理プログラム
CN111649739B (zh) 2020-06-02 2023-09-01 阿波罗智能技术(北京)有限公司 定位方法和装置、自动驾驶车辆、电子设备和存储介质
CN111964578B (zh) * 2020-07-27 2021-10-12 中国第一汽车股份有限公司 一种整车参数测量坐标系的建立方法
DE102021101363A1 (de) 2021-01-22 2022-07-28 Bayerische Motoren Werke Aktiengesellschaft Bildbasiertes Verfahren zum Vereinfachen einer fahrzeugexternen Kontrollübernahme über ein Kraftfahrzeug, Assistenzeinrichtung und Kraftfahrzeug
JP7177205B2 (ja) * 2021-03-25 2022-11-22 本田技研工業株式会社 車両制御装置、車両、車両制御装置の動作方法及びプログラム
KR102572336B1 (ko) * 2021-04-23 2023-08-30 한국전자기술연구원 주행 계획 장치 및 방법, 이를 적용한 이동 로봇
WO2023149370A1 (ja) * 2022-02-01 2023-08-10 キヤノン株式会社 制御システム、制御方法、及び記憶媒体
CN115116249B (zh) * 2022-06-06 2023-08-01 苏州科技大学 一种自动驾驶车辆不同渗透率与道路通行能力的估计方法
CN115357047B (zh) * 2022-08-26 2023-07-21 广东工业大学 一种基于眼神追踪的无人机辅助操控方法及系统

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5220507A (en) * 1990-11-08 1993-06-15 Motorola, Inc. Land vehicle multiple navigation route apparatus
JPH10275015A (ja) * 1996-11-11 1998-10-13 Komatsu Ltd 移動体の遠隔操作装置
JP2006113836A (ja) 2004-10-15 2006-04-27 Fuji Heavy Ind Ltd 道路情報提供システム
US7831433B1 (en) * 2005-02-03 2010-11-09 Hrl Laboratories, Llc System and method for using context in navigation dialog
JP2007322172A (ja) * 2006-05-30 2007-12-13 Nissan Motor Co Ltd 迂回路提案システム及び迂回路提案方法
JP4949063B2 (ja) 2007-02-14 2012-06-06 富士重工業株式会社 車両の運転支援装置
JP4983542B2 (ja) 2007-10-25 2012-07-25 トヨタ自動車株式会社 車両の走行制御装置
KR101372482B1 (ko) * 2007-12-11 2014-03-26 삼성전자주식회사 이동 로봇의 경로 계획 방법 및 장치
JP5215740B2 (ja) 2008-06-09 2013-06-19 株式会社日立製作所 移動ロボットシステム
JP2010156573A (ja) * 2008-12-26 2010-07-15 Alpine Electronics Inc ナビゲーション装置および目的地候補情報提示方法
JP5489965B2 (ja) * 2009-12-24 2014-05-14 本田技研工業株式会社 行動制御システムおよびロボット
US8031085B1 (en) 2010-04-15 2011-10-04 Deere & Company Context-based sound generation
US8467951B2 (en) * 2010-05-06 2013-06-18 Telenav, Inc. Navigation system with alternative route determination mechanism and method of operation thereof
EP2487461B1 (en) * 2011-02-09 2015-10-07 Harman Becker Automotive Systems GmbH Vehicle navigation device and method
US9086288B2 (en) * 2011-07-15 2015-07-21 Google Inc. Method and system for finding paths using GPS tracks
KR101288323B1 (ko) * 2011-12-16 2013-07-23 에스케이플래닛 주식회사 복수 경로 제공 내비게이션 장치 및 방법
WO2014133977A1 (en) * 2013-03-01 2014-09-04 Robotex Inc. Low latency data link system and method
CN105074793A (zh) * 2013-03-15 2015-11-18 凯利普公司 用于车辆路径规划和交通管理的车道级车辆导航
US9008890B1 (en) * 2013-03-15 2015-04-14 Google Inc. Augmented trajectories for autonomous vehicles
US8996224B1 (en) 2013-03-15 2015-03-31 Google Inc. Detecting that an autonomous vehicle is in a stuck condition
JP6166107B2 (ja) * 2013-06-17 2017-07-19 株式会社Ｉｈｉエアロスペース 無人移動体の遠隔操縦システム及び無人移動体
JP6257318B2 (ja) * 2013-09-30 2018-01-10 株式会社日本総合研究所 自動運転交通システムにおける移動体、移動体の連携配車装置、及びその配車方法
KR101465493B1 (ko) * 2014-01-28 2014-11-28 성균관대학교산학협력단 차량 내비게이션 시스템 및 차량의 목적지 경로를 결정하는 방법
US9720410B2 (en) 2014-03-03 2017-08-01 Waymo Llc Remote assistance for autonomous vehicles in predetermined situations
US9547989B2 (en) * 2014-03-04 2017-01-17 Google Inc. Reporting road event data and sharing with other vehicles
JP6269210B2 (ja) 2014-03-18 2018-01-31 アイシン・エィ・ダブリュ株式会社 経路探索システム、経路探索方法及びコンピュータプログラム
CN103872666B (zh) * 2014-03-26 2016-02-24 国家电网公司 一种基于电压平面的负荷与单相接地故障识别方法
DE102014213171A1 (de) * 2014-04-09 2015-10-15 Continental Automotive Gmbh System zur autonomen Fahrzeugführung und Kraftfahrzeug
CN108700876B (zh) 2015-11-04 2021-08-27 祖克斯有限公司 用于自主车辆轨迹修改的远程操作系统和方法

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240085211A1 (en) * 2017-01-19 2024-03-14 Mindmaze Group Sa System, methods, device and apparatuses for preforming simultaneous localization and mapping
US11262756B2 (en) * 2018-01-15 2022-03-01 Uatc, Llc Discrete decision architecture for motion planning system of an autonomous vehicle
CN113272749A (zh) * 2018-11-08 2021-08-17 祖克斯有限公司 自主车辆引导权限框架
CN113272749B (zh) * 2018-11-08 2024-03-08 祖克斯有限公司 自主车辆引导权限框架
US11048264B2 (en) 2018-11-16 2021-06-29 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for positioning vehicles under poor lighting conditions
US11676254B2 (en) 2018-11-16 2023-06-13 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for positioning vehicles under poor lighting conditions
TWI703064B (zh) * 2018-11-16 2020-09-01 大陸商北京嘀嘀無限科技發展有限公司 用於在不良照明狀況下定位運輸工具的系統和方法
CN111223321A (zh) * 2018-11-26 2020-06-02 华为技术有限公司 自动驾驶规划的方法、设备及系统
CN109816588A (zh) * 2018-12-29 2019-05-28 百度在线网络技术（北京）有限公司 行车轨迹线的记录方法、装置及设备
CN111679662A (zh) * 2019-02-25 2020-09-18 北汽福田汽车股份有限公司 一种车辆的控制方法及装置、存储介质和处理器
CN111679662B (zh) * 2019-02-25 2022-07-15 北汽福田汽车股份有限公司 一种车辆的控制方法及装置、存储介质和处理器
US11953909B2 (en) 2019-05-06 2024-04-09 Rugged Robotics Inc. Mobility platform for autonomous navigation of construction sites
CN114555894B (zh) * 2019-05-06 2024-04-09 洛基德机器人有限公司 用于施工现场的自主导航的移动平台
CN114555894A (zh) * 2019-05-06 2022-05-27 洛基德机器人有限公司 用于施工现场的自主导航的移动平台
CN110154816A (zh) * 2019-05-16 2019-08-23 盐城品迅智能科技服务有限公司 一种用于自动引导小车的充电管理系统及方法
CN110264715A (zh) * 2019-06-20 2019-09-20 大连理工大学 一种基于路段突发拥堵分析的交通事件检测方法
CN110264715B (zh) * 2019-06-20 2021-10-15 大连理工大学 一种基于路段突发拥堵分析的交通事件检测方法
CN112306046A (zh) * 2019-07-29 2021-02-02 丰田自动车株式会社 远程操作系统、计算机可读存储介质以及车辆
CN114599566A (zh) * 2019-10-22 2022-06-07 株式会社电装 远程辅助系统、车载装置、远程辅助方法以及远程辅助程序
CN112817306A (zh) * 2019-10-29 2021-05-18 大众汽车股份公司 车辆的远程操作式驾驶
US11945478B2 (en) * 2019-11-20 2024-04-02 Ground Transportation Systems Canada Inc. High-integrity object detection system and method
US20210146978A1 (en) * 2019-11-20 2021-05-20 Thales Canada Inc. High-integrity object detection system and method
CN111161527A (zh) * 2020-01-03 2020-05-15 财团法人车辆研究测试中心 自驾车远端监控系统及其方法
CN113496344A (zh) * 2020-04-08 2021-10-12 丰田自动车株式会社 车辆管理系统以及信息处理装置
CN113496344B (zh) * 2020-04-08 2024-03-12 丰田自动车株式会社 车辆管理系统以及信息处理装置
CN111983655B (zh) * 2020-07-22 2024-03-15 汉海信息技术(上海)有限公司 城市峡谷区域的确定方法、装置、电子设备及存储介质
CN111983655A (zh) * 2020-07-22 2020-11-24 汉海信息技术(上海)有限公司 城市峡谷区域的确定方法、装置、电子设备及存储介质
CN114120691A (zh) * 2020-08-27 2022-03-01 伟摩有限责任公司 使用远程辅助逐渐调整车辆传感器视角的方法和系统
CN114148347A (zh) * 2020-09-08 2022-03-08 伟摩有限责任公司 用于使用远程协助将自主载具操纵到位置的方法和系统
CN112590817A (zh) * 2020-12-23 2021-04-02 江苏徐工工程机械研究院有限公司 运输系统的安全保护系统、方法和机群管理设备
CN113844465B (zh) * 2021-12-02 2022-07-15 上海车右智能科技有限公司 一种自动驾驶方法及系统
CN113844465A (zh) * 2021-12-02 2021-12-28 上海车右智能科技有限公司 一种自动驾驶方法及系统
WO2023114223A1 (en) * 2021-12-14 2023-06-22 Zoox, Inc. Autonomous vehicle operations related to detection of an unsafe passenger pickup/delivery condition
US11915533B1 (en) * 2023-01-20 2024-02-27 Embark Trucks Inc. Systems and methods for distributed visualization generaton

Also Published As

Publication number Publication date
JP7316789B2 (ja) 2023-07-28
JP2022065083A (ja) 2022-04-26
JP2019502214A (ja) 2019-01-24
CN113721629A (zh) 2021-11-30
CN108700876B (zh) 2021-08-27
JP2018538647A (ja) 2018-12-27
JP6962926B2 (ja) 2021-11-05
JP2022009142A (ja) 2022-01-14
CN118192555A (zh) 2024-06-14
JP2022113694A (ja) 2022-08-04
EP4180893A1 (en) 2023-05-17
CN113721629B (zh) 2024-04-02
JP7381539B2 (ja) 2023-11-15

Similar Documents

Publication Publication Date Title
CN108700876A (zh) 用于自主车辆轨迹修改的远程操作系统和方法
US11314249B2 (en) Teleoperation system and method for trajectory modification of autonomous vehicles
CN108292134A (zh) 用于优化远程操作和/或规划器决策的机器学习系统和技术
CN108369775A (zh) 响应于物理环境的改变自适应制图以对自主车辆进行导航
EP3371668B1 (en) Teleoperation system and method for trajectory modification of autonomous vehicles
US11022974B2 (en) Sensor-based object-detection optimization for autonomous vehicles
US9507346B1 (en) Teleoperation system and method for trajectory modification of autonomous vehicles
US10921811B2 (en) Adaptive autonomous vehicle planner logic
CN108290579A (zh) 用于自主车辆的模拟系统和方法
CN114822008B (zh) 派遣和维护自主车辆的车队的协调
CN108475406A (zh) 用于请求和控制自主车辆服务的软件应用
WO2017079321A1 (en) Sensor-based object-detection optimization for autonomous vehicles
US20240028031A1 (en) Autonomous vehicle fleet service and system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant