CN108369775B - 响应于物理环境的改变自适应制图以对自主车辆进行导航 - Google Patents
响应于物理环境的改变自适应制图以对自主车辆进行导航 Download PDFInfo
- Publication number
- CN108369775B CN108369775B CN201680064836.5A CN201680064836A CN108369775B CN 108369775 B CN108369775 B CN 108369775B CN 201680064836 A CN201680064836 A CN 201680064836A CN 108369775 B CN108369775 B CN 108369775B
- Authority
- CN
- China
- Prior art keywords
- data
- map
- sensor data
- autonomous vehicle
- subset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 title description 54
- 230000004044 response Effects 0.000 title description 25
- 230000003044 adaptive effect Effects 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 104
- 230000008859 change Effects 0.000 claims abstract description 58
- 230000008569 process Effects 0.000 claims description 53
- 230000004807 localization Effects 0.000 claims description 48
- 238000012545 processing Methods 0.000 claims description 8
- 238000002592 echocardiography Methods 0.000 claims description 7
- 238000013500 data storage Methods 0.000 claims description 6
- 238000002310 reflectometry Methods 0.000 claims description 5
- 230000000717 retained effect Effects 0.000 claims 3
- 238000004891 communication Methods 0.000 abstract description 70
- 238000010586 diagram Methods 0.000 description 96
- 230000006870 function Effects 0.000 description 48
- 230000008447 perception Effects 0.000 description 45
- 230000003068 static effect Effects 0.000 description 32
- 238000004422 calculation algorithm Methods 0.000 description 23
- 230000011218 segmentation Effects 0.000 description 22
- 230000033001 locomotion Effects 0.000 description 20
- 230000015654 memory Effects 0.000 description 17
- 238000013439 planning Methods 0.000 description 16
- 230000003993 interaction Effects 0.000 description 15
- 230000009471 action Effects 0.000 description 12
- 238000013459 approach Methods 0.000 description 12
- 230000007613 environmental effect Effects 0.000 description 11
- 230000006399 behavior Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000005457 optimization Methods 0.000 description 9
- 238000004088 simulation Methods 0.000 description 8
- 239000000470 constituent Substances 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000000670 limiting effect Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 239000008186 active pharmaceutical agent Substances 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241000282472 Canis lupus familiaris Species 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 208000032364 Undersensing Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
- 239000004557 technical material Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
- G05D1/0291—Fleet control
- G05D1/0297—Fleet control by controlling means in a control room
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/28—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating front of vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/30—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating rear of vehicle, e.g. by means of reflecting surfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/865—Combination of radar systems with lidar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
- G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
- G01S17/875—Combinations of systems using electromagnetic waves other than radio waves for determining attitude
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/0009—Transmission of position information to remote stations
- G01S5/0018—Transmission from mobile station to base station
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
- G01S7/4972—Alignment of sensor
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
- G05D1/0027—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
- G05D1/0291—Fleet control
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
- G08G1/202—Dispatching vehicles on the basis of a location, e.g. taxi dispatching
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
- G08G1/205—Indicating the location of the monitored vehicles as destination, e.g. accidents, stolen, rental
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
Abstract
各实施例总体上涉及自主车辆以及关联的机械、电气和电子硬件、计算机软件和系统，以及有线和无线网络通信，以为自主车辆提供地图数据。具体而言，一种方法可以包括访问多种类型传感器数据的子集，基于多种类型的传感器数据相对于全球坐标系对准传感器数据的子集以形成对准传感器数据，以及产生三维地图数据的数据集。该方法还包括检测相对于三维地图数据的至少两个数据集的数据变化，以及应用数据的变化以形成更新的三维地图数据。数据变化可以代表感测传感器数据的环境的状态变化。环境的状态变化可以与位于其中的对象的存在或不存在相关。
Description
相关申请的交叉引用
本PCT国际申请是2015年11月4日提交的题为“AUTONOMOUS VEHICLE FLEETSERVICE AND SYSTEM”的美国申请No.14/932,963和2016年11月4日提交的题为“AUTONOMOUS VEHICLE FLEET SERVICE AND SYSTEM”的美国专利申请No.14/932,959的继续，并涉及2015年11月4日提交的题为“TELEOPERATION SYSTEM AND METHOD FORTRAJECTORY MODIFICATION OF AUTONOMOUS VEHICLES”的美国专利申请No.14/932,966，2015年11月4日提交的题为“AUTOMATED EXTRACTION OF SEMANTIC INFORMATION TOENHANCE INCREMENTAL MAPPING MODIFICATIONS FOR ROBOTIC VEHICLES”的美国专利申请No.14/932,940，2015年11月4日提交的题为“COORDINATION OF DISPATCHING ANDMAINTAINING FLEET OF AUTONOMOUS VEHICLES”的美国专利申请No.14/756,995，2015年11月4日提交的题为“ADAPTIVE AUTONOMOUS VEHICLE PLANNER LOGIC”的美国专利申请No.14/756,992，2015年11月4日提交的题为“SENSOR-BASED OBJECT-DETECTIONOPTIMIZATION FOR AUTONOMOUS VEHICLES”的美国专利申请No.14/756,991，以及2015年11月4日提交的题为“CALIBRATION FOR AUTONOMOUS VEHICLE OPERATION”的美国专利申请No.14/756,996，在这里出于所有目的通过引用将所有这些文献全文并入本文。
技术领域
各实施例总体上涉及自主车辆以及关联的机械、电气和电子硬件、计算机软件和系统，以及有线和无线网络通信，以作为服务提供给自主车队。更具体而言，系统、装置和方法被配置成在本地(例如，在自主车辆原地)或远程地或两处向诸如三维(“3D”)地图的地图提供更新，用于为这种车辆的一个或多个导航，使其适应车辆穿越的环境中的改变。
背景技术
开发无人驾驶车辆的多种方法都主要集中于使常规车辆(例如，人工驾驶的汽车)自动化，目的是生产无人驾驶车辆供消费者购买。例如，若干汽车公司和子公司在改变常规汽车和控制机构，例如转向，以为消费者提供拥有可以无人驾驶的车辆的能力。在一些方法中，常规无人驾驶车辆在某些状况下执行安全关键性驾驶功能，但如果车辆控制器未能解决可能危及乘坐者安全的特定问题，则要求驾驶员采取控制(例如，转向等)。
尽管如此，功能性的常规无人驾驶车辆通常有若干缺点。例如，正在开发的大量无人驾驶汽车是从需要人工(即，人控制)转向和其他类似自主功能的车辆演进的。因此，大部分无人驾驶汽车基于这样的范式：车辆要被设计成适应得到许可的驾驶员，为此在车辆之内保留了特定座椅或位置。这样一来，无人驾驶车辆被设计地并非最优，通常放弃了简化车辆设计和节省资源(例如，降低生产无人驾驶车辆的成本)的机会。常规无人驾驶车辆中还存在其他缺点。
常规交通服务中还存在其他缺点，由于提供常规运输和共乘服务的常见方式的原因，它们并非很适合例如有效管理车辆库存。在一种常规方法中，要求乘客经由中心式服务访问移动应用以请求运输服务，该中心式服务向乘客分配人类驾驶员和车辆(例如，在私人所有关系下)。使用所有人不同的车辆，私人车辆和安全系统的维护通常会不受约束。在另一种常规方法中，一些实体通过允许作为成员登记的驾驶员访问成员间共享的车辆而实现对一组车辆的共乘。这种方法不太适合提供方便的运输服务，因为驾驶员需要在特定地点取走和放回共享车辆，这些地点通常在城市环境中很少很稀疏，并需要进出停放共乘车辆的较为昂贵的不动产(即，停车场)。在上述常规方法中，从库存角度讲，用于提供运输服务的传统车辆通常利用率不够，因为一旦驾驶员离开，车辆就不动了。此外，共乘方式(以及个体拥有的车辆运输服务)通常不太适合重新调整库存以匹配运输服务的需求，以适应使用和典型的行驶模式。也要注意，具有有限自主驾驶自动化能力的一些常规描述的车辆也不太适合重新调整库存，因为通常可能需要人类驾驶员。根据美国运输部的高速公路安全管理局(“NHTSA”)，具有有限自主驾驶自动化能力的车辆示例是被指定为3级(“L3”)车辆的车辆。
作为另一个缺点，无人驾驶车辆的典型方式通常不太适合相对于行驶中车辆和车辆驾驶员或个人之间的交互(例如，社会交互)检测车辆并进行导航。例如，一些常规方法不能充分识别行人、骑行者等，以及关联的交互，例如出于解决无人驾驶车辆乘坐者安全风险的目的的眼神接触、手势等，以及其他车辆的驾驶员、行人等。
因此，需要一种方便实现自主车辆而没有常规技术局限性的方案。
附图说明
在以下具体实施方式和附图中公开了本发明的各种实施例或示例(“示例”)。
图1是绘示了根据一些实施例通信联网到自主车辆服务平台的一队自主车辆的实施方式的图示；
图2是根据一些实施例监测一队自主车辆的流程图的示例；
图3A是绘示了根据一些示例的传感器和其他自主车辆部件的示例的图示；
图3B到3E是绘示了根据一些示例的感测区域冗余和自主车辆适应感测区域损失的示例的图示；
图4是绘示了根据一些示例的系统的功能框图，该系统包括经由通信层通信耦合到自主车辆控制器的自主车辆服务平台；
图5是根据一些实施例控制自主车辆的流程图的示例；
图6是绘示了根据一些实施例用于自主车辆控制器的架构示例的图示；
图7是绘示了根据一些实施例的自主车辆服务平台示例的图示，该自主车辆服务平台实施冗余通信信道以与一队自主车辆保持可靠通信；
图8是绘示了根据一些实施例被配置成在各种应用之间交换数据的消息应用示例的图示；
图9是绘示了根据一些示例使用图8所述的通信协议方便远程操作的数据类型的图示；
图10是示出根据一些实施例的远程操作员界面的示例的图示，远程操作员可以利用该界面影响路径规划；
图11是绘示了根据一些示例被配置成调用远程操作的规划器(planner)示例的图示；
图12是根据一些实施例被配置成控制自主车辆的流程图的示例；
图13示出了根据一些示例规划器可以产生轨迹的示例；
图14是绘示了根据一些实施例的自主车辆服务平台另一示例的图示；
图15是根据一些实施例控制自主车辆的流程图的示例；
图16是根据一些示例实现车队优化管理器的自主车队管理器的示例的图示；
图17是根据一些实施例用于管理一队自主车辆的流程图的示例；
图18是示出了根据一些实施例实施自主车辆通信链路管理器的自主车队管理器的图示；
图19是根据一些实施例用于确定事件期间自主车辆动作的流程图的示例；
图20是示出根据一些实施例的定位器示例的图示；
图21是根据一些实施例基于集成传感器数据产生本地姿态数据的流程图的示例；
图22是示出根据一些实施例的定位器另一示例的图示；
图23是示出根据一些实施例的感知引擎示例的图示；
图24是根据一些实施例产生感知引擎数据的流程图的示例；
图25是示出根据一些实施例的分割处理器的示例；
图26A是示出根据各实施例的对象跟踪器和分类器示例的图示；
图26B是示出根据一些示例的对象跟踪器另一示例的图示；
图27是根据一些示例用于感知引擎的前端处理器的示例；
图28是绘示了根据各实施例被配置成在合成环境中模拟自主车辆的模拟器的图示；
图29是根据一些实施例模拟自主车辆各方面的流程图的示例；
图30是根据一些实施例产生地图数据的流程图的示例；
图31是示出根据一些实施例的制图引擎架构的图示；
图32是绘示了根据一些示例的自主车辆应用的图示；
图33到35示出了根据各实施例被配置成向自主车辆服务的部件提供各种功能性的各种计算平台的示例；
图36是绘示了根据一些示例被配置成响应于物理环境中的改变自适应产生用于自主车辆的制图数据的制图引擎的图示；
图37是绘示了根据一些示例实施更新地图数据的自主车辆控制器的示例的图示；
图38是根据一些示例产生地图数据的示例的流程图；
图39是绘示了根据一些示例被配置成实现地图数据和本地产生的地图数据的定位器示例的图示；
图40是绘示了根据一些示例被配置成改变传输速率或本地产生的传感器和/或地图数据量的定位器示例的图示；
图41是绘示了根据一些示例使用各种量的本地产生的地图数据定位自主车辆的流程图；以及
图42到43示出了根据各实施例被配置成向自主车辆服务的部件提供各种制图相关功能性的各种计算平台的示例。
具体实施方式
可以通过众多方式实现各实施例或示例，包括系统、过程、设备、用户接口或计算机可读介质上的一系列程序指令，计算机可读介质例如是计算机可读存储介质或通过光学、电子或无线通信链路发送程序指令的计算机网络。通常，可以按照任意次序执行所公开过程的操作，除非在权利要求中做出其他陈述。
下文连同附图提供对一个或多个示例的详细描述。结合这样的示例提供详细描述，但不限于任何特定示例。保护范围仅受权利要求及其众多替代、修改和等价要件的限制。在以下描述中阐述了众多具体细节，以便提供透彻的理解。提供这些细节是为了举例，可以根据权利要求实践所述的技术而无需这些具体细节的一些或全部。为了清晰起见，未详细描述在涉及示例的技术领域中已知的技术材料，以免使描述不必要地模糊不清。
图1是绘示了根据一些实施例通信联网到自主车辆服务平台的一队自主车辆的实施方式的图示。图示100示出了作为服务工作的一队自主车辆109(例如，一个或多个自主车辆109a到109e)，每个自主车辆109都被配置成在路网110上自驾驶，并与自主车辆服务平台101建立通信链路192。在一队自主车辆109构成服务的示例中，用户102可以经由一个或多个网络106向自主车辆服务平台101发送对自主运输的请求103。作为响应，自主车辆服务平台101可以分派自主车辆109之一以自主地将用户102从地理位置119运输到地理位置111。自主车辆服务平台101可以将自主车辆从车站190分派到地理位置119，或者可以将已经在运输中(例如，没有乘坐者)的自主车辆109c转移到为用户102的运输请求服务。自主车辆服务平台101可以进一步被配置成响应于来自用户102(例如，作为乘客)的请求转移运输中有乘客的自主车辆109c。此外，自主车辆服务平台101可以被配置成保留运输中带乘客的自主车辆109c，以在现有乘客下车之后转移到为用户102的请求服务。需注意，可以实现多个自主车辆服务平台101(未示出)和一个或多个车站190以结合路网110为一个或多个自主车辆190服务。一个或多个车站190可以被配置成存储、服务、管理和/或维护自主车辆109的库存(例如，车站190可以包括实现自主车辆服务平台101的一个或多个计算设备)。
根据一些示例，至少一些自主车辆109a到109e被配置为双向自主车辆，例如双向自主车辆("AV")130。双向自主车辆130可以被配置成在基本沿着但不限于纵轴131的任意方向行驶。因此，双向自主车辆130可以被配置成实施车辆外部的主动照明以提示相邻附近区域中的其他人(例如，其他驾驶员、行人、骑行者等)，以及双向自主车辆130正在行驶的方向。例如，在沿第一方向行驶时可以将主动光源136实现为主动灯138a，或者可以在沿第二方向行驶时实现为主动灯138b。可以使用一种或多种颜色的第一子集实现主动灯138a并具有任选的动画(例如，光强可变的光图案或可以随时间改变的颜色)。类似地，可以使用一种或多种颜色的第二子集以及可能与主动灯138a的那些不同的光图案实现主动灯138b。例如，可以利用白色灯将主动灯138a实现为“头灯”，而可以使用红色灯将主动灯138b实现为“尾灯”。主动灯138a和138b或其部分可以被配置成提供其他与灯相关的功能，例如提供“转向信号指示”功能(例如，使用黄光)。根据各示例，自主车辆130中的逻辑可以被配置成调整主动灯138a和138b以遵守针对任意数量管辖区的各种安全要求和交通规则或法规。
在一些实施例中，双向自主车辆130可以被配置成在四个部分中的每一个中，例如四个部分194中都具有类似的结构元件和部件。至少在本示例中，四个部分被示为由平面132和平面134的相交区域界定的双向自主车辆130的部分，两个平面都通过车辆以在平面132和134的每侧形成两个相似一半。此外，双向自主车辆130可以包括自主车辆控制器147，自主车辆控制器147包括被配置成控制绝大多数车辆功能的逻辑(例如，硬件或软件，或其组合)，所述功能包括驾驶控制(例如，推进、转向等)和主动光源136等功能。双向自主车辆130还包括设置于车辆各处的若干传感器139(其他传感器未示出)。
自主车辆控制器147可以进一步被配置成确定自主车辆109的本地姿态(例如，本地位置)并检测相对于车辆的外部对象。例如，考虑到双向自主车辆130正在路网110中沿方向119行驶。自主车辆控制器147的定位器(未示出)可以确定在地理位置111处的本地姿态。这样一来，定位器可以使用采集的传感器数据，例如与建筑物115和117的表面相关联的传感器数据，传感器数据可以参照参考数据，例如地图数据(例如，3D地图数据，包括反射率数据)进行对比以确定本地姿态。此外，自主车辆控制器147的感知引擎(未示出)可以被配置成检测、分类并预测外部对象，例如外部对象112(“树”)和外部对象114(“行人”)的行为。对这样的外部对象进行分类可以将对象宽泛地分为诸如外部对象112的静态对象和诸如外部对象114的动态对象。定位器和感知引擎以及AV控制器147的其他部件合作，以使得自主车辆109自主驾驶。
根据一些示例，自主车辆服务平台101被配置成如果自主车辆109请求远程操作则提供远程操作员服务。例如，考虑到自主车辆109d中的自主车辆控制器147检测到在点191处道路122上有挡住道路124的对象126，如插图120中所示。如果自主车辆控制器147不能以较高确定度确定车辆109d可以安全通过的路径或轨迹，那么自主车辆控制器147可以发送请求消息105以获得远程操作服务。作为响应，远程操作员计算装置104可以从远程操作员108接收指令以执行一系列动作以成功(并安全)地通过障碍物126。响应数据107然后可以被发送回自主车辆109d，以令车辆例如在其沿替代路径121通过时安全跨越一组双线。在一些示例中，远程操作员计算装置104可以产生响应，标识在规划路径时要排除的地理区域。具体而言，并非是提供要遵循的路径，远程操作员108可以定义自主车辆必须要避开的区域或位置。
考虑前述内容，自主车辆130和/或自主车辆控制器147及其部件的结构和/或功能，可以通过自主相关的操作，例如局域化和感知，进行实时(或接近实时)的轨迹计算，以使得自主车辆109能够自驾驶。
在一些情况下，双向自主车辆130的双向性质提供了一种车辆，其具有彼此类似或基本类似的四个部分194(或任何其他数量的对称部分)。这样的对称性降低了设计复杂性并相对减少了唯一性部件或结构的数量，由此降低了库存和制造复杂性。例如，传动系统和车轮系统可以设置于四个部分的任何部分中。此外，自主车辆控制器147被配置成调用远程操作服务，以减小在解决本来可能影响乘车者安全的事件或问题时自主车辆109交通延迟的可能性。在一些情况下，路网110的可见部分绘示了地理围栏区域，其可以将自主车辆109的移动限制或通过其他方式控制到图1所示的路网。根据各示例，自主车辆109及其车队可以被配置成作为4级(“完全自驾驶自动化”或L4)车辆工作，4级车辆能够按需提供运输，具有点到点个人移动性的便利和隐私，同时提供共享车辆的效率。在一些示例中，自主车辆109或本文所述的任何自主车辆可以被配置成省去方向盘或为自主车辆109提供人工(即，人控制的)转向的任何其他机械装置。此外，自主车辆109或本文所述的任何自主车辆可以被配置成省去车内为操控方向盘或任何机械转向系统的乘车者预留的座椅或位置。
图2是根据一些实施例监测一队自主车辆的流程图的示例。在202，在监测到一队自主车辆时开始流程200。至少一个自主车辆包括自主车辆控制器，其被配置为令车辆自主地从第一地理区域移动到第二地理区域。在204，检测代表与为车辆计算的置信度水平相关联的事件的数据。事件可能是影响自主车辆操作或潜在影响其操作的条件或状况。事件可以在自主车辆内部或外部。例如，挡在道路上的障碍物以及通信的减少或丢失可以被视为事件。事件可以包括交通状况或拥堵，以及被感知引擎感知到的意外或异常数量或类型的外部对象(或轨道)。事件可以包括天气相关的条件(例如，由于冰或雨而失去摩擦力)或太阳照射的角度(例如，日落时)，例如与地平面角度低，导致太阳在其他车辆的人类驾驶员眼睛中明亮地闪光。这些和其他条件可以被视为导致调用远程操作员服务或车辆执行安全停车轨迹的事件。
在206，可以响应于检测到事件而从自主车辆接收代表候选轨迹的子集的数据。例如，自主车辆控制器的规划器可以计算并评估每单位时间，例如一秒钟大量的轨迹(例如，几千或更大)。在一些实施例中，候选轨迹是在考虑事件的情况下自主车辆能够安全向前移动的，提供较高置信度水平的轨迹的子集(例如，使用远程操作员提供的替代路径)。注意，一些候选轨迹可以被排序或与其他候选轨迹相比具有更高的置信度。根据一些示例，候选轨迹的子集可以源自任意数量的源，例如规划器、远程操作员计算装置(例如，远程操作员可以确定并提供近似路径)等，并可以被组合为候选轨迹的超集。在208，可以在一个或多个处理器处识别路径引导数据。路径引导数据可以被配置成辅助远程操作员从一个或多个候选轨迹选择引导轨迹。在一些情况下，路径引导数据指定表示置信度水平或概率的值，置信度水平或概率指示特定候选轨迹可以减小或抵消事件可能影响自主车辆操作的概率的确定程度。可以在210，响应于来自远程操作员的输入(例如，远程操作员可以从一组排序不同的候选轨迹选择至少一个候选轨迹作为引导轨迹)接收引导轨迹作为选定候选轨迹。可以经由操作员界面做出该选择，该操作员界面列出若干候选轨迹，例如，按照从最高置信度水平到最低置信度水平的次序列出。在212，作为引导轨迹的候选轨迹的选择可以被发送到车辆，车辆继而实施引导轨迹，以通过令车辆执行远程操作员指定的策略来解决该状况。这样一来，自主车辆就可以从不规范操作状态过渡出来。
图3A是绘示了根据一些示例的传感器和其他自主车辆部件的示例的图示。图示300示出了双向自主车辆330的内部视图，其包括传感器、信号路由器345、传动系349、可移除电池343、音频发生器344(例如，扬声器或换能器)和自主车辆(“AV”)控制逻辑347。图示300中示出的传感器包括图像拍摄传感器340(例如，任何类型的光拍摄装置或相机)、音频捕获传感器342(例如，任何类型的麦克风)、雷达装置348、声呐装置341(或其他类似传感器，包括超声波传感器或声学相关传感器)以及LIDAR装置346、以及其他传感器类型和模态(其中一些未示出，例如惯性测量单元、或“IMU”、全球定位系统(“GPS”)传感器、声呐传感器等)。注意，四个部分350代表双向自主车辆330的四个“四个部分”的每个的对称性(例如，在图示之外，四个部分350中的每一个可以包括车轮、传动系349、类似的转向机构、类似的结构支撑和构件等)。如图3A所示，类似的传感器可以放在四个部分350的每一个中的类似位置处，不过，可以实施任何其他配置。每个车轮都可以单独转向并独立于其他车轮。还要指出，可移除电池343可以被配置成方便换入和换出，而不是原地充电，由此确保由于必须为电池343充电导致的停机时间减小或可忽略。尽管自主车辆控制器347a被绘示了为用于双向自主车辆330中，但自主车辆控制器347a不受此限制，可以实现于单向自主车辆或任何其他类型的交通工具中，无论是陆地、空中或海上。需注意，图3A中所示传感器的绘示了和描述的位置、地点、取向、数量和类型并非意在加以限制，这样一来，可以有任意数量和类型的传感器，任何传感器都可以位于自主车辆330上的任意地方并任意取向。
根据一些实施例，可以利用实现用于对GPU集群编程的框架和编程模型的图形处理单元(“GPU”)的集群实现自主车辆(“AV”)控制逻辑347的部分。例如，可以使用兼容计算统一装置架构(“CUDATM”)的编程语言和应用编程接口(“API”)模型对GPU编程。CUDATM由加利福尼亚Santa Clara的NVIDIA生产和维护。注意，可以实施其他编程语言，例如OpenCL或任何其他并行编程语言。
根据一些实施例，自主车辆控制逻辑347可以在硬件和/或软件中实现为自主车辆控制器347a，其被示为包括运动控制器362、规划器364、感知引擎366和定位器368。如图所示，自主车辆控制器347a被配置成接收相机数据340a、LIDAR数据346a和雷达数据348a或任何其他测距或局域化数据，包括声呐数据341a等。自主车辆控制器347a还被配置成接收定位数据，例如GPS数据352、IMU数据354和其他位置感测数据(例如，车轮相关的数据，例如转向角、角速度等)。此外，自主车辆控制器347a可以接收任何其他传感器数据356以及参考数据339。在一些情况下，参考数据339包括地图数据(例如，3D地图数据、2D地图数据、4D地图数据(例如，包括Epoch Determination))和路线数据(例如，路网数据，包括，但不限于RNDF数据(或类似数据)、MDF数据(或类似数据))等。
定位器368被配置成从一个或多个源接收传感器数据，例如GPS数据352、车轮数据、IMU数据354、LIDAR数据346a、相机数据340a、雷达数据348a等，以及参考数据339(例如，3D地图数据和路线数据)。定位器368通过将传感器数据与地图数据进行比较来集成(例如，融合传感器数据)和分析，以确定双向自主车辆330的本地姿态(或位置)。根据一些示例，定位器368可以实时或接近实时地产生或更新任何自主车辆的姿态或位置。需注意，定位器368及其功能不需要被限于“双向”车辆，可以在任何类型的任何车辆中实现。因此，定位器368(以及AV控制器347a的其他部件)可以实现于“单向”车辆或任何非自主车辆中。根据一些实施例，描述本地姿态的数据可以包括x坐标、y坐标、z坐标(或任何坐标系的任何坐标，包括极坐标系或柱形坐标系等)、偏转值、翻滚值、俯仰值(例如，角度值)、速率(例如速率)、海拔高度等的一种或多种。
感知引擎366被配置成从一个或多个源接收传感器数据，例如LIDAR数据346a、相机数据340a、雷达数据348a等，以及本地姿态数据。感知引擎366可以被配置为基于传感器数据和其他数据确定外部对象的位置。例如，外部对象可以是并非为可驾驶表面的部分的对象。例如，感知引擎366可以能够检测到外部对象并将其分类为行人、骑行者、狗、其他车辆等(例如，感知引擎366被配置成根据分类类型对对象进行分类，其可以与包括标记的语义信息相关联)。基于这些外部对象的分类，可以将外部对象标记为动态对象或静态对象。例如，被分类为树的外部对象可以被标记为静态对象，而被分类为行人的外部对象可以被标记为动态对象。可以在地图数据中描述或不描述被标记为静态的外部对象。可能被标记为静态的外部对象的示例包括交通锥、道路上布置的水泥路障、道路封闭指示牌、与道路相邻的新放置的邮箱或垃圾箱等。可能被标记为动态的外部对象的示例包括自行车、行人、动物、其他车辆等。如果外部对象被标记为动态，关于外部对象的其他数据可以指示典型水平的活动和速度，以及与分类类型相关联的行为模式。可以通过跟踪外部对象来产生关于外部对象的其他数据。这样一来，可以使用分类类型来预测或通过其他方式确定外部对象例如可能干扰沿规划路径行驶的自主车辆的可能性。例如，被分类为行人的外部对象可以与某一最大速度以及平均速度(例如，基于跟踪数据)相关联。行人相对于自主车辆速度的速度可以用于判断是否可能有碰撞。此外，感知引擎364可以确定与当前和将来的对象状态相关联的不确定水平。在一些示例中，不确定水平可以被表达为估计值(或概率)。
规划器364被配置成从感知引擎366接收感知数据，还可以包括来自定位器368的定位器数据。根据一些示例，感知数据可以包括指定位于自主车辆附近的静态和动态对象的障碍物地图，而定位器数据可以包括本地姿态或位置。在工作时，规划器364产生众多轨迹，并至少基于自主车辆的位置，参照外部动态和静态对象的相对位置，来评估轨迹。规划器364基于各种标准选择最优轨迹，通过该标准，以提供无碰撞行驶的方式指引自主车辆。在一些示例中，规划器364可以被配置成将轨迹计算为概率确定的轨迹。此外，规划器364可以向运动控制器362发送转向和驱动命令(以及减速或制动命令)。运动控制器362接下来可以将命令中的任何命令，例如转向命令、油门或推进命令和制动命令，转换成控制信号(例如，应用于致动器或其他机械接口)，以实施转向或车轮角351和/或速度353的改变。
图3B到3E是绘示了根据一些示例的感测区域冗余和自主车辆适应感测区域损失的示例的图示。图3B的图示391示出了传感器310a检测对象的感测区域301a(例如，用于确定范围或距离或其他信息)。尽管传感器310a可以实现任何类型的传感器或传感器模态，但传感器310a和类似描述的传感器，例如传感器310b、310c和310d可以包括LIDAR装置。因此，感测区域301a、301b、301c和301d均包括激光延伸到其中的场。图3C的图示392绘示了四种交叠的感测区域，其每个都由对应的LIDAR传感器310(未示出)产生。如图所示，感测区域的部分301不包括交叠的感测区域(例如，单个LIDAR场)，感测区域的部分302包括两个交叠的感测区域，部分303包括三个交叠的感测区域，由此，这样的传感器为LIDAR传感器失效时提供了多个水平的冗余性。
图3D示出了根据一些示例，由于LIDAR309工作故障，损失了感测区域。图3C的感测区域302被变换成单个感测区域305，图3C的感测区域301之一消失于间隙304中，图3C的感测区域303的三个被转换成感测区域306(即，限于两个交叠的场)。如果自主汽车330c正在沿行驶方向396行驶，移动中的自主车辆前方的感测区域可能没有后端部分处的感测区域那么鲁棒。根据一些示例，自主车辆控制器(未示出)被配置成利用自主车辆330c的双向性质解决车辆前方引导区域处感测区域的损失问题。图3E绘示了用于恢复自主车辆330d前方感测区域的特定鲁棒性的双向操控。如图所示，更鲁棒的感测区域302设置于与尾灯348共存的车辆330d后部。在方便的时候，自主车辆330d通过拉入行车道397而进行双向操控，并切换其方向，使得尾灯348主动切换到自主车辆330d的另一侧(例如，后沿)。如图所示，自主车辆330d在其沿行驶方向398行驶时恢复车辆前方的鲁棒感测区域302。此外，上述双向操控避免了对需要返回繁忙道路的更复杂操控的需要。
图4是绘示了根据一些示例的系统的功能框图，该系统包括经由通信层通信耦合到自主车辆控制器的自主车辆服务平台。图示400绘示了设置于自主车辆430中的自主车辆控制器(“AV”)447，其又包括若干耦合到自主车辆控制器447的传感器470。传感器470包括一个或多个LIDAR装置472、一个或多个相机474、一个或多个雷达476、一个或多个全球定位系统(“GPS”)数据接收机传感器、一个或多个惯性测量单元(“IMUs”)475、一个或多个测程传感器477(例如，车轮编码器传感器、车轮速度传感器等)，以及任何其他适当的传感器478，例如红外相机或传感器、有超光谱能力的传感器、超声波传感器(或任何其他基于声能的传感器)、基于射频的传感器等。在一些情况下，可以包括被配置成感测车轮转向角的车轮角度传感器，作为测程传感器477或适当的传感器478。在非限制性示例中，自主车辆控制器447可以包括四个或更多个LIDAR 472、十六个或更多相机474和四个或更多雷达单元476。此外，传感器470可以被配置成向自主车辆控制器447的部件并向自主车辆服务平台401的元件提供传感器数据。如图示400中所示，自主车辆控制器447包括规划器464、运动控制器462、定位器468、感知引擎466和本地地图发生器440。需注意，图4的图示400中绘示了的元件可以包括与结合一幅或多幅其他附图描述的元件类似命名的结构和/或功能。
定位器468被配置成相对于参考数据定位自主车辆(即，确定本地姿态)，参考数据可以包括地图数据、路线数据(例如，路网数据，例如RNDF样数据)等。在一些情况下，定位器468被配置成识别例如可以代表自主车辆430相对于环境表达特征的位置的空间点。定位器468被示为包括传感器数据集成器469，其可以被配置成集成(例如，不同传感器模态的)传感器数据的多个子集，以减小与每个个体类型传感器相关的不确定性。根据一些示例，传感器数据集成器469被配置成融合传感器数据(例如，LIDAR数据、相机数据、雷达数据等)以形成用于确定本地姿态的集成传感器数据值。根据一些示例，定位器468检索源自参考数据储存库405的参考数据，其包括用于存储2D地图数据、3D地图数据、4D地图数据等的地图数据储存库405a。定位器468可以被配置成在环境中识别特征的至少子集，以参照地图数据进行匹配，从而识别或通过其他方式确认自主车辆430的姿态。根据一些示例，定位器468可以被配置成识别环境中任意量的特征，这样一组特征可以是一个或多个特征或全部特征。在具体示例中，可以参照代表地图的数据比较任意量的LIDAR数据(例如，大部分或基本全部LIDAR数据)，以实现局域化的目的。通常，通过比较环境特征和地图数据获得的不匹配对象可以是动态对象，例如车辆、骑行者、行人等。注意，可以利用或不利用地图数据来检测动态对象，包括障碍物。具体而言，可以独立于地图数据(即，在没有地图数据的情况下)检测并跟踪动态对象。在一些情况下，可以将2D地图数据和3D地图数据视为“全球地图数据”或已经在一时间点被自主车辆服务平台401验证的地图数据。由于地图数据储存库405a中的地图数据可以被周期性更新和/或验证，所以在地图数据和自主车辆所处的实际环境之间可能存在偏差。因此，定位器468可以检索由本地地图发生器440产生的本地导出的地图数据以增强局域化。本地地图发生器440被配置成实时或接近实时地产生本地地图数据。任选地，本地地图发生器440可以接收静态和动态对象地图数据以例如通过传输无视局域化中的动态对象来增强本地产生的地图的准确性。根据至少一些实施例，本地地图发生器440可以与定位器468集成或形成其部分。在至少一种情况下，本地地图发生器440或者独自或者与定位器468协作，可以被配置成基于同时局域化和制图(“SLAM”)等产生地图和/或参考数据。需注意，定位器468可以对使用地图数据实施“混合”方法，由此，定位器468中的逻辑可以被配置成根据每个地图数据源的可靠程度，从地图数据储存库405a选择各种量的地图数据或从本地地图发生器440选择本地地图数据。因此，考虑到本地产生的地图数据，定位器468仍然可以使用过期的地图数据。
感知引擎466被配置成例如通过识别自主车辆430行驶的周围环境中的感兴趣对象来辅助规划器464规划路线和产生轨迹。此外，概率可以与每个感兴趣对象相关联，由此概率可以代表感兴趣对象可能对安全行驶造成威胁的可能性(例如，快速移动的摩托车可能需要增强跟踪而不是坐在公共汽车站长椅上看报的人)。如图所示，感知引擎466包括对象检测器442和对象分类器444。对象检测器442被配置成相对于环境中的其他特征区分出对象，对象分类器444可被配置成将对象分类成动态或静态对象，并相对于自主车辆430跟踪动态和静态对象的位置以进行规划。此外，感知引擎466可以被配置成向静态或动态对象分配标识符，其指定对象是否是(或有可能成为)可能影响规划器464处路径规划的障碍物。尽管图4中未示出，但要注意，感知引擎466也可以执行其他与感知相关的功能，例如分割和跟踪，下文描述其示例。
规划器464被配置成产生若干候选轨迹，用于实现经由若干可用的路径或路线到达目的地的目标。轨迹评估器465被配置成评估候选轨迹并识别哪些候选轨迹子集与提供通往目的地的无碰撞路径的更高置信度水平相关联。这样一来，轨迹评估器465可以基于相关标准选择最优轨迹，以使得命令为车辆部件450(例如致动器或其他机构)产生控制信号。需注意，相关标准可以包括任意数量的定义最优轨迹的因素，其选择不需要限于减少碰撞。例如，可以做出轨迹的选择以优化用户体验(例如，用户舒适性)以及遵循交通法规的无碰撞轨迹。可以通过在各种线性和角方向上缓和加速度(例如，以减少抽搐式行驶或其他不令人愉悦的运动)来优化用户体验。在一些情况下，相关标准的至少一部分可以指定要推翻或取代其他标准的哪些，同时保持优化的无碰撞行驶。例如，在受限状况(例如，跨过双黄线以在骑行者周围行驶或以比发布的速度极限更高的速度行驶以与车流匹配)中产生轨迹时可以暂时忽略或不强调法律约束。这样一来，控制信号被配置成导致传动系和/或车轮的推进和方向改变。在本示例中，运动控制器462被配置成将命令转换成用于控制自主车辆430的移动的控制信号(例如，速度、车轮角度等)。在轨迹评估器465没有充分多信息确保置信度水平高到足以提供无碰撞优化行驶的情况下，规划器464可以产生请求，向远程操作员404请求远程操作员支持。
自主车辆服务平台401包括远程操作员404(例如，远程操作员计算装置)、参考数据储存库405、地图更新器406、车辆数据控制器408、校准器409和离线对象分类器410。需注意，自主车辆服务平台401的每个元件都可以独立地定位或分布，并与自主车辆服务平台401中的其他元件通信。此外，自主车辆服务平台401的元件可以独立地经由通信层402与自主车辆430通信。地图更新器406被配置成(例如，从本地地图发生器440、传感器460或自主车辆控制器(447)的任何其他部件)接收地图数据，并且还被配置成检测例如地图数据储存库405a中的地图数据与本地产生的地图之间的偏差。车辆数据控制器408可以使得地图更新器406更新储存库405之内的参考数据，并促成对2D、3D和/或4D地图数据的更新。在一些情况下，车辆数据控制器408可以控制在自主车辆服务平台408中接收本地地图数据的速率，以及地图更新器406对地图数据进行更新的频率。
校准器409被配置成对相同或不同类型的各种传感器进行校准。校准器409可以被配置成确定传感器的相对姿态(例如，在笛卡尔空间(x,y,z)中)和传感器的取向(例如，翻滚、俯仰和偏转)。可以相对于其他传感器，以及全局性地相对于车辆的参照系，校准传感器，例如相机、LIDAR传感器、雷达传感器等的姿态和取向。离线自校准也可以校准或估计其他参数，例如车辆惯性传感器、前后轮距、车轮半径或表面道路摩擦力。根据一些示例，也可以在线进行校准以检测参数变化。同样注意，校准器409进行的校准可以包括传感器的固有参数(例如，光学失真、光束角度等)和非固有参数。在一些情况下，例如，可以通过使3D激光数据中的深度不连续性和图像数据边缘之间的相关最大化来执行校准器409。离线对象分类410被配置成从传感器470或自主车辆控制器447的任何其他部件接收数据，例如传感器数据。根据一些实施例，离线对象分类410的离线分类流水线可以被配置成预先收集并注释对象(例如，由人手工进行和/或使用离线标注算法自动进行)，并可以进一步被配置成培训离线分类器(例如，对象分类器444)，它可以在在线自主操作期间提供对象类型的实时分类。
图5是根据一些实施例控制自主车辆的流程图的示例。在502，在例如自主车辆控制器接收源自自主车辆处的多种模态传感器的传感器数据时，流程500开始。可以集成传感器数据的一个或多个子集以产生融合数据，以改善例如估计。在一些示例中，可以在504融合一个或多个传感器(例如，相同或不同模态)的传感器流以形成融合的传感器数据。在一些示例中，可以在504处融合LIDAR传感器数据和相机传感器数据的子集以方便局域化。在506，可以在处理器处导出基于传感器数据的至少两个子集的代表对象的数据。例如，可以至少从LIDAR和相机数据(例如，在感知引擎处)导出标识静态对象或动态对象的数据。在508，判定检测到的对象是否影响规划的路径，并在510处响应于检测到的对象(例如，在规划器处)评估轨迹的子集。在512处判定置信度水平是否超过与自主车辆规范操作相关联的可接受置信度水平。因此，在这种情况下，置信度水平可以使得选择优化路径的确定度可能较低，由此可以将优化路径确定为促成无碰撞行驶、遵守交通法律、提供舒适的用户体验(例如，舒适地乘车)和/或产生候选轨迹或任何其他因素的函数。这样一来，可以在514将对替代路径的请求发送到远程操作员计算装置。之后，远程操作员计算装置可以为规划器提供最优轨迹，自主车辆将在所述最优轨迹上行驶。在一些状况下，车辆也可以判定执行安全停车策略是最佳动作流程(例如，安全且自动地令自主车辆停在危险概率较低的位置)。需注意，本文中该流程图和其他流程图中绘示了的次序并非意在暗示要求线性地执行各种功能，因为流程图的每个部分都可以与流程图的任一个或多个其他部分串行或并行地，并且独立于或依赖于流程图的其他部分被执行。
图6是绘示了根据一些实施例，用于自主车辆控制器的架构示例的图示。图示600绘示了若干过程，包括运动控制器过程662、规划器过程664、感知过程666、制图过程640和局域化过程668，其中一些可以相对于其他过程产生或接收数据。其他过程，例如过程670和650可以方便与自主车辆的一个或多个机械部件交互。例如，感知过程666、制图过程640和局域化过程668被配置成从传感器670接收传感器数据，而规划器过程664和感知过程666被配置成接收引导数据606，其可以包括路线数据，例如路网数据。继续图示600，局域化过程668被配置成接收地图数据605a(即，2D地图数据)、地图数据605b(即，3D地图数据)和本地地图数据642以及其他类型的地图数据。例如，局域化过程668还可以接收其他形式的地图数据，例如4D地图数据，其可以包括例如时间确定。局域化过程668被配置成产生代表本地姿态的本地位置数据641。本地位置数据641被提供给运动控制器过程662、规划器过程664和感知过程666。感知过程666被配置成产生静态和动态对象地图数据667，它们又可以被发送到规划器过程664。在一些示例中，静态和动态对象地图数据667可以与其他数据一起发送，例如语意分类信息和预测的对象行为。规划器过程664被配置成产生轨迹数据665，其描述由规划器664产生的若干轨迹。运动控制器过程使用轨迹数据665以产生低级命令或控制信号，以应用于致动器650，导致转向角和/或速度的改变。
图7是绘示了根据一些实施例的自主车辆服务平台示例的图示，该自主车辆服务平台实施冗余通信信道以与一队自主车辆保持可靠通信。图示700绘示了自主车辆服务平台701，其包括参考数据发生器705、车辆数据控制器702、自主车队管理器703、远程操作员管理器707、模拟器740和策略管理器742。参考数据发生器705被配置成产生并修改地图数据和路线数据(例如，RNDF数据)。此外，参考数据发生器705可以被配置成访问2D地图数据储存库720中的2D地图，访问3D地图数据储存库722中的3D地图，并访问路线数据储存库724中的路线数据。在一些示例中可以实现其他地图表示数据和储存库，例如包括时间确定的4D地图数据。车辆数据控制器702可以被配置成执行各种操作。例如，车辆数据控制器702可以被配置成基于通过信道770的通信质量水平来改变一队自主车辆和平台701之间交换数据的速率。在带宽约束周期期间，例如，可以确定数据通信的优先级，使来自自主车辆730的远程操作请求的优先级高以确保递送。此外，根据特定信道可用的带宽，可以通过信道770针对每个车辆发送可变水平的数据摘要。例如，在存在鲁棒网络连接的情况下，可以发送完整的LIDAR数据(例如，基本全部LIDAR数据，但也可以更少)，而在存在降级或低速连接的情况下，可以发送更简单或更抽象的数据表示(例如，具有关联元数据的边界框等)。自主车队管理器703被配置成协调自主车辆730的分派，以优化多个变量，包括电池电力的高效率使用、行驶时间、在电池低电量状态期间是否可以使用自主车辆730中的空调单元等，其任何变量或所有变量都可以被监测，以优化与操作自主车辆服务相关联的成本函数。可以实施一种算法以分析用以使一队自主车辆的行驶成本或时间最小化的各种变量。此外，自主车队管理器703维护自主车辆的库存以及用于考虑使车队工作时间最大化而供应服务安排的部分。
远程操作员管理器707被配置成管理远程操作员708用以提供输入的若干远程操作员计算装置704。模拟器740被配置成模拟一个或多个自主车辆730的操作，以及远程操作员管理器707和自主车辆730之间的交互。模拟器740还可以模拟设置于自主车辆730中的若干传感器的操作(包括模拟噪声的引入)。此外，可以模拟诸如城市的环境，从而可以将模拟自主车辆引入合成环境中，由此模拟传感器可以接收模拟传感器数据，例如模拟激光回波。模拟器740还可以提供其他功能，包括验证软件更新和/或地图数据。策略管理器742被配置成维护代表策略或规则的数据，考虑到自主车辆在路网中行驶时遇到的状况或事件，自主车辆应当根据这样的策略或规则行动。在一些情况下，可以在模拟器740中模拟更新的策略和/或规则，以考虑到策略的改变而确认一队自主车辆的安全操作。下文进一步描述了自主车辆服务平台701的上述元件的一些。
通信信道770被配置成在一队自主车辆730和自主车辆服务平台701之间提供联网的通信链路。例如，通信信道770包括若干不同类型的网络771、772、773和774，具有对应的子网(例如，771a到771n)，以确保特定水平的冗余性，以用于可靠地操作自主车辆服务。例如，通信信道770中不同类型的网络可以包括不同的蜂窝网络提供商、不同类型的数据网络等，以确保在由于一个或多个网络771、772、773和774中断造成通信减弱或丢失的事件中有足够的带宽。
图8是绘示了根据一些实施例，被配置成在各种应用之间交换数据的消息应用示例的图示。图示800绘示了设置于远程操作员管理器中的远程操作员应用801、设置于自主车辆中的自主车辆应用830，由此远程操作员应用801和自主车辆应用830经由方便通过各种网络，例如网络871、872和其他网络873进行通信的协议交换消息数据。根据一些示例，通信协议是实现为Data Distribution ServiceTM的中间件协议，其具有由对象管理组织联盟维护的规范。根据通信协议，远程操作员应用801和自主车辆应用830可以包括设置于消息域中的消息路由器854，该消息路由器被配置成与远程操作员API852交接。在一些示例中，消息路由器854是路由服务。在一些示例中，远程操作员应用801中的消息域850a可以由远程操作员标识符标识，而消息域850b可以被标识为与车辆标识符相关联的域。远程操作员应用801中的远程操作员API 852被配置成与远程操作员过程803a到803c交接，由此远程操作员过程803b与自主车辆标识符804相关联，且远程操作员过程803c与事件标识符806(例如，指定可能对于无碰撞路径规划有问题的路口的标识符)相关联。自主车辆应用830中的远程操作员API 852被配置成与自主车辆操作系统840交接，自主车辆操作系统840包括感测应用842、感知应用844、局域化应用846和控制应用848。考虑到以上内容，上述通信协议可以方便数据交换，以方便本文所述的远程操作。此外，上述通信协议还可以适于在一个或多个自主车辆以及一个或多个自主车辆服务平台之间提供安全的数据交换。例如，消息路由器854可以被配置成对消息加密和解密，以在例如远程操作员过程803和自主车辆操作系统840之间提供安全交互。
图9是绘示了根据一些示例，使用图8所述的通信协议方便远程操作的数据类型的图示。图示900绘示了与耦合到远程操作员应用901的远程操作员计算装置904交互的远程操作员908，所述远程操作员应用901被配置成经由一个或多个网络971中实现的以数据为中心的消息总线972交换数据。以数据为中心的消息总线972在远程操作员应用901和自主车辆应用930之间提供通信链路。远程操作员应用901中的远程操作员API 962被配置成接收消息服务配置数据964和路线数据960，例如路网数据(例如，RDNF样的数据)、任务数据(例如，MDF数据)等。类似地，消息服务桥932还被配置成接收消息服务配置数据934。消息服务配置数据934和964提供配置数据，以配置远程操作员应用901和自主车辆应用930之间的消息服务。消息服务配置数据934和964的示例包括被实现成配置Data DistributionServiceTM应用的服务质量("QoS")配置数据。
用于方便经由通信协议进行远程操作的数据交换的示例如下所述。考虑由自主车辆控制器的感知系统产生障碍物数据920。此外，由规划器产生规划器选项数据924以通知远程操作员候选轨迹的子集，并由定位器产生位置数据926。障碍物数据920、规划器选项数据924和位置数据926被发送到消息服务桥932，根据消息服务配置数据934，其产生遥测数据940和查询数据942，两者都经由以数据为中心的消息总线972被发送到远程操作员应用901中作为遥测数据950和查询数据952。远程操作员API 962接收遥测数据950和查询数据952，它们接着又根据路线数据960和消息服务配置数据964进行处理。接下来将所得的数据经由远程操作员计算装置904和/或协作显示器(例如，一组合作远程操作员908能够看到的仪表盘显示器)被呈现给远程操作员908。远程操作员908查看远程操作员计算装置904的显示器上呈现的候选轨迹选项，并选择引导的轨迹，其产生命令数据982和查询响应数据980，两者都通过远程操作员API 962作为查询响应数据954和命令数据956被传递。继而，查询响应数据954和命令数据956经由以数据为中心的消息总线972被发送到自主车辆应用930中作为查询响应数据944和命令数据946。消息服务桥932接收查询响应数据944和命令数据946，并产生远程操作员命令数据928，其被配置成产生远程操作员选择的轨迹，由规划器实现。需注意，上述消息过程并非意在限制，也可以实施其他消息协议。
图10是示出根据一些实施例的远程操作员界面的示例的图示，远程操作员可以利用该界面影响路径规划。图示1000绘示了与自主车辆服务平台1001通信的自主车辆1030的示例，其包括配置成方便远程操作的远程操作员管理器1007。在第一示例中，远程操作员管理器1007接收需要远程操作员1008先行查看接近潜在障碍物或低规划器置信度水平区域的自主车辆路径的数据，使得远程操作员1008能够提前解决问题。为了例示，考虑可以将自主车辆正在接近的路口标记为有问题。这样一来，用户界面1010显示沿路径1012行驶的对应自主车辆1030的表示1014，该路径已经由规划器产生的若干轨迹预测。还显示了可能在规划器处导致充分大混淆的其他车辆1011和动态对象1013，例如行人，由此需要远程操作支持。用户界面1010还向远程操作员1008呈现当前速度1022、速度限制1024和电池中当前的电量1026。根据一些示例，用户界面1010可以显示其他数据，例如从自主车辆1030采集的传感器数据。在第二示例中，考虑规划器1064已经产生了若干轨迹，不论是否检测到未标识的对象1046，它们都与规划器产生的路径1044共存。规划器1064还可以产生候选轨迹1040的子集，但在本示例中，规划器不能进行到给定的当前置信度水平。如果规划器1064未能确定替代路径，可以发送远程操作请求。在这种情况下，远程操作员可以选择候选轨迹1040之一，以方便与基于远程操作员的路径1042一致的自主车辆1030行驶。
图11是绘示了根据一些示例，被配置成调用远程操作的规划器示例的图示。图示1100绘示了规划器1164，其包括地形管理器1110、路线管理器1112、路径发生器1114、轨迹评估器1120和轨迹跟踪器1128。地形管理器1110被配置成接收地图数据，例如3D地图数据或其他指定地形特征的类似地图数据。地形管理器1110还被配置成基于通往目的地的路径上与地形相关的特征来识别候选路径。根据各示例，地形管理器1110接收由与车队中一个或多个自主车辆相关联的传感器产生的3D地图。路线管理器1112被配置成接收环境数据1103，其可以包括与可以被选择为通往目的地的路径的一条或多条路线相关联的交通相关信息。路径发生器1114从地形管理器1110和路线管理器1112接收数据，并产生适于向目的地引导自主车辆的一个或多个路径或路段。将代表一个或多个路径或路段的数据发送到轨迹评估器1120中。
轨迹评估器1120包括状态和事件管理器1122，其又可以包括置信度水平发生器1123。轨迹评估器1120还包括引导轨迹发生器1126和轨迹发生器1124。此外，规划器1164被配置成接收策略数据1130、感知引擎数据1132和定位器数据1134。
根据一些示例，策略数据1130可以包括规划器1164用于确定具有产生轨迹的充分高置信度水平的路径。策略数据1130的示例包括指定轨迹产生由距外部对象的间隔距离界定的策略(例如，可能的话，保持安全缓冲器距骑行者3英尺)，或要求轨迹必须不能跨越中央双黄线的策略，或要求将轨迹限于四车道道路中的单车道的策略(例如，基于过往事件，例如典型地在距公交车站最近的车道处聚集)，以及由策略指定的任何其他类似标准。感知引擎数据1132包括感兴趣的静态对象和动态对象的位置地图，定位器数据1134至少包括本地姿态或位置。
状态和事件管理器1122可以被配置成通过概率方式确定自主车辆的操作状态。例如，第一操作状态(即，“规范操作”)可以描述轨迹无碰撞的状况，而第二操作状态(即，“非规范操作”)可以描述与可能轨迹相关联的置信度水平不足以保证无碰撞行驶的另一状况。根据一些示例，状态和事件管理器1122被配置成使用感知数据1132以确定规范或不规范的自主车辆的状态。置信度水平发生器1123可以被配置成分析感知数据1132以确定自主车辆的状态。例如，置信度水平发生器1123可以使用与静态和动态对象相关联的语义信息以及关联的概率估计，以增强规划器1164确定安全动作流程的确定度。例如，规划器1164可以使用指定对象是人或不是人的概率的感知引擎数据1132以判断规划器1164是否安全工作(例如，规划器1164可以接收到对象有98％概率是人，对象不是人的概率为2％的确定程度)。
在(例如，基于统计和概率确定)确定置信度水平低于针对预测安全操作所需的阈值时，较低的置信度水平(例如，单个概率分数)可以触发规划器1164向自主车辆服务平台1101发送对远程操作支持的请求1135。在一些情况下，遥测数据和一组候选轨迹可以伴随请求。遥测数据的示例包括传感器数据、局域化数据、感知数据等。远程操作员1108可以经由远程操作员计算装置1104向引导轨迹发生器1126发送选择的轨迹1137。这样一来，选择的轨迹1137是利用来自远程操作员的引导形成的轨迹。在确认状态没有变化时(例如，非规范状态未决)，引导轨迹发生器1126向轨迹发生器1124传递数据，继而令轨迹跟踪器1128作为轨迹跟踪控制器，使用远程操作指定的轨迹产生控制信号1170(例如，转向角、速度等)。注意，规划器1164可以在状态过渡到非规范状态之前触发发送对远程操作支持的请求1135。具体地讲，自主车辆控制器和/或其部件能够预测，远方的障碍物可能成为问题并事先令规划器1164在自主车辆到达障碍物之前调用远程操作。否则，自主车辆可能通过在遇到障碍物或情形时过渡到安全状态(例如，开到路边停车)而导致延迟。在另一个示例中，可以在自主车辆接近已知难以导航的特定位置之前自动调用远程操作。这种确定可以任选地考虑其他因素，包括当天的时间、太阳位置，如果这样的状况可能给传感器读数的可靠性造成干扰的话，以及从各种源导出的交通或事故数据。
图12是根据一些实施例，被配置成控制自主车辆的流程图的示例。在1202，流程1200开始。代表对象子集的数据是在自主车辆中的规划器处接收的，该对象子集包括与代表针对分类类型的确定程度的数据相关联的至少一个对象。例如，感知引擎数据可以包括与对象相关联的元数据，由此元数据指定与特定分类类型相关联的确定程度。例如，可以以85％正确的置信度水平将动态对象分类为“年轻行人”。在1204，可以接收定位器数据(例如，在规划器处)。定位器数据可以包括在自主车辆之内本地产生的地图数据。本地地图数据可以指定一地理区域可能发生事件的确定程度(包括不确定程度)。事件可能是影响自主车辆操作或潜在影响其操作的条件或状况。事件可以是自主车辆内部(例如，失效或受损的传感器)或外部(例如，道路障碍)的。本文例如在图2以及其他附图和段落中描述了事件的示例。可以在1206确定与感兴趣地理区域共同扩张的路径。例如，考虑事件是在一天中的某时间定位天空中的太阳，其中日光强度在交通繁忙时段影响驾驶员的视觉。这样一来，预计或预测交通可能响应于明亮的日光而减慢。因此，如果不太可能有避免事件的替代路径，规划器可以预见性地调用远程操作。在1208，在规划器处基于本地姿态数据确定本地位置。在1210处，例如，可以基于分类类型的确定程度和事件的确定程度，(例如，通过概率方式)确定自主车辆的操作状态，所述确定程度可以基于任意数量的因素，例如速度、位置和其他状态信息。为了例示，考虑在其他驾驶员的视觉可能将受到太阳影响而给年轻行人造成不安全状况的事件期间，自主车辆检测到年轻行人的示例。因此，相对不安全的状况可能被检测为可能会发生的概率事件(即，可以调用远程操作的不安全状况)。在1212，确定操作状态为规范状态的可能性，基于该确定，向远程操作员计算装置发送消息，请求远程操作抢先过渡到下一操作状态(例如，抢先从规范操作状态过渡到非规范操作状态，例如不安全操作状态)。
图13绘示了根据一些示例规划器可以产生轨迹的示例。图示1300包括轨迹评估器1320和轨迹发生器1324。轨迹评估器1320包括置信度水平发生器1322和远程操作员查询消息器1329。如图所示，轨迹评估器1320耦合到感知引擎1366以接收静态地图数据1301以及当前和预测的对象状态数据1303。轨迹评估器1320还从定位器1368接收本地姿态数据1305，并从全局规划器1369接收规划数据1307。在一种操作状态中(例如，非规范)，置信度水平发生器1322接收静态地图数据1301和当前预测对象状态数据1303。基于这一数据，置信度水平发生器1322可以确定检测到的轨迹与不可接受的置信度水平值相关联。这样一来，置信度水平发生器1322经由远程操作员查询消息器1329发送检测到的轨迹数据1309(例如，包括候选轨迹的数据)，以通知远程操作员，这继而又发送对远程操作员辅助的请求1370。
在另一种操作状态(例如，规范状态)中，静态地图数据1301、当前和预测对象状态数据1303、本地姿态数据1305和规划数据1307(例如，全局规划数据)被接收到轨迹计算器1325中，所述轨迹计算器1325被配置成(例如，迭代地)计算轨迹以确定最优的一条或多条路径。接下来，选择至少一条路径并作为选定路径数据1311发送。根据一些实施例，作为示例，轨迹计算器1325被配置成实施轨迹的重新规划。标称驾驶轨迹发生器1327被配置成以细化方式产生轨迹，例如，通过基于后退地平线控制技术产生轨迹。标称驾驶轨迹发生器1327接下来可以例如向轨迹跟踪器或车辆控制器发送标称驾驶轨迹路径数据1372，以实现转向、加速和其他部件中的物理改变。
图14是绘示了根据一些实施例的自主车辆服务平台另一示例的图示。图示1400绘示了自主车辆服务平台1401，其包括被配置成管理远程操作员1408之间交互和/或通信的远程操作员管理器1407、远程操作员计算装置1404和自主车辆服务平台1401的其他部件。再次参考图示1400，自主车辆服务平台1401包括模拟器1440、储存库1441、策略管理器1442、参考数据更新器1438、2D地图数据储存库1420、3D地图数据储存库1422和路线数据储存库1424。可以在储存库(未示出)中实现并存储其他地图数据，例如4D地图数据(例如，使用时间确定)。
远程操作员动作建议控制器1412包括被配置成经由自主车辆(“AV”)规划器数据1472接收和/或控制远程操作服务请求的逻辑，所述规划器数据1472可以包括对远程操作员辅助的请求以及遥测数据和其他数据。这样一来，规划器数据1472可以包括建议的候选轨迹或路径，远程操作员1408可以经由远程操作员计算装置1404从其中进行选择。根据一些示例，远程操作员动作建议控制器1412可以被配置成访问建议候选轨迹的其他源，从候选轨迹选择优化轨迹。例如，自主车辆规划器数据1472中包含的候选轨迹可以被并行引入模拟器1440中，所述模拟器1440被配置成模拟请求远程操作员辅助的自主车辆正在经历的事件或状况。模拟器1440可以访问在该组候选轨迹上执行模拟必需的地图数据和其他数据，由此模拟器1440不需要穷举地迭代模拟以确认充分性。相反，模拟器1440可以提供确认候选轨迹的适当性，或者可以通过其他方式提示远程操作员谨慎进行其选择。
远程操作员交互捕获分析器1416可以被配置成捕获大量远程操作员事务或交互以在储存库1441中存储，例如，其可以积累与若干远程操作员事务相关的数据，用于至少在一些情况下分析和产生策略。根据一些实施例，储存库1441还可以被配置成存储策略数据，供策略管理器1442访问。此外，远程操作员交互捕获分析器1416可以应用机器学习技术以通过经验方式确定如何最好地对导致请求远程操作辅助的事件或状况做出响应。在一些情况下，策略管理器1442可以被配置成响应于分析一大组远程操作员交互(例如，在应用机器学习技术之后)而更新特定策略或产生新策略。策略管理器1442管理可以被视为规则或指南的策略，自主车辆控制器及其部件在所述策略之下工作，以遵循车辆的自主操作。在一些情况下，可以向模拟器1440应用修改或更新的策略，以确认持久发布或实施这样的策略改变的功效。
模拟器接口控制器1414被配置成在模拟器1440和远程操作员计算装置1404之间提供接口。例如，考虑来自一队自主车辆的传感器数据经由自主(“AV”)车队数据1470被应用于参考数据更新器1438，由此参考数据更新器1438被配置成产生更新的地图和路线数据1439。在一些实施方式中，可以预备性地发布更新的地图和路线数据1439作为地图数据储存库1420和1422中的数据更新或作为路线数据储存库1424中数据的更新。在这种情况下，可以将这样的数据标记为“测试版本”，其中例如在自主车辆使用包括预备更新信息的地图图块时，可以实现用于请求远程操作员服务的更低阈值。此外，可以将更新的地图和路线数据1439引入模拟器1440中用于验证更新的地图数据。在完整发布时(例如，在关闭β测试时)，取消用于请求与地图图块相关的远程操作员服务的先前更低阈值。用户界面图形控制器1410向远程操作员1408提供丰富的图形，由此可以在模拟器1440之内模拟一队自主车辆，并可以经由远程操作员计算装置1404访问，如同模拟自主车队是真实的一般。
图15是根据一些实施例用于控制自主车辆的流程图的示例。在1502，流程1500开始。可以在远程操作员计算装置处接收消息数据，以用于管理一队自主车辆。消息数据可以在为自主车辆规划的路径语境中指示与非规范操作状态相关联的事件属性。例如，事件可以被表征为由于例如大量行人违反交通信号灯匆忙过街而成为问题的特定路口。事件属性描述事件的特性，例如，过街的人数、行人数量增加导致的交通延迟等。在1504，可以访问远程操作储存库以基于与一组自主车辆相关联的汇集数据的模拟操作检索第一建议子集。在这种情况下，模拟器可以是建议源，可以利用其实现远程操作员。此外，还可以访问远程操作储存库以基于响应于类似事件属性的远程操作员交互的汇集检索第二建议子集。具体而言，远程操作员交互捕获分析器可以应用机器学习技术以基于对远程操作辅助的先前请求通过经验方式确定如何最好地对具有类似属性的事件做出响应。在1506，组合建议的第一子集和第二子集以为自主车辆形成一组建议动作流程。在1508，可以在远程操作员计算装置的显示器上视觉呈现该组建议动作流程的表示。在1510，可以检测代表(例如，远程操作员)选择建议动作流程的数据信号。
图16是根据一些示例，实现车队优化管理器的自主车队管理器的示例的图示。图示1600绘示了被配置成管理正在路网1650之内行驶的一队自主车辆1630的自主车队管理器。自主车队管理器1603经由远程操作员计算装置1604耦合到远程操作员1608，并且还耦合到车队管理数据储存库1646。自主车队管理器1603被配置成接收策略数据1602和环境数据1606以及其他数据。再次参考图示1600，车队优化管理器1620被示为还包括交通请求处理器1631，交通请求处理器1631又包括车队数据提取器1632和自主车辆分派优化计算器1634。交通请求处理器1631被配置成处理例如来自请求自主车辆服务的用户1688的交通请求。车队数据提取器1632被配置成提取与车队中自主车辆相关的数据。与每个自主车辆相关联的数据被存储在储存库1646中。例如，针对每个车辆的数据可以描述维护问题、安排的服务呼叫、每天使用情况、电池充电和放电速率以及任何其他数据，它们可以实时更新，可以用于优化一队自主车辆以使停机时间最小化的目的。自主车辆分派优化计算器1634被配置成分析提取的数据并计算车队的最优使用，以确保例如从车站1652分派的下一辆车合计为自主车辆服务提供最少的行驶时间和/或成本。
车队优化管理器1620被示为包括混合自主车辆/非自主车辆处理器1640，混合自主车辆/非自主车辆处理器1640又包括AV/非AV优化计算器1642和非AV选择器1644。根据一些示例，混合自主车辆/非自主车辆处理器1640被配置成管理自主车辆和人类驾驶车辆(例如，作为独立承包人)的混合车队。这样一来，自主车辆服务可以采用非自主车辆以满足超量需求，或者在诸如非AV服务区1690的区域中，它们可能超过地理围栏或在通信覆盖不良的区域中。AV/非AV优化计算器1642被配置成优化自主车队的使用并邀请非AV驾驶员加入运输服务(例如，对自主车辆服务损害最小或没有损害)。非AV选择器1644包括用于基于AV/非AV优化计算器1642导出的计算结果选择若干非AV驾驶员以提供帮助。
图17是根据一些实施例管理一队自主车辆的流程图的示例。在1702，流程1700开始。在1702，接收策略数据。策略数据可以包括定义如何最好应用以选择自主车辆为交通请求服务的参数。在1704，可以从储存库提取车队管理数据。车队管理数据包括针对自主车辆池的数据子集(例如，该数据描述要为运输请求服务的车辆准备情况)。在1706，接收代表交通请求的数据。出于示范性目的，交通请求可以是从第一地理位置到第二地理位置的运输。在1708，计算基于策略数据的属性以确定可用于为请求服务的自主车辆子集。例如，属性可以包括电池电量水平和直到下次安排的维护之前的时间。在1710，选择自主车辆作为从第一地理位置到第二地理位置的运输，产生数据以将自主车辆分派到与交通请求的发起相关联的第三地理位置。
图18是示出了根据一些实施例，实施自主车辆通信链路管理器的自主车队管理器的图示。图示1800绘示了被配置成管理正在路网1880之内行驶的一队自主车辆1830的自主车队管理器，该路网与标识为“通信减弱区域”1880的地区处的通信中断重合。自主车队管理器1803经由远程操作员计算装置1804耦合到远程操作员1808。自主车队管理器1803被配置成接收策略数据1802和环境数据1806以及其他数据。再次参考图示1800，自主车辆通信链路管理器1820被示为包括环境事件检测器1831、策略调整确定器1832和交通请求处理器1834。环境事件检测器1831被配置成接收环境数据1806，环境数据1806指定实现自主车辆服务的环境之内的改变。例如，环境数据1806可以指定该地区1880具有降低的通信服务，这可能影响自主车辆服务。策略调整确定器1832可以指定在这样的事件期间(例如，在失去通信期间)接收交通请求时采用的参数。交通请求处理器1834被配置成考虑到劣化的通信处理交通请求。在本示例中，用户1888正在请求自主车辆服务。此外，交通请求处理器1834包括应用调整的策略改变分派自主车辆的方式以避免由于通信不良导致的复杂化的逻辑。
通信事件检测器1840包括策略下载管理器1842和通信配置(“COMM配置”)AV分派器1844。策略下载管理器1842被配置成考虑到通信减弱区域1880为自主车辆1830提供更新的策略，由此更新的策略可以指定路线以在自主车辆进入该区域时快速离开该区域1880。例如，自主车辆1864可以在驶入该区域1880之前接收更新的策略时刻。在失去通信时，自主车辆1864实施更新的策略，并选择路线1866以快速驶出区域1880。COMM配置AV分派器1844可以被配置成识别要停放被配置为中继以在区域1880上建立对等网络的自主车辆的点1865。这样一来，COMM配置AV分派器1844被配置成分派自主车辆1862(无乘客)以停靠在位置1865处，目的是作为对等自组织网络中的通信塔工作。
图19是根据一些实施例确定事件期间，例如通信劣化或丢失期间，自主车辆动作的流程图的示例。在1901，流程1900开始。接收策略数据，由此策略数据定义在事件期间应用于地理区域中的交通请求的参数。在1902，可以实施以下动作中的一个或多个：(1)向该地理位置该部分中的地理位置分派自主车辆的子集，该自主车辆的子集被配置成停靠在特定地理位置并均充当静止通信中继，或者在地理区域中行驶以均充当移动通信中继，(2)在与该地理区域该部分相关联的自主车辆池的一部分之间实施对等通信，(3)向自主车辆提供事件策略，其描述在事件期间进入该地理区域的该部分的路线，(4)调用远程操作，以及(5)重新计算路径以避开该地理部分。在实施该动作之后，在1914监测该队自主车辆。
图20是示出根据一些实施例的定位器示例的图示。图示2000包括被配置成从传感器2070接收传感器数据的定位器2068，传感器数据例如为LIDAR数据2072、相机数据2074、雷达数据2076和其他数据2078。此外，定位器2068被配置成接收参考数据2020，例如2D地图数据2022、3D地图数据2024和3D本地地图数据。根据一些示例，也可以实施其他地图数据，例如4D地图数据2025和语意地图数据(未示出)，包括对应的数据结构和储存库。再次参考图示2000，定位器2068包括定位系统2010和局域化系统2012，两者都被配置成从传感器2070接收传感器数据以及参考数据2020。局域化数据集成器2014被配置成从定位系统2010接收数据并从局域化系统2012接收数据，由此局域化数据集成器2014被配置成集成或融合来自多个传感器的传感器数据以形成本地姿态数据2052。
图21是根据一些实施例，基于集成传感器数据产生本地姿态数据的流程图的示例。在2101，流程2100开始。在2102，接收参考数据，参考数据包括三维地图数据。在一些示例中，参考数据，例如3D或4D地图数据，可以经由一个或多个网络被接收。在2104，来自一个或多个局域化传感器的局域化数据被接收并放入局域化系统中。在2106，来自一个或多个定位传感器的定位数据被接收并放入定位系统中。在2108，局域化和定位数据被集成。在2110，局域化数据和定位数据被集成以形成指定自主车辆地理位置的本地位置数据。
图22是绘示了根据一些实施例的定位器另一示例的图示。图示2200包括定位器2268，其又包括局域化系统2210和相对局域化系统2212，以分别产生基于定位的数据2250和基于本地位置的数据2251。局域化系统2210包括用于处理GPS数据2273、GPS数据2211和3D地图数据2222和其他任选数据(例如，4D地图数据)的投影处理器2254a。局域化系统2210还包括测程处理器2254b，以处理车轮数据2275(例如，车轮速度)、车辆模型数据2213和3D地图数据2222，以及其他任选数据。此外，局域化系统2210包括集成器处理器2254c，以处理IMU数据2257、车辆模型数据2215和3D地图数据2222，以及其他任选数据。类似地，相对局域化系统2212包括LIDAR局域化处理器2254d，用于处理LIDAR数据2272、2D图块地图数据2220、3D地图数据2222和3D本地地图数据2223和其他任选数据。相对局域化系统2212还包括视觉配准处理器2254e，以处理相机数据2274、3D地图数据2222和3D本地地图数据2223，以及其他任选数据。再者，相对局域化系统2212包括雷达回波处理器2254f，以处理雷达数据2276、3D地图数据2222和3D本地地图数据2223，以及其他任选数据。需注意，在各示例中，可以实现其他类型的传感器数据和传感器或处理器，例如声呐数据等。
再次参考图示2200，基于局域化的数据2250和基于相对局域化的数据2251可以被分别馈送到数据集成器2266a和局域化数据集成器2266中。数据集成器2266a和局域化数据集成器2266可以被配置成融合对应的数据，由此可以在局域化数据集成器2266处与基于相对局域化的数据2251融合之前，在数据集成器2266a处融合基于局域化的数据2250。根据一些实施例，数据集成器2266a被形成为局域化数据集成器2266的部分，或者不存在。无论如何，基于局域化的数据2250和基于相对局域化的数据2251都可以被馈送到局域化数据集成器2266中，以融合数据产生本地位置数据2252。基于局域化的数据2250可以包括来自投影处理器2254a的一元约束数据(和不确定性值)以及来自测程处理器2254b和集成器处理器2254c的二元约束数据(和不确定性值)。基于相对局域化的数据2251可以包括来自局域化处理器2254d和视觉配准处理器2254e，以及任选来自雷达回波处理器2254f的一元约束数据(和不确定性值)。根据一些实施例，局域化数据集成器2266可以实施非线性平滑化功能，例如Kalman滤波器(例如，选通Kalman滤波器)、相对束调节器、姿态曲线缓解、颗粒滤波器、柱状图滤波器等。
图23是绘示了根据一些实施例的感知引擎示例的图示。图示2300包括感知引擎2366，其又包括分割处理器2310、对象跟踪器2330和分类器2360。此外，感知引擎2366被配置成接收例如本地位置数据2352、LIDAR数据2372、相机数据2374和雷达数据2376。需注意，可以访问诸如声呐数据的其他传感器数据，以提供感知引擎2366的功能。分割处理器2310被配置成提取地平面数据和/或分割图像的各部分，以将对象彼此区分并形成静态影像(例如，背景)。在一些情况下，3D斑点可以被分割以彼此进行区分。在一些示例中，斑点可以指标识空间再现的环境中的对象的一组特征，并可以由具有类似特性，例如强度和颜色的元素(例如，相机数据的像素、激光回波数据的点等)构成。在一些示例中，斑点也可以指点云(例如，由彩色激光回波数据构成)或构成对象的其他元素。对象跟踪器2330被配置成针对斑点或其他分割的图像部分进行逐帧的估计。此外，使用数据关联将时间t1第一帧中一个位置处的斑点关联到时间t2第二帧中不同位置处的斑点。在一些示例中，对象跟踪器2330被配置成执行3D对象，例如斑点的实时概率跟踪。分类器2360被配置成识别对象并通过分类类型(例如，行人、骑行者等)和能量/活动(例如，对象是动态还是静态)对该对象进行分类，由此通过语意标签描述代表分类的数据。根据一些实施例，可以对对象类别进行概率估计，例如将对象分类为车辆、骑行者、行人等，每种对象类别具有不同的置信度。感知引擎2366被配置成确定感知引擎数据2354，其可以包括静态对象地图和/或动态对象地图，以及语义信息，从而例如规划器可以使用这种信息增强路径规划。根据各示例，分割处理器2310、对象跟踪器2330和分类器2360的一个或多个可以应用机器学习技术以产生感知引擎数据2354。
图24是根据一些实施例产生感知引擎数据的流程图的示例。流程图2400开始于2402，在此检索代表自主车辆本地位置的数据。在2404，接收来自一个或多个局域化传感器的局域化数据，并在2406处分割设置自主车辆的环境的特征以形成分割对象。在2408在空间上跟踪分割对象的一个或多个部分以形成至少一个具有运动(例如，估计运动)的跟踪对象。在2410，将被跟踪对象至少分类为静态对象或动态对象。在一些情况下，静态对象或动态对象可以与分类类型相关联。在2412，产生标识分类对象的数据。例如，标识分类对象的数据可以包括语义信息。
图25是根据一些实施例的分割处理器的示例。图示2500绘示了分割处理器2510从一个或多个LIDAR2572接收LIDAR数据并从一个或多个相机2574接收相机图像数据。本地姿态数据2552、LIDAR数据和相机图像数据被接收到元旋转发生器2521。在一些示例中，元旋转发生器被配置成基于各种属性(例如，颜色、强度等)将图像划分成可区分区域(例如，点云的群或组)，其中至少两个或更多可以同时或大约同时更新。元旋转数据2522用于在分割处理器2523处进行对象分割和地分割，由此将来自分割处理器2523的元旋转数据2522和分割相关数据都应用于扫描差分处理器2513。扫描差分处理器2513被配置成预测分割图像部分的运动和/或相对速度，其可以用于在2517处识别动态对象。指示具有在2517处检测到的速度的对象的数据任选地被发送到规划器以增强路径规划决策。此外，来自扫描差分处理器2513的数据可以用于近似对象的位置，以形成此类对象的制图(以及任选地识别运动水平)。在一些示例中，可以产生占用网格地图2515。代表占用网格地图2515的数据可以被发送到规划器以进一步(例如，通过降低不确定性)增强路径规划决策。再次参考图示2500，来自一个或多个相机2574的图像相机数据用于在斑点分类器2520中对斑点进行分类，斑点分类器还从分割处理器2523接收斑点数据2524。分割处理器2510还可以从一个或多个雷达2576接收原始的雷达回波数据2512，以在雷达分割处理器2514处进行分割，从而产生雷达相关斑点数据2516。再次参考图25，分割处理器2510还可以接收和/或产生与雷达数据相关的跟踪斑点数据2518。斑点数据2516、跟踪斑点数据2518、来自斑点分类器2510的数据和斑点数据2524可以用于跟踪对象或其部分。根据一些示例，以下一项或多项可以是任选的：扫描差分处理器2513、斑点分类2520和来自雷达的数据2576。
图26A是绘示了根据各实施例的对象跟踪器和分类器示例的图示。图示2600的对象跟踪器2630被配置成接收斑点数据2516、跟踪斑点数据2518、来自斑点分类器2520的数据、斑点数据2524和来自一个或多个相机2676的相机图像数据。图像跟踪器2633被配置成从一个或多个相机2676接收相机图像数据，以产生被跟踪的图像数据，其继而可以被提供到数据关联处理器2632。如图所示，数据关联处理器2632被配置成接收斑点数据2516、跟踪斑点数据2518、来自斑点分类器2520的数据、斑点数据2524和来自图像跟踪器2633的跟踪图像数据，并被进一步配置为识别上述类型数据之间的一种或多种关联。数据关联处理器2632被配置成例如从一个帧到下一帧跟踪各斑点数据，例如，以估计运动等。此外，数据关联处理器2632产生的数据可以由跟踪更新器2634用于更新一个或多个跟踪或跟踪对象。在一些示例中，跟踪更新器2634可以实现Kalman滤波器等，以针对跟踪对象形成更新的数据，其可以在线存储于跟踪数据库(“DB”)2636中。可以经由路径2699在数据关联处理器2632和跟踪数据库2636之间交换反馈数据。在一些示例中，图像跟踪器2633可以是任选的，并可以被排除。对象跟踪器2630也可以使用其他传感器数据，例如雷达或声呐，以及例如任何其他类型的传感器数据。
图26B是绘示了根据至少一些示例的对象跟踪器另一示例的图示。图示2601包括对象跟踪器2631，对象跟踪器2631可以包括与结合一幅或多幅其他附图(例如，图26A)描述的元件类似命名的结构和/或功能。如图所示，对象跟踪器2631包括任选的配准部分2699，其包括被配置成进行对象扫描配准和数据融合的处理器2696。处理器2696被进一步配置成在3D对象数据库2698中存储所得数据。
重新参考图26A，图示2600还包括分类器2660，其可以包括跟踪分类引擎2662，用于产生静态障碍物数据2672和动态障碍物数据2674，两者都可以被发送到规划器用于路径规划。在至少一个示例中，跟踪分类引擎2662被配置成判断障碍物是静态还是动态，以及针对对象的另一种分类类型(例如，对象是车辆、行人、树、骑行者、狗、猫、纸袋等)。静态障碍物数据2672可以被形成为障碍物地图(例如，2D占用地图)的一部分，动态障碍物数据2674可以被形成为包括具有表示速度和分类类型的界定框。至少在一些情况下，动态障碍物数据2674包括2D动态障碍物地图数据。
图27是根据一些示例用于感知引擎的前端处理器的示例。根据各示例，图示2700包括地分割处理器2723a，用于进行地分割，以及过分割处理器2723b，用于执行“过分割”。处理器2723a和2723b被配置成接收任选着色的LIDAR数据2775。过分割处理器2723b产生第一斑点类型(例如，较小的斑点)的数据2710，其被提供给汇聚分类和分割引擎2712，其产生第二斑点类型的数据2714。数据2714被提供给数据关联处理器2732，其被配置成检测数据2714是否驻留在跟踪数据库2736中。在2740处判断第二斑点类型(例如，较大斑点，其可以包括一个或多个较小斑点)的数据2714是否是新跟踪。如果是，在2742处对跟踪进行初始化，否则，可以在跟踪数据库2736中存储跟踪对象数据并由跟踪更新器2742扩展或更新跟踪。跟踪分类引擎2762耦合到跟踪数据库2736，以通过例如增加、去除或修改跟踪相关的数据来识别和更新/修改跟踪。
图28是绘示了根据各实施例，被配置成在合成环境中模拟自主车辆的模拟器的图示。图示2800包括被配置成产生模拟环境2803的模拟器2840。如图所示，模拟器2840被配置成使用参考数据2822(例如，3D地图数据和/或其他地图或路线数据，包括RNDF数据或类似路网数据)产生模拟环境2803之内的模拟几何形状，例如模拟表面2892a和2892b。模拟表面2892a和2892b可以模拟与道路相邻的建筑物的墙壁或前侧。模拟器2840还可以使用预先产生或流程产生的动态对象数据2825以模拟合成环境中的动态行为主体。动态行为主体的示例是模拟动态对象2801，其代表具有速度的模拟骑行者。模拟动态行为主体可以任选地对模拟环境中的其他静态和动态行为主体，包括模拟自主车辆，做出响应。例如，针对模拟环境2803中的其他障碍物，模拟对象2801可以减慢而不是遵循预设轨迹，由此生成现实世界中存在的实际动态环境的更现实模拟。
模拟器2840可以被配置成产生模拟自主车辆控制器2847，其包括感知引擎2866、定位器2868、运动控制器2862和规划器2864的合成调整，上述每者都可以具有本文在模拟环境2803中描述的功能。模拟器2840还可以产生模拟界面("I/F")2849以模拟与不同传感器模态和不同传感器数据格式的数据交换。这样一来，模拟界面2849可以模拟用于来自例如模拟LIDAR传感器2872的分组数据的软件界面。此外，模拟器2840还可以被配置成产生实现模拟AV控制器2847的模拟自主车辆2830。模拟自主车辆2830包括模拟LIDAR传感器2872、模拟相机或图像传感器2874以及模拟雷达传感器2876。在图示的示例中，模拟LIDAR传感器2872可以被配置成产生与光线踪迹2892一致的模拟激光，这导致产生模拟传感器回波2891。需注意，模拟器2840可以模拟在传感器数据上增加噪声或其他环境效应(例如，影响模拟传感器回波2891的增加漫射或反射等)。再者，模拟器2840可以被配置成模拟各种传感器缺陷，包括传感器故障、传感器误校准、间歇性数据中断等。
模拟器2840包括物理处理器2850，用于模拟自主车辆的机械、静态、动态和运动学方面，用于模拟模拟自主车辆2830的行为。例如，物理处理器2850包括用于模拟接触力学的内容力学模块2851、用于模拟模拟主体之间交互的碰撞检测模块2852，以及用于模拟模拟机械交互之间交互的多体动力学模块2854。
模拟器2840还包括模拟器控制器2856，其被配置成控制模拟以适应模拟环境2803的任何合成产生元件的功能，以确定因果关系等。模拟器2840包括模拟器评估器2858，以评估模拟环境2803的合成产生元件的性能。例如，模拟器评估器2858可以分析模拟车辆命令2880(例如，模拟转向角和模拟速度)以判断这样的命令是否是对模拟环境2803之内模拟活动的适当响应。此外，模拟器2858可以评估远程操作员2808经由远程操作员计算装置2804与模拟自主车辆2830的交互。模拟器评估器2858可以评估更新的参考数据2827的效果，包括更新的地图图块和路线数据，它们可以被增加以引导模拟自主车辆2830的响应。模拟器评估器2858还可以在更新、删除或增加策略数据2829时评估模拟器AV控制器2847的响应。模拟器2840的以上描述并非意图进行限制。这样一来，模拟器2840被配置成相对于模拟环境执行自主车辆的各种不同模拟，模拟环境包括静态和动态特征。例如，模拟器2840可以用于验证软件版本的变化以确保可靠性。模拟器2840还可以用于确定车辆的运动学性质并用于校正目的。此外，模拟器2840可以用于利用适用控件的空间和所得轨迹，以便通过自我模拟实现学习。
图29是根据一些实施例用于模拟自主车辆各方面的流程图的示例。流程图2900开始于2902，在此，将包括三维地图数据的参考数据接收到模拟器中。可以在2904处检索针对分类对象定义运动模式的动态对象数据。在2906，至少基于三维("3D")地图数据和动态对象数据形成模拟环境。模拟环境可以包括一个或多个模拟表面。在2908，模拟自主车辆，其包括形成模拟环境一部分的模拟自主车辆控制器。自主车辆控制器可以包括模拟感知引擎和被配置成接收传感器数据的模拟定位器。在2910，基于针对至少一个模拟传感器回波的数据产生模拟传感器数据，并在2912产生模拟车辆命令，以导致模拟自主车辆在合成环境中运动(例如，矢量化推进)。在2914，评估模拟车辆命令以判断模拟自主车辆的行为是否与预期行为一致(例如，与策略一致)。
图30是根据一些实施例用于产生地图数据的流程图的示例。流程图3000开始于3002，在此检索轨迹数据。轨迹数据可以包括在一段时间内捕获的轨迹(例如，作为记录的轨迹)。在3004，可以接收至少局域化数据。可以在一段时间内捕获局域化数据(例如，作为记录的局域化数据)。在3006，可以实现相机或其他图像传感器以产生局域化数据的子集。这样一来，检索的局域化数据可以包括图像数据。在3008，对准局域化数据的子集以识别全球位置(例如，全球姿态)。在3010，基于全球位置产生三维("3D")地图数据，在3012，3维地图数据可适于由例如人工路线数据编辑器(例如，包括人工路网数据编辑器，例如RNDF编辑器)、自动化路线数据发生器(例如，包括自动路网发生器，包括自动RNDF发生器)、一队自主车辆、模拟器、远程操作员计算装置和自主车辆服务的任何其他部件来实现。
图31是绘示了根据一些实施例的制图引擎架构的图示。图示3100包括3D制图引擎，其被配置成接收轨迹日志数据3140、LIDAR日志数据3172、相机日志数据3174、雷达日志数据3176和其他任选的日志传感器数据(未示出)。逻辑3141包括环线闭合检测器3150，其被配置成检测传感器数据是否指示先前到访过空间中附近的点等等。逻辑3141还包括配准控制器3152，用于相对于一个或多个配准点对准地图数据，在一些情况下，包括3D地图数据。此外，逻辑3141提供代表环线闭合的状态的数据3142，供全球姿态曲线图发生器3143使用，其被配置成产生姿态曲线图数据3145。在一些示例中，也可以基于来自配准细化模块3146的数据产生姿态曲线图数据3145。逻辑3144包括3D制图器3154和LIDAR自校准单元3156。此外，逻辑3144接收传感器数据和姿态曲线图数据3145，以产生3D地图数据3120(或其他地图数据，例如4D地图数据)。在一些示例中，逻辑3144可以实施截断符号距离函数("TSDF")以融合传感器数据和/或地图数据，形成最优三维地图。此外，逻辑3144被配置成包括纹理和反射性质。可以发布3D地图数据3120以供人工路线数据编辑器3160(例如，操控路线数据或其他类型的路线或参考数据的编辑器)、自动化路线数据发生器3162(例如，被配置成产生路线数据或其他类型的路网或参考数据的逻辑)、一队自主车辆3164、模拟器3166、远程操作员计算装置3168和自主车辆服务的任何其他部件使用。制图引擎3110可以从人工注释或自动产生的注释以及其他传感器，例如声呐或仪表化环境(例如，智能停车灯)捕获语义信息。
图32是绘示了根据一些示例的自主车辆应用的图示。图示3200绘示了包括自主服务应用3240的移动计算装置3203，该自主服务应用被配置成联系自主车辆服务平台3201以经由自主车辆3230布置用户3202的运输。如图所示，自主服务应用3240可以包括运输控制器3242，其可以是驻留在计算装置(例如，移动电话3203等)上的软件应用。运输控制器3242被配置成接收、调度、选择或执行与用户3202用以布置从用户位置到目的地的运输的自主车辆和/或自主车队相关的操作。例如，用户3202可以打开应用以请求车辆3230。该应用可以显示地图，用户3202可以扎大头针(drop a pin)以指示其例如在地理围栏区域之内的目的地。或者，该应用可以显示附近预先指定的上客位置列表或为用户提供文本输入场，以向其中通过地址或名称键入目的地。
继续参考所示出的示例，自主车辆应用3240还可以包括用户标识控制器3246，其可以被配置成在车辆接近时检测在地理区域中或附近或在自主车辆3230附近的用户3202。在一些状况下，在车辆接近供用户3203使用时，用户3202可能不容易感知或识别自主车辆3230(例如，由于各种其他车辆，包括卡车、小汽车、出租车和其他城市环境中典型的障碍)。在一个示例中，自主车辆3230可以建立无线通信链路3262(例如，经由射频("RF")信号，例如WiFi或
包括BLE等)，用于(例如，使用RF信号的相对方向和信号强度)传输和/或确定用户3202相对于自主车辆3230的空间位置。在一些情况下，自主车辆3230可以使用例如GPS数据等检测用户3202的大致地理位置。移动计算装置3203的GPS接收器(未示出)可以被配置成向自主车辆服务应用3240提供GPS数据。因此，用户标识控制器3246可以经由链路3260向自主车辆服务平台3201提供GPS数据，该平台继而可以经由链路3261向自主车辆3230提供该位置。接下来，自主车辆3230可以通过将用户的GPS数据与车辆的GPS导出位置比较来确定用户3202的相对距离和/或方向。
自主车辆3230还可以包括额外逻辑以识别用户3202的存在，使得被配置成执行面部检测算法的逻辑基于用户的唯一性面部特性一般性地，或特异性地识别用户3202的身份(例如，姓名、电话号码等)。此外，自主车辆3230可以包括检测用于识别用户3202的代码的逻辑。这样的代码示例包括专用视觉代码，例如QR代码、色彩代码等，专用音频代码，例如语音激活或识别的代码等。在一些情况下，代码可以是编码的安全密钥，可以经由链路3262以数字方式将其发送到自主车辆3230以确保安全地进入和/或离开。此外，可以使用上述用于识别用户3202的技术的一种或多种作为安全手段以向用户3202授予进入和外出权限，以便防止其他人进入自主车辆3230(例如，以确保第三方的人在到达用户3202之前不进入未被占用的自主车辆)。根据各示例，也可以在自主车辆服务应用3240、自主车辆服务平台3201和自主车辆3230中的一个或多个中实施用于识别用户3202并提供安全进出的任何其他手段。
为了辅助用户3302识别其请求的运输的到达，自主车辆3230可以被配置成在自主车辆3230接近用户3202时通知或通过其他方式提示用户3202其存在。例如，自主车辆3230可以根据特定的光图案激活一个或多个发光器件3280(例如，LED)。具体而言，生成特定的光图案，使得用户3202可以容易地感知到自主车辆3230被预留为用户3202的运输需求服务。例如，自主车辆3230可以产生可以被用户3202感知为“眨眼”的光图案3290或通过这样的视觉和时间方式产生其外部和内部灯的其他动画。产生的光图案3290可以具有或没有声音模式以向用户3202标识这辆车是他们预定的。
根据一些实施例，自主车辆用户控制器3244可以实施被配置成控制自主车辆各种功能的软件应用。此外，应用可以被配置成在向其初始目的地行进期间对自主车辆进行重定向或重新设定路线。此外，自主车辆用户控制器3244可以被配置成令车载逻辑改变自主车辆3230的内部照明以实现例如柔和的光照。控制器3244还可以控制音频源(例如，外部源，例如音乐播放器或移动计算装置3203上本地存储的音频)，选择驾车类型(例如，改变期望加速度和制动强度，改变主动悬架参数以选择一组“道路应对”特性，以实现积极的驾驶特性，包括振动，或者以选择为了舒适而阻抑振动的“软驾车”质量)等等。例如，移动计算装置3203可以被配置成还控制HVAC功能，像换气和温度。
图33到35示出了根据各实施例被配置成向自主车辆服务的部件提供各种功能性的各种计算平台的示例。在一些示例中，计算平台3300可以用于实施计算机程序、应用、方法、过程、算法或其他软件，以执行上述技术。
需注意，图33的各种结构和/或功能都适用于图34和35，这样一来，可以在图33的语境中论述那些图中的一些元件。
在一些情况下，计算平台3300可以设置于任何装置中，例如计算装置3390a中，计算装置3390a可以设置于自主车辆服务平台、自主车辆3391和/或移动计算装置3390b中的一个或多个计算装置中。
计算平台3300包括用于传输信息的总线3302或其他通信机构，其对子系统和装置进行互连，例如处理器3304、系统存储器3306(例如，RAM等)、存储装置3308(例如，ROM等)、存储器内高速缓存(可以实现于RAM 3306或计算平台3300的其他部分中)、通信接口3313(例如，以太网或无线控制器、蓝牙控制器、NFC逻辑等)，以方便经由通信链路3321上的端口进行通信，从而与例如计算装置，包括具有处理器的移动计算装置和/或通信装置通信。可以利用一个或多个图形处理单元(“GPU”)，利用一个或多个中央处理单元(“CPU”)，例如由
Corporation制造的那些，或一个或多个虚拟处理器，以及CPU和虚拟处理器的任意组合，来实现处理器3304。计算平台3300经由输入和输出装置3301交换代表输入和输出的数据，输入和输出装置包括，但不限于键盘、鼠标、音频输入(例如，语音转文本装置)、用户接口、显示器、监视器、光标、触敏显示器、LCD或LED显示器和其他I/O相关装置。
根据一些示例，计算平台3300通过由处理器3304执行系统存储器3306中存储的一个或多个系列的一条或多条指令来执行特定操作，且计算平台3300可以实现于客户端-服务器布置、对等布置或任何移动计算装置中，包括智能电话等。此类指令或数据可以从另一个计算机可读介质，诸如存储装置3308被读入系统存储器3306中。在一些示例中，硬连线电路可以取代或结合软件指令加以实施。指令可以嵌入软件或固件中。术语“计算机可读介质”是指参与向处理器3304提供指令加以执行的任何有形介质。这样的介质可以采取很多形式，包括，但不限于非易失性介质和易失性介质。非易失性介质包括例如光盘或磁盘等。易失性介质包括动态存储器，例如系统存储器3306。
计算机可读介质的常见形式例如包括软盘、柔性盘、硬盘、磁带、任何其他磁性介质、CD-ROM、任何其他光学介质、打孔卡、纸带、任何其他具有孔图案的物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储芯片或存储盒或计算机能够读取的任何其他介质。可以使用传输介质进一步发送或接收指令。术语“传输介质”可以包括能够存储、编码或承载供机器执行的指令的任何有形或无形介质，并包括数字或模拟通信信号或其他无形介质，以方便这种指令的通信。传输介质包括同轴电缆、铜线和光纤，包括具有用于传输计算机数据信号的总线3302的线路。
在一些示例中，指令序列的执行可以由计算平台3300执行。根据一些示例，计算平台3300可以由通信链路3321(例如，有线网络，如LAN、PSTN，或任何无线网络，包括各种标准和协议的WiFi、
NFC、Zig-Bee等)耦合到任何其他处理器，以彼此协同(或异步地)执行指令序列。计算平台3300可以通过通信链路3321和通信接口3313发送和接收消息、数据和指令，包括程序代码(例如，应用代码)。所接收的程序代码可以在被接收时由处理器3304执行，和/或存储在存储器3306中，或存储在非易失性存储装置中用于稍后执行。
在所示出的示例中，系统存储器3306可以包括各种模块，所述模块包括可执行指令，以实施本文所述的功能。系统存储器3306可以包括操作系统(“O/S”)3332以及应用3336和/或逻辑模块3359。在图33中所示的示例中，系统存储器3306包括自主车辆(“AV”)控制器模块3350和/或其部件(例如，感知引擎模块、局域化模块、规划器模块和/或运动控制器模块)，其中的任何模块或其一个或多个部分可以被配置成通过实施本文所述的一个或多个功能来有助于自主车辆服务。
参考图34中所示的示例，系统存储器3306包括自主车辆服务平台模块3450和/或其部件(例如，远程操作员管理器、模拟器等)，其中的任何模块或其一个或多个部分可以被配置成通过实施本文所述的一个或多个功能来有助于管理自主车辆服务。
参考图35中所示的示例，系统存储器3306包括自主车辆(“AV”)模块和/或其部件，例如，用于移动计算装置中。模块3550的一个或多个部分可以被配置成通过实施本文所述的一个或多个功能来有助于交付自主车辆。
重新参考图33，上述特征的任何特征的结构和/或功能可以实现于软件、硬件、固件、电路或其组合中。需注意，以上结构和构成元件，以及其功能可以与一个或多个其他结构或元件汇聚在一起。或者，可以将元件及其功能细分成构成子元件(如果有的话)。作为软件，可以使用各种类型的编程或格式化语言、框架、句法、应用、协议、对象或技术实现上述技术。作为硬件和/或固件，可以使用各种类型的编程或集成电路设计语言实施上述技术，包括硬件描述语言，例如被配置成设计现场可编程门阵列(“FPGA”)、专用集成电路(“ASIC”)或任何其他类型集成电路的任何寄存器传送语言(“RTL”)。根据一些实施例，术语“模块”可以指例如实现于硬件电路或软件中或其组合中的算法或其部分和/或逻辑。这些可以变化，不限于所提供示例或描述。
在一些实施例中，图33的模块3350、图34的模块3450和图35的模块3550或其部件的一个或多个或本文所述的任何过程或装置可以与移动装置，例如移动电话或计算装置通信(例如，有线或无线)或者可以设置于其中。
在一些情况下，移动装置或与一个或多个模块3359(图33的模块3350、图34的模块3450和图35的模块3550)通信的任何联网的计算装置(未示出)或其部件的一个或多个(或本文所述的任何过程或装置)可以提供本文所述特征的任何特征的结构和/或功能的至少一些。如上述图中所示，上述特征的任何特征的结构和/或功能可以实现于软件、硬件、固件、电路或其组合中。需注意，以上结构和构成元件，以及其功能可以与一个或多个其他结构或元件汇聚或组合在一起。或者，可以将元件及其功能细分成构成子元件(如果有的话)。作为软件，可以使用各种类型的编程或格式化语言、框架、句法、应用、协议、对象或技术实现上述技术中的至少一些。例如，附图中任何附图中所示的元件的至少一个可以代表一种或多种算法。或者，元件的至少一个可以代表逻辑的一部分，该逻辑包括被配置成提供构成结构和/或功能的硬件的一部分。
例如，图33的模块3350、图34的模块3450和图35的模块3550或其部件的一个或多个，或本文所述的任何过程或装置可以实现于一个或多个包括一个或多个被配置成执行存储器中的一种或多种算法的处理器的计算装置(即，任何移动计算装置，例如可穿戴装置、音频装置(例如耳机或耳塞)或移动电话，无论佩戴或携带)中。因此，上述附图中元件的至少一些可以代表一种或多种算法。或者，元件的至少一个可以代表逻辑的一部分，该逻辑包括被配置成提供构成结构和/或功能的硬件的一部分。这些可以变化，不限于所提供示例或描述。
作为硬件和/或固件，可以使用各种类型的编程或集成电路设计语言实施上述结构和技术，包括硬件描述语言，例如被配置成设计现场可编程门阵列(“FPGA”)、专用集成电路(“ASIC”)、多芯片模块或任何其他类型集成电路的任何寄存器传送语言(“RTL”)。
例如，图33的模块3350、图34的模块3450和图35的模块3550或其部件的一个或多个或本文所述的任何过程或装置可以实现于一个或多个包括一个或多个电路的计算装置中。因此，上述附图中的至少一个元件可以代表硬件的一个或多个部件。或者，至少一个元件可以代表逻辑的一部分，该逻辑包括被配置成提供构成结构和/或功能的电路的一部分。
根据一些实施例，术语“电路”是指例如包括若干部件的任何系统，电流流过该若干部件以执行一个或多个功能，部件包括离散和复杂的部件。离散部件的示例包括晶体管、电阻器、电容器、电感器、二极管等，复杂部件的示例包括存储器、处理器、模拟电路、数字电路等，包括现场可编程门阵列(“FPGA”)、专用集成电路(“ASIC”)。因此，电路可以包括电子部件和逻辑部件的系统(例如，被配置成执行指令的逻辑，使得算法的一组可执行指令例如，从而是电路的部件)。根据一些实施例，术语“模块”可以指例如实现于硬件电路或软件中或其组合中的算法或其部分和/或逻辑(即，模块可以被实现为电路)。在一些实施例中，算法和/或存储算法的存储器是电路的“部件”。因此，术语“电路”还可以指例如包括算法的部件的系统。这些可以变化，不限于所提供示例或描述。
图36是绘示了根据一些示例被配置成响应于物理环境中的改变为自主车辆自适应产生制图数据的制图引擎的图示。图示3600绘示了经由通信层(未示出)耦合到一个或多个自主车辆3630的自主车辆服务平台3601中设置的制图引擎3654。制图引擎3654被配置成产生地图数据，并响应于自主车辆3630行驶所在的物理环境中的改变而自适应地修改地图数据。在图示的示例中，制图引擎3654可以基于从自主车辆3630接收的传感器数据产生制图数据，自主车辆3630被示为具有任意数量的分别为传感器类型3602a、传感器类型3602b和传感器类型3602c的传感器或传感器器件3604a、3604b和3604c。自主车辆3630可以包括任意数量的具有任何其他传感器类型3602n的其他传感器或传感器器件3604n。传感器3604a、3604b、3604c和3604n分别产生传感器数据3607a、3607b、3607c和3607n，传感器数据3607a、3607b、3607c和3607n中的一个或多个可以被接收到制图引擎3654中，用于产生地图数据3659(例如，2D、3D和/或4D地图数据)。地图数据3659可以被发送到自主车辆3630，以存储于地图储存库3605a中并有助于局域化以及其他功能。具体而言，自主车辆3630可以包括定位器(未示出)，其使用地图储存库3605a中的地图数据以确定任何时间处，包括行驶期间，自主车辆的位置和/或本地姿态。
考虑到前述内容，制图引擎3654的结构和/或功能以及其部件能够通过例如检测地图数据各部分随时间的变化并产生更新的地图(即，更新的地图数据)而有助于产生“自愈”地图和地图数据，所述更新的地图包括自主车辆3630行驶所在的物理环境的变化或改变。在一些实施方式中，制图引擎3654可以产生与一队自主车辆行驶的路径和道路网络相邻的城市景观的自适应三维模型。可以通过识别代表构成对象外观或外表面的表面(和表面的其他表面属性，例如形状、尺寸、纹理、颜色等)的数据来导出城市景观一部分的3D模型，对象例如是建筑物(包括商业标牌)、树木、护栏、屏障、街灯、交通标志和信号灯，以及可能由传感器3604a、3604b、3604c和3604n检测到的任何其他物理特征。因此，制图引擎3654可以被配置成检测与地图数据的一部分相关联的对象(或对象的不存在)以及对象的改变(例如，颜色、尺寸等的改变)，并且可以进一步被配置成将对象的改变结合到地图数据中以自适应地(例如，自动)形成地图数据的更新部分。因此，地图数据的更新部分可以存储于地图储存库3605a中，以便增强自主车辆3630的局域化功能(以及其他自主车辆控制器功能，包括规划等)的精确度等。
在一些情况下，可以结合由自主车辆3630中的本地地图发生器(未示出)产生的本地产生的地图数据(未示出)使用制图引擎3654产生的地图数据3659。例如，自主车辆控制器(未示出)可以检测到地图储存库3605中的地图数据的一个或多个部分与本地产生的地图数据的一个或多个部分之间有变化。自主车辆控制器中的逻辑可以分析地图数据中的差异(例如，变化数据)以识别物理环境中的变化(例如，静态对象的增加、去除或改变)。在若干示例中，术语“变化数据”可以指远程产生的和本地产生的地图数据之间的差异。基于环境的改变部分，自主车辆控制器可以实现变化比例量的地图储存库3605a中的地图数据和本地产生的地图数据以优化定位。例如，自主车辆控制器可以产生由远程产生的地图数据和本地产生的地图数据两者构成的混合地图数据，以优化自主车辆3630的位置或本地姿态的确定。此外，自主车辆控制器在检测到变化数据时，可以导致向自主车辆服务平台3601传输(以各种带宽或数据率)变化量的基于传感器的数据或其他数据。例如，自主车辆服务平台3601可以基于例如从远程操作员接收指南的关键性，以不同数据率接收不同类型的数据。作为另一个示例，可以(例如，以适当的数据率)发送传感器数据3607a、3607b、3607c和3607n的子集以例如修改地图数据，以实时(或接近实时)形成各种程度的更新地图数据并进一步执行以下操作的一项或多项：(1)评估并表征地图数据中的差异，(2)向车队中的其他自主车辆传播地图数据的更新部分，(3)响应于检测到地图数据差异向远程操作员计算装置产生通知，(4)产生由各种传感器器件3604a、3604b、3604c和3604n感测到的环境(及其变化部分)的图示，以在远程操作员计算装置的用户界面中以任意充分高分辨率加以显示。需注意，上述示例并非是限制性的，考虑到物理环境相对于地图数据的检测到的改变，可以使用制图引擎3654实现用于管理一队自主车辆的任何其他地图相关的功能。
根据一些示例，传感器类型3602a、传感器类型3602b和传感器类型3602c分别可以包括基于激光的传感器、基于图像的传感器和基于雷达的传感器。这样一来，传感器3604a、3604b和3604c可以分别包括Lidar、相机和雷达装置。如图示3600中所示，多个传感器器件(例如，Lidar)3604a均在地理位置处产生不同的基于激光的感测数据3607a。例如，每个Lidar 3604a都可以设置于自主车辆3630上的不同位置，并且均可以进行不同取向(参考图3A和3C，两者都绘示了具有不同视图和感测区域的不同Lidar)。给定投射激光束的方向性质，不同Lidar 3604a的不同激光回波可以在不同时间从公共点(或与例如交通信号灯相关联的公共组的点)返回。制图引擎3654和/或自主车辆服务平台3601的部件可以被配置成针对来自环境中表面的激光回波的公共点对准、映射、变换或相关不同Lidar 3604a的激光回波。制图引擎3654和/或自主车辆服务平台3601的部件还可以类似地处理传感器数据3607b和传感器数据3607c。
在一些示例中，一个或多个传感器3604n可以包括各种不同的传感器类型(“n”)3602n以产生传感器数据3607n的各个不同子集。传感器3604n的示例包括定位传感器，例如一个或多个全球定位系统(“GPS”)数据接收机传感器、一个或多个惯性测量单元(“IMU”)、一个或多个测程传感器(例如，车轮编码器传感器、轮速传感器等)、一个或多个车轮角度传感器等，以提供自主车辆位置和姿态数据。这样的姿态数据可以包括一个或多个坐标(例如，x坐标、y坐标和/或z坐标)、偏转值、翻滚值、俯仰值(例如，角度值)、速率(例如，速度)、海拔等。
自主车辆服务平台3601中的日志数据储存库3609被配置成接收并存储传感器数据3607a、3607b、3607c和3607n的子集，在至少一个示例中，其分别包括原始LIDAR数据、原始相机数据、原始雷达数据和其他原始传感器数据。如图示3600中所示，可以在公共时间点或在公共时段期间将传感器数据的子集3607a、3607b和3607c存储或记录为数据集(“1”)3610a、数据集(“2”)3610b和数据集(“n”)3610n或任意数量的数据集。根据一些示例，数据集3610a、3610b和3610n可以存储于日志文件的数据结构中。此外，可能与传感器数据子集3607a、3607b和3607c同时感测到的传感器数据3607n可以被存储为针对数据集3610a、3610b和3610n的日志文件的部分。
对准控制器3640可以被配置成接收传感器数据3607a、3607b、3607c和3607n的一个或多个以及其他数据3603m。对准控制器3640还可以被配置成产生代表传感器数据3607a、3607b、3607c和3607n的对准子集的数据。在一些情况下，传感器数据3607可以包括传感器数据3607n的子集，其包括定位数据(例如，传感器数据3607m可以包括GPS、IMU和测程数据)。对于传感器数据而言，代表传感器数据的对准子集的数据示例包括至少代表对准的Lidar数据和对准的相机数据的数据。根据一些示例，对准控制器3640可以被配置成实施配准算法以通过识别“配准”点来对准传感器数据，在配准点处要配准Lidar传感器数据的部分或帧并配准相机数据的部分或帧。例如，对准控制器3640可以将来自一个Lidar的激光回波映射或相关到其他Lidar，并可以将来自一个相机的像素数据映射或相关到其他相机。此外，对准控制器3640可以产生定位地图数据，这样的数据可以被存储于基于姿态曲线图模型的数据结构中，其中可以基于从传感器3607n收集的定位传感器数据(例如，GPS数据、IMU数据、测程数据等)在空间上相关指定个体姿态(例如，本地姿态)的数据。
制图引擎3654可以被配置成接收上述对准的传感器数据(例如，配准的传感器数据)和定位地图数据(例如，姿态曲线图相关数据)，以基于传感器数据3607a、3607b、3607c和3607n的子集的集成产生与路网相邻的城市景观的高清晰度(“HD”)三维模型。如图示3600中所示，根据各示例，制图引擎3654可以包括以下一者或多者：集成传感器数据的集成器3651，校准传感器数据的校准器3652，检测地图数据部分中的变化的数据变化检测器3653，产生格式化地图数据的图块发生器3656，以及管理变化的地图数据的实施方式的数据变化管理器3657。
集成器3651可以被配置成集成(例如，同一和不同传感器模态的)传感器数据的多个子集，以产生高分辨率(例如，较高分辨率)影像数据作为自主车辆行驶环境的3D模型，并可以进一步被配置成减少与个体类型传感器相关的错误。根据一些示例，集成器3651被配置成融合传感器数据(例如，LIDAR数据、相机数据、雷达数据等)以形成集成传感器数据。此外，可以从一个或多个自主车辆3630接收原始传感器数据集3610a、3610b和3610n，以便融合来自一队自主车辆3630的一个或多个传感器模态的传感器数据的一个或多个子集的汇集。通过融合来自原始传感器数据集3610a、3610b和3610n的数据，集成器3651可以产生3D数据集，其包括融合的传感器数据，例如数据集(“1”)3655a和数据集(“2”)3655b。集成器3651可以集成或以其它方式融合至少两种类型的传感器数据，包括激光回波数据的子集和图像数据的子集。在一些示例中，激光和图像数据的融合可以包括将图像数据子集的像素数据相关到激光回波数据的子集。任选地，集成器3651可以将一个或多个像素的像素数据关联到一个或多个激光回波，由此可以将激光数据与三维图块数据中的表面的一部分相关联。需注意，像素数据可以指定一个或多个表面特性，包括纹理、颜色、反射率、透明度等。根据一些示例，集成器3651可以实施Kalman滤波过程或其变体(例如，扩展的Kalman滤波过程)，或融合传感器数据的任何其他过程。集成器3651还可以包括用于提取或通过其他方式确定特征或对象(例如，建筑物、树木、停放的汽车等)的表面以及相对于可以采集传感器数据的自主车辆姿态的表面特性的逻辑。
集成器3651可以被配置成使用传感器数据集3655a和3655b来提取自主车辆环境中物理对象的表面相关的数据。数据集3655a和数据集3655b，以及未示出的其他数据集，可以包括代表相对于不同时间点或不同时段的三维模型的融合传感器数据。因此，数据集3655可以用于检测物理环境或其部分是否随时间有变化。需注意，至少在一些实施方式中，集成器3651还可以实施距离变换，例如带符号的距离函数(“SDF”)，以确定自主车辆外部的一个或多个表面。在一个示例中，可以实施截断符号距离函数(“TSDF”)或等价函数以识别表面上相对于参考点的一个或多个点(例如，相对于本地姿态，到外部对象表面上点的一个或多个距离)。
集成器3651可以被配置成将城市景观(或任何外部对象特征)的3D模型产生为概率地图，由此地图数据可以代表一个或多个环境性质上的概率分布。例如，可以利用在相对于自主车辆姿态的空间距离或点处的激光强度(例如，平均激光强度或反射率)和红外发射值的方差形成概率地图。用于存储地图数据的数据结构可以包括若干单元，例如包括强度平均值和方差值。在一些示例中，这种或任何其他数据结构还可以包括若干用于存储3D地图数据的单元，例如颜色数据(例如，RGB值或其他色彩空间值)、纹理数据、反射率数据或任何其他表面特性或属性数据(例如，频谱数据)。根据一些示例，被配置成存储地图相关数据的单元可以被实现为体素或3D图块。
制图引擎3654和/或集成器3651以及制图引擎3654的其他部件可以被配置成以“离线”操作模式产生3D地图数据。例如，制图引擎3654可以实施基于记录的数据集(例如，静态数据)分析数据集3655以产生地图数据的算法(例如，机器学习，包括深度学习算法)。不过，要指出的是，制图引擎3654可以不限于离线地图产生，而是还可以实施“在线”地图产生技术，其中，可以实时(或接近实时)接收原始传感器数据的一个或多个部分，以产生地图数据或识别其改变。制图引擎3654可以实施被配置成执行同时局域化和制图(“SLAM”)的逻辑或任何适当的制图技术。
数据变化检测器3653被配置成检测数据集3655a和3655b中的变化，它们是3D地图数据的任意数量数据集的示例。数据变化检测器3653还被配置成产生标识地图数据中已经变化的一部分以及任选地对与地图数据变化部分相关联的对象进行标识或分类的数据。在图示的示例中，包括数据集3655a的若干数据集包括被配置成产生地图数据的地图数据，其在概念上被绘示为3D模型数据3660(例如，时间T1时的道路，包括地图数据3664的部分)。不过，在时间T2，数据变化检测器3653可以检测到另一数量的数据集(包括数据集3655b)包括代表3D模型数据3661的地图数据3665的部分中存在外部对象的数据，由此地图数据3665的部分在不同时间与地图数据3664的部分重合。因此，数据变化检测器3653可以检测地图数据的变化，并可踹进一步自适应地修改地图数据以包括变化的地图数据(例如，更新的地图数据)。
根据一些示例，数据变化检测器3653被配置成执行一个或多个统计变化检测算法以检测物理环境中的变化。也可以使用多时间分析技术或其他适当算法。可以将数据集3655a和3655b的结构实现为累加数据结构，利用该累加数据结构对3D地图数据结构中存储的传感器数据(例如，其测量值)编索引。例如，可以配置统计变化检测算法以通过识别深度学习计算的一次或多次迭代上的边界来检测地图数据变化的部分。具体而言，数据变化检测器3653可以被配置成检测例如在两个或更多数据集上(例如，在将数据集应用到统计变化检测算法或深度学习算法的一次或多次通过或时段上)，地图数据部分3664和3665的边界随时间的变化。时间确定也可以应用于例如构造4D地图和关联的4D地图数据。在一些示例中，数据变化检测器3653可以对地图数据的部分及其中的对象进行分类以识别对象是静态还是动态的。在一些情况下，可以从地图数据的产生中过滤掉动态对象。
制图引擎3654被配置成向参考数据储存库3605中的地图数据储存库3605a提供地图数据3659。制图引擎3654可以被配置成应用地图数据中的变化以形成更新的三维("3D")地图数据，作为参考数据，以发送到一队自主车辆中的参考数据存储装置(即，储存库)。数据变化可以代表感测各种类型传感器数据的环境的状态改变。因此，环境的状态改变可以表示位于其中的对象的状态改变(例如，包括代表有或没有一个或多个对象的数据)。在一些示例中，数据变化管理器3657可以被配置成识别或通过其他方式指定(例如，经由标识符或指示符数据3658)地图数据的一部分包括变化的地图数据3658(或其指示)。如图所示，存储于地图储存库3605a中的地图数据与指示地图数据的关联部分已经变化的指示数据(“δ数据”)3694相关联或链接到其上。再次参考所示出的示例，指示数据3694可以标识设置于与自主车辆行驶通过的3D模型3661相关联的物理环境中的一组交通锥，作为地图数据3665的改变部分。
图块发生器3656可以被配置成基于来自数据集3655a和3655b的地图数据产生二维或三维地图图块。地图图块可以被发送以存储于地图储存库3605a中。图块发生器3656可以产生地图图块，其包括用于指示地图的一部分是地图数据的更新部分的指示符数据。此外，可以将更新地图部分并入自主车辆中的参考数据储存库3605中。因此，考虑自主车辆3630行驶通过物理环境并计划在环境中最近增加的对象(例如，交通锥)附近行驶的示例。定位器(未示出)可以访问与地图数据的变化部分(例如，地图数据的更新部分)相关联的地图数据以对自主车辆进行定位。在检测利用更新地图版本进行局域化的性能时，逻辑可以涉及额外的处理以确保更新地图数据可以被有效并安全地用于对自主车辆3630进行导航。例如，在局域化期间访问或实施包括变化的地图数据的地图图块时，可以产生对远程操作员监测或辅助的请求。需注意，在一些示例中，地图数据的变化部分还指暂时的地图数据，因为这样的数据可能用于比例如验证的地图数据更少的状况中。
然而，应注意的是地图数据的变化部分也可以经验证以集成到地图数据中，由此将变化地图数据的状态从“暂时”过渡到“验证”。为了例示验证这样的数据的示例，考虑可以将地图数据的变化作为更新的三维地图数据输出到模拟器计算装置。模拟器计算装置然后可以基于更新的三维地图数据模拟模拟环境中一队自主车辆的一部分的性能。在验证更新的三维地图数据时，可以合并改变的地图部分以形成新的三维地图数据。“新”三维地图数据可以被视为可以依赖的三维地图数据，从而可以去除变化地图数据的指示(即，变化地图数据3694的指示)，以及对远程操作员辅助的请求(例如，自动请求)的调用。
根据一些示例，制图引擎3654可以包括或被实现为图31中所示的3D制图引擎和/或制图器。此外，制图引擎3654的部件可以被组合或通过其他方式分布于制图引擎3654之内或没有制图引擎。制图引擎3654及其任何部件可以实现于硬件或软件或其组合中。此外，制图引擎3654可以包括本文描述的任何功能和/或结构，包括感知引擎的一个或多个部件，以进行对象检测、分割和/或分类。
作为另一个示例，考虑对准控制器3640可以包括图31的制图引擎3110的一个或多个部件。例如，对准控制器3640可以包括环路闭合检测器3150、配准控制器3152、全球姿态发生器3134和配准细化模块3146。在图36所示的示例中，自主车辆服务平台3601可以实现图31的环路闭合检测器3150作为对准控制器3640的部分，其可以被配置成检测姿态曲线图中图36的自主车辆3630先前经过的一个或多个部分(例如，图31的环路闭合检测器3150可以执行一个或多个环路闭合过程以识别闭合的环路)。配准控制器3152可以被配置成对准或配准相同或不同传感器数据的多个部分或多个帧。例如，可以将图像数据的一个或多个数据集彼此进行变换或通过其他方式映射，以及变换或映射到激光回波数据和/或雷达回波数据的一个或多个数据集。配准控制器3152可以被配置成基于代表位置数据的轨迹数据，对准激光回波数据的子集、图像数据的子集等，以识别全球坐标系的相对坐标。轨迹数据的示例包括GPS数据、IMU数据、测程数据等。全球姿态曲线图发生器3134可以被配置成产生姿态曲线图数据3145，以指定图36的自主车辆相对于全球坐标系的姿态。因此，可以将姿态曲线图的本地检测的姿态参考到全球坐标系。例如，图31的全球姿态曲线图发生器3143可被配置为形成参考全球坐标系的全球姿态曲线图。可以基于第一类型的传感器数据(例如，激光回波数据的子集)和第二类型的传感器数据(例如，图像数据的子集)以及其他任选的传感器数据(例如，雷达数据的子集)形成全球姿态曲线图。此外，全球姿态曲线图发生器3134还可以被配置成将激光回波数据的子集和图像数据的子集对准到相对于全球坐标系的坐标的位置。配准细化模块3146被配置成细化拍摄的图像数据、捕获的激光回波数据或其他捕获的传感器数据，例如雷达数据等的一种或多种的配准。在一些示例中，配准细化模块3146被配置成在例如向3D制图表面上投射彩色数据之后减少或消除地图数据的人为噪声(例如，模糊的人为噪声等)。
图37是绘示了根据一些示例实施更新地图数据的自主车辆控制器的示例的图示。图示3700绘示了被配置成产生地图数据3759的制图引擎3754，其可以被实现为三维地图图块。在图示的示例中，地图数据3759还可以包括变化的地图数据3758，其包括变化地图数据的一部分(例如，用于地图数据的未变部分的地图数据的更新部分)或标识变化地图数据的更新部分的指示(例如，指示符数据或指针)或两者。再次参考图示3700，自主车辆服务平台3701可以被配置为经由网络3702发送地图数据3786和变化的地图数据3788。自主车辆控制器3747使用地图数据3786和/或变化的地图数据3788以定位自主车辆3730。在一些示例中，自主车辆控制器3747可以检测到在局域化期间正在访问变化的地图数据3788。继而，自主车辆控制器3747可以产生远程操作员请求数据3770以请求远程操作员辅助。远程操作员请求数据3770也可以被配置成请求远程操作员至少在访问或实施地图数据的更新部分的局域化期间(或在自主车辆3730接近或行驶在与地图数据的更新部分相关联的物理位置附近时)监测自主车辆3730的性能。
在一些示例中，制图引擎3754产生的制图数据可以用于产生其他参考数据，例如路线数据(例如，路网数据)，例如RNDF样数据、任务数据，例如MDF样数据，和可以用于为一队自主车辆导航的其他参考数据。如图所示，路线数据发生器3780可以被配置成基于未变和/或经验证的地图数据产生路线数据3782。此外，路线发生器3780可以被配置成产生变化的路线数据3784，这可以使用变化和/或未验证的地图数据来产生。在一些情况下，自主车辆控制器3747可以响应于检测到使用变化的路线数据3784而产生远程操作员请求数据3770。因此，可以使用变化的路线数据3784(例如，未验证或暂时地图数据)为自主车辆导航，无论有或没有远程操作员产生的引导数据的辅助。
图38是示出了根据一些示例产生地图数据的示例的流程图。流程3800开始于3802。在3802访问多种类型的传感器数据的子集(例如，在可以包括日志文件的数据存储装置或储存库中)。多种类型的传感器数据的子集可以对应于多个传感器或传感器器件的组。例如，LIDAR传感器数据的子集可以对应于一组从其接收激光回波数据的不同LIDAR传感器。在3804，可以相对于全球坐标系对准传感器数据以形成对准传感器数据。例如，配准过程或算法可以被配置成对准或配准传感器数据。在3806，可以基于对准的传感器数据产生三维地图数据的数据集。在3808，可以相对于三维地图数据的至少两个数据集检测地图数据的变化。可以在3810处应用地图数据的变化以形成更新的三维地图数据。3D地图数据的一个或多个更新的部分可以被格式化，作为参考数据，用于发送到一队自主车辆中的一个或多个车辆。在3812，可以将更新(例如，变化)的三维地图数据发送到至少一个自主车辆。需注意，本文中该流程图和其他流程图中绘示的次序并非意在暗示要求线性地执行各种功能，因为流程图的每个部分都可以与流程图的任一个或多个其他部分串行或并行地，并且独立于或依赖于流程图的其他部分被执行。
图39是绘示了根据一些示例被配置成实现地图数据和本地产生的地图数据的定位器示例的图示。根据各示例，自主车辆("AV")控制器3947的定位器3968可以被配置成基于本地产生的地图数据3941或地图数据3943或其组合来产生本地姿态数据3920。本地姿态数据3920可以包括描述自主车辆3930的本地位置的数据，可以在自主车辆服务平台3901的制图引擎3954处产生地图数据3943。因此，定位器3968可以使用地图数据3943以考虑本地产生的地图数据3841和地图数据3943之间的变化、偏离或差别而进行定位。
图示3900绘示了自主车辆3930，其包括自主车辆控制器3947、本地地图发生器3940和参考数据储存库3905。图示3900还绘示了包括制图引擎3954和远程操作员计算装置3904的自主车辆服务平台3901。参考数据储存库3905包括被配置成存储三维地图数据3943的地图存储装置3905a，以及路线数据存储装置3905b，其可以是用于存储路线数据(例如，有或没有路线数据或路网数据的一部分与变化的路网数据或更新的路网数据相关联的指示)的数据储存库。
本地地图发生器3940可以被配置成接收多种量和类型的传感器数据，例如来自传感器类型3902a、3902b和3902c的传感器数据。根据各示例，本地地图发生器3940可以被配置成基于来自传感器类型3902a、3902b和3902c(例如，来自LIDAR传感器组、相机组、雷达组等)的传感器数据，实时(或接近实时)在本地产生地图数据(例如，三维地图数据)。本地地图发生器3940可以实施被配置成执行同时局域化和制图(“SLAM”)的逻辑或任何适当的制图技术。在至少一些示例中，本地地图发生器3940可以实施“在线”地图发生技术，其中可以实时(或接近实时)接收来自传感器类型3902a到3902c的原始传感器数据的一个或多个部分，以产生用于为自主车辆3930导航的地图数据(或其身份变化)。本地地图发生器3940还可以实施距离变换，例如带符号的距离函数(“SDF”)，以确定自主车辆外部的表面。在一个示例中，可以实施截断符号距离函数(“TSDF”)或等价函数以识别表面上相对于参考点的一个或多个点(例如，到外部对象表面上点的一个或多个距离)，由此可以使用TSDF函数融合传感器数据和表面数据以形成三维本地地图数据3941。
定位器3968可以被配置成接收传感器数据以及本地产生的地图数据3941和地图数据3943，以相对于与三维地图数据3943(或任何其他参考数据)相关联的全球坐标系的坐标定位自主车辆3930。而且，定位器3968被示为包括变体检测器3969a和混合地图选择控制器3969b。变体检测器3969a被配置成将本地产生的地图数据3941与地图数据3943比较，以判断与特定表面或空间中的点相关联的地图数据的部分是否变化。具体而言，变体检测器3969a可以检测到代表本地地图数据3941的一个或多个地图部分的数据(例如，变化数据)相对于三维地图数据3943有变化。
定位器3968在检测到变化的地图数据部分或变化数据时，可以被配置成使用来自本地产生的地图数据3941和地图数据3943的混合地图数据来定位自主车辆3930。在图示的示例中，混合地图选择控制器3969b被配置成控制是否可以将本地产生的地图数据3941或地图数据3943或其组合用于定位。根据一些示例，可以基于例如可以指示每者的可靠性或准确度的对应概率分布，使用不同量的本地产生的地图数据3941和地图数据3943。在一些示例中，混合地图选择控制器3969b可以被配置成表征地图数据3943的一个或多个地图部分和本地地图数据3941的一个或多个部分之间的差异，以形成变化数据。基于变化数据，混合地图选择控制器3969b可以被配置成确定使用本地地图数据3941的优先级和使用地图数据3943的优先级，并可以进一步被配置成使得定位器3968基于变化数据使用第一优先量的本地地图数据3941和第二优先量的三维地图数据3943。例如，考虑变体检测器3969a针对与本地地图数据3941的对应部分相比变化的地图数据3943的几个部分检测到变化数据的示例。进一步考虑本地地图数据3941被确定为对于变化数据的大部分更准确。不过，本地地图数据3941的至少一个部分具有较低概率比地图数据3943的对应部分准确。在这种情况下，混合地图选择控制器3969b可以更多依赖于本地地图数据3941进行定位(对地图数据3943有一些依赖)，但也可以比本地地图数据3941的对应部分(例如，具有更低优先级)更多地依赖于地图数据3943的特定部分(例如，具有更高优先级)进行定位。
图40是绘示了根据一些示例被配置成改变本地产生的传感器和/或地图数据的传输速率或量的定位器示例的图示。图示4000绘示了若干自主车辆，包括自主车辆4030a、4030b、4030c和4030n，图示4000还绘示了包括制图引擎4054和远程操作员逻辑4004的自主车辆服务平台4001，其是与从远程操作员4008接受数据信号(例如，用户输入)的远程操作员计算装置4006相关联而实现的。远程操作员逻辑4004可以设置于服务器计算装置(未示出)或远程操作员计算装置4006中。如图所示，自主车辆4030a可以包括自主车辆控制器4047、参考数据储存库4005(例如，包括用于存储地图数据4046的地图存储装置或储存库4005a，以及路线数据存储装置或储存库4005b)，以及被配置成在自主车辆4030a和自主车辆服务平台4001之间交换数据的收发器4044。再次参考图示4000，自主车辆控制器4047可以包括本地地图发生器4040，其可以被配置成基于来自不同类型传感器4002a到4002c的传感器数据产生本地地图数据4041。自主车辆控制器4047被示为还包括定位器4068，其被示为包括变体检测器4069a和通信控制器4069b，用于产生本地姿态数据4020。需注意，图40的图示4000中绘示的元件可以包括与结合一幅或多幅其他附图，例如图39等描述的元件类似命名的结构和/或功能。
在检测到本地地图数据4041和(制图引擎4054产生的)地图数据4043之间的变化之后，通信控制器4069b可以被配置成控制收发器4044，以及向自主车辆服务平台4001发送的数据的类型或量。因此，根据各示例，通信控制器4069b被配置成提供足够的数据，供远程操作逻辑4004和/或远程操作员4008选择引导数据的最优集合，以解决检测到的地图数据变化问题。通信控制器4069b被配置成提供最优量的数据或数据率，以便节省带宽。为了例示通信控制器4069的操作，考虑变体检测器4069a检测到地图数据4043和本地地图数据4041之间微小或少量的差异。在这种情况下，通信控制器4069b可以发送较少量的数据以为远程操作员4008提供警告，敦促远程操作员至少在自主车辆通过包括微小变化的环境行驶时监测自主车辆4030a。此外，在数据通信连接劣化或速度低期间，可以发送数据的更简单或更抽象表示(例如，具有关联元数据的边界框等)而不是更大量的数据。
作为另一个示例，考虑变体检测器4069a检测到地图数据4043和本地地图数据4041之间较为适量的差异。在这种情况下，通信控制器4069b可以被配置成增大收发器4044的发送带宽以向自主车辆服务平台4001发送本地地图数据4041的一个或多个部分，供远程操作员逻辑4004评估。在又一示例中，考虑变体检测器4069a检测到地图数据4043和本地地图数据4041之间较大量的差异。在这种情况下，通信控制器4069b可以被配置成进一步增大收发器4044的发送带宽以向自主车辆服务平台4001发送高分辨率传感器数据4047的一个或多个部分，以在显示器4009上视觉呈现物理环境。例如，可以发送全部或基本全部Lidar数据，不过，可以发送任意量的少于全部Lidar数据。基于传感器的数据4002可以用于实时(或接近实时)产生三维视图，使得远程操作员4008可以通过视觉识别地图数据的变化。如图所示，最近放置的交通锥4011被识别为变化数据的原因，或者地图数据4043和本地地图数据4041部分之间的差异原因。需注意，上述实施方式仅仅是图示4000中所示元件的任意数量的实施方式的几个示例，这样一来，图示4000的以上描述并非意在限制。
图41是绘示了根据一些示例使用各种量的本地产生的地图数据定位自主车辆的流程图。流程4100开始于4102，包括相对于与三维地图数据相关联的全球坐标系的坐标定位自主车辆。在4104，可以检测变化数据。亦即，可以检测代表三维地图数据中与多个传感器类型产生的感测数据(例如，LIDAR数据、相机数据等)相比发生变化的一个或多个地图部分的数据。在一个示例中，可以利用来自本地地图和来自三维地图的地图数据实现混合地图数据。注意，可以基于例如地图数据各部分的预测准确度使用不同量的本地地图和三维地图。在另一个示例中，在4106，流程4100可以实现来自本地地图和三维地图的混合地图数据；可以在4108产生远程操作员请求。在4110，可以表征三维地图数据和感测数据(例如，用于产生本地地图数据的数据)之间的差异，并且基于该表征，可以在4112处调节向自主车辆平台发送传感器相关数据(例如，原始传感器数据、本地地图数据等)的速率。在4114，产生环境的三维表示，自主车辆在此获取数据以在远程操作员计算装置的显示器上绘示事件。因此，可以通过视觉方式向远程操作员呈现导致地图数据和本地产生的地图数据之间的差异的对象的增加或消失。
图42到43示出了根据各实施例被配置成向自主车辆服务的部件提供各种制图相关功能性的各种计算平台的示例。在一些示例中，计算平台3300可以用于实施计算机程序、应用、方法、过程、算法或其他软件，以执行上述技术。需注意，图33的各种结构和/或功能可以适用于图42和43，这样一来，可以在图33的语境中论述那些图中的一些元件。还需注意，图42的图示4200和图43的图示4300中绘示的元件可以包括与结合一幅或多幅其他附图，例如图33到35等描述的元件类似命名的结构和/或功能。
参考图42中所示的示例，系统存储器3306包括自主车辆服务平台模块4250和/或其部件(例如，制图引擎模块4252等)，其中的任何模块或其一个或多个部分可以被配置成通过实施本文所述的一个或多个功能来方便为自主车辆服务导航。
参考图43中所示的示例，系统存储器3306包括自主车辆(“AV”)模块4350和/或其部件(例如，本地地图发生器模块4352、混合地图选择控制模块4354、通信控制模块4356等)可以实现于例如自主车辆4391中。在一些情况下，系统存储器3306或其部分可以设置于移动计算装置4390a中。模块4350的一个或多个部分可以被配置成通过实施本文所述的一个或多个功能有助于为自主车辆导航。
尽管出于理解清晰的目的以某些细节描述了前述示例，但上述本发明的技术不限于所提供的细节。有很多实施上述发明技术的替代方式。公开的示例为例示性的而非限制性的。
Claims (34)
1.一种用于为一辆或多辆车辆导航的方法，包括：
在计算系统处从一队自主无人驾驶车辆中的多辆无人驾驶车辆接收第一类型的传感器数据，其中所述第一类型的传感器数据是由所述无人驾驶车辆上的第一类型的传感器采集的，以感测所述无人驾驶车辆沿道路驾驶时遇到的环境中的对象；
在所述计算系统处从所述一队自主无人驾驶车辆中的所述多辆无人驾驶车辆接收第二类型的传感器数据，其中所述第二类型的传感器数据是由所述无人驾驶车辆上的第二类型的传感器采集的，以感测所述无人驾驶车辆沿所述道路驾驶时遇到的所述环境中的对象；
在所述计算系统处存储所述第一类型的传感器数据和所述第二类型的传感器数据；
由所述计算系统并且针对特定无人驾驶车辆访问所述第一类型的传感器数据的子集和所述第二类型的传感器数据的子集；
由所述计算系统并且针对所述特定无人驾驶车辆对准所述第一类型的传感器数据的子集和所述第二类型的传感器数据的子集，以提供与所述特定无人驾驶车辆遇到的环境中的对象相关的对准传感器数据；
由所述计算系统并且针对所述特定无人驾驶车辆将所述对准传感器数据与相关于全球坐标系的定位地图对准，以将所述对准传感器数据局域化到所述特定无人驾驶车辆的位置；
由所述计算系统基于所述对准传感器数据和所述定位地图数据产生三维地图数据的数据集；
检测所产生的三维地图数据的数据集和所存储的三维地图数据的数据集之间的变化，所述变化代表所述特定无人驾驶车辆周围环境中的状态变化；
在所述计算系统处更新所存储的三维地图数据的数据集以反映所述环境中的状态变化；以及
向所述一队自主无人驾驶车辆中的多辆无人驾驶车辆发送三维地图数据的更新的数据集，
其中至少部分基于所述三维地图数据的更新的数据集控制所述无人驾驶车辆中的至少一辆。
2.根据权利要求1所述的方法，其中，在所述计算系统处更新所存储的三维地图数据的数据集以反映所述状态变化包括：
将至少两个数据集之间的变化关联到地图部分；
形成更新的地图部分以包括所述变化；以及
将所述更新的地图部分并入所述特定无人驾驶车辆中的参考数据存储装置中，
其中，针对所述特定无人驾驶车辆的局域化而实施所述更新的地图部分调用远程操作员请求。
3.根据权利要求1所述的方法，还包括：
相对于与所存储的三维地图数据的数据集相关联的全球坐标系的坐标对所述特定无人驾驶车辆进行局域化；
检测代表所存储的三维地图数据的数据集的一个或多个地图部分相对于所述特定无人驾驶车辆处保留的本地地图变化的数据；以及
产生远程操作员请求。
4.根据权利要求1所述的方法，还包括：
相对于与所存储的三维地图数据的数据集相关联的全球坐标系的坐标对所述特定无人驾驶车辆进行局域化；以及
检测代表所存储的三维地图数据的数据集的一个或多个地图部分相对于所述特定无人驾驶车辆处保留的本地地图变化的数据。
5.根据权利要求4所述的方法，还包括对照来自所述本地地图和所存储的三维地图数据的数据集的混合地图数据对所述特定无人驾驶车辆进行局域化。
6.根据权利要求1所述的方法，其中访问所述第一类型的传感器数据的子集和所述第二类型的传感器数据的子集包括分别接收激光回波数据的子集和接收图像数据的子集，其中激光回波数据的每个子集都与Lidar传感器相关联，并且图像数据的每个子集都与图像捕获装置相关联。
7.根据权利要求6所述的方法，还包括将源自一组雷达传感器的雷达数据的子集接收到数据存储装置中，其中每个子集雷达数据都与雷达传感器相关联。
8.根据权利要求6所述的方法，其中对准所述第一类型的传感器数据的子集与所述第二类型的传感器数据的子集并且对准所述对准传感器数据包括：
基于所述第一类型的传感器数据的子集和所述第二类型的传感器数据的子集，相对于所述全球坐标系形成全球姿态曲线图；以及
将所述激光回波数据的子集和所述图像数据的子集与相对于所述全球坐标系的坐标的位置进行对准。
9.根据权利要求8所述的方法，其中将所述激光回波数据的子集和所述图像数据的子集与相对于所述全球坐标系的坐标的位置进行对准包括接收代表位置数据的轨迹数据以识别所述全球坐标系的坐标。
10.根据权利要求8所述的方法，其中形成所述全球姿态曲线图包括执行一个或多个环路闭合过程以识别闭合环路。
11.根据权利要求6所述的方法，其中产生三维地图数据的数据集还包括对包括所述激光回波数据的子集和所述图像数据的子集的至少两种类型的传感器数据进行集成。
12.根据权利要求11所述的方法，其中集成所述至少两种类型的传感器数据包括融合所述激光回波数据的子集和所述图像数据的子集以将所产生的三维地图数据的数据集形成为包括三维图块数据。
13.根据权利要求11所述的方法，其中集成所述至少两种类型的传感器数据包括将所述图像数据的子集的像素数据相关到所述激光回波数据的子集的激光数据。
14.根据权利要求13所述的方法，还包括将一个或多个像素的像素数据关联到一个或多个激光回波的激光数据，所述激光数据与三维图块数据中的表面的一部分相关联，其中所述像素数据指定一个或多个表面特性，包括纹理、颜色、反射率或透明度。
15.根据权利要求1所述的方法，其中：
接收所述第一类型的传感器数据和接收所述第二类型的传感器数据包括经由网络接收所述第一类型的传感器数据和所述第二类型的传感器数据；并且
向数据库中记录所述第一类型的传感器数据和所述第二类型的传感器数据。
16.根据权利要求4所述的方法，还包括：
表征所存储的三维地图数据的数据集的一个或多个地图部分和所述本地地图之间的差异；以及
使用所述本地地图的至少部分和所述一个或多个地图部分的至少部分更新所存储的三维地图数据的数据集。
17.根据权利要求1所述的方法，还包括：
将所更新的三维地图数据的数据集输出到模拟器计算装置；以及
基于所更新的三维地图数据的数据集对模拟环境中的所述一队自主车辆的一部分的性能进行模拟。
18.一种用于为一辆或多辆车辆导航的方法，包括：
在计算系统处从一队自主车辆中的个体自主车辆接收多种类型的传感器数据，所述传感器数据指示驾驶条件和所述队中的所述自主车辆周围环境中存在的对象；
在数据存储装置中存储所述多种类型的传感器数据；
从所述数据存储装置访问从第一位置处的第一自主车辆接收的第一类型的传感器数据的子集，所述第一类型的传感器数据的子集源自所述第一自主车辆上的一个或多个第一传感器；
从所述数据存储装置访问从所述第一位置处的所述第一自主车辆接收的第二类型的传感器数据的子集，所述第二类型的传感器数据的子集源自所述第一自主车辆上的一个或多个第二传感器；
将所述第一类型的传感器数据的子集与所述第二类型的传感器数据的子集对准，以形成对准传感器数据；
在所述计算系统处判断所述对准传感器数据是否表明所述第一位置的所存储地图和所述车辆在所述第一位置时感测到的所述第一自主车辆周围环境之间有变化；
更新所存储的地图以反映所述变化；以及
从所述计算系统向一队自主车辆中的个体自主车辆发送所更新的地图，
其中至少部分基于所更新的地图控制所述自主车辆中的至少一辆。
19.根据权利要求18所述的方法，其中判断所述对准传感器数据是否表明有变化包括：
相对于与地图数据相关联的全球坐标系对所述第一自主车辆进行局域化；以及
检测所述地图数据的一个或多个地图部分和所述第一自主车辆处保留的本地地图之间的差异。
20.根据权利要求19所述的方法，还包括：
表征所述地图数据的一个或多个地图部分和所述本地地图之间的差异；以及
使用所述本地地图的至少部分和所述一个或多个地图部分的至少部分更新所存储的地图。
21.根据权利要求18所述的方法，还包括：
将所更新的地图输出到模拟器计算装置；以及
在所述模拟器计算装置处基于所更新的地图对模拟环境中的所述一队自主车辆的一部分的性能进行模拟。
22.根据权利要求18所述的方法，还包括将所述对准传感器数据与全球坐标系对准。
23.一种用于为一辆或多辆车辆导航的系统，包括：
被配置成在路网上与其他机动车辆一起在车流中自主驾驶的无人驾驶车辆，所述无人驾驶车辆为乘客车辆并且具有多个传感器，所述传感器用于感测所述无人驾驶车辆周围环境中的一个或多个对象；以及
通信耦合以从所述无人驾驶车辆接收数据并且向所述无人驾驶车辆发送指令的计算系统，所述计算系统被编程为：
从所述无人驾驶车辆接收多种类型的传感器数据，所述传感器数据与所述无人驾驶车辆在一位置时环境中的一个或多个对象相关；
处理所述多种类型的传感器数据以判断所述传感器数据是否指示相对于所述环境中的所述一个或多个对象在所述环境中检测到的与所述位置的地图数据相比的变化；
更新所述位置的地图数据以反映所述环境中检测到的变化；以及
向所述无人驾驶车辆发送所更新的地图数据，
其中所述无人驾驶车辆利用所更新的地图数据更新所述地图数据的本地版本。
24.根据权利要求23所述的系统，其中所述计算系统远离且独立于所述无人驾驶车辆。
25.根据权利要求23所述的系统，其中所述无人驾驶车辆是一队无人驾驶车辆的一部分，所述计算系统还被编程为向所述队中的多辆无人驾驶车辆发送所更新的地图数据。
26.根据权利要求25所述的系统，还包括模拟器，所述模拟器被配置成基于所更新的地图数据模拟所述一队无人驾驶车辆在模拟环境中的性能。
27.根据权利要求23所述的系统，还包括被配置成向人类远程操作员呈现所更新的地图数据的远程操作员计算装置。
28.根据权利要求23所述的系统，其中所述计算系统还被编程为对准所述多种类型的传感器数据以提供与所述环境中所述位置处的一个或多个对象相关的对准传感器数据。
29.一种用于为一辆或多辆车辆导航的系统，包括：
被配置为在道路上自主驾驶的无人驾驶车辆，所述无人驾驶车辆具有用于感测围绕所述无人驾驶车辆的环境中的一个或者多个对象的多个传感器；以及
通信耦合以从所述无人驾驶车辆接收数据并且向所述无人驾驶车辆发送指令的计算系统，所述计算系统被编程为；
从所述无人驾驶车辆接收多种类型的传感器数据，所述传感器数据与所述无人驾驶车辆在一位置时环境中的一个或多个对象相关；
处理所述多种类型的传感器数据以判断所述传感器数据是否指示相对于所述环境中的所述一个或多个对象在所述环境中检测到的与所述位置的地图数据相比的变化；
更新所述位置的地图数据以反映所述环境中检测到的变化；以及
向所述无人驾驶车辆发送所更新的地图数据，
其中所述无人驾驶车辆利用所更新的地图数据更新所述地图数据的本地版本。
30.根据权利要求29所述的系统，其中所述计算系统远离且独立于所述无人驾驶车辆。
31.根据权利要求29所述的系统，其中所述无人驾驶车辆是一队无人驾驶车辆的一部分，所述计算系统还被编程为向所述队中的多辆无人驾驶车辆发送所更新的地图数据。
32.根据权利要求31所述的系统，还包括模拟器，所述模拟器被配置成基于所更新的地图数据模拟所述一队无人驾驶车辆在模拟环境中的性能。
33.根据权利要求29所述的系统，还包括被配置成向人类远程操作员呈现所更新的地图数据的远程操作员计算装置。
34.根据权利要求29所述的系统，其中所述计算系统还被编程为对准所述多种类型的传感器数据以提供与所述环境中所述位置处的一个或多个对象相关的对准传感器数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111033039.XA CN113721629B (zh) | 2015-11-04 | 2016-11-03 | 响应于物理环境的改变自适应制图以对自主车辆进行导航 |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/932,963 | 2015-11-04 | ||
| US14/932,959 US9606539B1 (en) | 2015-11-04 | 2015-11-04 | Autonomous vehicle fleet service and system |
| US14/932,963 US9612123B1 (en) | 2015-11-04 | 2015-11-04 | Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes |
| US14/932,959 | 2015-11-04 | ||
| PCT/US2016/060368 WO2017079460A2 (en) | 2015-11-04 | 2016-11-03 | Aptive mapping to navigate autonomous vehicles responsive to physical environment changes |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111033039.XA Division CN113721629B (zh) | 2015-11-04 | 2016-11-03 | 响应于物理环境的改变自适应制图以对自主车辆进行导航 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108369775A CN108369775A (zh) | 2018-08-03 |
| CN108369775B true CN108369775B (zh) | 2021-09-24 |
Family
ID=63012714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680064836.5A Active CN108369775B (zh) | 2015-11-04 | 2016-11-03 | 响应于物理环境的改变自适应制图以对自主车辆进行导航 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108369775B (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10360714B1 (en) * | 2018-09-14 | 2019-07-23 | Lyft, Inc. | Systems and methods for displaying autonomous vehicle environmental awareness |
| US10782136B2 (en) * | 2018-09-28 | 2020-09-22 | Zoox, Inc. | Modifying map elements associated with map data |
| US11841437B2 (en) * | 2018-10-12 | 2023-12-12 | Baidu Usa Llc | Automatic lidar calibration based on pre-collected static reflection map for autonomous driving |
| US20200133272A1 (en) * | 2018-10-29 | 2020-04-30 | Aptiv Technologies Limited | Automatic generation of dimensionally reduced maps and spatiotemporal localization for navigation of a vehicle |
| DK180774B1 (en) | 2018-10-29 | 2022-03-04 | Motional Ad Llc | Automatic annotation of environmental features in a map during navigation of a vehicle |
| CN109816588B (zh) * | 2018-12-29 | 2023-03-21 | 百度在线网络技术（北京）有限公司 | 行车轨迹线的记录方法、装置及设备 |
| CN113793550B (zh) * | 2019-01-16 | 2023-06-20 | 北京百度网讯科技有限公司 | 地图数据的采集方法、装置、设备和存储介质 |
| EP3707469B1 (en) * | 2019-01-30 | 2023-10-11 | Baidu.com Times Technology (Beijing) Co., Ltd. | A point clouds registration system for autonomous vehicles |
| CN109840504B (zh) * | 2019-02-01 | 2022-11-25 | 腾讯科技（深圳）有限公司 | 物品取放行为识别方法、装置、存储介质及设备 |
| DE102019102769A1 (de) * | 2019-02-05 | 2020-08-06 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug |
| US11402220B2 (en) * | 2019-03-13 | 2022-08-02 | Here Global B.V. | Maplets for maintaining and updating a self-healing high definition map |
| CN110032800B (zh) * | 2019-04-15 | 2021-03-16 | 中南大学 | 一种基于sdf的长大货物铁路运输智能辅助选线方法 |
| US11100339B2 (en) * | 2019-05-20 | 2021-08-24 | Zoox, Inc. | Closed lane detection |
| CN112823294B (zh) * | 2019-09-18 | 2024-02-02 | 北京航迹科技有限公司 | 用于标定相机和多线激光雷达的系统和方法 |
| CN110930506B (zh) * | 2019-10-11 | 2022-09-09 | 深圳市道通智能航空技术股份有限公司 | 三维地图生成方法、移动装置和计算机可读存储介质 |
| CN111026873B (zh) * | 2019-10-24 | 2023-06-20 | 中国人民解放军军事科学院国防科技创新研究院 | 无人车及其导航方法、装置 |
| EP3816944B1 (en) * | 2019-10-29 | 2024-02-28 | Volkswagen AG | Method, computer program, apparatus, vehicle, and traffic entity for updating an environmental model of a vehicle |
| CN111209261B (zh) * | 2020-01-02 | 2020-11-03 | 邑客得（上海）信息技术有限公司 | 基于信令大数据的用户出行轨迹提取方法和系统 |
| CN113283269A (zh) * | 2020-02-20 | 2021-08-20 | 上海博泰悦臻电子设备制造有限公司 | 用于标识地图的方法、电子设备和计算机存储介质 |
| CN111459172B (zh) * | 2020-05-20 | 2023-10-31 | 中国北方车辆研究所 | 围界安防无人巡逻车自主导航系统 |
| CN112257535B (zh) * | 2020-10-15 | 2022-04-08 | 天目爱视（北京）科技有限公司 | 一种躲避物体的三维匹配的设备及方法 |
| CN112669354A (zh) * | 2020-12-08 | 2021-04-16 | 重庆邮电大学 | 一种基于车辆非完整约束的多相机运动状态估计方法 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100449266C (zh) * | 2002-08-09 | 2009-01-07 | 爱信艾达株式会社 | 地图显示装置 |
| KR100754168B1 (ko) * | 2004-11-12 | 2007-09-03 | 삼성전자주식회사 | 지도 데이터 업데이트 방법 및 장치와, 그 방법을수행하기 위한 프로그램이 저장된 기록 매체 |
| US20060267799A1 (en) * | 2005-05-09 | 2006-11-30 | Ehud Mendelson | Parking detector - a system and method for detecting and navigating to empty parking spaces utilizing a cellular phone application |
| DE102005053125A1 (de) * | 2005-11-08 | 2007-05-10 | Bayerische Motoren Werke Ag | Verfahren zur Aktualisierung von Kartendaten eines Navigationssystems und System zur Aktualisierung von Kartendaten eines Navigationssystems |
| US7920071B2 (en) * | 2006-05-26 | 2011-04-05 | Itt Manufacturing Enterprises, Inc. | Augmented reality-based system and method providing status and control of unmanned vehicles |
| CN101641610A (zh) * | 2007-02-21 | 2010-02-03 | 电子地图北美公司 | 用于包含绝对及相对坐标的车辆导航及领航的系统及方法 |
| US8260485B1 (en) * | 2007-04-26 | 2012-09-04 | The Boeing Company | Adaptive multi-vehicle area coverage optimization system and method |
| JP4466683B2 (ja) * | 2007-05-31 | 2010-05-26 | アイシン・エィ・ダブリュ株式会社 | 地図更新システム及び地図更新方法 |
| NO20082337L (no) * | 2008-05-22 | 2009-11-23 | Modulprodukter As | Fremgangsmate til fremstilling av veikart og bruk av samme, samt system for veikart |
| GR1006698B (el) * | 2008-12-22 | 2010-02-05 | Μεθοδολογια και συστημα για συλλογη, επεξεργασια και διανομη δεδομενων οδικης κινησης για βελτιωμενη δρομολογηση σε συστηματα δορυφορικης πλοηγησης οχηματων | |
| US9389085B2 (en) * | 2010-01-22 | 2016-07-12 | Qualcomm Incorporated | Map handling for location based services in conjunction with localized environments |
| US20110190972A1 (en) * | 2010-02-02 | 2011-08-04 | Gm Global Technology Operations, Inc. | Grid unlock |
| US8346478B2 (en) * | 2010-03-25 | 2013-01-01 | GM Global Technology Operations LLC | Location and mobile-adaptation of wireless access-points using map-based navigation |
| DE102011084993A1 (de) * | 2011-10-21 | 2013-04-25 | Robert Bosch Gmbh | Übernahme von Daten aus bilddatenbasierenden Kartendiensten in ein Assistenzsystem |
| CN103528593A (zh) * | 2012-07-06 | 2014-01-22 | 厦门雅迅网络股份有限公司 | 一种自驾游车队导航的地图显示方法 |
| CN103260013A (zh) * | 2013-05-30 | 2013-08-21 | 水木路拓科技(北京)有限公司 | 基于视频图像处理技术的路网交通卫星地图视频显示系统 |
| US9547989B2 (en) * | 2014-03-04 | 2017-01-17 | Google Inc. | Reporting road event data and sharing with other vehicles |
| JP6137001B2 (ja) * | 2014-03-14 | 2017-05-31 | 株式会社デンソー | 車載装置 |
-
2016
- 2016-11-03 CN CN201680064836.5A patent/CN108369775B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108369775A (zh) | 2018-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108369775B (zh) | 响应于物理环境的改变自适应制图以对自主车辆进行导航 | |
| CN113721629B (zh) | 响应于物理环境的改变自适应制图以对自主车辆进行导航 | |
| JP7330259B2 (ja) | 自律車両のためのシミュレーションシステム、方法、及び非一時的なコンピュータ可読記憶媒体 | |
| US11796998B2 (en) | Autonomous vehicle fleet service and system | |
| CN108292134B (zh) | 自主车辆、用于控制其的方法和系统以及计算机可读介质 | |
| US11106218B2 (en) | Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes | |
| US10921811B2 (en) | Adaptive autonomous vehicle planner logic | |
| CN108292474B (zh) | 派遣和维护自主车辆的车队的协调 | |
| US20200074024A1 (en) | Simulation system and methods for autonomous vehicles | |
| WO2017079229A1 (en) | Simulation system and methods for autonomous vehicles | |
| JP2022137160A (ja) | 遠隔操作および／またはプランナ決定を最適化するための機械学習システムおよび技法 | |
| US20240028031A1 (en) | Autonomous vehicle fleet service and system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |