JP2022540640A - 自律的デバイスのリアルタイム制御のためのシステムおよび方法 - Google Patents
自律的デバイスのリアルタイム制御のためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2022540640A JP2022540640A JP2022501336A JP2022501336A JP2022540640A JP 2022540640 A JP2022540640 A JP 2022540640A JP 2022501336 A JP2022501336 A JP 2022501336A JP 2022501336 A JP2022501336 A JP 2022501336A JP 2022540640 A JP2022540640 A JP 2022540640A
- Authority
- JP
- Japan
- Prior art keywords
- occupancy grid
- sdsf
- processor
- global
- delivery vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 220
- 230000007613 environmental effect Effects 0.000 claims abstract description 46
- 230000008859 change Effects 0.000 claims abstract description 13
- 238000012384 transportation and delivery Methods 0.000 claims description 112
- 230000003068 static effect Effects 0.000 claims description 39
- 230000033001 locomotion Effects 0.000 claims description 27
- 238000002372 labelling Methods 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 20
- 238000009966 trimming Methods 0.000 claims description 19
- 238000013459 approach Methods 0.000 claims description 18
- 238000009499 grossing Methods 0.000 claims description 18
- 230000001052 transient effect Effects 0.000 claims description 18
- 239000007788 liquid Substances 0.000 claims description 14
- 239000000872 buffer Substances 0.000 claims description 13
- 238000001816 cooling Methods 0.000 claims description 13
- 238000004146 energy storage Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 5
- 230000004888 barrier function Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 35
- 235000012489 doughnuts Nutrition 0.000 description 21
- 230000008569 process Effects 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 18
- 238000001514 detection method Methods 0.000 description 13
- 230000000712 assembly Effects 0.000 description 8
- 238000000429 assembly Methods 0.000 description 8
- 239000002826 coolant Substances 0.000 description 8
- 239000003607 modifier Substances 0.000 description 8
- 230000008447 perception Effects 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013439 planning Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 241000282373 Panthera pardus Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000009194 climbing Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000002250 progressing effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000004441 surface measurement Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- NAPPWIFDUAHTRY-XYDRQXHOSA-N (8r,9s,10r,13s,14s,17r)-17-ethynyl-17-hydroxy-13-methyl-1,2,6,7,8,9,10,11,12,14,15,16-dodecahydrocyclopenta[a]phenanthren-3-one;(8r,9s,13s,14s,17r)-17-ethynyl-13-methyl-7,8,9,11,12,14,15,16-octahydro-6h-cyclopenta[a]phenanthrene-3,17-diol Chemical compound O=C1CC[C@@H]2[C@H]3CC[C@](C)([C@](CC4)(O)C#C)[C@@H]4[C@@H]3CCC2=C1.OC1=CC=C2[C@H]3CC[C@](C)([C@](CC4)(O)C#C)[C@@H]4[C@@H]3CCC2=C1 NAPPWIFDUAHTRY-XYDRQXHOSA-N 0.000 description 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 208000019300 CLIPPERS Diseases 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 208000021930 chronic lymphocytic inflammation with pontine perivascular enhancement responsive to steroids Diseases 0.000 description 1
- -1 compacted dirt Substances 0.000 description 1
- 239000004567 concrete Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 239000004519 grease Substances 0.000 description 1
- 244000144980 herd Species 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000002362 mulch Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 150000003071 polychlorinated biphenyls Chemical class 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
- B60W60/00256—Delivery operations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
- G01C21/3461—Preferred or disfavoured areas, e.g. dangerous zones, toll or emission zones, intersections, manoeuvre types, segments such as motorways, toll roads, ferries
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/865—Combination of radar systems with lidar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
- G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
- B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0008—Feedback, closed loop systems or details of feedback error signal
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
- B60W2050/0052—Filtering, filters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/54—Audio sensitive means, e.g. ultrasound
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9318—Controlling the steering
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/93185—Controlling the brakes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9319—Controlling the accelerator
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9323—Alternative operation using light waves
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- Acoustics & Sound (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
能力において有利に変動され、有利に位置付けられ、環境条件に対して有利に影響されないセンサを有する、自律的車両。センサからのデータとともに、例えば、実質的不連続表面特徴を含む、マップを受信し、マップおよびデータに基づいて、占有グリッドを作成し、その上で自律的車両がナビゲートする表面のタイプに基づいて、自律的車両の構成を変更することができる、自律的車両上で実行されるシステム。本デバイスは、不連続表面および他の障害物を横断することを含め、表面ならびに表面特徴を安全にナビゲートすることができる。
Description
(関連出願の相互参照)
本実用特許出願は、参照することによってその全体として本明細書に組み込まれる、2020年2月25日に出願され、「System and Method for Surface Feature Detection and Traversal」と題された、米国特許出願第16/800,497号(弁理士整理番号第AA164号)の一部継続出願である。本特許出願は、2019年7月10日に出願され、「Apparatus for Long and Short Range Sensors on an Autonomous Delivery Device」と題された、米国仮特許出願第62/872,396号(弁理士整理番号第AA028号)、2020年3月17日に出願され、「System and Method for Managing an Occupancy Grid」と題された、米国仮特許出願第62/990,485号(弁理士整理番号第AA037号)、および2019年7月10日に出願され、「System and Method for Real-Time Control of the Configuration of an Autonomous Device」と題された、米国仮特許出願第62/872,320号(弁理士整理番号第Z96号)の利益を主張する。
本実用特許出願は、参照することによってその全体として本明細書に組み込まれる、2020年2月25日に出願され、「System and Method for Surface Feature Detection and Traversal」と題された、米国特許出願第16/800,497号(弁理士整理番号第AA164号)の一部継続出願である。本特許出願は、2019年7月10日に出願され、「Apparatus for Long and Short Range Sensors on an Autonomous Delivery Device」と題された、米国仮特許出願第62/872,396号(弁理士整理番号第AA028号)、2020年3月17日に出願され、「System and Method for Managing an Occupancy Grid」と題された、米国仮特許出願第62/990,485号(弁理士整理番号第AA037号)、および2019年7月10日に出願され、「System and Method for Real-Time Control of the Configuration of an Autonomous Device」と題された、米国仮特許出願第62/872,320号(弁理士整理番号第Z96号)の利益を主張する。
本願は、参照することによってその全体として本明細書に組み込まれる、2018年7月13日に出願され、「MOBILITY DEVICE」と題された、米国特許出願第16/035,205号(弁理士整理番号第X80号)、2017年10月18日に出願され、「MOBILITY DEVICE」と題された、米国特許出願第15/787,613号(弁理士整理番号第W10号)、2017年5月20日に出願され、「MOBILITY DEVICE」と題された、米国特許出願第15/600,703号(弁理士整理番号第U22号)、2018年5月17日に出願され、「SYSTEM AND METHOD FOR SECURE REMOTE CONTROL OF A MEDICAL DEVICE」と題された、米国特許出願第15/982,737号(弁理士整理番号第X55号)、2017年7月15日に出願され、「MOBILITY DEVICE IMPROVEMENTS」と題された、米国仮出願第62/532,993号(弁理士整理番号第U30号)、2017年9月15日に出願され、「MOBILITY DEVICE SEAT」と題された、米国仮出願第62/559,263号(弁理士整理番号第V85号)、および2017年11月4日に出願され、「MOBILITY DEVICE SEAT」と題された、米国仮出願第62/581,670号(弁理士整理番号第W07号)に関連する。
本教示は、概して、AVに関し、より具体的には、自律的ルート計画、グローバル占有グリッド管理、車両上センサ、表面特徴検出および横断、ならびにリアルタイム車両構成変更に関する。
(背景)
AVおよび半自律的車両(AV)のナビゲーションは、典型的には、例えば、限定ではないが、LIDAR、カメラ、ステレオカメラ、およびレーダを含む、長距離センサに依拠する。長距離センサは、AVから4~100メートルを感知することができる。対照的に、物体回避および/または表面検出は、典型的には、例えば、限定ではないが、ステレオカメラ、短距離レーダ、ならびに超音波センサを含む、短距離センサに依拠する。これらの短距離センサは、典型的には、AVの周囲約5メートルの面積または体積を観察する。センサは、例えば、その環境内でAVを配向すること、ならびに所望の目的地に到達するように道路、歩道、障害物、および開放空間をナビゲートすることを可能にすることができる。センサはまた、人間、標識、交通信号、障害物、および表面特徴を視覚化することを可能にすることができる。
AVおよび半自律的車両(AV)のナビゲーションは、典型的には、例えば、限定ではないが、LIDAR、カメラ、ステレオカメラ、およびレーダを含む、長距離センサに依拠する。長距離センサは、AVから4~100メートルを感知することができる。対照的に、物体回避および/または表面検出は、典型的には、例えば、限定ではないが、ステレオカメラ、短距離レーダ、ならびに超音波センサを含む、短距離センサに依拠する。これらの短距離センサは、典型的には、AVの周囲約5メートルの面積または体積を観察する。センサは、例えば、その環境内でAVを配向すること、ならびに所望の目的地に到達するように道路、歩道、障害物、および開放空間をナビゲートすることを可能にすることができる。センサはまた、人間、標識、交通信号、障害物、および表面特徴を視覚化することを可能にすることができる。
表面特徴横断は、表面特徴、例えば、限定ではないが、実質的不連続表面特徴(SDSF)が、異種の形態の中に見出され得、その形態が、具体的地理に一意であり得るため、課題となり得る。しかしながら、例えば、限定ではないが、傾斜、縁、縁石、段差、および縁石様幾何学形状等(本明細書では、非限定的方法で、SDSFまたは単純に表面特徴と称される)等のSDSFは、それらの識別を補助し得るいくつかの典型的な特性を含むことができる。表面/道路条件および表面タイプは、例えば、多感覚データを融合することによって認識ならびに分類されることができ、これは、複雑かつ高コストであり得る。表面特徴および条件は、AVの物理的再構成をリアルタイムで制御するために使用されることができる。
センサは、AVに関する経路計画目的のために、世界を表し得る占有グリッドの作成を可能にするために使用されることができる。経路計画は、空間を自由、占有、または未知として識別するグリッドを要求する。しかしながら、空間が占有されている確率は、空間に関する意思決定を改良することができる。確率の対数オッズ表現が、0および1の確率の数値境界における正確度を増加させるために使用されることができる。セルが占有されている確率は、少なくとも新しいセンサ情報、以前のセンサ情報、および事前の占有情報に依存し得る。
必要とされるものは、可変地形横断を遂行するために、集積されたセンサデータおよびリアルタイムセンサデータを車両の物理的構成の変更と組み合わせるシステムである。必要とされるものは、物理的構成変更、可変地形横断、および物体回避を達成するために有利なセンサ設置である。必要とされるものは、SDSF識別に関するいくつかの基準と関連付けられるマルチパートモデルに基づいてSDSFを位置特定する能力である。必要とされるものは、候補横断アプローチ角度、候補表面特徴の両側上の候補横断走行表面、および候補横断経路障害物のリアルタイム判定等の基準に基づいて、候補表面特徴横断を判定することである。必要とされるものは、走行可能表面およびデバイスモード情報を占有グリッド判定に組み込むためのシステムならびに方法である。
(要約)
本教示のAVは、所望の場所に自律的にナビゲートすることができる。いくつかの構成では、AVは、センサと、知覚サブシステムと、自律性サブシステムと、ドライバサブシステムとを含む、デバイスコントローラと、電力基部と、4つの動力供給される車輪と、2つのキャスタ車輪と、貨物コンテナとを含むことができる。いくつかの構成では、知覚および自律性サブシステムは、センサ情報(知覚)ならびにマップ情報(知覚および自律性)を受信ならびに処理することができ、指示をドライバサブシステムに提供することができる。マップ情報は、表面分類と、関連付けられるデバイスモードとを含むことができる。ドライバサブシステムによって制御され、電力基部によって可能にされる、AVの移動は、センササブシステムによって感知され、フィードバックループを提供することができる。いくつかの構成では、SDSFは、例えば、本明細書に説明されるプロセスに従って、点群データから正確に識別され、マップ内に記憶されることができる。AVの場所と関連付けられるマップの部分は、ナビゲーションの間にAVに提供されることができる。知覚サブシステムは、横断されるべき経路が現在占有されている確率についてAVに知らせ得る、占有グリッドを維持することができる。いくつかの構成では、AVは、複数の明確に異なるモードで動作することができる。モードは、他の利益の中でもとりわけ、複雑な地形横断を可能にすることができる。マップ(例えば、表面分類)、センサデータ(AVを囲繞する特徴を感知する)、占有グリッド(来たる経路点が占有されている確率)、モード(困難な地形を横断することができる状態かどうか)の組み合わせが、AVの方向、構成、および速度を識別するために使用されることができる。
本教示のAVは、所望の場所に自律的にナビゲートすることができる。いくつかの構成では、AVは、センサと、知覚サブシステムと、自律性サブシステムと、ドライバサブシステムとを含む、デバイスコントローラと、電力基部と、4つの動力供給される車輪と、2つのキャスタ車輪と、貨物コンテナとを含むことができる。いくつかの構成では、知覚および自律性サブシステムは、センサ情報(知覚)ならびにマップ情報(知覚および自律性)を受信ならびに処理することができ、指示をドライバサブシステムに提供することができる。マップ情報は、表面分類と、関連付けられるデバイスモードとを含むことができる。ドライバサブシステムによって制御され、電力基部によって可能にされる、AVの移動は、センササブシステムによって感知され、フィードバックループを提供することができる。いくつかの構成では、SDSFは、例えば、本明細書に説明されるプロセスに従って、点群データから正確に識別され、マップ内に記憶されることができる。AVの場所と関連付けられるマップの部分は、ナビゲーションの間にAVに提供されることができる。知覚サブシステムは、横断されるべき経路が現在占有されている確率についてAVに知らせ得る、占有グリッドを維持することができる。いくつかの構成では、AVは、複数の明確に異なるモードで動作することができる。モードは、他の利益の中でもとりわけ、複雑な地形横断を可能にすることができる。マップ(例えば、表面分類)、センサデータ(AVを囲繞する特徴を感知する)、占有グリッド(来たる経路点が占有されている確率)、モード(困難な地形を横断することができる状態かどうか)の組み合わせが、AVの方向、構成、および速度を識別するために使用されることができる。
マップを準備することに関して、いくつかの構成では、AVによって遭遇される少なくとも1つのSDSFをナビゲートするためのマップを作成するための本教示の方法であって、AVは、表面にわたる経路を進行し、表面は、少なくとも1つのSDSFを含み、経路は、開始点と、終了点とを含み、本方法は、限定ではないが、表面を表す点群データにアクセスすることと、点群データをフィルタリングすることと、フィルタリングされた点群データを処理可能部分に形成することと、処理可能部分を少なくとも1つの凹多角形に併合することとを含むことができる。本方法は、少なくとも1つの凹多角形内の少なくとも1つのSDSFを位置特定および標識化することを含むことができる。位置特定および標識化することは、標識化された点群データを形成することができる。本方法は、少なくとも、少なくとも1つの凹多角形に基づいて、グラフ化多角形を作成することと、少なくともグラフ化多角形に基づいて、開始点から終了点までの経路を選定することとを含むことができる。ナビゲートするとき、AVは、経路に沿って少なくとも1つのSDSFを横断することができる。
点群データをフィルタリングすることは、随意に、点群データから過渡物体を表す点および外れ値を表す点を条件付きで除去することと、事前選択された高さを有する除去された点を置換することとを含むことができる。処理部分を形成することは、随意に、点群データを処理可能部分にセグメント化することと、処理可能部分から事前選択された高さの点を除去することとを含むことができる。処理可能部分を併合することは、随意に、外れ値、ボクセル、および法線を分析することによって、処理可能部分のサイズを縮小することと、縮小サイズの処理可能部分からの領域を拡大させることと、拡大された領域から初期走行可能表面を判定することと、初期走行可能表面をセグメント化およびメッシュ化することと、セグメント化およびメッシュ化された初期走行可能表面内の多角形を位置特定することと、少なくとも多角形に基づいて、走行可能表面を設定することとを含むことができる。少なくとも1つのSDSF特徴を位置特定および標識化することは、随意に、SDSFフィルタに従って、走行可能表面の点群データをソートすることであって、SDSFフィルタは、少なくとも3つのカテゴリの点を含む、ことと、少なくとも、カテゴリの点が、組み合わせて、少なくとも1つの第1の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF点を位置特定することとを含むことができる。本方法は、随意に、少なくとも、複数の少なくとも1つのSDSF点が、組み合わせて、少なくとも1つの第2の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF軌道を作成することを含むことができる。グラフ化多角形を作成することはさらに、随意に、少なくとも1つの走行可能表面から少なくとも1つの多角形を作成することを含むことができる。少なくとも1つの多角形は、縁を含むことができる。グラフ化多角形を作成することは、縁を平滑化することと、平滑化された縁に基づいて、走行マージンを形成することと、少なくとも1つのSDSF軌道を少なくとも1つの走行可能表面に追加することと、少なくとも1つの第3の事前選択された基準に従って、少なくとも1つの走行可能表面から縁を除去することとを含むことができる。縁の平滑化は、随意に、縁を外向きにトリミングすることを含むことができる。平滑化された縁の走行マージンを形成することは、随意に、外向き縁を内向きにトリミングすることを含むことができる。
いくつかの構成では、AVによって遭遇される少なくとも1つのSDSFをナビゲートするためのマップを作成するための本教示のシステムであって、AVは、表面にわたる経路を進行し、表面は、少なくとも1つのSDSFを含み、経路は、開始点と、終了点とを含み、本システムは、限定ではないが、表面を表す点群データにアクセスする、第1のプロセッサと、点群データをフィルタリングする、第1のフィルタと、フィルタリングされた点群データから処理可能部分を形成する、第2のプロセッサと、処理可能部分を少なくとも1つの凹多角形に併合する、第3のプロセッサと、少なくとも1つの凹多角形内の少なくとも1つのSDSFを位置特定および標識化する、第4のプロセッサであって、位置特定および標識化することは、標識化された点群データを形成する、第4のプロセッサと、グラフ化多角形を作成する、第5のプロセッサと、少なくともグラフ化多角形に基づいて、開始点から終了点までの経路を選定する、経路セレクタとを含むことができる。AVは、経路に沿って少なくとも1つのSDSFを横断することができる。
第1のフィルタは、随意に、限定ではないが、点群データから過渡物体を表す点および外れ値を表す点を条件付きで除去することと、事前選択された高さを有する除去された点を置換することとを含み得る、実行可能コードを含むことができる。セグメンタは、随意に、限定ではないが、点群データを処理可能部分にセグメント化することと、処理可能部分から事前選択された高さの点を除去することとを含み得る、実行可能コードを含むことができる。第3のプロセッサは、随意に、限定ではないが、外れ値、ボクセル、および法線を分析することによって、処理可能部分のサイズを縮小することと、縮小サイズの処理可能部分からの領域を拡大させることと、拡大された領域から初期走行可能表面を判定することと、初期走行可能表面をセグメント化およびメッシュ化することと、セグメント化およびメッシュ化された初期走行可能表面内の多角形を位置特定することと、少なくとも多角形に基づいて、走行可能表面を設定することとを含み得る、実行可能コードを含むことができる。第4のプロセッサは、随意に、限定ではないが、SDSFフィルタに従って、走行可能表面の点群データをソートすることであって、SDSFフィルタは、少なくとも3つのカテゴリの点を含む、ことと、少なくとも、カテゴリの点が、組み合わせて、少なくとも1つの第1の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF点を位置特定することとを含み得る、実行可能コードを含むことができる。本システムは、随意に、限定ではないが、少なくとも、複数の少なくとも1つのSDSF点が、組み合わせて、少なくとも1つの第2の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF軌道を作成することを含み得る、実行可能コードを含むことができる。
グラフ化多角形を作成することは、随意に、限定ではないが、少なくとも1つの走行可能表面から少なくとも1つの多角形を作成することであって、少なくとも1つの多角形は、縁を含む、ことと、縁を平滑化することと、平滑化された縁に基づいて、走行マージンを形成することと、少なくとも1つのSDSF軌道を少なくとも1つの走行可能表面に追加することと、少なくとも1つの第3の事前選択された基準に従って、少なくとも1つの走行可能表面から縁を除去することとを含み得る、実行可能コードを含むことができる。縁を平滑化することは、随意に、限定ではないが、縁を外向きにトリミングすることを含み得る、実行可能コードを含むことができる。平滑化された縁の走行マージンを形成することは、随意に、限定ではないが、外向き縁を内向きにトリミングすることを含み得る、実行可能コードを含むことができる。
いくつかの構成では、AVによって遭遇される少なくとも1つのSDSFをナビゲートするためのマップを作成するための本教示の方法であって、AVは、表面にわたる経路を進行し、表面は、少なくとも1つのSDSFを含み、経路は、開始点と、終了点とを含み、本方法は、限定ではないが、ルート形態にアクセスすることを含むことができる。ルート形態は、フィルタリングされた点群データを含み得る、少なくとも1つのグラフ化多角形を含むことができる。点群データは、標識化された特徴と、走行可能マージンとを含むことができる。本方法は、点群データをグローバル座標系に変換することと、少なくとも1つのSDSFの境界を判定することと、境界の周囲に事前選択されたサイズのSDSF緩衝を作成することと、少なくとも、少なくとも1つのSDSF横断基準に基づいて、横断され得る少なくとも1つのSDSFを判定することと、少なくとも、少なくとも1つのSDSF横断基準、変換された点群データ、およびルート形態に基づいて、縁/加重グラフを作成することと、少なくとも縁/加重グラフに基づいて、開始点から目的地点までの経路を選定することとを含むことができる。
少なくとも1つのSDSF横断基準は、随意に、少なくとも1つのSDSFの事前選択された幅および少なくとも1つのSDSFの事前選択された平滑度と、走行可能表面を含む、少なくとも1つのSDSFとAVとの間の最小進入距離および最小退出距離と、AVによる少なくとも1つのSDSFへの約90°アプローチを適応させ得る、少なくとも1つのSDSFとAVとの間の最小進入距離とを含むことができる。
いくつかの構成では、AVによって遭遇される少なくとも1つのSDSFをナビゲートするためのマップを作成するための本教示のシステムであって、AVは、表面にわたる経路を進行し、表面は、少なくとも1つのSDSFを含み、経路は、開始点と、終了点とを含み、本システムは、限定ではないが、ルート形態にアクセスする、第6のプロセッサを含むことができる。ルート形態は、フィルタリングされた点群データを含み得る、少なくとも1つのグラフ化多角形を含むことができる。点群データは、標識化された特徴と、走行可能マージンとを含むことができる。本システムは、点群データをグローバル座標系に変換する、第7のプロセッサと、少なくとも1つのSDSFの境界を判定する、第8のプロセッサとを含むことができる。第8のプロセッサは、境界の周囲に事前選択されたサイズのSDSF緩衝を作成することができる。本システムは、少なくとも、少なくとも1つのSDSF横断基準に基づいて、横断され得る少なくとも1つのSDSFを判定する、第9のプロセッサと、少なくとも、少なくとも1つのSDSF横断基準、変換された点群データ、およびルート形態に基づいて、縁/加重グラフを作成する、第10のプロセッサと、少なくとも縁/加重グラフに基づいて、開始点から目的地点までの経路を選定する、基部コントローラとを含むことができる。
いくつかの構成では、AVによって遭遇される少なくとも1つのSDSFをナビゲートするためのマップを作成するための本教示の方法であって、AVは、表面にわたる経路を進行し、表面は、少なくとも1つのSDSFを含み、経路は、開始点と、終了点とを含み、本方法は、限定ではないが、表面を表す点群データにアクセスすることを含むことができる。本方法は、点群データをフィルタリングすることと、フィルタリングされた点群データを処理可能部分に形成することと、処理可能部分を少なくとも1つの凹多角形に併合することとを含むことができる。本方法は、少なくとも1つの凹多角形内の少なくとも1つのSDSFを位置特定および標識化することを含むことができる。位置特定および標識化することは、標識化された点群データを形成することができる。本方法は、少なくとも、少なくとも1つの凹多角形に基づいて、グラフ化多角形を作成することを含むことができる。グラフ化多角形は、ルート形態を形成することができ、点群データは、標識化された特徴と、走行可能マージンとを含むことができる。本方法は、点群データをグローバル座標系に変換することと、少なくとも1つのSDSFの境界を判定することと、境界の周囲に事前選択されたサイズのSDSF緩衝を作成することと、少なくとも、少なくとも1つのSDSF横断基準に基づいて、横断され得る少なくとも1つのSDSFを判定することと、少なくとも、少なくとも1つのSDSF横断基準、変換された点群データ、およびルート形態に基づいて、縁/加重グラフを作成することと、少なくとも縁/加重グラフに基づいて、開始点から目的地点までの経路を選定することとを含むことができる。
点群データをフィルタリングすることは、随意に、点群データから過渡物体を表す点および外れ値を表す点を条件付きで除去することと、事前選択された高さを有する除去された点を置換することとを含むことができる。処理部分を形成することは、随意に、点群データを処理可能部分にセグメント化することと、処理可能部分から事前選択された高さの点を除去することとを含むことができる。処理可能部分を併合することは、随意に、外れ値、ボクセル、および法線を分析することによって、処理可能部分のサイズを縮小することと、縮小サイズの処理可能部分からの領域を拡大させることと、拡大された領域から初期走行可能表面を判定することと、初期走行可能表面をセグメント化およびメッシュ化することと、セグメント化およびメッシュ化された初期走行可能表面内の多角形を位置特定することと、少なくとも多角形に基づいて、走行可能表面を設定することとを含むことができる。少なくとも1つのSDSF特徴を位置特定および標識化することは、随意に、SDSFフィルタに従って、走行可能表面の点群データをソートすることであって、SDSFフィルタは、少なくとも3つのカテゴリの点を含む、ことと、少なくとも、カテゴリの点が、組み合わせて、少なくとも1つの第1の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF点を位置特定することとを含むことができる。本方法は、随意に、少なくとも、複数の少なくとも1つのSDSF点が、組み合わせて、少なくとも1つの第2の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF軌道を作成することを含むことができる。グラフ化多角形を作成することはさらに、随意に、少なくとも1つの走行可能表面から少なくとも1つの多角形を作成することを含むことができる。少なくとも1つの多角形は、縁を含むことができる。グラフ化多角形を作成することは、縁を平滑化することと、平滑化された縁に基づいて、走行マージンを形成することと、少なくとも1つのSDSF軌道を少なくとも1つの走行可能表面に追加することと、少なくとも1つの第3の事前選択された基準に従って、少なくとも1つの走行可能表面から縁を除去することとを含むことができる。縁の平滑化は、随意に、縁を外向きにトリミングすることを含むことができる。平滑化された縁の走行マージンを形成することは、随意に、外向き縁を内向きにトリミングすることを含むことができる。少なくとも1つのSDSF横断基準は、随意に、少なくとも1つのSDSFの事前選択された幅および少なくとも1つのSDSFの事前選択された平滑度と、走行可能表面を含む、少なくとも1つのSDSFとAVとの間の最小進入距離および最小退出距離と、AVによる少なくとも1つのSDSFへの約90°アプローチを適応させ得る、少なくとも1つのSDSFとAVとの間の最小進入距離とを含むことができる。
いくつかの構成では、AVによって遭遇される少なくとも1つのSDSFをナビゲートするためのマップを作成するための本教示のシステムであって、AVは、表面にわたる経路を進行し、表面は、少なくとも1つのSDSFを含み、経路は、開始点と、終了点とを含み、本システムは、限定ではないが、表面を表す点群データにアクセスする、点群アクセサと、点群データをフィルタリングする、第1のフィルタと、フィルタリングされた点群データから処理可能部分を形成する、セグメンタと、処理可能部分を少なくとも1つの凹多角形に併合する、第3のプロセッサと、少なくとも1つの凹多角形内の少なくとも1つのSDSFを位置特定および標識化する、第4のプロセッサであって、位置特定および標識化することは、標識化された点群データを形成する、第4のプロセッサと、グラフ化多角形を作成する、第5のプロセッサとを含むことができる。ルート形態は、フィルタリングされた点群データを含み得る、少なくとも1つのグラフ化多角形を含むことができる。点群データは、標識化された特徴と、走行可能マージンとを含むことができる。本システムは、点群データをグローバル座標系に変換する、第7のプロセッサと、少なくとも1つのSDSFの境界を判定する、第8のプロセッサとを含むことができる。第8のプロセッサは、境界の周囲に事前選択されたサイズのSDSF緩衝を作成することができる。本システムは、少なくとも、少なくとも1つのSDSF横断基準に基づいて、横断され得る少なくとも1つのSDSFを判定する、第9のプロセッサと、少なくとも、少なくとも1つのSDSF横断基準、変換された点群データ、およびルート形態に基づいて、縁/加重グラフを作成する、第10のプロセッサと、少なくとも縁/加重グラフに基づいて、開始点から目的地点までの経路を選定する、基部コントローラとを含むことができる。
第1のフィルタは、随意に、限定ではないが、点群データから過渡物体を表す点および外れ値を表す点を条件付きで除去することと、事前選択された高さを有する除去された点を置換することとを含み得る、実行可能コードを含むことができる。セグメンタは、随意に、限定ではないが、点群データを処理可能部分にセグメント化することと、処理可能部分から事前選択された高さの点を除去することとを含み得る、実行可能コードを含むことができる。第3のプロセッサは、随意に、限定ではないが、外れ値、ボクセル、および法線を分析することによって、処理可能部分のサイズを縮小することと、縮小サイズの処理可能部分からの領域を拡大させることと、拡大された領域から初期走行可能表面を判定することと、初期走行可能表面をセグメント化およびメッシュ化することと、セグメント化およびメッシュ化された初期走行可能表面内の多角形を位置特定することと、少なくとも多角形に基づいて、走行可能表面を設定することとを含み得る、実行可能コードを含むことができる。第4のプロセッサは、随意に、限定ではないが、SDSFフィルタに従って、走行可能表面の点群データをソートすることであって、SDSFフィルタは、少なくとも3つのカテゴリの点を含む、ことと、少なくとも、カテゴリの点が、組み合わせて、少なくとも1つの第1の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF点を位置特定することとを含み得る、実行可能コードを含むことができる。本システムは、随意に、限定ではないが、少なくとも、複数の少なくとも1つのSDSF点が、組み合わせて、少なくとも1つの第2の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF軌道を作成することを含み得る、実行可能コードを含むことができる。
グラフ化多角形を作成することは、随意に、限定ではないが、少なくとも1つの走行可能表面から少なくとも1つの多角形を作成することであって、少なくとも1つの多角形は、縁を含む、ことと、縁を平滑化することと、平滑化された縁に基づいて、走行マージンを形成することと、少なくとも1つのSDSF軌道を少なくとも1つの走行可能表面に追加することと、少なくとも1つの第3の事前選択された基準に従って、少なくとも1つの走行可能表面から縁を除去することとを含み得る、実行可能コードを含むことができる。縁を平滑化することは、随意に、限定ではないが、縁を外向きにトリミングすることを含み得る、実行可能コードを含むことができる。平滑化された縁の走行マージンを形成することは、随意に、限定ではないが、外向き縁を内向きにトリミングすることを含み得る、実行可能コードを含むことができる。
いくつかの構成では、SDSFは、その寸法によって識別されることができる。例えば、縁石は、限定ではないが、約0.6~0.7mの幅を含むことができる。いくつかの構成では、点群データが、SDSFを位置特定するために処理されることができ、それらのデータは、始点から目的地までのAVのための経路を準備するために使用されることができる。いくつかの構成では、経路は、マップ内に含まれ、知覚サブシステムに提供されることができる。AVが、経路を進行している際、いくつかの構成では、SDSF横断は、部分的に、知覚サブシステムによって可能にされる、AVのセンサベースの位置付けを通して適応されることができる。知覚サブシステムは、AV内の少なくとも1つのプロセッサ上で実行されることができる。
AVは、限定ではないが、2つの動力供給される前部車輪と、2つの動力供給される後部車輪と、エネルギー貯蔵装置とを含む、電力基部と、少なくとも1つのプロセッサとを含むことができる。電力基部は、コマンドされる速度において移動するように構成されることができる。AVは、電力基部に機械的に取り付けられ、複数の短距離センサを含む、貨物プラットフォームを含むことができる。AVは、いくつかの構成では、貨物プラットフォームの上に搭載され、送達するべき1つ以上の物体を受容するための容積を有する、貨物コンテナを含むことができる。AVは、いくつかの構成では、貨物コンテナの上に搭載され、限定ではないが、LIDARと、1つ以上のカメラとを含み得る、長距離センサスイートを含むことができる。AVは、長距離センサスイートおよび短距離センサスイートからデータを受信し得る、コントローラを含むことができる。
短距離センサスイートは、随意に、走行可能表面の少なくとも1つの特性を検出することができ、随意に、ステレオカメラと、IRプロジェクタと、2つの画像センサと、RGBセンサと、レーダセンサとを含むことができる。短距離センサスイートは、随意に、RGB-Dデータをコントローラに供給することができる。コントローラは、随意に、短距離センサスイートから受信されたRGB-Dデータに基づいて、道路表面の幾何学形状を判定することができる。短距離センサスイートは、随意に、AVの4メートル以内の物体を検出することができ、長距離センサスイートは、随意に、AVから4メートルを上回る物体を検出することができる。
知覚サブシステムは、占有グリッドを取り込むために、センサによって収集されたデータを使用することができる。本教示の占有グリッドは、AVを囲繞する点の3Dグリッドとして構成され、AVは、中心点を占有することができる。いくつかの構成では、占有グリッドは、AVの左、右、後方、および前方に10m延伸することができる。グリッドは、おおよそAVの高さを含むことができ、これが移動する際、AVとともに仮想的に進行し、AVを囲繞する障害物を表すことができる。グリッドは、その垂直軸を縮小することによって2次元に変換されることができ、例えば、限定ではないが、サイズが約5cm×5cmの多角形に分割されることができる。AVの周囲の3D空間内に出現する障害物は、2D形状に縮小されることができる。2D形状が、多角形のうちの1つの任意のセグメントに重複する場合、多角形は、100の値を与えられ、空間が占有されていることを示すことができる。充填されていないままのいずれの多角形も、0の値を与えられることができ、AVが移動し得る、自由空間と称され得る。
AVが、ナビゲートする際、これは、AVの構成の変更が要求され得る状況に遭遇し得る。デバイスの構成のリアルタイム制御のための本教示の方法であって、いくつかの構成において、本デバイスは、シャーシと、少なくとも4つの車輪と、少なくとも4つの車輪のうちの少なくとも1つと動作可能に結合される、シャーシの第1の側と、少なくとも4つの車輪のうちの少なくとも1つと動作可能に結合される、シャーシの対向する第2の側とを含み、本方法は、限定ではないが、環境データを受信することと、少なくとも環境データに基づいて、表面タイプを判定することと、少なくとも表面タイプおよび第1の構成に基づいて、モードを判定することと、少なくともモードおよび表面タイプに基づいて、第2の構成を判定することと、少なくとも第2の構成に基づいて、移動コマンドを判定することと、移動コマンドを使用することによって本デバイスの構成を制御し、本デバイスを第1の構成から第2の構成に変更することとを含むことができる。
本方法は、随意に、少なくとも表面タイプおよびモードに基づいて、占有グリッドを取り込むことを含むことができる。環境データは、随意に、RGB-D画像データと、道路表面の形態とを含むことができる。構成は、随意に、少なくとも4つの車輪のクラスタ化された2つの対を含むことができる。2つの対の第1の対は、第1の側上に位置付けられることができ、2つの対の第2の対は、第2の側上に位置付けられることができる。第1の対は、第1の前部車輪と、第1の後部車輪とを含むことができ、第2の対は、第2の前部車輪と、第2の後部車輪とを含むことができる。構成の制御は、随意に、少なくとも環境データに基づく、第1の対および第2の対の協調された動力供給を含むことができる。構成の制御は、随意に、少なくとも4つの車輪および後退されるキャスタの対を駆動することから、第1の前部車輪および第2の前部車輪を持上するように回転されるクラスタ化された第1の対ならびにクラスタ化された第2の対を伴う2つの車輪を駆動することに遷移することを含むことができる。キャスタの対は、シャーシと動作可能に結合されることができる。本デバイスは、第1の後部車輪、第2の後部車輪、およびキャスタの対上に静置されることができる。構成の制御は、随意に、少なくとも環境データに基づいて、第1の側上の2つの動力供給される車輪および第2の側上の2つの動力供給される車輪と動作可能に結合される、クラスタの対を回転させることを含むことができる。
AVの構成のリアルタイム制御のための本教示のシステムは、限定ではないが、デバイスプロセッサと、電力基部プロセッサとを含むことができる。AVは、シャーシと、少なくとも4つの車輪と、シャーシの第1の側と、シャーシの対向する第2の側とを含むことができる。デバイスプロセッサは、AVを囲繞するリアルタイム環境データを受信し、少なくとも環境データに基づいて、表面タイプを判定し、少なくとも表面タイプおよび第1の構成に基づいて、モードを判定し、少なくともモードおよび表面タイプに基づいて、第2の構成を判定することができる。電力基部プロセッサは、AVが、少なくとも第2の構成に基づいて移動することを可能にすることができ、AVが、第1の構成から第2の構成に変化することを可能にすることができる。デバイスプロセッサは、随意に、少なくとも表面タイプおよびモードに基づいて、占有グリッドを取り込むことを含むことができる。
ナビゲーションの間、AVは、正常な横断のためにAVを操縦することを要求し得る、SDSFに遭遇し得る。いくつかの構成では、少なくとも1つのSDSFを横断する目標点に向かって進行面積内の経路線に沿ってAVをナビゲートするための本教示の方法であって、AVは、前縁と、後縁とを含み、本方法は、限定ではないが、進行面積に関するSDSF情報および障害物情報を受信することと、SDSF情報から少なくとも1つの候補SDSFを検出することと、少なくとも1つの選択基準に基づいて、少なくとも1つの候補SDSF線からSDSF線を選択することとを含むことができる。本方法は、選択されたSDSF線の近傍の障害物情報において見出される少なくとも1つの障害物の少なくとも1つの場所に基づいて、選択されたSDSF線の少なくとも1つの横断可能部分を判定することと、横断可能部分に垂直な線に沿って進行するようにAVを方向転換することによって、少なくとも1つの横断可能部分に向かってAVを方位決定し、第1の速度において動作させることと、方位と垂直線との間の関係に基づいて、AVの方位を常に補正することとを含むことができる。本方法は、少なくとも方位およびAVと横断可能部分との間の距離に基づいて、AVの第1の速度を調節することによって、第2の速度においてAVを走行させることを含むことができる。少なくとも1つの横断可能部分と関連付けられるSDSFが、進行ルートの表面に対して上昇する場合、本方法は、後縁に対して前縁を上昇させ、上昇度あたりの第3の増加された速度においてAVを走行させることによって、SDSFを横断することと、AVがSDSFを通過するまで、第4の速度においてAVを走行させることとを含むことができる。
SDSF情報から少なくとも1つの候補SDSFを検出することは、随意に、(a)AVの場所と、目標点の場所とを包含する、閉多角形を描画することと、(b)目標点とAVの場所との間に経路線を描画することと、(c)SDSF情報から2つのSDSF点を選択することであって、SDSF点は、多角形内に位置する、ことと、(d)2つの点の間にSDSF線を描画することとを含むことができる。少なくとも1つの候補SDSFを検出することは、(e)SDSF線の第1の事前選択された距離内に第1の事前選択された数の点よりも少ないものが、存在する場合、およびSDSF点を選定することにおいて第2の事前選択された回数の試行を下回るものが、存在し、それらの間に線を描画し、SDSF線の周囲に第1の事前選択された数の点よりも少ないものを有する場合、ステップ(c)-(e)を繰り返すことを含むことができる。少なくとも1つの候補SDSFを検出することは、(f)第1の事前選択された数の点またはそれを上回るものが、存在する場合、SDSF線の第1の事前選択された距離内に該当するSDSF点に曲線をフィットすることと、(g)曲線の第1の事前選択された距離内にあるSDSF点の第1の数が、SDSF線の第1の事前選択された距離内のSDSF点の第2の数を超える場合、および曲線が、経路線と交差する場合、ならびに第2の事前選択された距離を超える曲線上のSDSF点の間にいかなる間隙も、存在しない場合、曲線をSDSF線として識別することとを含むことができる。少なくとも1つの候補SDSFを検出することは、(h)曲線の第1の事前選択された距離内にある点の数が、SDSF線の第1の事前選択された距離内の点の数を超えない場合、または曲線が、経路線と交差しない場合、もしくは第2の事前選択された距離を超える曲線上のSDSF点の間の間隙が、存在する場合、およびSDSF線が、安定したままではない場合、ならびにステップ(f)-(h)が、第2の事前選択された回数の試行を上回って試行されていない場合、ステップ(f)-(h)を繰り返すことを含むことができる。
閉多角形は、随意に、事前選択された幅を含むことができ、事前選択された幅は、随意に、AVの幅寸法を含むことができる。SDSF点を選択することは、随意に、ランダム選択を含むことができる。少なくとも1つの選択基準は、随意に、曲線の第1の事前選択された距離内のSDSF点の第1の数がSDSF線の第1の事前選択された距離内のSDSF点の第2の数を超えることと、曲線が経路線と交差することと、第2の事前選択された距離を超える曲線上のSDSF点の間にいかなる間隙も存在しないこととを含むことができる。
選択されたSDSFの少なくとも1つの横断可能部分を判定することは、随意に、障害物情報から複数の障害物点を選択することを含むことができる。複数の障害物点はそれぞれ、障害物点が少なくとも1つの障害物と関連付けられる確率を含むことができる。少なくとも1つの横断可能部分を判定することは、確率が、事前選択されたパーセントよりも高く、複数の障害物点のうちのいずれかが、SDSF線と目標点との間に位置する場合、および複数の障害物点のうちのいずれかが、SDSF線からの第3の事前選択された距離を下回る場合、複数の障害物点をSDSF線に投影し、少なくとも1つの投影を形成することを含むことができる。少なくとも1つの横断可能部分を判定することは、随意に、少なくとも1つの投影のうちの少なくとも2つを相互に接続することと、SDSF線に沿って接続された少なくとも2つの投影の終点を位置特定することと、接続された少なくとも2つの投影を非横断可能SDSF区分としてマーキングすることと、非横断可能区分の外側のSDSF線を少なくとも1つの横断可能区分としてマーキングすることとを含むことができる。
SDSFの少なくとも1つの横断可能部分を横断することは、随意に、横断可能部分に垂直な線に沿って進行するようにAVを方向転換し、横断可能部分に向かってAVを方位決定し、第1の速度において動作させることと、方位と垂直線との間の関係に基づいて、AVの方位を常に補正することと、少なくとも方位およびAVと横断可能部分との間の距離に基づいて、AVの第1の速度を調節することによって、第2の速度においてAVを走行させることとを含むことができる。SDSFの少なくとも1つの横断可能部分を横断することは、随意に、SDSFが、進行ルートの表面に対して上昇する場合、後縁に対して前縁を上昇させ、上昇度あたりの第3の増加された速度においてAVを走行させることによって、SDSFを横断することと、AVがSDSFを通過するまで、第4の速度においてAVを走行させることとを含むことができる。
SDSFの少なくとも1つの横断可能部分を横断することは、代替として、随意に、(a)方位誤差が、SDSF線に垂直な線に対して第3の事前選択された量を下回る場合、SDSF情報の更新を無視し、事前選択された速度においてAVを走行させることと、(b)AVの後部部分に対するAVの前部部分の上昇が、第6の事前選択された量と第5の事前選択された量との間である場合、AVを前方に走行させ、AVの速度を上昇度あたりの第8の事前選択された速度まで増加させることと、(c)前部部分が、後部部分に対して第6の事前選択された量を下回って上昇される場合、第7の事前選択された速度においてAVを前方に走行させることと、(d)後部部分が、SDSF線からの第5の事前選択された距離を下回る、またはそれに等しい場合、ステップ(a)-(d)を繰り返すこととを含むことができる。
いくつかの構成では、SDSFおよびAVの車輪は、システム不安定性を回避するために、自動的に整合されることができる。自動的整合は、例えば、限定ではないが、AVがSDSFに接近する際、AVの方位を連続的に試験および補正することによって実装されることができる。本教示のSDSF横断特徴の別の側面は、SDSF横断特徴が、横断を試行する前に十分な自由空間がSDSFの周囲に存在することを自動的に確認することである。本教示のSDSF横断特徴のまた別の側面は、様々な幾何学形状のSDSFを横断することが可能であることである。幾何学形状は、例えば、限定ではないが、正方形および輪郭付きSDSFを含むことができる。SDSFに対するAVの配向は、AVが進む速度および方向を判定することができる。SDSF横断特徴は、SDSFの近傍のAVの速度を調節することができる。AVが、SDSFに上がるとき、速度は、SDSFを横断する際にAVを補助するために増加されることができる。
1.自律的送達車両であって、2つの動力供給される前部車輪と、2つの動力供給される後部車輪と、エネルギー貯蔵装置とを含む、電力基部であって、電力基部は、コマンドされる速度において、かつコマンドされる方向において移動し、少なくとも1つの物体の輸送を実施するように構成される、電力基部と、複数の短距離センサを含む、貨物プラットフォームであって、貨物プラットフォームは、電力基部に機械的に取り付けられる、貨物プラットフォームと、少なくとも1つの物体を受容するための容積を伴う貨物コンテナであって、貨物コンテナは、貨物プラットフォームの上に搭載される、貨物コンテナと、LIDARと、1つ以上のカメラとを備える、長距離センサスイートであって、長距離センサスイートは、貨物コンテナの上に搭載される、長距離センサスイートと、長距離センサスイートおよび複数の短距離センサからデータを受信するためのコントローラであって、コントローラは、少なくともデータに基づいて、コマンドされる速度およびコマンドされる方向を判定し、コントローラは、コマンドされる速度およびコマンドされる方向を電力基部に提供し、輸送を完了させる、コントローラとを備える、自律的送達車両。2.複数の短距離センサからのデータは、その上で電力基部が進行する表面の少なくとも1つの特性を備える、項目1に記載の自律的送達車両。3.複数の短距離センサは、少なくとも1つのステレオカメラを備える、項目1に記載の自律的送達車両。4.複数の短距離センサは、少なくとも1つのIRプロジェクタと、少なくとも1つの画像センサと、少なくとも1つのRGBセンサとを備える、項目1に記載の自律的送達車両。5.複数の短距離センサは、少なくとも1つのレーダセンサを備える、項目1に記載の自律的送達車両。6.複数の短距離センサからのデータは、RGB-Dデータを備える、項目1に記載の自律的送達車両。7.コントローラは、複数の短距離センサから受信されたRGB-Dデータに基づいて、道路表面の幾何学形状を判定する、項目1に記載の自律的送達車両。8.複数の短距離センサは、AVの4メートル以内の物体を検出し、長距離センサスイートは、自律的送達車両から4メートルを上回る物体を検出する、項目1に記載の自律的送達車両。9.複数の短距離センサは、冷却回路を備える、項目1に記載の自律的送達車両。10.複数の短距離センサは、超音波センサを備える、項目1に記載の自律的送達車両。11.コントローラは、実行可能コードであって、マップにアクセスすることであって、マップは、マッププロセッサによって形成され、マッププロセッサは、長距離センサスイートからの点群データにアクセスする、第1のプロセッサであって、点群データは、表面を表す、第1のプロセッサと、点群データをフィルタリングする、フィルタと、フィルタリングされた点群データから処理可能部分を形成する、第2のプロセッサと、処理可能部分を少なくとも1つの多角形に併合する、第3のプロセッサと、存在する場合、少なくとも1つの多角形内の少なくとも1つの実質的不連続表面特徴(SDSF)を位置特定および標識化する、第4のプロセッサであって、位置特定および標識化することは、標識化された点群データを形成する、第4のプロセッサと、標識化された点群データからグラフ化多角形を作成する、第5のプロセッサと、少なくともグラフ化多角形に基づいて、開始点から終了点までの経路を選定する、第6のプロセッサであって、AVは、経路に沿って少なくとも1つのSDSFを横断する、第6のプロセッサとを備える、ことを含む、実行可能コードを備える、項目2に記載の自律的送達車両。12.フィルタは、点群データから過渡物体を表す点および外れ値を表す点を条件付きで除去することと、事前選択された高さを有する除去された点を置換することとを含む、コードを実行する、第7のプロセッサを備える、項目11に記載の自律的送達車両。13.第2のプロセッサは、点群データを処理可能部分にセグメント化することと、処理可能部分から事前選択された高さの点を除去することとを含む、実行可能コードを含む、項目11に記載の自律的送達車両。14.第3のプロセッサは、外れ値、ボクセル、および法線を分析することによって、処理可能部分のサイズを縮小することと、縮小サイズの処理可能部分からの領域を拡大させることと、拡大された領域から初期走行可能表面を判定することと、初期走行可能表面をセグメント化およびメッシュ化することと、セグメント化およびメッシュ化された初期走行可能表面内の多角形を位置特定することと、少なくとも多角形に基づいて、少なくとも1つの走行可能表面を設定することとを含む、実行可能コードを含む、項目11に記載の自律的送達車両。15.第4のプロセッサは、SDSFフィルタに従って、初期走行可能表面の点群データをソートすることであって、SDSFフィルタは、少なくとも3つのカテゴリの点を含む、ことと、少なくとも、少なくとも3つのカテゴリの点が、組み合わせて、少なくとも1つの第1の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF点を位置特定することとを含む、実行可能コードを含む、項目14に記載の自律的送達車両。16.第4のプロセッサは、少なくとも、複数の少なくとも1つのSDSF点が、組み合わせて、少なくとも1つの第2の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF軌道を作成することを含む、実行可能コードを含む、項目15に記載の自律的送達車両。17.グラフ化多角形を作成することは、少なくとも1つの走行可能表面から少なくとも1つの多角形を作成することであって、少なくとも1つの多角形は、外縁を含む、ことと、外縁を平滑化することと、平滑化された外縁に基づいて、走行マージンを形成することと、少なくとも1つのSDSF軌道を少なくとも1つの走行可能表面に追加することと、少なくとも1つの第3の事前選択された基準に従って、少なくとも1つの走行可能表面から内縁を除去することとを含む、実行可能コードを含む、第8のプロセッサを含む、項目14に記載の自律的送達車両。18.外縁を平滑化することは、外縁を外向きにトリミングし、外向き縁を形成することを含む、実行可能コードを含む、第9のプロセッサを含む、項目17に記載の自律的送達車両。19.平滑化された外縁の走行マージンを形成することは、外向き縁を内向きにトリミングすることを含む、実行可能コードを含む、第10のプロセッサを含む、項目18に記載の自律的送達車両。20.コントローラは、自律的送達車両(AV)によって遭遇される少なくとも1つの実質的不連続表面特徴(SDSF)をナビゲートするためのサブシステムであって、AVは、表面にわたる経路を進行し、表面は、少なくとも1つのSDSFを含み、経路は、開始点と、終了点とを含み、ルート形態にアクセスする、第1のプロセッサであって、ルート形態は、フィルタリングされた点群データを含む、少なくとも1つのグラフ化多角形を含み、フィルタリングされた点群データは、標識化された特徴を含み、点群データは、走行可能マージンを含む、第1のプロセッサと、点群データをグローバル座標系に変換する、第2のプロセッサと、少なくとも1つのSDSFの境界を判定する、第3のプロセッサであって、第3のプロセッサは、境界の周囲に事前選択されたサイズのSDSF緩衝を作成する、第3のプロセッサと、少なくとも、少なくとも1つのSDSF横断基準に基づいて、横断され得る少なくとも1つのSDSFを判定する、第4のプロセッサと、少なくとも、少なくとも1つのSDSF横断基準、変換された点群データ、およびルート形態に基づいて、縁/加重グラフを作成する、第5のプロセッサと、少なくとも縁/加重グラフに基づいて、開始点から終了点までの経路を選定する、基部コントローラとを備える、サブシステムを備える、項目1に記載の自律的送達車両。21.少なくとも1つのSDSF横断基準は、少なくとも1つのSDSFの事前選択された幅および少なくとも1つのSDSFの事前選択された平滑度と、走行可能表面を含む、少なくとも1つのSDSFとAVとの間の最小進入距離および最小退出距離と、AVによる少なくとも1つのSDSFへの約90°アプローチを適応させる、少なくとも1つのSDSFとAVとの間の最小進入距離とを備える、項目20に記載の自律的送達車両。
22.自律的デバイスに関するグローバル占有グリッドを管理するための方法であって、グローバル占有グリッドは、グローバル占有グリッドセルを含み、グローバル占有グリッドセルは、占有確率と関連付けられ、自律的デバイスと関連付けられるセンサからセンサデータを受信することと、少なくともセンサデータに基づいて、ローカル占有グリッドを作成することであって、ローカル占有グリッドは、ローカル占有グリッドセルを有する、ことと、自律的デバイスが、第1の面積から第2の面積に移動した場合、第2の面積と関連付けられる履歴データにアクセスすることと、少なくとも履歴データに基づいて、静的グリッドを作成することと、グローバル占有グリッドを移動させ、グローバル占有グリッドの中心位置において自律的デバイスを維持することと、静的グリッドに基づいて、移動されたグローバル占有グリッドを更新することと、グローバル占有グリッドセルのうちの少なくとも1つが、自律的デバイスの場所と一致する場合、グローバル占有グリッドセルのうちの少なくとも1つを非占有としてマーキングすることと、ローカル占有グリッドセル毎に、グローバル占有グリッド上のローカル占有グリッドセルの位置を計算することと、その位置におけるグローバル占有グリッドセルからの第1の占有確率にアクセスすることと、その位置におけるローカル占有グリッドセルからの第2の占有確率にアクセスすることと、少なくとも第1の占有確率および第2の占有確率に基づいて、グローバル占有グリッド上のその位置における新しい占有確率を算出することとを含む、方法。23.新しい占有確率を範囲チェックすることをさらに含む、項目22に記載の方法。24.範囲チェックすることは、新しい占有確率が<0である場合、新しい占有確率を0に設定することと、新しい占有確率が>1である場合、新しい占有確率を1に設定することとを含む、項目23に記載の方法。25.グローバル占有グリッドセルを新しい占有確率に設定することをさらに含む、項目22に記載の方法。26.グローバル占有グリッドセルを範囲チェックされた新しい占有確率に設定することをさらに含む、項目23に記載の方法。
27.占有グリッドを作成および管理するための方法であって、ローカル占有グリッド作成ノードによって、センサ測定値をデバイスと関連付けられる基準フレームに変換することと、タイムスタンプ付き測定占有グリッドを作成することと、タイムスタンプ付き測定占有グリッドをローカル占有グリッドとして公開することと、複数のローカル占有グリッドを作成することと、リポジトリ内の表面特性に基づいて、静的占有グリッドを作成することであって、表面特性は、本デバイスの位置と関連付けられる、ことと、本デバイスの位置と関連付けられるグローバル占有グリッドを移動させ、グローバル占有グリッドに対してほぼ心合される本デバイスおよびローカル占有グリッドを維持することと、静的占有グリッドからグローバル占有グリッドに情報を追加することと、本デバイスによって現在占有されているグローバル占有グリッド内の面積を非占有としてマーキングすることと、各ローカル占有グリッド内の少なくとも1つのセル毎に、グローバル占有グリッド内の少なくとも1つのセルの場所を判定することと、その場所における第1の値にアクセスすることと、第1の値とローカル占有グリッド内の少なくとも1つのセルにおけるセル値との間の関係に基づいて、その場所における第2の値を判定することと、第2の値を事前選択された確率範囲に対して比較することと、確率値が、事前選択された確率範囲内である場合、新しい値を伴うグローバル占有グリッドを設定することとを含む、方法。28.グローバル占有グリッドを公開することをさらに含む、項目27に記載の方法。29.表面特性は、表面タイプと、表面不連続性とを備える、項目27に記載の方法。30.関係は、合計することを含む、項目27に記載の方法。31.占有グリッドを作成および管理するためのシステムであって、少なくとも1つのローカル占有グリッドを作成する、複数のローカルグリッド作成ノードであって、少なくとも1つのローカル占有グリッドは、デバイスの位置と関連付けられ、少なくとも1つのローカル占有グリッドは、少なくとも1つのセルを含む、複数のローカルグリッド作成ノードと、少なくとも1つのローカル占有グリッドにアクセスする、グローバル占有グリッドマネージャであって、リポジトリ内の表面特性に基づいて、静的占有グリッドを作成し、表面特性は、本デバイスの位置と関連付けられ、本デバイスの位置と関連付けられるグローバル占有グリッドを移動させ、グローバル占有グリッドに対してほぼ心合される本デバイスおよび少なくとも1つのローカル占有グリッドを維持し、静的占有グリッドから少なくとも1つのグローバル占有グリッドに情報を追加し、本デバイスによって現在占有されているグローバル占有グリッド内の面積を非占有としてマーキングし、各ローカル占有グリッド内の少なくとも1つのセル毎に、グローバル占有グリッド内の少なくとも1つのセルの場所を判定し、その場所における第1の値にアクセスし、第1の値とローカル占有グリッド内の少なくとも1つのセルにおけるセル値との間の関係に基づいて、その場所における第2の値を判定し、第2の値を事前選択された確率範囲に対して比較し、確率値が、事前選択された確率範囲内である場合、新しい値を伴うグローバル占有グリッドを設定する、グローバル占有グリッドマネージャとを備える、システム。
32.グローバル占有グリッドを更新するための方法であって、自律的デバイスが、新しい位置に移動した場合、新しい位置と関連付けられる静的グリッドからの情報を用いてグローバル占有グリッドを更新することと、新しい位置における表面を分析することと、表面が、走行可能である場合、表面を更新し、更新された表面を用いてグローバル占有グリッドを更新することと、静的値のリポジトリからの値を用いてグローバル占有グリッドを更新することであって、静的値は、新しい位置と関連付けられる、こととを含む、方法。33.表面を更新することは、新しい位置と関連付けられるローカル占有グリッドにアクセスすることと、ローカル占有グリッド内のセル毎に、ローカル占有グリッド表面分類信頼値およびローカル占有グリッド表面分類にアクセスすることと、ローカル占有グリッド表面分類が、セル内のグローバル占有グリッド内のグローバル表面分類と同一である場合、グローバル占有グリッド内のグローバル表面分類信頼値をローカル占有グリッド表面分類信頼値に加算し、合計を形成し、合計を用いてセルにおけるグローバル占有グリッドを更新することと、ローカル占有グリッド表面分類が、セル内のグローバル占有グリッド内のグローバル表面分類と同一ではない場合、グローバル占有グリッド内のグローバル表面分類信頼値からローカル占有グリッド表面分類信頼値を減算し、差を形成し、差を用いてグローバル占有グリッドを更新することと、差が、ゼロ未満である場合、ローカル占有グリッド表面分類を用いてグローバル占有グリッドを更新することとを含む、項目32に記載の方法。34.静的値のリポジトリからの値を用いてグローバル占有グリッドを更新することは、ローカル占有グリッド内のセル毎に、ローカル占有グリッドからのセルが占有値であるローカル占有グリッド確率である、対数オッズ値にアクセスすることと、セルにおけるローカル占有グリッド対数オッズ値を用いてグローバル占有グリッド内の対数オッズ値を更新することと、セルが占有されていない事前選択された確実性が、満たされる場合、および自律的デバイスが、レーン障壁内で進行している場合、ならびにローカル占有グリッド表面分類が、走行可能表面を示す場合、セルがローカル占有グリッド内で占有されている対数オッズを減少させることと、自律的デバイスが、比較的に均一な表面に遭遇することを予期する場合、およびローカル占有グリッド表面分類が、比較的に不均一な表面を示す場合、ローカル占有グリッド内の対数オッズを増加させることと、自律的デバイスが、比較的に均一な表面に遭遇することを予期する場合、およびローカル占有グリッド表面分類が、比較的に均一な表面を示す場合、ローカル占有グリッド内の対数オッズを減少させることとを含む、項目32に記載の方法。
35.デバイスの構成のリアルタイム制御のための方法であって、本デバイスは、シャーシと、少なくとも4つの車輪と、少なくとも4つの車輪のうちの少なくとも1つと動作可能に結合される、シャーシの第1の側と、少なくとも4つの車輪のうちの少なくとも1つと動作可能に結合される、シャーシの対向する第2の側とを含み、少なくとも事前の表面特徴および占有グリッドに基づいて、マップを作成することであって、マップは、非リアルタイムで作成され、マップは、少なくとも1つの場所を含み、少なくとも1つの場所は、少なくとも1つの表面特徴と関連付けられ、少なくとも1つの表面特徴は、少なくとも1つの表面分類および少なくとも1つのモードと関連付けられる、ことと、本デバイスが進行する際、現在の表面特徴を判定することと、現在の表面特徴を用いて占有グリッドをリアルタイムで更新することと、占有グリッドおよびマップから、本デバイスが少なくとも1つの表面特徴を横断するために進行し得る経路を判定することとを含む、方法。
36.デバイスの構成のリアルタイム制御のための方法であって、本デバイスは、シャーシと、少なくとも4つの車輪と、少なくとも4つの車輪のうちの少なくとも1つと動作可能に結合される、シャーシの第1の側と、少なくとも4つの車輪のうちの少なくとも1つと動作可能に結合される、シャーシの対向する第2の側とを含み、環境データを受信することと、少なくとも環境データに基づいて、表面タイプを判定することと、少なくとも表面タイプおよび第1の構成に基づいて、モードを判定することと、少なくともモードおよび表面タイプに基づいて、第2の構成を判定することと、少なくとも第2の構成に基づいて、移動コマンドを判定することと、移動コマンドを使用することによって本デバイスの構成を制御し、本デバイスを第1の構成から第2の構成に変更することとを含む、方法。37.環境データは、RGB-D画像データを備える、項目36に記載の方法。38.少なくとも表面タイプおよびモードに基づいて、占有グリッドを取り込むことと、少なくとも占有グリッドに基づいて、移動コマンドを判定することとをさらに含む、項目36に記載の方法。39.占有グリッドは、少なくとも、少なくとも1つの画像センサからのデータに基づく情報を備える、項目38に記載の方法。40.環境データは、道路表面の形態を備える、項目36に記載の方法。41.構成は、少なくとも4つの車輪のクラスタ化された2つの対を備え、2つの対の第1の対は、第1の側上に位置付けられ、2つの対の第2の対は、第2の側上に位置付けられ、第1の対は、第1の前部車輪と、第1の後部車輪とを含み、第2の対は、第2の前部車輪と、第2の後部車輪とを含む、項目36に記載の方法。42.構成の制御は、少なくとも環境データに基づく、第1の対および第2の対の協調された動力供給を含む、項目41に記載の方法。43.構成の制御は、少なくとも4つの車輪および後退されるキャスタの対を駆動することであって、キャスタの対は、シャーシに動作可能に結合される、ことから、第1の前部車輪および第2の前部車輪を持上するように回転されるクラスタ化された第1の対ならびにクラスタ化された第2の対を伴う2つの車輪を駆動することであって、本デバイスは、第1の後部車輪、第2の後部車輪、およびキャスタの対上に静置される、ことに遷移することを含む、項目41に記載の方法。44.構成の制御は、少なくとも環境データに基づいて、第1の側上の第1の2つの動力供給される車輪および第2の側上の第2の2つの動力供給される車輪と動作可能に結合される、クラスタの対を回転させることを含む、項目41に記載の方法。45.本デバイスはさらに、貨物コンテナを備え、貨物コンテナは、シャーシ上に搭載され、シャーシは、貨物コンテナの高さを制御する、項目36に記載の方法。46.貨物コンテナの高さは、少なくとも環境データに基づく、項目45に記載の方法。
47.デバイスの構成のリアルタイム制御のためのシステムであって、本デバイスは、シャーシと、少なくとも4つの車輪と、シャーシの第1の側と、シャーシの対向する第2の側とを含み、本デバイスを囲繞するリアルタイム環境データを受信する、デバイスプロセッサであって、デバイスプロセッサは、少なくとも環境データに基づいて、表面タイプを判定し、デバイスプロセッサは、少なくとも表面タイプおよび第1の構成に基づいて、モードを判定し、デバイスプロセッサは、少なくともモードおよび表面タイプに基づいて、第2の構成を判定する、デバイスプロセッサと、少なくとも第2の構成に基づいて、移動コマンドを判定する、電力基部プロセッサであって、電力基部プロセッサは、移動コマンドを使用することによって本デバイスの構成を制御し、本デバイスを第1の構成から第2の構成に変更する、電力基部プロセッサとを備える、システム。48.環境データは、RGB-D画像データを備える、項目47に記載のシステム。49.デバイスプロセッサは、少なくとも表面タイプおよびモードに基づいて、占有グリッドを取り込むことを含む、項目47に記載のシステム。50.電力基部プロセッサは、少なくとも占有グリッドに基づいて、移動コマンドを判定することを含む、項目49に記載のシステム。51.占有グリッドは、少なくとも、少なくとも1つの画像センサからのデータに基づく情報を備える、項目49に記載のシステム。52.環境データは、道路表面の形態を備える、項目47に記載のシステム。53.構成は、少なくとも4つの車輪のクラスタ化された2つの対を備え、2つの対の第1の対は、第1の側上に位置付けられ、2つの対の第2の対は、第2の側上に位置付けられ、第1の対は、第1の前部車輪と、第1の後部車輪とを有し、第2の対は、第2の前部車輪と、第2の後部車輪とを有する、項目47に記載のシステム。54.構成の制御は、少なくとも環境データに基づく、第1の対および第2の対の協調された動力供給を含む、項目53に記載のシステム。55.構成の制御は、少なくとも4つの車輪および後退されるキャスタの対を駆動することであって、キャスタの対は、シャーシに動作可能に結合される、ことから、第1の前部車輪および第2の前部車輪を持上するように回転されるクラスタ化された第1の対ならびにクラスタ化された第2の対を伴う2つの車輪を駆動することであって、本デバイスは、第1の後部車輪、第2の後部車輪、およびキャスタの対上に静置される、ことに遷移することを含む、項目53に記載のシステム。
56.グローバル占有グリッドを維持するための方法であって、自律的デバイスの第1の位置を位置特定することと、自律的デバイスが、第2の位置に移動するとき、第2の位置は、グローバル占有グリッドおよびローカル占有グリッドと関連付けられ、第1の位置と関連付けられる少なくとも1つの占有確率値を用いてグローバル占有グリッドを更新することと、ローカル占有グリッドと関連付けられる少なくとも1つの走行可能表面を用いてグローバル占有グリッドを更新することと、少なくとも1つの走行可能表面と関連付けられる表面信頼度を用いてグローバル占有グリッドを更新することと、第1のベイズ関数を使用して、少なくとも1つの占有確率値の対数オッズを用いてグローバル占有グリッドを更新することと、少なくとも第2の位置と関連付けられる特性に基づいて、対数オッズを調節することと、自律的デバイスが、第1の位置に留まり、グローバル占有グリッドおよびローカル占有グリッドが、共同設置されるとき、ローカル占有グリッドと関連付けられる少なくとも1つの走行可能表面を用いてグローバル占有グリッドを更新することと、少なくとも1つの走行可能表面と関連付けられる表面信頼度を用いてグローバル占有グリッドを更新することと、第2のベイズ関数を使用して、少なくとも1つの占有確率値の対数オッズを用いてグローバル占有グリッドを更新することと、少なくとも第2の位置と関連付けられる特性に基づいて、対数オッズを調節することとを含む、方法。57.マップを作成することは、表面を表す点群データにアクセスすることと、点群データをフィルタリングすることと、フィルタリングされた点群データを処理可能部分に形成することと、処理可能部分を少なくとも1つの凹多角形に併合することと、少なくとも1つの凹多角形内の少なくとも1つのSDSFを位置特定および標識化することであって、位置特定および標識化することは、標識化された点群データを形成する、ことと、少なくとも、少なくとも1つの凹多角形に基づいて、グラフ化多角形を作成することと、少なくともグラフ化多角形に基づいて、開始点から終了点までの経路を選定することであって、AVは、経路に沿って少なくとも1つのSDSFを横断する、こととを含む、項目35に記載の方法。58.点群データをフィルタリングすることは、点群データから過渡物体を表す点および外れ値を表す点を条件付きで除去することと、事前選択された高さを有する除去された点を置換することとを含む、項目57に記載の方法。59.処理部分を形成することは、点群データを処理可能部分にセグメント化することと、処理可能部分から事前選択された高さの点を除去することとを含む、項目57に記載の方法。60.処理可能部分を併合することは、外れ値、ボクセル、および法線を分析することによって、処理可能部分のサイズを縮小することと、縮小サイズの処理可能部分からの領域を拡大させることと、拡大された領域から初期走行可能表面を判定することと、初期走行可能表面をセグメント化およびメッシュ化することと、セグメント化およびメッシュ化された初期走行可能表面内の多角形を位置特定することと、少なくとも多角形に基づいて、少なくとも1つの走行可能表面を設定することとを含む、項目57に記載の方法。61.少なくとも1つのSDSFを位置特定および標識化することは、SDSFフィルタに従って、初期走行可能表面の点群データをソートすることであって、SDSFフィルタは、少なくとも3つのカテゴリの点を含む、ことと、少なくとも、少なくとも3つのカテゴリの点が、組み合わせて、少なくとも1つの第1の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF点を位置特定することとを含む、項目60に記載の方法。62.少なくとも、複数の少なくとも1つのSDSF点が、組み合わせて、少なくとも1つの第2の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF軌道を作成することをさらに含む、項目61に記載の方法。63.グラフ化多角形を作成することはさらに、少なくとも1つの走行可能表面から少なくとも1つの多角形を作成することであって、少なくとも1つの多角形は、外縁を含む、ことと、外縁を平滑化することと、平滑化された外縁に基づいて、走行マージンを形成することと、少なくとも1つのSDSF軌道を少なくとも1つの走行可能表面に追加することと、少なくとも1つの第3の事前選択された基準に従って、少なくとも1つの走行可能表面から内縁を除去することとを含む、項目62に記載の方法。64.外縁の平滑化は、外縁を外向きにトリミングし、外向き縁を形成することを含む、項目63に記載の方法。65.平滑化された外縁の走行マージンを形成することは、外向き縁を内向きにトリミングすることを含む、項目63に記載の方法。
66.自律的送達車両であって、2つの動力供給される前部車輪と、2つの動力供給される後部車輪と、エネルギー貯蔵装置とを含む、電力基部であって、電力基部は、コマンドされる速度において移動するように構成される、電力基部と、複数の短距離センサを含む、貨物プラットフォームであって、貨物プラットフォームは、電力基部に機械的に取り付けられる、貨物プラットフォームと、送達するべき1つ以上の物体を受容するための容積を伴う貨物コンテナであって、貨物コンテナは、貨物プラットフォームの上に搭載される、貨物コンテナと、LIDARと、1つ以上のカメラとを備える、長距離センサスイートであって、長距離センサスイートは、貨物コンテナの上に搭載される、長距離センサスイートと、長距離センサスイートおよび複数の短距離センサからデータを受信するためのコントローラとを備える、自律的送達車両。67.複数の短距離センサは、走行可能表面の少なくとも1つの特性を検出する、項目66に記載の自律的送達車両。68.複数の短距離センサは、ステレオカメラである、項目66に記載の自律的送達車両。69.複数の短距離センサは、IRプロジェクタと、2つの画像センサと、RGBセンサとを備える、項目66に記載の自律的送達車両。70.複数の短距離センサは、レーダセンサである、項目66に記載の自律的送達車両。71.短距離センサは、RGB-Dデータをコントローラに供給する、項目66に記載の自律的送達車両。72.コントローラは、複数の短距離センサから受信されたRGB-Dデータに基づいて、道路表面の幾何学形状を判定する、項目66に記載の自律的送達車両。73.複数の短距離センサは、自律的送達車両の4メートル以内の物体を検出し、長距離センサスイートは、自律的送達車両から4メートルを上回る物体を検出する、項目66に記載の自律的送達車両。
74.自律的送達車両であって、少なくとも2つの動力供給される後部車輪と、キャスタ前部車輪と、エネルギー貯蔵装置とを含む、電力基部であって、電力基部は、コマンドされる速度において移動するように構成される、電力基部と、複数の短距離センサを含む、貨物プラットフォームであって、貨物プラットフォームは、電力基部に機械的に取り付けられる、貨物プラットフォームと、送達するべき1つ以上の物体を受容するための容積を伴う貨物コンテナであって、貨物コンテナは、貨物プラットフォームの上に搭載される、貨物コンテナと、LIDARと、1つ以上のカメラとを備える、長距離センサスイートであって、長距離センサスイートは、貨物コンテナの上に搭載される、長距離センサスイートと、長距離センサスイートおよび複数の短距離センサからデータを受信するためのコントローラとを備える、自律的送達車両。75.複数の短距離センサは、走行可能表面の少なくとも1つの特性を検出する、項目74に記載の自律的送達車両。76.複数の短距離センサは、ステレオカメラである、項目74に記載の自律的送達車両。77.複数の短距離センサは、IRプロジェクタと、2つの画像センサと、RGBセンサとを備える、項目74に記載の自律的送達車両。78.複数の短距離センサは、レーダセンサである、項目74に記載の自律的送達車両。79.短距離センサは、RGB-Dデータをコントローラに供給する、項目74に記載の自律的送達車両。80.コントローラは、複数の短距離センサから受信されたRGB-Dデータに基づいて、道路表面の幾何学形状を判定する、項目74に記載の自律的送達車両。81.複数の短距離センサは、自律的送達車両の4メートル以内の物体を検出し、長距離センサスイートは、自律的送達車両から4メートルを上回る物体を検出する、項目74に記載の自律的送達車両。82.キャスタ車輪が、地面から離れて持上される間、地面に係合し得る、動力供給される車輪の第2のセットをさらに備える、項目74に記載の自律的送達車両。
83.自律的送達車両であって、少なくとも2つの動力供給される後部車輪と、キャスタ前部車輪と、エネルギー貯蔵装置とを含む、電力基部であって、電力基部は、コマンドされる速度において移動するように構成される、電力基部と、貨物プラットフォームであって、貨物プラットフォームは、電力基部に機械的に取り付けられる、貨物プラットフォームと、走行可能表面の少なくとも1つの特性を検出する、貨物プラットフォームに搭載される、短距離カメラアセンブリであって、カメラと、第1のライトと、第1の液冷ヒートシンクとを備え、第1の液冷ヒートシンクは、第1のライトおよびカメラを冷却する、短距離カメラアセンブリとを備える、自律的送達車両。84.短距離カメラアセンブリはさらに、カメラと液冷ヒートシンクとの間に熱電気冷却器を備える、項目83に記載の自律的送達車両。85.第1のライトおよびカメラは、カメラから離れるように第1のライトからの照明を偏向する、開口部を伴うカバー内に埋め込まれる、項目83に記載の自律的送達車両。86.ライトは、少なくとも15°下向きに角度付けられ、カバー内に少なくとも4mmに埋め込まれ、歩行者の気を散らす照明を最小限にする、項目83に記載の自律的送達車両。87.カメラは、視野を有し、第1のライトは、カメラの視野を照明するように拡散する光の2つのビームを生成するためのレンズを伴う2つのLEDを備える、項目83に記載の自律的送達車両。88.ライトは、約50°離れて角度付けられ、レンズは、60°のビームを生成する、項目87に記載の自律的送達車両。89.短距離カメラアセンブリは、カメラの上方に搭載される、超音波センサを含む、項目83に記載の自律的送達車両。90.短距離カメラアセンブリは、貨物プラットフォームの前面上の中心位置に搭載される、項目83に記載の自律的送達車両。91.貨物プラットフォームの前面の少なくとも1つの角上に搭載される、少なくとも1つのコーナーカメラアセンブリをさらに備え、少なくとも1つのコーナーカメラアセンブリは、超音波センサと、コーナーカメラと、第2のライトと、第2の液冷ヒートシンクであって、第2の液冷ヒートシンクは、第2のライトおよびコーナーカメラを冷却する、第2の液冷ヒートシンクとを備える、項目83に記載の自律的送達車両。92.履歴データは、表面データを備える、項目22に記載の方法。93.履歴データは、不連続性データを備える、項目22に記載の方法。
本教示は、付随の図面とともに想定される、以下の説明を参照してより容易に理解されるであろう。
(詳細な説明)
本教示のシステムおよび方法は、オンボードセンサおよび以前に開発されたマップを使用し、占有グリッドを開発し、これらの補助を使用し、表面タイプおよび以前のものに基づいてAVを再構成することを含め、表面特徴を横断してAVをナビゲートすることができる。
本教示のシステムおよび方法は、オンボードセンサおよび以前に開発されたマップを使用し、占有グリッドを開発し、これらの補助を使用し、表面タイプおよび以前のものに基づいてAVを再構成することを含め、表面特徴を横断してAVをナビゲートすることができる。
ここで図1-1を参照すると、AVシステム100は、その上にセンサ10701が搭載され得、その中でデバイスコントローラ10111が実行され得る、構造を含むことができる。構造は、構造の一部である車輪の移動を指示し得、AVの移動を可能にし得る、電力基部10112を含むことができる。デバイスコントローラ10111は、AV上に位置する少なくとも1つのプロセッサ上で実行されることができ、限定ではないが、AV上に位置し得る、センサ10701からデータを受信することができる。デバイスコントローラ10111は、速度、方向、および構成情報を基部コントローラ10114に提供することができ、これは、移動コマンドを電力基部10112に提供することができる。デバイスコントローラ10111は、マッププロセッサ10104からマップ情報を受信することができ、これは、AVを囲繞する面積のマップを準備することができる。デバイスコントローラ10111は、限定ではないが、AV上センサを含む、センサ10701からの入力を受信および処理し得る、センサプロセッサ10703を含むことができる。いくつかの構成では、デバイスコントローラ10111は、知覚プロセッサ2143と、自律性プロセッサ2145と、ドライバプロセッサ2127とを含むことができる。知覚プロセッサ2143は、例えば、限定ではないが、静的および動的障害物を位置特定し、交通信号状態を判定し、占有グリッドを作成し、表面を分類することができる。自律性プロセッサ2145は、例えば、限定ではないが、AVの最大速度を判定し、AVが、例えば、道路上で、歩道上で、交差点において、および/または遠隔制御下でナビゲートしている状況のタイプを判定することができる。ドライバプロセッサ2127は、例えば、限定ではないが、自律性プロセッサ2145の指示に従ってコマンドを作成し、それらを基部コントローラ10114上に送信することができる。
ここで図1-2を参照すると、マッププロセッサ10104は、表面特徴のマップを作成することができ、マップを、デバイスコントローラ10111を通して、知覚プロセッサ2143に提供することができ、これは、占有グリッドを更新することができる。マッププロセッサ10104は、多くの他の側面の中でもとりわけ、特徴抽出器10801、点群編成器10803、過渡プロセッサ10805、セグメンタ10807、多角形発生器10809、SDSF線発生器10811、およびコンバイナ10813を含むことができる。特徴抽出器10801は、表面を表す点群データにアクセスする、第1のプロセッサを含むことができる。点群編成器10803は、フィルタリングされた点群データから処理可能部分を形成する、第2のプロセッサを含むことができる。過渡プロセッサ10805は、点群データをフィルタリングする、第1のフィルタを含むことができる。セグメンタ10807は、限定ではないが、点群データを処理可能部分にセグメント化することと、処理可能部分から事前選択された高さの点を除去することとを含み得る、実行可能コードを含むことができる。第1のフィルタは、随意に、限定ではないが、点群データから過渡物体を表す点および外れ値を表す点を条件付きで除去することと、事前選択された高さを有する除去された点を置換することとを含み得る、実行可能コードを含むことができる。多角形発生器10809は、処理可能部分を少なくとも1つの凹多角形に併合する、第3のプロセッサを含むことができる。第3のプロセッサは、随意に、限定ではないが、外れ値、ボクセル、および法線を分析することによって、処理可能部分のサイズを縮小することと、縮小サイズの処理可能部分からの領域を拡大させることと、拡大された領域から初期走行可能表面を判定することと、初期走行可能表面をセグメント化およびメッシュ化することと、セグメント化およびメッシュ化された初期走行可能表面内の多角形を位置特定することと、少なくとも多角形に基づいて、走行可能表面を設定することとを含み得る、実行可能コードを含むことができる。SDSF線発生器10811は、少なくとも1つの凹多角形内の少なくとも1つのSDSFを位置特定および標識化する、第4のプロセッサを含み、位置特定および標識化することは、標識化された点群データを形成することができる。第4のプロセッサは、随意に、限定ではないが、SDSFフィルタに従って、走行可能表面の点群データをソートすることであって、SDSFフィルタは、少なくとも3つのカテゴリの点を含む、ことと、少なくとも、カテゴリの点が、組み合わせて、少なくとも1つの第1の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF点を位置特定することとを含み得る、実行可能コードを含むことができる。コンバイナ10813は、グラフ化多角形を作成する、第5のプロセッサを含むことができる。グラフ化多角形を作成することは、随意に、限定ではないが、少なくとも1つの走行可能表面から少なくとも1つの多角形を作成することであって、少なくとも1つの多角形は、縁を含む、ことと、縁を平滑化することと、平滑化された縁に基づいて、走行マージンを形成することと、少なくとも1つのSDSF軌道を少なくとも1つの走行可能表面に追加することと、少なくとも1つの第3の事前選択された基準に従って、少なくとも1つの走行可能表面から縁を除去することとを含み得る、実行可能コードを含むことができる。縁を平滑化することは、随意に、限定ではないが、縁を外向きにトリミングすることを含み得る、実行可能コードを含むことができる。平滑化された縁の走行マージンを形成することは、随意に、限定ではないが、外向き縁を内向きにトリミングすることを含み得る、実行可能コードを含むことができる。
ここで図1-3を参照すると、マップが、AVに提供されることができ、これは、オンボードセンサと、動力供給される車輪と、センサおよびマップデータを受信し、それらのデータを使用し、AVが、例えば、商品を送達する際、とりわけ、種々の種類の表面を横断するようにAVを電力構成するためのプロセッサとを含むことができる。オンボードセンサは、占有グリッドを取り込み得、動的障害物を検出するために使用され得るデータを提供することができる。占有グリッドはまた、マップによって取り込まれることができる。デバイスコントローラ10111は、センサデータおよびマップデータを受信ならびに処理し得、それらのデータを用いて占有グリッドを更新し得る、知覚プロセッサ2143を含むことができる。
ここで図1-4を参照すると、デバイスコントローラ10111は、少なくともAVのモードおよび遭遇される表面特徴に基づいて、AVの構成を自動的に判定し得る、構成プロセッサ41023を含むことができる。自律性プロセッサ2145は、少なくともマップ(辿られるべき計画されたルート)、構成プロセッサ41023からの情報、およびAVのモードに基づいて、横断される必要がある表面の種類ならびにAVが表面を横断するためにとる必要がある構成を判定し得る、制御プロセッサ40325を含むことができる。自律性プロセッサ2145は、コマンドをモータ駆動プロセッサ40326に供給し、コマンドを実装することができる。
ここで図1Aを参照すると、マッププロセッサ10104は、デバイス、例えば、限定ではないが、AVまたは半自律的デバイスが、SDSF等の特徴を含み得る環境内でナビゲートすることを可能にすることができる。マップ内の特徴は、オンボードセンサとともに、AVが種々の表面上で進行することを可能にすることができる。特に、SDSFは、AVが、SDSFの進入および退出の間にAVの性能を自動的に維持し得、AV速度、構成、ならびに方向が、安全なSDSF横断のために制御され得るように、正確に識別および標識化されることができる。
継続して図1Aを参照すると、いくつかの構成では、SDSFの横断を管理するためのシステム100は、AV10101と、コアクラウドインフラストラクチャ10103と、AVサービス10105と、デバイスコントローラ10111と、センサ10701と、電力基部10112とを含むことができる。AV10101は、例えば、限定ではないが、着信センサ情報によって修正されるような動的に判定される経路を辿って、起点から目的地への輸送および送迎サービスを提供することができる。AV10101は、限定ではないが、自律モードを有するデバイス、完全に自律的に動作し得るデバイス、少なくとも部分的に遠隔で動作され得るデバイス、およびそれらの特徴の組み合わせを含み得るデバイスを含むことができる。輸送デバイスサービス10105は、特徴を含む走行可能表面情報をデバイスコントローラ10111に提供することができる。デバイスコントローラ10111は、少なくとも、例えば、限定ではないが、着信センサ情報および特徴横断要件に従って、走行可能表面情報を修正することができ、修正された走行可能表面情報に基づいて、AV10101のための経路を選定することができる。デバイスコントローラ10111は、電力基部10112にコマンドを提示することができ、これは、速度、方向、および構成コマンドを車輪モータならびにクラスタモータに提供するように電力基部10112に指示し、コマンドは、AV10101に、選定された経路を辿らせ、それに応じて、その貨物を上昇および降下させることができる。輸送デバイスサービス10105は、限定ではないが、記憶装置およびコンテンツ配信設備を含み得る、コアクラウドインフラストラクチャ10103からのルート関連情報にアクセスすることができる。いくつかの構成では、コアクラウドインフラストラクチャ10103は、例えば、限定ではないが、AMAZON WEB SERVICES(登録商標)、GOOGLE CLOUDTM、およびORACLE CLOUD(登録商標)等の商業用製品を含むことができる。
ここで図1Bを参照すると、本教示のマッププロセッサ10104(図1A)から情報を受信し得るデバイスコントローラ10111(図1A)を含み得る例示的AVは、例えば、限定ではないが、2018年7月13日に出願され、「Mobility Device」と題された、米国特許出願第16/035,205号または2001年8月15日に出願され、「Control System and Method」と題された、米国特許第6,571,892号(その両方は、参照することによってその全体として本明細書に組み込まれる)に完全に説明される、例えば、限定ではないが、電力基部等の電力基部アセンブリを含むことができる。例示的電力基部アセンブリは、本教示を限定するためではなく、代わりに、本教示の技術を実装する際に有用であり得る任意の電力基部アセンブリの特徴を明確にするために本明細書に説明される。例示的電力基部アセンブリは、随意に、電力基部10112と、車輪クラスタアセンブリ11100と、ペイロードキャリア高さアセンブリ10068とを含むことができる。例示的電力基部アセンブリは、随意に、車輪11203と、車輪11203を上昇および降下させ得るクラスタ11100とを駆動するために、電気的ならびに機械的動力を提供することができる。電力基部10112は、本教示の実質的不連続表面横断を支援するために、クラスタアセンブリ11100の回転およびペイロードキャリア高さアセンブリ10068の昇降を制御することができる。他のそのようなデバイスも、本教示のSDSF検出および横断を適応させるために使用されることができる。
再び図1Aを参照すると、いくつかの構成では、例示的電力基部の内部のセンサが、AV10101の配向および配向の変化率を検出することができ、モータが、サーボ動作を可能にすることができ、コントローラが、内部センサならびにモータからの情報を理解することができる。適切なモータコマンドが、輸送機性能を達成し、経路追従コマンドを実装するために算出されることができる。左および右車輪モータが、AV10101の両側上の車輪を駆動することができる。いくつかの構成では、前部および後部車輪が、2つの左車輪が、ともに駆動し得、2つの右車輪が、ともに駆動し得るように、ともに駆動するように結合されることができる。いくつかの構成では、方向転換が、異なる率において左および右モータを駆動することによって遂行されることができ、クラスタモータが、前/後方向にホイールベースを回転させることができる。これは、前部車輪が、後部車輪よりも高い、または低い状態になる間、AV10101が、水平なままであることを可能にすることができる。本特徴は、例えば、限定ではないが、SDSFを昇り降りするときに有用であり得る。ペイロードキャリア10173は、少なくとも下層地形に基づいて、自動的に上昇および降下されることができる。
継続して図1Aを参照すると、いくつかの構成では、点群データが、AV10101が進行するべきである面積に関するルート情報を含むことができる。可能性として、AV10101に類似する、またはそれと同じであるマッピングデバイスによって収集される、点群データは、タイムタグを付けられることができる。それに沿ってマッピングデバイスが進行する経路は、マッピングされた軌道と称され得る。本明細書に説明される点群データ処理は、マッピングデバイスがマッピングされた軌道を横断する際、または点群データ収集が完了した後に行われることができる。点群データが、収集された後、それらは、本明細書に説明されるような初期フィルタリングおよび点縮小、点群セグメント化、ならびに特徴検出を含み得る、点群データ処理を受けることができる。いくつかの構成では、コアクラウドインフラストラクチャ10103は、収集された点群データに関する長期または短期記憶を提供することができ、データをAVサービス10105に提供することができる。AVサービス10105は、AV10101に関する所望の開始点およびAV10101に関する所望の目的地を囲繞する地域を網羅するデータセットを見出すために、可能性として考えられる点群データセットの中から選択することができる。AVサービス10105は、限定ではないが、点群データのサイズを縮小し、点群データ内に表される特徴を判定し得る、マッププロセッサ10104を含むことができる。いくつかの構成では、マッププロセッサ10104は、点群データからSDSFの場所を判定することができる。いくつかの構成では、多角形が、点群データをセグメント化し、最終的に、走行可能表面を設定するための技法として、点群データから作成されることができる。いくつかの構成では、SDSF探知および走行可能表面判定は、並行して進むことができる。いくつかの構成では、SDSF探知および走行可能表面判定は、順次進むことができる。
ここで図1Cを参照すると、いくつかの構成では、AVは、貨物を送達する、および/または所望の場所に自律的にナビゲートすることを伴う他の機能を実施するように構成されてもよい。いくつかの用途では、AVは、遠隔で誘導されてもよい。いくつかの構成では、AV20100は、遠隔で、ユーザ入力に応答して、自動的に、または手動で開放され、ユーザが、荷物および他のアイテムを設置もしくは除去することを可能にし得る、貨物コンテナを備える。貨物コンテナ20110は、電力基部20170に機械的に接続される、貨物プラットフォーム20160上に搭載される。電力基部20170は、4つの動力供給される車輪20174と、2つのキャスタ車輪20176とを含む。電力基部は、地面に沿って、かつ縁石および他の不連続表面特徴を含む障害物にわたって貨物コンテナ20110を移動させるために、速度ならびに方向制御を提供する。
継続して図1Cを参照すると、貨物プラットフォーム20160は、2つのUフレーム20162を通して電力基部20170に接続される。各Uフレーム20162は、貨物プラットフォーム20160の構造に堅く取り付けられ、回転可能ジョイント20164が、電力基部20170上の各アーム20172の端部とともに形成されることを可能にする、2つの孔を含む。電力基部は、アームの回転位置を制御し、したがって、貨物コンテナ20110の高さおよび傾角を制御する。
継続して図1Cを参照すると、いくつかの構成では、AV20100は、データを受信し、経路をナビゲートし、電力基部20170の方向および速度を選択するための1つ以上のプロセッサを含む。
ここで図1Dを参照すると、いくつかの構成では、本教示のマッププロセッサ10104は、マップ上にSDSFを位置付けることができる。マッププロセッサ10104は、限定ではないが、特徴抽出器10801、点群編成器10803、過渡プロセッサ10805、セグメンタ10807、多角形発生器10809、SDSF線発生器10811、およびデータコンバイナ10813を含むことができる。
継続して図1Dを参照すると、特徴抽出器10801(図1-2)は、限定ではないが、点群データ10131およびマッピングされた軌道10133の視通線フィルタリング10121を含むことができる。視通線フィルタリングは、点群データを収集し、マッピングされた軌道を形成するセンサの直接視通線から隠される点を除去することができる。点群編成器10803(図1-2)は、可能性として、具体的特徴と関連付けられる事前選択された基準に従って、縮小された点群データ10132を編成する(10151)ことができる。いくつかの構成では、過渡プロセッサ10805(図1-2)は、本明細書に説明される方法を含む、任意の数の方法によって編成された点群データおよびマッピングされた軌道10133から過渡点を除去する(10153)ことができる。過渡点は、特に、具体的特徴が、定常である場合、処理を複雑化し得る。セグメンタ10807(図1-2)は、処理された点群データ10135を処理可能な塊に分割することができる。いくつかの構成では、処理された点群データ10135は、事前選択された最小数の点、例えば、限定ではないが、約100,000個の点を有する区分にセグメント化されることができる(10155)。いくつかの構成では、さらなる点縮小が、抽出されるべき特徴に関連し得る事前選択された基準に基づくことができる。例えば、ある高さを上回る点が、特徴を位置特定することに対して重要ではない場合、それらの点は、点群データから削除され得る。いくつかの構成では、点群データを収集するセンサのうちの少なくとも1つの高さは、起点と見なされ得、起点を上回る点は、例えば、着目点のみが、表面特徴と関連付けられるとき、点群データから除去され得る。フィルタリングされた点群データ10135が、セグメント化された後、セグメント10137を形成し、残りの点は、走行可能表面区分に分割されることができ、表面特徴が、位置特定されることができる。いくつかの構成では、多角形発生器10809(図1-2)は、例えば、限定ではないが、本明細書に説明されるような多角形10139を発生させる(10161)ことによって、走行可能表面を位置特定することができる。いくつかの構成では、SDSF線発生器10811(図1-2)は、例えば、限定ではないが、本明細書に説明されるようなSDSF線10141を発生させる(10163)ことによって、表面特徴を位置特定することができる。いくつかの構成では、コンバイナ10813(図1-2)は、多角形10139およびSDSF10141を組み合わせる(10165)ことによって、AV10101(図1A)が進行し得る実際の経路を発生させるためにさらに処理され得る、データセットを作成することができる。
ここで、主として図1Eを参照すると、点群データ10131(図1D)から、例示的タイムスタンプ付き点10751等のマッピングされた軌道10133に対して過渡的である物体を排除すること10153(図1D)は、光線10753を、マッピングされた軌道10133上のタイムスタンプ付き点から、実質的に同一のタイムスタンプを有する点群データ10131(図1D)内の各タイムスタンプ付き点に投じることを含むことができる。光線10753が、マッピングされた軌道10133上のタイムスタンプ付き点と光線10753の終点との間の点、例えば、点D10755と交差する場合、交点D10755は、カメラの異なる掃引の間に点群データに入ったと仮定されることができる。交点、例えば、交点D10755は、過渡物体の一部であると仮定されることができ、SDSF等の固定特徴を表さないものとして縮小された点群データ10132(図1D)から除去されることができる。結果は、例えば、限定ではないが、過渡物体のない、処理された点群データ10135(図1D)となる。過渡物体の一部として除去されたが、また、実質的に地面レベルにある点は、処理された点群データ10135(図1D)に返されることができる(10754)。過渡物体は、例えば、限定ではないが、SDSF10141(図1D)等のある特徴を含むことができず、したがって、SDSF10141(図1D)が、検出されている特徴であるとき、点群データ10131(図1D)の完全性に干渉することなく除去されることができる。
継続して図1Eを参照すると、処理された点群データ10135(図1D)をセグメント化すること10155(図1D)は、事前選択されたサイズおよび形状、例えば、限定ではないが、最小の事前選択された側長を有し、約100,000個の点を含む、長方形10154(図1F)を有する、区分10757を生成することができる。各区分10757から、必ずしも具体的タスクに関するものではない点、例えば、限定ではないが、事前選択されたレベルの上方に位置する点は、データセットサイズを縮小するために除去されることができる(10157)(図1D)。いくつかの構成では、事前選択されたレベルは、AV10101(図1A)の高さであり得る。これらの点を除去することは、データセットのより効率的な処理につながることができる。
再び、主として図1Dを参照すると、マッププロセッサ10104は、デバイスコントローラ10111に、AV10101(図1A)を制御するための方向、速度、および構成コマンドを生成するために使用され得る少なくとも1つのデータセットを供給することができる。少なくとも1つのデータセットは、データセット内の他の点に接続され得る点を含むことができ、データセット内の点を接続する線はそれぞれ、走行可能表面を横断する。そのようなルート点を判定するために、セグメント化された点群データ10137は、多角形10139に分割されることができ、多角形10139の頂点は、可能性として、ルート点になることができる。多角形10139は、例えば、SDSF10141等の特徴を含むことができる。
継続して図1Dを参照すると、いくつかの構成では、処理された点群データ10135を作成することは、ボクセルをフィルタリングすることを含むことができる。将来の処理を受けるであろう点の数を低減させるために、いくつかの構成では、データセット内の各ボクセルの重心が、ボクセル内の点を近似するために使用されることができ、重心を除く全ての点は、点群データから排除されることができる。いくつかの構成では、ボクセルの中心が、ボクセル内の点を近似するために使用されることができる。例えば、限定ではないが、均一にランダムに選択される、固定数の点が、フィルタリングされたセグメント10251(図1G)から排除され得るように、ランダム点サブサンプルをとること等、フィルタリングされたセグメント10251(図1G)のサイズを縮小するための他の方法も、使用されることができる。
継続してなおもさらに図1Dを参照すると、いくつかの構成では、処理された点群データ10135を作成することは、それから外れ値が除去されており、ボクセルフィルタリングを通してサイズ縮小されているデータセットから法線を算出することを含むことができる。フィルタリングされたデータセット内の各点に対する法線は、曲線再構築アルゴリズムを含む、種々の処理の可能性のために使用されることができる。いくつかの構成では、データセット内の法線を推定およびフィルタリングすることは、表面メッシュ化技法を使用してデータセットから下層表面を取得することと、表面メッシュから法線を算出することとを含むことができる。いくつかの構成では、法線を推定することは、例えば、限定ではないが、点のk個の最近傍近隣に総最小二乗法を適用することによって取得されるフィッティング平面に対する法線を判定すること等、直接データセットから表面法線を推論するために近似を使用することを含むことができる。いくつかの構成では、kの値は、少なくとも経験的データに基づいて選定されることができる。法線をフィルタリングすることは、x-y平面に垂直なものから約45°を上回る任意の法線を除去することを含むことができる。いくつかの構成では、フィルタが、同一の方向に法線を整合させるために使用されることができる。データセットの一部が、平面表面を表す場合、隣接する法線内に含有される冗長情報は、ランダムサブサンプリングを実施することによって、または関連する点のセットから1つの点をフィルタリングして取り除くことによってのいずれかで、フィルタリングして取り除かれることができる。いくつかの構成では、点を選定することは、各ボックスが、多くてもk個の点を含有するまで、データセットをボックスに再帰的に分解することを含むことができる。単一の法線が、各ボックス内のk個の点から算出されることができる。
継続して図1Dを参照すると、いくつかの構成では、処理された点群データ10135を作成することは、データセットを表した表面と幾何学的に適合する点をクラスタリングすることによって、データセット内の領域を拡大させることと、最大数の点の最良の近似を取得するために、領域が拡大するにつれて表面を精緻化することとを含むことができる。領域拡大は、平滑度制約の観点から点を併合することができる。いくつかの構成では、平滑度制約は、例えば、経験的に判定されることができる、または所望の表面平滑度に基づくことができる。いくつかの構成では、平滑度制約は、約10π/180~約20π/180の範囲を含むことができる。領域拡大の出力は、点クラスタのセットであり、各点クラスタは、点のセットであり、そのそれぞれは、同一の平滑表面の一部であると見なされる。いくつかの構成では、領域拡大は、法線の間の角度の比較に基づくことができる。領域拡大は、例えば、限定ではないが、領域拡大セグメント化http://pointclouds.org/documentation/tutorials/region_growing_segmentation.phpおよびhttp://pointclouds.org/documentation/tutorials/cluster_extraction.php#cluster-extraction等のアルゴリズムによって遂行されることができる。
ここで図1Gを参照すると、セグメント化された点群データ10137(図1D)は、多角形10759、例えば、5m×5m多角形を発生させる(10161)(図1D)ために使用されることができる。点サブクラスタは、例えば、メッシュ化を使用して、多角形10759に変換されることができる。メッシュ化は、例えば、限定ではないが、マーチング立方体、マーチング四面体、表面ネット、グリーディメッシュ化、および二重輪郭形成等の標準的方法によって遂行されることができる。いくつかの構成では、多角形10759は、点の法線に沿って点の局所近隣を投影し、接続されていない点を接続することによって発生されることができる。結果として生じる多角形10759は、少なくとも、近隣のサイズ、考慮されるべき点に関する最大許容可能距離、多角形に関する最大縁長、多角形の最小および最大角度、ならびに法線が相互からとり得る最大偏差に基づくことができる。いくつかの構成では、多角形10759は、多角形10759が、AV10101(図1A)が通行するために小さすぎるであろうかどうかに従ってフィルタリングされることができる。いくつかの構成では、AV10101(図1A)のサイズの円が、公知の手段によって多角形10759のそれぞれの周囲にドラッグされることができる。円が、多角形10759内に実質的に該当する場合、多角形10759、したがって、結果として生じる走行可能表面は、AV10101(図1A)を適応させることができる。いくつかの構成では、多角形10759の面積は、AV10101(図1A)の占有面積と比較されることができる。多角形は、不規則であると仮定されることができ、したがって、多角形10759の面積を判定するための最初のステップは、公知の方法によって多角形10759を正多角形10759Aに分離することになる。正多角形10759A毎に、標準的面積方程式が、そのサイズを判定するために使用されることができる。各正多角形10759Aの面積は、多角形10759の面積を求めるためにともに加算されることができ、その面積は、AV10101(図1A)の占有面積と比較されることができる。フィルタリングされた多角形は、サイズ基準を満たす多角形のサブセットを含むことができる。フィルタリングされた多角形は、最終走行可能表面を設定するために使用されることができる。
継続して図1Gを参照すると、いくつかの構成では、多角形10759は、例えば、限定ではないが、Point Cloud Library, http://pointclouds.org/documentation/tutorials/statistical_outlier.phpにおいて利用可能なもの等の統計分析技法等の従来の手段によって、外れ値を除去することによって処理されることができる。フィルタリングは、限定ではないが、Point Cloud Library, http://pointclouds.org/documentation/tutorials/voxel_grid.phpにおいて利用可能であるようなボクセル化グリッドアプローチを含む、従来の手段によってセグメント10137(図1D)をサイズ縮小することを含むことができる。凹多角形10263は、例えば、限定ではないが、「A New Concave Hull Algorithm and Concaveness Measure for n-dimensional Datasets」, Park et al., Journal of Information Science and Engineering 28, pp. 587-600, 2012に記載されるプロセスに記載されるプロセスによって作成されることができる。
ここで、主として図1Hを参照すると、いくつかの構成では、処理された点群データ10135(図1D)は、初期走行可能表面10265を判定するために使用されることができる。領域拡大は、走行可能表面の一部である点を含み得る、点クラスタを生成することができる。いくつかの構成では、初期走行可能表面を判定するために、基準平面が、点クラスタのそれぞれにフィットされることができる。いくつかの構成では、点クラスタは、点クラスタの配向と基準平面との間の関係に従ってフィルタリングされることができる。例えば、点クラスタ平面と基準平面との間の角度が、例えば、限定ではないが、約30°を下回る場合、点クラスタは、予備的に、初期走行可能表面の一部であると見なされることができる。いくつかの構成では、点クラスタは、例えば、限定ではないが、サイズ制約に基づいてフィルタリングされることができる。いくつかの構成では、点群データ10131(図1D)内の合計点の約20%よりも点サイズにおいて大きい点クラスタは、大きすぎると見なされることができ、点群データ10131(図1D)内の合計点の約0.1%よりもサイズにおいて小さい点クラスタは、小さすぎると見なされることができる。初期走行可能表面は、点クラスタのフィルタリングされたものを含むことができる。いくつかの構成では、点クラスタは、いくつかの公知の方法のうちのいずれかによって、さらなる処理を継続するために分割されることができる。いくつかの構成では、雑音を伴うアプリケーションの密度ベースの空間クラスタリング(DBSCAN)が、点クラスタを分割するために使用されることができる一方、いくつかの構成では、k平均クラスタリングが、点クラスタを分割するために使用されることができる。DBSCANは、ともに密集する点をともに群化し、実質的に孤立する、または低密度領域における点を外れ値としてマーキングすることができる。密集していると見なされるために、点は、候補点からの事前選択された距離内に位置していなければならない。いくつかの構成では、事前選択された距離に関するスケール係数が、経験的または動的に判定されることができる。いくつかの構成では、スケール係数は、約0.1~1.0の範囲内であり得る。
主として図1Iを参照すると、SDSF線を発生させること(10163)(図1D)は、走行可能表面10265(図1H)上の凹多角形10263のさらなるフィルタリングによってSDSFを位置特定することを含むことができる。いくつかの構成では、多角形を構成する点群データからの点は、上側ドーナツ点10351(図1J)、下側ドーナツ点10353(図1J)、または円筒点10355(図1J)のいずれかとしてカテゴリ化されることができる。上側ドーナツ点10351(図1J)は、地面から最も遠いSDSFモデル10352の形状に該当することができる。下側ドーナツ点10353(図1J)は、地面に最近接する、または地面レベルにおけるSDSFモデル10352の形状に該当する。円筒点10355(図1J)は、上側ドーナツ点10351(図1J)と下側ドーナツ点10353(図1J)との間の形状に該当することができる。カテゴリの組み合わせは、ドーナツ10371を形成することができる。ドーナツ10371がSDSFを形成するかどうかを判定するために、ある基準が、試験される。例えば、各ドーナツ10371において、上側ドーナツ点10351(図1J)である最小数の点および下側ドーナツ点10353(図1J)である最小数が、存在しなければならない。いくつかの構成では、最小値は、経験的に選択されることができ、約5~20の範囲に該当することができる。各ドーナツ10371は、複数の部分、例えば、2つの半球に分割されることができる。ドーナツ10371内の点がSDSFを表すかどうかを判定するための別の基準は、点の大部分が、ドーナツ10371の部分の対向する半球内に位置するかどうかである。円筒点10355(図1J)は、第1の円筒領域10357(図1J)または第2の円筒領域10359(図1J)のいずれかにおいて生じることができる。SDSF選択に関する別の基準は、両方の円筒領域10357/10359(図1J)内に最小数の点が存在しなければならないことである。いくつかの構成では、最小数の点は、経験的に選択されることができ、3~20の範囲に該当することができる。SDSF選択に関する別の基準は、ドーナツ10371が、3つのカテゴリの点、すなわち、上側ドーナツ点10351(図1J)、下側ドーナツ点10353(図1J)、および円筒点10355(図1J)のうちの少なくとも2つを含まなければならないことである。
継続して、主として図1Iを参照すると、いくつかの構成では、多角形は、並行して処理されることができる。各カテゴリワーカ10362は、SDSF点10789(図1N)に関するその割り当てられた多角形を探索することができ、SDSF点10789(図1N)をカテゴリ10763(図1G)に割り当てることができる。多角形が、処理される際、結果として生じる点カテゴリ10763(図1G)は、組み合わせられ(10363)、組み合わせられたカテゴリ10366を形成することができ、カテゴリは、短縮され(10365)、短縮された組み合わせられたカテゴリ10368を形成することができる。SDSF点10789(図1N)を短縮することは、地面からのそれらの距離に関してSDSF点10789(図1N)をフィルタリングすることを含むことができる。短縮された組み合わせられたカテゴリ10368は、各SDSF点10766(図1G)の周囲の面積を探索し、平均点10765(図1G)を発生させることによって、平均化され、可能性として、平均ワーカ10373によって並行して処理され、カテゴリの点は、平均化されたドーナツ10375のセットを形成することができる。いくつかの構成では、各SDSF点10766(図1G)の周囲の半径は、経験的に判定されることができる。いくつかの構成では、各SDSF点10766(図1G)の周囲の半径は、0.1m~1.0mの範囲を含むことができる。平均点10765(図1G)におけるSDSFに関するSDSF軌道10377(図1G)上の1つの点と別のものとの間の高さ変化が、計算されることができる。平均化されたドーナツ10375をともに接続することは、SDSF軌道10377(図1Gおよび1K)を発生させることができる。SDSF軌道10377(図1Gおよび1K)を作成する際、開始点の探索半径内に2つの次の候補点が、存在する場合、次の点は、少なくとも、以前の線セグメント、開始点、および候補目的地点の間に可能な限り一直線の線を形成することに基づいて選定されることができ、その上で、候補の次の点は、以前の点と候補の次の点との間のSDSF高の最も小さい変化を表す。いくつかの構成では、SDSF高は、上側ドーナツ10351(図1J)および下側ドーナツ10353(図1J)の高さの間の差異として定義されることができる。
ここで、主として図1Lを参照すると、凹多角形およびSDSF線を組み合わせること10165(図1D)は、多角形10139(図1D)ならびにSDSF10141(図1D)を含むデータセットを生成することができ、データセットは、SDSFデータを用いてグラフ化多角形を生成するために操作されることができる。凹多角形10263を操作することは、限定ではないが、凹多角形10263を併合し、併合された多角形10771を形成することを含むことができる。凹多角形10263を併合することは、例えば、限定ではないが、(http://www.angusj.com/delphi/clipper.php)に見出されるもの等の公知の方法を使用して遂行されることができる。併合された多角形10771は、縁を平滑化し、拡張された多角形10772を形成するために拡張されることができる。拡張された多角形10772は、走行マージンを提供するために収縮され、収縮された多角形10774を形成することができ、それにSDSF軌道10377(図1M)が、追加されることができる。内向きトリミング(収縮)は、少なくともAV10101(図1A)のサイズに基づく事前選択された量だけ走行可能表面のサイズを縮小することによって、AV10101(図1A)が進行するための余地が縁の近傍に存在することを保証することができる。多角形拡張および収縮は、例えば、限定ではないが、ARCGIS(登録商標)クリップコマンド(http://desktop.arcgis.com/en/arcmap/10.3/manage-data/editing-existing-features/clipping-a-polygon-feature.htm)等の商業的に利用可能な技術によって遂行されることができる。
ここで、主として図1Mを参照すると、収縮された多角形10774は、多角形10778にパーティション化されることができ、そのそれぞれは、非走行可能表面に遭遇することなく横断されることができる。収縮された多角形10774は、例えば、限定ではないが、z次曲線ハッシングによって最適化され、孔、捩れ多角形、縮退、および自己交差を取り扱うために拡張される、イヤースライシング等の従来の手段によってパーティション化されることができる。商業的に利用可能なイヤースライシング実装は、限定ではないが、(https://github.com/mapbox/earcut.hpp)に見出されるものを含むことができる。SDSF軌道10377は、多角形頂点10781に接続され得るSDSF点10789(図1N)を含むことができる。頂点10781は、AV10101(図1A)のための可能性として考えられる進行経路を形成するために相互に接続され得る、可能性として考えられる経路点であると見なされることができる。データセットでは、SDSF点10789(図1N)は、そのように標識化されることができる。パーティション化が、進行する際、例えば、限定ではないが、縁10777および10779等の冗長縁が導入されることが、可能性として考えられる。縁10777または10779のうちの1つを除去することは、さらなる分析の複雑性を低減させることができ、多角形メッシュを留保することができる。いくつかの構成では、Hertel-Mehlhorn多角形パーティション化アルゴリズムが、縁を除去し、特徴として標識化された縁を省略するために使用されることができる。標識化された特徴を含む、多角形10778のセットは、可能性として考えられる経路点の数を低減させるためにさらなる簡略化を受けることができ、可能性として考えられる経路点は、占有グリッドを取り込むために使用され得る、注釈付き点データ10379(図5B)の形態においてデバイスコントローラ10111(図1A)に提供されることができる。
ここで図2A-2Bを参照すると、AVによって集積されるセンサデータはまた、占有グリッドを取り込むために使用されることができる。AV内のプロセッサは、貨物コンテナ20110の上に搭載される長距離センサアセンブリ20400内のセンサから、および貨物プラットフォーム20160内に位置する短距離センサ20510、20520、20530、20540、ならびに他のセンサからデータを受信することができる。加えて、プロセッサは、貨物コンテナ20110の前部の上部の近傍に搭載される、随意の短距離センサ20505からデータを受信してもよい。プロセッサはまた、セルラー、WiFi、ならびに/もしくはGPSを含む、1つ以上のアンテナ20122A、20122B(図1C)からデータを受信してもよい。一実施例では、AV20100は、長距離センサアセンブリ20400の上に位置するGPSアンテナ20122A(図1C)および/または貨物コンテナ20110の上に位置するアンテナ20122B(図1C)を有する。プロセッサは、AV20100内の任意の場所に位置してもよい。いくつかの実施例では、1つ以上のプロセッサが、長距離センサアセンブリ20400内に位置する。付加的プロセッサが、貨物プラットフォーム20160内に位置してもよい。他の実施例では、プロセッサは、貨物コンテナ20110内に、および/または電力基部20170の一部として位置してもよい。
継続して図2A-2Bを参照すると、長距離センサアセンブリ20400は、貨物コンテナの上に搭載され、AVを囲繞する環境の改良されたビューを提供する。一実施例では、長距離センサアセンブリ20400は、進行表面または地面から1.2mフィートを上回って上方にある。他の実施例では、貨物コンテナが、より高い、または電力基部構成が、貨物プラットフォーム20160を上昇させる場合、長距離センサアセンブリ20400は、AVがそれにわたって移動している地面から1.8m上方にあってもよい。長距離センサアセンブリ20400は、最小距離から最大範囲までのAVの周囲の環境についての情報を提供する。最小距離は、長距離センサ20400および貨物コンテナ20110の相対的位置によって定義されてもよい。最小距離はさらに、センサの視野(FOV)によって定義されてもよい。最大距離は、長距離センサアセンブリ20400内の長距離センサの範囲によって、および/またはプロセッサによって定義されてもよい。一実施例では、長距離センサの範囲は、20メートルに限定される。一実施例では、Velodyne Puck LIDARは、100mまでの範囲を有する。長距離センサアセンブリ20400は、全ての方向における物体に関するデータを提供してもよい。センサアセンブリは、AV20100の周囲の360°角度にわたる構造、表面、および障害物に関する情報を提供してもよい。
継続して図2Aを参照すると、窓20434、20436、および20438を通して観察する3つの長距離カメラが、ともに360°FOVを提供する、水平FOV20410、20412、20414を提供することができる。水平FOVは、選択されたカメラおよび長距離カメラアセンブリ20400内のカメラの場所によって定義されてもよい。視野の説明では、ゼロ角は、AV20100の中心を通した、AVの前部に垂直な垂直平面内に位置する光線である。ゼロ角光線は、AVの前部を通して通過する。窓20434を通して視認する前部長距離カメラは、311°~47°の96°FOV20410を有する。窓20436を通して視認する左側長距離カメラは、47°~180°のFOV20412を有する。窓20438を通して視認する右側長距離カメラは、180°~311°のFOV20414を有する。長距離センサアセンブリ20400は、長距離カメラよりもAV20100の正面の物体および表面に関するより詳細な情報を提供する、窓20432を通して観察するように位置する、産業カメラを含んでもよい。窓20432の後方に位置する産業カメラは、選択されたカメラおよび長距離カメラアセンブリ20400内のカメラの場所によって定義される、FOV20416を有してもよい。一実施例では、窓20432の後方の産業カメラは、23°~337°のFOVを有する。
ここで図2Bを参照すると、LIDAR20420は、AV20100の周囲の360°水平FOVを提供する。垂直FOVは、LIDAR器具によって限定されてもよい。一実施例では、40°であり、地面から1.2m~1.8m上方に搭載される垂直FOV20418は、AV20100から3.3m~5mにセンサの最小距離を設定する。
ここで図2Cおよび2Dを参照すると、長距離センサアセンブリ20400が、カバー20430とともに示される。カバー20430は、それを通して長距離カメラおよび産業カメラが、AV20100の周囲の環境を観察する、窓20434、20432、20436を含む。長距離センサアセンブリ20400のためのカバー20430は、カバー20430と貨物コンテナ20110の上部との間のOリングによって天候からシールされる。
ここで図2Eおよび2Fを参照すると、カバー20430は、カメラおよびプロセッサの実施例を露見させるために、除去されている。LIDARセンサ20420は、AVの周囲の表面までの範囲または距離に関するデータを提供する。これらのデータは、長距離センサアセンブリ20400内に位置する、プロセッサ20470に提供されてもよい。LIDARは、長距離カメラ20440A-Cおよびカバー20430の上方の構造20405上に搭載される。LIDARセンサ20420は、反射されるレーザパルス化光に基づく測距センサの一実施例である。反射される電波を使用するレーダ等の他の測距センサもまた、使用されることができる。一実施例では、LIDARセンサ20420は、VELODYNE LIDAR(登録商標)(San Jose, CA)によるPuckセンサである。3つの長距離カメラ20440A、20440B、20440Cは、AV20100の周囲の物体、表面、および構造のデジタル画像を提供する。3つの長距離カメラ20440A、20440B、20440Cは、AVの周囲の360°全体を網羅する3つの水平FOVを提供するために、カバー20430に対して構造20405の周囲に配列される。長距離カメラ20440A、20440B、20440Cは、貨物コンテナ20110に搭載される、上昇リング構造20405上にある。長距離カメラ20440A、20440B、20440Cは、カバー20430内に搭載される窓20434、20436、20438を通して画像を受信する。長距離カメラは、印刷回路基板(PCB)上のカメラと、レンズとを備えてもよい。
ここで図2Fを参照すると、長距離カメラ20440Aの一実施例は、デジタルカメラ20444の正面に搭載される魚眼レンズ20442を伴うデジタルカメラ20444を備えてもよい。魚眼レンズ20442は、カメラのFOVをはるかに広角に拡大し得る。一実施例では、魚眼レンズは、視野を180°に拡大する。一実施例では、デジタルカメラ20444は、E-con Systems(San Jose, CA)によるe-cam52A_56540_MODに類似する。一実施例では、魚眼レンズ20442は、Sunex(Carlsbad, CA)によるモデルDSL227に類似する。
継続して図2Fを参照すると、長距離センサアセンブリ20400はまた、カバー20430内の窓20432を通して視覚的データを受信する、産業カメラ20450を含んでもよい。産業カメラ20450は、AVの正面の物体、表面、および構造に関する付加的データをプロセッサ20470に提供する。カメラは、Kowa産業カメラ(部品番号LM6HC)に類似し得る。産業カメラ20450および長距離カメラ20440A-Cは、AV20100がそれにわたって移動している表面から1.2m~1.8m上方に位置する。
継続して図2Fを参照すると、貨物コンテナの上に長距離センサアセンブリ20400を搭載することは、少なくとも2つの利点を提供する。長距離カメラ20440A-Cと、産業カメラ20450と、LIDAR20420とを含む長距離センサに関する視野は、多くの場合、センサが、地面からさらに上方に搭載されるとき、人々、自動車、低い壁等の近傍の物体によって遮断されることが少ない。加えて、歩行者専用道路は、人々が知覚するための標識、フェンス高等を含む視覚的キューを提供するように設計され、典型的な眼の高さは、1.2m~1.8mの範囲内である。貨物コンテナの上に長距離センサアセンブリ20400を搭載することは、標識と同一のレベルに、かつ歩行者に向けられる視覚的キューの上に長距離カメラ20440A-C、20450を置く。長距離センサは、AV20100の移動によって引き起こされる偏向に耐える、実質的な剛性のマウントを提供する構造20405上に搭載される。
再び図2Eおよび2Fを参照すると、長距離センサアセンブリは、慣性測定ユニット(IMU)と、長距離センサからデータを受信し、処理されたデータをナビゲーションのために他のプロセッサに出力する、1つ以上のプロセッサとを含んでもよい。垂直基準(VRU)を伴うIMU20460が、構造20405に搭載される。IMU/VRU20460は、LIDAR20420に関する位置データを提供するように、LIDAR20420の直下に位置してもよい。IMU/VRU20460からの位置および配向は、他の長距離センサからのデータと組み合わせられてもよい。一実施例では、IMU/VRU 20460は、Xsens Technologies(The Netherlands)によって供給されるモデルMTi 20である。1つ以上のプロセッサは、少なくとも産業カメラ20450からデータを受信する、プロセッサ20465を含んでもよい。加えて、プロセッサ20470は、以下のLIDAR20420、長距離カメラ20440A-C、産業カメラ20450、およびIMU/VRU20460のうちの少なくとも1つからデータを受信してもよい。プロセッサ20470は、循環冷却剤システムに接続される、液冷熱交換器20475によって冷却されてもよい。
ここで図2Gを参照すると、AV20100は、AVから所定の距離内の走行表面および障害物を検出する、いくつかの短距離センサを含んでもよい。短距離センサ20510、20520、20530、20540、20550、および20560は、コンテナプラットフォーム20160の周辺上に位置する。これらのセンサは、貨物コンテナ20110(図2B)の下方に位置し、長距離センサアセンブリ20400(図2C)よりも地面に近接する。短距離センサ20510、20520、20530、20540、20550、および20560は、長距離センサアセンブリ20400(図2C)内のセンサによって見られることができない表面ならびに物体を捕捉するFOVを提供するために、下向きに角度付けられる。地面により近接して位置し、下向きに角度付けられるセンサの視野は、地面からより遠くに搭載されるセンサよりも近傍の物体および歩行者によって妨害される可能性が低い。一実施例では、短距離センサは、AV20100から最大4mまでの地面表面および物体についての情報を提供する。
再び図2Bを参照すると、短距離センサのうちの2つに関する垂直FOVが、AV20100の側面図において示される。後向きセンサ20540の垂直FOV20542は、中心線20544を中心とする。中心線20544は、貨物プラットフォーム20160の上面の下方に角度付けられる。一実施例では、センサ20540は、垂直FOV42°と、貨物プラットフォーム20160の上板によって画定される平面20547の下方に22°~28°角度付けられる中心線20546とを有する。ある実施例では、短距離センサ20510および20540は、地面から約0.55m~0.71m上方にある。結果として生じるFOV20512、20542は、AVから0.4m~4.2mの地面を網羅する。貨物基部20160上に搭載される短距離センサ20510、20520、20530、20550(図2G)、20560(図2G)は、類似する垂直視野および貨物プラットフォームの上部に対する中心線角度を有する。貨物プラットフォーム20160上に搭載される短距離センサは、AV20100の外縁から0.4~4.7メートルの地面を視認することができる。
継続して図2Bを参照すると、短距離センサ20505は、貨物コンテナ20110の上部に近傍の前面上に搭載されてもよい。一実施例では、センサ20505は、AVの正面の地面の付加的ビューを、短距離センサ20510によって提供されるビューに提供してもよい。別の実施例では、センサ20505は、短距離センサ20510によって提供されるビューの代わりに、AVの正面の地面のビューを提供してもよい。一実施例では、短距離センサ20505は、42°の垂直FOV20507を有してもよく、貨物プラットフォーム20160の上部に対する中心線の角度は、39°である。結果として生じる地面のビューは、AVから0.7m~3.75mに延在する。
再び図2Gを参照すると、短距離センサ20510、20520、20530、20540、20550、20560の水平FOVは、AV20100の周囲の全ての方向を網羅する。20520および20530等の隣接するセンサの水平FOV20522ならびに20532は、AV20100から離れたある距離において重複する。一実施例では、隣接するセンサ20520、20530および20560、20550の水平FOV20522、20532ならびに20562、20552は、AVから0.5~2メートルにおいて重複する。短距離センサは、貨物基部20160の周辺の周囲に分散され、水平視野を有し、具体的角度において設置され、AVを囲繞する地面のほぼ完全な視覚的カバレッジを提供する。一実施例では、短距離センサは、69°の水平FOVを有する。前部センサ20510は、AVに対してゼロ角において前方に向き、FOV20512を有する。一実施例では、2つの前部コーナーセンサ20520、20560は、中心線が、65°の角度20564にあるように、角度付けられる。ある実施例では、後側センサ20530、20550は、20530および20560の中心線が、110°の角度20534にあるように、角度付けられる。いくつかの構成では、AV20100の周囲の地面のほぼ完全なビューを提供するために貨物基部20160の周辺の周囲に搭載される、他の水平FOVを伴う他の数のセンサも、可能性として考えられる。
ここで図2Hを参照すると、短距離センサ20510、20520、20530、20540、20550、20560は、貨物基部20160の周辺上に位置する。短距離カメラは、短距離カメラの角度および場所を設定する、突起部内に搭載される。別の構成では、センサは、貨物基部の内部上に搭載されて位置し、貨物基部20160の外側外板と整合される窓を通して視覚的データを受信する。
ここで図2Iおよび2Jを参照すると、短距離センサ20600は、貨物基部20160の外板要素20516内に搭載され、液体冷却システムを含んでもよい。外板要素20516は、貨物基部20160の上部に対する所定の場所および垂直角度において、かつ貨物基部20160の前部に対するある角度において短距離センサアセンブリ20600を保持する、形成された突出部20514を含む。いくつかの構成では、短距離センサ20510は、28°だけ貨物プラットフォーム20160に対して下向きに角度付けられ、短距離センサ20520および20560は、18°下向きかつ25°前方に角度付けられ、短距離センサ20530および20550は、34°下向きかつ20°後方に角度付けられ、短距離センサ20540は、28°だけ貨物プラットフォーム20160に対して下向きに角度付けられる。外板要素20516は、カメラアセンブリ20600を受容するための空洞20517を含む。外板要素20516はまた、限定ではないが、リベット、ねじ、およびボタンを含む、機械的締結具を受容するための複数の要素20518を含んでもよい。代替として、カメラアセンブリは、接着剤を用いて搭載される、または外板要素20516に締結されるクリップを用いて定位置に保持されてもよい。ガスケット20519は、カメラ20610の前部に対するシールを提供することができる。
ここで図2Kおよび2Lを参照すると、短距離センサアセンブリ20600は、水冷板20626に取り付けられるブラケット20622上に搭載される、短距離センサ20610を備える。外側ケース20612、透明カバー20614、およびヒートシンク20618は、短距離センサ20610の熱放散要素であるセンサブロック20616ならびに電子ブロック20620をより良好に可視化するために、図2Kおよび2Lにおいて部分的に除去されている。短距離センサアセンブリ20600は、ブラケット20622と液冷板20626との間に1つ以上の熱電気冷却器(TEC)20630を含んでもよい。液冷板20626は、板20626に熱的に接続される20628を通して圧送される冷却剤によって冷却される。TECは、第1および第2の側を伴う電動要素である。電動TECは、第1の側を冷却しながら、第1の側から除去された熱エネルギーに電力を加えたものを第2の側において除斥する。短距離センサアセンブリ20600では、TEC20630は、ブラケット20622を冷却し、熱冷却エネルギーに電気エネルギーを加えたものを水冷板20626に伝達する。代替として、TEC20630は、TEC20630に供給される電圧の大きさおよび極性を変動させることによって、カメラ20600の温度を能動的に制御するために使用されることができる。
冷却モードにおいてTEC20630を動作させることは、短距離センサ20610が、冷却剤温度を下回る温度において動作することを可能にする。ブラケット20622は、2つの場所において短距離センサ20610に熱的に接続され、センサブロック20616および電子ブロック20620の冷却を最大限にする。ブラケット20622は、ねじ20625を介してヒートシンク20618に熱的に取り付けられる、タブ20624を含む。ヒートシンク20618は、センサブロック20616に熱的に接続される。ブラケットは、したがって、ヒートシンク20618、ねじ20625、およびタブ20624を介してセンサブロック20616に熱的に接続される。ブラケット20622はまた、電子ブロック20620に機械的に取り付けられ、電子機器ブロック20620の直接冷却を提供する。ブラケット20622は、限定ではないが、図2Jの要素20518と係合するねじおよびリベットを含む、複数の機械的アタッチメントを含んでもよい。短距離センサ20610は、限定ではないが、カメラ、ステレオカメラ、超音波センサ、短距離レーダ、および赤外線プロジェクタならびにCMOSセンサを含む、1つ以上のセンサを組み込んでもよい。一例示的短距離センサは、IRプロジェクタと、2つのイメージャチップと、RGBカメラとを備える、Intel(Santa Clara, California)によるリアルセンス深度カメラD435に類似する。
ここで図2M-2Oを参照すると、AV20100の別の実施形態が、示される。AV20100Aは、貨物プラットフォーム20160および電力基部20170上に搭載される、貨物コンテナ20110を含む。AV20100Aは、複数の長距離および短距離センサを含む。一次長距離センサは、貨物コンテナ20110の上のセンサパイロン20400A内に搭載される。センサパイロンは、LIDAR20420と、広い視野を提供するために発散方向に向けられる、複数の長距離カメラ(図示せず)とを含んでもよい。いくつかの構成では、LIDAR20420は、例えば、限定ではないが、占有グリッドの取り込みを可能にし得る点群データを提供し、目印を識別する、その環境内のAV20100を位置特定する、および/またはナビゲート可能空間を判定するための情報を提供するために、本明細書の別の場所に説明されるように使用されることができる。いくつかの構成では、Leopard Imaging Inc.からの長距離カメラが、目印を識別する、その環境内のAV20100を位置特定する、および/またはナビゲート可能空間を判定するために使用されることができる。
継続して図2M-2Oを参照すると、短距離センサは、主として、貨物プラットフォーム20160内に搭載され、AV20100Aの近傍の障害物についての情報を提供する。いくつかの実施形態では、短距離センサは、AV20100Aから4m以内の障害物および表面に関するデータを供給する。いくつかの構成では、短距離センサは、AV20100Aから最大10mまでの情報を提供する。少なくとも部分的に、前方を向いている複数のカメラが、貨物プラットフォーム20160内に搭載される。いくつかの構成では、複数のカメラは、3つのカメラを含むことができる。
ここで図2Oを参照すると、上部カバー20830は、サブルーフ20810を露見させるために、部分的に裁断されている。サブルーフ20810は、その上に複数のアンテナ20820が搭載され得る、単一部品を提供する。ある実施例では、10個のアンテナ20820が、サブルーフ20810に搭載される。さらに、例えば、4つのセルラー通信チャネルが、それぞれ、2つのアンテナを有し、2つのWiFiアンテナが、存在する。アンテナは、セルラー伝送および受信のための主要アンテナならびに補助アンテナとして配線される。補助アンテナは、限定ではないが、干渉を低減させること、および4G LTEコネクティビティを達成することを含む、いくつかの方法によってセルラー機能性を改良し得る。サブルーフ20810ならびに上部カバー20830は、非金属である。サブルーフ20810は、上部カバー20830から10mm~20mm以内のプラスチック表面であり、これは、構造的ではなく、上部カバー20830が取り付けられる前に、アンテナがプロセッサに接続されることを可能にする。アンテナ接続は、多くの場合、高インピーダンスであり、土、グリース、および誤使用に敏感である。アンテナをサブルーフ20810に搭載および接続することは、上部カバーが、アンテナ接続に触れることなく、配設ならびに除去されることを可能にする。保守および修理動作は、サブルーフを除去することなく、またはアンテナを接続解除することなく、上部カバーを除去することを含んでもよい。上部カバー20830の配設とは別のアンテナの組立は、試験/修理を促進する。上部カバー20830は、耐候性であり、水および砂埃が貨物コンテナ20110に進入しないように防止する。アンテナをサブルーフ上に搭載することは、上部カバー20830上の開口部の数を最小限にする。
ここで図2P、2Q、および2Rを参照すると、貨物コンテナ(図示せず)の上に搭載される、長距離センサアセンブリ(LRSA)20400Aの別の実施例が、示される。LRSAは、AV20100Aの環境のパノラマビューを提供するためにLRSA構造20950上の異なる位置に搭載される、LIDARと、複数の長距離カメラとを含んでもよい。LIDAR20420は、途切れないビューを提供するために、LRSA構造20950上の最上部に搭載される。LIDARは、VELODYNE LIDARを含むことができる。複数の長距離カメラ20910A-20910Dは、LIDAR20420の下方の次のレベル上でLRSA構造20950上に搭載される。ある実施例では、4つのカメラが、構造の周囲に90°毎に1つずつ搭載され、AV20100の周囲の環境の4つのビューを提供する。いくつかの実施例では、4つのビューは、重複するであろう。いくつかの実施例では、各カメラは、運動の方向と整合されるか、または移動の方向に直交するかのいずれかである。ある実施例では、1つのカメラが、AV20100Aの主要な面、すなわち、正面、背面、左側、および右側のそれぞれと並ぶ。ある実施例では、長距離カメラは、Leopard Imaging Inc.によって作製されるモデルLI-AR01 44-MIPI-M12である。長距離カメラは、プロセッサへの高速データ転送を提供するために、MIPI CSI-2インターフェースを有してもよい。長距離カメラは、50°~70°の水平視野と、30°~40°の垂直視野とを有してもよい。
ここで図2Sおよび2Tを参照すると、長距離プロセッサ20940が、長距離カメラ20910A-20910DおよびLIDAR20420の下方のLRSA構造20950上に位置する。長距離プロセッサ20940は、長距離カメラおよびLIDARからデータを受信する。長距離プロセッサは、AV20100A内の別の場所の1つ以上のプロセッサと通信する。長距離プロセッサ20940は、長距離カメラおよびLIDARから導出されたデータを、本明細書の別の場所に説明される、AV20100A上の別の場所に位置する1つ以上のプロセッサに提供する。長距離プロセッサ20940は、冷却器20930によって液冷されてもよい。冷却器20930は、長距離カメラおよびLIDARの下の構造に搭載されてもよい。冷却器20930は、長距離プロセッサ20940のための搭載場所を提供してもよい。冷却器20930は、2020年5月26日に出願され、「Apparatus for Electronic Cooling on an Autonomous Device」と題された、米国特許出願第16/883,668号(弁理士整理番号第AA280号)(参照することによって全体として本明細書に組み込まれる)に説明されている。冷却器は、冷却液体を冷却器20930に提供する、液体供給導管および戻り導管を提供される。
再び図2Mおよび2Nを参照すると、短距離カメラアセンブリ20740A-Cは、コンテナプラットフォーム20160の前部上に搭載され、進行表面および障害物、段差、縁石、ならびに他の実質的不連続表面特徴(SDSF)についての情報を収集するように角度付けられる。カメラアセンブリ20740A-Cは、進行表面、地面上の物体、およびSDSFを照明するために、1つ以上のLEDライトを含む。
ここで図2U-2Xを参照すると、カメラアセンブリ20740A-Bは、地面および物体を照明し、カメラ20732からの改良された画像データを提供するために、ライト20732を含む。カメラアセンブリ20740Aが、20740Cの鏡像であり、20740Aの説明が、暗示的に20740Cに適用されることに留意されたい。カメラ20732は、単焦点カメラ、ステレオカメラ、および/または赤外線プロジェクタならびにCMOSセンサを含んでもよい。カメラの一実施例は、IRプロジェクタと、レンズを伴う2つのイメージャチップと、RGBカメラとを備える、Intel(Santa Clara, CA)によるReal-Sense Depth D435カメラである。LEDライト20734は、夜間に、または弱光条件において使用されてもよい、もしくは画像データを改良するために常時使用されてもよい。1つの動作原理は、ライトが、投影面を照明し、窪みに影を作成することによって、コントラストを作成することである。LEDライトは、ある実施例では、白色LEDであってもよい。ある実施例では、LEDライト20734は、Cree Inc.からのXlamp XHP50である。別の実施例では、LEDライトは、近傍の歩行者または運転者の気を散らす、もしくは邪魔することなく、カメラ20372のための照明を提供するために、赤外線で発光してもよい。
継続して図2U-2Xを参照すると、ライト20374の設置および角度ならびにカバー20736A、20736Bの形状は、カメラ20732がライト20374を見ないように防止する。ライト20374およびカバー20736A、20736Bの角度ならびに設置は、ライトが運転者に干渉しない、または歩行者を邪魔しないように防止する。カメラ20732内のセンサがライト20734によって盲目にされ、したがって、AV20100Aの正面および側面の地面ならびに物体からのより弱い光信号を検出しないように妨げられることを防止するために、カメラ20732が、ライト20734に暴露されないことが有利である。カメラ20732および/またはライト20734は、ポート20736を通してカメラアセンブリの内外に流動する液体を用いて冷却されてもよい。
ここで図2Wおよび2Xを参照すると、短距離カメラアセンブリ20740Aは、超音波またはソナー短距離センサ20730Aを含む。第2の短距離カメラアセンブリ20740Cもまた、超音波短距離センサ20730B(図2N)を含む。
ここで図2Yを参照すると、超音波センサ20730Aは、カメラ20732の上方に搭載される。ある実施例では、超音波センサ20730Aの中心線は、貨物コンテナ20110の基部と平行であり、これは、多くの場合、センサ20730Aが水平であることを意味する。センサ20730Aは、前方を向いた状態から45°に角度付けられる。カバー20376Aは、超音波センサ20730Aから出現し、それによって受信される超音波を指向するためのホーン20746を提供する。
継続して図2Yを参照すると、カメラアセンブリ20740A内のカメラ20732、ライト20734の断面が、カバー20736における角度および開口部を図示する。短距離カメラアセンブリ内のカメラは、AVの正面および側面の地面をより良好に撮像するために、下向きに角度付けられる。中心カメラアセンブリ20740Bは、水平面において真正面に配向される。コーナーカメラアセンブリ20740A、20740Cは、水平面における真正面に対してそれらの個別の側に25°に角度付けられる。カメラ20732は、垂直平面において貨物プラットフォームの上部に対して20°下向きに角度付けられる。AVは、概して、貨物プラットフォームを水平に保持するため、カメラは、したがって、水平から20°下方に角度付けられる。同様に、中心カメラアセンブリ20740B(図2M)は、28°だけ水平から下方に角度付けられる。ある実施例では、カメラアセンブリ内のカメラは、25°~35°だけ下向きに角度付けられてもよい。別の実施例では、カメラアセンブリ内のカメラは、15°~45°だけ下向きに角度付けられてもよい。LEDライト20734は、同様に、カメラ20732によって撮像される地面を照明し、歩行者の気を散らすことを最小限にするために、下向きに角度付けられる。一実施例では、LEDライト中心線20742は、カメラ中心線20738から5°以内で平行である。カバー20736Aは、カメラアセンブリ20740A-C内のLED20734の明るい光からカメラ20732および歩行者の両方を保護する。LEDによって放出される光を隔離するカバーはまた、カメラ20732の視野を最大限にするために、漸広された開口部20737を提供する。ライトは、カバーの開口部から少なくとも4mmにおいて埋め込まれる。ライト開口部は、上側壁20739および下側壁20744によって画定される。上側壁20739は、中心線2074と略平行(±5°)である。下側壁20744は、地面および地面の近傍の物体の照明を最大限にするために、中心線20742から約18°に漸広される。
ここで図2Z-2AAを参照すると、一構成では、ライト20734は、それぞれ、正方形レンズ20734B下に2つのLED20734Aを含み、光のビームを生成する。LED/レンズは、カメラ20732のFOVの外側の光のこぼれを殆ど伴わずにカメラの視野を照明するために、カメラ20372に対して角度付けられ、位置する。2つのLED/レンズは、2つのライトの間に定義された角度20762を伴って単一のPCB20752上にともに搭載される。別の構成では、2つのLED/レンズは、相互に対してある角度において別個のPCB上のヒートシンク20626A上に個々に搭載される。ある実施例では、ライトは、Cree, Inc.からのXlamp XHP50であり、レンズは、LEDilからの60°レンズHB-SQ-Wである。ライトは、相互に対して約50°に角度付けられ、したがって、レンズの前部の間の角度20762は、130°である。ライトは、カメラ20732の前部から約18mm(±5mm)20764後方およびカメラ20732の中心線から約30mm20766下方に位置する。
ここで図2AA-2BBを参照すると、カメラ20732は、熱電気冷却器(TEC)20630によって冷却され、これは、低温ブロック20626Aを通して流動する液体冷却剤によってライト20734とともに冷却される。カメラは、カメラのセンサブロック部分の中に螺着するねじ20625を介してブラケット20622に取り付けられる一方、ブラケット20622の後部は、カメラの電子機器ブロックにボルト留めされる。ブラケット20622は、カメラ20732内のIR撮像チップ(CMOSチップ)の性能を維持するために、2つのTECによって冷却される。TECは、ブラケット20622からの熱およびそれらが引き込む電力を低温ブロック20626Aに除斥する。
ここで図2BBを参照すると、冷却剤は、中心フィン20626Dによって作成されるU形経路を通して指向される。冷却剤は、ライト20734のLED/レンズ/PCBの後方に直接流動する。フィン20626B、20626Cは、ライト20734から冷却剤への熱伝達を向上させる。冷却剤は、上向きに流動し、TEC20630の高温側の傍を通過する。流体経路は、低温ブロック20626Aの後部に取り付けられる板20737(図2X)によって作成される。
ここで図3Aを参照すると、センサデータおよびマップデータが、占有グリッドを更新するために使用されることができる。本教示のシステムおよび方法は、グリッドマップに関して自律的にナビゲートしているデバイスのためのグローバル占有グリッドを管理することができる。グリッドマップは、本デバイスが始点から目的地まで辿り得るルートまたは経路を含むことができる。グローバル占有グリッドは、本デバイスがナビゲートすることが安全である場所を示し得る、自由空間インジケーションを含むことができる。可能性として考えられる経路および自由空間インジケーションは、グローバル占有グリッド上で組み合わせられ、その上で本デバイスが目的地に安全に到着するために進行し得る最適な経路を確立することができる。
継続して図3Aを参照すると、本デバイスが移動する際、非妨害ナビゲーションルートを判定するために使用されるであろうグローバル占有グリッドは、本デバイスの場所に基づいてアクセスされることができ、グローバル占有グリッドは、本デバイスが移動する際に更新されることができる。更新は、少なくとも、本デバイスの場所におけるグローバル占有グリッドと関連付けられる現在の値、本デバイスがナビゲートしている近隣についての履歴情報を含み得る静的占有グリッド、および本デバイスが進行する際にセンサによって収集されるデータに基づくことができる。センサは、本明細書に説明されるように、本デバイス上に位置することができ、それらは、別の場所に位置することができる。
継続してなおもさらに図3Aを参照すると、グローバル占有グリッドは、セルを含むことができ、セルは、占有確率値と関連付けられることができる。グローバル占有グリッドの各セルは、障害物がセルの場所において識別されたかどうか、以前に収集されたデータから判定されるような、および本デバイスがナビゲートする際に収集されるデータによって判定されるような、その場所における、ならびにそれを囲繞する進行表面の特性および不連続性、ならびにその場所と関連付けられる事前の占有データ等の情報と関連付けられることができる。本デバイスがナビゲートする際に捕捉されたデータは、その中心が本デバイスであるローカル占有グリッド内に記憶されることができる。グローバル占有グリッドを更新するとき、静的な以前に収集されたデータは、以前の更新において判定されたローカル占有グリッドデータおよびグローバル占有データと組み合わせられ、非占有としてマーキングされる、本デバイスによって占有される空間を伴う新しいグローバル占有グリッドを作成することができる。いくつかの構成では、ベイズ方法が、グローバル占有グリッドを更新するために使用されることができる。本方法は、ローカル占有グリッド内のセル毎に、グローバル占有グリッド上のセルの位置を計算することと、現在のグローバル占有グリッドからのその位置における値にアクセスすることと、静的占有グリッドからのその位置における値にアクセスすることと、ローカル占有グリッドからのその位置における値にアクセスすることと、グローバル占有グリッドからの現在の値、静的占有グリッドからの値、およびローカル占有グリッドからの値の関数としてグローバル占有グリッド上のその位置における新しい値を算出することとを含むことができる。いくつかの構成では、新しい値を算出するために使用される関係は、静的値およびローカル占有グリッド値の合計から現在の値を差し引いたものを含むことができる。いくつかの構成では、新しい値は、例えば、算出的限界に基づいて、事前選択された値によって制限されることができる。
継続して図3Aを参照すると、本教示のシステム30100は、グローバル占有グリッドを管理することができる。グローバル占有グリッドは、初期データから開始することができ、本デバイスが移動する際に更新されることができる。初期グローバル占有グリッドを作成することは、第1のプロセスを含むことができ、グローバル占有グリッドを更新することは、第2のプロセスを含むことができる。システム30100は、限定ではないが、種々のソースから情報を受信し得、少なくとも情報に基づいて、グローバル占有グリッド30505を更新し得る、グローバル占有サーバ30121を含むことができる。情報は、例えば、限定ではないが、本デバイス上および/または別の場所に位置するセンサ、静的情報、ならびにナビゲーション情報によって供給されることができる。いくつかの構成では、センサは、例えば、表面特性および障害物を検出し得る、カメラならびにレーダを含むことができる。センサは、有利なこととして、例えば、本デバイスによる安全な進行を可能にするために十分な周辺のカバレッジを提供するように、本デバイス上に位置することができる。いくつかの構成では、LIDAR30103は、LIDAR自由空間情報30213を用いてローカル占有グリッドを取り込むことを可能にし得る、LIDAR点群(PC)データ30201を提供することができる。いくつかの構成では、従来の地面検出逆センサモデル(ISM)30113は、LIDAR PCデータ30201を処理し、LIDAR自由空間情報30213を生成することができる。
継続して図3Aを参照すると、いくつかの構成では、RGB-Dカメラ30101は、RGB-D PCデータ30202およびRGBカメラデータ30203を提供することができる。RGB-D PCデータ30202は、深度自由空間情報30209を用いてローカル占有グリッドを取り込むことができ、RGB-Dカメラデータ30203は、表面データ30211を用いてローカル占有グリッドを取り込むことができる。いくつかの構成では、RGB-D PCデータ30202は、例えば、限定ではないが、従来のステレオ自由空間ISM30109によって処理されることができ、RGB-Dカメラデータ30203は、例えば、限定ではないが、従来の表面検出ニューラルネットワーク30111にフィードされることができる。いくつかの構成では、RGB MIPIカメラ30105は、RGBデータ30205を提供し、LIDAR PCデータ30201と組み合わせて、LIDAR/MIPI自由空間情報30215を伴うローカル占有グリッドを生成することができる。いくつかの構成では、RGBデータ30205は、従来の自由空間ニューラルネットワーク30115にフィードされることができ、その出力は、LIDAR PCデータ30201とともに、従来の2D-3D位置合わせ30117にフィードされる前に、正確度に関して最も重要であるRGBデータ30205の部分を識別し得る、事前選択されたマスク30221を受けることができる。2D-3D位置合わせ30117は、RGBデータ30205からの画像をLIDAR PCデータ30201上に投影することができる。いくつかの構成では、2D-3D位置合わせ30117は、必要とされない。センサおよびセンサデータを処理するための方法の任意の組み合わせが、データを集積し、グローバル占有グリッドを更新するために使用されることができる。任意の数の自由空間推定手順が、グローバル占有グリッド内の占有確率の判定および検証を可能にするために、使用され、組み合わせられることができる。
継続して図3Aを参照すると、いくつかの構成では、履歴データは、例えば、ナビゲーション面積と関連付けられる情報を有する、以前に収集および処理されたデータのリポジトリ30107によって提供されることができる。いくつかの構成では、リポジトリ30107は、例えば、限定ではないが、例えば、多角形30207等のルート情報を含むことができる。いくつかの構成では、これらのデータは、従来の多角形パーサ30119にフィードされることができ、これは、縁30303、不連続性30503、および表面30241をグローバル占有グリッドサーバ30121に提供することができる。グローバル占有グリッドサーバ30121は、センサによって収集されたローカル占有グリッドデータを処理されたリポジトリデータと融合させ、グローバル占有グリッド30505を判定することができる。グリッドマップ30601(図3D)は、グローバル占有データから作成されることができる。
ここで図3Bを参照すると、いくつかの構成では、センサは、ソナー自由空間30225を伴うローカル占有グリッドをグローバル占有グリッドサーバ30121に提供し得る、ソナー30141を含むことができる。深度データ30209は、従来の自由空間ISM30143によって処理されることができる。ソナー自由空間30225を伴うローカル占有グリッドは、表面および不連続性30223を伴うローカル占有グリッド、LIDAR自由空間30213を伴うローカル占有グリッド、LIDAR/MIPI自由空間30215を伴うローカル占有グリッド、ステレオ自由空間30209を伴うローカル占有グリッド、ならびに縁30303(図3F)、不連続性30503(図3F)、ナビゲーション点30501(図3F)、表面信頼度30513(図3F)、および表面30241(図3F)と融合され、グローバル占有グリッド30505を形成することができる。
ここで図3C-3Fを参照すると、グローバル占有グリッドを初期化するために、グローバル占有グリッド初期化30200は、グローバル占有グリッドサーバ30121によって、グローバル占有グリッド30505および静的グリッド30249を作成することを含むことができる。グローバル占有グリッド30505は、ローカル占有グリッド30118からのデータを着目領域内に位置する縁30303、不連続性30503、および表面30241と融合することによって作成されることができる。静的グリッド30249(図3D)は、例えば、限定ではないが、表面データ30241、不連続性データ30503、縁30303、および多角形30207等のデータを含むように作成されることができる。初期グローバル占有グリッド30505が、静的グリッド30249(図3E)からの占有確率データをセンサ30107Aからの収集されたデータから導出された占有データに加算し、グローバル占有グリッド30505の事前のもの30505A(図3F)から占有データを減算することによって算出されることができる。ローカル占有グリッド30118は、限定ではないが、ISMを通してステレオ自由空間推定30209(図3B)からもたらされるローカル占有グリッドデータ、表面/不連続性検出結果30223(図3B)を含むローカル占有グリッドデータ、ISMを通してLIDAR自由空間推定30213(図3B)からもたらされるローカル占有グリッドデータ、およびいくつかの構成では、2D-3D位置合わせ30117(図3B)に続く、LIDAR/MIPI自由空間推定30215(図3B)からもたらされるローカル占有グリッドデータを含むことができる。いくつかの構成では、ローカル占有グリッド30118は、ISMを通してソナー自由空間推定30225からもたらされるローカル占有グリッドデータを含むことができる。いくつかの構成では、自由空間推定を伴う種々のローカル占有グリッドが、事前選択された公知のプロセスに従って、ローカル占有グリッド30118に融合されることができる。グローバル占有グリッド30505から、本デバイスの近傍の占有および表面データを含み得る、グリッドマップ30601(図3E)が、作成されることができる。いくつかの構成では、グリッドマップ30601(図3E)および静的グリッド30249(図3D)は、例えば、限定ではないが、ロボット動作システム(ROS)サブスクライブ/公開特徴を使用して公開されることができる。
ここで図3Gおよび3Hを参照すると、本デバイスが移動する際に占有グリッドを更新するために、占有グリッド更新30300は、本デバイスが移動しているときに測定されるデータに関してローカル占有グリッドを更新し、それらのデータを静的グリッド30249と組み合わせることを含むことができる。静的グリッド30249は、本デバイスが、作業している占有グリッド範囲から外に移動するときにアクセスされる。本デバイスは、第1の時間に、第1の場所30513Aにおいて占有グリッド30245A内に位置付けられることができる。本デバイスが、第2の場所30513Bに移動する際、本デバイスは、その新しい場所から、および可能性として、占有グリッド30245A内の値から導出される値のセットを含む、占有グリッド30245B内に位置付けられる。静的グリッド30249からのデータおよび第2の時間における占有グリッド30245B内のセルと場所的に位置する初期グローバル占有グリッド30505(図3C)からの表面データが、測定された表面データならびに占有確率とともに使用され、事前選択された関係に従って各グリッドセルを更新することができる。いくつかの構成では、関係は、静的データを測定されたデータと合計することを含むことができる。第3の時間および第3の場所30513Cにおける結果として生じる占有グリッド30245Cは、本デバイスのナビゲーションを知らせるために、移動マネージャ30123に利用可能にされることができる。
ここで図3Iを参照すると、占有グリッドを作成および管理するための方法30450は、限定ではないが、ローカル占有グリッド作成ノード30122によって、センサ測定値を本デバイスと関連付けられる基準フレームに変換すること30451と、タイムスタンプ付き測定占有グリッドを作成すること30453と、タイムスタンプ付き測定占有グリッドをローカル占有グリッド30234(図3G)として公開すること30455とを含むことができる。方法30450と関連付けられるシステムは、複数のローカル占有グリッド30234(図3G)が、もたらされ得るように、複数のローカルグリッド作成ノード30122、例えば、センサ毎に1つを含むことができる。センサは、限定ではないが、RGB-Dカメラ30325(図3G)、LIDAR/MIPI30231(図3G)、およびLIDAR30233(図3G)を含むことができる。方法30450と関連付けられるシステムは、ローカル占有グリッドを受信し、方法30450に従ってそれらを処理し得る、グローバル占有グリッドサーバ30121を含むことができる。特に、方法30450は、表面をロードすること30242と、例えば、限定ではないが、縁石等の表面不連続性にアクセスすること30504と、例えば、限定ではないが、表面および表面不連続性を含み得る、リポジトリ30107内で利用可能である任意の特性から静的占有グリッド30249を作成すること30248とを含むことができる。方法30450は、公開されたローカル占有グリッドを受信すること30456と、グローバル占有グリッドを移動させ、マップの中心に本デバイスを維持すること30457とを含むことができる。方法30450は、静的事前占有グリッド30249からの事前情報を伴うマップ上の新しい領域を設定すること30459と、本デバイスによって現在占有されている面積を非占有としてマーキングすること30461とを含むことができる。方法30450は、各ローカル占有グリッド内のセル毎に、ループ30463を実行することができる。ループ30463は、限定ではないが、グローバル占有グリッド上のセルの位置を計算することと、グローバル占有グリッド上のその位置における以前の値にアクセスすることと、以前の値とローカル占有グリッド内のセルにおける値との間の関係に基づいて、セル位置における新しい値を計算することとを含むことができる。関係は、限定ではないが、値を合計することを含むことができる。ループ30463は、新しい値を事前選択された許容可能な確率範囲に対して比較することと、新しい値を伴うグローバル占有グリッドを設定することとを含むことができる。比較は、確率が、最小または最大許容可能確率よりも低いもしくは高い場合、確率を最小または最大許容可能確率に設定することを含むことができる。方法30450は、グローバル占有グリッドを公開すること30467を含むことができる。
ここで図3Jを参照すると、グローバル占有グリッドを作成するための代替方法30150は、限定ではないが、30151において、本デバイスが、移動した場合、古いマップ面積(これが移動する前に本デバイスがあった場所)と関連付けられる占有確率値にアクセスし、古いマップ面積からの値を用いて新しいマップ面積(これが移動した後に本デバイスがあった場所)上のグローバル占有グリッドを更新すること30153と、新しいマップ面積内のグローバル占有グリッドのセルと関連付けられる走行可能表面にアクセスし、走行可能表面を用いて更新されたグローバル占有グリッド内のセルを更新すること30155と、ステップ30159に進むこととを含むことができる。30151において、本デバイスが、移動しなかった場合、およびグローバル占有グリッドが、ローカル占有グリッドと共同設置される場合、方法30150は、少なくとも1つのローカル占有グリッドからの走行可能表面と関連付けられる表面信頼度を用いて可能性として更新されたグローバル占有グリッドを更新すること30159と、例えば、限定ではないが、ベイズ関数を使用して、少なくとも1つのローカル占有グリッドからの占有確率値の対数オッズを用いて更新されたグローバル占有グリッドを更新すること30161と、少なくともその場所と関連付けられる特性に基づいて、対数オッズを調節すること30163とを含むことができる。30157において、グローバル占有グリッドが、ローカル占有グリッドと共同設置されない場合、方法30150は、ステップ30151に戻ることを含むことができる。特性は、限定ではないが、非占有として本デバイスの場所を設定することを含むことができる。
ここで図3Kを参照すると、別の構成では、グローバル占有グリッドを作成するための方法30250は、限定ではないが、30251において、本デバイスが、移動した場合、本デバイスの新しい場所と関連付けられる静的グリッドからの情報を用いてグローバル占有グリッドを更新すること30253を含むことができる。方法30250は、新しい場所における表面を分析すること30257を含むことができる。30259において、表面が、走行可能である場合、方法30250は、グローバル占有グリッド上の表面を更新すること30261と、マップ上の新しい位置と関連付けられる静的値のリポジトリからの値を用いてグローバル占有グリッドを更新すること30263とを含むことができる。
ここで図3Lを参照すると、表面を更新すること30261は、限定ではないが、特定のセンサに関するローカル占有グリッド(LOG)にアクセスすること30351を含むことができる。30353において、処理するべきさらなるセルが、ローカル占有グリッド内に存在する場合、方法30261は、ローカル占有グリッドからの表面分類信頼値および表面分類にアクセスすること30355を含むことができる。30357において、ローカル占有グリッド内のセルにおける表面分類が、セルの場所におけるグローバル占有グリッド内の表面分類と同一である場合、方法30261は、新しいグローバル占有グリッド(GOG)表面信頼度を、古いグローバル占有グリッド表面信頼度およびローカル占有グリッド表面信頼度の合計に設定すること30461を含むことができる。30357において、ローカル占有グリッド内のセルにおける表面分類が、セルの場所におけるグローバル占有グリッド内の表面分類と同一ではない場合、方法30261は、新しいグローバル占有グリッド表面信頼度を、古いグローバル占有グリッド表面信頼度とローカル占有グリッド表面信頼度との間の差に設定すること30359を含むことができる。30463において、新しいグローバル占有グリッド表面信頼度が、ゼロ未満である場合、方法30261は、新しいグローバル占有グリッド表面分類をローカル占有グリッド表面分類の値に設定すること30469を含むことができる。
ここで図3Mを参照すると、静的値のリポジトリからの値を用いてグローバル占有グリッドを更新すること30263は、限定ではないが、以下を含むことができ、すなわち、30361において、処理するべきさらなるセルが、ローカル占有グリッド内に存在する場合、方法30263は、ローカル占有グリッドからの対数オッズにアクセスすること30363と、その場所におけるローカル占有グリッドからの値を用いてグローバル占有グリッド内の対数オッズを更新すること30365とを含むことができる。30367において、セルが空である最大確実性が、満たされる場合、および30369において、本デバイスが、所定のレーン障壁内で進行している場合、ならびに30371において、表面が、走行可能である場合、方法30263は、セルが占有されている確率を更新すること30373と、さらなるセルを処理し続けるために戻ることとを含むことができる。30367において、セルが空である最大確実性に到達しない場合、または30369において、本デバイスが、所定のレーン内で進行していない場合、もしくは30371において、表面が、本デバイスが現在進行しているモードにおいて走行可能ではない場合、方法30263は、対数オッズを更新することなく、さらなるセルを考慮するために戻ることを含むことができる。本デバイスが、標準モード、すなわち、本デバイスが比較的に均一な表面をナビゲートし得るモードであり、表面分類が、表面が比較的に均一ではないことを示す場合、方法30263は、対数オッズを更新する(30373)ことによって、セルが占有されている確率を増加させることによって、本デバイスの経路を調節することができる。本デバイスが、標準モードであり、表面分類が、表面が比較的に均一であることを示す場合、方法30263は、対数オッズを更新する(30373)ことによって、セルが占有されている確率を減少させることによって、本デバイスの経路を調節することができる。本デバイスが、4車輪モード、すなわち、本デバイスが不均一な地形をナビゲートし得るモードにおいて進行している場合、セルが占有されている確率の調節は、必要ではない場合がある。
ここで図4Aを参照すると、AVは、デバイス構成、例えば、デバイス42114Aにおいて描写される構成およびデバイス42114Bにおいて描写される構成と関連付けられ得る、具体的モードにおいて進行することができる。少なくとも1つの環境因子および本デバイスの状況に基づく、本デバイスの構成のリアルタイム制御のための本教示のシステムは、限定ではないが、センサと、移動手段と、センサおよび移動手段と動作可能に結合される、シャーシであって、移動手段は、モータおよび電力供給源によって駆動される、シャーシと、センサからデータを受信する、デバイスプロセッサと、移動手段を制御する、電力基部プロセッサとを含むことができる。いくつかの構成では、デバイスプロセッサは、環境データを受信し、環境因子を判定し、環境因子および本デバイスの状況に従って、構成変更を判定し、構成変更を電力基部プロセッサに提供することができる。電力基部プロセッサは、本デバイスを場所から場所へ移動させるためのコマンドを移動手段に発行し、道路表面タイプによって要求されるとき、本デバイスを物理的に再構成することができる。
継続して図4Aを参照すると、環境データを収集するセンサは、限定ではないが、例えば、カメラ、LIDAR、レーダ、温度計、圧力センサ、および天候条件センサを含むことでき、そのうちのいくつかは、本明細書に説明される。本一連のデータから、デバイスプロセッサは、デバイス構成変更が基づき得る環境因子を判定することができる。いくつかの構成では、環境因子は、例えば、限定ではないが、表面タイプ、表面特徴、および表面条件等の表面因子を含むことができる。デバイスプロセッサは、環境因子および本デバイスの現在の状況に基づいて、検出された表面タイプを横断することを適応させるために構成を変更する方法をリアルタイムで判定することができる。
継続して図4Aを参照すると、いくつかの構成では、デバイス42114A/B/C(集合的に、デバイス42114と称される)の構成変更は、例えば、移動手段の構成の変更を含むことができる。現在のモードおよび表面タイプに依存し得る、ユーザ情報ディスプレイならびにセンサ制御装置等の他の構成変更も、想定される。いくつかの構成では、移動手段は、本明細書に説明されるように、シャーシ42112の各側上に2つずつの少なくとも4つの駆動車輪442101と、シャーシ42112と動作可能に結合される、少なくとも2つのキャスタ車輪42103とを含むことができる。いくつかの構成では、駆動車輪442101は、対42105において動作可能に結合されることができ、各対42105は、4つの駆動車輪442101の第1の駆動車輪42101Aおよび第2の駆動車輪42101Bを含むことができ、対42105は、それぞれ、シャーシ42112の対向する側上に位置する。動作可能結合具は、車輪クラスタアセンブリ42110を含むことができる。いくつかの構成では、電力基部プロセッサ41016(図4B)は、クラスタアセンブリ42110の回転を制御することができる。左および右車輪モータ41017(図4B)は、シャーシ42112の両側上で車輪442101を駆動することができる。方向転換が、異なる率において左および右車輪モータ41017(図4B)を駆動することによって遂行されることができる。クラスタモータ41019(図4B)が、前/後方向にホイールベースを回転させることができる。ホイールベースの回転は、前部駆動車輪442101Aが、例えば、不連続表面特徴に遭遇するとき、後部駆動車輪442101Bよりも高いまたは低い状態になる間、貨物が、仮にそうなったとしても、駆動車輪442101から独立して回転することを可能にすることができる。クラスタアセンブリ42110は、2つの車輪の各対42105を独立して動作させ、それによって、コマンドに応じて、デバイス42114の前進、後進、および回転運動を提供することができる。クラスタアセンブリ42110は、対42105のための構造的支持を提供することができる。クラスタアセンブリ42110は、車輪駆動アセンブリをともに回転させるための機械的動力を提供し、クラスタアセンブリ回転に依存する機能、例えば、限定ではないが、不連続表面特徴の登り、種々の表面タイプ、および不均一な地形を可能にすることができる。クラスタ化された車輪の動作についてのさらなる詳細が、2018年7月13日に出願され、「Mobility Device」と題された、米国特許出願第16,035,205号(弁理士整理番号第X80号)(参照することによってその全体として本明細書に組み込まれる)に見出されることができる。
継続して図4Aを参照すると、デバイス42114の構成は、限定ではないが、デバイス42114のモード41033(図4B)と関連付けられることを含め、関連付けられることができる。デバイス42114は、モード41033(図4B)のうちのいくつかにおいて動作することができる。標準モード10100-1(図5E)では、デバイス42114Bは、駆動車輪442101Bのうちの2つおよびキャスタ車輪42103のうちの2つの上で動作することができる。標準モード10100-1(図5E)は、比較的に堅固な水平の表面、例えば、限定ではないが、屋内環境、歩道、および舗道上で方向転換性能ならびに移動性を提供することができる。強化モード10100-2(図5E)または4車輪モードでは、デバイス42114A/Cは、駆動車輪442101A/Bのうちの4つにコマンドすることができ、オンボードセンサを通して能動的に安定化されることができ、シャーシ42112、キャスタ42103、および貨物を上昇させる、ならびに/もしくは再配向することができる。4車輪モード10100-2(図5E)は、種々の環境において移動性を提供し、デバイス42114A/Cが、急な傾斜を登り、軟質の不均一な地形にわたって進行することを可能にすることができる。4車輪モード10100-2(図5E)では、駆動車輪442101A/Bの4つ全てが、展開されることができ、キャスタ車輪42103は、後退されることができる。クラスタ42110の回転は、不均一な地形上での動作を可能にすることができ、駆動車輪442101A/Bは、不連続表面特徴の上で、それにわたって走行することができる。本機能性は、デバイス42114A/Cに多種多様な屋外環境における移動性を提供することができる。デバイス42114Bは、堅固かつ安定しているが、湿潤している屋外表面上で動作することができる。凍上および他の自然現象は、屋外表面を劣化させ、亀裂および弛んだ物質を生じさせ得る。4車輪モード10100-2(図5E)では、デバイス42114A/Cは、これらの劣化した表面上で動作することができる。モード41033(図4B)は、2003年6月3日に発行され、「Control System and Method」と題された、米国特許第6,571,892号(第‘892号)(参照することによってその全体として本明細書に組み込まれる)に詳細に説明されている。
ここで図4Bを参照すると、システム41000は、センサ41031からの入力を処理し、車輪442101(図4A)を駆動するために車輪モータ41017へのコマンドを発生させ、クラスタ42110(図4A)を駆動するためにクラスタモータ41019へのコマンドを発生させることによって、デバイス42114(図4A)を駆動することができる。システム41000は、限定ではないが、デバイスプロセッサ41014と、電力基部プロセッサ41016とを含むことができる。デバイスプロセッサ41014は、センサ41031からの環境データ41022を受信および処理し、構成情報40125を電力基部プロセッサ41016に提供することができる。いくつかの構成では、デバイスプロセッサ41014は、センサ41031からの環境データ41022を受信および処理し得る、センサプロセッサ41021を含むことができる。センサ41031は、限定ではないが、本明細書に説明されるように、カメラを含むことができる。これらのデータから、例えば、デバイス42114(図4A)によって横断されている走行表面についての情報が、蓄積および処理されることができる。いくつかの構成では、走行表面情報は、リアルタイムで処理されることができる。デバイスプロセッサ41014は、例えば、デバイス42114(図4A)によって横断されている、環境データ41022からの表面タイプ40121を判定し得る、構成プロセッサ41023を含むことができる。構成プロセッサ41023は、例えば、環境データ41022から走行表面分類層、走行表面信頼度層、および占有層を作成し得る、例えば、走行表面プロセッサ41029(図4C)を含むことができる。これらのデータは、本明細書に説明されるように、移動コマンド40127およびモータコマンド40128を作成するために、電力基部プロセッサ41016によって使用されることができ、経路計画のために使用され得る占有グリッドを更新するために、グローバル占有グリッドプロセッサ41025によって使用されることができる。構成40125は、少なくとも部分的に、表面タイプ40121に基づくことができる。表面タイプ40121およびモード41033は、少なくとも部分的に、占有グリッド内のセルが占有されている確率を含み得る、占有グリッド情報41022を判定するために使用されることができる。占有グリッドは、少なくとも部分的に、デバイス42114(図4A)がとり得る経路の判定を可能にすることができる。
継続して図4Bを参照すると、電力基部プロセッサ41016は、デバイスプロセッサ41014から構成情報40125を受信し、他の情報、例えば、経路情報とともに、構成情報40125を処理することができる。電力基部プロセッサ41016は、少なくとも構成情報40125に基づいて、移動コマンド40127を作成し、移動コマンド40127をモータ駆動プロセッサ40326に提供し得る、制御プロセッサ40325を含むことができる。モータ駆動プロセッサ40326は、デバイス42114(図4A)を指示し、移動させ得る、モータコマンド40128を発生させることができる。具体的には、モータ駆動プロセッサ40326は、車輪モータ41017を駆動し得る、モータコマンド40128を発生させることができ、クラスタモータ41019を駆動し得る、モータコマンド40128を発生させることができる。
ここで図4Cを参照すると、本教示のリアルタイム表面検出は、限定ではないが、走行表面プロセッサ41029を含み得る、構成プロセッサ41023を含むことができる。走行表面プロセッサ41029は、その上でデバイス42114(図4A)がナビゲートしている走行表面の特性を判定することができる。特性は、デバイス42114(図4A)の将来の構成を判定するために使用されることができる。走行表面プロセッサ41029は、限定ではないが、ニューラルネットワークプロセッサ40207、データ変換40215、40219、および40239、層プロセッサ40241、ならびに占有グリッドプロセッサ40242を含むことができる。ともに、これらのコンポーネントは、デバイス42114(図4A)の構成の変更を指示し得る情報を生成することができ、デバイス42114(図4A)の進行に関する経路計画を知らせ得る占有グリッド40244(図4C)の修正を可能にすることができる。
ここで図4Cおよび4Dを参照すると、ニューラルネットワークプロセッサ40207は、環境データ41022(図4B)を、センサ41031(図4B)によって収集されたデータの点毎に、点が表す可能性が高い表面のタイプを示し得る、訓練されたニューラルネットワークに晒すことができる。環境データ41022(図4B)は、限定ではないが、カメラ画像40202として受信されることができ、カメラは、カメラ性質40204と関連付けられることができる。カメラ画像40202は、X分解能40205(図4D)と、Y分解能40204(図4D)とを有する、点40201の2Dグリッドを含むことができる。いくつかの構成では、カメラ画像40202は、RGB-D画像を含むことができ、X分解能40205(図4D)は、40,640ピクセルを含むことができ、Y分解能40204(図4D)は、40,480ピクセルを含むことができる。いくつかの構成では、カメラ画像40202は、選定されたニューラルネットワークの要件に従ってフォーマットされる画像に変換されることができる。いくつかの構成では、データは、正規化され、スケーリングされ、2Dから1Dに変換されることができ、これは、ニューラルネットワークの処理効率を向上させることができる。ニューラルネットワークは、限定ではないが、RGB-Dカメラ画像を用いて訓練することを含む、多くの方法で訓練されることができる。いくつかの構成では、ニューラルネットワークファイル40209(図4D)において表される、訓練されたニューラルネットワークは、訓練されたニューラルネットワークを実行するプロセッサへの直接接続を通して、または、例えば、通信チャネルを通して、ニューラルネットワークプロセッサ40207に利用可能にされることができる。いくつかの構成では、ニューラルネットワークプロセッサ40207は、訓練されたニューラルネットワークファイル40209(図4D)を使用し、環境データ41022(図4B)内の表面タイプ40121(図4C)を識別することができる。いくつかの構成では、表面タイプ40121(図4C)は、限定ではないが、走行不能、硬質走行可能、軟質走行可能、および縁石を含むことができる。いくつかの構成では、表面タイプ40121(図4C)は、限定ではないが、走行不能/背景、アスファルト、コンクリート、レンガ、固まった土、木板、砂利/小石、草、マルチ、砂、縁石、固体金属、金属格子、点字ブロック、雪/氷、および鉄道線路を含むことができる。ニューラルネットワーク処理の結果は、X分解能40205と、Y分解能40203と、中心40211とを有する、点40213の表面分類グリッド40303を含むことができる。表面分類グリッド40303内の各点40213は、表面タイプ40121(図4C)のうちの具体的な1つである尤度と関連付けられることができる。
継続して図4Cおよび4Dを参照すると、走行表面プロセッサ41029(図4C)は、2Dカメラフレーム内の2D表面分類グリッド40303(図4D)から、カメラによって見られるような3D実世界座標内の3D画像キューブ40307(図4D)に逆投影し得る、2D-3D変換40215を含むことができる。逆投影は、2Dデータの3D性質を復元することができ、RGB-Dカメラからの2D画像を3Dカメラフレーム40305(図4C)に変換することができる。キューブ40307(図4D)内の点40233(図4D)は、それぞれ、表面タイプ40121(図4C)のうちの具体的な1つである尤度、および深度座標ならびにX/Y座標と関連付けられることができる。点キューブ40307(図4D)の寸法は、例えば、限定ではないが、例えば、焦点距離x、焦点距離y、および投影中心40225等のカメラ性質40204(図4C)に従って区切られることができる。例えば、カメラ性質40204は、それにわたってカメラが確実に投影し得る最大範囲を含むことができる。さらに、画像40202に干渉し得る、デバイス42114(図4A)の特徴が、存在し得る。例えば、キャスタ42103(図4A)は、カメラ40227(図4D)のビューに干渉し得る。これらの因子は、点キューブ40307(図4D)内の点の数を限定することができる。いくつかの構成では、カメラ40227(図4D)は、約6メートルを超えて確実に投影することができず、これは、カメラ40227(図4D)の範囲の上限を表すことができ、点キューブ40307(図4D)内の点の数を限定することができる。いくつかの構成では、デバイス42114(図4A)の特徴は、カメラ40227(図4D)の範囲の最小限界として作用することができる。例えば、キャスタ42103(図4A)の存在は、いくつかの構成では、約1メートルに設定され得る、最小限界を含意することができる。いくつかの構成では、点キューブ40307(図4D)内の点は、カメラ40227(図4D)から1メートルまたはそれを上回る、およびカメラ40227(図4D)から6メートルまたはそれを下回る点に限定されることができる。
継続して図4Cおよび4Dを参照すると、走行表面プロセッサ41029(図4C)は、点の3Dキューブをデバイス42114(図4A)と関連付けられる座標、すなわち、ベースリンクフレーム40309(図4C)に変換し得る、ベースリンク変換40219を含むことができる。ベースリンク変換40219は、キューブ40307(図4D)内の3Dデータ点40223(図4D)を、Z次元がデバイス42114(図4A)の基部に設定される、キューブ40308(図4D)内の点40233(図4D)に変換することができる。走行表面プロセッサ41029(図4C)は、キューブ40308(図4D)内の点40233(図4D)をキューブ40311(図4D)内の点40237(図4D)として占有グリッド40244(図4D)上に投影し得る、OG準備40239を含むことができる。層プロセッサ40241は、点40237(図4D)によって表されるデータに応じて、点40237(図4D)を種々の層40312(図4C)に平坦化することができる。いくつかの構成では、層プロセッサ40241は、スカラ値を層40312(図4C)に適用することができる。いくつかの構成では、層40312(図4C)は、占有層40243の確率と、ニューラルネットワークプロセッサ40207によって判定されるような表面分類層40245(図4D)と、表面タイプ信頼度層40247(図4D)とを含むことができる。いくつかの構成では、表面タイプ信頼度層40247(図4D)は、ニューラルネットワークプロセッサ40207からのクラススコアを、対数(クラススコア)/Σ対数(各クラス)としてクラススコアを出力クラスにわたる確率分布に正規化することによって判定され得るスコアに変換することによって判定されることができる。いくつかの構成では、1つ以上の層は、走行不能表面の確率を提供する層によって置換または拡張されることができる。
継続して図4Cおよび4Dを参照すると、いくつかの構成では、占有層40243における確率値は、対数オッズ(対数オッズ->ln(p/(1-p))値として表されることができる。いくつかの構成では、占有層40243における確率値は、少なくともモード41033(図4B)および表面タイプ40121(図4B)の組み合わせに基づくことができる。いくつかの構成では、占有層40243における事前選択された確率値は、例えば、限定ではないが、(1)表面タイプ40121(図4A)が硬質かつ走行可能であるとき、およびデバイス42114(図4A)がモード41033(図4B)の事前選択されたセットにあるとき、または(2)表面タイプ40121(図4A)が軟質かつ走行可能であるとき、およびデバイス42114(図4A)が、例えば、標準モード等の具体的な事前選択されたモードにあるとき、または(3)表面タイプ40121(図4A)が軟質かつ走行可能であるとき、およびデバイス42114(図4A)が、例えば、4車輪モード等の具体的な事前選択されたモードにあるとき、または(4)表面タイプ40121(図4A)が不連続であるとき、およびデバイス42114(図4A)が、例えば、標準モード等の具体的な事前選択されたモードにあるとき、または(5)表面タイプ40121(図4A)が不連続であるとき、およびデバイス42114(図4A)が4車輪モード等の具体的な事前選択されたモードにあるとき、もしくは(6)表面タイプ40121(図4A)が走行不能であるとき、およびデバイス42114(図4A)がモード41033(図4B)の事前選択されたセットにあるとき等の状況を網羅するように選定されることができる。いくつかの構成では、確率値は、限定ではないが、表Iに記載されるものを含むことができる。いくつかの構成では、ニューラルネットワーク予測確率は、必要な場合、調整されることができ、表Iに列挙される確率に取って代わることができる。
再び図4Cを参照すると、占有グリッドプロセッサ40242は、例えば、限定ではないが、表面タイプ40121および占有グリッド情報41022等の占有グリッド40244の確率値に影響を及ぼし得るパラメータをグローバル占有グリッドプロセッサ41025にリアルタイムで提供することができる。例えば、限定ではないが、モード41033および表面タイプ40121等の構成情報40125(図4B)は、電力基部プロセッサ41016(図4B)に提供されることができる。電力基部プロセッサ41016(図4B)は、少なくとも構成情報40125(図4B)に基づいて、デバイス42114(図4A)の構成を設定し得る、モータコマンド40128(図4B)を判定することができる。
ここで図4Eおよび4Fを参照すると、デバイス42100Aは、標準モードにおいて動作するように本教示に従って構成されることができる。標準モードでは、キャスタ42103および第2の駆動車輪42101Bは、デバイス42100Aが、その経路をナビゲートする際、地面上に静置されることができる。第1の駆動車輪42101Aは、事前選択された量42102(図4F)だけ上昇されることができ、走行表面を通過することができる。デバイス42100Aは、比較的に堅固な水平の表面上で正常にナビゲートすることができる。標準モードにおいて走行するとき、占有グリッド40244(図4C)は、表面タイプ限界(表I参照)を反映することができ、したがって、モードの適合する選定を可能にすることができる、または表面タイプおよび現在のモードに基づく構成変更を可能にすることができる。
ここで図4G-4Jを参照すると、デバイス42100B/Cは、4車輪モードにおいて動作するように本教示に従って構成されることができる。4車輪モードにおける一構成では、第1の駆動車輪42101Aおよび第2の駆動車輪42101Bは、デバイス42100Aが、その経路をナビゲートする際、地面上に静置されることができる。キャスタ42103は、後退されることができ、事前選択された量42104(図4H)だけ走行表面を通過することができる。4車輪モードにおける別の構成では、第1の駆動車輪42101Aおよび第2の駆動車輪42101Bは、デバイス42100Aが、その経路をナビゲートする際、地面上に実質的に静置されることができる。キャスタ42103は、後退されることができ、シャーシ42111は、例えば、不連続表面を適応させるために回転されることができる(したがって、地面からより遠くにキャスタ42103を移動させる)。本構成では、キャスタ42103は、事前選択された量42108(図1J)だけ走行表面を通過することができる。デバイス42100A/Cは、軟質表面および不連続表面を含む、種々の表面上で正常にナビゲートすることができる。4車輪モードにおける別の構成では、第2の駆動車輪42101Bは、デバイス42100Aとして地面上に静置されることができる一方、第1の駆動車輪42101Aは、デバイス42100C(図1J)が、その経路をナビゲートする際、上昇されることができる。キャスタ42103は、後退されることができ、シャーシ42111は、例えば、不連続表面を適応させるために回転されることができる(したがって、地面からより遠くにキャスタ42103を移動させる)。4車輪モードにおいて走行するとき、占有グリッド40244(図4C)は、表面タイプ(表I参照)を反映することができ、したがって、モードの適合する選定を可能にすることができる、または表面タイプおよび現在のモードに基づく構成変更を可能にすることができる。
ここで図4Kを参照すると、少なくとも1つの環境因子およびデバイス構成に基づいて、経路を進行する、例えば、限定ではないが、AV等のデバイスのデバイス構成のリアルタイム制御のための方法40150は、限定ではないが、センサデータを受信すること40151と、少なくともセンサデータに基づいて、表面タイプを判定すること40153と、少なくとも表面タイプおよび現在のデバイス構成に基づいて、現在のモードを判定すること40155とを含むことができる。方法40150は、少なくとも現在のモードおよび表面タイプに基づいて、次のデバイス構成を判定すること40157と、少なくとも次のデバイス構成に基づいて、移動コマンドを判定すること40159と、少なくとも移動コマンドに基づいて、現在のデバイス構成を次のデバイス構成に変更すること40161とを含むことができる。
ここで、主として図5Aを参照すると、AVの経路に現れる物体に応答するために、注釈付き点データ10379(図5B)が、デバイスコントローラ10111に提供されることができる。経路を進行するようにAV10101(図1A)に命令するために使用され得るルート情報のための基礎であり得る、注釈付き点データ10379(図5B)は、限定ではないが、ナビゲート可能縁、例えば、限定ではないが、マッピングされた軌道10413/10415(図5D)等のマッピングされた軌道、および、例えば、限定ではないが、SDSF10377(図5C)等の標識化された特徴を含むことができる。マッピングされた軌道10413/10415(図5C)は、ルート空間の縁のグラフと、ルート空間の部分に割り当てられた初期加重とを含むことができる。縁のグラフは、例えば、限定ではないが、方向性および容量等の特性を含むことができ、縁は、これらの特性に従ってカテゴリ化されることができる。マッピングされた軌道10413/10415(図5C)は、ルート空間の表面と関連付けられるコスト修飾子と、縁と関連付けられる走行モードとを含むことができる。走行モードは、限定ではないが、経路追従およびSDSF登りを含むことができる。他のモードは、例えば、限定ではないが、自律、マッピング、および介入の待機等の動作モードを含むことができる。最終的に、経路は、少なくともより低いコスト修飾子に基づいて選択されることができる。マッピングされた軌道10413/10415(図5C)から比較的に遠い形態は、より高いコスト修飾子を有する可能性があり、経路を形成するときにあまり着目され得ない。初期加重は、AV10101(図1A)が動作している間に調節され、可能性として、経路の修正を引き起こすことができる。調節された加重は、縁/加重グラフ10381(図5B)を調節するために使用されることができ、少なくとも現在の走行モード、現在の表面、および縁カテゴリに基づくことができる。
継続して図5Aを参照すると、デバイスコントローラ10111は、任意の特徴の偏心を経路の中に組み込むことに関連する具体的タスクを実施し得る、特徴プロセッサを含むことができる。いくつかの構成では、特徴プロセッサは、限定ではないが、SDSFプロセッサ10118を含むことができる。いくつかの構成では、デバイスコントローラ10111は、限定ではないが、それぞれ、本明細書に説明される、SDSFプロセッサ10118と、センサプロセッサ10703と、モードコントローラ10122と、基部コントローラ10114とを含むことができる。SDSFプロセッサ10118、センサプロセッサ10703、およびモードコントローラ10122は、入力を基部コントローラ10114に提供することができる。
継続して図5Aを参照すると、基部コントローラ10114は、少なくともモードコントローラ10122、SDSFプロセッサ10118、およびセンサプロセッサ10703によって提供された入力に基づいて、少なくとも縁/加重グラフ10381(図5B)に基づいて基部コントローラ10114によって判定された経路上でAV10101(図1A)を走行させるために電力基部10112が使用し得る情報を判定することができる。いくつかの構成では、基部コントローラ10114は、AV10101(図1A)が、開始点から目的地まで所定の経路を辿り、少なくとも外部および/または内部条件に基づいて、所定の経路を修正し得ることを保証することができる。いくつかの構成では、外部条件は、限定ではないが、AV10101(図1A)によって走行されている経路内またはその近傍の停止信号、SDSF、および障害物を含むことができる。いくつかの構成では、内部条件は、限定ではないが、外部条件に対してAV10101(図1A)が行う応答を反映するモード遷移を含むことができる。デバイスコントローラ10111は、少なくとも外部および内部条件に基づいて、電力基部10112に送信するコマンドを判定することができる。コマンドは、限定ではないが、コマンドされた速度でコマンドされた方向に進行するようにAV10101(図1A)に指示し得る、速度および方向コマンドを含むことができる。他のコマンドは、例えば、SDSF登り等の特徴応答を可能にする、例えば、コマンドの群を含むことができる。基部コントローラ10114は、限定ではないが、例えば、内点オプティマイザ(IPOPT)大規模非線形最適化(https://projects.coin-or.org/Ipopt)を含む、従来の方法によって経路のウェイポイントの間の所望の速度を判定することができる。基部コントローラ10114は、少なくとも、例えば、限定ではないが、ダイクストラアルゴリズム、A*探索アルゴリズム、または幅優先探索アルゴリズムに基づく技術等の従来の技術に基づいて、所望の経路を判定することができる。基部コントローラ10114は、障害物検出が実施され得る面積を設定するために、マッピングされた軌道10413/10415(図5C)の周囲にボックスを形成することができる。ペイロードキャリアの高さは、調節可能であるとき、少なくとも部分的に、指示された速度に基づいて調節されることができる。
継続して図5Aを参照すると、基部コントローラ10114は、速度および方向判定をモータコマンドに変換することができる。例えば、限定ではないが、例えば、縁石または斜面等のSDSFに遭遇するとき、基部コントローラ10114は、SDSF登りモードにおいて、ペイロードキャリア10173(図1A)を上昇させ、AV10101(図1A)を約90°角度においてSDSFと整合させ、比較的に低いレベルまで速度を低減させるように電力基部10112に指示することができる。AV10101(図1A)が、実質的不連続表面を登るとき、基部コントローラ10114は、増加されたトルクが、傾斜の上にAV10101(図1A)を移動させるために要求されるため、速度が増加される登りフェーズに遷移するように電力基部10112に指示することができる。AV10101(図1A)が、比較的に水平の表面に遭遇するとき、基部コントローラ10114は、SDSFの任意の平坦な部分の上に留まるために、速度を低減させることができる。平坦な部分と関連付けられる下りの傾斜路の場合に、AV10101(図1A)が、実質的不連続表面を下り始めるとき、および両方の車輪が、下りの傾斜路上にあるとき、基部コントローラ10114は、速度が増加することを可能にすることができる。例えば、限定ではないが、斜面等のSDSFに遭遇するとき、斜面は、識別され、ある構造として処理されることができる。構造の特徴は、例えば、事前選択されたサイズの傾斜路を含むことができる。傾斜路は、約30°の傾斜を含むことができ、随意に、限定ではないが、平坦域の両側上にあり得る。デバイスコントローラ10111(図5A)は、知覚された特徴の角度を予期される斜面傾斜路角度と比較することによって、障害物と斜面とを区別することができ、角度は、センサプロセッサ10703(図5A)から受信されることができる。
ここで、主として図5Bを参照すると、SDSFプロセッサ10118は、注釈付き点データ10379内に表される多角形のメッシュによって形成される走行可能表面のブロックから、AV10101(図1A)による横断のための経路を作成するために使用され得るナビゲート可能縁を位置特定することができる。SDSF線10377(図5C)の周囲に事前選択されたサイズの面積を形成し得る、SDSF緩衝10407(図5C)内で、ナビゲート可能縁は、SDSF横断を前提として、特別な取扱に備えて消去されることができる(図5D参照)。セグメント10409(図5C)等の閉じ線セグメントが、以前に判定されたSDSF点10789(図1N)の対の間でSDSF緩衝10407(図5C)を二分するために描画されることができる。いくつかの構成では、閉じ線セグメントがSDSF横断のための候補として見なされるために、セグメント端部10411(図5C)は、走行可能表面の非妨害部分に該当することができ、AV10101(図1A)が線セグメントに沿って隣接するSDSF点10789(図1N)の間を進行するための十分な余地が、存在することができ、SDSF点10789(図1N)の間の面積は、走行可能表面であり得る。セグメント端部10411(図5C)は、下層形態に接続され、頂点および走行可能縁を形成することができる。例えば、横断基準を満たす線セグメント10461、10463、10465、および10467(図5C)が、図5Dに形態の一部として示される。対照的に、線セグメント10409(図5C)は、少なくとも、セグメント端部10411(図5C)が、走行可能表面上に該当しないため、基準を満たさなかった。重複するSDSF緩衝10506(図5C)は、SDSF不連続性を示すことができ、これは、重複されたSDSF緩衝10506(図5C)内のSDSFのSDSF横断を不利にし得る。SDSF線10377(図5C)は、平滑化されることができ、SDSF点10789(図1N)の場所は、それらが、事前選択された距離を中心として離れて該当するように、調節されることができ、事前選択された距離は、少なくともAV10101(図1A)の占有面積に基づく。
継続して図5Bを参照すると、SDSFプロセッサ10118は、注釈付き点データ10379を、SDSF横断のための形態修正を含む、縁/加重グラフ10381に変換することができる。SDSFプロセッサ10118は、第7のプロセッサ10601と、第8のプロセッサ10702と、第9のプロセッサ10603と、第10のプロセッサ10605とを含むことができる。第7のプロセッサ10601は、注釈付き点データ10379内の点の座標をグローバル座標系に変換し、GPS座標との互換性を達成し、GPS互換性データセット10602を生成することができる。第7のプロセッサ10601は、例えば、限定ではないが、アフィン行列変換およびPostGIS変換等の従来のプロセスを使用し、GPS互換性データセット10602を生成することができる。世界測地系(WGS)が、これが地球の曲率を考慮するため、標準的座標系として使用されることができる。マップは、ユニバーサル横メルカトル図法(UTM)座標系内に記憶されることができ、具体的住所が位置する場所を見出すことが必要であるとき、WGSに切り替えられることができる。
ここで、主として図5Cを参照すると、第8のプロセッサ10702(図5B)は、SDSFを平滑化し、SDSF10377の境界を判定し、SDSF境界の周囲に緩衝10407を作成し、これがSDSF境界から遠くなるにつれて、表面のコスト修飾子を増加させることができる。マッピングされた軌道10413/10415は、最も低いコスト修飾子を有する特別な場合のレーンであり得る。より低いコスト修飾子10406は、概して、SDSF境界の近傍に位置することができる一方、より高いコスト修飾子10408は、概して、SDSF境界から比較的に遠くに位置することができる。第8のプロセッサ10702は、コストを伴う点群データ10704(図5B)を第9のプロセッサ10603(図5B)に提供することができる。
継続して、主として図5Cを参照すると、第9のプロセッサ10603(図5B)は、AV10101(図1A)が、それらを横断可能として標識化するための基準を満たしたSDSF10377を横断するための約90°アプローチ10604(図5B)を計算することができる。基準は、SDSF幅と、SDSF平滑度とを含むことができる。線セグメント10409等の線セグメントが、それらの長さが、AV10101(図1A)がSDSF10377に接近するために要求し得る最小進入距離およびSDSF10377から退出するために要求され得る最小退出距離を示すように作成されることができる。終点10411等のセグメント終点が、下層ルーティング形態と統合されることができる。SDSFアプローチが可能であるかどうかを判定するために使用される基準は、いくつかのアプローチの可能性を排除することができる。SDSF緩衝10407等のSDSF緩衝は、有効なアプローチおよびルート形態縁作成を計算するために使用されることができる。
再び、主として図5Bを参照すると、第10のプロセッサ10605は、マップを通した経路を計算するために使用され得る、本明細書で開発される、縁および加重のグラフである、縁/加重グラフ10381を形態から作成することができる。形態は、コスト修飾子と、走行モードとを含むことができ、縁は、方向性と、容量とを含むことができる。加重は、任意の数のソースからの情報に基づいて、ランタイム時に調節されることができる。第10のプロセッサ10605は、特定の点における推奨される走行モードに加えて、順序付けられた点の少なくとも1つのシーケンスを基部コントローラ10114に提供し、経路発生を可能にすることができる。点の各シーケンス内の各点は、処理された走行可能表面上の可能性として考えられる経路点の場所および標識化を表す。いくつかの構成では、標識化は、点が、例えば、限定ではないが、SDSF等の経路に沿って遭遇され得る特徴の一部を表すことを示すことができる。いくつかの構成では、特徴は、特徴のタイプに基づいて、示唆される処理を用いてさらに標識化され得る。例えば、いくつかの構成では、経路点が、SDSFとして標識化される場合、さらなる標識化は、あるモードを含むことができる。モードは、例えば、AV10101(図1A)がSDSF10377(図5C)を横断することを可能にするために、AV10101(図1A)をSDSF登りモード100-31(図5E)に切り替えること等、AV10101(図1A)のための示唆される走行命令としてAV10101(図1A)によって解釈されることができる。
ここで図5Eを参照すると、いくつかの構成では、モードコントローラ10122は、基部コントローラ10114(図5A)に、モード遷移を実行するための指示を提供することができる。モードコントローラ10122は、AV10101(図1A)が進行しているモードを確立することができる。例えば、モードコントローラ10122は、基部コントローラ10114に、モードインジケーションの変更を提供し、例えば、SDSFが、進行経路に沿って識別されるとき、経路追従モード10100-32とSDSF登りモード10100-31との間で変更することができる。いくつかの構成では、注釈付き点データ10379(図5B)は、例えば、モードが、ルートを適応させるために変更されるとき、ルートに沿った種々の点においてモード識別子を含むことができる。例えば、SDSF10377(図5C)が、注釈付き点データ10379(図5B)内で標識化されている場合、デバイスコントローラ10111は、ルート点と関連付けられるモード識別子を判定し、可能性として、所望のモードに基づいて、電力基部10112(図5A)への命令を調節することができる。SDSF登りモード10100-31および経路追従モード10100-32に加えて、いくつかの構成では、AV10101(図1A)は、限定ではないが、本明細書に説明される、標準モード10100-1と、強化(4車輪)モード10100-2とを含み得る、動作モードを支援することができる。ペイロードキャリア10173(図1A)の高さは、障害物にわたって、および斜面に沿って必要なクリアランスを提供するために調節されることができる。
ここで図5Fを参照すると、少なくとも1つのSDSFを横断する目標点に向かってAVをナビゲートするための方法11150は、限定ではないが、SDSF、目標点の場所、およびAVの場所に関連するSDSF情報を受信すること11151を含むことができる。SDSF情報は、限定ではないが、それぞれ、SDSF点として分類される点のセットと、点がSDSF点である点毎の関連付けられる確率とを含むことができる。方法11150は、AVの場所、目標点の場所を包含する閉多角形を描画し、目標点とAVの場所との間に経路線を描画すること11153を含むことができる。閉多角形は、事前選択された幅を含むことができる。表Iは、本明細書に議論される事前選択された変数に関する可能性として考えられる範囲を含む。方法11150は、多角形内に位置するSDSF点のうちの2つを選択すること11155と、2つの点の間にSDSF線を描画すること11157とを含むことができる。いくつかの構成では、SDSF点の選択は、ランダムである、または任意の他の方法であり得る。11159において、SDSF線の第1の事前選択された距離内に第1の事前選択された数の点よりも少ないものが、存在する場合、および11161において、SDSF点を選定することにおいて第2の事前選択された回数の試行を下回るものが、存在し、それらの間に線を描画し、SDSF線の周囲に第1の事前選択された数の点よりも少ないものを有する場合、方法11150は、ステップ11155に戻ることを含むことができる。11161において、SDSF点を選定することにおいて第2の事前選択された回数の試行が、存在し、それらの間に線を描画し、SDSF線の周囲に第1の事前選択された数の点よりも少ないものを有する場合、方法11150は、いかなるSDSF線も検出されなかったことを認めること11163を含むことができる。
ここで、主として図5Gを参照すると、11159(図5F)において、第1の事前選択された数の点またはそれを上回るものが、存在する場合、方法11150は、SDSF線の第1の事前選択された距離内に該当する点に曲線をフィットすること11165を含むことができる。11167において、曲線の第1の事前選択された距離内にある点の数が、SDSF線の第1の事前選択された距離内の点の数を超える場合、および11171において、曲線が、経路線と交差する場合、ならびに11173において、第2の事前選択された距離を超える曲線上の点の間にいかなる間隙も、存在しない場合、方法11150は、曲線をSDSF線として識別すること11175を含むことができる。11167において、曲線の第1の事前選択された距離内にある点の数が、SDSF線の第1の事前選択された距離内の点の数を超えない場合、または11171において、曲線が、経路線と交差しない場合、もしくは11173において、第2の事前選択された距離を超える曲線上の点の間の間隙が、存在する場合、および11177において、SDSF線が、安定したままではない場合、ならびに11169において、曲線フィットが、第2の事前選択された回数の試行を上回って試行されていない場合、方法11150は、ステップ11165に戻ることを含むことができる。安定するSDSF線は、同一またはより少ない点をもたらす後続反復の結果である。
ここで、主として図5Hを参照すると、11169(図5G)において、曲線フィットが、第2の事前選択された回数の試行だけ試行されている場合、または11177(図5G)において、SDSF線が、安定したままである、もしくは劣化する場合、方法11150は、占有グリッド情報を受信すること11179を含むことができる。占有グリッドは、障害物がある点に存在する確率を提供することができる。占有グリッド情報は、占有グリッドが、多角形との共通地理的面積にわたって捕捉および/または算出されたデータを含むとき、AV経路ならびにSDSFを囲繞する多角形内に見出されるSDSFおよび経路情報を強化することができる。方法11150は、共通地理的面積からの点およびその関連付けられる確率を選択すること11181を含むことができる。11183において、障害物が選択された点に存在する確率が、事前選択されたパーセントよりも高い場合、および11185において、障害物が、AVと目標点との間に位置する場合、ならびに11186において、障害物が、SDSF線と目標点との間のSDSF線からの第3の事前選択された距離を下回る場合、方法11150は、障害物をSDSF線に投影すること11187を含むことができる。11183において、場所が障害物を含む確率が、事前選択されたパーセントを下回る、またはそれに等しい場合、もしくは11185において、障害物が、AVと目標点との間に位置しない場合、または11186において、障害物が、SDSFと目標点との間のSDSF線からの第3の事前選択された距離に等しい、もしくはそれを上回る距離に位置する場合、および11189において、処理するべきさらなる障害物が、存在する場合、方法11150は、ステップ11179における処理を再開することを含むことができる。
ここで、主として図5Iを参照すると、11189(図5H)において、処理するべき障害物が、それ以上存在しない場合、方法11150は、投影を接続し、SDSF線に沿って接続された投影の終点を見出すこと11191を含むことができる。方法11150は、投影終点の間のSDSF線の一部を非横断可能としてマーキングすること11193を含むことができる。方法11150は、非横断可能区分の外側にあるSDSF線の一部を横断可能としてマーキングすること11195を含むことができる。方法11150は、SDSF線の横断可能区分に垂直な第5の事前選択された量以内までAVを方向転換させること11197を含むことができる。11199において、SDSF線の横断可能区分に垂直な線に対する方位誤差が、第1の事前選択された量を上回る場合、方法11150は、第9の事前選択された量だけAVを減速させること11251を含むことができる。方法11150は、AVをSDSF線に向かって前方に走行させ、AVと横断可能SDSF線との間のメートル距離あたりの第2の事前選択された量だけ減速させること11253を含むことができる。11255において、横断可能SDSF線からのAVの距離が、第4の事前選択された距離を下回る場合、および11257において、方位誤差が、SDSF線に垂直な線に対して第3の事前選択された量を上回る、またはそれに等しい場合、方法11150は、AVを第9の事前選択された量だけ減速させること11252を含むことができる。
ここで、主として図5Jを参照すると、11257(図5I)において、方位誤差が、SDSF線に垂直な線に対して第3の事前選択された量を下回る場合、方法11150は、更新されたSDSF情報を無視し、事前選択された速度においてAVを走行させること11260を含むことができる。11259において、AVの後部部分に対するAVの前部部分の上昇が、第6の事前選択された量と第5の事前選択された量との間である場合、方法11150は、AVを前方に走行させ、AVの速度を上昇度あたりの第8の事前選択された量まで増加させること11261を含むことができる。11263において、AVの後部に対する前部の上昇が、第6の事前選択された量を下回る場合、方法11150は、第7の事前選択された速度においてAVを前方に走行させること11265を含むことができる。11267において、AVの後部が、SDSF線からの第5の事前選択された距離を上回る場合、方法11150は、AVがSDSFを横断することを完了したことを認めること11269を含むことができる。11267において、AVの後部が、SDSF線からの第5の事前選択された距離を下回る、またはそれに等しい場合、方法11150は、ステップ11260に戻ることを含むことができる。
ここで図5Kを参照すると、少なくとも1つのSDSFを横断する目標点に向かってAVをナビゲートするためのシステム51100は、限定ではないが、経路線プロセッサ11103と、SDSF検出器11109と、SDSFコントローラ11127とを含むことができる。システム51100は、例えば、限定ではないが、AV10101(図5L)の周辺の画像を含み得る、センサ情報を処理し得る、表面プロセッサ11601と動作可能に結合されることができる。表面プロセッサ11601は、SDSFのインジケーションを含む、リアルタイム表面特徴更新を提供することができる。いくつかの構成では、カメラが、その点が表面タイプに従って分類され得る、RGB-Dデータを提供することができる。いくつかの構成では、システム51100は、SDSFとして分類された点およびそれらの関連付けられる確率を処理することができる。システム51100は、AV10101(図5L)の動作の側面を管理し得る、システムコントローラ11602と動作可能に結合されることができる。システムコントローラ11602は、AV10101(図5L)の近傍のナビゲート可能面積に関する利用可能なソースからの情報を含み得る、占有グリッド11138を維持することができる。占有グリッド11138は、障害物が存在する確率を含むことができる。本情報は、SDSF情報と併せて、SDSF10377(図5N)が、障害物11681(図5M)に遭遇することなく、AV10101(図5L)によって横断され得るかどうかを判定するために使用されることができる。システムコントローラ11602は、環境および他の情報に基づいて、AV10101(図5N)が超えるべきではない速度限界11148を判定することができる。速度限界11148は、システム51100によって設定される速度の指針として使用されることができる、またはそれを上書きすることができる。システム51100は、基部コントローラ10114と動作可能に結合されることができ、これは、SDSFコントローラ11127によって発生された走行コマンド11144をAV10101(図5L)の走行コンポーネントに送信することができる。基部コントローラ10114は、SDSF横断の間のAV10101(図5L)の配向についての情報をSDSFコントローラ11127に提供することができる。
継続して図5Kを参照すると、経路線プロセッサ11103は、限定ではないが、SDSFとして分類される点を含み得る、表面分類点10789をリアルタイムで連続的に受信することができる。経路線プロセッサ11103は、目標点11139の場所と、例えば、限定ではないが、AV10101(図5L)の中心11202(図5L)によって示されるようなAV場所11141とを受信することができる。システム51100は、AV場所11141と、目標点11139の場所と、目標点11139とAV場所11141との間の経路11214とを包含する、多角形11147を描画する、多角形プロセッサ11105を含むことができる。多角形11147は、事前選択された幅を含むことができる。いくつかの構成では、事前選択された幅は、AV10101(図5L)のおおよその幅を含むことができる。多角形11147内に該当するSDSF点10789が、識別されることができる。
継続して図5Kを参照すると、SDSF検出器11109は、表面分類点10789、経路11214、多角形11147、および目標点11139を受信することができ、着信データ内で利用可能である、本明細書に記載される基準に従って、最も好適なSDSF線10377を判定することができる。SDSF検出器11109は、限定ではないが、点プロセッサ11111と、SDSF線プロセッサ11113とを含むことができる。点プロセッサ11111は、多角形11147内に位置するSDSF点10789のうちの2つを選択することと、2つの点の間にSDSF10377線を描画することとを含むことができる。SDSF線10377の第1の事前選択された距離内に第1の事前選択された数の点よりも少ないものが、存在する場合、およびSDSF点10789を選定することにおいて第2の事前選択された回数の試行を下回るものが、存在し、2つの点の間に線を描画し、SDSF線の周囲に第1の事前選択された数の点よりも少ないものを有する場合、点プロセッサ11111は、再び、本明細書に記載されるような選択-描画-試験ループを通してループすることを含むことができる。SDSF点を選定することにおいて第2の事前選択された回数の試行が、存在し、それらの間に線を描画し、SDSF線の周囲に第1の事前選択された数の点よりも少ないものを有する場合、点プロセッサ11111は、いかなるSDSF線も検出されなかったことを認めることを含むことができる。
継続して図5Kを参照すると、SDSF線プロセッサ11113は、第1の事前選択された数またはそれを上回る点10789が、存在する場合、SDSF線10377の第1の事前選択された距離内に該当する点10789に曲線11609-11611(図5L)をフィットすることを含むことができる。曲線11609-11611(図5L)の第1の事前選択された距離内にある点10789の数が、SDSF線10377の第1の事前選択された距離内の点10789の数を超える場合、および曲線11609-11611(図5L)が、経路線11214と交差する場合、ならびに第2の事前選択された距離を超える曲線11609-11611(図5L)上の点10789の間にいかなる間隙も、存在しない場合、SDSF線プロセッサ11113は、曲線11609-11611(図5L)を(例えば)SDSF線10377として識別することを含むことができる。曲線11609-11611(図5L)の事前選択された距離内にある点10789の数が、SDSF線10377の第1の事前選択された距離内の点10789の数を超えない場合、または曲線11609-11611(図5L)が、経路線11214と交差しない場合、もしくは第2の事前選択された距離を超える曲線11609-11611(図5L)上の点10789の間の間隙が、存在する場合、およびSDSF線10377が、安定したままではない場合、ならびに曲線フィットが、第2の事前選択された回数の試行を上回って試行されていない場合、SDSF線プロセッサ11113は、曲線フィットループを再び実行することができる。
継続して図5Kを参照すると、SDSFコントローラ11127は、SDSF線10377、占有グリッド11138、AV配向変化11142、および速度限界11148を受信することができ、SDSF10377(図5N)を正しく横断するようにAV10101(図5L)を走行させるためのSDSFコマンド11144を発生させることができる。SDSFコントローラ11127は、限定ではないが、障害物プロセッサ11115と、SDSFアプローチ11131と、SDSF横断11133とを含むことができる。障害物プロセッサ11115は、SDSF線10377、目標点11139、および占有グリッド11138を受信することができ、占有グリッド11138内に識別される障害物の中から、それらのうちのいずれかが、これがSDSF10377(図5N)を横断する際にAV10101(図5N)を妨害し得るかどうかを判定することができる。障害物プロセッサ11115は、限定ではないが、障害物セレクタ11117と、障害物テスタ11119と、横断ロケータ11121とを含むことができる。障害物セレクタ11117は、限定ではないが、本明細書に説明されるような占有グリッド11138を受信することを含むことができる。障害物セレクタ11117は、占有グリッド11138および多角形11147の両方に共通である地理的面積から占有グリッド点ならびにその関連付けられる確率を選択することを含むことができる。障害物が選択されたグリッド点に存在する確率が、事前選択されたパーセントよりも高い場合、および障害物が、AV10101(図5L)と目標点11139との間に位置する場合、ならびに障害物が、SDSF線10377と目標点11139との間のSDSF線10377からの第3の事前選択された距離を下回る場合、障害物テスタ11119は、障害物をSDSF線10377に投影し、SDSF線10377と交差する投影11621を形成することを含むことができる。場所が障害物を含む確率が、事前選択されたパーセントを下回る、またはそれに等しい場合、もしくは障害物が、AV10101(図5L)と目標点11139との間に位置しない場合、または障害物が、SDSF線10377と目標点11139との間のSDSF線10377からの第3の事前選択された距離に等しい、もしくはそれを上回る距離に位置する場合、障害物テスタ11119は、処理するべきさらなる障害物が、存在する場合、占有グリッド11138を受信することにおける実行を再開することを含むことができる。
継続して図5Kを参照すると、横断ロケータ11121は、投影点を接続し、SDSF線10377に沿った接続された投影11621(図5M)の終点11622/11623(図5M)を位置特定することを含むことができる。横断ロケータ11121は、投影終点11622/11623(図5M)の間のSDSF線10377の部分11624(図5M)を非横断可能としてマーキングすることを含むことができる。横断ロケータ11121は、非横断可能部分11624(図5M)の外側にあるSDSF線10377の部分11626(図5M)を横断可能としてマーキングすることを含むことができる。
継続して図5Kを参照すると、SDSFアプローチ11131は、SDSF線10377の横断可能部分11626(図5N)に垂直な第5の事前選択された量以内までAV10101(図5N)を方向転換させるためのSDSFコマンド11144を送信することを含むことができる。SDSF線10377の横断可能区分11626(図5N)に垂直である、垂直線11627(図5N)に対する方位誤差が、第1の事前選択された量を上回る場合、SDSFアプローチ11131は、第9の事前選択された量だけAV10101(図5N)を減速させるためのSDSFコマンド11144を送信することを含むことができる。いくつかの構成では、第9の事前選択された量は、非常に遅いものから完全に停止されるものに及ぶことができる。SDSFアプローチ11131は、SDSF線10377に向かってAV10101(図5N)を前方に走行させるためのSDSFコマンド11144を送信し、進行するメートルあたりの第2の事前選択された量だけAV10101(図5N)を減速させるためのSDSFコマンド11144を送信することを含むことができる。AV10101(図5N)と横断可能SDSF線11626(図5N)との間の距離が、第4の事前選択された距離を下回る場合、および方位誤差が、SDSF線10377に垂直な線に対して第3の事前選択された量を上回る、またはそれに等しい場合、SDSFアプローチ11131は、第9の事前選択された量だけAV10101(図5N)を減速させるためのSDSFコマンド11144を送信することを含むことができる。
継続して図5Kを参照すると、方位誤差が、SDSF線10377に垂直な線に対して第3の事前選択された量を下回る場合、SDSF横断11133は、更新されたSDSF情報を無視し、事前選択された率においてAV10101(図5N)を走行させるためのSDSFコマンド11144を送信することを含むことができる。AV配向変化11142が、AV10101(図5N)の後縁11703(図5N)に対するAV10101(図5N)の前縁11701(図5N)の上昇が、第6の事前選択された量と第5の事前選択された量との間であることを示す場合、SDSF横断11133は、AV10101(図5N)を前方に走行させるためのSDSFコマンド11144を送信し、AV10101(図5N)の速度を上昇度あたりの事前選択された率まで増加させるためのSDSFコマンド11144を送信することを含むことができる。AV配向変化11142が、AV10101(図5N)の後縁11703(図5N)に対する前縁11701(図5N)の上昇が、第6の事前選択された量を下回ることを示す場合、SDSF横断11133は、第7の事前選択された速度においてAV10101(図5N)を前方に走行させるためのSDSFコマンド11144を送信することを含むことができる。AV場所11141が、後縁11703(図5N)が、SDSF線10377からの第5の事前選択された距離を上回ることを示す場合、SDSF横断11133は、AV10101(図5N)がSDSF10377を横断することを完了したことを認めることを含むことができる。AV場所11141が、後縁11703(図5N)が、SDSF線10377からの第5の事前選択された距離を下回る、またはそれに等しいことを示す場合、SDSF横断11133は、更新されたSDSF情報を無視することから始まるループを再び実行することを含むことができる。
ここで図5Oを参照すると、リアルタイムデータ集積を支援するために、いくつかの構成では、本教示のシステムは、例えば、限定ではないが、RGD-Dカメラ画像データ等のデータを受信することに応じて、種々の表面タイプの3次元空間内の場所を生成することができる。本システムは、画像12155を回転させ、それらをカメラ座標系12157からUTM座標系12159に変換することができる。本システムは、変換された画像から多角形ファイルを生成することができ、多角形ファイルは、表面タイプ12161と関連付けられる3次元場所を表すことができる。AV10101であって、姿勢12163を有する、AV10101によって受信されるカメラ画像12155から特徴12151を位置特定するための方法12150は、限定ではないが、AV10101によって、カメラ画像12155を受信することを含むことができる。カメラ画像12155はそれぞれ、画像タイムスタンプ12171を含むことができ、画像12155はそれぞれ、画像色ピクセル12167と、画像深度ピクセル12169とを含むことができる。方法12150は、AV10101の姿勢12163を受信することであって、姿勢12163は、姿勢タイムスタンプ12171を有する、ことと、姿勢タイムスタンプ12171に最近接する画像タイムスタンプ12165を有するカメラ画像12155からの画像を識別することによって、選択された画像12173を判定することとを含むことができる。方法12150は、選択された画像12173内の画像深度ピクセル12169から画像色ピクセル12167を分離することと、画像色ピクセル12167を第1の機械学習モデル12177に提供し、画像深度ピクセル12169を第2の機械学習モデル12179に提供することによって、選択された画像12173に関する画像表面分類12161を判定することとを含むことができる。方法12150は、カメラ画像12173内の特徴の外周点12181を判定することを含むことができ、特徴は、外周内の特徴ピクセル12151を含み、特徴ピクセル12151はそれぞれ、同一の表面分類12161を有し、外周点12181はそれぞれ、座標のセット12157を有することができる。方法12150は、座標のセット12157のそれぞれをUTM座標12159に変換することを含むことができる。
本教示の構成は、本明細書の説明に議論される方法を遂行するためのコンピュータシステムと、これらの方法を遂行するためのプログラムを含有するコンピュータ可読媒体とを対象とする。未加工データおよび結果は、将来の読出および処理のために記憶される、印刷される、表示される、別のコンピュータに転送される、ならびに/もしくは別の場所に転送されることができる。通信リンクは、例えば、セルラー通信システム、軍事通信システム、および衛星通信システムを使用して、有線または無線であり得る。本システムの一部は、可変数のCPUを有するコンピュータ上で動作することができる。他の代替コンピュータプラットフォームも、使用されることができる。
本構成はまた、本明細書に議論される方法を遂行するためのソフトウェアと、これらの方法を遂行するためのソフトウェアを記憶するコンピュータ可読媒体とを対象とする。本明細書に説明される種々のモジュールは、同一のCPU上で遂行されることができる、または異なるコンピュータ上で遂行されることができる。法令に従って、本構成は、構造的および方法的特徴に関して、多かれ少なかれ具体的な言語で説明された。しかしながら、本構成が、本明細書に開示される手段が、本構成を具体化する好ましい形態を備えるため、示され、説明される具体的特徴に限定されないことを理解されたい。
方法は、全体的または部分的に、電子的に実装されることができる。本システムおよび他の開示される構成の要素によってとられるアクションを表す信号は、少なくとも1つのライブ通信ネットワークを経由して進行することができる。制御およびデータ情報は、少なくとも1つのコンピュータ可読媒体上で電子的に実行および記憶されることができる。本システムは、少なくとも1つのライブ通信ネットワークにおける少なくとも1つのコンピュータノード上で実行されるように実装されることができる。少なくとも1つのコンピュータ可読媒体の一般的形態は、例えば、限定ではないが、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、コンパクトディスク読取専用メモリもしくは任意の他の光学媒体、パンチカード、紙テープ、または孔のパターンを伴う任意の他の物理的媒体、ランダムアクセスメモリ、プログラマブル読取専用メモリ、および消去可能プログラマブル読取専用メモリ(EPROM)、フラッシュEPROM、または任意の他のメモリチップもしくはカートリッジ、もしくはそこからコンピュータが読み取り得る、任意の他の媒体を含むことができる。さらに、少なくとも1つのコンピュータ可読媒体は、限定ではないが、グラフィック交換フォーマット(GIF)、共同写真専門家グループ(JPEG)、ポータブルネットワークグラフィックス(PNG)、スケーラブルベクターグラフィックス(SVG)、およびタグ付き画像ファイルフォーマット(TIFF)を含む、必要に応じて、適切なライセンスを受ける、任意の形態におけるグラフを含有することができる。
本教示は、具体的構成の観点から上記に説明されたが、それらが、これらの開示される構成に限定されないことを理解されたい。多くの修正および他の構成が、これが関連する当業者に想起され、本開示および添付される請求項の両方によって網羅されることが意図され、網羅される。本教示の範囲が、本明細書および添付される図面における開示に依拠する当業者によって理解されるように、添付される請求項ならびにそれらの法的均等物の適切な解釈および構築によって判定されるべきであることを意図している。
Claims (93)
- 自律的送達車両であって、
2つの動力供給される前部車輪と、2つの動力供給される後部車輪と、エネルギー貯蔵装置とを含む、電力基部であって、前記電力基部は、コマンドされる速度において、かつコマンドされる方向において移動し、少なくとも1つの物体の輸送を実施するように構成される、電力基部と、
複数の短距離センサを含む、貨物プラットフォームであって、前記貨物プラットフォームは、前記電力基部に機械的に取り付けられる、貨物プラットフォームと、
前記少なくとも1つの物体を受容するための容積を伴う貨物コンテナであって、前記貨物コンテナは、前記貨物プラットフォームの上に搭載される、貨物コンテナと、
LIDARと、1つ以上のカメラとを備える、長距離センサスイートであって、前記長距離センサスイートは、前記貨物コンテナの上に搭載される、長距離センサスイートと、
前記長距離センサスイートおよび前記複数の短距離センサからデータを受信するためのコントローラであって、前記コントローラは、少なくとも前記データに基づいて、前記コマンドされる速度および前記コマンドされる方向を判定し、前記コントローラは、前記コマンドされる速度および前記コマンドされる方向を前記電力基部に提供し、前記輸送を完了させる、コントローラと
を備える、自律的送達車両。 - 前記複数の短距離センサからの前記データは、その上で前記電力基部が進行する表面の少なくとも1つの特性を備える、請求項1に記載の自律的送達車両。
- 前記複数の短距離センサは、少なくとも1つのステレオカメラを備える、請求項1に記載の自律的送達車両。
- 前記複数の短距離センサは、少なくとも1つのIRプロジェクタと、少なくとも1つの画像センサと、少なくとも1つのRGBセンサとを備える、請求項1に記載の自律的送達車両。
- 前記複数の短距離センサは、少なくとも1つのレーダセンサを備える、請求項1に記載の自律的送達車両。
- 前記複数の短距離センサからの前記データは、RGB-Dデータを備える、請求項1に記載の自律的送達車両。
- 前記コントローラは、前記複数の短距離センサから受信されたRGB-Dデータに基づいて、道路表面の幾何学形状を判定する、請求項1に記載の自律的送達車両。
- 前記複数の短距離センサは、前記AVの4メートル以内の物体を検出し、前記長距離センサスイートは、前記自律的送達車両から4メートルを上回る物体を検出する、請求項1に記載の自律的送達車両。
- 前記複数の短距離センサは、冷却回路を備える、請求項1に記載の自律的送達車両。
- 前記複数の短距離センサは、超音波センサを備える、請求項1に記載の自律的送達車両。
- 前記コントローラは、
実行可能コードを備え、前記実行可能コードは、
マップにアクセスすることを含み、前記マップは、マッププロセッサによって形成され、前記マッププロセッサは、
前記長距離センサスイートからの点群データにアクセスする、第1のプロセッサであって、前記点群データは、前記表面を表す、第1のプロセッサと、
前記点群データをフィルタリングする、フィルタと、
前記フィルタリングされた点群データから処理可能部分を形成する、第2のプロセッサと、
前記処理可能部分を少なくとも1つの多角形に併合する、第3のプロセッサと、
存在する場合、前記少なくとも1つの多角形内の前記少なくとも1つの実質的不連続表面特徴(SDSF)を位置特定および標識化する、第4のプロセッサであって、前記位置特定および標識化することは、標識化された点群データを形成する、第4のプロセッサと、
前記標識化された点群データからグラフ化多角形を作成する、第5のプロセッサと、
少なくとも前記グラフ化多角形に基づいて、開始点から終了点までの経路を選定する、第6のプロセッサであって、前記AVは、前記経路に沿って前記少なくとも1つのSDSFを横断する、第6のプロセッサと
を備える、請求項2に記載の自律的送達車両。 - 前記フィルタは、
前記点群データから過渡物体を表す点および外れ値を表す点を条件付きで除去することと、
事前選択された高さを有する前記除去された点を置換することと
を含む、コードを実行する、第7のプロセッサを備える、請求項11に記載の自律的送達車両。 - 前記第2のプロセッサは、
前記点群データを前記処理可能部分にセグメント化することと、
前記処理可能部分から事前選択された高さの点を除去することと
を含む、前記実行可能コードを含む、請求項11に記載の自律的送達車両。 - 前記第3のプロセッサは、
外れ値、ボクセル、および法線を分析することによって、前記処理可能部分のサイズを縮小することと、
前記縮小サイズの処理可能部分からの領域を拡大させることと、
前記拡大された領域から初期走行可能表面を判定することと、
前記初期走行可能表面をセグメント化およびメッシュ化することと、
前記セグメント化およびメッシュ化された初期走行可能表面内の多角形を位置特定することと、
少なくとも前記多角形に基づいて、少なくとも1つの走行可能表面を設定することと
を含む、前記実行可能コードを含む、請求項11に記載の自律的送達車両。 - 前記第4のプロセッサは、
SDSFフィルタに従って、前記初期走行可能表面の点群データをソートすることであって、前記SDSFフィルタは、少なくとも3つのカテゴリの点を含む、ことと、
少なくとも、前記少なくとも3つのカテゴリの点が、組み合わせて、少なくとも1つの第1の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF点を位置特定することと
を含む、前記実行可能コードを含む、請求項14に記載の自律的送達車両。 - 前記第4のプロセッサは、少なくとも、複数の前記少なくとも1つのSDSF点が、組み合わせて、少なくとも1つの第2の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF軌道を作成することを含む、前記実行可能コードを含む、請求項15に記載の自律的送達車両。
- グラフ化多角形を作成することは、
前記少なくとも1つの走行可能表面から少なくとも1つの多角形を作成することであって、前記少なくとも1つの多角形は、外縁を含む、ことと、
前記外縁を平滑化することと、
前記平滑化された外縁に基づいて、走行マージンを形成することと、
前記少なくとも1つのSDSF軌道を前記少なくとも1つの走行可能表面に追加することと、
少なくとも1つの第3の事前選択された基準に従って、前記少なくとも1つの走行可能表面から内縁を除去することと
を含む、前記実行可能コードを含む、第8のプロセッサを含む、請求項14に記載の自律的送達車両。 - 前記外縁を平滑化することは、前記外縁を外向きにトリミングし、外向き縁を形成することを含む、前記実行可能コードを含む、第9のプロセッサを含む、請求項17に記載の自律的送達車両。
- 前記平滑化された外縁の走行マージンを形成することは、前記外向き縁を内向きにトリミングすることを含む、前記実行可能コードを含む、第10のプロセッサを含む、請求項18に記載の自律的送達車両。
- 前記コントローラは、
前記自律的送達車両(AV)によって遭遇される少なくとも1つの実質的不連続表面特徴(SDSF)をナビゲートするためのサブシステムを備え、前記AVは、表面にわたる経路を進行し、前記表面は、前記少なくとも1つのSDSFを含み、前記経路は、開始点と、終了点とを含み、前記サブシステムは、
ルート形態にアクセスする、第1のプロセッサであって、前記ルート形態は、フィルタリングされた点群データを含む、少なくとも1つのグラフ化多角形を含み、前記フィルタリングされた点群データは、標識化された特徴を含み、前記点群データは、走行可能マージンを含む、第1のプロセッサと、
前記点群データをグローバル座標系に変換する、第2のプロセッサと、
前記少なくとも1つのSDSFの境界を判定する、第3のプロセッサであって、前記第3のプロセッサは、前記境界の周囲に事前選択されたサイズのSDSF緩衝を作成する、第3のプロセッサと、
少なくとも、少なくとも1つのSDSF横断基準に基づいて、横断され得る前記少なくとも1つのSDSFを判定する、第4のプロセッサと、
少なくとも、前記少なくとも1つのSDSF横断基準、前記変換された点群データ、および前記ルート形態に基づいて、縁/加重グラフを作成する、第5のプロセッサと、
少なくとも前記縁/加重グラフに基づいて、前記開始点から前記終了点までの前記経路を選定する、基部コントローラと
を備える、請求項1に記載の自律的送達車両。 - 前記少なくとも1つのSDSF横断基準は、
前記少なくとも1つのSDSFの事前選択された幅および前記少なくとも1つのSDSFの事前選択された平滑度と、
走行可能表面を含む、前記少なくとも1つのSDSFと前記AVとの間の最小進入距離および最小退出距離と、
前記AVによる前記少なくとも1つのSDSFへの約90°アプローチを適応させる、前記少なくとも1つのSDSFと前記AVとの間の前記最小進入距離と
を備える、請求項20に記載の自律的送達車両。 - 自律的デバイスに関するグローバル占有グリッドを管理するための方法であって、前記グローバル占有グリッドは、グローバル占有グリッドセルを含み、前記グローバル占有グリッドセルは、占有確率と関連付けられ、前記方法は、
前記自律的デバイスと関連付けられるセンサからセンサデータを受信することと、
少なくとも前記センサデータに基づいて、ローカル占有グリッドを作成することであって、前記ローカル占有グリッドは、ローカル占有グリッドセルを有する、ことと、
前記自律的デバイスが、第1の面積から第2の面積に移動した場合、
前記第2の面積と関連付けられる履歴データにアクセスすることと、
少なくとも前記履歴データに基づいて、静的グリッドを作成することと、
前記グローバル占有グリッドを移動させ、前記グローバル占有グリッドの中心位置において前記自律的デバイスを維持することと、
前記静的グリッドに基づいて、前記移動されたグローバル占有グリッドを更新することと、
前記グローバル占有グリッドセルのうちの少なくとも1つが、前記自律的デバイスの場所と一致する場合、前記グローバル占有グリッドセルのうちの少なくとも1つを非占有としてマーキングすることと、
前記ローカル占有グリッドセル毎に、
前記グローバル占有グリッド上の前記ローカル占有グリッドセルの位置を計算することと、
前記位置における前記グローバル占有グリッドセルからの第1の占有確率にアクセスすることと、
前記位置における前記ローカル占有グリッドセルからの第2の占有確率にアクセスすることと、
少なくとも前記第1の占有確率および前記第2の占有確率に基づいて、前記グローバル占有グリッド上の前記位置における新しい占有確率を算出することと
を含む、方法。 - 前記新しい占有確率を範囲チェックすることをさらに含む、請求項22に記載の方法。
- 前記範囲チェックすることは、
前記新しい占有確率が<0である場合、前記新しい占有確率を0に設定することと、
前記新しい占有確率が>1である場合、前記新しい占有確率を1に設定することと
を含む、請求項23に記載の方法。 - 前記グローバル占有グリッドセルを前記新しい占有確率に設定することをさらに含む、請求項22に記載の方法。
- 前記グローバル占有グリッドセルを前記範囲チェックされた新しい占有確率に設定することをさらに含む、請求項23に記載の方法。
- 占有グリッドを作成および管理するための方法であって、
ローカル占有グリッド作成ノードによって、センサ測定値をデバイスと関連付けられる基準フレームに変換することと、
タイムスタンプ付き測定占有グリッドを作成することと、
前記タイムスタンプ付き測定占有グリッドをローカル占有グリッドとして公開することと、
複数のローカル占有グリッドを作成することと、
リポジトリ内の表面特性に基づいて、静的占有グリッドを作成することであって、前記表面特性は、前記デバイスの位置と関連付けられる、ことと、
前記デバイスの位置と関連付けられるグローバル占有グリッドを移動させ、前記グローバル占有グリッドに対してほぼ心合される前記デバイスおよび前記ローカル占有グリッドを維持することと、
前記静的占有グリッドから前記グローバル占有グリッドに情報を追加することと、
前記デバイスによって現在占有されている前記グローバル占有グリッド内の面積を非占有としてマーキングすることと、
各ローカル占有グリッド内の少なくとも1つのセル毎に、
前記グローバル占有グリッド内の前記少なくとも1つのセルの場所を判定することと、
前記場所における第1の値にアクセスすることと、
前記第1の値と前記ローカル占有グリッド内の前記少なくとも1つのセルにおけるセル値との間の関係に基づいて、前記場所における第2の値を判定することと、
前記第2の値を事前選択された確率範囲に対して比較することと、
確率値が、前記事前選択された確率範囲内である場合、前記新しい値を伴う前記グローバル占有グリッドを設定することと
を含む、方法。 - 前記グローバル占有グリッドを公開することをさらに含む、請求項27に記載の方法。
- 前記表面特性は、表面タイプと、表面不連続性とを備える、請求項27に記載の方法。
- 前記関係は、合計することを含む、請求項27に記載の方法。
- 占有グリッドを作成および管理するためのシステムであって、
少なくとも1つのローカル占有グリッドを作成する、複数のローカルグリッド作成ノードであって、前記少なくとも1つのローカル占有グリッドは、デバイスの位置と関連付けられ、前記少なくとも1つのローカル占有グリッドは、少なくとも1つのセルを含む、複数のローカルグリッド作成ノードと、
前記少なくとも1つのローカル占有グリッドにアクセスする、グローバル占有グリッドマネージャと
を備え、
前記グローバル占有グリッドマネージャは、
リポジトリ内の表面特性に基づいて、静的占有グリッドを作成することであって、前記表面特性は、前記デバイスの位置と関連付けられる、ことと、
前記デバイスの位置と関連付けられるグローバル占有グリッドを移動させ、前記グローバル占有グリッドに対してほぼ心合される前記デバイスおよび前記少なくとも1つのローカル占有グリッドを維持することと、
前記静的占有グリッドから少なくとも1つのグローバル占有グリッドに情報を追加することと、
前記デバイスによって現在占有されている前記グローバル占有グリッド内の面積を非占有としてマーキングすることと、
各ローカル占有グリッド内の前記少なくとも1つのセル毎に、
前記グローバル占有グリッド内の前記少なくとも1つのセルの場所を判定することと、
前記場所における第1の値にアクセスすることと、
前記第1の値と前記ローカル占有グリッド内の前記少なくとも1つのセルにおけるセル値との間の関係に基づいて、前記場所における第2の値を判定することと、
前記第2の値を事前選択された確率範囲に対して比較することと、
確率値が、前記事前選択された確率範囲内である場合、前記新しい値を伴う前記グローバル占有グリッドを設定することと
を行う、システム。 - グローバル占有グリッドを更新するための方法であって、
自律的デバイスが、新しい位置に移動した場合、前記新しい位置と関連付けられる静的グリッドからの情報を用いて前記グローバル占有グリッドを更新することと、
前記新しい位置における表面を分析することと、
前記表面が、走行可能である場合、前記表面を更新し、前記更新された表面を用いて前記グローバル占有グリッドを更新することと、
静的値のリポジトリからの値を用いて前記グローバル占有グリッドを更新することであって、前記静的値は、前記新しい位置と関連付けられる、ことと
を含む、方法。 - 前記表面を更新することは、
前記新しい位置と関連付けられるローカル占有グリッドにアクセスすることと、
前記ローカル占有グリッド内のセル毎に、
ローカル占有グリッド表面分類信頼値およびローカル占有グリッド表面分類にアクセスすることと、
前記ローカル占有グリッド表面分類が、前記セル内の前記グローバル占有グリッド内のグローバル表面分類と同一である場合、前記グローバル占有グリッド内のグローバル表面分類信頼値を前記ローカル占有グリッド表面分類信頼値に加算し、合計を形成し、前記合計を用いて前記セルにおける前記グローバル占有グリッドを更新することと、
前記ローカル占有グリッド表面分類が、前記セル内の前記グローバル占有グリッド内の前記グローバル表面分類と同一ではない場合、前記グローバル占有グリッド内の前記グローバル表面分類信頼値から前記ローカル占有グリッド表面分類信頼値を減算し、差を形成し、前記差を用いて前記グローバル占有グリッドを更新することと、
前記差が、ゼロ未満である場合、前記ローカル占有グリッド表面分類を用いて前記グローバル占有グリッドを更新することと
を含む、請求項32に記載の方法。 - 前記静的値のリポジトリからの前記値を用いて前記グローバル占有グリッドを更新することは、
ローカル占有グリッド内のセル毎に、
前記ローカル占有グリッドからの前記セルが占有値であるローカル占有グリッド確率である、対数オッズ値にアクセスすることと、
前記セルにおける前記ローカル占有グリッド対数オッズ値を用いて前記グローバル占有グリッド内の前記対数オッズ値を更新することと、
前記セルが占有されていない事前選択された確実性が、満たされる場合、および前記自律的デバイスが、レーン障壁内で進行している場合、ならびにローカル占有グリッド表面分類が、走行可能表面を示す場合、前記セルが前記ローカル占有グリッド内で占有されている前記対数オッズを減少させることと、
前記自律的デバイスが、比較的に均一な表面に遭遇することを予期する場合、および前記ローカル占有グリッド表面分類が、比較的に不均一な表面を示す場合、前記ローカル占有グリッド内の前記対数オッズを増加させることと、
前記自律的デバイスが、比較的に均一な表面に遭遇することを予期する場合、および前記ローカル占有グリッド表面分類が、比較的に均一な表面を示す場合、前記ローカル占有グリッド内の前記対数オッズを減少させることと
を含む、請求項32に記載の方法。 - デバイスの構成のリアルタイム制御のための方法であって、前記デバイスは、シャーシと、少なくとも4つの車輪と、前記少なくとも4つの車輪のうちの少なくとも1つと動作可能に結合される、前記シャーシの第1の側と、前記少なくとも4つの車輪のうちの少なくとも1つと動作可能に結合される、前記シャーシの対向する第2の側とを含み、前記方法は、
少なくとも事前の表面特徴および占有グリッドに基づいて、マップを作成することであって、前記マップは、非リアルタイムで作成され、前記マップは、少なくとも1つの場所を含み、前記少なくとも1つの場所は、少なくとも1つの表面特徴と関連付けられ、前記少なくとも1つの表面特徴は、少なくとも1つの表面分類および少なくとも1つのモードと関連付けられる、ことと、
前記デバイスが進行する際、現在の表面特徴を判定することと、
前記現在の表面特徴を用いて前記占有グリッドをリアルタイムで更新することと、
前記占有グリッドおよび前記マップから、前記デバイスが前記少なくとも1つの表面特徴を横断するために進行し得る経路を判定することと
を含む、方法。 - デバイスの構成のリアルタイム制御のための方法であって、前記デバイスは、シャーシと、少なくとも4つの車輪と、前記少なくとも4つの車輪のうちの少なくとも1つと動作可能に結合される、前記シャーシの第1の側と、前記少なくとも4つの車輪のうちの少なくとも1つと動作可能に結合される、前記シャーシの対向する第2の側とを含み、前記方法は、
環境データを受信することと、
少なくとも前記環境データに基づいて、表面タイプを判定することと、
少なくとも前記表面タイプおよび第1の構成に基づいて、モードを判定することと、
少なくとも前記モードおよび前記表面タイプに基づいて、第2の構成を判定することと、
少なくとも前記第2の構成に基づいて、移動コマンドを判定することと、
前記移動コマンドを使用することによって前記デバイスの構成を制御し、前記デバイスを前記第1の構成から前記第2の構成に変更することと
を含む、方法。 - 前記環境データは、RGB-D画像データを備える、請求項36に記載の方法。
- 少なくとも前記表面タイプおよび前記モードに基づいて、占有グリッドを取り込むことと、
少なくとも前記占有グリッドに基づいて、前記移動コマンドを判定することと
をさらに含む、請求項36に記載の方法。 - 前記占有グリッドは、少なくとも、少なくとも1つの画像センサからのデータに基づく情報を備える、請求項38に記載の方法。
- 前記環境データは、道路表面の形態を備える、請求項36に記載の方法。
- 前記構成は、前記少なくとも4つの車輪のクラスタ化された2つの対を備え、前記2つの対の第1の対は、前記第1の側上に位置付けられ、前記2つの対の第2の対は、前記第2の側上に位置付けられ、前記第1の対は、第1の前部車輪と、第1の後部車輪とを含み、前記第2の対は、第2の前部車輪と、第2の後部車輪とを含む、請求項36に記載の方法。
- 前記構成の制御は、少なくとも前記環境データに基づく、前記第1の対および前記第2の対の協調された動力供給を含む、請求項41に記載の方法。
- 前記構成の制御は、前記少なくとも4つの車輪および後退されるキャスタの対を駆動することから遷移することを含み、前記キャスタの対は、前記シャーシに動作可能に結合される、ことから、前記第1の前部車輪および前記第2の前部車輪を持上するように回転される前記クラスタ化された第1の対ならびに前記クラスタ化された第2の対を伴う2つの車輪を駆動することであって、前記デバイスは、前記第1の後部車輪、前記第2の後部車輪、および前記キャスタの対上に静置される、請求項41に記載の方法。
- 前記構成の制御は、少なくとも前記環境データに基づいて、前記第1の側上の第1の2つの動力供給される車輪および前記第2の側上の第2の2つの動力供給される車輪と動作可能に結合される、クラスタの対を回転させることを含む、請求項41に記載の方法。
- 前記デバイスはさらに、貨物コンテナを備え、前記貨物コンテナは、前記シャーシ上に搭載され、前記シャーシは、前記貨物コンテナの高さを制御する、請求項36に記載の方法。
- 前記貨物コンテナの高さは、少なくとも前記環境データに基づく、請求項45に記載の方法。
- デバイスの構成のリアルタイム制御のためのシステムであって、前記デバイスは、シャーシと、少なくとも4つの車輪と、前記シャーシの第1の側と、前記シャーシの対向する第2の側とを含み、前記システムは、
前記デバイスを囲繞するリアルタイム環境データを受信する、デバイスプロセッサであって、前記デバイスプロセッサは、少なくとも前記環境データに基づいて、表面タイプを判定し、前記デバイスプロセッサは、少なくとも前記表面タイプおよび第1の構成に基づいて、モードを判定し、前記デバイスプロセッサは、少なくとも前記モードおよび前記表面タイプに基づいて、第2の構成を判定する、デバイスプロセッサと、
少なくとも前記第2の構成に基づいて、移動コマンドを判定する、電力基部プロセッサであって、前記電力基部プロセッサは、前記移動コマンドを使用することによって前記デバイスの構成を制御し、前記デバイスを前記第1の構成から前記第2の構成に変更する、電力基部プロセッサと
を備える、システム。 - 前記環境データは、RGB-D画像データを備える、請求項47に記載のシステム。
- 前記デバイスプロセッサは、少なくとも前記表面タイプおよび前記モードに基づいて、占有グリッドを取り込むことを含む、請求項47に記載のシステム。
- 前記電力基部プロセッサは、少なくとも前記占有グリッドに基づいて、前記移動コマンドを判定することを含む、請求項49に記載のシステム。
- 前記占有グリッドは、少なくとも、少なくとも1つの画像センサからのデータに基づく情報を備える、請求項49に記載のシステム。
- 前記環境データは、道路表面の形態を備える、請求項47に記載のシステム。
- 前記構成は、前記少なくとも4つの車輪のクラスタ化された2つの対を備え、前記2つの対の第1の対は、前記第1の側上に位置付けられ、前記2つの対の第2の対は、前記第2の側上に位置付けられ、前記第1の対は、第1の前部車輪と、第1の後部車輪とを有し、前記第2の対は、第2の前部車輪と、第2の後部車輪とを有する、請求項47に記載のシステム。
- 前記構成の制御は、少なくとも前記環境データに基づく、前記第1の対および前記第2の対の協調された動力供給を含む、請求項53に記載のシステム。
- 前記構成の制御は、前記少なくとも4つの車輪および後退されるキャスタの対を駆動することから遷移することを含み、前記キャスタの対は、前記シャーシに動作可能に結合される、ことから、前記第1の前部車輪および前記第2の前部車輪を持上するように回転される前記クラスタ化された第1の対ならびに前記クラスタ化された第2の対を伴う2つの車輪を駆動することであって、前記デバイスは、前記第1の後部車輪、前記第2の後部車輪、および前記キャスタの対上に静置される、請求項53に記載のシステム。
- グローバル占有グリッドを維持するための方法であって、
自律的デバイスの第1の位置を位置特定することと、
前記自律的デバイスが、第2の位置に移動するとき、前記前記第2の位置は、前記グローバル占有グリッドおよびローカル占有グリッドと関連付けられ、
前記第1の位置と関連付けられる少なくとも1つの占有確率値を用いて前記グローバル占有グリッドを更新することと、
前記ローカル占有グリッドと関連付けられる少なくとも1つの走行可能表面を用いて前記グローバル占有グリッドを更新することと、
前記少なくとも1つの走行可能表面と関連付けられる表面信頼度を用いて前記グローバル占有グリッドを更新することと、
第1のベイズ関数を使用して、前記少なくとも1つの占有確率値の対数オッズを用いて前記グローバル占有グリッドを更新することと、
少なくとも前記第2の位置と関連付けられる特性に基づいて、前記対数オッズを調節することと、
前記自律的デバイスが、前記第1の位置に留まり、前記グローバル占有グリッドおよび前記ローカル占有グリッドが、共同設置されるとき、
前記ローカル占有グリッドと関連付けられる前記少なくとも1つの走行可能表面を用いて前記グローバル占有グリッドを更新することと、
前記少なくとも1つの走行可能表面と関連付けられる前記表面信頼度を用いて前記グローバル占有グリッドを更新することと、
第2のベイズ関数を使用して、前記少なくとも1つの占有確率値の対数オッズを用いて前記グローバル占有グリッドを更新することと、
少なくとも前記第2の位置と関連付けられる特性に基づいて、前記対数オッズを調節することと
を含む、方法。 - 前記マップを作成することは、
前記表面を表す点群データにアクセスすることと、
前記点群データをフィルタリングすることと、
前記フィルタリングされた点群データを処理可能部分に形成することと、
前記処理可能部分を少なくとも1つの凹多角形に併合することと、
前記少なくとも1つの凹多角形内の前記少なくとも1つのSDSFを位置特定および標識化することであって、前記位置特定および標識化することは、標識化された点群データを形成する、ことと、
少なくとも、前記少なくとも1つの凹多角形に基づいて、グラフ化多角形を作成することと、
少なくとも前記グラフ化多角形に基づいて、開始点から終了点までの前記経路を選定することであって、前記AVは、前記経路に沿って前記少なくとも1つのSDSFを横断する、ことと
を含む、請求項35に記載の方法。 - 前記点群データをフィルタリングすることは、
前記点群データから過渡物体を表す点および外れ値を表す点を条件付きで除去することと、
事前選択された高さを有する前記除去された点を置換することと
を含む、請求項57に記載の方法。 - 処理部分を形成することは、
前記点群データを前記処理可能部分にセグメント化することと、
前記処理可能部分から事前選択された高さの点を除去することと
を含む、請求項57に記載の方法。 - 前記処理可能部分を併合することは、
外れ値、ボクセル、および法線を分析することによって、前記処理可能部分のサイズを縮小することと、
前記縮小サイズの処理可能部分からの領域を拡大させることと、
前記拡大された領域から初期走行可能表面を判定することと、
前記初期走行可能表面をセグメント化およびメッシュ化することと、
前記セグメント化およびメッシュ化された初期走行可能表面内の多角形を位置特定することと、
少なくとも前記多角形に基づいて、少なくとも1つの走行可能表面を設定することと
を含む、請求項57に記載の方法。 - 前記少なくとも1つのSDSFを位置特定および標識化することは、
SDSFフィルタに従って、前記初期走行可能表面の点群データをソートすることであって、前記SDSFフィルタは、少なくとも3つのカテゴリの点を含む、ことと、
少なくとも、前記少なくとも3つのカテゴリの点が、組み合わせて、少なくとも1つの第1の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF点を位置特定することと
を含む、請求項60に記載の方法。 - 少なくとも、複数の前記少なくとも1つのSDSF点が、組み合わせて、少なくとも1つの第2の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF軌道を作成することをさらに含む、請求項61に記載の方法。
- 前記グラフ化多角形を作成することはさらに、
前記少なくとも1つの走行可能表面から少なくとも1つの多角形を作成することであって、前記少なくとも1つの多角形は、外縁を含む、ことと、
前記外縁を平滑化することと、
前記平滑化された外縁に基づいて、走行マージンを形成することと、
前記少なくとも1つのSDSF軌道を前記少なくとも1つの走行可能表面に追加することと、
少なくとも1つの第3の事前選択された基準に従って、前記少なくとも1つの走行可能表面から内縁を除去することと
を含む、請求項62に記載の方法。 - 前記外縁の平滑化は、前記外縁を外向きにトリミングし、外向き縁を形成することを含む、請求項63に記載の方法。
- 前記平滑化された外縁の走行マージンを形成することは、前記外向き縁を内向きにトリミングすることを含む、請求項63に記載の方法。
- 自律的送達車両であって、
2つの動力供給される前部車輪と、2つの動力供給される後部車輪と、エネルギー貯蔵装置とを含む、電力基部であって、前記電力基部は、コマンドされる速度において移動するように構成される、電力基部と、
複数の短距離センサを含む、貨物プラットフォームであって、前記貨物プラットフォームは、前記電力基部に機械的に取り付けられる、貨物プラットフォームと、
送達するべき1つ以上の物体を受容するための容積を伴う貨物コンテナであって、前記貨物コンテナは、前記貨物プラットフォームの上に搭載される、貨物コンテナと、
LIDARと、1つ以上のカメラとを備える、長距離センサスイートであって、前記長距離センサスイートは、前記貨物コンテナの上に搭載される、長距離センサスイートと、
前記長距離センサスイートおよび前記複数の短距離センサからデータを受信するためのコントローラと
を備える、自律的送達車両。 - 前記複数の短距離センサは、走行可能表面の少なくとも1つの特性を検出する、請求項66に記載の自律的送達車両。
- 前記複数の短距離センサは、ステレオカメラである、請求項66に記載の自律的送達車両。
- 前記複数の短距離センサは、IRプロジェクタと、2つの画像センサと、RGBセンサとを備える、請求項66に記載の自律的送達車両。
- 前記複数の短距離センサは、レーダセンサである、請求項66に記載の自律的送達車両。
- 前記短距離センサは、RGB-Dデータを前記コントローラに供給する、請求項66に記載の自律的送達車両。
- 前記コントローラは、前記複数の短距離センサから受信されたRGB-Dデータに基づいて、道路表面の幾何学形状を判定する、請求項66に記載の自律的送達車両。
- 前記複数の短距離センサは、前記自律的送達車両の4メートル以内の物体を検出し、前記長距離センサスイートは、前記自律的送達車両から4メートルを上回る物体を検出する、請求項66に記載の自律的送達車両。
- 自律的送達車両であって、
少なくとも2つの動力供給される後部車輪と、キャスタ前部車輪と、エネルギー貯蔵装置とを含む、電力基部であって、前記電力基部は、コマンドされる速度において移動するように構成される、電力基部と、
複数の短距離センサを含む、貨物プラットフォームであって、前記貨物プラットフォームは、前記電力基部に機械的に取り付けられる、貨物プラットフォームと、
送達するべき1つ以上の物体を受容するための容積を伴う貨物コンテナであって、前記貨物コンテナは、前記貨物プラットフォームの上に搭載される、貨物コンテナと、
LIDARと、1つ以上のカメラとを備える、長距離センサスイートであって、前記長距離センサスイートは、前記貨物コンテナの上に搭載される、長距離センサスイートと、
前記長距離センサスイートおよび前記複数の短距離センサからデータを受信するためのコントローラと
を備える、自律的送達車両。 - 前記複数の短距離センサは、走行可能表面の少なくとも1つの特性を検出する、請求項74に記載の自律的送達車両。
- 前記複数の短距離センサは、ステレオカメラである、請求項74に記載の自律的送達車両。
- 前記複数の短距離センサは、IRプロジェクタと、2つの画像センサと、RGBセンサとを備える、請求項74に記載の自律的送達車両。
- 前記複数の短距離センサは、レーダセンサである、請求項74に記載の自律的送達車両。
- 前記短距離センサは、RGB-Dデータを前記コントローラに供給する、請求項74に記載の自律的送達車両。
- 前記コントローラは、前記複数の短距離センサから受信されたRGB-Dデータに基づいて、道路表面の幾何学形状を判定する、請求項74に記載の自律的送達車両。
- 前記複数の短距離センサは、前記自律的送達車両の4メートル以内の物体を検出し、前記長距離センサスイートは、前記自律的送達車両から4メートルを上回る物体を検出する、請求項74に記載の自律的送達車両。
- 前記キャスタ車輪が、地面から離れて持上される間、前記地面に係合し得る、動力供給される車輪の第2のセットをさらに備える、請求項74に記載の自律的送達車両。
- 自律的送達車両であって、
少なくとも2つの動力供給される後部車輪と、キャスタ前部車輪と、エネルギー貯蔵装置とを含む、電力基部であって、前記電力基部は、コマンドされる速度において移動するように構成される、電力基部と、
貨物プラットフォームであって、前記貨物プラットフォームは、前記電力基部に機械的に取り付けられる、貨物プラットフォームと、
走行可能表面の少なくとも1つの特性を検出する、前記貨物プラットフォームに搭載される、短距離カメラアセンブリと
を備え、
前記短距離カメラアセンブリは、
カメラと、
第1のライトと、
第1の液冷ヒートシンクと
を備え、
前記第1の液冷ヒートシンクは、前記第1のライトおよび前記カメラを冷却する、自律的送達車両。 - 前記短距離カメラアセンブリはさらに、前記カメラと前記液冷ヒートシンクとの間に熱電気冷却器を備える、請求項83に記載の自律的送達車両。
- 前記第1のライトおよび前記カメラは、前記カメラから離れるように前記第1のライトからの照明を偏向する、開口部を伴うカバー内に埋め込まれる、請求項83に記載の自律的送達車両。
- 前記ライトは、少なくとも15°下向きに角度付けられ、カバー内に少なくとも4mmに埋め込まれ、歩行者の気を散らす照明を最小限にする、請求項83に記載の自律的送達車両。
- 前記カメラは、視野を有し、前記第1のライトは、前記カメラの視野を照明するように拡散する光の2つのビームを生成するためのレンズを伴う2つのLEDを備える、請求項83に記載の自律的送達車両。
- 前記ライトは、約50°離れて角度付けられ、前記レンズは、60°のビームを生成する、請求項87に記載の自律的送達車両。
- 前記短距離カメラアセンブリは、前記カメラの上方に搭載される、超音波センサを含む、請求項83に記載の自律的送達車両。
- 前記短距離カメラアセンブリは、前記貨物プラットフォームの前面上の中心位置に搭載される、請求項83に記載の自律的送達車両。
- 前記貨物プラットフォームの前面の少なくとも1つの角上に搭載される、少なくとも1つのコーナーカメラアセンブリをさらに備え、前記少なくとも1つのコーナーカメラアセンブリは、
超音波センサと、
コーナーカメラと、
第2のライトと、
第2の液冷ヒートシンクであって、前記第2の液冷ヒートシンクは、前記第2のライトおよび前記コーナーカメラを冷却する、第2の液冷ヒートシンクと
を備える、請求項83に記載の自律的送達車両。 - 前記履歴データは、表面データを備える、請求項22に記載の方法。
- 前記履歴データは、不連続性データを備える、請求項22に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023102264A JP2023112104A (ja) | 2019-07-10 | 2023-06-22 | 自律的デバイスのリアルタイム制御のためのシステムおよび方法 |
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962872320P | 2019-07-10 | 2019-07-10 | |
US201962872396P | 2019-07-10 | 2019-07-10 | |
US62/872,396 | 2019-07-10 | ||
US62/872,320 | 2019-07-10 | ||
US202062990485P | 2020-03-17 | 2020-03-17 | |
US62/990,485 | 2020-03-17 | ||
PCT/US2020/041711 WO2021007561A1 (en) | 2019-07-10 | 2020-07-10 | System and method for real time control of an autonomous device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023102264A Division JP2023112104A (ja) | 2019-07-10 | 2023-06-22 | 自律的デバイスのリアルタイム制御のためのシステムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022540640A true JP2022540640A (ja) | 2022-09-16 |
JPWO2021007561A5 JPWO2021007561A5 (ja) | 2023-07-03 |
Family
ID=71944349
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022501336A Pending JP2022540640A (ja) | 2019-07-10 | 2020-07-10 | 自律的デバイスのリアルタイム制御のためのシステムおよび方法 |
JP2023102264A Pending JP2023112104A (ja) | 2019-07-10 | 2023-06-22 | 自律的デバイスのリアルタイム制御のためのシステムおよび方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023102264A Pending JP2023112104A (ja) | 2019-07-10 | 2023-06-22 | 自律的デバイスのリアルタイム制御のためのシステムおよび方法 |
Country Status (11)
Country | Link |
---|---|
EP (1) | EP3997484A1 (ja) |
JP (2) | JP2022540640A (ja) |
KR (1) | KR20220034843A (ja) |
CN (1) | CN114270140A (ja) |
AU (1) | AU2020310932A1 (ja) |
BR (1) | BR112022000356A2 (ja) |
CA (1) | CA3146648A1 (ja) |
GB (1) | GB2600638A (ja) |
IL (1) | IL289689A (ja) |
MX (1) | MX2022000458A (ja) |
WO (1) | WO2021007561A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11988749B2 (en) | 2021-08-19 | 2024-05-21 | Argo AI, LLC | System and method for hybrid LiDAR segmentation with outlier detection |
DE102023001762A1 (de) | 2022-05-24 | 2023-11-30 | Sew-Eurodrive Gmbh & Co Kg | Mobiles System |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2367501C (en) | 1999-03-15 | 2008-07-15 | Deka Products Limited Partnership | Control system and method for wheelchair |
-
2020
- 2020-07-10 MX MX2022000458A patent/MX2022000458A/es unknown
- 2020-07-10 KR KR1020227004537A patent/KR20220034843A/ko unknown
- 2020-07-10 CA CA3146648A patent/CA3146648A1/en active Pending
- 2020-07-10 CN CN202080058758.4A patent/CN114270140A/zh active Pending
- 2020-07-10 AU AU2020310932A patent/AU2020310932A1/en active Pending
- 2020-07-10 WO PCT/US2020/041711 patent/WO2021007561A1/en unknown
- 2020-07-10 GB GB2201700.8A patent/GB2600638A/en not_active Withdrawn
- 2020-07-10 JP JP2022501336A patent/JP2022540640A/ja active Pending
- 2020-07-10 EP EP20750954.8A patent/EP3997484A1/en active Pending
- 2020-07-10 BR BR112022000356A patent/BR112022000356A2/pt unknown
-
2022
- 2022-01-09 IL IL289689A patent/IL289689A/en unknown
-
2023
- 2023-06-22 JP JP2023102264A patent/JP2023112104A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2023112104A (ja) | 2023-08-10 |
GB202201700D0 (en) | 2022-03-30 |
IL289689A (en) | 2022-03-01 |
WO2021007561A1 (en) | 2021-01-14 |
GB2600638A (en) | 2022-05-04 |
BR112022000356A2 (pt) | 2022-05-10 |
CN114270140A (zh) | 2022-04-01 |
GB2600638A8 (en) | 2022-11-23 |
KR20220034843A (ko) | 2022-03-18 |
MX2022000458A (es) | 2022-04-25 |
EP3997484A1 (en) | 2022-05-18 |
AU2020310932A1 (en) | 2022-01-27 |
CA3146648A1 (en) | 2021-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11927457B2 (en) | System and method for real time control of an autonomous device | |
US11162788B2 (en) | Classification of surfaces as hard/soft for combining data captured by autonomous vehicles for generating high definition maps | |
US11288521B2 (en) | Automated road edge boundary detection | |
JP2023112104A (ja) | 自律的デバイスのリアルタイム制御のためのシステムおよび方法 | |
CN111492403A (zh) | 用于生成高清晰度地图的激光雷达到相机校准 | |
CN111542860A (zh) | 用于自主车辆的高清地图的标志和车道创建 | |
JP7497365B2 (ja) | 表面特徴検出および横断のためのシステムおよび方法 | |
CN112819943B (zh) | 一种基于全景相机的主动视觉slam系统 | |
US20230056589A1 (en) | Systems and methods for generating multilevel occupancy and occlusion grids for controlling navigation of vehicles | |
Mukhija et al. | Mapping a Network of Roads for an On-road Navigating Robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230622 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230622 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240624 |