JP2022526825A - 自律マシン・アプリケーションのためのマップ情報で拡張されたグラウンド・トゥルース・データを使用するニューラル・ネットワーク・トレーニング - Google Patents
自律マシン・アプリケーションのためのマップ情報で拡張されたグラウンド・トゥルース・データを使用するニューラル・ネットワーク・トレーニング Download PDFInfo
- Publication number
- JP2022526825A JP2022526825A JP2021559752A JP2021559752A JP2022526825A JP 2022526825 A JP2022526825 A JP 2022526825A JP 2021559752 A JP2021559752 A JP 2021559752A JP 2021559752 A JP2021559752 A JP 2021559752A JP 2022526825 A JP2022526825 A JP 2022526825A
- Authority
- JP
- Japan
- Prior art keywords
- data
- sensor
- vehicle
- map
- ground truth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 58
- 238000012549 training Methods 0.000 title claims abstract description 56
- 238000001514 detection method Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims description 73
- 238000012545 processing Methods 0.000 claims description 37
- 230000004807 localization Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims 2
- 230000001537 neural effect Effects 0.000 claims 1
- 230000015654 memory Effects 0.000 description 52
- 230000006870 function Effects 0.000 description 47
- 230000000875 corresponding effect Effects 0.000 description 38
- 238000013527 convolutional neural network Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 24
- 238000004891 communication Methods 0.000 description 22
- 238000004422 calculation algorithm Methods 0.000 description 17
- 238000007726 management method Methods 0.000 description 14
- 238000003860 storage Methods 0.000 description 14
- 238000012800 visualization Methods 0.000 description 14
- 230000001133 acceleration Effects 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 9
- 230000013016 learning Effects 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 235000019800 disodium phosphate Nutrition 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 241000269400 Sirenidae Species 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007667 floating Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013439 planning Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- PVFZKRMYBKEXBN-UHFFFAOYSA-N piperidine;piperidine-1-carbodithioic acid Chemical compound C1CCNCC1.SC(=S)N1CCCCC1 PVFZKRMYBKEXBN-UHFFFAOYSA-N 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000004043 responsiveness Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 101100175317 Danio rerio gdf6a gene Proteins 0.000 description 1
- 238000006424 Flood reaction Methods 0.000 description 1
- 102100030148 Integrator complex subunit 8 Human genes 0.000 description 1
- 101710092891 Integrator complex subunit 8 Proteins 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000035045 associative learning Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000001693 membrane extraction with a sorbent interface Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 125000000914 phenoxymethylpenicillanyl group Chemical group CC1(S[C@H]2N([C@H]1C(=O)*)C([C@H]2NC(COC2=CC=CC=C2)=O)=O)C 0.000 description 1
- 229920002451 polyvinyl alcohol Polymers 0.000 description 1
- 235000019422 polyvinyl alcohol Nutrition 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
- B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/40—Correcting position, velocity or attitude
- G01S19/41—Differential correction, e.g. DGPS [differential GPS]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0018—Method for the design of a control system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
- B60W2050/0083—Setting, resetting, calibration
- B60W2050/0088—Adaptive recalibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B60W2420/408—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/54—Audio sensitive means, e.g. ultrasound
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/40—High definition maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Aviation & Aerospace Engineering (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
Abstract
様々な実例において、自律マシンの1個又は複数のセンサによって生成されたトレーニング・センサ・データが、グラウンド・トゥルース・データを拡張及び/又は生成するために、高解像度(HD)マップ・データに-たとえば、実施例において、自動的に-ローカライズされ得る。グラウンド・トゥルース・データは、自律マシン動作-たとえば、物体又は特徴検出、道路特徴検出及び分類、待機条件識別及び分類など-に対応する出力を計算するために1個又は複数のディープ・ニューラル・ネットワーク(DNN)をトレーニングするためのトレーニング・センサ・データと関連付けられ得る。結果として、DNN-配備中の-が、HDマップ・データに依拠せずに自律マシンが安全に環境を通り抜けるのを助けることができるように、HDマップ・データが、トレーニング中に活用され得る。
Description
本発明は、自律マシン・アプリケーションのためのマップ情報で拡張されたグラウンド・トゥルース・データを使用するニューラル・ネットワーク・トレーニングに関するものである。
自律型車両が環境を安全に通り抜けるために、車両は、その中で車両が動作しようとするエリアに対応する高解像度(HD:high definition)マップに依拠し得る。HDマップの詳細な、3次元の、高精度な特質により、HDマップ・データに従って通り抜けることは、HDマップ情報が入手可能な環境の安全なナビゲーションに効果的であることが判明している。しかしながら、HDマップ情報が入手可能、正確、若しくは最新ではない、及び/又は環境を通り抜けるのを助けるためにHDマップが依拠され得ない-少なくとも排他的に-場合が存在する。そのようなインスタンスにおいて、従来の手法は、車両の搭載センサ-たとえば、ビジョン・センサ(たとえば、カメラ、LIDAR、RADARなど)-を活用して物体、道路特徴(たとえば、車線区分線、道路縁など)、自由空間境界線、待機条件情報、交差点構造及び姿勢、並びに/又は同類のものを検出する。たとえば、ディープ・ニューラル・ネットワーク(DNN:deep neural network)は、搭載センサからのセンサ・データを処理する及び前述の動作のいずれかに対応する出力を計算するために、活用され得る。
しかしながら、自律動作に必要なレベルの正確性で成功及び実行するために、DNNは、トレーニング中に大量の多様なトレーニング・データ及びそれに対応するグラウンド・トゥルース・データ(たとえば、ラベル、注釈など)を必要とする。グラウンド・トゥルース・データは、たとえば、車線区分線若しくは道路縁を識別するポリライン、環境の物体若しくは特徴の周りの境界ボックス、及び/又は他のグラウンド・トゥルース・データ・タイプを含み得る。グラウンド・トゥルース・データを生成するプロセスは、相当な量の手動労力を必要とし、通常は、DNNに基づく製品のコスト及び開発時間の重要な構成要素である-たとえば、トレーニング・データ・インスタンス(たとえば、画像)のグラウンド・トゥルース・データの単一のセットは、20分を超えるラベル付け又は注釈付けの労力を必要とし得る。加えて、手動のラベル付けは、-たとえば、ラベル付け又は注釈付けの間の人為的エラーが原因で-DNNができる限り正確に実行することを可能にするグラウンド・トゥルース・データをもたらさないことがある。結果として、HDマップが入手不可能な場合、DNNは、安全な自律動作のために望ましい程に正確に実行しないことがある、並びに/又はそれを行うために著しいコスト及び手動労力を必要とし得る。
本開示の実施例は、自律マシン・アプリケーションのためのニューラル・ネットワークをトレーニングするためのグラウンド・トゥルース・データを生成するためのマップ情報の活用に関する。自律マシンの1個又は複数のセンサを使用してキャプチャされたトレーニング・データ(たとえば、画像、信頼性マップ、LIDARデータ、RADARデータなど)に対応する高解像度(HD)マップに対応する情報を決定するためにローカリゼーション技法を用いる、システム及び方法が、開示される。HDマップからの情報は、次いで、自律マシン動作(たとえば、物体検出、待機条件分析、道路構造決定、ローカリゼーション、特徴検出など)に対応する計算を実行するために1個又は複数のニューラル・ネットワークをトレーニングするために、トレーニング・ラベル、注釈、又はトレーニング・データに対応する他のグラウンド・トゥルース・データを生成するために、活用され得る。
従来のシステム、たとえば、前述のもの、とは対照的に、本開示の実施例は、HDマップ・データをHDマップにおける不具合又は欠点を説明するためのディープ・ニューラル・ネットワーク(DNN)のトレーニング並びにDNNの従来のトレーニング・プロセスと結合する。たとえば、正確な最新のHDマップの限定された範囲は、HDマップを使用して生成される及びHDマップが正確で最新である領域内でキャプチャされたセンサ・データに対応するグラウンド・トゥルース・データを使用してトレーニングされるDNNで説明され得る。さらに、従来のDNNトレーニング技法のコストのかかる及び潜在的に不正確なグラウンド・トゥルース生成プロセスは、HDマップ情報からの正確なグラウンド・トゥルース・データの自動生成を使用して、改善され得る。結果として、DNNのトレーニングは、時間及び手動労力に関して実質的に低コストであり得、自律マシンの様々な動作を助けるために使用され得る結果的DNNは、-HDマップ情報が入手不可能な又は最新ではない位置では特に-より正確で高信頼であり得る。
自律マシン・アプリケーションのためのニューラル・ネットワークをトレーニングするためのグラウンド・トゥルース・データを生成するためにマップ情報を活用する本システム及び方法について、添付の図面を参照して、以下に詳しく説明する。
自律マシン・アプリケーションのためのニューラル・ネットワークをトレーニングするためのグラウンド・トゥルース・データを生成するためのマップ情報の活用に関する、システム及び方法が、開示される。本開示は、例示的自律型車両500(或いは「車両500」、「自己車両500」、「データ収集車両500」、又は「動的アクタ500」と称され、その実例が図5A~5Dに関して説明されているに関して説明されることがあるが、これは限定を意図していない。たとえば、本明細書に記載のシステム及び方法は、制限なしに、非自律型車両、半自律型車両(たとえば、1個又は複数の適応型運転者支援システム(ADAS:adaptive driver assistance system)、ロボット、倉庫車両、オフロード車両、飛行船舶、ボート、シャトル、救急対応車両、オートバイ、電気若しくは原動機付自転車、航空機、建設車両、潜水艦、ドローン、及び/又は他の車両タイプによって使用され得る。加えて、本開示は、自律運転又はADASシステムに関して説明されることがあるが、これは限定を意図していない。たとえば、本明細書に記載のシステム及び方法は、シミュレーション環境において、ロボット工学(たとえば、屋内環境、屋外環境、倉庫などのマップ情報を使用)、航空システム、船舶システム、及び/又は他の技術分野において実装するためのディープ・ニューラル・ネットワーク(DNN)をトレーニングするためのグラウンド・トゥルース・データを生成するために使用され得る。
図1を参照すると、図1は、本開示のいくつかの実施例による、ディープ・ニューラル・ネットワーク(DNN)をトレーニングするためのラベルを拡張又は生成するための高解像度(HD)マップ・データにトレーニング・データをローカライズするプロセス100の例示的データ流れ図を含む。プロセス100は、自律型車両500及び/又は例示的計算デバイス600(図6)に関して説明されることがあるが、これは限定を意図していない。本明細書に記載のこの及び他の構成は単に実例として記載されていることを理解されたい。他の構成及び要素(たとえば、マシン、インターフェース、機能、順番、機能のグループ化など)が、図示されたものに加えて又はそれらの代わりに使用され得、いくつかの要素は、完全に省略され得る。さらに、本明細書に記載の要素の多数は、個別の若しくは分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び/又はソフトウェアによって実施され得る。たとえば、様々な機能は、メモリに記憶された命令を実行するプロセッサによって実施され得る。
プロセス100は、データ収集車両500(車両500に類似し得る、又は非自律若しくは半自律型車両を含み得る)の1個又は複数のセンサからのセンサ・データ102を生成及び/又は受信することを含み得る。センサ・データ102は、ローカリゼーション、相互関連付け、及びグラウンド・トゥルース生成のために、並びにディープ・ニューラル・ネットワーク(DNN)116の入力データのためにプロセス100内で使用され得る。センサ・データ102は、車両500及び/又は他の車両若しくは物体-たとえば、いくつかの実例において、ロボット・デバイス、VRシステム、ARシステムなど-に関して本明細書で説明されるものなどの、しかしこれらに限定されない、任意のタイプのセンサからのセンサ・データ102を含み得るが、これらに限定されない。非限定的実例として、図5A~5Cを参照すると、センサ・データ102は、限定せずに、全地球航法衛星システム(GNSS:global navigation satellite systems)センサ558(たとえば、全地球測位システム(GPS)センサ、ディファレンシャルGPS(DGPS)センサなど)、RADARセンサ560、超音波センサ562、LIDARセンサ564、慣性計測装置(IMU:inertial measurement unit)センサ566(たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など)、マイクロフォン596、ステレオ・カメラ568、ワイド・ビュー・カメラ570(たとえば、魚眼カメラ)、赤外線カメラ572、サラウンド・カメラ574(たとえば、360度カメラ)、長距離及び/又は中距離カメラ598、速度センサ544(たとえば、データ収集車両の速度及び/又は移動距離を測定するための)、及び/又は他のセンサタイプによって生成されたデータを含み得る。
いくつかの実例において、センサ・データ102は、1個又は複数の前向きのセンサ、サイドビュー・センサ、及び/又はリアビュー・センサによって生成されたセンサ・データを含み得る。このセンサ・データ102は、環境内のデータ収集車両の周りの物体を識別、検出、分類、及び/又は追跡するために-たとえば、ローカリゼーション、HDマップ104との相互関連付け、グラウンド・トゥルース生成、及び/又は同類のもののために-有用であり得る。実施例において、任意の数のセンサが、複数の視野(たとえば、図5Bの長距離カメラ598、前向きのステレオ・カメラ568、及び/又は前向きのワイド・ビュー・カメラ570の視野)及び/又は知覚フィールド(たとえば、LIDARセンサ564、RADARセンサ560などの)を組み込むために使用され得る。
いくつかの実施例において、センサ・データ102は、画像を表す画像データ、ビデオを表す画像データ(たとえば、ビデオのスナップショット)、及び/又はセンサの知覚フィールドの表現を表すセンサ・データ(たとえば、LIDARセンサの深度図、超音波センサの値グラフなど)を含み得る。センサ・データ102が、画像データを含む場合、たとえば、JPEG(Joint Photographic Experts Group)若しくは輝度/クロミナンス(YUV:Luminance/Chrominance)フォーマットなどの圧縮画像、H.264/AVC(Advanced Video Coding)若しくはH.265/HEVC(High Efficiency Video Coding)などの圧縮ビデオ・フォーマットから生じるフレームのような圧縮画像、RCCB(Red Clear Blue)、RCCC(Red Clear)、若しくは他のタイプの画像センサなどに由来するものなどの未加工画像、及び/又は他のフォーマットを含むがこれらに限定されない、任意のタイプの画像データ・フォーマットが、使用され得る。加えて、いくつかの実例において、センサ・データ102は、前処理なしに(たとえば、未加工の又はキャプチャされたフォーマットにおいて)プロセス100内で使用され得るが、他の実例において、センサ・データ102は、前処理(たとえば、ノイズ・バランシング、デモザイク処理、スケーリング、クロップ、拡張、ホワイト・バランシング、トーン・カーブ調整など、たとえば、センサ・データ・プリプロセッサ(図示せず)を使用する)を受け得る。本明細書では、センサ・データ102は、未処理のセンサ・データ、前処理されたセンサ・データ、又はその組合せを指し得る。
加えて、プロセス100は、データ収集車両500によってアクセス可能な及び/又は記憶されたマップ-たとえば、HDマップ104(図5CのHDマップ522に類似し得る)-からのマップ・データを生成及び/又は受信することを含み得る。いくつかの実施例において、HDマップ104及び/又はローカライザ106は、HDマップ・マネージャの構成要素でもよい。データ収集車両500が、正確な命令、プランニング、及びローカリゼーションのためにHDマップ104に依拠し得るように、いくつかの実施例において、HDマップ104は、センチメートル・レベル又はそれより細かい精度を含み得る。HDマップ104は、車線、道路境界線、道路形状、高度、傾斜、及び/若しくは輪郭、進行方向情報、待機条件、静的物体位置、並びに/又は他の情報を表すことができる。そのようなものとして、プロセス100は、HDマップ104からの情報-たとえば、車線の位置及び形状-を使用して、DNN116をトレーニングするためのグラウンド・トゥルース・データを生成することができる。本明細書ではHDマップ104として記載されているが、これは限定を意図しておらず、マップ・データは、HDマップ104より高い又は低い精度を有する任意のタイプのマップから生成され得る。たとえば、本開示の範囲を逸脱せずに、ナビゲーション又はGPSアプリケーションから生成されるマップ・データは、HDマップ104に加えて又はそれとは別に使用され得る。
センサ・データ102及びマップ・データ(たとえば、HDマップ104からの)は、HDマップ104に関してデータ収集車両500をローカライズする(たとえば、位置及び/又は向きについて)ために、ローカライザ106によって、使用され得る。たとえば、位置に基づくセンサ-たとえば、GNSSセンサ558-によって生成されるセンサ・データ102は、HDマップ104上のデータ収集車両500の近似位置を判定するために使用され得る。この情報は、HDマップ104内のデータ収集車両500を正確にローカライズするために分析されるべきHDマップ104の領域を決定するために使用され得る。たとえば、視覚に基づくセンサ-たとえば、カメラ、RADARセンサ560、超音波センサ562、LIDARセンサ564、及び/又は他のセンサ-によって生成されるセンサ・データ102は、位置に基づくセンサを使用して決定されるHDマップ104の領域内に知られている及び正確な位置を有する環境内の特徴及び/又は物体を識別するために使用され得る。車両500が、最初にHDマップ104内でローカライズされた後は、経時的な車両500の位置及び/又は向きが、この同じローカリゼーション技法を使用して-たとえば、HDマップ104内の知られている位置を有する物体及び/又は特徴を識別するために視覚に基づくセンサを使用して-追跡され得る、及び/又は車両500の自己運動センサ(たとえば、IMUセンサ566、速度センサ544、ハンドル角度を追跡するステアリング・センサ540など)によって生成されるセンサ・データ102を使用して追跡され得る。たとえば、車両500が、最初にローカライズされた後は、自己運動センサは、経時的に車両500の位置及び/又は向きの変化を正確に追跡するために使用され得る。しかしながら、自己運動センサが使用される場合でも、視覚に基づくセンサを使用するローカリゼーション技法が、HDマップ104内で車両500をローカライズするためにシステムを再調整するために、定期的に(たとえば、3秒毎、10秒毎など)実行され得る。
いくつかの非限定的実施例において、センサ・データ102及び/又はHDマップ104からの情報は、センサ・データ102及び/又はHDマップ104を車両500の座標系に変換するために及び/又はHDマップ104からのマップ・データをセンサ・データ102の座標空間に変換するために(たとえば、3D世界空間マップ・データを2D画像又はセンサ空間に変換するために)、座標変換器に適用され得る。本明細書に記載の変換又はシフトを座標変換器108が実行するために、センサの固有パラメータ(たとえば、光心、焦点距離など)及び/又は付帯的パラメータ(たとえば、車両500でのセンサの位置、回転、移転など)が、HDマップ104上の2D画素位置(又は他の画像若しくはセンサ空間位置)と2D又は3D世界空間位置との相関関係を決定するために使用され得る。
たとえば、座標変換器108は、車両500に関して及び/又はセンサ・データ102のインスタンスをキャプチャしたセンサの視界に関してHDマップ104を適応させることができる。いくつかの実施例において、座標変換器108は、データ収集車両500及び/又はそのセンサの位置及び/又は向きに関してマップ・データの視点を移すことができる。そのようなものとして、グラウンド・トゥルース・データを生成するためにグラウンド・トゥルース・ジェネレータ112によって使用され得るHDマップ104の部分は、車両500(たとえば、(0,0)の(x,y)座標にある、中心にデータ収集車両500を有し、yは、車両の前から後ろに伸びる縦の次元であり、xは、yと垂直な及び車両の左から右に伸びる横の次元である)及び/又はそのセンサに(たとえば、HDマップ104に対応するセンサ・データ102のインスタンスを生成したセンサの視界又は知覚フィールドに)対して移され得る。いくつかの実施例において、車両500及び/又はそのセンサに関して視点又は座標系を移すことに加えて或いは別法として、座標変換器108は、各タイプのデータについて同じ視界に視点を移すことができる。たとえば、HDマップ104が、環境の上から見下ろす視点からデータを生成し得る場合、センサ・データ102を生成するセンサは、異なる視点-たとえば、前向き、横向き、角度をつけた下向きの、角度をつけた上向きのなど-からそれを行うことができる。そのようなものとして、同じ視点からグラウンド・トゥルース・データを生成するために、座標変換器108は、センサ・データ102及び/又はマップ・データを同じ視点に調節することができる。いくつかの非限定的実施例において、センサ・データ102及びHDマップ104のそれぞれは、HDマップ104の上から見下ろすビュー視点若しくは座標系、センサ・データ102の座標系若しくは視点、及び/又は別の視点若しくは座標系に移され得る。
座標変換器108がHDマップ104の座標系を車両500及び/又はそのセンサのそれに移すこと又は変換することに加えて或いは別法として、座標変換器108は、いくつかの実施例において、マップ・データをセンサ・データ102の座標系又は次元に移す又は変換することができる。たとえば、DNN116が、2D画像空間における出力118を計算するようにトレーニングされる場合、マップ・データは、2D又は3D世界空間座標から2D画像又はセンサ空間座標に変換され得る又は移され得る。別の実例として、DNN116が、3D世界空間における出力118を計算するようにトレーニングされる場合、DNN116に入力されるセンサ・データ102が、2D空間におけるセンサ・データ表現を表す場合でも、マップ・データは、2D画像空間に変換されない又は移されないことが可能である。そのようなものとして、DNN116は、2D又は3D世界空間座標における出力118を計算するようにトレーニングされ得、結果として、DNN116をトレーニングするために生成されるグラウンド・トゥルースは、2D又は3D世界空間座標系に対応し得る。少なくともいくつかの実施例において、グラウンド・トゥルースが対応するセンサ・データ102のうちのいくらか(たとえば、それによって表される、特徴、物体など)又はすべてが、2D又は3D世界空間に対応するグラウンド・トゥルースを生成するために、座標変換器108によって2D画像又はセンサ空間から2D又は3D世界空間に変換され得る。
ローカリゼーションがローカライザ106によって実行された、並びに/又はセンサ・データ102及び/若しくはマップ・データが座標変換器108によって変換された若しくは移された後は、相関器110(特徴判定器110を含み得る又は本明細書で特徴判定器110と別称され得る)は、マップ・データをセンサ・データ102と相互に関連付けることができる。たとえば、生成されることになるグラウンド・トゥルース・データのタイプに応じて、相関器は、マップ・データによって表されるものとしての特徴及び/又は物体とセンサ・データ102によって表されるものとしての特徴及び/又は物体との相関関係を判定することができる。一実例として、DNN116が、走行表面の車線境界線、仕切り、及び/又は他の特徴の位置を予測するようにトレーニングされる場合、車線境界線、仕切り、及び/又は他の特徴を表すマップ・データは、各センサ・データ・インスタンスにおいて(たとえば、各画像又はフレームにおいて)センサ・データ102と相互に関連付けられ得る(たとえば、図2Aの視覚化200と同様に)。別の実例として、本明細書に記載のように、DNN116が、軌道を生成するようにトレーニングされる場合、グラウンド・トゥルース・ジェネレータ112が、車線のレールにより密接に対応する又は車線のレールを中心とする最終的グラウンド・トゥルース軌道を生成することができる(たとえば、図2Aの視覚化200と同様に)ように、相関器110は、グラウンド・トゥルース軌道に対応する車線のレール(たとえば、中心)を判定することができる。さらなる実例として、DNN116が、交差点に対応する出力(たとえば、交差点を包含する境界形状に対応する境界形状頂点)を生成するようにトレーニングされる場合、グラウンド・トゥルース・ジェネレータ112が、それぞれの特徴を包含する境界形状を生成することができる(たとえば、図2Bの視覚化240と同様に)ように、相関器110は、交差点に対応する交差点のそれぞれの特徴(たとえば、交通信号、交通標識、走行表面上のラベル又はマークなど)を判定することができる。
グラウンド・トゥルース・ジェネレータ112は、DNN116が計算するようにトレーニングされた出力118及び出力118のフォーマットに従って、センサ・データ102及び/又はHDマップ104からのマップ・データを使用してグラウンド・トゥルース・データを生成することができる。たとえば、DNN116が、車線を定義するポリラインの点に対応する出力を生成するようにトレーニングされた場合、グラウンド・トゥルース・ジェネレータ112は、マップ・データから車線区分線に沿った点(何らかのインクリメントにおける)を決定すること、及びそれらの点をポリラインの点と関連付けることによって、マップ・データからグラウンド・トゥルース・データを生成することができる。そのようなものとして、DNN116が、ポリラインの点に対応する出力118を生成する場合、グラウンド・トゥルース・ジェネレータ112によって生成されたグラウンド・トゥルース・データは、DNN116のパラメータ(たとえば、重み及びバイアス)の更新を決定するために、トレーニング・エンジン114によって-たとえば、1個又は複数の損失関数を使用して-出力118からの点と比較され得る。
同様に、DNN116が、交差点の境界形状に対応する出力118を予測するようにトレーニングされる場合、グラウンド・トゥルース・ジェネレータ112は、DNN116の予測のフォーマットに従って、グラウンド・トゥルース境界形状を生成することができる。たとえば、DNN116は、2D画像空間内の境界形状の複数の頂点の画素位置として境界形状座標を出力するようにトレーニングされ得、結果として、グラウンド・トゥルース・ジェネレータ112は、このフォーマットに従って、グラウンド・トゥルース・データを-たとえば、境界形状の複数の頂点の位置に対応するグラウンド・トゥルース・データを生成することによって-生成することができる。別の実例として、DNN116は、2D画像空間における境界形状及び次元(たとえば、高さ及び幅)の重心の画素位置として境界形状座標を出力するようにトレーニングされ得、結果として、グラウンド・トゥルース・ジェネレータ112は、このフォーマットに従ってグラウンド・トゥルース・データを-たとえば、境界形状の重心及び次元の位置に対応するグラウンド・トゥルース・データを生成することによって-生成することができる。さらなる実例として、DNN116は、3D世界空間における境界形状の複数の頂点の位置として境界形状座標を出力するようにトレーニングされ得、結果として、グラウンド・トゥルース・ジェネレータ112は、このフォーマットに従ってグラウンド・トゥルース・データを-たとえば、3D世界空間における境界形状の複数の頂点の位置に対応するグラウンド・トゥルース・データを生成することによって-生成することができる。
いくつかの実施例において、センサ・データ102の任意の前処理に応じて、グラウンド・トゥルース・ジェネレータ112は、グラウンド・トゥルース・データの生成において前処理を補うことができる。たとえば、センサ・データ102のインスタンス(たとえば、画像、深度図など)が、前処理される-たとえば、空間分解能の調節、フリッピング、回転、クロップ、ズーミング、拡張などによって-場合、グラウンド・トゥルース・ジェネレータ112は、グラウンド・トゥルース・データの生成におけるこれらの変化を説明することができる。たとえば、いくつかの実施例において、センサ・データ102の各インスタンスは、何らかのやり方で調節され得る。そのような実例において、グラウンド・トゥルース・ジェネレータ112は、グラウンド・トゥルース・データの各インスタンスについて適宜にグラウンド・トゥルース・データを調節することができる(たとえば、センサ・データ102によって表された各画像が、クロップされる場合、グラウンド・トゥルース・データの各インスタンスは、クロップを説明するように調節され得る)。他の実例において、-たとえば、過剰適合しないように及び任意のセンサ・データ・インスタンス変動にわたり出力118を正確に計算するようにDNN116をトレーニングするために-センサ・データ102のいくつかのインスタンスは調節され得、他のインスタンスは調節されないことがある。そのような実例において、グラウンド・トゥルース・ジェネレータ112は、センサ・データ102のインスタンスへの調節を表すデータを受信することができ、グラウンド・トゥルース・データを生成するときに調節を補うことができる。たとえば、センサ・データ102の第1のインスタンスが、変わらない場合、グラウンド・トゥルース・データは、通常は生成され得るが、センサ・データ102の第2のインスタンスが、DNN116への入力の前に回転される場合、グラウンド・トゥルース・ジェネレータ112は、センサ・データ102の回転されたインスタンスに対応するようにグラウンド・トゥルース・データを同様に回転させることによって、これを説明することができる。
グラウンド・トゥルース・データが生成された-自動的に、実施例において-後は、グラウンド・トゥルース・データは、DNN116をトレーニングするためにトレーニング・エンジン114によって使用され得る。たとえば、センサ・データ102が、DNN116に適用され得、DNN116は、出力118を生成することができ、トレーニング・エンジン114は、1個又は複数の損失関数を使用してグラウンド・トゥルース・ジェネレータ112からのグラウンド・トゥルース・データを考慮して出力118を分析することができ、トレーニング・エンジン114の計算結果は、DNN116が望ましい又は受け入れ可能な正確性に収束するまで、DNN116を更新するために使用され得る。
DNN116は、実施例に応じて、任意のタイプのDNN又はマシン学習モデルを含み得る。たとえば、そして制限せずに、DNN116は、任意のタイプのマシン学習モデル、たとえば、線形回帰、ロジスティック回帰、決定木、サポート・ベクトル・マシン(SVM:support vector machine)、ナイーブ・ベイズ、k近傍法(Knn:k-nearest neighbor)、K平均クラスタリング、ランダム・フォレスト、次元縮小アルゴリズム、勾配ブースティング・アルゴリズム、ニューラル・ネットワーク(たとえば、オートエンコーダ、畳み込み、再発、パーセプトロン、長/短期メモリ(LSTM:Long/Short Term Memory)、ホップフィールド、ボルツマン、ディープ・ビリーフ、デコンボリューション、敵対的生成、液体状態マシンなど)、車線検出アルゴリズム、コンピュータ・ビジョンアルゴリズムを使用するマシン学習モデル、及び/又は他のタイプのマシン学習モデル、を含み得る。
DNN116がCNNを含む場合などの、一実例として、DNN116は、任意の数の層を含み得る。層のうちの1個又は複数は、入力層を含み得る。入力層は、センサ・データ102に関連する値を保持し得る(たとえば、後処理の前又は後)。たとえば、センサ・データ102が画像であるとき、入力層は、容量(たとえば、幅、高さ、及び色チャネル(たとえば、RGB)、たとえば、32x32x3)として画像の未加工の画素値を表す値を保持し得る。
1個又は複数の層が、畳み込み層を含み得る。畳み込み層は、入力層内のローカル領域に接続されたニューロンの出力を計算することができ、各ニューロンは、それらの重みと入力容量においてそれらが接続された小さい領域との間のドット積を計算する。畳み込み層の結果は、適用されるフィルタの数に基づく次元のうちの1個を有する、別の容量でもよい(たとえば、幅、高さ、及びフィルタの数、たとえば、12がフィルタの数であった場合、32x32x12)。
層のうちの1個又は複数は、改正された線形ユニット(ReLU:rectified linear unit)層を含み得る。ReLU層は、たとえば、ゼロにおいて閾値化する、要素ごとの活性化関数、たとえば、max(0,x)、を適用し得る。ReLU層の結果的容量は、ReLU層の入力の容量と同じになり得る。
層のうちの1個又は複数は、プール層を含み得る。プール層は、プール層の入力より小さい容量(たとえば、32x32x12入力容量からの16x16x12)をもたらし得る、空間次元(たとえば、高さ及び幅)に沿ったダウン・サンプリング動作を実行し得る。
層のうちの1個又は複数は、1個又は複数の完全に接続された層を含み得る。完全に接続された層内の各ニューロンは、前の容量におけるそれぞれのニューロンに接続され得る。完全に接続された層は、クラス・スコアを計算し得、結果として生じる容量は、1x1xクラスの数になり得る。いくつかの実例において、CNNの層のうちの1個又は複数の層の出力が、CNNの完全に接続された層への入力として提供され得るように、CNNは、完全に接続された層を含み得る。いくつかの実例において、1個又は複数の畳み込みストリームが、DNN116によって実装され得、畳み込みストリームのうちのいくつか又はすべては、それぞれの完全に接続された層を含み得る。
いくつかの非限定的実施例において、DNN116は、その後にグローバル・コンテキスト特徴抽出を容易にするためのマルチスケール拡張畳み込み及びアップ・サンプリング層が続く、画像特徴抽出を容易にするための一連の畳み込み及びマックス・プール層を含み得る。
入力層、畳み込み層、プール層、ReLU層、及び完全に接続された層は、DNN116に関して本明細書で論じられているが、これは限定を意図していない。たとえば、追加又は代替層が、DNN116、たとえば、正規化層、SoftMax層、及び/又は他の層タイプ、において使用され得る。
DNN116がCNNを含む、実施例において、CNNの異なる順番及び数の層が、実施例に応じて使用され得る。言い換えれば、DNN116の層の順番及び数は、任意の1個のアーキテクチャに限定されない。
加えて、層のうちのいくつかは、パラメータ(たとえば、重み及び/又はバイアス)、たとえば、畳み込み層及び完全に接続された層を含むことがあり、その一方で、他の層、たとえば、ReLU層及びプール層は含まないことがある。いくつかの実例において、パラメータは、トレーニング中にDNN116によって学習され得る。さらに、層のうちのいくつかは、追加のハイパパラメータ(たとえば、学習率、ストライド、エポックなど)、たとえば、畳み込み層、完全に接続された層、及びプール層を含むことがあり、その一方で、他の層、たとえば、ReLU層は含まないことがある。パラメータ及びハイパパラメータは、限定されるものではなく、実施例に応じて異なり得る。
ここで図2A~2Cを参照すると、図2A~2Cは、プロセス100を有する自動グラウンド・トゥルース生成の様々なインスタンスを表す例示的視覚化を含む。本明細書に記載の視覚化は、単に例示を目的としており、本開示の範囲を制限することは意図されていない。図2Aを参照すると、図2Aは、本開示のいくつかの実施例による、道路の特徴に対応する自動的に生成されたグラウンド・トゥルース・ラベルの例示的視覚化200を示す。視覚化200は、センサ・データ102のインスタンス(たとえば、画像)とHDマップ104からのマップ・データ及び/又は自己運動センサ・データからの軌道情報を使用して生成され得る対応するグラウンド・トゥルース・データとを表し得る。たとえば、DNN116が、道路の特徴-たとえば、車線のレール又は中心、車線仕切り、道路境界線など-を予測するようにトレーニングされる場合、マップ・データから生成されるグラウンド・トゥルース・データは、視覚化200におけるそれぞれのグラウンド・トゥルース・ラベルを含み得る。1個又は複数の実施例において、グラウンド・トゥルース・ラベルは、自己軌道202(本明細書でさらに詳しく説明される)を除いてすべてのラベルを含み得る。たとえば、車両500がHDマップ104にローカライズされた後、座標変換器108は、車両500、そのセンサ、及び/又はセンサ・データ102の座標系若しくは次元空間に関してマップ・データを適応させ、相関器110は、各道路境界線204(たとえば、204A及び204B)、各車線仕切り206(たとえば、206A~206D)、各車線レール210(たとえば、210A~210C、208)、及び/又は道路の他の特徴並びにセンサ・データのインスタンスに関するそれらの対応する位置を判定することができる。グラウンド・トゥルース・ジェネレータ112は、次いで、本明細書に記載のように、DNN116が出力を予測するようにトレーニングされたフォーマットにおいてこれらの特徴に対応するそれぞれのラベルからグラウンド・トゥルース・データを生成することができる。
別の実例として、再び図2Aに関して、HDマップからのマップ・データは、他のグラウンド・トゥルース・データを拡張するために使用され得る。たとえば、自己軌道202が、自己運動センサを使用して自動的に生成される場合、自己軌道202は、車両500の移動の車線に対応する車線レール208により密接に対応するように調節され得る。そのようなものとして、グラウンド・トゥルース・ジェネレータ112は、自己軌道202の代わりに車線レール208に対応する最終的グラウンド・トゥルース軌道-又はそれを表すデータ、たとえば、最終的グラウンド・トゥルース軌道を定義するポリラインに沿った点-を生成することができる。いくつかの非限定的実施例において、自己軌道は、参照によりその全部が本明細書に組み込まれている、2019年5月10日に出願された米国非仮特許出願第16/409,056号に記載されているような方法及びシステムを使用して生成され得る。たとえば、図3を参照すると、自己軌道202は、人間の運転者の運転進路に基づいて、生成され得るので、自己軌道は、移動の車線の中心又はレールから逸れることがある。図3のグラフ300は、1メートルの半分を超えて移動の車線の中心又はレールから逸れる軌道を示す、生成された自己軌道に対応するシフトの量を示す。これらの自己軌道が、車両の未来の軌道を計算するようにDNN116をトレーニングするために直接使用される場合、配備中の計算軌道は、移動の車線のレール又は中心からのシフトを同様に含み得る。そのようなものとして、移動の車線の中心又はレールにより密接に従うグラウンド・トゥルース・データを生成するためにマップ・データを使用して自己軌道を拡張することによって、配備中の車両の計算軌道もまた、移動の車線の中心又はレールにより密接に従い得る。加えて、軌道は、車線変更、転回、及び/又は同類のものを含み得るので、グラウンド・トゥルース生成のための自己軌道の調節はまた、移動の車線の中心又はレールから移動の他の車線の中心又はレールに移るためのDNN116の計算された軌道の転回、車線変更、及び/又は他の操作を可能にする。結果として、車両が、移動の車線の中心又はレールに沿って走行表面をより密接に横断するとき、計算軌道は、周囲の物体からより安全な距離に配備中の車両を配置することができる。
ここで図2Bを参照すると、図2Bは、本開示のいくつかの実施例による、交差点検出及び分類に対応する自動的に生成されたグラウンド・トゥルース・ラベルの例示的視覚化240を示す。たとえば、DNN116は、交差点に対応する境界形状(たとえば、視覚化240の境界形状242)を表す出力118、交差点に対応する分類(たとえば、交差点、制御された停止信号)、交差点までの距離、及び/又は交差点に対応する他の情報を生成するようにトレーニングされ得る。HDマップからのマップ・データは、交差点及びその位置の特徴を表し得るので、マップ・データは、グラウンド・トゥルース・データを生成するために使用され得る。たとえば、境界形状242が、交差点の各特徴-たとえば、交通信号244、横断歩道246A及び246B、交差点入口線248など-を包含することになっている場合、これらの特徴の位置及び存在は、マップ・データから判定することができ、相関器110は、それら、交差点の分類、及び交差点まで(たとえば、交差点入口線248から入口線まで)の距離、のすべてを包含する境界形状242の次元を判定することができる。そのようなものとして、グラウンド・トゥルース・ジェネレータ212は、分類情報、境界形状次元及び/若しくは頂点、並びに/又は交差点までの距離に対応するグラウンド・トゥルース・データを生成することができる。いくつかの非限定的実施例において、交差点について生成されるグラウンド・トゥルースは、参照によりその全部が本明細書に組み込まれている、2020年3月10日に出願された米国非仮特許出願第16/814,351号において生成されるグラウンド・トゥルース・データのそれと類似し得る。
ここで図2Cを参照すると、図2Cは、本開示のいくつかの実施例による、ポール、道路標示、車線境界線、道路境界線、及び横断歩道を含む環境の特徴に対応する自動的に生成されたグラウンド・トゥルース・ラベルの例示的視覚化280を示す。たとえば、DNN116は、環境の特徴-たとえば、線、マーク、ポールなど-に対応する出力118を計算するためにトレーニングされ得る。そのようなものとして、HDマップ104からのマップ・データは、ポール282、横断歩道284、車線区分線286、道路標示288、及び/又は環境の他の特徴を表し得るグラウンド・トゥルース・データを生成するために使用され得る。そのようなものとして、ローカリゼーション、座標変換、及び/又は相互関連付けの後、グラウンド・トゥルース・ジェネレータ112は、DNN116が計算するようにトレーニングされた環境の特徴のそれぞれに対応するグラウンド・トゥルース・データを生成することができる。非限定的実例において、生成されたグラウンド・トゥルースは、参照によりその全部が本明細書に組み込まれている、2019年7月17日に出願された、米国非仮特許出願第16/514,230号に記載のそれと類似し得る。
ここで図4を参照すると、本明細書に記載された、方法400の各ブロックは、任意の組合せのハードウェア、ファームウェア、及び/又はソフトウェアを使用して実行され得る計算プロセスを含む。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって、実施され得る。方法400はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法400は、いくつか例を挙げると、独立型アプリケーション、サービス又はホスト型サービス(独立型の又は別のホスト型サービスと組み合わせた)、或いは別の製品へのプラグインによって提供され得る。加えて、方法400は、例として、図1のプロセス100及び図5A~5Dの自律型車両500に関して、説明されている。しかしながら、これらの方法は、本明細書に記載のものを含むが、これらに限定されない、任意の1個のシステムによって若しくは任意の1個のプロセス内で、又は任意の組合せのシステム及びプロセス内で、追加で又は別法として、実行され得る。
図4は、本開示のいくつかの実施例による、DNNをトレーニングするためのラベルを拡張又は生成するためにトレーニング・データをHDマップ・データにローカライズするための方法400を示す流れ図である。方法400は、ブロックB402において、一度に(at a time)動的アクタの位置を含む領域に対応するHDマップ・データを受信することを含む。たとえば、データ収集車両500を含むHDマップ104の領域に対応するマップ・データが、-たとえば、HDマップ・マネージャを使用して-生成及び/又は受信され得る。
方法400は、ブロックB404において、HDマップ・データに関して動的アクタをローカライズすることを含む。たとえば、ローカライザ106は、HDマップ104内のデータ収集車両500をローカライズすることができる。
方法400は、ブロックB406において、一度に動的アクタのセンサによって生成されたセンサ・データを受信することを含む。たとえば、データ収集車両500のセンサによって生成されるセンサ・データ102のインスタンスが、生成及び/又は受信され得る。
方法400は、ブロックB408において、HDマップ・データ及びローカライズに少なくとも部分的に基づいて、センサ・データに対応するグラウンド・トゥルース・データを生成することを含む。たとえば、グラウンド・トゥルース・ジェネレータ112は、マップ・データを使用してセンサ・データ102のインスタンスに対応するグラウンド・トゥルース・データを生成することができる。いくつかの実施例において、これは、HDマップ104の座標系を車両500の座標系に変換する又は移すこと、マップ・データをセンサ・データ102と相互に関連付けること、並びに/又は、座標変換器108、相関器110及び/若しくはグラウンド・トゥルース・ジェネレータ112に関して本明細書で説明されている他のプロセスを含み得る。
方法400は、ブロックB410において、センサ・データ及びグラウンド・トゥルース・データを使用してニューラル・ネットワークをトレーニングすることを含む。たとえば、DNN116は、センサ・データ102及びグラウンド・トゥルース・ジェネレータ112を使用して生成されたグラウンド・トゥルース・データを使用して-たとえば、トレーニング・エンジン114を使用して-トレーニングされ得る。
例示的自律型車両
図5Aは、本開示のいくつかの実施例による、例示的自律型車両500の図である。自律型車両500(或いは本明細書で「車両500」と称される)は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトル、電気又は原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、及び/又は別のタイプの車両(たとえば、無人の及び/又は1人若しくは複数の乗客を乗せた)、を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通安全局(NHTSA:National Highway Traffic Safety Administration)、米国運輸省の部署、及び自動車技術者協会(SAE:Society of Automotive Engineers)「Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicle」(2018年6月15日に公開された規格番号J3016-201806、2016年9月30日に公開された規格番号J3016-201609、及びこの規格の前の及び未来のバージョン)によって定義される、自動化レベルに関して記述される。車両500は、自律運転レベルのレベル3~レベル5のうちの1つ又は複数による機能の能力を有し得る。たとえば、車両500は、実施例に応じて、条件付き自動化(レベル3)、高度自動化(レベル4)、及び/又は完全自動化(レベル5)の能力を有し得る。
図5Aは、本開示のいくつかの実施例による、例示的自律型車両500の図である。自律型車両500(或いは本明細書で「車両500」と称される)は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトル、電気又は原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、及び/又は別のタイプの車両(たとえば、無人の及び/又は1人若しくは複数の乗客を乗せた)、を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通安全局(NHTSA:National Highway Traffic Safety Administration)、米国運輸省の部署、及び自動車技術者協会(SAE:Society of Automotive Engineers)「Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicle」(2018年6月15日に公開された規格番号J3016-201806、2016年9月30日に公開された規格番号J3016-201609、及びこの規格の前の及び未来のバージョン)によって定義される、自動化レベルに関して記述される。車両500は、自律運転レベルのレベル3~レベル5のうちの1つ又は複数による機能の能力を有し得る。たとえば、車両500は、実施例に応じて、条件付き自動化(レベル3)、高度自動化(レベル4)、及び/又は完全自動化(レベル5)の能力を有し得る。
車両500は、車両のシャシ、車体、車輪(たとえば、2、4、6、8、18など)、タイヤ、車軸、及び他の構成要素などの構成要素を含み得る。車両500は、内部燃焼エンジン、ハイブリッド動力装置、完全な電気式エンジン、及び/又は別の推進システム・タイプなど、推進システム550を含み得る。推進システム550は、車両500の推進力を有効にするために、トランスミッションを含み得る、車両500のドライブ・トレインに接続され得る。推進システム550は、スロットル/加速装置552からの信号の受信に応答して制御され得る。
ハンドルを含み得る、ステアリング・システム554は、推進システム550が動作しているときに(たとえば、車両が移動中のときに)車両500のかじを取る(たとえば、所望の進路又はルートに沿って)ために使用され得る。ステアリング・システム554は、ステアリング・アクチュエータ556から信号を受信することができる。ハンドルは、完全自動化(レベル5)機能のオプションでもよい。
ブレーキ・センサ・システム546は、ブレーキ・アクチュエータ548及び/又はブレーキ・センサからの信号の受信に応答して車両ブレーキを動作させるために使用され得る。
1つ又は複数のシステム・オン・チップ(SoC:system on Chip)504(図5C)及び/又はGPUを含み得る、コントローラ536は、車両500の1つ若しくは複数の構成要素及び/又はシステムに信号(たとえば、コマンドの表現)を提供することができる。たとえば、コントローラは、1つ又は複数のブレーキ・アクチュエータ548を介して車両ブレーキを動作させて、1つ又は複数のステアリング・アクチュエータ556を介してステアリング・システム554を動作させて、1つ又は複数のスロットル/加速装置552を介して推進システム550を動作させるために、信号を送ることができる。コントローラ536は、センサ信号を処理する、並びに律的運転を可能にするために及び/又は運転者の車両500の運転を支援するために動作コマンド(たとえば、コマンドを表す信号)を出力する、1つ又は複数の搭載された(たとえば、統合された)計算デバイス(たとえば、スーパーコンピュータ)を含み得る。コントローラ536は、自律運転機能のための第1のコントローラ536、機能的安全性機能のための第2のコントローラ536、人工知能機能(たとえば、コンピュータ・ビジョン)のための第3のコントローラ536、インフォテインメント機能のための第4のコントローラ536、緊急状態における冗長性のための第5のコントローラ536、及び/又は他のコントローラを含み得る。いくつかの実例では、単一のコントローラ536が、前述の機能のうちの2個以上を処理することができ、2個以上のコントローラ536が、単一の機能、及び/又はその任意の組合せを処理することができる。
コントローラ536は、1つ又は複数のセンサから受信したセンサ・データ(たとえば、センサ入力)に応答して車両500の1つ若しくは複数の構成要素及び/又はシステムを制御するための信号を提供することができる。センサ・データは、たとえば、そして制限なしに、全地球的航法衛星システム・センサ558(たとえば、グローバル・ポジショニング・システム・センサ)、RADARセンサ560、超音波センサ562、LIDARセンサ564、慣性計測装置(IMU:inertial measurement unit)センサ566(たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など)、マイクロフォン596、ステレオ・カメラ568、ワイドビュー・カメラ570(たとえば、魚眼カメラ)、赤外線カメラ572、サラウンド・カメラ574(たとえば、360度カメラ)、長距離及び/又は中距離カメラ598、スピード・センサ544(たとえば、車両500のスピードを測定するための)、振動センサ542、ステアリング・センサ540、ブレーキ・センサ(たとえば、ブレーキ・センサ・システム546の一部としての)、及び/又は他のセンサ・タイプから受信され得る。
コントローラ536のうちの1つ又は複数のコントローラは、車両500の計器群532から入力(たとえば、入力データによって表される)を受信し、出力(たとえば、出力データ、表示データなどによって表される)をヒューマン・マシン・インターフェース(HMI:human-machine interface)ディスプレイ534、可聴式アナンシエータ、ラウドスピーカ、及び/又は車両500の他の構成要素を介して提供することができる。出力は、車両ベロシティ、スピード、時間、マップ・データ(たとえば、図5CのHDマップ522)、位置データ(たとえば、マップ上などの、車両500の位置)、方向、他の車両の位置(たとえば、占有グリッド)、コントローラ536によって把握されるものとしての物体及び物体の状況に関する情報などの、情報を含み得る。たとえば、HMIディスプレイ534は、1つ又は複数の物体(たとえば、道路標識、警告標識、交通信号の変化など)の存在、及び/又は車両が行った、行っている、又は行うであろう運転操作(たとえば、今、車線変更をしていること、3.22km(2マイル)内の出口34Bを出ることなど)に関する情報を表示することができる。
車両500はさらに、1つ若しくは複数のワイヤレス・アンテナ526及び/又はモデムを使用して1つ若しくは複数のネットワークを介して通信することができるネットワーク・インターフェース524を含む。たとえば、ネットワーク・インターフェース524は、LTE、WCDMA(登録商標)、UMTS、GSM、CDMA2000などを介する通信の能力を有し得る。ワイヤレス・アンテナ526はまた、ブルートゥース(登録商標)、ブルートゥースLE、Z-Wave、ZigBeeなどのローカル・エリア・ネットワーク、及び/又はLoRaWAN、SigFoxなどのロー・パワー・ワイドエリア・ネットワーク(LPWAN:low power wide-area network)を使用し、環境内の物体(たとえば、車両、モバイル・デバイスなど)の間の通信を可能にすることができる。
図5Bは、本開示のいくつかの実施例による、図5Aの例示的自律型車両500のカメラ位置及び視野の実例である。カメラ及びそれぞれの視野は、1つの例示的実施例であり、制限することは意図されていない。たとえば、追加の及び/又は代替カメラが含まれ得る、及び/又はカメラは車両500の異なる位置に置かれ得る。
カメラのカメラ・タイプは、車両500の構成要素及び/又はシステムと使用するようになされ得るデジタル・カメラを含み得るが、これに限定されない。カメラは、自動車安全整合性レベル(ASIL:automotive safety integrity level)Bにおいて及び/又は別のASILにおいて動作することができる。カメラ・タイプは、実施例に応じて、60フレーム/秒(fps)、520fps、240fpsなど、任意の画像キャプチャ・レートの能力を有し得る。カメラは、ロール・シャッタ、グローバル・シャッタ、別のタイプのシャッタ、又はその組合せを使用する能力を有し得る。いくつかの実例では、カラー・フィルタ・アレイは、RCCC(red clear clear clear)カラー・フィルタ・アレイ、RCCB(red clear clear blue)カラー・フィルタ・アレイ、RBGC(red blue green clear)カラー・フィルタ・アレイ、Foveon X3カラー・フィルタ・アレイ、Bayerセンサ(RGGB)カラー・フィルタ・アレイ、モノクロ・センサ・カラー・フィルタ・アレイ、及び/又は別のタイプのカラー・フィルタ・アレイを含み得る。一部の実施例では、RCCC、RCCB、及び/又はRBGCカラー・フィルタ・アレイを有するカメラなどのクリア画素カメラは、光感度を上げるための取り組みにおいて使用され得る。
いくつかの実例では、カメラのうちの1つ又は複数が、高度運転者支援システム(ADAS:advanced driver assistance system)機能(たとえば、冗長又はフェイルセーフ設計の一部として)を実行するために使用され得る。たとえば、多機能モノ・カメラは、車線逸脱警報、交通標識アシスト及びインテリジェント・ヘッドランプ制御を含む機能を提供するために設置され得る。カメラのうちの1つ又は複数(たとえば、すべてのカメラ)が、画像データ(たとえば、ビデオ)を同時に記録及び提供することができる。
カメラのうちの1つ又は複数は、カメラの画像データ・キャプチャ能力を妨げることがある自動車内からの迷光及び反射(たとえば、フロントガラスのミラーにおいて反射されたダッシュボードからの反射)を取り除くために、カスタム設計された(3D印刷された)部品などの取付部品において取り付けられ得る。サイドミラー取付部品を参照すると、サイドミラー部品は、カメラ取付板がサイドミラーの形状に合うように、カスタム3D印刷され得る。いくつかの実例では、カメラは、サイドミラー内に統合され得る。サイドビュー・カメラについては、カメラはまた、キャビンの各角にある4個の支柱内に統合され得る。
車両500の前の環境の部分を含む視野を有するカメラ(たとえば、前向きのカメラ)は、前向きの進路及び障害物の識別を助け、1つ若しくは複数のコントローラ536及び/又は制御SoCの助けにより、占有グリッドの生成及び/又は好ましい車両進路の決定に不可欠な情報の提供の提供を助けるための、サラウンド・ビューのために使用され得る。前向きのカメラは、緊急ブレーキ、歩行者検出、及び衝突回避を含む、LIDARと同じADAS機能の多くを実行するために使用され得る。前向きのカメラはまた、車線逸脱警報(「LDW(Lane Departure Warning)」)、自律的クルーズ制御(「ACC(Autonomous Cruise Control)」)、及び/又は交通標識認識などの他の機能を含むADAS機能及びシステムのために使用され得る。
様々なカメラが、たとえば、CMOS(complementary metal oxide semiconductor)カラー画像化装置を含む単眼カメラ・プラットフォームを含む、前向きの構成において使用され得る。別の実例は、周辺(たとえば、歩行者、交差する交通又は自転車)からのビューに入る物体を把握するために使用され得るワイドビュー・カメラ570でもよい。図5Bにはワイドビュー・カメラは1つだけ示されているが、車両500には任意の数のワイドビュー・カメラ570が存在し得る。加えて、長距離カメラ598(たとえば、ロングビュー・ステレオ・カメラ・ペア)が、特に、ニューラル・ネットワークがまだトレーニングされていない物体について、深度ベースの物体検出のために使用され得る。長距離カメラ598はまた、物体検出及び分類、並びに基本物体追跡のために使用され得る。
1つ又は複数のステレオ・カメラ568もまた、前向きの構成に含まれ得る。ステレオ・カメラ568は、単一のチップ上に統合されたCAN又はイーサネット(登録商標)・インターフェースを有するプログラマブル論理(FPGA)及びマルチコア・マイクロプロセッサを提供し得る、拡張可能な処理ユニットを備えた統合された制御ユニットを含み得る。そのようなユニットは、画像内のすべてのポイントの距離推定値を含む、車両の環境の3Dマップを生成するために使用され得る。代替ステレオ・カメラ568は、2個のカメラ・レンズ(左と右に1つずつ)と、車両から対象物体までの距離を測定する及び生成された情報(たとえば、メタデータ)を使用して自律的緊急ブレーキ及び車線逸脱警報機能をアクティブにすることができる画像処理チップとを含み得る、コンパクト・ステレオ・ビジョン・センサを含み得る。他のタイプのステレオ・カメラ568が、本明細書に記載のものに加えて、又はそれらの代わりに、使用されてもよい。
車両500の側面に対する環境の部分を含む視野を有するカメラ(たとえば、サイドビュー・カメラ)が、占有グリッドを作成及び更新するために並びに側面衝撃衝突警報を生成するために使用される情報を提供する、サラウンド・ビューのために使用され得る。たとえば、サラウンド・カメラ574(たとえば、図5Bに示されるような4個のサラウンド・カメラ574)は、車両500上に位置付けられ得る。サラウンド・カメラ574は、ワイドビュー・カメラ570、魚眼カメラ、360度カメラ、及び/又は同類のものを含み得る。たとえば、4個の魚眼カメラが、車両の前、後ろ、及び側面に配置され得る。代替配置において、車両は、3個のサラウンド・カメラ574(たとえば、左、右、及び後部)を使用してもよく、第4のサラウンド・ビュー・カメラとして1つ又は複数の他のカメラ(たとえば、前向きのカメラ)を活用してもよい。
車両500の後ろに対する環境の部分を含む視野を有するカメラ(たとえば、後方確認カメラ)が、駐車支援、サラウンド・ビュー、後部衝突警報、並びに占有グリッドの作成及び更新のために使用され得る。本明細書に記載のように、前向きのカメラ(たとえば、長距離及び/又は中距離カメラ598、ステレオ・カメラ568)、赤外線カメラ572など)としても適したカメラを含むがこれらに限定されない、多種多様なカメラが使用され得る。
図5Cは、本開示のいくつかの実施例による、図5Aの例示的自律型車両500の例示的システム・アーキテクチャのブロック図である。本明細書に記載されているこの及び他の配置は単に実例として説明されていることを理解されたい。他の配置及び要素(たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど)が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素はともに除外されてもよい。さらに、本明細書に記載の要素の多くは、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び/又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。
図5Cの車両500の構成要素、特徴、及びシステムのそれぞれは、バス502を介して接続されるものとして図示されている。バス502は、コントローラ・エリア・ネットワーク(CAN)データ・インターフェース(或いは、「CANバス」と称される)を含み得る。CANは、ブレーキ、加速度、ブレーキ、ステアリング、フロント・ガラス・ワイパなどの作動など、車両500の様々な特徴及び機能の制御を助けるために使用される車両500内のネットワークでもよい。CANバスは、それぞれが独自の一意の識別子(たとえば、CAN ID)を有する、数ダース又は数百ものノードを有するように構成され得る。CANバスは、ハンドル角度、対地速度、1分間のエンジン回転(RPM:revolutions per minute)、ボタン位置、及び/又は他の車両状況指標を見つけるために読み取られ得る。CANバスは、ASIL B準拠でもよい。
バス502は、CANバスであるものとして本明細書に記載されているが、これは制限することを意図されていない。たとえば、CANバスに加えて、又はこのその代替として、FlexRay及び/又はイーサネット(登録商標)が使用されてもよい。加えて、単一の線が、バス502を表すために使用されているが、これは制限することを意図されていない。たとえば、1つ若しくは複数のCANバス、1つ若しくは複数のFlexRayバス、1つ若しくは複数のイーサネット(登録商標)・バス、及び/又は異なるプロトコルを使用する1つ若しくは複数の他のタイプのバスを含み得る、任意の数のバス502が存在し得る。いくつかの実例では、2個以上のバス502が、異なる機能を実行するために使用され得る、及び/又は冗長性のために使用され得る。たとえば、第1のバス502は衝突回避機能のために使用されてもよく、第2のバス502は作動制御のために使用されてもよい。任意の実例において、各バス502は、車両500の構成要素のいずれかと通信し得、2個以上のバス502が同じ構成要素と通信し得る。いくつかの実例では、車両内の各SoC504、各コントローラ536、及び/又は各コンピュータは、同じ入力データ(たとえば、車両500のセンサからの入力)へのアクセスを有し得、CANバスなどの共通バスに接続され得る。
車両500は、図5Aに関して本明細書で説明されるものなど、1つ又は複数のコントローラ536を含み得る。コントローラ536は、様々な機能のために使用され得る。コントローラ536は、車両500の様々な他の構成要素及びシステムのいずれかに連結されてもよく、車両500、車両500の人工知能、車両500のためのインフォテインメント、及び/又は同類のものの制御のために使用され得る。
車両500は、システム・オン・チップ(SoC)504を含み得る。SoC504は、CPU506、GPU508、プロセッサ510、キャッシュ512、加速装置514、データ・ストア516、及び/又は図示されていない他の構成要素及び特徴を含み得る。SoC504は、様々なプラットフォーム及びシステム内の車両500を制御するために使用され得る。たとえば、SoC504は、1つ又は複数のサーバ(たとえば、図5Dのサーバ578)からネットワーク・インターフェース524を介してマップのリフレッシュ及び/又は更新を取得することができるHDマップ522を有するシステム(たとえば、車両500のシステム)において結合され得る。
CPU506は、CPUクラスタ又はCPU複合体(或いは、「CCPLEX」とも称される)を含み得る。CPU506は、複数のコア及び/又はL2キャッシュを含み得る。たとえば、一部の実施例では、CPU506は、コヒーレント・マルチプロセッサ構成内の8個のコアを含み得る。一部の実施例では、CPU506は、4個のデュアルコア・クラスタを含むことができ、各クラスタが専用のL2キャッシュ(たとえば、2MBL2キャッシュ)を有する。CPU506(たとえば、CCPLEX)は、CPU506のクラスタの任意の組合せが任意の所与の時間にアクティブになることを可能にする同時クラスタ動作をサポートするように構成され得る。
CPU506は、以下の特徴のうちの1つ又は複数を含む電力管理能力を実装することができる:個別ハードウェア・ブロックが、動的電力を節約するためにアイドル状態のときに自動的にクロック・ゲーティングされ得る、各コア・クロックは、WFI/WFE命令の実行により命令をコアがアクティブに実行していないときにゲーティングされ得る、各コアは、独立してパワー・ゲーティングされ得る、各コア・クラスタは、すべてのコアがクロック・ゲーティングされる若しくはパワー・ゲーティングされるときに、独立してクロック・ゲーティングされ得る、及び/又は、各コア・クラスタは、すべてのコアがパワー・ゲーティングされるときに、独立してパワー・ゲーティングされ得る。CPU506は、電力状態を管理するための強化されたアルゴリズムをさらに実装することができ、そこでは、許容される電力状態及び予想されるウェイクアップ時間が指定され、ハードウェア/マイクロ・コードが、コア、クラスタ、及びCCPLEXに入力するための最良の電力状態を決定する。処理コアは、作業がマイクロ・コードにオフロードされたソフトウェアにおける簡略化された電力状態入力シーケンスをサポートすることができる。
GPU508は、統合されたGPU(或いは本明細書において「iGPU」と称される)を含み得る。GPU508は、プログラマブルになり得、並行のワークロードに効率的になり得る。一部の実例では、GPU508は、強化されたテンソル命令セットを使用することができる。GPU508は、1つ又は複数のストリーミング・マイクロプロセッサを含み得、そこで、各ストリーミング・マイクロプロセッサは、L1キャッシュ(たとえば、少なくとも96KB記憶容量を有するL1キャッシュ)を含み得、ストリーミング・マイクロプロセッサのうちの2個以上が、キャッシュ(たとえば、512KB記憶容量を有するL2キャッシュ)を共用し得る。一部の実施例では、GPU508は、少なくとも8個のストリーミング・マイクロプロセッサを含み得る。GPU508は、計算アプリケーション・プログラミング・インターフェース(API)を使用することができる。加えて、GPU508は、1つ若しくは複数の並行のコンピューティング・プラットフォーム及び/又はプログラミング・モデル(たとえば、NVIDIAのCUDA)を使用することができる。
GPU508は、自動車の及び組み込まれた使用事例における最高のパフォーマンスのために電力最適化され得る。たとえば、GPU508は、FinFET(Fin field-effect transistor)上に製造され得る。しかしながら、これは制限することを意図されておらず、GPU508は、他の半導体製造プロセスを使用し、製造され得る。各ストリーミング・マイクロプロセッサは、複数のブロックに区切られたいくつかの混合精度処理コアを組み込むことができる。限定ではなく、たとえば、64 PF32コア及び32 PF64コアは、4個の処理ブロックに区切られてもよい。そのような実例では、各処理ブロックは、16 FP32コア、8 FP64コア、16 INT32コア、深層学習行列演算のための2個の混合精度NVIDIAテンソル・コア、L0命令キャッシュ、ワープ・スケジューラ、発送ユニット、及び/又は64KBレジスタ・ファイルを割り当てられ得る。加えて、ストリーミング・マイクロプロセッサは、計算及びアドレス指定演算の混合を有するワークロードの効率的な実行を提供するための独立した並行の整数及び浮動小数点データ進路を含み得る。ストリーミング・マイクロプロセッサは、並行スレッドの間のより高い細粒度の同期及び連携を可能にするために、独立したスレッド・スケジューリング能力を含み得る。ストリーミング・マイクロプロセッサは、プログラミングを単純化しつつ性能を向上させるために、結合されたL1データ・キャッシュ及び共用メモリ・ユニットを含み得る。
GPU508は、一部の実例では、900GB/秒のピーク・メモリ帯域幅に関して、提供するための高帯域幅メモリ(HBM:high bandwidth memory)及び/又は16GBHBM2メモリ・サブシステムを含み得る。いくつかの実例では、HBMメモリに加えて、又はこれの代わりに、グラフィックス・ダブル・データ・レート・タイプ5同期ランダム・アクセス・メモリ(GDDR5:graphics double data rate type five synchronous random-access memory)などの同期グラフィックス・ランダム・アクセス・メモリ(SGRAM:synchronous graphics random-access memory)が使用され得る。
GPU508は、メモリ・ページに最も頻繁にアクセスするプロセッサへのそれらのメモリ・ページのより正確な移動を可能にするためにアクセス・カウンタを含む統一されたメモリ技術を含むことができ、それにより、プロセッサ間で共用される記憶範囲の効率を向上させる。いくつかの実例では、アドレス変換サービス(ATS:address translation service)サポートが、GPU508がCPU506ページ・テーブルに直接アクセスすることを可能にするために使用され得る。そのような実例では、GPU508メモリ管理ユニット(MMU:memory management unit)がミスを経験するとき、アドレス変換要求が、CPU506に送信され得る。応答して、CPU506は、アドレスの仮想対現実マッピングのためのそのページ・テーブルを調べることができ、GPU508に変換を送り返す。そのようなものとして、統一されたメモリ技術は、CPU506とGPU508との両方のメモリの単一統一仮想アドレス空間を可能にすることができ、それによりGPU508へのアプリケーションのGPU508プログラミング及び移植を単純化する。
加えて、GPU508は、他のプロセッサのメモリへのGPU508のアクセスの頻度を記録することができるアクセス・カウンタを含み得る。アクセス・カウンタは、メモリ・ページが最も頻繁にそのページにアクセスしているプロセッサの物理メモリに移動されることを確実にするのを助けることができる。
SoC504は、本明細書に記載のものを含む任意の数のキャッシュ512を含み得る。たとえば、キャッシュ512は、CPU506とGPU508との両方に利用可能な(たとえば、CPU506とGPU508との両方に接続された)L3キャッシュを含み得る。キャッシュ512は、キャッシュ・コヒーレンス・プロトコル(たとえば、MEI、MESI、MSIなど)を使用することなどによって、線の状態を記録することができるライトバック・キャッシュを含み得る。L3キャッシュは、より小さいキャッシュ・サイズが使用されてもよいが、実施例に応じて、4MB以上を含み得る。
SoC504は、車両500の様々なタスク又は動作のいずれか(たとえば、処理DNN)に関して処理を実行する際に活用され得る論理演算ユニット(ALU:arithmetic logic unit)を含み得る。加えて、SoC504は、システム内で数学演算を実行するための浮動小数点演算ユニット(FPU:floating point unit)(又は他のマス・コプロセッサ又は数値演算コプロセッサ・タイプ)を含み得る。たとえば、SoC504は、CPU506及び/又はGPU508内の実行ユニットとして統合された1つ又は複数のFPUを含み得る。
SoC504は、1つ又は複数の加速装置514(たとえば、ハードウェア・加速装置、ソフトウェア・加速装置、又はその組合せ)を含み得る。たとえば、SoC504は、最適化されたハードウェア加速装置及び/又は大きなオンチップ・メモリを含み得る、ハードウェア加速クラスタを含み得る。大きなオンチップメモリ(たとえば、4MBのSRAM)は、ハードウェア加速クラスタがニューラル・ネットワーク及び他の演算を加速することを可能にし得る。ハードウェア加速クラスタは、GPU508を補完するために及びGPU508のタスクの一部をオフロードするために(たとえば、他のタスクを実行するためのGPU508のより多くのサイクルを解放するために)使用され得る。一実例として、加速装置514は、加速に適するように十分に安定している対象ワークロード(たとえば、知覚、畳み込みニューラル・ネットワーク(CNN:convolutional neural network)など)のために使用され得る。本明細書では、「CNN」という用語は、領域ベースの又は領域的畳み込みニューラル・ネットワーク(RCNN:regional convolutional neural network)及び高速RCNN(たとえば、物体検出のために使用されるものとしての)を含む、すべてのタイプのCNNを含み得る。
加速装置514(たとえば、ハードウェア加速クラスタ)は、深層学習加速装置(DLA:deep learning accelerator)を含み得る。DLAは、深層学習アプリケーション及び推論のために1秒あたり追加の10兆の動作を提供するように構成することができる1つ又は複数のテンソル処理ユニット(TPU:Tensor processing unit)を含み得る。TPUは、画像処理機能(たとえば、CNN、RCNNなどの)を実行するように構成及び最適化された加速装置でもよい。DLAはさらに、特定のセットのニューラル・ネットワーク・タイプ及び浮動小数点演算、並びに推論のために最適化され得る。DLAの設計は、汎用GPUよりも1ミリメートルあたりより多くのパフォーマンスを提供することができ、CPUのパフォーマンスを大きく超える。TPUは、たとえば、特徴と重みとの両方についてINT8、INT16、及びFP16データ・タイプをサポートする、単一インスタンス畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実行することができる。
DLAは、以下を含むがこれらに限定されない、様々な機能のいずれかのために処理済み又は未処理のデータでニューラル・ネットワーク、特にCNN、を迅速に及び効率的に実行することができる:カメラ・センサからのデータを使用する物体識別及び検出のためのCNN、カメラ・センサからのデータを使用する距離推定のためのCNN、マイクロフォンからのデータを使用する緊急車両検出及び識別及び検出のためのCNN、カメラ・センサからのデータを使用する顔認識及び車両所有者識別のためのCNN、及び/又は、セキュリティ及び/又は安全性関連イベントのためのCNN。
DLAは、GPU508の任意の機能を実行することができ、そして、推論加速装置を使用することによって、たとえば、設計者は、任意の機能のためにDLA又はGPU508のいずれかを対象にすることができる。たとえば、設計者は、DLA上のCNN及び浮動小数点演算の処理に重点的に取り組み、他の機能をGPU508及び/又は他の加速装置514に任せることができる。
加速装置514(たとえば、ハードウェア加速クラスタ)は、或いはコンピュータ・ビジョン加速装置と本明細書で称され得るプログラマブル・ビジョン加速装置(PVA:programmable vision accelerator)を含み得る。PVAは、高度運転者支援システム(ADAS:advanced driver assistance system)、自律運転、及び/又は拡張現実(AR:augmented reality)及び/又は仮想現実(VR:virtual reality)アプリケーションのためのコンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。PVAは、パフォーマンスと柔軟性との間のバランスをもたらすことができる。たとえば、各PVAは、たとえば、任意の数の縮小命令セット・コンピュータ(RISC:reduced instruction set computer)コア、直接メモリ・アクセス(DMA:direct memory access)、及び/又は任意の数のベクトル・プロセッサを含み得るが、これらに限定されない。
RISCコアは、画像センサ(たとえば、本明細書に記載のカメラのうちのいずれかのカメラの画像センサ)、画像信号プロセッサ、及び/又は同類のものと相互作用することができる。それぞれのRISCコアは、任意の量のメモリを含み得る。RISCコアは、実施例に応じて、いくつかのプロトコルのいずれかを使用することができる。いくつかの実例では、RISCコアは、リアルタイム・オペレーティング・システム(RTOS:real-time operating system)を実行することができる。RISCコアは、1つ若しくは複数の集積回路デバイス、特定用途向け集積回路(ASIC)、及び/又はメモリ・デバイスを使用して、実装され得る。たとえば、RISCコアは、命令キャッシュ及び/又はしっかりと結合されたRAMを含み得る。
DMAは、CPU506から独立したシステム・メモリにPVAの構成要素がアクセスすることを可能にし得る。DMAは、多次元アドレス指定及び/又は循環アドレス指定をサポートすることを含むがこれに限定されないPVAに最適化をもたらすために使用される任意の数の特徴をサポートすることができる。いくつかの実例では、DMAは、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び/又は深度ステッピングを含み得る、6次元まで又はそれ以上のアドレス指定をサポートすることができる。
ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのプログラミングを効率的に柔軟に実行する及び信号処理能力を提供するように設計され得るプログラマブル・プロセッサでもよい。いくつかの実例では、PVAは、PVAコア及び2個のベクトル処理サブシステム・パーティションを含み得る。PVAコアは、プロセッサ・サブシステム、DMAエンジン(たとえば、2個のDMAエンジン)、及び/又は他の周辺装置を含み得る。ベクトル処理サブシステムは、PVAの1次的処理エンジンとして動作することができ、ベクトル処理ユニット(VPU:vector processing unit)、命令キャッシュ、及び/又はベクトル・メモリ(たとえば、VMEM)を含み得る。VPUコアは、たとえば、単一の命令、複数のデータ(SIMD)、超長命令語(VLIW:very long instruction word)デジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。SIMD及びVLIWの組合せは、スループット及びスピードを高めることができる。
それぞれのベクトル・プロセッサは、命令キャッシュを含み得、専用のメモリに連結され得る。結果として、一部の実例では、それぞれのベクトル・プロセッサは、他のベクトル・プロセッサから独立して実行するように構成され得る。他の実例において、特定のPVAに含まれるベクトル・プロセッサは、データ並列処理を用いるように構成され得る。たとえば、一部の実施例では、単一のPVAに含まれる複数のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを、しかし画像の異なる領域上で、実行することができる。他の実例において、特定のPVAに含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを、同じ画像上で、同時に実行することができ、或いは順次画像又は画像の部分で異なるアルゴリズムを実行することさえできる。特に、任意の数のPVAは、ハードウェア加速クラスタに含まれ得、任意の数のベクトル・プロセッサは、それぞれのPVAに含まれ得る。加えて、PVAは、全体的システム安全性を高めるために、追加のエラー訂正コード(ECC:error correcting code)メモリを含み得る。
加速装置514(たとえば、ハードウェア加速クラスタ)は、加速装置514のための高帯域幅、低レイテンシSRAMを提供するための、コンピュータ・ビジョン・ネットワーク・オンチップ及びSRAMを含み得る。いくつかの実例では、オンチップ・メモリは、たとえば、そして制限ではなく、PVAとDLAとの両方によってアクセス可能でもよい、8個のフィールド構成可能なメモリ・ブロックから成る、少なくとも4MBのSRAMを含み得る。各ペアのメモリ・ブロックは、高度周辺バス(APB:advanced peripheral bus)インターフェース、構成回路、コントローラ、及びマルチプレクサを含み得る。任意のタイプのメモリが、使用され得る。PVA及びDLAは、メモリへの高速アクセスを有するPVA及びDLAを提供するバックボーンを介してメモリにアクセスすることができる。バックボーンは、(たとえば、APBを使用して)PVA及びDLAをメモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。
コンピュータ・ビジョン・ネットワーク・オンチップは、PVAとDLAとの両方が作動可能及び有効信号を提供することを、任意の制御信号/アドレス/データの送信の前に、決定するインターフェースを含み得る。そのようなインターフェースは、制御信号/アドレス/データを送信するための別個のフェーズ及び別個のチャネル、並びに連続的データ転送のためのバーストタイプの通信を提供することができる。このタイプのインターフェースは、ISO26262又はIEC61508規格に従うことができるが、他の規格及びプロトコルが使用されてもよい。
いくつかの実例では、SoC504は、2018年8月10日に出願された米国特許出願第16/101,232号に記載されるような、リアルタイム・レイトレーシング・ハードウェア加速装置を含み得る。リアルタイム・レイトレーシング・ハードウェア加速装置は、RADAR信号解釈のための、音響伝播合成及び/又は分析のための、SONARシステムのシミュレーションのための、一般波伝播シミュレーションのための、ローカリゼーション及び/又は他の機能を目的とするLIDARデータに対する比較のための、及び/又は他の使用のための、リアルタイム視覚化シミュレーションを生成するために、(たとえば、世界モデル内の)物体の位置及び規模を迅速に効率的に決定するために使用され得る。一部の実施例では、1つ又は複数の木の走査ユニット(TTU:tree traversal unit)が、1つ又は複数のレイトレーシング関連動作を実行するために使用され得る。
加速装置514(たとえば、ハードウェア加速装置クラスタ)は、自律運転のための多様な用途を有する。PVAは、ADAS及び自律型車両における極めて重要な処理段階に使用され得るプログラマブル・ビジョン加速装置でもよい。PVAの能力は、低電力及び低レイテンシにおいて、予測可能な処理を必要とするアルゴリズムの領域にふさわしい。言い換えれば、PVAは、低レイテンシ及び低電力とともに予測可能な実行時間を必要とする、小さなデータ集合上でも、半高密度の又は高密度の通常の計算で上手く機能する。それ故に、PVAは、物体検出及び整数計算での動作において効率的であるので、自律型車両のためのプラットフォームとの関連で、PVAは、クラシック・コンピュータ・ビジョン・アルゴリズムを実行するように設計される。
たとえば、本技術の1つの実施例によれば、PVAは、コンピュータ・ステレオ・ビジョンを実行するために使用される。半グローバルなマッチングベースのアルゴリズムが、一部の実例では使用され得るが、これは制限することを意図されていない。レベル3~5の自律運転のための多数のアプリケーションは、動き推定/ステレオ・マッチング・オンザフライ(たとえば、SFM(structure from motion)、歩行者認識、レーン検出など)を必要とする。PVAは、2個の単眼カメラからの入力でコンピュータ・ステレオ・ビジョン機能を実行することができる。
いくつかの実例では、PVAは、高密度のオプティカル・フローを実行するために使用され得る。処理されたRADARを提供するために未加工のRADARデータを処理する(たとえば、4D高速フーリエ変換を使用して)ことによる。他の実例において、PVAは、たとえば、飛行データの未加工の時間を処理して飛行データの処理済み時間を提供することにより、飛行深度処理の時間に使用される。
DLAは、たとえば、各物体検出の信頼性の測定値を出力するニューラル・ネットワークを含む、制御及び運転安全性を強化するために任意のタイプのネットワークを実行するために使用され得る。そのような信頼性値は、確率として、又は他の検出と比較した各検出の相対的「重み」を提供するものとして、解釈され得る。この信頼性値は、どの検出が誤判定検出ではなくて真陽性検出と考えられるべきであるかに関するさらなる決定をシステムが行うことを可能にする。たとえば、システムは、信頼性の閾値を設定し、真陽性検出としての閾値を超える検出のみを考慮することができる。自動非常ブレーキ(AEB:automatic emergency braking)システムにおいて、誤判定検出は、車両に非常ブレーキを自動で実行させることになり、これは明らかに望ましくない。したがって、最も確信のある検出のみが、AEBのトリガとして考えられるべきである。DLAは、信頼性値を回帰するニューラル・ネットワークを実行し得る。ニューラル・ネットワークは、境界ボックス次元、(たとえば、別のサブシステムから)取得されたグラウンド・プレーン推定、ニューラル・ネットワーク及び/又は他のセンサ(たとえば、LIDARセンサ564又はRADARセンサ560)から取得された物体の車両500方位、距離、3D位置推定と相関する慣性計測装置(IMU:inertial measurement unit)センサ566出力、その他など、少なくともいくつかのサブセットのパラメータをその入力として受け取ることができる。
SoC504は、データ・ストア516(たとえば、メモリ)を含み得る。データ・ストア516は、SoC504のオンチップ・メモリでもよく、GPU及び/又はDLAで実行されることになるニューラル・ネットワークを記憶することができる。いくつかの実例では、データ・ストア516は、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分な大きさの容量を有し得る。データ・ストア512は、L2又はL3キャッシュ512を備え得る。データ・ストア516の参照は、本明細書に記載のような、PVA、DLA、及び/又は他の加速装置514に関連するメモリの参照を含み得る。
SoC504は、1つ又は複数のプロセッサ510(たとえば、組み込まれたプロセッサ)を含み得る。プロセッサ510は、ブート電力及び管理能力及び関連するセキュリティ施行を処理するための専用のプロセッサ及びサブシステムでもよいブート及び電力管理プロセッサを含み得る。ブート及び電力管理プロセッサは、SoC504ブート・シーケンスの一部でもよく、実行時間電力管理サービスを提供することができる。ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、SoC504熱及び温度センサの管理、及び/又はSoC504電力状態の管理を提供することができる。各温度センサは、その出力頻度が温度に比例するリング発振器として実装されてもよく、SoC504は、リング発振器を使用してCPU506、GPU508、及び/又は加速装置514の温度を検出することができる。温度が、閾値を超えたと判定された場合、ブート及び電力管理プロセッサは、温度障害ルーティンに入り、SoC504をより低い電力状態に置く及び/又は車両500をショーファーの安全停止モードにする(たとえば、車両500を安全停止させる)ことができる。
プロセッサ510は、オーディオ処理エンジンの機能を果たし得る1セットの組み込まれたプロセッサをさらに含み得る。オーディオ処理エンジンは、複数のインターフェースを介するマルチチャネル・オーディオの完全なハードウェア・サポートとオーディオI/Oインターフェースの広く柔軟な範囲とを可能にするオーディオ・サブシステムでもよい。いくつかの実例では、オーディオ処理エンジンは、専用のRAMを有するデジタル信号プロセッサを有する専用のプロセッサ・コアである。
プロセッサ510は、低電力センサ管理及びウェイク使用事例をサポートするための必要なハードウェア特徴を提供することができる常時オンのプロセッサ・エンジンをさらに含み得る。常時オンのプロセッサ・エンジンは、プロセッサ・コア、しっかりと結合されたRAM、支援周辺装置(たとえば、タイマ及び割り込みコントローラ)、様々なI/Oコントローラ周辺装置、及びルーティング論理を含み得る。
プロセッサ510は、自動車のアプリケーションの安全性管理を処理するために専用のプロセッサ・サブシステムを含む安全性クラスタ・エンジンをさらに含み得る。安全性クラスタ・エンジンは、2個以上のプロセッサ・コア、しっかりと結合されたRAM、サポート周辺装置(たとえば、タイマ、割り込みコントローラなど)、及び/又はルーティング論理を含み得る。安全性モードにおいて、2個以上のコアは、ロックステップ・モードにおいて動作し、それらの動作の間の何らかの差を検出するための比較論理を有する単一のコアとして機能することができる。
プロセッサ510は、リアルタイム・カメラ管理を処理するための専用のプロセッサ・サブシステムを含み得るリアルタイム・カメラ・エンジンをさらに含み得る。
プロセッサ510は、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る高ダイナミック・レンジ信号プロセッサをさらに含み得る。
プロセッサ510は、プレイヤ・ウインドウのための最終的画像を生み出すためにビデオ再生アプリケーションによって必要とされるビデオ処理後機能を実装する処理ブロック(たとえば、マイクロプロセッサに実装された)でもよいビデオ画像合成器を含み得る。ビデオ画像合成器は、ワイドビュー・カメラ570で、サラウンド・カメラ574で、及び/又はキャビン内監視カメラ・センサでレンズ歪み補正を実行することができる。キャビン内監視カメラ・センサは好ましくは、キャビン内イベントを識別し、適切に応答するように構成された、高度SoCの別のインスタンス上で実行するニューラル・ネットワークによって監視される。キャビン内システムは、セルラ・サービスをアクティブにする及び電話をかける、電子メールを書き取らせる、車両の目的地を変更する、車両のインフォテインメント・システム及び設定をアクティブにする又は変更する、或いは音声起動型ウェブ・サーフィンを提供するために、読唇術を実行することができる。ある特定の機能は、自律モードで動作しているときにのみ運転者に利用可能であり、そうでない場合には無効にされる。
ビデオ画像合成器は、空間的ノイズ低減及び時間的ノイズ低減の両方のための強化された時間的ノイズ低減を含み得る。たとえば、動きがビデオ内で生じた場合、ノイズ低減は、隣接するフレームによって提供される情報の重みを減らし、空間的情報に適切に重みを加える。画像又は画像の一部が動きを含まない場合、ビデオ画像合成器によって実行される時間的ノイズ低減は、前の画像からの情報を使用して現在の画像におけるノイズを減らすことができる。
ビデオ画像合成器はまた、入力ステレオ・レンズ・フレーム上でステレオ・レクティフィケーションを実行するように構成され得る。ビデオ画像合成器はさらに、オペレーティング・システム・デスクトップが使用中であるときにユーザ・インターフェース合成のために使用することができ、GPU508は、新しい表面を連続してレンダリングために必要とされない。GPU508の電源が入れられ、3Dレンダリングをアクティブに行っているときでも、ビデオ画像合成器は、GPU508をオフロードしてパフォーマンス及び反応性を向上させるために使用され得る。
SoC504は、カメラからビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース(MIPI:mobile industry processor interface)カメラ・シリアル・インターフェース、高速インターフェース、及び/又は、カメラ及び関連画素入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。SoC504は、ソフトウェアによって制御され得る、及び特定の役割にコミットされていないI/O信号を受信するために使用され得る、入力/出力コントローラをさらに含み得る。
SoC504は、周辺装置、オーディオ・コーデック、電力管理、及び/又は他のデバイスとの通信を可能にするために、広範囲の周辺インターフェースをさらに含み得る。SoC504は、(たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット(登録商標)を介して接続された)カメラからのデータ、センサ(たとえば、イーサネット(登録商標)を介して接続され得るLIDARセンサ564、RADARセンサ560など)、バス502からのデータ(たとえば、車両500のスピード、ハンドル位置など)、(たとえば、イーサネット(登録商標)又はCANバスを介して接続された)GNSSセンサ558からのデータを処理するために使用され得る。SoC504は、独自のDMAエンジンを含み得る及びルーティン・データ管理タスクからCPU506を解放するために使用され得る専用の高性能大容量記憶コントローラをさらに含み得る。
SoC504は、自動化レベル3~5に広がる柔軟なアーキテクチャを有する終端間プラットフォームでもよく、それによって、多様性及び冗長性のためにコンピュータ・ビジョン及びADAS技法を活用し、効率的に使用し、深層学習ツールとともに、柔軟な、信頼できる運転ソフトウェア・スタックのためのプラットフォームを提供する、総合的機能的安全性アーキテクチャを提供する。SoC504は、従来のシステムよりも高速で、信頼でき、さらにエネルギ効率がよく、空間効率がよくなり得る。たとえば、加速装置514が、CPU506と結合されるとき、GPU508、及びデータ・ストア516は、レベル3~5の自律型車両のための高速で効率的なプラットフォームを提供することができる。
したがって、本技術は、従来のシステムによって達成することができない能力及び機能性をもたらす。たとえば、コンピュータ・ビジョン・アルゴリズムは、多種多様な視覚的データにわたり多種多様な処理アルゴリズムを実行するために、Cプログラミング言語などの高レベルのプログラミング言語を使用して構成され得る、CPUで実行され得る。しかしながら、CPUは、しばしば、たとえば、実行時間及び電力消費に関連するものなど、多数のコンピュータ・ビジョン・アプリケーションの性能要件を満たすことができない。具体的には、多数のCPUは、車両内ADASアプリケーションの要件及び実際のレベル3~5の自律型車両の要件である、リアルタイムでの複合物体検出アルゴリズムを実行することができない。
従来のシステムとは対照的に、CPU複合体、GPU複合体、及びハードウェア加速クラスタを提供することによって、本明細書に記載の技術は、複数のニューラル・ネットワークが同時に及び/又は連続して実行されることと、レベル3~5の自律運転機能を可能にするために結果が結合されることとを可能にする。たとえば、DLA又はdGPU(たとえば、GPU520)で実行するCNNは、ニューラル・ネットワークが具体的にトレーニングされていない標識を含む、交通標識をスーパーコンピュータが読み取る及び理解することを可能にする、テキスト及び単語認識を含み得る。DLAは、標識の意味論的理解を識別、解釈、及び提供することと、CPU複合体で実行する進路計画立案モジュールに意味論的理解を渡すこととを行うことができる、ニューラル・ネットワークをさらに含み得る。
別の実例として、複数のニューラル・ネットワークは、レベル3、4、又は5の運転に必要とされるように、同時に実行され得る。たとえば、電光とともに、「注意:点滅光は、凍った状態を示す」から成る警告標識は、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。標識自体は、第1の配備されたニューラル・ネットワーク(たとえば、トレーニングされてあるニューラル・ネットワーク)によって交通標識として識別され得、テキスト「点滅光は、凍った状態を示す」は、点滅光が検出されるときには凍った状態が存在することを車両の進路計画立案ソフトウェア(好ましくはCPU複合体上で実行する)に知らせる、第2の配備されたニューラル・ネットワークによって解釈され得る。点滅光は、点滅光の存在(又は無いこと)を車両の進路計画立案ソフトウェアに知らせ、複数のフレームを介して第3の配備されたニューラル・ネットワークを動作させることによって識別され得る。すべての3個のニューラル・ネットワークは、DLA内及び/又はGPU508上などで、同時に実行することができる。
いくつかの実例では、顔認識及び車両所有者識別のためのCNNは、カメラ・センサからのデータを使用して車両500の正規の運転者及び/又は所有者の存在を識別することができる。常時オンのセンサ処理エンジンは、所有者が運転席側のドアに近づくときに車両を解錠する及び明かりをつけるために、並びに、セキュリティ・モードにおいて、所有者が車両を離れるときに車両の動作を停止させるために、使用され得る。このようにして、SoC504は、盗難及び/又は車の乗っ取りに対するセキュリティをもたらす。
別の実例では、緊急車両検出及び識別のためのCNNは、マイクロフォン596からのデータを使用して緊急車両サイレンを検出及び識別することができる。一般分類子を使用してサイレンを検出する及び特徴を手動で抽出する従来のシステムとは対照的に、SoC504は、環境の及び都市の音の分類、並びに視覚的データの分類のためにCNNを使用する。好ましい一実施例では、DLA上で実行するCNNは、(たとえば、ドップラー効果を使用することによって)緊急車両の相対的終速度を識別するようにトレーニングされる。CNNはまた、GNSSセンサ558によって識別されるように、車両が稼働しているローカル・エリアに特有の緊急車両を識別するようにトレーニングされ得る。それ故に、たとえば、欧州で稼働しているとき、CNNは、欧州のサイレンを検出しようとすることになり、そして、米国にあるとき、CNNは、北米のサイレンのみを識別しようとすることになる。緊急車両が検出された後は、制御プログラムが、緊急車両が通過するまで、超音波センサ562の支援を受けて、車両を減速する、道の端に停止させる、車両を駐車する、及び/又は車両をアイドリングさせる、緊急車両安全性ルーティンを実行するために使用され得る。
車両は、高速相互接続(たとえば、PCIe)を介してSoC504に連結され得るCPU518(たとえば、個別のCPU、又はdCPU)を含み得る。CPU518は、たとえば、X86プロセッサを含み得る。CPU518は、たとえば、ADASセンサとSoC504との間の潜在的に不整合の結果を調停すること、及び/又はコントローラ536及び/又はインフォテインメントSoC530の状況及び調子を監視することを含む、様々な機能のいずれかを実行するために使用され得る。
車両500は、高速相互接続(たとえば、NVIDIAのNVLINK)を介してSoC504に連結され得るGPU520(たとえば、個別のGPU、又はdGPU)を含み得る。GPU520は、冗長及び/又は異なるニューラル・ネットワークを実行することなどによって、付加的人工知能機能をもたらすことができ、車両500のセンサからの入力(たとえば、センサ・データ)に基づいてニューラル・ネットワークをトレーニング及び/又は更新するために使用され得る。
車両500は、1つ又は複数のワイヤレス・アンテナ526(たとえば、セルラ・アンテナ、ブルートゥース(登録商標)・アンテナなど、異なる通信プロトコルのための1つ又は複数のワイヤレス・アンテナ)を含み得るネットワーク・インターフェース524をさらに含み得る。ネットワーク・インターフェース524は、インターネットを介するクラウドとの(たとえば、サーバ578及び/又は他のネットワーク・デバイスとの)、他の車両との、及び/又は計算デバイス(たとえば、乗客のクライアント・デバイス)とのワイヤレス接続を使用可能にするために使用され得る。他の車両と通信するために、直接リンクが2個の車両の間に確立され得る、及び/又は、間接リンクが(たとえば、ネットワークを通じて及びインターネットを介して)確立され得る。直接リンクは、車両対車両通信リンクを使用し、提供され得る。車両対車両通信リンクは、車両500に近接する車両(たとえば、車両500の前の、横の、及び/又は後ろの車両)に関する車両500情報を提供することができる。この機能は、車両500の共同適応クルーズ制御機能の一部でもよい。
ネットワーク・インターフェース524は、変調及び復調機能を提供する及びコントローラ536がワイヤレス・ネットワークを介して通信することを可能にする、SoCを含み得る。ネットワーク・インターフェース524は、ベースバンドから無線周波数へのアップコンバージョン、及び無線周波数からベースバンドへのダウンコンバージョンのための無線周波数フロントエンドを含み得る。周波数コンバージョンは、よく知られているプロセスを通して実行することができ、及び/又はスーパーヘテロダイン・プロセスを用いて実行することができる。いくつかの実例では、無線周波数フロントエンド機能は、別個のチップによって提供され得る。ネットワーク・インターフェースは、LTE、WCDMA(登録商標)、UMTS、GSM、CDMA2000、ブルートゥース(登録商標)、ブルートゥースLE、Wi-Fi、Z-Wave、ZigBee、LoRaWAN、及び/又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含み得る。
車両500は、チップ外の(たとえば、SoC504外の)ストレージを含み得るデータ・ストア528をさらに含み得る。データ・ストア528は、RAM、SRAM、DRAM、VRAM、フラッシュ、ハードディスク、及び/又は、少なくとも1ビットのデータを記憶することができる他の構成要素及び/又はデバイスを含む、1つ又は複数の記憶素子を含み得る。
車両500は、GNSSセンサ558をさらに含み得る。GNSSセンサ558(たとえば、GPS、及び/又は支援されたGPSセンサ)は、マッピング、知覚、占有グリッド生成、及び/又は進路計画策定機能を支援する。たとえば、シリアル(RS-232)ブリッジへのイーサネット(登録商標)を有するUSBコネクタを使用するGPSを含むが、これに限定されない、任意の数のGNSSセンサ558が、使用され得る。
車両500は、RADARセンサ560をさらに含み得る。RADARセンサ560は、暗闇及び/又は厳しい気象条件においても、長距離車両検出のために車両500によって使用され得る。RADAR機能安全性レベルは、ASIL Bでもよい。一部の実例では、RADARセンサ560は、未加工のデータにアクセスするためのイーサネット(登録商標)へのアクセスを用いて、制御のために及び物体追跡データにアクセスするために(たとえば、RADARセンサ560によって生成されたデータを送信するために)CAN及び/又はバス502を使用することができる。多種多様なRADARセンサ・タイプが、使用され得る。たとえば、そして制限なしに、RADARセンサ560は、前部、後部、及び側部RADAR使用に適し得る。一部の実例では、パルス・ドップラーRADARセンサが使用される。
RADARセンサ560は、狭い視野を有する長距離、広い視野を有する短距離、短距離側部カバレッジなど、異なる構成を含み得る。いくつかの実例では、長距離RADARは、適応クルーズ制御機能のために使用され得る。長距離RADARシステムは、250mの範囲内など、2個以上の独立したスキャンによって実現される広い視野を提供することができる。RADARセンサ560は、静的物体と動く物体との区別を助けることができ、緊急ブレーキ・アシスト及び前方衝突警報のためのADASシステムによって使用され得る。長距離RADARセンサは、複数の(たとえば、6つ以上の)固定RADARアンテナと高速CAN及びFlexRayインターフェースとを有するモノスタティック・マルチモーダルRADARを含み得る。6つのアンテナを有する一実例では、中央の4個のアンテナは、隣接レーン内の交通からの干渉を最小限にして高速で車両500の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。他の2個のアンテナは、視野を広げることができ、車両500のレーンに入る又はこれを去る車両を迅速に検出することを可能にする。
一実例として、中距離RADARシステムは、560m(前)又は80m(後)までの範囲、及び42度(前)又は550度(後)までの視野を含み得る。短距離RADARシステムは、後部バンパの両端に設置されるように設計されたRADARセンサを含み得るが、これに限定されない。後部バンパの両端に設置されるとき、そのようなRADARセンサ・システムは、車両の後ろ及び隣の死角を常に監視する2個のビームを作成することができる。
短距離RADARシステムは、死角検出及び/又はレーン変更アシストのためにADASシステムにおいて使用され得る。
車両500は、超音波センサ562をさらに含み得る。車両500の前部、後部、及び/又は側部に位置付けられ得る、超音波センサ562は、駐車アシストのために及び/又は占有グリッドの作成及び更新のために使用され得る。多種多様な超音波センサ562が使用され得、異なる超音波センサ562が、異なる範囲の検出(たとえば、2.5m、4m)のために使用され得る。超音波センサ562は、ASIL Bの機能的安全性レベルにおいて動作することができる。
車両500はLIDARセンサ564を含み得る。LIDARセンサ564は、物体及び歩行者検出、緊急ブレーキ、衝突回避、及び/又は他の機能のために使用され得る。LIDARセンサ564は、機能的安全性レベルASIL Bでもよい。いくつかの実例では、車両500は、(たとえば、ギガビット・イーサネット(登録商標)・スイッチにデータを提供するために)イーサネット(登録商標)を使用することができる複数の(たとえば、2個、4個、6個などの)LIDARセンサ564を含み得る。
いくつかの実例では、LIDARセンサ564は、物体及び360度視野のそれらの距離のリストを提供する能力を有し得る。市販のLIDARセンサ564は、たとえば、2cm~3cmの精度を有し、500Mbpsイーサネット(登録商標)接続のサポートを有して、約500mの広告された範囲を有し得る。いくつかの実例では、1つ又は複数の非突出したLIDARセンサ564が、使用され得る。そのような実例では、LIDARセンサ564は、車両500の前部、後部、側部、及び/又は角に組み込まれ得る小さいデバイスとして実装され得る。そのような実例では、LIDARセンサ564は、低反射物体についても200mの範囲を有し、520度水平及び35度垂直視野まで提供することができる。前部に取り付けられたLIDARセンサ564は、45度と135度との間の水平視野向けに構成され得る。
いくつかの実例では、3DフラッシュLIDARなどのLIDAR技術もまた使用され得る。3DフラッシュLIDARは、約200mまで車両の周囲を照らすために、送信元としてレーザーのフラッシュを使用する。フラッシュLIDARユニットは、車両から物体までの範囲に順番に対応する、レーザー・パルス走行時間及び各画素上の反射光を記録する、レセプタを含む。フラッシュLIDARは、周囲の高精度の及び歪みのない画像があらゆるレーザー・フラッシュで生成されることを可能にし得る。いくつかの実例では、4個のフラッシュLIDARセンサが、車両500の各側面に1つずつ、配備され得る。利用可能な3DフラッシュLIDARシステムは、送風機以外に動く部分を有さないソリッドステート3Dステアリング・アレイLIDARカメラ(たとえば、非スキャン型LIDARデバイス)を含む。フラッシュLIDARデバイスは、1フレームにつき5ナノ秒クラスI(目に安全な)レーザー・パルスを使用することができ、3D範囲点群及び共記載された強度データの形で反射レーザー光をキャプチャし得る。フラッシュLIDARを使用することによって、また、フラッシュLIDARは、動く部分を有さないソリッドステート・デバイスであるので、LIDARセンサ564は、モーション・ブラー、振動、及び/又は衝撃の影響を受けにくくなり得る。
車両は、IMUセンサ566をさらに含み得る。一部の実例では、IMUセンサ566は、車両500の後部車軸の中央に位置付けられ得る。IMUセンサ566は、たとえば、加速度計、磁力計、ジャイロスコープ、磁気コンパス、及び/又は他のセンサ・タイプを含み得るが、これらに限定されない。いくつかの実例では、6軸アプリケーションなどにおいて、IMUセンサ566は、加速度計及びジャイロスコープを含み得るが、9軸アプリケーションにおいて、IMUセンサ566は、加速度計、ジャイロスコープ、及び磁力計を含み得る。
一部の実施例では、IMUセンサ566は、マイクロ電気機械システム(MEMS:micro-electro-mechanical system)慣性センサ、高感度GPSレシーバ、及び高度カルマン・フィルタリング・アルゴリズムを結合して位置、ベロシティ、及び姿勢の推定値を提供するミニチュア、高性能GPS支援型慣性航行システム(GPS/INS:GPS-Aided Inertial Navigation System)として実装され得る。そのようなものとして、一部の実例では、IMUセンサ566は、GPSからIMUセンサ566までのベロシティの変化を直接観測すること及び関連付けることによって、磁気センサからの入力を必要とせずに進行方向を車両500が推定することを可能にし得る。いくつかの実例では、IMUセンサ566及びGNSSセンサ558は、単一の統合されたユニットにおいて結合され得る。
車両は、車両500内及び/又は周囲に置かれたマイクロフォン596を含み得る。マイクロフォン596は、中でも、緊急車両検出及び識別のために使用され得る。
車両は、ステレオ・カメラ568、ワイドビュー・カメラ570、赤外線カメラ572、サラウンド・カメラ574、長距離及び/又は中距離カメラ598、及び/又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。カメラは、車両500の全外面の周りの画像データをキャプチャするために使用され得る。使用されるカメラのタイプは、車両500の実施例及び要件に応じて決まり、任意の組合せのカメラ・タイプが、車両500の周りの必要なカバレッジを実現するために使用され得る。加えて、カメラの数は、実施例に応じて異なり得る。たとえば、車両は、6個のカメラ、7個のカメラ、10個のカメラ、12個のカメラ、及び/又は別の数のカメラを含み得る。カメラは、一実例として、ギガビット・マルチメディア・シリアル・リンク(GMSL:Gigabit Multimedia Serial Link)及び/又はギガビット・イーサネット(登録商標)をサポートし得るが、これに限定されない。それぞれのカメラは、図5A及び図5Bに関連して本明細書においてさらに詳しく説明される。
車両500は、振動センサ542をさらに含み得る。振動センサ542は、車軸など、車両の構成要素の振動を測定することができる。たとえば、振動の変化は、道路の表面の変化を示し得る。別の実例では、2個以上の振動センサ542が使用されるとき、振動の差は、道路表面の摩擦又は滑りを判定するために使用され得る(たとえば、振動の差が電力駆動車軸と自由回転車軸との間であるとき)。
車両500は、ADASシステム538を含み得る。一部の実例では、ADASシステム538は、SoCを含み得る。ADASシステム538は、自律/適応/自動クルーズ制御(ACC:autonomous/adaptive/automatic cruise control)、共同適応クルーズ制御(CACC:cooperative adaptive cruise control)、前方衝突警報(FCW:forward crash warning)、自動緊急ブレーキ(AEB:automatic emergency braking)、車線逸脱警報(LDW:lane departure warning)、レーン・キープ・アシスト(LKA:lane keep assist)、死角警報(BSW:blind spot warning)、後部交差交通警報(RCTW:rear cross-traffic warning)、衝突警報システム(CWS:collision warning system)、レーン・センタリング(LC:lane centering)、及び/又は他の特徴及び機能を含み得る。
ACCシステムは、RADARセンサ560、LIDARセンサ564、及び/又はカメラを使用し得る。ACCシステムは、縦ACC及び/又は横ACCを含み得る。縦ACCは、車両500の直ぐ前の車両までの距離を監視及び制御し、前方の車両からの安全距離を維持するために車両速度を自動的に調整する。横ACCは、距離の保持を実行し、必要なときにレーンを変更するように車両500にアドバイスする。横ACCは、LCA及びCWSなどの他のADASアプリケーションに関連する。
CACCは、ワイヤレス・リンクを介して他の車両からネットワーク・インターフェース524及び/又はワイヤレス・アンテナ526を介して、或いは間接的にネットワーク接続を介して(たとえば、インターネットを介して)、受信することができる、他の車両からの情報を使用する。直接リンクは、車両対車両(V2V:vehicle-to-vehicle)通信リンクによって提供され得、一方、間接リンクは、インフラストラクチャ対車両(I2V:infrastructure-to-vehicle)通信リンクでもよい。一般に、V2V通信概念は、直前の車両(たとえば、車両500と同じレーン内にある、車両500の直ぐ前の車両)に関する情報を提供し、一方、I2V通信概念は、さらに前の交通に関する情報を提供する。CACCシステムは、I2V情報ソースとV2V情報ソースとのいずれか又は両方を含み得る。車両500の前方の車両の情報を所与として、CACCは、より高信頼になり得、CACCは、交通の流れをよりスムーズにし、道路の渋滞を減らす可能性を有する。
運転者が修正行動を取ることができるように、FCWシステムは、危険を運転者に警告するように設計される。FCWシステムは、ディスプレイ、スピーカ、及び/又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、DSP、FPGA、及び/又はASICに連結された、前向きのカメラ及び/又はRADARセンサ560を使用する。FCWシステムは、音響、視覚的警報、振動及び/又はクイック・ブレーキ・パルスなどの形で、警報を提供することができる。
AEBシステムは、別の車両又は他の物体との差し迫った前方衝突を検出し、運転者が指定された時間又は距離パラメータ内に修正行動を取らない場合に、ブレーキを自動的に適用することができる。AEBシステムは、専用のプロセッサ、DSP、FPGA、及び/又はASICに連結された、前向きのカメラ及び/又はRADARセンサ560を使用することができる。AEBシステムが危険を検出するとき、AEBシステムは通常は、先ず、衝突を回避するための修正行動を取るように運転者に警告し、運転者が修正行動を取らない場合、AEBシステムは、予測される衝突の影響を防ぐ、又は少なくとも軽減するための努力の一環としてブレーキを自動的に適用することができる。AEBシステムは、ダイナミック・ブレーキ・サポート及び/又は衝突切迫ブレーキなどの技法を含み得る。
LDWシステムは、ハンドル又はシートの振動など、視覚的、可聴式、及び/又は触覚的警報を提供して、車両500が車線区分線を越えたときに運転者に警告する。LDWシステムは、運転者が、方向指示器を起動することによって、意図的な車線逸脱を指示するときには、起動しない。LDWシステムは、ディスプレイ、スピーカ、及び/又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、DSP、FPGA、及び/又はASICに連結された、前側を向いたカメラを使用することができる。
LKAシステムは、LDWシステムの変更形態である。LKAシステムは、車両500が車線をはみ出し始めた場合に車両500を修正するためにステアリング入力又はブレーキを提供する。
BSWシステムは、自動車の死角において車両の運転者に検出及び警告する。BSWシステムは、合流又はレーンの変更が安全ではないことを指示するために視覚的、可聴式、及び/又は触覚的警告を提供することができる。システムは、運転者が方向指示器を使用するときに、付加的警告を提供することができる。BSWシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び/又は振動部品、に電気的に結合された、専用プロセッサ、DSP、FPGA、及び/又はASICに結合された、後ろ側を向いたカメラ及び/又はRADARセンサ560を使用することができる。
RCTWシステムは、車両500がバックしているときにリアカメラの範囲外で物体が検出されたときに視覚的、可聴式、及び/又は触覚的通知を提供することができる。いくつかのRCTWシステムは、衝突を回避するために車両ブレーキが適用されることを確実にするために、AEBを含む。RCTWシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び/又は振動部品、に電気的に結合された、専用プロセッサ、DSP、FPGA、及び/又はASICに結合された、1つ又は複数の後ろを向いたRADARセンサ560を使用することができる。
従来のADASシステムは、運転者に警告し、安全状態が本当に存在するかどうかを運転者が判定し、それに応じて行動することを可能にするので、従来のADASシステムは、通常は壊滅的ではないが、運転者を悩ませている及び気を散らせていることがある誤判定結果を生み出す傾向にあることがあった。しかしながら、自律型車両500では、結果が矛盾する場合には、車両500自体が、1次的コンピュータ又は2次的コンピュータ(たとえば、第1のコントローラ536又は第2のコントローラ536)からの結果を聞き入れるかどうかを決定しなければならない。たとえば、一部の実施例では、ADASシステム538は、知覚情報をバックアップ・コンピュータ合理性モジュールに提供するためのバックアップ及び/又は2次的コンピュータでもよい。バックアップ・コンピュータ合理性モニタは、ハードウェア構成要素で冗長な多様なソフトウェアを実行して、知覚及び動的運転タスクにおいて障害を検出することができる。ADASシステム538からの出力は、監督MCUに提供され得る。1次的コンピュータ及び2次的コンピュータからの出力が矛盾する場合、監督MCUは、安全な動作を確実にするためにその矛盾をどのように調整するかを決定する必要がある。
いくつかの実例では、1次的コンピュータは、選択された結果における1次的コンピュータの信頼性を指示する、信頼性スコアを監督MCUに提供するように構成され得る。信頼性スコアが閾値を超えた場合、監督MCUは、2次的コンピュータが矛盾する又は不整合の結果を与えるかどうかにかかわらず、1次的コンピュータの指示に従い得る。信頼性スコアが閾値を満たさない場合、及び1次的及び2次的コンピュータが異なる結果を示す(たとえば、矛盾する)場合、監督MCUは、コンピュータの間で調停して適切な結果を決定することができる。
監督MCUは、2次的コンピュータが誤ったアラームを提供する状態を、1次的コンピュータ及び2次的コンピュータからの出力に基づいて、判定するようにトレーニング及び構成されたニューラル・ネットワークを実行するように構成され得る。したがって、監督MCU内のニューラル・ネットワークは、2次的コンピュータの出力が信頼され得るとき、及びそれが信頼され得ないときを学習することができる。たとえば、2次的コンピュータがRADARベースのFCWシステムであるとき、監督MCU内のニューラル・ネットワークは、アラームをトリガする下水溝の鉄格子又はマンホールの蓋など、実際には危険ではない金属製の物をいつFCWが識別しているかを学習することができる。同様に、2次的コンピュータがカメラベースのLDWシステムであるとき、監督MCU内のニューラル・ネットワークは、自転車に乗った人又は歩行者が存在し、車線逸脱が、実際には、最も安全な操作であるときに、LDWを無視することを学習することができる。監督MCU上で実行中のニューラル・ネットワークを含む実施例では、監督MCUは、関連メモリを有するニューラル・ネットワークを実行するのに適したDLA又はGPUのうちの少なくとも1つを含み得る。好ましい実施例において、監督MCUは、SoC504の構成要素を備え得る、及び/又はSoC504の構成要素として含まれ得る。
他の実例において、ADASシステム538は、コンピュータ・ビジョンの従来のルールを使用するADAS機能を実行する2次的コンピュータを含み得る。そのようなものとして、2次的コンピュータは、古典的コンピュータ・ビジョン・ルール(if-then)を使用することができ、監督MCU内のニューラル・ネットワークの存在は、信頼性、安全性及び性能を向上させることができる。たとえば、多様な実装形態及び意図的な非同一性は、特にソフトウェア(又はソフトウェア-ハードウェア・インターフェース)機能によって引き起こされる障害に対して、システム全体をよりフォールトトレラントにする。たとえば、1次的コンピュータで実行中のソフトウェア内にソフトウェア・バグ又はエラーが存在し、2次的コンピュータで実行中の同一でないソフトウェア・コードが同じ総合的結果を提供する場合、監督MCUは、総合的結果は正しく、1次的コンピュータ上のソフトウェア又はハードウェア内のバグは重大なエラーを引き起こしていないというより大きな確信を有し得る。
いくつかの実例では、ADASシステム538の出力は、1次的コンピュータの知覚ブロック及び/又は1次的コンピュータの動的運転タスク・ブロックに供給され得る。たとえば、ADASシステム538が、直ぐ前の物体が原因で、前方衝突警報を示した場合、知覚ブロックは、物体を識別するときに、この情報を使用することができる。他の実例において、2次的コンピュータは、本明細書に記載のように、トレーニングされ、それ故に誤判定のリスクを減らす、独自のニューラル・ネットワークを有し得る。
車両500は、インフォテインメントSoC530(たとえば、車両内のインフォテインメント・システム(IVI:in-vehicle infotainment system))をさらに含み得る。SoCとして図示及び記述されているが、インフォテインメント・システムは、SoCでなくてもよく、2個以上の個別の構成要素を含み得る。インフォテインメントSoC530は、オーディオ(たとえば、音楽、携帯情報端末、ナビゲーション命令、ニュース、無線など)、ビデオ(たとえば、TV、映画、ストリーミングなど)、電話(たとえば、ハンズフリー通話)、ネットワーク接続(たとえば、LTE、Wi-Fiなど)、及び/又は情報サービス(たとえば、ナビゲーション・システム、後方駐車支援、無線データシステム、燃料レベル、総移動距離、ブレーキ燃料レベル、オイル・レベル、ドアを開ける/閉じる、エア・フィルタ情報などの車両関連情報)を車両500に提供するために使用され得るハードウェア及びソフトウェアの組合せを含み得る。たとえば、インフォテインメントSoC530は、無線、ディスク・プレイヤ、ナビゲーション・システム、ビデオ・プレイヤ、USB及びブルートゥース(登録商標)接続、カーピュータ、車内エンターテインメント、Wi-Fi、ハンドル・オーディオ制御装置、ハンズ・フリー音声制御、ヘッドアップ・ディスプレイ(HUD:heads-up display)、HMIディスプレイ534、テレマティックス・デバイス、制御パネル(たとえば、様々な構成要素、特徴、及び/又はシステムを制御する及び/又はこれと相互に作用するための)、及び/又は他の構成要素でもよい。インフォテインメントSoC530は、ADASシステム538からの情報、計画された車両操作などの自律運転情報、軌道、周囲環境情報(たとえば、交差点情報、車両情報、道路情報など)、及び/又は他の情報など、車両のユーザへの情報(たとえば、視覚的及び/又は可聴式の)を提供するためにさらに使用され得る。
インフォテインメントSoC530は、GPU機能性を含み得る。インフォテインメントSoC530は、バス502(たとえば、CANバス、イーサネット(登録商標)など)を介して、車両500の他のデバイス、システム、及び/又は構成要素と通信することができる。いくつかの実例では、インフォテインメント・システムのGPUが、1次的コントローラ536(たとえば、車両500の1次的及び/又はバックアップ・コンピュータ)が故障した場合に、いくつかのセルフドライブ機能を実行することができるように、インフォテインメントSoC530は、監督MCUに連結され得る。そのような実例では、インフォテインメントSoC530は、本明細書に記載のように、車両500をショーファーの安全停止モードにすることができる。
車両500は、計器群532(たとえば、デジタル・ダッシュ、電子計器群、デジタル計器パネルなど)をさらに含み得る。計器群532は、コントローラ及び/又はスーパーコンピュータ(たとえば、個別のコントローラ又はスーパーコンピュータ)を含み得る。計器群532は、スピードメーター、燃料レベル、油圧、タコメーター、オドメーター、方向指示器、ギアシフト位置インジケータ、シート・ベルト警告灯、パーキングブレーキ警告灯、エンジン故障灯、エアバッグ(SRS)システム情報、照明制御装置、安全システム制御装置、ナビゲーション情報など、1セットの器具類を含み得る。いくつかの実例では、情報は、インフォテインメントSoC530及び計器群532の間で表示及び/又は共有され得る。言い換えれば、計器群532は、インフォテインメントSoC530の一部として含まれてもよく、逆もまた同様である。
図5Dは、本開示のいくつかの実施例による、図5Aのクラウドベースのサーバと例示的自律型車両500との間の通信のシステム図である。システム576は、サーバ578、ネットワーク590、及び、車両500を含む車両を含み得る。サーバ578は、複数のGPU584(A)~584(H)(本明細書でGPU584と総称される)、PCIeスイッチ582(A)~582(H)(本明細書でPCIeスイッチ582と総称される)、及び/又はCPU580(A)~580(B)(本明細書でCPU580と総称される)を含み得る。GPU584、CPU580、及びPCIeスイッチは、たとえば、NVIDIAによって開発されたNVLinkインターフェース588及び/又はPCIe接続586などの、これらに限定されない、高速相互接続で相互に接続され得る。いくつかの実例では、GPU584は、NVLink及び/又はNVSwitch SoCを介して接続され、GPU584及びPCIeスイッチ582は、PCIe相互接続を介して接続される。8個のGPU584、2個のCPU580、及び2個のPCIeスイッチが図示されているが、これは制限を意図されていない。実施例に応じて、それぞれのサーバ578は、任意の数のGPU584、CPU580、及び/又はPCIeスイッチを含み得る。たとえば、サーバ578は、それぞれ、8個、16個、32個、及び/又はそれ以上のGPU584を含み得る。
サーバ578は、最近開始された道路工事など、予想外の又は変更された道路状態を示す画像を表す画像データを、ネットワーク590を介して、車両から、受信することができる。サーバ578は、ニューラル・ネットワーク592、更新されたニューラル・ネットワーク592、及び/又は、交通及び道路状態に関する情報を含むマップ情報594をネットワーク590を介して車両に送信することができる。マップ情報594の更新は、建設現場、くぼみ、迂回路、洪水、及び/又は他の障害物に関する情報など、HDマップ522の更新を含み得る。いくつかの実例では、ニューラル・ネットワーク592、更新されたニューラル・ネットワーク592、及び/又はマップ情報594は、環境において任意の数の車両から受信されたデータにおいて表された新しいトレーニング及び/又は経験から、及び/又は(たとえば、サーバ578及び/又は他のサーバを使用する)データ・センタにおいて実行されたトレーニングに基づいて、生じた可能性がある。
サーバ578は、トレーニング・データに基づいてマシン学習モデル(たとえば、ニューラル・ネットワーク)をトレーニングするために使用され得る。トレーニング・データは、車両によって生成され得る、及び/又は(たとえば、ゲーム・エンジンを使用して)シミュレーションにおいて生成され得る。いくつかの実例では、トレーニング・データは、タグ付けされる(たとえば、ニューラル・ネットワークが、監督された学習の恩恵を受ける場合)及び/又は他の事前処理を受けるが、他の実例において、トレーニング・データは、タグ付け及び/又は事前処理されない(たとえば、ニューラル・ネットワークが、監督された学習を必要としない場合)。トレーニングは、たとえば以下のクラスを含むがこれらに限定されない、任意の1つ又は複数のクラスのマシン学習技法に従って、実行され得る:監視されたトレーニング、半監視されたトレーニング、監視されていないトレーニング、自己学習、強化学習、連合型学習、転移学習、特徴学習(主要構成要素及びクラスタ分析を含む)、マルチ線形部分空間学習、多様体学習、表現学習(予備辞書学習を含む)、ルールに基づくマシン学習、異常検出、及びそれらの変更形態若しくは組合せ。マシン学習モデルがトレーシングされた後は、マシン学習モデルは、車両によって使用され得(たとえば、ネットワーク590を介して車両に送信される)、及び/又は、マシン学習モデルは、車両を遠隔監視するために、サーバ578によって使用され得る。
いくつかの実例では、サーバ578は、車両からデータを受信し、リアルタイムのインテリジェント推論のために最新のリアルタイムのニューラル・ネットワークにデータを適用することができる。サーバ578は、NVIDIAによって開発されたDGX及びDGXステーション・マシンなど、GPU584によって電力供給される深層学習スーパーコンピュータ及び/又は専用のAIコンピュータを含み得る。しかしながら、一部の実例では、サーバ578は、CPU電源式データ・センタのみを使用する深層学習インフラストラクチャを含み得る。
サーバ578の深層学習インフラストラクチャは、高速のリアルタイム推論の能力を有することでき、その能力を使用して車両500内のプロセッサ、ソフトウェア、及び/又は関連ハードウェアの調子を評価及び検証することができる。たとえば、深層学習インフラストラクチャは、車両500がそのシーケンスの画像内に位置したシーケンスの画像及び/又は物体など、車両500からの定期的更新を受信することができる(たとえば、コンピュータ・ビジョン及び/又は他のマシン学習物体分類技法を介して)。深層学習インフラストラクチャは、物体を識別し、車両500によって識別された物体とそれらを比較するために、独自のニューラル・ネットワークを実行することができ、結果が一致せず、インフラストラクチャが、車両500内のAIは正常に機能していないという結論を下した場合、サーバ578は、制御を推測し、乗客に通知し、安全な駐車操作を完了するように車両500のフェイルセーフ・コンピュータに命じる車両500への信号を送信することができる。
推論のために、サーバ578は、GPU584及び1つ又は複数のプログラマブル推論加速装置(たとえば、NVIDIAのTensorRT)を含み得る。GPU電源式サーバ及び推論加速の組合せは、リアルタイムの反応性を可能にすることができる。パフォーマンスがさほど必要とされない場合など、他の実例では、CPU、FPGA、及び他のプロセッサによって電力供給されるサーバが、推論のために使用され得る。
例示的計算デバイス
図6は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス600の一実例のブロック図である。計算デバイス600は、以下のデバイスを間接的に又は直接的につなぐバス602を含み得る:メモリ604、1つ又は複数の中央処理装置(CPU)606、1つ又は複数のグラフィック処理ユニット(GPU)608、通信インターフェース610、入力/出力(I/O)ポート612、入力/出力構成要素614、電力供給装置616、及び1つ又は複数の提示構成要素618(たとえば、ディスプレイ)。
図6は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス600の一実例のブロック図である。計算デバイス600は、以下のデバイスを間接的に又は直接的につなぐバス602を含み得る:メモリ604、1つ又は複数の中央処理装置(CPU)606、1つ又は複数のグラフィック処理ユニット(GPU)608、通信インターフェース610、入力/出力(I/O)ポート612、入力/出力構成要素614、電力供給装置616、及び1つ又は複数の提示構成要素618(たとえば、ディスプレイ)。
図6の様々なブロックは、線でバス602を介して接続しているように示されているが、これは制限することを意図されておらず、単に分かりやすくするためである。たとえば、一部の実施例では、表示デバイスなどの提示構成要素618は、I/O構成要素614と考えられ得る(たとえば、ディスプレイがタッチ・スクリーンである場合)。別の実例として、CPU606及び/又はGPU608はメモリを含み得る(たとえば、メモリ604は、GPU608、CPU606、及び/又は他の構成要素のメモリに加えた記憶デバイスを表し得る)。言い換えれば、図6の計算デバイスは、単に例示である。「ワークステーション」、「サーバ」、「ラップトップ」、「デスクトップ」、「タブレット」、「クライアント・デバイス」、「モバイル・デバイス」、「ハンドヘルド・デバイス」、「ゲーム機」、「電子制御ユニット(ECU:electronic control unit)」、「仮想現実システム」、及び/又は他のデバイス若しくはシステム・タイプなどのカテゴリはすべて、図6の計算デバイスの範囲内にあることが意図されているので、これらは区別されない。
バス602は、1つ又は複数のバス、たとえば、アドレス・バス、データ・バス、制御バス、又はその組合せ、を表し得る。バス602は、1つ又は複数のバス・タイプ、たとえば、業界標準アーキテクチャ(ISA:industry standard architecture)バス、拡張業界標準アーキテクチャ(EISA:extended industry standard architecture)バス、VESA(video electronics standards association)バス、周辺構成要素相互接続(PCI:peripheral component interconnect)バス、周辺構成要素相互接続エクスプレス(PCIe:peripheral component interconnect express)バス、及び/又は別のタイプのバス、を含み得る。
メモリ604は、様々なコンピュータ可読媒体のいずれかを含み得る。コンピュータ可読媒体は、計算デバイス600によってアクセスすることができる任意の利用可能な媒体でもよい。コンピュータ可読媒体は、揮発性及び不揮発性媒体の両方、及び取り外し可能な及び取り外し不可能な媒体を含み得る。例として、しかし限定ではなく、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を備え得る。
コンピュータ記憶媒体は、コンピュータ可読命令、データ構造体、プログラム・モジュール、及び/又は他のデータ・タイプなどの情報の記憶のための任意の方法又は技術において実装された揮発性及び不揮発性媒体及び/又は取り外し可能な及び取り外し不可能な媒体の両方を含み得る。たとえば、メモリ604は、オペレーティング・システムなど、(たとえば、プログラム及び/又はプログラム要素を表す)コンピュータ可読命令を記憶することができる。コンピュータ記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリ又は他のメモリ技術、CD-ROM、デジタル多用途ディスク(DVD:digital versatile disk)又は他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージ又は他の磁気記憶デバイス、或いは、所望の情報を記憶するために使用し得る及び計算デバイス600によってアクセスし得る任意の他の媒体を含み得るが、これらに限定されない。本明細書では、コンピュータ記憶媒体は、信号自体を含まない。
通信媒体は、搬送波などの変調データ信号又は他の移送機構においてコンピュータ可読命令、データ構造体、プログラム・モジュール、及び/又は他のデータ・タイプを実施することができ、任意の情報配信媒体を含む。「変調データ信号」という用語は、その特性セットのうちの1つ又は複数を有する或いは信号内の情報をエンコードするような方式で変化した信号を指し得る。例として、しかし限定せず、通信媒体は、ワイヤード・ネットワーク又は直接ワイヤード接続などのワイヤード媒体と、音響、RF、赤外線及び他のワイヤレス媒体などのワイヤレス媒体とを含み得る。前述のいずれかの組合せもまた、コンピュータ可読媒体の範囲に含まれるべきである。
CPU606は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス600の1つ又は複数の構成要素を制御して本明細書に記載の方法及び/又はプロセスのうちの1つ又は複数を実行するように構成され得る。CPU606は、多数のソフトウェア・スレッドを同時に処理する能力を有する1つ又は複数の(たとえば、1個、2個、4個、8個、28個、72個などの)コアをそれぞれ含み得る。CPU606は、任意のタイプのプロセッサを含み得、実装された計算デバイス600のタイプに応じて、異なるタイプのプロセッサを含み得る(たとえば、モバイル・デバイスのためのより少数のコアを有するプロセッサ、及びサーバのためのより多数のコアを有するプロセッサ)。たとえば、計算デバイス600のタイプに応じて、プロセッサは、縮小命令セット計算(RISC:Reduced Instruction Set Computing)を使用して実装されたARMプロセッサ、又は複合命令セット計算(CISC:Complex Instruction Set Computing)を使用して実装されたx86プロセッサでもよい。計算デバイス600は、計算コプロセッサなど、1つ又は複数のマイクロプロセッサ又は補助コプロセッサ内の1つ又は複数のCPU606を含み得る。
GPU608は、グラフィックス(たとえば、3Dグラフィックス)をレンダリングするために計算デバイス600によって使用され得る。GPU608は、同時に数百又は数千のソフトウェア・スレッドを処理する能力を有する数百又は数千のコアを含み得る。GPU608は、レンダリング・コマンド(たとえば、ホスト・インターフェースを介して受信されたCPU606からのレンダリング・コマンド)に応答して、出力画像のための画素データを生成することができる。GPU608は、画素データ又は任意の他の適切なデータ、たとえばGPGPUデータ、を記憶するためのグラフィックス・メモリ、たとえば表示メモリ、を含み得る。表示メモリは、メモリ604の一部として含まれ得る。GPU608は、並行して動作する(たとえば、リンクを介して)2個以上のGPUを含み得る。ともに結合されるとき、各GPU608は、出力画像の異なる部分の又は異なる出力画像の画素データ(たとえば、第1の画像の第1のGPU及び第2の画像の第2のGPU)を生成することができる。各GPUは、独自のメモリを含むことができ、又は他のGPUとメモリを共有することができる。
計算デバイス600がGPU608を含まない実例において、CPU606は、グラフィックスをレンダリングするために使用され得る。
通信インターフェース610は、ワイヤード及び/又はワイヤレス通信を含む、電子通信ネットワークを介して計算デバイス700が他の計算デバイスと通信することを可能にする、1つ又は複数のレシーバ、トランスミッタ、及び/又はトランシーバを含み得る。通信インターフェース610は、ワイヤレス・ネットワーク(たとえば、Wi-Fi、Z-Wave、ブルートゥース(登録商標)、ブルートゥースLE、ZigBeeなど)、ワイヤード・ネットワーク(たとえば、イーサネット(登録商標)を介して通信すること)、低電力ワイド・エリア・ネットワーク(たとえば、LoRaWAN、SigFoxなど)、及び/又はインターネットなどの、いくつかの異なるネットワークのうちのいずれかを介する通信を可能にするための構成要素及び機能を含み得る。
I/Oポート612は、そのうちのいくつかは計算デバイス600に内蔵(たとえば、統合)され得る、I/O構成要素614、提示構成要素618、及び/又は他の構成要素を含む、他のデバイスに計算デバイス600が論理的に連結されることを可能にすることができる。例示的なI/O構成要素614は、マイクロフォン、マウス、キーボード、ジョイスティック、ゲーム・パッド、ゲーム・コントローラ、サテライト・ディッシュ、スキャナ、プリンタ、ワイヤレス・デバイスなどを含む。I/O構成要素614は、エア・ジェスチャ、音声、又は、ユーザによって生成される他の生理的入力を処理する自然ユーザ・インターフェース(NUI:natural user interface)を提供することができる。場合によっては、入力は、さらなる処理のための適切なネットワーク要素に送信され得る。NUIは、音声認識、スタイラス認識、顔認識、生体認識、画面上での及び画面の隣でのジェスチャ認識、エア・ジェスチャ、頭部及び視標追跡、並びに計算デバイス600のディスプレイに関連するタッチ認識(さらに詳しく後述するような)の任意の組合せを実装し得る。計算デバイス600は、ジェスチャ検出及び認識のための、ステレオスコープ・カメラ・システム、赤外線カメラ・システム、RGBカメラ・システム、タッチ画面技術、及びこれらの組合せなど、深度カメラを含み得る。追加で、計算デバイス600は、動きの検出を可能にする加速度計又はジャイロスコープを含み得る(たとえば、慣性測定ユニット(IMU:inertia measurement unit)の一部として)。いくつかの実例では、加速度計又はジャイロスコープの出力は、没入型拡張現実又は仮想現実をレンダリングするために、計算デバイス600によって使用され得る。
電力供給装置616は、ハードワイヤード電力供給装置、バッテリ電力供給装置、又はその組合せを含み得る。電力供給装置616は、計算デバイス600の構成要素が動作することを可能にするために計算デバイス600に電力を提供することができる。
提示構成要素618は、ディスプレイ(たとえば、モニタ、タッチ画面、テレビジョン画面、ヘッドアップ表示装置(HUD)、他のディスプレイタイプ、又はその組合せ)、スピーカ、及び/又は他の提示構成要素を含み得る。提示構成要素618は、他の構成要素(たとえば、GPU608、CPU606など)からデータを受信し、データを(たとえば、画像、ビデオ、音響などとして)出力することができる。
本開示は、コンピュータ又は、携帯情報端末若しくは他のハンドヘルド・デバイスなどの、他のマシンによって実行されている、プログラム・モジュールなどのコンピュータ実行可能命令を含む、コンピュータ・コード又はマシン使用可能命令との一般的関連において説明されることがある。一般に、ルーティン、プログラム、オブジェクト、構成要素、データ構造体などを含むプログラム・モジュールは、特定のタスクを実行する又は特定の抽象データ・タイプを実装するコードを指す。本開示は、ハンドヘルド・デバイス、家電製品、汎用コンピュータ、より特殊な計算デバイスなどを含む、様々な構成で実施され得る。本開示はまた、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散型コンピューティング環境において実施され得る。
本明細書では、2個以上の要素に関する「及び/又は」の記述は、1つの要素のみ、又は要素の組合せを意味すると解釈されるべきである。たとえば、「要素A、要素B、及び/又は要素C」は、要素Aのみ、要素Bのみ、要素Cのみ、要素A及び要素B、要素A及び要素C、要素B及び要素C、或いは、要素A、B、及びCを含み得る。加えて、「要素A又は要素Bのうちの少なくとも1つ」は、要素Aの少なくとも1つ、要素Bの少なくとも1つ、或いは、要素Aの少なくとも1つ及び要素Bの少なくとも1つを含み得る。さらに、「要素A及び要素Bのうちの少なくとも1つ」は、要素Aのうちの少なくとも1つ、要素Bのうちの少なくとも1つ、或いは、要素Aのうちの少なくとも1つ及び要素Bのうちの少なくとも1つを含み得る。
本開示の主題は、法定の要件を満たすために特異性を有して記述されている。しかしながら、その記述自体が本開示の範囲を制限することは意図されていない。そうではなくて、本発明者は、請求されている主題が、他の現在の又は未来の技術と併せて、異なるステップ又は本文書に記載されたものと類似のステップの組合せを含むように、他の形で実施され得ることを意図している。さらに、「ステップ」及び/又は「ブロック」という用語は、使用される方法の異なる要素を含意するように本明細書で使用され得るが、これらの用語は、個別のステップの順番が明示的に記載されていない限り及びそのように記載されているときを除いて本明細書で開示される様々なステップの間に何らかの特定の順番を暗示するものとして解釈されるべきではない。
Claims (20)
- 一度に動的アクタの位置を含む領域に対応するマップ・データを受信するステップと、前記マップ・データに関して前記動的アクタをローカライズするステップと、一度に前記動的アクタのセンサによって生成されたセンサ・データを受信するステップと、前記マップ・データ及び前記ローカライズに少なくとも部分的に基づいて、前記センサ・データに対応するグラウンド・トゥルース・データを生成するステップと、前記センサ・データ及び前記グラウンド・トゥルース・データを使用してニューラル・ネットワークをトレーニングするステップとを含む、方法。
- 前記グラウンド・トゥルース・データを前記生成するステップが、前記マップ・データを前記動的アクタの座標系に変換するステップと、前記マップ・データによって表される1個又は複数の特徴を判定するステップと、前記1個又は複数の特徴に対応するラベル又は注釈を、前記座標系内で生成するステップとを含み、前記グラウンド・トゥルース・データが、前記ラベル又は前記注釈を表す、請求項1に記載の方法。
- グローバル・ナビゲーション衛星システム(GNSS)データ、全地球測位システム(GPS)データ、又は前記動的アクタの、1個若しくは複数の位置に基づくセンサによって生成されたディファレンシャルGPS(DGPS)データ、のうちの少なくとも1個に少なくとも部分的に基づいて前記位置を含む前記領域を決定するステップをさらに含む、請求項1に記載の方法。
- 前記ニューラル・ネットワークを前記トレーニングするステップが、物体検出、特徴検出、道路特徴検出、待機条件検出若しくは分類、又は未来の軌道の生成のうちの少なくとも1個のための推論を実行するように前記ニューラル・ネットワークをトレーニングするステップを含む、請求項1に記載の方法。
- 前記センサ・データによって表される視界の少なくとも一部分を通る前記動的アクタの軌道を表すデータを受信するステップをさらに含み、前記グラウンド・トゥルース・データを前記生成するステップが、前記HDマップ・データに少なくとも部分的に基づいて前記軌道を調節するステップを含む、請求項1に記載の方法。
- 前記軌道を前記調節するステップが、前記動的アクタの移動の車線のレールに向けて前記軌道を移すステップを含む、請求項5に記載の方法。
- 前記センサ・データが、画像データ、LIDARデータ、RADARデータ、SONARデータ、又は超音波データのうちの少なくとも1個を含む、請求項1に記載の方法。
- 前記グラウンド・トゥルース・データを前記生成するステップが、前記マップ・データを、前記マップ・データの第1の座標系から前記センサ・データの第2の座標系に変換するステップを含み、前記グラウンド・トゥルース・データが、前記第2の座標系に対応する、請求項1に記載の方法。
- 前記第1の座標系が、3次元(3D)世界空間座標系であり、前記第2の座標系が、2次元(2D)画像空間座標系である、請求項8に記載の方法。
- 高解像度(HD)マップを表すマップ・データを受信するステップと、動的アクタの少なくとも1個の第1のセンサによって生成された第1のセンサ・データを受信するステップと、前記第1のセンサ・データに少なくとも部分的に基づいて前記HDマップに関して前記動的アクタをローカライズするステップと、前記動的アクタの第2のセンサによって生成された第2のセンサ・データを受信するステップと、前記ローカライズに少なくとも部分的に基づいて前記マップ・データを前記第2のセンサ・データと相互に関連付けるステップと、前記相互に関連付けることに少なくとも部分的に基づいて、ニューラル・ネットワークをトレーニングするための前記第2のセンサ・データに対応するグラウンド・トゥルース・データを生成するステップとを含む、方法。
- 前記相互に関連付けるステップが、前記動的アクタに関して適応された座標空間に前記マップ・データを変換するステップを含む、請求項10に記載の方法。
- 前記相互に関連付けるステップが、前記変換するステップの後に、世界空間座標から、前記第2のセンサ・データに対応するセンサ空間座標に、前記マップ・データを変換するステップをさらに含む、請求項11に記載の方法。
- 前記第1のセンサ・データが、前記1個又は複数の第1のセンサの視界内の1個又は複数の特徴を表し、前記動的アクタを前記ローカライズするステップが、前記1個又は複数の特徴を前記HDマップによって表される1個又は複数の対応する特徴と相互に関連付けるステップを含む、請求項10に記載の方法。
- 前記動的アクタの1個又は複数の第3のセンサによって生成された及び前記第2のセンサ・データによって表される視界の少なくとも一部を通る前記動的アクタの軌道を表す第3のセンサ・データを受信するステップをさらに含み、前記グラウンド・トゥルース・データを前記生成するステップが、前記マップ・データに少なくとも部分的に基づいて前記軌道を調節するステップを含む、請求項10に記載の方法。
- 前記ニューラル・ネットワークの前記グラウンド・トゥルース・データ及び出力が、3次元(3D)世界空間座標において生成される、請求項10に記載の方法。
- センサ・データ表現を表すセンサ・データを生成するためのセンサと、1個又は複数の処理デバイス、及びプログラムされた命令を記憶する、前記1個又は複数の処理デバイスに通信可能に連結された1個又は複数のメモリ・デバイスを含む計算デバイスであって、前記プログラムされた命令が、前記プロセッサによって実行されるとき、高解像度(HD)マップに関して動的アクタをローカライズするためのマップ・マネージャのインスタンス化を引き起こす、前記計算デバイスと、前記HDマップによって表される1個又は複数の特徴を判定するための特徴判定器と、前記1個又は複数の特徴の第1の位置を前記センサ・データ表現内の前記1個又は複数の特徴の第2の位置と相互に関連付け、前記相互に関連付けることに少なくとも部分的に基づいて、前記1個又は複数の特徴の前記第2の位置に対応するグラウンド・トゥルース・データを生成するためのグラウンド・トゥルース・ジェネレータと、前記センサ・データ及び前記グラウンド・トゥルース・データを使用してニューラル・ネットワークをトレーニングするためのトレーニング・エンジンとを備える、システム。
- 前記1個又は複数の特徴が、物体、道路特徴、又は待機条件を含む、請求項16に記載のシステム。
- 前記センサ・データによって表される前記センサの視界に対応する軌道を生成するための軌道ジェネレータをさらに備え、前記グラウンド・トゥルース・データを生成することが、前記1個又は複数の特徴に少なくとも部分的に基づいて前記軌道を調節することを含む、請求項16に記載のシステム。
- 前記1個又は複数の特徴が、前記動的アクタの移動の車線のレールを含む、請求項18に記載のシステム。
- 前記マップ・マネージャがさらに、前記動的アクタの位置及び向きに関して前記HDマップを適応させるようになっている、請求項16に記載のシステム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962833185P | 2019-04-12 | 2019-04-12 | |
US62/833,185 | 2019-04-12 | ||
PCT/US2020/026668 WO2020210127A1 (en) | 2019-04-12 | 2020-04-03 | Neural network training using ground truth data augmented with map information for autonomous machine applications |
US16/839,751 | 2020-04-03 | ||
US16/839,751 US20200324795A1 (en) | 2019-04-12 | 2020-04-03 | Neural network training using ground truth data augmented with map information for autonomous machine applications |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022526825A true JP2022526825A (ja) | 2022-05-26 |
Family
ID=72748809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021559752A Pending JP2022526825A (ja) | 2019-04-12 | 2020-04-03 | 自律マシン・アプリケーションのためのマップ情報で拡張されたグラウンド・トゥルース・データを使用するニューラル・ネットワーク・トレーニング |
Country Status (5)
Country | Link |
---|---|
US (1) | US20200324795A1 (ja) |
JP (1) | JP2022526825A (ja) |
CN (1) | CN113906271A (ja) |
DE (1) | DE112020001897T5 (ja) |
WO (1) | WO2020210127A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10252717B2 (en) * | 2017-01-10 | 2019-04-09 | Toyota Jidosha Kabushiki Kaisha | Vehicular mitigation system based on wireless vehicle data |
JP6939376B2 (ja) * | 2017-10-10 | 2021-09-22 | トヨタ自動車株式会社 | 自動運転システム |
US11966838B2 (en) | 2018-06-19 | 2024-04-23 | Nvidia Corporation | Behavior-guided path planning in autonomous machine applications |
FR3084631B1 (fr) * | 2018-07-31 | 2021-01-08 | Valeo Schalter & Sensoren Gmbh | Assistance a la conduite pour le controle longitudinal et/ou lateral d'un vehicule automobile |
KR102483649B1 (ko) * | 2018-10-16 | 2023-01-02 | 삼성전자주식회사 | 차량 위치 결정 방법 및 차량 위치 결정 장치 |
WO2020163390A1 (en) | 2019-02-05 | 2020-08-13 | Nvidia Corporation | Driving lane perception diversity and redundancy in autonomous driving applications |
US11776390B2 (en) * | 2019-04-24 | 2023-10-03 | Toyota Motor Engineering & Manufacturing North America, Inc. | Machine learning system for roadway feature extraction from wireless vehicle data |
CN112667837A (zh) * | 2019-10-16 | 2021-04-16 | 上海商汤临港智能科技有限公司 | 图像数据自动标注方法及装置 |
US11010927B2 (en) * | 2019-10-16 | 2021-05-18 | Automotive Research & Testing Center | Method and system for generating dynamic map information capable of providing environment information |
US11978266B2 (en) * | 2020-10-21 | 2024-05-07 | Nvidia Corporation | Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications |
US20220198200A1 (en) * | 2020-12-22 | 2022-06-23 | Continental Automotive Systems, Inc. | Road lane condition detection with lane assist for a vehicle using infrared detecting device |
EP4020111B1 (en) * | 2020-12-28 | 2023-11-15 | Zenseact AB | Vehicle localisation |
US11568625B2 (en) * | 2021-01-07 | 2023-01-31 | Nvidia Corporation | Targeted object detection in image processing applications |
US20220227397A1 (en) * | 2021-01-19 | 2022-07-21 | Baidu Usa Llc | Dynamic model evaluation package for autonomous driving vehicles |
US11741724B2 (en) * | 2021-02-25 | 2023-08-29 | Toyota Research Institute, Inc. | Configuring a neural network to produce an electronic road map that has information to distinguish lanes of a road |
EP4109191A1 (en) * | 2021-06-18 | 2022-12-28 | Aptiv Technologies Limited | Methods and systems for generating ground truth data |
US20230136860A1 (en) * | 2021-10-28 | 2023-05-04 | Nvidia Corporation | 3d surface structure estimation using neural networks for autonomous systems and applications |
CN116416591A (zh) * | 2021-12-31 | 2023-07-11 | 罗伯特·博世有限公司 | 用于行车边界的参考值生成方法及设备 |
CN116416584A (zh) * | 2021-12-31 | 2023-07-11 | 罗伯特·博世有限公司 | 用于其他交通参与方的参考值生成方法及设备 |
GB2617866A (en) * | 2022-04-21 | 2023-10-25 | Continental Automotive Romania Srl | Computer implemented method for training a decision tree model for detecting an intersection, computer implemented method detecting an intersection, |
DE102022120240A1 (de) | 2022-08-11 | 2024-02-22 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Erzeugen von Trainingsdaten durch Bildtransformation, Verfahren zum Trainieren eines Maschinenlernmodells und Assistenzsystem |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US514230A (en) | 1894-02-06 | Socket for dippers | ||
US20170270406A1 (en) * | 2016-03-18 | 2017-09-21 | Qualcomm Incorporated | Cloud-based processing using local device provided sensor data and labels |
US10909721B2 (en) * | 2016-06-29 | 2021-02-02 | Seeing Machines Limited | Systems and methods for identifying pose of cameras in a scene |
WO2018125939A1 (en) * | 2016-12-30 | 2018-07-05 | DeepMap Inc. | Visual odometry and pairwise alignment for high definition map creation |
CA2993575A1 (en) * | 2017-02-03 | 2018-08-03 | Richard Pollock | Active driving map for self-driving road vehicle |
US10296828B2 (en) * | 2017-04-05 | 2019-05-21 | Here Global B.V. | Learning a similarity measure for vision-based localization on a high definition (HD) map |
KR101919098B1 (ko) * | 2017-05-18 | 2018-11-16 | 전남대학교산학협력단 | 지진 감지 시스템 및 방법 |
WO2019023628A1 (en) * | 2017-07-27 | 2019-01-31 | Waymo Llc | NEURAL NETWORKS FOR VEHICLE TRACK PLANNING |
US10373003B2 (en) * | 2017-08-22 | 2019-08-06 | TuSimple | Deep module and fitting module system and method for motion-based lane detection with multiple sensors |
US10970564B2 (en) * | 2017-09-30 | 2021-04-06 | Tusimple, Inc. | System and method for instance-level lane detection for autonomous vehicle control |
US10452959B1 (en) * | 2018-07-20 | 2019-10-22 | Synapse Tehnology Corporation | Multi-perspective detection of objects |
US20200050191A1 (en) * | 2018-08-07 | 2020-02-13 | GM Global Technology Operations LLC | Perception uncertainty modeling from actual perception systems for autonomous driving |
CN109405824A (zh) * | 2018-09-05 | 2019-03-01 | 武汉契友科技股份有限公司 | 一种适用于智能网联汽车的多源感知定位系统 |
US11651244B2 (en) * | 2018-10-04 | 2023-05-16 | Here Global B.V. | Method and apparatus for predicting sensor error |
US11475678B2 (en) * | 2019-01-04 | 2022-10-18 | Qualcomm Incorporated | Lane marker detection and lane instance recognition |
-
2020
- 2020-04-03 WO PCT/US2020/026668 patent/WO2020210127A1/en active Application Filing
- 2020-04-03 DE DE112020001897.0T patent/DE112020001897T5/de active Pending
- 2020-04-03 JP JP2021559752A patent/JP2022526825A/ja active Pending
- 2020-04-03 CN CN202080041221.7A patent/CN113906271A/zh active Pending
- 2020-04-03 US US16/839,751 patent/US20200324795A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20200324795A1 (en) | 2020-10-15 |
DE112020001897T5 (de) | 2021-12-30 |
CN113906271A (zh) | 2022-01-07 |
WO2020210127A1 (en) | 2020-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11514293B2 (en) | Future object trajectory predictions for autonomous machine applications | |
JP7424866B2 (ja) | 環境内のオブジェクトのレーン割り当てを決定するための障害物及びレーン検出の活用 | |
US11531088B2 (en) | Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications | |
US11885907B2 (en) | Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications | |
JP2022526825A (ja) | 自律マシン・アプリケーションのためのマップ情報で拡張されたグラウンド・トゥルース・データを使用するニューラル・ネットワーク・トレーニング | |
EP3832341A1 (en) | Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications | |
JP2022530091A (ja) | 自律マシン・アプリケーションにおける交差点姿勢検出 | |
JP2021089723A (ja) | LiDAR知覚のためのマルチビュー・ディープ・ニューラル・ネットワーク | |
JP2023531330A (ja) | マシン学習を使用した自律マシン・アプリケーションのためのセンサ融合 | |
JP2022523614A (ja) | 駐車スペース検出に適したスキューされたポリゴンを使用した物体検出 | |
JP2022531092A (ja) | 自律マシン・アプリケーションのための変換された現実世界センサ・データから現実的試験データをシミュレーションすること | |
JP2021532512A (ja) | 自律運転マシンのための回帰ベースの線分検出 | |
JP2021176077A (ja) | 自律運転アプリケーションにおけるマシン学習モデルのトレーニングのためのシミュレーションされた物体を有する画像拡張の使用 | |
CN114155272A (zh) | 自主机器应用中的自适应目标跟踪算法 | |
JP2021195124A (ja) | 入力としてグレアを使用する注視判定 | |
US20230054759A1 (en) | Object tracking using lidar data for autonomous machine applications | |
JP2022080830A (ja) | 自律運転アプリケーションのための緊急対応車両検出 | |
US20230110713A1 (en) | Training configuration-agnostic machine learning models using synthetic data for autonomous machine applications | |
US20230049567A1 (en) | Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications | |
US20240059295A1 (en) | Multi-view geometry-based hazard detection for autonomous systems and applications | |
JP2023131069A (ja) | 自律システム及びアプリケーションのためのニューラル・ネットワークを使用したマップ情報の物体データ・キュレーション | |
CN117581117A (zh) | 自主机器系统和应用中使用LiDAR数据的动态对象检测 | |
JP2023133049A (ja) | 自律マシンシステム及びアプリケーションのための認知ベースの駐車支援 | |
US20230142299A1 (en) | Particle-Based Hazard Detection for Autonomous Machine Applications | |
US20230351769A1 (en) | Detecting hazards based on disparity maps using machine learning for autonomous machine systems and applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240305 |