JP2023131069A - 自律システム及びアプリケーションのためのニューラル・ネットワークを使用したマップ情報の物体データ・キュレーション - Google Patents
自律システム及びアプリケーションのためのニューラル・ネットワークを使用したマップ情報の物体データ・キュレーション Download PDFInfo
- Publication number
- JP2023131069A JP2023131069A JP2022048495A JP2022048495A JP2023131069A JP 2023131069 A JP2023131069 A JP 2023131069A JP 2022048495 A JP2022048495 A JP 2022048495A JP 2022048495 A JP2022048495 A JP 2022048495A JP 2023131069 A JP2023131069 A JP 2023131069A
- Authority
- JP
- Japan
- Prior art keywords
- data
- sensor data
- sensor
- instance
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 64
- 238000010801 machine learning Methods 0.000 claims abstract description 90
- 238000000034 method Methods 0.000 claims abstract description 80
- 239000013598 vector Substances 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims description 51
- 230000008569 process Effects 0.000 claims description 23
- 238000013480 data collection Methods 0.000 claims description 19
- 238000013135 deep learning Methods 0.000 claims description 15
- 238000004088 simulation Methods 0.000 claims description 12
- 230000001149 cognitive effect Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000015654 memory Effects 0.000 description 53
- 230000006870 function Effects 0.000 description 48
- 238000012549 training Methods 0.000 description 45
- 238000001514 detection method Methods 0.000 description 38
- 230000000875 corresponding effect Effects 0.000 description 29
- 238000013527 convolutional neural network Methods 0.000 description 25
- 238000003860 storage Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 18
- 230000000670 limiting effect Effects 0.000 description 15
- 238000007726 management method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 238000007667 floating Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 241000269400 Sirenidae Species 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 125000000914 phenoxymethylpenicillanyl group Chemical group CC1(S[C@H]2N([C@H]1C(=O)*)C([C@H]2NC(COC2=CC=CC=C2)=O)=O)C 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 229920002451 polyvinyl alcohol Polymers 0.000 description 2
- 235000019422 polyvinyl alcohol Nutrition 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 101001056128 Homo sapiens Mannose-binding protein C Proteins 0.000 description 1
- 102100030148 Integrator complex subunit 8 Human genes 0.000 description 1
- 101710092891 Integrator complex subunit 8 Proteins 0.000 description 1
- 102100026553 Mannose-binding protein C Human genes 0.000 description 1
- 206010034960 Photophobia Diseases 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000001693 membrane extraction with a sorbent interface Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009257 reactivity Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/45—Pedestrian sidewalk
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/60—Traffic rules, e.g. speed limits or right of way
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】自律システム及びアプリケーションのためのニューラル・ネットワークを使用したマップ情報の物体データ・キュレーションのためのシステム及び方法を提供する。【解決手段】マップ・データ又は地理空間データが、より大きいセットのセンサ・データから目標関心物体の表現を含むより高い可能性を有するセンサ・データのサブセットを識別するために使用される。センサ・データのサブセットに対応する特徴ベクトルは、次いで、センサ・データにおいて目標物体の描写を確認するために、目標物体に対応するテンプレート特徴ベクトルと比較され得る。識別されたセンサ・データは、物体識別に対応する出力を計算するように１つ又は複数の機械学習モデルをトレーニングするために使用され得る。トレーニングされた機械学習モデルは、周辺環境において自律又は半自律マシンを支援するために、物体を識別するために使用され得る。【選択図】図１
Description
自律及び半自律運転システム、並びに高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）は、カメラなどのセンサを使用して、車両の周辺環境の理解を形成し得る。この理解には、物体、障害物、道路標識、車道表面、及び／又は他の印の位置に関する情報が含まれ得る。自律運転システムはまた、情報収集及び意思決定プロセスを支援するために機械学習モデル及び／又はニューラル・ネットワークに依拠することがあり、効果的機械学習モデル又はニューラル・ネットワークは、現実及び／又は合成トレーニング・データの収集を使用してトレーニングすることを必要とする。
このトレーニング・データは、自律マシンの潜在的環境を描写する以前収集された又は合成的に生成された画像データ及び／又は他のセンサ・データ（たとえば、ＬｉＤＡＲ、ＲＡＤＡＲ、超音波など）を含み得る。たとえば、自律マシンにおける使用を意図された機械学習モデルは、自律マシンのシステムの関心のある他の車両、道路標識、障害物、構造体、又は任意の他の物体などの物体を含む街路レベル又は車道の環境を描写するセンサ・データ表現（たとえば、画像、点群、投影画像など）を表すセンサ・データでトレーニングされ得る。特定のサイネージ（たとえば、道路標識、道路標示など）を検出する際などに、正確な推定を生み出すように機械学習モデルをトレーニングすることは、関心のある特定の物体（たとえば、道路標識）がセンサ・データ内で様々な場所、向き、可視性、及び／又は構成で描写されたトレーニング・データの大きなデータセットをキュレートすることを含み得る。しかしながら、関心のあるいくつかの物体は、現実世界の使用では比較的稀に現れる。したがって、関心のあるこれらの比較的珍しい又は稀な物体を含む十分に大きなトレーニング・データ・セットを生成することは、データ処理時間及び労力に関してコストがかかる。
従来、関心物体を表すセンサ・データを含む大きなデータセットをキュレートするためのシステムは、データ収集セッションの一部としてカメラ及び／又は他のセンサを有する車両によってキャプチャされ得るラベルを付けられていない又は分析されていないデータ（たとえば、車道上の車両走行ルートの視点からキャプチャされた画像）の大きなセットを使用していた。関心のあるいくつかの物体は、非常に稀に生じるので、いくつかのインスタンスでは、相当量の入力データが、それらの関心物体の少数のインスタンスを見つけるためだけに、検索され得る。たとえば、車両からキャプチャされたセンサ・データの各フレームが、物体、もしあれば、が現れるのはどのフレームかを判定するために検索され得、それらのフレームは、機械学習モデルのトレーニングにおいて使用するために抽出され得、その後にラベル付けされ得る。かなりの量のデータ（たとえば、数千時間の運転データ収集セッションに対応する毎秒６０フレームでキャプチャされたセンサ・データ・インスタンス）が存在し得、関心物体は、収集されたデータのうちの小さいパーセンテージのセンサ・データにのみ存在し得るので、センサ・データの各フレームを検索することは、非常に不便である。結果として、時間及び資源が関心物体を検索するために利用可能でない場合、関心物体を描写する必要な量のトレーニング・データは、トレーニングのために入手不可能なことがある－それにより、関心物体の検出及び／又は分類に関して要求される精度を有さない機械学習モデルをもたらす。
本開示の実施例は、自律システム及びアプリケーションのためのニューラル・ネットワークを使用した、マップ情報の物体データ・キュレーションに関する。検出された物体の物体識別を判定するために機械学習モデルをトレーニング及び配備するための手法を提供する、システム及び方法が開示される。たとえば、機械学習モデルは、１つ又は複数の関心物体を表すと推定されるキャプチャされたセンサ・データを識別するためのキューとしてマップ・データを使用することの結果として収集されたトレーニング・データでトレーニングされ得る。
前述のものなどの従来の手法とは対照的に、本開示は、マップ及び／又は地理空間データとともに機械学習モデル－たとえば、ディープ・ニューラル・ネットワーク（ＤＮＮ）－を使用して所望の関心物体を含むトレーニング・データをキュレートすることを実現する。開示される手法を使用して、収集されたセンサ・データは、関心物体（たとえば、道路標識、交差点標示、道路タイプ又は形状など）を描写する高い可能性を有するセンサ・データのフレームを識別するために、マップ・データ及び／又は地理空間データを使用して、フィルタ処理され得る。いくつかの実施例において、マップ・データは、関心のある特定の物体が地理的に位置し得る潜在的位置（たとえば、地理座標）を判定するために、アクセスされ得る。問い合わせが、関心物体に対応する潜在的位置を見つけるためにマップ・データの地理空間情報に行われ得る。たとえば、マップ・データは、関心のある特定の道路標識の潜在的インスタンスを見つけるために（たとえば、特定の道路標識を含むトレーニング・データ・セットを構築するために）、検索又は問い合わせされ得る。いくつかの実例では、マップ・データが、特定のラベルを有する物体について検索され得るように、マップ・データは、タグ付け又はラベル付けされてあり得る物体を含み得る。同じ又は追加の実例において、マップ・データにおいて関心物体を検索することは、関心物体に関連する道路特徴及び／又は条件を検索することを含み得る。たとえば、マップ・データは、停止標識又は譲れの標識が関心物体として指定された場合には、４方向交差点を検索され得る、或いは車道又はハイウェイへの入口点において譲れの標識を識別するために高架道路を検索され得る。
自律システム及びアプリケーションのためのニューラル・ネットワークを使用したマップ情報の物体データ・キュレーションのための本システム及び方法について、添付の図面を参照して、以下に詳しく説明する。
自律システム及びアプリケーションのためのニューラル・ネットワークを使用したマップ情報の物体データ・キュレーションに関して、システム及び方法が、開示される。本開示は、例示的自律型車両７００（或いは本明細書で「車両７００」又は「エゴマシン７００」とも称され、その実例が図７Ａ～７Ｄに関して説明される）に関して説明されることがあるが、これは限定を意図していない。たとえば、本明細書に記載のシステム及び方法は、非自律型車両、半自律型車両（たとえば、１つ又は複数の適応型運転者支援システム（ＡＤＡＳ：ａｄａｐｔｉｖｅ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）における）、有人及び無人ロボット又はロボティクス・プラットフォーム、倉庫車両、オフロード車両、１つ又は複数のトレーラに連結された車両、飛行船舶、ボート、シャトル、緊急対応車両、オートバイ、電気若しくは原動機付自転車、航空機、建設車両、潜水艦、ドローン、及び／又は、他の車両タイプによって使用されてもよいが、これに限定されない。加えて、本開示は、自律マシンの物体検出及び識別に関して説明されることがあるが、これは限定を意図しておらず、本明細書に記載のシステム及び方法は、拡張現実、仮想現実、混合現実、ロボット工学、セキュリティ及び監視、自律若しくは半自律マシン・アプリケーション、及び／又は物体識別若しくは検出が使用され得る任意の他の技術空間において使用され得る。
前述のものなどの従来の手法とは対照的に、本開示は、所望の関心物体を含むトレーニング・データをキュレートするためにマップ及び地理空間データとともに機械学習モデル－たとえば、ディープ・ニューラル・ネットワーク（ＤＮＮ）－を使用することを実現する。マップ・データは、１つ又は複数のデータ収集セッションに関連する情報を含み得る（たとえば、画像及び／又は他のセンサ・データをキャプチャする車両による）。開示される手法を使用して、収集されたセンサ・データは、関心物体（たとえば、道路標識など）を描写している高い可能性を有するセンサ・データのフレームを識別するために、マップ・データ及び／又は地理空間データを使用してフィルタ処理され得る。いくつかの実施例において、マップ・データは、関心のある特定の物体が地理的に位置し得る潜在的位置（たとえば、地理座標）を判定するために、アクセスされ得る。問い合わせが、関心物体に対応する潜在的位置を見つけるために、マップ・データの地理空間情報に行われ得る。たとえば、マップ・データは、関心のある特定の道路標識の潜在的インスタンスを見つけるために（たとえば、特定の道路標識を含むトレーニング・データ・セットを構築するために）、検索又は問い合わせされ得る。いくつかの実例では、マップ・データが、特定のラベルを有する物体について検索され得るように、マップ・データは、タグ付け又はラベル付けされてあり得る物体を含み得る。同じ又は他の実例において、マップ・データにおいて関心物体を検索することは、関心物体に関連する道路特徴及び／又は条件を検索することを含み得る。たとえば、マップ・データは、停止標識又は譲れの標識が関心物体として指定された場合、４方向交差点を検索され得る、或いは車道又はハイウェイへの入口点において譲れの標識を識別するために高架道路を検索され得る。
いくつかの実施例において、マップ・データは、データ収集セッションに対応する（たとえば、データ収集セッションにおいて車両のセンサによって記録された）運転データと重ね合わされ得る。たとえば、記録する車両は、タイムスタンプ、ビデオ・データ、画像データ、他のセンサ・データ、及び／又はＧＰＳデータを記録しながら、ルートを走行することができ、運転データは、マップ・データにマッピング又は変換され得る。たとえば、ＧＰＳデータ、向きデータ（たとえば、１つ又は複数の慣性計測装置（ＩＭＵ）センサを使用して判定されるものとしての）、センサ姿勢又は取り付け位置データ、及び／又は運転データからの他のデータを使用して、センサ・データは、マップ・データ内の特定の位置に関連付けられ得る。いくつかの実施例において、問い合わせが、センサ・データの１つ又は複数のフレームがそれらの位置に関連付けられ得るように、運転データにおいて次いで発見され得る１つ又は複数の位置を返すことができるマップ・データに行われ得る。たとえば、スピード制限標識としてラベル付けされた標識の問い合わせが、マップ・データ位置に対応する及び関心物体を描写するための候補であるセンサ・データの対応するフレームを返すために運転データのＧＰＳデータにマッチされ得る位置のセットを決定するために、マップ・データに適用され得る。いくつかの実施例において、運転データのＧＰＳデータ、軌道データ、及び／又は向きデータは、センサ・データをキャプチャしている対応する車両又はマシンの進行方向を判定するために、使用され得る。いくつかの実例では、判定された進行方向は、特定の時間（たとえば、運転データのタイムスタンプに基づく）においてデータ収集車両のセンサに可視であるセンサ（たとえば、カメラ、ＬｉＤＡＲセンサ、ＲＡＤＡＲセンサなど）の視界又は知覚フィールドを推定するために、使用され得る。視界及び／又はセンサ・フィールドは、推定された進行方向、視距離、取り付け位置及び／又は姿勢、固有の及び／又は付帯的なセンサ・パラメータ、及び／又は車両の特定のセンサに関連する視界又は知覚フィールドの角度に基づき得る。いくつかの実施例において、推定された視界又は知覚フィールドは、位置領域内に位置する物体のマップ・データを問い合わせるために使用され得る位置領域を決定するために使用され得る。たとえば、マップ・データにおいて表された物体が、特定のタイムスタンプに対応する位置領域内に位置する場合、次いで、タイムスタンプに対応するセンサ・データのフレームが、物体を描写している十分に高い可能性を有するものとして選択され得る。
いくつかの実施例において、関心物体を潜在的に描写しているセンサ・データの１つ又は複数のフレームが、さらなる分析又はラベル付けのために選択され得る。さらに、大量のセンサ・データ、及びデータ収集車両の潜在的に多数のセンサ（たとえば、１個、２個、５個、１０個、又はそれ以上のセンサ）により、センサのうちの１つ又は複数からのセンサ・データのうちの少なくとも一部が、任意の所与の時間インスタンスにおいてフィルタ処理で除去され得る。たとえば、運転データが、停止標識交差点を含むマップ位置に対応し、停止標識が、識別されることを行う場合、前方又は横方向を向いたセンサに対応するセンサ・データが、選択され得、一方、後方を向いたセンサ（それぞれの視界又は知覚フィールドに停止標識を含まない可能性が高い）からのセンサ・データは、選択されなくてもよい。このようにして、センサ・データの全体が、関心物体を含む最も高い可能性を有するセンサ・データのインスタンスを生み出すために、フィルタ処理され得る。
少なくとも１つの実施例において、ＤＮＮは、センサ・データ内で道路標識又は他の物体を検出するために、所望の関心物体を描写するための候補であるセンサ・データの選択されたフレームに適用され得る。たとえば、様々なサイズ、向き、角度、閉塞のレベル、又は同類のものにおいて道路標識を検出するようにトレーニングされたＤＮＮは、センサ・データに適用され得る。いくつかの実施例において、ＤＮＮは、検出された道路標識に関連する境界形状（たとえば、ボックス、円など）を生成し得る。いくつかの実施例において、センサ・データは、検出された道路標識又は他の関心物体の周りの境界形状に基づいて、クロップ、又は他の方法で修正若しくは拡張され得る。
少なくとも１つの実施例において、システムは、センサ・データ（たとえば、クロップされた画像データ）とテンプレートとの類似性を判定するために類似性マッチング動作を実行することができる。たとえば、ＤＮＮは、境界形状内にある、センサ・データのフレームとテンプレート・センサ・データ・インスタンス又はグラウンド・トゥルース・センサ・データとの類似性のレベルを判定するために使用され得る。テンプレート（たとえば、テンプレート画像又は他の表現）は、関心のあるサンプル物体の任意の以前キャプチャされた又は合成的に若しくは部分的に合成的に生成された描写でもよい。たとえば、関心物体が「一方通行」標識であるシナリオにおいて、テンプレートは、標識のイラストレーション、標識の画像、及び／又は類似の標識（たとえば、他の地理的領域、国、及び／又は言語で使用される類似の標識）の描写でもよい。いくつかの実例では、類似性のレベルを判定することは、類似性スコアを判定することを含み得る。
同じ又は追加の実例において、類似性のレベルは、センサ・データに対応する特徴ベクトルを抽出すること（たとえば、ＤＮＮを使用する）及びそれをテンプレート（たとえば、同じＤＮＮを使用して計算されるものとしての）に関連する特徴ベクトルと比較することに基づいて、判定され得る。たとえば、センサ・データに関連する特徴ベクトルは、ＤＮＮの特定の層から抽出され得る。たとえば、特徴ベクトルは、画像データにおいて描写された物体の詳細の所望の粒度に基づいて、ＤＮＮの最後から２番目の層、又は任意の他の層から抽出され得る。いくつかの実施例において、類似性スコアは、各フレームに対応する類似性スコアを判定するために、１セットの候補フレームの各候補フレームについて判定され得る。ある種の実施例において、センサ・データの候補フレームは、対応する類似性スコア及び他のパラメータに基づいて、ランク付けされ得る。非限定的実例として、システムは、テンプレートで最も高い類似性スコアを有するセンサ・データの１０００フレームのセットを決定することができる。
少なくとも１つの実施例において、類似性スコアに基づいてセンサ・データの１つ又は複数のフレームをランク付けすることに基づいて、システムは、センサ・データにおいて描写された物体に関連する情報を含む情報でセンサ・データの１つ又は複数のフレームにラベル付けすることができる。いくつかの実施例において、画像データのフレームは、１つ又は複数のＤＮＮをトレーニングするために使用され得る１つ又は複数のトレーニング・データ・セットにおける付加的分析、ラベル付け、及び／又は包含を受けることができる。結果として、任意の数の運転中に収集されたデータセット全体を通してフィルタ処理する代わりに、データセットは、マップ・データ、地理空間データ、センサ姿勢、向き、視界、及び／又は他のセンサ関連データ、及び／又は他のデータ・タイプを使用して、小さくされ得、結果として生じる減らされたデータセットは、特定の物体タイプ（たとえば、標識、車両、歩行者など）及び／又はイベント・タイプ（たとえば、交通）に関してＤＮＮをトレーニング（又は再トレーニング）するための使用に最も適したセンサ・データのインスタンスを識別するためにテンプレート・マッチングを使用して、さらに減らされ得る。
図１を参照すると、図１は、本開示のいくつかの実施例による、目標物体を含むトレーニング・データを識別するためのプロセス１００を示す例示的データ流れ図である。本明細書に記載のこの及び他の構成は単に実例として記載されていることを理解されたい。他の構成及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ化など）が、図示されたものに加えて又はそれらの代わりに使用され得、いくつかの要素は、完全に省略され得る。さらに、本明細書に記載の要素の多数は、個別の若しくは分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。いくつかの実施例において、本明細書に記載のシステム、方法、及びプロセスは、図７Ａ～７Ｄの例示的自律型車両７００、図８の例示的計算デバイス８００、及び／又は図９の例示的データ・センタ９００のそれらに類似の構成要素、特徴、及び／又は機能性を使用して実行され得る。
高レベルで、プロセス１００は、１つ又は複数の機械学習モデル１０４が１つ又は複数の入力、たとえば、センサ・データ１０２において検出された物体を表すデータ、を受信することと、１つ又は複数の出力、たとえば、類似性比較器１１２によって使用され得る検出された物体の分類、を生成することとを含み得る。センサ・データ１０２は、画像を表す画像データに関して主に論じられているが、これは限定を意図しておらず、センサ・データ１０２は、物体検出又は識別のために使用される他のタイプのセンサ・データ、たとえば、ＬｉＤＡＲデータ、超音波若しくは他のＳＯＮＡＲデータ、ＲＡＤＡＲデータ、及び／又は同類のもの－たとえば、図７Ａ～７Ｄの例示的自律型車両７００の１つ又は複数のセンサによって生成されるものとしての－を含み得る。
プロセス１００は、１つ又は複数のセンサからセンサ・データを生成及び／又は受信することを含み得る。センサ・データ１０２は、非限定的実例として、エゴマシン（たとえば、図７Ａ～７Ｄの及び本明細書に記載のエゴマシン７００）の１つ又は複数のセンサから受信され得る。センサ・データ１０２は、たとえば、図７Ａ～７Ｄを参照すると、グローバル・ナビゲーション衛星システム（ＧＮＳＳ：ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ）センサ７５８（たとえば、グローバル・ポジショニング・システム・センサ）、ＲＡＤＡＲセンサ７６０、超音波センサ７６２、ＬＩＤＡＲセンサ７６４、慣性計測装置（ＩＭＵ）センサ７６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン７９６、ステレオ・カメラ７６８、ワイド・ビュー・カメラ７７０（たとえば、魚眼カメラ）、赤外線カメラ７７２、サラウンド・カメラ７７４（たとえば、３６０度カメラ）、長距離及び／又は中距離カメラ７９８、スピード・センサ７４４（たとえば、車両７００のスピードを測定するための）、及び／又は他のセンサ・タイプを含むマシンのセンサのいずれかからのセンサ・データ１０２を含み得るが、これに限定されない。別の実例として、センサ・データ１０２は、仮想（たとえば、試験）環境において仮想車両又は他の仮想物体の任意の数のセンサから生成された仮想（たとえば、シミュレーション、合成、又は拡張された）センサ・データを含み得る。そのような実例において、仮想センサは、（たとえば、ニューラル・ネットワーク・パフォーマンスを試験、トレーニング、及び／又は検証するために使用される）シミュレーションされた環境内の仮想車両又は他の仮想物体に対応することができ、仮想センサ・データは、シミュレーションされた又は仮想環境内で仮想センサによってキャプチャされたセンサ・データを表すことができる。そのようなものとして、仮想センサ・データを使用することによって、本明細書に記載の機械学習モデル１０４は、シミュレーション環境及び／又は拡張現実世界データからのシミュレーション・データを使用して、試験、トレーニング、及び／又は検証され得、そのような試験の安全性が低くなり得る現実世界環境の外でより極端なシナリオを試験することを可能にし得る。
いくつかの実施例において、センサ・データ１０２は、画像を表す画像データ、ビデオ（たとえば、ビデオのスナップショット）を表す画像データ、及び／又はセンサの認知フィールドの表現を表すセンサ・データ（たとえば、ＬｉＤＡＲセンサの深度図、超音波センサの値グラフなど）を含み得る。センサ・データ１０２が、画像データを含む場合、たとえば、限定せずに、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）又はルミナンス／クロミナンス（ＹＵＶ）フォーマット、Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）若しくはＨ．２６５／ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などの圧縮ビデオ・フォーマットに由来するフレームとしての圧縮画像、レッド・クリア・ブルー（ＲＣＣＢ：Ｒｅｄ Ｃｌｅａｒ Ｂｌｕｅ）、レッド・クリア（ＲＣＣＣ：Ｒｅｄ Ｃｌｅａｒ）若しくは他のタイプの画像センサに由来するものなどの未加工の画像、及び／又は他のフォーマットなど、任意のタイプの画像データ・フォーマットが、使用され得る。加えて、いくつかの実例において、センサ・データ１０２は、（たとえば、未加工の又はキャプチャされたフォーマットにおいて）前処理なしにプロセス１００内で使用することができ、一方、他の実例において、センサ・データ１０２は、前処理（たとえば、ノイズ・バランシング、デモザイク処理、スケーリング、トリミング、拡張、ホワイト・バランシング、トーン・カーブ調節、など、たとえば、センサ・データ・プレプロセッサ（図示せず）を使用）を受けることができる。本明細書では、センサ・データ１０２は、未処理のセンサ・データ、前処理されたセンサ・データ、又はその組合せを指し得る。
トレーニング・データ１２０をキュレートするために使用されるセンサ・データ１０２は、最初のセンサ・データ表現（たとえば、１つ又は複数のセンサによってキャプチャされたものとしての）、ダウンサンプリングされた表現（たとえば、ダウンサンプリングされた画像）、アップサンプリングされた表現、クロップされた又は関心領域（ＲＯＩ）表現、他の拡張表現、及び／又はその組合せを含み得る。機械学習モデル１０４が、物体検出及び／又は分類結果を計算するように構成されるように、機械学習モデル１０４は、センサ・データ１０２、トレーニング・データ、及び／又は他のデータを使用してトレーニングされ得る。機械学習モデル１０４は、分類、検出などのためにトレーニングされ得るが、類似性比較器１１２は、物体検出器１１０からの検出された物体とテンプレートとの類似性を判定するとき、機械学習モデル１０４の１つ又は複数の内部層（たとえば、最後から２番目の層）からのデータ（たとえば、特徴データ）を使用することができる。
フレーム選択器１０８を参照すると、フレーム選択器１０８は、たとえば、図２を参照して後述されるように、受信されたマップ・データ１１４に基づいてセンサ・データ１０２の候補フレームを識別するために使用され得る。フレーム選択器は、センサ・データ１０２のどのフレームが問い合わせに関連する情報を含みそうかを識別するためにセンサ・データ１０２をフィルタ処理するために使用され得るマップ・データ１１４への問い合わせを受信し得る。たとえば、フレーム選択器１０８は、目標物体－たとえば、「一方通行」標識－に関連するセンサ・データのフレームを見つけることに関する問い合わせを処理し得る。フレーム選択器１０８は、この問い合わせ及び／又は他の地理空間情報を使用して、関心のある所望の標識に関連する情報を含む可能性を有するセンサ・データ１０２の候補フレームを識別することができる。
物体検出器１１０を参照すると、物体検出器１１０は、フレーム選択器１０８によって識別されたセンサ・データ１０２の表現をクロップ、注釈付け、及び／又はラベル付けするために使用され得る。物体検出器１１０は、描画プログラム（たとえば、注釈プログラム）、コンピュータ支援設計（ＣＡＤ）プログラム、ラベリング・プログラム、注釈を生成するのに適した別のタイプのプログラム内で注釈を生成し得る。任意の実例において、注釈は、合成的に製作する（たとえば、コンピュータ・モデル又はレンダリングから生成する）、現実に製作する（たとえば、現実世界データから設計及び製作する）、マシンにより自動化する（たとえば、特徴分析及び学習を使用してデータから特徴を抽出し、次いでラベルを生成する）、人が注釈を付ける（たとえば、ラベラ、又は注釈エキスパートが、ラベルの位置を定義する）、及び／又はその組合せ（たとえば、人がエリアの中心若しくは原点及び次元を識別する、マシンが物体及び／又は車線のポリゴン及び／又はラベルを生成する）ことができる。
物体検出器１１０は、センサ・データ１０２によって表される環境の関心エリアの輪郭を描く境界形状－たとえば、ポリゴン－に対応する、クロップされた画像、注釈、又は他のラベルタイプを生成し得る。いくつかの実例では、車両、乗用車、歩行者などの物体は、センサ・データ１０２において検出された物体に対応する１つ又は複数のポリゴンによって輪郭を描かれ得る－たとえば、センサ・データ１０２のセンサ・データ表現内。ポリゴンは、センサ・データ１０２において物体の輪郭を描くために使用され得る境界ボックス、楕円、及び／又は任意の他の形状として生成され得る。物体検出器１１０は、画像（若しくは他のデータ表現）のそれぞれについて及び／又は機械学習モデル１０４への入力として使用され得るセンサ・データ１０２によって表される画像内のポリゴンのうちの１つ若しくは複数のそれぞれについて生成される、注釈、又は他のラベルタイプを生成し得る。たとえば、物体検出器１１０は、各ポリゴンに関連するラベルを生成することができ、ラベルは、境界形状に対応する検出された物体が属する特定の識別子を示す情報（たとえば、標識、標示、車両、乗用車、トラック、歩行者、オートバイなど）を提供する。識別された物体は、次いで、センサ・データ１０２が機械学習モデル１０４に適した様式であるように、センサ・データ１０２をクロップする又は他の方法で前処理するために使用され得る。たとえば、機械学習モデル１０４は、標識を検出及び／又は分類するようにトレーニングされ得、センサ・データ表現（たとえば、画像、点群など）が、標識の位置に従ってクロップされ得、次いで機械学習モデル１０４の入力解像度までスケール変更される（必要あれば）ように、物体検出器１１０は、センサ・データ１０２によって表される標識を識別するために使用され得る。そのような実例において、機械学習モデル１０４の出力（及び／又は機械学習モデル１０４の１つ又は複数の層の内部出力）が、テンプレート・データの標識タイプがセンサ・データ１０２において検出された標識のうちの少なくとも１つによって表されるかどうかを判定するために、類似性比較器１１２によって使用され得るように、テンプレート・データ１１６は、特定の目標標識タイプを含むことができ、テンプレート・データは、クロップされた標識を入力解像度において同様に含み得る。そのようなものとして、テンプレート・データ１１６からの標識タイプ（たとえば、あまり一般的でないことがある、又はトレーニング・データ１２０においてあまり表されないことがある、標識タイプ）が、センサ・データ１０２のインスタンスにおいて表された標識に対応すると判定されたとき、センサ・データ１０２のインスタンスに対応するフレームは、トレーニング・データ１２０に包含するために選択され得る。トレーニング・データ１２０は、次いで、たとえば、標識タイプをテンプレート・データ１１６から検出することを含む、標識検出のために、機械学習モデル１０４及び／又は別の機械学習モデル１０４をトレーニングするために使用され得る。
ここで図２を参照すると、図２は、本発明のいくつかの実施例による、センサ・データを取得するために使用されるマップ・データ描写２００の一実例を示す。ここで描かれているように、マップ・データは、物体を識別するように機械学習モデルをトレーニングするためにそのセンサ・データが必要とされる潜在的関心物体に関連する地理空間情報及び／又はデータを含み得る。たとえばマップ・データ描写２００は、道路標識２０６Ａ、２０６Ｂ、２０６Ｃ、及び２０６Ｄが道路交差点２１２に隣接することを示す情報を含み得る。マップ・データは、マップ・データにおいて表された物体（たとえば、標識、車道、歩行者進路、交差点、ハイウェイ、ランプなど）の地理座標及び／又は位置を含み得る。たとえば、マップ・データは、道路標識２０６Ａ、２０６Ｂ、２０６Ｃ、及び２０６ＤのそれぞれのＧＰＳ座標を含み得る。いくつかの実施例において、マップ・データは、タグ及びラベルに従って検索され得るように、マップ・データは、タグ付け又はラベルを含み得る。
センサ・データ１０２に対応する運転データは、たとえば、データ収集セッションの間に、生成されたセンサ・データ１０２に対応する情報を判定するために使用され得る。たとえば、マップ・データ描写２００は、データ記録車両によって実行されるデータ収集セッションに対応する車両進路２０８を含み得る。データ収集セッションの間に１回又は複数回、データ記録車両は、セッション中のその特定の時間に１つ又は複数のセンサから測定を実行及び／又は収集してセンサ・データをキャプチャすることができる。たとえば、データ記録車両は、車両が車両進路２０８を移動するとき、データ収集セッションの持続期間中に６０ｈｚ（たとえば、毎秒６０フレーム（ｆｐｓ））の周波数でセンサ・データを収集することができる。いくつかの実例では、データ記録車両は、センサ・タイプに応じた異なる周波数（たとえば、カメラの６０ｈｚ又はｆｐｓ、ＬｉＤＡＲの１５ｈｚなど）でデータを収集することができる。
いくつかの実施例において、マップ・データは、関心のある特定の物体が位置し得る潜在的位置を見つけるために、問い合わせされ得る。たとえば、関心物体が停止標識である場合、マップ・データは、マップ・データ描写２００において描写されたものとしての４方向停止交差点を位置付けるために、問い合わせされ得る。関心物体に関連する潜在的位置を判定することに基づいて、潜在的位置に近接して収集されたセンサ・データを含む運転データが、取得され得る。たとえば、停止標識の問い合わせが、道路標識２０６Ａの地理的位置を返す場合、道路標識２０６Ａがデータ収集車両の収集範囲内に（たとえば、実施例において、対応するセンサの視界又はセンサ・フィールドを計算に入れて、センサ・データ収集の時間における車両の位置の閾値距離内に）あると推定された、データ収集セッションからのセンサ・データが、識別及び取得され得る。視界及び／又はセンサ収集範囲は、推定された進行方向、視距離、取り付け位置及び／又は姿勢、及び／又は車両の特定のセンサに関連する視界又は知覚フィールドの角度に基づき得る。たとえば、車両が車両進路２０８に沿った場所２０２Ａにあるときに道路標識２０６Ａはデータ収集車両の前向きのカメラの視界２０４Ａ内にあり得ることが推定され得る。そのような実例において、場所２０２Ａにおける車両からのセンサ・データは、取得され得る、又は他の方法で識別され得る。さらなる実例において、車両が車両進路２０８の場所２０２Ｂに到達するときに道路標識２０６Ａは車両の視界２０４Ｂの外部にあることが推定され得る。データ収集車両の位置に基づいて、潜在的関心物体が車両のセンサ範囲に入ると推定されるとき、及び潜在的関心物体が車両のセンサ範囲を出ると推定されるとき、収集間隔進路２１０が判定され得る。収集間隔進路２１０は、関心物体、たとえば、道路標識２０６Ａ、が車両のデータ収集範囲内にあると推定される車両進路２０８の一部を示し得る。そのような実例において、収集間隔進路２１０内にあるタイムスタンプに関連するデータが、機械学習モデルのトレーニングにおいて使用するために収集され得る。
ここで図３を参照すると、図３は、本発明のいくつかの実施例による、物体を識別するためにセンサ・データに適用された注釈を有する注釈付きの画像３００の一実例を示す。ここで描写されているように、図３の検出された物体３０２Ａ、３０２Ｂ、及び３０２Ｃは、特定の画像３００において関心物体を識別するためにポリゴン又は境界形状で注釈を付けられている。たとえば、図３は、センサ・データ表現に適用された境界形状３０４Ａ、３０４Ｂ、及び３０４Ｃを描写する。いくつかの実例では、境界形状は、境界形状３０４Ａ及び３０４Ｂにあるように、境界ボックスとして実装され得る、及び／又は境界形状３０４Ｃにあるように、任意の他の形状又はポリゴン、たとえば、境界楕円、として実装され得る。境界形状３０４は、物体検出器１１０（たとえば、１つ又は複数の物体検出ネットワーク、機械学習モデル、コンピュータ・ビジョン・アルゴリズム、及び／又は同類のもの）を使用して生成され得、これらの境界形状は、機械学習モデル１０４への入力のためにセンサ・データ１０２を前処理（たとえば、クロップ、スケール変更など）するために使用され得る。
センサ・データ１０２（たとえば、前処理を有する又はその中の）の候補フレームが機械学習モデル１０４に適用された後は、候補フレームに対応する特徴ベクトルが、機械学習モデル１０４からの出力として及び／又は機械学習モデル１０４の１つ又は複数の内部層からの出力として取得され得る。たとえば、機械学習モデル１０４は、センサ・データ１０２の候補フレームのうちの各フレームの出力特徴ベクトルを生成し得る。
機械学習モデル１０４によって生成された特徴ベクトルは、テンプレート・データ１１６と比較され得る－類似性比較器１１２を使用して。類似性比較器１１２は、センサ・データ１０２の候補フレームに関連する特徴ベクトルとテンプレート・データ１１６に関連する特徴ベクトルとの間の類似性を計算することができる。いくつかの実施例において、類似性比較器１１２は、機械学習モデル１０４の出力に関連する特徴ベクトル及びテンプレート・データ１１６などのグラウンド・トゥルース・テンプレート・データを比較することに基づいて類似性スコアを計算することができる。少なくとも１つの実施例において、類似性比較器によって計算された類似性スコアは、類似性閾値と比較され得る。いくつかの実例では、テンプレート・データ１１６及び機械学習モデル１０４の出力に関連する類似性スコアが、類似性閾値を満たす場合、センサ・データ１０２に対応するインスタンス・データが、その機械学習モデル１０４及び／又は１つ又は複数の他の機械学習モデル１０４に提供され、トレーニング及び／又は更新するために使用され得る。
そのようなものとして、類似性比較器１１２によって計算された類似性スコアは、類似性スコアに少なくとも基づいてセンサ・データ１０２の１つ又は複数の候補フレームをランク付けするためにフレーム・ランカ１１８によって使用され得る。たとえば、フレーム・ランカ１１８は、類似性スコアを使用して、特定の関心物体のインスタンスを含む可能性が最も高い上位１００、１０００、５０００、１０，０００、又は他の数量のフレームのセットを決定することができる。
フレーム・ランカ１１８によって選択されたセンサ・データ１０２のフレームは、トレーニング・データ１２０として提供され得、機械学習モデルが受入れ可能な又は望ましい精度に収束するまで、機械学習モデル１０４及び／又は他の機械学習モデルのパラメータ（たとえば、重み及びバイアス）を更新するために使用され得る。プロセス１００を使用して、機械学習モデル１０４及び／又は他の機械学習モデルは、物体を正確に検出する、物体の分類（及び／又は他の物体識別）を予測する、及び／又はセンサ・データ１０２において表された物体に関する他の動作を実行するようにトレーニングされ得る。
本明細書に記載の機械学習モデル１０４及び／又は他の機械学習モデルは、任意のタイプの機械学習モデル、たとえば、線形回帰、ロジスティック回帰、決定木、サポート・ベクトル・マシン（ＳＶＭ）、ナイーブ・ベイズ、ｋ最近傍（Ｋｎｎ：ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）、Ｋ平均法クラスタリング、ランダム・フォレスト、次元縮退アルゴリズム、勾配ブースティング・アルゴリズム、ニューラル・ネットワーク（たとえば、オートエンコーダ、畳み込み、再発、パーセプトロン、長／短期メモリ／ＬＳＴＭ、ホップフィールド、ボルツマン、深層信念、デコンボリューション、敵対的生成、液体状態マシンなど）、関心領域検出アルゴリズム、コンピュータ・ビジョン・アルゴリズムを使用する機械学習モデル、及び／又は他のタイプの機械学習モデル、を含み得るが、これらに限定されない。
一実例として、たとえば、機械学習モデルがＣＮＮを含む場合、機械学習モデルは、任意の数の層を含み得る。層のうちの１つ又は複数は、入力層を含み得る。入力層は、センサ・データ１０２に関連する値を保持し得る（たとえば、後処理の前又は後）。たとえば、センサ・データ１０２が画像であるとき、入力層は、ボリューム（たとえば、幅、高さ、及び色チャネル（たとえば、ＲＧＢ）、たとえば、３２ｘ３２ｘ３）として画像の未加工画素値を表す値を保持し得る。
１つ又は複数の層は、畳み込み層を含み得る。畳み込み層は、入力層においてローカル領域に接続されたニューロンの出力を計算することができ、各ニューロンは、それらの重みと入力ボリュームにおいてそれらが接続された小さい領域とのドット積を計算する。畳み込み層の結果は、適用されるフィルタの数に基づく次元のうちの１つを有して、別のボリュームでもよい（たとえば、フィルタの幅、高さ、及び数、たとえば、１２がフィルタの数だった場合、３２ｘ３２ｘ１２）。
層のうちの１つ又は複数は、ＲｅＬＵ（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ）層を含み得る。ＲｅＬＵ層は、たとえば、ゼロで閾値化する要素ごとの活性化関数、たとえば、ｍａｘ（０，ｘ）、を適用し得る。ＲｅＬＵ層の結果的ボリュームは、ＲｅＬＵ層の入力のボリュームと同じでもよい。
層のうちの１つ又は複数は、プーリング層を含み得る。プーリング層は、プーリング層の入力より小さいボリュームをもたらし得る（たとえば、３２ｘ３２ｘ１２入力ボリュームから１６ｘ１６ｘ１２）、空間次元（たとえば、高さ及び幅）に沿ったダウンサンプリング動作を実行し得る。
層のうちの１つ又は複数は、１つ又は複数の完全に接続された層を含み得る。完全に接続された層内の各ニューロンは、前のボリュームにおいてニューロンのそれぞれに接続され得る。いくつかの実例では、ＣＮＮの層のうちの１つ又は複数の層の出力が、ＣＮＮの完全に接続された層への入力として提供され得るように、ＣＮＮは、完全に接続された層を含み得る。いくつかの実例では、１つ又は複数の畳み込みストリームが、機械学習モデルによって実装され得、畳み込みストリームのうちのいくつか又はすべては、それぞれの完全に接続された層を含み得る。
いくつかの非限定的実施例において、機械学習モデルは、グローバル・コンテキスト特徴抽出を円滑に進めるためのマルチスケール拡張型畳み込み及びアップサンプリング層が後に続く、画像特徴抽出を円滑に進めるための一連の畳み込み及びマックス・プーリング層を含み得る。
入力層、畳み込み層、プーリング層、ＲｅＬＵ層、及び完全に接続された層は、機械学習モデルに関して本明細書で論じられているが、これは限定を意図していない。たとえば、追加の又は代替の層、たとえば、正規化層、ＳｏｆｔＭａｘ層、及び／又は他の層タイプ、が、機械学習モデルにおいて使用され得る。
ここで図４～６を参照すると、本明細書に記載の方法４００、５００、及び６００の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアのうちの少なくとも１つ、或いはその組合せを使用して実行され得る計算プロセスを含む。たとえば、様々な機能は、メモリに記憶された命令を実行するプロセッサによって、実施され得る。方法はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法は、いくつか例を挙げると、独立型アプリケーション、サービス若しくはホスト型サービス（独立型の若しくは別のホスト型サービスと組み合わせた）、又は別の製品へのプラグインによって、提供され得る。加えて、方法４００、５００、及び６００は、例として、図１のプロセス１００に関して、説明されている。しかしながら、これらの方法は、本明細書に記載のものを含むが、これらに限定されない、任意の１つのシステム、又は任意の組合せのシステムによって追加で又は別法として実行され得る。
図４は、本開示のいくつかの実施例による、ニューラル・ネットワークを使用して物体を識別するための方法４００を示す流れ図である。方法４００は、ブロックＢ４０２において、マップ・データに少なくとも部分的に基づいて、目標物体に関連する１つ又は複数の物体位置を判定することを含む。たとえば、マップ・データ１１４は、目標物体に関連する１つ又は複数の物体位置を見つけるために、問い合わせされ得る。
方法４００は、ブロックＢ４０４において、１セットのセンサ・データに対応する物体位置及び位置データを使用して、物体位置に対応する１セットのセンサ・データからセンサ・データのサブセットを判定することを含む。たとえば、マップ・データ１１４（及び／又は視界又はセンサ・フィールド情報）及び判定された物体位置に基づいて、目標物体を含む可能性がより高いセンサ・データ１０２が、判定され得る。
方法４００は、ブロックＢ４０６において、センサ・データのサブセットの少なくとも１つのセンサ・データ・インスタンスについて、センサ・データ・インスタンスにおいて描写された目標物体のインスタンスに対応する特徴ベクトルを計算することを含む。たとえば、機械学習モデル１０４は、センサ・データ１０２に関連する特徴ベクトルを含む出力を生成し得る（たとえば、モデル１０４の出力として、又はモデル１０４の内部層の出力として）。
方法４００は、ブロックＢ４０８において、特徴ベクトルと目標物体のテンプレートに対応するテンプレート特徴ベクトルとの間の類似性スコアを判定することを含む。たとえば、類似性比較器１１２が、テンプレート・データ１１６からの特徴ベクトルをセンサ・データ１０２から生成された特徴ベクトルと比較するために使用され得る。
方法４００は、ブロックＢ４１０において、類似性スコアが閾値類似性スコアよりも大きいことに少なくとも部分的に基づいて、機械学習モデルの１つ又は複数の重みの更新において使用するために少なくとも１つのセンサ・データ・インスタンスを選択することを含む。たとえば、類似性比較器１１２によって計算された類似性スコアは、機械学習モデル１０４及び／又は１つ又は複数の他の機械学習モデルのトレーニングにおいて使用するためのデータのフレームを選択するために使用され得る。
ここで図５を参照すると、図５は、本開示のいくつかの実施例による、ニューラル・ネットワークを使用して物体を識別するための方法５００を示す流れ図である。方法５００は、ブロックＢ５０２において、マップ・データに少なくとも部分的に基づいて、目標物体に関連する１つ又は複数の物体位置を判定することを含む。たとえば、マップ・データ１１４は、タグ付けされ、目標物体に関連する１つ又は複数の物体位置及び／又はセンサ・データ記録セッションを見つけるために検索され得る。
方法５００は、ブロックＢ５０４において、１セットのセンサ・データに対応する物体位置及び位置データを使用して、物体位置に対応する１セットのセンサ・データからセンサ・データのサブセットを判定することを含む。たとえば、物体の位置に関連するマップ・データ１１４及び地理的情報に基づいて、目標物体は１サブセットのセンサ・データ１０２によって描写され得る又は他の方法で表され得るという判定が、行われ得る。
方法５００は、ブロックＢ５０６において、センサ・データのサブセットの少なくとも１つのセンサ・データ・インスタンスについて、センサ・データ・インスタンスにおいて描写された目標物体のインスタンスに対応する特徴ベクトルを計算することを含む。たとえば、機械学習モデル１０４は、センサ・データ１０２に関連する特徴ベクトルを含む出力を生成し得る。
方法５００は、ブロックＢ５０８において、特徴ベクトルと目標物体のテンプレートに対応するテンプレート特徴ベクトルとの間の類似性スコアを判定することを含む。たとえば、類似性比較器１１２が、テンプレート・データ１１６に関連する特徴ベクトルを機械学習モデル１０４の出力と比較するために使用され得る。
方法５００は、ブロックＢ５１０において、機械学習モデルの１つ又は複数の重みの更新において使用するための少なくとも１つのセンサ・データ・インスタンスを、類似性スコアが閾値類似性スコアよりも大きいことに少なくとも部分的に基づいて、選択することを含む。１つ又は複数の実施例において、トレーニングは、機械学習モデルの１つ又は複数のノードの重みを更新すること、マシン層モデルの１つ又は複数のノードを取り除くこと、又は機械学習モデルの１つ又は複数の他のパラメータを他の方法で修正することを含み得るが、これらに限定されない。たとえば、類似性比較器１１２によって計算された類似性スコアは、トレーニングのために１つ又は複数の機械学習モデルに提供するためのデータを識別するために使用され得る。
図６を参照すると、図６は、本開示のいくつかの実施例による、ニューラル・ネットワークを使用して物体を識別するための方法６００を示す流れ図である。方法６００は、ブロックＢ６０２において、目標関心物体に関連する１つ又は複数の物体位置を、マップ・データを使用して、判定することを含む。たとえば、マップ・データ１１４は、目標物体に関連する１つ又は複数の物体位置及び／又はデータ記録セッションを見つけるために問い合わせ及び検索され得る。
方法６００は、ブロックＢ６０４において、１つ又は複数の物体位置をマップ・データから１セットのセンサ・データに対応する物体位置及び位置データを使用するセンサ・データの１つ又は複数のフレームの生成に関連する１つ又は複数の車両位置にマッピングすることを含む。たとえば、マップ・データ１１４及び目標関心物体に関連する位置に基づいて、物体は、センサ・データ１０２のフレームに関連付けられ得る。
方法６００は、ブロックＢ６０６において、フレームにおいて描写された目標関心物体のインスタンスに関連する特徴ベクトルをセンサ・データのサブセットの少なくとも１つのセンサ・データ・インスタンスの目標関心物体のテンプレートに関連するテンプレート特徴ベクトルと比較することに少なくとも部分的に基づいてセンサ・データの１つ又は複数のフレームのうちの少なくとも１つのフレームの類似性スコアを判定することを含み、特徴ベクトルは、センサ・データ・インスタンスにおいて描写された目標物体のインスタンスに対応する。たとえば、類似性比較器１１２は、テンプレート・データ１２０に関してセンサ・データ１０２の１つ又は複数のフレームの類似性スコアを計算するために使用され得る。
方法６００は、ブロックＢ６０８において、各フレームの類似性スコアに基づいて画像データの１つ又は複数のフレームのうちの少なくとも１つのフレームをランク付けすることを含む。たとえば、フレーム・ランカ１１８は、それらのフレームの計算された類似性スコアに基づいて画像データのフレームのランク付けを決定し得る。
方法６００は、ブロックＢ６１０において、センサ・データの１つ又は複数のフレームのうちの少なくとも１つのフレームのランク付けに基づいて、画像データの１つ又は複数のフレームのうちの少なくとも１つのフレームにラベルを割り当てることを含み、ラベルは、目標関心物体に関連する分類を示す。たとえば、センサ・データ１０２の１つ又は複数のフレームは、ラベル付けされ、機械学習モデル１０４及び／又は他の機械学習モデルをトレーニングする（たとえば、パラメータ、その重み及びバイアスなど、を更新する）ために使用され得る。
方法６００は、ブロックＢ６１２において、グラウンド・トゥルース・データとしてのラベル及び少なくとも１つのフレームを使用して機械学習モデルの１つ又は複数の重みを更新することを含む。１つ又は複数の実施例において、トレーニングは、機械学習モデルの１つ又は複数のノードの重みを更新すること、マシン層モデルの１つ又は複数のノードを取り除くこと、又は機械学習モデルの１つ又は複数の他のパラメータを他の方法で修正することを含み得るが、これらに限定されない。たとえば、ラベル付けされたトレーニング・データ１２０は、トレーニングのために機械学習モデル１０４に提供され得る。
本明細書に記載のシステム及び方法は、非自律型車両、半自律型車両（たとえば、１つ又は複数の適応型運転者支援システム（ＡＤＡＳ：ａｄａｐｔｉｖｅ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）における）、有人及び無人ロボット又はロボティクス・プラットフォーム、倉庫車両、オフロード車両、１つ又は複数のトレーラに連結された車両、飛行船舶、ボート、シャトル、緊急対応車両、オートバイ、電気若しくは原動機付自転車、航空機、建設車両、潜水艦、ドローン、及び／又は、他の車両タイプによって使用されてもよいが、これに限定されない。さらに、本明細書に記載のシステム及び方法は、様々な目的で、たとえば及び限定せずに、マシン制御、マシン移動、マシン運転、合成データ生成、モデル・トレーニング、知覚、拡張現実、仮想現実、混合現実、ロボット工学、セキュリティ及び監視、自律又は半自律マシン・アプリケーション、深層学習、環境シミュレーション、データ・センタ処理、対話型ＡＩ、光輸送シミュレーション（たとえば、レイトレーシング、進路トレーシングなど）、３Ｄ資産の共同コンテンツ作成、クラウド・コンピューティング及び／又は任意の他の適切なアプリケーションのために、使用され得る。
開示される実施例は、自動車システム（たとえば、自律又は半自律マシンの制御システム、自律又は半自律マシンの認知システム）、ロボットを使用して実装されるシステム、航空システム、医療システム、船舶システム、スマート・エリア・モニタリング・システム、深層学習動作を実行するためのシステム、シミュレーション動作を実行するためのシステム、エッジ・デバイスを使用して実装されるシステム、１つ又は複数の仮想マシン（ＶＭ）を組み込むシステム、合成データ生成動作を実行するためのシステム、データ・センタにおいて少なくとも部分的に実装されるシステム、対話型ＡＩ動作を実行するためのシステム、光輸送シミュレーションを実行するためのシステム、３Ｄ資産の共同コンテンツ作成を実行するためのシステム、クラウド計算資源を使用して少なくとも部分的に実装されるシステム、及び／又は他のタイプのシステムなどの様々な異なるシステムに含まれ得る。
例示的自律型車両
図７Ａは、本開示のいくつかの実施例による、例示的自律型車両７００の図である。自律型車両７００（或いは、本明細書で「車両７００」と称される）は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトル、電気又は原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、トレーラに連結された車両、及び／又は別のタイプの車両（たとえば、無人の及び／又は１人若しくは複数の乗客を乗せた）を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通安全局（ＮＨＴＳＡ：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、米国運輸省の部署、及び自動車技術者協会（ＳＡＥ：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）「Ｔａｘｏｎｏｍｙ ａｎｄ Ｄｅｆｉｎｉｔｉｏｎｓ ｆｏｒ Ｔｅｒｍｓ Ｒｅｌａｔｅｄ ｔｏ Ｄｒｉｖｉｎｇ Ａｕｔｏｍａｔｉｏｎ Ｓｙｓｔｅｍｓ ｆｏｒ Ｏｎ－Ｒｏａｄ Ｍｏｔｏｒ Ｖｅｈｉｃｌｅ」（２０１８年６月１５日に公開された規格番号Ｊ３０１６－２０１８０６、２０１６年９月３０日に公開された規格番号Ｊ３０１６－２０１６０９、及びこの規格の前の及び未来のバージョン）によって定義される、自動化レベルに関して記述される。移動車７００は、自律運転レベルのレベル３～レベル５のうちの１つ又は複数による機能の能力を有し得る。車両７００は、自律運転レベルのレベル１～レベル５のうちの１つ又は複数による機能性の能力を有し得る。たとえば、車両７００は、実施例に応じて、運転者支援（レベル１）、部分的自動化（レベル２）、条件的自動化（レベル３）、高い自動化（レベル４）、及び／又は完全な自動化（レベル５）の能力を有し得る。本明細書では「自律」という用語は、車両７００又は他のマシンの任意の及び／又はすべてのタイプの自律性、たとえば、完全に自律していること、高度に自律していること、条件的に自律していること、部分的に自律していること、補助的自律を提供すること、半自律していること、主として自律していること、又は他の指定、を含み得る。
図７Ａは、本開示のいくつかの実施例による、例示的自律型車両７００の図である。自律型車両７００（或いは、本明細書で「車両７００」と称される）は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトル、電気又は原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、トレーラに連結された車両、及び／又は別のタイプの車両（たとえば、無人の及び／又は１人若しくは複数の乗客を乗せた）を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通安全局（ＮＨＴＳＡ：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、米国運輸省の部署、及び自動車技術者協会（ＳＡＥ：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）「Ｔａｘｏｎｏｍｙ ａｎｄ Ｄｅｆｉｎｉｔｉｏｎｓ ｆｏｒ Ｔｅｒｍｓ Ｒｅｌａｔｅｄ ｔｏ Ｄｒｉｖｉｎｇ Ａｕｔｏｍａｔｉｏｎ Ｓｙｓｔｅｍｓ ｆｏｒ Ｏｎ－Ｒｏａｄ Ｍｏｔｏｒ Ｖｅｈｉｃｌｅ」（２０１８年６月１５日に公開された規格番号Ｊ３０１６－２０１８０６、２０１６年９月３０日に公開された規格番号Ｊ３０１６－２０１６０９、及びこの規格の前の及び未来のバージョン）によって定義される、自動化レベルに関して記述される。移動車７００は、自律運転レベルのレベル３～レベル５のうちの１つ又は複数による機能の能力を有し得る。車両７００は、自律運転レベルのレベル１～レベル５のうちの１つ又は複数による機能性の能力を有し得る。たとえば、車両７００は、実施例に応じて、運転者支援（レベル１）、部分的自動化（レベル２）、条件的自動化（レベル３）、高い自動化（レベル４）、及び／又は完全な自動化（レベル５）の能力を有し得る。本明細書では「自律」という用語は、車両７００又は他のマシンの任意の及び／又はすべてのタイプの自律性、たとえば、完全に自律していること、高度に自律していること、条件的に自律していること、部分的に自律していること、補助的自律を提供すること、半自律していること、主として自律していること、又は他の指定、を含み得る。
移動車７００は、移動車のシャシ、車体、車輪（たとえば、２、４、６、８、１８など）、タイヤ、車軸、及び他の構成要素などの構成要素を含み得る。移動車７００は、内部燃焼エンジン、ハイブリッド動力装置、完全な電気式エンジン、及び／又は別の推進システム・タイプなど、推進システム７５０を含み得る。推進システム７５０は、移動車７００の推進力を有効にするために、トランスミッションを含み得る、移動車７００のドライブ・トレインに接続され得る。推進システム７５０は、スロットル／加速装置７５２からの信号の受信に応答して制御され得る。
ハンドルを含み得る、ステアリング・システム７５４は、推進システム７５０が動作しているときに（たとえば、移動車が移動中のときに）移動車７００のかじを取る（たとえば、所望の進路又はルートに沿って）ために使用され得る。ステアリング・システム７５４は、ステアリング・アクチュエータ７５６から信号を受信することができる。ハンドルは、完全自動化（レベル５）機能のオプションでもよい。
ブレーキ・センサ・システム７４６は、ブレーキ・アクチュエータ７４８及び／又はブレーキ・センサからの信号の受信に応答して移動車ブレーキを動作させるために使用され得る。
１つ又は複数のシステム・オン・チップ（ＳｏＣ：ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）７０４（図７Ｃ）及び／又はＧＰＵを含み得る、コントローラ７３６は、移動車７００の１つ若しくは複数の構成要素及び／又はシステムに信号（たとえば、コマンドの表現）を提供することができる。たとえば、コントローラは、１つ又は複数のブレーキ・アクチュエータ７４８を介して移動車ブレーキを動作させて、１つ又は複数のステアリング・アクチュエータ７５６を介してステアリング・システム７５４を動作させて、１つ又は複数のスロットル／加速装置７５２を介して推進システム７５０を動作させるために、信号を送ることができる。コントローラ７３６は、センサ信号を処理する、並びに律的運転を可能にするために及び／又は運転者の移動車７００の運転を支援するために動作コマンド（たとえば、コマンドを表す信号）を出力する、１つ又は複数の搭載された（たとえば、統合された）計算デバイス（たとえば、スーパーコンピュータ）を含み得る。コントローラ７３６は、自律運転機能のための第１のコントローラ７３６、機能的安全性機能のための第２のコントローラ７３６、人工知能機能（たとえば、コンピュータ・ビジョン）のための第３のコントローラ７３６、インフォテインメント機能のための第４のコントローラ７３６、緊急状態における冗長性のための第５のコントローラ７３６、及び／又は他のコントローラを含み得る。いくつかの実例では、単一のコントローラ７３６が、前述の機能のうちの２個以上を処理することができ、２個以上のコントローラ７３６が、単一の機能、及び／又はその任意の組合せを処理することができる。
コントローラ７３６は、１つ又は複数のセンサから受信したセンサ・データ（たとえば、センサ入力）に応答して移動車７００の１つ若しくは複数の構成要素及び／又はシステムを制御するための信号を提供することができる。センサ・データは、たとえば、そして制限なしに、全地球的航法衛星システム・センサ７５８（たとえば、グローバル・ポジショニング・システム・センサ）、ＲＡＤＡＲセンサ７６０、超音波センサ７６２、ＬＩＤＡＲセンサ７６４、慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ７６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン７９６、ステレオ・カメラ７６８、ワイド・ビュー・カメラ７７０（たとえば、魚眼カメラ）、赤外線カメラ７７２、サラウンド・カメラ７７４（たとえば、３６０度カメラ）、長距離及び／又は中距離カメラ７９８、スピード・センサ７４４（たとえば、移動車７００のスピードを測定するための）、振動センサ７４２、ステアリング・センサ７４０、ブレーキ・センサ（たとえば、ブレーキ・センサ・システム７４６の一部としての）、及び／又は他のセンサ・タイプから受信され得る。
コントローラ７３６のうちの１つ又は複数のコントローラは、移動車７００の計器群７３２から入力（たとえば、入力データによって表される）を受信し、出力（たとえば、出力データ、表示データなどによって表される）をヒューマン・マシン・インターフェース（ＨＭＩ：ｈｕｍａｎ－ｍａｃｈｉｎｅ ｉｎｔｅｒｆａｃｅ）ディスプレイ７３４、可聴式アナンシエータ、ラウドスピーカ、及び／又は移動車７００の他の構成要素を介して提供することができる。出力は、移動車ベロシティ、スピード、時間、マップ・データ（たとえば、図７ＣのＨＤマップ７２２）、位置データ（たとえば、マップ上などの、移動車の７００の位置）、方向、他の移動車の位置（たとえば、占有グリッド）、コントローラ７３６によって把握されるものとしての物体及び物体の状況に関する情報などの、情報を含み得る。たとえば、ＨＭＩディスプレイ７３４は、１つ又は複数の物体（たとえば、道路標識、警告標識、交通信号の変化など）の存在、及び／又は移動車が行った、行っている、又は行うであろう運転操作（たとえば、今、車線変更をしていること、３．２２ｋｍ（２マイル）内の出口３４Ｂを出ることなど）に関する情報を表示することができる。
移動車７００はさらに、１つ若しくは複数のワイヤレス・アンテナ７２６及び／又はモデムを使用して１つ若しくは複数のネットワークを介して通信することができるネットワーク・インターフェース７２４を含む。たとえば、ネットワーク・インターフェース７２４は、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００などを介する通信の能力を有し得る。ワイヤレス・アンテナ７２６はまた、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅなどのローカル・エリア・ネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどのロー・パワー・ワイドエリア・ネットワーク（ＬＰＷＡＮ：ｌｏｗ ｐｏｗｅｒ ｗｉｄｅ－ａｒｅａ ｎｅｔｗｏｒｋ）を使用し、環境内の物体（たとえば、移動車、モバイル・デバイスなど）の間の通信を可能にすることができる。
図７Ｂは、本開示のいくつかの実施例による、図７Ａの例示的自律型車両７００のカメラ位置及び視野の実例である。カメラ及びそれぞれの視野は、１つの例示的実施例であり、制限することは意図されていない。たとえば、追加の及び／又は代替カメラが含まれ得る、及び／又はカメラは移動車７００の異なる位置に置かれ得る。
カメラのカメラ・タイプは、移動車７００の構成要素及び／又はシステムと使用するようになされ得るデジタル・カメラを含み得るが、これに限定されない。カメラは、自動車安全整合性レベル（ＡＳＩＬ：ａｕｔｏｍｏｔｉｖｅ ｓａｆｅｔｙ ｉｎｔｅｇｒｉｔｙ ｌｅｖｅｌ）Ｂにおいて及び／又は別のＡＳＩＬにおいて動作することができる。カメラ・タイプは、実施例に応じて、６０フレーム／秒（ｆｐｓ）、１２０ｆｐｓ、２４０ｆｐｓなど、任意の画像キャプチャ・レートの能力を有し得る。カメラは、ロール・シャッタ、グローバル・シャッタ、別のタイプのシャッタ、又はその組合せを使用する能力を有し得る。いくつかの実例では、カラー・フィルタ・アレイは、ＲＣＣＣ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｃｌｅａｒ）カラー・フィルタ・アレイ、ＲＣＣＢ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｂｌｕｅ）カラー・フィルタ・アレイ、ＲＢＧＣ（ｒｅｄ ｂｌｕｅ ｇｒｅｅｎ ｃｌｅａｒ）カラー・フィルタ・アレイ、Ｆｏｖｅｏｎ Ｘ３カラー・フィルタ・アレイ、Ｂａｙｅｒセンサ（ＲＧＧＢ）カラー・フィルタ・アレイ、モノクロ・センサ・カラー・フィルタ・アレイ、及び／又は別のタイプのカラー・フィルタ・アレイを含み得る。一部の実施例では、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣカラー・フィルタ・アレイを有するカメラなどのクリア画素カメラは、光感度を上げるための取り組みにおいて使用され得る。
いくつかの実例では、カメラのうちの１つ又は複数が、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）機能（たとえば、冗長又はフェイルセーフ設計の一部として）を実行するために使用され得る。たとえば、多機能モノ・カメラは、車線逸脱警報、交通標識アシスト及びインテリジェント・ヘッドランプ制御を含む機能を提供するために設置され得る。カメラのうちの１つ又は複数（たとえば、すべてのカメラ）が、画像データ（たとえば、ビデオ）を同時に記録及び提供することができる。
カメラのうちの１つ又は複数は、カメラの画像データ・キャプチャ能力を妨げることがある自動車内からの迷光及び反射（たとえば、フロントガラスのミラーにおいて反射されたダッシュボードからの反射）を取り除くために、カスタム設計された（３Ｄ印刷された）部品などの取付部品において取り付けられ得る。サイドミラー取付部品を参照すると、サイドミラー部品は、カメラ取付板がサイドミラーの形状に合うように、カスタム３Ｄ印刷され得る。いくつかの実例では、カメラは、サイドミラー内に統合され得る。サイドビュー・カメラについては、カメラはまた、キャビンの各角にある４個の支柱内に統合され得る。
移動車７００の前の環境の部分を含む視野を有するカメラ（たとえば、前向きのカメラ）は、前向きの進路及び障害物の識別を助け、１つ若しくは複数のコントローラ７３６及び／又は制御ＳｏＣの助けにより、占有グリッドの生成及び／又は好ましい移動車進路の決定に不可欠な情報の提供の提供を助けるための、サラウンド・ビューのために使用され得る。前向きのカメラは、緊急ブレーキ、歩行者検出、及び衝突回避を含む、ＬＩＤＡＲと同じＡＤＡＳ機能の多くを実行するために使用され得る。前向きのカメラはまた、車線逸脱警報（ＬＤＷ：Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ）、自律的クルーズ制御（ＡＣＣ：Ａｕｔｏｎｏｍｏｕｓ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）、及び／又は交通標識認識などの他の機能を含むＡＤＡＳ機能及びシステムのために使用され得る。
様々なカメラが、たとえば、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カラー画像化装置を含む単眼カメラ・プラットフォームを含む、前向きの構成において使用され得る。別の実例は、周辺（たとえば、歩行者、交差する交通又は自転車）からのビューに入る物体を把握するために使用され得るワイド・ビュー・カメラ７７０でもよい。図７Ｂにはワイド・ビュー・カメラは１つだけ示されているが、移動車７００には任意の数のワイド・ビュー・カメラ７７０が存在し得る。加えて、長距離カメラ７９８（たとえば、ロングビュー・ステレオ・カメラ・ペア）が、特に、ニューラル・ネットワークがまだトレーニングされていない物体について、深度ベースの物体検出のために使用され得る。長距離カメラ７９８はまた、物体検出及び分類、並びに基本物体追跡のために使用され得る。
１つ又は複数のステレオ・カメラ７６８もまた、前向きの構成に含まれ得る。ステレオ・カメラ７６８は、単一のチップ上に統合されたＣＡＮ又はイーサネット（登録商標）・インターフェースを有するプログラマブル論理（ＦＰＧＡ）及びマルチコア・マイクロプロセッサを提供し得る、拡張可能な処理ユニットを備えた統合された制御ユニットを含み得る。そのようなユニットは、画像内のすべてのポイントの距離推定値を含む、移動車の環境の３Ｄマップを生成するために使用され得る。代替ステレオ・カメラ７６８は、２個のカメラ・レンズ（左と右に１つずつ）と、移動車から対象物体までの距離を測定する及び生成された情報（たとえば、メタデータ）を使用して自律的緊急ブレーキ及び車線逸脱警報機能をアクティブにすることができる画像処理チップとを含み得る、コンパクト・ステレオ・ビジョン・センサを含み得る。他のタイプのステレオ・カメラ７６８が、本明細書に記載のものに加えて、又はそれらの代わりに、使用されてもよい。
移動車７００の側面に対する環境の部分を含む視野を有するカメラ（たとえば、サイドビュー・カメラ）が、占有グリッドを作成及び更新するために並びに側面衝撃衝突警報を生成するために使用される情報を提供する、サラウンド・ビューのために使用され得る。たとえば、サラウンド・カメラ７７４（たとえば、図７Ｂに示されるような４個のサラウンド・カメラ７７４）は、移動車７００上に位置付けられ得る。サラウンド・カメラ７７４は、ワイド・ビュー・カメラ７７０、魚眼カメラ、３６０度カメラ、及び／又は同類のものを含み得る。たとえば、４個の魚眼カメラが、移動車の前、後ろ、及び側面に配置され得る。代替配置において、移動車は、３個のサラウンド・カメラ７７４（たとえば、左、右、及び後部）を使用してもよく、第４のサラウンド・ビュー・カメラとして１つ又は複数の他のカメラ（たとえば、前向きのカメラ）を活用してもよい。
移動車７００の後ろに対する環境の部分を含む視野を有するカメラ（たとえば、後方確認カメラ）が、駐車支援、サラウンド・ビュー、後部衝突警報、並びに占有グリッドの作成及び更新のために使用され得る。本明細書に記載のように、前向きのカメラ（たとえば、長距離及び／又は中距離カメラ７９８、ステレオ・カメラ７６８）、赤外線カメラ７７２など）としても適したカメラを含むがこれらに限定されない、多種多様なカメラが使用され得る。
図７Ｃは、本開示のいくつかの実施例による、図７Ａの例示的自律型車両７００の例示的システム・アーキテクチャのブロック図である。本明細書に記載されているこの及び他の配置は単に実例として説明されていることを理解されたい。他の配置及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素はともに除外されてもよい。さらに、本明細書に記載の要素の多くは、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。
図７Ｃの移動車７００の構成要素、特徴、及びシステムのそれぞれは、バス７０２を介して接続されるものとして図示されている。バス７０２は、コントローラ・エリア・ネットワーク（ＣＡＮ）データ・インターフェース（或いは、「ＣＡＮバス」と称される）を含み得る。ＣＡＮは、ブレーキ、加速度、ブレーキ、ステアリング、フロントガラス・ワイパなどの作動など、移動車７００の様々な特徴及び機能の制御を助けるために使用される移動車７００内のネットワークでもよい。ＣＡＮバスは、それぞれが独自の一意の識別子（たとえば、ＣＡＮ ＩＤ）を有する、数ダース又は数百ものノードを有するように構成され得る。ＣＡＮバスは、ハンドル角度、対地速度、１分間のエンジン回転（ＲＰＭ：ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｕｔｅ）、ボタン位置、及び／又は他の移動車状況指標を見つけるために読み取られ得る。ＣＡＮバスは、ＡＳＩＬ Ｂ準拠でもよい。
バス７０２は、ＣＡＮバスであるものとして本明細書に記載されているが、これは制限することを意図されていない。たとえば、ＣＡＮバスに加えて、又はこのその代替として、ＦｌｅｘＲａｙ及び／又はイーサネット（登録商標）が使用されてもよい。加えて、単一の線が、バス７０２を表すために使用されているが、これは制限することを意図されていない。たとえば、１つ若しくは複数のＣＡＮバス、１つ若しくは複数のＦｌｅｘＲａｙバス、１つ若しくは複数のイーサネット（登録商標）・バス、及び／又は異なるプロトコルを使用する１つ若しくは複数の他のタイプのバスを含み得る、任意の数のバス７０２が存在し得る。いくつかの実例では、２個以上のバス７０２が、異なる機能を実行するために使用され得る、及び／又は冗長性のために使用され得る。たとえば、第１のバス７０２は衝突回避機能のために使用されてもよく、第２のバス７０２は作動制御のために使用されてもよい。任意の実例において、各バス７０２は、移動車７００の構成要素のいずれかと通信し得、２個以上のバス７０２が同じ構成要素と通信し得る。いくつかの実例では、移動車内の各ＳｏＣ７０４、各コントローラ７３６、及び／又は各コンピュータは、同じ入力データ（たとえば、移動車７００のセンサからの入力）へのアクセスを有し得、ＣＡＮバスなどの共通バスに接続され得る。
移動車７００は、図７Ａに関して本明細書で説明されるものなど、１つ又は複数のコントローラ７３６を含み得る。コントローラ７３６は、様々な機能のために使用され得る。コントローラ７３６は、移動車７００の様々な他の構成要素及びシステムのいずれかに連結されてもよく、移動車７００、移動車７００の人工知能、移動車７００のためのインフォテインメント、及び／又は同類のものの制御のために使用され得る。
移動車７００は、システム・オン・チップ（ＳｏＣ）７０４を含み得る。ＳｏＣ７０４は、ＣＰＵ７０６、ＧＰＵ７０８、プロセッサ７１０、キャッシュ７１２、加速装置７１４、データ・ストア７１６、及び／又は図示されていない他の構成要素及び特徴を含み得る。ＳｏＣ７０４は、様々なプラットフォーム及びシステム内の移動車７００を制御するために使用され得る。たとえば、ＳｏＣ７０４は、１つ又は複数のサーバ（たとえば、図７Ｄのサーバ７７８）からネットワーク・インターフェース７２４を介してマップのリフレッシュ及び／又は更新を取得することができるＨＤマップ７２２を有するシステム（たとえば、移動車７００のシステム）において結合され得る。
ＣＰＵ７０６は、ＣＰＵクラスタ又はＣＰＵ複合体（或いは、「ＣＣＰＬＥＸ」とも称される）を含み得る。ＣＰＵ７０６は、複数のコア及び／又はＬ２キャッシュを含み得る。たとえば、一部の実施例では、ＣＰＵ７０６は、コヒーレント・マルチプロセッサ構成内の８個のコアを含み得る。一部の実施例では、ＣＰＵ７０６は、４個のデュアルコア・クラスタを含むことができ、各クラスタが専用のＬ２キャッシュ（たとえば、２ＭＢＬ２キャッシュ）を有する。ＣＰＵ７０６（たとえば、ＣＣＰＬＥＸ）は、ＣＰＵ７０６のクラスタの任意の組合せが任意の所与の時間にアクティブになることを可能にする同時クラスタ動作をサポートするように構成され得る。
ＣＰＵ７０６は、以下の特徴のうちの１つ又は複数を含む電力管理能力を実装することができる：個別ハードウェア・ブロックが、動的電力を節約するためにアイドル状態のときに自動的にクロック・ゲーティングされ得る、各コア・クロックは、ＷＦＩ／ＷＦＥ命令の実行により命令をコアがアクティブに実行していないときにゲーティングされ得る、各コアは、独立してパワー・ゲーティングされ得る、各コア・クラスタは、すべてのコアがクロック・ゲーティングされる若しくはパワー・ゲーティングされるときに、独立してクロック・ゲーティングされ得る、及び／又は、各コア・クラスタは、すべてのコアがパワー・ゲーティングされるときに、独立してパワー・ゲーティングされ得る。ＣＰＵ７０６は、電力状態を管理するための強化されたアルゴリズムをさらに実装することができ、そこでは、許容される電力状態及び予想されるウェイクアップ時間が指定され、ハードウェア／マイクロ・コードが、コア、クラスタ、及びＣＣＰＬＥＸに入力するための最良の電力状態を決定する。処理コアは、作業がマイクロ・コードにオフロードされたソフトウェアにおける簡略化された電力状態入力シーケンスをサポートすることができる。
ＧＰＵ７０８は、統合されたＧＰＵ（或いは本明細書において「ｉＧＰＵ」と称される）を含み得る。ＧＰＵ７０８は、プログラマブルになり得、並行のワークロードに効率的になり得る。一部の実例では、ＧＰＵ７０８は、強化されたテンソル命令セットを使用することができる。ＧＰＵ７０８は、１つ又は複数のストリーミング・マイクロプロセッサを含み得、そこで、各ストリーミング・マイクロプロセッサは、Ｌ１キャッシュ（たとえば、少なくとも９６ＫＢ記憶容量を有するＬ１キャッシュ）を含み得、ストリーミング・マイクロプロセッサのうちの２個以上が、キャッシュ（たとえば、５１２ＫＢ記憶容量を有するＬ２キャッシュ）を共用し得る。一部の実施例では、ＧＰＵ７０８は、少なくとも８個のストリーミング・マイクロプロセッサを含み得る。ＧＰＵ７０８は、計算アプリケーション・プログラミング・インターフェース（ＡＰＩ）を使用することができる。加えて、ＧＰＵ７０８は、１つ若しくは複数の並行のコンピューティング・プラットフォーム及び／又はプログラミング・モデル（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を使用することができる。
ＧＰＵ７０８は、自動車の及び組み込まれた使用事例における最高のパフォーマンスのために電力最適化され得る。たとえば、ＧＰＵ７０８は、ＦｉｎＦＥＴ（Ｆｉｎ ｆｉｅｌｄ－ｅｆｆｅｃｔ ｔｒａｎｓｉｓｔｏｒ）上に製造され得る。しかしながら、これは制限することを意図されておらず、ＧＰＵ７０８は、他の半導体製造プロセスを使用し、製造され得る。各ストリーミング・マイクロプロセッサは、複数のブロックに区切られたいくつかの混合精度処理コアを組み込むことができる。限定ではなく、たとえば、６４ ＰＦ３２コア及び３２ ＰＦ６４コアは、４個の処理ブロックに区切られてもよい。そのような実例では、各処理ブロックは、１６ ＦＰ３２コア、８ ＦＰ６４コア、１６ ＩＮＴ３２コア、深層学習行列演算のための２個の混合精度ＮＶＩＤＩＡテンソル・コア、Ｌ０命令キャッシュ、ワープ・スケジューラ、発送ユニット、及び／又は６４ＫＢレジスタ・ファイルを割り当てられ得る。加えて、ストリーミング・マイクロプロセッサは、計算及びアドレス指定演算の混合を有するワークロードの効率的な実行を提供するための独立した並行の整数及び浮動小数点データ進路を含み得る。ストリーミング・マイクロプロセッサは、並行スレッドの間のより高い細粒度の同期及び連携を可能にするために、独立したスレッド・スケジューリング能力を含み得る。ストリーミング・マイクロプロセッサは、プログラミングを単純化しつつ性能を向上させるために、結合されたＬ１データ・キャッシュ及び共用メモリ・ユニットを含み得る。
ＧＰＵ７０８は、一部の実例では、９００ＧＢ／秒のピーク・メモリ帯域幅に関して、提供するための高帯域幅メモリ（ＨＢＭ：ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ）及び／又は１６ＧＢＨＢＭ２メモリ・サブシステムを含み得る。いくつかの実例では、ＨＢＭメモリに加えて、又はこれの代わりに、グラフィックス・ダブル・データ・レート・タイプ５同期ランダム・アクセス・メモリ（ＧＤＤＲ５：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ ｔｙｐｅ ｆｉｖｅ ｓｙｎｃｈｒｏｎｏｕｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）などの同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ：ｓｙｎｃｈｒｏｎｏｕｓ ｇｒａｐｈｉｃｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）が使用され得る。
ＧＰＵ７０８は、メモリ・ページに最も頻繁にアクセスするプロセッサへのそれらのメモリ・ページのより正確な移動を可能にするためにアクセス・カウンタを含む統一されたメモリ技術を含むことができ、それにより、プロセッサ間で共用される記憶範囲の効率を向上させる。いくつかの実例では、アドレス変換サービス（ＡＴＳ：ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ ｓｅｒｖｉｃｅ）サポートが、ＧＰＵ７０８がＣＰＵ７０６ページ・テーブルに直接アクセスすることを可能にするために使用され得る。そのような実例では、ＧＰＵ７０８メモリ管理ユニット（ＭＭＵ：ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ）がミスを経験するとき、アドレス変換要求が、ＣＰＵ７０６に送信され得る。応答して、ＣＰＵ７０６は、アドレスの仮想対現実マッピングのためのそのページ・テーブルを調べることができ、ＧＰＵ７０８に変換を送り返す。そのようなものとして、統一されたメモリ技術は、ＣＰＵ７０６とＧＰＵ７０８との両方のメモリの単一統一仮想アドレス空間を可能にすることができ、それによりＧＰＵ７０８へのアプリケーションのＧＰＵ７０８プログラミング及び移植を単純化する。
加えて、ＧＰＵ７０８は、他のプロセッサのメモリへのＧＰＵ７０８のアクセスの頻度を記録することができるアクセス・カウンタを含み得る。アクセス・カウンタは、メモリ・ページが最も頻繁にそのページにアクセスしているプロセッサの物理メモリに移動されることを確実にするのを助けることができる。
ＳｏＣ７０４は、本明細書に記載のものを含む任意の数のキャッシュ７１２を含み得る。たとえば、キャッシュ７１２は、ＣＰＵ７０６とＧＰＵ７０８との両方に利用可能な（たとえば、ＣＰＵ７０６とＧＰＵ７０８との両方に接続された）Ｌ３キャッシュを含み得る。キャッシュ７１２は、キャッシュ・コヒーレンス・プロトコル（たとえば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することなどによって、線の状態を記録することができるライトバック・キャッシュを含み得る。Ｌ３キャッシュは、より小さいキャッシュ・サイズが使用されてもよいが、実施例に応じて、４ＭＢ以上を含み得る。
ＳｏＣ７０４は、車両７００の様々なタスク又は動作のいずれか（たとえば、処理ＤＮＮ）に関して処理を実行する際に活用され得る論理演算ユニット（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）を含み得る。加えて、ＳｏＣ７０４は、システム内で数学演算を実行するための浮動小数点演算ユニット（ＦＰＵ：ｆｌｏａｔｉｎｇ ｐｏｉｎｔ ｕｎｉｔ）（又は他のマス・コプロセッサ又は数値演算コプロセッサ・タイプ）を含み得る。たとえば、ＳｏＣ１０４は、ＣＰＵ７０６及び／又はＧＰＵ７０８内の実行ユニットとして統合された１つ又は複数のＦＰＵを含み得る。
ＳｏＣ７０４は、１つ又は複数の加速装置７１４（たとえば、ハードウェア・加速装置、ソフトウェア・加速装置、又はその組合せ）を含み得る。たとえば、ＳｏＣ７０４は、最適化されたハードウェア加速装置及び／又は大きなオンチップ・メモリを含み得る、ハードウェア加速クラスタを含み得る。大きなオンチップメモリ（たとえば、４ＭＢのＳＲＡＭ）は、ハードウェア加速クラスタがニューラル・ネットワーク及び他の演算を加速することを可能にし得る。ハードウェア加速クラスタは、ＧＰＵ７０８を補完するために及びＧＰＵ７０８のタスクの一部をオフロードするために（たとえば、他のタスクを実行するためのＧＰＵ７０８のより多くのサイクルを解放するために）使用され得る。一実例として、加速装置７１４は、加速に適するように十分に安定している対象ワークロード（たとえば、知覚、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）など）のために使用され得る。本明細書では、「ＣＮＮ」という用語は、領域ベースの又は領域的畳み込みニューラル・ネットワーク（ＲＣＮＮ：ｒｅｇｉｏｎａｌ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）及び高速ＲＣＮＮ（たとえば、物体検出のために使用されるものとしての）を含む、すべてのタイプのＣＮＮを含み得る。
加速装置７１４（たとえば、ハードウェア加速クラスタ）は、深層学習加速装置（ＤＬＡ：ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＤＬＡは、深層学習アプリケーション及び推論のために１秒あたり追加の１０兆の動作を提供するように構成することができる１つ又は複数のテンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含み得る。ＴＰＵは、画像処理機能（たとえば、ＣＮＮ、ＲＣＮＮなどの）を実行するように構成及び最適化された加速装置でもよい。ＤＬＡはさらに、特定のセットのニューラル・ネットワーク・タイプ及び浮動小数点演算、並びに推論のために最適化され得る。ＤＬＡの設計は、汎用ＧＰＵよりも１ミリメートルあたりより多くのパフォーマンスを提供することができ、ＣＰＵのパフォーマンスを大きく超える。ＴＰＵは、たとえば、特徴と重みとの両方についてＩＮＴ８、ＩＮＴ１６、及びＦＰ１６データ・タイプをサポートする、単一インスタンス畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実行することができる。
ＤＬＡは、以下を含むがこれらに限定されない、様々な機能のいずれかのために処理済み又は未処理のデータでニューラル・ネットワーク、特にＣＮＮ、を迅速に及び効率的に実行することができる：カメラ・センサからのデータを使用する物体識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する距離推定のためのＣＮＮ、マイクロフォンからのデータを使用する緊急車両検出及び識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する顔認識及び移動車所有者識別のためのＣＮＮ、及び／又は、セキュリティ及び／又は安全性関連イベントのためのＣＮＮ。
ＤＬＡは、ＧＰＵ７０８の任意の機能を実行することができ、そして、推論加速装置を使用することによって、たとえば、設計者は、任意の機能のためにＤＬＡ又はＧＰＵ７０８のいずれかを対象にすることができる。たとえば、設計者は、ＤＬＡ上のＣＮＮ及び浮動小数点演算の処理に重点的に取り組み、他の機能をＧＰＵ７０８及び／又は他の加速装置７１４に任せることができる。
加速装置７１４（たとえば、ハードウェア加速クラスタ）は、或いはコンピュータ・ビジョン加速装置と本明細書で称され得るプログラマブル・ビジョン加速装置（ＰＶＡ：ｐｒｏｇｒａｍｍａｂｌｅ ｖｉｓｉｏｎ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＰＶＡは、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）、自律運転、及び／又は拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）及び／又は仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）アプリケーションのためのコンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。ＰＶＡは、パフォーマンスと柔軟性との間のバランスをもたらすことができる。たとえば、各ＰＶＡは、たとえば、任意の数の縮小命令セット・コンピュータ（ＲＩＳＣ：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）コア、直接メモリ・アクセス（ＤＭＡ：ｄｉｒｅｃｔ ｍｅｍｏｒｙ ａｃｃｅｓｓ）、及び／又は任意の数のベクトル・プロセッサを含み得るが、これらに限定されない。
ＲＩＳＣコアは、画像センサ（たとえば、本明細書に記載のカメラのうちのいずれかのカメラの画像センサ）、画像信号プロセッサ、及び／又は同類のものと相互作用することができる。それぞれのＲＩＳＣコアは、任意の量のメモリを含み得る。ＲＩＳＣコアは、実施例に応じて、いくつかのプロトコルのいずれかを使用することができる。いくつかの実例では、ＲＩＳＣコアは、リアルタイム・オペレーティング・システム（ＲＴＯＳ：ｒｅａｌ－ｔｉｍｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を実行することができる。ＲＩＳＣコアは、１つ若しくは複数の集積回路デバイス、特定用途向け集積回路（ＡＳＩＣ）、及び／又はメモリ・デバイスを使用して、実装され得る。たとえば、ＲＩＳＣコアは、命令キャッシュ及び／又はしっかりと結合されたＲＡＭを含み得る。
ＤＭＡは、ＣＰＵ７０６から独立したシステム・メモリにＰＶＡの構成要素がアクセスすることを可能にし得る。ＤＭＡは、多次元アドレス指定及び／又は循環アドレス指定をサポートすることを含むがこれに限定されないＰＶＡに最適化をもたらすために使用される任意の数の特徴をサポートすることができる。いくつかの実例では、ＤＭＡは、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び／又は深度ステッピングを含み得る、６次元まで又はそれ以上のアドレス指定をサポートすることができる。
ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのプログラミングを効率的に柔軟に実行する及び信号処理能力を提供するように設計され得るプログラマブル・プロセッサでもよい。いくつかの実例では、ＰＶＡは、ＰＶＡコア及び２個のベクトル処理サブシステム・パーティションを含み得る。ＰＶＡコアは、プロセッサ・サブシステム、ＤＭＡエンジン（たとえば、２個のＤＭＡエンジン）、及び／又は他の周辺装置を含み得る。ベクトル処理サブシステムは、ＰＶＡの１次的処理エンジンとして動作することができ、ベクトル処理ユニット（ＶＰＵ：ｖｅｃｔｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、命令キャッシュ、及び／又はベクトル・メモリ（たとえば、ＶＭＥＭ）を含み得る。ＶＰＵコアは、たとえば、単一の命令、複数のデータ（ＳＩＭＤ）、超長命令語（ＶＬＩＷ：ｖｅｒｙ ｌｏｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｗｏｒｄ）デジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。ＳＩＭＤ及びＶＬＩＷの組合せは、スループット及びスピードを高めることができる。
それぞれのベクトル・プロセッサは、命令キャッシュを含み得、専用のメモリに連結され得る。結果として、一部の実例では、それぞれのベクトル・プロセッサは、他のベクトル・プロセッサから独立して実行するように構成され得る。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、データ並列処理を用いるように構成され得る。たとえば、一部の実施例では、単一のＰＶＡに含まれる複数のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを、しかし画像の異なる領域上で、実行することができる。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを、同じ画像上で、同時に実行することができ、或いは順次画像又は画像の部分で異なるアルゴリズムを実行することさえできる。特に、任意の数のＰＶＡは、ハードウェア加速クラスタに含まれ得、任意の数のベクトル・プロセッサは、それぞれのＰＶＡに含まれ得る。加えて、ＰＶＡは、全体的システム安全性を高めるために、追加のエラー訂正コード（ＥＣＣ：ｅｒｒｏｒ ｃｏｒｒｅｃｔｉｎｇ ｃｏｄｅ）メモリを含み得る。
加速装置７１４（たとえば、ハードウェア加速クラスタ）は、加速装置７１４のための高帯域幅、低レイテンシＳＲＡＭを提供するための、コンピュータ・ビジョン・ネットワーク・オンチップ及びＳＲＡＭを含み得る。いくつかの実例では、オンチップ・メモリは、たとえば、そして制限ではなく、ＰＶＡとＤＬＡとの両方によってアクセス可能でもよい、８個のフィールド構成可能なメモリ・ブロックから成る、少なくとも４ＭＢのＳＲＡＭを含み得る。各ペアのメモリ・ブロックは、高度周辺バス（ＡＰＢ：ａｄｖａｎｃｅｄ ｐｅｒｉｐｈｅｒａｌ ｂｕｓ）インターフェース、構成回路、コントローラ、及びマルチプレクサを含み得る。任意のタイプのメモリが、使用され得る。ＰＶＡ及びＤＬＡは、メモリへの高速アクセスを有するＰＶＡ及びＤＬＡを提供するバックボーンを介してメモリにアクセスすることができる。バックボーンは、（たとえば、ＡＰＢを使用して）ＰＶＡ及びＤＬＡをメモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。
コンピュータ・ビジョン・ネットワーク・オンチップは、ＰＶＡとＤＬＡとの両方が作動可能及び有効信号を提供することを、任意の制御信号／アドレス／データの送信の前に、決定するインターフェースを含み得る。そのようなインターフェースは、制御信号／アドレス／データを送信するための別個のフェーズ及び別個のチャネル、並びに連続的データ転送のためのバーストタイプの通信を提供することができる。このタイプのインターフェースは、ＩＳＯ２６２６２又はＩＥＣ６１５０８規格に従うことができるが、他の規格及びプロトコルが使用されてもよい。
いくつかの実例では、ＳｏＣ７０４は、２０１８年８月１０日に出願された特許文献１に記載されるような、リアルタイム・レイトレーシング・ハードウェア加速装置を含み得る。リアルタイム・レイトレーシング・ハードウェア加速装置は、ＲＡＤＡＲ信号解釈のための、音響伝播合成及び／又は分析のための、ＳＯＮＡＲシステムのシミュレーションのための、一般波伝播シミュレーションのための、ローカリゼーション及び／又は他の機能を目的とするＬＩＤＡＲデータに対する比較のための、及び／又は他の使用のための、リアルタイム視覚化シミュレーションを生成するために、（たとえば、世界モデル内の）物体の位置及び規模を迅速に効率的に決定するために使用され得る。一部の実施例では、１つ又は複数の木の走査ユニット（ＴＴＵ：ｔｒｅｅ ｔｒａｖｅｒｓａｌ ｕｎｉｔ）が、１つ又は複数のレイトレーシング関連動作を実行するために使用され得る。
加速装置７１４（たとえば、ハードウェア加速装置クラスタ）は、自律運転のための多様な用途を有する。ＰＶＡは、ＡＤＡＳ及び自律型車両における極めて重要な処理段階に使用され得るプログラマブル・ビジョン加速装置でもよい。ＰＶＡの能力は、低電力及び低レイテンシにおいて、予測可能な処理を必要とするアルゴリズムの領域にふさわしい。言い換えれば、ＰＶＡは、低レイテンシ及び低電力とともに予測可能な実行時間を必要とする、小さなデータ集合上でも、半高密度の又は高密度の通常の計算で上手く機能する。それ故に、ＰＶＡは、物体検出及び整数計算での動作において効率的であるので、自律型車両のためのプラットフォームとの関連で、ＰＶＡは、クラシック・コンピュータ・ビジョン・アルゴリズムを実行するように設計される。
たとえば、本技術の１つの実施例によれば、ＰＶＡは、コンピュータ・ステレオ・ビジョンを実行するために使用される。半グローバルなマッチングベースのアルゴリズムが、一部の実例では使用され得るが、これは制限することを意図されていない。レベル３～５の自律運転のための多数のアプリケーションは、動き推定／ステレオ・マッチング・オンザフライ（たとえば、ＳＦＭ（ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ）、歩行者認識、レーン検出など）を必要とする。ＰＶＡは、２個の単眼カメラからの入力でコンピュータ・ステレオ・ビジョン機能を実行することができる。
いくつかの実例では、ＰＶＡは、高密度のオプティカル・フローを実行するために使用され得る。処理されたＲＡＤＡＲを提供するために未加工のＲＡＤＡＲデータを処理する（たとえば、４Ｄ高速フーリエ変換を使用して）ことによる。他の実例において、ＰＶＡは、たとえば、飛行データの未加工の時間を処理して飛行データの処理済み時間を提供することにより、飛行深度処理の時間に使用される。
ＤＬＡは、たとえば、各物体検出の信頼性の測定値を出力するニューラル・ネットワークを含む、制御及び運転安全性を強化するために任意のタイプのネットワークを実行するために使用され得る。そのような信頼性値は、確率として、又は他の検出と比較した各検出の相対的「重み」を提供するものとして、解釈され得る。この信頼性値は、どの検出が誤判定検出ではなくて真陽性検出と考えられるべきであるかに関するさらなる決定をシステムが行うことを可能にする。たとえば、システムは、信頼性の閾値を設定し、真陽性検出としての閾値を超える検出のみを考慮することができる。自動非常ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）システムにおいて、誤判定検出は、移動車に非常ブレーキを自動で実行させることになり、これは明らかに望ましくない。したがって、最も確信のある検出のみが、ＡＥＢのトリガとして考えられるべきである。ＤＬＡは、信頼性値を退行するニューラル・ネットワークを実行し得る。ニューラル・ネットワークは、境界ボックス次元、（たとえば、別のサブシステムから）取得されたグラウンド・プレーン推定、ニューラル・ネットワーク及び／又は他のセンサ（たとえば、ＬＩＤＡＲセンサ７６４又はＲＡＤＡＲセンサ７６０）から取得された物体の移動車７００方位、距離、３Ｄ位置推定と相関する慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ７６６出力、その他など、少なくともいくつかのサブセットのパラメータをその入力として受け取ることができる。
ＳｏＣ７０４は、データ・ストア７１６（たとえば、メモリ）を含み得る。データ・ストア７１６は、ＳｏＣ７０４のオンチップ・メモリでもよく、ＧＰＵ及び／又はＤＬＡで実行されることになるニューラル・ネットワークを記憶することができる。いくつかの実例では、データ・ストア７１６は、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分な大きさの容量を有し得る。データ・ストア７１２は、Ｌ２又はＬ３キャッシュ７１２を備え得る。データ・ストア７１６の参照は、本明細書に記載のような、ＰＶＡ、ＤＬＡ、及び／又は他の加速装置７１４に関連するメモリの参照を含み得る。
ＳｏＣ７０４は、１つ又は複数のプロセッサ７１０（たとえば、組み込まれたプロセッサ）を含み得る。プロセッサ７１０は、ブート電力及び管理能力及び関連するセキュリティ施行を処理するための専用のプロセッサ及びサブシステムでもよいブート及び電力管理プロセッサを含み得る。ブート及び電力管理プロセッサは、ＳｏＣ７０４ブート・シーケンスの一部でもよく、実行時間電力管理サービスを提供することができる。ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、ＳｏＣ７０４熱及び温度センサの管理、及び／又はＳｏＣ７０４電力状態の管理を提供することができる。各温度センサは、その出力頻度が温度に比例するリング発振器として実装されてもよく、ＳｏＣ７０４は、リング発振器を使用してＣＰＵ７０６、ＧＰＵ７０８、及び／又は加速装置７１４の温度を検出することができる。温度が、閾値を超えたと判定された場合、ブート及び電力管理プロセッサは、温度障害ルーティンに入り、ＳｏＣ７０４をより低い電力状態に置く及び／又は移動車７００をショーファーの安全停止モードにする（たとえば、移動車７００を安全停止させる）ことができる。
プロセッサ７１０は、オーディオ処理エンジンの機能を果たし得る１セットの組み込まれたプロセッサをさらに含み得る。オーディオ処理エンジンは、複数のインターフェースを介するマルチチャネル・オーディオの完全なハードウェア・サポートとオーディオＩ／Ｏインターフェースの広く柔軟な範囲とを可能にするオーディオ・サブシステムでもよい。いくつかの実例では、オーディオ処理エンジンは、専用のＲＡＭを有するデジタル信号プロセッサを有する専用のプロセッサ・コアである。
プロセッサ７１０は、低電力センサ管理及びウェイク使用事例をサポートするための必要なハードウェア特徴を提供することができる常時オンのプロセッサ・エンジンをさらに含み得る。常時オンのプロセッサ・エンジンは、プロセッサ・コア、しっかりと結合されたＲＡＭ、支援周辺装置（たとえば、タイマ及び割り込みコントローラ）、様々なＩ／Ｏコントローラ周辺装置、及びルーティング論理を含み得る。
プロセッサ７１０は、自動車のアプリケーションの安全性管理を処理するために専用のプロセッサ・サブシステムを含む安全性クラスタ・エンジンをさらに含み得る。安全性クラスタ・エンジンは、２個以上のプロセッサ・コア、しっかりと結合されたＲＡＭ、サポート周辺装置（たとえば、タイマ、割り込みコントローラなど）、及び／又はルーティング論理を含み得る。安全性モードにおいて、２個以上のコアは、ロックステップ・モードにおいて動作し、それらの動作の間の何らかの差を検出するための比較論理を有する単一のコアとして機能することができる。
プロセッサ７１０は、リアルタイム・カメラ管理を処理するための専用のプロセッサ・サブシステムを含み得るリアルタイム・カメラ・エンジンをさらに含み得る。
プロセッサ７１０は、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る高ダイナミック・レンジ信号プロセッサをさらに含み得る。
プロセッサ７１０は、プレイヤ・ウインドウのための最終的画像を生み出すためにビデオ再生アプリケーションによって必要とされるビデオ処理後機能を実装する処理ブロック（たとえば、マイクロプロセッサに実装された）でもよいビデオ画像合成器を含み得る。ビデオ画像合成器は、ワイド・ビュー・カメラ７７０で、サラウンド・カメラ７７４で、及び／又はキャビン内監視カメラ・センサでレンズ歪み補正を実行することができる。キャビン内監視カメラ・センサは好ましくは、キャビン内イベントを識別し、適切に応答するように構成された、高度ＳｏＣの別のインスタンス上で実行するニューラル・ネットワークによって監視される。キャビン内システムは、セルラ・サービスをアクティブにする及び電話をかける、電子メールを書き取らせる、移動車の目的地を変更する、移動車のインフォテインメント・システム及び設定をアクティブにする又は変更する、或いは音声起動型ウェブ・サーフィンを提供するために、読唇術を実行することができる。ある特定の機能は、自律モードで動作しているときにのみ運転者に利用可能であり、そうでない場合には無効にされる。
ビデオ画像合成器は、空間的ノイズ低減及び時間的ノイズ低減の両方のための強化された時間的ノイズ低減を含み得る。たとえば、動きがビデオ内で生じた場合、ノイズ低減は、隣接するフレームによって提供される情報の重みを減らし、空間的情報に適切に重みを加える。画像又は画像の一部が動きを含まない場合、ビデオ画像合成器によって実行される時間的ノイズ低減は、前の画像からの情報を使用して現在の画像におけるノイズを減らすことができる。
ビデオ画像合成器はまた、入力ステレオ・レンズ・フレーム上でステレオ・レクティフィケーションを実行するように構成され得る。ビデオ画像合成器はさらに、オペレーティング・システム・デスクトップが使用中であるときにユーザ・インターフェース合成のために使用することができ、ＧＰＵ７０８は、新しい表面を連続してレンダリングために必要とされない。ＧＰＵ７０８の電源が入れられ、３Ｄレンダリングをアクティブに行っているときでも、ビデオ画像合成器は、ＧＰＵ７０８をオフロードしてパフォーマンス及び反応性を向上させるために使用され得る。
ＳｏＣ７０４は、カメラからビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース（ＭＩＰＩ：ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）カメラ・シリアル・インターフェース、高速インターフェース、及び／又は、カメラ及び関連画素入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。ＳｏＣ７０４は、ソフトウェアによって制御され得る、及び特定の役割にコミットされていないＩ／Ｏ信号を受信するために使用され得る、入力／出力コントローラをさらに含み得る。
ＳｏＣ７０４は、周辺装置、オーディオ・コーデック、電力管理、及び／又は他のデバイスとの通信を可能にするために、広範囲の周辺インターフェースをさらに含み得る。ＳｏＣ７０４は、（たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット（登録商標）を介して接続された）カメラからのデータ、センサ（たとえば、イーサネット（登録商標）を介して接続され得るＬＩＤＡＲセンサ７６４、ＲＡＤＡＲセンサ７６０など）、バス７０２からのデータ（たとえば、移動車７００のスピード、ハンドル位置など）、（たとえば、イーサネット（登録商標）又はＣＡＮバスを介して接続された）ＧＮＳＳセンサ７５８からのデータを処理するために使用され得る。ＳｏＣ７０４は、独自のＤＭＡエンジンを含み得る及びルーティン・データ管理タスクからＣＰＵ７０６を解放するために使用され得る専用の高性能大容量記憶コントローラをさらに含み得る。
ＳｏＣ７０４は、自動化レベル３～５に広がる柔軟なアーキテクチャを有する終端間プラットフォームでもよく、それによって、多様性及び冗長性のためにコンピュータ・ビジョン及びＡＤＡＳ技法を活用し、効率的に使用し、深層学習ツールとともに、柔軟な、信頼できる運転ソフトウェア・スタックのためのプラットフォームを提供する、総合的機能的安全性アーキテクチャを提供する。ＳｏＣ７０４は、従来のシステムよりも高速で、信頼でき、さらにエネルギ効率がよく、空間効率がよくなり得る。たとえば、加速装置７１４が、ＣＰＵ７０６と結合されるとき、ＧＰＵ７０８、及びデータ・ストア７１６は、レベル３～５の自律型車両のための高速で効率的なプラットフォームを提供することができる。
したがって、本技術は、従来のシステムによって達成することができない能力及び機能性をもたらす。たとえば、コンピュータ・ビジョン・アルゴリズムは、多種多様な視覚的データにわたり多種多様な処理アルゴリズムを実行するために、Ｃプログラミング言語などの高レベルのプログラミング言語を使用して構成され得る、ＣＰＵで実行され得る。しかしながら、ＣＰＵは、しばしば、たとえば、実行時間及び電力消費に関連するものなど、多数のコンピュータ・ビジョン・アプリケーションの性能要件を満たすことができない。具体的には、多数のＣＰＵは、移動車内ＡＤＡＳアプリケーションの要件及び実際のレベル３～５の自律型車両の要件である、リアルタイムでの複合物体検出アルゴリズムを実行することができない。
従来のシステムとは対照的に、ＣＰＵ複合体、ＧＰＵ複合体、及びハードウェア加速クラスタを提供することによって、本明細書に記載の技術は、複数のニューラル・ネットワークが同時に及び／又は連続して実行されることと、レベル３～５の自律運転機能を可能にするために結果が結合されることとを可能にする。たとえば、ＤＬＡ又はｄＧＰＵ（たとえば、ＧＰＵ７２０）で実行するＣＮＮは、ニューラル・ネットワークが具体的にトレーニングされていない標識を含む、交通標識をスーパーコンピュータが読み取る及び理解することを可能にする、テキスト及び単語認識を含み得る。ＤＬＡは、標識の意味論的理解を識別、解釈、及び提供することと、ＣＰＵ複合体で実行する進路計画立案モジュールに意味論的理解を渡すこととを行うことができる、ニューラル・ネットワークをさらに含み得る。
別の実例として、複数のニューラル・ネットワークは、レベル３、４、又は５の運転に必要とされるように、同時に実行され得る。たとえば、電光とともに、「注意：点滅光は、凍った状態を示す」から成る警告標識は、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。標識自体は、第１の配備されたニューラル・ネットワーク（たとえば、トレーニングされてあるニューラル・ネットワーク）によって交通標識として識別され得、テキスト「点滅光は、凍った状態を示す」は、点滅光が検出されるときには凍った状態が存在することを移動車の進路計画立案ソフトウェア（好ましくはＣＰＵ複合体上で実行する）に知らせる、第２の配備されたニューラル・ネットワークによって解釈され得る。点滅光は、点滅光の存在（又は無いこと）を移動車の進路計画立案ソフトウェアに知らせ、複数のフレームを介して第３の配備されたニューラル・ネットワークを動作させることによって識別され得る。すべての３個のニューラル・ネットワークは、ＤＬＡ内及び／又はＧＰＵ７０８上などで、同時に実行することができる。
いくつかの実例では、顔認識及び移動車所有者識別のためのＣＮＮは、カメラ・センサからのデータを使用して移動車７００の正規の運転者及び／又は所有者の存在を識別することができる。常時オンのセンサ処理エンジンは、所有者が運転席側のドアに近づくときに移動車を解錠する及び明かりをつけるために、並びに、セキュリティ・モードにおいて、所有者が移動車を離れるときに移動車の動作を停止させるために、使用され得る。このようにして、ＳｏＣ７０４は、盗難及び／又は車の乗っ取りに対するセキュリティをもたらす。
別の実例では、緊急車両検出及び識別のためのＣＮＮは、マイクロフォン７９６からのデータを使用して緊急車両サイレンを検出及び識別することができる。一般分類子を使用してサイレンを検出する及び特徴を手動で抽出する従来のシステムとは対照的に、ＳｏＣ７０４は、環境の及び都市の音の分類、並びに視覚的データの分類のためにＣＮＮを使用する。好ましい一実施例では、ＤＬＡ上で実行するＣＮＮは、（たとえば、ドップラー効果を使用することによって）緊急車両の相対的終速度を識別するようにトレーニングされる。ＣＮＮはまた、ＧＮＳＳセンサ７５８によって識別されるように、移動車が稼働しているローカル・エリアに特有の緊急車両を識別するようにトレーニングされ得る。それ故に、たとえば、欧州で稼働しているとき、ＣＮＮは、欧州のサイレンを検出しようとすることになり、そして、米国にあるとき、ＣＮＮは、北米のサイレンのみを識別しようとすることになる。緊急車両が検出された後は、制御プログラムが、緊急車両が通過するまで、超音波センサ７６２の支援を受けて、移動車を減速する、道の端に停止させる、移動車を駐車する、及び／又は移動車をアイドリングさせる、緊急車両安全性ルーティンを実行するために使用され得る。
移動車は、高速相互接続（たとえば、ＰＣＩｅ）を介してＳｏＣ７０４に連結され得るＣＰＵ７１８（たとえば、個別のＣＰＵ、又はｄＣＰＵ）を含み得る。ＣＰＵ７１８は、たとえば、Ｘ８６プロセッサを含み得る。ＣＰＵ７１８は、たとえば、ＡＤＡＳセンサとＳｏＣ７０４との間の潜在的に不整合の結果を調停すること、及び／又はコントローラ７３６及び／又はインフォテインメントＳｏＣ７３０の状況及び調子を監視することを含む、様々な機能のいずれかを実行するために使用され得る。
移動車７００は、高速相互接続（たとえば、ＮＶＩＤＩＡのＮＶＬＩＮＫ）を介してＳｏＣ７０４に連結され得るＧＰＵ７２０（たとえば、個別のＧＰＵ、又はｄＧＰＵ）を含み得る。ＧＰＵ７２０は、冗長及び／又は異なるニューラル・ネットワークを実行することなどによって、付加的人工知能機能をもたらすことができ、移動車７００のセンサからの入力（たとえば、センサ・データ）に基づいてニューラル・ネットワークをトレーニング及び／又は更新するために使用され得る。
移動車７００は、１つ又は複数のワイヤレス・アンテナ７２６（たとえば、セルラ・アンテナ、ブルートゥース（登録商標）・アンテナなど、異なる通信プロトコルのための１つ又は複数のワイヤレス・アンテナ）を含み得るネットワーク・インターフェース７２４をさらに含み得る。ネットワーク・インターフェース７２４は、インターネットを介するクラウドとの（たとえば、サーバ７７８及び／又は他のネットワーク・デバイスとの）、他の移動車との、及び／又は計算デバイス（たとえば、乗客のクライアント・デバイス）とのワイヤレス接続を使用可能にするために使用され得る。他の移動車と通信するために、直接リンクが２個の移動車の間に確立され得る、及び／又は、間接リンクが（たとえば、ネットワークを通じて及びインターネットを介して）確立され得る。直接リンクは、移動車対移動車通信リンクを使用し、提供され得る。移動車対移動車通信リンクは、移動車７００に近接する移動車（たとえば、移動車７００の前の、横の、及び／又は後ろの移動車）に関する移動車７００情報を提供することができる。この機能は、移動車７００の共同適応クルーズ制御機能の一部でもよい。
ネットワーク・インターフェース７２４は、変調及び復調機能を提供する及びコントローラ７３６がワイヤレス・ネットワークを介して通信することを可能にする、ＳｏＣを含み得る。ネットワーク・インターフェース７２４は、ベースバンドから無線周波数へのアップコンバージョン、及び無線周波数からベースバンドへのダウンコンバージョンのための無線周波数フロントエンドを含み得る。周波数コンバージョンは、よく知られているプロセスを通して実行することができ、及び／又はスーパーヘテロダイン・プロセスを用いて実行することができる。いくつかの実例では、無線周波数フロントエンド機能は、別個のチップによって提供され得る。ネットワーク・インターフェースは、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含み得る。
移動車７００は、チップ外の（たとえば、ＳｏＣ７０４外の）ストレージを含み得るデータ・ストア７２８をさらに含み得る。データ・ストア７２８は、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュ、ハードディスク、及び／又は、少なくとも１ビットのデータを記憶することができる他の構成要素及び／又はデバイスを含む、１つ又は複数の記憶素子を含み得る。
車両７００は、ＧＮＳＳセンサ７５８をさらに含み得る。ＧＮＳＳセンサ７５８（たとえば、ＧＰＳ、支援されたＧＰＳセンサ、ディファレンシャルＧＰＳ（ＤＧＰＳ）センサなど）は、マッピング、知覚、占有グリッド生成、及び／又は進路計画策定機能を支援する。たとえば、シリアル（ＲＳ－２３２）ブリッジへのイーサネット（登録商標）を有するＵＳＢコネクタを使用するＧＰＳを含むが、これに限定されない、任意の数のＧＮＳＳセンサ７５８が、使用され得る。
移動車７００は、ＲＡＤＡＲセンサ７６０をさらに含み得る。ＲＡＤＡＲセンサ７６０は、暗闇及び／又は厳しい気象条件においても、長距離移動車検出のために移動車７００によって使用され得る。ＲＡＤＡＲ機能安全性レベルは、ＡＳＩＬ Ｂでもよい。一部の実例では、ＲＡＤＡＲセンサ７６０は、未加工のデータにアクセスするためのイーサネット（登録商標）へのアクセスを用いて、制御のために及び物体追跡データにアクセスするために（たとえば、ＲＡＤＡＲセンサ７６０によって生成されたデータを送信するために）ＣＡＮ及び／又はバス７０２を使用することができる。多種多様なＲＡＤＡＲセンサ・タイプが、使用され得る。たとえば、そして制限なしに、ＲＡＤＡＲセンサ７６０は、前部、後部、及び側部ＲＡＤＡＲ使用に適し得る。一部の実例では、パルス・ドップラーＲＡＤＡＲセンサが使用される。
ＲＡＤＡＲセンサ７６０は、狭い視野を有する長距離、広い視野を有する短距離、短距離側部カバレッジなど、異なる構成を含み得る。いくつかの実例では、長距離ＲＡＤＡＲは、適応クルーズ制御機能のために使用され得る。長距離ＲＡＤＡＲシステムは、２５０ｍの範囲内など、２個以上の独立したスキャンによって実現される広い視野を提供することができる。ＲＡＤＡＲセンサ７６０は、静的物体と動く物体との区別を助けることができ、緊急ブレーキ・アシスト及び前方衝突警報のためのＡＤＡＳシステムによって使用され得る。長距離ＲＡＤＡＲセンサは、複数の（たとえば、６つ以上の）固定ＲＡＤＡＲアンテナと高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースとを有するモノスタティック・マルチモーダルＲＡＤＡＲを含み得る。６つのアンテナを有する一実例では、中央の４個のアンテナは、隣接レーン内の交通からの干渉を最小限にして高速で移動車７００の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。他の２個のアンテナは、視野を広げることができ、移動車７００のレーンに入る又はこれを去る移動車を迅速に検出することを可能にする。
一実例として、中距離ＲＡＤＡＲシステムは、８６０ｍ（前）又は８０ｍ（後）までの範囲、及び４２度（前）又は８５０度（後）までの視野を含み得る。短距離ＲＡＤＡＲシステムは、後部バンパの両端に設置されるように設計されたＲＡＤＡＲセンサを含み得るが、これに限定されない。後部バンパの両端に設置されるとき、そのようなＲＡＤＡＲセンサ・システムは、移動車の後ろ及び隣の死角を常に監視する２個のビームを作成することができる。
短距離ＲＡＤＡＲシステムは、死角検出及び／又はレーン変更アシストのためにＡＤＡＳシステムにおいて使用され得る。
移動車７００は、超音波センサ７６２をさらに含み得る。移動車７００の前部、後部、及び／又は側部に位置付けられ得る、超音波センサ７６２は、駐車アシストのために及び／又は占有グリッドの作成及び更新のために使用され得る。多種多様な超音波センサ７６２が使用され得、異なる超音波センサ７６２が、異なる範囲の検出（たとえば、２．５ｍ、４ｍ）のために使用され得る。超音波センサ７６２は、ＡＳＩＬ Ｂの機能的安全性レベルにおいて動作することができる。
移動車７００はＬＩＤＡＲセンサ７６４を含み得る。ＬＩＤＡＲセンサ７６４は、物体及び歩行者検出、緊急ブレーキ、衝突回避、及び／又は他の機能のために使用され得る。ＬＩＤＡＲセンサ７６４は、機能的安全性レベルＡＳＩＬ Ｂでもよい。いくつかの実例では、移動車７００は、（たとえば、ギガビット・イーサネット（登録商標）・スイッチにデータを提供するために）イーサネット（登録商標）を使用することができる複数の（たとえば、２個、４個、６個などの）ＬＩＤＡＲセンサ７６４を含み得る。
いくつかの実例では、ＬＩＤＡＲセンサ７６４は、物体及び３６０度視野のそれらの距離のリストを提供する能力を有し得る。市販のＬＩＤＡＲセンサ７６４は、たとえば、２ｃｍ～３ｃｍの精度を有し、８００Ｍｂｐｓイーサネット（登録商標）接続のサポートを有して、約８００ｍの広告された範囲を有し得る。いくつかの実例では、１つ又は複数の非突出したＬＩＤＡＲセンサ７６４が、使用され得る。そのような実例では、ＬＩＤＡＲセンサ７６４は、移動車７００の前部、後部、側部、及び／又は角に組み込まれ得る小さいデバイスとして実装され得る。そのような実例では、ＬＩＤＡＲセンサ７６４は、低反射物体についても２００ｍの範囲を有し、１２０度水平及び３５度垂直視野まで提供することができる。前部に取り付けられたＬＩＤＡＲセンサ７６４は、４５度と１３５度との間の水平視野向けに構成され得る。
いくつかの実例では、３ＤフラッシュＬＩＤＡＲなどのＬＩＤＡＲ技術もまた使用され得る。３ＤフラッシュＬＩＤＡＲは、約２００ｍまで移動車の周囲を照らすために、送信元としてレーザーのフラッシュを使用する。フラッシュＬＩＤＡＲユニットは、移動車から物体までの範囲に順番に対応する、レーザー・パルス走行時間及び各画素上の反射光を記録する、レセプタを含む。フラッシュＬＩＤＡＲは、周囲の高精度の及び歪みのない画像があらゆるレーザー・フラッシュで生成されることを可能にし得る。いくつかの実例では、４個のフラッシュＬＩＤＡＲセンサが、移動車７００の各側面に１つずつ、配備され得る。利用可能な３ＤフラッシュＬＩＤＡＲシステムは、送風機以外に動く部分を有さないソリッドステート３Ｄステアリング・アレイＬＩＤＡＲカメラ（たとえば、非スキャン型ＬＩＤＡＲデバイス）を含む。フラッシュＬＩＤＡＲデバイスは、１フレームにつき５ナノ秒クラスＩ（目に安全な）レーザー・パルスを使用することができ、３Ｄ範囲点群及び共記載された強度データの形で反射レーザー光をキャプチャし得る。フラッシュＬＩＤＡＲを使用することによって、また、フラッシュＬＩＤＡＲは、動く部分を有さないソリッドステート・デバイスであるので、ＬＩＤＡＲセンサ７６４は、モーション・ブラー、振動、及び／又は衝撃の影響を受けにくくなり得る。
移動車は、ＩＭＵセンサ７６６をさらに含み得る。一部の実例では、ＩＭＵセンサ７６６は、移動車７００の後部車軸の中央に位置付けられ得る。ＩＭＵセンサ７６６は、たとえば、加速度計、磁力計、ジャイロスコープ、磁気コンパス、及び／又は他のセンサ・タイプを含み得るが、これらに限定されない。いくつかの実例では、６軸アプリケーションなどにおいて、ＩＭＵセンサ７６６は、加速度計及びジャイロスコープを含み得るが、９軸アプリケーションにおいて、ＩＭＵセンサ７６６は、加速度計、ジャイロスコープ、及び磁力計を含み得る。
一部の実施例では、ＩＭＵセンサ７６６は、マイクロ電気機械システム（ＭＥＭＳ：ｍｉｃｒｏ－ｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍ）慣性センサ、高感度ＧＰＳレシーバ、及び高度カルマン・フィルタリング・アルゴリズムを結合して位置、ベロシティ、及び姿勢の推定値を提供するミニチュア、高性能ＧＰＳ支援型慣性航行システム（ＧＰＳ／ＩＮＳ：ＧＰＳ－Ａｉｄｅｄ Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）として実装され得る。そのようなものとして、一部の実例では、ＩＭＵセンサ７６６は、ＧＰＳからＩＭＵセンサ７６６までのベロシティの変化を直接観測すること及び関連付けることによって、磁気センサからの入力を必要とせずに進行方向を移動車７００が推定することを可能にし得る。いくつかの実例では、ＩＭＵセンサ７６６及びＧＮＳＳセンサ７５８は、単一の統合されたユニットにおいて結合され得る。
移動車は、移動車７００内及び／又は周囲に置かれたマイクロフォン７９６を含み得る。マイクロフォン７９６は、中でも、緊急車両検出及び識別のために使用され得る。
移動車は、ステレオ・カメラ７６８、ワイド・ビュー・カメラ７７０、赤外線カメラ７７２、サラウンド・カメラ７７４、長距離及び／又は中距離カメラ７９８、及び／又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。カメラは、移動車７００の全外面の周りの画像データをキャプチャするために使用され得る。使用されるカメラのタイプは、移動車７００の実施例及び要件に応じて決まり、任意の組合せのカメラ・タイプが、移動車７００の周りの必要なカバレッジを実現するために使用され得る。加えて、カメラの数は、実施例に応じて異なり得る。たとえば、移動車は、６個のカメラ、７個のカメラ、１０個のカメラ、１２個のカメラ、及び／又は別の数のカメラを含み得る。カメラは、一実例として、ギガビット・マルチメディア・シリアル・リンク（ＧＭＳＬ：Ｇｉｇａｂｉｔ Ｍｕｌｔｉｍｅｄｉａ Ｓｅｒｉａｌ Ｌｉｎｋ）及び／又はギガビット・イーサネット（登録商標）をサポートし得るが、これに限定されない。それぞれのカメラは、図７Ａ及び図７Ｂに関連して本明細書においてさらに詳しく説明される。
移動車７００は、振動センサ７４２をさらに含み得る。振動センサ７４２は、車軸など、移動車の構成要素の振動を測定することができる。たとえば、振動の変化は、道路の表面の変化を示し得る。別の実例では、２個以上の振動センサ７４２が使用されるとき、振動の差は、道路表面の摩擦又は滑りを判定するために使用され得る（たとえば、振動の差が電力駆動車軸と自由回転車軸との間であるとき）。
移動車７００は、ＡＤＡＳシステム７３８を含み得る。一部の実例では、ＡＤＡＳシステム７３８は、ＳｏＣを含み得る。ＡＤＡＳシステム７３８は、自律／適応／自動クルーズ制御（ＡＣＣ：ａｕｔｏｎｏｍｏｕｓ／ａｄａｐｔｉｖｅ／ａｕｔｏｍａｔｉｃ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、共同適応クルーズ制御（ＣＡＣＣ：ｃｏｏｐｅｒａｔｉｖｅ ａｄａｐｔｉｖｅ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、前方衝突警報（ＦＣＷ：ｆｏｒｗａｒｄ ｃｒａｓｈ ｗａｒｎｉｎｇ）、自動緊急ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）、車線逸脱警報（ＬＤＷ：ｌａｎｅ ｄｅｐａｒｔｕｒｅ ｗａｒｎｉｎｇ）、レーン・キープ・アシスト（ＬＫＡ：ｌａｎｅ ｋｅｅｐ ａｓｓｉｓｔ）、死角警報（ＢＳＷ：ｂｌｉｎｄ ｓｐｏｔ ｗａｒｎｉｎｇ）、後部交差交通警報（ＲＣＴＷ：ｒｅａｒ ｃｒｏｓｓ－ｔｒａｆｆｉｃ ｗａｒｎｉｎｇ）、衝突警報システム（ＣＷＳ：ｃｏｌｌｉｓｉｏｎ ｗａｒｎｉｎｇ ｓｙｓｔｅｍ）、レーン・センタリング（ＬＣ：ｌａｎｅ ｃｅｎｔｅｒｉｎｇ）、及び／又は他の特徴及び機能を含み得る。
ＡＣＣシステムは、ＲＡＤＡＲセンサ７６０、ＬＩＤＡＲセンサ７６４、及び／又はカメラを使用し得る。ＡＣＣシステムは、縦ＡＣＣ及び／又は横ＡＣＣを含み得る。縦ＡＣＣは、移動車７００の直ぐ前の移動車までの距離を監視及び制御し、前方の移動車からの安全距離を維持するために移動車速度を自動的に調整する。横ＡＣＣは、距離の保持を実行し、必要なときにレーンを変更するように移動車７００にアドバイスする。横ＡＣＣは、ＬＣＡ及びＣＷＳなどの他のＡＤＡＳアプリケーションに関連する。
ＣＡＣＣは、ワイヤレス・リンクを介して他の移動車からネットワーク・インターフェース７２４及び／又はワイヤレス・アンテナ７２６を介して、或いは間接的にネットワーク接続を介して（たとえば、インターネットを介して）、受信することができる、他の移動車からの情報を使用する。直接リンクは、移動車対移動車（Ｖ２Ｖ：ｖｅｈｉｃｌｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって提供され得、一方、間接リンクは、インフラストラクチャ対移動車（Ｉ２Ｖ：ｉｎｆｒａｓｔｒｕｃｔｕｒｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクでもよい。一般に、Ｖ２Ｖ通信概念は、直前の移動車（たとえば、移動車７００と同じレーン内にある、移動車７００の直ぐ前の移動車）に関する情報を提供し、一方、Ｉ２Ｖ通信概念は、さらに前の交通に関する情報を提供する。ＣＡＣＣシステムは、Ｉ２Ｖ情報ソースとＶ２Ｖ情報ソースとのいずれか又は両方を含み得る。移動車７００の前方の移動車の情報を所与として、ＣＡＣＣは、より高信頼になり得、ＣＡＣＣは、交通の流れをよりスムーズにし、道路の渋滞を減らす可能性を有する。
運転者が修正行動を取ることができるように、ＦＣＷシステムは、危険を運転者に警告するように設計される。ＦＣＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ７６０を使用する。ＦＣＷシステムは、音響、視覚的警報、振動及び／又はクイック・ブレーキ・パルスなどの形で、警報を提供することができる。
ＡＥＢシステムは、別の移動車又は他の物体との差し迫った前方衝突を検出し、運転者が指定された時間又は距離パラメータ内に修正行動を取らない場合に、ブレーキを自動的に適用することができる。ＡＥＢシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ７６０を使用することができる。ＡＥＢシステムが危険を検出するとき、ＡＥＢシステムは通常は、先ず、衝突を回避するための修正行動を取るように運転者に警告し、運転者が修正行動を取らない場合、ＡＥＢシステムは、予測される衝突の影響を防ぐ、又は少なくとも軽減するための努力の一環としてブレーキを自動的に適用することができる。ＡＥＢシステムは、ダイナミック・ブレーキ・サポート及び／又は衝突切迫ブレーキなどの技法を含み得る。
ＬＤＷシステムは、ハンドル又はシートの振動など、視覚的、可聴式、及び／又は触覚的警報を提供して、移動車７００が車線区分線を越えたときに運転者に警告する。ＬＤＷシステムは、運転者が、方向指示器を起動することによって、意図的な車線逸脱を指示するときには、起動しない。ＬＤＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前側を向いたカメラを使用することができる。
ＬＫＡシステムは、ＬＤＷシステムの変更形態である。ＬＫＡシステムは、移動車７００が車線をはみ出し始めた場合に移動車７００を修正するためにステアリング入力又はブレーキを提供する。
ＢＳＷシステムは、自動車の死角において移動車の運転者に検出及び警告する。ＢＳＷシステムは、合流又はレーンの変更が安全ではないことを指示するために視覚的、可聴式、及び／又は触覚的警告を提供することができる。システムは、運転者が方向指示器を使用するときに、付加的警告を提供することができる。ＢＳＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に結合された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、後ろ側を向いたカメラ及び／又はＲＡＤＡＲセンサ７６０を使用することができる。
ＲＣＴＷシステムは、車両７００がバックしているときにリアカメラの範囲外で物体が検出されたときに視覚的、可聴式、及び／又は触覚的通知を提供することができる。いくつかのＲＣＴＷシステムは、衝突を回避するために車両ブレーキが適用されることを確実にするために、ＡＥＢを含む。ＲＣＴＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に結合された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、１つ又は複数の後ろを向いたＲＡＤＡＲセンサ７６０を使用することができる。
従来のＡＤＡＳシステムは、運転者に警告し、安全状態が本当に存在するかどうかを運転者が判定し、それに応じて行動することを可能にするので、従来のＡＤＡＳシステムは、通常は壊滅的ではないが、運転者を悩ませている及び気を散らせていることがある誤判定結果を生み出す傾向にあることがあった。しかしながら、自律型車両７００では、結果が矛盾する場合には、移動車７００自体が、１次的コンピュータ又は２次的コンピュータ（たとえば、第１のコントローラ７３６又は第２のコントローラ７３６）からの結果を聞き入れるかどうかを決定しなければならない。たとえば、一部の実施例では、ＡＤＡＳシステム７３８は、知覚情報をバックアップ・コンピュータ合理性モジュールに提供するためのバックアップ及び／又は２次的コンピュータでもよい。バックアップ・コンピュータ合理性モニタは、ハードウェア構成要素で冗長な多様なソフトウェアを実行して、知覚及び動的運転タスクにおいて障害を検出することができる。ＡＤＡＳシステム７３８からの出力は、監督ＭＣＵに提供され得る。１次的コンピュータ及び２次的コンピュータからの出力が矛盾する場合、監督ＭＣＵは、安全な動作を確実にするためにその矛盾をどのように調整するかを決定する必要がある。
いくつかの実例では、１次的コンピュータは、選択された結果における１次的コンピュータの信頼性を指示する、信頼性スコアを監督ＭＣＵに提供するように構成され得る。信頼性スコアが閾値を超えた場合、監督ＭＣＵは、２次的コンピュータが矛盾する又は不整合の結果を与えるかどうかにかかわらず、１次的コンピュータの指示に従い得る。信頼性スコアが閾値を満たさない場合、及び１次的及び２次的コンピュータが異なる結果を示す（たとえば、矛盾する）場合、監督ＭＣＵは、コンピュータの間で調停して適切な結果を決定することができる。
監督ＭＣＵは、２次的コンピュータが誤ったアラームを提供する状態を、１次的コンピュータ及び２次的コンピュータからの出力に基づいて判定するようにトレーニング及び構成されたニューラル・ネットワークを実行するように構成され得る。したがって、監督ＭＣＵ内のニューラル・ネットワークは、２次的コンピュータの出力が信頼され得るとき、及びそれが信頼され得ないときを学習することができる。たとえば、２次的コンピュータがＲＡＤＡＲベースのＦＣＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、アラームをトリガする下水溝の鉄格子又はマンホールの蓋など、実際には危険ではない金属製の物をいつＦＣＷが識別しているかを学習することができる。同様に、２次的コンピュータがカメラベースのＬＤＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、自転車に乗った人又は歩行者が存在し、車線逸脱が、実際には、最も安全な操作であるときに、ＬＤＷを無視することを学習することができる。監督ＭＣＵ上で実行中のニューラル・ネットワークを含む実施例では、監督ＭＣＵは、関連メモリを有するニューラル・ネットワークを実行するのに適したＤＬＡ又はＧＰＵのうちの少なくとも１つを含み得る。好ましい実施例において、監督ＭＣＵは、ＳｏＣ７０４の構成要素を備え得る、及び／又はＳｏＣ７０４の構成要素として含まれ得る。
他の実例において、ＡＤＡＳシステム７３８は、コンピュータ・ビジョンの従来のルールを使用するＡＤＡＳ機能を実行する２次的コンピュータを含み得る。そのようなものとして、２次的コンピュータは、古典的コンピュータ・ビジョン・ルール（ｉｆ－ｔｈｅｎ）を使用することができ、監督ＭＣＵ内のニューラル・ネットワークの存在は、信頼性、安全性及び性能を向上させることができる。たとえば、多様な実装形態及び意図的な非同一性は、特にソフトウェア（又はソフトウェア－ハードウェア・インターフェース）機能によって引き起こされる障害に対して、システム全体をよりフォールトトレラントにする。たとえば、１次的コンピュータで実行中のソフトウェア内にソフトウェア・バグ又はエラーが存在し、２次的コンピュータで実行中の同一でないソフトウェア・コードが同じ総合的結果を提供する場合、監督ＭＣＵは、総合的結果は正しく、１次的コンピュータ上のソフトウェア又はハードウェア内のバグは重大なエラーを引き起こしていないというより大きな確信を有し得る。
いくつかの実例では、ＡＤＡＳシステム７３８の出力は、１次的コンピュータの知覚ブロック及び／又は１次的コンピュータの動的運転タスク・ブロックに供給され得る。たとえば、ＡＤＡＳシステム７３８が、直ぐ前の物体が原因で、前方衝突警報を示した場合、知覚ブロックは、物体を識別するときに、この情報を使用することができる。他の実例において、２次的コンピュータは、本明細書に記載のように、トレーニングされ、それ故に誤判定のリスクを減らす、独自のニューラル・ネットワークを有し得る。
移動車７００は、インフォテインメントＳｏＣ７３０（たとえば、移動車内のインフォテインメント・システム（ＩＶＩ：ｉｎ－ｖｅｈｉｃｌｅ ｉｎｆｏｔａｉｎｍｅｎｔ ｓｙｓｔｅｍ））をさらに含み得る。ＳｏＣとして図示及び記述されているが、インフォテインメント・システムは、ＳｏＣでなくてもよく、２個以上の個別の構成要素を含み得る。インフォテインメントＳｏＣ７３０は、オーディオ（たとえば、音楽、携帯情報端末、ナビゲーション命令、ニュース、無線など）、ビデオ（たとえば、ＴＶ、映画、ストリーミングなど）、電話（たとえば、ハンズフリー通話）、ネットワーク接続（たとえば、ＬＴＥ、Ｗｉ－Ｆｉなど）、及び／又は情報サービス（たとえば、ナビゲーション・システム、後方駐車支援、無線データシステム、燃料レベル、総移動距離、ブレーキ燃料レベル、オイル・レベル、ドアを開ける／閉じる、エア・フィルタ情報などの移動車関連情報）を移動車７００に提供するために使用され得るハードウェア及びソフトウェアの組合せを含み得る。たとえば、インフォテインメントＳｏＣ７３０は、無線、ディスク・プレイヤ、ナビゲーション・システム、ビデオ・プレイヤ、ＵＳＢ及びブルートゥース（登録商標）接続、カーピュータ、車内エンターテインメント、Ｗｉ－Ｆｉ、ハンドル・オーディオ制御装置、ハンズ・フリー音声制御、ヘッドアップ・ディスプレイ（ＨＵＤ：ｈｅａｄｓ－ｕｐ ｄｉｓｐｌａｙ）、ＨＭＩディスプレイ７３４、テレマティックス・デバイス、制御パネル（たとえば、様々な構成要素、特徴、及び／又はシステムを制御する及び／又はこれと相互に作用するための）、及び／又は他の構成要素でもよい。インフォテインメントＳｏＣ７３０は、ＡＤＡＳシステム７３８からの情報、計画された移動車操作などの自律運転情報、軌道、周囲環境情報（たとえば、交差点情報、移動車情報、道路情報など）、及び／又は他の情報など、移動車のユーザへの情報（たとえば、視覚的及び／又は可聴式の）を提供するためにさらに使用され得る。
インフォテインメントＳｏＣ７３０は、ＧＰＵ機能性を含み得る。インフォテインメントＳｏＣ７３０は、バス７０２（たとえば、ＣＡＮバス、イーサネット（登録商標）など）を介して、移動車７００の他のデバイス、システム、及び／又は構成要素と通信することができる。いくつかの実例では、インフォテインメント・システムのＧＰＵが、１次的コントローラ７３６（たとえば、移動車７００の１次的及び／又はバックアップ・コンピュータ）が故障した場合に、いくつかのセルフドライブ機能を実行することができるように、インフォテインメントＳｏＣ７３０は、監督ＭＣＵに連結され得る。そのような実例では、インフォテインメントＳｏＣ７３０は、本明細書に記載のように、移動車７００をショーファーの安全停止モードにすることができる。
移動車７００は、計器群７３２（たとえば、デジタル・ダッシュ、電子計器群、デジタル計器パネルなど）をさらに含み得る。計器群７３２は、コントローラ及び／又はスーパーコンピュータ（たとえば、個別のコントローラ又はスーパーコンピュータ）を含み得る。計器群７３２は、スピードメーター、燃料レベル、油圧、タコメーター、オドメーター、方向指示器、ギアシフト位置インジケータ、シート・ベルト警告灯、パーキングブレーキ警告灯、エンジン故障灯、エアバッグ（ＳＲＳ）システム情報、照明制御装置、安全システム制御装置、ナビゲーション情報など、１セットの器具類を含み得る。いくつかの実例では、情報は、インフォテインメントＳｏＣ７３０及び計器群７３２の間で表示及び／又は共有され得る。言い換えれば、計器群７３２は、インフォテインメントＳｏＣ７３０の一部として含まれてもよく、逆もまた同様である。
図７Ｄは、本開示のいくつかの実施例による、図７Ａのクラウドベースのサーバと例示的自律型車両７００との間の通信のシステム図である。システム７７６は、サーバ７７８、ネットワーク７９０、及び、移動車７００を含む移動車を含み得る。サーバ７７８は、複数のＧＰＵ７８４（Ａ）～７８４（Ｈ）（本明細書でＧＰＵ７８４と総称される）、ＰＣＩｅスイッチ７８２（Ａ）～７８２（Ｈ）（本明細書でＰＣＩｅスイッチ７８２と総称される）、及び／又はＣＰＵ７８０（Ａ）～７８０（Ｂ）（本明細書でＣＰＵ７８０と総称される）を含み得る。ＧＰＵ７８４、ＣＰＵ７８０、及びＰＣＩｅスイッチは、たとえば、ＮＶＩＤＩＡによって開発されたＮＶＬｉｎｋインターフェース７８８及び／又はＰＣＩｅ接続７８６などの、これらに限定されない、高速相互接続で相互に接続され得る。いくつかの実例では、ＧＰＵ７８４は、ＮＶＬｉｎｋ及び／又はＮＶＳｗｉｔｃｈ ＳｏＣを介して接続され、ＧＰＵ７８４及びＰＣＩｅスイッチ７８２は、ＰＣＩｅ相互接続を介して接続される。８個のＧＰＵ７８４、２個のＣＰＵ７８０、及び２個のＰＣＩｅスイッチが図示されているが、これは制限を意図されていない。実施例に応じて、それぞれのサーバ７７８は、任意の数のＧＰＵ７８４、ＣＰＵ７８０、及び／又はＰＣＩｅスイッチを含み得る。たとえば、サーバ７７８は、それぞれ、８個、１６個、３２個、及び／又はそれ以上のＧＰＵ７８４を含み得る。
サーバ７７８は、最近開始された道路工事など、予想外の又は変更された道路状態を示す画像を表す画像データを、ネットワーク７９０を介して、移動車から、受信することができる。サーバ７７８は、ニューラル・ネットワーク７９２、更新されたニューラル・ネットワーク７９２、及び／又は、交通及び道路状態に関する情報を含むマップ情報７９４をネットワーク７９０を介して移動車に送信することができる。マップ情報７９４の更新は、建設現場、くぼみ、迂回路、洪水、及び／又は他の障害物に関する情報など、ＨＤマップ７２２の更新を含み得る。いくつかの実例では、ニューラル・ネットワーク７９２、更新されたニューラル・ネットワーク７９２、及び／又はマップ情報７９４は、環境において任意の数の移動車から受信されたデータにおいて表された新しいトレーニング及び／又は経験から、及び／又は（たとえば、サーバ７７８及び／又は他のサーバを使用する）データ・センタにおいて実行されたトレーニングに基づいて生じた可能性がある。
サーバ７７８は、トレーニング・データに基づいて機械学習モデル（たとえば、ニューラル・ネットワーク）をトレーニングするために使用され得る。トレーニング・データは、移動車によって生成され得る、及び／又は（たとえば、ゲーム・エンジンを使用して）シミュレーションにおいて生成され得る。いくつかの実例では、トレーニング・データは、タグ付けされる（たとえば、ニューラル・ネットワークが、監督された学習の恩恵を受ける場合）及び／又は他の事前処理を受けるが、他の実例において、トレーニング・データは、タグ付け及び／又は事前処理されない（たとえば、ニューラル・ネットワークが、監督された学習を必要としない場合）。トレーニングは、たとえば以下のクラスを含むがこれらに限定されない、任意の１つ又は複数のクラスの機械学習技法に従って、実行され得る：監視されたトレーニング、半監視されたトレーニング、監視されていないトレーニング、自己学習、強化学習、連合型学習、転移学習、特徴学習（主要構成要素及びクラスタ分析を含む）、マルチ線形部分空間学習、多様体学習、表現学習（予備辞書学習を含む）、ルールに基づく機械学習、異常検出、及びそれらの変更形態若しくは組合せ。機械学習モデルがトレーシングされた後は、機械学習モデルは、移動車によって使用され得（たとえば、ネットワーク７９０を介して移動車に送信される）、及び／又は、機械学習モデルは、移動車を遠隔監視するために、サーバ７７８によって使用され得る。
いくつかの実例では、サーバ７７８は、移動車からデータを受信し、リアルタイムのインテリジェント推論のために最新のリアルタイムのニューラル・ネットワークにデータを適用することができる。サーバ７７８は、ＮＶＩＤＩＡによって開発されたＤＧＸ及びＤＧＸステーション・マシンなど、ＧＰＵ７８４によって電力供給される深層学習スーパーコンピュータ及び／又は専用のＡＩコンピュータを含み得る。しかしながら、一部の実例では、サーバ７７８は、ＣＰＵ電源式データ・センタのみを使用する深層学習インフラストラクチャを含み得る。
サーバ７７８の深層学習インフラストラクチャは、高速のリアルタイム推論の能力を有することでき、その能力を使用して移動車７００内のプロセッサ、ソフトウェア、及び／又は関連ハードウェアの調子を評価及び検証することができる。たとえば、深層学習インフラストラクチャは、移動車７００がそのシーケンスの画像内に位置したシーケンスの画像及び／又は物体など、移動車７００からの定期的更新を受信することができる（たとえば、コンピュータ・ビジョン及び／又は他の機械学習物体分類技法を介して）。深層学習インフラストラクチャは、物体を識別し、移動車７００によって識別された物体とそれらを比較するために、独自のニューラル・ネットワークを実行することができ、結果が一致せず、インフラストラクチャが、移動車７００内のＡＩは正常に機能していないという結論を下した場合、サーバ７７８は、制御を推測し、乗客に通知し、安全な駐車操作を完了するように移動車７００のフェイルセーフ・コンピュータに命じる移動車７００への信号を送信することができる。
推論のために、サーバ７７８は、ＧＰＵ７８４及び１つ又は複数のプログラマブル推論加速装置（たとえば、ＮＶＩＤＩＡのＴｅｎｓｏｒＲＴ）を含み得る。ＧＰＵ電源式サーバ及び推論加速の組合せは、リアルタイムの反応性を可能にすることができる。パフォーマンスがさほど必要とされない場合など、他の実例では、ＣＰＵ、ＦＰＧＡ、及び他のプロセッサによって電力供給されるサーバが、推論のために使用され得る。
例示的計算デバイス
図８は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス８００の一実例のブロック図である。計算デバイス８００は、以下のデバイスを間接的に又は直接的につなぐ相互接続システム８０２を含み得る：メモリ８０４、１つ又は複数の中央処理装置（ＣＰＵ）８０６、１つ又は複数のグラフィック処理ユニット（ＧＰＵ）８０８、通信インターフェース８１０、入力／出力（Ｉ／Ｏ）ポート８１２、入力／出力構成要素８１４、電力供給装置８１６、１つ又は複数の提示構成要素８１８（たとえば、ディスプレイ）、及び１つ又は複数の論理ユニット８２０。少なくとも１つの実施例において、計算デバイス８００は、１つ又は複数の仮想マシン（ＶＭ）を含み得る、及び／又は、その構成要素のいずれかは、仮想構成要素（たとえば、仮想ハードウェア構成要素）を含み得る。非限定的実例として、ＧＰＵ８０８のうちの１つ又は複数は、１つ又は複数のｖＧＰＵを含み得、ＣＰＵ８０６のうちの１つ又は複数は、１つ又は複数のｖＣＰＵを含み得、及び／又は、論理ユニット８２０のうちの１つ又は複数は、１つ又は複数の仮想論理ユニットを含み得る。そのようなものとして、計算デバイス８００は、個別の構成要素（たとえば、計算デバイス８００専用の全ＧＰＵ）、仮想構成要素（たとえば、計算デバイス８００専用のＧＰＵの一部分）、又はその組合せを含み得る。
図８は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス８００の一実例のブロック図である。計算デバイス８００は、以下のデバイスを間接的に又は直接的につなぐ相互接続システム８０２を含み得る：メモリ８０４、１つ又は複数の中央処理装置（ＣＰＵ）８０６、１つ又は複数のグラフィック処理ユニット（ＧＰＵ）８０８、通信インターフェース８１０、入力／出力（Ｉ／Ｏ）ポート８１２、入力／出力構成要素８１４、電力供給装置８１６、１つ又は複数の提示構成要素８１８（たとえば、ディスプレイ）、及び１つ又は複数の論理ユニット８２０。少なくとも１つの実施例において、計算デバイス８００は、１つ又は複数の仮想マシン（ＶＭ）を含み得る、及び／又は、その構成要素のいずれかは、仮想構成要素（たとえば、仮想ハードウェア構成要素）を含み得る。非限定的実例として、ＧＰＵ８０８のうちの１つ又は複数は、１つ又は複数のｖＧＰＵを含み得、ＣＰＵ８０６のうちの１つ又は複数は、１つ又は複数のｖＣＰＵを含み得、及び／又は、論理ユニット８２０のうちの１つ又は複数は、１つ又は複数の仮想論理ユニットを含み得る。そのようなものとして、計算デバイス８００は、個別の構成要素（たとえば、計算デバイス８００専用の全ＧＰＵ）、仮想構成要素（たとえば、計算デバイス８００専用のＧＰＵの一部分）、又はその組合せを含み得る。
図８の様々なブロックは、線で相互接続システム８０２を介して接続しているように示されているが、これは制限することを意図されておらず、単に分かりやすくするためである。たとえば、一部の実施例では、表示デバイスなどの提示構成要素８１８は、Ｉ／Ｏ構成要素８１４と考えられ得る（たとえば、ディスプレイがタッチ・スクリーンである場合）。別の実例として、ＣＰＵ８０６及び／又はＧＰＵ８０８はメモリを含み得る（たとえば、メモリ８０４は、ＧＰＵ８０８、ＣＰＵ８０６、及び／又は他の構成要素のメモリに加えた記憶デバイスを表し得る）。言い換えれば、図８の計算デバイスは、単に例示である。「ワークステーション」、「サーバ」、「ラップトップ」、「デスクトップ」、「タブレット」、「クライアント・デバイス」、「モバイル・デバイス」、「ハンドヘルド・デバイス」、「ゲーム機」、「電子制御ユニット（ＥＣＵ：ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ）」、「仮想現実システム」、及び／又は他のデバイス若しくはシステム・タイプなどのカテゴリはすべて、図８の計算デバイスの範囲内にあることが意図されているので、これらは区別されない。
相互接続システム８０２は、１つ又は複数のリンク又はバス、たとえば、アドレス・バス、データ・バス、制御バス、又はその組合せ、を表し得る。相互接続システム８０２は、１つ又は複数のバス又はリンク・タイプ、たとえば、業界標準アーキテクチャ（ＩＳＡ：ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、拡張業界標準アーキテクチャ（ＥＩＳＡ：ｅｘｔｅｎｄｅｄ ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＶＥＳＡ（ｖｉｄｅｏ ｅｌｅｃｔｒｏｎｉｃｓ ｓｔａｎｄａｒｄｓ ａｓｓｏｃｉａｔｉｏｎ）バス、周辺構成要素相互接続（ＰＣＩ：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ）バス、周辺構成要素相互接続エクスプレス（ＰＣＩｅ：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ ｅｘｐｒｅｓｓ）バス、及び／又は別のタイプのバス若しくはリンク、を含み得る。一部の実施例では、構成要素の間に直接接続が存在する。一実例として、ＣＰＵ８０６は、メモリ８０４に直接接続され得る。さらに、ＣＰＵ８０６は、ＧＰＵ８０８に直接接続され得る。構成要素の間に直接、又はポイント対ポイント接続が存在する場合、相互接続システム８０２は、接続を実施するためのＰＣＩｅリンクを含み得る。これらの実例では、ＰＣＩバスは、計算デバイス８００に含まれる必要はない。
メモリ８０４は、様々なコンピュータ可読媒体のいずれかを含み得る。コンピュータ可読媒体は、計算デバイス８００によってアクセスすることができる任意の利用可能な媒体でもよい。コンピュータ可読媒体は、揮発性及び不揮発性媒体の両方、及び取り外し可能な及び取り外し不可能な媒体を含み得る。例として、しかし限定ではなく、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を備え得る。
コンピュータ記憶媒体は、コンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプなどの情報の記憶のための任意の方法又は技術において実装された揮発性及び不揮発性媒体及び／又は取り外し可能な及び取り外し不可能な媒体の両方を含み得る。たとえば、メモリ８０４は、オペレーティング・システムなど、（たとえば、プログラム及び／又はプログラム要素を表す）コンピュータ可読命令を記憶することができる。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）又は他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージ又は他の磁気記憶デバイス、或いは、所望の情報を記憶するために使用し得る及び計算デバイス８００によってアクセスし得る任意の他の媒体を含み得るが、これらに限定されない。本明細書では、コンピュータ記憶媒体は、信号自体を含まない。
コンピュータ記憶媒体は、搬送波などの変調データ信号又は他の移送機構においてコンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプを実施することができ、任意の情報配信媒体を含む。「変調データ信号」という用語は、その特性セットのうちの１つ又は複数を有する或いは信号内の情報をエンコードするような方式で変化した信号を指し得る。例として、しかし限定せず、コンピュータ記憶媒体は、ワイヤード・ネットワーク又は直接ワイヤード接続などのワイヤード媒体と、音響、ＲＦ、赤外線及び他のワイヤレス媒体などのワイヤレス媒体とを含み得る。前述のいずれかの組合せもまた、コンピュータ可読媒体の範囲に含まれるべきである。
ＣＰＵ８０６は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス８００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。ＣＰＵ８０６は、多数のソフトウェア・スレッドを同時に処理する能力を有する１つ又は複数の（たとえば、１個、２個、４個、８個、２８個、７２個などの）コアをそれぞれ含み得る。ＣＰＵ８０６は、任意のタイプのプロセッサを含み得、実装された計算デバイス８００のタイプに応じて、異なるタイプのプロセッサを含み得る（たとえば、モバイル・デバイスのためのより少数のコアを有するプロセッサ、及びサーバのためのより多数のコアを有するプロセッサ）。たとえば、計算デバイス８００のタイプに応じて、プロセッサは、縮小命令セット計算（ＲＩＳＣ：Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたＡｄｖａｎｃｅｄ ＲＩＳＣ Ｍａｃｈｉｎｅｓ（ＡＲＭ）プロセッサ、又は複合命令セット計算（ＣＩＳＣ：Ｃｏｍｐｌｅｘ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたｘ８６プロセッサでもよい。計算デバイス８００は、計算コプロセッサなど、１つ又は複数のマイクロプロセッサ又は補助コプロセッサ内の１つ又は複数のＣＰＵ８０６を含み得る。
ＣＰＵ８０６に加えて又はその代わりに、ＧＰＵ８０８は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス８００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。ＧＰＵ８０８のうちの１つ若しくは複数は、統合されたＧＰＵ（たとえば、ＣＰＵ８０６のうちの１つ又は複数とでもよく、及び／又はＧＰＵ８０８のうちの１つ若しくは複数は、離散ＧＰＵでもよい。実施例では、ＧＰＵ８０８のうちの１つ又は複数は、ＣＰＵ８０６のうちの１つ又は複数のコプロセッサでもよい。ＧＰＵ８０８は、グラフィックス（たとえば、３Ｄグラフィックス）をレンダリングする又は汎用計算を実行するために、計算デバイス８００によって使用され得る。たとえば、ＧＰＵ８０８は、ＧＰＵによる汎用計算（ＧＰＧＰＵ：Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ ＧＰＵ）のために使用され得る。ＧＰＵ８０８は、同時に数百又は数千のソフトウェア・スレッドを処理する能力を有する数百又は数千のコアを含み得る。ＧＰＵ８０８は、レンダリング・コマンド（たとえば、ホスト・インターフェースを介して受信されたＣＰＵ８０６からのレンダリング・コマンド）に応答して、出力画像のための画素データを生成することができる。ＧＰＵ８０８は、画素データ又は任意の他の適切なデータ、たとえばＧＰＧＰＵデータ、を記憶するためのグラフィックス・メモリ、たとえば表示メモリ、を含み得る。表示メモリは、メモリ８０４の一部として含まれ得る。ＧＰＵ８０８は、並行して動作する（たとえば、リンクを介して）２個以上のＧＰＵを含み得る。リンクは、ＧＰＵに直接接続することができ（たとえば、ＮＶＬＩＮＫを使用して）、又はスイッチを介して（たとえば、ＮＶＳｗｉｔｃｈを使用して）ＧＰＵを接続することができる。ともに結合されるとき、各ＧＰＵ８０８は、出力の異なる部分の又は異なる出力の画素データ又はＧＰＧＰＵデータ（たとえば、第１の画像の第１のＧＰＵ及び第２の画像の第２のＧＰＵ）を生成することができる。各ＧＰＵは、独自のメモリを含むことができ、又は他のＧＰＵとメモリを共有することができる。
ＣＰＵ８０６及び／又はＧＰＵ８０８に加えて又はその代わりに、論理ユニット８２０は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス８００のうちの１つ又は複数を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。実施例では、ＣＰＵ８０６、ＧＰＵ８０８、及び／又は論理ユニット８２０は、方法、プロセス及び／又はその部分の任意の組合せを離散的に又は合同で実行することができる。論理ユニット８２０のうちの１つ若しくは複数は、ＣＰＵ８０６及び／若しくはＧＰＵ８０８のうちの１つ若しくは複数の一部でもよく及び／又はそこで統合されてもよく、及び／又は、論理ユニット８２０のうちの１つ若しくは複数は、ＣＰＵ８０６及び／若しくはＧＰＵ８０８に対する離散構成要素であっても若しくは他の方法でそれらの外部にあってもよい。実施例では、論理ユニット８２０のうちの１つ又は複数は、ＣＰＵ８０６のうちの１つ若しくは複数及び／又はＧＰＵ８０８のうちの１つ若しくは複数のコプロセッサでもよい。
論理ユニット８２０の実例は、１つ又は複数の処理コア及び／又はその構成要素、たとえば、データ処理ユニット（ＤＰＵ：Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、テンソル・コア（ＴＣ：Ｔｅｎｓｏｒ Ｃｏｒｅ）、テンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、画素ビジュアル・コア（ＰＶＣ：Ｐｉｘｅｌ Ｖｉｓｕａｌ Ｃｏｒｅ）、ビジョン処理ユニット（ＶＰＵ：Ｖｉｓｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックス処理クラスタ（ＧＰＣ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）、テクスチャ処理クラスタ（ＴＰＣ：Ｔｅｘｔｕｒｅ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）、ストリーミング・マルチプロセッサ（ＳＭ：Ｓｔｒｅａｍｉｎｇ Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、木の走査ユニット（ＴＴＵ：Ｔｒｅｅ Ｔｒａｖｅｒｓａｌ Ｕｎｉｔ）、人工知能加速装置（ＡＩＡ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ａｃｃｅｌｅｒａｔｏｒ）、深層学習加速装置（ＤＬＡ：Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｃｃｅｌｅｒａｔｏｒ）、論理演算ユニット（ＡＬＵ）、特定用途向け集積回路（ＡＳＩＣ）、浮動小数点演算ユニット（ＦＰＵ）、入力／出力（Ｉ／Ｏ）エレメント、周辺構成要素相互接続（ＰＣＩ）又は周辺構成要素相互接続エクスプレス（ＰＣＩｅ）エレメント、及び／又は同類のもの、を含む。
通信インターフェース８１０は、ワイヤード及び／又はワイヤレス通信を含む、電子通信ネットワークを介して計算デバイス８００が他の計算デバイスと通信することを可能にする、１つ又は複数のレシーバ、トランスミッタ、及び／又はトランシーバを含み得る。通信インターフェース８１０は、ワイヤレス・ネットワーク（たとえば、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、ＺｉｇＢｅｅなど）、ワイヤード・ネットワーク（たとえば、イーサネット（登録商標）又はＩｎｆｉｎｉＢａｎｄを介して通信すること）、低電力ワイド・エリア・ネットワーク（たとえば、ＬｏＲａＷＡＮ、ＳｉｇＦｏｘなど）、及び／又はインターネットなどの、いくつかの異なるネットワークのうちのいずれかを介する通信を可能にするための構成要素及び機能を含み得る。１つ又は複数の実施例において、論理ユニット８２０及び／又は通信インターフェース８１０は、ネットワークを介して及び／又は相互接続システム８０２を通して受信されるデータを１つ又は複数のＧＰＵ８０８（たとえば、そのメモリ）に直接に送信するために１つ又は複数のデータ処理装置（ＤＰＵ）を含み得る。
Ｉ／Ｏポート８１２は、そのうちのいくつかは計算デバイス８００に内蔵（たとえば、統合）され得る、Ｉ／Ｏ構成要素８１４、提示構成要素８１８、及び／又は他の構成要素を含む、他のデバイスに計算デバイス８００が論理的に連結されることを可能にすることができる。例示的なＩ／Ｏ構成要素８１４は、マイクロフォン、マウス、キーボード、ジョイスティック、ゲーム・パッド、ゲーム・コントローラ、サテライト・ディッシュ、スキャナ、プリンタ、ワイヤレス・デバイスなどを含む。Ｉ／Ｏ構成要素８１４は、エア・ジェスチャ、音声、又は、ユーザによって生成される他の生理的入力を処理する自然ユーザ・インターフェース（ＮＵＩ：ｎａｔｕｒａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を提供することができる。場合によっては、入力は、さらなる処理のための適切なネットワーク要素に送信され得る。ＮＵＩは、音声認識、スタイラス認識、顔認識、生体認識、画面上での及び画面の隣でのジェスチャ認識、エア・ジェスチャ、頭部及び視標追跡、並びに計算デバイス８００のディスプレイに関連するタッチ認識（さらに詳しく後述するような）の任意の組合せを実装し得る。計算デバイス８００は、ジェスチャ検出及び認識のための、ステレオスコープ・カメラ・システム、赤外線カメラ・システム、ＲＧＢカメラ・システム、タッチ画面技術、及びこれらの組合せなど、深度カメラを含み得る。追加で、計算デバイス８００は、動きの検出を可能にする加速度計又はジャイロスコープを含み得る（たとえば、慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）の一部として）。いくつかの実例では、加速度計又はジャイロスコープの出力は、没入型拡張現実又は仮想現実をレンダリングするために、計算デバイス８００によって使用され得る。
電力供給装置８１６は、ハードワイヤード電力供給装置、バッテリ電力供給装置、又はその組合せを含み得る。電力供給装置８１６は、計算デバイス８００の構成要素が動作することを可能にするために計算デバイス８００に電力を提供することができる。
提示構成要素８１８は、ディスプレイ（たとえば、モニタ、タッチ画面、テレビジョン画面、ヘッドアップ表示装置（ＨＵＤ）、他のディスプレイタイプ、又はその組合せ）、スピーカ、及び／又は他の提示構成要素を含み得る。提示構成要素８１８は、他の構成要素（たとえば、ＧＰＵ８０８、ＣＰＵ８０６、ＤＰＵなど）からデータを受信し、データを（たとえば、画像、ビデオ、音響などとして）出力することができる。
例示的データ・センタ
図９は、本開示の少なくとも１つの実施例において使用され得る例示的データ・センタ９００を示す。データ・センタ９００は、データ・センタ・インフラストラクチャ層９１０、フレームワーク層９２０、ソフトウェア層９３０、及び／又はアプリケーション層９４０を含み得る。
図９は、本開示の少なくとも１つの実施例において使用され得る例示的データ・センタ９００を示す。データ・センタ９００は、データ・センタ・インフラストラクチャ層９１０、フレームワーク層９２０、ソフトウェア層９３０、及び／又はアプリケーション層９４０を含み得る。
図９に示すように、データ・センタ・インフラストラクチャ層９１０は、資源オーケストレータ９１２、グループ化された計算資源９１４、及びノード計算資源（「ノードＣ．Ｒ．」）９１６（１）～９１６（Ｎ）を含み得、そこで、「Ｎ」は、任意の整数の、自然数を表す。少なくとも１つの実施例において、ノードＣ．Ｒ．９１６（１）～９１６（Ｎ）は、任意の数の中央処理装置（ＣＰＵ）又は他のプロセッサ（ＤＰＵ、加速装置、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、グラフィックス・プロセッサ若しくはグラフィックス・プロセッシング・ユニット（ＧＰＵ）などを含む）、メモリ・デバイス（たとえば、動的リード・オンリ・メモリ）、記憶デバイス（たとえば、ソリッドステート若しくはディスク・ドライブ）、ネットワーク入力／出力（ＮＷ Ｉ／Ｏ）デバイス、ネットワーク・スイッチ、仮想マシン（ＶＭ）、電力モジュール、及び／又は冷却モジュールなどを含み得るが、これらに限定されない。いくつかの実施例において、ノードＣ．Ｒ．９１６（１）～９１６（Ｎ）のうちの１つ又は複数のノードＣ．Ｒ．は、前述の計算資源のうちの１つ又は複数を有するサーバに対応し得る。加えて、いくつかの実施例において、ノードＣ．Ｒ．９１６（１）～９１６１（Ｎ）は、１つ若しくは複数の仮想構成要素、たとえば、ｖＧＰＵ、ｖＣＰＵ、及び／若しくは同類のもの、を含み得る、並びに／又は、ノードＣ．Ｒ．９１６（１）～９１６（Ｎ）のうちの１つ若しくは複数は、仮想マシン（ＶＭ）に対応し得る。
少なくとも１つの実施例において、グループ化された計算資源９１４は、１つ又は複数のラック（図示せず）内に収容された別個のグループのノードＣ．Ｒ．９１６、或いは様々な地理的場所（やはり図示せず）にあるデータ・センタに収容された多数のラックを含み得る。グループ化された計算資源９１４内の別個のグループのノードＣ．Ｒ．９１６は、１つ又は複数のワークロードをサポートするように構成する又は割り当てることができる、グループ化された計算、ネットワーク、メモリ又はストレージ資源を含み得る。少なくとも１つの実施例において、ＣＰＵ、ＧＰＵ、ＤＰＵ、及び／又は他のプロセッサを含むいくつかのノードＣ．Ｒ．９１６は、１つ又は複数のワークロードをサポートするための計算資源を提供するために、１つ又は複数のラック内にグループ化され得る。１つ又は複数のラックはまた、任意の組合せで、任意の数の電力モジュール、冷却モジュール、及び／又はネットワーク・スイッチを含み得る。
資源オーケストレータ９１２は、１つ若しくは複数のノードＣ．Ｒ．９１６（１）～９１６（Ｎ）及び／又はグループ化された計算資源９１４を構成又は他の方法で制御することができる。少なくとも１つの実施例において、資源オーケストレータ９１２は、データ・センタ９００のソフトウェア設計インフラストラクチャ（「ＳＤＩ」）管理エンティティを含み得る。資源オーケストレータ９１２は、ハードウェア、ソフトウェア、又はその何らかの組合せを含み得る。
少なくとも１つの実施例において、図９に示すように、フレームワーク層９２０は、ジョブ・スケジューラ９３３、構成マネージャ９３４、資源マネージャ９３６、及び／又は分散型ファイル・システム９３８を含み得る。フレームワーク層９２０は、ソフトウェア層９３０のソフトウェア９３２及び／又はアプリケーション層９４０の１つ若しくは複数のアプリケーション９４２をサポートするためにフレームワークを含み得る。ソフトウェア９３２又はアプリケーション９４２は、ウェブベースのサービス・ソフトウェア又はアプリケーション、たとえば、アマゾン・ウェブ・サービス、グーグル・クラウド及びＭｉｃｒｏｓｏｆｔ Ａｚｕｒｅによって提供されるもの、をそれぞれ含み得る。フレームワーク層９２０は、大規模データ処理（たとえば、「ビッグ・データ」）のための分散型ファイル・システム９３８を使用し得るＡｐａｃｈｅ Ｓｐａｒｋ（商標）（以下「Ｓｐａｒｋ」）などのフリー及びオープン・ソース・ソフトウェア・ウェブ・アプリケーション・フレームワークのタイプでもよいが、これに限定されない。少なくとも１つの実施例において、ジョブ・スケジューラ９３３は、データ・センタ９００の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Ｓｐａｒｋドライバを含み得る。構成マネージャ９３４は、異なる層、たとえば、ソフトウェア層９３０と、大規模データ処理をサポートするためのＳｐａｒｋ及び分散型ファイル・システム９３８を含むフレームワーク層９２０、を構成する能力を有し得る。資源マネージャ９３６は、分散型ファイル・システム９３８及びジョブ・スケジューラ９３３のサポートのためにマップされた又は割り当てられたクラスタ化された又はグループ化された計算資源を管理する能力を有し得る。少なくとも１つの実施例において、クラスタ化された又はグループ化された計算資源は、データ・センタ・インフラストラクチャ層９１０にグループ化された計算資源９１４を含み得る。資源マネージャ９３６は、資源オーケストレータ９１２と調整して、これらのマップされた又は割り当てられた計算資源を管理することができる。
少なくとも１つの実施例において、ソフトウェア層９３０に含まれるソフトウェア９３２は、ノードＣ．Ｒ．９１６（１）～９１６（Ｎ）の少なくとも部分、グループ化された計算資源９１４、及び／又はフレームワーク層９２０の分散型ファイル・システム９３８によって使用されるソフトウェアを含み得る。１つ又は複数のタイプのソフトウェアは、インターネット・ウェブ・ページ検索ソフトウェア、電子メール・ウイルス・スキャン・ソフトウェア、データベース・ソフトウェア、及びストリーミング・ビデオ・コンテンツ・ソフトウェアを含み得るが、これらに限定されない。
少なくとも１つの実施例において、アプリケーション層９４０に含まれるアプリケーション９４２は、ノードＣ．Ｒ．９１６（１）～９１６（Ｎ）の少なくとも部分、グループ化された計算資源９１４、及び／又はフレームワーク層９２０の分散型ファイル・システム９３８によって使用される１つ又は複数のタイプのアプリケーションを含み得る。１つ又は複数のタイプのアプリケーションは、任意の数のゲノミクス・アプリケーション、認知計算、並びに、トレーニング若しくは推論ソフトウェア、機械学習フレームワーク・ソフトウェア（たとえば、ＰｙＴｏｒｃｈ、ＴｅｎｓｏｒＦｌｏｗ、Ｃａｆｆｅなど）、及び／又は１つ若しくは複数の実施例と併せて使用される他の機械学習アプリケーションを含む、機械学習アプリケーションを含み得るが、これらに限定されない。
少なくとも１つの実施例において、構成マネージャ９３４、資源マネージャ９３６、及び資源オーケストレータ９１２のうちのいずれかは、任意の技術的に可能な方式で取得される任意の量及びタイプのデータに基づいて任意の数及びタイプの自己書換え型アクションを実装することができる。自己書換え型アクションは、よくない可能性のある構成決定を行うこと並びにデータ・センタの十分に活用されていない及び／又は実行の不十分な部分を恐らく回避することからデータ・センタ９００のデータ・センタ・オペレータを解放し得る。
データ・センタ９００は、１つ又は複数の機械学習モデルをトレーニングする或いは本明細書に記載の１つ又は複数の実施例による１つ又は複数の機械学習モデルを使用して情報を予測する又は推論するために、ツール、サービス、ソフトウェア或いは他の資源を含み得る。たとえば、機械学習モデルは、データ・センタ９００に関して前述されたソフトウェア及び／又は計算資源を使用するニューラル・ネットワーク・アーキテクチャによる重量パラメータの計算によって、トレーニングされ得る。少なくとも１つの実施例において、１つ又は複数のニューラル・ネットワークに対応するトレーニングされた又は配備された機械学習モデルは、たとえば、本明細書に記載のものに限定されない、１つ又は複数のトレーニング技法を介して計算された重量パラメータを使用することによって、データ・センタ９００に関して前述された資源を使用して情報を推論又は予測するために使用され得る。
少なくとも１つの実施例において、データ・センタ９００は、前述の資源を使用するトレーニング及び／又は推論の実行のために、ＣＰＵ、特定用途向け集積回路（ＡＳＩＣ）、ＧＰＵ、ＦＰＧＡ、及び／又は他のハードウェア（若しくはそれに対応する仮想計算資源）を使用することができる。さらに、前述の１つ又は複数のソフトウェア及び／又はハードウェア資源は、情報の推論をユーザがトレーニング又は実行することを可能にするためのサービス、たとえば、画像認識、音声認識、又は他の人工知能サービス、として構成され得る。
例示的ネットワーク環境
本開示の実施例の実装において使用するのに適したネットワーク環境は、１つ若しくは複数のクライアント・デバイス、サーバ、ネットワーク接続型ストレージ（ＮＡＳ：ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ）、他のバックエンド・デバイス、及び／又は他のデバイス・タイプを含み得る。クライアント・デバイス、サーバ、及び／又は他のデバイス・タイプ（たとえば、各デバイス）は、図８の計算デバイス８００の１つ又は複数のインスタンスで実装され得、たとえば、各デバイスは、計算デバイス８００の類似の構成要素、特徴、及び／又は機能性を含み得る。加えて、バックエンド・デバイス（たとえば、サーバ、ＮＡＳなど）が、実装される場合、バックエンド・デバイスは、データ・センタ９００の一部として含まれ得、その実例は、図９に関して本明細書でさらに詳述される。
本開示の実施例の実装において使用するのに適したネットワーク環境は、１つ若しくは複数のクライアント・デバイス、サーバ、ネットワーク接続型ストレージ（ＮＡＳ：ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ）、他のバックエンド・デバイス、及び／又は他のデバイス・タイプを含み得る。クライアント・デバイス、サーバ、及び／又は他のデバイス・タイプ（たとえば、各デバイス）は、図８の計算デバイス８００の１つ又は複数のインスタンスで実装され得、たとえば、各デバイスは、計算デバイス８００の類似の構成要素、特徴、及び／又は機能性を含み得る。加えて、バックエンド・デバイス（たとえば、サーバ、ＮＡＳなど）が、実装される場合、バックエンド・デバイスは、データ・センタ９００の一部として含まれ得、その実例は、図９に関して本明細書でさらに詳述される。
ネットワーク環境の構成要素は、ワイヤード、ワイヤレス、又はその両方でもよい、ネットワークを介して互いに通信し得る。ネットワークは、複数のネットワーク、又はネットワークのネットワークを含み得る。実例として、ネットワークは、１つ若しくは複数のワイド・エリア・ネットワーク（ＷＡＮ）、１つ若しくは複数のローカル・エリア・ネットワーク（ＬＡＮ）、１つ若しくは複数のパブリック・ネットワーク、たとえば、インターネット及び／若しくは公衆交換電話網（ＰＳＴＮ）、並びに／又は１つ若しくは複数のプライベート・ネットワークを含み得る。ネットワークが、ワイヤレス電気通信ネットワークを含む場合、構成要素、たとえば、基地局、通信塔、或いはアクセス・ポイント（並びに他の構成要素）、は、ワイヤレス接続を提供し得る。
互換性のあるネットワーク環境は、１つ又は複数のピア・ツー・ピア・ネットワーク環境（その場合、サーバはネットワーク環境に含まれないことがある）と、１つ又は複数のクライアント・サーバ・ネットワーク環境（その場合、１つ又は複数のサーバがネットワーク環境に含まれ得る）とを含み得る。ピア・ツー・ピア・ネットワーク環境では、サーバに関して本明細書に記載した機能性は、任意の数のクライアント・デバイスで実装され得る。
少なくとも１つの実施例において、ネットワーク環境は、１つ又は複数のクラウドベースのネットワーク環境、分散型計算環境、その組合せなどを含み得る。クラウドベースのネットワーク環境は、フレームワーク層、ジョブ・スケジューラ、資源マネージャ、並びに、１つ若しくは複数のコア・ネットワーク・サーバ及び／又はエッジ・サーバを含み得る、サーバのうちの１つ又は複数で実装された分散型ファイル・システムを含み得る。フレームワーク層は、ソフトウェア層のソフトウェア及び／又はアプリケーション層の１つ若しくは複数のアプリケーションをサポートするために、フレームワークを含み得る。ソフトウェア又はアプリケーションは、それぞれ、ウェブベースのサービス・ソフトウェア又はアプリケーションを含み得る。実施例において、クライアント・デバイスのうちの１つ又は複数は、ウェブベースのサービス・ソフトウェア又はアプリケーションを使用し得る（たとえば、１つ又は複数のアプリケーション・プログラミング・インターフェース（ＡＰＩ）を介してサービス・ソフトウェア及び／又はアプリケーションにアクセスすることによって）。フレームワーク層は、たとえば大規模データ処理（たとえば、「ビッグ・データ」）のための分散型ファイル・システムを使用し得る、フリー及びオープン・ソース・ソフトウェア・ウェブ・アプリケーション・フレームワークのタイプでもよいが、これに限定されない。
クラウドベースのネットワーク環境は、本明細書に記載の計算及び／又はデータ・ストレージ機能（又は１つ若しくは複数のその部分）の任意の組合せを実施するクラウド計算及び／又はクラウド・ストレージを提供し得る。これらの様々な機能のいずれも、セントラル又はコア・サーバ（たとえば、州、領域、国、世界にわたって分散され得る１つ又は複数のデータ・センタなどの）から複数の場所に分散され得る。ユーザ（たとえば、クライアント・デバイス）への接続が、エッジ・サーバに比較的近い場合、コア・サーバは、機能性の少なくとも一部分をエッジ・サーバに任じ得る。クラウドベースのネットワーク環境は、プライベート（たとえば、単一の組織に制限される）でもよく、パブリック（たとえば、多数の組織に利用可能）、及び／又はその組合せ（たとえば、ハイブリッド・クラウド環境）でもよい。
クライアント・デバイスは、図８に関して本明細書に記載の例示的計算デバイス８００の構成要素、特徴、及び機能性のうちの少なくともいくつかを含み得る。実例として、及び制限ではなく、クライアント・デバイスは、パーソナル・コンピュータ（ＰＣ）、ラップトップ・コンピュータ、モバイル・デバイス、スマートフォン、タブレット・コンピュータ、スマート・ウォッチ、ウェアラブル・コンピュータ、パーソナル・デジタル・アシスタント（ＰＤＡ）、ＭＰ３プレイヤ、仮想現実ヘッドセット、全地球測位システム（ＧＰＳ）又はデバイス、ビデオ・プレイヤ、ビデオカメラ、監視デバイス又はシステム、車両、ボート、飛行船、仮想マシン、ドローン、ロボット、ハンドヘルド通信デバイス、病院デバイス、ゲーミング・デバイス又はシステム、娯楽システム、車両コンピュータ・システム、組み込み型システム・コントローラ、リモート制御、器具、民生用電子デバイス、ワークステーション、エッジ・デバイス、これらの描写されたデバイスの任意の組合せ、或いは任意の他の適切なデバイスとして実施され得る。
本開示は、コンピュータ又は、携帯情報端末若しくは他のハンドヘルド・デバイスなどの、他のマシンによって実行されている、プログラム・モジュールなどのコンピュータ実行可能命令を含む、コンピュータ・コード又はマシン使用可能命令との一般的関連において説明されることがある。一般に、ルーティン、プログラム、オブジェクト、構成要素、データ構造体などを含むプログラム・モジュールは、特定のタスクを実行する又は特定の抽象データ・タイプを実装するコードを指す。本開示は、ハンドヘルド・デバイス、家電製品、汎用コンピュータ、より特殊な計算デバイスなどを含む、様々な構成で実施され得る。本開示はまた、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散型コンピューティング環境において実施され得る。
本明細書では、２個以上の要素に関する「及び／又は」の記述は、１つの要素のみ、又は要素の組合せを意味すると解釈されるべきである。たとえば、「要素Ａ、要素Ｂ、及び／又は要素Ｃ」は、要素Ａのみ、要素Ｂのみ、要素Ｃのみ、要素Ａ及び要素Ｂ、要素Ａ及び要素Ｃ、要素Ｂ及び要素Ｃ、或いは、要素Ａ、Ｂ、及びＣを含み得る。加えて、「要素Ａ又は要素Ｂのうちの少なくとも１つ」は、要素Ａの少なくとも１つ、要素Ｂの少なくとも１つ、或いは、要素Ａの少なくとも１つ及び要素Ｂの少なくとも１つを含み得る。さらに、「要素Ａ及び要素Ｂのうちの少なくとも１つ」は、要素Ａのうちの少なくとも１つ、要素Ｂのうちの少なくとも１つ、或いは、要素Ａのうちの少なくとも１つ及び要素Ｂのうちの少なくとも１つを含み得る。
本開示の主題は、法定の要件を満たすために特異性を有して記述されている。しかしながら、その記述自体が本開示の範囲を制限することは意図されていない。そうではなくて、本発明者は、請求されている主題が、他の現在の又は未来の技術と併せて、異なるステップ又は本文書に記載されたものと類似のステップの組合せを含むように、他の形で実施され得ることを意図している。さらに、「ステップ」及び／又は「ブロック」という用語は、使用される方法の異なる要素を含意するように本明細書で使用され得るが、これらの用語は、個別のステップの順番が明示的に記載されていない限り及びそのように記載されているときを除いて本明細書で開示される様々なステップの間に何らかの特定の順番を暗示するものとして解釈されるべきではない。
Claims (20)
- マップ・データに少なくとも部分的に基づいて、目標物体に関連する１つ又は複数の物体位置を判定し、
センサ・データのセットに対応する前記物体位置及び位置データを使用して、前記物体位置に対応する前記センサ・データのセットからセンサ・データのサブセットを判定し、
前記センサ・データのサブセットの少なくとも１つのセンサ・データ・インスタンスについて、前記センサ・データ・インスタンスにおいて描写された前記目標物体のインスタンスに対応する特徴ベクトルを計算し、
前記特徴ベクトルと前記目標物体のテンプレートに対応するテンプレート特徴ベクトルとの間の類似性スコアを判定し、
前記類似性スコアが閾値類似性スコアよりも大きいことに少なくとも部分的に基づいて、機械学習モデルの１つ又は複数の重みを更新する際に使用するための前記少なくとも１つのセンサ・データ・インスタンスを選択する
１つ又は複数の回路を含む、プロセッサ。 - 前記センサ・データの前記サブセットの前記判定がさらに、前記センサ・データのセットを生成するために使用される１つ又は複数のセンサに関連する１つ又は複数の視界又は知覚フィールドに少なくとも部分的に基づく、請求項１に記載のプロセッサ。
- 前記センサ・データの前記サブセットの前記判定がさらに、前記センサ・データのセットを生成するために使用される１つ又は複数のセンサを含むデータ収集マシンの姿勢又は向きに少なくとも部分的に基づく、請求項１に記載のプロセッサ。
- 前記特徴ベクトル及び前記テンプレート特徴ベクトルの前記計算が、ニューラル・ネットワークを使用して実行される、請求項１に記載のプロセッサ。
- 前記特徴ベクトル又は前記テンプレート特徴ベクトルのうちの少なくとも１つが、前記ニューラル・ネットワークの最後の層より前の前記ニューラル・ネットワークの層から抽出される、請求項４に記載のプロセッサ。
- 前記１つ又は複数の回路がさらに、前記少なくとも１つのセンサ・データ・インスタンスにおいて前記目標物体の前記インスタンスの位置に対応する境界形状を、機械学習モデルを使用して計算し、前記特徴ベクトルの前記計算が、前記境界形状内の前記センサ・データ・インスタンスの部分を使用して実行される、請求項１に記載のプロセッサ。
- 前記１つ又は複数の回路がさらに、前記少なくとも１つのセンサ・データ・インスタンス内で前記目標物体の前記インスタンスの位置を識別することに少なくとも部分的に基づいて、前記少なくとも１つのセンサ・データ・インスタンスに対応するグラウンド・トゥルース・データを生成する、請求項１に記載のプロセッサ。
- 前記位置データが、地理空間データを含む、請求項１に記載のプロセッサ。
- 前記１つ又は複数の物体位置の前記判定が、１つ若しくは複数の地理空間識別子又は１つ若しくは複数の物体識別子を使用して前記マップ・データの問い合わせを実行することを含む、請求項１に記載のプロセッサ。
- 前記機械学習モデルの１つ又は複数の重みを前記更新することが、前記センサ・データのサブセットからの複数のセンサ・データ・インスタンス、又は最も高い関連類似性スコアを有する所定の量の前記複数のセンサ・データ・インスタンスの少なくとも１つを選択して、前記機械学習モデルの前記１つ又は複数の重みを更新することを含む、請求項１に記載のプロセッサ。
- 前記プロセッサが、
自律若しくは半自律マシンのための制御システム、
自律若しくは半自律マシンのための認知システム、
シミュレーション動作を実行するためのシステム、
光輸送シミュレーションを実行するためのシステム、
３Ｄ資産の共同コンテンツ作成を実行するためのシステム、
深層学習動作を実行するためのシステム、
エッジ・デバイスを使用して実装されるシステム、
ロボットを使用して実装されるシステム、
対話型ＡＩ動作を実行するためのシステム、
合成データを生成するためのシステム、
１つ若しくは複数の仮想マシン（ＶＭ）を組み込むシステム、
データ・センタに少なくとも部分的に実装されるシステム、又は
クラウド計算資源を使用して少なくとも部分的に実装されるシステム
の少なくとも１つに含まれる、請求項１に記載のプロセッサ。 - １つ又は複数のセンサと、
１つ又は複数の処理装置と
を備えるシステムであって、前記１つ又は複数の処理装置が、
マップ・データに少なくとも部分的に基づいて、目標物体に関連する１つ又は複数の物体位置を判定し、
センサ・データのセットに対応する前記物体位置及び位置データを使用して、前記物体位置に対応する前記センサ・データのセットからセンサ・データのサブセットを判定し、
前記センサ・データのサブセットの少なくとも１つのセンサ・データ・インスタンスについて、前記センサ・データ・インスタンスにおいて描写された前記目標物体のインスタンスに対応する特徴ベクトルを計算し、
前記特徴ベクトルと前記目標物体のテンプレートに対応するテンプレート特徴ベクトルとの間の類似性スコアを判定し、
前記類似性スコアが閾値類似性スコアよりも大きいことに少なくとも部分的に基づいて、機械学習モデルの１つ又は複数の重みを更新する際に使用するための前記少なくとも１つのセンサ・データ・インスタンスを選択する、
システム。 - 前記センサ・データの前記サブセットの前記判定がさらに、前記センサ・データのセットを生成するために使用される１つ又は複数のセンサに関連する１つ又は複数の視界又は知覚フィールドに少なくとも部分的に基づく、請求項１２に記載のシステム。
- 前記センサ・データの前記サブセットの前記判定がさらに、前記センサ・データのセットを生成するために使用される１つ又は複数のセンサを含むデータ収集マシンの姿勢又は向きに少なくとも部分的に基づく、請求項１２に記載のシステム。
- 前記１つ又は複数の処理装置がさらに、前記少なくとも１つのセンサ・データ・インスタンス内で前記目標物体の前記インスタンスの位置を識別することに少なくとも部分的に基づいて、前記少なくとも１つのセンサ・データ・インスタンスに対応するグラウンド・トゥルース・データを生成する、請求項１２に記載のシステム。
- 前記１つ又は複数の物体位置の前記判定が、１つ又は複数の地理空間識別子又は１つ又は複数の物体識別子を使用して前記マップ・データの問い合わせを実行することを含む、請求項１２に記載のシステム。
- 前記システムが、
自律若しくは半自律マシンのための制御システム、
自律若しくは半自律マシンのための認知システム、
シミュレーション動作を実行するためのシステム、
光輸送シミュレーションを実行するためのシステム、
３Ｄ資産の共同コンテンツ作成を実行するためのシステム、
深層学習動作を実行するためのシステム、
エッジ・デバイスを使用して実装されるシステム、
ロボットを使用して実装されるシステム、
対話型ＡＩ動作を実行するためのシステム、
合成データを生成するためのシステム、
１つ若しくは複数の仮想マシン（ＶＭ）を組み込むシステム、
データ・センタに少なくとも部分的に実装されるシステム、又は
クラウド計算資源を使用して少なくとも部分的に実装されるシステム
の少なくとも１つに含まれる、請求項１２に記載のシステム。 - マップ・データを使用して、目標関心物体に関連する１つ又は複数の物体位置を判定するステップと、
前記マップ・データから前記１つ又は複数の物体位置を、センサ・データの１つ又は複数のフレームの生成に関連する１つ又は複数の車両位置にマッピングするステップと、
前記フレームにおいて描写された前記目標関心物体のインスタンスに関連する特徴ベクトルを、前記目標関心物体のテンプレートに関連するテンプレート特徴ベクトルと比較することに少なくとも部分的に基づいて、前記センサ・データの前記１つ又は複数のフレームのうちの少なくとも１つのフレームの類似性スコアを判定するステップと、
各フレームの前記類似性スコアに基づいて前記画像データの前記１つ又は複数のフレームのうちの少なくとも１つのフレームをランク付けするステップと、
前記センサ・データの前記１つ又は複数のフレームのうちの前記少なくとも１つのフレームの前記ランク付けに基づいて、前記画像データの前記１つ又は複数のフレームのうちの前記少なくとも１つのフレームにラベルを割り当てるステップであって、前記ラベルは、前記目標関心物体に関連する分類を示す、ステップと、
グラウンド・トゥルース・データとしての前記ラベル及び前記少なくとも１つのフレームを使用して機械学習モデルの１つ又は複数の重みを更新するステップと
を含む方法。 - 前記マップ・データ内の前記１つ又は複数の物体位置を１つ又は複数の車両位置に前記マッピングするステップが、前記センサ・データの１つ又は複数のフレームを生成した少なくとも１つのセンサの視界又は知覚フィールドを推定するステップを含む、請求項１８に記載の方法。
- 前記視界又は前記知覚フィールドを前記推定するステップが、前記少なくとも１つのセンサを含む車両の推定された進行方向、前記少なくとも１つのセンサのセンサ姿勢、又は前記少なくとも１つのセンサのセンサ取り付け位置のうちの１つ又は複数に少なくとも部分的に基づく、請求項１９に記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/689,799 US20230286530A1 (en) | 2022-03-08 | 2022-03-08 | Object data curation of map information using neural networks for autonomous systems and applications |
| US17/689,799 | 2022-03-08 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023131069A true JP2023131069A (ja) | 2023-09-21 |
Family
ID=87932203
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022048495A Pending JP2023131069A (ja) | 2022-03-08 | 2022-03-24 | 自律システム及びアプリケーションのためのニューラル・ネットワークを使用したマップ情報の物体データ・キュレーション |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230286530A1 (ja) |
| JP (1) | JP2023131069A (ja) |
| CN (1) | CN116767245A (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SG10201807675TA (en) * | 2018-09-06 | 2020-04-29 | Nec Asia Pacific Pte Ltd | Duration and Potential Region of Interest for Suspicious Activities |
| US20230245336A1 (en) * | 2022-02-01 | 2023-08-03 | Zoox, Inc. | Distance representation and encoding |
| CN117387602B (zh) * | 2023-12-07 | 2024-02-13 | 广州市城市排水有限公司 | 一种应用于水下智能机器人的清淤定位方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11099638B2 (en) * | 2019-10-24 | 2021-08-24 | Facebook Technologies, Llc | Systems and methods for generating dynamic obstacle collision warnings based on detecting poses of users |
| US20220188695A1 (en) * | 2020-12-16 | 2022-06-16 | Argo AI, LLC | Autonomous vehicle system for intelligent on-board selection of data for training a remote machine learning model |
| EP4337510A1 (en) * | 2021-05-10 | 2024-03-20 | Motional AD LLC | Improving lidar point cloud segmentation using box prediction |
| US11887324B2 (en) * | 2021-06-30 | 2024-01-30 | Motional Ad Llc | Cross-modality active learning for object detection |
-
2022
- 2022-03-08 US US17/689,799 patent/US20230286530A1/en active Pending
- 2022-03-24 JP JP2022048495A patent/JP2023131069A/ja active Pending
- 2022-08-17 CN CN202210987026.4A patent/CN116767245A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN116767245A (zh) | 2023-09-19 |
| US20230286530A1 (en) | 2023-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7399164B2 (ja) | 駐車スペース検出に適したスキューされたポリゴンを使用した物体検出 | |
| US11688181B2 (en) | Sensor fusion for autonomous machine applications using machine learning | |
| US11995895B2 (en) | Multi-object tracking using correlation filters in video analytics applications | |
| US20240127454A1 (en) | Intersection region detection and classification for autonomous machine applications | |
| US11801861B2 (en) | Using image augmentation with simulated objects for training machine learning models in autonomous driving applications | |
| US11592828B2 (en) | Using neural networks to perform fault detection in autonomous driving applications | |
| JP2022530091A (ja) | 自律マシン・アプリケーションにおける交差点姿勢検出 | |
| JP2023507695A (ja) | 自律運転アプリケーションのための３次元交差点構造予測 | |
| JP2023503729A (ja) | 自律運転アプリケーションのための曲線適合を使用するランドマーク検出 | |
| CN114155272A (zh) | 自主机器应用中的自适应目标跟踪算法 | |
| US20230286530A1 (en) | Object data curation of map information using neural networks for autonomous systems and applications | |
| US20230110713A1 (en) | Training configuration-agnostic machine learning models using synthetic data for autonomous machine applications | |
| US20230341235A1 (en) | Automatic graphical content recognition for vehicle applications | |
| US20240001957A1 (en) | Using image augmentation with simulated objects for training machine learning models in autonomous driving applications | |
| WO2024015632A1 (en) | Surround scene perception using multiple sensors for autonomous systems and applications | |
| US20230406315A1 (en) | Encoding junction information in map data | |
| US20220340149A1 (en) | End-to-end evaluation of perception systems for autonomous systems and applications | |
| JP2023051713A (ja) | 自律マシン・アプリケーションにおける深層学習を使用する視認距離推定 | |
| WO2022251697A1 (en) | Perception-based sign detection and interpretation for autonomous machine systems and applications | |
| US20230368079A1 (en) | Geospatial Clustering of Regions Using Neural Networks for Autonomous Systems and Applications | |
| US20230298361A1 (en) | Image to world space transformation for ground-truth generation in autonomous systems and applications | |
| US20220379913A1 (en) | Perception-based sign detection and interpretation for autonomous machine systems and applications | |
| US20240087333A1 (en) | Techniques for identifying occluded objects using a neural network | |
| US20240020953A1 (en) | Surround scene perception using multiple sensors for autonomous systems and applications | |
| US20240096102A1 (en) | Freespace detection using machine learning for autonomous systems and applications |