JP2023051713A - 自律マシン・アプリケーションにおける深層学習を使用する視認距離推定 - Google Patents

自律マシン・アプリケーションにおける深層学習を使用する視認距離推定 Download PDF

Info

Publication number
JP2023051713A
JP2023051713A JP2022078880A JP2022078880A JP2023051713A JP 2023051713 A JP2023051713 A JP 2023051713A JP 2022078880 A JP2022078880 A JP 2022078880A JP 2022078880 A JP2022078880 A JP 2022078880A JP 2023051713 A JP2023051713 A JP 2023051713A
Authority
JP
Japan
Prior art keywords
data
sensor data
vehicle
instances
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022078880A
Other languages
English (en)
Inventor
バジペイイー アビーシェク
Bajpayee Abhishek
グプタ アルジュン
Gupta Arjun
タン ジョージ
Tang George
－ ジョン セオ ハエ
Hae-Jong Seo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nvidia Corp
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of JP2023051713A publication Critical patent/JP2023051713A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

【課題】１つ又は複数の機械学習モデル（ＭＬＭ）－たとえば、ディープ・ニューラル・ネットワーク（ＤＮＮ）－を使用する、システム及び方法を提供する。【解決手段】様々な実例では、自律又は半自律マシンの１つ又は複数のセンサを使用して生成されたセンサ・データに対応する推定視認距離を示す出力を計算するために１つ又は複数の機械学習モデル（ＭＬＭ）－たとえば、ディープ・ニューラル・ネットワーク（ＤＮＮ）－を使用する、システム及び方法が、開示される。視認距離が、１つ又は複数のＭＬＭを使用して計算された後は、マシンの１つ又は複数の下流タスクのセンサ・データの有用性の判定が、評価され得る。そのようなものとして、推定視認距離が低い場合、対応するセンサ・データは、視認距離が高いときよりも少ないタスクについて依拠され得る。【選択図】図１

Description

本出願は、参照によってその全部が本明細書に組み込まれる、２０１９年９月１３日に出願された米国非仮特許出願第１６／５７０，１８７号に関する。
自律運転システム及び半自律運転システム（たとえば、先進運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ））は、センサ（たとえば、カメラ、ＬｉＤＡＲセンサ、ＲＡＤＡＲセンサなど）を活用して様々なタスク－たとえば、盲点モニタリング、自動緊急ブレーキ、車線維持、物体検出、障害物回避、及び位置特定－を実行することができる。たとえば、自律及びＡＤＡＳシステムが独立して効率的に動作するために、リアルタイム又はほぼリアルタイムでの車両の周辺環境の把握が、なされ得る。車両の周辺環境を正確に効率的に把握するために、センサは、使用可能な、隠されていないセンサ・データ（たとえば、画像、深度図、点群などを表す）を生成しなければならない。しかしながら、周辺環境を認知するセンサの能力は、様々なソース－たとえば、気象（たとえば、雨、霧、雪、雹、煙など）、交通条件、センサ妨害（たとえば、破片、湿気などからの）、又はぼやけによって損なわれ得る。結果として、生じるセンサ・データは、車両、障害物、及び／又は環境内の他の物体を明瞭に描写しないことがある。
損なわれた視認距離に対処するための従来のシステムは、個々の視覚的証拠を検出し、その後にこれらの特徴を継ぎ合わせて、損なわれた視認性が存在すると判定するための特徴レベルの手法を使用してきた。これらの従来の方法は、画像の領域において鋭いエッジ特徴（たとえば、勾配、色、強度の急激な変化）がないことを分析すること、色ベースの画素分析又は他の低レベルの特徴分析を使用して潜在的な視認性の問題を検出すること、及び／又はブラインド対非ブラインド出力を有するバイナリ・サポート・ベクトル・マシン分類によるなどのコンピュータ・ビジョン技法に主として依拠する。しかしながら、そのような特徴ベースのコンピュータ・ビジョン技法は、たとえば、各特徴が視認性に関連するか否かなど、各特徴の別個の分析並びに特定のセンサ視認性低下条件の異なる特徴をどのように結合するかの分析を必要とし、それによって現実世界の状況においてセンサを使用して観測されるデータを損ない得る非常に様々な多様な条件及び出来事に固有の複雑性により、そのような手法のスケーラビリティを制限する。たとえば、これらの従来の手法を実行する計算費用により、これらの従来の手法は、リアルタイム又はほぼリアルタイム配備に無効にされる。
さらに、従来のシステムは、センサ視認性低下の原因－たとえば、雨、雪、霧、眩しさなど－を分類することに依拠し得るが、センサ・データの有用性の正確な指示をもたらさないことがある。たとえば、画像において雨を識別することは、対応する画像－又はその部分－が様々な自律又は半自律タスクに使用可能かどうかを判定するためにシステムによって実施可能でないことがある。そのような実例において、画像は、車両の１００メートル以内の環境を明瞭に描写し得るが、雨が降っている場合、画像は、従来のシステムによって使用不可能と見なされ得る。そのようなものとして、可視範囲内の１つ又は複数のタスクについて画像に依拠するのではなくて、画像は、誤って破棄され得、１つ又は複数のタスクは、無効にされ得る。このようにして、各タイプの損なわれたセンサ視認性を等しく扱うことによって、あまりひどくない又は有害でないタイプのセンサは、この判定が完全に正確というわけではない可能性がある場合でも、センサ・データのインスタンスが使用不可能であると見なされることを引き起こし得る（たとえば、小雨が降っている環境の画像は、１つ又は複数の動作に使用可能であり得、一方、濃霧である環境の画像は、使用不可能であり得る）。
米国特許出願第１６／１０１，２３２号
本開示の実施形態は、自律マシン・アプリケーションにおける視認距離推定－たとえば、物体又は要素が判別され得る、センサから最も遠い距離－のディープ・ニューラル・ネットワーク処理に関する。自律又は半自律マシンの１つ又は複数のセンサに対応する１つ又は複数のディープ・ニューラル・ネットワーク（ＤＮＮ）などの機械学習モデルを使用して推定視認距離を示す出力（たとえば、距離の範囲を含む計算された距離又は距離ビンの形での）を計算する、システム及び方法が、開示される。たとえば、推定視認距離を予測することによって、１つ又は複数の下流タスク－たとえば、物体検出、物体追跡、障害物回避、進路計画策定、制御決定、及び／又は同類のものなど－の関連センサ・データへのマシンの依拠が、調整され得る。そのようなものとして、推定視認距離が低い－たとえば、２０メートル未満である－場合、対応するセンサ・データは、レベル０（自動化なし）又はレベル１（運転者支援）タスク（たとえば、自動車技術者協会（ＳＡＥ：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）自動化レベルによる）についてのみ依拠され得る、或いはマシンの２０メートル以内の予測についてのみ依拠され得る（たとえば、そして、２０メートルを超える予測は、無視され得る、又はより低い関連信頼性を有し得る）。同様に、別の実例として、推定視認距離が高い－たとえば、１０００メートル以上－場合、対応するセンサ・データは、レベル３（条件付きの運転自動化）及びレベル４（高い運転自動化）タスクの全性能について依拠され得る、又はマシンの１０００メートル以内の位置に対応する予測について依拠され得る。
このようにして、前述のものなどの従来のシステムとは対照的に、本開示のシステム及び方法は、センサ・データの有用性を判定するためのみならず、視認距離－又は視認距離の関連範囲を有する視認距離ビン－を使用して定義されるものとしてのセンサ・データの有用性のレベル又は程度を判定するために、使用され得る。視認距離を表す出力を正確に計算するようにたとえば、ＤＮＮなどの機械学習モデルをトレーニングするために、ＤＮＮは、変化する気象、照明、及び／又は他の条件を含むセンサ・データ表現（たとえば、画像、ＬｉＤＡＲ点群など）を表す現実世界データ、拡張現実世界データ、及び／又は合成データを使用して、トレーニングされ得る。各センサ・データ・インスタンスは、視認距離及び／又は視認距離ビンを表す対応するグラウンド・トゥルース・データ（ｇｒｏｕｎｄ ｔｒｕｔｈ ｄａｔａ）を含み得る。いくつかの実施形態において、所与のパラメータ－たとえば、霧の濃さ、雨の水分量、雨の強度など－について、知られている又は推定された視認距離が存在するように、グラウンド・トゥルース・データは、１つ又は複数のトレーニングされたモデルを使用して自動的に生成され得る。そのようなものとして、堅牢なトレーニング・セットが、１つ又は複数のモデルを使用して生成され得（たとえば、異なるモデルが、現実世界、拡張、及び／又は合成などの異なるセンサ・データ・タイプに対応し得）、機械学習モデルは、トレーニング・データ及び関連グラウンド・トゥルース・データの組合せを使用してトレーニングされ得る。
自律マシン・アプリケーションにおける視認距離推定のディープ・ニューラル・ネットワーク処理のための本システム及び方法について、添付の図面を参照して、以下に詳しく説明する。
本開示のいくつかの実施形態による、推定視認距離を計算するように機械学習モデルをトレーニングするためのプロセスを示すデータフロー図である。 本開示のいくつかの実施形態による、異なる視認距離を有するセンサ・データの例示的視覚化である。 本開示のいくつかの実施形態による、異なる視認距離を有するセンサ・データの例示的視覚化である。 本開示のいくつかの実施形態による、異なる視認距離を有するセンサ・データの例示的視覚化である。 本開示のいくつかの実施形態による、推定視認距離を計算するように機械学習モデルをトレーニングするための方法を示すフロー図である。 本開示のいくつかの実施形態による、推定視認距離を計算するように機械学習モデルを配備するためのプロセスを示すデータフロー図である。 本開示のいくつかの実施形態による、様々な物体のセンサ・データ及び対応する視認距離出力の例示的視覚化である。 本開示のいくつかの実施形態による、推定視認距離を計算するように機械学習モデルを配備するための方法を示すフロー図である。 本開示のいくつかの実施形態による、例示的自律型車両の図示である。 本開示のいくつかの実施形態による、図７Ａの例示的自律型車両のカメラ位置及び視野の実例である。 本開示のいくつかの実施形態による、図７Ａの例示的自律型車両の例示的システム・アーキテクチャのブロック図である。 本開示のいくつかの実施形態による、クラウドベースのサーバと図７Ａの例示的自律型車両との間の通信のシステム図である。 本開示のいくつかの実施形態の実装における使用に適した例示的コンピューティングデバイスのブロック図である。 本開示のいくつかの実施形態の実装における使用に適した例示的データ・センタのブロック図である。
自律マシン・アプリケーションにおける視認距離推定のためのディープ・ニューラル・ネットワーク処理に関連して、システム及び方法が、開示される。本開示は、例示的自律型車両７００（或いは本明細書で「車両７００」又は「エゴ車両７００」とも称され、その実例が図７Ａ～７Ｄに関して説明される）に関して説明されることがあるが、これは限定を意図していない。たとえば、本明細書に記載のシステム及び方法は、非自律型車両、半自律型車両（たとえば、１つ又は複数の先進運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）における）、有人及び無人ロボット又はロボットのプラットフォーム、倉庫車両、オフロード車両、１つ若しくは複数のトレーラに連結された車両、飛行船舶、ボート、シャトル、緊急対応車両、オートバイ、電動若しくは原動機付自転車、航空機、建設車両、潜水艦、ドローン、及び／又は、他の車両タイプによって使用されてもよいが、これらに限定されない。加えて、本開示は、自律又は半自律マシン・アプリケーションにおける視認距離推定に関して説明されることがあるが、これは限定を意図しておらず、本明細書に記載のシステム及び方法は、拡張現実、仮想現実、混合現実、ロボット工学、セキュリティ及び監視、自律若しくは半自律マシン・アプリケーション、並びに／又はセンサ・データの条件及び有用性が分析され得る任意の他の技術空間において使用され得る。
（視認距離を計算するための機械学習モデルのトレーニング）
図１を参照すると、図１は、本開示のいくつかの実施形態による、視認距離推定のための機械学習モデルをトレーニングするための例示的プロセス１００に対応するデータフロー図である。本明細書に記載のこの構成及び他の構成は単なる実例として明記されている、ということを理解されたい。他の構成及び要素（たとえば、マシン、インターフェース、機能、順序、機能のグループ化など）が、図示されたものに加えて又はそれらの代わりに使用され得、いくつかの要素は、完全に省略され得る。さらに、本明細書に記載の要素の多数は、離散された若しくは分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び位置において実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。いくつかの実施形態において、本明細書に記載のシステム、方法、及びプロセスは、図７Ａ～７Ｄの例示的自律型車両７００、図８の例示的計算デバイス８００、及び／若しくは図９の例示的データ・センタ９００のそれらに類似の構成要素、特徴、並びに／又は機能性を使用して実行され得る。
機械学習モデル１０４は、トレーニング・データ１０２－たとえば、センサ・データ１０２Ａ、拡張データ１０２Ｂ、及び／又は合成データ１０２Ｃ－を使用してトレーニングされ得る。たとえば、センサ・データ１０２Ａは、エゴマシン７００の１つ又は複数のセンサ、たとえば、ステレオ・カメラ７６８、ＲＡＤＡＲセンサ７６０、超音波センサ７６２、ＬｉＤＡＲセンサ７６４、ワイド・ビュー・カメラ７７０、サラウンド・カメラ７７４、エゴマシン７００の他のセンサ、及び／又は他のセンサ・タイプ、を使用して生成される現実世界のセンサ・データに対応し得る。たとえば、センサ・データ１０２Ａは、様々な条件－たとえば、変化する気象、照明、オクルージョン、及び／又は他の条件－において様々なタイプのセンサ・データ１０２Ａを収集する１つ又は複数のデータ収集車両を使用して収集され得る。実施形態において、十分多様なトレーニング・データ・セットを生成することは、センサ・データ１０２Ａを単独で使用して、非実用的に及び／又は非常に高価になり得るので、拡張データ１０２Ｂ及び／又は合成データ１０２Ｃが、現実世界のセンサ・データ１０２Ａに加えて又はその代わりに生成され得る。
拡張データ１０２Ｂは、センサ・データ１０２Ａが最初にキャプチャされた実際の条件以外の様々な条件でキャプチャされるセンサ・データをシミュレーションするために拡張された－たとえば、様々な気象（霧、雪、雨、みぞれなど）、照明（暗闇、日照、センサに向けて輝く太陽など）、オクルージョン、及び／又は他の条件を含むように－現実世界のセンサ・データ１０２Ａに対応し得る。たとえば、センサ・データ１０２Ａが、晴天条件の下でキャプチャされた場合、センサ・データ１０２Ａは、拡張センサ・データ１０２Ｂを生成するために雨、霧、雪、及び／又は別の条件を使用して拡張され得る。別の実例として、センサ・データ１０２Ａが、小雨の下でキャプチャされた場合、センサ・データ１０２Ａは、小雨に加えてより強い雨及び／又は霧を含むように拡張され得る。これを行うために、実施形態において、異なるレベルの雨（たとえば、霧雨、大雨など）、霧（たとえば、濃霧、薄い霧など）、雪（たとえば、大雪、小雪、にわか雪など）、及び／又は他の条件（たとえば、センサの異なる照明条件を生み出す異なる太陽位置）が、拡張データ１０２Ｂを生成するために適用され得る。そのようなものとして、１つ又は複数の条件を制御するパラメータに対応する値が、拡張データ１０２Ｂを生成するためにたとえば、手動で、自動的に、及び／又はランダムに決定され得る。たとえば、霧の濃さのパラメータ、雨の強度パラメータ、及び／又は別の条件の別のパラメータの値が、決定され得、センサ・データ１０２Ａは、拡張データ１０２Ｂを生成するために値に基づいて拡張され得る。
合成データ１０２Ｃは、仮想環境内（たとえば、仮想又はシミュレート環境内の仮想車両の仮想カメラ）の１つ又は複数の仮想マシン（たとえば、車両７００の仮想インスタンス）の１つ又は複数の仮想センサ（たとえば、カメラ、ＬｉＤＡＲセンサ、ＲＡＤＡＲセンサなど）を使用して生成されるセンサ・データに対応し得る。たとえば、シミュレーション又はゲーム・エンジンが、仮想マシンのシミュレート環境を生成するために使用され得、仮想センサは、トレーニング・データ１０２として使用するためにシミュレート環境内から合成データ１０２Ｃを生成し得る。様々な条件－たとえば、気象、照明、オクルージョンなど－に対応するシミュレート又は仮想環境を生成するために、様々な条件に対応するパラメータの値が、手動で、自動的に、及び／又はランダムに設定され多様な合成データ１０２Ｃを生成し得る。加えて、仮想環境における道路レイアウト（たとえば、車線の数、湾曲、高さの変化など）、交通条件、周辺環境条件、風景、物体の位置及び／若しくはタイプ、並びに／又は、仮想環境内の他のファクタが、合成データ１０２Ｃを使用してトレーニング・データ１０２をさらに多様化するために、選択又はランダム化され得る。
拡張データ１０２Ｂ及び合成データ１０２Ｃを較正して２つの間の一貫性、ひいてはより正確なトレーニング・データ１０２を確保するために、拡張及びシミュレーション・パラメータが、較正され得る。これは、同じ視認距離ラベルを有する拡張及びシミュレーションを使用して生成されたデータが視覚的に同じである又は類似する可能性を増やし得る。較正を実行するために、実施形態において、視認拡張データ１０２Ｂのインスタンス及び合成データ１０２Ｃのインスタンスが、視認距離に対応する同距離にある物体を含むようにキュレートされ得る。各インスタンスについて、１ペアの拡張インスタンス及び１ペアの合成インスタンスが、（例として及び限定せずに）＋２メートルの距離において及び（例として及び限定せずに）－２メートルの距離において生成され得る。査定者は、次いで、目標物体が拡張データ１０２Ｂの両方のインスタンス及び合成データ１０２Ｃの両方のインスタンスにおいて可視であるかどうかを判定し得る。そのような例示的シナリオの下での実施形態によれば、パラメータは、次いで、物体が距離－２メートルにおいて可視である及び距離＋２メートルにおいて不可視であるまで、調整され得る。そのようなものとして、同じ視認距離について、雨、雪、霧などのパラメータは、合成又は拡張データの結果的トレーニング・データが視覚的に類似するように、調整され得る。
実施形態において、トレーニング・データ１０２は、トレーニング・データ・セットをさらに多様化するため及びトレーニング・データ・セットの堅牢性を高めるために、最初のデータ１０２Ａ、１０２Ｂ、及び／若しくは１０２Ｃ、ダウンサンプリングされたデータ、アップサンプリングされたデータ、クロップされた又は関心領域（ＲＯＩ）のデータ、反転若しくは回転されたデータ、他の方法で拡張されたデータ、並びに／又はそれらの組合せを含み得る。
グラウンド・トゥルース・ジェネレータ１１６を使用して生成される対応するグラウンド・トゥルース・データに加えて、トレーニング・データ１０２が、出力１０６（たとえば、視認距離１０８、距離ビン１１０、及び／若しくは視認性分類並びに／又は属性１１２）を計算するように機械学習モデル１０４をトレーニングするために使用され得る。実例は、機械学習モデル１０４としての、ディープ・ニューラル・ネットワーク（ＤＮＮ）、及び具体的には畳み込みニューラル・ネットワーク（ＣＮＮ：：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を使用することに関して本明細書で説明されているが、これは限定を意図していない。たとえば、そして限定はしないが、機械学習モデル１０４は、任意のタイプの機械学習モデル、線形回帰、ロジスティック回帰、決定木、サポート・ベクトル・マシン（ＳＶＭ）、ナイーブ・ベイズ、ｋ最近傍（Ｋｎｎ：ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）、Ｋ平均法クラスタリング、ランダム・フォレスト、次元削減アルゴリズム、勾配ブースティング・アルゴリズム、ニューラル・ネットワーク（たとえば、オートエンコーダ、畳み込み、再発、パーセプトロン、長／短期メモリ／ＬＳＴＭ、ホップフィールド、ボルツマン、深層信念、逆畳み込み（デコンボリューション）、敵対的生成、液体状態マシンなど）、コンピュータ・ビジョン・アルゴリズムを使用する機械学習モデル、及び／又は他のタイプの機械学習モデル、を含み得る。
一実例として、たとえば、機械学習モデル１０４がＣＮＮを含む場合、機械学習モデル１０４は、任意の数の層を含み得る。層のうちの１つ又は複数は、入力層を含み得る。入力層は、トレーニング・データ１０２（又は、配備中の、センサ・データ４０２）に関連する値を保持し得る（たとえば、後処理の前又は後）。たとえば、トレーニング・データが画像を表すとき、入力層は、ボリューム（たとえば、幅、高さ、及び色チャネル（たとえば、ＲＧＢ）、３２ｘ３２ｘ３など）として画像の未加工画素値を表す値を保持し得る。
１つ又は複数の層は、畳み込み層を含み得る。畳み込み層は、入力層においてローカル領域に接続されたニューロンの出力を計算することができ、各ニューロンは、それらの重みと入力ボリュームにおいてそれらが接続された小さい領域とのドット積（内積）を計算する。畳み込み層の結果は、適用されるフィルタの数に基づく次元のうちの１つを有して、別のボリュームでもよい（たとえば、フィルタの幅、高さ、及び数、たとえば、１２がフィルタの数だった場合、３２ｘ３２ｘ１２など）。
１つ又は複数の層は、逆畳み込み層（又は転置された畳み込み層）を含み得る。たとえば、逆畳み込み層の結果は、逆畳み込み層において受信されたデータの入力次元より高い次元を有する、別のボリュームでもよい。
層のうちの１つ又は複数は、ＲｅＬＵ（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ）層を含み得る。ＲｅＬＵ層は、たとえば、ゼロで閾値となる要素ごとの活性化関数、たとえば、ｍａｘ（０，ｘ）、を適用し得る。ＲｅＬＵ層の結果的ボリュームは、ＲｅＬＵ層の入力のボリュームと同じでもよい。
層のうちの１つ又は複数は、プーリング層を含み得る。プーリング層は、プーリング層の入力より小さいボリュームをもたらし得る（たとえば、３２ｘ３２ｘ１２入力ボリュームから１６ｘ１６ｘ１２）、空間次元（たとえば、高さ及び幅）に沿ったダウンサンプリング動作を実行し得る。
層のうちの１つ又は複数は、１つ又は複数の完全に接続された層を含み得る。完全に接続された層内の各ニューロンは、前のボリュームにおいてニューロンのそれぞれに接続され得る。完全に接続された層は、クラス・スコアを計算し得、結果的ボリュームは、１ｘ１ｘｎでもよく、ｎは、クラスの数と等しい。いくつかの実例では、ＣＮＮの層のうちの１つ又は複数の層の出力が、ＣＮＮの完全に接続された層への入力として提供され得るように、ＣＮＮは、完全に接続された層を含み得る。いくつかの実例では、１つ又は複数の畳み込みストリームが、機械学習モデル１０４によって実装され得、畳み込みストリームのうちのいくつか又はすべては、それぞれの完全に接続された層を含み得る。
いくつかの非限定的実施形態において、機械学習モデル１０４は、グローバル・コンテキスト特徴抽出を円滑に進めるためのマルチスケール拡張型畳み込み及びアップサンプリング層が後に続く、画像特徴抽出を円滑に進めるための一連の畳み込み及びマックス・プーリング層を含み得る。
入力層、畳み込み層、プーリング層、ＲｅＬＵ層、及び完全に接続された層は、機械学習モデル１０４に関して本明細書で論じられているが、これは限定を意図していない。たとえば、正規化層、ＳｏｆｔＭａｘ層、及び／又は他の層タイプなどの追加の又は代わりとなる層が、機械学習モデル１０４において使用され得る。
加えて、畳み込み層及び完全に接続された層など、いくつかの層は、パラメータ（たとえば、重み及び／又はバイアス）を含んでもよく、一方でＲｅＬＵ層及びプーリング層などの他の層は含まなくてもよい。いくつかの実例において、パラメータは、トレーニング中に機械学習モデル１０４によって学習され得る。さらに、畳み込み層、完全に接続された層、及びプーリング層など、いくつかの層は、追加のハイパーパラメータ（たとえば、学習レート、ストライド、エポックなど）を含んでもよく、一方、ＲｅＬＵ層などの他の層は含まなくてもよい。機械学習モデル１０４が視認距離で回帰する実施形態において、ＣＮＮの最後の層のアクティブ化機能は、ＲｅＬＵアクティブ化機能を含み得る。機械学習モデル１０４がセンサ・データのインスタンスを距離ビン１１０へと分類する実施形態において、ＣＮＮの最後の層のアクティブ化機能は、ＳｏｆｔＭａｘアクティブ化機能を含み得る。パラメータ及びハイパーパラメータは、限定されることなく、実施形態に応じて異なり得る。
機械学習モデル１０４がＣＮＮを含む実施形態において、ＣＮＮの異なる順序及び数の層が、実施形態に応じて使用され得る。言い換えれば、ＣＮＮの層の順序及び数は、任意の１つのアーキテクチャに限定されない。
たとえば、１つ又は複数の実施形態において、ＣＮＮは、エンコーダ・デコーダ・アーキテクチャを含み得、及び／又は１つ又は複数の出力ヘッドを含み得る。たとえば、ＣＮＮは、ＣＮＮの特徴検出トランクに対応する１つ又は複数の層を含み得、特徴検出トランクの出力（たとえば、特徴マップ）が、１つ又は複数の出力ヘッドを使用して、処理され得る。たとえば、第１の出力ヘッド（１つ又は複数の第１の層を含む）が、視認距離１０８を計算するために使用され得、第２の出力ヘッド（１つ又は複数の第２の層を含む）が、距離ビン１１０を計算するために使用され得、及び／又は第３の出力ヘッド（１つ又は複数の第３の層を含む）が、視認性分類／属性１１２を計算するために使用され得る。そのようなものとして、２つ以上のヘッドが使用される場合、２つ以上のヘッドは、並行してトランクからのデータを処理することができ、且つ各ヘッドは、出力ヘッドの対応する出力を正確に予測するようにトレーニングされ得る。しかしながら、他の実施形態では、単一のトランクが、別個のヘッドなしに、使用され得る。
グラウンド・トゥルース・ジェネレータ１１６は、現実世界のセンサ・データ１０２Ａに対応するグラウンド・トゥルース・データとして現実世界のラベル又は注釈１１８を生成するために使用され得る。たとえば、現実世界環境において生成されたセンサ・データ１０２Ａ－拡張なし－について、現実世界のラベル又は注釈は、センサ・データ１０２Ａの各インスタンスの視認距離を示す視認距離ラベルに対応し得る。現実世界のラベル又は注釈１１８が、グラウンド・トゥルース・データを生成するために使用される場合、いくつかの実例において、注釈又はラベルは、描画プログラム（たとえば、注釈プログラム）、コンピュータ支援設計（ＣＡＤ）プログラム、ラベリング・プログラム、注釈を生成するのに適した別のタイプのプログラム内で生成され得、及び／又は手描きされ得る。任意の実例において、グラウンド・トゥルース・データは、合成的に作成され得（たとえば、コンピュータ・モデル又はレンダリングから生成される）、現実に作成され得（たとえば、現実世界データから設計及び作成される）、マシンにより自動化され得（たとえば、特徴分析及び学習を使用してデータから特徴を抽出し、次いでラベルを生成する）、人により注釈を付けられ得（たとえば、ラベラ、又は注釈エキスパートが、ラベルの位置を定義する）、並びに／又はそれらの組合せ（たとえば、人が目に見える物体を識別し、コンピュータが物体までの距離及び対応する視認距離を判定する）ことができる。
現実世界のラベル１１８は、実際の視認距離－たとえば、メートル、フィートなどの－に対応し得、及び／又は距離ビンに対応し得る（たとえば、各距離ビンは、ある範囲の視認距離値を含み得る）。限定はしないが、たとえば、距離ビンが使用される場合、距離ビンは、非常に低い視認性（たとえば、＜１０メートル）の第１のビン、低い視認性（たとえば、１０メートルから１００メートルの間）の第２のビン、中位視認性（たとえば、１００メートルから１０００メートルの間）の第３のビン、高い視認性（たとえば、１０００メートルから４０００メートルの間）の第４のビン、及び明瞭な視認性（たとえば、４０００メートル超）の第５のビンを含み得る。５つのビンが、対応する範囲とともに、ここで列挙されているが、これは限定を意図しておらず、任意の範囲の値を有するいくつかの距離ビンが、本開示の範囲を逸脱せずに使用され得る。そのようなものとして、センサ・データ１０２Ａの所与のインスタンスについて、センサ・データ１０２Ａは、視認距離及び／又は距離ビンでラベル付けされ得、これらの値は、トレーニング中にたとえば、損失関数１１４を使用して機械学習モデル１０４の出力１０６と比較するために使用され得る。いくつかのインスタンスでは、機械学習モデル１０４はまた、たとえば、存在すれば、視認性の減少の原因に対応する視認性分類及び／又は属性１１２を計算するようにトレーニングされ得る。他のインスタンスでは、視認距離分類に加えて又はその代わりに、機械学習モデル１０４は、損なわれたセンサ・データ（たとえば、カメラ・レンズ上の雨粒、センサをふさぐ雪など）に対応するセンサ視覚消失分類を計算するようにトレーニングされ得る。そのようなインスタンスにおいて、グラウンド・トゥルース・データ及び出力は、参照することによりその全部が本明細書に組み込まれる、２０１９年９月１３日に出願された、米国非仮特許出願第１６／５７０，１８７号に類似し得る。
センサ・データ１０２Ａの所与のインスタンスの視認距離及び／又は距離ビンを判定するために、静的及び／又は動的物体位置が、使用され得る。たとえば、いくつかのインスタンスでは、１つ又は複数の深度又は距離の値が、１つ又は複数の機械学習、コンピュータ・ビジョン、深度センサ、並びに／又は他の出力を使用して環境内の物体について判定され得、これらの深度又は距離値は、センサ・データ１０２Ａのインスタンスの視認距離情報を決定するために使用され得る。図２Ａに関して、視覚化２００Ａ（大雨を含む）はセンサ・データ１０２Ａのインスタンス（たとえば、データ収集車両のカメラからの画像）に対応すると想定して、深度値が、深度センサ（たとえば、ＬｉＤＡＲ、ＲＡＤＡＲなど）からの出力、機械学習モデル又はニューラル・ネットワークからの出力、コンピュータ・ビジョン・アルゴリズムからの出力、及び／又は別の出力タイプに基づいて車両２０２Ａについて知られ得る。そのような実例において、データ収集車両が、車両２０２Ａを含むセンサ・データ１０２Ａのインスタンスを生成していたとき、データ収集車両は、環境内の物体までの深度又は距離情報を決定するための１つ又は複数の基礎的プロセスを実行し得る。そのようなものとして、車両２０２Ａが、データ収集車両から最も遠い可視物体であった、そして、車両２０２Ａまでの深度が知られている場合、センサ・データ１０２Ａのインスタンスの視認距離は、車両２０２Ａまでの深度又は距離に対応し得る（たとえば、実施形態において、環境が車両２０２Ａの向こうで可視である場合には追加距離をプラスする、或いは、車両２０２Ａがわずかに見える、又はぼやけている場合にはいくらかの距離を差し引く）。同様に、視覚化２００Ｂ（小雨条件を含む）について、車両２０２Ｂは、可視であり得、したがって、視認距離及び／又は距離ビンは、車両２０２Ｂに対応する深度又は距離値を使用して、決定され得る。
いくつかの実施形態において、センサ、機械学習モデル、コンピュータ・ビジョン・アルゴリズムなどからの深度出力を使用することに加えて又はその代わりに、高解像度（ＨＤ）マップが、環境内の静的物体までの距離又は深度を判定するために使用され得る。たとえば、ＨＤマップに関してデータ収集車両を位置特定するための位置特定技法を使用して、データ収集車両の位置特定された位置からの既知の距離を有する環境内の識別可能な又は可視の物体が、センサ・データ１０２Ａの所与のインスタンスの視認距離を判定するために使用され得る。そのようなものとして、たとえば、交通標識、木、街灯、交差点、建物、及び／又は静的特徴が、センサ・データ１０２Ａのインスタンスにおいて可視であり、物体又は特徴までの距離が、位置特定後にＨＤマップから既知である場合、距離又は深度は、視認距離として及び／又は距離ビンを判定するために、使用され得る。
いくつかの実施形態において、視認距離及び／又は距離ビンのグラウンド・トゥルース・ラベルのこの判定は、手動で実行され得る。たとえば、注釈する人が、センサ・データ１０２Ａのインスタンスにおいて可視である最も遠い物体を判定し、その物体の関連距離又は深度値を判定し、それに従ってグラウンド・トゥルースを生成し得る。他の実施形態では、最も大きい（たとえば、データ収集車両から最も遠い距離である）、深度センサ出力、機械学習モデル、ＤＮＮ、コンピュータ・ビジョン・アルゴリズム、ＨＤマップなどを使用して識別された物体の深度又は距離値が、視認距離値として使用され得、及び／又はセンサ・データ１０２Ａのインスタンスの距離ビンを判定するために使用され得るように、視認距離及び／又は距離ビンのグラウンド・トゥルース・ラベルの判定は、自動的に実行され得る。
実施形態では、拡張データ１０２Ｂのグラウンド・トゥルース・データを生成するために、類似のプロセスが、センサ・データ１０２Ａに関して使用され得る。たとえば、環境内の物体の既知の距離又は深度値が、視認距離及び／又は距離ビンを判定するために使用され得る。追加で又はその代わりとして、モデルが、拡張のパラメータの値と視認距離及び／又は距離ビンとの対応関係又はマッピングを決定するようにトレーニングされ得る。たとえば、霧パラメータの値（たとえば、濃度、高さなど）が、センサ・データ１０２Ａを拡張して拡張データ１０２Ｂを生成するために、使用され得る。拡張データ１０２Ｂのインスタンスは、次いで、視認距離及び／又は距離ビンを判定するために、分析され得る（たとえば、拡張後の可視物体の既知の深度値を使用して）。このプロセスは、モデルが、拡張のためにパラメータの値に基づいて視認距離及び／又は距離ビンを計算するようにトレーニングされるまで、拡張データ１０２Ｂの任意の数のインスタンスについて繰り返され得る。モデルがトレーニングされた後は、このモデルは、自動的に生成された拡張データのグラウンド・トゥルースを自動的に生成するために、使用され得る。たとえば、パラメータ（たとえば、雨、雪、霧、みぞれ、照明、オクルージョンなど）の値は、拡張データ１０２Ｂを生成するためにランダム化され得、それらの値（又はそれらの組合せ）は、視認距離及び／又は距離ビンへの既知の対応関係を有し得、これらの視認距離及び／又は距離ビンが、拡張データ１０２Ｂのインスタンスのグラウンド・トゥルースとして使用され得る。
モデルをトレーニングすること、又はパラメータの値と視認距離及び／又は距離ビンとの間のマッピングを作成することの一実例として、図２Ａ～２Ｃに関して、視覚化２００Ａは、大雨での拡張データ１０２Ｂを生成するために使用される雨パラメータの値に対応し得る。注釈者又はラベラは、次いで、車両２０２Ａまでの距離を判定し、そのようなものとして拡張データ１０２Ｂにラベルを付けることができ、これは、データを拡張するための１つ又は複数のパラメータの値と視認距離及び／又は距離ビンとの間の１つのマッピングに対応し得る。このプロセスは、車両２０２Ｂまでの距離及び小雨という結果になるパラメータの値を使用して視覚化２００Ｂについて、並びに車両２０２Ｃまでの距離及び明瞭な条件という結果になるパラメータの値（たとえば、雨がないとき、すべての雨の値は０）を使用して視覚化２００Ｃについて繰り返され得る。雨が、図２Ａ～２Ｃに関して図示及び説明されているが、これは限定を意図しておらず、霧、雪、みぞれ、雹、照明、オクルージョン、それらの組合せなどの他の条件が、拡張データ１０２Ｂ、ひいてはパラメータの値（又はそれらの組合せ）とグラウンド・トゥルースの視認距離及び／又は距離ビンとのマッピングを生成するために、使用され得る。
合成データ１０２Ｃのグラウンド・トゥルース・データを生成するために、シミュレーションに対応する状態データが環境内の物体の正確な深度又は距離情報を含み得るとき、既知の深度情報がシミュレーション・エンジンに由来し得ることを除いて、類似のプロセスが、センサ・データ１０２Ａと同様に使用され得る。たとえば、注釈する人は、シミュレーションにおいてパラメータの変化する値に従って生成された合成データ１０２Ｃのインスタンスにおいて最も遠い可視物体を識別することができ、仮想マシンの仮想センサから最も遠い可視物体までの深度又は距離が、視認距離として及び／又はグラウンド・トゥルースとして距離ビンを判定するために、使用され得る。追加で又はその代わりとして、実施形態において、モデルは、シミュレーションのパラメータの値と視認距離及び／又は距離ビンとの対応関係又はマッピングを決定するようにトレーニングされ得る。たとえば、霧パラメータ（たとえば、濃度、高さなど）の値が、シミュレーションのシミュレート環境を生成するために使用され得、合成データ１０２Ｃが、シミュレート環境内からキャプチャされ得る。合成データ１０２Ｃのインスタンスは、次いで、視認距離及び／又は距離ビンを判定するために分析され得る（たとえば、シミュレーションにおいて可視物体の既知の深度の値を使用して）。このプロセスは、モデルがシミュレーションのためにパラメータの値に基づいて視認距離及び／又は距離ビンを計算するようにトレーニングされるまで、合成データ１０２Ｃの任意の数のインスタンスについて繰り返され得る。いくつかの実施形態において、ツールが、ある特定のセットのパラメータについて特定の物体がいつ可視か又は不可視かをユーザが識別することを可能にするために、使用され得る。たとえば、車両は、第１の位置に置かれ得、且つユーザは、車両は可視であると指示し得る。車両は、次いで、さらに遠くへ移動され得、且つユーザは、車両はまだ可視であると指示し得る。車両は、次いで、シミュレート環境においてさらに遠くへ移動され得、且つユーザは、車両はもう不可視であると指示し得、且つ車両のこの距離が、グラウンド・トゥルース視認距離として及び／又は距離ビンを判定するために、使用され得る。モデルがトレーニングされるまで、このプロセスは、様々なパラメータ及び様々な物体のタイプについて繰り返され得る。モデルがトレーニングされた後は、このモデルは、自動的に生成された合成データのグラウンド・トゥルースを自動的に生成するために使用され得る。たとえば、パラメータ（たとえば、雨、雪、霧、みぞれ、照明、オクルージョンなどの）の値は、シミュレーションを生成するためにランダム化され得、それらの値（又はそれらの組合せ）は、視認距離及び／又は距離ビンへの既知の対応関係を有し得、これらの視認距離及び／又は距離ビンは、合成データ１０２Ｃのインスタンスのグラウンド・トゥルースとして使用され得る。
モデルをトレーニングすること、又はパラメータの値と視認距離及び／又は距離ビンとのマッピングを作成することの一実例として、図２Ａ～２Ｃに関して、視覚化２００Ａは、大雨が降っている合成データ１０２Ｃを生成するために使用される雨のパラメータの値に対応し得る。注釈者又はラベラは、次いで、車両２０２Ａまでの距離を判定し、そのようなものとして合成データ１０２Ｃにラベルを付けることができ、これは、シミュレーションを生成するための１つ又は複数のパラメータの値と視認距離及び／又は距離ビンとの１つのマッピングに対応し得る。このプロセスは、車両２０２Ｂまでの距離及び小雨であるという結果になるパラメータの値を使用して視覚化２００Ｂについて、並びに車両２０２Ｃまでの距離及び明瞭な条件につながるパラメータの値（たとえば、雨がないとき、すべての雨の値は０）を使用して視覚化２００Ｃについて繰り返され得る。雨は、図２Ａ～２Ｃに関して図解及び説明されているが、これは限定を意図しておらず、霧、雪、みぞれ、雹、照明、オクルージョン、それらの組合せなどの他の条件が、合成データ１０２Ｃ、ひいてはパラメータ（又はそれらの組合せ）の値とグラウンド・トゥルースの視認距離及び／又は距離ビンとのマッピングを生成するために、使用され得る。
グラウンド・トゥルース・データが、トレーニング・データ１０２を使用して計算されるものとしての機械学習モデル１０４の出力１０６に対応するように生成された－グラウンド・トゥルース・ジェネレータ１１６を使用して－後は、１つ又は複数の損失関数１１４が、機械学習モデル１０４の正確性を判定するために、及び許容レベルの正確性が達成されるまで各反復において機械学習モデル１０４を更新する（たとえば、パラメータ、重み及びバイアスなど）ために、使用され得る。機械学習モデル１０４が、視認距離値で回帰するようにトレーニングされる場合、回帰損失が、損失関数１１４として使用され得る。そのような実例において、回帰損失は、より遠い視認距離におけるより高いエラー及びより短い視認距離におけるより少ないエラーを構成し得る、正規化されたＬ１損失を含み得る。そのような実例において、損失は、以下の方程式（１）に従って、計算され得る：
Figure 2023051713000002
ｄｐｒｅｄは、機械学習モデル１０４によって出力される予測された視認距離であり、ｄＧＴはグラウンド・トゥルース視認距離である。
他の実例では、正規化されたＬ２損失が使用され得、又は、方向を正規化されたＬ１損失が使用され得る。方向を正規化されたＬ１損失は、正規化されたＬ１損失に類似し得るが、損失曲線の傾斜は、プラス側へのエラーにインセンティブを与えるために、プラス側でより急であり得る（たとえば、損失レベルにおける適合率（ｐｒｅｃｉｓｉｏｎ）より再現率（ｒｅｃａｌｌ）を蒸発（ｖａｐｏｒ）させるために）。この損失関数の最小値は、なお０であり得るが、グラウンド・トゥルースより低い予測は、より多くペナルティを科され得る。
他の実例において、ガウシアン距離損失が、（完全に正確であることを要求するのではなくて）グラウンド・トゥルースからさらに遠い距離にはより多くペナルティを科す、及びグラウンド・トゥルースにより近い予測にはより少なくペナルティを科すために、回帰チャネルのために使用され得る。そのような実例において、距離の過大評価は、過小評価よりも多くのペナルティを科され得る。
機械学習モデル１０４が距離ビン１１０（たとえば、分類出力としての）を出力する実施形態において、分類損失が、使用され得る。たとえば、距離ビン１１０を計算するように機械学習モデル１０４をトレーニングするために、多クラス交差エントロピー損失関数が、使用され得、及び／又は方向性多クラス交差エントロピー損失関数が使用され得る。
機械学習モデル１０４のトレーニング中に、正確性の許容レベルを決定するために、１つ又は複数のキー・パフォーマンス・インジケータ（ＫＰＩ：ｋｅｙ ｐｅｒｆｏｒｍａｎｃｅ ｉｎｄｉｃａｔｏｒ）が、使用され得る。たとえば、ネットワーク（又は機械学習モデル）レベルＫＰＩが使用され得、モジュールレベルＫＰＩが使用され得る。ネットワークレベルＫＰＩは、以下の方程式（２）に従ってトレーニング・データ１０２の各インスタンスの相対的視認距離予測エラー（ＲＤＥ：ｒｅｌａｔｉｖｅ ｖｉｓｉｂｉｌｉｔｙ ｄｉｓｔａｎｃｅ ｐｒｅｄｉｃｔｉｏｎ ｅｒｒｏｒ）を測定し得る：
Figure 2023051713000003
ｄｐｒｅｄは、機械学習モデル１０４によって出力される予測視認距離であり、ｄＧＴは、グラウンド・トゥルース視認距離である。トレーニング・データ１０２の各インスタンスのこれらの値を使用して、平均及び標準偏差が、分析され得る。
モジュールレベルＫＰＩは、様々なビンへの予測視認距離の分類におけるエラーを測定し得る。分類におけるエラー（Δｃｌａｓｓ）を計算するために、以下の方程式（３）が、使用され得る：
Δｃｌａｓｓ＝ｃｐｒｅｄ－ｃＧＴ （３）
ｃは、距離ビン識別子（ＩＤ）（たとえば、非常に低いに対応する１、明瞭に対応する５）であり、ｃｐｒｅｄは、機械学習モデル１０４によって予測される視認距離ビンＩＤであり、ｃＧＴは、グラウンド・トゥルース視認ビンＩＤである。そのようなものとして、Δｃｌａｓｓは、正確な予測について０であり得、予測される距離ビンが期待より高い場合には、プラス、予測距離ビンが期待より低い場合には、マイナスであり得る。このようにして、Δｃｌａｓｓ＝０は真陽性、Δｃｌａｓｓ＞０は偽陰性、そして、Δｃｌａｓｓ＜０は偽陽性であり得る。これは、偽陽性はエゴマシン７００を過剰に保守的にさせ（占有者にとって不快であり得る）、偽陰性はエゴマシン７００を過小に保守的にさせる（占有者にとって危険であり得る）と説明することができる。真陽性、偽陽性、及び偽陰性のこれらの定義を使用して、モジュールは、優れた適合率及び再現率を達成するように調整され得るが、必要に応じて再現率の方を好み得る（たとえば、超保守的であることの方を好み得るなど）。加えて、｜Δｃｌａｓｓ｜が、予測されるエラーのインジケータとして使用され得、そして、損失関数が、｜Δｃｌａｓｓ｜の広がりを低減するために使用され得る。
ここで図３を参照すると、本明細書に記載の方法３００の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行され得る計算プロセスを含む。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。方法３００はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法３００は、いくつか例を挙げると、独立型アプリケーション、サービス若しくはホスト型サービス（独立型の若しくは別のホスト型サービスと組み合わせた）、又は別の製品へのプラグインによって、提供され得る。加えて、方法３００は、実例として、図１のプロセス１００及び図７Ａ～７Ｄのエゴマシン７００に関して、説明されている。しかしながら、この方法３００は、本明細書に記載のものを含むが、これらに限定されない、任意の１つのシステム内で及び／又は任意の１つのシステム、又はプロセス及びシステムの任意の組合せによって、追加で又はその代わりとして実行され得る。
図３は、本開示のいくつかの実施形態による、推定視認距離を計算するように機械学習モデルをトレーニングするための方法３００を示すフロー図である。方法３００は、ブロックＢ３０２において、トレーニング・センサ・データのインスタンスに対応する視認性を調整するための１つ又は複数のパラメータに対応する値を受信することを含む。たとえば、１つ又は複数のパラメータ（たとえば、雨の強度、雨の水分量、霧の濃さ、照明条件など）の値が、受信され得る。
方法３００は、ブロックＢ３０４において、それらの値に少なくとも部分的に基づいてトレーニング・センサ・データのインスタンスを生成することを含む。たとえば、１つ又は複数のパラメータの値を使用して、センサ・データ１０２Ａが拡張データ１０２Ｂを生成するために拡張され得、及び／又は仮想シミュレーションが生成され得、並びに合成データ１０２Ｃが、仮想マシンの仮想センサを使用してキャプチャされ得る。
方法３００は、ブロックＢ３０６において、それらの値に少なくとも部分的に基づいてトレーニング・センサ・データのインスタンスに対応する視認距離を判定することを含む。たとえば、１つ又は複数のトレーニングされたモデルを使用して、１つ又は複数のパラメータの１つ又は複数の値と視認距離１０８及び／又は視認距離ビン１１０との対応関係が、決定され得る。
方法３００は、ブロックＢ３０８において、トレーニング・センサ・データのインスタンス及び視認距離をグラウンド・トゥルース・データとして使用して機械学習モデルをトレーニングすることを含む。たとえば、機械学習モデル１０４は、出力１０６をグラウンド・トゥルース・ジェネレータ１１６を使用して生成された（たとえば、グラウンド・トゥルース視認距離、グラウンド・トゥルース距離ビン、及び／又はグラウンド・トゥルース視認性分類／属性に対応する）グラウンド・トゥルース・データと比較するために１つ又は複数の損失関数１１４を使用して、トレーニングされ得る。トレーニング・データ１０２の任意の数（たとえば、数千、数百万など）のインスタンスが、機械学習モデル１０４が許容レベルの正確性（実施形態において、１つ又は複数のＫＰＩを使用して判定されるものとしての）に達するまで、及び配備（たとえば、図４のプロセス４００における）のために検証されるまで、機械学習モデル１０４をトレーニングするために使用され得る。
（配備中の視認距離の計算）
図４を参照すると、図４は、本開示のいくつかの実施形態による、視認距離推定のための機械学習モデルを配備するための例示的プロセス４００に対応するデータフロー図である。本明細書に記載のこの構成及び他の構成は単に実例として明記されていることを理解されたい。他の構成及び要素（たとえば、マシン、インターフェース、機能、順序、機能のグループ化など）が、図示されたものに加えて又はその代わりに使用され得、いくつかの要素は、完全に省略され得る。さらに、本明細書に記載の要素の多数は、離散された若しくは分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。いくつかの実施形態において、本明細書に記載のシステム、方法、及びプロセスは、図７Ａ～７Ｄの例示的自律型車両７００、図８の例示的計算デバイス８００、及び／若しくは図９の例示的データ・センタ９００のそれらに類似の構成要素、特徴、並びに／又は機能性を使用して実行され得る。
配備中、プロセス４００は、センサ・データ４０２を生成及び／又は受信することを含み得る。センサ・データ４０２は、エゴマシン－たとえば、図７Ａ～７Ｄに関して本明細書に記載のエゴマシン７００―の１つ又は複数のセンサを使用して生成されるセンサ・データを含み得る。たとえば、センサ・データ４０２は、図１に関して説明されるセンサ・データ１０２Ａと類似し得る。そのようなものとして、センサ・データ４０２は、エゴマシン７００の１つ又は複数のセンサの視野及び／又は知覚フィールドを表し得る－たとえば、画像、ＬｉＤＡＲ範囲画像、点群などの形で。
機械学習モデル１０４は、センサ・データ４０２を入力として受信することができ、センサ・データ４０２を処理して出力１０６－視認距離１０８、距離ビン１１０、及び／又は視認性分類／属性１１２を含み得る―を計算することができる。機械学習モデル１０４が（距離ビン１１０ではなく）視認距離１０８を計算する実施形態において、ポストプロセッサ４０４が、視認距離１０８を距離ビンへと閾値処理するために使用され得る。たとえば、距離ビンが１０メートルから１００メートルの間であり、視認距離１０８が７８メートルである場合、ポストプロセッサ４０４が、１０メートルから１００メートルの間の距離ビンに対応するものとしてセンサ・データ４０２のインスタンスにラベルを付ける又は分類することができ、この情報は、有用性４０６について分析され得る。
任意の実例において、距離ビン１１０が機械学習モデル１０４の出力１０６として直接計算されても或いはポストプロセッサ４０４を使用して判定されても、任意の数の距離ビンが存在し得、各距離ビンは、任意の範囲の視認距離値を含み得る。加えて、各ビンは、実行され得る異なる数の動作に対応し得る。たとえば、センサ・データ４０２が、いかなる方法でも視覚的に損なわれない場合、エゴマシン７００がセンサ・データ４０２に依拠し得る動作のセットが存在し得る。しかしながら、センサ・データ４０２が、何らかの方法で視覚的に損なわれる（たとえば、視認距離が最大より少ない）場合、その動作のセットのうちの１つ又は複数の動作が、無効にされ得、或いは、センサ・データ４０２に依拠する１つ又は複数の構成要素、特徴、及び／又は機能性に不適切又は使用不可能なセンサ・データ４０２のインスタンスを無視させる、インジケータが、提供され得る。加えて、実施形態において、視認性分類／属性１１２が計算される場合、ある特定の距離ビンと組み合わせたある特定の視認性分類が、他の距離ビンと組み合わせた他の視認性分類とは異なる有用性に対応し得るように、この情報は、有用性４０６決定におけるファクタとして追加で使用され得る。
非限定的実例として、距離ビンは、非常に低い視認性（たとえば、＜１０メートル）の第１のビン、低い視認性（たとえば、１０メートルから１００メートルの間）の第２のビン、中位視認性（たとえば、１００メートルから１０００メートルの間）の第３のビン、高い視認性（たとえば、１０００メートルから４０００メートルの間）の第４のビン、及び明瞭な視認性（たとえば、４０００メートル超）の第５のビンを含み得る。この実例において、第１のビンは、極度の霧若しくは吹雪、又は高い降雨量若しくはたくさんの霧雨と相関がある視覚範囲に対応し得る。第２のビンは、濃霧の天気と相関がある視覚範囲に対応し得る。第３のビンは、中程度の霧の天気又は中位の降雨又は中程度の霧雨と相関がある視覚範囲に対応し得る。第４のビンは、かすんだ気象条件又は軽い降雨又は霧雨と相関がある視覚範囲に対応し得る。第５のビンは、センサ・データ４０２を生成する特定のセンサの最大視覚範囲と相関がある視覚範囲に対応し得る。
この非限定的実例を続けると、５つのビンのうちの各ビンは、エゴマシンによって実行され得る様々なタスクに対応し得る。たとえば、第１のビン（たとえば、非常に低い視認距離）について、エゴマシンが閾値速度未満（たとえば、毎時２５キロメートル未満）で移動している限り、レベル０、レベル１、及びレベル２の低速アクティブ・セーフティ機能（たとえば、車線アシスト、自動車線保持、オート・クルーズ制御、自動緊急ブレーキなど）の全性能が、利用可能であり得る。しかしながら、車両が、閾値速度を超えて移動している場合、これらの機能性は、（非常に低い無効距離を有するセンサ・データ４０２のインスタンスに少なくとも関して）無効にされ得る。第２のビン（たとえば、低い視認距離）に関して、エゴマシンが閾値速度未満で移動している限り、レベル０、レベル１、及びレベル２の駐車機能（たとえば、近接検出、自動縦列駐車アラインメントなど）及び低速アクティブ・セーフティ機能の全性能が、利用可能であり得る。第３のビン（たとえば、中位視認距離）に関して、レベル０、レベル１、レベル２及びレベル２＋運転機能の全性能が、利用可能であり得る。第４のビン（たとえば、高い視認距離）に関して、レベル３及びレベル４駐車機能（たとえば、自動縦列駐車（ＡＰＰ：ａｕｔｏｍａｔｉｃ ｐａｒａｌｌｅｌ ｐａｒｋｉｎｇ）、ＭＰＰ、ＶＶＰ）の全性能が、第１の、第２の、及び第３のビンのレベル０、レベル１、レベル２、及びレベル２＋機能に加えて、利用可能であり得る。第４のビン（たとえば、明瞭な視認性）に関して、レベル３自動運転ハイウェイ機能の全性能が、第１の、第２の、第３の、及び第４のビンの機能性に加えて、利用可能であり得る。
いくつかの実施形態において、有用性４０６は、使用され得るセンサ・データ４０２からの情報の一部に対応し得る。たとえば、距離ビンが知られており、距離ビンが１００から１０００メートルの範囲に対応する場合、センサ・データ４０２に対応する及びエゴマシン７００の１０００メートル以内にあるシステムの任意の出力が、使用され得、一方、１０００メートルを超える距離に対応する任意の出力は、無視され得る。そのような実例において、第１の車両が、物体検出アルゴリズムを使用して、エゴマシン７００から２００メートルの距離において検出された場合、検出は、ドライブ・スタック４０８の下流システムによって依拠され得る。しかしながら、第２の車両が、物体検出アルゴリズムを使用してエゴマシン７００から１２００メートルの距離において検出された場合、検出は、依拠されない可能性がある。この類似のプロセスは、他のタスク、たとえば、物体追跡、進路内障害物分析（ＯＩＰＡ：ｏｂｓｔａｃｌｅ ｉｎ ｐａｔｈ ａｎａｌｙｓｉｓ）、物体対車線割り当て、位置特定など、のために使用され得る。
任意の実施形態において、有用性４０６が判定された後は、ドライブ・スタック４０８の１つ若しくは複数の特徴、機能性、及び／又は構成要素が、無効にされ得、センサ・データ４０２のインスタンスを無視し得、及び／又は他の方法で有用性４０６を使用し得るように、センサ・データ４０２のインスタンスは、有用性４０６の指示でタグ付けされ得、或いは自律又は半自律ソフトウェアドライビング・スタック（「ドライブ・スタック」）に送信され得る。ドライブ・スタック４０８は、１つ又は複数の層、たとえば、１つ又は複数のマップ（たとえば、３Ｄマップ）、位置特定構成要素、認知構成要素、及び／又は同類のものを使用して世界状態を管理する世界状態マネージャ層、を含み得る。加えて、自律運転ソフトウェア・スタックは、計画策定構成要素（たとえば、計画策定層の一部として）、制御構成要素（たとえば、制御層の一部として）、作動構成要素（たとえば、作動層の一部として）、障害物回避構成要素（たとえば、障害物回避層の一部として）、及び／又は他の構成要素（たとえば、１つ若しくは複数の追加となる又はその代わりとなる層の一部として）を含み得る。そのようなものとして、有用性４０６は、センサ・データ４０２の適切な使用が管理されるように、センサ・データ４０２に依拠するドライブ・スタック４０８の任意の下流タスクに指示を提供し得る。
一実例として、図５の視覚化５００に関して、画像を表すセンサ・データ４０２のインスタンスが、エゴマシン７００のカメラを使用して生成され得る。センサ・データ４０２のインスタンスは、機械学習モデル１０４に適用され得、機械学習モデル１０４は、出力１０６のうちの１つ又は複数を計算し得る。出力１０６が、視認距離１０８を含む場合、ポストプロセッサ４０４は、視認距離１０８を距離ビンへと閾値処理し得る。有用性４０６は、次いで、距離ビン（及び／又は視認性分類／属性１１２）に基づいて判定され得、この情報が、ドライブ・スタック４０８によって使用され得る。たとえば、距離ビンが、非常に低い視認性に対応する場合、自動緊急ブレーキ（ＡＥＢ）などの安全機能が、車両５０２Ａのために停止する際にエゴマシン７００を助けるために使用され得るが、車両５０２Ｂに対応する物体検出結果は、視覚化５００に対応するセンサ・データ４０２の低減された有用性４０６により、依拠されないことがある。
ここで図６を参照すると、本明細書に記載の方法６００の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行され得る計算プロセスを含む。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。方法６００はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法６００は、いくつか例を挙げると、独立型アプリケーション、サービス若しくはホスト型サービス（独立型の若しくは別のホスト型サービスと組み合わせた）、又は別の製品へのプラグインによって、提供され得る。加えて、方法６００は、実例として、図４のプロセス４００及び図７Ａ～７Ｄのエゴマシン７００に関して、説明されている。しかしながら、この方法６００は、本明細書に記載のものを含むが、これらに限定されない、任意の１つのプロセス内で及び／又は任意の１つのシステム、若しくはプロセス及びシステムの任意の組合せによって追加で又はその代わりとして実行され得る。
図６は、本開示のいくつかの実施形態による、推定視認距離を計算するために機械学習モデルを配備するための方法６００を示すフロー図である。方法６００は、ブロックＢ６０２において、機械学習モデルを使用して、エゴマシンの１つ又は複数のセンサを使用して生成されたセンサ・データに少なくとも部分的に基づいて、センサ・データに対応する視認距離を示すデータを計算することを含む。たとえば、機械学習モデル１０４は、センサ・データ４０２を入力として使用して、出力１０６のうちの１つ又は複数を計算し得る。
方法６００は、ブロックＢ６０４において、視認距離に少なくとも部分的に基づいて、エゴマシンの１つ又は複数の動作のセンサ・データの有用性を判定することを含む。たとえば、センサ・データ４０２の有用性４０６は、視認距離１０８、距離ビン１１０、及び／又は視認性分類／属性１１２に基づいて判定され得る。
方法６００は、ブロックＢ６０６において、センサ・データの有用性に少なくとも部分的に基づいて１つ又は複数の動作のうちの少なくとも１つの動作を実行することを含む。たとえば、視認距離が明瞭でない場合、センサ・データが明瞭だった場合にはセンサ・データ４０２に依拠するであろう１つ又は複数の動作が、非活動化され得、及び／又はセンサ・データ４０２の特定のインスタンスを無視するように合図され得る。
（例示的自律型車両）
図７Ａは、本開示のいくつかの実施形態による、例示的自律型車両７００の図である。自律型車両７００（或いは、本明細書で「車両７００」と称される）は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトルバス、電動又は原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、トレーラに連結された車両、及び／又は別のタイプの車両（たとえば、無人の及び／又は１人若しくは複数の乗客を乗せた）を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通安全局（ＮＨＴＳＡ：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、米国運輸省の部署、及び自動車技術者協会（ＳＡＥ：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）「Ｔａｘｏｎｏｍｙ ａｎｄ Ｄｅｆｉｎｉｔｉｏｎｓ ｆｏｒ Ｔｅｒｍｓ Ｒｅｌａｔｅｄ ｔｏ Ｄｒｉｖｉｎｇ Ａｕｔｏｍａｔｉｏｎ Ｓｙｓｔｅｍｓ ｆｏｒ Ｏｎ－Ｒｏａｄ Ｍｏｔｏｒ Ｖｅｈｉｃｌｅ」（２０１８年６月１５日に公開された規格番号Ｊ３０１６－２０１８０６、２０１６年９月３０日に公開された規格番号Ｊ３０１６－２０１６０９、並びにこの規格の前の及び未来のバージョン）によって定義される、自動化レベルに関して記述される。車両７００は、自律運転レベルのレベル３～レベル５のうちの１つ又は複数による機能を有し得る。車両７００は、自律運転レベルのレベル１～レベル５のうちの１つ又は複数による機能を有し得る。たとえば、車両７００は、実施形態に応じて、運転者支援（レベル１）、部分的自動化（レベル２）、条件的自動化（レベル３）、高い自動化（レベル４）、及び／又は完全な自動化（レベル５）を有し得る。本明細書では「自律」という用語は、車両７００又は他のマシンの任意の及び／又はすべてのタイプの自律性、たとえば、完全に自律していること、高度に自律していること、条件的に自律していること、部分的に自律していること、補助的自律を提供すること、半自律していること、主として自律していること、又は他の指定、を含み得る。
車両７００は、車両のシャシ、車体、車輪（たとえば、２、４、６、８、１８など）、タイヤ、車軸、及び他の構成要素などの構成要素を含み得る。車両７００は、内部燃焼エンジン、ハイブリッド動力装置、完全な電気式エンジン、及び／又は別の推進システム・タイプなど、推進システム７５０を含み得る。推進システム７５０は、車両７００の推進力を有効にするために、トランスミッションを含み得、車両７００のドライブ・トレインに接続され得る。推進システム７５０は、スロットル／加速装置７５２からの信号の受信に応答して制御され得る。
ハンドルを含み得る、ステアリング・システム７５４は、推進システム７５０が動作しているときに（たとえば、車両が移動中のときに）車両７００のかじを取る（たとえば、所望の進路又はルートに沿って）ために使用され得る。ステアリング・システム７５４は、ステアリング・アクチュエータ７５６から信号を受信することができる。ハンドルは、完全自動化（レベル５）機能について任意選択でもよい。
ブレーキ・センサ・システム７４６は、ブレーキ・アクチュエータ７４８及び／又はブレーキ・センサからの信号の受信に応答して車両ブレーキを動作させるために使用され得る。
１つ又は複数のシステム・オン・チップ（ＳｏＣ：Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）７０４（図７Ｃ）及び／又はＧＰＵを含み得る、コントローラ７３６は、車両７００の１つ若しくは複数の構成要素及び／又はシステムに信号（たとえば、コマンドの表現）を提供することができる。たとえば、コントローラは、１つ又は複数のブレーキ・アクチュエータ７４８を介して車両ブレーキを動作させて、１つ又は複数のステアリング・アクチュエータ７５６を介してステアリング・システム７５４を動作させて、１つ又は複数のスロットル／加速装置７５２を介して推進システム７５０を動作させるために、信号を送ることができる。コントローラ７３６は、センサ信号を処理する、並びに自律的運転を可能にするために及び／又は運転者の車両７００の運転を支援するために動作コマンド（たとえば、コマンドを表す信号）を出力する、１つ又は複数の搭載された（たとえば、統合された）計算デバイス（たとえば、スーパーコンピュータ）を含み得る。コントローラ７３６は、自律運転機能のための第１のコントローラ７３６、機能的安全性機能のための第２のコントローラ７３６、人工知能機能（たとえば、コンピュータ・ビジョン）のための第３のコントローラ７３６、インフォテインメント機能のための第４のコントローラ７３６、緊急状態における冗長性のための第５のコントローラ７３６、及び／又は他のコントローラを含み得る。いくつかの実例では、単一のコントローラ７３６が、前述の機能のうちの２個以上を処理することができ、２個以上のコントローラ７３６が、単一の機能、及び／又はそれらの任意の組合せを処理することができる。
コントローラ７３６は、１つ又は複数のセンサから受信したセンサ・データ（たとえば、センサ入力）に応答して車両７００の１つ若しくは複数の構成要素及び／又はシステムを制御するための信号を提供することができる。センサ・データは、たとえば、そして限定はしないが、全地球的航法衛星システム・センサ７５８（たとえば、グローバル・ポジショニング・システム・センサ）、ＲＡＤＡＲセンサ７６０、超音波センサ７６２、ＬＩＤＡＲセンサ７６４、慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ７６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン７９６、ステレオ・カメラ７６８、ワイド・ビュー・カメラ７７０（たとえば、魚眼カメラ）、赤外線カメラ７７２、サラウンド・カメラ７７４（たとえば、３６０度カメラ）、長距離及び／若しくは中距離カメラ７９８、スピード・センサ７４４（たとえば、車両７００のスピードを測定するための）、振動センサ７４２、ステアリング・センサ７４０、ブレーキ・センサ（たとえば、ブレーキ・センサ・システム７４６の一部としての）、並びに／又は他のセンサ・タイプから受信され得る。
コントローラ７３６のうちの１つ又は複数のコントローラは、車両７００の計器群７３２から入力（たとえば、入力データによって表される）を受信し、出力（たとえば、出力データ、表示データなどによって表される）をヒューマン・マシン・インターフェース（ＨＭＩ：ｈｕｍａｎ－ｍａｃｈｉｎｅ ｉｎｔｅｒｆａｃｅ）ディスプレイ７３４、可聴式アナンシエータ、ラウドスピーカ、及び／又は車両７００の他の構成要素を介して提供することができる。出力は、車両速度、スピード、時間、マップ・データ（たとえば、図７ＣのＨＤマップ７２２）、位置データ（たとえば、マップ上などの、車両の７００の位置）、方向、他の車両の位置（たとえば、占有グリッド）、コントローラ７３６によって把握されるものとしての物体及び物体の状況に関する情報などの、情報を含み得る。たとえば、ＨＭＩディスプレイ７３４は、１つ若しくは複数の物体（たとえば、道路標識、警告標識、交通信号の変化など）の存在に関する情報、及び／又は車両が行った、行っている、若しくは行うであろう運転操作（たとえば、今、車線変更をしていること、３．２２ｋｍ（２マイル）内の出口３４Ｂを出ることなど）に関する情報を表示することができる。
車両７００はさらに、１つ若しくは複数のワイヤレス・アンテナ７２６及び／又はモデムを使用して１つ若しくは複数のネットワークを介して通信することができるネットワーク・インターフェース７２４を含む。たとえば、ネットワーク・インターフェース７２４は、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００などを介する通信を有し得る。ワイヤレス・アンテナ７２６はまた、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅなどのローカル・エリア・ネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどのロー・パワー・ワイドエリア・ネットワーク（ＬＰＷＡＮ：ｌｏｗ ｐｏｗｅｒ ｗｉｄｅ－ａｒｅａ ｎｅｔｗｏｒｋ）を使用し、環境内の物体（たとえば、車両、モバイル・デバイスなど）の間の通信を可能にすることができる。
図７Ｂは、本開示のいくつかの実施形態による、図７Ａの例示的自律型車両７００のカメラ位置及び視野の実例である。カメラ及びそれぞれの視野は、１つの例示的実施形態であり、限定することは意図されていない。たとえば、追加の及び／又はその代わりとなるカメラが含まれ得、及び／又はカメラは車両７００の異なる位置に置かれ得る。
カメラのカメラ・タイプは、車両７００の構成要素及び／又はシステムと使用するように適合され得るデジタル・カメラを含み得るが、これに限定されない。カメラは、自動車安全整合性レベル（ＡＳＩＬ：ａｕｔｏｍｏｔｉｖｅ ｓａｆｅｔｙ ｉｎｔｅｇｒｉｔｙ ｌｅｖｅｌ）Ｂにおいて及び／又は別のＡＳＩＬにおいて動作することができる。カメラ・タイプは、実施形態に応じて、６０フレーム／秒（ｆｐｓ）、１２０ｆｐｓ、２４０ｆｐｓなど、任意の画像キャプチャ・レートを有し得る。カメラは、ロール・シャッタ、グローバル・シャッタ、別のタイプのシャッタ、又はそれらの組合せを使用する能力を有し得る。いくつかの実例では、カラー・フィルタ・アレイは、ＲＣＣＣ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｃｌｅａｒ）カラー・フィルタ・アレイ、ＲＣＣＢ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｂｌｕｅ）カラー・フィルタ・アレイ、ＲＢＧＣ（ｒｅｄ ｂｌｕｅ ｇｒｅｅｎ ｃｌｅａｒ）カラー・フィルタ・アレイ、Ｆｏｖｅｏｎ Ｘ３カラー・フィルタ・アレイ、Ｂａｙｅｒセンサ（ＲＧＧＢ）カラー・フィルタ・アレイ、モノクロ・センサ・カラー・フィルタ・アレイ、及び／又は別のタイプのカラー・フィルタ・アレイを含み得る。一部の実施形態では、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣカラー・フィルタ・アレイを有するカメラなどのクリア画素カメラは、光感度を上げるための取り組みにおいて使用され得る。
いくつかの実例では、カメラのうちの１つ又は複数が、先進運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）機能（たとえば、冗長又はフェイルセーフ設計の一部として）を実行するために使用され得る。たとえば、多機能モノ・カメラは、車線逸脱警報、交通標識アシスト及びインテリジェント・ヘッドランプ制御を含む機能を提供するために設置され得る。カメラのうちの１つ又は複数（たとえば、すべてのカメラ）が、画像データ（たとえば、ビデオ）を同時に記録及び提供することができる。
カメラのうちの１つ又は複数は、カメラの画像データ・キャプチャ能力を妨げることがある自動車内からの迷光及び反射（たとえば、フロントガラスのミラーにおいて反射されたダッシュボードからの反射）を取り除くために、カスタム設計された（３Ｄ印刷された）部品などの取付部品において取り付けられ得る。サイドミラー取付部品を参照すると、サイドミラー部品は、カメラ取付板がサイドミラーの形状に合うように、カスタム３Ｄ印刷され得る。いくつかの実例では、カメラは、サイドミラー内に統合され得る。サイドビュー・カメラについては、カメラはまた、キャビンの各角にある４個の支柱内に統合され得る。
車両７００の前方の環境の部分を含む視野を有するカメラ（たとえば、前向きのカメラ）は、前向きの進路及び障害物の識別を助け、１つ若しくは複数のコントローラ７３６及び／又は制御ＳｏＣの助けにより、占有グリッドの生成及び／又は好ましい車両進路の決定に不可欠な情報の提供を助ける、サラウンド・ビューのために使用され得る。前向きのカメラは、緊急ブレーキ、歩行者検出、及び衝突回避を含む、ＬＩＤＡＲと同じＡＤＡＳ機能の多くを実行するために使用され得る。前向きのカメラはまた、車線逸脱警報（ＬＤＷ：Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ）、自律的クルーズ制御（ＡＣＣ：Ａｕｔｏｎｏｍｏｕｓ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）、及び／又は交通標識認識などの他の機能を含むＡＤＡＳ機能及びシステムのために使用され得る。
様々なカメラが、たとえば、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カラー画像化装置を含む単眼カメラ・プラットフォームを含む、前向きの構成において使用され得る。別の実例は、周辺（たとえば、歩行者、交錯交通又は自転車）からの視界に入る物体を把握するために使用され得るワイド・ビュー・カメラ７７０でもよい。図７Ｂにはワイド・ビュー・カメラは１つだけ示されているが、車両７００には任意の数のワイド・ビュー・カメラ７７０が存在し得る。加えて、長距離カメラ７９８（たとえば、ロングビュー・ステレオ・カメラ・ペア）が、特に、ニューラル・ネットワークがまだトレーニングされていない物体について、深度ベースの物体検出のために使用され得る。長距離カメラ７９８はまた、物体検出及び分類、並びに基本物体追跡のために使用され得る。
１つ又は複数のステレオ・カメラ７６８もまた、前向きの構成に含まれ得る。ステレオ・カメラ７６８は、単一のチップ上に統合されたＣＡＮ又はイーサネット（登録商標）・インターフェースを有するプログラマブル論理（ＦＰＧＡ）及びマルチコア・マイクロプロセッサを提供し得る、拡張可能な処理ユニットを備えた統合された制御ユニットを含み得る。そのようなユニットは、画像内のすべてのポイントの距離推定値を含む、車両の環境の３Ｄマップを生成するために使用され得る。代替ステレオ・カメラ７６８は、２個のカメラ・レンズ（左と右に１つずつ）と、車両から対象物体までの距離を測定する及び生成された情報（たとえば、メタデータ）を使用して自律的緊急ブレーキ及び車線逸脱警報機能をアクティブにすることができる画像処理チップとを含み得る、コンパクト・ステレオ・ビジョン・センサを含み得る。他のタイプのステレオ・カメラ７６８が、本明細書に記載のものに加えて、又はそれらの代わりに、使用されてもよい。
車両７００の側面に対する環境の部分を含む視野を有するカメラ（たとえば、サイドビュー・カメラ）が、占有グリッドを作成及び更新するために並びに側面衝撃衝突警報を生成するために使用される情報を提供する、サラウンド・ビューのために使用され得る。たとえば、サラウンド・カメラ７７４（たとえば、図７Ｂに示されるような４個のサラウンド・カメラ７７４）は、車両７００上に位置付けられ得る。サラウンド・カメラ７７４は、ワイド・ビュー・カメラ７７０、魚眼カメラ、３６０度カメラ、及び／又は同類のものを含み得る。たとえば、４個の魚眼カメラが、車両の前、後ろ、及び側面に配置され得る。代替配置において、車両は、３個のサラウンド・カメラ７７４（たとえば、左、右、及び後部）を使用してもよく、第４のサラウンド・ビュー・カメラとして１つ又は複数の他のカメラ（たとえば、前向きのカメラ）を活用してもよい。
車両７００の後方に対する環境の部分を含む視野を有するカメラ（たとえば、後方確認カメラ）が、駐車支援、サラウンド・ビュー、後部衝突警報、並びに占有グリッドの作成及び更新のために使用され得る。本明細書に記載のように、前向きのカメラ（たとえば、長距離及び／又は中距離カメラ７９８、ステレオ・カメラ７６８、赤外線カメラ７７２など）としても適したカメラを含むがこれらに限定されない、多種多様なカメラが使用され得る。
図７Ｃは、本開示のいくつかの実施形態による、図７Ａの例示的自律型車両７００の例示的システム・アーキテクチャのブロック図である。本明細書に記載されているこの配置及び他の配置は単に実例として説明されていることを理解されたい。他の配置及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素はまとめて除外されてもよい。さらに、本明細書に記載の要素の多くは、離散された又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。
図７Ｃの車両７００の構成要素、特徴、及びシステムのそれぞれは、バス７０２を介して接続されるものとして図示されている。バス７０２は、コントローラ・エリア・ネットワーク（ＣＡＮ）データ・インターフェース（或いは、「ＣＡＮバス」と称される）を含み得る。ＣＡＮは、ブレーキ、加速度、ブレーキング、ステアリング、フロントガラス・ワイパなどの作動など、車両７００の様々な特徴及び機能の制御を助けるために使用される車両７００内のネットワークでもよい。ＣＡＮバスは、それぞれが独自の一意の識別子（たとえば、ＣＡＮ ＩＤ）を有する、数ダース又は数百ものノードを有するように構成され得る。ＣＡＮバスは、ハンドル角度、対地速度、１分間のエンジン回転（ＲＰＭ：ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｕｔｅ）、ボタン位置、及び／又は他の車両状況インジケータを見つけるために読み取られ得る。ＣＡＮバスは、ＡＳＩＬ Ｂ準拠でもよい。
バス７０２は、ＣＡＮバスであるものとして本明細書に記載されているが、これは限定することを意図されていない。たとえば、ＣＡＮバスに加えて、又はこのその代わりとして、ＦｌｅｘＲａｙ及び／又はイーサネット（登録商標）が使用されてもよい。加えて、単一の線が、バス７０２を表すために使用されているが、これは限定することを意図されていない。たとえば、１つ若しくは複数のＣＡＮバス、１つ若しくは複数のＦｌｅｘＲａｙバス、１つ若しくは複数のイーサネット（登録商標）・バス、及び／又は異なるプロトコルを使用する１つ若しくは複数の他のタイプのバスを含み得る、任意の数のバス７０２が存在し得る。いくつかの実例では、２個以上のバス７０２が、異なる機能を実行するために使用され得る、及び／又は冗長性のために使用され得る。たとえば、第１のバス７０２は衝突回避機能のために使用されてもよく、第２のバス７０２は作動制御のために使用されてもよい。任意の実例において、各バス７０２は、車両７００の構成要素のいずれかと通信し得、２個以上のバス７０２が同じ構成要素と通信し得る。いくつかの実例では、車両内の各ＳｏＣ７０４、各コントローラ７３６、及び／又は各コンピュータは、同じ入力データ（たとえば、車両７００のセンサからの入力）へのアクセスを有し得、ＣＡＮバスなどの共通バスに接続され得る。
車両７００は、図７Ａに関して本明細書で説明されるものなど、１つ又は複数のコントローラ７３６を含み得る。コントローラ７３６は、様々な機能のために使用され得る。コントローラ７３６は、車両７００の様々な他の構成要素及びシステムのいずれかに連結されてもよく、車両７００、車両７００の人工知能、車両７００のためのインフォテインメント、及び／又は同類のものの制御のために使用され得る。
車両７００は、システム・オン・チップ（ＳｏＣ）７０４を含み得る。ＳｏＣ７０４は、ＣＰＵ７０６、ＧＰＵ７０８、プロセッサ７１０、キャッシュ７１２、加速装置７１４、データ・ストア７１６、及び／又は図示されていない他の構成要素及び特徴を含み得る。ＳｏＣ７０４は、様々なプラットフォーム及びシステム内の車両７００を制御するために使用され得る。たとえば、ＳｏＣ７０４は、１つ又は複数のサーバ（たとえば、図７Ｄのサーバ７７８）からネットワーク・インターフェース７２４を介してマップのリフレッシュ及び／又は更新を取得することができるＨＤマップ７２２を有するシステム（たとえば、車両７００のシステム）において結合され得る。
ＣＰＵ７０６は、ＣＰＵクラスタ又はＣＰＵ複合体（或いは、本明細書では「ＣＣＰＬＥＸ」とも称される）を含み得る。ＣＰＵ７０６は、複数のコア及び／又はＬ２キャッシュを含み得る。たとえば、一部の実施形態では、ＣＰＵ７０６は、コヒーレント・マルチプロセッサ構成内の８個のコアを含み得る。一部の実施形態では、ＣＰＵ７０６は、４個のデュアルコア・クラスタを含むことができ、各クラスタが専用のＬ２キャッシュ（たとえば、２ＭＢＬ２キャッシュ）を有する。ＣＰＵ７０６（たとえば、ＣＣＰＬＥＸ）は、ＣＰＵ７０６のクラスタの任意の組合せが所与の時間にアクティブになることを可能にする同時クラスタ動作をサポートするように構成され得る。
ＣＰＵ７０６は、以下の特徴のうちの１つ又は複数を含む電力管理能力を実装することができる：個別ハードウェア・ブロックが、動的電力を節約するためにアイドル状態のときに自動的にクロック・ゲーティングされ得る、各コア・クロックは、ＷＦＩ／ＷＦＥ命令の実行により命令をコアがアクティブに実行していないときにゲーティングされ得る、各コアは、独立してパワー・ゲーティングされ得る、各コア・クラスタは、すべてのコアがクロック・ゲーティングされる若しくはパワー・ゲーティングされるときに、独立してクロック・ゲーティングされ得る、及び／又は、各コア・クラスタは、すべてのコアがパワー・ゲーティングされるときに、独立してパワー・ゲーティングされ得る。ＣＰＵ７０６は、電力状態を管理するための強化されたアルゴリズムをさらに実装することができ、そこでは、許容される電力状態及び予想されるウェイクアップ時間が指定され、ハードウェア／マイクロ・コードが、コア、クラスタ、及びＣＣＰＬＥＸに入力するための最良の電力状態を決定する。処理コアは、作業がマイクロ・コードにオフロードされたソフトウェアにおける簡略化された電力状態入力シーケンスをサポートすることができる。
ＧＰＵ７０８は、統合されたＧＰＵ（或いは本明細書において「ｉＧＰＵ」と称される）を含み得る。ＧＰＵ７０８は、プログラマブルになり得、並行のワークロードに効率的になり得る。一部の実例では、ＧＰＵ７０８は、強化されたテンソル命令セットを使用することができる。ＧＰＵ７０８は、１つ又は複数のストリーミング・マイクロプロセッサを含み得、そこで、各ストリーミング・マイクロプロセッサは、Ｌ１キャッシュ（たとえば、少なくとも９６ＫＢ記憶容量を有するＬ１キャッシュ）を含み得、ストリーミング・マイクロプロセッサのうちの２個以上が、Ｌ２キャッシュ（たとえば、５１２ＫＢ記憶容量を有するＬ２キャッシュ）を共用し得る。一部の実施形態では、ＧＰＵ７０８は、少なくとも８個のストリーミング・マイクロプロセッサを含み得る。ＧＰＵ７０８は、計算アプリケーション・プログラミング・インターフェース（ＡＰＩ）を使用することができる。加えて、ＧＰＵ７０８は、１つ若しくは複数の並行のコンピューティング・プラットフォーム及び／又はプログラミング・モデル（たとえば、ＮＶＩＤＩＡ（登録商標）のＣＵＤＡ）を使用することができる。
ＧＰＵ７０８は、自動車の及び組み込まれた使用事例における最高の性能のために電力最適化され得る。たとえば、ＧＰＵ７０８は、ＦｉｎＦＥＴ（Ｆｉｎ ｆｉｅｌｄ－ｅｆｆｅｃｔ ｔｒａｎｓｉｓｔｏｒ）上に製造され得る。しかしながら、これは限定することを意図されておらず、ＧＰＵ７０８は、他の半導体製造プロセスを使用し、製造され得る。各ストリーミング・マイクロプロセッサは、複数のブロックに区切られたいくつかの混合適合率処理コアを組み込むことができる。限定ではなく、たとえば、６４ ＰＦ３２コア及び３２ ＰＦ６４コアは、４個の処理ブロックに区切られてもよい。そのような実例では、各処理ブロックは、１６ ＦＰ３２コア、８ ＦＰ６４コア、１６ ＩＮＴ３２コア、深層学習行列演算のための２個の混合適合率ＮＶＩＤＩＡ ＴＥＮＳＯＲ ＣＯＲＥｓ、Ｌ０命令キャッシュ、ワープ・スケジューラ、発送ユニット、及び／又は６４ＫＢレジスタ・ファイルを割り当てられ得る。加えて、ストリーミング・マイクロプロセッサは、計算及びアドレス指定演算の混合を有するワークロードの効率的な実行を提供するための独立した並行の整数及び浮動小数点データ進路を含み得る。ストリーミング・マイクロプロセッサは、並行スレッドの間のより高い細粒度の同期及び連携を可能にするために、独立したスレッド・スケジューリング能力を含み得る。ストリーミング・マイクロプロセッサは、プログラミングを単純化しつつ性能を向上させるために、結合されたＬ１データ・キャッシュ及び共用メモリ・ユニットを含み得る。
ＧＰＵ７０８は、一部の実例では、９００ＧＢ／秒のピーク・メモリ帯域幅に関して、提供するための高帯域幅メモリ（ＨＢＭ：ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ）及び／又は１６ＧＢＨＢＭ２メモリ・サブシステムを含み得る。いくつかの実例では、ＨＢＭメモリに加えて、又はこれの代わりに、グラフィックス・ダブル・データ・レート・タイプ５同期ランダム・アクセス・メモリ（ＧＤＤＲ５：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ ｔｙｐｅ ｆｉｖｅ ｓｙｎｃｈｒｏｎｏｕｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）などの同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ：ｓｙｎｃｈｒｏｎｏｕｓ ｇｒａｐｈｉｃｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）が使用され得る。
ＧＰＵ７０８は、メモリ・ページに最も頻繁にアクセスするプロセッサへのそれらのメモリ・ページのより正確な移動を可能にするためにアクセス・カウンタを含む統一されたメモリ技術を含むことができ、それにより、プロセッサ間で共用される記憶範囲の効率を向上させる。いくつかの実例では、アドレス変換サービス（ＡＴＳ：ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ ｓｅｒｖｉｃｅ）サポートが、ＧＰＵ７０８がＣＰＵ７０６ページ・テーブルに直接アクセスすることを可能にするために使用され得る。そのような実例では、ＧＰＵ７０８メモリ管理ユニット（ＭＭＵ：ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ）がミスを経験するとき、アドレス変換要求が、ＣＰＵ７０６に送信され得る。応答して、ＣＰＵ７０６は、アドレスの仮想対現実マッピングのためのそのページ・テーブルを調べることができ、ＧＰＵ７０８に変換を送り返す。そのようなものとして、統一されたメモリ技術は、ＣＰＵ７０６とＧＰＵ７０８との両方のメモリの単一統一仮想アドレス空間を可能にすることができ、それによりＧＰＵ７０８へのアプリケーションのＧＰＵ７０８プログラミング及びポーティングを単純化する。
加えて、ＧＰＵ７０８は、他のプロセッサのメモリへのＧＰＵ７０８のアクセスの頻度を記録することができるアクセス・カウンタを含み得る。アクセス・カウンタは、メモリ・ページが最も頻繁にそのページにアクセスしているプロセッサの物理メモリに移動されることを確実にするのを助けることができる。
ＳｏＣ７０４は、本明細書に記載のものを含む任意の数のキャッシュ７１２を含み得る。たとえば、キャッシュ７１２は、ＣＰＵ７０６とＧＰＵ７０８との両方に利用可能な（たとえば、ＣＰＵ７０６とＧＰＵ７０８との両方に接続された）Ｌ３キャッシュを含み得る。キャッシュ７１２は、キャッシュ・コヒーレンス・プロトコル（たとえば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することなどによって、線の状態を記録することができるライトバック・キャッシュを含み得る。Ｌ３キャッシュは、より小さいキャッシュ・サイズが使用されてもよいが、実施形態に応じて、４ＭＢ以上を含み得る。
ＳｏＣ７０４は、車両７００の様々なタスク又は動作のいずれか（たとえば、処理ＤＮＮ）に関して処理を実行する際に活用され得る論理演算ユニット（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）を含み得る。加えて、ＳｏＣ７０４は、システム内で数学演算を実行するための浮動小数点演算ユニット（ＦＰＵ：ｆｌｏａｔｉｎｇ ｐｏｉｎｔ ｕｎｉｔ）（又は他のマス・コプロセッサ又は数値演算コプロセッサ・タイプ）を含み得る。たとえば、ＳｏＣ７０４は、ＣＰＵ７０６及び／又はＧＰＵ７０８内の実行ユニットとして統合された１つ又は複数のＦＰＵを含み得る。
ＳｏＣ７０４は、１つ又は複数の加速装置７１４（たとえば、ハードウェア・加速装置、ソフトウェア・加速装置、又はその組合せ）を含み得る。たとえば、ＳｏＣ７０４は、最適化されたハードウェア加速装置及び／又は大きなオンチップ・メモリを含み得る、ハードウェア加速クラスタを含み得る。大きなオンチップメモリ（たとえば、４ＭＢのＳＲＡＭ）は、ハードウェア加速クラスタがニューラル・ネットワーク及び他の演算を加速することを可能にし得る。ハードウェア加速クラスタは、ＧＰＵ７０８を補完するために及びＧＰＵ７０８のタスクの一部をオフロードするために（たとえば、他のタスクを実行するためのＧＰＵ７０８のより多くのサイクルを解放するために）使用され得る。一実例として、加速装置７１４は、加速に適するように十分に安定している対象ワークロード（たとえば、知覚、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）など）のために使用され得る。本明細書では、「ＣＮＮ」という用語は、領域ベースの又は領域的畳み込みニューラル・ネットワーク（ＲＣＮＮ：ｒｅｇｉｏｎａｌ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）及び高速ＲＣＮＮ（たとえば、物体検出のために使用されるものとしての）を含む、すべてのタイプのＣＮＮを含み得る。
加速装置７１４（たとえば、ハードウェア加速クラスタ）は、深層学習加速装置（ＤＬＡ：ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＤＬＡは、深層学習アプリケーション及び推論のために１秒あたり追加の１０兆の動作を提供するように構成することができる１つ又は複数のテンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含み得る。ＴＰＵは、画像処理機能（たとえば、ＣＮＮ、ＲＣＮＮなどの）を実行するように構成及び最適化された加速装置でもよい。ＤＬＡはさらに、特定のセットのニューラル・ネットワーク・タイプ及び浮動小数点演算、並びに推論のために最適化され得る。ＤＬＡの設計は、汎用ＧＰＵよりも１ミリメートルあたりより多くの性能を提供することができ、ＣＰＵの性能を大きく超える。ＴＰＵは、たとえば、特徴と重みとの両方についてＩＮＴ８、ＩＮＴ１６、及びＦＰ１６データ・タイプをサポートする、単一インスタンス畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実行することができる。
ＤＬＡは、例えば以下を含むが、これらに限定されない、様々な機能のいずれかのために処理済み又は未処理のデータでニューラル・ネットワーク、特にＣＮＮ、を迅速に及び効率的に実行することができる：カメラ・センサからのデータを使用する物体識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する距離推定のためのＣＮＮ、マイクロフォンからのデータを使用する緊急車両検出及び識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する顔認識及び車両所有者識別のためのＣＮＮ、並びに／又は、セキュリティ及び／若しくは安全性関連イベントのためのＣＮＮ。
ＤＬＡは、ＧＰＵ７０８の任意の機能を実行することができ、そして、推論加速装置を使用することによって、たとえば、設計者は、任意の機能のためにＤＬＡ又はＧＰＵ７０８のいずれかを対象にすることができる。たとえば、設計者は、ＤＬＡ上のＣＮＮ及び浮動小数点演算の処理に重点的に取り組み、他の機能をＧＰＵ７０８及び／又は他の加速装置７１４に任せることができる。
加速装置７１４（たとえば、ハードウェア加速クラスタ）は、或いはコンピュータ・ビジョン加速装置と本明細書で称され得るプログラマブル・ビジョン加速装置（ＰＶＡ：ｐｒｏｇｒａｍｍａｂｌｅ ｖｉｓｉｏｎ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＰＶＡは、先進運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）、自律運転、及び／又は拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）及び／又は仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）アプリケーションのためのコンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。ＰＶＡは、性能と柔軟性との間のバランスをもたらすことができる。たとえば、各ＰＶＡは、任意の数の縮小命令セット・コンピュータ（ＲＩＳＣ：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）コア、直接メモリ・アクセス（ＤＭＡ：ｄｉｒｅｃｔ ｍｅｍｏｒｙ ａｃｃｅｓｓ）、及び／又は任意の数のベクトル・プロセッサを含み得るが、これらに限定されない。
ＲＩＳＣコアは、画像センサ（たとえば、本明細書に記載のカメラのうちのいずれかのカメラの画像センサ）、画像信号プロセッサ、及び／又は同類のものと相互作用することができる。それぞれのＲＩＳＣコアは、任意の量のメモリを含み得る。ＲＩＳＣコアは、実施形態に応じて、いくつかのプロトコルのいずれかを使用することができる。いくつかの実例では、ＲＩＳＣコアは、リアルタイム・オペレーティング・システム（ＲＴＯＳ：ｒｅａｌ－ｔｉｍｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を実行することができる。ＲＩＳＣコアは、１つ若しくは複数の集積回路デバイス、特定用途向け集積回路（ＡＳＩＣ）、及び／又はメモリ・デバイスを使用して、実装され得る。たとえば、ＲＩＳＣコアは、命令キャッシュ及び／又はしっかりと結合されたＲＡＭを含み得る。
ＤＭＡは、ＣＰＵ７０６から独立したシステム・メモリにＰＶＡの構成要素がアクセスすることを可能にし得る。ＤＭＡは、多次元アドレス指定及び／又は循環アドレス指定をサポートすることを含むがこれに限定されないＰＶＡに最適化をもたらすために使用される任意の数の特徴をサポートすることができる。いくつかの実例では、ＤＭＡは、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び／又は深度ステッピングを含み得る、６次元まで又はそれ以上のアドレス指定をサポートすることができる。
ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのプログラミングを効率的に柔軟に実行する及び信号処理能力を提供するように設計され得るプログラマブル・プロセッサでもよい。いくつかの実例では、ＰＶＡは、ＰＶＡコア及び２個のベクトル処理サブシステム・パーティションを含み得る。ＰＶＡコアは、プロセッサ・サブシステム、ＤＭＡエンジン（たとえば、２個のＤＭＡエンジン）、及び／又は他の周辺装置を含み得る。ベクトル処理サブシステムは、ＰＶＡの１次的処理エンジンとして動作することができ、ベクトル処理ユニット（ＶＰＵ：ｖｅｃｔｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、命令キャッシュ、及び／又はベクトル・メモリ（たとえば、ＶＭＥＭ）を含み得る。ＶＰＵコアは、たとえば、単一の命令、複数のデータ（ＳＩＭＤ）、超長命令語（ＶＬＩＷ：ｖｅｒｙ ｌｏｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｗｏｒｄ）デジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。ＳＩＭＤ及びＶＬＩＷの組合せは、スループット及びスピードを高めることができる。
それぞれのベクトル・プロセッサは、命令キャッシュを含み得、専用のメモリに連結され得る。結果として、一部の実例では、それぞれのベクトル・プロセッサは、他のベクトル・プロセッサから独立して実行するように構成され得る。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、データ並列処理を用いるように構成され得る。たとえば、一部の実施形態では、単一のＰＶＡに含まれる複数のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを、しかし画像の異なる領域上で、実行することができる。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを、同じ画像上で、同時に実行することができ、或いは順次画像又は画像の部分で異なるアルゴリズムを実行することさえできる。特に、任意の数のＰＶＡは、ハードウェア加速クラスタに含まれ得、任意の数のベクトル・プロセッサは、それぞれのＰＶＡに含まれ得る。加えて、ＰＶＡは、全体的システム安全性を高めるために、追加のエラー訂正コード（ＥＣＣ：ｅｒｒｏｒ ｃｏｒｒｅｃｔｉｎｇ ｃｏｄｅ）メモリを含み得る。
加速装置７１４（たとえば、ハードウェア加速クラスタ）は、加速装置７１４のための高帯域幅、低レイテンシＳＲＡＭを提供するための、コンピュータ・ビジョン・ネットワーク・オンチップ及びＳＲＡＭを含み得る。いくつかの実例では、オンチップ・メモリは、たとえば、そして限定はしないが、ＰＶＡとＤＬＡとの両方によってアクセス可能でもよい、８個のフィールド構成可能なメモリ・ブロックから成る、少なくとも４ＭＢのＳＲＡＭを含み得る。各ペアのメモリ・ブロックは、高度周辺バス（ＡＰＢ：ａｄｖａｎｃｅｄ ｐｅｒｉｐｈｅｒａｌ ｂｕｓ）インターフェース、構成回路、コントローラ、及びマルチプレクサを含み得る。任意のタイプのメモリが、使用され得る。ＰＶＡ及びＤＬＡは、メモリへの高速アクセスを有するＰＶＡ及びＤＬＡを提供するバックボーンを介してメモリにアクセスすることができる。バックボーンは、（たとえば、ＡＰＢを使用して）ＰＶＡ及びＤＬＡをメモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。
コンピュータ・ビジョン・ネットワーク・オンチップは、ＰＶＡとＤＬＡとの両方が作動可能及び有効信号を提供することを、任意の制御信号／アドレス／データの送信の前に、決定するインターフェースを含み得る。そのようなインターフェースは、制御信号／アドレス／データを送信するための別個のフェーズ及び別個のチャネル、並びに連続的データ転送のためのバーストタイプの通信を提供することができる。このタイプのインターフェースは、ＩＳＯ２６２６２又はＩＥＣ６１５０８規格に従うことができるが、他の規格及びプロトコルが使用されてもよい。
いくつかの実例では、ＳｏＣ７０４は、２０１８年８月１０日に出願された特許文献１に記載されるような、リアルタイム・レイトレーシング・ハードウェア加速装置を含み得る。リアルタイム・レイトレーシング・ハードウェア加速装置は、ＲＡＤＡＲ信号解釈のための、音響伝播合成及び／又は分析のための、ＳＯＮＡＲシステムのシミュレーションのための、一般波伝播シミュレーションのための、位置特定及び／又は他の機能を目的とするＬＩＤＡＲデータに対する比較のための、及び／又は他の使用のための、リアルタイム視覚化シミュレーションを生成するために、（たとえば、世界モデル内の）物体の位置及び規模を迅速に効率的に決定するために使用され得る。一部の実施形態では、１つ又は複数のツリー・トラバース・ユニット（ＴＴＵ：ｔｒｅｅ ｔｒａｖｅｒｓａｌ ｕｎｉｔ）が、１つ又は複数のレイトレーシング関連動作を実行するために使用され得る。
加速装置７１４（たとえば、ハードウェア加速装置クラスタ）は、自律運転のための多様な用途を有する。ＰＶＡは、ＡＤＡＳ及び自律型車両における極めて重要な処理段階に使用され得るプログラマブル・ビジョン加速装置でもよい。ＰＶＡの能力は、低電力及び低レイテンシにおいて、予測可能な処理を必要とするアルゴリズムの領域にふさわしい。言い換えれば、ＰＶＡは、低レイテンシ及び低電力とともに予測可能な実行時間を必要とする、小さなデータ集合上でも、半高密度の又は高密度の通常の計算で上手く機能する。それ故に、ＰＶＡは、物体検出及び整数計算での動作において効率的であるので、自律型車両のためのプラットフォームとの関連で、ＰＶＡは、クラシック・コンピュータ・ビジョン・アルゴリズムを実行するように設計される。
たとえば、本技術の１つの実施形態によれば、ＰＶＡは、コンピュータ・ステレオ・ビジョンを実行するために使用される。半グローバルなマッチングベースのアルゴリズムが、一部の実例では使用され得るが、これは限定することを意図されていない。レベル３～５の自律運転のための多数のアプリケーションは、動き推定／ステレオ・マッチング・オンザフライ（たとえば、ＳＦＭ（ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ）、歩行者認識、レーン検出など）を必要とする。ＰＶＡは、２個の単眼カメラからの入力でコンピュータ・ステレオ・ビジョン機能を実行することができる。
いくつかの実例では、ＰＶＡは、高密度のオプティカル・フローを実行するために使用され得る。（たとえば、４Ｄ高速フーリエ変換を使用して）未加工のＲＡＤＡＲデータを処理する処理により、処理されたＲＡＤＡＲを提供する。他の実例において、ＰＶＡは、たとえば、未加工の飛行時間データを処理して処理済みの飛行時間データを提供することにより、飛行時間の深度処理に使用される。
ＤＬＡは、たとえば、各物体検出の信頼性の測定値を出力するニューラル・ネットワークを含む、制御及び運転安全性を強化するために任意のタイプのネットワークを実行するように使用され得る。そのような信頼性値は、確率として、又は他の検出と比較した各検出の相対的「重み」を提供するものとして、解釈され得る。この信頼性値は、どの検出が誤判定検出ではなくて真陽性検出と考えられるべきであるかに関する他の決定をシステムが行うことを可能にする。たとえば、システムは、信頼性の閾値を設定し、真陽性検出としての閾値を超える検出のみを考慮することができる。自動緊急ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）システムにおいて、誤判定検出は、車両に緊急ブレーキを自動で実行させることになり、これは明らかに望ましくない。したがって、最も確信のある検出のみが、ＡＥＢのトリガとして考えられるべきである。ＤＬＡは、信頼性値を退行するニューラル・ネットワークを実行し得る。ニューラル・ネットワークは、境界ボックス次元、（たとえば、別のサブシステムから）取得されたグラウンド・プレーン推定、ニューラル・ネットワーク及び／又は他のセンサ（たとえば、ＬＩＤＡＲセンサ７６４又はＲＡＤＡＲセンサ７６０）から取得された物体の車両７００方位、距離、３Ｄ位置推定と相関する慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ７６６出力、その他など、少なくともいくつかのサブセットのパラメータをその入力として受け取ることができる。
ＳｏＣ７０４は、データ・ストア７１６（たとえば、メモリ）を含み得る。データ・ストア７１６は、ＳｏＣ７０４のオンチップ・メモリでもよく、ＧＰＵ及び／又はＤＬＡで実行されることになるニューラル・ネットワークを記憶することができる。いくつかの実例では、データ・ストア７１６は、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分な大きさの容量を有し得る。データ・ストア７１２は、Ｌ２又はＬ３キャッシュ７１２を備え得る。データ・ストア７１６の参照は、本明細書に記載のような、ＰＶＡ、ＤＬＡ、及び／又は他の加速装置７１４に関連するメモリの参照を含み得る。
ＳｏＣ７０４は、１つ又は複数のプロセッサ７１０（たとえば、組み込まれたプロセッサ）を含み得る。プロセッサ７１０は、ブート電力及び管理能力及び関連するセキュリティ施行を処理するための専用のプロセッサ及びサブシステムでもよいブート及び電力管理プロセッサを含み得る。ブート及び電力管理プロセッサは、ＳｏＣ７０４ブート・シーケンスの一部でもよく、実行時間電力管理サービスを提供することができる。ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、ＳｏＣ７０４熱及び温度センサの管理、及び／又はＳｏＣ７０４電力状態の管理を提供することができる。各温度センサは、その出力頻度が温度に比例するリング発振器として実装されてもよく、ＳｏＣ７０４は、リング発振器を使用してＣＰＵ７０６、ＧＰＵ７０８、及び／又は加速装置７１４の温度を検出することができる。温度が、閾値を超えたと判定された場合、ブート及び電力管理プロセッサは、温度障害ルーティンに入り、ＳｏＣ７０４をより低い電力状態に置く及び／又は車両７００を安全停止のための運転代行モードにする（たとえば、車両７００を安全停止させる）ことができる。
プロセッサ７１０は、オーディオ処理エンジンの機能を果たし得る１セットの組み込まれたプロセッサをさらに含み得る。オーディオ処理エンジンは、複数のインターフェースを介するマルチチャネル・オーディオの完全なハードウェア・サポートとオーディオＩ／Ｏインターフェースの広く柔軟な範囲とを可能にするオーディオ・サブシステムでもよい。いくつかの実例では、オーディオ処理エンジンは、専用のＲＡＭを有するデジタル信号プロセッサを有する専用のプロセッサ・コアである。
プロセッサ７１０は、低電力センサ管理及びウェイク使用事例をサポートするための必要なハードウェア特徴を提供することができる常時オンのプロセッサ・エンジンをさらに含み得る。常時オンのプロセッサ・エンジンは、プロセッサ・コア、しっかりと結合されたＲＡＭ、支援周辺装置（たとえば、タイマ及び割り込みコントローラ）、様々なＩ／Ｏコントローラ周辺装置、及びルーティング論理を含み得る。
プロセッサ７１０は、自動車のアプリケーションの安全性管理を処理するために専用のプロセッサ・サブシステムを含む安全性クラスタ・エンジンをさらに含み得る。安全性クラスタ・エンジンは、２個以上のプロセッサ・コア、しっかりと結合されたＲＡＭ、サポート周辺装置（たとえば、タイマ、割り込みコントローラなど）、及び／又はルーティング論理を含み得る。安全性モードにおいて、２個以上のコアは、ロックステップ・モードにおいて動作し、それらの動作の間の何らかの差を検出するための比較論理を有する単一のコアとして機能することができる。
プロセッサ７１０は、リアルタイム・カメラ管理を処理するための専用のプロセッサ・サブシステムを含み得るリアルタイム・カメラ・エンジンをさらに含み得る。
プロセッサ７１０は、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る高ダイナミック・レンジ信号プロセッサをさらに含み得る。
プロセッサ７１０は、プレイヤ・ウインドウのための最終的画像を生み出すためにビデオ再生アプリケーションによって必要とされるビデオ処理後機能を実装する処理ブロック（たとえば、マイクロプロセッサに実装された）でもよいビデオ画像合成器を含み得る。ビデオ画像合成器は、ワイド・ビュー・カメラ７７０で、サラウンド・カメラ７７４で、及び／又はキャビン内監視カメラ・センサでレンズ歪み補正を実行することができる。キャビン内監視カメラ・センサは好ましくは、キャビン内イベントを識別し、適切に応答するように構成された、高度ＳｏＣの別のインスタンス上で実行するニューラル・ネットワークによって監視される。キャビン内システムは、セルラ・サービスをアクティブにする及び電話をかける、電子メールを書き取らせる、車両の目的地を変更する、車両のインフォテインメント・システム及び設定をアクティブにする又は変更する、或いは音声起動型ウェブ・サーフィンを提供するために、読唇術を実行することができる。ある特定の機能は、自律モードで動作しているときにのみ運転者に利用可能であり、そうでない場合には無効にされる。
ビデオ画像合成器は、空間的ノイズ低減及び時間的ノイズ低減の両方のための強化された時間的ノイズ低減を含み得る。たとえば、動きがビデオ内で生じた場合、ノイズ低減は、隣接するフレームによって提供される情報の重みを減らし、空間的情報に適切に重みを加える。画像又は画像の一部が動きを含まない場合、ビデオ画像合成器によって実行される時間的ノイズ低減は、前の画像からの情報を使用して現在の画像におけるノイズを減らすことができる。
ビデオ画像合成器はまた、入力ステレオ・レンズ・フレーム上でステレオ・レクティフィケーションを実行するように構成され得る。ビデオ画像合成器はさらに、オペレーティング・システム・デスクトップが使用中であるときにユーザ・インターフェース合成のために使用することができ、ＧＰＵ７０８は、新しい面を連続してレンダリングするために必要とされない。ＧＰＵ７０８の電源が入れられ、３Ｄレンダリングをアクティブに行っているときでも、ビデオ画像合成器は、ＧＰＵ７０８をオフロードして性能及び応答性を向上させるために使用され得る。
ＳｏＣ７０４は、カメラからビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース（ＭＩＰＩ：ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）カメラ・シリアル・インターフェース、高速インターフェース、並びに／又は、カメラ及び関連画素入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。ＳｏＣ７０４は、ソフトウェアによって制御され得る、及び特定の役割にコミットされていないＩ／Ｏ信号を受信するために使用され得る、入力／出力コントローラをさらに含み得る。
ＳｏＣ７０４は、周辺装置、オーディオ・コーデック、電力管理、及び／又は他のデバイスとの通信を可能にするために、広範囲の周辺インターフェースをさらに含み得る。ＳｏＣ７０４は、（たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット（登録商標）を介して接続された）カメラからのデータ、センサ（たとえば、イーサネット（登録商標）を介して接続され得るＬＩＤＡＲセンサ７６４、ＲＡＤＡＲセンサ７６０など）、バス７０２からのデータ（たとえば、車両７００のスピード、ハンドル位置など）、（たとえば、イーサネット（登録商標）又はＣＡＮバスを介して接続された）ＧＮＳＳセンサ７５８からのデータを処理するために使用され得る。ＳｏＣ７０４は、独自のＤＭＡエンジンを含み得る及びルーティン・データ管理タスクからＣＰＵ７０６を解放するために使用され得る専用の高性能大容量記憶コントローラをさらに含み得る。
ＳｏＣ７０４は、自動化レベル３～５に広がる柔軟なアーキテクチャを有する終端間プラットフォームでもよく、それによって、多様性及び冗長性のためにコンピュータ・ビジョン及びＡＤＡＳ技法を活用し、効率的に使用し、深層学習ツールとともに、柔軟な、信頼できる運転ソフトウェア・スタックのためのプラットフォームを提供する、総合的機能的安全性アーキテクチャを提供する。ＳｏＣ７０４は、従来のシステムよりも高速で、信頼でき、さらにエネルギ効率がよく、空間効率がよくなり得る。たとえば、加速装置７１４が、ＣＰＵ７０６と結合されるとき、ＧＰＵ７０８、及びデータ・ストア７１６は、レベル３～５の自律型車両のための高速で効率的なプラットフォームを提供することができる。
したがって、本技術は、従来のシステムによって達成することができない能力及び機能性をもたらす。たとえば、コンピュータ・ビジョン・アルゴリズムは、多種多様な視覚的データにわたり多種多様な処理アルゴリズムを実行するために、Ｃプログラミング言語などの高レベルのプログラミング言語を使用して構成され得る、ＣＰＵで実行され得る。しかしながら、ＣＰＵは、しばしば、たとえば、実行時間及び電力消費に関連するものなど、多数のコンピュータ・ビジョン・アプリケーションの性能要件を満たすことができない。具体的には、多数のＣＰＵは、車両内ＡＤＡＳアプリケーションの要件及び実際のレベル３～５の自律型車両の要件である、リアルタイムでの複合物体検出アルゴリズムを実行することができない。
従来のシステムとは対照的に、ＣＰＵ複合体、ＧＰＵ複合体、及びハードウェア加速クラスタを提供することによって、本明細書に記載の技術は、複数のニューラル・ネットワークが同時に及び／又は連続して実行されることと、レベル３～５の自律運転機能を可能にするために結果が結合されることとを可能にする。たとえば、ＤＬＡ又はｄＧＰＵ（たとえば、ＧＰＵ７２０）で実行するＣＮＮは、ニューラル・ネットワークが具体的にトレーニングされていない標識を含む、交通標識をスーパーコンピュータが読み取る及び理解することを可能にする、テキスト及び単語認識を含み得る。ＤＬＡは、標識の意味論的理解を識別、解釈、及び提供することと、ＣＰＵ複合体で実行する進路計画立案モジュールに意味論的理解を渡すこととを行うことができる、ニューラル・ネットワークをさらに含み得る。
別の実例として、複数のニューラル・ネットワークは、レベル３、４、又は５の運転に必要とされるように、同時に実行され得る。たとえば、電光とともに、「注意：点滅光は、凍った状態を示す」から成る警告標識は、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。標識自体は、第１の配備されたニューラル・ネットワーク（たとえば、トレーニングされてあるニューラル・ネットワーク）によって交通標識として識別され得、「点滅光は、凍った状態を示す」というテキストは、点滅光が検出されるときには凍った状態が存在することを車両の進路計画立案ソフトウェア（好ましくはＣＰＵ複合体上で実行する）に知らせる、第２の配備されたニューラル・ネットワークによって解釈され得る。点滅光は、点滅光の存在（又は無いこと）を車両の進路計画立案ソフトウェアに知らせ、複数のフレームを介して第３の配備されたニューラル・ネットワークを動作させることによって識別され得る。すべての３個のニューラル・ネットワークは、ＤＬＡ内及び／又はＧＰＵ７０８上などで、同時に実行することができる。
いくつかの実例では、顔認識及び車両所有者識別のためのＣＮＮは、カメラ・センサからのデータを使用して車両７００の正規の運転者及び／又は所有者の存在を識別することができる。常時オンのセンサ処理エンジンは、所有者が運転席側のドアに近づくときに車両を解錠する及び明かりをつけるために、並びに、セキュリティ・モードにおいて、所有者が車両を離れるときに車両の動作を停止させるために、使用され得る。このようにして、ＳｏＣ７０４は、盗難及び／又は車の乗っ取りに対するセキュリティをもたらす。
別の実例では、緊急車両検出及び識別のためのＣＮＮは、マイクロフォン７９６からのデータを使用して緊急車両サイレンを検出及び識別することができる。一般分類子を使用してサイレンを検出する及び特徴を手動で抽出する従来のシステムとは対照的に、ＳｏＣ７０４は、環境の及び都市の音の分類、並びに視覚的データの分類のためにＣＮＮを使用する。好ましい一実施形態では、ＤＬＡ上で実行するＣＮＮは、（たとえば、ドップラー効果を使用することによって）緊急車両の相対的終速度を識別するようにトレーニングされる。ＣＮＮはまた、ＧＮＳＳセンサ７５８によって識別されるように、車両が稼働しているローカル・エリアに特有の緊急車両を識別するようにトレーニングされ得る。それ故に、たとえば、欧州で稼働しているとき、ＣＮＮは、欧州のサイレンを検出しようとすることになり、そして、米国にあるとき、ＣＮＮは、北米のサイレンのみを識別しようとすることになる。緊急車両が検出された後は、制御プログラムが、緊急車両が通過するまで、超音波センサ７６２の支援を受けて、車両を減速する、道の端に停止させる、車両を駐車する、及び／又は車両をアイドリングさせる、緊急車両安全性ルーティンを実行するために使用され得る。
車両は、高速相互接続（たとえば、ＰＣＩｅ）を介してＳｏＣ７０４に連結され得るＣＰＵ７１８（たとえば、離散されたＣＰＵ、又はｄＣＰＵ）を含み得る。ＣＰＵ７１８は、たとえば、Ｘ８６プロセッサを含み得る。ＣＰＵ７１８は、たとえば、ＡＤＡＳセンサとＳｏＣ７０４との間の潜在的な不整合の結果を調停すること、並びに／又はコントローラ７３６及び／若しくはインフォテインメントＳｏＣ７３０の状況及び調子を監視することを含む、様々な任意の機能を実行するために使用され得る。
車両７００は、高速相互接続（たとえば、ＮＶＩＤＩＡのＮＶＬＩＮＫ）を介してＳｏＣ７０４に連結され得るＧＰＵ７２０（たとえば、離散されたＧＰＵ、又はｄＧＰＵ）を含み得る。ＧＰＵ７２０は、冗長及び／又は異なるニューラル・ネットワークを実行することなどによって、付加的な人工知能機能をもたらすことができ、車両７００のセンサからの入力（たとえば、センサ・データ）に基づいてニューラル・ネットワークをトレーニング及び／又は更新するために使用され得る。
車両７００は、１つ又は複数のワイヤレス・アンテナ７２６（たとえば、セルラ・アンテナ、ブルートゥース（登録商標）・アンテナなど、異なる通信プロトコルのための１つ又は複数のワイヤレス・アンテナ）を含み得るネットワーク・インターフェース７２４をさらに含み得る。ネットワーク・インターフェース７２４は、インターネットを介するクラウドとの（たとえば、サーバ７７８及び／若しくは他のネットワーク・デバイスとの）、他の車両との、並びに／又は計算デバイス（たとえば、乗客のクライアント・デバイス）とのワイヤレス接続を使用可能にするために使用され得る。他の車両と通信するために、直接リンクが２個の車両の間に確立され得、及び／又は、間接リンクが（たとえば、ネットワークを通じて及びインターネットを介して）確立され得る。直接リンクは、車両対車両通信リンクを使用し、提供され得る。車両対車両通信リンクは、車両７００に近接する車両（たとえば、車両７００の前の、横の、及び／又は後ろの車両）に関する車両７００の情報を提供することができる。この機能は、車両７００の協調アダプティブ・クルーズ制御機能の一部でもよい。
ネットワーク・インターフェース７２４は、変調及び復調機能を提供する及びコントローラ７３６がワイヤレス・ネットワークを介して通信することを可能にする、ＳｏＣを含み得る。ネットワーク・インターフェース７２４は、ベースバンドから無線周波数へのアップコンバージョン、及び無線周波数からベースバンドへのダウンコンバージョンのための無線周波数フロントエンドを含み得る。周波数コンバージョンは、よく知られているプロセスを通して実行することができ、及び／又はスーパーヘテロダイン・プロセスを用いて実行することができる。いくつかの実例では、無線周波数フロントエンド機能は、別個のチップによって提供され得る。ネットワーク・インターフェースは、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含み得る。
車両７００は、チップ外の（たとえば、ＳｏＣ７０４外の）ストレージを含み得るデータ・ストア７２８をさらに含み得る。データ・ストア７２８は、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュ、ハードディスク、及び／又は、少なくとも１ビットのデータを記憶することができる他の構成要素及び／又はデバイスを含む、１つ又は複数の記憶素子を含み得る。
車両７００は、ＧＮＳＳセンサ７５８をさらに含み得る。ＧＮＳＳセンサ７５８（たとえば、ＧＰＳ、支援されたＧＰＳセンサ、ディファレンシャルＧＰＳ（ＤＧＰＳ）センサなど）は、マッピング、知覚、占有グリッド生成、及び／又は進路計画策定機能を支援する。たとえば、シリアル（ＲＳ－２３２）ブリッジへのイーサネット（登録商標）を有するＵＳＢコネクタを使用するＧＰＳを含むが、これに限定されない、任意の数のＧＮＳＳセンサ７５８が、使用され得る。
車両７００は、ＲＡＤＡＲセンサ７６０をさらに含み得る。ＲＡＤＡＲセンサ７６０は、暗闇及び／又は厳しい気象条件においても、長距離車両検出のために車両７００によって使用され得る。ＲＡＤＡＲ機能安全性レベルは、ＡＳＩＬ Ｂでもよい。一部の実例では、ＲＡＤＡＲセンサ７６０は、未加工のデータにアクセスするためのイーサネット（登録商標）へのアクセスを用いて、制御のために及び物体追跡データにアクセスするために（たとえば、ＲＡＤＡＲセンサ７６０によって生成されたデータを送信するために）ＣＡＮ及び／又はバス７０２を使用することができる。多種多様なＲＡＤＡＲセンサ・タイプが、使用され得る。たとえば、そして限定なしに、ＲＡＤＡＲセンサ７６０は、前部、後部、及び側部ＲＡＤＡＲ使用に適し得る。一部の実例では、パルス・ドップラーＲＡＤＡＲセンサが使用される。
ＲＡＤＡＲセンサ７６０は、狭い視野を有する長距離、広い視野を有する短距離、短距離側部カバレッジなど、異なる構成を含み得る。いくつかの実例では、長距離ＲＡＤＡＲは、アダプティブ・クルーズ制御機能のために使用され得る。長距離ＲＡＤＡＲシステムは、２５０ｍの範囲内など、２個以上の独立したスキャンによって実現される広い視野を提供することができる。ＲＡＤＡＲセンサ７６０は、静的物体と動く物体との区別を助けることができ、緊急ブレーキ・アシスト及び前方衝突警報のためのＡＤＡＳシステムによって使用され得る。長距離ＲＡＤＡＲセンサは、複数の（たとえば、６つ以上の）固定ＲＡＤＡＲアンテナと高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースとを有するモノスタティック・マルチモーダルＲＡＤＡＲを含み得る。６つのアンテナを有する一実例では、中央の４個のアンテナは、隣接レーン内の交通からの干渉を最小限にして高速で車両７００の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。他の２個のアンテナは、視野を広げることができ、車両７００のレーンに入る又はこれを去る車両を迅速に検出することを可能にする。
一実例として、中距離ＲＡＤＡＲシステムは、７６０ｍ（前）又は８０ｍ（後）までの範囲、及び４２度（前）又は７５０度（後）までの視野を含み得る。短距離ＲＡＤＡＲシステムは、後部バンパの両端に設置されるように設計されたＲＡＤＡＲセンサを含み得るが、これに限定されない。後部バンパの両端に設置されるとき、そのようなＲＡＤＡＲセンサ・システムは、車両の後ろ及び隣の死角を常に監視する２個のビームを作成することができる。
短距離ＲＡＤＡＲシステムは、死角検出及び／又はレーン変更アシストのためにＡＤＡＳシステムにおいて使用され得る。
車両７００は、超音波センサ７６２をさらに含み得る。車両７００の前部、後部、及び／又は側部に位置付けられ得る、超音波センサ７６２は、駐車アシストのために及び／又は占有グリッドの作成及び更新のために使用され得る。多種多様な超音波センサ７６２が使用され得、異なる超音波センサ７６２が、異なる範囲の検出（たとえば、２．５ｍ、４ｍ）のために使用され得る。超音波センサ７６２は、ＡＳＩＬ Ｂの機能的安全性レベルにおいて動作することができる。
車両７００はＬＩＤＡＲセンサ７６４を含み得る。ＬＩＤＡＲセンサ７６４は、物体及び歩行者検出、緊急ブレーキ、衝突回避、及び／又は他の機能のために使用され得る。ＬＩＤＡＲセンサ７６４は、機能的安全性レベルＡＳＩＬ Ｂでもよい。いくつかの実例では、車両７００は、（たとえば、ギガビット・イーサネット（登録商標）・スイッチにデータを提供するために）イーサネット（登録商標）を使用することができる複数の（たとえば、２個、４個、６個などの）ＬＩＤＡＲセンサ７６４を含み得る。
いくつかの実例では、ＬＩＤＡＲセンサ７６４は、物体及び３６０度視野のそれらの距離のリストを提供する能力を有し得る。市販のＬＩＤＡＲセンサ７６４は、たとえば、２ｃｍ～３ｃｍの精度を有し、７００Ｍｂｐｓイーサネット（登録商標）接続のサポートを有して、約７００ｍの広告された範囲を有し得る。いくつかの実例では、１つ又は複数の非突出したＬＩＤＡＲセンサ７６４が、使用され得る。そのような実例では、ＬＩＤＡＲセンサ７６４は、車両７００の前部、後部、側部、及び／又は角に組み込まれ得る小さいデバイスとして実装され得る。そのような実例では、ＬＩＤＡＲセンサ７６４は、低反射物体についても２００ｍの範囲を有し、１２０度水平及び３５度垂直視野まで提供することができる。前部に取り付けられたＬＩＤＡＲセンサ７６４は、４５度と１３５度との間の水平視野向けに構成され得る。
いくつかの実例では、３ＤフラッシュＬＩＤＡＲなどのＬＩＤＡＲ技術もまた使用され得る。３ＤフラッシュＬＩＤＡＲは、約２００ｍまで車両の周囲を照らすために、送信元としてレーザーのフラッシュを使用する。フラッシュＬＩＤＡＲユニットは、車両から物体までの範囲に順番に対応する、レーザー・パルス走行時間及び各画素上の反射光を記録する、レセプタを含む。フラッシュＬＩＤＡＲは、周囲の高精度の及び歪みのない画像があらゆるレーザー・フラッシュで生成されることを可能にし得る。いくつかの実例では、４個のフラッシュＬＩＤＡＲセンサが、車両７００の各側面に１個ずつ、配備され得る。利用可能な３ＤフラッシュＬＩＤＡＲシステムは、送風機以外に動く部分を有さないソリッドステート３Ｄステアリング・アレイＬＩＤＡＲカメラ（たとえば、非スキャン型ＬＩＤＡＲデバイス）を含む。フラッシュＬＩＤＡＲデバイスは、１フレームにつき５ナノ秒クラスＩ（目に安全な）レーザー・パルスを使用することができ、３Ｄ範囲点群及び共記載された強度データの形で反射レーザー光をキャプチャし得る。フラッシュＬＩＤＡＲを使用することによって、また、フラッシュＬＩＤＡＲは、動く部分を有さないソリッドステート・デバイスであるので、ＬＩＤＡＲセンサ７６４は、モーション・ブラー、振動、及び／又は衝撃の影響を受けにくくなり得る。
車両は、ＩＭＵセンサ７６６をさらに含み得る。一部の実例では、ＩＭＵセンサ７６６は、車両７００の後部車軸の中央に位置付けられ得る。ＩＭＵセンサ７６６は、たとえば、加速度計、磁力計、ジャイロスコープ、磁気コンパス、及び／又は他のセンサ・タイプを含み得るが、これらに限定されない。いくつかの実例では、６軸アプリケーションなどにおいて、ＩＭＵセンサ７６６は、加速度計及びジャイロスコープを含み得るが、９軸アプリケーションにおいて、ＩＭＵセンサ７６６は、加速度計、ジャイロスコープ、及び磁力計を含み得る。
一部の実施形態では、ＩＭＵセンサ７６６は、マイクロ電気機械システム（ＭＥＭＳ：ｍｉｃｒｏ－ｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍ）慣性センサ、高感度ＧＰＳレシーバ、及び高度カルマン・フィルタリング・アルゴリズムを結合して位置、速度、及び姿勢の推定値を提供する小型の高性能ＧＰＳ支援型慣性航行システム（ＧＰＳ／ＩＮＳ：ＧＰＳ－Ａｉｄｅｄ Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）として実装され得る。そのようなものとして、一部の実例では、ＩＭＵセンサ７６６は、ＧＰＳからＩＭＵセンサ７６６までの速度の変化を直接観測すること及び関連付けることによって、磁気センサからの入力を必要とせずに進行方向を車両７００が推定することを可能にし得る。いくつかの実例では、ＩＭＵセンサ７６６及びＧＮＳＳセンサ７５８は、単一の統合されたユニットにおいて結合され得る。
車両は、車両７００内及び／又は周囲に置かれたマイクロフォン７９６を含み得る。マイクロフォン７９６は、中でも、緊急車両検出及び識別のために使用され得る。
車両は、ステレオ・カメラ７６８、ワイド・ビュー・カメラ７７０、赤外線カメラ７７２、サラウンド・カメラ７７４、長距離及び／若しくは中距離カメラ７９８、並びに／又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。カメラは、車両７００の全周の画像データを取り込むために使用され得る。使用されるカメラのタイプは、車両７００の実施形態及び要件に応じて決まり、任意の組合せのカメラ・タイプが、車両７００の周りの必要なカバレッジを実現するために使用され得る。加えて、カメラの数は、実施形態に応じて異なり得る。たとえば、車両は、６個のカメラ、７個のカメラ、１０個のカメラ、１２個のカメラ、及び／又は別の数のカメラを含み得る。カメラは、一実例として、ギガビット・マルチメディア・シリアル・リンク（ＧＭＳＬ：Ｇｉｇａｂｉｔ Ｍｕｌｔｉｍｅｄｉａ Ｓｅｒｉａｌ Ｌｉｎｋ）及び／又はギガビット・イーサネット（登録商標）をサポートし得るが、これに限定されない。それぞれのカメラは、図７Ａ及び図７Ｂに関連して本明細書においてさらに詳しく説明される。
車両７００は、振動センサ７４２をさらに含み得る。振動センサ７４２は、車軸など、車両の構成要素の振動を測定することができる。たとえば、振動の変化は、道路の表面の変化を示し得る。別の実例では、２個以上の振動センサ７４２が使用されるとき、振動の差は、道路表面の摩擦又は滑りを判定するために使用され得る（たとえば、振動の差が電力駆動車軸と自由回転車軸との間であるとき）。
車両７００は、ＡＤＡＳシステム７３８を含み得る。一部の実例では、ＡＤＡＳシステム７３８は、ＳｏＣを含み得る。ＡＤＡＳシステム７３８は、自律／アダプティブ／オート・クルーズ制御（ＡＣＣ：ａｕｔｏｎｏｍｏｕｓ／ａｄａｐｔｉｖｅ／ａｕｔｏｍａｔｉｃ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、協調アダプティブ・クルーズ制御（ＣＡＣＣ：ｃｏｏｐｅｒａｔｉｖｅ ａｄａｐｔｉｖｅ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、前方衝突警報（ＦＣＷ：ｆｏｒｗａｒｄ ｃｒａｓｈ ｗａｒｎｉｎｇ）、自動緊急ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）、車線逸脱警報（ＬＤＷ：ｌａｎｅ ｄｅｐａｒｔｕｒｅ ｗａｒｎｉｎｇ）、レーン・キープ・アシスト（ＬＫＡ：ｌａｎｅ ｋｅｅｐ ａｓｓｉｓｔ）、死角警報（ＢＳＷ：ｂｌｉｎｄ ｓｐｏｔ ｗａｒｎｉｎｇ）、後部交錯交通警報（ＲＣＴＷ：ｒｅａｒ ｃｒｏｓｓ－ｔｒａｆｆｉｃ ｗａｒｎｉｎｇ）、衝突警報システム（ＣＷＳ：ｃｏｌｌｉｓｉｏｎ ｗａｒｎｉｎｇ ｓｙｓｔｅｍ）、レーン・センタリング（ＬＣ：ｌａｎｅ ｃｅｎｔｅｒｉｎｇ）、並びに／又は他の特徴及び機能を含み得る。
ＡＣＣシステムは、ＲＡＤＡＲセンサ７６０、ＬＩＤＡＲセンサ７６４、及び／又はカメラを使用し得る。ＡＣＣシステムは、縦のＡＣＣ及び／又は横のＡＣＣを含み得る。縦のＡＣＣは、車両７００の直ぐ前の車両までの距離を監視及び制御し、前方の車両からの安全距離を維持するために車両速度を自動的に調整する。横のＡＣＣは、距離の保持を実行し、必要なときにレーンを変更するように車両７００にアドバイスする。横のＡＣＣは、ＬＣＡ及びＣＷＳなどの他のＡＤＡＳアプリケーションに関連する。
ＣＡＣＣは、ワイヤレス・リンクを介して他の車両からネットワーク・インターフェース７２４及び／又はワイヤレス・アンテナ７２６を介して、或いは間接的にネットワーク接続を介して（たとえば、インターネットを介して）、受信することができる、他の車両からの情報を使用する。直接リンクは、車両対車両（Ｖ２Ｖ：ｖｅｈｉｃｌｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって提供され得、一方、間接リンクは、インフラストラクチャ対車両（Ｉ２Ｖ：ｉｎｆｒａｓｔｒｕｃｔｕｒｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクでもよい。一般に、Ｖ２Ｖ通信概念は、直前の車両（たとえば、車両７００と同じレーン内にある、車両７００の直ぐ前の車両）に関する情報を提供し、一方、Ｉ２Ｖ通信概念は、さらに前の交通に関する情報を提供する。ＣＡＣＣシステムは、Ｉ２Ｖ情報ソースとＶ２Ｖ情報ソースとのいずれか又は両方を含み得る。車両７００の前方の車両の情報を所与として、ＣＡＣＣは、より高信頼になり得、ＣＡＣＣは、交通の流れをよりスムーズにし、道路の渋滞を減らす可能性を有する。
運転者が修正の行動を取ることができるように、ＦＣＷシステムは、危険を運転者に警告するように設計される。ＦＣＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ７６０を使用する。ＦＣＷシステムは、音響、視覚的警報、振動及び／又はクイック・ブレーキ・パルスなどの形で、警報を提供することができる。
ＡＥＢシステムは、別の車両又は他の物体との差し迫った前方衝突を検出し、運転者が指定された時間又は距離パラメータ内に修正の行動を取らない場合に、ブレーキを自動的に適用することができる。ＡＥＢシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ７６０を使用することができる。ＡＥＢシステムが危険を検出するとき、ＡＥＢシステムは通常は、先ず、衝突を回避するための修正の行動を取るように運転者に警告し、運転者が修正の行動を取らない場合、ＡＥＢシステムは、予測される衝突の影響を防ぐ、又は少なくとも軽減するための努力の一環としてブレーキを自動的に適用することができる。ＡＥＢシステムは、ダイナミック・ブレーキ・サポート及び／又は衝突緊急ブレーキなどの技法を含み得る。
ＬＤＷシステムは、ハンドル又はシートの振動など、視覚的、可聴式、及び／又は触覚的警報を提供して、車両７００が車線区分線を越えたときに運転者に警告する。ＬＤＷシステムは、運転者が、方向指示器を起動することによって、意図的な車線逸脱を指示するときには、起動しない。ＬＤＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前側を向いたカメラを使用することができる。
ＬＫＡシステムは、ＬＤＷシステムの変更形態である。ＬＫＡシステムは、車両７００が車線をはみ出し始めた場合に車両７００を修正するためにステアリング入力又はブレーキを提供する。
ＢＳＷシステムは、自動車の死角において車両の運転者に検出及び警告する。ＢＳＷシステムは、合流又はレーンの変更が安全ではないことを指示するために視覚的、可聴式、及び／又は触覚的警告を提供することができる。システムは、運転者が方向指示器を使用するときに、付加的警告を提供することができる。ＢＳＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に結合された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、後ろ側を向いたカメラ及び／又はＲＡＤＡＲセンサ７６０を使用することができる。
ＲＣＴＷシステムは、車両７００がバックしているときにリアカメラの範囲外で物体が検出されたときに視覚的、可聴式、及び／又は触覚的通知を提供することができる。いくつかのＲＣＴＷシステムは、衝突を回避するために車両ブレーキが適用されることを確実にするために、ＡＥＢを含む。ＲＣＴＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に結合された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、１つ又は複数の後ろを向いたＲＡＤＡＲセンサ７６０を使用することができる。
従来のＡＤＡＳシステムは、運転者に警告し、安全状態が本当に存在するかどうかを運転者に判定させ、それに応じて行動させるので、従来のＡＤＡＳシステムは、通常は壊滅的ではないが、運転者を苛立たせ、及び気を散らせ得る誤判定結果を生み出す傾向にあることがあった。しかしながら、自律型車両７００では、結果が矛盾する場合には、車両７００自体が、１次的コンピュータ又は２次的コンピュータ（たとえば、第１のコントローラ７３６又は第２のコントローラ７３６）からの結果を聞き入れるかどうかを決定しなければならない。たとえば、一部の実施形態では、ＡＤＡＳシステム７３８は、知覚情報をバックアップ・コンピュータ合理性モジュールに提供するためのバックアップ及び／又は２次的コンピュータでもよい。バックアップ・コンピュータ合理性モニタは、ハードウェア構成要素で冗長で多様なソフトウェアを実行して、知覚及び動的運転タスクにおいて障害を検出することができる。ＡＤＡＳシステム７３８からの出力は、監督ＭＣＵに提供され得る。１次的コンピュータ及び２次的コンピュータからの出力が矛盾する場合、監督ＭＣＵは、安全な動作を確実にするためにその矛盾をどのように調整するかを決定する必要がある。
いくつかの実例では、１次的コンピュータは、選択された結果における１次的コンピュータの信頼性を指示する、信頼性スコアを監督ＭＣＵに提供するように構成され得る。信頼性スコアが閾値を超えた場合、監督ＭＣＵは、２次的コンピュータが矛盾する又は不整合の結果を与えるかどうかにかかわらず、１次的コンピュータの指示に従い得る。信頼性スコアが閾値を満たさない場合、並びに１次的及び２次的コンピュータが異なる結果を示す（たとえば、矛盾する）場合、監督ＭＣＵは、コンピュータの間で調停して適切な結果を決定することができる。
監督ＭＣＵは、２次的コンピュータが誤ったアラームを提供する状態を、１次的コンピュータ及び２次的コンピュータからの出力に基づいて判定するようにトレーニング及び構成されたニューラル・ネットワークを実行するように構成され得る。したがって、監督ＭＣＵ内のニューラル・ネットワークは、２次的コンピュータの出力が信頼され得るとき、及びそれが信頼され得ないときを学習することができる。たとえば、２次的コンピュータがＲＡＤＡＲベースのＦＣＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、アラームをトリガする下水溝の鉄格子又はマンホールの蓋など、実際には危険ではない金属製の物体をいつＦＣＷが識別しているかを学習することができる。同様に、２次的コンピュータがカメラベースのＬＤＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、自転車に乗った人又は歩行者が存在し、車線逸脱が、実際には、最も安全な操作であるときに、ＬＤＷを無視することを学習することができる。監督ＭＣＵ上で実行中のニューラル・ネットワークを含む実施形態では、監督ＭＣＵは、関連メモリを有するニューラル・ネットワークを実行するのに適したＤＬＡ又はＧＰＵのうちの少なくとも１つを含み得る。好ましい実施形態において、監督ＭＣＵは、ＳｏＣ７０４の構成要素を備え得る、及び／又はＳｏＣ７０４の構成要素として含まれ得る。
他の実例において、ＡＤＡＳシステム７３８は、コンピュータ・ビジョンの従来のルールを使用するＡＤＡＳ機能を実行する２次的コンピュータを含み得る。そのようなものとして、２次的コンピュータは、古典的コンピュータ・ビジョン・ルール（ｉｆ－ｔｈｅｎ）を使用することができ、監督ＭＣＵ内のニューラル・ネットワークの存在は、信頼性、安全性及び性能を向上させることができる。たとえば、多様な実装形態及び意図的な非同一性は、特にソフトウェア（又はソフトウェア－ハードウェア・インターフェース）機能によって引き起こされる障害に対して、システム全体をよりフォールトトレラント（ｆａｕｌｔ－ｔｏｌｅｒａｔ）にする。たとえば、１次的コンピュータで実行中のソフトウェア内にソフトウェア・バグ又はエラーが存在し、２次的コンピュータで実行中の同一でないソフトウェア・コードが同じ総合的結果を提供する場合、監督ＭＣＵは、総合的結果は正しく、１次的コンピュータ上のソフトウェア又はハードウェア内のバグは重大なエラーを引き起こしていないというより大きな確信を有し得る。
いくつかの実例では、ＡＤＡＳシステム７３８の出力は、１次的コンピュータの知覚ブロック及び／又は１次的コンピュータの動的運転タスク・ブロックに供給され得る。たとえば、ＡＤＡＳシステム７３８が、直ぐ前の物体が原因で、前方衝突警報を示した場合、知覚ブロックは、物体を識別するときに、この情報を使用することができる。他の実例において、２次的コンピュータは、本明細書に記載のように、トレーニングされ、それ故に誤判定のリスクを減らす、独自のニューラル・ネットワークを有し得る。
車両７００は、インフォテインメントＳｏＣ７３０（たとえば、車両内のインフォテインメント・システム（ＩＶＩ：ｉｎ－ｖｅｈｉｃｌｅ ｉｎｆｏｔａｉｎｍｅｎｔ ｓｙｓｔｅｍ））をさらに含み得る。ＳｏＣとして図示及び記述されているが、インフォテインメント・システムは、ＳｏＣでなくてもよく、２個以上の離散された構成要素を含み得る。インフォテインメントＳｏＣ７３０は、オーディオ（たとえば、音楽、携帯情報端末、ナビゲーション命令、ニュース、無線など）、ビデオ（たとえば、ＴＶ、映画、ストリーミングなど）、電話（たとえば、ハンズフリー通話）、ネットワーク接続（たとえば、ＬＴＥ、Ｗｉ－Ｆｉなど）、及び／又は情報サービス（たとえば、ナビゲーション・システム、後方駐車支援、無線データシステム、燃料レベル、総移動距離、ブレーキ燃料レベル、オイル・レベル、ドアを開ける／閉じる、エア・フィルタ情報などの車両関連情報）を車両７００に提供するために使用され得るハードウェア及びソフトウェアの組合せを含み得る。たとえば、インフォテインメントＳｏＣ７３０は、無線、ディスク・プレイヤ、ナビゲーション・システム、ビデオ・プレイヤ、ＵＳＢ及びブルートゥース（登録商標）接続、カーピュータ、車内エンターテインメント、Ｗｉ－Ｆｉ、ハンドル・オーディオ制御装置、ハンズ・フリー音声制御、ヘッドアップ・ディスプレイ（ＨＵＤ：ｈｅａｄｓ－ｕｐ ｄｉｓｐｌａｙ）、ＨＭＩディスプレイ７３４、テレマティックス・デバイス、制御パネル（たとえば、様々な構成要素、特徴、及び／若しくはシステムを制御する並びに／又はこれと相互に作用するための）、及び／又は他の構成要素でもよい。インフォテインメントＳｏＣ７３０は、ＡＤＡＳシステム７３８からの情報、計画された車両操作などの自律運転情報、軌道、周囲環境情報（たとえば、交差点情報、車両情報、道路情報など）、及び／又は他の情報など、車両のユーザへの情報（たとえば、視覚的及び／又は可聴式の）を提供するためにさらに使用され得る。
インフォテインメントＳｏＣ７３０は、ＧＰＵ機能性を含み得る。インフォテインメントＳｏＣ７３０は、バス７０２（たとえば、ＣＡＮバス、イーサネット（登録商標）など）を介して、車両７００の他のデバイス、システム、及び／又は構成要素と通信することができる。いくつかの実例では、インフォテインメント・システムのＧＰＵが、１次的コントローラ７３６（たとえば、車両７００の１次的及び／又はバックアップ・コンピュータ）が故障した場合に、いくつかのセルフドライブ機能を実行することができるように、インフォテインメントＳｏＣ７３０は、監督ＭＣＵに連結され得る。そのような実例では、インフォテインメントＳｏＣ７３０は、本明細書に記載のように、車両７００を安全停止のための運転代行モードにすることができる。
車両７００は、計器群７３２（たとえば、デジタル・ダッシュ、電子計器群、デジタル計器パネルなど）をさらに含み得る。計器群７３２は、コントローラ及び／又はスーパーコンピュータ（たとえば、離散されたコントローラ又はスーパーコンピュータ）を含み得る。計器群７３２は、スピードメーター、燃料レベル、油圧、タコメーター、オドメーター、方向指示器、ギアシフト位置インジケータ、シート・ベルト警告灯、パーキングブレーキ警告灯、エンジン故障灯、エアバッグ（ＳＲＳ）システム情報、照明制御装置、安全システム制御装置、ナビゲーション情報など、１セットの器具類を含み得る。いくつかの実形態では、情報は、インフォテインメントＳｏＣ７３０及び計器群７３２の間で表示及び／又は共有され得る。言い換えれば、計器群７３２は、インフォテインメントＳｏＣ７３０の一部として含まれてもよく、逆もまた同様である。
図７Ｄは、本開示のいくつかの実施形態による、図７Ａのクラウドベースのサーバと例示的自律型車両７００との間の通信のシステム図である。システム７７６は、サーバ７７８、ネットワーク７９０、及び、車両７００を含む車両を含み得る。サーバ７７８は、複数のＧＰＵ７８４（Ａ）～７８４（Ｈ）（本明細書でＧＰＵ７８４と総称される）、ＰＣＩｅスイッチ７８２（Ａ）～７８２（Ｈ）（本明細書でＰＣＩｅスイッチ７８２と総称される）、及び／又はＣＰＵ７８０（Ａ）～７８０（Ｂ）（本明細書でＣＰＵ７８０と総称される）を含み得る。ＧＰＵ７８４、ＣＰＵ７８０、及びＰＣＩｅスイッチは、たとえば、ＮＶＩＤＩＡによって開発されたＮＶＬｉｎｋインターフェース７８８及び／又はＰＣＩｅ接続７８６などの、これらに限定されない、高速相互接続で相互に接続され得る。いくつかの実例では、ＧＰＵ７８４は、ＮＶＬｉｎｋ及び／又はＮＶＳｗｉｔｃｈ ＳｏＣを介して接続され、ＧＰＵ７８４及びＰＣＩｅスイッチ７８２は、ＰＣＩｅ相互接続を介して接続される。８個のＧＰＵ７８４、２個のＣＰＵ７８０、及び２個のＰＣＩｅスイッチが図示されているが、これは限定を意図されていない。実施形態に応じて、それぞれのサーバ７７８は、任意の数のＧＰＵ７８４、ＣＰＵ７８０、及び／又はＰＣＩｅスイッチを含み得る。たとえば、サーバ７７８は、それぞれ、８個、１６個、３２個、及び／又はそれ以上のＧＰＵ７８４を含み得る。
サーバ７７８は、最近開始された道路工事など、予想外の又は変更された道路状態を示す画像を表す画像データを、ネットワーク７９０を介して、車両から、受信することができる。サーバ７７８は、ニューラル・ネットワーク７９２、更新されたニューラル・ネットワーク７９２、並びに／又は、交通及び道路状態に関する情報を含むマップ情報７９４をネットワーク７９０を介して車両に送信することができる。マップ情報７９４の更新は、建設現場、くぼみ、迂回路、洪水、及び／又は他の障害物に関する情報など、ＨＤマップ７２２の更新を含み得る。いくつかの実例では、ニューラル・ネットワーク７９２、更新されたニューラル・ネットワーク７９２、及び／又はマップ情報７９４は、環境において任意の数の車両から受信されたデータにおいて表された新しいトレーニング及び／又は経験から、及び／又は（たとえば、サーバ７７８及び／又は他のサーバを使用する）データ・センタにおいて実行されたトレーニングに基づいて生じた可能性がある。
サーバ７７８は、トレーニング・データに基づいて機械学習モデル（たとえば、ニューラル・ネットワーク）をトレーニングするために使用され得る。トレーニング・データは、車両によって生成され得る、及び／又は（たとえば、ゲーム・エンジンを使用して）シミュレーションにおいて生成され得る。いくつかの実例では、トレーニング・データは、タグ付けされる（たとえば、ニューラル・ネットワークが、監督された学習の恩恵を受ける場合）及び／又は他の事前処理を受けるが、他の実例において、トレーニング・データは、タグ付け及び／又は事前処理されない（たとえば、ニューラル・ネットワークが、監督された学習を必要としない場合）。トレーニングは、たとえば以下のクラスを含むがこれらに限定されない、任意の１つ又は複数のクラスの機械学習技法に従って、実行され得る：監視されたトレーニング、半監視されたトレーニング、監視されていないトレーニング、自己学習、強化学習、連合型学習、転移学習、特徴学習（主要構成要素及びクラスタ分析を含む）、マルチ線形部分空間学習、多様体学習、表現学習（予備辞書学習を含む）、ルールに基づく機械学習、異常検出、及びそれらの変更形態若しくは組合せ。機械学習モデルがトレーニングされた後は、機械学習モデルは、車両によって使用され得（たとえば、ネットワーク７９０を介して車両に送信される）、及び／又は、機械学習モデルは、車両を遠隔監視するために、サーバ７７８によって使用され得る。
いくつかの実例では、サーバ７７８は、車両からデータを受信し、リアルタイムのインテリジェント推論のために最新のリアルタイムのニューラル・ネットワークにデータを適用することができる。サーバ７７８は、ＮＶＩＤＩＡによって開発されたＤＧＸ及びＤＧＸステーション・マシンなど、ＧＰＵ７８４によって電力供給される深層学習スーパーコンピュータ及び／又は専用のＡＩコンピュータを含み得る。しかしながら、一部の実例では、サーバ７７８は、ＣＰＵ電源式データ・センタのみを使用する深層学習インフラストラクチャを含み得る。
サーバ７７８の深層学習インフラストラクチャは、高速のリアルタイム推論の能力を有することでき、その能力を使用して車両７００内のプロセッサ、ソフトウェア、及び／又は関連ハードウェアの調子を評価及び検証することができる。たとえば、深層学習インフラストラクチャは、車両７００がそのシーケンスの画像内に位置したシーケンスの画像及び／又は物体など、車両７００からの定期的更新を受信することができる（たとえば、コンピュータ・ビジョン及び／又は他の機械学習物体分類技法を介して）。深層学習インフラストラクチャは、物体を識別し、車両７００によって識別された物体とそれらを比較するために、独自のニューラル・ネットワークを実行することができ、結果が対応せず、インフラストラクチャが、車両７００内のＡＩは正常に機能していないという結論を下した場合、サーバ７７８は、制御を推測し、乗客に通知し、安全な駐車操作を完了するように車両７００のフェイルセーフ・コンピュータに命じる車両７００への信号を送信することができる。
推論のために、サーバ７７８は、ＧＰＵ７８４及び１つ又は複数のプログラマブル推論加速装置（たとえば、ＮＶＩＤＩＡのＴｅｎｓｏｒＲＴ）を含み得る。ＧＰＵ電源式サーバ及び推論加速の組合せは、リアルタイムの応答性を可能にすることができる。性能がさほど必要とされない場合など、他の実例では、ＣＰＵ、ＦＰＧＡ、及び他のプロセッサによって電力供給されるサーバが、推論のために使用され得る。
（例示的計算デバイス）
図８は、本開示のいくつかの実施形態の実装に使用するのに適した計算デバイス８００の一実例のブロック図である。計算デバイス８００は、以下のデバイスを直接的に又は間接的につなぐ相互接続システム８０２を含み得る：メモリ８０４、１つ又は複数の中央処理装置（ＣＰＵ）８０６、１つ又は複数のグラフィック処理ユニット（ＧＰＵ）８０８、通信インターフェース８１０、入力／出力（Ｉ／Ｏ）ポート８１２、入力／出力構成要素８１４、電力供給装置８１６、１つ又は複数の提示構成要素８１８（たとえば、ディスプレイ）、及び１つ又は複数の論理ユニット８２０。少なくとも１つの実施形態において、計算デバイス８００は、１つ又は複数の仮想マシン（ＶＭ）を含み得る、及び／又は、その構成要素のいずれかは、仮想構成要素（たとえば、仮想ハードウェア構成要素）を含み得る。非限定的実例として、ＧＰＵ８０８のうちの１つ又は複数は、１つ又は複数のｖＧＰＵを含み得、ＣＰＵ８０６のうちの１つ又は複数は、１つ又は複数のｖＣＰＵを含み得、及び／又は、論理ユニット８２０のうちの１つ又は複数は、１つ又は複数の仮想論理ユニットを含み得る。そのようなものとして、計算デバイス８００は、離散された構成要素（たとえば、計算デバイス８００専用の全ＧＰＵ）、仮想構成要素（たとえば、計算デバイス８００専用のＧＰＵの一部分）、又はその組合せを含み得る。
図８の様々なブロックは、線で相互接続システム８０２を介して接続しているように示されているが、これは限定することを意図されておらず、単に分かりやすくするためである。たとえば、一部の実施形態では、表示デバイスなどの提示構成要素８１８は、Ｉ／Ｏ構成要素８１４と考えられ得る（たとえば、ディスプレイがタッチ・スクリーンである場合）。別の実例として、ＣＰＵ８０６及び／又はＧＰＵ８０８はメモリを含み得る（たとえば、メモリ８０４は、ＧＰＵ８０８、ＣＰＵ８０６、及び／又は他の構成要素のメモリに加えた記憶デバイスを表し得る）。言い換えれば、図８の計算デバイスは、単に例示である。「ワークステーション」、「サーバ」、「ラップトップ」、「デスクトップ」、「タブレット」、「クライアント・デバイス」、「モバイル・デバイス」、「ハンドヘルド・デバイス」、「ゲーム機」、「電子制御ユニット（ＥＣＵ：ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ）」、「仮想現実システム」、及び／又は他のデバイス若しくはシステム・タイプなどのカテゴリはすべて、図８の計算デバイスの範囲内にあることが意図されているので、これらは区別されない。
相互接続システム８０２は、１つ又は複数のリンク又はバス、たとえば、アドレス・バス、データ・バス、制御バス、又はそれらの組合せ、を表し得る。相互接続システム８０２は、１つ又は複数のバス又はリンク・タイプ、たとえば、業界標準アーキテクチャ（ＩＳＡ：ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、拡張業界標準アーキテクチャ（ＥＩＳＡ：ｅｘｔｅｎｄｅｄ ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＶＥＳＡ（ｖｉｄｅｏ ｅｌｅｃｔｒｏｎｉｃｓ ｓｔａｎｄａｒｄｓ ａｓｓｏｃｉａｔｉｏｎ）バス、周辺構成要素相互接続（ＰＣＩ：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ）バス、周辺構成要素相互接続エクスプレス（ＰＣＩｅ：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ ｅｘｐｒｅｓｓ）バス、及び／又は別のタイプのバス若しくはリンク、を含み得る。一部の実施形態では、構成要素の間に直接接続が存在する。一実例として、ＣＰＵ８０６は、メモリ８０４に直接接続され得る。さらに、ＣＰＵ８０６は、ＧＰＵ８０８に直接接続され得る。構成要素の間に直接、又はポイント対ポイント接続が存在する場合、相互接続システム８０２は、接続を実施するためのＰＣＩｅリンクを含み得る。これらの実例では、ＰＣＩバスは、計算デバイス８００に含まれる必要はない。
メモリ８０４は、様々なコンピュータ可読媒体のいずれかを含み得る。コンピュータ可読媒体は、計算デバイス８００によってアクセスすることができる任意の利用可能な媒体でもよい。コンピュータ可読媒体は、揮発性及び不揮発性媒体の両方、並びに取り外し可能な及び取り外し不可能な媒体を含み得る。実例として、しかし限定ではなく、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を備え得る。
コンピュータ記憶媒体は、コンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプなどの情報の記憶のための任意の方法又は技術において実装された揮発性及び不揮発性媒体並びに／又は取り外し可能な及び取り外し不可能な媒体の両方を含み得る。たとえば、メモリ８０４は、オペレーティング・システムなど、（たとえば、プログラム及び／又はプログラム要素を表す）コンピュータ可読命令を記憶することができる。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）又は他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージ若しくは他の磁気記憶デバイス、又は、所望の情報を記憶するために使用し得る及び計算デバイス８００によってアクセスし得る任意の他の媒体を含み得るが、これらに限定されない。本明細書では、コンピュータ記憶媒体は、信号自体を含まない。
コンピュータ記憶媒体は、搬送波などの変調データ信号又は他の移送機構においてコンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプを実施することができ、任意の情報配信媒体を含む。「変調データ信号」という用語は、その特性セットのうちの１つ又は複数を有する或いは信号内の情報をエンコードするような方式で変化した信号を指し得る。実例として、しかし限定せず、コンピュータ記憶媒体は、ワイヤード・ネットワーク又は直接ワイヤード接続などのワイヤード媒体と、音響、ＲＦ、赤外線及び他のワイヤレス媒体などのワイヤレス媒体とを含み得る。前述のいずれかの組合せもまた、コンピュータ可読媒体の範囲に含まれるべきである。
ＣＰＵ８０６は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス８００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。ＣＰＵ８０６は、多数のソフトウェア・スレッドを同時に処理する能力を有する１つ又は複数の（たとえば、１個、２個、４個、８個、２８個、７２個などの）コアをそれぞれ含み得る。ＣＰＵ８０６は、任意のタイプのプロセッサを含み得、実装された計算デバイス８００のタイプに応じて、異なるタイプのプロセッサを含み得る（たとえば、モバイル・デバイスのためのより少数のコアを有するプロセッサ、及びサーバのためのより多数のコアを有するプロセッサ）。たとえば、計算デバイス８００のタイプに応じて、プロセッサは、縮小命令セット計算（ＲＩＳＣ：Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたＡｄｖａｎｃｅｄ ＲＩＳＣ Ｍａｃｈｉｎｅｓ（ＡＲＭ）プロセッサ、又は複合命令セット計算（ＣＩＳＣ：Ｃｏｍｐｌｅｘ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたｘ８６プロセッサでもよい。計算デバイス８００は、計算コプロセッサなど、１つ又は複数のマイクロプロセッサ又は補助コプロセッサに加えて、１つ又は複数のＣＰＵ８０６を含み得る。
ＣＰＵ８０６に加えて又はその代わりに、ＧＰＵ８０８は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス８００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。ＧＰＵ８０８のうちの１つ若しくは複数は、統合されたＧＰＵ（たとえば、ＣＰＵ８０６のうちの１つ又は複数とでもよく、及び／又はＧＰＵ８０８のうちの１つ若しくは複数は、離散ＧＰＵでもよい。実施形態では、ＧＰＵ８０８のうちの１つ又は複数は、ＣＰＵ８０６のうちの１つ又は複数のコプロセッサでもよい。ＧＰＵ８０８は、グラフィックス（たとえば、３Ｄグラフィックス）をレンダリングする又は汎用計算を実行するために、計算デバイス８００によって使用され得る。たとえば、ＧＰＵ８０８は、ＧＰＵによる汎用計算（ＧＰＧＰＵ：Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ ＧＰＵ）のために使用され得る。ＧＰＵ８０８は、同時に数百又は数千のソフトウェア・スレッドを処理する能力を有する数百又は数千のコアを含み得る。ＧＰＵ８０８は、レンダリング・コマンド（たとえば、ホスト・インターフェースを介して受信されたＣＰＵ８０６からのレンダリング・コマンド）に応答して、出力画像のための画素データを生成することができる。ＧＰＵ８０８は、画素データ又は任意の他の適切なデータ、たとえばＧＰＧＰＵデータ、を記憶するためのグラフィックス・メモリ、たとえば表示メモリ、を含み得る。表示メモリは、メモリ８０４の一部として含まれ得る。ＧＰＵ８０８は、並行して動作する（たとえば、リンクを介して）２個以上のＧＰＵを含み得る。リンクは、ＧＰＵに直接接続することができ（たとえば、ＮＶＬＩＮＫを使用して）、又はスイッチを介して（たとえば、ＮＶＳｗｉｔｃｈを使用して）ＧＰＵを接続することができる。ともに結合されるとき、各ＧＰＵ８０８は、出力の異なる部分の又は異なる出力の画素データ又はＧＰＧＰＵデータ（たとえば、第１の画像の第１のＧＰＵ及び第２の画像の第２のＧＰＵ）を生成することができる。各ＧＰＵは、独自のメモリを含むことができ、又は他のＧＰＵとメモリを共有することができる。
ＣＰＵ８０６及び／又はＧＰＵ８０８に加えて又はその代わりに、論理ユニット８２０は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス８００のうちの１つ又は複数を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。実施形態では、ＣＰＵ８０６、ＧＰＵ８０８、及び／又は論理ユニット８２０は、方法、プロセス及び／又はその部分の任意の組合せを離散的に又は合同で実行することができる。論理ユニット８２０のうちの１つ若しくは複数は、ＣＰＵ８０６及び／若しくはＧＰＵ８０８のうちの１つ若しくは複数の一部でもよく及び／又はそこで統合されてもよく、並びに／又は、論理ユニット８２０のうちの１つ若しくは複数は、ＣＰＵ８０６及び／若しくはＧＰＵ８０８に対する離散構成要素であっても若しくは他の方法でそれらの外部にあってもよい。実施形態では、論理ユニット８２０のうちの１つ又は複数は、ＣＰＵ８０６のうちの１つ若しくは複数及び／又はＧＰＵ８０８のうちの１つ若しくは複数のコプロセッサでもよい。
論理ユニット８２０の実例は、１つ又は複数の処理コア及び／又はその構成要素、たとえば、データ処理ユニット（ＤＰＵ：Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、テンソル・コア（ＴＣ：Ｔｅｎｓｏｒ Ｃｏｒｅ）、テンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、画素ビジュアル・コア（ＰＶＣ：Ｐｉｘｅｌ Ｖｉｓｕａｌ Ｃｏｒｅ）、ビジョン処理ユニット（ＶＰＵ：Ｖｉｓｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックス処理クラスタ（ＧＰＣ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）、テクスチャ処理クラスタ（ＴＰＣ：Ｔｅｘｔｕｒｅ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）、ストリーミング・マルチプロセッサ（ＳＭ：Ｓｔｒｅａｍｉｎｇ Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、ツリー・トラバース・ユニット（ＴＴＵ：Ｔｒｅｅ Ｔｒａｖｅｒｓａｌ Ｕｎｉｔ）、人工知能加速装置（ＡＩＡ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ａｃｃｅｌｅｒａｔｏｒ）、深層学習加速装置（ＤＬＡ：Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｃｃｅｌｅｒａｔｏｒ）、論理演算ユニット（ＡＬＵ）、特定用途向け集積回路（ＡＳＩＣ）、浮動小数点演算ユニット（ＦＰＵ）、入力／出力（Ｉ／Ｏ）エレメント、周辺構成要素相互接続（ＰＣＩ）又は周辺構成要素相互接続エクスプレス（ＰＣＩｅ）エレメント、及び／又は同類のもの、を含む。
通信インターフェース８１０は、ワイヤード及び／又はワイヤレス通信を含む、電子通信ネットワークを介して計算デバイス８００が他の計算デバイスと通信することを可能にする、１つ又は複数のレシーバ、トランスミッタ、及び／又はトランシーバを含み得る。通信インターフェース８１０は、ワイヤレス・ネットワーク（たとえば、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、ＺｉｇＢｅｅなど）、ワイヤード・ネットワーク（たとえば、イーサネット（登録商標）又はＩｎｆｉｎｉＢａｎｄを介して通信すること）、低電力ワイド・エリア・ネットワーク（たとえば、ＬｏＲａＷＡＮ、ＳｉｇＦｏｘなど）、及び／又はインターネットなどの、いくつかの異なるネットワークのうちのいずれかを介する通信を可能にするための構成要素及び機能を含み得る。１つ又は複数の実施形態において、論理ユニット８２０及び／又は通信インターフェース８１０は、ネットワークを介して及び／又は相互接続システム８０２を通して受信されるデータを１つ又は複数のＧＰＵ８０８（たとえば、そのメモリ）に直接送信するために１つ又は複数のデータ処理装置（ＤＰＵ）を含み得る。
Ｉ／Ｏポート８１２は、そのうちのいくつかは計算デバイス８００に内蔵（たとえば、統合）され得る、Ｉ／Ｏ構成要素８１４、提示構成要素８１８、及び／又は他の構成要素を含む、他のデバイスに計算デバイス８００が論理的に連結されることを可能にすることができる。例示的なＩ／Ｏ構成要素８１４は、マイクロフォン、マウス、キーボード、ジョイスティック、ゲーム・パッド、ゲーム・コントローラ、サテライト・ディッシュ、スキャナ、プリンタ、ワイヤレス・デバイスなどを含む。Ｉ／Ｏ構成要素８１４は、エア・ジェスチャ、音声、又は、ユーザによって生成される他の生理的入力を処理する自然ユーザ・インターフェース（ＮＵＩ：ｎａｔｕｒａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を提供することができる。場合によっては、入力は、他の処理のための適切なネットワーク要素に送信され得る。ＮＵＩは、音声認識、スタイラス認識、顔認識、生体認識、画面上での及び画面の隣でのジェスチャ認識、エア・ジェスチャ、頭部及び視標追跡、並びに計算デバイス８００のディスプレイに関連するタッチ認識（さらに詳しく後述するような）の任意の組合せを実装し得る。計算デバイス８００は、ジェスチャ検出及び認識のための、ステレオスコープ・カメラ・システム、赤外線カメラ・システム、ＲＧＢカメラ・システム、タッチ・スクリーン技術、及びこれらの組合せなど、深度カメラを含み得る。追加で、計算デバイス８００は、動きの検出を可能にする加速度計又はジャイロスコープを含み得る（たとえば、慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）の一部として）。いくつかの実例では、加速度計又はジャイロスコープの出力は、没入型拡張現実又は仮想現実をレンダリングするために、計算デバイス８００によって使用され得る。
電力供給装置８１６は、ハードワイヤード電力供給装置、バッテリ電力供給装置、又はその組合せを含み得る。電力供給装置８１６は、計算デバイス８００の構成要素が動作することを可能にするために計算デバイス８００に電力を提供することができる。
提示構成要素８１８は、ディスプレイ（たとえば、モニタ、タッチ・スクリーン、テレビジョン画面、ヘッドアップ表示装置（ＨＵＤ）、他のディスプレイタイプ、又はそれらの組合せ）、スピーカ、及び／又は他の提示構成要素を含み得る。提示構成要素８１８は、他の構成要素（たとえば、ＧＰＵ８０８、ＣＰＵ８０６、ＤＰＵなど）からデータを受信し、データを（たとえば、画像、ビデオ、音響などとして）出力することができる。
（例示的データ・センタ）
図９は、本開示の少なくとも１つの実施形態において使用され得る例示的データ・センタ９００を示す。データ・センタ９００は、データ・センタ・インフラストラクチャ層９１０、フレームワーク層９２０、ソフトウェア層９３０、及び／又はアプリケーション層９４０を含み得る。
図９に示すように、データ・センタ・インフラストラクチャ層９１０は、資源オーケストレータ９１２、グループ化された計算資源９１４、及びノード計算資源（「ノードＣ．Ｒ．ｓ」）９１６（１）～９１６（Ｎ）を含み得、そこで、「Ｎ」は、任意の正の整数を表す。少なくとも１つの実施形態において、ノードＣ．Ｒ．ｓ９１６（１）～９１６（Ｎ）は、任意の数の中央処理装置（ＣＰＵ）又は他のプロセッサ（ＤＰＵ、加速装置、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、グラフィックス・プロセッサ若しくはグラフィックス・プロセッシング・ユニット（ＧＰＵ）などを含む）、メモリ・デバイス（たとえば、動的リード・オンリ・メモリ）、記憶デバイス（たとえば、ソリッドステート若しくはディスク・ドライブ）、ネットワーク入力／出力（ＮＷ Ｉ／Ｏ）デバイス、ネットワーク・スイッチ、仮想マシン（ＶＭ）、電力モジュール、及び／又は冷却モジュールなどを含み得るが、これらに限定されない。いくつかの実施形態において、ノードＣ．Ｒ．ｓ９１６（１）～９１６（Ｎ）のうちの１つ又は複数のノードＣ．Ｒ．ｓは、前述の計算資源のうちの１つ又は複数を有するサーバに対応し得る。加えて、いくつかの実施形態において、ノードＣ．Ｒ．ｓ９１６（１）～９１６１（Ｎ）は、１つ若しくは複数の仮想構成要素、たとえば、ｖＧＰＵ、ｖＣＰＵ、及び／若しくは同類のもの、を含み得、並びに／又は、ノードＣ．Ｒ．ｓ９１６（１）～９１６（Ｎ）のうちの１つ若しくは複数は、仮想マシン（ＶＭ）に対応し得る。
少なくとも１つの実施形態において、グループ化された計算資源９１４は、１つ又は複数のラック（図示せず）内に収容された別個のグループのノードＣ．Ｒ．ｓ９１６、或いは様々な地理的場所（やはり図示せず）にあるデータ・センタに収容された多数のラックを含み得る。グループ化された計算資源９１４内の別個のグループのノードＣ．Ｒ．ｓ９１６は、１つ又は複数のワークロードをサポートするように構成する又は割り当てることができる、グループ化された計算、ネットワーク、メモリ又はストレージ資源を含み得る。少なくとも１つの実施形態において、ＣＰＵ、ＧＰＵ、ＤＰＵ、及び／又は他のプロセッサを含むいくつかのノードＣ．Ｒ．ｓ９１６は、１つ又は複数のワークロードをサポートするための計算資源を提供するために、１つ又は複数のラック内にグループ化され得る。１つ又は複数のラックはまた、任意の組合せで、任意の数の電力モジュール、冷却モジュール、及び／又はネットワーク・スイッチを含み得る。
資源オーケストレータ９１２は、１つ若しくは複数のノードＣ．Ｒ．ｓ９１６（１）～９１６（Ｎ）及び／又はグループ化された計算資源９１４を構成又は他の方法で制御することができる。少なくとも１つの実施形態において、資源オーケストレータ９１２は、データ・センタ９００のソフトウェア設計インフラストラクチャ（「ＳＤＩ」）管理エンティティを含み得る。資源オーケストレータ９１２は、ハードウェア、ソフトウェア、又はその何らかの組合せを含み得る。
少なくとも１つの実施形態において、図９に示すように、フレームワーク層９２０は、ジョブ・スケジューラ９３２、構成マネージャ９３４、資源マネージャ９３６、及び／又は分散型ファイル・システム９３８を含み得る。フレームワーク層９２０は、ソフトウェア層９３０のソフトウェア９３２及び／又はアプリケーション層９４０の１つ若しくは複数のアプリケーション９４２をサポートするためにフレームワークを含み得る。ソフトウェア９３２又はアプリケーション９４２は、ウェブベースのサービス・ソフトウェア又はアプリケーション、たとえば、Ａｍａｚｏｎ Ｗｅｂ Ｓｅｒｖｉｃｅｓ（登録商標）、Ｇｏｏｇｌｅ Ｃｌｏｕｄ及びＭｉｃｒｏｓｏｆｔ Ａｚｕｒｅによって提供されるもの、をそれぞれ含み得る。フレームワーク層９２０は、大規模データ処理（たとえば、「ビッグ・データ」）のための分散型ファイル・システム９３８を使用し得るＡｐａｃｈｅ Ｓｐａｒｋ（商標）（以下「Ｓｐａｒｋ」）などのフリー及びオープン・ソース・ソフトウェア・ウェブ・アプリケーション・フレームワークのタイプでもよいが、これに限定されない。少なくとも１つの実施形態において、ジョブ・スケジューラ９３２は、データ・センタ９００の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Ｓｐａｒｋドライバを含み得る。構成マネージャ９３４は、異なる層、たとえば、ソフトウェア層９３０と、大規模データ処理をサポートするためのＳｐａｒｋ及び分散型ファイル・システム９３８を含むフレームワーク層９２０、を構成する能力を有し得る。資源マネージャ９３６は、分散型ファイル・システム９３８及びジョブ・スケジューラ９３２のサポートのためにマップされた又は割り当てられたクラスタ化された又はグループ化された計算資源を管理する能力を有し得る。少なくとも１つの実施形態において、クラスタ化された又はグループ化された計算資源は、データ・センタ・インフラストラクチャ層９１０にグループ化された計算資源９１４を含み得る。資源マネージャ９３６は、資源オーケストレータ９１２と調整して、これらのマップされた又は割り当てられた計算資源を管理することができる。
少なくとも１つの実施形態において、ソフトウェア層９３０に含まれるソフトウェア９３２は、ノードＣ．Ｒ．ｓ９１６（１）～９１６（Ｎ）の少なくとも部分、グループ化された計算資源９１４、及び／又はフレームワーク層９２０の分散型ファイル・システム９３８によって使用されるソフトウェアを含み得る。１つ又は複数のタイプのソフトウェアは、インターネット・ウェブ・ページ検索ソフトウェア、電子メール・ウイルス・スキャン・ソフトウェア、データベース・ソフトウェア、及びストリーミング・ビデオ・コンテンツ・ソフトウェアを含み得るが、これらに限定されない。
少なくとも１つの実施形態において、アプリケーション層９４０に含まれるアプリケーション９４２は、ノードＣ．Ｒ．ｓ９１６（１）～９１６（Ｎ）の少なくとも部分、グループ化された計算資源９１４、及び／又はフレームワーク層９２０の分散型ファイル・システム９３８によって使用される１つ又は複数のタイプのアプリケーションを含み得る。１つ又は複数のタイプのアプリケーションは、任意の数のゲノミクス・アプリケーション、認知計算、並びに、トレーニング若しくは推論ソフトウェア、機械学習フレームワーク・ソフトウェア（たとえば、ＰｙＴｏｒｃｈ、ＴｅｎｓｏｒＦｌｏｗ、Ｃａｆｆｅなど）、及び／又は１つ若しくは複数の実施形態と併せて使用される他の機械学習アプリケーションを含む、機械学習アプリケーションを含み得るが、これらに限定されない。
少なくとも１つの実施形態において、構成マネージャ９３４、資源マネージャ９３６、及び資源オーケストレータ９１２のうちのいずれかは、任意の技術的に可能な方式で取得される任意の量及びタイプのデータに基づいて任意の数及びタイプの自己書換え型アクションを実装することができる。自己書換え型アクションは、よくない可能性のある構成決定を行うこと並びにデータ・センタの十分に活用されていない及び／又は実行の不十分な部分を恐らく回避することからデータ・センタ９００のデータ・センタ・オペレータを解放し得る。
データ・センタ９００は、１つ又は複数の機械学習モデルをトレーニングする或いは本明細書に記載の１つ又は複数の実施形態による１つ又は複数の機械学習モデルを使用して情報を予測する若しくは推論するために、ツール、サービス、ソフトウェア或いは他の資源を含み得る。たとえば、機械学習モデルは、データ・センタ９００に関して前述されたソフトウェア及び／又は計算資源を使用するニューラル・ネットワーク・アーキテクチャによる重量パラメータの計算によって、トレーニングされ得る。少なくとも１つの実施形態において、１つ又は複数のニューラル・ネットワークに対応するトレーニングされた又は配備された機械学習モデルは、たとえば、本明細書に記載のものに限定されない、１つ又は複数のトレーニング技法を介して計算された重量パラメータを使用することによって、データ・センタ９００に関して前述された資源を使用して情報を推論又は予測するために使用され得る。
少なくとも１つの実施形態において、データ・センタ９００は、前述の資源を使用するトレーニング及び／又は推論を実行するために、ＣＰＵ、特定用途向け集積回路（ＡＳＩＣ）、ＧＰＵ、ＦＰＧＡ、及び／又は他のハードウェア（若しくはそれに対応する仮想計算資源）を使用することができる。さらに、前述の１つ又は複数のソフトウェア及び／又はハードウェア資源は、情報の推論をユーザがトレーニング又は実行することを可能にするためのサービス、たとえば、画像認識、音声認識、又は他の人工知能サービス、として構成され得る。
（例示的ネットワーク環境）
本開示の実施形態の実装において使用するのに適したネットワーク環境は、１つ若しくは複数のクライアント・デバイス、サーバ、ネットワーク接続型ストレージ（ＮＡＳ：ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ）、他のバックエンド・デバイス、及び／又は他のデバイス・タイプを含み得る。クライアント・デバイス、サーバ、及び／又は他のデバイス・タイプ（たとえば、各デバイス）は、図８の計算デバイス８００の１つ又は複数のインスタンスで実装され得、たとえば、各デバイスは、計算デバイス８００の類似の構成要素、特徴、及び／又は機能性を含み得る。加えて、バックエンド・デバイス（たとえば、サーバ、ＮＡＳなど）が、実装される場合、バックエンド・デバイスは、データ・センタ９００の一部として含まれ得、その実例は、図９に関して本明細書でさらに詳述される。
ネットワーク環境の構成要素は、ワイヤード、ワイヤレス、又はその両方でもよい、ネットワークを介して互いに通信し得る。ネットワークは、複数のネットワーク、又は複数のネットワークのうちの１つのネットワークを含み得る。実例として、ネットワークは、１つ若しくは複数のワイド・エリア・ネットワーク（ＷＡＮ）、１つ若しくは複数のローカル・エリア・ネットワーク（ＬＡＮ）、１つ若しくは複数のパブリック・ネットワーク、たとえば、インターネット及び／若しくは公衆交換電話網（ＰＳＴＮ）、並びに／又は１つ若しくは複数のプライベート・ネットワークを含み得る。ネットワークが、ワイヤレス電気通信ネットワークを含む場合、構成要素、たとえば、基地局、通信塔、或いはアクセス・ポイント（並びに他の構成要素）、は、ワイヤレス接続を提供し得る。
互換性のあるネットワーク環境は、１つ又は複数のピア・ツー・ピア・ネットワーク環境（その場合、サーバはネットワーク環境に含まれないことがある）と、１つ又は複数のクライアント・サーバ・ネットワーク環境（その場合、１つ又は複数のサーバがネットワーク環境に含まれ得る）とを含み得る。ピア・ツー・ピア・ネットワーク環境では、サーバに関して本明細書に記載した機能性は、任意の数のクライアント・デバイスで実装され得る。
少なくとも１つの実施形態において、ネットワーク環境は、１つ又は複数のクラウドベースのネットワーク環境、分散型計算環境、その組合せなどを含み得る。クラウドベースのネットワーク環境は、フレームワーク層、ジョブ・スケジューラ、資源マネージャ、並びに、１つ若しくは複数のコア・ネットワーク・サーバ及び／又はエッジ・サーバを含み得る、サーバのうちの１つ又は複数で実装された分散型ファイル・システムを含み得る。フレームワーク層は、ソフトウェア層のソフトウェア及び／又はアプリケーション層の１つ若しくは複数のアプリケーションをサポートするために、フレームワークを含み得る。ソフトウェア又はアプリケーションは、それぞれ、ウェブベースのサービス・ソフトウェア又はアプリケーションを含み得る。実施形態において、クライアント・デバイスのうちの１つ又は複数は、ウェブベースのサービス・ソフトウェア又はアプリケーションを使用し得る（たとえば、１つ又は複数のアプリケーション・プログラミング・インターフェース（ＡＰＩ）を介してサービス・ソフトウェア及び／又はアプリケーションにアクセスすることによって）。フレームワーク層は、たとえば大規模データ処理（たとえば、「ビッグ・データ」）のための分散型ファイル・システムを使用し得る、フリー及びオープン・ソース・ソフトウェア・ウェブ・アプリケーション・フレームワークのタイプでもよいが、これに限定されない。
クラウドベースのネットワーク環境は、本明細書に記載の計算及び／又はデータ・ストレージ機能（又は１つ若しくは複数のその部分）の任意の組合せを実施するクラウド計算及び／又はクラウド・ストレージを提供し得る。これらの様々な機能のいずれも、（たとえば、州、領域、国、世界にわたって分散され得る１つ又は複数のデータ・センタなどの）セントラル又はコア・サーバから複数の場所に分散され得る。ユーザ（たとえば、クライアント・デバイス）への接続が、エッジ・サーバに比較的近い場合、コア・サーバは、機能性の少なくとも一部分をエッジ・サーバに指定し得る。クラウドベースのネットワーク環境は、プライベート（たとえば、単一の組織に制限される）でもよく、パブリック（たとえば、多数の組織に利用可能）、及び／又はその組合せ（たとえば、ハイブリッド・クラウド環境）でもよい。
クライアント・デバイスは、図８に関して本明細書に記載の例示的計算デバイス８００の構成要素、特徴、及び機能性のうちの少なくともいくつかを含み得る。実例として、及び限定ではなく、クライアント・デバイスは、パーソナル・コンピュータ（ＰＣ）、ラップトップ・コンピュータ、モバイル・デバイス、スマートフォン、タブレット・コンピュータ、スマート・ウォッチ、ウェアラブル・コンピュータ、パーソナル・デジタル・アシスタント（ＰＤＡ）、ＭＰ３プレイヤ、仮想現実ヘッドセット、全地球測位システム（ＧＰＳ）又はデバイス、ビデオ・プレイヤ、ビデオカメラ、監視デバイス又はシステム、車両、ボート、飛行船、仮想マシン、ドローン、ロボット、ハンドヘルド通信デバイス、病院デバイス、ゲーミング・デバイス又はシステム、娯楽システム、車両コンピュータ・システム、組み込み型システム・コントローラ、リモート制御、器具、民生用電子デバイス、ワークステーション、エッジ・デバイス、これらの描写されたデバイスの任意の組合せ、或いは任意の他の適切なデバイスとして実施され得る。
本開示は、コンピュータ又は、携帯情報端末若しくは他のハンドヘルド・デバイスなどの、他のマシンによって実行されている、プログラム・モジュールなどのコンピュータ実行可能命令を含む、コンピュータ・コード又はマシン使用可能命令との一般的関連において説明されることがある。一般に、ルーティン、プログラム、オブジェクト、構成要素、データ構造体などを含むプログラム・モジュールは、特定のタスクを実行する又は特定の抽象データ・タイプを実装するコードを指す。本開示は、ハンドヘルド・デバイス、家電製品、汎用コンピュータ、より特殊な計算デバイスなどを含む、様々な構成で実施され得る。本開示はまた、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散型コンピューティング環境において実施され得る。
本明細書では、２個以上の要素に関する「及び／又は」の記述は、１つの要素のみ、又は要素の組合せを意味すると解釈されるべきである。たとえば、「要素Ａ、要素Ｂ、及び／又は要素Ｃ」は、要素Ａのみ、要素Ｂのみ、要素Ｃのみ、要素Ａ及び要素Ｂ、要素Ａ及び要素Ｃ、要素Ｂ及び要素Ｃ、或いは、要素Ａ、Ｂ、及びＣを含み得る。加えて、「要素Ａ又は要素Ｂのうちの少なくとも１つ」は、要素Ａの少なくとも１つ、要素Ｂの少なくとも１つ、或いは、要素Ａの少なくとも１つ及び要素Ｂの少なくとも１つを含み得る。さらに、「要素Ａ及び要素Ｂのうちの少なくとも１つ」は、要素Ａのうちの少なくとも１つ、要素Ｂのうちの少なくとも１つ、或いは、要素Ａのうちの少なくとも１つ及び要素Ｂのうちの少なくとも１つを含み得る。
本開示の発明は、法定の要件を満たすために特異性を有して記述されている。しかしながら、その記述自体が本開示の範囲を限定することは意図されていない。そうではなくて、本発明者は、請求項に記載された発明が、他の現在の又は未来の技術と併せて、異なるステップ又は本文書に記載されたものと類似のステップの組合せを含むように、他の形で実施され得ることを意図している。さらに、「ステップ」及び／又は「ブロック」という用語は、使用される方法の異なる要素を含意するように本明細書で使用され得るが、これらの用語は、個別のステップの順番が明示的に記載されていない限り及びそのように記載されているときを除いて本明細書で開示される様々なステップの間に何らかの特定の順番を暗示するものとして解釈されるべきではない。

Claims (20)

  1. 機械学習モデルを使用して、エゴマシンの１つ又は複数のセンサを使用して生成されたセンサ・データに少なくとも部分的に基づいて、前記センサ・データに対応する視認距離を示すデータを計算し、
    前記視認距離に少なくとも部分的に基づいて、前記エゴマシンの１つ又は複数の動作のための前記センサ・データの有用性を判定し、
    前記センサ・データの前記有用性に少なくとも部分的に基づいて、前記１つ又は複数の動作のうちの少なくとも１つの動作を実行する
    １つ又は複数の回路を含む、プロセッサ。
  2. 前記センサ・データの前記有用性に少なくとも部分的に基づいて前記１つ又は複数の動作のうちの少なくとも１つの自律又は半自律動作を実行することを控えることを決定することをさらに含む、請求項１に記載のプロセッサ。
  3. 前記データの前記計算が、前記視認距離の値で回帰することを含む、請求項１に記載のプロセッサ。
  4. 前記視認距離の前記値に少なくとも部分的に基づいて、前記センサ・データに対応する複数の視認距離ビンから視認距離ビンを判定すること
    をさらに含み、前記視認距離ビンが、前記エゴマシンの前記１つ又は複数の動作についての前記センサ・データの前記有用性を示す、請求項３に記載のプロセッサ。
  5. 前記データが、複数の視認距離ビンのうちの視認距離ビンを示し、さらに、前記視認距離ビンが、前記エゴマシンの前記１つ又は複数の動作についての前記センサ・データの前記有用性を示す、請求項１に記載のプロセッサ。
  6. 前記１つ又は複数の動作が、物体追跡、物体検出、進路計画策定、障害物回避、又は先進運転者支援システム（ＡＤＡＳ）動作のうちの少なくとも１つを含む、請求項１に記載のプロセッサ。
  7. 前記機械学習モデルが、ディープ・ニューラル・ネットワーク（ＤＮＮ）を含み、前記ＤＮＮが、現実世界データ、拡張現実世界データ、及び合成データの組合せを使用してトレーニングされる、請求項１に記載のプロセッサ。
  8. 前記プロセッサが、
    自律若しくは半自律マシンのための制御システム、
    自律若しくは半自律マシンのための認知システム、
    シミュレーション動作を実行するためのシステム、
    深層学習動作を実行するためのシステム、
    エッジ・デバイスを使用して実装されるシステム、
    ロボットを使用して実装されるシステム、
    １つ若しくは複数の仮想マシン（ＶＭ）を組み込むシステム、
    データ・センタにおいて少なくとも部分的に実装されるシステム、又は、
    クラウド計算資源を使用して少なくとも部分的に実装されるシステム
    のうちの少なくとも１つに含まれる、請求項１に記載のプロセッサ。
  9. １つ又は複数のセンサと、
    機械学習モデルを使用して計算された関連視認距離に少なくとも部分的に基づいて、前記１つ又は複数のセンサを使用して生成されたセンサ・データのインスタンスの有用性を判定するための１つ又は複数の処理ユニットと
    を備えるシステムであって、前記機械学習モデルが、
    トレーニング・センサ・データのインスタンスに対応する視認性を調整するための１つ又は複数のパラメータに対応する値を受信すること、
    前記値に少なくとも部分的に基づいて前記トレーニング・センサ・データのインスタンスを生成すること、
    前記値に少なくとも部分的に基づいて前記トレーニング・センサ・データのインスタンスに対応する視認距離を判定すること、及び、
    グラウンド・トゥルース・データとして前記トレーニング・センサ・データのインスタンス及び前記視認距離を使用して機械学習モデルをトレーニングすること
    によって少なくとも部分的にトレーニングされる、システム。
  10. 前記パラメータが、気象条件、照明条件、又はオクルージョン条件に対応する、請求項９に記載のシステム。
  11. 前記視認距離を前記判定することが、前記値を使用して前記視認距離を計算することを含む、請求項９に記載のシステム。
  12. 前記値が、前記１つ又は複数のパラメータのそれぞれの値と視認距離との対応関係を決定するトレーニングされたモデルに適用される、請求項１１に記載のシステム。
  13. 前記トレーニングされたモデルが、前記１つ又は複数のパラメータの関連値を使用して生成されたトレーニング・センサ・データのインスタンスに対応する視認距離を示す注釈又はラベルを使用してトレーニングされる、請求項１２に記載のシステム。
  14. 前記トレーニング・センサ・データのインスタンスが、現実世界のセンサ・データのインスタンスに対応し、前記トレーニング・センサ・データのインスタンスを前記生成することが、前記トレーニング・センサ・データのインスタンスを生成するために前記１つ又は複数のパラメータに対応する前記値を使用して前記現実世界のセンサ・データのインスタンスを拡張することを含む、請求項９に記載のシステム。
  15. 前記トレーニング・センサ・データのインスタンスが、センサ・データの合成インスタンスに対応し、前記センサ・データの合成インスタンスを前記生成することが、
    前記１つ又は複数のパラメータに対応する前記値をシミュレーション・エンジンに適用してシミュレーションを生成すること、及び
    前記シミュレーション内で１つ又は複数の仮想センサを使用して前記センサ・データの合成インスタンスをキャプチャすること
    を含む、請求項９に記載のシステム。
  16. 前記機械学習モデルが、視認距離を示すデータを計算するようにトレーニングされ、前記トレーニングすることが、前記視認距離の過小評価よりも前記視認距離の過大評価により多くペナルティを科す損失関数を使用することを含む、請求項９に記載のシステム。
  17. 前記システムが、
    自律若しくは半自律マシンのための制御システム、
    自律若しくは半自律マシンのための認知システム、
    シミュレーション動作を実行するためのシステム、
    深層学習動作を実行するためのシステム、
    エッジ・デバイスを使用して実装されるシステム、
    ロボットを使用して実装されるシステム、
    １つ若しくは複数の仮想マシン（ＶＭ）を組み込むシステム、
    データ・センタにおいて少なくとも部分的に実装されるシステム、又は、
    クラウド計算資源を使用して少なくとも部分的に実装されるシステム
    のうちの少なくとも１つに含まれる、請求項９に記載のシステム。
  18. 機械学習モデルを使用して計算されたセンサ・データのインスタンスに関連する視認距離に少なくとも部分的に基づいて、前記センサ・データのインスタンスに対応するマシンの適切な動作のセットを決定するための処理回路
    を含む、プロセッサ。
  19. 少なくとも１つの動作が、前記視認距離が閾値視認距離未満であることに少なくとも部分的に基づいて、前記適切な動作のセットに含まれない、請求項１８に記載のプロセッサ。
  20. 前記適切な動作のセットが、前記適切な動作のセットに対応する視認距離ビン内にある前記視認距離に少なくとも部分的に基づいて決定される、請求項１８に記載のプロセッサ。
JP2022078880A 2021-09-29 2022-05-12 自律マシン・アプリケーションにおける深層学習を使用する視認距離推定 Pending JP2023051713A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/449,306 2021-09-29
US17/449,306 US20230110027A1 (en) 2021-09-29 2021-09-29 Visibility distance estimation using deep learning in autonomous machine applications

Publications (1)

Publication Number Publication Date
JP2023051713A true JP2023051713A (ja) 2023-04-11

Family

ID=85477104

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022078880A Pending JP2023051713A (ja) 2021-09-29 2022-05-12 自律マシン・アプリケーションにおける深層学習を使用する視認距離推定

Country Status (4)

Country Link
US (1) US20230110027A1 (ja)
JP (1) JP2023051713A (ja)
CN (1) CN115909237A (ja)
DE (1) DE102022124361A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117766014B (zh) * 2024-02-21 2024-04-19 北京怀美科技有限公司 辐照检测存储器芯片的测试方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9952058B2 (en) * 2016-08-29 2018-04-24 Denso International America, Inc. Driver visibility detection system and method for detecting driver visibility
WO2020112213A2 (en) * 2018-09-13 2020-06-04 Nvidia Corporation Deep neural network processing for sensor blindness detection in autonomous machine applications
US11170299B2 (en) * 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications

Also Published As

Publication number Publication date
DE102022124361A1 (de) 2023-03-30
US20230110027A1 (en) 2023-04-13
CN115909237A (zh) 2023-04-04

Similar Documents

Publication Publication Date Title
US11841458B2 (en) Domain restriction of neural networks through synthetic data pre-training
JP7399164B2 (ja) 駐車スペース検出に適したスキューされたポリゴンを使用した物体検出
US11995895B2 (en) Multi-object tracking using correlation filters in video analytics applications
US11801861B2 (en) Using image augmentation with simulated objects for training machine learning models in autonomous driving applications
US20230342941A1 (en) Shape fusion for image analysis
US11592828B2 (en) Using neural networks to perform fault detection in autonomous driving applications
JP2022538813A (ja) 自律マシン・アプリケーションのための交差点領域検出及び分類
JP2023531330A (ja) マシン学習を使用した自律マシン・アプリケーションのためのセンサ融合
WO2021041854A1 (en) Object detection and classification using lidar range images for autonomous machine applications
JP2023507695A (ja) 自律運転アプリケーションのための３次元交差点構造予測
JP2023503729A (ja) 自律運転アプリケーションのための曲線適合を使用するランドマーク検出
US20210406679A1 (en) Multi-resolution image patches for predicting autonomous navigation paths
CN114155272A (zh) 自主机器应用中的自适应目标跟踪算法
US20220391766A1 (en) Training perception models using synthetic data for autonomous systems and applications
US20230054759A1 (en) Object tracking using lidar data for autonomous machine applications
US20230110713A1 (en) Training configuration-agnostic machine learning models using synthetic data for autonomous machine applications
US20230341235A1 (en) Automatic graphical content recognition for vehicle applications
US20240001957A1 (en) Using image augmentation with simulated objects for training machine learning models in autonomous driving applications
JP2023131069A (ja) 自律システム及びアプリケーションのためのニューラル・ネットワークを使用したマップ情報の物体データ・キュレーション
US20220340149A1 (en) End-to-end evaluation of perception systems for autonomous systems and applications
WO2023158556A1 (en) Dynamic object detection using lidar data for autonomous machine systems and applications
JP2023051713A (ja) 自律マシン・アプリケーションにおける深層学習を使用する視認距離推定
US20230099494A1 (en) Assigning obstacles to lanes using neural networks for autonomous machine applications
US20230391365A1 (en) Techniques for generating simulations for autonomous machines and applications
US20240087333A1 (en) Techniques for identifying occluded objects using a neural network