JP2022117916A - 自律マシン・アプリケーションのための配備されたディープ・ニューラル・ネットワークのパッチ - Google Patents

Abstract

【課題】ディープ・ニューラル・ネットワーク（ＤＮＮ）の故障モードで効果的に動作するようにトレーニングされたパッチ・ニューラル・ネットワーク（ＰＮＮ）を配備することによる、ＤＮＮの故障モードの迅速な解決を提供する。【解決手段】ＰＮＮは、ＤＮＮと同じ又は付加的データに作用し、ＤＮＮの故障モードに対処するＤＮＮを使用して生成されたものに加えて新しい信号を生成する。融合機構は、ＤＮＮ／ＰＮＮの組合せの所与のインスタンスにどの出力が依拠するかを決定するために使用される。結果として、ＤＮＮの故障モードは、ＤＮＮの最小限の非アクティブ化若しくは停止時間、ＤＮＮを使用して制御される特徴、及び／又は全体としての半自律又は自律機能性を必要とするタイムリーな方式で対処される。【選択図】図１Ａ

Description

自律型車両及び半自律型車両は、ディープ・ニューラル・ネットワーク（ＤＮＮ：ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を活用して動作中の様々なタスク－たとえば、制限なしに、物体の検出、分類、及び／若しくは追跡、進路プランニング、制御決定、障害物回避、並びに／又は他の運転関連タスク－の実行を助ける。自律及び半自律運転操作の安全重視の特質により、これらのＤＮＮは、正確及び精密でなければならないが、操作可能な車両における配備の前に広範囲の検証及び検査も受けなければならない。たとえば、ＤＮＮのトレーニング、検査、及び検証には、場合によっては－特に、規制及び／又は相手先商標製品製造会社（ＯＥＭ：ｏｒｉｇｉｎａｌ ｅｑｕｉｐｍｅｎｔ ｍａｎｕｆａｃｔｕｒｅｒ）要件が満たされなければならない場合には－６カ月から１年以上を要する。たとえば、ＯＥＭは、再トレーニングされたＤＮＮが、たとえばＤＮＮの検査中に数千マイルにわたって、観測されるシステムのビヘイビアの変化をもたらさないことを要求することがある。この非常に長いスケジュールは、車両の自律機能性に関わる安全上の注意による消費者の期待するターンアラウンド・タイムとは正反対にある。たとえば、消費者は、半自律又は自律特徴を使用して車両を操作して快適に感じるためには、故障モードが数時間又は数日以内に対処されることを期待し得る。

従来の手法は、ＤＮＮの故障モードに対応するトレーニング・データ・インスタンスを含む付加的トレーニング・データを使用してＤＮＮを再トレーニングすることによって、この問題に対処する。この再トレーニング及び検証期間中－たとえば、６カ月から１年以上－ＤＮＮは、故障モードがまだ存在する状態で動作させられ得る又はＤＮＮの非アクティブ化をもたらし得、その特徴は、ＤＮＮ、及び／又は全体としての半自律若しくは自律機能性を使用して制御される。しかしながら、これらの再トレーニングされたＤＮＮが使用される場合でも、再トレーニングされたＤＮＮは、トレーニング、検査、又は検証中に識別されなかった新しい又は付加的故障モードに悩まされ得る。たとえば、識別された故障モードに対処するための再トレーニング中に、検査、トレーニング、及び検証中には具体化しなかった新しい故障モード－たとえば、予想しない物体タイプ又は道路プロファイル又は姿勢タイプ、ある種の気象条件の影響などによる－が、表面化し得る。それぞれの新しい故障モードは、次いで、車両の１つ又は複数の特徴が延長された期間にわたって使用不可能である結果をもたらし得るカスケード効果を生み出し－それによって、否定的なユーザ体験及び潜在的には消費者による製品への信頼の欠如を引き起こし－、ＤＮＮが再トレーニングされることを必要とする。そのようなものとして、これらの再検証手法は、長期にわたり、費用がかかり、運転可能な環境に配備されたＤＮＮの故障モードのパッチのためには一般的に実行不可能である。

米国特許出願第１６／１０１，２３２号

本開示の実施例は、ディープ・ニューラル・ネットワーク（ＤＮＮ）のためのパッチのトレーニング及び配備に関する。ＤＮＮの配備される動作中に発見されたＤＮＮ故障モードの迅速な解決を可能にするシステム及び方法について、開示する。たとえば、故障モードが実現されるたびにＤＮＮを再トレーニング、再検査、及び再検証することに加えて又はその代わりに、故障モードのＤＮＮで効果的に動作するようにトレーニングされた１つ又は複数のパッチ・ニューラル・ネットワーク（ＰＮＮ：ｐａｔｃｈ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）が、ＤＮＮに要求せずに故障モードに対処する－少なくとも一時的に－ように配置され得、特徴は、ＤＮＮ、及び／又は非アクティブ化されることになる全体としての半自律又は自律機能性を使用して制御される。結果として、ＤＮＮ又はシステムの他の部分の停止時間は、従来のシステムと比較して、劇的に減らされ得る。加えて、ＰＮＮの配備中、ＤＮＮの更新バージョンは、車両における配備より前にトレーニング、試験、及び検証され得、その時点で、ＤＮＮの故障モードに対処するために使用される特定のＰＮＮは、もはや必要とされなくなり得る。

ＰＮＮは、ＤＮＮと同じ又は付加的データに作用し得、ＤＮＮを使用して生成されたものに加えて新しい信号を生成し得る。たとえば、実施例において、ＰＮＮは、ＤＮＮの故障モードに対処する出力を生成する－ＤＮＮと類似の又は同じ出力タイプを計算することに加えて－ようにトレーニングされ得る。融合機構が、ＤＮＮ及びＰＮＮの出力を評価するために及び／又はＤＮＮ／ＰＮＮの組合せの所与のインスタンスについてどの出力に依拠すべきかを決定するための付加的基準を評価するために、使用され得る。トレーニング中、ＰＮＮのパラメータ（たとえば、重み及びバイアス）は、ＤＮＮの故障モードに対処するために選択される新しいトレーニング・データに加えたＤＮＮをトレーニングするために使用される初期トレーニング・データの組合せを使用して、トレーニングされ得る。ＰＮＮの新しい又は更新された出力に加えてＤＮＮの出力をＰＮＮが再作成することを可能にしながら、ＤＮＮの初期性能が維持されるように、ＤＮＮのパラメータは、ＤＮＮのトレーニング中、固定又は凍結され得る。ＰＮＮの導入は、入力データを処理するために必要とされるＰＮＮの付加的ノード及び／又は層により、付加的計算を必要とし得る。そのようなものとして、ＰＮＮは、層全体及び／又は層のノードを取り除いてシステムへのＰＮＮの計算及びレイテンシの影響を減らすために、トレーニング中に枝刈りを受け得る。

いくつかの実施例において、トレーニングされた後、ＰＮＮ及び／又は融合機構は、
消費者車両に無線で（ＯＴＡ：ｏｖｅｒ ｔｈｅ ａｉｒ）プッシュされ得、受動又は非アクティブ・モードで実行され得、そこでは、コードは、実行されるが、作動又は作用させられない。この（たとえば、受動）モード中に記録されたデータは、ＰＮＮ及び／若しくは融合機構の性能を検証するために、又はどこで付加的トレーニングが必要とされるかを指示するために、評価され得る。そのようなものとして、システム内のＰＮＮ機能性のトレーニング及び検証は、配備されたＤＮＮを既に実行している車両の消費者フリート（ｃｏｎｓｕｍｅｒ ｆｌｅｅｔ）を活用することによって、促進され得る－それによって、ＰＮＮの厳しい検査及び検証標準に加えて消費者の高速ターンアラウンド・タイム期待値を満たす可能性を高める。

ディープ・ニューラル・ネットワーク（ＤＮＮ）のパッチのトレーニング及び配備のための本システム及び方法について、添付の図面を参照して、以下に詳しく説明する。

本開示のいくつかの実施例による、配備中にパッチ・ニューラル・ネットワーク（ＰＮＮ）を実行するための例示的プロセスを示すデータ流れ図である。 本開示のいくつかの実施例による、図１Ａのプロセス内で入力データを処理するための例示的ディープ・ニューラル・ネットワーク（ＤＮＮ）及びＰＮＮアーキテクチャを示す図である。 本開示のいくつかの実施例による、ＤＮＮ、ＰＮＮ、又はその組合せの例示的層実装形態を示す図である。 本開示のいくつかの実施例による、結合されたＰＮＮ及びＤＮＮの例示的アーキテクチャを示す図である。 本開示のいくつかの実施例による、結合されたＰＮＮ及びＤＮＮの例示的アーキテクチャを示す図である。 本開示のいくつかの実施例による、ＰＮＮの選択的アクティブ化を有するＤＮＮ及びＰＮＮアーキテクチャの実例を示す図である。 本開示のいくつかの実施例による、ＰＮＮの選択的アクティブ化を有するＤＮＮ及びＰＮＮアーキテクチャの実例を示す図である。 本開示のいくつかの実施例による、配備中にＰＮＮを実行するための方法を示す流れ図である。 本開示のいくつかの実施例による、例示的自律型車両のイラストレーションである。 本開示のいくつかの実施例による、図５Ａの例示的自律型車両のカメラ位置及び視野の実例である。 本開示のいくつかの実施例による、図５Ａの例示的自律型車両の例示的システム・アーキテクチャのブロック図である。 本開示のいくつかの実施例による、クラウドベースのサーバと図５Ａの例示的自律型車両との間の通信のシステム図である。 本開示のいくつかの実施例の実装において使用するのに適した例示的コンピューティングデバイスのブロック図である。 本開示のいくつかの実施例の実装において使用するのに適した例示的データ・センタのブロック図である。

ディープ・ニューラル・ネットワーク（ＤＮＮ）のパッチのトレーニング及び配備に関するシステム及び方法について、開示する。本開示は、例示的自律型車両５００（本明細書で別法として「車両５００」又は「エゴ車両５００」と称され、その実例は図５Ａ～５Ｄを参照して説明される）に関して説明されることがあるが、これは限定を意図していない。たとえば、本明細書に記載のシステム及び方法は、制限なしに、非自律型車両、半自律型車両（たとえば、１つ又は複数の適応型運転者支援システム（ＡＤＡＳ：ａｄａｐｔｉｖｅ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）における）、操縦される若しくは操縦されないロボット若しくはロボット・プラットフォーム、倉庫車両、オフロード車両、１つ又は複数のトレーラに連結された車両、飛行船舶、ボート、シャトル、緊急対応車両、オートバイ、電気若しくは原動機付自転車、航空機、建設車両、潜水艦、ドローン、及び／又は他の車両タイプによって使用され得る。加えて、本開示は、半自律又は自律マシン機能性に関して説明されることがあるが、これは限定を意図しておらず、本明細書に記載のシステム及び方法は、拡張現実、仮想現実、複合現実、ロボット工学、セキュリティ及び監視、自律若しくは半自律マシン・アプリケーション、医用画像アプリケーション、言語処理アプリケーション、スマート・ホーム・アプリケーション、深層学習アプリケーション、及び／又は、ニューラル・ネットワーク若しくは他のタイプのマシン学習モデルが使用され得る、任意の他の技術空間において使用され得る。

図１Ａを参照すると、図１Ａは、本開示のいくつかの実施例による、配備中のパッチ・ニューラル・ネットワーク（ＰＮＮ）１０４Ｂを実行するための例示的プロセスを示すデータ流れ図である。本明細書に記載のこの及び他の配置は、単に実例として説明されていることを理解されたい。他の構成及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ化など）が、図示されたものに加えて又はそれらの代わりに使用され得、いくつかの要素は、完全に省略され得る。さらに、本明細書に記載の要素の多数は、個別の若しくは分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能は、メモリに記憶された命令を実行するプロセッサによって実施され得る。いくつかの実施例において、ディープ・ニューラル・ネットワーク（ＤＮＮ）１０４（たとえば、ＰＮＮ１０４Ｂ及び／又はベースＤＮＮ１０４Ａを含む）のトレーニング及び／又は配備は、図５Ａ～５Ｄの車両５００、図６の例示的計算デバイス６００、及び／又は図７の例示的データ・センタ７００に関して本明細書で説明されるのと類似の構成要素、特徴、及び／又は機能性を使用して、少なくとも部分的に、実行され得る。ＤＮＮ１０４は、結合されたＤＮＮ１０４－たとえば、ベースＤＮＮ１０４Ａ及びＰＮＮ１０４Ｂの組合せを含む－と本明細書で称され得る。

プロセス１００は、１つ又は複数のソース（たとえば、車両５００のセンサ、ロボット、ＶＲ、ＡＲ、若しくは複合現実システム、医用画像デバイス、音声処理のためのデバイスのマイクロフォン、及び／又は別のソース・タイプ）から入力データ１０２を生成及び／又は受信することを含み得る。いくつかの実施例において、入力データ１０２（別法として「センサ・データ１０２」と称される）は、非限定的実例として、車両（たとえば、本明細書に記載の図５Ａ～５Ｄの車両５００）の１つ又は複数のセンサから、受信され得る。センサ・データ１０２は、任意の数の動作－たとえば、物体検出、分類、及び／又は追跡、進路プランニング、制御動作、交差点構造検出、道路レイアウト決定、マッピング及びローカリゼーションなど－を実行するために、１つ又は複数のベースＤＮＮ１０４Ａ及び／又は１つ又は複数のＰＮＮ１０４Ｂのトレーニング及び／又は配備中に、プロセス１００内で、車両５００によって、使用され得る。トレーニング中、センサ・データ１０２は、ＤＮＮ、たとえば、ＤＮＮ１０４、をトレーニングするためのセンサ・データを生成する１個若しくは複数のデータ収集車を使用して生成され得る、及び／又は事前に生成され、トレーニング・データ・セットに含まれ得る。トレーニング中に使用されるセンサ・データ１０２は、追加で又は別法として、シミュレーションされたセンサ・データ（たとえば、仮想環境において仮想車両の１個又は複数の仮想センサを使用して生成されるセンサ・データ）及び／又は拡張センサ・データ（たとえば、それぞれ、１個又は複数のデータ収集車を使用して生成された及び仮想データで修正されたセンサ・データ）を使用して生成され得る。車両５００においてトレーニング及び配備された後は、センサ・データ１０２は、本明細書に記載のように、車両５００の１個又は複数のセンサによって生成され得、様々な出力１０６を計算するためにＤＮＮ１０４によって処理され得る。

ＰＮＮ１０４Ｂのトレーニング中など、いくつかの実施例において、トレーニング・センサ・データは、ＰＮＮ１０４Ｂが対処するようにトレーニングされたベースＤＮＮ１０４Ａの１つ又は複数の故障モードを説明するようにベースＤＮＮ１０４Ａをトレーニングするために使用されるそれ以上の追加及び／又は代替トレーニング・データを含み得る。たとえば、エンド・ユーザの製品又はシステムにおけるベースＤＮＮ１０４Ａの故障モードが、識別され得、故障モードをもたらした入力データ１０２が、収集され、ＰＮＮ１０４Ｂをトレーニングするために使用され得る。いくつかの実施例において、ベースＤＮＮ１０４Ａ及び／又はＰＮＮ１０４Ｂのシャドウ・モードは、ベースＤＮＮ１０４Ａが故障を経験した場合及び／又はＰＮＮ１０４Ｂの出力１０６がより信頼できる若しくは正確であると判定された場合に入力データ・インスタンスを識別するために使用され得る。ベースＤＮＮ１０４Ａの故障モードに対応するこれらの識別された入力データ・インスタンスはまた、１つ又は複数のデータ集合体車両から、車両の消費者フリートから、及び／又はシミュレーション環境内の付加的トレーニング入力データの集合体を導くために使用され得る（たとえば、ベースＤＮＮ１０４Ａが、電動スクータに関する故障モードを有する場合、ＰＮＮ１０４Ｂをトレーニングするための合成トレーニング・データ・インスタンスを生成するために、電動スクータを含んで、シミュレーションが実行され得る）。

したがって、センサ・データ１０２は、たとえば及び図５Ａ～５Ｃを参照すると、ＲＡＤＡＲセンサ５６０、超音波センサ５６２、ＬＩＤＡＲセンサ５６４、ステレオ・カメラ５６８、ワイドビュー・カメラ５７０（たとえば、魚眼カメラ）、赤外線カメラ５７２、サラウンド・カメラ５７４（たとえば、３６０度カメラ）、長距離及び／若しくは中範囲カメラ５７８、マイクロフォン５９６、ＩＭＵセンサ５６６、ＧＮＳＳセンサ５５８、速度センサ５４４、並びに／又は他のセンサ・タイプを含む車両５００のセンサのいずれかからのセンサ・データ１０２を含み得るが、これらに限定されない。別の実例として、センサ・データ１０２は、仮想（たとえば、試験）環境内の仮想車両又は他の仮想物体の任意の数のセンサから生成された仮想（たとえば、シミュレーションされた又は拡張）センサ・データを含み得る。そのような一実例において、仮想センサは、シミュレーションされる環境（たとえば、ＤＮＮパフォーマンスを試験、トレーニング、及び／又は検証するために使用される）内の仮想車両又は他の仮想物体に対応し得、仮想センサ・データは、シミュレーションされた又は仮想環境内の仮想センサによってキャプチャされたセンサ・データを表し得る。そのようなものとして、仮想センサ・データを使用することによって、本明細書に記載のＤＮＮ１０４は、そのような試験の安全性は低くなり得る、現実世界環境外のより極端なシナリオの試験を可能にし得る、シミュレーション環境におけるシミュレーション又は拡張データを使用して、試験、トレーニング、及び／又は検証され得る。

いくつかの実施例において、センサ・データ１０２は、画像を表す画像データ、ビデオを表す画像データ（たとえば、ビデオのスナップショット）、及び／又はセンサの知覚フィールドの表現を表すセンサ・データ（たとえば、ＬＩＤＡＲセンサの深度図、超音波センサの値グラフなど）を含み得る。センサ・データ１０２が、画像データを含む場合、たとえば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）若しくは輝度／クロミナンス（ＹＵＶ：Ｌｕｍｉｎａｎｃｅ／Ｃｈｒｏｍｉｎａｎｃｅ）フォーマットなどの圧縮画像、Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）若しくはＨ．２６５／ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などの圧縮ビデオ・フォーマットから生じるフレームのような圧縮画像、ＲＣＣＢ（Ｒｅｄ Ｃｌｅａｒ Ｂｌｕｅ）、ＲＣＣＣ（Ｒｅｄ Ｃｌｅａｒ）、若しくは他のタイプの画像センサなどに由来するものなどの未加工画像、及び／又は他のフォーマットを含むがこれらに限定されない、任意のタイプの画像データ・フォーマットが、使用され得る。加えて、いくつかの実例において、センサ・データ１０２は、前処理なしに（たとえば、未加工の又はキャプチャされたフォーマットにおいて）プロセス１００内で使用され得るが、他の実例において、センサ・データ１０２は、前処理（たとえば、ノイズ・バランシング、デモザイク処理、スケーリング、クロップ、拡張、ホワイト・バランシング、トーン・カーブ調整など、たとえば、センサ・データ・プリプロセッサ（図示せず）を使用する）を受け得る。本明細書では、センサ・データ１０２は、未処理のセンサ・データ、前処理されたセンサ・データ、又はその組合せを指し得る。

ベースＤＮＮ１０４Ａ及び／又はＰＮＮ１０４Ｂをトレーニングするために使用される入力データ１０２は、初期の入力データ（たとえば、１つ又は複数の画像センサによってキャプチャされるものとしての）、ダウンサンプリングされた入力データ、アップサンプリングされた入力データ、クロップされた若しくは関心領域（ＲＯＩ：ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）の入力データ、他の方法で拡張された入力データ、及び／又はその組合せを含み得る。ＤＮＮ１０４が許容又は最適レベルの正確性に収束するまで、ＤＮＮ１０４は、１つ又は複数の損失関数を使用し、入力データ１０２並びに対応するグラウンド・トゥルース・データを使用して、トレーニングされ得る。

ＤＮＮ１０４－たとえば、ベースＤＮＮ１０４Ａ及び／又はＰＮＮ１０４Ｂ－が車両５００以外で実装される、実施例において、入力データ１０２は、ＤＮＮが処理する能力を有し得る、任意のタイプのデータを含み得る。たとえば、入力データ１０２は、オーディオ・データ（たとえば、スペクトログラム）、画像データ、テキスト・データ、位置データ、センサ・データ（たとえば、ＬｉＤＡＲセンサ、ＲＡＤＡＲセンサなどからの）、及び／又はＤＮＮによって処理するための適切なフォーマットで（たとえば、入力ベクトル又はテンソルとして）表すことができる他のデータ・タイプを含み得る。

入力データ１０２は、１つ又は複数のＤＮＮ１０４－ベースＤＮＮ１０４Ａ及びＰＮＮ１０４Ｂを含み得る－に適用され得る。たとえば、ベースＤＮＮ１０４Ａは、１つ又は複数の故障モードを有した－配備後又は動作中に－初期の又は前にトレーニングされたＤＮＮを含み得る。たとえば、物体検出に関して、ベースＤＮＮ１０４Ａが交通弱者（ＶＲＵ：ｖｕｌｎｅｒａｂｌｅ ｒｏａｄ ｕｓｅｒ）を識別するようにトレーニングされた場合に、故障モードは生じ得る。そのような一実例において、配備された後には、スクータ－たとえば、電動スクータ－に乗った人を含むＶＲＵに直面したとき、ベースＤＮＮ１０４Ａは、十分正確ではないと判定され得る。そのようなものとして、ＰＮＮ１０４Ｂは、専用電動スクータ検出器としてトレーニングされ得る。別の実例として、たとえば、ベースＤＮＮ１０４Ａの出力に基づいて車両５００が横断するのが困難な道路の特定の区間のパッチ適用に関して、ＰＮＮ１０４Ｂは、その道路の特定の区間及び／又はその道路の特定の区間に類似する複数の道路区間に対処するようにトレーニングされ得る。そのようなものとして、既存の信号１１２が、たとえば、車両６００がその道路の区間にある又はそこに近づいていることを示す、マッピング又はナビゲーション・システムから受信され得るとき、ＰＮＮ１０４Ｂの出力は、ベースＤＮＮ１０４Ａの不正確性又は故障モードを説明するために使用され得る。さらなる一実例として、物体分類に関して、車両分類器としてトレーニングされたベースＤＮＮ１０４Ａは、正確に新しい乗用車モデル－たとえば、未来の出現するトラック－を分類するのに困難なときを有し得る。この実例では、ＰＮＮ１０４Ｂは、新しい乗用車モデルを正確に分類するようにトレーニングされ得る。

実例が、ＤＮＮ１０４としてのニューラル・ネットワークの使用に関して、本明細書で説明されているが、これは限定を意図していない。たとえば、そして制限なしに、本明細書に記載のＤＮＮ１０４は、任意のタイプのマシン学習モデル、たとえば、線形回帰、ロジスティック回帰、決定木、サポート・ベクトル・マシン（ＳＶＭ：ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）、ナイーブ・ベイズ、ｋ近傍法（Ｋｎｎ：ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）、Ｋ平均クラスタリング、ランダム・フォレスト、次元縮小アルゴリズム、勾配ブースティング・アルゴリズム、ニューラル・ネットワーク（たとえば、オートエンコーダ、畳み込み、再発、パーセプトロン、長／短期メモリ（ＬＳＴＭ：Ｌｏｎｇ／Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）、ホップフィールド、ボルツマン、ディープ・ビリーフ、デコンボリューション、敵対的生成、液体状態マシンなど）を使用するマシン学習モデル、及び／又は他のタイプのマシン学習モデル、を含み得る。ＰＮＮ１０４Ｂは、ベースＤＮＮ１０４Ａと同タイプのＤＮＮを含み得る、又は異なるタイプのＤＮＮを含み得る。

ベースＤＮＮ１０４Ａは、トレーニング・データ・セットでトレーニング、試験、及び検証され得、検証された後には、車両５００において使用するために配備され得る。故障モードが識別されると、ＰＮＮ１０４Ｂは、実施例では、ベースＤＮＮ１０４Ａの故障モードを説明するために生成又は取得された追加又は代替トレーニング・データとともにベースＤＮＮ１０４Ａをトレーニングするために使用されるトレーニング・データ・セットからのトレーニング・データの一部又はすべてを、使用するトレーニングを受けることによって、ベースＤＮＮ１０４Ａの故障モードを直す又は説明するようにトレーニングされ得る。ＰＮＮ１０４Ｂのトレーニング中、ベースＤＮＮ１０４Ａのパラメータ（たとえば、重み及びバイアス）は、ベースＤＮＮ１０４Ａがそれの前の検証状態から変更されないように、固定され得る。加えて、ベースＤＮＮ１０４ＡがＰＮＮ１０４Ｂの層又はノードの出力を処理しないように、ＰＮＮ１０４Ｂのノードの出力とベースＤＮＮ１０４Ａのノードの入力との関係は、固定又は０に設定され得る。これに対して、ベースＤＮＮ１０４Ａのノードの出力とＰＮＮ１０４Ｂのノードの入力との関係に関連するパラメータは、ＰＮＮ１０４Ｂが、ＰＮＮ１０４Ｂのノード又は層に加えてベースＤＮＮ１０４Ａのノード又は層の出力を処理するように、トレーニングされ得る。

たとえば、図１Ｂに示すように、入力データ１０２は、ベースＤＮＮ１０４ＡとＰＮＮ１０４Ｂとの両方の層１２６（たとえば、入力層１２６Ａ－１及び１２６Ｂ－１）に適用され得、ベースＤＮＮ１０４Ａの層１２６Ａの出力は、次の層１２６Ａの入力及びＰＮＮ１０４Ｂの次の層１２６Ｂの入力に渡され得、その一方で、ＰＮＮ１０４Ｂの層１２６Ｂの出力は、ＰＮＮ１０４Ｂの次の層１２６Ｂの入力のみに渡され得る。図１ＢのＤＮＮ／ＰＮＮの組合せの拡大図が、図２Ａに示されている。そのような一実例において、ベースＤＮＮ１０４Ａの完全性は、保持され得、その一方で、ＰＮＮ１０４Ｂは、ベースＤＮＮ１０４Ａの故障モードのみに対処し得る。ＰＮＮ１０４Ｂは、実施例において、ベースＤＮＮ１０４Ａの出力１０６Ａ及び／又はベースＤＮＮ１０４Ａのそれら以上の追加又は代替出力１０６Ｂのそれぞれを予測することができる。たとえば、ベースＤＮＮ１０４Ａが、車両クラス及び自転車乗用者クラスの信頼性値を計算するようにトレーニングされる場合、ＰＮＮ１０４Ｂは、ＰＮＮ１０４Ｂの車両クラス、自転車乗用者クラス、及び付加的クラス－たとえば、電動スクータ・クラス－の信頼性値を計算するようにトレーニングされ得る。そのようなものとして、融合機構１０８が、ＰＮＮ１０４Ｂの出力１０６Ｂは所与の反復又は時間ステップのために使用されるべきであることを示す場合、出力１０６Ｂは、ベースＤＮＮ１０４Ａのそれら及びＰＮＮ１０４Ｂのそれらを含み得る。そのような一実例において、ＰＮＮ１０４Ｂの付加的な、修正された、又は代替の出力は、依拠されるべきであるが、融合機構１０８が、ＰＮＮ１０４Ｂの出力１０６ＢにベースＤＮＮ１０４Ａの出力のインスタンスを含むことによって、所与の反復又は時間ステップについて依拠するための誤った出力を指示したインスタンスでは、融合された出力１１４は、まだ正確になり得る（たとえば、融合機構１０８が、所与の反復のためにベースＤＮＮ１０４Ａを適切に選択した場合、融合された出力１１４は、ベースＤＮＮ１０４Ａの出力１０６Ａをまだ反映し得る）。そのようなものとして、更新されたベースＤＮＮ１０４Ａが、完全な再検証プロセスを受けるまで、ＰＮＮ１０４Ｂは、規制機関及び／又はＯＥＭの検査及び検証要件により、ベースＤＮＮ１０４Ａの故障モードのみについて実装され得る、より優れた－故障モードが補正された－バージョンのベースＤＮＮ１０４Ａを実行するようにトレーニングされ得る。

しかしながら、いくつかの実施例において、ＰＮＮ１０４Ｂは、ベースＤＮＮ１０４Ａの出力１０６Ａに関して固有の出力１０６Ｂを計算するようにトレーニングされ得る。さらに、図２Ｂ及び３Ａに関して本明細書で説明されるものなどの、実施例において、単一出力が、ベースＤＮＮ１０４Ａ（たとえば、ＰＮＮ１０４Ｂが、融合機構１０８の決定に基づいて、選択的にオフにされる又は他の方法で非アクティブ化される場合）又はベースＤＮＮ１０４Ａ及びＰＮＮ１０４Ｂの組合せ（たとえば、ＰＮＮ１０４Ｂが、融合機構１０８の決定に基づいて、選択的にオンにされる又は他の方法でアクティブにされる場合）を使用して、計算され得る。

図１Ｂ、２Ａ～２Ｂ、及び３Ａ～３Ｂの図は、ベースＤＮＮ１０４Ａの各層１２６Ａに対応するＰＮＮ１０４Ｂの層１２６Ｂを含むが、これは限定を意図していない。たとえば、ベースＤＮＮ１０４Ａの各層１２６Ａは、対応する層１２６ＢをＰＮＮ１０４Ｂに有さなくてもよい。そのようなものとして、ベースＤＮＮ１０４Ａの１つ又は複数の最初の層１２６Ａは、ＰＮＮ１０４Ｂの対応する層１２６Ｂを含まなくてもよく、ＰＮＮ層１２６Ｂは、ベースＤＮＮ１０４Ａの層１２６Ａのシーケンスに沿った何らかのポイントで開始し得る。非限定的実例として、ベースＤＮＮ１０４Ａの特徴抽出器層１２６Ａ－たとえば、特徴マップを計算するベースＤＮＮ１０４Ａの層１２６Ａ－は、ＰＮＮ１０４Ｂの対応する層１２６ＢがＰＮＮ１０４Ｂの出力１０６Ｂの計算において正確に使用されることを必要としないということが決定され得る。そのようなものとして、ＰＮＮ１０４Ｂの層１２６Ｂは、ベースＤＮＮ１０４Ａの特徴抽出器層１２６Ａの後まで含まれなくてもよい。ＰＮＮ層が導入された後は、結合されたベースＤＮＮ／ＰＮＮネットワークの各次の層は、ＰＮＮ層１２６ＢとベースＤＮＮ層１２６Ａとの両方を含み得る。

図１Ｃを参照すると、図１Ｃは、ベースＤＮＮ１０４Ａ及びＰＮＮ１０４Ｂの様々な層の実装形態を示す。図１Ｃの各図は、入力層、出力層、又は入力層と出力層との間の層でもよい、単一層に対応する。たとえば、ベースＤＮＮ実装形態１２０は、入力（たとえば、ベクトル又はテンソル）、Ｘ、１２４Ａ（たとえば、ベースＤＮＮ１０４Ａの入力層１２６Ａへの入力データ１０２に対応する入力又はベースＤＮＮ１０４Ａの前の層１２６Ａからの入力）を受信する及び出力（たとえば、ベクトル又はテンソル）、Ｙ、１２８Ａを計算するベースＤＮＮ１０４Ａの単一層１２６Ａ－たとえば、重み、Ｗ、を有する－の一実装形態を示す。この層１２６Ａの重み、Ｗ、（及び／又は他のパラメータ）は、車両５００におけるベースＤＮＮ１０４Ａの配備より先に前もってトレーニングされ得る。

ＤＮＮ実装形態１２２Ａ（たとえば、結合されたベースＤＮＮ／ＰＮＮ実装形態）は、入力、Ｘ、１２４Ａを受信する及び出力、Ｙ、１２８Ａを計算するベースＤＮＮ１０４Ａの単一層１２６Ａ－たとえば、重み、Ｗ、を有する－と、入力、Ｘ、１２４Ａ及び入力、Ｘ’、１２４Ｂを受信する及び出力、Ｙ’、１２８Ｂを計算するＰＮＮ１０４Ｂの単一層１２６Ｂ－たとえば、重み、Ｗ’、を有する－との一実装形態を示す。そのようなものとして、マトリックス乗算動作による２つの別個のベクトル又はテンソルが、実行され得る。ＰＮＮ１０４Ｂの層１２６ＢがベースＤＮＮ１０４Ａの第１の又は入力層に対応する場合など、いくつかの実例において、Ｘ’入力は、ベースＤＮＮ１０４Ａへの入力として提供されるもの以外の付加的入力データ１０２を含み得る。たとえば、ベースＤＮＮ１０４Ａの入力データ１０２は、画像を含み得、ＰＮＮ１０４Ｂの入力データ１０２は、画像及び／又は別の入力タイプ、たとえば、別の画像、異なるセンサ（たとえば、速度センサ、位置センサなど）からの信号、及び／又は別の入力データ・タイプ、を含み得る。ＰＮＮ１０４Ｂの層１２６Ｂが入力層以外の層又はベースＤＮＮ１０４Ａの第１の層に対応する場合など、他の実例において、Ｘ’入力は、ＰＮＮ１０４Ｂの前の層１２６ＢのＹ’出力に対応し得る。たとえば、第１のＰＮＮ層１２６Ｂが導入された後は、第１のＰＮＮ層１２６Ｂは、ベースＤＮＮ層１２６Ａとは異なる出力、Ｙ’、を出力し得、したがって、次のＰＮＮ層１２６Ｂは、Ｘ’入力としてＹ’出力を受信し得る。そのようなものとして、ＰＮＮ層１２６Ｂは、入力、Ｘ’、に加えてベースＤＮＮ層１２６Ａが受信する入力、Ｘ、を受信し得る。

ＤＮＮ実装形態１２２Ａ（たとえば、結合されたベースＤＮＮ／ＰＮＮ実装形態）は、対応する追加の層１２６Ｂを既存の層１２６Ａに追加することを含む。実装形態１２２Ａのそれらに類似の個別の層を使用するＰＮＮ１０４Ｂは、比較的小さくてもよく、Ｘ及びＸ’の入力連結と出力Ｙ’とを受信し得る。トレーニング・プロセス中に、パッチ層１２６Ｂのみが、トレーニングされ得る。

ＤＮＮ実装形態１２２Ｂは、ベースＤＮＮ１０４Ａの層１２６ＡとＰＮＮ１０４Ｂの層１２６Ｂとの両方を説明する拡張層を含む単一結合層１２６Ｃ－ノードの出力若しくはＰＮＮ１０４Ｂの値とノードへの入力若しくはベースＤＮＮ１０４Ａの値との関係に対応する重み、Ｗ、Ｗ’、及びゼロ１３２、を有する－の例示的実装形態を示す。そのようなものとして、結合された層１２６は、Ｘ及びＸ’を表す連結入力（たとえば、ベクトル又はテンソル）１２４Ａ及び１２４Ｂを受信することができ、Ｙ及びＹ’を表す連結出力（たとえば、ベクトル又はテンソル）１２８Ａ及び１２８Ｂを出力することができる。ゼロ１３２は、Ｘ及びＸ’を含む連結入力のそれとマッチするために、ベースＤＮＮ１０４Ａの初期の層１２６Ａの次元性を増やすことができ、追加の入力Ｘ’と初期の出力Ｙとの関係の重みを表すことができる。そのようなものとして、マトリックス乗算動作による単一ベクトル又はテンソルが、実行され得るが、結果は、ＤＮＮ実装形態１２２Ａを使用することと同じになり得る。

トレーニング・プロセス中、ＰＮＮ１０４Ｂに対応する重み、Ｗ’、のサブセットのみが、トレーニングされ得る。初期の出力、Ｙ、を変わらずに保つために、追加の入力Ｘ’と初期の出力Ｙとのすべての関係が、取り除かれる（たとえば、それらの関係の重みは、ゼロに設定及び維持される）。

実装形態１２２Ａ及び１２２Ｂは、結果として生じるＤＮＮ機能性に関して同等になり得る。加えて、Ｗ’は、両方の実装形態において同じになり得るので、２つのバージョンの間の単純な移行が、実現され得る。たとえば、第１の実装形態１２２Ａは、重みＷ’をトレーニングするために使用され得、第２の実装形態１２２Ｂは、ＤＮＮ１０４の配備において使用され得る。実装形態１２２Ａの利点は、すべての層のＸ入力が、初期のベースＤＮＮ１０４Ａを使用して、事前計算され得、ＰＮＮ１０４Ｂのみが、トレーニング中に考慮され得る－たとえば、層１２６Ｂは、ベースＤＮＮ１０４Ａの層１２６Ａとは別個なので－ということである。これは、ＰＮＮ１０４Ｂのトレーニング・プロセスを増やし得るが、追加のストレージ及び帯域幅を必要とし得る。加えて、層は個別なので、層の最適化は、効果が弱くなり得、それによって、実装形態１２２Ｂが用いられるときより潜在的に遅い推論をもたらす。第２の実装形態１２２Ｂの利点は、最適化ツール（たとえば、ＮＶＩＤＩＡのＴｅｎｓｏｒＲＴ最適化ツール）との互換性を含む。たとえば、新しい又は付加的層は追加されない－たとえば、既存の層のみが拡張される－ので、モデル推論との最適化問題は少ない。実装形態１２２Ｂの不利点は、ゼロ値化された重みを記憶するための要件（たとえば、モデル・サイズへの最小限の増加）と、結合されたＰＮＮノード及びベースＤＮＮノードを含むＤＮＮ全体がＰＮＮ１０４Ｂのトレーニングにおいて使用される必要があること（実装形態１２２Ａを使用して重みＷ’をトレーニングすること及びそれらを実装形態１２２Ｂに変換することによって克服され得る）である。

任意の実例において、ＰＮＮ１０４Ｂがトレーニングされた後は、１つ又は複数の枝刈り動作が、正確な出力１０６Ｂの計算において不必要なＰＮＮ１０４Ｂの層又はノードを取り除くために、実行され得る。たとえば、低レベルの特徴抽出器層は、パッチを適用される必要はない可能性があり、したがって、ベースＤＮＮ１０４Ａの低レベルの特徴抽出器層１２６Ａに対応するＰＮＮ層１２６Ｂが、取り除かれ得る－又はそのノードが、層１２６Ｂのサイズを減らすために、取り除かれ得る。そのようなものとして、トレーニング中、様々な枝刈り動作の前及び後の出力が、ＰＮＮ１０４Ｂのサイズ及び正確性のトレードオフを決定するために、比較され得る。

いくつかの実例において、２つ以上のＰＮＮ１０４Ｂが、ベースＤＮＮ１０４Ａにパッチを適用するようにトレーニングされ得る。たとえば、付加的故障モードが、第１のＰＮＮ１０４Ｂが配備された後に、表面化し得、別の又は代替ＰＮＮ１０４Ｂが、付加的及び／又は前の故障モードについてトレーニングされ得る。いくつかの実施例において、第２のＰＮＮ１０４Ｂは、新しい故障モードのパッチに加えて第１のＰＮＮ１０４Ｂのパッチを含み得る－ＰＮＮ１０４Ｂのスタッキングを回避するために。たとえば、既存のＰＮＮ１０４Ｂが、取り除かれ得、新しい又は更新されたＰＮＮ１０４Ｂが、両方の故障モードを説明するために、既存のＰＮＮ１０４Ｂに取って代わり得るように、第２のＰＮＮ１０４Ｂは、別の故障モードに加えて車両５００において配備された既存のＰＮＮ１０４Ｂの故障モードにパッチを適用するようにトレーニングされ得る。しかしながら、実施例において、２つ以上のＰＮＮ１０４Ｂが、単一ベースＤＮＮ１０４Ａにパッチを適用するために配備され得る。いくつかの実施例において、新しい又は更新されたＰＮＮ１０４Ｂが配備された後は、融合機構１０８はまた、更新を必要とし得る。たとえば、新しい又は更新されたゲーティングＮＮ１１０が、新しい又は更新されたＰＮＮ１０４Ｂを説明するためにトレーニングされ得る。

図１Ａを再び参照すると、融合機構１０８は、出力１０６－たとえば、ベースＤＮＮ１０４Ａからの出力１０６Ａ及びＰＮＮ１０４Ｂからの出力１０６Ｂ－を使用して、融合された出力１１４を決定することができる。たとえば、融合機構１０８は、出力１０６Ａ及び１０６Ｂからの値（たとえば、ＤＮＮ１０４が物体分類ＤＮＮである場合の物体タイプに対応する信頼性値）、１つ若しくは複数のゲーティングＮＮ１１０からの出力、及び／又は既存の信号１１２（たとえば、地理、気象、照明、又は他の情報に対応する）を使用して、出力１０６Ａ又は１０６Ｂのどちらが所与の反復に依拠するかを決定することができる。融合機構１０８は、ルールに基づく（たとえば、学習されたのではない）決定機構、学習された決定機構、又はその組合せでもよい。融合機構（たとえば、ベースＤＮＮ１０４Ａ及びＰＮＮ１０４Ｂの出力、既存の信号１１２、又はゲーティングＮＮ１１０からの信頼性）の選択は、ＰＮＮ１０４Ｂがそれについてトレーニングされた、ベースＤＮＮ１０４Ａの故障モード・タイプに基づき得る。ゲーティングＮＮ１１０が使用される場合、ゲーティングＮＮ１１０は、故障モード又はシナリオを検出するようにトレーニングされ得る。ゲーティングＮＮ１１０は、ベースＤＮＮ１０４Ａ及び／又はＰＮＮ１０４Ｂの入力データ１０２並びに、いくつかの実施例において、ＤＮＮ１０４の内部状態（図示せず）にアクセスすることができ得る。たとえば、ゲーティングＮＮ１１０は、２つのデータ・タイプを区別するために、両方の新しい故障モード・シナリオからのデータ並びに初期のデータを有する分類器としてトレーニングされ得る。ゲーティングＮＮ１１０－たとえば、特定のデータ・タイプを検出するためにのみトレーニングされた－の簡潔性により、ゲーティングＮＮ１１０は、少量のトレーニング・データのみに関する高性能を有してトレーニングするのが速い小さなネットワークとして実装され得る。

たとえば、ＰＮＮ１０４Ｂが、故障（たとえば、特定の交差点、出口ランプ、車道などに対処できないこと）に基づいて、位置についてトレーニングされる場合、既存の信号１１２が、使用され得る。たとえば、ＧＮＳＳデータは、ＰＮＮ１０４Ｂがパッチを適用するようにトレーニングされた、位置に車両５００が近づいている又はそこに位置するときに指示するために使用され得る。別の実例として、車両検出器は、その固有の又は異常な形状により、新モデル又は原型車両の検出に失敗し得る。このタイプの実例において、融合機構１０８は、ベースＤＮＮ１０４Ａ及びＰＮＮ１０４Ｂの出力からの信頼性を使用し得る、並びに／又は入力データ１０２（たとえば、実施例における、ベースＤＮＮ１０４Ａ及び／又はＰＮＮ１０４Ｂと同じ入力データ１０２）を分析する及びどの出力を使用するかを指示する２進出力を出力するゲーティングＮＮ１１０を使用することができる。たとえば、ＰＮＮ１０４Ｂの信頼性が、車両タイプに関して高く、ベースＤＮＮ１０４Ａの信頼性が、それのクラスのそれぞれについて低い場合、ＰＮＮ１０４Ｂの出力は、依拠され得る。別の実例として、ＰＮＮ１０４Ｂの出力が、所与の反復の融合された出力１１４として依拠され得るように、ゲーティングＮＮ１１０は、未来の車両が検出されるとき、「１」の値を出力するようにトレーニングされ得る。

そのようなものとして、異なる故障タイプは、異なるパッチ適用戦略－ＰＮＮ１０４Ｂのタイプ及びそこで使用される融合機構１０８を含む－を必要とし得る。自律又は半自律運転に関するＰＮＮ１０４Ｂの少数の非限定的例示的使用事例は、新しい特徴を追加すること、道路の特定の区間にパッチを適用すること、又は既存の特徴を改良することを含み得る。たとえば、新しい特徴を追加するために、ベースＤＮＮ１０４Ａは、電動スクータが普及したのより前に、配備されてあり得る。電動スクータ運転者は、交通弱者（ＶＲＵ）と考えられ得、ＶＲＵを識別又は検出するようにトレーニングされたベースＤＮＮ１０４Ａは電動スクータ・ライダをＶＲＵとして検出するのに失敗したと判定され得る。この実例では、ＰＮＮ１０４Ｂは、専用電動スクータ検出器としてトレーニングされ得、融合機構１０８は、ベースＤＮＮ１０４Ａの他のＶＲＵ検出器と連結され得る－たとえば、歩行者、自転車乗用者など。

道路の特定の区間にパッチを適用することに関して、道路及び／又は交差点を通じた車線保持又は進路プランニングに役立つように配備されたベースＤＮＮ１０４Ａは、特定の区間又は道路若しくは交差点で故障モードを有し得る－たとえば、不十分な道路標識、固有の交差点設計などにより。車両５００は、走行表面を横断しながら適切に車線保持することができない可能性がある。この実例では、ＰＮＮ１０４Ｂは、ベースＤＮＮ１０４Ａが取り組む道路の特定の区間における車線保持のためにトレーニング及び検証され得る。そのような一実例において、融合機構１０８は、ＧＮＳＳ信号、高解像度（ＨＤ：ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ）マップへのローカリゼーション（たとえば、車両５００のセンサからのセンサ・データを使用する）、及び／又は道路の特定の区間若しくは交差点についての専用ランドマーク検出器のトレーニングを含み得る。そのようなものとして、車両５００はＰＮＮ１０４Ｂに対応する道路の区間にあることを示す、信号が受信されるとき、ＰＮＮ１０４Ｂの出力１０６Ｂが使用され得る。

既存の特徴、たとえば、車両検出器、が改善されることになる場合、ベースＤＮＮ１０４Ａは、特定のタイプの車両の予測において不正確になり得る－たとえば、新モデル又は設計。そのような一実例では、新しい車両モデルの外観は、類似のモデルに近すぎることがあり、ＰＮＮ１０４Ｂに区別を強いることは、困難なことがあるので、新しい乗用車検出のための専用ＰＮＮ１０４Ｂのトレーニングは、機能しないことがある。また、ＰＮＮ１０４Ｂの誤検出率の検証は、ベースＤＮＮ１０４Ａの完全な再検証なしに可能でないことがあるので、新しい特徴を追加する実例におけるように出力を単純に連結させることは、実現不可能なことがある。結果として、ＰＮＮ１０４Ｂの誤検出率も信頼性出力も単独では、必要とされる安全性レベルに到達するのに十分ではないことがあるので、ベースＤＮＮ１０４Ａの出力１０６Ａ及びＰＮＮ１０４Ｂの出力１０６Ｂの両方が、決定を行うために使用され得る。しかしながら、２つの出力１０６の組合せは、適切なレベルの安全性を達し得る－たとえば、融合機構１０８が機能せず、且つＰＮＮ１０４Ｂが誤検出を有する場合にのみ、最終出力信号における誤検出は生じ得る。

図２Ｂを参照すると、図１Ｂ及び２ＡのベースＤＮＮ／ＰＮＮの組合せに対する代替アーキテクチャが、示されている。そのような一実例において、ＰＮＮ１０４Ｂのノードは、ベースＤＮＮ１０４Ａの既存のノードの入力に追加され得る。したがって、ＰＮＮ１０４Ｂは、故障モードの既存のＤＮＮ出力を訂正することを学習し得るので、ＰＮＮ１０４Ｂは、それ自体の出力を生成する必要はない可能性がある。ＰＮＮ１０４Ｂがオフにされるとき、ベースＤＮＮ１０４Ａは、パッチ適用の前のように正確に動き得る。しかしながら、ベースＤＮＮ出力１０６Ａ及びＰＮＮ出力１０６Ｂの両方は、各反復において計算されないので、両方の出力が必要とされる場合、推論は、分析の２つの出力を取得するために２回実行することを必要とされ得る－それは、計算を増加させる及びレイテンシを増やす。

図３Ａ～３Ｂを参照すると、図３Ａ～３Ｂは、ＰＮＮの選択的アクティブ化を有するＤＮＮ及びＰＮＮアーキテクチャの実例を示す。たとえば、図３Ａに関して、融合機構１０８は、既存の信号１１２及び／又はゲーティングＮＮ１１０に基づいて、ＰＮＮ１０４Ｂのノードをオン又はアクティブにするかどうかを決定し得る。たとえば、ＰＮＮ１０４Ｂのノードが、オフ又は非アクティブ化されるとき、ＰＮＮ１０４Ｂのノードのそれぞれのパラメータの値（たとえば、重み及びバイアス）は、ゼロに固定され得る。これは、ＰＮＮ１０４Ｂが追加されたのより前のように正確に－ビット・アキュレート－ベースＤＮＮ１０４Ａが動作することを保証する。ＤＮＮ１０４Ｂのノードをオン又はアクティブにすることは、ＰＮＮ１０４Ｂのトレーニングされたパラメータが正常に動作することを可能にする。このアーキテクチャの利益は、ＰＮＮ１０４Ｂが、アクティブにされるとき、故障モード中のベースＤＮＮ１０４Ａの決定に影響を与え得るということになり得る。加えて、ＰＮＮ１０４Ｂは、新しい又は代替出力に加えてベースＤＮＮ１０４Ａの各出力を計算することを必要とされないので、ＰＮＮ１０４Ｂは、より小さくなり得る。しかしながら、誤検出シナリオ－たとえば、融合機構１０８がパッチを誤ってアクティブにする場合－において、結果は、ベースＤＮＮ１０４Ａの初期の出力の別のインスタンスを含まないＰＮＮ１０４Ｂの出力の使用である。これは、別個の出力１０６－たとえば、出力１０６Ａ及び１０６Ｂ－が計算される実施例において（たとえば、図１Ｂ及び３Ｂのそれらなどの実施例において）よりも、誤検出シナリオ中により正確でない結果をもたらし得る。単一出力１０６として示されているが、ベースＤＮＮ／ＰＮＮの組合せは、本明細書に記載のものなどの実施例において、別個の出力ヘッドを含み得る。

さらに、いくつかの実施例において、ソフト・オン／オフ・スイッチが、ＰＮＮ１０４Ｂのために使用され得る。たとえば、ＰＮＮ１０４Ｂをオン又はオフにする代わりに、ＰＮＮ１０４ＢなしからＰＮＮ１０４Ｂの使用までの段階的移行が、適用され得る。これは、倍率、たとえば、０．０（ＰＮＮ１０４Ｂの適用無し）から１．０（完全なＰＮＮ１０４Ｂの適用）まで、をパッチ・ノードの出力に乗じることによって、達成され得る。

別の実例として、及び図３Ｂに関して、ベースＤＮＮ１０４Ａの情報処理が、ＰＮＮ１０４Ｂがアクティブにされないとき、それの初期状態から変更されなくてもよいように、ＰＮＮ１０４Ｂは、ベースＤＮＮ１０４Ａとは別個でもよい。たとえば、図１Ｂに関して、ＰＮＮ１０４Ｂの追加されたノードは、ベースＤＮＮ１０４Ａの情報処理に影響を与える。そのようなものとして、図３Ｂのアーキテクチャは、図１Ｂのそれと類似しているが、融合機構１０８の決定に基づくＰＮＮ１０４Ｂの選択的アクティブ化を可能にする。結果として、誤検出シナリオは、ベースＤＮＮ１０４Ａの冗長出力をまだ含み得、検出漏れ出力は、パッチ適用より前のベースＤＮＮ１０４Ａのそれらに類似の出力をもたらすことになる。そのようなものとして、計算は、ＰＮＮ１０４Ｂがオフにされるインスタンスにおいて、減らされ得る。

いくつかの実施例において、ＰＮＮ１０４Ｂ及び融合機構１０８は、現実世界の試験データ及び／又はシミュレーションされた試験データ－たとえば、シミュレーション環境における－を使用して、試験及び検証され得る。たとえば、ＰＮＮ１０４Ｂ及び／又は融合機構１０８は、再シミュレーション装置、ＮＶＩＤＩＡのＤｒｉｖｅＳＩＭ、及び／又は現実世界において試験され得る。いくつかの実施例において、消費者フリート外で試験及び検証された後は、ＰＮＮ１０４及び／又は融合機構１０８（たとえば、ゲーティングＮＮ１１０）は、「シャドウ」モードの名でも知られる受動（非アクティブ）モードで実行するために消費者車両に無線で（ＯＴＡ）プッシュされ得る。受動モードは、基礎コードが実行することを可能にし得るが、出力１０６については作動させられない。結果として、消費者フリートは動作を継続するので、大規模な検査が、短時間で実行され得る。融合機構１０８がＰＮＮ１０４Ｂに切り替えることを決定する出来事及び／又はベースＤＮＮ１０４Ａ及びＰＮＮ１０４Ｂの出力が一致しない出来事が、記録及び分析され得る。ＰＮＮ１０４Ｂへの切り替えが、融合機構が正しく機能していることとＰＮＮ１０４ＢがベースＤＮＮ１０４Ａの故障モードを正しく回復させることとを検証するために使用され得る。不一致記録は、ＰＮＮ１０４Ｂが正常条件の下で正しく動作することを検証するために使用され得る－たとえば、ＰＮＮ１０４Ｂが、誤って選択され得る場合、ＰＮＮ１０４Ｂの出力１０６Ｂは、ベースＤＮＮ１０４Ａの出力１０６Ａのそれらをやはり正確に反映するべきである。

ベースＤＮＮ１０４Ａに加えてＰＮＮ１０４Ｂ及び融合機構１０８を実装するために、ＰＮＮ１０４Ｂ及び融合機構１０８の必要な計算が、事前に割り当てられ得る－たとえば、十分なバッファ・スペースが、ＰＮＮ１０４Ｂ及び融合機構１０８をサポートするために、ベースＤＮＮ１０４Ａの最初の配備時に車両５００において使用されないままになり得る。ＰＮＮ１０４Ｂに関して、これは、結合されたすべてのＰＮＮ１０４Ｂのために利用可能な重み及びノードの最大数が予め定められ得ることを意味し得る。そのようなものとして、この事前に割り当てられた量は、ＰＮＮ１０４Ｂの設計決定に織り込まれ得る。融合機構１０８の計算を事前に割り当てるために、最大ＣＰＵ、ＧＰＵ、ＤＰＵ、アクセラレータ、及び／又は必要とされる他のオンチップ資源の推定値が、決定され得る。そのようなものとして、変更は、付加的検証作業を必要とし得るので、ＰＮＮ１０４Ｂ及び融合機構１０８の両方が、スケジューラの変更を回避するために、計算グラフに「ダミー」又はプレースホルダとして追加され得る。

いくつかの実施例において、パッチ・バージョニング・システムは、誰がＰＮＮ１０４Ｂを要求したか、誰が及びいつＰＮＮ１０４Ｂをトレーニングしたか、誰が及びいつＰＮＮ１０４Ｂを検証したか、誰が、いつ、及びどの車両にＰＮＮ１０４Ｂを配備したかなど、配備されたＰＮＮ１０４Ｂを追跡するために実装され得る。加えて、少なくとも部分的に、ＰＮＮ１０４Ｂのトレーニング及び配備と同時に及び／又はその後に、更新されたベースＤＮＮ１０４Ａは、たとえば、次の主要なＤＮＮリリース中に、車両５００にプッシュされるために、トレーニング、試験、及び検証され得る。そのようなものとして、ＰＮＮ１０４Ｂ及び融合機構１０８は、更新されたベースＤＮＮ１０４Ａのトレーニング、検査、及び検証期間（たとえば、いくつかのインスタンスでは、６カ月から１年）中の一時的処置として機能し得る。

ここで図４を参照すると、本明細書に記載の方法４００の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行され得る計算プロセスを含む。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。方法４００はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法４００は、いくつか例を挙げると、独立型アプリケーション、サービス又はホスト型サービス（独立型の又は別のホスト型サービスと組み合わせた）、或いは別の製品へのプラグインによって提供され得る。加えて、方法４００は、例として、図１のプロセス１００及び図５Ａ～５Ｄの車両５００に関して説明されている。しかしながら、追加で又は別法として、この方法４００は、本明細書に記載のものを含むがこれらに限定されない、任意の１個のシステム内で、又はシステムの任意の組合せで、実行され得る。

図４は、本開示のいくつかの実施例による、配備中のＰＮＮ１０４Ｂを実行するための方法４００を示す流れ図である。方法４００は、ブロックＢ４０２において、第１のデータをディープ・ニューラル・ネットワーク（ＤＮＮ）及びパッチ・ニューラル・ネットワーク（ＰＮＮ）に適用することを含む。たとえば、入力データ１０２は、ベースＤＮＮ１０４Ａ及びＰＮＮ１０４Ｂに適用され得る。

方法４００は、ブロックＢ４０４において、第２のデータを計算するために第１のデータを処理することを含み、その処理は、以下を含む：（１）ＤＮＮがＤＮＮの１つ又は複数のノードの第１の出力を処理することと、（２）ＰＮＮがＰＮＮの１つ又は複数のノードの第２の出力及びＤＮＮの１つ又は複数のノードの１つ又は複数の第１の出力のうちの少なくとも１つの第１の出力を処理すること。たとえば、ベースＤＮＮ１０４Ａの層１２６Ａのノードは、ベースＤＮＮ１０４Ａの層１２６Ａの他のノードの出力を処理し得、ＰＮＮ１０４Ｂは、ベースＤＮＮ１０４Ａの層１２６Ａのノードの出力とＰＮＮ１０４Ｂの層１２６Ｂのノードの出力との両方を処理し得る。最終的に、ベースＤＮＮ１０４Ａは、出力１０６Ａを計算し得、ＰＮＮ１０４Ｂは、出力１０６Ｂを計算し得る。しかしながら、実施例において、出力は、少なくとも図３Ａに関して本明細書で説明されるように、ＰＮＮ１０４Ｂのアクティブ化又は非アクティブ化に応じた単一の結合された出力でもよい。このようにして、ベースＤＮＮ１０４Ａは、パッチ適用の前に同様に動作し得、ＰＮＮ１０４Ｂは、ベースＤＮＮ１０４Ａの故障シナリオに対処し得る。

方法４００は、ブロックＢ４０６において、第２のデータに少なくとも部分的に基づいて１つ又は複数の動作を実行することを含む。たとえば、出力１０６は、車両５００による１つ又は複数の動作、たとえば、物体検出、分類、及び／又は追跡、進路プランニング、制御決定、障害物回避、及び／又は類似のもの、を実行するために使用され得る。

結果として、ＰＮＮ１０４Ｂは、ベースＤＮＮ１０４Ａの完全な再検証を必要とせずにベースＤＮＮ１０４Ａの故障シナリオに対処するための高速ターンアラウンド・タイムを有して実装され得る。これは、車両５００－又は他の基礎システム－が動作を継続することを可能にし得、その一方で、更新されたベースＤＮＮ１０４Ａは、故障モードを説明するためにトレーニング及び検証される。加えて、ベースＤＮＮ１０４Ａの機能性は、ＰＮＮ１０４Ｂと使用するときに、変化しないままであり得、検証されたベースＤＮＮ１０４Ａは、故障モードに対応しないすべてのインスタンスにおいてまだ依拠され得るので、リスクは、安全重視のアプリケーション－たとえば、自律又は半自律運転－において最小限に抑えられ得る。

例示的自律型車両
図５Ａは、本開示のいくつかの実施例による、例示的自律型車両５００の図である。自律型車両５００（本明細書で別法として「車両５００」と称する）は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトル、電気若しくは原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、トレーラに連結された車両、及び／又は別のタイプの車両（たとえば、無人の及び／又は１人若しくは複数の乗客を乗せた）、を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通安全局（ＮＨＴＳＡ：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、米国運輸省の部署、及び自動車技術者協会（ＳＡＥ：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）「Ｔａｘｏｎｏｍｙ ａｎｄ Ｄｅｆｉｎｉｔｉｏｎｓ ｆｏｒ Ｔｅｒｍｓ Ｒｅｌａｔｅｄ ｔｏ Ｄｒｉｖｉｎｇ Ａｕｔｏｍａｔｉｏｎ Ｓｙｓｔｅｍｓ ｆｏｒ Ｏｎ－Ｒｏａｄ Ｍｏｔｏｒ Ｖｅｈｉｃｌｅ」（２０１８年６月１５日に公開された規格番号Ｊ３０１６－２０１８０６、２０１６年９月３０日に公開された規格番号Ｊ３０１６－２０１６０９、及びこの規格の前の及び未来のバージョン）によって定義される、自動化レベルに関して記述される。車両５００は、自律運転レベルのレベル３～レベル５のうちの１つ又は複数による機能の能力を有し得る。たとえば、車両５００は、実施例に応じて、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）の能力を有し得る。

車両５００は、車両のシャシ、車体、車輪（たとえば、２、４、６、８、１８など）、タイヤ、車軸、及び他の構成要素などの構成要素を含み得る。車両５００は、内部燃焼エンジン、ハイブリッド動力装置、完全な電気式エンジン、及び／又は別の推進システム・タイプなど、推進システム５５０を含み得る。推進システム５５０は、車両５００の推進力を有効にするために、トランスミッションを含み得る、車両５００のドライブ・トレインに接続され得る。推進システム５５０は、スロットル／加速装置５５２からの信号の受信に応答して制御され得る。

ハンドルを含み得る、ステアリング・システム５５４は、推進システム５５０が動作しているときに（たとえば、車両が移動中のときに）車両５００のかじを取る（たとえば、所望の進路又はルートに沿って）ために使用され得る。ステアリング・システム５５４は、ステアリング・アクチュエータ５５６から信号を受信することができる。ハンドルは、完全自動化（レベル５）機能のオプションでもよい。

ブレーキ・センサ・システム５４６は、ブレーキ・アクチュエータ５４８及び／又はブレーキ・センサからの信号の受信に応答して車両ブレーキを動作させるために使用され得る。

１つ又は複数のシステム・オン・チップ（ＳｏＣ：ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）５０４（図５Ｃ）及び／又はＧＰＵを含み得る、コントローラ５３６は、車両５００の１つ若しくは複数の構成要素及び／又はシステムに信号（たとえば、コマンドの表現）を提供することができる。たとえば、コントローラは、１つ又は複数のブレーキ・アクチュエータ５４８を介して車両ブレーキを動作させて、１つ又は複数のステアリング・アクチュエータ５５６を介してステアリング・システム５５４を動作させて、１つ又は複数のスロットル／加速装置５５２を介して推進システム５５０を動作させるために、信号を送ることができる。コントローラ５３６は、センサ信号を処理する、並びに律的運転を可能にするために及び／又は運転者の車両５００の運転を支援するために動作コマンド（たとえば、コマンドを表す信号）を出力する、１つ又は複数の搭載された（たとえば、統合された）計算デバイス（たとえば、スーパーコンピュータ）を含み得る。コントローラ５３６は、自律運転機能のための第１のコントローラ５３６、機能的安全性機能のための第２のコントローラ５３６、人工知能機能（たとえば、コンピュータ・ビジョン）のための第３のコントローラ５３６、インフォテインメント機能のための第４のコントローラ５３６、緊急状態における冗長性のための第５のコントローラ５３６、及び／又は他のコントローラを含み得る。いくつかの実例では、単一のコントローラ５３６が、前述の機能のうちの２個以上を処理することができ、２個以上のコントローラ５３６が、単一の機能、及び／又はその任意の組合せを処理することができる。

コントローラ５３６は、１つ又は複数のセンサから受信したセンサ・データ（たとえば、センサ入力）に応答して車両５００の１つ若しくは複数の構成要素及び／又はシステムを制御するための信号を提供することができる。センサ・データは、たとえば、そして制限なしに、全地球的航法衛星システム・センサ５５８（たとえば、グローバル・ポジショニング・システム・センサ）、ＲＡＤＡＲセンサ５６０、超音波センサ５６２、ＬＩＤＡＲセンサ５６４、慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ５６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン５９６、ステレオ・カメラ５６８、ワイドビュー・カメラ５７０（たとえば、魚眼カメラ）、赤外線カメラ５７２、サラウンド・カメラ５７４（たとえば、３６０度カメラ）、長距離及び／又は中距離カメラ５９８、スピード・センサ５４４（たとえば、車両５００のスピードを測定するための）、振動センサ５４２、ステアリング・センサ５４０、ブレーキ・センサ（たとえば、ブレーキ・センサ・システム５４６の一部としての）、及び／又は他のセンサ・タイプから受信され得る。

コントローラ５３６のうちの１つ又は複数のコントローラは、車両５００の計器群５３２から入力（たとえば、入力データによって表される）を受信し、出力（たとえば、出力データ、表示データなどによって表される）をヒューマン・マシン・インターフェース（ＨＭＩ：ｈｕｍａｎ－ｍａｃｈｉｎｅ ｉｎｔｅｒｆａｃｅ）ディスプレイ５３４、可聴式アナンシエータ、ラウドスピーカ、及び／又は車両５００の他の構成要素を介して提供することができる。出力は、車両ベロシティ、スピード、時間、マップ・データ（たとえば、図５ＣのＨＤマップ５２２）、位置データ（たとえば、マップ上などの、車両５００の位置）、方向、他の車両の位置（たとえば、占有グリッド）、コントローラ５３６によって把握されるものとしての物体及び物体の状況に関する情報などの、情報を含み得る。たとえば、ＨＭＩディスプレイ５３４は、１つ又は複数の物体（たとえば、道路標識、警告標識、交通信号の変化など）の存在、及び／又は車両が行った、行っている、又は行うであろう運転操作（たとえば、今、車線変更をしていること、３．２２ｋｍ（２マイル）内の出口３４Ｂを出ることなど）に関する情報を表示することができる。

車両５００はさらに、１つ若しくは複数のワイヤレス・アンテナ５２６及び／又はモデムを使用して１つ若しくは複数のネットワークを介して通信することができるネットワーク・インターフェース５２４を含む。たとえば、ネットワーク・インターフェース５２４は、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００などを介する通信の能力を有し得る。ワイヤレス・アンテナ５２６はまた、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅなどのローカル・エリア・ネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどのロー・パワー・ワイドエリア・ネットワーク（ＬＰＷＡＮ：ｌｏｗ ｐｏｗｅｒ ｗｉｄｅ－ａｒｅａ ｎｅｔｗｏｒｋ）を使用し、環境内の物体（たとえば、車両、モバイル・デバイスなど）の間の通信を可能にすることができる。

図５Ｂは、本開示のいくつかの実施例による、図５Ａの例示的自律型車両５００のカメラ位置及び視野の実例である。カメラ及びそれぞれの視野は、１つの例示的実施例であり、制限することは意図されていない。たとえば、追加の及び／又は代替カメラが含まれ得る、及び／又はカメラは車両５００の異なる位置に置かれ得る。

カメラのカメラ・タイプは、車両５００の構成要素及び／又はシステムと使用するようになされ得るデジタル・カメラを含み得るが、これに限定されない。カメラは、自動車安全整合性レベル（ＡＳＩＬ：ａｕｔｏｍｏｔｉｖｅ ｓａｆｅｔｙ ｉｎｔｅｇｒｉｔｙ ｌｅｖｅｌ）Ｂにおいて及び／又は別のＡＳＩＬにおいて動作することができる。カメラ・タイプは、実施例に応じて、６０フレーム／秒（ｆｐｓ）、１２０ｆｐｓ、２４０ｆｐｓなど、任意の画像キャプチャ・レートの能力を有し得る。カメラは、ロール・シャッタ、グローバル・シャッタ、別のタイプのシャッタ、又はその組合せを使用する能力を有し得る。いくつかの実例では、カラー・フィルタ・アレイは、ＲＣＣＣ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｃｌｅａｒ）カラー・フィルタ・アレイ、ＲＣＣＢ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｂｌｕｅ）カラー・フィルタ・アレイ、ＲＢＧＣ（ｒｅｄ ｂｌｕｅ ｇｒｅｅｎ ｃｌｅａｒ）カラー・フィルタ・アレイ、Ｆｏｖｅｏｎ Ｘ３カラー・フィルタ・アレイ、Ｂａｙｅｒセンサ（ＲＧＧＢ）カラー・フィルタ・アレイ、モノクロ・センサ・カラー・フィルタ・アレイ、及び／又は別のタイプのカラー・フィルタ・アレイを含み得る。一部の実施例では、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣカラー・フィルタ・アレイを有するカメラなどのクリア画素カメラは、光感度を上げるための取り組みにおいて使用され得る。

いくつかの実例では、カメラのうちの１つ又は複数が、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）機能（たとえば、冗長又はフェイルセーフ設計の一部として）を実行するために使用され得る。たとえば、多機能モノ・カメラは、車線逸脱警報、交通標識アシスト及びインテリジェント・ヘッドランプ制御を含む機能を提供するために設置され得る。カメラのうちの１つ又は複数（たとえば、すべてのカメラ）が、画像データ（たとえば、ビデオ）を同時に記録及び提供することができる。

カメラのうちの１つ又は複数は、カメラの画像データ・キャプチャ能力を妨げることがある自動車内からの迷光及び反射（たとえば、フロントガラスのミラーにおいて反射されたダッシュボードからの反射）を取り除くために、カスタム設計された（３Ｄ印刷された）部品などの取付部品において取り付けられ得る。サイドミラー取付部品を参照すると、サイドミラー部品は、カメラ取付板がサイドミラーの形状に合うように、カスタム３Ｄ印刷され得る。いくつかの実例では、カメラは、サイドミラー内に統合され得る。サイドビュー・カメラについては、カメラはまた、キャビンの各角にある４個の支柱内に統合され得る。

車両５００の前の環境の部分を含む視野を有するカメラ（たとえば、前向きのカメラ）は、前向きの進路及び障害物の識別を助け、１つ若しくは複数のコントローラ５３６及び／又は制御ＳｏＣの助けにより、占有グリッドの生成及び／又は好ましい車両進路の決定に不可欠な情報の提供の提供を助けるための、サラウンド・ビューのために使用され得る。前向きのカメラは、緊急ブレーキ、歩行者検出、及び衝突回避を含む、ＬＩＤＡＲと同じＡＤＡＳ機能の多くを実行するために使用され得る。前向きのカメラはまた、車線逸脱警報（「ＬＤＷ（Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ）」）、自律的クルーズ制御（「ＡＣＣ（Ａｕｔｏｎｏｍｏｕｓ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）」）、及び／又は交通標識認識などの他の機能を含むＡＤＡＳ機能及びシステムのために使用され得る。

様々なカメラが、たとえば、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カラー画像化装置を含む単眼カメラ・プラットフォームを含む、前向きの構成において使用され得る。別の実例は、周辺（たとえば、歩行者、交差する交通又は自転車）からのビューに入る物体を把握するために使用され得るワイドビュー・カメラ５７０でもよい。図５Ｂにはワイドビュー・カメラは１つだけ示されているが、車両５００には任意の数のワイドビュー・カメラ５７０が存在し得る。加えて、長距離カメラ５９８（たとえば、ロングビュー・ステレオ・カメラ・ペア）が、特に、ニューラル・ネットワークがまだトレーニングされていない物体について、深度ベースの物体検出のために使用され得る。長距離カメラ５９８はまた、物体検出及び分類、並びに基本物体追跡のために使用され得る。

１つ又は複数のステレオ・カメラ５６８もまた、前向きの構成に含まれ得る。ステレオ・カメラ５６８は、単一のチップ上に統合されたＣＡＮ又はイーサネット（登録商標）・インターフェースを有するプログラマブル論理（ＦＰＧＡ）及びマルチコア・マイクロプロセッサを提供し得る、拡張可能な処理ユニットを備えた統合された制御ユニットを含み得る。そのようなユニットは、画像内のすべてのポイントの距離推定値を含む、車両の環境の３Ｄマップを生成するために使用され得る。代替ステレオ・カメラ５６８は、２個のカメラ・レンズ（左と右に１つずつ）と、車両から対象物体までの距離を測定する及び生成された情報（たとえば、メタデータ）を使用して自律的緊急ブレーキ及び車線逸脱警報機能をアクティブにすることができる画像処理チップとを含み得る、コンパクト・ステレオ・ビジョン・センサを含み得る。他のタイプのステレオ・カメラ５６８が、本明細書に記載のものに加えて、又はそれらの代わりに、使用されてもよい。

車両５００の側面に対する環境の部分を含む視野を有するカメラ（たとえば、サイドビュー・カメラ）が、占有グリッドを作成及び更新するために並びに側面衝撃衝突警報を生成するために使用される情報を提供する、サラウンド・ビューのために使用され得る。たとえば、サラウンド・カメラ５７４（たとえば、図５Ｂに示されるような４個のサラウンド・カメラ５７４）は、車両５００上に位置付けられ得る。サラウンド・カメラ５７４は、ワイドビュー・カメラ５７０、魚眼カメラ、３６０度カメラ、及び／又は同類のものを含み得る。たとえば、４個の魚眼カメラが、車両の前、後ろ、及び側面に配置され得る。代替配置において、車両は、３個のサラウンド・カメラ５７４（たとえば、左、右、及び後部）を使用してもよく、第４のサラウンド・ビュー・カメラとして１つ又は複数の他のカメラ（たとえば、前向きのカメラ）を活用してもよい。

車両５００の後ろに対する環境の部分を含む視野を有するカメラ（たとえば、後方確認カメラ）が、駐車支援、サラウンド・ビュー、後部衝突警報、並びに占有グリッドの作成及び更新のために使用され得る。本明細書に記載のように、前向きのカメラ（たとえば、長距離及び／又は中距離カメラ５９８、ステレオ・カメラ５６８）、赤外線カメラ５７２など）としても適したカメラを含むがこれらに限定されない、多種多様なカメラが使用され得る。

図５Ｃは、本開示のいくつかの実施例による、図５Ａの例示的自律型車両５００の例示的システム・アーキテクチャのブロック図である。本明細書に記載されているこの及び他の配置は単に実例として説明されていることを理解されたい。他の配置及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素はともに除外されてもよい。さらに、本明細書に記載の要素の多くは、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。

図５Ｃの車両５００の構成要素、特徴、及びシステムのそれぞれは、バス５０２を介して接続されるものとして図示されている。バス５０２は、コントローラ・エリア・ネットワーク（ＣＡＮ）データ・インターフェース（或いは、「ＣＡＮバス」と称される）を含み得る。ＣＡＮは、ブレーキ、加速度、ブレーキ、ステアリング、フロント・ガラス・ワイパなどの作動など、車両５００の様々な特徴及び機能の制御を助けるために使用される車両５００内のネットワークでもよい。ＣＡＮバスは、それぞれが独自の一意の識別子（たとえば、ＣＡＮ ＩＤ）を有する、数ダース又は数百ものノードを有するように構成され得る。ＣＡＮバスは、ハンドル角度、対地速度、１分間のエンジン回転（ＲＰＭ：ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｕｔｅ）、ボタン位置、及び／又は他の車両状況指標を見つけるために読み取られ得る。ＣＡＮバスは、ＡＳＩＬ Ｂ準拠でもよい。

バス５０２は、ＣＡＮバスであるものとして本明細書に記載されているが、これは制限することを意図されていない。たとえば、ＣＡＮバスに加えて、又はこのその代替として、ＦｌｅｘＲａｙ及び／又はイーサネット（登録商標）が使用されてもよい。加えて、単一の線が、バス５０２を表すために使用されているが、これは制限することを意図されていない。たとえば、１つ若しくは複数のＣＡＮバス、１つ若しくは複数のＦｌｅｘＲａｙバス、１つ若しくは複数のイーサネット（登録商標）・バス、及び／又は異なるプロトコルを使用する１つ若しくは複数の他のタイプのバスを含み得る、任意の数のバス５０２が存在し得る。いくつかの実例では、２個以上のバス５０２が、異なる機能を実行するために使用され得る、及び／又は冗長性のために使用され得る。たとえば、第１のバス５０２は衝突回避機能のために使用されてもよく、第２のバス５０２は作動制御のために使用されてもよい。任意の実例において、各バス５０２は、車両５００の構成要素のいずれかと通信し得、２個以上のバス５０２が同じ構成要素と通信し得る。いくつかの実例では、車両内の各ＳｏＣ５０４、各コントローラ５３６、及び／又は各コンピュータは、同じ入力データ（たとえば、車両５００のセンサからの入力）へのアクセスを有し得、ＣＡＮバスなどの共通バスに接続され得る。

車両５００は、図５Ａに関して本明細書で説明されるものなど、１つ又は複数のコントローラ５３６を含み得る。コントローラ５３６は、様々な機能のために使用され得る。コントローラ５３６は、車両５００の様々な他の構成要素及びシステムのいずれかに連結されてもよく、車両５００、車両５００の人工知能、車両５００のためのインフォテインメント、及び／又は同類のものの制御のために使用され得る。

車両５００は、システム・オン・チップ（ＳｏＣ）５０４を含み得る。ＳｏＣ５０４は、ＣＰＵ５０６、ＧＰＵ５０８、プロセッサ５１０、キャッシュ５１２、加速装置５１４、データ・ストア５１６、及び／又は図示されていない他の構成要素及び特徴を含み得る。ＳｏＣ５０４は、様々なプラットフォーム及びシステム内の車両５００を制御するために使用され得る。たとえば、ＳｏＣ５０４は、１つ又は複数のサーバ（たとえば、図５Ｄのサーバ５７８）からネットワーク・インターフェース５２４を介してマップのリフレッシュ及び／又は更新を取得することができるＨＤマップ５２２を有するシステム（たとえば、車両５００のシステム）において結合され得る。

ＣＰＵ５０６は、ＣＰＵクラスタ又はＣＰＵ複合体（或いは、「ＣＣＰＬＥＸ」とも称される）を含み得る。ＣＰＵ５０６は、複数のコア及び／又はＬ２キャッシュを含み得る。たとえば、一部の実施例では、ＣＰＵ５０６は、コヒーレント・マルチプロセッサ構成内の８個のコアを含み得る。一部の実施例では、ＣＰＵ５０６は、４個のデュアルコア・クラスタを含むことができ、各クラスタが専用のＬ２キャッシュ（たとえば、２ＭＢＬ２キャッシュ）を有する。ＣＰＵ５０６（たとえば、ＣＣＰＬＥＸ）は、ＣＰＵ５０６のクラスタの任意の組合せが任意の所与の時間にアクティブになることを可能にする同時クラスタ動作をサポートするように構成され得る。

ＣＰＵ５０６は、以下の特徴のうちの１つ又は複数を含む電力管理能力を実装することができる：個別ハードウェア・ブロックが、動的電力を節約するためにアイドル状態のときに自動的にクロック・ゲーティングされ得る、各コア・クロックは、ＷＦＩ／ＷＦＥ命令の実行により命令をコアがアクティブに実行していないときにゲーティングされ得る、各コアは、独立してパワー・ゲーティングされ得る、各コア・クラスタは、すべてのコアがクロック・ゲーティングされる若しくはパワー・ゲーティングされるときに、独立してクロック・ゲーティングされ得る、及び／又は、各コア・クラスタは、すべてのコアがパワー・ゲーティングされるときに、独立してパワー・ゲーティングされ得る。ＣＰＵ５０６は、電力状態を管理するための強化されたアルゴリズムをさらに実装することができ、そこでは、許容される電力状態及び予想されるウェイクアップ時間が指定され、ハードウェア／マイクロ・コードが、コア、クラスタ、及びＣＣＰＬＥＸに入力するための最良の電力状態を決定する。処理コアは、作業がマイクロ・コードにオフロードされたソフトウェアにおける簡略化された電力状態入力シーケンスをサポートすることができる。

ＧＰＵ５０８は、統合されたＧＰＵ（或いは本明細書において「ｉＧＰＵ」と称される）を含み得る。ＧＰＵ５０８は、プログラマブルになり得、並行のワークロードに効率的になり得る。一部の実例では、ＧＰＵ５０８は、強化されたテンソル命令セットを使用することができる。ＧＰＵ５０８は、１つ又は複数のストリーミング・マイクロプロセッサを含み得、そこで、各ストリーミング・マイクロプロセッサは、Ｌ１キャッシュ（たとえば、少なくとも９６ＫＢ記憶容量を有するＬ１キャッシュ）を含み得、ストリーミング・マイクロプロセッサのうちの２個以上が、キャッシュ（たとえば、５１２ＫＢ記憶容量を有するＬ２キャッシュ）を共用し得る。一部の実施例では、ＧＰＵ５０８は、少なくとも８個のストリーミング・マイクロプロセッサを含み得る。ＧＰＵ５０８は、計算アプリケーション・プログラミング・インターフェース（ＡＰＩ）を使用することができる。加えて、ＧＰＵ５０８は、１つ若しくは複数の並行のコンピューティング・プラットフォーム及び／又はプログラミング・モデル（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を使用することができる。

ＧＰＵ５０８は、自動車の及び組み込まれた使用事例における最高のパフォーマンスのために電力最適化され得る。たとえば、ＧＰＵ５０８は、ＦｉｎＦＥＴ（Ｆｉｎ ｆｉｅｌｄ－ｅｆｆｅｃｔ ｔｒａｎｓｉｓｔｏｒ）上に製造され得る。しかしながら、これは制限することを意図されておらず、ＧＰＵ５０８は、他の半導体製造プロセスを使用し、製造され得る。各ストリーミング・マイクロプロセッサは、複数のブロックに区切られたいくつかの混合精度処理コアを組み込むことができる。限定ではなく、たとえば、６４ ＰＦ３２コア及び３２ ＰＦ６４コアは、４個の処理ブロックに区切られてもよい。そのような実例では、各処理ブロックは、１６ ＦＰ３２コア、８ ＦＰ６４コア、１６ ＩＮＴ３２コア、深層学習行列演算のための２個の混合精度ＮＶＩＤＩＡテンソル・コア、Ｌ０命令キャッシュ、ワープ・スケジューラ、発送ユニット、及び／又は６４ＫＢレジスタ・ファイルを割り当てられ得る。加えて、ストリーミング・マイクロプロセッサは、計算及びアドレス指定演算の混合を有するワークロードの効率的な実行を提供するための独立した並行の整数及び浮動小数点データ進路を含み得る。ストリーミング・マイクロプロセッサは、並行スレッドの間のより高い細粒度の同期及び連携を可能にするために、独立したスレッド・スケジューリング能力を含み得る。ストリーミング・マイクロプロセッサは、プログラミングを単純化しつつ性能を向上させるために、結合されたＬ１データ・キャッシュ及び共用メモリ・ユニットを含み得る。

ＧＰＵ５０８は、一部の実例では、９００ＧＢ／秒のピーク・メモリ帯域幅に関して、提供するための高帯域幅メモリ（ＨＢＭ：ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ）及び／又は１６ＧＢＨＢＭ２メモリ・サブシステムを含み得る。いくつかの実例では、ＨＢＭメモリに加えて、又はこれの代わりに、グラフィックス・ダブル・データ・レート・タイプ５同期ランダム・アクセス・メモリ（ＧＤＤＲ５：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ ｔｙｐｅ ｆｉｖｅ ｓｙｎｃｈｒｏｎｏｕｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）などの同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ：ｓｙｎｃｈｒｏｎｏｕｓ ｇｒａｐｈｉｃｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）が使用され得る。

ＧＰＵ５０８は、メモリ・ページに最も頻繁にアクセスするプロセッサへのそれらのメモリ・ページのより正確な移動を可能にするためにアクセス・カウンタを含む統一されたメモリ技術を含むことができ、それにより、プロセッサ間で共用される記憶範囲の効率を向上させる。いくつかの実例では、アドレス変換サービス（ＡＴＳ：ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ ｓｅｒｖｉｃｅ）サポートが、ＧＰＵ５０８がＣＰＵ５０６ページ・テーブルに直接アクセスすることを可能にするために使用され得る。そのような実例では、ＧＰＵ５０８メモリ管理ユニット（ＭＭＵ：ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ）がミスを経験するとき、アドレス変換要求が、ＣＰＵ５０６に送信され得る。応答して、ＣＰＵ５０６は、アドレスの仮想対現実マッピングのためのそのページ・テーブルを調べることができ、ＧＰＵ５０８に変換を送り返す。そのようなものとして、統一されたメモリ技術は、ＣＰＵ５０６とＧＰＵ５０８との両方のメモリの単一統一仮想アドレス空間を可能にすることができ、それによりＧＰＵ５０８へのアプリケーションのＧＰＵ５０８プログラミング及び移植を単純化する。

加えて、ＧＰＵ５０８は、他のプロセッサのメモリへのＧＰＵ５０８のアクセスの頻度を記録することができるアクセス・カウンタを含み得る。アクセス・カウンタは、メモリ・ページが最も頻繁にそのページにアクセスしているプロセッサの物理メモリに移動されることを確実にするのを助けることができる。

ＳｏＣ５０４は、本明細書に記載のものを含む任意の数のキャッシュ５１２を含み得る。たとえば、キャッシュ５１２は、ＣＰＵ５０６とＧＰＵ５０８との両方に利用可能な（たとえば、ＣＰＵ５０６とＧＰＵ５０８との両方に接続された）Ｌ３キャッシュを含み得る。キャッシュ５１２は、キャッシュ・コヒーレンス・プロトコル（たとえば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することなどによって、線の状態を記録することができるライトバック・キャッシュを含み得る。Ｌ３キャッシュは、より小さいキャッシュ・サイズが使用されてもよいが、実施例に応じて、４ＭＢ以上を含み得る。

ＳｏＣ５０４は、車両５００の様々なタスク又は動作のいずれか（たとえば、処理ＤＮＮ）に関して処理を実行する際に活用され得る論理演算ユニット（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）を含み得る。加えて、ＳｏＣ５０４は、システム内で数学演算を実行するための浮動小数点演算ユニット（ＦＰＵ：ｆｌｏａｔｉｎｇ ｐｏｉｎｔ ｕｎｉｔ）（又は他のマス・コプロセッサ又は数値演算コプロセッサ・タイプ）を含み得る。たとえば、ＳｏＣ１０４は、ＣＰＵ５０６及び／又はＧＰＵ５０８内の実行ユニットとして統合された１つ又は複数のＦＰＵを含み得る。

ＳｏＣ５０４は、１つ又は複数の加速装置５１４（たとえば、ハードウェア・加速装置、ソフトウェア・加速装置、又はその組合せ）を含み得る。たとえば、ＳｏＣ５０４は、最適化されたハードウェア加速装置及び／又は大きなオンチップ・メモリを含み得る、ハードウェア加速クラスタを含み得る。大きなオンチップメモリ（たとえば、４ＭＢのＳＲＡＭ）は、ハードウェア加速クラスタがニューラル・ネットワーク及び他の演算を加速することを可能にし得る。ハードウェア加速クラスタは、ＧＰＵ５０８を補完するために及びＧＰＵ５０８のタスクの一部をオフロードするために（たとえば、他のタスクを実行するためのＧＰＵ５０８のより多くのサイクルを解放するために）使用され得る。一実例として、加速装置５１４は、加速に適するように十分に安定している対象ワークロード（たとえば、知覚、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）など）のために使用され得る。本明細書では、「ＣＮＮ」という用語は、領域ベースの又は領域的畳み込みニューラル・ネットワーク（ＲＣＮＮ：ｒｅｇｉｏｎａｌ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）及び高速ＲＣＮＮ（たとえば、物体検出のために使用されるものとしての）を含む、すべてのタイプのＣＮＮを含み得る。

加速装置５１４（たとえば、ハードウェア加速クラスタ）は、深層学習加速装置（ＤＬＡ：ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＤＬＡは、深層学習アプリケーション及び推論のために１秒あたり追加の１０兆の動作を提供するように構成することができる１つ又は複数のテンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含み得る。ＴＰＵは、画像処理機能（たとえば、ＣＮＮ、ＲＣＮＮなどの）を実行するように構成及び最適化された加速装置でもよい。ＤＬＡはさらに、特定のセットのニューラル・ネットワーク・タイプ及び浮動小数点演算、並びに推論のために最適化され得る。ＤＬＡの設計は、汎用ＧＰＵよりも１ミリメートルあたりより多くのパフォーマンスを提供することができ、ＣＰＵのパフォーマンスを大きく超える。ＴＰＵは、たとえば、特徴と重みとの両方についてＩＮＴ８、ＩＮＴ１６、及びＦＰ１６データ・タイプをサポートする、単一インスタンス畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実行することができる。

ＤＬＡは、以下を含むがこれらに限定されない、様々な機能のいずれかのために処理済み又は未処理のデータでニューラル・ネットワーク、特にＣＮＮ、を迅速に及び効率的に実行することができる：カメラ・センサからのデータを使用する物体識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する距離推定のためのＣＮＮ、マイクロフォンからのデータを使用する緊急車両検出及び識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する顔認識及び車両所有者識別のためのＣＮＮ、及び／又は、セキュリティ及び／又は安全性関連イベントのためのＣＮＮ。

ＤＬＡは、ＧＰＵ５０８の任意の機能を実行することができ、そして、推論加速装置を使用することによって、たとえば、設計者は、任意の機能のためにＤＬＡ又はＧＰＵ５０８のいずれかを対象にすることができる。たとえば、設計者は、ＤＬＡ上のＣＮＮ及び浮動小数点演算の処理に重点的に取り組み、他の機能をＧＰＵ５０８及び／又は他の加速装置５１４に任せることができる。

加速装置５１４（たとえば、ハードウェア加速クラスタ）は、或いはコンピュータ・ビジョン加速装置と本明細書で称され得るプログラマブル・ビジョン加速装置（ＰＶＡ：ｐｒｏｇｒａｍｍａｂｌｅ ｖｉｓｉｏｎ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＰＶＡは、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）、自律運転、及び／又は拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）及び／又は仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）アプリケーションのためのコンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。ＰＶＡは、パフォーマンスと柔軟性との間のバランスをもたらすことができる。たとえば、各ＰＶＡは、たとえば、任意の数の縮小命令セット・コンピュータ（ＲＩＳＣ：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）コア、直接メモリ・アクセス（ＤＭＡ：ｄｉｒｅｃｔ ｍｅｍｏｒｙ ａｃｃｅｓｓ）、及び／又は任意の数のベクトル・プロセッサを含み得るが、これらに限定されない。

ＲＩＳＣコアは、画像センサ（たとえば、本明細書に記載のカメラのうちのいずれかのカメラの画像センサ）、画像信号プロセッサ、及び／又は同類のものと相互作用することができる。それぞれのＲＩＳＣコアは、任意の量のメモリを含み得る。ＲＩＳＣコアは、実施例に応じて、いくつかのプロトコルのいずれかを使用することができる。いくつかの実例では、ＲＩＳＣコアは、リアルタイム・オペレーティング・システム（ＲＴＯＳ：ｒｅａｌ－ｔｉｍｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を実行することができる。ＲＩＳＣコアは、１つ若しくは複数の集積回路デバイス、特定用途向け集積回路（ＡＳＩＣ）、及び／又はメモリ・デバイスを使用して、実装され得る。たとえば、ＲＩＳＣコアは、命令キャッシュ及び／又はしっかりと結合されたＲＡＭを含み得る。

ＤＭＡは、ＣＰＵ５０６から独立したシステム・メモリにＰＶＡの構成要素がアクセスすることを可能にし得る。ＤＭＡは、多次元アドレス指定及び／又は循環アドレス指定をサポートすることを含むがこれに限定されないＰＶＡに最適化をもたらすために使用される任意の数の特徴をサポートすることができる。いくつかの実例では、ＤＭＡは、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び／又は深度ステッピングを含み得る、６次元まで又はそれ以上のアドレス指定をサポートすることができる。

ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのプログラミングを効率的に柔軟に実行する及び信号処理能力を提供するように設計され得るプログラマブル・プロセッサでもよい。いくつかの実例では、ＰＶＡは、ＰＶＡコア及び２個のベクトル処理サブシステム・パーティションを含み得る。ＰＶＡコアは、プロセッサ・サブシステム、ＤＭＡエンジン（たとえば、２個のＤＭＡエンジン）、及び／又は他の周辺装置を含み得る。ベクトル処理サブシステムは、ＰＶＡの１次的処理エンジンとして動作することができ、ベクトル処理ユニット（ＶＰＵ：ｖｅｃｔｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、命令キャッシュ、及び／又はベクトル・メモリ（たとえば、ＶＭＥＭ）を含み得る。ＶＰＵコアは、たとえば、単一の命令、複数のデータ（ＳＩＭＤ）、超長命令語（ＶＬＩＷ：ｖｅｒｙ ｌｏｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｗｏｒｄ）デジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。ＳＩＭＤ及びＶＬＩＷの組合せは、スループット及びスピードを高めることができる。

それぞれのベクトル・プロセッサは、命令キャッシュを含み得、専用のメモリに連結され得る。結果として、一部の実例では、それぞれのベクトル・プロセッサは、他のベクトル・プロセッサから独立して実行するように構成され得る。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、データ並列処理を用いるように構成され得る。たとえば、一部の実施例では、単一のＰＶＡに含まれる複数のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを、しかし画像の異なる領域上で、実行することができる。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを、同じ画像上で、同時に実行することができ、或いは順次画像又は画像の部分で異なるアルゴリズムを実行することさえできる。特に、任意の数のＰＶＡは、ハードウェア加速クラスタに含まれ得、任意の数のベクトル・プロセッサは、それぞれのＰＶＡに含まれ得る。加えて、ＰＶＡは、全体的システム安全性を高めるために、追加のエラー訂正コード（ＥＣＣ：ｅｒｒｏｒ ｃｏｒｒｅｃｔｉｎｇ ｃｏｄｅ）メモリを含み得る。

加速装置５１４（たとえば、ハードウェア加速クラスタ）は、加速装置５１４のための高帯域幅、低レイテンシＳＲＡＭを提供するための、コンピュータ・ビジョン・ネットワーク・オンチップ及びＳＲＡＭを含み得る。いくつかの実例では、オンチップ・メモリは、たとえば、そして制限ではなく、ＰＶＡとＤＬＡとの両方によってアクセス可能でもよい、８個のフィールド構成可能なメモリ・ブロックから成る、少なくとも４ＭＢのＳＲＡＭを含み得る。各ペアのメモリ・ブロックは、高度周辺バス（ＡＰＢ：ａｄｖａｎｃｅｄ ｐｅｒｉｐｈｅｒａｌ ｂｕｓ）インターフェース、構成回路、コントローラ、及びマルチプレクサを含み得る。任意のタイプのメモリが、使用され得る。ＰＶＡ及びＤＬＡは、メモリへの高速アクセスを有するＰＶＡ及びＤＬＡを提供するバックボーンを介してメモリにアクセスすることができる。バックボーンは、（たとえば、ＡＰＢを使用して）ＰＶＡ及びＤＬＡをメモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。

コンピュータ・ビジョン・ネットワーク・オンチップは、ＰＶＡとＤＬＡとの両方が作動可能及び有効信号を提供することを、任意の制御信号／アドレス／データの送信の前に、決定するインターフェースを含み得る。そのようなインターフェースは、制御信号／アドレス／データを送信するための別個のフェーズ及び別個のチャネル、並びに連続的データ転送のためのバーストタイプの通信を提供することができる。このタイプのインターフェースは、ＩＳＯ２６２６２又はＩＥＣ６１５０８規格に従うことができるが、他の規格及びプロトコルが使用されてもよい。

いくつかの実例では、ＳｏＣ５０４は、特許文献１に記載されるような、リアルタイム・レイトレーシング・ハードウェア加速装置を含み得る。リアルタイム・レイトレーシング・ハードウェア加速装置は、ＲＡＤＡＲ信号解釈のための、音響伝播合成及び／又は分析のための、ＳＯＮＡＲシステムのシミュレーションのための、一般波伝播シミュレーションのための、ローカリゼーション及び／又は他の機能を目的とするＬＩＤＡＲデータに対する比較のための、及び／又は他の使用のための、リアルタイム視覚化シミュレーションを生成するために、（たとえば、世界モデル内の）物体の位置及び規模を迅速に効率的に決定するために使用され得る。一部の実施例では、１つ又は複数の木の走査ユニット（ＴＴＵ：ｔｒｅｅ ｔｒａｖｅｒｓａｌ ｕｎｉｔ）が、１つ又は複数のレイトレーシング関連動作を実行するために使用され得る。

加速装置５１４（たとえば、ハードウェア加速装置クラスタ）は、自律運転のための多様な用途を有する。ＰＶＡは、ＡＤＡＳ及び自律型車両における極めて重要な処理段階に使用され得るプログラマブル・ビジョン加速装置でもよい。ＰＶＡの能力は、低電力及び低レイテンシにおいて、予測可能な処理を必要とするアルゴリズムの領域にふさわしい。言い換えれば、ＰＶＡは、低レイテンシ及び低電力とともに予測可能な実行時間を必要とする、小さなデータ集合上でも、半高密度の又は高密度の通常の計算で上手く機能する。それ故に、ＰＶＡは、物体検出及び整数計算での動作において効率的であるので、自律型車両のためのプラットフォームとの関連で、ＰＶＡは、クラシック・コンピュータ・ビジョン・アルゴリズムを実行するように設計される。

たとえば、本技術の１つの実施例によれば、ＰＶＡは、コンピュータ・ステレオ・ビジョンを実行するために使用される。半グローバルなマッチングベースのアルゴリズムが、一部の実例では使用され得るが、これは制限することを意図されていない。レベル３～５の自律運転のための多数のアプリケーションは、動き推定／ステレオ・マッチング・オンザフライ（たとえば、ＳＦＭ（ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ）、歩行者認識、レーン検出など）を必要とする。ＰＶＡは、２個の単眼カメラからの入力でコンピュータ・ステレオ・ビジョン機能を実行することができる。

いくつかの実例では、ＰＶＡは、高密度のオプティカル・フローを実行するために使用され得る。処理されたＲＡＤＡＲを提供するために未加工のＲＡＤＡＲデータを処理する（たとえば、４Ｄ高速フーリエ変換を使用して）ことによる。他の実例において、ＰＶＡは、たとえば、飛行データの未加工の時間を処理して飛行データの処理済み時間を提供することにより、飛行深度処理の時間に使用される。

ＤＬＡは、たとえば、各物体検出の信頼性の測定値を出力するニューラル・ネットワークを含む、制御及び運転安全性を強化するために任意のタイプのネットワークを実行するために使用され得る。そのような信頼性値は、確率として、又は他の検出と比較した各検出の相対的「重み」を提供するものとして、解釈され得る。この信頼性値は、どの検出が誤判定検出ではなくて真陽性検出と考えられるべきであるかに関するさらなる決定をシステムが行うことを可能にする。たとえば、システムは、信頼性の閾値を設定し、真陽性検出としての閾値を超える検出のみを考慮することができる。自動非常ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）システムにおいて、誤判定検出は、車両に非常ブレーキを自動で実行させることになり、これは明らかに望ましくない。したがって、最も確信のある検出のみが、ＡＥＢのトリガとして考えられるべきである。ＤＬＡは、信頼性値を回帰するニューラル・ネットワークを実行し得る。ニューラル・ネットワークは、境界ボックス次元、（たとえば、別のサブシステムから）取得されたグラウンド・プレーン推定、ニューラル・ネットワーク及び／又は他のセンサ（たとえば、ＬＩＤＡＲセンサ５６４又はＲＡＤＡＲセンサ５６０）から取得された物体の車両５００方位、距離、３Ｄ位置推定と相関する慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ５６６出力、その他など、少なくともいくつかのサブセットのパラメータをその入力として受け取ることができる。

ＳｏＣ５０４は、データ・ストア５１６（たとえば、メモリ）を含み得る。データ・ストア５１６は、ＳｏＣ５０４のオンチップ・メモリでもよく、ＧＰＵ及び／又はＤＬＡで実行されることになるニューラル・ネットワークを記憶することができる。いくつかの実例では、データ・ストア５１６は、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分な大きさの容量を有し得る。データ・ストア５１２は、Ｌ２又はＬ３キャッシュ５１２を備え得る。データ・ストア５１６の参照は、本明細書に記載のような、ＰＶＡ、ＤＬＡ、及び／又は他の加速装置５１４に関連するメモリの参照を含み得る。

ＳｏＣ５０４は、１つ又は複数のプロセッサ５１０（たとえば、組み込まれたプロセッサ）を含み得る。プロセッサ５１０は、ブート電力及び管理能力及び関連するセキュリティ施行を処理するための専用のプロセッサ及びサブシステムでもよいブート及び電力管理プロセッサを含み得る。ブート及び電力管理プロセッサは、ＳｏＣ５０４ブート・シーケンスの一部でもよく、実行時間電力管理サービスを提供することができる。ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、ＳｏＣ５０４熱及び温度センサの管理、及び／又はＳｏＣ５０４電力状態の管理を提供することができる。各温度センサは、その出力頻度が温度に比例するリング発振器として実装されてもよく、ＳｏＣ５０４は、リング発振器を使用してＣＰＵ５０６、ＧＰＵ５０８、及び／又は加速装置５１４の温度を検出することができる。温度が、閾値を超えたと判定された場合、ブート及び電力管理プロセッサは、温度障害ルーティンに入り、ＳｏＣ５０４をより低い電力状態に置く及び／又は車両５００をショーファーの安全停止モードにする（たとえば、車両５００を安全停止させる）ことができる。

プロセッサ５１０は、オーディオ処理エンジンの機能を果たし得る１セットの組み込まれたプロセッサをさらに含み得る。オーディオ処理エンジンは、複数のインターフェースを介するマルチチャネル・オーディオの完全なハードウェア・サポートとオーディオＩ／Ｏインターフェースの広く柔軟な範囲とを可能にするオーディオ・サブシステムでもよい。いくつかの実例では、オーディオ処理エンジンは、専用のＲＡＭを有するデジタル信号プロセッサを有する専用のプロセッサ・コアである。

プロセッサ５１０は、低電力センサ管理及びウェイク使用事例をサポートするための必要なハードウェア特徴を提供することができる常時オンのプロセッサ・エンジンをさらに含み得る。常時オンのプロセッサ・エンジンは、プロセッサ・コア、しっかりと結合されたＲＡＭ、支援周辺装置（たとえば、タイマ及び割り込みコントローラ）、様々なＩ／Ｏコントローラ周辺装置、及びルーティング論理を含み得る。

プロセッサ５１０は、自動車のアプリケーションの安全性管理を処理するために専用のプロセッサ・サブシステムを含む安全性クラスタ・エンジンをさらに含み得る。安全性クラスタ・エンジンは、２個以上のプロセッサ・コア、しっかりと結合されたＲＡＭ、サポート周辺装置（たとえば、タイマ、割り込みコントローラなど）、及び／又はルーティング論理を含み得る。安全性モードにおいて、２個以上のコアは、ロックステップ・モードにおいて動作し、それらの動作の間の何らかの差を検出するための比較論理を有する単一のコアとして機能することができる。

プロセッサ５１０は、リアルタイム・カメラ管理を処理するための専用のプロセッサ・サブシステムを含み得るリアルタイム・カメラ・エンジンをさらに含み得る。

プロセッサ５１０は、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る高ダイナミック・レンジ信号プロセッサをさらに含み得る。

プロセッサ５１０は、プレイヤ・ウインドウのための最終的画像を生み出すためにビデオ再生アプリケーションによって必要とされるビデオ処理後機能を実装する処理ブロック（たとえば、マイクロプロセッサに実装された）でもよいビデオ画像合成器を含み得る。ビデオ画像合成器は、ワイドビュー・カメラ５７０で、サラウンド・カメラ５７４で、及び／又はキャビン内監視カメラ・センサでレンズ歪み補正を実行することができる。キャビン内監視カメラ・センサは好ましくは、キャビン内イベントを識別し、適切に応答するように構成された、高度ＳｏＣの別のインスタンス上で実行するニューラル・ネットワークによって監視される。キャビン内システムは、セルラ・サービスをアクティブにする及び電話をかける、電子メールを書き取らせる、車両の目的地を変更する、車両のインフォテインメント・システム及び設定をアクティブにする又は変更する、或いは音声起動型ウェブ・サーフィンを提供するために、読唇術を実行することができる。ある特定の機能は、自律モードで動作しているときにのみ運転者に利用可能であり、そうでない場合には無効にされる。

ビデオ画像合成器は、空間的ノイズ低減及び時間的ノイズ低減の両方のための強化された時間的ノイズ低減を含み得る。たとえば、動きがビデオ内で生じた場合、ノイズ低減は、隣接するフレームによって提供される情報の重みを減らし、空間的情報に適切に重みを加える。画像又は画像の一部が動きを含まない場合、ビデオ画像合成器によって実行される時間的ノイズ低減は、前の画像からの情報を使用して現在の画像におけるノイズを減らすことができる。

ビデオ画像合成器はまた、入力ステレオ・レンズ・フレーム上でステレオ・レクティフィケーションを実行するように構成され得る。ビデオ画像合成器はさらに、オペレーティング・システム・デスクトップが使用中であるときにユーザ・インターフェース合成のために使用することができ、ＧＰＵ５０８は、新しい表面を連続してレンダリングために必要とされない。ＧＰＵ５０８の電源が入れられ、３Ｄレンダリングをアクティブに行っているときでも、ビデオ画像合成器は、ＧＰＵ５０８をオフロードしてパフォーマンス及び反応性を向上させるために使用され得る。

ＳｏＣ５０４は、カメラからビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース（ＭＩＰＩ：ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）カメラ・シリアル・インターフェース、高速インターフェース、及び／又は、カメラ及び関連画素入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。ＳｏＣ５０４は、ソフトウェアによって制御され得る、及び特定の役割にコミットされていないＩ／Ｏ信号を受信するために使用され得る、入力／出力コントローラをさらに含み得る。

ＳｏＣ５０４は、周辺装置、オーディオ・コーデック、電力管理、及び／又は他のデバイスとの通信を可能にするために、広範囲の周辺インターフェースをさらに含み得る。ＳｏＣ５０４は、（たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット（登録商標）を介して接続された）カメラからのデータ、センサ（たとえば、イーサネット（登録商標）を介して接続され得るＬＩＤＡＲセンサ５６４、ＲＡＤＡＲセンサ５６０など）、バス５０２からのデータ（たとえば、車両５００のスピード、ハンドル位置など）、（たとえば、イーサネット（登録商標）又はＣＡＮバスを介して接続された）ＧＮＳＳセンサ５５８からのデータを処理するために使用され得る。ＳｏＣ５０４は、独自のＤＭＡエンジンを含み得る及びルーティン・データ管理タスクからＣＰＵ５０６を解放するために使用され得る専用の高性能大容量記憶コントローラをさらに含み得る。

ＳｏＣ５０４は、自動化レベル３～５に広がる柔軟なアーキテクチャを有する終端間プラットフォームでもよく、それによって、多様性及び冗長性のためにコンピュータ・ビジョン及びＡＤＡＳ技法を活用し、効率的に使用し、深層学習ツールとともに、柔軟な、信頼できる運転ソフトウェア・スタックのためのプラットフォームを提供する、総合的機能的安全性アーキテクチャを提供する。ＳｏＣ５０４は、従来のシステムよりも高速で、信頼でき、さらにエネルギ効率がよく、空間効率がよくなり得る。たとえば、加速装置５１４が、ＣＰＵ５０６と結合されるとき、ＧＰＵ５０８、及びデータ・ストア５１６は、レベル３～５の自律型車両のための高速で効率的なプラットフォームを提供することができる。

したがって、本技術は、従来のシステムによって達成することができない能力及び機能性をもたらす。たとえば、コンピュータ・ビジョン・アルゴリズムは、多種多様な視覚的データにわたり多種多様な処理アルゴリズムを実行するために、Ｃプログラミング言語などの高レベルのプログラミング言語を使用して構成され得る、ＣＰＵで実行され得る。しかしながら、ＣＰＵは、しばしば、たとえば、実行時間及び電力消費に関連するものなど、多数のコンピュータ・ビジョン・アプリケーションの性能要件を満たすことができない。具体的には、多数のＣＰＵは、車両内ＡＤＡＳアプリケーションの要件及び実際のレベル３～５の自律型車両の要件である、リアルタイムでの複合物体検出アルゴリズムを実行することができない。

従来のシステムとは対照的に、ＣＰＵ複合体、ＧＰＵ複合体、及びハードウェア加速クラスタを提供することによって、本明細書に記載の技術は、複数のニューラル・ネットワークが同時に及び／又は連続して実行されることと、レベル３～５の自律運転機能を可能にするために結果が結合されることとを可能にする。たとえば、ＤＬＡ又はｄＧＰＵ（たとえば、ＧＰＵ５２０）で実行するＣＮＮは、ニューラル・ネットワークが具体的にトレーニングされていない標識を含む、交通標識をスーパーコンピュータが読み取る及び理解することを可能にする、テキスト及び単語認識を含み得る。ＤＬＡは、標識の意味論的理解を識別、解釈、及び提供することと、ＣＰＵ複合体で実行する進路計画立案モジュールに意味論的理解を渡すこととを行うことができる、ニューラル・ネットワークをさらに含み得る。

別の実例として、複数のニューラル・ネットワークは、レベル３、４、又は５の運転に必要とされるように、同時に実行され得る。たとえば、電光とともに、「注意：点滅光は、凍った状態を示す」から成る警告標識は、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。標識自体は、第１の配備されたニューラル・ネットワーク（たとえば、トレーニングされてあるニューラル・ネットワーク）によって交通標識として識別され得、テキスト「点滅光は、凍った状態を示す」は、点滅光が検出されるときには凍った状態が存在することを車両の進路計画立案ソフトウェア（好ましくはＣＰＵ複合体上で実行する）に知らせる、第２の配備されたニューラル・ネットワークによって解釈され得る。点滅光は、点滅光の存在（又は無いこと）を車両の進路計画立案ソフトウェアに知らせ、複数のフレームを介して第３の配備されたニューラル・ネットワークを動作させることによって識別され得る。すべての３個のニューラル・ネットワークは、ＤＬＡ内及び／又はＧＰＵ５０８上などで、同時に実行することができる。

いくつかの実例では、顔認識及び車両所有者識別のためのＣＮＮは、カメラ・センサからのデータを使用して車両５００の正規の運転者及び／又は所有者の存在を識別することができる。常時オンのセンサ処理エンジンは、所有者が運転席側のドアに近づくときに車両を解錠する及び明かりをつけるために、並びに、セキュリティ・モードにおいて、所有者が車両を離れるときに車両の動作を停止させるために、使用され得る。このようにして、ＳｏＣ５０４は、盗難及び／又は車の乗っ取りに対するセキュリティをもたらす。

別の実例では、緊急車両検出及び識別のためのＣＮＮは、マイクロフォン５９６からのデータを使用して緊急車両サイレンを検出及び識別することができる。一般分類子を使用してサイレンを検出する及び特徴を手動で抽出する従来のシステムとは対照的に、ＳｏＣ５０４は、環境の及び都市の音の分類、並びに視覚的データの分類のためにＣＮＮを使用する。好ましい一実施例では、ＤＬＡ上で実行するＣＮＮは、（たとえば、ドップラー効果を使用することによって）緊急車両の相対的終速度を識別するようにトレーニングされる。ＣＮＮはまた、ＧＮＳＳセンサ５５８によって識別されるように、車両が稼働しているローカル・エリアに特有の緊急車両を識別するようにトレーニングされ得る。それ故に、たとえば、欧州で稼働しているとき、ＣＮＮは、欧州のサイレンを検出しようとすることになり、そして、米国にあるとき、ＣＮＮは、北米のサイレンのみを識別しようとすることになる。緊急車両が検出された後は、制御プログラムが、緊急車両が通過するまで、超音波センサ５６２の支援を受けて、車両を減速する、道の端に停止させる、車両を駐車する、及び／又は車両をアイドリングさせる、緊急車両安全性ルーティンを実行するために使用され得る。

車両は、高速相互接続（たとえば、ＰＣＩｅ）を介してＳｏＣ５０４に連結され得るＣＰＵ５１８（たとえば、個別のＣＰＵ、又はｄＣＰＵ）を含み得る。ＣＰＵ５１８は、たとえば、Ｘ８６プロセッサを含み得る。ＣＰＵ５１８は、たとえば、ＡＤＡＳセンサとＳｏＣ５０４との間の潜在的に不整合の結果を調停すること、及び／又はコントローラ５３６及び／又はインフォテインメントＳｏＣ５３０の状況及び調子を監視することを含む、様々な機能のいずれかを実行するために使用され得る。

車両５００は、高速相互接続（たとえば、ＮＶＩＤＩＡのＮＶＬＩＮＫ）を介してＳｏＣ５０４に連結され得るＧＰＵ５２０（たとえば、個別のＧＰＵ、又はｄＧＰＵ）を含み得る。ＧＰＵ５２０は、冗長及び／又は異なるニューラル・ネットワークを実行することなどによって、付加的人工知能機能をもたらすことができ、車両５００のセンサからの入力（たとえば、センサ・データ）に基づいてニューラル・ネットワークをトレーニング及び／又は更新するために使用され得る。

車両５００は、１つ又は複数のワイヤレス・アンテナ５２６（たとえば、セルラ・アンテナ、ブルートゥース（登録商標）・アンテナなど、異なる通信プロトコルのための１つ又は複数のワイヤレス・アンテナ）を含み得るネットワーク・インターフェース５２４をさらに含み得る。ネットワーク・インターフェース５２４は、インターネットを介するクラウドとの（たとえば、サーバ５７８及び／又は他のネットワーク・デバイスとの）、他の車両との、及び／又は計算デバイス（たとえば、乗客のクライアント・デバイス）とのワイヤレス接続を使用可能にするために使用され得る。他の車両と通信するために、直接リンクが２個の車両の間に確立され得る、及び／又は、間接リンクが（たとえば、ネットワークを通じて及びインターネットを介して）確立され得る。直接リンクは、車両対車両通信リンクを使用し、提供され得る。車両対車両通信リンクは、車両５００に近接する車両（たとえば、車両５００の前の、横の、及び／又は後ろの車両）に関する車両５００情報を提供することができる。この機能は、車両５００の共同適応クルーズ制御機能の一部でもよい。

ネットワーク・インターフェース５２４は、変調及び復調機能を提供する及びコントローラ５３６がワイヤレス・ネットワークを介して通信することを可能にする、ＳｏＣを含み得る。ネットワーク・インターフェース５２４は、ベースバンドから無線周波数へのアップコンバージョン、及び無線周波数からベースバンドへのダウンコンバージョンのための無線周波数フロントエンドを含み得る。周波数コンバージョンは、よく知られているプロセスを通して実行することができ、及び／又はスーパーヘテロダイン・プロセスを用いて実行することができる。いくつかの実例では、無線周波数フロントエンド機能は、別個のチップによって提供され得る。ネットワーク・インターフェースは、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含み得る。

車両５００は、チップ外の（たとえば、ＳｏＣ５０４外の）ストレージを含み得るデータ・ストア５２８をさらに含み得る。データ・ストア５２８は、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュ、ハードディスク、及び／又は、少なくとも１ビットのデータを記憶することができる他の構成要素及び／又はデバイスを含む、１つ又は複数の記憶素子を含み得る。

車両５００は、ＧＮＳＳセンサ５５８をさらに含み得る。ＧＮＳＳセンサ５５８（たとえば、ＧＰＳ、支援されたＧＰＳセンサ、ディファレンシャルＧＰＳ（ＤＧＰＳ）センサなど）は、マッピング、知覚、占有グリッド生成、及び／又は進路計画策定機能を支援する。たとえば、シリアル（ＲＳ－２３２）ブリッジへのイーサネット（登録商標）を有するＵＳＢコネクタを使用するＧＰＳを含むが、これに限定されない、任意の数のＧＮＳＳセンサ５５８が、使用され得る。

車両５００は、ＲＡＤＡＲセンサ５６０をさらに含み得る。ＲＡＤＡＲセンサ５６０は、暗闇及び／又は厳しい気象条件においても、長距離車両検出のために車両５００によって使用され得る。ＲＡＤＡＲ機能安全性レベルは、ＡＳＩＬ Ｂでもよい。一部の実例では、ＲＡＤＡＲセンサ５６０は、未加工のデータにアクセスするためのイーサネット（登録商標）へのアクセスを用いて、制御のために及び物体追跡データにアクセスするために（たとえば、ＲＡＤＡＲセンサ５６０によって生成されたデータを送信するために）ＣＡＮ及び／又はバス５０２を使用することができる。多種多様なＲＡＤＡＲセンサ・タイプが、使用され得る。たとえば、そして制限なしに、ＲＡＤＡＲセンサ５６０は、前部、後部、及び側部ＲＡＤＡＲ使用に適し得る。一部の実例では、パルス・ドップラーＲＡＤＡＲセンサが使用される。

ＲＡＤＡＲセンサ５６０は、狭い視野を有する長距離、広い視野を有する短距離、短距離側部カバレッジなど、異なる構成を含み得る。いくつかの実例では、長距離ＲＡＤＡＲは、適応クルーズ制御機能のために使用され得る。長距離ＲＡＤＡＲシステムは、２５０ｍの範囲内など、２個以上の独立したスキャンによって実現される広い視野を提供することができる。ＲＡＤＡＲセンサ５６０は、静的物体と動く物体との区別を助けることができ、緊急ブレーキ・アシスト及び前方衝突警報のためのＡＤＡＳシステムによって使用され得る。長距離ＲＡＤＡＲセンサは、複数の（たとえば、６つ以上の）固定ＲＡＤＡＲアンテナと高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースとを有するモノスタティック・マルチモーダルＲＡＤＡＲを含み得る。６つのアンテナを有する一実例では、中央の４個のアンテナは、隣接レーン内の交通からの干渉を最小限にして高速で車両５００の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。他の２個のアンテナは、視野を広げることができ、車両５００のレーンに入る又はこれを去る車両を迅速に検出することを可能にする。

一実例として、中距離ＲＡＤＡＲシステムは、５６０ｍ（前）又は８０ｍ（後）までの範囲、及び４２度（前）又は５５０度（後）までの視野を含み得る。短距離ＲＡＤＡＲシステムは、後部バンパの両端に設置されるように設計されたＲＡＤＡＲセンサを含み得るが、これに限定されない。後部バンパの両端に設置されるとき、そのようなＲＡＤＡＲセンサ・システムは、車両の後ろ及び隣の死角を常に監視する２個のビームを作成することができる。

短距離ＲＡＤＡＲシステムは、死角検出及び／又はレーン変更アシストのためにＡＤＡＳシステムにおいて使用され得る。

車両５００は、超音波センサ５６２をさらに含み得る。車両５００の前部、後部、及び／又は側部に位置付けられ得る、超音波センサ５６２は、駐車アシストのために及び／又は占有グリッドの作成及び更新のために使用され得る。多種多様な超音波センサ５６２が使用され得、異なる超音波センサ５６２が、異なる範囲の検出（たとえば、２．５ｍ、４ｍ）のために使用され得る。超音波センサ５６２は、ＡＳＩＬ Ｂの機能的安全性レベルにおいて動作することができる。

車両５００はＬＩＤＡＲセンサ５６４を含み得る。ＬＩＤＡＲセンサ５６４は、物体及び歩行者検出、緊急ブレーキ、衝突回避、及び／又は他の機能のために使用され得る。ＬＩＤＡＲセンサ５６４は、機能的安全性レベルＡＳＩＬ Ｂでもよい。いくつかの実例では、車両５００は、（たとえば、ギガビット・イーサネット（登録商標）・スイッチにデータを提供するために）イーサネット（登録商標）を使用することができる複数の（たとえば、２個、４個、６個などの）ＬＩＤＡＲセンサ５６４を含み得る。

いくつかの実例では、ＬＩＤＡＲセンサ５６４は、物体及び３６０度視野のそれらの距離のリストを提供する能力を有し得る。市販のＬＩＤＡＲセンサ５６４は、たとえば、２ｃｍ～３ｃｍの精度を有し、５００Ｍｂｐｓイーサネット（登録商標）接続のサポートを有して、約５００ｍの広告された範囲を有し得る。いくつかの実例では、１つ又は複数の非突出したＬＩＤＡＲセンサ５６４が、使用され得る。そのような実例では、ＬＩＤＡＲセンサ５６４は、車両５００の前部、後部、側部、及び／又は角に組み込まれ得る小さいデバイスとして実装され得る。そのような実例では、ＬＩＤＡＲセンサ５６４は、低反射物体についても２００ｍの範囲を有し、１２０度水平及び３５度垂直視野まで提供することができる。前部に取り付けられたＬＩＤＡＲセンサ５６４は、４５度と１３５度との間の水平視野向けに構成され得る。

いくつかの実例では、３ＤフラッシュＬＩＤＡＲなどのＬＩＤＡＲ技術もまた使用され得る。３ＤフラッシュＬＩＤＡＲは、約２００ｍまで車両の周囲を照らすために、送信元としてレーザーのフラッシュを使用する。フラッシュＬＩＤＡＲユニットは、車両から物体までの範囲に順番に対応する、レーザー・パルス走行時間及び各画素上の反射光を記録する、レセプタを含む。フラッシュＬＩＤＡＲは、周囲の高精度の及び歪みのない画像があらゆるレーザー・フラッシュで生成されることを可能にし得る。いくつかの実例では、４個のフラッシュＬＩＤＡＲセンサが、車両５００の各側面に１つずつ、配備され得る。利用可能な３ＤフラッシュＬＩＤＡＲシステムは、送風機以外に動く部分を有さないソリッドステート３Ｄステアリング・アレイＬＩＤＡＲカメラ（たとえば、非スキャン型ＬＩＤＡＲデバイス）を含む。フラッシュＬＩＤＡＲデバイスは、１フレームにつき５ナノ秒クラスＩ（目に安全な）レーザー・パルスを使用することができ、３Ｄ範囲点群及び共記載された強度データの形で反射レーザー光をキャプチャし得る。フラッシュＬＩＤＡＲを使用することによって、また、フラッシュＬＩＤＡＲは、動く部分を有さないソリッドステート・デバイスであるので、ＬＩＤＡＲセンサ５６４は、モーション・ブラー、振動、及び／又は衝撃の影響を受けにくくなり得る。

車両は、ＩＭＵセンサ５６６をさらに含み得る。一部の実例では、ＩＭＵセンサ５６６は、車両５００の後部車軸の中央に位置付けられ得る。ＩＭＵセンサ５６６は、たとえば、加速度計、磁力計、ジャイロスコープ、磁気コンパス、及び／又は他のセンサ・タイプを含み得るが、これらに限定されない。いくつかの実例では、６軸アプリケーションなどにおいて、ＩＭＵセンサ５６６は、加速度計及びジャイロスコープを含み得るが、９軸アプリケーションにおいて、ＩＭＵセンサ５６６は、加速度計、ジャイロスコープ、及び磁力計を含み得る。

一部の実施例では、ＩＭＵセンサ５６６は、マイクロ電気機械システム（ＭＥＭＳ：ｍｉｃｒｏ－ｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍ）慣性センサ、高感度ＧＰＳレシーバ、及び高度カルマン・フィルタリング・アルゴリズムを結合して位置、ベロシティ、及び姿勢の推定値を提供するミニチュア、高性能ＧＰＳ支援型慣性航行システム（ＧＰＳ／ＩＮＳ：ＧＰＳ－Ａｉｄｅｄ Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）として実装され得る。そのようなものとして、一部の実例では、ＩＭＵセンサ５６６は、ＧＰＳからＩＭＵセンサ５６６までのベロシティの変化を直接観測すること及び関連付けることによって、磁気センサからの入力を必要とせずに進行方向を車両５００が推定することを可能にし得る。いくつかの実例では、ＩＭＵセンサ５６６及びＧＮＳＳセンサ５５８は、単一の統合されたユニットにおいて結合され得る。

車両は、車両５００内及び／又は周囲に置かれたマイクロフォン５９６を含み得る。マイクロフォン５９６は、中でも、緊急車両検出及び識別のために使用され得る。

車両は、ステレオ・カメラ５６８、ワイドビュー・カメラ５７０、赤外線カメラ５７２、サラウンド・カメラ５７４、長距離及び／又は中距離カメラ５９８、及び／又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。カメラは、車両５００の全外面の周りの画像データをキャプチャするために使用され得る。使用されるカメラのタイプは、車両５００の実施例及び要件に応じて決まり、任意の組合せのカメラ・タイプが、車両５００の周りの必要なカバレッジを実現するために使用され得る。加えて、カメラの数は、実施例に応じて異なり得る。たとえば、車両は、６個のカメラ、７個のカメラ、１０個のカメラ、１２個のカメラ、及び／又は別の数のカメラを含み得る。カメラは、一実例として、ギガビット・マルチメディア・シリアル・リンク（ＧＭＳＬ：Ｇｉｇａｂｉｔ Ｍｕｌｔｉｍｅｄｉａ Ｓｅｒｉａｌ Ｌｉｎｋ）及び／又はギガビット・イーサネット（登録商標）をサポートし得るが、これに限定されない。それぞれのカメラは、図５Ａ及び図５Ｂに関連して本明細書においてさらに詳しく説明される。

車両５００は、振動センサ５４２をさらに含み得る。振動センサ５４２は、車軸など、車両の構成要素の振動を測定することができる。たとえば、振動の変化は、道路の表面の変化を示し得る。別の実例では、２個以上の振動センサ５４２が使用されるとき、振動の差は、道路表面の摩擦又は滑りを判定するために使用され得る（たとえば、振動の差が電力駆動車軸と自由回転車軸との間であるとき）。

車両５００は、ＡＤＡＳシステム５３８を含み得る。一部の実例では、ＡＤＡＳシステム５３８は、ＳｏＣを含み得る。ＡＤＡＳシステム５３８は、自律／適応／自動クルーズ制御（ＡＣＣ：ａｕｔｏｎｏｍｏｕｓ／ａｄａｐｔｉｖｅ／ａｕｔｏｍａｔｉｃ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、共同適応クルーズ制御（ＣＡＣＣ：ｃｏｏｐｅｒａｔｉｖｅ ａｄａｐｔｉｖｅ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、前方衝突警報（ＦＣＷ：ｆｏｒｗａｒｄ ｃｒａｓｈ ｗａｒｎｉｎｇ）、自動緊急ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）、車線逸脱警報（ＬＤＷ：ｌａｎｅ ｄｅｐａｒｔｕｒｅ ｗａｒｎｉｎｇ）、レーン・キープ・アシスト（ＬＫＡ：ｌａｎｅ ｋｅｅｐ ａｓｓｉｓｔ）、死角警報（ＢＳＷ：ｂｌｉｎｄ ｓｐｏｔ ｗａｒｎｉｎｇ）、後部交差交通警報（ＲＣＴＷ：ｒｅａｒ ｃｒｏｓｓ－ｔｒａｆｆｉｃ ｗａｒｎｉｎｇ）、衝突警報システム（ＣＷＳ：ｃｏｌｌｉｓｉｏｎ ｗａｒｎｉｎｇ ｓｙｓｔｅｍ）、レーン・センタリング（ＬＣ：ｌａｎｅ ｃｅｎｔｅｒｉｎｇ）、及び／又は他の特徴及び機能を含み得る。

ＡＣＣシステムは、ＲＡＤＡＲセンサ５６０、ＬＩＤＡＲセンサ５６４、及び／又はカメラを使用し得る。ＡＣＣシステムは、縦ＡＣＣ及び／又は横ＡＣＣを含み得る。縦ＡＣＣは、車両５００の直ぐ前の車両までの距離を監視及び制御し、前方の車両からの安全距離を維持するために車両速度を自動的に調整する。横ＡＣＣは、距離の保持を実行し、必要なときにレーンを変更するように車両５００にアドバイスする。横ＡＣＣは、ＬＣＡ及びＣＷＳなどの他のＡＤＡＳアプリケーションに関連する。

ＣＡＣＣは、ワイヤレス・リンクを介して他の車両からネットワーク・インターフェース５２４及び／又はワイヤレス・アンテナ５２６を介して、或いは間接的にネットワーク接続を介して（たとえば、インターネットを介して）、受信することができる、他の車両からの情報を使用する。直接リンクは、車両対車両（Ｖ２Ｖ：ｖｅｈｉｃｌｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって提供され得、一方、間接リンクは、インフラストラクチャ対車両（Ｉ２Ｖ：ｉｎｆｒａｓｔｒｕｃｔｕｒｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクでもよい。一般に、Ｖ２Ｖ通信概念は、直前の車両（たとえば、車両５００と同じレーン内にある、車両５００の直ぐ前の車両）に関する情報を提供し、一方、Ｉ２Ｖ通信概念は、さらに前の交通に関する情報を提供する。ＣＡＣＣシステムは、Ｉ２Ｖ情報ソースとＶ２Ｖ情報ソースとのいずれか又は両方を含み得る。車両５００の前方の車両の情報を所与として、ＣＡＣＣは、より高信頼になり得、ＣＡＣＣは、交通の流れをよりスムーズにし、道路の渋滞を減らす可能性を有する。

運転者が修正行動を取ることができるように、ＦＣＷシステムは、危険を運転者に警告するように設計される。ＦＣＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ５６０を使用する。ＦＣＷシステムは、音響、視覚的警報、振動及び／又はクイック・ブレーキ・パルスなどの形で、警報を提供することができる。

ＡＥＢシステムは、別の車両又は他の物体との差し迫った前方衝突を検出し、運転者が指定された時間又は距離パラメータ内に修正行動を取らない場合に、ブレーキを自動的に適用することができる。ＡＥＢシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ５６０を使用することができる。ＡＥＢシステムが危険を検出するとき、ＡＥＢシステムは通常は、先ず、衝突を回避するための修正行動を取るように運転者に警告し、運転者が修正行動を取らない場合、ＡＥＢシステムは、予測される衝突の影響を防ぐ、又は少なくとも軽減するための努力の一環としてブレーキを自動的に適用することができる。ＡＥＢシステムは、ダイナミック・ブレーキ・サポート及び／又は衝突切迫ブレーキなどの技法を含み得る。

ＬＤＷシステムは、ハンドル又はシートの振動など、視覚的、可聴式、及び／又は触覚的警報を提供して、車両５００が車線区分線を越えたときに運転者に警告する。ＬＤＷシステムは、運転者が、方向指示器を起動することによって、意図的な車線逸脱を指示するときには、起動しない。ＬＤＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前側を向いたカメラを使用することができる。

ＬＫＡシステムは、ＬＤＷシステムの変更形態である。ＬＫＡシステムは、車両５００が車線をはみ出し始めた場合に車両５００を修正するためにステアリング入力又はブレーキを提供する。

ＢＳＷシステムは、自動車の死角において車両の運転者に検出及び警告する。ＢＳＷシステムは、合流又はレーンの変更が安全ではないことを指示するために視覚的、可聴式、及び／又は触覚的警告を提供することができる。システムは、運転者が方向指示器を使用するとき、付加的警報を提供し得る。ＢＳＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に連結された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、後ろ側を向いたカメラ及び／又はＲＡＤＡＲセンサ５６０を使用し得る。

ＲＣＴＷシステムは、車両５００がバックしているときにリアカメラの範囲外で物体が検出されたときに視覚的、可聴式、及び／又は触覚的通知を提供することができる。いくつかのＲＣＴＷシステムは、衝突を回避するために車両ブレーキが適用されることを確実にするために、ＡＥＢを含む。ＲＣＴＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に連結された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、１つ又は複数の後ろを向いたＲＡＤＡＲセンサ５６０を使用することができる。

従来のＡＤＡＳシステムは、運転者に警告し、安全状態が本当に存在するかどうかを運転者が判定し、それに応じて行動することを可能にするので、従来のＡＤＡＳシステムは、通常は壊滅的ではないが、運転者を悩ませている及び気を散らせていることがある誤判定結果を生み出す傾向にあることがあった。しかしながら、自律型車両５００では、結果が矛盾する場合には、車両５００自体が、１次的コンピュータ又は２次的コンピュータ（たとえば、第１のコントローラ５３６又は第２のコントローラ５３６）からの結果を聞き入れるかどうかを決定しなければならない。たとえば、一部の実施例では、ＡＤＡＳシステム５３８は、知覚情報をバックアップ・コンピュータ合理性モジュールに提供するためのバックアップ及び／又は２次的コンピュータでもよい。バックアップ・コンピュータ合理性モニタは、ハードウェア構成要素で冗長な多様なソフトウェアを実行して、知覚及び動的運転タスクにおいて障害を検出することができる。ＡＤＡＳシステム５３８からの出力は、監督ＭＣＵに提供され得る。１次的コンピュータ及び２次的コンピュータからの出力が矛盾する場合、監督ＭＣＵは、安全な動作を確実にするためにその矛盾をどのように調整するかを決定する必要がある。

いくつかの実例では、１次的コンピュータは、選択された結果における１次的コンピュータの信頼性を指示する、信頼性スコアを監督ＭＣＵに提供するように構成され得る。信頼性スコアが閾値を超えた場合、監督ＭＣＵは、２次的コンピュータが矛盾する又は不整合の結果を与えるかどうかにかかわらず、１次的コンピュータの指示に従い得る。信頼性スコアが閾値を満たさない場合、及び１次的及び２次的コンピュータが異なる結果を示す（たとえば、矛盾する）場合、監督ＭＣＵは、コンピュータの間で調停して適切な結果を決定することができる。

監督ＭＣＵは、２次的コンピュータが誤ったアラームを提供する状態を、１次的コンピュータ及び２次的コンピュータからの出力に基づいて、判定するようにトレーニング及び構成されたニューラル・ネットワークを実行するように構成され得る。したがって、監督ＭＣＵ内のニューラル・ネットワークは、２次的コンピュータの出力が信頼され得るとき、及びそれが信頼され得ないときを学習することができる。たとえば、２次的コンピュータがＲＡＤＡＲベースのＦＣＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、アラームをトリガする下水溝の鉄格子又はマンホールの蓋など、実際には危険ではない金属製の物をいつＦＣＷが識別しているかを学習することができる。同様に、２次的コンピュータがカメラベースのＬＤＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、自転車に乗った人又は歩行者が存在し、車線逸脱が、実際には、最も安全な操作であるときに、ＬＤＷを無視することを学習することができる。監督ＭＣＵ上で実行中のニューラル・ネットワークを含む実施例では、監督ＭＣＵは、関連メモリを有するニューラル・ネットワークを実行するのに適したＤＬＡ又はＧＰＵのうちの少なくとも１つを含み得る。好ましい実施例において、監督ＭＣＵは、ＳｏＣ５０４の構成要素を備え得る、及び／又はＳｏＣ５０４の構成要素として含まれ得る。

他の実例において、ＡＤＡＳシステム５３８は、コンピュータ・ビジョンの従来のルールを使用するＡＤＡＳ機能を実行する２次的コンピュータを含み得る。そのようなものとして、２次的コンピュータは、古典的コンピュータ・ビジョン・ルール（ｉｆ－ｔｈｅｎ）を使用することができ、監督ＭＣＵ内のニューラル・ネットワークの存在は、信頼性、安全性及び性能を向上させることができる。たとえば、多様な実装形態及び意図的な非同一性は、特にソフトウェア（又はソフトウェア－ハードウェア・インターフェース）機能によって引き起こされる障害に対して、システム全体をよりフォールトトレラントにする。たとえば、１次的コンピュータで実行中のソフトウェア内にソフトウェア・バグ又はエラーが存在し、２次的コンピュータで実行中の同一でないソフトウェア・コードが同じ総合的結果を提供する場合、監督ＭＣＵは、総合的結果は正しく、１次的コンピュータ上のソフトウェア又はハードウェア内のバグは重大なエラーを引き起こしていないというより大きな確信を有し得る。

いくつかの実例では、ＡＤＡＳシステム５３８の出力は、１次的コンピュータの知覚ブロック及び／又は１次的コンピュータの動的運転タスク・ブロックに供給され得る。たとえば、ＡＤＡＳシステム５３８が、直ぐ前の物体が原因で、前方衝突警報を示した場合、知覚ブロックは、物体を識別するときに、この情報を使用することができる。他の実例において、２次的コンピュータは、本明細書に記載のように、トレーニングされ、それ故に誤判定のリスクを減らす、独自のニューラル・ネットワークを有し得る。

車両５００は、インフォテインメントＳｏＣ５３０（たとえば、車両内のインフォテインメント・システム（ＩＶＩ：ｉｎ－ｖｅｈｉｃｌｅ ｉｎｆｏｔａｉｎｍｅｎｔ ｓｙｓｔｅｍ））をさらに含み得る。ＳｏＣとして図示及び記述されているが、インフォテインメント・システムは、ＳｏＣでなくてもよく、２個以上の個別の構成要素を含み得る。インフォテインメントＳｏＣ５３０は、オーディオ（たとえば、音楽、携帯情報端末、ナビゲーション命令、ニュース、無線など）、ビデオ（たとえば、ＴＶ、映画、ストリーミングなど）、電話（たとえば、ハンズフリー通話）、ネットワーク接続（たとえば、ＬＴＥ、Ｗｉ－Ｆｉなど）、及び／又は情報サービス（たとえば、ナビゲーション・システム、後方駐車支援、無線データシステム、燃料レベル、総移動距離、ブレーキ燃料レベル、オイル・レベル、ドアを開ける／閉じる、エア・フィルタ情報などの車両関連情報）を車両５００に提供するために使用され得るハードウェア及びソフトウェアの組合せを含み得る。たとえば、インフォテインメントＳｏＣ５３０は、無線、ディスク・プレイヤ、ナビゲーション・システム、ビデオ・プレイヤ、ＵＳＢ及びブルートゥース（登録商標）接続、カーピュータ、車内エンターテインメント、Ｗｉ－Ｆｉ、ハンドル・オーディオ制御装置、ハンズ・フリー音声制御、ヘッドアップ・ディスプレイ（ＨＵＤ：ｈｅａｄｓ－ｕｐ ｄｉｓｐｌａｙ）、ＨＭＩディスプレイ５３４、テレマティックス・デバイス、制御パネル（たとえば、様々な構成要素、特徴、及び／又はシステムを制御する及び／又はこれと相互に作用するための）、及び／又は他の構成要素でもよい。インフォテインメントＳｏＣ５３０は、ＡＤＡＳシステム５３８からの情報、計画された車両操作などの自律運転情報、軌道、周囲環境情報（たとえば、交差点情報、車両情報、道路情報など）、及び／又は他の情報など、車両のユーザへの情報（たとえば、視覚的及び／又は可聴式の）を提供するためにさらに使用され得る。

インフォテインメントＳｏＣ５３０は、ＧＰＵ機能性を含み得る。インフォテインメントＳｏＣ５３０は、バス５０２（たとえば、ＣＡＮバス、イーサネット（登録商標）など）を介して、車両５００の他のデバイス、システム、及び／又は構成要素と通信することができる。いくつかの実例では、インフォテインメント・システムのＧＰＵが、１次的コントローラ５３６（たとえば、車両５００の１次的及び／又はバックアップ・コンピュータ）が故障した場合に、いくつかのセルフドライブ機能を実行することができるように、インフォテインメントＳｏＣ５３０は、監督ＭＣＵに連結され得る。そのような実例では、インフォテインメントＳｏＣ５３０は、本明細書に記載のように、車両５００をショーファーの安全停止モードにすることができる。

車両５００は、計器群５３２（たとえば、デジタル・ダッシュ、電子計器群、デジタル計器パネルなど）をさらに含み得る。計器群５３２は、コントローラ及び／又はスーパーコンピュータ（たとえば、個別のコントローラ又はスーパーコンピュータ）を含み得る。計器群５３２は、スピードメーター、燃料レベル、油圧、タコメーター、オドメーター、方向指示器、ギアシフト位置インジケータ、シート・ベルト警告灯、パーキングブレーキ警告灯、エンジン故障灯、エアバッグ（ＳＲＳ）システム情報、照明制御装置、安全システム制御装置、ナビゲーション情報など、１セットの器具類を含み得る。いくつかの実例では、情報は、インフォテインメントＳｏＣ５３０及び計器群５３２の間で表示及び／又は共有され得る。言い換えれば、計器群５３２は、インフォテインメントＳｏＣ５３０の一部として含まれてもよく、逆もまた同様である。

図５Ｄは、本開示のいくつかの実施例による、図５Ａのクラウドベースのサーバと例示的自律型車両５００との間の通信のシステム図である。システム５７６は、サーバ５７８、ネットワーク５９０、及び、車両５００を含む車両を含み得る。サーバ５７８は、複数のＧＰＵ５８４（Ａ）～５８４（Ｈ）（本明細書でＧＰＵ５８４と総称される）、ＰＣＩｅスイッチ５８２（Ａ）～５８２（Ｈ）（本明細書でＰＣＩｅスイッチ５８２と総称される）、及び／又はＣＰＵ５８０（Ａ）～５８０（Ｂ）（本明細書でＣＰＵ５８０と総称される）を含み得る。ＧＰＵ５８４、ＣＰＵ５８０、及びＰＣＩｅスイッチは、たとえば、ＮＶＩＤＩＡによって開発されたＮＶＬｉｎｋインターフェース５８８及び／又はＰＣＩｅ接続５８６などの、これらに限定されない、高速相互接続で相互に接続され得る。いくつかの実例では、ＧＰＵ５８４は、ＮＶＬｉｎｋ及び／又はＮＶＳｗｉｔｃｈ ＳｏＣを介して接続され、ＧＰＵ５８４及びＰＣＩｅスイッチ５８２は、ＰＣＩｅ相互接続を介して接続される。８個のＧＰＵ５８４、２個のＣＰＵ５８０、及び２個のＰＣＩｅスイッチが図示されているが、これは制限を意図されていない。実施例に応じて、それぞれのサーバ５７８は、任意の数のＧＰＵ５８４、ＣＰＵ５８０、及び／又はＰＣＩｅスイッチを含み得る。たとえば、サーバ５７８は、それぞれ、８個、１６個、３２個、及び／又はそれ以上のＧＰＵ５８４を含み得る。

サーバ５７８は、最近開始された道路工事など、予想外の又は変更された道路状態を示す画像を表す画像データを、ネットワーク５９０を介して、車両から、受信することができる。サーバ５７８は、ニューラル・ネットワーク５９２、更新されたニューラル・ネットワーク５９２、及び／又は、交通及び道路状態に関する情報を含むマップ情報５９４をネットワーク５９０を介して車両に送信することができる。マップ情報５９４の更新は、建設現場、くぼみ、迂回路、洪水、及び／又は他の障害物に関する情報など、ＨＤマップ５２２の更新を含み得る。いくつかの実例では、ニューラル・ネットワーク５９２、更新されたニューラル・ネットワーク５９２、及び／又はマップ情報５９４は、環境において任意の数の車両から受信されたデータにおいて表された新しいトレーニング及び／又は経験から、及び／又は（たとえば、サーバ５７８及び／又は他のサーバを使用する）データ・センタにおいて実行されたトレーニングに基づいて、生じた可能性がある。

サーバ５７８は、トレーニング・データに基づいてマシン学習モデル（たとえば、ニューラル・ネットワーク）をトレーニングするために使用され得る。トレーニング・データは、車両によって生成され得る、及び／又は（たとえば、ゲーム・エンジンを使用して）シミュレーションにおいて生成され得る。いくつかの実例では、トレーニング・データは、タグ付けされる（たとえば、ニューラル・ネットワークが、監督された学習の恩恵を受ける場合）及び／又は他の事前処理を受けるが、他の実例において、トレーニング・データは、タグ付け及び／又は事前処理されない（たとえば、ニューラル・ネットワークが、監督された学習を必要としない場合）。トレーニングは、たとえば以下のクラスを含むがこれらに限定されない、任意の１つ又は複数のクラスのマシン学習技法に従って、実行され得る：監視されたトレーニング、半監視されたトレーニング、監視されていないトレーニング、自己学習、強化学習、連合型学習、転移学習、特徴学習（主要構成要素及びクラスタ分析を含む）、マルチ線形部分空間学習、多様体学習、表現学習（予備辞書学習を含む）、ルールに基づくマシン学習、異常検出、及びそれらの変更形態若しくは組合せ。マシン学習モデルがトレーシングされた後は、マシン学習モデルは、車両によって使用され得（たとえば、ネットワーク５９０を介して車両に送信される）、及び／又は、マシン学習モデルは、車両を遠隔監視するために、サーバ５７８によって使用され得る。

いくつかの実例では、サーバ５７８は、車両からデータを受信し、リアルタイムのインテリジェント推論のために最新のリアルタイムのニューラル・ネットワークにデータを適用することができる。サーバ５７８は、ＮＶＩＤＩＡによって開発されたＤＧＸ及びＤＧＸステーション・マシンなど、ＧＰＵ５８４によって電力供給される深層学習スーパーコンピュータ及び／又は専用のＡＩコンピュータを含み得る。しかしながら、一部の実例では、サーバ５７８は、ＣＰＵ電源式データ・センタのみを使用する深層学習インフラストラクチャを含み得る。

サーバ５７８の深層学習インフラストラクチャは、高速のリアルタイム推論の能力を有することでき、その能力を使用して車両５００内のプロセッサ、ソフトウェア、及び／又は関連ハードウェアの調子を評価及び検証することができる。たとえば、深層学習インフラストラクチャは、車両５００がそのシーケンスの画像内に位置したシーケンスの画像及び／又は物体など、車両５００からの定期的更新を受信することができる（たとえば、コンピュータ・ビジョン及び／又は他のマシン学習物体分類技法を介して）。深層学習インフラストラクチャは、物体を識別し、車両５００によって識別された物体とそれらを比較するために、独自のニューラル・ネットワークを実行することができ、結果が一致せず、インフラストラクチャが、車両５００内のＡＩは正常に機能していないという結論を下した場合、サーバ５７８は、制御を推測し、乗客に通知し、安全な駐車操作を完了するように車両５００のフェイルセーフ・コンピュータに命じる車両５００への信号を送信することができる。

推論のために、サーバ５７８は、ＧＰＵ５８４及び１つ又は複数のプログラマブル推論加速装置（たとえば、ＮＶＩＤＩＡのＴｅｎｓｏｒＲＴ）を含み得る。ＧＰＵ電源式サーバ及び推論加速の組合せは、リアルタイムの反応性を可能にすることができる。パフォーマンスがさほど必要とされない場合など、他の実例では、ＣＰＵ、ＦＰＧＡ、及び他のプロセッサによって電力供給されるサーバが、推論のために使用され得る。

例示的計算デバイス
図６は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス６００の一実例のブロック図である。計算デバイス６００は、以下のデバイスを間接的に又は直接的につなぐ相互接続システム６０２を含み得る：メモリ６０４、１つ又は複数の中央処理装置（ＣＰＵ）６０６、１つ又は複数のグラフィック処理ユニット（ＧＰＵ）６０８、通信インターフェース６１０、入力／出力（Ｉ／Ｏ）ポート６１２、入力／出力構成要素６１４、電力供給装置６１６、１つ又は複数の提示構成要素６１８（たとえば、ディスプレイ）、及び１つ又は複数の論理ユニット６２０。少なくとも１つの実施例において、計算デバイス６００は、１つ又は複数の仮想マシン（ＶＭ）を含み得る、及び／又は、その構成要素のいずれかは、仮想構成要素（たとえば、仮想ハードウェア構成要素）を含み得る。非限定的実例として、ＧＰＵ６０８のうちの１つ又は複数は、１つ又は複数のｖＧＰＵを含み得、ＣＰＵ６０６のうちの１つ又は複数は、１つ又は複数のｖＣＰＵを含み得、及び／又は、論理ユニット６２０のうちの１つ又は複数は、１つ又は複数の仮想論理ユニットを含み得る。そのようなものとして、計算デバイス６００は、個別の構成要素（たとえば、計算デバイス６００専用の全ＧＰＵ）、仮想構成要素（たとえば、計算デバイス６００専用のＧＰＵの一部分）、又はその組合せを含み得る。

図６の様々なブロックは、線で相互接続システム６０２を介して接続しているように示されているが、これは制限することを意図されておらず、単に分かりやすくするためである。たとえば、一部の実施例では、表示デバイスなどの提示構成要素６１８は、Ｉ／Ｏ構成要素６１４と考えられ得る（たとえば、ディスプレイがタッチ・スクリーンである場合）。別の実例として、ＣＰＵ６０６及び／又はＧＰＵ６０８はメモリを含み得る（たとえば、メモリ６０４は、ＧＰＵ６０８、ＣＰＵ６０６、及び／又は他の構成要素のメモリに加えた記憶デバイスを表し得る）。言い換えれば、図６の計算デバイスは、単に例示である。「ワークステーション」、「サーバ」、「ラップトップ」、「デスクトップ」、「タブレット」、「クライアント・デバイス」、「モバイル・デバイス」、「ハンドヘルド・デバイス」、「ゲーム機」、「電子制御ユニット（ＥＣＵ：ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ）」、「仮想現実システム」、及び／又は他のデバイス若しくはシステム・タイプなどのカテゴリはすべて、図６の計算デバイスの範囲内にあることが意図されているので、これらは区別されない。

相互接続システム６０２は、１つ又は複数のリンク又はバス、たとえば、アドレス・バス、データ・バス、制御バス、又はその組合せ、を表し得る。相互接続システム６０２は、１つ又は複数のバス又はリンク・タイプ、たとえば、業界標準アーキテクチャ（ＩＳＡ：ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、拡張業界標準アーキテクチャ（ＥＩＳＡ：ｅｘｔｅｎｄｅｄ ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＶＥＳＡ（ｖｉｄｅｏ ｅｌｅｃｔｒｏｎｉｃｓ ｓｔａｎｄａｒｄｓ ａｓｓｏｃｉａｔｉｏｎ）バス、周辺構成要素相互接続（ＰＣＩ：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ）バス、周辺構成要素相互接続エクスプレス（ＰＣＩｅ：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ ｅｘｐｒｅｓｓ）バス、及び／又は別のタイプのバス若しくはリンク、を含み得る。一部の実施例では、構成要素の間に直接接続が存在する。一実例として、ＣＰＵ６０６は、メモリ６０４に直接接続され得る。さらに、ＣＰＵ６０６は、ＧＰＵ６０８に直接接続され得る。構成要素の間に直接、又はポイント対ポイント接続が存在する場合、相互接続システム６０２は、接続を実施するためのＰＣＩｅリンクを含み得る。これらの実例では、ＰＣＩバスは、計算デバイス６００に含まれる必要はない。

メモリ６０４は、様々なコンピュータ可読媒体のいずれかを含み得る。コンピュータ可読媒体は、計算デバイス６００によってアクセスすることができる任意の利用可能な媒体でもよい。コンピュータ可読媒体は、揮発性及び不揮発性媒体の両方、及び取り外し可能な及び取り外し不可能な媒体を含み得る。例として、しかし限定ではなく、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を備え得る。

コンピュータ記憶媒体は、コンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプなどの情報の記憶のための任意の方法又は技術において実装された揮発性及び不揮発性媒体及び／又は取り外し可能な及び取り外し不可能な媒体の両方を含み得る。たとえば、メモリ６０４は、オペレーティング・システムなど、（たとえば、プログラム及び／又はプログラム要素を表す）コンピュータ可読命令を記憶することができる。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）又は他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージ又は他の磁気記憶デバイス、或いは、所望の情報を記憶するために使用し得る及び計算デバイス６００によってアクセスし得る任意の他の媒体を含み得るが、これらに限定されない。本明細書では、コンピュータ記憶媒体は、信号自体を含まない。

コンピュータ記憶媒体は、搬送波などの変調データ信号又は他の移送機構においてコンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプを実施することができ、任意の情報配信媒体を含む。「変調データ信号」という用語は、その特性セットのうちの１つ又は複数を有する或いは信号内の情報をエンコードするような方式で変化した信号を指し得る。例として、しかし限定せず、コンピュータ記憶媒体は、ワイヤード・ネットワーク又は直接ワイヤード接続などのワイヤード媒体と、音響、ＲＦ、赤外線及び他のワイヤレス媒体などのワイヤレス媒体とを含み得る。前述のいずれかの組合せもまた、コンピュータ可読媒体の範囲に含まれるべきである。

ＣＰＵ６０６は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス６００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。ＣＰＵ６０６は、多数のソフトウェア・スレッドを同時に処理する能力を有する１つ又は複数の（たとえば、１個、２個、４個、８個、２８個、７２個などの）コアをそれぞれ含み得る。ＣＰＵ６０６は、任意のタイプのプロセッサを含み得、実装された計算デバイス６００のタイプに応じて、異なるタイプのプロセッサを含み得る（たとえば、モバイル・デバイスのためのより少数のコアを有するプロセッサ、及びサーバのためのより多数のコアを有するプロセッサ）。たとえば、計算デバイス６００のタイプに応じて、プロセッサは、縮小命令セット計算（ＲＩＳＣ：Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたＡｄｖａｎｃｅｄ ＲＩＳＣ Ｍａｃｈｉｎｅｓ（ＡＲＭ）プロセッサ、又は複合命令セット計算（ＣＩＳＣ：Ｃｏｍｐｌｅｘ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたｘ８６プロセッサでもよい。計算デバイス６００は、計算コプロセッサなど、１つ又は複数のマイクロプロセッサ又は補助コプロセッサ内の１つ又は複数のＣＰＵ６０６を含み得る。

ＣＰＵ６０６に加えて又はその代わりに、ＧＰＵ６０８は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス６００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。ＧＰＵ６０８のうちの１つ若しくは複数は、統合されたＧＰＵ（たとえば、ＣＰＵ６０６のうちの１つ又は複数とでもよく、及び／又はＧＰＵ６０８のうちの１つ若しくは複数は、離散ＧＰＵでもよい。実施例では、ＧＰＵ６０８のうちの１つ又は複数は、ＣＰＵ６０６のうちの１つ又は複数のコプロセッサでもよい。ＧＰＵ６０８は、グラフィックス（たとえば、３Ｄグラフィックス）をレンダリングする又は汎用計算を実行するために、計算デバイス６００によって使用され得る。たとえば、ＧＰＵ６０８は、ＧＰＵによる汎用計算（ＧＰＧＰＵ：Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ ＧＰＵ）のために使用され得る。ＧＰＵ６０８は、同時に数百又は数千のソフトウェア・スレッドを処理する能力を有する数百又は数千のコアを含み得る。ＧＰＵ６０８は、レンダリング・コマンド（たとえば、ホスト・インターフェースを介して受信されたＣＰＵ６０６からのレンダリング・コマンド）に応答して、出力画像のための画素データを生成することができる。ＧＰＵ６０８は、画素データ又は任意の他の適切なデータ、たとえばＧＰＧＰＵデータ、を記憶するためのグラフィックス・メモリ、たとえば表示メモリ、を含み得る。表示メモリは、メモリ６０４の一部として含まれ得る。ＧＰＵ６０８は、並行して動作する（たとえば、リンクを介して）２個以上のＧＰＵを含み得る。リンクは、ＧＰＵに直接接続することができ（たとえば、ＮＶＬＩＮＫを使用して）、又はスイッチを介して（たとえば、ＮＶＳｗｉｔｃｈを使用して）ＧＰＵを接続することができる。ともに結合されるとき、各ＧＰＵ６０８は、出力の異なる部分の又は異なる出力の画素データ又はＧＰＧＰＵデータ（たとえば、第１の画像の第１のＧＰＵ及び第２の画像の第２のＧＰＵ）を生成することができる。各ＧＰＵは、独自のメモリを含むことができ、又は他のＧＰＵとメモリを共有することができる。

ＣＰＵ６０６及び／又はＧＰＵ６０８に加えて又はその代わりに、論理ユニット６２０は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス６００のうちの１つ又は複数を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。実施例では、ＣＰＵ６０６、ＧＰＵ６０８、及び／又は論理ユニット６２０は、方法、プロセス及び／又はその部分の任意の組合せを離散的に又は合同で実行することができる。論理ユニット６２０のうちの１つ若しくは複数は、ＣＰＵ６０６及び／若しくはＧＰＵ６０８のうちの１つ若しくは複数の一部でもよく及び／又はそこで統合されてもよく、及び／又は、論理ユニット６２０のうちの１つ若しくは複数は、ＣＰＵ６０６及び／若しくはＧＰＵ６０８に対する離散構成要素であっても若しくは他の方法でそれらの外部にあってもよい。実施例では、論理ユニット６２０のうちの１つ又は複数は、ＣＰＵ６０６のうちの１つ若しくは複数及び／又はＧＰＵ６０８のうちの１つ若しくは複数のコプロセッサでもよい。

論理ユニット６２０の実例は、１つ又は複数の処理コア及び／又はその構成要素、たとえば、テンソル・コア（ＴＣ：Ｔｅｎｓｏｒ Ｃｏｒｅ）、テンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、画素ビジュアル・コア（ＰＶＣ：Ｐｉｘｅｌ Ｖｉｓｕａｌ Ｃｏｒｅ）、ベクトル処理ユニット（ＶＰＵ：Ｖｅｃｔｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックス処理クラスタ（ＧＰＣ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）、テクスチャ処理クラスタ（ＴＰＣ：Ｔｅｘｔｕｒｅ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）、ストリーミング・マルチプロセッサ（ＳＭ：Ｓｔｒｅａｍｉｎｇ Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、木の走査ユニット（ＴＴＵ：Ｔｒｅｅ Ｔｒａｖｅｒｓａｌ Ｕｎｉｔ）、人工知能加速装置（ＡＩＡ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ａｃｃｅｌｅｒａｔｏｒ）、深層学習加速装置（ＤＬＡ：Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｃｃｅｌｅｒａｔｏｒ）、論理演算ユニット（ＡＬＵ）、特定用途向け集積回路（ＡＳＩＣ）、浮動小数点演算ユニット（ＦＰＵ）、入力／出力（Ｉ／Ｏ）エレメント、データ処理ユニット（ＤＰＵ：Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、周辺構成要素相互接続（ＰＣＩ）又は周辺構成要素相互接続エクスプレス（ＰＣＩｅ）エレメント、及び／又は同類のもの、を含む。

通信インターフェース６１０は、ワイヤード及び／又はワイヤレス通信を含む、電子通信ネットワークを介して計算デバイス６００が他の計算デバイスと通信することを可能にする、１つ又は複数のレシーバ、トランスミッタ、及び／又はトランシーバを含み得る。通信インターフェース６１０は、ワイヤレス・ネットワーク（たとえば、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、ＺｉｇＢｅｅなど）、ワイヤード・ネットワーク（たとえば、イーサネット（登録商標）又はＩｎｆｉｎｉＢａｎｄを介して通信すること）、低電力ワイド・エリア・ネットワーク（たとえば、ＬｏＲａＷＡＮ、ＳｉｇＦｏｘなど）、及び／又はインターネットなどの、いくつかの異なるネットワークのうちのいずれかを介する通信を可能にするための構成要素及び機能を含み得る。

Ｉ／Ｏポート６１２は、そのうちのいくつかは計算デバイス６００に内蔵（たとえば、統合）され得る、Ｉ／Ｏ構成要素６１４、提示構成要素６１８、及び／又は他の構成要素を含む、他のデバイスに計算デバイス６００が論理的に連結されることを可能にすることができる。例示的なＩ／Ｏ構成要素６１４は、マイクロフォン、マウス、キーボード、ジョイスティック、ゲーム・パッド、ゲーム・コントローラ、サテライト・ディッシュ、スキャナ、プリンタ、ワイヤレス・デバイスなどを含む。Ｉ／Ｏ構成要素６１４は、エア・ジェスチャ、音声、又は、ユーザによって生成される他の生理的入力を処理する自然ユーザ・インターフェース（ＮＵＩ：ｎａｔｕｒａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を提供することができる。場合によっては、入力は、さらなる処理のための適切なネットワーク要素に送信され得る。ＮＵＩは、音声認識、スタイラス認識、顔認識、生体認識、画面上での及び画面の隣でのジェスチャ認識、エア・ジェスチャ、頭部及び視標追跡、並びに計算デバイス６００のディスプレイに関連するタッチ認識（さらに詳しく後述するような）の任意の組合せを実装し得る。計算デバイス６００は、ジェスチャ検出及び認識のための、ステレオスコープ・カメラ・システム、赤外線カメラ・システム、ＲＧＢカメラ・システム、タッチ画面技術、及びこれらの組合せなど、深度カメラを含み得る。追加で、計算デバイス６００は、動きの検出を可能にする加速度計又はジャイロスコープを含み得る（たとえば、慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）の一部として）。いくつかの実例では、加速度計又はジャイロスコープの出力は、没入型拡張現実又は仮想現実をレンダリングするために、計算デバイス６００によって使用され得る。

電力供給装置６１６は、ハードワイヤード電力供給装置、バッテリ電力供給装置、又はその組合せを含み得る。電力供給装置６１６は、計算デバイス６００の構成要素が動作することを可能にするために計算デバイス６００に電力を提供することができる。

提示構成要素６１８は、ディスプレイ（たとえば、モニタ、タッチ画面、テレビジョン画面、ヘッドアップ表示装置（ＨＵＤ）、他のディスプレイタイプ、又はその組合せ）、スピーカ、及び／又は他の提示構成要素を含み得る。提示構成要素６１８は、他の構成要素（たとえば、ＧＰＵ６０８、ＣＰＵ６０６など）からデータを受信し、データを（たとえば、画像、ビデオ、音響などとして）出力することができる。

例示的データ・センタ
図７は、本開示の少なくとも１つの実施例において使用され得る例示的データ・センタ７００を示す。データ・センタ７００は、データ・センタ・インフラストラクチャ層７１０、フレームワーク層７２０、ソフトウェア層７３０、及び／又はアプリケーション層７４０を含み得る。

図７に示すように、データ・センタ・インフラストラクチャ層７１０は、資源オーケストレータ７１２、グループ化された計算資源７１４、及びノード計算資源（「ノードＣ．Ｒ．」）７１６（１）～７１６（Ｎ）を含み得、そこで、「Ｎ」は、任意の整数の、自然数を表す。少なくとも１つの実施例において、ノードＣ．Ｒ．７１６（１）～７１６（Ｎ）は、任意の数の中央処理装置（「ＣＰＵ」）又は他のプロセッサ（加速装置、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、グラフィックス・プロセッサ若しくはグラフィックス・プロセッシング・ユニット（ＧＰＵ）などを含む）、メモリ・デバイス（たとえば、動的リード・オンリ・メモリ）、記憶デバイス（たとえば、ソリッドステート若しくはディスク・ドライブ）、ネットワーク入力／出力（「ＮＷ Ｉ／Ｏ」）デバイス、ネットワーク・スイッチ、仮想マシン（「ＶＭ」）、電力モジュール、及び／又は冷却モジュールなどを含み得るが、これらに限定されない。いくつかの実施例において、ノードＣ．Ｒ．７１６（１）～７１６（Ｎ）のうちの１つ又は複数のノードＣ．Ｒ．は、前述の計算資源のうちの１つ又は複数を有するサーバに対応し得る。加えて、いくつかの実施例において、ノードＣ．Ｒ．７１６（１）～７１６１（Ｎ）は、１つ若しくは複数の仮想構成要素、たとえば、ｖＧＰＵ、ｖＣＰＵ、及び／若しくは同類のもの、を含み得る、並びに／又は、ノードＣ．Ｒ．７１６（１）～７１６（Ｎ）のうちの１つ若しくは複数は、仮想マシン（ＶＭ）に対応し得る。

少なくとも１つの実施例において、グループ化された計算資源７１４は、１つ又は複数のラック（図示せず）内に収容された別個のグループのノードＣ．Ｒ．７１６、或いは様々な地理的場所（やはり図示せず）にあるデータ・センタに収容された多数のラックを含み得る。グループ化された計算資源７１４内の別個のグループのノードＣ．Ｒ．７１６は、１つ又は複数のワークロードをサポートするように構成する又は割り当てることができる、グループ化された計算、ネットワーク、メモリ又はストレージ資源を含み得る。少なくとも１つの実施例において、ＣＰＵ、ＧＰＵ、及び／又は他のプロセッサを含むいくつかのノードＣ．Ｒ．７１６は、１つ又は複数のワークロードをサポートするための計算資源を提供するために、１つ又は複数のラック内にグループ化され得る。１つ又は複数のラックはまた、任意の組合せで、任意の数の電力モジュール、冷却モジュール、及び／又はネットワーク・スイッチを含み得る。

資源オーケストレータ７２２は、１つ若しくは複数のノードＣ．Ｒ．７１６（１）～７１６（Ｎ）及び／又はグループ化された計算資源７１４を構成又は他の方法で制御することができる。少なくとも１つの実施例において、資源オーケストレータ７２２は、データ・センタ７００のソフトウェア設計インフラストラクチャ（「ＳＤＩ」）管理エンティティを含み得る。資源オーケストレータ７２２は、ハードウェア、ソフトウェア、又はその何らかの組合せを含み得る。

少なくとも１つの実施例において、図７に示すように、フレームワーク層７２０は、ジョブ・スケジューラ７３２、構成マネージャ７３４、資源マネージャ７３６、及び／又は分散型ファイル・システム７３８を含み得る。フレームワーク層７２０は、ソフトウェア層７３０のソフトウェア７３２及び／又はアプリケーション層７４０の１つ若しくは複数のアプリケーション７４２をサポートするためにフレームワークを含み得る。ソフトウェア７３２又はアプリケーション７４２は、ウェブベースのサービス・ソフトウェア又はアプリケーション、たとえば、アマゾン・ウェブ・サービス、グーグル・クラウド及びＭｉｃｒｏｓｏｆｔ Ａｚｕｒｅによって提供されるもの、をそれぞれ含み得る。フレームワーク層７２０は、大規模データ処理（たとえば、「ビッグ・データ」）のための分散型ファイル・システム７３８を使用し得るＡｐａｃｈｅ Ｓｐａｒｋ（商標）（以下「Ｓｐａｒｋ」）などのフリー及びオープン・ソース・ソフトウェア・ウェブ・アプリケーション・フレームワークのタイプでもよいが、これに限定されない。少なくとも１つの実施例において、ジョブ・スケジューラ７３２は、データ・センタ７００の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Ｓｐａｒｋドライバを含み得る。構成マネージャ７３４は、異なる層、たとえば、ソフトウェア層７３０と、大規模データ処理をサポートするためのＳｐａｒｋ及び分散型ファイル・システム７３８を含むフレームワーク層７２０、を構成する能力を有し得る。資源マネージャ７３６は、分散型ファイル・システム７３８及びジョブ・スケジューラ７３２のサポートのためにマップされた又は割り当てられたクラスタ化された又はグループ化された計算資源を管理する能力を有し得る。少なくとも１つの実施例において、クラスタ化された又はグループ化された計算資源は、データ・センタ・インフラストラクチャ層７１０にグループ化された計算資源７１４を含み得る。資源マネージャ１０３６は、資源オーケストレータ７１２と調整して、これらのマップされた又は割り当てられた計算資源を管理することができる。

少なくとも１つの実施例において、ソフトウェア層７３０に含まれるソフトウェア７３２は、ノードＣ．Ｒ．７１６（１）～７１６（Ｎ）の少なくとも部分、グループ化された計算資源７１４、及び／又はフレームワーク層７２０の分散型ファイル・システム７３８によって使用されるソフトウェアを含み得る。１つ又は複数のタイプのソフトウェアは、インターネット・ウェブ・ページ検索ソフトウェア、電子メール・ウイルス・スキャン・ソフトウェア、データベース・ソフトウェア、及びストリーミング・ビデオ・コンテンツ・ソフトウェアを含み得るが、これらに限定されない。

少なくとも１つの実施例において、アプリケーション層７４０に含まれるアプリケーション７４２は、ノードＣ．Ｒ．７１６（１）～７１６（Ｎ）の少なくとも部分、グループ化された計算資源７１４、及び／又はフレームワーク層７２０の分散型ファイル・システム７３８によって使用される１つ又は複数のタイプのアプリケーションを含み得る。１つ又は複数のタイプのアプリケーションは、任意の数のゲノミクス・アプリケーション、認知計算、並びに、トレーニング若しくは推論ソフトウェア、マシン学習フレームワーク・ソフトウェア（たとえば、ＰｙＴｏｒｃｈ、ＴｅｎｓｏｒＦｌｏｗ、Ｃａｆｆｅなど）、及び／又は１つ若しくは複数の実施例と併せて使用される他のマシン学習アプリケーションを含む、マシン学習アプリケーションを含み得るが、これらに限定されない。

少なくとも１つの実施例において、構成マネージャ７３４、資源マネージャ７３６、及び資源オーケストレータ７１２のうちのいずれかは、任意の技術的に可能な方式で取得される任意の量及びタイプのデータに基づいて任意の数及びタイプの自己書換え型アクションを実装することができる。自己書換え型アクションは、よくない可能性のある構成決定を行うこと並びにデータ・センタの十分に活用されていない及び／又は実行の不十分な部分を恐らく回避することからデータ・センタ７００のデータ・センタ・オペレータを解放し得る。

データ・センタ７００は、１つ又は複数のマシン学習モデルをトレーニングする或いは本明細書に記載の１つ又は複数の実施例による１つ又は複数のマシン学習モデルを使用して情報を予測する又は推論するために、ツール、サービス、ソフトウェア或いは他の資源を含み得る。たとえば、マシン学習モデルは、データ・センタ７００に関して前述されたソフトウェア及び／又は計算資源を使用するニューラル・ネットワーク・アーキテクチャによる重量パラメータの計算によって、トレーニングされ得る。少なくとも１つの実施例において、１つ又は複数のニューラル・ネットワークに対応するトレーニングされた又は配備されたマシン学習モデルは、たとえば、本明細書に記載のものに限定されない、１つ又は複数のトレーニング技法を介して計算された重量パラメータを使用することによって、データ・センタ７００に関して前述された資源を使用して情報を推論又は予測するために使用され得る。

少なくとも１つの実施例において、データ・センタ７００は、前述の資源を使用するトレーニング及び／又は推論の実行のために、ＣＰＵ、特定用途向け集積回路（ＡＳＩＣ）、ＧＰＵ、ＤＰＵ、ＦＰＧＡ、及び／又は他のハードウェア（若しくはそれに対応する仮想計算資源）を使用することができる。さらに、前述の１つ又は複数のソフトウェア及び／又はハードウェア資源は、情報の推論をユーザがトレーニング又は実行することを可能にするためのサービス、たとえば、画像認識、音声認識、又は他の人工知能サービス、として構成され得る。

例示的ネットワーク環境
本開示の実施例の実装において使用するのに適したネットワーク環境は、１つ若しくは複数のクライアント・デバイス、サーバ、ネットワーク接続型ストレージ（ＮＡＳ：ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ）、他のバックエンド・デバイス、及び／又は他のデバイス・タイプを含み得る。クライアント・デバイス、サーバ、及び／又は他のデバイス・タイプ（たとえば、各デバイス）は、図６の計算デバイス６００の１つ又は複数のインスタンスで実装され得、たとえば、各デバイスは、計算デバイス６００の類似の構成要素、特徴、及び／又は機能性を含み得る。加えて、バックエンド・デバイス（たとえば、サーバ、ＮＡＳなど）が、実装される場合、バックエンド・デバイスは、データ・センタ７００の一部として含まれ得、その実例は、図７に関して本明細書でさらに詳述される。

ネットワーク環境の構成要素は、ワイヤード、ワイヤレス、又はその両方でもよい、ネットワークを介して互いに通信し得る。ネットワークは、複数のネットワーク、又はネットワークのネットワークを含み得る。実例として、ネットワークは、１つ若しくは複数のワイド・エリア・ネットワーク（ＷＡＮ）、１つ若しくは複数のローカル・エリア・ネットワーク（ＬＡＮ）、１つ若しくは複数のパブリック・ネットワーク、たとえば、インターネット及び／若しくは公衆交換電話網（ＰＳＴＮ）、並びに／又は１つ若しくは複数のプライベート・ネットワークを含み得る。ネットワークが、ワイヤレス電気通信ネットワークを含む場合、構成要素、たとえば、基地局、通信塔、或いはアクセス・ポイント（並びに他の構成要素）、は、ワイヤレス接続を提供し得る。

互換性のあるネットワーク環境は、１つ又は複数のピア・ツー・ピア・ネットワーク環境（その場合、サーバはネットワーク環境に含まれないことがある）と、１つ又は複数のクライアント・サーバ・ネットワーク環境（その場合、１つ又は複数のサーバがネットワーク環境に含まれ得る）とを含み得る。ピア・ツー・ピア・ネットワーク環境では、サーバに関して本明細書に記載した機能性は、任意の数のクライアント・デバイスで実装され得る。

少なくとも１つの実施例において、ネットワーク環境は、１つ又は複数のクラウドベースのネットワーク環境、分散型計算環境、その組合せなどを含み得る。クラウドベースのネットワーク環境は、フレームワーク層、ジョブ・スケジューラ、資源マネージャ、並びに、１つ若しくは複数のコア・ネットワーク・サーバ及び／又はエッジ・サーバを含み得る、サーバのうちの１つ又は複数で実装された分散型ファイル・システムを含み得る。フレームワーク層は、ソフトウェア層のソフトウェア及び／又はアプリケーション層の１つ若しくは複数のアプリケーションをサポートするために、フレームワークを含み得る。ソフトウェア又はアプリケーションは、それぞれ、ウェブベースのサービス・ソフトウェア又はアプリケーションを含み得る。実施例において、クライアント・デバイスのうちの１つ又は複数は、ウェブベースのサービス・ソフトウェア又はアプリケーションを使用し得る（たとえば、１つ又は複数のアプリケーション・プログラミング・インターフェース（ＡＰＩ）を介してサービス・ソフトウェア及び／又はアプリケーションにアクセスすることによって）。フレームワーク層は、たとえば大規模データ処理（たとえば、「ビッグ・データ」）のための分散型ファイル・システムを使用し得る、フリー及びオープン・ソース・ソフトウェア・ウェブ・アプリケーション・フレームワークのタイプでもよいが、これに限定されない。

クラウドベースのネットワーク環境は、本明細書に記載の計算及び／又はデータ・ストレージ機能（又は１つ若しくは複数のその部分）の任意の組合せを実施するクラウド計算及び／又はクラウド・ストレージを提供し得る。これらの様々な機能のいずれも、セントラル又はコア・サーバ（たとえば、州、領域、国、世界にわたって分散され得る１つ又は複数のデータ・センタなどの）から複数の場所に分散され得る。ユーザ（たとえば、クライアント・デバイス）への接続が、エッジ・サーバに比較的近い場合、コア・サーバは、機能性の少なくとも一部分をエッジ・サーバに任じ得る。クラウドベースのネットワーク環境は、プライベート（たとえば、単一の組織に制限される）でもよく、パブリック（たとえば、多数の組織に利用可能）、及び／又はその組合せ（たとえば、ハイブリッド・クラウド環境）でもよい。

クライアント・デバイスは、図６に関して本明細書に記載の例示的計算デバイス６００の構成要素、特徴、及び機能性のうちの少なくともいくつかを含み得る。実例として、及び制限ではなく、クライアント・デバイスは、パーソナル・コンピュータ（ＰＣ）、ラップトップ・コンピュータ、モバイル・デバイス、スマートフォン、タブレット・コンピュータ、スマート・ウォッチ、ウェアラブル・コンピュータ、パーソナル・デジタル・アシスタント（ＰＤＡ）、ＭＰ３プレーヤ、仮想現実ヘッドセット、全地球測位システム（ＧＰＳ）又はデバイス、ビデオ・プレイヤ、ビデオカメラ、監視デバイス又はシステム、車両、ボート、飛行船、仮想マシン、ドローン、ロボット、ハンドヘルド通信デバイス、病院デバイス、ゲーミング・デバイス又はシステム、娯楽システム、車両コンピュータ・システム、組み込み型システム・コントローラ、リモート制御、器具、民生用電子デバイス、ワークステーション、エッジ・デバイス、これらの描写されたデバイスの任意の組合せ、或いは任意の他の適切なデバイスとして実施され得る。

本開示は、コンピュータ又は、携帯情報端末若しくは他のハンドヘルド・デバイスなどの、他のマシンによって実行されている、プログラム・モジュールなどのコンピュータ実行可能命令を含む、コンピュータ・コード又はマシン使用可能命令との一般的関連において説明されることがある。一般に、ルーティン、プログラム、オブジェクト、構成要素、データ構造体などを含むプログラム・モジュールは、特定のタスクを実行する又は特定の抽象データ・タイプを実装するコードを指す。本開示は、ハンドヘルド・デバイス、家電製品、汎用コンピュータ、より特殊な計算デバイスなどを含む、様々な構成で実施され得る。本開示はまた、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散型コンピューティング環境において実施され得る。

本明細書では、２個以上の要素に関する「及び／又は」の記述は、１つの要素のみ、又は要素の組合せを意味すると解釈されるべきである。たとえば、「要素Ａ、要素Ｂ、及び／又は要素Ｃ」は、要素Ａのみ、要素Ｂのみ、要素Ｃのみ、要素Ａ及び要素Ｂ、要素Ａ及び要素Ｃ、要素Ｂ及び要素Ｃ、或いは、要素Ａ、Ｂ、及びＣを含み得る。加えて、「要素Ａ又は要素Ｂのうちの少なくとも１つ」は、要素Ａの少なくとも１つ、要素Ｂの少なくとも１つ、或いは、要素Ａの少なくとも１つ及び要素Ｂの少なくとも１つを含み得る。さらに、「要素Ａ及び要素Ｂのうちの少なくとも１つ」は、要素Ａのうちの少なくとも１つ、要素Ｂのうちの少なくとも１つ、或いは、要素Ａのうちの少なくとも１つ及び要素Ｂのうちの少なくとも１つを含み得る。

本開示の主題は、法定の要件を満たすために特異性を有して記述されている。しかしながら、その記述自体が本開示の範囲を制限することは意図されていない。そうではなくて、本発明者は、請求されている主題が、他の現在の又は未来の技術と併せて、異なるステップ又は本文書に記載されたものと類似のステップの組合せを含むように、他の形で実施され得ることを意図している。さらに、「ステップ」及び／又は「ブロック」という用語は、使用される方法の異なる要素を含意するように本明細書で使用され得るが、これらの用語は、個別のステップの順番が明示的に記載されていない限り及びそのように記載されているときを除いて本明細書で開示される様々なステップの間に何らかの特定の順番を暗示するものとして解釈されるべきではない。

Claims (25)

1. 第１のデータをディープ・ニューラル・ネットワーク（ＤＮＮ）及びパッチ・ニューラル・ネットワーク（ＰＮＮ）に適用するステップと、
   第２のデータを計算するために前記第１のデータを処理するステップと
   を含む方法であって、前記処理するステップが、
   前記ＤＮＮのノードの第１のサブセットを使用して、前記第１のデータに少なくとも部分的に基づいて、第１の出力を計算するステップ、
   前記ＤＮＮの前記ノードの第２のサブセットを使用して、前記第１の出力を処理するステップ、
   前記ＰＮＮのノードの第１のサブセットを使用して、前記第１のデータに少なくとも部分的に基づいて、第２の出力を計算するステップ、
   前記ＰＮＮの前記ノードの第２のサブセットを使用して、前記第１の出力及び前記第２の出力を処理するステップ、及び
   前記第２のデータに少なくとも部分的に基づいて１つ又は複数の動作を実行するステップ
   を含む、方法。
2. 前記ＰＮＮの前記ノードを含む前記ＰＮＮのＰＮＮ層が、前記ＤＮＮの前記ノードを含む前記ＤＮＮのＤＮＮ層とは別個である、請求項１に記載の方法。
3. より大きなＤＮＮの１つ又は複数の層が、前記ＰＮＮの前記ノード及び前記ＤＮＮの前記ノードを備える、請求項１に記載の方法。
4. 前記第２のデータが、前記ＤＮＮの最終出力及び前記ＰＮＮの最終出力を表す、請求項１に記載の方法。
5. 前記ＰＮＮの最終出力が、前記ＤＮＮの前記最終出力によって表される少なくとも１つの出力タイプ及び前記ＤＮＮの前記最終出力によって表されない少なくとも１つの出力タイプを含む、請求項４に記載の方法。
6. 前記ＤＮＮの前記最終出力及び前記ＰＮＮの前記最終出力を分析するステップに少なくとも部分的に基づいて、出力選択を決定するステップ
   をさらに含み、
   前記１つ又は複数の動作を実行するステップが、前記出力選択に少なくとも部分的に基づく、請求項４に記載の方法。
7. 前記出力選択を決定するステップが、前記出力選択として前記ＤＮＮの前記最終出力又は前記ＰＮＮの前記最終出力を使用するかどうかを指示する２進決定を出力するゲーティング・ニューラル・ネットワーク（ＧＮＮ）を使用して実行される、請求項６に記載の方法。
8. 前記分析するステップが、前記ＤＮＮの前記最終出力に関連する第１の信頼性値及び前記ＰＮＮの前記最終出力に関連する第２の信頼性値を分析するステップを含み、
   前記出力選択を決定するステップが、前記第１の信頼性値及び前記第２の信頼性値を分析するステップに少なくとも部分的に基づいて前記出力選択を選択するステップを含む、請求項６に記載の方法。
9. １つ又は複数の受信された信号に少なくとも部分的に基づいて前記ＤＮＮの前記最終出力又は前記ＰＮＮの前記最終出力を使用することを決定するステップをさらに含む、請求項４に記載の方法。
10. 前記１つ又は複数の受信された信号が、位置、気象条件、照明条件、又は時刻に対応する、請求項９に記載の方法。
11. 前記方法が、
    自律又は半自律マシンのための制御システム、
    自律又は半自律マシンのための知覚システム、
    シミュレーション動作を実行するためのシステム、
    深層学習動作を実行するためのシステム、
    エッジ・デバイスを使用して実装されるシステム、
    ロボットを使用して実装されるシステム、
    １つ又は複数の仮想マシン（ＶＭ）を組み込むシステム、
    データ・センタにおいて少なくとも部分的に実装されるシステム、或いは、
    クラウド計算資源を使用して少なくとも部分的に実装されるシステム
    のうちの少なくとも１つによって実行される、請求項１に記載の方法。
12. 前記ＰＮＮの前記ノードの第１のパラメータがトレーニングされ、一方、前記ＤＮＮの前記ノードの第２のパラメータが固定される、請求項１に記載の方法。
13. 前記第２の出力と前記ＤＮＮの前記ノードのうちの１つ又は複数との関係に関連する重みが、ゼロに固定される、請求項１に記載の方法。
14. 自律型車両を制御するための出力を生成するためのシステム・オン・チップ（ＳｏＣ）
    を備えるシステムであって、前記ＳｏＣが、
    ニューラル・ネットワークを実行するためのプロセッサ
    を備え、前記ニューラル・ネットワークが、
    第１のセンサ・データを処理して第１の出力を計算するための第１のセットの初期ノード及び前記第１のデータを処理して第２の出力を計算するための第１のセットのパッチ・ノードを含む第１の層と、
    前記第１の層に続く第２の層であって、前記第１の出力を処理して第３の出力を計算するための第２のセットの初期ノードと、前記第１の出力及び前記第２の出力を処理して第４の出力を計算するための第２のセットのパッチ・ノードとを含む第２の層と
    を含む、システム。
15. 前記第１のセットのノードが、前記第２のセットのノードとは別個にトレーニングされ、前記第２のセットのノードのトレーニング中、前記第１のセットのノードに関連するパラメータが固定される、請求項１４に記載のシステム。
16. １つ又は複数のゼロが、前記第２のセットのパッチ・ノードに対応するマトリックスの次元性にマッチするように前記第２のセットの初期ノードに対応するマトリックスに追加され、前記１つ又は複数のゼロが、前記第１のセットのパッチ・ノード及び前記第２のセットの初期ノードの前記第２の出力の関係の間の重みに対応する、請求項１４に記載のシステム。
17. 前記ニューラル・ネットワークが、第１の個別の層としての前記第１のセットの初期ノード及び第２の個別の層としての前記第１のセットのパッチ・ノードでトレーニングされ、
    トレーニング後、前記第１の層が、前記第１のセットの初期ノードに関連する重みと前記第１のセットのパッチ・ノードに関連する重みを連結させることによって生成される、請求項１４に記載のシステム。
18. トレーニング中、前記ニューラル・ネットワークが、前記ニューラル・ネットワークの１つ又は複数の層に対応する１つ又は複数のセットのパッチ・ノードを取り除くための枝刈り動作を受ける、請求項１４に記載のシステム。
19. 第１のデータをディープ・ニューラル・ネットワーク（ＤＮＮ）及びパッチ・ニューラル・ネットワーク（ＰＮＮ）に適用し、
    第２のデータを計算するために前記第１のデータを処理する
    ための１つ又は複数の回路を備えるプロセッサであって、前記処理することが、
    前記ＤＮＮのノードの第１のサブセットを使用して、前記第１のデータに少なくとも部分的に基づいて、第１の出力を計算すること、
    前記ＤＮＮの前記ノードの第２のサブセットを使用して、前記第１の出力を処理すること、
    前記ＰＮＮのノードの第１のサブセットを使用して、前記第１のデータに少なくとも部分的に基づいて、第２の出力を計算すること、
    前記ＰＮＮの前記ノードの第２のサブセットを使用して、前記第１の出力及び前記第２の出力を処理すること、及び、
    前記第２のデータに少なくとも部分的に基づいて１つ又は複数の動作を実行すること
    を含む、プロセッサ。
20. 前記ＰＮＮの前記ノードが、前記ＤＮＮの１つ又は複数の層とは別個の前記ＰＮＮの１つ又は複数の層に対応する、請求項１９に記載のプロセッサ。
21. 前記ＰＮＮの前記ノードが、結合された層を生成するために前記ＤＮＮの前記ノードに加えて含まれる、請求項１９に記載のプロセッサ。
22. 前記プロセッサが、
    自律又は半自律マシンのための制御システム、
    自律又は半自律マシンのための知覚システム、
    シミュレーション動作を実行するためのシステム、
    深層学習動作を実行するためのシステム、
    エッジ・デバイスを使用して実装されるシステム、
    ロボットを使用して実装されるシステム、
    １つ又は複数の仮想マシン（ＶＭ）を組み込むシステム、
    データ・センタにおいて少なくとも部分的に実装されるシステム、或いは、
    クラウド計算資源を使用して少なくとも部分的に実装されるシステム、
    のうちの少なくとも１つに含まれる、請求項１９に記載のプロセッサ。
23. 前記ＰＮＮの前記ノードの第１のパラメータがトレーニングされ、一方、前記ＤＮＮの前記ノードの第２のパラメータが固定される、請求項１９に記載のプロセッサ。
24. 前記ＰＮＮの前記ノードの前記第２の出力と前記ＤＮＮの前記ノードとの関係に関連する重みがゼロに固定される、請求項１９に記載のプロセッサ。
25. 前記ＰＮＮが、シャドウ・モードにおいて前記ＰＮＮを実行することによって、少なくとも部分的に検証される、請求項１９に記載のプロセッサ。

Images