JP2022039884A - 空間モデルを使用したニューラルネットワークに基づく視線方向の決定 - Google Patents

Abstract

【課題】被験者の視線方向を決定し、この視線方向を任意の３次元形状の特定の領域に投影するシステム及び方法。【解決手段】例示的な実施形態では、視線方向は、回帰ベースの機械学習モデルによって決定され得る。次に、決定された視線方向は、任意の所望の物体又はシステムを表すことができる３次元マップ又は表面のセットに投影される。マップは、実際のものであろうと仮想のものであろうと、任意の３次元レイアウト又は形状を表すことができる。したがって、視線ベクトルを使用して、任意の環境内の視線の先にある物体を決定することができる。システムはまた、環境ごとに異なる表面又は領域のセットを取得することによって、異なる環境での使用に容易かつ効率的に適応することができる。【選択図】図２Ａ

Description

関連出願の相互参照
本出願は、２０１９年１２月１６日に出願された米国仮出願第６２／９４８，７９６号の利益を主張し、その開示は、参照により本明細書にその全体が組み込まれる。本出願はまた、２０２０年８月２７日に出願された米国特許出願第１７／００４，２５２号を参照により本明細書にその全体を組み込む。

最近の畳込みニューラルネットワーク（ＣＮＮ）は、被験者の視線方向を推定するために開発されてきた。そのようなＣＮＮは、例えば、被験者の入力画像から被験者が見ている方向を決定することができる。これにより、そのようなＣＮＮを使用するシステムが、被験者の視線を追跡し、リアルタイムでそれに応じて反応することが可能になる。

しかしながら、従来の視線決定システムには、欠点がないわけではない。特に、従来のシステムは一般に視線方向を決定することができるが、被験者が実際に見ているものを具体的に特定することはできない。例えば、いくつかの従来の車載視線決定システムは、運転者が特定の方向、例えば、真っ直ぐ前方、又は片側方向などを見ていると決定することができるが、そのようなシステムは、運転者が見ている特定の物体又はアイテム、例えば、ダッシュボード、道路、又はラジオなどを決定しない。

したがって、より具体的な様式で機械学習に基づく視線分析を実施するシステム及び方法が本明細書で説明される。したがって、本開示の実施形態は、視線領域のより具体的、効率的、かつ柔軟な決定のためのシステム及び方法を説明する。例示的な実施形態では、視線ベクトルは、回帰ベースの機械学習モデルによって決定される。決定された視線ベクトルは、次に、任意の目的の物体又はシステムを表し得る表面の３次元マップに投影される。マップは、任意の３次元レイアウト又は形状を表すことができる。このようにして、視線ベクトルを使用して、任意の環境における被験者の視線の先にある物体を決定することができる。さらに、任意のシステム内で動作している被験者の視線を決定し、それに応じて任意のアクションが実行されるように、システムを容易かつ効率的に生成することができる。

本開示の一実施形態では、機械学習モデルを使用して、被験者の視線方向を決定する。モデルは、被験者の画像データから決定された入力特徴を有してもよく、これには、目のトリミング、被験者の１つ以上の顔のランドマークなど、被験者の画像の関連部分が含まれ得る。入力には、頭の姿勢、信頼値など、被験者の画像から決定された量も含まれ得る。それに応じて、モデルは、その出力として、被験者の視線方向を生成する。

システムは、一連の空間領域、すなわち画定された面積又は体積も取得する。これらの領域は、実際の空間物体に対応するように、任意の様式で画定され得る。例えば、空間領域のセットは、車両の様々な内部表面の位置及び配向に対応し得る。次に、システムは、視線方向と空間領域の位置とから、被験者の視線が１つ以上の空間領域と交差するかどうかを判断することができる。その場合、システムは、それに応じて動作を開始する。このような動作はすべて想定されている。例えば、被験者が車両の運転者であり、空間領域が車両の内部表面に対応する場合、システムは、運転者が車両のエンターテイメントコンソールに対応する表面を見ていると判断することができ、インターフェースの作動、ディスプレイのオン／オフ、音量の調整など、対応するアクションを実行することができる。

機械学習モデルは、被験者の画像データから被験者の視線方向を決定するのに適した任意の１つ以上のモデルであり得る。一例として、機械学習モデルは、回帰モデルを使用して、その様々な入力の関数として視線方向を決定することができる。

上記のように、空間領域のセットは、任意の表面のセットの様々な位置及び配向を表すことができる。したがって、これらの空間領域は、所望の任意の様式で配置及び配向された任意の３次元表面を表し得る。したがって、これらの表面は、対象の任意の現実世界又は仮想世界の環境又は物体をモデル化することができ、したがって、本開示のシステムを使用して、被験者が現在見ている環境の正確な物体又は部分（すなわち、その３次元表面）を決定することができる。例えば、表面は、特定の車両の内部から見える３次元表面であってもよく、これには、車両の様々な窓の表現、並びにラジオ、空調システム、ダッシュボードディスプレイなどの車両の特定の機器、構成要素、又は特徴などの要素が含まれ得る。このようにして、システムは、運転者の視線が特定の構成要素を表す表面と現在交差しているかどうかを判断し、車両の何らかの動作を開始することによって適切なアクションを実行することができる。一例として、システムは、運転者が現在空調ダイヤルを見ていると判断することができ、温度設定の変更、又は空調のオン／オフなど多様な様式で車両が応答するようにすることができる。別の例として、システムは、運転者が現在気を散らしている又は眠っていると判断することができ、アラームを開始して運転者に警告する、緊急ステアリング操作を開始して車を道路の脇に引き寄せる、又はブレーキ操作を開始することができる。空間領域は、１つ以上の物体のコンピュータ支援設計（ＣＡＤ）又は他のコンピュータベースの３次元モデルから取得した領域を選択することによって、物体を直接測定することによって、物体の画像から、若しくは物体の領域の位置及び配向を選択及び決定するように訓練された機械学習モデルを介して物体の点又は領域の位置を決定することによってなどの、任意の様式で決定することができる。

上記のように、機械学習モデルは、被験者の視線方向を決定する任意の適切な入力を有し得る。これらの入力には、これらに限定されないが、被験者の顔の１つ以上のランドマーク点、被験者の頭の姿勢情報、被験者の目の１つ以上の視線方向、１つ以上の目のトリミング、又はこれらの入力に関連する任意の信頼値が含まれ得る。

また、システムによって使用される画像データは、可視光画像に対応するかどうかに関係なく、任意の形式の画像データであってもよく、任意のタイプのセンサから受信又は生成され得ることに留意されたい。個別の空間領域のセットを使用すると、新しい空間領域のセットを追加するだけで、多くの異なる環境と組み合わせて使用できるモジュラシステムが生成されることにも留意されたい。すなわち、所望の任意の環境に対応する、複数の異なるセットの空間領域を格納することができる。次に、システムは適切な空間領域のセットを取得し、新しい領域で上記のプロセスを繰り返すことができる。このようにして、システムは、被験者と任意の所望の環境との相互作用を適応的に決定することができる。

本開示の上記及び他の目的及び利点は、同様の参照文字が全体を通して同様の部分を指す添付の図面と併せて、以下の詳細な説明を考慮すると明らかになるであろう。

本開示の実施形態によるシステムの動作を示す写真である。 本開示の実施形態によるシステムの動作を示す別の写真である。 本開示の実施形態によるシステムの動作を示すさらに別の写真である。 本開示の実施形態による、視線方向を決定し、この視線方向を任意の３次元形状の領域にマッピングする例示的な機械学習システムを示すブロック図である。 図２Ａの視線ベクトル推定モジュールのさらなる詳細を示すブロック図である。 本開示の実施形態に従って使用するために構築された例示的な電子コンピューティングシステムの一般化された実施形態である。 本開示のいくつかの実施形態による、例示的な自律車両の図である。 本開示のいくつかの実施形態による、図４Ａの例示的な自律車両のカメラの位置及び視野の例である。 本開示のいくつかの実施形態による、図４Ａの例示的な自律車両の例示的なシステムアーキテクチャのブロック図である。 本開示のいくつかの実施形態による、クラウドベースのサーバと図４Ａの例示的な自律車両との間の通信のためのシステム図である。 本開示のいくつかの実施形態を実装する際の使用に適した例示的なコンピューティングデバイスのブロック図である。 本開示の実施形態の機械学習モデルの訓練及び展開を示す図である。 本開示の実施形態による、視線方向を決定し、この視線方向を任意の３次元形状の領域にマッピングするプロセスステップを示すフローチャートである。

一実施形態では、本開示は、被験者の視線方向を決定し、この視線方向を任意の３次元形状の特定の領域に投影するシステム及び方法に関する。例示的な実施形態では、視線方向は、回帰ベースの機械学習モデルによって決定され得る。次に、決定された視線方向は、任意の所望の物体又はシステムを表すことができる３次元マップ又は表面のセットに投影される。マップは、実際のものであろうと仮想のものであろうと、任意の３次元レイアウト又は形状を表すことができる。したがって、視線ベクトルを使用して、任意の環境内の視線の先にある物体を決定することができる。システムはまた、環境ごとに異なる表面又は領域のセットを取得することによって、異なる環境での使用に容易かつ効率的に適応することができる。

図１Ａ～図１Ｃは、本開示の実施形態によるシステムの動作を示す写真である。図１Ａでは、図１１０は、本開示のいくつかの実施形態による、エンターテイメントコンソールに視線を向ける乗員を伴う車両の内部図である。乗員１１６は、車両の運転席に座りながら、瞬間的にエンターテイメントコンソール１１９に視線１１６を向けている（例えば、目を向けている）。内部カメラセンサ１１２は、内部の屋根に取り付けられており、一方、マイクセンサ１１４はエンターテイメントコンソール内に取り付けられている。処理回路は、カメラセンサ１１２から画像データを受信して、乗員及び彼らそれぞれのエンターテイメントコンソールでの視線を決定することができる。

本明細書で説明するように、処理回路は、乗員の視線を示すデータに基づいて視線ベクトルを計算することができる。いくつかの実施形態では、並列処理回路は、本明細書に記載されるような視線ベクトルを計算するために機械学習モデル（例えば、ニューラルネットワーク）を実装してもよい。視線ベクトルは、乗員１１７の目に１つの交点と、エンターテイメントコンソール１１９の表面上のある点に第２の交点とを有する３次元空間における直線であり得る。

処理回路は、視線ベクトルとエンターテイメントコンソール１１９との間の交点を決定することができる。特に、処理回路は、車両内部の様々な表面に対応する３次元空間内の領域を表す格納された空間座標のセットをメモリから取得することができる。これらの領域の１つは、車両内のエンターテイメントコンソール１１９の配向及び位置の輪郭を成している。この例では、処理回路は、決定された起点（例えば、運転者１１７の目の３次元位置）から視線ベクトルを延長して、エンターテイメントコンソール１１９に対応する領域と交差させる。

視線ベクトルとエンターテイメントコンソール１１９との間の交点を決定すると、処理回路は、車両内で動作を実行させることができる。この動作は、車両の１つ以上のハードウェア構成要素によって実行され得る。例えば、車両は、交点がエンターテイメントコンソール１１９の位置にあると決定されたときに、エンターテイメントコンソール１１９に関連する特定の動作を提供することができる様々なハードウェア構成要素を備えていてもよい。

図１Ｂは、本開示のいくつかの実施形態による、運転者がエンターテイメントコンソール１１９を見ているという決定に応答した車両動作の実行を示す図１２０を示す。処理回路は、運転者がエンターテイメントコンソール１１９を見ていると決定した後、モードを「スリープ」から「エンゲージ」に切り替えるようにエンターテイメントコンソール１１９に命令を送信する。エンターテイメントコンソールのエンゲージモードは、特定の動作についての乗員からのさらなるクエリ又はリクエストを可能にする、明るさが増強されたスクリーン１２２を提供する。例えば、エンターテイメントコンソールは、明るさ及びＵＩが有効になった状態で、特定のラジオ局に同調して受信するように応答する。その結果、システムは、運転者がエンターテイメントコンソール１１９を見ていることを認識すると、エンターテイメントコンソール１１９の動作モードを変更する。このようにして、システムは、視線をマルチモーダルシステム（例えば、仮想又はデジタルのパーソナルアシスタント、会話型ユーザインターフェース、その他の同様のインターフェース）の動作トリガ又は「ウェイクアップワード」として使用することができる。

いくつかの実施形態では、処理回路は、車両内のセンサから、乗員からの他のデータを受信することができる。例えば、内部カメラ１１２は、乗員の唇の動きを受信してもよい。唇の動きは、テキスト情報に変換されてもよい（例えば、唇の動きの処理によって、乗員によって発声されているテキスト情報が提供されてもよい）。いくつかの実施形態では、他のデータは、車両内部のマイクセンサ１１４によって受信された音声データであり得る。処理回路は、他のデータに関連するサービス動作を決定することができる。例えば、処理回路は、乗員が「高音をレベル４に上げる」と言っていると決定することができる。処理回路は、エンターテイメントコンソール内の対応する動作がオーディオ／ビデオ再生の高音を上げることであると決定する。次に、処理回路は、サービス動作を車両内で実行させることができる。

本開示の実施形態は、複数の行為者に対して並行して実行される、複数のコンテキストでの処理及び動作を企図する。例えば、内部カメラ２００は、所定の対象の点（例えば、カメラ）で車両の乗員の視線の動きを検出し、検出された視線の動きを、その乗員の対応する唇の動き及び／又は音声データと相関させることができる。そのような状況下では、処理回路は、決定された視線の動きのソースに基づいて、各乗員の別個のコンテキストストリームを維持することができる。このような個々のコンテキストストリームは、時限的又は半永続的であり得る。すなわち、コンテキストストリームは、他のコンテキストストリームに対応する動き、又は車両の他の乗員のマルチモーダルな動きによって中断されたり、或いは非連続的にされたりしても、維持され得る。コンテキストが同じであると決定された場合、本開示によって企図されるような対話システムは、異なる乗員からの音声データを組み込んで、同じサービス動作を実行する。したがって、本開示の実施形態は、会話型人工知能動作のための対話システムを実装するために、及び対話システム内の複数の別個のコンテキストを車両キャビンのコンテキスト内で維持するために、複数のモダリティ（例えば、視覚及び音声）のユーザ入力検出の組み合わせを企図する。本開示の実施形態はまた、他の設定内での適用を企図する。例えば、視覚情報（例えば、限定されないが、視線／身体姿勢検出、視線／身体姿勢マッピング、及び／又は物体検出のいずれか又はすべて）を、音声情報（例えば、限定されないが、自動音声認識又は自然言語処理）と組み合わせて、小売店、営業所、医療施設などのコンテキスト内で機械学習支援動作を実行することができる。マルチコンテキストシステムと組み合わせたセンサ融合を他のユースケースに適用するには、変更可能／カスタマイズ可能なユースケース図を使用する。本開示の実施形態はまた、被験者の視線が特定の空間領域と交差すると決定されたときに被験者に通知するためのフィードバック機構を企図する。例えば、視覚的、触覚的、又は他のフィードバックは、運転者がその構成要素を見ているとシステムが判断したときに、特定の車両構成要素において生成されてもよい。そのようなフィードバックは、例えば、運転者が取る可能性のある行動について運転者にさらに通知することもできる。

図１Ｃは、本開示のいくつかの実施形態による、ユーザのアクションのマルチコンテキスト分析を示す図１３０を示す。処理回路は、エンターテイメントコンソール１１９に「スリープ」から「エンゲージ」にモードを切り替えるように指示した後、「ヘッドアップディスプレイに変更」という言葉を無音で、又は小声で発する乗員１１６についてカメラ１１２からカメラセンサ情報をさらに受信することができる。処理回路は、使用される特定の言葉を決定するために、無音／小声の言葉のビデオ及び／又は画像フレームに対する視覚処理を提供する。乗員は、例えば、車両の後部座席で眠っている別の乗員を起こさないように、言葉を口だけ動かしたり、小声で発している場合がある。このシステムは、乗員の視線方向とそれに続く決定された言葉に基づいて、エンターテイメントコンソールのユーザインターフェースをフロントガラス１３２に投影する。

図２Ａは、視線方向を決定し、この視線方向を任意の３次元形状の領域にマッピングする例示的な機械学習システムを示すブロック図である。システムは、カメラ２００、顔検出モジュール２１０、視線ベクトル推定モジュール２２０、顔ランドマーク検出２３０及び視線起点推定２４０モジュール、並びにマッピングモジュール２５０を含む。カメラ２００は、視線方向を決定する対象の人物などの被験者の画像を取り込む。カメラ２００は、取り込まれた画像から画像データを顔検出モジュール２１０に送信し、顔検出モジュール２１０は、画像内の被験者の顔を検出する。顔検出モジュール２１０は、任意の方法又はプロセスを使用して画像内に被験者の顔を配置することができる任意のソフトウェアモジュール又は命令のセットであってよく、上記の図２Ａの顔検出モジュール２１０と同様であり得る。図２Ａのシステムは、コンピューティングデバイス３００などの任意のコンピューティングデバイスに実装及び実行することができる。

この顔検出モジュール２１０によって検出された顔は、トリミングしてもよく、トリミングされた顔画像は視線ベクトル推定モジュール２２０に送信される。顔のトリミングは、カメラ２００からの画像内の被験者の顔の位置を特定し、それに応じて画像をトリミングすることによって決定され得る。顔の位置特定は、上記の非ニューラルネットワークベースの技術、ニューラルネットワークベースの顔認識方法などを含む、既知のコンピュータビジョンベースの顔検出プロセスなど、任意の様式で実行することができる。

視線ベクトル推定モジュール２２０は、被験者の顔の入力画像から被験者の視線方向を決定することができる任意の１つ以上の機械学習モデルを実装することができる。例示的な一実施形態では、視線ベクトル推定モジュール２２０は、以下でさらに説明するように、入力視線関連変数から方向ベクトル値を推定する回帰モデルを実装する。視線ベクトル推定モジュール２２０は、任意の入力変数から視線ベクトルを決定するように構成され得る、ＤＮＮベースの線形回帰モデル、統計回帰モデル、勾配ブースティングモデルなどの任意の適切な回帰モデルを実装することができる。

入力された顔のトリミングはまた、被験者の顔の入力画像から顔のランドマークを決定する顔ランドマーク検出モジュール２３０に入力される。顔ランドマークモジュール２３０は、顔の入力画像から顔のランドマークを決定することができる任意の機械学習ネットワーク、例えば、任意の１つ以上の機械学習モデルを実装することができる。モジュール２３０は、グローバルな顔の外観及び形状情報を表すための全体論的な方法に従って構築された機械学習モデルと、グローバルな形状モデル、生成ネットワーク、ＣＮＮ、及び顔の形状及び外観情報の関数としてランドマークの位置を決定する回帰ベースモデルの利用に加えて局所的な外観モデルを構築する制約付きローカルモデル方法に従って構築されたモデルとを含み得る。多くのそのようなモデルが知られており、本開示の実施形態は、顔の入力画像から顔のランドマークを決定するために、任意の１つ以上のそのようなモデル、又は他の任意の適切なモデル若しくは方法を使用することを企図する。モデルは、顔の入力画像から顔のランドマークを決定するのに適した任意のアーキテクチャ及び方法を使用して構築することができる。例えば、ＣＮＮに基づく顔ランドマークネットワークは、対応するランドマーク点を決定するために顔の特徴を抽出するのに適した任意の畳込みカーネル及びプーリング層を使用して構築することができる。

次に、顔ランドマーク検出モジュール２３０によって出力された顔のランドマークは、視線起点推定モジュール２４０に送信され、視線起点推定モジュール２４０は、そこから視線方向ベクトルの起点を決定する。視線起点推定モジュール２４０は、任意の機械学習ネットワーク、例えば、顔のランドマークの入力セットから視線起点を決定することができる任意の１つ以上の機械学習モデルを実装することができる。このようなネットワークには、ＣＮＮ、分類モデル、回帰モデルなどが含まれる。

次に、推定された視線ベクトル及びその起点は、マッピングモジュール２５０に入力され、マッピングモジュール２５０は、３次元領域のセットに視線ベクトルをその起点からマッピングすることにより、被験者が見ている３次元領域を決定する。マッピングモジュール２５０は、例えばストレージ４０８に、表面のセットを３次元で記述する３次元領域のセットを格納し、決定された視線ベクトルをその起点から投影して、視線ベクトルが表面の１つと交差するかどうかを決定するマッピングルーチンを実装する。次に、交差する表面があれば、それが出力視線領域として、又は被験者が現在見ている３次元表面として出力される。３次元領域のセットを表すデータは、マッピングモジュール２５０に入力され、そこに格納され、又はそれによってアクセス可能であり得る。このようにして、任意の１つ以上の物体を表す任意の３次元領域のセットをマッピングモジュール２５０に入力することができ、マッピングモジュール２５０は、投影された視線ベクトルと任意の格納された３次元領域との交点を決定することができる。これにより、図２Ａのシステムは、任意の物体を表す任意の３次元領域に対する視線方向を決定することを可能にする。さらに、システムは、異なる物体ごとに機械学習モデルを再訓練する必要はない。むしろ、新しい３次元領域のセットは、マッピングモジュール２５０に対して簡単に利用可能になり、モジュール２５０は、その機械学習モデルを再訓練することなく、視線方向とこれらの新しい３次元領域との交点を決定することができる。

３次元領域は、任意の様式で決定された任意の３次元表現であり得る。例えば、３次元領域は、１つ以上の物体の様々な点の空間的位置を直接測定することにより決定され得る。３次元領域は、物体の様々な位置の位置情報を含む１つ以上の物体のＣＡＤモデル又は他のコンピュータベースの３次元モデルを適合させることによって決定することもできる。このアプローチは、車両の内部など、直接測定するのが困難又は煩雑である複雑な３次元形状で使用するのに適している。別のアプローチは、画像センサ、距離又は位置センサなどの位置情報を伝達することができる１つ以上のセンサを使用して、物体の点又は領域の位置を決定することである。例えば、センサは、その物体の画像（可視光画像、赤外線画像などを含む、任意の波長のもの）を取り込むことができ、任意の様式で、そこから物体の点又は領域の位置を決定することができる。さらなるアプローチは、物体の画像などの入力から物体の領域の位置及び配向を選択及び決定するように訓練された１つ以上の既知の機械学習モデルを使用する。

図２Ｂは、視線ベクトル推定モジュール２２０のさらなる詳細を示すブロック図である。一実施形態では、視線ベクトル推定モジュール２２０は、上記のような回帰モデルを実装する適応推論融合モジュール２８０を含む。回帰モデルは、被験者の頭の姿勢を表す顔のランドマークのセット、顔のランドマークに対応する信頼値のセット、左目の視線方向、右目の視線方向、及び各視線方向の対応する信頼値を入力変数として取る。次に、上述のように、視線方向が回帰スキームに従って出力される。顔のランドマーク及び関連する信頼値は、任意の適切な方法又はシステムに従って決定され得る。

示されている視線ネットワーク２６０、２７０は、被験者の左目及び右目のトリミングを入力として取り、各目に対する視線方向の推定値を出力する。目のトリミングは、カメラ２００からの画像内の被験者の目の位置を特定し、それに応じて画像をトリミングすることによって決定され得る。目の位置特定は、上記の非ニューラルネットワークベースの技術、ニューラルネットワークベースの目認識方法などを含む、既知のコンピュータビジョンベースの目検出プロセスなど、任意の様式で実行することができる。これらのプロセスによる目の位置特定によって、目が正しく識別されているという確信度に対応する信頼値を生成することができ、これらの信頼値は、適応推論融合モジュールに入力することもできる。視線ネットワーク２６０、２７０は、入力された目のトリミングから視線を決定することができる任意のネットワークであり得る。

適応推論融合モジュール２８０は、上述のように、視線ベクトルを決定するのに適した任意の回帰モデルを実装することができる。次に、適応推論融合モジュール２８０から出力された視線ベクトルは、視線ベクトルを３次元形状にマッピングする視線領域マッピングモジュール２５０に送信される。任意の３次元形状、又は表面のセットが、コンピューティングシステム３００による使用のために格納され得ることが観察され得る。したがって、図２Ａ及び図２Ｂのシステムは、被験者の視線と任意の表面のセットとの交点を決定することができる。したがって、本開示の実施形態は、任意の環境における被験者の視線領域を決定する効率的かつモジュール式のアプローチを可能にする。任意の環境を３次元表面のセットとして特徴付け、それらの表面を例えばストレージ４０８に格納することにより、図２Ａ及び図２Ｂのシステムは、環境のどの部分が被験者の注意を引いているかを随時決定することができる。被験者が自身の環境を変更する場合、この新しい環境との相互作用は、図２Ａ及び図２Ｂのシステムによって使用される新しい環境の表面を入力することによって決定され得る。

このシステムは、あらゆる環境に適用することができる。一例として、環境は車両のキャビンであってもよく、図２Ａ及び図２Ｂのシステムを使用して、運転者が現在自身の注意を向けている車両の部分又は領域を決定することができる。この例では、上述のカメラ２００は、車両の乗員の顔の画像を取り込むために車両に設置され得る。本開示の実施形態は、車両の乗員の視線の視線ベクトル及び起点を決定することができる。図２Ａに示すように、車両のキャビンの関連部分は、３次元表面として識別及び特徴付けられ得る。これらの表面には、例えば、左側及び右側のフロントガラス、左側及び右側の外装（例えば、サイドウィンドウ）、車両の情報クラスタ、及び車両のエンターテイメントセンターが含まれ得る。上記のように、図２Ａ及び図２Ｂのシステムは、決定された視線ベクトルが交差するこれらの表面があればそれを決定し、それに応じて１つ以上のアクションを実行することができる。例えば、車両の乗員が車両の運転者であると決定し、運転者が情報クラスタに目を向けていると決定すると、車両は特定の重要な情報又は警告を情報クラスタに投影するか、又は特定の測定値若しくはインジケータを強調表示する。別の例として、運転者が左側のフロントガラス以外の領域を閾値時間を超えて見ていると決定すると、車両は運転者に対して道路に焦点を合わせるように警告を発することもできる。本開示の実施形態は、決定された視線領域に応答して開始される任意のアクションを企図する。

図３は、本開示の実施形態の１つの例示的な視線決定システムのブロック図表現である。ここで、本開示の実施形態の視線決定及びマッピング動作を実行することができる処理回路を含む任意の電子コンピューティングデバイスであり得るコンピューティングデバイス３００は、カメラ３１０及び視線支援システム３２０の両方と電子通信する。動作中、図２Ａのカメラ２００に対応し得るカメラ３１０は、被験者の画像を取り込み、コンピューティングデバイス３００に送信し、次に、コンピューティングデバイス３００は、例えば図２Ａ～図２Ｂの機械学習モデルを実装しており、カメラ３１０の画像から出力視線ベクトルを決定し、特定の空間領域とのその交点を決定する。コンピューティングデバイス３００は、この交差点情報を視線支援システム３２０に送信し、視線支援システム３２０は、それに応答して、アクションを実行するか、又は１つ以上の動作を実行する。

視線支援システム３２０は、交差する空間領域に対応するシステムの動作を開始するなど、コンピューティングデバイス３００から受信する空間領域交差点情報に基づいて１つ以上のアクションを実行することができる任意のシステムであり得る。カメラ３１０、コンピューティングデバイス３００、及び視線支援システム３２０の任意の構成が企図される。一例として、視線支援システム３２０は、以下でさらに説明する図４Ａ～図４Ｄの自律車両など、運転者又は別の乗員の視線方向を決定してそれに反応することができる自律車両であり得る。この例では、カメラ３１０及びコンピューティングデバイス３００を車両内に配置することができ、一方、視線支援システム３２０は車両自体を表すことができる。カメラ３１０は、運転者又は乗員を見ることができる車両内の任意の位置に配置することができる。したがって、カメラ３１０は、運転者の画像を取り込み、それらをコンピューティングデバイス３００に送信することができ、コンピューティングデバイス３００は、対応する被験者の視線ベクトルを計算し、視線ベクトルと車両の部分に対応する空間領域との交点を決定する。次に、この交差点情報は、例えば、車両が応答して取ることができるアクションを決定する別のソフトウェアモジュールに送信されてもよい。例えば、車両は、視線方向がサイドウィンドウと交差し、したがって、注意散漫な運転者又は道路に注意を払っていない運転者を表すと決定し、それに応じて任意のタイプの動作を開始することができる。このような動作には、運転者に発出される任意の種類の警告（例えば、視覚的又は聴覚的な警告、ヘッドアップディスプレイ上の警告など）、自動操縦の開始、ブレーキ動作又は回転動作、又はその他のアクションが含まれ得る。コンピューティングデバイス３００は、ローカルプロセッサとして視線支援システム３２０の車両内に配置することができ、又はカメラ３１０から画像を受信し、交差点情報若しくは命令を視線支援システム３２０の車両に無線で送信するリモートプロセッサとすることができる。

別の例として、視線支援システム３２０は、ユーザの動き及び視線に応答して画像を表示することができる仮想現実又は拡張現実システムであり得る。この例では、視線支援システム３２０は、ユーザが着用し、そこに画像を投影するように構成されたヘッドセットなどの仮想現実又は拡張現実ディスプレイを含む。カメラ３１０及びコンピューティングデバイス３００は、ヘッドセット内に配置することができ、カメラ３１０は、ユーザの目の画像を取り込み、コンピューティングデバイス３００は、そこから、ランドマーク及び信頼値、並びにユーザの視線方向を決定する。次に、この視線方向を、仮想環境内の取得された空間領域のセットに投影することができ、システム３２０は、ユーザが見ている可能性がある特定の空間領域に基づいて様々なアクションを実行することができる。例えば、空間領域は、ユーザが見ているときにユーザに情報を表示するヘッドアップディスプレイ領域など、ユーザの視線に応答する仮想物体を表す場合がある。上記の自律車両の例と同様に、仮想現実又は拡張現実システムのコンピューティングデバイス３００は、システム３２０内、例えばヘッドセット自体内に配置することができ、又は画像が無線でコンピューティングデバイス３００に送信され、計算された視線方向が無線でヘッドセットに送信され、次にヘッドセットがそれに応じて様々な動作を実行するように遠隔に配置することができる。

さらに別の例として、視線支援システム３２０は、ユーザが見ている広告を決定するコンピュータベースの広告システムであり得る。より具体的には、視線支援システム３２０は、デスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、サーバコンピュータなどの任意の電子コンピューティングシステム又はデバイスであり得る。カメラ３１０及びコンピューティングデバイス３００は、このシステムに組み込まれてもよく、それにより、カメラ３１０は、ユーザがコンピューティングデバイスのディスプレイを見ているか又はそれに近接するときにユーザを検出する。カメラ３１０は、ユーザの画像を取り込むことができ、コンピューティングデバイス３００は、そこからユーザの視線方向を決定することができる。次に、決定された視線方向は、視線支援システム３２０、例えば、ユーザに広告を表示するコンピューティングデバイス３００、リモートコンピューティングデバイスなどに送信され得る。次に、コンピューティングデバイス３００は、格納された空間領域を取得することができ、各領域は、システム３２０のディスプレイの特定の部分に対応し得る。次に、計算された視線方向を使用して、視線ベクトルが交差する領域、すなわちユーザがどの広告に焦点を合わせているかを決定し、様々な広告の効果に関する情報を提供することができる。

視線支援システム３２０は、任意のコンピューティングシステムを制御するユーザインターフェースシステムとしてさらに機能し得る。上記のように、コンピューティングデバイスのディスプレイに対応する空間領域を使用して、表示されたコンピューティング出力の任意の領域に対するユーザの視線を決定することができる。このようにして、システム３２０は、コンピュータマウス又はタッチパッドと同様のグラフィカル又はビジュアルユーザインターフェースシステムとして機能することができ、それにより、ユーザは、見ている位置に従ってカーソルを動かし、アイテムを選択することができる。すなわち、ユーザは、表示された情報の異なる領域を見ることにより、カーソル又は他のアイテム選択アイコンを移動させることができる。ユーザはまた、視線を使用してアイテムを選択し（対応する空間領域を所定の時間より長く見ているなど）、ボタンを選択／押下し、コンピューティングシステムへの任意の他のユーザ入力を実行する。本開示の実施形態は、表示された任意のコンピューティング出力の領域に従って配置された任意の格納された空間領域を使用して、ユーザの視線方向に従ってコンピューティング出力の部分を選択することを企図する。

図４Ａは、本開示のいくつかの実施形態による、例示的な自律車両４００の図である。自律車両４００（本明細書では「車両４００」と呼ばれることもある）は、限定ではないが、自動車、トラック、バス、ファーストレスポンダー車両、シャトル、電動自転車又は原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、水中船、ドローン、及び／又は別のタイプの車両（例えば、無人である、及び／又は１人以上の乗員を収容する車両）などの乗用車両を含み得る。自律車両は一般に自動化レベルの観点から説明され、米国運輸省の一部門である米国高速道路交通安全局（ＮＨＴＳＡ）、及び米国自動車技術者協会（ＳＡＥ）の「自動車用運転自動化システムのレベル分類及び定義」（２０１８年６月１５日発行の規格番号Ｊ３０１６－２０１８０６、２０１６年９月３０日発行の規格番号Ｊ３０１６－２０１６０９、及びこの規格の以前及び将来の版）によって定義される。車両４００は、自動運転レベルのレベル３～レベル５のうちの１つ以上に従って機能することができてもよい。例えば、車両４００は、実施形態に応じて、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）が可能であり得る。

車両４００は、シャーシ、車体、車輪（例えば、２、４、６、８、１８など）、タイヤ、車軸、及び車両の他の構成要素などの構成要素を含み得る。車両４００は、内燃機関、ハイブリッド発電装置、全電気機関、及び／又は別の推進システムタイプなどの推進システム４５０を含み得る。推進システム４５０は、トランスミッションを含み得る車両４００のドライブトレインに接続されて、車両４００の推進を可能にすることができる。推進システム４５０は、スロットル／アクセル４５２からの信号の受信に応答して制御され得る。

ステアリングホイールを含み得るステアリングシステム４５４を使用して、推進システム４５０が動作しているとき（例えば、車両が動いているとき）に、（例えば、所望の経路又は道路に沿って）車両４００を操縦することができる。ステアリングシステム４５４は、ステアリングアクチュエータ４５６から信号を受信することができる。ステアリングホイールは、完全自動化（レベル５）機能の場合、オプションであってもよい。

ブレーキセンサシステム４４６は、ブレーキアクチュエータ４４８及び／又はブレーキセンサからの信号の受信に応答して車両ブレーキを操作するために使用され得る。

１つ以上のＣＰＵ、システムオンチップ（ＳｏＣ）４０４（図４Ｃ）及び／又はＧＰＵを含み得るコントローラ４３６は、車両４００の１つ以上の構成要素及び／又はシステムに信号（例えば、コマンドを表す）を提供することができる。例えば、コントローラは、信号を送信して、１つ以上のブレーキアクチュエータ４４８を介して車両のブレーキを操作し、１つ以上のステアリングアクチュエータ４５６を介してステアリングシステム４５４を操作し、及び／又は１つ以上のスロットル／アクセル４５２を介して推進システム４５０を操作することができる。コントローラ４３６は、センサ信号を処理し、自動運転を可能にする及び／又は人間の運転者が車両４００を運転するのを支援する動作コマンド（例えば、コマンドを表す信号）を出力する１つ以上のオンボード（例えば、統合された）コンピューティングデバイス（例えば、スーパーコンピュータ）を含み得る。コントローラ４３６は、自動運転機能のための第１のコントローラ４３６、機能的な安全機能のための第２のコントローラ４３６、人工知能機能（例えば、コンピュータビジョン）のための第３のコントローラ４３６、インフォテインメント機能のための第４のコントローラ４３６、緊急事態における冗長性のための第５のコントローラ４３６、及び／又は他のコントローラを含み得る。いくつかの例では、単一のコントローラ４３６は、上記の機能のうちの２つ以上を統御することができ、２つ以上のコントローラ４３６は、単一の機能及び／又はそれらの任意の組み合わせを統御することができる。

コントローラ４３６は、１つ以上のセンサから受信したセンサデータ（例えば、センサ入力）に応答して、車両４００の１つ以上の構成要素及び／又はシステムを制御する信号を提供することができる。センサデータは、限定ではなく例として、全地球的航法衛星システムセンサ４５８（例えば、全地球測位システムセンサ）、レーダセンサ４６０、超音波センサ４６２、ライダセンサ４６４、慣性測定ユニット（ＩＭＵ）センサ４６６（例えば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイク４９６、ステレオカメラ４６８、ワイドビューカメラ４７０（例えば、魚眼カメラ）、赤外線カメラ４７２、サラウンドカメラ４７４（例えば、３６０度カメラ）、長距離及び／又は中距離カメラ４９８、速度センサ４４４（例えば、車両４００の速度を測定する）、振動センサ４４２、ステアリングセンサ４４０、ブレーキセンサ４４６（例えば、ブレーキセンサシステム４４６の一部として）及び／又は他のセンサタイプから受信することができる。

１つ以上のコントローラ４３６は、車両４００の計器クラスタ４３２から入力（例えば、入力データによって表される）を受信し、ヒューマン－マシンインターフェース（ＨＭＩ）ディスプレイ４３４、可聴アナンシエータ、スピーカ、及び／又は車両４００の他の構成要素を介して出力（例えば、出力データ、表示データなどによって表される）を提供することができる。出力は、車両速度、速度、時間、マップデータ（例えば、図４ＣのＨＤマップ４２２）、位置データ（例えば、マップ上などの車両４００の位置）、方向、他の車両の位置（例えば、占有グリッド）、物体に関する情報、及びコントローラ４３６によって知覚される物体の状態などの情報を含み得る。例えば、ＨＭＩディスプレイ４３４は、１つ以上の物体の存在に関する情報（例えば、道路標識、注意標識、信号機の切替りなど）、及び／又は車両が行った、行っている、若しくは行おうとしている運転操作に関する情報（例えば、ここで車線を変更する、２マイル先の３４Ｂ出口を出るなど）を表示することができる。

車両４００は、１つ以上の無線アンテナ４２６及び／又はモデムを使用して１つ以上のネットワークを介して通信することができるネットワークインターフェース４２４をさらに含む。例えば、ネットワークインターフェース４２４は、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００などを介した通信が可能であり得る。無線アンテナ４２６はまた、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ ＬＥ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅなどのローカルエリアネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどの低電力広域ネットワーク（ＬＰＷＡＮ）を使用して、環境内の物体（例えば、車両、モバイルデバイスなど）間の通信を可能にすることができる。

図４Ｂは、本開示のいくつかの実施形態による、図４Ａの例示的な自律車両４００のカメラの位置及び視野の例である。カメラ及びそれぞれの視野は、例示的な一実施形態であり、限定することを意図するものではない。例えば、追加の及び／又は代替のカメラが含まれてもよく、及び／又はカメラは車両４００の異なる位置に配置されてもよい。

カメラのカメラタイプは、車両４００の構成要素及び／又はシステムでの使用に適合され得るデジタルカメラを含み得るが、これらに限定されない。カメラは、自動車安全水準（ＡＳＩＬ）Ｂ及び／又は別のＡＳＩＬで動作することができる。カメラのタイプは、実施形態に応じて、６０フレーム毎秒（ｆｐｓ）、１２０ｆｐｓ、２４０ｆｐｓなど、任意の画像取込みレートが可能であり得る。カメラは、ローリングシャッタ、グローバルシャッタ、別のタイプのシャッタ、又はそれらの組み合わせを使用することが可能であり得る。いくつかの例では、カラーフィルタアレイには、赤クリアクリアクリア（ＲＣＣＣ）カラーフィルタアレイ、赤クリアクリアブルー（ＲＣＣＢ）カラーフィルタアレイ、赤青緑クリア（ＲＢＧＣ）カラーフィルタアレイ、Ｆｏｖｅｏｎ Ｘ３カラーフィルタアレイ、Ｂａｙｅｒセンサ（ＲＧＧＢ）カラーフィルタアレイ、モノクロセンサカラーフィルタアレイ、及び／又は別のタイプのカラーフィルタアレイが含まれ得る。いくつかの実施形態では、光感度を向上させるために、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣカラーフィルタアレイを有するカメラなどのクリアピクセルカメラが使用され得る。

一部の例では、１つ以上のカメラを使用して、（例えば、冗長設計又はフェイルセーフ設計の一部として）先進運転支援システム（ＡＤＡＳ）機能を実行することができる。例えば、マルチファンクションモノカメラを取り付けて、車線逸脱警告、交通標識支援、インテリジェントヘッドランプ制御などの機能を提供することができる。１つ以上のカメラ（例えば、すべてのカメラ）は、画像データ（例えば、ビデオ）を同時に記録及び提供することができる。

カメラの画像データ取込み機能を妨げる可能性がある迷光及び車内からの反射（例えば、フロントガラスのミラーに反射したダッシュボードからの反射）を遮断するために、１つ以上のカメラをカスタム設計（３Ｄ印刷）アセンブリなどの取付けアセンブリに取り付けてもよい。ウィングミラー取付けアセンブリに関して、ウィングミラーアセンブリは、カメラ取付けプレートがウィングミラーの形状と一致するようにカスタム３Ｄ印刷してもよい。いくつかの例では、カメラは、ウィングミラーに統合されてもよい。サイドビューカメラの場合、カメラは、キャビンの各角にある４本の柱の中に統合されてもよい。

車両４００の前方の環境の一部を含む視野を有するカメラ（例えば、前向きカメラ）は、前面の経路及び障害物を特定するのを助けるために、また、１つ以上のコントローラ４３６及び／又は制御ＳｏＣの助けを用いて、占有グリッドの生成及び／又は好ましい車両経路の決定に重要な情報を提供するのを助けるために、サラウンドビューを得るために使用され得る。前向きカメラを使用して、緊急ブレーキ、歩行者検出、及び衝突回避など、ライダと同じＡＤＡＳ機能の多くを実行することができる。前向きカメラは、車線逸脱警告（ＬＤＷ）、自律走行制御（ＡＣＣ）、及び／又は交通標識認識などの他の機能を含むＡＤＡＳ機能及びシステムにも使用することができる。

例えば、ＣＭＯＳ（相補型金属酸化膜半導体）カラーイメージャを含む単眼カメラプラットフォームなど、様々なカメラを前向き構成で使用することができる。別の例は、周囲から視界に入る物体（例えば、歩行者、横断車両又は自転車）を知覚するために使用され得るワイドビューカメラ４７０であり得る。図４Ｂには１つのワイドビューカメラのみが示されているが、車両４００には任意の数のワイドビューカメラ４７０があってもよい。さらに、長距離カメラ４９８（例えば、長視野ステレオカメラペア）は、特にそれに対するニューラルネットワークがまだ訓練されていない物体について、深度ベースの物体検出に使用することができる。長距離カメラ４９８はまた、物体の検出及び分類、並びに基本的な物体追跡のために使用され得る。

１つ以上のステレオカメラ４６８もまた、前向き構成に含まれ得る。ステレオカメラ４６８は、プログラマブルロジック（例えば、ＦＰＧＡ）及びシングルチップ上に統合ＣＡＮ又はイーサネットインターフェースを有するマルチコアマイクロプロセッサを提供し得る、スケーラブルな処理ユニットを備える統合制御ユニットを含み得る。そのようなユニットは、画像内のすべての点に対する距離推定を含む、車両の環境の３Ｄマップを生成するために使用することができる。代替のステレオカメラ４６８としては、小型ステレオビジョンセンサが挙げられ、小型ビジョンセンサは、２つのカメラレンズ（左右に１つずつ）と、車両から目標物体までの距離を測定し、生成された情報（例えば、メタデータ）を使用して、自律緊急ブレーキ及び車線逸脱警告機能をアクティブにすることができる画像処理チップとを含み得る。本明細書に記載されているものに加えて、又はその代わりに、他のタイプのステレオカメラ４６８を使用してもよい。

車両４００の側方の環境の一部を含む視野を有するカメラ（例えば、サイドビューカメラ）をサラウンドビューに使用して、占有グリッドの作成及び更新、並びに側面衝撃衝突警告の生成に使用される情報を提供することができる。例えば、サラウンドカメラ４７４（例えば、図４Ｂに示すような４つのサラウンドカメラ４７４）は、車両４００の周りに配置され得る。サラウンドカメラ４７４は、ワイドビューカメラ４７０、魚眼カメラ、３６０度カメラなどを含み得る。例えば、４つの魚眼カメラを車両の前部、後部、側面に配置することができる。代替構成では、車両は、３つのサラウンドカメラ４７４（例えば、左、右、及び後部）を使用してもよく、１つ以上の他のカメラ（例えば、前向きカメラ）を第４のサラウンドビューカメラとして活用してもよい。

車両４００の後方の環境の一部を含む視野を有するカメラ（例えば、バックビューカメラ）は、駐車支援、サラウンドビュー、後方衝突警告、並びに占有グリッドの作成及び更新のために使用され得る。限定されないが、本明細書に記載のような、前向きカメラとしても適したカメラ（例えば、長距離及び／又は中距離カメラ４９８、ステレオカメラ４６８、赤外線カメラ４７２など）を含む多種多様なカメラを使用することができる。

車両４００の内部又はキャビンの一部を含む視野を有するカメラを使用して、キャビン内の運転者、乗員、又は物体の１つ以上の状態を監視することができる。キャビンカメラ４４１を含むがこれに限定されない任意のタイプのカメラを使用することができ、これは、本明細書に記載の任意のタイプのカメラであってもよく、車両４００のいずれの場所に配置してもよく、車両４００のキャビン又は内部の視野を提供する。例えば、キャビンカメラ４４１は、車両４００のダッシュボード、バックミラー、サイドミラー、座席、又はドアの内部若しくは一部に配置され、任意の運転者、乗員、又は車両４００の他の物体若しくは一部の画像を取り込むように配向されてもよい。

図４Ｃは、本開示のいくつかの実施形態による、図４Ａの例示的な自律車両４００の例示的なシステムアーキテクチャのブロック図である。本明細書で説明されるこの構成及び他の構成は、例としてのみ示されていることを理解されたい。図示のものに加えて、又はそれらの代わりに、他の構成及び要素（例えば、機械、インターフェース、機能、順序、機能のグループ化など）を使用してもよく、いくつかの要素は完全に省略することもできる。さらに、本明細書で説明する要素の多くは、個別又は分散構成要素として、又は他の構成要素と組み合わせて、任意の適切な組み合わせ及び位置で実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書で説明される様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実行され得る。例えば、様々な機能は、メモリに格納された命令を実行するプロセッサによって実行されてもよい。

図４Ｃの車両４００の構成要素、特徴、及びシステムの各々は、バス４０２を介して接続されるものとして示されている。バス４０２は、コントローラエリアネットワーク（ＣＡＮ）データインターフェース（或いは、本明細書では「ＣＡＮバス」と呼ばれることもある）を含み得る。ＣＡＮは、ブレーキの作動、加速、ブレーキ、ステアリング、フロントガラスのワイパーなど、車両４００の様々な特徴及び機能の制御を支援するために使用される車両４００内部のネットワークであり得る。ＣＡＮバスは、それぞれ独自の一意の識別子（ＣＡＮ ＩＤなど）を有する数十又は数百のノードを有するように構成することができる。ＣＡＮバスを読み取って、ステアリングホイールの角度、対地速度、エンジンの回転毎分（ＲＰＭ）、ボタンの位置、その他の車両のステータスインジケータを見つけることができる。ＣＡＮバスはＡＳＩＬ Ｂに準拠し得る。

バス４０２は、本明細書ではＣＡＮバスであるとして説明されるが、これは限定を意図するものではない。例えば、ＣＡＮバスに加えて、又はＣＡＮバスに代えて、ＦｌｅｘＲａｙ及び／又はイーサネットを使用してもよい。さらに、バス４０２を表すために単一の線が使用されているが、これは限定を意図するものではない。例えば、１つ以上のＣＡＮバス、１つ以上のＦｌｅｘＲａｙバス、１つ以上のイーサネットバス、及び／又は異なるプロトコルを使用する１つ以上の他のタイプのバスを含み得る任意の数のバス４０２があってもよい。いくつかの例では、２つ以上のバス４０２を、異なる機能を実行するために使用することができ、かつ／又は冗長性のために使用することができる。例えば、第１のバス４０２を衝突回避機能に使用し、第２のバス４０２を作動制御に使用してもよい。任意の例において、各バス４０２が車両４００の構成要素のいずれかと通信してもよく、２つ以上のバス４０２が同じ構成要素と通信してもよい。いくつかの例では、車両内の各ＳｏＣ４０４、各コントローラ４３６、及び／又は各コンピュータは、同じ入力データ（例えば、車両４００のセンサからの入力）にアクセスすることができ、ＣＡＮバスなどの共通バスに接続され得る。

車両４００は、図４Ａに関して本明細書で説明されているものなど、１つ以上のコントローラ４３６を含み得る。コントローラ４３６は、様々な機能に使用することができる。コントローラ４３６は、車両４００の様々な他の構成要素及びシステムのいずれかに結合することができ、車両４００の制御、車両４００の人工知能、車両４００のインフォテインメントなどに使用することができる。

車両４００は、チップ（ＳｏＣ）４０４にシステムを含み得る。ＳｏＣ４０４は、ＣＰＵ４０６、ＧＰＵ４０８、プロセッサ４１０、キャッシュ４１２、アクセラレータ４１４、データストア４１６、及び／又は図示しない他の構成要素及び特徴を含み得る。ＳｏＣ４０４は、様々なプラットフォーム及びシステムにおいて車両４００を制御するために使用され得る。例えば、ＳｏＣ４０４は、システム（例えば、車両４００のシステム）において、１つ以上のサーバ（例えば、図４Ｄのサーバ４７８）からネットワークインターフェース４２４を介してマップのリフレッシュ及び／又は更新を取得することができるＨＤマップ４２２と組み合わせることができる。

ＣＰＵ４０６は、ＣＰＵクラスタ又はＣＰＵコンプレックス（或いは、本明細書では「ＣＣＰＬＥＸ」と呼ばれることもある）を含み得る。ＣＰＵ４０６は、複数のコア及び／又はＬ２キャッシュを含み得る。例えば、いくつかの実施形態では、ＣＰＵ４０６は、コヒーレントマルチプロセッサ構成で８つのコアを含み得る。いくつかの実施形態では、ＣＰＵ４０６は、各クラスタが専用のＬ２キャッシュ（例えば、２ＭＢのＬ２キャッシュ）を有する４つのデュアルコアクラスタを含み得る。ＣＰＵ４０６（例えば、ＣＣＰＬＥＸ）は、ＣＰＵ４０６のクラスタの任意の組み合わせが所与の時間にアクティブになることを可能にする同時クラスタ動作をサポートするように構成されてもよい。

ＣＰＵ４０６は、以下の特徴：個々のハードウェアブロックが、動的電力を節約するために、アイドル状態のときに自動的にクロックゲーティングされ得ること；各コアクロックが、ＷＦＩ／ＷＦＥ命令の実行によりコアが命令をアクティブに実行していないときにゲーティングされ得ること；各コアが独立してパワーゲーティングされ得ること；すべてのコアがクロックゲーティング又はパワーゲーティングされている場合、各コアクラスタが独立してクロックゲーティングされ得ること；及び／又はすべてのコアがパワーゲーティングされている場合、各コアクラスタが独立してパワーゲーティングされ得ることの１つ以上を含む電力管理機能を実装することができる。ＣＰＵ４０６は、電力状態を管理するための拡張アルゴリズムをさらに実装することができ、この場合、許容される電力状態及び所望のウェイクアップ時間が指定され、ハードウェア／マイクロコードは、コア、クラスタ、及びＣＣＰＬＥＸに入る最良の電力状態を決定する。処理コアは、作業をマイクロコードにオフロードして、ソフトウェアにおいて簡略化された電力状態エントリシーケンスをサポートすることができる。

ＧＰＵ４０８は、統合ＧＰＵ（或いは、本明細書では「ｉＧＰＵ」と呼ばれることもある）を含み得る。ＧＰＵ４０８は、プログラム可能であってよく、並列ワークロードに対して効率的であり得る。いくつかの例では、ＧＰＵ４０８は、拡張テンソル命令セットを使用することができる。ＧＰＵ４０８は、１つ以上のストリーミングマイクロプロセッサを含んでもよく、この場合、各ストリーミングマイクロプロセッサは、Ｌ１キャッシュ（例えば、少なくとも９６ＫＢの記憶容量を有するＬ１キャッシュ）を含むことができ、２つ以上のストリーミングマイクロプロセッサがＬ２キャッシュ（例えば、５１２ＫＢの記憶容量を有するＬ２キャッシュ）を共有することができる。いくつかの実施形態では、ＧＰＵ４０８は、少なくとも８つのストリーミングマイクロプロセッサを含み得る。ＧＰＵ４０８は、コンピュータベースのアプリケーションプログラミングインターフェース（ＡＰＩ）を使用してもよい。さらに、ＧＰＵ４０８は、１つ以上の並列コンピューティングプラットフォーム及び／又はプログラミングモデル（例えば、ＮＶＩＤＩＡ社のＣＵＤＡ）を使用してもよい。

ＧＰＵ４０８は、自動車及び埋込みの使用事例において最高の性能を得るために、電力が最適化され得る。例えば、ＧＰＵ４０８は、Ｆｉｎ電界効果トランジスタ（ＦｉｎＦＥＴ）上に製作され得る。しかしながら、これは限定を意図するものではなく、ＧＰＵ４０８は他の半導体製造プロセスを使用して製作されてもよい。各ストリーミングマイクロプロセッサは、複数のブロックに分割されたいくつかの混合精度処理コアを組み込むことができる。限定ではなく例として、６４個のＰＦ３２コア及び３２個のＰＦ６４コアを４つの処理ブロックに分割することができる。そのような例では、各処理ブロックには、１６個のＦＰ３２コア、８個のＦＰ６４コア、１６個のＩＮＴ３２コア、ディープラーニングマトリックス演算用の２個の混合精度ＮＶＩＤＩＡテンソルコア、Ｌ０命令キャッシュ、ワープスケジューラ、ディスパッチユニット、及び／又は６４ＫＢのレジスタファイルが割り当てられ得る。さらに、ストリーミングマイクロプロセッサは、独立した並列整数及び浮動小数点データパスを含んで、計算とアドレッシング計算とを組み合わせてワークロードを効率的に実行することができる。ストリーミングマイクロプロセッサは、独立したスレッドスケジューリング機能を含んで、並列スレッド間のより細かい同期及び協調を可能にすることができる。ストリーミングマイクロプロセッサは、プログラミングを簡素化しながらパフォーマンスを向上させるために、Ｌ１データキャッシュと共有メモリユニットとの組み合わせを含むことができる。

ＧＰＵ４０８は、いくつかの例では、約９００ＧＢ／秒のピークメモリ帯域幅を提供するために、高帯域幅メモリ（ＨＢＭ）及び／又は１６ＧＢ ＨＢＭ２メモリサブシステムを含み得る。いくつかの例では、ＨＢＭメモリに加えて、又はＨＢＭメモリに代えて、グラフィックスダブルデータレートタイプ５同期ランダムアクセスメモリ（ＧＤＤＲ５）などの同期グラフィックスランダムアクセスメモリ（ＳＧＲＡＭ）を使用することができる。

ＧＰＵ４０８は、メモリページに最も頻繁にアクセスするプロセッサへのメモリページのより正確な移行を可能にするアクセスカウンタを含むユニファイドメモリ技術を含むことができ、それによってプロセッサ間で共有されるメモリ範囲の効率を改善する。いくつかの例では、アドレス変換サービス（ＡＴＳ）サポートを使用して、ＧＰＵ４０８がＣＰＵ４０６ページテーブルに直接アクセスできるようにすることができる。そのような例では、ＧＰＵ４０８メモリ管理ユニット（ＭＭＵ）が失敗を経験した場合、アドレス変換要求がＣＰＵ４０６に送信され得る。それに応答して、ＣＰＵ４０６は、アドレスの仮想から物理へのマッピングに関するそのページテーブルを参照し、変換をＧＰＵ４０８に送り返すことができる。したがって、ユニファイドメモリ技術は、ＣＰＵ４０６及びＧＰＵ４０８の両方のメモリに対して単一の統合仮想アドレス空間を可能にし、それによってＧＰＵ４０８のプログラミングとＧＰＵ４０８へのアプリケーションの移植とを簡素化する。

さらに、ＧＰＵ４０８は、他のプロセッサのメモリへのＧＰＵ４０８のアクセスの頻度を追跡することができるアクセスカウンタを含み得る。アクセスカウンタは、最も頻繁にページにアクセスしているプロセッサの物理メモリにメモリページを移動することを保証するのに役立ち得る。

ＳｏＣ４０４は、本明細書に記載されているものを含む、任意の数のキャッシュ４１２を含み得る。例えば、キャッシュ４１２は、ＣＰＵ４０６及びＧＰＵ４０８の両方に利用可能な（例えば、ＣＰＵ４０６及びＧＰＵ４０８の両方に接続されている）Ｌ３キャッシュを含んでもよい。キャッシュ４１２は、キャッシュコヒーレンスプロトコル（例えば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することなどによって、ラインの状態を追跡することができるライトバックキャッシュを含み得る。実施形態によっては、Ｌ３キャッシュは４ＭＢ以上を含み得るが、より小さなキャッシュサイズを使用してもよい。

ＳｏＣ４０４は、ＤＮＮの処理など、車両４００の様々なタスク又は動作のいずれかに関する処理を実行する際に活用され得る算術論理ユニット（ＡＬＵ）を含み得る。さらに、ＳｏＣ４０４は、システム内で数学演算を実行する浮動小数点ユニット（ＦＰＵ）、又は他の数学コプロセッサ若しくは数値コプロセッサのタイプを含み得る。例えば、ＳｏＣ１０４は、ＣＰＵ４０６及び／又はＧＰＵ４０８内の実行ユニットとして統合された１つ以上のＦＰＵを含んでもよい。

ＳｏＣ４０４は、１つ以上のアクセラレータ４１４（例えば、ハードウェアアクセラレータ、ソフトウェアアクセラレータ、又はそれらの組み合わせ）を含み得る。例えば、ＳｏＣ４０４は、最適化されたハードウェアアクセラレータ及び／又は大きなオンチップメモリを含み得るハードウェアアクセラレーションクラスタを含んでもよい。大きなオンチップメモリ（例えば、４ＭＢのＳＲＡＭ）を使用すると、ハードウェアアクセラレーションクラスタでニューラルネットワーク及びその他の計算を高速化することができる。ハードウェアアクセラレーションクラスタを使用して、ＧＰＵ４０８を補完し、ＧＰＵ４０８のタスクの一部をオフロードすることができる（例えば、他のタスクを実行するためにＧＰＵ４０８のより多くのサイクルを解放する）。一例として、アクセラレータ４１４は、加速を受け入れられるほど十分に安定しているターゲットワークロード（例えば、知覚、畳込みニューラルネットワーク（ＣＮＮ）など）に使用することができる。本明細書で使用される場合、「ＣＮＮ」という用語は、領域ベース又は領域畳込みニューラルネットワーク（ＲＣＮＮ）及び高速ＲＣＮＮ（例えば、物体検出に使用される）を含む、すべてのタイプのＣＮＮを含み得る。

アクセラレータ４１４（例えば、ハードウェアアクセラレーションクラスタ）は、ディープラーニングアクセラレータ（ＤＬＡ）を含み得る。ＤＬＡは、ディープラーニングアプリケーション及び推論のために１秒あたり１０兆の演算を追加で提供するように構成することができる１つ以上のテンソル処理ユニット（ＴＰＵ）を含み得る。ＴＰＵは、（例えば、ＣＮＮ、ＲＣＮＮなどのために）画像処理機能を実行するように構成され、最適化されたアクセラレータであり得る。ＤＬＡは、特定のニューラルネットワークタイプのセット及び浮動小数点演算及び推論のためにさらに最適化することができる。ＤＬＡの設計は、汎用ＧＰＵよりも１ミリあたりのパフォーマンスが高く、ＣＰＵのパフォーマンスを大幅に上回る。ＴＰＵは、単一インスタンスの畳込み関数など、特徴及び重みの両方のＩＮＴ８、ＩＮＴ１６、及びＦＰ１６データタイプ、並びにポストプロセッサ関数をサポートする、いくつかの関数を実行することができる。

ＤＬＡは、様々な関数のいずれかに関する処理済み又は未処理のデータに対してニューラルネットワーク、特にＣＮＮを迅速かつ効率的に実行することができ、これには、限定ではなく例として、カメラセンサからのデータを使用した物体認識及び検出のためのＣＮＮ、カメラセンサからのデータを使用した距離推定のためのＣＮＮ、マイクからのデータを使用した緊急車両の検出、識別及び検出のためのＣＮＮ、カメラセンサからのデータを使用した顔認識及び車両所有者識別のためのＣＮＮ、並びに／或いはセキュリティ及び／又は安全関連イベントのためのＣＮＮが含まれる。

ＤＬＡは、ＧＰＵ４０８の任意の機能を実行することができ、推論アクセラレータを使用することにより、例えば、設計者は、ＤＬＡ又はＧＰＵ４０８のいずれかを任意の機能に向けることができる。例えば、設計者は、ＤＬＡにＣＮＮ及び浮動小数点演算の処理を集中させ、他の機能をＧＰＵ４０８及び／又は他のアクセラレータ４１４に任せてもよい。

アクセラレータ４１４（例えば、ハードウェアアクセラレーションクラスタ）は、プログラマブルビジョンアクセラレータ（ＰＶＡ）を含むことができ、これは、本明細書ではコンピュータビジョンアクセラレータと呼ばれることもある。ＰＶＡは、先進運転支援システム（ＡＤＡＳ）、自動運転、並びに／或いは拡張現実（ＡＲ）及び／又は仮想現実（ＶＲ）アプリケーションのコンピュータビジョンアルゴリズムを加速するように設計及び構成され得る。ＰＶＡによって、パフォーマンスと柔軟性とのバランスがもたらされ得る。例えば、各ＰＶＡは、限定ではなく例として、任意の数の縮小命令セットコンピュータ（ＲＩＳＣ）コア、ダイレクトメモリアクセス（ＤＭＡ）、及び／又は任意の数のベクトルプロセッサを含み得る。

ＲＩＳＣコアは、画像センサ（例えば、本明細書に記載されているカメラのいずれかの画像センサ）、画像信号プロセッサなどと相互作用することができる。各ＲＩＳＣコアには、任意の量のメモリが含まれ得る。ＲＩＳＣコアは、実施形態に応じて、いくつかのプロトコルのいずれかを使用することができる。いくつかの例では、ＲＩＳＣコアは、リアルタイムオペレーティングシステム（ＲＴＯＳ）を実行することができる。ＲＩＳＣコアは、１つ以上の集積回路デバイス、特定用途向け集積回路（ＡＳＩＣ）、及び／又はメモリデバイスを使用して実装され得る。例えば、ＲＩＳＣコアは、命令キャッシュ及び／又は密結合ＲＡＭを含み得る。

ＤＭＡは、ＰＶＡの構成要素がＣＰＵ４０６とは独立してシステムメモリにアクセスすることを可能にし得る。ＤＭＡは、多次元アドレッシング及び／又は循環アドレッシングのサポートを含むがこれらに限定されない、ＰＶＡに最適化を提供するために使用される任意の数の機能をサポートすることができる。いくつかの例では、ＤＭＡは、ブロック幅、ブロック高さ、ブロック深さ、水平ブロックステッピング、垂直ブロックステッピング、及び／又は深さステッピングを含み得る最大６次元以上のアドレッシングをサポートし得る。

ベクトルプロセッサは、コンピュータビジョンアルゴリズムのプログラミングを効率的かつ柔軟に実行し、信号処理機能を提供するように設計され得るプログラム可能なプロセッサであり得る。いくつかの例では、ＰＶＡは、ＰＶＡコア及び２つのベクトル処理サブシステム区画を含み得る。ＰＶＡコアは、プロセッササブシステム、ＤＭＡエンジン（例えば、２つのＤＭＡエンジン）、及び／又は他の周辺機器を含み得る。ベクトル処理サブシステムは、ＰＶＡの主要な処理エンジンとして動作することができ、ベクトル処理ユニット（ＶＰＵ）、命令キャッシュ、及び／又はベクトルメモリ（例えば、ＶＭＥＭ）を含むことができる。ＶＰＵコアは、例えば、単一命令、複数データ（ＳＩＭＤ）、非常に長い命令語（ＶＬＩＷ）デジタル信号プロセッサなどのデジタル信号プロセッサを含み得る。ＳＩＭＤとＶＬＩＷとの組み合わせにより、スループット及び速度を向上させることができる。

ベクトルプロセッサの各々は、命令キャッシュを含むことができ、専用メモリに結合され得る。その結果、いくつかの例では、ベクトルプロセッサの各々は、他のベクトルプロセッサとは独立して実行されるように構成され得る。他の例では、特定のＰＶＡに含まれるベクトルプロセッサは、データ並列性を使用するように構成され得る。例えば、いくつかの実施形態では、単一のＰＶＡに含まれる複数のベクトルプロセッサは、同じコンピュータビジョンアルゴリズムを、画像の異なる領域で実行することができる。他の例では、特定のＰＶＡに含まれるベクトルプロセッサは、同じ画像に対して異なるコンピュータビジョンアルゴリズムを同時に実行するか、又はさらには連続した画像若しくは画像の一部に対して異なるアルゴリズムを実行することもできる。とりわけ、ハードウェアアクセラレーションクラスタには任意の数のＰＶＡを含めることができ、各ＰＶＡには任意の数のベクトルプロセッサを含めることができる。さらに、ＰＶＡには、システム全体の安全性を高めるために、追加のエラー訂正コード（ＥＣＣ）メモリが含まれ得る。

アクセラレータ４１４（例えば、ハードウェアアクセラレーションクラスタ）は、アクセラレータ４１４に高帯域幅、低レイテンシのＳＲＡＭを提供するコンピュータビジョンネットワークオンチップ及びＳＲＡＭを含み得る。いくつかの例では、オンチップメモリは、限定ではなく例として、ＰＶＡ及びＤＬＡの両方によってアクセス可能な、フィールド構成可能な８つのメモリブロックからなる少なくとも４ＭＢのＳＲＡＭを含み得る。メモリブロックの各ペアには、高度な周辺バス（ＡＰＢ）インターフェース、構成回路、コントローラ、及びマルチプレクサが含まれ得る。任意のタイプのメモリを使用することができる。ＰＶＡ及びＤＬＡは、ＰＶＡ及びＤＬＡにメモリへの高速アクセスを提供するバックボーンを介してメモリにアクセスすることができる。バックボーンは、ＰＶＡ及びＤＬＡをメモリに（例えば、ＡＰＢを使用して）相互接続するオンチップのコンピュータビジョンネットワークを含むことができる。

オンチップのコンピュータビジョンネットワークには、制御信号／アドレス／データを送信する前に、ＰＶＡ及びＤＬＡの両方が準備ができた有効な信号を提供していることを確認するインターフェースが含まれ得る。そのようなインターフェースは、制御信号／アドレス／データを送信するための別個のフェーズ及び別個のチャネル、並びに連続的なデータ転送のためのバースト型通信を提供することができる。このタイプのインターフェースは、ＩＳＯ ２６２６２又はＩＥＣ ６１５０８規格に準拠していてもよいが、他の規格及びプロトコルを使用してもよい。

いくつかの例では、ＳｏＣ４０４は、２０１８年８月１０日に出願された米国特許出願第１６／１０１，２３２号に記載されているような、リアルタイムレイトレーシングハードウェアアクセラレータを含み得る。リアルタイムレイトレーシングハードウェアアクセラレータを使用して、物体の位置及び範囲（例えば、ワールドモデル内）を迅速かつ効率的に決定し、リアルタイム可視化シミュレーションを生成して、レーダ信号の解釈、音の伝播の合成及び／又は解析、ソナーシステムのシミュレーション、一般的な波動伝播シミュレーション、ローカリゼーション及び／若しくは他の機能のためのライダデータとの比較、及び／又は他の用途に用いることができる。いくつかの実施形態では、１つ以上のレイトレーシング関連動作を実行するために、１つ以上のツリートラバーサルユニット（ＴＴＵ）が使用され得る。

アクセラレータ４１４（例えば、ハードウェアアクセラレータクラスタ）は、自動運転に関して幅広い用途を有する。ＰＶＡは、ＡＤＡＳ及び自律車両の主要な処理段階に使用することができるプログラマブルビジョンアクセラレータであり得る。ＰＶＡの機能は、低電力及び低レイテンシで予測可能な処理を必要とするアルゴリズムドメインに最適である。言い換えると、ＰＶＡは、低レイテンシ及び低電力で予測可能なランタイムを必要とする小さなデータセットでも、準高密度又は高密度の通常の計算で適切に機能する。したがって、自律車両のプラットフォームのコンテキストでは、ＰＶＡは物体の検出及び整数演算での動作が効率的であるため、古典的なコンピュータビジョンアルゴリズムを実行するように設計される。

例えば、本技術の一実施形態によれば、ＰＶＡは、コンピュータステレオビジョンを実行するために使用される。いくつかの例では、セミグローバルマッチングベースのアルゴリズムが使用され得るが、これは限定を意図するものではない。レベル３～５の自動運転の多くのアプリケーションでは、オンザフライでの動き推定／ステレオマッチング（動き、歩行者認識、車線検出などに由来する構造）を必要とする。ＰＶＡは、２台の単眼カメラからの入力でコンピュータステレオビジョン機能を実行することができる。

いくつかの例では、ＰＶＡは、高密度オプティカルフローを実行するために使用され得る。例えば、ＰＶＡは、（例えば、４Ｄ高速フーリエ変換を使用して）生のレーダデータを処理し、次のレーダパルスの放射前に処理されたレーダ信号を提供するために使用され得る。他の例では、ＰＶＡは、例えば、生の飛行時間データを処理して、処理された飛行時間データを提供することにより、飛行時間の深度処理を行うのに使用される。

ＤＬＡを使用して、例えば、各物体検出の信頼度を出力するニューラルネットワークなど、制御及び運転の安全性を強化する任意のタイプのネットワークを実行することができる。このような信頼値は、確率として、又は他の検出と比較した各検出の相対的な「重み」を提供するものとして解釈され得る。この信頼値によって、システムは、どの検出が偽陽性検出ではなく真陽性検出であると見なされるかに関するさらなる決定を行うことができる。例えば、システムは信頼度の閾値を設定し、閾値を超える検出のみを真陽性検出と見なすことができる。自動緊急ブレーキ（ＡＥＢ）システムでは、偽陽性検出によって車両が緊急ブレーキを自動的に実行するが、これは明らかに望ましくない。したがって、最も信頼できる検出のみがＡＥＢのトリガと見なされる必要がある。ＤＬＡは、信頼値を回帰するニューラルネットワークを実行することができる。ニューラルネットワークは、とりわけ、バウンディングボックスの寸法、（例えば別のサブシステムから）取得した地面の推定値、車両４００の配向、距離と相関する慣性測定ユニット（ＩＭＵ）センサ４６６の出力、ニューラルネットワーク及び／又は他のセンサ（例えば、ライダセンサ４６４又はレーダセンサ４６０）から得られた物体の３Ｄ位置推定など、少なくとも一部のパラメータのサブセットを入力として使用することができる。

ＳｏＣ４０４は、データストア４１６（例えば、メモリ）を含み得る。データストア４１６は、ＳｏＣ４０４のオンチップメモリであってもよく、ＧＰＵ及び／又はＤＬＡ上で実行されるニューラルネットワークを格納することができる。いくつかの例では、データストア４１６は、冗長性及び安全性のためにニューラルネットワークの複数のインスタンスを格納するのに十分な大きさであり得る。データストア４１６は、Ｌ２又はＬ３キャッシュ４１２を含み得る。本明細書で説明するように、データストア４１６への参照は、ＰＶＡ、ＤＬＡ、及び／又は他のアクセラレータ４１４に関連するメモリへの参照を含み得る。

ＳｏＣ４０４は、１つ以上のプロセッサ４１０（例えば、埋込みプロセッサ）を含み得る。プロセッサ４１０は、起動電力及び管理機能並びに関連するセキュリティ実施を処理するための専用プロセッサ及びサブシステムであり得る起動及び電力管理プロセッサを含み得る。起動及び電力管理プロセッサは、ＳｏＣ４０４ブートシーケンスの一部であってもよく、ランタイム電力管理サービスを提供することができる。起動電力及び管理プロセッサは、クロック及び電圧プログラミング、システムの低電力状態遷移の支援、ＳｏＣ４０４の熱及び温度センサの管理、並びに／或いはＳｏＣ４０４の電力状態の管理を提供することができる。各温度センサは、出力周波数が温度に比例するリングオシレータとして実装されてもよく、ＳｏＣ４０４は、リングオシレータを使用して、ＣＰＵ４０６、ＧＰＵ４０８、及び／又はアクセラレータ４１４の温度を検出することができる。温度が閾値を超えていると判断された場合、起動及び電力管理プロセッサは温度障害ルーチンに入り、ＳｏＣ４０４を低電力状態にする、及び／又は車両４００を運転手安全停止モードにする（例えば、車両４００を安全に停止させる）ことができる。

プロセッサ４１０は、オーディオ処理エンジンとして機能することができる埋込みプロセッサのセットをさらに含んでもよい。オーディオ処理エンジンは、複数のインターフェースを介したマルチチャネルオーディオの完全なハードウェアサポート、及び幅広い柔軟な範囲のオーディオＩ／Ｏインターフェースを可能にするオーディオサブシステムであり得る。いくつかの例では、オーディオ処理エンジンは、専用ＲＡＭを有するデジタル信号プロセッサを備えた専用プロセッサコアである。

プロセッサ４１０は、低電力センサ管理及びウェイクユースケースをサポートするために必要なハードウェア機能を提供することができる常時オンのプロセッサエンジンをさらに含み得る。常時オンのプロセッサエンジンには、プロセッサコア、密結合ＲＡＭ、サポート周辺機器（例えば、タイマー及び割込みコントローラ）、様々なＩ／Ｏコントローラ周辺機器、及びルーティングロジックが含まれ得る。

プロセッサ４１０は、自動車用途の安全管理を処理するための専用プロセッササブシステムを含む安全クラスタエンジンをさらに含み得る。安全クラスタエンジンには、２つ以上のプロセッサコア、密結合ＲＡＭ、サポート周辺機器（例えば、タイマー、割込みコントローラなど）、及び／又はルーティングロジックが含まれ得る。安全モードでは、２つ以上のコアがロックステップモードで動作し、動作間の違いを検出する比較ロジックを備えた単一のコアとして機能する。

プロセッサ４１０は、リアルタイムカメラ管理を処理するための専用プロセッササブシステムを含み得るリアルタイムカメラエンジンをさらに含み得る。

プロセッサ４１０は、カメラ処理パイプラインの一部であるハードウェアエンジンである画像信号プロセッサを含み得る高ダイナミックレンジ信号プロセッサをさらに含み得る。

プロセッサ４１０は、プレーヤウィンドウの最終画像を生成するためにビデオ再生アプリケーションが必要とするビデオ後処理機能を実装する（例えば、マイクロプロセッサに実装される）処理ブロックであり得るビデオ画像合成装置を含み得る。ビデオ画像合成装置は、ワイドビューカメラ４７０、サラウンドカメラ４７４、及び／又はキャビン内監視カメラセンサでレンズ歪み補正を実行することができる。キャビン内監視カメラセンサは、高性能ＳｏＣの別のインスタンスで実行されるニューラルネットワークによって監視され、キャビン内イベントを識別してそれに応じて応答するように構成されていることが好ましい。キャビン内システムは、リップリーディングを実行して、携帯電話サービスの起動及び架電、電子メールの口述、車両の目的地の変更、車両のインフォテインメントシステム及び設定の起動又は変更、又は音声によるウェブサーフィンの提供を実行することができる。特定の機能は、車両が自律モードで動作している場合にのみ運転者が利用することができ、それ以外の場合は無効である。

ビデオ画像合成装置は、空間的ノイズ及び時間的ノイズの両方を低減する強化された時間的ノイズ低減を含み得る。例えば、ビデオ内に動きが発生する場合、ノイズ低減は空間情報に適切に重みを付け、隣接するフレームによって提供される情報の重みを減少させる。画像又は画像の一部に動きが含まれない場合、ビデオ画像合成装置によって実行される時間的ノイズ低減は、前の画像からの情報を使用して現在の画像のノイズを低減することができる。

ビデオ画像合成装置はまた、入力ステレオレンズフレームに対してステレオ修正を実行するように構成され得る。ビデオ画像合成装置は、オペレーティングシステムデスクトップが使用されているときにユーザインターフェース構成にさらに使用されてもよく、ＧＰＵ４０８は、新しい表面を連続的にレンダリングする必要はない。ＧＰＵ４０８が駆動され、アクティブに３Ｄレンダリングを実行しているときでも、ビデオ画像合成装置を使用して、ＧＰＵ４０８をオフロードし、パフォーマンス及び応答性を改善することができる。

ＳｏＣ４０４は、カメラからビデオ及び入力を受信するモバイル産業プロセッサインターフェース（ＭＩＰＩ）カメラシリアルインターフェース、高速インターフェース、及び／又はカメラ及び関連ピクセル入力関数に使用され得るビデオ入力ブロックをさらに含み得る。ＳｏＣ４０４は、ソフトウェアによって制御されてもよく、特定の役割に関与していないＩ／Ｏ信号を受信するために使用されてもよい入出力コントローラをさらに含み得る。
ＳｏＣ４０４は、周辺機器、オーディオコーデック、電力管理、及び／又は他のデバイスとの通信を可能にする広範囲の周辺機器インターフェースをさらに含み得る。ＳｏＣ４０４は、カメラ（例えば、ギガビットマルチメディアシリアルリンク及びイーサネットを介して接続される）からのデータ、センサ（例えば、イーサネットを介して接続され得るライダセンサ４６４、レーダセンサ４６０など）からのデータ、バス４０２からのデータ（例えば、車両４００の速度、ステアリングホイール位置など）、ＧＮＳＳセンサ４５８（例えば、イーサネット又はＣＡＮバスを介して接続される）からのデータを処理するために使用され得る。ＳｏＣ４０４は、独自のＤＭＡエンジンを含み得る、ルーチンデータ管理タスクからＣＰＵ４０６を解放するために使用され得る専用の高性能大容量記憶コントローラをさらに含み得る。

ＳｏＣ４０４は、自動化レベル３～５に及ぶ柔軟なアーキテクチャを備えたエンドツーエンドのプラットフォームであることができ、それにより、多様性及び冗長性のためのコンピュータビジョン及びＡＤＡＳ技術を活用し、効率的に使用する包括的な機能的安全アーキテクチャを提供し、ディープラーニングツールとともに、柔軟で信頼性の高い運転ソフトウェアスタックのプラットフォームを提供する。ＳｏＣ４０４は、従来のシステムよりも高速で、信頼性が高く、さらにエネルギー効率及びスペース効率が高い可能性がある。例えば、アクセラレータ４１４は、ＣＰＵ４０６、ＧＰＵ４０８、及びデータストア４１６と組み合わされた場合、レベル３～５の自律車両の高速かつ効率的なプラットフォームを提供することができる。

したがって、この技術は、従来のシステムでは実現することができない機能を提供する。例えば、コンピュータビジョンアルゴリズムは、Ｃプログラミング言語などの高水準プログラミング言語を使用して構成され得るＣＰＵ上で実行されて、多種多様な視覚データにわたって多種多様な処理アルゴリズムを実行することができる。しかしながら、ＣＰＵは、例えば実行時間及び消費電力に関連するアプリケーションなど、多くのコンピュータビジョンアプリケーションのパフォーマンス要件を満たすことができないことがよくある。特に、多くのＣＰＵは複雑な物体検出アルゴリズムをリアルタイムで実行することができず、これは、車載ＡＤＡＳアプリケーションの要件、及び実用的なレベル３～５の自律車両の要件である。

従来のシステムとは対照的に、ＣＰＵコンプレックス、ＧＰＵコンプレックス、及びハードウェアアクセラレーションクラスタを提供することによって、本明細書で説明する技術により、複数のニューラルネットワークを同時に及び／又は順次実行し、結果を組み合わせてレベル３～５の自動運転機能を可能にすることができる。例えば、ＤＬＡ又はｄＧＰＵ（例えば、ＧＰＵ４２０）で実行されているＣＮＮには、テキスト及び単語の認識が含まれてもよく、スーパーコンピュータがニューラルネットワークが特に訓練されていない標識を含む交通標識を読み取って理解できるようにする。ＤＬＡにはさらに、標識の意味を識別、解釈、及び理解することができ、その意味的理解をＣＰＵコンプレックスで実行されている経路計画モジュールに渡すことができるニューラルネットワークが含まれ得る。

別の例として、レベル３、４、又は５の運転に必要な複数のニューラルネットワークを同時に実行することができる。例えば、「注意：点滅しているライトは凍結状態を表します」という警告標識は、電灯とともに、いくつかのニューラルネットワークによって個別に又は一体的に解釈され得る。標識自体は、第１の展開されたニューラルネットワーク（例えば、訓練されたニューラルネットワーク）によって交通標識として識別することができ、「点滅しているライトは凍結状態を表します」というテキストは、第２の展開されたニューラルネットワークによって解釈することができ、第２の展開されたニューラルネットワークは、車両の経路計画ソフトウェア（ＣＰＵコンプレックスで実行することが望ましい）に、点滅しているライトが検出された場合は凍結状態が存在することを通知する。点滅しているライトは、第３の展開されたニューラルネットワークを複数のフレームにわたって動作させ、点滅しているライトの存在（又は不在）を車両の経路計画ソフトウェアに通知することによって識別され得る。３つすべてのニューラルネットワークは、ＤＬＡ内及び／又はＧＰＵ４０８などで同時に実行することができる。

いくつかの例では、顔認識及び車両所有者識別のためのＣＮＮは、カメラセンサからのデータを使用して、車両４００の認定された運転者及び／又は所有者の存在を識別することができる。常時オンのセンサ処理エンジンを使用して、所有者が運転席ドアに近づいてライトをオンにしたときに車両のロックを解除し、セキュリティモードでは、所有者が車両を離れるときに車両を無効にすることができる。このようにして、ＳｏＣ４０４は、盗難及び／又はカージャックに対するセキュリティを提供する。

別の例では、緊急車両の検出及び識別のためのＣＮＮは、マイク４９６からのデータを使用して、緊急車両のサイレンを検出及び識別することができる。一般的な分類子を使用してサイレンを検出し、特徴を手動で抽出する従来のシステムとは異なり、ＳｏＣ４０４はＣＮＮを使用して、環境音と都市音とを分類し、同様に視覚データを分類する。好ましい実施形態では、ＤＬＡ上で実行されるＣＮＮは、（例えば、ドップラー効果を使用して）緊急車両の相対的接近速度を識別するように訓練される。ＣＮＮはまた、ＧＮＳＳセンサ４５８によって識別されるように、車両が動作しているローカルエリアに特有の緊急車両を識別するように訓練されてもよい。したがって、例えば、ヨーロッパで動作している場合、ＣＮＮはヨーロッパのサイレンを検出しようとし、米国で動作している場合、ＣＮＮは北米のサイレンのみを識別しようとする。緊急車両が検出されると、超音波センサ４６２の支援によって、緊急車両が通過するまで、制御プログラムを使用して緊急車両安全ルーチンを実行し、車両の速度を落とし、道路の片側に寄せ、車両を駐車及び／又はアイドリングさせることができる。

車両は、高速相互接続（例えば、ＰＣＩｅ）を介してＳｏＣ４０４に結合され得るＣＰＵ４１８（例えば、個別のＣＰＵ、すなわちｄＣＰＵ）を含み得る。ＣＰＵ４１８は、例えば、Ｘ８６プロセッサを含み得る。ＣＰＵ４１８を使用して、ＡＤＡＳセンサとＳｏＣ４０４との間の潜在的に一貫性のない結果の調停、並びに／或いはコントローラ４３６及び／又はインフォテインメントＳｏＣ４３０のステータス及び正常性の監視など、任意の様々な機能を実行することができる。

車両４００は、高速相互接続（例えば、ＮＶＩＤＩＡ社のＮＶＬＩＮＫ）を介してＳｏＣ４０４に結合され得るＧＰＵ４２０（例えば、個別ＧＰＵ、すなわちｄＧＰＵ）を含み得る。ＧＰＵ４２０は、冗長な及び／又は異なるニューラルネットワークを実行することなどによって、追加の人工知能機能を提供することができ、車両４００のセンサからの入力（例えば、センサデータ）に基づいてニューラルネットワークを訓練及び／又は更新するために使用することができる。

車両４００はさらに、１つ以上の無線アンテナ４２６（例えば、携帯電話アンテナ、Ｂｌｕｅｔｏｏｔｈアンテナなどの異なる通信プロトコルのための１つ以上の無線アンテナ）を含み得るネットワークインターフェース４２４を含み得る。ネットワークインターフェース４２４は、クラウド（例えば、サーバ４７８及び／又は他のネットワークデバイス）、他の車両、及び／又はコンピューティングデバイス（例えば、乗員のクライアントデバイス）とのインターネットを介した無線接続を可能にするために使用され得る。他の車両と通信するために、２つの車両間に直接リンクが確立されてもよく、及び／又は（例えば、ネットワーク間に及びインターネットを介して）間接リンクが確立されてもよい。直接リンクは、車両対車両通信リンクを使用して提供され得る。車両対車両通信リンクは、車両４００に近接する車両（例えば、車両４００の前方、側方、及び／又は後方の車両）に関する情報を車両４００に提供することができる。この機能は、車両４００の協調的適応クルーズ制御機能の一部であり得る。

ネットワークインターフェース４２４には、変調及び復調機能を提供し、コントローラ４３６が無線ネットワークを介して通信することを可能にするＳｏＣが含まれ得る。ネットワークインターフェース４２４には、ベースバンドから無線周波数へのアップコンバージョン、及び無線周波数からベースバンドへのダウンコンバージョンのための無線周波数フロントエンドを含み得る。周波数変換は、周知のプロセスを介して実行することができ、及び／又はスーパーヘテロダインプロセスを使用して実行することができる。いくつかの例では、無線周波数フロントエンド機能は、別個のチップによって提供されてもよい。ネットワークインターフェースは、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ ＬＥ、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他の無線プロトコルを介して通信する無線機能を含み得る。
車両４００は、オフチップ（例えば、オフＳｏＣ４０４）ストレージを含み得るデータストア４２８をさらに含むことができる。データストア４２８は、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュ、ハードディスク、並びに／或いは少なくとも１ビットのデータを記憶することができる他の構成要素及び／又はデバイスを含む１つ以上の記憶要素を含むことができる。

車両４００は、マッピング、知覚、占有グリッドの生成、及び／又は経路計画機能を支援するために、ＧＮＳＳセンサ４５８（例えば、ＧＰＳ及び／又は支援型ＧＰＳセンサ）をさらに含み得る。限定ではなく例として、イーサネットからシリアル（ＲＳ２３２）へのブリッジを備えたＵＳＢコネクタを使用するＧＰＳを含む、任意の数のＧＮＳＳセンサ４５８を使用することができる。
車両４００は、レーダセンサ４６０をさらに含み得る。レーダセンサ４６０は、暗闇及び／又は厳しい気象条件においても、車両４００で長距離車両検出のために使用することができる。レーダ機能安全レベルは、ＡＳＩＬ Ｂであり得る。レーダセンサ４６０は、ＣＡＮ及び／又はバス４０２を使用して（例えば、レーダセンサ４６０によって生成されたデータを送信して）、制御及び物体追跡データにアクセスすることができ、いくつかの例では、イーサネットにアクセスして生データにアクセスする。多種多様なレーダセンサタイプを使用することができる。限定ではなく例として、レーダセンサ４６０は、前部、後部、及び側部レーダの使用に適し得る。いくつかの例では、パルスドップラーレーダセンサが使用される。

レーダセンサ４６０は、狭い視野を伴う長距離、広い視野を伴う短距離、短距離側方適用範囲などの異なる構成を含み得る。いくつかの例では、長距離レーダが、適応クルーズ制御機能に使用され得る。長距離レーダシステムは、２５０ｍの範囲内など、２つ以上の独立したスキャンによって実現される広い視野を提供することができる。レーダセンサ４６０は、静止物体と移動物体との区別を助けることができ、緊急ブレーキ支援及び前方衝突警告のためにＡＤＡＳシステムによって使用され得る。長距離レーダセンサには、複数（例えば、６つ以上）の固定レーダアンテナ並びに高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースを備えたモノスタティックマルチモーダルレーダが含まれ得る。６つのアンテナを備えた例では、中央の４つのアンテナは、隣接する車線の交通からの干渉を最小限に抑えながら、より高速で車両４００の周囲を記録するように設計された集束ビームパターンを生成することができる。他の２つのアンテナは視野を拡大することができ、車両４００の車線に出入りする車両をすばやく検出できるようにする。

中距離レーダシステムには、例として、最大４６０ｍ（前方）又は８０ｍ（後方）の範囲と、最大４２度（前方）又は４５０度（後方）の視野とが含まれ得る。短距離レーダシステムには、限定ではないが、リアバンパーの両端に取り付けるように設計されたレーダセンサが含まれ得る。リアバンパーの両端に設置した場合、そのようなレーダセンサシステムは、２つのビームを生成し、車両の後方及び隣の死角を常に監視することができる。

ＡＤＡＳシステムでは、死角検出及び／又は車線変更支援のために、短距離レーダシステムを使用することができる。

車両４００は、超音波センサ４６２をさらに含み得る。車両４００の前部、後部、及び／又は側面に配置され得る超音波センサ４６２は、駐車支援、及び／又は占有グリッドの作成及び更新のために使用され得る。多種多様な超音波センサ４６２を使用することができ、異なる検出範囲（例えば、２．５ｍ、４ｍ）に対して異なる超音波センサ４６２を使用することができる。超音波センサ４６２は、ＡＳＩＬ Ｂの機能安全レベルで動作することができる。

車両４００は、ライダセンサ４６４を含み得る。ライダセンサ４６４は、物体及び歩行者の検出、緊急ブレーキ、衝突回避、及び／又は他の機能のために使用され得る。ライダセンサ４６４は、機能安全レベルＡＳＩＬ Ｂであり得る。いくつかの例では、車両４００は、（例えば、ギガビットイーサネットスイッチにデータを提供するために）イーサネットを使用することができる複数のライダセンサ４６４（例えば、２、４、６など）を含み得る。

いくつかの例では、ライダセンサ４６４は、３６０度視野に対する物体及びそれらの距離のリストを提供することができてもよい。市販のライダセンサ４６４は、約１００ｍのアドバタイズ範囲を有することができ、２ｃｍから３ｃｍの精度で、例えば１００Ｍｂｐｓのイーサネット接続をサポートしている。いくつかの例では、１つ以上の非突出型ライダセンサ４６４が使用され得る。そのような例では、ライダセンサ４６４は、車両４００の前部、後部、側部、及び／又は角部に埋め込むことができる小さなデバイスとして実装され得る。そのような例では、ライダセンサ４６４は、最大１２０度の水平視野及び最大３５度の垂直視野を提供することができ、反射率の低い物体であっても、２００ｍの範囲を有する。前方に取り付けられたライダセンサ４６４は、４５度～１３５度の水平視野を得るように構成され得る。

いくつかの例では、３Ｄフラッシュライダなどのライダ技術も使用され得る。３Ｄフラッシュライダは、レーザのフラッシュを送信元として使用して、最大約２００ｍの車両の周囲を照らす。フラッシュライダには、レセプタが含まれ、レセプタは、レーザパルスの通過時間及び各ピクセルの反射光を記録し、これは、車両から物体までの距離に対応する。フラッシュライダによって、高精度で歪みのない周囲画像をすべてのレーザフラッシュで生成することが可能になる。いくつかの例では、車両４００の両側に１つずつ、４つのフラッシュライダセンサが配置され得る。利用可能な３Ｄフラッシュライダシステムには、ファン以外の可動部品がないソリッドステート３Ｄスターリングアレイライダカメラ（例えば、非スキャンライダデバイス）が含まれる。フラッシュライダデバイスは、フレームごとに５ナノ秒のクラスＩ（アイセーフ）レーザパルスを使用し、反射したレーザ光を３Ｄ距離点群及び共同登録された強度データの形で取り込むことができる。フラッシュライダを使用することによって、フラッシュライダは可動部品のないソリッドステートデバイスであるため、ライダセンサ４６４はモーションブラー、振動、及び／又は衝撃の影響を受けにくくなり得る。

車両は、ＩＭＵセンサ４６６をさらに含み得る。いくつかの例では、ＩＭＵセンサ４６６は、車両４００の後車軸の中心に配置され得る。ＩＭＵセンサ４６６は、限定ではなく例として、加速度計、磁力計、ジャイロスコープ、磁気コンパス、及び／又は他のタイプのセンサを含み得る。６軸アプリケーションなどのいくつかの例では、ＩＭＵセンサ４６６は、加速度計及びジャイロスコープを含んでもよく、一方、９軸アプリケーションでは、ＩＭＵセンサ４６６は、加速度計、ジャイロスコープ、及び磁力計を含んでもよい。

いくつかの実施形態では、ＩＭＵセンサ４６６は、微小電気機械システム（ＭＥＭＳ）慣性センサと、高感度ＧＰＳ受信機と、位置、速度、及び姿勢の推定値を提供するための高度なカルマンフィルタリングアルゴリズムとを組み合わせた小型の高性能ＧＰＳ支援慣性航法システム（ＧＰＳ／ＩＮＳ）として実装され得る。したがって、いくつかの例では、ＩＭＵセンサ４６６は、ＧＰＳからＩＭＵセンサ４６６への速度の変化を直接観察及び相関させることによって、磁気センサからの入力を必要とせずに車両４００が進行方向を推定できるようにすることができる。いくつかの例では、ＩＭＵセンサ４６６及びＧＮＳＳセンサ４５８は、単一の統合されたユニットに組み合わされ得る。
車両は、車両４００内及び／又は車両４００の周りに配置されたマイク４９６を含み得る。マイク４９６は、とりわけ、緊急車両検出及び識別のために使用され得る。

車両はさらに、ステレオカメラ４６８、ワイドビューカメラ４７０、赤外線カメラ４７２、サラウンドカメラ４７４、長距離及び／又は中距離カメラ４９８、及び／又は他のカメラタイプを含む、任意の数のカメラタイプを含み得る。カメラは、車両４００の周囲全体の周りの画像データを取り込むために使用され得る。使用されるカメラのタイプは、車両４００の実施形態及び要件に依存し、カメラタイプの任意の組み合わせを使用して、車両４００の周りに必要な適用範囲をもたらすことができる。また、カメラの数は、実施形態によって異なり得る。例えば、車両は、６台のカメラ、７台のカメラ、１０台のカメラ、１２台のカメラ、及び／又は別の数のカメラを含み得る。カメラは、限定ではなく例として、ギガビットマルチメディアシリアルリンク（ＧＭＳＬ）及び／又はギガビットイーサネットをサポートすることができる。カメラの各々は、図４Ａ及び図４Ｂに関して本明細書でより詳細に説明される。

車両４００は、振動センサ４４２をさらに含み得る。振動センサ４４２は、車軸などの車両の構成要素の振動を測定することができる。例えば、振動の変化によって、路面の変化を示すことができる。別の例では、２つ以上の振動センサ４４２を使用する場合、（例えば、動力駆動車軸と自由回転車軸との間に振動の差がある場合）振動間の差を使用して、路面の摩擦又は滑りを決定することができる。

車両４００は、ＡＤＡＳシステム４３８を含み得る。いくつかの例では、ＡＤＡＳシステム４３８は、ＳｏＣを含み得る。ＡＤＡＳシステム４３８には、自律／適応／自動クルーズ制御（ＡＣＣ）、協調的適応クルーズ制御（ＣＡＣＣ）、前方衝突警告（ＦＣＷ）、自動緊急ブレーキ（ＡＥＢ）、車線逸脱警告（ＬＤＷ）、車線維持支援（ＬＫＡ）、死角警告（ＢＳＷ）、後部横断交通警告（ＲＣＴＷ）、衝突警告システム（ＣＷＳ）、レーンセンタリング（ＬＣ）、及び／又はその他の特徴及び機能が含まれ得る。

ＡＣＣシステムは、レーダセンサ４６０、ライダセンサ４６４、及び／又はカメラを使用することができる。ＡＣＣシステムは、縦方向ＡＣＣ及び／又は横方向ＡＣＣを含み得る。縦方向のＡＣＣは、車両４００の直前の車両までの距離を監視及び制御し、車両速度を自動的に調整して、前方車両から安全な距離を維持する。横方向ＡＣＣは距離の維持を実行し、必要に応じて車線の変更を車両４００に勧告する。横方向ＡＣＣは、ＬＣ及びＣＷＳなどの他のＡＤＡＳアプリケーションに関連する。

ＣＡＣＣは、無線リンクを介して、又はネットワーク接続を介して（例えば、インターネットを介して）間接的に、他の車両からネットワークインターフェース４２４及び／又は無線アンテナ４２６を介して受信され得る他の車両からの情報を使用する。直接リンクは、車両対車両（Ｖ２Ｖ）通信リンクによって提供され得るが、間接リンクは、インフラストラクチャ対車両（Ｉ２Ｖ）通信リンクであり得る。一般に、Ｖ２Ｖ通信の概念は、直前の車両（例えば、車両４００の直前かつ同じ車線にある車両）に関する情報を提供し、一方、Ｉ２Ｖ通信の概念は、さらに前方の交通に関する情報を提供する。ＣＡＣＣシステムには、Ｉ２Ｖ及びＶ２Ｖ情報源のいずれか又は両方が含まれ得る。車両４００の前方車両の情報が与えられることで、ＣＡＣＣの信頼性をより高めることができ、交通の流れの円滑さを改善し、道路の渋滞を減らす可能性がある。

ＦＣＷシステムは、運転者に危険を警告するように設計されているため、運転者は修正措置を講じることができる。ＦＣＷシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された前向きカメラ及び／又はレーダセンサ４６０を使用し、これらは、ディスプレイ、スピーカ、及び／又は振動構成要素などの運転者フィードバックに電気的に結合される。ＦＣＷシステムは、音、視覚的な警告、振動、及び／又はクイックブレーキパルスの形態などの警告を提供することができる。

ＡＥＢシステムは、他の車両又は他の物体との差し迫った前方衝突を検出し、運転者が指定された時間又は距離パラメータ内で修正措置を講じない場合、自動的にブレーキをかけることができる。ＡＥＢシステムは、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、前向きカメラ及び／又はレーダセンサ４６０を使用することができる。ＡＥＢシステムが危険を検出すると、通常、最初に運転者に衝突を回避するための修正措置を講じるように警告する。運転者が修正措置を講じない場合、ＡＥＢシステムは自動的にブレーキをかけて予測された衝突の影響を防止するか、少なくとも緩和するように試みる。ＡＥＢシステムには、ダイナミックブレーキサポート及び／又は衝突直前ブレーキ（ｃｒａｓｈ ｉｍｍｉｎｅｎｔ ｂｒａｋｉｎｇ）などの技術が含まれ得る。

ＬＤＷシステムは、ステアリングホイール又は座席の振動などの視覚的、聴覚的、及び／又は触覚的な警告を提供し、車両４００が車線区分線を横切った場合に運転者に警告する。方向指示器を作動させることによって、運転者が意図的な車線逸脱であることを示した場合、ＬＤＷシステムは作動しない。ＬＤＷシステムは、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、前側向きカメラを使用することができ、これは、ディスプレイ、スピーカ、及び／又は振動構成要素などの運転者フィードバックに電気的に結合される。

ＬＫＡシステムは、ＬＤＷシステムの変形形態である。ＬＫＡシステムは、車両４００が車線から逸脱し始めた場合に車両４００を修正するためにステアリング入力又はブレーキを提供する。
ＢＳＷシステムは、自動車の死角にある車両を検出して運転者に警告する。ＢＳＷシステムは、車線の合流又は変更が安全でないことを示すために、視覚的、聴覚的、及び／又は触覚的な警告を提供することができる。運転者が方向指示器を使用した場合、システムは追加の警告を提供することができる。ＢＳＷシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された後向きカメラ及び／又はレーダセンサ４６０を使用することができ、これは、ディスプレイ、スピーカ、及び／又は振動構成要素などの運転者フィードバックに電気的に結合される。

ＲＣＴＷシステムは、車両４００が後退しているときに後方カメラの範囲外で物体が検出された場合、視覚的、可聴的、及び／又は触覚的通知を提供することができる。一部のＲＣＴＷシステムには、衝突を回避するために車両ブレーキを確実にかけるためのＡＥＢが含まれる。ＲＣＴＷシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された１つ以上の後向きレーダセンサ４６０を使用することができ、これは、ディスプレイ、スピーカ、及び／又は振動構成要素などの運転者フィードバックに電気的に結合される。

従来のＡＤＡＳシステムでは、偽陽性検出結果が発生しやすく、運転者にとって煩わしく気を散らす可能性があるが、ＡＤＡＳシステムは運転者に警告し、運転者が本当に安全な状態がどうかを判断してそれに応じて行動することを許容するため、通常は致命的ではない。しかしながら、自律車両４００では、結果が競合する場合、車両４００自体が、一次コンピュータ又は二次コンピュータ（例えば、第１のコントローラ４３６又は第２のコントローラ４３６）からの結果に注意するかどうかを決定しなければならない。例えば、いくつかの実施形態では、ＡＤＡＳシステム４３８は、知覚情報をバックアップコンピュータ合理性モジュールに提供するバックアップ及び／又は二次コンピュータであり得る。バックアップコンピュータの合理性モニタは、ハードウェア構成要素上で冗長な多様なソフトウェアを実行して、知覚及び動的運転タスクにおける障害を検出することができる。ＡＤＡＳシステム４３８からの出力は、監視ＭＣＵに提供され得る。一次コンピュータ及び二次コンピュータからの出力が競合する場合、監視ＭＣＵは、安全な動作を確保するために競合を調整する方法を決定する必要がある。

いくつかの例では、一次コンピュータは、監視ＭＣＵに信頼スコアを提供するように構成することができ、選択された結果に対する一次コンピュータの信頼性を示す。信頼スコアが閾値を超えた場合、監視ＭＣＵは、二次コンピュータが競合又は矛盾する結果を提供するかどうかに関係なく、一次コンピュータの指示に従うことができる。信頼スコアが閾値を満たしていない場合、並びに一次コンピュータ及び二次コンピュータが異なる結果（例えば、競合）を示している場合、監視ＭＣＵはコンピュータ間で調停して適切な結果を決定することができる。

監視ＭＣＵは、一次コンピュータ及び二次コンピュータからの出力に基づいて、二次コンピュータが誤警報を提供する条件を決定するように訓練及び構成されたニューラルネットワークを実行するように構成され得る。したがって、監視ＭＣＵのニューラルネットワークは、二次コンピュータの出力が信頼できる場合と信頼できない場合とを学習することができる。例えば、二次コンピュータがレーダベースのＦＣＷシステムである場合、監視ＭＣＵのニューラルネットワークは、ＦＣＷシステムが実際には危険ではない金属物体、例えばアラームをトリガする排水格子又はマンホールの蓋などを識別している場合を学習することができる。同様に、二次コンピュータがカメラベースのＬＤＷシステムである場合、監視ＭＣＵのニューラルネットワークは、自転車又は歩行者が存在し、車線の逸脱が実際には最も安全な操作である場合に、ＬＤＷを無効にすることを学習することができる。監視ＭＣＵで実行されるニューラルネットワークを含む実施形態では、監視ＭＣＵは、関連するメモリを用いてニューラルネットワークを実行するのに適したＤＬＡ又はＧＰＵの少なくとも１つを含むことができる。好ましい実施形態では、監視ＭＣＵは、ＳｏＣ４０４の構成要素として具備され得る、及び／又は含まれ得る。

他の例では、ＡＤＡＳシステム４３８は、コンピュータビジョンの従来のルールを使用してＡＤＡＳ機能を実行する二次コンピュータを含み得る。そのため、二次コンピュータは、従来のコンピュータビジョンルールを使用する場合があり、（その場合）、監視ＭＣＵにニューラルネットワークが存在することによって、信頼性、安全性、及びパフォーマンスが向上し得る。例えば、多様な実装及び意図的な非同一性によって、システム全体が、特にソフトウェア（又はソフトウェア－ハードウェアインターフェース）機能によって引き起こされるフォールトに対して、よりフォールトトレラントになる。例えば、一次コンピュータで実行されているソフトウェアにソフトウェアのバグ又はエラーがあり、二次コンピュータで実行されている同一ではないソフトウェアコードが同じ全体的結果を提供する場合、監視ＭＣＵは、全体的結果が正しく、一次コンピュータで使用されているソフトウェア又はハードウェアのバグが重大なエラーを引き起こしていないことにより高い信頼性を有することができる。

いくつかの例では、ＡＤＡＳシステム４３８の出力は、一次コンピュータの知覚ブロック及び／又は一次コンピュータの動的運転タスクブロックに供給され得る。例えば、ＡＤＡＳシステム４３８が直前の物体に起因する前方衝突警告を示す場合、知覚ブロックは、物体を識別するときにこの情報を使用することができる。他の例では、二次コンピュータは、本明細書で説明するように、訓練され、したがって偽陽性のリスクを低減する独自のニューラルネットワークを有し得る。

車両４００は、インフォテインメントＳｏＣ４３０（例えば、車載インフォテインメントシステム（ＩＶＩ））をさらに含み得る。ＳｏＣとして図示及び説明されているが、インフォテインメントシステムはＳｏＣでなくてもよく、２つ以上の個別の構成要素を含んでもよい。インフォテインメントＳｏＣ４３０は、オーディオ（例えば、音楽、携帯情報端末、ナビゲーション指示、ニュース、ラジオなど）、ビデオ（例えば、ＴＶ、映画、ストリーミングなど）、電話（例えば、ハンズフリー通話など）、ネットワーク接続（例えば、ＬＴＥ、Ｗｉ－Ｆｉなど）、及び／又は情報サービス（例えば、ナビゲーションシステム、後方駐車支援、無線データシステム、及び燃料レベル、合計走行距離、ブレーキ燃料レベル、オイルレベル、ドア開閉、エアフィルタ情報などの車両関連情報など）を車両４００に提供するために使用され得るハードウェアとソフトウェアとの組み合わせを含み得る。例えば、インフォテインメントＳｏＣ４３０には、ラジオ、ディスクプレーヤ、ナビゲーションシステム、ビデオプレーヤ、ＵＳＢ及びＢｌｕｅｔｏｏｔｈ接続、カルピュター、車載エンターテイメント、Ｗｉ－Ｆｉ、ステアリングホイールオーディオコントロール、ハンズフリー音声制御、ヘッドアップディスプレイ（ＨＵＤ）、ＨＭＩディスプレイ４３４、テレマティクスデバイス、制御パネル（例えば、様々な構成要素、機能、及び／又はシステムを制御及び／又は相互作用するため）、及び／又は他の構成要素が含まれ得る。インフォテインメントＳｏＣ４３０はさらに、ＡＤＡＳシステム４３８からの情報、計画された車両操縦、軌道などの自動運転情報、周辺環境情報（例えば、交差点情報、車両情報、道路情報など）、及び／又は他の情報などの情報（例えば、視覚的及び／又は聴覚的）を車両のユーザに提供するために使用され得る。

インフォテインメントＳｏＣ４３０は、ＧＰＵ機能を含み得る。インフォテインメントＳｏＣ４３０は、バス４０２（例えば、ＣＡＮバス、イーサネットなど）を介して、車両４００の他のデバイス、システム、及び／又は構成要素と通信することができる。いくつかの例では、インフォテインメントＳｏＣ４３０を監視ＭＣＵに結合することができ、そのため、一次コントローラ４３６（例えば、車両４００の一次及び／又はバックアップコンピュータ）が故障した場合でも、インフォテインメントシステムのＧＰＵが、一部の自己運転機能を実行することができる。そのような例では、インフォテインメントＳｏＣ４３０は、本明細書で説明するように、車両４００を運転手から安全停止モードにすることができる。

車両４００は、計器クラスタ４３２（例えば、デジタルダッシュボード、電子計器クラスタ、デジタル計器盤など）をさらに含み得る。計器クラスタ４３２は、コントローラ及び／又はスーパーコンピュータ（例えば、個別のコントローラ又はスーパーコンピュータ）を含み得る。計器クラスタ４３２は、速度計、燃料レベル、油圧、タコメータ、走行距離計、方向指示器、ギアシフト位置表示器、シートベルト警告灯、駐車ブレーキ警告灯、エンジン故障灯、エアバッグ（ＳＲＳ）システム情報、照明制御、安全システム制御、ナビゲーション情報などの一連の計器類を含み得る。いくつかの例では、情報は、インフォテインメントＳｏＣ４３０と計器クラスタ４３２との間で表示及び／又は共有され得る。言い換えれば、計器クラスタ４３２は、インフォテインメントＳｏＣ４３０の一部として含まれてもよく、逆もまた同様である。

図４Ｄは、本開示のいくつかの実施形態による、クラウドベースのサーバと図４Ａの例示的な自律車両４００との間の通信のためのシステム図である。システム４７６は、サーバ４７８、ネットワーク４９０、及び車両４００を含む車両を含み得る。サーバ４７８は、複数のＧＰＵ４８４（Ａ）～４８４（Ｈ）（本明細書ではまとめてＧＰＵ４８４と呼ぶ）、ＰＣＩｅスイッチ４８２（Ａ）～４８２（Ｈ）（本明細書ではまとめてＰＣＩｅスイッチ４８２と呼ぶ）、及び／又はＣＰＵ４８０（Ａ）～４８０（Ｂ）（本明細書ではまとめてＣＰＵ４８０と呼ぶ）を含み得る。ＧＰＵ４８４、ＣＰＵ４８０、及びＰＣＩｅスイッチは、限定ではなく例として、ＮＶＩＤＩＡ及び／又はＰＣＩｅ接続４８６によって開発されたＮＶＬｉｎｋインターフェース４８８などの高速相互接続と相互接続することができる。いくつかの例では、ＧＰＵ４８４は、ＮＶＬｉｎｋ及び／又はＮＶＳｗｉｔｃｈ ＳｏＣを介して接続され、ＧＰＵ４８４及びＰＣＩｅスイッチ４８２は、ＰＣＩｅ相互接続を介して接続される。８つのＧＰＵ４８４、２つのＣＰＵ４８０、及び２つのＰＣＩｅスイッチが示されているが、これは限定を意図するものではない。実施形態に応じて、サーバ４７８の各々は、任意の数のＧＰＵ４８４、ＣＰＵ４８０、及び／又はＰＣＩｅスイッチを含み得る。例えば、サーバ４７８は、それぞれ、８個、１６個、３２個、及び／又はそれ以上のＧＰＵ４８４を含み得る。

サーバ４７８は、ネットワーク４９０を介して、及び車両から、最近開始された道路工事などの予期しない又は変化した道路状態を示す画像を表す画像データを受信することができる。サーバ４７８は、ネットワーク４９０を介して、車両に、ニューラルネットワーク４９２、更新されたニューラルネットワーク４９２、並びに／或いは交通及び道路状況に関する情報を含むマップ情報４９４を送信することができる。マップ情報４９４に対する更新には、建設現場、路面の窪み、迂回路、冠水、及び／又は他の障害物に関する情報などの、ＨＤマップ４２２の更新が含まれ得る。いくつかの例では、ニューラルネットワーク４９２、更新されたニューラルネットワーク４９２、及び／又はマップ情報４９４は、環境内の任意の数の車両から受信したデータで表される新しい訓練及び／又は経験から、及び／又は（例えば、サーバ４７８及び／又は他のサーバを使用して）データセンターで実行される訓練に基づいて、生じていてもよい。

サーバ４７８は、訓練データに基づいて機械学習モデル（例えば、ニューラルネットワーク）を訓練するために使用され得る。訓練データは、車両によって生成されてもよく、及び／又は（例えば、ゲームエンジンを使用して）シミュレーションで生成されてもよい。いくつかの例では、訓練データは、タグ付けされる（例えば、ニューラルネットワークが教師あり学習の恩恵を受ける場合）、及び／又は他の前処理が行われるが、他の例では、訓練データはタグ付け及び／又は前処理されない（例えば、ニューラルネットワークが教師あり学習を必要としない場合）。訓練は、教師あり訓練、半教師あり訓練、教師なし訓練、自己学習、強化学習、連合学習、転移学習、特徴学習（主成分分析及びクラスタ分析を含む）、多重線形部分空間学習、多様体学習、表現学習（予備辞書学習を含む）、ルールベースの機械学習、異常検出、及びそれらの変形形態又は組み合わせなどのクラスを含むがこれらに限定されない、機械学習技術の１つ以上のクラスに従って実行され得る。機械学習モデルが訓練されると、機械学習モデルは車両で使用することができ（例えば、ネットワーク４９０を介して車両に送信される）、及び／又は機械学習モデルは、車両を遠隔監視するために、サーバ４７８で使用することができる。

いくつかの例では、サーバ４７８は、車両からデータを受信し、そのデータをリアルタイムインテリジェント推論のための最新のリアルタイムニューラルネットワークに適用することができる。サーバ４７８は、ディープラーニングスーパーコンピュータ及び／又はＧＰＵ４８４を動力源とする専用ＡＩコンピュータ、例えば、ＮＶＩＤＩＡによって開発されたＤＧＸ及びＤＧＸ Ｓｔａｔｉｏｎ機械を含み得る。しかしながら、いくつかの例では、サーバ４７８は、ＣＰＵ駆動のデータセンターのみを使用するディープラーニングインフラストラクチャを含み得る。

サーバ４７８のディープラーニングインフラストラクチャは、高速のリアルタイム推論を行うことができ、その能力を使用して、車両４００内のプロセッサ、ソフトウェア、及び／又は関連するハードウェアの状態を評価及び検証することができる。例えば、ディープラーニングインフラストラクチャは、車両４００から、車両４００が（例えば、コンピュータビジョン及び／又はその他の機械学習物体分類手法を介して）一連の画像内に配置した一連の画像及び／又は物体などの定期的な更新を受信することができる。ディープラーニングインフラストラクチャは、独自のニューラルネットワークを実行して、物体を識別し、それらの物体を車両４００によって識別された物体と比較することができ、結果が一致せず、インフラストラクチャが車両４００のＡＩが誤動作していると結論付けた場合、サーバ４７８は、制御の引き受け、乗員への通知、及び安全な駐車操作の完了を車両４００のフェイルセーフコンピュータに指示する信号を車両４００に送信することができる。

推論に関して、サーバ４７８は、ＧＰＵ４８４及び１つ以上のプログラマブル推論アクセラレータ（例えば、ＮＶＩＤＩＡ社のＴｅｎｓｏｒＲＴ）を含み得る。ＧＰＵ駆動のサーバと推論アクセラレーションとを組み合わせることにより、リアルタイムの応答性を可能にすることができる。パフォーマンスがそれほど重要ではない場合などの他の例では、ＣＰＵ、ＦＰＧＡ、及びその他のプロセッサによって駆動されるサーバを推論に使用してもよい。

図５は、本開示のいくつかの実施形態を実装する際の使用に適した例示的なコンピューティングデバイス５００のブロック図である。コンピューティングデバイス５００は、以下のデバイス、メモリ５０４、１つ以上の中央処理装置（ＣＰＵ）５０６、１つ以上のグラフィックス処理装置（ＧＰＵ）５０８、通信インターフェース５１０、Ｉ／Ｏポート５１２、入力／出力構成要素５１４、電源５１６、１つ以上のプレゼンテーション構成要素５１８（例えば、ディスプレイ）、及び１つ以上の論理ユニット５２０を直接又は間接的に結合する相互接続システム５０２を含み得る。

図５の様々なブロックは、相互接続システム５０２を介して線で接続されたように示されているが、これは限定を意図するものではなく、明確にするためだけのものである。例えば、いくつかの実施形態では、ディスプレイデバイスなどのプレゼンテーション構成要素５１８は、（例えば、ディスプレイがタッチスクリーンである場合）Ｉ／Ｏ構成要素５１４と見なされ得る。別の例として、ＣＰＵ５０６及び／又はＧＰＵ５０８は、メモリを含み得る（例えば、メモリ５０４は、ＧＰＵ５０８、ＣＰＵ５０６、及び／又は他の構成要素のメモリに加えて、記憶装置を表し得る）。言い換えれば、図５のコンピューティングデバイスは、単に例示的なものである。「ワークステーション」、「サーバ」、「ラップトップ」、「デスクトップ」、「タブレット」、「クライアントデバイス」、「モバイルデバイス」、「ハンドヘルドデバイス」、「ゲームコンソール」、「電子制御装置（ＥＣＵ）」、「仮想現実システム」、「拡張現実システム」、及び／又は他のデバイス若しくはシステムタイプなどのカテゴリは、すべて図５のコンピューティングデバイスの範囲内で企図されているため、区別されていない。

相互接続システム５０２は、アドレスバス、データバス、制御バス、又はそれらの組み合わせなどの１つ以上のリンク又はバスを表し得る。相互接続システム５０２は、業界標準アーキテクチャ（ＩＳＡ）バス、拡張業界標準アーキテクチャ（ＥＩＳＡ）バス、ビデオ電子規格協会（ＶＥＳＡ）バス、周辺構成要素相互接続（ＰＣＩ）バス、周辺構成要素相互接続エクスプレス（ＰＣＩｅ）バス、及び／又は別のタイプの１つ以上のバス若しくはリンクを含み得る。いくつかの実施形態では、構成要素間に直接接続がある。一例として、ＣＰＵ５０６は、メモリ５０４に直接接続されてもよい。さらに、ＣＰＵ５０６は、ＧＰＵ５０８に直接接続されてもよい。構成要素間に直接の、又はポイントツーポイントの接続がある場合、相互接続システム５０２は、接続を実行するためのＰＣＩｅリンクを含み得る。これらの例では、ＰＣＩバスは、コンピューティングデバイス５００に含まれる必要はない。

メモリ５０４は、様々なコンピュータ可読媒体のいずれかを含み得る。コンピュータ可読媒体は、コンピューティングデバイス５００によってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータ可読媒体は、揮発性及び不揮発性媒体の両方、並びに取り外し可能及び取り外し不能媒体を含み得る。限定ではなく例として、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を含み得る。

コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、及び／又は他のデータタイプなどの情報を記憶するための任意の方法又は技術で実装される揮発性及び不揮発性媒体並びに／或いは取り外し可能及び取り外し不能媒体の両方を含み得る。例えば、メモリ５０４は、（例えば、オペレーティングシステムなどのプログラム及び／又はプログラム要素を表す）コンピュータ可読命令を格納することができる。コンピュータ記憶媒体には、限定されないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ若しくはその他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）若しくはその他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置若しくは他の磁気記憶装置、又は所望の情報を記憶するために使用でき、コンピューティングデバイス５００によってアクセスできる他の任意の媒体が含まれ得る。本明細書で使用される場合、コンピュータ記憶媒体は、それ自体は信号を含まない。

コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、及び／又はその他のデータタイプを、搬送波又はその他の移送機構などの変調データ信号内で具体化することができ、任意の情報配信媒体を含む。「変調データ信号」という用語は、情報を信号に符号化するような様式で設定又は変更されたその特性の１つ以上を有する信号を指し得る。限定ではなく例として、コンピュータ記憶媒体は、有線ネットワーク又は直接有線接続などの有線媒体、並びに音響、ＲＦ、赤外線及びその他の無線媒体などの無線媒体を含み得る。上記のいずれかの組み合わせも、コンピュータ可読媒体の範囲内に含まれるべきである。

ＣＰＵ５０６は、コンピュータ可読命令の少なくともいくつかを実行し、コンピューティングデバイス５００の１つ以上の構成要素を制御して、本明細書で説明する方法及び／又はプロセスの１つ以上を実行するように構成され得る。ＣＰＵ５０６はそれぞれ、多数のソフトウェアスレッドを同時に処理することができる１つ以上のコア（例えば、１、２、４、８、２８、７２個など）を含み得る。ＣＰＵ５０６は、任意のタイプのプロセッサを含むことができ、実装されるコンピューティングデバイス５００のタイプに応じて異なるタイプのプロセッサ（例えば、モバイルデバイス用のコアの少ないプロセッサ及びサーバ用のコアの多いプロセッサ）を含むことができる。例えば、コンピューティングデバイス５００のタイプに応じて、プロセッサは、縮小命令セットコンピューティング（ＲＩＳＣ）を使用して実装される高度ＲＩＳＣマシン（ＡＲＭ）プロセッサ、又は複合命令セットコンピューティング（ＣＩＳＣ）を使用して実装されるｘ８６プロセッサであり得る。コンピューティングデバイス５００は、１つ以上のマイクロプロセッサ又は数学コプロセッサなどの補助コプロセッサに加えて、１つ以上のＣＰＵ５０６を含み得る。

ＣＰＵ５０６に加えて、又は代替として、ＧＰＵ５０８は、コンピュータ可読命令の少なくともいくつかを実行し、コンピューティングデバイス５００の１つ以上の構成要素を制御して、本明細書で説明する方法及び／又はプロセスの１つ以上を実行するように構成され得る。１つ以上のＧＰＵ５０８は、（例えば、１つ以上のＣＰＵ５０６を有する）統合ＧＰＵであってもよく、及び／又は１つ以上のＧＰＵ５０８は個別のＧＰＵであってもよい。実施形態では、１つ以上のＧＰＵ５０８は、１つ以上のＣＰＵ５０６のコプロセッサであり得る。ＧＰＵ５０８は、グラフィックス（例えば、３Ｄグラフィックス）をレンダリングするか、又は汎用計算を実行するために、コンピューティングデバイス５００によって使用され得る。例えば、ＧＰＵ５０８は、ＧＰＵによる汎用計算（ＧＰＧＰＵ）に使用され得る。ＧＰＵ５０８は、数百又は数千のソフトウェアスレッドを同時に処理することができる数百又は数千のコアを含み得る。ＧＰＵ５０８は、レンダリングコマンド（例えば、ホストインターフェースを介して受信されたＣＰＵ５０６からのレンダリングコマンド）に応答して、出力画像のピクセルデータを生成することができる。ＧＰＵ５０８は、ピクセルデータ又はＧＰＧＰＵデータなどの他の任意の適切なデータを格納するための、ディスプレイメモリなどのグラフィックスメモリを含み得る。ディスプレイメモリは、メモリ５０４の一部として含まれ得る。ＧＰＵ５０８は、（例えば、リンクを介して）並列に動作する２つ以上のＧＰＵを含み得る。リンクによってＧＰＵを直接（例えば、ＮＶＬＩＮＫを使用して）接続するか、スイッチを介して（例えば、ＮＶＳｗｉｔｃｈを使用して）ＧＰＵを接続することができる。一緒に組み合わせると、各ＧＰＵ５０８は、出力の異なる部分又は異なる出力（例えば、第１の画像の第１のＧＰＵ及び第２の画像の第２のＧＰＵ）のピクセルデータ又はＧＰＧＰＵデータを生成することができる。各ＧＰＵには独自のメモリが含まれていてもよく、又は他のＧＰＵとメモリを共有していてもよい。

ＣＰＵ５０６及び／又はＧＰＵ５０８に加えて、又は代替として、論理ユニット５２０は、コンピュータ可読命令の少なくともいくつかを実行し、コンピューティングデバイス５００の１つ以上の構成要素を制御して、本明細書で説明する方法及び／又はプロセスの１つ以上を実行するように構成され得る。実施形態では、ＣＰＵ５０６、ＧＰＵ５０８、及び／又は論理ユニット５２０は、方法、プロセス、及び／又はそれらの部分の任意の組み合わせを個別に又は共同で実行することができる。１つ以上の論理ユニット５２０は、１つ以上のＣＰＵ５０６及び／又はＧＰＵ５０８の一部であってもよく、及び／又はそれらに統合されてもよく、並びに／或いは１つ以上の論理ユニット５２０は、別個の構成要素、又はそれ以外にＣＰＵ５０６及び／又はＧＰＵ５０８の外部要素であってもよい。実施形態では、１つ以上の論理ユニット５２０は、１つ以上のＣＰＵ５０６及び／又は１つ以上のＧＰＵ５０８のコプロセッサであり得る。

論理ユニット５２０の例には、テンソルコア（ＴＣ）、テンソル処理ユニット（ＴＰＵ）、ピクセルビジュアルコア（ＰＶＣ）、ビジョン処理ユニット（ＶＰＵ）、グラフィックス処理クラスタ（ＧＰＣ）、テクスチャ処理クラスタ（ＴＰＣ）、ストリーミングマルチプロセッサ（ＳＭ）、ツリートラバーサルユニット（ＴＴＵ）、人工知能アクセラレータ（ＡＩＡ）、ディープラーニングアクセラレータ（ＤＬＡ）、算術論理ユニット（ＡＬＵ）、特定用途向け集積回路（ＡＳＩＣ）、浮動小数点ユニット（ＦＰＵ）、Ｉ／Ｏ要素、周辺構成要素相互接続（ＰＣＩ）又は周辺構成要素相互接続エクスプレス（ＰＣＩｅ）要素などの、１つ以上の処理コア及び／又はその構成要素が含まれる。

通信インターフェース５１０は、コンピューティングデバイス５００が有線及び／又は無線通信を含む電子通信ネットワークを介して他のコンピューティングデバイスと通信することを可能にする１つ以上の受信機、送信機、及び／又は送受信機を含み得る。通信インターフェース５１０は、無線ネットワーク（例えば、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ ＬＥ、ＺｉｇＢｅｅなど）、有線ネットワーク（例えば、イーサネット又はＩｎｆｉｎｉＢａｎｄを介した通信）、低電力広域ネットワーク（ＬｏＲａＷＡＮ、ＳｉｇＦｏｘなど）、及び／又はインターネットなどのいくつかの異なるネットワークのいずれかを介した通信を可能にする構成要素及び機能を含み得る。

Ｉ／Ｏポート５１２は、コンピューティングデバイス５００が、Ｉ／Ｏ構成要素５１４、プレゼンテーション構成要素５１８、及び／又は他のＩ／Ｏ構成要素を含む他のデバイスに論理的に結合されることを可能にすることができ、これらの構成要素のいくつかは、コンピューティングデバイス５００に内蔵（例えば、統合）されていてもよい。例示的なＩ／Ｏ構成要素５１４には、マイク、マウス、キーボード、ジョイスティック、ゲームパッド、ゲームコントローラ、衛星受信アンテナ、スキャナ、プリンタ、無線デバイスなどが含まれる。Ｉ／Ｏ構成要素５１４は、エアジェスチャ、音声、又はユーザによって生成された他の生理学的入力を処理する自然なユーザインターフェース（ＮＵＩ）を提供することができる。場合によっては、入力は、さらに処理するために適切なネットワーク要素に送信され得る。ＮＵＩは、コンピューティングデバイス５００のディスプレイに関連する、音声認識、スタイラス認識、顔認識、生体認識、画面上及び画面隣接の両方のジェスチャ認識、エアジェスチャ、頭及び目の追跡、及びタッチ認識（以下で詳しく説明）の任意の組み合わせを実装することができる。コンピューティングデバイス５００は、ジェスチャ検出及び認識のために、立体カメラシステム、赤外線カメラシステム、ＲＧＢカメラシステム、タッチスクリーン技術、及びこれらの組み合わせなどの深度カメラを含み得る。さらに、コンピューティングデバイス５００は、動きの検出を可能にする加速度計又はジャイロスコープを（例えば、慣性測定ユニット（ＩＭＵ）の一部として）含み得る。いくつかの例では、加速度計又はジャイロスコープの出力は、没入型拡張現実又は仮想現実をレンダリングするためにコンピューティングデバイス５００によって使用され得る。

電源５１６は、ハードワイヤード電源、電池電源、又はそれらの組み合わせを含み得る。電源５１６は、コンピューティングデバイス５００の構成要素が動作することを可能にするために、コンピューティングデバイス５００に電力を提供することができる。
プレゼンテーション構成要素５１８は、ディスプレイ（例えば、モニタ、タッチスクリーン、テレビスクリーン、ヘッドアップディスプレイ（ＨＵＤ）、その他のディスプレイタイプ、又はそれらの組み合わせ）、スピーカ、及び／又はその他のプレゼンテーション構成要素を含み得る。プレゼンテーション構成要素５１８は、他の構成要素（例えば、ＧＰＵ５０８、ＣＰＵ５０６など）からデータを受信し、（例えば、画像、ビデオ、音などとして）データを出力することができる。

本開示は、プログラムモジュールなどのコンピュータ実行可能命令を含む、パーソナルデータアシスタント又は他のハンドヘルドデバイスなどのコンピュータ又は他の機械によって実行される、コンピュータコード又は機械使用可能命令の一般的なコンテキストで説明され得る。一般に、ルーチン、プログラム、物体、構成要素、データ構造などを含むプログラムモジュールは、特定のタスクを実行するか、又は特定の抽象データ型を実装するコードを指す。本開示は、ハンドヘルドデバイス、家庭用電化製品、汎用コンピュータ、より専門的なコンピューティングデバイスなどを含む、様々なシステム構成で実施され得る。本開示はまた、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される分散コンピューティング環境でも実施され得る。

図６は、本開示の実施形態の機械学習モデルの訓練及び展開を示す。少なくとも１つの実施形態では、機械学習モデルは、ＣＮＮなどのニューラルネットワークを含み得る。訓練されていないニューラルネットワーク６０６は、訓練データセット６０２を使用して訓練され、訓練データセット６０２は、本開示のいくつかの実施形態では、様々な頭の姿勢を想定する被験者画像のセットであり得る。少なくとも１つの実施形態では、訓練フレームワーク６０４は、ＰｙＴｏｒｃｈフレームワークであるが、他の実施形態では、訓練フレームワーク６０４は、ＴｅｎｓｏｒＦｌｏｗ、Ｂｏｏｓｔ、Ｃａｆｆｅ、マイクロソフトコグニティブツールキット／ＣＮＴＫ、ＭＸＮｅｔ、Ｃｈａｉｎｅｒ、Ｋｅｒａｓ、Ｄｅｅｐｌｅａｒｎｉｎｇ４ｊ、又は他の訓練フレームワークである。訓練フレームワーク６０４は、本明細書に記載の処理リソースを使用して、訓練されていないニューラルネットワーク６０６を訓練し、訓練されたニューラルネットワーク６０８を生成する。少なくとも１つの実施形態では、初期重みは、ランダムに、又はディープビリーフネットワークを使用して事前訓練することによって選択され得る。訓練は、教師あり、部分的に教師あり、又は教師なしの様式のいずれかで実行され得る。

回帰分類子が使用される場合などの少なくとも１つの実施形態では、訓練されていないニューラルネットワーク６０６は、教師あり学習を使用して訓練することができ、訓練データセット６０２は、所望の出力と対になった入力を含むか、又は訓練データセット６０２は、既知の出力を有する入力を含み、ニューラルネットワークの出力は手動で評価される。少なくとも１つの実施形態では、訓練されていないニューラルネットワーク６０６は、監視された様式で訓練される。訓練フレームワーク６０４は、訓練データセット６０２からの入力を処理し、得られた出力を予想される又は所望の出力のセットと比較する。少なくとも１つの実施形態では、その後、エラーが、訓練されていないニューラルネットワーク６０６を介して逆伝播される。訓練フレームワーク６０４は、訓練されていないニューラルネットワーク６０６を制御する重みを調整する。訓練フレームワーク６０４は、訓練されていないニューラルネットワーク６０６が、新しいデータ６１２などの既知の入力データに基づいて、結果６１４などにおける正解を生成するのに適した訓練されたニューラルネットワーク６０８などのモデルに向かって、どれほどうまく収束しているかを監視するツールを含み得る。少なくとも１つの実施形態では、訓練フレームワーク６０４は、確率的勾配降下などの損失関数及び調整プロセスを使用して、訓練されていないニューラルネットワーク６０６の出力を精緻化するために重みを調整しながら、訓練されていないニューラルネットワーク６０６を繰り返し訓練する。少なくとも１つの実施形態では、訓練フレームワーク６０４は、訓練されていないニューラルネットワーク６０６が所望の精度を達成するまで、訓練されていないニューラルネットワーク６０６を訓練する。次に、訓練されたニューラルネットワーク６０８を展開して、任意の数の機械学習動作を実装することができる。

少なくとも１つの実施形態では、訓練されていないニューラルネットワーク６０６は、教師なし学習を使用して訓練することができ、訓練されていないニューラルネットワーク６０６は、ラベル付けされていないデータを使用してそれ自体を訓練しようと試みる。少なくとも１つの実施形態では、教師なし学習訓練データセット６０２は、関連する出力データ又は「グランドトゥルース」データのない入力データを含み得る。訓練されていないニューラルネットワーク６０６は、訓練データセット６０２内のグループ化を学習し、個々の入力が訓練されていないデータセット６０２にどのように関連付けられているかを判断することができる。少なくとも１つの実施形態では、教師なし訓練を使用して、新しいデータ６１２の次元を低減するのに有用な演算を実行できる一種の訓練されたニューラルネットワーク６０８である自己組織化マップを生成することができる。教師なし訓練を使用して、異常検出を実行することもでき、これにより、新しいデータセット６１２の通常又は既存のパターンから逸脱する、新しいデータセット６１２内のデータ点の識別が可能になる。

少なくとも１つの実施形態では、半教師あり学習を使用することができ、これは、訓練データセット６０２がラベル付けされたデータとラベル付けされていないデータとの混合データを含む技法である。したがって、訓練フレームワーク６０４を使用して、転移学習技法などを介して、増分学習を実行することができる。このような増分学習によって、訓練されたニューラルネットワーク６０８は、初期訓練中にネットワーク内に注入された知識を忘れることなく、新しいデータ６１２に適合することができる。

図７は、本開示の実施形態による、視線方向を決定し、この視線方向を任意の３次元形状の領域にマッピングするプロセスステップを示すフローチャートである。図７のプロセスは、コンピューティングデバイス３００が、被験者の周囲の環境に対応する３次元表面のセットを受信することから開始され得る（ステップ７００）。コンピューティングデバイス３００はまた、カメラによって撮影された被験者の画像を受信する（ステップ７１０）。次に、コンピューティングデバイス３００は、受信した画像内の被験者の顔及び目を識別し、顔面のランドマーク値、関連する信頼値、及び目のトリミングを上記のように決定する（ステップ７２０）。次に、これらの量を、図２Ｂの適応推論融合モジュール２８０による視線ベクトルの回帰ベースの推定（ステップ７３０）の入力変数として、並びに視線ベクトルの起点を決定する（ステップ７４０）ための図２Ａの視線起点推定モジュール２４０への入力として使用する。上記のように、視線起点は、特に顔のランドマークから決定される。

視線ベクトル及びその起点が決定されると、図２Ａのマッピングモジュール２５０は、もしあれば、視線ベクトルとステップ７００の３次元表面との交点を決定する（ステップ７５０）。次に、視線ベクトルと交差する表面又は領域が出力され、任意の応答動作が開始され得る（ステップ７６０）。

本開示の実施形態のシステム及びプロセスを使用して、視線と、物体内／物体上及び物体外の両方の表面との交点を決定することができることに留意されたい。特に、マッピングモジュール２５０にインポートされた３次元表面は、物体の表面並びにその物体の外部又は離れた表面を含むことができ、マッピングモジュール２５０は、物体の表面及び物体から離れた表面の両方と視線ベクトルとの交点を決定することができる。例えば、３次元表面のセットは、車両内部の表面、及び一時停止標識、信号機、模擬歩行者などの車両外部の物体を含み得る。次に、マッピングモジュール２５０は、運転者が見ている車両窓と、運転者が一時停止標識などの特定の物体を見ているかどうかの両方を決定することができる。そのために、車両のセンサ（例えば、カメラ又は他の画像センサ、光検出及び測距（ＬＩＤＡＲ：ライダ）センサ、他のリモートセンシングデバイスなど）によって、車両近くの物体の位置及び形状を決定することができる。次に、車両のプロセッサは、このセンサ出力を、格納されている３次元車両表面と同じ座標系の３次元表面に変換し、それらを３次元表面セットの追加の表面として格納する。次に、マッピングモジュール２５０は、計算された視線ベクトルと、車両の表面との交点、及び車両外部の物体の格納された任意の表面との交点の両方を決定することができる。このようにして、システムは、例えば、運転者が注意を向けるべき様々な潜在的な道路の危険又は他のアイテムについて、運転者が気付いているか、例えば運転者がその方向を見ているかどうかを決定することができる。

本明細書で使用される場合、２つ以上の要素に関する「及び／又は」の列挙は、１つの要素のみ、又は要素の組み合わせを意味すると解釈されるべきである。例えば、「要素Ａ、要素Ｂ、及び／又は要素Ｃ」には、要素Ａのみ、要素Ｂのみ、要素Ｃのみ、要素Ａ及び要素Ｂ、要素Ａ及び要素Ｃ、要素Ｂ及び要素Ｃ、又は要素Ａ、Ｂ及びＣが含まれ得る。さらに、「要素Ａ又は要素Ｂの少なくとも１つ」には、要素Ａの少なくとも１つ、要素Ｂの少なくとも１つ、又は要素Ａの少なくとも１つ及び要素Ｂの少なくとも１つが含まれ得る。さらに、「要素Ａ及び要素Ｂの少なくとも１つ」には、要素Ａの少なくとも１つ、要素Ｂの少なくとも１つ、又は要素Ａの少なくとも１つ及び要素Ｂの少なくとも１つが含まれ得る。

本開示の主題は、法的要件を満たすために、本明細書で具体的に説明される。しかしながら、説明自体は、この開示の範囲を限定することを意図していない。むしろ、発明者らは、特許請求された主題が他の方法でも具体化することができ、他の現在又は将来の技術と合わせて、この明細書に記載されたものと同様の異なるステップ又はステップの組み合わせを含み得ることを企図している。さらに、「ステップ」及び／又は「ブロック」という用語は、本明細書では、使用される方法の異なる要素を暗示するために使用され得るが、これらの用語は、個々のステップの順序が明示されていない限り、及びそれらが明示されている場合を除いて、本明細書で開示される様々なステップ間の特定の順序を示唆すると解釈されるべきではない。

前述の説明は、説明の目的で、本開示の完全な理解を提供するために特定の学術用語を使用した。しかしながら、本開示の方法及びシステムを実施するために特定の詳細が必要とされないことは、当業者には明らかであろう。したがって、本発明の特定の実施形態の前述の説明は、例示及び説明の目的で提示されている。それらは、網羅的であること、又は本発明を開示された正確な形態に限定することを意図していない。上記の教示を考慮して、多くの修正及び変更が可能である。例えば、顔のランドマーク及び信頼値は、任意の様式で決定することができ、視線ベクトルは、任意の回帰技法又は他の適切な手法を使用して決定することができる。さらに、本開示の実施形態は、任意の様式で決定及び特徴付けられる任意の３次元表面又は体積を使用して、それらと視線ベクトルとの交点を決定することを企図する。実施形態は、本発明の原理及びその実際の用途を最もよく説明するために選択及び説明されており、それにより、当業者が本開示の方法及びシステム並びに企図される特定の用途に適するように様々な修正が加えられた様々な実施形態を最適に利用できるようにする。さらに、様々な実施形態の異なる特徴は、開示されていてもいなくても、本開示によって企図されるさらなる実施形態を作成するために、混合及び適合又はそれ以外に組み合わせることができる。

Claims (26)

1. 指定された領域上の視線方向を決定する方法であって、
   並列処理回路を使用して、被験者の視線方向であって、前記被験者の画像に対応する画像データから決定される１つ以上の特徴を入力として有する機械学習モデルの出力に従って決定される視線方向を決定することと、
   前記被験者の位置からの１つ以上の視野の空間モデルに対応する空間領域のセットを取得することと、
   前記視線方向から、前記被験者の視線が前記空間領域の少なくとも１つと交差するかどうかを決定することと、
   前記被験者の前記視線が前記空間領域の少なくとも１つと交差する場合、前記被験者の前記視線が交差する前記少なくとも１つの空間領域に基づいて動作を開始することと
   を含む、方法。
2. 前記機械学習モデルが、回帰モデルをさらに含む、請求項１に記載の方法。
3. 前記空間領域が、物体の表面に対応する３次元表面を含む、請求項１に記載の方法。
4. 前記物体が車両である、請求項３に記載の方法。
5. 前記空間領域が、前記車両の内部から見える３次元表面を含む、請求項４に記載の方法。
6. 前記機械学習モデルが、入力として、
   前記被験者の１つ以上の顔のランドマーク点、
   前記被験者の頭の姿勢、
   前記被験者の前記画像の１つ以上の目のトリミング、
   前記被験者の少なくとも１つの視線方向、又は
   前記被験者の少なくとも１つの視線方向の信頼値
   のうちの少なくとも１つをさらに有する、請求項１に記載の方法。
7. 視線起点を決定することをさらに含み、前記被験者の視線が前記空間領域の１つと交差するかどうかを決定することが、少なくとも前記視線方向及び前記視線起点に基づいて前記被験者の視線が前記空間領域の１つと交差するかどうかを決定することをさらに含む、請求項１に記載の方法。
8. センサを使用して生成された前記画像データを受信することをさらに含む、請求項１に記載の方法。
9. 前記開始することが、車両の動作を開始することをさらに含む、請求項１に記載の方法。
10. 前記被験者の視線が前記空間領域の１つと交差するかどうかを決定することが、前記決定された視線方向を前記空間領域の少なくとも１つに投影することをさらに含む、請求項１に記載の方法。
11. 前記空間領域のセットが、前記被験者の前記位置からの第１の視野に対応する第１の空間領域のセットであり、前記方法が、
    前記被験者の前記位置からの第２の視野に対応する第２の空間領域のセットを取得することと、
    前記決定された視線方向から、前記被験者の視線が前記第２の空間領域のセットの少なくとも１つと交差するかどうかを決定することと、
    前記被験者の前記視線が前記第２の空間領域のセットの少なくとも１つの領域と交差する場合、前記被験者の前記視線が交差する前記第２の空間領域のセットの前記少なくとも１つの領域に基づいて動作を開始することと
    を含む、請求項１に記載の方法。
12. 前記空間モデルが、１つ以上の物体のコンピュータベースのモデル、前記１つ以上の物体の測定、前記１つ以上の物体の１つ以上の画像、又は前記１つ以上の物体の部分の位置を決定するように訓練された機械学習モデルのうちの１つに従って決定される、請求項１に記載の方法。
13. 前記機械学習モデルの前記出力が、視線ベクトルをさらに含み、前記視線方向が、前記視線ベクトルに従ってさらに決定される、請求項１に記載の方法。
14. 指定された領域上の視線方向を決定するシステムであって、
    メモリと、
    並列処理回路であって、
    被験者の視線方向であって、前記被験者の画像に対応する画像データから決定される１つ以上の特徴を入力として有する機械学習モデルの出力に従って決定される視線方向を決定し、
    前記被験者の位置からの１つ以上の視野の空間モデルに対応する空間領域のセットを取得し、
    前記視線方向から、前記被験者の視線が前記空間領域の少なくとも１つと交差するかどうかを決定し、かつ
    前記被験者の前記視線が前記空間領域の少なくとも１つと交差する場合、前記被験者の前記視線が交差する前記少なくとも１つの空間領域に基づいて動作を開始するように構成された、並列処理回路と
    を含む、システム。
15. 前記機械学習モデルが、回帰モデルをさらに含む、請求項１４に記載のシステム。
16. 前記空間領域が、物体の表面に対応する３次元表面を含む、請求項１４に記載のシステム。
17. 前記物体が車両である、請求項１６に記載のシステム。
18. 前記空間領域が、前記車両の内部から見える３次元表面を含む、請求項１７に記載のシステム。
19. 前記機械学習モデルが、入力として、
    前記被験者の１つ以上の顔のランドマーク点、
    前記被験者の頭の姿勢、
    前記被験者の前記画像の１つ以上の目のトリミング、
    前記被験者の少なくとも１つの視線方向、又は
    前記被験者の少なくとも１つの視線方向の信頼値
    のうちの少なくとも１つをさらに有する、請求項１４に記載のシステム。
20. 前記並列処理回路が、視線起点を決定するようにさらに構成され、前記被験者の視線が前記空間領域の１つと交差するかどうかを決定することが、少なくとも前記視線方向及び前記視線起点に基づいて前記被験者の視線が前記空間領域の１つと交差するかどうかを決定することをさらに含む、請求項１４に記載のシステム。
21. 前記並列処理回路が、センサを使用して生成された前記画像データを受信するようにさらに構成される、請求項１４に記載のシステム。
22. 前記開始することが、車両の動作を開始することをさらに含む、請求項１４に記載のシステム。
23. 前記被験者の視線が前記空間領域の１つと交差するかどうかを決定することが、前記決定された視線方向を前記空間領域の少なくとも１つに投影することをさらに含む、請求項１４に記載のシステム。
24. 前記空間領域のセットが、前記被験者の前記位置からの第１の視野に対応する第１の空間領域のセットであり、前記並列処理回路が、
    前記被験者の前記位置からの第２の視野に対応する第２の空間領域のセットを取得し、
    前記決定された視線方向から、前記被験者の視線が前記第２の空間領域のセットの少なくとも１つと交差するかどうかを決定し、かつ
    前記被験者の前記視線が前記第２の空間領域のセットの少なくとも１つの領域と交差する場合、前記被験者の前記視線が交差する前記第２の空間領域のセットの前記少なくとも１つの領域に基づいて動作を開始するようにさらに構成される、請求項１４に記載のシステム。
25. 前記空間モデルが、１つ以上の物体のコンピュータベースのモデル、前記１つ以上の物体の測定、前記１つ以上の物体の１つ以上の画像、又は前記１つ以上の物体の部分の位置を決定するように訓練された機械学習モデルのうちの１つに従って決定される、請求項１４に記載のシステム。
26. 前記機械学習モデルの前記出力が、視線ベクトルをさらに含み、前記視線方向が、前記視線ベクトルに従ってさらに決定される、請求項１４に記載のシステム。

Images