JP2022104773A

JP2022104773A - 拘束デバイスのローカリゼーション

Info

Publication number: JP2022104773A
Application number: JP2021034426A
Authority: JP
Inventors: フーフェン; Feng Hu
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2020-12-29
Filing date: 2021-03-04
Publication date: 2022-07-11
Also published as: CN114684062A; US20220203930A1; DE102021132987A1

Abstract

【課題】拘束デバイス（たとえば、シートベルト）のローカリゼーションに関するシステム及び方法を提供すること。【解決手段】一実施例では、本開示は、シートベルト検出及びモデル化のためのシステム及び方法に関する。車両は、１個又は複数のシートベルトを着用している１人又は複数の乗員によって占有され得る。カメラ又は他のセンサが、１人又は複数の乗員の画像をキャプチャするために、車両内に置かれる。システムは、画像を分析して画像内に示されたシートベルトを検出及びモデル化する。具体的には、本システムは、画像及びシートベルトに対応し得る画像のエリアをスキャンし得る。本システムは、シートベルトに対応し得る画像の候補エリアを構築し、様々な制約に基づいて候補エリアを精緻化し得る。本システムは、シートベルトを指示する精緻化された候補エリアに基づいてモデルを構築し、画像を使用してシートベルトを指示するモデルを視覚化し得る。【選択図】図１

Description

本出願は、２０２０年８月２８日に出願した同時係属米国特許出願第１７／００５，９１４号、題名「ＮＥＵＲＡＬＮＥＴＷＯＲＫＢＡＳＥＤＤＥＴＥＲＭＩＮＡＴＩＯＮＯＦＧＡＺＥＤＩＲＥＣＴＩＯＮＵＳＩＮＧＳＰＡＴＩＡＬＭＯＤＥＬＳ」、２０２０年８月２７日に出願した同時係属米国特許出願第１７／００４，２５２号、題名「ＮＥＵＲＡＬＮＥＴＷＯＲＫＢＡＳＥＤＦＡＣＩＡＬＡＮＡＬＹＳＩＳＵＳＩＮＧＦＡＣＩＡＬＬＡＮＤＭＡＲＫＳＡＮＤＡＳＳＯＣＩＡＴＥＤＣＯＮＦＩＤＥＮＣＥＶＡＬＵＥＳ」、及び、２０２０年６月１８日に出願した同時係属米国特許出願第１６／９０５，４１８号、題名「ＭＡＣＨＩＮＥＬＥＡＲＮＩＮＧ－ＢＡＳＥＤＳＥＡＴＢＥＬＴＤＥＴＥＣＴＩＯＮＡＮＤＵＳＡＧＥＲＥＣＯＧＮＩＴＩＯＮＵＳＩＮＧＦＩＤＵＣＩＡＬＭＡＲＫＩＮＧ」の全開示をすべての目的のために参照により組み込む。

乗客又はオペレータを輸送する又は含む自動車並びに他の車両及びマシンは、様々な安全機能、たとえば、シートベルト又は他の拘束デバイス、をしばしば有する。多くの場合、安全性デバイスは、正しく使用されない場合に、効果が少なくなり得る又は無効になることさえある。たとえば、不正確に着用されたシートベルトは、正しく着用されたシートベルトよりも効果が著しく少なくなり得る。様々な試みが、そのような安全デバイスの使用を改善するために行われた。いくつかのデバイスは、特に同タイプのマシンの間の変更形態を考慮すると、困難で高価になり得る、改造型マシンを含む。一般に、車両におけるシートベルトなどの拘束デバイスの正しい使用の検出には、多くの課題があり、その成功は正確さに関して様々である。

少なくとも１個の実施例は、１個又は複数の画像から１個又は複数の拘束デバイスを識別及びモデル化するために使用される処理資源に関する。たとえば、少なくとも１個の実施例は、本明細書に記載の様々な新しい技法による１個又は複数の拘束デバイスの１個又は複数の画像から１個又は複数の拘束デバイスを識別及びモデル化するために使用されるプロセッサ又はコンピュータ・システムに関する。

拘束デバイスのローカリゼーションのための本システム及び方法について、添付の図面を参照して、以下に詳しく説明する。

本開示のいくつかの実施例による、シートベルト・ローカリゼーションのためのシステムの一実例を示す図である。本開示のいくつかの実施例による、１個又は複数の目標方向において１個又は複数の近隣画素を有する１個又は複数の画素のシートベルト・パッチの実例を示す図である。本開示のいくつかの実施例による、１個又は複数の目標方向において１個又は複数の近隣画素を有する１個又は複数の画素の非シートベルト・パッチの実例を示す図である。本開示のいくつかの実施例による、シートベルト・パッチ・ジオメトリの一実例を示す図である。本開示のいくつかの実施例による、構造化された端のローカリゼーションの一実例を示す図である。本開示のいくつかの実施例による、候補マップの一実例を示す図である。本開示のいくつかの実施例による、複数のシートベルト・ローカリゼーションの一実例を示す図である。本開示のいくつかの実施例による、シートベルト・ローカリゼーションの一実例を示す図である。本開示のいくつかの実施例による、シートベルト・ローカリゼーションの一実例を示す図である。本開示のいくつかの実施例による、シートベルト・ローカリゼーションの一実例を示す図である。本開示のいくつかの実施例による、シートベルト・ローカリゼーションの一実例を示す図である。本開示のいくつかの実施例による、入力画像のモデルを生成するための方法を示す流れ図である。本開示のいくつかの実施例による、例示的自律型車両のイラストレーションである。本開示のいくつかの実施例による、図１３Ａの例示的自律型車両のカメラ位置及び視野の実例である。本開示のいくつかの実施例による、図１３Ａの例示的自律型車両の例示的システム・アーキテクチャのブロック図である。本開示のいくつかの実施例による、クラウドベースのサーバと図１３Ａの例示的自律型車両との間の通信のシステム図である。本開示のいくつかの実施例の実装において使用するのに適した例示的コンピューティングデバイスのブロック図である。

本明細書に記載の技法は、車両の乗員がシートベルトを着用しているかどうか、及びそれを適切に着用しているかどうかの検出など、様々な機能を実現するために、シートベルト及び他の拘束デバイスを受動的に検出する方法を提供する。車両にセットされたカメラが、画像をキャプチャし、その画像は、乗員がシートベルトを適切に着用しているかどうかを判定するために、分析される。通常は、車両のシステムは、シートベルトがロック位置にあるかどうかを検出する感覚システムを使用する。しかしながら、感覚システムが欺かれる又は永久に機能しないことがある事例が存在する。加えて、乗員はシートベルトをしているが不正確に着用している（たとえば、シートベルトが、背中の後ろで着用されている）事例が存在する。これに対抗し、交通安全性を向上させるために、本明細書に記載の技法は、車両に搭載されたカメラによってキャプチャされたビデオ／画像を使用して、シートベルトが適切に着用されているかどうかを判定する。本技法は、シートベルト自体又は任意の既存のロッキング感覚システムを物理的に修正する必要なしに、実行される。

より具体的には、システムは、先ず、キャプチャされた画像を分析して、画素がシートベルトの一部であるか背景の一部であるかを分類する。この分類は、シートベルトの一部である可能性が最も高い複数の画素候補の生成をもたらす。シートベルトの一部である画素をより正確に識別するために、本システムは、様々な情報を使用して、シートベルトの一部として識別された画像の誤認を訂正し、またその逆も行う。そのような情報は、以下を含み得る：シートベルトが車両内でどのように構築されるかなどのパラメータ／制約、ロックされたときにシートベルトが伸びるべき方向、シートベルトの物理的属性、及び画素のより正確なセットを構築するために画像をキャプチャしたカメラの構成。画素のより正確なセットを生成するための画素のフィルタリングの後、本システムは、次いで、シートベルトをパラメータ化し、高次多項式曲線を使用してシートベルトの形状をモデル化し、それは、モデル化された形状に関する外れ値である任意の画素をさらに取り除き、前に不正確にフィルタリングで取り除かれた又は閉塞された画素を回収する。最終シートベルト曲線は、乗員の安全性を向上させるために、たとえば、シートベルトが適切に着用されている（たとえば、シートベルトが、ロック位置にあり、乗員の胸を対角線的に横断して着用されている）かどうかを判定するために、使用され得る。

本明細書に記載の技法は、既存の車両システムを修正する必要なしにすべてのタイプの車両において安全機能を向上させるための方法をさらに発展させる。本技法は、車両搭載のシステム及び／又はカメラによってキャプチャされたビデオ／画像に基づいて、車両内のどの乗員が適切にシートベルトを着用しているかを識別することができる。本システムは、運転手が適切にシートベルトを着用しているかどうかを識別するだけではなく、車両内のすべての他の乗員がシートベルトを適切に着用しているかどうかを判定することもできる。本明細書に記載のシステムは、一般乗員車両のシートベルトに適用されるが、本システムはまた、シートベルト、安全装置、又は他のハーネスを必要とする他の分野（たとえば、建設機器、遊園地の乗物、４Ｄ映画館の座席）にも適用可能である。本システムは、車両内乗員監視システム（ＯＭＳ：ｏｃｃｕｐａｎｔｍｏｎｉｔｏｒｉｎｇｓｙｓｔｅｍ）の構成要素になり得る。

本システムは、ロバストで、様々な種類のカメラ・センサ構成、たとえば、カラー又は赤外線カメラ、通常視界又は魚眼カメラ、に適用可能になり得る。本システムは、様々な光条件、たとえば、微光条件（たとえば、夜間条件）、可変光条件（たとえば、日中条件）、及び／又はその変更形態、においてキャプチャされた画像を操作及び処理することができる。本システムは、本明細書に記載の１個又は複数の技法を介して、新しいローカル平行線パターンを判定し、画像内でマイクロスケールでパターンを検出することができる。本システムは、１個又は複数の汎用グラフィックス処理装置（ＧＰＧＰＵ：ｇｅｎｅｒａｌ－ｐｕｒｐｏｓｅｇｒａｐｈｉｃｓｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）を使用する並列演算技法を使用して、ビデオのすべてのフレームのすべてのシートベルトを同時に効率的に判定することができる。本システムは、車両を占める１人又は複数の乗員の安全性を向上させるために、シートベルト及びシートベルト使用のリアルタイム監視を行うことができる。本システムは、画像の任意のパッチの２項分類機能を提供することができ、雑音又は偽陽性シートベルト部分候補を取り除くことができる、様々なアルゴリズムを使用することができる。本システムは、閉塞又は他の障害物を有するシートベルトもローカライズすることができる高次曲線に基づくシートベルト形状モデル化機能を使用し得る。本システムは、サブジェクトに対応するシートベルトをローカライズすることができ、異なるサイズ、形状、及び属性、たとえば、衣類タイプ及び毛髪タイプ、及び／又は他の様々な物理的外観属性、の物理的外観を含む、任意の適切な物理的外観のサブジェクトに適用可能になり得る。

図１を参照すると、図１は、本開示のいくつかの実施例による、シートベルト・ローカリゼーションのためのシステムの一実例である。本明細書に記載のこの及び他の配置は単に例として記載されていることを理解されたい。他の配置及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、図示されたものに加えて又はそれらの代わりに使用され得、いくつかの要素は、完全に省略され得る。さらに、本明細書に記載の要素の多数は、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能は、メモリに記憶された命令を実行するプロセッサによって実施され得る。

図１は、少なくとも１個の実施例による、シートベルト・ローカリゼーションのためのシステムの実例１００を示す。様々な実施例において、シートベルトのローカリゼーションは、１個又は複数の画像（たとえば、車両の運転手席又は乗客席にいる人の画像）に示された１個又は複数のシートベルトの位置、サイズ、形状、向き、及び／又は他の特徴を識別する１個又は複数のプロセスを指す。実例１００は、シートベルトのローカリゼーションを示すが、任意の適切なシステムの任意の適切な拘束デバイス部分が、ローカライズされ得る、ということに留意されたい。拘束デバイスは、シートベルト（たとえば、２点式シートベルト、３点式シートベルト、４点式シートベルトなど）、安全ハーネス、又は他の車両安全性デバイスなどのデバイスを含み得る。

シートベルト・ローカライザと称され得る、シートベルト・ローカリゼーションのためのシステムは、ローカル予測器１０４、グローバル・アセンブラ１０８、及び形状モデラ１１６を備え得る。シートベルト・ローカリゼーションのためのシステムの様々なプロセスが、１個又は複数のグラフィックス処理装置（ＧＰＵ：ｇｒａｐｈｉｃｓｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）、たとえば、並列処理装置（ＰＰＵ：ｐａｒａｌｌｅｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）、によって実行され得る。シートベルト・ローカリゼーションのためのシステムの１個又は複数のプロセスは、任意の適切な処理システム又はユニット（たとえば、ＧＰＵ、ＰＰＵ、中央処理装置（ＣＰＵ））によって、並びに順次、並行、及び／又はその変更形態を含む、任意の適切な方式で、実行され得る。ローカル予測器１０４、グローバル・アセンブラ１０８、及び形状モデラ１１６は、車両に搭載された１個又は複数のコンピュータ・システムのソフトウェア・モジュールでもよい。いくつかの実例において、ローカル予測器１０４、グローバル・アセンブラ１０８、及び形状モデラ１１６は、１個又は複数のネットワークを介してアクセス可能なコンピュータ・サーバで実行するソフトウェア・プログラムであり、そこで、入力画像１０２は、１個又は複数のネットワークを介して車両の１個又は複数の計算システムからコンピュータ・サーバに提供され、そして、入力画像１０２の１個又は複数のシートベルトのシートベルト・ローカリゼーションの結果が、１個又は複数のネットワークを介して車両に提供し返される。シートベルト・ローカリゼーションのためのシステムへの入力は、入力画像１０２を含み得る。一実施例において、入力画像１０２は、拘束デバイス、たとえば、シートベルト、を有する車両内のエンティティの画像である。図１を参照すると、入力画像１０２は、車両の運転手席に座ったシートベルトを着用している人の画像でもよい。シートベルト・ローカリゼーションのためのシステムは、入力画像１０２のシートベルトの位置及び向きを判定することができ、入力画像１０２のシートベルトが正しく適用されているかをさらに判定することができる。

入力画像１０２は、１個又は複数の画像キャプチャ・デバイス、たとえば、カメラ又は他のデバイス、からキャプチャされた画像でもよい。入力画像１０２は、１個又は複数のカメラからキャプチャされたビデオのフレームでもよい。入力画像１０２は、車両の内部に配置された１個又は複数のカメラからキャプチャされ得る。いくつかの実施例において、入力画像１０２は、監視システム、携帯電話、ドローン、ハンドヘルド撮像デバイス、又は車両から別れた他の撮像システムを介するなどして、車両の外部にある１個又は複数のカメラからキャプチャされ、車両及び車両の乗員の画像をキャプチャすることができる。いくつかの実例において、入力画像は、１個又は複数の色特性の調整、アップサンプリング若しくはダウンサンプリング、クロッピング、及び／又はデータの他の処理によってさらに処理される画像キャプチャ・デバイスからキャプチャされたデータである。車両は、車両、たとえば、自律型車両、半自律型車両、マニュアル車両、及び／又はその変更形態、でもよい。一部の実例では、車両は、１個又は複数の拘束デバイスを必要とする娯楽用乗物の車両（たとえば、ジェットコースタ）、建設車両、又は他の車両である。入力画像１０２は、図１３Ａ～１３Ｄに関して説明されるものなどの１個又は複数のカメラからキャプチャされ得る。入力画像１０２は、車両の乗員の方を向いた車両内のカメラからキャプチャされ得る。入力画像１０２は、カラー画像、グレースケール画像、白黒画像などでもよい。入力画像１０２は、異なるＦＯＶを有する１個又は複数のカメラからキャプチャされ得る。入力画像１０２は、入力画像１０２のシートベルトと背景との低い対比をもたらし得る、最小限の色対比を有する画像でもよい。入力画像１０２は、１個又は複数のエンティティ、たとえば、手、腕、衣服、又は他の物体、によって閉塞され得るシートベルトを示し得る。入力画像１０２は、様々な場所まで移動し得る又は伸ばされ得るシートベルトを示し得る。入力画像１０２は、直線、又は曲線などの他の不規則な形として位置付けられ得る、シートベルトを示し得る。入力画像１０２は、物体又は車両移動の結果として、歪められ得る。入力画像１０２は、サブジェクト、たとえば、車両運転手又は乗客、とサブジェクトに適用された拘束デバイス、たとえば、シートベルト、とを示し得る。いくつかの実例において、入力画像１０２は、環境、たとえば、建設環境、におけるサブジェクト及び拘束デバイスを示す（たとえば、入力画像１０２は、安全ハーネスなどの拘束デバイスを有する建設環境におけるサブジェクトを示す）。

入力画像１０２は、ローカル予測器１０４によって受信又は他の方法で取得され得る。一部の実例では、入力画像１０２は、処理するための入力画像１０２の状態を整えるための１個又は複数の前処理動作によって、処理され、前処理動作は、動作、たとえば、特徴／コントラスト強調、雑音除去、モルフォロジ演算、サイズ変更／スケール変更、及び／又はその変更形態、を含み得る。ローカル予測器１０４は、実行されると入力画像をスキャンする及びシートベルトの一部である入力画像のエリアを予測する、実行可能命令を有する１個又は複数のハードウェア及び／又はソフトウェア計算資源のコレクションでもよい。入力画像１０２は、画素のコレクションを含み得、そこで、入力画像１０２に示されたシートベルトは、複数の画素を占有し得る。任意の所与の画素について、ローカル予測器１０４は、画素及びそれの近隣画素からの情報を使用して、画素がシートベルトに属するか又は背景画素であるかを予測することができる。シートベルトの一部であると判定された画素は、入力画像１０２の前景の一部として識別され得、そして、シートベルトの一部ではないと判定された画素は、入力画像１０２の背景の一部として識別され得る。ローカル予測器１０４は、拘束デバイス（たとえば、シートベルト）を描いた又は他の方法で表す入力画像１０２のエリアを判定するために、入力画像１０２のエリアの初期分類を実行することができる。エリアは、画素、画素のコレクションなどを含み得る。エリアは、互いにごく近接し得る画素のグループ分けを含み得る。エリアは、画像の画素の連続群又は領域を含み得る。

ローカル予測器１０４は、それぞれ、シートベルト又はシートベルト以外を表す、値１によって指示され得る真の結果、又は値０によって指示され得る偽の結果を生成し得る。様々な実施例において、入力画像１０２は、雑音を含み、そして、分類結果は、最初は正しいことも正しくないこともある。一実施例において、４つの可能な事例があるが、同様に付加的事例が存在し得る：（１）画素はシートベルトの一部であり、ローカル予測器１０４は１を返す、真陽性、（２）画素はシートベルトの一部ではなく、ローカル予測器は１を返す、偽陽性、（３）画素はシートベルトの一部であり、ローカル予測器１０４は０を返す、偽陰性、及び（４）画素はシートベルトの一部ではなく、ローカル予測器１０４は０を返す、真陰性。ローカル予測器１０４は、高精度よりも高再現率を優先し得る（たとえば、ローカル予測器１０４は、増加する偽陽性の可能性にかかわらず、偽陰性を減らし得る）。

ローカル予測器１０４は、付加的情報のために近くの近隣画素を使用し得る。入力画像１０２の第ｙ行及び第ｘ列に位置する、入力画像１０２の画素は、ｐ（ｘ，ｙ）、又は任意のその変更形態で示され得る。入力画像１０２の次元は、Ｗ幅、Ｈ高さ、及びＫチャネル（たとえば、カラー画像ではＫ＝３（又は４）、及びグレー画像ではＫ＝１）として示され得る。ｐ（ｘ，ｙ）及びその近隣画素は、セットＳを構成し得、以下の方程式によって示され得るが、任意のその変更形態が、使用され得る：
Ｓ＝｛ｐ_ｉｊ｜ｆ_ｄｉｓｔ（ｐ_ｉｊ，ｐ）≦ε，０＜ｉ≦Ｗ，０＜ｊ≦Ｈ｝（１）、
そこで、ｆ_ｄｉｓｔは、画素距離関数（たとえば、Ｌ_１距離）でもよく、そして、εは、近隣の境界線を決定する閾値でもよい。

一部の実例では、パッチとも称される、近隣形状の候補は、円形、長方形、正方形、及び／又はその変更形態を含む。一実施例では、ローカル予測器１０４は、近隣形状としてそれの中心に位置する候補画素を有する正方形を使用する。正方形の長さは、Ｌ＝２ｋ＋１によって示され得、そこで、ｋ＝１，２，３…であり、そこで、セットＳは、以下の方程式を介して簡略化され得るが、任意のその変更形態が、使用され得る：
Ｓ＝｛ｐ_ｉｊ｜０≦｜ｉ－ｙ｜≦ｋ，０≦｜ｊ－ｘ｜≦ｋ｝（２）。

ローカル予測器１０４は、様々な方向に沿って等方性チェックを行い得る。ローカル予測器１０４は、以下の式によって示され得る、二値予測結果ベクトル

を出力し得るが、任意のその変更形態が、使用され得る：

、そこで、Ｄは、予測するための方向の総数でもよく、θ_０、θ_１、…θ_Ｄ－１は、［０，π）の範囲内の等間隔の角度でもよく、

は、以下の式によって定義され得るが、任意のその変更形態が、使用され得る：

。

ｆ_{ｃｒｉｔｅｒｉａ}（ｘ，ｙ，θ_ｉ）によって示され得る、基準関数は、入力画像１０２及び指定された方向θ_ｉ内の任意の画素ｐ（ｘ，ｙ）について、この方向におけるｐ及びそれの近隣Ｓを使用して生成されたパッチ画像が、シートベルト構成要素であるか否かを判定することができる。ｆ_{ｐｒｅｄｉｃｔｏｒ}（ｘ，ｙ）によって示され得るローカル予測器は、

のスケール関数として定義され得、以下の式によって示され得るが、任意のその変更形態が、使用され得る：

、そこで、

は、異なる方向に割り当てられた重みでもよい。重みは、１個又は複数のエンティティによって着用されるときにシートベルト形状の分布の統計的分析から判定され得る。図２及び図３は、少なくとも１個の実施例による、１個又は複数の目標方向（たとえば、パッチ方向）において１個又は複数の近隣画素を有する１個又は複数の画素のシートベルトの及びシートベルトではないパッチの実例を示す。

図２を参照すると、実例２００は、（ａ）左上に示された、シートベルト・パッチ・サンプル、（ｂ）右上に示された、拡張されたシートベルト・パッチ、（ｃ）左下に示された、シートベルト・パッチ投影曲線、及び（ｄ）右下に示された、平滑化されたシートベルト曲線を含み得る。図２を参照すると、（ｃ）シートベルト・パッチ投影曲線は、（ｂ）拡張されたシートベルト・パッチに対応し得、（ｃ）のｘ軸は、（ｂ）のｘ又は水平値に対応し得、そして、（ｃ）のｙ軸は、（ｂ）の垂直画素列の画素強度の値に対応し得る。特定の画素列の画素強度は、画素強度レベルとも称される、画素列の画素のすべての画素強度の和でもよい。特定の画素の画素強度又は画素強度レベルは、画素の輝度に対応し得る（たとえば、高い強度を有する画素は、白っぽく見え得、低い強度を有する画素は、黒っぽく見え得る）。図２を参照すると、（ｄ）平滑化されたシートベルト曲線は、（ｃ）シートベルト・パッチ投影曲線の平滑化されたバージョンでもよい。たとえば、図２を参照すると、（ｃ）シートベルト・パッチ投影曲線及び（ｄ）平滑化されたシートベルト曲線の２つのピークは、（ｂ）拡張されたシートベルト・パッチの、シートベルトの境界線に対応し得る、白い垂線に対応する。

図３を参照すると、実例３００は、（ｅ）左上に示されたシートベルトではないパッチ・サンプル、（ｆ）右上に示された拡張されたシートベルトではないパッチ、（ｇ）左下に示されたシートベルトではないパッチ投影曲線、及び、（ｈ）右下に示された平滑化されたシートベルトではない曲線を含み得る。図３を参照すると、（ｇ）シートベルトではないパッチ投影曲線は、（ｆ）拡張されたシートベルトではないパッチに対応し得、そこで、（ｇ）のｘ軸は、（ｆ）のｘ又は水平値に対応し得、（ｇ）のｙ軸は、（ｆ）の垂直画素列の画素強度の値に対応し得る。特定の画素列の画素強度は、画素列の画素のすべての画素強度の和でもよい。図３を参照すると、（ｈ）平滑化されたシートベルトではない曲線は、（ｆ）拡張されたシートベルトではないパッチの平滑化されたバージョンでもよい。

図２及び図３は、潜在的シートベルトの及びシートベルトではないパッチ／曲線の実例を示し、シートベルトの及び／又はシートベルトではないパッチ／曲線は、その任意の変更形態でもよい、ということに留意されたい。シートベルト・パッチ・サンプルは、１個又は複数のシートベルトを示し得る画像（たとえば、入力画像１０２）の任意のパッチ又は領域に対応し得、対応するシートベルト・パッチ曲線は、シートベルト・パッチ・サンプルに少なくとも部分的に基づく任意の適切な形状を有し得る。

様々な情報は、図２及び図３から決定され得る。一事例において、シートベルトの端は、パッチのスケールに基づいてパッチ方向において２つのほぼ平行な線を生成し得る（たとえば、パッチが十分小さい場合）ので、構造化された端が観測され、そこでは、カメラ－シートベルトの相対的幾何学的関係に基づいて、構造化された端は、端の間の距離範囲、及びその変更形態に関してパラメータ化され得る。

シートベルトは、様々な色、たとえば、黒、灰色、黄褐色など、であり得るので、強度及び／又は飽和領域もまた、観測され得、そこでは、画素値は、様々な環境の変化（たとえば、照明）とともに変化し得るが、シートベルト画素値は、いくつかの強度範囲を有し得る（たとえば、シートベルト画素は、純白であることはめったにない）。

一実施例において、シートベルトは、ベルトに沿って類似の質感を有し得るので、表面の滑らかさもまた、観測され、そこで、様々なシートベルト領域内の画素は、滑らかさに関して限られた多様性を有し得る。

一実施例において、ｆ_{ｓｔｒｕｃｔｕｒｅ}、ｆ_{ｉｎｔｅｎｓｉｔｙ}、及びｆ_{ｓｍｏｏｔｈｎｅｓｓ}は、以下のように二値関数として示される：
ｆ_{ｃｒｉｔｅｒｉａ}（ｘ，ｙ，θ_ｉ）＝ｆ_{ｓｔｒｕｃｔｕｒｅ}（ｘ，ｙ，θ_ｉ）∩ｆ_{ｉｎｔｅｎｓｉｔｙ}（ｘ，ｙ，θ_ｉ）∩ｆ_{ｓｍｏｏｔｈｎｅｓｓ}（ｘ，ｙ，θ_ｉ）（６）。
構造基準ｆ_{ｓｔｒｕｃｔｕｒｅ}は、画素の近隣内のシートベルト境界線の平行な端をどのように表すかとして定義され得る、タスクに関して特徴付けられ得る。ローカル予測器１０４は、候補シートベルト端を識別及びローカライズし、候補シートベルト端を使用してシートベルトの画素をシートベルトではない画素（たとえば、雑音）と区別することができる。

シートベルト・パッチは、１個又は複数の方向を有し得、各パッチについて、ローカル予測器１０４は、パッチ方向に沿ってシートベルト境界線が存在するかどうかを判定することができる。パッチ方向は、範囲［０，π）内のＤカテゴリへと等間隔にされ得（たとえば、式（３）において示されるように）、そこでは、シートベルトがどのように向けられているかにかかわらず、それの向きは、カテゴリのうちの１個に分類され得る。所与のパッチ方向θ_ｉについて、ローカル予測器１０４は、θ_ｉと平行なシートベルト端があるかどうかを確認することができる。ローカル予測器１０４は、任意の適切な方向におけるシートベルト・パッチ、及びシートベルトの方向に沿ったシートベルトの境界線を判定することができる。

図４は、少なくとも１個の実施例による、シートベルト・パッチ・ジオメトリの実例４００を示す。シートベルト・パッチ・ジオメトリは、特定のシートベルト・パッチの１個又は複数のジオメトリ又は幾何学的特徴、たとえば、パッチ方向、角度、向き、サイズ、境界線など、を指し得る。図４は、潜在的シートベルト・パッチ・ジオメトリの実例を示し、シートベルト・パッチ・ジオメトリは、任意のその変更形態でもよい、ということに留意されたい。シートベルト・パッチは、１個又は複数のシートベルトを示し得る画像（たとえば、入力画像１０２）の任意のパッチ又は領域に対応し得、対応するシートベルト・パッチ・ジオメトリは、シートベルト・パッチの形状又はジオメトリに少なくとも部分的に基づく任意の適切なジオメトリを有し得る。図４を参照すると、画素ｐ（ｘ，ｙ）の周りに生成されたパッチ内の各画素（ｉ，ｊ）について、画素（ｘ’，ｙ’）からの値は、以下の式を使用して、画像（たとえば、入力画像１０２）から取得され得るが、任意のその変更形態が、使用され得る：

、そこで、ｉ＝１、２、…、Ｌ及びｊ＝１、２、…、Ｌである。

ローカル予測器１０４は、１個又は複数の式、たとえば、前述のような式（７）、を使用してシートベルトのパッチ及び／又はシートベルトではないパッチを取得し得る。ローカル予測器１０４は、パッチが構造化された端のペアを有するか否かを判定することができる。パッチの端は、各行内の同位置における突然の画素強度の変化を有する位置合わせした画素行の１個又は複数の連続でもよい。その変化は、画素強度インクリメント又はデクリメントでもよい。突然の変化のインデックスは、線が位置し得る場所になり得る。一部の実例では、２つの平行線の一事例において、パッチは、構造化された端を有する。

ローカル予測器１０４は、２次元（２Ｄ）勾配演算を使用して突然の強度変化の大きさをキャプチャし、パッチ方向に沿って累積してシートベルト端を背景雑音と区別することができる。ｆ_{ｐａｔｃｈ}（ｘ，ｙ，θ，ｊ）は、投影後の結果として生じた曲線として定義され得、以下の式によって示され得るが、任意のその変更形態が、使用され得る：

、そこで、ｊは、可変インデックス作成パッチ列でもよく、ｉは、行インデックスでもよく、ｆ（ｘ，ｙ，θ，ｉ，ｊ）は、パッチ強度関数でもよい。図２の（ｃ）及び図３の（ｇ）は、曲線の実例を示し得る。

曲線は、様々な摂動、たとえば、照明の変化、並びに他の雑音の影響を受け得る。ローカル予測器１０４は、サビツキ－ゴーレイ（Ｓａｖｔｚｓｋｙ－Ｇｏｌａｙ）アルゴリズムなどのアルゴリズムを適用して、さらなる処理のために曲線を滑らかにすることができる。ｆ’_{ｐａｔｃｈ}（ｘ，ｙ，θ，ｊ）は、フィルタ処理された曲線として定義され得、以下の式によって示され得るが、任意のその変更形態が、使用され得る：

、そこで、ｔは、畳み込み係数の数でもよく、Ｃ_ｋは、それぞれの係数でもよい。図２の（ｄ）及び図３の（ｈ）は、フィルタ処理された曲線の実例を示し得る。

構造化された端を有するシートベルト・パッチは、図５に示されたものに類似するフィルタ処理された曲線パターンを有し得るが、シートベルトではないパッチは、ランダム曲線を有し得る。ローカル予測器１０４は、曲線から様々な特性を抽出してシートベルト・パターン、たとえば、端の間の距離ｄ_{ｅｄｇｅｓ}及びピーク値差ｄ_{ｐｅａｋｓ}、を認識することができる。一実施例では、ｆ_{ｓｔｒｕｃｔｕｒｅ}（ｘ，ｙ，θ_ｉ）は、以下の式によって定義されるが、任意のその変更形態が、使用され得る：

。ローカル予測器１０４は、任意の所与の曲線の２つのピーク値（たとえば、ｐｅａｋ_ｌｅｆｔ及びｐｅａｋ_{ｒｉｇｈｔ}）と、それらのそれぞれのインデックス（たとえば、ｉｄｘ_ｌｅｆｔ及びｉｄｘ_{ｒｉｇｈｔ}）とを識別してｄ_{ｅｄｇｅｓ}及びｄ_{ｐｅａｋｓ}を判定することができる。

図５は、少なくとも１個の実施例による、構造化された端のローカリゼーションの実例５００を示す。実例５００は、シートベルト・パッチ曲線からのシートベルトの端の判定、たとえば、図２及び図３に示されているもの、を示す。図５は、シートベルト・パッチ曲線からの構造化された端の潜在的ローカリゼーションの一実例を示しており、シートベルト・パッチ曲線からの構造化された端のローカリゼーションは、任意のその変更形態でもよい、ということに留意されたい。シートベルト・パッチ曲線は、１個又は複数のシートベルトを示し得る、画像（たとえば、入力画像１０２）の任意の適切なパッチ又は領域に対応し得、シートベルト・パッチ曲線からの構造化された端の対応するローカリゼーションは、シートベルト・パッチ曲線に少なくとも部分的に基づく任意の適切な端又は特徴を示し得る。

図５を参照すると、特定の曲線内の２つの最も大きい点は、最も高いピークの近くに位置し得るので、その選択は、不正確なことがあるため、ローカル予測器１０４は、特定の曲線内の２つの最も大きい点を選択することもしないこともある。図５を参照すると、曲線が、２つの部分に切り込む場合、２つのピークは、分離され得、両方のピークは、各点を横切って最大点を見つけることによってローカル予測器１０４によって取得され得る。１次元の２クラスの分類タスクが、ｉｄｘ_{ｏｐｔｉｍａｌ}によって示された、最適な切り取り場所の発見を介して、使用され得る。クラス間距離は、以下の式によって定義され得る、ｉｄｘ_{ｏｐｔｉｍａｌ}に関して最大化され得るが、任意のその変更形態が、使用され得る：

、そこでは、一実施例では、

、

、及び

である。

ローカル予測器１０４は、ｉｄｘ_{ｏｐｔｉｍａｌ}を少なくとも決定することによって、非線形最適化タスクを解決することができる。ローカル予測器１０４は、［１，ｉｄｘ_{ｏｐｔｉｍａｌ}］及び（ｉｄｘ_{ｏｐｔｉｍａｌ}，Ｌ］において最大要素の場所を捜すことによってｉｄｘ_ｌｅｆｔ及びｉｄｘ_{ｒｉｇｈｔ}を計算することができる。それらのそれぞれの関数値は、ｐｅａｋ_ｌｅｆｔ及びｐｅａｋ_{ｒｉｇｈｔ}になり得る。

シートベルト画素強度は、様々な環境照明に応答して異なる及び変化することが可能である。環境照明は、車両の車内灯などの様々な光源を含み得る。ローカル予測器１０４は、画素の強度分布を学習することができる。δ_ｍｉｎ及びδ_ｍａｘは、シートベルト・ローカリゼーション事例の下界及び上界としてセットされ得る。ｆ_{ｐａｔｃｈ}（ｘ，ｙ，θ）の加重強度は、ｄ_{ｉｎｔｅｎｓｉｔｙ}として示され得、以下の式を介して計算され得るが、任意のその変更形態が、使用され得る：

、そこでは、

は、シートベルト・パッチ内の各画素に割り当てられたガウス配分重量になり得る。

一実施例において、ｆ_{ｉｎｔｅｎｓｉｔｙ}は、以下の式によって定義されるが、任意のその変更形態が、使用され得る：

。

様々な実施例では、シートベルト表面は、最小限の強度変化を有して滑らかである。強度分散が、滑らかさを評価するための基準として関心領域ω内で使用され得る。一実施例では、ｄ_{ｓｍｏｏｔｈｎｅｓｓ}は、以下の方によって定義されるが、任意のその変更形態が、使用され得る：

。
一実施例では、ｆ_{ｓｍｏｏｔｈｎｅｓｓ}は、以下の式によって定義されるが、任意のその変更形態が、使用され得る：

。

ローカル予測器１０４は、入力画像１０２において示されたシートベルトに潜在的に対応し得る入力画像１０２の１個又は複数の画素の１個又は複数の指示を含み得る、画素候補１０６を出力し得る。画素候補１０６は、画素候補１０６から不的確な候補を取り除く及び適格のシートベルト画素候補を選択的にまとめることができる、グローバル・アセンブラ１０８に入力され得る。

グローバル・アセンブラ１０８は、実行されると、形状及び位置などのシートベルト属性に基づいて偽陽性を取り除くことによって陽性シートベルト部分候補をまとめる、実行可能命令を有する１個又は複数のハードウェア及び／又はソフトウェア計算資源のコレクションでもよい。グローバル・アセンブラ１０８は、１セットの制約を画素候補１０６に適用して画素候補１０６を絞り込んで適格の画素候補１１４を取得することができる。１セットの制約は、入力画像１０２をキャプチャしたカメラのパラメータ（たとえば、カメラ・レンズ寸法、焦点、主点、歪みパラメータ）、標準シートベルト寸法範囲（たとえば、幅及び／又は長さの範囲）、標準シートベルト特徴及び／又はパラメータ（たとえば、標準シートベルト色、材料）、車両パラメータ（たとえば、車両レイアウト、車両構成要素）などの特徴を含み得る。そのセットの制約を固守しない又は他の方法でそれに従わない画素候補１０６の画素候補が、取り除かれて適格の画素候補１１４を決定し得る（たとえば、標準シートベルト幅範囲より有意に長い幅を有するシートベルトを示す画素候補は、取り除かれ得る）ように、グローバル・アセンブラ１０８は、１セットの制約を画素候補１０６に適用することができる。

グローバル・アセンブラ１０８は、自動位置マスク生成１１０及び幅範囲推定１１２を含み得る。自動位置マスク生成１１０は、１個又は複数のシートベルトを示す入力画像１０２などの画像の１個又は複数の画像マスクを生成する実行可能命令を有する１個又は複数のハードウェア及び／又はソフトウェア計算資源のコレクションでもよい。幅範囲推定１１２は、画像、たとえば、入力画像１０２、に示されたシートベルトの幅の範囲を推定する、実行可能命令を有する１個又は複数のハードウェア及び／又はソフトウェア計算資源のコレクションでもよい。

一実施例では、３点シートベルトについて、シートベルトは、点と称される３つのアンカーを有する：Ａ_ｔｒによって示された右上のアンカー、Ａ_ｂｌによって示された左下のアンカー、及び、Ａ_ｂｒによって示された右下のアンカー。右上のアンカー並びに右下のアンカーから来るベルトは、バックルを使用して左下のアンカーに挿入され得る。右上のアンカー及び右下のアンカーに関連する本明細書に記載の技法は、右下のアンカーに、左下のアンカーに、又は任意の適切な拘束デバイスのアンカーに同様に適用され得る。一部の実施例では、シートベルトのアンカーは、動かせる。すなわち、たとえば、３点シートベルトの１個又は複数のシートベルト・アンカーは、様々な方向に調整され、回転され、及び／又は肩書を有し得る。一部の実施例では、１個又は複数のシートベルト・アンカーは、特定の角度への傾きを介して調整される。一部の事例では、シートベルト・アンカーは、旅客車両の側部ドアに取り付けられた取付板に接続される。シートベルト・アンカーは、取付板に対して移動され得る（たとえば、上に、下に、左に、又は右にスライドさせることによって）。

スプリングを使用してベルトを締めるためのアンカー内部の一定力が存在し得、固定カメラを介して観測されるシートベルト画素の位置分布は、制限されたエリア内に存在し得る。一部の実例では、グローバル・アセンブラ１０８は、シートベルト画素の位置分布を学習する様々なマシン学習アルゴリズムを含む。様々な実施例では、シートベルトは、一般に、車両システム（たとえば、娯楽システム、運転手補助システム）内のハンドル又はその他の上に現れない。一部の実例では、画像フレーム内のシートベルト幅の範囲は、シートベルト候補をフィルタリングするためにグローバル・アセンブラ１０８によって推定される。グローバル・アセンブラ１０８は、フレーム内の複数のシートベルトを処理し得る。一部の実施例では、グローバル・アセンブラ１０８の１個又は複数のプロセスが、アルゴリズム・レベル並列化を使用して、並行して実行される。アルゴリズム・レベル並列化は、並行して実行され得るプロセス（たとえば、シートベルト・ローカリゼーションのためのシステムによって実行されるプロセス又は動作）が、先ず識別され、次いで並行に実行される、プロセスを指し得る。グローバル・アセンブラ１０８は、様々な最適化技法、たとえば、画像ダウンサンプリング、画素ステップ調整、角度サンプリングなど、を実行し得る。

自動位置マスク生成１１０は、画像、たとえば、入力画像１０２、内のシートベルトの位置の可視指示でもよい、シートベルト位置マスクを生成することができる。自動位置マスク生成１１０は、カメラ、たとえば、入力画像１０２をキャプチャしたカメラ、の１個又は複数の態様を分析することができる１個又は複数のソフトウェア・プログラムを含み得る。自動位置マスク生成１１０は、カメラの様々な構成を分析してシートベルト位置マスク、たとえば、カメラのキャリブレーション、カメラ姿勢、カメラ・レンズのタイプなど、を生成することができる。自動位置マスク生成１１０は、カメラ・キャリブレーション、カメラ・ローカリゼーション、及び３Ｄ再構成を実行することができる１個又は複数の構成要素を含み得る。カメラ・キャリブレーションは、カメラ（たとえば、赤外線（ＩＲ）カメラ、ＲＧＢ（ｒｅｄ－ｇｒｅｅｎ－ｂｌｕｅ）カメラ、カラー・カメラなど）のキャリブレーションを行うことができる及びカメラの内部属性、たとえば、焦点レンズ、主点、又は歪みのないパラメータ、を処理することによってカメラからの画像を処理することができる１個又は複数の関数及び／又はプロセスを含み得る。カメラ・ローカリゼーションは、所定のワールド座標系においてカメラの６つの自由度（６ＤＯＦ）位置情報を提供することができる１個又は複数の関数及び／又はプロセスを含み得る。３Ｄ再構成は、エンコードされたタグの使用を介して３Ｄ空間において任意の点の座標を判定することができる１個又は複数の関数及び／又はプロセスを含み得る。カメラ・ローカリゼーションは、車両座標系に関するカメラの６ＤＯＦ姿勢を判定することができる、及びカメラ座標系内のシートベルト・アンカーの座標又は場所を取得することができる、プロセスを含み得る。カメラ・ローカリゼーションは、車両の１個又は複数のモデルを使用してシートベルト・アンカーの座標又は場所を判定することができる。３Ｄ再構成は、シートベルト・アンカーとカメラ座標系との間の相対的関係を計算することができるプロセスを含み得る。

一実施例において、カメラ（たとえば、入力画像１０２をキャプチャするカメラ）は、本質的パラメータＫ、及び付帯的パラメータＲ及びＴでキャリブレーションされる。シートベルトは、Ａ_ｔｒ（Ｘ_ｔｒ，Ｙ_ｔｒ，Ｚ_ｔｒ）及びＡ_ｂｌ（Ｘ_ｂｌ，Ｙ_ｂｌ，Ｚ_ｂｌ）によって示されたアンカーを有し得る。自動位置マスク生成１１０は、画像座標系内の、アンカーの場所と称される、アンカーの対応座標を取得することができる。一実施例では、アンカーの画像の場所は、Ａ_ｉ（ｘ_ｉ，ｙ_ｉ）、ｉ＝ｔｒ、ｂｌによって示されるが、そこでは、以下の式の任意のその変更形態が、使用され得る：

、
そこで、ｓは倍率でもよく、ｉはｔｒ、ｂｌに対応し得る。

シートベルトの位置分布の大多数は、長い軸の端として２つのアンカーを使用する楕円に入り得る。一実施例では、長軸の距離は、ｄ_{ｍａｊｏｒ}によって示され、以下の式によって定義され得るが、任意のその変更形態が、使用され得る：

。

自動位置マスク生成１１０は、様々なシートベルトを締めるプロセスを分析することができる１個又は複数のマシン学習アルゴリズムを介して短軸距離を取得することができる。一実施例では、短軸距離は、ｄ_{ｍｉｎｏｒ}によって示され、セット位置マスクは、Ｓ_{ｌｏｃａｔｉｏｎ}によって示され、それは、以下の式によって定義されるが、任意のその変更形態が、使用され得る：

。点は、楕円ローカル座標系において定義され得、そこで、原点０_{ｅｌｌｉｐｓｅ}は、画像座標

を有するセグメントＡ_ｂｌＡ_ｔｒの中点にあってもよく、ｘ軸は、Ａ_ｂｌからＡ_ｔｒまでの点でもよく、ｙ軸は、ｘ軸の９０度の時計回り回転を介して取得され得る。画像座標内の対応する座標は、（ｘ_{ｇｌｏｂａｌ}，ｙ_{ｇｌｏｂａｌ}）によって示すことができ、そこでは：

、但し、

である。自動位置マスク生成１１０は、画像座標において位置マスクＳ_{ｌｏｃａｔｉｏｎ}を取得することができる。マスクの外のローカル予測器１０４によって生成されたシートベルト画素候補は、省略され得る。

幅範囲推定１１２は、画像（たとえば、入力画像１０２）のシートベルトの、幅サイズとも称される、幅の範囲を推定することができる。シートベルト標準幅は、４６～４９ｍｍの範囲（たとえば、５．０８ｃｍ（２インチ））になり得、そこで、ほとんどのベルトは、概して、約４７ｍｍ、又は任意の適切な範囲の任意の適切な値になり得る。画像のシートベルトの幅は、シートベルトの姿勢に依存し得る。ベルトが、カメラ撮像センサと平行である又はカメラの方へ伸ばされた場合、シートベルト幅は、増え得る。ベルト表面が、画像センサと直角を成す又はカメラからさらに離れる場合、シートベルト幅は、減り得る。シートベルト幅の下限τ_ｍｉｎは、１個又は複数の感度要件に少なくとも部分的に基づいて、セットされ得る。一実施例では、τ_ｍｉｎは、雑音パターンを含むことを避けるために、τ_ｍａｘの半分にセットされる。

一実施例において、２つのアンカーの中央にあるシートベルト点は、Ｐ_ｓ（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）によって示され、シートベルト標準幅は、ｄ_ｓｔｄによって示され、そこで、Ｓ_ｐａｉｒによって示される、別の端の可能な対応点は、以下の式によって定義されるが、任意のその変更形態が、使用され得る：

。

普通の乗客の腕の距離は、ｄ_ａｒｍによって示され得、そこでは、乗客がベルトを握り、カメラに向けてベルトを押すとき、最大幅τ_ｍａｘが生じ得る。一実施例では、新しいシートベルト点座標セットは、Ｓ_ｎｅｗによって示され、以下の式によって定義されるが、任意のその変更形態が、使用され得る：

。

幅範囲推定１１２は、新しい点の場所のエンベロープを抽出し、幅の上界τ_ｍａｘを推定することができる。シートベルト幅が、構造化された端の閾値を決定するために使用され得、τ_ｍａｘより大きいことを必要とされ得るパッチ・サイズＬを決定するために使用され得る。グローバル・アセンブラ１０８は、単一画像内の複数のシートベルトの位置を決定するために使用され得る。グローバル・アセンブラ１０８は、各シートベルト領域の位置マスクを生成することができる。

グローバル・アセンブラ１０８は、１個又は複数のグラフィックス処理装置（ＧＰＵ）を使用して画像（たとえば、入力画像１０２）を処理することができる。グローバル・アセンブラ１０８は、１個又は複数のＧＰＵの複数のスレッドを使用して複数のパッチを同時に処理することができる。グローバル・アセンブラ１０８は、１個又は複数のＧＰＵの作業ストリームを使用してシートベルト領域を並行して処理することができる。グローバル・アセンブラ１０８は、１個又は複数のＧＰＵの１個又は複数のスレッドを並行して又は同時に使用して画像の１個又は複数のエリアを処理することができる。グローバル・アセンブラ１０８は、複数のフレームの処理を１個又は複数のＧＰＵの異なる計算ユニットに割り当ててフレーム・レベル加速を達成することができる。グローバル・アセンブラ１０８は、入力画像をダウンサンプリングして入力画像の処理における計算資源の使用を減らすことができる。グローバル・アセンブラ１０８は、他の方法で又は画像の画素ごとの横断に加えて、複数の異なる方向で画像（たとえば、入力画像１０２）を処理することができる。グローバル・アセンブラ１０８は、パッチ方向角度の離散化を調整して計算資源の使用を減らすことができる。グローバル・アセンブラ１０８は、入力画像１０２に示された１個又は複数のシートベルトに対応する入力画像１０２の画素を含み得る、適格の画素候補１１４をまとめる又は他の方法で決定することができる。

適格の画素候補１１４は、各シートベルト関心領域のシートベルトの画素候補のセットを含み得る。適格の画素候補１１４はまた、候補画素、画素候補、候補、及び／又はその変更形態として参照され得る。形状モデラ１１６は、実行されるとグローバル・アセンブラ１０８からの出力（たとえば、適格の画素候補１１４）に基づいて幾何学的シートベルト形状モデルを構築し、入力画像上にモデルをマップする、実行可能命令を有する１個又は複数のハードウェア及び／又はソフトウェア計算資源のコレクションでもよい。形状モデラ１１６は、適格の画素候補１１４から雑音候補を取り除き、シートベルト形状をモデル化することができる。

一実施例では、ローカル予測器１０４からの候補のセットは、Ｓ_{ｐｒｅｄｉｃｔｏｒ}によって示され、位置マスクは、Ｓ_{ｌｏｃａｔｉｏｎ}によって示され、そこで、Ｓ_{ｐｒｅｄｉｃｔｏｒ}内の形状モデル化Ｓ_{ｍｏｄｅｌｉｎｇ}の候補は、以下の式によって定義されるが、任意のその変更形態が、使用され得る：
Ｓ_{ｍｏｄｅｌｉｎｇ}＝｛（ｘ，ｙ）｜（ｘ，ｙ）∈Ｓ_{ｌｏｃａｔｉｏｎ}＆＆ｆ_{ｐｒｅｄｉｃｔｏｒ}（ｘ，ｙ）≧γ_ｐｒｅ｝（２２）、
そこで、γ_ｐｒｅは、パッチ方向の総数に比例し得る、応答数を予測するための閾値になり得る。

形状モデラ１１６は、高次多項式曲線を介してシートベルトの形状をモデル化することができる。高次多項式曲線は、２より高い次数を有する多項式曲線を指し得る。形状モデラ１１６は、任意の適切な次数の多項式曲線を介してシートベルトの形状をモデル化することができる。多項式曲線の次数は、シートベルトの形状の複雑性に対応し得、より高い次数はより複雑な形状（たとえば、よく多くの曲線、振動などを有する形状）に対応し得る。一部の実例では、乗客は、運転しながらシートベルトを押しのけることができ、それは、ｘ軸に沿った様々な場所、複数のｙ値、をもたらし、これは、適用不可能な多項式モデルをもたらし得る。一実施例では、形状モデラ１１６は、以下の式を介してグローバル画像座標をアンカー・ローカル座標系に変換するが、任意のその変更形態が、使用され得る：

。

図６は、少なくとも１個の実施例による、候補マップの実例６００を示す。実例６００は、グローバル画像座標からアンカー・ローカル座標系への変換の後の候補マップを示し得る。図６は、潜在的候補及び候補への曲線適合の一実例を示し、候補及び適合曲線は、任意のその変更形態でもよい、ということに留意されたい。潜在的候補は、１個又は複数のシートベルトを示し得る画像（たとえば、入力画像１０２）の画素の任意の適切な画素又は領域に対応し得、潜在的候補への対応する曲線適合は、任意の適切なシートベルト形状を指示し得る。

実例６００は、シートベルトの候補画素とシートベルトの形状に対応する候補画素への曲線（たとえば、高次多項式曲線）適合とを示し得る。様々なユーザが、様々な形状にシートベルトを伸ばし得るので、シートベルトの形状をモデル化するための高次多項式回帰が、使用され得る。一実施例では、観測された点は、（ｘ_ｉ，ｙ_ｉ）によって示され、そこで、ｙ_ｉは以下の式に対応するが、任意のその変更形態が、使用され得る：

、そこで、β_０、β_１、β_２…β_Ｎは、係数でもよく、Ｎは、多項式次数でもよい。多項式曲線が、シートベルトの形状に対応する又はそれを近似するように、多項式曲線の係数が、決定され得る。

形状モデラ１１６は、雑音を減らすための様々なアルゴリズム、たとえば、Ｍ推定器サンプル・コンセンサス（ＭＳＡＣ：Ｍ－ｅｓｔｉｍａｔｏｒｓａｍｐｌｅｃｏｎｓｅｎｓｕｓ）アルゴリズム、を使用することができる。形状モデラ１１６は、視覚化のためにグローバル画像面に曲線を変換することができる。形状モデラ１１６は、シートベルトの形状及び／又は場所を少なくとも近似するシートベルトを示す画像（たとえば、入力画像１０２）からシートベルト形状のモデルを決定することができる。形状モデラ１１６はさらに、画像（たとえば、入力画像１０２）において識別されたシートベルトが正しく適用されているかを判定することができる。一部の実例では、形状モデラ１１６は、モデルに基づいてシートベルトが正しく適用されているかを推測するようにトレーニングされた１個又は複数のニューラル・ネットワークにシートベルトのモデルを提供する。１個又は複数のニューラル・ネットワークは、形状モデラ１１６から取得されたシートベルト・モデルに基づいて、シートベルトが正しく適用されているかを判定し、形状モデラ１１６にシートベルトが正しく適用されているかどうかの指示を提供することができる。形状モデラ１１６は、モデル化された入力画像１１８として、モデル化されたシートベルト形状並びにモデル化されたシートベルト形状に対応するシートベルトが正しく適用されているかを視覚化することができる。一実施例では、モデル化された入力画像１１８は、視覚化されたシートベルト形状のモデルを有する入力画像１０２である。モデル化された入力画像１１８は、１個又は複数の視覚化を介して指示された入力画像１０２のシートベルトの位置及び形状、たとえば、シートベルトの視覚境界など、を有する入力画像１０２を示し得る。モデル化された入力画像１１８はさらに、シートベルトが着用された及び／又は正しく適用されたかを指示し得る１個又は複数の視覚化を含み得る。

たとえば、図１を参照すると、モデル化された入力画像１１８は、シートベルトの視覚境界と、シートベルトが着用され正しく適用されているという、「シートベルト：オン」によって示された、指示とを含む。シートベルトが着用され正しく適用されているという指示は、様々な方法、たとえば、「シートベルト：オン」、「シートベルト：適用済み」など、で表示され得る。シートベルトは着用されているが不正確に適用されているという指示は、様々な方法、たとえば、「シートベルト：オフ」、「シートベルト：不正確」など、で表示され得る。シートベルトは着用されていないという指示は、様々な方法、たとえば、「シートベルト：オフ」、「シートベルト：不適用」など、で表示され得る。正しく適用されている又は適切な場所にあるシートベルトは、ロック位置にあり、乗員の胸を対角線的に横断して着用されたシートベルトでもよい。不正確に適用された又は不適切な場所にあるシートベルトは、正しく適用されていない又は適切な場所にないシートベルトでもよい。

シートベルト・ローカリゼーションのためのシステムは、車両の１個又は複数のシステムにシートベルトのモデル並びにシートベルトが正しく適用されているかの指示を提供することができる。一部の実例では、シートベルト・ローカリゼーションのためのシステムは、１個又は複数のコンピュータ・サーバを実行しており、そこでは、シートベルトのモデルとシートベルトが正しく適用されているかの指示とが、１個又は複数の通信ネットワークを介して、車両の１個又は複数のシステムに提供される。車両のシステムは、シートベルトのモデル及びシートベルトが正しく適用されているかの指示の取得の結果として様々なアクションを実行することができる。車両のシステムは、シートベルトが着用されていない又は着用されているが不正確に適用されている場合に、警告指示を提供することができる。警告指示は、警告音などの音声指示、警告灯などの可視指示、警告振動などの物理的指示などでもよい。車両のシステムは、シートベルトが着用されていない又は着用されているが不正確に適用されている場合に、車両の１個又は複数の推進システムに車両の推進を中止又は停止させることができる。車両のシステムは、シートベルトが着用されていない又は着用されているが不正確に適用されている場合に、様々なシステム（たとえば、安全監視システム）に１個又は複数のネットワークを介して指示を提供することができる。

シートベルト・ローカリゼーションのためのシステムは、受動システムでもよい。本システムは、シートベルトの１個又は複数の画像から車両の乗員のシートベルトを検出するために車両の既存のシステムへの修正を必要としないことが可能である。本システムは、車両の１個又は複数のセンサからの入力或いは車両の１個又は複数のシステムへの修正を必要としない検出を指し得る、シートベルトの受動的検出が可能である（たとえば、本システムは、車両のシートベルトが識別マークを有することを必要としなくてもよい）。シートベルト・ローカリゼーションのためのシステムは、複数の画像から決定されたモデルを結合して最終シートベルト・モデルを決定することができる。一部の実例では、シートベルト・ローカリゼーションのためのシステムは、乗員及び対応するシートベルトを示す１セットの画像から１セットのシートベルトをローカライズ及びモデル化し、そこで、システムは、モデルを結合して乗員の対応するシートベルトの最終シートベルト・モデルを決定する。シートベルト・ローカリゼーションのためのシステムは、最終シートベルト・モデルの信頼性が高められるように、決定されたシートベルト・モデルを共に結合又は他の方法で増強して最終シートベルト・モデルを決定する。シートベルト・ローカリゼーションのためのシステムは、シートベルト・モデル間の類似性及び差を評価して最終シートベルト・モデルを決定することによって、シートベルト・モデルを結合することができる。シートベルト・ローカリゼーションのためのシステムは、１個又は複数の画像から行われた推定を結合して最終シートベルト・モデルを決定し、最終シートベルト・モデルの信頼性を高めることができる。

一部の実例では、シートベルト・ローカリゼーションのためのシステムが、１個又は複数のアクティブなシートベルト検出システムと併せて使用され得る。アクティブなシートベルト検出システムは、車両のシートベルトを直接検出及びローカライズするために使用される車両の１個又は複数のシステムを指し得る。アクティブなシートベルト検出システムは、シートベルトを検出及びローカライズするための様々なセンサ、たとえば、圧力センサ、重量センサ、運動センサ、又は他のセンサ、の使用を含み得、車両の既存のシステムへの修正を必要とし得る（たとえば、アクティブなシートベルト検出システムは、車両のシートベルトが識別マークを有することを必要とし得る）。シートベルト・ローカリゼーションのためのシステムは、シートベルトをローカライズし、１個又は複数のアクティブなシートベルト検出システムからの入力を使用して、ローカライズされたシートベルトが正しく決定されたことを検証することができる。別法として、本システムは、１個又は複数のアクティブなシートベルト検出システムからローカライズされたシートベルトの１個又は複数のモデルを受信し、１個又は複数の画像を介してシートベルトをローカライズして、ローカライズされたシートベルトの１個又は複数のモデルが正しく決定されたことを検証することができる。本システムは、１個又は複数の車両システム、たとえば、アクティブなシートベルト検出システム、から入力を受信又は取得してシートベルトをローカライズすることができる。たとえば、シートベルト・ローカリゼーションのためのシステムは、車両のセンサ、たとえば、圧力センサ・データ、重量センサ・データ、運動センサ・データなど、からデータを取得し、前述の技法に関してデータを使用して車両内のシートベルトの画像からシートベルトをローカライズ及びモデル化する。センサ・データは、画素候補をフィルタリングするための制約を決定するために使用され得る（たとえば、センサ・データは、センサ・データによって提供された情報に準拠しない画素候補の不的確な候補を取り除くために使用され得る、シートベルトの場所又は位置を示す情報を提供することができる）。

シートベルト・ローカリゼーションのためのシステムは、パッチ・マッチング及びパッチ精緻化プロセス、たとえば、前述のもの及び／又は様々なアルゴリズム、たとえば、パッチ・マッチ・アルゴリズム、混合分解能パッチ・マッチング（ＭＲＰＭ：ｍｉｘｅｄ－ｒｅｓｏｌｕｔｉｏｎｐａｔｃｈ－ｍａｔｃｈｉｎｇ）アルゴリズム、及び／又はその変更形態、を介してシートベルトをローカライズする及びモデル化することができる。パッチ・マッチング・プロセスは、１個又は複数のニューラル・ネットワークへの入力として画像パッチを取得してパッチ特性を抽出し、パッチの類似点を評価することができる。シートベルト・ローカリゼーションのためのシステムは、シートベルト・パッチの特性、特徴、動きなどを定義する又は他の方法で提供され、様々なパッチ・マッチング・プロセスを使用して推定シートベルト・パッチを構築し、推定シートベルト・パッチを精緻化して最終シートベルト・モデルを決定することができる。パッチ・マッチングは、空間及び／又は時間次元上でもよい。

図７は、少なくとも１個の実施例による、複数のシートベルト・ローカリゼーションの実例７００を示す。入力画像７０２、シートベルト・ローカライザ７０４、及びモデル化された入力画像７０６は、図１～６に関して説明されたものに従い得る。シートベルト・ローカライザ７０４は、実行されると１個又は複数の画像から１個又は複数の拘束デバイスをモデル化する実行可能命令を有する１個又は複数のハードウェア及び／又はソフトウェア計算資源のコレクションでもよい。シートベルト・ローカライザ７０４は、入力画像７０２を取得又は他の方法で受信し、拘束デバイス（たとえば、シートベルト）を表す入力画像７０２のエリアの初期分類を実行し、１セットの制約を入力画像７０２のエリアに適用して初期分類を精緻化して精緻化された分類を取得し、精緻化された分類に少なくとも部分的に基づいて拘束デバイスのモデルを生成することができる。シートベルト・ローカライザ７０４は、画像（たとえば、入力画像７０２）に示された複数のシートベルトを識別及びモデル化することができる。

図７を参照すると、入力画像７０２は、車両の内部にある１個又は複数のカメラからキャプチャされた画像でもよい。入力画像７０２は、左側に示され得る、乗客、及び、右側に示され得る、運転手を含む、車両の乗員を示し得る。入力画像７０２は、シートベルトを正しく着用している乗客と、シートベルトを正しく着用している運転手とを示し得る。シートベルト・ローカライザ７０４は、入力画像７０２を分析して入力画像７０２のシートベルトを識別及びモデル化することができる。シートベルト・ローカライザ７０４は、モデル化された入力画像７０６を介して、モデル化されたシートベルトを視覚化することができる。

図７を参照すると、モデル化された入力画像７０６は、シートベルト及び指示されたシートベルト状況（たとえば、向き／場所）を有する入力画像７０２を示し得る。シートベルト・ローカライザ７０４は、入力画像７０２に示された乗客に関して、初期分類を実行し、初期分類を精緻化して精緻化された分類を取得し、乗客のシートベルトの精緻化された分類に基づいてモデルを生成し、そして、入力画像７０２に示された運転手に関して、第２の初期分類を実行し、第２の初期分類を精緻化して第２の精緻化された分類を取得し、運転手のシートベルトの第２の精緻化された分類に基づいて第２のモデルを生成することができる。

モデル化された入力画像７０６は、乗客のシートベルトの状況を指示する対応ラベルを有する乗客のシートベルトの第１の可視指示を含み得る。図７を参照すると、モデル化された入力画像７０６は、左側に、乗客のシートベルトを指示するボックスと、乗客のシートベルトが着用され正しく適用されていることを指示するラベル「シートベルト：オン」とを示し得る。モデル化された入力画像７０６は、運転手のシートベルトの状況を指示する対応ラベルを有する運転手のシートベルトの第２の可視指示を含み得る。図７を参照すると、モデル化された入力画像７０６は、右側に、運転手のシートベルトを指示するボックスと、運転手のシートベルトが着用され正しく適用されていることを指示するラベル「シートベルト：オン」とを示し得る。

図８は、少なくとも１個の実施例による、シートベルト・ローカリゼーションの実例８００を示す。入力画像８０２、シートベルト・ローカライザ８０４、及びモデル化された入力画像８０６は、図１～６に関して説明されたものに従い得る。シートベルト・ローカライザ８０４は、実行されると１個又は複数の画像から１個又は複数の拘束デバイスをモデル化する実行可能命令を有する１個又は複数のハードウェア及び／又はソフトウェア計算資源のコレクションでもよい。シートベルト・ローカライザ８０４は、入力画像８０２を取得又は他の方法で受信し、拘束デバイス（たとえば、シートベルト）を表す入力画像８０２のエリアの初期分類を実行し、１セットの制約を入力画像８０２のエリアに適用して初期分類を精緻化して精緻化された分類を取得し、精緻化された分類に少なくとも部分的に基づいて拘束デバイスのモデルを生成することができる。シートベルト・ローカライザ８０４は、画像（たとえば、入力画像８０２）に示されたシートベルトを識別及びモデル化することができる。

図８を参照すると、入力画像８０２は、車両の内部にある１個又は複数のカメラからキャプチャされた画像でもよい。入力画像８０２は、中心に示され得る、運転手を含む、車両の乗客を示し得る。入力画像８０２は、運転手がシートベルトを不正確に着用している（たとえば、運転手が背中の後ろにシートベルトを着けている）ことを示し得る。シートベルト・ローカライザ８０４は、入力画像８０２を分析して入力画像８０２のシートベルトを識別及びモデル化することができる。シートベルト・ローカライザ８０４は、モデル化された入力画像８０６を介してモデル化されたシートベルトを視覚化することができる。

図８を参照すると、モデル化された入力画像８０６は、シートベルト及び指示されたシートベルト状況（たとえば、向き／場所）を有する入力画像８０２を示し得る。モデル化された入力画像８０６は、運転手のシートベルトの状況を指示する対応ラベルを有する運転手のシートベルトの第１の可視指示を含み得る。図８を参照すると、モデル化された入力画像８０６は、運転手のシートベルトを指示するボックスと、運転手のシートベルトが不正確にだが着用されていることを指示するラベル「シートベルト：オフ」とを示し得る。

図９は、少なくとも１個の実施例による、シートベルト・ローカリゼーションの実例９００を示す。入力画像９０２、シートベルト・ローカライザ９０４、及びモデル化された入力画像９０６は、図１～６に関して説明されたものに従い得る。シートベルト・ローカライザ９０４は、実行されると１個又は複数の画像から１個又は複数の拘束デバイスをモデル化する実行可能命令を有する１個又は複数のハードウェア及び／又はソフトウェア計算資源のコレクションでもよい。シートベルト・ローカライザ９０４は、入力画像９０２を取得又は他の方法で受信し、拘束デバイス（たとえば、シートベルト）を表す入力画像９０２のエリアの初期分類を実行し、１セットの制約を入力画像９０２のエリアに適用して初期分類を精緻化して精緻化された分類を取得し、精緻化された分類に少なくとも部分的に基づいて拘束デバイスのモデルを生成することができる。シートベルト・ローカライザ９０４は、画像（たとえば、入力画像９０２）に示されたシートベルトを識別及びモデル化することができる。

図９を参照すると、入力画像９０２は、車両の内部にある１個又は複数のカメラからキャプチャされた画像でもよい。入力画像９０２は、中心に示され得る、運転手を含む、車両の乗客を示し得る。入力画像９０２は、運転手がシートベルトを不正確に着用している（たとえば、運転手が脇の下にシートベルトを着けている）ことを示し得る。シートベルト・ローカライザ９０４は、入力画像９０２を分析して入力画像９０２のシートベルトを識別及びモデル化することができる。シートベルト・ローカライザ９０４は、モデル化された入力画像９０６を介してモデル化されたシートベルトを視覚化することができる。

図９を参照すると、モデル化された入力画像９０６は、シートベルト及び指示されたシートベルト状況（たとえば、向き／場所）を有する入力画像９０２を示し得る。モデル化された入力画像９０６は、運転手のシートベルトの状況を指示する対応ラベルを有する運転手のシートベルトの第１の可視指示を含み得る。図９を参照すると、モデル化された入力画像９０６は、運転手のシートベルトを指示するボックスと、運転手のシートベルトが不正確にだが着用されていることを指示するラベル「シートベルト：オフ」とを示し得る。

図１０は、少なくとも１個の実施例による、シートベルト・ローカリゼーションの実例１０００を示す。モデル化された入力画像１００２は、図１～６に従って説明されたものに従い得る。シートベルト・ローカライザは、実行されると１個又は複数の画像から１個又は複数の拘束デバイスをモデル化する実行可能命令を有する１個又は複数のハードウェア及び／又はソフトウェア計算資源のコレクションでもよい。シートベルト・ローカライザは、入力画像を取得又は他の方法で受信し、拘束デバイス（たとえば、シートベルト）を表す入力画像のエリアの初期分類を実行し、１セットの制約を入力画像のエリアに適用して初期分類を精緻化して精緻化された分類を取得し、精緻化された分類に少なくとも部分的に基づいて拘束デバイスのモデルを生成し、モデル化された入力画像１００２としてモデルを視覚化することができる。

モデル化された入力画像１００２は、１個又は複数のカメラからキャプチャされ得る入力画像に基づき得る。入力画像は、標準ＦＯＶを有するカメラからキャプチャされ得る。シートベルト・ローカライザは、任意のＦＯＶの画像から１個又は複数のシートベルトを識別及びモデル化することができる。シートベルト・ローカライザは、シートベルトの部分を示し得る画像から１個又は複数のシートベルトを識別及びモデル化することができる。図１０を参照すると、モデル化された入力画像１００２は、影付きの領域によって識別されたシートベルトとシートベルトが着用され正しく適用されていることを指示する対応ラベル「シートベルト：オン」とを有する標準ＦＯＶ画像を示し得る。

図１１は、少なくとも１個の実施例による、シートベルト・ローカリゼーションの実例１１００を示す。モデル化された入力画像１１０２は、図１～６に関して説明されたものに従い得る。シートベルト・ローカライザは、実行されると１個又は複数の画像から１個又は複数の拘束デバイスをモデル化する実行可能命令を有する１個又は複数のハードウェア及び／又はソフトウェア計算資源のコレクションでもよい。シートベルト・ローカライザは、入力画像を取得又は他の方法で受信し、拘束デバイス（たとえば、シートベルト）を表す入力画像のエリアの初期分類を実行し、１セットの制約を入力画像のエリアに適用して初期分類を精緻化して精緻化された分類を取得し、精緻化された分類に少なくとも部分的に基づいて拘束デバイスのモデルを生成し、モデル化された入力画像１１０２としてモデルを視覚化することができる。

モデル化された入力画像１１０２は、１個又は複数のカメラからキャプチャされ得る入力画像に基づき得る。入力画像は、シートベルトを運転手の体から押しのけた運転手を示し得る。シートベルト・ローカライザは、任意の適切な場所にある（たとえば、押しのけられた、伸ばされた、引っ込められた）１個又は複数のシートベルトを示す画像から１個又は複数のシートベルトを識別及びモデル化することができる。図１１を参照すると、モデル化された入力画像１１０２は、点線の曲線によって識別されたシートベルトとシートベルトは着用されているが正しく適用されていないことを示す対応ラベル「シートベルト：オフ」とを有する画像を示し得る。

図７～１１は、１個又は複数のシートベルトを識別、モデル化、視覚化、及びラベル付けするシートベルト・ローカライザの実例を示すが、シートベルト・ローカライザは、任意の適切な方式で１個又は複数のシートベルトを識別、モデル化、視覚化、及びラベル付けすることができる、ということに留意されたい。シートベルト・ローカライザは、アウトライン、ボックス、曲線、境界ボックス、影付きの領域、模様付きの領域、又は他の指示を介して１個又は複数のシートベルトを指示することによって画像内の１個又は複数のシートベルトを視覚化することができる。シートベルト・ローカライザは、様々な指示、たとえば、シンボル、文字、ラベル、又は他の指示、を介して画像内の１個又は複数のシートベルトにラベル付けすることができる。シートベルトが着用され正しく適用されているという指示は、様々な方法、たとえば、以下を指示する車両内の表示画面上のテキストを表示すること、で示され得る：「シートベルト：オン」、「シートベルト：適用済み」、「シートベルト：正しく適用されている」、など。シートベルトが不正確にだが着用されたという指示は、様々な方法、たとえば、「シートベルト：オフ」、「シートベルト：不正確」、「シートベルト：不正確に適用されている」など、で表示され得る。シートベルトは着用されていないという指示は、様々な方法、たとえば、「シートベルト：オフ」、「シートベルト：不適用」、「シートベルト不適用」など、で示され得る。指示はまた、音声指示（たとえば、コンピュータ音声指示）、可視指示（たとえば、指示光、スイッチ）、物理的指示（たとえば、指示振動）などを含み得る。

ここで図１２を参照すると、本明細書に記載の方法１２００の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行され得る計算プロセスを含む。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。本方法はまた、コンピュータ記憶媒体に記憶された、コンピュータが使用可能な命令として実施され得る。本方法は、いくつか例を挙げると、独立型アプリケーション、サービス又はホスト型サービス（独立型の又は別のホスト型サービスと組み合わせた）、或いは別の製品へのプラグインによって提供され得る。加えて、方法１２００は、実例として、図１のシートベルト・ローカリゼーションのためのシステムに関して、説明される。しかしながら、これらの方法は、本明細書に記載されたものを含むが、これらに限定されない、任意の１個のシステム、又はシステムの任意の組合せによって、追加で又は別法として実行され得る。

図１２は、本開示のいくつかの実施例による、入力画像のモデルを生成するための方法１２００を示す流れ図である。方法１２００は、ブロック１２０２において、入力画像を取得することを含む。入力画像は、サブジェクト、たとえば、運転手、乗客、又は他の乗員、及びサブジェクトに適用された拘束デバイス、たとえば、シートベルト、安全ハーネス、又は他の拘束デバイス、を表し得る。入力画像は、車両の内部に位置し得る１個又は複数の画像キャプチャ・デバイス、たとえば、カメラ又は他のデバイス、からキャプチャされた画像でもよい。

方法１２００は、ブロック１２０４において、画素候補を決定することを含む。方法１２００の少なくとも一部を実行するシステムは、拘束デバイスを表すものとしての画像のエリアの初期分類を実行し得る。初期分類は、画素候補の決定をもたらし得る。入力画像の任意の所与の画素について、システムは、画素及びそれの近隣画素情報を使用して、画素がシートベルトに属するか背景画素であるかを予測することができる。システムは、拘束デバイス（たとえば、シートベルト）を示す又は他の方法で表す入力画像のエリアを決定して画素候補を決定することができる。

方法１２００は、ブロック１２０６において、偽陽性を取り除いて適格の画素候補を決定することを含む。方法１２００の少なくとも一部を実行するシステムは、１セットの制約を画像のエリアに適用して初期分類を精緻化して精緻化された分類を取得することができる。精緻化された分類は、適格の画素候補の決定をもたらし得る。そのセットの制約は、入力画像をキャプチャしたカメラのパラメータ（たとえば、カメラ・レンズ寸法、焦点、主点、歪みパラメータ）、標準シートベルト寸法範囲（たとえば、幅及び／又は長さの範囲）、標準シートベルト特徴及び／又はパラメータ（たとえば、標準シートベルト色、材料）、車両パラメータ（たとえば、車両レイアウト、車両構成要素）などの特徴を含み得る。そのセットの制約を固守しない又は他の方法でそれに従わない画素候補の画素は、取り除かれて適格の画素候補を決定することができるように、システムは、そのセットの制約を画素候補に適用することができる。

方法１２００は、ブロック１２０８において、適格の画素候補に基づいてモデルを構築することを含む。方法１２００の少なくとも一部を実行するシステムは、精緻化された分類に少なくとも部分的に基づいて拘束デバイスのモデルを生成することができる。システムは、シートベルトに対応する適格の画素候補の画素に基づいてモデルを生成することができる。方法１２００は、ブロック１２１０において、入力画像にモデルをマッピングすることを含む。システムは、モデル化された入力画像として入力画像上にモデルを視覚化することができる。モデル化された入力画像は、シートベルトの場所／向き／位置、並びにシートベルトが着用されているか、着用されていないか、適用されているか、又は不正確に適用されているかを指示するシートベルトの状況の指示を含み得る。

例示的自律型車両
図１３Ａは、本開示のいくつかの実施例による、例示的自律型車両１３００を示す。自律型車両１３００（或いは、本明細書で「車両１３００」と称される）は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトル、電気若しくは原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、及び／又は別のタイプの車両（たとえば、無人の及び／又は１人若しくは複数の旅客を乗せるもの）を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通安全局（ＮＨＴＳＡ：ＮａｔｉｏｎａｌＨｉｇｈｗａｙＴｒａｆｆｉｃＳａｆｅｔｙＡｄｍｉｎｉｓｔｒａｔｉｏｎ）、米国運輸省の部署、及び自動車技術者協会（ＳＡＥ：ＳｏｃｉｅｔｙｏｆＡｕｔｏｍｏｔｉｖｅＥｎｇｉｎｅｅｒｓ）「ＴａｘｏｎｏｍｙａｎｄＤｅｆｉｎｉｔｉｏｎｓｆｏｒＴｅｒｍｓＲｅｌａｔｅｄｔｏＤｒｉｖｉｎｇＡｕｔｏｍａｔｉｏｎＳｙｓｔｅｍｓｆｏｒＯｎ－ＲｏａｄＭｏｔｏｒＶｅｈｉｃｌｅ」（２０１８年６月１５日に公開された規格番号Ｊ３０１６－２０１８０６、２０１６年９月３０日に公開された規格番号Ｊ３０１６－２０１６０９、及びこの規格の前の及び未来のバージョン）によって定義される、自動化レベルに関して記述される。移動車１３００は、自律運転レベルのレベル３～レベル５のうちの１個又は複数による機能の能力を有し得る。たとえば、移動車１３００は、実施例に応じて、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）の能力を有し得る。

移動車１３００は、移動車のシャシ、車体、車輪（たとえば、２、４、６、８、１８など）、タイヤ、車軸、及び他の構成要素などの構成要素を含み得る。移動車１３００は、内部燃焼エンジン、ハイブリッド動力装置、完全な電気式エンジン、及び／又は別の推進システム・タイプなど、推進システム１３５０を含み得る。推進システム１３５０は、移動車１３００の推進力を有効にするために、トランスミッションを含み得る、移動車１３００のドライブ・トレインに接続され得る。推進システム１３５０は、スロットル／加速装置１３５２からの信号の受信に応答して制御され得る。

ハンドルを含み得る、ステアリング・システム１３５４は、推進システム１３５０が動作しているときに（たとえば、移動車が移動中のときに）移動車１３００のかじを取る（たとえば、所望の進路又はルートに沿って）ために使用され得る。ステアリング・システム１３５４は、ステアリング・アクチュエータ１３５６から信号を受信することができる。ハンドルは、完全自動化（レベル５）機能のオプションでもよい。

ブレーキ・センサ・システム１３４６は、ブレーキ・アクチュエータ１３４８及び／又はブレーキ・センサからの信号の受信に応答して移動車ブレーキを動作させるために使用され得る。

１個又は複数のＣＰＵ、システム・オン・チップ（ＳｏＣ：ｓｙｓｔｅｍｏｎＣｈｉｐ）１３０４（図１３Ｃ）及び／又はＧＰＵを含み得る、コントローラ１３３６は、移動車１３００の１個若しくは複数の構成要素及び／又はシステムに信号（たとえば、コマンドの表現）を提供することができる。たとえば、コントローラは、１個又は複数のブレーキ・アクチュエータ１３４８を介して移動車ブレーキを動作させて、１個又は複数のステアリング・アクチュエータ１３５６を介してステアリング・システム１３５４を動作させて、及び／又は１個若しくは複数のスロットル／加速装置１３５２を介して推進システム１３５０を動作させるために、信号を送ることができる。コントローラ１３３６は、センサ信号を処理する、並びに律的運転を可能にするために及び／又は運転者の移動車１３００の運転を支援するために動作コマンド（たとえば、コマンドを表す信号）を出力する、１個又は複数の搭載された（たとえば、統合された）計算デバイス（たとえば、スーパーコンピュータ）を含み得る。コントローラ１３３６は、自律運転機能のための第１のコントローラ１３３６、機能的安全性機能のための第２のコントローラ１３３６、人工知能機能（たとえば、コンピュータ・ビジョン）のための第３のコントローラ１３３６、インフォテインメント機能のための第４のコントローラ１３３６、緊急状態における冗長性のための第５のコントローラ１３３６、及び／又は他のコントローラを含み得る。いくつかの実例では、単一のコントローラ１３３６が、前述の機能のうちの２個以上を処理することができ、２個以上のコントローラ１３３６が、単一の機能、及び／又はその任意の組合せを処理することができる。

コントローラ１３３６は、１個又は複数のセンサから受信したセンサ・データ（たとえば、センサ入力）に応答して移動車１３００の１個又は複数の構成要素及び／又はシステムを制御するための信号を提供することができる。センサ・データは、たとえば、そして制限なしに、全地球的航法衛星システム・センサ１３５８（たとえば、グローバル・ポジショニング・システム・センサ）、ＲＡＤＡＲセンサ１３６０、超音波センサ１３６２、ＬＩＤＡＲセンサ１３６４、慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌｍｅａｓｕｒｅｍｅｎｔｕｎｉｔ）センサ１３６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン１３９６、ステレオ・カメラ１３６８、ワイドビュー・カメラ１３７０（たとえば、魚眼カメラ）、赤外線カメラ１３７２、サラウンド・カメラ１３７４（たとえば、３６０度カメラ）、長距離及び／又は中距離カメラ１３９８、スピード・センサ１３４４（たとえば、移動車１３００のスピードを測定するための）、振動センサ１３４２、ステアリング・センサ１３４０、ブレーキ・センサ１３４６（たとえば、ブレーキ・センサ・システム１３４６の一部としての）、及び／又は他のセンサ・タイプから受信され得る。

コントローラ１３３６のうちの１個又は複数のコントローラは、移動車１３００の計器群１３３２から入力（たとえば、入力データによって表される）を受信し、出力（たとえば、出力データ、表示データなどによって表される）をヒューマン・マシン・インターフェース（ＨＭＩ：ｈｕｍａｎ－ｍａｃｈｉｎｅｉｎｔｅｒｆａｃｅ）ディスプレイ１３３４、可聴式アナンシエータ、ラウドスピーカ、及び／又は移動車１３００の他の構成要素を介して提供することができる。出力は、移動車ベロシティ、スピード、時間、マップ・データ（たとえば、図１３ＣのＨＤマップ１３２２）、位置データ（たとえば、マップ上などの、移動車の１３００の位置）、方向、他の移動車の位置（たとえば、占有グリッド）、コントローラ１３３６によって把握されるものとしての物体及び物体の状況に関する情報などの、情報を含み得る。たとえば、ＨＭＩディスプレイ１３３４は、１個又は複数の物体（たとえば、道路標識、警告標識、交通信号の変化など）の存在、及び／又は移動車が行った、行っている、又は行うであろう運転操作（たとえば、今、車線変更をしていること、３．２２ｋｍ（２マイル）内の出口３４Ｂを出ることなど）に関する情報を表示することができる。

移動車１３００はさらに、１個又は複数のワイヤレス・アンテナ１３２６及び／又はモデムを使用して１個又は複数のネットワークを介して通信することができるネットワーク・インターフェース１３２４を含む。たとえば、ネットワーク・インターフェース１３２４は、ＬＴＥ、ＷＣＤＭＡ、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００などを介する通信の能力を有し得る。ワイヤレス・アンテナ１３２６はまた、ブルートゥース、ブルートゥースＬＥ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅなどのローカル・エリア・ネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどのロー・パワー・ワイドエリア・ネットワーク（ＬＰＷＡＮ：ｌｏｗｐｏｗｅｒｗｉｄｅ－ａｒｅａｎｅｔｗｏｒｋ）を使用し、環境内の物体（たとえば、移動車、モバイル・デバイスなど）の間の通信を可能にすることができる。

図１３Ｂは、本開示のいくつかの実施例による、図１３Ａの例示的自律型車両１３００のカメラ位置及び視野の実例である。カメラ及びそれぞれの視野は、１個の例示的実施例であり、制限することは意図されていない。たとえば、追加の及び／又は代替カメラが含まれ得る、及び／又はカメラは移動車１３００の異なる位置に置かれ得る。

カメラのカメラ・タイプは、移動車１３００の構成要素及び／又はシステムと使用するようになされ得るデジタル・カメラを含み得るが、これに限定されない。カメラは、自動車安全整合性レベル（ＡＳＩＬ：ａｕｔｏｍｏｔｉｖｅｓａｆｅｔｙｉｎｔｅｇｒｉｔｙｌｅｖｅｌ）Ｂにおいて及び／又は別のＡＳＩＬにおいて動作することができる。カメラ・タイプは、実施例に応じて、６０フレーム／秒（ｆｐｓ）、１２０ｆｐｓ、２４０ｆｐｓなど、任意の画像キャプチャ・レートの能力を有し得る。カメラは、ロール・シャッタ、グローバル・シャッタ、別のタイプのシャッタ、又はその組合せを使用する能力を有し得る。いくつかの実例では、カラー・フィルタ・アレイは、ＲＣＣＣ（ｒｅｄｃｌｅａｒｃｌｅａｒｃｌｅａｒ）カラー・フィルタ・アレイ、ＲＣＣＢ（ｒｅｄｃｌｅａｒｃｌｅａｒｂｌｕｅ）カラー・フィルタ・アレイ、ＲＢＧＣ（ｒｅｄｂｌｕｅｇｒｅｅｎｃｌｅａｒ）カラー・フィルタ・アレイ、ＦｏｖｅｏｎＸ３カラー・フィルタ・アレイ、Ｂａｙｅｒセンサ（ＲＧＧＢ）カラー・フィルタ・アレイ、モノクロ・センサ・カラー・フィルタ・アレイ、及び／又は別のタイプのカラー・フィルタ・アレイを含み得る。一部の実施例では、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣカラー・フィルタ・アレイを有するカメラなどのクリア画素カメラは、光感度を上げるための取り組みにおいて使用され得る。

いくつかの実例では、カメラのうちの１個又は複数が、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄｄｒｉｖｅｒａｓｓｉｓｔａｎｃｅｓｙｓｔｅｍ）機能（たとえば、冗長又はフェイルセーフ設計の一部として）を実行するために使用され得る。たとえば、多機能モノ・カメラは、車線逸脱警報、交通標識アシスト及びインテリジェント・ヘッドランプ制御を含む機能を提供するために設置され得る。カメラのうちの１個又は複数（たとえば、すべてのカメラ）が、画像データ（たとえば、ビデオ）を同時に記録及び提供することができる。

カメラのうちの１個又は複数は、カメラの画像データ・キャプチャ能力を妨げることがある自動車内からの迷光及び反射（たとえば、フロントガラスのミラーにおいて反射されたダッシュボードからの反射）を取り除くために、カスタム設計された（３Ｄ印刷された）部品などの取付部品において取り付けられ得る。サイドミラー取付部品を参照すると、サイドミラー部品は、カメラ取付板がサイドミラーの形状に合うように、カスタム３Ｄ印刷され得る。いくつかの実例では、カメラは、サイドミラー内に統合され得る。サイドビュー・カメラについては、カメラはまた、キャビンの各角にある４個の支柱内に統合され得る。

移動車１３００の前の環境の部分を含む視野を有するカメラ（たとえば、前向きのカメラ）は、前向きの進路及び障害物の識別を助け、１個又は複数のコントローラ１３３６及び／又は制御ＳｏＣの助けにより、占有グリッドの生成及び／又は好ましい移動車進路の決定に不可欠な情報の提供の提供を助けるための、サラウンド・ビューのために使用され得る。前向きのカメラは、緊急ブレーキ、歩行者検出、及び衝突回避を含む、ＬＩＤＡＲと同じＡＤＡＳ機能の多くを実行するために使用され得る。前向きのカメラはまた、車線逸脱警報（「ＬＤＷ（ＬａｎｅＤｅｐａｒｔｕｒｅＷａｒｎｉｎｇ）」）、自律的クルーズ制御（「ＡＣＣ（ＡｕｔｏｎｏｍｏｕｓＣｒｕｉｓｅＣｏｎｔｒｏｌ）」）、及び／又は交通標識認識などの他の機能を含むＡＤＡＳ機能及びシステムのために使用され得る。

様々なカメラが、たとえば、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙｍｅｔａｌｏｘｉｄｅｓｅｍｉｃｏｎｄｕｃｔｏｒ）カラー画像化装置を含む単眼カメラ・プラットフォームを含む、前向きの構成において使用され得る。別の実例は、周辺（たとえば、歩行者、交差する交通又は自転車）からのビューに入る物体を把握するために使用され得るワイドビュー・カメラ１３７０でもよい。図１３Ｂにはワイドビュー・カメラは１個だけ示されているが、移動車１３００には任意の数のワイドビュー・カメラ１３７０が存在し得る。加えて、長距離カメラ１３９８（たとえば、ロングビュー・ステレオ・カメラ・ペア）が、特に、ニューラル・ネットワークがまだトレーニングされていない物体について、深度ベースの物体検出のために使用され得る。長距離カメラ１３９８はまた、物体検出及び分類、並びに基本物体追跡のために使用され得る。

１個又は複数のステレオ・カメラ１３６８もまた、前向きの構成に含まれ得る。ステレオ・カメラ１３６８は、単一のチップ上に統合されたＣＡＮ又はイーサネット（登録商標）・インターフェースを有するプログラマブル論理（たとえば、ＦＰＧＡ）及びマルチコア・マイクロプロセッサを提供し得る、拡張可能な処理ユニットを備えた統合された制御ユニットを含み得る。そのようなユニットは、画像内のすべてのポイントの距離推定値を含む、移動車の環境の３Ｄマップを生成するために使用され得る。代替ステレオ・カメラ１３６８は、２個のカメラ・レンズ（左と右に１個ずつ）と、移動車から対象物体までの距離を測定する及び生成された情報（たとえば、メタデータ）を使用して自律的緊急ブレーキ及び車線逸脱警報機能をアクティブにすることができる画像処理チップとを含み得る、コンパクト・ステレオ・ビジョン・センサを含み得る。他のタイプのステレオ・カメラ１３６８が、本明細書に記載のものに加えて、又はそれらの代わりに、使用されてもよい。

移動車１３００の側面に対する環境の部分を含む視野を有するカメラ（たとえば、サイドビュー・カメラ）が、占有グリッドを作成及び更新するために並びに側面衝撃衝突警報を生成するために使用される情報を提供する、サラウンド・ビューのために使用され得る。たとえば、サラウンド・カメラ１３７４（たとえば、図１３Ｂに示されるような４個のサラウンド・カメラ１３７４）は、移動車１３００の周囲に位置付けられ得る。サラウンド・カメラ１３７４は、ワイドビュー・カメラ１３７０、魚眼カメラ、３６０度カメラ、及び／又は同類のものを含み得る。たとえば、４個の魚眼カメラが、移動車の前、後ろ、及び側面に配置され得る。代替配置において、移動車は、３個のサラウンド・カメラ１３７４（たとえば、左、右、及び後部）を使用してもよく、第４のサラウンド・ビュー・カメラとして１個又は複数の他のカメラ（たとえば、前向きのカメラ）を活用してもよい。

移動車１３００の後ろに対する環境の部分を含む視野を有するカメラ（たとえば、後方確認カメラ）が、駐車支援、サラウンド・ビュー、後部衝突警報、並びに占有グリッドの作成及び更新のために使用され得る。本明細書に記載のように、前向きのカメラ（たとえば、長距離及び／又は中距離カメラ１３９８、ステレオ・カメラ１３６８）、赤外線カメラ１３７２など）としても適したカメラを含むがこれらに限定されない、多種多様なカメラが使用され得る。

図１３Ｃは、本開示のいくつかの実施例による、図１３Ａの例示的自律型車両１３００の例示的システム・アーキテクチャのブロック図である。本明細書に記載されているこの及び他の配置は単に実例として説明されていることを理解されたい。他の配置及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素は共に除外されてもよい。さらに、本明細書に記載の要素の多くは、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。

図１３Ｃの移動車１３００の構成要素、特徴、及びシステムのそれぞれは、バス１３０２を介して接続されるものとして図示されている。バス１３０２は、コントローラ・エリア・ネットワーク（ＣＡＮ）データ・インターフェース（或いは、本明細書で「ＣＡＮバス」と称される）を含み得る。ＣＡＮは、ブレーキ、加速度、ブレーキ、ステアリング、フロントガラス・ワイパなどの作動など、移動車１３００の様々な特徴及び機能の制御を助けるために使用される移動車１３００内のネットワークでもよい。ＣＡＮバスは、それぞれが独自の一意の識別子（たとえば、ＣＡＮＩＤ）を有する、数ダース又は数百ものノードを有するように構成され得る。ＣＡＮバスは、ハンドル角度、対地速度、１分間のエンジン回転（ＲＰＭ：ｒｅｖｏｌｕｔｉｏｎｓｐｅｒｍｉｎｕｔｅ）、ボタン位置、及び／又は他の移動車状況指標を見つけるために読み取られ得る。ＣＡＮバスは、ＡＳＩＬＢ準拠でもよい。

バス１３０２は、ＣＡＮバスであるものとして本明細書に記載されているが、これは制限することを意図されていない。たとえば、ＣＡＮバスに加えて、又はこの代替として、ＦｌｅｘＲａｙ及び／又はイーサネット（登録商標）が使用されてもよい。加えて、単一の線が、バス１３０２を表すために使用されているが、これは制限することを意図されていない。たとえば、１個又は複数のＣＡＮバス、１個又は複数のＦｌｅｘＲａｙバス、１個又は複数のイーサネット（登録商標）・バス、及び／又は異なるプロトコルを使用する１個若しくは複数の他のタイプのバスを含み得る、任意の数のバス１３０２が存在し得る。いくつかの実例では、２個以上のバス１３０２が、異なる機能を実行するために使用され得る、及び／又は冗長性のために使用され得る。たとえば、第１のバス１３０２は衝突回避機能のために使用されてもよく、第２のバス１３０２は作動制御のために使用されてもよい。任意の実例において、各バス１３０２は、移動車１３００の構成要素のいずれかと通信し得、２個以上のバス１３０２が同じ構成要素と通信し得る。いくつかの実例では、移動車内の各ＳｏＣ１３０４、各コントローラ１３３６、及び／又は各コンピュータは、同じ入力データ（たとえば、移動車１３００のセンサからの入力）へのアクセスを有し得、ＣＡＮバスなどの共通バスに接続され得る。

移動車１３００は、図１３Ａに関して本明細書で説明されるものなど、１個又は複数のコントローラ１３３６を含み得る。コントローラ１３３６は、様々な機能のために使用され得る。コントローラ１３３６は、移動車１３００の様々な他の構成要素及びシステムのいずれかに連結されてもよく、移動車１３００、移動車１３００の人工知能、移動車１３００のためのインフォテインメント、及び／又は同類のものの制御のために使用され得る。

移動車１３００は、システム・オン・チップ（ＳｏＣ）１３０４を含み得る。ＳｏＣ１３０４は、ＣＰＵ１３０６、ＧＰＵ１３０８、プロセッサ１３１０、キャッシュ１３１２、加速装置１３１４、データ・ストア１３１６、及び／又は図示されていない他の構成要素及び特徴を含み得る。ＳｏＣ１３０４は、様々なプラットフォーム及びシステム内の移動車１３００を制御するために使用され得る。たとえば、ＳｏＣ１３０４は、１個又は複数のサーバ（たとえば、図１３Ｄのサーバ１３７８）からネットワーク・インターフェース１３２４を介してマップのリフレッシュ及び／又は更新を取得することができるＨＤマップ１３２２を有するシステム（たとえば、移動車１３００のシステム）において結合され得る。

ＣＰＵ１３０６は、ＣＰＵクラスタ又はＣＰＵ複合体（或いは、本明細書で「ＣＣＰＬＥＸ」とも称される）を含み得る。ＣＰＵ１３０６は、複数のコア及び／又はＬ２キャッシュを含み得る。たとえば、一部の実施例では、ＣＰＵ１３０６は、コヒーレント・マルチプロセッサ構成内の８個のコアを含み得る。一部の実施例では、ＣＰＵ１３０６は、４個のデュアルコア・クラスタを含むことができ、各クラスタが専用のＬ２キャッシュ（たとえば、２ＭＢＬ２キャッシュ）を有する。ＣＰＵ１３０６（たとえば、ＣＣＰＬＥＸ）は、ＣＰＵ１３０６のクラスタの任意の組合せが任意の所与の時間にアクティブになることを可能にする同時クラスタ動作をサポートするように構成され得る。

ＣＰＵ１３０６は、以下の特徴のうちの１個又は複数を含む電力管理能力を実装することができる：個別ハードウェア・ブロックが、動的電力を節約するためにアイドル状態のときに自動的にクロック・ゲーティングされ得る、各コア・クロックは、ＷＦＩ／ＷＦＥ命令の実行により命令をコアがアクティブに実行していないときにゲーティングされ得る、各コアは、独立してパワー・ゲーティングされ得る、各コア・クラスタは、すべてのコアがクロック・ゲーティングされる若しくはパワー・ゲーティングされるときに、独立してクロック・ゲーティングされ得る、及び／又は、各コア・クラスタは、すべてのコアがパワー・ゲーティングされるときに、独立してパワー・ゲーティングされ得る。ＣＰＵ１３０６は、電力状態を管理するための強化されたアルゴリズムをさらに実装することができ、そこでは、許容される電力状態及び予想されるウェイクアップ時間が指定され、ハードウェア／マイクロ・コードが、コア、クラスタ、及びＣＣＰＬＥＸに入力するための最良の電力状態を決定する。処理コアは、作業がマイクロ・コードにオフロードされたソフトウェアにおける簡略化された電力状態入力シーケンスをサポートすることができる。

ＧＰＵ１３０８は、統合されたＧＰＵ（或いは、本明細書で「ｉＧＰＵ」と称される）を含み得る。ＧＰＵ１３０８は、プログラマブルになり得、並行のワークロードに効率的になり得る。一部の実例では、ＧＰＵ１３０８は、強化されたテンソル命令セットを使用することができる。ＧＰＵ１３０８は、１個又は複数のストリーミング・マイクロプロセッサを含み得、そこで、各ストリーミング・マイクロプロセッサは、Ｌ１キャッシュ（たとえば、少なくとも９６ＫＢ記憶容量を有するＬ１キャッシュ）を含み得、ストリーミング・マイクロプロセッサのうちの２個以上が、キャッシュ（たとえば、５１２ＫＢ記憶容量を有するＬ２キャッシュ）を共用し得る。一部の実施例では、ＧＰＵ１３０８は、少なくとも８個のストリーミング・マイクロプロセッサを含み得る。ＧＰＵ１３０８は、コンピュータベースのアプリケーション・プログラミング・インターフェース（ＡＰＩ）を使用することができる。加えて、ＧＰＵ１３０８は、１個又は複数の並行のコンピューティング・プラットフォーム及び／又はプログラミング・モデル（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を使用することができる。

ＧＰＵ１３０８は、自動車の及び組み込まれた使用事例における最高のパフォーマンスのために電力最適化され得る。たとえば、ＧＰＵ１３０８は、ＦｉｎＦＥＴ（Ｆｉｎｆｉｅｌｄ－ｅｆｆｅｃｔｔｒａｎｓｉｓｔｏｒ）上に製造され得る。しかしながら、これは制限することを意図されておらず、ＧＰＵ１３０８は、他の半導体製造プロセスを使用し、製造され得る。各ストリーミング・マイクロプロセッサは、複数のブロックに区切られたいくつかの混合精度処理コアを組み込むことができる。限定ではなく、たとえば、６４ＰＦ３２コア及び３２ＰＦ６４コアは、４個の処理ブロックに区切られてもよい。そのような実例では、各処理ブロックは、１６ＦＰ３２コア、８ＦＰ６４コア、１６ＩＮＴ３２コア、深層学習行列演算のための２個の混合精度ＮＶＩＤＩＡテンソル・コア、Ｌ０命令キャッシュ、ワープ・スケジューラ、発送ユニット、及び／又は６４ＫＢレジスタ・ファイルを割り当てられ得る。加えて、ストリーミング・マイクロプロセッサは、計算及びアドレス指定演算の混合を有するワークロードの効率的な実行を提供するための独立した並行の整数及び浮動小数点データ進路を含み得る。ストリーミング・マイクロプロセッサは、並行スレッドの間のより高い細粒度の同期及び連携を可能にするために、独立したスレッド・スケジューリング能力を含み得る。ストリーミング・マイクロプロセッサは、プログラミングを単純化しつつ性能を向上させるために、結合されたＬ１データ・キャッシュ及び共用メモリ・ユニットを含み得る。

ＧＰＵ１３０８は、一部の実例では、９００ＧＢ／秒のピーク・メモリ帯域幅に関して、提供するための高帯域幅メモリ（ＨＢＭ：ｈｉｇｈｂａｎｄｗｉｄｔｈｍｅｍｏｒｙ）及び／又は１６ＧＢＨＢＭ２メモリ・サブシステムを含み得る。いくつかの実例では、ＨＢＭメモリに加えて、又はこれの代わりに、グラフィックス・ダブル・データ・レート・タイプ５同期ランダム・アクセス・メモリ（ＧＤＤＲ５：ｇｒａｐｈｉｃｓｄｏｕｂｌｅｄａｔａｒａｔｅｔｙｐｅｆｉｖｅｓｙｎｃｈｒｏｎｏｕｓｒａｎｄｏｍ－ａｃｃｅｓｓｍｅｍｏｒｙ）などの同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ：ｓｙｎｃｈｒｏｎｏｕｓｇｒａｐｈｉｃｓｒａｎｄｏｍ－ａｃｃｅｓｓｍｅｍｏｒｙ）が使用され得る。

ＧＰＵ１３０８は、メモリ・ページに最も頻繁にアクセスするプロセッサへのそれらのメモリ・ページのより正確な移動を可能にするためにアクセス・カウンタを含む統一されたメモリ技術を含むことができ、それにより、プロセッサ間で共用される記憶範囲の効率を向上させる。いくつかの実例では、アドレス変換サービス（ＡＴＳ：ａｄｄｒｅｓｓｔｒａｎｓｌａｔｉｏｎｓｅｒｖｉｃｅ）サポートが、ＧＰＵ１３０８がＣＰＵ１３０６ページ・テーブルに直接アクセスすることを可能にするために使用され得る。そのような実例では、ＧＰＵ１３０８メモリ管理ユニット（ＭＭＵ：ｍｅｍｏｒｙｍａｎａｇｅｍｅｎｔｕｎｉｔ）がミスを経験するとき、アドレス変換要求が、ＣＰＵ１３０６に送信され得る。応答して、ＣＰＵ１３０６は、アドレスの仮想対現実マッピングのためのそのページ・テーブルを調べることができ、ＧＰＵ１３０８に変換を送り返す。そのようなものとして、統一されたメモリ技術は、ＣＰＵ１３０６とＧＰＵ１３０８との両方のメモリの単一統一仮想アドレス空間を可能にすることができ、それによりＧＰＵ１３０８へのアプリケーションのＧＰＵ１３０８プログラミング及び移植を単純化する。

加えて、ＧＰＵ１３０８は、他のプロセッサのメモリへのＧＰＵ１３０８のアクセスの頻度を記録することができるアクセス・カウンタを含み得る。アクセス・カウンタは、メモリ・ページが最も頻繁にそのページにアクセスしているプロセッサの物理メモリに移動されることを確実にするのを助けることができる。

ＳｏＣ１３０４は、本明細書に記載のものを含む任意の数のキャッシュ１３１２を含み得る。たとえば、キャッシュ１３１２は、ＣＰＵ１３０６とＧＰＵ１３０８との両方に利用可能な（たとえば、ＣＰＵ１３０６とＧＰＵ１３０８との両方に接続された）Ｌ３キャッシュを含み得る。キャッシュ１３１２は、キャッシュ・コヒーレンス・プロトコル（たとえば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することなどによって、線の状態を記録することができるライトバック・キャッシュを含み得る。Ｌ３キャッシュは、より小さいキャッシュ・サイズが使用されてもよいが、実施例に応じて、４ＭＢ以上を含み得る。

ＳｏＣ１３０４は、車両１３００の様々なタスク又は動作のいずれか（たとえば、処理ＤＮＮ）に関して処理を実行する際に活用され得る論理演算ユニット（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃｌｏｇｉｃｕｎｉｔ）を含み得る。加えて、ＳｏＣ１３０４は、システム内で数学演算を実行するための浮動小数点演算ユニット（ＦＰＵ：ｆｌｏａｔｉｎｇｐｏｉｎｔｕｎｉｔ）（又は他のマス・コプロセッサ又は数値演算コプロセッサ・タイプ）を含み得る。たとえば、ＳｏＣ１０４は、ＣＰＵ１３０６及び／又はＧＰＵ１３０８内の実行ユニットとして統合された１個又は複数のＦＰＵを含み得る。

ＳｏＣ１３０４は、１個又は複数の加速装置１３１４（たとえば、ハードウェア・加速装置、ソフトウェア・加速装置、又はその組合せ）を含み得る。たとえば、ＳｏＣ１３０４は、最適化されたハードウェア加速装置及び／又は大きなオンチップ・メモリを含み得る、ハードウェア加速クラスタを含み得る。大きなオンチップメモリ（たとえば、４ＭＢのＳＲＡＭ）は、ハードウェア加速クラスタがニューラル・ネットワーク及び他の演算を加速することを可能にし得る。ハードウェア加速クラスタは、ＧＰＵ１３０８を補完するために及びＧＰＵ１３０８のタスクの一部をオフロードするために（たとえば、他のタスクを実行するためのＧＰＵ１３０８のより多くのサイクルを解放するために）使用され得る。一実例として、加速装置１３１４は、加速に適するように十分に安定している対象ワークロード（たとえば、知覚、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ）など）のために使用され得る。本明細書では、「ＣＮＮ」という用語は、領域ベースの又は領域的畳み込みニューラル・ネットワーク（ＲＣＮＮ：ｒｅｇｉｏｎａｌｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ）及び高速ＲＣＮＮ（たとえば、物体検出のために使用されるものとしての）を含む、すべてのタイプのＣＮＮを含み得る。

加速装置１３１４（たとえば、ハードウェア加速クラスタ）は、深層学習加速装置（ＤＬＡ：ｄｅｅｐｌｅａｒｎｉｎｇａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＤＬＡは、深層学習アプリケーション及び推論のために１秒あたり追加の１０兆の動作を提供するように構成することができる１個又は複数のテンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）を含み得る。ＴＰＵは、画像処理機能（たとえば、ＣＮＮ、ＲＣＮＮなどの）を実行するように構成及び最適化された加速装置でもよい。ＤＬＡはさらに、特定のセットのニューラル・ネットワーク・タイプ及び浮動小数点演算、並びに推論のために最適化され得る。ＤＬＡの設計は、汎用ＧＰＵよりも１ミリメートルあたりより多くのパフォーマンスを提供することができ、ＣＰＵのパフォーマンスを大きく超える。ＴＰＵは、たとえば、特徴と重みとの両方についてＩＮＴ８、ＩＮＴ１６、及びＦＰ１６データ・タイプをサポートする、単一インスタンス畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実行することができる。

ＤＬＡは、以下を含むがこれらに限定されない、様々な機能のいずれかのために処理済み又は未処理のデータでニューラル・ネットワーク、特にＣＮＮ、を迅速に及び効率的に実行することができる：カメラ・センサからのデータを使用する物体識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する距離推定のためのＣＮＮ、マイクロフォンからのデータを使用する緊急車両検出及び識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する顔認識及び移動車所有者識別のためのＣＮＮ、及び／又は、セキュリティ及び／又は安全性関連イベントのためのＣＮＮ。

ＤＬＡは、ＧＰＵ１３０８の任意の機能を実行することができ、そして、推論加速装置を使用することによって、たとえば、設計者は、任意の機能のためにＤＬＡ又はＧＰＵ１３０８のいずれかを対象にすることができる。たとえば、設計者は、ＤＬＡ上のＣＮＮ及び浮動小数点演算の処理に重点的に取り組み、他の機能をＧＰＵ１３０８及び／又は他の加速装置１３１４に任せることができる。

加速装置１３１４（たとえば、ハードウェア加速クラスタ）は、或いはコンピュータ・ビジョン加速装置と本明細書で称され得るプログラマブル・ビジョン加速装置（ＰＶＡ：ｐｒｏｇｒａｍｍａｂｌｅｖｉｓｉｏｎａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＰＶＡは、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄｄｒｉｖｅｒａｓｓｉｓｔａｎｃｅｓｙｓｔｅｍ）、自律運転、及び／又は拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙ）及び／又は仮想現実（ＶＲ：ｖｉｒｔｕａｌｒｅａｌｉｔｙ）アプリケーションのためのコンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。ＰＶＡは、パフォーマンスと柔軟性との間のバランスをもたらすことができる。たとえば、各ＰＶＡは、たとえば、任意の数の縮小命令セット・コンピュータ（ＲＩＳＣ：ｒｅｄｕｃｅｄｉｎｓｔｒｕｃｔｉｏｎｓｅｔｃｏｍｐｕｔｅｒ）コア、直接メモリ・アクセス（ＤＭＡ：ｄｉｒｅｃｔｍｅｍｏｒｙａｃｃｅｓｓ）、及び／又は任意の数のベクトル・プロセッサを含み得るが、これらに限定されない。

ＲＩＳＣコアは、画像センサ（たとえば、本明細書に記載のカメラのうちのいずれかのカメラの画像センサ）、画像信号プロセッサ、及び／又は同類のものと相互作用することができる。それぞれのＲＩＳＣコアは、任意の量のメモリを含み得る。ＲＩＳＣコアは、実施例に応じて、いくつかのプロトコルのいずれかを使用することができる。いくつかの実例では、ＲＩＳＣコアは、リアルタイム・オペレーティング・システム（ＲＴＯＳ：ｒｅａｌ－ｔｉｍｅｏｐｅｒａｔｉｎｇｓｙｓｔｅｍ）を実行することができる。ＲＩＳＣコアは、１個又は複数の集積回路デバイス、特定用途向け集積回路（ＡＳＩＣ）、及び／又はメモリデバイスを使用して、実装され得る。たとえば、ＲＩＳＣコアは、命令キャッシュ及び／又はしっかりと結合されたＲＡＭを含み得る。

ＤＭＡは、ＣＰＵ１３０６から独立したシステム・メモリにＰＶＡの構成要素がアクセスすることを可能にし得る。ＤＭＡは、多次元アドレス指定及び／又は循環アドレス指定をサポートすることを含むがこれに限定されないＰＶＡに最適化をもたらすために使用される任意の数の特徴をサポートすることができる。いくつかの実例では、ＤＭＡは、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び／又は深度ステッピングを含み得る、６次元まで又はそれ以上のアドレス指定をサポートすることができる。

ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのプログラミングを効率的に柔軟に実行する及び信号処理能力を提供するように設計され得るプログラマブル・プロセッサでもよい。いくつかの実例では、ＰＶＡは、ＰＶＡコア及び２個のベクトル処理サブシステム・パーティションを含み得る。ＰＶＡコアは、プロセッサ・サブシステム、ＤＭＡエンジン（たとえば、２個のＤＭＡエンジン）、及び／又は他の周辺装置を含み得る。ベクトル処理サブシステムは、ＰＶＡの１次的処理エンジンとして動作することができ、ベクトル処理ユニット（ＶＰＵ：ｖｅｃｔｏｒｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）、命令キャッシュ、及び／又はベクトル・メモリ（たとえば、ＶＭＥＭ）を含み得る。ＶＰＵコアは、たとえば、単一の命令、複数のデータ（ＳＩＭＤ）、超長命令語（ＶＬＩＷ：ｖｅｒｙｌｏｎｇｉｎｓｔｒｕｃｔｉｏｎｗｏｒｄ）デジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。ＳＩＭＤ及びＶＬＩＷの組合せは、スループット及びスピードを高めることができる。

それぞれのベクトル・プロセッサは、命令キャッシュを含み得、専用のメモリに連結され得る。結果として、一部の実例では、それぞれのベクトル・プロセッサは、他のベクトル・プロセッサから独立して実行するように構成され得る。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、データ並列処理を用いるように構成され得る。たとえば、一部の実施例では、単一のＰＶＡに含まれる複数のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを、しかし画像の異なる領域上で、実行することができる。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを、同じ画像上で、同時に実行することができ、或いは順次画像又は画像の部分で異なるアルゴリズムを実行することさえできる。特に、任意の数のＰＶＡは、ハードウェア加速クラスタに含まれ得、任意の数のベクトル・プロセッサは、それぞれのＰＶＡに含まれ得る。加えて、ＰＶＡは、全体的システム安全性を高めるために、追加のエラー訂正コード（ＥＣＣ：ｅｒｒｏｒｃｏｒｒｅｃｔｉｎｇｃｏｄｅ）メモリを含み得る。

加速装置１３１４（たとえば、ハードウェア加速クラスタ）は、加速装置１３１４のための高帯域幅、低レイテンシＳＲＡＭを提供するための、コンピュータ・ビジョン・ネットワーク・オンチップ及びＳＲＡＭを含み得る。いくつかの実例では、オンチップ・メモリは、たとえば、そして制限ではなく、ＰＶＡとＤＬＡとの両方によってアクセス可能でもよい、８個のフィールド構成可能なメモリ・ブロックから成る、少なくとも４ＭＢのＳＲＡＭを含み得る。各ペアのメモリ・ブロックは、高度周辺バス（ＡＰＢ：ａｄｖａｎｃｅｄｐｅｒｉｐｈｅｒａｌｂｕｓ）インターフェース、構成回路、コントローラ、及びマルチプレクサを含み得る。任意のタイプのメモリが、使用され得る。ＰＶＡ及びＤＬＡは、メモリへの高速アクセスを有するＰＶＡ及びＤＬＡを提供するバックボーンを介してメモリにアクセスすることができる。バックボーンは、（たとえば、ＡＰＢを使用して）ＰＶＡ及びＤＬＡをメモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。

コンピュータ・ビジョン・ネットワーク・オンチップは、ＰＶＡとＤＬＡとの両方が作動可能及び有効信号を提供することを、任意の制御信号／アドレス／データの送信の前に、決定するインターフェースを含み得る。そのようなインターフェースは、制御信号／アドレス／データを送信するための別個のフェーズ及び別個のチャネル、並びに連続的データ転送のためのバーストタイプの通信を提供することができる。このタイプのインターフェースは、ＩＳＯ２６２６２又はＩＥＣ６１５０８規格に従うことができるが、他の規格及びプロトコルが使用されてもよい。

いくつかの実例では、ＳｏＣ１３０４は、２０１８年８月１０日に出願された米国特許出願第１６／１０１，２３２号に記載されるような、リアルタイム・レイトレーシング・ハードウェア加速装置を含み得る。リアルタイム・レイトレーシング・ハードウェア加速装置は、ＲＡＤＡＲ信号解釈のための、音響伝播合成及び／又は分析のための、ＳＯＮＡＲシステムのシミュレーションのための、一般波伝播シミュレーションのための、ローカリゼーション及び／又は他の機能を目的とするＬＩＤＡＲデータに対する比較のための、及び／又は他の使用のための、リアルタイム視覚化シミュレーションを生成するために、（たとえば、世界モデル内の）物体の位置及び規模を迅速に効率的に決定するために使用され得る。一部の実施例では、１個又は複数の木の走査ユニット（ＴＴＵ：ｔｒｅｅｔｒａｖｅｒｓａｌｕｎｉｔ）が、１個又は複数のレイトレーシング関連動作を実行するために使用され得る。

加速装置１３１４（たとえば、ハードウェア加速装置クラスタ）は、自律運転のための多様な用途を有する。ＰＶＡは、ＡＤＡＳ及び自律型車両における極めて重要な処理段階に使用され得るプログラマブル・ビジョン加速装置でもよい。ＰＶＡの能力は、低電力及び低レイテンシにおいて、予測可能な処理を必要とするアルゴリズムの領域にふさわしい。言い換えれば、ＰＶＡは、低レイテンシ及び低電力とともに予測可能な実行時間を必要とする、小さなデータ集合上でも、半高密度の又は高密度の通常の計算で上手く機能する。それ故に、ＰＶＡは、物体検出及び整数計算での動作において効率的であるので、自律型車両のためのプラットフォームとの関連で、ＰＶＡは、クラシック・コンピュータ・ビジョン・アルゴリズムを実行するように設計される。

たとえば、本技術の１個の実施例によれば、ＰＶＡは、コンピュータ・ステレオ・ビジョンを実行するために使用される。半グローバルなマッチングベースのアルゴリズムが、一部の実例では使用され得るが、これは制限することを意図されていない。レベル３～５の自律運転のための多数のアプリケーションは、動き推定／ステレオ・マッチング・オンザフライ（たとえば、ＳＦＭ（ｓｔｒｕｃｔｕｒｅｆｒｏｍｍｏｔｉｏｎ）、歩行者認識、レーン検出など）を必要とする。ＰＶＡは、２個の単眼カメラからの入力でコンピュータ・ステレオ・ビジョン機能を実行することができる。

いくつかの実例では、ＰＶＡは、高密度のオプティカル・フローを実行するために使用され得る。たとえば、ＰＶＡは、未加工のＲＡＤＡＲデータを処理して（たとえば、４Ｄ高速フーリエ変換を使用して）、次のＲＡＤＡＲパルスを放射する前に処理済みのＲＡＤＡＲ信号を提供するために、使用され得る。他の実例において、ＰＶＡは、たとえば、飛行データの未加工の時間を処理して飛行データの処理済み時間を提供することにより、飛行深度処理の時間に使用される。

ＤＬＡは、たとえば、各物体検出の信頼性の測定値を出力するニューラル・ネットワークを含む、制御及び運転安全性を強化するために任意のタイプのネットワークを実行するために使用され得る。そのような信頼性値は、確率として、又は他の検出と比較した各検出の相対的「重み」を提供するものとして、解釈され得る。この信頼性値は、どの検出が偽陽性検出ではなくて真陽性検出と考えられるべきであるかに関するさらなる決定をシステムが行うことを可能にする。たとえば、システムは、信頼性の閾値を設定し、真陽性検出としての閾値を超える検出のみを考慮することができる。自動緊急ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃｅｍｅｒｇｅｎｃｙｂｒａｋｉｎｇ）システムにおいて、偽陽性検出は、移動車に緊急ブレーキを自動で実行させることになり、これは明らかに望ましくない。したがって、最も確信のある検出のみが、ＡＥＢのトリガとして考えられるべきである。ＤＬＡは、信頼性値を退行するニューラル・ネットワークを実行し得る。ニューラル・ネットワークは、境界ボックス次元、（たとえば、別のサブシステムから）取得されたグラウンド・プレーン推定、ニューラル・ネットワーク及び／又は他のセンサ（たとえば、ＬＩＤＡＲセンサ１３６４又はＲＡＤＡＲセンサ１３６０）から取得された物体の移動車１３００方位、距離、３Ｄ位置推定と相関する慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌｍｅａｓｕｒｅｍｅｎｔｕｎｉｔ）センサ１３６６出力、その他など、少なくともいくつかのサブセットのパラメータをその入力として受け取ることができる。

ＳｏＣ１３０４は、データ・ストア１３１６（たとえば、メモリ）を含み得る。データ・ストア１３１６は、ＳｏＣ１３０４のオンチップ・メモリでもよく、ＧＰＵ及び／又はＤＬＡで実行されることになるニューラル・ネットワークを記憶することができる。いくつかの実例では、データ・ストア１３１６は、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分な大きさの容量を有し得る。データ・ストア１３１６は、Ｌ２又はＬ３キャッシュ１３１２を備え得る。データ・ストア１３１６の参照は、本明細書に記載のような、ＰＶＡ、ＤＬＡ、及び／又は他の加速装置１３１４に関連するメモリの参照を含み得る。

ＳｏＣ１３０４は、１個又は複数のプロセッサ１３１０（たとえば、組み込まれたプロセッサ）を含み得る。プロセッサ１３１０は、ブート電力及び管理能力及び関連するセキュリティ施行を処理するための専用のプロセッサ及びサブシステムでもよいブート及び電力管理プロセッサを含み得る。ブート及び電力管理プロセッサは、ＳｏＣ１３０４ブート・シーケンスの一部でもよく、実行時間電力管理サービスを提供することができる。ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、ＳｏＣ１３０４熱及び温度センサの管理、及び／又はＳｏＣ１３０４電力状態の管理を提供することができる。各温度センサは、その出力頻度が温度に比例するリング発振器として実装されてもよく、ＳｏＣ１３０４は、リング発振器を使用してＣＰＵ１３０６、ＧＰＵ１３０８、及び／又は加速装置１３１４の温度を検出することができる。温度が、閾値を超えたと判定された場合、ブート及び電力管理プロセッサは、温度障害ルーティンに入り、ＳｏＣ１３０４をより低い電力状態に置く及び／又は移動車１３００をショーファーの安全停止モードにする（たとえば、移動車１３００を安全停止させる）ことができる。

プロセッサ１３１０は、オーディオ処理エンジンの機能を果たし得る１セットの組み込まれたプロセッサをさらに含み得る。オーディオ処理エンジンは、複数のインターフェースを介するマルチチャネル・オーディオの完全なハードウェア・サポートとオーディオＩ／Ｏインターフェースの広く柔軟な範囲とを可能にするオーディオ・サブシステムでもよい。いくつかの実例では、オーディオ処理エンジンは、専用のＲＡＭを有するデジタル信号プロセッサを有する専用のプロセッサ・コアである。

プロセッサ１３１０は、低電力センサ管理及びウェイク使用事例をサポートするための必要なハードウェア特徴を提供することができる常時オンのプロセッサ・エンジンをさらに含み得る。常時オンのプロセッサ・エンジンは、プロセッサ・コア、しっかりと結合されたＲＡＭ、支援周辺装置（たとえば、タイマ及び割り込みコントローラ）、様々なＩ／Ｏコントローラ周辺装置、及びルーティング論理を含み得る。

プロセッサ１３１０は、自動車のアプリケーションの安全性管理を処理するために専用のプロセッサ・サブシステムを含む安全性クラスタ・エンジンをさらに含み得る。安全性クラスタ・エンジンは、２個以上のプロセッサ・コア、しっかりと結合されたＲＡＭ、サポート周辺装置（たとえば、タイマ、割り込みコントローラなど）、及び／又はルーティング論理を含み得る。安全性モードにおいて、２個以上のコアは、ロックステップ・モードにおいて動作し、それらの動作の間の何らかの差を検出するための比較論理を有する単一のコアとして機能することができる。

プロセッサ１３１０は、リアルタイム・カメラ管理を処理するための専用のプロセッサ・サブシステムを含み得るリアルタイム・カメラ・エンジンをさらに含み得る。

プロセッサ１３１０は、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る高ダイナミック・レンジ信号プロセッサをさらに含み得る。

プロセッサ１３１０は、プレイヤ・ウインドウのための最終的画像を生み出すためにビデオ再生アプリケーションによって必要とされるビデオ処理後機能を実装する処理ブロック（たとえば、マイクロプロセッサに実装された）でもよいビデオ画像合成器を含み得る。ビデオ画像合成器は、ワイドビュー・カメラ１３７０で、サラウンド・カメラ１３７４で、及び／又はキャビン内監視カメラ・センサでレンズ歪み補正を実行することができる。キャビン内監視カメラ・センサは好ましくは、キャビン内イベントを識別し、適切に応答するように構成された、高度ＳｏＣの別のインスタンス上で実行するニューラル・ネットワークによって監視される。キャビン内システムは、セルラ・サービスをアクティブにする及び電話をかける、電子メールを書き取らせる、移動車の目的地を変更する、移動車のインフォテインメント・システム及び設定をアクティブにする又は変更する、或いは音声起動型ウェブ・サーフィンを提供するために、読唇術を実行することができる。ある特定の機能は、自律モードで動作しているときにのみ運転者に利用可能であり、そうでない場合には無効にされる。

ビデオ画像合成器は、空間的ノイズ低減及び時間的ノイズ低減の両方のための強化された時間的ノイズ低減を含み得る。たとえば、動きがビデオ内で生じた場合、ノイズ低減は、隣接するフレームによって提供される情報の重みを減らし、空間的情報に適切に重みを加える。画像又は画像の一部が動きを含まない場合、ビデオ画像合成器によって実行される時間的ノイズ低減は、前の画像からの情報を使用して現在の画像におけるノイズを減らすことができる。

ビデオ画像合成器はまた、入力ステレオ・レンズ・フレーム上でステレオ・レクティフィケーションを実行するように構成され得る。ビデオ画像合成器はさらに、オペレーティング・システム・デスクトップが使用中であるときにユーザ・インターフェース合成のために使用することができ、ＧＰＵ１３０８は、新しい表面を連続してレンダリングために必要とされない。ＧＰＵ１３０８の電源が入れられ、３Ｄレンダリングをアクティブに行っているときでも、ビデオ画像合成器は、ＧＰＵ１３０８をオフロードしてパフォーマンス及び反応性を向上させるために使用され得る。

ＳｏＣ１３０４は、カメラからビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース（ＭＩＰＩ：ｍｏｂｉｌｅｉｎｄｕｓｔｒｙｐｒｏｃｅｓｓｏｒｉｎｔｅｒｆａｃｅ）カメラ・シリアル・インターフェース、高速インターフェース、及び／又は、カメラ及び関連画素入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。ＳｏＣ１３０４は、ソフトウェアによって制御され得る、及び特定の役割にコミットされていないＩ／Ｏ信号を受信するために使用され得る、入力／出力コントローラをさらに含み得る。

ＳｏＣ１３０４は、周辺装置、オーディオ・コーデック、電力管理、及び／又は他のデバイスとの通信を可能にするために、広範囲の周辺インターフェースをさらに含み得る。ＳｏＣ１３０４は、（たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット（登録商標）を介して接続された）カメラからのデータ、センサ（たとえば、イーサネット（登録商標）を介して接続され得るＬＩＤＡＲセンサ１３６４、ＲＡＤＡＲセンサ１３６０など）、バス１３０２からのデータ（たとえば、移動車１３００のスピード、ハンドル位置など）、（たとえば、イーサネット（登録商標）又はＣＡＮバスを介して接続された）ＧＮＳＳセンサ１３５８からのデータを処理するために使用され得る。ＳｏＣ１３０４は、独自のＤＭＡエンジンを含み得る及びルーティン・データ管理タスクからＣＰＵ１３０６を解放するために使用され得る専用の高性能大容量記憶コントローラをさらに含み得る。

ＳｏＣ１３０４は、自動化レベル３～５に広がる柔軟なアーキテクチャを有する終端間プラットフォームでもよく、それによって、多様性及び冗長性のためにコンピュータ・ビジョン及びＡＤＡＳ技法を活用し、効率的に使用し、深層学習ツールとともに、柔軟な、信頼できる運転ソフトウェア・スタックのためのプラットフォームを提供する、総合的機能的安全性アーキテクチャを提供する。ＳｏＣ１３０４は、従来のシステムよりも高速で、信頼でき、さらにエネルギ効率がよく、空間効率がよくなり得る。たとえば、加速装置１３１４が、ＣＰＵ１３０６と結合されるとき、ＧＰＵ１３０８、及びデータ・ストア１３１６は、レベル３～５の自律型車両のための高速で効率的なプラットフォームを提供することができる。

したがって、本技術は、従来のシステムによって達成することができない能力及び機能性をもたらす。たとえば、コンピュータ・ビジョン・アルゴリズムは、多種多様な視覚的データにわたり多種多様な処理アルゴリズムを実行するために、Ｃプログラミング言語などの高レベルのプログラミング言語を使用して構成され得る、ＣＰＵで実行され得る。しかしながら、ＣＰＵは、しばしば、たとえば、実行時間及び電力消費に関連するものなど、多数のコンピュータ・ビジョン・アプリケーションの性能要件を満たすことができない。具体的には、多数のＣＰＵは、移動車内ＡＤＡＳアプリケーションの要件及び実際のレベル３～５の自律型車両の要件である、リアルタイムでの複合物体検出アルゴリズムを実行することができない。

従来のシステムとは対照的に、ＣＰＵ複合体、ＧＰＵ複合体、及びハードウェア加速クラスタを提供することによって、本明細書に記載の技術は、複数のニューラル・ネットワークが同時に及び／又は連続して実行されることと、レベル３～５の自律運転機能を可能にするために結果が結合されることとを可能にする。たとえば、ＤＬＡ又はｄＧＰＵ（たとえば、ＧＰＵ１３２０）で実行するＣＮＮは、ニューラル・ネットワークが具体的にトレーニングされていない標識を含む、交通標識をスーパーコンピュータが読み取る及び理解することを可能にする、テキスト及び単語認識を含み得る。ＤＬＡは、標識の意味論的理解を識別、解釈、及び提供することと、ＣＰＵ複合体で実行する進路計画立案モジュールに意味論的理解を渡すこととを行うことができる、ニューラル・ネットワークをさらに含み得る。

別の実例として、複数のニューラル・ネットワークは、レベル３、４、又は５の運転に必要とされるように、同時に実行され得る。たとえば、電光とともに、「注意：点滅光は、凍った状態を示す」から成る警告標識は、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。標識自体は、第１の配備されたニューラル・ネットワーク（たとえば、トレーニングされてあるニューラル・ネットワーク）によって交通標識として識別され得、テキスト「点滅光は、凍った状態を示す」は、点滅光が検出されるときには凍った状態が存在することを移動車の進路計画立案ソフトウェア（好ましくはＣＰＵ複合体上で実行する）に知らせる、第２の配備されたニューラル・ネットワークによって解釈され得る。点滅光は、点滅光の存在（又は無いこと）を移動車の進路計画立案ソフトウェアに知らせ、複数のフレームを介して第３の配備されたニューラル・ネットワークを動作させることによって識別され得る。すべての３個のニューラル・ネットワークは、ＤＬＡ内及び／又はＧＰＵ１３０８上などで、同時に実行することができる。

いくつかの実例では、顔認識及び移動車所有者識別のためのＣＮＮは、カメラ・センサからのデータを使用して移動車１３００の正規の運転者及び／又は所有者の存在を識別することができる。常時オンのセンサ処理エンジンは、所有者が運転席側のドアに近づくときに移動車を解錠する及び明かりをつけるために、並びに、セキュリティ・モードにおいて、所有者が移動車を離れるときに移動車の動作を停止させるために、使用され得る。このようにして、ＳｏＣ１３０４は、盗難及び／又は車の乗っ取りに対するセキュリティをもたらす。

別の実例では、緊急車両検出及び識別のためのＣＮＮは、マイクロフォン１３９６からのデータを使用して緊急車両サイレンを検出及び識別することができる。一般分類子を使用してサイレンを検出する及び特徴を手動で抽出する従来のシステムとは対照的に、ＳｏＣ１３０４は、環境の及び都市の音の分類、並びに視覚的データの分類のためにＣＮＮを使用する。好ましい一実施例では、ＤＬＡ上で実行するＣＮＮは、（たとえば、ドップラー効果を使用することによって）緊急車両の相対的終速度を識別するようにトレーニングされる。ＣＮＮはまた、ＧＮＳＳセンサ１３５８によって識別されるように、移動車が稼働しているローカル・エリアに特有の緊急車両を識別するようにトレーニングされ得る。それ故に、たとえば、欧州で稼働しているとき、ＣＮＮは、欧州のサイレンを検出しようとすることになり、そして、米国にあるとき、ＣＮＮは、北米のサイレンのみを識別しようとすることになる。緊急車両が検出された後は、制御プログラムが、緊急車両が通過するまで、超音波センサ１３６２の支援を受けて、移動車を減速する、道の端に停止させる、移動車を駐車する、及び／又は移動車をアイドリングさせる、緊急車両安全性ルーティンを実行するために使用され得る。

移動車は、高速相互接続（たとえば、ＰＣＩｅ）を介してＳｏＣ１３０４に連結され得るＣＰＵ１３１８（たとえば、個別のＣＰＵ、又はｄＣＰＵ）を含み得る。ＣＰＵ１３１８は、たとえば、Ｘ８６プロセッサを含み得る。ＣＰＵ１３１８は、たとえば、ＡＤＡＳセンサとＳｏＣ１３０４との間の潜在的に不整合の結果を調停すること、及び／又はコントローラ１３３６及び／又はインフォテインメントＳｏＣ１３３０の状況及び調子を監視することを含む、様々な機能のいずれかを実行するために使用され得る。

移動車１３００は、高速相互接続（たとえば、ＮＶＩＤＩＡのＮＶＬＩＮＫ）を介してＳｏＣ１３０４に連結され得るＧＰＵ１３２０（たとえば、個別のＧＰＵ、又はｄＧＰＵ）を含み得る。ＧＰＵ１３２０は、冗長及び／又は異なるニューラル・ネットワークを実行することなどによって、付加的人工知能機能をもたらすことができ、移動車１３００のセンサからの入力（たとえば、センサ・データ）に基づいてニューラル・ネットワークをトレーニング及び／又は更新するために使用され得る。

移動車１３００は、１個又は複数のワイヤレス・アンテナ１３２６（たとえば、セルラ・アンテナ、ブルートゥース・アンテナなど、異なる通信プロトコルのための１個又は複数のワイヤレス・アンテナ）を含み得るネットワーク・インターフェース１３２４をさらに含み得る。ネットワーク・インターフェース１３２４は、インターネットを介するクラウドとの（たとえば、サーバ１３７８及び／又は他のネットワーク・デバイスとの）、他の移動車との、及び／又は計算デバイス（たとえば、乗客のクライアント・デバイス）とのワイヤレス接続を使用可能にするために使用され得る。他の移動車と通信するために、直接リンクが２個の移動車の間に確立され得る、及び／又は、間接リンクが（たとえば、ネットワークを通じて及びインターネットを介して）確立され得る。直接リンクは、移動車対移動車通信リンクを使用し、提供され得る。移動車対移動車通信リンクは、移動車１３００に近接する移動車（たとえば、移動車１３００の前の、横の、及び／又は後ろの移動車）に関する移動車１３００情報を提供することができる。この機能は、移動車１３００の共同適応クルーズ制御機能の一部でもよい。

ネットワーク・インターフェース１３２４は、変調及び復調機能を提供する及びコントローラ１３３６がワイヤレス・ネットワークを介して通信することを可能にする、ＳｏＣを含み得る。ネットワーク・インターフェース１３２４は、ベースバンドから無線周波数へのアップコンバージョン、及び無線周波数からベースバンドへのダウンコンバージョンのための無線周波数フロントエンドを含み得る。周波数コンバージョンは、よく知られているプロセスを通して実行することができ、及び／又はスーパーヘテロダイン・プロセスを用いて実行することができる。いくつかの実例では、無線周波数フロントエンド機能は、別個のチップによって提供され得る。ネットワーク・インターフェースは、ＬＴＥ、ＷＣＤＭＡ、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００、ブルートゥース、ブルートゥースＬＥ、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含み得る。

移動車１３００は、チップ外の（たとえば、ＳｏＣ１３０４外の）ストレージを含み得るデータ・ストア１３２８をさらに含み得る。データ・ストア１３２８は、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュ、ハードディスク、及び／又は、少なくとも１ビットのデータを記憶することができる他の構成要素及び／又はデバイスを含む、１個又は複数の記憶素子を含み得る。

車両１３００は、ＧＮＳＳセンサ１３５８（たとえば、ＧＰＳ、及び／又は支援されたＧＰＳセンサ）をさらに含み得、マッピング、知覚、占有グリッド生成、及び／又は進路計画策定機能を支援する。たとえば、シリアル（ＲＳ－２３２）ブリッジへのイーサネット（登録商標）を有するＵＳＢコネクタを使用するＧＰＳを含むが、これに限定されない、任意の数のＧＮＳＳセンサ１３５８が、使用され得る。

移動車１３００は、ＲＡＤＡＲセンサ１３６０をさらに含み得る。ＲＡＤＡＲセンサ１３６０は、暗闇及び／又は厳しい気象条件においても、長距離移動車検出のために移動車１３００によって使用され得る。ＲＡＤＡＲ機能安全性レベルは、ＡＳＩＬＢでもよい。一部の実例では、ＲＡＤＡＲセンサ１３６０は、未加工のデータにアクセスするためのイーサネット（登録商標）へのアクセスを用いて、制御のために及び物体追跡データにアクセスするために（たとえば、ＲＡＤＡＲセンサ１３６０によって生成されたデータを送信するために）ＣＡＮ及び／又はバス１３０２を使用することができる。多種多様なＲＡＤＡＲセンサ・タイプが、使用され得る。たとえば、そして制限なしに、ＲＡＤＡＲセンサ１３６０は、前部、後部、及び側部ＲＡＤＡＲ使用に適し得る。一部の実例では、パルス・ドップラーＲＡＤＡＲセンサが使用される。

ＲＡＤＡＲセンサ１３６０は、狭い視野を有する長距離、広い視野を有する短距離、短距離側部カバレッジなど、異なる構成を含み得る。いくつかの実例では、長距離ＲＡＤＡＲは、適応クルーズ制御機能のために使用され得る。長距離ＲＡＤＡＲシステムは、２５０ｍの範囲内など、２個以上の独立したスキャンによって実現される広い視野を提供することができる。ＲＡＤＡＲセンサ１３６０は、静的物体と動く物体との区別を助けることができ、緊急ブレーキ・アシスト及び前方衝突警報のためのＡＤＡＳシステムによって使用され得る。長距離ＲＡＤＡＲセンサは、複数の（たとえば、６つ以上の）固定ＲＡＤＡＲアンテナと高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースとを有するモノスタティック・マルチモーダルＲＡＤＡＲを含み得る。６つのアンテナを有する一実例では、中央の４個のアンテナは、隣接レーン内の交通からの干渉を最小限にして高速で移動車１３００の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。他の２個のアンテナは、視野を広げることができ、移動車１３００のレーンに入る又はこれを去る移動車を迅速に検出することを可能にする。

一実例として、中距離ＲＡＤＡＲシステムは、１３６０ｍ（前）又は８０ｍ（後）までの範囲、及び４２度（前）又は１３５０度（後）までの視野を含み得る。短距離ＲＡＤＡＲシステムは、後部バンパの両端に設置されるように設計されたＲＡＤＡＲセンサを含み得るが、これに限定されない。後部バンパの両端に設置されるとき、そのようなＲＡＤＡＲセンサ・システムは、移動車の後ろ及び隣の死角を常に監視する２個のビームを作成することができる。

短距離ＲＡＤＡＲシステムは、死角検出及び／又はレーン変更アシストのためにＡＤＡＳシステムにおいて使用され得る。

移動車１３００は、超音波センサ１３６２をさらに含み得る。移動車１３００の前部、後部、及び／又は側部に位置付けられ得る、超音波センサ１３６２は、駐車アシストのために及び／又は占有グリッドの作成及び更新のために使用され得る。多種多様な超音波センサ１３６２が使用され得、異なる超音波センサ１３６２が、異なる範囲の検出（たとえば、２．５ｍ、４ｍ）のために使用され得る。超音波センサ１３６２は、ＡＳＩＬＢの機能的安全性レベルにおいて動作することができる。

移動車１３００はＬＩＤＡＲセンサ１３６４を含み得る。ＬＩＤＡＲセンサ１３６４は、物体及び歩行者検出、緊急ブレーキ、衝突回避、及び／又は他の機能のために使用され得る。ＬＩＤＡＲセンサ１３６４は、機能的安全性レベルＡＳＩＬＢでもよい。いくつかの実例では、移動車１３００は、（たとえば、ギガビット・イーサネット（登録商標）・スイッチにデータを提供するために）イーサネット（登録商標）を使用することができる複数の（たとえば、２個、４個、６個などの）ＬＩＤＡＲセンサ１３６４を含み得る。

いくつかの実例では、ＬＩＤＡＲセンサ１３６４は、物体及び３６０度視野のそれらの距離のリストを提供する能力を有し得る。市販のＬＩＤＡＲセンサ１３６４は、たとえば、２ｃｍ～３ｃｍの精度を有し、１００Ｍｂｐｓイーサネット（登録商標）接続のサポートを有して、約１００ｍの広告された範囲を有し得る。いくつかの実例では、１個又は複数の非突出ＬＩＤＡＲセンサ１３６４が、使用され得る。そのような実例では、ＬＩＤＡＲセンサ１３６４は、移動車１３００の前部、後部、側部、及び／又は角に組み込まれ得る小さいデバイスとして実装され得る。そのような実例では、ＬＩＤＡＲセンサ１３６４は、低反射物体についても２００ｍの範囲を有し、１２０度水平及び３５度垂直視野まで提供することができる。前部に取り付けられたＬＩＤＡＲセンサ１３６４は、４５度と１３５度との間の水平視野向けに構成され得る。

いくつかの実例では、３ＤフラッシュＬＩＤＡＲなどのＬＩＤＡＲ技術もまた使用され得る。３ＤフラッシュＬＩＤＡＲは、約２００ｍまで移動車の周囲を照らすために、送信元としてレーザーのフラッシュを使用する。フラッシュＬＩＤＡＲユニットは、移動車から物体までの範囲に順番に対応する、レーザー・パルス走行時間及び各画素上の反射光を記録する、レセプタを含む。フラッシュＬＩＤＡＲは、周囲の高精度の及び歪みのない画像があらゆるレーザー・フラッシュで生成されることを可能にし得る。いくつかの実例では、４個のフラッシュＬＩＤＡＲセンサが、移動車１３００の各側面に１個ずつ、配備され得る。利用可能な３ＤフラッシュＬＩＤＡＲシステムは、送風機以外に動く部分を有さないソリッドステート３Ｄステアリング・アレイＬＩＤＡＲカメラ（たとえば、非スキャン型ＬＩＤＡＲデバイス）を含む。フラッシュＬＩＤＡＲデバイスは、１フレームにつき５ナノ秒クラスＩ（目に安全な）レーザー・パルスを使用することができ、３Ｄ範囲点群及び共記載された強度データの形で反射レーザー光をキャプチャし得る。フラッシュＬＩＤＡＲを使用することによって、また、フラッシュＬＩＤＡＲは、動く部分を有さないソリッドステート・デバイスであるので、ＬＩＤＡＲセンサ１３６４は、モーション・ブラー、振動、及び／又は衝撃の影響を受けにくくなり得る。

移動車は、ＩＭＵセンサ１３６６をさらに含み得る。一部の実例では、ＩＭＵセンサ１３６６は、移動車１３００の後部車軸の中央に位置付けられ得る。ＩＭＵセンサ１３６６は、たとえば、加速度計、磁力計、ジャイロスコープ、磁気コンパス、及び／又は他のセンサ・タイプを含み得るが、これらに限定されない。いくつかの実例では、６軸アプリケーションなどにおいて、ＩＭＵセンサ１３６６は、加速度計及びジャイロスコープを含み得るが、９軸アプリケーションにおいて、ＩＭＵセンサ１３６６は、加速度計、ジャイロスコープ、及び磁力計を含み得る。

一部の実施例では、ＩＭＵセンサ１３６６は、マイクロ電気機械システム（ＭＥＭＳ：ｍｉｃｒｏ－ｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌｓｙｓｔｅｍ）慣性センサ、高感度ＧＰＳレシーバ、及び高度カルマン・フィルタリング・アルゴリズムを結合して位置、ベロシティ、及び姿勢の推定値を提供するミニチュア、高性能ＧＰＳ支援型慣性航行システム（ＧＰＳ／ＩＮＳ：ＧＰＳ－ＡｉｄｅｄＩｎｅｒｔｉａｌＮａｖｉｇａｔｉｏｎＳｙｓｔｅｍ）として実装され得る。そのようなものとして、一部の実例では、ＩＭＵセンサ１３６６は、ＧＰＳからＩＭＵセンサ１３６６までのベロシティの変化を直接観測すること及び関連付けることによって、磁気センサからの入力を必要とせずに進行方向を移動車１３００が推定することを可能にし得る。いくつかの実例では、ＩＭＵセンサ１３６６及びＧＮＳＳセンサ１３５８は、単一の統合されたユニットにおいて結合され得る。

移動車は、移動車１３００内及び／又は周囲に置かれたマイクロフォン１３９６を含み得る。マイクロフォン１３９６は、中でも、緊急車両検出及び識別のために使用され得る。

移動車は、ステレオ・カメラ１３６８、ワイドビュー・カメラ１３７０、赤外線カメラ１３７２、サラウンド・カメラ１３７４、長距離及び／又は中距離カメラ１３９８、及び／又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。カメラは、移動車１３００の全外面の周りの画像データをキャプチャするために使用され得る。使用されるカメラのタイプは、移動車１３００の実施例及び要件に応じて決まり、任意の組合せのカメラ・タイプが、移動車１３００の周りの必要なカバレッジを実現するために使用され得る。加えて、カメラの数は、実施例に応じて異なり得る。たとえば、移動車は、６個のカメラ、７個のカメラ、１０個のカメラ、１２個のカメラ、及び／又は別の数のカメラを含み得る。カメラは、一実例として、ギガビット・マルチメディア・シリアル・リンク（ＧＭＳＬ：ＧｉｇａｂｉｔＭｕｌｔｉｍｅｄｉａＳｅｒｉａｌＬｉｎｋ）及び／又はギガビット・イーサネット（登録商標）をサポートし得るが、これに限定されない。それぞれのカメラは、図１３Ａ及び図１３Ｂに関連して本明細書においてさらに詳しく説明される。

移動車１３００は、振動センサ１３４２をさらに含み得る。振動センサ１３４２は、車軸など、移動車の構成要素の振動を測定することができる。たとえば、振動の変化は、道路の表面の変化を示し得る。別の実例では、２個以上の振動センサ１３４２が使用されるとき、振動の差は、道路表面の摩擦又は滑りを判定するために使用され得る（たとえば、振動の差が電力駆動車軸と自由回転車軸との間であるとき）。

移動車１３００は、ＡＤＡＳシステム１３３８を含み得る。一部の実例では、ＡＤＡＳシステム１３３８は、ＳｏＣを含み得る。ＡＤＡＳシステム１３３８は、自律／適応／自動クルーズ制御（ＡＣＣ：ａｕｔｏｎｏｍｏｕｓ／ａｄａｐｔｉｖｅ／ａｕｔｏｍａｔｉｃｃｒｕｉｓｅｃｏｎｔｒｏｌ）、共同適応クルーズ制御（ＣＡＣＣ：ｃｏｏｐｅｒａｔｉｖｅａｄａｐｔｉｖｅｃｒｕｉｓｅｃｏｎｔｒｏｌ）、前方衝突警報（ＦＣＷ：ｆｏｒｗａｒｄｃｒａｓｈｗａｒｎｉｎｇ）、自動緊急ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃｅｍｅｒｇｅｎｃｙｂｒａｋｉｎｇ）、車線逸脱警報（ＬＤＷ：ｌａｎｅｄｅｐａｒｔｕｒｅｗａｒｎｉｎｇ）、レーン・キープ・アシスト（ＬＫＡ：ｌａｎｅｋｅｅｐａｓｓｉｓｔ）、死角警報（ＢＳＷ：ｂｌｉｎｄｓｐｏｔｗａｒｎｉｎｇ）、後部交差交通警報（ＲＣＴＷ：ｒｅａｒｃｒｏｓｓ－ｔｒａｆｆｉｃｗａｒｎｉｎｇ）、衝突警報システム（ＣＷＳ：ｃｏｌｌｉｓｉｏｎｗａｒｎｉｎｇｓｙｓｔｅｍ）、レーン・センタリング（ＬＣ：ｌａｎｅｃｅｎｔｅｒｉｎｇ）、及び／又は他の特徴及び機能を含み得る。

ＡＣＣシステムは、ＲＡＤＡＲセンサ１３６０、ＬＩＤＡＲセンサ１３６４、及び／又はカメラを使用し得る。ＡＣＣシステムは、縦ＡＣＣ及び／又は横ＡＣＣを含み得る。縦ＡＣＣは、移動車１３００の直ぐ前の移動車までの距離を監視及び制御し、前方の移動車からの安全距離を維持するために移動車速度を自動的に調整する。横ＡＣＣは、距離の保持を実行し、必要なときにレーンを変更するように移動車１３００にアドバイスする。横ＡＣＣは、ＬＣ及びＣＷＳなどの他のＡＤＡＳアプリケーションに関連する。

ＣＡＣＣは、ワイヤレス・リンクを介して他の移動車からネットワーク・インターフェース１３２４及び／又はワイヤレス・アンテナ１３２６を介して、或いは間接的にネットワーク接続を介して（たとえば、インターネットを介して）、受信することができる、他の移動車からの情報を使用する。直接リンクは、移動車対移動車（Ｖ２Ｖ：ｖｅｈｉｃｌｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって提供され得、一方、間接リンクは、インフラストラクチャ対移動車（Ｉ２Ｖ：ｉｎｆｒａｓｔｒｕｃｔｕｒｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクでもよい。一般に、Ｖ２Ｖ通信概念は、直前の移動車（たとえば、移動車１３００と同じレーン内にある、移動車１３００の直ぐ前の移動車）に関する情報を提供し、一方、Ｉ２Ｖ通信概念は、さらに前の交通に関する情報を提供する。ＣＡＣＣシステムは、Ｉ２Ｖ情報ソースとＶ２Ｖ情報ソースとのいずれか又は両方を含み得る。移動車１３００の前方の移動車の情報を所与として、ＣＡＣＣは、より高信頼になり得、ＣＡＣＣは、交通の流れをよりスムーズにし、道路の渋滞を減らす可能性を有する。

運転者が修正行動を取ることができるように、ＦＣＷシステムは、危険を運転者に警告するように設計される。ＦＣＷシステムは、ディスプレイ、スピーカ、及び／又は振動する構成要素など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ１３６０を使用する。ＦＣＷシステムは、音響、視覚的警報、振動及び／又はクイック・ブレーキ・パルスなどの形で、警報を提供することができる。

ＡＥＢシステムは、別の移動車又は他の物体との差し迫った前方衝突を検出し、運転者が指定された時間又は距離パラメータ内に修正行動を取らない場合に、ブレーキを自動的に適用することができる。ＡＥＢシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ１３６０を使用することができる。ＡＥＢシステムが危険を検出するとき、ＡＥＢシステムは通常は、先ず、衝突を回避するための修正行動を取るように運転者に警告し、運転者が修正行動を取らない場合、ＡＥＢシステムは、予測される衝突の影響を防ぐ、又は少なくとも軽減するための努力の一環としてブレーキを自動的に適用することができる。ＡＥＢシステムは、ダイナミック・ブレーキ・サポート及び／又は衝突切迫ブレーキなどの技法を含み得る。

ＬＤＷシステムは、ハンドル又はシートの振動など、視覚的、可聴式、及び／又は触覚的警報を提供して、移動車１３００が車線区分線を越えたときに運転者に警告する。ＬＤＷシステムは、運転者が、方向指示器を起動することによって、意図的な車線逸脱を指示するときには、起動しない。ＬＤＷシステムは、ディスプレイ、スピーカ、及び／又は振動する構成要素など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前側を向いたカメラを使用することができる。

ＬＫＡシステムは、ＬＤＷシステムの変更形態である。ＬＫＡシステムは、移動車１３００が車線をはみ出し始めた場合に移動車１３００を修正するためにステアリング入力又はブレーキを提供する。

ＢＳＷシステムは、自動車の死角において移動車の運転者に検出及び警告する。ＢＳＷシステムは、合流又はレーンの変更が安全ではないことを指示するために視覚的、可聴式、及び／又は触覚的警告を提供することができる。本システムは、運転者が方向指示灯を使用するとき、付加的な警告を提供することができる。ＢＳＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に結合された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、後ろ側を向いたカメラ及び／又はＲＡＤＡＲセンサ１３６０を使用することができる。

ＲＣＴＷシステムは、車両１３００がバックしているときにリアカメラの範囲外で物体が検出されたときに、視覚的、可聴式、及び／又は触覚的通知を提供することができる。いくつかのＲＣＴＷシステムは、衝突を避けるために車両ブレーキが適用されることを確実にするために、ＡＥＢを含む。ＲＣＴＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に結合された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、１個又は複数の後ろを向いたＲＡＤＡＲセンサ１３６０を使用することができる。

従来のＡＤＡＳシステムは、運転者に警告し、安全状態が本当に存在するかどうかを運転者が判定し、それに応じて行動することを可能にするので、従来のＡＤＡＳシステムは、通常は壊滅的ではないが、運転者を悩ませている及び気を散らせていることがある偽陽性結果を生み出す傾向にあることがあった。しかしながら、自律型車両１３００では、結果が矛盾する場合には、移動車１３００自体が、１次的コンピュータ又は２次的コンピュータ（たとえば、第１のコントローラ１３３６又は第２のコントローラ１３３６）からの結果を聞き入れるかどうかを決定しなければならない。たとえば、一部の実施例では、ＡＤＡＳシステム１３３８は、知覚情報をバックアップ・コンピュータ合理性モジュールに提供するためのバックアップ及び／又は２次的コンピュータでもよい。バックアップ・コンピュータ合理性モニタは、ハードウェア構成要素で冗長な多様なソフトウェアを実行して、知覚及び動的運転タスクにおいて障害を検出することができる。ＡＤＡＳシステム１３３８からの出力は、監督ＭＣＵに提供され得る。１次的コンピュータ及び２次的コンピュータからの出力が矛盾する場合、監督ＭＣＵは、安全な動作を確実にするためにその矛盾をどのように調整するかを決定する必要がある。

いくつかの実例では、１次的コンピュータは、選択された結果における１次的コンピュータの信頼性を指示する、信頼性スコアを監督ＭＣＵに提供するように構成され得る。信頼性スコアが閾値を超えた場合、監督ＭＣＵは、２次的コンピュータが矛盾する又は不整合の結果を与えるかどうかにかかわらず、１次的コンピュータの指示に従い得る。信頼性スコアが閾値を満たさない場合、及び１次的及び２次的コンピュータが異なる結果を示す（たとえば、矛盾する）場合、監督ＭＣＵは、コンピュータの間で調停して適切な結果を決定することができる。

監督ＭＣＵは、２次的コンピュータが誤ったアラームを提供する状態を、１次的コンピュータ及び２次的コンピュータからの出力に基づいて、判定するようにトレーニング及び構成されたニューラル・ネットワークを実行するように構成され得る。したがって、監督ＭＣＵ内のニューラル・ネットワークは、２次的コンピュータの出力が信頼され得るとき、及びそれが信頼され得ないときを学習することができる。たとえば、２次的コンピュータがＲＡＤＡＲベースのＦＣＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、アラームをトリガする下水溝の鉄格子又はマンホールの蓋など、実際には危険ではない金属製の物をいつＦＣＷが識別しているかを学習することができる。同様に、２次的コンピュータがカメラベースのＬＤＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、自転車に乗った人又は歩行者が存在し、車線逸脱が、実際には、最も安全な操作であるときに、ＬＤＷを無視することを学習することができる。監督ＭＣＵ上で実行中のニューラル・ネットワークを含む実施例では、監督ＭＣＵは、関連メモリを有するニューラル・ネットワークを実行するのに適したＤＬＡ又はＧＰＵのうちの少なくとも１個を含み得る。好ましい実施例において、監督ＭＣＵは、ＳｏＣ１３０４の構成要素を備え得る、及び／又はＳｏＣ１３０４の構成要素として含まれ得る。

他の実例において、ＡＤＡＳシステム１３３８は、コンピュータ・ビジョンの従来のルールを使用するＡＤＡＳ機能を実行する２次的コンピュータを含み得る。そのようなものとして、２次的コンピュータは、古典的コンピュータ・ビジョン・ルール（ｉｆ－ｔｈｅｎ）を使用することができ、監督ＭＣＵ内のニューラル・ネットワークの存在は、信頼性、安全性及び性能を向上させることができる。たとえば、多様な実装形態及び意図的な非同一性は、特にソフトウェア（又はソフトウェア－ハードウェア・インターフェース）機能によって引き起こされる障害に対して、システム全体をよりフォールトトレラントにする。たとえば、１次的コンピュータで実行中のソフトウェア内にソフトウェア・バグ又はエラーが存在し、２次的コンピュータで実行中の同一でないソフトウェア・コードが同じ総合的結果を提供する場合、監督ＭＣＵは、総合的結果は正しく、１次的コンピュータによって使用されるソフトウェア又はハードウェア内のバグは重大なエラーを引き起こしていないというより大きな確信を有し得る。

いくつかの実例では、ＡＤＡＳシステム１３３８の出力は、１次的コンピュータの知覚ブロック及び／又は１次的コンピュータの動的運転タスク・ブロックに供給され得る。たとえば、ＡＤＡＳシステム１３３８が、直ぐ前の物体が原因で、前方衝突警報を示した場合、知覚ブロックは、物体を識別するときに、この情報を使用することができる。他の実例において、２次的コンピュータは、本明細書に記載のように、トレーニングされ、それ故に偽陽性のリスクを減らす、独自のニューラル・ネットワークを有し得る。

移動車１３００は、インフォテインメントＳｏＣ１３３０（たとえば、移動車内のインフォテインメント・システム（ＩＶＩ：ｉｎ－ｖｅｈｉｃｌｅｉｎｆｏｔａｉｎｍｅｎｔｓｙｓｔｅｍ））をさらに含み得る。ＳｏＣとして図示及び記述されているが、インフォテインメント・システムは、ＳｏＣでなくてもよく、２個以上の個別の構成要素を含み得る。インフォテインメントＳｏＣ１３３０は、オーディオ（たとえば、音楽、携帯情報端末、ナビゲーション命令、ニュース、無線など）、ビデオ（たとえば、ＴＶ、映画、ストリーミングなど）、電話（たとえば、ハンズフリー通話）、ネットワーク接続（たとえば、ＬＴＥ、Ｗｉ－Ｆｉなど）、及び／又は情報サービス（たとえば、ナビゲーション・システム、後方駐車支援、無線データシステム、燃料レベル、総移動距離、ブレーキ燃料レベル、オイル・レベル、ドアを開ける／閉じる、エア・フィルタ情報などの移動車関連情報）を移動車１３００に提供するために使用され得るハードウェア及びソフトウェアの組合せを含み得る。たとえば、インフォテインメントＳｏＣ１３３０は、無線、ディスク・プレイヤ、ナビゲーション・システム、ビデオ・プレイヤ、ＵＳＢ及びブルートゥース接続、カーピュータ、車内エンターテインメント、Ｗｉ－Ｆｉ、ハンドル・オーディオ制御装置、ハンズ・フリー音声制御、ヘッドアップ・ディスプレイ（ＨＵＤ：ｈｅａｄｓ－ｕｐｄｉｓｐｌａｙ）、ＨＭＩディスプレイ１３３４、テレマティックス・デバイス、制御パネル（たとえば、様々な構成要素、特徴、及び／又はシステムを制御する及び／又はこれと相互に作用するための）、及び／又は他の構成要素を含んでもよい。インフォテインメントＳｏＣ１３３０は、ＡＤＡＳシステム１３３８からの情報、計画された移動車操作などの自律運転情報、軌道、周囲環境情報（たとえば、交差点情報、移動車情報、道路情報など）、及び／又は他の情報など、移動車のユーザへの情報（たとえば、視覚的及び／又は可聴式の）を提供するためにさらに使用され得る。

インフォテインメントＳｏＣ１３３０は、ＧＰＵ機能性を含み得る。インフォテインメントＳｏＣ１３３０は、バス１３０２（たとえば、ＣＡＮバス、イーサネット（登録商標）など）を介して、移動車１３００の他のデバイス、システム、及び／又は構成要素と通信することができる。いくつかの実例では、インフォテインメント・システムのＧＰＵが、１次的コントローラ１３３６（たとえば、移動車１３００の１次的及び／又はバックアップ・コンピュータ）が故障した場合に、いくつかのセルフドライブ機能を実行することができるように、インフォテインメントＳｏＣ１３３０は、監督ＭＣＵに連結され得る。そのような実例では、インフォテインメントＳｏＣ１３３０は、本明細書に記載のように、移動車１３００をショーファーの安全停止モードにすることができる。

移動車１３００は、計器群１３３２（たとえば、デジタル・ダッシュ、電子計器群、デジタル計器パネルなど）をさらに含み得る。計器群１３３２は、コントローラ及び／又はスーパーコンピュータ（たとえば、個別のコントローラ又はスーパーコンピュータ）を含み得る。計器群１３３２は、スピードメーター、燃料レベル、油圧、タコメーター、オドメーター、方向指示器、ギアシフト位置インジケータ、シートベルト警告灯、パーキングブレーキ警告灯、エンジン故障灯、エアバッグ（ＳＲＳ）システム情報、照明制御装置、安全システム制御装置、ナビゲーション情報など、１セットの器具類を含み得る。いくつかの実例では、情報は、インフォテインメントＳｏＣ１３３０及び計器群１３３２の間で表示及び／又は共有され得る。言い換えれば、計器群１３３２は、インフォテインメントＳｏＣ１３３０の一部として含まれてもよく、逆もまた同様である。

図１３Ｄは、本開示のいくつかの実施例による、図１３Ａのクラウドベースのサーバと例示的自律型車両１３００との間の通信のシステム図である。システム１３７６は、サーバ１３７８、ネットワーク１３９０、及び、移動車１３００を含む移動車を含み得る。サーバ１３７８は、複数のＧＰＵ１３８４（Ａ）～１３８４（Ｈ）（本明細書でＧＰＵ１３８４と総称される）、ＰＣＩｅスイッチ１３８２（Ａ）～１３８２（Ｈ）（本明細書でＰＣＩｅスイッチ１３８２と総称される）、及び／又はＣＰＵ１３８０（Ａ）～１３８０（Ｂ）（本明細書でＣＰＵ１３８０と総称される）を含み得る。ＧＰＵ１３８４、ＣＰＵ１３８０、及びＰＣＩｅスイッチは、たとえば、ＮＶＩＤＩＡによって開発されたＮＶＬｉｎｋインターフェース１３８８及び／又はＰＣＩｅ接続１３８６などの、これらに限定されない、高速相互接続で相互に接続され得る。いくつかの実例では、ＧＰＵ１３８４は、ＮＶＬｉｎｋ及び／又はＮＶＳｗｉｔｃｈＳｏＣを介して接続され、ＧＰＵ１３８４及びＰＣＩｅスイッチ１３８２は、ＰＣＩｅ相互接続を介して接続される。８個のＧＰＵ１３８４、２個のＣＰＵ１３８０、及び２個のＰＣＩｅスイッチが図示されているが、これは制限を意図されていない。実施例に応じて、それぞれのサーバ１３７８は、任意の数のＧＰＵ１３８４、ＣＰＵ１３８０、及び／又はＰＣＩｅスイッチを含み得る。たとえば、サーバ１３７８は、それぞれ、８個、１６個、３２個、及び／又はそれ以上のＧＰＵ１３８４を含み得る。

サーバ１３７８は、最近開始された道路工事など、予想外の又は変更された道路状態を示す画像を表す画像データを、ネットワーク１３９０を介して、移動車から、受信することができる。サーバ１３７８は、ニューラル・ネットワーク１３９２、更新されたニューラル・ネットワーク１３９２、及び／又は、交通及び道路状態に関する情報を含むマップ情報１３９４をネットワーク１３９０を介して移動車に送信することができる。マップ情報１３９４の更新は、建設現場、くぼみ、迂回路、洪水、及び／又は他の障害物に関する情報など、ＨＤマップ１３２２の更新を含み得る。いくつかの実例では、ニューラル・ネットワーク１３９２、更新されたニューラル・ネットワーク１３９２、及び／又はマップ情報１３９４は、環境において任意の数の移動車から受信されたデータにおいて表された新しいトレーニング及び／又は経験から、及び／又は（たとえば、サーバ１３７８及び／又は他のサーバを使用する）データセンタにおいて実行されたトレーニングに基づいて、生じた可能性がある。

サーバ１３７８は、トレーニング・データに基づいてマシン学習モデル（たとえば、ニューラル・ネットワーク）をトレーニングするために使用され得る。トレーニング・データは、移動車によって生成され得る、及び／又は（たとえば、ゲーム・エンジンを使用して）シミュレーションにおいて生成され得る。いくつかの実例では、トレーニング・データは、タグ付けされる（たとえば、ニューラル・ネットワークが、監督された学習の恩恵を受ける場合）及び／又は他の事前処理を受けるが、他の実例において、トレーニング・データは、タグ付け及び／又は事前処理されない（たとえば、ニューラル・ネットワークが、監督された学習を必要としない場合）。トレーニングは、たとえば以下のクラスを含むがこれらに限定されない、任意の１個又は複数のクラスのマシン学習技法に従って、実行され得る：監視されたトレーニング、半監視されたトレーニング、監視されていないトレーニング、自己学習、強化学習、連合型学習、転移学習、特徴学習（主要構成要素及びクラスタ分析を含む）、マルチ線形部分空間学習、多様体学習、表現学習（予備辞書学習を含む）、ルールに基づくマシン学習、異常検出、及びそれらの変更形態若しくは組合せ。マシン学習モデルがトレーシングされた後は、マシン学習モデルは、移動車によって使用され得（たとえば、ネットワーク１３９０を介して移動車に送信される）、及び／又は、マシン学習モデルは、移動車を遠隔監視するために、サーバ１３７８によって使用され得る。

いくつかの実例では、サーバ１３７８は、移動車からデータを受信し、リアルタイムのインテリジェント推論のために最新のリアルタイムのニューラル・ネットワークにデータを適用することができる。サーバ１３７８は、ＮＶＩＤＩＡによって開発されたＤＧＸ及びＤＧＸステーション・マシンなど、ＧＰＵ１３８４によって電力供給される深層学習スーパーコンピュータ及び／又は専用のＡＩコンピュータを含み得る。しかしながら、一部の実例では、サーバ１３７８は、ＣＰＵ電源式データセンタのみを使用する深層学習インフラストラクチャを含み得る。

サーバ１３７８の深層学習インフラストラクチャは、高速のリアルタイム推論の能力を有することでき、その能力を使用して移動車１３００内のプロセッサ、ソフトウェア、及び／又は関連ハードウェアの調子を評価及び検証することができる。たとえば、深層学習インフラストラクチャは、移動車１３００がそのシーケンスの画像内に位置したシーケンスの画像及び／又は物体など、移動車１３００からの定期的更新を受信することができる（たとえば、コンピュータ・ビジョン及び／又は他のマシン学習物体分類技法を介して）。深層学習インフラストラクチャは、物体を識別し、移動車１３００によって識別された物体とそれらを比較するために、独自のニューラル・ネットワークを実行することができ、結果が一致せず、インフラストラクチャが、移動車１３００内のＡＩは正常に機能していないという結論を下した場合、サーバ１３７８は、制御を推測し、乗客に通知し、安全な駐車操作を完了するように移動車１３００のフェイルセーフ・コンピュータに命じる移動車１３００への信号を送信することができる。

推論のために、サーバ１３７８は、ＧＰＵ１３８４及び１個又は複数のプログラマブル推論加速装置（たとえば、ＮＶＩＤＩＡのＴｅｎｓｏｒＲＴ）を含み得る。ＧＰＵ電源式サーバ及び推論加速の組合せは、リアルタイムの反応性を可能にすることができる。パフォーマンスがさほど必要とされない場合など、他の実例では、ＣＰＵ、ＦＰＧＡ、及び他のプロセッサによって電力供給されるサーバが、推論のために使用され得る。

例示的計算デバイス
図１４は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス１４００の一実例のブロック図である。計算デバイス１４００は、以下のデバイスを直接的に又は間接的につなぐ相互接続システム１４０２を含み得る：メモリ１４０４、１個又は複数の中央処理装置（ＣＰＵ）１４０６、１個又は複数のグラフィック処理ユニット（ＧＰＵ）１４０８、通信インターフェース１４１０、入力／出力（Ｉ／Ｏ）ポート１４１２、入力／出力構成要素１４１４、電力供給装置１４１６、１個又は複数の提示構成要素１４１８（たとえば、ディスプレイ）、及び１つ又は複数の論理ユニット１４２０。

図１４の様々なブロックは、線で相互接続システム１４０２を介して接続しているように示されているが、これは制限することを意図されておらず、単に分かりやすくするためである。たとえば、一部の実施例では、表示デバイスなどの提示構成要素１４１８は、Ｉ／Ｏ構成要素１４１４と考えられ得る（たとえば、ディスプレイがタッチ・スクリーンである場合）。別の実例として、ＣＰＵ１４０６及び／又はＧＰＵ１４０８はメモリを含み得る（たとえば、メモリ１４０４は、ＧＰＵ１４０８、ＣＰＵ１４０６、及び／又は他の構成要素のメモリに加えた記憶デバイスを表し得る）。言い換えれば、図１４の計算デバイスは、単に例示である。「ワークステーション」、「サーバ」、「ラップトップ」、「デスクトップ」、「タブレット」、「クライアント・デバイス」、「モバイル・デバイス」、「ハンドヘルド・デバイス」、「ゲーム機」、「電子制御ユニット（ＥＣＵ：ｅｌｅｃｔｒｏｎｉｃｃｏｎｔｒｏｌｕｎｉｔ）」、「仮想現実システム」、「拡張現実システム」、及び／又は他のデバイス若しくはシステム・タイプなどのカテゴリはすべて、図１４の計算デバイスの範囲内にあることが意図されているので、これらは区別されない。

相互接続システム１４０２は、１個又は複数のリンク又はバス、たとえば、アドレス・バス、データ・バス、制御バス、又はその組合せ、を表し得る。相互接続システム１４０２は、１個又は複数のバス又はリンク・タイプ、たとえば、業界標準アーキテクチャ（ＩＳＡ：ｉｎｄｕｓｔｒｙｓｔａｎｄａｒｄａｒｃｈｉｔｅｃｔｕｒｅ）バス、拡張業界標準アーキテクチャ（ＥＩＳＡ：ｅｘｔｅｎｄｅｄｉｎｄｕｓｔｒｙｓｔａｎｄａｒｄａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＶＥＳＡ（ｖｉｄｅｏｅｌｅｃｔｒｏｎｉｃｓｓｔａｎｄａｒｄｓａｓｓｏｃｉａｔｉｏｎ）バス、周辺構成要素相互接続（ＰＣＩ：ｐｅｒｉｐｈｅｒａｌｃｏｍｐｏｎｅｎｔｉｎｔｅｒｃｏｎｎｅｃｔ）バス、周辺構成要素相互接続エクスプレス（ＰＣＩｅ：ｐｅｒｉｐｈｅｒａｌｃｏｍｐｏｎｅｎｔｉｎｔｅｒｃｏｎｎｅｃｔｅｘｐｒｅｓｓ）バス、及び／又は別のタイプのバス若しくはリンク、を含み得る。一部の実施例では、構成要素の間に直接接続が存在する。一実例として、ＣＰＵ１４０６は、メモリ１４０４に直接接続され得る。さらに、ＣＰＵ１４０６は、ＧＰＵ１４０８に直接接続され得る。構成要素の間に直接、又はポイント対ポイント接続が存在する場合、相互接続システム１４０２は、接続を実施するためのＰＣＩｅリンクを含み得る。これらの実例では、ＰＣＩバスは、計算デバイス１４００に含まれる必要はない。

メモリ１４０４は、様々なコンピュータ可読媒体のいずれかを含み得る。コンピュータ可読媒体は、計算デバイス１４００によってアクセスすることができる任意の利用可能な媒体でもよい。コンピュータ可読媒体は、揮発性及び不揮発性媒体の両方、及び取り外し可能な及び取り外し不可能な媒体を含み得る。例として、しかし限定ではなく、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を備え得る。

コンピュータ記憶媒体は、コンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプなどの情報の記憶のための任意の方法又は技術において実装された揮発性及び不揮発性媒体及び／又は取り外し可能な及び取り外し不可能な媒体の両方を含み得る。たとえば、メモリ１４０４は、オペレーティング・システムなど、（たとえば、プログラム及び／又はプログラム要素を表す）コンピュータ可読命令を記憶することができる。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌｖｅｒｓａｔｉｌｅｄｉｓｋ）又は他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージ又は他の磁気記憶デバイス、或いは、所望の情報を記憶するために使用し得る及び計算デバイス１４００によってアクセスし得る任意の他の媒体を含み得るが、これらに限定されない。本明細書では、コンピュータ記憶媒体は、信号自体を含まない。

コンピュータ記憶媒体は、搬送波などの変調データ信号又は他の移送機構においてコンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプを実施することができ、任意の情報配信媒体を含む。「変調データ信号」という用語は、その特性セットのうちの１個又は複数を有する或いは信号内の情報をエンコードするような方式で変化した信号を指し得る。例として、しかし限定せず、コンピュータ記憶媒体は、ワイヤード・ネットワーク又は直接ワイヤード接続などのワイヤード媒体と、音響、ＲＦ、赤外線及び他のワイヤレス媒体などのワイヤレス媒体とを含み得る。前述のいずれかの組合せもまた、コンピュータ可読媒体の範囲に含まれるべきである。

ＣＰＵ１４０６は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス１４００の１個又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１個又は複数を実行するように構成され得る。ＣＰＵ１４０６は、多数のソフトウェア・スレッドを同時に処理する能力を有する１個又は複数の（たとえば、１個、２個、４個、８個、２８個、７２個などの）コアをそれぞれ含み得る。ＣＰＵ１４０６は、任意のタイプのプロセッサを含み得、実装された計算デバイス１４００のタイプに応じて、異なるタイプのプロセッサを含み得る（たとえば、モバイル・デバイスのためのより少数のコアを有するプロセッサ、及びサーバのためのより多数のコアを有するプロセッサ）。たとえば、計算デバイス１４００のタイプに応じて、プロセッサは、縮小命令セット計算（ＲＩＳＣ：ＲｅｄｕｃｅｄＩｎｓｔｒｕｃｔｉｏｎＳｅｔＣｏｍｐｕｔｉｎｇ）を使用して実装されたＡｄｖａｎｃｅｄＲＩＳＣＭａｃｈｉｎｅｓ（ＡＲＭ）プロセッサ、又は複合命令セット計算（ＣＩＳＣ：ＣｏｍｐｌｅｘＩｎｓｔｒｕｃｔｉｏｎＳｅｔＣｏｍｐｕｔｉｎｇ）を使用して実装されたｘ８６プロセッサでもよい。計算デバイス１４００は、計算コプロセッサなど、１個又は複数のマイクロプロセッサ又は補助コプロセッサ内の１個又は複数のＣＰＵ１４０６を含み得る。

ＣＰＵ１４０６に加えて又はその代わりに、ＧＰＵ１４０８は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス１４００の１個又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１個又は複数を実行するように構成され得る。ＧＰＵ１４０８のうちの１個若しくは複数は、統合されたＧＰＵ（たとえば、ＣＰＵ１４０６のうちの１個又は複数とでもよく、及び／又はＧＰＵ１４０８のうちの１個若しくは複数は、離散ＧＰＵでもよい。実施例では、ＧＰＵ１４０８のうちの１個又は複数は、ＣＰＵ１４０６のうちの１個又は複数のコプロセッサでもよい。ＧＰＵ１４０８は、グラフィックス（たとえば、３Ｄグラフィックス）をレンダリングする又は汎用計算を実行するために、計算デバイス１４００によって使用され得る。たとえば、ＧＰＵ１４０８は、ＧＰＵによる汎用計算（ＧＰＧＰＵ：Ｇｅｎｅｒａｌ－ＰｕｒｐｏｓｅｃｏｍｐｕｔｉｎｇｏｎＧＰＵ）のために使用され得る。ＧＰＵ１４０８は、同時に数百又は数千のソフトウェア・スレッドを処理する能力を有する数百又は数千のコアを含み得る。ＧＰＵ１４０８は、レンダリング・コマンド（たとえば、ホスト・インターフェースを介して受信されたＣＰＵ１４０６からのレンダリング・コマンド）に応答して、出力画像のための画素データを生成することができる。ＧＰＵ１４０８は、画素データ又は任意の他の適切なデータ、たとえばＧＰＧＰＵデータ、を記憶するためのグラフィックス・メモリ、たとえば表示メモリ、を含み得る。表示メモリは、メモリ１４０４の一部として含まれ得る。ＧＰＵ１４０８は、並行して動作する（たとえば、リンクを介して）２個以上のＧＰＵを含み得る。リンクは、ＧＰＵに直接接続することができ（たとえば、ＮＶＬＩＮＫを使用して）、又はスイッチを介して（たとえば、ＮＶＳｗｉｔｃｈを使用して）ＧＰＵを接続することができる。共に結合されるとき、各ＧＰＵ１４０８は、出力の異なる部分の又は異なる出力の画素データ又はＧＰＧＰＵデータ（たとえば、第１の画像の第１のＧＰＵ及び第２の画像の第２のＧＰＵ）を生成することができる。各ＧＰＵは、独自のメモリを含むことができ、又は他のＧＰＵとメモリを共有することができる。

ＣＰＵ１４０６及び／又はＧＰＵ１４０８に加えて又はその代わりに、論理ユニット１４２０は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス１４００のうちの１個又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１個又は複数を実行するように構成され得る。実施例では、ＣＰＵ１４０６、ＧＰＵ１４０８、及び／又は論理ユニット１４２０は、方法、プロセス及び／又はその部分の任意の組合せを離散的に又は合同で実行することができる。論理ユニット１４２０のうちの１個若しくは複数は、ＣＰＵ１４０６及び／若しくはＧＰＵ１４０８のうちの１個若しくは複数の一部でもよく及び／又はそこで統合されてもよく、及び／又は、論理ユニット１４２０のうちの１個若しくは複数は、ＣＰＵ１４０６及び／若しくはＧＰＵ１４０８に対する離散構成要素であっても若しくは他の方法でそれらの外部にあってもよい。実施例では、論理ユニット１４２０のうちの１個又は複数は、ＣＰＵ１４０６のうちの１個若しくは複数及び／又はＧＰＵ１４０８のうちの１個若しくは複数のコプロセッサでもよい。

論理ユニット１４２０の実例は、１個又は複数の処理コア及び／又はその構成要素、たとえば、テンソル・コア（ＴＣ：ＴｅｎｓｏｒＣｏｒｅ）、テンソル処理ユニット（ＴＰＵ：ＴｅｎｓｏｒＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、画素ビジュアル・コア（ＰＶＣ：ＰｉｘｅｌＶｉｓｕａｌＣｏｒｅ）、ビジョン処理ユニット（ＶＰＵ：ＶｉｓｉｏｎＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、グラフィックス処理クラスタ（ＧＰＣ：ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＣｌｕｓｔｅｒ）、テクスチャ処理クラスタ（ＴＰＣ：ＴｅｘｔｕｒｅＰｒｏｃｅｓｓｉｎｇＣｌｕｓｔｅｒ）、ストリーミング・マルチプロセッサ（ＳＭ：ＳｔｒｅａｍｉｎｇＭｕｌｔｉｐｒｏｃｅｓｓｏｒ）、木の走査ユニット（ＴＴＵ：ＴｒｅｅＴｒａｖｅｒｓａｌＵｎｉｔ）、人工知能加速装置（ＡＩＡ：ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅＡｃｃｅｌｅｒａｔｏｒ）、深層学習加速装置（ＤＬＡ：ＤｅｅｐＬｅａｒｎｉｎｇＡｃｃｅｌｅｒａｔｏｒ）、論理演算ユニット（ＡＬＵ）、特定用途向け集積回路（ＡＳＩＣ）、浮動小数点演算ユニット（ＦＰＵ）、Ｉ／Ｏエレメント、周辺構成要素相互接続（ＰＣＩ）又は周辺構成要素相互接続エクスプレス（ＰＣＩｅ）エレメント、及び／又は同類のもの、を含む。

通信インターフェース１４１０は、ワイヤード及び／又はワイヤレス通信を含む、電子通信ネットワークを介して計算デバイス１４００が他の計算デバイスと通信することを可能にする、１個又は複数のレシーバ、トランスミッタ、及び／又はトランシーバを含み得る。通信インターフェース１４１０は、ワイヤレス・ネットワーク（たとえば、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ブルートゥース、ブルートゥースＬＥ、ＺｉｇＢｅｅなど）、ワイヤード・ネットワーク（たとえば、イーサネット（登録商標）又はＩｎｆｉｎｉＢａｎｄを介して通信すること）、低電力ワイド・エリア・ネットワーク（たとえば、ＬｏＲａＷＡＮ、ＳｉｇＦｏｘなど）、及び／又はインターネットなどの、いくつかの異なるネットワークのうちのいずれかを介する通信を可能にするための構成要素及び機能を含み得る。

Ｉ／Ｏポート１４１２は、そのうちのいくつかは計算デバイス１４００に内蔵（たとえば、統合）され得る、Ｉ／Ｏ構成要素１４１４、提示構成要素１４１８、及び／又は他の構成要素を含む、他のデバイスに計算デバイス１４００が論理的に連結されることを可能にすることができる。例示的なＩ／Ｏ構成要素１４１４は、マイクロフォン、マウス、キーボード、ジョイスティック、ゲーム・パッド、ゲーム・コントローラ、サテライト・ディッシュ、スキャナ、プリンタ、ワイヤレス・デバイスなどを含む。Ｉ／Ｏ構成要素１４１４は、エア・ジェスチャ、音声、又は、ユーザによって生成される他の生理的入力を処理する自然ユーザ・インターフェース（ＮＵＩ：ｎａｔｕｒａｌｕｓｅｒｉｎｔｅｒｆａｃｅ）を提供することができる。場合によっては、入力は、さらなる処理のための適切なネットワーク要素に送信され得る。ＮＵＩは、音声認識、スタイラス認識、顔認識、生体認識、画面上での及び画面の隣でのジェスチャ認識、エア・ジェスチャ、頭部及び視標追跡、並びに計算デバイス１４００のディスプレイに関連するタッチ認識（さらに詳しく後述するような）の任意の組合せを実装し得る。計算デバイス１４００は、ジェスチャ検出及び認識のための、ステレオスコープ・カメラ・システム、赤外線カメラ・システム、ＲＧＢカメラ・システム、タッチ画面技術、及びこれらの組合せなど、深度カメラを含み得る。追加で、計算デバイス１４００は、動きの検出を可能にする加速度計又はジャイロスコープを含み得る（たとえば、慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａｍｅａｓｕｒｅｍｅｎｔｕｎｉｔ）の一部として）。いくつかの実例では、加速度計又はジャイロスコープの出力は、没入型拡張現実又は仮想現実をレンダリングするために、計算デバイス１４００によって使用され得る。

電力供給装置１４１６は、ハードワイヤード電力供給装置、バッテリ電力供給装置、又はその組合せを含み得る。電力供給装置１４１６は、計算デバイス１４００の構成要素が動作することを可能にするために計算デバイス１４００に電力を提供することができる。

提示構成要素１４１８は、ディスプレイ（たとえば、モニタ、タッチ画面、テレビジョン画面、ヘッドアップ表示装置（ＨＵＤ）、他のディスプレイタイプ、又はその組合せ）、スピーカ、及び／又は他の提示構成要素を含み得る。提示構成要素１４１８は、他の構成要素（たとえば、ＧＰＵ１４０８、ＣＰＵ１４０６など）からデータを受信し、データを（たとえば、画像、ビデオ、音響などとして）出力することができる。

本開示は、コンピュータ又は、携帯情報端末若しくは他のハンドヘルド・デバイスなどの、他のマシンによって実行されている、プログラム・モジュールなどのコンピュータ実行可能命令を含む、コンピュータ・コード又はマシン使用可能命令との一般的関連において説明されることがある。一般に、ルーティン、プログラム、オブジェクト、構成要素、データ構造体などを含むプログラム・モジュールは、特定のタスクを実行する又は特定の抽象データ・タイプを実装するコードを指す。本開示は、ハンドヘルド・デバイス、家電製品、汎用コンピュータ、より特殊な計算デバイスなどを含む、様々な構成で実施され得る。本開示はまた、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散型コンピューティング環境において実施され得る。

本明細書では、２個以上の要素に関する「及び／又は」の記述は、１個の要素のみ、又は要素の組合せを意味すると解釈されるべきである。たとえば、「要素Ａ、要素Ｂ、及び／又は要素Ｃ」は、要素Ａのみ、要素Ｂのみ、要素Ｃのみ、要素Ａ及び要素Ｂ、要素Ａ及び要素Ｃ、要素Ｂ及び要素Ｃ、或いは、要素Ａ、Ｂ、及びＣを含み得る。加えて、「要素Ａ又は要素Ｂのうちの少なくとも１個」は、要素Ａの少なくとも１個、要素Ｂの少なくとも１個、或いは、要素Ａの少なくとも１個及び要素Ｂの少なくとも１個を含み得る。さらに、「要素Ａ及び要素Ｂのうちの少なくとも１個」は、要素Ａのうちの少なくとも１個、要素Ｂのうちの少なくとも１個、或いは、要素Ａのうちの少なくとも１個及び要素Ｂのうちの少なくとも１個を含み得る。

本開示の主題は、法定の要件を満たすために特異性を有して記述されている。しかしながら、その記述自体が本開示の範囲を制限することは意図されていない。そうではなくて、本発明者は、請求されている主題が、他の現在の又は未来の技術と併せて、異なるステップ又は本文書に記載されたものと類似のステップの組合せを含むように、他の形で実施され得ることを意図している。さらに、「ステップ」及び／又は「ブロック」という用語は、使用される方法の異なる要素を含意するように本明細書で使用され得るが、これらの用語は、個別のステップの順番が明示的に記載されていない限り及びそのように記載されているときを除いて本明細書で開示される様々なステップの間に何らかの特定の順番を暗示するものとして解釈されるべきではない。

Claims

サブジェクト及び前記サブジェクトに対応する拘束デバイスを表す画像を受信するステップと、
前記拘束デバイスを表すものとしての前記画像のエリアの初期分類を実行するステップと、
１セットの制約を前記画像の前記エリアに適用して前記初期分類を精緻化して精緻化された分類を取得するステップと、
前記精緻化された分類に少なくとも部分的に基づいて、前記拘束デバイスの適用を示すモデルを生成するステップと
を含む、方法。
前記初期分類が、画素及び指定された方向に沿った複数の近隣画素を使用して、前記拘束デバイスの一部である１セットの画素を決定することによって実行される、請求項１に記載の方法。
前記拘束デバイスの一部である前記１セットの画素を決定することが、前記画素及び前記指定された方向に沿った前記複数の近隣画素の強度レベルに少なくとも部分的に基づく、請求項２に記載の方法。
前記拘束デバイスが、前記拘束デバイスの幅サイズと車両内の前記拘束デバイスの１個又は複数のアンカーとを少なくとも含む、１個又は複数の属性を備える、請求項１に記載の方法。
前記画像が、カメラのキャリブレーション、カメラ姿勢、及びカメラ・レンズのタイプを少なくとも含む、１個又は複数の構成を備える前記カメラによってキャプチャされる、請求項１に記載の方法。
前記拘束デバイスが前記サブジェクトに対して不適切な場所にあることを指示するための信号をアクティブにするステップ
をさらに含む、請求項１に記載の方法。
前記拘束デバイスの形状を近似する前記モデルを使用して、前記サブジェクトに対する前記拘束デバイスの場所を判定するステップ
をさらに含む、請求項１に記載の方法。
システムであって、
１個又は複数のプロセッサと、
コンピュータ実行可能命令を記憶するメモリと
を備え、前記コンピュータ実行可能命令が、
サブジェクトに適用された拘束デバイスを表すものとしての画像のエリアの初期分類を実行すること、
１セットの制約を前記画像の前記エリアに適用して前記初期分類を精緻化して精緻化された分類を取得すること、及び
前記精緻化された分類に少なくとも部分的に基づいて、前記拘束デバイスの適用を示すモデルを生成すること
を前記システムに行わせるために前記１個又は複数のプロセッサによって実行可能である、システム。
前記モデルが、前記拘束デバイスの形状にマッチするように計算された係数を有する多項式曲線を含む、請求項８に記載のシステム。
前記システムが、並列処理装置（ＰＰＵ）を備え、
前記画像が、１個又は複数のエリアを含み、
前記１個又は複数のエリアが、前記ＰＰＵの１個又は複数のスレッドを並行して使用して分類される、請求項８に記載のシステム。
前記モデルが、前記拘束デバイスが前記サブジェクトに正しく適用されているかを指示する、請求項８に記載のシステム。
前記１セットの制約が、幅の範囲を少なくとも含む、請求項８に記載のシステム。
前記画像の前記エリアが、前記画像の１個又は複数の画素のグループ分けに対応する、請求項８に記載のシステム。
前記画像が、車両の１個又は複数のシステムからの１個又は複数のネットワークから取得される、請求項８に記載のシステム。
前記拘束デバイスの前記モデルが、前記１個又は複数のネットワークを介して前記車両の前記１個又は複数のシステムに提供される、請求項１４に記載のシステム。
車両であって、
推進システムと、
前記車両の少なくとも１人の乗客の画像をキャプチャすることができる画像キャプチャ・デバイスと、
命令を含むコンピュータ・システムと
を備え、前記命令が、少なくとも、
サブジェクト及び前記サブジェクトに適用された拘束デバイスを表す画像にアクセスすること、
前記拘束デバイスを表すものとしての前記画像のエリアの初期分類を実行すること、
１セットの制約を前記画像の前記エリアに適用して前記初期分類を精緻化して精緻化された分類を取得すること、
前記精緻化された分類に少なくとも部分的に基づいて、前記拘束デバイスの適用を示すモデルを生成すること、及び
前記モデルに少なくとも部分的に基づいて前記車両の少なくとも１個のサブシステムの機能を制御すること
を行うために前記コンピュータ・システムによって実行可能である、車両。
前記拘束デバイスが、前記車両のシートベルトである、請求項１６に記載の車両。
前記車両の前記１個のサブシステムが、前記拘束デバイスが着用され正しく適用されているかどうかを指示する警告システムである、請求項１６に記載の車両。
前記車両の前記１個のサブシステムが、前記推進システムを介して前記車両の推進を制御するための信号を送る、請求項１６に記載の車両。
前記車両の前記１個のサブシステムが、前記拘束デバイスが着用され正しく適用されているかどうかの指示を１個又は複数のリモート・システムに送信する、請求項１６に記載の車両。