JP2019536175A - 自律走行車両のソリューションパスオーバーレイインタフェース - Google Patents

Abstract

ソリューションパスを送信するためのソリューションパスオーバーレイインタフェースを生成するための方法およびシステムが説明される。開示された技術は、車両から車両データおよび外部データを受信することを含む。車両データは、車両の位置と目的地とを含み、外部データは、複数の外部オブジェクト各々の位置と移動経路とを含む。 ソリューションパスは、車両位置と車両の目的地との間に決定され、このソリューションパスは、複数の外部オブジェクトと交差しない。ソリューションパスを走行する車両と複数の外部オブジェクトのうちの少なくともいくつかとを含むソリューションパスオーバーレイインタフェースが生成される。ソリューションパスオーバーレイインタフェースは、実行のために車両に送信される更新されたソリューションパスをもたらすオペレータからのコマンドを受信するように構成された表示のために出力される。【選択図】 図１

Description

本出願は、一般的に、自律走行車両に関し、より詳細には自律走行車両の動作のためのソリューションパスオーバーレイインタフェースに関する。

自律走行車両の使用は、車両の通過を遅らせるまたは妨げる可能性がある状況（例えば、建設区域）の存在を取り除くことはない。車両が動作している環境について理解して車両を案内することができる人間の車両オペレータを利用することによって、そのような状況の解決は促進される。この理解は環境に関する情報に依存し、このような環境に関する情報は、口頭による説明（例えば、援助を求めている立ち往生している運転手からの電話）、または位置情報（例えば、車両を決定するための地理座標）を含む様々な方法で人間のオペレータに伝えることができる。しかしながら、そのような情報は、車両の効率的かつ安全な運転に影響を及ぼし得る多くの要因について適切な表示を提供しない。

本明細書で開示されるのは、ソリューションパスオーバーレイインタフェースを生成するための態様、特徴、要素、実装、および実装である。

開示された実施形態の一態様は、ソリューションパスを車両に送信するためのソリューションパスオーバーレイインタフェースを生成するための方法を含む。この方法は、ソリューションパスオーバーレイシステムによって、車両の車両制御システムから車両データおよび外部データを受信するステップであって、前記車両データは前記車両に関連し、車両位置および車両目的地を含み、前記外部データは複数の外部オブジェクトの各々に対する位置及び移動経路を含むステップと、前記ソリューションパスオーバーレイシステムによって、前記車両データと前記外部データとを使用して前記車両位置と前記車両目的地との間の前記ソリューションパスを決定するステップであって、前記ソリューションパスは、前記複数の外部オブジェクトと交差しないステップと、前記ソリューションパスオーバーレイシステムによってソリューションパスオーバーレイインタフェースを生成するステップであって、前記ソリューションパスオーバーレイインタフェースは前記ソリューションパスに沿って移動する前記車両の表示と前記複数の外部オブジェクトのうちの少なくともいくつかとを含むステップと、前記ソリューションパスオーバーレイシステムによって、前記ソリューションパスオーバーレイインタフェースのオペレータからのコマンドを受信するように構成された表示用の前記ソリューションパスオーバーレイインタフェースを出力するステップと、前記ソリューションパスオーバーレイインタフェースの前記オペレータからの前記コマンドの受信に応答して、前記ソリューションパスオーバーレイシステムによって、更新されたソリューションパスを提供するための前記受信したコマンドに従って、前記ソリューションパスオーバーレイインタフェースを更新するステップと、前記ソリューションパスオーバーレイシステムによって、更新された前記ソリューションパスを、実行のために、前記車両に送信するステップとを備える。

開示される実施形態の一態様は、メモリと、メモリに格納された命令を実行するように構成されたプロセッサとを備えるソリューションパスオーバーレイシステムを含む。前記プロセッサは、車両の車両制御システムから車両データと外部データとを受信し、前記車両データは、前記車両に関連付けられ、車両位置と車両目的地とを含み、前記外部データは、複数の外部オブジェクトの各々についての位置と移動経路とを含み、前記車両データと前記外部データとを使用して前記車両位置と前記車両目的地との間のソリューションパスを決定し、前記ソリューションパスは前記複数の外部オブジェクトと交差せず、前記ソリューションパスに沿って移動する前記車両と前記複数の外部オブジェクトのうちの少なくともいくつかとの表示を含むソリューションパスオーバーレイインタフェースを生成し、前記ソリューションパスオーバーレイインタフェースのオペレータからのコマンドを受信するように構成された表示用の前記ソリューションパスオーバーレイインタフェースを出力し、前記ソリューションパスオーバーレイインタフェースのオペレータからの前記コマンドの受信に応答して、受信した前記コマンドに従って前記ソリューションパスオーバーレイインタフェースを更新して、更新されたソリューションパスを提供し、前記更新されたソリューションパスを、実行のために、前記車両に送信する。

開示された実施形態の一態様は、実行時に１つまたは複数のプロセッサに動作を実行させる、ソリューションパスオーバーレイシステムの１つまたは複数のプロセッサによって実行可能なプログラム命令を含む非一時的コンピュータ可読記憶媒体を含む。前記動作は、車両の車両制御システムから車両データおよび外部データを受信するステップであって、前記車両データは前記車両に関連し、車両位置および車両目的地を含み、前記外部データは複数の外部オブジェクトの各々の位置および移動経路を含む、ステップと、前記車両データと前記外部データとを使用して、前記車両位置と前記車両目的地との間のソリューションパスを決定するステップであって、前記ソリューションパスは、前記複数の外部オブジェクトと交差しない、ステップと、前記ソリューションパスに沿って移動する前記車両の表示と前記複数の外部オブジェクトのうちの少なくともいくつかとを含むソリューションパスオーバーレイインタフェースを生成するステップと、前記ソリューションパスオーバーレイインタフェースのオペレータからコマンドを受信するように構成された表示用の前記ソリューションパスオーバーレイインタフェースを出力するステップと、前記ソリューションパスオーバーレイインタフェースの前記オペレータからの前記コマンドの受信に応答して、更新されたソリューションパスを提供するために、受信した前記コマンドに従って前記ソリューションパスオーバーレイインタフェースを更新するステップと、更新された前記ソリューションパスを、実行のために、前記車両に送信するステップとを含む。

本開示のこれらおよび他の態様は、以下の実施形態の詳細な説明、添付の特許請求の範囲、および添付の図面に開示されている。

開示された技術は、添付の図面と併せて読まれる時、以下の詳細な説明から最もよく理解される。一般的な慣例に従って、図面の様々な特徴は原寸に比例していないことが強調される。むしろ、様々な特徴の寸法は、明確さのために任意に拡大または縮小されている。

本明細書に開示される態様、特徴、および要素が実装され得る車両の一部の一例の図である。 本明細書に開示される態様、特徴、および要素が実装され得る車両交通および通信システムの一部の一例の図である。 本開示によるソリューションパスオーバーレイインタフェースの一例を示す図である。 本開示によるソリューションパスオーバーレイインタフェースの一例を示す図である。 本開示によるソリューションパスオーバーレイインタフェースを生成するための技術のフローチャートである。 本開示によるソリューションパスオーバーレイインタフェースを生成するための技術のフローチャートである。 本開示によるソリューションパスオーバーレイインタフェースを生成するための技術のフローチャートである。 本開示によるソリューションパスオーバーレイインタフェースを生成するための技術のフローチャートである。 本開示の自律走行車両を、コントローラ装置を介して制御する自律走行車両の車両制御システムの一例を示す図である。 本開示に係るコントローラ装置の一例を示す図である。

車両（例えば、自律走行車両、人間駆動型車両、および半自律走行車両）およびそれらの周囲の環境が表示される方法は、車両内の人間のドライバ、人間の遠隔オペレータ、又は人間以外の遠隔オペレータなどによって車両が操作される有効性に影響を及ぼし得る。車両およびその周辺環境の表示が理解しやすければ、特に車両が外部オブジェクト（例えば、建設区域、失速した車両、倒木など）によって妨害または遅延されるときに提供される支援の有効性を高めることができる。

本開示および開示される技術は、車両の運転者を支援するためのソリューションパスオーバーレイインタフェースを生成することによって、車両および外部オブジェクトの表示に有効性が無いという問題に対処する方法を提供する。道路迂回路を含むがこれに限定されない困難な道路状況を含む環境などの環境を介して車両のソリューションパスの表示を提供することによって、現地のまたは遠隔の人間または非人間のオペレータには、効率的な車両の操作（遠隔操作など）を支援するための有用な情報が提示される。

開示された技術は、外部の対象物を識別し、移動不可能な対象物（例えば、建物）と移動可能な対象物（例えば、歩行者、車両）とを区別することによって、環境を通る車両の安全なナビゲーションを容易にする。さらに、開示された技術は、規制された交通流を有する道路が制限されているかまたは利用できない環境におけるソリューションパスの決定に使用され得る規制された交通流パターン（例えば、交通規制および現在の状況に従って交通の流れ）を決定し得る。（例えば、規制された交通流パターンとは反対に一時的に交通流を反対方向の車線に経路変更する工事区域）。このようにして、ソリューションパスオーバーレイインタフェースを使用することによって車両運転者の状況認識を向上させることができ、それによってより効率的で安全な車両操作がもたらされる。

本明細書で使用されるとき、用語「ドライバ」または「オペレータ」は互換的に使用され得る。本明細書で使用されるとき、用語「ブレーキ」または「減速」は互換的に使用され得る。本明細書で使用されるとき、用語「コンピュータ」または「コンピューティングデバイス」は、本明細書で開示された任意の方法またはその任意の部分もしくは複数の部分を実行することができる任意のユニットまたはユニットの組み合わせを含む。

本明細書で使用するとき、用語「プロセッサ」は、１つまたは複数の専用プロセッサ、１つまたは複数のデジタル信号プロセッサ、１つまたは複数のマイクロプロセッサ、１つまたは複数のコントローラ、１つまたは複数のマイクロコントローラ、１つまたは複数のアプリケーションプロセッサ、１つまたは複数の特定用途向け集積回路、１つまたは複数の特定用途向け標準製品、１つまたは複数のフィールドプログラマブルゲートアレイ、任意の他のタイプまたは集積回路の組合せ、１つまたは複数の状態機械、またはそれらの任意の組合せなどの１つまたは複数のプロセッサを指す。

本明細書で使用されるとき、用語「メモリ」は、任意のプロセッサによってまたは任意のプロセッサと関連して使用され得る任意の信号または情報を有形に含み、格納し、通信し、または伝送することができ、任意のコンピュータで使用可能またはコンピュータに読み込み可能な媒体または装置を示す。例えば、メモリは、１つまたは複数の読み出し専用メモリ（ＲＯＭ）、１つまたは複数のランダムアクセスメモリ（ＲＡＭ）、１つまたは複数のレジスタ、低電力ダブルデータレート（ＬＰＤＤＲ）メモリ、１つまたは複数のキャッシュメモリ、１つまたは複数の半導体メモリデバイス、１つもしくは複数の磁気媒体、１つもしくは複数の光媒体、１つもしくは複数の光磁気媒体、またはそれらの任意の組み合わせであり得る。

本明細書で使用されるとき、用語「命令」は、本明細書で開示された任意の方法、またはその任意の部分または複数の部分を実行するための指示または表示を含み、ハードウェア、ソフトウェア、またはそれらの任意の組み合わせで実現され得る。例えば、命令は、本明細書で説明されるように、各々のプロセッサによって実行されて、各々の方法、アルゴリズム、態様、またはそれらの組み合わせのうちのいずれかを実行することができるメモリに格納されるコンピュータプログラムなどの情報として実装され得る。いくつかの実装形態では、命令、またはその一部は、本明細書で説明されるように、方法、アルゴリズム、態様、またはそれらの組合せのいずれかを実行するための専用ハードウェアを含み得る特殊用途プロセッサまたは回路として実装され得る。いくつかの実装形態では、命令の一部は、ローカルエリアネットワーク、ワイドエリアネットワーク、インターネット、またはそれらの組み合わせなどのネットワークを介して直接または通信することができる単一のデバイス上の複数のプロセッサにわたって分散することができる。

本明細書で使用されるとき、「例」、「実施形態」、「実装形態」、「態様」、「特徴」、または「要素」という用語は、例、事例、または例示としての役割を果たすものを示す。明示的に示されていない限り、任意の例、実施形態、実装形態、態様、特徴、または要素は、他の例、実施形態、実装形態、態様、特徴、または要素から独立しており、任意の他の例、実施形態、実装形態、態様、特徴または要素と組み合わせて使用され得る。

本明細書で使用されるとき、用語「決定する」および「特定する」またはそれらの任意の変形は、本明細書に表示されまたは記載された１つまたは複数の装置を使用する任意の方法で、選択し、確認し、計算し、検索し、受信し、決定し、確立し、取得し、または他の方法で識別または決定することを含む。

本明細書で使用されるとき、用語「または」は、排他的な「または」ではなく包括的な「または」を意味することを意図している。すなわち、特に明記しない限り、または文脈から明らかでない限り、「ＸはＡまたはＢを含む」は、自然な包含的順列のいずれかを示すように意図される。ＸにＡが含まれる場合、 ＸにBが含まれる場合、またはＸがＡおよびＢの両方を含む場合、「ＸはＡまたはＢを含む」は、前述のいずれの場合にも充足される。さらに、本出願および添付の特許請求の範囲で使用される冠詞「ａ」および「ａｎ」は、他に特定されない限り、または文脈から単数形を対象とすることが明らかでない限り、一般に「１つ以上」を意味すると解釈されるべきである。

さらに、説明を簡単にするために、本明細書の図および説明は、シーケンスまたは一連のステップまたは段階を含むことができるが、本明細書に開示される方法の要素は様々な順序でまたは同時に起こり得る。加えて、本明細書に開示された方法の要素は、本明細書に明示的に提示され説明されていない他の要素と共に起こり得る。さらに、本明細書に記載の方法のすべての要素が、本開示による方法を実施するために必要とされるわけではない。本明細書では態様、特徴、および要素を特定の組み合わせで説明しているが、各態様、特徴、または要素は、他の態様、特徴、および要素の有無にかかわらず、独立してまたは様々に組み合わせて使用できる。

本開示の実施形態は、例えば、自律走行車両を遠隔監視し遠隔操作するためのコンピュータネットワーク構成要素の拡張に関するものなど、ソリューションパスインタフェースの生成に特有の技術的改善を提供する。例えば、システムまたは車両の障害を識別し、管理または注意が必要であること、および監視装置と車両との間で命令または情報を伝達することを示すために自律走行車両ネットワークリソースを監視する新しい方法の開発は、基本的に自律走行車両関連コンピュータネットワークに関連する。

本開示の実装形態は、ソリューションパスオーバーレイインタフェースを生成するためのシステム、装置、非一時的コンピュータ可読媒体、および方法を少なくとも提供する。このシステムは、例えば遠隔データソース（例えば遠隔車両監視サーバ）から車両内の通信システムを介して車両データおよび車両に関連する外部データを受信することを含む。車両データは、車両の位置、目的地、運行状況など、車両の状態に関連し得る。外部データは、外部オブジェクトの位置および外部オブジェクトの移動経路（例えば、外部オブジェクトが移動した経路および移動すると予測される経路）を含む、外部オブジェクトの状態に関連し得る。システムは、外部オブジェクトと交差しない、または接近しない、車両の位置（車両位置）と車両の目的地（車両目的地）との間のソリューションパスなどの経路を決定する（例えば、車両は、歩行者および路側障壁を含む外部オブジェクトとの物理的接触を回避するか、または所定の領域内に入ること、または外部オブジェクトと近接することを回避する）。さらに、システムは、ソリューションパスを車両のオペレータに表示するソリューションパスオーバーレイインタフェースを生成する。例えば、システムは、ソリューションパスオーバーレイインタフェースとして、車両のグラフィック表示、車両の所定の領域内の外部オブジェクト、および現在の車両位置から目的地までの決定されたソリューションパスを生成することができる。

いくつかの実装形態をより詳細に説明するために、以下の図を参照する。

図１は、本明細書に開示された態様、特徴、および要素が実装され得る車両１０００の一例の図である。車両１０００は、シャーシ１１００、パワートレイン１２００、コントローラ１３００、車輪１４００／１４１０／１４２０／１４３０、または任意の他の要素もしくは車両の要素の組み合わせを含む。簡略化のために車両１０００は４つの車輪１４００／１４１０／１４２０／１４３０を含むように示されているが、プロペラまたはトレッドのような他の推進装置または装置を使用することができる。図１において、パワートレイン１２００、コントローラ１３００、および車輪１４００／１４１０／１４２０／１４３０などの要素を相互接続する線は、データまたは制御信号などの情報、電力またはトルクなどの力、あるいは情報およびトルクの両方が、各々の要素間で伝達され得ることを示している。例えば、コントローラ１３００は、パワートレイン１２００から電力を受け取り、パワートレイン１２００、車輪１４００／１４１０／１４２０／１４３０、またはその両方と通信して、加速、減速、操舵または別の方法で車両１０００を制御する。

パワートレイン１２００は、動力源１２１０、変速機１２２０、操舵ユニット１２３０、車両アクチュエータ１２４０、またはパワートレインの任意の他の要素もしくは要素の組み合わせ、例えば、サスペンション、ドライブシャフト、車軸または排気システムを含む。別々に示されているが、車輪１４００／１４１０／１４２０／１４３０は、パワートレイン１２００に含まれてもよい。

動力源１２１０は、電気エネルギー、熱エネルギー、または運動エネルギーなどのエネルギーを提供するように動作可能な任意のデバイスまたはデバイスの組み合わせであり得る。例えば、動力源１２１０は、内燃機関、電気モータ、または内燃機関と電気モータとの組み合わせなどのエンジンを含み、動力源として１つまたは複数の車輪１４００/１４１０/１４２０/１４３０に運動エネルギーを提供するように動作可能である。いくつかの実施形態において、動力源１２１０は、ニッケル‐カドミウム（ＮｉＣｄ）、ニッケル‐亜鉛（ＮｉＺｎ）、ニッケル水素（ＮｉＭＨ）、リチウムイオン（ＮｉＭｄ）などの１つまたは複数の乾電池；太陽電池；燃料電池；またはエネルギーを供給することができる他の装置などの位置エネルギーユニットを含む。

変速機１２２０は、動力源１２１０から運動エネルギーなどのエネルギーを受け取り、そのエネルギーを車輪１４００／１４１０／１４２０／１４３０に伝達して原動力を提供する。変速機１２２０は、コントローラ１３００、車両アクチュエータ１２４０、またはその両方によって制御することができる。操舵ユニット１２３０は、コントローラ１３００、車両アクチュエータ１２４０、またはその両方によって制御することができ、車両を操舵するために車輪１４００／１４１０／１４２０／１４３０を制御する。車両アクチュエータ１２４０は、コントローラ１３００から信号を受信してもよく、動力源１２１０、変速機１２２０、操舵ユニット１２３０、またはそれらの任意の組み合わせを作動または制御して車両１０００を動作させてもよい。

いくつかの実施形態では、コントローラ１３００は、ロケーションユニット１３１０、電子通信ユニット１３２０、プロセッサ１３３０、メモリ１３４０、ユーザインタフェース１３５０、センサ１３６０、電子通信インタフェース１３７０、またはそれらの任意の組み合わせを含む。単一のユニットとして示されているが、コントローラ１３００の任意の１つまたは複数の要素は、任意の数の別々の物理的ユニットに統合されてもよい。例えば、ユーザインタフェース１３５０およびプロセッサ１３３０は第１の物理的ユニットに統合されてもよく、メモリ１３４０は第２の物理的ユニットに統合されてもよい。図１には示されていないが、コントローラ１３００は、電池などの動力源を含み得る。別々の要素として示されているが、ロケーションユニット１３１０、電子通信ユニット１３２０、プロセッサ１３３０、メモリ１３４０、ユーザインタフェース１３５０、センサ１３６０、電子通信インタフェース１３７０、またはそれらの任意の組み合わせは、１つまたは複数の電子ユニット、回路、またはチップに統合することができる。

いくつかの実施形態では、プロセッサ１３３０は、光学プロセッサ、量子プロセッサ、分子プロセッサ、またはそれらの組み合わせを含む、現在存在するまたは今後開発される信号または他の情報を操作または処理することができる任意のデバイスまたはデバイスの組み合わせを含む。例えば、プロセッサ１３３０は、１つまたは複数の専用プロセッサ、１つまたは複数のデジタル信号プロセッサ、１つまたは複数のマイクロプロセッサ、１つまたは複数のコントローラ、１つまたは複数のマイクロコントローラ、１つまたは複数の集積回路、１つまたは複数の特定用途向け集積回路、１つまたは複数のフィールドプログラマブルゲートアレイ、１つまたは複数のプログラマブルロジックアレイ、１つまたは複数のプログラマブルロジックコントローラ、１つまたは複数の上体機械、またはそれらの任意の組み合わせを含み得る。プロセッサ１３３０は、ロケーションユニット１３１０、メモリ１３４０、電子通信インタフェース１３７０、電子通信ユニット１３２０、ユーザインタフェース１３５０、センサ１３６０、パワートレイン１２００、またはそれらの任意の組み合わせと動作可能に結合することができる。例えば、プロセッサは、通信バス１３８０を介してメモリ１３４０と動作可能に結合することができる。

いくつかの実施形態では、プロセッサ１３３０は、オペレーションセンターを含む遠隔地から車両１０００を操作するために使用され得る遠隔操作のための命令を含む命令を実行するように構成され得る。遠隔操作のための命令は、車両１０００に格納されてもよく、または交通管理センター、またはクラウドベースのサーバコンピューティングデバイスを含み得るサーバコンピューティングデバイスなどの外部ソースから受信されてもよい。

メモリ１３４０は、例えば、プロセッサ１３３０によって使用されるための、または、プロセッサ１３３０との接続において使用するための機械可読命令またはそれに関連する任意の情報を含み、格納し、通信し、または移送することができる任意の有形の非一時的コンピュータ使用可能またはコンピュータ可読媒体を含むことができる。メモリ１３４０は、例えば、１つまたは複数のソリッドステートドライブ、１つまたは複数のメモリカード、１つまたは複数のリムーバブルメディア、１つまたは複数の読み取り専用メモリ、１つまたは複数のランダムアクセスメモリ、ハードディスクを含む１つまたは複数のディスク、フロッピーディスク、光ディスク、磁気または光カード、あるいは電子情報を格納するのに適した任意の種類の非一時的媒体、またはそれらの任意の組み合わせを含むディスクである。

電子通信インタフェース１３７０は、図示のような無線アンテナ、有線通信ポート、光通信ポート、または、有線または無線電子通信媒体１５００とインタフェースすることが可能な任意の他の有線もしくは無線ユニットとすることができる。

電子通信ユニット１３２０は、電子通信インタフェース１３７０を介するなど、有線または無線電子通信媒体１５００を介して信号を送信または受信するように構成されてもよい。図１には明示されていないが、電子通信ユニット１３２０は、無線周波数（ＲＦ）、紫外線（ＵＶ）、可視光、光ファイバ、有線、またはそれらの組み合わせなどの任意の有線または無線通信媒体を介して送信、受信、またはその両方を行うように構成される。図１は、単一の電子通信ユニット１３２０および単一の電子通信インタフェース１３７０を示しているが、任意の数の通信ユニットおよび任意の数の通信インタフェースを使用することができる。いくつかの実施形態において、電子通信ユニット１３２０は、専用短距離通信（ＤＳＲＣ）ユニット、無線安全ユニット（ＷＳＵ）、ＩＥＥＥ８０２．１１ｐ（Ｗｉｆｉ‐Ｐ）、またはそれらの組み合わせを含み得る。

ロケーションユニット１３１０は、車両１０００の経度、緯度、高度、進行方向、または速度を含むがこれらに限定されない地理位置情報を決定することができる。例えば、ロケーションユニットは、広域増強システム（ＷＡＡＳ）対応の全国海洋エレクトロニクス協会（ＮＭＥＡ）ユニット、無線三角測量ユニット、またはそれらの組み合わせなどの全地球測位システム（ＧＰＳ）ユニットを含む。ロケーションユニット１３１０は、例えば、車両１０００の現在の方位、２次元もしくは三次元での車両１０００の現在の位置、車両１０００の現在の角度方位、またはそれらの組み合わせを表す情報を取得するために使用することができる。

ユーザインタフェース１３５０は、仮想キーパッド、物理キーパッド、タッチパッド、ディスプレイ、タッチスクリーン、スピーカ、マイクロフォン、ビデオカメラ、センサ、プリンターのいずれかを含む、人がインタフェースとして使用することができる任意のユニットを含み得る。ユーザインタフェース１３５０は、図示のようにプロセッサ１３３０と、またはコントローラ１３００の他の任意の要素と動作可能に結合することができる。単一ユニットとして示されているが、ユーザインタフェース１３５０は１つまたは複数の物理的ユニットを含むことができる。例えば、ユーザインタフェース１３５０は、人と音声通信を行うための音声インタフェース、および人との視覚的およびタッチベースの通信を行うためのタッチディスプレイを含む。

センサ１３６０は、車両を制御するために使用され得る情報を提供するように動作可能であり得るセンサの列などの１つまたは複数のセンサを含み得る。センサ１３６０は、車両またはその周囲の現在の動作特性に関する情報を提供することができる。センサ１３６０は、例えば、速度センサ、加速度センサ、操舵角センサ、牽引関連センサ、制動関連センサ、または任意のセンサ、あるいはそれらの組合せを含み、これらは、車両１０００の現在の動的状況のいくつかの態様に関する情報を報告するように動作可能である。

いくつかの実施形態では、センサ１３６０は、車両１０００を取り囲む物理的環境に関する情報を取得するように動作可能なセンサを含み得る。例えば、１つまたは複数のセンサは、道路形状および固定障害物、車両、サイクリストおよび歩行者などの障害物を検出する。いくつかの実施形態では、センサ１３６０は、１つまたは複数のビデオカメラ、レーザ感知システム、赤外線感知システム、音響感知システム、または任意の他の適切な種類の車載環境感知デバイス、あるいは現在知られている、または後で開発されたデバイスの組み合わせとすることができるか、これらを含むことができる。いくつかの実施形態では、センサ１３６０とロケーションユニット１３１０とは組み合わされる。

個別に示されてはいないが、車両１０００は軌道コントローラを含むことができる。例えば、コントローラ１３００は軌道コントローラを含み得る。軌道コントローラは、車両１０００の現在の状態および車両１０００について計画された経路を記述する情報を取得し、この情報に基づいて、車両１０００の軌道を決定し最適化するように動作可能であり得る。コントローラは、車両１０００が軌道コントローラによって決定された軌道をたどるように車両１０００を制御するよう動作可能な信号を出力する。例えば、軌道コントローラの出力は、パワートレイン１２００、車輪１４００／１４１０／１４２０／１４３０、またはその両方に供給することができる最適化軌道とすることができる。いくつかの実施形態では、最適化された軌道は、各操舵角がある時点または位置に対応する、操舵角のセットなどの制御入力とすることができる。いくつかの実施形態において、最適化された軌道は、１つまたは複数の経路、線、曲線、またはそれらの組み合わせであり得る。

１つまたは複数の車輪１４００／１４１０／１４２０／１４３０は、操舵ユニット１２３０の制御下で所定の操舵角で旋回する操舵輪、変速機１２２０の制御下で車両１０００を推進するようにトルクをかける推進輪、または車両１０００を操縦し推進する操舵推進車輪であり得る。

車両は、図１に示されていないユニットまたは要素、例えば、エンクロージャ、ブルートゥース（登録商標）モジュール、周波数変調（ＦＭ）無線ユニット、近距離無線通信（ＮＦＣ）モジュール、液晶ディスプレイ（ＬＣＤ）ディスプレイユニット、有機発光ダイオード（ＯＬＥＤ）ディスプレイユニット、スピーカ、またはそれらの任意の組み合わせなどを含むことができる。

図２は、本明細書に開示される態様、特徴、および要素が実装され得る車両交通通信システム２０００の一部の例の図である。車両交通通信システム２０００は、図１に示される車両１０００のような車両２１００と、図１に示される車両１０００のような任意の形態の交通手段、歩行者、サイクリスト、および建物のようなあらゆる形態の構造物を含み得る外部オブジェクト２１１０のような１つまたは複数の外部オブジェクトとを含む。車両２１００は、交通ネットワーク２２００の１つまたは複数の部分を介して移動することができ、そして電子通信ネットワーク２３００のうちの１つまたは複数を介して外部オブジェクト２１１０と通信することができる。図２には明示されていないが、車両は、オフロードエリアなどの、交通ネットワークに明示的にまたは完全に含まれていないエリアを横断することがある。いくつかの実施形態では、交通ネットワーク２２００は、交通ネットワーク２２００上の車両の移動を検出するために使用され得る、誘導ループセンサなどの車両検出センサ２２０２のうちの１つまたは複数を含み得る。

電子通信ネットワーク２３００は、車両２１００と外部オブジェクト２１１０との間の音声通信、データ通信、ビデオ通信、メッセージング通信、またはそれらの組み合わせなどの通信を提供する多元接続システムであり得る。例えば、車両２１００または外部オブジェクト２１１０は、交通ネットワーク２２００を表す情報などの情報を、電子通信ネットワーク２３００を介してオペレーションセンター２４００から受信することができる。

オペレーションセンター２４００は、図１に示すコントローラ１３００の特徴のいくつかまたはすべてを含むコントローラ装置２４１０を含む。コントローラ装置２４１０は、自律走行車両を含む車両の動きを監視し調整することができる。コントローラ装置２４１０は、車両２１００などの車両、および外部オブジェクト２１１０などの外部オブジェクトの状態またはコンディションを監視することができる。コントローラ装置２４１０は、車両データ並びに車両の速度、車両位置、車両の運転状態、車両目的地、車両ルート、車両センサデータ、外部オブジェクトの速度、外部オブジェクトの場所、外部オブジェクトの操作状態、外部オブジェクトの目的地、外部オブジェクト経路および外部オブジェクトセンサデータのいずれかを含むインフラストラクチャデータを受信することができる。

さらに、コントローラ装置２４１０は、車両２１００などの１つまたは複数の車両、または外部オブジェクト２１１０などの外部オブジェクトに対する遠隔制御を確立することができる。このようにして、コントローラ装置２４１０は車両または外部オブジェクトを遠隔地から遠隔操作することができる。コントローラ装置２４１０は、無線通信リンク２３８０などの無線通信リンクまたは有線通信リンク２３９０などの有線通信リンクを介して、車両、外部オブジェクト、または車両２１００、外部オブジェクト２１１０、若しくはサーバコンピューティングデバイス２５００などのコンピューティングデバイスと状態データを交換（送信または受信）することができる。

サーバコンピューティングデバイス２５００は、電子通信ネットワーク２３００を介して、状態信号データを、１つまたは複数の車両または車両２１００、外部オブジェクト２１１０、またはオペレーションセンター２４００を含むコンピューティングデバイスと交換（送信または受信）することができる１つまたは複数のサーバコンピューティングデバイスを含み得る。

いくつかの実施形態では、車両２１００または外部オブジェクト２１１０は、有線通信リンク２３９０、無線通信リンク２３１０／２３２０／２３７０、または任意の数もしくは種類の有線もしくは無線通信リンクの組み合わせを介して通信する。例えば、図示のように、車両２１００または外部オブジェクト２１１０は、地上無線通信リンク２３１０を介して、非地上無線通信リンク２３２０を介して、またはそれらの組み合わせを介して、通信する。いくつかの実装形態では、地上無線通信リンク２３１０は、イーサネット（登録商標）リンク、シリアルリンク、ブルートゥース（登録商標）リンク、赤外線（ＩＲ）リンク、紫外線（UV）リンク、または電子通信を提供することができる任意のリンクを含む。

車両２１００などの車両、または外部オブジェクト２１１０などの外部オブジェクトは、別の車両、外部オブジェクト、またはオペレーションセンター２４００と通信することができる。例えば、ホストまたは対象の車両２１００は、直接通信リンク２３７０を介して、または電子通信ネットワーク２３００を介して、オペレーションセンター２４００から基本安全メッセージ（ＢＳＭ）などの１つまたは複数の自動車両間メッセージを受信することができる。例えば、オペレーションセンター２４００は、３００メートルなどの定義された放送範囲内のホスト車両または定義された地理的領域へのメッセージを放送することができる。いくつかの実施形態では、車両２１００は、信号中継器（図示せず）または他の遠隔の車両（図示せず）などの第三者を介してメッセージを受信する。いくつかの実施形態では、車両２１００または外部オブジェクト２１１０は、１００ミリ秒などの定義された間隔に基づいて定期的に１つまたは複数の自動車両間メッセージを送信する。

自動車両間メッセージは、車両識別情報、経度、緯度、または標高情報などの地理空間状態情報、地理空間位置精度情報、車両加速度情報、ヨーレート情報、速度情報などの運動状態情報、車両方位情報、ブレーキシステム状態データ、スロットル情報、ステアリングホイール角度情報、または車両経路情報、あるいは車両サイズ情報、ヘッドライト状態情報、方向指示信号情報、ワイパー状態データ、送信情報などの車両動作状態情報、送信車両の状態に関連するその他の情報、または情報の組み合わせを含むことができる。例えば、送信状態情報は、送信車両の変速機がニュートラル状態、駐車状態、フォワード状態、リバース状態のいずれであるかを示す。

いくつかの実施形態では、車両２１００は、アクセスポイント２３３０を介して電子通信ネットワーク２３００と通信する。コンピューティングデバイスを含み得るアクセスポイント２３３０は、有線または無線通信リンク２３１０／２３４０を介して、電子通信ネットワークを用いて車両２１００、電子通信ネットワーク２３００、若しくはオペレーションセンター２４００またはそれらの組み合わせと通信するように構成され得る。例えば、アクセスポイント２３３０は、基地局、無線基地局（ＢＴＳ）、ノードＢ、拡張ノードＢ（ｅノードＢ）、ホームノードＢ（ＨノードＢ）、無線ルータ、有線ルータ、ハブ、リレー、スイッチ、または類似の有線または無線デバイスである。単一のユニットとして示されているが、アクセスポイントは任意の数の相互接続された要素を含むことができる。

車両２１００は、衛星２３５０、または他の非地上通信装置を介して電子通信ネットワーク２３００と通信することができる。計算装置を含み得る衛星２３５０は、１つまたは複数の通信リンク２３２０／２３６０を介して、車両２１００と、電子通信ネットワーク２３００と、オペレーションセンター２４００と、またはそれらの組み合わせと通信するように構成され得る。単一のユニットとして示されているが、衛星は任意の数の相互接続された要素を含むことができる。

電子通信ネットワーク２３００は、音声、データ、または任意の他の種類の電子通信を提供するように構成された任意の種類のネットワークであり得る。例えば、電子通信ネットワーク２３００は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、仮想私設ネットワーク（ＶＰＮ）、携帯電話ネットワークもしくは携帯電話ネットワーク、インターネット、または任意の他の電子通信システムを含む。電子通信ネットワーク２３００は、伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、インターネットプロトコル（ＩＰ）、リアルタイムトランスポートプロトコル（ＲＴＰ）、ハイパーテキストトランスポートプロトコル（ＨＴＴＰ）またはその組み合わせなどの通信プロトコルを使用することができる。単一ユニットとして示されているが、電子通信ネットワークは、任意の数の相互接続要素を含むことができる。

いくつかの実施形態では、車両２１００は、電子通信ネットワーク２３００、アクセスポイント２３３０、または衛星２３５０を介してオペレーションセンター２４００と通信する。オペレーションセンター２４００は、車両２１００のような車両、外部オブジェクト２１１０を含む外部オブジェクトまたはサーバコンピューティングデバイス２５００などのコンピューティングデバイスからのデータの交換（送信または受信）が可能な１つまたは複数のコンピューティングデバイスを含むことができる。

いくつかの実施形態では、車両２１００は、交通ネットワーク２２００の一部または状態を識別する。例えば、車両２１００は、図１に示すセンサ１３６０などの１つまたは複数の車載センサ２１０２を含むことができる。これは、速度センサ、車輪速度センサ、カメラ、ジャイロスコープ、光学センサ、レーザセンサ、レーダセンサ、音波センサ、または、交通ネットワーク２２００の一部または状態の検出または識別が可能な任意の他のセンサもしくは装置またはそれらの組み合わせを含む。

交通ネットワーク２２００を表す情報、１つまたは複数の車載センサ２１０２によって識別される情報、またはそれらの組み合わせなど、電子通信ネットワーク２３００を介して通信される情報を使用して、車両２１００は交通ネットワーク２２００の１つまたは複数の部分を通過することができる。外部オブジェクト２１１０は、車両２１００に関して上述した通信および動作の全部または一部が可能であり得る。

単純化のするために、図２は、ホスト車両としての車両２１００、外部オブジェクト２１１０、交通ネットワーク２２００、電子通信ネットワーク２３００、およびオペレーションセンター２４００を示している。しかしながら、任意の数の車両、ネットワーク、またはコンピューティングデバイスが使用され得る。いくつかの実施形態では、車両交通通信システム２０００は、図２に示されていない装置、ユニット、または要素を含む。車両２１００または外部オブジェクト２１１０は単一のユニットとして示されているが、車両は任意の数の相互接続された要素を含むことができる。

車両２１００は電子通信ネットワーク２３００を介してオペレーションセンター２４００と通信するように示されているが、車両２１００（および外部オブジェクト２１１０）は任意の数の直接または間接通信リンクを介してオペレーションセンター２４００と通信することができる。例えば、車両２１００または外部オブジェクト２１１０は、ブルートゥース（登録商標）通信リンクなどの直接通信リンクを介してオペレーションセンター２４００と通信することができる。単純化のために、図２は、交通ネットワーク２２００のうちの１つと、電子通信ネットワーク２３００のうちの１つとを示しているが、任意の数のネットワークまたは通信装置を使用することができる。

図３は、本開示によるソリューションパスオーバーレイインタフェース３０００の一例を示す図である。ソリューションパスオーバーレイインタフェース３０００は、図２に示されるコントローラ装置２４１０を含むコンピューティング装置上で実行可能、かつ、コントローラ装置２４１０を含むコンピューティング装置のメモリに格納された１つまたは複数の命令に基づいて生成することができる。例えば、ソリューションパスオーバーレイインタフェース３０００は、コンピュータネットワークを介してコントローラ装置２４１０にアクセスするクライアントコンピューティングデバイスによって解釈される命令に基づいて、コントローラ装置２４１０によって生成することができる。次いで、クライアントコンピューティングデバイスは、ディスプレイデバイス上にソリューションパスオーバーレイインタフェース３０００の表示を生成することができる。

一実装形態では、ソリューションパスオーバーレイインタフェース３０００は、環境表示３０１０、未舗装表面インジケータ３０１２、歩道インジケータ３０１４、道路部分インジケータ３０１６、道路部分インジケータ３０１８、ソリューションパスをたどる車両を示す車両インジケータ３０２０、ソリューションパスインジケータ３０２２（ソリューションパスとも呼ばれる）、ソリューションパスオーバーレイインジケータ３０２４（ソリューションパスオーバーレイとも呼ばれる）、緩衝距離３０２６、本実施形態における別の車両を表すが、倒木に限定されないその他の外部オブジェクトでも有り得る外部オブジェクトインジケータ３０３０、歩行者を表す外部オブジェクトインジケータ３０４０／３０５０／３０６０、外部オブジェクトインジケータ３０４０／３０５０／３０６０の各々の移動経路を表す移動経路インジケータ３０４２／３０５２／３０６２、建設ゾーンを表す外部オブジェクトインジケータ３０７０、およびレーン分割マーキングを示すレーンマーカインジケータ３０８０を含むことができる。

環境表示３０１０は、複数のオブジェクトの表示を含み、これには、車両インジケータ３０２０、および複数の外部オブジェクトの外部オブジェクトインジケータ３０４０／３０５０／３０６０／３０７０が含まれる。オブジェクトの表示は、実際の地理的領域内の実際のオブジェクトの状態またはコンディション（例えば、外観、移動方向、識別）に関するデータに基づくことができる。例えば、オブジェクトは、図２に示される車両２１００を含む車両を含み得る。オブジェクトは、静止画像、動画像、移動イメージ、リアルタイムの画像ストリーム若しくはビデオまたはそれらの任意の組み合わせを含むがこれらに限定されない様々な画像として生成することができる、車両インジケータ３０２０などのインジケータとして表すことができる。さらに、環境表示３０１０によって表される地理的領域内のオブジェクトの特徴および特性は、遠隔のデータソースまたはセンサから取得または受信することができるオブジェクトの実際の外観（例えば、衛星画像、車両センサ画像、交通信号カメラ画像）に基づき得る。さらに、オブジェクトは、インジケータまたはアイコン、テキスト、ピクトグラム若しくはそれらの任意の組み合わせを含む他の記号表示を含む画像として環境表示３０１０内に表示することができる。

環境表示３０１０は、タッチ入力（例えば、静電容量式ディスプレイなどのタッチスクリーンに触れる）、音声入力（例えば、マイクに向かって話す）、および入力デバイス（例えば、キーボードまたはスタイラス）からの入力のいずれかを含む入力を受け取ることができる。入力に基づいて、環境表示３０１０は、環境表示３０１０内の画像の見え方を変更することができる。これには、画像の一部または全部の拡大（例えば、複数の外部オブジェクトのサブセットのサイズの拡大または環境表示３０１０内に表示されている領域へのズームイン）、表示されている領域からのズームアウトを含む一部またはすべてのオブジェクトの縮小、俯瞰図（例えば、地図表示）への変更を含む視野角の変更が含まれるがこれらに限定されない。

ソリューションパスインジケータ３０２２は、車両インジケータ３０２０によって表される車両のような車両が現在位置から目的地まで移動することができるソリューションパスの表示を含むことができる。例えば、ソリューションパスインジケータ３０２２は、車両インジケータ３０２０によって表される車両が、外部オブジェクトインジケータ３０３０によって表される他の車両または他の外部オブジェクトのうちのいずれか（図示されるいくつかのものおよびその他の潜在的に図示されないもの）と物理的に接触することなく移動する経路を含み得る。別の実施形態では、ソリューションパスインジケータ３０２２は、それだけには限定されないが、車両が外部オブジェクトの特定の近傍内に入らないようにすることを含む、物理的接触以外の他の所定の制約条件に基づいて経路を決定する。

ソリューションパスオーバーレイインジケータ３０２４は、車両インジケータ３０２０などの車両インジケータによって表される車両の幅に基づいて、または別の所定の距離に基づいて、ソリューションパス（ソリューションパスインジケータ３０２２など）の外縁を表すことができる。緩衝距離３０２６は、ソリューションパスオーバーレイインジケータ３０２４の外縁と車両（例えば、車両インジケータ３０２０によって表される車両）との間の距離を表すことができ、または、緩衝距離３０２６は、所定の優先傾向およびオペレータの選択に基づいて決定することができる。いくつかの実施形態では、ソリューションパスオーバーレイインジケータ３０２４の幅（例えば、車両の幅）が緩衝路距離のサイズに対して増加するように、緩衝距離３０２６をソリューションパスオーバーレイインジケータ３０２４に組み込むことができる。

舗装されていない表面インジケータ３０１２（例えば、芝生のストリップまたは汚れ部分を表す）によって表される舗装されていない表面を含む舗装されていない表面、ならびに歩道インジケータ３０１４（歩道を表す）によって表される舗装面および道路部分インジケータ３０１６（道路の車線を表す）によって表される舗装面を含む舗装面を備えるがこれに限定されない、異なる種類の表面を環境表示３０１０内に表すことができる。さらに、表面は、車線分割標識を表すレーンマーカインジケータ３０８０などの道路指示によって画定することができる。車線分割標識は、道路部分インジケータ３０１８内の（反対の）移動方向から道路部分インジケータ３０１６内の移動方向を区別するのを助けることができ、または、車線分割標識は、屈折車線を進行車線に対して区別するのを助けることができる。

さらに、環境表示３０１０は、環境状態インジケータ（例えば、道路上の雪または雨の表示）、壊れている、不均一である、またはくぼみを有する地理的領域の部分（例えば、くぼみ）に関連付けられた道路状況インジケータ、油またはその他の滑りやすい材料を含む表面の危険性に基づく危険性指標、および、緩んだ表面に基づくルーズサーフェスインジケータ（緩んだ砂利、砂など）を含むがこれらに限定されない表面の状態またはコンディションに関係する様々な表示（図示せず）を含むことができる。いくつかの実装形態では、環境表示３０１０は、標識の表示（たとえば、一時停止の標識、譲れの標識、制限速度の標識）を含むことができる。

外部オブジェクトインジケータ３０４０／３０５０／３０６０／３０７０を含む外部オブジェクトインジケータは、歩行者、野生生物、または家畜を含む動物オブジェクト、ならびに、車両や自転車などの移動可能なオブジェクトおよび建物などの移動不可能なオブジェクトを含む無生物オブジェクトを含むがこれらに限定されない任意の種類のオブジェクトを表すために使用することができる。移動可能である外部オブジェクトインジケータ３０４０／３０５０／３０６０を含むインジケータはまた、外部オブジェクトインジケータ３０４０／３０５０／３０６０に対応する移動経路インジケータ３０４２／３０５２／３０６２のような経路インジケータと関連付けることができる。経路インジケータは、外部オブジェクトによる過去のまたは予想される移動経路を示すことができる。例えば、２つ以上の経路インジケータの交差点を使用して、経路が変更されない場合、将来的に２つ以上の外部オブジェクトが互いに接触するか、または互いに危険な近距離になることを示すことができる。経路インジケータを利用して、直線運動（例えば、オブジェクトによる直線運動）、円運動または楕円運動（例えば、回路の周りを移動するオブジェクト）、または往復運動（例えば、オブジェクトによる前後の動き）を含むがこれに限定されない異なる動作パターンが示される。

外部オブジェクトインジケータ３０７０は、建築区域を表すことができ、その境界は、パイロンまたはコーンなどの外部オブジェクトの集合または建築区域を示すのに使用される看板によって形成することができる。いくつかの実施形態では、プラスチックパイロンなどの移動可能なオブジェクトは、大きなコンクリート柱などの移動不可能なオブジェクトと同じように表すことができる。したがって、歩行者が発見される可能性が高い区域の周囲に安全区域を表すことができる。外部オブジェクトインジケータ３０７０はまた、修復を必要とする大きな穴のような他の道路問題を表すことができる。

いくつかの実装形態では、ソリューションパスオーバーレイインタフェース３００００内の視覚表示は、オーディオ出力（たとえば、スピーカを介した音声出力）および触覚出力（たとえば、触覚出力装置を介した振動またはその他の触覚出力）を含むがこれらに限定されない他の感覚出力に関連付けることができる。例えば、車両インジケータ３０２０の進路を遮るものとして表される外部オブジェクトインジケータ３０３０のような外部オブジェクトは、可聴トーン（例えば、チャイム）を伴う点滅する赤色を有する車両の画像によって表すことができる。この可聴トーンは、赤色の脈動に合わせて、あるいは交互に鳴るものである。したがって、外部オブジェクトインジケータ３０３０によって表される障害オブジェクトにオペレータの注意が即座に引き寄せられることができ、潜在的な問題を回避するために、車両インジケータ３０２０によって表される車両の経路を変更することが可能となる。

図４は、本開示によるソリューションパスオーバーレイインタフェース４０００の一例を示す図である。ソリューションパスオーバーレイインタフェース４０００は、車両および外部オブジェクトの三次元表示を含む。ソリューションパスオーバーレイインタフェース４０００は、図２に示されるコントローラ装置２４１０を含むコンピューティング装置上で実行可能、かつ、コントローラ装置２４１０を含むコンピューティング装置のメモリに格納される１つまたは複数の命令に基づいて生成することができる。例えば、ソリューションパスオーバーレイインタフェース４０００は、コンピュータネットワークを介してコントローラ装置２４１０にアクセスするクライアントコンピューティングデバイスによって解釈される命令に基づいて、コントローラ装置２４１０によって生成することができる。次いで、クライアントコンピューティングデバイスは、ディスプレイデバイス上にソリューションパスオーバーレイインタフェース４０００の表示を生成することができる。

ソリューションパスオーバーレイインタフェース４０００は、環境表示４０１０、道路部分インジケータ４０１２、ソリューションパスをたどることになる車両を表すことができる車両インジケータ４０２０、ソリューションパスインジケータ４０２２（ソリューションパスとも呼ばれる）、他の車両を表すことができる外部オブジェクトインジケータ４０３０、外部オブジェクト境界インジケータ４０３２、歩行者を表すことができる外部オブジェクトインジケータ４０４０、障害物を表すことができる外部オブジェクトインジケータ４０５０、および、建物を表すことができる外部オブジェクトインジケータ４０６０を含む。他の実施形態では、外部オブジェクトインジケータ４０３０／４０４０／４０５０／４０６０は、異なる外部オブジェクトまたは前述の外部オブジェクトの組み合わせとすることができる。

環境表示４０１０は、車両の周囲の所定の領域内（例えば、車両からの所定の半径に基づく）または車両からの所定の距離内（例えば、車両から少なくとも１０フィート離れていることに基づく）の車両インジケータ４０２０などの車両または外部オブジェクトの表示を含む。環境表示４０１０は、抽象的であり得る（例えば、車両を表すための立方体または歩行者を表すための円柱）、または実際の画像に基づく、若しくはそれと共に使用される静止画（写真など）または動画（ライブビデオストリームなどのビデオ）であり得る、車両および外部オブジェクトの三次元モデルを使用することができる。

例えば、車両インジケータ４０２０は、静止画または動画を使用せずに自動車の三次元モデルに基づくことができ、道路を表す道路部分インジケータ４０１２は、対応する実際の地理的位置（例えば、車線マーカは実際の地理的位置における車線マーカと一致する）における道路の静止画像に基づく表面テクスチャを有する道路の三次元モデルに基づくことができる。さらに、外部オブジェクトインジケータ４０６０は、異なる地理的位置にある建物の静止画像に基づく表面テクスチャを有する建物の三次元モデルに基づき得るものであり、そして、路側障害物（例えば、具体的なバリア）を表す外部オブジェクトインジケータ４０５０は、路側障害物のリアルタイムの静止画像またはビデオ画像に基づき得るものである。

ソリューションパスインジケータ４０２２などのソリューションパスインジケータを使用して、車両が以前に走行したことがある、または車両が走行することになるソリューションパスの一部を表すことができる。ソリューションパスインジケータは、車両位置と目的地との間の１つまたは複数のソリューションパスを含むことができる。例えば、ソリューションパスを使用して、外部オブジェクトに物理的に接触することを回避するように、車両インジケータ４０２０によって表される車両などの車両を目的地に誘導または案内することができる。例えば、ソリューションパスインジケータ４０２２を使用して、車両インジケータ４０２０に対応する車両を、外部オブジェクトインジケータ４０３０、外部オブジェクトインジケータ４０４０、および外部オブジェクトインジケータ４０５０などの、目的地までの経路に沿った車両インジケータ４０２０の移動を妨げるかまたは遅らせる外部オブジェクトの周囲に案内するのを支援することができる。

外部オブジェクトインジケータ４０３０の周囲に生成される外部オブジェクト境界インジケータ４０３２などの外部オブジェクト境界インジケータは、有形の物理的オブジェクトを表すものではないが、車両インジケータ４０２０が交差したり接近したりしてはならない、外部オブジェクトの周囲の領域を示すために使用することができる（例えば、車両インジケータ４０２０によって表される車両は、外部オブジェクト境界によって画定される領域を通過してはならない）。

本明細書で開示された技術の実装形態に関して説明された任意の方法、プロセス、技法、またはアルゴリズムのステップまたは動作は、ハードウェア、ファームウェア、ハードウェアによって実行されるソフトウェア、回路、またはそれらの任意の組合せで実装され得る。説明を容易にするために、図５〜８に示される技術５０００〜８０００は、一連の動作として描かれ説明されている。しかしながら、本開示による動作は様々な順序で又は同時に起こり得る。さらに、本開示による動作は、本明細書で提示および説明されていない他の動作と共に発生する可能性がある。

図５は、本開示に従ってソリューションパスオーバーレイインタフェースを生成するための技術５０００のフローチャートである。技術５０００は、ソリューションパスオーバーレイインタフェースを生成するためのシステムによって利用される。ソリューションパスオーバーレイインタフェースを生成するための技術５０００の一部または全部は、図１０に示される車両１０００、図２に示される車両２１００または、図２に「示されるコントローラ装置２４１０を含むコンピューティング装置を含む車両において実施することができる。一実装形態では、ソリューションパスオーバーレイインタフェースを生成するための技術５０００のいくつかまたはすべての態様は、本開示で説明されている特徴のいくつかまたはすべてを組み合わせたシステムで実装され得る。

動作５０１０において、車両データおよび外部データのうちのいずれかが、例えば、通信システムまたはソリューションパスオーバーレイインタフェースを生成するためのシステムの他のデバイスによって受信される。例えば、車両データは、ある場所から別の場所へ移動し、乗客および貨物のいずれかを含む物体を輸送することができるデバイスまたは装置（例えば、運搬装置）を含む１つまたは複数の車両から受信することができる。１つまたは複数の車両は、自律走行車両、人間の運転手によって運転される車両、または半自律走行車両を含むことができる。

車両データは、車両または周囲の車両（例えば、遠隔操作されている車両の周囲の車両）の状態またはコンディションと関連付けることができ、以下のものを含むことができるがそれらに限定されない。車両データが含むものは、車両の速度と加速度のいずれかに関する動的データ、車両の地理的位置（例えば、車両の緯度および経度）、別の物体に対する車両の位置、またはエリアの種類（例えば、スクールゾーン、消防車専用車線、駐車場）に対する車両の位置などの車両の位置を含む位置データ、車両の向きおよび傾斜（例えば、斜面上の車両の傾斜）を含む車両の位置データ、車両の電気的状態または機械的状態（例えば、電気自動車システムの状態、機械的自動車システム、タイヤ空気圧など）を含む、車両の動作状態に関する動作データ、予定された調整を含む、継続中の車両保守に関連する保守データ、燃料の残量またはバッテリの充電残量を含む車両エネルギー状態データ、光学センサ（例えば、光検出および測距センサ）、音声センサ、および動きセンサを含むセンサからの出力に基づく車両センサデータを含むセンサデータであって、これを使用して車両の内部および周囲の物理的環境の表示を生成することができるセンサデータ、車両の客室内の温度および湿度を含む内部状態データ、現在のタスクの完了のための推定時間を含む、車両の現在のタスク（例えば乗客を降ろす）に関連する現在のタスクデータ、そして、車両が目的地に到着するために通過することができる１つまたは複数の経路を含む、車両の目的地に関連する目的地データである。

いくつかの実装形態では、車両データを使用して、所定の領域（たとえば、車両の周囲の領域または指定された地理的領域）内の外部オブジェクトの動きを含む交通状況を判断することができる。交通状況に基づいて、目的地に関連する車両経路を決定および／または調整することができる。例えば、降車場所の目的地が交通渋滞の激しい地域にある場合、目的地自体を変更することもできる。例えば、目的地への車両経路は、目的地への車両の移動を遅らせる又は妨げるような交通状況（例えば、外部オブジェクトの高レベルの渋滞）のエリアと交差することを回避することができる。

外部データは、建物、道路、歩道、水路、車両、サイクリスト、および歩行者のいずれかを含み得るがこれらに限定されない、車両の外部オブジェクトのコンディションまたは状態と関連付けることができる。外部データは、以下のものを含み得るが、これらに限定されない。外部データに含まれるものは、外部オブジェクトが以前に移動した経路および外部オブジェクトの予測経路を含み、これらはいずれも外部オブジェクトの速度、向き、位置、または外部データで送信される外部オブジェクト移動経路に基づくことができる外部オブジェクト移動経路データ、車両に対する外部オブジェクトの向きおよびコンパスの向きなどの向きのいずれかを含む外部オブジェクト方向データ、外部オブジェクトの地理的位置（例えば、外部オブジェクトの緯度および経度）を含む外部オブジェクト位置、外部オブジェクトを識別するための（すなわち、外部オブジェクトを他の外部オブジェクトと区別するための）外部オブジェクト識別プロファイルデータ、光検出および測距センサ（ＬＩＤＡＲ，ライダー）を含む光学センサ、音声センサ、および運動センサを含むセンサからの出力に基づく外部オブジェクトセンサデータを含むセンサデータであって、車両の内部および周囲の物理的環境の表示を生成するために使用され得るセンサデータ、外部オブジェクト所定の領域（例えば、車両の周囲の所定の領域）内の表面（例えば、道路）の状態を含む表面状態データ、交通信号灯の状態（例えば、緑色光、赤色光、黄色光）を示す信号機データ、現在および予想される道路閉鎖および迂回路を含む道路閉鎖データ、現在および予想される建設現場の場所および状態を含む建設データ、救急車および警察車両などの緊急車両の経路を含む緊急車両経路データ、建物の場所を含むインフラストラクチャデータ、現在および今後の気象条件（例えば、雪または雨の予報）の状態を含む環境データ、そして、企業、学校、または住宅地の場所を含む区域データである。

動作５０２０において、ソリューションパスの各部分またはソリューションパス全体について、車両と外部オブジェクトとの間の緩衝距離が決定される。言い換えると、緩衝距離は、ソリューションパスの一部に基づいて動的に変化するか、またはソリューションパス全体に対して同じ距離となり得る。外部オブジェクトを通り過ぎる車両の通過に対応するために、ソリューションパスの幅は車両の両側のオブジェクト間の距離に基づくことができる。車両と外部オブジェクトとの間の緩衝距離は、車両の両側のオブジェクト間で車両が通過することを可能にする最小距離に加えて所定の距離を含むことができ、ｘ軸、ｙ軸、およびｚ軸を含む任意の方向の距離であり得る。例えば、ソリューションパスの両側の３ｍの緩衝距離は、外部オブジェクトを通り過ぎる車両の移動に対する安全余裕を提供することができ、その結果、車両は外部オブジェクトによる予期しない動きに反応するためのより多くの時間を有することができる。

緩衝距離は、車両の表面の周りの距離を増加させるために使用することができる。このようにして、車両は外部オブジェクトとの物理的接触（例えば衝突）をよりよく回避することができる。いくつかの実施形態では、デフォルトの緩衝距離は、ソリューションパスの幅、車両の表面、または外部オブジェクトの表面のいずれかに追加される所定の緩衝距離を含むことができる。緩衝距離は、同様の外部オブジェクトを安全に通過させるために必要な距離に関連するデータを集約する機械学習技術に基づいて動的に更新することができる。

例えば、車両がオープンスペース（例えば屋外道路）から閉鎖空間（例えば屋根付き駐車場又はトンネル）へ移動すると、車両位置間（例えば道路上）の経路が形成される。そして目的地（例えば屋根付き駐車場の駐車スペース）は緩衝距離を利用して、車両の上面（または車両が運搬している貨物）が屋根付き駐車場の天井の下端に接触しないようにする。

いくつかの実施形態において、所定の緩衝距離は、外部オブジェクトの各々に対して決定され得る。例えば、トラックなどの外部オブジェクトが、高さ１．４メートル、幅２．８メートル、長さ４．８メートルを含む寸法を有する場合、いくつかまたはすべての寸法に０．５メートルの緩衝距離を追加できることで、他の外部オブジェクトからの追加の距離を維持できる。緩衝距離を決定することによって、車両または外部オブジェクトによる予期しないまたは偏心した動きに適応することができるように、車両に追加の距離分の余裕が与えられる。緩衝距離は、予め決定され得る（例えば、少なくとも０．５メートルに常に設定される）か、または動的に調整され得る。

動作５０３０において、外部オブジェクトの移動経路と、車両の位置と目的地との間の少なくとも１つのソリューションパスとを含む１つまたは複数の経路が決定される。車両のソリューションパスは、車両がいずれかの外部オブジェクトに交差する（例えば、物理的に接触する）ことも、または近接することもなく、通過することができる経路を含み、車両データおよび外部データのいずれかに基づいて決定され得る。

外部データは、移動可能で現在移動中の外部オブジェクト（例えば、移動中の車両）、移動可能で現在移動中ではない外部オブジェクト（例えば、赤信号で停止した車両）および動かない外部の物体（例えば建物）を決定するために使用することができる。外部オブジェクトの現在の移動経路および予想される移動経路を含む移動経路は、ある期間にわたる外部オブジェクトの位置を決定するために使用することができる外部オブジェクトの速度および軌道を含む外部データに基づいて決定することができる。外部オブジェクトの現在の移動経路および予想される移動経路に基づいて、現在の移動経路および予想される移動経路と交差または近接しない（例えば、「近い」と定義される所定の距離内）ソリューションパスが決定され得る。いくつかの実施形態では、ソリューションパスは、外部オブジェクトの移動経路と交差しないかまたは接近しない、車両位置と目的地との間の最短経路を計算するために使用される経路発見アルゴリズムに基づくことができる。

例えば、車両の位置と外部オブジェクトの移動経路とを利用して、車両の位置と目的地との間のソリューションパスを地理的座標と関連付け、車両および外部オブジェクトの位置の経時変化に基づいて、ソリューションパスを決定することができる。

いくつかの実装形態では、規制交通の流れの方向は、車両の所定の距離内またはその周囲の領域内の交通流データおよび交通流インジケータのうちのいずれかに基づいて決定される。交通流データは、外部オブジェクトに対する公認の交通流パターンを含むことができる。例えば、交通流データは、道路の一部（例えば、車両が特定の方向に進むことができる道路の法的に定義された側）についての規制された交通流の方向を含む交通パターンデータ、信号機の状態の表示（例えば、信号機が赤、緑、または黄色であるかどうかの表示）を含む、信号機の状態データ、および、エリア内の交通制限速度の表示を含む交通速度規制データを含むことができる。規制交通流の方向は、ソリューションパスを生成する際の制約として使用することができる（例えば、ソリューションパスは、規制交通流に違反する道路の一部と交差することを部分的または完全に回避することができる）。

動作５０４０で、ソリューションパスを含むかまたはソリューションパスを表示するソリューションパスオーバーレイインタフェースが生成される。ソリューションパスオーバーレイインタフェースは、車両の現在位置と目的地との間のソリューションパスを含み、車両からの所定の距離内の領域、車両、および車両と目的地との間のソリューションパスの表示を含むことができる。

ソリューションパスオーバーレイインタフェースは、表示装置上に生成することができ、車両、外部オブジェクト、および地理的領域（例えば、地域のような特定の領域、または車両の周囲の半径範囲）の表示を、状態やコンディション（例えば、外観、進行方向、外部オブジェクトの識別）に関連付けられた画像として、含むことができる。オブジェクトは、インジケータまたは、アイコン、テキスト、ピクトグラム、またはそれらの任意の組み合わせを含む他の記号表示を含む画像として表すことができる。さらに、画像は、静止していない画像、動画、以前に記録された画像、および画像のストリームを含むリアルタイム画像、またはそれらの任意の組み合わせを含むことができる。ソリューションパスオーバーレイインタフェースの例は、図３及び４に既に示されている。

いくつかの実装形態では、ソリューションパスオーバーレイインタフェースは、車両データまたは外部データからのセンサ出力に基づく画像（たとえばビデオ画像）と、センサ出力に基づく画像の上に重ね合わされる画像との組み合わせを含むことができる。例えば、車両内または外部オブジェクト内の光学センサは、各々の車両データまたは外部データに含めることができるビデオストリームを出力することができる。ビデオストリームは、ソリューションパスオーバーレイインタフェースの生成部分と組み合わせることができるソリューションパスオーバーレイインタフェースの背景として使用することができる。

いくつかの実装形態では、ソリューションパスオーバーレイインタフェースを生成することは、表面状態（外部オブジェクトデータ内の表面状態データに基づくことができ、または、センサデータに基づいて決定することができる）に基づく表面状態表示を含む表面画像を生成することを含む。

図６は、本開示に従ってソリューションパスオーバーレイインタフェースを生成するための技術６０００のフローチャートである。技術６０００は、ソリューションパスオーバーレイインタフェースを生成するためのシステムによって利用される。ソリューションパスオーバーレイインタフェースを生成するための技術６０００のうちのいくつかまたはすべては、図１に示される車両１０００、図２１に示す車両２１００及び図２に示したコントローラ装置２４１０を含むコンピュータ装置を含む車両内で実装され得る。一実装形態では、ソリューションパスオーバーレイインタフェースを生成するための技術６０００のいくつかまたはすべての態様は、本開示で説明されている特徴のいくつかまたはすべてを組み合わせたシステム内で実装することができる。

動作６０１０において、車両の位置は、車両データまたは外部データに含まれる任意のセンサデータ（例えば、光学センサ、音声センサ、光検出および測距センサを含むセンサからのセンサ出力、および運動センサ）および地図データに基づいて決定される。地図データは、任意の車両データまたは外部オブジェクトデータに含めることができ、車両が位置する地理的領域の状態（たとえば、地形状態、道路、歩道、水路）を含むことができる（たとえば、車両が配置されている都市または地域のマップ）。

地図データは、車両および外部オブジェクトのいずれかを含む所定の領域の表示であって、車両または外部オブジェクトを含まないソースから受信される表示を含むことができる。例えば、地図データは、地理的領域に関する地図データを記憶し交換する（送信または受信する）ことができる遠隔コンピューティング装置（例えば、地理的地図サーバ）から局地的に記憶または受信することができる。

動作６０２０で、車両配置は車両位置に基づいて決定される。車両配置は、地図データおよびセンサデータのいずれにも基づくことができる。車両配置は、外部オブジェクトに対する車両の位置に関するデータを含むことができる。車両の位置に関するデータは、車両の真下の表面に対する車両の傾斜角、車輪の下の表面に対する車両の車輪の牽引力のレベルの表示、および、規制された交通の流れの方向に従って車両が位置決めされているかどうか（例えば、車両が車線の反対方向に移動しているかどうか）の表示を含むがこれらに限定されない。

いくつかの実装形態では、ソリューションパスオーバーレイは車両配置に基づくことができ、車両配置のインジケータを含むことができる。例えば、車両が泥だらけの斜面にある状況では、単純なビデオ画像では斜面の角度や泥が車両の車輪の牽引力を低下させる程度を完全には伝えられないことがある。このようにして、車両配置は、傾斜路および牽引力を低減させる泥を含む路面の状態の視覚的表示を提供するためにソリューションパスオーバーレイインタフェースの一部として使用され得る。

図７は、本開示に従ってソリューションパスオーバーレイインタフェースを生成するための技術７０００のフローチャートである。技術７０００は、ソリューションパスオーバーレイインタフェースを生成するためのシステムによって利用される。ソリューションパスオーバーレイインタフェースを生成するための技術７０００の一部または全部は、図１に示される車両１０００、図２に示す車両２１００および図２に示すコントローラ装置２４１０を含むコンピューティング装置を含む車両内に実装され得る。一実装形態では、ソリューションパスオーバーレイインタフェースを生成するための技術７０００のいくつかまたはすべての態様は、本開示で説明されている特徴のいくつかまたはすべてを組み合わせたシステムで実装され得る。

動作７０１０において、外部オブジェクトの各々に対応する識別情報（または識別データ／情報）は、車両データおよび外部オブジェクトデータのうちのいずれかに基づいて決定することができる。外部オブジェクトの同一性の決定は、車両データまたは外部オブジェクトデータを、各々の外部オブジェクトの特性を含むことができる複数の外部オブジェクト識別プロファイルと比較および照合することによって実行することができる。外部オブジェクトの特性は、視覚的特性（例えば、光学センサに基づいて決定することができる）、音響センサ（例えば、マイク）からの出力に基づいて決定することができる音響特性、動作センサによって決定することができる運動特性、またはそれらの任意の組み合わせに基づくことができる。

例えば、光学センサからの視覚データを使用して、外部オブジェクトの色、形状、大きさ、または移動パターンを含む特性を、複数の外部オブジェクトプロファイルの対応する特性と比較することができる。外部オブジェクトの識別は、外部オブジェクトの特性に最もよく一致する外部オブジェクトプロファイルに対応するように決定され得る。

さらに、外部オブジェクトの識別を決定することは、外部オブジェクトを以下のいずれかとして識別することを含み得るが、それらに限定されない。外部オブジェクトとして識別し得るものは、子供または身体障害者などの歩行者のタイプを含む歩行者、緊急車両またはスクールバスなどの特殊用途車両などの異なる種類の車両を含む車両、信号機状態（例えば、赤色光、緑色光、黄色信号）の表示を含む信号機信号、一時停止の標識、譲れの標識、または交通速度制限の指標を含む交通標識、横断歩道および車線分割表示を含む舗装マーキング、商業用建物、住宅用建物および仮設建物を含む建物、電柱、電力線、水力発電用電柱、携帯電話塔などの公共施設、通り、道路、高速道路などの主要舗装道路を含む主要道路、路地、駐車場、車道などの二次舗装道路、および、水路、森林地帯、畑などの未舗装の表面である。

いくつかの実装形態では、外部オブジェクトの識別の決定は、以下のものを含むがこれらに限定されない、異なるタイプのデータに基づくことができる。異なるタイプのデータに含まれるものは、各々の外部オブジェクト（たとえば、各々の識別に関するデータを送信する他の車両）に関する外部オブジェクトのサブセットから生じるデータ、他の外部オブジェクトに関連する外部オブジェクトのサブセット（例えば、他の外部オブジェクトの識別に関連するデータを送信する、交通信号用カメラなどの外部オブジェクト、）から生じるデータ、および、外部オブジェクトを含まない遠隔データソースから発生する外部オブジェクトの状態に関するデータ（例えば、外部オブジェクトに関する衛星画像または交通管制センターのデータ）である。

動作７０２０において、モビリティ状態（各外部オブジェクトのモビリティ状態）が決定される。外部オブジェクトのモビリティ状態は、外部オブジェクトの識別情報に基づくことができ、外部オブジェクトの移動可能状態および移動不可能状態のうちのいずれかの決定を含むことができる。モビリティ状態は、各々の外部オブジェクトが生物であるか（例えば、歩行者）、無生物かつ移動可能であるか（例えば、車両）、または無生物かつ移動不可能（例えば、建物）であるかどうかに基づき得る。外部オブジェクトのモビリティ状態に基づいて、外部オブジェクトの移動経路のより正確な予測を行うことができる。例えば、赤色（例えば、交通信号の前にある車両に対する停止の指示）を示す交通信号で停止している車両のような外部オブジェクトは静止しているが、交通信号が緑色（例えば、信号機の前にある車両に対する進行の指示）を示すと移動する可能性が高い。したがって、外部オブジェクトの識別または識別データの決定に基づいて、ソリューションパスは、交通信号で停止している車両の予測経路および移動のタイミングを含むことになる。

動作７０３０で、ソリューションパスオーバーレイインタフェースは、外部オブジェクトの決定されたモビリティ状態に基づいて修正または更新され、またはさらに生成される。ソリューションパスオーバーレイインタフェースに対する修正は、外部オブジェクトのモビリティ状態を示すモビリティ表示などの表示を含むことができる。モビリティ表示は、外部オブジェクトの方向の矢印およびその他の表示を含む方向インジケータ、外部オブジェクトのモビリティ状態に関連するモビリティ状態インジケータ（例えば、動かないオブジェクトと動くオブジェクトとは、例えば動くオブジェクトは赤、無生物かつ動かないオブジェクトは青、無生物かつ動くオブジェクトは黄色にするなど、別々のカラーコーディングに基づいて区別する）、および、各々の外部オブジェクトの速度を示す速度インジケータ（例えば、車両が毎時２０キロメートルの速度で移動していることのインジケータ）を含むことができる。

図８は、本開示に従ってソリューションパスオーバーレイインタフェースを生成するための方法８０００を示す。方法８０００は、ステップ８０１０を介して、コントローラ装置（例えば、図２のコントローラ装置２４１０）のソリューションパスオーバーレイシステムによって、車両の車両制御システムから車両データおよび外部データを受信することを含み、車両データは車両位置および車両目的地（例えば、監視されている車両の位置および目的地）を含む。外部データは、車両の所定の領域に関連するまたはその中の複数の外部オブジェクトの各々についての位置および移動経路を含む。方法８０００は、ステップ８０２０を介して、ソリューションパスオーバーレイシステムによって、車両データと外部データとを利用して、車両位置と車両目的地との間の、複数の外部オブジェクトと交差しないソリューションパスを決定することを含む。方法８０００は、ステップ８０３０を介して、ソリューションパスオーバーレイシステムによって、ソリューションパスに沿って移動する車両の表示（例えば、仮想モデル）および複数の外部オブジェクトのうちの少なくともいくつかを含むソリューションパスオーバーレイインタフェースを生成することを含む。方法８０００は、ステップ８０４０を介して、ソリューションパスオーバーレイシステムによって、ソリューションパスオーバーレイインタフェースのオペレータからコマンドを受信するように構成された表示用のソリューションパスオーバーレイインタフェースを出力することを含む。コマンドは、任意のオペレータが、表示されたソリューションパスオーバーレイインタフェースに関連付けられたソリューションパスを拒否、確認、および更新／調整することを含み得る。ソリューションパスオーバーレイインタフェースのオペレータからのコマンドの受信に応答して、方法８０００は、ステップ８０５０を介して、受信したコマンドに従ってソリューションパスオーバーレイシステムによってソリューションパスオーバーレイインタフェースを更新すること、および、ステップ８０６０を介して、ソリューションパスオーバーレイシステムによって、実行のために更新されたソリューションパスを車両に送信することを含む。

一実装形態では、車両データおよび外部データのいずれも、光学センサ、光検出および測距センサ（ＬＩＤＡＲ）、モーションセンサ、および音声センサのいずれかからのセンサデータを含む。方法８０００は、ソリューションオーバーレイシステムによって、センサデータに基づいて、車両の所定距離内の表面状態を決定することと、ソリューションパスオーバーレイシステムによって、表面状態に基づいた表面状態表示を含む表面画像を生成することとを含み、ソリューションパスオーバーレイインタフェースは表面状態表示を含む。

一実装形態では、方法８０００は、ソリューションパスオーバーレイシステムによって、センサデータと所定のエリア内の複数の外部オブジェクトの移動経路とを利用して交通状況を決定するステップを含み、車両の車両経路は、交通状況を利用して決定され、車両経路は、車両位置と車両目的地との間の車両のナビゲーションデータを車両に提供する。車両位置は、車両および複数の外部オブジェクトの地理的領域を含む地図データに基づいており、さらにソリューションパスは車両の運転者に表示される。

一実装形態では、方法８０００は、ソリューションパスオーバーレイシステムによって、車両データおよび外部データのいずれかに基づいて複数の外部オブジェクトの識別データを決定するステップ、ソリューションパスオーバーレイシステムによって、複数の外部オブジェクトの、移動可能状態と移動不可能状態とを含むモビリティ状態を決定するステップ、および、ソリューションパスオーバーレイシステムによって、かつ、モビリティ状態に基づいて、複数の外部オブジェクトのうちの移動可能および移動不可能な外部オブジェクトを示すように、ソリューションパスオーバーレイインタフェースを更新するステップを含む。識別データは、歩行者、車両、信号機信号、交通標識、舗装マーキング、建物、主要道路、および補助道路のいずれかを含む。

一実装形態では、方法８０００は、ソリューションパスオーバーレイシステムによって、所定のエリア内の交通流データおよび交通流インジケータのいずれかに基づいて規制された交通の流れの方向を決定するステップを含み、交通流データは複数の外部オブジェクトの公認の交通流パターンを含み、ソリューションパスオーバーレイインタフェースは、規制された交通の流れの方向の表示を含む。そして、方法８０００は、ソリューションパスの各部分についてのソリューションパスオーバーレイシステムによって、車両と複数の外部オブジェクトの各々との間の緩衝距離を決定するステップを含む。ソリューションパスを決定するステップは、車両と複数の外部オブジェクトの各々との間の緩衝距離を維持することを含む。

図９は、コントローラ装置（例えば図２のコントローラ装置２４１０）を介して自律走行車両を制御するための自律走行車両（例えば図１の車両１０００）の車両制御システム９０００を示している。車両の動作中、車両制御システム９０００は自律モードまたは制御モードのいずれかで動作し得る。自律モードで動作しているとき、車両制御システム９０００は、車両によって収集されたデータ（例えば、車両データおよび／または外部データ）に基づいて車両の動作を決定する。車両データおよび外部データは、通信ネットワークを介して車両に送信される他の車両またはコンピュータシステム（例えば、ＩｏＴネットワーク）などの第三者によって収集されたデータも含むことができる。制御モードで動作するとき、車両制御システム９０００は、通信ネットワーク（例えば、図２の電子通信ネットワーク２３００）を介して車両によって収集されたデータをコントローラ装置に送信する。データに応答して、コントローラ装置は、ソリューションパスオーバーレイインタフェースを生成し、ソリューションパスを車両に送信する。ソリューションパスを受信した後、車両制御システム９０００は、車両の様々なシステム（例えば、図１の動力源１２１０、操舵ユニット１２３０、車両アクチュエータ１２４０、および／または変速機１２２０）に、ソリューションパスに従って交通ネットワークを横断するように指示する。

車両がソリューションパスに沿って交通ネットワークを横切るとき、車両は、コントローラ装置が、条件変更が原因でソリューションパスが調整される必要があるかどうかを決定することができるように、車両によって収集されるデータでコントローラ装置を更新し続ける。例えば、車両がソリューションパスを横切るときに、以前に遮蔽されていた可能性があるオブジェクトが車両の視野内に現れる可能性があり、それがソリューションパスの変更を促す可能性がある。車両制御システム９０００は、以下でさらに詳細に説明される。

図９に示すように、車両制御システム９０００は、自律モードモジュール９０１０と、制御モードモジュール９０２０と、車両制御モジュール９０３０とを含む。動作において、自律モードモジュール９０１０は、自律モードで動作するときに車両が実行する動作を決定する。一方、制御モードモジュール９０２０は、制御モードで動作しているときに車両が実行するための動作を決定する。

通常の動作条件下では、自律モードモジュール９０１０は、センサシステム９０４０からセンサデータを受信して、取るべき１つまたは複数の動作を決定する。センサシステム９０４０は、ビデオカメラセンサおよび光検出および測距センサ（ＬＩＤＡＲ）などの光学センサ、音声センサ、全地球測位システム（ＧＰＳ）センサなどの位置センサ、ジャイロスコープや加速度計などのモーションセンサ、温度センサ、その他の適切なセンサを含むがこれらに限定されない任意の適切な種類のセンサを含み得る。自律モードモジュール９０１０は、センサシステム９０４０からセンサデータを受信し、それに基づいて車両データおよび外部データを決定する。自律モードモジュール９０１０は、任意の適切な方法で動作し得る。

いくつかの実装形態では、自律モードモジュール９０１０は、動作を判断するために１つまたは複数の機械学習モデルを実装することができる。機械学習モデルは、ニューラルネットワーク、マルコフモデル、または他の適切なモデルを含み得る。モデルはセンサデータを受け取り、それに基づいて動作を決定する。これらのモデルは、モデルによって決定された行動が、モデルが訓練された訓練データに基づくように、訓練データを使用して訓練されてもよい。したがって、各行動は、決定された行動においてモデルが有する信頼度を示す、その行動に関連する信頼スコアを有することができる。自律モードモジュール９０１０は、その動作を車両制御モジュール９０３０に出力し、車両制御モジュール９０３０は、車両を制御するための命令を様々な車両システム（図示せず）に出力する。

しかしながら、場合によっては、自律モードモジュール９０１０は、自律モードモジュール９０１０がそれに関連する必要な信頼スコアを有する行動を決定することができない状況に車両が遭遇していると決定することがある。そのような場合、車両は、自律モードモジュール９０１０が取り扱うように訓練されていない、１つまたは複数の外部オブジェクトを含む状況に接近した可能性がある。例えば、車両は、ビデオセンサが建設区域の背後にあるものを捕捉することができない建設区域に接近することがある。自律モードモジュール９０１０が必要な信頼スコアを有するアクションを出力することができないと決定した場合、自律モードモジュール９０１０は制御モードモジュール９０２０に通知することができる。そうすることで、自律モードモジュール９０１０はセンサデータを、未知の状況下に置かれた制御モードモジュール９０２０に提供することができる。

自律モードモジュール９０１０から通知を受信すると、制御モードモジュール９０２０は、オペレーションセンター（例えば、図２のオペレーションセンター２４００）との通信セッションを開始することができる。いくつかの実装形態では、制御モードモジュール９０２０は、オペレーションセンターのコントローラ装置（たとえば、図２のコントローラ装置２４１０）との通信セッションを開始することによって、オペレーションセンターとの通信セッションを開始する。通信セッションを開始すると、制御モードモジュール９０２０は、ソリューションパスの要求を送信し、さらにセンサシステム９０４０によって収集されたセンサデータおよび／または車両によって収集された他の任意のデータを送信することができる。制御モードモジュール９０２０によって提供されるデータは、車両データおよび／または外部データを含み得る。

制御モードモジュール９０２０によって収集されたデータを提供することに応答して、コントローラ装置は、制御モードモジュール９０２０へのソリューションパスを提供する。ソリューションパスは、車両が横断することになる交通ネットワークに沿った経路を定義することができる。ソリューションパスの受信に応答して、制御モードモジュール９０２０は、ソリューションパスに従って交通ネットワークを横断するために実行する１つまたは複数の動作を決定することができる。例えば、制御モードモジュール９０２０は、車両が加速して特定の方向に向きを変えなければならないと決定することができる。制御モードモジュール９０２０は、動作を車両制御モジュール９０３０に出力することができる。

自律モードモジュール９０１０または制御モードモジュール９０２０のいずれかから１つまたは複数の動作を受信したことに応答して、車両制御モジュール９０３０は動作を実行する。アクションを実行する際に、車両制御モジュール９０３０は、１つまたは複数の車両システムに発行するための１つまたは複数のコマンドを決定する。例えば、車両を前進させて右に曲がる動作に応答して、車両制御モジュール９０３０は、加速するために車両のパワーシステムに第１のコマンドを発行し、右に曲がるためにステアリングシステムに第２のコマンドを発行することができる。

図１０は、例示的なコントローラ装置１００００を示す。コントローラ装置１００００は、図１１のコントローラ装置２４１０または、通信ネットワーク（例えば、図２の電子通信ネットワーク２３００）を介してソリューションパスを車両に通信する任意の他の適切な装置であり得る。図示の例では、コントローラ装置１００００は、ソリューションパスオーバーレイシステム１０１００および通信ユニット１０２００を含むことができる。ソリューションパスオーバーレイシステム１０１００は、オーバーレイ生成モジュール１０３００、オーバーレイグラフィカルユーザインタフェース１０４００（オーバーレイＧＵＩ）、および交通ネットワークデータ格納部１０５００を有する。オーバーレイ生成モジュール１０３００およびオーバーレイグラフィカルユーザインタフェース１０４００は、コントローラ装置１００００の１つまたは複数のプロセッサによって実行され得る。交通ネットワークデータ格納部１０５００は、ストレージシステム（すなわち、メモリ）に格納され得る。ストレージシステムは、コントローラ装置内の物理的な記憶装置でもよく、または通信ネットワークを介してアクセスされるネットワーク記憶装置でもよい。

交通ネットワークデータ格納部１０５００は、交通ネットワークデータを格納する。交通ネットワークデータは、交通ネットワークの特徴を記述する任意のデータであり得る。交通ネットワークデータは、道路（例えば、街路、高速道路、双方向、路地など）、道路に沿った移動の方向、道路上の道の右側、交通標識（例えば、譲れの標識、一時停止の標識など）信号機データ、車線データ（例えば、車線数、合流点など）、道路に沿った速度制限、既知の障害物、外部オブジェクト、および他の適切なデータを定義することができる。いくつかの実装形態では、交通ネットワークデータは、地理位置情報をキーとするデータベースに編成され得る。このようにして、車両生成モジュール１０３００は、車両の位置に基づいて車両の経路に関する交通ネットワークデータを検索することができる。

オーバーレイ生成モジュール１０３００は、車両からのソリューションパスの要求を受信する。ソリューションパスの要求は、車両データおよび／または車両によって収集された外部データを含み得る。例えば、要求は、車両の地理的位置、車両の経路、車両の方向、車両の速度、車両によって収集された光学データ（例えば、ビデオおよびＬＩＤＡＲデータ）、音声データ、および任意の他の適切なデータを含むことができる。代替として、オーバーレイ生成モジュール１０３００は、車両によって収集されたデータの受信に応答して、車両が継続的な動作のためのソリューションパスを必要とすると自動的に判断してもよい。要求または車両がソリューションパスを必要とするという決定に応答して、オーバーレイ生成モジュール１０３００は、車両データおよび／または外部データを使用し、ソリューションパス（例えば、図３のソリューションパスインジケータ３０２２）および対応するソリューションパスオーバーレイ（例えば、図３のソリューションパスオーバーレイインジケータ３０２４）を決定する）。

次に、オーバーレイ生成モジュール１０３００は、決定されたソリューションパス、対応するソリューションパスオーバーレイおよび車両データおよび/または外部データを含むがこれに限定されない情報を使用して、ソリューションパスオーバーレイインタフェース（例えば、図３のソリューションパスオーバーレイインタフェース３０００または図４のソリューションパスオーバーレイインタフェース４０００）を生成する。生成されたソリューションパスオーバーレイインタフェースは、オーバーレイ生成モジュール１０３００によって、ディスプレイ用にオーバーレイＧＵＩ１０４００に出力または送信される（例えば、ソリューションパスオーバーレイシステム１０１００のオペレータから少なくとも１つの入力またはコマンドを受け取るように構成されたディスプレイ用）。ソリューションパスオーバーレイインタフェースは、（図４に示されるように）交通手段ネットワークに関してソリューションパスを横切っている車両の三次元モデルであり得る。三次元モデルはまた、車両を取り囲む環境の他の外部オブジェクト（例えば、木、建物など）を含み得る。オーバーレイ生成モジュール１０３００は、交通ネットワークデータを利用して、車両の既知の環境（例えば、道路、交通の方向、および既知の障害物）を生成することができる。オーバーレイ生成モジュール１０３００は、車両および車両のセンサシステムによって検出された任意の障害物を含めるために車両データおよび／または外部データを利用することができる。

いくつかの実装形態では、オーバーレイ生成モジュール１０３００は、車両の地理位置情報に基づいて交通ネットワークデータ格納部１０５００から交通ネットワークデータを取り出す。オーバーレイ生成モジュール１０３００は、車両の現在の地理位置に関する交通ネットワークデータ、車両の次の経路（例えば、次の１０００フィート）に関する地理位置情報、および経路のうち最も最近通過した部分の地理位置情報（例えば、前の５０フィート）を取り出すことができる。これらの実装形態では、オーバーレイ生成モジュール１０３００は、車両が走行している道路に関するデータを取得する。例えば、オーバーレイ生成モジュール１０３００は、車両が走行している道路、道路上の車線数、道路上の制限速度、道路上の既知の障害物、道路上の信号機および道路に沿った交通標識を表す交通ネットワークデータを取得することができる。

オーバーレイＧＵＩ１０４００は、グラフィカルユーザインタフェースを介して、決定されたソリューションパスと対応するソリューションパスオーバーレイとの両方を含み得るソリューションパスオーバーレイインタフェースを表示する。ソリューションパスオーバーレイインタフェースはまた、車両のほぼ近傍に交通ネットワークを表示してもよい。ソリューションパスオーバーレイインタフェースは、車両の現在の状況を考慮して、オペレータ（またはコンピュータ）が車両のソリューションパスを分析および／または更新することを可能にし得る。さらに、車両がソリューションパスに沿って交通ネットワークを横断する際、オーバーレイ生成モジュール１０３００は、ソリューションパスに対する車両の新しい位置、ならびに、車両がソリューションパスに沿って進むにつれて車両データ／外部データにおいて新たに検出された任意のオブジェクトを示すために、ソリューションパスオーバーレイインタフェースを更新することができる。そうすることで、オペレータは、オーバーレイＧＵＩ１０４００を介してソリューションパスオーバーレイインタフェースに作用するか、または、入力またはコマンドを提供することによってソリューションパスを更新することができる。

オーバーレイＧＵＩ１０４００は、ソリューションパスオーバーレイインタフェースをオペレータ（例えば、車両を監視している遠隔オペレータ）に表示することができる。ソリューションパスオーバーレイインタフェースは、交通ネットワークに関連して車両を表示することができる。さらに、ソリューションパスオーバーレイインタフェースは、交通ネットワークに沿って車両の近くにある任意の外部オブジェクトを提示することができる。例えば、ソリューションパスオーバーレイインタフェースは、任意の車両（移動中、または駐車している）、歩行者、障害物、道路ブロック、または車両がナビゲートすることを必要とし得る任意の他の潜在的なオブジェクトを含み得る。オペレータはまた、車両付近の周囲温度および任意の表面状態情報（例えば、湿った道路または凍った道路）などの追加の情報を提示されてもよい。

決定されたソリューションパスおよび対応するソリューションパスオーバーレイを含むソリューションパスオーバーレイインタフェースを用いて、オーバーレイＧＵＩ１０４００を介して一度提示されると、オペレータは、（例えば、オーバーレイ生成モジュール１０３００にコマンドを提供することによって）新しい／更新されたソリューションパスを生成することができる。新しいソリューションパスを生成する際に、オーバーレイ生成モジュール１０３００は、交通ネットワーク内の任意の検出されたオブジェクトからの緩衝距離（例えば、３フィート）を確保するようにソリューションパスを制限することができる。さらに、車両の幅が一定値であるため、ソリューションパスは固定寸法であってもよい。いくつかの実装形態では、オペレータは、ソリューションパスオーバーレイインタフェースを使用してソリューションパスを描くことができる。他の実装形態では、オペレータは１つまたは複数の停止点を指示することができ、オーバーレイ生成モジュール１０３００は停止点に基づいてソリューションパスを生成することができる。例えば、オーバーレイ生成モジュール１０３００は、各停止点を通るソリューションパスを生成してもよい。オーバーレイ生成モジュール１０３００はさらに、オペレータがソリューションパスを実行することを可能にし得る。オペレータがソリューション経路を実行することを選択すると、ソリューションパスオーバーレイシステム１０１００は、通信ユニット１０２００を介して、実行するために、車両にソリューションパスを送信することができる。

ソリューションパスの受信に応答して、車両（例えば、図１の車両１０００）の車両制御システム（例えば、図９の車両制御システム９０００）は、ソリューションパスに沿って交通ネットワークを横断するために実行すべき１つまたは複数の動作を決定することによって、ソリューションパスを実行することができる。決定された動作は、車両の１つまたは複数の車両システムに発行または送信されたコマンドを提供する実行のために、車両制御システム（例えば、自律モードモジュール９０１０、制御モードモジュール９０２０、または図９には示されていない他のモジュールのいずれか）によって車両制御モジュール（例えば、図９の車両制御モジュール９０３０）に送信され得る。例えば、車両を前進させて右に曲がる動作に応答して、車両制御モジュールは、加速するために車両のパワーシステムに第１のコマンドを発行し、右に曲がるためにステアリングシステムに第２のコマンドを発行することができる。

開示された技術は、自律走行車両のような車両が動作する環境の画像を含むソリューションパス表示をより効果的に生成するソリューションパスオーバーレイ生成システムを提供する。ソリューションパスオーバーレイ生成システムは、以前に生成されたデータ、および、センサ入力、交通流パターン、および気象条件を含む、車両の局所的環境における条件に関するリアルタイムデータを含む様々なデータを組み込むことができる。したがって、ソリューションパスオーバーレイ生成システムは、車両が横断する環境をより効果的に表すことができ、それによって、車両操作の促進、状況認識の向上、および車両の安全性の向上などの利点を提供することができる。

開示された技術は特定の実施形態に関連して説明されてきたが、開示された技術は開示された実施形態に限定されるべきではなく、反対に、添付の特許請求の範囲の範囲内で、様々な修正および等価な構成を含むことが意図される。その範囲は、法律の下で認められているようなすべてのそのような修正および等価な構造を包含するように最も広い解釈に従うべきである。

Claims (20)

1. ソリューションパスオーバーレイシステムによって、車両の車両制御システムから車両データおよび外部データを受信するステップであって、前記車両データは前記車両に関連し、車両位置および車両目的地を含み、前記外部データは複数の外部オブジェクトの各々に対する位置及び移動経路を含むステップと、
   前記ソリューションパスオーバーレイシステムによって、前記車両データと前記外部データとを使用して前記車両位置と前記車両目的地との間のソリューションパスを決定するステップであって、前記ソリューションパスは、前記複数の外部オブジェクトと交差しないステップと、
   前記ソリューションパスオーバーレイシステムによってソリューションパスオーバーレイインタフェースを生成するステップであって、前記ソリューションパスオーバーレイインタフェースは前記ソリューションパスに沿って移動する前記車両の表示と前記複数の外部オブジェクトのうちの少なくともいくつかとを含むステップと、
   前記ソリューションパスオーバーレイシステムによって、前記ソリューションパスオーバーレイインタフェースのオペレータからのコマンドを受信するように構成された表示用の前記ソリューションパスオーバーレイインタフェースを出力するステップと、
   前記ソリューションパスオーバーレイインタフェースの前記オペレータからの前記コマンドの受信に応答して、前記ソリューションパスオーバーレイシステムによって、更新されたソリューションパスを提供するための前記受信したコマンドに従って、前記ソリューションパスオーバーレイインタフェースを更新するステップと、
   前記ソリューションパスオーバーレイシステムによって、前記更新されたソリューションパスを、実行のために、前記車両に送信するステップとを備える、方法。
2. 前記車両データおよび前記外部データのいずれかが、光学センサ、光検出および測距センサ（ライダー）、モーションセンサ、および音声センサのいずれかからのセンサデータを含む、請求項１に記載の方法。
3. 前記ソリューションパスオーバーレイシステムによって、前記センサデータに基づいて前記車両の所定の距離内の表面状態を決定するステップと、そして、
   前記ソリューションパスオーバーレイシステムによって、前記表面状態に基づいた表面状態表示を含む表面画像を生成するステップであって、前記ソリューションパスオーバーレイインタフェースが前記表面状態表示を含むステップと、をさらに備える請求項２に記載の方法。
4. さらに、前記ソリューションパスオーバーレイシステムによって、前記センサデータと所定の領域内の前記複数の外部オブジェクトの移動経路とを使用して交通状況を決定するステップを備え、
   前記車両の車両経路は前記交通状況を使用して決定され、前記車両経路は前記車両位置と前記車両目的地の間にある車両にナビゲーションデータを提供する、請求項２に記載の方法。
5. さらに、前記ソリューションパスオーバーレイシステムによって、前記所定のエリア内のトラフィックフローデータおよびトラフィックフローインジケータのうちのいずれかに基づいて規制トラフィックフローの方向を決定するステップを備え、前記トラフィックフローデータは、前記複数の外部オブジェクトに対する許可されたトラフィックフローパターンを含み、前記ソリューションパスオーバーレイインタフェースには、前記規制トラフィックフローの方向の表示が含まれる、請求項４に記載の方法。
6. 前記車両位置は、前記車両および前記複数の外部オブジェクトの地理的領域を含む地図データに基づいており、さらに、前記更新されたソリューションパスは、前記車両の運転者に表示される、請求項１に記載の方法。
7. 前記ソリューションパスオーバーレイシステムによって、前記車両データおよび前記外部データのいずれかに基づいて前記複数の外部オブジェクトの識別データを決定するステップと、
   前記ソリューションパスオーバーレイシステムによって、前記複数の外部オブジェクトのモビリティ状態を決定するステップであって、前記モビリティ状態は移動可能状態と移動不可能状態とを含むステップと、
   前記ソリューションパスオーバーレイシステムによって、前記モビリティ状態に基づいて、前記複数の外部オブジェクトのうちで移動可能および移動不可能な外部オブジェクトを示すように、前記ソリューションパスオーバーレイインタフェースを更新するステップとをさらに備える、請求項１に記載の方法。
8. 前記識別データが、歩行者、車両、信号機信号、交通標識、舗装マーキング、建物、主要道路、および二次道路のいずれかを含む、請求項７に記載の方法。
9. 前記ソリューションパスオーバーレイシステムによって、前記ソリューションパスの各部分について、前記車両と前記複数の外部オブジェクトの各々との間の緩衝距離を決定するステップをさらに備え、
   前記ソリューションパスを決定する前記ステップは、前記車両と前記複数の外部オブジェクトの各々との間の前記緩衝距離を維持するステップを含む、請求項７に記載の方法。
10. メモリと、
    前記メモリに格納された命令を実行するように構成されたプロセッサとを備え、
    前記プロセッサは、
    車両の車両制御システムから車両データと外部データとを受信し、前記車両データは、前記車両に関連付けられ、車両位置と車両目的地とを含み、前記外部データは、複数の外部オブジェクトの各々についての位置と移動経路とを含み、
    前記車両データと前記外部データとを使用して前記車両位置と前記車両目的地との間のソリューションパスを決定し、前記ソリューションパスは前記複数の外部オブジェクトと交差せず、
    前記ソリューションパスに沿って移動する前記車両と前記複数の外部オブジェクトのうちの少なくともいくつかとの表示を含むソリューションパスオーバーレイインタフェースを生成し、
    前記ソリューションパスオーバーレイインタフェースのオペレータからのコマンドを受信するように構成された表示用の前記ソリューションパスオーバーレイインタフェースを出力し、
    前記ソリューションパスオーバーレイインタフェースのオペレータからの前記コマンドの受信に応答して、受信した前記コマンドに従って前記ソリューションパスオーバーレイインタフェースを更新して、更新されたソリューションパスを提供し、
    前記更新されたソリューションパスを、実行のために、前記車両に送信する、ソリューションパスオーバーレイシステム。
11. 前記車両データおよび前記外部データのうちのいずれかが、光学センサ、光検出および測距センサ（ライダー）、モーションセンサ、および音声センサのうちのいずれかからのセンサデータを含む、請求項１０に記載のソリューションパスオーバーレイシステム。
12. 前記プロセッサは、前記メモリに格納された命令を実行するようにさらに構成され、
    前記センサデータに基づいて、前記車両の所定距離内の表面状態を判定し、
    前記表面状態に基づいて表面状態表示を含む表面画像を生成し、前記ソリューションパスオーバーレイインタフェースは前記表面状態表示を含む、請求項１１に記載のソリューションパスオーバーレイシステム。
13. 前記プロセッサは、前記メモリに格納された命令を実行するようにさらに構成され、
    前記センサデータと所定の領域内の前記複数の外部オブジェクトの前記移動経路とを用いて交通状況を決定し、前記交通状況を用いて車両経路が決定され、前記車両経路は前記車両位置と前記車両目的地との間の車両のナビゲーションデータを提供する、請求項１１に記載のソリューションパスオーバーレイシステム。
14. 前記車両位置は、前記車両および前記複数の外部オブジェクトの地理的領域を含む地図データに基づいており、さらに、前記更新されたソリューションパスは、前記車両のオペレータに表示される、請求項１１に記載のソリューションパスオーバーレイシステム。
15. 前記プロセッサは、前記メモリに格納された命令を実行するようにさらに構成され、
    前記車両データおよび前記外部データのいずれかに基づいて、複数の外部オブジェクトの識別データを決定し、
    前記複数の外部オブジェクトのモビリティ状態を決定し、前記モビリティ状態は、移動可能状態と移動不可能状態とを含み、
    前記モビリティ状態に基づいて、前記複数の外部オブジェクトのうちの移動可能および移動不可能な外部オブジェクトを示すためにソリューションパスオーバーレイインタフェースを更新する、
    請求項１１に記載のソリューションパスオーバーレイシステム。
16. 実行時に１つまたは複数のプロセッサに動作を実行させる、ソリューションパスオーバーレイシステムの１つまたは複数のプロセッサによって実行可能なプログラム命令を含む非一時的コンピュータ可読記憶媒体であって、
    前記動作は、
    車両の車両制御システムから車両データおよび外部データを受信するステップであって、前記車両データは前記車両に関連し、車両位置および車両目的地を含み、前記外部データは複数の外部オブジェクトの各々の位置および移動経路を含む、ステップと、
    前記車両データと前記外部データとを使用して、前記車両位置と前記車両目的地との間のソリューションパスを決定するステップであって、前記ソリューションパスは、前記複数の外部オブジェクトと交差しない、ステップと、
    前記ソリューションパスに沿って移動する前記車両の表示と前記複数の外部オブジェクトのうちの少なくともいくつかとを含むソリューションパスオーバーレイインタフェースを生成するステップと、
    前記ソリューションパスオーバーレイインタフェースのオペレータからコマンドを受信するように構成された表示用の前記ソリューションパスオーバーレイインタフェースを出力するステップと、
    前記ソリューションパスオーバーレイインタフェースの前記オペレータからの前記コマンドの受信に応答して、更新されたソリューションパスを提供するために、受信した前記コマンドに従って前記ソリューションパスオーバーレイインタフェースを更新するステップと、
    更新された前記ソリューションパスを、実行のために、前記車両に送信するステップとを含む、非一時的コンピュータ可読記憶媒体。
17. 前記車両データおよび前記外部データのうちのいずれかが、光学センサ、光検出および測距センサ（ライダー）、モーションセンサ並びにオーディオセンサのいずれかからのセンサデータを含む、請求項１６に記載の非一時的コンピュータ可読記憶媒体。
18. 前記動作は、
    前記センサデータに基づいて、前記車両の所定距離内の表面状態を判定するステップと、
    前記表面状態に基づいて表面状態表示を含む表面画像を生成するステップであって、前記ソリューションパスオーバーレイインタフェースは前記表面状態表示を含む、ステップとをさらに含む、請求項１７に記載の非一時的コンピュータ可読記憶媒体。
19. 前記動作は、
    前記センサデータと所定領域内の前記複数の外部オブジェクトの移動経路とを用いて交通状況を決定するステップであって、前記交通状況を用いて車両ルートが決定され、前記車両ルートは前記車両位置と前記車両目的地との間の前記車両のナビゲーションデータを提供する、ステップをさらに含む、請求項１７に記載の非一時的コンピュータ可読記憶媒体。
20. 前記動作は、さらに、
    前記車両データおよび前記外部データのいずれかに基づいて、前記複数の外部オブジェクトの識別データを決定するステップと、
    前記複数の外部オブジェクトのモビリティ状態を決定するステップであって、前記モビリティ状態は、移動可能状態と移動不可能状態とを含むステップと、
    前記モビリティ状態に基づいて、前記複数の外部オブジェクトのうちの移動可能および移動不可能な外部オブジェクトを表示するために前記ソリューションパスオーバーレイインタフェースを更新するステップとを含む、請求項１７に記載の非一時的コンピュータ可読記憶媒体。

Images