JP2021037937A - 予測軌道を有する自律車両ユーザインタフェース - Google Patents

Abstract

【課題】運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するシステムおよび方法を提供すること。【解決手段】本方法は、エゴ車両に対するエゴ車両予測軌道を生成することと、エゴ車両の外部である道路エージェントに対する少なくとも１つの道路エージェント予測軌道を生成することを含んでいる。予測軌道が生成された後、該方法は、少なくとも１つの予測軌道が、運転者から見た透視図を示しているユーザインタフェース上で表示されると、物体または他の予測軌道の何れかに重なると決定することにより継続する。該方法は、重なりを除去するために、少なくとも１つの道路エージェント予測軌道を修正することを含んでいる。そして該方法は、任意の修正された道路エージェント予測軌道を含むように、ユーザインタフェースの表示を更新することを継続する。本システムは、本方法を実行するための軌道予測モジュールを含んでいる。【選択図】図１

Description

本開示は、一般的には、自律車両のためのユーザインタフェースに関し、より特別には、運転者から見た透視図(driver’s perspective view)を提供するユーザインタフェース上で、予測軌道を修正して表示するためのシステムおよび方法に関する。

ここにおいて提供される背景技術の記述は、開示の状況を概略的に提示する目的のためである。現在名前が挙げられている発明者の研究は、この背景技術のセクションで記述できる範囲で、出願時に別の方法で先行技術であると見なすことのできない記述の態様と共に、本技術に対する先行技術であるとは明示的にも黙示的にも認められない。

種々の適用において、車両システムは、車両（ここにおいては、「エゴ（自我）車両(ego-vehicle)」と称することもある）の軌道を予測できる。例えば、高度運転者支援システム（ＡＤＡＳ）を含んでいる車両のような並列制御の自律性車両は、その制御を、人間の運転者と自律運転システムとの間で共有できる車両である。人間の運転者は、そのような車両の運転のある態様（例えば、操舵）の制御を保持でき、一方、ＡＤＡＳは運転者の行動を監視して、必要なときは事故を防止するために介入する。そのため、エゴ車両の軌道を予測することは、そのようなＡＤＡＳの重要な態様である。車両システムは、エゴ車両の軌道をユーザインタフェース上に表示できる。

車両システムはまた、車両の外部の１つ以上の道路エージェントの軌道も予測でき、道路エージェントの軌道をユーザインタフェース表示上に表示できる。道路エージェントの例としては、種々のタイプの他の車両（例えば、自動車、オートバイ、または自転車）と歩行者が挙げられる。自律車両または並列制御の自律性車両に対する１つの目的は、車両が途中で遭遇する道路エージェントと衝突することなくルートを走行することである。道路エージェントまたはそれらの運転者の意図は、通常は、自律車両または並列制御の自律性車両の運転者が確信を持って知ることはないので、道路エージェントの軌道を予測することは、その目的を更に促進できる。

しかし、多くの道路エージェント軌道がユーザインタフェース上に提供されると、ユーザインタフェースは、特に、表示が運転者から見た透視図として提供されるときは、すぐに過度に複雑になり得る（例えば、平面図と比較して）。従って、ユーザインタフェース上で提供できる多数の、および／または、重なる軌道の存在を十分に明らかにするための、向上された軌道予測システムを提供することは望ましいことであり、それは、複雑さが低減された表示という結果になり得る。

このセクションは、開示の全体的な概要を提供し、開示の全範囲またはその特徴のすべての包括的開示ではない。

種々の態様において、本教示は、運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するためのシステムを提供する。システムは、１つ以上のプロセッサと、その１つ以上のプロセッサに通信可能に結合されているメモリを含んでいる。メモリは、１つ以上のプロセッサにより実行されると、その１つ以上のプロセッサに、一連のステップを実行させる命令を含んでいる軌道予測モジュールを格納している。例えば、軌道予測モジュールは、エゴ車両に対するエゴ車両予測軌道を生成し、エゴ車両の外部である道路エージェントに対する少なくとも１つの道路エージェント予測軌道を生成する命令を含むことができる。命令は、少なくとも１つの道路エージェント予測軌道が、運転者から見た透視図を示しているユーザインタフェース上で表示されると、表示領域からはみ出ており、未知の走行方向を有していると決定するステップを含むことができる。命令は、方向を示しているものを提供するために、少なくとも１つの道路エージェント予測軌道を修正するステップを含むことができる。制御モジュールもまた提供でき、制御モジュールは、１つ以上のプロセッサにより実行されると、その１つ以上のプロセッサに、任意の修正された道路エージェント予測軌道を含むように、ユーザインタフェースを更新させる命令を含んでいる。

他の態様においては、本教示は、運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するためのシステムを提供する。システムは、１つ以上のプロセッサ、およびこの１つ以上のプロセッサに通信可能に結合されているメモリを含んでいる。メモリは、１つ以上のプロセッサにより実行されると、その１つ以上のプロセッサに、一連のステップを実行させる命令を含んでいる軌道予測モジュールを格納している。例えば、軌道予測モジュールは、エゴ車両に対するエゴ車両予測軌道を生成し、エゴ車両の外部である道路エージェントに対する少なくとも１つの道路エージェント予測軌道を生成する命令を含むことができる。命令は、少なくとも１つの予測軌道が、運転者から見た透視図を示しているユーザインタフェース上で表示されると、物体または他の予測軌道の何れかに重なると決定するステップを含むことができる。命令は、重なりを除去するために、少なくとも１つの道路エージェント予測軌道を修正するステップを含むことができる。１つ以上のプロセッサにより実行されると、その１つ以上のプロセッサに、任意の修正された道路エージェント予測軌道を含むように、ユーザインタフェースを更新させる命令を含んでいる制御モジュールもまた提供できる。

更に他の態様においては、本教示は、運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するための方法を提供する。方法は、エゴ車両に対するエゴ車両予測軌道を生成することと、エゴ車両の外部である道路エージェントに対する少なくとも１つの道路エージェント予測軌道を生成することを含んでいる。予測軌道が生成された後、方法は、少なくとも１つの予測軌道が、運転者から見た透視図を示しているユーザインタフェース上で表示されると、物体または他の予測軌道の何れかに重なると決定することにより継続する。方法は、重なりを除去するために、少なくとも１つの道路エージェント予測軌道を修正することを含んでいる。そして方法は、任意の修正された道路エージェント予測軌道を含むように、ユーザインタフェースの表示を更新することを継続する。

適用可能性の更なる領域、および、上記の技術を向上する種々の方法は、ここにおいて提供される記述から明白となるであろう。この概要における記述および具体的な例は、例示の目的のためのみであることが意図されており、本開示の範囲を制限することは意図されていない。

本教示は、詳細な記述および付随する図面からより完全に理解されるであろう。

本技術にかかわる、ここにおいて開示されるシステムおよび方法を実現できる車両の例としての態様を示している模式図である。 図１において提供されているのと同様に、軌道予測システムの例としての態様を示している模式図である。 本技術の種々の態様に係る、ユーザインタフェース表示を提供するために、単独で、または組み合わせて使用できる多数の表示システムを提供している、例としての車両内部コンパートメントの内部キャビンの部分的透視図を例示している。 それぞれの軌道を有している、エゴ車両、および少なくとも１つの道路エージェント車両または歩行者の平面図を表わしている画像を有するユーザインタフェースを例示している５つの例としての表示である。 図４Ａ〜４Ｅにおいて提供されるシナリオと同じシナリオにおける、エゴ車両、道路エージェント車両または歩行者、およびそれらのそれぞれの軌道の前方透視図、または運転者から見た図を表わしている画像を有するユーザインタフェースを例示している５つの例としての表示であり、軌道および車両における重なりを示している。 本技術の例としての態様に従う、予測軌道の物体との重なりに基づいて、少なくとも１つの予測軌道を修正する方法のフローチャート図である。 本技術の例としての態様に従う、予測軌道の物体との重なりに基づいて、少なくとも１つの予測軌道を修正する方法の他のフローチャート図である。 本技術の例としての態様に従う、物体との重なりに基づく、少なくとも１つの予測軌道の修正を例示している。 本技術の例としての態様に従う、２つの物体との重なりに基づく、少なくとも１つの予測軌道の修正を例示している。 本技術の種々の態様に従う、予測軌道を隠す、その表示を、例えば、実線から点線に変更することなどにより弱める（以降、「ダイルートする」と記述する）、および／または、その表示と融合させる（以降、「ブレンドする」と記述する）ことにより、物体との重なりに基づいて、少なくとも１つの予測軌道を修正する方法のフローチャート図である。 図１０の方法に従う、少なくとも１つの予測軌道の種々の修正を例示している。 本技術の種々の態様に従う、異なる重なりに基づいて、少なくとも１つの予測軌道を修正する異なる技術を選択する方法のフローチャート図である。 図１２の方法に従う、少なくとも１つの予測軌道の修正を例示している。 本技術の例としての態様に従う、信頼スコアを随意的に使用する、少なくとも２つの予測軌道の重なりに基づいて、少なくとも１つの予測軌道を修正する方法のフローチャート図である。 本技術の例としての態様に従う、２つの隣接する予測軌道間の削減された距離に基づいて、少なくとも１つの予測軌道を修正する方法のフローチャート図である。 図１４の方法に従う、少なくとも１つの予測軌道の修正を例示している。 道路エージェントおよび予測軌道における重なりのある、運転者から見た透視図からのユーザインタフェース表示を例示している。 図１４〜１５の方法に従う、図１７の少なくとも１つの予測軌道の修正を例示している。 図１４〜１５の方法に従う、図１７の少なくとも１つの予測軌道の修正を例示している。 本技術の例としての態様に従う、優先交差の決定を伴う、少なくとも２つの予測軌道の重なりに基づいて、少なくとも１つの予測軌道を修正する方法のフローチャート図である。 種々の優先順位を有する４つの交差のある予測軌道を有している４つの車両のセットを例示している。 図１９の方法に従う、少なくとも１つの予測軌道の修正を例示している。 本技術の例としての態様に従う、物体は部分的または完全に隠されている道路エージェントであるという決定を伴う、予測軌道と物体との重なりに基づいて、少なくとも１つの予測軌道を修正する方法のフローチャート図である。 図２２の方法に従う、少なくとも１つの予測軌道の修正を例示している。 図２２の方法に従う、少なくとも１つの予測軌道の追加的修正を例示している。 本技術の例としての態様に従う、傾斜のある地形の存在に基づいて、少なくとも１つの予測軌道を修正する方法のフローチャート図である。 図２５の方法に従う、少なくとも１つの予測軌道の修正を例示している。 図２５の方法に従う、少なくとも１つの予測軌道の修正を例示している。 本技術の例としての態様に従う、未知の走行方向を有している、表示領域からはみ出ている少なくとも１つの軌道に基づいて、少なくとも１つの予測軌道を修正する方法のフローチャート図である。 図２８の方法に従う、少なくとも１つの予測軌道の修正を例示している。 本技術の例としての態様に従う、予測軌道は、複数の静止物体に重なるという決定を伴う、予測軌道と、物体または他の予測軌道の何れかとの重なりに基づいて、少なくとも１つの予測軌道を修正する方法のフローチャート図である。 図３０の方法に従う、少なくとも１つの予測軌道の修正を例示している。 本技術の例としての態様に従う、予測軌道は、過去時制の道路エージェント軌道であるという決定を伴う、予測軌道と、物体または他の予測軌道の何れかとの重なりに基づいて、少なくとも１つの予測軌道を修正する方法のフローチャート図である。 図３２の方法に従う、少なくとも１つの予測軌道の修正を例示している。 本技術の例としての態様に従う、複雑さに基づいて、ユーザインタフェースに提供される表示のタイプを選択するための方法のフローチャート図である。 異なる線、２Ｄパターン、および３Ｄ形状を有する予測軌道の変形例を示している。 ２つの予測軌道の重なりのある、２Ｄおよび３Ｄ予測軌道を例示している。 予測軌道と、少なくとも１つの静止物体との重なりのある、２Ｄおよび３Ｄ予測軌道を例示している。 単一の表示上の、２Ｄおよび３Ｄ予測軌道の組み合わせの使用を例示している。

ここにおいて記述される図は、ある態様の記述の目的のために、本技術の中の、方法、アルゴリズム、および装置の全体的な特性を例示することが意図されている。これらの図は、任意の所与の態様の特性を正確に反映していなくてもよく、この技術の範囲内の特定の態様を定義または制限することは必ずしも意図されていない。更に、ある態様は、図の組み合わせからの特徴を組み入れることができる。

ここにおいて記述される技術は、ユーザインタフェース上の、予測道路エージェントおよびエゴ車両の軌道の向上された表示に関する。特に、この技術は、それらの軌道が互いにどのように相互作用することができるか、およびそれらの軌道を、ユーザインタフェース上の表示に関するサイズ、位置、および種々の他の詳細についてどのように適合化および／または簡略化できるかを向上する。この点について、この技術は、ユーザに提示される軌道情報を簡略化できる。例えば、この技術は、ユーザインタフェース上で提供できる多数の、および／または、重なる軌道の存在を十分に明らかにし、複雑さが削減された図という結果になり得る表示を提供する、向上された軌道予測システムを提供できる。

ここにおいて使用されているように、「軌道」という用語は、所与の道路エージェント、車両、エゴ車両などに対する、シミュレートされ、予測され、または観察される過去、現在、そして将来の軌道を指すことができる。ここにおいて使用されているように、「道路エージェント」という用語は、一般的には、車道に沿って、または、車道と交差するようにして、あちらこちらに移動できる任意の物体のことである。そのような物体は、必ずしも常に動いているとは限らない。例えば、ここにおいて記述される種々の態様は、自動車、バス、自転車、道路に沿って駐車している他のタイプの車両を道路エージェントと見なしている。それらの態様においては、システムは、車両のセンサを使用して、駐車している自動車を、環境における他の検出された物体と共に追尾できる。センサデータは、典型的には、道路エージェント（駐車している自動車）は静止している、つまり、その時点で予測できる、駐車している自動車に関連付けられている軌道はない、ということを明らかにする。しかし、そのような種々の態様においては、システムは、駐車している自動車はいつでも動きを開始できるので、その駐車している自動車の追尾を継続できる。種々の態様においては、注目する道路エージェントは、本技術の態様が動作している車両（ここにおいては、「エゴ車両」または「ホスト車両」と称されることがある）の外部である。そのような道路エージェントは、ここにおいては「外部道路エージェント」と称されることがある。道路エージェントの追加的な非制限的例としては、制限はされないが、種々のタイプの他の車両（自動車、バス、オートバイ、自転車、トラック、建設車両など）、歩行者、および動物が挙げられる。幾つかの態様においては、道路エージェントは単に物体と称することができる。

非制限的態様においては、予測軌道と称することができる、エゴ車両および／または道路エージェント軌道を予測するために、確率論的変動軌道予測器を使用できる。それらの態様においては、エゴ車両または所与の道路エージェントの何れか当てはまる方に対する軌道確率分布を、１つ以上の特定の予測軌道を生成するためにサンプリングすることができる。それらの予測軌道は、上記のように、エゴ車両と１つ以上の道路エージェントとの間で相互に供給でき、繰り返して更新でき、そして、それらの予測軌道はまた、下記に更に記述されるように、エゴ車両の種々の表示およびユーザインタフェースに提供される出力を、少なくともある程度は制御する、エゴ車両の制御モジュールに出力できる。幾つかの変動予測器の態様においては、軌道確率分布の統計パラメータを、分布からサンプリングされる特定の軌道の代わりに、エゴ車両の制御モジュールに出力できる。

特別な態様によっては、エゴ車両予測軌道は、多数の外部道路エージェントの予測軌道を、多数の可能な順序の何れかにおいて考察することにより作成できる。１つの態様においては、道路エージェント予測軌道は、エゴ車両からの距離により優先順位が付けられ、エゴ車両により近い軌道は、それより遠い軌道よりも、より高い優先順位が付けられる。他の態様においては、道路エージェント予測軌道は、道路エージェント予測軌道と関連付けられている何れかの不確定性により優先順位が付けられ、より不確定性が低い（つまり、確実性がより高い）軌道は、より不確定性が高い（つまり、確実性がより低い）軌道よりも、より高い優先順位が付けられる。更に、反復軌道予測プロセスの間の、エゴ車両および／または１つ以上の外部道路エージェントに対する中間予測軌道を、外部道路エージェントのすべての可能な順序を考慮して、保存、収集、および集計できる。これらの種々の推測を存続させることにより、エゴ車両の制御モジュールが、道路エージェントが取り得るすべての可能な行動を考慮することを可能にする。この保存によるアプローチは、エゴ車両が安全な軌道を計画して通過する目的を促進する。

他の技術を、上記の反復軌道予測アーキテクチャと有利に組み合わせることができる。他の技術とは、（１）エゴ車両の将来の軌道を予測するために多数の軌道予測器と、エゴ車両の外部の１つ以上の道路エージェントの将来の軌道を予測するために多数の軌道予測器を採用すること、および（２）信頼性を評価できるように、予測されるエゴ車両および道路エージェント軌道に対する信頼推定値を生成することである。これらの技術は、これに続く段落において更に説明される。

エゴ車両または所与の外部道路エージェントの将来の軌道を予測するために、ここにおいて記述される幾つかの態様は、異なる決定論的または確率論的演算モデルを使用する２つ以上の軌道予測器を採用する。例えば、２つの軌道予測器を含んでいる１つの態様においては、第１軌道予測器は、ＤＮＮを含んでいる確率論的変動軌道予測器であり、第２軌道予測器は、物理ベースの（決定論的）モデルである。種々の態様においては、軌道予測器は、入力として、下記に更に検討される多様な車両センサデータの何れをも受信する。特別な態様によれば、軌道予測器はまた、軌道の何れのタイプが予測されているかにより、エゴ車両または道路エージェントに対する測定された過去の軌道情報も受信できる。

信頼推定値に関して、開示される態様の１つの重要な態様は、車両または道路エージェント軌道が予測される時間範囲である。例えば、特別な軌道予測器からの所与の予測軌道は、約０．１から約３秒の相対的に短い時間範囲においては信頼性があり得るが、約３秒を超えて約１０秒までに広がる、より長い時間範囲においては、信頼できない可能性がある。幾つかの態様においては、エゴ車両および道路エージェント予測軌道に対する信頼推定値は、ディープニューラルネットワーク（ＤＮＮ）モデルを使用して、適用可能な時間範囲の連続時間関数として計算される。そのため、信頼尺度は、エゴ車両または道路エージェント予測軌道の何れが、時間予測範囲全体の特別な部分に対して最も信頼性があるかを決定することにおいて、軌道予測システムを支援する。種々の態様においては、反復して更新されたエゴ車両および道路エージェント予測軌道と関連付けられている信頼スコアもまた、予測軌道自身が反復して更新されるときに、反復して更新される。

図１を参照すると、車両１００（ここにおいては、「エゴ車両」と称されることもある）の例が示されている。ここにおいて使用されているように、「車両」は、動力付き輸送の何れかの形状である。１つ以上の実現形態においては、車両１００は自動車である。配置は、ここにおいては自動車に関して記述されるが、態様は、自動車に制限されないということは理解されるであろう。幾つかの実現形態においては、車両１００は、例えば、少なくとも半自律的に動作できる動力付き輸送の何れかの他の形状であってよい。

車両１００はまた、種々の要素を含んでいる。種々の態様においては、車両１００が図１に示されている要素のすべてを有する必要はないということは理解されるであろう。車両１００は、図１に示されている種々の要素の何れの組み合わせも有することができる。更に、車両１００は、図１に示されている要素に対する追加的要素を有することができる。幾つかの配置においては、車両１００は、図１に示されている要素の１つ以上なしで実現できる。種々の要素は、図１における車両１００内に位置しているように示されているが、これらの要素の１つ以上は、車両１００の外部に位置することができるということは理解されるであろう。更に、示されている要素は、長い距離だけ物理的に離すことができる。車両１００の可能性のある要素の幾つかが図１に示されており、後続の図と共に記述される。しかし、図１における要素の多くの記述は、この記述の簡潔性の目的のために、残りの図の検討後に提供される。

図２を参照すると、図１の例としての軌道予測システム１７０が示されている。軌道予測システム１７０は、少なくとも部分的には、車両１００自身の、過去の、現在の、観測される、または予測される将来の軌道に基づいて、および／または、車両１００の外部の１つ以上の道路エージェントの、過去の、現在の、観測される、または予測される軌道に基づいて、車両１００の動作を制御することに関する、ここにおいて開示されるような方法および他の機能を実行するために実現される。幾つかの態様においては、車両１００または道路エージェントの軌道は、三次元空間においてモデル化できる。

軌道予測システム１７０は、図１の車両１００からの１つ以上のプロセッサ１１０を含んで示されている。１つ以上のプロセッサ１１０は、軌道予測システム１７０の一部であってよく、軌道予測システム１７０は、車両１００の１つ以上のプロセッサ１１０とは別個の１つ以上のプロセッサを含むことができ、または、軌道予測システム１７０は、実施形態によっては、データバスまたは他の通信経路を通して、１つ以上のプロセッサ１１０にアクセスできる。１つの態様においては、軌道予測システム１７０は、少なくとも軌道予測モジュール１７４と制御モジュール１７６を格納しているメモリ１７２を含んでいる。メモリ１７２は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、ハードディスクドライブ、フラッシュメモリ、または、モジュール１７４、１７６を格納するための他の適切なメモリであってよい。モジュール１７４、１７６は、例えば、１つ以上のプロセッサ１１０により実行されると、その１つ以上のプロセッサ１１０に、ここにおいて開示される種々の機能を実行させるコンピュータ読取り可能命令である。

車両１００の軌道を予測することに関連して、軌道予測システム１７０は、データベース１８０において、種々の種類の、モデルに関連するデータ１７８を格納できる。図１に示されているように、軌道予測システム１７０は、車両１００（エゴ車両）におけるセンサシステム１２０からセンサデータを受信できる。例えば、幾つかの態様においては、軌道予測システム１７０は、１台以上のカメラ１２６から画像データを受信する。特別な実施形態によっては、軌道予測システム１７０はまた、ライダーセンサ(LIDAR sensors)１２４からライダーデータ、レーダーセンサ１２３からレーダーデータ、および／または、ソナーセンサ１２５からソナーデータも受信できる。幾つかの態様においては、軌道予測システム１７０はまた、車両システム１４０から入力を受信する。例としては、制限されることはないが、ハンドル角、ガスペダル（アクセル）位置、直線速度、および角速度がある。ハンドル角およびガスペダル位置データは、コントローラエリアネットワーク（ＣＡＮバス）データと称することができるデータの例であり、直線速度および角速度は、慣性測定ユニット（ＩＭＵ）データと称することができるデータの例である。上記のタイプのセンサの幾つかは、下記に更に説明するように、車両１００（エゴ車両）の軌道を予測することに関係するが、外部道路エージェントの軌道を予測することには関係しない。図１に示されているように、軌道予測システム１７０、特には、制御モジュール１７６は、車両１００の種々の機能に対する半自律または自律制御を支援するために、車両システム１４０および／または自律運転モジュール１６０と通信できる。制御モジュール１８２はまた、１つ以上のプロセッサ１１０に、ユーザインタフェースシステム１８２の動作を制御させ、車両１００全体における種々のディスプレイに提供される、予測軌道を含むデータを調整させる命令も含んでいる。

幾つかの態様においては、センサシステム１２０からの、レーダーおよび／またはソナーデータのような、他の、または追加的種類のデータを、軌道予測システム１７０に供給できる。追加的に、ラスタライズされた(rasterized)マップデータのような、より高度に構造化されたデータ（例えば、車両１００を取り囲んでいる環境に対する占有グリッド）を、変動軌道予測器に供給できる。特定の種類の未処理センサデータまたは構造化データは、軌道予測システム１７０に供給され、その種類は態様により変わり得る。

下記に記述される、信頼スコアを含む幾つかの態様においては、信頼スコアは、少なくとも部分的には、予測されるエゴ車両と道路エージェント軌道が反復して更新されている間に、エゴ車両軌道の予測と、道路エージェント軌道の予測との間におこる反復の回数に基づいて計算できる。一般的には、予測軌道は、十分な回数の反復の後は、より安定する予測に収束する傾向にあるので、より多くの回数の反復は、結果としての予測軌道におけるより高いレベルの信頼に対応する。

ここにおいて詳細に記述されるように、軌道予測モジュール１７４は、一般的には、１つ以上のプロセッサ１１０に、ユーザインタフェース上の表示のために、車両１００（エゴ車両）に対する１つ以上の予測軌道、および、少なくとも１つの外部道路エージェントに対する少なくとも１つ以上の予測軌道を生成させる命令を含んでいる。種々のユーザインタフェースの設計は、本技術に関して、軌道情報を表示するために有用であり得、ここにおいて提供される記述は、本技術で有用な表示のタイプを制限することは意図されていない。

図３は、例としての車両の内部コンパートメント５０の部分的透視図を提供し、種々の車両制御装置と共に、車両の乗車人のための２つの前部座席を例示している。図から分かるように、車両は、ナビゲーションディスプレイ５２と、ユーザインタフェースに対する表示を収容できる多数のパネル５８を有し、フロントガラス５６上に投影されるヘッドアップディスプレイ（ＨＵＤ）５４を含んでいる。スクリーン／ディスプレイなどのような、異なる情報表示間で切り替わることができる多情報ディスプレイ（ＭＩＤ）６０もまた使用でき、車両の内部コンパートメントの種々の領域に位置させることができる。他の態様においては、電話６２、タブレット（図示せず）などのような、個人用電子装置もまた表示の目的のために使用できる。まさに記述されるアーキテクチャにおける多数の変形例が、特別な態様によっては可能である。種々の態様においては、ここにおいて提供されるシステムおよび方法は、自動車、オートバイ、自転車、および／または歩行者として提供される道路エージェントの使用を含むことができ、車両ユーザインタフェースは、ナビゲーションディスプレイ、多情報ディスプレイ、ヘッドアップディスプレイ（ＨＵＤ）、頭上搭載ディスプレイ（ＨＭＤ）、リモートオペレータディスプレイ、およびウェアラブル装置の１つである。多数のディスプレイは、互いに組み合わせて使用でき、異なる透視視点を含むことができる。

図４Ａ〜４Ｅは、エゴ車両１００と、それぞれの軌道２０２、２０６を有している車両２００または歩行者２０４のような、少なくとも１つの道路エージェントの平面図３００を表わしている画像を有しているユーザインタフェースを例示している５つの例としての表示である。図５Ａ〜５Ｅは、図４Ａ〜４Ｅにおいて提供されるシナリオと同じシナリオにおける、同じエゴ車両１００、道路エージェント車両２００または歩行者２０４、および、それらのそれぞれの軌道２０２、２０６の前方透視図３１０、または運転者から見た図を表わしている画像を有しているユーザインタフェースを例示している５つの例としての表示であり、軌道および車両における重なりを示している。

例えば、図４Ａは、２つの道路エージェント車両２００の平面図３００を例示している。道路エージェント予測軌道２０２は図４Ａにおいては重ならないが、図５Ａにおいては、運転者の透視視点３１０では、道路エージェント予測軌道２０２は互いに接近しており、ユーザを混乱させ得る重なり部分がある。図４Ｂ〜４Ｄは、エゴ車両予測軌道１０２を有するエゴ車両１００、および、異なる通行パターンの、複数の道路エージェント車両２００と、それらのそれぞれの道路エージェント予測軌道２０２の平面図３００を例示している。示されているように、種々の予測軌道１０２、２０２は互いに重なるだけでなく、幾つかの道路エージェント車両自身とも重なっており、ユーザを混乱させることが予想される。図５Ｂ〜５Ｄは、それらの車両１００、２００、および、予測軌道１０２、２０２の類似の重なりの、運転者から見た図３１０を例示しており、視認性を妨害し、および／または、ユーザを混乱させることが予想される複雑な視覚化を提供している。図４Ｅと５Ｅは、種々の重なりがある、複数の歩行者２０４と、それらのそれぞれの予測軌道２０６のある横断歩道に隣接しているエゴ車両１００と予測軌道１０２を例示している。

図６は、本技術の例としての態様に従う、物体との予測軌道の重なりに基づいて、少なくとも１つの予測軌道を修正する方法３２０のフローチャート図である。方法３２０は、運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するためである。方法はまず、エゴ車両１００に対するエゴ車両予測軌道１０２を生成することと、エゴ車両１００の外部である道路エージェントに対する少なくとも１つの道路エージェント予測軌道２０２を生成することを含んでいる。道路エージェントは、他の車両２００、歩行者２０４、およびそれらの組み合わせであることができる。方法ステップ３２２により示されているように、それぞれの予測軌道１０２、２０２が生成された後、方法３２０は、少なくとも１つの道路エージェント予測軌道２０２が、運転者から見た透視図において見ると、物体の背後に存在して、物体の背後の走行を示していると決定することにより継続する。方法ステップ３２４により示されているように、方法は、運転者から見た透視図を示しているユーザインタフェース上で表示されると、予測軌道２０２が物体と重なるかどうかを決定することを継続する。他にそうでないと示されない限り、ここにおいて記述される方法で使用されているように、「物体」という用語は、駐車している車両、建物、中央分離帯などのような静止している物体を広く含むことができ、および／または、移動している車両、移動している歩行者などを含むことができる、移動している物体も含むことができる。そして方法３２０は、方法ステップ３２６により示されているように、重なりを除去するために、少なくとも１つの道路エージェント予測軌道２０２を修正することを含んでいる。そして方法は、任意の修正された道路エージェント予測軌道を含むように、ユーザインタフェースの表示を更新することを継続する。図２を改めて参照すると、種々の態様においては、制御モジュール１７６は、任意の修正された道路エージェント予測軌道の表示を含むように、ユーザインタフェースを更新する命令を、１つ以上のプロセッサ１１０および／またはユーザインタフェースシステム１８２に提供するために使用できる。

図７は、物体との予測軌道の重なりに基づいて、少なくとも１つの予測軌道を修正する方法３２８のフローチャート図であり、方法３２８は図６の方法３２０と類似しているが、追加的特徴を有している。図７に示されているように、物体は、それ自身の予測軌道を有している道路エージェントであるかどうかを決定する追加的な方法ステップ３３０がある。そうである場合は、修正は行われない。そうでない場合は、修正が行われる。

図８Ａ〜８Ｃは、図６〜７の方法に従う、物体との重なりに基づく、少なくとも１つの予測軌道の修正を例示している。図８Ａは、それぞれが、走行の方向を示すための矢印によるそれぞれの道路エージェント予測軌道２０２Ａ、２０２Ｂを有している２つの道路エージェント車両２００Ａ、２００Ｂを提供している平面図３００である。道路エージェント２００Ａ、２００Ｂは、反対方向に走行している。エゴ車両の運転者の透視視点からは、１つの車両２００Ａは物体２０８の背後を走行し、１つの車両２００Ｂは物体２０８の前方を走行する。図８Ｂは、図８Ａに提示されているような状況の、運転者の透視視点３１０を提供している。図８Ｂに示されているように、道路エージェント予測軌道２０２Ａは、それが物体２０８に重なり、車両２００Ａは、物体２０８の前方を走行するように見えるが、実際は、車両２００Ａは、物体２０８の背後を走行するので、混乱を引き起こしかねない。図８Ｃは、物体２０８と重ならないように、道路エージェント予測軌道２０２Ａの長さを短くした、結果としての修正を例示している。

図９Ａ〜９Ｃは、本技術の例としての態様に従う、２つの物体との重なりに基づく、少なくとも１つの予測軌道の修正を例示している。図９Ａは、それぞれが、走行の方向を示すための矢印によるそれぞれの道路エージェント予測軌道２０２Ａ、２０２Ｂを有している２つの道路エージェント車両２００Ａ、２００Ｂを提供している平面図３００である。道路エージェント車両２００Ａ、２００Ｂは、反対方向に走行している。エゴ車両の運転者の透視視点からは、１つの車両２００Ａは第１物体２０８の背後を走行し、１つの車両２００Ｂは第１物体２０８の前方を走行するが、第２物体１１０の背後を走行する。図９Ｂは、図９Ａに提示されているような状況の、運転者の透視視点３１０を提供している。図９Ｂに示されているように、道路エージェント予測軌道２０２Ａ、２０２Ｂは、両者が物体２０８に重なり、両方の車両２００Ａ、２００Ｂは、物体２０８、２１０の前方を走行するように見えるが、実際は、車両２００Ａは、第１物体２０８の背後を走行し、車両２００Ｂは、第１物体２０８の前方を走行し、第２物体２１０の背後を走行するので、混乱を引き起こしかねない。図９Ｃは、物体２０８、２１０と重ならないように、道路エージェント予測軌道２０２Ａ、２０２Ｂ両者の長さを短くした、結果としての修正を例示している。

図１０は、本技術の種々の態様に従う、予測軌道を隠す(hiding)、それにダイルート(diluting)する、および／またはそれとブレンド(blending)することにより、物体との重なりに基づいて、少なくとも１つの予測軌道を修正する方法３３２のフローチャート図である。３３４の方法ステップは、運転者の透視視点でユーザインタフェース上に表示されると、道路エージェント予測軌道が物体と重なるかどうかを決定する。図８の方法３２０に類似して、この方法３３２もまた、方法のステップ３３６において例示されているように、道路エージェント予測軌道が、物体の背後に部分的にまたは全部が存在して、物体の背後の走行を示しているかどうかを決定する。そうである場合、方法３３２は、物体および予測軌道の表示を修正することにより先に進む。例えば、道路エージェント予測軌道の一部または全部を、方法ステップ３３８において例示されているように、物体により隠されるように、または物体の背後になるように修正できる。そうでない場合、方法３３２は、方法ステップ３４０において例示されているように、ユーザが状況における前後方向の関係をより良好に理解するために、予測軌道の一部または全部がダイルートされる、ブレンドされるなどが行われるように修正することにより先に進む。他の態様においては、方法は、運転者から見た透視図を示しているユーザインタフェース上で表示されると、道路エージェント予測軌道の第１部分が物体の背後に隠されるように物体の表示を修正し、道路エージェント予測軌道の第２部分を、隠すこと、ダイルートすること、およびブレンドすることから構成されるグループから選択される少なくとも１つの技術を使用して修正する命令を含んでいる。

図１１Ａ〜１１Ｅは、図１０の方法３３２に従う、少なくとも１つの道路エージェント予測軌道の種々の修正を例示している。図１１Ａは、それぞれが、走行の方向を示すための矢印によるそれぞれの道路エージェント予測軌道２０２Ａ、２０２Ｂを有している２つの道路エージェント車両２００Ａ、２００Ｂを提供している平面図３００である。道路エージェント車両２００Ａ、２００Ｂは反対方向に走行している。エゴ車両の運転者の透視視点からは、１つの車両２００Ａは、物体２０８の背後を走行し、１つの車両２００Ｂは、物体２０８の前方を走行する。図８Ｂは、図８Ａに提示されているような状況の、運転者の透視視点３１０を提供している。図８Ｂに示されているように、道路エージェント予測軌道２０２Ａは、それが物体２０８に重なり、車両２００Ａは、物体２０８の前方を走行するように見えるが、実際は、車両２００Ａは、物体２０８の背後を走行するので、混乱を引き起こしかねない。図１１Ｃは、道路エージェント予測軌道２０２Ａ、２０２Ｂ両者を、それぞれの部分が、物体２０８の背後に隠されるように修正した、第１結果としての修正を提供している。これはユーザに、物体２０８のより明確な図を提供するが、第２車両２００Ｂは、物体の前方を走行するのか、または背後を走行するかについての曖昧さがあり得る。図１１Ｄおよび１１Ｅはユーザに、状況のより明確な理解を提供できる。図１１Ｄにおいては、物体の背後を走行する道路エージェント車両２００Ａに対する道路エージェント予測軌道２０２Ａは、部分的に物体２０８の背後に隠され、一方、物体２０８の前方を走行する道路エージェント車両２００Ｂに対する道路エージェント予測軌道２０２Ｂは、物体２０８と部分的にブレンドされている。図１１Ｅにおいては、物体の背後を走行する道路エージェント車両２００Ａに対する道路エージェント予測軌道２０２Ａは、物体２０８の背後で部分的にダイルートされ、一方、物体２０８の前方を走行する道路エージェント車両２００Ｂに対する道路エージェント予測軌道２０２Ｂは、物体２０８と部分的にブレンドされている。隠すこと、ブレンドすること、およびダイルートすることの異なる組み合わせを使用できる。

図１２は、本技術の種々の態様に従う、異なる重なりに基づいて、少なくとも１つの予測軌道を修正する異なる技術を選択する方法３４２のフローチャート図である。方法ステップ３４４において例示されているように、方法は、運転者の透視視点を有しているユーザインタフェース表示に表示される種々の道路エージェントと物体との間の前後方向の関係を決定する。そして方法は、方法ステップ３４６において例示されているように、目標物体が他の物体と重なるかどうかを決定する。重なりがある場合、方法は、エゴ車両が重なり地点に到達する前に、他の道路エージェントがその重なり地点に到達するかどうかを決定する。そうである場合、方法のステップ３５０は、道路エージェント予測軌道を修正するために、図７において提供されるような方法の使用を指示する。そうでない場合、方法のステップ３５２は、道路エージェント予測軌道を修正するために、図１０において提供されるような方法の使用を指示する。

図１３Ａ〜１３Ｂは、図１２の方法３４２に従う、少なくとも１つの予測軌道の修正を例示しているが、エゴ車両軌道は簡潔性のために無視している。図１３Ａは、それぞれが、それぞれの予測軌道２０２Ａ、２０２Ｂ、２０２Ｃを有している、連続している３つの道路エージェント車両２００Ａ、２００Ｂ、２００Ｃを含んでいる平面図３００である。予測軌道２０２Ａ、２０２Ｂの２つは、隣接する道路エージェント車両２００Ｂ、２００Ｃと重なっている。図１３Ｂは、図１２の方法３４２を実現した後の、運転者の透視視点３１０を提供している。例えば、車両２００Ｃの前には道路エージェントまたは物体がないので、図７の方法が、道路エージェント予測軌道２０２Ｃに適用され、それはこの表示において提供されている。車両２００Ａおよび２００Ｂの両者の前には他の車両があるので、図１０の方法が、そのそれぞれの予測軌道２０２Ａ、２０２Ｂに適用される。結果として、予測軌道２０２Ａは車両２００Ｂと重なるが、予測軌道２０２Ｂは、車両２００Ｃとの重なりのため隠されている。

図１４は、本技術の例としての態様に従う、信頼スコアの随意的な使用を伴う、運転者から見た透視図における少なくとも２つの予測軌道の重なりに基づいて、少なくとも１つの予測軌道を修正する方法３５４のフローチャート図である。方法３５４は、エゴ車両に対するエゴ車両予測軌道を生成することと、エゴ車両の外部である道路エージェントに対する少なくとも１つの道路エージェント予測軌道を生成することを含んでいる。予測軌道が生成された後、方法は、方法ステップ３５６により示されているように、運転者から見た透視図を示しているユーザインタフェース上で表示されると、少なくとも２つの予測軌道が重なると決定することにより継続する。種々の態様においては、方法３５６は、直接ステップ３６４に進むことができ、ステップ３６４は、重なりを除去するために、少なくとも１つの道路エージェント予測軌道を修正することを含んでいる。そして方法は、任意の修正された道路エージェント予測軌道を含むように、ユーザインタフェースの表示を更新することを継続する。方法ステップ３５８において示されているような随意的な方法においては、軌道予測モジュール１７０は、道路エージェント予測軌道の重なりの提示による、道路エージェント間の衝突の可能性を表わす信頼スコアを計算または得る命令を含むことができる。方法はまた、方法ステップ３６０により示されているように、信頼スコアは、所定の閾値よりも低いということを決定するために、信頼スコアの比較を実行することも含むことができる。衝突のリスクは所定の閾値よりも低いと決定されると、方法は随意的に、ステップ３６２において、他の道路エージェントが、エゴ車両がその交差に到達する前に、予測軌道の重なる地点に到達するかどうかを決定することにより継続する。そうである場合、方法は、方法ステップ３６４により示されているように、重なりを除去するために、少なくとも１つの予測軌道を修正することを含んでいる。種々の態様においては、修正は、予測軌道の長さを短くすることと、少なくとも２つの予測軌道間に分離距離を提供することと、および、隠すこと、ダイルートすること、ブレンドすることなどのような技術を使用して予測軌道を修正すること、または、予測軌道（および／または、隣接する道路エージェントまたは物体）の少なくとも一部を同様に修正することを含むことができる。

図１５は、本技術の例としての態様に従う、閾値未満の２つの隣接する予測軌道間の短くされた距離の計算に基づいて、少なくとも１つの予測軌道を修正する方法３６６のフローチャート図である。例えば、軌道予測モジュール１７０は、エゴ車両に対するエゴ車両予測軌道を生成し、エゴ車両の外部である道路エージェントに対する少なくとも１つの道路エージェント予測軌道を生成する命令を含むことができる。方法ステップ３６８および３７０において示されているように、命令は、運転者から見た透視図を示しているユーザインタフェース上で表示されると、２つの隣接する予測軌道間の距離は所定の閾値未満であると決定するステップを含むことができる。その後、命令は、（１）道路エージェント予測軌道の少なくとも１つの色を変えること、（２）道路エージェント予測軌道の少なくとも１つの間隔位置を変えること、（３）道路エージェント予測軌道の少なくとも１つの太さを変えること、および（４）エゴ車両に最も近接していることに基づいて、優先道路エージェント予測軌道を決定して、その優先道路エージェント予測軌道のみを表示することから構成されるグループから選択される少なくとも１つの修正を行うステップを含むことができる。制御モジュール１７６はまた、１つ以上のプロセッサ１１０により実行されると、その１つ以上のプロセッサ１１０、またはユーザインタフェースシステム１８２に、任意の修正された道路エージェント予測軌道を含むように、ユーザインタフェースを更新させる命令を提供できる。

図１６Ａ〜１６Ｃは、図１４の方法３６６に従う、少なくとも１つの道路エージェントおよびエゴ車両予測軌道の修正を例示している。図１６Ａは、２つの道路エージェント車両２００Ａ、２００Ｂおよびそのそれぞれの予測軌道２０２Ａ、２０２Ｂと共に、予測軌道１０２を有するエゴ車両１００の平面図３００を例示している。示されているように、エゴ車両予測軌道１０２は、道路エージェント予測軌道２０２Ｂに重なり、他の道路エージェント予測軌道２０２Ａは、エゴ車両１００と重なっている。図１６Ｂは、道路エージェント車両２００Ａおよびその予測軌道２０２Ａを完全に隠し（除去し）、予測軌道１０２、２０２Ｂの重なりを除去するために、エゴ車両予測軌道１０２の長さを短くする、運転者の透視視点３１０を提供している。図１６Ｃは、道路エージェント車両２００Ａとその予測軌道２０２Ａを完全に隠し（除去し）、予測軌道１０２、２０２Ｂの重なりの存在を最小化するために、エゴ車両予測軌道１０２の色をブレンドする運転者の透視視点３１０を提供している。

図１７は、予測軌道２０２Ａ、２０２Ｂを有する道路エージェント２００Ａ、２００Ｂにおける重なりがある、運転者から見た透視図３１０からのユーザインタフェース表示を示している。図１８Ａ〜１８Ｅは、図１４〜１５の方法に従う、図１７の少なくとも１つの予測軌道の修正を例示している。例えば、図１８Ａ〜１８Ｂにおいては、１つの道路エージェント予測軌道２０２Ａの色、階調度、またはパターンを、他の道路エージェント予測軌道２０２Ｂから区別して見えるようにするために変更できる。図１８Ｃにおいては、道路エージェント予測軌道２０２Ａ、２０２Ｂに、異なる太さを提供できる。図１８Ｄにおいては、予測軌道２０２Ａの１つは、隣接する予測軌道２０２Ａ、２０２Ｂの間により広い間隔を提供するために、距離「ａ」だけずらす、または離すことができる。図１８Ｅにおいては、予測軌道２０２Ａの１つは、図から完全に除去（隠すことが）できる。

図１９は、本技術の例としての態様に従う、優先交差の決定を伴う、少なくとも２つの予測軌道または１つ以上の予測軌道の何れかと、１つ以上の物体との重なりに基づいて、少なくとも１つの予測軌道を修正する方法３７４のフローチャート図である。要求される予測軌道を生成した後、方法は、方法ステップ３７６により示されているように、予測軌道（または軌道と物体）の少なくとも２つが、第１交差において重なるかどうかを決定することと、方法ステップ３７８により示されているように、予測軌道（または軌道と物体）の少なくとも２つが、第２交差において重なるかどうかを決定することを含んでいる。少なくとも２つの重なりが見つかると、方法ステップ３８０は、優先交差の決定を提供する。この決定は、何れの道路エージェントが、第１および第２交差の１つに最初に到達するかの計算に基づいている。優先交差が決定されると、方法は、方法ステップ３８２により示されているように、優先交差と重なる少なくとも１つの予測軌道を修正することを含んでいる。

図１９の方法３７４を更に説明するために、図２０は、種々の交差時間を有している４つの交差において重なる予測軌道を有している４つの車両のセットを例示して提供されている。図２０は、Ａ、Ｂ、Ｃ、およびＤの標識を付けられている４つの交差を含んでいる。ここでは、優先交差は交差Ｂであり、車両は同じ速度で走行していると仮定すると、その交差は時間的に最初に起こる。交差Ｃは、時間的に最後に起こり、交差ＡおよびＤは、ＢとＣとの間の何れかの時間に起こる。

図２１Ａ〜２１Ｂは、図１９の方法に従う、少なくとも１つの予測軌道の修正を更に例示している。図２１Ｂは、それぞれが、それぞれの予測軌道１０２、２０２、２０６Ａ、２０６Ｂを有している、エゴ車両１００、道路エージェント車両２００、および２人の歩行者２０４の平面図３００である。車道交差点に設けられている２つの停止標識２１４がある。道路エージェント車両２００は、停止標識のところにあるので、優先交差は、エゴ車両１００と、歩行者の速度により決まる、歩行者２０４Ａ、２０４Ｂの何れかとの間である。時間的に最後の交差は、エゴ車両１００と道路エージェント車両２００との間である。図２１Ａは、図２１Ａにおいて提示されている状況の、運転者から見た透視図３１０を提供しており、エゴ車両予測軌道１０２が優先交差に関連しているので、その長さを短くすることでエゴ車両予測軌道１０２を修正している。

図２２は、本技術の例としての態様に従う、物体は、部分的に、または完全に隠されている道路エージェントであるという決定を伴う、予測軌道と物体との重なりに基づいて、少なくとも１つの予測軌道を修正する方法３８４のフローチャート図である。要求される予測軌道を生成した後、方法は、運転者の透視視点を考慮すると、道路エージェント予測軌道が、物体の背後に存在して、物体の背後の走行を示していると決定するステップ３８６を含んでいる。方法ステップ３８８により示されているように、方法は、ユーザインタフェース上に表示されると、道路エージェント予測軌道は、物体と重なると決定する。方法ステップ３９０において、運転者から見た透視図を示しているユーザインタフェース上で表示されると、少なくとも１つの隠されている道路エージェントが物体の背後であると決定されると、ステップ３９２は、隠されている道路エージェントと、それぞれの道路エージェント予測軌道の両者を除去することと、道路エージェント予測軌道の一部を物体で隠すこと、物体にダイルートすること、または物体とブレンドすることと、および、隠されている道路エージェントを物体上に重ね表示する(superimposing)ことから構成されるグループから選択される少なくとも１つの修正を実行することを提供する。

図２３Ａ〜２３Ｄは、図２２の方法に従う、少なくとも１つの予測軌道の修正に対する要求がある、例としての状況を示している。例えば、図２３Ａは、トラックのような、より大きな車両２００Ｂに隣接して位置している、より小さな車両２００Ａを含んでいる平面図３００を提供している。図２３Ｂは、建物２１２のような物体に隣接している車両２００を含んでいる平面図３００を例示している。図２３Ｃおよび２３Ｄは、図２３Ａおよび２３Ｂそれぞれにおいて提示されている状況の、運転者から見た透視図３１０を提供しており、道路エージェント車両は見えていない。図２４Ａ〜２４Ｄは、図２３Ｃおよび２３Ｄの状況で提示されるときの、図２２の方法に従う、少なくとも１つの予測軌道の追加的修正を例示している。図２４Ａは、両者の状況に対して、隠されている道路エージェント車両と、それぞれの道路エージェント予測軌道の両者を完全に除去している。図２４Ｂは、隠されている道路エージェントは除去しているが、予測軌道は依然として提示している。図２４Ｃは、予測軌道を、道路エージェント車両２００Ｂおよび建物２１２とブレンドしている。図２４Ｄは、隠されている道路エージェント２００、２００Ａを、建物２１２および道路エージェント車両２００Ｂそれぞれに重ね表示している。

図２５は、本技術の例としての態様に従う、車道における傾斜のある地形の存在に基づいて、少なくとも１つの予測軌道を修正する方法３９４のフローチャート図である。方法３９４は、運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するためであって、エゴ車両に対するエゴ車両予測軌道を生成することと、エゴ車両の外部である道路エージェントに対する少なくとも１つの道路エージェント予測軌道を生成することを含んでいる。方法ステップ３９６により示されているように、それぞれの予測軌道が生成された後、方法３９４は、運転者から見た透視図において見ると、少なくとも１つの道路エージェント予測軌道が、物体の背後に存在して、物体の背後の走行を示していると決定することにより継続する。方法は、運転者の透視視点において表示されると、道路エージェント予測軌道が物体と重なると更に決定する。この方法態様においては特に、方法ステップ４００により示されているように、物体は傾斜のある地形であり、予測軌道は少なくとも部分的には隠されているという決定がある。図２６Ａに示されているように、傾斜のある地形２１４は、上り坂または下り坂であることができる。方法ステップ４０２により示されているように、方法は、運転者の透視視点を示しているユーザインタフェース上で表示されると、傾斜のある地形が見えるように傾斜のある地形上で延伸しているカーブのある軌道としての表示のために、少なくとも１つの道路エージェント予測軌道を修正することを継続する。そして方法は、任意の修正された道路エージェント予測軌道を含むように、ユーザインタフェースの表示を更新することを継続する。

図２６Ａ〜２６Ｄおよび図２７Ａ〜２７Ｄは、図２５の方法に従う、傾斜のある地形が視野と干渉する少なくとも１つの予測軌道の修正を例示している。図２６Ａは、エゴ車両１００と、予測軌道２０２を有する道路エージェント車両２００のある、例としてのシナリオの部分的透視図である。図２６Ｂは、高度における差の側面図を提供しており、特には、傾斜のある地形２１４を示しており、道路エージェント予測軌道２０２は、傾斜のために、上方に向かう方向を指し示しているが、これは望ましいことではない。図２６Ｃは平面図３００を提供しており、一方、図２６Ｄは、隠されている道路エージェント車両２００を有しており、予測軌道２０２の一部のみが見えており、道路エージェントの位置と、その走行の方向の両者に関してユーザを混乱させる可能性のある、運転者の透視視点３１０を提供している。図２７Ａおよび２７Ｂは、道路エージェント車両２００の予測軌道が、直線２０２から、空に向かって登っていく、または車道の内部に向かって下がっていくように見える方向を示さないように、傾斜のある地形から（傾斜のある地形上で）ほぼ固定した距離だけ離れて延伸できる、カーブのある、または、少なくとも部分的にカーブのある軌道２０３にどのように変換されるかを例示している。例えば、軌道２０２と道路／地形との間の距離が、所定の閾値よりもますます大きくなっていき、上方へ向かう走行を示している場合、予測軌道の少なくとも一部は、図２７Ａに示されているように、下方に向かう方向にカーブ２０３させることができる。他の例においては、軌道２０２と道路／地形との間の距離が、他の所定の閾値よりもますます小さくなっていく場合、予測軌道の少なくとも一部は、図２７Ｂに示されているように、上方に向かう方向にカーブ２０３させることができる。図２７Ｃは、カーブのある予測軌道２０３を有する、図２７Ａのシナリオの、運転者の透視視点３１０を例示している。図２７Ｄは、道路エージェント車両２００が重ね表示された表現を更に提供しており、道路エージェント車両２００が坂の他の側において隠され、位置していることなどを示すために、色および／または形状を道路エージェント車両２００に提供できる。

図２８は、本技術の例としての態様に従う、ユーザに道路エージェントの未知の走行方向を提供してしまう、表示領域からはみ出ている少なくとも１つの道路エージェント予測軌道に基づいて、少なくとも１つの予測軌道を修正する方法４０４のフローチャート図である。方法４０４は、運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するためであり、エゴ車両に対するエゴ車両予測軌道を生成することと、エゴ車両の外部である道路エージェントに対する少なくとも１つの道路エージェント予測軌道を生成することを含んでいる。方法ステップ４０６により示されているように、それぞれの予測軌道が生成された後、方法４０４は、少なくとも１つの道路エージェント予測軌道が、表示領域からはみ出ていると決定し、方法ステップ４０８により示されているように、運転者から見た透視図を示しているユーザインタフェース上で表示されると、未知の走行方向を更に有していると決定する命令を有している軌道予測モジュールを使用できる。方法は、表示領域において方向を示すものを提供するために、少なくとも１つの道路エージェント予測軌道を修正するステップ４１０を含むことができる。

図２９Ａ〜２９Ｅは、図２８の方法に従う、少なくとも１つの予測軌道の修正を例示している。図２９Ａは、エゴ車両１００と道路エージェント車両２００を有する平面図３００を例示している。道路エージェント車両２００と方向の矢印の両者は、表示から遠く離れて広がっている。図２９Ｂは、このシナリオを、運転者の透視視点３１０から例示している。示されているように、道路エージェント予測軌道２０２の一部のみが存在しており、これは、走行の方向に関して、ユーザに混乱を残す。図２９Ｃは、道路エージェント車両２００の少なくとも一部の図を表現しているアイコンを追加しているが、これでも、方向矢印がないので、依然としてユーザを混乱させかねない。図２９Ｄおよび２９Ｅは、道路エージェント予測軌道２０２の長さを修正し、運転者の透視視点から見たときに、ユーザに追加的情報を提供するために、方向矢印を、予測軌道の適切な側に追加している。

図３０は、本技術の例としての態様に従う、予測軌道が１つ以上の静止物体に重なるという決定を伴う、予測軌道と、物体または他の予測軌道の何れかとの重なりに基づいて、少なくとも１つの予測軌道を修正する方法４１２のフローチャート図である。方法４１２は、運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するためであり、エゴ車両に対するエゴ車両予測軌道を生成することと、エゴ車両の外部である道路エージェントに対する少なくとも１つの道路エージェント予測軌道を生成することを含んでいる。方法ステップ４１４により示されているように、それぞれの予測軌道が生成された後、方法４１２は、少なくとも１つの道路エージェント予測軌道が、物体、または他の道路エージェント予測軌道の何れかに重なると決定することにより継続する。方法は、道路エージェント予測軌道が、１つ以上の静止物体、特には、車道上または歩道上に存在しない静止物体に重なるかどうかを決定するステップ４１６を継続する。そのような静止物体の非制限的な例としては、木の列、一連の建物または構造物などを挙げることができる。複数の静止物体は、それらのサイズおよび位置によって、グループとして、または個々に考えることができる。方法ステップ４１８において示されているように、方法は、予測軌道が、静止物体の１つ以上に重なる場所の１つ以上において、道路エージェント予測軌道を隠す、それにダイルートする、またはそれとブレンドすることにより、道路エージェント予測軌道を修正することを含んでいる。

図３１Ａ〜３１Ｃは、図３０の方法に従う、複数の静止物体に隣接している少なくとも１つの予測軌道の修正を例示している。図３１Ａは、エゴ車両１００と道路エージェント車両２００の平面図３００を提供している。予測軌道２０２は、複数の静止物体２１６の前方である。図３１Ｂにおいて示されているように、運転者の透視視点３１０において提示されると、道路エージェント予測軌道２０２と静止物体２１６との間の関係は、混乱しているように見える可能性がある。従って、図３１Ｃにおいて示されているように、道路エージェント予測軌道２０２は、物体２１６と重なる予測軌道２０２の領域／位置が物体２１６とブレンドされて提供されるように修正される。他の態様においては、それらの部分は、静止物体のタイプ、および随意的に他の要因によっては、ダイルートする、および／または、隠すことができる。

図３２は、本技術の例としての態様に従う、予測軌道は、過去時制の道路エージェント軌道であるという決定を伴う、予測軌道と、物体または他の予測軌道の何れかとの重なりに基づいて、少なくとも１つの予測軌道を修正する方法４２０のフローチャート図である。典型的には、道路エージェント予測軌道は現在および／または将来の軌道である。しかし、種々の態様においては、少なくとも１つの過去時制の軌道、または、既に車道の部分を通過し、エゴ車両との衝突の脅威をもはや提供しない道路エージェント軌道を示すものを提供することは利点があり得、または望ましいことである得る。方法４２０は、運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するためであり、エゴ車両に対するエゴ車両予測軌道を生成することと、エゴ車両の外部である道路エージェントに対する少なくとも１つの道路エージェント予測軌道を生成することを含んでいる。方法ステップ４２２により示されているように、それぞれの予測軌道が生成された後、方法４２０は、少なくとも１つの道路エージェント予測軌道が、物体、または他の道路エージェント予測軌道の何れかに重なると決定することにより継続する。方法は、道路エージェント予測軌道が実際には、過去時制の道路エージェント予測軌道であると決定するステップ４２４を継続する。言い換えると、車道を横切る走行はすでに起こっている。方法ステップ４２６において示されているように、方法は、例えば、形状または太さを修正または変更することにより、過去時制の道路エージェント予測軌道を修正することを含んでいる。

図３３Ａ〜３３Ｃは、図３２の方法に従う、少なくとも１つの予測軌道の修正を例示している。例えば、図３３Ａは、エゴ車両１００、現在または将来の軌道２０２Ａを有している第１道路エージェント車両２００Ａ、および過去時制の道路エージェント予測軌道２０２Ｂを有している第２道路エージェント車両２００Ｂの平面図３００を提供している。図３３Ｂは、図３３Ａにおいて提供されているようなシナリオの、運転者の透視視点３１０を提供している。エゴ車両予測軌道は、明確性のために省略されている。しかし、過去時制の道路エージェント予測軌道２０２Ｂの存在は、ユーザを混乱させるものであり得る。そのため、図３３Ｃは、過去時制の道路エージェント予測軌道の、形状および／または太さなどの修正を提供している。

図３４は、本技術の例としての態様に従う、複雑さに基づいて、ユーザインタフェースに提供されるべき表示のタイプを選択するための方法４２８のフローチャート図である。方法４２８は、運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するためであり、エゴ車両に対するエゴ車両予測軌道を生成することと、エゴ車両の外部である道路エージェントに対する少なくとも１つの道路エージェント予測軌道を生成することを含んでいる。方法ステップ４３０により示されているように、それぞれの予測軌道が生成された後、方法４２８は、少なくとも１つの道路エージェント予測軌道が、物体、または他の道路エージェント予測軌道の何れかに重なると決定することにより継続する。方法は、軌道予測モジュールが、透視図を示しているユーザインタフェースにおける表示は、運転者の透視視野で提示／表示されると複雑であり得、または混乱を引き起こし得ると決定するステップ４３２を継続する。種々の態様においては、複雑さの決定は、多数の要因の１つ以上に基づくことができ、要因としては、閾値数および／または、表示に存在している道路エージェントおよび物体のタイプ、道路エージェント、物体、および予測軌道の位置、一日の時刻、交通渋滞、天候、ユーザの経験、走行時間などがある。種々の態様においては、複雑さの決定は、１つ以上の計算、または、例えば、予測軌道の密度、道路エージェントおよび／または物体の数、および重なる点の数に基づくことができる信頼スコアに基づくことができる。方法ステップ４３４において提供されているように、方法は、運転者の透視視点とは反対に、平面図を示しているユーザインタフェースにおける表示を生成することを含んでいる。平面図の使用は、表示を簡潔化し、ユーザに、周囲およびシナリオのより完全な表示を提供することが意図されている。種々の態様においては、方法は、選択リクエストをユーザから得て、ユーザが、異なる表示オプションのプレビューを見ることを可能にし、異なる表示間を自由に切り替わることを可能にする命令を要求することを含むことができる。種々の他の態様においては、方法は、表示の両者のタイプをユーザに提供すること、例えば、平面図を第１表示に、そして運転者の透視視点表示を第２表示に提供することを含むことができる。更なる態様においては、平面図と運転者の透視視点の両者を、横に並べる配置などで提供する単一表示を生成できる。

予測軌道、車道、物体などの描写と共に、アイコンの表示に関して、本技術は、ここにおいて具体的に記述される特定のタイプおよびスタイルには制限されるべきではなく、それらは、所望するようにカスタマイズできるということは理解されるべきである。この点について、図３５Ａ〜３５Ｃは、異なる線、２Ｄパターン、および３Ｄ形状を有する予測軌道の、異なる非制限的な変形例を示している。例えば、図３５Ａは、異なるタイプの線および矢印の組み合わせと、デザインを提供しており、走行の方向における変化を示すことができる別個の部分を示すもの（図３５Ａにおいてはドットとして示されている）を含むことができる。図３５Ｂは、図３５Ａの線の代わりに使用できる、二次元形状の異なるタイプを提供している。二次元形状は、走行の方向、速度、信頼レベルなどをより良好に示すために、異なる階調度または色でデザインできる。図３５Ｃは、図３５Ａの線の代わりに使用できる、三次元形状の異なるタイプを提供している。三次元形状は同様に、走行の方向、速度、信頼レベルなどをより良好に示すために、異なる階調度または色でデザインできる。三次元形状には、線および単純な形状の使用から、詳細な三次元物体の表示までの範囲にわたり、詳細の種々のレベルを提供できる。

図３６Ａ〜３６Ｃは、２つの予測軌道の重なりを有する２Ｄおよび３Ｄ予測軌道を例示している。図３６Ａは、エゴ車両予測軌道１０２が、道路エージェント予測軌道２０２と交差して重なる、図１６Ａ〜１６Ｃに関して以前に検討したシナリオを例示している。図３６Ｂは、予測軌道１０２、２０２を表現するための様々な色および階調度を有する二次元形状の２つのセットを提供している。図３６Ｃは、予測軌道１０２、２０２を表現するための様々な色および階調度を有する三次元形状の２つのセットを提供している。

図３７Ａ〜３７Ｃは、予測軌道と少なくとも１つの静止物体の重なりのある２Ｄおよび３Ｄ予測軌道を例示している。図３７Ａは、道路エージェント車両２００が、複数の静止物体２１６に隣接して走行している、図３１Ａ〜３１Ｃに関して以前に検討したシナリオを例示している。図３７Ｂは、予測軌道２０２を表現するための様々な色および階調度を有する二次元形状を提供している。図３７Ｃは、予測軌道２０２を表現するための様々なブレンドすること、ダイルートすること、および隠すことを有する三次元形状を提供している。

図３８Ａ〜３８Ｂは、単一表示上での、２Ｄおよび３Ｄ予測軌道の組み合わせの使用を例示している。図３８Ａは平面図３００を提供し、図３８Ｂは、図３８Ａにおいて提示されているシナリオの、運転者の透視視点３１０を提供している。具体的には、図３８Ｂは、単純な線パターンのエゴ車両予測軌道１０２を提供し、三次元形状の第１道路エージェント予測軌道２０２Ａを提供し、二次元形状の第２道路エージェント予測軌道２０２Ｂを提供している。種々の修正および組み合わせを、本技術と共に使用できるということは理解されるべきである。種々の態様においては、ユーザは表示タイプをカスタマイズおよび変更でき、システムおよび方法は、所定の閾値および必要条件に基づいて、予測軌道の形状および／または寸法を変更することを含むことができる。

ここにおいて記述される種々の方法のそれぞれは、システムの一部として提供でき、システムは、１つ以上のプロセッサと、１つ以上のプロセッサにより実行されると、そのプロセッサに、方法の種々の部分で記述されるステップを実行する行動を実行させる命令を含んでいる軌道予測モジュールを含むことができるメモリを含むことができる。同様に、ここにおいて記述される方法のそれぞれは、非一時的コンピュータ読取り可能媒体上に命令として格納できる。

ここで図１を、ここにおいて開示されるシステムおよび方法が動作できる、例としての車両環境として十分詳細に検討する。幾つかの例においては、車両１００は、自律モード、１つ以上の半自律動作モード、および／またはマニュアルモードの間で選択的に切り替わるように構成されている。マニュアルモードに遷移するときのハンドオーバとも称されるそのような切り替わりは、現在知られている、または後日開発される適切な方法で実現できる。「マニュアルモード」は、車両のナビゲーションおよび／または操縦のすべて、または大部分が、ユーザ（例えば、人間の運転者／オペレータ）から受信する入力に従って実行されることを意味する。

１つ以上の態様においては、車両１００は自律車両である。ここにおいて使用されているように、「自律車両」とは、自律モードで動作する車両のことである。「自律モード」とは、人間の運転者／オペレータからの最小限の入力、または入力なしで、車両１００を制御するための１つ以上の演算システムを使用して、走行ルートに沿って車両１００をナビゲートおよび／または操縦することである。１つ以上の態様においては、車両１００は、高度にまたは完全に自動化されている。１つの態様においては、車両１００は、１つ以上の半自律動作モードで構成されており、半自律動作モードにおいては、１つ以上の演算システムが、走行ルートに沿っての車両のナビゲーションおよび／または操縦の一部を実行し、車両のオペレータ（つまり、運転者）が、走行ルートに沿っての車両１００のナビゲーションおよび／または操縦の一部を実行するために、入力を車両に提供する。そのため、１つ以上の態様においては、車両１００は、自律性の特別な定義されたレベルに従って、自律的に動作する。例えば、車両１００は、自動車エンジニア協会（ＳＡＥ）の自動化車両分類０〜５に従って動作できる。１つの態様においては、車両１００は、ＳＡＥレベル２に従って動作し、ＳＡＥレベル２は、オペレータの入力なしで、制動、加速、および操舵により車両１００を制御する自律運転モジュール１６０を提供するが、運転者／オペレータは運転を監視し、自律運転モジュール１６０が適切に応答しない場合、または、車両１００を十分に制御できない場合に、車両１００の制御に介入するように警戒し準備することになる。

車両１００は、１つ以上のプロセッサ１１０を含むことができる。１つ以上の配置においては、プロセッサ１００は、車両１００のメインプロセッサであることができる。例えば、プロセッサ１１０は、電子制御ユニット（ＥＣＵ）であることができる。車両１００は、１つ以上のタイプのデータを格納するための１つ以上のデータ格納装置(data stores)１１５を含むことができる。データ格納装置１１５は、揮発性および／または不揮発性メモリを含むことができる。適切なデータ格納装置１１５の例としては、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（リードオンリメモリ）、ＰＲＯＭ（プログラマブルリードオンリメモリ）、ＥＰＲＯＭ（消去可能型プログラマブルリードオンリメモリ）、ＥＥＰＲＯＭ（電気的消去可能型プログラマブルリードオンリメモリ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、または任意の他の適切な格納媒体、または、それらの任意の組み合わせが挙げられる。データ格納装置１１５は、プロセッサ１１０の構成要素であることができ、または、データ格納装置１１５は、プロセッサ１１０による使用のために、プロセッサ１１０に動作可能に接続できる。この記述を通して使用されているように、「動作可能に接続される」という用語は、直接物理的接触のない接続を含む、直接または間接的接続を含むことができる。

１つ以上の配置においては、１つ以上のデータ格納装置１１５はマップデータ１１６を含むことができる。マップデータ１１６は、１つ以上の地形領域のマップを含むことができる。幾つかの例においては、マップデータ１１６は、１つ以上の地形領域における、道路、交通制御装置、道路標識、構造物、特徴、および／または目印についての情報またはデータを含むことができる。マップデータ１１６は、任意の適切な形状であることができる。幾つかの例においては、マップデータ１１６は領域の空中写真を含むことができる。幾つかの例においては、マップデータ１１６は、３６０度の地上写真を含む、領域の地上写真を含むことができる。マップデータ１１６は、マップデータ１１６に含まれている１つ以上の事項に対する、および／または、マップデータ１１６に含まれている他の事項に対する測定値、寸法、距離、および／または情報を含むことができる。マップデータ１１６は、道路の相対的位置についての情報を備えているデジタルマップを含むことができる。マップデータ１１６は、高品質および／または高詳細であることができる。

１つ以上の配置においては、マップデータ１１６は、１つ以上の地形マップ１１７を含むことができる。地形マップ１１７は、１つ以上の地形領域の、地面、地形、道路、地表、および／または他の特徴についての情報を含むことができる。地形マップ１１７は、１つ以上の地形領域における高度データを含むことができる。マップデータ１１６は、高品質および／または高詳細であることができる。地形マップ１１７は、舗装された道路、舗装されていない道路、土地、および地上表面を画定する他のものを含むことができる、１つ以上の地上表面を画定できる。

１つ以上の配置においては、マップデータ１１６は、１つ以上の静止障害物マップ１１８を含むことができる。静止障害物マップ１１８は、１つ以上の地形領域内に位置している１つ以上の静止障害物についての情報を含むことができる。「静止障害物」とは、その位置がある期間にわたって変わらない、または実質的に変わらず、および／または、ある期間にわたってそのサイズが変わらない、または実質的に変わらない物理的物体である。静止障害物の例としては、木、建物、縁石、塀、垣、中央分離帯、電柱、像、記念碑、標識、ベンチ、家具、郵便箱、大きな岩、坂などが挙げられる。静止障害物は、地表面上に広がる物体であることができる。静止障害物マップ１１８に含まれている１つ以上の静止障害物は、位置データ、サイズデータ、寸法データ、材質データ、および／またはそれと関連付けられている他のデータを有することができる。静止障害物マップ１１８は、１つ以上の静止障害物に対する測定値、寸法、距離、および／または情報を含むことができる。静止障害物マップ１１８は、高品質および／または高詳細であることができる。静止障害物マップ１１８は、マップされた領域内の変化を反映するために更新できる。

１つ以上のデータ格納装置１１５は、センサデータ１１９を含むことができる。この状況においては、「センサデータ」は、そのようなセンサについての機能および他の情報を含む、車両１００が装備しているセンサについての任意の情報を意味している。下記に説明するように、車両１００は、センサシステム１２０を含むことができる。センサデータ１１９は、センサシステム１２０の１つ以上のセンサと関連することができる。例として、１つ以上の配置においては、センサデータ１１９は、センサシステム１２０の１つ以上のライダーセンサ１２４についての情報を含むことができる。

幾つかの例においては、マップデータ１１６および／またはセンサデータ１１９の少なくとも一部は、車両１００上に位置している１つ以上のデータ格納装置１１５に位置させることができる。代替的に、または追加的に、マップデータ１１６および／またはセンサデータ１１９の少なくとも一部は、車両１００から離れて位置している１つ以上のデータ格納装置１１５に位置させることができる。

上記のように、車両１００は、センサシステム１２０を含むことができる。センサシステム１２０は、１つ以上のセンサを含むことができる。「センサ」とは、何かを検出および／または感知できる任意の装置、構成要素、および／またはシステムを意味している。１つ以上のセンサは、リアルタイムで検出および／または感知するように構成できる。ここにおいて使用されているように、「リアルタイム」という用語は、ユーザまたはシステムが、行われるべき特別なプロセスまたは決定に対して十分に迅速であると感じる、または、プロセッサが、ある外部のプロセスに遅れないでついていくことを可能にする処理応答性のレベルを意味している。

センサシステム１２０が複数のセンサを含んでいる配置においては、センサは、互いに独立して機能できる。または、センサの２つ以上は、互いに組み合せて作業できる。そのような場合、その２つ以上のセンサは、センサネットワークを形成できる。センサシステム１２０および／または１つ以上のセンサは、プロセッサ１１０、データ格納装置１１５、および／または、車両１００の他の要素（図１に示されている要素の何れも含む）に動作可能に接続できる。センサシステム１２０は、車両１００の外部環境（例えば、近くの車両）の少なくとも一部のデータを取得できる。

センサシステム１２０は、任意の適切なタイプのセンサを含むことができる。異なるタイプのセンサの種々の例をここにおいて記述する。しかし、態様は、記述される特別なセンサに制限されないということは理解されるであろう。センサシステム１２０は、１つ以上の車両センサ１２１を含むことができる。車両センサ１２１は、車両１００自身についての情報を、検出、決定、および／または感知できる。１つ以上の配置においては、車両センサ１２１は、例えば、慣性加速度に基づいてのように、車両１００の位置および向きの変化を検出および／または感知するように構成できる。１つ以上の配置においては、車両センサ１２１は、１つ以上の加速度計、１つ以上のジャイロスコープ、慣性測定ユニット（ＩＭＵ）、推測航法システム、全地球的ナビゲーション衛星システム（ＧＮＳＳ）、全地球測位システム（ＧＰＳ）、ナビゲーションシステム１４７、および／または他の適切なセンサを含むことができる。車両センサ１２１は、車両１００の１つ以上の特性を検出および／または感知するように構成できる。１つ以上の配置においては、車両センサ１２１は、車両１００の現在の速度を決定するための速度計を含むことができる。

代替的に、または追加的に、センサシステム１２０は、運転環境データを取得および／または感知するように構成されている１つ以上の環境センサ１２２を含むことができる。「運転環境データ」は、自律車両が位置している外部環境、またはその１つ以上の部分についてのデータまたは情報を含んでいる。例えば、１つ以上の環境センサ１２２は、車両１００の外部環境の少なくとも一部における障害物、および／または、そのような障害物についての情報／データを、検出、定量、および／または感知するように構成できる。そのような障害物は、静止物体および／または動的物体であってよい。１つ以上の環境センサ１２２は、例えば、車線マーカ、標識、交通信号機、交通標識、車線、横断歩道、車両１００に近接している縁石、オフロード物体などのような、車両１００の外部環境における他の物を、検出、測定、定量、および／または感知するように構成できる。

センサシステム１２０のセンサの種々の例をここにおいて記述する。例としてのセンサは、１つ以上の環境センサ１２２および／または１つ以上の車両センサ１２１の一部であってよい。更に、センサシステム１２０は、車両１００の運転者／オペレータに関連する態様を追尾または監視するように機能するオペレータセンサを含むことができる。しかし、態様は、記述される特別なセンサに制限されないということは理解されるであろう。

例として、１つ以上の配置においては、センサシステム１２０は、１つ以上のレーダーセンサ１２３、１つ以上のライダーセンサ１２４、１つ以上のソナーセンサ１２５、および／または１台以上のカメラ１２６を含むことができる。１つ以上の配置においては、１台以上のカメラ１２６は、ハイダイナミックレンジ（ＨＤＲ）カメラ、赤外線（ＩＲ）カメラなどであることができる。１つの態様においては、カメラ１２６は、オペレータ／運転者の注視、オペレータ／運転者の目の軌跡などを決定するために、オペレータ／運転者についての目の追尾を実行するために、車両の乗車人コンパートメント内に配置されている１台以上のカメラを含んでいる。

車両１００は、入力システム１３０を含むことができる。「入力システム」は、情報／データをマシンに入力させることができる、任意の装置、構成要素、システム、要素または配置、またはそのグループを含んでいる。入力システム１３０は、車両の乗車人（例えば、運転者または乗車人）から入力を受信できる。車両１００は、出力システム１３５を含むことができる。「出力システム」は、情報／データを、車両の乗車人（例えば、人間、車両の乗車人など）に提示させることができる、任意の装置、構成要素、または配置、またはそのグループを含んでいる。

車両１００は、１つ以上の車両システム１４０を含むことができる。１つ以上の車両システム１４０の種々の例は、図１に示されている。しかし、車両１００は、より多い、または、より少ない、または、異なる車両システムを含むことができる。特別な車両システムは別個に定義されているが、そのシステムまたはその部分のそれぞれ、または何れも、車両１００内のハードウェアおよび／またはソフトウェアを介して、違うように組み合わせること、または分割することができるとういうことは認識されるべきである。車両１００は、推進システム１４１、制動システム１４２、操舵システム１４３、スロットルシステム１４４、トランスミッションシステム１４５、信号システム１４６、および／またはナビゲーションシステム１４７を含むことができる。これらのシステムのそれぞれは、現在知られている、または後日開発される、１つ以上の装置、構成要素、および／またはその組み合わせを含むことができる。

ナビゲーションシステム１４７は、車両１００の地理的位置を決定し、および／または、車両１００に対する走行ルートを決定するように構成されている、現在知られている、または後日開発される、１つ以上の装置、センサ、アプリケーション、および／またはその組み合わせを含むことができる。ナビゲーションシステム１４７は、車両１００に対する走行ルートを決定するための１つ以上のマッピングアプリケーションを含むことができる。ナビゲーションシステム１４７は、全地球測位システム、局所測位システム、またはジオロケーション（地理的位置特定）システムを含むことができる。

プロセッサ１１０、軌道予測システム１７０、および／または自律運転モジュール１６０は、種々の車両システム１４０、および／または、その個々の構成要素と通信するために、動作可能に接続できる。例えば、図１に戻ると、プロセッサ１１０および／または自律運転モジュール１６０は、車両１００の動き、速度、操縦、進路、方向などを制御するために、種々の車両システム１４０に情報を送り、および／または、そこから情報を受信するために通信状態であることができる。プロセッサ１１０、軌道予測システム１７０、および／または自律運転モジュール１６０は、これらの車両システム１４０の幾つかまたはすべてを制御でき、そのため、部分的または完全に自律的であることができる。

プロセッサ１１０、軌道予測システム１７０、および／または自律運転モジュール１６０は、種々の車両システム１４０、および／または、その個々の構成要素と通信するために、動作可能に接続できる。例えば、図１に戻ると、プロセッサ１１０、軌道予測システム１７０、および／または自律運転モジュール１６０は、車両１００の動き、速度、操縦、進路、方向などを制御するために、種々の車両システム１４０に情報を送り、および／または、そこから情報を受信するために通信状態であることができる。プロセッサ１１０、軌道予測システム１７０、および／または自律運転モジュール１６０は、これらの車両システム１４０の幾つかまたはすべてを制御できる。

プロセッサ１１０、軌道予測システム１７０、および／または自律運転モジュール１６０は、車両システム１４０の１つ以上、および／または、その構成要素を制御することにより、車両１００のナビゲーションおよび／または操縦を制御するために動作可能であることができる。例えば、自律モードで動作しているときは、プロセッサ１１０、軌道予測システム１７０、および／または自律運転モジュール１６０は、車両１００の方向および／または速度を制御できる。プロセッサ１１０、軌道予測システム１７０、および／または自律運転モジュール１６０は、車両１００を加速させることができ（例えば、エンジンに提供される燃料の供給を増やすことにより）、減速させることができ（例えば、エンジンへの燃料の供給を減らすことにより、および／または、ブレーキをかけることにより）、および／または方向を変えさせることができる（例えば、２つの前輪の向きを変えることにより）。ここにおいて使用されているように、「させる」または「させている」とは、直接または間接的な方法で、ある事象または行動を起こさせる、起こすように強いる、起こすように強制する、起こすように指図する、起こすように命令する、起こすように指示する、および／または起こることを可能にする、または、そのような事象または行動が起こり得る状態に少なくともなるように、させる、強いる、強制する、指図する、命令する、指示する、および／または、なることを可能にするということを意味している。

車両１００は、１つ以上のアクチュエータ１５０を含むことができる。アクチュエータ１５０は、プロセッサ１１０および／または自律運転モジュール１６０から信号または他の入力を受信することに応答して、車両システム１４０またはその構成要素の１つ以上を修正、調整、および／または変更するように動作可能な任意の要素または要素の組み合わせであることができる。任意の適切なアクチュエータを使用できる。例えば、１つ以上のアクチュエータ１５０は、幾つかの可能性を挙げれば、モータ、空気圧アクチュエータ、油圧ピストン、リレー、ソレノイド、および／または圧電アクチュエータを含むことができる。

車両１００は、１つ以上のモジュールを含むことができ、その少なくとも幾つかは、ここにおいて記述される。モジュールは、プロセッサ１１０により実行されると、ここにおいて記述される種々のプロセスの１つ以上を実現するコンピュータ読取り可能プログラムコードとして実現できる。モジュールの１つ以上は、プロセッサ１１０の構成要素であることができ、または、モジュールの１つ以上は、プロセッサ１１０が動作可能に接続されている他の処理システム上で実行でき、および／または、他の処理システムの間で分散できる。モジュールは、１つ以上のプロセッサ１１０により実行可能な命令（例えば、プログラムロジック）を含むことができる。代替的に、または追加的に、１つ以上のデータ格納装置１１５は、そのような命令を含むことができる。一般的に、ここにおいて使用されているように、モジュールという用語は、特別な作業を実行し、または特別なデータタイプを実現するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含んでいる。更なる態様においては、メモリは、一般的に、上記のモジュールを格納している。モジュールと関連付けられているメモリは、プロセッサ内に埋め込まれているバッファまたはキャッシュ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、または他の適切な電子格納媒体であってよい。更なる態様においては、本開示により想定されるモジュールは、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）のハードウェア構成要素、プログラマブルロジックアレイ（ＰＬＡ）、または、開示される機能を実行するための、定義された構成セット（例えば、命令）と共に埋め込まれている他の適切なハードウェア構成要素として実現される。

１つ以上の配置においては、ここにおいて記述されるモジュールの１つ以上は、例えば、ニューラルネットワーク、ファジーロジック、または他のマシン学習アルゴリズムなどの、人工または演算知能要素を含むことができる。更に、１つ以上の配置においては、モジュールの１つ以上は、ここにおいて記述される複数のモジュールの間で分散できる。１つ以上の配置においては、ここにおいて記述されるモジュールの２つ以上は、単一のモジュールに組み合わせることができる。

車両１００は、１つ以上の自律運転モジュール１６０を含むことができる。自律運転モジュール１６０は、センサシステム１２０から、および／または、車両１００に関する、および／または、車両１００の外部環境に関する情報を捕捉できる任意の他のタイプのシステムからデータを受信するように構成できる。１つ以上の配置においては、自律運転モジュール１６０は、１つ以上の運転シーンモデルを生成するために、そのようなデータを使用できる。自律運転モジュール１６０は、車両１００の位置および速度を決定できる。自律運転モジュール１６０は、障害物の、または交通標識、木、低木、近くの車両、歩行者などを含む他の環境的特徴の位置を決定できる。

自律運転モジュール１６０は、複数の衛星からの信号に基づく、または、車両１００の現在の状態を決定するために、または、マップを作成するとき、または、マップデータに関しての車両１００の位置を決定するときの何れかの使用のために、その環境に関しての車両１００の位置を決定するために使用できる任意の他のデータおよび／または信号に基づく、グローバル座標における車両１００の位置および向きを推定するために、ここにおいて記述されるプロセッサ１１０および／またはモジュールの１つ以上による使用のために、車両１００の外部環境内の障害物に対する位置情報を受信および／または決定するように構成できる。

自律運転モジュール１６０は、独立して、または、軌道予測システム１７０と組み合せて、センサシステム１２０により取得されるデータ、運転シーンモデル、および／または任意の他の適切な供給源からのデータに基づいて、走行経路、車両１００に対する現在の自律運転操縦、将来の自律運転操縦、および／または、現在の自律運転操縦に対する修正を決定するように構成できる。「運転操縦」とは、車両の動きに影響を与える１つ以上の行動を意味している。運転操縦の例としては、幾つかの可能性を挙げれば、加速、減速、制動、方向転換、車両１００の側方向への移動、走行車線の変更、走行車線への合流、および／または後退がある。自律運転モジュール１６０は、決定された運転操縦を実現するように構成できる。自律運転モジュール１６０は、直接または間接的に、そのような自律運転操縦を実現させることができる。ここにおいて使用されているように、「させる」または「させている」とは、直接または間接的な方法の何れかで、ある事象または行動を起こさせる、起こすように命令する、起こすように指示する、および／または起こることを可能にする、または、そのような事象または行動が起こり得る状態に少なくともなるようにさせる、命令する、指示する、および／または、なることを可能にするということを意味している。自律運転モジュール１６０は、種々の車両機能を実行し、および／または、データを車両１００またはその１つ以上のシステム（例えば、車両システム１４０の１つ以上）に送信し、およびそれらから受信し、それらと相互作用し、および／またはそれらを制御するように構成できる。

詳細な態様がここにおいて開示されている。しかし、開示されている態様は、例としてのみであることが意図されているということは理解されるべきである。従って、ここにおいて開示される特定の構造および機能の詳細は、制限的に解釈されるべきではなく、請求項に対する単なる根拠として解釈され、および、当業者が、実質的に任意の適切に詳述されている構造において、ここにおける態様を種々に採用するように教示するための単なる代表的な根拠として解釈されるべきである。更に、ここにおいて使用されている用語およびフレーズは、制限的であることは意図されておらず、可能な実現形態の理解可能な記述を提供することが意図されている。種々の態様が図全体において示されているが、態様は、例示されている構造または適用に制限されない。

図におけるフローチャートおよびブロック図は、種々の態様に係る、システム、方法、およびコンピュータプログラム製品の可能な実現形態のアーキテクチャ、機能、および動作を例示している。この点について、フローチャートまたはブロック図における各ブロックは、指定された論理機能を実現するための１つ以上の実行可能な命令を備えているモジュール、セグメント、またはコードの部分を表わすことができる。幾つかの代替の実現形態においては、ブロックに記された機能は、図に記されている順序とは異なる順序で起こることができるということにも気付くべきである。例えば、関与する機能によっては、連続して示されている２つのブロックは、実際、実質的に同時に実行でき、または、ブロックは、逆の順序で実行できることもある。

上記のシステム、構成要素、および／またはプロセスは、ハードウェア、またはハードウェアとソフトウェアの組み合わせにおいて実現でき、および、１つの処理システムにおいて集中型で実現でき、または、異なる要素が幾つかの相互接続されている処理システムにわたり広がっている分散型において実現できる。ここにおいて記述されている方法を実行するために適合されている任意の種類の処理システムまたは他の装置は適切である。ハードウェアとソフトウェアの典型的な組み合わせは、展開されて実行されると、処理システムが、ここにおいて記述されている方法を実行するように処理システムを制御する、コンピュータ使用可能プログラムコードを有する処理システムであることができる。システム、構成要素、および／またはプロセスはまた、マシンが読み取ることが可能で、ここにおいて記述されている方法およびプロセスを実行するために、マシンにより実行可能な命令のプログラムを実体的に含んでいる、コンピュータプログラム製品、または他のデータプログラム格納装置のようなコンピュータ読取り可能格納装置に埋め込むこともできる。これらの要素もまた、ここにおいて記述されている方法の実現形態を可能にするすべての特徴を備え、処理システムにおいて展開されると、これらの方法を実行できるアプリケーション製品に埋め込むこともできる。

更に、ここにおいて記述されている配置は、含まれている、例えば、格納されているコンピュータ読取り可能プログラムコード有している１つ以上のコンピュータ読取り可能媒体に含まれているコンピュータプログラム製品の形状を取ることができる。１つ以上のコンピュータ読取り可能媒体の任意の組み合わせを利用できる。コンピュータ読取り可能媒体は、コンピュータ読取り可能信号媒体、または、コンピュータ読取り可能格納媒体であってよい。「コンピュータ読取り可能格納媒体」というフレーズは、非一時的格納媒体を意味している。コンピュータ読取り可能格納媒体は、例えば、下記に制限されないが、電子的、磁気的、光学的、電磁気的、赤外線、または半導体システム、装置、またはデバイス、または、前述の任意の適切な組み合わせであってよい。コンピュータ読取り可能格納媒体の、より具体的な例（すべてを網羅しているリストではない）としては、下記を挙げることができる。つまり、携帯型コンピュータディスケット、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、リードオンリメモリ（ＲＯＭ）、消去可能型プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、携帯型コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、光格納装置、磁気格納装置、または前述の任意の適切な組み合わせを挙げることができる。この文書の状況においては、コンピュータ読取り可能格納媒体は、命令実行システム、装置、またはデバイスによる使用のため、またはそれらと接続しての使用のためのプログラムを含む、または格納することができる任意の実体的な媒体であってよい。

コンピュータ読取り可能媒体上に含まれているプログラムコードは、下記に制限されないが、無線、ワイヤ線、光ファイバ、ケーブル、ＲＦなど、または前述の任意の適切な組み合わせを含む、任意の適切な媒体を使用して送信できる。本配置の態様に対する動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）^TM、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語、および、「Ｃ」プログラミング言語または類似のプログラミング言語のような、従来の手続き型プログラミング言語を含む１つ以上のプログラミング言語の任意の組み合わせにおいて記述できる。プログラムコードは、スタンドアロンソフトウェアパッケージとして、ユーザのコンピュータ上で全部を実行でき、または、ユーザのコンピュータ上で一部を実行でき、または、ユーザのコンピュータ上で一部、そしてリモートコンピュータ上で一部、または、リモートコンピュータまたはサーバ上で全部を実行できる。後者のシナリオの場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通してユーザのコンピュータに接続でき、または、外部コンピュータへの接続を行うことができる（例えば、インタ―ネットサービスプロバイダを使用するインターネットを通して）。

前記の記述は、例示および記述の目的のために提供され、この開示、その適用、または使用を制限することは決して意図されていない。記述は、すべてを網羅していることは意図されておらず、開示を制限することも意図されていない。特別な態様の個々の要素または特徴は、一般的には、その特別な態様には制限されず、適用可能であれば、特に示され、または記述されていなくとも、選択された態様において交換可能であり、使用可能である。これはまた、多くの方法で変形できる。そのような変形例は、開示からの逸脱と見なされるべきではなく、そのような変形例はすべて、開示の範囲内に含まれることが意図されている。

ここにおいて使用されているように、Ａ、Ｂ、およびＣの少なくとも１つというフレーズは、非排他的論理「ｏｒ」を使用する論理（ＡまたはＢまたはＣ）を意味していると解釈されるべきである。方法内の種々のステップは、本開示の原則を変更することなく異なる順序で実行しうると理解されるべきである。範囲の開示は、端点を含む、すべての範囲および範囲全体内の更に分割されたすべての範囲の開示を含んでいる。

ここにおいて使用されている見出し（「背景技術」や「発明の概要」など）および小見出しは、本開示内の主題の概略的な編成のためのみであることが意図されており、この技術の開示またはその何れの態様も制限することは意図されていない。明確に記述された特徴を有する多数の態様の詳述は、追加的な特徴を有する他の態様、または、明確に記述された特徴の異なる組み合わせを組み入れている他の態様を除外することは意図されていない。

ここにおいて使用されているように、「備える」および「含む」という用語、およびそれらの変形例は、連続する、またはリストにおける事項の詳述が、この技術の装置および方法において有用である得る他の類似の事項を除外しないように、非制限的であることが意図されている。同様に、「できる」および「してよい」という用語、およびその変形例は、態様が、ある要素または特徴を備えることができ、または備えてよいという詳述が、それらの要素または特徴を含んでいない本技術の他の態様を除外しないように、非制限的であることが意図されている。ここにおいて使用されているように、「１つの」という用語は、１つ、または２つ以上として定義されている。ここにおいて使用されているように、「複数の」という用語は、２つ、または３つ以上として定義されている。ここにおいて使用されているように、「他の」という用語は、少なくとも第２の、またはより多くのものとして定義されている。

本開示の広範囲な教示は、多様な形状で実現できる。従って、この開示は特別な例を含んでいるが、開示の真の範囲は、他の修正が、明細書および下記の請求項を研究すれば当事者には明白となるので、そのように制限されるべきではない。ここにおける１つの態様、または種々の態様への言及は、実施形態または特別なシステムとの関連において記述される特別な特徴、構造、または特性は、少なくとも１つの実施形態または態様に含まれるということを意味している。「１つの態様における」（またはその変形例）というフレーズの出現は、必ずしも同じ態様または実施形態に言及しているわけではない。ここにおいて検討される種々の方法ステップは、示されているのと同じ順序で実行される必要はなく、各方法ステップが、各態様または実施形態において必要とされているわけではないということもまた理解されるべきである。

Claims (20)

1. 運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するためのシステムであって、
   １つ以上のプロセッサと、
   前記１つ以上のプロセッサに通信可能に結合されているメモリであって、
   前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、
   エゴ車両の外部である道路エージェントに対する少なくとも１つの道路エージェント予測軌道を生成させ、
   少なくとも１つの道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、表示領域からはみ出ており、未知の走行方向を有していると決定させ、
   方向を示すものを提供するために、前記少なくとも１つの道路エージェント予測軌道を修正させる命令を含んでいる軌道予測モジュールと、
   前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、任意の修正された道路エージェント予測軌道を含むように、前記ユーザインタフェースを更新させる命令を含んでいる制御モジュールを格納しているメモリと、
   を備えている、システム。
2. 方向を示すものを提供する命令は、前記少なくとも１つの道路エージェント予測軌道の長さを修正する命令を備えている、請求項１に記載のシステム。
3. 方向を示すものを提供する命令は、前記少なくとも道路エージェント予測軌道の適切な端部に方向矢印を追加する命令を備えている、請求項１に記載のシステム。
4. 方向を示すものを提供する命令は、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、前記少なくとも道路エージェント予測軌道の適切な端部に、前記道路エージェントを表わしているアイコンを、見えるように追加する命令を備えている、請求項１に記載のシステム。
5. 運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するためのシステムであって、
   １つ以上のプロセッサと、
   前記１つ以上のプロセッサに通信可能に結合されているメモリであって、
   前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、
   エゴ車両に対するエゴ車両予測軌道を生成させ、
   前記エゴ車両の外部である道路エージェントに対する少なくとも１つの道路エージェント予測軌道を生成させ、
   少なくとも１つの予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、物体または他の予測軌道の何れかに重なると決定させ、
   前記少なくとも１つの予測軌道を修正させる命令を含んでいる軌道予測モジュールと、
   前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、任意の修正された道路エージェント予測軌道を含むように、前記ユーザインタフェースを更新させる命令を含んでいる制御モジュールを格納しているメモリと、
   を備えている、システム。
6. 前記軌道予測モジュールは、前記少なくとも１つの予測軌道が、道路上、または歩道上に存在していない１つ以上の静止物体に重なると決定する命令を含んでおり、
   前記少なくとも１つの予測軌道を修正する命令は、前記予測軌道が、前記静止物体の１つに重なる各位置において、前記予測軌道をダイルートする、または前記予測軌道とブレンドする命令を備えている、請求項５に記載のシステム。
7. 前記軌道予測モジュールは、前記少なくとも１つの予測軌道は、過去時制の道路エージェント予測軌道であると決定する命令を含んでおり、
   前記少なくとも１つの予測軌道を修正する命令は、前記過去時制の道路エージェント予測軌道の形状および太さの１つ、または両者を変更する命令を備えている、請求項５に記載のシステム。
8. 前記少なくとも１つの予測軌道を修正する命令は、前記少なくとも１つの予測軌道の形状および寸法の１つ、または両者を変更する命令を備えている、請求項５に記載のシステム。
9. 前記少なくとも１つの予測軌道の形状および寸法は、前記エゴ車両予測軌道の形状および寸法とは異なるように変更される、請求項８に記載のシステム。
10. 前記軌道予測モジュールは、運転者から見た透視図を示している前記ユーザインタフェースにおける表示は複雑であると決定する命令を更に含んでおり、
    前記制御モジュールは、平面図を示している前記ユーザインタフェースにおける表示を生成する命令を更に含んでいる、請求項５に記載のシステム。
11. 前記制御モジュールは、平面図および運転者から見た透視図の１つを表示するための選択リクエストをユーザから得る命令を更に含んでいる、請求項１０に記載のシステム。
12. 前記制御モジュールは、平面図および運転者から見た透視図の両者を示している前記ユーザインタフェースにおける表示を生成する命令を更に含んでいる、請求項１０に記載のシステム。
13. 運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するための方法であって、
    エゴ車両に対するエゴ車両予測軌道を生成することと、
    前記エゴ車両の外部である道路エージェントに対する少なくとも１つの道路エージェント予測軌道を生成することと、
    少なくとも１つの予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、物体または他の予測軌道の何れかに重なると決定することと、
    前記少なくとも１つの予測軌道を修正することと、
    任意の修正された道路エージェント予測軌道を含むように、前記ユーザインタフェースを更新することと、
    を有している、方法。
14. 前記少なくとも１つの予測軌道が、道路上、または歩道上に存在していない複数の静止物体に重なると決定することを更に有しており、
    前記少なくとも１つの予測軌道を修正するステップは、前記予測軌道が、前記複数の静止物体の１つに重なる各位置において、前記予測軌道をダイルートすること、または前記予測軌道とブレンドすることを有している、請求項１３に記載の方法。
15. 前記少なくとも１つの予測軌道は、過去時制の道路エージェント予測軌道であると決定することを更に有しており、
    前記少なくとも１つの予測軌道を修正する命令は、前記過去時制の道路エージェント予測軌道の形状および太さの１つ、または両者を変更する命令を備えている、請求項１３に記載の方法。
16. 前記少なくとも１つの予測軌道を修正するステップは、前記少なくとも１つの予測軌道の形状および寸法の１つ、または両者を変更することを有している、請求項１３に記載の方法。
17. 前記少なくとも１つの予測軌道の形状および寸法を、前記エゴ車両予測軌道の形状および寸法とは異なるように変更することを有している、請求項１６に記載の方法。
18. 運転者から見た透視図を示している前記ユーザインタフェースにおける表示は複雑であると決定することと、
    平面図を示している前記ユーザインタフェースにおける表示を生成することを更に有している、請求項１３に記載の方法。
19. 平面図および運転者から見た透視図の１つを表示するための選択リクエストをユーザから得ることを更に有している、請求項１８に記載の方法。
20. 平面図および運転者から見た透視図の両者を示している前記ユーザインタフェースにおける表示を生成することを更に有している、請求項１８に記載の方法。