JP2021530820A - 車両を含む３次元拡張現実 - Google Patents

Abstract

３−Ｄ拡張現実表示システム、方法、およびコンピュータ可読メディアであって、このシステムは、回路を含むコンピュータハードウェアプラットフォームを含む。その回路は、車両の前部のビューからビデオイメージを受信することと、ディスプレイデバイス上での表示用にフロントガラスの視野にマッチするビデオイメージの一部分を抽出することと、ディスプレイデバイス上にスーパーインポーズされて所定の軌道に沿って移動する３−Ｄグラフィックエンティティを生成して表示することと、フロントガラスの視野の外側の環境に関連した感覚データを受信することと、感覚データが、フロントガラスの視野に接近している軌道経路を有している現実の要素を示している場合には、現実の要素の周囲に境界ボックスを生成し、３−Ｄグラフィックエンティティの軌道経路を、現実の要素に関する境界ボックスの軌道経路を回避する新たな軌道経路へ調整することとを行うように構成されている。【選択図】図１

Description

本開示は、全般的に、現実のシーンが車両からのビューである３次元拡張現実に関する。

拡張現実は、サウンドビデオまたはグラフィカルイメージなどのコンピュータによって生成されたエンティティを、透明なディスプレイを通して直接見られること、またはディスプレイスクリーン上に間接的に表示されることが可能であるライブのまたは実際の現実世界のシーン（本明細書においては現実のシーンと呼ばれる）と組み合わせる。組み合わされた表示は、拡張現実表示と呼ばれる場合がある。いくつかのケースにおいては、拡張現実は、３次元（３−Ｄ）であることが可能であり、コンピュータによって生成されたグラフィカルイメージは、３−Ｄイメージであることが可能である。現実のシーンは、静的なオブジェクトを含むことが可能であり、それによって現実のシーンは、３−Ｄ拡張現実表示における背景設定としての役割を果たすことが可能である。しかしながら現実のシーンは、移動するオブジェクトを含むことがあり得る。たとえば、航空機、車両、人、または動物などのオブジェクトが、現実のシーンとして見られているエリア内に移動する場合があり、それによって、それらは、見られている３−Ｄ拡張現実シーンの一部になる。

前述の「背景技術」の記述は、本開示のコンテキストを全般的に提示するという目的のためのものである。この背景技術のセクションにおいて記述されている範囲での本発明者の作業、ならびに出願時にその他の形で従来技術として適格ではない可能性がある記述の側面は、明示的にも黙示的にも本発明に対する従来技術とは認められない。

本開示は、３次元（３−Ｄ）拡張現実システム、方法、およびコンピュータ可読メディアに関し、このシステムは、車両のフロントガラスの視野を表示するように構成されているディスプレイデバイスと、回路を含むコンピュータハードウェアプラットフォームとを含む。その回路は、車両の前部のビューからビデオイメージを受信することと、ディスプレイデバイス上での表示用にフロントガラスの視野にマッチするビデオイメージの一部分を抽出することと、ディスプレイデバイス上にスーパーインポーズされ、所定の軌道に沿って移動する３−Ｄグラフィックエンティティを生成して表示することと、フロントガラスの視野の外側の環境に関連した感覚データを受信することと、感覚データが、フロントガラスの視野に接近している軌道経路を有している現実の要素を示している場合には、現実の要素の周囲に境界ボックスを生成し、３−Ｄグラフィックエンティティの軌道経路を、現実の要素に関する境界ボックスの軌道経路を回避する新たな軌道経路へ調整することとを行うように構成されている。

前述のパラグラフは、一般的な紹介として提供されており、添付の特許請求の範囲の範疇を限定することを意図されているものではない。記述されている実施形態は、さらなる利点とともに、添付の図面と併せて理解される以降の詳細な記述を参照することによって、最もよく理解されるであろう。

本開示と、その付随する利点のうちの多くとについてのさらに完全な理解が容易に得られるであろう。なぜなら、それらは、添付の図面に関連して考察される場合に以降の詳細な記述を参照することによって、よりよく理解されるようになるからである。

本開示の例示的な態様による、車両における３次元拡張現実システムを示すブロック図である。 本開示の例示的な態様による例示的な拡張現実表示を示す図である。 本開示の例示的な態様による、現実の要素による閉塞を回避する方法に関するフローチャートである。 本開示の例示的な態様による、軌道に沿って移動する３−Ｄエンティティを表示する方法に関するフローチャートである。 本開示の例示的な態様による、軌道を、閉塞を回避するように制約する方法に関するフローチャートである。 本開示の例示的な態様による３−Ｄ拡張現実表示の概略図である。 本開示の例示的な態様による３−Ｄ拡張現実表示の概略図である。 本開示の例示的な態様による３−Ｄ拡張現実表示の概略図である。 本開示の例示的な態様による３−Ｄ拡張現実表示の概略図である。 本開示の例示的な態様による３−Ｄ拡張現実表示の概略図である。 本開示の例示的な態様による３−Ｄ拡張現実表示の概略図である。 本開示の例示的な態様による３−Ｄ拡張現実表示の概略図である。 本開示の例示的な態様による３−Ｄ拡張現実表示の概略図である。 本開示の例示的な態様による車載コンピュータネットワークシステムに関するブロック図である。 本開示の例示的な態様によるモバイルデバイスに関するブロック図である。

次いで図面を参照すると、同様の参照番号は、いくつかの図を通じて同じまたは対応する部分を示し、以降の記述は、現実の要素による３−Ｄグラフィックエンティティの閉塞を回避する車両における３次元拡張現実システムに関連している。現実の要素による閉塞は、３−Ｄエンティティの軌道を、移動する現実の要素の外周の外側に制約することによって回避される。

本明細書において使用される際には、「一実施形態」または「いくつかの実施形態」または「実施形態」へのいかなる言及も、その実施形態に関連して記述されている特定の要素、機能、構造、または特徴が少なくとも１つの実施形態に含まれるということを意味する。本明細書におけるさまざまな場所における「一実施形態において」というフレーズの出現は、必ずしもすべてが同じ実施形態を指しているとは限らない。本明細書において使用されている条件付きの文言、たとえば、数ある中でも、「ｃａｎ」、「ｃｏｕｌｄ」、「ｍｉｇｈｔ」、「ｍａｙ」、「ｅ．ｇ．」などは、具体的にその他の意味で記載されていない限り、または使用されている文脈内でその他の意味で理解されない限り、一般には、特定の特徴、要素、および／またはステップを特定の実施形態は含むが、その他の実施形態は含まないということを伝えることを意図されている。加えて、本出願および添付の特許請求の範囲において使用されている冠詞「ａ」および「ａｎ」は、その他の意味で指定されていない限り、「１つもしくは複数の」または「少なくとも１つの」を意味すると解釈されるべきである。

移動する車両のケースにおいては、３−Ｄ拡張現実表示の現実のシーンは、絶えず変化し、本明細書においては「現実の要素」または「移動する現実の要素」と呼ばれる外界における実際の移動する要素で充満する場合がある。移動する車両の外側のシーンを含む３−Ｄ拡張現実表示は、生成され表示されているグラフィックエンティティを塞ぐ可能性がある現実の要素に対処しなければならないであろう。具体的には、軌道に沿って移動するグラフィカルイメージは、生成されたグラフィカルイメージの経路とユーザとの間を通過する位置で視界に入ってくる現実のオブジェクトによってブロックされる可能性がある。一例として、別の移動する車両をグラフィックエンティティとして表示する３−Ｄ拡張現実表示は、実際のトラックが、ユーザの移動する車両とグラフィックの移動する車両との間に、グラフィックの移動する車両を遮ることになる様態で割り込む場合に、閉塞を招く可能性がある。

移動する現実の要素が、３−Ｄで生成されたエンティティの前を通過し、それによってグラフィックエンティティのビューが遮られるケースにおいて３−Ｄ拡張現実を取り扱うことに対するアプローチは、シーンのコンテンツを分析し、現実のシーンにおける現実の要素の３−Ｄ座標を推定することであった。現実のシーンにおける移動する現実の要素の３−Ｄ座標を計算することに含まれる複雑度は高く、そのために、そのようなアプローチは車両の計算リソース内では実用的ではない。ほとんどのケースにおいて、計算には、３−Ｄ座標を推定する負担がかかることになり、それによって、動的なシーンを含む３−Ｄ拡張現実にプレーヤを没頭させることを可能にするためにリアルタイムでの操作が保証されることは不可能である。

拡張現実シーンを表示することに含まれる計算負荷に対するソリューションは、３−Ｄオブジェクトを現実のシーンに配置する一方で、現実のシーンのサイズを制限し、それによって、推定されることを必要とする３−Ｄ座標を少なくすることであった。開示されている３−Ｄ拡張現実システムは、現実の要素の軌道を予測し、生成された３−Ｄオブジェクトの軌道を調整することによって、３−Ｄ座標を計算する複雑さを低減する。

１つまたは複数の実施形態においては、本開示は、車両制御システムに関連しており、このシステムは、センサからの情報を３−Ｄ拡張現実システムに提供し、それによってこのシステムは、１つまたは複数の現実の要素が現実のシーンの視野に現れる前に、それらについて知らされる。現実の要素について知らされることによって、このシステムは、生成されるグラフィックエンティティの軌道を、潜在的な閉塞を回避するように制約することが可能である。

例として、３−Ｄ拡張現実システムは、車両から見られる現実のシーンを使用する。例示的な態様においては、３−Ｄ拡張現実システムは、ディスプレイスクリーンを有するインタラクティブコンピューティングデバイスを含むことが可能である。インタラクティブコンピューティングデバイスは、車両に内蔵されているタッチディスプレイデバイスを含むことが可能であり、またはスタンドアロンのモバイルディスプレイデバイスを含むことが可能である。スタンドアロンのディスプレイデバイスの例は、タブレットコンピュータ、スマートフォン、ゲーミングデバイスなどである。内蔵ディスプレイデバイスは、センターコンソール、シートヘッドレスト、シートの後部、ルーフ、または車両の内部の何らかの部分に取り付けられて、車両内の人が見ることができ、かつ対話することができるデバイスであることが可能である。内蔵ディスプレイデバイスの例は、少なくとも１つのコンピュータプロセッサを含むか、または車両における車載インフォテインメントシステムなどの車載コンピュータネットワークの一部である少なくとも１つのコンピュータプロセッサを使用することができるディスプレイデバイスである。

現実のシーンは、車両に取り付けられている１つまたは複数のカメラを使用して間接的に取り込まれることが可能である。例示的な態様においては、インタラクティブコンピューティングデバイスのディスプレイ上に表示されるビューは、車両の前方に向けられている１つまたは複数のカメラから取り込まれてインタラクティブコンピューティングデバイスのディスプレイにストリーミングされるビデオに基づいて得られる。例示的な態様においては、インタラクティブコンピューティングデバイスに関連付けられているディスプレイデバイスは、透明なディスプレイであることが可能であり、そこにおいては、現実のシーンが、車両のフロントガラスを通してビューとして表示される。いくつかの実施形態においては、現実のシーンは、車両の側部もしくは後部に向けられている１つもしくは複数のカメラ、またはサンルーフもしくはムーンルーフを通して向けられているカメラ、およびそれらの組合せからのビデオに基づいて得られることが可能である。

本開示においては、車両のタイプは、自動車、航空機、海上船舶、潜水艦車両、ホバークラフト、または人を搬送することができる任意の車両を含むことが可能である。いくつかの実施形態においては、現実のシーンは、遠隔移動カメラからのビューに基づいて得られることが可能である。たとえば、現実のシーンは、遠隔制御されるもしくは自律的な地上車両もしくはロボットまたはドローン航空機に取り付けられているカメラからのビューであることが可能である。そのようなケースにおいては、現実のシーンは、複数のカメラのサブセットからの視野であることが可能であり、または視野の外側の現実の要素を検知するためのその他のセンサを備えた１つもしくは複数のカメラの視野であることが可能である。

いくつかの実施形態においては、３−Ｄ拡張現実システムは、インタラクティブなグラフィックエンティティを生成して表示するビデオゲームシステムであることが可能である。グラフィックエンティティのうちのいくつかは、当初の軌道を伴って生成される場合がある。当初の軌道は、車両制御システムにおけるセンサから入手された情報に基づいて調整されることが可能である。グラフィックエンティティのうちのいくつかは、車両制御システムにおけるセンサから入手された情報に基づいてトリガーされることが可能である。

一実施形態においては、車両は、先進運転支援システム（ＡＤＡＳ）を含む。ＡＤＡＳは、車載コンピュータネットワーク内に統合されているさまざまなセンサから構成されている。車載コンピュータネットワークは、さまざまな電子制御ユニット（ＥＣＵ）を含むことが可能である。ＥＣＵは、エンジンまたはトランスミッションを制御し、温度、圧力、電圧、加速、ブレーキング、およびステアリングなどの状態を検知するためのセンサを有する。センサから入手された情報は、ネットワークを介して送信される。ＥＣＵは、ネットワークを介して送信される信号をリッスンし、ネットワークから入手された情報に基づいて制御アクションを実行することになる。ＡＤＡＳに関連付けられているセンサおよびコントローラは、車の安全性を改善するという目的で、必須の情報をドライバーに提供し、困難なタスクまたは繰り返しの多いタスクを自動化する機能である。１つのＡＤＡＳは、グローバルポジショニングシステム（ＧＰＳ）ナビゲーションであり、これは、車両のロケーションを特定する上で、および道案内を提供する上でドライバーを支援する。

別のＡＤＡＳは、自律的クルーズコントロール（ＡＣＣ）システム（アダプティブクルーズコントロール、レーダクルーズコントロール、トラフィックアウェアクルーズコントロール、またはダイナミックレーダクルーズコントロールとしても知られている）である。ＡＣＣシステムは、レーダ、レーザセンサ、またはステレオカメラを含むオンボードセンサからのセンサ情報を使用する。ＡＣＣシステムは、車両が前方の別の車両に接近しているということをセンサ情報が示している場合にはブレーキングを制御することが可能であるコントローラを含む。レーダセンサは、中央のグリルの後ろに配置されることが可能である。いくつかのケースにおいては、距離レーダが、車両の角に配置されている短距離レーダ間における中央のロケーションに配置されることが可能である。レーザセンサは、露出されていなければならず、グリル上で一方の側に寄せて配置されることが可能である。ステレオカメラは、デジタル処理を使用して、２つのカメラのビュー間における視差に基づいて奥行き情報を抽出することが可能である。センサは、交通標識および信号を検知すること、ならびに検知された情報を使用して車両スピードを制御することも可能である。

別のクルーズコントロールシステムは、インテリジェントアダプティブクルーズコントロール（ｉ−ＡＣＣ）である。ｉ−ＡＣＣは、その他の車両の挙動を予測してそれに反応することが可能なクルーズコントロールシステムである。ｉ−ＡＣＣにおけるセンサ情報は、その車両と同じ車線に別の車両が車線を変更しようとしていることを、それが発生する数秒前に検知する能力を含む。

別のＡＤＡＳは、死角検知である。死角検知システムは、ミラーの視界の外側にあるビューのモニタにイメージを送信することができるカメラを含むことが可能である。またクルーズコントロールのさらに包括的なバージョンは、衝突回避システムである。衝突回避システムは、その他の車両、歩行者、動物、およびさまざまな車道の障害物の近接を感知するセンサを含むことが可能である。

安全関連システムおよび運転支援システムが開示されているが、本開示は、それらに限定されるものではない。空調によって使用される光センサ（これは、ガラスを通って来る太陽光の量を推定して、車内の温度を制御する際にこの追加されたエネルギーを補う）など、既存の車両センサに依存する任意の車載制御システム。この光センサは、３−Ｄ拡張現実システムにおける知覚される温度を補正するために、またはレンダリングされているシーンにおける周囲光を修正するための光センサとして使用されることが可能である。雨センサを使用して、レンダリングされているアイテムの外観における変化をトリガーすることも可能であり、それらのアイテムは、雨が降っている場合には、濡れて見えることまたは少なくとも光沢があるように見えることが可能である。たとえば、燃料計センサまたは電気自動車に関する充電の状態を使用して、タンクがゼロに近い場合またはバッテリーが消耗している場合にアイテムのダイナミクスを減らすことが可能である（たとえば、残されている燃料またはエネルギーがほとんどない状態からまったくない状態である場合には、すべての動きが遅くなる可能性がある）。タイヤ空気圧監視システムを使用して、たとえば、タイヤの空気圧が低い場合の難易度を上げるために、タイヤのうちの１つにおける低空気圧に関連したいくつかのイベントをトリガーすることも可能である。したがって、車載コンピュータネットワークにおいて見受けられる可能性がある感覚情報は、地図上における車両のロケーション、車両の速度、車両の周囲の付近における現実の要素、たとえば、橋、トンネル、近くの建物、車両のいずれかの脇を通過する車両、および車両の前部または後部に接近する車両を含むことが可能である。いくつかのケースにおいては、車両に取り付けられているカメラが、ドライバーの死角にいる、またはドライバーの視野に接近している人、動物、またはその他の移動するオブジェクトを検知することが可能である。

さまざまなＡＤＡＳを有する車載コンピュータネットワークから入手された感覚情報を使用して、ドライバーの視野の外側から接近する現実の要素を、３−Ｄ拡張現実における現実のシーンとして使用されている視野にそれらの要素が入る前に検知することが可能である。例示的な態様においては、移動するグラフィックエンティティが、３−Ｄ拡張現実において使用されている視野に入ると予想される現実の要素による閉塞を回避するように変更されることが可能である。

図１は、本開示の例示的な態様による、車両における３−Ｄ拡張現実システムのブロック図である。この３−Ｄ拡張現実システムは、ディスプレイデバイス１００を使用して、車両の乗客によって使用されることが可能である。ディスプレイデバイス１００は、ハンドヘルドゲーミングデバイス、タブレットコンピュータ、もしくはスマートフォンなど、ディスプレイを有する任意のコンピューティングデバイス、または車両インフォテインメントシステムの一部であるディスプレイを有する内蔵デバイスであることが可能である。いくつかの実施形態においては、ディスプレイデバイス１００の何らかの制御は、車載コンピュータネットワーク２００を通じて通信を行うことができるモバイルデバイス１２０によって実行されることが可能である。たとえば、ディスプレイデバイス１００は、運転席または助手席の後部に取り付けられている内蔵ディスプレイデバイスであることが可能である。モバイルデバイス１２０は、車載コンピュータネットワーク２００との通信を通じて、座席に取り付けられているディスプレイデバイス１００の動作を制御することが可能である。感覚情報を入手するために、ディスプレイデバイス１００は、車両において利用可能なインターフェースに応じて、任意のワイヤレスまたは任意の有線通信メディア、たとえば、ユニバーサルシリアルバス（ＵＳＢ）または高品位マルチメディアインターフェース（ＨＤＭＩ）を使用して、車載コンピュータネットワーク２００などの車載制御システムに接続されることが可能である。ディスプレイデバイス１００は、ＷｉＦｉ（登録商標）またはＢｌｕｅｔｏｏｔｈ（登録商標）などの任意の短距離ワイヤレス通信プロトコルによって通信を行うことが可能である。車載コンピュータネットワーク２００は、車両の付近における環境を感知するための、ならびに車両のロケーションを特定するためのさまざまな感知デバイスを含むことが可能である。ＡＤＡＳの既存のセンサである可能性がある感知デバイスは、ＬｉＤＡＲ２０１（これは、光を使用するレーダの一種である）、１つまたは複数のレーダトランシーバ２０３、ある数Ｎのデジタルカメラ２１１、および超音波トランシーバなどのその他の感知デバイス２０５を含むことが可能である。

ＬｉＤＡＲは、光波を使用し、「ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ」を指す。ＬｉＤＡＲは、光波のエコーに依存して、表面の形状および輪郭を測定する。ＬｉＤＡＲは、レーザパルスをターゲットから跳ね返らせて、ターゲットの高さの特徴を示す距離を測定することが可能である。ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇとして示される場合がある）は、橋もしくはトンネル、または風景のその他の特徴を検知するために使用されることが可能である。

レーダは、電波を使用し、「ｒａｄｉｏ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ」を指す。レーダは、移動するオブジェクト、ならびに遠くのオブジェクトの位置および距離を検知するために使用されることが可能である。

超音波デバイスは、音波を使用してオブジェクトを検知し、距離を測定する。超音波デバイスは、一連の短い音のパルスを送り出し、エコーをリッスンして、遠くのオブジェクトの存在を特定することが可能である。

図２は、本開示の例示的な態様による例示的な拡張表示を示している。例示的な態様においては、３−Ｄ拡張現実は、ディスプレイデバイス１００を有する車両１０１における乗客によって使用されることが可能である。ディスプレイデバイス１００は、車両のフロントガラス１０５におけるビューに基づきつつグラフィックエンティティ１０９で拡張された現実のシーンを表示する３−Ｄ拡張現実表示を表示することが可能であるディスプレイ１０７を含む。いくつかの実施形態においては、ディスプレイ１０７は、サイドウィンドウ、リアウィンドウ、サンルーフ、もしくはムーンルーフ、またはそれらの組合せなど、車両の別のウィンドウにおけるビューに基づいて現実のシーンを表示することが可能である。

図３は、本開示の例示的な態様による、現実の要素による閉塞を回避する方法に関するフローチャートである。３−Ｄ拡張現実は、車両のフロントガラスの視野を有するカメラから入手されるビューを現実のシーンとして使用することが可能であり、または車両の前部からビデオを取り込むカメラから得られるビューを使用することが可能である。したがってＳ３０１において、この方法は、移動する車両から開始することが可能である。Ｓ３０３において、３−Ｄ拡張現実システムは、カメラによって取り込まれた現実のシーンを使用して、各自の軌道に沿って移動する１つまたは複数の３−Ｄエンティティを組み込んで、３−Ｄ拡張現実表示を生成する。

３−Ｄ拡張現実システムは、車載コンピュータネットワーク２００を通って来る情報を監視して、Ｓ３０５において、フロントガラスにおける視野内に入る可能性がある現実の要素があるかどうかを特定する。車両が移動している場合には、フロントガラスを通して見られるシーンは、絶えず変化していることになる。車両が停止した場合に、シーンは、移動する要素を依然として表示する可能性がある。車載コンピュータネットワーク２００から入手される情報が示す場合がある１つまたは複数の移動する要素は、フロントガラスの視野内にはないものの、それらの要素を視野内へ導くそれぞれの軌道を有している場合がある。いくつかの実施形態においては、３−Ｄ拡張現実システムは、情報を監視して、サイドウィンドウ、リアウィンドウ、またはサンルーフにおける視野内に入る可能性がある現実の要素があるかどうかを特定する。車載コンピュータネットワーク２００を通って来る情報は、ＡＤＡＳの一部であるセンサから入手されたセンサ情報を含むことが可能である。たとえば、レーダ、もしくはカメラ、または車両に取り付けられているセンサの組合せは、フロントガラスを通して見られている際に、ドライバーの死角において地上を移動している、またはドライバーの視野に接近しているその他の車両、人、動物、またはその他のオブジェクトを検知することが可能である。レーダは、車両が移動している際に、その車両の経路に向かう、その経路を横切る、またはその経路の上を通る経路において空中を飛行している航空機または鳥を検知することが可能である。ＧＰＳからの情報は、車両が、建物、学校、橋、トンネル、公園、または田舎に接近しているということを示す場合がある。

視野内に入る可能性がある現実の要素があるケース（Ｓ３０５における「はい」）においては、Ｓ３０７において、３−Ｄ拡張現実システムは、３−Ｄグラフィックエンティティの軌道を変更することが可能であり、それによって３−Ｄ拡張現実システムは、現実のシーン内に入ると予想される現実の要素による閉塞を回避する。視野の外側にある現実の要素が検知されないケース（Ｓ３０５における「いいえ」）においては、Ｓ３０９において、３−Ｄ拡張現実システムの３−Ｄグラフィックエンティティは、その当初の軌道に従って移動する。

図４は、本開示の例示的な態様による、軌道に沿って移動する３−Ｄグラフィックエンティティを表示するステップＳ３０３に関するフローチャートである。グラフィックエンティティの移動は、車載コンピュータネットワーク２００から入手された感覚情報に基づいて得られる軌道を辿ることが可能である。たとえば、非常にゆっくりと道路の上空を飛行し、車両と同じ方向に移動するエンティティの移動（Ｓ４０１における「はい」）、Ｓ４０３において、ＧＰＳなどのロケーションベースのサービスからの情報を使用して、地図と車両の位置とから３−Ｄの数学的軌道が計算される。一実施形態においては、地図および位置の両方が、車両の現在の物理的なロケーションに関して緯度および経度を使用する。物理的なロケーションは、持続時間および距離に基づいて更新されることが可能である。時間および距離は、車両のスピードを計算するために、ならびに地図上のロケーションを更新するために使用されることが可能である。１つまたは複数のグラフィックエンティティは、車両のスピードが所定のスピードを下回っている場合にそれらのエンティティの軌道が地図上における車両の以前のロケーションおよび更新されたロケーションに基づいて投影されるように生成され表示されることが可能である。

車両とは反対の方向に道路の上空を飛行するエンティティのケース（Ｓ４０５における「はい」）においては、Ｓ４０７において、ＧＰＳからの情報を使用して、地図と車の位置とから３−Ｄの数学的軌道が計算される。たとえば、車両が以前の物理的なロケーションから、更新された物理的なロケーションへ移動した際には、１つまたは複数のグラフィックエンティティは、車両が、更新されたロケーションと以前のロケーションとの間における車両の方向に基づいてそれらのエンティティをさらに近くへ移動させる軌道を伴って、更新されたロケーションにあるときには、その／それらのグラフィックエンティティが車両から離れた位置にあるかのように、生成され表示されることが可能である。

道路を横断する人など、車両の前を横断するエンティティのケース（Ｓ４０９における「はい」）においては、Ｓ４１１において、ＧＰＳからの情報を使用して、地図と車両の位置とから３−Ｄの数学的軌道が計算される。たとえば、地図上の車両の位置に基づいて特定された車両のロケーションが、交差点など、地図上のランドマークの近くにある場合には、１つまたは複数のエンティティが、水平な軌道でディスプレイを横切って移動するように生成され表示されることが可能である。

図４は、３つの独立した条件Ｓ４０１、Ｓ４０５、Ｓ４０９を示しているが、それらの条件のうちの２つまたは３つが同時に発生することが可能であり、それらの条件は、さまざまな順序で発生することが可能である。たとえば、いくつかのグラフィックエンティティは、車両と同じ方向の軌道において飛行するように生成され表示されることが可能であり、その一方でその他のグラフィックエンティティは、車両の反対方向の軌道において飛行するように生成され表示されることが可能である。また、車両が停止するケースにおいては、軌道に従って飛行している途上にあるエンティティは、その他のエンティティが、ディスプレイ内を水平に通過する軌道を辿るように生成され表示されても、各自の軌道に沿って飛行を継続することになる。いずれかの飛行しているエンティティおよび／または水平に通過するいずれかのエンティティの軌道は、互いに交差し得る。

加えて、グラフィックエンティティの軌道が反対方向に道路の上空を飛行しているかどうかを特定するステップＳ４０５は、ステップＳ４０１において、グラフィックエンティティの軌道が同じ方向に道路の上空を飛行しているかどうかを最初に特定することを必要としない。

図５は、本開示の例示的な態様による、軌道を、閉塞を回避するように制約するステップＳ３０７に関するフローチャートである。図５におけるフローチャート、および図において示されている関連付けられている例は、さまざまな態様を説明するために３−Ｄ拡張現実表示のいくつかの例を含むということを理解されたい。例示的な表示は、限定するものとして解釈されるべきではなく、さまざまな表示が、本開示の趣旨および範囲から逸脱することなく生成されることが可能である。

図５は、一連の決定ステップを示しており、決定ステップの順序は、任意の順序であることが可能である。また、いくつかの実施形態においては、複数の決定ステップからのさまざまな結果として生じるアクションが、単一の３−Ｄ拡張現実表示において組み合わされることが可能である。たとえば、地上で移動するオブジェクト、札エンティティ、気候条件などが、さまざまな様式で組み合わされることが可能である。また、いくつかの条件に対して、その他の条件に勝る優先度が与えられることが可能である。たとえば、気候条件、音楽、およびオーディオストリーミングが検知された場合など、複数の条件が同時に検知された場合には、複数の優先度が複数の条件に割り振られることが可能である。あるいは、特定の条件がその他の条件に優先することが可能である。いくつかの実施形態においては、優先度ルールを組み込むことによって、複数の優先度が複数の条件に割り振られることが可能である。いくつかの実施形態においては、車のスピード＝常にエンティティのスピード、エンティティの形状／色は気象条件に応じて変化することが可能である（雪が降っている間は白色）など、複数の条件が別々のレベルでトリガーされることが可能である。いくつかの実施形態においては、優先度ルールは、エキスパートシステムに従って実行される条件アクションルールの形式であることが可能である。エキスパートシステムは、Ｉｆ−Ｔｈｅｎルールを使用して推論を行うことによって、優先度について決定を下すことが可能である。

視野の外側からシーンに入る現実の要素（車両／ユーザ、歩行者、自転車、航空機、またはその他の移動するオブジェクトのうちの１つまたは複数を含む）、および風景の特定の現実の要素（パネル、壁、木）による閉塞の問題を回避するために、３−Ｄ拡張現実システムは、ＡＤＡＳシステムによって検知されている感覚情報を使用する。

そのような現実の障害物が識別された（Ｓ５０１における「はい」の）場合には、Ｓ５０３において、グラフィックエンティティの３−Ｄ軌道は、潜在的な閉塞を回避するように制約される。図６において示されている例示的な態様においては、現実のオブジェクト６０１が、車両の左または右から（フロントガラス１０７を通して表示されているビューの外側から）接近しているなど、地上で水平に移動している場合には、ソリューションは、グラフィックエンティティ６１１の３−Ｄ軌道を、その現実の要素よりも上に位置しているポイントを通過するように制約することである（たとえば、空中のポイントを通過する調整された軌道６１５）。例示的な態様においては、現実の要素６０１は、投影された軌道６０３を有する境界ボックス６０５によって特徴付けられることが可能である。当初の３−Ｄ軌道６１３がグラフィックエンティティに対して投影され、当初の軌道６１３がエンティティ６１１を、境界ボックス６０５を通るように導く場合には、そのエンティティを、境界ボックス６０５を迂回するように、または境界ボックス６０５から離れるように導く代替軌道６１５が特定される。フロントガラスからのビューに潜在的に接近している現実の要素は、車載コンピュータネットワーク２００を介して入手された既存の感覚情報を使用して検知されることが可能である。検知された現実の要素６０１による閉塞を回避するためにグラフィックエンティティ６１１に関する代替軌道６１５を生成することは、３−Ｄ拡張現実表示における実際の移動するオブジェクトを用いて、コンピュータによって生成されたグラフィックエンティティのマスキングを実行するために必要とされるであろう複雑な計算を低減する。低減された計算の複雑さによって、車両を取り巻く環境にユーザを十分に没頭させることが可能になる。

障害物が検知されない場合には、３−Ｄ拡張現実表示に関連したグラフィックエンティティは、自分の当初の軌道を辿ることが可能である。

テキストもしくはシンボル、たとえばトンネルを示すシンボル、またはそれらの同等物を有する道路標識を含む情報を含む札のケース（Ｓ５０５における「はい」）においては、Ｓ５０７において、これらの現実の要素からの情報は、３−Ｄ拡張現実表示に関連したグラフィックエンティティを生成する際に考慮に入れられることになる。例示的な態様においては、グラフィックエンティティの挙動および／または出現は、横断歩道標識、一時停止標識、「鹿に注意」の標識、線路警告標識、または、その他の特定のオブジェクトの存在の可能性を示唆することが可能であるその他のタイプの道路標識の検知によってトリガーされることが可能である。たとえば、一時停止標識は、交差点における別の車両の出現をトリガーすることが可能であり、または３−Ｄ拡張現実表示における別の車両を減速させて停止させることが可能である。横断歩道標識は、１人または複数の人の出現をトリガーすることが可能である。線路警告標識は、道路を横切って下がる遮断機および通過する列車の出現をトリガーすることが可能である。その他の実施形態においては、トンネルのシンボルを表示する標識などの標識は、現実のトンネルが３−Ｄ拡張現実システムの視野に入るであろうということを示すことが可能である。道路標識などの札から入手される情報は、車載検知センサによって入手される距離検知信号およびオブジェクト検知信号以外の環境に関する追加の情報を提供する。

いくつかの実施形態においては、複数の札が互いの付近において検知される場合がある。たとえば、一時停止標識および横断歩道標識が、同じ交差点において検知される場合がある。そのようなケースにおいて、交差点に近づいている際には、別の車両が生成されて、減速しているものとして表示される場合があり、車両および別の車両の両方が停止する際には、人／ペットが生成されて、道路上にマークされている横断歩道において道路を横切って歩いているものとして表示される場合がある。いくつかの実施形態においては、一時停止標識の代わりに、方向指示器を含む停止信号がある場合がある。そのようなケースにおいては、別の車両が生成されて、曲がるために交差点内への移動を続けているものとして表示される場合があり、その間に、横断歩道標識の検知によって生成された人々は、道路の脇に立ったままとなる。いくつかの実施形態においては、３−Ｄ拡張現実システムは、交通規則に従うようにセットアップされることが可能であり、それによって、別の生成された車両が、横断歩道に到達する前に停止しているものとして表示される際に、横断歩道において道路の脇に立っている人々は、優先通行権を与えられて、道路を横断し始めることが可能になる。

いくつかの実施形態においては、現実のトンネルが前方にあるということを示す標識を検知すると、グラフィック飛行エンティティの軌道は、当初の軌道よりも高い角度に調整されることが可能である。グラフィック飛行エンティティの軌道は、同じ角度によって調整されることが可能であり、または別々のランダムに特定された角度によって調整されることが可能である。同様の様式で、踏切を示す標識を検知すると、グラフィック飛行エンティティの軌道は、列車の上空を通過しなければならないことを見越して、さまざまな角度によって調整されることが可能である。いくつかの実施形態においては、車両が減速している際にその車両の横に表示されるように生成される別の車両は、ＧＰＳから特定されるその車両の位置およびスピードにおける変化に基づいて減速して停止することが可能である。

１つまたは複数の現実の要素が車載検知センサによって検知されるケースにおいては、１つまたは複数の現実の要素の境界ボックスによる閉塞を回避するために、グラフィックエンティティの生成が停止または延期されることが可能である。たとえば、１人または複数の人が、横断歩道に近づいているものとしてカメラまたはレーダによって検知された場合には、３−Ｄ拡張現実表示は、検出された人々が横断歩道に入る際にそれらの人々を塞ぐことになる表示位置において表示するための別の車両の生成を停止することが可能である。別の例においては、現実の飛行オブジェクトが、フロントガラスを通した視野内にその飛行オブジェクトを導く可能性がある潜在的な軌道を有しているものとして検知された場合には、３−Ｄ拡張現実表示は、約５〜１５秒などの所定の期間にわたってグラフィック飛行エンティティの生成を延期することが可能である。

車両が、５５ｍｐｈなど、所定のスピードを上回って移動していて、現実の要素が車載検知センサによって検知されたケースにおいては、グラフィック飛行エンティティの生成は、車両のスピードに基づいている所定の期間にわたって延期されることが可能である。たとえば、視野内に入る可能性がある軌道を有する現実の要素が検知され、車両が、５５ｍｐｈを上回るなど、高速で移動している場合には、新たなグラフィックエンティティが数秒間生成されずに、新たなグラフィックエンティティを生成する前に、現実の要素がディスプレイの視野を通って移動するための、またはさらに正確な軌道を伴ってさらに近いビューに入るための時間を与えることが可能である。

図７は、本開示の例示的な態様による３−Ｄ拡張現実表示の概略図である。車両に取り付けられているカメラ７２１は、３−Ｄ拡張現実表示のシーンの視野の外側にある視野７２３を有することが可能である。カメラ７２１は、横断歩道標識７１１などの道路標識のイメージをピックアップすることが可能である。横断歩道標識が例として使用されているが、その他の道路標識は、踏切標識を含むことが可能である。３−Ｄ拡張現実システムのスクリーン１０７は、それぞれの軌道７０３に沿って移動する１つまたは複数のグラフィックエンティティ７０１を表示することが可能である。車載コンピュータネットワーク２００から入手される情報は、検知された道路標識から入手される情報を含むことが可能である。そのようなケースにおいては、３−Ｄ拡張現実システムは、１つまたは複数のグラフィックエンティティ７０１の軌道を調整して、横断歩道標識７１１の検知に関連付けられることが可能であるアクティビティーを見越して、調整された軌道７０５に沿ってそれぞれの移動スピードを遅くすることが可能である。例においては単一の横断歩道標識が使用されているが、道路の両側に横断歩道標識がある場合もある。また、道路に沿って複数の標識が出現する可能性があるさらに複雑な条件。そのようなケースにおいては、３−Ｄ拡張現実システムは、ディスプレイのビューの範囲内に移動する可能性がある人や自転車などの現実の要素の潜在的な閉塞を回避するために、必要に応じてグラフィックエンティティ７０１の移動スピードおよびそれらのそれぞれの軌道経路の両方を調整することによって、１つまたは複数のグラフィックエンティティ７０１の軌道を調整することが可能である。３−Ｄ拡張現実表示の範囲の外側にある道路標識において示されている情報を認識することは、３−Ｄ拡張現実表示を生成する際に考慮に入れられ得る追加の情報を提供することが可能である。

図８は、本開示の例示的な態様による３−Ｄ拡張現実表示の概略図である。車両に取り付けられているカメラ７２１は、３−Ｄ拡張現実表示のシーン１０７の視野の外側にある視野７２３を有することが可能である。カメラ７２１は、横断歩道標識７１１などの道路標識と、その道路標識の付近の横断歩道へと移動する歩行者８０７とのイメージをピックアップすることが可能である。そのようなケースにおいては、３−Ｄ拡張現実システムは、移動する歩行者に関する境界ボックス８０５を生成することと、境界ボックス８０５の経路へと導くことになる当初の軌道を有するグラフィックエンティティ７０１の軌道８０３を調整することとが可能である。軌道８０３は、境界ボックス８０５のエリアへの移動を回避するように調整され、ひいては計算の複雑さを低減することが可能である。

例示的な態様においては、地図からの情報は、３−Ｄグラフィックエンティティの軌道を制限／制約することが可能であり、ならびにこれらの同じエンティティの出現をトリガーすることも可能である。１つの例示的な態様においては、地図によって識別された現実のトンネルは、グラフィカルに生成された雲の優雅な飛行をトリガーすることが可能である。

図９は、本開示の例示的な態様による３−Ｄ拡張現実表示の概略図である。車両のＧＰＳシステムに関連付けられている地図９０１は、車両が校舎９０５の近くを走行しているということを示すことが可能である。そのようなケースにおいては、３−Ｄ拡張現実表示は、学校のコンテキストに関連付けられているグラフィックエンティティ９０３をシーン１０７へ投入することをトリガーすることが可能である。学校が位置しているエリアに車両が接近した際には、車両に取り付けられているカメラが、現実の人々またはその他の移動する現実の要素を検知することが可能である。移動する現実の要素を検知すると、３−Ｄ拡張表示は、現実の要素が検知された際にそれらの要素を移動させるための境界ボックスおよび軌道を特定することが可能である。３−Ｄ拡張現実表示は、グラフィックエンティティ７０１の軌道７０３を、境界ボックスを回避するように調整することが可能である。いくつかの実施形態においては、境界ボックスがディスプレイ１０７の大部分を占めることになる場合には、３−Ｄ拡張現実表示は、移動するグラフィックエンティティ７０１の生成を停止または延期することが可能である。

さまざまなオンボードセンサ（カメラ、温度センサ、ＧＰＳ）の組合せの使用は、３−Ｄ拡張現実システムにおいて連結によって特定のコンテンツを生成することが可能である推論を可能にすることができる。図１０は、本開示の例示的な態様による３−Ｄ拡張現実表示の概略図である。例示的な態様においては、車両は、（地図１００９上で検知された）田舎としてマークされているエリアへと走行しており、カメラ７２１は、大部分が「白色」を含む視野７２３におけるイメージをピックアップし、温度センサは、温度１００１における低下を示している。

そのようなケースにおいては、車載コンピュータネットワーク２００を介して入手される情報の組合せを使用して、雪片１００５が降っている可能性があるということを推論することが可能である（たとえカメラ７２１がそれらの雪片を検知しない可能性があっても）。現実の雪片１００５は、グラフィカルに生成された花１００７の外観が修正されているシーンを表示するよりもむしろ、３−Ｄ拡張現実表示において表示されているシーン１０７を覆い隠すことを可能にされるであろう。図１１は、本開示の例示的な態様による３−Ｄ拡張現実表示の概略図である。組み合わされた情報が、雪片が降っている可能性があるという推論をもたらした場合には、３−Ｄ拡張現実表示は、シーン１０７において出現するグラフィック雪片エンティティ１１０１を生成して表示することが可能であり、またはフロントガラスに当たるグラフィック雪片エンティティを生成することが可能である。センサ情報の組合せを使用して、グラフィックエンティティの挙動および／または出現をトリガーする条件を推論することが可能である。

雨の検知など、気候条件に関する情報（Ｓ５０９における「はい」）は、Ｓ５１１において、コンピュータによって生成された車両など、プレーヤによって制御されるエンティティの動的な挙動に影響を与えることが可能であり（より滑る）、および／または傘の出現など、グラフィックエンティティが追加されるようにすることが可能である。いくつかの実施形態においては、現実の要素をディスプレイのビュー内にもたらす可能性がある潜在的な軌道を有する現実の要素の検知は、より少ないグラフィックエンティティを生成するように、または現実の要素の潜在的な軌道の外側にグラフィックエンティティを生成するように３−Ｄ拡張現実表示を導くことが可能である。また、１つまたは複数の札エンティティの検知（ステップＳ５０５）および３−Ｄ拡張現実表示によるその後のアクション（ステップＳ５０７）は、気候条件が検知されている期間（ステップＳ５０９）中に発生することが可能である。

時間のコンテキスト化（Ｓ５１３における「はい」）も、エンティティの出現に影響を与えることが可能である。図１２は、本開示の例示的な態様による３−Ｄ拡張現実表示の概略図である。例示的な態様においては、移動する車両が、学生１２０３が解放されている時間１２１１に（地図９０１上で検知された）学校１２０５に接近した場合には、この時間コンテキストは、たとえば、「学生」というカテゴリーに関連したグラフィックエンティティ（バックパック、自転車、本）の出現をトリガーすることが可能である。３−Ｄ拡張現実表示１０７は、横断歩道を渡っている学生（境界ボックス８０５として表される）を示すように修正されることが可能である。グラフィックエンティティ７０１は、自分の軌道８０３を、境界ボックス８０５の経路を回避するように調整されることになる。いくつかの実施形態においては、現実の学生、自転車、およびその他の移動する現実の要素が、車両に取り付けられているカメラによって検知されることが可能である。境界ボックスおよび軌道は、現実の要素が検知された際に特定されることが可能である。現実の要素の検知は、より少ないグラフィックエンティティの出現につながることが可能である。いくつかの実施形態においては、境界ボックスの数が表示シーン１０７の大部分を占める場合には、グラフィックエンティティの生成が停止されることが可能である。

いくつかの実施形態においては、車両は、音楽またはその他のオーディオコンテンツを再生するサウンドシステムを含むことが可能である。いくつかの実施形態においては、音楽は、グラフィックエンティティの移動／出現に影響を与え得るその他の条件とともに条件として使用されることが可能である。たとえば、レゲエミュージックは、道路上に漂う煙を生成することが可能である。ヒップホップミュージックは、道路上を転がるスケートボードを生成することが可能である。別の例として、いくつかの周波数のラウドネスは、エンティティの軌道に影響を与えることが可能である。いくつかの周波数に関する電力推定器を使用して、知覚されるラウドネスを評価することが可能であり、比例した量の加速度がエンティティに追加されることが可能である。そのようなケースにおいては、エンティティは、そのように制御されることになり、たとえば、音楽のリズムに従って、いくつかの軽い動きが追加されることになる。車両の外部環境を検知するためのさまざまなセンサに加えて、１つまたは複数の内部センサを使用して、車室内の状態を検知することが可能である。内部センサのうちで、マイクロフォンは、音楽などのオーディオコンテンツを入力するために使用されることが可能である。あるいは、オーディオコンテンツは、３−Ｄ拡張現実システムへ直接有線で送られることが可能である。車内で聴かれている音楽（Ｓ５１７における「はい」）はまた、挙動を変更すること、および／または３−Ｄグラフィックエンティティの生成を引き起こすことが可能である。例示的な態様においては、Ｓ５１９において、３−Ｄグラフィックエンティティのスピードおよび／または外観は、たとえば、高速フーリエ変換によって推定されたサウンド信号の出力および周波数レンジに基づくことが可能である。図１３は、本開示の例示的な態様による３−Ｄ拡張現実表示の概略図である。スピーカ１３０３からの音楽１３０１に基づいて特定される推定されたサウンド信号に応答して、グラフィックエンティティの軌道８０３は、サウンドの出力および周波数に比例して強調されることが可能である。

さらに、特定のアルゴリズムによって検知された繰り返しのアナウンス（たとえば、広告、フラッシュ情報）を含むオーディオストリーム（Ｓ５２１における「はい」）は、Ｓ５２３において、特定のアクション、たとえば、視覚的広告の出現、サウンドパターンの追加を、または（システムにおける）オーディオの完全な省略ですらトリガーすることが可能である。３−Ｄ拡張現実表示のプレーヤは、３−Ｄ拡張現実表示において行われるオーディオコマーシャルをブロックするオプションを提供されることが可能である。

記述されている実施形態の機能のうちのそれぞれは、１つまたは複数の処理回路によって実施されることが可能である。プロセッサが回路を含むように、処理回路は、プログラムされているプロセッサを含む。処理回路は、特定用途向け集積回路（ＡＳＩＣ）、および列挙されている機能を実行するようにアレンジされている従来の回路部品などのデバイスを含むことも可能である。回路は、回路または回路のシステムを指すということに留意されたい。回路は、１つのサーキットボードにあることが可能であり、またはいくつかの相互接続されているサーキットボードに分散されることが可能である。

一実施態様においては、車載コンピュータネットワーク２００の機能およびプロセスは、車載インフォテインメントシステムを利用することが可能である。ほとんどの自動車メーカは、自社の新車において、またはオプションのアップグレードとして、車載インフォテインメントシステムを提供している。車載インフォテインメントシステムは、基礎をなしているコンピュータハードウェアプラットフォームに基づくことが可能である。コンピュータハードウェアプラットフォームは、車両の内部、たとえば、車両のダッシュボードの内部において、またはトランクもしくは側壁における後部のロケーションにおいて取り付けられている１つまたは複数のサーキットボードから構成されることが可能である。サーキットボードは、１つまたは複数のディスプレイデバイス、ならびに車両全体を通じてさまざまなロケーションに取り付けられているオーディオコンポーネントおよびさまざまなセンサに接続されることが可能である。

いくつかのハードウェアプラットフォームは、サードパーティーの製造業者から利用可能である。ほとんどのコンピュータハードウェアプラットフォームは、１つまたは複数のディスプレイデバイスのためのサポートと、スマートフォン、タブレット、またはその他の外部電子デバイスなどの外部デバイスのための接続とを提供する。コンピュータハードウェアプラットフォームのうちの多くは、カメラおよびその他のタイプのセンサデバイスへの接続のためのセンサ入力を提供する。いくつかのコンピュータハードウェアプラットフォームは、ビデオゲームおよびその他のビデオエンターテインメントによって使用される可能性があるグラフィックス処理のためのサポートを組み込んでいる。いくつかのコンピュータハードウェアプラットフォームは、音声および／または顔および／またはオブジェクト認識のための特殊な処理と、指紋識別などのセキュリティー機能とを提供する。

例示的なコンピュータハードウェアプラットフォーム１４３２の記述が、図１４を参照しながら記述されている。図１４においては、コンピュータハードウェアプラットフォーム１４３２は、本明細書において記述されているプロセスのうちの多くを制御するＣＰＵ１４００を含む。ＣＰＵ１４００は、グラフィックスプロセッシングユニット（ＧＰＵ）１４１０および／またはデジタルシグナルプロセッサ（ＤＳＰ）１４１２によって実行される特殊なプロセスとともに、オンボードオペレーティングシステムのサービスのうちの多くを実行することが可能である。

コンピュータハードウェアプラットフォーム１４３２を達成するために、ハードウェア要素は、さまざまな回路要素によって実現されることが可能である。たとえば、ＣＰＵ１４００は、クアッドコアＡＲＭプロセッサ、もしくはＩｎｔｅｌ Ａｔｏｍプロセッサなどの低電力プロセッサであることが可能であり、またはその他のプロセッサタイプであることが可能である。ＣＰＵ１４００は、キャッシュ１４０６を含むことも可能である。あるいは、ＣＰＵ１４００は、ＦＰＧＡ、ＡＳＩＣ、ＰＬＤ上に、またはディスクリートロジック回路を使用して実装されることが可能である。さらに、ＣＰＵ１４００は、上述されている本発明のプロセスの命令を実行するために並行して共同で機能する複数のプロセッサとして実装されることが可能である。

プロセスデータおよび命令は、ＳＤＲＡＭ１４４８などのメモリに格納されることが可能である。さらに、特許請求されている進歩は、本発明のプロセスの命令が格納されているコンピュータ可読メディアという形態によって限定されるものではない。たとえば、命令は、いくつか例を挙げれば、磁気ディスク、ＣＤ、ＤＶＤ、Ｂｌｕ Ｒａｙディスク、フラッシュドライブ、ＳＤカードを含む取り外し可能な非一時的コンピュータ可読ストレージメディア上に格納されること、フラッシュメモリ、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭに格納されること、またはハードディスクに、もしくはハードウェアプラットフォーム１４３２が通信する相手であるその他の任意の情報処理デバイス、たとえばサーバもしくは外部コンピュータに格納されることが可能である。

さらに、特許請求されている進歩は、ＣＰＵ１４００、ならびにＬＩＮＵＸ（登録商標）、Ｍｉｃｒｏｓｏｆｔオペレーティングシステム、Ａｎｄｒｏｉｄ ＯＳなどのオペレーティングシステム、および当業者に知られているその他のシステムとともに実行するユーティリティーアプリケーション、バックグラウンドデーモン、もしくはオペレーティングシステムのコンポーネント、またはそれらの組合せとして提供されることが可能である。

ＣＰＵ１４００は、ＧＰＵ１４１０および／またはＤＳＰ１４１２とともに特殊なプロセスを実行することも可能である。ＧＰＵ１４１０は、いくつか例を挙げれば、ＤｉｒｅｃｔＸ、ジオメトリーシェーディング、ハードウェアテッセレーション、プログラマブルブレンディングを使用したグラフィックス処理オペレーションをサポートすることが可能である。ＤＳＰ１４１２は、コンピュータビジョン、オブジェクト認識、および、ＡＤＡＳに関連したさまざまな機能のためのオペレーションをサポートすることが可能である。

その他の専用デバイスは、タイマー１４０２、ブートＲＯＭ１４０４、電力管理およびタッチスクリーン制御１４４２、ＮＡＮＤフラッシュ１４５４などのフラッシュ、ならびに関連付けられているフラッシュコントローラ１４５２を含む。

図１４におけるコンピュータハードウェアプラットフォーム１４３２は、ＢｌｕｅｔｏｏｔｈプロセッサおよびＷｉＦｉプロセッサ１４１６などの短距離および／または中距離通信デバイス、４Ｇ ＬＴＥ、５Ｇ等などのセルラー通信用のモデム１４２２、ならびにＧＰＳプロセッサ１４２４などのロケーションプロセッサを含むさまざまな通信プロセッサを含むことも可能である。理解されることが可能であるように、ネットワーク１４３０は、インターネットなどのパブリックネットワーク、またはＬＡＮもしくはＷＡＮネットワークなどのプライベートネットワーク、またはそれらの任意の組合せであることが可能であり、ＰＳＴＮまたはＩＳＤＮサブネットワークを含むことも可能である。ネットワーク１４３０は、イーサネットネットワークなどの有線であることも可能であり、またはワイヤレスであることが可能である。ハードウェアプラットフォーム１４３２は、１つまたは複数のＵＳＢポート、ＨＤＭＩポート、コントローラエリアネットワーク（ＣＡＮ）入力、デジタルビデオ入力、およびオーディオ出力１４１８の形態の接続を含むことが可能である。

コンピュータハードウェアプラットフォーム１４３２はさらに、ビデオプロセッサ１４５０およびディスプレイ／ＬＣＤインターフェース１４１４を介した１つまたは複数のディスプレイデバイスのためのサポートを含む。コンピュータハードウェアプラットフォーム１４３２は、１つまたは複数のタッチスクリーン１４４４、ボタン１４４６を含むことが可能である。

コンピュータハードウェアプラットフォーム１４３２は、１つまたは複数のカメラおよび／またはその他のセンサのための入力接続１４２６を含むことが可能である。

一実施態様においては、モバイルデバイス１２０の機能およびプロセスは、１つまたは複数のそれぞれの処理回路１５２６によって実施されることが可能である。上述されているように、プロセッサが回路を含むように、処理回路は、プログラムされているプロセッサを含む。処理回路は、特定用途向け集積回路（ＡＳＩＣ）、および列挙されている機能を実行するようにアレンジされている従来の回路部品などのデバイスを含むことも可能である。回路は、回路または回路のシステムを指すということに留意されたい。本明細書においては、回路は、１つのサーキットボードにあることが可能であり、またはいくつかの相互接続されているサーキットボードに分散されることが可能である。

次いで、例示的な実施形態による処理回路１５２６のハードウェア記述が、図１５を参照しながら記述されている。図１５においては、処理回路１５２６は、本明細書において記述されているプロセスを実行することが可能であるモバイル処理ユニット（ＭＰＵ）１５００を含む。プロセスデータおよび命令は、メモリ１５０２に格納されることが可能である。これらのプロセスおよび命令は、ポータブルストレージメディア上に格納されることも可能であり、またはリモートに格納されることが可能である。処理回路１５２６は、モバイルデバイス１２０のセルラーサービスに固有である情報を含む交換可能なサブスクライバーアイデンティティーモジュール（ＳＩＭ）１５０１を有することが可能である。

さらに、特許請求されている進歩は、本発明のプロセスの命令が格納されているコンピュータ可読メディアという形態によって限定されるものではない。たとえば、命令は、フラッシュメモリ、セキュアデジタルランダムアクセスメモリ（ＳＤＲＡＭ）、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、プログラム可能読み取り専用メモリ（ＰＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）、ソリッドステートハードディスク、または、処理回路１５２６が通信する相手であるその他の任意の情報処理デバイス、たとえばサーバもしくはコンピュータに格納されることが可能である。

さらに、特許請求されている進歩は、ＭＰＵ１５００、ならびにＡｎｄｒｏｉｄ、Ｍｉｃｒｏｓｏｆｔ（登録商標） Ｗｉｎｄｏｗｓ（登録商標） １０ Ｍｏｂｉｌｅ、Ａｐｐｌｅ ｉＯＳ（登録商標）などのモバイルオペレーティングシステム、および当業者に知られているその他のシステムとともに実行するユーティリティーアプリケーション、バックグラウンドデーモン、もしくはオペレーティングシステムのコンポーネント、またはそれらの組合せとして提供されることが可能である。

処理回路１５２６を達成するために、ハードウェア要素は、当業者に知られているさまざまな回路要素によって実現されることが可能である。たとえば、ＭＰＵ１５００は、Ｑｕａｌｃｏｍｍモバイルプロセッサ、Ｎｖｉｄｉａモバイルプロセッサ、Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ ＡｍｅｒｉｃａからのＡｔｏｍ（登録商標）プロセッサ、Ｓａｍｓｕｎｇモバイルプロセッサ、もしくはＡｐｐｌｅ Ａ７モバイルプロセッサであることが可能であり、またはその他のプロセッサタイプであることが可能である。あるいは、ＭＰＵ１５００は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）上に、またはディスクリートロジック回路を使用して実装されることが可能である。さらに、ＭＰＵ１５００は、上述されている本発明のプロセスの命令を実行するために並行して共同で機能する複数のプロセッサとして実装されることが可能である。

図１５における処理回路１５２６はまた、ネットワーク１５２４とインターフェース接続するための、Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ ＡｍｅｒｉｃａからのＩｎｔｅｌ Ｅｔｈｅｒｎｅｔ ＰＲＯネットワークインターフェースカードなどのネットワークコントローラ１５０６を含む。理解されることが可能であるように、ネットワーク１５２４は、インターネットなどのパブリックネットワーク、またはＬＡＮもしくはＷＡＮネットワークなどのプライベートネットワーク、またはそれらの任意の組合せであることが可能であり、ＰＳＴＮまたはＩＳＤＮサブネットワークを含むことも可能である。ネットワーク１５２４は、イーサネットネットワークなどの有線であることも可能である。処理回路は、３Ｇ、４Ｇ、および５Ｇワイヤレスモデム、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＧＰＳ、または知られているその他の任意のワイヤレス形式の通信を含むワイヤレス通信用のさまざまなタイプの通信プロセッサ１５１８を含むことが可能である。

処理回路１５２６は、ＭＰＵ１５００によって管理されることが可能であるユニバーサルシリアルバス（ＵＳＢ）コントローラ１５２５を含む。

処理回路１５２６はさらに、ディスプレイ１５１０とインターフェース接続するための、ＮＶＩＤＩＡ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ ＡｍｅｒｉｃａからのＮＶＩＤＩＡ（登録商標） ＧｅＦｏｒｃｅ（登録商標） ＧＴＸまたはＱｕａｄｒｏ（登録商標）グラフィックスアダプタなどのディスプレイコントローラ１５０８を含む。Ｉ／Ｏインターフェース１５１２は、ボリューム制御のためになど、ボタン１５１４とインターフェース接続している。Ｉ／Ｏインターフェース１５１２およびディスプレイ１５１０に加えて、処理回路１５２６はさらに、マイクロフォン１５４１と、１つまたは複数のカメラ１５３１とを含むことが可能である。マイクロフォン１５４１は、サウンドをデジタル信号へと処理するための関連付けられている回路１５４０を有することが可能である。同様に、カメラ１５３１は、カメラ１５３１のイメージ取り込みオペレーションを制御するためのカメラコントローラ１５３０を含むことが可能である。例示的な態様においては、カメラ１５３１は、電荷結合素子（ＣＣＤ）を含むことが可能である。処理回路１５２６は、サウンド出力信号を生成するためのオーディオ回路１５４２を含むことが可能であり、任意選択のサウンド出力ポートを含むことが可能である。

電力管理およびタッチスクリーンコントローラ１５２０は、処理回路１５２６およびタッチ制御によって使用される電力を管理する。処理回路１５２６のコンポーネントのうちのすべてを相互接続するための、業界標準アーキテクチャー（ＩＳＡ）、拡張業界標準アーキテクチャー（ＥＩＳＡ）、ビデオエレクトロニクス標準協会（ＶＥＳＡ）、周辺コンポーネントインターフェース（ＰＣＩ）などであり得る通信バス１５２２。ディスプレイ１５１０、ボタン１５１４、ならびにディスプレイコントローラ１５０８、電力管理コントローラ１５２０、ネットワークコントローラ１５０６、およびＩ／Ｏインターフェース１５１２の一般的な特徴および機能の記述は、簡潔にするために本明細書においては省略されている。なぜなら、これらの特徴は知られているからである。

前述の記述における特徴を含むシステムは、多くの利点を提供する。具体的には、リアルタイム３−Ｄ拡張現実システムは、車両が停止および移動の両方で車両の経路に沿って走行している際に、車両からの現実のシーンを使用することが可能である。本明細書において示されている実施形態の結果として、生成されるグラフィックエンティティの軌道を、車両のフロントガラスの視野の外側から接近する現実の要素の投影された軌道を回避するように調整することによって、３−Ｄ拡張現実の処理が大幅に簡略化される。動的なシーンを含む３−Ｄ拡張現実におけるプレーヤの没頭を保証するために、３−Ｄ拡張現実がリアルタイムで実行されることが可能である。また、車両センサ情報に応答してグラフィックエンティティの出現をトリガーすることによって、ユーザ経験が高められる。さらに、処理の複雑さにおける大幅な増大を必要とすることなく、複雑な３−Ｄ拡張現実シナリオが表示されることが可能である。

明らかに、上記の教示に照らして、多くの修正および変形が可能である。したがって、添付の特許請求の範囲の範疇内で、本発明は、本明細書において具体的に記述されている以外の方法で実施されることが可能であるということを理解されたい。

上記の開示は、以降に列挙されている実施形態を包含している。

（１）車両における３−Ｄ拡張現実表示システム。この３−Ｄ拡張現実表示システムは、車両のフロントガラスの視野を表示するように構成されているディスプレイデバイスと、コンピュータハードウェアプラットフォームとを含む。コンピュータハードウェアプラットフォームは、車両の前部のビューからビデオイメージを受信することと、ディスプレイデバイス上での表示用にフロントガラスの視野にマッチするビデオイメージの一部分を抽出することと、ディスプレイデバイス上にスーパーインポーズされ、所定の軌道に沿って移動する３−Ｄグラフィックエンティティを生成して表示することと、フロントガラスの視野の外側の環境に関連した感覚データを受信することと、感覚データが、フロントガラスの視野に接近している軌道経路を有している現実の要素を示している場合には、現実の要素の周囲に境界ボックスを生成し、３−Ｄグラフィックエンティティの軌道経路を、現実の要素に関する境界ボックスの軌道経路を回避する新たな軌道経路へ調整することとを行うように構成されている回路を含む。

（２）感覚データがＧＰＳデータを含み、３−Ｄグラフィックエンティティの軌道経路が、地図と、ＧＰＳデータを使用して特定された車両の位置とから特定される、特徴（１）の３−Ｄ拡張現実表示システム。

（３）感覚データが、車両のフロントガラスの周辺ビューの外側のカメラによって取り込まれたイメージを含む、特徴（１）の３−Ｄ拡張現実表示システム。

（４）回路は、取り込まれたイメージが、車両のフロントガラスの視野に向かって車両の近傍を移動している別の車両を示していると特定するように構成されている、特徴（３）の３−Ｄ拡張現実表示システム。

（５）回路が、取り込まれたイメージが横断歩道標識を示していると特定することと、検知された横断歩道標識に起因した車両の減速に比例して３−Ｄグラフィックエンティティの移動を調整することとを行うように構成されている、特徴（３）の３−Ｄ拡張現実表示システム。

（６）回路は、取り込まれたイメージが、横断歩道に立っている人を示していると特定することと、３−Ｄグラフィックエンティティの移動を、その人の歩行経路を回避する新たな軌道経路において移動するように調整することとを行うように構成されている、特徴（５）の３−Ｄ拡張現実表示システム。

（７）地図が、車両が走行しているルート沿いの校舎を示し、回路が、校庭で遊んでいる学生を含む、校舎のカテゴリーに関連付けられているグラフィックエンティティを生成するように構成されている、特徴（２）の３−Ｄ拡張現実表示システム。

（８）回路が、時刻を検知するように構成されており、地図が、車両が走行しているルートの付近における校舎を示し、回路は、歩行および自転車走行中の学生を、時刻が、学校が学生を解散させる時間であるという検知に基づいて生成するように構成されている、特徴（２）の３−Ｄ拡張現実表示システム。

（９）回路が、音楽サウンド信号の出力および周波数に基づいて３−Ｄグラフィックエンティティの移動の速度を調整するように構成されている、特徴（１）の３−Ｄ拡張現実表示システム。

（１０）回路が、気候条件に関連したグラフィックエンティティを追加するように３−Ｄグラフィックエンティティを修正するように構成されている、特徴（１）の３−Ｄ拡張現実表示システム。

（１１）回路が、温度センサからのセンサ情報、およびカメラによって取り込まれたイメージを受信することと、地図が田舎エリアを示しており、取り込まれたイメージがほとんど白色であり、温度センサからの情報が氷点下の温度を示している場合には、センサ情報、およびカメラによって取り込まれたイメージに基づいて表示用のコンテンツを生成することとを行うように構成されている、特徴（２）の３−Ｄ拡張現実表示システム。

（１２）回路を使用して、車両の前部のビューからビデオイメージを受信することと、回路を使用して、ディスプレイデバイス上での表示用にフロントガラスの視野にマッチするビデオイメージの一部分を抽出することと、回路を使用して、ディスプレイデバイス上にスーパーインポーズされ、所定の軌道に沿って移動する３−Ｄグラフィックエンティティを生成して表示することと、回路を使用して、フロントガラスの視野の外側の環境に関連した感覚データを受信することと、感覚データが、フロントガラスの視野に接近している軌道経路を有している現実の要素を示している場合には、現実の要素の周囲に境界ボックスを生成し、３−Ｄグラフィックエンティティの軌道経路を、現実の要素に関する境界ボックスの軌道経路を回避する新たな軌道経路へ調整することとを含む方法。

（１３）感覚データがＧＰＳデータを含み、この方法がさらに、回路を使用して、３−Ｄグラフィックエンティティの軌道経路を、地図と、ＧＰＳデータを使用して特定された車両の位置とから特定することを含む、特徴（１２）の方法。

（１４）車両のフロントガラスの周辺ビューの外側のカメラによって取り込まれた感覚データイメージ、この方法がさらに、回路を使用して、取り込まれたイメージが、車両のフロントガラスの視野に向かって車両の近傍を移動している別の車両を示していると特定することを含む、特徴（１２）の方法。

（１５）回路を使用して、取り込まれたイメージが横断歩道標識を示していると特定することと、回路を使用して、検知された横断歩道標識に起因した車両の減速に比例して３−Ｄグラフィックエンティティの移動を調整することとをさらに含む、特徴（１４）の方法。

（１６）回路を使用して、取り込まれたイメージが、横断歩道に立っている人を示していると特定することと、回路を使用して、３−Ｄグラフィックエンティティの移動を、その人の歩行経路を回避する軌道経路において移動するように調整することとをさらに含む、特徴（１５）の方法。

（１７）回路を使用して、音楽サウンド信号の出力および周波数に基づいて３−Ｄグラフィックエンティティの移動の速度を調整することをさらに含む、特徴（１２）の方法。

（１８）回路を使用して、気候条件に関連したグラフィックエンティティを追加するように３−Ｄグラフィックエンティティを修正することをさらに含む、特徴（１２）の方法。

（１９）コンピュータ実行可能命令を含む非一時的コンピュータ可読ストレージメディアであって、それらの命令が、コンピュータによって実行されたときに、そのコンピュータに方法を実行させる、非一時的コンピュータ可読ストレージメディア。その方法は、車両の前部のビューからビデオイメージを受信することと、回路を使用して、ディスプレイデバイス上での表示用にフロントガラスの視野にマッチするビデオイメージの一部分を抽出することと、ディスプレイデバイス上にスーパーインポーズされ、所定の軌道に沿って移動する３−Ｄグラフィックエンティティを生成して表示することと、フロントガラスの視野の外側の環境に関連した感覚データを受信することと、感覚データが、フロントガラスの視野に接近している軌道経路を有している現実の要素を示している場合には、現実の要素の周囲に境界ボックスを生成し、３−Ｄグラフィックエンティティの軌道経路を、現実の要素に関する境界ボックスの軌道経路を回避する新たな軌道経路へ調整することとを含む。

したがって前述の論考は、本発明の例示的な実施形態を開示および記述しているにすぎない。当業者によって理解されるように、本発明は、その趣旨または本質的な特徴から逸脱することなく、その他の特定の形態で具体化されることが可能である。したがって本発明の開示は、本発明の範囲、ならびにその他の特許請求の範囲を例示することを意図されているものであり、限定することを意図されているものではない。本開示は、本明細書における教示の任意の容易に識別可能な変形形態を含めて、発明性のある主題が公共に供されることのないように前述のクレームの用語の範囲を部分的に定義している。

Claims (19)

1. 車両における３−Ｄ拡張現実表示システムであって、
   前記車両のフロントガラスの視野を表示するように構成されているディスプレイデバイスと、
   回路を含むコンピュータハードウェアプラットフォームとを含み、前記回路が、
   前記車両の前部のビューからビデオイメージを受信すること、
   前記ディスプレイデバイス上での表示用に前記フロントガラスの前記視野にマッチする前記ビデオイメージの一部分を抽出すること、
   前記ディスプレイデバイス上にスーパーインポーズされ、所定の軌道に沿って移動する３−Ｄグラフィックエンティティを生成して表示すること、
   前記フロントガラスの前記視野の外側の環境に関連した感覚データを受信すること、および
   前記感覚データが、前記フロントガラスの前記視野に接近している軌道経路を有している現実の要素を示している場合には、前記現実の要素の周囲に境界ボックスを生成し、前記３−Ｄグラフィックエンティティの前記軌道経路を、前記現実の要素に関する前記境界ボックスの前記軌道経路を回避する新たな軌道経路へ調整すること
   を行うように構成されている、３−Ｄ拡張現実表示システム。
2. 前記感覚データがＧＰＳデータを含み、
   前記３−Ｄグラフィックエンティティの前記軌道経路が、地図と、前記ＧＰＳデータを使用して特定された前記車両の位置とから特定される、請求項１に記載の３−Ｄ拡張現実表示システム。
3. 前記感覚データが、前記車両の前記フロントガラスの周辺ビューの外側のカメラによって取り込まれたイメージを含む、請求項１に記載の３−Ｄ拡張現実表示システム。
4. 前記回路は、前記取り込まれたイメージが、前記車両の前記フロントガラスの前記視野に向かって前記車両の近傍を移動している別の車両を示していると特定するように構成されている、請求項３に記載の３−Ｄ拡張現実表示システム。
5. 前記回路が、
   前記取り込まれたイメージが横断歩道標識を示していると特定することと、
   検知された横断歩道標識に起因した前記車両の減速に比例して前記３−Ｄグラフィックエンティティの移動を調整することとを行うように構成されている、請求項３に記載の３−Ｄ拡張現実表示システム。
6. 前記回路が、
   前記取り込まれたイメージが、横断歩道に立っている人を示していると特定することと、
   前記３−Ｄグラフィックエンティティの移動を、前記人の歩行経路を回避する新たな軌道経路において移動するように調整することとを行うように構成されている、請求項５に記載の３−Ｄ拡張現実表示システム。
7. 前記地図が、前記車両が走行しているルート沿いの校舎を示し、
   前記回路が、校庭で遊んでいる学生を含む、前記校舎のカテゴリーに関連付けられているグラフィックエンティティを生成するように構成されている、請求項２に記載の３−Ｄ拡張現実表示システム。
8. 前記回路が、時刻を検知するように構成されており、
   前記地図が、前記車両が走行しているルートの付近における校舎を示し、
   前記回路は、歩行および自転車走行中の学生を、前記時刻が、前記学校が前記学生を解散させる時間であるという検知に基づいて生成するように構成されている、請求項２に記載の３−Ｄ拡張現実表示システム。
9. 前記回路が、音楽サウンド信号の出力および周波数に基づいて前記３−Ｄグラフィックエンティティの移動の速度を調整するように構成されている、請求項１に記載の３−Ｄ拡張現実表示システム。
10. 前記回路が、気候条件に関連したグラフィックエンティティを追加するように前記３−Ｄグラフィックエンティティを修正するように構成されている、請求項１に記載の３−Ｄ拡張現実表示システム。
11. 前記回路が、
    温度センサからのセンサ情報、およびカメラによって取り込まれたイメージを受信することと、
    前記地図が田舎エリアを示しており、前記取り込まれたイメージがほとんど白色であり、前記温度センサからの前記情報が氷点下の温度を示している場合には、前記センサ情報、および前記カメラによって取り込まれた前記イメージに基づいて表示用のコンテンツを生成することとを行うように構成されている、請求項２に記載の３−Ｄ拡張現実表示システム。
12. 回路を使用して、車両の前部のビューからビデオイメージを受信することと、
    前記回路を使用して、ディスプレイデバイス上での表示用にフロントガラスの視野にマッチする前記ビデオイメージの一部分を抽出することと、
    前記回路を使用して、前記ディスプレイデバイス上にスーパーインポーズされ、所定の軌道に沿って移動する３−Ｄグラフィックエンティティを生成して表示することと、
    前記回路を使用して、前記フロントガラスの前記視野の外側の環境に関連した感覚データを受信することと、
    前記感覚データが、前記フロントガラスの前記視野に接近している軌道経路を有している現実の要素を示している場合には、前記現実の要素の周囲に境界ボックスを生成し、前記３−Ｄグラフィックエンティティの前記軌道経路を、前記現実の要素に関する前記境界ボックスの前記軌道経路を回避する新たな軌道経路へ調整することと
    を含む方法。
13. 前記感覚データがＧＰＳデータを含み、前記方法がさらに、前記回路を使用して、前記３−Ｄグラフィックエンティティの軌道経路を、地図と、前記ＧＰＳデータを使用して特定された前記車両の位置とから特定することを含む、請求項１２に記載の方法。
14. 前記車両の前記フロントガラスの周辺ビューの外側のカメラによって取り込まれた前記感覚データイメージ、
    前記方法がさらに、前記回路を使用して、前記取り込まれたイメージが、前記車両の前記フロントガラスの前記視野に向かって前記車両の近傍を移動している別の車両を示していると特定することを含む、請求項１２に記載の方法。
15. 前記回路を使用して、前記取り込まれたイメージが横断歩道標識を示していると特定することと、
    前記回路を使用して、検知された横断歩道標識に起因した前記車両の減速に比例して前記３−Ｄグラフィックエンティティの移動を調整することとをさらに含む、請求項１４に記載の方法。
16. 前記回路を使用して、前記取り込まれたイメージが、前記横断歩道に立っている人を示していると特定することと、
    前記回路を使用して、前記３−Ｄグラフィックエンティティの移動を、前記人の歩行経路を回避する軌道経路において移動するように調整することと
    をさらに含む、請求項１５に記載の方法。
17. 前記回路を使用して、音楽サウンド信号の出力および周波数に基づいて前記３−Ｄグラフィックエンティティの移動の速度を調整することをさらに含む、請求項１２に記載の方法。
18. 前記回路を使用して、気候条件に関連したグラフィックエンティティを追加するように前記３−Ｄグラフィックエンティティを修正することをさらに含む、請求項１２に記載の方法。
19. コンピュータ実行可能命令を含む非一時的コンピュータ可読ストレージメディアであって、前記命令が、コンピュータによって実行されたときに、前記コンピュータに方法を実行させ、前記方法が、
    車両の前部のビューからビデオイメージを受信することと、
    回路を使用して、ディスプレイデバイス上での表示用にフロントガラスの視野にマッチする前記ビデオイメージの一部分を抽出することと、
    前記ディスプレイデバイス上にスーパーインポーズされ、所定の軌道に沿って移動する３−Ｄグラフィックエンティティを生成して表示することと、
    前記フロントガラスの前記視野の外側の環境に関連した感覚データを受信することと、
    前記感覚データが、前記フロントガラスの前記視野に接近している軌道経路を有している現実の要素を示している場合には、前記現実の要素の周囲に境界ボックスを生成し、前記３−Ｄグラフィックエンティティの前記軌道経路を、前記現実の要素に関する前記境界ボックスの前記軌道経路を回避する新たな軌道経路へ調整することとを含む、非一時的コンピュータ可読ストレージメディア。
    

Images