JP2013131222A - 自動車のディスプレイを用いた、拡張現実感を生成する方法及びシステム - Google Patents

Abstract

【課題】自動車のディスプレイを用いた、拡張現実感を生成する方法及びシステムの提供。
【解決手段】自動車のディスプレイを用いて拡張現実感生成するための方法およびシステムであって、自動車の環境の画像を画像データの形式（１１）で記録する手順と、３次元で決定する手順（３１）と、実在のオブジェクト（２４、２５、２６、２７、２８）の第１の座標範囲を判別する手順と、仮想要素（５２、５３、５４）を３次元仮想空間（３１）に追加する手順と、仮想要素（５２、５３、５４）を制御する手順と、制御された仮想要素（５２、５３、５４）を、出力する手順と、出力画像（６１、６２ａ、６２ｂ）を、修正する手順と、出力画像（６１、６２ａ、６２ｂ）を、出力する手順とを備えた方法。
【選択図】図２

Description

さまざまな実施形態が自動車のディスプレイを用いた、拡張現実感生成するための方法及びシステムに関連している。

ＥＰ １ ７２０ １３１ Ｂ１は、リアルマーカーオブジェクト（ｒｅａｌ ｍａｒｋｅｒ ｏｂｊｅｃｔ）識別を用いた、拡張現実感システムを示す。図４は、拡張現実感システム１００の簡略図を示す概略図である。前記システム１００は、実環境１２０から画像データを収集するためのビデオカメラ１１０を備える。前記実環境１２０は、家の部屋、特定の風景の一部、または任意のその他の対象のシーンなどの任意の適切なエリアを表す。図４では、前記実環境１２０は、複数の実在の物体１２１〜１２４で、例えば壁状の１２４および家具１２１、１２２、および１２３を備えた居間を表す。さらに、前記実環境１２０は、自動画像処理アルゴリズムによりすぐに識別されるような任意の適切な構成をさらに有するマーカーオブジェクト１２５、１２６と考えられる実在の物体を備える。例えば、前記マーカーオブジェクト１２５、１２６は用意に識別できる際立ったパターンをその上に形成し、ここで、前記マーカーオブジェクト１２５、１２６の前記形状が、複数の異なる表示角度からでもその識別ができるようにデザインされていて良い。前記マーカーオブジェクト１２５、１２６はまた、その上に個別の識別パターンを形成する実質的に２次元の構成を表す。

前記システム１００はさらに、前記マーカーオブジェクト１２５、１２６を前記カメラ１１０により提供される画像データに基づいて識別するための手段１３０を備える。前記識別方法１３０は、画像データを、前記マーカーオブジェクト１２５、１２６を表す定義済みのテンプレートと比較するための良く知られているパターン認識アルゴリズムを備えていても良い。例えば、前記識別手段１３０は、その中に、前記カメラ１１０により取得された画像を、定義済みの照度しきい値に基づいて白黒画像に変換するためのアルゴリズムを実装しても良い。前記アルゴリズムは、さらに、前記画像を、四角等の定義済みのセグメントに分割し、あらかじめ訓練されたパターンテンプレートで各前記セグメントを検索し、前記テンプレートが前記マーカーオブジェクト１２５、１２６の際立った部分を表すよう構成されている。

最初に、前記ライブビデオ画像が、照度しきい値に基づいて白黒画像に変換される。この画像が次に、四角の領域を検索する。前記ソフトウェアはバイナリ画像のすべての四角を検索し、その多くは前記オブジェクト１２５、１２６のような追跡マーカーではない。各四角に対し、四角内の前記パターンが、訓練済みのパターンテンプレートの一部と一致するかが検索される。一致があった場合、前記ソフトウェアは前記オブジェクト１２５、１２６のような追跡マーカーのいずれかを発見する。前記ソフトウェアは次に、前記既知の四角のサイズおよびパターン方向を使用して、前記実ビデオカメラの、前記オブジェクト１２５、１２６のような前記物理マーカーに対する位置を計算する。次に、３×４マトリックスが前記識別されたマーカーに比較して前記ビデオカメラの実世界座標で満たされる。このマトリックスは次に、前記仮想カメラ座標の位置の設定に使用される。前記仮想および実カメラ座標は同じなため、描画された前記コンピュータグラフィックが前記指定された位置の前記実マーカーオブジェクトに正確に重ね合わされる。その後、描画エンジンが使用され、仮想カメラ座標を設定し前記仮想画像を描画する。

図４の前記システム１００はさらに、オブジェクトデータジェネレータ１５０から取得したオブジェクトデータを有する前記カメラ１１０から受信した画像データを結合するための手段１４０を備える。前記結合手段１４０は、追跡システム、距離測定システムおよび描画システムを備える。一般に、前記組み合わせる手段１４０は、前記ジェネレータ１５０から、前記マーカーオブジェクト１２５、１２６に対応する追加の仮想オブジェクトを有する前記環境１２０の３次元画像を表す仮想画像データを作成するよう、対応して識別されたマーカーオブジェクトに対し前記ジェネレータ１５０から取得された画像データを組み込むよう構成される。本明細書では、前記結合手段１４０は、前記マーカーオブジェクト１２５、１２６の対応する一部を実環境１２０内で判別するために構成され、また、前記マーカーオブジェクト１２５、１２６間の前記環境１２０内の任意の静的オブジェクトに対しておよび前記カメラ１１０により定義された視点に対して相対的な動きを追跡する。

図４の前記システム１００はさらに、前記仮想画像データを提供するよう構成された出力手段１６０を備える。これには、前記ジェネレータ１５０により生成された前記仮想オブジェクトを含み、好ましい実施形態では、前記出力手段１６０はまた、画像データに加え、音声データ、臭覚データ、触覚データ、その他などの別のタイプのデータを提供するよう構成される。運用時は、前記カメラ１１０は、前記環境１２０の画像データを作成し、前記画像データは、前記カメラ１１０が前記環境１２０に対する単なる移動により、あるいは、前記マーカーオブジェクト１２５、１２６、または１つまたは複数の前記オブジェクト１２１〜１２３といった前記環境内の移動可能なオブジェクトの提供により表される前記環境１２０の動的状態に対応する。前記環境１２０からの視点は、前記環境１２０内の前記カメラ１１０の周囲を移動することにより変化し、これにより、特に前記マーカーオブジェクト１２５、１２６を、異なる視点から前記ジェネレータ１５０により作成された仮想オブジェクトの評価を可能にするような異なる視点から観察することが可能となる。

継続的に更新される前記カメラ１１０により提供された前記画像データは、前記識別手段１３０により受信され、前記マーカーオブジェクト１２５、１２６を認識して識別されると前記マーカーオブジェクト１２５、１２６の追跡が可能になる。これは、パターン認識が、例えば、前記カメラ１１０または前記マーカーオブジェクト１２５、１２６の移動により視点が継続的に変化したことにより妨げられた場合でも可能である。前記画像データ内の前記マーカーオブジェクト１２５、１２６に関連付けられた定義済みのパターンを識別した後、前記識別手段１３０が、指定した画像データ領域内にマーカーオブジェクトがあることについて前記結合手段１４０に通知し、この情報に基づいて、前記手段１４０は次に、前記マーカーオブジェクト１２５、１２６が時間の経過につれ消滅しないものとして前記マーカーオブジェクト１２５、１２６の識別に使用された前記画像データにより表された前記対応するオブジェクトを継続的に追跡する。前記マーカーオブジェクト１２５、１２６の識別処理は、実質的に継続的に実行されるか、または、定期的に繰り返され、前記マーカーオブジェクト１２５、１２６の存在を確認して前記結合手段１４０の追跡精度を検証または強化する。前記環境の前記画像データおよび、前記識別手段１３０により提供された前記情報に基づき、前記結合手段１４０は、３次元画像データを作成し、前記オブジェクトジェネレータ１５０から受信した３次元画像データに重ねあわせる。ここで、前記３次元オブジェクトデータは、前記手段１４０の前記追跡操作に基づき永久的に更新される。

例えば、前記普段１４０は、前記識別手段１３０の前記情報に基づいて、前記カメラ１１０の前記マーカーオブジェクト１２５、１２６に対する位置を計算して、この座標情報を仮想カメラの座標の決定に使用し、これにより、前記マーカーオブジェクト１２５、１２６の前記画像データを使用して前記ジェネレータ１５０により送信された前記オブジェクトデータの正確な「オーバーレイ」を可能にすることができる。前記座標情報はまた、カメラ１１０に対して前記マーカーオブジェクト１２５、１２６の相対方向に関するデータも含み、これにより、前記結合手段１４０が前記仮想オブジェクトの前記方向を正確に適用させることが可能になる。最後に、結合された３次元仮想画像データは、前記出力手段１６０により任意の適切な形式で表示される。例えば、前記出力手段１６０は、前記マーカーオブジェクト１２５、１２６に関連付けられた仮想オブジェクトを含む前記環境１２０を視覚化するよう適切な表示手段を備えていても良い。前記システム１００の運用時は、少なくとも１つのマーカーオブジェクト１２５、１２６に対する認識条件をあらかじめ設定しておき、実質的に信頼度の高いリアルタイム画像処理を可能にしておくと有利である。さらに、各マーカーオブジェクトと１つまたは複数の仮想オブジェクトとの間の前記相関関係は、前記システム１００の運用前に確立しておくか、またはマーカーオブジェクトへの仮想オブジェクトの割り当てのインタラクティブな定義を可能にするよう設計されていても良い。例えば、ユーザーの要求に基づいて、前記マーカーオブジェクト１２５に最初に割り当てられた仮想オブジェクトが前記マーカーオブジェクト１２６に割り当てられたり、またその逆方向に割り当てられたりする。さらに、複数の仮想オブジェクトを単一のマーカーオブジェクトに割り当て、前記複数の仮想オブジェクトの対応する１つがユーザー、ソフトウェアアプリケーションにより選択される。

一態様に従い、自動車における拡張現実感ための改良を、独立請求項１の特徴を有する方法を通じて説明する。さまざまな改良が従属請求項により行われ、前記説明に含められる。

それに基づき、自動車における拡張現実感ための手段が提供される。

前記方法では、前記自動車の前記環境の画像は、画像データの形式で登録されていても良い。仮想空間は、前記画像データから決定されても良い。

前記方法では、実在のオブジェクトが前記画像データにおいて検出されても良い。前記実在のオブジェクトの第１の座標範囲は、前記仮想空間で判別されても良い。

前記方法では、第２の座標範囲を有する仮想要素が前記仮想空間に追加されても良い。前記仮想要素は、ユーザー入力に基づき制御されても良い。

前記方法では、前記環境および前記制御された仮想要素は、出力画像の結合された形式で出力されても良い。前記出力画像は、前記実在のオブジェクトの前記第１の座標範囲および前記制御された仮想要素の第２の座標範囲が交差領域を形成する場合に修正されても良い。前記出力画像は、前記自動車の表示手段により出力されても良い。

一実施形態により、ドライバーがインタラクティブに前記自動車の前記環境内のオブジェクトの表示を選択することが可能になるという前記利点が達成される。前記オブジェクトは、前記ドライバーを運転中に支援するために一時的に表示することができる。従って、前記ドライバーは、現在の交通状況に集中し、後で現在の環境状況と混合される例えば交通標識などの前記オブジェクトを再調査することができる。一実施形態の為に、自動車で移動している最中の前記現在の環境状況が人工のビデオゲーム世界と混合し、前記自動車の外の出来事がこのように前記現在のゲームの出来事に組み込まれ、前記ユーザーと前記環境からの実際のオブジェクトとの間の相互作用ができるという利点が達成される。

この場合の前記環境は、前記自動車の実環境で良く、これは例えば光学システムなどを使用して記録でき、前記光学システムは対応するデジタル画像データを出力できる。さらに、赤外線カメラまたはレーダーシステムも使用できる。前記画像データから決定された前記仮想空間は、少なくとも３つの次元を有する複数次元空間でも良い。

前記画像データで検出された実在のオブジェクトは、少なくとも一時的に自動車から見ることができる道路標識または自動車または同様のものでも良い。前記オブジェクトは、画像処理システムのアルゴリズムの手段により検出されても良い。前記３次元空間内での前記オブジェクトの動きは、追跡アルゴリズムにより追跡されても良い。前記実在のオブジェクトの前記第１の座標範囲は、道路標識の表面ジオメトリや前記仮想空間の前記表面ジオメトリの前記位置でも良い。前記道路標識は厚みがあっても良い。

前記仮想要素およびその第２の座標範囲を生成しても良く、前記仮想空間におけるその位置とその方向は、計算ユニットにより制御可能なことが好ましい。前記仮想要素は、ジョイスティックまたはタッチスクリーンなどの入力ユニットの手段により前記入力の機能として制御されても良い。前記出力画像への結合を目的とするため、前記制御された仮想要素は、前記画像データの前面または前記実環境の前面に表示されても良い。

別の観点では、拡張現実感システムの改良は、独立請求項７の機能を通じて説明する。さまざまな改良が説明に含まれる。

自動車の拡張現実感システムがその結果提供される。

前記拡張現実感システムは、自動車の前記環境の画像を画像データの形式で記録するよう構成されていても良い画像取得デバイスを有していても良い。

前記拡張現実感システムは、前記画像取得デバイスに接続可能な計算ユニットを有していても良い。前記拡張現実感システムは、前記計算ユニットに接続可能な制御ユニットを有していても良い。前記拡張現実感システムは、出力画像の表示を目的とした前記制御ユニットに接続可能なディスプレイを有していても良い。

前記計算ユニットは、前記画像データから仮想空間を決定するよう構成されていても良い。前記計算ユニットは、前記画像データにおいて実在のオブジェクトを検出するよう構成されていても良い。前記計算ユニットは、前記仮想空間における前記実在のオブジェクトの第１の座標範囲を決定するよう構成されていても良い。前記計算ユニットは、前記仮想空間に対する第２の座標範囲を有する仮想要素を追加するよう構成されていても良い。前記計算ユニットは、前記制御ユニットの手段によりユーザー入力に基づいて前記仮想空間における前記仮想要素の第２の座標範囲を制御するよう構成されていても良い。

前記計算ユニットは、前記環境および前記出力画像において前記制御された仮想要素を結合して前記実在のオブジェクトの前記第１の座標範囲と前記制御された仮想要素の前記第２の座標範囲が交差領域を形成する場合に前記出力画像を修正するよう構成しても良い。

一実施形態では、前記拡張現実感システムは、自動車のインフォテイメントシステム（ｉｎｆｏｔａｍｅｎｔ ｓｙｓｔｅｍ）として実装され、前記インフォテイメントシステムが前記画像取得デバイスに、例えばケーブル経由で接続されていても良い。

前記画像取得システムは、画像データを記録するための光学システムであっても良い。前記画像取得デバイスは、例えばＣＭＯＳまたはＣＣＤカメラなどの複数のカメラを有していても良い。前記カメラは、立体記録状態であっても良い。前記計算ユニットは、特にＣＰＵまたはＤＳＰのプロセッサであっても良い。

前記制御ユニットは入力回路を有していても良い。ジョイスティックまたはタッチスクリーンまたはゲームパットが前記入力回路に接続されていても良い。前記ディスプレイは、ＬＣＤディスプレイまたは特に窓ガラスに前記出力画像を投影するためのプロジェクターでも良い。

後述する実施形態は、前記方法および前記拡張現実感システムの両方に関する。

一実施形態によると、前記仮想要素は前記仮想空間の３次元において制御されても良い。前記仮想空間内で、仮想飛行機などの仮想飛行要素を制御することも可能である。また、前記仮想要素を使用してボールの投てきなどの弾道軌道を制御することも可能である。または、前記制御された仮想要素は、レーシングゲーム（ｒａｃｉｎｇ ｇａｍｅ）などの仮想の乗り物でも良い。

一実施形態では、前記仮想空間は、前記環境の交通進路のジオメトリに基づいて３次元で決定しても良い。距離は、前記交通進路としての道路のジオメトリに基づいて確定しても良く、前記検出されたオブジェクトは、前記仮想空間内の確定した距離において位置されても良い。

一実施形態によると、前記出力画像は、仮想オブジェクトでもって、前記実在のオブジェクトのオブジェクト画像データを補完または置き換えることにより修正しても良い。前記仮想オブジェクトは、黒い点または同様の形式でヒットマーカーを表示しても良い。

前記出力画像は、前記実在のオブジェクトの前記オブジェクト画像データから仮想オブジェクトを生成し前記出力画像の前記仮想オブジェクトを出力することにより修正しても良い。前記仮想オブジェクトは、前記実在のオブジェクトと同様の見えるがで、前記仮想空間において軌道に沿って飛行させたり複数の部品に分割しても良い。

一実施形態では、前記仮想空間内のビューア位置は、前記画像データおよび前記仮想要素を前記ビューア位置に適応させることにより制御しても良い。前記ビューア位置は、前記ドライバーの視点または乗客の視点から制御されても良い。また、前記自動車の上に前記ビューア位置を置き、自動車そのものを前記出力画像に仮想オブジェクトとして追加することも可能である。

前述の実施形態は、特に、それだけでも組み合わせても利点を得られる。すべての実施形態は、互いに組み合わせて良い。いくつかの可能な組み合わせは、図の典型的な実施形態の説明において説明する。ただし、これらに示されたこれらの実施形態の組み合わせの可能性は、最終的なものではない。

本発明は、図に示した典型的な実施形態を基に、以降でさらに詳しく説明する。

本願発明は、例えば以下の項目を提供する。
（項目１）
自動車のディスプレイを用いて拡張現実感を生成するための方法であって、
上記自動車の上記環境の画像を画像データの形式（１１）で記録する手順と、
仮想空間（３１）を上記画像データ（１１）から３次元で決定する手順と、
実在のオブジェクト（２４、２５、２６、２７、２８）を上記画像データ（１１）内で検出する手順と、
上記実在のオブジェクト（２４、２５、２６、２７、２８）の第１の座標範囲を３次元仮想空間（３１）で判別する手順と、
仮想要素（５２、５３、５４）を上記３次元仮想空間（３１）に追加する手順であって、上記仮想要素（５２、５３、５４）が第２の座標範囲を有する、手順と、
上記仮想要素（５２、５３、５４）を上記３次元仮想空間（３１）において、ユーザー入力（５１）に基づいて制御する手順と、
上記環境および上記制御された仮想要素（５２、５３、５４）を、出力画像（６１、６２ａ、６２ｂ）に結合された形式で出力する手順と、
上記出力画像（６１、６２ａ、６２ｂ）を、上記実在のオブジェクト（２４、２５、２６、２７、２８）の上記第１の座標範囲と上記制御された仮想要素（５２、５３、５４）の第２の座標範囲が交差領域を形成する場合に修正する手順と、
上記出力画像（６１、６２ａ、６２ｂ）を、自動車の上記ディスプレイ（７１、２４０）の手段により出力する手順と
を含む方法。
（項目２）
上記仮想要素（５２、５３、５４）が、３次元仮想空間（３１）において３次元で制御される、上記項目に記載の方法。
（項目３）
上記３次元仮想空間（３１）は、交通経路のジオメトリ（３２）に基づいて３次元において判別されている、上記項目のいずれか一項に記載の方法。
（項目４）
ここで、上記出力画像（６１、６２ａ、６２ｂ）は上記実在のオブジェクト（２４、２５、２６、２７、２８）のオブジェクト画像データを仮想オブジェクト（５６）で補完または置き換えることにより修正される、上記項目のいずれか一項に記載の方法。
（項目５）
上記出力画像（６２ａ）は、上記実在のオブジェクト（２８）の上記オブジェクト画像データから仮想オブジェクト（５５）を生成して、上記出力画像（６２ｂ）の上記仮想オブジェクト（５５）を出力する事により、変更される、上記項目のいずれか一項に記載の方法。
（項目６）
上記３次元仮想空間（３１）内のビューア位置が上記画像データ（１１）および上記制御された仮想要素（５２、５３、５４）を上記ビューア位置に適応させることにより制御される、上記項目のいずれか一項に記載の方法。
（項目７）
自動車の拡張現実感システム（２００）であって、
上記自動車の上記環境の画像を画像データ（１１）の形式で記録するよう構成された画像取得デバイス（２１０）と、
上記画像取得デバイス（２１０）に接続されている計算ユニット（２２０）と、
上記計算ユニット（２２０）に接続されている制御ユニット（２３０）と、
出力画像（６１、６２ａ、６２ｂ）を表示する上記計算ユニット（２２０）に接続されているディスプレイ（７１、２４０）とを含み、
上記計算ユニット（２２０）が、
３次元仮想空間（３１）を上記画像データ（１１）から決定する手順と、
実在のオブジェクト（２４、２５、２６、２７、２８）を上記画像データ（１１）内で検出する手順と、
上記実在のオブジェクト（２４、２５、２６、２７、２８）の第１の座標範囲を３次元仮想空間（３１）で判別する手順と、
第２の座標範囲を有する仮想要素（５２、５３、５４）を上記３次元仮想空間（３１）に追加する手順と、
３次元仮想空間（３１）内の上記仮想要素（５２、５３、５４）の上記第２の座標範囲を、ユーザー入力（５１）に基づいて上記制御ユニット（２３０）により制御する手順と、
上記環境および上記制御された仮想要素（５２、５３、５４）を、出力画像（６１、６２ａ、６２ｂ）に結合する手順と、
上記出力画像（６１、６２ａ、６２ｂ）を、上記実在のオブジェクト（２４、２５、２６、２７、２８）の上記第１の座標範囲と上記制御された仮想要素（５２、５３、５４）の第２の座標範囲が交差領域を形成する場合に修正する手順と
を行うように構成されている、
自動車の拡張現実感システム（２００）。

（摘要）
自動車のディスプレイを用いて拡張現実感生成するための方法およびシステムで、
前記自動車の前記環境の画像を画像データの形式（１１）で記録する手順と、
仮想空間（３１）を前記画像データ（１１）から３次元で決定する手順と、
実在のオブジェクト（２４、２５、２６、２７、２８）を前記画像データ（１１）内で検出する手順と、
前記実在のオブジェクト（２４、２５、２６、２７、２８）の第１の座標範囲を３次元仮想空間（３１）で判別する手順と、
仮想要素（５２、５３、５４）を前記３次元仮想空間（３１）に追加する手順で前記仮想要素（５２、５３、５４）が第２の座標範囲を有する手順と、
前記仮想要素（５２、５３、５４）を前記３次元仮想空間（３１）内に、ユーザー入力（５１）に基づいて制御する手順と、
前記環境および前記制御された仮想要素（５２、５３、５４）を、出力画像（６１、６２ａ、６２ｂ）に結合された形式で出力する手順と、
前記出力画像（６１、６２ａ、６２ｂ）を、前記実在のオブジェクト（２４、２５、２６、２７、２８）の前記第１の座標範囲と前記制御された仮想要素（５２、５３、５４）の第２の座標範囲が交差領域を形成する場合に修正する手順と、
前記出力画像（６１、６２ａ、６２ｂ）を、自動車の前記ディスプレイ（７１、２４０）の手段により出力する手順
とを備えた方法。

自動車における拡張現実感を生成するための方法の概略図である。 拡張現実感システムの概略図である。 出力画像の概略図である。 出力画像の概略図である。 従来技術に従った拡張現実感システムの概略図である。

図１は、自動車における拡張現実感生成ための方法の概略図である。前記方法は、ビデオゲームの実装の場合を例として後述する。例えば、後部座席の乗客のためにビデオゲームを提供するためなどのビデオゲームの技術要件は、前記自動車で確立しても良い。従来の、ＰＣおよびコンソールで利用できる２Ｄおよび３Ｄゲームと比較した、現在のリアリティとの混合は、図１のフローチャートで行うことができる。前記自動車の前記環境は、前記現在のゲームイベントに統合しても良い。いわゆる一人称シューテターゲーム（ｓｈｏｏｔｅｒ ｇａｍｅ）は、画像および音を、ヘッドアップ（ｈｅａｄｕｐ）ディスプレイ７１上などの完全に計算された３次元空間に表示しても良い。

図１のフローチャートでは、画像データ１１は最初に前記自動車の前記環境から、第１の手順１０における複数のカメラを用いて記録されても良い。複数の実在のオブジェクト２４、２５、２６、２７は、第２の手順２０における認識アルゴリズムを用いて画像データ１１内で認識されても良い。さらに、前記環境は、例えば交通経路のコース３２などのジオメトリに基づいて検出されても良い。また、近接レーダーシステムなどのその他のセンサーなどに基づいて前記環境を決定することも可能である。また、前記自動車および道路データの前記現在の位置を基に前記環境を決定することも可能である。前記現在の位置は、例えば、ＧＰＳ衛星信号を用いて決定しても良い。

第３の手順３０では、３次元仮想空間３１は、前記判別された環境および検出されたオブジェクト２４、２５、２６、２７から生成しても良い。３次元仮想空間３１は、３次元仮想空間３１を取得するための、例えば、画像データ処理などの助けで評価された測定データに基づいていても良い。

第４の手順４０では、複数の仮想オブジェクト５２、５３を３次元空間３１に追加して仮想リアリティ４１を形成しても良い。少なくとも１つの仮想オブジェクト５２、５３は、仮想空間３１内で制御される仮想要素５２でも良い。図１の一実施形態では、前記制御された仮想要素５２は、仮想空間３１内の位置がユーザーにより制御可能な十字線として具体化されても良い。第５の手順５０はユーザー入力５０でも良い。図１の一実施形態では、前記ユーザーのインタラクションが、ジョイスティック５１を介した入力に基づいて計算されても良い。代替または組み合わせて、例えばマウス、タッチスクリーンまたはジェスチャーを介した入力などのその他の入力が可能である。

第６の手順６０では、前記リアリティの記録された画像データ１１は、仮想リアリティ４１と結合して出力画像６１を形成しても良い。前記出力画像６１は、前記記録された画像データ１１を含むレンダリングにより形成しても良い。前記出力画像６１では、記録された画像データ１１と仮想リアリティ４１との混合は、例えばプログラムまたはユーザーにより制御可能であっても良い。前記出力画像６１内の前記自動車の周囲を単純化または変更することが可能である。例えば、家はそのまま配置しても、外観を、お化け屋敷のように変更することができる。

図１の一実施形態では、出力画像６１は、表示ゴーグル（ｇｏｇｇｌｅ）７１の助けで出力できる。仮想リアリティを伴う前記リアリティ４１の記録された画像データを結合するため、複数の仮想要素／オブジェクト５２、５３、５６は、画像データ１１の前面に表示し、部分的に画像データ１１を覆うことができる。検出されたオブジェクト２４、２５、２６、２７の背後に、複数の仮想オブジェクト５６の少なくとも一部を一時的に隠すことも可能である。隠された仮想オブジェクト５６の表示は、例えば、位置の変更および／またはビューアの角度の表示の変更および／または隠された仮想オブジェクト５６の動きおよび／または検出されたオブジェクト２４、２５、２６、２７の動きなどの後にのみ有効にしても良い。

検出されたオブジェクト２４、２５、２６、２７とのインタアクションを有効にするため、出力画像６１は、実在のオブジェクト２４、２５、２６、２７の第１の座標範囲および制御された仮想要素５２の第２の座標範囲が交差領域を形成した場合に修正しても良い。図１の一実施形態では、前記制御された仮想要素５２は、仮想空間４１内のユーザーにより配置可能な十字線５２を有していても良い。前記制御された仮想要素５２は、さらに、ユーザー入力５０の機能として仮想空間４１内の弾道軌道に投げられた仮想ボールを有していても良い。投てき位置および／または投てき方向および／または投てき力は制御可能である。仮想ボールが検出されたオブジェクト２４に当たった場合、この当たったことを示しても良い。この当たったことは、仮想オブジェクト５６を表示することにより示しても良い。

前記ユーザーは、出力画像６１内で、特に、検出されたオブジェクト２４、２５、２６、２７と相互作用するため仮想リアリティ４１を用いて行動が可能であっても良い。前記インタアクションは、仮想ボールを使用してある道路標識に与えることを目的とした前記ゲームの構想を基に説明することもできる。環境全体は、前記自動車の複数のカメラの助けで３６０度の角度で記録され、信号処理の手段により纏まりのある環境に結合される。この環境では、仮想空間３１内で前記道路標識を検出し、その位置を判別しても良い。仮想リアリティ４１を用いて、前記道路標識は任意の方法で光学的に修正または特別に強調表示しても良い。その結果は、表示ユニット７１上で前記ユーザーに提供されるビデオデータストリームである。前記ユーザーは現在、入力デバイス５１を介して十字線５２を制御し、道路標識に狙いを定めるオプションを有している。入力デバイス５１上のシューティング機能により前記仮想ボールが放たれ、前記道路標識の方へ飛び当たるかまたは外れる。つまり、仮想十字線５２および前記仮想ボール（図１には示されない）は、画像データ１１の上に重ね合わされ、その中に表示される。仮想リアリティ４１の使用は、任意のゲーム状況、ゲーム構想、ディスプレイユニットおよび入力デバイスに拡張することができる。前記アプリケーションおよびハードウェアは、例えば、自動車の後部座席システムに統合しても良い。

図２は、自動車の拡張現実感システム２００の一実施形態の概略表示である。前記拡張現実感システム２００は、自動車の前記環境の画像を画像データ１１の形式で記録するよう構成されていても良い画像取得デバイス２１０を有している。

前記拡張現実感システム２００は、前記画像取得デバイス２１０に接続可能な計算ユニット２２０を有している。さらに、前記拡張現実感システム２００は、計算ユニット２２０に接続されユーザー入力５０を許可することができる制御ユニット２３０を有していても良い。図２の前記制御ユニット２３０は、ゲームパッド２３０またはタッチセンサー表面２３０またはカメラ２３０またはその他同様のものであって良い。

前記拡張現実感システム２００は、出力画像６１の表示を目的とした前記制御ユニット２３０に接続可能なディスプレイ２４０を有していても良い。図２の一実施形態では、ディスプレイ２４０が固定ディスプレイユニットなしでディスプレイ２４０を生成可能な方法で仮想リアリティ４１の前記効果の増加を実現する。これは、
一種の３Ｄゴーグルを使用して可能である。このために、頭の回転をヘッドトラッカーを用いて検出でき、前記ビデオコンテンツを頭の方向に対応させることができる。これは、ユーザーには、自動車の窓の外を見て仮想リアリティ４１がその時点の前記リアリティに直接統合されているかのように見える。音響は、両耳用の技術およびヘッドトラッカーの手段により調整して良い。

前記ディスプレイ２４０の一実施形態では、自動車の窓ガラス上に投影することにより実装される。出力画像６１は、前記自動車の窓ガラス上に投影されても良く、ある角度からのみ見ることができても良い。前記ドライバーは、結果、運転を邪魔されずにすみ、後部座席の前記ユーザーは、車両の窓上に仮想リアリティ４１を取得したままでいることができる。これにより仮想リアリティ４１および前記環境との結合が、次に、ゲーム要素の重ね合わせとして生成され、画像データ１１を除いた前記リアリティが混合のため使用される。この実施形態は、後部座席システムで使用しても良い。

前記ドライバーを支援するために使用される拡張現実感システムの機能の一実施形態を図３ａおよび３ｂで示す。図３ａは、道路標識２８が画像データにおいて実在のオブジェクト２８として表示可能な出力画像６２ａを示す。カーソル５４は、前記ドライバーにより制御されることが可能な仮想要素５４であって良い。図３ａは、実在のオブジェクト２８の第１の座標範囲および制御された仮想要素５４の第２の座標範囲が形成する交差領域を示す。出力画像６２ｂは、図３ｂに示すように、それに従って修正可能である。仮想オブジェクト５５は、簡潔に保存された情報を前記ドライバーに提供するために、前面に一時的に表示できる。前記仮想オブジェクト５５は、オブジェクト２８に属する前記画像データの一部から生成しても良い。

本発明は、図１から図３ｂに示した実施形態に制限されない。例えば、人々またはその他の同様のその他のオブジェクトを前記自動車の前記環境内に検出することが可能である。前記仮想オブジェクトおよびユーザーが入力するインタアクションのタイプを、同様に前記要件にすぐに適応させることができる。図２に従った拡張現実感システム２００の機能は、特に、前記自動車のインフォテイメントシステムで有利に使用することができる。

参照番号一覧
１０、２０、３０、４０、５０、６０、７０ 手順
１１ 画像データ
２４、２５、２６、２７、２８ 実在のオブジェクト
３１ 仮想空間
３２ 交通経路ジオメトリ
４１ 仮想リアリティ
５２、５３、５４ 制御された仮想オブジェクト
５５、５６ 仮想オブジェクト
６１、６２ａ，６２ｂ 出力画像
７１、２４０ ディスプレイ
２００ 拡張現実感システム
２１０ 画像取得デバイス
２２０ 計算ユニット
２３０、５１ 制御ユニット

Claims (7)

1. 自動車のディスプレイを用いて拡張現実感を生成するための方法であって、
   前記自動車の前記環境の画像を画像データの形式（１１）で記録する手順と、
   仮想空間（３１）を前記画像データ（１１）から３次元で決定する手順と、
   実在のオブジェクト（２４、２５、２６、２７、２８）を前記画像データ（１１）内で検出する手順と、
   前記実在のオブジェクト（２４、２５、２６、２７、２８）の第１の座標範囲を３次元仮想空間（３１）で判別する手順と、
   仮想要素（５２、５３、５４）を前記３次元仮想空間（３１）に追加する手順であって、前記仮想要素（５２、５３、５４）が第２の座標範囲を有する、手順と、
   前記仮想要素（５２、５３、５４）を前記３次元仮想空間（３１）において、ユーザー入力（５１）に基づいて制御する手順と、
   前記環境および前記制御された仮想要素（５２、５３、５４）を、出力画像（６１、６２ａ、６２ｂ）に結合された形式で出力する手順と、
   前記出力画像（６１、６２ａ、６２ｂ）を、前記実在のオブジェクト（２４、２５、２６、２７、２８）の前記第１の座標範囲と前記制御された仮想要素（５２、５３、５４）の第２の座標範囲が交差領域を形成する場合に修正する手順と、
   前記出力画像（６１、６２ａ、６２ｂ）を、自動車の前記ディスプレイ（７１、２４０）の手段により出力する手順と
   を含む方法。
2. 前記仮想要素（５２、５３、５４）が、３次元仮想空間（３１）において３次元で制御される、請求項１に記載の方法。
3. 前記３次元仮想空間（３１）は、交通経路のジオメトリ（３２）に基づいて３次元において判別されている、請求項１または２に記載の方法。
4. ここで、前記出力画像（６１、６２ａ、６２ｂ）は前記実在のオブジェクト（２４、２５、２６、２７、２８）のオブジェクト画像データを仮想オブジェクト（５６）で補完または置き換えることにより修正される、請求項１〜３のいずれか一項に記載の方法。
5. 前記出力画像（６２ａ）は、前記実在のオブジェクト（２８）の前記オブジェクト画像データから仮想オブジェクト（５５）を生成して、前記出力画像（６２ｂ）の前記仮想オブジェクト（５５）を出力する事により、変更される、請求項１〜４のいずれか一項に記載の方法。
6. 前記３次元仮想空間（３１）内のビューア位置が前記画像データ（１１）および前記制御された仮想要素（５２、５３、５４）を前記ビューア位置に適応させることにより制御される、請求項１〜５のいずれか一項に記載の方法。
7. 自動車の拡張現実感システム（２００）であって、
   前記自動車の前記環境の画像を画像データ（１１）の形式で記録するよう構成された画像取得デバイス（２１０）と、
   前記画像取得デバイス（２１０）に接続されている計算ユニット（２２０）と、
   前記計算ユニット（２２０）に接続されている制御ユニット（２３０）と、
   出力画像（６１、６２ａ、６２ｂ）を表示する前記計算ユニット（２２０）に接続されているディスプレイ（７１、２４０）とを含み、
   前記計算ユニット（２２０）が、
   ３次元仮想空間（３１）を前記画像データ（１１）から決定する手順と、
   実在のオブジェクト（２４、２５、２６、２７、２８）を前記画像データ（１１）内で検出する手順と、
   前記実在のオブジェクト（２４、２５、２６、２７、２８）の第１の座標範囲を３次元仮想空間（３１）で判別する手順と、
   第２の座標範囲を有する仮想要素（５２、５３、５４）を前記３次元仮想空間（３１）に追加する手順と、
   ３次元仮想空間（３１）内の前記仮想要素（５２、５３、５４）の前記第２の座標範囲を、ユーザー入力（５１）に基づいて前記制御ユニット（２３０）により制御する手順と、
   前記環境および前記制御された仮想要素（５２、５３、５４）を、出力画像（６１、６２ａ、６２ｂ）に結合する手順と、
   前記出力画像（６１、６２ａ、６２ｂ）を、前記実在のオブジェクト（２４、２５、２６、２７、２８）の前記第１の座標範囲と前記制御された仮想要素（５２、５３、５４）の第２の座標範囲が交差領域を形成する場合に修正する手順と
   を行うように構成されている、
   自動車の拡張現実感システム（２００）。

Images