JP2013506226A - 仮想環境との相互作用のためのシステム及び方法 - Google Patents

Abstract

本発明は、仮想環境と相互作用するためのシステム及び方法を開示する。特定の実施形態において、本方法は、ユーザの非仮想環境の仮想表現を生成する段階と、非仮想環境におけるディスプレイに対するユーザの視点を特定する段階と、ディスプレイを用いてユーザの視点に基づいてユーザの非仮想環境と空間的関係をもって仮想表現を表示する段階とを含む。
【選択図】図１

Description

本発明は、全体的には仮想環境の表示に関する。本発明は、詳細には仮想環境とのユーザ相互作用に関する。

ディスプレイが安価になり、ビジネス界では、既存の及び潜在的なクライアントと相互作用を行う新しい方法に関心が集まっている。劇場ロビー、空港、ホテル、ショッピングモール等において、テレビやコンピュータ画面で消費者に広告又は情報を提供することは一般的ではない。計算能力が安価になり、ビジネス界では、消費者を惹き付けるために表示コンテンツの現実感を高める試みがなされている。

一例として透明ディスプレイを利用できる。透明ディスプレイ上にはやはりコンピュータ画像又はＣＧＩを表示できる。残念ながら、コンピュータ画像又はＣＧＩを「現実世界」の物体に追加しても非現実的に見える場合が多く、画質、美的連続性、時間的同期、空間的位置合わせ、焦点連続性、オクルージョン、障害物、衝突、反射、陰影、及び屈折の問題を生じる。

物理的環境／物体と仮想コンテンツとの間の相互作用（衝突、反射、相互作用陰影、光屈折）は、仮想コンテンツと物理的環境とが同じ空間に共存せず、むしろ共存するように見えるだけという現実に起因する本質的な問題である。これらの物理的世界の相互作用を取得するだけでなく仮想コンテンツ上にこれらの影響を描画するためには、多くの作業を行う必要がある。例えば、透明ディスプレイ上に描写される動画化された物体は、ディスプレイを通り抜けて環境シーンと相互作用することはできない。動画化された物体が「現実世界」の環境と相互作用すると仮定すると、「現実世界」の環境の一部を動画化する必要があり、残りの「現実世界」環境との同期化という別の問題が生じる。

物理的世界に仮想コンテンツを重ね合わせる透明な複合現実感ディスプレイは、仮想コンテンツが、スクリーンを通して目に見える物理的環境又は物体と同じ場所に配置されない表示面上に描画されるという現実に悩まされる。結果的に、オブザーバはディスプレイを通して環境上に焦点を合わせるか、又は表示面上の仮想コンテンツに焦点を合わせるかを選択する必要がある。この焦点の切り替えはオブザーバに不愉快な体験をもたらす。

仮想環境と相互作用するためのシステム及び方法が開示される。特定の実施形態において、本方法は、ユーザの非仮想環境の仮想表現を生成する段階と、非仮想環境におけるディスプレイに対するユーザの視点を特定する段階と、ディスプレイを用いてユーザの視点に基づいてユーザの非仮想環境と空間的関係をもって仮想表現を表示する段階とを含む。

種々の実施形態において、本方法は、ユーザの非仮想環境に対してディスプレイを配置する段階を更に含む。ディスプレイは透明である必要はない。更に、ユーザの非仮想環境の仮想表現を生成する段階は、ユーザの非仮想環境の１つ又はそれ以上のデジタル写真を取得して、１つ又はそれ以上のデジタル写真に基づいて仮想表現を生成する段階を含むことができる。

ユーザに向けられたカメラは、非仮想環境におけるディスプレイに対するユーザの視点を特定するために使用できる。ユーザの視点を特定する段階は、ユーザの顔追跡を行って視点を特定する段階を含むことを特徴とする。

本方法は、仮想表現内に仮想コンテンツを表示する段階を更に含むことができる。また、本方法は、仮想コンテンツと仮想表現との間の相互作用を表示する段階を含むことができる。更に、ユーザは、特定の実施形態において、仮想コンテンツを変更するためにディスプレイと相互作用することができる。

例示的なシステムは、仮想表現モジュール、視点モジュール、及びディスプレイを含むことができる。仮想表現モジュールは、ユーザの非仮想環境の仮想表現を生成するように構成できる。視点モジュールは、非仮想環境におけるユーザの視点を特定するように構成できる。ディスプレイは、少なくとも一部分において、特定された視点に基づいてユーザの非仮想環境と空間的な関係をもって仮想表現を表示するように構成できる。

例示的なコンピュータ可読媒体は、実行可能命令を格納するように構成できる。命令はプロセッサで実行可能であり、特定の方法を実行するようになっている。本方法は、ユーザの非仮想環境の仮想表現を生成する段階と、非仮想環境におけるディスプレイに対するユーザの視点を特定する段階と、ユーザの視点に基づいてユーザの非仮想環境と空間的関係をもってディスプレイ上に仮想表現を表示する段階とを含む。

種々の例示的なシステム及び方法を実施するための環境を示す。 特定の実施形態における、非透明ディスプレイ上のウインドウ作用を示す。 特定の実施形態における、非透明ディスプレイ上のウインドウ作用を示す。 特定の実施形態における、例示的デジタル装置のボックス図を示す。 特定の実施形態における、仮想表現、仮想コンテンツ、及びディスプレイを準備するための方法を示すフローチャートである。 特定の実施形態における、仮想表現及び仮想コンテンツを表示するための方法を示すフローチャートである。 特定の実施形態における、非透明ディスプレイ上のウインドウ作用を示す。 特定の実施形態における、層状の非透明ディスプレイ上のウインドウ作用を示す。 特定の実施形態における、デジタル装置のブロック図である。

本明細書の例示的なシステム及び方法により、ユーザは仮想環境と相互作用できる。種々の実施形態において、ディスプレイは、ユーザの非仮想環境に配置できる。ディスプレイは、ユーザの非仮想環境の少なくとも一部の仮想表現を描写できる。仮想表現は、ユーザが仮想表現を非仮想環境の一部として知覚できるように、ユーザの非仮想環境と空間的に位置合わせすることができる。例えば、ユーザは、ディスプレイを窓として見ることができ、ユーザは窓を通してディスプレイの向こう側に非仮想環境を知覚できる。また、ユーザは、非仮想環境の一部ではないディスプレイが描写する仮想コンテンツを見ること及び／又は相互作用することができる。その結果、ユーザは、非仮想環境を提供及び／又は増強する没入型仮想現実と相互作用できる。

１つの例示的システムにおいて、物理的空間の仮想表現（つまり「現実世界」環境）が構築される。また、現実の物理的空間の一部ではない仮想コンテンツを生成することができる。仮想コンテンツは、仮想表現と共に表示することができる。物理的空間の仮想表現の少なくとも一部が生成された後、物理的ディスプレイ又はモニタを物理的空間内に配置できる。ディスプレイは、ディスプレイの内容が物理的空間の一部として見えるように、物理的空間と空間的関係をもって仮想表現を表示する。

図１は、例示的なシステム及び方法を実施するための環境１００を示す。図１において、ユーザ１０２はユーザの非仮想環境１１０内に存在してディスプレイ１０４を見ている。図１において、ユーザの非仮想環境１１０はフォルクスワーゲン販売特約店のショールームフロアである。ユーザ視点から、ユーザの非仮想環境１１０のディスプレイ１０４の裏側には２００９ Ａｕｄｉ Ｒ８乗用車が存在する。

ディスプレイ１０４は、ユーザの非仮想環境１１０の仮想表現１０６、並びに付加的な仮想コンテンツ１０８ａ及び１０８ｂを描写する。ディスプレイ１０４は、ディスプレイ１０４の裏側にある少なくとも一部の仮想表現１０６を表示する。図１において、ディスプレイ１０４は、２００９ Ａｕｄｉ Ｒ８乗用車の一部の仮想表現を表示する。種々の実施形態において、ディスプレイ１０４は不透明（例えば、一般的なコンピュータ用モニタと同様）であり、非仮想環境（つまり、ユーザの非仮想環境１１０）の仮想現実（つまり、仮想表現１０６）を表示する。仮想表現１０６のディスプレイは、非仮想環境１１０と空間的に位置合わせすることができる。その結果、ディスプレイ１０４の全て又はその一部は、ユーザ１０４からは透明に見える場合がある。

ディスプレイ１０４は、５０インチ又はそれ以上のサイズを含む任意のサイズとすることができる。更に、ディスプレイは、仮想表現１０６及び／又は仮想コンテンツ１０８ａ及び１０８ｂを１５フレーム／秒又は３０フレーム／秒を含む任意のフレームレートで表示できる。

仮想現実は、コンピュータシミュレーション環境である。仮想表現は、現実の非仮想環境の仮想現実である。特定の実施形態において、仮想表現は情報を表示するよう構成された任意の装置に表示できる。特定の実施例において、仮想表現は、コンピュータ画面又は立体視ディスプレイでもって表示できる。また、仮想表現は、音（例えば、スピーカ又はヘッドフォンを介して）及び／又は触覚システムを介した触覚情報（例えば、力フィードバック）等の付加的な二次情報を含むことができる。

特定の実施形態において、ディスプレイ１０４の全て又はその一部は、ディスプレイ１０４の裏側の非仮想環境１１０の全て又はその一部を空間的に記録して追跡することができる。この情報は、次に仮想表現１０６を非仮想環境１１０に一致させて空間的に位置合わせするために利用できる。

特定の実施形態において、仮想コンテンツ１０８ａ−ｂは、仮想表現１０６内に表示することができる。仮想コンテンツはコンピュータシミュレーションされたものであり、非仮想環境の仮想表現とは異なり、非仮想環境内のディスプレイ裏側領域に直接存在しない、物体、人工物、画像、又は他のコンテンツを描写することができる。例えば、仮想コンテンツ１０８ａは語句「２００９ Ａｕｄｉ Ｒ８」であり、これはユーザの非仮想環境１１０のディスプレイ１０４裏側に存在する乗用車を特定することができ、仮想表現１０６に描写される。語句「２００９ Ａｕｄｉ Ｒ８」は、ユーザの非仮想環境１１０のディスプレイ１０４裏側には存在しない（例えば、ユーザ１０４はディスプレイ１０４の裏側を透かして見るのではなく、語句「２００９ Ａｕｄｉ Ｒ８」を見ることになる）。また、仮想コンテンツ１０８ａは、乗用車の仮想表現１０６上に広がるウインドラインを含む。ウインドラインは運転中に空気が乗用車上をどのように流れるかを描写することができる。仮想コンテンツ１０８ｂは、語句「４２０エンジン ＨＯＲＳＥＰＯＷＥＲ ＿０１ ０２３４３−２３２」を含み、これは乗用車のエンジンが４２０馬力であることを示すことができる。残りの数字は、乗用車を特定し、仮想表現１０６を特定し、又は他の任意の情報を示すことができる。

当業者であれば、仮想コンテンツは静的又は動的であり得ることを理解できるはずである。例えば、仮想コンテンツ１０８ａは、語句「２００９ Ａｕｄｉ Ｒ８」を静的に描写する。換言すれば、語句は仮想表現１０６内で移動又は変化しない。また、仮想コンテンツ１０８ａは、空気が乗用車上で弧を描くように動くよう表示することで動きをもったウインドライン等の動的要素を含むことができる。多かれ少なかれ、ウインドラインは任意の時間に描写することができる。

また、仮想コンテンツ１０８ａは仮想表現１０６と相互作用することができる。例えば、ウインドラインは、仮想表現１０６の乗用車に接触することができる。更に、鳥や他の動物は、乗用車と相互作用するように描写できる（例えば、乗用車上に着地する又は乗用車内に居る）。更に、仮想コンテンツ１０８ａは、乗用車のボンネットを開放してエンジンを見せる、又はドアを開放して乗用車の室内を見せる等の、仮想表現１０６において乗用車に変化を与えて描写することができる。ディスプレイ１０４は仮想表現１０６を描写するが透明ではなく、仮想コンテンツは、様々に表示を変えるため、仮想表現１０６の全て又はその一部を変更するため、又はそれと相互作用するために使用できる。

当業者であれば、仮想コンテンツが透明ディスプレイ内に見える物体と相互作用することは非常に難しいこと理解できるはずである。例えば、ディスプレイを透明としてディスプレイを通して乗用車を見えるようにすることができる。ディスプレイは、乗用車に着地した仮想の鳥を見せるようになっている。鳥と乗用車との間の相互作用を現実的に見せるためには、乗用車の一部をデジタル処理で描画して必要に応じて変更する必要がある（例えば、鳥が接近して着地する際の乗用車表面の光の変化を見せるために、反射を見せるために、及び鳥が着地したかのように重ね合わせて画像表示を行うために）。特定の実施形態において、非仮想環境の仮想表現によって、困難性を伴うことなく、仮想表現内で任意の仮想コンテンツを生成すること及び相互作用させることができる。

特定の実施形態において、仮想表現１０６の全て又はその一部は変更できる。例えば、仮想表現１０６における乗用車の背景及び前景は、異なる場所及び／又は走行環境において乗用車を描写するように変更できる。例えば、ディスプレイ１０４は、観光地（例えば、イエローストーン国立公園、タホ湖、山頂、又は海岸）で乗用車を表示できる。また、ディスプレイ１０４は、任意の状況及び／又は任意の明るさ（例えば、夜間、降雨、降雪、又は氷上）で乗用車を表示できる。

ディスプレイ１０４は、乗用車の走行環境を表示できる。例えば、乗用車は、田舎道、オフロード、又は都市部を走るように描写できる。特定の実施形態において、乗用車の仮想表現１０６と非仮想環境１１０の現実の乗用車との間の空間的関係（つまり、空間的位置合わせ）は、仮想コンテンツがどれだけ変化しても維持できる。別の実施形態において、乗用車は、乗用車の仮想表現１０６と現実の乗用車との間の空間的関係が維持されなくてもよい。例えば、仮想コンテンツは、乗用車の仮想表現１０６を描写することができる。非仮想環境１１０から「離脱」して、別の場所に移動してそこを走行することができる。この実施例において、乗用車の全て又は一部をディスプレイ１０４で描写することができる。当業者であれば、仮想コンテンツと仮想表現１０６とは任意の方法で相互作用できることを理解できるはずである。

図２は、特定の実施形態における非透明ディスプレイ２００上のウインドウ作用を示す。図２は、現実環境２０４（つまり、ユーザの非仮想環境）とユーザ２０６との間に非透明ディスプレイ２０２を備える。ユーザ２０６は、ディスプレイ２０２を見ることで、ユーザ２０６とは反対側のディスプレイ２０２の裏側の、現実環境の位置合わせされた仮想複製２０８（つまり、ユーザの非仮想環境の仮想表現）を知覚することができる。現実環境の仮想複製２０８は、ユーザ２０６がディスプレイ２０２を部分的に又は完全に透明として知覚できるように現実環境２０４と位置合わせされている。

特定の実施形態において、ユーザ２０６は、没入型仮想現実体験の一部としてディスプレイ２０２のコンテンツを見る。例えば、ユーザ２０６は、現実環境２０４の一部として環境の仮想複製２０８を観察することができる。仮想コンテンツは、情報（例えば、説明、テキスト、及び／又は画像）を加えるために環境の仮想複製２０８に追加することができる。

ディスプレイ２０２は任意のサイズ及び解像度の任意のディスプレイとすることができる。特定の実施形態において、ディスプレイは、５０インチに等しいかそれ以上であり、高解像度（例えば、１９２０ｘ１０８０）である。特定の実施形態において、ディスプレイ２０２は、平面パネルＬＥＤバックライトディスプレイである。

また、仮想コンテンツは環境の仮想複製２０８を変えるために使用できるが、変化は環境の仮想複製２０８で発生して、ユーザには現実環境２０４で起こるように見えるようになっている。例えば、ユーザ２０６は、映画館を入力してディスプレイ２０２を通して映画館を見ることができる。ディスプレイ２０２は、ディスプレイ２０２裏側（例えば、現実環境２０４）に売店の仮想表現を描写することで、環境の仮想複製２０８を示すことができる。ユーザの検出又は相互作用により、ディスプレイ２０２は、環境の仮想複製２０８内を歩行又は相互作用する映画の登場人物又は俳優を描写できる。例えば、ディスプレイ２０２は、現実環境２０４に実際には存在しないがポップコーンを購入するアンジェリーナ・ジョリーを表示できる。また、ディスプレイ２０２は、映画の登場人物が破壊した売店を表示できる（例えば、アイアンマンの映画からのアイアンマンが売店を破壊）。当業者であれば、仮想コンテンツは、ユーザに対して印象的に広告するため、情報を提供するため、及び／又は娯楽を提供するために、様々に使用できることを理解できるはずである。

種々の実施形態において、ディスプレイ２０２は、１つ又はそれ以上の顔追跡カメラ２１２ａ及び２１２ｂを備え、ユーザ２０６、ユーザの顔、及び／又はユーザの目を追跡してユーザの視点２１０を特定することもできる。当業者であれば、ユーザの視点２１０は多くのやり方で特定できることを理解できるはずである。ユーザの視点２１０が特定されると、環境の仮想複製２０８の空間的配置は、少なくとも一部において視点２１０に基づいて変更及び／又は規定できる。１つの実施例において、ディスプレイ２０２は、オブザーバの光学的視点（例えば、ユーザの目の絶対又は近似位置／方向）からの仮想表現を表示及び／又は描画することができる。

１つの実施例において、ディスプレイ２０２は、ユーザの存在を検出できる（例えば、ディスプレイ上のカメラ又は光センサによって）。ディスプレイ２０２は、環境の仮想複製をユーザ２０６に表示できる。ユーザ２０６の視点２１０を検出すると直ぐに又はそれに続いて、ディスプレイは、ユーザ２０６が知覚するディスプレイ２０２裏側の現実環境２０４により厳密に一致するように、環境の仮想複製２０８の配置を規定又は調整することができる。環境の位置合わせされた仮想複製２０８と現実環境２０４との間の空間的関係を変更することで、ユーザ２０６は、環境の仮想複製２０８が現実環境２０４として見える、高度な（例えば、没入できる及び／又は強化された）体験をすることができる。例えば、窓の一方側（例えば、窓の左側）から外を見る人が窓の他方側の環境の知覚に劣るのと同様に、ディスプレイ２０２の一方側に立つユーザ２０６は、環境の仮想複製２０８の一方側をより知覚することができるが環境の仮想複製２０８の他方側の知覚は劣る。

特定の実施形態において、ディスプレイ２０２は、所定の間隔で連続的に仮想表現を非仮想環境に対して位置合わせすることができる。例えば、所定の間隔は、１５フレーム／秒と同じか又はそれ以上とすることができる。所定の間隔は任意である。

また、仮想コンテンツはユーザ２０６と相互作用することができる。１つの実施例において、ディスプレイ２０２は、マルチタッチ面等のタッチ面を備えることができ、ユーザはディスプレイ２０２及び／又は仮想コンテンツと相互作用できる。例えば、仮想コンテンツは、ユーザが画面に触ることでオプション又はリクエスト情報を選択できるメニューを表示することがでる。特定の実施形態において、ユーザ２０６は、ディスプレイに触って仮想コンテンツをディスプレイ２０２の一部分から他の部分に「押し動かす」ことで、仮想コンテンツを動かすこともできる。当業者であれば、ユーザ２０６が任意の種々の方法でディスプレイ２０２及び／又は仮想コンテンツと相互作用できることを理解できるはずである。

仮想表現及び／又は仮想コンテンツは三次元とすることができる。特定の実施形態において、ディスプレイ２０２に描画された三次元の仮想表現及び／又は仮想コンテンツにより、実際にディスプレイ２０２上の全てのコンテンツが１つ又はそれ以上の三次元グラフィックスエンジンで描画できる場合、仮想コンテンツが現実の物理的環境と共存すると知覚できる。周囲の物理的環境の三次元複製は、従来の三次元コンピュータグラフィック技術によって、又はコンピュータビジョン又はステレオ写真技術を用いて二次元ビデオを元に三次元空間を推定する技術によって生成又は取得することができる。いずれの技術も排他的ではなく両者を一緒に使用して所定の環境の全て又はその一部を複製することができる。場合によっては、より完全に三次元形状又は模様を描画するために複数のビデオ入力を使用できる。

図３は、特定の実施形態における非透明ディスプレイ３００上のウインドウ作用を示す。図３は、現実環境３０４（つまり、ユーザの非仮想環境）とユーザ３０６との間にディスプレイ３０２を備える。ユーザ３０６は、ディスプレイ３０２を見ることで、ディスプレイ３０２の裏側の、現実環境の位置合わせされた仮想複製３０８（つまり、ユーザの非仮想環境の仮想表現）を知覚することができる。現実環境の仮想複製３０８は、ユーザ３０６がディスプレイ３０２を部分的に又は完全に透明として知覚できるように現実環境３０４に対して位置合わせされる。例えば、現実環境３０４のランプは、ユーザから見て部分的にディスプレイ３０４の裏側にある。ユーザ３０６は、ディスプレイ３０２の右側に物理的なランプの一部を見ることができる。しかしながら、ランプの隠された部分は、環境の仮想複製３０８内に可視的に描写できる。ランプの仮想部分と可視部分とが現実環境３０４の同じ物理的ランプの一部分として見えるように、仮想的に描写されたランプ部分は、現実環境３０４におけるランプの可視部分と位置合わせすることができる。

環境の仮想複製３０８と現実環境３０４との間の位置合わせは、ユーザの視点３０６に基づくことができる。特定の実施形態において、ユーザの視点３０６は追跡できる。例えば、ディスプレイは１つ又はそれ以上の顔追跡カメラ３１２を備えるか又はこれを結合することができる。カメラ３１２は、ユーザ及び／又はディスプレイ３０２の前方部の方を向くことができる。カメラは、ユーザの視点３０６を特定するために使用できる（つまり、追跡されたユーザ３０６の視点３１０を特定するために使用できる）。カメラは、ＰＳ３ Ｅｙｅ又はＰｏｉｎｔ Ｇｒｅｙ Ｆｉｒｅｆｌｙモデルを含むがこれらに限定されない、任意のカメラとすることができる。

また、カメラは、ユーザ３０６のディスプレイ３０２への接近を検出できる。その後、ディスプレイは、少なくとも部分的にディスプレイの近くに立つユーザ３０６の視点に基づいて、仮想表現（つまり、環境の仮想複製３０８）を非仮想環境（つまり、現実環境３０４）に対して調整又は再調整できる。例えば、ディスプレイ３０２から１０フィート又はそれ以上の距離に立つユーザ３０６は、非仮想環境の細部の知覚に劣るであろう。従って、１０フィートのユーザ３０６を検出した後、ディスプレイ３０２は、ユーザの知覚から、部分的にユーザの接近及び／又は視点に基づいて、環境の仮想複製３０８を生成して現実環境３０４に対して空間的に位置合わせすることができる。

図３ではカメラ３１２を「顔追跡」用と特定したが、カメラ３１２は、ユーザ３０６の顔を追跡する必要はない。例えば、カメラ３１２は、ユーザの存在及び／又は全体位置を検出することができる。何らかの情報を使用してユーザの視点３０６を特定することができる。特定の実施形態において、カメラは、ユーザ３０６の顔、目、又は全体的な方向を検出できる。当業者であれば、ユーザの視点３０６の追跡は、実際のユーザの視点に近似することを理解できるはずである。

特定の実施形態において、ディスプレイ３０２は、仮想物体３１４等の仮想コンテンツをユーザ３０６に表示することができる。１つの実施例において、仮想物体３１４は飛行中の鳥である。鳥は、図３から分かるように現実環境３０４には存在せず、仮想物体３１４の翼はディスプレイ３０２の上端まで延びているが、ディスプレイ３０２上方の現実環境３０４には現れない。種々の実施形態において、仮想コンテンツのディスプレイは、部分的に、ユーザ３０６の視点及び／又は接近に基づくことができる。例えば、ユーザ３０６がディスプレイ３０２の近くに立つと、仮想物体３１４は、ユーザ３０６がディスプレイ３０２からある距離を置いて（例えば、１５フィート）立つ場合よりも大きく、様々な明るさで、及び／又はより詳細に（例えば、鳥の羽毛がより詳細に）描写される。種々の実施形態において、ディスプレイ３０２は、部分的に、ユーザの接近及び／又は視点３０６に基づいて、鳥の大きさ、明るさ、質感、及び／又は詳細レベルを表示できる。ユーザの接近及び／又は視点３０６は、限定されるものではないが、カメラ、光検出器、レーダー、レーザー測距等を含む任意の装置で検出できる。

図４は、特定の実施形態における例示的なデジタル装置４００のボックス図である。デジタル装置４００はプロセッサ及びメモリを備える任意の装置である。特定の実施例において、デジタル装置は、コンピュータ、ラップトップ型、デジタル電話、スマートフォン（例えば、ｉＰｈｏｎｅ又はＭ１）、ネットブック、携帯端末、セットトップボックス（例えば、衛星、ケーブル、地上波、及びＩＰＴＶ）、デジタルレコーダ（例えば、Ｔｉｖｏ ＤＶＲ）、ゲーム機（例えば、Ｘｂｏｘ）等とすることができる。デジタル装置については図９を参照して更に説明する。

種々の実施形態において、デジタル装置４００はディスプレイ３０２に接続できる。例えば、デジタル装置４００は、１つ又はそれ以上の配線（例えば、ビデオケーブル、イーサネットケーブル、ＵＳＢ、ＨＤＭＩ、ディスプレイポート、コンポーネント、ＲＣＡ、又はファイヤーワイヤ）を用いて、又は無線でディスプレイ３０２に接続できる。特定の実施形態において、ディスプレイ３０２は、デジタル装置４００（例えば、デジタル装置４００の全て又はその一部がディスプレイ３０２の一部である）を含むことができる。

デジタル装置４００は、ディスプレイ・インターフェースモジュール４０２、仮想表現モジュール４０４、仮想コンテンツモジュール４０６、視点モジュール４０８、及び仮想コンテンツデータベース４１０を備えることができる。モジュールは、ソフトウェア、ハードウェア、ファームウェア、又は電気回路を単独で又は組み合わせて備えることができる。

ディスプレイ・インターフェースモジュール４０２は、ディスプレイ３０２と通信すること及び／又は制御することができる。種々の実施形態において、デジタル装置４００はディスプレイ３０２を駆動ことができる。例えば、ディスプレイ・インターフェースモジュール４０２は、ディスプレイ３０２上に仮想環境及び仮想コンテンツを表示するようになった駆動回路を備えることができる。特定の実施形態において、ディスプレイ・インターフェースモジュールは、ディスプレイ３０２を駆動及び／又は制御するために使用できるビデオボード及び／又は他のハードウェアを備える。

特定の実施形態において、ディスプレイ・インターフェースモジュール４０２は、他の種類の入力装置用のインターフェースを備えることもできる。例えば、ディスプレイ・インターフェースモジュール４０２は、マウス、キーボード、スキャナ、カメラ、触覚フィードバック装置、音響装置、又は任意の他の装置からの信号を受信するように構成できる。種々の実施形態において、デジタル装置４００は、本明細書で説明するようなディスプレイ・インターフェースモジュール４０２からの信号に基づいて仮想コンテンツを変更又は生成することができる。

種々の実施形態において、ディスプレイ・インターフェースモジュール４０２は、ディスプレイ３０２上に特別なメガネ類を用いて又は用いることなく三次元画像を表示するように構成できる（例えば、マーカーを使用して追跡する）。１つの実施例において、デジタル装置４００が生成した仮想表現及び／又は仮想コンテンツは、ユーザが知覚できる三次元画像としてディスプレイ上に表示できる。

仮想表現モジュール４０４は仮想表現を生成できる。種々の実施形態において、非仮想環境の動的環境マップは、広角レンズを備えたビデオカメラを使用して、又は球形ミラーボールに狙いを定めたビデオカメラを使用して取り込むことができ、明暗、反射、屈折、及び画面輝度を現実の物理的環境の変化に組み込むことが可能になる。更に、動的物体の位置及び方向は、非仮想世界の動的表示位置又は動的空間物体位置等の物体の位置及び／又は方向を取り込むことができる追跡マーカー及び／又はセンサにより取得できるので、これらの物体は仮想表現の描画に適当に組み込むことができる。

更に、プログラマは、非仮想環境のデジタル写真を使用して仮想表現を生成できる。また、アプリケーションは、デジタルカメラ又はスキャナからデジタル写真を受信して全ての又は一部の仮想現実を生成できる。特定の実施形態において、１人又はそれ以上のプログラマは、特定の実施例において明暗や質感等を含む仮想表現をコード化する。プラグラマと一緒になって又はその代わりに、アプリケーションを使用して仮想表現を生成する何らかの又は全ての手順を自動化できる。仮想表現モジュール４０４は、ディスプレイ・インターフェースモジュール４０２によりディスプレイ上に仮想表現を生成できる。

特定の実施形態において、仮想表現は、関連の非仮想環境における光源に近似したものを使用して照らすことができる。同様に、陰影及び影は、関連の非仮想環境で見える陰影及び影と同様の方法で仮想表現に表示できる。

仮想コンテンツモジュール４０６は、仮想表現に関連して表示される仮想コンテンツを生成できる。種々の実施形態において、プログラマ及び／又はアプリケーションは仮想コンテンツを生成する。仮想表現を様々に変更する仮想コンテンツを生成又は追加できる。仮想コンテンツは、仮想表現の陰影、影、明暗、又は任意の部分を変更又は追加するために使用できる。仮想コンテンツモジュール４０６は、仮想コンテンツを作成、表示、及び／又は生成できる。

また、仮想コンテンツモジュール４０６は、ユーザからの相互作用の指示を受信してその相互作用に応答することができる。１つの実施例において、仮想コンテンツモジュール４０６は、ユーザの相互作用（例えば、タッチスクリーン、キーボード、マウス、ジョイスティック、ジェスチャー、又は仮想コマンドによる）を検出できる。その後、仮想コンテンツモジュール４０６は、仮想コンテンツを変更、追加、又は移動させることが応答する。例えば、仮想コンテンツモジュール４０６は、メニュー並びにメニューオプションを表示できる。ユーザから相互作用の指示を受信すると、仮想コンテンツモジュール４０６は、特定の機能を実行すること及び／又は表示を変更することができる。

１つの実施例において、仮想コンテンツモジュール４０６は、ジェスチャーベースシステムによってユーザの相互作用を検出するよう構成できる。特定の実施形態において、仮想コンテンツモジュール４０６は、１人又はそれ以上のユーザを監視する１つ又はそれ以上のカメラを備える。ユーザのジェスチャーに基づいて、仮想コンテンツモジュール４０６は仮想表現に仮想コンテンツを追加できる。例えば、映画館において、ユーザは、自身の非仮想環境の劇場ロビーの仮想表現を見ることができる。ユーザからの指示を受信すると、仮想コンテンツモジュール４０６は仮想表現の全体像を変更するので、ユーザはまるでアイアンマン等の映画の登場人物であったかのように仮想表現を見ることができる。その後、ユーザは、ジェスチャー又は他の入力により仮想表現及び仮想コンテンツと相互作用できる。例えば、ユーザは、アイアンマンになったかのようにガントレットからのリパルサーを用いて劇場ロビーの仮想表現を爆破できる。仮想コンテンツは、劇場ロビーの仮想表現が損傷又は破壊されたように見えるよう、仮想表現を変更できる。当業者であれば、想コンテンツモジュール４０６は、任意の種々の方法で仮想コンテンツを追加又は移動できることを理解できるはずである。

種々の実施形態において、仮想コンテンツモジュール４０６は、動物、自動車、又は現実表現内の又はこれと相互作用する任意の物体等の「現実」又は非仮想物体を描写できる。仮想コンテンツモジュール４０６は、照明と仮想表現の任意の部分との間を通る仮想物体の照明及び／又は影効果を複製できる。１つの実施例において、物体（つまり、遮蔽物体）の形状は、ステレオカメラのコンピュータ視覚解析で生成される又は飛行時間型レーザー走査カメラから入力されるリアルタイムＺ−デプスマットを用いて仮想コンテンツモジュール４０６で計算できる。

また、仮想コンテンツモジュール４０６は反射を追加できる。１つの実施例において、仮想コンテンツモジュール４０６は、リアルタイムＺ−デプスマットを用いて（例えば、１つ又はそれ以上の前方へ向いたカメラで撮影した）ビデオからディスプレイの前のユーザ等の前景物体を抽出して、この画像を、仮想表現内でこれと関連して使用されるリアルタイム反射／環境マップに組み込むことができる。

仮想コンテンツモジュール４０６は、全て三次元で非仮想環境と共に仮想コンテンツを描画できる。このために、仮想コンテンツモジュール４０６は、Ｚ−デプス・ナチュラルオクルージョンをその物理的対照物と視覚的に適合する方法で仮想コンテンツに加えることができる。物理的物体が別の物理的物体と視聴者との間を通る場合、物理的物体とその仮想対照物は、より遠い物体及びその仮想対照物を遮るか又はその前方を通過するように見える。

特定の実施形態において、物理的なディスプレイは、ヒューマン視覚システムの光学レンズ収差を再現できる三次元描画方式を利用できる。１つの実施例において、仮想表現モジュール４０４及び／又は仮想コンテンツモジュール４０６は、光が湾曲レンズを通って（例えば、瞳孔（開口）を通って）移動する間にどのように屈曲して網膜上へ描画されるかを利用し、三次元空間及び光学収差アルゴリズムを用いて仮想的にシミュレートできる。

視点モジュール４０８は、ユーザの視点を検出及び／又は特定するよう構成できる。本明細書で説明するように、視点モジュール４０８は、１つ又はそれ以上のカメラ、光検出器、レーザー測距検出器、及び／又は他のセンサを含むか又はそこからの信号を受信することができる。特定の実施形態において、視点モジュール４０８は、ディスプレイの近くにユーザが存在することを検出することで視点を特定できる。１つの実施例において、視点は、ディスプレイの所定範囲のユーザに対しては固定できる。別の実施形態において、視点モジュール４０８は、ユーザの位置、ディスプレイへの接近度、顔追跡、視線追跡、又は他の技術によって視点を特定できる。その後、視点モジュール４０８は、ユーザの可能性のある又は近似の視点を特定できる。視点モジュール４０８が特定した視点に基づいて、仮想表現モジュール４０４及び／又は仮想コンテンツモジュール４０６は、ユーザ視点から仮想表現が非仮想環境に対して空間的に位置合わせされるように、仮想表現及び仮想コンテンツを変更又は位置合わせできる。

１つの実施例において、ユーザが、ディスプレイに対して垂直方向に接近すると仮想表現への視野角は広くなるが、逆に、ユーザが遠ざかると視野角は狭くなる。そのため、仮想表現モジュール４０４及び／又は仮想コンテンツモジュール４０６のコンピュータ要件は、広い視野角に対して大きい。要件を視聴経験に影響を与えない方法でこれらの付加的な要件に対処するために、仮想表現モジュール４０４及び／又は仮想コンテンツモジュール４０６は、ヒューマン視覚システムの特性に基づいた適切な方策を採用できる。網膜上の受容体の円形低下に起因する人間の視覚特性の低下を模倣する、視覚的複雑性の円錐低下に基づく適切な方策は、任意の所定シーン内の描画コンテンツの動的複雑性に対処するために採用できる。視軸（視聴者の目に対して垂直に延びる）の近くに見えるコンテンツは、最大の複雑性／詳細レベルで描画できるので、進歩的ステップで、視軸からの距離が大きくなるに従い複雑性／詳細レベルを低減できる。この複雑性の低下を動的に管理することで、仮想表現モジュール４０４及び／又は仮想コンテンツモジュール４０６は、狭い視野角及び広い視野角の両方にわたり視覚連続性を保つことができる。

特定の実施形態において、顔追跡カメラ位置が設定されると、推定された三次元中心点は、リアルタイムに評価するためにカメラ画像のビデオコンポジットと共に視点モジュール４０８に送ることができる。コンピュータ視覚技術を利用して、視点モジュール４０８は、三次元中心点に対するユーザの顔の三次元位置及び三次元方向の値を求めることができる。これらの値は、視聴者の視点／目の未処理の位置と見なすことができ、仮想表現及び／又は仮想コンテンツの全て又はその一部が描画されるグラフィックエンジン（例えば、仮想表現モジュール４０４及び／又は仮想コンテンツモジュール４０６）へ送ることができ、仮想視点の三次元位置が定まる。特定の実施形態において、ユーザはメガネ類を装着して、顔の中の視点の追跡及び生成を助けることができる。

当業者であれば、位置、顔の方向、目の方向等の変化に基づいてユーザの視点の変化を連続して検出できることを理解できるはずである。視点の変化に応答して、仮想表現モジュール４０４及び仮想コンテンツモジュール４０６は、仮想表現及び／又は仮想コンテンツを変更できる。

種々の実施形態において、仮想表現モジュール４０４及び／又は仮想コンテンツモジュール４０６は、１つ又はそれ以上の三次元画像を生成して（例えば、仮想表現及び／又は仮想コンテンツの三次元位置、方向を空間的に位置合わせ及び調整）、スケール調整することができる。仮想表現及び仮想コンテンツの両者を含む仮想世界の全て又はその一部は、原寸で示すことができ、人間の大きさに関連することができる。

仮想コンテンツデータベース４１０は任意のデータ構造であり、仮想表現及び／又は仮想コンテンツの全て又は一部を格納するように構成される。仮想コンテンツデータベース４１０は、本明細書で説明するようにコンピュータ可読媒体を備えることができる。特定の実施形態において、仮想コンテンツデータベース４１０は、仮想表現の全て又は一部及び／又は仮想コンテンツの全て又は一部を生成するようになっている実行可能命令（例えば、プログラミングコード）を格納する。仮想コンテンツデータベース４１０は、単一のデータベース又は任意数のデータベースとすることができる。仮想コンテンツデータベース４１０のデータベースは、任意数のデジタル装置４００内に存在できる。特定の実施形態において、仮想コンテンツデータベース４１０に格納される異なる実行可能命令は異なる機能を実行する。例えば、実行可能命令のいくつかは仮想表現及び／又は仮想コンテンツに対して陰影を付ける、模様を付ける、及び／又は明暗を付けることができる。

図４には単一のデジタル装置４００が示されているが、当業者であれば、任意数のデジタル装置は任意数のディスプレイと通信できることを理解できるはずである。１つの実施例において、３つの異なるデジタル装置４００は、単一ディスプレイの仮想表現及び／又は仮想コンテンツの表示に関わることができる。デジタル装置４００は、ディスプレイに直接接続すること及び／又は相互に接続することができる。別の実施形態において、デジタル装置４００は、ネットワーク経由でディスプレイに接続すること及び／又は相互に接続することができる。ネットワークは、有線ネットワーク、無線ネットワーク、又はその両者とすることができる。

図４は例示的であることを理解されたい。代替の実施形態は、より多い、より少ない、又は機能的に等価なモジュールを備えることができるが依然として本実施形態の範疇にある。例えば、仮想表現モジュール４０４の機能は仮想コンテンツモジュール４０６の機能と結合できる。当業者であれば、デジタル装置４００内には任意数のモジュールが存在できることを理解できるはずである。

図５は、特定の実施形態による、仮想表現、仮想コンテンツ、及びディスプレイを準備する方法を示すフローチャートである。ステップ５０２において、非仮想環境に関する情報を受信する。特定の実施形態において、仮想表現モジュール４０４は、デジタル写真、デジタル画像、又は任意の他の情報の形態で情報を受信する。非仮想環境の情報は任意の装置（例えば、画像／映像取り込み装置、センサ等）から受信でき、その後、特定の実施形態において仮想コンテンツデータベース４１０に格納できる。また、仮想表現モジュール４０４は、仮想表現を生成するアプリケーション及び／又はプログラマからの出力を受信する。

ステップ５０４において、ディスプレイの配置を決定する。相対的配置により、可能性のある視点及びステップ５０６における仮想表現を生成できる空間が決まる。別の実施形態において、ディスプレイの配置を決定せずに非仮想環境の多くを仮想表現として生成して必要に応じて再生することができる。

ステップ５０８において、仮想表現モジュール４０４は、仮想コンテンツデータベース４１０で受信及び／又は格納された情報に基づいて、非仮想環境の仮想表現を生成又は作成することができる。特定の実施形態において、プログラマ及び／又はアプリケーションは仮想表現を生成できる。仮想表現は二次元又は三次元とすることができ、非仮想環境に合致する方法で仮想表現を表示できる。仮想表現は仮想コンテンツデータベース４１０に格納できる。

ステップ５１０において、仮想コンテンツモジュール４０６は仮想コンテンツを生成できる。種々の実施形態において、プログラマ及び／又はアプリケーションは、仮想コンテンツの機能、描写、及び／又は相互作用を決定できる。その後、仮想コンテンツを生成して仮想コンテンツデータベース４１０に格納できる。

ステップ５１２において、ディスプレイを非仮想環境に置くことができる。ディスプレイは、デジタル装置１０２に接続すること又はそれを備えることができる。特定の実施形態において、ディスプレイは、デジタル装置１０２のモジュール及び／又はデータベースの全て又はその一部を備えることができる。

図６は、特定の実施形態における、仮想表現及び仮想コンテンツを表示するための方法のフローチャートである。ステップ６０２において、ディスプレイは、非仮想環境と空間的な関係でもって仮想表現を表示する。特定の実施形態において、ディスプレイ及び／又はデジタル装置１０２は、ユーザの可能性のある位置を特定して、ユーザ視点の可能性のある位置に基づいて仮想表現を生成する。仮想表現は、非仮想環境に非常に近似している（例えば、三次元、写実的表現）。別の実施形態において、仮想表現は、二次元として、又はイラスト又はアニメの一部として見ることができる。当業者であれば、仮想表現は多数の他の方法で表示できることを理解できるはずである。

ステップ６０４において、ディスプレイは、仮想表現内に仮想コンテンツを表示できる。例えば、仮想コンテンツは、本明細書で説明するように、仮想表現内にテキスト、画像、物体、動物、又は任意の描写を示すことができる。

ステップ６０６において、ユーザの視点を特定できる。１つの実施例においてユーザを検出する。また、ユーザ視点の近似値は、カメラ、センサ、又は他の追跡技術で特定できる。特定の実施形態において、ユーザに対してディスプレイの前方領域に立つように指し示して、ユーザの近接効果及び視点の不一致を制限できる。

ステップ６０８において、仮想表現は、近似の又は実際のユーザ視点に基づいて非仮想環境に対して空間的に位置合わせすることができる。特定の実施形態において、ディスプレイが仮想表現及び／又は仮想コンテンツを再度位置合わせする場合、ディスプレイは、仮想表現及び／又は仮想コンテンツの空間的位置を徐々に変化させて、ユーザの経験を混乱させる不快な動きを防止できる。その結果、仮想表現及び／又は仮想コンテンツの表示は、正しく位置合わせされるまでゆっくりと進む。

ステップ６１０において、仮想表現モジュール４０４及び／又は仮想コンテンツモジュール４０６は、ディスプレイと相互作用するユーザからの入力を受信する。入力は、音響入力、ジェスチャー、ディスプレイ上へのタッチ、ディスプレイ上へのマルチタッチ、ボタン、ジョイスティック、マウス、キーボード、又は任意の他の入力の形態とすることができる。種々の実施形態において、仮想コンテンツモジュール４０６は、本明細書で説明するように、ユーザ入力に応答するよう構成できる。

ステップ６１２において、仮想コンテンツモジュール４０６は、ユーザの相互作用に基づいて仮想コンテンツを変更できる。例えば、仮想コンテンツモジュール４０６は、ユーザが付加的な機能を実行する、情報を提供する、又は仮想コンテンツを操作することを可能にするメニューオプションを表示できる。

図７は、特定の実施形態における、非透明ディスプレイ７００上のウインドウ作用を示す。特定の実施形態において、ディスプレイは、可動型、ハンドヘルド型、携帯型、移動型、回転型、及び／又は頭部装着型とすることができる。非動的、固定配置ディスプレイの場合、物理的及び対応する仮想的位置決めポイントに対するディスプレイの三次元位置及び三次元方向は、ディスプレイの初期設定中に手動で校正できる。動的、移動型ディスプレイの場合、三次元位置及び三次元方向は、追跡技術を利用して取得できる。顔追跡カメラの位置及び方向は、一度ディスプレイに関する数値データが設定されると推定できる。

図７は現実環境７０６（つまり、ユーザの非仮想環境）とユーザ７０４との間に非透明ディスプレイ７０２を備える。ユーザ７０４は、ディスプレイ７０２を見てディスプレイ７０２裏側の現実環境の位置合わせされた仮想複製７０８（つまり、ユーザの非仮想環境の仮想表現）を知覚できる。現実環境の仮想複製７０８は、現実環境７０６に位置合わせされているので、ユーザ７０４は、ディスプレイ７０２を部分的に又は完全に透明のものとして知覚できる。

特定の実施形態において、携帯型ディスプレイ７０２の位置及び／又は方向は、ディスプレイ７０２内のハードウェア（例えば、ＧＰＳ、コンパス、加速計及び／又はジャイロスコープ）及び／又は発信器により特定できる。１つの実施例において、追跡発信器／受信器７１２ａ及び７１２ｂは現実環境７０６に配置できる。追跡発信器／受信器７１２ａ及び７１２ｂは、追跡マーカー７１２を使用してディスプレイ７０２の位置及び／又は方向を特定できる。当業者であれば、ディスプレイ７０２の位置及び／又は方向は、追跡マーカー７１２を使用して又は使用することなく特定できることを理解できるはずである。この情報を用いて、ディスプレイ７０２は、空間的関係が保たれるように、環境の仮想複製７０８の位置の修正を行うことができる。同様に、矛盾がないように仮想コンテンツの変更を行うことができる。特定の実施形態において、ディスプレイ７０２は、追跡発信器／受信器７１２ａ及び７１２ｂ及び／又は顔追跡カメラ７１０ａ及び７１０ｂから受信した信号に基づいて、ユーザの視点を特定する。

図８は、特定の実施形態における、層状非透明ディスプレイ８００のウインドウ作用を示す。任意数のディスプレイは相互作用して、ユーザ８０２に新しい体験を提示できる。図８は、非透明の前景ディスプレイ８０４ａ及び非透明の背景ディスプレイ８０４ｂを含む２つのディスプレイを示す。ユーザ８０２は、前景ディスプレイ８０４ａの前に位置することができる。前景ディスプレイ８０４ａは、２つのディスプレイの間の非仮想環境、並びに背景ディスプレイ８０４ｂの仮想表現及び／又は仮想コンテンツの両方の仮想表現を表示できる。背景ディスプレイ８０４ｂは仮想コンテンツだけを表示でき、背景ディスプレイ８０４ｂ裏側の非仮想環境の仮想表現、又は仮想表現と仮想コンテンツを組み合わせたものを表示できる。

特定の実施形態において、非仮想環境の一部は、２つのディスプレイの間、並びに背景ディスプレイ８０４ｂ裏側とすることができる。例えば、乗用車が２つのディスプレイの間に存在する場合、ユーザは、乗用車の仮想表現を背景ディスプレイ８０４ｂではなく前景ディスプレイ８０４ａに知覚できる。例えば、ユーザ８０２が前景ディスプレイ８０４ａの周りを見回した場合、ユーザは、背景ディスプレイ８０４ｂの仮想表現内ではなく、背景ディスプレイ８０４ｂの前の非仮想環境内に乗用車を知覚できる。特定の実施形態において、背景ディスプレイ８０４ｂは景色又は立地を示す。例えば、乗用車が２つのディスプレイの間に存在する場合、前景ディスプレイ８０４ａは、走行中の乗用車を示すための仮想表現及び仮想コンテンツを表示できるが、背景ディスプレイ８０４ｂは、レーストラック、海岸線、山、又は牧草地等の背景シーンを示すことができる。

特定の実施形態において、背景ディスプレイ８０４ｂは前景ディスプレイ８０４ａよりも大型である。背景ディスプレイ８０４ｂのコンテンツは、前景ディスプレイ８０４ａのコンテンツと空間的に位置合わせできるので、ユーザは、小型の前景ディスプレイ８０４ａの周りに及び／又は上側に大型の背景ディスプレイ８０４ｂを知覚してより没入した体験を得ることができる。

特定の実施形態において、仮想コンテンツは一方のディスプレイに描写して、他方には描写しないことができる。例えば、２つの間の鳥等のコンテンツ８１０は前景ディスプレイ８０４ａに描写できるが、背景ディスプレイ８０４ｂ上では見ることができない。特定の実施形態において、仮想コンテンツは両方のディスプレイ上に描写できる。例えば、机上のランプ等の位置合わせされた仮想コンテンツ８０８は、背景ディスプレイ８０４ｂ及び前景ディスプレイ８０４ａの両方に表示できる。その結果、ユーザは、位置合わせされた仮想コンテンツ８０８を両方のディスプレイの裏側に知覚できる。

種々の実施形態において、ユーザ８０２の視点８０６が特定される。特定された視点８０６は両方のディスプレイで利用して、空間的位置を相互に及びユーザの視点８０６と矛盾がないように変更できる。ユーザの視点８０６は両方のディスプレイに関して異なるので、視点の影響は両方のディスプレイ上の仮想表現及び／又は仮想コンテンツについて特定できる。

当業者であれば、両方のディスプレイが１つ又はそれ以上のデジタル装置４００を共有できる（例えば、１つ又はそれ以上のデジタル装置２０２は、両方のディスプレイ上の仮想表現及び／又は仮想コンテンツの生成、制御、及び／又は調整できる）ことを理解できるはずである。特定の実施形態において、一方又は両方のディスプレイは、１つ又はそれ以上の別のデジタル装置４００と通信できる。

図９は例示的なデジタル装置９００のブロック図である。デジタル装置９００は、バス９１４で通信可能に接続された、プロセッサ９０２、メモリシステム９０４、ストレージシステム９０６、通信ネットワークインターフェース９０８、Ｉ／Ｏインターフェース９１０、及びディスプレイインターフェース９１２を備える。プロセッサ９０２は実行可能命令（例えば、プログラム）を実行するようになっている。特定の実施形態において、プロセッサ９０２は、実行可能命令を処理できる電気回路又は任意のプロセッサとすることができる。

メモリシステム９０４はデータを格納できる任意のメモリである。メモリシステム９０４の特定の実施例はＲＡＭ又はＲＯＭ等の格納デバイスである。メモリシステム９０４は、ＲＡＭキャッシュを含むことができる。種々の実施形態において、データはメモリシステム９０４内に格納される。メモリシステム９０４内のデータは、消去すること又は最終的には格納システム９０６に転送することができる。

格納システム９０６はデータを読み出して格納するようになった任意のストレージである。格納システム９０６の特定の実施例は、フラッシュデバイス、ハードデバイス、光デバイス、及び／又は磁気テープである。特定の実施形態において、デジタル装置９００は、ＲＡＭ形式のメモリシステム９０４及びフラッシュデバイス形式の格納システム９０６を含む。メモリシステム９０４及び格納システム９０６の両方は、プロセッサ９０２を含むコンピュータプロセッサで実行可能な命令又はプログラムを格納できるコンピュータ読取可能媒体を含む。

通信ネットワークインターフェース（ＣＯＭ．ネットワークインターフェース）９０８は、リンク９１６経由でネットワーク（例えば、通信ネットワーク１１４）に接続可能である。通信ネットワークインターフェース９０８は、例えば、イーサネット接続、シリアル接続、パラレル接続、又はＡＴＡ接続上の通信をサポートできる。また、通信ネットワークインターフェース９０８は、無線通信をサポートできる（例えば、８０２．１１ ａ／ｂ／ｇ／ｎ、ＷｉＭａｘ）。当業者であれば、通信ネットワークインターフェース９０８が多くの有線又は無線基準をサポートすることを理解できるはずである。

随意的な入力／出力（Ｉ／Ｏ）インターフェース９１０は、ユーザからの入力を受信してデータを出力する任意のデバイスである。随意的なディスプレイインターフェース９１２は、ディスプレイに画像及びデータを出力するようになった任意のデバイスである。１つの実施例において、ディスプレイインターフェース９１２はグラフィックスアダプタである。

当業者であれば、デジタル装置９００のハードウェア構成要素は図９に示すものに限定されないことを理解できるはずである。デジタル装置９００は、程度の差はあれ図示のハードウェア構成要素を含む。更に、各ハードウェア構成要素は機能を共有でき、依然として本明細書に記載の種々の実施形態に含まれる、１つの実施例において、符号化及び／又は復号化は、プロセッサ９０２及び／又はＧＰＵ（つまり、Ｎｖｉｄｉａ）に配置されるコプロセッサで行うことができる。

前述の機能及び構成要素は、コンピュータ可読媒体等の格納媒体に格納される命令を含むことができる。命令は、プロセッサが読み出して実行できる。命令の特定の実施例は、ソフトウェア、プログラムコード、及びファームウェアである。格納媒体の特定の実施例は、メモリデバイス、テープ、ディスク、集積回路、及びサーバである。命令は、プロセッサによって実行される時に、プロセッサが本発明の実施形態に従って動作するようにさせることで実行可能である。

本発明は、前記の例示的実施形態を参照して説明される。当業者であれば、本発明の広い範囲から逸脱することなく種々の変更を行うこと及び別の実施形態を使用できることを理解できるはずである。従って、例示的な実施形態におけるこれら又は他の変更は本発明でカバーされることが意図されている。

Claims (20)

1. ユーザの非仮想環境の仮想表現を生成する段階と、
   非仮想環境におけるディスプレイに対するユーザの視点を特定する段階と、
   ディスプレイを用いてユーザの視点に基づいてユーザの非仮想環境と空間的関係をもって仮想表現を表示する段階と、
   前記ディスプレイを用いて前記ユーザの視点に基づいて前記ユーザの非仮想環境と空間的関係をもって前記仮想表現を表示する段階と、
   から構成されることを特徴とした仮想環境と相互作用するための方法。
2. 前記ユーザの非仮想環境に対して前記ディスプレイを配置する段階を更に含む、請求項１に記載の方法。
3. 前記ディスプレイは非透明である、請求項１に記載の方法。
4. 前記ユーザの非仮想環境の前記仮想表現を生成する段階は、前記ユーザの非仮想環境の１つ又はそれ以上のデジタル写真を取得して、前記１つ又はそれ以上のデジタル写真に基づいて前記仮想表現を生成する、請求項１に記載の方法。
5. 前記ユーザに向けられたカメラを使用して、前記非仮想環境における前記ディスプレイに対する前記ユーザの視点を特定する、請求項１に記載の方法。
6. 前記ユーザの視点を特定する段階は、前記ユーザの顔追跡を行って前記視点を特定する、請求項１に記載の方法。
7. 前記仮想表現内に仮想コンテンツを表示する段階を更に含む、請求項１に記載の方法。
8. 前記仮想コンテンツと前記仮想表現との間の相互作用を表示する段階を更に含む、請求項７に記載の方法。
9. 前記ユーザは、前記ディスプレイと相互作用して前記仮想コンテンツを変更する、請求項７に記載の方法。
10. ユーザの非仮想環境の仮想表現を生成するようになった仮想表現モジュールと、
    非仮想環境のユーザの視点を特定するようになった視点モジュールと、
    前記特定された視点に少なくとも部分的に基づいてユーザの非仮想環境と空間的関係をもって前記仮想表現を表示するようになったディスプレイと、
    を備えるシステム。
11. 前記ディスプレイは非透明である、請求項１０に記載のシステム。
12. 前記ユーザの非仮想環境の前記仮想表現を生成するようになった前記仮想表現モジュールは、前記ユーザの非仮想環境の１つ又はそれ以上のデジタル写真を取得して、前記１つ又はそれ以上のデジタル写真に基づいて前記仮想表現を生成するようになった仮想表現モジュールを備える、請求項１０に記載のシステム。
13. 前記視点モジュールは、前記非仮想環境における前記ディスプレイに対する前記ユーザの視点を特定するようになった１つ又はそれ以上のカメラを備える、請求項１０に記載のシステム。
14. 前記１つ又はそれ以上のカメラは、前記ユーザの顔追跡を行って前記視点を特定するようになっている、請求項１０に記載のシステム。
15. 前記仮想表現内に仮想コンテンツを表示するようになった仮想コンテンツモジュールを更に備える、請求項１０に記載のシステム。
16. 仮想コンテンツモジュールは、更に前記仮想コンテンツを前記仮想表現と相互作用させるようになっている、請求項１５に記載のシステム。
17. ユーザとの相互作用を受信して、前記相互作用に基づいて前記仮想コンテンツの変更を表示するようになったディスプレイインターフェースモジュールを更に備える、請求項１５に記載のシステム。
18. 実行可能命令を格納するコンピュータ可読媒体であって、前記命令はプロセッサで実行されて、
    ユーザの非仮想環境の仮想表現を生成する段階と、
    非仮想環境におけるディスプレイに対するユーザの視点を特定する段階と、
    ディスプレイを用いてユーザの視点に基づいてユーザの非仮想環境と空間的関係をもって仮想表現を表示する段階と、
    前記ディスプレイを用いて前記ユーザの視点に基づいて前記ユーザの非仮想環境と空間的関係をもって前記仮想表現を表示する段階と、
    を含む方法を実行するように構成したコンピュータ可読媒体。
19. 前記方法は、前記仮想表現内に仮想コンテンツを表示する段階を更に含む、請求項１８に記載のコンピュータ可読媒体。
20. 前記仮想コンテンツと前記仮想表現との間の相互作用を表示する段階を更に含む、請求項１９に記載のコンピュータ可読媒体。

Images