JP2018056924A - 画像表示装置、及びこれを用いた仮想現実インタフェースデバイス - Google Patents

Abstract

【課題】ＨＤＭを用いずに、ユーザの移動に追従して、より自然な態様で仮想現実空間を創出する技術を提供する。
【解決手段】画像表示装置は、仮想世界の空間のデータを用いて仮想世界の空間に設定された仮想カメラにより撮影された前記仮想世界の一部の画像を生成する画像生成部と、前記生成された画像を現実世界の空間に投影するプロジェクタと、前記プロジェクタの投影方向、および該プロジェクタの位置を検出する検出部と、を有し、前記画像生成部は、前記検出部により前記プロジェクタの移動が検出された場合、前記検出部の検出結果に基づき、前記プロジェクタの移動に応じて前記仮想世界の空間において前記仮想カメラを移動させ、移動後のプロジェクタの投影方向に応じた方向が撮影方向となるように前記仮想カメラを設定し、該設定された仮想カメラにて前記画像を生成する。
【選択図】図３

Description

本発明は、仮想現実環境を作り出す画像表示技術と、これを利用した仮想現実インタフェースデバイスに関する。

近年、コンピュータで生成した仮想世界を体験する仮想現実（ＶＲ：Virtual Reality）ディスプレイが開発されている。特に、個々のユーザが仮想現実を楽しむことのできる表示システムとして、頭部装着型の表示装置（ＨＭＤ：Head Mount Display）が商業化されつつある。ＨＭＤに設けられた運動検出装置で操作者の頭部の動きの変化を計測して画像の切り出しと表示を行う装置が知られている（特許文献１参照）。また、仮想のぞき穴画像生成システムで、固定位置にあるＡＲ（Augmented Reality：拡張現実）マーカと、このＡＲマークを読み取るＷＥＢカメラとの相対位置関係（ＷＥＢカメラの視角）に応じて、ＷＥＢカメラを有する端末に表示させる画像の見える範囲を変える技術が知られている（特許文献２参照）。

特開２００７−２１３４０７号公報 特開２０１４−１０６５５６号公報

ＨＭＤは、直接人体に装着されるため、ユーザに対して煩わしさや不快感を与えることがある。従って、ＨＭＤを用いなくてもＶＲ体験ができることを望む声もあるであろう。

また、ＶＲ体験のコンテンツによっては、実際にユーザが動き回れると、よりその世界観に没入できたり、動けることによる多様性も産まれ、その体験の質の向上に繋がる。このような状況をＨＭＤを用いないＶＲ体験に適用できれば、ＨＭＤを用いることに躊躇している人にも受け入れられ易く、かつ今までに無いＶＲコンテンツの提供ができるかもしれない。

そこで、本発明は、ＨＭＤを用いず、ユーザが移動してもその移動に応じたＶＲ体験を実現可能な画像表示装置と、これを用いた仮想現実インタフェースデバイスを提供することを目的とする。

本発明の一つの態様では、画像表示装置は、
仮想世界の空間のデータを用いて仮想世界の空間に設定された仮想カメラにより撮影された前記仮想世界の一部の画像を生成する画像生成部と、
前記生成された画像を現実世界の空間に投影するプロジェクタと、
前記プロジェクタの投影方向、および該プロジェクタの位置を検出する検出部と、
を有し、
前記画像生成部は、前記検出部により前記プロジェクタの移動が検出された場合、前記検出部の検出結果に基づき、前記プロジェクタの投影方向に応じた方向が撮影方向となるように前記仮想カメラを設定し、前記設定された仮想カメラにて前記画像を生成する。

本発明によれば、ＨＭＤを用いず、ユーザが移動してもその移動に応じたＶＲ体験を実現することができる。

本発明の一実施形態に係る画像表示装置の適用例を示す図である。 本発明の一実施形態に係る画像表示装置のハードウェア構成図である。 本発明の一実施形態に係る画像表示装置の機能ブロック図である。 本発明の一実施形態に係る画像表示装置における画像生成を説明する図である。 本発明の一実施形態に係る、ユーザの位置移動に応じた画像生成を説明する図である。 本発明の一実施形態に係る、ユーザの位置移動に応じた画像生成を説明する図である。 本発明の一実施形態に係る、ユーザの位置移動に応じた画像生成を説明する図である。 プロジェクタから被投影面までの距離と、投影される画像の関係を説明する図である。 本発明の一実施形態に係る、画像表示装置で行われる処理のフローチャートである。 本発明の一実施形態に係る、視点の方向とプロジェクタクタの方向が一致しない例を説明する図である。 本発明の一実施形態に係る、視点の方向とプロジェクタクタの方向が一致しない別の例を示す図である。 本発明の一実施形態に係る、投影画像の補正例を示す図である。 本発明の一実施形態に係る、投影画像の補正例を示す図である。

本発明の実施形態について、図面を参照して説明する。以下の記載は、本発明を実現する構成と手法の一例であり、発明の範囲を限定するものではない。

図１は、実施形態の画像表示装置１０の適用例を示す図である。図１（Ａ）は画像表示装置１０を用いた仮想現実インタフェースデバイス１００の外観図、図１（Ｂ）は仮想現実インタフェースデバイス１００の使用状況を示す図である。

図１（Ａ）で、仮想現実インタフェースデバイス１００は弓型デバイスであり、画像表示装置１０と、弓本体１０５を有する。弓本体１０５は、グリップ１０１、リム１０２、弦１０３を有し、実際の弓と同じ質感と形状を有する。画像表示装置１０は、プロジェクタ１６の投射レンズが露出するように、グリップ１０１の先端部に内蔵または取り付けられている。

図１（Ｂ）に示すように、ユーザＵ１は現実世界の空間に位置し、仮想現実インタフェースデバイス１００を保持している。空間内には実在する壁Ｗ１が存在し、画像表示装置１０のプロジェクタ１６から投射される画像が、投影領域Ａ１に表示される。投影領域Ａ１は、プロジェクタ１６の映像光の出射方向の移動に応じて、壁Ｗ１上、または実在する物体上を移動する。本実施形態では、ユーザＵ１の周囲には仮想世界の空間（現実世界では当然見えない）が広がっており、プロジェクタ１６による投影領域Ａ１にのみ、上記仮想世界の空間の一部が出現することになる。すなわち、プロジェクタ１６が向いた方向における仮想世界の空間が投影されることにより、ユーザＵ１は、ある意味現実世界に重畳して存在していると仮定された仮想世界の空間の一部を見ることができる。よって、プロジェクタ１６による投影画像（投影領域Ａ１）は、仮想世界の空間と現実世界との移動可能なインタフェースとして機能し、現実世界での投影領域Ａ１の位置に応じてその位置に対応する仮想世界における映像が投影領域Ａ１を介してユーザは見ることになる。投射される画像は、静止画像であってもよいし、動画像であってもよい。

ユーザＵ１は、投影領域Ａ１に向けて弓を構え、弦１０３を引いて離すことで、投影方向に仮想的な矢を打つことができる。弓本体１０５の質感、弦を弾く音や反動により、仮想現実への没入感を得ることができる。ユーザＵ１は全方向に体の向きを変えるだけでなく、空間内を自由に移動することができる。後述するように、画像表示装置１０はポジショントラッキング機能を有し、ユーザＵ１の位置移動（すなわち、プロジェクタ１６の位置移動）に追従して仮想世界の空間における該当する領域の画像を動的に生成（レンダリング）し、該画像を投影することにより、現実世界に投影される仮想オブジェクトの見え方を３次元的に変化させる。この処理の詳細については後述する。

図２は、画像表示装置１０のハードウェア構成図である。画像表示装置１０は、プロセッサ１１、通信インタフェース１２、補助記憶装置１３、バッテリ１４、センサ１５、プロジェクタ１６、メモリ１７、ドライブ１８を有し、これらはバス１９で相互に接続されている。画像表示装置１０に外部記録媒体２１が着脱可能に装着されてもよい。プロセッサ１１とメモリ１７は、スティックＰＣで実現されてもよい。

プロセッサ１１は、画像表示装置１０の全体の動作を制御し、一般的な情報処理制御を行うマイクロプロセッサ１１ａと、画像生成を制御するグラフィックプロセッサ１１ｂを含む。プロセッサ１１は、補助記憶装置１３またはメモリ１７に保存されたプログラムを実行して、画像表示装置１０の画像生成と出力を制御する。通信インタフェース１２は所定のプロトコルで外部装置との通信を行う。画像表示装置１０が外部装置と協働してポジショントラッキングを行う場合は、通信インタフェース１２を介した送受信が行われてもよい。補助記憶装置１３は、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）などの記憶装置であり、たとえば、画像表示装置１０の動作を制御する制御プログラムや仮想世界画像を生成する画像生成プログラム、仮想現実インタフェースデバイス１００によって実施されるゲームの制御プログラム等を格納する。補助記憶装置１３はまた、画像表示装置１０の動作に必要な各種のデータ、ファイル等を格納する。各種データには、仮想世界の空間データ（当該空間に存在するオブジェクトデータを含む）などが含まれる。バッテリ１４は、画像表示装置に駆動電力を供給する電源であり、リチウムイオン電池、ニッケル水素バッテリ等を用いることができる。

センサ１５は、画像表示装置１０の位置及び状態を検知する各種のセンサを含む。センサ１５は、例えば、１０軸センサ（３基の加速度センサ、３基のジャイロセンサ、３基の電子コンパス、及び１基の気圧センサ）、歪センサ（歪ゲージ）、位置センサ等を含む。１０軸センサは、画像表示装置１０の向き、より正確には、プロジェクタ１６の光出射面の向きを検出する。歪センサはリム１０２の歪みを検知して、弦１０３が引かれたこと、及び弦１０３が放されたことを検知する。プロセッサ１１は、歪センサの出力により、ユーザＵ１による矢を射る動作を特定し、仮想矢が射られる画像を生成し出力する。歪みセンサの出力はリム１０２の歪みの大きさと相関し、射られた仮想矢の速度が特定可能である。位置センサは、画像表示装置１０の現在位置を検出する。センサ１５には、センサ１５（又はプロジェクタ１６）から周辺のオブジェクト（例えば壁）までの距離を測定可能な距離センサなどの他のセンサが含まれてもよい。

プロジェクタ１６は、たとえばレーザ光源を含む投影光学系を有し、グラフィックプロセッサ１１ｂにより生成された画像を、壁Ｗ１など、スクリーンになり得る任意の場所に投射する。プロジェクタ１６の投影画角は投影光学系によって決まり、固定である。メモリ１７は、ＲＯＭ（Read Only Memory：リードオンリーメモリ）、及びＲＡＭ（Random Access Memory:ランダムアクセルメモリ）を含む。ＲＯＭは、プログラムの起動指示に応じて補助記憶装置１３から読み出されたプログラムを格納する。ＲＡＭは、プロセッサ１１のワークエリアとして用いられる。ドライブ１８は、外部から記録媒体２１がセットされたときに記録媒体２１に記録された情報を読み出して、補助記憶装置に書き込む。

図３は、画像表示装置１０の機能ブロック図である。画像表示装置１０は、状態検出部１１０と、ポジショントラッキング部１１１と、画像生成部１１２と、投影制御部１１３を有する。状態検出部１１０、ポジショントラッキング部１１１、及び投影制御部１１３の機能は、図２のマイクロプロセッサ１１ａにより実現される。画像生成部１１２の機能は、図２のグラフィックプロセッサ１１ｂにより実現される。

状態検出部１１０は、センサ１５の出力に基づいて、プロジェクタ１６の光出射面が向いている仰角方向と方位角方向の向き（すなわち、プロジェクタ１６による投影方向）、及びプロジェクタ１６の高さを検知する。

ポジショントラッキング部１１１は、プロジェクタ１６の平面位置を検出する。あるいはプロジェクタ１６の高さ位置と合わせて、３次元座標で表される空間位置を検出してもよい。ポジショントラッキング部１１１によるプロジェクタ１６の位置検出は、任意の手法で行うことができる。たとえば、仮想現実インタフェースデバイス１００を使用する空間（部屋等）の形状情報をあらかじめメモリ１７または補助記憶装置１３に記憶しておき、センサ１５でプロジェクタ１６の周囲に存在する実オブジェクト（壁など）までの距離を測定する。センサ１５とプロジェクタ１６の光出射面との位置関係はあらかじめわかっているので、空間の形状情報と測距結果に基づいて、プロジェクタ１６の光出射面の位置を検出することができる。他の方法として、例えば、仮想現実インタフェースデバイス１００が使用される場所に、ユーザＵ１の動きを検知可能なモーションセンサを配置してもよい。画像表示装置１０は、通信インタフェース１２を介してモーションセンサから検出結果を受信し、受信結果に基づいて画像表示装置１０の位置を検出する。

さらに別の方法として、仮想現実インタフェースデバイス１００を使用する空間に、一定の出力パターンで光または電波を送信する小型基地局を設置し、通信インタフェース１２または光センサによる受信または受光結果に基づいて画像表示装置１０の位置を計算してもよい。受信結果には、受信タイミング、受信信号の到来方向、基地局ＩＤ等が含まれる。この手法で画像表示装置１０の位置を特定する場合は、空間内に少なくとも２つの基地局が設置されることが望ましい。画像表示装置１０には、あらかじめ２つの基地局の位置情報と識別情報が入力され、２つの基地局のそれぞれに対する相対位置から位置を特定する。仮想現実インタフェースデバイス１００が、たとえば屋外のテント内の空間で使用される場合は、ＧＰＳ機能を利用してもよい。本実施形態で重要なことは、プロジェクタ１６の位置を推定（特定）、すなわちポジショントラッキングすることにあり、その方法は本質ではない。従って、プロジェクタ１６のポジショントラッキングが実現できれば、いずれの構成を用いても良いことは言うまでも無い。

ポジショントラッキング部１１１は、センサ１５によって一定の時間間隔で検出される位置情報に基づいて、画像表示装置１０（より正確にはプロジェクタ１６の光出射面）の移動の方向、移動後の位置、移動量等を算出し、ユーザＵ１の移動を追跡する。移動は、回転移動、並進移動、上下移動など、任意の方向への移動を含む。

画像生成部１１２は、補助記憶装置１３またはメモリ１７に記憶されている仮想世界の空間のデータと、状態検出部１１０により検知された画像表示装置１０の向きと、ポジショントラッキング部１１１により得られたユーザＵ１（すなわちプロジェクタ１６）の移動情報に基づいて、プロジェクタ１６の位置および方向の変化に応じて、仮想世界の空間に設置された仮想カメラが撮影した画像（視界画像）を生成（レンダリング）する。すなわち、仮想世界の空間内の仮想カメラは、現実世界内のプロジェクタ１６に対応付けられており、プロジェクタ１６（すなわち、ユーザＵ１）が所定距離だけ移動すると、その距離分だけ、またはその距離に比例する距離だけ同様に仮想カメラも仮想世界に空間内を移動するように構成されている。本明細書において、「仮想カメラ」とは、仮想世界内の様子を映し出すものであって、所定の仮想世界の空間内の所定の位置に設置された仮想カメラで撮影された画像（視界画像）をプロジェクタ１６により表示される。画像生成部１１２は、仮想現実インタフェースデバイス１００を使用するユーザＵ１の視点から見た仮想現実空間が、より現実世界での視界画像に近似するように、画像生成を行うことが好ましい。たとえば、プロジェクタ１６の光出射面とユーザＵ１の視点位置が必ずしも一致しないことを前提として、ユーザＵ１の視点から見たときの仮想世界の空間の視界画像を生成してもよい。

上述のように、プロジェクタ１６（すなわち、プロジェクタ１６を持つユーザＵ１）の自由な位置移動にともなって、対応する仮想世界の空間内に設置された仮想カメラも移動するので、上記プロジェクタ１６により現実世界に投影されるオブジェクトの見え方が変わってくるはずである。たとえば、ユーザＵ１がＸＹ面内で走りながら仮想の獲物オブジェクトに弓で狙いをつけるときや、身を低くしながら木の枝にとまる仮想の鳥オブジェクトに狙いをつけるとき、同じオブジェクトであってもユーザＵ１の位置によって見え方が変わるはずである。そこで、画像表示装置１０の位置移動に応じて、投影されるオブジェクト画像を異なる位置と角度から生成する。なお、後述するように、画像表示装置１０を弓型の仮想現実インタフェースデバイス１００に適用する場合は、プロジェクタ１６の光出射面とユーザＵ１の視点の位置関係は、所定の関係にあると推定されるものとする。なお、画像生成部１１２は、補正部１１４を有し、プロジェクタの光出射面の方向とユーザＵ１の視点の方向がずれているときに補正を行う構成としてもよい。この補正については、発展例として後述する。

投影制御部１１３は、プロジェクタ１６による仮想世界画像の投影を制御する。なお、本明細書では、「仮想世界画像」とは、対象の仮想世界の空間内で仮想カメラが撮影した画像をプロジェクタ１６にて被投影物（例えば、壁等）に投影し、その被投影物に形成された画像である。仮想カメラにて撮影された画像である視界画像をプロジェクタ１６により投影されるので、視界画像と仮想世界画像とは同一の場面を表現しているので実質的に同じ画像であると言えるであろう。よって、これら２つの画像は、捉える側面によって呼び方が変わるものと言える。

投影制御部１１３は、プロジェクタ１６の投射位置と、仮想世界の仮想カメラ視点の位置に応じて、仮想世界画像に含まれる任意の点が、現実世界の空間の対応する点に投影されるように、投影を制御する。本実施形態に係る弓型の仮想現実インタフェースデバイス１００では、仮想カメラの視点はユーザＵ１の視点に対応する。画像生成部１１２で生成された視界画像に含まれるオブジェクトのサイズとオブジェクト間の距離が、現実空間に投影された画像におけるオブジェクトのサイズとオブジェクト間の距離に対応（又は一致）するように、生成された画像は拡大されて投影される。

図４は画像生成部１１２による仮想世界画像（視界画像）の生成を説明する図である。図４（Ａ）は、仮想現実インタフェースデバイス１００を使用するユーザの姿勢推定を説明する図、図４（Ｂ）はプロジェクタ１６による仮想世界画像の投影を示す図である。図４（Ａ）において、現実空間に投影されたオブジェクトを弓で狙うという動作の性質上、グリップ１０１の先端に配置されたプロジェクタ１６の投射方向と、ユーザＵ１の視線の方向はほぼ一致すると仮定できる。プロジェクタ１６の光出射面の位置をＰp、ユーザＵ１の視点位置をＰe、プロジェクタの光出射面の向きをＶp（プロジェクタの撮影方向）、視線の向きをＶeとすると、ＶpとＶeがほぼ一致すると仮定するのである。

図４（Ａ）では、コンピュータグラフィック（ＣＧ）やゲームでの座標系に合わせて、高さ方向をＹ方向、視線の奥行方向をＺ方向としている。プロジェクタ１６の光の投射方向が床面（ＸＺ面）とほぼ平行と仮定すると、仮想世界の視界画像をレンダリングする仮想カメラの視点、すなわちユーザＵ１の視点位置Ｐeは、ＸＺ面と平行な面内で、プロジェクタ１６の位置Ｐpから距離ｎだけ後方にある。本実施形態では、距離ｎは、ユーザＵ１が弓型の仮想現実インタフェースデバイス１００を正しく構えた時のプロジェクタ１６の光出射面の位置Ｐｐと視線位置Ｐｅとの間の距離である。プロジェクタ１６の投射方向がＸＺ面と水平でない場合（たとえば斜め上方を狙う場合）も、ユーザＵ１が仮想現実インタフェースデバイス１００を正しく構えていることを前提とするなら、プロジェクタ１６の光出射面の位置ＰｐとユーザＵ１の視点位置Ｐｅとの間は距離ｎだけ離れている。距離ｎは、ユーザＵ１の腕の長さと仮定してもよい。ｎの値は、ユーザの体型によって異なるので、あらかじめユーザの身長に対応して複数種類の仮想現実インタフェースデバイス１００を用意しておいてもよいし、画像表示装置１０にユーザインタフェースを設けて、身長等の情報を入力する構成としてもよい。これら腕の長さにさらに手からプロジェクタまでの距離や肩から視点までの距離などを考慮しても良い。あるいは、ｎの値を、所定の体形（例えば、平均的な体形）に基づく固定値としても良い。

ユーザＵ１が、同じ位置で体の向きを変えたとき（Ｙ軸周りに回転したとき）、あるいは、仰角方向に弓を向ける方向を変えたときは、プロジェクタ１６の光出射面の向きとユーザＵ１の視線の向きも変わる。プロジェクタ１６の方位角方向及び／または仰角方向のプロジェクタ１６の向き、すなわちユーザＵ１の向きと視線の方向に応じて、仮想世界の空間内に配置された仮想カメラの向きが変わるので、画像表示装置１０で生成されプロジェクタ１６から投影される仮想世界画像は変わる。

ユーザＵ１が弓を引くと、センサ１５に含まれる歪センサでリム１０２の歪みが検知されユーザＵ１による矢を射る動作が特定される。リム１０２の歪みの大きさから、射られた矢の速度が推定される。画像生成部１１２は、推定された矢の速度と、プロジェクタ１６の向き（すなわち視線の向き）に応じて、矢が飛ぶ画像を生成する。仮想矢は、周囲の仮想世界画像に重畳されてプロジェクタ１６から投影される。

図４（Ｂ）は、仮想カメラＶＣ１で取得した画像（映像）をプロジェクタ１６で投影するときの画像生成を説明する図である。本発明は、ユーザＵ１の移動に応じた視点で視界画像を生成して壁等の被投影面に投射することで、ユーザＵ１に違和感なく仮想現実空間を体感させるものであるが、まず、ある時点における位置関係に着目して説明する。図４（Ｂ）で仮想カメラＶＣ１の位置はユーザの視点の位置に対応する。仮想視点（すなわちユーザＵ１の視点）Ｐ２の視野内に、オブジェクトＯＢ１が含まれている。仮想視点Ｐ２の視野の中心（正面方向）と、オブジェクトＯＢ１の方向の間の角度をθ１とする。この角度θ１は仮想カメラＶＣ１のレンダリング画角（θ１＊２（水平画角））であり、調整可能である。仮想視点Ｐ２からプロジェクタ１６の光出射面までの距離はｎ、プロジェクタ１６の出射面からスクリーンＳまでの距離をｌとする。仮想視点Ｐ２の視野の中心線とスクリーンＳとの交点をＰ３とし、Ｐ３からオブジェクトＯＢ１までの距離をｗとする。

プロジェクタ１６の投影画角の中心線（Ｐ１からＰ３への線分）と、Ｐ１とオブジェクトＯＢ１を結ぶ線分の間の角度をθ２とすると、θ１＜θ２となる。画像生成部１１２は、プロジェクタ１６で角度θ２の方向に投影される画像が、ユーザＵ１の視野角で見たときに歪みを感じさせず自然に見えるように、角度θ１で画像をレンダリングする。図４（Ｂ）の例では、θ１は式（１）で表される。

ｗ＝ｌ×ｔａｎθ２＝（ｌ＋ｎ）ｔａｎθ１
θ１＝Ａｒｃｔａｎ｛（ｌ／（ｌ＋ｎ））ｔａｎθ２｝ （１）
ここで、ｌは可変であるが、センサ１５と壁の形状データから計算可能である。ｎがｌに対して十分に小さい場合は、θ１とθ２は近似し、θ１を固定値θ２に近似できる。

仮想カメラの視点Ｐ２では、視界の中心から角度θ１の方向にオブジェクトＯＢ１が見える。ユーザＵ１が角度θ１だけ右方向に回転すると、オブジェクトＯＢ１は視界の中心に来るように画像が生成されてスクリーンＳに投影される。ユーザＵ１にとって、視覚の情報（すなわち、オブジェクトＯＢ１が見える方向）と、運動量（すなわち、オブジェクトＯＢ１の方向を向くための回転角度）との間に齟齬がないため、仮想世界の空間に存在するオブジェクトがあたかも現実世界に存在するかのように見える。このように投影される画像を制御することで、仮想世界のオブジェクトを現実環境に存在するオブジェクトのように投影し、ユーザＵ１の仮想現実世界に対する没入感が増大する。

実施形態では、このような画像生成と投影制御に加えて、ユーザＵ１の位置移動に追従して画像生成と投影制御を行う。図５、図６Ａ及び図６Ｂは、ユーザＵ１の位置移動に応じた最適画像の生成を説明する図である。図５は、画像生成部１１２により生成された視界画像を、現実世界の空間に投影した状態を示す。プロジェクタ１６（すなわちユーザＵ１）の位置移動に伴って、ユーザの視点に対応する仮想カメラがとらえる視界画像でオブジェクトの見え方を変化させる。この見え方の変化が違和感なく被投影面に映し出されるように視界画像（仮想世界画像）を投影することで、あたかも現実世界に存在する物体を目にしているような感覚をユーザＵ１に与えることができる。たとえば、ユーザＵ１が被投影面としての壁に近づくと、仮想空間で壁際に位置するオブジェクトが相対的にユーザＵ１近づき、壁から少し手前に位置するオブジェクトがユーザＵ１の斜め手前にくるように視界画像がレンダリングされ、投射される。図５の例では、仮想世界の空間に存在する敵オブジェクト５１、階段オブジェクト５２、及び柱オブジェクト５３が描かれている。これらの仮想世界の空間のうち、投影領域Ａ１（図１（Ｂ）参照）と重なる領域が、仮想カメラＶＣにより所定位置（Ｐ２）を視点として撮像される視界画像、すなわちユーザＵ１の視界内に写る画像である。

図５においてユーザＵ１が矢印の方向に移動すると、画像生成部１１２は、ポジショントラッキング部１１１で得られた上記ユーザＵ１の移動情報に基づいて、該移動に応じた角度で見えるように画像をレンダリングする。たとえば、ユーザＵ１の矢印の方向への移動により、仮想世界の空間内に配置された仮想カメラにより敵オブジェクト５１の見える面が変化し、上記仮想カメラは敵オブジェクトの背後に階段オブジェクト５２の側面が入ってくるような場面を撮影することになる。よって、画像生成部１１２は、視界画像として、敵オブジェクト５１の背後に階段オブジェクト５２の側面が見えるような画像を生成する。

図６Ａ及び図６Ｂは、ポジショントラッキングに基づく画像生成を説明する図である。図６Ａは単純化のため、プロジェクタ１６が被投影面（スクリーンＳ）に対する向きを変えずに移動する場合を示す。プロジェクタ１６とユーザＵ１の視点と仮想カメラＶＣを含むプロジェクタ系が、ベクトルＤｍで表される矢印の方向に移動したとする。ユーザＵ１の視点及び視線の方向と仮想カメラＶＣの位置及び撮像方向は一致するものと仮定する。この場合、投影される仮想オブジェクトＯを、固定位置での全方向のパノラマを描くのと同様の手法で描画すると、移動後の位置で仮想オブジェクトＯが見えるはずの状態と異なる状態の画像が生成されて投射され、不自然である。そこで、ユーザＵ１が移動したときに、移動に応じて仮想オブジェクトＯを描画する角度及び／またはサイズを変化させる。オブジェクトＯが静止オブジェクトだとすると、ユーザＵ１がベクトルＤｍで示される矢印の方向に移動すると、オブジェクトＯが後方に遠ざかるとともに、ユーザＵ１から見えるオブジェクトＯの面が変化するように画像をレンダリングする。これにより、ユーザＵ１はオブジェクトＯがあたかもその場に実在するかのような感覚を得ることができる。

まずは、図６Ａでは、プロジェクタ１６の角度が不変の場合を説明する。移動前のプロジェクタ１６の位置をＰｐ、その位置座標を（ｘ，ｙ，ｚ）、移動後のプロジェクタ１６の位置をＰｐ'、その位置座標を（ｘ'，ｙ'，ｚ'）、移動前のユーザの視点位置をＰｅ、移動後のユーザの視点位置をＰｅ'とする。ユーザＵ１の視点位置とプロジェクタ１６との相対的位置関係は移動前も移動後も同じである。すなわち、視線の方向とプロジェクタ１６の投射方向が一致し、かつ視点とプロジェクタ１６の投射面との間の間隔がｎに保たれている。仮想カメラＶＣからプロジェクタ１６への単位ベクトルをＶ（ハット）、移動後の仮想カメラＶＣからプロジェクタ１６への単位ベクトルをＶ'（ハット）とすると、
Ｐｅ＝Ｐｐ−Ｖ（ハット）＊ｎ
Ｐｅ'＝Ｐｐ'−Ｖ'（ハット）＊ｎ
Ｄｍ＝（Δｘ，Δｙ、Δｚ）＝Ｐｅ'−Ｐｅ
＝Ｐｐ'−Ｖ'（ハット）＊ｎ−Ｐｐ＋Ｖ（ハット）＊ｎ
＝Ｐｐ'−Ｐｐ−ｎ＊（Ｖ（ハット）−Ｖ'（ハット）） （２）
となる。弓型デバイスのような射的型のデバイスの場合は、仮想カメラＶＣが向く方向（すなわち視線の方向）とプロジェクタ１６の投影方向は一致すると仮定される。Ｖ（ハット）とＶ'（ハット）はプロジェクタ１６の投影方向の単位ベクトルと同じであり、センサ１５から取得可能である。図６Ａのように、スクリーンＳに対するプロジェクタ１６の角度が変わらない場合は、式（２）でＶ（ハット）＝Ｖ'（ハット）であり、Ｄｍ＝Ｐｐ'−Ｐｐとなる。

他方、プロジェクタ１６の移動後の位置Ｐｐ'におけるプロジェクタ１６のベクトルをＶｐ'（プロジェクタの投影方向）、その単位ベクトルをｖ（ハット）とすると、プロジェクタ１６の投射面と視点の間の距離はｎなので、移動後の仮想カメラＶＣの位置Ｐｃ'とベクトルＶｃ'（仮想カメラの撮影方向と一致）は、
Ｐｃ'＝Ｐｅ'＝Ｐｐ'−ｎ＊ｖ（ハット）
Ｖｃ'＝Ｖｅ'＝Ｖｐ' （３）
となる。すなわち、移動後の仮想カメラＶＣの撮影方向を、移動後のプロジェクタ１６の投影方向と一致させる。これは、プロジェクタ１６の単位ベクトルを用いる方法である。式（２）及び（３）の「ｎ」は、プロジェクタ１６の投射面と視点（すなわち仮想カメラＶＣ）の間の間隔であり既知である。移動後の仮想カメラＶＣの位置Ｐｃ'は、式（２）または式（３）を用いて求めることができる。プロジェクタ１６の投影方向の単位ベクトルｖ（ハット）は、センサ１５によって取得可能である。

移動後の仮想カメラＶＣの位置Ｐｃ'（すなわち視点位置）での画角または視野角を表わすθ１'は、式（１）を用いて算出することができる。このとき、
プロジェクタ１６からスクリーンＳまでの距離はｌからｌ'に変化しているので、仮想カメラＶＣの移動後の視野角θ１'は式（４）で表される。

θ１'＝Ａｒｃｔａｎ｛（ｌ'／（ｌ'＋ｎ））ｔａｎθ２｝ （４）
距離ｌ'は移動後のプロジェクタ１６の位置Ｐｐ'と、壁等の形状情報から計算可能である。すなわち、本実施形態では、現実世界のユーザの視点位置を仮想世界の仮想カメラＶＣの位置（撮影部分の位置）と一致させるように設定し、仮想カメラＶＣとプロジェクタ１６との位置関係が所定の関係（ここでは、距離ｎ離間している）に設定して、θ１'を算出するように、画像生成部１１２は構成されている。なお、プロジェクタ１６にタイムオブフライト方式等による測距センサを設け、該センサにより距離ｌ'、さらには距離ｌを求めても良い。

画像生成部１１２は、ユーザＵ１の移動後の位置から視野角θ１'で画像をレンダリングする。上述のように、距離ｌ'に対してｎが十分に小さいときは、θ１'=θ２となり、プロジェクタ１６の視野角に近似される。たとえば、ユーザＵ１が被投影面である壁またはスクリーンＳから離れた状態で位置移動する場合は、仮想カメラＶＣの視野角θ１'を求めなくても、移動後の仮想カメラの位置Ｐｃ'と既知であるプロジェクタ１６の視野角θ２を用いて視界画像をレンダリングしてもよい。計算コストを低減する観点からは、仮想カメラＶＣの視野角算出用の閾値を設定するのが望ましい。たとえば、移動後のプロジェクタ１６の被投影面からの距離ｌ'に対するｎの割合が所定の閾値Ｔｈを超えた場合に、式（４）を用いて移動後の仮想カメラＶＣの視野角θ１'を計算する構成としてもよい。距離ｌ'に対するｎの割合が閾値Ｔｈを超えるということは、ユーザＵ１が壁またはスクリーンに近づく方向に移動していることを意味する。この場合は、ユーザＵ１にとってのオブジェクトＯの見え方の変化が相対的に大きくなるため、式（４）を用いて、正確な視野角から視界画像をレンダリングする。閾値Ｔｈは、スクリーンＳに投影されるオブジェクトの形状、種類等に応じて、可変の値としてもよい。

上記では、オブジェクトＯが静止オブジェクトである場合を例にしているが、オブジェクトＯが移動体の場合も同じ手法が適用される。オブジェクトＯが移動体である場合は、仮想世界の空間のデータで定義されているオブジェクトＯの移動速度とユーザＵ１の移動速度及び方向に応じて、同じく移動後の仮想カメラＶＣの位置と画角で視界画像がレンダリングされる。ユーザＵ１の移動速度と仮想世界の空間のデータで定義されたオブジェクトＯの移動速度が異なる場合は、移動速度の差に応じた速度でオブジェクトＯがゆっくりとユーザＵ１の視界内で移動しながら少しずつ見える角度が変わっていく視界画像が生成され、投影される。投影画像により、ユーザＵ１は、仮想現実空間でオブジェクトＯの移動と競いながら移動する状態を体感することができる。

図６Ｂは、ユーザＵ１の移動にともなってスクリーンＳに対するプロジェクタ１６の向きが変化した例を示す。図６Ａと同様に、移動後の仮想カメラＶＣの位置Ｐｃ'とベクトルＶｃ'は、移動前と移動後の仮想カメラＶＣからプロジェクタ１６への単位ベクトルＶ（ハット）およびＶ'（ハット）、移動後の視点位置Ｐｅ'とプロジェクタ１６の位置Ｐｐ'、その位置での投影方向の単位ベクトルｖ（ハット）を用いて、
Ｐｅ＝Ｐｐ−Ｖ（ハット）＊ｎ
Ｐｅ'＝Ｐｐ'−Ｖ'（ハット）＊ｎ
Ｄｍ＝（Δｘ，Δｙ，Δｚ）＝Ｐｅ'−Ｐｅ
＝Ｐｐ'−Ｖ'（ハット）＊ｎ−Ｐｐ＋Ｖ（ハット）＊ｎ
＝Ｐｐ'−Ｐｐ−ｎ＊（Ｖ（ハット）−Ｖ'（ハット） （２）
および、
Ｐｃ'＝Ｐｅ'＝Ｐｐ'−ｎ＊ｖ（ハット）
Ｖｃ'＝Ｖｅ'＝Ｖｐ' （３）
で表される。図６Ｂの場合はＶ（ハット）≠Ｖ'（ハット）である。

移動後の視覚画像は、移動後のプロジェクタ１６の位置とプロジェクタ１６の回転量（センサ１５により取得可能）に基づいて、式（４）のθ１'の視野角で生成される。移動後のプロジェクタ１６からスクリーンＳまでの距離ｌ'は、プロジェクタ１６から、投影の中心線とスクリーンＳとの交点Ｐ４までの距離になる。この場合、プロジェクタ１６のベクトルＶｐ'を法線ベクトルとする面Ｓ'上に存在するオブジェクトが、最も歪みの少ない状態でスクリーンＳに投影される。視界画像中の主要オブジェクトがスクリーンＳと面Ｓ'が交わる領域の近傍に位置する限り、スクリーンＳに投影された画像の歪みは小さい。

図７は、プロジェクタ１６からスクリーンＳまでの距離と、投影される画像の関係を説明する図である。ユーザＵ１の移動に伴って、プロジェクタ１６とスクリーンＳとの間の距離は常に変化し得る。プロジェクタ１６の画角θ２は固定であるため、スクリーンＳに近づいたり遠のいたりする場合は、視界画像をレンダリングする際の視野角θ１'をスクリーンＳまでの距離に合わせて変化させて、投影されるオブジェクトＯを一定の大きさに見せる。図７の下段では、上段の構図と比較して、投影領域全体に対するオブジェクトＯの割合が小さくなっている。ユーザＵ１がスクリーンから遠ざかっているにもかかわらず上段と同じ割合でオブジェクトＯを投影すると、ユーザＵ１にとってオブジェクトＯが大きくなったように見えてしまう。そこで、ユーザＵ１の位置（スクリーンＳからの距離）に応じて、仮想カメラＶＣの視野角θ１'を変化させてユーザＵ１にとってのオブジェクトＯの見え方を変化させ、ユーザＵ１が移動した場合でもオブジェクトＯがあたかも現実世界に同じ大きさで存在する物であるように見せる。

視野角θ１'は、図６Ａを参照して説明したとおり、プロジェクタ１６の移動後の距離ｌ'とプロジェクタ１６の画角θ２を用いて、式（４）で計算される。投影制御部１１３は、角度θ１'でレンダリングされた視界画像（仮想世界画像）を投射する。この仮想世界画像（視界画像）は、オブジェクトＯと背景画像の位置関係、相対距離、大きさ等が、移動後の位置から見るはずの角度で生成されており、壁面等に実際に映し出されたときに、ユーザＵ１にとって自然な画像として表示される。なお、投影領域Ａ１の大きさが所定のサイズに制限される場合は、投影制御部１１３は、レンダリングされた画像に含まれるオブジェクトの配置関係や大きさの関係を維持したまま、投影領域Ａ１内に収まるように縮尺を制御してもよい。図７の下段の構図を例にとると、θ１'でレンダリングされて相対的に小さくなったオブジェクトＯの背景全体に対する割合を維持したまま、仮想世界画像全体を投影領域Ａ１（図７では、投影領域の幅方向のサイズＡ１ｗ）に合わせ縮小してもよい。

このような画像生成と投影制御により、ユーザＵ１が現実空間を自由に移動する場合でも、該移動に応じた違和感のない仮想現実空間が現実世界に重畳して形成することができる。すなわち、ＨＭＤを装着しないユーザＵ１が、動き回っても該動きに沿った仮想現実を体験することができる。

図８は、画像表示装置１０で行われる制御フローである。この制御フローは、プロセッサ１１がメモリ１７または補助記憶装置１３に格納された所定のプログラムを実行することで実現される。なお、以下に説明する処理フローに含まれる各処理ステップは、各処理ステップ間に他のステップを追加してもよい。便宜上１つのステップとして記載されているステップは、複数ステップに分けて実行されてもよいし、複数ステップに分けて記載されているステップを、１つのステップとして実行されてもよい。

ステップＳ１１で、マイクロプロセッサ１１ａは、センサ１５による検知結果に基づいて、プロジェクタ１６の光出射面が向いている仰角方向と方位角方向の向き（プロジェクタ１６の投影方向）と、プロジェクタ１６の位置を検出する。

ステップＳ１２で、グラフィックプロセッサ１１ｂは、補助記憶装置１３またはメモリ１７に記憶された仮想世界の空間のデータと、ステップＳ１１で検知されたプロジェクタ１６の投影方向及び位置に基づいて、プロジェクタ１６の光出射面よりも所定の距離（ｎ）だけ投影方向の後方にある仮想世界空間の位置に仮想カメラＶＣを設定し、撮像位置である該仮想カメラＶＣを視点として、仮想世界空間の視界画像を生成（レンダリング）する。

ステップＳ１３で、プロセッサ１１ａは、生成された視界画像を仮想世界画像としてプロジェクタ１６の光出射面から投射させる。仮想世界画像（視界画像）は、プロジェクタ１６の光投射面よりも一定距離（ｎ）だけ後方にある仮想カメラの視点と視野角で生成されているので、投影される画像はユーザの眼でみたときに、違和感のない自然な態様で映し出される。

ステップＳ１４で、プロジェクタ１６の位置移動が有るか否かが判断される。位置移動がない場合は、ステップＳ１１に戻ってＳ１１〜Ｓ１３を繰り返す。位置移動がある場合は、ステップＳ１５に進み、センサ１５による位置検出結果に基づいて、プロジェクタ１６の移動後の位置情報を計算する。プロジェクタの移動後の位置情報には、プロジェクタ１６の位置、移動方向、光出射面の向き（投影方向）、プロジェクタ１６から周囲の壁、スクリーン等の被投影面までの距離の変化等が含まれる。センサ１５の測定結果から、移動後のプロジェクタ１６の投射中心軸が向かう方向の単位ベクトルがわかる。また、画像表示装置１０が用いられる空間の形状等の情報はあらかじめ既知なので、センサ１５で検出された位置情報と、空間情報から、プロジェクタ１６の光出射面から被投影面までの距離も求まる。また、本ステップでは、上記プロジェクタ１６の移動後の位置に基づいて、移動後のプロジェクタ１６に対応する仮想カメラＶＣの位置を算出する。

ステップＳ１６で、グラフィックプロセッサ１１ｂは、Ｓ１５で算出された移動後の仮想カメラＶＣの位置情報に基づいて、仮想世界空間において仮想カメラＶＣを上記位置情報にて特定される位置に移動させ、かつ移動後のプロジェクタ１６の投影方向を撮影方向となるように仮想カメラＶＣを設定し、移動後の仮想カメラＶＣの位置から見た画角で仮想世界空間の視界画像をレンダリングする。画像表示装置１０が弓型の仮想現実インタフェースデバイス１００に適用される場合は、仮想カメラＶＣの位置がユーザの視点位置に相当し、プロジェクタ１６の光出射面と仮想カメラＶＣの位置関係は、所定の間隔をおいて同軸上にあると仮定される。ユーザがどこに移動しようとも、プロジェクタ１６の光投射面から壁などの被投影面までの距離とプロジェクタ１６の画角を用いて、ユーザの視点位置と視野角に相当する角度で、視界画像がレンダリングされる。ステップ１７で、マイクロプロセッサ１１ａはプロジェクタ１６を制御して、移動後の位置と視野角でレンダリングされた視界画像を仮想世界画像として現実世界の空間に投影させる。投影される画像は、移動後の仮想カメラの位置（すなわちユーザの視点位置）と視野角で生成されているので、ユーザがその位置でその角度からみたときに認識されるであろう態様で仮想オブジェクトが被投影面に映し出される。投影領域が制限されている場合は、生成された視界画像がオブジェクト相互間の距離や位置関係が維持されたまま投影領域に投射されるように縮尺が制御されてもよい。ステップＳ１７の後、ステップＳ１４に戻って、位置移動の有無を判断する。

ステップ１１〜Ｓ１７は、仮想現実インタフェースデバイス１００を用いたゲームが終了するまで繰り返される。

本実施形態では、現実世界の一部において、そこに広がっていると仮定される仮想世界と現実世界とのインタフェース（投影領域Ａ１）の位置に応じた上記仮想世界の一部を形成するようにプロジェクタ１６により仮想世界画像を投影させている。さらに、上記仮想世界と現実世界とのインタフェースを形成するように機能するプロジェクタ１６を移動（そこからさらに回転）させても、該プロジェクタ１６の移動に応じて仮想世界中の仮想カメラＶＣを移動させ、移動後のプロジェクタ１６の向きに対応させて仮想カメラＶＣの撮影方向を設定し、このような移動後の仮想カメラから撮影した画像をレンダリングしてプロジェクタ１６より投影している。すなわち、プロジェクタ１６により投影される上記インタフェースとなる画像を、プロジェクタ１６を保持する現実世界のユーザＵ１の移動に応じて動的に生成して現実世界に投影している。

従って、たとえば仮想現実インタフェースデバイス１００を持ったユーザが現実世界空間で歩く、走る等の動作を行った場合でも、移動に応じた自然な態様で仮想現実画像が生成され、現実世界に存在する壁等の被投影面に投射される。よって、仮想現実インタフェースデバイス１００を使用するユーザにとって、視覚の情報（例えば、オブジェクトが見える方向）と、運動量（向きの回転と、面内での並進移動の双方を含む）の間に齟齬がない、あるいは該齟齬が低減されているため、仮想世界の空間に存在するオブジェクトがあたかも現実世界に存在するかのように見える。これによりＨＭＤを装着しなくても、現実世界空間の一部において仮想空間の一部を再現することができ、かつユーザが動き回り、現実世界と仮想世界とのインタフェース（仮想世界画像の投影部分）を形成するプロジェクタを移動および／または回転させても、とのインタラクションでユーザの没入感を高めることができる。

なお、実施形態の画像表示装置１０を用いた移動プロジェクタからの投影を、空間内に設置された固定プロジェクタからの投影映像と組み合わせてもよい。
＜発展例＞
上述した実施形態では、プロジェクタ１６の光出射面の方向とユーザＵ１の視線の方向がほぼ一致することを前提とした。実際、弓型、あるいは他の射的型（スリングショットや射撃）の仮想現実ゲームでは、的オブジェクトを狙うという性質から、プロジェクタの投射方向と視線の方向が一致する場合が多い。

画像表示装置１０を他の仮想現実ゲームに適用する場合は、プロジェクタ１６の光出射面の方向とユーザＵ１の視線の方向が必ずしも一致するとは限らない。他の適用例とは、たとえば画像表示装置１０を懐中電灯型あるいはトーチ型の仮想現実インタフェースデバイス１００に組み込んで、暗闇探検、洞窟探検、お化け屋敷等の仮想現実ゲームを行う場合である。そこで、プロジェクタ１６の光出射面の方向と視線の方向が一致しない場合の画像生成処理を説明する。

図９は、プロジェクタ１６の光出射面の方向（以下、適宜「プロジェクタ１６の方向」と省略する）と視点の方向が一致しない例を示す図である。プロジェクタ１６と仮想カメラ、及び視点が同一直線状にない場合、スクリーンＳの位置、レンダリングするオブジェクトＯの位置、プロジェクタ１６の位置Ｐｐと方向Ｖｐ、視点の位置Ｐｅと方向Ｖｅを考慮して、ユーザにとって違和感のない映像を生成し投影する制御を行う。

本実施形態では、視点の位置Ｐｅと方向Ｖｅを推定するために、画像表示装置１０の他に、視線推定のためのツールを用いる。たとえば、視線の方向は通常、額の向きと一致することが多い。そこで、粘着シートを用いたシール型の位置・方向センサを額の中央に貼る、ヘアバンド型の位置・方向センサを装着する、等が考えられる。シール型センサやヘアバンド型センサは、視界全体を覆う頭部装着型ディスプレイとは異なり、装着の不快感は非常に小さい。近年は有機半導体材料等を用いて印刷で形成される安価なセンサ回路やアンテナ回路の作製が可能なため、使い捨てのシール型センサを仮想現実インタフェースデバイス１００と組み合わせて用いることが可能である。

あるいは、現実空間に設置したモーションセンサでユーザの額または眼の位置を検出して、モーションセンサから画像表示装置１０に検出結果を送信してもよい。

図９では、図４と異なり、プロジェクタ１６の位置Ｐｐと仮想カメラＶＣの位置またはユーザＵ１の視点の位置Ｐｅが直線上に揃っていない。ユーザの視線がプロジェクタ１６の投射軸の左側からオブジェクトＯに向いている場合は、点線のサークルＣで示すオブジェクトＯの側面が見えなければならない。逆に、視線がプロジェクタ１６の投射軸の右側からオブジェクトＯに向かう場合は、オブジェクトの反対側の側面が見えなければならない。

この場合、画像表示装置１０の画像生成部１１２は、シール型センサで得られた、あるいはモーションセンサから受信した視点の位置及び方向情報に基づいて、視線位置ＰｅからオブジェクトＯに向かう方向で画像をレンダリングする。

図１０は、プロジェクタ１６の方向Ｖｐと視線の方向Ｖｅが一致しない別の例を示す。図１０のように、視点位置Ｐｅでの視野内にプロジェクタ１６から投影される画像がない場合、画像表示装置１０は描画すべき画像を決定することができない。この場合、シール型センサまたはモーションセンサからの情報によって視点の位置Ｐｅと方向Ｖｅは推定され得るが、推定された視線の方向に拠らずに仮想カメラＶＣの方向を決定しなければならない。

第１の手法として、プロジェクタ１６の方向Ｖｐ（すなわち投影画角の中心線）とスクリーンＳの交点をＰｗとし、視点位置ＰｅからＰｗへ向かうベクトルを仮想カメラが向く方向ベクトルＶｃとして決定し、ベクトルＶｃの方向から画像をレンダリングする。この場合、少なくともユーザ側に向けられたオブジェクトＯの側面が描画され、ユーザが現実世界空間に投影される画像の方向に視線を戻したときに、違和感のないオブジェクト画像を認識することができる。また、新たな視線の方向でレンダリングされる画像の変更量が少なくて済む。

第２の手法として、プロジェクタ１６からスクリーンＳに投影される画像の水平方向の端部の位置をＰｌ、Ｐｒとして、ＰｅからＰｌへの単位ベクトルと、ＰｅからＰｒへの谷ベクトルを足して２で割ったものを仮想カメラの方向ベクトルＶｃとする。第２の手法でも、ユーザが現実世界空間に投影される画像の方向に視線を戻したときに、違和感のないオブジェクト画像を認識することができる。また、新たな視線の方向でレンダリングされる画像の変更量が少なくて済む。

図１１は、上述した第１の手法での補正例を示す。第１の手法は、仮想カメラ（仮想視点）の中心とプロジェクタ１６の投影面の中心を合わせることで、中心でのずれを低減することを主眼とする。この場合、投影点Ｐｗでのプロジェクタ１６から投影された画像の高さｈと、仮想視点（仮想カメラ）からの画角での高さｈを一致させる補正を行う。たとえば、画像生成部１１２で仮想視点位置Ｐｃから所定の視野角で視界画像をレンダリングした後に補正部１１４で台形補正をかけて、プロジェクタ１６から投影する。模式的にいうと、領域Ｌの映像が領域Ｍに投影されたときに、Ｐｗ点で高さｈが一致する。これにより、投影された画像の歪を低減する。

図１２は、上述した第２の手法での補正例を示す。第２の手法は、投影範囲を一致させて、周辺領域でのずれを最小にすることを主眼とする。この場合、画像生成部１１２で仮想視点位置Ｐｃから所定の視野角で視界画像をレンダリングした後に、補正部１１４で両端部を合わせる台形補正をかけて、プロジェクタ１６から投影する。この場合、投影点Ｐｗで投影画像の高さと仮想視点からの画角で見た画像の高さは必ずしも一致しないが、投影された画像全体が同じ範囲で仮想視点から認識される。

発展例の手法では、プロジェクタ１６の位置トラッキングに加えて、視点の位置もトラッキングすることにより、実際の物理空間に近い映像を生成して投影することができる。また画像表示装置１０の適用範囲が広がる。特に、同じ空間内で、画像表示装置１０を組み込んだ仮想現実インタフェースデバイスを複数用いて、各ユーザが仮想現実とのインタラクションを楽しむことができる。

実施形態の画像表示装置１０における視界画像の生成は、補助記憶装置１３またはメモリ１７に格納された画像生成プログラムによって実現されてもよい。この場合、プログラムはプロセッサ１１に、例えば、メモリ１７、補助記憶装置１３、または記録媒体２１に格納された図８に示す画像生成プログラムを実行させれば良い。

画像生成プログラムは、ＣＤ−ＲＯＭ等の光学ディスク、磁気ディスク、半導体メモリなどの各種の記録媒体２１を通じて、又は通信ネットワークなどを介してダウンロードすることにより、画像表示装置１０にインストール又はロードされてもよい。このようなプログラムを用いることで、ユーザの移動位置に追従して、よりリアリティのある仮想現実空間を創出することができる。

１０ 画像表示装置
１１ プロセッサ
１１ａ マイクロプロセッサ
１１ｂ グラフィックプロセッサ
１５ センサ
１６ プロジェクタ
１００ 仮想現実インタフェースデバイス
１１０ 状態検出部
１１１ ポジショントラッキング部
１１２ 画像生成部
１１３ 投影制御部

Claims (5)

1. 仮想世界の空間のデータを用いて仮想世界の空間に設定された仮想カメラにより撮影された前記仮想世界の一部の画像を生成する画像生成部と、
   前記生成された画像を現実世界の空間に投影するプロジェクタと、
   前記プロジェクタの投影方向、および該プロジェクタの位置を検出する検出部と、
   を有し、
   前記画像生成部は、前記検出部により前記プロジェクタの移動が検出された場合、前記検出部の検出結果に基づき、前記プロジェクタの移動に応じて前記仮想世界の空間において前記仮想カメラを移動させ、移動後のプロジェクタの投影方向に応じた方向が撮影方向となるように前記仮想カメラを設定し、該設定された仮想カメラにて前記画像を生成することを特徴とする画像表示装置。
2. 前記画像生成部は、前記プロジェクタの投影方向と前記移動後の位置で決まる前記プロジェクタの光投射面から被投影面までの距離と、前記プロジェクタの画角とに基づいて仮想カメラの視野角を決定し、前記仮想カメラの視野角で前記画像を生成することを特徴とする請求項１に記載の画像表示装置。
3. 前記画像生成部は、前記仮想カメラの視野の方向が、前記プロジェクタの投影方向と一致または重複する条件で、前記画像を生成することを特徴とする請求項１または２に記載の画像表示装置。
4. 前記画像生成部は、前記仮想カメラの視野の方向が、前記プロジェクタの投影方向と一致しない条件で、前記画像を生成することを特徴とする請求項１または２に記載の画像表示装置。
5. 請求項１乃至４のいずれか一項の画像表示装置と、
   前記画像表示装置を保持する遊戯具本体と、
   を有する仮想現実インタフェースデバイス。

Images