JP6290754B2

JP6290754B2 - 仮想空間表示装置、仮想空間表示方法及びプログラム

Info

Publication number: JP6290754B2
Application number: JP2014184946A
Authority: JP
Inventors: 曽根　敦; 敦曽根; 佐藤　俊明; 俊明佐藤; 洋市浦本
Original assignee: Pasco Corp
Current assignee: Pasco Corp
Priority date: 2014-09-11
Filing date: 2014-09-11
Publication date: 2018-03-07
Anticipated expiration: 2034-09-11
Also published as: JP2016057947A

Description

本発明は、観察者に仮想空間にて表示対象物を提示する仮想空間表示装置、仮想空間表示方法、及びプログラムに関する。

仮想空間に配した物体などをコンピュータグラフィックス（Computer Graphics：ＣＧ）などを利用して観察者に提示するバーチャルリアリティ（Virtual Reality：ＶＲ）技術が知られている。例えば、ヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）を利用して仮想空間を３次元（３Ｄ）表示するシステムが普及し始めており、様々な分野での利用が行われ、また検討されている。

さて、近年の航空写真測量では、オブリークカメラ（斜めカメラ）画像から３Ｄモデルを自動生成する技術が確立されている。生成されたモデルは広域で詳細な形状・テクスチャを有するので、３Ｄビューア上でリアルタイムに拡大・縮小、視点変更等の操作を行う際の処理負荷が大きい。そこで、視点の位置からの距離に応じてモデルの精度を切り替えて効率的にデータを表示できるＬＯＤ（Level of Detail）という技術に対応した３Ｄビューアが開発・利用されている。

特開２０１３−２４２８６５号公報特開平１０−２２２２８７号公報

３Ｄビューアにおける拡大・縮小、移動・回転等の基本的な操作は一般的にはマウスを使用して行われているが、複数のマウスボタンを使い分ける等、複雑な操作になる。すなわち直感的な操作とは言い難く、習得が必要であり、利用者が３Ｄ地理空間モデルを簡単に操作する妨げになっている。

一方、マウス操作を伴わないＨＭＤを用いたＶＲシステムでは、操作インターフェースとして、キーボード、ゲームコントローラ、ジョイスティック等が用いられるが、その操作はマウス同様に不慣れな人には難しい。

本発明は、例えば、広域で詳細な３Ｄ地理空間モデルをＨＭＤを用いたＶＲシステムで利用する場合などにおいて、直感的で分かりやすい操作を可能とする仮想空間表示装置、仮想空間表示方法、及びプログラムを提供する。

（１）本発明に係る仮想空間表示装置は、観察者の視覚に仮想空間を提示する画像表示手段と、現実空間における前記観察者の視点位置を検知する視点検知手段と、前記画像表示手段に表示される前記仮想空間の画像を生成する仮想空間画像生成手段と、を有し、前記仮想空間画像生成手段は、前記仮想空間における表示対象物の位置に対応する前記現実空間での第１基準位置と当該第１基準位置から予め定めた基準距離に設定した第２基準位置との間を定義範囲とし、前記定義範囲内での前記視点位置と前記第１基準位置との間の距離に応じて前記仮想空間における前記表示対象物のサイズを予め定めた関数で変化させ、当該関数は前記距離の減少に対して広義の単調増加であり、かつ前記定義範囲内の区間であって、当該区間における前記サイズの変化が前記距離の逆数の変化よりも大きくなる区間を有する。

（２）上記（１）に記載する仮想空間表示装置において、前記仮想空間画像生成手段は、前記現実空間での前記視点位置の移動距離に比例させて前記仮想空間における仮想視点位置を変化させ、当該仮想視点位置と前記仮想空間における表示対象物との距離に応じて当該表示対象物の前記仮想空間でのサイズ自体を変化させ、当該表示対象物を遠距離より近距離にて大きくする構成とすることができる。

（３）上記（１），（２）に記載する仮想空間表示装置において、前記表示対象物は水平に配置された地図であり、前記仮想空間画像生成手段は、前記視点位置の垂直方向の移動距離に応じて、前記仮想空間に形成される前記地図のサイズを変化させる構成とすることができる。

（４）他の本発明に係る仮想空間表示装置は、観察者の視覚に仮想空間を提示する画像表示手段と、現実空間における前記観察者の視点位置及び視線方向を検知する視点・視線検知手段と、前記画像表示手段に表示される前記仮想空間の画像を生成する仮想空間画像生成手段と、を有し、前記仮想空間画像生成手段は、前記現実空間での前記視点位置の移動量に比例させて前記仮想空間における仮想視点位置を変化させ、前記視線方向に基づいて求めた前記仮想空間における前記観察者の注視点と前記仮想視点位置との距離に応じて表示対象物の前記仮想空間でのサイズ自体を変化させ、当該表示対象物を遠距離より近距離にて大きくする。

（５）上記（４）に記載する仮想空間表示装置において、前記表示対象物は水平に配置された地図であり、前記仮想空間画像生成手段は、前記注視点が維持された状態で前記距離が変化した場合に、当該距離に応じて、前記仮想空間に形成される前記地図のサイズを変化させる構成とすることができる。

（６）上記（３）、（５）に記載する仮想空間表示装置において、前記仮想空間画像生成手段は、前記距離に応じて異なる縮尺の地図データを用いて前記地図を形成する構成とすることができる。

（７）上記（６）に記載する仮想空間表示装置において、前記異なる縮尺を有した複数の前記地図データのうちの少なくとも１つは、他の前記地図データとは異なる地理空間情報を含む構成とすることができる。

（８）上記（１）〜（７）に記載する仮想空間表示装置において、前記画像表示手段は前記観察者の頭部に装着されるヘッドマウントディスプレイとすることができる。

（９）本発明に係る仮想空間表示方法は、観察者の視覚に仮想空間を提示する画像表示手段と、現実空間における前記観察者の視点位置を検知する視点検知手段と、前記画像表示手段に表示される前記仮想空間の画像を生成する仮想空間画像生成手段と、を有する仮想空間表示装置による仮想空間の表示方法であって、前記仮想空間における表示対象物の位置に対応する前記現実空間での第１基準位置と当該第１基準位置から予め定めた基準距離に設定した第２基準位置との間を定義範囲とし、前記定義範囲内での前記視点位置と前記第１基準位置との間の距離に応じて前記仮想空間における前記表示対象物のサイズを予め定めた関数で変化させ、当該関数は前記距離の減少に対して広義の単調増加であり、かつ前記定義範囲内の区間であって、当該区間における前記サイズの変化が前記距離の逆数の変化よりも大きくなる区間を有する。

（１０）他の本発明に係る仮想空間表示方法は、観察者の視覚に仮想空間を提示する画像表示手段と、現実空間における前記観察者の視点位置及び視線方向を検知する視点・視線検知手段と、前記画像表示手段に表示される前記仮想空間の画像を生成する仮想空間画像生成手段と、を有する仮想空間表示装置による仮想空間の表示方法であって、前記現実空間での前記視点位置の移動量に比例させて前記仮想空間における仮想視点位置を変化させ、前記視線方向に基づいて求めた前記仮想空間における前記観察者の注視点と前記仮想視点位置との距離に応じて表示対象物の前記仮想空間でのサイズ自体を変化させ、当該表示対象物を遠距離より近距離にて大きくする。

（１１）本発明に係るプログラムは、観察者の視覚に仮想空間を提示する画像表示手段と、現実空間における前記観察者の視点位置を検知する視点検知手段と、を有する仮想空間表示装置においてコンピュータを前記画像表示手段に表示される前記仮想空間の画像を生成する仮想空間画像生成手段として機能させるためのプログラムであって、前記仮想空間における表示対象物の位置に対応する前記現実空間での第１基準位置と当該第１基準位置から予め定めた基準距離に設定した第２基準位置との間を定義範囲とし、当該コンピュータに、前記定義範囲内での前記視点位置と前記第１基準位置との間の距離に応じて前記仮想空間における前記表示対象物のサイズを予め定めた関数で変化させる機能を実行させ、当該関数は前記距離の減少に対して広義の単調増加であり、かつ前記定義範囲内の区間であって、当該区間における前記サイズの変化が前記距離の逆数の変化よりも大きくなる区間を有する。

（１２）他の本発明に係るプログラムは、観察者の視覚に仮想空間を提示する画像表示手段と、現実空間における前記観察者の視点位置及び視線方向を検知する視点・視線検知手段と、を有する仮想空間表示装置においてコンピュータを前記画像表示手段に表示される前記仮想空間の画像を生成する仮想空間画像生成手段として機能させるためのプログラムであって、当該コンピュータに、前記現実空間での前記視点位置の移動量に比例させて前記仮想空間における仮想視点位置を変化させ、前記視線方向に基づいて求めた前記仮想空間における前記観察者の注視点と前記仮想視点位置との距離に応じて表示対象物の前記仮想空間でのサイズ自体を変化させ、当該表示対象物を遠距離より近距離にて大きくする機能を実行させる。

本発明によれば、仮想空間表示における表示対象物の拡大・縮小操作が直感的で分かりやすいものとなる。

本発明の実施形態である仮想空間表示システムの概略の構成を示すブロック図である。本発明の第１の実施形態における仮想空間画像の生成処理を説明する概略のフロー図である。視点位置の高さと地図の縮尺との関係の一例を示すグラフである。１つの地図データを用いた場合の３Ｄ地理空間モデルの縮尺の変更を示す模式図である。複数の地図データを切り替える場合の３Ｄ地理空間モデルの縮尺の変更を示す模式図である。本発明の第２の実施形態における仮想空間画像の生成処理を説明する概略のフロー図である。

以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。

［第１の実施形態］
図１は、実施形態である仮想空間表示システム２の概略の構成を示すブロック図である。本システムは、ＨＭＤ４、制御部６、記憶部８、入力部１０及び出力部１２を含んで構成される。制御部６の全体又は一部を本システムの処理を行う専用のハードウェアで構成することも可能であるが、本実施形態では制御部６は基本的にコンピュータ及び、当該コンピュータ上で実行されるプログラムを用いて構築される。

ＨＭＤ４は仮想空間を観察する観察者（ユーザ）の頭部に装着される。ＨＭＤ４は基本的に画像表示部２０を備え、さらに本実施形態では位置姿勢検出部２２、カメラ２４及びデータ送受信部２６を備える。

制御部６はコンピュータのＣＰＵ（Central Processing Unit）からなり、位置姿勢算出部３０、仮想空間画像生成部３２、操作オブジェクト生成部３４、操作制御部３６及びデータ送受信部３８などとして機能する。

記憶部８はＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク装置等の記憶装置である。記憶部８は制御部６にて実行される各種のプログラムや、本システムの処理に必要な各種データなどを記憶し、制御部６との間でこれらの情報を入出力する。例えば、記憶部８には仮想空間に配置される表示対象物を表すモデルデータが予め格納され、本実施形態ではモデルデータとして少なくとも１つの地図データ４０が格納される。

入力部１０は、ユーザ又は本システムのオペレータが本システムへの操作を行うために用いるキーボード、マウスなどのデバイスである。

出力部１２はディスプレイなどであり、当該ディスプレイには本システムの操作画面やＨＭＤ４に表示されている画像などが表示される。

ＨＭＤ４の画像表示部２０は、制御部６から入力される画像データに基づいて画像を表示しユーザの視覚に仮想空間を提示する。ＨＭＤ４では画像表示部２０が左眼及び右眼に視差を有した画像を表示することで、ユーザの立体視を実現することができる。

位置姿勢検出部２２はＨＭＤ４の位置・姿勢（向き）を検知する。ＨＭＤ４の位置・姿勢の計測は例えば、ＧＰＳ／ＩＭＵ（Global Positioning System：全地球測位システム、Inertial Measurement Unit：慣性計測装置)やジャイロスコープ、加速度センサ、磁気センサなど適宜の装置を用いて行われる。

カメラ２４はユーザの視線方向の画像を撮影する。

データ送受信部２６は制御部６のデータ送受信部３８との間でデータの送受信を行う。具体的には、データ送受信部２６は仮想空間の画像データを制御部６から受信し、画像表示部２０に入力したり、位置姿勢検出部２２の検出結果やカメラ２４が撮影した画像を制御部６へ送信したりする。データ送受信部２６，３８間の通信は無線通信、有線通信のいずれでもよい。

制御部６の位置姿勢算出部３０は、ＨＭＤ４の位置姿勢検出部２２の出力データに基づいて、ユーザの現実空間での視点位置を算出する。さらに位置姿勢算出部３０は仮想空間における視線方向を算出することができる。すなわち、位置姿勢算出部３０は位置姿勢検出部２２と共に視点検知手段又は視点・視線検知手段として機能する。

仮想空間画像生成部３２は仮想空間に表示対象物を配置し、それをユーザの仮想空間における視点位置（仮想視点位置）から見た画像（仮想空間画像）を生成する。生成された画像は画像表示部２０に表示される。本実施形態では表示対象物は３Ｄ地理空間モデル（以下、３Ｄモデルと略す。）であり、仮想空間画像生成部３２は記憶部８に格納された地図データ４０に基づいて仮想空間に３Ｄモデルを形成し、その仮想視点位置からの透視画像を算出する。ちなみに、当該画像に表示対象物の全体が収まらない場合、例えば表示対象物が大きい場合や視点が表示対象物に近い場合などには表示対象物の一部のみが現れた画像が生成される。また、画像生成時に表示対象物の端部などを適宜マスク処理して、表示対象物の一部のみが現れた画像を生成することもある。

仮想空間画像生成部３２は、仮想空間における表示対象物の位置に対応する現実空間での第１基準位置と当該第１基準位置から予め定めた基準距離に設定した第２基準位置との間を定義範囲とし、当該定義範囲内での視点位置と第１基準位置との間の距離に応じて仮想空間における表示対象物のサイズを予め定めた関数で変化させる。当該関数は視点位置と第１基準位置との間の距離の減少に対して広義の単調増加であり、かつ定義範囲内の区間として、当該区間におけるサイズの変化が視点位置と第１基準位置との間の距離の逆数の変化よりも大きくなる区間を有する。

例えば、仮想空間画像生成部３２は位置姿勢算出部３０が算出した視点位置に基づき仮想視点位置を算出する。仮想空間画像生成部３２は現実空間での視点位置の移動に応じて仮想視点位置を移動させる。例えば、ユーザが表示対象物に向いた姿勢で現実空間にて前進すると、仮想空間にて表示対象物がユーザに近づいて見えるように仮想空間画像が変化する。ここで、現実の空間での寸法と仮想空間での寸法とは同じである必要はなく任意の比例係数でスケーリングすることができる。本実施形態では現実の視点位置の移動量に比例させて仮想視点位置を変化させる。例えば、現実の視点位置の１ｍの移動が仮想視点位置の１ｋｍの移動に相当するように仮想空間画像を変化させることができる。

仮想空間画像生成部３２は、仮想視点位置と仮想空間における表示対象物との距離に応じて当該表示対象物の仮想空間でのサイズ自体を変化させ、当該表示対象物を遠距離より近距離にて大きくする処理を行うことができる。なお、これは視点が表示対象物から近距離にあるほど表示対象物が大きく見えるという単純な線遠近法とは異なり、それ以上に表示対象物が拡大されて見える効果をもたらす。この処理についてはさらに後述する。

仮想空間画像生成部３２は、ＨＭＤ４のカメラ２４が撮影した現実空間の画像を仮想空間画像に合成した画像を生成することもできる。なお、この合成処理は必須ではなく、仮想空間の画像のみを表示させてもよく、その場合、カメラ２４はなくてもよい。

操作オブジェクト生成部３４は画像表示部２０に表示される仮想空間画像に重畳して操作用オブジェクトを表示する。例えば、操作オブジェクト生成部３４は操作用オブジェクトとしてサイズ操作オブジェクトを生成することができる。

操作制御部３６はユーザの操作に応じた動作を仮想空間表示システム２に実行させる。ユーザは入力部１０の操作により仮想空間表示システム２に対する動作指示を行うことができるほか、画像表示部２０に表示された操作用オブジェクトを用いて動作指示を行うことができる。具体的には操作制御部３６は、ユーザの注視点が操作用オブジェクトに維持されている状態（ロックオン状態）を検知し、当該操作用オブジェクトに対応づけて予め定義されている操作を実行する。例えば、上述したサイズ操作オブジェクトに注視点が維持された場合に、操作制御部３６は仮想空間画像生成部３２による表示対象物のサイズの変更動作を停止状態とし、又は当該停止状態ではこれを解除する。

データ送受信部３８はＨＭＤ４のデータ送受信部２６との間でデータの送受信を行う。また、データ送受信部３８はインターネットなどの通信媒体を介して他の仮想空間表示システムやその他、コンピュータと通信を行うことができる。例えば、仮想空間表示システム２にてユーザに提示している仮想空間画像を他の仮想空間表示システムに送り、例えば遠隔の仮想空間表示システムのユーザが共通の画像を観察できるようにすることができる。

記憶部８に格納する地図データ４０は上述したように１つ又は複数である。地図データ４０を１種類のみ格納する場合には、基本的にはできるだけ高解像度のもの（詳細度が高いもの）、つまり縮尺が小さいものよりも大きいものを格納するのが好適である。複数格納する場合には、縮尺が異なるものを格納する。例えば、小縮尺地図として５万分の１地形図、中縮尺地図として１万分の１地形図、大縮尺地図として２５００分の１都市計画図を格納することができる。また、この例に示した地形図及び都市計画図のように複数の地図データ４０には互いに異なる地理空間情報を含むものが含まれていてもよい。

図２は本実施形態の仮想空間画像の生成に関する制御部６における処理の概略のフロー図である。ここでは、表示対象物が地図であり、当該地図がユーザの身長よりも低い高さの水平面に配置されているように表示される場合を例に説明する。また、説明の便宜上、現実空間における直交座標系のｘｙｚ各軸と仮想空間を定義する直交座標系のＸＹＺ各軸とは向きを同じに設定し、ｚ軸、Ｚ軸が高さ方向であり、現実空間の床面をｚ＝０とする。

位置姿勢算出部３０は、ＨＭＤ４の位置姿勢検出部２２から視点位置に関するセンサ出力を取得し、その出力データに基づいてユーザの現実空間での視点位置Ｐ_Ｒを算出する（ステップＳ１０）。

仮想空間画像生成部３２は、視点位置Ｐ_Ｒから仮想視点位置Ｐ_Ｖを算出し、仮想視点位置と仮想空間に配置された地図との距離ｄを算出する（ステップＳ１５）。例えば、仮想視点位置Ｐ_Ｖの高さＰ_ＶＺと、地図が配置される仮想空間における水平面Ｌ_Ｖの高さＬ_ＶＺとの差|Ｐ_ＶＺ−Ｌ_ＶＺ|を距離ｄと定めることができる。なお、視点位置Ｐ_Ｒの高さＰ_ＲＺと仮想空間における高さＬ_ＶＺに対応する現実空間での高さＬ_ＲＺとの差|Ｐ_ＲＺ−Ｌ_ＲＺ|を距離ｄとすることもできる。

仮想空間画像生成部３２は距離ｄに応じて仮想空間での３Ｄモデルのサイズを変化させる。そのために仮想空間画像生成部３２は距離ｄに応じた倍率を算出し（ステップＳ２０）、当該倍率で３Ｄモデルをスケーリングする（ステップＳ２５）。本実施形態では、距離ｄに応じた倍率は地図の縮尺に当たり、仮想空間画像生成部３２は距離ｄに応じて仮想空間に配置する地図の縮尺を変化させる。

図３は距離ｄと縮尺ｓとの関係の一例を示すグラフであり、横軸が|Ｐ_ＲＺ−Ｌ_ＲＺ|で定義する距離ｄであり、縦軸が縮尺ｓに対応する。なお、ここではＬ_ＲＺ＝０とし、この場合、ｄは視点位置Ｐ_Ｒの高さＰ_ＲＺとなる。ここでは視点位置Ｐ_Ｒの高さＰ_ＲＺの上限を１８０ｃｍとし、図３に示す関数はｄ＝０〜１８０ｃｍで定義されている。縮尺ｓはｄが１６０〜１８０ｃｍの範囲にて最小値２×１０^−５、つまり１／５万に設定され、またｄが３０ｃｍ以下では最大値４×１０^−４、つまり１／２５００に設定され、ｄが１６０ｃｍから３０ｃｍに近づくにつれｓは増加される。このように、仮想空間画像生成部３２は、距離ｄが大きい場合よりも小さい場合において仮想空間での３Ｄモデルのサイズを大きくする。

基本的には距離ｄの減少に伴い縮尺ｓは広義の単調増加となるように設定される。すなわち、ｄ_１＜ｄ_２なる任意の距離ｄ_１，ｄ_２それぞれにおける縮尺ｓ_１，ｓ_２はｓ_１≧ｓ_２となる。図３では縮尺ｓが変化するｄ＝３０〜１６０ｃｍの範囲を、ｄ＝８０を境界にして２つの区間に分け、各区間にてｓを直線的に変化させている。また例えば、ｄが１６０ｃｍから３０ｃｍに変化する場合にｄの逆数は１６／３倍になるが、サイズは２０倍になり、関数の定義域内に、サイズの変化が距離ｄの逆数の変化よりも大きくなる区間を有する。

図３に示すような距離ｄと縮尺ｓとの関係は、記憶部８に関数、又はテーブルとして予め格納しておき、仮想空間画像生成部３２はステップＳ２０にて当該関数を計算したり、テーブルを参照したりして距離ｄに対応する縮尺ｓを求める。

縮尺ｓを決定すると３Ｄモデルのスケーリング（ステップＳ２５）が行われる。スケーリングは例えば、本実施形態ではユーザがいる位置を中心として行うことができる。具体的には、３Ｄモデルの任意の点ＱのＸＹ平面における座標を（Ｑ_Ｘ，Ｑ_Ｙ）、仮想視点位置Ｐ_ＶのＸＹ平面（水平面）内での位置を（Ｐ_ＶＸ，Ｐ_ＶＹ）と表すと、（Ｑ_Ｘ−Ｐ_ＶＸ）及び（Ｑ_Ｙ−Ｐ_ＶＹ）が縮尺ｓに比例して変えられる。

またステップＳ２５にて仮想空間画像生成部３２は、１つの地図データ４０を用いて任意の距離ｄにおける縮尺ｓの３Ｄモデルを生成してもよいし、距離ｄを複数区間に分け、区間ごとに異なる地図データ４０を用いて３Ｄモデルを生成してもよい。

例えば、１つの地図データ４０を用いる場合、縮尺を大きくしても詳細な画像が観察できるように、できるだけ高解像度の地図データ４０を用いるのが好適である。その場合、本実施形態の記憶部８に用意されている縮尺が異なる３種類の地図データ４０のうち大縮尺地図である２５００分の１都市計画図を用いることができる。

図４は１つの地図データ４０を用いた場合の３Ｄモデルの縮尺の変更を示す模式図である。図４（ａ）はユーザ６０が立っている状態での３Ｄモデル６２ａを示しており、図４（ｂ）はユーザ６０が姿勢を低くした状態での３Ｄモデル６２ｂを示している。ユーザが立っている場合は距離ｄが大きくなり縮尺ｓが小さく設定され、ユーザが姿勢を低くしている場合は距離ｄが小さくなり縮尺ｓが大きく設定される。

一方、例えば、ｄが８０ｃｍ以下では大縮尺地図である２５００分の１都市計画図を用い、ｄ＝８０〜１６０ｃｍの範囲では中縮尺地図である１万分の１地形図を用い、ｄが１６０以上では小縮尺地図である５万分の１地形図を用いることもできる。

図５は距離ｄに応じて複数の地図データ４０を切り替える場合の３Ｄモデルを示す模式図である。図５（ａ）はユーザ６０が立っている状態で仮想空間に配置される３Ｄモデル６４を示しており、例えば、小縮尺の地形図の３Ｄモデルが配置される。一方、図５（ｂ）はユーザ６０が姿勢を低くした状態で仮想空間に配置される３Ｄモデル６２ｂを示しており、例えば、大縮尺の都市計画図の３Ｄモデルが配置される。

仮想空間画像生成部３２はステップＳ２５にて距離ｄに応じた縮尺ｓの３Ｄモデルを生成すると、次にこれが配置された仮想空間を仮想視点位置から見た仮想空間画像を生成する（ステップＳ３０）。なお、地図データ４０を切り替える際にはクロスフェード技法を用いて、仮想空間画像にて３Ｄモデルの切り替わりを目立たなくすることができる。

さらに仮想空間画像生成部３２はカメラ２４が撮影した画像を取得して（ステップＳ３５）、仮想空間画像に合成することができる（ステップＳ４０）。なお、上述したようにこの合成処理を行わない構成とすることもできる。

生成された画像はデータ送受信部３８からＨＭＤ４に送られ（ステップＳ４５）、画像表示部２０に表示される。

さて、単純な線遠近法でも距離ｄの変化により３Ｄモデルの大きさが変わって見えるが、線遠近法では仮想空間における３Ｄモデルの大きさは変化しない点で上述の実施形態の構成とは相違する。上述した仮想空間表示システム２では、例えば、距離ｄが小さくなった場合に、線遠近法の効果よりも３Ｄモデルが拡大した仮想空間画像が生成される。

この仮想空間表示システム２はユーザの姿勢の変化により、３Ｄモデルの縮尺を変更したり、またそれに加えて３Ｄモデルの種類を切り替えたりする操作を実現している。ここで、表示対象物に近づくと大きく表示され遠ざかると小さく表示されるという点では遠近法と共通しているので、仮想空間表示システム２の上記操作は直感的で分かりやすい。

なお、仮想空間表示システム２における３Ｄモデルのスケーリングと同様の視覚的効果を、線遠近法の仕組みを利用して得ることもできる。具体的には、視点位置Ｐ_Ｒの移動により仮想視点位置Ｐ_Ｖが表示対象物に近づく際の速度を、表示対象物と仮想視点位置との距離に応じて変化させる。つまり、上述の実施形態を例に説明すると、現実空間での視点位置Ｐ_Ｒの高さの変化量に対する仮想視点位置Ｐ_Ｖの高さの変化量を一定ではなく、視点位置Ｐ_Ｒの高さ又は表示対象物と仮想視点位置との距離に応じて変化させることで、例えば、視点位置が３Ｄモデルに近づく方向に移動する際に、３Ｄモデルの縮尺は変えなくても、線遠近法よりも速やかに３Ｄモデルが拡大して見える。

また、上記実施形態では現実の視点位置Ｐ_Ｒの移動量に比例させて仮想視点位置Ｐ_Ｖを変化させる構成としたが、現実の視点位置Ｐ_Ｒが移動しても仮想視点位置Ｐ_Ｖは移動しないように表示される構成とすることもできる。この場合、仮想空間画像生成部３２はユーザが仮想空間における仮想視点位置Ｐ_Ｖを仮想空間における表示対象物に近づけようとする際に行う現実空間での視点位置Ｐ_Ｒの移動に応じて表示対象物の仮想空間でのサイズを大きくし、視点位置Ｐ_Ｒの逆向きの移動に応じてサイズを小さくし、その際、仮想視点位置Ｐ_Ｖは移動させないようにする。具体的な例としては、仮想空間画像生成部３２は、仮想空間における仮想視点位置Ｐ_Ｖを固定したまま、現実空間での視点位置Ｐ_Ｒと予め定めた基準位置との距離ｄの減少（増加）に応じて仮想空間における３Ｄモデルのサイズ自体を広義の単勝増加（単調減少）で変化させる。例えば、地図が配置される仮想空間における水平面Ｌ_Ｖの高さＬ_ＶＺに対応する現実空間での高さＬ_ＲＺを基準位置とし、当該高さＬ_ＲＺと視点位置Ｐ_Ｒの高さＰ_ＲＺとの差|Ｐ_ＲＺ−Ｌ_ＲＺ|を距離ｄとすることができる。さらに、仮想空間画像生成部３２は、ｄ_１，ｄ_２を距離ｄに設定した区間内のｄ_１＜ｄ_２なる任意の２つの距離の値とし、距離ｄ_１，ｄ_２それぞれにおける縮尺をｓ_１，ｓ_２とすると、ｓ_１／ｓ_２がｄ_２／ｄ_１より大きくなる区間が存在するように縮尺ｓを変化させる。これにより少なくとも一部の区間にて線遠近法の効果よりも３Ｄモデルが拡大したり縮小したりする効果が得られる。

さらに、仮想空間画像生成部３２は、仮想視点位置を介さずに現実空間での視点位置に基づいて表示対象物の仮想空間でのサイズの変更処理を行うように構成することもできる。例えば、仮想空間における表示対象物の位置に対応する現実空間での高さＬ_ＲＺを第１基準位置とし、図３の高さ１８０ｃｍを、第１基準位置から予め定めた基準距離に設定した第２基準位置とし、それら基準位置の間をサイズを定める関数の定義範囲とする。当該関数は定義範囲内での視点位置と第１基準位置との間の距離ｄに対し、仮想空間における表示対象物のサイズを定義する。当該関数は距離ｄの減少に対して広義の単調増加である。また、定義範囲内にサイズの変化が距離ｄの逆数の変化よりも大きくなる区間を有する。

位置姿勢検出部２２によるユーザの位置姿勢の検出の機能は、例えば、ＨＭＤ４の外部に付したマーカーなどを外部カメラ等で監視する方式など、他の手法を利用してもよい。

画像表示部２０はＨＭＤ４のようにユーザの頭部に装着されるものでなくてもよく、例えば、全方向球面ディスプレイであってもよい。その際、立体視はアナグリフや偏光めがねなどを用いた眼鏡式などの３Ｄ表示技術により得ることが可能である。また、仮想空間画像は３Ｄ表示でなくてもいい。

また、上述の実施形態では、地図がユーザの身長よりも低い高さの水平面に配置されているように表示される場合を例に説明したが、表示対象物がユーザの身長より高い位置の水平面に配置されているように表示される場合にも本願発明を適用することができる。この場合、ユーザが姿勢を低くすると距離ｄが大きくなり３Ｄモデルの倍率が小さくなり、立ち上がると距離ｄが小さくなり３Ｄモデルの倍率が大きくなる。

また、表示対象物の配置面は水平面でなくてもよく、例えば、表示対象物を垂直面に配置することができる。この場合、ユーザが水平移動により表示対象物に近づくと３Ｄモデルの倍率が大きくなる。

［第２の実施形態］
以下、上述した第１の実施形態と同一の機能を有する構成には同一の符号を付して説明を省略し、第２の実施形態の仮想空間表示システムについて第１の実施形態との相違点を中心に説明する。

第１の実施形態の仮想空間表示システム２は、仮想視点位置と仮想空間における表示対象物との距離に応じて当該表示対象物の仮想空間でのサイズを変化させた。これに対し、本実施形態の仮想空間表示システム２では仮想空間画像生成部３２は、視線方向に基づいて求めた仮想空間におけるユーザの注視点と仮想視点位置との距離に応じて表示対象物の仮想空間でのサイズを変化させる点が相違する。

仮想空間画像生成部３２は、位置姿勢算出部３０が算出した視点位置及び視線方向に基づき仮想視点位置及び仮想空間における注視点を算出する。ちなみに、仮想視点位置から伸びる視線と仮想空間に配置した表示対象物との交点を注視点とすることができる。ここで、本実施形態では表示対象物は第１の実施形態と同様、地図に基づく３Ｄ地理空間モデルであり概ね平面状であるので、当該モデルの配置面と視線との交点を近似的に注視点とすることもでき、説明を簡単にするために以下、この注視点を用いる。

図６は本実施形態の仮想空間画像の生成に関する制御部６における処理の概略のフロー図である。ここでは、第１の実施形態と同様、地図の３Ｄモデルがユーザの身長よりも低い高さの水平面に配置されているように表示される場合を例に説明する。

位置姿勢算出部３０は、ＨＭＤ４の位置姿勢検出部２２の出力データに基づいてユーザの現実空間での視点位置Ｐ_Ｒ及び視線方向Ｕ_Ｒを算出する（ステップＳ１００）。

仮想空間画像生成部３２は、視点位置Ｐ_Ｒから仮想視点位置Ｐ_Ｖを算出し、また視線方向Ｕ_Ｒから仮想空間における視線方向Ｕ_Ｖを算出する。さらに仮想視点位置Ｐ_Ｖ、視線方向Ｕ_Ｖ及び、３Ｄモデルが配置される仮想空間における水平面Ｌ_Ｖの高さＬ_ＶＺから注視点Ｒ_Ｖを算出し、また仮想視点位置Ｐ_Ｖと注視点Ｒ_Ｖとの距離ｄを算出する（ステップＳ１０５）。

以降、ステップＳ１１０〜Ｓ１３５は図２のステップＳ２０〜Ｓ４５と本質的に同様の処理である。なお、ステップＳ１１５におけるスケーリングは、注視点Ｒ_Ｖを中心として行うことができる。具体的には、注視点Ｒ_ＶのＸＹ平面内での位置を（Ｒ_ＶＸ，Ｒ_ＶＹ）と表すと、スケーリングにて３Ｄモデルの任意の点Ｑの位置は（Ｑ_Ｘ−Ｒ_ＶＸ）及び（Ｑ_Ｙ−Ｒ_ＶＹ）が縮尺ｓに比例するように変えられる。ここで注視点Ｒ_Ｖが水平面Ｌ_Ｖ上に存在しない場合は例えば、第１の実施形態のステップＳ２５と同様、仮想視点位置Ｐ_ＶのＸＹ平面内での位置を中心としてスケーリングを行うようにすることができる。

本実施形態の仮想空間表示システム２は第１の実施形態と同様、例えば、距離ｄが小さくなった場合に、線遠近法の効果よりも３Ｄモデルが拡大した仮想空間画像が生成される。そして、本実施形態の仮想空間表示システム２もユーザの姿勢の変化により、３Ｄモデルの縮尺を変更したり、またそれに加えて３Ｄモデルの種類を切り替えたりする直感的で分かりやすい操作を実現している。

本実施形態の仮想空間画像生成部３２は、注視点Ｒ_Ｖが維持されたロックオン状態で距離ｄが変化した場合に、当該距離ｄに応じて、３Ｄモデルの縮尺を変更したり、種類を変えたりする構成とすることもできる。この制御は仮想空間画像生成部３２自体で行うこともできるが、操作制御部３６のロックオン状態の検知機能を利用することもできる。操作制御部３６は例えば、仮想空間画像生成部３２が算出する注視点Ｒ_Ｖの座標を監視し、注視点Ｒ_Ｖの変動量が予め定めた基準値以下である場合に、注視点Ｒ_Ｖが同じ場所に維持されているロックオン状態であると判断する。例えば、操作制御部３６はロックオン状態では当該状態を示すフラグをセット状態とし、仮想空間画像生成部３２は当該フラグを参照しこれがセット状態の場合に距離ｄに応じた縮尺変更を実施する。この構成では、例えば、ユーザが表示対象物のうちの関心を有する部分を覗き込む動作により仮想空間画像における表示対象物が拡大され、直感的で分かりやすい操作が実現される。

また、このロックオン状態で縮尺等を切り替える構成は、拡大・縮小を単に距離ｄに基づいて一律に行うのではなく、操作オブジェクト生成部３４が生成する操作用オブジェクトを用いた操作のように、注視という行為でユーザが望む場合に選択的に行うことが可能となる。例えば、ユーザが表示対象物の或る部分を注視して身をかがめ距離ｄを小さくし表示対象物を拡大させた後、注視をやめて姿勢を元に戻して距離ｄを大きくしても、表示対象物の拡大状態を保持することができる。逆に、ユーザが表示対象物の或る部分を注視しながら身をかがめた姿勢から直立姿勢となって距離ｄを大きくし表示対象物を縮小させた後、注視をやめれば、表示対象物の縮小状態を保持することができる。

なお、第１の実施形態の主たる構成に対する各種の改変は、本実施形態にも適用され得る。

２仮想空間表示システム、４ＨＭＤ、６制御部、８記憶部、１０入力部、１２出力部、２０画像表示部、２２位置姿勢検出部、２４カメラ、２６，３８データ送受信部、３０位置姿勢算出部、３２仮想空間画像生成部、３４操作オブジェクト生成部、３６操作制御部、３８データ送受信部、４０地図データ。

Claims

観察者の視覚に仮想空間を提示する画像表示手段と、
現実空間における前記観察者の視点位置を検知する視点検知手段と、
前記画像表示手段に表示される前記仮想空間の画像を生成する仮想空間画像生成手段と、を有し、
前記仮想空間画像生成手段は、前記仮想空間における表示対象物の位置に対応する前記現実空間での第１基準位置と当該第１基準位置から予め定めた基準距離に設定した第２基準位置との間を定義範囲とし、前記定義範囲内での前記視点位置と前記第１基準位置との間の距離に応じて前記仮想空間における前記表示対象物のサイズを予め定めた関数で変化させ、当該関数は前記距離の減少に対して広義の単調増加であり、かつ前記定義範囲内の区間であって、当該区間における前記サイズの変化が前記距離の逆数の変化よりも大きくなる区間を有し、
前記表示対象物は水平に配置された地図であり、
前記仮想空間画像生成手段は、前記視点位置の垂直方向の移動距離に応じて、前記仮想空間に形成される前記地図のサイズを変化させること、
を特徴とする仮想空間表示装置。
請求項１に記載の仮想空間表示装置において、
前記仮想空間画像生成手段は、前記現実空間での前記視点位置の移動距離に比例させて前記仮想空間における仮想視点位置を変化させ、当該仮想視点位置と前記仮想空間における表示対象物との距離に応じて当該表示対象物の前記仮想空間でのサイズ自体を変化させ、当該表示対象物を遠距離より近距離にて大きくすること、を特徴とする仮想空間表示装置。
観察者の視覚に仮想空間を提示する画像表示手段と、
現実空間における前記観察者の視点位置及び視線方向を検知する視点・視線検知手段と、
前記画像表示手段に表示される前記仮想空間の画像を生成する仮想空間画像生成手段と、を有し、
前記仮想空間画像生成手段は、前記現実空間での前記視点位置の移動量に比例させて前記仮想空間における仮想視点位置を変化させ、前記視線方向に基づいて求めた前記仮想空間における前記観察者の注視点と前記仮想視点位置との距離に応じて表示対象物の前記仮想空間でのサイズ自体を変化させ、当該表示対象物を遠距離より近距離にて大きくすること、
を特徴とする仮想空間表示装置。
請求項３に記載の仮想空間表示装置において、
前記表示対象物は水平に配置された地図であり、
前記仮想空間画像生成手段は、前記注視点が維持された状態で前記距離が変化した場合に、当該距離に応じて、前記仮想空間に形成される前記地図のサイズを変化させること、
を特徴とする仮想空間表示装置。
請求項１又は請求項４に記載の仮想空間表示装置において、
前記仮想空間画像生成手段は、前記距離に応じて異なる縮尺の地図データを用いて前記地図を形成すること、を特徴とする仮想空間表示装置。
請求項５に記載の仮想空間表示装置において、
前記異なる縮尺を有した複数の前記地図データのうちの少なくとも１つは、他の前記地図データとは異なる地理空間情報を含むこと、を特徴とする仮想空間表示装置。
請求項１から請求項６のいずれか１つに記載の仮想空間表示装置において、
前記画像表示手段は前記観察者の頭部に装着されるヘッドマウントディスプレイであること、を特徴とする仮想空間表示装置。
観察者の視覚に仮想空間を提示する画像表示手段と、現実空間における前記観察者の視点位置を検知する視点検知手段と、前記画像表示手段に表示される前記仮想空間の画像を生成する仮想空間画像生成手段と、を有する仮想空間表示装置による仮想空間の表示方法であって、
前記仮想空間における表示対象物の位置に対応する前記現実空間での第１基準位置と当該第１基準位置から予め定めた基準距離に設定した第２基準位置との間を定義範囲とし、前記定義範囲内での前記視点位置と前記第１基準位置との間の距離に応じて前記仮想空間における前記表示対象物のサイズを予め定めた関数で変化させるスケーリングステップを含み、当該関数は前記距離の減少に対して広義の単調増加であり、かつ前記定義範囲内の区間であって、当該区間における前記サイズの変化が前記距離の逆数の変化よりも大きくなる区間を有し、
前記表示対象物は水平に配置された地図であり、
前記スケーリングステップは、前記視点位置の垂直方向の移動距離に応じて、前記仮想空間に形成される前記地図のサイズを変化させること、
を特徴とする仮想空間表示方法。
観察者の視覚に仮想空間を提示する画像表示手段と、現実空間における前記観察者の視点位置及び視線方向を検知する視点・視線検知手段と、前記画像表示手段に表示される前記仮想空間の画像を生成する仮想空間画像生成手段と、を有する仮想空間表示装置による仮想空間の表示方法であって、
前記現実空間での前記視点位置の移動量に比例させて前記仮想空間における仮想視点位置を変化させ、前記視線方向に基づいて求めた前記仮想空間における前記観察者の注視点と前記仮想視点位置との距離に応じて表示対象物の前記仮想空間でのサイズ自体を変化させ、当該表示対象物を遠距離より近距離にて大きくすること、
を特徴とする仮想空間表示方法。
観察者の視覚に仮想空間を提示する画像表示手段と、現実空間における前記観察者の視点位置を検知する視点検知手段と、を有する仮想空間表示装置においてコンピュータを前記画像表示手段に表示される前記仮想空間の画像を生成する仮想空間画像生成手段として機能させるためのプログラムであって、
前記仮想空間における表示対象物の位置に対応する前記現実空間での第１基準位置と当該第１基準位置から予め定めた基準距離に設定した第２基準位置との間を定義範囲とし、当該コンピュータに、前記定義範囲内での前記視点位置と前記第１基準位置との間の距離に応じて前記仮想空間における前記表示対象物のサイズを予め定めた関数で変化させるスケーリング機能を実行させ、当該関数は前記距離の減少に対して広義の単調増加であり、かつ前記定義範囲内の区間であって、当該区間における前記サイズの変化が前記距離の逆数の変化よりも大きくなる区間を有し、
前記表示対象物は水平に配置された地図であり、
前記スケーリング機能は、前記視点位置の垂直方向の移動距離に応じて、前記仮想空間に形成される前記地図のサイズを変化させること、
を特徴とするプログラム。
観察者の視覚に仮想空間を提示する画像表示手段と、現実空間における前記観察者の視点位置及び視線方向を検知する視点・視線検知手段と、を有する仮想空間表示装置においてコンピュータを前記画像表示手段に表示される前記仮想空間の画像を生成する仮想空間画像生成手段として機能させるためのプログラムであって、
当該コンピュータに、前記現実空間での前記視点位置の移動量に比例させて前記仮想空間における仮想視点位置を変化させ、前記視線方向に基づいて求めた前記仮想空間における前記観察者の注視点と前記仮想視点位置との距離に応じて表示対象物の前記仮想空間でのサイズ自体を変化させ、当該表示対象物を遠距離より近距離にて大きくする機能を実行させること、を特徴とするプログラム。