JP2006301654A - 画像呈示装置 - Google Patents

Abstract

【課題】ユーザの身体にセンサ，ディスプレイ等の装置を装着させる必要がなく、高解像度のディスプレイを用いる必要もない、直観的な空間的ユーザインターフェースを提供する。
【解決手段】３次元仮想世界を記憶する３次元記憶手段２と、位置及び向きが可変である可動式ディスプレイ１と、３次元記憶手段２に記憶されている３次元仮想世界を２次元画像に投影する投影手段４と、可動式ディスプレイ１の位置及び向きに応じて、投影手段４での投影時における視点の位置と投影面の位置及び向きとを決定する視点投影面決定手段３とを備え、決定された視点の位置と投影面の位置及び向きとに基づいて投影して得られた２次元画像を可動式ディスプレイ１に表示してユーザに呈示する。
【選択図】図１

Description

本発明は、位置及び向きが可変であるディスプレイを用いて２次元画像を呈示する画像呈示装置に関する。

仮想的な３次元世界の空間を構築し、ユーザがあたかもその仮想世界の内部に存在するように見せかける対話的なユーザインターフェース技術は、種々のものが考案されてきている。

仮想世界の中で視点位置，視線方向を変える技術としては、「頭部搭載型ディスプレイ」が考案されている。これは、実世界中のユーザの頭部の位置及び向きを検知し、その検知結果に応じて仮想世界を画像に投影し、その画像をユーザの眼前に取り付けられたディスプレイ上に呈示するものである。また、同様の効果をより簡略に実現するため、ユーザの頭部の位置及び向きと眼球の向きとを検知し、その検知結果に応じて画像を生成し、従来の「据え置き型ディスプレイ」に表示させる手法も検討されている。

一方、仮想世界の中の物体を操作するための技術としては、「データグローブ」が考案されている。これは、各関節の相当部位に位置・向きセンサが配置された手袋をユーザに装着させて手，指の動きをモニタし、その動き，形を入力情報とするものである。これにより実世界と同等の感覚で仮想世界の中の物体に対して操作を行うことができる。また、位置と向きとに特化した入力手段（例えば３次元マウス）をユーザに操作させ、その入力手段の位置及び向きを検知し、その検知結果を入力情報とする手法も考案されている。更に、既存のキーボード，マウスなど従来の入力方法を用いることも行われている。
特開平４−５２８６９号公報 特開平７−３０６９５５号公報

しかし、上述した各手法には次のような問題点がある。「頭部搭載型ディスプレイ」は、着脱の煩雑さ，装着中の違和感が問題であり、頻繁な使用，長時間の持続的な使用には向いていない。また、ユーザの視野を覆い隠してしまうので、実世界の障害物による危険も無視できない。更に、十分な画質を持たせて視野全体を模擬するためには、非常に高解像度の表示が必要となり、表示デバイスの解像度及び画像生成のための計算コストによる制約を受ける。頭部の位置及び向きと眼球の向きとに応じて画像を生成し、「据え置き型ディスプレイ」に表示させる手法は、見回す範囲が限られており、有効な方法とは言えない。

「データグローブ」も着脱の煩雑さ，装着中の違和感が問題である。また、個別の物体に関して、手と物体との接触点における力の伝わり方などを逐一計算しなければならないため、計算コストが掛かる。位置と向きとに特化した入力手段を使用する場合は、画像が表示される場所とは別の場所で操作を行わなければならないので、直観的な操作とは言えない。キーボード，マウスなど従来の入力方法を用いる手法は、座標値の入力など抽象的表現によりユーザの意図をコンピュータに伝えなければならないため、実在感に欠けた操作となってしまう。

簡易な装置を用いて３次元空間に基づく対話的なインターフェースを構築することは様々な応用を持つ。例えば、バーチャルリアリティ分野においては、仮想的な３次元世界において直観的な空間認識，対話的な物体操作を行うことは必須技術であり、その技術を携帯端末などの小規模システムで実現することが望まれている。また、特殊な技能の習得を必要とせずに複雑な３次元構造から求める情報を正確に抽出することが可能となれば、医用画像解析などの分野に応用できる。このような状況から、容易に使用可能であって、自然で効果的な空間形成，動作応答を特徴とする空間的ユーザインターフェースの構築が重要な課題となっている。

本発明は斯かる事情に鑑みてなされたものであり、ユーザの身体にセンサ，ディスプレイ等の装置を装着させる必要が全くなく、高解像度のディスプレイを用いる必要もない、直観的な空間的ユーザインターフェースである画像呈示装置を提供することを目的とする。

本発明の画像呈示装置は、直接ユーザが手に持つか指示体によって支えられた普通程度の解像度を持つ可動式ディスプレイを用い、該可動式ディスプレイの位置と向きとに応じて視点と投影面との位置関係を変化させながら３次元仮想世界を２次元画像に投影し、得られた２次元画像を該可動式ディスプレイに表示することを特徴とする。以下、図面を参照して本発明の概要をもう少し具体的に説明する。

図13は、本発明の画像呈示装置の使用状態を示す模式図である。図13にあっては、実世界中の可動式ディスプレイを黒枠で示し、仮想世界の投影部分を実線、非投影部分を点線で示している。本発明の画像呈示装置を用いると、例えば、仮想世界中における「見回し」「視点の移動」「物体の操作」が可能となる。

まず、図13（ａ）の状態では、可動式ディスプレイのある位置と向きとに応じて３次元仮想世界を投影して得られる２次元画像が可動式ディスプレイに呈示されている。このような状態から、視点位置が固定されていると考え、可動式ディスプレイの動きに合わせて投影面の位置と向きとを変化させると、あたかも可動式ディスプレイを通して仮想世界を覗いているかのような「見回し」が可能となる（図13（ｂ））。また、図13（ａ）の状態から、視点位置も可動式ディスプレイの動きに合わせて変化させると、３次元仮想世界の中で「視点の移動」を行うことができる（図13（ｃ））。また、仮想世界中の特定の物体の位置及び向きも可動式ディスプレイの動きに合わせて動かすと、「物体の操作」が可能となる（図13（ｄ））。以上のように、本発明の画像呈示装置では、可動式ディスプレイを用い、可動式ディスプレイの動きに合わせて、投影面の位置，向き、視点位置及び／または物体の位置と向きを変えながら、３次元仮想世界を投影して得られる２次元画像を可動式ディスプレイに表示する。

本発明は、以下に述べるような視覚心理学理論に基づいている。
（情報抽出理論）
人の視覚システムにおいては、「見回し」，「視点の移動」に伴って生じる環境中の包囲光配列の流動パターンから、その物体の立体構造などの不変項を抽出すると言われている。即ち、眼球・頭部・体幹の運動のための筋肉収縮運動，身体に加わる慣性力などに基づいて、時々刻々の眼球の位置及び向きを取得し、その取得結果を網膜上に得られる動画像と照らし合わせて、物体の３次元的な内的表象を頭の中で構築していると考えられる。

本発明では、ユーザが仮想世界の視覚情報を受容する際、眼球の位置・向きの自然な変化を妨げないようにすることにより、より実在感に溢れた表示システムを実現している。これは、「頭部搭載型ディスプレイ」を用いた従来のバーチャルリアリティ技術でも考慮されてきたことである。

（アフォーダンス）
ある人（Ａ）がある物体（Ｂ）に対してある操作（Ｃ）を行うことが可能である場合、「物体（Ｂ）は人（Ａ）に対して操作（Ｃ）をアフォードする」または「操作（Ｃ）は人（Ａ）にとって物体（Ｂ）のアフォーダンスである」と呼ぶことができる。また、実際に人（Ａ）が物体（Ｂ）に対して操作（Ｃ）を行うことは、「人（Ａ）が物体（Ｂ）から操作（Ｃ）というアフォーダンスを知覚し、そのアフォーダンスを利用すること」であると言える。

本発明では、仮想世界において物体がユーザにアフォードする操作を、実世界において可動式ディスプレイがユーザにアフォードする操作と出来る限り一致させることにより、仮想世界中の物体のアフォーダンスを利用しやすくしている。人が物体を操作するときに重要なことは、どのようなアフォーダンスを利用するかということであり、指と物体表面との間に働く個々の力はあまり重要でない。その点において、その力を逐一計算する「データグローブ」などを用いた従来のバーチャルリアリティ技術は必要以上の計算コストを掛けている。本発明では、実行可能な操作を平行移動，回転移動など基本的な操作に絞ることにより、計算コストを抑えながらも十分実用的な対話的操作を可能としている。また、可動式ディスプレイ自体を操作対象とすることにより、適切な操作が行われているか否かに関して自然な形で視覚的フィードバックをかけることができる。

（視空間的注意）
人は、限られた認知情報を最大限に活用するため、視野すべての情報を均一に採り入れるのではなく、網膜像の一部の情報のみを選択して優先的に受容すると考えられている（注意の容量限界説）。物体を操作する場合、物体の動きを目で追うときにはそちらに注意を向けており（能動的注意）、物体に目が引かれるときにはそちらに注意が向いている（受動的注意）と言える。本発明では、「頭部搭載型ディスプレイ」を用いた従来技術に見られるような視野全体を模擬するのではなく、注意が向いている領域のみを模擬することにより、普通程度の解像度のディスプレイを用いても実在感を損なわないようにしている。

請求項１に係る画像呈示装置は、３次元画像を２次元平面に投影した２次元画像を呈示する画像呈示装置において、３次元画像を記憶する記憶手段と、ユーザが手に持つかまたは支持体に支持されている位置及び向きが可変であるディスプレイと、前記記憶手段に記憶されている３次元画像を２次元平面に投影する投影手段と、前記ディスプレイの位置及び向きに応じて、前記投影手段での投影時における視点の位置と投影面の位置及び向きとを決定する決定手段とを備え、該決定手段で決定された視点の位置と投影面の位置及び向きとに基づいて前記投影手段で３次元画像を投影して得られる２次元画像を前記ディスプレイに表示するように構成しており、前記決定手段は、視点の位置を一定に保つように、視点の位置と投影面の位置及び向きとを決定するように構成したことを特徴とする。

請求項２に係る画像呈示装置は、請求項１において、前記決定手段は、視点の位置と投影面の位置及び向きとの相対的位置関係を一定に保つように、視点の位置と投影面の位置及び向きとを決定するように構成したことを特徴とする。

請求項３に係る画像呈示装置は、請求項１または２において、前記ディスプレイの位置及び向きを検出する検出手段を備え、前記決定手段は、該検出手段での検出結果に応じて、視点の位置と投影面の位置及び向きとを決定するように構成したことを特徴とする。

請求項４に係る画像呈示装置は、請求項１または２において、前記ディスプレイの位置及び向きを制御する制御手段を備え、前記決定手段は、該制御手段の前記ディスプレイに対する制御信号に応じて、視点の位置と投影面の位置及び向きとを決定するように構成したことを特徴とする。

請求項５に係る画像呈示装置は、請求項１または２において、前記ディスプレイの位置及び向きを設定する設定手段を備え、前記決定手段は、該設定手段にて設定された前記ディスプレイの位置及び向きに応じて、視点の位置と投影面の位置及び向きとを決定するように構成したことを特徴とする。

請求項６に係る画像呈示装置は、請求項１〜５の何れかにおいて、前記ディスプレイを搭載する可動式乗物を備え、前記決定手段は、前記ディスプレイの位置及び向きと前記可動式乗物の位置及び向きとに応じて、視点の位置と投影面の位置及び向きとを決定するように構成したことを特徴とする。

請求項７に係る画像呈示装置は、請求項１〜６の何れかにおいて、前記３次元画像には、位置及び向きを有する複数の物体が存在し、前記物体のうちの１つの物体を選択する選択手段と、該選択手段で選択された物体の位置及び向きを、前記決定手段にて決定された視点の位置と投影面の位置及び向きとに応じて決定する手段とを備えることを特徴とする。

図１は、本発明の画像呈示装置（請求項１）の基本構成を示すブロック図である。この画像呈示装置は、可動式ディスプレイ１と、３次元記憶手段２と、視点投影面決定手段３と、投影手段４とを有する。可動式ディスプレイ１は、ユーザが手に持つかまたは支持体に支持されており、その位置及び向きが可変である。３次元記憶手段２は、３次元仮想世界の画像を記憶している。視点投影面決定手段３は、可動式ディスプレイ１の位置及び向きに応じて、投影手段４における視点の位置と投影面の位置及び向きとを決定し、決定したパラメータ（視点の位置と投影面の位置及び向き）を投影手段４へ出力する。投影手段４は、視点投影面決定手段３にて決定されたパラメータに基づいて、３次元記憶手段２に記憶されている３次元仮想世界の画像を２次元画像に投影し、その２次元画像が可動式ディスプレイ１に呈示される。

３次元仮想世界における投影手段４の概念を図２に示す。図２において、Ａ，Ｂはそれぞれ決定された視点，投影面であり、またＣは投影対象を示す。投影面Ｂ上の画素と視点Ａとを結ぶ直線上で、投影面Ｂより視点Ａ側の視点同側領域Ｄ，投影面Ｂより視点Ａと反対側の視点反対側領域Ｅ及び投影面Ｂ自体のうちの１つ以上の領域である投影対象領域の中で最も視点Ａに近い点をその画素に投影する。

このような構成にすれば、可動式ディスプレイ１の位置及び向きに応じて視点Ａと投影面Ｂとの位置関係を変化させながら、３次元仮想世界を２次元画像に投影し、得られた２次元画像を可動式ディスプレイ１に呈示してユーザに提供することができる。可動式ディスプレイ１の位置及び向きに応じて変化する２次元画像が呈示されるので、ユーザは、身体にセンサ，ディスプレイ等の装置を装着することなく、極めて簡易かつ容易に３次元仮想世界を２次元画面上で認識できる。

そして、視点投影面決定手段３で決定する視点の位置を一定に保つようにするので、前述したように、可動式ディスプレイ１を通して３次元仮想世界を覗くことができ（図13（ａ）から（ｂ）への推移）、３次元仮想世界において定点から見回す状況を模擬できる。

また、視点投影面決定手段３でパラメータを決定する際に、視点の位置と投影面の位置及び向きとの相対的位置関係を一定に保つようにする場合には（請求項２）、前述したように、３次元仮想世界内で視点の移動を行うことができ（図13（ａ）から（ｃ）への推移）、視空間的な注意領域の大きさ及び形を固定したまま視点を変える状況を模擬できる。

図３は、本発明の他の画像呈示装置（請求項３）の基本構成を示すブロック図である。この画像呈示装置は、図１と同様の可動式ディスプレイ１，３次元記憶手段２，視点投影面決定手段３及び投影手段４と、可動式ディスプレイ１の位置及び向きを検出するディスプレイ位置・向き検出手段５とを有する。視点投影面決定手段３は、ディスプレイ位置・向き検出手段５から入力される可動式ディスプレイ１の位置及び向きに応じて、投影手段４による投影時の視点の位置と投影面の位置及び向きとを決定する。よって、例えば、ユーザが可動式ディスプレイ１を手に持って操作する場合、可動式ディスプレイ１に対するユーザの操作（可動式ディスプレイ１への直接的な位置，向きの変更）が視点の位置と投影面の位置及び向きとに反映され、呈示画像の位置・向きの微調整が可能である。

なお、ディスプレイ位置・向き検出手段５としては、磁気センサまたは超音波センサを用いる検出手段、可動式ディスプレイ１の支持体の各関節の角度を検知する機能を備えた多関節アーム装置を用いる検出手段、ジャイロスコープ，加速度計によって測定された角速度，加速度に従って内部メモリに格納された角度・位置・速度を更新していく手段等、位置及び向きの検出が可能であるすべての検出手段が使用可能である。

図４は、本発明の更に他の画像呈示装置（請求項４）の基本構成を示すブロック図である。この画像呈示装置は、図１と同様の可動式ディスプレイ１，３次元記憶手段２，視点投影面決定手段３及び投影手段４と、可動式ディスプレイ１の位置及び向きを制御するディスプレイ位置・向き制御手段６とを有する。ディスプレイ位置・向き制御手段６から、可動式ディスプレイ１の位置及び向きを制御するための制御信号が視点投影面決定手段３に送られ、その制御信号に応じて、視点投影面決定手段３は、投影手段４による投影時の視点の位置と投影面の位置及び向きとを決定する。よって、例えば、ユーザ以外の映像提供者が３次元仮想世界の映像ストーリーに合わせて可動式ディスプレイ１を移動させることにより、ユーザである映像受容者の視点位置及び視点方向を最適なものに誘導できる。

図５は、本発明の更に他の画像呈示装置（請求項５）の基本構成を示すブロック図である。この画像呈示装置は、図１と同様の可動式ディスプレイ１，３次元記憶手段２，視点投影面決定手段３及び投影手段４と、可動式ディスプレイ１の位置及び向きを設定するディスプレイ位置・向き設定手段７とを有する。ディスプレイ位置・向き設定手段７から、可動式ディスプレイ１の位置及び向きの設定パターンが視点投影面決定手段３に送られ、その設定パターンに応じて、視点投影面決定手段３は、投影手段４による投影時の視点の位置と投影面の位置及び向きとを決定する。よって、例えば、移動パターンが設定されている移動物に可動式ディスプレイ１を設置した場合、移動物の移動に応じて変化する画像を可動式ディスプレイ１によりユーザに呈示できる。

図６は、本発明の更に他の画像呈示装置（請求項６）の基本構成を示すブロック図である。この画像呈示装置は、図１と同様の可動式ディスプレイ１，３次元記憶手段２，視点投影面決定手段３及び投影手段４と、ユーザを搭載する可動式乗物８とを有する。可動式乗物８の位置及び向きの情報が視点投影面決定手段３に送られ、視点投影面決定手段３では、可動式ディスプレイ１の位置及び向きだけでなく、この可動式乗物８の位置及び向き情報も参照して、投影手段４による投影時の視点の位置と投影面の位置及び向きとを決定する。よって、例えば、ユーザが３次元仮想世界で乗物に乗っている状況を模擬できる。

図７は、本発明の更に他の画像呈示装置（請求項７）の基本構成を示すブロック図である。この画像呈示装置は、図１と同様の可動式ディスプレイ１，３次元記憶手段２，視点投影面決定手段３及び投影手段４と、３次元仮想世界における特定の仮想物体を選択する仮想物体選択手段９と、ある特定の仮想物体の位置及び向きを、視点投影面決定手段３にて決定された視点の位置と投影面の位置及び向きとに応じて決定する仮想物体位置・向き決定手段10とを有する。

３次元世界を構成する複数の仮想物体の中から特定の仮想物体が仮想物体選択手段９で選択されると、その選択情報が３次元記憶手段２に送られる。また、その選択された特定の仮想物体の位置及び向きが、仮想物体位置・向き決定手段10にて、視点投影面決定手段３にて決定された視点の位置と投影面の位置及び向きとに応じて決定され、その位置・向き情報が３次元記憶手段２に送られる。そして、これらの情報を鑑みて、３次元記憶手段２の３次元仮想世界が、投影手段４にて２次元画像に投影される。よって、可動式ディスプレイ１の動きに合わせて特定の仮想物体も移動することになり、前述したように、３次元仮想世界内での物体の操作を行うことができ（図13（ａ）から（ｄ）への推移）、ユーザが可動式ディスプレイ１を動かすことにより、３次元仮想世界の物体の位置と向きとを変える状況を模擬できる。

本発明の画像呈示装置では、可動式ディスプレイの位置及び向きに応じて視点と投影面との関係を変化させながら３次元仮想世界を２次元画像に投影し、得られた２次元画像を呈示するようにしたので、ユーザの身体にセンサ，ディスプレイ等の装置を装着させる必要がなく、高解像度のディスプレイを用いる必要もない、直観的な空間的ユーザインターフェースを提供できる。また、視点の位置を一定に保つようにしたので、仮想世界を定点から見回す状況を模擬できる。

本発明の画像呈示装置では、視点の位置と投影面の位置及び向きとの相対的位置関係を一定に保つようにしたので、視空間的な注意領域の大きさ及び形を固定したまま視点を変えることができる。

本発明の画像呈示装置では、可動式ディスプレイの位置及び向きを検出し、その検出結果に応じて視点の位置と投影面の位置及び向きとを決定するようにしたので、ユーザの直接的な可動式ディスプレイの位置，向きの変更に対応した画像を呈示できる。

本発明の画像呈示装置では、可動式ディスプレイの位置及び向きを制御する際の制御信号に応じて視点の位置と投影面の位置及び向きとを決定するようにしたので、ユーザが制御装置を介して可動式ディスプレイの位置及びを向きを変えること、仮想世界が持つストーリーに従って可動式ディスプレイの位置及びを向きを変えることが可能である。

本発明の画像呈示装置では、設定された可動式ディスプレイの位置及び向きに応じて視点の位置と投影面の位置及び向きとを決定するようにしたので、ユーザが可動式ディスプレイの動きに合わせて可動式ディスプレイの位置及び向きを設定することができる。

本発明の画像呈示装置では、乗物に乗っているユーザに可動式ディスプレイでの画像を呈示するので、仮想世界中で乗物に乗っていることを模擬できる。

本発明の画像呈示装置では、仮想世界の中の特定の物体を選択してその位置及び向きを決定するので、可動式ディスプレイを動かすことによって、特定の仮想物体の位置及び向きを変えることができる。

以下、本発明をその実施の形態を示す図面を参照して具体的に説明する。

（実施の形態１）
図８は、３次元仮想世界を２次元画像で呈示する本発明の一例としての小型のバーチャルリアリティ端末の正面図である。可動式ディスプレイ１としては、ユーザが手で自由な操作が可能である程度の大きさを有する平面型の液晶ディスプレイ11を使用する。また、ディスプレイ位置・向き検出手段５としては、そのバーチャルリアリティ端末に設置された磁気センサ12と実世界の一点に固定された磁気発生部13とを使用し、磁気発生部13からの磁気に対する磁気センサ12での検知結果に基づいて液晶ディスプレイ11の位置及び向き（磁気発生部13に対する相対位置及び向き）を検出するようになっている。更に、バーチャルリアリティ端末には、補助入力手段として、後述する視点変更ボタン14と物体操作ボタン15とが設置されている。

投影手段４における投影対象領域は、視点同側領域，視点反対側領域及び投影面自体（図２参照）のすべての領域とする。また、液晶ディスプレイ11のハードウェア特性を考慮して、視点の位置と投影面の位置及び向きとに応じて、画像の輝度変換を行う。即ち、液晶ディスプレイ11の表示面を斜めから見ると暗くなるので、そのような場合には少し明るくなるようにする。視点投影面決定手段３では、投影面の位置及び向きが実世界における液晶ディスプレイ11の位置及び向きと等しくなるようにする。

視点変更ボタン14が押されていない場合には、視点の位置を一定に保つ。この場合の一定な視点の位置は、バーチャルリアリティ端末の使用開始時には液晶ディスプレイ11の正面の所定値（数十ｃｍ程度）離れた位置とし、そうでないときには最後に視点変更ボタン14が離された時の視点の位置とする。このような一定な視点の位置に、ユーザは自分の目（視点）を固定する。ユーザは、視点変更ボタン14を離した状態で、自分の視点を動かさないようにしながら、注意を向けようとする位置に液晶ディスプレイ11を移動させることにより、その部分の仮想世界を覗き穴を通して見回すことを模擬できる。

視点変更ボタン14が押されている場合には、視点の位置と投影面の位置及び向きとの相対的な位置関係を一定に保つように設定する。ユーザは、視点変更ボタン14を押した状態で、液晶ディスプレイ11と自分の視点との相対的な位置関係を固定しながら、注意を向けようとする位置に液晶ディスプレイ11を移動させることにより、仮想世界の中で視点の位置を変更することができる。

物体操作ボタン15が押されている場合に、液晶ディスプレイ11上の固定位置に表示されたポインタが重なっている仮想物体を、仮想物体選択手段９にて選択する。仮想物体位置・向き決定手段10では、予め設定された仮想物体の重心を投影面に投影し、その投影された投影面上の点を重心投影点とすると、重心投影点が投影面上で移動せず、視点から重心までの距離が視点から重心投影点までの距離に比例し、その仮想物体の向きと投影面の向きとの相対的な関係を一定に保つように仮想物体の位置及び向きを決定する。ユーザは、物体操作ボタン15を離した状態で、ポインタがある位置に操作したい仮想物体が投影されるように液晶ディスプレイ11を動かした後、物体操作ボタン15を押してその仮想物体を選択し、物体操作ボタン15を押した状態で液晶ディスプレイ11を動かすことにより、その仮想物体の位置及び向きを変更することができる。

具体例として、仮想世界内で机の上に載っている書面Ｓをここちらに向ける動作について、その動作時のユーザの操作手順を示す図９を参照して説明する。図９（ａ）〜（ｃ）は経時的なユーザの視野変化を表している。まず、物体操作ボタン15を押さずに、液晶ディスプレイ11を動かして所望の書面Ｓがどこにあるかを探す。書面Ｓが見つかれば、液晶ディスプレイ11上のポインタを書面Ｓの位置に合わせる（図９（ａ））。その後、液晶ディスプレイ11の向きと画面に呈示されている書面Ｓの向きとが見た目で等しくなるように液晶ディスプレイ11の向きを調整し、ここで、物体操作ボタン15を押して書面を選択する（図９（ｂ））。そして、物体操作ボタン15を押したままで、液晶ディスプレイ11を正面に向ければ、仮想世界内の書面Ｓも正面を向いた状態で呈示される（図９（ｃ））。従来では、書面の角度などを検出して複雑な計算が必要であったが、本発明では極めて直観的に書面Ｓに対する操作を行える。

仮想世界の各物体には、「ある面に沿ってのみ動くことができる」「ある軸が常に一定方向を向いている」等の移動における制限が予め指定されている。よって、指定された制限を越えてユーザが仮想物体を移動させようとした場合に、その制限範囲内での動きに解釈し直して仮想物体が移動される。例えば、コップをテーブルの上に置く場合に、ユーザがテーブル面の下までコップを移動させようとしても、コップはテーブル面に埋め込まれず、テーブル面上での２次元の動きと解釈されてコップはテーブル面上を移動する。また、自動車の動きは地面の上での２次元の動きに限定し、列車の動きは線路の上での１次元の動きに限定することにより、より実在感を表現できる。

ところで、仮想世界内の物体の位置及び向きが変化する際に、次のような副次的変化も呈示することによって、実在感をより強調する。例えば、水が入ったグラスを傾ける際に、ゆっくり傾ける場合には細々と水がグラスから流れ出ていくが、素早く傾ける場合には勢いよく水がグラスから流れ出ていくようにする。また、鏡を動かす際には、その鏡に写る光景も鏡の移動に応じてダイナミックに生成して呈示する。更に、照明器具を動かす際には、そのまわりの光景の状態を照明器具の移動に応じて変化させる。

また、仮想世界提供者がある仮想物体に対して一貫した副次的効果を与えることにより、ユーザはその仮想物体を道具として使用することができる。例えば、ユーザが、彫刻刀を物体操作ボタン15にて選択し、液晶ディスプレイ11を動かして仮想的彫刻刀を操作することにより、仮想世界内で彫刻を行うことができる。

（実施の形態２）
次に、医用画像処理に好適な端末の例について説明する。なお、装置構成及び基本的な使用方法は、実施の形態１と同様とする。但し、投影手段４における投影対象領域は、視点反対側領域と投影面とに限定し、視点同側領域の部分は投影しないようにする。これによって、対象となる仮想物体の内部を投影面が通過する場合に、その仮想物体をその面で切断した画像を得ることができる。図10に立方体状である仮想物体を切断した呈示例を示す。このようにすることにより、例えば対象物体を脳とした場合、液晶ディスプレイ11を離しているときには脳の外観が呈示され、液晶ディスプレイ11を近づけると脳の断面が見えてくる。

従来の切断面呈示方法では、切断面の位置及び向きに関するパラメータを独立に調整する必要があったが、この実施の形態２では、同時に多くのパラメータを直観的に微調整することが可能となる。また、この方式を用いると、医学分野以外においても、複雑な３次元形状を持つ物体の内部構造を表現できる。

（実施の形態３）
次に、携帯端末において、広画面の２次元ＧＵＩを用いる例を挙げる。これにより、携帯端末用に特化したユーザインターフェースではなく、標準的なＧＵＩを使用することができる。即ち、仮想的な３次元世界の中に広大な２次元ＧＵＩ平面を考え、それを可動式ディスプレイを用いて「覗く」ことにより、ＧＵＩ平面のスクロール及び拡大・縮小を直観的に行うことができる。

可動式ディスプレイ１としては、ユーザが手で自由に操作可能な大きさの平面型液晶ディスプレイを用いる。ディスプレイ位置・向き検出手段５においては、ディスプレイに固定されたＣＣＤカメラによる画像撮影を行い、オプティカルフローの算出、標準物体またはユーザの顔のトラッキングなどの画像解析技術を用いて、実世界中のディスプレイの位置及び向きを検出する。仮想物体選択手段９においては、常にＧＵＩ画面上のマウスポインタが選択されている。仮想物体位置・向き決定手段10においては、マウスポインタが常に２次元のＧＵＩ平面上を動き、その投影点が投影面上で移動しないように、位置及び向きを決定する。なお、可動式ディスプレイ１には、マウスボタンと同機能のボタンが設けられていて、マウスボタンを押す必要がある場合には、そのボタンを押す。

（実施の形態４）
次に、可動式ディスプレイの移動を回転に限定した例について説明する。可動式ディスプレイの可動範囲は、水平方向の回転と垂直方向の回転とに限定される。図11は、この実施の形態４の端末装置の模式図である。この端末装置は、ノート型パーソナルコンピュータ様をなし、可動式ディスプレイ１としての液晶ディスプレイ11と、液晶ディスプレイ11の水平方向，垂直方向それぞれの回転角度を検知するボリューム等の回転角検知器16a, 16bと、液晶ディスプレイ11の水平方向，垂直方向それぞれの回転角度を制御するモータ17a, 17bとを有する。回転角検知器16a, 16bはディスプレイ位置・向き検出手段５として用いられ、モータ17a, 17bはディスプレイ位置・向き制御手段６として用いられる。

視点投影面決定手段３においては、視点の位置を常に液晶ディスプレイ11の正面の所定値離れた位置に保つ。ユーザが直接液晶ディスプレイ11を操作する場合には、ディスプレイ位置・向き検出手段５（回転角検知器16a, 16b）で検出された位置及び向きに応じて投影面の位置及び向きを決定する。また、ユーザが補助入力装置を通して間接的に液晶ディスプレイ11を操作する場合、または、仮想世界のイベントに合わせて液晶ディスプレイ11が動かされる場合には、ディスプレイ位置・向き制御手段６（モータ17a, 17b）で用いる制御信号に応じて投影面の位置及び向きを決定する。

実施の形態４では、鳥瞰図のパノラマ表示、及び、投影面付近に存在する仮想物体の見回しが可能であり、例えば、壺，花瓶等を種々の角度から見回して得られる画像を呈示できる。

（実施の形態５）
次に、地球儀型の端末装置の例について説明する。この端末装置では、特定の仮想物体をあたかも回転させたような画像を呈示できる。

可動式ディスプレイ１においては、地球儀の代わりに球状スクリーンを配置し、そこに液晶プロジェクタで画像を呈示する。投影手段４においては、液晶プロジェクタの位置と球状スクリーンの位置及び形状とを考慮して、視点の位置から仮想世界の一部が歪まずに見えるように画像を生成する。視点投影面決定手段３においては、視点の位置を一定に保つ。ディスプレイ位置・向き検出手段５においては、ボリューム等の回転角検知器を用いて球状スクリーンの水平方向及び垂直方向の回転角度を検知する。仮想物体選択手段９においては、常に１つの仮想物体を選択しておく。仮想物体位置・向き決定手段10においては、予め設定された仮想物体の重心を球状投影面の中心に位置させ、その仮想物体の向きと球状投影面の向きとの相対的な関係を一定に保つように、仮想物体の位置及び向きを決定する。

（実施の形態６）
次に、仮想的スポットライト型の端末装置の例について説明する。この端末装置では、スポットライトで仮想世界をあたかも照らしたような画像を呈示できる。図12は、この実施の形態６の端末装置の模式図である。可動式ディスプレイ１としては、ユーザが手で自由に操作可能である大きさであって投影部19を有する液晶プロジェクタ18と、実世界中に固定されたスクリーン（図示せず）とを用いる。ディスプレイ位置・向き検出手段５としては、液晶プロジェクタ18に設置された磁気センサ12と実世界の一点に固定された磁気発生部（図示せず）とを使用する。また、液晶プロジェクタ18上には視点変更ボタン14が設置されている。

投影手段４における投影対象領域は、視点同側領域，視点反対側領域及び投影面自体のすべての領域とする。視点投影面決定手段３においては、スクリーンの位置に基づいて液晶プロジェクタ18からの画像が投影される位置及び向きを算出し、その算出結果と等しくなるように投影面の位置及び向きを決定する。

そして、視点投影面決定手段３において、視点変更ボタン14が押されていない場合には、視点の位置を一定に保つ。この場合の一定な視点の位置は、端末装置の使用開始時には液晶プロジェクタ18の真上の所定値離れた位置とし、そうでないときには最後に視点変更ボタン14が離された時の視点の位置とする。ユーザは、視点変更ボタン14を離した状態で、自分の視点を動かさないようにしながら、注意を向けようとする部分を照らすように液晶プロジェクタ18を操作することにより、その部分の仮想世界を覗き穴を通して見回すことを模擬できる。

一方、視点投影面決定手段３において、視点変更ボタン14が押されている場合には、視点の位置と投影面の位置及び向きとの相対的な位置関係を一定に保つように設定する。ユーザは、視点変更ボタン14を押した状態で、液晶プロジェクタ18と自分の視点との相対的な位置関係を固定しながら、注意を向けようとする部分を照らすように液晶プロジェクタ18を操作することにより、その仮想世界の中で視点の位置を変更することができる。

仮想物体選択手段９においては、特定の仮想物体ではなく、常に仮想空間中のスポットライトが選択されている。仮想物体位置・向き決定手段10においては、スポットライトの位置と向きとを液晶プロジェクタ18の位置と向きとに一致させる。なお、照明状態は、仮想的スポットライトから光を当てているとする。

（実施の形態７）
次に、ユーザヘの画像呈示の応用例を示す。画像提供側が画像のストーリに合わせて可動式ディスプレイ１を動かすことにより、画像受容側（ユーザ）の視点の位置及び視線の方向を最適なものに誘導できる。

ディスプレイ位置・向き制御手段６としては、各関節の角度がモータにより制御可能なアーム装置を用いる。視点投影面決定手段３においては、視点の位置と投影面の位置及び向きとの相対的な位置関係を一定に保つ。ユーザは、画像を受容する際に、可動式ディスプレイ１の正面の一定値離れた位置に自分の視点を持っていくことにより、視点位置及び視線方向をその画像にとって最適なものにすることができる。

（実施の形態８）
次に、エレベータを可動式乗物として用いた仮想的エレベータ景色の例について説明する。エレベータの壁に据え付けられた可動式ディスプレイ１に、エレベータの上下動に合わせて、世界各地の景色または幻想的な仮想世界の景色を呈示することにより、エレベータに乗ったユーザがこの景色を楽しむことができる。また、窓を設置することができないような超高層ビルの高速エレベータにおいても、可動式ディスプレイ１に呈示される景色の変化から、エレベータの速度を実感することができる。

視点投影面決定手段３において必要となる可動式ディスプレイ１の向き及び位置の情報は、ディスプレイ位置・向き検出手段５としての加速度計によってエレベータの加速度を計測して算出するか、案内役がエレベータの運行に合わせてディスプレイ位置・向き設定手段７としての入力装置により直接入力するか、またはディスプレイ位置・向き制御手段６としてのエレベータの駆動系におけるエレベータの制御信号を用いることになる。視点投影面決定手段３において、視点の位置は可動式ディスプレイ１の正面から適当な距離だけ離れた点に設定し、投影面の位置及び向きは可動式ディスプレイ１の位置及び向きに一致させる。

また、上述したようなエレベータでの仮想的な景色の呈示例と同様に、遊園地の乗物または電車の壁に可動式ディスプレイ１を配置し、その乗物の動きに合わせて景色の画像を呈示することにより、その乗物が仮想世界の中を動いているように感じさせることも可能である。

（実施の形態９）
次に、新聞ブラウジング端末の例を示す。システム構成は、実施の形態１に示した小型バーチャルリアリティ端末の構成に、時々刻々の視点の位置と投影面の位置及び向きとを保存する機能を追加したものである。これらの情報は、視点投影面決定手段３の内部メモリに格納される。

仮想的３次元世界内に、見出し，要約，本文の順に文字が小さくなるように各記事が配置された仮想的新聞紙が掲示されているものとする。ユーザは、この新聞ブラウジング端末を通して仮想的新聞紙を覗き見る。ユーザが液晶ディスプレイ11を移動させることにより、投影面を新聞紙から離し視点を近づけて広い範囲を覗けば、見出し，要約を拾い読みすることができ、投影面を視点から離し新聞紙に近づけて狭い範囲を覗けば、本文の文字を高解像度で読むことができる。

ブラウジング実行中に保存される視点の位置と投影面の位置及び向きとの軌跡は、ユーザが仮想世界の中でどこに注意を向けようとしたかを記録した履歴を表す。この軌跡と仮想世界の中の新聞紙の各記事の配置とを照合することにより、ユーザが各記事をどのレベルまでどのくらいの時間をかけて読んだかを算出することができる。この値をもとにして、ユーザが各記事に対してどれだけ関心を持ったかを定量的に推定し、関心値として各記事と対応付けて保存する。そして、この関心値を利用することにより、関心が高い記事を選んで詳細な解説を表示させたり、関心が高い分野の記事だけを検索することなどが可能となる。

（実施の形態10）
次に、両眼立体視機能付きバーチャルリアリティ端末の例を示す。実施の形態１に示したバーチャルリアリティ端末の構成に、液晶シャッタ方式またはアナグリフ方式等の二眼式立体映像呈示手法を追加したものである。

視点投影面決定手段３は、右目用と左目用との２つの視点の位置を格納するための内部メモリを有する。右目と左目とのそれぞれについて、実施の形態１と同様にして時々刻々の視点の位置を決定し、それぞれの視点の位置から眺めた仮想世界を投影面に投影し、得られた２枚の画像を可動式ディスプレイ１にステレオ画像として呈示する。ユーザは、その２つの視点の位置に自分の両眼を持っていくように頭部を動かしながらこの端末を利用する。端末使用開始時の視点の位置は、可動式ディスプレイ１の正面の所定値離れた位置から可動式ディスプレイ１の上下の辺に平行な直線に沿って左右にそれぞれ一定値離れた位置とする。なお、左右の視点間の距離はユーザ自身の左右の目の間の距離と一致するよう調節する必要がある。

このような両眼立体視機能付きバーチャルリアリティ端末を用いると、運動視差と両眼立体視との相乗効果によって、仮想世界中の物体の立体感が更に向上することが期待される。

本発明の画像呈示装置の基本構成を示すブロック図である。 投影手段の投影概念を示す模式図である。 本発明の他の画像呈示装置の基本構成を示すブロック図である。 本発明の更に他の画像呈示装置の基本構成を示すブロック図である。 本発明の更に他の画像呈示装置の基本構成を示すブロック図である。 本発明の更に他の画像呈示装置の基本構成を示すブロック図である。 本発明の更に他の画像呈示装置の基本構成を示すブロック図である。 本発明による小型のバーチャルリアリティ端末の正面図である。 本発明におけるユーザの操作手順の一例を示す模式図である。 物体の切断面の呈示例を示す図である。 本発明による回転限定型の端末装置の模式図である。 本発明による仮想的スポットライト型の端末装置の模式図である。 本発明の概要を説明するための図である。

符号の説明

１ 可動式ディスプレイ
２ ３次元記憶手段
３ 視点投影面決定手段
４ 投影手段
５ ディスプレイ位置・向き検出手段
６ ディスプレイ位置・向き制御手段
７ ディスプレイ位置・向き設定手段
８ 可動式乗物
９ 仮想物体選択手段
10 仮想物体位置・向き決定手段
11 液晶ディスプレイ
12 磁気センサ
13 磁気発生部
14 視点変更ボタン
15 物体操作ボタン
16a, 16b 回転角検知器
17a, 17b モータ
18 液晶プロジェクタ
19 投影部

Claims (7)

1. ３次元画像を２次元平面に投影した２次元画像を呈示する画像呈示装置において、３次元画像を記憶する記憶手段と、ユーザが手に持つかまたは支持体に支持されている位置及び向きが可変であるディスプレイと、前記記憶手段に記憶されている３次元画像を２次元平面に投影する投影手段と、前記ディスプレイの位置及び向きに応じて、前記投影手段での投影時における視点の位置と投影面の位置及び向きとを決定する決定手段とを備え、該決定手段で決定された視点の位置と投影面の位置及び向きとに基づいて前記投影手段で３次元画像を投影して得られる２次元画像を前記ディスプレイに表示するように構成しており、前記決定手段は、視点の位置を一定に保つように、視点の位置と投影面の位置及び向きとを決定するように構成したことを特徴とする画像呈示装置。
2. 前記決定手段は、視点の位置と投影面の位置及び向きとの相対的位置関係を一定に保つように、視点の位置と投影面の位置及び向きとを決定するように構成したことを特徴とする請求項１記載の画像呈示装置。
3. 前記ディスプレイの位置及び向きを検出する検出手段を備え、前記決定手段は、該検出手段での検出結果に応じて、視点の位置と投影面の位置及び向きとを決定するように構成したことを特徴とする請求項１または２に記載の画像呈示装置。
4. 前記ディスプレイの位置及び向きを制御する制御手段を備え、前記決定手段は、該制御手段の前記ディスプレイに対する制御信号に応じて、視点の位置と投影面の位置及び向きとを決定するように構成したことを特徴とする請求項１または２に記載の画像呈示装置。
5. 前記ディスプレイの位置及び向きを設定する設定手段を備え、前記決定手段は、該設定手段にて設定された前記ディスプレイの位置及び向きに応じて、視点の位置と投影面の位置及び向きとを決定するように構成したことを特徴とする請求項１または２に記載の画像呈示装置。
6. 前記ディスプレイを搭載する可動式乗物を備え、前記決定手段は、前記ディスプレイの位置及び向きと前記可動式乗物の位置及び向きとに応じて、視点の位置と投影面の位置及び向きとを決定するように構成したことを特徴とする請求項１〜５の何れかに記載の画像呈示装置。
7. 前記３次元画像には、位置及び向きを有する複数の物体が存在し、前記物体のうちの１つの物体を選択する選択手段と、該選択手段で選択された物体の位置及び向きを、前記決定手段にて決定された視点の位置と投影面の位置及び向きとに応じて決定する手段とを備えることを特徴とする請求項１〜６の何れかに記載の画像呈示装置。

Images