JP2004258287A - 映像表示システム - Google Patents

Abstract

【課題】主映像表示装置による可視光線による仮想空間映像と不可視光線による補助映像が表示ができ、さらに映像表示に伴う嗅覚、触覚、振動手段など視覚手段以外の手段による情報提示ができる映像表示システムを提供する。
【解決手段】映像を表示できる映像表示システムであって、可視光線による映像を広視野で表示する第１表示手段を備えた主映像表示装置と、鑑賞者の鑑賞方向を検出する鑑賞方向検出手段及び☆前記映像の内で前記鑑賞方向にある映像に関する情報を不可視光線による映像として表示させる第２表示手段を備えた補助映像表示装置とを具備したシステム。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、映写ルームの映像表示装置に映像を表示することにより、複数の鑑賞者（観賞者）が共有した体験を味わうことができると共に、各々の鑑賞者（観賞者）が希望する映像が補助映像表示装置にて表示されるようにした映像表示システムに関する。
【０００２】
さらに詳しくは、映写ルームの映像表示装置に三次元の立体映像を表示することにより、複数の鑑賞者（観賞者）が、ある空間に実際に居るような体験を味わうことができると共に、各々の鑑賞者（観賞者）が希望する三次元の立体映像を補助映像表示装置にて表示できるようにした映像表示システムに関する。
【０００３】
【従来の技術】
従来より、映画館などでは複数の鑑賞者（観賞者）が同一の映像を鑑賞することにより、共有した時間と体験を得ることができるようになっている。しかしながら、各々鑑賞者の興味や嗜好が異なるために、全ての鑑賞者に興味を抱かせる映像内容とはなっていなかった。
【０００４】
さらには、近年、映像技術の発達に伴い、バーチャルリアリティー（仮想現実：電子計算機によって作り出された情報を人間の感覚器官に提示することによって、実存しない世界や遠隔にある空間での行動を可能にして疑似体験を行う技術）により、鑑賞者に仮想世界を作り出し、様々な体験をさせることが行われている。このような仮想世界を表示するバーチャルリアリティ技術は、航空機パイロット訓練用のフライトシミュレータや都市計画向けの景観シミュレーションなどに主に使用され、映像として出力された所望の景色である仮想空間内を移動しながら表示できるようにされている。
【０００５】
ここで、仮想空間とは、コンピュータのメモリ内にｘ、ｙ、ｚの３軸で表される空間を想定し、その空間中に種々の物体を配置したものであり、カメラから映された映像がスクリーンやディスプレイなどに出力されて鑑賞者に提示することができるようになっている。また、鑑賞者等から選ばれた操作者の操作により、視点位置や視線方向が制御される。なお、視点位置とはカメラの位置であり、視線方向とはカメラの向きである。
【０００６】
例えば、フライトシミュレータは、操縦桿としてジョイスティツクの操作により、航空機の位置と姿勢に対応した窓外の光景を示す仮想空間の映像を操作者の前方に表示し、あたかも航空機を操縦しているかのような感覚情報を操作者に与える。この場合、操縦桿の操作に連動して視点位置が前方に移動すると共に、視線方向に一致した窓外の光景映像の進行方向が変化する。
【０００７】
同様に、景観シミュレーションは、マウスの操作により、車の位置に対応した景観の映像を操作者の前方に表示し、都市の景観を視察しているような感覚情報を操作者に与える。これもマウスの操作に連動して景観の進行方向が変化している。
【０００８】
また、このようなシミュレーションを体験するために、表示された映像を体験者の眼球に投影する映像表示装置が提案されている。これは、鑑賞者の頭部に搭載され、左右両眼にそれぞれ映像の虚像を投影して立体画像を生成する装置、いわゆるＨＭＤ（ヘッドマウンテッドディスプレイ）がある。このＨＭＤに３次元カメラを接続して、鑑賞者の頭部の方向に応じて３次元カメラの方向を変化させることにより、表示映像を変化させる装置が提案されている。
【０００９】
しかしながら、複数の鑑賞者が同一の映像を共有する場合、一つの表示装置だけでは、操作者の操作方向のみの視点となり、その他の各鑑賞者はそれぞれの意志で自由に視点を変えることができない。
【００１０】
また、単に複数の鑑賞者が複数の表示装置を用いる方式では、各々の鑑賞者に大型の表示装置を使用させることが難しいため、没入感が得られない。
【００１１】
さらに、各々の鑑賞者の没入感を作り出すためにＨＭＤやフェイスマウンテッドディスプレイを利用するには、装置を装着する煩わしさと各鑑賞者間の共有感覚や一体感が損なわれてしまう。
【００１２】
このような問題点に着目して、出願人は、複数の鑑賞者が共有した体験と個別の体験とを同時に体験できる主映像表示装置と補助映像表示装置とを備えた映像表示システムを先に提案している。（例えば特許文献１参照）
【００１３】
【特許文献１】
特開２００１−３１８６６４公報
【００１４】
【発明が解決しようとする課題】
本発明の課題は、上記のような映像表示システムにおいて、主映像表示装置からの可視光線による映像に整合させて、さらに補助映像表示装置には不可視光線により撮影した画像の映像表示ができる補助映像表示システムを搭載させた映像表示システムを提供することにある。
【００１５】
【課題を解決するための手段】
本発明はかかる課題を解決するものであり、請求項１に係る発明は、
映像を表示できる映像表示システムであって、可視光線による映像を広視野で表示する第１表示手段を備えた主映像表示装置と、鑑賞者の鑑賞方向を検出する鑑賞方向検出手段及び前記映像の内で前記鑑賞方向にある映像に関する情報を不可視光線により撮影した映像を表示させる第２表示手段を備えた補助映像表示装置とを具備したことを特徴とする映像表示システムである。
【００１６】
本発明の請求項２に係る発明は、上記請求項１に係る映像表示システムにおいて、前記第２表示手段は、前記鑑賞方向検出手段からの鑑賞方向情報と主映像表示装置からの表示情報とに基づいて、鑑賞方向にある映像を特定して表示させることを特徴とする映像表示システムである。
【００１７】
本発明の請求項３に係る発明は、上記請求項１又は請求項２に係る映像表示システムにおいて、前記各映像が三次元の立体映像であることを特徴とする映像表示システムである。
【００１８】
本発明の請求項４に係る発明は、上記請求項１乃至請求項３のいずれか１項に係る映像表示システムにおいて、前記不可視光線が、電波、赤外線、紫外線、エックス線、ガンマ線のうちのいずれかであることを特徴とする映像表示システムである。
【００１９】
【発明の実施の形態】
本発明の映像表示システムを実施の形態に基づいて以下に詳細に説明すれば、本発明の映像表示システムにおいて、可視光線による映像とは、４００ｎｍ〜７００ｎｍ近傍の波長域の人間の目に感知できる電磁波から得られる画像のことであり、不可視光線により撮影された映像（画像）とは、人間の目に感知できない可視光線波長域以外の波長域にある電磁波を用いて撮影された映像（画像）のことである。
【００２０】
本発明の映像表示システムにおける主映像表示装置には、可視光線（人間の目に感知できる電磁波であって、例えば４００ｎｍ〜７００ｎｍ近傍の波長域の電磁波）による主とする映像を表示して、鑑賞者ら（又は観賞者らという）に一体感が得られるようにするとともに、補助映像表示装置には、通常の人間の目では感知し得ない不可視光線による補助映像を、主とする映像に関連する情報として表示させて、それを人間の目以外の補助映像読み取り用の接眼手段により読み取り、例えば物事に対する見方や、科学的な側面からの理解を得られるようにするものである。
【００２１】
図１は、本発明の一実施の形態に係る映像表示システムの外観を示す模式図であり、この映像表示システムには主映像表示装置と補助映像表示装置１００が用いられる。また、図２は、この映像表示システムで利用される主映像表示装置の構成を示す模式図である。この主映像表示装置は、小型の入力装置１０（映像表示操作用ボタン、ハンドルパネル）による操作内容が、入力信号変換部２０、画像再生演算部３０、フレームメモリ４１〜４３及びＤ／Ａ変換器５１〜５３を備えたコンピュータ６０と天井に設置されている３台のプロジェクタ７１〜７３を介して、スクリーン８０上に可視光線により投影表示される仮想空間映像に反映されるものである。このように、３台のプロジェクタ７１〜７３は、可視光線による仮想空間映像をスクリーン８０上に投影表示する。
【００２２】
なお、図示しないがプロジェクタ７１〜７３の下方には、鑑賞者と操作者を座らせるための椅子がスクリーン８０に向けて設けられている。この椅子は、鑑賞者用に複数脚を配置してもよく、あるいは省略してもよい。また、操作者は鑑賞者であってもよく、または、鑑賞者とは異なった場所から入力装置１０を操作してもよい。
【００２３】
（主映像表示装置）
以下、屋内の仮想空間として、壁面及び天井面に複数の絵画が配置された美術舘を例に挙げて説明する。
【００２４】
キャンパス面に描かれた絵画等の美術品は、可視光線によって人間の目で感知される絵画像の下のキャンバスに、その画家が以前に描いた絵や下絵、文字などが描かれている場合があり、これらを確認、解析するには、赤外線やエックス線などの不可視光線が用いられるが、本発明の実施の形態では、このように可視光線と不可視光線とにより得られる像の違いとして、絵画を用いた場合について説明する。
【００２５】
ここで、入力装置１０は、家庭用テレビゲーム機の操作スイッチと同様に操作者が両手で保持可能な程度の大きさであり、左手で操作可能な十字形状の４方向のキーＵ（上）、Ｄ（下）、Ｌ（左）、Ｒ（右）からなる方向キーＫと、右手で操作可能な４つのボタンａ〜ｄとを有し、各キーＵ、Ｄ、Ｌ、Ｒまたは各ボタンａ〜ｄの単独の押し操作や組み合わせの押し操作により、各種の信号（Ｋ，ａ〜ｄ）をコンピュータ６０に入力ができるようになっている。ここで、方向キーＫは、８方向のキー（左上、左下、右上、右下が付加される）からなるものとしてもよい。
【００２６】
なお、本実施の形態中、入力装置１０からの信号及びその変換結果の入力指令は、（ ）内に方向キーＫやボタンａ〜ｄを示して識別する。例えば（Ｕ，ｂ）は、キーＵとボタンｂとの押し操作を意味し、（ｄ２回）は、ボタンｄのダブルクリックを意味している。また、（Ｋ）は方向キーＵ、Ｄ、Ｌ、Ｒのいずれかの押し操作を意味し、（ａ〜ｄ）はボタンａ〜ｄいずれかの押し操作を意味する。ただし、任意の両者の組合せ（Ｋ，ａ〜ｄ）は、基本的には方向キーＵ、Ｄ、Ｌ、Ｒのいずれかとボタンａ〜ｄのいずれかとの組合せを意味するものの、方向キーＫまたはボタンａ〜ｄのいずれかが操作されない場合も含む（任意の操作を意味する）。
【００２７】
コンピュータ６０は、入力信号変換部２０、画像生成演算部３０、３つのフレームメモリ４１〜４３及び３つのＤ／Ａ変換器５１〜５３を備えている。なお、フレームメモリ４１〜４３、Ｄ／Ａ変換器５１〜５３及びプロジェクタ７１〜７３は、符号の１の位が等しいものが同一の信号系統となっている。
【００２８】
入力信号変換部２０は、入力装置１０から入力される各種の信号（Ｋ，ａ〜ｄ）を、対応する内容の入力指令（Ｋ，ａ〜ｄ）に変換し、この入力指令（Ｋ，ａ〜ｄ）を画像生成演算部３０に入力するというインターフェイス機能を持っている。
【００２９】
画像生成演算部３０は、入力信号変換部１０から入力された入力指令（Ｋ，ａ〜ｄ）に基づいて、スクリーン８０上に投影する可視光線による仮想空間映像を示す画像データ（ＲＧＢ）を生成し、この画像データを大画面に表示するため、画像データを左領域、中央領域および右領域の３領域に互いに境界を重複させつつ略三分割して個別に３つのフレームメモリ４１〜４３に送出する機能をもっている。
【００３０】
具体的には画像生成演算部３０は、可視光線による仮想空間映像を表示するための周知の基本機能部（図示せず）に加え、絵画特定テーブル３１、鑑賞アングルテーブル３２、絵画配置テーブル３３、鑑賞順序テーブル３４、平行移動演算部３５、鑑賞アングル移動演算部３６、絵画移動演算部３７を備えている。
【００３１】
基本機能部は、可視光線による仮想空間映像を作成するための画像データが記憶されたメモリを有し、入力信号変換部２０から受ける入力指令（Ｋ）あるいは（ａ又はｃ）に基づいて、ワールド座標系、ボディ座標系、視点座標系及びスクリーン座標系を用いた仮想空間映像の画像処理を実行し、得られた画像信号を、フレームメモリ４１〜４３に与えるといった周知の仮想空間映像表示技術を具現化したものである。また、基本機能の画像表示処理には、前述した視線方向に沿った進行、後退及びその場での任意方向の回転（首振り）がある。
【００３２】
絵画特定テーブル３１は、鑑賞アングル移動演算部３６により読み出し可能であり、図４に示すように、注目している絵画を特定するためのものであって、具体的には現在の視線方向、視点位置及び注目している絵画の組み合わせが設定されたものである。なお、ここでは、注目している絵画がスクリーン８０の中央に表示された絵画となるように設定されている。
【００３３】
鑑賞アングルテーブル３２は、鑑賞アングル移動演算部３６及び絵画移動演算部３７により読み出し可能であり、図５に示すように、絵画ｐ毎に鑑賞に最適な視点位置（ｘ，ｙ，ｚ）及び視線方向（θ，φ，ρ）からなる鑑賞アングルが設定されたものであって、所望により、鑑賞アングルに加え、ＢＧＭ又はナレーションを流すための音声データや、展示場所を鑑賞に適した明るさにするための明るさデータを絵画毎又は絵画のグループ毎に設定可能となっている。なお、鑑賞アングルテーブル３２内の視点位置は、仮想空間ＶＳのワールド座標系で設定されている。
【００３４】
絵画配置テーブル３３は、絵画移動演算部３７により読み出し可能であり、図６に示すように、絵画毎に、入力された移動方向と、その移動方向に配置された移動先の絵画の識別情報とが設定されたものである。なお、図中、例えばＬ・Ｕは、入力装置１０の２つのキーＬ、Ｕが同時に押し操作され、右上方向が指定されたことを示している。
【００３５】
鑑賞順序テーブル３４は、絵画移動演算部３７により読み出し可能であり、図７に示すように、任意のグループに含まれる複数の絵画毎に、グループ内の各絵画を所定の順序で鑑賞するための鑑賞順序データが設定されたものである。なお、所定の順序は、例えば絵の空間的配置や演出意図に基づいて任意に設定可能である。
【００３６】
平行移動演算部３５は、入力信号変換部２０から受ける入力指示（Ｋ，ｂ）に基づいて、視線方向と、視線方向にて交わる壁との傾きを算出し、得られた傾きに沿って壁に平行に視点位置を移動させるように画像処理を実行し、得られた画像データを略三分割して各フレームメモリ４１〜４３に与えられるものである。
【００３７】
鑑賞アングル移動演算部３６は、入力信号変換部２０から受ける入力指令（ｄ２回）に基づいて、絵画特定テーブル３１を参照して現在注目している絵画を特定し、鑑賞アングルテーブル３２を参照して当該特定した絵画の鑑賞アングルを読み出し、読み出した鑑賞アングルまで現在の視点を滑らかに移動させるように画像処理を実行し、得られた画像データを略三分割して各フレームメモリ４１〜４３に与えるものである。なお、滑らかに移動させる技術としては、例えば、鑑賞アングルと、現在の視点位置とに基づいて、両者を滑らかに結ぶスプライン曲線を算出し、得られたスプライン曲線に沿って視点を移動させる方式が使用可能となっている。また、２点間を円滑に結ぶ曲線の算出方式の詳細は、例えば、”Ｊ．Ｄ．Ｆｏｌｅｙ／Ａ．Ｖａｎ ＤＡＭ著、今宮淳美訳：コンピュータ・グラフィックス、日本コンピュータ協会”の文献に紹介されている。
【００３８】
絵画移動演算部３７は、視点が鑑賞アングルにあるとき、入力信号変換部２０から受ける入力指令（Ｋ，ｄ）に基づいて、絵画配置テーブル３３を参照して、入力された方向の絵画の鑑賞アングルに視点を移動させるように画像処理を実行し、得られた画像データを略三分割して各フレームメモリ４１〜４３に与える機能をもっている。
【００３９】
また、絵画移動演算部３７は、視点が鑑賞アングルにあるとき、入力信号変換部２０から受ける入力指令（ｄ１回）に基づいて、鑑賞順序テーブル３４を参照し、所定の次の絵画における鑑賞アングルに視点を移動させるように画像処理を実行して得られた画像データを略三分割して各フレームメモリ４１〜４３に与える機能をもっている。
【００４０】
各フレームメモリ４１〜４３は、画像データを逐次、各Ｄ／Ａ変換器５１〜５３を介して各プロジェクタ７１〜７３に供給するためのものである。各Ｄ／Ａ変換器５１〜５３は、各フレームメモリ４１〜４３から得られる画像データをＤ／Ａ変換し、得られた画像信号を各プロジェクタ７１〜７３に与えるものである。
【００４１】
各プロジェクタ７１〜７３は、コンピュータ６０内の各Ｄ／Ａ変換器５１〜５３から得られる画像信号に基づいて、スクリーン８０に可視光線による仮想空間映像を投影するためのものである。スクリーン８０は、各プロジェクタ７１〜７３に対向配置されており、ここでは、半径３メートルの球から上下４０度、横１５０度の範囲で切り取られた表皮部分と同様の凹面形状を有する反射型のものである。
【００４２】
以下、前述同様に、得られた画像データを略三分割して各フレームメモリ４１〜４３に与えることにより、所定の鑑賞順序に沿って、ある絵の鑑賞アングルから次の絵の鑑賞アングルまで移動する際の視界を示す仮想空間映像をスクリーン８０に表示することができる。また前の絵を見直したいときには、例えばボタンｂのクリック操作により、鑑賞順序テーブル３４を参照して前回の絵を特定し、この前回の絵の鑑賞アングルに視点を戻せばよい。このように、映像表示装置が予め有する鑑賞アングルの利用により、簡単な操作である絵の鑑賞アングルから他の絵の鑑賞アングルへと次々に移動し、多くの絵を最適な鑑賞アングルから観ることができる。
【００４３】
上述したように本実施の形態によれば、平行移動演算部３５が、仮想空間映像内に壁Ｗがあるとき、所定の入力指令（Ｋ，ｂ）を受けると、視線方向とこの視線方向に交わる壁Ｗとの傾きを算出し、得られた傾きに沿って壁Ｗに平行に視点位置を移動させるように画像処理を実行するので、仮想空間内の対象を鑑賞するとき、視線方向とは異なる方向に視点を移動でき、操作の容易性を向上させることができる。
【００４４】
また、鑑賞アングル移動演算部３６が、所定の入力指令（ｂ２回）を受けると、現在の視点位置及び視線方向に基づいて、絵画特定テーブル３１を参照して現在注目している絵画ｐｉを特定し、鑑賞アングルテーブル３２を参照して当該特定した絵画ｐｉの鑑賞アングルを読み出し、この鑑賞アングルまで現在の視点位置及び視線方向を移動させるように画像処理を実行するので、仮想空間内の態様を鑑賞するとき、鑑賞に適した位置に視点を移動でき、操作の容易性を向上させることができる。
【００４５】
さらに、絵画移動演算部３７が、現在の視点位置及び視線方向が鑑賞アングルにあるとき、移動方向を示す方向信号（Ｋ）及び所定の入力信号（ｄ）からなる入力指令（Ｋ，ｄ）を受けると、絵画配置テーブル３３を参照して移動方向にある絵画ｐｉを特定し、鑑賞アングルテーブル３２を参照して当該特定した絵画ｐｉの鑑賞アングルを読み出し、この鑑賞アングルまで現在の視点位置及び視線方向を移動させるように画像処理を実行するので、仮想空間内の対象を鑑賞するとき、視線方向とは異なる方向の鑑賞に適した位置に視点を移動でき、操作の容易性を向上させることができる。
【００４６】
さらに、機能指定部としてのボタンｂ、ｄが、移動方向を示す方向信号との組み合わせあるいは単独で用いられる所定の入力信号を入力するので、方向信号と所定の入力信号を組み合わせて指令を入力できることから入力装置１０を小型化でき、所定の入力信号によって前述した効果を得られることから操作の容易性を向上でき、且つ三次元の運動制御に適している。すなわち小型で操作が容易であり、三次元の運動制御に適した機能を有する入力装置を実現することができる。
【００４７】
（補助映像表示装置）
図３は、本発明の一実施の形態にかかる映像表示システムで利用される補助映像表示装置１００の構成を示す模式図であり、図８は、この映像表示システムで利用される補助映像表示装置１００の構成を示すブロック図である。
【００４８】
この補助映像表示装置１００は、前記主映像表示装置の全部又は一部を不可視光線（人間の目では感知できないガンマ線、エックス線、紫外線、赤外線、電波等）による画像として表示するために用いられるものであり、鑑賞者（又は観賞者という）が覗く接眼手段１０１〜１０２、鑑賞者が動かした回動量を検出し、検出した回動量から鑑賞方向を検出するための鑑賞方向検出手段（図示せず）、鑑賞者がどの程度の倍率で表示させるかを操作するための倍率操作手段２０１、先に示した各々の手段から得られる信号を入力して変換する入力信号変換部１２０、鑑賞者に接眼手段１０１〜１０２を透して見せる不可視光線による映像を生成する画像生成処理部１３０、鑑賞者に接眼手段１０１〜１０２を透して見せる映像を記憶したフレームメモリ１４１〜１４２、Ｄ／Ａ変換器１５１〜１５２、接眼手段１０１〜１０２を透して見せる不可視光線による映像を表示する映像表示部９１〜９２を備え、前記主映像表示装置のスクリーン８０に表示されている可視光による映像と同期して全部又は一部を不可視光線による映像として表示させるものである。また、主映像表示装置と補助映像表示装置の操作データや映像データなどのやり取りをするために送受信アンテナを備えていても良い。
【００４９】
さらに、上記補助映像表示装置１００について詳細に説明すれば、この補助映像表示装置１００は、例えば小型で携帯可能な双眼鏡を模した形の装置であり、鑑賞者が覗き込むための接眼部１０１〜１０２、鑑賞者がどの程度の倍率で表示させるかを操作するための倍率操作手段２０１、鑑賞者が動かした回動量を検出し検出した回動量から鑑賞方向を検出するための鑑賞方向検出手段（図示せず）、各々の手段から入力される信号を変換する入力信号変換部１２０、鑑賞者に見せる映像を生成する画像生成処理部１３０、フレームメモリ１４１〜１４２及びＤ／Ａ変換器１５１〜１５２を備えたコンピュータ１１０を介して表示部９１〜９２に仮想空間映像を表示するものである。また、表示される前記映像は、前記主映像表示装置のスクリーン８０に表示されている可視光線による映像と同期して、その映像の全部又は一部を不可視光線による映像により表示させるものである。
【００５０】
以下、先述の主映像表示装置が屋内の仮想空間として、壁面及び天井面に複数の絵画が配置された美術館を例に挙げて説明する。ここで、先述の主映像表示装置には任意の絵画が可視光線による映像として表示されているものとする。また、この補助映像表示装置１００は、各々の鑑賞者が携帯し操作者が見ている可視光線による仮想映像の内で、各々が興味を持った絵画または絵画における各部分に向けられた際に不可視光線による映像を表示するために用いられる。
【００５１】
図８に示すようにコンピュータ１１０は、入力信号変換部１２０、画像生成処理部１３０、２つのフレームメモリ１４１〜１４２及び２つのＤ／Ａ変換器１５１〜１５２を備えている。なお、フレームメモリ１４１〜１４２、Ｄ／Ａ変換器１５１〜１５２及び表示部９１〜９２は、符号の１の位が等しいものが同一の信号系統となっている。
【００５２】
鑑賞方向検出手段（図示せず）は、角速度を感知して感知した角速度に対応する電圧を出力する圧電振動ジャイロであり、柱形状に形成された圧電振動ジャイロの軸方向に垂直な方向の速度を検出することができる。また、この鑑賞方向検出手段は、２つの圧電振動ジャイロからなり、水平方向と垂直方向の回転の角速度を得ることができる。この角速度をそれぞれ積分することにより、鑑賞者の回動量を検出することができる。
【００５３】
入力信号変換部１２０は、補助映像表示装置１００の倍率操作手段２０３から入力される倍率信号を対応する内容の入力指示に変換し、鑑賞方向検出手段から入力される２つの角速度信号をそれぞれ積分して対応する内容の入力指令に変換し、これら入力指令を画像生成処理部１３０に入力するというインターフェース機能を持っている。
【００５４】
画像生成処理部１３０は、入力信号変換部１２０から入力された入力指令に基づいて、指定された画像を、絵画に対応する不可視光線によって得られる画像データが記憶されているメモリ又はコンピュータ６０から取り出し、スクリーン８０に表示されている可視光線による映像（画像データ）に整合させて、不可視光線によって得られる仮想空間映像を示す画像データ（ＲＧＢ）を生成し、この画像データを表示部９１〜９２に表示するため、画像データを左領域と右領域の二領域に互いに境界を重複させつつ略二分割して個別に２つのフレームメモリ１４１〜１４２に送出する機能をもっている。なお、本実施の形態では、不可視光線の例として赤外線を用いて可視光線で見られる絵画の下に描かれている絵を検出した画像データを仮想空間映像として表示部９１〜９２に表示するものである。
【００５５】
具体的には画像生成処理部１３０は、仮想空間映像を表示するための周知の基本機能部（図示せず）に加え、絵画特定テーブル１３１、鑑賞アングルテーブル１３２、不可視光線により撮影した画像を電子画像データとして記憶した不可視光線データメモリ１３３、平行移動演算部１３４、鑑賞アングル移動演算部１３５、絵画移動演算部１３６を備えている。ここで不可視光線データメモリ１３３には赤外線又はＸ線などの不可視光線により絵画（キャンバス面の絵画）を透視して絵画の裏面に存在する画像などを透視撮影した画像が電子データとして保存されている。
【００５６】
基本機能部は、仮想空間映像を作成するための可視光線により得られる画像データが記憶されたメモリを有し、入力信号変換部１２０から受ける入力指令に基づいて、ワールド座標系、ボディ座標系、視点座標系及びスクリーン座標系を用いた仮想空間映像の画像処理を実行し、得られた画像信号をフレームメモリ１４１〜１４２に与えるといった周知の仮想空間映像表示技術を具現化したものである。ここで補助映像表示装置１００に映像を表示するには、鑑賞者の視点位置から視線方向に伸ばした直線と主映像表示装置が備えているスクリーン８０との交点を求め、周知の透視法射影の逆変換により仮想空間内のスクリーン座標に変換し、仮想空間内での現在の視点位置から見たこの座標方向を、補助映像表示装置１００への表示に用いる視線方向とする。また補助映像表示装置１００への表示に用いる視野角は、倍率により決定される。つまり、視野角は補助映像表示装置１００の表示部の大きさを倍率で除算することにより求められる。こられ視点位置、視線方向と視野角とから透視法射影による座標変換を行い、補助映像表示装置１００へ表示する。
【００５７】
絵画特定テーブル１３１は、鑑賞アングル移動演算部１３５により読み出し可能であり、図９に示すように、注目している絵画や絵画の一部を特定するためのものであって、具体的には現在の視線方向、視点位置及び注目している絵画や絵画の一部の組み合わせが設定されたものである。なお、主映像表示装置がスクリーン８０に表示されている絵画の表示情報は、コンピュータ６０からコンピュータ１１０を介して鑑賞アングル移動演算部１３５に入力される。なお、個々の鑑賞者が注目している絵画や絵画の一部が表示部９１〜９２に表示された絵画や絵画の一部となるように設定されている。この絵画や絵画の一部が表示部９１〜９２では、不可視光線（ここでは赤外線）による画像と置き換えられている。
【００５８】
鑑賞アングルテーブル１３２は、鑑賞アングル移動演算部１３５及び絵画移動演算部１３６により読み出し可能であり、図１０に示すように、絵画ｐ毎に鑑賞に最適な視点位置（ｘ，ｙ，ｚ）及び視線方向（θ，φ，ρ）からなる鑑賞アングルが設定されたものであって、所望により、鑑賞の詳細説明、ＢＧＭ又はナレーションを流すための文字データ、動画データ、静止画データ、音声データや、展示場所を鑑賞に適した明るさにするための明るさデータを、絵画毎又は絵画のグループ毎に設定可能となっている。
【００５９】
平行移動演算部１３４は、入力信号変換部１２０から受ける入力指示に基づいて、視線方向と、視線方向にて交わる壁との傾きを算出し、得られた傾きに沿って壁に平行に視点位置を移動させるように画像処理を実行し、得られた画像データを略二分割して各フレームメモリ１４１〜１４２に与えられるものである。
【００６０】
鑑賞アングル移動演算部１３５は、入力信号変換部１２０から受ける入力指令に基づいて、絵画特定テーブル１３１を参照して現在注目している絵画又は絵画の一部を特定し、鑑賞アングルテーブル１３２を参照して当該特定した絵画又は絵画の一部の鑑賞アングルを読み出し、読み出した鑑賞アングルまで現在の視点を滑らかに移動させるように画像処理を実行し、得られた画像データを略二分割して各フレームメモリ１４１〜１４２に与えるものである。なお、滑らかに移動させる技術としては、例えば、鑑賞アングルと、現在の視点位置とに基づいて、両者を滑らかに結ぶスプライン曲線を算出し、得られたスプライン曲線に沿って視点を移動させる方式が使用可能となっている。
【００６１】
各フレームメモリ１４１〜１４２は、画像データを逐次、各Ｄ／Ａ変換器１５１〜１５２を介して各表示部９１〜９２に供給するためのものである。各Ｄ／Ａ変換器１５１〜１５２は、各フレームメモリ１４１〜１４２から得られる画像データをＤ／Ａ変換し、得られた画像信号を各表示部９１〜９２に与えるものである。
【００６２】
また、映像表示の視覚手段に加えて、嗅覚、触覚、振動などによる手段を補助映像表示装置に搭載して観察者には個々に体験を与えられるようにしてもよい。具体的には、上記補助映像表示装置１００に、上記主映像表示装置に連動して動作する匂い提供機能（装置）を搭載することにより、補助映像表示装置が表示している仮想空間映像に連動して、例えば、花の香り、海の香りなどを発生できるようにしてもよい。
【００６３】
また、上記補助映像表示装置１００に、上記主映像表示装置に連動して動作する触覚呈示機能（装置）を搭載することにより、補助映像表示装置１００の手が触れる部分に、補助映像表示装置が表示している仮想空間映像中の物体の形や硬さなどを表現できるようにしてもよい。
【００６４】
また、上記補助映像表示装置１００に、上記主映像表示装置に連動して動作する振動機能（装置）を搭載することにより、例えば、主映像表示装置に表示されている車に乗っている映像中の車の部分に補助映像表示装置１００の映像をフォーカスすると車の振動を表現するための振動が発生できるようにしてもよい。
【００６５】
次に、以上のように構成された各鑑賞者が各自携帯する補助映像表示装置１００の動作をフローチャートにして図１１に示す。いま、画像生成処理部１３０内の平行移動演算部１３４においては、入力信号変換部１２０からの入力指令の有無を判定し（ＳＴ１）、入力指令が無いときは待機するが、ここで鑑賞者Ａによる倍率の調整操作が行われる倍率操作手段２０３、鑑賞者が見ている方向と位置を検出する鑑賞方向検出手段により、入力信号変換部１２０を介して入力指令を受けたとする。
【００６６】
なお、この入力指令は、図９に示すように、絵画に対して左上方向の平行移動であり、壁に対しても左上方向の平行移動である。平行移動演算部１３４は、主映像表示装置により壁との４つの交点を求め、コンピュータ６０に入力される（ＳＴ２）。この４つの交点からそれぞれの座標［ｘ４，ｙ４，ｚ４］〜［ｘ５，ｙ５，ｚ５］とを得て、続いて、絵との傾きを左右方向と上下方向とに分けて算出する（ＳＴ３）。
【００６７】
ここで、平行移動演算部１３４は、絵の傾きの方向に沿って左上方向にカメラを移動させるように画像処理を実行し（ＳＴ４）、得られた不可視光線で得られる画像データを各フレームメモリ１４１〜１４２に与えることにより、表示部９１〜９２において、絵画の中心を見ながら平行させて左上へ移動させることができる。さらに、倍率操作手段２０３によって絵画を鑑賞者が希望する倍率で表示することも行うことができる。例えば、主映像表示装置のスクリーン８０には、図１２（ａ）に示す可視光線による映像（例えば絵画）を出力表示させ、補助映像表示装置の表示部９１〜９２には、現在鑑賞者Ａがスクリーン８０上で見ている可視光線による前記映像の全部又はその映像の一部に対応する不可視光線データメモリ１３３から不可視光線で得られた図１２（ｂ）に示す不可視光線により得られた映像（絵画又は文字情報）を出力表示させることができる。これにより通常、人が見ている同一の物を異なった波長の電磁波で確認させることができるので、可視光線による映像としてスクリーン８０上に映写されている物に関する理解力を深めて、物を見る目を養わせることができる。
【００６８】
次に、任意の場所から所望の絵画や絵画の一部に鑑賞アングルを移動させる場合の動作を図１３に示したフローチャートを用いて述べる。
鑑賞アングル移動演算部１３５は、コンピュータ６０により生成されスクリーン８０に表示されている複数の絵画の表示情報を得る（ＳＴ１２）。次に、鑑賞方向検出手段（図示せず）により鑑賞者の視線方向を算出し（ＳＴ１３）、これらの信号に基づいて絵画特定テーブル１３１を参照することにより（ＳＴ１４）、注目している絵画や絵画の一部を特定し（ＳＴ１５）、鑑賞アングルテーブル１３２を参照して当該特定した絵画や絵画の一部の鑑賞アングルを読み出す（ＳＴ１６）。次に、視点の移動経路を算出し（ＳＴ１７）、絵の鑑賞アングルへ視点を移動させる（ＳＴ１８）。
【００６９】
以下前述と同様に、不可視光線により得られた画像データを略二分割して各フレームメモリ１４１〜１４２に与えることにより、任意の地点から注目している絵画の一部の鑑賞アングルへ、自然に回り込むときの視界を示すかのように仮想空間映像を表示部９１〜９２に表示することができる。
【００７０】
鑑賞アングルを移動させる場合の上記動作において、注目している絵画や絵画の一部を特定する際に、主映像表示装置のコンピュータ６０からの表示情報と、鑑賞方向検出手段からの視線方向と、絵画特定テーブル１３１とを用いているので、注目している絵を容易に特定することができる。すなわち、絵画特定テーブル１３１は、視線方向からある程度注目している絵を幾つかに絞り込み、さらに、これらの絵を視点位置によって、注目している絵画の一部を特定するという構造なので、複雑な演算を必要とはせずに、容易に絵画の一部を特定することができる。
【００７１】
また、上記実施の形態では、鑑賞方向検出手段として角速度を感知するものについて説明したが、次の機能を備えた装置であっても視線位置を検出することができる。
【００７２】
光学方式を用いる場合では、補助映像表示装置上にマーカ表示体や発光表示体を取付固定し、１台または複数台のカメラを用いてそれら表示体を撮影し、その撮影画像データに基づいて画像処理を行って、撮影視野内の補助映像表示装置の位置や方向を求めることが可能となる。
【００７３】
機械方式を用いる場合では、補助映像表示装置を支える支持装置の可動部分に角度センサーを取り付けておき、読み取られた角度により補助映像表示装置の位置や方向を求めることが可能となる。
【００７４】
磁場方式を用いる場合では、磁場発生装置により鑑賞者を取り巻き、磁気センサーを取り付けた補助映像表示装置により検出された磁場の強度と方向から補助映像表示装置の位置や方向を求めることが可能となる。なお、磁場発生装置を補助映像表示装置に取り付け、磁気センサーを固定する方式でも同様に位置や方向を求めることが可能である。
【００７５】
超音波方式を用いる場合では、超音波発生器から発信された超音波が超音波センサーに到達するまでの時間を測定して両者間の距離を求めて、補助映像表示装置の位置や方向を求めることが可能となる。なお、超音波センサーを補助映像表示装置に取り付け、超音波発生器を固定する方式でも同様に位置や方向を求めることができる。
【００７６】
走査線方式を用いる場合では、補助映像表示装置が向けられている投影スクリーン上の一点の輝度を検出する光センサーを補助映像表示装置に取り付け、投影光の検出タイミングと主映像表示装置のプロジェクタの走査タイミングのずれ量からスクリーン上における対象点の位置を求めることが可能となる。
【００７７】
なお、上記実施の形態では、双眼鏡の形を模した表示装置を用いる場合について説明したが、これに限らず周知の視点検出装置を用い、操作者の目の状態から注目している絵を特定する構成としても、本発明と同様の効果を得ることができ、さらに、映像の隅の方の絵画に注目していたとしても、その絵画を特定することができる。
【００７８】
また、上記実施の形態では、鑑賞アングルへの移動の際にスプライン曲線を算出する場合について説明したが、これに限らず、スプライン曲線以外の任意の曲線を任意方式により算出する構成としても、本発明を同様に実施して同様の効果を得ることができる。
【００７９】
また、上記実施の形態では、鑑賞アングルテーブル３２、１３２に音声データを登録してもよい旨を説明したが、これに限らず、絵画近傍の空間領域（視点位置の範囲と視野方向の範囲により規定可能）と音声データとを組にして登録し、鑑賞アングル以外に視点位置があっても、注目している絵毎に音声データを変更する構成としてもよい。また、鑑賞アングルにはナレーションを登録し、鑑賞アングル以外の絵画近傍の空間領域にはＢＧＭを登録するという構成でもよい。あるいは所定の操作により、ナレーション、ＢＧＭ又は音声オフを切り替え可能としてもよい。また、各々の鑑賞者が各自が特定した絵画や絵画の一部に関する音声を聞くために、ヘッドフォンなどを使用してもよい。
【００８０】
さらに、上記実施の形態では、美術館の絵画を鑑賞する場合を説明したが、これに限らず、注目対象を有する壁の近傍の移動に関する内容（通常は屋内の移動全般であるが、遺跡の見学のように屋外の移動も含む）であれば、本発明を同様に実施して同様の効果を得ることができる。
【００８１】
例えば、美術館、プラネタリューム、博物館、教育（理科（実験室内の移動）、美術（美術的な価値をもつ寺院や礼拝堂内の移動）、歴史（歴史的な価値をもつ建物内の移動）の授業用など）、トレーニング（警備員の訓練、美術館員などの説明訓練）、遺跡復元、サファリパーク、景観予測、景観や文化財の映像による保存、ショールーム、新製品開発（建売住宅、映画、迷路などのゲームや遊園地など）、プレゼンテーションなどの内容が適用例として考えられる。特に、プラネタリュームでは、エックス線や赤外線などの不可視光線による星空の星座群の撮影等の学術研究が進んでいるので、可視光線と不可視光線とによるそれぞれ映像の違いを示すのに好適である。
【００８２】
但し、ここに列挙した以外の内容であっても、上述した如き、複数の鑑賞者で同じ可視光線による映像を共有して鑑賞しながら、その映像の内で各々の鑑賞者が希望する不可視光線による映像を、各自に映像として見せるといった動作を含む映像の表示技術であれば、本発明の範囲に含まれることは言うまでもない。
【００８３】
【発明の効果】
以上説明してきたように、本発明によれば、複数の鑑賞者と同じ仮想空間映像を見ることにより共有の体験をすることができ、且つ各々の鑑賞者は各自の嗜好に合った仮想空間映像を詳細に鑑賞することができ、また、不可視光線によって得られた画像を、鑑賞者は各自で鑑賞することができるので、可視光線と不可視光線とによる物の見え方を確認することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態による映像表示システムの外観を示す模式図である。
【図２】本発明の一実施の形態による主映像表示装置の構成を示す概略ブロック図である。
【図３】本発明の一実施の形態による補助映像表示装置の外観を示す模式図である。
【図４】鑑賞特定テーブルの一例を示す図である。
【図５】鑑賞アングルテーブルの一例を示す図である。
【図６】絵画配置テーブルの一例を示す図である。
【図７】鑑賞順序テーブルの一例を示す図である。
【図８】本発明の一実施の形態による補助映像表示装置の構成を示す概略ブロック図である。
【図９】絵画特定テーブルの一例を示す図である。
【図１０】鑑賞アングルテーブルの一例を示す図である。
【図１１】補助映像表示装置の動作を示すフローチャートである。
【図１２】絵画の詳細を鑑賞者に知らせた場合の一例を示す図である。
【図１３】補助映像表示装置が任意の場所から鑑賞アングルを移動させる場合の動作を示すフローチャートである。
【符号の説明】
１０…入力装置
２０、１２０…入力信号変換部
３０…画像再生演算部
３１、１３１…絵画特定テーブル
３２、１３２…鑑賞アングルテーブル
３３…絵画配置テーブル
３４…鑑賞順序テーブル
３５、１３４…平行移動演算部
３６、１３５…鑑賞アングル移動演算部
３７、１３６…絵画移動演算部
４１、４２、４３、１４１、１４２…フレームメモリ
５１、５２、５３、１５１、１５２…Ｄ／Ａ変換器
６０、１１０…コンピュータ
７１、７２、７３…プロジェクタ
８０…スクリーン
９１、９２…表示部
１００…補助映像表示装置
１０１、１０２…接眼手段
１３０…画像生成処理部
１３３…絵画詳細データメモリ
２０１…倍率操作手段

Claims (4)

1. 映像を表示できる映像表示システムであって、可視光線による映像を広視野で表示する第１表示手段を備えた主映像表示装置と、鑑賞者の鑑賞方向を検出する鑑賞方向検出手段及び前記映像の内で前記鑑賞方向にある映像に関する情報を不可視光線により撮影した映像を表示させる第２表示手段を備えた補助映像表示装置とを具備したことを特徴とする映像表示システム。
2. 前記第２表示手段は、前記鑑賞方向検出手段からの鑑賞方向情報と主映像表示装置からの表示情報とに基づいて、鑑賞方向にある映像を特定して表示させることを特徴とする請求項１記載の映像表示システム。
3. 前記各映像が三次元の立体映像であることを特徴とする請求項１又は請求項２記載の映像表示システム。
4. 前記不可視光線が、電波、赤外線、紫外線、エックス線、ガンマ線のいずれかであることを特徴とする請求項１乃至請求項３のいずれか１項記載の映像表示システム。

Images