JP2004129003A - 表示装置、画像処理装置および画像処理方法、撮像装置、並びにプログラム - Google Patents

Abstract

【課題】ユーザが自身の位置関係を把握しやすく、臨場感のある画像の表示をする。
【解決手段】外側ドームスクリーン４２は、ユーザを囲むように配置され、そこには、被写体の周囲の風景などの没入画像が表示される。一方、内側ドームスクリーン４２は、外側ドームスクリーン４２の内側に配置され、ユーザが、そのユーザの視点から被写体を見たときに、そのユーザの視覚に映る被写体の鳥瞰画像が表示される。この場合、ユーザは、鳥瞰画像により、自身の位置関係を容易に把握し、没入画像により、臨場感を享受することができる。
【選択図】　　　図１０

Description

【０００１】
【発明の属する技術分野】
本発明は、表示装置、画像処理装置および画像処理方法、撮像装置、並びにプログラムに関し、特に、ユーザに対して、より臨場感のある画像を提示すること等ができるようにする表示装置、画像処理装置および画像処理方法、撮像装置、並びにプログラムに関する。
【０００２】
【従来の技術】
ユーザに臨場感のある画像を提示する従来の表示装置としては、例えば、没入型スクリーンを用いた表示装置がある。没入型スクリーンを用いた表示装置では、ユーザがある仮想空間にいるとした場合に、その視覚に映る画像（以下、適宜、没入画像）が表示されることから、ユーザは、その没入画像を視聴することにより、自分がその没入画像によって提供される仮想空間に実際にいるかのような臨場感を享受することができる。
【０００３】
【発明が解決しようとする課題】
ところで、没入型スクリーンを用いた表示装置では、上述したように、ユーザが仮想空間にいるとした場合にその視覚に映る画像が表示されるため、ユーザ自身が、没入画像によって提供される仮想空間において、相対的にどの位置にいるのかが把握しにくいことがあった。
【０００４】
一方、例えば、いわゆるテレビゲームにおけるカーレースゲームなどでは、ユーザが操作する自動車を、ある視点から見た鳥瞰画像が表示されるようになっている。この場合、ユーザは、自身が操作する自動車の位置を容易に把握することができ、さらに、自動車の操作も容易に行うことができる。
【０００５】
しかしながら、鳥瞰画像が表示される場合には、没入画像が表示される場合に比較して、没入感や臨場感が損なわれる。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、ユーザが自身の位置関係を把握しやすく、かつ臨場感のある画像の表示をすることができるようにするものである。
【０００７】
【課題を解決するための手段】
本発明の表示装置は、第１の画像を表示する、ユーザを囲むように配置される第１の表示手段と、第２の画像を表示する、第１の表示手段の内側に配置される第２の表示手段とを備えることを特徴とする。
【０００８】
本発明の画像処理装置は、複数の位置それぞれから撮像された画像の中から、ユーザの視点に基づき、そのユーザの視点から所定の被写体を見たときの視点画像を選択する画像選択手段と、ユーザの視点と表示手段の形状とに基づき、視点画像を、発光画像に変換する視点画像変換手段とを備えることを特徴とする。
【０００９】
本発明の画像処理方法は、複数の位置それぞれから撮像された画像の中から、ユーザの視点に基づき、そのユーザの視点から所定の被写体を見たときの視点画像を選択する画像選択ステップと、ユーザの視点と表示手段の形状とに基づき、視点画像を、発光画像に変換する視点画像変換ステップとを備えることを特徴とする。
【００１０】
本発明のプログラムは、複数の位置それぞれから撮像された画像の中から、ユーザの視点に基づき、そのユーザの視点から所定の被写体を見たときの視点画像を選択する画像選択ステップと、ユーザの視点と表示手段の形状とに基づき、視点画像を、発光画像に変換する視点画像変換ステップとを備えることを特徴とする。
【００１１】
本発明の撮像装置は、被写体の全方位を撮像する全方位撮像手段と、被写体を複数の方向から撮像する複数の被写体撮像手段とを備えることを特徴とする。
【００１２】
本発明の表示装置においては、ユーザを囲むように配置される第１の表示手段に、第１の画像が表示され、第１の表示手段の内側に配置される第２の表示手段に、第２の画像が表示される。
【００１３】
本発明の画像処理装置および画像処理方法、並びにプログラムにおいては、複数の位置それぞれから撮像された画像の中から、ユーザの視点に基づき、そのユーザの視点から所定の被写体を見たときの視点画像が選択され、ユーザの視点と表示手段の形状とに基づき、視点画像が、発光画像に変換される。
【００１４】
本発明の撮像装置においては、被写体の全方位が撮像されるとともに、被写体が複数の方向から撮像される。
【００１５】
【発明の実施の形態】
図１は、本発明を適用した撮像／表示システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成例を示している。
【００１６】
撮像システム１は、被写体と、その被写体の全方位の画像を撮像し、その結果得られる画像データを、例えば、光ディスクや、磁気ディスク、磁気テープ、半導体メモリその他の記録媒体３に記録し、あるいは、例えば、電話回線、衛星回線、ＣＡＴＶ（Ｃａｂｌｅ　Ｔｅｌｅｖｉｓｉｏｎ）網、インターネットその他の伝送媒体４を介して送信する。
【００１７】
表示システム２は、記録媒体３から画像データを再生し、あるいは、伝送媒体４を介して送信されてくる画像データを受信して表示する。
【００１８】
図２は、図１の撮像システム１の構成例を示している。
【００１９】
広角撮像部１１は、被写体の周囲を広角で撮像する広角カメラ（ビデオカメラ）で構成され、その広角カメラによって撮像される広角画像データ（動画データ）を、マルチプレクサ１３に供給する。ここで、広角撮像部１１を構成する広角カメラとしては、例えば、後述するように、被写体の全方位を撮像する全方位カメラを採用することができ、従って、広角画像部１１から出力される広角画像データは、被写体の周囲の景色などの画像である。
【００２０】
囲い込み撮像部１２は、被写体の水平方向や垂直方向の周囲を囲むように、多数配置された複数のカメラ（ビデオカメラ）で構成され、その複数のカメラによって撮像される画像データ（動画データ）を、マルチプレクサ１３に供給する。ここで、囲い込み撮像部１２では、複数の位置に配置されたカメラそれぞれから、そのカメラの位置（カメラ位置）から被写体を撮像した画像データが出力されるが、この複数の位置から撮像された被写体の画像データを、以下、適宜、まとめて、囲い込み画像データという。
【００２１】
マルチプレクサ１３は、広角撮像部１１から供給される広角画像データと、囲い込み撮像部１２から供給される囲い込み画像データとを多重化し、その結果得られる多重化画像データを、記録／送信部１４に供給する。
【００２２】
ここで、マルチプレクサ１３は、広角画像データと囲い込み画像データの同一フレームどうしを対応付けて多重化する。また、マルチプレクサ１３は、囲い込み画像データである複数のカメラ位置から撮像された画像データの各フレームに、そのカメラ位置を対応付けて多重化するようにもなっている。なお、囲い込み撮像部１２を構成する各カメラのカメラ位置は、あらかじめ分かっているものとする。また、カメラ位置としては、例えば、被写体のある位置を原点とする３次元座標系上での位置を表す座標などを採用することができる。
【００２３】
記録／送信部１４は、マルチプレクサ１３から供給される多重化画像データを、記録媒体３（図１）に記録し、あるいは伝送媒体４を介して送信する。
【００２４】
次に、図３は、図２の広角撮像部１１の構成例を示している。
【００２５】
広角撮像部１１は、全方位カメラ２１で構成されている。全方位カメラ２１は、理想的には、光軸に垂直な面から撮像方向側の、図３に示すような半球状の面を通って全方位カメラ２１に入射する光線を受光し、その光線に対応する画像データを出力する。
【００２６】
ここで、全方位カメラ２１としては、例えば、魚眼レンズ付きのカメラや、双曲面ミラー付きのカメラなどを採用することができる。なお、本実施の形態では、全方位カメラ２１として、魚眼レンズ付きのカメラを採用することとする。
【００２７】
全方位カメラ２１は、被写体の周囲の全方位の風景等を撮像することができるように設置されている。従って、例えば、被写体が、競技場で行われているサッカーの試合であるとすると、全方位カメラ２１は、例えば、競技場の中央に設置され、これにより、全方位カメラ２１では、サッカーの試合を観戦している観客がいるスタンドの風景が撮像される。
【００２８】
次に、図４は、図２の囲い込み撮像部１２の構成例を示している。
【００２９】
囲い込み撮像部１２は、被写体の周囲に、その被写体を囲い込むように配置された多数の囲い込みカメラ２２_ｋ（ｋ＝１，２，・・・）で構成され、これにより、囲い込み撮像部１２では、多数の視点から見た被写体の画像が撮像される。従って、被写体が、例えば、上述したように、競技場で行われているサッカーの試合であるとすると、囲い込み撮像部１２を構成する多数の囲い込みカメラ２２_ｋは、競技場に設けられたサッカーフィールドを囲むように配置され、これにより、囲い込みカメラ２２_ｋでは、サッカーフィールド上でのサッカーの試合の模様が撮像される。
【００３０】
なお、囲い込みカメラ２２_ｋは、ある水平面内の、被写体の経度方向（水平方向）にのみ配置しても良いし、被写体の経度及び緯度のあらゆる方向（水平、垂直方向）に配置しても良い。囲い込みカメラ２２_ｋを、ある水平面内の、被写体の経度方向にのみ配置する場合には、後述する左右パララックス方式しか採用し得なくなるが、囲い込みカメラ２２_ｋを、被写体の経度及び緯度のあらゆる方向に配置する場合には、後述する左右パララックス方式と上下左右パララックス方式のいずれをも採用することが可能となる。
【００３１】
次に、図５は、全方位カメラ２１（図３）と囲い込みカメラ２２_ｋ（図４）の配置関係を示している。
【００３２】
囲い込みカメラ２２_ｋは、例えば、被写体を囲む半球の球面上に、等経度かつ等緯度間隔で配置され、その囲い込みカメラ２２_ｋの位置（カメラ位置）を視点として、被写体を撮像する。
【００３３】
全方位カメラ２１は、例えば、囲い込みカメラ２２_ｋが配置された半球の中心に配置され、被写体の周囲の全方位、即ち、囲い込みカメラ２２_ｋが配置された半球の中心から、その半球の球面上の各点の方向を撮像する。
【００３４】
ここで、図５の実施の形態では、全方位カメラ２１は、その光軸が、囲い込みカメラ２２_ｋが配置された半球の北極方向（緯度が９０度の方向）を向くように配置されている。また、囲い込みカメラ２２_ｋは、その光軸が、囲い込みカメラ２２_ｋが配置された半球の中心方向を向くように配置されている。
【００３５】
なお、全方位カメラ２１および囲い込みカメラ２２_ｋの配置方法は、図５に示した配置に限定されるものではない。
【００３６】
図２に示した撮像システム１では、広角撮像部１１において、全方位カメラ２１（図３）が、被写体の全方位の画像を撮像し、その結果得られる全方位画像データ（広角画像データ）を、マルチプレクサ１３に供給する。同時に、囲い込み撮像部１２において、囲い込みカメラ２２_ｋ（図４）が、そのカメラ位置から見た被写体の画像を撮像し、その結果得られる囲い込み画像データを、マルチプレクサ１３に供給する。
【００３７】
マルチプレクサ１３は、広角撮像部１１から供給される全方位画像データと、囲い込み撮像部１２から供給される囲い込み画像データとを多重化し、その多重化の結果得られる多重化画像データを、記録／送信部１４に供給する。
【００３８】
記録／送信部１４は、マルチプレクサ１３から供給される多重化画像データを、記録媒体３（図１）に記録し、あるいは、伝送媒体４を介して送信する。
【００３９】
従って、撮像システム１では、被写体が、例えば、競技場で行われているサッカーの試合である場合には、サッカーの試合を観戦している観客がいるスタンドの風景や大きく蹴り上げられたサッカーボールなどが、全方位画像データとして撮像されるとともに、そのサッカーの試合のグランドやプレーをしている選手などを多数の視点から見た画像が、囲い込み画像データとして撮像される。
【００４０】
次に、図６は、図１の表示システム２の構成例を示している。
【００４１】
再生／受信部３１は、記録媒体３（図１）から多重化画像データを再生し、あるいは、伝送媒体４（図１）を介して送信されてくる多重化画像データを受信し、その多重化画像データを、デマルチプレクサ３２に供給する。
【００４２】
デマルチプレクサ３２は、再生／受信部３１から供給される多重化画像データを、フレームごとの全方位画像データと囲い込み画像データとに分離し、全方位画像データを、広角画像処理部３３に供給するとともに、囲い込み画像データを、囲い込み画像処理部３５に供給する。
【００４３】
広角画像処理部３３は、デマルチプレクサ３２から供給される全方位画像データを処理し、その処理の結果得られる画像データを、広角画像表示部３４に供給する。
【００４４】
広角画像表示部３４は、広角画像処理部３３から供給される画像データを表示することにより、ユーザに没入感を提供する没入画像を表示する。
【００４５】
囲い込み画像処理部３５は、デマルチプレクサ３２から供給される囲い込み画像データを、視点検出部３７から供給されるユーザの視点に応じて処理し、そのユーザの視点から被写体を見たときの画像データを生成して、囲い込み画像表示部３６に供給する。
【００４６】
囲い込み画像表示部３６は、囲い込み画像処理部３５から供給される画像データを表示することにより、ユーザの視点などの所定の視点から被写体を見たときの鳥瞰画像を表示する。
【００４７】
視点検出部３７は、ユーザの視点を検出し、囲い込み画像処理部３５に供給する。ここで、視点検出部３７としては、例えば、ポヒマス（Ｐｏｌｈｅｍｕｓ）社の３次元位置センサとしての磁気センサなどを採用することができる。この場合、磁気センサである視点検出部３７は、例えば、ユーザの頭部に装着される。また、視点検出部３７としては、例えば、ジョイスティックやトラックボールなどの、視点（の変化）を入力することのできる手段を採用することも可能である。即ち、視点検出部３７は、実際のユーザの視点を検知する手段である必要はなく、仮想的なユーザの視点を入力することができる手段であってもよい。
【００４８】
次に、図７は、図６の広角画像表示部３４の構成例を示している。
【００４９】
広角画像表示部３４は、外側用全方位プロジェクタ４１と外側ドームスクリーン４２で構成されている。
【００５０】
外側用全方位プロジェクタ４１は、広角に光線を発することができるプロジェクタで、例えば、一般的なプロジェクタと、そのプロジェクタが発する光線を広角なものとする光学系としての魚眼レンズなどから構成される。
【００５１】
外側ドームスクリーン４２は、例えば、半球ドーム形状をしており、ユーザを囲むように配置されている。また、外側ドームスクリーン４２としての半球ドームは、その半球ドームの中に、複数のユーザが入っても、ある程度動き回れる程度の大きさとなっており、その直径が、例えば５ｍ程度とされている。
【００５２】
外側ドームスクリーン４２の内側（または外側）の面には、例えば、光を散乱する塗料が塗布されている。そして、外側ドームスクリーン４２の内部には、その内側の面に向かって光線が発光されるように、外側用全方位プロジェクタ４１が配置されている。
【００５３】
即ち、外側用全方位プロジェクタ４１は、例えば、その光学中心が、外側ドームスクリーン４２としての半球ドームの中心に一致し、その光軸が水平面と直交するように配置されている。そして、外側用全方位プロジェクタ４１は、広角画像処理部３３から供給される画像データに対応する光線を、魚眼レンズを介して発することにより、その光線を、半球ドームである外側ドームスクリーン４２の内側の面全体に向かって射出する。
【００５４】
外側用全方位プロジェクタ４１が発する光線は、半球ドームである外側ドームスクリーン４２の内側の面上の各点で受光されて散乱される。これにより、ユーザを覆う外側ドームスクリーン４２の内側の面においては、外側用全方位プロジェクタ４１が発する光線に対応する没入画像、即ち、撮像システム１で撮像された被写体の全方位の画像が表示される。
【００５５】
なお、外側ドームスクリーン４２の形状は、ユーザを囲むような形状であれば、半球ドーム形状に限定されるものではなく、その他、円筒形などを採用することが可能である。
【００５６】
次に、図８は、図６の囲い込み画像表示部３６の構成例を示している。
【００５７】
囲い込み画像表示部３５は、内側用全方位プロジェクタ４３と内側ドームスクリーン４４で構成されている。
【００５８】
内側用全方位プロジェクタ４３は、図７の外側用全方位プロジェクタ４１と同様に、広角に光線を発することができるプロジェクタで、例えば、一般的なプロジェクタと、そのプロジェクタが発する光線を広角なものとする光学系としての魚眼レンズなどから構成される。
【００５９】
内側ドームスクリーン４４は、例えば、半球ドーム形状をしており、その内側（または外側）の面には、例えば、光を散乱する塗料が塗布されている。そして、内側ドームスクリーン４４の内部には、その内側の面に向かって光線が発光されるように、内側用全方位プロジェクタ４３が配置されている。
【００６０】
即ち、内側用全方位プロジェクタ４３は、例えば、その光学中心が、内側ドームスクリーン４４としての半球ドームの中心に一致し、その光軸が水平面と直交するように配置されている。そして、内側用全方位プロジェクタ４３は、広角画像処理部３３から供給される画像データに対応する光線を、魚眼レンズを介して発することにより、その光線を、半球ドームである内側ドームスクリーン４４の内側の面全体に向かって射出する。
【００６１】
内側用全方位プロジェクタ４３が発する光線は、半球ドームである内側ドームスクリーン４４の内側の面上の各点で受光されて散乱される。内側ドームスクリーン４４自体は、透明な部材で構成されており、その内側の面において、内側用全方位プロジェクタ４３が発する光線が散乱されることにより、その外側の面には、内側用全方位プロジェクタ４３が発する光線に対応する鳥瞰画像、即ち、撮像システム１で撮像された被写体をある視点から見た画像が、いわゆる背面投影される形で表示される。
【００６２】
なお、ここでは、内側ドームスクリーン４４の形状を、図７の外側ドームスクリーン４２の形状と相似の形状である半球ドームとしたが、内側ドームスクリーン４４の形状は、外側ドームスクリーン４２の形状と相似である必要はない。即ち、内側ドームスクリーン４４の形状は、外側ドームスクリーン４２の形状とは独立に、例えば、円筒形や、多角柱形状などとすることが可能である。
【００６３】
次に、図９は、外側ドームスクリーン４２（図７）と内側ドームスクリーン４４の配置関係を示している。
【００６４】
上述したように、外側ドームスクリーン４２は、ユーザを囲むように配置される。そして、内側ドームスクリーン４４は、外側ドームスクリーン４２の内側に配置される。
【００６５】
従って、外側ドームスクリーン４２の内側で、かつ内側ドームスクリーン４４の外側にいるユーザは、外側ドームスクリーン４２の内側の面に表示される没入画像と、内側ドームスクリーン４４の外側の面に表示される鳥瞰画像とを同時に視聴することができる。その結果、ユーザは、没入画像によって提供される没入感を享受することができるとともに、鳥瞰画像によって自身の位置を容易に把握することができる。
【００６６】
即ち、外側ドームスクリーン４２の内側の面には、例えば、サッカーの競技場のスタンドの風景等の没入画像が表示され、内側ドームスクリーン４４の外側の面には、ユーザの視点から、サッカーフィールドを見たときの試合の様子が表示されるので、ユーザは、実際に、サッカーの競技場で、サッカーの試合を観戦しているかのような臨場感を味わうことができる。
【００６７】
次に、図１０に示すように、外側ドームスクリーン４２の内部には、一人だけでなく、複数人のユーザが入ることができ、従って、表示システム２によれば、複数のユーザが、外側ドームスクリーン４２に表示される没入画像と、内側ドームスクリーン４４に表示される鳥瞰画像とを、同時に視聴することができる。
【００６８】
そして、例えば、いま、図１１に示すように、外側ドームスクリーン４２の内部に、二人のユーザＡとＢが存在し、そのユーザＡとＢが、異なる位置にいる場合には、内側ドームスクリーン４４では、ユーザＡに対しては、そのユーザＡの視点から被写体を見たときの鳥瞰画像が表示され、ユーザＢに対しては、そのユーザＡの視点から被写体を見たときの鳥瞰画像が表示される。
【００６９】
即ち、表示システム２では、内側ドームスクリーン４４において、ユーザに対して、そのユーザの視点から被写体を見たときの鳥瞰画像が表示される。
【００７０】
従って、ユーザは、その視点から被写体を見たときの画像（鳥瞰画像）を視聴することができ、その視点を選択する自由を有する。
【００７１】
ここで、ユーザが選択しうる視点の位置は、例えば、図１２に示すように、外側ドームスクリーン４２内部の、ある高さの水平面内の位置に限定することもできるし、そのような限定をせずに、例えば、図１３に示すように、外側ドームスクリーン４２内部の任意の位置とすることもできる。なお、図１２のように、視点を、ある水平面内の位置に限定する方式は、ユーザが視点を左右方向にのみ移動することができるので、左右パララックス（ｐａｒａｌｌａｘ）方式ということができる。また、図１３のように、視点を、任意の位置とすることができる方式は、ユーザが視点を上下左右の任意の方向に移動することができるので、上下左右パララックス方式ということができる。
【００７２】
次に、図１４は、図６の広角画像処理部３３の構成例を示している。
【００７３】
デマルチプレクサ３２（図６）が出力するフレームごとの全方位画像データは、フレームメモリ５１に供給され、フレームメモリ５１は、デマルチプレクサ３２から供給される全方位画像データをフレーム単位で記憶し、その記憶した全方位画像データをフレーム単位で読み出して、広角画像変換部５２に供給する。なお、フレームメモリ５１は、複数のメモリバンクを有しており、バンク切り替えを行うことで、全方位画像データの記憶と読み出しを同時に行うことができるようになっている。
【００７４】
広角画像変換部５２は、コントローラ５６の制御の下、フレームメモリ５１から供給される全方位画像データを、緯度方向と経度方向で規定される平面上の長方形状の緯度経度画像データに変換し、画角補正部５３に供給する。
【００７５】
画角補正部５３は、コントローラ５６の制御の下、広角画像変換部５２から供給される緯度経度画像データを、広角画像表示部３４（図７）の外側用全方位プロジェクタ４１の光学特性に基づいて補正し、その補正後の緯度経度画像データを、緯度経度画像変換部５４に供給する。
【００７６】
緯度経度画像変換部５４は、コントローラ５６の制御の下、画角補正部５３から供給される緯度経度画像データを、全方位画像データに変換し、フレームメモリ５５に供給する。
【００７７】
フレームメモリ５５は、緯度経度画像変換部５４から供給される全方位画像データをフレーム単位で記憶し、その記憶した全方位画像データをフレーム単位で読み出して、広角画像表示部３４（図７）の外側用全方位プロジェクタ４１に供給する。なお、フレームメモリ５５も、フレームメモリ５１と同様に、複数のメモリバンクを有しており、バンク切り替えを行うことで、全方位画像データの記憶と読み出しを同時に行うことができるようになっている。
【００７８】
コントローラ５６は、フレームメモリ５１における全方位画像データの記憶状況に基づいて、広角画像変換部５２、画角補正部５３、および緯度経度画像変換部５４を制御する。
【００７９】
次に、図１５乃至図１７を参照して、図１４の広角画像変換部５２、画角補正部５３、および緯度経度画像変換部５４の処理について説明する。
【００８０】
広角画像変換部５２には、フレームメモリ５１に記憶された全方位画像データ、即ち、図３の広角撮像部１１を構成する全方位カメラ２１で撮像された全方位画像データが供給される。
【００８１】
いま、図１５に示すように、全方位カメラ２１の光軸をｚ軸とするとともに、全方位カメラ２１の撮像面（受光面）をｘｙ平面とする３次元座標系を、広角画像撮像座標系と呼ぶこととして、この広角画像撮像系において、全方位カメラ２１に入射する光線と、全方位カメラ２１がその光線を受光することにより撮像する全方位画像データとの関係を考える。
【００８２】
全方位カメラ２１に入射する光線Ｌは、その魚眼レンズで屈折し、全方位カメラ２１の撮像面に入射する。即ち、魚眼レンズは、光線Ｌを、広角画像撮像座標系のｚ軸と光線Ｌとを含む平面内において屈折し、ｘｙ平面に入射させる。従って、全方位カメラ２１では、例えば、円形状、または図１６に斜線を付して示すような、いわばドーナツ形状の画像データが、全方位画像データとして撮像される。
【００８３】
ここで、広角画像撮像座標系において、図１５に示すように、ｘｙ平面上でｘ軸となす角度を、経度θというとともに、ｚ軸となす角度を、緯度φということとして、経度がθで、緯度がφの方向を、方向（θ，φ）と表すこととすると、全方位カメラ２１に対して、方向（θ，φ）から入射する光線Ｌは、全方位カメラ２１の魚眼レンズにおいて、緯度φに応じて屈折する。
【００８４】
従って、方向（θ，φ）から入射する光線Ｌを、光線Ｌ（θ，φ）と表すとともに、その光線Ｌ（θ，φ）が射影されるｘｙ平面上の点を、Ｑ（ｘ，ｙ）と表すこととすると、経度θと緯度φは、点Ｑのｘ座標とｙ座標を用いて、次式で表される。
【００８５】
【数１】

・・・（１）
【００８６】
【数２】

・・・（２）
【００８７】
但し、式（２）において、関数ｆ_１（）は、全方位カメラ２１の魚眼レンズの光学特性によって決まる関数である。なお、関数ｆ_１（）の逆関数を、ｆ_１ ^−１（）と表すと、式（２）は、√（ｘ^２＋ｙ^２）＝ｆ_１ ^−１（θ）と表すことができる。逆関数ｆ_１ ^−１（θ）は魚眼レンズの光学特性を表すが、この逆関数ｆ_１ ^−１（θ）が、［魚眼レンズの焦点距離］×θで表される魚眼レンズは、等距離射影（ｅｑｕｉｄｉｓｔａｎｃｅ　ｐｒｏｊｅｃｔｉｏｎ）方式と呼ばれる。
【００８８】
式（１）と（２）から、全方位カメラ２１で撮像される全方位画像上のある点Ｑ（ｘ，ｙ）は、その点に入射する光線Ｌ（θ，φ）の方向を表す経度θと緯度φで表現することができる。
【００８９】
即ち、点Ｑ（ｘ，ｙ）と原点Ｏとを結ぶ直線と、ｘ軸とがなす角度は、光線Ｌの経度θに等しい。また、点Ｑ（ｘ，ｙ）と原点Ｏとの距離√（ｘ^２＋ｙ^２）は、光線Ｌの緯度φに依存する。そして、経度θと緯度φとは、独立した値である。
【００９０】
従って、例えば、経度θを横軸とするとともに、経度φを縦軸とする２次元座標系としての緯度経度座標系を考えると、全方位画像データを構成する画素Ｑ（ｘ，ｙ）は、緯度経度座標系上の点Ｑ’（θ，φ）に射影することができる。
【００９１】
全方位画像データを、緯度経度座標系に射影することにより、図１７に示すように、ドーナツ形状の全方位画像データは、経度θと緯度φで規定される長方形状の画像データ、即ち、緯度経度画像データに変換される。
【００９２】
図１４の広角画像変換部５２は、以上のように、全方位画像データを緯度経度画像データに変換する。
【００９３】
次に、全方位画像を撮像する広角撮像部１１（図３）の全方位カメラ２１の魚眼レンズの光学特性と、全方位画像に対応する光線を発する広角画像表示部３４（図７）の外側用全方位プロジェクタ４１の魚眼レンズの光学特性とが同一であるとした場合、外側用全方位プロジェクタ４１に、全方位カメラ２１で得られた全方位画像データをそのまま供給すれば、外側用全方位プロジェクタ４１からは、全方位カメラ２１に入射する光線と向きだけが逆向きの光線が射出されるから、外側用全方位プロジェクタ４１からの光線を受光する外側ドームスクリーン４２（図７）では、理論的には、全方位カメラ２１で撮像された風景等と同一の画像が表示される。
【００９４】
しかしながら、全方位カメラ２１（図３）と外側用全方位プロジェクタ４１（図７）の魚眼レンズの光学特性が同一であるとは限らず、異なる場合がある。
【００９５】
ここで、全方位カメラ２１に入射する光線Ｌ（θ，φ）が到達する撮像面上の点Ｑ（ｘ，ｙ）と、経度θおよび緯度φとの間には、式（１）および（２）に示した関係がある。
【００９６】
そして、式（１）で表される経度θは、魚眼レンズの光学特性に影響を受けないが、式（２）で表される緯度φは、関数ｆ_１（）を用いて求められ、この関数ｆ_１（）の逆関数関数ｆ_１ ^−１（）は、上述したように、魚眼レンズの光学特性を表すから、魚眼レンズの光学特性に影響を受ける。
【００９７】
従って、全方位カメラ２１（図３）と外側用全方位プロジェクタ４１（図７）の魚眼レンズの光学特性が異なる場合に、外側ドームスクリーン４２（図７）で表示される画像を、全方位カメラ２１で撮像された風景等と同一の画像とするには、全方位カメラ２１で撮像された全方位画像データの緯度φ方向の補正が必要となる。
【００９８】
全方位画像データの緯度φ方向は、図１７に示した緯度経度画像データの縦軸方向となるから、図１４の画角補正部５３は、広角画像変換部５２から供給される緯度経度画像データの縦軸方向である緯度φを、例えば次式によって、緯度φ’に補正する。
【００９９】
【数３】

・・・（３）
【０１００】
但し、式（３）において、αは、全方位カメラ２１（図３）と外側用全方位プロジェクタ４１（図７）の魚眼レンズの光学特性によって決まる値である。
【０１０１】
従って、広角画像変換部５２から供給される緯度経度画像データを構成する画素を、Ｑ’（θ，φ）と表すと、画角補正部５３では、画素Ｑ’（θ，φ）が、画素Ｑ’（θ，φ’）に補正される。
【０１０２】
なお、緯度φは、図１７に示したように、緯度経度画像データの縦軸方向を表すから、緯度経度画像データの縦方向の画角に相当する。従って、緯度φの補正は、緯度経度画像データの縦方向の画角を小さくまたは広くすることに相当する。
【０１０３】
長方形状の緯度経度画像データを、そのまま、外側用全方位プロジェクタ４１（図７）に供給しても、外側ドームスクリーン４２には、全方位カメラ２１（図３）で撮像された全方位画像が表示されないため、図１４の緯度経度画像変換部５４は、画角補正部５３で緯度φの補正が行われた緯度経度画像データを、再び、図１６に示したようなドーナツ形状（あるいは円形状）の全方位画像データに変換する。緯度経度画像変換部５４で得られる全方位画像データは、その緯度φ方向のスケールが、全方位カメラ２１（図３）と外側用全方位プロジェクタ４１（図７）の魚眼レンズの光学特性に基づいて補正されており、この全方位画像データを、外側用全方位プロジェクタ４１（図７）に供給することで、外側ドームスクリーン４２では、全方位カメラ２１（図３）で撮像された全方位画像が表示されることになる。
【０１０４】
次に、図１８のフローチャートを参照して、図１４の広角画像処理部３３で行われる処理（広角画像処理）について説明する。
【０１０５】
コントローラ５６は、フレームメモリ５１を監視しており、フレームメモリ５１が全方位画像データの記憶を開始すると、広角画像処理を開始する。
【０１０６】
即ち、広角画像処理では、まず最初に、ステップＳ１において、コントローラ５６が、フレーム数をカウントする変数ｉに、初期値としての、例えば１をセットし、ステップＳ２に進む。ステップＳ２では、フレームメモリ５１が、そこに記憶された第ｉフレームの全方位画像データを読み出し、広角画像変換部５２に供給して、ステップＳ３に進む。
【０１０７】
ステップＳ３では、広角画像変換部５２が、フレームメモリ５１から供給される全方位画像データを構成する各画素Ｑ（ｘ，ｙ）について、式（１）により、経度θを求め、ステップＳ４に進む。ステップＳ４では、広角画像変換部５２が、フレームメモリ５１から供給される全方位画像データを構成する各画素Ｑ（ｘ，ｙ）について、式（２）により、緯度φを求め、ステップＳ５に進む。
【０１０８】
ステップＳ５では、広角画像変換部５２が、フレームメモリ５１から供給される全方位画像データを構成する各画素Ｑ（ｘ，ｙ）を、その画素Ｑ（ｘ，ｙ）について求められた経度θと緯度φで表される緯度経度座標系上の点（θ，φ）に配置することによって、図１７に示したように、ドーナツ形状の全方位画像データを、長方形状の緯度経度画像データに変換する。
【０１０９】
広角画像変換部５２は、ステップＳ５において、以上のようにして緯度経度画像データを求めると、その緯度経度画像データを、画角補正部５３に供給して、ステップＳ６に進む。
【０１１０】
ステップＳ６では、画角補正部５３が、広角画像変換部５２から供給される緯度経度画像データの緯度φ方向を、式（３）にしたがって、緯度φ’に補正し、その補正後の緯度φ’と、経度θで表される緯度経度画像データを、緯度経度画像変換部５４に供給して、ステップＳ７に進む。
【０１１１】
ステップＳ７では、緯度経度画像変換部５４が、画角補正部５３から供給される緯度経度画像データを構成する各画素Ｑ’（θ，φ’）について、広角画像撮像座標系のｘｙ平面上のｘ座標を、式（４）にしたがって求め、ステップＳ８に進む。
【０１１２】
ステップＳ８では、緯度経度画像変換部５４が、画角補正部５３から供給される緯度経度画像データを構成する各画素Ｑ’（θ，φ’）について、広角画像撮像座標系のｘｙ平面上のｙ座標を、式（５）にしたがって求め、ステップＳ９に進む。
【０１１３】
【数４】

・・・（４）
【０１１４】
【数５】

・・・（５）
【０１１５】
ここで、式（４）および（５）における関数ｆ_２（φ’）は、外側用全方位プロジェクタ４１（図７）の光学特性を表す関数（外側用全方位プロジェクタ４１の魚眼レンズの射影方式によって決まる関数）である。なお、式（１）と（２）を、ｘとｙそれぞれについて解くことにより、式（４）および（５）と同様の式を得ることができる。
【０１１６】
ステップＳ９では、緯度経度画像変換部５４が、画角補正部５３から供給される緯度経度画像データを構成する各画素Ｑ’（θ，φ’）を、その画素Ｑ’（θ，φ’）について求められたｘ座標とｙ座標で表される広角画像撮像座標系のｘｙ平面上の点（ｘ，ｙ）に配置することによって、長方形状の緯度経度画像データを、ドーナツ形状の全方位画像データに変換し、この全方位画像データが、外側用全方位プロジェクタ４１（図７）に発光させる画像データである発光全方位画像データとして、フレームメモリ５５に供給されて記憶される。
【０１１７】
以上のようにして、フレームメモリ５５に記憶された発光全方位画像データは、順次読み出され、広角画像表示部３４（図６）に供給される。そして、広角画像表示部３４では、その外側用全方位プロジェクタ４１（図７）が、発光全方位画像データに対応する光線を発し、この光線が、外側ドームスクリーン４２（図７）で受光されることで、外側ドームスクリーン４２では、全方位カメラ２１（図３）で撮像された被写体の全方位の風景の画像が、没入画像として表示される。
【０１１８】
その後、ステップＳ１０に進み、コントローラ５１は、フレームメモリ５１を参照することにより、第ｉフレームが、最後のフレームであるか否かを判定する。ステップＳ１０において、第ｉフレームが最後のフレームでないと判定された場合、即ち、フレームメモリ５１に、第ｉフレームより後のフレームの全方位画像データが記憶されている場合、ステップＳ１１に進み、コントローラ５６は、変数ｉを１だけインクリメントして、ステップＳ２に戻り、以下、同様の処理が繰り返される。
【０１１９】
また、ステップＳ１０において、第ｉフレームが最後のフレームであると判定された場合、即ち、フレームメモリ５１に、第ｉフレームより後のフレームの全方位画像データが記憶されていない場合、広角画像処理を終了する。
【０１２０】
なお、全方位カメラ２１（図３）と外側用全方位プロジェクタ４１（図７）の光学特性が同一である場合には、デマルチプレクサ３２（図６）が出力する全方位画像データは、図１４の広角画像処理部３３をスルーして、そのまま、発光全方位画像データとして、広角画像表示部３４に供給することが可能である。
【０１２１】
次に、図６の囲い込み画像処理部３５の処理の概要について説明する。
【０１２２】
囲い込み画像表示部３６（図６）では、上述したように、その内側ドームスクリーン４４（図８）において、ユーザに対し、そのユーザの視点から被写体を見た画像が表示される。また、複数のユーザが存在する場合には、内側ドームスクリーン４４（図８）において、複数のユーザそれぞれに対し、そのユーザの視点から被写体を見た画像が表示される。
【０１２３】
従って、内側ドームスクリーン４４では、図１９に示すように、その内側ドームスクリーン４４が仮に透明であり、かつ、その内側ドームスクリーン４４の内部に、囲い込み撮像部１２（図２）で撮像対象となった被写体が仮に存在するとした場合に、各ユーザの視覚に映る被写体と画像と同一の画像が表示される。
【０１２４】
即ち、図１９の実施の形態では、二人のユーザＡとＢが存在するが、内側ドームスクリーン４４では、その中心とユーザＡの視点とを結ぶ直線と交わる部分に、ユーザＡの視点から被写体を見たときの画像が表示される。さらに、内側ドームスクリーン４４では、その中心とユーザＢの視点とを結ぶ直線と交わる部分に、ユーザＢの視点から被写体を見たときの画像が表示される。
【０１２５】
このため、図８の囲い込み表示部３６では、例えば、図２０に示すように、内側用全方位プロジェクタ４３が、図示せぬ液晶パネルなどの表示面に、各ユーザの視点から見た被写体の画像（以下、適宜、視点画像という）を表示して、その視点画像に対応する光線を、魚眼レンズを介して発し、これにより、内側ドームスクリーン４４において、各ユーザの視点から見た被写体の画像が、各ユーザに表示される。
【０１２６】
そこで、図６の囲い込み画像処理部３５は、デマルチプレクサ３２から供給される囲い込み画像データを用い、視点検出部３７から供給される各視点について、その視点から被写体を見たときの画像（視点画像）を生成し、さらに、各視点についての視点画像を、その視点に応じた位置に配置することにより、内側用全方位プロジェクタ４３（図８）に発光させる光線に対応する発光画像、即ち、内側用全方位プロジェクタ４３の表示面に表示させる発光画像（以下、表示用画像ともいう）を生成する。
【０１２７】
ところで、例えば、図２１に示すように、ユーザＡとＢが離れており、従って、ユーザＡとＢの視点も離れている場合は、内側ドームスクリーン４４において、ユーザＡとＢそれぞれに対して、その視点から見た被写体の画像（視点画像）を表示しても、ユーザＡは、そのユーザＡの視点についての視点画像だけを見ることができ、ユーザＢも、そのユーザＢの視点についての視点画像だけを見ることができる。
【０１２８】
即ち、ユーザＡには、ユーザＢの視点についての視点画像は見えず、あるいは、見えても、ユーザＡの視点についての視点画像の視聴を妨げない程度にしか見えない。ユーザＢについても、同様に、ユーザＡの視点についての視点画像は見えず、あるいは、見えても、ユーザＢの視点についての視点画像の視聴を妨げない程度にしか見えない。
【０１２９】
一方、例えば、図２２に示すように、ユーザＡとＢが近い位置にいる場合には、視点どうしも近くなり、内側ドームスクリーン４４に表示されるユーザＡとＢそれぞれについての視点画像どうしが重なることがある。また、内側ドームスクリーン４４に表示されるユーザＡとＢそれぞれについての視点画像どうしが重ならない場合であっても、ユーザＡとＢそれぞれについての視点画像が、内側ドームスクリーン４４において近い位置に表示されるため、ユーザＢの視点についての視点画像が、ユーザＡの視点についての視点画像の、ユーザＡによる視聴を妨げるとともに、ユーザＡの視点についての視点画像が、ユーザＢの視点についての視点画像の、ユーザＢによる視聴を妨げることになる。
【０１３０】
そこで、囲い込み画像処理部３５は、ユーザＡとＢの視点どうしの距離が短い場合には、そのユーザＡとＢの視点の両方から近い位置に、ユーザＡとＢに共通の視点を設定し、その視点から被写体を見た画像（視点画像）を生成する。この場合、内側ドームスクリーン４４では、図２２に示すように、ユーザＡとＢの両方に対して、共通の視点から被写体を見た画像が表示されることとなり、ユーザＡとＢによる画像の視聴が妨げられることを防止することができる。
【０１３１】
図２３は、以上のような処理（囲い込み画像処理）を行う、図６の囲い込み画像処理部３５の構成例を示している。
【０１３２】
視点バッファ６１には、視点検出部３７（図６）が出力するユーザの視点が供給されるようになっており、視点バッファ６１は、視点検出部３７から供給される視点を記憶する。なお、複数のユーザが存在する場合には、図６の視点検出部３７は、その複数のユーザの視点を検出し、視点バッファ６１に供給する。この場合、視点バッファ６１は、視点検出部３７から供給される複数のユーザの視点すべてを記憶する。
【０１３３】
視点処理部６２は、視点バッファ６１に記憶されたユーザの視点を読み出し、その視点について所定の処理を必要に応じて施しながら、視点記憶部６３に供給する。視点記憶部６３は、視点処理部６２から供給される視点を記憶する。視点方向算出部６４は、視点記憶部６３に記憶された視点の方向（視点方向）を求め、視点画像変換部６７に供給する。
【０１３４】
フレームメモリ６５は、デマルチプレクサ３２（図６）から供給される囲い込み画像データをフレーム単位で記憶し、その記憶した囲い込み画像データを読み出して、画像選択部６６に供給する。なお、フレームメモリ６５も、図１４のフレームメモリ５１と同様に構成されており、これにより、フレームメモリ６５では、囲い込み画像データの記憶と読み出しとを同時に行うことができるようになっている。
【０１３５】
画像選択部６６は、視点記憶部６３に記憶された視点についての視点画像を生成するのに必要な画像データを、フレームメモリ６５から供給される囲い込み画像データの中から選択する。即ち、囲い込み画像データは、図４に示したように、複数のカメラ位置に配置された複数の囲い込みカメラ２２_１，２２_２，２２_３，・・・で撮像された画像データの集合であり、いま、この囲い込み画像データを構成する囲い込みカメラ２２_ｋで撮像された画像データを、カメラ画像データというものとすると、画像選択部６６は、視点記憶部６３に記憶された視点に基づき、囲い込み画像データからカメラ画像データを選択する。
【０１３６】
そして、画像選択部６６は、視点記憶部６３に記憶された視点に基づいて囲い込み画像データから選択したカメラ画像データを、そのまま、あるいは処理し、その視点についての視点画像データとして、視点画像変換部６７に供給する。
【０１３７】
視点画像変換部６７は、視点方向算出部６４から供給される視点方向と、内側ドームスクリーン４４（図８）の形状とに基づき、画像選択部６６から供給される視点画像データを用いて、内側用全方位プロジェクタ４３（図８）の表示面に表示させる表示用画像データを生成し、フレームメモリ６８に供給する。
【０１３８】
なお、以上の画像選択部６６と視点画像変換部６７によって、ユーザの視点と、内側ドームスクリーン４４（図８）の形状とに基づき、囲い込み画像データから表示用画像データを生成する表示用画像生成部７０が構成されている。
【０１３９】
フレームメモリ６８は、視点画像変換部６７から供給される表示用画像データを記憶し、その記憶した表示用画像データを、内側用全方位プロジェクタ４３（図８）に供給する。ここで、フレームメモリ６８も、図１４のフレームメモリ５１と同様に構成されており、これにより、フレームメモリ６８では、表示用画像データの記憶と読み出しとを同時に行うことができるようになっている。
【０１４０】
コントローラ６９は、フレームメモリ６５における囲い込み画像データの記憶状況を参照しながら、視点処理部６２、視点方向算出部６４、画像選択部６６、および視点画像変換部６７を制御する。
【０１４１】
次に、図２４を参照して、図２３の視点方向算出部６４の処理について説明する。
【０１４２】
視点方向算出部６４は、視点記憶部６３に記憶された視点の方向（視点方向）を表す経度と緯度を求める。
【０１４３】
即ち、いま、内側用全方位プロジェクタ４３の光軸をｚ軸とするとともに、内側用全方位プロジェクタ４３の表示面をｘｙ平面とする３次元座標系を、囲い込み画像表示座標系と呼ぶこととすると、視点方向算出部６４は、囲い込み画像表示座標系において、ある位置にある視点Ｖ（ｘ，ｙ，ｚ）を、原点Ｏから見た方向を、視点方向として求める。
【０１４４】
そこで、いま、囲い込み画像表示座標系において、図２４に示すように、ｘｙ平面上でｘ軸となす角度を、経度θというとともに、ｚ軸となす角度を、緯度φということとして、経度がθで、緯度がφの方向を、方向（θ，φ）と表すこととすると、視点Ｖ（ｘ，ｙ，ｚ）の視点方向（θ，φ）を表す経度θと緯度φは、それぞれ次式で求めることができる。
【０１４５】
【数６】

・・・（６）
【０１４６】
【数７】

・・・（７）
【０１４７】
視点方向算出部６４は、式（６）および（７）によって、視点方向（θ，φ）を求め、視点画像変換部６７に供給する。
【０１４８】
次に、図２５乃至図２７を参照して、図２３の表示用画像生成部７０の処理について説明する。
【０１４９】
内側ドームスクリーン４４（図８）において、ユーザに対し、そのユーザの視点から被写体を見た視点画像を表示するには、単純には、例えば、図２５に示すように、ユーザの視点の視点方向（θ，φ）と内側ドームスクリーン４４との交点Ｕを中心とする、内側ドームスクリーン４４上の所定の範囲に、その視点方向（θ，φ）から撮像したカメラ画像データを、視点画像として表示すればよい。
【０１５０】
従って、いま、視点方向（θ，φ）から撮像したカメラ画像データである視点画像を、視点画像（θ，φ）と表すとともに、ユーザの視点の視点方向（θ，φ）と内側ドームスクリーン４４との交点Ｕを中心とする、内側ドームスクリーン４４上の所定の範囲を、表示エリア（θ，φ）と表すこととすると、視点画像（θ，φ）を、表示エリア（θ，φ）に表示させることができるように、視点画像（θ，φ）を、内側用全方位プロジェクタ４３（図８）の表示面に表示させる表示用画像上の位置に書き込む必要がある。
【０１５１】
そこで、図２３の表示用画像生成部７０では、画像選択部６６において、視点記憶部６３に記憶された視点の視点方向（θ，φ）から撮像したカメラ画像データとしての視点画像（θ，φ）を選択し、視点画像変換部６７において、その視点画像（θ，φ）を、表示エリア（θ，φ）に表示させることができるように、表示用画像に配置する。
【０１５２】
いま、例えば、内側用全方位プロジェクタ４３の表示面をｘｙ平面とする２次元座標系を、表示面座標系と呼ぶこととして、図２６に示すように、そのｘ座標とｙ座標を、ｘ_ｓ座標とｙ_ｓ座標と表す。また、視点画像（θ，φ）をｘｙ平面とする２次元座標系を、視点画像座標系と呼ぶこととする。なお、図２６に示すように、表示面座標系の原点Ｏ_ｓは、内側用全方位プロジェクタ４３の光軸と表示面との交点にとり、視点画像座標系の原点Ｏは、長方形状の視点画像（θ，φ）の中心（長方形状の視点画像（θ，φ）の対角線どうしの交点）にとることとする。
【０１５３】
視点画像（θ，φ）を、表示エリア（θ，φ）に表示させるには、第１に、図２６に示すように、視点画像（θ，φ）を、表示面座標系の原点Ｏ_ｓから、緯度φに対応する距離ｇ（φ）だけ離れた位置に配置する必要がある。さらに、視点画像（θ，φ）を、表示エリア（θ，φ）に表示させるには、第２に、図２７に示すように、視点画像（θ，φ）を、反時計回りに、角度π／２＋θだけ回転する必要がある。
【０１５４】
そこで、視点画像変換部６７は、まず、式（８）にしたがい、視覚画像（θ，φ）の視点画像座標系の原点Ｏの、表示面座標系における座標Ｏ（ｘ_ｓＯ，ｙ_ｓＯ）を求める。
【０１５５】
【数８】

・・・（８）
【０１５６】
ここで、式（８）において、関数ｇ（φ）は、内側用全方位プロジェクタ４３（図８）の光学特性を表す関数（内用全方位プロジェクタ４３の魚眼レンズの射影方式によって決まる関数）である。
【０１５７】
さらに、視点画像変換部６７は、視覚画像（θ，φ）を構成する画素Ｑの、視点画像座標系における座標を、Ｑ（ｘ_Ｑ，ｙ_Ｑ）と表すとともに、表示面座標系における座標を、Ｑ（ｘ_ｓＱ，ｙ_ｓＱ）と表すこととすると、式（９）にしたがい、視覚画像（θ，φ）を構成する画素Ｑの、表示面座標系における座標Ｑ（ｘ_ｓＱ，ｙ_ｓＱ）を求める。
【０１５８】
【数９】

・・・（９）
【０１５９】
そして、視点画像変換部６７は、視覚画像（θ，φ）を構成する各画素Ｑ（ｘ_Ｑ，ｙ_Ｑ）の画素値を、式（９）で表される座標（ｘ_ｓＱ，ｙ_ｓＱ）に対応するフレームメモリ６８上の位置に書き込むことで、視覚画像（θ，φ）を、表示用画像に変換する。
【０１６０】
次に、図２８および図２９のフローチャートを参照して、図２３の囲い込み画像処理部３５の処理（囲い込み画像処理）について説明する。
【０１６１】
コントローラ６９は、フレームメモリ６５を監視しており、フレームメモリ６５が囲い込み画像データの記憶を開始すると、囲い込み画像処理を開始する。
【０１６２】
即ち、囲い込み画像処理では、まず最初に、ステップＳ２１において、コントローラ６９は、フレーム数をカウントする変数ｉに、初期値としての、例えば１をセットし、ステップＳ２２に進む。
【０１６３】
なお、ステップＳ２１において変数ｉに１をセットする処理と、後述するステップＳ５３の変数ｉをインクリメントする処理とは、上述した図１８のステップＳ１において変数ｉに１をセットする処理と、ステップＳ１１において変数ｉをインクリメントする処理と、それぞれ同期して行われる。即ち、広角画像処理部３３における広角画像処理と、囲い込み画像処理部３５における囲い込み画像処理とは、同一フレームを対象として、同期して行われる。これにより、広角画像表示部３４と囲い込み画像表示部３６では、同一フレームの没入画像と鳥瞰画像が同期して表示される。
【０１６４】
ステップＳ２２では、コントローラ６９が、ユーザ数をカウントする変数ｎに、初期値としての、例えば１をセットし、ステップＳ２３に進む。ステップＳ２３では、視点処理部６２が、視点バッファ６１からユーザ＃ｎの視点を読み出し、視点記憶部６３に登録する。
【０１６５】
即ち、視点検出部３７（図６）は、外側スクリーンドーム４２（図７）内にいるユーザすべての視点を、例えばフレーム周期で検出し、その検出した最新の視点によって、視点バッファ６１の記憶内容を更新するようになっており、ステップＳ２３では、視点処理部６２は、第ｉフレームのタイミングにおいて視点バッファ６１に記憶されているユーザ＃ｎの視点を読み出し、視点記憶部６３に登録する。なお、ユーザ＃ｎの視点は、例えば、そのユーザ＃ｎを表すＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）とともに、視点記憶部６３に記憶するようにすることができる。
【０１６６】
視点処理部６２が、ユーザ＃ｎの視点を、視点記憶部６３に登録した後は、ステップＳ２４に進み、コントローラ６９は、変数ｎが、外側スクリーンドーム４２（図７）内にいるユーザの総数Ｎに等しいかどうかを判定する。ステップＳ２３において、変数ｎがＮに等しくないと判定された場合、ステップＳ２５に進み、コントローラ６９は、変数ｎを１だけインクリメントして、ステップＳ２３に戻り、以下、同様の処理を繰り返す。
【０１６７】
また、ステップＳ２４において、変数ｎがＮに等しいと判定された場合、即ち、視点記憶部６３に、外側スクリーンドーム４２（図７）内にいるユーザすべての視点が記憶された場合、ステップＳ２６に進み、コントローラ６９は、視点選択部６６で処理の対象とする視点の総数を表す変数Ｍに、初期値としての、外側スクリーンドーム４２（図７）内にいるユーザの総数Ｎをセットし、ステップＳ２７に進む。
【０１６８】
ステップＳ２７では、コントローラ６９は、視点をカウントする変数ｍに、初期値としての、例えば１をセットするとともに、後述する近距離視点の有無を表すフラグｆｌａｇに、初期値としての、近距離視点がないことを表す、例えば０をセットし、ステップＳ２８に進む。
【０１６９】
ステップＳ２８では、視点処理部６２が、視点記憶部６３に記憶されたＭ個の視点のうちのｍ番目の視点について、他のＭ−１個の視点それぞれとの間の距離（視点間距離）を求め、その視点間距離が、所定の閾値ＴＨ１以下（または未満）の視点を、ｍ番目の視点についての近距離視点として検出する。そして、ステップＳ２９に進み、視点処理部６２は、ｍ番目の視点についての近距離視点が存在するかどうかを判定する。
【０１７０】
ステップＳ２９において、ｍ番目の視点についての近距離視点がないと判定された場合、即ち、ｍ番目の視点との視点間距離が閾値ＴＨ１以下の視点が、視点記憶部６３に記憶（登録）されていない場合、ステップＳ３０乃至Ｓ３４をスキップして、ステップＳ３５に進む。
【０１７１】
また、ステップＳ２９において、ｍ番目の視点についての近距離視点があると判定された場合、即ち、ｍ番目の視点との視点間距離が閾値ＴＨ１以下の視点（近距離視点）が、視点記憶部６３に記憶（登録）されている場合、ステップＳ３０に進み、コントローラ６９は、フラグｆｌａｇに、近距離視点があることを表す、例えば１をセットし、ステップＳ３１に進む。
【０１７２】
ここで、ステップＳ３０の処理は、フラグｆｌａｇに、既に１がセットされている場合は、スキップすることができる。
【０１７３】
ステップＳ３１では、視点処理部６２は、視点記憶部６３に記憶された視点のうち、ｍ番目の視点についての近距離視点とされたものの数を検出し、さらに、その近距離視点とｍ番目の視点の重心を検出する。
【０１７４】
そして、ステップＳ３２に進み、視点処理部６２は、視点記憶部６３におけるｍ番目の視点として、ステップＳ３１で求めた重心を、上書きする形で登録し（書き込み）、ステップＳ３３に進む。ステップＳ３３では、視点処理部６２が、視点記憶部６３に記憶された視点のうち、ｍ番目の視点についての近距離視点とされたものを削除し、ステップＳ３４に進む。
【０１７５】
ステップＳ３４では、コントローラ６９が、視点選択部６６で処理の対象とする視点の総数を表す変数Ｍから、ステップＳ３１で検出された近距離視点の数を減算し、その減算値を、変数Ｍに新たにセットして、ステップＳ３５に進む。即ち、ステップＳ３３では、視点記憶部６３に記憶された視点のうちの近距離視点が削除されるため、ステップＳ３４では、その削除された近距離視点の数だけ、変数Ｍの値が小さくされる。
【０１７６】
従って、図２８において点線で囲んであるステップＳ２８乃至Ｓ３４の処理によれば、ｍ番目の視点との距離が近い１以上の視点が検出され、その１以上の視点とｍ番目の視点が、それらの視点の重心の位置に統合される。
【０１７７】
ステップＳ３５では、コントローラ６９が、変数ｍが、変数Ｍ、即ち、視点記憶部６３に記憶されている視点の数Ｍに等しいかどうかを判定する。ステップＳ３５において、変数ｍが変数Ｍに等しくないと判定された場合、ステップＳ３６に進み、コントローラ６９は、変数ｍを１だけインクリメントして、ステップＳ２８に戻り、以下、同様の処理が繰り返される。
【０１７８】
また、ステップＳ３５において、変数ｍが変数Ｍに等しいと判定された場合、ステップＳ３７に進み、コントローラ６９が、フラグｆｌａｇが１に等しいかどうかを判定する。ステップＳ３７において、フラグｆｌａｇが１に等しいと判定された場合、即ち、視点記憶部６３に記憶されている視点の中に、前回行われたステップＳ２８乃至Ｓ３６のループ処理において統合された視点が存在し、まだ視点を統合することができるかもしれない場合、ステップＳ２７に戻り、以下、同様の処理が繰り返される。
【０１７９】
一方、ステップＳ３７において、フラグｆｌａｇが１に等しくないと判定された場合、即ち、フラグｆｌａｇが、ステップＳ２７でセットされた０のままであり、視点記憶部６３に記憶されている視点の中に、他の視点との距離が閾値ＴＨ１以下となるものが存在しない場合、図２９のステップＳ４１に進む。
【０１８０】
ステップＳ４１では、コントローラ６９が、視点をカウントする変数ｍに、初期値としての、例えば１をセットし、ステップＳ４２に進む。ステップＳ４２では、画像選択部６６が、視点記憶部６６に記憶されたｍ番目の視点と、囲い込み撮像部１２を構成する各囲い込みカメラ２２_ｋのカメラ視点との距離を、カメラ距離として算出する。
【０１８１】
ここで、囲い込みカメラ２２_ｋのカメラ視点とは、囲い込み画像データに多重化されているカメラ位置を、所定の正規化係数βで正規化（除算）したものである。正規化係数βとしては、例えば、囲い込み画像表示座標系においてユーザが取り得る最も遠い視点と原点との距離を、被写体から最も遠い囲い込みカメラ２２_ｋと被写体との距離で除算した値などを採用することができる。
【０１８２】
ステップＳ４２の処理後は、ステップＳ４３に進み、画像選択部６６は、ステップＳ４２でｍ番目の視点について求められたカメラ距離のうちの最小値Ｄ_ｍｉｎを、最小カメラ距離として求め、ステップＳ４４に進む。ステップＳ４４では、画像選択部６６が、ｍ番目の視点についての最小カメラ距離Ｄ_ｍｉｎが所定の閾値ＴＨ２以下（または未満）であるかどうかを判定する。
【０１８３】
ステップＳ４４において、ｍ番目の視点についての最小カメラ距離Ｄ_ｍｉｎが所定の閾値ＴＨ２以下であると判定された場合、即ち、ｍ番目の視点と、最小カメラ距離Ｄ_ｍｉｎを与えるカメラ視点とが近く、従って、そのカメラ視点を、ｍ番目の視点とみなすことができる場合、ステップＳ４５に進み、画像選択部６６は、フレームメモリ６５に記憶された囲い込み画像データの中から、最小カメラ距離Ｄ_ｍｉｎを与えるカメラ視点の囲い込みカメラ２２_ｋで撮像された第ｉフレームのカメラ画像を、ｍ番目の視点についての視点画像として選択し、視点画像変換部６７に供給して、ステップＳ４９に進む。
【０１８４】
また、ステップＳ４４において、ｍ番目の視点についての最小カメラ距離Ｄ_ｍｉｎが所定の閾値ＴＨ２以下でないと判定された場合、即ち、ｍ番目の視点と、最小カメラ距離Ｄ_ｍｉｎを与えるカメラ視点とが近いとはいえず、従って、そのカメラ視点を、ｍ番目の視点とみなすことができない場合、ステップＳ４７に進み、画像選択部６６は、ｍ番目の視点について求められたカメラ距離のうちの２番目に小さいものを、第２のカメラ距離Ｄ_２として検出し、フレームメモリ６５に記憶された囲い込み画像データの中から、最小カメラ距離Ｄ_ｍｉｎを与えるカメラ視点の囲い込みカメラ２２_ｋで撮像された第ｉフレームのカメラ画像と、第２のカメラ距離Ｄ_２を与えるカメラ視点の囲い込みカメラ２２_ｋ’で撮像された第ｉフレームのカメラ画像の２つのカメラ画像を選択する。さらに、ステップＳ４７では、画像選択部６６が、最小カメラ距離Ｄ_ｍｉｎを与えるカメラ視点の囲い込みカメラ２２_ｋで撮像された第ｉフレームのカメラ画像と、第２のカメラ距離Ｄ_２を与えるカメラ視点の囲い込みカメラ２２_ｋ’で撮像された第ｉフレームのカメラ画像とを、第２のカメラ距離Ｄ_２と最小カメラ距離Ｄ_ｍｉｎとの比Ｄ_２：Ｄ_ｍｉｎで合成し、合成画像を生成する。
【０１８５】
即ち、最小カメラ距離Ｄ_ｍｉｎを与えるカメラ視点の囲い込みカメラ２２_ｋで撮像された第ｉフレームのカメラ画像を構成するｃ番目の画素を、ｐ_ｃで表すとともに、第２のカメラ距離Ｄ_２を与えるカメラ視点の囲い込みカメラ２２_ｋ’で撮像された第ｉフレームのカメラ画像を構成するｃ番目の画素を、ｑ_ｃで表すとすると、画像選択部６６は、画素ｐ_ｃとｑ_ｃを、式（Ｄ_２×ｐ_ｃ＋Ｄ_ｍｉｎ×ｑ_ｃ）／（Ｄ_２＋Ｄ_ｍｉｎ）にしたがって合成して合成画素を生成し、そのような合成画素で構成される合成画像を生成する。
【０１８６】
なお、ここでは、２つのカメラ画像を用いて合成画像を生成するようにしたが、合成画像は、その他、３以上のカメラ画像を用いて生成することが可能である。
【０１８７】
その後、ステップＳ４８に進み、画像選択部６６は、ステップＳ４７で生成した合成画像を、ｍ番目の視点についての視点画像として選択し、視点画像変換部６７に供給して、ステップＳ４９に進む。
【０１８８】
ステップＳ４９では、ｍ番目の視点についての視点画像が、表示用画像に変換される。
【０１８９】
即ち、ステップＳ４９では、視点方向算出部６４が、視点記憶部６３に記憶されたｍ番目の視点の視点方向（θ，φ）を算出し、視点画像変換部６７に供給する。視点画像変換部６７は、視点方向算出部６４から供給されるｍ番目の視点の視点方向（θ，φ）に基づき、画像選択部６６から供給されるｍ番目の視点についての視点画像の各画素を配置すべき、表示用画像の位置を、式（８）および（９）によって算出する。そして、視点画像変換部６７は、そのようにして求めた表示用画像の位置に対応するフレームメモリ６８上の位置（アドレス）に、ｍ番目の視点についての視点画像の画素を配置し（書き込み）、ステップＳ５０に進む。
【０１９０】
ここで、以上のようにしてフレームメモリ６８に書き込まれた表示用画像に対応する光線が、内側用全方位プロジェクタ４３から発光されることにより、内側ドームスクリーン４４には、ｍ番目の視点から見た場合に、その視点から被写体を見たときの画像が表示される。
【０１９１】
ステップＳ５０では、コントローラ６９が、変数ｍが、視点記憶部６３に記憶された視点の総数Ｍに等しいかどうかを判定する。ステップＳ５０において、変数ｍがＭに等しくないと判定された場合、ステップＳ５１に進み、コントローラ６９は、変数ｍを１だけインクリメントして、ステップＳ４２に戻り、以下、同様の処理を繰り返す。
【０１９２】
また、ステップＳ５０において、変数ｍがＭに等しいと判定された場合、即ち、視点記憶部６３に記憶されたすべての視点についての視点画像が、表示用画像に変換され、フレームメモリ６８に書き込まれた場合、内側用全方位プロジェクタ４３（図８）は、そのフレームメモリ６８に記憶された表示用画像を、第ｉフレームの画像として、その画像に対応する光線を発光する。これにより、内側ドームスクリーン４４では、１乃至Ｍ番目の視点それぞれから見た場合に、その視点から被写体を見たときの鳥瞰画像が、各視点に対応する位置に表示される。
【０１９３】
その後、ステップＳ５２に進み、コントローラ６９は、フレームメモリ６５を参照することにより、第ｉフレームが、最後のフレームであるか否かを判定する。ステップＳ５２において、第ｉフレームが最後のフレームでないと判定された場合、即ち、フレームメモリ６５に、第ｉフレームより後のフレームの囲い込み画像データが記憶されている場合、ステップＳ５３に進み、コントローラ６９は、変数ｉを１だけインクリメントして、図２８のステップＳ２２に戻り、以下、同様の処理が繰り返される。
【０１９４】
また、ステップＳ５２において、第ｉフレームが最後のフレームであると判定された場合、即ち、フレームメモリ６５に、第ｉフレームより後のフレームの囲い込み画像データが記憶されていない場合、囲い込み画像処理を終了する。
【０１９５】
以上のように、表示システム２では、外側ドームスクリーン４２の内側の面に第ｉフレームの没入画像が表示されるとともに、内側ドームスクリーン４４の外側の面に第ｉフレームの鳥瞰画像が表示されるので、ユーザは、没入画像によって提供される没入感を享受することができるとともに、鳥瞰画像によって自身の位置を容易に把握することができる。
【０１９６】
従って、図１の撮像／表示システムを、例えば、スポーツ番組の撮像および表示に用いた場合には、撮像システム１の囲い込みカメラ２２_ｋ（図４）を、そのスポーツが行われるスタジアムを取り囲むように多数連続的に配置するとともに、全方位カメラ２１（図３）をスタジアムの中央に配置して撮像を行うことで、表示システム２において、臨場感あふれる画像表示が可能となる。
【０１９７】
また、表示システム２の内側ドームスクリーン４４では、ユーザの視点に応じた鳥瞰画像が、ユーザの視点に応じた位置に表示されるので、ユーザに提示される鳥瞰画像は、ユーザが視点を移動することにより変化する。従って、ユーザは、いわゆるのぞき込みが可能となり、ある視点からは隠れていた被写体の画像を、視点を移動することで見ることができるようになる。さらに、複数のユーザに対して、各ユーザの視点から被写体を見た鳥瞰画像を提示することが可能となる。
【０１９８】
また、表示システム２によれば、例えば、外側ドームスクリーン４２（図７）に、遠くにいる魚や動物等を表示し、内側ドームスクリーン４４（図８）に、近くにいる魚や動物等を表示することで、水族館や動物園などの自然観察型施設を仮想的に実現することができる。
【０１９９】
さらに、表示システム２においては、実際に撮像された画像ではなく、コンピュータグラフィックスなどの人為的に作られた画像を表示することが可能である。即ち、表示システム２においては、コンピュータグラフィックスとして作られた宇宙空間の画像や、分子などのミクロの構造の画像などを表示することが可能である。この場合、通常は視認することができない構造を、ユーザが直感的に把握することができるインタフェースの提供が可能となる。
【０２００】
また、表示システム２は、例えば、いわゆるテレビゲームの画像表示にも適用可能である。
【０２０１】
次に、図６の広角画像処理部３３や囲い込み画像処理部３５による一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２０２】
そこで、図３０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２０３】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
【０２０４】
あるいはまた、プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ　Ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２０５】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０２０６】
コンピュータは、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０２を内蔵している。ＣＰＵ１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、ＣＰＵ１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０３に格納されているプログラムを実行する。あるいは、また、ＣＰＵ１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０４にロードして実行する。これにより、ＣＰＵ１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、ＣＰＵ１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２０７】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２０８】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２０９】
なお、表示システム２では、記録媒体３（図１）に記録された画像を、いわばオフラインで表示することも可能であるし、伝送媒体４を介して伝送されてくる画像を、リアルタイムで表示することも可能である。
【０２１０】
また、上述したように、内側用全方位プロジェクタ４３（図８）において、表示用画像に対応する光線を発し、その光線を、内側ドームスクリーン４４（図８）に背面投影することで、視点画像を表示する場合には、その視点画像において左右が反転する。この内側ドームスクリーン４４に表示される視点画像の左右の反転を防止するためには、例えば、視点画像の元となるカメラ画像の左右をあらかじめ反転しておく必要があるが、この反転処理は、例えば、囲い込み画像処理部３５の画像選択部６６（図２３）に行わせることが可能である。あるいは、このカメラ画像の左右の反転は、例えば、撮像システム１の囲い込みカメラ２２_ｋ（図４）においてカメラ画像を撮像する際に、光学的に行うようにすることも可能である。
【０２１１】
さらに、本実施の形態では、内側用全方位プロジェクタ４３（図８）において、表示用画像に対応する光線を発し、その光線を、内側ドームスクリーン４４（図８）に背面投影することで、視点画像を表示するようにしたが、この場合、表示用画像を、内側ドームスクリーン４４（図８）の形状を考慮して生成する必要がある。即ち、視点画像は、長方形状であるため、その長方形状の視点画像を、表示用画像の所定の位置に配置し、その表示用画像に対応する光線を、内側用全方位プロジェクタ４３から発することにより、内側ドームスクリーン４４において視点画像を表示する場合には、長方形状の視点画像が、半球状の内側ドームスクリーン４４の球面に射影されるため、内側ドームスクリーン４４に表示された視点画像は歪むことになる。従って、視点画像変換部６７（図２３）では、内側ドームスクリーン４４において視点画像が歪みのない長方形状に表示されるように、内側ドームスクリーン４４の形状に基づき、表示用画像に配置する視点画像を変換する必要がある。
【０２１２】
但し、本実施の形態では、内側ドームスクリーン４４（図８）の半径がある程度大きく、視点画像が表示される範囲は、平面とみなすことができるものとされている。この場合には、内側ドームスクリーン４４の形状に基づく、表示用画像に配置する視点画像の変換は、してもしなくてもよい。
【０２１３】
また、本実施の形態では、撮像システム１において、囲い込み撮像部１２（図２）を１つしか設けなかったが、囲い込み撮像部１２は、複数設けることが可能である。この場合、複数の囲い込み撮像部１２において、空間的または時間的に隔てられた複数の被写体を撮像し、表示システム２において、その複数の被写体の画像をスーパインポーズした画像をカメラ画像として処理を行うようにすることが可能である。
【０２１４】
さらに、図６の広角画像処理部３３、囲い込み画像処理部３５、および視点検出部３７は、表示システム１に設けるのではなく、撮像システム１（図２）に設けることが可能である。
【０２１５】
【発明の効果】
以上の如く、本発明によれば、ユーザが自身の位置関係を把握しやすく、また臨場感のある画像の表示をすることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した撮像／表示システムの一実施の形態の構成例を示す図である。
【図２】撮像システム１の構成例を示すブロック図である。
【図３】広角撮像部１１の構成例を示す斜視図である。
【図４】囲い込み撮像部１２の構成例を示す斜視図である。
【図５】全方位カメラ２１と囲い込みカメラ２２_ｋの位置関係を説明する図である。
【図６】表示システム２の構成例を示すブロック図である。
【図７】広角画像表示部３４の構成例を示す斜視図である。
【図８】囲い込み画像表示部３６の構成例を示す斜視図である。
【図９】外側ドームスクリーン４２と内側ドームスクリーン４４の位置関係を説明する図である。
【図１０】複数のユーザが画像を視聴している様子を示す図である。
【図１１】複数のユーザに、各ユーザの視点から見た被写体の画像が提示されている様子を示す図である。
【図１２】左右パララックス方式を示す図である。
【図１３】上下左右パララックス方式を示す図である。
【図１４】広角画像処理部３３の構成例を示すブロック図である。
【図１５】広角画像撮像座標系を示す図である。
【図１６】全方位画像を示す図である。
【図１７】全方位画像と緯度経度画像を示す図である。
【図１８】広角画像処理を説明するフローチャートである。
【図１９】内側ドームスクリーン４４に表示される画像を説明する図である。
【図２０】内側用全方位プロジェクタ４３の表示面に表示される画像と、内側ドームスクリーン４４に表示される画像を示す図である。
【図２１】ユーザＡとＢの視点が離れている様子を示す図である。
【図２２】ユーザＡとＢの視点が近い状態を示す図である。
【図２３】囲い込み画像処理部３５の構成例を示すブロック図である。
【図２４】視点方向算出部６４の処理を説明する図である。
【図２５】表示用画像生成部７０の処理を説明する図である。
【図２６】表示用画像生成部７０の処理を説明する図である。
【図２７】表示用画像生成部７０の処理を説明する図である。
【図２８】囲い込み画像処理を説明するフローチャートである。
【図２９】囲い込み画像処理を説明するフローチャートである。
【図３０】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１　撮像システム，　２　表示システム，　３　記録媒体，　４　伝送媒体，１１　広角撮像部，　１２　囲い込み撮像部，　１３　マルチプレクサ，　１４　記録／送信部，　２１　全方位カメラ，　２２_ｋ　囲い込みカメラ，　３１再生／受信部，　３２　デマルチプレクサ，　３３　広角画像処理部，　３４広角画像表示部，　３５　囲い込み画像処理部，　３６　囲い込み画像表示部，　３７　視点検出部，　４１　外側用全方位プロジェクタ，　４２　外側ドームスクリーン，　４３　内側用全方位プロジェクタ，　４４　内側ドームスクリーン，　５１　フレームメモリ，　５２　広角画像変換部，　５３　画角補正部，　５４　緯度経度画像変換部，　５５　フレームメモリ，　５６　コントローラ，　６１　視点バッファ，　６２　視点処理部，　６３　視点記憶部，　６４視点方向算出部，　６５　フレームメモリ，　６６　画像選択部，　６７　視点画像変換部，　６８　フレームメモリ，　６９　コントローラ，　７０　表示用画像生成部，　１０１　バス，　１０２　ＣＰＵ，　１０３　ＲＯＭ，　１０４　ＲＡＭ，　１０５　ハードディスク，　１０６　出力部，　１０７　入力部，　１０８　通信部，　１０９　ドライブ，　１１０　入出力インタフェース，　１１１リムーバブル記録媒体

Claims (33)

1. ユーザに提示する画像を表示する表示装置において、
   第１の画像を表示する、前記ユーザを囲むように配置される第１の表示手段と、
   第２の画像を表示する、前記第１の表示手段の内側に配置される第２の表示手段と
   を備えることを特徴とする表示装置。
2. 前記第１の表示手段は、前記ユーザに没入感を提供する没入画像を表示する
   ことを特徴とする請求項１に記載の表示装置。
3. 前記第１の表示手段の内部から、前記第１の表示手段の内側の面に向かって、光線を発する発光手段をさらに備え、
   前記第１の表示手段は、前記発光手段からの光線に対応する画像を表示する
   ことを特徴とする請求項１に記載の表示装置。
4. 前記発光手段は、被写体の全方位を撮像する全方位撮像手段で撮像された全方位画像に対応する光線を発光する
   ことを特徴とする請求項３に記載の表示装置。
5. 前記全方位撮像手段をさらに備える
   ことを特徴とする請求項４に記載の表示装置。
6. 前記全方位撮像手段で撮像された全方位画像を、緯度方向と経度方向で規定される平面上の長方形状の緯度経度画像に変換する全方位画像変換手段と、
   前記緯度経度画像を、前記発光手段の特性に基づいて補正する補正手段と、
   前記補正手段によって補正された緯度経度画像を、前記全方位画像に変換する緯度経度画像変換手段と
   をさらに備え、
   前記発光手段は、前記緯度経度画像変換手段で得られる前記全方位画像に対応する光線を発する
   ことを特徴とする請求項４に記載の表示装置。
7. 前記第２の表示手段は、所定の視点から見た鳥瞰画像を表示する
   ことを特徴とする請求項１に記載の表示装置。
8. 前記第２の表示手段の内部から、前記第２の表示手段の内側の面に向かって、光線を発する発光手段をさらに備え、
   前記第２の表示手段は、前記発光手段からの光線に対応する画像を表示する
   ことを特徴とする請求項１に記載の表示装置。
9. 前記発光手段は、所定の視点から所定の被写体を見たときの画像に対応する光線を発する
   ことを特徴とする請求項８に記載の表示装置。
10. 前記発光手段は、前記ユーザの視点から所定の被写体を見たときの画像に対応する光線を発する
    ことを特徴とする請求項９に記載の表示装置。
11. 前記ユーザの視点を検出する視点検出手段をさらに備える
    ことを特徴とする請求項１０に記載の表示装置。
12. 前記所定の視点と前記第２の表示手段の形状とに基づき、前記発光手段に発光させる光線に対応する発光画像を生成する発光画像生成手段をさらに備える
    ことを特徴とする請求項９に記載の表示装置。
13. 前記発光画像生成手段は、所定の被写体を撮像する複数の撮像手段それぞれで撮像された画像を用いて、前記発光画像を生成する
    ことを特徴とする請求項１２に記載の表示装置。
14. 前記複数の撮像手段をさらに備える
    ことを特徴とする請求項１３に記載の表示装置。
15. 前記発光画像生成手段は、
    前記複数の撮像手段それぞれで撮像された画像の中から、前記所定の視点に基づき、その所定の視点から所定の被写体を見たときの視点画像を選択する画像選択手段と、
    前記所定の視点と前記第２の表示手段の形状とに基づき、前記視点画像を、前記発光画像に変換する視点画像変換手段と
    を有する
    ことを特徴とする請求項１３に記載の表示装置。
16. 前記画像選択手段は、複数のユーザの視点それぞれについて、前記視点画像を選択し、
    前記視点画像変換手段は、前記複数のユーザの視点それぞれについての視点画像を変換して、１つの前記発光画像を生成し、
    前記第２の表示手段は、前記発光手段が発する光線に対応する前記発光画像を表示することにより、前記複数の視点それぞれから所定の被写体を見たときの画像を表示する
    ことを特徴とする請求項１５に記載の表示装置。
17. 複数のユーザの視点を、１つの視点に統合する統合手段をさらに備え、
    前記画像選択手段は、前記複数の撮像手段それぞれで撮像された画像の中から、前記複数のユーザの視点それぞれについての前記視点画像を選択し、その視点画像から、前記１つの視点についての前記視点画像を生成し、
    前記視点画像変換手段は、前記１つの視点についての前記視点画像を、前記発光画像に変換する
    ことを特徴とする請求項１５に記載の表示装置。
18. 前記画像選択手段は、前記複数のユーザの視点それぞれと、前記１つの視点との距離に応じて、前記複数のユーザの視点それぞれについての前記視点画像を重み付け加算することにより、前記１つの視点についての前記視点画像を生成する
    ことを特徴とする請求項１７に記載の表示装置。
19. 前記統合手段は、複数のユーザの視点を、その複数のユーザの視点の重心の位置に統合する
    ことを特徴とする請求項１７に記載の表示装置。
20. 前記複数のユーザの視点どうしの視点距離を求める視点距離算出手段をさらに備え、
    前記統合手段は、前記視点距離が所定の距離以下の前記複数のユーザの視点を、１つの視点に統合する
    ことを特徴とする請求項１７に記載の表示装置。
21. 前記第１または第２の表示手段は、半球ドーム形状をしている
    ことを特徴とする請求項１に記載の表示装置。
22. 複数の位置から撮像された画像を処理することにより、画像を表示する表示手段に向かって光線を発する発光手段に発光させる光線に対応する発光画像を生成する画像処理装置において、
    前記複数の位置それぞれから撮像された画像の中から、ユーザの視点に基づき、そのユーザの視点から所定の被写体を見たときの視点画像を選択する画像選択手段と、
    前記ユーザの視点と前記表示手段の形状とに基づき、前記視点画像を、前記発光画像に変換する視点画像変換手段と
    を備えることを特徴とする画像処理装置。
23. 前記ユーザの視点を検出する視点検出手段をさらに備える
    ことを特徴とする請求項２２に記載の画像処理装置。
24. 前記複数の撮像手段をさらに備える
    ことを特徴とする請求項２２に記載の画像処理装置。
25. 前記画像選択手段は、複数のユーザの視点それぞれについて、前記視点画像を選択し、
    前記視点画像変換手段は、前記複数のユーザの視点それぞれについての視点画像を変換して、１つの前記発光画像を生成し、
    前記表示手段は、前記発光手段が発する光線に対応する前記発光画像を表示することにより、前記複数のユーザの視点それぞれから所定の被写体を見たときの画像を表示する
    ことを特徴とする請求項２２に記載の画像処理装置。
26. 複数のユーザの視点を、１つの視点に統合する統合手段をさらに備え、
    前記画像選択手段は、前記複数の撮像手段それぞれで撮像された画像の中から、前記複数のユーザの視点それぞれについての前記視点画像を選択し、その視点画像から、前記１つの視点についての前記視点画像を生成し、
    前記視点画像変換手段は、前記１つの視点についての前記視点画像を、前記発光画像に変換する
    ことを特徴とする請求項２２に記載の画像処理装置。
27. 前記画像選択手段は、前記複数のユーザの視点それぞれと、前記１つの視点との距離に応じて、前記複数のユーザの視点それぞれについての前記視点画像を重み付け加算することにより、前記１つの視点についての前記視点画像を生成する
    ことを特徴とする請求項２６に記載の画像処理装置。
28. 前記統合手段は、複数のユーザの視点を、その複数のユーザの視点の重心の位置に統合する
    ことを特徴とする請求項２６に記載の画像処理装置。
29. 前記複数のユーザの視点どうしの視点距離を求める視点距離算出手段をさらに備え、
    前記統合手段は、前記視点距離が所定の距離以下の前記複数のユーザの視点を、１つの視点に統合する
    ことを特徴とする請求項２６に記載の画像処理装置。
30. 複数の位置から撮像された画像を処理することにより、画像を表示する表示手段に向かって光線を発する発光手段に発光させる光線に対応する発光画像を生成する画像処理方法において、
    前記複数の位置それぞれから撮像された画像の中から、ユーザの視点に基づき、そのユーザの視点から所定の被写体を見たときの視点画像を選択する画像選択ステップと、
    前記ユーザの視点と前記表示手段の形状とに基づき、前記視点画像を、前記発光画像に変換する視点画像変換ステップと
    を備えることを特徴とする画像処理方法。
31. 複数の位置から撮像された画像を処理することにより、画像を表示する表示手段に向かって光線を発する発光手段に発光させる光線に対応する発光画像を生成する画像処理を、コンピュータに行わせるプログラムにおいて、
    前記複数の位置それぞれから撮像された画像の中から、ユーザの視点に基づき、そのユーザの視点から所定の被写体を見たときの視点画像を選択する画像選択ステップと、
    前記ユーザの視点と前記表示手段の形状とに基づき、前記視点画像を、前記発光画像に変換する視点画像変換ステップと
    を備えることを特徴とするプログラム。
32. 画像を撮像する撮像装置において、
    被写体の全方位を撮像する全方位撮像手段と、
    前記被写体を複数の方向から撮像する複数の被写体撮像手段と
    を備えることを特徴とする撮像装置。
33. 前記全方位撮像手段が前記被写体の全方位を撮像することにより得られる画像は、ユーザに没入感を提供するための没入画像を表示するのに用いられ、
    前記複数の被写体撮像手段が前記被写体を複数の方向から撮像することにより得られる画像は、前記被写体を、前記ユーザの視点から見た鳥瞰画像を表示するのに用いられる
    ことを特徴とする請求項３２に記載の撮像装置。

Images