JP2004015255A - 撮像装置および撮像方法、画像処理装置および画像処理方法、並びにプログラムおよび記録媒体 - Google Patents

Abstract

【課題】多数の視点から見た被写体の画像を、容易に撮像する。
【解決手段】楕円ミラー１１１は、その２つの焦点ｆ_１とｆ_２のうちの一方の焦点ｆ_２側に位置する被写体から射出される光を反射する。この楕円ミラー１１１で反射された被写体からの光は、楕円ミラー１１１の他方の焦点ｆ_１に向かって入射する。焦点ｆ_１には、魚眼カメラ１１２が配置されており、魚眼カメラ１１２は、焦点ｆ_１に向かって入射する光を受光し、これにより、被写体を撮像する。本発明は、例えば、多方位から被写体を撮像した画像データを生成する画像生成装置に適用できる。
【選択図】　　　図４

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置および撮像方法、画像処理装置および画像処理方法、並びにプログラムおよび記録媒体に関し、例えば、被写体を全方位から見たときの画像を、容易に取得し、表示することができるようにする撮像装置および撮像方法、画像処理装置および画像処理方法、並びにプログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
従来の、例えば、ＣＲＴ（Ｃａｔｈｏｄ　Ｒａｙ　Ｔｕｂｅ）や、液晶パネル、プロジェクタなどを利用したディスプレイにおいては、例えば、ビデオカメラ（以下、適宜、単に、カメラともいう）で撮像された画像が表示されるが、その画像は、図１に示すように、カメラの位置を視点として見たものにすぎなかった。
【０００３】
即ち、カメラでは、そのカメラの位置から見た被写体の画像が撮像されるにすぎず、従って、表示される画像も、被写体を、カメラの位置を視点として見たものにすぎなかった。
【０００４】
【発明が解決しようとする課題】
そこで、例えば、多数のカメラを被写体の周囲に設置して、被写体を撮像することにより、あるいは、一台のカメラを被写体の周囲の各位置に順次移動して、被写体を撮像することにより、被写体を、各方位から見た画像データを得ることができる。
【０００５】
しかしながら、多数のカメラを被写体の周囲に設置する方法では、その多数のカメラが必要となる。また、カメラを被写体の周囲の各位置に順次移動する方法では、被写体を撮像するのに長時間を要することとなり、さらに、その間、被写体が静止している必要がある。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、１台のカメラであっても、多数の視点から見た被写体の画像を、容易に撮像すること等ができるようにするものである。
【０００７】
【課題を解決するための手段】
本発明の撮像装置は、被写体からの光を反射する、被写体を覆う状態に設置される凹面鏡と、凹面鏡で反射された光を受光することにより、被写体を撮像する撮像手段とを備えることを特徴とする。
【０００８】
本発明の撮像方法は、被写体を覆う状態に設置された凹面鏡によって、被写体からの光を反射し、凹面鏡で反射された光を受光することにより、被写体を撮像することを特徴とする。
【０００９】
本発明の画像処理装置は、被写体を覆う状態に設置された凹面鏡によって、被写体からの光を反射し、凹面鏡で反射された光を受光することにより、被写体を撮像して得られる被写体の画像データの各画素の画素値に対応する光が、被写体から凹面鏡に向かうときの光線方向を求め、対応する画素の画素値と対応付けた画像情報を生成する光線方向処理手段を備えることを特徴とする。
【００１０】
本発明の画像処理方法は、被写体を覆う状態に設置された凹面鏡によって、被写体からの光を反射し、凹面鏡で反射された光を受光することにより、被写体を撮像して得られる被写体の画像データの各画素の画素値に対応する光が、被写体から凹面鏡に向かうときの光線方向を求め、対応する画素の画素値と対応付けた画像情報を生成する光線方向処理ステップを備えることを特徴とする。
【００１１】
本発明のプログラムは、被写体を覆う状態に設置された凹面鏡によって、被写体からの光を反射し、凹面鏡で反射された光を受光することにより、被写体を撮像して得られる被写体の画像データの各画素の画素値に対応する光が、被写体から凹面鏡に向かうときの光線方向を求め、対応する画素の画素値と対応付けた画像情報を生成する光線方向処理ステップを備えることを特徴とする。
【００１２】
本発明の記録媒体は、被写体を覆う状態に設置された凹面鏡によって、被写体からの光を反射し、凹面鏡で反射された光を受光することにより、被写体を撮像して得られる被写体の画像データの各画素の画素値に対応する光が、被写体から凹面鏡に向かうときの光線方向を求め、対応する画素の画素値と対応付けた画像情報を生成する光線方向処理ステップを備えるプログラムが記録されていることを特徴とする。
【００１３】
本発明の撮像装置および撮像方法においては、被写体を覆う状態に設置された凹面鏡によって、被写体からの光が反射され、凹面鏡で反射された光を受光することにより、被写体が撮像される。
【００１４】
本発明の画像処理装置および画像処理方法、並びにプログラムおよび記録媒体においては、被写体を覆う状態に設置された凹面鏡によって、被写体からの光を反射し、凹面鏡で反射された光を受光することにより、被写体を撮像して得られる被写体の画像データの各画素の画素値に対応する光が、被写体から凹面鏡に向かうときの光線方向が求められ、対応する画素の画素値と対応付けた画像情報が生成される。
【００１５】
【発明の実施の形態】
図２は、本発明を適用した画像生成装置の一実施の形態の構成例を示している。この画像生成装置においては、被写体を複数の方位から見た画像データが生成されるようになっている。
【００１６】
即ち、連続多視点光線取得光学系１０１は、被写体が周囲に射出する光線を取得し、全方位画像取得部１０２に供給する。具体的には、連続多視点光線取得光学系１０２は、凹面鏡で構成され、被写体を覆う状態に配置されており、被写体からの光を反射し、全方位画像取得部１０２に入射させる。
【００１７】
全方位画像取得部１０２は、少なくとも光電変換を行う装置で構成され、連続多視点光線取得光学系１０１から入射する光を受光して光電変換を行うことで、被写体を、例えばフレーム（またはフィールド）周期で撮像し、その被写体の画像データを、画像記憶部１０３に供給する。
【００１８】
画像記憶部１０３は、例えば、半導体メモリやハードディスクその他の記録媒体から構成され、全方位画像取得部１０２から供給される画像データを記憶する。
【００１９】
次に、図３のフローチャートを参照して、図２の画像生成装置の処理（画像生成処理）について説明する。
【００２０】
連続多視点光線取得光学系１０１では、被写体が周囲に射出する光が反射され、その反射光は、全方位画像取得部１０２に入射する。
【００２１】
そして、ステップＳ１０１では、全方位画像取得部１０２が、連続多視点光線取得光学系１０１から入射する光を受光して光電変換を行うことで、被写体を撮像し、その結果得られる１フレームの画像データを、画像記憶部１０３に供給して、ステップＳ１０２に進む。ステップＳ１０２では、画像記憶部１０３が、全方位画像取得部１０２から供給される画像データを記憶し、ステップＳ１０３に進む。
【００２２】
ステップＳ１０３では、ユーザによって、図示せぬ操作部が、画像データの撮像を終了するように操作（以下、適宜、撮像終了操作という）されたか否かが判定される。
【００２３】
ステップＳ１０３において、撮像終了操作がされていないと判定された場合、ステップＳ１０１に戻り、以下、同様の処理が繰り返される。
【００２４】
また、ステップＳ１０３において、撮像終了操作がされたと判定された場合、処理を終了する。
【００２５】
以上のように、図２の画像生成装置では、連続多視点光線取得光学系１０１において、被写体が周囲に射出する光が反射され、全方位画像取得部１０２において、その反射光が受光されることにより、被写体の画像データが撮像される。従って、連続する全方位（複数の方位）から見た被写体の画像を、１つの全方位画像取得部１０２によって、容易に、リアルタイムで撮像することができる。
【００２６】
次に、図４は、図２の連続多視点光線取得光学系１０１と全方位画像取得部１０２の第１実施の形態の構成例を示している。
【００２７】
図４の実施の形態では、連続多視点光線取得光学系１０１は、楕円ミラー１１１で構成されている。
【００２８】
楕円ミラー１１１は、楕円を長軸（または短軸）を中心に回転して得られる回転体を、長軸（または短軸）を通る平面で２分割したような形状を有している。また、楕円ミラー１１１は、その内部が中空になっており、内側に、光を反射する反射面が形成されている。そして、楕円ミラー１１１は、その２つの焦点ｆ_１とｆ_２のうちの一方である焦点ｆ_２側に、被写体が位置するように配置されている。
【００２９】
全方位画像取得部１０２は、魚眼カメラ１１２で構成されている。即ち、全方位画像取得部１０２は、レンズとして、魚眼レンズ１１３が採用されたカメラ（ビデオカメラ）である魚眼カメラ１１２で構成されている。そして、魚眼カメラ１１２は、楕円ミラー１１１の、被写体が位置する方でない焦点ｆ_１の位置に配置されている。即ち、魚眼カメラ１１２は、例えば、その光学中心が焦点ｆ_１に一致し、魚眼レンズ１１３に、焦点ｆ_２から射出して、楕円ミラー１１１の任意の点で反射され、焦点ｆ_１に向かう光線すべてが入射するように配置されている。
【００３０】
以上のように構成される連続多視点光線取得光学系１０１と全方位画像取得部１０２では、被写体が楕円ミラー１１１の内部に向かって射出する光線のうち、一方の焦点ｆ_２を通るものが、楕円ミラー１１１で反射され、その反射光の光線は、楕円の性質によって、他方の焦点ｆ_１に向かう。従って、焦点ｆ_１の位置に設置されている魚眼カメラ１１２の魚眼レンズ１１３には、楕円ミラー１１１で反射された被写体からの光線が入射し、これにより、魚眼カメラ１１２では、その光線に対応する画像が撮像される。
【００３１】
以上のようにして、魚眼カメラ１１２では、連続する全方位から見た被写体の画像が撮像される。
【００３２】
次に、図５は、図２の連続多視点光線取得光学系１０１と全方位画像取得部１０２の第２実施の形態の構成例を示している。なお、図中、図４における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【００３３】
図５の実施の形態では、連続多視点光線取得光学系１０１は、２つの放物面ミラー１２１Ａと１２１Ｂで構成されている。
【００３４】
放物面ミラー１２１Ａおよび１２１Ｂは、いずれも、例えば、式ｙ＝ｘ^２などで表される放物線を、ｙ軸を中心に回転して得られる回転体のような形状を有しており、その内側に、光を反射する反射面が形成されている。そして、放物面ミラー１２１Ａと１２１Ｂは、それぞれの光軸が一致し、かつそれぞれの開口部分（放物線の頂点側と反対側）が対向するように配置されている。さらに、放物面ミラー１２１Ａと１２１Ｂのうちの一方である放物面ミラー１２１Ｂは、被写体を覆う状態になるように、かつ、その焦点ｆ_２’側に、被写体が位置するように配置されている。
【００３５】
なお、放物面ミラー１２１Ａと１２１Ｂとの間の距離は、任意の距離とすることができる。
【００３６】
図５の実施の形態でも、全方位画像取得部１０２は、図４における場合と同様に、カメラ１１２のレンズとして魚眼レンズ１１３が採用された魚眼カメラで構成されている。そして、魚眼カメラ１１２は、その光学中心が、放物面ミラー１２１Ａと１２１Ｂのうちの他方である放物面ミラー１２１Ａの焦点ｆ_１’の位置に一致し、放物面ミラー１２１Ａの頂点（放物線の頂点）の方向を向くように配置されている。
【００３７】
以上のように構成される連続多視点光線取得光学系１０１と全方位画像取得部１０２では、被写体が放物面ミラー１２１Ｂの内部に向かって射出する光線のうち、その焦点ｆ_２’を通るものは、放物面ミラー１２１Ｂで反射され、その反射光は、放物線の性質によって、放物面ミラー１２１Ｂの光軸と平行な光線となって、放物面ミラー１２１Ａに向かう。
【００３８】
図５では、放物面ミラー１２１Ａと１２１Ｂの光軸が一致しており、従って、放物面ミラー１２１Ｂからの光線は、放物面ミラー１２１Ａの光軸と平行な光線として、放物面ミラー１２１Ａの内部に入射する。
【００３９】
そして、放物面ミラー１２１Ａでは、その光軸と平行な光線が反射され、その反射光は、放物線の性質によって、放物面ミラー１２１Ａの焦点ｆ_１’に向かう光線となる。従って、この光線は、焦点ｆ_１の位置に設置されている魚眼カメラ１１２の魚眼レンズ１１３に入射し、これにより、魚眼カメラ１１２では、その光線に対応する画像が撮像される。
【００４０】
以上のようにして、図５でも、図４における場合と同様に、魚眼カメラ１１２において、連続する全方位から見た被写体の画像が撮像される。
【００４１】
なお、放物面ミラー１２１Ａと１２１Ｂの光軸は、実際には一致していなくても、等価的に一致していればよい。即ち、放物面ミラー１２１Ａと１２１Ｂは、例えば、その光軸が同一平面内において直交するように配置することが可能である。但し、この場合、放物面ミラー１２１Ａと１２１Ｂの光軸を、等価的に一致させるために、放物面ミラー１２１Ａと１２１Ｂの光軸が存在する平面に直交し、それぞれの光軸と４５度の角度をなすようにミラーを配置して、そのミラーによって、放物面ミラー１２１Ｂからの光線を、放物面ミラー１２１Ａ側に反射する必要がある。
【００４２】
次に、図６は、図２の画像生成装置で得られた画像データを表示する画像表示装置の一実施の形態の構成例を示している。なお、ここでは、図２画像生成装置において、連続多視点光線取得光学系１０１が、例えば、図４に示したように、楕円ミラー１１１で構成されるものとする。
【００４３】
画像記憶部１３１には、図２の画像生成装置において、画像記憶部１０３に記憶された画像データが供給され、画像記憶部１３１は、その画像データを記憶する。再生部１３２は、画像記憶部１３１に記憶された画像データを、例えば、フレーム単位で読み出し、魚眼プロジェクタ１３３に供給する。
【００４４】
魚眼プロジェクタ１３３は、プロジェクタ１３４と魚眼レンズ１３５で構成されており、プロジェクタ１３４は、再生部１３２から供給される画像データに対応する光を発し、魚眼レンズ１３５は、そのプロジェクタ１３４からの光を、周囲に放射する。ここで、魚眼レンズ１３５は、図４の魚眼カメラ１１２を構成する魚眼レンズ１１３と同一の光学特性を有しており、従って、魚眼プロジェクタ１３３では、図４の魚眼カメラ１１２で受光される光線が、その方向だけ逆向きにされて射出される。
【００４５】
楕円ハーフミラー１３６は、図４の楕円ミラー１１１と相似の形状を有しており、魚眼プロジェクタ１３３が発する光を反射する。ここで、楕円ハーフミラー１３６は、図４の楕円ミラー１１１と同様に、２つの焦点ｆ_１とｆ_２を有するが、その２つの焦点ｆ_１とｆ_２のうちの一方である焦点ｆ_１の位置に、魚眼プロジェクタ１３３が配置されている。即ち、魚眼プロジェクタ１３３は、例えば、その光学中心が焦点ｆ_１の位置に一致するように配置されている。
【００４６】
楕円ハーフミラー１３６の焦点ｆ_１でない方の焦点ｆ_２には、例えば、半球状のスクリーン１３７が配置されている。即ち、半球状のスクリーン１３７は、例えば、その中心が焦点ｆ_２の位置に一致し、焦点ｆ_１から射出して、楕円ハーフミラー１３６の任意の点で反射され、焦点ｆ_２に向かう光線すべてが、その球面に入射するように配置されている。そして、スクリーン１３７は、楕円ハーフミラー１３６で反射されて入射する光を、その球面で受光して（拡散）反射し、これにより、スクリーン１３７の球面では、その光に対応する画像が表示される。
【００４７】
次に、図７のフローチャートを参照して、図６の画像表示装置の動作について説明する。
【００４８】
まず最初に、ステップＳ１１１において、再生部１３２は、画像記憶部１３１から１フレームの画像データを読み出し、魚眼プロジェクタ１３３に供給して、ステップＳ１１２に進む。ステップＳ１１２では、魚眼プロジェクタ１３３が、再生部１３２からの画像データに対応する光を発し、これにより、スクリーン１３７に、その光に対応する画像データを表示させ、ステップＳ１１３に進む。
【００４９】
即ち、ステップＳ１１２では、魚眼プロジェクタ１３３が、再生部１３２からの画像データに対応する光を発し、この光は、楕円ハーフミラー１３６で反射される。ここで、魚眼プロジェクタ１３３が発する光は、上述したように、図４の魚眼カメラ１１２で受光される光を、その方向だけ逆向きにしたものになっている。従って、焦点ｆ_１に配置されている魚眼プロジェクタ１３３から射出され、楕円ハーフミラー１３６で反射された光線は、図４における場合と同一の軌跡を逆向きに辿り、他方の焦点ｆ_２に向かって入射する。そして、焦点ｆ_２の位置に配置されているスクリーン１３７では、その光線が受光され、これにより、対応する画像が表示される。即ち、図４における被写体が発する光に対応する画像、つまり、被写体の画像が表示される。
【００５０】
ステップＳ１１３では、ユーザによって、図示せぬ操作部が、画像データの表示を終了するように操作（以下、適宜、表示終了操作という）されたか否かが判定される。
【００５１】
ステップＳ１１３において、表示終了操作がされていないと判定された場合、ステップＳ１１１に戻る。そして、ステップＳ１１１において、再生部１３２が、次のフレームの画像データを、画像記憶部１３１から読み出し、以下、同様の処理が繰り返される。
【００５２】
また、ステップＳ１１３において、表示終了操作がされたと判定された場合、処理を終了する。
【００５３】
以上のように、図６の画像表示装置では、魚眼プロジェクタ１３３において、焦点ｆ_１から楕円ハーフミラー１３６の内部に向かって射出された光線が、図４における場合と同一の軌跡を逆向きに辿り、焦点ｆ_２に向かう。そして、その光線は、焦点ｆ_２の位置に設置されているスクリーン１３７で受光され、対応する画像が表示される。従って、半球状のスクリーン１３７では、図４における被写体が実際にあるかのような、いわば立体的な画像が、その球面に表示される。即ち、スクリーン１３７の球面には、図４における被写体の全方位の画像が表示される。
【００５４】
その結果、ユーザは、スクリーン１３７の外側の位置から、楕円ハーフミラー１３６を介して、スクリーン１３７を見ることにより、その位置から実際の被写体を観察した場合と同様の画像を観察することができる。
【００５５】
ここで、図６において、楕円ハーフミラー１３６は、スクリーン１３７で反射された光線の他、魚眼プロジェクタ１３３が発する光線の一部も透過させる。しかしながら、スクリーン１３７では光線が結像されるのに対して、魚眼プロジェクタ１３３が発する光線は結像していないので、ユーザが観察する画像が二重になることはない。
【００５６】
なお、図２画像生成装置において、連続多視点光線取得光学系１０１が、例えば、図５に示したように、２つの放物面ミラー１２１Ａおよび１２１Ｂで構成される場合には、例えば、図８の画像表示装置によって、図５における被写体の全方位の画像を表示することができる。
【００５７】
即ち、図８の画像表示装置において、放物面ミラー１３８Ａと１３８Ｂは、図５の放物面ミラー１２１Ａと１２１Ｂとそれぞれ相似の形状を有しており、そのうちの一方である放物面ミラー１３８Ａの焦点ｆ_１’の位置には、図５で説明した魚眼プロジェクタ１３３が配置されている。また、他方の放物面ミラー１３８Ｂの焦点ｆ_２’の位置には、例えば、球形のスクリーン１３９が配置されている。なお、放物面ミラー１３８Ａと１３８Ｂの配置関係は、図５の放物面ミラー１２１Ａと１２１Ｂの配置関係と一致している。
【００５８】
ここで、図８においては、図示していないが、図８の魚眼プロジェクタ１３３には、図６における場合と同様に、再生部１３２から画像データが供給されるようになっている。
【００５９】
図８の画像表示装置では、魚眼プロジェクタ１３３において、焦点ｆ_１’から放物面ミラー１３８Ａの内部に向かって、画像データに対応する光線が射出され、図５における場合と同一の軌跡を逆向きに辿り、放物面ミラー１３８Ｂの焦点ｆ_２’に向かう。即ち、魚眼プロジェクタ１３３が発する光線は、放物面ミラー１３８Ａで反射され、放物面ミラー１３８Ａおよび１３８Ｂの光軸と平行な光線となって、放物面ミラー１３８Ｂに入射する。放物面ミラー１３８Ｂでは、放物面ミラー１３８Ａからの光線が、焦点ｆ_２’に向かって反射され、その反射光は、焦点ｆ_２の位置に設置されているスクリーン１３９で受光される。これにより、スクリーン１３９では、受光された光に対応する画像が、その球面に表示される。従って、球状のスクリーン１３９では、図５における被写体が実際にあるかのような立体的な画像が、その球面に表示される。即ち、スクリーン１３９の球面には、図５における被写体の全方位の画像が表示される。
【００６０】
その結果、ユーザは、スクリーン１３９の外側であり、かつ、放物面ミラー１３８Ｂの内側の位置から、スクリーン１３９を見ることにより、その位置から実際の被写体を観察した場合と同様の画像を観察することができる。
【００６１】
次に、図９は、本発明を適用した画像生成装置の他の一実施の形態の構成例を示している。なお、図中、図２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図９の画像生成装置は、幾何処理部１４１が新たに設けられている他は、図２における場合と同様に構成されている。
【００６２】
幾何処理部１４１は、全方位画像取得部１０２が出力する画像データを受信（取得）し、その画像データについて、所定の幾何学的処理を行うことで、画像データを構成する各画素の画素値と、その画素の画素値に対応する光の方向（光線方向）とを対応付けた画像情報を生成し、画像情報記憶部１０３に供給して記憶させる。
【００６３】
即ち、例えば、いま、連続多視点光線取得光学系１０１が、図４に示したように、楕円ミラー１１１で構成されるものとすると、幾何処理部１４１は、全方位画像取得部１０２である魚眼カメラ１１２が出力する画像データを構成する各画素の画素値に対応する光線が、被写体から楕円ミラー１１１に向かうときの光線方向を求め、その光線に対応する画素の画素値と対応付ける。そして、幾何処理部１４１は、その画素値と光線方向とを対応付けた情報のセットを、画像情報として、画像記憶部１０３に供給する。
【００６４】
次に、図１０のフローチャートを参照して、図９の画像生成装置の処理（画像生成処理）について説明する。
【００６５】
連続多視点光線取得光学系１０１である楕円ミラー１１１（図４）では、被写体が周囲に射出する光が反射され、その反射光は、全方位画像取得部１０２に入射する。
【００６６】
そして、ステップＳ１２１において、全方位画像取得部１０２である魚眼カメラ１１２が、楕円ミラー１１１から入射する光を受光して光電変換を行うことで、被写体を撮像し、１フレームの画像データを、幾何処理部１４１に供給して、ステップＳ１２２に進む。ステップＳ１２２では、幾何処理部１４１は、魚眼カメラ１１２が出力する画像データを構成する各画素の画素値に対応する光線が、被写体から楕円ミラー１１１に向かうときの光線方向を求め、その光線に対応する画素の画素値と対応付けた画像情報を生成する。さらに、ステップＳ１２２では、幾何処理部１４１は、生成した画像情報を、画像記憶部１０３に供給し、ステップＳ１２３に進む。
【００６７】
ステップＳ１２３では、画像記憶部１０３が、幾何処理部１４１から供給される画像情報を記憶し、ステップＳ１２４に進む。
【００６８】
ステップＳ１２４では、ユーザによって、撮像終了操作がされたか否かが判定される。
【００６９】
ステップＳ１２４において、撮像終了操作がされていないと判定された場合、ステップＳ１２１に戻り、以下、同様の処理が繰り返される。
【００７０】
また、ステップＳ１２４において、撮像終了操作がされたと判定された場合、処理を終了する。
【００７１】
以上のように、図９の画像生成装置においても、図２における場合と同様に、連続多視点光線取得光学系１０１において、被写体が周囲に射出する光が反射され、全方位画像取得部１０２において、その反射光が受光されることにより、被写体の画像データが撮像される。従って、連続する全方位（複数の方位）から見た被写体の画像を、１つの全方位画像取得部１０２によって、容易に、リアルタイムで撮像することができる。
【００７２】
次に、図９の幾何処理部１４１の処理について詳述する。
【００７３】
幾何処理部１４１は、連続多視点光線取得光学系１０１および全方位画像取得部１０２を、例えば、図１１に示す、いわば逆魚眼センサ１５０と等価な光学系とするための処理を行う。
【００７４】
図１１の逆魚眼センサ１５０は、内部が空洞の半球形状の球面カバー１５１で構成されている。球面カバー１５１の内壁には、図１１における拡大図に示すように、微小なスリット１５２と受光素子１５３のセットが多数が設けられている。
【００７５】
スリット１５２は、細長い円柱の形状をしており、その内部には、ストローのように、穴が空いている。また、スリット１５２は、その内部に設けられた穴の方向と、球面カバー１５１の球面とが垂直になるように配置されており、さらに、その表面には、遮断膜が形成されている。従って、スリット１５２は、球面カバー１５１の中心から、その球面に向かう光線（球面カバー１５１に垂直な方向の光線）のみを、その内部の穴から通過させ、他の方向の光線を遮断する。
【００７６】
受光素子１５３は、スリット１５２の２つの端部のうちの、球面カバー１５１側の端部に設けられており、スリット１５２の穴を通過してきた光線を受光して光電変換し、対応する画素値を出力する。
【００７７】
以上のような逆魚眼センサ１５０においては、被写体が射出する光線のうち、球面カバー１５１の中心から、球面カバー１５１に向かうものが、球面カバー１５１の内壁に設けられたスリット１５２を通過する。このスリット１５２を通過した光線は、そのスリット１５２の端部に設けられた受光素子１５３で受光されて光電変換され、これにより、受光素子１５３からは、その光線の光量に対応する画素値が出力される。従って、逆魚眼センサ１５０によれば、被写体を、その全方位から見た画像データを撮像することができる。
【００７８】
ここで、図４の魚眼カメラ１１２では、その光軸周りの全方位の画像データを撮像することができ、従って、全方位の被写体を感知できる魚眼センサということができる。
【００７９】
一方、図１１の逆魚眼センサ１５０では、ある被写体が、その全方位から感知される。従って、逆魚眼センサ１５１は、被写体が、その全方位から感知される点において、全方位の被写体を感知する図４の魚眼カメラ１１２と逆の機能を有することから、「魚眼センサ」である魚眼カメラ１１２に対して、「逆魚眼センサ」と呼ぶことができる。
【００８０】
ところで、図１１の逆魚眼センサ１５０において、ある程度の解像度の画像データを得るためには、スリット１５２と受光素子１５３のセットとして、画像データの解像度に応じた微小な大きさのものを用意する必要があり、その製造コストが膨大なものとなる。
【００８１】
そこで、図９の幾何処理部１４１は、上述したように、連続多視点光線取得光学系１０１および全方位画像取得部１０２を、図１１の逆魚眼センサ１５０と等価な光学系とするための処理を行う。
【００８２】
即ち、図１２は、図９の幾何処理部１４１の構成例を示している。
【００８３】
幾何処理部１４１は、光線方向算出部１６１、角度変換部１６２、光線方向算出部１６３、角度変換部１６４、および画像情報生成部１６５で構成されている。
【００８４】
光線方向算出部１６１には、全方位画像取得部１０２としての魚眼カメラ１１２（図４）が出力する被写体の画像データが供給されるようになっており、楕円ミラー１１１で反射された光線が魚眼カメラ１１２に向かうときの光線方向を算出し、角度変換部１６２に供給する。
【００８５】
角度変換部１６２、光線方向算出部１６３、および角度変換部１６４は、光線方向算出部１６１で求められた光線方向に基づいて、被写体の画像データの各画素の画素値に対応する光線が、被写体から楕円ミラー１１１に向かうときの光線方向を算出し、画像情報生成部１６５に供給する。
【００８６】
画像情報生成部１６５には、角度変換部１６２、光線方向算出部１６３、および角度変換部１６４で求められた光線方向の他、全方位画像取得部１０２としての魚眼カメラ１１２（図４）が出力する被写体の画像データが供給されるようになっており、その画像データを構成する各画素の画素値と、光線方向とを対応付けることにより、画像情報を生成し、画像記憶部１０３（図９）に供給する。即ち、画像情報生成部１６５は、魚眼カメラ１１２で被写体を撮像することにより得られる被写体の画像データの各画素の画素値に対応する光線が、被写体から楕円ミラー１１１に向かうときの光線方向と、その光線に対応する画素の画素値と対応付けた画像情報を生成し、画像記憶部１０３（図９）に供給する。
【００８７】
次に、図１３乃至図２０を参照して、図１２の光線方向算出部１６１、角度変換部１６２、光線方向算出部１６３、角度変換部１６４それぞれにおける処理について説明する。
【００８８】
なお、ここでは説明を簡単にするために、魚眼カメラ１１２の魚眼レンズ１１３として、例えば、図１３に示すような等距離射影方式の魚眼レンズ（いわゆるｆθの魚眼レンズ）が採用されているものとする。但し、魚眼レンズ１１３としては、その他の方式、即ち、例えば、立体射影方式や、等立体角射影方式、正射影方式などの魚眼レンズを採用することが可能である。
【００８９】
ここで、等距離射影方式の魚眼レンズ１１２によれば、その光軸に対する入射光の入射角をθとするとともに、魚眼レンズ１１２の焦点距離をｆとすると、像高ｙは、ｆθで表される。
【００９０】
従って、いま、図１３に示すように、魚眼レンズ１１３の光軸と、魚眼カメラ１１２の受光面（例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）などの受光面）１１２Ａとの交点を受光面原点Ｐ_０と表す場合において、入射角θ_１の入射光Ｒ_１が魚眼レンズ１１３に入射したときに、その入射光Ｒ_１が受光面１１２Ａで受光される点Ｐ_１と、受光面原点Ｐ_０との間の距離ｒ_１は、ｆθ_１で表される。同様に、入射角θ_２の入射光Ｒ_２が魚眼レンズ１１３に入射したときに、その入射光Ｒ_２が受光面１１２Ａで受光される点Ｐ_２と、受光面原点Ｐ_０との間の距離ｒ_２は、ｆθ_２で表される。そして、光線Ｒ_２の入射角θ_２が、光線Ｒ_１の入射角θ_１の、例えば２倍の角度である場合には、距離ｒ_２も、距離ｒ_１の２倍となる。
【００９１】
以上のような等距離射影方式の魚眼レンズ１１３を有する魚眼カメラ１１２が出力する画像データは、一般に、例えば、図１４に示すような楕円形となる。ここで、魚眼カメラ１１２が出力する画像データが楕円形となるのは、魚眼カメラ１１２の受光面１１２Ａを構成する画素のアスペクト比が、一般には、１：１でないためである。即ち、受光面１１２Ａを構成する画素のアスペクト比が１：１である場合には、魚眼カメラ１１２が出力する画像データは、円形となる。
【００９２】
いま、魚眼カメラ１１２Ａが出力する画像データについて、図１４に示す２次元座標系を考え、受光面原点Ｐ_０の座標を、（ｘ_０，ｙ_０）と表すこととする。なお、この受光面原点Ｐ_０は、魚眼カメラ１１２が出力する画像データの楕円形状の中心となる。また、その楕円形状の長軸または短軸のうちの一方は、２次元座標系のｘ軸またはｙ軸のうちの一方と平行に、長軸または短軸のうちの他方は、２次元座標系のｘ軸またはｙ軸のうちの他方と平行に、それぞれ配置するものとする。
【００９３】
この場合、魚眼カメラ１１２が出力する画像データの楕円形状のある点（画素）Ｐの座標（ｘ，ｙ）と、その点Ｐに結像する光線の光線方向との関係は、次式で表される。
【００９４】
【数１】

・・・（１）
【００９５】
但し、式（１）において、ｒ_ｘは、魚眼カメラ１１２が出力する画像データの楕円形状の長径または短径のうちの、ｘ軸と平行な方の１／２の長さを表し、ｒ_ｙは、長径または短径のうちの、ｙ軸と平行な方の１／２の長さを表す。
【００９６】
また、式（１）において、θは、図１５に示すような、魚眼カメラ１１２（魚眼レンズ１１３）の光軸をｚ軸とするとともに、魚眼カメラ１１２の光学中心を原点とする３次元座標系において、魚眼レンズ１１３に入射する光線Ｒと、ｘｙ平面とがつくる角度を表す。さらに、式（１）において、φは、魚眼レンズ１１３に入射する光線Ｒをｘｙ平面に射影した線と、ｘ軸とがつくる角度を表す。なお、式（１）において、角度θとφの単位は、ラジアンである。
【００９７】
式（１）から、ｔａｎφは、式（２）で表すことができる。
【００９８】
【数２】

・・・（２）
【００９９】
式（２）から、角度φは、式（３）によって求めることができる。
【０１００】
【数３】

・・・（３）
【０１０１】
但し、式（３）の逆正接（ａｒｃｔａｎｇｅｎｔ）（ｔａｎ^−１）を計算するにあたっては、点Ｐが位置する象限を考慮する必要がある。後述する他の式における逆正接を計算する場合も同様である。
【０１０２】
式（１）と式（３）から、角度θは、式（４）によって求めることができる。
【０１０３】
【数４】

・・・（４）
【０１０４】
光線方向算出部１６１（図１２）は、式（３）および（４）にしたがい、魚眼カメラ１１２が出力する画像データを構成する各画素について、その画素で受光された光線の光線方向を表す角度θとφのセットを求め、その光線方向（θ，φ）を、後段の角度変換部１６２に供給する。
【０１０５】
角度変換部１６２は、光線方向算出部１６１から供給される光線方向（θ，φ）の表現形式を変換する。
【０１０６】
即ち、光線方向算出部１６１では、光線方向を表す角度θおよびφが求められるが、図１５で説明したように、角度θは、魚眼レンズ１１３に入射する光線Ｒと、ｘｙ平面とがつくる角度を表し、角度φは、魚眼レンズ１１３に入射する光線Ｒをｘｙ平面に射影した線と、ｘ軸とがつくる角度を表す。
【０１０７】
いま、図１５に示した３次元座標系のｘ軸を、図１６に示すように、楕円ミラー１１１の焦点ｆ_１およびｆ_２を通るようにとり、また、角度θとφを、それぞれθ_１とφ_１と記述するものとする。なお、図１５における３次元座標系は、魚眼カメラ１１２の光学中心を原点とするものであるから、図１６における３次元座標系は、魚眼カメラ１１２の光学中心が位置する焦点ｆ_１を原点とするものとなる。また、図１６において、３次元座標系は、焦点ｆ_１からｆ_２に向かう方向が、ｘ軸の正の方向となるようにとられている。
【０１０８】
図１６において、光線方向（θ_１，φ_１）の光線Ｒと、楕円ミラー１１１の交点Ｋの座標を、（Ｘ_１，Ｙ_１，Ｚ_１）と表すと、この座標（Ｘ_１，Ｙ_１，Ｚ_１）は、次式で表される。
【０１０９】
【数５】

・・・（５）
【０１１０】
但し、式（５）では、説明を簡単にするため、図１６において、点Ｋと焦点ｆ_１との間の距離が１であるとしてある。
【０１１１】
一方、図１７に示すような、図１６における場合と同一の３次元座標系において、光線Ｒが、焦点ｆ_１周りに、ｘ軸の負の方向とつくる角度をβと表すとともに、光線Ｒをｙｚ平面に射影した線と、ｙ軸とがつくる角度をγと表すこととすると、光線Ｒと、楕円ミラー１１１との交点Ｋ（Ｘ_１，Ｙ_１，Ｚ_１）は、次式で表すことができる。
【０１１２】
【数６】

・・・（６）
【０１１３】
式（６）から、角度βおよびγは、式（７）で表すことができる。
【０１１４】
【数７】

・・・（７）
【０１１５】
式（７）における点Ｋの座標（Ｘ_１，Ｙ_１，Ｚ_１）は、式（５）にしたがい、光線Ｒの光線方向を表す角度θ_１およびφ_１を用いて求めることができる。そして、その点Ｋの座標（Ｘ_１，Ｙ_１，Ｚ_１）を用いて、式（７）を計算することにより、光線Ｒの光線方向を表す角度βおよびγを求めることができる。
【０１１６】
角度変換部１６２（図１２）は、以上のようにして、光線方向算出部１６１から供給される、角度θ_１およびφ_１で表される光線方向を、角度βおよびγで表される光線方向に変換し、その光線方向（β，γ）を、後段の光線方向算出部１６３に供給する。
【０１１７】
光線方向算出部１６３は、角度変換部１６２から供給される、光線Ｒの光線方向（β，γ）から、焦点ｆ_２から点Ｋに向かう光線Ｒ’の光線方向を算出する。
【０１１８】
即ち、楕円ミラー１１１（図４）上の点Ｋから、魚眼カメラ１１２が配置されている焦点ｆ_１に向かう光線Ｒは、図１８に示すように、被写体が射出する光線のうちの、焦点ｆ_２から点Ｋに向かう光線Ｒ’が、楕円ミラー１１１上の点Ｋで反射されたものであり、光線方向算出部１６３は、この光線Ｒ’の光線方向を算出する。
【０１１９】
ここで、図１８に示すように、光線Ｒ’が、焦点ｆ_２周りに、ｘ軸の正方向とつくる角度をαと表す。また、焦点ｆ_１およびｆ_２、並びに光線Ｒ’が光線Ｒとして反射される楕円ミラー１１１上の点Ｋの３点を通る平面上において、楕円ミラー１１１の中心を原点とする２次元座標系を考え、その２次元座標系において、焦点ｆ_１とｆ_２の座標が、それぞれ（−ｃ，０）と（ｃ，０）であるとする。さらに、楕円ミラー１１１の長径と短径は、それぞれ２ａと２ｂであるとする。なお、図１８では、ｘ軸が長径方向に、ｙ軸が短径方向に、それぞれ一致している。
【０１２０】
この場合、図１８の楕円ミラー１１１（を表す楕円）は、次式で表すことができる。
【０１２１】
【数８】

・・・（８）
【０１２２】
また、焦点ｆ_１と楕円ミラー１１１上の任意の点Ｋ’とを結ぶ線分ｆ_１Ｋ’、およびその任意の点Ｋ’と焦点ｆ_２とを結ぶ線分Ｋ’ｆ_２については、その２つの線分ｆ_１Ｋ’とＫ’ｆ_２を加算した長さは、点Ｋ’に無関係に一定であるから、点Ｋ’として、楕円ミラー１１１とｘ軸との交点、および楕円ミラー１１１とｙ軸との交点を考えると、式（９）が成り立つ。
【０１２３】
【数９】

・・・（９）
【０１２４】
式（９）から、焦点ｆ_１およびｆ_２の座標を表すｃは、次式で表すことができる。
【０１２５】
【数１０】

・・・（１０）
【０１２６】
また、図１８の２次元座標系において、光線Ｒ’を表す直線は、角度αを用い、式（１１）で表すことができる。
【０１２７】
【数１１】

・・・（１１）
【０１２８】
光線Ｒ’が反射される点Ｋの座標は、式（１１）を、式（８）に代入することにより求めることができる。そこで、式（１１）を、式（８）に代入すると、式（１２）が得られる。
【０１２９】
【数１２】

・・・（１２）
【０１３０】
いま、ｔａｎαを、式（１３）のようにおく。
【０１３１】
【数１３】

・・・（１３）
【０１３２】
式（１３）にしたがい、式（１２）のｔａｎαを、ｔで置き換えることにより、式（１４）を得ることができる。
【０１３３】
【数１４】

・・・（１４）
【０１３４】
式（１４）を、ｘについて解くことにより、点Ｋのｘ座標を表す式（１５）を得ることができる。
【０１３５】
【数１５】

・・・（１５）
【０１３６】
一方、ｂ／ａを、式（１６）のようにおく。
【０１３７】
【数１６】

・・・（１６）
【０１３８】
式（１６）を用いて、式（１０）を変形すると、式（１７）が得られる。
【０１３９】
【数１７】

・・・（１７）
【０１４０】
いま、√（１−ｒ^２）を、式（１８）のようにおく。
【０１４１】
【数１８】

・・・（１８）
【０１４２】
式（１８）にしたがい、式（１７）の√（１−ｒ^２）を、ｒ’で置き換えることにより、式（１９）を得ることができる。
【０１４３】
【数１９】

・・・（１９）
【０１４４】
式（１９）のｃを、式（１５）に代入することにより、式（１５）のｘは、次式で表すことができる。
【０１４５】
【数２０】

・・・（２０）
【０１４６】
但し、式（２０）において、ｔ’は、次式で表される。
【０１４７】
【数２１】

・・・（２１）
【０１４８】
式（２０）を、式（１３）とともに、式（１１）に代入することにより、光線Ｒ’が反射される楕円ミラー１１１上の点Ｋのｙ座標は、式（２２）で表すことができる。
【０１４９】
【数２２】

・・・（２２）
【０１５０】
ところで、光線Ｒ’が楕円ミラー１１１上の点Ｋで反射された後の光線Ｒを表す直線は、角度βを用い、式（２３）で表される。
【０１５１】
【数２３】

・・・（２３）
【０１５２】
点Ｋは、光線Ｒ’を表す直線上の点である他、光線Ｒを表す直線上の点でもあるから、式（１９）のｃ、式（２０）のｘ、式（２２）のｙを、式（２３）に代入することにより、式（２４）を得ることができる。
【０１５３】
【数２４】

・・・（２４）
【０１５４】
ここで、ｔａｎ（π−β）は、式（２５）に示すように、−ｔａｎβに等しい。
【０１５５】
【数２５】

・・・（２５）
【０１５６】
式（２４）と（２５）から、ｔａｎβは、式（２６）で表すことができる。
【０１５７】
【数２６】

・・・（２６）
【０１５８】
式（２６）の右辺における分母と分子に、±ｔ’＋ｒ’を乗算して整理すると、式（２７）を得ることができる。
【０１５９】
【数２７】

・・・（２７）
【０１６０】
式（２７）に、式（１３）のｔ、式（１６）のｒ、式（１８）のｒ’、式（２１）のｔ’を代入することにより、式（２８）を得ることができる。
【０１６１】
【数２８】

・・・（２８）
【０１６２】
式（２８）から、光線Ｒの光線方向を表す角度βを、その光線Ｒが点Ｋで反射される前の光線Ｒ’の光線方向を表す角度αに変換することができる。
【０１６３】
なお、角度αは、光線Ｒ’が、焦点ｆ_２周りに、ｘ軸の正方向とつくる角度を表す。従って、いま、例えば、図１９に示すように、図１６および図１７に示した３次元座標系の原点を焦点ｆ_２の位置に移動した３次元座標系を考えた場合、光線Ｒ’の光線方向を特定するには、角度αの他、例えば、光線Ｒ’をｙｚ平面に射影した線と、ｙ軸とがつくる角度が必要となる。
【０１６４】
ところで、光線Ｒ’と、その光線Ｒ’が楕円ミラー１１１上の点Ｋで反射されることにより得られる光線Ｒとは、ｘ軸を含む同一平面上に存在する。従って、図１９において、光線Ｒ’をｙｚ平面に射影した線と、ｙ軸とがつくる角度は、図１８において、光線Ｒをｙｚ平面に射影した線と、ｙ軸とがつくる角度γに等しい。従って、光線Ｒ’をｙｚ平面に射影した線と、ｙ軸とがつくる角度としては、角度変換部１６２から光線方向算出部１６３に供給される光線Ｒの光線方向を表す角度γを、そのまま採用することができる。
【０１６５】
光線方向算出部１６３は、以上のようにして、角度変換部１６２から供給される光線Ｒの光線方向（β，γ）から、その光線Ｒが楕円ミラー１１１で反射される前の光線Ｒ’の光線方向を表す角度αおよびγを算出し、その光線方向（α，γ）を、後段の角度変換部１６４に供給する。
【０１６６】
角度変換部１６４は、光線方向算出部１６３から供給される光線方向（α，γ）の表現形式を変換する。
【０１６７】
即ち、光線方向算出部１６３では、光線方向を表す角度αおよびγが求められるが、角度αは、図１８で説明したように、光線Ｒ’が、焦点ｆ_２周りに、ｘ軸の正方向とつくる角度を表し、角度γは、図１９で説明したように、光線Ｒ’をｙｚ平面に射影した線と、ｙ軸とがつくる角度を表す。
【０１６８】
角度変換部１６４は、この光線Ｒ’の光線方向を表す角度αおよびγを、例えば、図２０に示す角度θ_２およびφ_２に変換する。
【０１６９】
即ち、図２０では、図１９における場合と同一の３次元座標系がとられており、角度変換部１６４は、光線Ｒ’の光線方向を表す角度として、光線Ｒ’とｘｙ平面との間の角度θ_２、および光線Ｒ’をｘｙ平面に射影した線とｘ軸との間の角度φ_２を求める。
【０１７０】
ここで、ｚ軸の正方向を北極として、図２０における３次元座標系の原点付近に地球を想定すると、角度θ_２とφ_２は、それぞれ緯度と経度と言うことができる。
【０１７１】
角度変換部１６４は、光線方向算出部１６３から供給される、光線Ｒ’の光線方向を表す角度αおよびγを、例えば、次のようにして、図２０に示す角度θ_２およびφ_２に変換する。
【０１７２】
即ち、いま、図１９の３次元座標系において、光線Ｒ’が反射する点Ｋの座標を、（Ｘ_２，Ｙ_２，Ｚ_２）と表すこととすると、この座標（Ｘ_２，Ｙ_２，Ｚ_２）は、光線方向を表す角度αとγを用い、図１９から、次式で求めることができる。
【０１７３】
【数２９】

・・・（２９）
【０１７４】
なお、ここでは、説明を簡単にするために、焦点ｆ_２から点Ｋまでの長さを１としてある。
【０１７５】
一方、図１９と同一の、図２０の３次元座標系において、点Ｋの座標（Ｘ_２，Ｙ_２，Ｚ_２）は、光線方向を表す角度θ_２とφ_２を用い、図２０から、次式で表すことができる。
【０１７６】
【数３０】

・・・（３０）
【０１７７】
式（３０）における点Ｋの座標（Ｘ_２，Ｙ_２，Ｚ_２）は、式（２９）により、角度αおよびγから求めることができ、さらに、式（３０）から、角度θ_２とφ_２は、式（３１）によって求められることになる。
【０１７８】
【数３１】

・・・（３１）
【０１７９】
角度変換部１６４は、以上のようにして、光線Ｒ’の光線方向を表す緯度と経度それぞれとしての角度θ_２とφ_２を求め、後段の画像情報生成部１６５に供給する。
【０１８０】
そして、画像情報生成部１６５は、角度変換部１６４で求められた光線方向（θ_２，φ_２）と、全方位画像取得部１０２としての魚眼カメラ１１２（図４）が出力する被写体の画像データを構成する各画素の画素値とを対応付けることにより、画像情報を生成し、画像記憶部１０３（図９）に供給する。
【０１８１】
即ち、光線方向（θ_２，φ_２）は、焦点ｆ_２側にある被写体から射出された光線Ｒ’の光線方向を表す。また、光線Ｒ’は、楕円ミラー１１１で反射されることにより、光線Ｒ（図１８）とされ、この光線Ｒは、魚眼カメラ１１２（図４）が配置されている焦点ｆ_１に向かい、魚眼カメラ１１２の受光面１１２Ａ（図１３）上の画素で受光される。そして、魚眼カメラ１１２は、光線Ｒを受光した画素について、その光線Ｒの光量に対応する画素値を出力する。画像情報生成部１６５では、その画素の画素値と、光線方向（θ_２，φ_２）とが対応付けられることにより、画像情報が生成される。
【０１８２】
以上のようにして、幾何処理部１４１（図９）では、魚眼カメラ１１２で被写体を撮像することにより得られる被写体の画像データの各画素の画素値に対応する光線Ｒが、被写体から楕円ミラー１１１に向かうときの光線方向（光線Ｒ’の光線方向）（θ_２，φ_２）と、その光線Ｒに対応する画素の画素値とを対応付けた画像情報が生成される。
【０１８３】
なお、上述の場合には、連続多視点光線取得光学系１０１（図９）が、楕円ミラー１１１（図４）で構成されるものとして、幾何処理部１４１の処理を説明したが、連続多視点光線取得光学系１０１が、放物面ミラー１２１Ａおよび１２１Ｂ（図５）で構成される場合であっても、上述の場合と同様の画像情報を生成することが可能である。
【０１８４】
次に、図２１は、図９の画像生成装置で得られた画像データを表示する画像表示装置の一実施の形態の構成例を示している。なお、図中、図６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２１の画像表示装置は、画像変換部１７１が新たに設けられているとともに、楕円ハーフミラー１３６およびスクリーン１３７に代えて、スクリーン１７２が設けられている他は、基本的に、図６における場合と同様に構成されている。
【０１８５】
但し、図２１の実施の形態では、画像記憶部１３１には、図９の画像生成装置における画像記憶部１０３に記憶された画像情報が記憶される。従って、再生部１３２は、画像記憶部１３１に記憶された画像情報を読み出し、画像変換部１７１に供給する。
【０１８６】
画像変換部１７１は、再生部１３２から供給される画像情報における画像データを変換し、魚眼プロジェクタ１３３に供給する。
【０１８７】
即ち、画像変換部１７１は、魚眼プロジェクタ１３３が画像情報における画像データを構成する各画素の画素値に対応して発する光線の光線方向が、画像情報において、その画素の画素値と対応付けられている光線方向に一致するように、画像情報における画像データを変換する。
【０１８８】
ここで、画像情報においては、上述したように、画素の画素値と、光線方向とが対応付けられているが、この画像情報における光線方向は、被写体から射出される光線Ｒ’の光線方向（θ_２，φ_２）であり、その光線方向（θ_２，φ_２）と対応付けられている画素の画素値は、光線Ｒ’が楕円ミラー１１１（図４）で反射されることにより光線Ｒとされ、その光線Ｒが魚眼カメラ１１２で受光されることにより得られる画素の画素値である。
【０１８９】
従って、画像情報における画素の画素値に対応する光量の光線を、その画素の画素値と対応付けられている光線方向（θ_２，φ_２）に射出した場合には、実際の被写体が光線を射出している状態と等価な状態を実現することができる。
【０１９０】
そこで、画像変換部１７１は、魚眼プロジェクタ１３３が画像情報における画像データを構成する各画素の画素値に対応して発する光線の光線方向が、画像情報において、その画素の画素値と対応付けられている光線方向（θ_２，φ_２）に一致するように、画像情報における画像データを変換し、魚眼プロジェクタ１３３に供給する。
【０１９１】
ここで、画像変換部１７１で変換が行われた後の、実際の被写体が射出している光線と等価な光線に対応する画像データを、等価画像データというものとすると、画像変換部１７１において、再生部１３２から供給される画像情報における画像データから等価画像データへの変換は、例えば、次のようにして行われる。
【０１９２】
即ち、魚眼プロジェクタ１３３の魚眼レンズ１３５は、上述したように、図４の魚眼カメラ１１２を構成する魚眼レンズ１１３と同一の光学特性を有しており、従って、等価画像データについて、図１４に示した２次元座標系と同一の２次元座標系を定義すると、その２次元座標系におけるある点Ｐの座標（ｘ，ｙ）と、魚眼レンズ１３５から射出される光線の光線方向（θ，φ）との間には、上述した式（１）の関係が成立する。
【０１９３】
また、式（１）における光線方向を表す角度θとφは、画像情報において各画素の画素値と対応付けられている光線方向を表す角度θ_２とφ_２にそれぞれ対応するものである。
【０１９４】
従って、式（１）における角度θとφに、画像情報における光線方向を表す角度θ_２とφ_２を代入して式（１）を計算することにより得られる座標（ｘ，ｙ）の位置の画素の画素値として、画像情報において光線方向（θ_２，φ_２）と対応付けられている画素の画素値を採用することにより、等価画像データが得られることになる。
【０１９５】
画像変換部１７１は、上述のようにして、画像情報における画像データを、等価画像データに変換して、魚眼プロジェクタ１３３に供給する。
【０１９６】
スクリーン１７２は、例えば、内部が空洞の半球状のスクリーンであり、光を散乱するすりガラスなどによって構成されている。スクリーン１７２は、魚眼プロジェクタ１３３が射出する光線を、その内部で受光して拡散反射（散乱）することにより、その表面に、対応する画像を表示する。即ち、スクリーン１７２では、いわゆるバックプロジェクションにより画像が表示される。なお、半球状のスクリーン１７２は、例えば、その中心が、魚眼プロジェクタ１３３の光学中心に一致する位置に配置されている。
【０１９７】
次に、図２２のフローチャートを参照して、図２１の画像表示装置の処理について説明する。
【０１９８】
まず最初に、ステップＳ１３１において、再生部１３２は、画像記憶部１３１から１フレームの画像情報を読み出し、画像変換部１７１に供給して、ステップＳ１３２に進む。ステップＳ１３２では、画像変換部１７１は、再生部１３２から供給される画像情報における画像データを、上述したようにして等価画像データに変換し、魚眼プロジェクタ１３３に供給して、ステップＳ１３３に進む。ステップＳ１３３では、魚眼プロジェクタ１３３が、画像変換部１７１からの画像情報における等価画像データに対応する光を発し、これにより、スクリーン１７２に、その光に対応する画像を表示させ、ステップＳ１３４に進む。
【０１９９】
即ち、ステップＳ１３３では、魚眼プロジェクタ１３３が、画像変換部１７１からの等価画像データを構成する各画素の画素値に対応する光線を発するが、この光線の光線方向は、画像情報において、その画素の画素値に対応付けられている光線方向（θ_２，φ_２）に一致している。そして、この光線は、スクリーン１７２の内部で受光され、これにより、対応する画像が表示される。即ち、図９の画像生成装置において撮像された被写体が発する光に対応する画像、つまり、被写体の画像が表示される。
【０２００】
ステップＳ１３４では、ユーザによって、図示せぬ操作部が、画像データの表示を終了するように操作（表示終了操作）されたか否かが判定される。
【０２０１】
ステップＳ１３４において、表示終了操作がされていないと判定された場合、ステップＳ１３１に戻る。そして、ステップＳ１３１において、再生部１３２が、次のフレームの画像データを、画像記憶部１３１から読み出し、以下、同様の処理が繰り返される。
【０２０２】
また、ステップＳ１３４において、表示終了操作がされたと判定された場合、処理を終了する。
【０２０３】
以上のように、図２１の画像表示装置では、画像変換部１７１において、画像情報における画像データが等価画像データに変換され、魚眼プロジェクタ１３３に供給される。そして、魚眼プロジェクタ１３３において、実際の被写体が発する光線と等価な光線が射出され、この光線は、すりガラスでなる半球状のスクリーン１７２で受光される。従って、半球状のスクリーン１７２では、図９の画像生成装置で撮像された被写体が実際にあるかのような画像が、その球面に表示される。即ち、スクリーン１７２の球面には、被写体の全方位の画像が表示される。
【０２０４】
その結果、ユーザは、スクリーン１７２の外側から、スクリーン１７２を見ることにより、その位置から実際の被写体を観察した場合と同様の画像を観察することができる。
【０２０５】
なお、図２１の画像表示装置において、画像記憶部１３１には、図９の画像生成装置で得られた画像情報における画像データを、あらかじめ等価画像データに変換したものを記憶させておくことができる。この場合、図２１の画像表示装置は、画像変換部１７１を設けずに構成することができる。
【０２０６】
次に、図２３は、図２の画像生成装置で得られた画像データを表示する画像表示装置の他の一実施の形態の構成例を示している。なお、図中、図６または図２１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２３の画像表示装置は、幾何処理部１８１が新たに設けられている他は、基本的に、図２１における場合と同様に構成されている。
【０２０７】
但し、図２３の実施の形態では、画像記憶部１３１には、図２の画像生成装置における画像記憶部１０３に記憶された画像データが記憶される。従って、再生部１３２は、画像記憶部１３１に記憶された画像データを読み出し、幾何処理部１８１に供給する。
【０２０８】
幾何処理部１８１は、図９における幾何処理部１４１と同様に、再生部１３２から供給される画像データについて、所定の幾何学的処理を行うことで、画像データを構成する各画素の画素値と、その画素の画素値に対応する光の光線方向とを対応付けた画像情報を生成し、画像変換部１７１に供給する。
【０２０９】
次に、図２４のフローチャートを参照して、図２３の画像表示装置の動作について説明する。
【０２１０】
まず最初に、ステップＳ１４１において、再生部１３２は、画像記憶部１３１から１フレームの画像データを読み出し、幾何処理部１８１に供給して、ステップＳ１４２に進む。ステップＳ１４２では、幾何処理部１８１が、再生部１３２から供給される画像データについて、図９における幾何処理部１４１と同様の処理を行うことで、再生部１３２から供給される画像データを構成する各画素の画素値と、光線方向（θ_２，φ_２）とを対応付けた画像情報を生成し、幾何変換部１７１に供給して、ステップＳ１４３に進む。
【０２１１】
ステップＳ１４３では、画像変換部１７１は、幾何変換部１８１から供給される画像情報における画像データを、図２３で説明したようにして等価画像データに変換し、魚眼プロジェクタ１３３に供給して、ステップＳ１４４に進む。ステップＳ１４４では、魚眼プロジェクタ１３３が、画像変換部１７１からの画像情報における等価画像データに対応する光を発し、これにより、図２２のステップＳ１３３における場合と同様に、スクリーン１７２に、その光に対応する画像を表示させ、ステップＳ１４５に進む。
【０２１２】
ステップＳ１４５では、ユーザによって、表示終了操作がされたか否かが判定され、表示終了操作がされていないと判定された場合、ステップＳ１４１に戻る。そして、ステップＳ１４１において、再生部１３２が、次のフレームの画像データを、画像記憶部１３１から読み出し、以下、同様の処理が繰り返される。
【０２１３】
また、ステップＳ１４５において、表示終了操作がされたと判定された場合、処理を終了する。
【０２１４】
図２３の画像表示装置においても、図２１の画像表示装置における場合と同様に、スクリーン１７２の球面には、被写体の全方位の画像が表示されるので、ユーザは、スクリーン１７２の外側から、スクリーン１７２を見ることにより、その位置から実際の被写体を観察した場合と同様の画像を観察することができる。
【０２１５】
なお、図２１や図２３の画像変換部１７１において、画像情報における画像データの、等価画像データへの変換は、画像情報における画像データを構成する画素に注目して行う第１の方法と、等価画像データを構成する画素に注目して行う第２の方法とがあるが、第２の方法を採用することが望ましい。
【０２１６】
即ち、画像情報における画像データを構成する画素に注目して、画像情報における画像データを等価画像データに変換する第１の方法では、画像情報におけるある光線方向（θ，φ）と対応付けられている、画素値がｖの画素Ｐ（ｖ，θ，φ）を注目画素として、図２５Ａに示すように、その注目画素Ｐ（ｖ，θ，φ）が、等価画像データ上の位置（ｘ，ｙ）の、画素値がｖの画素Ｑ’（ｖ，ｘ，ｙ）に変換される。
【０２１７】
ここで、注目画素Ｐ（ｖ，θ，φ）の光線方向（θ，φ）は、式（１）にしたがい、画素Ｑ’（ｖ，ｘ，ｙ）の位置（ｘ，ｙ）に変換される。
【０２１８】
第１の方法により得られる画素Ｑ’（ｖ，ｘ，ｙ）の位置（ｘ，ｙ）には、等価画像データの画素（魚眼プロジェクタ１３３の画素）が存在しないことがあるが、この場合、例えば、図２５Ａに示すように、画素Ｑ’（ｖ，ｘ，ｙ）の位置（ｘ，ｙ）に最も近い、等価画像データを構成する画素Ｑの画素値に、注目画素Ｐ（ｖ，θ，φ）の画素値ｖがセットされる。
【０２１９】
第１の方法によれば、等価画像データを構成する画素に注目していないため、等価画像データにおいて、画素値がセットされない画素が生じやすい。即ち、等価画像データにおいて、画素の欠落が生じやすい。
【０２２０】
一方、等価画像データを構成する画素に注目して、画像情報における画像データを等価画像データに変換する第２の方法では、等価画像データ上のある位置（ｘ，ｙ）にある画素Ｑ（ｖ，ｘ，ｙ）を注目画素として、図２５Ｂに示すように、画像情報における光線方向（θ，φ）と対応付けられている画素Ｐ’（ｖ，φ，θ）が、注目画素Ｑ（ｖ，ｘ，ｙ）に変換される。
【０２２１】
ここで、注目画素Ｑ（ｖ，ｘ，ｙ）の位置（ｘ，ｙ）は、式（１）にしたがい、画素Ｐ’（ｖ，θ，φ）に対応付けられている光線方向（θ，φ）に変換される。
【０２２２】
第２の方法による場合には、注目画素Ｑ（ｖ，ｘ，ｙ）の位置（ｘ，ｙ）に対応する光線方向（θ，φ）が、画像情報の中に存在しないことがあるが、この場合、例えば、図２５Ｂに示すように、画像情報において、角度θまたはφがわずかに異なる光線方向（θ^（１），φ^（１））に対応付けられている画素Ｐ^（１）（ｖ^（１），θ^（１），φ^（１））の画素値ｖ^（１）が、注目画素Ｐ（ｖ，θ，φ）の画素値ｖとしてセットされる。
【０２２３】
第２の方法によれば、等価画像データを構成する画素に注目しているため、等価画像データを構成するすべての画素に、画素値がセットされることになり、上述のような画素の欠落が生じることを防止することができる。
【０２２４】
次に、図２や図９の画像生成装置は、次のような「のぞけるテレビ」で用いられる画像データを生成するのに採用することができる。
【０２２５】
即ち、図２６は、「のぞけるテレビ」としての画像表示装置の一実施の形態の構成例を示している。
【０２２６】
コンピュータ１は、例えば、ワークステーションであり、画像データベース２に記憶された原画像データを、後述する中間データに変換し、中間データベース３に記憶させる。また、コンピュータ１は、位置センサとしてのレシーバ４およびトランシーバ５を制御し、レシーバ４の出力に基づいて、ユーザの位置（さらには、必要に応じて姿勢）を検出する。さらに、コンピュータ１は、ユーザの位置を、ユーザの視点の位置として設定し、中間データベース３に記憶された中間データを、そのユーザの視点から見た画像データ（以下、適宜、提示用画像データという）に変換する。そして、コンピュータ１は、提示用画像データを、ディスプレイ６に供給して表示させる。
【０２２７】
画像データベース２は、後述するように、カメラ等の撮像装置で撮像された実写の画像データとしての原画像データを記憶している。中間データベース３は、コンピュータ１から供給される、原画像データを変換した中間データを記憶する。
【０２２８】
レシーバ４は、ユーザに装着されており、トランスミッタ５が発生する磁界を検知し、その磁界の強度を、コンピュータ１に供給する。トランスミッタ５は、コンピュータ１の制御にしたがい、磁界を発生する。即ち、図２６の実施の形態では、レシーバ４およびトランスミッタ５は、位置センサとしての磁界センサを構成しており、レシーバ４が、トランスミッタが発生する磁界の強度を計測することにより、レシーバ４の位置、ひいては、ユーザの位置が検出されるようになっている。
【０２２９】
ここで、レシーバ４は、例えば、ユーザの頭部に装着される。また、ユーザが、例えば、ネクタイピンを着用していたり、または眼鏡をかけている場合には、レシーバ４は、そのネクタイピンや眼鏡のフレームに装着することができる。
【０２３０】
なお、位置センサである磁界センサとしては、例えば、ポヒマス（Ｐｏｌｈｅｍｕｓ）社の３次元位置センサなどを採用することができる。
【０２３１】
また、位置センサとしては、磁界センサの他、例えば、機械リンク式の位置計測手段（例えば、３次元ディジタイザなど）を採用することが可能である。さらに、位置センサとしては、例えば、ジョイスティックやトラックボールなどの、ユーザの位置の変化を入力することのできる手段を採用することも可能である。即ち、ここでは、位置センサは、実際のユーザの位置を検知する手段である必要はなく、いわば仮想的なユーザの位置を入力することができる手段であってもよい。
【０２３２】
ディスプレイ６は、例えば、ＣＲＴや液晶パネルなどで構成され、コンピュータ１から供給される提示用画像データを表示する。なお、ディスプレイ６としては、ＣＲＴや液晶パネル以外に、例えば、プロジェクタやＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ）、その他の画像を表示することのできる手段を採用することが可能である。
【０２３３】
次に、図２７は、図１のコンピュータ１のハードウェア構成例を示している。
【０２３４】
コンピュータ１には、後述する一連の処理を実行するプログラムがインストールされている。
【０２３５】
プログラムは、コンピュータ１に内蔵されている記録媒体としてのハードディスク１５やＲＯＭ１３に予め記録しておくことができる。
【０２３６】
あるいはまた、プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ　Ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２３７】
なお、プログラムは、上述したようなリムーバブル記録媒体２１からコンピュータ１にインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータ１に無線で転送したり、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、コンピュータ１に有線で転送し、コンピュータ１では、そのようにして転送されてくるプログラムを、通信部１８で受信し、内蔵するハードディスク１５にインストールすることができる。
【０２３８】
コンピュータ１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１２を内蔵している。ＣＰＵ１２には、バス１１を介して、入出力インタフェース２０が接続されており、ＣＰＵ１２は、入出力インタフェース２０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１７が操作等されることにより指令が入力されると、それにしたがって、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３に格納されているプログラムを実行する。あるいは、また、ＣＰＵ１２は、ハードディスク１５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１８で受信されてハードディスク１５にインストールされたプログラム、またはドライブ１９に装着されたリムーバブル記録媒体２１から読み出されてハードディスク１５にインストールされたプログラムを、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１４にロードして実行する。これにより、ＣＰＵ１２は、後述するフローチャートにしたがった処理、あるいは後述するブロック図の構成により行われる処理を行う。そして、ＣＰＵ１２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０を介して、スピーカ等で構成される出力部１６から出力、あるいは、通信部１８から送信、さらには、ハードディスク１５に記録等させる。
【０２３９】
なお、図２７の実施の形態では、入出力インタフェース２０に、画像データベース２、中間データベース３、レシーバ４、トランスミッタ５、およびディスプレイ６が接続されている。そして、ＣＰＵ１２は、画像データベース２に記憶された原画像データを、入出力インタフェース２０を介して読み出し、中間データに変換する。さらに、ＣＰＵ１２は、その中間データを、入出力インタフェース２０を介して、中間データベース３に記憶させる。また、ＣＰＵ１２は、入出力インタフェース２０を介して、トランスミッタ５を制御するとともに、レシーバ４の出力を受信し、ユーザの位置を検出する。さらに、ＣＰＵ１２は、検出したユーザの位置を、ユーザの視点として設定し、そのユーザの視点に対応して、中間データベース３に記憶された中間データを、提示用画像データに変換する。また、ＣＰＵ１２は、提示用画像データを、入出力インタフェース２０を介して、ディスプレイ６に供給して表示させる。
【０２４０】
ここで、本明細書において、コンピュータ１に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしも後述するフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２４１】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２４２】
以上のような図２７のコンピュータ１をベースとして構成される図２６の画像表示装置では、例えば、図２８Ａに示すように、現実世界において、ユーザが、ある被写体を観察する場合と同様の提示用画像データが表示される。
【０２４３】
即ち、現実世界において、ユーザが、ある被写体を観察する場合には、ユーザが、その視点を移動すると、ユーザは、その移動後の視点から見た被写体を観察することができる。具体的には、現実世界では、ユーザが、その視点を移動することによって、被写体の見える部分と見えない部分が変化する。
【０２４４】
図２６の画像表示装置においても、図２８Ｂに示すように、ユーザが、その視点を移動した場合、その視点に応じて、ディスプレイ６に表示される提示用画像データが、現実世界においてユーザの視覚に映る被写体が表示されたものとなるようになっている。即ち、図２６の画像表示装置においては、図２８Ｃに示すように、ユーザが視点を移動した場合に、その視点から被写体を見た場合の提示用画像データが表示されるようになっている。
【０２４５】
従って、図２６の画像表示装置では、ユーザが視点を移動すると、例えば、移動前の視点からでは見えなかった被写体の部分が見える状態となった提示用画像データが表示される。即ち、ユーザが、ディスプレイ６における提示用画像データに表示された被写体をのぞき込むように、視点を移動すると、現実世界において、その移動後の視点から被写体を見た場合に視覚に映るのと同様の提示用画像データ、つまり、ユーザが覗き込んだ被写体の部分が見える状態となった提示用画像データが表示される。このことから、図２６の画像表示装置は、いわば、「のぞけるテレビ（Ｔｅｌｅｖｉｓｉｏｎ）」ということができる。
【０２４６】
次に、図２９は、図２７のコンピュータ１がプログラムを実行することにより実現される画像処理装置の機能的構成例を示している。
【０２４７】
コンピュータ１（のＣＰＵ１２）がプログラムを実行することにより実現される画像処理装置は、データ変換部３０およびセンサ制御部３３で構成される。
【０２４８】
データ変換部３０は、画像データ変換部３１と中間データ変換部３２から構成され、画像データベース２に記憶された原画像データを撮像したときの光線の軌跡とその光線に対応する画素値である光線情報を用いて、その原画像データを、センサ制御部３３から供給されるユーザの視点から見える提示用画像データに変換し、ディスプレイ６に供給して表示させる。
【０２４９】
即ち、データ変換部３１は、画像データベース２から原画像データを読み出し、中間データに幾何変換する。さらに、データ変換部３１は、中間データを、中間データベース３に供給して記憶させる。
【０２５０】
中間データ変換部３２は、センサ制御部３３から供給されるユーザの視点に基づいて、中間データを、提示用画像データに変換し、即ち、ユーザの視点から見た画像データを再構成し、ディスプレイ６に供給して表示させる。
【０２５１】
センサ制御部３３は、位置センサとしてのレシーバ４およびトランスミッタ５を制御することにより、ユーザの視点を検出し、中間データ変換部３２に供給する。即ち、センサ制御部３３は、トランスミッタ５を制御することにより、磁界を発生させる。さらに、センサ制御部３３は、レシーバ４から供給される、トランスミッタ５が発生する磁界の検出結果に基づいて、ユーザの位置を検出して、その位置を、ユーザの視点として設定し、中間データ変換部３２に供給する。
【０２５２】
次に、図３０のフローチャートを参照して、図２９の画像処理装置（コンピュータ）１による画像処理について説明する。
【０２５３】
まず最初に、ステップＳ１において、データ変換部３１は、画像データベース２から原画像データを読み出し、中間データに変換する。さらに、ステップＳ１では、データ変換部３１は、中間データを、中間データベース３に供給して記憶させ、ステップＳ２に進む。
【０２５４】
ステップＳ２では、センサ制御部３３が、レシーバ４の出力から、ユーザの位置を検出し、さらに、そのユーザの位置を、ユーザの視点に設定して、中間データ変換部３２に供給する。
【０２５５】
そして、ステップＳ３に進み、中間データ変換部３２は、センサ制御部３３から供給されるユーザの視点に基づいて、中間データを、提示用画像データに変換し、ステップＳ４に進む。
【０２５６】
ステップＳ４では、中間データ変換部３２は、提示用画像データを、ディスプレイ６に供給して表示させ、ステップＳ５に進む。
【０２５７】
ステップＳ５では、例えば、ユーザが、画像処理を終了するように、入力部１７（図２７）を操作したかどうかを、ＣＰＵ１２（図２７）が判定する。ステップＳ５において、画像処理を終了するように、入力部１７が操作されていないと判定された場合、ステップＳ２に戻り、以下、同様の処理が繰り返される。
【０２５８】
また、ステップＳ５において、画像処理を終了するように、入力部１７が操作されたと判定された場合、処理を終了する。
【０２５９】
なお、図３０の画像処理が、過去に実行され、これにより、画像データベース２に記憶されている原画像データを変換した中間データが、中間データベース３に、既に記憶されている場合には、ステップＳ１の処理は、スキップすることができる。
【０２６０】
次に、図３１は、画像データベース２に記憶させる原画像データを生成（撮像）する画像生成装置の構成例を示している。
【０２６１】
カメラ４１は、図３１の実施の形態では、例えば、いわゆる全方位カメラで構成され、被写体を含む全方位の画像データ（全方位画像データ）を、コントローラ４７の制御にしたがって撮像し、バッファ４２に供給する。
【０２６２】
バッファ４２は、カメラ４１から供給される全方位画像データを一時記憶する。
【０２６３】
全方位画像変換部４３は、バッファ４２に記憶された全方位画像データを読み出し、後述する緯度経度表現の原画像データに変換して、バッファ４４に供給する。
【０２６４】
バッファ４４は、全方位画像変換部４３から供給される原画像データを一時記憶する。
【０２６５】
駆動機構４５は、駆動機構制御部４６の制御にしたがい、カメラ４１で撮像する撮像対象となっている被写体を移動する。ここで、駆動機構４５によって被写体が移動されることにより、相対的に、被写体に対するカメラ４１の視点（光学中心）が、複数の位置に変えられる。
【０２６６】
駆動機構制御部４６は、コントローラ４７の制御にしたがい、駆動機構を駆動する。
【０２６７】
コントローラ４７は、カメラ４１の撮像タイミングや、駆動機構制御部４６による駆動機構４５の駆動速度および駆動方向などを制御する。さらに、コントローラ４７は、カメラ４１の撮像タイミング（撮像時刻）や、駆動機構４５により移動される被写体の位置（必要に応じて、被写体の姿勢を含む）を表す情報などを、ｍｕｘ（マルチプレクサ）４８に供給する。
【０２６８】
マルチプレクサ４８は、バッファ４４に記憶された原画像データの各フレームに、そのフレームについてコントローラ４７が出力する情報を付加し、画像データベース２に供給して記憶させる。
【０２６９】
次に、図３２のフローチャートを参照して、図３１の画像生成装置による画像生成処理について説明する。
【０２７０】
まず最初に、コントローラ４７は、被写体を所定の位置に移動させ、その撮像を行うように、カメラ４１および駆動機構制御部４６を制御するとともに、その所定の位置と被写体の撮像タイミングを表す情報を、ｍｕｘ４８に供給する。
【０２７１】
ここで、コントローラ４７は、例えば、現実世界に、３次元座標系（以下、適宜、撮像時座標系という）をあらかじめ設定し、その撮像時座標系における被写体の座標を、被写体の位置を表す情報（以下、適宜、位置情報という）として出力する。また、コントローラ４７は、被写体のある姿勢（例えば、被写体の撮像開始時の姿勢）を基準姿勢として、その基準姿勢からの被写体の変化を表す角度も、位置情報に含めて出力する。さらに、コントローラ４７は、撮像時座標系における、カメラ４１の位置（例えば、レンズ中心の位置）を表す座標と、その光軸方向（視線の方向）を表す情報も、位置情報に含めて出力する。
【０２７２】
なお、後述する図３３で説明するモーションベース方式や、図３５で説明するターンテーブル方式によって、被写体を動かす場合には、カメラ４１のレンズ中心（光学中心）の位置および光軸方向は、変化せず、固定となるが、このカメラ４１のレンズ中心の位置および光軸方向は、コントローラ４７にあらかじめ設定されているものとする。
【０２７３】
また、上述の被写体の座標や姿勢は、実際には、被写体を移動させる駆動機構４５の状態から把握される。ここで、駆動機構４５の状態は、駆動機構４５を、駆動機構制御部４６を介して制御するコントローラ４７によって認識される。
【０２７４】
ステップＳ１１において、駆動機構制御部４６は、コントローラ４７の制御にしたがい、駆動機構４５を制御することにより、被写体の位置を変化させ、ステップＳ１２に進む。ステップＳ１２では、カメラ４１が、コントローラ４７の制御にしたがい、被写体を撮像し、その結果得られる全方位画像データを、バッファ４２に供給して記憶させる。
【０２７５】
そして、ステップＳ１３に進み、全方位画像変換部４３は、バッファ４２に記憶された全方位画像データを読み出し、緯度経度表現の原画像データに変換して、バッファ４４に供給する。その後、ステップＳ１４に進み、ｍｕｘ４８は、バッファ４４に記憶された原画像データのフレームに、コントローラ４７から供給される情報を付加し、画像データベース２に供給して記憶させる。
【０２７６】
ステップＳ１４の処理後は、ステップＳ１５に進み、コントローラ４７は、被写体を、あらかじめ設定したすべての位置に移動したかどうか（さらには、必要に応じて、あらかじめ設定したすべての姿勢をとらせたかどうか）を判定し、まだ、すべての位置に移動していないと判定した場合、被写体を、まだ移動させていない位置に移動させ、その撮像を行うように、カメラ４１および駆動機構制御部４６を制御するとともに、被写体の移動位置と被写体の撮像タイミングを表す情報その他を、ｍｕｘ４８に供給する。そして、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
【０２７７】
また、ステップＳ１５において、被写体を、あらかじめ設定したすべての位置に移動したと判定された場合、即ち、あらかじめ設定したすべての位置において、被写体の撮像が行われた場合、処理を終了する。
【０２７８】
次に、図３１の画像生成装置において、被写体を移動させる被写体の移動方式について説明する。
【０２７９】
図３１の画像生成装置では、被写体を移動させながら、その撮像が行われるが、この場合、その被写体の位置を精度良く制御する必要がある。そのような被写体の移動方式としては、例えば、モーションベース方式やターンテーブル方式がある。
【０２８０】
モーションベース方式では、図３３に示すように、駆動機構４５として、モーションベースが用いられる。そして、駆動機構４５としてのモーションベース上に被写体を載せ、例えば、被写体が併進運動するように、モーションベースが（カメラ４１に向かって）上下左右に移動される。
【０２８１】
即ち、モーションベース方式では、駆動機構４５としてのモーションベースを、例えば、図３４Ａに示すように、上下方向に移動しながら、徐々に、左から右方向に移動する。ここで、図３４Ｂは、実際のモーションベースの軌跡を表している。なお、図３４Ｂにおいて、モーションベースの軌跡とともに、ＴＣ：の後に続けて表示してある数字は、カメラ４１で撮像された画像のタイムコードを表す。従って、図３４Ｂでは、モーションベースの軌跡とタイムコードとが対応付けられているので、被写体の位置（姿勢）と、その位置にある被写体を撮像した画像データのフレームとの対応関係を認識することができる。
【０２８２】
図３３のモーションベース方式によれば、被写体とカメラ４１との間に想定することができる開曲面としての、例えば平面上の複数の点を視点として被写体を撮像したときの、被写体からの光線の軌跡とその光線に対応する画素値である光線情報を得ることができる。なお、被写体からの光線に対応する画素値は、カメラ４１が出力する画像データから得ることができ、被写体からの光線の軌跡は、カメラ４１と被写体の位置から得ることができる。
【０２８３】
ターンテーブル方式では、図３５に示すように、駆動機構４５として、ターンテーブル（台車）が用いられる。そして、駆動機構４５としてのターンテーブル上に被写体を載せ、ターンテーブルを非常に低速で上または下方向に移動させながら一定の角速度で回転させる。
【０２８４】
図３５のターンテーブル方式によれば、被写体を囲む開曲面としての、例えば円柱の側面上の複数の点を視点として被写体を撮像したときの光線情報を得ることができる。
【０２８５】
なお、図３１の画像生成装置においては、被写体を移動させることにより、その被写体を複数の視点それぞれから見た画像データの撮像を行うようにしたが、被写体を移動させるのではなく、カメラ４１を移動させることにより、被写体を複数の視点それぞれから見た画像データの撮像を行うようにすることも可能である。
【０２８６】
また、図３１の画像生成装置においては、１台のカメラ４１を用い、被写体を移動させることによって、被写体を複数の視点それぞれから見た画像データの撮像を行うようにしたが、その他、例えば、異なる位置に配置した複数台のカメラを用いて被写体を撮像することにより、被写体を複数の視点それぞれから見た画像データの撮像を行うことも可能である。
【０２８７】
次に、図３１の画像生成装置では、カメラ４１として、全方位カメラが採用されているが、この全方位カメラによる画像の撮像と、全方位画像変換部４３による全方位画像データの変換について説明する。
【０２８８】
図３６は、図３１のカメラ４１としての全方位カメラの光学系の構成例を示している。
【０２８９】
図３６の実施の形態では、カメラ４１は、集光部５２が、撮像部５３の上部に配置された支持体５１によって支持されることによって構成されており、集光部５２の周囲３６０度の方向を撮像することができるようになっている。
【０２９０】
支持体５１は、ガラスなどの反射率の低い透明材料からなり、ガラス面での光の屈折を最小化するために、入射光がガラス面と直交するように、集光部５２の後述する焦点を中心とした球面になっている。
【０２９１】
集光部５２は、例えば、双曲面形状のミラー（双曲面ミラー）で構成され、支持体５１を介して入射する周囲の光を、撮像部５３の方向に反射する。
【０２９２】
撮像部５３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）等の光電変換素子で構成され、そこに入射する光を電気信号としての画像データに変換する。この撮像部５３で得られる画像データが、カメラ４１の出力として、図３１のバッファ４２に供給される。
【０２９３】
ここで、図３６に示した全方位カメラの構成や集光の原理については、例えば、「移動ロボット用全方位視覚センサの開発」、自動化技術第２９巻第６号（１９９７年）（以下、適宜、文献１という）に開示されているため、ここでは、簡単に説明する。
【０２９４】
図３７は、図３６のカメラ４１によって撮像された全方位画像データの例を示している。
【０２９５】
全方位画像データは、中心点Ｃ１を中心とする２つの円の円周Ｆ１とＦ２によって区分される。なお、図３７では、円周Ｆ１の方が、円周Ｆ２よりも半径が大きいものとなっている。
【０２９６】
即ち、全方位画像データは、大きい円周Ｆ１の内側で、かつ小さい円周Ｆ２の外側になっている領域Ｒ１、大きい円周Ｆ１の外側の領域Ｒ２、小さい円周Ｒ２に囲まれた領域（内側の領域）Ｒ３から構成される。
【０２９７】
以上の３つの領域Ｒ１乃至Ｒ３のうち、領域Ｒ１においては、集光部５２で反射された、周囲からの光に対応する画像データが撮像されており、領域Ｒ２においては、集光部５２の外側の部分が撮像されている。また、領域Ｒ３には、撮像部５３自身が撮像されている。
【０２９８】
さらに、図３７の実施の形態では、領域Ｒ１には、複数の建物が撮像されているが、円周Ｆ１に近い方向に、建物の上部が撮像され、円周Ｆ２に近い方向に、建物の下部が撮像されている。
【０２９９】
次に、図３８を参照して、図３６の集光部５２を構成する双曲面について説明する。
【０３００】
集光部５２は、双曲面の一部により構成されており、双曲面の軸に対する垂直面により、双曲面を切断して得られた双曲面の凸型先頭部の凸状面に、鏡面を形成したものとなっている。
【０３０１】
集光部５２には、双曲面の１つである二葉双曲面を用いることができ、二葉双曲面は、図３８に示すように、双曲線を軸（図３８では、Ｚ軸）回りに回転して得られる曲面であり、Ｚ＞０の領域に存在する下に凸の双曲面Ｈ１と、Ｚ＜０の領域に存在する上に凸の双曲面Ｈ２から構成される。
【０３０２】
集光部５２には、二葉の双曲面Ｈ１とＨ２のうち、Ｚ＞０の領域にある双曲面Ｈ１を利用する。なお、以下、適宜、Ｚ軸を、双曲線の中心軸または単に軸ともいう。
【０３０３】
図３８に示したＸ，Ｙ，Ｚの３次元直交座標系において、二葉双曲面Ｈ１とＨ２は、式（３２）で示される。
【０３０４】
【数３２】

・・・（３２）
【０３０５】
ここで、式（３２）において、定数ａとｂは、双曲面Ｈ１およびＨ２の形状を定義する定数である。即ち、定数ｂは、原点Ｏから、双曲面Ｈ１（Ｈ２）とＺ軸との交点までの距離を表す。また、定数ａは、その交点を通る、ＸＹ平面と平行な平面と、双曲面Ｈ１（Ｈ２）の漸近面Ａ１との交線が描く円の半径を表す。
【０３０６】
さらに、式（３２）において、定数ｃは、双曲面Ｈ１およびＨ２の焦点の位置を定義する定数である。即ち、Ｚ軸上の＋ｃの位置（０，０，＋ｃ）が、双曲面Ｈ２の焦点ｆ１となり、Ｚ軸上の−ｃの位置（０，０，−ｃ）が、双曲面Ｈ１の焦点ｆ２となる。
【０３０７】
なお、定数ａ，ｂ，ｃは、次式で示される関係を有する。
【０３０８】
【数３３】

・・・（３３）
【０３０９】
集光部５２が、図３８で説明したような双曲面Ｈ１で構成されるとした場合、撮像部５３は、図３９に示すように、そのレンズの中心軸（光軸）がＺ軸に一致し、かつ、レンズ中心（カメラ４１のレンズ中心）が、双曲面Ｈ１の焦点ｆ２に一致するように配置される。
【０３１０】
次に、撮像部５３が出力する全方位画像データは、上述の図３７に示したようなものとなるが、いま、この全方位画像データについて、図４０に示すように、その左上の点を原点Ｏとするとともに、左から右方向にｘ軸をとり、上から下方向にｙ軸をとった２次元直交座標系を定義する。
【０３１１】
この場合、円周Ｆ１の円および円周Ｆ２の円の中心点Ｃ１の座標を（Ｘ_０、Ｙ_０）とするとともに、円周Ｆ１の円の半径をｒ_Ｆ１とし、円周Ｆ２の円の半径をｒ_Ｆ２とすると、円周Ｆ１の外側の領域Ｒ２を構成する点（ｘ，ｙ）は、式（３４）により表され、円周Ｆ２の内側の領域Ｒ３を構成する点（ｘ，ｙ）は、式（３５）により表される。
【０３１２】
【数３４】

・・・（３４）
【０３１３】
【数３５】

・・・（３５）
【０３１４】
図３１の全方位画像変換部４３は、全方位画像データを緯度経度表現の原画像データに変換する前に、式（３４）で表される領域Ｒ２を構成する画素値と、式（３５）で表される領域Ｒ３を構成する画素値を、画素値としては一般に取り得ない値（例えば、０）に変換する。
【０３１５】
ここで、この画素値の変換にあたっては、中心点Ｃ１の座標（Ｘ_０，Ｙ_０）、並びに半径ｒ_Ｆ１およびｒ_Ｆ２が必要となるが、これらの情報は、カメラ４１からバッファ４２を介して、全方位画像変換部４３に供給されるようになっている。
【０３１６】
なお、ここでは、説明を簡単にするため、露出時間や、絞り、ズームは、固定であるとする。
【０３１７】
また、図３７や図４０に示した領域Ｒ１の画像データである全方位画像データについては、所望の被写体が表示されている部分等の、全方位画像データの一部分だけが必要な場合があり、この場合、全方位画像データから、その必要な部分を切り出す必要があるが、この切り出しは、全方位画像変換部４３において行われるようになっている。即ち、全方位画像変換部４３は、図４１に示すように、所望の被写体を含む領域Ｒ１１であって、中心点Ｃ１を通る半径方向の２つの直線Ｌ_ｃ１とＬ_ｃ２に囲まれ、かつ中心点Ｃ１を中心とする２つの円の円周Ｆ_ｃ１とＦ_ｃ２に囲まれる略扇形の領域Ｒ１１の画像データを切り出す。
【０３１８】
次に、全方位画像データは、図３７や図４０に示したように、中心点Ｃ１に近づくほど狭まったものとなり、逆に、中心点Ｃ１から遠ざかるほど広がったものとなるような歪みを有する。このことは、全方位画像変換部４３が全方位画像データから切り出す略扇形の画像データについても同様であり、このようは歪みのある画像データは、図２９の画像処理装置において処理等するにあたって、歪みのないものに変換する必要がある。
【０３１９】
全方位カメラであるカメラ４１が出力する、上述のような全方位画像データの歪みは、中心点Ｃ１を通る円の円周方向の歪みと、半径方向の歪みとに分けて考えることができる。
【０３２０】
そこで、まず円周方向の歪みを考えてみると、図３７や図４０の全方位画像データの、中心点Ｃ１を中心とするある円の円周上においては、スケールが一定であり、従って、歪みはない。
【０３２１】
即ち、図４２は、Ｚ軸方向から見た集光部５２としての双曲面Ｈ１を示している。
【０３２２】
図４２では、被写体上のある点Ｐ（Ｘ，Ｙ，Ｚ）から、Ｚ軸に向かい、Ｘ軸（ＸＺ平面）と角度θをつくるように、光線ｒが入射している。この光線ｒは、双曲面Ｈ１で反射され、後述する図４３に図示してある撮像部５３の受光面（画像面）（仮想スクリーン）Ａ３上の点ｐ（ｘ，ｙ）に到達する。そして、この場合、点ｐ（ｘ，ｙ）は、Ｘ軸（ＸＺ平面）との間で、光線ｒがＸ軸との間でつくるのと同一の角度θをつくる。
【０３２３】
また、Ｚ軸に向かい、Ｘ軸と角度θ’をつくるように入射する光線ｒ’を考えた場合、この光線ｒ’も、双曲面Ｈ１で反射され、受光面（画像面）Ａ３上の点ｐ’（ｘ’，ｙ’）に到達する。そして、この場合も、点ｐ’（ｘ’，ｙ’）は、Ｘ軸との間で、光線ｒ’がＸ軸との間でつくるのと同一の角度θ’をつくる。
【０３２４】
また、光線ｒとｒ’の、Ｚ軸に対する仰角（後述する）が同一であれば、光線ｒおよびｒ’は、受光面Ａ３上の、位置は異なるが、Ｚ軸から同一の距離ｒ_ｐだけ離れた点で受光される。
【０３２５】
以上から、Ｚ軸に対する仰角が同一の複数の光線それぞれは、受光面Ａ３上の、Ｚ軸から同一の距離にある点であって、Ｘ軸との間で、光線とＸ軸とがつくるのと同一の角度をつくる点で受光される。
【０３２６】
従って、Ｚ軸に対する仰角が同一で、Ｘ軸との角度が等角度の複数の光線は、受光面Ａ３の、Ｚ軸を中心とする円周上に、等間隔で入射することになるから、全方位画像データにおいて、受光面Ａ３とＺ軸との交点にあたる中心点Ｃ１を中心とする円の円周方向には、歪みは生じない。
【０３２７】
一方、図３７や図４０の全方位画像データの、中心点Ｃ１を通る半径方向の直線上においては、中心点Ｃ１に近づくほど、スケールが小さくなり、中心点Ｃ１から離れるほど、スケールが大きくなることから、全方位画像データは、半径方向の歪みを有する。
【０３２８】
即ち、図４３は、Ｘ軸方向から見た集光部５２としての双曲面Ｈ１を示している。
【０３２９】
図４３において、Ｚ軸に対して仰角０度で、焦点ｆ１に向かって入射する光線ｒ１は、双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、撮像部５３の受光面（画像面）Ａ３で受光される。
【０３３０】
ここで、Ｚ軸に対する仰角とは、Ｚ軸上の焦点ｆ１を通り、ＸＹ面に平行な面と、焦点ｆ１に向かって入射する光線とがつくる角度を意味する。また、撮像部５３の受光面Ａ３は、カメラ４１の焦点距離をｆとすると、焦点ｆ２から、Ｚ軸に沿って、ｆだけ離れた原点Ｏ方向に位置する。
【０３３１】
Ｚ軸に対して仰角△ｄ度で、焦点ｆ１に向かって入射する光線ｒ２は、双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、受光面Ａ３で受光される。Ｚ軸に対して仰角２△ｄ度で、焦点ｆ１に向かって入射する光線ｒ３は、双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、受光面Ａ３で受光される。仰角が△ｄ度ずつ大きくなる光線ｒ４，ｒ５，ｒ６も、同様にして、受光面Ａ３で受光される。
【０３３２】
このように、仰角が△ｄ度ずつ異なる光線ｒ１乃至ｒ６それぞれが、受光面Ａ３で受光される点どうしの間隔は、図４３の拡大図に示すように、等間隔にはならず、Ｚ軸に近い点どうしの間隔ほど狭くなる（Ｚ軸から離れた点どうしの間隔ほど広くなる）。即ち、仰角が大きい光線どうしの間隔ほど狭くなる（仰角が小さい光線どうしの間隔ほど広くなる）。
【０３３３】
そして、仰角が等角度の光線について、受光面Ａ３上で受光される点どうしの間隔が、上述のように、等間隔にならないことから、全方位画像データには、半径方向の歪みが生じる。
【０３３４】
従って、全方位画像データの半径方向の歪みを除去するには、仰角が等角度の光線の、受光面Ａ３上での受光点どうしの間隔が、等間隔になるようにすれば良い。
【０３３５】
そこで、いま、図４４に示すように、被写体上のある点Ｐ（Ｘ，Ｙ，Ｚ）から、焦点ｆ１に向かって、仰角α度で入射する光線ｒを考える。
【０３３６】
この光線ｒは、図４３で説明した場合と同様に、集光部５２としての双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、受光面Ａ３で受光される。
【０３３７】
この場合において、焦点ｆ２に向かう光線ｒが、焦点ｆ２を通り、ＸＹ平面に平行な平面とつくる角度をγ度とする。さらに、Ｘ軸とＹ軸とで定義される２次元直交座標系において、光線ｒが受光面Ａ３で受光された点（受光点）ｐの座標を（ｘ，ｙ）で表し、その点ｐ（ｘ，ｙ）とＺ軸との距離をＲと表す。
【０３３８】
図４４における角度αは、式（３２）で表される双曲面Ｈ１において、光線ｒが反射される点の座標を求めることにより、次式で表すことができる。
【０３３９】
【数３６】

・・・（３６）
【０３４０】
式（３６）から、ｔａｎαは、次式で求めることができる。
【０３４１】
【数３７】

・・・（３７）
【０３４２】
ここで、ｃｏｓγを、次式のようにおく。
【０３４３】
【数３８】

・・・（３８）
【０３４４】
式（３７）に、式（３８）を代入すると、次式が求められる。
【０３４５】
【数３９】

・・・（３９）
【０３４６】
式（３９）を変形して、式（４０）が得られる。
【０３４７】
【数４０】

・・・（４０）
【０３４８】
一方、ＡとＢを、それぞれ式（４１）と（４２）に示すように定義する。
【０３４９】
【数４１】

・・・（４１）
【０３５０】
【数４２】

・・・（４２）
【０３５１】
式（４０）に、式（４１）および（４２）を代入することにより、式（４３）が求められる。
【０３５２】
【数４３】

・・・（４３）
【０３５３】
式（４３）は、次のような、Ｘについての２次方程式とすることができる。
【０３５４】
【数４４】

・・・（４４）
【０３５５】
式（４４）の２次方程式を解くと、次式が得られる。
【０３５６】
【数４５】

・・・（４５）
【０３５７】
従って、式（３８）より、角度γは、次式によって求めることができる。
【０３５８】
【数４６】

・・・（４６）
【０３５９】
但し、式（４６）において、Ｘは、式（４５）で定義されるものであり、また、式（４５）中のＡとＢは、それぞれ、式（４１）と（４２）で定義されるものである。
【０３６０】
また、図４４の点ｐの座標から、角度γは、次式で求めることができる。
【０３６１】
【数４７】

・・・（４７）
【０３６２】
一方、図４４におけるＺ軸と点ｐ（ｘ，ｙ）との距離Ｒは、√（ｘ^２＋ｙ^２）で表されるから、式（４７）は、次式のように変形することができる。
【０３６３】
【数４８】

・・・（４８）
【０３６４】
以上から、式（４６）によって、角度γを求め、その角度γを用いて、式（４８）を計算することにより、Ｚ軸に対して仰角α度で、焦点ｆ１に向かって入射する光線ｒが、受光面Ａ３において受光される点ｐ（ｘ，ｙ）のＺ軸からの距離Ｒを算出することができる。
【０３６５】
従って、Ｚ軸に対する仰角の所定の範囲（例えば、０度乃至８０度など）を等角度△ｄに分割し、各仰角△ｄ，２△ｄ，３△ｄ，・・・で入射する光線が、受光面Ａ３上で受光される各点ｐ１，ｐ２，ｐ３・・・について、Ｚ軸からの距離Ｒ_ｐ１，Ｒ_ｐ２，Ｐ_ｐ３・・・を求めておき、隣接する点どうしの距離の差｜Ｒ_ｐ１−Ｒ_ｐ２｜，｜Ｒ_ｐ２−Ｐ_ｐ３｜，・・・が、一定値になるように、カメラ４１が出力する全方位画像データを変換することにより、その半径方向の歪みを除去した全方位画像データを得ることができることになる。
【０３６６】
なお、この歪み除去のための全方位画像データの変換は、図３１の全方位画像変換部４３が行う。
【０３６７】
即ち、全方位画像変換部４３は、図４５に示すように、カメラ４１から、バッファ４２を介して、上述した半径方向の歪みがある全方位画像データとともに、中心点Ｃ１、円周Ｆ１の円の半径ｒ_Ｆ１、および円周Ｆ２の円の半径ｒ_Ｆ２を受信する。
【０３６８】
そして、全方位画像変換部４３は、中心点Ｃ１を中心とする半径ｒ_Ｆ１の円の円周Ｆ１と、中心点Ｃ１を中心とする半径ｒ_Ｆ２の円の円周Ｆ２とで囲まれる領域Ｒ１内において、中心点Ｃ１を中心とする、上述のＲ_ｐ１，Ｒ_ｐ２，Ｐ_ｐ３・・・を半径とする複数の同心円を描く。さらに、全方位画像変換部４３は、その複数の同心円の円周を等分する、中心点Ｃ１を通る複数の直線を描く。これにより、全方位画像変換部４３は、領域Ｒ１において、複数の同心円と、複数の直線とで形成される多数の交点を得る。
【０３６９】
ここで、上述の複数の同心円と、複数の直線とで形成される多数の交点を、以下、適宜、変換対象点という。
【０３７０】
上述したことから、変換対象点を、その隣接するものどうしが等間隔になるように配置することで、歪みのある全方位画像データを、その歪みを除去した画像データに変換することができる。
【０３７１】
そこで、いま、図４５における、図４１に示したのと同一の略扇形の領域Ｒ１１の画像データを、歪みのないものに変換することを考える。
【０３７２】
この領域Ｒ１１内には、図４６Ａに示すように、中心点Ｃ１を中心とする複数の同心円の円弧Ｆ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５，Ｆ１６それぞれと、中心点Ｃ１を通る複数の直線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６それぞれとの交点である多数の変換対象点が存在する。
【０３７３】
全方位画像変換部４３は、領域Ｒ１１内に存在する多数の変換対象点を、図４６Ｂに示すように、隣接するものどうしが等間隔になるように配置する。
【０３７４】
即ち、全方位画像変換部４３は、図４６Ａの円弧Ｆ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５，Ｆ１６それぞれに対応する、等間隔に配置された横方向の直線Ｌ２１，Ｌ２２，Ｌ２３，Ｌ２４，Ｌ２５，Ｌ２６と、図４６Ａの直線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６それぞれに対応する、等間隔に配置された縦方向の直線Ｌ１１，Ｌ１２，Ｌ１３，Ｌ１４，Ｌ１５，Ｌ１６を想定し、その横方向の直線Ｌ２１乃至Ｌ２６それぞれと、縦方向の直線Ｌ１１乃至Ｌ１６それぞれとの交点上に、対応する変換対象点を変換する（割り当てる）。
【０３７５】
これにより、例えば、図４６Ａにおいて、円弧Ｆ１４と、直線Ｌ５との交点である変換対象点ｐ１１は、図４６Ｂの、円弧Ｆ１４に対応する直線Ｌ２４と、直線Ｌ５に対応する直線Ｌ１５との交点ｐ１２に変換される。
【０３７６】
なお、カメラ４１を囲む、表面が鏡の球を考えると、全方位画像データには、その球面上に映る、球の外側の景色が表示される。従って、例えば、いま、そのカメラ４１を囲む球を地球に見立てると、全方位画像変換部４３において得られる画像データは、その縦軸と横軸が、それぞれ地球の緯度と経度に対応するものとなっている。そこで、本実施の形態では、全方位画像変換部４３が出力する、歪みが除去された全方位画像データを、緯度経度表現の画像データと呼んでいる。
【０３７７】
ところで、全方位画像変換部４３は、上述のように、変換対象点の位置を変換（変更）することによって、半径方向の歪みを有する画像データ（全方位画像データ）を、その歪みを除去した画像データ（緯度経度表現の画像データ）に変換するが、変換対象点は、上述したように、中心点Ｃ１を中心とする円と、中心点Ｃ１を通る直線との交点である。従って、変換対象点は、撮像部５３（図３６）の受光面Ａ３（図４３、図４４）を構成する画素の画素中心に一致するとは限らず、むしろ、一般には、一致しないことが多い。
【０３７８】
このように、変換対象点は、画素中心からずれているのが一般的であるから、全方位画像変換部４３において、変換対象点の位置を変換する前に、その変換対象点における画素値を求める必要がある。
【０３７９】
そこで、全方位画像変換部４３は、変換対象点における画素値を、例えば、次のようにして求めるようになっている。
【０３８０】
即ち、いま、図４６の変換対象点ｐ１１が、図４７に示すように、受光面Ａ３上の隣接する２×２の４画素Ｐ１，Ｐ２，Ｐ３，Ｐ４それぞれの画素中心Ｃ_Ｐ１，Ｃ_Ｐ２，Ｃ_Ｐ３，Ｃ_Ｐ４を頂点とする長方形（正方形）の範囲内にあるとする。なお、図４７の実施の形態においては、上下、または左右方向に隣接する画素中心どうしの距離が１であるとしてある。
【０３８１】
そして、変換対象点ｐ１１が、画素中心Ｃ_Ｐ１よりも距離αだけ右方向の、距離βだけ下方向の点である場合、全方位画像変換部４３は、例えば、次式で求められる画素値Ｓ_ｓを、変換対象点ｐ１１の画素値とする。
【０３８２】
【数４９】

・・・（４９）
【０３８３】
但し、式（４９）において、Ｓ_ａ，Ｓ_ｂ，Ｓ_ｃ，Ｓ_ｄは、画素Ｐ１，Ｐ２，Ｐ３，Ｐ４それぞれの画素値を表す。また、式（４９）において、αおよびβは、０以上１以下の範囲の値で、変換対象点ｐ１１の位置に対応するものである。
【０３８４】
なお、図３６の実施の形態では、集光部５２を双曲面ミラーで構成するようにしたが、集光部５２には、その他、例えば、球面ミラーなどを採用することも可能である。
【０３８５】
また、図３１の実施の形態では、カメラ４１として、全方位画像データを撮像することができる全方位カメラを採用したが、カメラ４１としては、その他、例えば、魚眼レンズを装着したビデオカメラや、一般的な（通常の）レンズのビデオカメラなどを採用することも可能である。
【０３８６】
ここで、一般的なレンズのビデオカメラでは、そのビデオカメラの光軸と直交し、その重心が光軸上にある長方形の平面であって、かつビデオカメラのレンズ中心と被写体との間にある平面を、仮想的なスクリーンである仮想スクリーンとすれば、被写体上の各点からレンズ中心に入射する光線が仮想スクリーン上に形成する画像データが撮像される。そして、その際、仮想スクリーンに入射する光線は、理想的には、何らの変換もされないから、２次元平面である仮想スクリーンには、３次元空間である現実世界の状況が、いわば忠実に映し出される。
【０３８７】
しかしながら、全方位カメラや魚眼レンズを装着したビデオカメラでは、全方位や広角の撮像が可能であるが、仮想スクリーンに入射する光線が、いわば非線形な変換を受けるため、即ち、例えば、全方位カメラについて言えば、図４３に示したように、光線が、双曲面ミラー（を表す双曲面Ｈ１）で反射されるため、仮想スクリーンには、現実世界の状況が歪んだ形で映し出された全方位画像データが形成される。
【０３８８】
そのため、図３１の全方位画像変換部４３では、そのような歪んだ全方位画像データが、一般的なレンズのカメラで撮像した場合と同様の緯度経度表現の画像データに変換されるが、いま、この緯度経度表現の画像データを、一般的なレンズのカメラで撮像したものとすると、この緯度経度表現の画像データには、全方位カメラの光軸を中心とするすべての経度方向が表示されているから、一般的なレンズのカメラについての仮想スクリーンは、左右方向（経度方向）に無限の長さを有するものとなる。
【０３８９】
また、全方位カメラでは、緯度方向については、理想的には、０度から−９０度の方向（図４３において、ＸＹ平面から下側の任意の点から原点に向かう方向）が撮像されるから、緯度経度表現の画像データを、一般的なレンズのカメラで撮像したものとした場合には、その仮想スクリーンは、下方向（マイナスの緯度方向）に無限の長さを有するものとなる。
【０３９０】
ところで、全方位カメラにおいて撮像された全方位画像データを変換した緯度経度表現の画像データは、図２６の画像表示装置において画像を表示するにあたって、そのすべてを必要としない。即ち、図２６の画像表示装置において画像を表示するにあたっては、緯度経度表現の画像データのうち、注目している被写体が映っている部分を含むある程度の範囲の画像データがあれば、基本的には、十分である。
【０３９１】
そこで、以下においては、一般的なレンズのカメラで被写体を撮像した場合に、その仮想スクリーンに映る範囲の画像データを、緯度経度表現の画像データから切り出し、その切り出された画像データを対象に処理が行われるものとする。ここで、この切り出しは、例えば、図３１の全方位画像変換部４３に行わせることが可能である。
【０３９２】
さらに、以下においては、カメラ４１の光軸やレンズ中心というときには、カメラ４１が一般的なレンズのカメラであるとして、その一般的なレンズのカメラの光軸やレンズ中心を意味するものとする。従って、上述したように、緯度経度表現の画像データから切り出された画像データについては、その画像データを、一般的なレンズのカメラで撮像したと仮定した場合の、そのカメラの光軸やレンズ中心が、カメラ４１の光軸やレンズ中心となる。
【０３９３】
次に、図２９の画像処理装置によれば、データ変換部３０において、画像データベース２に記憶された画像データが変換されることにより、図２８で説明したように、ユーザの視点から見た画像データ、即ち、現実世界においてユーザが見ることのできる被写体が表示された画像データが、ディスプレイ６に表示される。
【０３９４】
このように、データ変換部３０において、現実世界においてユーザが見ることのできる被写体が表示された画像データが得られるのは、次の原理による。
【０３９５】
即ち、画像データベース２には、図３１の画像生成装置が出力する、複数の視点（カメラ４１の視点）から撮像された緯度経度表現の原画像データが記憶されている。このことは、図４８に示すように、ある曲面Ω上の複数の点を視点として、被写体を撮像した画像データが、画像データベース２に記憶されていると見ることができる。
【０３９６】
いま、曲面Ωの、被写体と反対側のある位置に視点Ｐを設定し、その視点Ｐから被写体を見た場合の視覚に映る画像を考えてみる。
【０３９７】
なお、視点Ｐは、その視点Ｐと、被写体上の任意の点とを結ぶ直線が、曲面Ωと交わる位置にとるものとする。
【０３９８】
また、ここでは、説明を簡単にするために、曲面Ω上の任意の点を視点として、被写体を撮像した画像データが、画像データベース２に記憶されているものとするとともに、ユーザが被写体を観測しようとする空間（媒質）内において、光線は直進し、減衰しないものとする。
【０３９９】
視点Ｐから被写体を見たときの光線の軌跡（被写体から視点Ｐに入射する光線の軌跡）は、視点Ｐと被写体上の各点とを結ぶ直線によって表現することができる。この光線は、必ず、曲面Ωと交わるから、その光線と一致する軌跡の光線に対応する画素値（被写体Ｐから被写体を見た場合の光線情報と同一の光線情報）が、画像データベース２には、必ず存在する。
【０４００】
即ち、いま、視点Ｐと被写体上のある点Ｒ_ｉとを結ぶ直線Ｌ_ｉに注目し、その直線Ｌ_ｉと曲面Ωとの交点をＱ_ｉと表す。いまの場合、曲面Ω上の任意の点を視点として、被写体を撮像した画像データが、画像データベース２に記憶されているから、点Ｑ_ｉを視点として被写体を撮像した画像データは、画像データベース２に記憶されている。さらに、いまの場合、光線は直進し、かつ減衰しないから、被写体上の点Ｒ_ｉから、曲面Ω上の点Ｑ_ｉに入射する光線と、視点Ｐに入射する光線とは、同一である。従って、視点Ｐから被写体を見た場合、その被写体上の点Ｒ_ｉから視点Ｐに向かう光線に対応する画素値は、被写体上の点Ｒ_ｉから曲面Ω上の点Ｑ_ｉに向かう光線に対応する画素値に一致し、この点Ｒ_ｉから点Ｑ_ｉに向かう光線に対応する画素値は、画像データベース２に記憶されている。
【０４０１】
以上から、視点Ｐから、被写体上の点Ｒ_ｉを見たときの画素値は、曲面Ω上の点Ｑ_ｉを視点として撮像された画像データから得ることができる。
【０４０２】
視点Ｐから、被写体上の他の点を見たときの画素値も、同様に、曲面Ω上の点を視点として撮像された画像データから得ることができるから、結果として、曲面Ω上の任意の点を視点として撮像された画像データが存在すれば、その画像データを構成する画素の画素値から、視点Ｐと被写体とを結ぶ光線情報と同一の光線情報の光線に対応する画素値を選択することにより、視点Ｐから被写体を見た画像データが得られることになる。
【０４０３】
ここで、図４８に示した曲面Ωの形状は、特に限定されるものではなく、任意の形状のものを採用することができる。従って、曲面Ωは、図４９に示すように、平面であってもかまわない。
【０４０４】
また、曲面Ωは、開曲面であっても、閉曲面であってもかまわない。但し、曲面Ωが開曲面である場合には、視点Ｐは、上述したように、その視点Ｐと、被写体上の任意の点とを結ぶ直線が、曲面Ωと交わる位置にとる必要がある。
【０４０５】
さらに、曲面Ωが、被写体を囲む閉曲面である場合には、上述した原理から、次のことが言える。
【０４０６】
即ち、被写体を囲む閉曲面上のすべての点において、すべての方向の光線の光線情報（光線の軌跡とその光線に対応する画素値）が得られている場合には、その閉曲面の外側の任意の位置から見た画像を再構成することができる。
【０４０７】
なお、上述の場合には、曲面Ω上の任意の点を視点として、被写体を撮像した画像データが得られているものとしたが、被写体を撮像するときの視点は、曲面Ω上にない点であってもかまわない。即ち、例えば、曲面Ωが、被写体を囲む閉曲面であるとした場合、その閉曲面の外側の任意の位置から見た画像を再構成するには、原理的には、閉曲面上の任意の点において、すべての方向の光線情報が存在すればよく、その光線情報は、閉曲面上の点を視点として撮像された画像のものであっても、また、閉曲面上の点以外の点を視点として撮像された画像のものであっても良い。このことは、曲面Ωが開曲面であっても同様である。
【０４０８】
図２９のデータ変換部３０は、以上のように、画像データベース２に記憶された原画像データを撮像したときの、所定の曲面Ωを通る光線情報のうち、ユーザの視点に向かう光線情報を用いて、提示用画像データ（ユーザの視点から見た画像データ）を再構成することにより、原画像データを提示用画像データに変換する。
【０４０９】
即ち、図２９のデータ変換部３０は、ユーザの視点から見た画像が表示される仮想的なスクリーン（仮想スクリーン）を、ユーザの視点と被写体との間に設定し、ユーザの視点と、仮想スクリーンの画素とを結ぶ直線と同一軌跡の光線を検出する。さらに、データ変換部３０は、検出した光線に対応する画素値を、仮想スクリーンの画素の画素値とし、以上の処理を、仮想スクリーン上のすべての画素値について行うことにより、仮想スクリーン上に、ユーザの視点から見た画像データ（提示用画像データ）を再構成する。
【０４１０】
従って、例えば、いま、被写体を囲む閉曲面の外側の任意の位置を視点とした提示用画像データを再構成するとした場合には、その閉曲面上のすべての点における、すべての方向の光線情報があれば良い。なお、理論上は、閉曲面上の点も、その点における方向も無限に存在するから、実際には、閉曲面上の点も、その点における方向も有限個に制限されることになる。
【０４１１】
ところで、閉曲面上のすべての点における、すべての方向の光線情報を用いて、その閉曲面の外側の任意の位置を視点とした提示用画像データを再構成する場合、視点が閉曲面上にある場合には、その視点と一致する閉曲面上の点を通る光線の光線情報を、そのまま用いて、提示用画像データを再構成することができる。
【０４１２】
しかしながら、視点が閉曲面上にない場合には、その視点と、その視点について設定された仮想スクリーン上の画素とを結ぶ直線が、閉曲面と交わる点を、仮想スクリーン上のすべての画素について求める必要があり、この場合、例えば、画像処理装置としてのコンピュータ１（図２７）を構成するＣＰＵ１２の性能等によっては、提示用画像データを実時間で表示するのが困難となることがある。
【０４１３】
そこで、データ変換部３０は、画像データ変換部３１において、画像データベース２に記憶された原画像データを、その画素に入射した光線に対応する画素値からなる所定のフォーマットの画像データである中間データに変換しておき、中間データ変換部３２において、その中間データを、ユーザの視点から見た提示用画像データに変換するようにすることで、提示用画像データを実時間で表示することを可能としている。
【０４１４】
即ち、画像データ変換部３１は、原画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、原画像データの所定の画素の画素値とした画像データを、中間データとして生成する。
【０４１５】
従って、曲面Ωとして、例えば、図５０に示すように、閉曲面としての球面を考え、その球面上のある点Ｑにおける、ある方向の光線に注目した場合、画像データ変換部３１では、その注目光線ついて、所定の点としての、例えば、原点を通り、注目光線と直交する平面α上において、注目光線が通る点Ｐ_ｘが画素とされ、さらに、その画素値が、注目光線に対応する画素値に設定される。画像データ変換部３１では、球面上の点Ｑ以外の点における、同一方向の光線についても同様にして、平面α上に画素とその画素値が設定され、これにより、平面α上には、同一方向の光線に対応する画素値からなる画像データが形成される。
【０４１６】
ここで、いま、図５０において、球面の中心を原点とする３次元座標系を考えるとともに、球面上の点Ｑにおける、ある方向の光線と同一方向の、原点を通るベクトルを、ベクトルｖと表す。さらに、ベクトルｖを、３次元座標系におけるｘｙ平面に射影して得られるベクトルを、ベクトルｖ’と表すとともに、ベクトルｖとｖ’がつくる角度θを緯度と、ｘ軸とベクトルｖ’がつくる角度φを経度と、それぞれいうものとする。ベクトルｖの向きは、この緯度θと経度φで規定される。
【０４１７】
上述した平面αには、ベクトルｖと同一方向の光線に対応する画素値からなる画像データが形成されるが、この平面α上に形成される画像データは、ベクトルｖの方向の無限遠を視点として見た場合の画像データとなる。
【０４１８】
データ変換部３１は、各値の緯度θと経度φによって規定される向きのベクトルｖと直交し、原点を通る平面について、同様の画像データを構成し、中間データとして出力する。
【０４１９】
次に、図５１のフローチャートと、図５２を参照して、図２９の画像データ変換部３１が、図３０のステップＳ１で行う画像データ変換処理、即ち、原画像データを中間データに変換する処理について説明する。
【０４２０】
まず最初に、ステップＳ２１において、画像データ変換部３１は、画像データベース２に記憶された原画像データを撮像したときのカメラ４１の視点（以下、適宜、撮像ポイントともいう）から、注目撮像ポイントＰ_ｃとするものを選択する。
【０４２１】
即ち、図３１で説明した画像生成装置においては、カメラ４１を固定し、被写体を移動しながら、原画像データの撮像が行われるが、これは、相対的には、被写体を固定し、カメラ４１を移動しながら、原画像データの撮像が行われていることと等価である。即ち、原画像データは、カメラ４１の視点（撮像ポイント）を変えながら、被写体の撮像を行ったものであり、多数の撮像ポイントが存在する。ステップＳ２１では、その多数の撮像ポイントの中から、まだ注目撮像ポイントとしていない任意の撮像ポイントが、注目撮像ポイントＰ_ｃとして選択される。
【０４２２】
ここで、画像データベース２には、上述したように、原画像データの各フレームとともに、その原画像データを撮像したときの、被写体の位置、並びにカメラ４１の位置および光軸方向を表す情報も記憶される。データ変換部３１は、これらの情報に基づき、各フレームの原画像データについて、例えば、撮像時座標系における、被写体の位置（姿勢を含む）を固定した場合のカメラ４１の位置としての撮像ポイントを求め、その中から、まだ注目撮像ポイントとしていない撮像ポイントを、注目撮像ポイントＰ_ｃとして選択する。
【０４２３】
その後、ステップＳ２２に進み、画像データ変換部３１は、注目撮像ポイントＰ_ｃについて、仮想スクリーンを設定し、仮想スクリーン上の画素のうち、まだ注目画素として選択していない画素を、注目画素Ｐ_ｓとして選択する。
【０４２４】
即ち、画像データ変換部３１は、図５２に示すように、注目撮像ポイントＰ_ｃについて、その注目撮像ポイントから、カメラ４１の光軸方向に向かって、所定の距離Ｌだけ離れた位置に、カメラ４１の光軸と直交する長方形状の平面を、仮想スクリーンとして設定する。そして、画像データ変換部３１は、仮想スクリーン上の画素のうち、例えば、ラスタスキャン順で、まだ注目画素としていない画素を、注目画素Ｐ_ｓとして選択する。
【０４２５】
ここで、画像データ変換部３１では、注目撮像ポイントにおけるカメラ４１の光軸方向は、画像データベース２に記憶されている情報から認識される。
【０４２６】
また、仮想スクリーンの横と縦の画素数は、注目撮像ポイントＰ_ｓから撮像された原画像データのフレームの横と縦の画素数にそれぞれ一致し、仮想スクリーン上には、注目撮像ポイントＰ_ｓから撮像された原画像データが表示されているものと考える。
【０４２７】
ステップＳ２２の処理後は、ステップＳ２３に進み、画像データ変換部３１は、注目画素Ｐ_ｓを始点とし、注目撮像ポイントＰ_ｃを終点とするベクトルｖを求め、ステップＳ２４に進む。
【０４２８】
ここで、図５２の実施の形態では、ベクトルｖは、撮像時座標系において、ｘｚ平面内のベクトルであって、ｘｙ平面からｚ軸方向に角度θの方向を有するものとなっている。即ち、図５２の実施の形態では、ベクトルｖは、緯度がθで、経度が０度の方向のベクトルになっている。
【０４２９】
また、図５２の実施の形態では、注目撮像ポイントＰ_ｃにおけるカメラ４１の光軸が、撮像時座標系の原点を通るものとなっているが、カメラ４１の光軸は、必ずしも、撮像時座標系の原点を通る必要はない。
【０４３０】
さらに、図５２では、被写体を囲む曲面Ωとして、閉曲面である、原点を中心とする球面を示してある。
【０４３１】
ステップＳ２４では、画像データ変換部３１は、ベクトルｖと直交し、撮像時座標系上の所定の点としての、例えば原点を通る平面αを求め、ステップＳ２５に進む。
【０４３２】
ここで、平面αは、必ずしも、原点を通るものである必要はない。
【０４３３】
ステップＳ２５では、画像データ変換部３１は、ステップＳ２３で求めたベクトルｖの緯度θおよび経度φを求め、即ち、ベクトルｖとｘｙ平面とがつくる角度である緯度θ、およびベクトルｖとｘｚ平面とがつくる角度である経度φを求め、ステップＳ２６に進む。
【０４３４】
ここで、ベクトルｖの緯度θおよび経度φは、ステップＳ２４で求められた平面αの法線方向の緯度θおよび経度φということもできる。従って、所定の点としての原点を通る平面αは、その緯度θと経度φによって特定することができるので、この緯度θと経度φによって特定される平面αを、以下、適宜、平面Ｉ（θ，φ）とも記述する。
【０４３５】
なお、緯度θの符号については、ｚ軸の正側と負側を、それぞれ正または負とする。また、経度φの符号についても、ｙ軸の正側と負側を、それぞれ正または負とする。
【０４３６】
ステップＳ２６では、画像データ変換部３１は、図５２に示すように、注目撮像ポイントＰ_ｃと注目画素Ｐ_ｓとを結ぶ直線Ｌ_ｐを求める。さらに、ステップＳ２６では、画像データ変換部３１は、直線Ｌ_ｐと、ステップＳ２４で求めた平面α（Ｉ（θ，φ））との交点Ｐ_ｘを求め、ステップＳ２７に進み、その点Ｐ_ｘの、平面α上における座標（ｘ_α，ｙ_α）を求める。
【０４３７】
ここで、平面α上における点Ｐ_ｘの座標（ｘ_α，ｙ_α）は、次のようにして求めることができる。
【０４３８】
即ち、いま、平面α上に、２次元座標系を考え、そのｘ軸方向とｙ軸方向の、撮像時座標系における単位ベクトルを、それぞれｖ_ｘとｖ_ｙと表す。
【０４３９】
この場合、点Ｐ_ｘのｘ座標ｘ_αとｙ座標ｙ_αは、それぞれ、ｖ_ｘ・ＯＰ_ｓ（またはｖ_ｘ・ＯＰ_ｃ）と、ｖ_ｙ・ＯＰ_ｓ（またはｖ_ｙ・ＯＰ_ｃ）を計算することによって求めることができる。但し、・は、内積を表し、ＯＰ_ｓ（ＯＰ_ｃ）は、撮像時座標系の原点を始点とし、注目画素Ｐ_ｓ（注目撮像ポイントＰ_ｃ）を終点とするベクトルを表す。
【０４４０】
なお、単位ベクトルｖ_ｘは、例えば、式ｖ_ｘ・ｖ＝０を満たし、かつ式ｖ_ｘ・Ｚ_ｖ＝０を満たす、長さが１のベクトルである。また、単位ベクトルｖ_ｙは、例えば、式ｖ_ｙ・ｖ＝０を満たし、かつ式ｖ_ｙ・ｖ_ｘ＝０を満たす、長さが１のベクトルである。但し、ベクトルＺ_ｖは、撮像時座標系におけるｚ軸方向の単位ベクトル（＝（０，０，１））を表す。
【０４４１】
ここで、注目撮像ポイントＰ_ｃからのカメラ４１の光軸が、撮像時座標系の原点を通らない場合は、例えば、その光軸と平面αとの交点の、平面α上の２次元座標系の座標の分だけ、点Ｐ_ｘの座標（ｘ_α，ｙ_α）をオフセットする必要がある。
【０４４２】
即ち、上述のようにして、平面α上における点Ｐ_ｘの座標（ｘ_α，ｙ_α）を求めた場合、その点Ｐ_ｘの座標（ｘ_α，ｙ_α）は、注目撮像ポイントＰ_ｃからのカメラ４１の光軸と平面αとの交点を原点とするものであり、このため、光軸が平面αと交わる点が異なる撮像ポイントを通る同一方向の光線については、同一平面α上に、原点が異なる位置にある２次元座標系が定義されてしまうことになる。
【０４４３】
そこで、ここでは、同一平面α上に定義される２次元座標系の原点を、所定の点としての、例えば、撮像時座標系の原点に固定するため、注目撮像ポイントＰ_ｃからのカメラ４１の光軸が、撮像時座標系の原点を通らない場合は、画像データ変換部３１は、ステップＳ２７において、その光軸と平面αとの交点の、平面α上の２次元座標系の座標の分だけ、点Ｐ_ｘの座標をオフセットする。
【０４４４】
具体的には、画像データ変換部３１は、上述したようにして求められた点Ｐ_ｘの座標を、（ｘ_α’，ｙ_α’）と表すとともに、注目撮像ポイントＰ_ｃからのカメラ４１の光軸と平面αとの交点の、平面α上の２次元座標系の座標を、（ｘ_{α ０}，ｙ_{α ０}）と表すと、座標（ｘ_α’，ｙ_α’）と（ｘ_{α ０}，ｙ_{α ０}）とを加算した座標（ｘ_α’＋ｘ_{α ０}，ｙ_α’＋ｙ_{α ０}）を、平面α上における点Ｐ_ｘの座標（ｘ_α，ｙ_α）として、最終的に求める。
【０４４５】
その後、ステップＳ２８に進み、画像データ変換部３１は、仮想スクリーン上の原画像データを構成する画素のうちの注目画素Ｐ_ｓの画素値を、平面α上の点Ｐ_ｘの位置の画素の画素値とする。即ち、いま、平面α上の点Ｐ_ｘの位置の画素の画素値を、平面αを表すＩ（θ，φ）と、平面α上の点Ｐ_ｘの座標を表す（ｘ_α，ｙ_α）とによって、Ｉ（θ，φ）（ｘ_α，ｙ_α）と表すこととすると、ステップＳ２８において、画像データ変換部３１は、平面α上の点Ｐ_ｘの位置の画素の画素値Ｉ（θ，φ）（ｘ_α，ｙ_α）に、注目画素Ｐ_ｓの画素値を設定する。これにより、注目画素Ｐ_ｓは、ベクトルｖと直交する平面Ｉ（θ，φ）に正射影され、その正射影された平面Ｉ（θ，φ）の点Ｐ_ｘ（＝（ｘ_α，ｙ_α））の位置の画素の画素値Ｉ（θ，φ）（ｘ_α，ｙ_α）として、注目画素Ｐ_ｓの画素値が設定される。ここで、この注目画素Ｐ_ｓを平面Ｉ（θ，φ）に正射影した画素Ｐ_ｘの画素値Ｉ（θ，φ）（ｘ_α，ｙ_α）が、中間データである。
【０４４６】
そして、ステップＳ２９に進み、画像データ変換部３１は、注目撮像ポイントＰ_ｃに対して設定された仮想スクリーン上の（原画像データを構成する）すべての画素を注目画素としたかどうかを判定し、まだ、注目画素としていないものがあると判定した場合、ステップＳ２２に戻り、以下、同様の処理が繰り返される。
【０４４７】
また、ステップＳ２９において、仮想スクリーン上のすべての画素を注目画素としたと判定された場合、ステップＳ３０に進み、画像データ変換部３１は、画像データベース２に記憶された原画像データのすべてのフレームの撮像ポイントを、注目撮像ポイントとしたかどうかを判定する。
【０４４８】
ステップＳ３０において、画像データベース２に記憶された原画像データの各のフレームの撮像ポイントのうち、まだ、注目撮像ポイントとしていないものがあると判定された場合、ステップＳ２１に戻り、以下、同様の処理が繰り返される。
【０４４９】
また、ステップＳ３０において、画像データベース２に記憶された原画像データの各のフレームの撮像ポイントすべてを、注目撮像ポイントとしたと判定された場合、処理を終了する。
【０４５０】
以上の画像データ変換処理により、理想的には、各値の緯度θと経度φで定義される平面Ｉ（θ，φ）上に、その緯度θと経度φで規定される方向の無限遠から被写体を見た場合の画像データが生成され、この画像データが、中間データとして、中間データベース３に供給されて記憶される。
【０４５１】
図５３は、図５１の画像データ変換処理により生成される中間データのフォーマットを模式的に表している。
【０４５２】
図５１の画像データ変換処理によって生成される中間データは、平面Ｉ（θ，φ）上に、その緯度θと経度φで規定される方向の無限遠から見た被写体を映した画像データとなっており、従って、各値の緯度θおよび経度φごとに存在するので、図５３Ａに示すような、緯度θと経度φの値で区切られるテーブル（以下、適宜、緯度経度テーブルという）で表現することができる。
【０４５３】
ここで、図５３Ａの実施の形態では、緯度θが−９０度から９０度の範囲の１度刻みで、経度φが−１８０乃至１７９度の範囲の１度刻みで、それぞれ変化する平面Ｉ（θ，φ）ごとに、各緯度θと各経度φで規定される方向の無限遠から被写体を見た場合の画像データが、緯度経度テーブルの各マス目に登録されている。なお、緯度θや経度φを、何度刻みとするかは、特に限定されるものではない。また、緯度θや経度φの刻み幅は、一定であっても良いし、可変であっても良い。さらに、上述のように、緯度θと経度φが整数値のみを取り得る場合には、図５１の画像データ変換処理において緯度θと経度φを求める演算を行うにあたり、小数点以下は、例えば、切り上げ、切り捨て、または四捨五入される。
【０４５４】
図５３Ａの緯度経度テーブルの各マス目には、そのマス目に対応する緯度θと経度φで規定される方向の無限遠から被写体を見た場合の画像データ、即ち、平面Ｉ（θ，φ）上に正射影された原画像データの画素の画素値が、その平面Ｉ（θ，φ）上に定義された２次元座標系の各ｘ座標ｘ_αと各ｙ座標ｙ_αごとに登録されている。即ち、図５３Ａの緯度経度テーブルの各マス目には、例えば、図５３Ｂに示すように、平面Ｉ（θ，φ）上に定義された２次元座標系のｘ座標ｘ_αとｙ座標ｙ_αの値で区切られたテーブル（以下、適宜、画素値テーブルという）が登録されており、その画素値テーブルのマス目には、そのマス目に対応するｘ座標ｘ_αとｙ座標ｙ_αで規定される点に正射影された原画像データの画素の画素値ｐ（ｘ_α，ｙ_α）が登録されている。
【０４５５】
なお、図５３Ｂにおいて、ｘ_１とｙ_１は、原画像データの画素を平面Ｉ（θ，φ）上に正射影した点の、最小のｘ座標とｙ座標を、それぞれ表す。また、ｘ_２とｙ_２は、原画像データの画素を平面Ｉ（θ，φ）上に正射影した点の、最大のｘ座標とｙ座標を、それぞれ表す。さらに、図５３Ｂでは、ｘ座標およびｙ座標が１刻みになっているが、この刻み幅も、緯度θおよび経度φの刻み幅と同様に、特に限定されるものではない。
【０４５６】
ここで、図５４に、図５３Ａの緯度経度テーブルの各マス目に登録されている、無限遠から被写体を見た場合の画像データの模式図を示す。なお、図５４の実施の形態においては、被写体が、果物が入っている籠になっている。
【０４５７】
図５３Ａの緯度経度テーブルの各マス目に登録されている、無限遠から見た場合の画像データは、カメラで撮影された画像データそのものと同様の性質を有しており、従って、カメラで撮影された画像データに対して、その性質（例えば、相関性など）を利用して施される画像処理（例えば、エッジ強調やノイズ除去など）と同一の画像処理を施すことができる。
【０４５８】
ところで、図５３Ａの緯度経度テーブルの各マス目に登録されている画素値テーブル（図５３Ｂ）における画素値からなる画像データは、そのマス目に対応する緯度θと経度φで規定される平面Ｉ（θ，φ）上に正射影された原画像データの画素の画素値から構成されるため、画像データベース２に記憶される原画像データによっては、画素値が存在しない場合がある。
【０４５９】
即ち、平面Ｉ（θ，φ）上に原画像データの画素が正射影される範囲（以下、適宜、有効範囲という）は、図５３Ｂに示したように、ｘ座標がｘ_１乃至ｘ_２で、ｙ座標がｙ_１乃至ｙ_２で規定される範囲であり、この範囲における画素値が、画素値テーブルに登録されている。しかしながら、平面Ｉ（θ，φ）のすべての点（例えば、ｘ座標がｘ_１乃至ｘ_２の範囲の整数値で、ｙ座標がｙ_１乃至ｙ_２の範囲の整数値で、それぞれ表されるすべての点）に、原画像データの画素が正射影されるとは限らず、正射影される原画像データの画素が存在しない場合があり得る。
【０４６０】
従って、平面Ｉ（θ，φ）の有効範囲内の画素において、画素値が存在しない場合があり、この場合、その有効範囲の画像データ、即ち、平面Ｉ（θ，φ）に対応する画素値テーブル（図５３Ｂ）における画素値からなる画像データは、例えば、図５５Ａに示すように、その一部の画素の画素値が欠落したものとなる。
【０４６１】
ここで、図５５Ａの実施の形態においては、黒色で示す縞模様状に、画素値が欠落している。
【０４６２】
このように、平面Ｉ（θ，φ）の有効範囲、つまり画素値テーブルに、画素値の欠落が生じている場合には、その画素値を補間する画素値補間処理を行い、これにより、図５５Ａに示した画素値が欠落している画素値テーブル（に登録された画素値で構成される画像）を、図５５Ｂに示すような、画素値の欠落のない画素値テーブルに変換することができる。
【０４６３】
画素値テーブルについての画素値補間処理は、例えば、次のようにして行うことが可能である。
【０４６４】
即ち、例えば、いま、平面Ｉ（θ，φ）の有効範囲のある点（ｘ_α，ｙ_α）における画素値Ｉ（θ，φ）（ｘ_α，ｙ_α）が欠落している場合において、緯度または経度が僅かにずれた平面Ｉ（θ’，φ’）の有効範囲の、点（ｘ_α，ｙ_α）と同一座標の点における画素値Ｉ（θ’，φ’）（ｘ_α，ｙ_α）が存在するときには、欠落している画素値Ｉ（θ，φ）（ｘ_α，ｙ_α）は、平面Ｉ（θ’，φ’）上の画素値Ｉ（θ’，φ’）（ｘ_α，ｙ_α）で補間することができる。
【０４６５】
なお、θ’は、例えば、経度が整数値のみをとる場合には、θ±１やθ±２などとする。
【０４６６】
以上のような画素値補間処理は、図５１の画像データ変換処理が終了した後、例えば、画像データ変換部３１に行わせることができる。
【０４６７】
そこで、図５６のフローチャートを参照して、画像データ変換部３１が行う画素値補間処理について説明する。なお、ここでは、説明を簡単にするために、緯度θ、経度φ、平面Ｉ（θ，φ）の有効範囲のｘ座標ｘ_α、ｙ座標ｙ_αは、いずれも整数値のみをとるものとする。
【０４６８】
画素値補間処理では、まず最初に、ステップＳ４１において、画像データ変換部３１が、緯度を表す変数θと、経度を表す変数φに、初期値としての、例えば、その最小値である−９０度と−１８０度をそれぞれセットするとともに、平面Ｉ（θ，φ）のｘ座標を表す変数ｘ_αと、ｙ座標を表す変数ｙ_αに、初期値としての、例えば、その最小値であるｘ_１とｙ_１をそれぞれセットする。
【０４６９】
そして、ステップＳ４２に進み、画像データ変換部３１は、中間データＩ（θ，φ）（ｘ_α，ｙ_α）に、画素値がセットされているかどうかを判定する。
【０４７０】
ここで、中間データＩ（θ，φ）（ｘ_α，ｙ_α）に、画素値がセットされているかどうかの判定は、例えば、図５１の画像データ変換処理を行う前に、中間データとしての配列変数Ｉ（θ，φ）（ｘ_α，ｙ_α）に、画素値としては取り得ない値を、初期値として設定しておき、その値が、Ｉ（θ，φ）（ｘ_α，ｙ_α）にセットされているかどうかによって行う方法がある。
【０４７１】
ステップＳ４２において、中間データＩ（θ，φ）（ｘ_α，ｙ_α）に、画素値がセットされていると判定された場合、即ち、画素値が欠落していない場合、ステップＳ４３およびＳ４４をスキップして、ステップＳ４５に進む。
【０４７２】
また、ステップＳ４２において、中間データＩ（θ，φ）（ｘ_α，ｙ_α）に、画素値がセットされていないと判定された場合、即ち、画素値が欠落している場合、ステップＳ４３に進み、画像データ変換部３１は、θ−△θ＜θ’＜θ＋△θの範囲の緯度θ’と、φ−△φ＜φ’＜φ＋△φの範囲の経度φ’で規定される平面Ｉ（θ’，φ’）上の点（ｘ_α，ｙ_α）の中で、画素値がセットされているものを探索（検索）する。
【０４７３】
ここで、△θと△φとしては、例えば、いずれも、小さい正の整数値が採用される。
【０４７４】
その後、ステップＳ４４に進み、画像データ変換部３１は、ステップＳ４３で探索された画素値がセットされている中間データＩ（θ’，φ’）（ｘ_α，ｙ_α）の値（画素値）を、欠落している画素値である中間データＩ（θ，φ）（ｘ_α，ｙ_α）にセットして、ステップＳ４５に進む。
【０４７５】
ここで、ステップＳ４３において、θ−△θ＜θ’＜θ＋△θの範囲の緯度θ’と、φ−△φ＜φ’＜φ＋△φの範囲の経度φ’で規定される平面Ｉ（θ’，φ’）上の点（ｘ_α，ｙ_α）の中で、画素値がセットされているものが複数見つかった場合には、ステップＳ４４では、画像データ変換部３１は、その中から、例えば、緯度の差の絶対値｜θ−θ’｜と、経度の差の絶対値｜φ−φ’｜の自乗和が最も小さいものを選択し、その選択したＩ（θ’，φ’）（ｘ_α，ｙ_α）の値を、中間データＩ（θ，φ）（ｘ_α，ｙ_α）にセットする。
【０４７６】
また、ステップＳ４３において、θ−△θ＜θ’＜θ＋△θの範囲の緯度θ’と、φ−△φ＜φ’＜φ＋△φの範囲の経度φ’で規定される平面Ｉ（θ’，φ’）上の点（ｘ_α，ｙ_α）の中で、画素値がセットされているものが見つからなかった場合には、ステップＳ４４では、画像データ変換部３１は、Ｉ（θ，φ）上の画素値がセットされている点の中から、点（ｘ_α，ｙ_α）と最も近い点を検索し、その点にセットされている画素値を、点（ｘ_α，ｙ_α）にセットする。
【０４７７】
なお、画素値補間処理では、平面Ｉ（θ，φ）上の、画素値がセットされていない点（ｘ_α，ｙ_α）に、画素値が補間されるから、その処理が進行していくと、画素値が補間された点における画素値によって、さらに、他の点における画素値が補間されることが生じうる。これを防止するためには、画素値の補間がされた点に、例えば、補間がされたことを表す補間フラグを付加するようにし、補間フラグが付加されている点における画素値は、補間に用いないようにする（ステップＳ４３における探索の対象外とする）必要がある。
【０４７８】
ステップＳ４５では、画像データ変換部３１が、平面Ｉ（θ，φ）上のｙ座標を表す変数ｙ_αが、その最大値であるｙ_２に等しいかどうかを判定する。ステップＳ４５において、ｙ座標ｙ_αが、最大値ｙ_２に等しくないと判定された場合、ステップＳ４６に進み、画像データ変換部３１は、ｙ座標ｙ_αを１だけインクリメントして、ステップＳ４２に戻り、以下、同様の処理を繰り返す。
【０４７９】
また、ステップＳ４５において、ｙ座標ｙ_αが、最大値ｙ_２に等しいと判定された場合、ステップＳ４７に進み、画像データ変換部３１は、ｙ座標ｙ_αを、その最小値であるｙ_１にリセットして、ステップＳ４８に進む。
【０４８０】
ステップＳ４８では、画像データ変換部３１が、平面Ｉ（θ，φ）上のｘ座標を表す変数ｘ_αが、その最大値であるｘ_２に等しいかどうかを判定する。ステップＳ４８において、ｘ座標ｘ_αが、最大値ｘ_２に等しくないと判定された場合、ステップＳ４９に進み、画像データ変換部３１は、ｘ座標ｘ_αを１だけインクリメントして、ステップＳ４２に戻り、以下、同様の処理を繰り返す。
【０４８１】
また、ステップＳ４８において、ｘ座標ｘ_αが、最大値ｘ_２に等しいと判定された場合、ステップＳ５０に進み、画像データ変換部３１は、ｘ座標ｘ_αを、その最小値であるｘ_１にリセットして、ステップＳ５１に進む。
【０４８２】
ステップＳ５１では、画像データ変換部３１は、経度を表す変数φが、その最大値である１７９度に等しいかどうかを判定する。ステップＳ５１において、経度φが、最大値である１７９度に等しくないと判定された場合、ステップＳ５２に進み、画像データ変換部３１は、経度φを１だけインクリメントして、ステップＳ４２に戻り、以下、同様の処理を繰り返す。
【０４８３】
また、ステップＳ５１において、経度φが、最大値である１７９度に等しいと判定された場合、ステップＳ５３に進み、画像データ変換部３１は、経度φを、その最小値である−１８０度にリセットし、ステップＳ５４に進む。
【０４８４】
ステップＳ５４では、画像データ変換部３１は、緯度を表す変数θが、その最大値である９０度に等しいかどうかを判定する。ステップＳ５４において、緯度θが、最大値である９０度に等しくないと判定された場合、ステップＳ５５に進み、画像データ変換部３１は、緯度θを１だけインクリメントして、ステップＳ４２に戻り、以下、同様の処理を繰り返す。
【０４８５】
また、ステップＳ５４において、緯度θが、最大値である９０度に等しいと判定された場合、処理を終了する。
【０４８６】
なお、ここでは、画素値補間処理を、画像データ変換部３１に行わせるようにしたが、画素値補間処理は、その他、例えば、図５１の画像データ変換処理が終了した後に、中間データ変換部３２（図２９）に行わせるようにすることも可能である。
【０４８７】
ところで、図５６の画素値補間処理では、他の点にセットされている画素値を、画素値がセットされていない点の画素値として、そのまま用いて補間が行われることから、平面Ｉ（θ，φ）上に形成される画像データの真値が存在すると仮定すると、画素値補間処理によって得られる画像データは、基本的に、真値に一致しない。
【０４８８】
しかしながら、真値に一致しないまでも、真値に、より近い画像データが得られるのが望ましい。
【０４８９】
そこで、図５６の画素補間処理によって得られる画像データを、真値に、より近い画像データに変換する方法として、例えば、本件出願人が先に提案しているクラス分類適応処理がある。
【０４９０】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データが、その性質に基づいてクラス分けされ、各クラスごとに適応処理が施される。
【０４９１】
ここで、適応処理について、低画質の画像（以下、適宜、低画質画像という）を、高画質の画像（以下、適宜、高画質画像という）に変換する場合を例に説明する。
【０４９２】
なお、図５６の画素補間処理によって得られる画像データは、真値と比較して低画質な低画質画像と考えることができ、真値は、図５６の画素補間処理によって得られる画像データと比較して高画質な高画質画像と考えることができる。
【０４９３】
適応処理では、低画質画像を構成する画素（以下、適宜、低画質画素という）と、所定のタップ係数との線形結合により、その低画質画像の画質を向上させた高画質画像の画素の予測値を求めることで、その低画質画像の画質を高くした画像が得られる。
【０４９４】
具体的には、例えば、いま、ある高画質画像を教師データとするとともに、その高画質画像の画質を劣化させた低画質画像を生徒データとして、高画質画像を構成する画素（以下、適宜、高画質画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかの低画質画素の画素値ｘ_１，ｘ_２，・・・の集合と、所定のタップ係数ｗ_１，ｗ_２，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０４９５】
【数５０】

・・・（５０）
【０４９６】
式（５０）を一般化するために、タップ係数ｗ_ｊの集合でなる行列Ｗ、生徒データｘ_ｉｊの集合でなる行列Ｘ、および予測値Ｅ［ｙ_ｊ］の集合でなる行列Ｙ’を、次式のように定義する。
【０４９７】
【数５１】

・・・（５１）
【０４９８】
この場合、次のような観測方程式が成立する。
【０４９９】
【数５２】

・・・（５２）
【０５００】
ここで、行列Ｘの成分ｘ_ｉｊは、ｉ件目の生徒データの集合（ｉ件目の教師データｙ_ｉの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗ_ｊは、生徒データの集合の中のｊ番目の生徒データとの積が演算されるタップ係数を表す。また、ｙ_ｉは、ｉ件目の教師データを表し、従って、Ｅ［ｙ_ｉ］は、ｉ件目の教師データの予測値を表す。なお、式（５０）の左辺におけるｙは、行列Ｙの成分ｙ_ｉのサフィックスｉを省略したものであり、また、式（５０）の右辺におけるｘ_１，ｘ_２，・・・も、行列Ｘの成分ｘ_ｉｊのサフィックスｉを省略したものである。
【０５０１】
式（５２）の観測方程式に最小自乗法を適用して、高画質画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。そこで、まず、教師データとなる高画質画素の真の画素値ｙの集合でなる行列Ｙ、および高画質画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、次式で定義する。
【０５０２】
【数５３】

・・・（５３）
【０５０３】
この場合、式（５２）から、次のような残差方程式が成立する。
【０５０４】
【数５４】

・・・（５４）
【０５０５】
最小自乗法では、高画質画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗ_ｊを評価する尺度として、例えば、次式で表される自乗誤差が採用される。
【０５０６】
【数５５】

・・・（５５）
【０５０７】
高画質画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗ_ｊは、式（５５）の自乗誤差を最小にすることで求めることができる。
【０５０８】
従って、式（５５）の自乗誤差をタップ係数ｗ_ｊで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗ_ｊが、高画質画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０５０９】
【数５６】

・・・（５６）
【０５１０】
そこで、まず、式（５４）を、タップ係数ｗ_ｊで微分することにより、次式が成立する。
【０５１１】
【数５７】

・・・（５７）
【０５１２】
式（５６）および（５７）より、式（５８）が得られる。
【０５１３】
【数５８】

・・・（５８）
【０５１４】
さらに、式（５４）の残差方程式における生徒データｘ_ｉｊ、タップ係数ｗ_ｊ、教師データｙ_ｉ、および残差（誤差）ｅ_ｉの関係を考慮すると、式（５８）から、次のような正規方程式を得ることができる。
【０５１５】
【数５９】

・・・（５９）
【０５１６】
なお、いま、ベクトルＷを、式（５１）で示したように定義するとともに、行列（共分散行列）Ａおよびベクトルｖを、次式で定義する。
【０５１７】
【数６０】

・・・（６０）
【０５１８】
この場合、式（５９）に示した正規方程式は、次式で表される。
【０５１９】
【数６１】

・・・（６１）
【０５２０】
式（６１）と等価な式（５９）における各正規方程式は、生徒データｘ_ｉｊおよび教師データｙ_ｉのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗ_ｊの数Ｊと同じ数だけたてることができ、従って、式（６１）を、ベクトルＷについて解くことで（但し、式（６１）を解くには、式（６１）における行列Ａが正則である必要がある）、最適なタップ係数ｗ_ｊを求めることができる。なお、式（６１）を解くにあたっては、例えば、掃き出し法（Ｇａｕｓｓ−Ｊｏｒｄａｎの消去法）などを用いることが可能である。
【０５２１】
以上のように、生徒データと教師データを用いて、最適なタップ係数ｗ_ｊを求める学習をしておき、さらに、そのタップ係数ｗ_ｊを用い、式（５０）により、教師データｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【０５２２】
なお、適応処理は、低画質画像には含まれていないが、高画質画像に含まれる成分が再現される点で、単なる補間とは異なる。即ち、適応処理では、式（５０）だけを見る限りは、例えば、いわゆる補間フィルタを用いての単なる補間と同一に見えるが、その補間フィルタのタップ係数に相当するタップ係数ｗが、教師データｙを用いての、いわば学習により求められるため、高画質画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【０５２３】
次に、図５７は、上述のようなクラス分類適応処理を行うクラス分類適応処理装置の構成例を示している。
【０５２４】
なお、クラス分類適応処理装置は、例えば、図２９の画像データ変換部３１または中間データ変換部３２に内蔵させ、図５６の画素値補間処理が施された中間データを対象に、クラス分類適応処理を行わせるようにすることができる。また、クラス分類適応処理装置は、図２９の画像データ変換部３１および中間データ変換部３２とは別に設け、中間データベース３に記憶された、図５６の画素値補間処理が施された中間データを対象に、クラス分類適応処理を行わせるようにすることができる。
【０５２５】
バッファ６１には、低画質画像データとしての、画素値補間処理が施された中間データ（以下、適宜、補間中間データという）が供給され、バッファ６１は、そこに供給される低画質画像データを一時記憶する。
【０５２６】
予測タップ抽出部６２は、後述する積和演算部６６において求めようとする、中間データの真値としての高画質画像データの画素（高画質画素）を、順次、注目画素とし、さらに、その注目画素を予測するのに用いる低画質画像データの画素（低画質画素）を、バッファ６１から抽出し、予測タップとする。
【０５２７】
即ち、予測タップ抽出部６２は、例えば、注目画素に対応する位置に対して近い位置にある低画質画素の幾つかを、予測タップとして、バッファ６１から読み出す。
【０５２８】
そして、予測タップ抽出部６２は、注目画素について、予測タップを得ると、その注目画素についての予測タップを、積和演算部６６に供給する。
【０５２９】
ここで、予測タップ抽出部６２では、例えば、注目画素の平面に対応する低画質画像データとしての中間データの平面Ｉ（θ，φ）において、注目画素に対応する位置から近い位置にある低画質画素の幾つかを、予測タップとして抽出することができる。さらに、予測タップ抽出部６２では、平面Ｉ（θ，φ）から緯度θまたは経度φが僅かにずれた平面Ｉ（θ’，φ’）において、注目画素に対応する位置から近い位置にある低画質画素の幾つかも、予測タップとして抽出することが可能である。
【０５３０】
一方、クラスタップ抽出部６３は、注目画素を、幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いる低画質画素を、バッファ６１から抽出し、クラスタップとする。
【０５３１】
なお、ここでは、説明を簡単にするために、例えば、予測タップ抽出部６２で得られる予測タップと、クラスタップ抽出部６３で得られるクラスタップとは、同一のタップ構造を有するものとする。但し、予測タップとクラスタップとは、独立（別）のタップ構造を有するものとすることが可能である。
【０５３２】
クラスタップ抽出部６３において得られる、注目画素についてのクラスタップは、クラス分類部６４に供給される。クラス分類部６４は、クラスタップ抽出部６３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを出力する。
【０５３３】
ここで、クラス分類を行う方法としては、例えば、ＡＤＲＣ（Ａｄａｐｔｉｖｅ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ　Ｃｏｄｉｎｇ）等を採用することができる。
【０５３４】
ＡＤＲＣを用いる方法では、クラスタップを構成する画素の画素値が、ＡＤＲＣ処理され、その結果得られるＡＤＲＣコードにしたがって、注目画素のクラスが決定される。
【０５３５】
なお、ＫビットＡＤＲＣにおいては、例えば、クラスタップを構成する画素値の最大値ＭＡＸと最小値ＭＩＮが検出され、ＤＲ＝ＭＡＸ−ＭＩＮを、集合の局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、クラスタップを構成する画素がＫビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値ＭＩＮが減算され、その減算値がＤＲ／２^Ｋで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するＫビットの各画素の画素値を、所定の順番で並べたビット列が、ＡＤＲＣコードとして出力される。従って、クラスタップが、例えば、１ビットＡＤＲＣ処理された場合には、そのクラスタップを構成する各画素の画素値は、最小値ＭＩＮが減算された後に、最大値ＭＡＸと最小値ＭＩＮとの差分値で除算され、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ＡＤＲＣコードとして出力される。
【０５３６】
なお、クラス分類部６４には、例えば、クラスタップを構成する画素のレベル分布（画素値分布）のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラスタップが、Ｎ個の画素で構成され、各画素に、Ｋビットが割り当てられているとすると、クラス分類部６４が出力するクラスコードの場合の数は、（２^Ｎ）^Ｋ通りとなり、画素のビット数Ｋに指数的に比例した膨大な数となる。
【０５３７】
従って、クラス分類部６４においては、クラスタップの情報量を、上述のＡＤＲＣ処理や、あるいはベクトル量子化等によって圧縮してから、クラス分類を行うのが好ましい。
【０５３８】
クラス分類部６４が出力するクラスコードは、係数記憶部６５に、アドレスとして与えられる。
【０５３９】
係数記憶部６５は、後述する学習装置において学習処理が行われることにより得られるタップ係数を記憶しており、クラス分類部６４が出力するクラスコードに対応するアドレスに記憶されているタップ係数を、積和演算部６６に出力する。
【０５４０】
積和演算部６６は、予測タップ抽出部６２が出力する予測タップと、係数記憶部６５が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（５０）に示した線形予測演算（積和演算）を行い、その演算結果を、注目画素となっている高画質画素の画素値として出力する。
【０５４１】
次に、図５８は、図５７の係数記憶部６５に記憶させるタップ係数の学習処理を行う学習装置の一実施の形態の構成例を示している。
【０５４２】
教師データメモリ７１には、学習に用いられる学習用データが供給される。ここで、学習用データとしては、中間データの真値としての高画質画像データが用いられる。即ち、例えば、多数の視点から撮像した画像データを対象に、図５１の画像データ変換処理を行うことで、画素値の欠落のない中間データを生成し、これが、学習用データとして用いられる。
【０５４３】
教師データメモリ７１は、そこに供給される、学習用データとしての高画質画像データを、学習の教師となる教師データとして記憶する。そして、生徒データ生成部７２は、教師データメモリ７１に記憶された教師データから、学習の生徒となる生徒データを生成する。
【０５４４】
即ち、生徒データ生成部７２は、教師データメモリ７１に記憶された教師データとしての画像データの画素値を欠落させ、その画素値を欠落させた画像データに、図５６の画素値補間処理を施す。そして、生徒データ生成部７２は、その画素値補間処理によって得られる低画質の画像データを、生徒データとして、生徒データメモリ７３に供給して記憶させる。
【０５４５】
教師データメモリ７１に記憶された教師データについて、生徒データが求められ、生徒データメモリ７３に記憶されると、予測タップ抽出部７４は、教師データメモリ７１に記憶された教師データを、順次、注目画素とし、さらに、その注目画素を予測するのに用いる生徒データを、生徒データメモリ７３から抽出し、これにより、図５７の予測タップ抽出部６２が構成する予測タップと同一のタップ構造の予測タップを構成する。
【０５４６】
以上のようにして、予測タップ抽出部７４で得られた予測タップは、正規方程式加算部７７に供給される。
【０５４７】
一方、クラスタップ抽出部７５は、注目画素のクラス分類に用いる生徒データを、生徒データメモリ７３から抽出し、これにより、図５７のクラスタップ抽出部６３における場合と同一構造のクラスタップを構成して、クラス分類部７６に供給する。
【０５４８】
クラス分類部７６は、クラスタップ抽出部７５から、注目画素についてのクラスタップが供給されると、そのクラスタップを用い、図５７のクラス分類部６４と同一のクラス分類を行い、注目画素のクラスを表すクラスコードを、正規方程式加算部７７に供給する。
【０５４９】
正規方程式加算部７７は、教師データメモリ７１から、注目画素となっている教師データを読み出し、予測タップ抽出部７４からの予測タップを構成する生徒データ、および注目画素としての教師データを対象とした足し込みを、クラス分類部７６から供給されるクラスごとに行う。
【０５５０】
即ち、正規方程式加算部７７は、クラス分類部７６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）を用い、式（６０）の行列Ａにおける各コンポーネントとなっている、生徒データどうしの乗算（ｘ_ｉｎｘ_ｉｍ）と、サメーション（Σ）に相当する演算を行う。
【０５５１】
さらに、正規方程式加算部７７は、やはり、クラス分類部７６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）および注目画素（教師データ）を用い、式（６０）のベクトルｖにおける各コンポーネントとなっている、生徒データと教師データの乗算（ｘ_ｉｎｙ_ｉ）と、サメーション（Σ）に相当する演算を行う。
【０５５２】
正規方程式加算部７７は、以上の足し込みを、教師データメモリ７１に記憶された教師データすべてを注目画素として行い、これにより、各クラスについて、式（６１）に示した正規方程式をたてる。
【０５５３】
その後、タップ係数決定部７８は、正規方程式加算部７７においてクラスごとに生成された正規方程式を解くことにより、クラスごとに、タップ係数を求め、係数メモリ７９の、各クラスに対応するアドレスに供給する。これにより、係数メモリ７９では、タップ係数決定部７８から供給されるクラスごとのタップ係数が記憶される。
【０５５４】
なお、図５３の中間データのフォーマットは、原画像データを構成する画素に入射した光線の各方向（緯度θと経度φによって特定される各方向）について、その方向に垂直な平面の各点ごとに、その点に入射する、平面と垂直な方向の光線に対応する画素値を表したものであるが、中間データは、その他、例えば、図５９に示すフォーマットとすることも可能である。
【０５５５】
即ち、図５３のフォーマットでは、中間データが、緯度θと経度φの値で区切られる緯度経度テーブル（図５３Ａ）で表現され、さらに、その緯度経度テーブルの各マス目には、そのマス目に対応する緯度θと経度φで規定される平面Ｉ（θ，φ）上に正射影された原画像データの画素の画素値が、その平面Ｉ（θ，φ）上に定義された２次元座標系の各ｘ座標ｘ_αと各ｙ座標ｙ_αごとに配置された画素値テーブルが登録されている。
【０５５６】
これに対して、図５９の中間データのフォーマットは、原画像データを構成する画素に入射した光線の方向と垂直な平面の各点について、その平面と垂直な方向ごとに、その方向の光線に対応する画素値を表したものとなっている。
【０５５７】
即ち、図５９のフォーマットでは、中間データが、図５９Ａに示すように、原画像データの画素の画素値が正射影される平面Ｉ（θ，φ）上に定義された２次元座標系のｘ座標ｘ_αとｙ座標ｙ_αの値で区切られたテーブル（以下、適宜、座標テーブルという）で表現され、さらに、その座標テーブルの各マス目には、図５９Ｂに示すように、そのマス目に対応するｘ座標ｘ_αとｙ座標ｙ_αで規定される点に正射影された原画像データの画素値が、画素値が正射影される平面Ｉ（θ，φ）を規定する各緯度θと各経度φごとに配置されたテーブル（このテーブルも、以下、適宜、画素値テーブルという）が登録される。
【０５５８】
図５９のフォーマットでは、座標テーブルの１つのマス目に、緯度θと経度φが各値の平面における、同一座標の点に正射影された原画像データの画素値が配置されるため、図５６の画素値補間処理を行う場合に、図５３のフォーマットよりも有利である。
【０５５９】
即ち、図５６の画素値補間処理では、平面Ｉ（θ，φ）上のある点（ｘ_α，ｙ_α）における画素値Ｉ（θ，φ）（ｘ_α，ｙ_α）が欠落している場合には、緯度または経度が僅かにずれた平面Ｉ（θ’，φ’）上の、点（ｘ_α，ｙ_α）と同一座標の点における画素値Ｉ（θ’，φ’）（ｘ_α，ｙ_α）によって、欠落している画素値Ｉ（θ，φ）（ｘ_α，ｙ_α）が補間される。
【０５６０】
従って、図５３のフォーマットの中間データでは、画素値補間処理を行うのに、緯度経度テーブル（図５３Ａ）において、画素値の欠落がある平面Ｉ（θ，φ）に対応するマス目とは別のマス目である、平面Ｉ（θ’，φ’）に対応するマス目から、画素値Ｉ（θ’，φ’）（ｘ_α，ｙ_α）を読み出す必要がある。
【０５６１】
これに対して、図５９のフォーマットの中間データでは、座標テーブル（図５９Ａ）において、各緯度θと各経度φの平面Ｉ（θ，φ）上における同一座標（ｘ_α，ｙ_α）の点における画素値が、１つのマス目に登録されているから、画素値補間処理を行うにあたっては、画素値の欠落がある平面Ｉ（θ，φ）上の点（ｘ_α，ｙ_α）に対応するマス目と同一のマス目から、画素値Ｉ（θ’，φ’）（ｘ_α，ｙ_α）を読み出すことができる。即ち、この場合、座標テーブル（図５９Ａ）において、画素値の欠落がある平面Ｉ（θ，φ）上の点（ｘ_α，ｙ_α）に対応するマス目と別のマス目にアクセスする必要がない。
【０５６２】
次に、図６０のフローチャートと、図６１を参照して、図２９の中間データ変換部３２が、図３０のステップＳ３で行う中間データ変換処理、即ち、中間データを、ユーザの視点から見た画像データ（提示用画像データ）に変換する処理について説明する。
【０５６３】
まず最初に、ステップＳ６１において、中間データ変換部３２は、図３０のステップＳ２で設定されたユーザの視点Ｐ_ｃについて、図６１に示すように、そのユーザの視点Ｐ_ｃから、その視線方向に向かって、所定の距離Ｌだけ離れた位置に、ユーザの視線と直交する長方形状の平面を、仮想スクリーンとして設定する。
【０５６４】
ここで、本実施の形態では、説明を簡単にするため、図５１で説明した画像データ変換処理では、被写体のある点（例えば、重心など）を原点とする撮像時座標系を用いて処理が行われるものとする。
【０５６５】
さらに、中間データ変換処理では、ディスプレイ６（図２６）に、ユーザの視点に応じた画像を表示するための３次元座標系が想定される。いま、この３次元座標系を、表示時座標系というものとし、その原点は、例えば、ディスプレイ６の表示画面の中心点（表示画面の対角線の交点）にとられるものとする。そして、ユーザの視線は、視点Ｐ_ｃから、例えば、表示時座標系の原点に向かうものであるとする。
【０５６６】
その後、ステップＳ６２に進み、中間データ変換部３２は、ユーザの視点Ｐ_ｃについて設定した仮想スクリーン上の画素のうち、まだ注目画素として選択していない画素を、注目画素Ｐ_ｓとして選択する。
【０５６７】
ステップＳ６２の処理後は、ステップＳ６３に進み、中間データ変換部３２は、注目画素Ｐ_ｓを始点とし、ユーザの視点Ｐ_ｃを終点とするベクトルｖを求め、ステップＳ６４に進む。
【０５６８】
ここで、図６１の実施の形態では、ベクトルｖは、表示時座標系において、ｘｚ平面内のベクトルであって、ｘｙ平面からｚ軸方向に角度θの方向を有するものとなっている。即ち、図６１の実施の形態では、ベクトルｖは、緯度がθで、経度が０度の方向のベクトルになっている。
【０５６９】
また、図６１の実施の形態では、ユーザの視線方向が、上述したように、ユーザの視点Ｐ_ｃから表示時座標系の原点を通るものとなっているが、ユーザの視線方向は、必ずしも、表示時座標系の原点を通る必要はない。即ち、ユーザの視線方向は、何らかの方法で検出するようにすることができる。
【０５７０】
さらに、図６１では、図５２における場合と同様に、被写体を囲む曲面Ωとして、閉曲面である球面を示してある。
【０５７１】
ステップＳ６４では、中間データ変換部３２は、ベクトルｖと直交し、表示時座標系上の所定の点としての原点を通る平面αを求め、ステップＳ６５に進む。
【０５７２】
ここで、平面αは、必ずしも、原点を通るものである必要はない。
【０５７３】
ステップＳ６５では、中間データ変換部３２は、ステップＳ６３で求めたベクトルｖの緯度θおよび経度φを求め、即ち、ベクトルｖとｘｙ平面とがつくる角度である緯度θ、およびベクトルｖとｘｚ平面とがつくる角度である経度φを求め、ステップＳ６６に進む。
【０５７４】
ここで、ベクトルｖの緯度θおよび経度φは、ステップＳ６４で求められた平面αの法線方向の緯度θおよび経度φでもある。従って、所定の点としての原点を通る平面αは、その緯度θと経度φによって特定することができるので、この緯度θと経度φによって特定される平面αを、画像データ変換処理における場合と同様に、以下、適宜、平面Ｉ（θ，φ）とも記述する。
【０５７５】
ステップＳ６６では、中間データ変換部３２は、図６１に示すように、ユーザの視点Ｐ_ｃと注目画素Ｐ_ｓとを結ぶ直線Ｌ_ｐを求める。さらに、ステップＳ６６では、中間データ変換部３２は、直線Ｌ_ｐと、ステップＳ６４で求めた平面α（Ｉ（θ，φ））との交点Ｐ_ｘを求め、ステップＳ６７に進み、その点Ｐ_ｘの、平面α上の２次元座標系における座標（ｘ_α，ｙ_α）を求める。
【０５７６】
ここで、平面α上における点Ｐ_ｘの座標（ｘ_α，ｙ_α）は、図５１のステップＳ２７における場合と同様にして求めることができる。
【０５７７】
なお、ユーザの視点Ｐ_ｃからの視線方向が、表示時座標系の原点を通らない場合は、例えば、図５１のステップＳ２７で説明した場合と同様に、その視線方向の直線と平面αとの交点の、平面α上の２次元座標系の座標の分だけ、点Ｐ_ｘの座標（ｘ_α，ｙ_α）をオフセットする必要がある。
【０５７８】
その後、ステップＳ６８に進み、中間データ変換部３２は、仮想スクリーン上の注目画素Ｐ_ｓの画素値として、平面α上の点Ｐ_ｘの位置の画素の画素値をセットする。即ち、平面αが、緯度θと経度φで特定される平面Ｉ（θ，φ）であり、平面α上の点Ｐ_ｘの座標が、（ｘ_α，ｙ_α）である場合、中間データ変換部３２は、中間データベースから、画素値Ｉ（θ，φ）（ｘ_α，ｙ_α）を読み出し、その画素値（θ，φ）（ｘ_α，ｙ_α）を、注目画素Ｐ_ｓの画素値としてセットする。
【０５７９】
そして、ステップＳ６９に進み、中間データ変換部３２は、ユーザの視点Ｐ_ｃに対して設定された仮想スクリーン上のすべての画素を注目画素としたかどうかを判定し、まだ、注目画素としていないものがあると判定した場合、ステップＳ６２に戻り、以下、同様の処理が繰り返される。
【０５８０】
また、ステップＳ６９において、仮想スクリーン上のすべての画素を注目画素としたと判定された場合、即ち、仮想スクリーン上に、ユーザの視点から見た画像データ（提示用画像データ）が形成された場合、処理を終了する。
【０５８１】
以上のようにして得られた提示用画像データは、上述した図３０のステップＳ４において、ディスプレイ６に表示される。
【０５８２】
従って、ディスプレイ６には、ユーザの視点から被写体を見た場合の画像データが表示されることになる。
【０５８３】
以上のように、原画像データを撮像したときの光線の軌跡とその光線に対応する画素値である光線情報を用いて、原画像データを、ユーザの視点から見える提示用画像データに変換するようにしたので、実写の画像であっても、容易に、ユーザの視点に応じて変化させることができる。即ち、ユーザが、その視点を動かすことにより、ディスプレイ６には、ユーザが現実世界において被写体を観察している場合にユーザの視覚に映るのと同様の画像が表示される。
【０５８４】
具体的には、例えば、ユーザが、ディスプレイ６に向かって、左または右方向に視点を移動した場合には、ディスプレイ６には、ユーザが視点を動かす前に表示されていた被写体の左側面側または右側面側が見える画像が表示される。また、例えば、ユーザが、ディスプレイ６に対して近づく方向または遠ざかる方向に視点を移動した場合には、ディスプレイ６には、ユーザが視点を動かす前に表示されていた被写体が大きくまたは小さくなった画像が表示される。
【０５８５】
その結果、ユーザは、被写体としての物体が、実際に、その場にあるかのような感覚を享受することができる。
【０５８６】
また、図２９の画像処理装置１によれば、例えば、宇宙空間の画像データや、分子などのミクロの構造の画像データなどを、原画像データとして、図３０の画像処理を行うようにすることにより、通常は視認することができない構造を、ユーザが直感的に把握することができるインタフェースの提供が可能となる。
【０５８７】
さらに、図２９の画像処理装置１では、原画像データを、被写体を無限遠の各方向から観察した中間データに変換しておくようにしたので、その中間データから、ユーザの視点に応じた提示用画像データを、容易に生成することができる。
【０５８８】
なお、中間データは、別の被写体について、独立に生成しておき、図６０の中間データ変換処理において、提示用画像データを生成する過程で、その別々の被写体の画像を合成するようにすることも可能である。
【０５８９】
また、中間データについては、図６０の中間データ変換処理の対象とする前に、その一部を削除したり、その一部に、他の中間データ等の画像データを追加する等の編集を行うことが可能である。
【０５９０】
さらに、図２９の画像処理装置１において処理の対象とする画像は、実写の画像に限定されるものではない。
【０５９１】
また、上述の場合には、ユーザの位置を検出し、その位置に、ユーザの視点を設定して（ユーザの視点があるものとして）、図６０の中間データ変換処理を行うようにしたが、ユーザの視点は、図２９の画像処理装置１において、任意の位置に設定することが可能である。
【０５９２】
即ち、ユーザの視点は、例えば、表示時座標系の原点を中心とする、所定の平面上に描かれる所定の半径の円の円周上を、順次移動するように設定することが可能である。この場合、ディスプレイ６には、被写体の周囲をパン（ｐａｎ）しながら撮像を行ったかのような画像が表示されることになる。
【０５９３】
また、ユーザの視点は、例えば、表示時座標系の原点を通る直線上を、一方向に移動するように設定することが可能である。この場合、ディスプレイ６には、被写体に近づきながら、または被写体から遠ざかりながら撮像を行ったかのような画像が表示されることになる。
【０５９４】
さらに、上述の場合には、静止している被写体を、その被写体をモーションベース方式やターンテーブル方式で動かしながら、カメラ４１で撮像することにより、多数の視点から撮像した被写体の原画像データを得るようにしたが、図２９の画像処理装置１では、動きのある被写体の画像を対象に処理を行うことも可能である。但し、その場合、基本的には、例えば、複数のカメラによって、複数の視点から、動いている被写体の画像データを同時に撮像するとともに、その複数のカメラそれぞれによって撮像された各フレームの画像データについて、フレームごとに、中間データを生成し、さらに、表示時にも、フレームごとに、そのフレームの中間データを用いて、提示用画像データを生成する必要がある。
【０５９５】
上述した図２や図９の画像生成装置は、画像データベース２に記憶させる原画像データを生成（撮像）するのに利用することができる。
【０５９６】
即ち、図６２は、本発明を適用した画像生成装置のさらに他の一実施の形態の構成例を示している。なお、図中、図２、図９、または図３１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図６２の画像生成装置は、図２における連続多視点光線取得光学系１０１および全方位画像取得部１０２、図９における幾何処理部１４１、並びに図３１における駆動機構４５、駆動機構制御部４６、およびコントローラ４７に、撮像ポイント演算部１４２を新たに加えて構成されている。
【０５９７】
ここで、図６２の実施の形態では、連続多視点光線取得光学系１０１として、例えば、図４に示した楕円ミラー１１１が採用されているものとする。但し、図６２においては、連続多視点光線取得光学系１０１として、図５に示した放物面ミラー１２１Ａおよび１２１Ｂを採用することも可能である。
【０５９８】
また、図６２の実施の形態では、駆動機構４５として、例えば、図３３および図３４で説明したようなモーションベースを採用することができる。駆動機構４５として、モーションベースが採用される場合には、例えば、図６３に示すように、駆動機構４５としてのモーションベースは、連続多視点光線取得光学系１０１としての楕円ミラー１１１の焦点ｆ_２側に設置される。そして、駆動機構４５としてのモーションベース上に被写体を載せた状態で、その被写体が、例えば併進運動するように、モーションベースが上下左右前後に移動される。但し、図６２では、駆動機構４５として、図３５で説明したターンテーブルを採用することも可能である。
【０５９９】
撮像ポイント演算部１４２は、コントローラ４７から供給される情報に基づいて、幾何処理部１４１が出力する画像情報における画像データを撮像した撮像ポイントを演算する。
【０６００】
ここで、図６２の実施の形態では、コントローラ４７は、図３１で説明したように、駆動機構制御部４６による駆動機構４５の駆動速度および駆動方向などを制御するとともに、全方位画像取得部１０２としての魚眼カメラ１１２（図４）の撮像タイミングを制御する。
【０６０１】
コントローラ４７は、上述のように、魚眼カメラ１１２と駆動機構制御部４６を制御することで、駆動機構４５としてのモーションベースを移動させ、これにより、被写体の位置を移動させて、その移動後の位置における被写体の画像データを、魚眼カメラ１１２に撮像させる。このとき、コントローラ４７は、所定の位置（例えば、被写体の撮像開始時の被写体の位置）を基準位置として、その基準位置から、撮像時の被写体の位置までの移動量（基準位置に対する、撮像時の被写体の位置）（以下、適宜、被写体移動量という）を、撮像ポイント演算部１４２に供給する。
【０６０２】
撮像ポイント演算部１４２は、上述したようにしてコントローラ４７から供給される、撮像時の被写体移動量に基づいて、幾何処理部１４１が出力する画像情報における画像データを撮像した撮像ポイントを演算する。
【０６０３】
即ち、撮像ポイント演算部１４２は、例えば、図６４に示すように、楕円ミラー１１１と同一形状の曲面Ωを想定し、画像情報における光線方向の光線が、曲面Ωと交わる点を、その光線方向に対応付けられている画素の撮像ポイントとして求める。
【０６０４】
具体的には、図６４では、曲面Ω上の点Ｐ_１が、被写体が射出する光線Ｌ_１との交点となっているが、この場合、撮像ポイント演算部１４２では、画像情報において光線Ｌ_１の光線方向と対応付けられている画素については、その撮像ポイントとして、点Ｐ_１が求められる。また、図６４では、曲面Ω上の点Ｐ_２が、被写体が射出する光線Ｌ_２との交点となっているが、この場合、撮像ポイント演算部１４２では、画像情報において光線Ｌ_２の光線方向と対応付けられている画素については、その撮像ポイントとして、点Ｐ_２が求められる。
【０６０５】
撮像ポイント演算部１４２は、被写体が、例えば、基準位置にあるときは、上述したようにして、画像情報における画像データを構成する各画素について、撮像ポイントを求めるが、被写体が基準位置以外の位置にあるときは、次のようにして撮像ポイントを求める。
【０６０６】
即ち、例えば、被写体が、図６４に示した基準位置から、下方向に、距離Ｄだけ移動された状態において、図６５に示すように、曲面Ω上の点Ｐ_３と交わる光線Ｌ_３の光線方向を含む画像情報が、幾何処理部１４１から撮像ポイント演算部１４２に供給されたとする。
【０６０７】
この場合、コントローラ４７は、基準位置からの被写体の移動量を表す被写体移動量（ここでは、下方向に距離Ｄだけの移動量）を、撮像ポイント演算部１４２に供給する。撮像ポイント演算部１４２は、画像情報における光線方向の光線Ｌ_３を、コントローラ４７から供給される被写体移動量が表す移動方向とは逆向きに、その被写体移動量が表す大きさの移動量だけ移動する。即ち、例えば、いま、被写体移動量を、その左右、前後、上下それぞれの移動量△ｘ，△ｙ，△ｚによって、（△ｘ，△ｙ，△ｚ）と表すこととすると、撮像ポイント演算部１４２は、光線Ｌ_３を、（−△ｘ，−△ｙ，−△ｚ）だけ移動する。
【０６０８】
従って、例えば、図６５における光線Ｌ_３は、図６６に示すように、上方向に、距離Ｄだけ移動される。
【０６０９】
そして、いま、光線Ｌ_３を被写体移動量に対応して移動した後の光線を、光線Ｌ_３’と記述することとすると、撮像ポイント演算部１４２は、光線Ｌ_３’が、曲面Ωと交わる点を、画像情報において光線Ｌ_３の光線方向と対応付けられている画素の撮像ポイントとして求める。
【０６１０】
ここで、図６６においては、光線Ｌ_３’は、点Ｐ_２において、曲面Ωと交わっており、従って、図６７に示すように、画像情報において光線Ｌ_２の光線方向と対応付けられている画素と、光線Ｌ_３の光線方向と対応付けられている画素のいずれについても、点Ｐ_２が、その撮像ポイントとして求められる。
【０６１１】
撮像ポイント演算部１４２は、以上のようにして、幾何処理部１４１から供給される画像情報における画像データを構成する各画素について、撮像ポイントを求めると、画像情報における各画素（の画素値）に、その撮像ポイントを対応付けて出力する。
【０６１２】
従って、図６２の実施の形態では、全方位画像取得部１０２としての魚眼カメラ１１２（図４）で撮像された画像データを構成する各画素（の画素値）に、その画素に対応する光線の光線方向と、撮像ポイントとが対応付けられた画像情報が出力される。
【０６１３】
次に、図６８のフローチャートを参照して、図６２の画像生成装置の処理（画像生成処理）について説明する。
【０６１４】
まず最初に、コントローラ４７は、被写体を所定の位置に移動させ、その撮像を行うように、全方位画像取得部１０２としての魚眼カメラ１１２と、駆動機構制御部４６を制御するとともに、その所定の位置への、基準位置からの移動量である被写体移動量を、撮像ポイント演算部１４２に供給する。
【０６１５】
そして、ステップＳ１５１において、駆動機構制御部４６は、コントローラ４７の制御にしたがい、駆動機構４５を制御することにより、被写体の位置を変化させ、ステップＳ１５２に進む。ステップＳ１５２では、全方位画像取得部１０２としての魚眼カメラ１１２が、コントローラ４７の制御にしたがい、被写体を撮像し、その結果得られる１フレームの画像データを、幾何処理部１４１に供給する。
【０６１６】
そして、ステップＳ１５３に進み、幾何処理部１４１は、全方位画像取得部１０２としての魚眼カメラ１１２からの画像データを、その画像データを構成する画素の画素値と、対応する光線の光線方向とを対応付けた画像情報に変換し、撮像ポイント演算部１４２に供給して、ステップＳ１５４に進む。
【０６１７】
ステップＳ１５４では、撮像ポイント演算部１４２が、コントローラ４７から供給される被写体移動量に基づいて、幾何処理部１４１から供給される画像情報における画像データを構成する各画素の撮像ポイントを求める。さらに、ステップＳ１５４では、撮像ポイント演算部１４２は、画像情報における各画素に、その画素について求められた撮像ポイントを対応付け、画像データベース２に供給して記憶させる。
【０６１８】
ステップＳ１５４の処理後は、ステップＳ１５５に進み、コントローラ４７は、図３２のステップＳ１５における場合と同様に、被写体を、あらかじめ設定したすべての位置に移動したかどうかを判定し、まだ、すべての位置に移動していないと判定した場合、被写体を、まだ移動させていない位置に移動させ、その撮像を行うように、全方位画像取得部１０２としての魚眼カメラ１１２と、駆動機構制御部４６を制御するとともに、被写体の移動位置に対応する被写体移動量を、撮像ポイント演算部１４２に供給する。そして、ステップＳ１５１に戻り、以下、同様の処理が繰り返される。
【０６１９】
また、ステップＳ１５５において、被写体を、あらかじめ設定したすべての位置に移動したと判定された場合、即ち、あらかじめ設定したすべての位置において、被写体の撮像が行われた場合、処理を終了する。
【０６２０】
ところで、図６２の画像生成装置では、全方位画像取得部１０２としての魚眼カメラ１１２で撮像される画像データを構成する各画素（の画素値）に、その画素に対応する光線の光線方向（θ_２，φ_２）と、その画素の撮像ポイントが対応付けられた画像情報が得られるが、この画像情報は、図３１の画像生成装置が出力する情報と異なる。このため、図２９の画像データ変換部３１では、図６２の画像生成装置が出力する画像情報が、画像データベース２に記憶されている場合には、図５１で説明した画像データ変換処理と異なる画像データ変換処理が行われることにより、中間データが求められる。
【０６２１】
そこで、図６９のフローチャートを参照して、画像データベース２に、画像情報が記憶されている場合の、図２９の画像データ変換部３１による画像データ変換処理について説明する。
【０６２２】
まず最初に、ステップＳ１６１において、画像データ変換部３１は、画像データベース２に記憶された画像情報における撮像ポイントの中から、注目撮像ポイントＰ_ｃとするものを選択する。
【０６２３】
その後、ステップＳ１６２に進み、画像データ変換部３１は、画像情報における撮像ポイントの中から、注目撮像ポイントと一致するものを検索し、さらに、その検索した撮像ポイントに対応付けられている光線方向の中から、注目光線方向とするものを選択して、ステップＳ１６３に進む。
【０６２４】
ステップＳ１６３では、画像データ変換部３１は、注目光線方向を表す角度θ_２およびφ_２を認識して、ステップＳ１６４に進む。ステップＳ１６４では、画像データ変換部３１は、注目光線方向と直交し、撮像時座標系上の所定の点としての、例えば原点を通る平面αを求め、ステップＳ１６５に進む。なお、ここでは、撮像時座標系の原点は、例えば、図６２の画像生成装置における連続多視点光線取得光学系１０１としての楕円ミラー１１１（図６３）の焦点ｆ_２に一致するものとする。
【０６２５】
ここで、図６２の画像生成装置において得られる画像情報における各画素に対応付けられている光線方向（θ_２，φ_２）は、図２０で説明したように、被写体が射出する光線Ｒ’とｘｙ平面との間の角度θ_２、および光線Ｒ’をｘｙ平面に射影した線とｘ軸との間の角度φ_２を表すが、いま、光線Ｒ’の光線方向を表すベクトルをベクトルｖと表すと、角度θ_２は、図５１のステップＳ１６５で求められるベクトルｖの緯度θと等価であり、角度φ_２は、図５１のステップＳ１６５で求められるベクトルｖの経度φと等価である。
【０６２６】
従って、注目光線方向を表す角度θ_２とφ_２は、図５１における場合と同様に、ステップＳ１６４で求められた平面αの法線方向の緯度θ_２と経度φ_２ということができる。そして、所定の点としての原点を通る平面αは、その緯度θ_２と経度φ_２によって特定することができるので、この緯度θ_２と経度φ_２によって特定される平面は、やはり、図５１における場合と同様に、平面Ｉ（θ_２，φ_２）と記述することができる。
【０６２７】
ステップＳ１６５では、画像データ変換部３１は、注目撮像ポイントＰ_ｃを通り、注目光線方向に延びる直線、即ち、図５２に示した直線Ｌ_ｐと等価な直線を求める。さらに、ステップＳ１６５では、画像データ変換部３１は、その直線Ｌ_ｐに等価な直線と、ステップＳ１６４で求めた平面α（Ｉ（θ_２，φ_２））との交点Ｐ_ｘを求め、ステップＳ１６６に進み、その点Ｐ_ｘの、平面α上における座標（ｘ_α，ｙ_α）を、図５１のステップＳ２７における場合と同様にして求める。
【０６２８】
その後、ステップＳ１６７に進み、画像データ変換部３１は、画像情報において、注目光線方向に対応付けられている画素の画素値を、平面α上の点Ｐ_ｘの位置の画素の画素値とする。即ち、いま、図５１における場合と同様に、平面α上の点Ｐ_ｘの位置の画素の画素値を、平面αを表すＩ（θ_２，φ_２）と、平面α上の点Ｐ_ｘの座標を表す（ｘ_α，ｙ_α）とによって、Ｉ（θ_２，φ_２）（ｘ_α，ｙ_α）と表すこととすると、ステップＳ１６７において、画像データ変換部３１は、平面α上の点Ｐ_ｘの位置の画素の画素値Ｉ（θ_２，φ_２）（ｘ_α，ｙ_α）に、画像情報において、注目光線方向に対応付けられている画素の画素値を設定する。
【０６２９】
これにより、注目光線方向の光線に対応する画素は、その注目光線方向と直交する平面Ｉ（θ_２，φ_２）に正射影され、その正射影された平面Ｉ（θ_２，φ_２）の点Ｐ_ｘ（＝（ｘ_α，ｙ_α））の位置の画素の画素値としての中間データＩ（θ_２，φ_２）（ｘ_α，ｙ_α）として、注目光線方向の光線に対応する画素の画素値が設定される。
【０６３０】
そして、ステップＳ１６８に進み、画像データ変換部３１は、画像情報において、注目撮像ポイントＰ_ｃに対応付けられているすべての光線方向を、注目光線方向としたかどうかを判定し、まだ、注目光線方向としていないものがあると判定した場合、ステップＳ１６２に戻り、画像データ変換部３１は、注目撮像ポイントＰ_ｃに対応付けられている光線方向のうち、まだ注目光線方向としていないものの１つを、新たな注目光線方向として選択して、以下、同様の処理を繰り返す。
【０６３１】
また、ステップＳ１６８において、注目撮像ポイントＰ_ｃに対応付けられているすべての光線方向を、注目光線方向としたと判定された場合、ステップＳ１６９に進み、画像データ変換部３１は、画像データベース２に記憶された画像情報におけるすべての撮像ポイントを、注目撮像ポイントとしたかどうかを判定する。
【０６３２】
ステップＳ１６９において、画像データベース２に記憶された画像情報における撮像ポイントのうち、まだ注目撮像ポイントとしていないものがあると判定された場合、ステップＳ１６１に戻り、画像データ変換部３１は、画像情報における撮像ポイントのうち、まだ注目撮像ポイントとしていないものの１つを、新たな注目撮像ポイントとして選択して、以下、同様の処理を繰り返す。
【０６３３】
また、ステップＳ１６９において、画像データベース２に記憶された画像情報における撮像ポイントすべてを、注目撮像ポイントとしたと判定された場合、処理を終了する。
【０６３４】
以上の画像データ変換処理によれば、画像データベース２に記憶された画像情報における光線方向を表す各値の緯度θ_２と経度φ_２で定義される平面Ｉ（θ，φ）上に、その緯度θ_２と経度φ_２で規定される方向の無限遠から被写体を見た場合の画像データ、即ち、図５３に示したフォーマットの画像データが生成され、この画像データが、中間データとして、中間データベース３に供給されて記憶される。
【０６３５】
なお、画像データベース２に記憶された画像情報は、図５９に示したフォーマットの中間データに変換することも可能である。
【０６３６】
次に、幾何処理部１４１や画像変換部１７１その他のブロックにおける、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０６３７】
そこで、図７０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０６３８】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やＲＯＭ２０３に予め記録しておくことができる。
【０６３９】
あるいはまた、プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ　Ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０６４０】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０６４１】
コンピュータは、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２０２を内蔵している。ＣＰＵ２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、ＣＰＵ２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２０３に格納されているプログラムを実行する。あるいは、また、ＣＰＵ２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２０４にロードして実行する。これにより、ＣＰＵ２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、ＣＰＵ２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０６４２】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０６４３】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０６４４】
なお、本実施の形態では、連続多視点光線取得光学系１０１として、楕円ミラー１１１や、２つの放物面ミラー１２１Ａおよび１２１Ａを採用することとしたが、連続多視点光線取得光学系１０１としては、その他、例えば、２つの焦点を有し、一方の焦点から射出した光線を、他方の焦点に集める凹面鏡を採用することが可能である。
【０６４５】
さらに、本実施の形態では、全方位画像取得部１０２として、魚眼カメラ１１２を採用することとしたが、全方位画像取得部１０２としては、その他、例えば、多方位から入射する光をカメラの受光面に集光することのできる広角レンズを用いたカメラ（全方位カメラを含む）などを採用することが可能である。
【０６４６】
また、図２の画像生成装置と図６または図２３の画像表示装置、あるいは、図９の画像生成装置と図２１の画像表示装置は、一体的に構成することが可能である。
【０６４７】
【発明の効果】
以上の如く、本発明によれば、多数の視点から見た被写体の画像を、容易に撮像し、また表示することが可能となる。
【図面の簡単な説明】
【図１】従来の画像の撮像と表示方法を説明する図である。
【図２】本発明を適用した画像生成装置の第１実施の形態の構成例を示すブロック図である。
【図３】画像生成装置の処理を説明するフローチャートである。
【図４】連続多視点光線取得部１０１と全方位画像取得部１０２の第１の構成例を示す図である。
【図５】連続多視点光線取得部１０１と全方位画像取得部１０２の第２の構成例を示す図である。
【図６】本発明を適用した画像表示装置の第１実施の形態の構成例を示すブロック図である。
【図７】画像表示装置の処理を説明するフローチャートである。
【図８】本発明を適用した画像表示装置の第２実施の形態の構成例を示すブロック図である。
【図９】本発明を適用した画像生成装置の第２実施の形態の構成例を示すブロック図である。
【図１０】画像生成装置の処理を説明するフローチャートである。
【図１１】逆魚眼センサ１５０を示す図である。
【図１２】幾何処理部１４１の構成例を示すブロック図である。
【図１３】等距離射影方式の魚眼レンズを示す図である。
【図１４】魚眼レンズ１１３を有する魚眼カメラ１１２が出力する画像データを示す図である。
【図１５】光線Ｒの光線方向を表す角度θとφを示す図である。
【図１６】角度変換部１６２の処理を説明する図である。
【図１７】角度変換部１６２の処理を説明する図である。
【図１８】光線方向算出部１６３の処理を説明する図である。
【図１９】光線方向算出部１６３の処理を説明する図である。
【図２０】角度変換部１６４の処理を説明する図である。
【図２１】本発明を適用した画像表示装置の第３実施の形態の構成例を示すブロック図である。
【図２２】画像表示装置の処理を説明するフローチャートである。
【図２３】本発明を適用した画像表示装置の第４実施の形態の構成例を示すブロック図である。
【図２４】画像表示装置の処理を説明するフローチャートである。
【図２５】画像情報における画像データを等価画像データに変換する方法を説明する図である。
【図２６】のぞけるテレビとしての画像表示装置の構成例を示す図である。
【図２７】コンピュータ１のハードウェア構成例を示すブロック図である。
【図２８】画像表示装置による画像の表示方法を説明する図である。
【図２９】画像処理装置としてのコンピュータの機能的構成例を示すブロック図である。
【図３０】画像処理装置による画像処理を説明するフローチャートである。
【図３１】画像データベース２に記憶される画像データを撮像（生成）する画像生成装置の構成例を示すブロック図である。
【図３２】画像生成装置による画像生成処理を説明するフローチャートである。
【図３３】モーションベース方式を説明する図である。
【図３４】モーションベースの移動例を示す図である。
【図３５】ターンテーブル方式を説明する図である。
【図３６】カメラ４１の構成例を示す斜視図である。
【図３７】全方位画像データを示す図である。
【図３８】集光部５２を構成する双曲面を説明する図である。
【図３９】集光部５２と撮像部５３との位置関係を説明するための図である。
【図４０】全方位画像データを示す図である。
【図４１】全方位画像データからの切り出しを説明するための図である。
【図４２】円周方向の歪みを説明するための図である。
【図４３】半径方向の歪みを説明するための図である。
【図４４】半径方向の歪みを除去する方法を説明するための図である。
【図４５】半径方向の歪みを除去する方法を説明するための図である。
【図４６】半径方向の歪みを除去する全方位画像データの変換を説明するための図である。
【図４７】変換対象点における画素値の求め方を説明するための図である。
【図４８】原画像データを、ユーザから見た提示用画像データに変換する変換原理を説明する図である。
【図４９】原画像データを、ユーザから見た提示用画像データに変換する変換原理を説明する図である。
【図５０】原画像データを中間データに変換する方法を説明する図である。
【図５１】原画像データを中間データに変換する画像データ変換処理を説明するフローチャートである。
【図５２】原画像データを中間データに変換する画像データ変換処理を説明する図である。
【図５３】中間データのフォーマットを示す図である。
【図５４】中間データとしての画像データを示す図である。
【図５５】中間データとしての画像データの補間を説明する図である。
【図５６】中間データとしての画像データを補間する画素値補間処理を説明するフローチャートである。
【図５７】クラス分類適応処理を行うクラス分類適応処理装置の構成例を示すブロック図である。
【図５８】クラス分類適応処理に用いられるタップ係数を学習する学習装置の構成例を示すブロック図である。
【図５９】中間データの他のフォーマットを示す図である。
【図６０】中間データを提示用画像データに変換する中間データ変換処理を説明するフローチャートである。
【図６１】中間データを提示用画像データに変換する中間データ変換処理を説明する図である。
【図６２】本発明を適用した画像生成装置の第３実施の形態の構成例を示すブロック図である。
【図６３】駆動機構４５としてのモーションベースの配置位置を説明する図である。
【図６４】撮像ポイント演算部１４２の処理を説明するための図である。
【図６５】撮像ポイント演算部１４２の処理を説明するための図である。
【図６６】撮像ポイント演算部１４２の処理を説明するための図である。
【図６７】撮像ポイント演算部１４２の処理を説明するための図である。
【図６８】画像生成装置の処理を説明するフローチャートである。
【図６９】画像データ変換部３１の処理を説明するフローチャートである。
【図７０】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１　コンピュータ（画像処理装置），　２　画像データベース，　３　中間データベース３，　４　レシーバ（位置センサ），　５　トランスミッタ（位置センサ），　６　ディスプレイ，　１１　バス，　１２　ＣＰＵ，　１３　ＲＯＭ，　１４　ＲＡＭ，　１５　ハードディスク，　１６　出力部，　１７　入力部，　１８通信部，　１９　ドライブ，　２０　入出力インタフェース，　２１　リムーバブル記録媒体，　３０　データ変換部，　３１　画像データ変換部，　３２　中間データ変換部，　３３　センサ制御部，　４１　カメラ，　４２　バッファ，　４３　全方位画像変換部，　４４　バッファ，　４５　駆動機構，　４６　駆動機構制御部，　４７　コントローラ，　４８　ｍｕｘ，　５１　支持体，　５２　集光部，　５３　撮像部，　６１　バッファ，　６２　予測タップ抽出部，　６３　クラスタップ抽出部，　６４　クラス分類部，　６５　係数記憶部，６６　積和演算部，　７１　教師データメモリ，　７２　生徒データ生成部，７３　生徒データメモリ，　７４　予測タップ抽出部，　７５　クラスタップ抽出部，　７６　クラス分類部，　７７　正規方程式加算部，　７８　タップ係数決定部，　７９　係数メモリ，　１０１　連続多視点光線取得光学系，　１０２　全方位画像取得部，　１０３　画像記憶部，　１１１　楕円ミラー，　１１２　魚眼カメラ，　１１３　魚眼レンズ，　１２１Ａ，１２１Ｂ　放物面ミラー，　１３１　画像記憶部，　１３２　再生部，　１３３　魚眼プロジェクタ，　１３４　プロジェクタ，　１３５　魚眼レンズ，　１３６　楕円ハーフミラー，１３７　スクリーン，　１３８Ａ，１３８Ｂ　放物面ミラー，　１３９　スクリーン，　１４１　幾何処理部，　１４２　撮像ポイント演算部，　１５０　逆魚眼センサ，　１５１　球面カバー，　１５２　スリット，　１５３　受光素子，　１６１　光線方向算出部，　１６２　角度変換部，　１６３　光線方向算出部，　１６４　角度変換部，　１６５　画像情報生成部，　１７１　画像変換部，　１７２　スクリーン，　１８１　幾何処理部，　２０１　バス，　２０２　ＣＰＵ，　２０３　ＲＯＭ，　２０４　ＲＡＭ，　２０５　ハードディスク，　２０６　出力部，　２０７　入力部，　２０８　通信部，　２０９　ドライブ，　２１０
入出力インタフェース，　２１１　リムーバブル記録媒体

Claims (19)

1. 被写体からの光を反射する、前記被写体を覆う状態に設置される凹面鏡と、
   前記凹面鏡で反射された光を受光することにより、前記被写体を撮像する撮像手段と
   を備えることを特徴とする撮像装置。
2. 前記凹面鏡は、第１と第２の放物面ミラーであり、
   前記第１と第２の放物面ミラーは、それぞれの光軸が一致し、かつそれぞれの開口部分が対向するように配置され、
   前記第１の放物面ミラーは、前記被写体を覆う状態に配置され、
   前記撮像手段は、
   前記第２の放物面ミラーの焦点の位置に配置され、
   前記第１の放物面ミラーで反射された光が前記第２の放物面ミラーで反射されることにより入射する光を受光する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記凹面鏡は、楕円ミラーであり、
   前記楕円ミラーは、その２つの焦点のうちの一方側に、前記被写体が位置するように配置され、
   前記撮像手段は、
   前記楕円ミラーの２つの焦点のうちの他方の焦点の位置に配置され、
   前記楕円ミラーの一方の焦点から前記楕円ミラーに向かう光が前記楕円ミラーで反射されることにより前記他方の焦点に向かう光を受光する
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記撮像手段が前記被写体を撮像することにより得られる前記被写体の画像データを表示する表示手段をさらに備える
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記凹面鏡は、楕円ミラーであり、
   前記楕円ミラーは、その２つの焦点のうちの一方側に、前記被写体が位置するように配置され、
   前記撮像手段は、
   前記楕円ミラーの２つの焦点のうちの他方の焦点の位置に配置され、
   前記楕円ミラーの一方の焦点から前記楕円ミラーに向かう光が前記楕円ミラーで反射されることにより前記他方の焦点に向かう光を受光する
   場合において、
   前記表示手段は、
   前記楕円ミラーと相似の他の楕円ミラーと、
   前記他の楕円ミラーの２つの焦点のうちの一方の位置に配置され、前記被写体の画像データに対応する光を発光する発光手段と、
   前記他の楕円ミラーの２つの焦点のうちの他方の位置に配置され、前記発光手段が発光した光が前記他の楕円ミラーで反射されることにより入射する光を受光するスクリーンと
   を有する
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記撮像手段が前記被写体を撮像することにより得られる前記被写体の画像データの各画素の画素値に対応する光が、前記被写体から前記凹面鏡に向かうときの光線方向を求め、対応する画素の画素値と対応付けた画像情報を生成する光線方向処理手段をさらに備える
   ことを特徴とする請求項１に記載の撮像装置。
7. 前記光線方向処理手段は、
   前記凹面鏡で反射された光が前記撮像手段に向かうときの光線方向を算出する第１の算出手段と、
   前記第１の算出手段において求められた光線方向に基づいて、前記被写体の画像データの各画素の画素値に対応する光が、前記被写体から前記凹面鏡に向かうときの光線方向を算出する第２の算出手段と
   を有する
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記画像情報に基づいて、前記被写体の画像データを表示する表示手段をさらに備える
   ことを特徴とする請求項６に記載の撮像装置。
9. 前記表示手段は、
   前記画像情報における各画素値に対応する光を発光する発光手段と、
   前記発光手段が発光する光を受光するスクリーンと
   を有する
   ことを特徴とする請求項８に記載の撮像装置。
10. 前記発光手段が発光する、各画素の画素値に対応する光の光線方向が、前記画像情報における、対応する画素の光線方向に一致するように、前記画像情報における各画素の画素値で構成される画像データを変換する変換手段をさらに備える
    ことを特徴とする請求項９に記載の撮像装置。
11. 被写体を覆う状態に設置された凹面鏡によって、前記被写体からの光を反射し、
    前記凹面鏡で反射された光を受光することにより、前記被写体を撮像する
    ことを特徴とする撮像方法。
12. 被写体を覆う状態に設置された凹面鏡によって、前記被写体からの光を反射し、
    前記凹面鏡で反射された光を受光することにより、前記被写体を撮像する
    ことにより得られる前記被写体の画像データを取得する取得手段と、
    前記被写体の画像データの各画素の画素値に対応する光が、前記被写体から前記凹面鏡に向かうときの光線方向を求め、対応する画素の画素値と対応付けた画像情報を生成する光線方向処理手段と
    を備えることを特徴とする画像処理装置。
13. 前記光線方向処理手段は、
    前記凹面鏡で反射された光の光線方向を算出する第１の算出手段と、
    前記第１の算出手段において求められた光線方向に基づいて、前記被写体の画像データの各画素の画素値に対応する光が、前記被写体から前記凹面鏡に向かうときの光線方向を算出する第２の算出手段と
    を有する
    ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記画像情報に基づいて、前記被写体の画像を表示する表示手段をさらに備える
    ことを特徴とする請求項１２に記載の画像処理装置。
15. 前記表示手段は、
    前記画像情報における各画素値に対応する光を発光する発光手段と、
    前記発光手段が発光する光を受光するスクリーンと
    を有する
    ことを特徴とする請求項１４に記載の画像処理装置。
16. 前記発光手段が発光する、各画素の画素値に対応する光の光線方向が、前記画像情報における、対応する画素の光線方向に一致するように、前記画像情報における各画素の画素値で構成される画像データを変換する変換手段をさらに備える
    ことを特徴とする請求項１５に記載の画像処理装置。
17. 被写体を覆う状態に設置された凹面鏡によって、前記被写体からの光を反射し、
    前記凹面鏡で反射された光を受光することにより、前記被写体を撮像する
    ことにより得られる前記被写体の画像データを取得する取得ステップと、
    前記被写体の画像データの各画素の画素値に対応する光が、前記被写体から前記凹面鏡に向かうときの光線方向を求め、対応する画素の画素値と対応付けた画像情報を生成する光線方向処理ステップと
    を備えることを特徴とする画像処理方法。
18. コンピュータに実行させるプログラムであって、
    被写体を覆う状態に設置された凹面鏡によって、前記被写体からの光を反射し、
    前記凹面鏡で反射された光を受光することにより、前記被写体を撮像する
    ことにより得られる前記被写体の画像データを取得する取得ステップと、
    前記被写体の画像データの各画素の画素値に対応する光が、前記被写体から前記凹面鏡に向かうときの光線方向を求め、対応する画素の画素値と対応付けた画像情報を生成する光線方向処理ステップと
    を備えることを特徴とするプログラム。
19. コンピュータに実行させるプログラムが記録されている記録媒体であって、
    被写体を覆う状態に設置された凹面鏡によって、前記被写体からの光を反射し、
    前記凹面鏡で反射された光を受光することにより、前記被写体を撮像する
    ことにより得られる前記被写体の画像データを取得する取得ステップと、
    前記被写体の画像データの各画素の画素値に対応する光が、前記被写体から前記凹面鏡に向かうときの光線方向を求め、対応する画素の画素値と対応付けた画像情報を生成する光線方向処理ステップと
    を備えるプログラムが記録されている
    ことを特徴とする記録媒体。

Images