JP2004258775A

JP2004258775A - 光線空間データ処理方法、空間データ処理装置

Info

Publication number: JP2004258775A
Application number: JP2003046227A
Authority: JP
Inventors: Yukio Sakakawa; 幸雄坂川; Daisuke Kotake; 大輔小竹; Masahiro Suzuki; 雅博鈴木; Takaaki Endo; 隆明遠藤; Akihiro Katayama; 昭宏片山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-02-24
Filing date: 2003-02-24
Publication date: 2004-09-16

Abstract

【課題】光線空間データを用いて任意視点の画像を再構成する際の画質を向上させること。
【解決手段】各サンプリング画像を光線空間へマッピングする（Ｓ１４０１）。そして未定サンプリングポインタ位置の中心から、Ｍ個の近傍のサンプリングポインタ位置中心までの距離を計算し、Ｍ個のサンプリングポインタ位置に記録されたサンプリングポインタ値が指す縦ラインの画素群の画素値に対する重みを算出する（Ｓ１４０４）。そして検出したＭ個のサンプリングポインタ位置を特定する特定データと、このＭ個のサンプリングポインタ位置に記録されたポインタ値が指す縦ラインの画素群の画素値に対する重みを保存する（Ｓ１４０６）。
【選択図】図１４

Description

【０００１】
【発明の属する技術分野】
本発明は、像画像のデータを光線空間に光線空間データ群として写像し、光線空間データ群の夫々を光線空間の対応する位置に記録する処理を複数の撮像画像に対して行う光線空間データ処理技術に関するものである。
【０００２】
【従来の技術】
仮想空間を、３次元幾何形状を基に記述するのではなく、実写画像を基に記述表現する手法が数多く提案されている。これらはＩｍａｇｅＢａｓｅｄＲｅｎｄｅｒｉｎｇ（以下、ＩＢＲと略す）と呼ばれており、実写画像を基にするが故に、３次元幾何形状を基にする手法からは得られない写実性の高い仮想空間を表現できる点に特徴がある。
【０００３】
ＩＢＲの一手法である光線空間理論に基づいた仮想空間の記述に関する試みが提案されている（例えば、非特許文献１、非特許文献２を参照）。
【０００４】
以下、光線空間理論について説明する。
【０００５】
図１は光線空間を説明する図である。図１に示すように実空間にＯＸ−Ｙ−Ｚ座標系を設置する。ｚ軸に垂直な基準面Ｐ（Ｚ＝ｚ）を通過する光線を、光線がＰを横切る位置（ｘ、ｙ）と、光線の方向を示す変数θ、φで表すことにする。すなわち、１本の光線は（ｘ、ｙ、ｚ、θ、φ）の５つの変数により一意に定められる。この光線の光強度を表す関数をｆと定義すると、この空間中の光線群データはｆ（ｘ、ｙ、ｚ、θ、φ）で表現することが出来る。この５次元の空間を「光線空間」と呼ぶ。より一般的には、時間変動分ｔを入れる場合もあるがここでは省略する．
ここで、基準面Ｐをｚ＝０に設定し、光線の垂直方向の視差情報、すなわちφ方向の自由度を省略すると、光線の自由度を（ｘ、θ）の２次元に縮退させることができる。このｘ−θの２次元空間は、光線空間の部分空間となる。そして、図２に示すように実空間中の点Ｐを通る光線群２０１乃至２０４は、ｕ＝ｔａｎθとおくと、ｘ−ｕ空間上では、図３に示すように、
【０００６】
【数１】

という直線上に写像される。図２は、実空間において点Ｐを通る光線群の例を示す図であり、図３は、図２に示した点Ｐを通る光線群２０１乃至２０４をｘ−ｕ区間上に写像した場合の直線を示す図である。
【０００７】
カメラによる撮影とは、カメラのレンズ焦点を通過する光線を撮像面で受光し、その明るさや色を画像化する操作に相当する。言い換えると、焦点位置という実空間中の１点を通る光線群を画像として画素数分獲得していることになる。ここでは、φ方向の自由度を省略し（縦視差を省略するとも言う）、Ｘ−Ｚ平面内のみでの光線の振舞いを考えているので、Ｙ軸との直交面と画像が交わる線分上の画素のみを考えることになる。このように、画像の撮影によって１点を通る光線を集めることができ、１回の撮影でｘ−ｕ空間の１本の線分上のデータを獲得する（サンプリングするとも言う）ことができる。以下、光線空間上で表現されるデータを光線空間データと呼称する。
【０００８】
この撮影を視点位置（本明細書では、特に断らない限りは、視点位置は、視点の位置と視線方向の双方を含むものとする）を変え多数行うと、多数の点を通る光線群を獲得することができる。図４に示すように、Ｎ台のカメラを用いて実空間を撮影すると、ｎ番目（ｎ＝１，２，．．．，Ｎ）のカメラＣｎの焦点位置（ｘ_ｎ、ｙ_ｎ）に対応して、図５に示す如く、
【０００９】
【数２】

ｘ−ｕ空間における直線上の光線空間データを得ることができる。図４はＮ台のカメラにより現実空間を撮像する様子を示す模式図であり、図５は図４に示したＮ台のカメラにより撮像された夫々の撮像画像をｘ−ｕ空間に写像することで得られる直線群を示す図である。
【００１０】
このように、十分に多数の視点からの撮影を行うことによって、ｘ−ｕ空間を密に光線空間データで埋めていくことができる。
【００１１】
逆に、図６に示すように、光線空間データから、新しい任意の視点位置からの観察画像を生成することができる。例えば図７に示すように、新しい任意の視点位置を（Ｘ、Ｚ）とすると、この視点位置における観察画像を生成するためにはｘ−ｕ空間においてＸ＝ｘ＋ｕＺ上の光線空間データが必要となる。よって、図６に示すＸ＝ｘ＋ｕＺ上の光線空間データを読み出すことで、視点位置（Ｘ、Ｚ）における観察画像を生成することができる。
【００１２】
図６は、新しい任意の視点位置における観察画像を生成するためのｘ−ｕ空間における直線を示す図であり、図７は新しい任意の視点位置を示す図である。
【００１３】
光線空間理論を用いて仮想空間や物体を記述するには、上記光線空間データの量を十分に確保するために、十分に光線をサンプリングしておく必要があるが、十分に光線をサンプリングすると、光線空間データ量は膨大なものとなる。よって実際には、サンプリングする光線の数を調節し、不足分の光線空間データはサンプリングした光線による光線空間データから補間して生成する。補間処理方法としては、最近傍法がある。その他に、多視点画像列から生成されるエピポーラ平面画像上での対応点の軌跡検出に基づく方法等もある。
【非特許文献１】
電子情報通信学会論文誌「ＣＧモデルと光線空間データとの融合による仮想環境の実現」（Ｄ−１１，Ｖｏｌ．Ｊ８０−Ｄ−１１Ｎｏ．１１，ｐｐ３０４８−３０５７，１９９７年１１月）
【非特許文献２】
「３次元統合画像通信を目指したホログラムと光線空間の相互変換」（３ＤＩｍａｇｅＣｏｎｆｅｒｅｎｃｅ９５，ｐｐ８−９，１９９５）
【００１４】
【発明が解決しようとする課題】
上述の説明により、光線空間データを補間することで、サンプリング光線（即ち画像データ）の数を減らすことが可能になる。図８は被写体８０９の光線空間データを作成するために、複数の視点位置で被写体８０９を撮像する様子を示す図である。８０１から８０８は被写体８０９を撮像するカメラである。
【００１５】
図９はカメラ８０１から８０８のうち、いずれか２つの隣接したカメラにより撮像された被写体の画像９０１，９０２を示す図である。図１０は夫々の画像を光線空間にマッピングすることで得られる夫々の直線を示す図である。
【００１６】
図９、１０において、画像９０１は直線１００１、画像９０２は直線１００２に夫々マッピングされると仮定する。縦視差を省略した光線空間を利用する場合は、直線１００１上の各点は、画像９０１の一縦ラインに対応する。例えば、縦ライン９０１ａ、９０１ｂは夫々点１００３、１００４に対応することにする。光線空間１０００の中で、直線１００１と直線１００２との間には直線は存在しないので、当然夫々の直線間に相当する画像も存在しない。
【００１７】
よって、画像９０１と画像９０２との間の視点位置から見た画像は、直線１００１上の光線空間データと直線１００２上の光線空間データとを用いた補間処理により作成する。
【００１８】
また、直線１００１と直線１００２との間に相当する画像を生成するための他の方法としては、直線１００１を中心とする領域１００７および直線１００２を中心とする領域１００８を考え、視点位置が領域１００７に含まれる場合は直線１００１上の光線空間データを、視点位置が領域１００８に含まれる場合は直線１００２上の光線空間データを用いて生成しても良い。
【００１９】
カメラ８０１から８０８によって撮影した画像も同様に光線空間にマッピングされ、各画像に対応した光線空間データ群による直線が生成される。そして各直線間の光線空間データは、生成された直線上の光線空間データを用いて補間処理によって作成できる。こうしてできた光線空間１０００から任意視点の画像を再構成する。
【００２０】
例えば、点線１００９をある視点位置に対応する光線空間データ群による直線と仮定する。図１０において点線１００９上の点に対する画像の縦ラインを組み合わせると、所望の視点位置の画像が再構成できる。
【００２１】
ただし、図１０を見るとわかるように、点線１００９上のサンプリング点を読み取っていくと、領域１００７から領域１００８にかけて、対応する画像が画像９０１の縦ラインからいきなり画像９０２の縦ラインに変化する。対応する画像が急に変わるので、再構成画像があるラインで不連続になることがある。画像９０１と画像９０２が違っていれば違うほど、再構成画像の不連続が目立つ。
【００２２】
本発明は以上の問題に鑑みてなされたものであり、光線空間データを用いて任意視点の画像を再構成する際の画質を向上させることを目的とする。
【００２３】
【課題を解決するための手段】
本発明の目的を達成するために、例えば本発明の光線空間データ処理方法は以下の構成を備える。
【００２４】
すなわち、撮像画像のデータを光線空間に光線空間データ群として写像し、前記光線空間データ群の夫々を前記光線空間の対応する位置に記録する処理を複数の撮像画像に対して行う光線空間データ処理方法であって、
前記光線空間において、夫々の撮像画像の光線空間データ群の何れも記録されない第１の位置と、当該第１の位置の近傍であって、夫々の前記撮像画像の光線空間データの何れかが記録された複数の第２の位置との夫々の関連の度合を示すデータ群を、第１のデータとして求める計算工程と、
前記複数の第２の位置の夫々を特定する第２のデータと、前記第１のデータとを光線空間データとして前記第１の位置に記録すべきデータとして生成する生成工程と
を備えることを特徴とする。
【００２５】
本発明の目的を達成するために、例えば本発明の光線空間データ処理方法は以下の構成を備える。
【００２６】
すなわち、夫々の視点における撮像画像を光線空間に写像することで得られる、夫々の視点毎の第１の光線空間データ群と、１つ以上の当該第１の光線空間データ群を用いて生成された第２の光線空間データ群とを含む第３の光線空間データ群を用いて、所望の視点における撮像画像を生成する光線空間データ処理方法であって、
前記第３の光線空間データから、所望の視点に対応する第４の光線空間データ群を特定する特定工程と、
前記第４の光線空間データ群において、前記第１の光線空間データ群と共有する光線空間データが存在する場合には、当該共有する光線空間データの写像元である撮像画像の画素値を順次メモリ上に記録する第２の記録工程と、
前記第４の光線空間データ群において、前記第２の光線空間データ群と共有する光線空間データが存在する場合には、当該共有する光線空間データが示す、参照すべき光線空間データ群と、当該光線空間データ群の写像元である撮像画像の画素値に対する重みとを用いて、前記共有する光線空間データに対応する画素値を求める計算工程と、
前記計算工程が求めた画素値を順次前記メモリ上に記録する第２の記録工程とを備え、
前記第１、第２の記録工程の夫々で前記メモリ上に順次記録した画素値群は、前記所望の視点における撮像画像を構成する画素値群であることを特徴とする。
【００２７】
本発明の目的を達成するために、例えば本発明の光線空間データ処理方法は以下の構成を備える。
【００２８】
すなわち、撮像画像のデータを光線空間に光線空間データ群として写像し、前記光線空間データ群の夫々を前記光線空間の対応する位置に記録する処理を複数の撮像画像に対して行う光線空間データ処理方法であって、
前記光線空間において、前記夫々の撮像画像の光線空間データ群のいずれも記録されない第１の位置と、当該第１の位置の近傍であって、前記夫々の撮像画像の光線空間データのいずれかが記録された複数の第２の位置の夫々との関連の度合いに応じた関連データ群を、前記第１の位置に記録すべきデータとして求めるデータ計算工程と、
夫々の前記第２の位置に記録された光線空間データ対応する撮像画像中の画素の画素値と、夫々の前記第２の位置に対する前記関連データとに基づいて計算される画素値を、前記第１の位置に対応する画素の画素値として求める画素値計算工程と、
前記光線空間において、前記第１の位置に相当するすべての位置に対して前記画素値計算工程が計算する画素値を順次メモリ上に保持する保持工程とを備え、
前記第１の位置に記録すべきデータは、前記第１の位置に対応する画素を特定するデータであることを特徴とする。
【００２９】
本発明の目的を達成するために、例えば本発明の光線空間データ処理装置は以下の構成を備える。
【００３０】
すなわち、撮像画像のデータを光線空間に光線空間データ群として写像し、前記光線空間データ群の夫々を前記光線空間の対応する位置に記録する処理を複数の撮像画像に対して行う光線空間データ処理装置であって、
前記光線空間において、夫々の撮像画像の光線空間データ群の何れも記録されない第１の位置と、当該第１の位置の近傍であって、夫々の前記撮像画像の光線空間データの何れかが記録された複数の第２の位置との夫々の関連の度合を示すデータ群を、第１のデータとして求める計算手段と、
前記複数の第２の位置の夫々を特定する第２のデータと、前記第１のデータとを光線空間データとして前記第１の位置に記録すべきデータとして生成する生成手段と
を備えることを特徴とする。
【００３１】
本発明の目的を達成するために、例えば本発明の光線空間データ処理装置は以下の構成を備える。
【００３２】
すなわち、夫々の視点における撮像画像を光線空間に写像することで得られる、夫々の視点毎の第１の光線空間データ群と、１つ以上の当該第１の光線空間データ群を用いて生成された第２の光線空間データ群とを含む第３の光線空間データ群を用いて、所望の視点における撮像画像を生成する光線空間データ処理装置であって、
前記第３の光線空間データから、所望の視点に対応する第４の光線空間データ群を特定する特定手段と、
前記第４の光線空間データ群において、前記第１の光線空間データ群と共有する光線空間データが存在する場合には、当該共有する光線空間データの写像元である撮像画像の画素値を順次メモリ上に記録する第２の記録手段と、
前記第４の光線空間データ群において、前記第２の光線空間データ群と共有する光線空間データが存在する場合には、当該共有する光線空間データが示す、参照すべき光線空間データ群と、当該光線空間データ群の写像元である撮像画像の画素値に対する重みとを用いて、前記共有する光線空間データに対応する画素値を求める計算手段と、
前記計算手段が求めた画素値を順次前記メモリ上に記録する第２の記録手段とを備え、
前記第１、第２の記録手段の夫々が前記メモリ上に順次記録した画素値群は、前記所望の視点における撮像画像を構成する画素値群であることを特徴とする。
【００３３】
本発明の目的を達成するために、例えば本発明の光線空間データ処理装置は以下の構成を備える。
【００３４】
すなわち、撮像画像のデータを光線空間に光線空間データ群として写像し、前記光線空間データ群の夫々を前記光線空間の対応する位置に記録する処理を複数の撮像画像に対して行う光線空間データ処理装置であって、
前記光線空間において、前記夫々の撮像画像の光線空間データ群のいずれも記録されない第１の位置と、当該第１の位置の近傍であって、前記夫々の撮像画像の光線空間データのいずれかが記録された複数の第２の位置の夫々との関連の度合いに応じた関連データ群を、前記第１の位置に記録すべきデータとして求めるデータ計算手段と、
夫々の前記第２の位置に記録された光線空間データ対応する撮像画像中の画素の画素値と、夫々の前記第２の位置に対する前記関連データとに基づいて計算される画素値を、前記第１の位置に対応する画素の画素値として求める画素値計算手段と、
前記光線空間において、前記第１の位置に相当するすべての位置に対して前記画素値計算手段が計算する画素値を順次保持する保持手段とを備え、
前記第１の位置に記録すべきデータは、前記第１の位置に対応する画素を特定するデータであることを特徴とする。
【００３５】
【発明の実施の形態】
以下、添付図面を参照しながら、本発明の好適な実施形態を説明する。
【００３６】
［第１の実施形態］
図１１は多視点画像と光線空間との関係を示す図である。ここで多視点画像とは、夫々異なる位置に設けられた複数のカメラ（視点）によって撮像された撮像画像群を示す。同図では多視点画像は、１１０２，１１０３，１１０４の夫々の撮像画像（群）により構成されている。１１０３は複数の撮像画像からなる。また各撮像画像は以下説明する処理において、光線空間データを生成するためにサンプリングされるものであるから、サンプリング画像と呼称する場合がある。
【００３７】
１１０１は夫々のサンプリング画像（１１０２，１１０３，１１０４）を式１に示したＸ＝ｘ＋ｕ・Ｚに従って光線空間にマッピング（写像）することで得られる縦視差を省略した光線空間データの存在する光線空間である。光線空間１１０１において、サンプリング画像がマッピングされた直線上における各点（ｘ、ｕ）上の位置に記録されるべきデータが光線空間データである。
【００３８】
なお、本明細書では、光線空間はコンピュータのメモリ上にエリアとして確保され、「光線空間上の位置Ｘにデータを記録する」とは、位置Ｘに相当するメモリ上のアドレスにデータを記録する動作に相当すると解釈する。
【００３９】
光線空間１１０１における各直線は、各サンプリング画像を光線空間１１０１にマッピングすることで得られるものであり、例えば、撮像画像１１０４は、光線空間１１０１における直線１１０６上にマッピングされる。また、撮像画像の各縦ライン（方向の位置が同じ画素の集合）は、１つの光線空間データに写像され、例えば、撮像画像１１０４の縦ライン１１０５は直線１１０６上の１点１１０７にマッピングされる。
【００４０】
また、光線空間１１０１において直線上の各点には、サンプリング画像の縦ラインの画素群を特定するためのデータとして、この縦ラインの画素群へのポインタ値が記録されている。例えば、光線空間１１０１上の１点１１０７には、画像１１０４の縦ライン１１０５へのポインタ値が記録されている。このように、直線１１０６上の各点には、サンプリング画像１１０４の各縦ラインへのポインタ値が記録される。これは他の直線上の各点に対しても同様で、対応するサンプリング画像の縦ラインの画素群へのポインタ値が記録される。
【００４１】
縦視差を省略しない光線空間データでは、光線空間１１０１の各位置にサンプリング画像の画素値が記録される。以下では、サンプリング画像の縦ラインへのポインタ値をサンプリングポインタ値と呼称することがある。
【００４２】
図１２に量子化された光線空間データ１２０１を示す。ここで量子化された光線空間とは、ｘ軸方向、ｕ軸方向共に離散的な座標値で表現することが可能な光線空間を示す。以下用いる光線空間は全て量子化されている。同図では光線空間における離散的な各位置は「ます」で示されている。以下では各「ます」の位置をサンプリングポインタ位置と呼称する場合がある。
【００４３】
同図において網掛けされた「ます」の集合である夫々の直線１２０２、１２０３，１２０４，１２０５，１２０６，１２０７，１２０８は、夫々対応するサンプリング画像を光線空間１２０１にマッピングすることで得られるものであって、網掛けされた夫々の「ます」には、対応するサンプリング画像の縦ラインの画素群へのポインタ値が記録されている。すなわち、直線上に記録される光線空間データとしては、ポインタ値のみである。
【００４４】
また同図において、白の「ます」の位置には直線が通っておらず、白の「ます」の位置を通る直線に対応するサンプリング画像が存在しないので、白の「ます」には光線空間データは記録されていない。
【００４５】
本実施形態では、この白で示された「ます」の位置に、網掛けされた「ます」に記録された光線空間データ（すなわちポインタ値）を用いて補間処理を行うことで生成される光線空間データを記録する処理を行う。より具体的には、図１２中のサンプリングポインタ位置で、白い「ます」（以下、未定サンプリングポインタ位置と呼称する）に、近傍の光線空間データが記録されたサンプリングポインタ位置を特定するデータと、このサンプリングポインタ位置に記録されたサンプリングポインタ値が指す画像群の画素値に対する重みとを光線空間データとして記録することで補間処理を行う。よって本実施形態では、未定サンプリングポインタ位置と直線上の位置とでは、光線空間データの内容が異なる。
【００４６】
図１３Ａは、本実施形態に係る、未定サンプリングポインタ位置に記録すべき光線空間データを生成する処理を説明するための図である。同図において１３０１は図１２に示した光線空間１２０１の部分空間である。
【００４７】
以下では説明のため、図９におけるサンプリング画像９０１は図１３Ａの網掛け部分の直線１３０２にマッピングされると、サンプリング画像９０２は直線１３０３にマッピングされると仮定する。補間される部分は白いますで示されている。
【００４８】
注目の未定サンプリングポインタ位置に格納される対象は、注目の未定サンプリングポインタ位置の中心から近傍、特に最も近い、光線空間データが記録された４つのサンプリングポインタ位置を特定するデータ（特定データ）とする。ただし、異なるサンプリング画像から２つづつとする。この特定データとしては例えば、４つの夫々のサンプリングポインタ位置１３０４，１３０５，１３０７，１３０８の光線空間１２０１における座標であっても良いし、光線空間１２０１内に記録される光線空間データを保持するメモリ上のアドレスであってもよい。
【００４９】
また、上記特定データにより特定される４つのサンプリングポインタ位置に記録された夫々の画素群の画素値に対する重みは、注目の未定サンプリングポインタ位置の中心から上記４つの各サンプリングポインタ位置の中心との距離を用いて計算される。例えば、未定サンプリングポインタ位置１３１０に格納される特定データは、最も近いサンプリングポインタ位置の「ます」である白星形の「ます」１３０４、白三角の「ます」１３０５、黒星形の「ます」１３０７と黒三角の「ます」１３０８を特定するデータである。
【００５０】
図１３ＡのＬ１は、未定サンプリングポインタ位置１３１０の中心から白星形の「ます」１３０４のサンプリングポインタ位置の中心への距離である。Ｌ２、Ｌ３，Ｌ４は夫々、未定サンプリングポインタ位置１３１０の中心から黒星形の「ます」１３０７、白三角の「ます」１３０５、黒三角の「ます」１３０８のサンプリングポインタ位置の中心への距離である。Ｔ１、Ｔ２、Ｔ３、Ｔ４を夫々白星形の「ます」１３０４、黒星形の「ます」１３０７、白三角の「ます」１３０５、黒三角の「ます」１３０８に記録されたサンプリングポインタ値が指す画像群の画素値に対する重みとすると、
【００５１】
【数３】

【００５２】
【数４】

【００５３】
【数５】

【００５４】
【数６】

と決めることができる。Ｔ１〜Ｔ４を計算した結果が夫々３０％、２０％、２０％、３０％であるとき、図１３Ｂにサンプリングポインタ位置１３１０に格納する光線空間データを示す。
【００５５】
光線空間データとして、未定サンプリングポインタ位置に記録すべき光線空間データを生成するために参照した４つのサンプリングポインタ位置を特定する特定データ（同図では白の三角、白の星、黒の三角、黒の星の夫々を特定するための特定データ）と、４つの夫々のサンプリングポインタ位置に記録されたサンプリングポインタ値が指す縦ラインの画素群の画素値に対する夫々の重みが記録されている。
【００５６】
なお、本実施形態では未定サンプリングポインタ位置の近傍として、最も近い４つのサンプリングポインタ位置を用いたが、任意の数のサンプリングポインタ位置を用いても良いし、各未定サンプリングポインタ位置で異なるサンプリングポインタ位置に対する特定データを記録しても良い。その場合は、重みの計算は、式７に従って行う。
【００５７】
【数７】

【００５８】
ただし、Ｍは用いたサンプリングポインタ位置の数である。また、サンプリングポインタ値が指す画像群の画素値の重みは上記に限るものではない。
【００５９】
また、以下詳しく説明する任意視点画像の再構成の際に結果画素の計算を容易にするために、サンプリングポインタ値が指す画像群の画素値の重みの合計を１００％にした方が良いが、これに限定されるものではない。
【００６０】
以上説明した、未定サンプリングポインタ位置に記録すべき光線空間データを生成し、生成した光線空間データを未定サンプリングポインタ位置に記録する一連の処理について、同処理のフローチャートを示す図１４を参照して説明する。
まず、ステップＳ１４０１では多視点画像を撮影するときのカメラパラメータ（位置、姿勢、画角など）を用いて、光線空間データの量子化などの初期設定を行い、その後、各サンプリング画像のカメラパラメータを用いて、各サンプリング画像を光線空間へマッピングする処理を行う。
【００６１】
ステップＳ１４０２では、最初の補間すべき未定サンプリングポインタ位置をセットする。ステップＳ１４０３では、未定サンプリングポインタ位置の中心から、Ｍ個の近傍のサンプリングポインタ位置を検出する。次に、ステップＳ１４０４では、未定サンプリングポインタ位置の中心から、ステップＳ１４０３で検出されたＭ個のサンプリングポインタ位置中心までの距離を計算し、式７に従って、Ｍ個のサンプリングポインタ位置に記録されたサンプリングポインタ値が指す縦ラインの画素群の画素値に対する重みＴ１〜ＴＭを算出する。
【００６２】
ステップＳ１４０５では、未定サンプリングポインタ位置に格納する各サンプリングポインタが指す画像群の画素値の重みの合計を１００％にするための処理を行う。これは例えば、Ｍ個のサンプリングポインタ位置に対して求めた重みの値に対して１００を掛けることで実現される。
【００６３】
そしてステップＳ１４０６では、ステップＳ１４０３で検出したＭ個のサンプリングポインタ位置を特定する特定データと、このＭ個のサンプリングポインタ位置に記録されたポインタ値が指す縦ラインの画素群の画素値に対する重みを、図１５に示すような形式で登録する。図１５は、未定サンプリングポインタ位置に記録する光線空間データを登録するための表の一例を示す図である。
【００６４】
図１５に示す表には、光線空間における座標で表現される各未定サンプリングポインタ位置と、その光線空間データを生成するために参照したサンプリングポインタ位置を特定する特定データと、参照したサンプリングポインタ位置に記録されたポインタ値が指す縦ラインの画素群の画素値に対する重みとが記録される。
【００６５】
例えば、同図の表において位置（ａ１，ｂ１）が図１３Ａのサンプリングポインタ位置１３１０であるとすると、図１５の表では特定データは白星形、白三角、黒星形と黒三角のサンプリングポインタ位置を示し、夫々のサンプリングポインタ位置に記録されたサンプリングポインタ値が示す縦ラインの画素群の画素値に対する重みは３０％、２０％、２０％と３０％として記憶されている。これはすなわち、位置（ａ１，ｂ１）に対応する縦ラインの画素値ｇを求めるためには、白星形、白三角、黒星形、黒三角の夫々のサンプリングポインタ位置に記録されたポインタ値が示す縦ラインの画素群の画素値ｐ、ｑ、ｒ、ｓを用いて、
ｇ＝（３０×ｐ＋２０×ｑ＋２０×ｒ＋３０×ｓ）／１００
と求めればよいことを示している。
【００６６】
また本実施形態では、未定サンプリングポインタ位置に記録する光線空間データを登録するための表の形式の一例として図１５に示す表を用いたが、この形式に限定されるものではなく、各未定サンプリングポインタ位置に記録する光線空間データが特定できるような形式であればよいことは、言うまでもない。
【００６７】
図１４に戻って、ステップＳ１４０６では、全ての未定サンプリングポインタ位置に対してステップＳ１４０３からステップＳ１４０５までの処理を行ったか、すなわち、図１５に例示した表の全ての未定サンプリングポインタ位置に記録すべき光線空間データが登録されたか否かを判断する。
【００６８】
まだ光線空間データが登録されていない未定サンプリングポインタ位置が存在する場合には処理をステップＳ１４０８に進め、次の未定サンプリングポインタ位置を処理対象としてセットし、ステップＳ１４０３以降の処理を行う。
【００６９】
一方、全ての未定サンプリングポインタ位置に対して記録すべき光線空間データが求まった、すなわち、全ての未定サンプリングポインタ位置に対する光線空間データが図１５に例示した表に登録された場合には、処理をステップＳ１４０７に進め、図１５に例示した表に登録された全ての未定サンプリングポインタ位置に対して同表に登録されている光線空間データを保存する。
【００７０】
以上の処理により、未定サンプリングポインタ位置に記録すべき光線空間データは、その近傍の（光線空間データが記録された）サンプリングポインタ位置との関連の度合い、即ち距離を反映したものとなる。これにより、２つのサンプリング画像を光線空間にマッピングしたことによる夫々の直線間に位置する未定サンプリングポインタ位置に記録される光線空間データは、その位置に応じて連続的に変化するものであり、従来のように、いきなり別の画像に変化するなど、急峻な変化を生じさせるものにはならない。
【００７１】
図１６は、以上説明した光線空間データを生成するための一連の処理を含む、全てのサンプリングポインタ位置に光線空間データを記録する処理を行う光線空間データ処理装置として機能するコンピュータの外観図で、図１７はこのコンピュータの基本構成を示すブロック図である。
【００７２】
図１７において、１７０１はＣＰＵで、ＲＡＭ１７０２やＲＯＭ１７０３に格納されたプログラムやデータなどを用いて、コンピュータ全体の制御を行ったり、図１４に示したフローチャートに従った、全てのサンプリングポインタ位置に対する光線空間データを生成し、記録する処理を実行する。
【００７３】
１７０２はＲＡＭで、記憶媒体のドライブ装置１７０４や外部記憶装置１７０５から読み込んだプログラムやデータなどを一時的に格納するエリアを備えると共に、ＣＰＵ１７０１が各種の処理を実行する際に使用するワークエリアなども備える。又上述の通り、光線空間に記録されるべきデータ群を保持するためのエリアも備える。
【００７４】
１７０３はＲＯＭで、コンピュータ全体の制御を行うためのプログラム（ブートプログラムを含む）やデータ（各種の設定などを含む）を格納する。又、文字コードなども格納する。
【００７５】
１７０４は記憶媒体のドライブ装置で、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記憶媒体からプログラムやデータ等を読み出し、ＲＡＭ１７０２や後述の記憶装置１７０５に出力する。
【００７６】
１７０５は記憶装置であって、ここにＯＳ（オペレーティングシステム）や記憶媒体のドライブ装置１７０４から読み込んだプログラムやデータ等を保存する。また、ＣＰＵ１７０１が使用するワークエリアのサイズがＲＡＭ１７０２が提供するワークエリアのサイズを越えた場合には、ファイルとしてその越えた分のワークエリアを提供することもできる。
【００７７】
なお、図１４に示したフローチャートに従った、全てのサンプリングポインタ位置に光線空間データを記録する処理をＣＰＵ１７０１に実行させるためのプログラムや、上記複数のサンプリング画像等は予め記憶装置１７０５に保存させておき、必要に応じてＲＡＭ５０２にロードさせても良いし、記憶媒体に記録させておき、記憶媒体のドライブ装置１７０４によってこの記憶媒体から読み出してＲＡＭ５０２にロードさせても良い。
【００７８】
また、図１５に例示した表などは例えばＲＡＭ５０２に作成しておき、全ての未定サンプリングポインタ位置に対する光線空間データが生成されると、この表に記録された各光線空間データを記憶装置１７０５に保存する。
【００７９】
１７０６は表示部で、ＣＲＴや液晶画面等（例えば、図１６に示したディスプレイ１６０１）により構成されており、上記複数のサンプリング画像や図１２に例示した光線空間を示す画像など、さらには以上説明した一連の処理を行うために表示すべきＧＵＩなどを表示することができる。
【００８０】
１７０７は操作部で、キーボードやマウス（例えば図１６に示したマウス１６０２）などのポインティングデバイスを含み、各種の指示をＣＰＵ１７０１に入力することができる。
【００８１】
１７０８はインターフェース（Ｉ／Ｆ）部で、インターネットやＬＡＮ等のネットワークに接続するためのもので、例えば上記複数のサンプリング画像をネットワークを介して外部の装置からＲＡＭ５０２にダウンロードしたり、生成した光線空間データを外部の装置にネットワークを介して出力する場合、このＩ／Ｆ部１７０８を介して行われる。
【００８２】
また、Ｉ／Ｆ部１７０８はこの他にもプリンタやスキャナ等と接続するためにも使用しても良く、例えば紙やＯＨＰなどの記録媒体上に記録された複数のサンプリング画像をスキャナにより読み取った場合に、読み取った画像をＲＡＭ５０２に入力したり、生成した光線空間データによる任意視点からの撮像画像を生成し、プリンタにより上記記録媒体上に記録する場合にも、このＩ／Ｆ部１７０８を介して行われる。
【００８３】
１７０９は上述の各部を繋ぐバスである。
【００８４】
次に、図１４に示したフローチャートに従って全てのサンプリングポインタ位置に光線空間データを生成する処理に従って生成した光線空間データを用いて、任意視点から見た撮像画像を生成する処理について説明する。図１８は、同処理のフローチャートである。なお、同図のフローチャートに従ったプログラムは上記記憶装置１７０５に保存され、必要に応じてＲＡＭ５０２にロードされ、ＣＰＵ１７０１の実行対象となっても良いし、記憶媒体に記録させておき、記憶媒体のドライブ装置１７０４によってＲＡＭ５０２にロードし、ＣＰＵ１７０１の実行対象としても良い。
【００８５】
まずステップＳ１８０１では、記憶装置１７０５、もしくは記憶媒体のドライブ１７０４から、全てのサンプリングポインタ位置に記録された光線空間データ、及び各サンプリング画像をＲＡＭ５０２にロードする。
【００８６】
次にステップＳ１８０２では、光線空間における任意視点に対応する線分を式１に基づいて求める。
【００８７】
ステップＳ１８０３では、光線空間データからステップＳ１８０２で求めた線分上の最初のサンプリングポインタ位置に記録されている光線空間データを読み出す。
【００８８】
ステップＳ１８０４では、読み出した光線空間データを参照して、この光線空間データが記録されたサンプリングポインタ位置が、元未定サンプリングポインタ位置であるか否かを判断する。これは、光線空間データに重みを示すデータが含まれているかなどを判断すればよい。
【００８９】
この光線空間データが記録されたサンプリングポインタ位置が、元未定サンプリングポインタ位置でない場合、処理をステップＳ１８０９に進め、ステップＳ１８０９では、この光線空間データを参照して、サンプリングポインタ値が指すサンプリング画像の縦ラインの画素群の画素値を、ＲＡＭ５０２にロードされた各サンプリング画像から特定して、ＲＡＭ５０２の空エリアに順次読み出し、記録する。
【００９０】
一方、この光線空間データが記録されたサンプリングポインタ位置が、元未定サンプリングポインタ位置である場合、処理をステップＳ１８０５に進め、ステップＳ１８０５では、この光線空間データに含まれる１つ以上の（本実施形態では４つの）サンプリングポインタ位置を特定する特定データと、特定データで特定される夫々のサンプリングポインタ位置に記録されたポインタ値が指す縦ラインの画素群の画素値の重みのデータを読み出す。
【００９１】
そしてステップＳ１８０６では、ステップＳ１８０５において読み出した、特定データが特定するサンプリングポインタ位置に記録されたポインタ値が指すサンプリング画像の縦ラインの画素群の画素値を、ＲＡＭ５０２にロードされた各サンプリング画像から特定して読み出し、更に読み出した夫々の画素値と、ステップＳ１８０５にて読み出した重みとを用いて、上記線分上の最初のサンプリングポインタ位置に対応する画素値を求め、上記空きエリアに順次記録する。
【００９２】
上記画素値は、すべてのｙ座標の画素値について、補間で利用するサンプリング画像中の複数の縦ライン上の同じｙ座標の画素値から求める。
【００９３】
例えば光線空間データに２つのサンプリングポインタ値（ＡとＢ）があると仮定する。サンプリングポインタ値Ａは、サンプリング画像Ａの縦ラインＡ（縦ラインＡを構成する各画素をＡ１，Ａ２，Ａ３，，，とする）を指す。サンプリングポインタ値Ｂは、画像Ｂの縦ラインＢ（縦ラインＢを構成する各画素をＢ１，Ｂ２，Ｂ３，，，とする）を指す。そこから、結果画像Ｃの縦ラインＣ（縦ラインＣを構成する各画素をＣ１，Ｃ２，Ｃ３，，，とする）を計算する場合、縦ラインＣのあるｙ座標値（例えば１）の画素（この場合、Ｃ１）は、他の縦ラインの同じｙ座標からの画素（Ａ１とＢ１）から計算される。つまり、Ｃ１＝Ａ１＊Ｗａ＋Ｂ１＊Ｗｂを計算することにより、画素Ｃ１が計算される。ただし、ＷａとＷｂはそれぞれの重みである。
【００９４】
そして、ステップＳ１８０２において求めた線分上の全てのサンプリングポインタ位置に対する画素値を求めたか否かを判断し、全て求めたのであれば、処理をステップＳ１８０８に進め、ステップＳ１８０８では、ステップＳ１８０６，ステップＳ１８０９の夫々において順次空きエリアに記録した結果、即ち任意視点における撮像画像を表示部１７０６上に表示する。なお、ステップＳ１８０８では生成した撮像画像は表示することに限定されるものではなく、上述の通り、ネットワーク上に出力したり、プリンタに出力したりしても良い。
【００９５】
一方、ステップＳ１８０７において、ステップＳ１８０２で求めた線分上の全てのサンプリングポインタ位置に対する画素値が求まっていない場合、処理をステップＳ１８１０に進め、線分上の次の光線空間データを読み出し、ステップＳ１８０４以降の処理を行う。
【００９６】
上述のように、本実施形態における未定サンプリングポインタ位置における光線空間データの生成処理によれば、多視点画像とその画像を撮影した際のカメラパラメータを用いて光線空間データを作成する際に、未定サンプリングポインタ位置の中心から近傍のサンプリングポインタ位置を特定する特定データと、特定データが特定するサンプリングポインタ位置に記録されたサンプリングポインタ値が指す画像群の画素値の重みを利用して求めることによりサンプリング画像間で生じる急激な変化を避けることができる。
【００９７】
また、このように作成された光線空間データを用いて任意視点画像を再構成することで、再構成画像の画質を向上させることができる。
【００９８】
［第２の実施形態］
第１の実施形態では、未定サンプリングポインタ位置には１つ以上の特定データと、重みとを記録することで、任意視点画像の再構成時における再構成画像の画質を向上させることができた。
【００９９】
本実施形態では、未定サンプリングポインタ位置に記録すべき光線空間データの生成において、特定データと重みの決定方法に被写体の幾何学形状情報を考慮する。
【０１００】
図１９は、本実施形態に係る、未定サンプリングポインタ位置に記録すべき光線空間データを生成する処理を説明するための図である。同図において１９０１は図１２に示した光線空間１２０１の部分空間である。
【０１０１】
以下では説明のため、図９におけるサンプリング画像９０１は図１９の網掛け部分の直線１９０２にマッピングされると、サンプリング画像９０２は直線１９０３にマッピングされると仮定する。
【０１０２】
まず直線１９０２と直線１９０３との対応点を検出する。これは、サンプリング画像９０１とサンプリング画像９０２と対応する縦ラインを検出することと同じである。対応点を検出する方法としては、サンプリング画像９０２の撮影時のカメラパラメータと被写体の幾何学形状と位置情報を用いて計算しても良い。これは、被写体の２つのステレオ画像があるときに、ステレオ画像の対応点（画像中に写っている被写体の同じポイント）が分かると、被写体の幾何学形状の計算は可能である。被写体の幾何学形状が既知であれば、被写体の一つのポイントは、異なる位置から撮った画像にどこに写っている（対応点）のかが計算することが可能である。
【０１０３】
また、サンプリング画像９０１の各縦ラインを参照縦ラインとして、縦ラインブロック単位でサンプリング画像９０２の各縦ラインとのブロック・マッチングを行い、最も二乗誤差の少ないサンプリング画像９０２の縦ラインを求める処理によって、対応する縦ラインを選んでも良い。
【０１０４】
或いは、操作者が、例えばＧＵＩなどを介して、手作業で対応点を指定する方法も考えられる。この指定は、例えば図１６に示す一般のコンピュータを用いて、図１９に示した光線空間１９０１を表示部１７０６の表示画面上に表示させ、操作者がこの表示部１７０６の表示画面上に表示された画面を見ながら、操作部１７０７を用いて対応する２つの点を指定しても良い。さらに、光線空間データだけではなく、多視点画像も同時に表示すると、対応点の指定作業がより簡単になる。
【０１０５】
本実施形態では、直線１９０２上の黒星形、黒三角、黒丸の記号が付いているサンプリングポインタ位置１９０７、１９０８、１９０９は夫々、直線１９０３上の白星形、白三角、白丸の記号が付いているサンプリングポインタ位置１９０４、１９０５、１９０６に対応すると仮定する。対応点を決めると、対応点同士を結ぶ全ての線分を計算する。以下では対応点同士を結ぶ線分を対応点同士線分と呼称する場合がある。
【０１０６】
図１９では、線分１９１０、１９１１、１９１２は夫々星形（１９０４と１９０７）、三角（１９０５と１９０８）と丸（１９０６と１９０９）の対応点同士を結ぶ。ここで、ある未定サンプリングポインタ位置の近傍、例えば最も近い２つの対応点同士線分（第１の線分、第２の線分）の夫々の両端のサンプリングポインタ位置（４つのサンプリングポインタ位置）の夫々を特定する特定データをその未定サンプリングポインタ位置に記録しても良い。
【０１０７】
そしてその場合、未定サンプリングポインタ位置の中心から第１の線分までの距離ｄ１、第２の線分までの距離ｄ２を求め、１００×１／ｄ１／（１／ｄ１＋１／ｄ２）を第１の線分の両端のサンプリングポインタ位置に記録されたサンプリングポインタ値が指す縦ラインの画素群の画素値に対する重みとして、１００×１／ｄ２／（１／ｄ１＋１／ｄ２）を第２の線分の両端のサンプリングポインタ位置に記録されたサンプリングポインタ値が指す縦ラインの画素群の画素値に対する重みとして未定サンプリングポインタ位置に記録する。
【０１０８】
以上のようにすることで、対応点同士線分を用いて未定サンプリングポインタ位置に光線空間データを記録することができる。しかし、対応点同士線分を用いて未定サンプリングポインタ位置に光線空間データを記録する方法は上述の方法に限定されるものではなく、他の方法でも良い。例えば、図２０に示す方法も考えられる。
【０１０９】
図２０は、対応点同士線分を利用して未定サンプリングポインタ位置に光線空間データを記録させるための方法のうちの一つを説明する図である。
【０１１０】
夫々の対応点同士線分１９１０、１９１１、１９１２を含む、領域２００４（星形）、２００５（三角）と２００６（丸）を考える。各領域の境界は、対応点を結ぶ線分同士の中央にある。
【０１１１】
例えば未定サンプリングポインタ位置が２００２で示す位置である場合を例に取り説明すると、未定サンプリングポインタ位置に記録すべき重みの計算は以下の通りである。位置２００２から直線１９１０までの直線距離：位置２００２から直線１９１１までの直線距離＝７：３の場合、直線１９１０の両端のサンプリングポインタ位置（星形で示される位置）に記録されたサンプリングポインタ値が指す縦ラインの画像群の画素値の重みを３０％、直線１９１１の両端のサンプリングポインタ位置（三角で示される位置）に記録されたサンプリングポインタ値が指す縦ラインの画像群の画素値の重みを７０％とする（距離に反比例する場合）。
【０１１２】
当然、未定サンプリングポインタ位置に記録すべき特定データは、直線１９１０の両端のサンプリングポインタ位置を特定するデータ、直線１９１１の両端のサンプリングポインタ位置を特定するデータである。
【０１１３】
また上述のように、領域２００４と２００５の２つの領域における直線だけでなく３つの領域２００４，２００５，２００６における直線を利用することも考えられる。例えば未定サンプリングポインタ位置が２００３で示す位置である場合に、未定サンプリングポインタ位置と各領域における直線１９１０，１９１１，１９１２との直線距離に応じて、直線１９１０の両端のサンプリングポインタ位置（星形で示される位置）に記録されたサンプリングポインタ値が指す縦ラインの画像群の画素値の重みを４％、直線１９１１の両端のサンプリングポインタ位置（三角で示される位置）に記録されたサンプリングポインタ値が指す縦ラインの画像群の画素値の重みを９０％、直線１９１２の両端のサンプリングポインタ位置（三角で示される位置）に記録されたサンプリングポインタ値が指す縦ラインの画像群の画素値の重みを６％としてもよい。
【０１１４】
以上説明した処理により、未定サンプリングポインタ位置に記録すべき光線空間データを作成する際に、被写体の幾何学形状情報を考慮し、補間されたサンプリングポインタ位置に１つ以上のサンプリングポインタ値とそのポインタが指す画像群の画素値の重みを格納することで、任意視点の再構成画像の画質を上げることができる。
【０１１５】
［第３の実施形態］
第１、２の実施形態では、未定サンプリングポインタ位置には１つ以上の特定データと、重みとを光線空間データとして記録することで、任意視点画像の再構成時における再構成画像の画質を向上させることができた。
【０１１６】
本実施形態では、注目の未定サンプリングポインタ位置に記録されるべき光線空間データとしては、すべての未定サンプリングポインタ位置の夫々に対する画素値を求め、求めた画素値の集合である画像において上記注目の未定サンプリングポインタ位置に対応する画素値（画素）を指すサンプリングポインタ値を用いる。
【０１１７】
本実施形態に係る、未定サンプリングポインタ位置に記録すべき光線空間データを生成し、生成した光線空間データを未定サンプリングポインタ位置に記録する一連の処理について、同処理のフローチャートを示す図２１を参照して説明する。なお、同図において、図１４に示した各ステップと同じものについては同じステップ番号を付けており、その説明を省略する。よって、ステップＳ２１０１，ステップＳ２１０２について説明する。
【０１１８】
ステップＳ２１０１では、注目の未定サンプリングポインタ位置の近傍の夫々のサンプリングポインタ位置に対応する画素値と、夫々の画素値に対して求めた重みとを夫々掛け合わせたものをすべて加算した結果を、図１８に示したフローチャートに従った処理により求める。求めた結果は、注目の未定サンプリングポインタ位置に対応する画素値として求めたものである。求めた画素値は順次ＲＡＭ１７０２に記録され、順次記録される画素値の集合は新たなサンプリング画像として形成される。
【０１１９】
またステップＳ２１０１では、注目の未定サンプリングポインタ位置に記録されるべき光線空間データとしてのサンプリングポインタ値として、ＲＡＭ１７０２上に形成されるサンプリング画像において、注目の未定サンプリングポインタ位置に対応する画素を指すサンプリングポインタ値を生成し、注目の未定サンプリングポインタ位置に記録する。
【０１２０】
そしてステップＳ２１０２では、各未定サンプリングポインタ位置に記録する光線空間データと、新たに形成したサンプリング画像を保存する。
【０１２１】
以上説明した処理により、新しい画素値を生成して新たなサンプリング画像として保存し、さらにその生成されたサンプリング画像へのサンプリングポインタ値を注目の未定サンプリングポインタ位置に記録することで、任意視点画像の再構成時の画素値とその重みの積の計算と合計の計算を省略できるので、任意視点画像の再構成の速度を上げつつ、再構成画像の画質を上げることができる。
【０１２２】
［第４の実施形態］
第１、２の実施形態では、サンプリングポインタ位置は整数値で表現していた。ところが、実際に光線空間上に写像される直線上の各点（サンプリングポインタ位置）はほとんどが実数値となり、これらのサンプリングポインタ位置を整数値で表現していたのでは、実際の位置と整数値表現による位置とでずれが生じてしまう。この位置のずれが、任意視点における撮像画像の画質に影響することがある。
【０１２３】
本実施形態では、サンプリングポインタ位置を整数ではなく、浮動小数で表す。特定データとサンプリングポインタ値が指す画像群の画素値の重みの決定方法は、第２の実施形態で説明した方法を採用しても良い。
【０１２４】
図２２は本実施形態に係る、多視点画像から光線空間データへのマッピングを説明する図である。２２０１は光線空間で、２２０２は多視点画像中の１枚の画像に対する線分、２２０３は多視点画像中のもう１枚の画像に対する線分である。線分２２０３上には白星形（２２０４）、白三角（２２０５）と白丸（２２０６）の各サンプリングポインタ位置が存在する。また同図には、白星形（２２０４）、白三角（２２０５）と白丸（２２０６）の夫々のサンプリングポインタ位置の対応点である線分２２０２上の黒星形（２２０７）、黒三角（２２０８）と黒丸（２２０９）の各サンプリングポインタ位置が存在する。
【０１２５】
１つの未定サンプリングポインタ位置に対する特定データとサンプリングポインタ値が指す画像群の画素値の重みの求め方は、上述の実施形態で用いたいずれの方法を用いても良いが、その際、未定サンプリングポインタ位置、サンプリングポインタ位置が整数でないことのみが異なる。しかし本実施形態の場合、２２１０で示した未定サンプリングポインタ位置に記録すべき光線空間データを求める場合には例えば以下説明するような方法がある。
【０１２６】
まず、線分２２０３上の各サンプリングポインタ位置を中心として互いに重ならないような領域（同図では各サンプリングポインタ位置毎に網掛けの部分で示す領域が設けられている）を設定する。
【０１２７】
このようにすると、２２１０で示す未定サンプリングポインタ位置にはサンプリングポインタ位置２２０５を中心とした領域（第１の領域）とサンプリングポインタ位置２２０６を中心とした領域（領域２）とが、ある割合で重なっている。ここで未定サンプリングポインタ位置２２１０の面積に対して領域１が４５％、領域２が３５％重なっている場合、未定サンプリングポインタ位置２２１０には、サンプリングポインタ位置２２０５とサンプリングポインタ位置２２０６の夫々を特定するための特定データと、夫々のサンプリングポインタ位置に記録されたサンプリングポインタ値が示す画素値に対する重み４５％と３５％（上記各領域の割合）とを光線空間データとして記録する。
【０１２８】
このような未定サンプリングポインタ位置、すなわち各サンプリングポインタ位置毎に設定された領域が重なっている未定サンプリングポインタ位置には上述の処理を適用することで、光線空間データを求め、記録することができる。
【０１２９】
なお、各サンプリングポインタ位置毎に設定する領域は、図２２に例示するようなものに限定されるものではない。
【０１３０】
多視点画像の光線空間データへのマッピング処理が終了したら、以降の処理は上述のいずれの実施形態に従った処理を行う。
【０１３１】
以上説明した処理によって、多視点画像の光線空間データへのマッピングの際、サンプリングポインタ位置を整数にすることによる上記写像位置誤差が再構成画像に与える画質の影響を軽減することができ、再構成画像の画質を上げることができる。
【０１３２】
［その他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１３３】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３４】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３５】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【０１３６】
【発明の効果】
以上の説明により、本発明によって、光線空間データを用いて任意視点の画像を再構成する際の画質を向上させることができる。
【図面の簡単な説明】
【図１】光線空間を説明する図である。
【図２】実空間中の点Ｐを通る光線群２０１乃至２０４を示す図である。
【図３】図２に示した点Ｐを通る光線群２０１乃至２０４をｘ−ｕ区間上に写像した場合の直線を示す図である。
【図４】図４はＮ台のカメラにより現実空間を撮像する様子を示す模式図である。
【図５】図５は図４に示したＮ台のカメラにより撮像された夫々の撮像画像をｘ−ｕ空間に写像することで得られる直線群を示す図である。
【図６】図６は、新しい任意の視点位置における観察画像を生成するためのｘ−ｕ空間における直線を示す図である。
【図７】図７は新しい任意の視点位置を示す図である。
【図８】図８は被写体８０９の光線空間データを作成するために、複数の視点位置で被写体８０９を撮像する様子を示す図である。
【図９】図９はカメラ８０１から８０８のうち、いずれか２つの隣接したカメラにより撮像された被写体の画像９０１，９０２を示す図である。
【図１０】図１０は夫々の画像を光線空間にマッピングすることで得られる夫々の直線を示す図である。
【図１１】図１１は多視点画像と光線空間との関係を示す図である。
【図１２】量子化された光線空間データ１２０１を示す図である。
【図１３Ａ】本発明の第１の実施形態に係る、未定サンプリングポインタ位置に記録すべき光線空間データを生成する処理を説明するための図である。
【図１３Ｂ】サンプリングポインタ位置１３１０に格納する光線空間データを示す図である。
【図１４】未定サンプリングポインタ位置に記録すべき光線空間データを生成し、生成した光線空間データを未定サンプリングポインタ位置に記録する一連の処理のフローチャートである。
【図１５】未定サンプリングポインタ位置に記録する光線空間データを登録するための表の一例を示す図である。
【図１６】全てのサンプリングポインタ位置に光線空間データを記録する処理を行う光線空間データ処理装置として機能するコンピュータの外観図である。
【図１７】図１６に示すコンピュータの基本構成を示すブロック図である。
【図１８】図１４に示したフローチャートに従って全てのサンプリングポインタ位置に光線空間データを生成する処理に従って生成した光線空間データを用いて、任意視点から見た撮像画像を生成する処理のフローチャートである。
【図１９】本発明の第２の実施形態に係る、未定サンプリングポインタ位置に記録すべき光線空間データを生成する処理を説明するための図である。
【図２０】対応点同士線分を利用して未定サンプリングポインタ位置に光線空間データを記録させるための方法のうちの一つを説明する図である。
【図２１】本発明の第３の実施形態に係る、未定サンプリングポインタ位置に記録すべき光線空間データを生成し、生成した光線空間データを未定サンプリングポインタ位置に記録する一連の処理のフローチャートである。
【図２２】本発明の第４の実施形態に係る、多視点画像から光線空間データへのマッピングを説明する図である。

Claims

撮像画像のデータを光線空間に光線空間データ群として写像し、前記光線空間データ群の夫々を前記光線空間の対応する位置に記録する処理を複数の撮像画像に対して行う光線空間データ処理方法であって、
前記光線空間において、夫々の撮像画像の光線空間データ群の何れも記録されない第１の位置と、当該第１の位置の近傍であって、夫々の前記撮像画像の光線空間データの何れかが記録された複数の第２の位置との夫々の関連の度合を示すデータ群を、第１のデータとして求める計算工程と、
前記複数の第２の位置の夫々を特定する第２のデータと、前記第１のデータとを光線空間データとして前記第１の位置に記録すべきデータとして生成する生成工程と
を備えることを特徴とする光線空間データ処理方法。
前記計算工程では前記第１のデータとして、前記第１の位置と前記複数の第２の位置の夫々との距離に基づいて、前記複数の第２の位置の夫々に対応する撮像画像中の画素値に対する重みを求めることを特徴とする請求項１に記載の光線空間データ処理方法。
前記計算工程では前記第１のデータとして、２つの撮像画像の夫々の光線空間データ群において、対応する光線空間データ間を結ぶ線分群のうち、前記第１の位置近傍の２つの線分の夫々と前記第１の位置との距離に基づいて、前記２つの線分の夫々の両端に位置する光線空間データに対する重みを求めることを特徴とする請求項１に記載の光線空間データ処理方法。
前記第１の位置を含む第１の領域が前記第１の位置毎に、前記第２の位置を含む第２の領域が前記第２の位置毎に設けられており、
前記計算工程では前記第１のデータとして、１つ以上の前記第２の領域が前記第１の領域に重なる割合に基づいて、前記第１の領域に重なる前記第２の領域に含まれる夫々の前記第２の位置に対応する撮像画像中の画素値に対する重みを求めることを特徴とする請求項１に記載の光線空間データ処理方法。
夫々の視点における撮像画像を光線空間に写像することで得られる、夫々の視点毎の第１の光線空間データ群と、１つ以上の当該第１の光線空間データ群を用いて生成された第２の光線空間データ群とを含む第３の光線空間データ群を用いて、所望の視点における撮像画像を生成する光線空間データ処理方法であって、
前記第３の光線空間データから、所望の視点に対応する第４の光線空間データ群を特定する特定工程と、
前記第４の光線空間データ群において、前記第１の光線空間データ群と共有する光線空間データが存在する場合には、当該共有する光線空間データの写像元である撮像画像の画素値を順次メモリ上に記録する第２の記録工程と、
前記第４の光線空間データ群において、前記第２の光線空間データ群と共有する光線空間データが存在する場合には、当該共有する光線空間データが示す、参照すべき光線空間データ群と、当該光線空間データ群の写像元である撮像画像の画素値に対する重みとを用いて、前記共有する光線空間データに対応する画素値を求める計算工程と、
前記計算工程が求めた画素値を順次前記メモリ上に記録する第２の記録工程とを備え、
前記第１、第２の記録工程の夫々で前記メモリ上に順次記録した画素値群は、前記所望の視点における撮像画像を構成する画素値群であることを特徴とする光線空間データ処理方法。
撮像画像のデータを光線空間に光線空間データ群として写像し、前記光線空間データ群の夫々を前記光線空間の対応する位置に記録する処理を複数の撮像画像に対して行う光線空間データ処理方法であって、
前記光線空間において、前記夫々の撮像画像の光線空間データ群のいずれも記録されない第１の位置と、当該第１の位置の近傍であって、前記夫々の撮像画像の光線空間データのいずれかが記録された複数の第２の位置の夫々との関連の度合いに応じた関連データ群を、前記第１の位置に記録すべきデータとして求めるデータ計算工程と、
夫々の前記第２の位置に記録された光線空間データ対応する撮像画像中の画素の画素値と、夫々の前記第２の位置に対する前記関連データとに基づいて計算される画素値を、前記第１の位置に対応する画素の画素値として求める画素値計算工程と、
前記光線空間において、前記第１の位置に相当するすべての位置に対して前記画素値計算工程が計算する画素値を順次メモリ上に保持する保持工程とを備え、
前記第１の位置に記録すべきデータは、前記第１の位置に対応する画素を特定するデータであることを特徴とする光線空間データ処理方法。
撮像画像のデータを光線空間に光線空間データ群として写像し、前記光線空間データ群の夫々を前記光線空間の対応する位置に記録する処理を複数の撮像画像に対して行う光線空間データ処理装置であって、
前記光線空間において、夫々の撮像画像の光線空間データ群の何れも記録されない第１の位置と、当該第１の位置の近傍であって、夫々の前記撮像画像の光線空間データの何れかが記録された複数の第２の位置との夫々の関連の度合を示すデータ群を、第１のデータとして求める計算手段と、
前記複数の第２の位置の夫々を特定する第２のデータと、前記第１のデータとを光線空間データとして前記第１の位置に記録すべきデータとして生成する生成手段と
を備えることを特徴とする光線空間データ処理装置。
夫々の視点における撮像画像を光線空間に写像することで得られる、夫々の視点毎の第１の光線空間データ群と、１つ以上の当該第１の光線空間データ群を用いて生成された第２の光線空間データ群とを含む第３の光線空間データ群を用いて、所望の視点における撮像画像を生成する光線空間データ処理装置であって、
前記第３の光線空間データから、所望の視点に対応する第４の光線空間データ群を特定する特定手段と、
前記第４の光線空間データ群において、前記第１の光線空間データ群と共有する光線空間データが存在する場合には、当該共有する光線空間データの写像元である撮像画像の画素値を順次メモリ上に記録する第２の記録手段と、
前記第４の光線空間データ群において、前記第２の光線空間データ群と共有する光線空間データが存在する場合には、当該共有する光線空間データが示す、参照すべき光線空間データ群と、当該光線空間データ群の写像元である撮像画像の画素値に対する重みとを用いて、前記共有する光線空間データに対応する画素値を求める計算手段と、
前記計算手段が求めた画素値を順次前記メモリ上に記録する第２の記録手段とを備え、
前記第１、第２の記録手段の夫々が前記メモリ上に順次記録した画素値群は、前記所望の視点における撮像画像を構成する画素値群であることを特徴とする光線空間データ処理装置。
撮像画像のデータを光線空間に光線空間データ群として写像し、前記光線空間データ群の夫々を前記光線空間の対応する位置に記録する処理を複数の撮像画像に対して行う光線空間データ処理装置であって、
前記光線空間において、前記夫々の撮像画像の光線空間データ群のいずれも記録されない第１の位置と、当該第１の位置の近傍であって、前記夫々の撮像画像の光線空間データのいずれかが記録された複数の第２の位置の夫々との関連の度合いに応じた関連データ群を、前記第１の位置に記録すべきデータとして求めるデータ計算手段と、
夫々の前記第２の位置に記録された光線空間データ対応する撮像画像中の画素の画素値と、夫々の前記第２の位置に対する前記関連データとに基づいて計算される画素値を、前記第１の位置に対応する画素の画素値として求める画素値計算手段と、
前記光線空間において、前記第１の位置に相当するすべての位置に対して前記画素値計算手段が計算する画素値を順次保持する保持手段とを備え、
前記第１の位置に記録すべきデータは、前記第１の位置に対応する画素を特定するデータであることを特徴とする光線空間データ処理装置。
コンピュータに請求項１乃至６の何れか１項に記載の光線空間データ処理方法を実行させることを特徴とするプログラム。
コンピュータを請求項７乃至９に何れか１項に記載の光線空間データ処理装置として機能させることを特徴とするプログラム。
請求項１０又は１１に記載のプログラムを格納することを特徴とするコンピュータ読み取り可能な記憶媒体。