JP2008015756A - 局所領域分割による自由視点画像の生成方法、装置およびプログラム - Google Patents

Abstract

【課題】奥行き視差が無視できない場合でも、光線情報の補間処理を容易に行うことができる自由視点画像を生成すること。
【解決手段】 被写体を取り囲む実空間（例えば、円周上）に、光軸が水平な複数のカメラを配置した環境において、該円周上の任意の視点の画像を生成する。実空間を複数の局所領域に分割し（Ｓ３）、局所領域を選択する（Ｓ５）。次に、全カメラの光軸が選択した局所領域を向くように、各カメラの画像座標系を回転座標変換する（Ｓ６）。次いで、画像上の局所領域のスケールが揃うように、各カメラの画像を拡大または縮小変換する（Ｓ７）。次に、イメージ・ベースド・レンダリングの手法などを用いて、局所領域内のみの自由視点画像を生成する（Ｓ８）。次に、前記Ｓ７，Ｓ６の逆変換（Ｓ９，Ｓ１０）する。その後、前記のようにして得た各局所領域の自由視点画像を合成する（Ｓ１２）。
【選択図】 図３

Description

本発明は、局所領域分割による自由視点画像の生成方法、装置およびプログラムに関し、特に、被写体を取り囲むように、光軸が水平な複数のビデオカメラ（以下、単にカメラと呼ぶ）を配置し、該カメラにより撮影した被写体の画像を用いて自由視点画像を生成する方法、装置およびプログラムに関する。

近年、画像処理技術や画像通信技術の発達に伴い、次世代の画像コンテンツとして、３次元自由視点画像が注目されている。そこで、被写体の周囲にビデオカメラを配置して撮影した多視点画像を用いて全周囲自由視点画像を生成する技術が、研究、開発されている。

この場合、任意の視点に対応するように、被写体の周りにカメラを密に配置すると、カメラの台数が多くなり、高コストとなり、現実的ではない。そこで、カメラを、被写体の周りに疎に配置することが行われるが、このようにすると、ビデオカメラ間の画像が得られなくなる。

この不具合を解決するために、従来、カメラによって撮影されない視点からの画像を、イメージ・ベースド・レンダリングを用い、画像間の画像を補間することによって生成する方法が提案されている。

多視点画像間の補間を行うイメージ・ベースド・レンダリングの代表的な方法として、「光線空間方式」があり、該光線空間方式を用いた補間画像の生成を説明する技術文献として、下記の特許文献１、２に示されているものがある。
特開２００４−２５８７７５号公報 特開平１０−１１１９５１号公報

しかしながら、被写体が実空間中に広範囲に分布していて、奥行きの違いによる視差（奥行き視差）が大きい場合には、前記従来技術によって奥行き視差を補正しようとすると、光線情報の補間処理が煩雑になり、実用的ではないという課題があった。

本発明は、前記従来技術の課題に鑑みてなされたものであり、その目的は、奥行き視差が無視できない場合でも、光線情報の補間処理を容易に行うことができる自由視点画像の生成方法、装置およびプログラムを提供することにある。

前記した目的を達成するために、本発明は、光軸が水平な複数のカメラが、被写体を取り囲むように配置されており、該被写体を撮影した該カメラの画像を用いて、任意の視点の画像を生成する自由視点画像生成方法であって、実空間を局所領域に分割する第１のステップと、前記局所領域のそれぞれで、前記カメラのそれぞれの光軸が該局所領域を向くように、該カメラの内部パラメータを用いて、該カメラのそれぞれのカメラ座標系を変換する第２のステップと、前記局所領域のそれぞれで、前記カメラのそれぞれと被写体との距離の情報を用いて、前記画像上の該局所領域のスケールが揃うように、該画像を拡大または縮小変換する第３のステップと、前記局所領域のそれぞれで、イメージ・ベースド・レンダリングの手法などを用いて、該局所領域内のみの自由視点画像を生成する第４のステップと、前記局所領域のそれぞれで、前記自由視点画像を、画像上の該局所領域が当初のスケールとなるように、該自由視点画像を拡大または縮小変換する第５のステップと、前記局所領域のそれぞれで、前記自由視点画像を、前記カメラのそれぞれの光軸が当初の方向を向くように、該カメラの内部パラメータを用いて、該カメラのそれぞれのカメラ座標系を変換する第６のステップとを有している点に特徴がある。

また、上記と同じ処理をする装置、および前記と同じ処理をコンピュータにさせるプログラムを提供する点に特徴がある。

本発明の自由視点画像の生成方法、装置およびプログラムによれば、実空間を奥行き視差の無視できる小さな局所領域に分割し、それぞれの局所領域に対して個別にイメージ・ベースド・レンダリングの手法を適用して補間を行うようにしたので、被写体が実空間中の広範囲に分布していて奥行きの違いによる視差が大きい場合であっても、光線情報の補間処理が容易になり、現実に近い実空間上の任意の視点の画像を生成することができるようになる。

以下に、本発明を、図面を参照して詳細に説明する。図１は、本発明における一実施形態の被写体とビデオカメラ（以下、単にカメラと呼ぶ）との位置関係を示す概念図である。

図示されているように、撮影対象２である被写体を取り囲む実空間１の外周（例えば、円周、楕円、四角形などの多角形の外周上）に、光軸が水平な複数のカメラ３ａ、３ｂ、３ｃ、・・・、３ｎが疎の間隔で配置されている。この被写体２には、無視できない奥行き視差があるものとする。本発明は、該カメラ３ａ、３ｂ、３ｃ、・・・、３ｎで撮影した画像を合成して、カメラの置かれていない仮想視点（例えば、３Ｘ）からの自由視点画像を得ようとするものである。

次に、図２のブロック図を参照して、本発明の一実施形態の自由視点画像生成装置１０の概略の構成を説明する。

まず、該自由視点画像生成装置１０は、前記被写体を取り囲む実空間１（図１参照）を複数の局所領域に分割する局所領域分割部１１、前記複数のカメラ３ａ、３ｂ、３ｃ、・・・、３ｎの位置情報や仮想視点位置情報や該カメラの内部パラメータ等を取得するカメラ位置情報・カメラパラメータ取得部１２、該複数のカメラ３ａ、３ｂ、３ｃ、・・・、３ｎからの画像情報を取得する画像取得部１３を有する。なお、前記局所領域分割部１１の機能の詳細は、図４、図５を参照して後述する。

局所領域選択部１４は、前記局所領域分割部１１で分割された局所領域を選択する。視線回転変換部１５は、該選択された局所領域の各カメラ画像を画像取得部１３から得て、該局所領域の画像が画像の中央に位置するように、各カメラの画像座標系の回転座標変換を行う。拡大縮小部１６は、該画像の回転変換をしただけでは、カメラから被写体までの距離が異なるという理由により、各視点で被写体の大きさが異なるものとなるため、被写体の大きさを揃えるため、各カメラの画像を拡大または縮小の処理を行う。

自由視点画像生成部１７は、該局所領域の画像に、イメージ・ベースド・レンダリングの手法などを用いて、該局所領域内のみの自由視点画像を生成する。また、仮想視点位置の画像を抽出し記憶する。逆拡大縮小部１８は、画像上の該局所領域が当初のスケールとなるように、該自由視点画像を拡大または縮小変換する。逆視線回転変換部１９は、前記局所領域に対し、前記カメラのそれぞれの光軸が当初の方向を向くように、該カメラの内部パラメータを用いて、該カメラのそれぞれの座標系を変換する。該逆視線回転変換部１９の機能が実行されると、再度、前記局所領域選択部１４により他の局所領域が選択され、前記と同じ機能が繰り返される。

以上の動作により、全ての局所領域の仮想視点画像が得られると、局所領域合成部２０は、上記の構成により得られた複数の局所領域の仮想視点の自由視点画像を合成する。自由視点画像出力部２１は、該局所領域合成部２０で合成された仮想視点画像（自由視点画像）を出力する。

次に、前記自由視点画像生成装置１０の機能の概要を、図３のフローチャートを参照して説明する。

ステップＳ１では、全部のカメラの位置情報とカメラの内部パラメータ、例えばその焦点距離ｆ、および仮想視点位置の情報を入力する。なお、各カメラは、同じ内部パラメータを有するものとする。ステップＳ２では、全部のカメラの画像を取得する。ステップＳ３では、実空間１を局所領域に分割する。ステップＳ４では、前記カメラの中に光軸が水平でないものがある場合には、このカメラの光軸が水平になるように画像の回転変換を行う。ステップＳ５では、局所領域を選択する。なお、前記ステップＳ４の処理は、ステップＳ５の後であってもよい。

ステップＳ６では、全カメラの光軸が、選択した局所領域を向くように、各カメラの画像座標系を回転座標変換する。換言すれば、該局所領域が画像の中央に位置するように、画像の回転変換を行う。ステップＳ７では、該画像上の局所領域のスケールが揃うように、各カメラの画像を拡大または縮小変換する。
ステップＳ８では、該局所領域の画像に、イメージ・ベースド・レンダリングの手法などを用い、補間処理を行うなどをして、該局所領域内のみの自由視点画像を生成する。この処理の詳細は、図１１を参照して後述する。

ステップＳ９では、該自由視点画像から仮想視点位置画像を抽出し、画像上の該局所領域が当初のスケールとなるように、抽出した前記仮想視点位置画像を拡大または縮小変換する。ステップＳ１０では、全カメラの光軸が当初の方向を向くように、各カメラの画像座標系を回転座標変換する。この結果、前記選択された局所領域の仮想視点位置画像が得られる。

次に、ステップＳ１１では、全ての局所領域の処理が終了したか否かの判断がなされ、処理されていない局所領域がある場合には、ステップＳ５に戻って、該処理されていない他の局所領域が選択される。以上のようにして、全ての局所領域に対する処理が終了する（ステップＳ１１の判断が肯定）と、各局所領域の仮想視点位置画像が得られることになる。次のステップＳ１２では、前記仮想視点位置から見た全ての局所領域の画像が合成され、ステップＳ１３では、仮想視点位置画像として出力される。

次に、前記した自由視点画像または仮想視点位置画像の生成処理について、以下に、詳細に説明する。

まず、前記実空間１を、図４、図５に示されているように、局所領域４ａ、４ｂ、４ｃ、４ｄ、・・・、４ｎに分割する。分割された各局所領域４ａ、４ｂ、４ｃ、４ｄ、・・・、４ｎは、図４に示されているように、円筒の形状５が好適である。また、図示されているように、重複する領域は最小限にしつつ、撮影した舞台の全体を余す所なく覆っている必要がある。一例として、カメラが円周上に配置されている場合を考えると、各局所領域の中心の座標は、下記で表される局所領域に分割することが望ましい。

ここで、ａは局所領域の半径、ｋ、ｌは任意の整数、Ｒは中心からカメラまでの距離である。

他の例として、カメラが矩形の実空間１上に配置されている場合を考えると、各局所領域の中心の座標は、下記で表される局所領域に分割することが望ましい。

ここで、ａは局所領域の半径、ｋ、ｌは任意の整数、Ｈは被写体領域の矩形の横幅、Ｖは被写体領域の矩形の縦幅である。ただし、ｋが奇数の場合はｌも奇数であり、ｋが偶数の場合はｌも偶数となる。

また、カメラの光軸が水平でない場合は、光軸が水平になるように、画像の回転変換を次のように行う。

と置くと、以下の関係が成立する。

ここで、ｓはスカラーである。なお、上式は、例えば、共立出版発行の単行本「３次元ビジョン」（徐 剛、辻 三郎共著）の１８７頁の「２．３射影行列と外部変数」に記されているものを用いることができる。

次に、対象となる局所領域（例えば、図５の４ｍ）を選択し、該局所領域が画像の中央（例えば図５のＸ，Ｚ座標の原点）に位置するように、画像の回転変換を行う。

ここで、カメラが前記実空間の周りに、円周上または矩形上に配置されているとし、Ｎをカメラの台数、ｎをカメラのＩＤ、Ｒ_ｎを中心から第ｎカメラまでの距離、Θ_ｎを第ｎカメラの光軸の方位角とする。もし、カメラが円周上に配置されているなら、Ｒ_ｎは一定値になる（図６）。一方、もし、カメラが矩形上に配置されているなら、Ｒ_ｎ＝Ｈ／（２cosΘ_ｎ）またはＲ_ｎ＝V／（２cosΘ_ｎ）のように表される。Ｈ、Ｖは、それぞれ矩形の横幅、縦幅である。

一般に、カメラの光軸の方向は、物体（および、それを含む局所領域）の方向（図６の点線矢印）と一致しない。そこで、カメラの光軸の方向を補正する。

いま、図７に示されているように、Ｚ軸を方位角の基準線とし、θ_ｎを第ｎカメラの光軸の補正した方位角、θを被写体４ｍの位置の方位角、Θ_ｎを第ｎカメラの光軸の方位角、ｒを中心から被写体までの距離とし、ｒ_ｎ＝ｒ／Ｒ_ｎ（Ｒ_ｎに対する中心から被写体までの距離比の値を示す）と置くと、次式が成立する。

以上より、画像を上式から求められる角度（θ_ｎ−Θ_ｎ）だけ回転変換すれば、図８に示すように、局所領域４ｍが画像１’の中央に来ることになる。

次に、角度（θ_ｎ−Θ_ｎ）の回転変換を行った画像の求め方を、以下に説明する。

と置くと、以下の関係が成立する。

ここで、ｓはスカラーである。上記の関係式を解くと（スカラーｓを消去する）、ディジタル画像座標の変換式は下式の通りになる。

上式に基づいて画像を回転変換し、被写体を画像の中央に移動させた画像を生成する。

次に、画像を回転変換しただけでは、カメラから被写体までの距離が異なるという理由により、各視点で被写体の大きさが異なってしまうことになる。そこで、画像の原点（画像の中心）を固定して拡大もしくは縮小することにより、被写体の大きさを揃える。各視点の画像内の被写体の大きさは、カメラから被写体までの距離に反比例するので、

と置くと、その拡大／縮小率は、下記の式で計算できる。

以上より、次の式が成り立つ。

上記の画像の回転変換と拡大・縮小を合成すると、下記の式になる。

次に、変換した画像を用いて、円筒座標光線空間を構築する。まず、光線空間について説明する。

図９のように、実空間が境界面Ｓによって「記述される空間」と「観察者の居る空間」に分割されている場合を考える。光線は、実空間内を干渉や減衰等の影響を受けずに直進するものと仮定する。図８の局所領域４ｍの位置に視点を置いた時の画像は、図９の境界面Ｓを通過して該局所領域４ｍまで到達する光線の情報を集めることによって仮想的に合成できる。

さらに、以下のようにして、境界面Ｓの形状に依存しない射影法を定式化できる。まず、光線の進行方向に軸を取ると、光線の伝搬に伴う変化はこの軸に沿って記録されることになる。この軸をＲ軸と表記しＸＹＺ座標系の代わりにＲ軸を含む位置座標系としてＰＱＲ座標系なるものを考える。Ｒ軸に沿った光線の通過位置情報を記述できる。

具体的には、図１０に示すように、Ｘ、Ｙ、Ｚ各軸を、Ｙ軸を中心としてθ回転した後でＺ軸だけＸ軸回りにφ回転したものをそれぞれ、Ｐ、Ｑ、Ｒ軸と定義している。位置（Ｘ，Ｙ，Ｚ）を（θ，φ）方向に伝搬する光線の情報は、以下の変換式で求められる位置（Ｐ，Ｑ）に記録すればよい。

Ｐ＝Ｘcosθ−Ｚsinθ

Ｑ＝−Ｘsinθtanφ＋Ｙ−Ｚcosθtanφ

この変換によって、ＰＱ平面には、空間を正投影した情報が記録されることになる。前記変換式のＰおよびＱを用いると、５次元光線空間ｆ（Ｘ，Ｙ，Ｚ，θ，φ）は、４次元光線空間ｆ（Ｐ，Ｑ，θ，φ）に変換される。

画像情報は、「実空間内の１点を通過する光線情報の集合」とみなすことができる。したがって、カメラ位置（Ｘｃ，Ｙｃ，Ｚｃ）において撮影された画像情報を光線空間中に格納する場合は、式ｆ（θ，φ）｜Ｘ＝Ｘｃ，Ｙ＝Ｙｃ，Ｚ＝Ｚｃで現される領域に記録されている光線情報を切り出せばよい。このように、画像の撮影は「光線情報のサンプリング」、画像の合成は「光線空間からの光線情報の切り出し」ととらえることができる。

４次元に射影された光線空間ｆ（Ｐ，Ｑ，θ，φ）の場合は、カメラの撮影位置（Ｘｃ，Ｙｃ，Ｚｃ）および光線の方向（θｃ，φｃ）を上記の２つの変換式に代入して（Ｐｃ，Ｑｃ）を求め、（Ｐｃ，Ｑｃ，θｃ，φｃ）に撮影された光線情報を格納すればよい。図１１に、光線空間の例を示す。便宜上、Ｐθ平面を示す。横軸がＰ軸、縦軸がθ軸である。

ある固定された１点で撮影した画像の光線情報は、上記の２つの変換式のうちの第１式で、ＸとＺを一定とすれば明らかなように、Ｐθ平面上では、正弦曲線の形に格納される。図１１の光線空間の合成に使用した撮影画像は、円周上に配置したカメラから中心へ向けて撮影した円周多視点画像であり、並んだ直線の領域の光線情報が得られている。

任意の仮想視点からの画像を合成する場合は、構築した光線空間からの適切な領域の光線情報を切り出せばよい。この場合の切り出し領域は、視点位置（Ｘ_０，Ｙ_０，Ｚ_０）および光線の方向（θ_０，φ_０）を前記変換式に代入して求めた（Ｐ_０，Ｑ_０）を用いてｆ（Ｐ_０，Ｑ_０，θ_０，φ_０）で表現される。

以上の手法を用いることによって、理論的には、任意視点位置からの画像を合成できる。現実には、全ての光線の情報を撮影することは困難であり、実際の撮影では、図１１の左図のような疎な光線空間が構築されることになる。この図は疎に配置された３０個のカメラを用いた場合の例であり、左図の横方向の３０本の光線が該３０個のカメラから撮影された光線に対応する。このため、撮影の行われていない光線の情報を仮想的に予測して合成する必要がある。予め、光線空間ｆ（Ｐ，Ｑ，θ，φ）を充填しておくことにより、この問題は解決される。

図１１の左図の光線空間のＰθ断面を補間した結果を、図１１の右図に示す。この右図には、図１１の左図に示すような疎な光線空間から、その構造性を反映した密な光線空間が得られており、この光線空間から任意の仮想視点位置に対応する光線を取り出せば、該仮想視点の光線（画像）が得られることになる。なお、光線空間のＰθ断面では、似た色と輝度値の領域は正弦曲線上に並んでいる。

上記のようにして、光線空間方式を用いて補間を行った後に、仮想視点からの局所領域を見た場合の画像に対し、逆変換を施す。具体的には、下式に従う変換を行う。

ここで、Θは仮想視点の方位角、Ｒは中心から仮想視点までの距離、ｒ_ｉ＝ｒ／Ｒ_ｉ、

である。

以上の変換を行った後、仮想視点から見て奥から手前へと局所領域を上書きしていくことにより、最終的な、奥行きがある画像の自由視点画像（仮想視点位置画像）が得られる。なお、後から上書きされると予め判っている局所領域は、最初から描画しないことによって、処理を高速化することができる。

図１２、図１３および図１４は、本発明により具体的シミュレーションした結果の一例を示す図である。

図１２は、実際にカメラが置かれている２カ所の実視点０°、４０°での３つの局所領域（領域１，２，３）の画像を補間して得た、仮想視点２０°の各局所領域の仮想視点位置画像を示す図である。また、図１３は、前記領域１，２，３の仮想視点位置画像を合成して得た画像を示す図である。また、図１４は、前記実視点０°、４０°の画像と、仮想視点２０°の画像を、比較できるように並べた図である。図１４から、仮想視点２０°の画像が良好に生成されることが判る。

次に、本発明の自由視点画像生成装置のシステム構成の概略を図１５に示す。図示されているように、該自由視点画像生成装置は、前記実空間１の円周の周囲に配置された複数のカメラからの画像を入力するカメラ画像入力装置３１と、カメラ内パラメータや複数の実空間の位置データなどが入力されるキーボードやマウスなどの入力装置３２と、本発明の要部である自由視点画像生成プログラムなどが格納されているＲＯＭ３３と、該ＲＯＭに格納されているプログラムに従って処理手順を実行するＣＰＵ３４と、該ＣＰＵ３４の処理により作成された自由視点画像などを蓄積する画像データ記憶装置３５と、ディスプレイ装置（ＣＲＴや液晶などのディスプレイ）などの画像出力装置３６と、前記したそれぞれの構成要素を結合するバス３７から構成されている。なお、前記自由視点画像生成プログラムは、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気テープなどの外部記憶装置に記憶させておき、処理の実行時に該外部記憶装置を図示されていないデータ読み込み装置にセットして、ＣＰＵ３６などに供給するようにしてもよい。

該ＲＯＭ３３には、実空間を局所領域に分割する局所領域分割手段と、該局所領域のそれぞれで、前記カメラのそれぞれの光軸が該局所領域を向くように、該カメラの内部パラメータを用いて、該カメラのそれぞれのカメラ座標系を変換する視線回転変換手段と、該局所領域のそれぞれで、前記カメラのそれぞれと被写体との距離の情報を用いて、前記画像上の該局所領域のスケールが揃うように、該画像を拡大または縮小変換する拡大縮小手段と、該局所領域のそれぞれで、イメージ・ベースド・レンダリングの手法などを用いて、該局所領域内のみの自由視点画像を生成する自由視点画像生成手段と、該局所領域のそれぞれで、前記自由視点画像を、画像上の該局所領域が当初のスケールとなるように、該自由視点画像を拡大または縮小変換する逆拡大縮小手段と、該局所領域のそれぞれで、前記自由視点画像を、前記カメラのそれぞれの光軸が当初の方向を向くように、該カメラの内部パラメータを用いて、該カメラのそれぞれのカメラ座標系を変換する逆視線回転変換手段としてＣＰＵ３４を機能させるための自由視点生成プログラムが格納されている。なお、前記手段の処理の詳細は、前記した通りである。

カメラが疎の間隔に配置された多視点映像の撮影現場の概念図である。 本発明の自由視点画像生成装置の一実施形態の構成を示すブロック図である。 本発明の自由視点画像生成方法の一実施形態の処理手順を示すフローチャートである。 実区間を局所領域に分割する一例の説明図である。 分割された局所領域を上から見た場合の図である。 被写体が位置する局所領域がその中心にない場合の、実際の位置関係（実線矢印）と視線の回転変換（点線矢印）の説明図である。 仮想円周と各方位角などの説明図である。 局所領域仮想円周の中央にくるように回転変換した場合の説明図である。 射影に基づく光線情報の記述の説明図である。 円筒型光線空間座標系の定義の説明図である。 光線空間の補間処理の具体例を示す図である。 局所領域の補間の具体例を示す図である。 局所領域の統合の具体例を示す図である。 自由視点映像の生成結果と実視点画像の具体例を示す図である。 本発明の自由視点画像生成システムの一実施形態の構成を示すブロック図である。

符号の説明

１・・・実空間（舞台）、２・・・被写体、３ａ、３ｂ、・・・、３ｎ・・・ビデオカメラ（カメラ）、３Ｘ・・・仮想視点、４ｍ・・・局所領域、１０・・・自由視点画像生成装置、１１・・・局所領域分割部、１２・・・カメラ位置情報・カメラパラメータ取得部、１３・・・画像取得部、１４・・・局所領域選択部、１５・・・視線回転変換部、１６・・・拡大縮小部、１７・・・自由視点画像生成部、１８・・・逆拡大縮小部、１９・・・逆視線回転変換部、２０・・・局所領域合成部、２１・・・自由視点画像出力部、３１・・・カメラ画像入力装置、３２・・・入力装置、３３・・・ＲＯＭ（自由視点画像生成プログラム）、３４・・・ＣＰＵ、３５・・・画像データ記憶装置、３６・・・画像出力装置。

Claims (12)

1. 光軸が水平な複数のカメラが、被写体を取り囲むように配置されており、該被写体を撮影した該カメラの画像を用いて、任意の視点の画像を生成する自由視点画像生成方法であって、
   実空間を局所領域に分割する第１のステップと、
   前記局所領域のそれぞれで、前記カメラのそれぞれの光軸が該局所領域を向くように、該カメラの内部パラメータを用いて、該カメラのそれぞれのカメラ座標系を変換する第２のステップと、
   前記局所領域のそれぞれで、前記カメラのそれぞれと被写体との距離の情報を用いて、前記画像上の該局所領域のスケールが揃うように、該画像を拡大または縮小変換する第３のステップと、
   前記局所領域のそれぞれで、イメージ・ベースド・レンダリングの手法などを用いて、該局所領域内のみの自由視点画像を生成する第４のステップと、
   前記局所領域のそれぞれで、前記自由視点画像を、画像上の該局所領域が当初のスケールとなるように、該自由視点画像を拡大または縮小変換する第５のステップと、
   前記局所領域のそれぞれで、前記自由視点画像を、前記カメラのそれぞれの光軸が当初の方向を向くように、該カメラの内部パラメータを用いて、該カメラのそれぞれのカメラ座標系を変換する第６のステップと、
   を有することを特徴とする自由視点画像生成方法。
2. カメラの光軸が水平でない場合に、前記第１のステップの前段に、カメラの光軸が水平となるように、カメラ内部パラメータを用いて、カメラのカメラ座標系座標を変換するステップを設けることを特徴とする請求項１に記載の自由視点画像生成方法。
3. 局所領域の境界によって被写体が分断される場合に、前記第６のステップの後段に、局所領域のそれぞれの自由視点画像を統合するステップを設け、全体的な自由視点画像を生成することを特徴とする請求項１又は２に記載の自由視点画像生成方法。
4. 前記局所領域のそれぞれの自由視点画像を統合するステップは、局所領域を統合するに際して、自由視点画像の仮想視点の位置から遠い局所領域から先に描画し、近い局所領域を後から上書き描画することを特徴とする請求項３に記載の自由視点画像生成方法。
5. 前記局所領域のそれぞれの自由視点画像を統合するステップは、後から上書きされると予め判っている局所領域は、最初から描画しないことによって、処理を高速化することを特徴とする請求項３に記載の自由視点画像生成方法。
6. 前記第４のステップは、イメージ・ベースド・レンダリングの手法として光線空間方式を用いることを特徴とする請求項１に記載の自由視点画像生成方法。
7. 前記光線空間方式にあって、光線空間を補間する際に、前記第２のステップにおいてカメラ座標系を変換したことによる影響を補正した補間処理を行うことを特徴とする請求項７に記載の自由視点画像生成方法。
8. 前記光線空間方式にあって、、光線空間を補間する際に、補間の精度を向上させるために、画像上の被写体領域を抽出し、視体積交差法を用いて被写体の表面形状を導出する際に、中心射影を用いることを特徴とする請求項７に記載の自由視点画像生成方法。
9. 前記中心射影に代えて、計算が単純で高いキャリブレーション精度を要求せず時間がかからない正射影を用いて近似することを特徴とする請求項８に記載の自由視点画像生成方法。
10. 前記第１のステップは、各局所領域において中心と境界との距離が一定値以下となるために最適な領域分割にし、局所領域同士をオーバーラップさせることにより、統合した局所領域の間に隙間が生じないようにしたことを特徴とする請求項１ないし９のいずれかに記載の自由視点画像生成方法。
11. 光軸が水平な複数のカメラが、被写体を取り囲むように配置されており、該被写体を撮影した該カメラの画像を用いて、任意の視点の画像を生成する自由視点画像生成装置において、
    実空間を局所領域に分割する局所領域分割手段と、
    前記局所領域のそれぞれで、前記カメラのそれぞれの光軸が該局所領域を向くように、該カメラの内部パラメータを用いて、該カメラのそれぞれのカメラ座標系を変換する視線回転変換手段と、
    前記局所領域のそれぞれで、前記カメラのそれぞれと被写体との距離の情報を用いて、前記画像上の該局所領域のスケールが揃うように、該画像を拡大または縮小変換する拡大縮小手段と、
    前記局所領域のそれぞれで、イメージ・ベースド・レンダリングの手法などを用いて、該局所領域内のみの自由視点画像を生成する自由視点画像生成手段と、
    前記局所領域のそれぞれで、前記自由視点画像を、画像上の該局所領域が当初のスケールとなるように、該自由視点画像を拡大または縮小変換する逆拡大縮小手段と、
    前記局所領域のそれぞれで、前記自由視点画像を、前記カメラのそれぞれの光軸が当初の方向を向くように、該カメラの内部パラメータを用いて、該カメラのそれぞれのカメラ座標系を変換する逆視線回転変換手段と、
    を具備することを特徴とする自由視点画像生成装置。
12. 光軸が水平な複数のカメラが、被写体を取り囲むように配置されており、該被写体を撮影した該カメラの画像を用いて、任意の視点の画像を生成するコンピュータを機能させる自由視点画像生成プログラムであって、
    コンピュータを、
    実空間を局所領域に分割する局所領域分割手段と、
    前記局所領域のそれぞれで、前記カメラのそれぞれの光軸が該局所領域を向くように、該カメラの内部パラメータを用いて、該カメラのそれぞれのカメラ座標系を変換する視線回転変換手段と、
    前記局所領域のそれぞれで、前記カメラのそれぞれと被写体との距離の情報を用いて、前記画像上の該局所領域のスケールが揃うように、該画像を拡大または縮小変換する拡大縮小手段と、
    前記局所領域のそれぞれで、イメージ・ベースド・レンダリングの手法などを用いて、該局所領域内のみの自由視点画像を生成する自由視点画像生成手段と、
    前記局所領域のそれぞれで、前記自由視点画像を、画像上の該局所領域が当初のスケールとなるように、該自由視点画像を拡大または縮小変換する逆拡大縮小手段と、
    前記局所領域のそれぞれで、前記自由視点画像を、前記カメラのそれぞれの光軸が当初の方向を向くように、該カメラの内部パラメータを用いて、該カメラのそれぞれのカメラ座標系を変換する逆視線回転変換手段と、
    として機能させることを特徴とする自由視点画像生成プログラム。