JP2009037301A - 局所領域分割による自由視点画像の生成方法 - Google Patents

Abstract

【課題】仮想視点位置がカメラを配置した平面上にない場合の仮想視点画像を生成する方法を提供する。
【解決手段】 被写体を取り囲む実空間（例えば、円周上）に、光軸が水平な複数のカメラを配置した環境において、該円周上の任意の視点の画像を生成する。また、カメラで撮影した画像を合成して、カメラの置かれていない仮想視点（高い又は低い位置からの視点）からの自由視点画像を生成する。これを実現する方法としては、局部領域合成部２０で、表示位置の移動量の算出２０ａを行い、この移動量を局所領域の自由視点画像に反映する。また、他の方法としては、自由視点画像生成部１７において、予め局所領域内の画像の読み込み位置の移動量を算出し、イメージ・ベースド・レンダリングの手法などを用いて、局所領域内の自由視点画像を生成する。
【選択図】図２

Description

本発明は、局所領域分割による自由視点画像の生成方法に関し、特に、被写体を取り囲むように、光軸が水平な複数のビデオカメラ（以下、単にカメラと呼ぶ）を配置し、該カメラにより撮影した被写体の画像を用いて自由視点画像を生成する方法に関する。

近年、画像処理技術や画像通信技術の発達に伴い、次世代の画像コンテンツとして、３次元自由視点画像が注目されている。そこで、被写体の周囲にビデオカメラを配置して撮影した多視点画像を用いて全周囲自由視点画像を生成する技術が、研究、開発されている。

この場合、任意の視点に対応するように、被写体の周りにカメラを密に配置すると、カメラの台数が多くなり、高コストとなり、現実的ではない。そこで、カメラを、被写体の周りに疎に配置することが行われるが、このようにすると、ビデオカメラ間の画像が得られなくなる。

この不具合を解決するために、従来、カメラによって撮影されない視点からの画像を、イメージ・ベースド・レンダリングを用い、画像間の画像を補間することによって生成する方法が提案されている。

多視点画像間の補間を行うイメージ・ベースド・レンダリングの代表的な方法として、「光線空間方式」があり、該光線空間方式を用いた補間画像の生成を説明する技術文献として、下記の特許文献１、２に示されているものがある。

しかしながら、被写体が実空間中に広範囲に分布していて、奥行きの違いによる視差（奥行き視差）が大きい場合には、前記従来技術によって奥行き視差を補正しようとすると、光線情報の補間処理が煩雑になり、実用的ではないという課題があった。

そこで、本出願人は、実空間を奥行き視差の無視できる小さな局所領域に分割し、それぞれの局所領域に対して個別にイメージ・ベースド・レンダリングの手法を適用して局所的な自由視点画像を生成し、それらを合成して目的の自由視点画像を生成するようにした発明を特許出願した（特願２００６−１８５６４８号）。

この特許出願発明の概要を、図１４を用いて簡単に説明する。被写体を取り囲む複数のカメラの一つによって撮像された被写体画像が同図(a)であり、ある局所領域の画像が同図(b)であったとすると、前記複数のカメラによって撮像された前記局所領域における各画像（同図(c)）が、同図(d)に示されているように光線情報として光線空間に格納される。次いで、同図(e)に示されているように、光線情報の内挿補間が行われ、光線空間の充填がなされる。次いで、同図(f)に示されているように、光線情報の切り出しが行われ、該切り出された光線情報が同図(g)に示されているように合成され、これを被写体画像領域に戻すことにより、同図(h)に示されているような自由視点（仮想視点）画像を得る。

この特許出願発明によれば、被写体が実空間中の広範囲に分布していて奥行きの違いによる視差が大きい場合であっても、現実に近い実空間上の任意の視点の画像を生成することができるようになる。また、被写体と被写体の間の仮想視点からの画像を生成することができ、ウォークスルーを実現することができる。
特開２００４−２５８７７５号公報 特開平１０−１１１９５１号公報

しかしながら、前記特許出願発明では、仮想視点の位置はカメラを配置した平面上に限定されており、その平面上にない場合、例えばその平面に対して垂直に上方または下方に仮想視点を移動させた場合の自由視点画像、つまりカメラをその平面に対して垂直に移動させたと仮定した場合の自由視点画像を生成することはできなかった。

本発明は、前記した課題に鑑みてなされたものであり、その目的は、仮想視点がカメラを配置した平面上にない場合に該仮想視点からみた自由視点画像を生成することができる自由視点画像の生成方法を提供することにある。

前記した目的を達成するために、本発明は、光軸が水平な複数のカメラが、被写体を取り囲むように配置されており、該被写体を撮影した該カメラの画像を用いて、任意の視点の画像を生成する自由視点画像生成方法であって、実空間を局所領域に分割する第１のステップと、前記局所領域のそれぞれで、前記カメラのそれぞれの光軸が該局所領域を向くように、該カメラの内部パラメータを用いて、該カメラのそれぞれのカメラ座標系を変換する第２のステップと、前記局所領域のそれぞれで、前記カメラのそれぞれと被写体との距離の情報を用いて、前記画像上の該局所領域のスケールが揃うように、該画像を拡大または縮小変換する第３のステップと、前記局所領域のそれぞれで、イメージ・ベースド・レンダリングの手法などを用いて、該局所領域内のみの自由視点画像を生成する第４のステップと、前記局所領域のそれぞれで、前記自由視点画像を、画像上の該局所領域が当初のスケールとなるように、該自由視点画像を拡大または縮小変換する第５のステップと、

前記局所領域のそれぞれで、前記自由視点画像を、前記カメラのそれぞれの光軸が当初の方向を向くように、該カメラの内部パラメータを用いて、該カメラのそれぞれのカメラ座標系を変換する第６のステップと、前記局所領域のそれぞれの自由視点画像を統合する第７のステップとを有し、前記カメラの設置された平面上にない仮想視点からみた自由視点画像を生成するために、前記第７のステップにおいて仮想視点の位置に応じて最終的に合成される自由視点画像内における局所領域の仮想視点画像の位置を移動させる処理、または前記第４のステップにおいて仮想視点の位置に応じて読み取る光線の情報の位置を移動させる処理をするようにした点に特徴がある。

本発明の自由視点画像の生成方法によれば、局所領域分割により自由視点画像を生成する方法において、仮想視点を３次元的にあらゆる方向へ移動した場合であっても、その仮想視点からの画像を生成することが可能になり、より臨場感のある自由視点画像の生成が可能になる。

以下に、本発明を、図面を参照して詳細に説明する。図１は、本発明における一実施形態の被写体とビデオカメラ（以下、単にカメラと呼ぶ）との位置関係を示す概念図である。

図示されているように、撮影対象２である被写体を取り囲む実空間１の外周（例えば、円周、楕円、四角形などの多角形の外周上）に、光軸が水平な複数のカメラ３ａ、３ｂ、３ｃ、・・・、３ｎが疎の間隔で配置されている。この被写体２には、無視できない奥行き視差があるものとする。本発明は、該カメラ３ａ、３ｂ、３ｃ、・・・、３ｎで撮影した画像を合成して、カメラの置かれていない仮想視点（例えば、３Ｘ）からの自由視点画像を得ることに加えて、仮想視点位置がカメラを配置した平面上にない場合、例えば該カメラ３ａ、３ｂ、３ｃ、・・・、３ｎや仮想視点３Ｘを垂直に移動させたと仮定した場合の仮想視点位置における自由視点画像を得ようとするものである。

次に、図２のブロック図を参照して、本発明の第１実施形態の自由視点画像生成装置１０の概略の構成を説明する。

まず、該自由視点画像生成装置１０は、前記被写体を取り囲む実空間１（図１参照）を複数の局所領域に分割する局所領域分割部１１、前記複数のカメラ３ａ、３ｂ、３ｃ、・・・、３ｎの位置情報や仮想視点位置情報や該カメラの内部パラメータ等を取得するカメラ位置情報・カメラパラメータ取得部１２、該複数のカメラ３ａ、３ｂ、３ｃ、・・・、３ｎからの画像情報を取得する画像取得部１３を有する。なお、前記局所領域分割部１１の機能の詳細は、図４、図５を参照して後述する。

局所領域選択部１４は、前記局所領域分割部１１で分割された局所領域を選択する。視線回転変換部１５は、該選択された局所領域の各カメラ画像を画像取得部１３から得て、該局所領域の画像が画像の中央に位置するように、各カメラの画像座標系の回転座標変換を行う。拡大縮小部１６は、該画像の回転変換をしただけでは、カメラから被写体までの距離が異なるという理由により、各視点で被写体の大きさが異なるものとなるため、被写体の大きさを揃えるため、各カメラの画像を拡大または縮小の処理を行う。

自由視点画像生成部１７は、該局所領域の画像に、イメージ・ベースド・レンダリングの手法などを用いて、該局所領域内のみの自由視点画像を生成する。また、仮想視点位置の画像を抽出し記憶する。なお、該自由視点画像生成部１７の動作の概要は、図１４（d)〜(g)に示されている。

逆拡大縮小部１８は、画像上の該局所領域が当初のスケールとなるように、該自由視点画像を拡大または縮小変換する。逆視線回転変換部１９は、前記局所領域に対し、前記カメラのそれぞれの光軸が当初の方向を向くように、該カメラの内部パラメータを用いて、該カメラのそれぞれの座標系を変換する。該逆視線回転変換部１９の機能が実行されると、再度、前記局所領域選択部１４により他の局所領域が選択され、前記と同じ機能が繰り返される。

以上の動作により、全ての局所領域の仮想視点画像が得られると、局所領域合成部２０は、上記の構成により得られた複数の局所領域の仮想視点の自由視点画像を合成する。この際、本実施形態では、局所領域合成部２０は、自由視点画像の表示位置の移動量の算出処理２０ａと合成表示による画像生成処理２０ｂを行う。該処理２０ａ、２０ｂの詳細な処理は後述するが、算出処理２０ａでは、カメラ３ａ、３ｂ、３ｃ、・・・、３ｎや仮想視点３Ｘを垂直に移動させることによる自由視点画像の表示位置の移動量を算出する。また、画像生成処理２０ｂでは、算出処理２０ａで得られた大きさだけ表示位置を上または下に移動させた自由視点画像を生成し、合成する。自由視点画像出力部２１は、該局所領域合成部２０で合成された自由視点画像（仮想視点画像）を出力する。

次に、前記自由視点画像生成装置１０の機能の概要を、図３のフローチャートを参照して説明する。

ステップＳ１では、全部のカメラの位置情報とカメラの内部パラメータ、例えばその焦点距離の画素変換量ｆ、および仮想視点位置の情報を入力する。なお、各カメラは、同じ内部パラメータを有するものとする。ステップＳ２では、全部のカメラの画像を取得する。ステップＳ３では、実空間１を局所領域に分割する。ステップＳ４では、前記カメラの中に光軸が水平でないものがある場合には、このカメラの光軸が水平になるように画像の回転変換を行う。ステップＳ５では、局所領域を選択する。なお、前記ステップＳ４の処理は、ステップＳ５の後であってもよい。

ステップＳ６では、全カメラの光軸が、選択した局所領域を向くように、各カメラの画像座標系を回転座標変換する。換言すれば、該局所領域が画像の中央に位置するように、画像の回転変換を行う。ステップＳ７では、該画像上の局所領域のスケールが揃うように、各カメラの画像を拡大または縮小変換する。

ステップＳ８では、該局所領域の画像に、イメージ・ベースド・レンダリングの手法などを用い、補間処理を行うなどをして、該局所領域内のみの自由視点画像を生成する。この処理の詳細は、図１０および図１１を参照して後述する。

ステップＳ９では、該自由視点画像から仮想視点位置画像を抽出し、画像上の該局所領域が当初のスケールとなるように、抽出した前記仮想視点位置画像を拡大または縮小変換する。ステップＳ１０では、全カメラの光軸が当初の方向を向くように、各カメラの画像座標系を回転座標変換する。この結果、前記選択された局所領域の仮想視点位置画像が得られる。

次に、ステップＳ１１では、全ての局所領域の処理が終了したか否かの判断がなされ、処理されていない局所領域がある場合には、ステップＳ５に戻って、該処理されていない他の局所領域が選択される。以上のようにして、全ての局所領域に対する処理が終了する（ステップＳ１１の判断が肯定）と、各局所領域の仮想視点位置画像が得られることになる。次のステップＳ１２では、カメラを垂直方向に移動させたと仮定した場合の自由視点画像を得るために、仮想視点位置画像の表示位置をカメラの移動量に応じた大きさだけ移動させて、全ての局所領域の画像を合成する。ステップＳ１３では、合成された画像が仮想視点位置画像として出力される。

次に、前記した自由視点画像または仮想視点位置画像の生成処理について、以下に、詳細に説明する。

まず、前記実空間１を、図４、図５に示されているように、局所領域４ａ、４ｂ、４ｃ、４ｄ、・・・、４ｎに分割する。分割された各局所領域４ａ、４ｂ、４ｃ、４ｄ、・・・、４ｎは、図４に示されているように、円筒の形状５が好適である。また、図示されているように、重複する領域は最小限にしつつ、撮影した舞台の全体を余す所なく覆っている必要がある。一例として、カメラが円周上に配置されている場合を考えると、各局所領域の中心の座標は、下記で表される局所領域に分割することが望ましい。

ここで、ａは局所領域の半径、ｋ、ｌは任意の整数、Ｒは中心からカメラまでの距離である。

他の例として、カメラが矩形の実空間１上に配置されている場合を考えると、各局所領域の中心の座標は、下記で表される局所領域に分割することが望ましい。

ここで、ａは局所領域の半径、ｋ、ｌは任意の整数、Ｈは被写体領域の矩形の横幅、Ｖは被写体領域の矩形の縦幅である。ただし、ｋが奇数の場合はｌも奇数であり、ｋが偶数の場合はｌも偶数となる。

また、カメラの光軸が水平でない場合は、光軸が水平になるように、画像の回転変換を次のように行う。

と置くと、以下の関係が成立する。

ここで、ｓはスカラーである。なお、上式は、例えば、共立出版発行の単行本「３次元ビジョン」（徐 剛、辻 三郎共著）の１８７頁の「２．３射影行列と外部変数」に記されているものを用いることができる。

次に、対象となる局所領域（例えば、図５の４ｍ）を選択し、該局所領域が画像の中央（例えば図５のＸ，Ｚ座標の原点）に位置するように、画像の回転変換を行う。

ここで、カメラが前記実空間の周りに、円周上または矩形上に配置されているとし、Ｎをカメラの台数、ｎをカメラのＩＤ、Ｒ_ｎを中心から第ｎカメラまでの距離、Θ_ｎを第ｎカメラの光軸の方位角とする。もし、カメラが円周上に配置されているなら、Ｒ_ｎは一定値になる（図６）。一方、もし、カメラが矩形上に配置されているなら、Ｒ_ｎ＝Ｈ／（２cosΘ_ｎ）またはＲ_ｎ＝V／（２cosΘ_ｎ）のように表される。Ｈ、Ｖは、それぞれ矩形の横幅、縦幅である。

一般に、カメラの光軸の方向は、物体（および、それを含む局所領域）の方向（図６の点線矢印）と一致しない。そこで、カメラの光軸の方向を補正する。

いま、図７に示されているように、Ｚ軸を方位角の基準線とし、θ_ｎを第ｎカメラの光軸の補正した方位角、θを被写体４ｍの位置の方位角、Θ_ｎを第ｎカメラの光軸の方位角、ｒを中心から被写体までの距離とし、ｒ_ｎ＝ｒ／Ｒ_ｎ（Ｒ_ｎに対する中心から被写体までの距離比の値を示す）と置くと、次式が成立する。

以上より、画像を上式から求められる角度（θ_ｎ−Θ_ｎ）だけ回転変換すれば、図８に示すように、局所領域４ｍが画像１’の中央に来ることになる。

次に、角度（θ_ｎ−Θ_ｎ）の回転変換を行った画像の求め方を、以下に説明する。

と置くと、以下の関係が成立する。

ここで、ｓはスカラーである。上記の関係式を解くと（スカラーｓを消去する）、ディジタル画像座標の変換式は下式の通りになる。

上式に基づいて画像を回転変換し、被写体を画像の中央に移動させた画像を生成する。

次に、画像を回転変換しただけでは、カメラから被写体までの距離が異なるという理由により、各視点で被写体の大きさが異なってしまうことになる。そこで、画像の原点（画像の中心）を固定して拡大もしくは縮小することにより、被写体の大きさを揃える。各視点の画像内の被写体の大きさは、カメラから被写体までの距離に反比例するので、

と置くと、その拡大／縮小率は、下記の式で計算できる。

以上より、次の式が成り立つ。

上記の画像の回転変換と拡大・縮小を合成すると、下記の式になる。

次に、変換した画像を用いて、円筒記録光線空間を構築する。まず、光線空間について説明する。

図９のように、実空間が境界面Ｓによって「記述される空間」と「観察者の居る空間」に分割されている場合を考える。光線は、実空間内を干渉や減衰等の影響を受けずに直進するものと仮定する。図８の局所領域４ｍの位置に視点を置いた時の画像は、図９の境界面Ｓを通過して該局所領域４ｍまで到達する光線の情報を集めることによって仮想的に合成できる。

さらに、以下のようにして、境界面Ｓの形状に依存しない射影法を定式化できる。まず、光線の進行方向に軸を取ると、光線の伝搬に伴う変化はこの軸に沿って記録されることになる。この軸をＲ軸と表記しＸＹＺ座標系の代わりにＲ軸を含む位置座標系としてＰＱＲ座標系なるものを考える。Ｒ軸に沿った光線の通過位置情報を記述できる。

具体的には、図１０に示すように、Ｘ、Ｙ、Ｚ各軸を、Ｙ軸を中心としてθ回転した後でＺ軸だけＸ軸回りにφ回転したものをそれぞれ、Ｐ、Ｑ、Ｒ軸と定義している。位置（Ｘ，Ｙ，Ｚ）を（θ，φ）方向に伝搬する光線の情報は、以下の変換式で求められる位置（Ｐ，Ｑ）に記録すればよい。

Ｐ＝Ｘcosθ−Ｚsinθ

Ｑ＝−Ｘsinθtanφ＋Ｙ−Ｚcosθtanφ

この変換によって、ＰＱ平面には、空間を正投影した情報が記録されることになる。前記変換式のＰおよびＱを用いると、５次元光線空間ｆ（Ｘ，Ｙ，Ｚ，θ，φ）は、４次元光線空間ｆ（Ｐ，Ｑ，θ，φ）に変換される。

画像情報は、「実空間内の１点を通過する光線情報の集合」とみなすことができる。したがって、カメラ位置（Ｘｃ，Ｙｃ，Ｚｃ）において撮影された画像情報を光線空間中に格納する場合は、式ｆ（θ，φ）｜Ｘ＝Ｘｃ，Ｙ＝Ｙｃ，Ｚ＝Ｚｃで現される領域に記録されている光線情報を切り出せばよい。このように、画像の撮影は「光線情報のサンプリング」、画像の合成は「光線空間からの光線情報の切り出し」ととらえることができる。

４次元に射影された光線空間ｆ（Ｐ，Ｑ，θ，φ）の場合は、カメラの撮影位置（Ｘｃ，Ｙｃ，Ｚｃ）および光線の方向（θｃ，φｃ）を上記の２つの変換式に代入して（Ｐｃ，Ｑｃ）を求め、（Ｐｃ，Ｑｃ，θｃ，φｃ）に撮影された光線情報を格納すればよい。図１１に、光線空間の例を示す。便宜上、Ｐθ平面を示す。横軸がＰ軸、縦軸がθ軸である。

ある固定された１点で撮影した画像の光線情報は、上記の２つの変換式のうちの第１式で、ＸとＺを一定とすれば明らかなように、Ｐθ平面上では、正弦曲線の形に格納される。図１１の光線空間の合成に使用した撮影画像は、円周上に配置したカメラから中心へ向けて撮影した円周多視点画像であり、並んだ正弦曲線の領域の光線情報が得られている。

任意の仮想視点からの画像を合成する場合は、構築した光線空間からの適切な領域の光線情報を切り出せばよい。この場合の切り出し領域は、視点位置（Ｘ_０，Ｙ_０，Ｚ_０）および光線の方向（θ_０，φ_０）を前記変換式に代入して求めた（Ｐ_０，Ｑ_０）を用いてｆ（Ｐ_０，Ｑ_０，θ_０，φ_０）で表現される。

以上の手法を用いることによって、理論的には、任意視点位置からの画像を合成できる。現実には、全ての光線の情報を撮影することは困難であり、実際の撮影では、図１１の左図のような疎な光線空間が構築されることになる。この図は疎に配置された３０個のカメラを用いた場合の例であり、左図の横方向の３０本の光線が該３０個のカメラから撮影された光線に対応する。このため、撮影の行われていない光線の情報を仮想的に予測して合成する必要がある。予め、光線空間ｆ（Ｐ，Ｑ，θ，φ）を充填しておくことにより、この問題は解決される。

図１１の左図の光線空間のＰθ断面を補間した結果を、図１１の右図に示す。この右図には、図１１の左図に示すような疎な光線空間から、その構造性を反映した密な光線空間が得られており、この光線空間から任意の仮想視点位置に対応する光線を取り出せば、該仮想視点の光線（画像）が得られることになる。なお、光線空間のＰθ断面では、似た色と輝度値の領域は正弦曲線上に並んでいる。

上記のようにして、光線空間方式を用いて補間を行った後に、仮想視点からの局所領域を見た場合の画像に対し、逆変換を施す。具体的には、下式に従う変換を行う。

ここで、Θ_ｉは仮想視点の方位角、θは着目する局所領域の円筒の中心軸の方位角、Ｒ_ｉを被写体空間の原点から仮想視点までの距離として、ｒ_ｉ＝ｒ／Ｒ_ｉである。また、

である。

以上の変換を行った後、カメラを垂直に動かした場合の自由視点画像は、着目する被写体の中心（着目する局所領域の円筒の中心軸）から仮想視点までの視線方向に対する、カメラが配置された平面から仮想視点までの距離（カメラが配置された水平面を規準とした場合の仮想視点の高さ）の比に、カメラの焦点距離の画素変換量を乗算することで、着目する局所領域の仮想視点画像の中心の座標の移動量（ただし、移動する向きは逆になる）を得、該座標の縦方向の位置を前記移動量だけ動かして表示する。

すなわち、各々の局所領域の仮想視点画像について、着目する被写体の中心（着目する局所領域の円筒の中心軸）から仮想視点までの視線方向の距離と、カメラが配置された平面（水平面）から仮想視点までの距離（カメラが配置された水平面を規準とした場合の仮想視点の高さ）に基づいて、移動量を求める。この移動量は、次式で求められる。

（数１５）
Δｖ_ｉ＝−ｆ・ｙ_ｉ／｛１−ｒ_ｉCOS（Θ_ｉ−θ）｝

ここで、Δｖ_ｉは着目する局所領域の仮想視点画像の移動量、ｆはカメラの焦点距離の画素変換量、Ｒ_ｉは被写体空間の原点から仮想視点までの距離、Ｙ_ｉはカメラが配置された平面から仮想視点までの距離、ｙ_ｉ＝Ｙ_ｉ／Ｒ_ｉ、ｒは被写体空間の原点から着目する局所領域の円筒の中心軸までの距離、ｒ_ｉ＝ｒ／Ｒ_ｉ、Θ_ｉは仮想視点の方位角、θは着目する局所領域の円筒の中心軸の方位角である。

上記のことから、、各々の局所領域の仮想視点画像について、この移動量Δｖ_ｉは、着目する被写体の中心から仮想視点までの視線方向の距離に反比例し、カメラが配置された平面から仮想視点までの距離（カメラの垂直方向の移動距離）に比例（ただし、移動する向きは逆になる）することがわかる。

次に、最終的に合成される自由視点画面内で、着目する局所領域の仮想視点画像の中心の座標を（ｕ_ｉ，ｖ_ｉ）とした時、そのｖ座標をΔｖ_ｉだけ動かして、（ｕ_ｉ，ｖ_ｉ＋Δｖ_ｉ）としながら、仮想視点から見て奥の局所領域から手前の局所領域へと上書きしていくことにより、自由視点画像の合成を行う。なお、後から上書きされると予め判っている局所領域は、最初から描画しないことによって、処理を高速化することができる。数１５の式を数１３の式に含めると、下式が得られる。

次に、本発明の第２実施形態を説明する。図１２は、第２実施形態の自由視点画像生成装置の構成を示すブロック図である。このブロック図において、１７ａは読み込み位置の移動量の算出処理、１７ｂは読み込みによる画像生成処理を示し、他の符号は、図２と同一または同等物を示す。この第２実施形態が前記第１実施形態と異なる所は、カメラを垂直に移動させる移動量に応じて局所領域毎の表示位置を移動させる処理を、第１実施形態のように局所領域合成部２０で行わずに、自由視点画像生成部１７で行わせるようにした点である。

そこで、本実施形態の自由視点画像生成部１７の処理について、以下に説明する。前記仮想視点の位置が前記カメラの設置された平面から離れた位置にある場合、着目する被写体の中心（着目する局所領域の円筒の中心軸）から仮想視点までの視線方向の距離に対する、カメラが配置された平面から仮想視点までの距離（カメラが配置された水平面を規準とした場合の仮想点の高さ）の比に、実空間から光線空間への変換比を乗算することで、着目する局所領域の光線空間の読み込み位置の移動量を得、局所領域の光線空間から光線情報を読み取る位置を前記移動量だけ動かして読み込む。

すまわち、各々の局所領域の仮想視点画像について、着目する被写体の中心（着目する局所領域の円筒の中心軸）から仮想視点までの視線方向の距離と、カメラが配置された平面（水平面）から仮想視点までの距離（カメラが配置された水平面を規準とした場合の仮想視点の高さ）に基づき、読み込み位置を求める。この読み込み位置は、次式で求められる。

（数１７）
Ｑ’＝Ｑ＋Ｙ_ｉ／｛１−ｒ_ｉCOS（Θ_ｉ−θ）｝

ここで、Q’は仮想視点がカメラの配置された平面上にない場合の着目する局所領域の光線空間の読み込み位置、Qは仮想視点がカメラの配置された平面上にある場合の着目する局所領域の光線空間の読み込み位置、Ｙ_ｉはカメラが配置された平面から仮想視点までの距離、Θ_ｉは仮想視点の方位角、θは着目する局所領域の円筒の中心軸の方位角、ｒは被写体空間の原点から着目する局所領域の円筒の中心軸までの距離、Ｒ_ｉを被写体空間の原点から仮想視点までの距離としてｒ_ｉ＝ｒ／Ｒ_ｉである。

上記のことから、各々の局所領域の仮想視点画像について、この読み込み位置は、着目する被写体の中心から仮想視点までの視線方向の距離に反比例し、カメラが配置された平面から仮想視点までの距離（カメラの垂直方向の移動距離）に比例する量だけ移動すれば良いことがわかる。

上記のようにして、光線空間方式を用いて補間を行った後に、仮想視点からの局所領域を見た場合の画像に対し、逆変換を行う（図２のステップＳ１８，１９）。具体的には、下式に従う変換を行う。

ここで、Θ_ｉは仮想視点の方位角、θは着目する局所領域の円筒の中心軸の方位角、Ｒ_ｉを被写体空間の原点から仮想視点までの距離として、ｒ_ｉ＝ｒ／Ｒ_ｉである。

第２実施形態の上記以外の処理は、前記特許出願発明（特願２００６−１８５６４８号）と同じであるので、説明を省略する。

図１３は、本発明により具体的シミュレーションした結果の一例を示す図である。同図(a)はカメラが配置された当初の水平面上の画像、同図(b)はカメラを上へ１２０ｃｍ移動させた時の画像、同図(c)はカメラを下へ１２０ｃｍ移動させた時の画像を示す。同図(b)から、カメラを上へ移動した場合には、手前の画像が大きく下がり、奥へ行くほど該画像の下がり方が小さくなることが判る。また、同図(c)から、カメラを下へ移動した場合には、手前の画像は大きく上がり、奥へ行くほど該画像の上がり方が小さくなることが判る。このことは、前記数１５、数１７の式で表される移動量Δｖ_ｉ、読み込み位置Ｑ’が、着目する被写体の中心から仮想視点までの視線方向の距離に反比例することと符合する。

以上のように、本発明によれば、カメラが配置された平面上にない仮想視点からみた仮想視点画像を得ることができるので、３次元的にあらゆる方向へ移動した仮想視点からの画像を生成することが可能になる。

カメラが疎の間隔に配置された多視点映像の撮影現場の概念図である。 本発明の自由視点画像生成装置の第１実施形態の構成を示すブロック図である。 本発明の自由視点画像生成方法の第１実施形態の処理手順を示すフローチャートである。 実区間を局所領域に分割する一例の説明図である。 分割された局所領域を上から見た場合の図である。 被写体が位置する局所領域がその中心にない場合の、実際の位置関係（実線矢印）と視線の回転変換（点線矢印）の説明図である。 仮想円周と各方位角などの説明図である。 局所領域仮想円周の中央にくるように回転変換した場合の説明図である。 射影に基づく光線情報の記述の説明図である。 円筒型光線空間座標系の定義の説明図である。 光線空間の補間処理の具体例を示す図である。 本発明の自由視点画像生成装置の第２実施形態の構成を示すブロック図である。 自由視点画像の生成結果と実視点画像の具体例を示す図である。 特許出願発明の自由視点画像生成方法の概略の説明図である。

符号の説明

１・・・実空間（舞台）、２・・・被写体、３ａ、３ｂ、・・・、３ｎ・・・ビデオカメラ（カメラ）、３Ｘ・・・仮想視点、４ｍ・・・局所領域、１０・・・自由視点画像生成装置、１１・・・局所領域分割部、１２・・・カメラ位置情報・カメラパラメータ取得部、１３・・・画像取得部、１４・・・局所領域選択部、１５・・・視線回転変換部、１６・・・拡大縮小部、１７・・・自由視点画像生成部、１７ａ・・・読み込み位置の移動量の算出処理、１７ｂ・・・読み込みによる画像生成処理、１８・・・逆拡大縮小部、１９・・・逆視線回転変換部、２０・・・局所領域合成部、２０ａ・・・表示位置の移動量の算出処理、２０ｂ・・・合成表示による画像生成処理、２１・・・自由視点画像出力部、３１・・・カメラ画像入力装置、３２・・・入力装置、３３・・・ＲＯＭ（自由視点画像生成プログラム）、３４・・・ＣＰＵ、３５・・・画像データ記憶装置、３６・・・画像出力装置。

Claims (3)

1. 光軸が水平な複数のカメラが、被写体を取り囲むように配置されており、該被写体を撮影した該カメラの画像を用いて、任意の視点の画像を生成する自由視点画像生成方法であって、
   実空間を局所領域に分割する第１のステップと、
   前記局所領域のそれぞれで、前記カメラのそれぞれの光軸が該局所領域を向くように、該カメラの内部パラメータを用いて、該カメラのそれぞれのカメラ座標系を変換する第２のステップと、
   前記局所領域のそれぞれで、前記カメラのそれぞれと被写体との距離の情報を用いて、前記画像上の該局所領域のスケールが揃うように、該画像を拡大または縮小変換する第３のステップと、
   前記局所領域のそれぞれで、イメージ・ベースド・レンダリングの手法などを用いて、該局所領域内のみの自由視点画像を生成する第４のステップと、
   前記局所領域のそれぞれで、前記自由視点画像を、画像上の該局所領域が当初のスケールとなるように、該自由視点画像を拡大または縮小変換する第５のステップと、
   前記局所領域のそれぞれで、前記自由視点画像を、前記カメラのそれぞれの光軸が当初の方向を向くように、該カメラの内部パラメータを用いて、該カメラのそれぞれのカメラ座標系を変換する第６のステップと、
   前記局所領域のそれぞれの自由視点画像を統合する第７のステップとを有し、
   前記カメラの設置された平面上にない仮想視点からみた自由視点画像を生成するために、前記第７のステップにおいて仮想視点の位置に応じて最終的に合成される自由視点画像内における局所領域の仮想視点画像の位置を移動させる処理、または前記第４のステップにおいて仮想視点の位置に応じて読み取る光線の情報の位置Ｑを移動させる処理をすることを特徴とする自由視点画像の生成方法。
2. 請求項１に記載の自由視点画像生成方法において、
   前記第７のステップにおいて、前記仮想視点の位置が前記カメラの設置された平面から離れた位置にある場合、着目する被写体の中心である着目する局所領域の円筒の中心軸から仮想視点までの視線方向に対する、カメラが配置された平面から仮想視点までの距離であるカメラが配置された水平面を規準とした場合の仮想視点の高さの比に、カメラの焦点距離の画素変換量を乗算することで、着目する局所領域の仮想視点画像の中心の座標の移動量（ただし、移動する向きは逆になる）を得、該座標の縦方向の位置を前記移動量だけ動かして表示することを特徴とする自由視点画像の生成方法。
3. 請求項１に記載の自由視点画像生成方法において、
   前記第４のステップにおいて、前記仮想視点の位置が前記カメラの設置された平面から離れた位置にある場合、着目する被写体の中心である着目する局所領域の円筒の中心軸から仮想視点までの視線方向の距離に対する、カメラが配置された平面から仮想視点までの距離であるカメラが配置された水平面を規準とした場合の仮想点の高さの比に、実空間から光線空間への変換比を乗算することで、着目する局所領域の光線空間の読み込み位置の移動量を得、局所領域の光線空間から光線情報を読み取る位置を前記移動量だけ動かして読み込むことを特徴とする自由視点画像の生成方法。