JP2018042237A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】仮想視点からの再構成画像において、領域間の色の違いに起因する違和感を低減する画像処理装置、画像処理方法、及びプログラムを提供する。【解決手段】画像処理装置のレンダリング部３５０は、仮想視点及び複数の撮像装置の位置姿勢情報と、オブジェクトの位置情報と、複数の撮像装置のそれぞれにより撮像された撮像画像とを取得する。仮想視点からのオブジェクト画像に存在するオブジェクトの色情報を、複数の撮像装置のうちの１つ以上による撮像画像から決定する。仮想視点及び撮像装置の位置姿勢情報並びにオブジェクトの位置情報に基づいて選択される１つ以上の撮像装置による撮像画像におけるオブジェクトの色情報を、１つ以上の撮像装置の撮像方向と１つ以上の撮像装置の視野内におけるオブジェクトの位置とに応じた重みを用いて合成することにより、オブジェクトの色情報を決定する。【選択図】図４

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

被写体を複数の撮像装置で撮像して得られた画像から、任意の仮想視点から被写体を観察した際に得られる画像を再構成する技術が知られている。特許文献１には、以下の方法が開示されている。まず、複数のカメラにより撮像された被写体の撮像画像と、カメラの位置情報とを用いて、被写体の三次元モデルを作成する。次に、三次元モデル上の各位置のテクスチャ画像を、複数の撮像画像に写っているテクスチャ画像をブレンドすることにより生成する。最後に、ブレンドテクスチャ画像を三次元モデルにテクスチャマッピングすることにより、カメラが配置されていない仮想視点からの画像を再構成することができる。

特許文献１には、仮想視点からの視認状態に近い再構成画像を生成するために、ブレンドテクスチャ画像を生成する際に用いる撮像画像の選択方法についても記載されている。例えば、特許文献１は、仮想視点に近いカメラにより撮像された被写体の撮像画像を選択することを提案している。別の方法として、特許文献１は、仮想視点と近い視線方向を有するカメラにより撮像された被写体の撮像画像を選択することも提案している。また、特許文献１には、仮想視点により近い又は仮想視点とより近い視線方向を有するカメラにより撮像された被写体の撮像画像について、混合比率を高めることも記載されている。

特許第５０１１２２４号公報

照明等の影響により、被写体の同じ部位であっても、それぞれの撮像装置により得られる撮像画像上での色が異なることがある。このため、特に異なる撮像画像がブレンドされている領域の間で、不自然な色の変化が見られることがあった。

本発明は、仮想視点からの再構成画像において、領域間の色の違いに起因する違和感を低減することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
仮想視点及び複数の撮像装置の位置姿勢情報と、オブジェクトの位置情報と、前記複数の撮像装置のそれぞれにより撮像された撮像画像とを取得する取得手段と、
前記仮想視点からのオブジェクト画像に存在するオブジェクトの色情報を、前記複数の撮像装置のうちの１つ以上による撮像画像から決定する決定手段であって、前記仮想視点及び前記撮像装置の位置姿勢情報並びに前記オブジェクトの位置情報に基づいて選択される前記１つ以上の撮像装置による撮像画像における前記オブジェクトの色情報を、前記１つ以上の撮像装置の撮像方向と前記１つ以上の撮像装置の視野内における前記オブジェクトの位置とに応じた重みを用いて合成することにより、前記オブジェクトの色情報を決定する決定手段と、
を備えることを特徴とする。

仮想視点からの再構成画像において、領域間の色の違いに起因する違和感を低減することができる。

実施形態１に係る画像処理装置のハードウェア構成例を示す図。 実施形態１に係る画像処理システムの配置例を示す図。 実施形態１に係る画像処理装置の機能構成例を示す図。 実施形態１に係る画像処理装置の機能構成例を示す図。 実施形態１に係る処理を概念的に説明する図。 実施形態１に係る処理のフローチャート。 実施形態１に係る位置重み及び方向重みの算出方法を説明する図。 実施形態１の実装例に係る画素値算出方法を説明する図。 実施形態２で用いられる背景モデルの例を示す図。 実施形態３に係る処理を概念的に説明する図。 実施形態３に係る画像処理装置の機能構成例を示す図。 実施形態３に係る画像処理装置の機能構成例を示す図。 実施形態３に係る処理のフローチャート。 実施形態３に係る重みの算出方法を説明する図。 実施形態３に係る重みの算出方法を説明する図。 実施形態３に係る重みの算出方法を説明する図。 実施形態４に係る画像処理装置の機能構成例を示す図。 実施形態４に係る処理のフローチャート。

以下、本発明の実施形態を図面に基づいて説明する。ただし、本発明の範囲は以下の実施形態に限定されるものではない。

［実施形態１］
以下、本発明の実施形態１に係る画像処理装置について説明する。本実施形態に係る画像処理装置は、例えばプロセッサー及びメモリを備えるコンピュータでありうる。図１は、本実施形態に係る画像処理装置１００のハードウェア構成例を示す。ＣＰＵ１０１は、画像処理装置１００全体を制御する。ＲＡＭ１０２は、プログラム又はデータ等を一時記憶するランダムアクセスメモリである。ＲＯＭ１０３は、プログラム又はパラメータ等を格納する読み出し専用メモリである。二次記憶装置１０４は、プログラム又はデータ等を長期間保管可能な記憶装置であり、例えばハードディスク又はメモリカード等でありうる。

入力インターフェース１０５は、画像処理装置１００と入力デバイスとを接続するインターフェースである。入力デバイスとは画像処理装置１００にデータを入力する装置であり、その種類は特に制限されない。例えば、入力インターフェース１０５は、被写体の画像を撮像する撮像装置１０８又は外部記憶装置１０９からのデータを受け取ることができ、画像処理装置１００は受け取ったデータを用いて処理を行うことができる。出力インターフェース１０６は、画像処理装置１００と出力デバイスとを接続するインターフェースである。出力デバイスとは画像処理装置１００からのデータを受け取る装置であり、その種類は特に制限されない。例えば、出力インターフェース１０６は、画像処理装置１００からのデータを、外部記憶装置１０９又は表示装置１１０へと出力することができる。

例えば図３に示されるような、以下で説明される各部の動作は、以下のようにして実現できる。すなわち、ＲＯＭ１０３、二次記憶装置１０４、又は外部記憶装置１０９等の、コンピュータ読み取り可能な記憶媒体に格納された各部の動作に対応するプログラムを、ＲＡＭ１０２に展開する。そして、このプログラムに従ってＣＰＵ１０１が動作することにより、以下で説明される各部の動作を実現できる。もっとも、後述する各部のうち全部又は一部の動作は、ＡＳＩＣ等の専用のハードウェアによって実現されてもよい。

本実施形態に係る画像処理装置１００は、被写体の画像を撮像する複数の撮像装置１０８から撮像画像を取得し、仮想視点からの再構成画像を生成する処理を行う。本明細書において、再構成画像とは、仮想視点に基づいて生成される被写体（オブジェクト）の仮想視点画像（オブジェクト画像）であり、仮想カメラを仮想視点に配置した場合に得られるであろう被写体の撮像画像に相当する。再構成画像は、自由視点画像とも呼ばれる。これら複数の撮像装置１０８は、例えば被写体の周りを取り囲むように配置することができる。このような撮像装置１０８の配置例を図２に示す。図２は体育館に配置された撮像装置１０８を示し、世界座標系２０１が示されている。図２（Ａ）に示すように撮像装置１０８は上方から床面を見下ろすように配置されており、図２（Ｂ）に示すように撮像装置１０８は体育館の側面に沿って配置されている。そして、これらの撮像装置１０８は、体育館の床面及び側面、並びに体育館で活動している人物等の被写体を様々な方向から同期して撮像することができる。こうして、複数の撮像装置１０８は、同じ時刻における様々な方向からの被写体の撮像画像を生成することができる。もっとも、図２に示す撮像装置１０８の配置方法は一例にすぎず、他の配置方法を採用することもできる。

図１において、画像処理装置１００は複数の撮像装置１０８と接続されており、画像処理装置１００及び複数の撮像装置１０８を備える画像処理システムを形成している。このような構成によれば、リアルタイムに仮想視点からの再構成画像を生成することができる。しかしながら、画像処理装置１００に撮像装置１０８が接続されることは必須ではなく、例えば画像処理装置１００は記憶媒体を介して撮像装置１０８から撮像画像を取得してもよい。なお、撮像装置１０８は動画像を撮像してもよい。この場合、画像処理装置１００は、複数の撮像装置１０８により略同時刻に撮像されたフレーム画像を用いて、以下の処理を行うことができる。

図３は、本実施形態に係る画像処理装置１００が備える機能構成を示す。図３に示すように、画像処理装置１００は、入力視点情報取得部３１０、出力視点情報取得部３２０、距離マップ取得部３３０、画像取得部３４０、レンダリング部３５０、及び画像出力部３６０を備える。

入力視点情報取得部３１０及び出力視点情報取得部３２０は、仮想視点及び複数の撮像装置の位置姿勢情報を取得する。本実施形態において入力視点情報取得部３１０は、入力視点に関する情報（以下、入力視点情報と呼ぶ）を取得する。本実施形態において、入力視点とは撮像装置１０８の視点のことを指し、入力視点情報とは、複数の撮像装置１０８それぞれについての情報のことを意味する。入力視点情報には、所定の座標系内での撮像装置１０８の位置姿勢情報が含まれ、例えば、撮像装置１０８の位置情報及び光軸方向を示す姿勢情報を含む。また、入力視点情報には、焦点距離又は主点位置等、撮像装置１０８の画角情報を含めることもできる。これらの情報を用いて、撮像画像の各画素と、撮像装置１０８から被写体への向きと、を対応づけることができる。このため、被写体の特定箇所について、撮像画像上の対応する画素を特定することができ、その色情報を取得することが可能となる。さらに、入力視点情報には、撮像装置１０８により撮像される画像の歪曲を示す歪曲パラメータ、並びにＦ値、シャッタースピード及びホワイトバランス等の撮影パラメータを含むことができる。

また、本実施形態において、出力視点情報取得部３２０は、出力視点に関する情報（以下、出力視点情報と呼ぶ）を取得する。本実施形態において、出力視点とは、画像処理装置１００が生成する再構成画像の仮想視点のことを指し、出力視点情報とは、仮想視点についての情報のことを意味する。出力視点情報には、入力視点情報と同様、所定の座標系内での仮想視点の位置姿勢情報が含まれ、例えば、仮想視点の位置情報及び光軸方向を示す姿勢情報を含む。また、出力視点情報には、仮想視点からの画角情報、再構成画像の解像度情報等を含むこともできる。さらに、出力視点情報は、歪曲パラメータ及び撮影パラメータ等を含むこともでき、これらを用いて得られた再構成画像に対して画像処理を行うこともできる。

入力視点情報取得部３１０及び出力視点情報取得部３２０は、仮想視点及び撮像装置１０８の位置姿勢情報を取得する代わりに、撮像装置及び仮想視点の相対的な位置姿勢関係を示す情報を取得してもよい。

距離マップ取得部３３０は、空間内の被写体の位置情報を取得する。この位置情報は、仮想視点と被写体の相対的な位置関係を示す。本実施形態において、距離マップ取得部３３０は、仮想視点から被写体までの距離マップ（デプスマップ）を取得する。複数の撮像装置１０８により得られた被写体の撮像画像に基づいて距離マップを生成する方法は公知であり、任意の方法を採用することができる。例えば、特許文献１に記載されている視体積公差法又はステレオマッチング法を用いて、被写体の三次元モデルを生成することができる。そして、仮想視点と被写体の三次元モデルとの関係に基づいて、仮想視点からの再構成画像の各画素について、仮想視点から対応する被写体までの距離を求め、こうして距離マップを生成することができる。距離マップの生成方法は被写体の撮像画像に基づく方法に限られず、何らかのトラッカー等を用いて被写体の三次元モデルを生成し、この三次元モデルに基づいて距離マップを生成してもよい。また、事前にレンジセンサなどで仮想視点から対応する被写体までの距離を計測し、距離マップを取得してもよい。

画像取得部３４０は、複数の撮像装置１０８のそれぞれにより撮像された被写体の撮像画像を取得する。

レンダリング部３５０は、仮想視点から各方向に存在する被写体の色情報を、複数の撮像画像から決定する。例えば、レンダリング部３５０は、被写体の位置情報（距離マップ取得部３３０が取得した距離マップ）、入力視点情報及び出力視点情報（撮像装置１０８及び仮想視点の位置姿勢情報）を参照して、仮想視点からの再構成画像を生成することができる。この際に、レンダリング部３５０は、画像取得部３４０が取得した被写体の撮像画像のそれぞれから、仮想視点からの着目方向に存在する被写体の色情報を取得する。そして、レンダリング部３５０は、後述するように撮像装置の向きと撮像装置の視野内における被写体の位置とに応じた重みを用いて、取得した色情報を合成することにより、着目方向に存在する被写体の色情報を決定する。レンダリング部３５０は、こうして再構成画像の各画素に対応する各着目方向について被写体の色情報を決定することにより、再構成画像を生成する。

画像出力部３６０は、レンダリング部３５０が生成した再構成画像を出力する。例えば、画像出力部３６０は、再構成画像を表示装置１１０に出力し、再構成画像を表示装置１１０に表示させることができる。

次に、レンダリング部３５０についてより詳しく説明する。まず、レンダリング処理の概略について説明する。レンダリング部３５０が行う処理は、着目方向に存在する被写体の位置を距離マップに基づいて特定し、この被写体の色情報を撮像画像から抽出する処理に相当する。言い換えれば、レンダリング部３５０は、再構成画像中の着目画素について、着目画素に写る被写体の位置を距離マップに基づいて特定し、着目画素に写る被写体の色情報を撮像画像から抽出する。より詳しく説明すると、レンダリング部３５０は、仮想視点から着目方向に存在する被写体までの距離と、仮想視点と撮像装置との間の位置姿勢関係とに基づいて、着目方向に存在する被写体に対応する撮像画像上の画素を特定することができる。そして、レンダリング部３５０は、特定された画素の色情報を着目方向に存在する被写体の色情報として取得することができる。

この処理は、例えば以下のように行うことができる。以下の説明では、再構成画像中の着目画素の座標を（ｕ_０，ｖ_０）とする。着目画素に写る被写体の位置は、式（１）に従って、出力視点におけるカメラ座標系で表すことができる。
式（１）において、（ｘ_０，ｙ_０，ｚ_０）は被写体のカメラ座標を表す。ｄ_０（ｕ_０，ｖ_０）は、距離マップに示される、出力視点から着目画素に写る被写体までの距離を表す。ｆ_０は出力視点の焦点距離を表し、ｃ_ｘ０及びｃ_ｙ０は出力視点の主点位置を表す。

次に、着目画素に写る被写体について、出力視点におけるカメラ座標を、式（２）に従って世界座標に変換することができる。
式（２）において、（Ｘ_０，Ｙ_０，Ｚ_０）は被写体の世界座標を表す。Ｒ_０は、出力視点の光軸方向を表す。（Ｘ_{ｏｕｔｐｕｔ}，Ｙ_{ｏｕｔｐｕｔ}，Ｚ_{ｏｕｔｐｕｔ}）は、出力視点のカメラ位置を表す。

次に、世界座標（Ｘ_０，Ｙ_０，Ｚ_０）に存在する被写体が写っている、入力視点からの撮像画像上の座標を、式（４）に従って算出することができる。
式（３）において、Ｒ_ｉは入力視点ｉの光軸方向を表す（入力視点ｉは、複数の入力視点のうちｉ番目の入力視点である）。（Ｘ_{ｃａｍ，ｉ}，Ｙ_{ｃａｍ，ｉ}，Ｚ_{ｃａｍ，ｉ}）は、入力視点ｉのカメラ位置を表す。ｆ_ｉは、入力視点ｉの焦点距離を表し、ｃ_ｘｉ及びｃ_ｙｉは入力視点ｉの主点位置を表す。また、ｔは定数を表す。式（３）を（ｕ_ｉ，ｖ_ｉ）について解くことにより、式（４）が得られる。

式（４）に従うと、まずｔを求めることができ、さらに得られたｔを用いて（ｕ_ｉ，ｖ_ｉ）を求めることができる。このように、再構成画像中の着目画素の座標（ｕ_０，ｖ_０）は、撮像画像中の画素の座標（ｕ_ｉ，ｖ_ｉ）に変換することができる。再構成画像中の着目画素（ｕ_０，ｖ_０）と撮像画像中の画素（ｕ_ｉ，ｖ_ｉ）とは、同じ被写体に対応する可能性が高い。したがって、撮像画像中の画素（ｕ_ｉ，ｖ_ｉ）の画素値（色情報）を、再構成画像中の着目画素（ｕ_０，ｖ_０）の画素値（色情報）として用いることができる。

しかしながら、視線方向の違いのために、再構成画像中の着目画素（ｕ_０，ｖ_０）と撮像画像中の画素（ｕ_ｉ，ｖ_ｉ）とが同じ被写体に対応するとは限らない。また、光源方向等の影響により、これらが同じ被写体に対応したとしても、撮像画像間で色が異なっている可能性もある。このため、本実施形態において、レンダリング部３５０は、複数の撮像画像から、着目画素（ｕ_０，ｖ_０）に対応する画素（ｕ_ｉ，ｖ_ｉ）（ｉ＝１〜Ｎ：Ｎは撮像装置１０８の数）を特定し、特定された画素の画素値を重み付け合成する。ここで、被写体が撮像範囲外にあるなどの理由で、着目画素に対応する被写体が写っていない撮像画像については、合成の対象から外すことができる。このような重み付け合成により得られた画素値が、着目画素（ｕ_０，ｖ_０）の画素値として用いられる。このように、１つ以上の撮像装置による撮像画像における被写体の色情報を用いて、再構成画像における被写体の色情報を決定することができる。一実施形態においては、２つ以上の撮像装置による撮像画像における被写体の色情報を用いて、再構成画像における被写体の色情報が決定される。

以下に、レンダリング部３５０の詳細な構成について、図４を参照して説明する。レンダリング部３５０は、歪曲補正部４１０、方向重み算出部４２０、位置重み算出部４３０、及び画素値算出部４４０を備える。

歪曲補正部４１０は、画像取得部３４０が取得した撮像画像に対して歪曲補正処理を行い、歪曲補正処理後の撮像画像を画素値算出部４４０に送る。例えば、歪曲補正部４１０は、画像取得部３４０が取得した撮像画像に対して、入力視点情報取得部３１０が取得したそれぞれの撮像装置１０８の歪曲パラメータを参照して、歪曲補正処理を行うことができる。歪曲補正部４１０は、歪曲補正後の撮像画像を、方向重み算出部４２０及び位置重み算出部４３０に送ってもよい。このように歪曲補正された撮像画像を用いて再構成画像を生成することにより、より違和感の少ない再構成画像を生成することが可能となる。もっとも、レンダリング部３５０が歪曲補正部４１０を備えることは必須ではない。

方向重み算出部４２０は、撮像装置の向きに応じて、撮像画像のそれぞれに対して重みを設定する。本実施形態において、方向重み算出部４２０は、入力視点の向きと出力視点の向きとの関係に応じて、撮像画像のそれぞれに対して重みを設定する。入力視点から被写体への方向が、出力視点から被写体への方向により近いほど、撮像画像に写る被写体像は仮想視点からの被写体像により近いと考えられる。したがって、入力視点から被写体への方向が、出力視点から被写体への方向により近いほど、大きな重みを与えることができる。より具体的には、入力視点から被写体への方向ベクトル（大きさは任意）と、出力視点から被写体への方向ベクトル（大きさは任意）と、がなす角度が小さいほど、大きな重みを与えることができる。

方向重み算出部４２０は、１つの撮像画像中のそれぞれの画素に対して異なる重みを設定することができる。この場合、方向重み算出部４２０は、撮像装置の向きとして、着目方向に存在する被写体への撮像装置からの方向を用いて、重みを設定できる。例えば、上記の例であれば、再構成画像中の着目画素（ｕ_０，ｖ_０）についての出力視点からの方向と、撮像画像中の対応する画素（ｕ_ｉ，ｖ_ｉ）についての入力視点からの方向と、に応じて画素（ｕ_ｉ，ｖ_ｉ）に重みを設定することができる。一方で、計算を簡単にするために、方向重み算出部４２０は、撮像装置（入力視点）の向きとして、撮像装置（入力視点）の光軸方向を用いて、重みを設定することもできる。このように、１つの撮像画像中のそれぞれの画素に関して同じ重みを設定してもよい。また、計算を簡単にするために、仮想視点（出力視点）の向きとしては、着目方向を用いてもよいし、出力視点の光軸方向を用いることもできる。すなわち、仮想視点の光軸方向又は着目方向と、撮像装置の向きとの間の角度に応じて、方向重みを設定することができる。

方向重み算出部４２０は、画素値算出部４４０による処理に必要になった際に方向重みを算出してもよいし、画素値算出部４４０による処理の前に撮像画像中の各画素について方向重みを予め算出しておいてもよい。後者の場合、方向重み算出部４２０は、上述のように算出された重みを撮像画像の画素のそれぞれに対応づける。そして、画素値算出部４４０は、後述するように着目画素に写る被写体の画素値を撮像画像から抽出する際に、撮像画像上における着目画素に対応する画素に対応づけられた方向重みを、撮像画像の重みとして使用する。

位置重み算出部４３０は、撮像装置の視野内における、着目方向に位置する被写体の位置に応じて、撮像画像のそれぞれに対して重みを設定する。まず、この構成の意義について説明する。１つの入力視点からの撮像範囲は限られるため、再構成画像に写る全ての被写体が１つの入力視点からの撮像画像に写っていることは少ない。したがって、再構成画像には、１つの入力視点からの撮像画像に写っておりこの撮像画像の色情報が反映される領域と、１つの入力視点からの撮像画像に写っていないためこの撮像画像の色情報が反映されない領域とが含まれることが多い。一方、特に出力視点と向きが近い入力視点からの撮像画像には、方向重み算出部４２０により大きい重みが与えられる。

例えば、図５（Ａ）に示される再構成画像５００には、入力視点Ａからの視野内に含まれる領域５１０と、入力視点Ｂからの視野内に含まれる領域５２０と、入力視点Ａ及び入力視点Ｂからの双方の視野内に含まれる領域５３０が示されている。言い換えれば、領域５１０は入力視点Ａからの撮像画像Ａにのみ写っている領域であり、領域５２０は入力視点Ｂからの撮像画像Ｂにのみ写っている領域であり、領域５３０は撮像画像Ａ及び撮像画像Ｂの双方に写っている領域である。図５（Ｂ）は、図５（Ａ）の線分Ｘ−Ｘ’に沿った撮像画像Ａ及び撮像画像Ｂのそれぞれの重みの例を示す。この例において、入力視点Ｂと比較して、入力視点Ａの向きは出力視点の向きに近いため、撮像画像Ａにはより大きい重みが与えられている。図５（Ｂ）から明らかなように、撮像画像Ａの寄与が大きい領域５３０と、撮像画像Ａが寄与しない領域５２０との間では、撮像画像Ａの寄与が大きく異なっている。このため、領域５２０と領域５３０との境界Ｙ付近において色が急に変化する可能性がある。

本実施形態において、位置重み算出部４３０は、着目方向に存在する被写体が撮像装置の視野の周辺部に存在する場合、撮像装置の視野の中心部に存在する場合よりも小さい重みを設定する。すなわち、位置重み算出部４３０は、被写体が入力視点からの視野の周辺部に相当する場合に、被写体が視野の中心部に相当する場合よりも小さい重みを設定する。結果として、入力視点からの視野内において被写体が周辺部分に位置する場合に、撮像画像の方向重みを小さくする効果が得られる。図５（Ｃ）の例では、上記の領域５３０のうち、境界Ｙ付近の画素については、撮像画像Ａに対してはより小さい重みが設定され、撮像画像Ｂに対してはより大きい重みが設定されている。このような構成によれば、上記の領域５３０のうち、境界Ｙ付近において撮像画像Ａの寄与が小さくなるため、領域５２０と領域５３０との境界Ｙ付近における色の変化を小さくすることができる。

位置重み算出部４３０による具体的な重みの設定方法としては、様々な方法が挙げられる。一実施形態において、撮像装置の視野内における被写体の位置は、着目方向に存在する被写体の、撮像画像中における位置である。そして、位置重み算出部４３０は、被写体が写っている撮像画像中の座標に従って、中心部分よりも周辺部分の方が小さくなるように重みを設定することができる。上記の例であれは、再構成画像中の着目画素（ｕ_０，ｖ_０）に対応する撮像画像中の画素（ｕ_ｉ，ｖ_ｉ）が周辺部分に位置する場合に、この撮像画像の重みを小さくすることができる。

別の方法として、位置重み算出部４３０は、再構成画像中において入力視点から見える領域を判定することができる。そして、位置重み算出部４３０は、判定された領域中の被写体が写っている位置が周辺部分に近いほど重みが小さくなるように、この入力視点からの撮像画像に重みを設定することができる。例えば、再構成画像中の着目画素（ｕ_０，ｖ_０）が判定された領域の中心部分にある場合よりも周辺部分にある場合の方が小さくなるように、重みを設定することができる。

なお、入力視点からの視野内における位置に応じた重みの設定方法は、上記の方法には限られない。例えば、より品質の高い撮像が行える視線方向にある被写体を撮像して得られた撮像画像の重みを大きくすることができる。また、再構成画像中において撮像画像の色情報が反映される領域を判定し、判定された領域中の被写体が写っている位置が周辺部分に近いほど重みが小さくなるように、この撮像画像に重みを設定することもできる。このような構成は、例えば色情報を重み付け合成する撮像画像の数を制限する場合に有効である。この場合、再構成画像中において入力視点から見える領域と撮像画像の色情報が反映される領域とが一致せず、入力視点から見えるにもかかわらず撮像画像の色情報が反映されない領域が存在する可能性がある。例えば、視点の向きに基づいて２つの撮像画像を選択して合成する場合、互いに隣接する領域の一方においては撮像画像Ａと撮像画像Ｂとの色情報が用いられ、他方においては撮像画像Ａと撮像画像Ｃとの色情報が用いられるかもしれない。この結果、これらの領域の境界において色が急激に変化する可能性がある。一方、このような構成を用いることにより、この境界周辺において撮像画像Ｂ及び撮像画像Ｃの重みが小さくなり、色の急激な変化を抑えることができる。

位置重み算出部４２０は、画素値算出部４４０による処理に必要になった際に位置重みを算出してもよいし、画素値算出部４４０による処理の前に撮像画像中の各画素について位置重みを予め算出しておいてもよい。後者の場合、位置重み算出部４３０は、上述のように算出された重みを撮像画像の画素のそれぞれに対応づける。そして、画素値算出部４４０は、後述するように着目画素に写る被写体の画素値を撮像画像から抽出する際に、撮像画像上における着目画素に対応する画素に対応づけられた位置重みを、撮像画像の重みとして使用する。

画素値算出部４４０は、再構成画像中の着目画素について、着目画素に写る被写体の位置を距離マップに基づいて特定し、着目画素に写る被写体の画素値を撮像画像から抽出する。この処理は、上記の式（１）〜（４）に従って行うことができる。そして、画素値算出部４４０は、それぞれの撮像画像から抽出した画素値を、方向重み算出部４２０及び位置重み算出部４３０が算出した重みを用いて重み付け合成する。こうして、再構成画像中のそれぞれの着目画素について画素値（色情報）が決定される。すなわち、以上の処理により、画素値算出部４４０は再構成画像を生成する。

最後に、本実施形態に係る画像処理装置１００が行う画像処理方法について、図６（Ａ）を参照して説明する。ステップＳ６１０において、入力視点情報取得部３１０は、上述のように入力視点情報を取得する。ステップＳ６２０において、画像取得部３４０は、上述のように撮像画像を取得する。ステップＳ６３０において、出力視点情報取得部３２０は、上述のように出力視点情報を取得する。ステップＳ６４０において、距離マップ取得部３３０は、上述のように距離マップを取得する。ステップＳ６５０において、レンダリング部３５０は、上述のように再構成画像を生成する。ステップＳ６６０において、画像出力部３６０は、上述のように再構成画像を出力する。

次に、レンダリング部３５０が行う処理について、図６（Ｂ）を参照して説明する。ステップＳ６５１において、歪曲補正部４１０は、上述のように撮像画像に対して歪曲補正処理を行う。ステップＳ６５２〜ステップＳ６５７は、再構成画像のそれぞれの画素を処理対象として繰り返される。これらのステップにおいて、処理対象の画素を着目画素と呼ぶ。ステップＳ６５３において、方向重み算出部４２０は、着目画素に関して、画素値を決定する際に参照するそれぞれの撮像画像に対して、上述のように視線の向きに基づいて重みを設定する。ステップＳ６５４において、位置重み算出部４３０は、着目画素に関して、画素値を決定する際に参照するそれぞれの撮像画像に対して、上述のように被写体の位置に基づいて重みを設定する。ステップＳ６５５において、画素値算出部４４０は、上述のように、それぞれの撮像画像から抽出した画素値を重み付け合成することにより、着目画素の画素値を決定する。

以上の構成によれば、仮想視点からの再構成画像において、異なる撮像画像がブレンドされている領域の境界部における急激な色の変化を抑制し、違和感を低減することができる。

（実装例）
実施形態１ではそれぞれの撮像画像に対して方向重み及び位置重みを設定し、それぞれの撮像画像からの画素値を重み付け合成する場合に説明した。しかしながら、本発明はこのような実施形態に限られず、処理精度及び処理負荷を考慮して様々な実装を採用することができる。例えば、２枚の撮像画像からの画素値を重み付け合成することで、２枚の撮像画像に基づく再構成画像を生成することができる。さらに、この再構成画像と、別の撮像画像又は別の撮像画像に基づく再構成画像と、に基づいて、より多くの撮像画像に基づく再構成画像を生成することができる。また、このように複数段階に分けて撮像画像を合成する場合、それぞれの段階で異なる合成方法を採用することができる。以下では、このような実装例の１つについて説明するとともに、位置重み及び方向重みの具体的な算出方法の１つについて説明する。

ステップＳ６５０において、画素値算出部４４０は、まず向きが出力視点に最も近い２つの入力視点のペアを選択する。ここでは、１番目の入力視点と２番目の入力視点が選択されたものとする。画素値算出部４４０は、着目画素に対応する撮像画像中の画素の画素値を、式（１）〜（４）に従って抽出する。そして、画素値算出部４４０は、１番目の入力視点からの撮像画像から抽出した画素値Ｉ_１と、２番目の入力視点からの撮像画像から抽出した画素値Ｉ_２とを、式（５）に従って重み付け合成し、画素値Ｉ_１２を算出する。

Ｉ_ｎｍ＝（（ｍｉｎ（ｗ_ｎ，ｗ_ｍ）・ｗ’_ｎ＋（１−（ｍｉｎ（ｗ_ｎ，ｗ_ｍ））・ｗ_ｎ）・Ｉ_ｎ＋（ｍｉｎ（ｗ_ｎ，ｗ_ｍ）・ｗ’_ｍ＋（１−ｍｉｎ（ｗ_ｎ，ｗ_ｍ））・ｗ_ｍ）・Ｉ_ｍ）／Ｗ ……（５）
式（５）において、ｗ_ｎ，ｗ_ｍはｎ，ｍ番目の入力視点についての位置重みを表す。ｗ’_ｎ，ｗ’_ｍはｎ，ｍ番目の入力視点についての方向重みを表す。Ｗは重みの和を表す。

位置重みｗ_ｎは、着目画素に対応する撮像画像中の画素の、撮像画像中における位置に従って、位置重み算出部４３０が求めている。一例として、位置重み算出部４３０は、撮像画像上で、着目方向に存在する被写体の撮像画像の端部からの距離が所定の閾値を超えている場合、一定の重みを設定することができる。また、位置重み算出部４３０は、撮像画像上で、着目方向に存在する被写体の撮像画像の端部からの距離が所定の閾値以下である場合、一定の重みより小さい重みを設定することができる。このような位置重みの設定は、式（６）に従って行うことができる。位置重みｗ_ｍも同様に求めることができる。
ｗ_ｎ＝ｍｉｎ（ｄ_０，ｄ_１，ｄ_２，ｄ_３，ｄ’）／ｄ’ ……（６）
式（６）において、ｄ_０〜ｄ_３は、図７（Ａ）に示すように、着目画素に対応する撮像画像７１０中の画素７２０の、外縁までの距離を示す。ｄ’は端部ブレンド幅を示し、外縁までの距離がｄ’を下回ると位置重みが小さくなる。

方向重みｗ’_ｎ，ｗ’_ｍは、入力視点から着目画素に写っている被写体への方向と、出力視点からの着目画素に対応する方向とに従って、方向重み算出部４２０が式（７）を用いて求めている。なお、入力視点から着目画素に写っている被写体への方向は、入力視点のカメラ位置及び被写体の世界座標等を用いて容易に算出することができる。
ｗ’_ｎ＝θ_ｍ／（θ_ｎ＋θ_ｍ）
ｗ’_ｍ＝θ_ｎ／（θ_ｎ＋θ_ｍ） ……（７）
式（７）において、図７（Ｂ）に示すように、θ_ｎは、１つの入力視点から着目画素に写っている被写体７５０への方向７７０と、出力視点からの着目画素に対応する方向７６０と、がなす角を示す。また、θ_ｍは、別の入力視点から着目画素に写っている被写体７５０への方向７８０と、出力視点からの着目画素に対応する方向７６０と、がなす角を示す。

また、画素値算出部４４０は、合成された画素値Ｉ_１２の重みｗ_１２を、式（８）を用いて算出する。
ｗ_ｎｍ＝ｍａｘ（ｗ_ｎ，ｗ_ｍ） ……（８）

画素値算出部４４０は、同様に、向きが出力視点に３番目及び４番目に近い２つの入力視点のペアを選択する。そして、式（５）を用いて合成された画素値Ｉ_３４を算出し、式（８）を用いて合成された画素値Ｉ_３４の重みｗ_３４を算出する。

さらに、画素値算出部４４０は、画素値Ｉ_１２と画素値Ｉ_３４とを合成する。選択された入力視点のペアに基づいて得られた画素値Ｉ_ｑ，Ｉ_ｒの合成は、式（９）に基づいて行われ、合成された画素値Ｉ_ｓが得られる。式（９）において、Ｉ_ｑ及びｗ_ｑはＩ_１に基づく合成画素値（例えば、画素値Ｉ_１２、及び画素値Ｉ_１２とＩ_３４とが合成された画素値等）及びその重みを表す。Ｉ_ｒ及びｗ_ｒは、Ｉ_１に基づかない合成画素値（例えば、画素値Ｉ_３４及びＩ_５６等）及びその重みを表す。
Ｉ_ｓ＝ｗ_ｑ・Ｉ_ｑ＋（１−ｗ_ｑ）・Ｉ_ｒ ……（９）
前述のとおり、合成画素値の重みは式（８）を用いて計算できる。言い換えれば、合成画素値Ｉｓの重みｗ_ｓは、ｗ_ｓ＝ｍａｘ（ｗ_ｑ，ｗ_ｒ）と表すことができる。

画素値算出部４４０は、さらに、向きが出力視点に５番目及び６番目に近い２つの入力視点のペアを選択し、式（５）（８）を用いて合成画素値Ｉ_５６及びその重みｗ_５６を算出する。そして、画素値算出部４４０は、式（９）を用いて合成画素値Ｉ_５６をＩ_１〜Ｉ_４の合成画素値に合成する。このような処理を繰り返すことにより、着目画素の画素値が算出される。

この実装例に基づく画素値の合成方法について、図８（Ａ）〜（Ｃ）を参照して説明する。図８（Ａ）〜（Ｃ）は、再構成画像上における、それぞれの入力視点の視野範囲（すなわち、各撮像画像の投影範囲）を示す。本実装例においては、１つの着目画素の画素値を決定する際に、まず第１の入力視点ペアからの撮像画像に基づいて、第１の入力視点ペアの視野範囲８１０について画素値が決定される。次に、第２の入力視点ペアからの撮像画像に基づいて、第２の入力視点ペアの視野範囲８２０について画素値が決定され、第１の入力視点ペアの視野範囲８１０の画素値と合成される。第３の入力視点ペア及びさらなる入力視点ペアからの撮像画像に基づいて、さらなる視野範囲８３０について画素値が逐次決定され、既に得られた画素値と合成される。

この方法によれば、出力視点と向きが近い２つの入力視点を選択して画素値を合成した後に、さらなる２つの入力視点に基づく合成画素値がさらに逐次的に合成される。式（５）に従う２つの画素値の合成は実施形態１と同様である。また、式（９）に従う合成画素値同士の合成も、実施形態１と同様の考えに基づいている。すなわち、合成画素値の重みｗ_ｎｍは２つの入力視点の向きが出力視点の向きに近いほど大きくなるし、被写体が２つの入力視点の視野範囲の周辺部に近いほど小さくなる。このように、合成処理においては、異なる２つの方法を組み合わせることが可能である。また、本発明に係る方法と、その他の方法とを組み合わせて用いることもできる。

とりわけ、この実装例において、画素値算出部４４０は、向きが仮想視点と近い２つの撮像装置を選択し、選択された撮像装置により撮像された撮像画像を用いて、着目方向に存在する被写体の色情報を決定する第１の処理をまず行う。この処理は、第１の入力視点ペアからの撮像画像に基づく、第１の入力視点ペアの視野範囲８１０における画素値の決定に相当する。ここで、本実施形態において、式（６）によれば入力視点の視野の中央部においては位置重みｗ_ｎが１となり、方向重みｗ_ｎ’は１未満である。したがって、視野範囲８１０の中央部分の重みｗ_ｎｍは１であり、周辺部分のみ重みｗ_ｎｍが１未満となる。

したがって、式（９）に従って第２の入力視点ペアの視野範囲８２０における画素値を合成する第２の処理を行うと、視野範囲８１０の中央部分の画素値は更新されず、視野範囲８１０の周辺部分の画素値のみが更新される。また、視野範囲８１０の外については、第２の入力視点ペアからの撮像画像に基づく画素値が用いられる。まとめると、第２の処理において、画素値算出部４４０は、着目方向に存在する被写体が２つの撮像装置（第１の入力視点ペア）の視野内の中央部に存在する場合、第１の処理により決定された被写体の色情報を更新しない。また、着目方向に存在する被写体が２つの撮像装置（第１の入力視点ペア）の視野内の周辺部に存在する場合、画素値算出部４４０は次の処理を行う。すなわち、画素値算出部４４０は、２つの撮像装置とは異なる撮像装置（第２の入力視点ペア）により撮像された撮像画像を用いて決定された着目方向に存在する被写体の色情報を、第１の処理により決定された被写体の色情報と合成する。そして、着目方向に存在する被写体が２つの撮像装置の視野外に存在する場合、画素値算出部４４０は次の処理を行う。すなわち、画素値算出部４４０は、２つの撮像装置（第１の入力視点ペア）とは異なる撮像装置（第２の入力視点ペア）により撮像された撮像画像を用いて、着目方向に存在する被写体の色情報を決定する。

このような実装例においては、向きが仮想視点と近い撮像装置からの撮像画像が、再構成画像の生成において重視されるため、より違和感の少ない画像を合成することができる。なお、具体的な合成方法は特に限定されず、撮像画像のペアに基づく画素値を合成する代わりに、１つの撮像画像に基づく画素値を合成してもよい。

［実施形態２］
実施形態１では、時間とともに位置及び形状が変化する人物のような被写体と、時間とともに位置がほとんど変化しない壁面のような被写体と、の双方について、仮想視点からの距離に基づいて仮想視点からの画像を再構成した。一方で、例えば壁面、床、及び天井のような背景は撮像装置１０８との位置姿勢関係が一定である。したがって、仮想視点の位置姿勢が決まれば、撮像画像に対するホモグラフィ変換を行うことで、背景の再構成画像のうち、この撮像画像に対応する領域の画像を生成することができる。そして、それぞれの撮像画像から得られた背景の画像をブレンディングすることにより、背景の再構成画像を生成することができる。別途、式（１）〜（４）を用いて、又は実施形態１と同様の方法で人物等の背景以外の画像を生成して背景に合成することで、人物等を含む再構成画像を生成することもできる。実施形態２では、このような処理について説明する。なお、以下の説明において、時間とともに位置又は形状が変化する被写体のことを動体と呼び、時間とともに位置及び形状が変化しない被写体のことを背景と呼ぶ。

実施形態２に係る画像処理装置は、図３及び図４に示す画像処理装置１００と同様の構成を有し、以下では異なる点について主に説明する。また、実施形態２に係る処理は、ステップＳ６４０及びＳ６５０の処理が異なることを除き、実施形態１と同様に行うことができる。

ステップＳ６４０において、距離マップ取得部３３０は、仮想視点から被写体までの距離マップに加えて、背景の位置を示す位置情報を取得する。本実施形態において、背景は、複数の面で構成される被写体のモデルにより表される。本実施形態で用いられる位置情報の例を図９に示す。背景は体育館の壁面、床、及び天井であり、背景の位置情報は４頂点ポリゴンモデル９１０で表される。もっとも、位置情報の種類は特に限定されない。なお、動体の再構成画像を生成しない場合、仮想視点から被写体までの距離マップを取得することは必要ではない。

ステップＳ６４０において、距離マップ取得部３３０はさらに、再構成画像の各画素について、撮像画像中の対応する画素を判定する。ここで、対応する画素とは、背景の同じ位置が写っている画素のことを指す。入力視点、出力視点、及び背景モデルの位置姿勢関係が既知であるため、この処理は任意の方法を用いて行うことができる。例えば、背景モデルに含まれる背景平面を出力視点からの再構成画像及び入力視点からの撮像画像に射影することにより、再構成画像中の画素位置を撮像画像中の画素位置に変換するホモグラフィ行列を算出することができる。本実施形態の場合、背景モデルに含まれる背景平面は、４頂点ポリゴンの１つを意味する。このような処理をそれぞれの背景平面について繰り返すことにより、再構成画像中の各画素に対応する背景平面が決定される。また、背景平面ごとに、それぞれの撮像画像について、再構成画像中の着目画素に対応する画素位置を算出するためのホモグラフィ行列が得られる。このホモグラフィ行列を用いて、それぞれの撮像画像について、再構成画像中の着目画素に対応する画素位置を算出することができる。なお、着目画素がどの背景平面にも対応しない場合、及び着目画素が動体が写っている領域にある場合には、本実施形態では実施形態１と同様に着目画素の画素値が算出されるため、着目画素に対応する撮像画像中の画素を判定するこの処理は行わなくてもよい。

以下、ステップＳ６５０における処理について説明する。ステップＳ６５１は実施形態１と同様に行うことができる。ステップＳ６５２〜Ｓ６５６は、実施形態１と同様、再構成画像の各画素について行われ、着目画素の画素値が算出される。以下では、再構成画像のうち、背景が写っている画素の画素値を算出する処理について説明する。再構成画像のうち、動体が写っている画素又は対応する背景平面が存在しない画素の画素値は、例えば実施形態１と同様の方法により算出することができる。また、再構成画像のうち、背景が写っている領域と動体が写っている領域との識別は、従来知られている方法により行うことができる。例えば、動体が存在していない場合の距離マップと、動体が存在する場合の距離マップとを比較し、画素値の差分が閾値以上である画素を動体が写っている領域と判定することができる。

ここまでの処理で、着目画素に対応する撮像画像中の画素は既知である。したがって、実施形態１と同様に、ステップＳ６５３で方向重み算出部４２０はそれぞれの撮像画像について方向重みを算出することができ、ステップＳ６５４で位置重み算出部４３０はそれぞれの撮像画像について位置重みを算出することができる。そして、ステップＳ６５５で画素値算出部４４０は着目画素の画素値を決定することができる。例えば、画素値算出部４４０は、仮想視点からの画像への背景モデル面の射影像と、撮像画像への背景モデル面の射影像と、の間の座標変換を用いて、着目方向に存在する被写体に対応する撮像画像上の画素を特定することができる。そして、画素値算出部４４０は、特定された画素の色情報を着目方向に存在する被写体の色情報として取得することができる。最後に、画素値算出部４４０は、それぞれの撮像画像から抽出した色情報を方向重み及び位置重みを用いて重み付け合成することにより、着目方向に存在する被写体の色情報を決定することができる。

本実施形態によれば、背景画像については、再構成画像中の画素に対応する撮像画像中の画素を特定するために式（１）〜（４）の計算を行わなくてもよいため、処理を高速化することができる。

前記背景の位置を示す位置情報には、透過方向を示す情報を設定することができる。この場合、仮想視点からの視線が、背景の透過方向に従って背景を横切るならば、背景を描画しないことができる。また、仮想視点からの視線が、背景の反射方向に従って背景を横切るならば、背景を描画することができる。このような処理により、例えば、仮想視点が床の上方にある場合に床を描画し、仮想視点が床の下方にある場合には床を描画しないように、制御を行うことができる。このような処理によれば、より自由な仮想視点からの再構成画像を生成することが可能となる。

具体的な一例として、背景の位置を示すポリゴンモデルの各面に、反射面か透過面かを示す情報を与えることができる。ここで、１つのポリゴンについては、両面に独立に反射面か透過面かを示す情報を与えることができる。仮想視点がポリゴンの透過面側に存在する場合、このポリゴンは存在しないものとして扱いながら、再構成画像の各画素について、撮像画像中の対応する画素を判定することができる。例えば、仮想視点がポリゴンの透過面側に存在する場合、このポリゴンについてはホモグラフィ行列の算出及びそのための射影処理を行わなくてよい。このような例においては、床を示すポリゴンのうち、表面（内面）に反射面を示す情報を設定し、裏面（外面）に透過面を示す情報を設定することにより、上記のような制御が可能となる。なお、ポリゴンの反射面側に、仮想視点と撮像装置との双方が存在する場合に、このポリゴンが存在するものとして扱うこともできる。

［実施形態３］
実施形態１では、実装例として、２つの入力視点ペアからの撮像画像に基づいて出力視点からの画像を得て、各画像を合成することにより、再構成画像を生成する例について説明した。実施形態３では、３つ以上の入力視点からの撮像画像に基づいて再構成画像を生成する例について説明する。

本実施形態においては、以下のようにして再構成画像上の着目画素の画素値が決定される。まず、入力視点からの撮像画像において、着目画素の方向（着目方向）に存在する被写体が撮像画像に写っているような入力視点が選択される。次に、既に説明したように、入力視点の撮像方向に応じた方向重み（又は角度重み）が算出され、入力視点からの視野内におけるオブジェクトの位置に応じた位置重みが算出される。そして、方向重みと位置重みとを合成することで、入力視点の向きと入力視点の視野内におけるオブジェクトの位置とに応じた重みが算出される。このようにして、方向重み（又は角度重み）と位置重みとの双方を考慮して、それぞれの入力視点に重みが設定される。そして、入力視点からの撮像画像から既に説明したように得られた着目画素の画素値を、入力視点に設定された重みに応じて重み付け合成することにより、着目画素の画素値が決定される。

以下、本実施形態における再構成画像生成方法の具体例について、図１０に示す入力視点が３視点の場合を例として説明する。図１０（Ａ）は、再構成画像１０００上での入力視点１〜３の可視範囲１００１〜１００３を示す。本実施形態においては、撮像画像の端部からの距離に基づいて位置重みが設定される。従って、再構成画像１０００上での位置重みは、可視範囲の端部から内側に向かって増大し、十分に内側の領域では一定値となる。例えば、図１０（Ｃ）は、線分１００４に沿った各位置における位置重みを示す。領域１００９〜１０１１は、それぞれ入力視点１〜３の位置重みに対応する。

本実施形態では、再構成画像１０００を、着目方向に存在する被写体が撮像画像に写っているような入力視点の組み合わせに応じて分割し、それぞれの領域について角度重みを設定する。すなわち、角度重みによる重み付けは、着目画素に対応する被写体が見えている視点の組ごとに行われる。図１０（Ｂ）は、このような分割の例を示す。

入力視点１及び２から見えている領域１００５に対しては、入力視点１，２に基づく角度重みを設定する。領域１００５における角度重みの設定方法を、概念図１００６を参照して説明する。概念図１００６においては、円が光線方向を表しており、矢印が出力視点からの光線、白丸が被写体が見えている入力視点からの光線を表している。領域１００５については、概念図１００６に示される角度ｄ_１（入力視点１からの光線と出力視点からの光線とがなす角度）と、角度ｄ_２（入力視点２からの光線と出力視点からの光線とがなす角度）に基づき角度重みが設定される。

また、概念図１００８に示されるように、領域１００７については、角度ｄ_１と、角度ｄ_２と、に基づき角度重みが設定される。このように、被写体が見えている入力視点が３つ以上である場合、出力視点と距離又は光線が近い２つの入力視点についての角度ｄ_１及びｄ_２に基づいて、角度重みが設定される。

入力視点の組み合わせのそれぞれについて角度重みを設定した後は、位置重みの設定及び再統合が行われる。図１０（ｄ）は、線分１００４に沿った、入力視点の組み合わせのそれぞれについての位置重みを表した図である。領域１０１２は、入力視点１のみからなる組の成分についての重みであり、領域１０１３は入力視点１及び２からなる組についての成分の重みであり、領域１０１４は入力視点１と２と３とからなる組についての成分の重みである。各組の位置重みの設定方法は特に限定されない。例えば、組に含まれるそれぞれの入力視点について実施形態１と同様に設定される位置重みのうち、最小の位置重みに基づいて、組についての位置重みを設定することができる。具体例としては、入力視点数の多い組から順に、被写体が見えている入力視点についての位置重みのうち最小のものに入力視点数を乗じ、得られた値を位置重みとして割り当てていく方法が挙げられる。

実施形態３におけるレンダリング部３５０の構成例を図１１に示す。歪曲補正部４１０及び位置重み算出部４３０の構成及び処理は実施形態１と同様である。可視判定部１１０１は、オブジェクトが複数の撮像装置のそれぞれから見えているか否かを判定する。例えば、可視判定部１１０１は、再構成画像上の着目画素に対応する被写体が、各入力視点からの撮像画像上で見えているかを判定し、判定結果を可視視点情報として生成する。

視点選択部１１０２は、オブジェクトが見えている撮像装置群から選択された１以上の撮像装置の組を示す視点組み合わせ情報（選択情報）を生成する。例えば、視点選択部１１０２は、被写体が見えている入力視点の組から、１以上の入力視点の組を選択することにより視点組み合わせ情報を生成する。合成位置重み算出部１１０３は、視点組み合わせ情報に基づいて、各入力視点についての位置重みから合成位置重みを算出する。また、合成位置重み算出部１１０３は、重みを使い切った入力視点を無効化し、重みを使い切った入力視点の情報を視点選択部１１０２に通知することにより視点選択部１１０２による選択の対象から外す。方向重み算出部１１０４は、視点組み合わせ情報に基づいて角度重みを決定する。重み算出部１１０５は、合成位置重みと角度重みとに基づいて合成重みを算出する。画素値算出部１１０６は、合成重みと歪曲補正画像とに基づいて画素値を算出する。

図１２は、視点選択部１１０２及び合成位置重み算出部１１０３の詳細な構成例を示す。視点組み合わせ生成部１２０１は、有効視点バッファ１２０２に格納されている有効視点情報に基づいて入力視点の組み合わせを選択することにより、視点組み合わせ情報を生成する。ここで、視点組み合わせ生成部１２０１は、選択する時点で有効となっている入力視点を選択する。有効視点バッファ１２０２は有効視点情報を保持するバッファであり、有効視点情報は各入力視点について有効か無効かを示す。有効視点情報は、再構成画像上の着目画素が変わるたびに、可視視点情報に基づいて、被写体が見えている入力視点が有効となるように初期化される。

位置重み和算出部１２０４は、各入力視点についての位置重みの総和を算出する。なお、不可視の入力視点、すなわち再構成画像上の着目画素に対応する被写体が見えていない入力視点についての位置重みは０として算出が行われる。位置重みバッファ１２０５は、各入力視点についての位置重みを保持するバッファであり、再構成画像上の着目画素が変わる度に、各入力視点について位置重み算出部４３０が得た位置重みを用いて初期化される。具体的には、初期化の際には、位置重みバッファ１２０５には、各入力視点についての位置重みを位置重みの総和で割った値が格納される。

最小位置重み算出部１２０６は、視点組み合わせ情報に基づいて、選択された入力視点から、位置重みバッファ１２０５に格納されている位置重みが最小である入力視点を選択する。選択された入力視点の情報は有効視点更新部１２０３に通知され、有効視点更新部１２０３は、選択された入力視点が無効視点となるように有効視点バッファ１２０２を更新する。また、重み更新部１２０７は、位置重みバッファ１２０５が保持する位置重みについて、視点組み合わせ生成部１２０１が選択した入力視点についての位置重みから、最小位置重み算出部１２０６が選択した入力視点についての位置重みを減算する更新処理を行う。重み決定部１２０８は、最小位置重み算出部１２０６が選択した入力視点についての位置重みに、視点組み合わせ生成部１２０１が選択した入力視点の数を乗じることで、合成位置重みを算出する。

実施形態３におけるレンダリング部３５０による処理の流れを図１３に示す。ステップＳ６５１、ステップＳ６５２、ステップＳ６５６は実施形態１と同様に行われる。ステップＳ１３０１において可視判定部１１０１は上述のように可視視点情報を生成する。ステップＳ１３０２において可視判定部１１０１は上述のように可視視点情報に基づいて有効視点バッファ１２０２の初期化を行う。ステップＳ１３０３において位置重み算出部４３０は上述のように各入力視点についての位置重みを算出する。ステップＳ１３０４において位置重み和算出部１２０４は上述のように各入力視点についての位置重みの総和を算出し、位置重みバッファ１２０５の初期化を行う。

ステップＳ１３０５において視点組み合わせ生成部１２０１は、上述のように有効視点情報に基づいて入力視点の組み合わせを選択し、視点組み合わせ情報を生成する。例えば、視点組み合わせ生成部１２０１は、有効な入力視点をすべて選択する。ステップＳ１３０６において最小位置重み算出部１２０６は、視点組み合わせ情報と位置重みバッファ１２０５に格納された位置重みとに基づいて、位置重みが最小である入力視点を上述のように選択する。ステップＳ１３０７において有効視点更新部１２０３は、ステップＳ１３０６で選択された入力視点が無効化されるように、上述のように有効視点バッファ１２０２を更新する。ステップＳ１３０８において重み更新部１２０７は、上述のように位置重みバッファ１２０２を更新する。具体的には、重み更新部１２０７は、ステップＳ１３０５で選択された選択された各入力視点について、現在の位置重みからステップＳ１３０６で選択された入力視点についての位置重みを減算する。ステップＳ１３０９において重み決定部１２０８は、ステップＳ１３０６で選択された入力視点についての位置重みに、ステップＳ１３０５で選択された入力視点の数を乗じることで、上述のように合成位置重みを算出する。こうして算出された合成位置重みは、ステップＳ１３０５で選択された入力視点の組み合わせについての合成位置重みとして用いられる。

ステップＳ１３１０において、方向重み算出部１１０４は、上述のように視点組み合わせ情報に基づいて方向重みを決定する。この方向重みは、ステップＳ１３０５で選択された入力視点の組み合わせについて、各入力視点の重みを示す方向重みとして用いられる。ステップＳ１３１１において重み算出部１１０５は、ステップＳ１３１０で各入力視点について決定された方向重みに、ステップＳ１３０９で算出された合成位置重みを乗じることにより、各入力視点についての重みの更新量を算出する。

ステップＳ１３１２において重み算出部１１０５は、ステップＳ１３１１で算出された更新量を、これまでの各入力視点についての累積重みに加算することで、各入力視点についての累積重みを更新する。なお、各入力視点についての累積重みは、再構成画像上の着目画素が変わる度に０に初期化されている。そして、これまでの各入力視点についての累積重みは、現在の視点組み合わせ情報とは異なる視点組み合わせ情報に基づいて算出された重みの更新量を累積することにより得られている。ステップＳ１３１３において、視点組み合わせ生成部１２０１は、有効視点が残っているか否かを判定する。有効視点が残っていなければ処理はステップＳ６５６に進み、残っていれば処理はステップＳ１３０５に戻り、別の有効視点の組み合わせについて処理が繰り返される。

ステップＳ１３１４において画素値算出部１１０６は、各入力視点についての歪曲補正画像と、各入力視点についての累積重みと、に基づいて着目画素の画素値を決定する。具体的には、着目画素に対応する歪曲補正画像上の画素の画素値を、累積重みを用いて重み付け合成することにより、着目画素の画素値を決定することができる。ここで、各入力視点についての累積重みは、位置重みと方向重みとの双方を考慮した重みである。

図１４（図１４−１〜図１４−３）は、入力視点が５つある場合における、本実施形態における重み算出処理の流れを例示する。図１４（Ａ）は、各入力視点についての位置重みが、４回の更新を経てどのように変化するかを表している。また、図１４（Ｂ）は、有効視点が４回の更新を経てどのように変化するかを表している。図１４（Ｂ）では、１が有効、０が無効を表している。入力視点５からは着目画素に対応する被写体は可視でないため、初期状態において入力視点は無効であり、累積重みは０となる。図１４（Ｃ）は、各更新により得られる最小重み視点（位置重みが最小となる入力視点）、最小位置重み（最小重み視点の位置重み）、有効視点数、及び合成位置重みを表している。

初期値においては、有効視点１，２，３，４の中では、入力視点２が最小重み視点であり、その位置重みは０．１である。したがって１回目の更新では入力視点１，２，３，４についての位置重みから最小位置重みの０．１が引かれ、視点２が無効化される。また、有効視点数は４であるので、合成位置重みは０．４となる。１回更新後においては、有効視点１，３，４の中では、入力視点３が最小重み視点であり、その位置重みは０．１である。したがって２回目の更新では、視点１，３，４についての位置重みから最小位置重みの０．１が引かれ、視点３が無効化される。また、有効視点数は３であるので、合成位置重みは０．３となる。２回更新後においては、有効視点１，４の中では、有効視点１が最小重み視点であり、その位置重みは０．１である。したがって３回目の更新では、視点１，４についての位置重みから最小位置重みの０．１が引かれ、入力視点２が無効化される。また有効視点数は２であるので、合成位置重みは０．２となる。３回更新後においては、入力視点４が唯一有効であるから、入力視点４が最小重み視点であり、その位置重みは０．１である。したがって４回目の更新では、入力視点４が無効化され、繰り返しが終了する。また、有効視点数は１であるので、合成位置重みは０．１となる。

図１４（Ｄ）は、一例における、出力視点からの光線と、各入力視点からの光線とがなす角を表す。ここでは、出力視点からの光線は、入力視点２と入力視点３の光線の間に位置している。方向重みは、出力視点と出力視点から左回り方向に最近傍の入力視点とのなす角、及び出力視点と出力視点から右回り方向に最近傍の入力視点とのなす角に基づいて、式（７）にしたがって算出できる。ここで、出力視点からの光線としては、出力視点から、再構成画像上の着目画素に対応する被写体への光線を算出して用いることができる。また、入力視点からの光線としては、入力視点から、再構成画像上の着目画素に対応する被写体への光線を算出して用いることができる。なお、入力視点からの光線は、実施形態１で説明した入力視点から着目画素に写っている被写体への方向に、出力視点からの光線は、実施形態１で説明した出力視点からの着目画素に対応する方向に、それぞれ対応する。したがって、入力視点及び出力視点からの光線としては、実施形態１と同様のものを用いることができる。例えば、画素毎に光線を算出する代わりに、各視点の光軸ベクトル、又は各視点位置から基準点へのベクトルを、光線として用いることができる。さらに、光線がなす角は、光線を基準面に射影して得られる２次元ベクトルがなす角を用いてもよいし、３次元空間中において光線がなす角を用いてもよい。

図１４（Ｅ）は、図１４（Ｄ）に示す光線がなす角に基づいて算出された、方向重みの例を示す。ステップＳ１３１０の通り、「１回目更新」の欄は、入力視点１〜４の組み合わせに対する各入力視点の方向重みを表す。図１４（Ｅ）の例では、入力視点１〜４の組み合わせに対応する画素値成分は、入力視点２からの撮像画像と、入力視点３からの撮像画像とに基づいて設定される。本実施形態では、２以上の入力視点の組み合わせに対応する画素値成分は、２つの入力視点からの撮像画像から得られた画素値の組み合わせで表されるため、上述のように２つの入力視点について重みが設定されている。同様に、「２回目更新」「３回目更新」及び「４回目更新」の欄は、入力視点１，３，４の組み合わせ、入力視点１，４の組み合わせ、及び入力視点４からなる組み合わせについての方向重みを表す。

図１４（Ｆ）は、図１４（Ｃ）に示す合成位置重みに、図１４（Ｅ）に示す方向重みを乗じて得られる値を示し、これは重みの更新量として用いられる。図１４の例において、着目画素の画素値成分は、以下の画素値成分の組み合わせで表される。すなわち、入力視点１〜４の組み合わせに対応する画素値成分と、入力視点１，３，４の組み合わせに対応する画素値成分と、入力視点１，４の組み合わせに対応する画素値成分と、入力視点４からなる組み合わせに対応する画素値成分と、の組み合わせである。図１４（Ｆ）に示される重みの更新量は、入力視点の組み合わせの１つに対応する画素値成分を算出する際に用いられる、各入力視点の重みに相当する。そして、重みの更新量を更新毎に加算して累積していくと、図１４（Ｇ）に示す最終的な入力視点毎の重みが得られる。この重みで、各入力視点からの撮像画像において着目画素に対応する画素の画素値を重み付き平均することにより、着目画素の画素値が得られる。各入力視点からの撮像画像における着目画素に対応する画素の画素値の算出は、実施形態１，２と同様に行うことができる。

ここで示した合成位置重みの算出方法は一例であり、合成位置重みは他の方法で算出することもできる。例えば、入力視点ごとに算出した位置重みを用いる代わりに、入力視点の組み合わせに応じて分割した領域のそれぞれについて、端部のブレンド幅を適宜設定し、この領域の端部からの距離に応じて設定された位置重みを合成位置重みとして用いることができる。また、有効視点を全て選択する代わりに、出力視点光線と入力視点光線とのなす角が小さい２つの入力視点を選択し、選択された入力視点を含むような入力視点の組み合わせ全てに対して重みを減じる処理を繰り返すこともできる。また、方向重みの算出方法も一例であり、方向重みは他の方法で算出することもできる。例えば、３以上の入力視点について方向重みを設定してもよいし、非線形な重みを設定することもできる。また、最近傍の入力視点について算出した重みと、被写体が可視である視点の間で平均的に設定された重みと、を基準面と光線とがなす角に基づきブレンドすることもできる。このような方法によれば、光線方向が基準面に対して垂直となる位置の近傍で急激に重みが変化する現象を抑制することもできる。

［実施形態４］
実施形態３までは、概略円環状に配置された入力視点からの撮像画像を用いる例を示した。実施形態４では、主たる撮像画像の他に、背景撮像画像又は環境情報などを用いて再構成画像を生成する例を示す。

実施形態４に係るレンダリング部３５０の構成例を図１５に示す。本実施形態における主レンダリング部１５０１及び背景レンダリング部１５０２は、実施形態１〜３におけるレンダリング部３５０と同様の構成及び処理を行い、それぞれ主レンダリング画像及び背景レンダリング画像を生成する。例えば、主レンダリング部１５０１は動体である被写体の画像を主レンダリング画像として生成することができ、背景レンダリング部１５０２は背景である被写体の画像を背景レンダリング画像として生成することができる。このような処理は、例えば実施形態２の方法を応用することにより行うことができる。本実施形態において、主レンダリング部１５０１及び背景レンダリング部１５０２は、それぞれ概略円環状に配置されている、異なるグループの撮像装置により得られた撮像画像を用いてレンダリングを行う。すなわち、主レンダリング部１５０１は、主撮像部グループにより得られた主撮像画像群に基づいて色情報を決定する。また、背景レンダリング部１５０２は、背景撮像部グループにより得られた背景撮像画像群に基づいて色情報を決定する。

また、主レンダリング部１５０１及び背景レンダリング部１５０２は、レンダリング画像の他に、レンダリング画像の各画素についての位置重みを示す主重みマップ及び背景重みマップを生成する。この重みマップは、レンダリング画像の各画素に対して、各画素に対応する全入力視点の位置重みのうちの最大の位置重みを格納している。ブレンディング部１５０３は、主レンダリング画像と背景レンダリング画像とを重みマップに基づきブレンド（合成）することにより、オブジェクトの色情報を決定し、こうしてブレンド画像を出力する。ブレンド方法の一例としては、主レンダリング画像には位置重みを乗じ、背景レンダリング画像には（１−位置重み）を乗じて、加算平均する方法が挙げられる。ここで用いられる位置重みとしては、正規化された、主重みマップに示される位置重みを用いることができる。また、重み算出部１５０４は、主重みマップと背景重みマップとから新たな重みマップを生成する。重み算出部は、主重みマップに示される重みと背景重みマップに示される重みとの最大値を、新たな重みマップに示される重みとして算出することができる。

環境レンダリング部１５０５は、環境レンダリング画像を生成する。環境レンダリング部１５０５は、例えば、各光線方向に対して画素値が定義された環境マップ又は単色を示す色情報のような環境情報を用いてレンダリングを行うことにより、環境レンダリング画像を生成することができる。ブレンディング部１５０６は、ブレンディング部１５０３が生成したブレンド画像と、環境レンダリング画像とをブレンディングすることにより、最終的な出力画像を生成することができる。ここで、ブレンディング部１５０６は、重み算出部１５０４が生成した重みマップに基づいて、ブレンディング部１５０３と同様にブレンディングを行うことができる。

実施形態３におけるレンダリング部３５０が行う処理の流れを図１６に示す。ステップＳ１６０１において、主レンダリング部１５０１は主撮像画像に基づき主レンダリング画像を生成する。ステップＳ１６０２において、背景レンダリング部１５０２は背景撮像画像に基づいて背景レンダリング画像を生成する。ステップＳ１６０３において、環境レンダリング部１５０５は環境情報に基づいて環境レンダリング画像を生成する。ステップＳ１６０４においてブレンディング部１５０３は主レンダリング画像と背景レンダリング画像とをブレンディングする。ステップＳ１６０５において重み算出部１５０４は主重みマップと背景重みマップとを合成する。ステップＳ１６０６では、ステップＳ１６０５で得られた重みマップに基づいて、ブレンディング部１５０６が、ステップＳ１６０４で生成した画像と環境レンダリング画像とをブレンディングする。

本実施形態では、主撮像画像、背景撮像画像、及び環境情報を用いて画像を生成する例を示したが、用いる画像群はこれより多くても少なくても構わない。また、ここに示したブレンディング方法は一例に過ぎず、他の方法を用いることもできる。例えば、基準面と光線のなす角、又は出力視点の位置に基づき、画像のブレンディング比率を変えることもできる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３１０：入力視点情報取得部、３２０：出力視点情報取得部、３３０：距離マップ取得部、３４０：画像取得部、３５０：レンダリング部、３６０：画像出力部、４１０：歪曲補正部、４２０：方向重み算出部、４３０：位置重み算出部

Claims (19)

1. 仮想視点及び複数の撮像装置の位置姿勢情報と、オブジェクトの位置情報と、前記複数の撮像装置のそれぞれにより撮像された撮像画像とを取得する取得手段と、
   前記仮想視点からのオブジェクト画像に存在するオブジェクトの色情報を、前記複数の撮像装置のうちの１つ以上による撮像画像から決定する決定手段であって、前記仮想視点及び前記撮像装置の位置姿勢情報並びに前記オブジェクトの位置情報に基づいて選択される前記１つ以上の撮像装置による撮像画像における前記オブジェクトの色情報を、前記１つ以上の撮像装置の撮像方向と前記１つ以上の撮像装置の視野内における前記オブジェクトの位置とに応じた重みを用いて合成することにより、前記オブジェクトの色情報を決定する決定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記重みは、前記オブジェクトが前記撮像装置の視野内の周辺部に存在する場合、前記撮像装置の視野内の中心部に存在する場合よりも小さいことを特徴とする、請求項１に記載の画像処理装置。
3. 前記撮像装置の視野内における前記オブジェクトの位置とは、前記撮像画像中における位置であることを特徴とする、請求項１又は２に記載の画像処理装置。
4. 前記重みは、
   前記撮像画像上で、前記オブジェクトの前記撮像画像の端部からの距離が所定の閾値を超えている場合、一定の重みであり、
   前記撮像画像上で、前記オブジェクトの前記撮像画像の端部からの距離が所定の閾値以下である場合、前記一定の重みより小さい重みである
   ことを特徴とする、請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記オブジェクトの位置情報は、前記仮想視点からオブジェクトまでの距離マップであり、
   前記決定手段は、前記仮想視点から前記オブジェクトまでの距離と、前記仮想視点と前記撮像装置との間の位置姿勢関係とに基づいて、前記オブジェクトに対応する前記撮像画像上の画素を特定し、当該特定された画素の色情報を前記オブジェクトの色情報として取得する
   ことを特徴とする、請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記オブジェクトの位置情報は、複数の面で構成されるオブジェクトのモデルにより表され、
   前記決定手段は、前記仮想視点からの画像への前記面の射影像と、前記撮像画像への前記面の射影像と、の間の座標変換を用いて、前記オブジェクトに対応する前記撮像画像上の画素を特定し、当該特定された画素の色情報を前記オブジェクトの色情報として取得する
   ことを特徴とする、請求項１乃至４の何れか１項に記載の画像処理装置。
7. 前記オブジェクトの位置情報は、前記仮想視点からオブジェクトまでの距離マップと、複数の面で構成されるオブジェクトのモデルと、を含み、
   前記決定手段は、
   前記オブジェクトが動体である場合、前記仮想視点から前記オブジェクトまでの距離と、前記仮想視点と前記撮像装置との間の位置姿勢関係とに基づいて、前記オブジェクトに対応する前記撮像画像上の画素を特定し、当該特定された画素の色情報を前記オブジェクトの色情報として取得し、
   前記オブジェクトが背景である場合、前記仮想視点からの画像への前記面の射影像と、前記撮像画像への前記面の射影像と、の間の変換を用いて、前記オブジェクトに対応する前記撮像画像上の画素を特定し、当該特定された画素の色情報を前記オブジェクトの色情報として取得する
   ことを特徴とする、請求項１乃至４の何れか１項に記載の画像処理装置。
8. 前記モデルに含まれる面に、透過方向を示す情報が設定されていることを特徴とする、請求項６又は７に記載の画像処理装置。
9. 前記決定手段は、前記撮像装置の向きとして、前記撮像装置から前記オブジェクトへの向きを用いて、前記重みを設定することを特徴とする、請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記決定手段は、前記撮像装置の向きとして、前記撮像装置の光軸方向を用いて、前記重みを設定することを特徴とする、請求項１乃至８の何れか１項に記載の画像処理装置。
11. 前記決定手段は、前記仮想視点の光軸方向又は前記仮想視点から前記オブジェクトへの方向と、前記撮像装置の向きとの間の角度に応じて、前記重みを設定することを特徴とする、請求項１乃至１０の何れか１項に記載の画像処理装置。
12. 前記決定手段は、
    複数の前記撮像装置から、前記仮想視点の光軸方向又は前記仮想視点から前記オブジェクトへの方向により近い向きを有する２つの撮像装置を選択し、前記選択された撮像装置により撮像された撮像画像を用いて、前記オブジェクトの色情報を決定する第１の処理と、
    第２の処理であって、
    前記オブジェクトが前記２つの撮像装置の視野内の中央部に存在する場合、前記第１の処理により決定されたオブジェクトの色情報を更新せず、
    前記オブジェクトが前記２つの撮像装置の視野内の周辺部に存在する場合、前記２つの撮像装置とは異なる撮像装置により撮像された撮像画像を用いて決定された前記オブジェクトの色情報を、前記第１の処理により決定されたオブジェクトの色情報と合成し、
    前記オブジェクトが前記２つの撮像装置の視野外に存在する場合、前記２つの撮像装置とは異なる撮像装置により撮像された撮像画像を用いて、前記オブジェクトの色情報を決定する前記第２の処理と、
    を行うことを特徴とする、請求項１乃至１１の何れか１項に記載の画像処理装置。
13. 前記取得手段が取得した撮像画像に対して歪曲補正処理を行い、前記歪曲補正処理後の前記撮像画像を前記決定手段に送る補正手段をさらに備えることを特徴とする、請求項１乃至１２の何れか１項に記載の画像処理装置。
14. 前記決定手段は、前記撮像装置の撮像方向に応じた重みを算出し、前記撮像装置の視野内における前記オブジェクトの位置に応じた重みを算出し、前記撮像装置の撮像方向に応じた重みと、前記撮像装置の視野内における前記オブジェクトの位置に応じた重みとを合成することで、前記撮像装置の向きと前記撮像装置の視野内における前記オブジェクトの位置とに応じた重みを算出することを特徴とする請求項１乃至１３の何れか１項に記載の画像処理装置。
15. 前記オブジェクトが前記複数の撮像装置のそれぞれから見えているか否かを判定する可視判定手段と、
    前記オブジェクトが見えている撮像装置群から選択された１以上の撮像装置の組を示す選択情報を生成する選択手段と、をさらに備え、
    前記決定手段は、前記選択情報に基づいて前記撮像装置の向きに応じた重みを算出し、前記選択情報に基づいて前記撮像装置の視野内における前記オブジェクトの位置に応じた重みを算出し、前記撮像装置の向きに応じた重みと前記撮像装置の視野内における前記オブジェクトの位置に応じた重みを合成し、当該合成された重みを、異なる選択情報に基づいて算出された重みに加算することにより、前記撮像装置の向きと前記撮像装置の視野内における前記オブジェクトの位置とに応じた重みを算出する
    ことを特徴とする請求項１４に記載の画像処理装置。
16. 前記重みが、前記仮想視点から前記オブジェクトへの方向と、前記撮像装置から前記オブジェクトへの方向と、に基づいて決定されることを特徴とする、請求項１乃至１５の何れか１項に記載の画像処理装置。
17. 前記決定手段は、第１の撮像装置群により撮像された撮像画像群に基づいて前記画像処理装置が決定した色情報と、第２の撮像装置群により撮像された撮像画像群に基づいて前記画像処理装置が決定した色情報と、を合成することにより、前記オブジェクトの色情報を決定することを特徴とする、請求項１乃至１６の何れか１項に記載の画像処理装置。
18. 画像処理装置が行う画像処理方法であって、
    仮想視点及び複数の撮像装置の位置姿勢情報と、オブジェクトの位置情報と、前記複数の撮像装置のそれぞれにより撮像された撮像画像とを取得する工程と、
    前記仮想視点からのオブジェクト画像に存在するオブジェクトの色情報を、前記複数の撮像装置のうちの１つ以上による撮像画像から決定する工程であって、前記仮想視点及び前記撮像装置の位置姿勢情報並びに前記オブジェクトの位置情報に基づいて選択される前記１つ以上の撮像装置による撮像画像における前記オブジェクトの色情報を、前記１つ以上の撮像装置の撮像方向と前記１つ以上の撮像装置の視野内における前記オブジェクトの位置とに応じた重みを用いて合成することにより、前記オブジェクトの色情報を決定する工程と、
    を備えることを特徴とする画像処理方法。
19. コンピュータを、請求項１乃至１７の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。