JP2020067748A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】複数の撮像装置により取得された複数の画像から生成される仮想視点画像の画質を向上する。【解決手段】画像処理装置１００は、複数の撮像装置によって被写体を異なる視点から撮像した複数の撮像画像から、仮想視点に応じた仮想視点画像を生成するレンダリング部２５０を有する。レンダリング部２５０は、仮想視点の視線方向と複数の撮像装置の撮影方向との関係と、複数の撮像装置による撮像画像に関する有効解像度とに基づいて、複数の撮像装置のうち１以上の撮像装置を選択し、選択された撮像装置による撮像画像を用いて、仮想視点画像の画素値を決定する。【選択図】図２

Description

本発明は、仮想視点画像を生成する技術に関する。

従来、被写体を複数の撮像装置で撮像して得られた画像（複数視点画像）から、任意の視点である仮想視点から被写体を見た際に得られる画像（仮想視点画像）を生成する技術が知られている。仮想視点画像は、例えば、仮想視点と各撮像装置との視線方向の一致度に基づいて、複数視点画像を合成して生成される。

また、特許文献１には、視線方向の一致度に加えて、撮像装置毎に算出した仮想視点画像における有効解像度を用いて、仮想視点画像を生成する方法が記載されている。この方法によると、有効解像度の高い撮像画像を優先的に用いて複数視点画像を合成することにより、仮想視点画像の画質低下を抑えることができる。

特開第２０１４−１０８０４号公報

しかしながら、特許文献１に記載の技術では、視線方向の一致度が高い撮像装置による撮影画像と有効解像度が高い撮像装置による撮影画像とを区別せずに合成して仮想視点画像を生成する。そのため、例えば視線方向の一致度が高い一方で有効解像度が低い撮影画像と、有効解像度が高い撮影画像とが合成されることで、有効解像度が高い撮影画像を活かしきれず、仮想視点画像の画質を劣化させてしまうことがあった。

本発明は、このような問題に鑑みてなされたものであり、その目的とするところは、複数の撮像装置により取得された複数の画像から生成される仮想視点画像の画質を向上することにある。

本発明の一実施形態において、複数の撮像装置によって被写体を異なる視点から撮像した複数の撮像画像から、仮想視点に応じた仮想視点画像を生成する画像処理装置は、前記仮想視点の視線方向と前記複数の撮像装置の撮影方向との関係と、前記複数の撮像装置による撮像画像に関する有効解像度とに基づいて、前記複数の撮像装置のうち１以上の撮像装置を選択する選択手段と、前記選択手段により選択された撮像装置による撮像画像を用いて、前記仮想視点画像の画素値を決定する画素値決定手段とを有する。

本発明によれば、複数の撮像装置により取得された複数の画像から生成される仮想視点画像の画質を向上することができる。

第１の実施形態における画像処理装置のハードウェア構成を示すブロック図。 第１の実施形態における画像処理装置の機能構成を示すブロック図。 第１の実施形態の仮想視点画像生成処理の流れを示すフローチャート。 第１の実施形態の仮想視点画像生成処理の概念を説明する図。 第１の実施形態の撮像装置の構成を説明する図。 第１の実施形態の効果を説明する図。 第２の実施形態における画像処理装置の機能構成を示すブロック図。 第２の実施形態の仮想視点画像生成処理の流れを示すフローチャート。 第２の実施形態の仮想視点画像生成処理の概念を説明する図。 第３の実施形態における画像処理装置の機能構成を示すブロック図。 第３の実施形態の仮想視点画像生成処理の流れを示すフローチャート。 第３の実施形態の仮想視点画像生成処理の概念を説明する図。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

＜第１の実施形態＞
以下では、複数の撮像装置で撮像して得られた画像を複数視点画像データと呼ぶ。まず、図４を参照して、本実施形態で行われる仮想視点画像を生成するためのレンダリング処理の概要について説明する。

本実施形態におけるレンダリング処理では、任意の視点位置にある仮想視点４０１の位置情報と被写体の三次元形状データを用いて、レンダリングする対象である、仮想視点画像上の画素４０２に対応する被写体の部位４０３を特定する。その後、複数視点画像データから、特定した部位４０３を撮像している画素（４０４、４０５）を含む画像データ（４０６、４０７）を検出し、検出した画像データを用いて仮想視点画像の画素４０２の画素値をレンダリングする。本実施形態では、仮想視点と撮像装置との光線角データに基づいた撮像装置の有効度と、撮像装置の有効解像度に基づき、レンダリングに用いる画像データを限定して、仮想視点画像の画素値をレンダリングする。

本実施形態では、仮想視点と撮像視点との光線角データを撮像装置毎に算出する。光線角データとは、例えば、撮像装置４０８から見た被写体の部位４０３の方向を示す撮像視点の視線方向（撮影方向）と、仮想視点４０１から見た被写体の部位４０３の方向を示す仮想視点の視線方向とのなす角を表すデータである。次に、算出した光線角データに基づいて、高画質な仮想視点画像を生成するための撮像装置の有効度を撮像装置毎に算出する。照明等の影響により、それぞれの撮像装置により得られる画像データ上の色は、被写体の同じ部位であっても異なることがある。また、三次元形状データに含まれる誤差の影響により、撮像装置により得られる画像データから被写体の部位４０３に対応する画素を検出する際、本来の画素４０４からずれた画素４０９を誤って検出することがある。そのような場合、レンダリングした仮想視点画像の画素値が不自然な色や誤ったテクスチャとなり、画質が劣化する。これらの影響は、仮想視点の視線方向と撮像視点の視線方向とのなす角が大きい、つまり光線角データが大きいほど強くなる。そこで、本実施形態では、光線角データが小さい撮像装置ほど、仮想視点画像を高画質にできるため、有効度を高くする。一方、光線角データが大きい撮像装置ほど、仮想視点画像の画質を劣化させる可能性が高いため、有効度を低くする。

次に、撮像装置の有効解像度を装置毎に算出する。有効解像度とは、各画像データに写る被写体の部位４０３の大きさを示しており、撮像装置の有効解像度が高いほど、該当する撮像装置の画像データにおいて被写体は高解像度に撮像されている。そして、解像度が高い画像データを用いて生成した仮想視点画像ほど、高画質（高解像度）になる。

さらに、算出した有効度と有効解像度とに基づいて、レンダリングに用いる画像データを選択する。本実施形態では、有効解像度が高い撮像装置順に、その撮像装置により撮像された画像データを選択する。選択された画像データに対応する撮像装置の有効度の和が、有効度の最大値（例えば、１）を超えるまで画像データを選択する。例えば、全撮像装置の中で、撮像装置４０８の有効解像度が最大であり、次に撮像装置４１０の有効解像度が大きいとする。撮像装置４０８の有効度が最大値の１である場合、撮像装置４０８で撮像された画像データ４０６のみが選択される。また、撮像装置４０８の有効度が０．８であり、撮像装置４１０の有効度が０．６である場合は、画像データ４０６と、撮像装置４１０で撮像された画像データ４０７とが選択される。

最後に、選択した画像データ毎にレンダリングに用いる重み（ブレンド重み）を決定し、決定した重みに基づいて選択した画像データの画素値をブレンド（合成）して、仮想視点画像の画素値をレンダリングする。本実施形態において、レンダリングに用いる重みは、撮像装置の有効度に基づいて決定する。基本的には、撮像装置の有効度をレンダリングに用いる重みとする。例外的に、選択した画像データに対応する有効度の和が有効度の最大値よりも大きい場合、選択した画像データの中で最小の有効度である画像データの重みは、全画像データのレンダリングに用いる重みの和が有効度の最大値を超えないように調節して設定する。上記の例に沿って、撮像装置４０８で撮像された画像データ４０６のみが選択されている場合、画像データ４０６のレンダリング重みを１．０として、仮想視点の画素値をレンダリングする。また、画像データ４０６と４０７とが選択されている場合、有効解像度が最大である画像データ４０６のレンダリング重みは有効度と同様に０．８、画像データ４０７のレンダリング重みは１．０−０．８の０．２として、仮想視点の画素値をブレンドする。このように、有効解像度と画質に寄与する有効度とが高い画像を限定して用い、画像データをブレンドする度合い（ブレンド重み）を有効度に基づいて決定することで、高画質な仮想視点画像を生成することができる。

以下、本実施形態の具体的な構成について述べる。図１は、本実施形態の画像処理装置のハードウェア構成の一例を示す図である。画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、二次記憶装置１０４、入力インターフェース１０５、及び出力インターフェース１０６を含む。画像処理装置１００の各構成部は、システムバス１０７によって相互に接続されている。また、画像処理装置１００は、入力インターフェース１０５を介して外部記憶装置１０８に接続されており、出力インターフェース１０６を介して外部記憶装置１０８および表示装置１０９に接続されている。

ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０７を介して画像処理装置１００の各構成部を統括的に制御するプロセッサである。これにより、後述する様々な処理が実行される。

二次記憶装置１０４は、画像処理装置１００で取り扱われる種々のデータを記憶する記憶装置であり、本実施形態ではＨＤＤが用いられる。ＣＰＵ１０１は、システムバス１０７を介して二次記憶装置１０４へのデータの書き込みおよび二次記憶装置１０４に記憶されたデータの読出しを行うことができる。なお、二次記憶装置１０４にはＨＤＤの他に、光ディスクドライブやフラッシュメモリなど、様々な記憶デバイスを用いることが可能である。

入力インターフェース１０５は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースであり、外部装置から画像処理装置１００へのデータや命令等の入力は、入力インターフェース１０５を介して行われる。画像処理装置１００は、入力インターフェース１０５を介して、外部記憶装置１０８（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリなどの記憶媒体）からデータを取得する。なお、入力インターフェース１０５には不図示のマウスやボタンなどの入力デバイスも接続可能である。

出力インターフェース１０６は、入力インターフェース１０５と同様にＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースを備える。その他に、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力端子を用いることも可能である。画像処理装置１００から外部装置へのデータ等の出力は、出力インターフェース１０６を介して行われる。画像処理装置１００は、出力インターフェース１０６を介して表示装置１０９（液晶ディスプレイなどの各種画像表示デバイス）に、処理された画像などを出力し、表示することができる。なお、画像処理装置１００の構成要素は上記以外にも存在するが、ここでの説明を省略する。

以下、図２および図３を参照して、本実施形態の画像処理装置１００で行われる仮想視点画像生成処理について、より詳細に説明する。図２（ａ）は、画像処理装置１００の機能構成を示すブロック図である。図２（ｂ）は、画像処理装置１００におけるレンダリング部２５０の機能構成を示すブロック図である。図３（ａ）は、本実施形態の仮想視点画像生成処理の全体的な流れを示すフローチャートである。図３（ｂ）は、仮想視点画像生成処理におけるレンダリング処理の詳細な流れを示すフローチャートである。

画像処理装置１００は、ＲＯＭ１０３に格納されたプログラムをＣＰＵ１０１がＲＡＭ１０２をワークメモリとして用いて実行することで、図２に示す各構成部として機能し、図３のフローチャートに示す一連の処理を実行する。なお、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全部が、ＣＰＵ１０１以外の一つ又は複数の処理回路（すなわち、ＡＳＩＣや電子回路等のハードウェア）によって行われるようにしてもよい。各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップを意味する。その他のフローチャートについても同様である。以下、図３（ａ）を参照して、画像処理装置１００の各構成部により行われる仮想視点画像生成処理の流れを説明する。

Ｓ３１０において、画像データ取得部２１０は、入力インターフェース１０５を介して、または二次記憶装置１０４から、複数の撮像装置によって被写体を複数の異なる視点から撮像した複数視点画像データを取得する。複数視点画像データは、例えば図５の被写体５０２の周りを取り囲むように配置された複数の撮像装置５０１から取得する。本実施形態では、図５に示すように、複数の撮像装置５０１は上方から地面（床面）を見下ろすように配置されている。また、各撮像装置は、画角及び焦点距離が異なるレンズ（ズームレンズでもよい）を装着することができ、撮像画像５０３や撮像画像５０４のように、画像上に写る被写体の大きさは撮像装置毎に異なってもよい。なお、図５に示す撮像装置の配置や装着するレンズの構成は一例にすぎず、他の構成を用いて複数視点画像データを取得してもよい。また、画像処理装置１００は、複数の撮像装置と接続され、画像処理装置１００及び複数の撮像装置を備える画像処理システムとして構成されてもよい。このような構成によれば、リアルタイムに仮想視点からの仮想視点画像を生成することができる。本実施形態において、取得される複数視点画像データは、ＲＧＢ３チャンネルのカラー画像の場合を例に説明する。なお、複数視点画像データが１チャンネルのグレー画像や動画像データの場合についても、同様に本実施形態を適用することが可能である。複数視点画像データが動画像データである場合、画像処理装置１００は、複数の撮像装置により略同時刻に撮像されたフレーム画像を用いて、以下の処理を行うことができる。さらに、画像データ取得部２１０は、複数視点画像データの各画像を区別するため、各画像を、撮像装置を区別する番号（以下、撮像装置番号）と対応付けて記憶する。画像データ取得部２１０は、複数視点画像データをレンダリング部２５０に出力する。

Ｓ３２０において、撮像視点情報取得部２２０は、画像データ取得部２１０で取得した複数視点画像データを撮像した、複数の撮像装置の位置姿勢情報（以下、撮像視点情報と呼ぶ）を撮像装置毎に取得する。本実施形態において、撮像視点とは、複数の撮像装置５０１それぞれの視点のことを指し、撮像視点情報とは、撮像視点についての情報のことを意味する。撮像視点情報には、所定の座標系内での撮像装置５０１の位置姿勢情報が含まれ、例えば、撮像装置５０１の位置情報及び光軸方向を示す姿勢情報を含む。また、撮像視点情報には、撮像装置５０１の焦点距離又は主点位置など、撮像装置５０１の画角に関わる情報を含めることもできる。これらの情報を用いて、撮像画像の各画素と、撮像画像内に存在する被写体の位置とを対応付けることができる。そのため、被写体の特定の部位について、撮像画像上の対応する画素を特定し、その色情報を取得することが可能となる。さらに、撮像視点情報には、撮像装置５０１により撮像された画像の歪曲を示す歪曲パラメータ、Ｆ値（絞り値）、シャッタースピード及びホワイトバランス等の撮影パラメータを含むことができる。撮像視点情報取得部２２０は、撮像視点情報をレンダリング部２５０に出力する。

Ｓ３３０において、仮想視点情報取得部２３０は、仮想視点に関する情報（以下、仮想視点情報と呼ぶ）を取得する。仮想視点とは、画像処理装置１００が生成する仮想視点画像の視点のことを指し、仮想視点情報とは、仮想視点についての情報のことを意味する。仮想視点情報には、撮像視点情報と同様に、所定の座標系内での仮想視点の位置姿勢情報が含まれ、例えば、仮想視点の位置情報及び光軸方向を示す姿勢情報を含む。また、仮想視点情報には、仮想視点からの画角情報、仮想視点画像の解像度情報等を含むこともできる。さらに、仮想視点情報は、歪曲パラメータ及び撮像パラメータ等を含むこともできる。仮想視点情報取得部２３０は、仮想視点情報をレンダリング部２５０に出力する。

Ｓ３４０において、距離マップ取得部２４０は、空間内の被写体の位置情報を取得する。この位置情報は、仮想視点と被写体の相対的な位置関係を示す。本実施形態において、距離マップ取得部２４０は、仮想視点から被写体までの距離マップ（デプスマップ）として被写体の位置情報を取得する。複数の撮像装置により得られた被写体の撮像画像に基づいて距離マップを生成する方法は公知であり、任意の方法を採用することができる。例えば、視体積公差法又はステレオマッチング法を用いて、被写体の三次元モデルを生成することができる。そして、仮想視点と被写体の三次元モデルとの関係に基づいて、仮想視点画像の各画素について、仮想視点から対応する被写体までの距離を求め、距離マップを生成することができる。なお、距離マップの生成方法はこれに限られず、何らかのトラッカ−等を用いて被写体の三次元モデルを生成し、この三次元モデルに基づいて距離マップを生成してもよい。また、事前にレンジセンサなどによって、仮想視点から対応する被写体までの距離を計測することで距離マップを取得してもよい。距離マップ取得部２４０は、取得した距離マップをレンダリング部２５０に出力する。

Ｓ３５０において、レンダリング部２５０は、取得した複数視点画像データと撮像視点情報と仮想視点情報と被写体の位置情報（例えば距離マップ）とを用いて、仮想視点画像の各画素における画素値を決定する（すなわち、レンダリングを行う）。レンダリング部２５０は、複数視点画像データのそれぞれから、仮想視点から着目方向に存在する被写体の色情報を取得する。そして、レンダリング部２５０は、後述するように撮像視点と仮想視点との光線角に基づいた撮像装置の有効度と複数視点画像データの有効解像度とに応じて決定した重みを用いて、取得した色情報を合成し、着目方向に存在する被写体の色情報を決定する。レンダリング部２５０は、こうして仮想視点画像の各画素に対応する各着目方向について被写体の色情報を決定することにより、仮想視点画像を生成する。以下に、仮想視点画像の生成方法（すなわち、レンダリング処理）を具体的に説明する。

まず、仮想視点画像中の着目画素を定め、着目画素に写る被写体の位置を式（１）により算出する。

ここで、（ｘ₀、ｙ₀、ｚ₀）はカメラ座標における被写体の位置、（ｕ₀、ｖ₀）は仮想視点画像中の着目画素の座標を示す。また、ｄ₀（ｕ₀、ｖ₀）は距離マップに示される、仮想視点から着目画素に写る被写体までの距離を表す。ｆ₀は仮想視点の焦点距離を表し、ｃ_x0及びｃ_y0は仮想視点の主点位置を表す。

次に、着目画素に写る被写体について、仮想視点におけるカメラ座標を、式（２）に従って世界座標に変換する。

ここで、（Ｘ₀、Ｙ₀、Ｚ₀）は世界座標における被写体の位置を表す。Ｒ₀は、仮想視点の光軸方向を表す。（Ｘ_output、Ｙ_output、Ｚ_output）は、世界座標における仮想視点のカメラ位置を表す。

さらに、世界座標（Ｘ₀、Ｙ₀、Ｚ₀）に存在する被写体が写っている、撮像視点からの撮像画像上の座標を、式（３）を解いた式（４）に従って算出する。

ここで、Ｒ_iは撮像視点ｉの光軸方向を表す。撮像視点ｉは、上述した、複数視点画像データを区別するための撮像装置の番号である。（Ｘ_cam,i、Ｙ_cam,i、Ｚ_cam,i）は撮像視点ｉのカメラ位置を表す。ｆ_iは、撮像視点ｉの焦点距離を表し、ｃ_xi及びｃ_yiは撮像視点ｉの主点位置を表す。また、ｔは定数を表す。式（３）を（ｕ_i、ｖ_i）について解くことにより、式（４）が得られる。

式（４）に従うと、まずｔを求めることができ、さらに得られたｔを用いて（ｕ_i、ｖ_i）を求めることができる。このように、仮想視点画像中の着目画素の座標（ｕ₀、ｖ₀）は、撮像画像中の画素の座標（ｕ_i、ｖ_i）に変換することができる。仮想視点画像中の着目画素（ｕ₀、ｖ₀）と撮像画像中の画素（ｕ_i、ｖ_i）とは、同じ被写体に対応する可能性が高い。したがって、撮像画像中の画素（ｕ_i、ｖ_i）の画素値（色情報）を、仮想視点画像中の着目画素（ｕ₀、ｖ₀）の画素値（色情報）として用いることができる。

本実施形態において、レンダリング部２５０は、複数視点画像データから、着目画素（ｕ₀、ｖ₀）に対応する画素（ｕ_i、ｖ_i）（ｉは撮像装置と同等の数）を特定する。そして、特定された画素から使用する画素を限定して用いて、重みづけ合成により画素値を決定する。以下に、図３（ｂ）を参照して、レンダリング処理の流れを詳細に説明する。

Ｓ３５１において、歪曲補正部２５６は、画像データ取得部２１０が取得した複数視点画像データに対して歪曲補正を行い、歪曲補正後の複数視点画像データを画素値決定部２５７に出力する。例えば、歪曲補正部２５６は、複数視点画像データに対して、撮像視点情報取得部２２０が取得したそれぞれの撮像装置の歪曲パラメータを参照して、歪曲補正処理を行うことができる。歪曲補正された複数視点画像データを用いて仮想視点画像を生成することにより、より違和感の少ない高画質な仮想視点画像を生成することが可能となる。しかしながら、レンダリング部２５０が歪曲補正部２５６を備えることは必須ではない。

Ｓ３５２において、画素値決定部２５７は、仮想視点画像上で画素値を決定する対象である着目画素を決定する。本実施形態では、仮想視点画像において最も左上にある画素が最初の着目画素として選択される。その後、画素値の決定が完了するたびに、右下に向かって、それまでに着目画素として選択されていない画素が新たな着目画素として選択される。なお、着目画素の選択の順番はこれに限られず、どのような順番で着目画素を決定してもよい。

Ｓ３５３において、有効解像度決定部２５３は、撮像視点情報取得部２２０から取得した撮像視点情報と距離マップ取得部２４０から取得した距離マップとを用いて、複数視点画像データ内の画像データを撮像した撮像装置毎に着目画素の有効解像度を決定する。本実施形態では、着目画素（ｕ₀、ｖ₀）に写る被写体と撮像視点との距離ｄ_i（ｕ_i、ｖ_i）と撮像装置の焦点距離ｆ_iとを用いて、ｄ_i（ｕ_i、ｖ_i）／ｆ_iにより有効解像度を決定する。しかしながら、有効解像度の決定方法は上記に限らず、各画像データに写る被写体の大きさを示す値を決定する他の方法を用いてもよい。また、本実施形態では画素毎に有効解像度を算出しているが、撮像画像に対して一つの有効解像度を算出し、それを利用してもよい。上述した通り、撮像装置の有効解像度が高いほど、撮像装置で撮像された画像において被写体は高解像度に撮像されている。被写体と撮像視点との距離は、撮像視点情報に基づき、距離マップ取得部２４０から取得した、仮想視点と被写体との距離ｄ₀（ｕ₀、ｖ₀）を式（５）の撮像視点の座標系に変換することで取得する。

ここで、Ａ₀は仮想視点の内部パラメータ行列、［Ｒ₀ Ｔ₀］は外部パラメータ行列、Ａ_iはｉ番目の撮像装置の内部パラメータ、［Ｒ_i Ｔ_i］は外部パラメータ行列を表している。有効解像度決定部２５３は、算出した撮像装置毎の有効解像度をカメラ優先度決定部２５４に出力する。

Ｓ３５４において、光線角データ決定部２５１は、撮像視点情報取得部２２０から取得した撮像視点情報と、仮想視点情報取得部２３０から取得した仮想視点情報とに基づき、仮想視点と撮像視点との光線角データを撮像装置毎に算出する。ここでは、各撮像視点の視線方向を、撮像装置が設置されている平面上に射影し、正規化したベクトル間の角度を算出することで、仮想視点と各撮像視点の光線のなす角を求める。この光線のなす角を光線角データとして決定する。この場合、被写体と背景の全画素で光線角データは共通になるが、画素毎の光線の方向に基づいて被写体と背景それぞれに対して算出してもよい。また、角度でなく内積など、角度を特定できる他の形態のデータを用いてもよい。光線角データ決定部２５１は、決定した撮像装置毎の光線角データをカメラ有効度決定部２５２に出力する。

Ｓ３５５において、カメラ有効度決定部２５２は、光線角データ決定部２５１から取得した光線角データに基づいて、高画質な仮想視点画像を生成するための、撮像画像の有効度を撮像装置毎に決定する。上述した通り、本実施形態では、光線角データが小さい撮像装置により撮像した画像ほど高画質な仮想視点画像を生成するために利用することができるので、有効度を高くする。一方、光線角データが大きい撮像装置で撮像した画像ほど、仮想視点画像の画質を劣化させる可能性が高いため、有効度を低くする。具体的には、式（６）を用いて求めた値ｅｉを撮像装置の有効度として決定する。

ここで、θ_iは光線角データ決定部２５１から取得した撮像装置ｉの光線角データ、θ_max、θ_thrは、それぞれ、事前に定められた最大の角度と許容する角度とを表している。最大の角度θ_maxは、仮想視点と撮像視点とで被写体の同一の部位を撮像できる、視点間の最大の角度を表しており、おおよそ９０度から１８０度の間で設定される。撮像装置の光線角データが最大の角度より大きい場合、仮想視点と撮像視点とで被写体の同一の部位は撮影できないと判断して、その撮像装置の有効度を最小値の０とする。許容する角度θ_thrは、仮想視点と撮像視点とで被写体の同一の部位を撮影できている可能性が高いと判断できる視点間の角度を表しており、形状推定の誤差や撮像視点情報の誤差を考慮して設定する。撮像装置の光線角データが許容する角度θ_thr以下である場合、撮像装置の有効度を最大値である１とする。前述の通り、視点間の角度が大きくなるにつれ形状推定の誤差の影響が強くなる。そのため、光線角データの増加に伴い、有効度が減少するように、式（６）に従って撮像装置の有効度を求める。しかしながら、有効度の算出方法は上記に限らず、光線角データの増加に伴い、有効度が非線形的に減少してもよい。また、許容する角度の設定も必須ではなく、光線角データが０である場合の有効度を最大値の１として、光線角データの増加に伴い減少するように有効度を求めるなど、様々な方法を使用してよい。カメラ有効度決定部２５２は、求めた撮像装置毎の有効度を、カメラ優先度決定部２５４とレンダリング重み決定部２５５に出力する。

Ｓ３５６において、カメラ優先度決定部２５４は、カメラ有効度決定部２５２と有効解像度決定部２５３とから取得した、撮像装置毎の有効度と有効解像度とを用いて、仮想視点画像を生成する際に用いる撮像装置の優先度を決定する。本実施形態では、まず、有効度が最小値０より大きい撮像装置を全撮像装置の中から選択する。その後、選択した撮像装置に対して優先順位を定める。有効度が最小値である撮像装置は、仮想視点画像の画質を劣化させる可能性が高いため、仮想視点画像を生成に使用せず、撮像装置の優先順位を定める対象から除外する。本実施形態では、選択した撮像装置の中で有効解像度が大きいほど優先順位を高くして、撮像装置の優先順位を定める。例えば、選択した撮像装置の中で番号３の撮像装置の有効解像度が最大である場合、番号３の撮像装置の優先順位を１位とする。次に、選択した撮像装置の中で２番目に有効解像度が大きい撮像装置の優先順位を２位とする。このように、順に優先順位を定めていき、選択した全撮像装置の優先順位を決定する。最後に、求めた優先順位を、撮像装置の優先度として決定する。つまり、上記例に従えば、番号３の撮像装置の優先度は１となる。なお、優先度の表現方法はこれに限らず、有効解像度が高い撮像装置ほど優先度が高いと判断できる他の表現方法を用いてもよい。カメラ優先度決定部２５４は、決定した撮像装置毎の優先度をレンダリング重み決定部２５５に出力する。

Ｓ３５７において、レンダリング重み決定部２５５は、カメラ有効度決定部２５２とカメラ優先度決定部２５４とから取得した、撮像装置毎の有効度と優先度とに基づいて、仮想視点画像をレンダリングする際の撮像装置毎の重みを決定する。

まず、全撮像装置のレンダリング重みＷと全撮像装置のレンダリング重みの和Ｗ_sumを０で初期化する。次に、レンダリング重みを決定する対象となる着目撮像装置を設定する。本実施形態では、全撮像装置において優先度が最小である撮像装置（すなわち、優先順位が最も高い撮像装置）を着目撮像装置として設定する。その後、レンダリング重みが決定するたびに、それまでに着目撮像装置として選択されていない撮像装置の中で最小の優先度を有する撮像装置を新たな着目撮像装置として選択する。次に、その時点でレンダリング重みが決定している撮像装置のレンダリング重みの総和Ｗ_sumと着目撮像装置の有効度ｅ_jと式（７）とにより、着目撮像装置のレンダリング重みを決定する。ここで、ｊは着目撮像装置の番号を示す。

式（７）により、全撮像装置に対するレンダリング重みを順に決定する。なお、レンダリング重みの総和を導出し、総和が１より大きくなった時点での優先度以降の優先度である撮像装置のレンダリング重みは０とする。そうすることで、レンダリング時に撮像画像を限定して用いることが可能となる。したがって、複数の撮像画像の過剰なブレンディングを抑制することができるため、高画質な仮想視点画像の生成が可能となる。レンダリング重み決定部２５５は、決定した撮像装置毎のレンダリング重みを画素値決定部２５７に出力する。

Ｓ３５８において、画素値決定部２５７は、レンダリング重み決定部２５５と歪曲補正部２５６とからそれぞれ取得した、撮像装置毎のレンダリング重みと歪曲補正後の複数視点画像データとから、仮想視点画像の着目画素における画素値を決定する。画素値決定部２５７は、着目画素に対応する歪曲補正後の撮像画像中の画素の画素値を、式（１）から（４）に従って抽出する。そして、画素値決定部２５７は、各歪曲補正後の撮像画像から抽出した画素値Ｉ_iとレンダリング重みＷ_iの積和ΣＩ_i×Ｗ_iによって、仮想視点画像データの着目画素における画素値を決定する。

Ｓ３５９において、画素値決定部２５７は、仮想視点画像データの全画素に対して画素値を決定したか判定する。全画素に対して画素値が決定され、全画素の処理が完了している場合、仮想視点画像データを画像出力部２６０に出力してレンダリング処理を終了し、図３（ａ）のＳ３６０に進む。一方、全画素の処理が完了していない場合、Ｓ３５２に戻る。

Ｓ３６０において、画像出力部２６０は、レンダリング部２５０から取得した仮想視点画像データを二次記憶装置１０４や外部記憶装置１０８や表示装置１０９に出力して、一連の処理は完了する。以上が、本実施形態における画像処理装置１００が実行する、仮想視点画像生成処理である。

以下、図６を参照して、本実施形態の効果について説明する。図６では、画像データ６０５、６０６、６０８と比較して、画像データ６０７の被写体が大きく示されている。すなわち、撮像装置６０１、６０２、６０４と比較して、撮像装置６０３はより高い解像度を有する。

ここで、仮想視点６０９における仮想視点画像を、仮想視点画像に写る被写体の部位を撮像している画像データ６０５から６０８の全ての画像データをブレンドして生成する場合を考える。この場合、例えば、光線角の一致度と解像度の重みづけ和の結果が撮像装置６０１と撮像装置６０３とで同等程度であった場合、画像データ６０５と画像データ６０７とを同等の割合でブレンドする。したがって、画像データ６０７の解像度を活かすことができず、生成した仮想視点画像の画質を劣化させてしまう。

これに対し、本実施形態では、解像度の高い撮像装置順に、光線角データに基づく有効度の和が十分な値となるまで撮像装置を選択し、選択した撮像装置の画像データをブレンドして仮想視点画像を生成する。また、ブレンドする際は、解像度が高い撮像装置の画像を優先的に用いる。そのため、解像度が高くかつ有効度が十分に大きい、画像データ６０７を主に用いて仮想視点画像を生成することができる。その結果、画像データ６０７の解像度を活かした高画質な仮想視点画像を生成することができる。

＜第２の実施形態＞
第１の実施形態では、仮想視点と撮像装置との光線角に基づく各撮像装置における有効度と、各撮像装置における有効解像度とに基づいて、レンダリングに用いる画像を限定した。第２の実施形態では、各撮像装置における上記有効度を決定する際に、光線角に加えて被写体の位置重みを用いる。位置重みとは、撮像装置の視野内における、着目方向に位置する被写体の位置に応じて設定される撮像画像のそれぞれに対する重みである。まず、図９を参照して、撮像装置の有効度の決定に位置重みを使用する意義について説明する。

一つの撮像装置からの撮像範囲は限られているため、仮想視点画像に写る全ての被写体が一つの撮像装置の撮像画像に写っていることは少ない。そのため、仮想視点画像には、一つの撮像視点からの撮像画像に写っており、この撮像画像の色情報が反映される領域と、この撮像画像に写っていないために、この撮像画像の色情報が反映されない領域とが含まれることが多い。

例えば、図９（ａ）に示される仮想視点画像９００には、入力視点Ａからの視野内に含まれる領域９１０と、入力視点Ｂからの視野内に含まれる領域９２０と、入力視点Ａ及び入力視点Ｂからの双方の視野内に含まれる領域９３０が示されている。言い換えれば、領域９１０は入力視点Ａからの撮像画像Ａにのみ写っている領域であり、領域９２０は入力視点Ｂからの撮像画像Ｂにのみ写っている領域であり、領域９３０は撮像画像Ａ及び撮像画像Ｂの双方に写っている領域である。図９（ｂ）は、図９（ａ）の線分Ｘ−Ｘ’に沿った撮像画像Ａ及び撮像画像Ｂのそれぞれの重みの例を示す。この例において、入力視点Ｂと比較して、入力視点Ａの向きは出力視点の向きに近いため、撮像画像Ａにはより大きい重みが与えられている。図９（ｂ）から明らかなように、撮像画像Ａが寄与する領域９３０と、撮像画像Ａが寄与しない領域９２０との間では、撮像画像Ａの寄与が大きく異なっている。このため、領域９２０と領域９３０との境界Ｙ付近において色が急に変化する可能性がある。本実施形態では、着目方向に存在する被写体が、撮像装置の視野の周辺部に存在する場合、撮像装置の視野の中心部に存在する場合よりも、撮像装置に小さい重みを設定する。本実施形態では、そのように設定した位置重みと光線角データの積により、撮像装置の有効度を撮像装置毎に算出する。そのため、撮像装置の視野の周辺部に存在する被写体を撮像した撮像装置の有効度は、被写体が中心部に存在する場合よりも低くなる。その結果、仮想視点画像を生成する際、その撮像装置が撮像した撮像画像を用いる重みを小さくすることができる。図９（ｃ）の例では、領域９３０のうち、境界Ｙ付近の画素については、撮像画像Ａに対してより小さい重みが設定され、撮像画像Ｂに対してより大きい重みが設定されている。したがって、領域９３０のうち、境界Ｙ付近において撮像画像Ａの寄与が小さくなるため、境界Ｙ付近における色の変化を小さくすることができる。その結果、高画質な仮想視点画像を生成することができる。

以下、本実施形態における仮想画像生成処理（特に、レンダリング処理）についてより詳細に説明する。本実施形態における仮想画像生成処理も、第１の実施形態で図１を参照して説明したハードウェア構成を有する画像処理装置１００によって実施することができる。図７は、本実施形態における画像処理装置１００の機能構成を示すブロック図であり、図８は、本実施形態における仮想画像生成処理の流れを示すフローチャートである。なお、第１の実施形態と同様の構成および同様の処理については、第１の実施形態と同様の符号を付して説明を省略する。

Ｓ８１０において、位置重み決定部７１０は、Ｓ３５２で画素値決定部２５７が設定した仮想視点画像の着目画素における位置重みを撮像装置毎に決定する。本実施形態では、距離マップ取得部２４０から取得した距離マップと撮像視点情報取得部２２０から取得した撮像視点情報と仮想視点情報取得部２３０から取得した仮想視点情報とを用いて、位置重みを決定する。以下に、位置重みの決定方法を具体的に説明する。以下の処理は、撮像装置毎に行う。

まず、仮想視点の着目画素（ｕ₀、ｖ₀）に対応する撮像画像中の画素（ｕ_i、ｖ_i）を式（１）から（４）により検出する。

次に、撮像画像上で検出した画素（ｕ_i、ｖ_i）を中心としたブロックを定義し、ブロック内に含まれる画素を、位置重みを求める際に用いる画素として決定する。なお、ブロックサイズは、仮想視点画像の被写体の大きさや、撮像画像の画像サイズや被写体の大きさに応じて定める。

次に、撮像画像上で決定したブロックに含まれる画素において、該当する画素に写る被写体と撮像視点との距離を、式（５）を用いて、ブロック内の画素毎に算出する。

さらに、ブロックの中心画素の距離と、ブロック内に含まれる中心画素以外の画素の距離とを画素毎に比較し、距離の差分があらかじめ定めた閾値以上となる画素を検出する。ここで閾値は、被写体と背景や被写体同士とを区別するために用いられ、おおよそ人の身体の厚みよりも大きい値を設定する。

最後に、距離の差分が閾値以上である画素毎に、ブロック中心からの画素距離を算出する。そして、算出した画素毎の画素距離の中で最小となる画素距離に対して、ブロックサイズで正規化した値を、仮想視点画像の着目画素（ｕ₀、ｖ₀）におけるｉ番目の撮像装置の位置重みとして決定する。なお、位置重みの算出方法は上記に限らず、着目画素の撮像している被写体が、撮像画像において視野内の周辺部に存在するか否かを判断できる方法であればよい。位置重み決定部７１０は、撮像装置毎の位置重みをカメラ有効度決定部７２０に出力する。

Ｓ８２０において、カメラ有効度決定部７２０は、光線角データ決定部２５１から取得した光線角データと位置重み決定部７１０から取得した位置重みとに基づいて、高画質な仮想視点画像を生成するための、撮像画像の有効度を撮像装置毎に決定する。上述した通り、本実施形態では、光線角データが小さい撮像装置により撮像した画像かつ、撮像装置により視野内の中心部を撮像している画像ほど高画質な仮想視点画像を生成することができるため、有効度を高くする。一方、光線角データが大きい撮像装置で撮像した画像若しくは、撮像装置により視野内の周辺部を撮像している画像ほど、仮想視点画像の画質を劣化させる可能性が高いため、有効度を低くする。具体的には、式（８）を用いて求めた値ｅｉを撮像装置の有効度として決定する。

ここで、θ_i、θ_max、θ_thrは、式（７）と同様であり、ｐ_iは撮像番号ｉの位置重みを表す。撮像装置の視野内の周辺部であり位置重みが小さい撮像装置に対しては、式（８）により有効度が減少する。カメラ有効度決定部２５２は、求めた撮像装置毎の有効度を、カメラ優先度決定部２５４とレンダリング重み決定部２５５に出力する。

以上説明したように、本実施形態によれば、撮像装置の解像度を活かしながら、異なる撮像画像がブレンドされている領域の境界部における急激な色の変化を抑制した、高画質な仮想視点画像を生成することができる。

＜第３の実施形態＞
第１の実施形態では、仮想視点と撮像装置との光線角に基づく各撮像装置における有効度と、各撮像装置における有効解像度とに基づいて、レンダリングに用いる画像と重みとを制御した。レンダリングに用いる重みは、有効解像度と有効度とが高い撮像装置に大きい重みを設定すると共に、不必要な撮像装置の重みは０とすることで、有効解像度が高い撮像装置を優先的に用いて仮想視点画像を生成した。第３の実施形態では、有効解像度と有効度とをレンダリングに用いる重みを決定する際の基準として用いて、光線角データに基づいて最終的な重みを決定する。以下に、本実施形態におけるレンダリング処理の概要と意義について説明する。

本実施形態では、まず、撮像装置毎に決定した有効度と有効解像度との積により、ブレンドする撮像装置を選択するための優先度を決定する。有効度と有効解像度は、どちらにおいても、値が高いほど高画質な仮想視点画像を生成できる可能性が高いことを示している。したがって、優先度が高い撮像装置ほど、高画質な仮想視点画像が生成できる可能性が高い。

次に、撮像装置毎に、自身の優先度以上の優先度を保持する撮像装置を検出する。そして、検出した撮像装置の中で光線角データが小さい撮像装置を、ブレンドに用いる撮像装置として少なくとも一つ以上選択する。また、対応する優先度をブレンド重みとして決定する。

最後に、全撮像装置における、ブレンド重みと選択された撮像装置とを統合して、撮像装置毎にレンダリング重みを決定する。

例えば、図１２に示されるカメラ構成においては、仮想視点１２０１の左右に撮像装置１２０２と１２０３が配置されている。ここで、撮像装置１２０２と１２０３のどちらにおいても光線角データに基づいて決定した有効度と有効解像度とが同等程度であり、有効度は最大値を保持しているとする。また、仮想視点１２０１から見た画像における画素１２０６においては、対応する被写体の部位１２０４の撮像装置１２０２における有効解像度が撮像装置１２０３よりも大きいとする。一方、仮想視点１２０１から見た画像における画素１２０７においては、対応する被写体の部位１２０５の撮像装置１２０３における有効解像度が撮像装置１２０２よりも大きいとする。この場合、第１の実施形態によれば、どちらの撮像装置の有効度も最大値であるため、画素１２０６は撮像装置１２０２により撮像した画像のみを用いてレンダリングされ、画素１２０７は撮像装置１２０３により撮像した画像のみを用いてレンダリングされる。したがって、画素１２０６、１２０７のどちらにおいても、不必要なブレンディングが抑えられ、高解像度（高画質）な仮想視点画像を生成することができる。

しかしながら、上述の通り、照明等の影響により、それぞれの撮像装置により得られる画像データ上の色は、被写体の同じ部位であっても異なることがある。また、三次元形状データに含まれる誤差の影響により、撮像装置により得られる画像データから被写体の部位に対応する画素を検出する際、本来の画素からずれた画素を誤って検出することがある。この撮像装置毎のテクスチャや色の違いにより、仮想視点画像の画素１２０６と画素１２０７との境界において、色やテクスチャが急に変化する可能性がある。そこで、第３の実施形態では、有効度と有効解像度のみからレンダリングに使用する画像や重みを決定せずに、有効度と有効解像度とを反映した優先度が同等以上である全ての撮像装置を検出した上で、光線角データに基づいて各撮像装置の重みを決定する。上記の例であれば、仮想視点画像の画素１２０６に対して優先度が同等である撮像装置１２０２と１２０３とが検出される。検出した撮像装置に対して、撮像装置が保持する光線角データに基づいたブレンド重みを算出し、算出したブレンド重みに基づいて撮像装置１２０２と撮像装置１２０３との画像をブレンドして、仮想視点画像の画素１２０６の画素値をレンダリングする。これにより、撮像装置ごとのテクスチャや色の違いを軽減することができる。また、全撮像装置の中から、優先度が同等程度の撮像装置のみを選択してブレンディングするため、不必要なブレンディングを抑えて、高解像度（高画質）な仮想視点画像を生成することができる。

以下、本実施形態における仮想画像生成処理（特に、レンダリング処理）についてより詳細に説明する。本実施形態における仮想画像生成処理も、第１の実施形態で図１を参照して説明したハードウェア構成を有する画像処理装置１００によって実施することができる。図１０は、本実施形態における画像処理装置１００の機能構成を示すブロック図であり、図１１は、本実施形態における仮想画像生成処理の流れを示すフローチャートである。なお、第１の実施形態及び第２の実施形態と同様の構成および同様の処理については、第１の実施形態及び第２の実施形態と同様の符号を付して説明を省略する。

Ｓ１１０１において、カメラ優先度決定部１００１は、カメラ有効度決定部７２０と有効解像度決定部２５３から取得した撮像装置毎の有効度と有効解像度とから、撮像装置の優先度を撮像装置毎に決定する。本実施形態では、有効度と有効解像度の積を優先度として決定する。なお、優先度の表現方法は上記に限らず、有効度と有効解像度の和など、有効度と有効解像度の上下関係を反映できる表現方法であれば、他の方法を用いてもよい。カメラ優先度決定部１００１は、決定した優先度をブレンド情報決定部１００２に出力する。

Ｓ１１０２において、ブレンド情報決定部１００２は、カメラ優先度決定部１００１から取得した撮像装置毎の優先度の中で、着目する優先度を選択する。本実施形態では、全ての優先度の中で最小となる優先度を着目する優先度として選択する。その後、着目した優先度に対する処理が完了するたびに、優先度の高い方へと、それまでに着目優先度として選択されていない優先度が新たな着目優先度として選択される。

Ｓ１１０３において、ブレンド情報決定部１００２は、撮像装置の中で着目優先度以上の優先度を保持する撮像装置を検出し、光線角データ決定部２５１から取得した光線角データに基づき、検出した撮像装置の中でブレンドに用いる撮像装置を選択する。本実施形態では、撮像装置の中から、仮想視点から時計周りと反時計周りのそれぞれの方向において、仮想視点と撮像視点との光線角データが最小となる撮像装置を選択する。図１２の例を用いた場合、撮像装置１２０２が時計周りの撮像装置、撮像装置１２０３が反時計周りの撮像装置として合計２台の撮像装置を選択する。しかしながら、必ずしも２台の撮像装置を選択する必要はなく、全撮像装置の中で最小の光線角データとなる１台の撮像装置を選択してもよい。

Ｓ１１０４において、ブレンド情報決定部１００２は、着目優先度で選択した撮像装置に対して、撮像装置毎にブレンド重みを決定する。本実施形態では、選択した撮像装置間のなす角度に対する仮想視点と撮像視点のなす角に応じて、仮想視点と撮像視点のなす角が大きくなるにつれ線形的に重みが減少するようにブレンド重みを決定する。具体的には、撮像装置間のなす角をθ_sum、仮想視点と撮像視点のなす角をそれぞれθ₁、θ₂とした場合、それぞれのブレンド重みはｂ₁＝−θ₁／θ_sum＋１、ｂ₂＝−θ₂／θ_sum＋１とする。しかしながら、ブレンド重みの算出方法はこれに限らず、角度に応じた非線形的な重みの減少や、ある一定の角度以上からの急激な重みの減少など、角度の増加に伴い重みが減少する様々な方法を用いてよい。ブレンド情報決定部１００２は、着目優先度において選択した撮像装置の番号と撮像装置のそれぞれに対するブレンド重みとを、着目優先度に対するブレンド情報として決定する。

Ｓ１１０５において、ブレンド情報決定部１００２は、カメラ優先度決定部１００１から取得した全ての優先度に対してブレンド情報を決定したか判定する。全ての優先度に対してブレンド情報が決定されている場合、Ｓ１１０６へ進み、各優先度に対して決定されたブレンド情報をレンダリング重み決定部１００３に出力する。一方、全ての優先度に対してブレンド情報が決定されていない場合、Ｓ１１０２に戻る。

Ｓ１１０６において、レンダリング重み決定部１００３は、ブレンド情報決定部１００２から取得した、優先度毎のブレンド情報を統合して、撮像装置毎にレンダリング重みを決定する。本実施形態では、まず、全撮像装置のレンダリング重みを０で初期化する。その後、撮像装置毎に全ての優先度におけるブレンド情報を確認し、自身の撮像装置の番号が含まれている優先度を検出する。そして、検出した優先度毎に、優先度と自身の撮像装置のブレンド重みとの積を求める。最後に、検出した全ての優先度において、優先度毎に求めた優先度とブレンド重みとの積の総和を導出し、その結果を撮像装置のレンダリング重みとして決定する。レンダリング重み決定部１００３は、決定したレンダリング重みを画素値決定部２５７に出力する。

以上説明したように、本実施形態によれば、複数視点画像データに含まれる色の違いや距離マップの誤差によらず、異なる撮像画像がブレンドされている領域の境界部における急激な色の変化を抑制した、高画質な仮想視点画像を生成することができる。また、撮像装置の解像度も活かすことができる。

なお、本実施形態では、撮像装置の有効度を算出する際、光線角データのみを用いる場合を例に説明したが、第２の実施形態で説明した位置重みをも用いて有効度を算出してもよい。その場合、本実施形態に係る処理を単独で実行した場合に比べて、より高画質な仮想視点画像を生成することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
２１０ 画像データ取得部
２２０ 撮像視点情報取得部
２３０ 仮想視点情報取得部
２４０ 距離マップ取得部
２５０ レンダリング部
２５１ 光線角データ決定部
２５２ カメラ有効度決定部
２５３ 有効解像度決定部
２５４ カメラ優先度決定部
２５５ レンダリング重み決定部
２５６ 歪曲補正部
２５７ 画素値決定部
２６０ 画像出力部

Claims (15)

1. 複数の撮像装置によって被写体を異なる視点から撮像した複数の撮像画像から、仮想視点に応じた仮想視点画像を生成する画像処理装置であって、
   前記仮想視点の視線方向と前記複数の撮像装置の撮影方向との関係と、前記複数の撮像装置による撮像画像に関する有効解像度とに基づいて、前記複数の撮像装置のうち１以上の撮像装置を選択する選択手段と、
   前記選択手段により選択された撮像装置による撮像画像を用いて、前記仮想視点画像の画素値を決定する画素値決定手段と
   を有することを特徴とする画像処理装置。
2. 前記仮想視点の視線方向と前記複数の撮像装置の撮影方向との違いを示す光線角に基づいて、前記複数の撮像装置の有効度を決定する有効度決定手段と、
   前記複数の撮像装置の少なくとも何れかに対して、前記有効解像度と前記有効度とに基づく優先度を決定する優先度決定手段と、
   前記選択手段により選択された撮像装置による撮像画像のレンダリング重みを前記優先度に基づいて決定するレンダリング重み決定手段と、を有し、
   前記画素値決定手段は、前記レンダリング重みに基づいて前記仮想視点画像の画素値を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記レンダリング重み決定手段は、前記優先度の順に前記レンダリング重みの総和を導出し、前記総和が所定の値を超えた場合は、それ以降のレンダリング重みを０とすることを特徴とする請求項２に記載の画像処理装置。
4. 前記レンダリング重み決定手段は、前記有効度と前記優先度とがともに高い撮像装置ほど、前記レンダリング重みを大きく設定することを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記有効度決定手段は、前記光線角が大きい撮像装置ほど前記有効度が低く、前記光線角が小さい撮像装置ほど前記有効度が小さくなるように、前記有効度を決定することを特徴とする請求項２乃至４のいずれか一項に記載の画像処理装置。
6. 前記仮想視点画像に含まれる被写体の位置に基づき、前記複数の撮像装置の位置重みを決定する位置重み決定手段をさらに有し、
   前記被写体が前記撮像装置の視野の中心部に近いほど前記位置重みは大きく、前記被写体が前記撮像装置の視野の周辺部にいくほど前記位置重みは小さくなることを特徴とする請求項２乃至５のいずれか一項に記載の画像処理装置。
7. 前記有効度決定手段は、前記位置重みと前記光線角とを用いて、前記複数の撮像装置の有効度を決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記有効度決定手段は、前記位置重みが大きく、かつ、前記光線角が小さい撮像装置ほど有効度を高く設定することを特徴とする請求項７に記載の画像処理装置。
9. 前記優先度決定手段は、前記有効解像度が高い順に、前記撮像装置に高い優先度を設定することを特徴とする請求項２乃至８のいずれか一項に記載の画像処理装置。
10. 前記優先度決定手段は、前記有効解像度と前記有効度との積もしくは和の組み合わせによって、前記優先度を決定することを特徴とする請求項２乃至９のいずれか一項に記載の画像処理装置。
11. 前記撮像装置の優先度に基づいて、前記仮想視点画像の生成に用いる撮像装置とそのブレンド重みとを示すブレンド情報を優先度毎に決定するブレンド情報決定手段を更に有し、
    前記レンダリング重み決定手段は、前記優先度毎のブレンド情報を撮像装置毎に統合し、前記レンダリング重みを決定することを特徴とする請求項２乃至１０のいずれか一項に記載の画像処理装置。
12. 前記ブレンド情報決定手段は、前記撮像装置毎に、自身の優先度以上の優先度を保持する撮像装置の中で前記光線角が小さい少なくとも１つ以上の撮像装置を選択し、自身の優先度のブレンド情報における撮像装置として決定することを特徴とする請求項１１に記載の画像処理装置。
13. 前記ブレンド情報決定手段は、前記ブレンド情報における撮像装置として決定した撮像装置と仮想視点との光線角に基づき前記ブレンド情報における前記ブレンド重みを決定し、前記光線角が小さい撮像装置ほど前記ブレンド重みを大きくすることを特徴とする請求項１２に記載の画像処理装置。
14. 複数の撮像装置によって被写体を異なる視点から撮像した複数の撮像画像から、仮想視点に応じた仮想視点画像を生成する画像処理方法であって、
    前記仮想視点の視線方向と前記複数の撮像装置の撮影方向との関係と、前記複数の撮像装置による撮像画像に関する有効解像度とに基づいて、前記複数の撮像装置のうち１以上の撮像装置を選択する選択工程と、
    前記選択工程において選択された撮像装置による撮像画像を用いて、前記仮想視点画像の画素値を決定する画素値決定工程と
    を含むことを特徴とする画像処理方法。
15. コンピュータを請求項１乃至１３のいずれか一項に記載の画像処理装置として機能させるプログラム。

Images