JP2016213578A - 画像処理装置、撮像装置、画像処理方法、プログラム - Google Patents

Abstract

【課題】異なる視点位置で得られる複数の画像を処理する場合に、画像間の位置合わせのズレ量を小さくし、遮蔽領域の補間処理にて補間し得る遮蔽領域を大きくすること。【解決手段】画像入力部１０は、撮像された第１の画像と、第１の画像とは異なる視点で撮像された複数の第２の画像の入力処理を行う。遮蔽領域検出部１０３は、第１の画像において被写体領域により遮蔽される遮蔽領域を検出する。位置合わせ部１０６は複数の画像間の位置合わせを行う。画像決定部１０５は、位置合わせ部１０６で用いる対応点の数と、第１の画像での遮蔽領域に対して第２の画像にて前記被写体領域により遮蔽されていない遮蔽領域の大きさに基づき、複数の第２の画像から、遮蔽領域の補間処理に使用する画像を決定する。遮蔽領域補間部１０７は第２の画像を用いて第１の画像における遮蔽領域を補間する。【選択図】図１

Description

本発明は、視点の異なる複数枚の画像から焦点距離と視点を変更した画像を生成するための位置合わせ技術に関するものである。

異なる視点位置で撮影された複数枚の画像を用いて焦点距離と視点位置を変更し、変更後の視点（任意視点）で撮影した画像を後処理で生成する方法がある。以下では、任意視点で得られる画像を「任意視点画像」と称する。任意視点画像の生成処理では、手前側の被写体に隠されることで、撮影されていない領域となる遮蔽領域（オクルージョンとも呼ぶ）が発生する。このため、異なる視点から撮影された複数枚の画像を用いて遮蔽領域を埋める補間処理が行われる。
特許文献１に開示された装置では、任意視点画像で発生する遮蔽領域を補間するために、任意視点に相当する撮影位置と近い位置で撮影された画像を使用する。

特開２０１３−７７８８２号公報

複数枚の画像を用いて遮蔽領域の補間処理を行う場合、異なる視点位置へのカメラの移動量が小さいと、視点の異なる画像にて撮影されている遮蔽領域の大きさが小さい。このため、補間し得る遮蔽領域の大きさが小さくなるが、画像間の対応点の数が多いので位置合わせのズレ量は小さい。一方、異なる視点位置へのカメラの移動量が大きいと、視点の異なる画像にて撮影されている遮蔽領域の大きさは大きいが、対応点の数は少なくなる。このため撮影状況によっては、位置合わせのズレ量が大きくなるか、または位置合わせを行うことができない可能性がある。
本発明の目的は、異なる視点位置で得られる複数の画像を処理する場合に、画像間の位置合わせのズレ量を小さくし、遮蔽領域の補間処理にて補間し得る遮蔽領域を大きくすることである。

本発明の第１の側面に係る装置は、第1の画像と、前記第1の画像と異なる視点で取得される複数の第２の画像を入力する入力手段と、前記第１の画像と前記第２の画像との対応点を用いて前記第１および第２の画像の位置合わせを行う位置合わせ手段と、前記第１および第２の画像にて被写体領域により遮蔽される遮蔽領域を検出する検出手段と、前記入力手段から複数の前記第２の画像を取得し、前記第１の画像における前記遮蔽領域の補間処理に使用する前記第２の画像を決定する決定手段と、前記第１の画像と前記決定手段により決定された前記第２の画像、および前記検出手段により検出された前記遮蔽領域の情報を取得して前記遮蔽領域の補間処理を行う補間手段を備える。前記決定手段は、前記位置合わせ手段が用いる画像間の対応点の数と、前記検出手段により検出された前記遮蔽領域の大きさに対する、前記第２の画像にて前記被写体領域により遮蔽されていない領域の大きさの情報を用いて、複数の前記第２の画像から補間処理に使用する画像を決定する。

本発明の第２の側面に係る装置は、第１の画像と、前記第１の画像と異なる視点で取得される複数の第２の画像を入力する入力手段と、前記第１の画像と前記第２の画像との対応点を用いて前記第１および第２の画像の位置合わせを行う位置合わせ手段と、前記第１の画像と前記第２の画像との位置合わせのズレ量を算出する算出手段と、前記第１および第２の画像にて被写体領域により遮蔽される遮蔽領域を検出する検出手段と、前記入力手段から複数の前記第２の画像を取得し、前記第１の画像における前記遮蔽領域の補間処理に使用する前記第２の画像を決定する決定手段と、前記第１の画像と前記決定手段により決定された前記第２の画像、および前記検出手段により検出された前記遮蔽領域の情報を取得して前記遮蔽領域の補間処理を行う補間手段を備える。前記決定手段は、前記算出手段により算出された位置合わせのズレ量と、前記検出手段により検出された前記遮蔽領域の大きさに対する、前記第２の画像にて前記被写体領域により遮蔽されていない領域の大きさの情報を用いて、複数の前記第２の画像から補間処理に使用する画像を決定する。

本発明によれば、異なる視点位置で得られる複数の画像を処理する場合に、画像間の位置合わせのズレ量を小さくし、遮蔽領域の補間処理にて補間し得る遮蔽領域を大きくすることができる。

本発明の第１および第２実施形態に係る装置の構成例を示す図である。 第１実施形態における処理を説明するフローチャートである。 第１実施形態における対応点探索を説明する図である。 第１実施形態における対応点探索に係る階層処理を説明する図である。 第１実施形態における遮蔽領域の検出を説明する図である。 第１実施形態における撮影位置の説明図である。 図６の基準位置および各撮影位置で撮影された画像を例示する図である。 第１実施形態における、カメラ移動に応じた対応点数と撮影されている遮蔽領域との関係を例示する図である。 第１実施形態における位置合わせを説明する図である。 第１実施形態における遮蔽領域の補間を説明する図である。 第１実施形態におけるカメラ位置と焦点距離の関係を説明する図である。 第１実施形態における任意視点画像の生成を説明する図である。 本発明の第２実施形態における処理を説明するフローチャートである。 第２実施形態にて被写体までの距離情報や遮蔽領域の大きさに応じたカメラの移動量を説明する図である。 第２実施形態にて背景が多層の場合のカメラの移動量を説明する図である。 本発明の第３実施形態に係る装置の構成例を示す図である。 第３実施形態における処理を説明するフローチャートである。 第３実施形態における位置合わせのズレ量の算出を説明する図である。

以下に、本発明の各実施形態について、添付図面を参照して画像処理装置を備える撮像装置を例示して説明する。
［第１実施形態］
図１から図１２を参照して、本発明の第１実施形態を説明する。本実施形態では、画像間の位置合わせに用いる画像の特徴点の組において相関が高い点（対応点）の数と、被写体によって隠れる領域（遮蔽領域）のうちで別視点の画像（別視点画像）に撮影されている領域の大きさを算出する。算出結果に基づいて、遮蔽領域を埋める補間処理で使用する別視点画像が決定される。以下では、撮像装置に近づく側を手前側とし、撮像装置から離れる側を奥側と定義して被写体の位置関係を説明する。

図１は、本実施形態に係る画像処理装置の構成例を示すシステム図である。撮影時には画像情報の他に、撮像装置から各被写体までの距離情報（奥行き方向の距離情報であり、以下、被写体距離情報という）や撮影時の焦点距離などのカメラパラメータが取得されているものとする。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

図１に示す画像入力部１０１は、撮影画像として基準画像と別視点画像の各画像データの入力処理を行う。各画像データは、対応点探索部１０２および画像決定部１０５に出力される。対応点探索部１０２は、基準画像と別視点画像において対応点の探索（検出）を行う。対応点探索部１０２の検出情報は遮蔽領域検出部１０３、画像決定部１０５（１２０５は第２実施形態にて説明する）、位置合わせ部１０６にそれぞれ出力される。遮蔽領域検出部１０３は、対応点探索部１０２が検出した対応点の情報を用いて、遮蔽領域を検出する。遮蔽領域検出部１０３は遮蔽領域の検出情報を、画像決定部１０５、位置合わせ部１０６、画像補間部１０７にそれぞれ出力する。距離情報入力部１０４は被写体距離情報の入力処理を行い、被写体距離情報を任意視点画像生成部１０８に出力する。

画像決定部１０５は、画像入力部１０１から画像データを取得するとともに、対応点探索部１０２と遮蔽領域検出部１０３から取得した各情報に基づき、遮蔽領域の補間処理で使用する画像を決定する。画像決定部１０５が決定した画像のデータは位置合わせ部１０６に出力される。位置合わせ部１０６は、画像決定部１０５で決定された別視点画像を変形し、基準画像と別視点画像との間で位置合わせ処理を行う。位置合わせ処理後の画像データは画像補間部１０７に出力される。画像補間部１０７は、位置合わせ部１０６にて変形処理された別視点画像データを用いて、基準画像における遮蔽領域を埋める補間処理を行う。画像補間部１０７は補間処理を行った基準画像のデータを任意視点画像生成部１０８に出力する。任意視点画像生成部１０８は、被写体距離情報に基づいて算出した変形パラメータを用いて、補間処理後の基準画像を幾何変形し、任意視点画像のデータを生成する。画像出力部１０９は、任意視点画像生成部１０８により生成された任意視点画像のデータを出力する。

図２は、本実施形態に係る画像処理装置を備える撮像装置が撮像時に行う処理例を示すフローチャートである。Ｓ２０１からＳ２０７の各ステップに示す処理が順次に実行される。各ステップは、図１に不図示の制御部（ＣＰＵ）か、ＣＰＵの指示により図１に示した各ブロックが主体となって実行される。
・Ｓ２０１［複数枚の画像の取得］
画像入力部１０１が、撮像装置によって撮像された複数の画像を取得する。これら複数の画像はそれぞれ異なる視点で撮像された画像であり、例えば時系列で一番初めに撮像された画像を基準画像とする。基準画像とは異なる視点で撮影された１枚以上の画像を別視点画像とする。ここで、基準画像および別視点画像の各データは、画像入力部１０１から対応点探索部１０２と画像決定部１０５にそれぞれ入力される。

・Ｓ２０２［対応点の探索］
対応点探索部１０２は、入力された基準画像と別視点画像において対応点を検出する。対応点の探索について図３、図４を用いて説明する。
図３は対応点探索の説明図であり、左側に基準画像３０１を示し、右側に別視点画像３１１を示す。基準画像３０１における特徴点３０２〜３０６と、別視点画像３１１における特徴点３１２〜３１６を示す。基準画像３０１における特徴点をＰと記し、別視点画像３１１における特徴点をＱと記して、対応する特徴点の組を（Ｐ，Ｑ）で表現すると、図３では、（３０２，３１２）、（３０３，３１３）、（３０４，３１４）となる。
図３の例では、基準画像３０１の特徴点３０５と３０６、および別視点画像３１１の特徴点３１５と３１６は、対応する点がないこと（つまり対応画素がないこと）を示している。

図４は対応点探索における階層処理の説明図である。図４は、基準画像４３１とその低解像度画像４０１を左側に示すとともに、別視点画像４４１とその低解像度画像４１１および動きベクトルを右側に示す図である。各画像における特徴点と、別視点画像４４１とその低解像度画像４１１における、探索範囲４４４、４１３をそれぞれ示す。
まず対応点探索部１０２は、画像中の特徴点を検出する。図３の基準画像３０１と別視点画像３１１に対してバンドパスフィルタやエッジ検出器を用いて、信号の変化が大きい領域や、エッジの強度が大きい領域が抽出され、特徴点が検出される。

次に対応点探索部１０２は、各画像にある特徴点の相関の度合いを計算することで画像間の対応関係の有無を検出する。相関値の算出には下記の式（１）を用いる。

式（１）中の各記号の意味は、以下のとおりである。
ｆ（ｉ，ｊ）：基準画像の画素値
ｇ（ｉ，ｊ）：別視点画像の画素値
Ｒ_ＳＡＤ：相関値
変数ｉ，ｊは、画像に設定される２次元座標系にて座標軸ごとの座標値を表す整数の変数である。基準画像４３１と別視点画像４４１の画素位置ごとに、画素値の差分の絶対値が計算され、その総和を算出することにより相関値Ｒ_ＳＡＤが得られる。ＳＡＤは“Ｓｕｍ ｏｆ Ａｂｕｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ”の略号である。

対応点探索部１０２は、算出した相関値が所定の閾値以下となる特徴点の組を対応点と判定する。本実施形態では、画素値の差分絶対値を用いた相関値の算出を例示して説明するが、これに限定されるものではなく、他の算出方法を用いてもよい。

図４を参照し、特徴点検出と相関の度合いを用いた対応点探索について、解像度の異なる画像を用いた階層処理について具体的に説明する。まず、基準画像４３１の低解像度画像４０１と別視点画像４４１の低解像度画像４１１を用いて対応点の探索処理が行われる。別視点画像の低解像度画像４１１において、探索範囲４１３を実線の矩形枠内に示す。基準画像４３１の低解像度画像４０１の特徴点４０２に対し、低解像度画像４１１における探索範囲４１３内で相関が高いと判定された対応点は特徴点４１２である。この対応点の探索結果から、動きベクトル４２１が算出される。

対応点探索部１０２は、検出した動きベクトル４２１を、等倍画像（４３１，４４１）にて対応する位置に配置する。基準画像４３１と別視点画像４４１において、対応点はそれぞれ特徴点４３２と特徴点４４２である。つまり動きベクトル４２１は、特徴点４３２を始点とし、特徴点４４２を終点とするベクトルである。別視点画像４４１内に配置された特徴点４４２を中心とした探索範囲４４４を、実線の矩形枠内に示す。探索範囲４４４において対応点の探索処理が行われる。その結果、対応点として検出された、探索範囲４４４内の特徴点４４３が、基準画像４３１での特徴点４３２の対応点となる。このように対応点探索部１０２は、解像度の異なる画像を用いた階層処理を行う。低解像度画像では探索範囲が大きくなるため、カメラ移動量が大きい場合においても対応点の検出を行うことができる。

以上の処理を行った結果、図３に示すように基準画像３０１と別視点画像３１１とで各特徴点の対応関係が得られる。すなわち、特徴点の組（３０２，３１２）、（３０３，３１３）、（３０４，３１４）に関して、それぞれの対応関係がとれていることになる。一方で、図３の特徴点３０５と特徴点３１５、特徴点３０６と特徴点３１６については対応関係がとれていない。対応点探索部１０２は、検出した画像間の対応関係の情報、対応点数（Ｆ_ｉｎと記す）、特徴点数（Ｆ_ａｌｌと記す）の情報を遮蔽領域検出部１０３、画像決定部１０５、位置合わせ部１０６にそれぞれ出力する。次に図２のＳ２０３に移行する。

・Ｓ２０３［遮蔽領域の検出］
遮蔽領域検出部１０３は、対応点探索部１０２によって得られた画像間の対応関係に基づいて遮蔽領域を検出する。図５を参照して、遮蔽領域の検出について説明する。図５は遮蔽領域の検出の説明図であり、基準画像５０１と別視点画像５１１を示す。基準画像５０１における特徴点５０２〜５０６と、別視点画像５１１における特徴点５１２〜５１６をそれぞれ示す。基準画像５０１において最も手前側に位置する被写体の画像を被写体像５０７とし、別視点画像５１１において最も手前側に位置する被写体の画像を被写体像５１７とする。また、別視点画像５１１において基準画像５０１の被写体像５０７に対応する位置を、点線５１８で示す。基準画像５０１と別視点画像５１１において対応する特徴点の組（５０２，５１２）、（５０３，５１３）、（５０４，５１４）を図５に例示する。特徴点５０５，５０６、および特徴点５１５，５１６については対応関係がとれていないものとする。画像５２１は、別視点画像５１１にて撮影されている遮蔽領域の大きさを算出するために使用する画像例を示す。

遮蔽領域は、被写体に隠された領域である。つまり、ある視点位置から撮影された画像にて手前側にある被写体の領域により隠される領域が遮蔽領域であるが、異なる視点位置で撮影された画像において、当該遮蔽領域の一部は被写体の領域によって隠れることなく撮影された領域となり得る。このため、対応点探索部１０２から取得される対応関係の情報に基づいて、対応関係がとれていない特徴点の存在する領域が、別視点画像での撮影されている遮蔽領域の候補となる。相関が低い特徴点は対応点がないと判定されるため、相関値を算出する式（１）を用いることで、相関値が閾値以上となる特徴点を、対応関係がとれていない特徴点であると判定することができる。遮蔽領域検出部１０３は遮蔽領域の候補に対して、別視点画像における基準画像の被写体領域（被写体像の領域）の位置を用いて遮蔽領域であるかどうかを判定する。具体的には、図５の場合、別視点画像５１１の特徴点５１５は点線５１８で示す領域に含まれるため、基準画像５０１において遮蔽領域内であると判定される。これに対し、別視点画像５１１の特徴点５１６は点線５１８で示す領域に含まれないため、遮蔽領域外であると判定される。

画像５２１において、点線５２２は基準画像の被写体領域を示しており、撮影されている遮蔽領域５２３は斜線を付して示す領域である。遮蔽領域５２３の大きさについては、基準画像の被写体領域の位置を示す点線５２２において、対応関係がとれていない特徴点の総和として算出される。遮蔽領域検出部１０３は、別視点画像にて撮影されている遮蔽領域の大きさ（Ｓ_ｉｎと記す）を算出するとともに、遮蔽領域全体の大きさ（Ｓ_ａｌｌと記す）、すなわち点線５２２で示す範囲内における特徴点の総和を算出する。遮蔽領域検出部１０３は、遮蔽領域に関する検出情報（Ｓ_ｉｎ，Ｓ_ａｌｌ）を、画像決定部１０５、位置合わせ部１０６、画像補間部１０７にそれぞれ出力する。次に図２のＳ２０４に処理を進める。

・Ｓ２０４［補間で使用する画像の決定］
画像決定部１０５は、対応点探索部１０２と遮蔽領域検出部１０３から得られた各情報に基づいて、遮蔽領域を埋める補間処理で使用する別視点画像を決定する。画像の決定処理について図６から図８を用いて説明する。図６から図８は遮蔽領域の補間で使用する別視点画像の決定処理を説明する図である。

図６は、被写体６０５〜６０７と、複数の撮影位置６０１〜６０４との位置関係を例示する。奥行き方向にて撮像装置に近い順に、被写体６０５、６０６、６０７がそれぞれ位置する場合を想定する。図７は、撮影位置６０１にて撮影された基準画像６１１と、撮影位置６０２，６０３，６０４にてそれぞれ撮影された、別視点画像６１２，６１３，６１４を例示する。また、図８は各撮影位置における対応点数と、撮影されている遮蔽領域との関係を説明する図である。各撮影位置６０１〜６０４で撮影された画像に関する対応点数と、撮影されている遮蔽領域との関係を例示する。横軸は対応点数を表し、縦軸は撮影されている遮蔽領域の大きさを表す。撮影位置６０２は点７０２に、撮影位置６０３は点７０３に、撮影位置６０４は点７０４にそれぞれ対応する。

図７の基準画像６１１で発生する遮蔽領域は、図６の被写体６０５によって隠れる領域であり、点線６０８で示す領域である。なお、実際上は被写体６０６により発生する遮蔽領域６０９も考慮する必要があるが、以降の処理で説明を分かり易くするために１つの遮蔽領域を用いて説明する。

基準画像６１１の撮影位置６０１からカメラを撮影位置６０２〜６０４へと、図６の右側へ順次に移動することにより、基準画像６１１での遮蔽領域に対応する領域を撮影することができる。この場合、撮影位置６０２で撮影された別視点画像６１２は、カメラの移動量が小さいため、撮影されている遮蔽領域６１５の大きさは小さい。つまり、基準画像６１１での遮蔽領域に対応する領域の一部だけが撮影される。撮影位置６０３で撮影された別視点画像６１３では撮影されている遮蔽領域６１５の大きさが大きくなる。撮影位置６０４で撮影された別視点画像６１４ではさらにカメラの移動量が大きいため、撮影されている遮蔽領域６１７の大きさが大きくなる。このように、撮影位置６０１に対するカメラの移動量が大きいほど、別視点画像において撮影されている遮蔽領域の大きさが大きくなることがわかる。

一方、撮影位置６０２で撮影された別視点画像６１２の場合、カメラの移動量が小さく、基準画像６１１に対して一致する画像の範囲が大きい。このため、基準画像６１１と別視点画像６１２との間の対応点の数が多い。他方、撮影位置６０４で撮影された別視点画像６１４の場合にはカメラの移動量が大きく、基準画像６１１に対して一致する画像の範囲が小さい。このため、基準画像６１１と別視点画像６１４との間の対応点の数が少ない。このように、撮影位置６０１に対するカメラの移動量が小さいほど、撮影されている画像間の対応点数が多くなるので、位置合わせにおいてズレが小さくなることがわかる。

以上の結果を図８に示すと、撮影位置６０２では点７０２に示すように、対応点数が相対的に多く、撮影されている遮蔽領域の大きさが小さい。撮影位置６０３では点７０３に示すように、点７０２に比べて対応点数が少なく、撮影されている遮蔽領域の大きさが大きくなる。撮影位置６０４では点７０４に示すように、点７０３に比べて対応点数が少なく、撮影されている遮蔽領域の大きさが大きくなる。遮蔽領域を補間するために用いる画像としては、撮影されている遮蔽領域の大きさが大きく、位置合わせのズレ量が小さい画像が好ましい。しかし、対応点数と撮影されている遮蔽領域の大きさとはトレードオフの関係にあるので、両方の条件に合った画像を選択することはできない。そこで、図８に示す点７０３のように、対応点数と撮影されている遮蔽領域の大きさとのバランスがとれている画像を選択する処理が実行される。これにより、補間される遮蔽領域の大きさと位置合わせのズレ量を考慮した画像を用いて補間処理を行うことができる。画像決定部１０５は画像選択の際に下式（２）を用いて判定を行う。

式（２）中の各記号の意味は以下のとおりである。
Ｆ_ｉｎ：検出された対応点数
Ｆ_ａｌｌ：画像の全特徴点数
Ｓ_ｉｎ：撮影されている遮蔽領域の大きさ
Ｓ_ａｌｌ：遮蔽領域の全体の大きさ
Ｒ_ｏｕｔ：評価値
式（２）に示すαとβは、画像間での対応点数の比率と、撮影されている遮蔽領域の大きさの比率に対して乗算される、重み付け係数をそれぞれ表している。つまり画像決定部１０５は、重み付け演算によって式（２）から評価値Ｒ_ｏｕｔを算出し、当該評価値が最大となる画像（別視点画像）を決定する。本例では説明の便宜上、画像の選択と同時に決定処理が行われるものとするが、選択された画像を所定の基準にしたがってチェックした上で画像の決定処理を行ってもよい。次に図２のＳ２０５に処理を進める。

・Ｓ２０５［位置合わせ］
位置合わせ部１０６は、対応点探索部１０２からの情報を用いて画像決定部１０５で決定された別視点画像を変形し、位置合わせ処理を行う。図９は位置合わせ処理の説明図であり、図９（Ａ）は基準画像８０１と別視点画像８１１との間の対応関係を示し、図９（Ｂ）は基準画像８２１と別視点画像８３１との間の対応関係を示す。

位置合わせ部１０６は、別視点画像８１１を変形するために、対応点の組を用いて変換行列を算出する。図９（Ａ）の基準画像８０１における特徴点８０２〜８０８は、別視点画像８１１における特徴点８１２〜８１８にそれぞれ対応している。この対応関係を用いることで下式（３）に示す射影変換係数を算出する処理が実行される。式（３）を用いて別視点画像を変形することで位置合わせ処理が実行される。

式（３）中の各記号の意味は以下のとおりである。
（ｘ，ｙ）：別視点画像の座標
（ｘ^*，ｙ^*）：別視点画像の射影変換後の座標
ｈ_ｉｊ：射影変換係数（ｉ,ｊ＝１〜３）

式（３）に示す射影変換係数を算出するために式（３）を展開すると、下式（４）が得られる。

射影変換係数の未知数は９個であるが、射影変換係数が定数倍された場合でも変換後の結果は影響を受けないため、実際の自由度は８となる。そのため、ｈ_３３の値を１として分母の式を両辺にかけると、式（４）は下式（５）で表される。

式（５）は連立一次方程式であるため、４組以上の対応点を与えて、最小二乗法を用いて解くことにより、射影変換係数の値をそれぞれ算出することができる。具体的には、図９（Ｂ）に示すように、実線８２６，８３６の矩形枠内の範囲（遮蔽領域の周辺域を含む）内にある４組の対応点を使用する。対応点の組は（８０２，８１２）、（８０３，８１３）、（８０４，８１４）、（８０５，８１５）であり、これらの対応点が優先的に使用される。つまり遮蔽領域の補間で使用する別視点画像の領域は、撮影されている遮蔽領域のみである。このため、遮蔽領域周辺の位置合わせのズレ量が重要となる。したがって遮蔽領域周辺の対応点を優先して用いることで、補間時の位置合わせのズレ量を小さくすることができる。次に図２の２０６に処理を進める。

・Ｓ２０６［画像の補間］
画像補間部１０７は、位置合わせ部１０６から入力された変形後の別視点画像と、遮蔽領域検出部１０３による検出結果を用いて、遮蔽領域の補間処理を行う。図１０は遮蔽領域の補間を説明する図である。図１０（Ａ）は基準画像９０１、図１０（Ｂ）は変形後の別視点画像９１１、図１０（Ｃ）は遮蔽領域の補間後の画像９２１をそれぞれ例示する。黒色領域９０２は遮蔽領域を示す。図１０（Ｄ）は、補間に用いる合成比率の変化量をグラフ線９３１で示している。横軸は位置合わせのズレ量を表し、縦軸は合成比率の変化量を表す。一例としてグラフ線９３１を右上がりの直線で示す。

画像補間部１０７は、基準画像にて検出された遮蔽領域に対して、変形後の別視点画像にて撮影されている遮蔽領域を合成することで補間処理を行う。図１０（Ｃ）に示す領域９１２は、別視点画像９１１において、撮影されている遮蔽領域を示している。補間後の画像９２１において、領域９２２は別視点画像を合成した領域を示す。画像９２１に示す黒色領域９２３は、別視点画像９１１で撮影されていない領域であり、遮蔽領域として残っている領域となる。

補間処理では、画像決定部１０５により決定された別視点画像によっては、位置合わせのズレ量が大きくなる場合がある。例えば、撮影された別視点画像において、背景にある被写体の特徴が少ないシーンで撮影を行った場合や、検出される特徴点の数が少ない場合がある。あるいは、被写体が遠くにあり、視差がつきにくいため、カメラを大きく移動させないと遮蔽領域が撮影されない場合等が挙げられる。このような場合、対応点数が少なくなり、位置合わせのズレ量が大きくなる可能性がある。そこで、本実施形態では、位置合わせのズレ量を考慮した画像の補間処理が行われる。

画像補間部１０７は、下式（６）を用いて加重加算（重み付け加算）を行う。

式（６）中の各記号の意味は以下のとおりである。
γ ：重み付け係数（合成比率は「γ：１−γ」である。０≦γ≦１）
Ｉｎ１：基準画像の画素値
Ｉｎ２：変形後の別視点画像の画素値
Ｏｕｔ：補間後の画素値
γ値については、位置合わせのズレ量に基づいて決定され、画像補間部１０７はγ値を変化させることで、基準画像と別視点画像との合成比率を変更する。対応点数が少ない場合には、位置合わせのズレを目立ちにくくするための設定が行われる。すなわち画像補間部１０７は、図１０（Ｄ）に示すように、グラフ線９３１に基づいてγ値の変化量を小さく設定することで、基準画像と別視点画像とを合成する範囲を大きくする。位置合わせのズレ量が大きいほど、γ値の変化量が相対的に大きく設定される。次に図２のＳ２０７に処理を進める。

・Ｓ２０７［任意視点画像の生成］
任意視点画像生成部１０８は、画像補間部１０７から入力された補間後の画像を用いて、撮影画像の任意視点画像を生成する。本実施形態では、任意視点画像の一例として、主被写体（合焦被写体）の大きさを固定あるいは所定の変倍率に固定した上で、任意の撮影位置、撮影光学系の任意の焦点距離での撮影画像を仮想的に生成する。より具体的には、ユーザによる指示あるいは画像解析等により決定される仮想的な撮影位置（視点位置）と焦点距離に基づいて主被写体以外の背景領域が変形処理される。当該変形処理された背景領域の画像と主被写体領域の画像を合成することで、任意視点画像が生成される。このとき、変形後の背景領域には、変形前には主被写体領域によって遮蔽されていた遮蔽領域を含む場合がある。その場合、ステップＳ２０６で生成された補間画像を変形し、主被写体領域の画像と合成することで、画像の抜けのない（または画像の抜けが少ない）画像が生成される。Ｓ２０７では、距離情報入力部１０４から入力された被写体距離情報に基づき、任意視点画像を生成するために必要な変形パラメータが算出される。被写体距離情報の算出処理においては、レーザーなどを用いたアクティブ方式や、ステレオ方式などを用いたパッシブ方式を用いてもよく、特定の手段には限定されない。図１１は、任意視点でのカメラ位置と焦点距離との関係を説明する模式図である。図１１では変形パラメータの算出方法の説明を分かり易くするために、２つの被写体として、合焦被写体（主被写体）と背景を撮影した場合を想定する。合焦被写体とは、撮影時に焦点を合わせる被写体である。なお、撮像系の光軸にて図１１の右側が被写体側であり、左側が撮像面側である。また、合焦被写体に対する合焦距離と同じ距離にある領域を合焦被写体領域と定義する。図１１中の各記号は以下の内容を示す。

ｙ_１：合焦被写体の大きさ
ｙ_２：背景の大きさ
ｆ_ｗ：撮影時の焦点距離
ｙ_ｗ１：ｙ_１に対応する撮影時の像面上の大きさ
ｙ_ｗ２：ｙ_２に対応する撮影時の像面上の大きさ
Ｓ_ｗ１：撮影時の合焦被写体までの距離
Ｓ_ｗ２：撮影時の背景までの距離
ｆ_Ｔ：任意視点での焦点距離
ｙ_Ｔ１：任意視点で撮影した場合の、ｙ_１に対応する像面上の大きさ
ｙ_Ｔ２：任意視点で撮影した場合の、ｙ_２に対応する像面上の大きさ
Ｓ_Ｔ１：任意視点での被写体距離（合焦被写体までの距離）
Ｓ_Ｔ２：任意視点での被写体距離（背景までの距離）
ｔ_３：撮影時を基準とするカメラ移動量

合焦被写体像の大きさを変化させずに背景画像を大きくした画像を生成する場合、撮影時における合焦被写体の像面上の大きさｙ_ｗ１に対して、任意視点で撮影した場合の合焦被写体の像面上の大きさｙ_Ｔ１が同じとなる。このため、三角形の相似関係とレンズの公式から、背景の変倍率として下記の式（７）が成立する。

式（７）おいて、背景の変倍率をＮ＝ｙ_Ｔ２／ｙ_ｗ２により定義する。任意視点画像生成部１０８は、撮影時の焦点距離ｆ_ｗと任意視点での焦点距離ｆ_Ｔ、被写体距離情報Ｓ_ｗ１、Ｓ_ｗ２により、背景の変倍率Ｎを算出する。任意視点画像生成部１０８は、算出した変倍率Ｎ（変形パラメータ）を用いて背景領域の幾何変形を行い、合焦被写体像と幾何変形処理後の背景画像とを合成して任意視点画像を生成する。その際には、撮影されなかった遮蔽領域が存在する場合、変倍率の値によっては、補間されていない領域が画像に現れることになる。図１２は任意視点画像の生成を説明する図である。基準画像１１０１、補間後の背景領域の画像１１１１、生成された任意視点画像１１２１を例示する。

図１２に示す補間後の背景領域の画像１１１１にて、点線１１１２と１１１３は別視点画像から補間された領域であり、黒色領域１１１４は補間されなかった領域である。そのため、任意視点画像生成部１０８は、画像内に黒色領域１１１４、すなわち遮蔽領域が出現しない変倍率に変更し、変更後の変倍率を用いて幾何変形処理を行うことで任意視点画像１１２１を生成する。

本実施形態では、別視点画像における撮影されている遮蔽領域の大きさと、位置合わせに使用する対応点数に基づいて、両方のバランスがとれている画像を選択して使用する。補間に使用する画像の決定処理では、画像の全特徴点数（総数）に対して検出された対応点数が占める第１の比率と、遮蔽領域の全体の大きさに対して撮影されている遮蔽領域の大きさが占める第２の比率に基づいて評価値が算出される。本実施形態によれば、評価値が最大となる画像を用いることにより、位置合わせのズレ量が小さく、補間し得る遮蔽領域が大きくなるように補間処理を行える。
また、本実施形態では、基準画像の遮蔽領域に対して別視点画像から補間を行った補間画像を生成してから、任意視点画像生成のための仮想的な撮影条件に基づき補間画像を生成した。このような例に限らず、基準画像を用いて任意視点画像を生成してから、このとき発生する遮蔽領域について別視点画像を用いて補間を行ってもよい。

［第２実施形態］
次に本発明の第２実施形態を説明する。本実施形態では、遮蔽領域の補間処理で使用する画像を決定するために、第１実施形態の処理に加え、画像間の対応点数および別視点画像で撮影されている遮蔽領域の大きさの優先度を変更して画像を決定する処理を行う。以下では、第１実施形態の場合と同様の構成要素について既に使用した符号を用いることでそれらの詳細な説明を省略し、相違点を中心に説明する。このような説明の省略の仕方は後述の実施形態でも同じである。

図１にて第１実施形態との相違点は、距離情報入力部２０４の出力する被写体距離情報が画像決定部１２０５にも入力され、画像決定部１２０５が補間処理に用いる画像を決定するための情報として使用することである。

図１３のフローチャートを参照して、本実施形態における画像処理について説明する。図２との差異は、画像を決定する優先度の変更処理Ｓ１３０４である。よって、Ｓ２０１からＳ２０７の説明を省略して、Ｓ１３０４のみ説明する。
Ｓ２０３の次にＳ１３０４で画像決定部１２０５は、対応点探索部２０２、遮蔽領域検出部２０３、距離情報入力部２０４から取得した各情報に基づき、画像を決定する優先度を変更する。優先度とは、遮蔽領域の補間処理において使用する別視点画像の決定に用いる、画像間の対応点数および別視点画像で撮影されている遮蔽領域の大きさの優先度のことである。任意視点画像を生成するために撮影した被写体の位置関係や大きさによって、遮蔽領域を補間するために必要なカメラの移動量が変わる。そのため、被写体の情報を考慮して画像間の対応点数と撮影されている遮蔽領域の大きさの優先度が変更される。遮蔽領域を補間するために必要なカメラの移動量について図１４および図１５を用いて説明する。図１４および図１５は被写体の位置関係や大きさによるカメラの移動量を示す図である。図１４および図１５において点線で示す領域１４０１、１４１１、１５０１、１５１１、１６０１、１６０２は、被写体による遮蔽領域を示している。

図１４（Ａ）および（Ｂ）は被写体までの距離情報に応じたカメラの移動量を説明する図である。図１４（Ａ）はカメラから被写体１４０３までの距離が近い場合を示し、図１４（Ｂ）はカメラから被写体１４０４までの距離が遠い場合を示す。図１４（Ａ）では、撮影位置１４０２に示すようにカメラの移動量が小さくても遮蔽領域１４０１を撮影することができる。一方、図１４（Ｂ）の場合には視差がつきにくくなるので、基準位置に近い撮影位置１４１２では撮影できる遮蔽領域の大きさが小さくなる。そのため、カメラの移動量を大きくし、基準位置から撮影位置１４１３までカメラを移動させないと全ての遮蔽領域を撮影することができない。

図１４（Ｃ）および（Ｄ）は遮蔽領域の大きさに応じたカメラの移動量を説明する図である。図１４（Ｃ）は被写体１５０３による遮蔽領域の大きさが小さい場合を示し、図１４（Ｄ）は被写体１５０４による遮蔽領域の大きさが大きい場合を示す。図１４（Ｃ）では、撮影位置１５０２に示すように、カメラの移動量が小さくても遮蔽領域を撮影することができる。一方、図１４（Ｄ）では、基準位置に近い撮影位置１５１２にて撮影できる遮蔽領域が小さい。よって、カメラの移動量を大きくし、基準位置から撮影位置１５１３までカメラを移動させないと全ての遮蔽領域を撮影することができない。

図１５は背景が多層の場合のカメラの移動量を説明する図である。図１５で示すように背景の被写体が複数存在する場合、基準位置に近い撮影位置１６０３で撮影を行うと、被写体１６０５による遮蔽領域１６０１は撮影できるが、被写体１６０６による遮蔽領域１６０２を撮影することができない。そこで、遮蔽領域１６０１と１６０２を全て撮影するためには、基準位置から離れた撮影位置１６０４までカメラを移動させる必要がある。背景の被写体数が多くなるにつれて遮蔽領域の大きさが大きくなるので、カメラの移動量を大きくしないと全ての遮蔽領域を撮影することができない。このような傾向を鑑みて、画像決定部１２０５は、被写体距離情報、遮蔽領域の大きさ、被写体の数に基づき、画像間の対応点数と撮影されている遮蔽領域の大きさのうちで、どちらを優先して画像を選択するかの優先度を変更する。優先度の変更方法としては、前記の式（２）にてα、βの値が変更される。たとえば、図１５のような多層の背景が存在する場合、補間を行う遮蔽領域の大きさが大きくなる。そこで画像決定部１２０５は、撮影されている遮蔽領域の大きさの比率に対する重み付け係数であるβ値をα値よりも大きくすることで、遮蔽領域の大きさに対する優先度を上げる。これとは逆に、α値をβ値よりも大きくすることで、画像間の対応点数の比率に対する優先度を上げることができる。画像決定部１２０５は、優先度にしたがい、重み付け演算によって式（２）から評価値Ｒ_ｏｕｔを算出し、当該評価値が最大となる画像を補間処理で使用する別視点画像として決定する。

本実施形態では、画像間の対応点数および別視点画像で撮影されている遮蔽領域の大きさの優先度を変更することにより、遮蔽領域の補間処理で使用する画像を、奥行き方向の距離情報である被写体距離情報に応じて決定できる。

［第３実施形態］
次に本発明の第３実施形態を説明する。本実施形態では、位置合わせのズレ量と撮影されている遮蔽領域の大きさに基づいて、遮蔽領域の補間処理で使用する画像を決定する。第１実施形態との相違点は、前記式（２）で画像間の対応点数を変更した点である。

図１６は本実施形態に係る画像処理装置の構成例を示すシステム図である。図１に示す構成例との差異は位置ズレ量算出部１７０５を設けたことである。位置ズレ量算出部１７０５は、対応点探索部１７０２から対応点の情報を取得し、当該情報を用いて仮の変換係数を算出する。位置ズレ量算出部１７０５は、仮の変換係数に基づいて位置合わせのズレ量を算出し、算出結果である位置ズレ量を画像決定部１７０６に出力する。なお、１７０１から１７０４に示す各部は、図１の１０１から１０４に示す各部にそれぞれ相当し、１７０７から１７１０に示す各部は、図１の１０６から１０９に示す各部にそれぞれ相当する。よって、それらの詳細な説明を省略し、主に相違点を説明する。

図１７は本実施形態における画像処理例を説明するフローチャートである。図２に示す画像処理例との差異は、位置ズレ量の算出処理を行うＳ１８０４と、補間で使用する画像を決定する処理を行うＳ１８０５である。よって、以下ではＳ１８０４とＳ１８０５のみ説明する。
Ｓ２０３の次にＳ１８０４へ進み、位置ズレ量算出部１７０５は、対応点探索部１７０２から入力された対応点を用いて仮の変換係数を算出し、仮の変換係数に基づいて位置合わせのズレ量を算出する。位置合わせのズレ量を算出する処理について図１８を用いて説明する。

図１８（Ａ）は基準画像１９０１、図１８（Ｂ）は別視点画像１９１１、図１８（Ｃ）は変形後の別視点画像１９２１をそれぞれ例示する。変形後の別視点画像１９２１では、被写体位置１９２２、１９２３と、検出された特徴点１９２４を示すとともに、基準画像１９０１における被写体位置１９２５、１９２６を点線で示し、検出された特徴点１９２７を示す。
図２のＳ２０５で説明した式を用いて、入力された対応点から４組以上を選択し、仮の変換係数の算出処理が行われる。そして、算出された変換係数を用いて別視点画像の変形処理が行われる。これにより、変形後の別視点画像１９２１における各被写体の位置は１９２２と１９２３の位置に移動する。そのときの位置ずれは、基準画像１９０１における被写体位置１９２５、１９２６（点線参照）と、変形後の別視点画像１９２１における被写体位置１９２２、１９２３との差であり、この差が位置合わせのズレとなる。そこで、別視点画像１９２１における特徴点１９２４と基準画像１９０１における特徴点１９２７との間の、画素間距離をズレ量と定義する。画素間距離の算出処理には、下式（８）を用いる。

式（８）中の各記号の意味は以下のとおりである。
（ｘ_ｉ，ｙ_ｉ）：基準画像の特徴点座標
（ｘ_ｉ ^*，ｙ_ｉ ^*）：変形された別視点画像の特徴点座標
Ｅ_ｉ：ｉ番目の特徴点における画素間距離
本実施形態では、画素間距離としてユークリッド距離を用いるが、この算出方法に限定される訳ではなく、他の方法を用いてもよい。

次に位置ズレ量算出部１７０５は、各画像に対するズレ量の代表値として画素間距離Ｅ_ｉの最大値を算出する。算出処理では、外れ値やノイズ成分を除いた画素間距離の最大値を算出するために、標準偏差を用いて値のばらつき具合が考慮される。各特徴点において算出した画素間距離の標準偏差（σと記す）は、下式（９）を用いて算出される。

式（９）中の各記号の意味は以下のとおりである。
Ｅ_ｉ：ｉ番目の特徴点における画素間距離
Ｅ_ａｖｇ：画素間距離の平均
Ｎ：特徴点の総数
σ：画素間距離の標準偏差

位置ズレ量算出部１７０５は、３σの範囲内にある画素間距離の最大値を決定する。画素間距離の標準偏差を表したグラフ１９３１を図１８（Ｄ）に例示する。横軸は画素間距離を表し、縦軸は個数（度数）を表す。グラフ１９３１における３σの範囲にある最大画素間距離を点１９３２に示す。点１９３２での値がズレ量として決定される。つまり位置ズレ量算出部１７０５は、３σの範囲内にある画素間距離の最大値を、各画像における位置ズレ量の代表値（Ｅ_ｉｎと記す）として算出し、画像決定部１７０６に出力する。

図１７のＳ１８０５で画像決定部１７０６は、遮蔽領域検出部１７０３と位置ズレ量算出部１７０５から取得した情報に基づいて、遮蔽領域の補間処理で使用する別視点画像を決定する。その際、下式（１０）を用いて評価値が算出される。

式（１０）中の各記号の意味は以下のとおりである。
Ｅ_ｉｎ：位置合わせのズレ量の代表値
Ｓ_ｉｎ：撮影されている遮蔽領域の大きさ
Ｓ_ａｌｌ：遮蔽領域の全体の大きさ
Ｒ_ｏｕｔ：評価値
α、βは、位置合わせのズレ量の逆数と撮影されている遮蔽領域の大きさの比率に対する重み付け係数をそれぞれ表している。画像決定部１７０６は、式（１０）で算出した評価値Ｒ_ｏｕｔが最大となる画像を決定し、当該画像の情報を位置合わせ部１７０７に出力する。

本実施形態では、位置合わせのズレ量と撮影されている遮蔽領域の大きさに基づいて、遮蔽領域の補間処理で使用する画像が決定される。すなわち、位置合わせのズレ量（代表値）の逆数と、遮蔽領域の全体の大きさに対して撮影されている遮蔽領域の大きさが占める比率に基づいて評価値が算出される。評価値が最大の画像を用いることにより、位置合わせのズレ量が小さく、補間し得る遮蔽領域が大きくなるように補間処理が行われる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１・・・画像入力部、１０２・・・対応点探索部、１０３・・・遮蔽領域検出部、１０４・・・距離情報入力部、１０５・・・画像決定部、１０６・・・位置合わせ部、１０７・・・画像補間部、１０８・・・任意視点画像生成部、１０９・・・画像出力部

Claims (18)

1. 第1の画像と、前記第1の画像と異なる視点で取得される複数の第２の画像を入力する入力手段と、
   前記第１の画像と前記第２の画像との対応点を用いて前記第１および第２の画像の位置合わせを行う位置合わせ手段と、
   前記第１および第２の画像にて被写体領域により遮蔽される遮蔽領域を検出する検出手段と、
   前記入力手段から複数の前記第２の画像を取得し、前記第１の画像における前記遮蔽領域の補間処理に使用する前記第２の画像を決定する決定手段と、
   前記第１の画像と前記決定手段により決定された前記第２の画像、および前記検出手段により検出された前記遮蔽領域の情報を取得して前記遮蔽領域の補間処理を行う補間手段を備え、
   前記決定手段は、前記位置合わせ手段が用いる画像間の対応点の数と、前記検出手段により検出された前記遮蔽領域の大きさに対する、前記第２の画像にて前記被写体領域により遮蔽されていない領域の大きさの情報を用いて、複数の前記第２の画像から補間処理に使用する画像を決定することを特徴とする画像処理装置。
2. 前記決定手段は、前記第１および第２の画像に係る奥行き方向の距離情報を取得し、前記位置合わせ手段が用いる画像間の対応点の数および前記遮蔽領域の大きさの情報に対する優先度を変更して、複数の前記第２の画像から補間処理に使用する画像を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記位置合わせ手段は、前記第１の画像と前記第２の画像との対応点にしたがって前記第２の画像を変形することにより、前記第１および第２の画像との位置合わせを行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記位置合わせ手段は、前記第１の画像での前記遮蔽領域の周辺における前記対応点を優先的に用いて位置合わせを行うことを特徴とする請求項３に記載の画像処理装置。
5. 前記検出手段は、前記第１の画像にて被写体領域により遮蔽される領域であって、かつ前記第２の画像にて前記被写体領域により遮蔽されていない領域を検出することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記検出手段は、前記第２の画像にて前記第１の画像との対応点が存在しない領域を前記遮蔽領域として検出することを特徴とする請求項５に記載の画像処理装置。
7. 前記決定手段は、前記第１の画像における特徴点の総数に対して検出された対応点数が占める第１の比率と、前記第１の画像における前記遮蔽領域の大きさに対して、前記第２の画像にて前記被写体領域により遮蔽されていない領域の大きさが占める第２の比率から評価値を算出し、前記評価値を用いて複数の前記第２の画像から補間処理に使用する画像を決定することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記決定手段は、前記第１および第２の比率にそれぞれ重み付け係数を乗算して前記評価値を算出することを特徴とする請求項7に記載の画像処理装置。
9. 前記補間手段は、前記第１の画像と前記第２の画像との位置合わせのズレ量を算出し、当該ズレ量を用いて前記第１および第２の画像を合成する比率を変化させることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記補間手段により補間されて生成された画像と前記被写体領域の画像を用いて任意視点画像を生成する生成手段を有することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 任意視点画像における仮想的な撮影条件を指示する指示手段を有し、
    前記生成手段は、前記指示手段による仮想的な撮影条件の指示に応じて前記被写体領域の画像および前記補間手段により補間されて生成された画像の少なくとも一部を変形し、前記任意視点画像を生成することを特徴とする請求項１０に記載の画像処理装置。
12. 第１の画像と、前記第１の画像と異なる視点で取得される複数の第２の画像を入力する入力手段と、
    前記第１の画像と前記第２の画像との対応点を用いて前記第１および第２の画像の位置合わせを行う位置合わせ手段と、
    前記第１の画像と前記第２の画像との位置合わせのズレ量を算出する算出手段と、
    前記第１および第２の画像にて被写体領域により遮蔽される遮蔽領域を検出する検出手段と、
    前記入力手段から複数の前記第２の画像を取得し、前記第１の画像における前記遮蔽領域の補間処理に使用する前記第２の画像を決定する決定手段と、
    前記第１の画像と前記決定手段により決定された前記第２の画像、および前記検出手段により検出された前記遮蔽領域の情報を取得して前記遮蔽領域の補間処理を行う補間手段を備え、
    前記決定手段は、前記算出手段により算出された位置合わせのズレ量と、前記検出手段により検出された前記遮蔽領域の大きさに対する、前記第２の画像にて前記被写体領域により遮蔽されていない領域の大きさの情報を用いて、複数の前記第２の画像から補間処理に使用する画像を決定することを特徴とする画像処理装置。
13. 前記決定手段は、前記位置合わせのズレ量の逆数と、前記第１の画像における前記遮蔽領域の大きさに対する、前記第２の画像にて前記被写体領域により遮蔽されていない領域の大きさが占める比率から評価値を算出し、前記評価値を用いて複数の前記第２の画像から補間処理に使用する画像を決定することを特徴とする請求項１２に記載の画像処理装置。
14. 前記決定手段は、前記位置合わせのズレ量の逆数および前記比率にそれぞれ重み付け係数を乗算して前記評価値を算出することを特徴とする請求項１３に記載の画像処理装置。
15. 請求項１から１４のいずれか１項に記載の画像処理装置を備えることを特徴とする撮像装置。
16. 視点の異なる複数の画像を処理する画像処理装置が実行する画像処理方法であって、
    第１の画像と、前記第１の画像と異なる視点で取得される複数の第２の画像を入力する入力ステップと、
    前記第１および第２の画像にて被写体領域により遮蔽される遮蔽領域を検出する検出ステップと、
    複数の前記第２の画像を取得し、前記第１の画像における前記遮蔽領域の補間処理に使用する前記第２の画像を決定する決定ステップと、
    前記第１の画像と前記第２の画像との対応点を用いて前記第１および第２の画像の位置合わせを行う位置合わせステップと、
    前記第１の画像と前記決定ステップで決定された前記第２の画像、および前記検出ステップで検出された前記遮蔽領域の情報を取得して前記遮蔽領域の補間処理を行う補間ステップを有し、
    前記決定ステップでは、前記第１の画像と前記第２の画像との対応点および前記検出ステップで検出された前記遮蔽領域の情報を取得し、画像間の対応点の数、および前記遮蔽領域の大きさに対する、前記第２の画像にて前記被写体領域により遮蔽されていない領域の大きさの情報を用いて、複数の前記第２の画像から補間処理に使用する画像が決定されることを特徴とする画像処理方法。
17. 視点の異なる複数の画像を処理する画像処理装置が実行する画像処理方法であって、
    第１の画像と、前記第１の画像と異なる視点で取得される複数の第２の画像を入力する入力ステップと、
    前記第１の画像と前記第２の画像との位置合わせのズレ量を算出する算出ステップと、
    前記第１および第２の画像にて被写体領域により遮蔽される遮蔽領域を検出する検出ステップと、
    複数の前記第２の画像を取得し、前記第１の画像における前記遮蔽領域の補間処理に使用する前記第２の画像を決定する決定ステップと、
    前記第１の画像と前記第２の画像との対応点を用いて前記第１および第２の画像の位置合わせを行う位置合わせステップと、
    前記第１の画像と前記決定ステップで決定された前記第２の画像、および前記検出ステップで検出された前記遮蔽領域の情報を取得して前記遮蔽領域の補間処理を行う補間ステップを有し、
    前記決定ステップでは、前記算出ステップで算出された位置合わせのズレ量、および前記検出ステップで検出された前記遮蔽領域の大きさに対する、前記第２の画像にて前記被写体領域により遮蔽されていない領域の大きさの情報を用いて、複数の前記第２の画像から補間処理に使用する画像が決定されることを特徴とする画像処理方法。
18. 請求項１６または１７に記載の画像処理方法の各ステップを画像処理装置のコンピュータに実行させることを特徴とするプログラム。
    
    

Images