JP2019207611A - 画像処理装置、画像処理プログラム、画像処理方法 - Google Patents

Abstract

【課題】合成画像の合成精度を適切に確認することができる画像処理装置等を提供する。【解決手段】複数の画像から解像度の高い合成画像を生成する画素ずらし超解像画像生成部２と、合成画像の領域抽出範囲内に複数の評価領域を設定する評価領域設定部３と、評価領域の画素充填率を複数の評価領域のそれぞれについて評価して複数の画素充填率評価値を算出する合成精度評価部４と、複数の画素充填率評価値に基づいて複数の評価領域の中から決定領域を決定する決定部６と、を備える画像処理装置１。【選択図】図１

Description

本発明は、複数の画像を合成して高解像度の合成画像を生成する画像処理装置、画像処理プログラム、画像処理方法に関する。

従来より、画像における合焦部分を確認することができる技術が提案されている。

例えば、特開２００４−２４２０１０号公報には、画像内のＡＦ（オートフォーカス）エリアをサブブロックに区分して、各サブブロックの合焦の程度を示す評価値を算出し、評価値が高いサブブロックを表示することで、画像中のどの位置が合焦しているかを容易に確認できるようにした撮像装置が記載されている。

また、連続して撮影された複数の画像を合成して、撮影により取得された画像よりも高解像度の合成画像を生成する技術、いわゆる画素ずらし超解像画像を生成する技術が提案されている。

特開２００４−２４２０１０号公報

上述した画素ずらし超解像画像を生成する元となる複数の画像は、撮影時点が異なる画像である。このために、撮像装置を例えば固定して、複数の画像を撮影したとしても、撮影範囲内に移動する被写体が存在すると、移動被写体の画像を合成した部分は、解像度が高い画像とはならない。こうした移動被写体がＡＦエリア内にある場合には、複数の画像のそれぞれにおいてＡＦ処理が行われて移動被写体に合焦されているにも関わらず、合成画像においては高い合成精度を得ることができず、高い解像度部分とならない。このために、ＡＦエリアの画像を見ても合成精度を適切に確認することができず、合焦状態を適切に確認することもできない。

本発明は上記事情に鑑みてなされたものであり、合成画像の合成精度を適切に確認することができる画像処理装置、画像処理プログラム、画像処理方法を提供することを目的としている。

本発明の一態様による画像処理装置は、連続して撮影された複数の画像を合成して、前記複数の画像よりも解像度の高い合成画像を生成する画像処理装置であって、画像を構成する複数の画素のそれぞれを前記合成画像を構成するための高解像度の画像空間に位置合せして配置することを、前記複数の画像に対して行うことにより、前記合成画像を生成する画素ずらし超解像画像生成部と、前記合成画像に対して、領域抽出範囲を設定すると共に、前記領域抽出範囲内に複数の評価領域を設定する評価領域設定部と、評価領域の画素充填率を前記複数の評価領域のそれぞれについて評価して複数の画素充填率評価値を算出する合成精度評価部と、前記複数の画素充填率評価値に基づいて、前記複数の評価領域の中から決定領域を決定する決定部と、を備える。

本発明の他の態様による画像処理プログラムは、連続して撮影された複数の画像を合成して、前記複数の画像よりも解像度の高い合成画像を生成する画像処理をコンピュータに行わせるための画像処理プログラムであって、コンピュータに、画像を構成する複数の画素のそれぞれを前記合成画像を構成するための高解像度の画像空間に位置合せして配置することを、前記複数の画像に対して行うことにより、前記合成画像を生成する画素ずらし超解像画像生成ステップと、前記合成画像に対して、領域抽出範囲を設定すると共に、前記領域抽出範囲内に複数の評価領域を設定する評価領域設定ステップと、評価領域の画素充填率を前記複数の評価領域のそれぞれについて評価して複数の画素充填率評価値を算出する合成精度評価ステップと、前記複数の画素充填率評価値に基づいて、前記複数の評価領域の中から決定領域を決定する決定ステップと、を行わせるための画像処理プログラムである。

本発明のさらに他の態様による画像処理方法は、連続して撮影された複数の画像を合成して、前記複数の画像よりも解像度の高い合成画像を生成する画像処理方法であって、画像を構成する複数の画素のそれぞれを前記合成画像を構成するための高解像度の画像空間に位置合せして配置することを、前記複数の画像に対して行うことにより、前記合成画像を生成する画素ずらし超解像画像生成ステップと、前記合成画像に対して、領域抽出範囲を設定すると共に、前記領域抽出範囲内に複数の評価領域を設定する評価領域設定ステップと、評価領域の画素充填率を前記複数の評価領域のそれぞれについて評価して複数の画素充填率評価値を算出する合成精度評価ステップと、前記複数の画素充填率評価値に基づいて、前記複数の評価領域の中から決定領域を決定する決定ステップと、を備える。

本発明の画像処理装置、画像処理プログラム、画像処理方法によれば、合成画像の合成精度を適切に確認することができる。

本発明の実施形態１における画像処理装置の構成を示すブロック図。 上記実施形態１において、撮影により得られた１枚の画像の画素構成の例を示す図。 上記実施形態１において、撮影により得られた１枚目の画像の画素データを、高解像度の画像空間に位置合せして配置した様子を示す図。 上記実施形態１において、撮影により得られた２枚目の画像の画素データを、高解像度の画像空間に位置合せして配置した様子を示す図。 上記実施形態１において、撮影により得られた３枚目の画像の画素データを、高解像度の画像空間に位置合せして配置した様子を示す図。 上記実施形態１において、撮影により得られた複数枚の画像の画素データを、高解像度の画像空間に位置合せして配置し終えたときの、理想的な様子を示す図。 上記実施形態１において、撮影により得られた複数枚の画像の画素データを、高解像度の画像空間に位置合せして配置し終えたときの、画素データが配置されない画素が存在する例を示す図。 上記実施形態１において、撮影範囲内に移動する被写体が存在する例を示す図。 上記実施形態１において、撮影範囲の中心にＡＦエリアを設定したときの、ＡＦエリア内に存在する被写体の例を示す図。 上記実施形態１において、合成画像を生成するために連続して撮影された複数の画像の例を示す図。 上記実施形態１において、合成画像におけるＡＦエリアと、ＡＦエリア内に存在する被写体の例と、を示す図。 上記実施形態１において、合成画像に領域抽出範囲を設定して、領域抽出範囲内に複数の評価領域を設定する例を示す図。 上記実施形態１における超解像確認領域抽出の処理を示すフローチャート。 上記実施形態１において、領域抽出範囲の再設定を、評価領域の評価に応じて行う例を示す図表。 本発明の実施形態２における画像処理装置の一構成例を示すブロック図。 上記実施形態２における画像処理装置の他の構成例を示すブロック図。 上記実施形態２における超解像確認領域抽出の処理を示すフローチャート。 上記実施形態２の図１７におけるステップＳ１３の動きベクトル評価処理の詳細を示すフローチャート。 本発明の実施形態３における画像処理装置の一構成例を示すブロック図。 上記実施形態３における画像処理装置の他の構成例を示すブロック図。 上記実施形態３における超解像確認領域抽出の処理を示すフローチャート。 上記実施形態３の図２１におけるステップＳ３１の画素充填率評価処理の詳細を示すフローチャート。 上記実施形態３の図２１におけるステップＳ３２の動きベクトル評価処理の詳細を示すフローチャート。 上記実施形態３の図２１におけるステップＳ３５の重み付け係数算出処理の詳細を示すフローチャート。 上記実施形態３の図２１におけるステップＳ３６の評価値最大領域抽出処理の詳細を示すフローチャート。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図１４は本発明の実施形態１を示したものであり、図１は画像処理装置１の構成を示すブロック図である。

画像処理装置１は、連続して撮影された複数の画像を合成して、撮影された複数の画像のそれぞれよりも解像度の高い合成画像を生成するものである。

画像処理装置１は、画素ずらし超解像画像生成部２（図面および以下では、簡略に、超解像画像生成部２とよぶ）と、評価領域設定部３と、合成精度評価部４と、決定部６と、操作部７と、表示部８と、を備えている。

超解像画像生成部２は、画像を構成する複数の画素のそれぞれを、合成画像を構成するための高解像度の画像空間（撮影された画像の解像度よりも高解像度の画像空間）に位置合せして配置することを、複数の画像に対して行うことにより、合成画像を生成する。

評価領域設定部３は、合成画像に対して、評価領域を設定する範囲となる領域抽出範囲を設定すると共に、領域抽出範囲内に複数の評価領域を設定する。

合成精度評価部４は、画素充填率評価値を算出する画素充填率評価部５を備えている。そして、合成精度評価部４は、評価領域の画素充填率（画素充填率については、後で図７を参照して説明する）を複数の評価領域のそれぞれについて評価して複数の画素充填率評価値を算出する。

ここに画素充填率評価値は、画素充填率が高いほど高い値となる評価値である。画素充填率評価値は、例えば画素充填率をそのまま用いてもよいし、画素充填率の値の大小関係が、画素充填率評価値の値の大小関係においてもそのまま成り立つような他の評価値を、画素充填率に基づき求めても構わない。例えば、画素充填率に定数を乗算した値を画素充填率評価値としてもよいし、画素充填率を変数とする単調増加関数の値を画素充填率評価値としても構わない。

さらに、合成精度評価部４は、複数の画素充填率評価値の中の最大の画素充填率評価値が第１の所定範囲内の値であるか否かを判定して、第１の所定範囲内の値でないときには、評価領域設定部３に、領域抽出範囲および複数の評価領域を再設定させる。

そして、合成精度評価部４は、再設定された複数の評価領域に対して再度処理を行う。

決定部６は、複数の評価領域のそれぞれに対する複数の画素充填率評価値に基づいて、複数の評価領域の中から決定領域を決定する。例えば、決定部６は、合成精度評価部４により最大の画素充填率評価値が第１の所定範囲内の値であると判定されたときには、最大の画素充填率評価値の評価領域を決定領域に決定する。

操作部７は、画像処理装置１に対する操作入力を行うためのものである。例えば、複数の画素充填率評価値に基づいて決定部６が決定領域を決定するためのパラメータが、操作部７から入力される。

一例を挙げれば、操作部７による特定操作（例えば、特定のボタンを押す操作）がないときには、決定領域に決定する評価領域のパラメータを、最大の画素充填率評価値とする。また、操作部７による特定操作が１回行われたときには、決定領域に決定する評価領域のパラメータを、２番目に大きい画素充填率評価値とする。さらにまた、操作部７により特定操作が２回行われたときには、決定領域に決定する評価領域のパラメータを、３番目に大きい画素充填率評価値とする、等である。

表示部８は、決定部６により決定された決定領域を表示する。

ここで、図２〜図７を参照して、超解像画像生成部２による画素ずらし超解像画像の生成処理について説明する。なお、図２〜図７に示す高解像度の画像空間において、ハッチングを付した画素は画素データが配置され、ハッチングを付していない画素は画素データが配置されていないものとする。

図２は、撮影により得られた１枚の画像の画素構成の例を示す図である。

また、図３は、撮影により得られた１枚目の画像の画素データを、高解像度の画像空間に位置合せして配置した様子を示す図である。

高解像度の画像空間は、合成画像を構成するための空間である。例えば、図３〜図７に示す画像空間は、撮影により得られた１枚の画像の画像空間（図２参照）の、縦４倍×横４倍の解像度の空間となっている。

このような高解像度の画像空間に、撮影により得られた１枚の画像を構成する各画素の画素データが、それぞれ位置合せして配置される。

画素ずらし超解像画像を生成する元となる複数の画像は、撮影光学系により結像される光学像と画像を光電変換して取得する撮像素子との位置ずれが画像毎に生じている必要がある。このときに位置ずれを発生するのは、例えば手ブレ補正機構を用いて撮像素子を移動することにより行っても構わないし、撮像装置を保持するユーザの手ブレにより位置ずれが生じるのであっても構わない。

ここで、カメラ等の撮像装置を固定して、手ブレ補正機構により撮像素子を所定の画素ずらし位置へ移動する場合、あるいは、撮像装置が手持ちされているときであっても手ブレ補正機構により手ブレを補正した上でさらに所定の画素ずらし位置への移動を行う場合、などには、狙いとする画素ずらし位置の画像を取得することができる。従って、１枚目の画像に対する、２枚目以降の画像の位置ずれは、既知である。

これに対して、手ブレ補正機構による補正範囲を超える手ブレが発生した場合、あるいは手ブレ補正機構を用いることなく手持ち撮影を行う場合などには、１枚目の画像に対する、２枚目以降の画像の位置ずれを検出してから、適切な画素ずらし位置へ位置合わせする必要がある。

こうした場合には、ブロックマッチング等の公知の技術を用いて、１枚目の画像に対する２枚目以降の画像の動きベクトルを算出することになる。このときには、異なる画像における同一形状を確認し易いエッジ等を、基準点に設定する。そして、画像内の複数の基準点に対して動きベクトルを算出し、さらに補間を行うことで、画像内の全ての画素に対する動きベクトルが算出される。このような処理が、１枚目の画像を基準として、２枚目以降の画像のそれぞれに対して行われる。

撮像装置が固定されている場合には、ここで算出された各画素の動きベクトルが、被写体の移動を示すベクトルとなる。

一方、撮像装置が固定されていない場合には、手ブレ等によって画像全体の並進および回転が生じることがある。この場合には、複数の基準点に対する動きベクトルに基づいて、例えば射影変換行列を求める。ここに射影変換行列は、２枚目以降の画像の「ある点」を射影変換行列により変換すると、１枚目の画像における「ある点」の対応点が求まる行列である。こうして２枚目以降の画像に対してそれぞれ求めた射影変換行列を用いれば、２枚目以降の画像を１枚目の画像に位置合わせすることができる。そして、射影変換行列により画像全体の並進および回転の影響を除去した後に残る動きベクトルが、被写体の移動を示すベクトルとなる。

図４は、撮影により得られた２枚目の画像の画素データを、高解像度の画像空間に位置合せして配置した様子を示す図である。ここに、高解像度の画像空間に新たに配置された２枚目の画像の画素データを、太枠で示している。

図示の例では、２枚目の画像は、１枚目の画像に対して、撮像素子（あるいは撮像装置全体）が右下に移動した状態となっている。そして、２枚目の画像を構成する画素の内の、高解像度の画像空間からはみ出る画素の画素データについては、高解像度の画像空間に配置されない。

図５は、撮影により得られた３枚目の画像の画素データを、高解像度の画像空間に位置合せして配置した様子を示す図である。ここに、高解像度の画像空間に新たに配置された３枚目の画像の画素データを、太枠で示している。

図示の例では、３枚目の画像は、１枚目の画像に対して、撮像素子（あるいは撮像装置全体）が左上に移動した状態となっている。上述と同様に、３枚目の画像を構成する画素の内の、高解像度の画像空間からはみ出る画素の画素データについては、高解像度の画像空間に配置されない。

このようにして超解像画像生成部２は、位置ずれが生じている複数の画像（例えば、上述した撮影画像の縦４倍×横４倍の解像度の場合には、少なくとも１６枚の画像）の画素を、位置合わせしながら高解像度の画像空間に配置することで、高解像度画像を生成する。

図６は、撮影により得られた複数枚の画像の画素データを、高解像度の画像空間に位置合せして配置し終えたときの、理想的な様子を示す図である。

位置合わせにより生成された高解像度画像は、図６に示すように、高解像度の画像空間の全ての画素位置に画素データが欠落することなく埋まることが理想的である。しかし、撮影して得られた複数枚の画像内に、移動する被写体がある場合などには、高解像度画像を合成するのに適さない画素が出現することがある。この場合には、合成に適さない画素を高解像度の画像空間内に配置しない。

図７は、撮影により得られた複数枚の画像の画素データを、高解像度の画像空間に位置合せして配置し終えたときの、画素データが配置されない画素が存在する例を示す図である。

このために、撮影により得られた複数の画像を高解像度の画像空間に配置し終えても、図７に示すように、画素データが埋まっていない画素位置が生じることがある。こうした場合に、超解像画像生成部２は、画素データが埋まっていない画素位置の画素データを、周辺の画素（カラー画像の場合には周辺の同色の画素）の画素データに基づいて画素補間することにより、該当画素位置の画素データを埋める処理を行う（欠落画素補間）。

このような処理において、画素データを配置し終えた後で、かつ欠落画素補間を行う前の高解像度の画像空間において、任意の領域内の全ての画素位置の数に対する、画素データが埋まっている画素位置の数の率を、その領域の画素充填率と呼ぶことにする。この画素充填率が高い領域ほど、合成画像の合成精度が高く、ひいては画素ずらし超解像の効果が高い領域ということができる。上述した画素充填率評価部５が処理を行うのは、この画素データを配置し終えた後で、かつ欠落画素補間を行う前の合成画像である。

図８は撮影範囲内に移動する被写体が存在する例を示す図、図９は撮影範囲の中心にＡＦエリアＡ０を設定したときのＡＦエリアＡ０内に存在する被写体の例を示す図、図１０は合成画像を生成するために連続して撮影された複数の画像の例を示す図、図１１は合成画像におけるＡＦエリアＡ０とＡＦエリアＡ０内に存在する被写体の例とを示す図である。

図８に示すような、例えば遠方に複数の山Ｍがあり、中央部に川Ｒがある撮影シーンにおいて、図９のハッチング部分に示すように、画像の中央にＡＦ（オートフォーカス）エリアが設定されているとする。この場合に、ＡＦエリアＡ０内にある山Ｍの一部を含む川Ｒに対してＡＦ処理を行えば、ＡＦエリアＡ０内が合焦した１枚の画像を撮影することができる。

このような撮影シーンを図１０に示すように複数枚撮影すると、各画像はＡＦエリアＡ０において合焦しているが、川Ｒは流れていて移動被写体であるために、各画像の川Ｒの様子はそれぞれ異なるものとなる。従って、複数枚の画像を合成して図１１に示すような合成画像を生成しても、川Ｒの画像部分は高解像度にならず、つまり大部分が川Ｒの画像部分となるＡＦエリアＡ０も、合成精度の確認を適切に行うことができないエリアとなる。

そこで、画像処理装置１は、図１３に示すような処理を行って、画素ずらし超解像の効果が確認し易い領域を決定領域として決定するようになっている。ここに、図１３は、超解像確認領域抽出の処理を示すフローチャートである。

図示しないメイン処理からこの処理に入ると、評価領域設定部３が、合成画像に領域抽出範囲を設定すると共に、領域抽出範囲内に複数の評価領域を設定する（ステップＳ１）。

ここに、複数の評価領域は、領域抽出範囲を分割することにより設定してもよい。この場合には、複数の評価領域を全て合わせると領域抽出範囲に一致する。あるいは、領域抽出範囲内に、適宜の間隔を開けて複数の評価領域を設定してもかまわない。この場合には、領域抽出範囲内に、評価領域に含まれない領域が生じることになる。

また、複数の評価領域は、それぞれ同一の大きさの領域（つまり、「縦方向の画素数×横方向の画素数」が、それぞれ同一である領域）となることが好ましい（後述するような評価値を、適正に比較することができるようにするため）。しかしながら、複数の評価領域の大きさがそれぞれ異なることを禁止するものではない。

図１３に示す処理を開始してから最初にステップＳ１の処理を行う場合に、評価領域設定部３は、例えば図１２に示すように、ＡＦエリアと、ＡＦエリアの周辺エリアと、を含むように領域抽出範囲ＲＧＮを設定する。

ここに、図１２は、合成画像に領域抽出範囲ＲＧＮを設定して、領域抽出範囲ＲＧＮ内に複数の評価領域を設定する例を示す図である。

図１２に示す例では、領域抽出範囲ＲＧＮ内に、３×３＝９個の評価領域が設定されていて、例えば画像の中央部の第５番目の評価領域がＡＦエリアである。そして、第５番目の評価領域の周辺に、第１〜４，６〜９番目の各評価領域がさらに設定されている。

評価領域設定部３は、領域抽出範囲内に設定した評価領域の数（図１２に示す例では９）を、評価領域数AreaNumに設定する（ステップＳ２）。

次に、合成精度評価部４が、パラメータの初期化を行う。ここでは、評価領域の数をカウントするための領域番号iに０を設定し、領域抽出範囲内に設定された複数の評価領域の画素充填率評価値の最大値を示すFillScoreMaxに０を設定する（ステップＳ３）。

続いて、画素充填率評価部５が、領域番号iの評価領域の画素充填率評価値FillScore[i]を算出する（ステップＳ４）。画素充填率評価値FillScore[i]は、上述したように種々の方法で算出して構わないが、例えば画素充填率がそのまま用いられる。この場合に画素充填率評価値FillScore[i]は、領域番号iの評価領域の全画素数AreaPixNumに対する、領域番号iの評価領域における画素データが配置された画素数AreaPixDataNumの割合として、次の数式１に示すように算出される。
［数１］
FillScore[i]＝AreaPixDataNum／AreaPixNum

従って、画素充填率をそのまま用いた画素充填率評価値FillScore[i]は、０以上１以下の値をとり、正規化された値となる。また、その他の方法で画素充填率評価値FillScore[i]を算出した場合には、別途、正規化の処理を行うとよい。

さらに、合成精度評価部４は、算出した画素充填率評価値FillScore[i]が、画素充填率評価値の最大値を示すFillScoreMaxに現在設定されている値よりも大きいか否かを判定する（ステップＳ５）。

ここで、大きいと判定した場合に、合成精度評価部４は、ステップＳ４において算出された画素充填率評価値FillScore[i]をFillScoreMaxに設定すると共に、領域番号iの値を、画素充填率評価値が最大となる領域番号FillScoreMaxAreaに設定する（ステップＳ６）。

ステップＳ６の処理を行うか、またはステップＳ５において大きくないと判定された場合に、合成精度評価部４は、領域番号iの値を１つ増加させる（ステップＳ７）。

そして、合成精度評価部４は、領域番号iが評価領域数AreaNumに達したか否かを判定する（ステップＳ８）。

ここで達していないと判定した場合には、上述したステップＳ４へ戻って、次の評価領域に対して上述したような処理を行う。

また、ステップＳ８において領域番号iが評価領域数AreaNumに達したと判定された場合に、合成精度評価部４は、画素充填率評価値の最大値FillScoreMaxが、所定の合焦確認領域判定閾値FillScoreMaxTHよりも大きいか否かを判定する（ステップＳ９）。ここに、合焦確認領域判定閾値FillScoreMaxTHは、画素充填率評価値がFillScoreMaxTH以下である評価領域を決定領域としないための判定に用いる閾値である。

ここで、大きくないと判定された場合には、上述したステップＳ１へ戻って評価領域設定部３により領域抽出範囲および評価領域を再設定してから、上述したような処理を行う。

一方、ステップＳ９において、FillScoreMaxがFillScoreMaxTHよりも大きいと判定された場合には、決定部６は、画素充填率評価値が最大となる領域番号FillScoreMaxAreaの値を、最大評価値領域番号MaxAreaに設定し、最大評価値領域番号MaxAreaで示される評価領域を決定領域に決定してから（ステップＳ１０）、図示しないメイン処理へリターンする。

これにより、表示部８には、決定部６により決定された決定領域が表示される。具体的に、画像中において決定領域がどの部分であるかを明示する表示を行い、さらに必要に応じて決定領域を拡大表示して、合成精度の確認（合成画像において高解像度化が適切に果たされたか否かの確認）、および合焦確認などを行うことができるようにする。このときに表示されるのは、超解像画像生成部２により上述した欠落画素補間を行った後の合成画像であることはいうまでもない。

次に、図１４は、領域抽出範囲の再設定を、評価領域の評価に応じて行う例を示す図表である。

上述したステップＳ９において、画素充填率評価値の最大値FillScoreMaxが、所定の合焦確認領域判定閾値FillScoreMaxTHよりも大きくないと判定され、ステップＳ１へ戻って領域抽出範囲および評価領域を再設定する際に、評価領域設定部３は、例えばこの図１４に示すような方法で再設定を行うようになっている。

図１４における領域抽出範囲の各評価領域の評価欄において、評価値（上述の例では、画素充填率評価値）が、所定の閾値（一例を挙げれば、領域抽出範囲内における全ての評価領域の評価値の平均値）以上である評価領域に対しては「Ｈ」を、所定の閾値未満である評価領域に対しては「Ｌ」を、付して示している。

第１欄に示すように、図１２に示したような第１〜９番目の評価領域に対して、第１〜３番目の評価領域がＨ、第４〜９番目の評価領域がＬである場合には、領域抽出範囲を再設定する方向を上方向として、領域抽出範囲再設定例のハッチング部分に示すような領域抽出範囲および評価領域の設定を行う。

第２欄に示すように、第１〜６番目の評価領域がＬ、第７〜９番目の評価領域がＨである場合には、領域抽出範囲を再設定する方向を下方向として、領域抽出範囲再設定例のハッチング部分に示すような領域抽出範囲および評価領域の設定を行う。

第３欄に示すように、第１，４，７番目の評価領域がＨ、それ以外の評価領域がＬである場合には、領域抽出範囲を再設定する方向を左方向として、領域抽出範囲再設定例のハッチング部分に示すような領域抽出範囲および評価領域の設定を行う。

第４欄に示すように、第３，６，９番目の評価領域がＨ、それ以外の評価領域がＬである場合には、領域抽出範囲を再設定する方向を右方向として、領域抽出範囲再設定例のハッチング部分に示すような領域抽出範囲および評価領域の設定を行う。

第５欄に示すように、第１〜３，４，７番目の評価領域がＨ、それ以外の評価領域がＬである場合には、領域抽出範囲を再設定する方向を左上方向として、領域抽出範囲再設定例のハッチング部分に示すような領域抽出範囲および評価領域の設定を行う。

第６欄に示すように、第１〜３，６，９番目の評価領域がＨ、それ以外の評価領域がＬである場合には、領域抽出範囲を再設定する方向を右上方向として、領域抽出範囲再設定例のハッチング部分に示すような領域抽出範囲および評価領域の設定を行う。

第７欄に示すように、第１，４，７〜９番目の評価領域がＨ、それ以外の評価領域がＬである場合には、領域抽出範囲を再設定する方向を左下方向として、領域抽出範囲再設定例のハッチング部分に示すような領域抽出範囲および評価領域の設定を行う。

第８欄に示すように、第３，６，７〜９番目の評価領域がＨ、それ以外の評価領域がＬである場合には、領域抽出範囲を再設定する方向を右下方向として、領域抽出範囲再設定例のハッチング部分に示すような領域抽出範囲および評価領域の設定を行う。

第９欄に示すように、評価領域のＨ，Ｌの配置が上記以外である場合には、現在の領域抽出範囲の周辺に、領域抽出範囲再設定例のハッチング部分に示すような領域抽出範囲および評価領域の設定を行う。

なお、図１４では領域抽出範囲内に３×３＝９個の評価領域が設定される場合の例を示したが、設定する評価領域の数および配置を異ならせた場合でも、同様の方法で領域抽出範囲および評価領域を再設定すればよい。

また、ここでは評価領域の評価値が高い方向に領域抽出範囲を再設定する例を示したが、場合分けを行うことなく第９欄に示すような領域抽出範囲および評価領域の再設定を行うようにしても構わない。

なお、上述したステップＳ５、ステップＳ６、およびステップＳ１０の処理では、画素充填率評価値が最大値をとる評価領域が複数ある場合に、最初に見つかった評価領域の領域番号iの値を最大評価値領域番号MaxAreaに設定して、決定領域を決定していた。しかしながら、これに限定されるものでないことは勿論である。

すなわち、画素充填率評価値が最大値をとる評価領域が複数ある場合に、決定部６は、例えば、何れか１つを選択して決定領域としてもよい。このときの選択方法は、任意の方法を用いることができるが、例えば、画像の中央に最も近いもの（あるいはＡＦエリアに最も近いもの）を選択する方法が一例として挙げられる。あるいは、画素充填率評価値が最大値をとる１つ以上の評価領域の全てを決定領域としても構わない。

また、上述では、決定部６は、画素充填率評価値が最大値をとる評価領域を決定領域としたが、これに限定されるものではなく、操作部７からの操作入力に応じて決定領域を定めるようにしても構わない。例えば、特定のユーザ操作が行われていない場合には、画素充填率評価値が最大値をとる評価領域を決定領域とし、特定のユーザ操作が１回行われた場合には画素充填率評価値が２番目に大きい値をとる評価領域を決定領域とし、特定のユーザ操作が２回行われた場合には画素充填率評価値が３番目に大きい値をとる評価領域を決定領域とする、等である。

このような実施形態１によれば、領域抽出範囲に設定した複数の評価領域の画素充填率評価値に基づいて決定領域を決定するようにしたために、ＡＦエリアで合成精度を確認することができない場合でも、画素充填率評価値が高い決定領域に基づき合成画像の合成精度を適切に確認することができる。

また、最大の画素充填率評価値が第１の所定範囲（具体的には、ステップＳ９の、所定の合焦確認領域判定閾値FillScoreMaxTHよりも大きい範囲）内の値でないときには領域抽出範囲および複数の評価領域を再設定するようにしたために、決定領域として画素充填率評価値がより高い領域を選択することができる。

さらに、第１の所定範囲内の値であると判定された最大の画素充填率評価値の評価領域を決定領域に決定するようにしたために、合成精度の確認を、合成が適切に行われた決定領域で常に行うことができる。

そして、決定領域を表示する表示部８をさらに備えたために、表示部８に表示された決定領域により、合成精度を視覚的に確認することができる。
［実施形態２］

図１５から図１８は本発明の実施形態２を示したものであり、図１５は画像処理装置１の一構成例を示すブロック図である。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

図１５は、画素充填率評価値に加えて、第２の評価値として、動きベクトル評価値を用いる例となっている。

図１５に示す画像処理装置１は、超解像画像生成部２と、評価領域設定部３と、合成精度評価部４と、決定部６と、操作部７と、表示部８と、動きベクトル選択部１２と、を備えている。

合成精度評価部４は、画素充填率評価部５と、動きベクトル評価部１３と、を備えている。

動きベクトル評価部１３は、評価領域設定部３により設定された複数の評価領域の内の、合成精度評価部４により算出された画素充填率評価値FillScore[i]が第２の所定範囲内の値である特定の評価領域のみに対して、動きベクトルを取得して評価する。

動きベクトル評価部１３による動きベクトルの取得の流れは、次のようになっている。

まず、超解像画像生成部２は、撮影により得られた画像の画素データを、高解像度の画像空間に位置合せして配置するために、動きベクトルを算出する。この動きベクトルの算出を実施形態１において説明したように行うのが、超解像画像生成部２が備える動きベクトル算出部１１である（なお、実施形態１の超解像画像生成部２も、図１には明示していないが、動きベクトル算出部１１を備えている。後述する図１６の超解像画像生成部２、および実施形態３の図２０の超解像画像生成部２も同様である。）。

合成画像の生成に用いられる画像の枚数をＮ（Ｎは２以上の整数）であるとすると、動きベクトルは、上述したように、１枚目の画像に対する変化分として、２〜Ｎ枚目の画像のそれぞれに対して算出される。具体的に、１枚目の画像に対する２枚目の画像の各画素の動きベクトル、１枚目の画像に対する３枚目の画像の各画素の動きベクトル、・・・、１枚目の画像に対するＮ枚目の画像の各画素の動きベクトルである。

そこで、動きベクトル算出部１１により２〜Ｎ枚目の画像のそれぞれに対して算出された、画像内の全ての画素に対する動きベクトル（撮像装置が固定されていない場合には、上述したように、画像全体の並進および回転の影響を除去した後に残る動きベクトル）が、動きベクトル選択部１２へ出力される。動きベクトル選択部１２は、２〜Ｎ枚目の画像のそれぞれに対して算出された各画素の動きベクトルの中から、例えば、何れか１枚の画像（例えば、２枚目の画像、またはＮ枚目の画像）に対して算出された各画素の動きベクトルを選択する。あるいは、動きベクトル選択部１２は、２〜Ｎ枚目の画像のそれぞれに対して算出された各画素の動きベクトルを、画素単位で平均した動きベクトルを算出して、平均した動きベクトルを選択結果としてもよい。

動きベクトル評価部１３は、後で図１８を参照して説明するように、動きベクトル選択部１２から特定の評価領域の動きベクトルを取得して評価し、特定の評価領域に対する動きベクトル評価値を算出する。

決定部６は、動きベクトル評価値に基づいて、特定の評価領域の中から、決定領域を決定する。具体的に、決定部６は、例えば最大の動きベクトル評価値の評価領域を、決定領域に決定する。

こうして、決定部６は、画素充填率評価値FillScore[i]に基づいて複数の評価領域から絞り込まれた特定の評価領域の中から、さらに動きベクトル評価値に基づいて決定領域を決定している。

次に、図１６は、画像処理装置１の他の構成例を示すブロック図である。図１５は第２の評価値として動きベクトル評価値を用いる例であったが、図１６は第２の評価値として空間周波数評価値を用いる例（動きベクトルに代えて、評価領域の空間周波数を算出して用いる例）となっている。

図１６に示す画像処理装置１は、超解像画像生成部２と、評価領域設定部３と、合成精度評価部４と、決定部６と、操作部７と、表示部８と、空間周波数算出部１５と、を備えている。

合成精度評価部４は、画素充填率評価部５と、空間周波数評価部１６と、を備えている。

空間周波数算出部１５は、空間周波数評価部１６からの指令に基づいて、超解像画像生成部２により生成された合成画像（欠落画素補間を行った後の合成画像）における、上述した特定の評価領域のみに対して、空間周波数を算出する。

空間周波数算出部１５による空間周波数の算出は、例えば空間周波数抽出フィルタを用いたフィルタ演算により行われる。

具体的に、評価領域のサイズを(W×H)、空間周波数抽出フィルタのフィルタサイズを(2K-1)×(2K-1)とし、(x,y)を評価領域内における水平方向および垂直方向の画素位置を示す座標とし、f(x,y)を座標(x,y)における画素値、h(m,n)をフィルタサイズ内の座標(m,n)における空間周波数抽出フィルタのフィルタ係数とすると、空間周波数算出部１５は、特定の評価領域毎に、評価領域内において、数式２に示すような演算を行って、座標(x,y)における空間周波数g(x,y)を算出する。
［数２］

ここに、K=2の場合の空間周波数抽出フィルタのフィルタ係数の例を数式３に、K=3の場合の空間周波数抽出フィルタのフィルタ係数の例を数式４に、それぞれ示す。
［数３］

［数４］

こうして算出した空間周波数g(x,y)を、評価領域内で積算することにより、評価領域に対する空間周波数Gを数式５に示すように算出する。
［数５］

空間周波数評価部１６は、空間周波数算出部１５により算出された特定の評価領域の空間周波数Gを評価して、特定の評価領域の空間周波数評価値を算出する。ここに、空間周波数評価部１６が算出する空間周波数評価値は、高周波成分の値が大きい場合に値が大きくなり、高周波成分の値が小さい場合に値が小さくなるような評価値である。

決定部６は、空間周波数評価値に基づいて、特定の評価領域の中から、決定領域を決定する。具体的に、決定部６は、例えば最大の空間周波数評価値の評価領域を、決定領域に決定する。

なお、以下に説明する超解像確認領域抽出の処理、および動きベクトル評価の処理は、動きベクトルを空間周波数に置き換えれば同様に適用することができるために、以下では動きベクトルを用いる場合（図１５の構成を採用する場合）を主として例に挙げて説明する。

図１７は、超解像確認領域抽出の処理を示すフローチャートである。

図示しないメイン処理からこの処理に入ると、上述したステップＳ１およびステップＳ２の処理を行って、領域抽出範囲、評価領域、および評価領域数AreaNumを設定する。

次に、合成精度評価部４が、評価領域の数をカウントするための領域番号iに０を設定する（ステップＳ１１）。

続いて、上述したステップＳ４の処理を行って、画素充填率評価部５が、領域番号iの評価領域の画素充填率評価値FillScore[i]を算出する。

さらに、合成精度評価部４は、画素充填率評価値FillScore[i]が、所定の画素充填率評価値閾値FillScoreTH以上であるか否かを判定する（ステップＳ１２）。画素充填率評価値閾値FillScoreTHは、評価領域を決定領域の候補として残す（つまり、特定の評価領域として設定する）か否かを、画素充填率評価値FillScore[i]に応じて判定するための閾値である。

ここで、画素充填率評価値FillScore[i]が画素充填率評価値閾値FillScoreTH以上であると判定された場合には、動きベクトル評価部１３が、後で図１８を参照して説明するような動きベクトル評価の処理を行う（ステップＳ１３）。こうして、ここでは画素充填率評価値FillScore[i]が画素充填率評価値閾値FillScoreTH以上である評価領域を、特定の評価領域として設定するようになっている。

ステップＳ１３の処理を行った場合、または、ステップＳ１２において画素充填率評価値FillScore[i]が画素充填率評価値閾値FillScoreTH未満であると判定された場合には、合成精度評価部４は、上述したステップＳ７の処理を行って、領域番号iの値を１つ増加させる。

こうして、合成精度評価部４は、評価領域設定部３により設定された複数の評価領域の内の、画素充填率評価値FillScore[i]が第２の所定範囲（ここでは、画素充填率評価値閾値FillScoreTH以上の範囲）内の値である特定の評価領域のみに対して動きベクトルを取得して評価することにより、特定の評価領域それぞれの動きベクトル評価値を算出するようにしている。従って、合成精度評価部４は、画素充填率評価値FillScore[i]が画素充填率評価値閾値FillScoreTH未満であると判定された場合には、ステップＳ１３の動きベクトルの評価の処理は行わない。

その後、合成精度評価部４は、上述したステップＳ８の処理を行って、領域番号iが評価領域数AreaNumに達したか否かを判定する。

ここで、領域番号iが評価領域数AreaNumに達していないと判定した場合には、上述したステップＳ４へ戻って次の評価領域に対して上述したような処理を行う。

こうして、ステップＳ８において領域番号iが評価領域数AreaNumに達したと判定された場合に、合成精度評価部４は、動きベクトル評価値の最大値VecScoreMaxが、所定の合焦確認領域判定閾値VecScoreMaxTHよりも大きいか否かを判定する（ステップＳ１４）。ここに、動きベクトル評価値の最大値VecScoreMaxは、動きベクトル評価部１３により算出された動きベクトル評価値の中の最大の動きベクトル評価値である。また、合焦確認領域判定閾値VecScoreMaxTHは、動きベクトル評価値がVecScoreMaxTH以下である評価領域を決定領域としないための判定に用いる閾値である。

ステップＳ１４において、VecScoreMaxがVecScoreMaxTHよりも大きくないと判定された場合には、上述したステップＳ１へ戻って評価領域設定部３により領域抽出範囲および評価領域を再設定してから、上述したような処理を行う。

こうして、合成精度評価部４は、動きベクトル評価値の最大値VecScoreMaxが第３の所定範囲（合焦確認領域判定閾値VecScoreMaxTHよりも大きい範囲）内の値であるか否かを判定して、第３の所定範囲内の値でないときには、評価領域設定部３に、領域抽出範囲および複数の評価領域を再設定させる。これにより、合成精度評価部４は、再設定された複数の評価領域に対して再度処理を行う。

一方、ステップＳ１４において、合成精度評価部４によりVecScoreMaxがVecScoreMaxTHよりも大きいと判定された場合には、決定部６は、動きベクトル評価値が最大となる領域番号VecScoreMaxAreaの値を、最大評価値領域番号MaxAreaに設定し、最大評価値領域番号MaxAreaで示される評価領域を決定領域に決定する（ステップＳ１５）。これにより、決定部６により決定された決定領域が表示部８に表示されるのは、上述した実施形態１と同様である。

その後、図示しないメイン処理へリターンする。

次に、図１８は、図１７におけるステップＳ１３の動きベクトル評価処理の詳細を示すフローチャートである。

この処理に入ると、動きベクトル評価部１３は、処理対象としている評価領域が、動きベクトル評価処理を行う最初の評価領域であるか否かを判定する（ステップＳ２１）。

ここで最初の評価領域であると判定した場合には、動きベクトル評価部１３が、動きベクトル評価値の最大値VecScoreMaxを初期化して、０に設定する（ステップＳ２２）。

一方、ステップＳ２１において、最初の評価領域でないと判定した場合には、動きベクトル評価値の最大値VecScoreMaxの初期化は行わない。

そして、領域番号iの評価領域に対して、動きベクトル評価部１３が、動きベクトル評価値VecScore[i]を算出する（ステップＳ２３）。この動きベクトル評価値VecScore[i]の算出は、例えば、次のようにして行う。

すなわち、動きベクトル評価部１３は、動きベクトル選択部１２から領域番号iの評価領域における画素位置(x,y)の動きベクトルVec(x,y)を入力して、例えば数式６に示すような演算を行うことにより、領域番号iの評価領域に対する動きベクトル評価値VecScore[i]を算出する。
［数６］

なお、動きベクトル評価値VecScore[i]は、評価領域内における動きベクトルの大きさが小さいほど、大きい値となるように設定される。そこで、ここでは動きベクトルの大きさ|Vec(x,y)|を評価領域内の各画素について積算した値の逆数を動きベクトル評価値VecScore[i]に設定する例を説明した。しかし、これに限定されるものではなく、他の適宜の値を動きベクトル評価値VecScore[i]に設定しても構わない。

また、空間周波数を評価する場合には、上述したように、高周波成分の値が大きい場合に値が大きくなり、高周波成分の値が小さい場合に値が小さくなるような空間周波数評価値を用いることになる。

続いて、動きベクトル評価部１３は、動きベクトル評価値VecScore[i]が０以上１以下の値となるように正規化を行う（ステップＳ２４）。ここでは一例として、動きベクトル評価値VecScore[i]として取り得る値の最小値VecMinと、動きベクトル評価値VecScore[i]として取り得る値の最大値VecMaxと、を用いて、数式７に示すように正規化を行う。
［数７］

なお、特定の評価領域の全てについて動きベクトル評価値VecScore[i]を算出した後であれば、最小値VecMinを、算出された動きベクトル評価値VecScore[i]の中の最小値、最大値VecMaxを、算出された動きベクトル評価値VecScore[i]の中の最大値としても構わない。

また、空間周波数評価値についても、同様に、０以上１以下の値となるように正規化を行う。

こうして正規化した動きベクトル評価値VecScore[i]が、現在の動きベクトル評価値の最大値VecScoreMax以上であるか否かを動きベクトル評価部１３が判定する（ステップＳ２５）。

ここで、VecScore[i]がVecScoreMax以上であると判定した場合に、動きベクトル評価部１３は、ステップＳ２４において算出した動きベクトル評価値VecScore[i]を動きベクトル評価値の最大値VecScoreMaxに設定すると共に、領域番号iの値を、動きベクトル評価値が最大となる領域番号VecScoreMaxAreaに設定する（ステップＳ２６）。

このステップＳ２６の処理を行うか、またはステップＳ２５においてVecScore[i]がVecScoreMax未満であると判定した場合には、図１７の処理へリターンする。

なお、上述したステップＳ２５、ステップＳ２６、およびステップＳ１５の処理では、動きベクトル評価値が最大値をとる評価領域が複数ある場合に、最後に見つかった評価領域の領域番号iの値を最大評価値領域番号MaxAreaに設定して、決定領域を決定していた。しかしながら、これに限定されるものでないことは勿論である。

すなわち、動きベクトル評価値が最大値をとる評価領域が複数ある場合に、決定部６は、例えば、何れか１つを上述したように選択して決定領域としてもよいし、動きベクトル評価値が最大値をとる１つ以上の評価領域の全てを決定領域としても構わない。

また、上述では、決定部６は、動きベクトル評価値が最大値をとる評価領域を決定領域としたが、これに限定されるものではなく、操作部７からの操作入力に応じて決定領域を定めるようにしても構わない。例えば、特定のユーザ操作が行われていない場合には、動きベクトル評価値が最大値をとる評価領域を決定領域とし、特定のユーザ操作が１回行われた場合には動きベクトル評価値が２番目に大きい値をとる評価領域を決定領域とし、特定のユーザ操作が２回行われた場合には動きベクトル評価値が３番目に大きい値をとる評価領域を決定領域とする、等である。

さらに、上述では、第２の評価値として、動きベクトル評価値、または空間周波数評価値の何れかを用いたが、動きベクトル評価値と空間周波数評価値との両方を第２の評価値として用いても構わない。例えば、正規化された動きベクトル評価値と、正規化された空間周波数評価値とを、重要度に応じた重みにより重み付け加算平均した値を、第２の評価値として用いる等である。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、画素充填率評価値だけでなく、動きベクトル評価値と空間周波数評価値との少なくとも一方を用いるようにしたために、合成精度の確認が容易な決定領域（さらには、合焦確認が容易な決定領域）を、より適切に抽出することができる。

また、画素充填率評価値が第２の所定範囲内の値である特定の評価領域のみに対して、動きベクトルまたは空間周波数を評価するようにしたために、評価領域設定部３により設定された複数の評価領域の全てに対して動きベクトルまたは空間周波数を評価する場合に比べて、処理負荷を軽減することができる。

さらに、動きベクトル評価値の最大値VecScoreMaxが第３の所定範囲内の値でないときには領域抽出範囲および複数の評価領域を再設定するようにしたために、決定領域として動きベクトル評価値がより高い領域を選択することができる。

同様に、空間周波数評価値の最大値が第３’の所定範囲内の値でないときには領域抽出範囲および複数の評価領域を再設定するようにしたために、決定領域として空間周波数評価値がより高い領域を選択することができる。

そして、第３の所定範囲内の値であると判定された最大の動きベクトル評価値の評価領域を決定領域に決定するようにしたために、被写体の動きが小さく合成が適切に行われた決定領域で合成精度の確認を常に行うことができる。

同様に、第３’の所定範囲内の値であると判定された最大の空間周波数評価値の評価領域を決定領域に決定するようにしたために、空間周波数が高く、つまり解像度が高い決定領域で合成精度の確認および合焦確認を常に行うことができる。
［実施形態３］

図１９から図２５は本発明の実施形態３を示したものであり、図１９は画像処理装置１の一構成例を示すブロック図である。

この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

図１９は、画素充填率評価値と動きベクトル評価値とを重み付け加算した値を総合評価値として、総合評価値に基づき決定領域を決定する例となっている。

図１９に示す画像処理装置１は、超解像画像生成部２と、評価領域設定部３と、合成精度評価部４と、決定部６と、操作部７と、表示部８と、動きベクトル選択部１２と、を備えている。

合成精度評価部４は、画素充填率評価部５と、動きベクトル評価部１３と、重み係数算出部１４と、を備えている。

本実施形態の画素充填率評価部５は、複数の評価領域のそれぞれに対する複数の画素充填率評価値FillScore[i]を算出するだけでなく、複数の画素充填率評価値の平均値FillScoreAveおよび分散値FillScoreVarを算出する。

本実施形態の動きベクトル評価部１３は、評価領域の動きベクトルを複数の評価領域のそれぞれについて評価して複数の動きベクトル評価値VecScore[i]を算出する。従って、本実施形態の動きベクトル評価部１３は、上述した実施形態２と異なり、評価領域設定部３により設定された複数の評価領域の全てに対して、動きベクトル評価値VecScore[i]を算出する。

さらに、動きベクトル評価部１３は、複数の評価領域に対する複数の動きベクトル評価値の平均値VecScoreAveおよび分散値VecScoreVarを算出する。

重み係数算出部１４は、画素充填率評価値の平均値FillScoreAveおよび分散値FillScoreVarと、動きベクトル評価値の平均値VecScoreAveおよび分散値VecScoreVarと、に基づいて、画素充填率評価値FillScore[i]に対する第１の重み係数FillWgt、および動きベクトル評価値VecScore[i]に対する第２の重み係数VecWgtを算出する。

さらに、重み係数算出部１４は、第１の重み係数FillWgtを乗算した画素充填率評価値FillScore[i]と第２の重み係数VecWgtを乗算した動きベクトル評価値VecScore[i]とを加算した値を総合評価値Score[i]として、複数の評価領域に対して総合評価値Score[i]をそれぞれ算出する。

決定部６は、総合評価値Score[i]が最大値となる評価領域を決定領域に決定する。

図２０は、画像処理装置１の他の構成例を示すブロック図である。図２０は、図１９の動きベクトルに代えて、評価領域の空間周波数を算出して用いる例となっている。

図２０に示す画像処理装置１は、超解像画像生成部２と、評価領域設定部３と、合成精度評価部４と、決定部６と、操作部７と、表示部８と、空間周波数算出部１５と、を備えている。

合成精度評価部４は、画素充填率評価部５と、空間周波数評価部１６と、重み係数算出部１４と、を備えている。

画素充填率評価部５は、上述したように、複数の評価領域のそれぞれに対する複数の画素充填率評価値FillScore[i]を算出するだけでなく、複数の画素充填率評価値の平均値FillScoreAveおよび分散値FillScoreVarを算出する。

本実施形態の空間周波数評価部１６は、評価領域の空間周波数を複数の評価領域のそれぞれについて評価して複数の空間周波数評価値を算出する。従って、本実施形態の空間周波数評価部１６は、上述した実施形態２と異なり、評価領域設定部３により設定された複数の評価領域の全てに対して、空間周波数評価値を算出する。

さらに、空間周波数評価部１６は、複数の評価領域に対する複数の空間周波数評価値の平均値および分散値を算出する。

重み係数算出部１４は、画素充填率評価値の平均値FillScoreAveおよび分散値FillScoreVarと、空間周波数評価値の平均値および分散値と、に基づいて、画素充填率評価値FillScore[i]に対する第１の重み係数FillWgt、および空間周波数評価値に対する第２の重み係数VecWgtを算出する。

さらに、重み係数算出部１４は、第１の重み係数FillWgtを乗算した画素充填率評価値FillScore[i]と第２の重み係数VecWgtを乗算した空間周波数評価値とを加算した値を総合評価値Score[i]として、複数の評価領域に対して総合評価値Score[i]をそれぞれ算出する。

決定部６は、総合評価値Score[i]が最大値となる評価領域を決定領域に決定する。

なお、以下に説明する超解像確認領域抽出の処理、および動きベクトル評価の処理は、動きベクトルを空間周波数に置き換えれば同様に適用することができるために、以下では動きベクトルを用いる場合（図１５の構成を採用する場合）を主として例に挙げて説明する。

図２１は、超解像確認領域抽出の処理を示すフローチャートである。

図示しないメイン処理からこの処理に入ると、上述したステップＳ１およびステップＳ２の処理を行って、領域抽出範囲、評価領域、および評価領域数AreaNumを設定する。

次に、画素充填率評価部５が、後で図２２を参照して説明するような画素充填率評価処理を行う（ステップＳ３１）。

続いて、動きベクトル評価部１３が、後で図２３を参照して説明するような動きベクトル評価処理を行う（ステップＳ３２）。

そして、合成精度評価部４は、ステップＳ３２の処理により算出された動きベクトル評価値の平均値VecScoreAveが、動きベクトル評価値平均値の閾値VecAveTHよりも大きいか否かを判定する（ステップＳ３３）。ここに、動きベクトル評価値平均値の閾値VecAveTHは、動きベクトル評価値の平均値VecScoreAveがVecAveTH以下である評価領域を決定領域としないための判定に用いる閾値である。

ここで、VecScoreAveがVecAveTHよりも大きくないと判定された場合には、上述したステップＳ１へ戻って評価領域設定部３により領域抽出範囲および評価領域を再設定してから、上述したような処理を行う。

また、ステップＳ３３においてVecScoreAveがVecAveTHよりも大きいと判定された場合に、合成精度評価部４は、ステップＳ３１の処理により算出された画素充填率評価値の平均値FillScoreAveが、画素充填率評価値平均値の閾値FillAveTHよりも大きいか否かをさらに判定する（ステップＳ３４）。ここに、画素充填率評価値平均値の閾値FillAveTHは、画素充填率評価値の平均値FillScoreAveがFillAveTH以下である評価領域を決定領域としないための判定に用いる閾値である。

ここで、FillScoreAveがFillAveTHよりも大きくないと判定された場合には、上述したステップＳ１へ戻って評価領域設定部３により領域抽出範囲および評価領域を再設定してから、上述したような処理を行う。

こうして、合成精度評価部４は、画素充填率評価値の平均値FillScoreAveが第４の所定範囲外の値であること（ここでは、画素充填率評価値平均値の閾値FillAveTH以下であること）と、動きベクトル評価値の平均値VecScoreAveが第５の所定範囲外の値であること（ここでは、動きベクトル評価値平均値の閾値VecAveTH以下であること）と、の少なくとも一方が成立するときには、評価領域設定部３に、領域抽出範囲および複数の評価領域を再設定させるようにしている。これにより、合成精度評価部４は、再設定された複数の評価領域に対して再度処理を行う。

なお、図２１に示す処理の流れにおいては、ステップＳ３１の画素充填率評価処理、ステップＳ３２の動きベクトル評価処理、ステップＳ３３の動きベクトル評価値の平均値VecScoreAve判定処理、ステップＳ３４の画素充填率評価値の平均値FillScoreAve判定処理の順序で処理を行ったがこれに限るものではない。例えば、ステップＳ３２、ステップＳ３３、ステップＳ３１、ステップＳ３４の順序で処理を行えば、ステップＳ３３の判定が「ＮＯ」である場合にステップＳ３１の処理を行う必要がないために処理負荷を軽減することができる。同様に、例えば、ステップＳ３１、ステップＳ３４、ステップＳ３２、ステップＳ３３の順序で処理を行えば、ステップＳ３４の判定が「ＮＯ」である場合にステップＳ３２の処理を行う必要がないために処理負荷を軽減することができる。

図２１のステップＳ３４においてFillScoreAveがFillAveTHよりも大きいと判定された場合には、重み係数算出部１４が、後で図２４を参照して説明するような重み付け係数算出処理を行う（ステップＳ３５）。

続いて、決定部６が、後で図２５を参照して説明するような評価値最大領域抽出処理を行い、決定領域を決定する（ステップＳ３６）。これにより、決定部６により決定された決定領域が表示部８に表示されるのは、上述した実施形態１と同様である。

その後、図示しないメイン処理へリターンする。

図２２は、図２１におけるステップＳ３１の画素充填率評価処理の詳細を示すフローチャートである。

この処理に入ると、画素充填率評価部５が、評価領域の数をカウントするための領域番号iに０を設定する（ステップＳ４１）。

次に、画素充填率評価部５が、領域番号iの評価領域の画素充填率評価値FillScore[i]を上述した実施形態１と同様に算出する（ステップＳ４２）。

続いて、画素充填率評価部５は、領域番号iの値を１つ増加させる（ステップＳ４３）。

そして、画素充填率評価部５は、領域番号iが評価領域数AreaNumに達したか否かを判定する（ステップＳ４４）。

ここで達していないと判定した場合には、上述したステップＳ４２へ戻って次の評価領域に対して上述したような処理を行う。

こうして、ステップＳ４４において領域番号iが評価領域数AreaNumに達したと判定された場合に、画素充填率評価部５は、数式８に示すように、画素充填率評価値の平均値FillScoreAveを算出する（ステップＳ４５）。
［数８］

さらに、画素充填率評価部５は、数式９に示すように、画素充填率評価値の分散値FillScoreVarを算出する（ステップＳ４６）。
［数９］

その後、図２１の処理へリターンする。

図２３は、図２１におけるステップＳ３２の動きベクトル評価処理の詳細を示すフローチャートである。

この処理に入ると、動きベクトル評価部１３が、評価領域の数をカウントするための領域番号iに０を設定する（ステップＳ５１）。

次に、動きベクトル評価部１３が、領域番号iの評価領域の動きベクトル評価値VecScore[i]を、上述した実施形態２のステップＳ２３において説明したように算出する（ステップＳ５２）。

続いて、動きベクトル評価部１３は、動きベクトル評価値VecScore[i]を、例えば数式７に示したように正規化する（ステップＳ５３）。

さらに、動きベクトル評価部１３は、領域番号iの値を１つ増加させる（ステップＳ５４）。

そして、動きベクトル評価部１３は、領域番号iが評価領域数AreaNumに達したか否かを判定する（ステップＳ５５）。

ここで達していないと判定した場合には、上述したステップＳ５２へ戻って次の評価領域に対して上述したような処理を行う。

こうして、ステップＳ５５において領域番号iが評価領域数AreaNumに達したと判定された場合に、動きベクトル評価部１３は、数式１０に示すように、動きベクトル評価値の平均値VecScoreAveを算出する（ステップＳ５６）。
［数１０］

さらに、動きベクトル評価部１３は、数式１１に示すように、動きベクトル評価値の分散値VecScoreVarを算出する（ステップＳ５７）。
［数１１］

その後、図２１の処理へリターンする。

図２４は、図２１におけるステップＳ３５の重み付け係数算出処理の詳細を示すフローチャートである。

この処理に入ると、重み係数算出部１４が、動きベクトル評価値の平均値VecScoreAveよりも画素充填率評価値の平均値FillScoreAveが大きいか否かを判定する（ステップＳ６１）。

ここで大きいと判定した場合には、重み係数算出部１４が、画素充填率評価値の平均値FillScoreAveに基づく重み係数FillAveWgtにWgt1を設定する（ステップＳ６２）と共に、動きベクトル評価値の平均値VecScoreAveに基づく重み係数VecAveWgtにWgt2を設定する（ステップＳ６３）。ここに、Wgt1およびWgt2は、Wgt1＞Wgt2の関係を満たす正の値である。

また、ステップＳ６１において大きくないと判定した場合には、重み係数算出部１４が、動きベクトル評価値の平均値VecScoreAveに基づく重み係数VecAveWgtにWgt1を設定する（ステップＳ６４）と共に、画素充填率評価値の平均値FillScoreAveに基づく重み係数FillAveWgtにWgt2を設定する（ステップＳ６５）。

次に、重み係数算出部１４は、動きベクトル評価値の分散値VecScoreVarよりも画素充填率評価値の分散値FillScoreVarが大きいか否かを判定する（ステップＳ６６）。

ここで大きいと判定した場合には、重み係数算出部１４が、画素充填率評価値の分散値FillScoreVarに基づく重み係数FillVarWgtにWgt3を設定する（ステップＳ６７）と共に、動きベクトル評価値の分散値VecScoreVarに基づく重み係数VecVarWgtにWgt4を設定する（ステップＳ６８）。ここに、Wgt3およびWgt4は、Wgt3＞Wgt4の関係を満たす正の値である。

なお、Wgt1とWgt3、およびWgt2とWgt4は、それぞれ同じ値としてもよいし、異なる値としても構わない。

また、ステップＳ６６において大きくないと判定した場合には、重み係数算出部１４が、動きベクトル評価値の分散値VecScoreVarに基づく重み係数VecVarWgtにWgt3を設定する（ステップＳ６９）と共に、画素充填率評価値の分散値FillScoreVarに基づく重み係数FillVarWgtにWgt4を設定する（ステップＳ７０）。

続いて、重み係数算出部１４は、数式１２に示すように、画素充填率評価値FillScore[i]に対する第１の重み係数FillWgtを設定する（ステップＳ７１）。
［数１２］
FillWgt←FillAveWgt×FillVarWgt

さらに、重み係数算出部１４は、数式１３に示すように、動きベクトル評価値VecScore[i]に対する第２の重み係数VecWgtを設定する（ステップＳ７２）。
［数１３］
VecWgt←VecAveWgt×VecVarWgt

その後、図２１の処理へリターンする。

図２５は、図２１におけるステップＳ３６の評価値最大領域抽出処理の詳細を示すフローチャートである。

この処理に入ると、決定部６が、パラメータの初期化を行う。ここでは、評価領域の数をカウントするための領域番号iに０を設定し、最大評価値領域番号MaxAreaに０を設定し、総合評価値の最大値MaxScoreに０を設定する（ステップＳ８１）。

次に、決定部６は、数式１４に示すように、領域番号iの評価領域に対する総合評価値Score[i]を設定する（ステップＳ８２）。
［数１４］

Score[i]←FillScore[i]×FillWgt＋VecScore[i]×VecWgt

続いて、決定部６は、領域番号iの評価領域に対する総合評価値Score[i]が、現在の総合評価値の最大値MaxScoreよりも大きいか否かを判定する（ステップＳ８３）。

ここで、大きいと判定した場合には、決定部６は、Score[i]をMaxScoreに設定すると共に、領域番号iの値を最大評価値領域番号MaxAreaに設定する（ステップＳ８４）。

ステップＳ８４の処理を行うか、またはステップＳ８３において大きくないと判定された場合に、決定部６は、領域番号iの値を１つ増加させる（ステップＳ８５）。

そして、決定部６は、領域番号iが評価領域数AreaNumに達したか否かを判定する（ステップＳ８６）。

ここで達していないと判定した場合には、上述したステップＳ８２へ戻って次の評価領域に対して上述したような処理を行う。

こうして、ステップＳ８６において領域番号iが評価領域数AreaNumに達したと判定された場合に、決定部６は、最大評価値領域番号MaxAreaで示される評価領域を決定領域に決定して、この処理から図２１の処理へリターンする。

なお、上述したステップＳ８３およびステップＳ８４の処理では、総合評価値Score[i]が最大値をとる評価領域が複数ある場合に、最初に見つかった評価領域の領域番号iの値を最大評価値領域番号MaxAreaに設定して、決定領域を決定していた。しかしながら、これに限定されるものでないことは勿論である。

すなわち、総合評価値Score[i]が最大値をとる評価領域が複数ある場合に、決定部６は、例えば、何れか１つを上述したように選択して決定領域としてもよいし、総合評価値Score[i]が最大値をとる１つ以上の評価領域の全てを決定領域としても構わない。

また、上述では、画素充填率評価値および動きベクトル評価値を用いる場合と、画素充填率評価値および空間周波数評価値を用いる場合と、について説明したが、画素充填率評価値、動きベクトル評価値、および空間周波数評価値の３つを用いても構わない。このときには、画素充填率評価値と、動きベクトル評価値と、空間周波数評価値と、を重み付け加算した値を総合評価値とすればよい。

さらに、上述では、決定部６は、総合評価値が最大値をとる評価領域を決定領域としたが、これに限定されるものではなく、操作部７からの操作入力に応じて決定領域を定めるようにしても構わない。例えば、特定のユーザ操作が行われていない場合には、総合評価値が最大値をとる評価領域を決定領域とし、特定のユーザ操作が１回行われた場合には総合評価値が２番目に大きい値をとる評価領域を決定領域とし、特定のユーザ操作が２回行われた場合には総合評価値が３番目に大きい値をとる評価領域を決定領域とする、等である。

このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、画素充填率評価値と動きベクトル評価値（または空間周波数評価値）とを重み付け加算した値を総合評価値として、総合評価値が最大値となる評価領域を決定領域に決定するようにしたために、合成画像の生成が適切に行われ、かつ実際に高解像度化された評価領域を、適切に決定領域に決定することができる。

このとき、重み係数を評価値の平均値および分散値に基づき算出するようにしたために、評価領域全体の評価値の大小だけでなく、評価領域内で評価値がどの程度揃った値であるかに応じて、決定領域を適切に決定することができる。

また、画素充填率評価値の平均値が第４の所定範囲外の値であることと、動きベクトル評価値の平均値が第５の所定範囲外の値であることと、の少なくとも一方が成立するときには、領域抽出範囲および複数の評価領域を再設定するようにしたために、画素充填率評価値および動きベクトル評価値が共に高い領域を決定領域として選択することができる。

同様に、画素充填率評価値の平均値が第４の所定範囲外の値であることと、空間周波数評価値の平均値が第５’の所定範囲外の値であることと、の少なくとも一方が成立するときには、領域抽出範囲および複数の評価領域を再設定するようにしたために、画素充填率評価値および空間周波数評価値が共に高い領域を決定領域として選択することができる。

なお、上述した各部の処理は、ハードウェアとして構成された１つ以上のプロセッサが行うようにしてもよい。例えば、各部は、それぞれが電子回路として構成されたプロセッサであっても構わないし、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路で構成されたプロセッサにおける各回路部であってもよい。あるいは、１つ以上のＣＰＵで構成されるプロセッサが、記録媒体に記録された処理プログラムを読み込んで実行することにより、各部としての機能を実行するようにしても構わない。

また、上述では主として画像処理装置について説明したが、画像処理装置と同様の処理を行う画像処理方法であってもよいし、コンピュータに画像処理装置と同様の処理を行わせるための画像処理プログラム、該画像処理プログラムを記録するコンピュータにより読み取りできる一時的でない記録媒体、等であっても構わない。

さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用を行うことができるのは勿論である。

１…画像処理装置
２…画素ずらし超解像画像生成部
３…評価領域設定部
４…合成精度評価部
５…画素充填率評価部
６…決定部
７…操作部
８…表示部
１１…動きベクトル算出部
１２…動きベクトル選択部
１３…動きベクトル評価部
１４…重み係数算出部
１５…空間周波数算出部
１６…空間周波数評価部

Claims (12)

1. 連続して撮影された複数の画像を合成して、前記複数の画像よりも解像度の高い合成画像を生成する画像処理装置であって、
   画像を構成する複数の画素のそれぞれを前記合成画像を構成するための高解像度の画像空間に位置合せして配置することを、前記複数の画像に対して行うことにより、前記合成画像を生成する画素ずらし超解像画像生成部と、
   前記合成画像に対して、領域抽出範囲を設定すると共に、前記領域抽出範囲内に複数の評価領域を設定する評価領域設定部と、
   評価領域の画素充填率を前記複数の評価領域のそれぞれについて評価して複数の画素充填率評価値を算出する合成精度評価部と、
   前記複数の画素充填率評価値に基づいて、前記複数の評価領域の中から決定領域を決定する決定部と、
   を備えることを特徴とする画像処理装置。
2. 前記合成精度評価部は、前記複数の画素充填率評価値の中の最大の画素充填率評価値が第１の所定範囲内の値であるか否かを判定して、前記第１の所定範囲内の値でないときには、前記評価領域設定部に、前記領域抽出範囲および前記複数の評価領域を再設定させ、
   前記合成精度評価部は、再設定された前記複数の評価領域に対して再度処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記合成精度評価部により前記最大の画素充填率評価値が前記第１の所定範囲内の値であると判定されたときには、前記決定部は、前記最大の画素充填率評価値の評価領域を前記決定領域に決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記合成精度評価部は、前記複数の評価領域の内の、前記画素充填率評価値が第２の所定範囲内の値である特定の評価領域のみに対して動きベクトルを取得して評価することにより、前記特定の評価領域それぞれの動きベクトル評価値を算出し、
   前記決定部は、さらに前記動きベクトル評価値に基づいて、前記画素充填率評価値が前記第２の所定範囲内の値である前記特定の評価領域の中から、前記決定領域を決定することを特徴とする請求項１に記載の画像処理装置。
5. 前記合成精度評価部は、前記動きベクトル評価値の中の最大の動きベクトル評価値が第３の所定範囲内の値であるか否かを判定して、前記第３の所定範囲内の値でないときには、前記評価領域設定部に、前記領域抽出範囲および前記複数の評価領域を再設定させ、
   前記合成精度評価部は、再設定された前記複数の評価領域に対して再度処理を行うことを特徴とする請求項４に記載の画像処理装置。
6. 前記合成精度評価部により前記最大の動きベクトル評価値が前記第３の所定範囲内の値であると判定されたときには、前記決定部は、前記最大の動きベクトル評価値の評価領域を前記決定領域に決定することを特徴とする請求項５に記載の画像処理装置。
7. 前記合成精度評価部は、
   評価領域の動きベクトルを前記複数の評価領域のそれぞれについて評価して複数の動きベクトル評価値をさらに算出し、
   前記複数の画素充填率評価値の平均値および分散値を算出すると共に、前記複数の動きベクトル評価値の平均値および分散値を算出し、
   前記画素充填率評価値の平均値および分散値と、前記動きベクトル評価値の平均値および分散値と、に基づいて、前記画素充填率評価値に対する第１の重み係数、および前記動きベクトル評価値に対する第２の重み係数を算出し、
   前記第１の重み係数を乗算した前記画素充填率評価値と前記第２の重み係数を乗算した前記動きベクトル評価値とを加算した値を総合評価値として、前記複数の評価領域に対して前記総合評価値をそれぞれ算出し、
   前記決定部は、前記総合評価値が最大値となる評価領域を前記決定領域に決定することを特徴とする請求項１に記載の画像処理装置。
8. 前記合成精度評価部は、前記画素充填率評価値の平均値が第４の所定範囲外の値であることと、前記動きベクトル評価値の平均値が第５の所定範囲外の値であることと、の少なくとも一方が成立するときには、前記評価領域設定部に、前記領域抽出範囲および前記複数の評価領域を再設定させ、
   前記合成精度評価部は、再設定された前記複数の評価領域に対して再度処理を行うことを特徴とする請求項７に記載の画像処理装置。
9. 前記動きベクトルに代えて、評価領域の空間周波数を算出して用いることを特徴とする請求項４〜８の何れか一項に記載の画像処理装置。
10. 前記決定部により決定された前記決定領域を表示する表示部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
11. 連続して撮影された複数の画像を合成して、前記複数の画像よりも解像度の高い合成画像を生成する画像処理をコンピュータに行わせるための画像処理プログラムであって、
    コンピュータに、
    画像を構成する複数の画素のそれぞれを前記合成画像を構成するための高解像度の画像空間に位置合せして配置することを、前記複数の画像に対して行うことにより、前記合成画像を生成する画素ずらし超解像画像生成ステップと、
    前記合成画像に対して、領域抽出範囲を設定すると共に、前記領域抽出範囲内に複数の評価領域を設定する評価領域設定ステップと、
    評価領域の画素充填率を前記複数の評価領域のそれぞれについて評価して複数の画素充填率評価値を算出する合成精度評価ステップと、
    前記複数の画素充填率評価値に基づいて、前記複数の評価領域の中から決定領域を決定する決定ステップと、
    を行わせるための画像処理プログラム。
12. 連続して撮影された複数の画像を合成して、前記複数の画像よりも解像度の高い合成画像を生成する画像処理方法であって、
    画像を構成する複数の画素のそれぞれを前記合成画像を構成するための高解像度の画像空間に位置合せして配置することを、前記複数の画像に対して行うことにより、前記合成画像を生成する画素ずらし超解像画像生成ステップと、
    前記合成画像に対して、領域抽出範囲を設定すると共に、前記領域抽出範囲内に複数の評価領域を設定する評価領域設定ステップと、
    評価領域の画素充填率を前記複数の評価領域のそれぞれについて評価して複数の画素充填率評価値を算出する合成精度評価ステップと、
    前記複数の画素充填率評価値に基づいて、前記複数の評価領域の中から決定領域を決定する決定ステップと、
    を備えることを特徴とする画像処理方法。

Images