JP2009239515A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】動きベクトルの信頼性が高い領域が少ない場合でも、適切なブレ補正する。
【解決手段】画像処理装置は、複数の動きベクトル測定領域に対して測定した動きベクトルの信頼度を算出する動きベクトル信頼度算出部（１０５）と、高信頼度領域における動きベクトルの出現頻度値を動きベクトル毎に算出する頻度値算出部（１０６ａ）と、算出された出現頻度値のうち、最大の出現頻度値を選択する最大頻度値選択部（１０６ｂ）と、前記最大の出現頻度値が第一の閾値（β）以上の場合に、前記最大の出現頻度値に対応する動きベクトルを前記画像間の動きベクトルとして算出する画像間動きベクトル算出部（１１１、Ｓ２）と、前記高信頼度領域の位置のばらつきの度合を算出するばらつき判定部（１０８）と、前記ばらつきの度合が所定の度合より大きい場合に前記第一の閾値（β）を変更する閾値制御部（１１０）と、を備える。
【選択図】図１

Description

複数枚の画像の位置合わせ（画像のブレの補正を含む）を行う画像処理装置、画像処理方法、及び画像処理プログラムに関する。

従来、画像のブレ補正等において画像の動きベクトルを検出する手段として、ブロックマッチング法や相関演算に基づく相関法が知られている。

ブロックマッチング法では、入力された画像信号を複数の適当な大きさのブロック（例えば８画素×８ライン）に分割し、このブロックの単位で、現在のフィールド（又はフレーム）と前のフィールドの一定範囲との画素値の差分を計算する。さらに、この差分に基づいて、現在のフィールドのあるブロックに対して相関の高い前のフィールドのブロックを探索する。そして、画面間の相対的なズレが、ブロックの動きベクトルとなる。

ブロックマッチングでの相関の高いブロックの探索方法として、画素値の差分の自乗和である誤差自乗和ＳＳＤ、画素値の差分の絶対値和である誤差絶対値和ＳＡＤによって相関を評価することが行われる。ＳＳＤ、ＳＡＤが小さいほど相関が高いと評価する。現在のフィールドのマッチングの基準ブロック領域Ｉ内の画素位置ｐ、前のフィールドの対象とするブロック領域Ｉ'内の画素位置ｑ（画素位置ｐに対応する位置）、さらに画素位置ｐ、ｑの画素値をＬｐ、Ｌｑとすると、ＳＳＤとＳＡＤは、それぞれ以下の数式（１）、（２）で表される。

ここで、ｐ及びｑは、２次元の値を持つ量であり、Ｉ、Ｉ'は、それぞれ、現在のフィールドと前のフィールドの２次元の領域を示し、ｐ∈Ｉは、座標ｐが領域Ｉに含まれていること、ｑ∈Ｉ'は、座標ｑが領域Ｉ'に含まれていることを示す。

一方、相関演算に基づく相関法では、マッチングの基準ブロック領域Ｉおよび対象とするブロック領域Ｉ'のそれぞれに含まれる画素ｐ∈Ｉおよび、ｑ∈Ｉ'の平均値Ave(Lp)、Ave(Lq)を算出し、各ブロックに含まれる画素値とこの平均値の差分を以下の数式（３）により計算する。

続いて、正規化相互相関ＮＣＣを数式（４）により計算する。

正規化相互相関ＮＣＣの大きいブロックを相関の高いブロックと評価し、最も相関の高いブロックＩ'とＩの間のズレを動きベクトルとする。

画像に含まれている被写体や撮影対象が静止している場合は、個々の領域での動きと画像全体の動きは一致しており、上記の相関演算を行うブロックは、現在のフィールドの任意の固定位置に配置して、その動きベクトルを算出すれば良い。

この様な任意の固定位置に配置し動きベクトルを算出し画像間におけるブレ補正などを行う技術に関して、特許文献１に開示されているような技術がある。この技術は、各領域でＳＡＤやＳＳＤなどの評価値データを使って動きベクトルの信頼性を判定し、信頼性の高い動きベクトルをブレ補正ベクトルの候補としている。

また、このような信頼性の高い動きベクトルを補正ベクトルとして算出する際の技術として、特許文献２に開示されているような技術がある。この技術は、動画撮影用の電子ブレ補正に利用でき、複数の領域で算出した動きベクトルについて、同一方向の動きベクトルの最大頻度がある閾値以上であったら、撮影者が故意にカメラを動かした（動画撮影時のパンニング／チルティング）と判断し、ブレ補正を行わないようにするものである。
特開２００５−２６０４８１号公報 特開２００６−６７３９１号公報

特許文献１によれば、撮影画像内において評価値演算ブロックが、平坦でコントラストが低い場合や繰り返しの模様などの場合は、評価値データから信頼性を判定するとそのブロックの動きベクトルは信頼性が低いと判定される。空や壁のようなコントラストの低い部分の面積が多い画像などでは、そもそも信頼性判定で各ブロックの動きベクトルデータの信頼性が低いため利用できず、エッジのあるような箇所の動きベクトルしか補正ベクトル算出用に利用できない。

一方、特許文献１に従って求めた数少ない信頼性の高い動きベクトルを使用して、特許文献２のような技術を、複数枚撮影した画像を利用した静止画用の電子ブレ補正に応用することも考えられる。この場合には、数少ない信頼性の高い動きベクトルのうち同一の動きベクトルを持つ領域の個数が最大頻度閾値と比べて大きかったら（動画撮影時のパンニング／チルティングに相当）、最大頻度の動きベクトルを画像間の補正ベクトルとして扱い、動きベクトルをキャンセルするように画像をシフト加算してブレ補正することが考えられる。逆に、同一の動きベクトルを持つ領域の個数が最大頻度閾値と比べて小さかったら、画像間の補正ベクトルを正確に算出できなかったとして、ブレ補正しないようにすることが考えられる。

しかし、空や壁のようなコントラストの低い部分の面積が多い画像では、信頼性のある動きベクトルが少なくなる。そのため、同一方向の動きベクトルの最大頻度閾値を超えることが難しいので、補正ベクトルが決定せず、結果として、ブレ補正できない場合など画像の位置合わせが適切になされないという問題が生じる。

本発明は、動きベクトルの信頼性が高い領域が少ない場合でも、適切な画像の位置合わせを可能にする技術を提供することを目的とする。

本発明に係るある態様の画像処理装置は、複数枚の画像間で、動きベクトル算出により画像の位置合わせ処理を行う。この画像処理装置は、動きベクトルを測定するための複数の動きベクトル測定領域を設定する動きベクトル測定領域設定部と、前記複数の動きベクトル測定領域の動きベクトルを算出する動きベクトル算出部と、夫々の動きベクトルの信頼度を算出する動きベクトル信頼度算出部と、前記信頼度が規定値以上である高信頼度領域における高信頼度動きベクトルについて、動きベクトルの出現頻度に関する出現頻度値を前記高信頼度動きベクトル毎に算出する頻度値算出部と、前記算出された出現頻度値のうち、最大の出現頻度を表す出現頻度値を選択する最大頻度値選択部と、前記最大の出現頻度値が第一の閾値以上の場合に、前記最大の出現頻度値に対応する動きベクトルを前記画像間の動きベクトルとして算出する画像間動きベクトル算出部と、前記高信頼度領域の位置のばらつきの度合を算出する高信頼度領域ばらつき判定部と、前記算出されたばらつきの度合が所定のばらつきの度合よりも大きいことを示す場合に、前記第一の閾値を変更する閾値制御部とを備える。

この態様に係る画像処理装置は、例えば、画像間動きベクトルを決定するために使用する「動きベクトルの最大の出現頻度値に関する第一の閾値」を、信頼性が高い領域の量に応じて小さな値に変更できる。これにより、所定の動きベクトル測定領域において動きベクトルの信頼性が高い領域が少ない場合でも、例えば、信頼性が高い領域の位置のばらつき度合を利用して、適切な画像間動きベクトルを取得することが可能となる。その結果、動きベクトルの信頼性が高い領域が少ない場合にもかかわらず取得可能となった適切な画像間動きベクトルを用いて、適切な画像間の位置合わせができる。

本発明によれば、動きベクトルの信頼性が高い領域が少ない場合でも、適切な画像の位置合わせを可能にする技術を提供できる。

図１−図８を参照して、第一実施形態について説明する。図１は、フレーム間の動きを算出して、画像間の位置合わせと加算処理を行う画像処理装置を示す。なお、第一実施形態に係る画像処理装置は、デジタルカメラやデジタルビデオカメラなどの電子機器に搭載される。この機器は、正しく作動するために電流または電磁界に依存する機器である。

メインコントローラ１００は全体の動作の制御を行う、例えばＤＳＰ（デジタルシグナルプロセッサ）などのＣＰＵが用いられる。図１において、点線は制御信号、細線は動きベクトルや信頼度等のデータの流れ、太線は画像データの流れを表している。

フレーム間の動きを算出する撮像装置において、複数枚撮影時、撮像部１０１から入力された画像は、フレームメモリ１０２にいったん格納された後、基準となるフレームと対象フレームの間の動きが算出される。動きベクトル測定領域設定部１０３は、基準となる基準フレーム（基準画像）と対象フレーム（対象画像）の間の動きを算出するため、フレームメモリ中の基準フレームに対して、所定の動きベクトル測定領域を設定する。例えば、動きベクトル測定領域設定部１０３は、動きベクトル測定領域として、基準画像中にブロック領域（動きベクトル測定ブロック）を格子状に設定する。

動きベクトル算出部１０４は、フレームメモリに格納された基準フレームと対象フレームの画像データと、動きベクトル測定領域設定部１０３で設定されたブロック領域に関するデータを使って、誤差自乗和ＳＳＤ、誤差絶対値和ＳＡＤ、正規化相互相関ＮＣＣ等の相関演算を用いて、基準フレームのブロック領域に対して、対象フレーム中の最も相関の高いブロックの位置を算出する。動きベクトル算出部１０４は、基準フレームのブロックと、対象フレーム中の最も相関の高いブロックの位置の相対的なズレを動きベクトルとして算出する。

動きベクトル信頼度算出部１０５は、各動きベクトル測定領域について算出された動きベクトルの信頼度Si（i=1〜n）を算出する。信頼度Siは、動きベクトル算出部１０４での動きベクトルの算出結果の正確さの程度を示す指標である。なお、動きベクトルの信頼度の具体的な算出方法は後述する。ここで、動きベクトルの信頼度Siが規定値より高い場合に、i番目の動きベクトル測定領域の動きベクトルは信頼性があると判断でき、動きベクトルの信頼度Siが規定値より低い場合に、信頼性がないと判断できる。

動きベクトル統計処理部１０６は、信頼度が規定値以上である高信頼度領域における高信頼度動きベクトルについて、動きベクトルの出現頻度に関する出現頻度値を高信頼度動きベクトル毎に算出する頻度値算出部１０６ａと、前記算出された出現頻度値のうち、最大の出現頻度を表す出現頻度値を選択する最大頻度値選択部１０６ｂとを備える。頻度値算出部１０６ａでは、信頼度が規定値より高い高信頼度領域における動きベクトルを統計処理する。ここで、統計処理とは、動きベクトルの信頼度の高い高信頼度領域の動きベクトルを分類して、同一の方向及び同一の大きさの動きベクトル（同一の動きベクトル）の出現頻度値を計数し、統計データとして、例えばヒストグラムを算出することである。ここで、出現頻度値は、動きベクトルの出現頻度に関するものであり、例えば、同一の動きベクトルが画像中に出現した数そのものや、画像中に出現した動きベクトルの全数に対する同一の動きベクトルの出現頻度数の割合（相対頻度）を示す。後者の場合、実質的に、動きベクトル測定領域の全個数ｎに対する同一の動きベクトルの出現頻度の割合と同値になる。或いは、出現頻度値は、高信頼度領域の数に対する同一の動きベクトルの頻度の割合（相対頻度）として求めてもよい。本実施形態において、最大頻度値選択部１０６ｂは、ヒストグラムから最大の出現頻度値、即ち、ヒストグラムにおける、動きベクトルの頻度の最大値又は相対頻度の最大値を選択する。

なお、ビンで分類することにより、同一のビンに入る略同一方向及び大きさの動きベクトルの数を計数してヒストグラムを作成してもよい。

高信頼度ブロック数／割合算出部１０７では、信頼度の高い高信頼度領域（ブロック）の数ｍ、或いは、高信頼度領域の数ｍの動きベクトル測定領域の全数（全ブロック数）ｎに対する割合ｍ／ｎを算出する。高信頼度領域の数ｍまたは割合ｍ／ｎがそれぞれの所定値（αまたはα'）以上の時は、補正ベクトル算出部１１１（画像間動きベクトル算出部）へ処理が移行する。高信頼度領域の数ｍまたは割合ｍ／ｎが所定値（αまたはα'）未満の時は、ばらつき判定部（高信頼度領域ばらつき判定部）１０８へ処理が移行する。このように、本実施の形態によれば、高信頼度領域の数ｍと所定値αとを比較する、あるいは、高信頼度領域の割合ｍ／ｎと所定値α'とを比較することで、信頼度が規定値（αまたはα'）以上である高信頼度領域における高信頼度動きベクトルを抽出できる。

補正ベクトル算出部１１１では、上記ヒストグラムから求められる同一の方向及び同一の大きさの動きベクトルの最大の出現頻度値が、第一の閾値β以上であるか判断する。この第一の閾値βは例えば、画像中に設定された動きベクトル測定領域の数の４０％や５０％の値であり、予め装置内に設定される。他の例として、このβは実験により定めた値に設定されてもよい。動きベクトルの最大の出現頻度値が、第一の閾値β以上であれば、その最大の出現頻度値に対する動きベクトル（ビンに分類した場合はビンの中心ベクトル）をフレーム間の補正ベクトルとして算出する。フレーム加算部１０９では、フレームメモリ中の基準フレームと対象フレームの画像データと補正ベクトルのデータを用いてフレームの加算を行う。

高信頼度領域ばらつき判定部１０８では、高信頼度の領域（ブロック）のうち画像内で一番距離が長くなる領域（ブロック）間の距離を求め、その距離がある第二の閾値以上であれば、高信頼度の領域の位置のばらつきがあると判定する。ばらつきが無いと判定されたら、補正ベクトル算出部１１１へ移行する。ばらつきがある（即ち、高信頼度の領域が広範囲に分布する）と判定されたら、閾値制御部（閾値設定部）１１０に移行する。閾値制御部１１０において、補正ベクトル算出部１１１で使用する第一の閾値βを、ブロック数／割合算出部１０７で算出した高信頼度領域の数ｍまたは割合ｍ／ｎに応じて、小さくなるように変更・設定する。

ここで、以下、本実施の形態に係る動きベクトル信頼度算出部１０５で行っている動きベクトルの信頼度の算出の概要を説明する。

動きベクトルの信頼度の算出部１０５において、ブロック単位でのフレーム間（画像間）の相関値の統計性に基づいて信頼度を求める。

基準フレームの動きベクトル測定領域とこれに対応する対象フレームの画像領域との間の相関値として、例えば、基準フレームのブロックIiと対象フレームのブロックIjに含まれる画素値の差分の自乗和ＳＳＤ（以下の数式（５）で表される）を用いる。

ここで、座標（bxi,byi）は、動きベクトル測定領域設定部１０３で設定されたi番目のマッチングブロックの重心位置（又は中心座標）を示し、ブロックの番号iの数ｎだけ用意されている。h,vは、それぞれ、マッチングブロックの水平、垂直方向の大きさである。座標（bxj,byj）は、ｊ番目の対象ブロックの重心位置を示し、ブロックマッチングの探索範囲に対応して用意されている。

ｉ番目のブロックのSSD(i,j)は対象ブロックの番号ｊによって種々の値をとるが、ｉ
番目のブロック（領域）の信頼度Siは、SSD(i,j)の最小値および平均値との差分に基づいて求められる。簡単には、信頼度Siは、SSD(i,j)の最小値および平均値との差分そのままとすればよい。

なお、相関値ＳＳＤの統計性に基づく信頼度は、領域の構造特徴と以下の概念で対応付けられる。（i）エッジ構造が鮮鋭な領域の場合に、動きベクトルの信頼度が高く、結果として、ＳＳＤの最小値を示す対象ブロックの位置の誤差は少ない。ＳＳＤのヒストグラムをとった場合に、最小値を示す位置付近に小さなＳＳＤが集中する。従って、ＳＳＤの最小値と平均値の差分が大きい。（ii）テクスチャや平坦な構造の場合、ＳＳＤのヒストグラムが平坦になり、結果としてＳＳＤの最小値と平均値の差が小さく、信頼度は低い。（iii）繰り返し構造の場合、ＳＳＤの最小値と最大値を示す位置が近く、ＳＳＤが小さい値を示す位置が分散している。結果として最小値と平均値の差が小さく、信頼度は低い。この様に、SSD(i,j)の最小値および平均値との差分に基づいて、i番目のブロック対応した、信頼度の高い動きベクトルを選択する。

なお、信頼度に関して、各ブロックにエッジの量で信頼度を算出することもできる。

図２（ａ）−（ｃ）に、動きベクトル統計処理部１０６とブロック数／割合算出部１０７の詳細を示す。図２（ａ）のように、動きベクトル測定領域設定部１０３で設定された動きベクトル測定領域１０００ごとに、動きベクトル算出部１０４で動きベクトル１００１を算出し、前述のように動きベクトル信頼度算出部１０５で信頼性判定を行い、動きベクトルの信頼度Siが規定値より低く信頼性が無いと判定された測定領域１００２は、動きベクトルが無いとみなす。

動きベクトル統計処理部１０６では、図２（ｂ）のように、信頼性があると判定された動きベクトルのうち、同一の大きさと同一の方向の動きベクトルの出現頻度値を算出し保存しておく。

そして、高信頼度領域ブロック数／割合算出部１０７では、図２（ｃ）のように、動きベクトル測定領域の数ｎと信頼性のある領域の数ｍから、信頼性のある領域の数ｍまたは割合ｍ／ｎを算出し、算出結果を所定値（図中のαまたはα'）と比較する。図２（ａ）−（ｃ）の例では、動きベクトル測定領域の数ｎは３５個、信頼性のある領域の数ｍは３１個であり、信頼性のある領域の割合ｍ／ｎは３１／３５である。

動きベクトルの信頼性のある領域の数ｍまたは割合ｍ／ｎが所定値（αまたはα'）以上であれば、画像間の補正ベクトルを算出する補正ベクトル算出部１１１の処理を行う。動きベクトルの信頼性のある領域の数ｍまたは割合ｍ／ｎが所定値（αまたはα'）より小さい場合には、ばらつき判定部１０８で位置ばらつきの判定処理を行う。高信頼度領域に対する位置ばらつきの判定処理の詳細は後述する。

図２（ａ）−（ｃ）の例では、例えば、所定値αが２５、α'が２５／３５であれば、動きベクトルの信頼性のある領域の数ｍ（＝３１）または割合ｍ／ｎ（＝３１／３５）が所定値（αまたはα'）以上となり、画像間の補正ベクトルを算出する補正ベクトル算出部１１１の処理が行われる。

図３に補正ベクトル算出部１１１で行う補正ベクトル算出処理のフローチャートを示す。

補正ベクトル算出処理は、動きベクトル統計処理部１０６で保存した統計データから動きベクトルに関する最大の出現頻度値を取り出す（Ｓ１）。取り出した最大の出現頻度値と第一の閾値βの比較判定（Ｓ２）を行う。最大の出現頻度値が、第一の閾値β以上の場合は、最大の出現頻度値に対応する動きベクトル（Ｖｘ、Ｖｙ)をフレーム加算部１０９における画像間の補正ベクトル（つまり画像間の動きベクトル）とする（Ｓ３）。図２（ｂ）の例では、最大の出現頻度値に対応する動きベクトル（Ｖｘ、Ｖｙ)は、（２、−２）となる。一方、最大の出現頻度値が第一の閾値β未満の場合は、画像間における動きベクトルが正確に求められなかったとして、補正ベクトルが無いとして扱い、フレーム加算部１０９でフレームの加算を行わない（Ｓ４）。

ここで、各動きベクトル測定領域（測定ブロック）で算出された動きベクトルが、動きベクトル信頼度算出部１０５で信頼度が高いか判定された結果と、画像内の被写体の関係について説明する。

図４Ａに２つのシーンにおける例を示す。シーン１（左上図）は空が大半を占めておりコントラストの低い領域の面積が多い被写体で、シーン２（右上図）はコントラストの高い領域の面積が多い被写体である。

このようなシーンで測定領域ごとに動きベクトルを算出し、動きベクトル信頼度算出部１０５で信頼度を算出すると、図４Ａの左下図のようにシーン１では、信頼性のある動きベクトルが少なく、右下図のようにシーン２では、信頼性のある動きベクトルが多くなる。なお、図４において、信頼度が規定値より高い動きベクトルを有する領域（高信頼度領域）を○印で示し、信頼度が規定値より低く信頼性がない動きベクトルを有する領域を×印で示している。

これら２つのシーンにおいて、前述した動きベクトル統計処理部１０６、ブロック数／割合算出部１０７、補正ベクトル算出部１１１の処理を施すと、シーン２においては、動きベクトルの最大の出現頻度値に対する閾値判定（Ｓ２）で、最大頻度が閾値以上となることが多く、画像間の補正ベクトルが求められる。シーン１においては、そもそも信頼性があると判定された動きベクトルデータが少ないため、閾値判定（Ｓ２）でシーン２と同じ閾値で判定しても、最大の出現頻度値が閾値を超えることができず、画像間の補正ベクトルが求められないため、フレーム加算ができない。

しかしながら、シーン１のような場合、画面内の下部に建物が並んでおり、その箇所を含む領域においては動きベクトルの信頼性がある。もし、これらの信頼性がある下部の領域だけに注目し、動きベクトルの最大の出現頻度値がある程度以上あれば、その最大の出現頻度値の動きベクトルを画像間の補正ベクトルとして扱って良い。ただし、これは、シーン１のように建物が横方向に広がって並んでいるような場合だけに当てはまる。

もし、建物が１棟しか写っていないようなシーンであれば、回転運動と並進運動の区別が付き難い（例えば、その１棟の建物がシーンの四隅の近傍に偏って位置するような場合） (図４Ｂ上図参照)。この場合、その１棟の建物に相当する高信頼度領域の動きベクトルを画像間の補正ベクトルとして扱ってしまうと、画像間で回転方向のブレがあった場合でも並進運動の動きベクトルとして画像全体を補正してしまうため、ブレ補正が失敗する。一方、高信頼度領域のばらつき（或いは長さ）が大きければ(図４Ｂ下図参照)、回転方向のブレがあった場合でも、回転運動と並進運動を混同する稀であり、並進運動の動きベクトルで画像全体を補正する可能性は小さくなり、誤ったブレ補正が行われなくなる。

このようなシーン１の時にでも適切にブレ補正できるようにするため、ブロック数／割合算出部１０７で高信頼度領域の数ｍや割合ｍ／ｎが所定値（αまたはα'）以上でなかったら、ばらつき判定部１０８で高信頼度領域のばらつきを判定する。ばらつきがあったら、補正ベクトル算出部１１１で使用する第一の閾値βを閾値制御部１１０で小さくなるように変更する。ばらつきがなかったら、第一の閾値βは変えず補正ベクトル算出部１１１で処理を行う。

図５に、ばらつき判定部１０８で行うばらつき判定の詳細を示す。高信頼度領域の位置のばらつきを判定するには、高信頼度領域における２つの動きベクトル測定領域の全ての組み合わせの中で、領域間の距離が最長となる組み合わせを見つける。領域間の最長距離をばらつきの度合として、この領域間の最長距離に基づいて高信頼度領域の位置のばらつきを評価・判定することができる。ばらつきの度合が所定の度合より大きい場合に、ばらつきがあると判定できる。具体的には、領域間の最長距離（ばらつきの度合）が第二の閾値（所定の度合）以上であればばらつきがあると判定できる。

全ての組み合わせによる距離を測定すると多大な処理になるので、図５に示すような手法で、領域間の最長距離の目安を求めてもよい。ここでは、高信頼度領域において走査線を移動させながら一定方向に各動きベクトル測定領域を走査して行き、最初と最後に走査された領域間の距離に基づいて、ばらつきの度合を算出する。

まず、図５上図のように、走査１〜走査５の順番で縦方向に走査線をずらしながら、横方向に各動きベクトル測定領域を走査し、最初と最後に走査された領域の位置と座標（例えば、動きベクトル測定領域の中心位置座標）を得る。そして、最初と最後に走査された領域間の距離（図５中のＬ１）を求める。次に、図５下図のように、走査６〜走査１２の順番で横方向に走査線をずらしながら、縦方向に各動きベクトル測定領域を走査し、最初と最後に走査された領域の位置と座標（例えば、動きベクトル測定領域の中心位置座標）を得る。そして、最初と最後に走査された領域間の距離（図５中のＬ２）を求める。次に、走査１３〜走査１７（走査１〜５の向きを逆にした走査）の順番で縦方向に走査線をずらしながら、横方向に各動きベクトル測定領域を走査し、最初と最後に走査された領域の位置と座標（例えば、動きベクトル測定領域の中心位置座標）を得る。そして、最初と最後に走査された領域間の距離（図５中のＬ３）を求める。さらに、走査１８〜走査２４（走査６〜１２の向きを逆にした走査）の順番で横方向に走査線をずらしながら、縦方向に各動きベクトル測定領域を走査し、最初と最後に走査された領域の位置と座標（例えば、動きベクトル測定領域の中心位置座標）を得る。そして、最初と最後に走査された領域間の距離（図５中のＬ４）を求める。

そして、求められたＬ１、Ｌ２、Ｌ３、Ｌ４の距離のうち最大距離を領域間の最長距離の目安として求めて、この最大距離を第二の閾値と比較する。Ｌ１−Ｌ４のうちの最大距離（ばらつきの度合）が閾値以上であれば、ばらつきがあると判定し、Ｌ１−Ｌ４のうちの最大距離が第二の閾値より小さければ、ばらつきが無いと判定する。

なお、上記において、高信頼度領域間の最長距離に基づいてばらつきを評価・判定したが、ばらつきを評価する方法は種々考えられる。他の方法として、高信頼度領域内の横方向における領域間の最大間隔や縦方向の領域間の最大間隔をばらつきの度合として求めて、ばらつきを評価・判定できる。また、上記のＬ１、Ｌ２、Ｌ３、Ｌ４のいずれか一つだけを求めて、これをばらつきの度合とすることも考えられる。

ばらつきがある場合には、閾値制御部１１０で、高信頼度領域のブロック数ｍまたは割合ｍ／ｎに応じて、第一の閾値βを小さくなるように変更する。例えば、動きベクトル測定領域数ｎと変更前の第一の閾値βの比率が、高信頼度領域のブロック数ｍと変更後の第一の閾値β’との比率と、同じになるように変更する。つまり、β／ｎ＝β’／ｍの関係が成立するように変更する。従って、高信頼度領域の数ｍまたは割合ｍ／ｎに応じて、変更後の第一の閾値β’は、β×ｍ／ｎと設定される。高信頼度領域の数ｍまたは割合ｍ／ｎが小さいほど、変更後の第一の閾値β’は小さくなる。

図２（ａ）−（ｃ）の例では、動きベクトル測定領域の数ｎは３５個、信頼性のある領域の数ｍは３１個である。このため、例えば、第一の閾値βが、動きベクトル測定領域の数ｎの４５％程度の１６であるとすると、変更後の第一の閾値β’は、１６×３１／３５≒１４に設定される。

第一の閾値を変更後、補正ベクトル算出部１１１の補正ベクトル算出処理を施す。

次に、図６−図８を参照して、第二実施形態について説明する。

図６に、本発明を用いた画像間の位置あわせと加算処理を行う装置を示す。第一実施形態と同様に処理を行うが、閾値制御部１１０で閾値を変更させた後、最大頻度領域ばらつき判定部１１２で、最大の出現頻度値に対応する動きベクトルを有する最大頻度領域の位置のばらつきを判定する。このばらつきは、前述したばらつき判定部１０８と同様に、最大頻度領域の長さから判定できる。最大頻度領域の位置のばらつき判定処理の詳細は後述する。判定後、補正ベクトル算出部１１１で補正ベクトルの算出処理を行う。

図７に、補正ベクトル算出部１１１が実行する補正ベクトル算出処理のフローチャートを示す。

補正ベクトル算出処理は、動きベクトル統計処理部１０６で保存した統計データから動きベクトルの最大の出現頻度値を取り出す（Ｓ１１）。取り出した動きベクトルの最大頻度データと閾値βの比較判定（Ｓ１２）を行う。最大の出現頻度値が、第一の閾値β以上の場合は、最大頻度領域ばらつき判定部１１２での最大頻度領域の位置のばらつきの判定結果を読み込む（Ｓ１３）。ばらつきがある場合は、最大の出現頻度値に対応する動きベクトル（Ｖｘ、Ｖｙ)をフレーム加算部１０９における画像間の補正ベクトルとする（Ｓ１４）。ばらつきが無い場合、画像間における動きベクトルが正確に求められなかったとして、補正ベクトルが無いとして扱い（Ｓ１５）、フレーム加算部１０９でフレーム加算しない。最大の出現頻度値が、第一の閾値βより小さい場合は、画像間における動きベクトルが正確に求められなかったとして、補正ベクトルが無いとして扱い（Ｓ１５）、フレーム加算部１０９でフレーム加算しない。

図８を参照して、ばらつき判定部（最大頻度領域ばらつき判定部）１１２で行う位置ばらつきの判定の詳細を示す。最大頻度領域の位置のばらつきを判定するには、最大頻度領域における２つの動きベクトル測定領域の全ての組み合わせの中で、領域間の距離が最長となる組み合わせを見つけ、その距離の長さに応じて位置のばらつきを判定することができる。具体的には、動きベクトル測定領域間の最長距離が第三の閾値以上であればばらつきがあると判定できる。全ての組み合わせによる距離を測定するには、多大な処理になるので、図８に示すような手法で距離を計測する。

まず、図８のように、走査１〜走査５の順番で縦方向に走査線をずらしながら、横方向に各動きベクトル測定領域を走査し、最初と最後の最大頻度領域の位置と座標（たとえば、動きベクトル測定領域の中心位置座標）を得る。最初と最後に走査された領域間の距離（図中のＬ５）を求める。次に走査６〜走査１２の順番で走査し、最初と最後の最大頻度領域の位置と座標（たとえば、動きベクトル測定領域の中心位置座標）から領域間の距離（図中のＬ６）を求める。次に、走査１３〜走査１７（走査１〜５の向きを逆にした走査）の順番で各動きベクトル測定領域を走査し、最初と最後の高信頼度領域の位置と座標（例えば、動きベクトル測定領域の中心位置座標）から領域間の距離（図５中のＬ７）を求める。さらに、走査１８〜走査２４（走査６〜１２の向きを逆にした走査）の順番で各動きベクトル測定領域を走査し、最初と最後の高信頼度領域の位置と座標（例えば、動きベクトル測定領域の中心位置座標）から領域間の距離（図５中のＬ８）を求める。

そして、求められたＬ５、Ｌ６、Ｌ７、Ｌ８の距離のうち最大距離を領域間の最長距離の目安として求めて、この最大距離を第三の閾値と比較する。Ｌ５−Ｌ８のうちの最大距離が第三の閾値以上であれば、ばらつきがあると判定し、Ｌ５−Ｌ８のうちの最大距離が第三の閾値より小さければ、ばらつき無しとする。

上記の第一及び第二の実施形態は、ブレ補正を行う場合について記載されているが、本発明は、複数の重なりのある画像を張り合わすことによって広視野の画像を生成するモザイキング処理における位置合わせ等についても適用できる。

本発明は上記の実施の形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。

第一実施形態に係る画像処理装置を示すブロック構成図である。 第一実施形態における（ａ）動きベクトル（ｂ）動きベクトル統計処理部（ｃ）高信頼度ブロック数／割合算出を示す図である。 第一実施形態における補正ベクトル算出処理を示すフローチャートである。 第一実施形態における撮影シーンと動きベクトル信頼度判定結果の例を示す図である。 ブレ補正のエラーが発生するシーンと発生しないシーンを示す図である。 第一実施形態における高信頼度領域のばらつき判定処理を示す詳細図である。 第二実施形態に係る画像処理装置を示すブロック構成図である。 第二実施形態における補正ベクトル算出処理を示すフローチャートである。 第一実施形態における最大頻度領域のばらつき判定処理を示す詳細図である。

符号の説明

１００ メインコントローラ
１０１ 撮像部
１０２ フレームメモリ
１０３ 動きベクトル測定領域設定部
１０４ 動きベクトル算出部
１０５ 動きベクトル信頼度算出部
１０６ 動きベクトル統計処理部
１０６ａ 頻度値算出部
１０６ｂ 最大頻度値選択部
１０７ 高信頼度ブロック数／割合算出部
１０８ 高信頼度領域ばらつき判定部
１０９ フレーム加算部
１１０ 閾値制御部
１１１ 補正ベクトル算出部（画像間動きベクトル算出部）
１１２ 最大頻度領域ばらつき判定部

Claims (10)

1. 画像間の動きベクトルを用いて複数枚の画像の位置合わせ処理を行う画像処理装置であって、
   動きベクトルを測定するための複数の動きベクトル測定領域を設定する動きベクトル測定領域設定部と、
   前記複数の動きベクトル測定領域の動きベクトルを算出する動きベクトル算出部と、
   夫々の動きベクトルの信頼度を算出する動きベクトル信頼度算出部と、
   前記信頼度が規定値以上である高信頼度領域における高信頼度動きベクトルについて、動きベクトルの出現頻度に関する出現頻度値を前記高信頼度動きベクトル毎に算出する頻度値算出部と、
   前記算出された出現頻度値のうち、最大の出現頻度を表す出現頻度値を選択する最大頻度値選択部と、
   前記最大の出現頻度値が第一の閾値以上の場合に、前記最大の出現頻度値に対応する動きベクトルを前記画像間の動きベクトルとして算出する画像間動きベクトル算出部と、
   前記高信頼度領域の位置のばらつきの度合を算出する高信頼度領域ばらつき判定部と、
   前記算出されたばらつきの度合が所定のばらつきの度合よりも大きいことを示す場合に、前記第一の閾値を変更する閾値制御部と、を備えることを特徴とする画像処理装置。
2. 前記閾値制御部は、前記高信頼度領域の数または割合に応じて、変更後の前記第一の閾値を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記高信頼度領域ばらつき判定部は、前記高信頼度領域のうちの二つの動きベクトル測定領域間の最長距離を、前記ばらつきの度合として算出し、
   前記最長距離が第二の閾値以上の場合に、前記閾値制御部は、前記第一の閾値を小さくするように変更することを特徴とする請求項１に記載の画像処理装置。
4. 前記ばらつきの度合が第二の閾値以上の場合、且つ、前記高信頼度領域の数または割合が所定値未満の場合に、前記閾値制御部は、前記第一の閾値を小さくするように変更することを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記閾値制御部で第一の閾値を変更した場合に、前記最大の出現頻度値に対応する動きベクトルを有する最大頻度測定領域の位置のばらつきの度合を算出する最大頻度領域ばらつき判定部を備え、
   前記最大頻度領域ばらつき判定部で算出された前記ばらつきの度合が第三の閾値以上の場合、且つ、前記最大頻度測定領域の数または割合が前記変更した第一の閾値以上の場合に、
   前記画像間動きベクトル算出部は、前記最大の出現頻度値に対応する動きベクトルを画像間の動きベクトルとすることを特徴とする請求項１から４のいずれか一つに記載の画像処理装置。
6. 前記最大の出現頻度値は、前記複数の動きベクトル測定領域の全個数に対する相対頻度の最大値、又は、前記高信頼度領域の数に対する相対頻度の最大値であることを特徴とする請求項１から５のいずれか一つに記載の画像処理装置。
7. 前記高信頼度領域ばらつき判定部は、前記高信頼度領域において、走査線を移動させながら一定方向に各動きベクトル測定領域を走査し、最初と最後に走査された領域間の距離に基づいて、前記ばらつきの度合を算出することを特徴とする請求項１又は２に記載の画像処理装置。
8. 請求項１に記載の画像処理装置を含む電子機器。
9. 画像間の動きベクトルを用いて複数枚の画像の位置合わせ処理を行う画像処理方法であって、
   動きベクトルを測定するための複数の動きベクトル測定領域を設定する動きベクトル測定領域設定ステップと、
   前記複数の動きベクトル測定領域の動きベクトルを算出する動きベクトル算出ステップと、
   夫々の動きベクトルの信頼度を算出する動きベクトル信頼度算出ステップと、
   前記信頼度が規定値以上である高信頼度領域における高信頼度動きベクトルについて、動きベクトルの出現頻度に関する出現頻度値を前記高信頼度動きベクトル毎に算出する頻度値算出ステップと、
   前記算出された出現頻度値のうち、最大の出現頻度を表す出現頻度値を選択する最大頻度値選択ステップと、
   前記最大の出現頻度値が第一の閾値以上の場合に、前記最大の出現頻度値に対応する動きベクトルを前記画像間の動きベクトルとして算出する画像間動きベクトル算出ステップと、
   前記高信頼度領域の位置のばらつきの度合を算出する高信頼度領域ばらつき判定ステップと、
   前記算出されたばらつきの度合が所定のばらつきの度合よりも大きいことを示す場合に、前記第一の閾値を変更する閾値制御ステップと、を備えることを特徴とする画像処理方法。
10. 画像間の動きベクトルを用いて複数枚の画像の位置合わせ処理を行う画像処理プログラムであって、
    動きベクトルを測定するための複数の動きベクトル測定領域を設定する動きベクトル測定領域設定手順と、
    前記複数の動きベクトル測定領域の動きベクトルを算出する動きベクトル算出手順と、
    夫々の動きベクトルの信頼度を算出する動きベクトル信頼度算出手順と、
    前記信頼度が規定値以上である高信頼度領域における高信頼度動きベクトルについて、動きベクトルの出現頻度に関する出現頻度値を前記高信頼度動きベクトル毎に算出する頻度値算出手順と、
    前記算出された出現頻度値のうち、最大の出現頻度を表す出現頻度値を選択する最大頻度値選択手順と、
    前記最大の出現頻度値が第一の閾値以上の場合に、前記最大の出現頻度値に対応する動きベクトルを前記画像間の動きベクトルとして算出する画像間動きベクトル算出手順と、
    前記高信頼度領域の位置のばらつきの度合を算出する高信頼度領域ばらつき判定手順と、
    前記算出されたばらつきの度合が所定のばらつきの度合よりも大きいことを示す場合に、前記第一の閾値を変更する閾値制御手順と、を備える画像処理プログラム。