JP2011239266A - 画像データ処理装置および画像データ処理方法 - Google Patents

Abstract

【課題】高精度な画像合成判定を可能とし、高品質な手ぶれ補正画像を得ることができる画像データ処理装置及び処理方法を提供すること。
【解決手段】入力される画像データは基準画像と比較画像とを含み、基準画像と比較画像との間の動きデータを算出する動きデータ演算手段と、基準画像と比較画像との画素値の差分を、動きデータにより対応付けられるブロック毎に算出するブロック比較手段と、画素値の差分に基づいて、基準画像に対する比較画像の重ね合わせ比率をブロック毎に算出する重ね合わせ比率算出手段と、動きデータ及び重ね合わせ比率により、比較画像を基準画像に重ね合わせて合成画像を生成する画像合成手段と、画像合成手段で合成を実行するか否かを合成判定閾値に基づき判定する合成判定処理と、合成判定閾値を変更する合成判定閾値変更手段とを備え、合成判定閾値変更手段は基準画像内の座標に基づき合成判定閾値を変更することを特徴とする。
【選択図】図２

Description

本発明は、撮影した画像をコンピュータ処理することによって手ぶれを補正する技術に係り、特に合成画像のノイズリダクションの画像データ処理方法および画像データ処理装置に関する。

現在、カメラに加わる手ぶれによる画像のブレを防ぐために、手ぶれ補正技術が開発されている。
手ぶれ補正の技術には、光学式補正方式や画像合成方式などがある。このうち、画像合成方式の手ぶれ補正方法は、補正レンズや光学機器の駆動機構などを必要としないため、小型化が必要とされる装置等に適している。

特許文献１では、画像合成で手ぶれの補正をする画像合成方法にかかる技術が開示されていて、特に画像を小ブロック単位で合成する／しないを判定する技術が開示されている。

特許文献１の画像合成方法では、一枚の合成画像中に、合成していない領域と合成した領域とが混在することによる画質劣化問題を、重ねあわせ比率に基づいてノイズリダクションを変えることで解決している。
しかしながら、特許文献１にかかる画像合成方法によっても、カメラの設定によってはノイズが現れてしまうという問題があった。

本発明は、上記の問題に係り、高精度な画像合成判定を可能とし、高品質な手ぶれ補正画像を得ることができる画像データ処理装置及び画像データ処理方法を提供することを目的とする。

上記課題を解決するために本発明に係る画像データ処理装置及び画像データ処理方法は、具体的には下記（１）〜（６）に記載の技術的特徴を有する。
（１）：入力された画像データに画像処理を行う画像データ処理装置であって、前記画像データは、基準画像と比較画像とを含み、前記基準画像と前記比較画像との間の動きデータを算出する動きデータ演算手段と、前記基準画像と前記比較画像との画素値の差分を、前記動きデータによって対応付けられるブロックごとに算出するブロック比較手段と、前記画素値の差分に基づいて、前記基準画像に対する前記比較画像の重ね合わせ比率を前記ブロックごとに算出する重ね合わせ比率算出手段と、前記動きデータ及び前記重ね合わせ比率によって、前記比較画像を前記基準画像に重ね合わせて合成画像を生成する画像合成手段と、前記画像合成手段で合成を実行するか否かを合成判定閾値に基づき判定する合成判定処理と、前記合成判定閾値を変更する合成判定閾値変更手段と、を備え、前記合成判定閾値変更手段は、前記基準画像内の座標に基づき前記合成判定閾値を変更することを特徴とする画像データ処理装置である。
（２）：前記入力された画像データは、当該入力された画像データの撮像時における光学系の設定データを含み、前記合成判定閾値変更手段は、さらに前記光学系の設定データに基づき前記合成判定閾値を変更することを特徴とする上記（１）記載の画像データ処理装置である。
（３）：前記入力された画像データは、当該入力された画像データの撮像時におけるＩＳＯ感度の設定データを含み、前記合成判定閾値変更手段は、さらに前記ＩＳＯ感度の設定データに基づき前記合成判定閾値を変更することを特徴とする上記（１）記載の画像データ処理装置である。
（４）入力された画像データに画像処理を行う画像データ処理方法であって、前記画像データは、基準画像と比較画像とを含み、前記基準画像と前記比較画像との間の動きデータを算出する動きデータ演算処理と、前記基準画像と前記比較画像との画素値の差分を、前記動きデータによって対応付けられるブロックごとに算出するブロック比較処理と、前記画素値の差分に基づいて、前記基準画像に対する前記比較画像の重ね合わせ比率を前記ブロックごとに算出する重ね合わせ比率算出処理と、前記動きデータ及び前記重ね合わせ比率によって、前記比較画像を前記基準画像に重ね合わせて合成画像を生成する画像合成処理と、前記画像合成処理で合成を実行するか否かを合成判定閾値に基づき判定する合成判定処理と、前記合成判定閾値を変更する合成判定閾値変更処理と、を備え、前記合成判定閾値変更処理は、前記基準画像内の座標に基づき前記合成判定閾値を変更することを特徴とする画像データ処理方法である。
（５）前記入力された画像データは、当該入力された画像データの撮像時における光学系の設定データを含み、前記合成判定閾値変更工程は、さらに前記光学系の設定データに基づき前記合成判定閾値を変更することを特徴とする上記（４）記載の画像データ処理方法である。
（６）前記入力された画像データは、当該入力された画像データの撮像時におけるＩＳＯ感度データを含み、前記合成判定閾値変更工程は、さらに前記ＩＳＯ感度の設定データに基づき前記合成判定閾値を変更することを特徴とする上記（４）記載の画像データ処理方法である。

本発明によれば、高精度な画像合成判定に基づく高品質な手ぶれ補正画像を得ることができる画像データ処理装置及び画像データ処理方法を提供することができる。

本発明に係る画像データ処理装置の一実施の形態における機能ブロック図である。 本発明に係る画像データ処理装置の一実施の形態による画像データ処理の流れの説明図である。 画像合成処理に供される画像の例を示す図である。 動きデータの例を示す図である。 ブロックの対応についての説明図である。 本発明に係る画像データ処理装置の一実施の形態の画像合成処理の概要を示す図である。 撮像素子面の位置とＳ／Ｎ比または合成判定閾値との関係を示すグラフである。 ステップＳ１０５における重ね合わせ比率決定後の調整処理の具体例を示す図である。 ノイズ除去処理前の合成画像である。 ノイズ除去処理後の合成画像である。

本発明に係る画像データ処理装置は、入力された画像データに画像処理を行い、前記画像データは、基準画像と比較画像とを含み、前記基準画像と前記比較画像との間の動きデータを算出する動きデータ演算手段と、前記基準画像と前記比較画像との画素値の差分を、前記動きデータによって対応付けられるブロックごとに算出するブロック比較手段と、前記画素値の差分に基づいて、前記基準画像に対する前記比較画像の重ね合わせ比率を前記ブロックごとに算出する重ね合わせ比率算出手段と、前記動きデータ及び前記重ね合わせ比率によって、前記比較画像を前記基準画像に重ね合わせて合成画像を生成する画像合成手段と、前記画像合成手段で合成を実行するか否かを合成判定閾値に基づき判定する合成判定処理と、前記合成判定閾値を変更する合成判定閾値変更手段と、を備え、前記合成判定閾値変更手段は、前記基準画像内の座標に基づき前記合成判定閾値を変更することを特徴とする。

ここで、特許文献１（特開２００９−１６４８５７号公報）にかかる画像合成方法では、入力された画像の撮像時におけるカメラ（撮像装置）の設定については何ら考慮されていない。このため、シェーディングの大きいカメラであると周辺部分では被写体が動いていなくても、合成されないという不具合が現れる。
そこで本発明によれば、撮像装置（カメラ）の設定に応じて合成閾値を変更することによって、より正確な合成判定結果を得ることができ、ノイズを低減することができる好適な画像合成が行える。特に、レンズ特性に応じて閾値を変えることで、周辺部分の判定を正確にし、上記不具合を解決することができる。

次に、本発明に係る画像データ処理装置及び画像データ処理方法についてさらに詳細に説明する。
尚、以下に述べる実施の形態は、本発明の好適な実施の形態であるから技術的に好ましい種々の限定が付されているが、本発明の範囲は以下の説明において本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。

以下、本発明の実施形態を説明する。
図１は、本実施形態に係る画像データ処理装置２のブロック図である。この装置は、複数の画像を入力して、それらの画像を合成して手ぶれ補正された画像を生成するものである。

画像データ処理装置２は、記憶部１４と演算処理部１６を備えている。
演算処理部１６は、画像データ入力手段３６、画像合成処理部１８、ノイズ除去手段２０、画像データ出力手段２２を備える。

画像データ入力手段３６は、外部から画像データを受け取り、記憶部１４に保存する。この際、画像の比較や合成のための基準画像を入力画像の中から１つ決定して保存し、その他の画像を比較画像として保存する。
画像合成処理部１８は、基準画像と比較画像とを合成する処理を行う。
ノイズ除去手段２０は、ノイズリダクションのフィルタを合成画像に適用して、合成画像中のノイズを除去する。
画像データ出力手段２２は、ノイズ除去された合成画像を最終的な出力画像として出力する。

なお、画像データ入力手段３６により入力された入力画像データ２４は、撮像装置（カメラ）により撮像された画像である場合、当該撮像装置の撮像時における設定データを含む。設定データは撮像装置における各種設定データが挙げられ、例えば、絞り、ズーム位置などの撮像装置における光学系の設定データや、ＩＳＯ感度の設定データなどがある。

画像合成処理部１８は、動きデータ検出手段３８、ブロック比較手段４０、合成判定手段４１、重ね合わせ比率算出手段４２、合成判定閾値変更手段４３、画像合成手段４４を備える。
動きデータ検出手段３８は、入力された複数の画像間の動きデータを演算する。
ブロック比較手段４０は、基準画像と比較画像との対応するブロック同士を比較して、ブロックごとに画素値差分を演算する。
合成判定手段４１は、後述する合成判定閾値変更手段４３により設定される合成判定閾値と、ブロックごとの画素値差分とに基づき、当該ブロックについて基準画像と比較画像との合成を実行するか否かを判定する。
重ね合わせ比率算出手段４２は、ブロック比較手段４０によって算出された画素値差分をもとに、各比較画像についてブロックごとの重ね合わせ比率を算出する。
合成判定閾値変更手段４３は、前述した合成判定手段４１で用いられる合成判定閾値（後述する合成判定閾値データ３３に保持されてなる）を変更する。
画像合成手段４４は、算出された動きデータと重ね合わせ比率データをもとに、基準画像と複数の比較画像とを合成し、合成画像を生成する。
ノイズ除去手段２０は、ノイズリダクションフィルタを合成画像に適用して、合成画像中のノイズを除去する。
画像データ出力手段２２は、ノイズ除去された合成画像を最終的な出力画像として出力する。

記憶部１４は、画像データ保持部１０とパラメータ保持部１２とからなる。
画像データ保持部１０は、画像データ入力手段３６からの入力画像データ２４、画像合成処理部１８によって生成された合成画像データ２６、最終的な出力データとなる出力画像データ２８を保持する。
パラメータ保持部１２は、基準画像と比較画像とのずれである動きデータ３０、基準画像と比較画像との対応するブロックごとの画素値の差分である画素値差分データ３２、合成判定の際に画素値差分データと比較する合成判定閾値データ３３、基準画像と比較画像との重ね合わせの比率を比較画像かつブロックごとに持つ重ね合わせ比率データ３４を保持する。

次に、本実施の形態の画像データ処理装置の動作について、図２に示すフローチャートを用いて説明する。

＜ステップＳ１０１＞
画像データ入力手段３６は、外部の撮像装置から複数の画像データを取得し、画像データ保持部１０に保存する。
入力される画像データは、連続して撮影された画像であり、本実施の形態では、入力された画像データが図３の（ａ）から（ｄ）であるものとして説明する。

＜ステップＳ１０２＞
動きデータ検出手段３８は、入力された画像データのうち、１枚を基準画像とし、その他の画像のうち１枚を比較画像として決定する。
本実施の形態では、撮像されたタイミングが最も早い画像データを基準画像とし、次のタイミングで撮像された画像データを比較画像とする。
図３の例では、時系列的に（ａ）から（ｄ）の順番に撮像されており、このステップにおいては（ａ）が基準画像となり、（ｂ）が比較画像となる。

＜ステップＳ１０３＞
動きデータ検出手段３８は、基準画像と比較画像との間の動きデータを演算する。
動きデータとしては、図４の（ａ）に示すように基準画像と比較画像との相対的なずれであって平行移動量を表す動きベクトルであってもよいし、図４の（ｂ）のように画像の回転など動き検出の自由度が高いアフィンパラメータであってもよい。
例えば、特開２００７−２２６６４３号公報には、入力画像の多重解像度処理を行った後、解像度の低い画像から高い画像へと段階的にブロックマッチング処理を実行して、精度の高いアフィンパラメータを求める技術が開示されており、この技術を用いて基準画像と比較画像間の動きデータを演算することができる。

＜ステップＳ１０４＞
ブロック比較手段４０は、ステップＳ１０３で求めた動きデータによって基準画像と比較画像とのずれを調整した後に、それぞれの画像を所定のブロックに分割し、対応するブロックそれぞれの画素値の総和の差を演算する。
図５は、基準画像と比較画像とをブロックに分割した状態を示している。
基準画像のブロックＡは、動きデータによってずれを考慮した比較画像のブロックＢに対応している。
ここでブロックＡ内の各ピクセルの画素値の総和とブロックＢ内の各ピクセルの画素値の総和との差分を計算する。
なお、ブロック分割の具体的な例としては、２００メガピクセルから５００メガピクセルの画像に対して１６×１６ピクセルのブロックに分割して処理している。画像データ処理装置や必要とする処理速度あるいは画像の大きさなどに合わせてブロックのピクセルは任意に変えてよい。

この処理における式は、ブロックＡ内の任意の座標ｐとブロックＢ内の任意の座標ｑとについてそれぞれの画素値をＩ（ｐ）、Ｉ（ｑ）として、下記式（１）のとおりとなる。

なお、ブロック内の画素値の総和を計算する際に計算量を少なくするために、適宜画素を間引いて計算してもよい。これによってブロック間の判断の精度は落ちるが処理を高速化することができる。

＜ステップＳ１０５＞
重ね合わせ比率算出手段４２は、ブロック比較手段４０によって算出されたブロックごとの画素値の差分をもとに、基準画像への合成画像の重ね合わせの比率をブロックごとに算出する。
算出された重ね合わせ比率は、各画像の各ブロックについて重ね合わせ比率データとしてパラメータ保持部１２に保持される（Ｓ１０５）。
本実施の形態では、合成判定手段４１はステップＳ１０４で求めた画素値の総和の差分が所定の合成判定閾値以上のときはそのブロックについては基準画像に対する比較画像の重ね合わせを行わない。このとき、比較画像のこのブロックについての重ね合わせ比率は０となる。つまり、合成画像における対応するブロック内の各ピクセルの輝度値について、基準画像１に対して比較画像０の割合で合成される。

画素値の差分が合成判定閾値より小さい時は、基準画像およびそれぞれの比較画像による合成画像への影響度が一定になるように重ね合わせ比率を決定する。
図６は４枚の入力画像から最終的な合成画像を得る場合の例を示している。
まず、ステップＳ１０５の最初の段階では、画像ａが基準画像として、画像ｂが比較画像として対応するブロックどうしで重ね合わせ比率が決定される。
このとき比較対象となっているブロック同士の画素値の差分が合成判定閾値より小さい時、生成される合成画像ｅへの画像ａおよび画像ｂの影響度は１：１となり、重ね合わせ比率は、画像ａ、画像ｂについて、ともに２分の１となる。
なお、このときの合成判定閾値は、画素値の総和の差がノイズの影響によるものではなく、そのブロックの撮像された被写体に変化があったと判断できる値となる。

詳細については後述するが、合成画像の生成後さらに比較画像がある場合は、生成された合成画像をあらたな基準画像として、あらたな比較画像との間で合成処理をする（Ｓ１０８後のＳ１０２）。

＜２巡目以降のＳ１０５＞
図６の例の場合、画像ｅと画像ｃとを合成して画像ｆを得る処理、画像ｆと画像ｄとを合成して画像ｇを得る処理がこの段階にあたる。
画像ｅと画像ｃとを合成するとき、処理対象のブロックについての画素値の差が前出の合成判定閾値より小さい場合、画像ｃの画像ｆに対するそれぞれのブロックの影響度が画像ａおよび画像ｂと均等になるように、画像ｃの重ね合わせ比率は３分の１となり、画像ｅの重ね合わせ比率は３分の２となる。
つまり、基準画像となる合成画像がＮ枚（Ｎは１以上の整数）の画像からなる場合、基準画像の重ね合わせ比率はＮ＋１分のＮ、比較画像の重ね合わせ比率はＮ＋１分の１となる。

この合成判定閾値は、ズームポジション、絞りなどの光学系の設定データの変化に伴って生じるＳ／Ｎ比の変化に対応して、異なる値をとる。
また、ＩＳＯ感度の設定データの変化に伴って生じるよるＳ／Ｎ比の変化に応じて、異なる値をとる。
さらに、図７のように、撮像素子面内（即ち、画像データにより構成される画像内）でも、レンズのシェーディング特性による中心から周辺へのＳ／Ｎ比の劣化に対応して、この合成判定閾値は中央から周辺へ連続的に異なる値をとる。
シェーディング特性はズーム位置、絞り状態により異なるので、（ズーム位置の数）×（絞りの数）の分だけ図７の合成判定閾値の曲線をプログラム内に記憶しておき（合成判定閾値データ３３とする）、画像合成処理の際にはズーム位置、絞り状態に合った曲線を合成判定閾値変更手段４３が適用する。
ＩＳＯ感度がＩＳＯ８００以外の場合には、ＩＳＯ８００からの画像のＳ／Ｎ比の増減に応じて、ＩＳＯ８００時の曲線に対して図７における縦軸方向にオフセットが加減された合成判定閾値の曲線（合成判定閾値データ３３である）を合成判定閾値変更手段４３が決定する。

上記の算出方法以外に、重ね合わせ比率を画素値の総和の差分に応じて決定してもよい。例えば、差分が０であるときに基準画像と比較画像の比率が１：１になるように基準画像の重ね合わせ比率を２分の１とし、差分が大きくなるにつれて基準画像の重ね合わせ比率が大きくなるように傾斜的に算出してもよい。ただし、画素値差分が所定の合成判定閾値以上の場合には合成処理を行わない点については同様である。

＜重ね合わせ比率の調整（Ｓ１０５）＞
重ね合わせ比率を決定する際に、基準画像のブロックに比較画像の対応するブロックが存在しないときは、重ね合わせ処理はせず、基準画像のブロックを合成画像のブロックとして採用する。

また、全ブロックについての重ね合わせ比率決定後、基準画像に対して比較画像の重ね合わせをしない、つまり、重ね合わせ比率が０に設定されたブロックの周囲１ブロックについて重ね合わせ比率を０に設定する。
これによって、動被写体のエッジ部分のみが含まれるブロックについてより正確な合成処理をすることができる。

図８によって動被写体のエッジ部分における合成処理の例を示す。
ブロックＸ_１は、基準画像内のブロックで動被写体３００の一部を含む。また、ブロックＸ_２は、比較画像内のブロックＸ_１に対応するブロックであり、動被写体３００は含まない。
これらのブロックＸ_１，Ｘ_２についてステップＳ１０４における画素値の総和の差分を求めた場合、動被写体の影響は少ないためその差分は小さくなる。
したがって、ステップＳ１０５において両ブロックの画素値について重ね合わせをするように重ね合わせ比率が設定される。
このときブロックＸ_１内の動被写体の一部についての画素値が弱く合成されてしまう。

本実施の形態の重ね合わせ比率の調整をすると、ブロックＸ_１の１つ右隣のブロックは動被写体３００がブロック全体に含まれることから重ね合わせを行わないため、ブロックＸ_１についても重ね合わせをしないこととなり、前記の動被写体の一部の画素値が弱く合成されるという問題が解消される。

＜ステップＳ１０６＞
画像合成手段４４は、ステップＳ１０５で算出された重ね合わせ比率をもとに、基準画像の各ブロックについて、基準画像の画素値とそれに対応する比較画像の各ピクセルの画素値とをステップＳ１０５で求めた重ね合わせ比率によって加算処理する。
基準画像の全ブロックについて加算処理が終了した時点で、合成画像が生成される。
合成画像は合成画像データとして画像データ保持部１０に保存される。

このときの合成画像の生成方法は、合成画像のブロックＡについて座標（ｘ，ｙ）における画素値をＡ（ｘ，ｙ）とし、比較画像のブロックＢについて対応するピクセルの各画素値を画像間のずれを考慮してＢ（ｘ＋ｄｘ，ｙ＋ｄｙ）とし、さらに、ブロックＡに対するブロックＢの重ね合わせ比率をαとすると、下記式（２）の通りとなる。

なお、上記式（２）の例ではブロックＡ、Ｂ間のずれを動きベクトル（ｄｘ，ｄｙ）として計算しているが、アフィンパラメータによって計算してもよい。

＜ステップＳ１０７およびＳ１０８＞
合成画像の生成後、画像合成処理部１８は画像データ保持部１０の入力画像データを参照し、さらに比較画像があるかを調べる（Ｓ１０７）。
新たな比較画像が存在する場合（Ｓ１０７のＹ）、画像合成処理部１８はステップＳ１０６で生成された合成画像を新たな基準画像とし、入力画像データのうち画像合成に使用されていないものを新たな比較画像とし、それらの画像の間で合成処理を開始する（Ｓ１０８）。

前述のとおり図６は、本実施の形態のうちステップＳ１０１からＳ１０８の処理の概要を示す例として、１枚の基準画像と３枚の比較画像から最終的な合成画像が生成される過程を表した図である。
図６中、Ｍｘ（ｘ：ａ〜ｆ）は、画像ｘの重ね合わせ比率を示している。
基準画像ａと比較画像ｂについてステップＳ１０１からステップＳ１０６の処理を行うことによって合成画像ｅが得られる。
ステップＳ１０７においてさらに比較画像があるかを判断する。
比較画像が存在するので、ステップＳ１０８において、合成画像ｅを新たな基準画像とし、ｃを新たな比較画像としてステップＳ１０３の処理を再び開始する。
再びステップＳ１０１からＳ１０６の処理によって新たな合成画像ｆを得る。
ステップＳ１０７でさらに比較画像がないと判断されるまで（Ｓ１０７のＮ）、同様の処理を繰り返し、最終的に合成画像ｇを得る。

＜ステップＳ１０９＞
ノイズ除去手段２０は、各ブロックについて合成に使用した画像の枚数にしたがいノイズリダクションの係数を決定し、ノイズ除去のフィルタ処理をする（Ｓ１０９）。
ノイズリダクションの方法としては既知の技術を用いる。例えばバイラテラルフィルタやガウシアンフィルタ、メディアンフィルタによるノイズリダクションの方法が知られている。

ノイズリダクションの係数の決定においては、合成に使用された画像が多いほどノイズリダクションの係数を小さくし、ノイズ除去のフィルタが弱くかかるようにする。逆に使用された画像が少ないほどノイズリダクションの係数を大きくしてフィルタを強くかける。

例として、本実施の形態でバイラテラルフィルタを用いた場合について説明する。
バイラテラルフィルタは、注目画素とその周辺の参照画素について距離の差と輝度の差による重みづけをして平均化をするフィルタである。距離および画素値のそれぞれの重みづけには一般的にガウス分布が用いられる。
注目画素をｐ、参照画素をｑ、参照画素の集合をＡ、画素値をそれぞれＩ（ｐ）、Ｉ（ｑ）とすると輝度の差による重みづけ関数ｗ（ｐ，ｑ）は下記式（３）のようになる。

この重みづけ関数ｗ（ｐ，ｑ）について係数σ_ｄを変更することにより、フィルタの強さを変えることができる。
ノイズリダクションの係数σ_ｄを大きくするほどフィルタのかかり方は強くなる。

ステップＳ１０９においては、この係数σ_ｄを重ね合わせ枚数によって変更することによってフィルタの強さを変更する。
１枚の重ね合わせ画像についてのブロックに関する係数をσとするとき、重ね合わせの画像枚数が２枚、３枚のブロックについてσ／２、σ／３として設定する。
これによって重ね合わせの枚数が多いブロックほど輝度の差による重みづけの分散が小さくなり、フィルタの効果が小さくなる。

また、各画像の最終的な合成画像に対する影響度にしたがってノイズリダクションの係数を決定してもよい。
各画像の各ブロックにおける合成画像に対する影響度は、各合成処理時の重ね合わせ比率の積となる。
図６の例において、画像ｅを生成する際の画像ａの重ね合わせ比率をＭ_ａとし、同様に画像ｅ、画像ｆの各合成処理時における重ね合わせ比率をそれぞれＭ_ｅ、Ｍ_ｆとすると、最終的な合成画像ｇへの画像ａの重ね合わせ比率Ｍ_ｇａは、Ｍ_ａ、Ｍ_ｅ、Ｍ_ｆの積となる。
同様に画像ｂ、画像ｃ、画像ｄについても求める。
入力画像がＮ枚であるとき、その重ね合わせ比率が閾値（例えば１／Ｎ）以上である画像の枚数によって、段階的にノイズリダクション係数を決定することなどが考えられる。

この処理により、最終的な合成画像内のランダムノイズのばらつきを解消し、全体的にノイズの少ないより滑らかな画像を得ることができる。
デジタル画像は画像中にランダムノイズを有しており、画像を合成したときには、ノイズが平均化されてノイズが低減される。
本実施の形態では、ブロックごとに重ね合わせの比率を変更するため、動被写体が存在するブロックでは基準画像と比較画像との間の画素値の差が大きくなり、基準画像に対する比較画像の重ね合わせ比率は小さくなる。
そのため最終的な合成画像は、ノイズが多く残るブロックとノイズが少ないブロックとが存在しブロック間のノイズのばらつきが目立つ画像となる。
したがって、ブロックごとにノイズリダクションの係数を変えながらフィルタを適用することにより全体的なノイズのばらつきがなくなり、より自然な画像を得ることができる。
なお、画像合成によってノイズが低減されたブロックについては、ノイズリダクションフィルタを適用すると逆に画質が悪くなるため、ノイズリダクションを弱くかけるか、あるいはかけないようにしている。

図９は、図３の画像ａないし画像ｄを合成した後のノイズリダクション処理前の画像である。動被写体であるバイクの周辺の領域２００に多くノイズが存在することがわかる。このノイズが多く周辺する領域にはノイズリダクションの係数を大きくしてノイズリダクション処理が行われる。
図１０は、図９の画像にステップＳ１０９のノイズ除去を行った結果である。図９の画像に比べて、領域２００のノイズが低減していることがわかる。

ノイズ除去手段２０は、上記の処理によって得られた合成画像を手ぶれ補正処理後の画像である出力画像データとして画像データ保持部１０に保持する。
画像データ出力手段２２は、出力画像データを外部の表示装置や記憶装置などに出力する。

本実施の形態によれば、画像合成による手ぶれ補正をする際に、各画像間の対応するブロックについて画素値の差を求めて動被写体がありそうなブロックを知り、画像の重ね合わせ処理の時に、そのブロックについての重ね合わせ処理を行わないため、動被写体の影響を受けない画像合成が可能となると共に、撮像装置の設定などに応じて合成閾値を変更することによって、より正確な合成判定結果を得ることができ、ノイズを低減することができる好適な画像合成が行える。

本発明による画像データ処理方法は、コンピュータ上で手ぶれ画像を処理する手ぶれ補正装置、画像合成処理をする画像データ処理装置、デジタルカメラやビデオカメラ等の撮像装置、動画生成装置などに適用することができる。

２ 画像データ処理装置
１０ 画像データ保持部
１２ パラメータ保持部
１４ 記憶部
１６ 演算処理部
１８ 画像合成処理部
２０ ノイズ除去手段
２２ 画像データ出力手段
２４ 入力画像データ
２６ 合成画像データ
２８ 出力画像データ
３０ 動きデータ
３２ 画素値差分データ
３３ 合成判定閾値データ
３４ 重ね合わせ比率データ
３６ 画像データ入力手段
３８ 動きデータ検出手段
４０ ブロック比較手段
４１ 合成判定手段
４２ 重ね合わせ比率算出手段
４３ 合成判定閾値変更手段
４４ 画像合成手段

特開２００９−１６４８５７号公報

Claims (6)

1. 入力された画像データに画像処理を行う画像データ処理装置であって、
   前記画像データは、基準画像と比較画像とを含み、
   前記基準画像と前記比較画像との間の動きデータを算出する動きデータ演算手段と、
   前記基準画像と前記比較画像との画素値の差分を、前記動きデータによって対応付けられるブロックごとに算出するブロック比較手段と、
   前記画素値の差分に基づいて、前記基準画像に対する前記比較画像の重ね合わせ比率を前記ブロックごとに算出する重ね合わせ比率算出手段と、
   前記動きデータ及び前記重ね合わせ比率によって、前記比較画像を前記基準画像に重ね合わせて合成画像を生成する画像合成手段と、
   前記画像合成手段で合成を実行するか否かを合成判定閾値に基づき判定する合成判定処理と、
   前記合成判定閾値を変更する合成判定閾値変更手段と、を備え、
   前記合成判定閾値変更手段は、前記基準画像内の座標に基づき前記合成判定閾値を変更することを特徴とする画像データ処理装置。
2. 前記入力された画像データは、当該入力された画像データの撮像時における光学系の設定データを含み、
   前記合成判定閾値変更手段は、さらに前記光学系の設定データに基づき前記合成判定閾値を変更することを特徴とする請求項１記載の画像データ処理装置。
3. 前記入力された画像データは、当該入力された画像データの撮像時におけるＩＳＯ感度の設定データを含み、
   前記合成判定閾値変更手段は、さらに前記ＩＳＯ感度の設定データに基づき前記合成判定閾値を変更することを特徴とする請求項１記載の画像データ処理装置。
4. 入力された画像データに画像処理を行う画像データ処理方法であって、
   前記画像データは、基準画像と比較画像とを含み、
   前記基準画像と前記比較画像との間の動きデータを算出する動きデータ演算処理と、
   前記基準画像と前記比較画像との画素値の差分を、前記動きデータによって対応付けられるブロックごとに算出するブロック比較処理と、
   前記画素値の差分に基づいて、前記基準画像に対する前記比較画像の重ね合わせ比率を前記ブロックごとに算出する重ね合わせ比率算出処理と、
   前記動きデータ及び前記重ね合わせ比率によって、前記比較画像を前記基準画像に重ね合わせて合成画像を生成する画像合成処理と、
   前記画像合成処理で合成を実行するか否かを合成判定閾値に基づき判定する合成判定処理と、
   前記合成判定閾値を変更する合成判定閾値変更処理と、を備え、
   前記合成判定閾値変更処理は、前記基準画像内の座標に基づき前記合成判定閾値を変更することを特徴とする画像データ処理方法。
5. 前記入力された画像データは、当該入力された画像データの撮像時における光学系の設定データを含み、
   前記合成判定閾値変更工程は、さらに前記光学系の設定データに基づき前記合成判定閾値を変更することを特徴とする請求項４記載の画像データ処理方法。
6. 前記入力された画像データは、当該入力された画像データの撮像時におけるＩＳＯ感度データを含み、
   前記合成判定閾値変更工程は、さらに前記ＩＳＯ感度の設定データに基づき前記合成判定閾値を変更することを特徴とする請求項４記載の画像データ処理方法。