JP2008310418A - 画像処理装置、画像処理プログラム及びそれらを搭載した電子カメラ - Google Patents

Abstract

【課題】 本発明の目的は、画像相互の位置ずれ検出を、連続撮影中に被写体が動く場合でも、高速かつ小さなメモリ容量で可能にする画像処理装置、画像処理プログラム及び電子カメラを提供することである。
【解決手段】 本発明の画像処理装置は、位置ずれ算出条件生成部、幾何変換生成部及び被写体動き領域判定部を備える。位置ずれ算出条件生成部は、被写体を連続撮像した複数の画像の複数の調査箇所における勾配と相互の差分を求め、その勾配と相互の差分に基づき、複数の画像の相対的位置ずれを算出する条件（位置ずれ算出条件）を生成する。幾何変換生成部は、複数の画像の相互の相対的な位置ずれを与える幾何変換を、位置ずれ算出条件に基づいて生成する。被写体動き領域判定部は、位置ずれ算出条件と幾何変換とに基づいて、画像の複数の調査箇所の各々における位置ずれの度合いを表す特徴量を求め、その特徴量が所定値より大きくなる領域を被写体の動きに伴う変位を受けた領域（被写体動き領域）として判定する。
【選択図】 図１

Description

本発明は、連続的に撮像された複数の画像の相対的な位置ずれの検出、及び検出された位置ずれを基に位置ずれ補正を行う画像処理装置、画像処理プログラム及びそれらを搭載した電子カメラに関する。

従来、同一の被写体を含む画像を連続撮影して、それらの画像を合成することにより、ノイズの少ない画像や、パノラマ画像及び解像度の高い画像を生成する方法が提案されている。また、連続撮影中のカメラや被写体の動きに起因する画像相互の位置ずれを検出して補正する方法も提案されている。

例えば、勾配法を適用して画像相互の位置ずれを、アフィン変換を施すことによって検出する方法が開示されている（特許文献１参照）。また、連続撮影中に被写体が動く場合には、被写体の動きに対応する複数の画像領域をそれぞれ検出する方法も、特許文献１にて開示されている。
米国特許第５，９２０，６５７号

上記特許文献１に記載の方法は、連続撮影中に被写体が動かない場合において、比較的高速かつ高精度に位置ずれを検出することができる。しかしながら、連続撮影中に被写体が動く場合には、ある２枚一組の画像の位置ずれを求めるだけでも、画像全体の演算処理を複数回繰り返す等の必要があり、処理時間及びメモリ容量の増大を招くという問題がある。

本発明は、上記従来技術の問題を鑑み、画像相互の位置ずれ検出を、連続撮影中に被写体が動く場合でも、高速かつ小さなメモリ容量で可能にする画像処理装置、画像処理プログラム及び電子カメラを提供することを目的とする。

上記課題を解決するために、請求項１に記載の画像処理装置は、被写体を連続撮像した複数の画像の複数の調査箇所における勾配と相互の差分を求め、前記勾配と相互の差分に基づき、前記複数の画像の相対的位置ずれを算出する位置ずれ算出条件を生成する位置ずれ算出条件生成部と、前記複数の画像の相互の相対的な位置ずれを与える幾何変換を、前記位置ずれ算出条件に基づいて生成する幾何変換生成部と、前記位置ずれ算出条件と前記幾何変換とに基づいて、前記画像の複数の調査箇所の各々における、前記幾何変換に対する位置ずれの外れ度合いを表す特徴量を求め、前記特徴量が所定値より大きくなる領域を被写体の動きに伴う変位を受けた被写体動き領域として判定する被写体動き領域判定部とを備えることを特徴とする。

請求項２に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記被写体動き領域における位置ずれ算出条件に基づいて、動き領域位置ずれ量を算出する被写体動き領域位置ずれ算出部を、さらに備えることを特徴とする。

請求項３に記載の画像処理装置は、請求項２に記載の画像処理装置において、前記複数の画像の相対的位置ずれを補正する位置ずれ補正部をさらに備え、前記位置ずれ補正部は、前記被写体動き領域以外の領域の画像では、前記幾何変換に基づいて位置ずれを補正し、前記被写体動き領域の画像では、前記幾何変換に基づく補正値と前記局所的位置ずれ量に基づく補正値を求め、画像相互の差分が最も小さくなる補正値を選択し位置ずれ補正することを特徴とする。

請求項４に記載の画像処理装置は、請求項１から請求項３のいずれかに記載の画像処理装置において、前記被写体動き領域判定部は、判定結果を前記幾何変換部にもどす判定返し部と、前記幾何変換生成部は、前記判定結果に基づいて、前記被写体動き領域以外の領域における位置ずれ算出条件のみを用いて幾何変換を生成する静止領域幾何変換部をさらに備えることを特徴とする。

請求項５に記載の画像処理装置は、請求項１から請求項４のいずれかに記載の画像処理装置において、前記幾何変換に応じて前記画像に位置ずれを補正し合成する画像合成部をさらに備え、前記画像合成部は、前記被写体動き領域においては前記複数の画像相互の差分が所定値より小さな箇所のみにおいて画像合成を行うことを特徴とする。

請求項６に記載の画像処理装置は、請求項５に記載の画像処理装置において、前記画像合成部は、前記被写体動き領域以外の領域については、前記幾何変換に応じて前記画像の位置ずれを補正し合成することを特徴とする。

請求項７に記載の画像処理装置は、被写体を連続撮影した複数の画像の各々の多重解像度画像を生成する多重解像度生成部と、前記多重解像度画像のうち、解像度を縮小された第１の画像の複数の調査箇所の勾配と相互の差分を求め、前記勾配と相互の差分に基づき、複数の前記第１の画像の相対的位置ずれを算出する条件を生成する第１の位置ずれ算出条件生成部と、前記複数の第１の画像の相対的位置ずれを与える第１の幾何変換を、前記第１の位置ずれ算出条件に基づいて生成する第１の幾何変換生成部と、前記第１の位置ずれ算出条件と前記第１の幾何変換とに基づいて、前記第１の画像の複数の調査箇所の各々における、前記第１の幾何変換に対する位置ずれの外れ度合いを表す第１の特徴量を求め、前記第１の特徴量が所定値より大きくなる領域を第１の被写体動き領域として判定する第１の被写体動き領域判定部と、前記第１の被写体動き領域における前記第１の位置ずれ算出条件に基づいて、第１の動き領域位置ずれ量を算出する第１の被写体動き領域位置ずれ算出部と、前記多重解像度画像のうち、前記第１の解像度に比べて解像度の高い第２の画像の複数の調査箇所の勾配と相互の差分を、前記第１の幾何変換及び前記第１の動き領域位置ずれ量を基に求め、前記第２の画像の前記勾配と相互の差分に基づき、複数の前記第２の画像の相互の相対的位置ずれを算出する条件を生成する第２の位置ずれ算出条件生成部と、前記複数の第２の画像の相対的位置ずれを与える第２の幾何変換を、前記第２の位置ずれ算出条件に基づいて生成する第２の幾何変換生成部と、前記第２の位置ずれ算出条件と前記第２の幾何変換とに基づいて、前記第２の画像の前記複数の調査領域の各々における、前記第２の幾何変換に対する位置ずれの外れ度合いを表す第２の特徴量を求め、前記第２の特徴量が所定値より大きくなる領域を第２の被写体動き領域として判定する、第２の被写体動き領域判定部と、前記第２の被写体動き領域における前記第２の位置ずれ算出条件に基づいて、第２の動き位置ずれ量を算出する第２の被写体動き領域位置ずれ算出部とを備えることを特徴とする。

請求項８に記載の画像処理装置は、請求項７に記載の画像処理装置において、前記第２の幾何変換生成部は、前記第１の被写体動き領域以外の領域に対応する前記第２の位置ずれ算出条件のみに基づいて、前記第２の幾何変換を生成する第２の静止領域幾何変換部をさらに備えることを特徴とする。

請求項９に記載の画像処理装置は、請求項１から請求項８のいずれかに記載の画像処理装置において、前記幾何変換生成部は、幾何変換として、アフィン変換を用いることを特徴とする。

請求項１０に記載の画像処理プログラムは、請求項１から請求項９のいずれかに記載の画像処理装置として、コンピュータを機能させることを特徴とする。

請求項１１に記載の電子カメラは、被写体を撮像して画像データを生成する撮像部と、請求項１から請求項９のいずれかに記載の画像処理装置とを備えることを特徴とする。

本発明によれば、連続して撮影された複数の画像の相対的な位置ずれや被写体の動きの検出を、画像全データを用い計算するのではなく、画像の複数の調査箇所の勾配や相互の差分から求められる。それにより、処理量の減少だけでなく、処理速度の高速化が可能となり、回路規模の小型化を図ることができる。

以下に、本発明の実施の形態について図を参照して詳細に説明する。
≪第１の実施の形態≫
図１は、本発明の第１の実施の形態に係る画像処理装置４を示す。本実施の形態に係る画像処理装置４は、マイクロプロセッサ５、メモリ６、信号入力部７、記憶装置８及び入出力インターフェース１０から基本的に構成される。マイクロプロセッサ５、メモリ６、信号入力部７、記憶装置８及び入出力インターフェース１０はバス９を介して情報伝達可能に接続される。さらに、画像処理装置４は、入出力インターフェース１０を介して、制御装置１１が接続されている。制御装置１１には、出力装置１２が接続されている。

マイクロプロセッサ５は、制御装置１１からの開始命令と画像処理の初期設定を、入出力インターフェース１０を経由して受け、メモリ６に保持されている画像処理プログラムを実行する。マイクロプロセッサ５は、記憶装置８に格納されている画像データを適宜読み込み画像処理を行う。処理結果は、記憶装置８に保存され、同時に入出力インターフェース１０を介して制御装置１１に返され、出力装置１２に表示される。マイクロプロセッサ５は、制御装置１１からの次の命令を待つ。マイクロプロセッサ５には、一般的なコンピュータのＣＰＵが使用できる。

メモリ６は、画像処理プログラムの保持、及びマイクロプロセッサ５が行う画像処理に伴う途中の処理結果や各構成要素からの各種データの一時記憶に用いられる。メモリ６には、一般的な半導体メモリを用いることができる。

信号入力部７は、カメラユニット１の対物レンズ２で結像し撮像素子３で取得した被写体の画像のデータをカメラユニット１から取り込む。カメラユニット１と画像処理装置４との間での画像のデータの受け渡しは、記憶媒体（不図示）の授受または通信回線を介したデータ通信によって実現される。なお、画像処理装置４に取り込まれた画像のデータは、バス９を介して記憶装置８に保存される。

記憶装置８は、マイクロプロセッサ５での画像処理の対象となる位置基準画像及び位置ずれ補正対象画像の画像データを格納及び保持する。画像データは、ビットマップ形式、ｊｐｅｇ形式、ｔｉｆｆ形式等の様々な形式で保持される。記憶装置８に保持されたデータは、バス９を介して、マイクロプロセッサ５から適宜参照することができる。記憶装置８は、一般的なハードディスク装置や光磁気ディスク装置、または脱着可能なメモリカード等の記憶装置を選択して用いることができる。

入出力インターフェース１０は、制御装置１１からの開始命令や画像処理の初期設定をマイクロプロセッサ５に伝え、逆にマイクロプロセッサ５からの処理結果を制御装置１１へ送るために用いられる。

出力装置１２は、制御装置１１がマイクロプロセッサ５から受ける画像処理の途中経過やその結果を、ユーザが確認可能な情報として表示する。出力装置１２には、モニタやプリンタ等を用いることができる。

制御装置１１は、ユーザによる画像処理プログラムの実行開始や画像処理の初期設定等が適宜できる。制御装置１１には、一般的なパーソナルコンピュータ等を適宜選択して用いることができる。

以下に、本第１の実施の形態に係る画像処理装置４を用いた画像処理方法について、図２のフローチャートに示されたステップ番号に沿って、図３のブロック図と合わせて説明する。ここで、図３の各部は、画像処理装置４のマイクロプロセッサ５が画像処理プログラムを実行することでソフトウエア的に実現される。

具体的には、ユーザが、制御装置１１から画像処理の初期設定等と共に、画像処理プログラムのコマンドを入力し開始命令を出す。入出力インターフェース１０を通じて、画像処理装置４のマイクロプロセッサ５がその命令を受け、メモリ６に格納されている画像処理プログラムを実行する。その結果、図２のステップＳ１０１からステップＳ１１４の処理が行われる。なお、以下の説明では、画像処理装置４の記憶装置８に、カメラユニット１によって連続撮影された複数の画像のデータが、あらかじめ記憶されていることを前提とする。

ステップＳ１０１では、図３の画像入力部３１が、位置基準画像ｆ₀（ｘ，ｙ）を記憶装置８から読み込む。基準位置画像は、連続撮像された複数の画像の中から、ユーザが任意に決めることができ、一番目や最後に撮られた画像でも良いし、ユーザが一番きれいに撮れたと判断する画像でも良い。

ステップＳ１０２では、画像入力部３１が、位置ずれ補正対象画像ｇ₀（ｘ，ｙ）を記憶装置８から読み込む。

ステップＳ１０３では、画像平滑部３２が、読み込んだ位置基準画像ｆ₀（ｘ，ｙ）及び位置ずれ補正対象画像ｇ₀（ｘ，ｙ）を平滑化する。この平滑化の処理は、例えば１３×１３画素の一様平滑化フィルタ等で行うことが好適である。これにより、画像の空間変化の長さが位置ずれに比べて大きくなり勾配法を適用可能となる。

ここで、次のステップＳ１０４に進む前に、アフィン変換について、図４を参照しつつ簡単に説明する。いま、平滑化された位置基準画像２０及び位置ずれ補正対象画像２１を、ｆ(ｘ_i，ｙ_i)とｇ(ｘ_i，ｙ_i)とする。ｆ(ｘ_i，ｙ_i)やｇ(ｘ_i，ｙ_i)は、それぞれ座標（ｘ_i，ｙ_i）（単位はピクセル）における画像の画素値を表す。

画像ｆとｇとの違いが位置ずれだけによる場合、（ｘ_i，ｙ_i）における位置ずれ（Δｘ_i，Δｙ_i）は次式（１）で表される。

画像の空間変化の長さに比べて位置ずれ（Δｘ_i，Δｙ_i）が小さい場合、次式（２）のようになる。

ここで、ｆ_xとｆ_yは画像ｆのｘ方向とｙ方向それぞれの勾配である。撮影に用いた光学系の焦点距離に対して被写体が十分遠方にある条件下で、撮像装置を手に持って撮影したこと等による、撮影装置の位置ブレ、光軸方向のブレ、または光軸回りの回転ブレに起因する位置ずれは、図４に示すように、並進による位置ずれ（ｕ，ｖ）と画像ｇの画像ｆに対する角度ｋ（ｒａｄ）の微少回転ずれとだけになる。したがって、位置ずれ（Δｘ_i，Δｙ_i）＝（ｕ＋ｋｙ_i，ｖ−ｋｘ_i）と表され、式（２）は次式（３）のようになる。

ここで、ｄ_iは相互の差分である。式（３）が、調査箇所（ｘ_i，ｙ_i）における位置ずれ算出条件式となる。

本発明では画像の全体的な位置ずれがアフィン変換に従うと仮定し、画像の様々な箇所に多数設けられる調査箇所（ｘ_i，ｙ_i）における位置ずれ算出条件（式（３））を求める。変数ｕ、ｖ、ｋはアフィン変換係数と呼ばれ、式（３）から求まる位置ずれ算出条件を用いて、本発明の画像処理において求めものである。しかしながら、実際には、式（３）の近似誤差や画像のノイズの影響等により、全ての調査箇所において、完全に式（３）を満たすアフィン変換係数は存在しない。そこで、次式（４）で示すように、式（３）の左辺と右辺との差分の２乗和である特徴量Ｅが、最小になるようにアフィン変換係数の値を決めればよい。

つまり、式（４）の特徴量Ｅをアフィン変換係数ｕ、ｖ、ｋの各々で偏微分した値が０になるときであり、次式（５）の連立方程式を解くことで求められる。

ステップＳ１０４では、図３の各ブロック位置ずれ算出条件生成積算部３３が、平滑化された位置基準画像ｆ(ｘ_i，ｙ_i)及び位置ずれ補正対象画像ｇ(ｘ_i，ｙ_i)の各々を、例えば６４×６４画素の大きさのブロック領域に分割する。各ブロック位置ずれ算出条件生成積算部３３は、各ブロック領域それぞれにおいて、例えば４画素おきに設定した調査箇所において、式（５）の左辺の３×３行列と右辺３×１行列の各要素、及び相互の差分ｄ_iの２乗の計１０個の値を求め積算する。各ブロックにおける積算結果は、全ブロック位置ずれ算出条件生成部３４、被写体動き領域判定部３６及び被写体動き領域位置ずれ算出部３７に出力される。

ステップＳ１０５では、全ブロック位置ずれ算出条件生成部３４が、ステップＳ１０４で求めた各ブロックの式（５）左辺の３×３行列と右辺３×１行列の９個の要素の積算値を、全ブロックについて積算する。

ステップＳ１０６では、アフィン変換生成部３５が、ステップＳ１０５で求めた全ブロックの９個の積算値を使い、式（５）の連立方程式を解き、アフィン変換係数ｕ、ｖ、ｋを求める。

ステップＳ１０７では、被写体動き領域判定部３６が、ステップＳ１０４で求めた各ブロックの１０個の積算値とステップＳ１０６で求めたアフィン変換係数を用い、各ブロックごとに式（４）の特徴量Ｅを算出する。そして、被写体動き領域判定部３６は、上記の特徴量Ｅに基づいて、判定対象のブロックが被写体動き領域（図４に示す被写体の動きに伴う変位２６を受けた領域２５）であるか否かを判定する。具体的には、被写体動き領域判定部３６は、特徴量Ｅが決められた所定値以上の場合には、判定対象のブロックは被写体動き領域と判定しステップＳ１０８に移行する。一方、被写体動き領域判定部３６は、特徴量Ｅが所定値未満の場合にはステップＳ１０９に移行する。

ここで、この所定値は状況に応じて任意に決められる。本第１の実施の形態では、所定値として、例えば、（１０ピクセルの２乗）×（調査箇所数）、又は被写体動き領域のＥが被写体動き領域以外の領域のＥの５倍から６倍大きい、という条件を用いた。

ステップＳ１０８では、被写体動き領域位置ずれ算出部３７が、被写体動き領域と判定されたブロックの位置ずれｕ_m、ｖ_mを計算する。ここで、被写体動き領域の位置ずれは、対応するブロック内で一定と考えられることから、式（４）及び式（５）は次の式（６）及び式（７）のように変形できる。

したがって、被写体動き領域位置ずれ算出部３７は、式（７）を用いて被写体動き領域の位置ずれｕ_m、ｖ_mが求められる。ステップＳ１０８の処理後は、ステップＳ１１０に移行する。

ステップＳ１０９では、位置ずれ補正部３８が、ステップＳ１０７で被写体動き領域でないと判定されたブロック領域の位置ずれ補正を、ステップＳ１０６で導出したアフィン変換係数を用いて行う。すなわち、ステップＳ１０３で平滑化する前の元の位置ずれ補正対象画像をｇ₀、補正後の画像をｇ₀'とすると、アフィン変換係数を用いれば、次式（８）のように補正されることとなる。

ステップＳ１０９の処理後は、ステップＳ１１３へ移行する。

ステップＳ１１０では、位置ずれ補正部３８が、ステップＳ１０７で被写体動き領域と判定されたブロック領域の位置ずれ補正を行う。この位置ずれ補正には、ステップＳ１０６のアフィン変換係数を用いて補正する場合（式（９））と、ステップＳ１０７で求めた位置ずれｕ_m、ｖ_mを用いて補正する場合（式（１０））の２通りがある。

そこで、位置ずれ補正部３８は、ｇ₀''とｇ₀'''を計算し、平滑化される前の位置基準画像ｆ₀(ｘ，ｙ)との差分の絶対値｜ｇ₀''−ｆ₀｜と｜ｇ₀'''−ｆ₀｜の各々を求め、２つの絶対値の大きさを比較する。｜ｇ₀''−ｆ₀｜＞｜ｇ₀'''−ｆ₀｜の場合（ＹＥＳ側）にはステップＳ１１１へ移行し、｜ｇ₀''−ｆ₀｜≦｜ｇ₀'''−ｆ₀｜の場合（ＮＯ側）にはステップＳ１１２へ移行する。

ステップＳ１１１では、位置ずれ補正部３８が、ｇ₀'''を位置ずれ補正した画像ｇ₀'とする。ステップＳ１１１の処理後はステップＳ１１３へ移行する。

ステップＳ１１２では、位置ずれ補正部３８が、ｇ₀''を位置ずれ補正した画像ｇ₀'とする。

ステップＳ１１３において、マイクロプロセッサ５は、次の位置ずれ補正対象画像ｇ₀（ｘ，ｙ）が存在するか否かを判定する。次の位置ずれ補正対象画像が存在する場合にはステップＳ１０２に戻り、次の対象画像についてのステップＳ１０２からステップＳ１１２の位置ずれ補正処理を行う。一方、次の位置ずれ補正対象画像がない場合には、ステップＳ１１４へ移行する。

ステップＳ１１４では、図３の画像合成部３９が、上記ステップＳ１０１からステップＳ１１３の処理によって位置ずれ補正された複数の画像を用いて、そのうちの一枚の画像を合成の基準にして画像合成を行う。この合成基準画像は、位置基準画像でも良いし、位置ずれ補正された画像の１枚を用いても良い。また、当該ステップＳ１１４での合成方法としては、例えば複数枚の画像の画素値を積算し平均処理を行えば良い。このような合成を行うことで、合成された画像のノイズが連続撮影画像に比べて低減される等の効果が得られる。被写体動き領域以外の領域では、ステップＳ１０９で補正した画像すべてが画像合成に用いられる。他方、被写体動き領域では、ステップＳ１１１又はステップＳ１１２で位置ずれ補正した画像でも、補正画像と合成基準画像との差分の絶対値が所定値より小さい画像のみを使用する。当該所定値は、状況に応じて任意に決められる。本第１の実施形態では、画素数で１０ピクセルとした。

以上のように、本第１の実施の形態によると、位置ずれ算出条件に基づいて画像の相対的な位置ずれを与えるアフィン変換を求め、画像の各ブロック領域の位置ずれの度合いを表す特徴量を算出することにより、被写体動き領域を適切に判定できる。さらに、被写体動き領域と判定された領域の位置ずれを、その領域の位置ずれ算出条件に基づいて適切に算出できる。

このように本第１の実施の形態は、位置ずれ算出条件を用いて、アフィン変換生成、被写体動き領域判定、被写体動き領域の位置ずれ算出の３つの機能が実現でき、回路規模の縮小と処理の高速化を実現できる。

なお、被写体動き領域では、動く被写体領域と背景領域が混在し、動く被写体領域の位置ずれは被写体動き領域の位置ずれにより与えられ、背景領域の位置ずれはアフィン変換により与えられる。本実施の形態の位置ずれ補正では、被写体動き領域内の各箇所について上記２つの位置ずれのうち適切な方が選択される。

また、本実施の形態の画像合成では、被写体動き領域における位置ずれ補正結果が万一不正確であった場合、その画像を除外して合成処理を行うようにされている。

なお、本第１の実施の形態では、被写体動き領域を判定した後、その領域の位置ずれ検出と補正を行ったが、本発明はそれに限定されない。例えば、本第１の実施の形態の別案として、アフィン変換と被写体動き領域を求めた後、被写体動き領域以外の領域の画像のみについてアフィン変換による位置ずれ補正と画像合成を行い、被写体動き領域の画像については合成基準画像をそのまま出力しても良い。この場合には、被写体動き領域以外の領域の画像合成を得ながら、被写体動き領域では不都合が生じない。また、位置ずれ算出条件を用いて、アフィン変換生成と被写体動き領域判定の２つの機能を実現でき効率的である。

また、本第１の実施の形態では、画像合成として画像平均によるノイズ低減を行ったが、本発明はこれに限定されない。当該画像合成は、高解像度化、パノラマ化、ダイナミックレンジの拡張等、公知の様々な画像処理に適応できる。なお、ダイナミックレンジの拡張の場合には、輝度レベルの異なる複数の画像を合成するため、あらかじめゲインを調整する等の処理を施し画像の輝度レベルを揃えれば、本発明を適応できる。

また、被写体動き領域以外の領域のみについて、式（５）の左辺の３×３行列と右辺３×１行列の積算した９個の各要素をすべて足し合わせ、その積算値を用いてアフィン変換を求めても良い。これにより、アフィン変換に従う領域のみから計算を行うことから、位置ずれ補正が高精度になる。

また、ノイズが多い画像の位置ずれを求める場合、ノイズの影響により画像の勾配や相互の差分が正確に求められなくなり、不適切な処理結果を得る可能性がある。その問題を解決するには、ある箇所における勾配又は相互の差分を閾値と比較して、大きい場合にその箇所を調査箇所とすればよい。この閾値は、例えば、ノイズによって生じる勾配や差分の標準偏差の２倍程度に定める。

また、本第１の実施の形態では、画像相互の位置ずれは並進ずれと微少回転ずれのみと想定したが、次の式（１１）に示す６自由度のアフィン変換モデルを適用してもよい。

このアフィン変換モデルを用いれば、連続撮影中にズーミングした場合にも適応でき、近距離被写体を撮影した場合の手ぶれによる位置ずれにも対応できる。
≪第２の実施の形態≫
本第２の実施の形態として、多重解像度画像による勾配法に本発明を適用する方法について、図を参照しながら詳細に説明する。

本第２の実施の形態に係る画像処理装置は、基本的に前記第１の実施の形態に係る画像処理装置（図１）と共通なので、各構成要素の動作に関する説明は省略する。本第２の実施の形態が第１の実施の形態と異なる点は、画像処理装置４のメモリ６に導入される画像処理プログラムが多重解像度画像による勾配法用のものである。

本第２の実施の形態に係る画像処理装置４を用いた画像処理方法について、図５及び図６のフローチャートに示されたステップ番号に沿って、図７のブロック図と合わせて説明する。図７の各部は、画像処理装置４のマイクロプロセッサ５が画像処理プログラムを実行することでソフトウエア的に実現される。

具体的には、ユーザが、制御装置１１から画像処理の初期設定等と共に、画像処理プログラムのコマンドを入力し開始命令を出す。入出力インターフェース１０を通じて、画像処理装置４のマイクロプロセッサ５がその命令を受け、メモリ６に格納されている画像処理プログラムを実行する。その結果、マイクロプロセッサ５はステップＳ２００からステップＳ２２６の処理を行う。

ステップＳ２００では、図７の画像入力部４０が、位置基準画像ｆ₀（ｘ，ｙ）を記憶装置８から読み込む。基準位置画像は、連続撮像された複数の画像の中から任意に決めることができ、一番目や最後に撮られた画像でも良いし、ユーザが一番きれいに撮れたと判断する画像でも良い。

ステップＳ２０１では、画像入力部４０が、位置ずれ補正対象画像ｇ₀（ｘ，ｙ）を記憶装置８から読み込む。

ステップＳ２０２では、図７の多重解像度画像生成部４５が、位置基準画像及び位置ずれ補正対象画像を各々多重解像度変換し、縦横の画素サイズを半分にした１／４画像ｆ₀₂（ｘ，ｙ）とｇ₀₂（ｘ，ｙ）、縦横の画素サイズを１／４にした１／１６画像ｆ₀₃（ｘ，ｙ）とｇ₀₃（ｘ，ｙ）を生成する。多重解像度変換として、例えば、ウエーブレット変換のＬＬ成分を逐次生成する方法等、従来の様々な方法を用いることができる。

最初に、１／１６画像処理部７０が、１／１６画像を用いて、位置ずれを検出し、アフィン変換、被写体動き領域判定及び被写体動き領域の位置ずれを求める。

ステップＳ２０３では、画像平滑化部７１が、１／１６サイズの位置基準画像ｆ₀₃（ｘ，ｙ）及び位置ずれ補正対象画像ｇ₀₃（ｘ，ｙ）の各々を平滑化し、ｆ₃（ｘ，ｙ）とｇ₃（ｘ，ｙ）を得る。この平滑化の処理は、第１の実施の形態よりも小さな５×５画素の一様平滑化フィルタ等で行うことが好適である。

ステップＳ２０４では、図７の各ブロック位置ずれ算出条件生成積算部７２が、平滑化された位置基準画像ｆ₃(ｘ_i，ｙ_i)及び位置ずれ補正対象画像ｇ₃(ｘ_i，ｙ_i)の各々を、例えば６４×６４画素の大きさのブロック領域に分割する。各ブロック位置ずれ算出条件生成積算部７２は、各ブロック領域それぞれにおいて、例えば４画素おきに設定した調査箇所において、式（５）左辺の３×３行列と右辺３×１行列の各要素、及び相互の差分ｄ_iの２乗の計１０個の値を求め積算する。

ステップＳ２０５では、全ブロック位置ずれ算出条件生成部７３が、ステップＳ２０４で求めた各ブロックの式（５）左辺の３×３行列と右辺３×１行列の９個の要素の積算値を、全ブロックについて積算する。

ステップＳ２０６では、アフィン変換生成部７４が、ステップＳ２０５で求めた全ブロックの９個の積算値を使い、式（５）の連立方程式を解き、アフィン変換係数ｕ、ｖ、ｋを求める。

ステップＳ２０７では、被写体動き領域判定部７５が、ステップＳ２０４で求めた各ブロックの１０個の積算値とステップＳ２０６で求めたアフィン変換係数を用い、各ブロックごとに式（４）の特徴量Ｅを算出し、その特徴量Ｅに基づいて、判定対象のブロックが被写体動き領域であるか否かを判定する。なお、当該ステップＳ２０７の処理は、第１の実施の形態のステップＳ１０７と同じであり、詳細な説明は省略する。被写体動き領域判定部７５が、判定対象のブロックを被写体動き領域と判定した場合（ＹＥＳ側）には、ステップＳ２０８へ移行し、それ以外の場合（ＮＯ側）にはステップＳ２０９へ移行する。

ステップＳ２０８では、被写体動き領域位置ずれ算出部７６が、被写体動き領域と判定されたブロックの位置ずれｕ_m、ｖ_mを式（７）を用いて計算する。

続いて、１／４画像処理部６０が、１／４画像を用いて、位置ずれを検出し、アフィン変換、被写体動き領域判定判定及び被写体動き領域の位置ずれを求める。

ステップＳ２０９では、図７の画像平滑化部６１が、１／４サイズの位置基準画像ｆ₀₂（ｘ，ｙ）及び位置ずれ補正対象画像ｇ₀₂（ｘ，ｙ）の各々を平滑化し、ｆ₂（ｘ，ｙ）とｇ₂（ｘ，ｙ）を得る。ここでの平滑化の処理も、５×５画素の一様平滑化フィルタ等で行うことが好適である。

ステップＳ２１０では、図７の各ブロック位置ずれ算出条件生成積算部６２が、平滑化された１／４サイズの位置基準画像及び位置ずれ補正対象画像の各々を、例えば６４×６４画素の大きさのブロック領域に分割する。各ブロック領域毎に複数の調査箇所（ｘ_i，ｙ_i）における位置ずれ算出条件を求める。ただし、本第２の実施形態では多重解像度画像による勾配法を用いることから、１／１６画像におけるアフィン変換の結果を利用することで、より高精度な位置ずれ算出条件を求められる。

ここで、２つの画像ｆ(ｘ_i，ｙ_i)とｇ(ｘ_i，ｙ_i)との縮小した画像（低解像度画像）を用いて、調査箇所（ｘ_i，ｙ_i）における位置ずれを（Ｕ_i，Ｖ_i）とする。この結果を用いると、画像ｆ（ｘ_i，ｙ_i）とｇ（ｘ_i，ｙ_i）との位置ずれ（Δｘ_i，Δｙ_i）は、画像ｆ(ｘ_i，ｙ_i)とｇ(ｘ_i＋Ｕ_i，ｙ_i＋Ｖ_i)との位置ずれ（Δｘ_i−Ｕ_i，Δｙ_i−Ｖ_i）を求めるのと同じになる。そして、（Ｕ_i，Ｖ_i）の誤差である（Δｘ_i−Ｕ_i，Δｙ_i−Ｖ_i）が画像構造の変化幅（平滑化フィルタのサイズ）に比べて小さいならば、式（２）を基に次式（１２）のように変形できる。

式（１２）は、低解像度画像から大まかな位置ずれ（Ｕ_i，Ｖ_i）を求めることで、より高精度な調査箇所（ｘ_i，ｙ_i）における位置ずれ算出条件を生成できることを示す。式（１２）は、次式（１３）のようになる。

上記により、当該ステップＳ２１０では、各ブロック領域の各々において、例えば４画素おきに設定した調査箇所において、式（１３）を用いて、式（５）の左辺の３×３行列と右辺３×１行列の各要素、及び相互の差分ｄ_iの２乗の計１０個の値を求め積算する。（Ｕ_i，Ｖ_i）は、１／１６画像での調査箇所が被写体動き領域にあるならば、その領域の位置ずれｕ_m、ｖ_mを２倍した値になる。一方、調査箇所が被写体動き領域以外の領域にあるならば、（Ｕ_i，Ｖ_i）を１／１６画像のアフィン変換係数を用いて表すと、次式（１４）になる。

ステップＳ２１１では、図７の全ブロック位置ずれ算出条件生成積算部６３が、ステップＳ２１０で求めた各ブロックの式（５）の左辺の３×３行列と右辺３×１行列の９個の要素の積算値を、全ブロックについて積算する。ただし、第１の実施の形態とは異なり、当該積算の際、１／１６画像で求めた被写体動き領域判定の結果を用い、１／１６画像において被写体動き領域以外の領域に対応するブロックについてのみ積算する。

ステップＳ２１２では、アフィン変換生成部６４が、ステップＳ２１１で求めた全ブロックの９個の積算値を使い、式（５）の連立方程式を解き、アフィン変換係数を求める。

ステップＳ２１３では、被写体動き領域判定部６５が、ステップＳ２１０で求めた各ブロックの１０個の積算値とステップＳ２１１で求めたアフィン変換係数を用い、各ブロックごとに式（４）の特徴量Ｅを算出し、その特徴量Ｅに基づいて、判定対象のブロックが被写体動き領域であるか否かを判定する。なお、当該ステップ２１３の処理は、第１の実施の形態のステップＳ１０７と同じであり、詳細な説明は省略する。被写体動き領域判定部６５が、判定対象のブロックを被写体動き領域と判定した場合（ＹＥＳ側）には、ステップＳ２１４へ移行し、それ以外の場合（ＮＯ側）には図６のステップＳ２１５へ移行する。

ステップＳ２１４では、被写体動き領域位置ずれ算出部６６が、被写体動き領域と判定されたブロックの位置ずれｕ_m、ｖ_mを式（７）を用いて計算する。そして、図６のステップＳ２１５へ移行する。

最後の１／１画像処理部５０が、１／１画像を用いて、位置ずれを検出し、アフィン変換、被写体動き領域判定及び被写体動き領域の位置ずれを求める。

ステップＳ２１５では、図７の画像平滑化部５１が、１／１サイズの位置基準画像ｆ₀₁（ｘ，ｙ）及び位置ずれ補正対象画像ｇ₀₁（ｘ，ｙ）の各々を平滑化し、ｆ₁（ｘ，ｙ）及び位置ずれ補正対象画像ｇ₁（ｘ，ｙ）を得る。ここでの平滑化は、第１の実施の形態よりも小さな５×５画素の一様平滑化フィルタ等で行うことが好適である。

ステップＳ２１６では、各ブロック位置ずれ算出条件生成積算部５２が、平滑化された１／１サイズの位置基準画像及び位置ずれ補正対象画像の各々を、例えば６４×６４画素の大きさのブロック領域に分割する。各ブロック領域の各々において、例えば４画素おきに設定した調査箇所において、式（５）左辺の３×３行列と右辺３×１行列の各要素、及び相互の差分ｄ_iの２乗の計１０個の値について求め積算する。この時、ステップＳ２１０と同様に、式（１３）、１／４画像におけるアフィン変換、被写体動き領域及び被写体動き領域の位置ずれの結果を用いる。

ステップＳ２１７では、図７の全ブロック位置ずれ算出条件生成積算部５３が、ステップＳ２１６で求めた各ブロックの式（５）の左辺の３×３行列と右辺３×１行列の９個の要素の積算値を、全ブロックについて積算する。ただし、当該積算の際、１／４画像で求めた被写体動き領域判定の結果を用い、１／４画像において被写体動き領域以外の領域に対応するブロックについてのみ積算する。

ステップＳ２１８では、アフィン変換生成部５４が、ステップＳ２１７で求めた全ブロックの９個の積算値を使い、式（５）の連立方程式を解き、アフィン変換係数を求める。

ステップＳ２１９では、被写体動き領域判定部５５が、ステップＳ２１６で求めた各ブロックの１０個の積算値とステップＳ２１７で求めたアフィン変換係数を用い、各ブロックごとに式（４）の特徴量Ｅを算出し、その特徴量Ｅに基づいて、判定対象のブロックが被写体動き領域であるか否かを判定する。なお、当該ステップ２１９の処理は、第１の実施の形態のステップＳ１０７と同じであり、詳細な説明は省略する。被写体動き領域判定部５５が、判定対象のブロックを被写体動き領域と判定した場合（ＹＥＳ側）には、ステップＳ２２１へ移行し、それ以外の場合（ＮＯ側）にはステップＳ２２０へ移行する。

ステップＳ２２０では、位置ずれ補正部８０が、被写体動き領域でないと判定されたブロック領域の位置ずれ補正を、式（８）とステップＳ２１８で導出したアフィン変換係数とを用いて行う。ステップＳ２２０の処理後は、ステップＳ２２５へ移行する。

ステップＳ２２１では、被写体動き領域位置ずれ算出部５６が、被写体動き領域と判定されたブロックの位置ずれｕ_m、ｖ_mを式（７）を用いて計算する。

ステップＳ２２２では、位置ずれ補正部８０が、被写体動き領域と判定されたブロック領域の位置ずれ補正を行う。なお、当該ステップ２２２は、第１の実施の形態のステップＳ１１０の場合と同じであり、詳細な説明は省略する。｜ｇ₀''−ｆ₀｜＞｜ｇ₀'''−ｆ₀｜の場合（ＹＥＳ側）にはステップＳ２２３へ移行し、｜ｇ₀''−ｆ₀｜≦｜ｇ₀'''−ｆ₀｜の場合（ＮＯ側）にはステップＳ２２４へ移行する。

ステップＳ２２３では、位置ずれ補正部８０が、ｇ₀'''を位置ずれ補正した画像ｇ₀'とする。ステップＳ２２３の処理後はステップＳ２２５へ移行する。

ステップＳ２２４では、位置ずれ補正部８０が、ｇ₀''を位置ずれ補正した画像ｇ₀'とする。

ステップＳ２２５において、マイクロプロセッサ５は、次の位置ずれ補正対象画像ｇ₀（ｘ，ｙ）が存在するか否かを判定する。次の位置ずれ補正対象画像が存在する場合にはステップＳ１０２に戻り、次の対象画像についての図５のステップＳ２０１からの位置ずれ補正処理を行う。一方、次の位置ずれ補正対象画像がない場合には、ステップＳ２２６へ移行する。

ステップＳ２２６では、図７の画像合成部９０が、上記ステップＳ２００からステップＳ２２５の処理によって位置ずれ補正された複数の画像を用いて、画像合成を行う。なお、当該ステップ２２６の処理は、第１の実施の形態のステップＳ１１４の場合と同じであり、詳細な説明は省略する。

以上のように、第２の実施の形態において、画像を縮小することにより、縮小画像の１画素に対する位置ずれの大きさが相対的に小さくなるので、大きな位置ずれを検出できる。さらに、位置ずれを検出するための画像サイズを段階的に大きくすることにより、検出される位置ずれは段階的に高精度となる。

また、縮小した画像において被写体動き領域と背景領域とを判別してそれぞれについて位置ずれを求めているので、それより一段階大きな画像について高精度に勾配法を適用できる。

また、縮小した画像において被写体動き領域を判定し、その結果を用いて一段階大きな画像について位置ずれがアフィン変換に従う領域の情報のみを使って高精度にアフィン変換を算出している。

なお、第１の実施の形態の別案として述べたことは、本第２の実施の形態にも適応できる。さらに、本第２の実施の形態には次に述べるような別案がある。

本第２の実施の形態では、多重解像度処理を３段階で行ったが、本発明はそれに限定されない。入力画像の画素サイズが大きければ、より多くの多重解像度処理を行うことが望ましい。例えば、１０００万画素程度の画像の場合、５段階以上の多重解像度処理を行うことが望ましい。

被写体動き領域を判定する際、縮小画像における被写体動き領域判定結果を参照しても良い。例えば、縮小画像における被写体動き領域に対応する領域では、判定のための閾値を通常よりも小さくすることにより、被写体動き領域と判定されやすくするようにしても良い。
≪第３の実施の形態≫
第１及び第２の実施の形態で示された本発明は、電子カメラ等に搭載し使用することも可能である。

図８は、本第３の実施の形態に係る電子カメラの装置構成図である。図８が示すように、本第３の実施の形態の電子カメラは、対物レンズ１０１、撮像素子１０２、マイクロプロセッサ１０３、メモリ１０４、信号処理部１０５、記憶装置１０６、出力装置１０８及び操作部１０９から構成される。対物レンズ１０１の駆動機構（不図示）と撮像素子１０２は、マイクロプロセッサ１０３と接続され、撮像素子１０２はマイクロプロセッサ１０３からの指令を受け被写体を撮像する。一方、マイクロプロセッサ１０３、メモリ１０４、信号処理部１０５、記憶装置１０６、出力装置１０８及び操作部１０９は、バス１０７を介して情報伝達可能に接続される。

また、本第３の実施の形態に係る電子カメラにおいて、画像処理プログラムがあらかじめメモリ１０４に保持されている。メモリ１０４には、第１または第２の実施の形態の画像処理プログラムのいずれか一方が保持されても良いし、両方が保持されユーザが操作部１０９を通じて適宜選択できるようにしても良い。

マイクロプロセッサ１０３は、メモリ１０４に保持されている画像処理プログラムを実行し、記憶装置１０６に格納されている画像データを適宜読み込み画像処理を行う。処理結果は、記憶装置１０６に保存されたり、出力装置１０８に出力される。マイクロプロセッサ１０３には、一般的なコンピュータのＣＰＵが使用できる。

メモリ１０４は、画像処理プログラムの保持、及びマイクロプロセッサ１０３が行う画像処理に伴う途中の処理結果や各構成要素からの各種データの一時記憶に用いられる。メモリ１０４には、一般的な半導体メモリを用いることができる。

信号処理部１０５は、対物レンズ１０１で結像し撮像素子１０２で取得した画像を取り込む。取得された画像は、バス１０７を介して記憶装置１０６に保存される。

記憶装置１０６は、撮像された画像データやマイクロプロセッサ１０３によって画像処理された画像を格納及び保持する。画像データは、ビットマップ形式、ｊｐｅｇ形式、ｔｉｆｆ形式等の様々な形式で保持される。記憶装置１０６に保持されたデータは、バス１０７を介して、マイクロプロセッサ１０３から適宜参照することができる。記憶装置１０６は、一般的なハードディスク装置や光磁気ディスク装置、または脱着可能なメモリカード等の記憶装置を選択して用いることができる。

出力装置１０８は、撮影された画像や画像処理後の画像等を表示する。出力装置１０８には、液晶モニタ等を適宜選択して用いることができる。

操作部１０９は、ユーザによる部材操作の内容に応じた操作信号をマイクロプロセッサ１０３に送る。操作部１０９は、例えば、撮影モードや画像処理モード等のモード設定釦、ズーム設定釦、レリーズ釦等の操作部材を有している。

具体的な電子カメラの動作は、例えば、被写体の連続撮影を行う場合、ユーザが操作部１０９のモード設定釦を用い連続撮影モードを選択しレリーズ釦を押すと、操作部１０９からマイクロプロセッサ１０３に被写体の連続撮影命令が送られる。マイクロプロセッサ１０３は、撮像素子１０２に指令を出し、被写体の連続撮影が実行される。撮られた複数の画像は、信号処理部１０５を通じて記憶装置１０６に保存される。

一方、例えば、画像合成を行う場合、ユーザが操作部１０９のモード設定釦を用い画像処理モードの画像合成を選択し実行釦を押すと、操作部１０９からマイクロプロセッサ１０３に画像合成の処理命令が送られる。マイクロプロセッサ１０３は、メモリ１０４に保持されている第１または第２の実施の形態にて用いられた画像処理プログラムを実行し、画像合成処理を行う。合成処理の手順については、上記第１及び第２の実施の形態にて説明しているので省略する。処理によって得られた合成画像は、記憶装置１０６に保存されるとともに、出力装置１０８に出力される。

以上説明したように、本発明は、画像処理装置及び電子カメラ等に応用可能な技術である。

本発明の第１の実施の形態に係る画像処理装置の構成例を示す図 本発明の第１の実施の形態に係る画像処理装置の処理手順を示すフローチャート 本発明の第１の実施の形態に係る画像処理装置の構成を図式化したブロック図 ２枚の画像相互の位置ずれ、アフィン変換及び被写体動き領域との関係を説明する図 本発明の第２の実施の形態に係る画像処理装置の処理手順を示すフローチャート 図５の続きのフローチャート 本発明の第２の実施の形態に係る画像処理装置の構成を図式化したブロック図 本発明に係る画像処理装置を搭載した電子カメラの構成例を示す図

符号の説明

１ カメラユニット、２ 対物レンズ、３ 撮像素子、４ 画像処理装置、５ マイクロプロセッサ、６ メモリ、７ 信号入力部、 ８ 記憶装置、９ バス、１０ 入出力インターフェース、１１ 制御装置、１２ 出力装置

Claims (11)

1. 被写体を連続撮像した複数の画像の複数の調査箇所における勾配と相互の差分を求め、前記勾配と相互の差分に基づき、前記複数の画像の相対的位置ずれを算出する位置ずれ算出条件を生成する位置ずれ算出条件生成部と、
   前記複数の画像の相互の相対的な位置ずれを与える幾何変換を、前記位置ずれ算出条件に基づいて生成する幾何変換生成部と、
   前記位置ずれ算出条件と前記幾何変換とに基づいて、前記画像の複数の調査箇所の各々における、前記幾何変換に対する位置ずれの外れ度合いを表す特徴量を求め、前記特徴量が所定値より大きくなる領域を被写体の動きに伴う変位を受けた被写体動き領域として判定する被写体動き領域判定部とを備える
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記被写体動き領域における位置ずれ算出条件に基づいて、動き領域位置ずれ量を算出する被写体動き領域位置ずれ算出部
   をさらに備えることを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記複数の画像の相対的位置ずれを補正する位置ずれ補正部をさらに備え、
   前記位置ずれ補正部は、
   前記被写体動き領域以外の領域の画像では、前記幾何変換に基づいて位置ずれを補正し、
   前記被写体動き領域の画像では、前記幾何変換に基づく補正値と前記局所的位置ずれ量に基づく補正値を求め、画像相互の差分が最も小さくなる補正値を選択し位置ずれ補正する
   ことを特徴とする画像処理装置。
4. 請求項１から請求項３のいずれかに記載の画像処理装置において、
   前記被写体動き領域判定部は、
   判定結果を前記幾何変換部にもどす判定返し部と、
   前記幾何変換生成部は、
   前記判定結果に基づいて、前記被写体動き領域以外の領域における位置ずれ算出条件のみを用いて幾何変換を生成する静止領域幾何変換部をさらに備える
   ことを特徴とする画像処理装置。
5. 請求項１から請求項４のいずれかに記載の画像処理装置において、
   前記幾何変換に応じて前記画像に位置ずれを補正し合成する画像合成部をさらに備え、
   前記画像合成部は、前記被写体動き領域においては前記複数の画像相互の差分が所定値より小さな箇所のみにおいて画像合成を行う
   ことを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記画像合成部は、
   前記被写体動き領域以外の領域については、前記幾何変換に応じて前記画像の位置ずれを補正し合成する
   ことを特徴とする画像処理装置。
7. 被写体を連続撮影した複数の画像の各々の多重解像度画像を生成する多重解像度生成部と、
   前記多重解像度画像のうち、解像度を縮小された第１の画像の複数の調査箇所の勾配と相互の差分を求め、前記勾配と相互の差分に基づき、複数の前記第１の画像の相対的位置ずれを算出する条件を生成する第１の位置ずれ算出条件生成部と、
   前記複数の第１の画像の相対的位置ずれを与える第１の幾何変換を、前記第１の位置ずれ算出条件に基づいて生成する第１の幾何変換生成部と、
   前記第１の位置ずれ算出条件と前記第１の幾何変換とに基づいて、前記第１の画像の複数の調査箇所の各々における、前記第１の幾何変換に対する位置ずれの外れ度合いを表す第１の特徴量を求め、前記第１の特徴量が所定値より大きくなる領域を第１の被写体動き領域として判定する第１の被写体動き領域判定部と、
   前記第１の被写体動き領域における前記第１の位置ずれ算出条件に基づいて、第１の動き領域位置ずれ量を算出する第１の被写体動き領域位置ずれ算出部と、
   前記多重解像度画像のうち、前記第１の解像度に比べて解像度の高い第２の画像の複数の調査箇所の勾配と相互の差分を、前記第１の幾何変換及び前記第１の動き領域位置ずれ量を基に求め、前記第２の画像の前記勾配と相互の差分に基づき、複数の前記第２の画像の相互の相対的位置ずれを算出する条件を生成する第２の位置ずれ算出条件生成部と、
   前記複数の第２の画像の相対的位置ずれを与える第２の幾何変換を、前記第２の位置ずれ算出条件に基づいて生成する第２の幾何変換生成部と、
   前記第２の位置ずれ算出条件と前記第２の幾何変換とに基づいて、前記第２の画像の前記複数の調査領域の各々における、前記第２の幾何変換に対する位置ずれの外れ度合いを表す第２の特徴量を求め、前記第２の特徴量が所定値より大きくなる領域を第２の被写体動き領域として判定する第２の被写体動き領域判定部と、
   前記第２の被写体動き領域における前記第２の位置ずれ算出条件に基づいて、第２の動き位置ずれ量を算出する第２の被写体動き領域位置ずれ算出部と
   を備えることを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記第２の幾何変換生成部は、
   前記第１の被写体動き領域以外の領域に対応する前記第２の位置ずれ算出条件のみに基づいて、前記第２の幾何変換を生成する第２の静止領域幾何変換部をさらに備える
   ことを特徴とする画像処理装置。
9. 請求項１から請求項８のいずれかに記載の画像処理装置において、
   前記幾何変換生成部は、
   幾何変換として、アフィン変換を用いる
   ことを特徴とする画像処理装置。
10. 請求項１から請求項９のいずれかに記載の画像処理装置として、コンピュータを機能させるための画像処理プログラム。
11. 被写体を撮像して画像データを生成する撮像部と、
    請求項１から請求項９のいずれかに記載の画像処理装置とを備える
    ことを特徴とする電子カメラ。
    
    

Images