JP2015088052A - 画像処理装置、撮像装置及び画像処理プログラム - Google Patents

Abstract

【課題】連続して取得される２つの画像間の位置ズレを、演算処理の負荷を低減させつつ、精度良く検出する。【解決手段】本発明の画像処理装置は、第１画像及び第２画像を受け付ける画像受付部と、第１画像と第２画像との間の位置ズレ量を求めるための標本点を複数設定する設定部と、座標変換を施した第１画像と第２画像との間の位置の一致度に対する評価を、座標変換による変換量を変化させながら、かつ標本点を絞り込みながら繰り返し実行する評価部と、繰り返し実行される評価の結果に基づいて第１画像と第２画像との間の位置ズレ量を求める演算部と、を備えたことを特徴とする。【選択図】 図３

Description

本発明は、画像処理装置、撮像装置及び画像処理プログラムに関する。

連続して取得される２つの画像間の位置ズレを検出する方法として、２つの画像のうちの一方の画像から抽出される特徴点を用いて２枚の画像間の位置ズレを検出する方法や、２つの画像のそれぞれから抽出される特徴点の対応関係から２つの画像間の位置ズレを検出する方法が挙げられる。

特開２０１２−１２３６５２号公報

例えば連続する２つの画像のうちの一方の画像から抽出される特徴点を用いて２つの画像間の位置ズレを検出する方法では、使用する特徴点が２つの画像間の位置ズレを検出するのに適切していない場合もあり、２つの画像間の位置ズレを精度良く検出することができない。一方、２つの画像のそれぞれから抽出される特徴点の対応関係から２つの画像間の位置ズレを検出する方法では、特徴点の数が多ければ多いほど演算処理時間がかかり、演算負荷も高くなる。また、この方法でも、抽出される特徴点が２つの画像間の位置ズレを検出するのに適していない特徴点も含まれるため、結果的に２つの画像間の位置ズレを精度良く検出することができない。

本発明は、連続して取得される２つの画像間の位置ズレを、演算処理の負荷を低減させつつ、精度良く検出することができるようにした画像処理装置、撮像装置及び画像プログラムを提供することを目的とする。

上述した課題を解決するために、本発明の画像処理装置は、第１画像及び第２画像を受け付ける画像受付部と、前記第１画像と前記第２画像との間の位置ズレ量を求めるための標本点を複数設定する設定部と、座標変換を施した前記第１画像と前記第２画像との間の位置の一致度に対する評価を、前記座標変換による変換量を変化させながら、かつ前記標本点を絞り込みながら繰り返し実行する評価部と、繰り返し実行される前記評価の結果に基づいて前記第１画像と前記第２画像との間の位置ズレ量を求める演算部と、を備えたことを特徴とする。

また、本発明の撮像装置は、画像を連続して取得することが可能な画像取得部と、上記に記載の画像処理装置と、を備えたことを特徴とする。

また、本発明の画像処理プログラムは、第１画像及び第２画像を受け付ける画像受付工程と、前記第１画像と前記第２画像との間の位置ズレ量を求めるための標本点を複数設定する設定工程と、座標変換を施した前記第１画像と前記第２画像との間の位置の一致度に対する評価を、前記座標変換による変換量を変化させながら、かつ前記標本点を絞り込みながら繰り返し実行する評価工程と、繰り返し実行される前記評価の結果に基づいて前記第１画像と前記第２画像との間の位置ズレ量を求める演算工程と、をコンピュータに実行させることが可能なものである。

本発明によれば、連続して取得される２枚の画像間の位置ズレを、演算処理の負荷を低減させつつ、精度良く検出することができる。

撮像装置の構成を示す機能ブロック図である。 （ａ）は画像の一例を示す図、（ｂ）及び（ｃ）は、画像Ａ及び画像Ｂにおける（ａ）に示すＣ−Ｃ直線上の画素値の分布を示す図である。 連続して得られる画像を合成する処理の流れを示すフローチャートである。 （ａ）は空の画像を示す図、（ｂ）は（ａ）に示す画像に対して設定されるサンプル画素を示す図、（ｃ）は繰り返し演算により最終的に用いられるサンプル画素を示す図である。

以下、本発明の実施の形態について説明する。図１は、本実施形態の撮像装置の一例を示す機能ブロック図である。撮像装置１０は、撮像光学系１５、撮像素子１６、操作部材１７、レンズ駆動回路１８、撮像素子駆動回路１９、ＣＰＵ２０、Ａ／Ｄ変換器２１、画像処理回路２２、表示出力回路２３、液晶モニタ２４、圧縮伸長処理回路２５及び記憶媒体２６を備えている。

不図示の被写体の像は、撮像光学系１５によって、撮像素子１６の撮像面上に結像される。撮像光学系１５は複数枚のレンズで構成される。この撮像光学系１５は、操作部材１７の操作などに基づいて、レンズ駆動回路１８を介して、フォーカス、ズームなどの調整が可能な構成とされている。

撮像素子１６は、例えばＣＭＯＳイメージセンサが用いられる。このＣＭＯＳイメージセンサは、例えば赤（Ｒ）色、緑（Ｇ）色及び青（Ｂ）色のカラーフィルタを市松状に配置したベイヤー配列のカラーフィルタアレイを備えた単板式カラーセンサが用いられる。この撮像素子１６は、静止画像の単写撮像とともに、静止画像の連続撮像（連写）、及び動画像の撮像が可能な撮像素子である。この撮像素子１６は、被写体の測光データに基づいて、ＣＰＵ２０の制御のもとで、撮像素子駆動回路１９によって駆動される。撮像素子１６により読み出された画像信号は、Ａ／Ｄ変換器２１に入力される。

Ａ／Ｄ変換器２１は、撮像素子１６から読み出されたアナログの画像信号に対してＡ／Ｄ変換処理を施し、デジタルの画像信号に変換する。デジタルの画像信号は、画像処理回路２２に入力される。

画像処理回路２２は、入力された画像信号に対して、色補間処理、ホワイトバランス（ＷＢ）処理、マトリックス変換処理、γ変換処理、色相・彩度補正処理などの画像処理を施す。この画像処理により、画像データが生成される。また、この他に、画像処理回路２２は、生成された画像データに対して解像度（画素数）変換処理を施す。

表示出力回路２３は、画像処理回路２２からの画像データに所定の信号処理を施し、液晶モニタ２４に出力する。表示出力回路２３は、必要に応じて、画像処理回路２２からの画像データに、撮影メニュー、カーソルなどのオーバーレイ画像データを重畳する処理を行う。これにより、液晶モニタ２４には、被写体画像にオーバーレイ画像が重畳されて表示される。

圧縮伸長処理回路２５は、画像データに対して圧縮処理を施す。そして、圧縮伸長処理回路２５は、圧縮処理を行った画像データ（符号化データ）を、記憶媒体２６に記憶する。また、圧縮伸長処理回路２５は、記憶媒体２６に記憶された画像データが読み出されたときに、読み出された画像データに対して復号化処理を施す。そして、圧縮伸長処理回路２５は、復号化処理が施された画像データを画像処理回路２２および表示出力回路２３を介して、液晶モニタ２４に供給する。

ＣＰＵ２０は、操作部材１７の一部を構成するレリーズボタンの操作に基づいて、撮像画面上に設定された領域（ＡＦエリア）の画像信号を抽出し、該領域のコントラスト値（もしくは、該領域の高空間周波数成分量）を算出し、算出結果をもとに、撮像素子１６の撮像面上における被写体像のフォーカス状態を調整する、いわゆるコントラストＡＦ動作を行う。

また、ＣＰＵ２０は、撮像光学系１５を駆動し、順次得られる画像信号を画像内の被写体毎に解析し、領域内のコントラスト値が最大となった際のレンズ位置をもとに、被写体毎の撮影距離情報を取得する。

なお、自動合焦動作として、コントラストＡＦ動作を例に挙げているが、これに限定される必要はなく、周知の瞳分割方式の位相差ＡＦ動作を用いることも可能である。この場合にも、自動合焦点動作によって、各領域の撮影距離情報を得ることができる。

ＣＰＵ２０は、操作部材１７の一部を構成するズーム操作部材の操作に基づいて、レンズ駆動回路１８を介して撮像光学系１５を駆動し、撮像素子１６の撮像面上に結像される被写体像を拡大、又は縮小する、光学的なズーム動作を実行する。さらに、ＣＰＵ２０は、操作部材１７の一部を構成するズーム操作部材の操作に基づいて、撮像素子１６により得られる画像信号、又は記憶媒体２６に記憶される画像信号を、画像処理回路２２による解像度（画素数）変換処理によって拡大または縮小する電気的なズーム動作を制御する。

上述した画像処理回路２２は、標本点設定部３５、位置合わせ演算部３６、画像合成処理部３７を備えている。これら各部は、撮像装置１０を用いた連続撮影や動画撮影などにより得られた複数の画像を合成するときに作動する。以下では、連続して得られる２つの画像を合成する場合について説明する。合成する２つの画像は、同一の解像度（画像サイズ）の画像であり、画像処理回路２２による上記の画像処理を行う前の画像であってもよいし、画像処理回路２２による上記画像処理を行った画像であってもよい。さらに、２つの画像は、解像度変換処理を行って解像度を下げた（画像サイズを小さくした）画像であってもよい。

標本点設定部３５は、後述する位置合わせ処理を行う際に用いる標本点を設定する。この標本点は、画像を構成する複数の画素のいずれかの画素を用いる。以下、標本点として設定される画素をサンプル画素と称する。このサンプル画素は、所定ピッチ間隔で、言い換えれば隣り合うサンプル画素間の距離が同一の間隔となるように、二次元状に配置されるように設定することが挙げられる。また、この他に、サンプル画素は、画像を分割した複数の領域内で同一数となるように設定してもよい。

位置合わせ演算部３６は、標本点設定部３５により設定される複数のサンプル画素の画素値を用いて、連続する２つの画像間の位置合わせ処理を実行する。この位置合わせ処理は、例えば（１）式に示す６軸の幾何変換モデルを用いて実行される。なお、（１）式は、画像の座標（ｘ，ｙ）が６変数（ｐ_０，ｐ_１，ｐ_２，ｐ_３，ｐ_４，ｐ_５）の幾何変換モデルによる行列を用いて座標変換される形式で、画像の位置ズレ量を表現している。

ここで、ｐ_０，ｐ_１，ｐ_２，ｐ_３，ｐ_４，ｐ_５は変数である。これら変数ｐ_０，ｐ_１，ｐ_２，ｐ_３，ｐ_４，ｐ_５を変化させると、座標変換される画像は、その変換量が変化する。ここで、２つの画像の位置合わせ処理は、以下の（２）式に示す評価値ΔＥを求めることで実行される。以下、２つの画像を画像Ａ及び画像Ｂと称する。

上記の（２）式は、画像Ａの座標（ｘ，ｙ）にあるサンプル画素を上述した（１）式を用いて幾何変換した画素値と、画像Ｂの座標（ｘ，ｙ）にあるサンプル画素の画素値との差分の二乗和により評価値ΔＥを求めている。この（２）式で求まる評価値ΔＥが小さいほど、画像間の合致度は高くなる。なお、上述した（２）式のｎは、サンプル画素の数を示す。ここで、（２）式中に示す符号ｐは、変数ｐ_０，ｐ_１，ｐ_２，ｐ_３，ｐ_４，ｐ_５をまとめて示すものである。

位置合わせ演算部３６は、上述した変数ｐの値をΔｐずつ変化させながら、上述した評価値ΔＥを繰り返し算出する。この評価値ΔＥは、例えば変数ｐを変化させた回数が予め設定された回数に到達する、或いは、変数ｐの変化量が予め設定された上限に到達するまで繰り返し算出される。この評価値ΔＥを繰り返し算出する過程で、評価値ΔＥの最小値が算出された場合には、上記条件が満足しなくとも、評価値ΔＥを算出する処理は終了する。

上述した変数ｐの値の変化量は例えば以下の処理にて求めることができる。例えば画像Ａと画像Ｂのズレ量が微小であると仮定すると、上述した（２）式は、（３）式に示すΔｐを最小化する形式に変形できる。

この（３）式をテイラー展開して整理すると、Δｐを求める式は、（４）式に示す行列演算に置換できる。これらの式の変形については、例えば論文“Lucas-Kanade 20 years On:A Unifying Framework: Part 1”Simon Baker and Ian Matthewsに記載がある。

ここで、ｄｘは画像Ｂのｘ方向の微分画像を示し、ｄｙは画像Ｂのｙ方向の微分画像を示す。また、ｎは、各画像におけるサンプル画素ｎの座標であることを示す。

位置合わせ演算部３６は、（４）式を用いてΔｐの計算を行って、画像間の位置ズレ量に相当する変数ｐを求める。これにより、（１）式の変数ｐ_０，ｐ_１，ｐ_２，ｐ_３，ｐ_４，ｐ_５の各値が求められる。

上述した評価値ΔＥを算出する際に、位置合わせ演算部３６は、設定される複数のサンプル画素のうち、以下に示すサンプル画素を評価値ΔＥを算出する際に用いるサンプル画素から除外しながら、評価値ΔＥを算出する際に用いるサンプル画素を絞り込む処理を行う。このサンプル画素を絞り込む処理は、評価値ΔＥを連続して２〜３回算出する毎に実行される。

評価値ΔＥを算出する際に用いる複数のサンプル画素うち、除外されるサンプル画素としては、幾何変換された画像Ａと画像Ｂとの間の画素値の差分の絶対値Ｇ＝｜Ａ（ｆ（ｘ，ｙ；ｐ））−Ｂ（ｘ，ｙ）｜が０となる（言い換えれば、差分が存在しない）サンプル画素や、差分の絶対値Ｇが減少傾向にないサンプル画素が挙げられる。

例えば、図２（ａ）に示すように、画像のＣ−Ｃ直線上に位置する画素の画素値の分布を考える。ここで、図２（ｂ）及び図２（ｃ）は、連続撮影により得られる画像のＣ−Ｃ直線上に位置する画素の画素値の分布を示す。なお、図２（ｂ）及び図２（ｃ）において、実線で示す画素値の分布が画像Ａ、点線で示す画素値の分布が画像Ｂを示す。

図２（ｂ）に示すように、例えば晴天の空を連続撮影した画像の場合、平坦な画像構造が含まれる。なお、図２（ｂ）においては、符号Ｓ１で示す範囲が平坦な画像構造の範囲となる。この場合、符号Ｓ１の範囲に位置するサンプル画素は、画像Ａと画像Ｂとの間の差分は発生しない（差分の絶対値Ｇ＝０）。つまり、この符号Ｓ１の範囲に含まれるサンプル画素を除外しても評価値ΔＥには影響しない。この場合、符号Ｓ１の範囲に位置するサンプル画素は、次に評価値ΔＥを算出する際に用いるサンプル画素から除外される。

また、連続撮影を行ったときに動体が含まれる場合を考慮する。ここでは、図２（ｃ）に示すＳ２の範囲が動体が位置するものと考える。動体上に位置するサンプル画素における差分の絶対値Ｇの値は、他の領域の差分値よりも大きくなり、また絶対値Ｇの変化量が減少傾向にない。つまり、画像Ａ及び画像Ｂの各画像の動体上に位置するサンプル画素の差分の絶対値Ｇは、評価値ΔＥに対する影響が大きくなる。その結果、画像Ａ及び画像Ｂ間の位置ズレ量を適切に求めることができなくなる。したがって、図２（ｃ）の場合、符号Ｓ２の範囲に位置するサンプル画素は、次に評価値ΔＥを算出する際に用いるサンプル画素から除外される。このように、差分の絶対値Ｇが減少傾向にないサンプル画素は、評価値ΔＥを求める際に用いる評価点から除外される。

画像合成処理部３７は、位置合わせ演算部３６で求めた２つの画像間の位置ズレ量を用いて、２つの画像を合成する。

次に、２つの画像を合成するときの処理の流れについて、図３のフローチャートに基づいて説明する。以下、連続撮影により取得される連続する画像を合成する場合について説明するが、動画撮影により得られるフレーム画像を合成する場合も同様の処理が実行される。

ステップＳ１０１は、画像Ａを取得する処理である。連続撮像の１回目の撮像処理が実行されると、撮像素子１６から画像信号がＡ／Ｄ変換器２１に出力される。Ａ／Ｄ変換器２１はアナログの画像信号をデジタルの画像信号に変換し、画像処理回路２２に出力する。画像処理回路２２は、入力される画像信号に対して画像処理を施す。そして、画像処理回路２２は、画像処理を施した画像信号に対して解像度変換処理を行う。これにより、画像Ａが取得される。

ステップＳ１０２は、画像Ｂを取得する処理である。例えば連写などの連続撮像における２回目の撮像処理が実行されると、撮像素子１６から画像信号がＡ／Ｄ変換器２１に出力される。Ａ／Ｄ変換器２１は画像信号をデジタルの画像信号に変換し、画像処理回路２２に出力する。画像処理回路２２は、入力される画像信号に対して画像処理を施す。そして、画像処理回路２２は、画像処理を施した画像信号に対して解像度変換処理を行う。これにより、画像Ａと同一の解像度（画像サイズ）となる画像Ｂが取得される。

ステップＳ１０３は、標本点（サンプル画素）を設定する処理である。画像処理回路２２は、画像Ａ及び画像Ｂに対して、後述する位置合わせ処理に用いる標本点（サンプル画素）を設定する。以下、ステップＳ１０４からステップＳ１１３までの処理が連続する画像Ａ及び画像Ｂ間の位置合わせ処理となる。また、ステップＳ１０４，ステップＳ１０５，ステップＳ１０６が１回目の演算処理となる。

ステップＳ１０４は、画像Ａに対する幾何変換処理である。画像処理回路２２は、画像Ａに対して、上述した（１）式を用いた幾何変換処理を実行する。なお、このステップＳ１０４の期間変換処理を行う際の変数ｐは０に設定される。

ステップＳ１０５は、幾何変換処理を施した画像Ａと画像Ｂとの差分を算出する処理である。画像処理回路２２は、ステップＳ１０３において設定されたサンプル画素毎に、幾何変換処理を施した画像Ａと画像Ｂとの差分を算出する。

ステップＳ１０６は、評価値ΔＥを算出する処理である。画像処理回路２２は、上述した（２）式を用いて評価値ΔＥを算出する。

ステップＳ１０７は、終了条件を満足しているか否かを判定する処理である。例えば、変数ｐを変化させた回数が予め設定された回数に到達した場合、又は、変数ｐの変化量が予め設定された上限に到達した場合のいずれか一方を満足した場合に、画像処理回路２２は、終了条件を満足していると判定する。この場合、画像処理回路２２は、ステップＳ１０７の判定処理の結果をＹｅｓとする。この場合、ステップＳ１１４に進む。

一方、上述した２つの条件をそれぞれ満足していない場合、画像処理回路２２は、終了条件を満足していないと判定する。この場合、ステップＳ１０７の判定処理の結果がＮｏとなる。この場合、ステップＳ１０８に進む。

なお、繰り返し実行される各演算処理において算出される評価値ΔＥの値から、評価値ΔＥの最小値が求められる場合も、画像処理回路２２は、終了条件を満足していると判定する。したがって、評価値ΔＥの最小値が求められた場合も、画像処理回路２２は、ステップＳ１０７の判定処理の結果をＹｅｓとする。

つまり、このステップＳ１０７の判定処理の結果がＹｅｓとなることで、画像Ａ及び画像Ｂ間の位置ズレ量が算出される。

ステップＳ１０８は、評価値ΔＥの算出回数が２ｍ（ｍ＝１，２，３，・・）であるか否かを判定する処理である。評価値ΔＥの算出回数が２の倍数となる場合には、画像処理回路２２は、ステップＳ１０８の判定処理の結果をＹｅｓとする。この場合、ステップＳ１０９に進む。
一方、例えば評価値ΔＥの算出処理の回数が２の倍数でない場合には、画像処理回路２２は、ステップＳ１０８の判定処理の結果をＮｏとする。この場合、ステップＳ１１１に進む。なお、ステップＳ１０８における判定処理において、評価値ΔＥの算出回数が２ｍとなるか否かを判定しているが、評価値ΔＥの算出回数が２の倍数になる場合に限定される必要はなく、３以上の倍数となる場合であってもよい。

ステップＳ１０９は、除外する標本点（サンプル画素）があるか否かを判定する処理である。このステップＳ１０９の処理は、評価値ΔＥの算出処理の回数が２ｍとなる場合に実行される。画像処理回路２２は、２ｍ−１回目の評価値ΔＥの算出処理及び２ｍ回目の評価値ΔＥの算出処理にて求めたサンプル画素毎のＡ（ｆ（ｘ，ｙ；ｐ））−Ｂ（ｘ，ｙ）の値から、幾何変換された画像Ａと画像Ｂとの間の画素値の差分の絶対値Ｇ＝｜Ａ（ｆ（ｘ，ｙ；ｐ））−Ｂ（ｘ，ｙ）｜を求める。そして、求めた差分の絶対値Ｇが変化しないサンプル画素や、差分の絶対値Ｇが減少傾向にないサンプル画素があれば、そのサンプル画素を除外するサンプル画素であると判断する。

除外するサンプル画素であると判断された場合、画像処理回路２２は、ステップＳ１０９の判定処理の結果をＹｅｓとする。この場合、ステップＳ１１０に進む。一方、除外するサンプル画素がないと判断された場合、画像処理回路２２は、ステップＳ１０９の判定処理の結果をＮｏとする。この場合、ステップＳ１１１に進む。

ステップＳ１１０は、標本点（サンプル画素）を絞り込む処理である。画像処理回路２２は、複数のサンプル画素のうち、求めた差分の絶対値Ｇが変化しないサンプル画素や、差分の絶対値Ｇが減少傾向にないサンプル画素を、評価値ΔＥの算出処理の際に用いるサンプル画素から除外する。このステップＳ１１０の処理を行うことで、評価値ΔＥの算出処理の際に用いるサンプル画素が絞り込まれる。サンプル画素が絞り込まれると、ステップＳ１１１に進む。なお、ステップＳ１１１からステップＳ１１３の処理が２回目以降の評価値ΔＥの算出処理となる。

ステップＳ１１１は、Δｐ変動させたパラメータｐ’を用いた画像Ａに対する幾何変換処理である。画像処理回路２２は、Δｐ変動させたパラメータｐ’を用いて、画像Ａに対する幾何変換処理を実行する。なお、この幾何変換処理は、上述した（１）式を用いて実行される。

ステップＳ１１２は、幾何変換処理した画像Ａと画像Ｂとの差分を算出する処理である。このステップＳ１１２の処理は、ステップＳ１０５の処理と同一の処理である。なお、このステップＳ１１２においては、絞り込まれたサンプル画素を対象として実行される。

ステップＳ１１３は、評価値ΔＥを算出する処理である。なお、このステップＳ１１３の処理は、ステップＳ１０６と同一の処理である。このステップＳ１１３の処理も、ステップＳ１１２と同様にして、絞り込まれたサンプル画素を対象として実行される。このステップＳ１１３の処理が実行されると、２回目の評価値ΔＥの算出処理が終了し、ステップＳ１０７に戻る。

そして、ステップＳ１０７における判定処理が実行されたときに、ステップＳ１０７の判定処理の結果がＮｏとなる場合には、必要に応じてサンプル画素を絞り込む処理が実行された後、３回目の評価値ΔＥの算出処理が実行される。この３回目の評価値ΔＥの算出処理の後、ステップＳ１０７における判定処理が実行され、ステップＳ１０７の判定処理の結果がＮｏとなる場合に、再度、ステップＳ１０８からステップＳ１１３の処理が実行される。つまり、ステップＳ１０７の判定処理の結果がＹｅｓとなるまで、位置合わせ処理における演算処理が繰り返し実行される。この繰り返し実行される演算処理の際に、サンプル画素が絞り込まれていく。

上述したステップＳ１０７の判定処理の結果がＹｅｓとなる場合にステップＳ１１４に進む。

ステップＳ１１４は、画像を合成する処理である。画像処理回路２２は、ステップＳ１０４からステップＳ１１３の処理による位置合わせ処理を行うことで得られる位置ズレ量を用いて、画像Ａ及び画像Ｂを合成する。そして、画像処理回路２２は、合成した画像のデータを圧縮伸長回路２５に出力する。圧縮伸長回路２５は、所定の圧縮処理を施し、記憶媒体２６に圧縮処理を施した画像データを書き込む。

例えば、適正露出よりも露光時間を短くして連続撮影された画像Ａ及び画像Ｂを合成することで、手ぶれを補正した合成画像を取得することが可能となる。また、露出条件を変更して画像Ａ及び画像Ｂを取得した場合には、これら画像を合成することで、ダイナミックレンジの広い合成画像を取得することできる。

ここで、位置合わせ処理におけるサンプル画素について、図４を参照して説明する。ここでは、図４（ａ）に示すように、連続撮影により空の画像Ｐを取得した場合を考慮する。まず、取得された画像Ｐに対して複数のサンプル画素が設定される。図４（ｂ）に示すように、複数のサンプル画素は、隣り合うサンプル画素間が同一ピッチとなるように、二次元状に配置される。図４（ｂ）中、三角で示す箇所がサンプル画素である。上述したように、位置合わせ処理における繰り返し演算の演算回数が２ｍとなる度に標本点を絞り込む処理が実行される。例えば青空の部分に関しては、得られる画像Ａ及び画像Ｂ間においての画素値の差分の絶対値Ｇの変動は少ない。したがって、サンプル画素を絞り込む処理を行うと、空の領域に位置するサンプル画素は次回の評価値ΔＥの算出時に用いるサンプル画素から除外される。また、画像に雲が含まれている場合、雲の明暗差が小さい箇所は、空の領域と同様に画素値の差分の変動は少ない。つまり、雲の領域において、明暗差が小さい領域に位置するサンプル画素も次回の評価値ΔＥの算出時に用いるサンプル画素から除外される。したがって、上述したサンプル画素の絞り込む処理を行うことで、空と雲との境界部分に位置するサンプル画素や、雲の領域のうち明暗差が大きい境界部分に位置するサンプル画素のみが、次回の評価値ΔＥの算出時に用いるサンプル画素となる。

このように、複数回の演算処理が行われる度に、次回の評価値ΔＥの算出時に用いるサンプル画素が絞り込まれていくことで、位置合わせ処理における演算処理にかかる時間や負荷を低減することができる。また、次回の評価値ΔＥの算出時に用いるサンプル画素が絞り込まれていくことで、画像に対して設定されるサンプル画素のうち、必要となるサンプル画素のみを用いた演算処理を行うことが可能となるので、位置あわせ処理における処理精度を向上させることが可能となる。

本実施形態では、連続して取得された２つの画像（画像Ａ及び画像Ｂ）を合成する場合について説明しているが、これに限定する必要はなく、例えば３以上の画像を連続して取得する場合や、動画像を取得する場合に、本実施形態を適用することが可能である。この場合、合成する画像は、連続して得られる画像のうち、時間的に前後する２つの画像を対象とすればよい。つまり、連続撮影により３つの画像を取得した場合には、１回目の撮像処理により得られた画像と２回目の撮像所為ｒにより得られた画像とを用いた合成処理、２回目の撮像処理により得られた画像と３回目の撮像処理により得られた画像とを用いた合成処理を、それぞれ行えばよい。

例えば３以上の画像を取得する場合、撮像処理間の経過時間は微小であることから、撮影範囲における画像構造の変化量も小さい。したがって、１回目の撮像処理により得られた画像と２回目の撮像処理により得られた画像とを用いた位置合わせ処理により絞り込まれた標本点を、２回目の撮像処理により得られた画像と３回目の撮像処理により得られた画像との位置合わせ処理に用いることも可能である。このように、２回目の撮像処理により得られた画像と３回目の撮像処理により得られた画像との位置合わせ処理に、１回目の撮像処理により得られた画像と２回目の撮像処理により得られた画像とを用いた位置合わせ処理において最終的に用いたサンプル画素を用いることで、位置合わせ処理における処理速度を向上させることができるという利点がある。

しかしながら、動画像を撮像する場合には、撮影時のシーンが変化する場合もある。したがって、画像処理回路２２は、撮影時のシーンが変化しているか否かを判定し、撮影時のシーンが変化していないと判定した場合に、前回の位置合わせ処理に用いたサンプル画素を利用する。また、画像処理回路２２は、撮影時のシーンが変化していると判定した場合に、新たに画像に対するサンプル画素を設定し直せばよい。

また、この他に、位置合わせ処理の処理回数が所定回数に到達するまでは前回の位置合わせ処理において使用したサンプル画素を利用し、位置合わせ処理の処理回数が所定回数に到達したときに、新たに使用するサンプル画素を設定することも可能である。

上述した実施形態では、撮像装置を例に取り上げたが、これに限定する必要はなく、画像処理回路２２に設けられる標本点設定部３５、位置合わせ演算部３６、画像合成処理部３７を備えた画像処理装置であってもよい。

また、この他に、図１に示す標本点設定部３５、位置合わせ演算部３６、画像合成処理部３７の機能や、図３のフローチャートの処理の流れをコンピュータに実行させることができる画像処理プログラムであってもよい。この画像処理プログラムは、不揮発性メモリを備えたメモリカード、光学ディスクや磁気ディスクなど、コンピュータにおいて読み取ることができる記憶媒体に記憶されていることが好ましい。

１０…撮像装置、２０…ＣＰＵ、２２…画像処理回路、３５…標本点設定部、３６…位置合わせ演算部、３７…画像合成処理部

Claims (10)

1. 第１画像及び第２画像を受け付ける画像受付部と、
   前記第１画像と前記第２画像との間の位置ズレ量を求めるための標本点を複数設定する設定部と、
   座標変換を施した前記第１画像と前記第２画像との間の位置の一致度に対する評価を、前記座標変換による変換量を変化させながら、かつ前記標本点を絞り込みながら繰り返し実行する評価部と、
   繰り返し実行される前記評価の結果に基づいて前記第１画像と前記第２画像との間の位置ズレ量を求める演算部と、
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記評価部は、座標変換を施した前記第１画像と前記第２画像との間の位置ズレに対する評価値を複数の前記標本点を用いて算出する処理を、前記座標変換による変換量を変化させながら、かつ前記標本点を絞り込みながら繰り返し、
   前記演算部は、繰り返し算出される評価値のうち、最小となる評価値が得られた時の前記第１画像と前記第２画像との間の位置ズレ量を求める
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記評価部は、複数の前記標本点のうち、前記座標変換を施した前記第１画像と前記第２画像との差分が生じない標本点、又は前記座標変換を施した前記第１画像と前記第２画像との差分が減少傾向にない標本点を、前記評価値の算出時に用いる標本点から除外することを特徴とする画像処理装置。
4. 請求項２または請求項３に記載の画像処理装置において、
   前記評価部は、前記評価値を算出する処理の処理回数が予め設定された回数行われる度に、前記標本点を絞り込む処理を実行することを特徴とする画像処理装置。
5. 請求項２から請求項４のいずれか１項に記載の画像処理装置において、
   前記評価部は、複数の変数を含む幾何変換行列を用いた前記第１画像に対する座標変換を前記複数の変数を変化させながら実行することを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記評価部は、前記複数の変数を変化させる回数が予め設定された回数に到達した場合、又は、前記複数の変数の変化量が、その上限値に到達した場合のいずれか一方を満足した場合に、前記評価値を繰り返し算出する処理を終了し、
   前記演算部は、繰り返し算出された前記評価値のうち、最小となる評価値が得られたときの前記第１画像と前記第２画像との間の位置ズレ量を求める
   ことを特徴とする画像処理装置。
7. 請求項２から請求項６のいずれか１項に記載の画像処理装置において、
   前記演算部により求めた位置ズレ量を用いて、前記第１画像及び前記第２画像を合成する画像合成部を、さらに備えたことを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記画像受付部は、前記第１画像及び第２画像の他に、前記第３画像を受け付けることが可能であり、
   前記評価部は、前記第１画像と第２画像との間の位置ズレ量を求める際に絞り込まれた標本点を用いて、前記第２画像と前記第３画像との間の位置ズレに対する評価値を算出することを特徴とする画像処理装置。
9. 画像を連続して取得することが可能な画像取得部と、
   請求項１から請求項８のいずれか１項に記載の画像処理装置と、
   を備えたことを特徴とする撮像装置。
10. 第１画像及び第２画像を受け付ける画像受付工程と、
    前記第１画像と前記第２画像との間の位置ズレ量を求めるための標本点を複数設定する設定工程と、
    座標変換を施した前記第１画像と前記第２画像との間の位置の一致度に対する評価を、前記座標変換による変換量を変化させながら、かつ前記標本点を絞り込みながら繰り返し実行する評価工程と、
    繰り返し実行される前記評価の結果に基づいて前記第１画像と前記第２画像との間の位置ズレ量を求める演算工程と、
    をコンピュータに実行させることが可能な画像処理プログラム。