JP2010041419A - 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 - Google Patents

Abstract

【課題】光学系の歪みに起因して、画像間の動きベクトルの測定精度が低下する。
【解決手段】動きベクトル測定条件設定部１１３は、光学系の歪みを示す情報に基づいて、複数枚の画像間の動きベクトルを測定する際の測定精度を決定するとともに、動きベクトルを測定するための複数の動きベクトル測定領域を画像上に設定する。動きベクトル演算部１１４は、複数の動きベクトル測定領域の各々において、決定した測定精度にて、複数枚の画像間の動きベクトルを求める。動きベクトル統合処理部１１６は、複数の動きベクトル測定領域の各々において求めた動きベクトルに基づいて、複数枚の画像間の位置ずれ量を求める。
【選択図】図１

Description

本発明は、画像間の重ね合わせ技術や、画像間のブレ補正技術など、複数枚画像の位置合わせ技術に関する。

デジタルカメラなどの電子撮像機器において、シャッタ速度が遅くなると手ブレや被写体ブレに起因する像ブレが発生しやすくなることが知られている。手ブレによる像ブレを抑制する方法として、機械式手ブレ補正と電子式手ブレ補正がある。

機械式手ブレ補正には、レンズシフト方式とセンサシフト方式等がある。レンズシフト方式は、ジャイロセンサなどを用いて変位量を測定し、撮像光軸を偏心させる補正光学系を駆動することにより像ブレ補正を行う方式である。センサシフト方式は、同じくジャイロセンサなどを用いて測定した変位量に基づいて、撮像素子を移動させることにより像ブレ補正を行う方式である。

一方、電子式手ブレ補正は、高速・時系列に複数枚画像を撮像し、それら画像間の位置ずれ量を、センサもしくは画像処理手法を用いて測定し、位置ずれ量を補償したうえで画像加算することで、像ブレのない画像を生成する手法である。

画像間の位置ずれ量を求める技術としてブロックマッチング法が一般的に知られている。ブロックマッチング法は、基準画像において適当な大きさのブロック（例えば８画素×８ライン）を定義し、比較画像の該当箇所から一定範囲において一致指標値を計算し、その一致指標値が最も大きくなる（または小さくなる）位置を求めて、画像間の位置ずれ量を計算する手法である。

一致指標値としては、画素値の差分の自乗和である誤差自乗和ＳＳＤ(Sum of Squared intensity Difference)、画素値の差分の絶対値和である誤差絶対値和ＳＡＤ(Sum of Absolute intensity Difference)などがある。ＳＳＤ、ＳＡＤが小さいほど、一致度が高いと判断する。マッチングの基準ブロック領域Ｉおよび対象とするブロック領域Ｉ'において、画素位置ｐ∈Ｉおよび、ｑ∈Ｉ'(ｐ，ｑは２次元の値を持つ量で、Ｉ，Ｉ'は２次元の領域、ｐ∈Ｉは座標ｐが領域Ｉに含まれていることを示す)の画素値をそれぞれＬｐ、Ｌｑとすると、ＳＳＤ、ＳＡＤは、それぞれ次式（１）、（２）で表される。

その他に、正規化相互相関ＮＣＣ(Normalized Cross-Correlation)を用いる方法がある。ゼロ平均相関は、マッチングの基準ブロック領域Ｉおよび対象とするブロック領域Ｉ'の各々に含まれる画素ｐ∈Ｉおよび、ｑ∈Ｉ'の平均値Ａｖｅ（Ｌｐ）、Ａｖｅ（Ｌｑ）を算出し、各ブロックに含まれる画素値との差分を次式（３）、（４）により計算する。

続いて、正規化相互相関ＮＣＣを次式（５）により計算する。

正規化相互相関ＮＣＣの大きいブロックを一致度の高い（相関の高い）ブロックと判断し、最も一致度の高いブロックＩ'とＩの間の相対的ズレ量を求める。

例えば、電子ブレ補正を用いて撮影者の手ぶれを補正する場合においては、上記手法を用いて画像間の位置ずれ量を求める際に、画像全体の動きを安定的に求めることが重要となる。

撮象画像に含まれている被写体が静止している場合は、個々の領域での動きと画像全体の動きは、一致する。従って、上記のマッチング処理では、画像のずれ量を求めるのに適した領域における動きベクトル算出結果を画像全体の動きとしてよい。通常は、画像中の複数の領域で動きベクトルを求め、ノイズや、低コントラスト領域、繰り返しパターン領域など、動きベクトルを求めるのに不適切な領域での動きベクトルを除いた、高信頼度の動きベクトルを画像全体の動きとして選択する。

一方、撮像画像に含まれている被写体に動きが含まれている場合は、画像の全体的な動きと被写体の動きを区別して、画像全体の動きベクトルを選択する必要がある。例えば、特許文献１では、被写体を複数の領域に分割し、それぞれの領域の動きベクトルの大きさや、領域自体の大きさなどを基準に、動きベクトルを求めるのに適した領域を選択し、選択した領域の動きベクトルを全体の動きとしている。
特開平８−２５１４７４号公報

ここで、通常、光学系には収差が含まれている。特に、広角レンズ等、歪曲収差が大きいレンズで撮影すると、画像の中心部は歪みが小さく、画像端部は歪みが大きい画像が得られる（図１６（ａ）、（ｂ）参照）。このような歪みが生じた画像を用いて画像間の位置ずれ量を求める場合、画像の中心からの距離（以下、像高と呼ぶ）に応じて、動きベクトルにバラツキが生じる。図１６（ａ）に示すように、負の歪曲収差を有する光学系を用いて撮像された画像では、像高の小さい領域の動きベクトルに比べて、像高の大きい領域の動きベクトルは小さくなる。逆に、図１６（ｂ）に示すように、正の歪曲収差を有する光学系を用いて撮像された画像では、像高の小さい領域の動きベクトルに比べて、像高の大きい領域の動きベクトルは大きくなる。

しかしながら、従来の技術では、光学系の歪曲収差に起因して発生する動きベクトルのバラツキに対する考慮がなされていないため、画像の位置ずれ量を精度良く算出することができないという問題があった。

本発明は上記の課題に鑑みてなされたものであり、その目的は、光学系の歪曲収差が動きベクトル算出結果に与える影響を考慮して、画像間の位置ずれ量を精度良く算出することである。

本発明のある態様に係る画像処理装置は、複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理装置であって、光学系の歪みを示す情報に基づいて、前記複数枚の画像間の動きベクトルを測定する際の測定精度を決定する測定精度決定部と、前記動きベクトルを測定するための複数の動きベクトル測定領域を画像上に設定する動きベクトル測定領域設定部と、前記複数の動きベクトル測定領域の各々において、前記決定された測定精度にて、前記複数枚の画像間の動きベクトルを求める動きベクトル演算部と、前記複数の動きベクトル測定領域の各々において求められた動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求める位置ずれ量算出部と、を備えることを特徴とする。

本発明の別の態様に係る画像処理方法は、複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理方法であって、光学系の歪みを示す情報に基づいて、前記複数枚の画像間の動きベクトルを測定する際の測定精度を決定するステップと、前記動きベクトルを測定するための複数の動きベクトル測定領域を画像上に設定するステップと、前記複数の動きベクトル測定領域の各々において、前記決定された測定精度にて、前記複数枚の画像間の動きベクトルを求めるステップと、前記複数の動きベクトル測定領域の各々において求められた動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求めるステップと、を備えることを特徴とする。

本発明のさらに別の態様に係る画像処理プログラムは、複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理をコンピュータに実行させるための画像処理プログラムであって、光学系の歪みを示す情報に基づいて、前記複数枚の画像間の動きベクトルを測定する際の測定精度を決定するステップと、前記動きベクトルを測定するための複数の動きベクトル測定領域を画像上に設定するステップと、前記複数の動きベクトル測定領域の各々において、前記決定された測定精度にて、前記複数枚の画像間の動きベクトルを求めるステップと、前記複数の動きベクトル測定領域の各々において求められた動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求めるステップと、を備えることを特徴とする。

これら態様によれば、光学系の歪みの情報に基づいて、動きベクトルを測定する際の測定精度を決定するので、例えば、画像間の歪みの影響を受けない測定精度に決定することにより、光学系の歪みの影響を排除して、動きベクトルを精度良く検出し、画像間の位置ずれ量を精度良く求めることができる。

本発明のさらに別の態様に係る画像処理装置は、複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理装置であって、光学系の歪みを示す情報に基づいて、前記複数枚の画像間の動きベクトルを測定する位置ごとに、動きベクトルを測定するための動きベクトル測定領域の大きさを決定する動きベクトル測定条件設定部と、前記決定された大きさに基づいて、複数の動きベクトル測定領域を画像上に設定する動きベクトル測定領域設定部と、前記複数の動きベクトル測定領域の各々において、前記複数枚の画像間の動きベクトルを求める動きベクトル演算部と、前記複数の動きベクトル測定領域の各々において求められた動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求める位置ずれ量算出部と、を備えることを特徴とする。

本発明のさらに別の態様に係る画像処理方法は、複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理方法であって、光学系の歪みを示す情報に基づいて、前記複数枚の画像間の動きベクトルを測定する位置ごとに、動きベクトルを測定するための動きベクトル測定領域の大きさを決定するステップと、前記決定された大きさに基づいて、複数の動きベクトル測定領域を画像上に設定するステップと、前記複数の動きベクトル測定領域の各々において、前記複数枚の画像間の動きベクトルを求めるステップと、前記複数の動きベクトル測定領域の各々において求められた動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求めるステップと、を備えることを特徴とする。

本発明のさらに別の態様に係る画像処理プログラムは、複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理をコンピュータに実行させるための画像処理プログラムであって、光学系の歪みを示す情報に基づいて、前記複数枚の画像間の動きベクトルを測定する位置ごとに、動きベクトルを測定するための動きベクトル測定領域の大きさを決定するステップと、前記決定された大きさに基づいて、複数の動きベクトル測定領域を画像上に設定するステップと、前記複数の動きベクトル測定領域の各々において、前記複数枚の画像間の動きベクトルを求めるステップと、前記複数の動きベクトル測定領域の各々において求められた動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求めるステップと、を備えることを特徴とする。

これら態様によれば、光学系の歪みを示す情報に基づいて、複数枚の画像間の動きベクトルを測定する位置ごとに、動きベクトル測定領域の大きさを決定するので、例えば、光学系の歪みに応じた適切な大きさの動きベクトル測定領域内で動きベクトルを検出することにより、光学系の歪みの影響を排除して、画像間の位置ずれ量を精度良く求めることができる。

本発明のさらに別の態様に係る画像処理装置は、複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理装置であって、前記複数枚の画像間の動きベクトルを測定するための複数の動きベクトル測定領域を画像上に設定する動きベクトル測定領域設定部と、前記複数の動きベクトル測定領域の各々において、前記複数枚の画像間の動きベクトルを求める動きベクトル演算部と、光学系の歪みを示す情報に基づいて、前記複数の動きベクトル測定領域の各々において求められた動きベクトルの大きさを補正する動きベクトル補正部と、前記補正された複数の動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求める位置ずれ量算出部と、を備えることを特徴とする。

本発明のさらに別の態様に係る画像処理方法は、複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理方法であって、前記複数枚の画像間の動きベクトルを測定するための複数の動きベクトル測定領域を画像上に設定するステップと、前記複数の動きベクトル測定領域の各々において、前記複数枚の画像間の動きベクトルを求めるステップと、光学系の歪みを示す情報に基づいて、前記複数の動きベクトル測定領域の各々において求められた動きベクトルの大きさを補正するステップと、前記補正された複数の動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求めるステップと、を備えることを特徴とする。

本発明のさらに別の態様に係る画像処理プログラムは、複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理をコンピュータに実行させるための画像処理プログラムであって、前記複数枚の画像間の動きベクトルを測定するための複数の動きベクトル測定領域を画像上に設定するステップと、前記複数の動きベクトル測定領域の各々において、前記複数枚の画像間の動きベクトルを求めるステップと、光学系の歪みを示す情報に基づいて、前記複数の動きベクトル測定領域の各々において求められた動きベクトルの大きさを補正するステップと、前記補正された複数の動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求めるステップと、を備えることを特徴とする。

これら態様によれば、光学系の歪みを示す情報に基づいて、複数の動きベクトル測定領域の各々において求められた動きベクトルの大きさを補正するので、光学系の歪みの影響を排除した動きベクトルを求めて、画像間の位置ずれ量を精度良く求めることができる。

本発明によれば、光学系の歪みの影響を排除して、画像間の位置ずれ量を精度良く求めることができる。

−第１の実施形態−
図１は、第１の実施形態における画像処理装置１００の構成を示すブロック図である。図中、点線は制御信号、細線は動きベクトルや信頼度等のデータの流れ、太線は画像データの流れを表している。なお、本実施形態に係る画像処理装置１００は、デジタルカメラ、デジタルビデオカメラや内視鏡など、正しく作動するために電流または電磁界に依存する機器である電子機器に搭載される。

メインコントローラ１０１は、装置全体の動作制御を行うプロセッサ１０３と、撮影パラメータや各種処理情報を保持するメモリ１０２とを備え、各処理ブロックへのコマンド生成やステータス管理を行う。

光学系ユニット１５０には、撮像レンズ１５１およびＲＯＭ１５２が含まれる。ＲＯＭ１５２には、光学系の歪みを示す情報などの光学系データが格納されている。光学系データは、光学系データ入力部１２０を介して画像処理装置１００に入力され、メモリ１０２に保持される。メモリ１０２は、ユーザインターフェース１２１から入力されるシャッタ速度、絞り、焦点距離、連射速度、ＩＳＯ感度などの撮影パラメータも保持する。

撮像部１１０は、例えば、ＣＣＤやＣＭＯＳ等の撮像素子であり、撮像レンズ１５１を通過した光に基づいて画像を形成する。形成された画像は、フレームメモリ１１１に格納される。電子ブレ補正処理を行う本実施形態では、時系列に連続的に複数枚の画像がフレームメモリ１１１に格納される。フレームメモリ１１１に格納される画像には、位置合わせの基準となる画像(以下、基準画像と呼ぶ)と、基準画像に対して位置合わせを行う画像(以下、対象画像と呼ぶ)がある。

位置合わせ画像生成部１１２は、基準画像および対象画像を、それぞれ位置合わせに適した画像へ変換することにより、位置合わせ画像を生成する。位置合わせ画像の生成方法については、後述する。

動きベクトル測定条件設定部１１３は、メモリ１０２に格納されている光学系データ、位置合わせ画像の幅や高さなどの画像情報、および、測定領域パラメータに基づいて、動きベクトルを測定するための複数の動きベクトル測定領域および動きベクトルの演算精度を設定する。測定領域パラメータには、動きベクトル測定領域のＸ，Ｙ方向の個数、および、探索範囲などが含まれる。動きベクトル測定領域および動きベクトル演算精度の詳しい設定方法については、後述する。以下では、「動きベクトル測定領域」を単に「測定領域」とも呼ぶ。

動きベクトル演算部１１４は、フレームメモリ１１１に格納されている位置合わせ画像、動きベクトル測定領域、および、動きベクトルの演算精度を用いて、各動きベクトル測定領域において、対象画像から基準画像への写像を表す動きベクトルを算出する。動きベクトルの詳しい算出方法については、後述する。

動きベクトル信頼度算出部１１５は、各測定領域の動きベクトル、および、位置合わせ画像に基づいて、各動きベクトルの信頼性（確からしさ）を表す信頼度を算出する。信頼度の詳しい算出方法についても後述する。

動きベクトル統合処理部１１６は、各測定領域の動きベクトルおよび各動きベクトルの信頼度に基づいて、基準画像および対象画像間の位置ずれ量を求める。画像間の位置ずれ量を求める詳しい方法については後述する。

フレーム加算部１１７は、フレームメモリ１１１に格納されている基準画像および対象画像と、動きベクトル統合処理部１１６で求められた位置ずれ量とに基づいて、フレーム加算処理を行う。すなわち、対象画像を位置ずれ量だけシフトさせて、シフト後の対象画像を基準画像に加算する。

図２は、第１の実施形態における画像処理装置によって行われる処理の処理手順を示すフローチャートである。ステップＳ１０において、光学系データ入力部１２０は、光学系の歪みを示す情報などの光学系データをメインコントローラ１０１のメモリ１０２に格納する。

ステップＳ２０において、ユーザインターフェース１２１は、シャッタ速度、絞り、焦点距離、連射速度、ＩＳＯ感度などを含む撮影パラメータをメモリ１０２に格納する。ステップＳ３０において、撮像部１１０は、メモリ１０２に入力された撮影パラメータに基づいて撮影を行う。撮像された複数枚の画像は、フレームメモリ１１１に格納される。

ステップＳ４０において、位置合わせ画像生成部１１２は、フレームメモリ１１１に格納されている基準画像と対象画像のそれぞれについて、位置合わせ用の画像である位置合わせ用基準画像と位置合わせ用対象画像を生成する。位置合わせ用基準画像および位置合わせ用対象画像は、基準画像および対象画像をそれぞれ縮小した画像である。生成された位置合わせ用基準画像および位置合わせ用対象画像は、フレームメモリ１１１に格納される。

ステップＳ５０において、動きベクトル測定条件設定部１１３は、メモリ１０２に格納されている光学系データ、位置合わせ画像の幅や高さなどの画像情報、および、測定領域パラメータに基づいて、動きベクトル測定領域および動きベクトル演算精度を計算し、設定する。上述したように、測定領域パラメータには、測定領域のＸ，Ｙ方向の個数、探索範囲などが含まれる。ステップＳ５０の処理の詳細を、図３に示すフローチャートを用いて説明する。

図３に示すフローチャートの処理では、動きベクトル測定領域を設定するとともに、動きベクトルの測定時に、歪曲収差に起因した動きベクトルのばらつきが発生しないように、動きベクトル測定精度を決定する。

ステップＳ３１０では、位置合わせ用画像の幅や高さなどの画像情報、および、測定領域パラメータに基づいて、動きベクトル測定領域を格子状に設定する。

図４（ａ）は、位置合わせ用基準画像に設定された、位置合わせの基準領域であるテンプレート領域４０１を示す図である。図４（ａ）に示すように、テンプレート領域４０１は、所定の大きさの矩形領域であり、動きベクトル測定（動きベクトル検出）に用いられる。

図４（ｂ）は、位置合わせ用対象画像に設定された動きベクトル測定領域４０２を示す図である。測定領域４０２は、位置合わせ用対象画像において、各テンプレート領域４０１の相当する座標近傍に、テンプレート領域より広い範囲で設定される。

後述する動きベクトル演算では、位置合わせ用基準画像に設定したテンプレート領域４０１に対して、位置合わせ用対象画像の対応する測定領域４０２内でテンプレート領域を移動させることにより、テンプレート領域と相関の高い領域を求める。

なお、位置合わせ用対象画像にテンプレート領域４０１を配置し、位置合わせ用基準画像において、テンプレート領域４０１の相当する座標近傍に測定領域４０２を配置してもよい。

ステップＳ３２０では、ステップＳ３１０で設定された複数の動きベクトル測定領域４０２の中から、最大像高の動きベクトル測定領域を選択する。最大像高の動きベクトル測定領域は、位置合わせ用対象画像の四隅に設定されている測定領域に該当する。図５は、位置合わせ用対象画像５００中の最大像高の動きベクトル測定領域のうち、左上隅に配置されている測定領域５０２を示す図である。以下では、最大像高の動きベクトル測定領域として、測定領域５０２を例に挙げて説明する。

ステップＳ３３０では、最大像高の動きベクトル測定領域５０２において、歪曲収差に起因して動きベクトルが変動する量のうちの最大変動量を求める。歪曲収差に起因する歪み量と動きベクトル変動量の計算方法を以下で説明する。

歪曲収差の影響を排除した理想像の像高(以下、理想像高Ｙと呼ぶ)と、実画像の像高 (以下、実像高Ｙ’と呼ぶ)とは、光学系の歪みを示すデータである歪曲収差係数ＤＴを用いて、次式（６）の関係が成り立つ。

式（６）を変形すると、実像高Ｙ’を表す式（７）が得られる。

歪曲収差係数ＤＴは、あらかじめ形状がわかっている被写体を撮影して理想像高Ｙと実像高Ｙ’をそれぞれ求め、式（６）に代入することで、実験的に求めることができる。図６は、理想像高Ｙと歪曲収差係数ＤＴとの関係を実験的に求めた一例を示す図である。歪曲収差係数ＤＴは、次式（８）のような多項式で近似することができる。

式（８）における多項式の係数ａ，ｂ，ｃを求めれば、任意の理想像高Ｙに対する歪曲収差係数ＤＴを求めることができる。係数ａ，ｂ，ｃは、理想像高Ｙおよびその理想像高Ｙに対応する歪曲収差ＤＴを１組とした場合に、少なくとも３組の理想像高Ｙおよび歪曲収差ＤＴの関係から求めることができる。なお、ここでは３次の多項式で近似したが、より高次の多項式で近似してもよい。

式（８）で表される歪曲収差係数ＤＴを式（７）に代入すると、理想像高Ｙから実像高Ｙ’への変換式として、次式（９）が得られる。

続いて、歪曲収差に起因した動きベクトルの変動量の計算方法について説明する。歪曲収差が無い理想的な条件で撮像された画像上の任意の２点、点Ａ（ｘ₁，ｙ₁）、点Ｂ（ｘ₂，ｙ₂）間の動きベクトルは、次式（１０）で表される。

一方、歪曲収差が存在する光学系を用いて撮像された画像上において、点Ａ−Ｂに対応する２点Ａ’−Ｂ’間の動きベクトルは、次式（１１）で表される。

ただし、式（１１）中のα₁、α₂は、次式（１２）で表される。

従って、歪曲収差がない理想的な条件における動きベクトルと、歪曲収差が存在する条件における動きベクトルとの差である動きベクトルの変動量は、次式（１３）で表される。

ここで、動きベクトル測定領域５０２において、歪曲収差に起因する動きベクトルの変動量が最大になるのは、動きベクトルが最大になる時である。すなわち、図５に示すテンプレート領域５０１から、テンプレート領域５０１が移動可能な最大像高位置５０５へと向かう動きベクトルの変動量が最大になる。従って、上述した説明において、点Ａ（ｘ₁，ｙ₁）がテンプレート領域５０１の中心５０６、点Ｂ（ｘ₂，ｙ₂）が最大像高位置５０５の中心５０７の時に、式（１３）で表される、歪曲収差に起因する動きベクトルの変動量が最大となる。この動きベクトルの変動量は、全ての動きベクトル測定領域において、歪曲収差に起因して動きベクトルが変動する量のうちの最大変動量となる。

図３のフローチャートのステップＳ３４０では、ステップＳ３３０で求めた、歪曲収差に起因した動きベクトルの最大変動量に基づいて、動きベクトルの測定精度を求める。動きベクトルの測定精度である動きベクトル測定の分解能Ｒは、式（１３）により求められる動きベクトルの最大変動量より大きくなるように、すなわち、次式（１４）の関係を満たすように設定する。なお、分解能Ｒが大きいほど、動きベクトル測定精度は低く、分解能Ｒが小さいほど、動きベクトル測定精度は高い。

このように、最大像高位置の動きベクトル測定領域で歪曲収差に起因する動きベクトル測定結果の変動量を計算して、動きベクトル測定の分解能（動きベクトルの測定精度）を決定することにより、歪曲収差の影響を排除して、動きベクトルのバラツキを抑えることができる。具体的には、歪曲収差に起因した動きベクトルの最大変動量よりも、動きベクトルの測定精度を低く（動きベクトル測定の分解能を大きく）設定することにより、動きベクトルの測定時に、歪曲収差に起因した動きベクトルの変動量が検出されなくなり、歪曲収差の影響を受けることなく、精度の高い動きベクトルを求めることができる。

なお、上述した説明では、画像上の最大像高位置の動きベクトル測定領域５０２（図５参照）を基準として、動きベクトルの演算精度の計算を行った。しかし、画像上において、像が結像する領域である結像領域が画像上の全体ではなく、一部の領域となる場合には、結像領域内における最大像高位置の動きベクトル測定領域を基準として、動きベクトルの演算精度を計算してもよい。

図７は、結像領域７０４が位置合わせ用対象画像７００の一部の領域となっている一例を示す図である。この場合、最大像高の動きベクトル測定領域は、結像領域７０４内で選択するため、図７の測定領域７０２が選択される。その後の処理は、上述した方法と同じである。すなわち、選択された測定領域７０２において、歪曲収差に起因して動きベクトルが変動する量のうちの最大変動量を求めた後、動きベクトルの測定精度を求める。

図２のフローチャートに戻って説明を続ける。ステップＳ６０において、動きベクトル演算部１１４は、ステップＳ５０で求められた動きベクトル測定領域および動きベクトル演算精度に基づいて、各動きベクトル測定領域における動きベクトルを求める。動きベクトルを求める方法を以下で詳しく説明する。

まず初めに、位置合わせ用基準画像のテンプレート領域を、位置合わせ用対象画像の測定領域内において位置合わせを行うことにより、画素精度での動きベクトルを求める。この位置合わせは、ＳＡＤ、ＳＳＤ、ＮＣＣ等の一致指標値を演算するブロックマッチング手法を用いて行うことができる。

また、ブロックマッチングの代わりに、オプティカルフローに置き換えてもよい。なお、画素精度での動きベクトルは、設定された全ての測定領域を対象として求める。

次に、求めた画素精度の動きベクトルについて、画素精度よりも細かい精度であるサブピクセル精度の動きベクトルを求める。このため、まず、一致度が最も大きいことを示す一致指標値の画素位置を中心とする上下左右の４近傍の画素位置において、再度、一致指標値を求める。一致度が最も大きいことを示す一致指標値の画素位置とは、例えば、一致指標値としてＳＳＤを求めた場合には、ＳＳＤが最小となる画素位置である。

図８は、一致度が最も大きいことを示す一致指標値の画素位置を中心とする上下左右の４近傍の画素位置を示す図である。一致度が最も大きいことを示す一致指標値の画素位置を黒丸で、上下左右の４近傍の画素位置を白丸でそれぞれ示している。

続いて、上下左右の４近傍の画素位置において求めた一致指標値をフィッティングし、一致指標値のピーク位置を求めることでサブピクセル精度の動きベクトルを求める。フィッティングとしては、等角直線フィッティングや、パラボラフィッティング等の既知の方法を用いることができる。

図９（ａ）は、等角直線フィッティングを用いてサブピクセル精度の動きベクトルを求める方法を示す図である。例えば、画素単位の一致指標値が最高となる画素位置における一致指標値をＲ（０）とし、一致指標値が最高となる画素位置の左隣および右隣の画素位置の一致指標値をそれぞれＲ（−１）、Ｒ（１）とすると、Ｘ方向のサブピクセル精度のずれ量ｄは、次式（１５）で表される。

同様に、上隣および下隣の画素位置の一致指標値をそれぞれＲ（１）、Ｒ（−１）として、式（１５）よりＹ方向のサブピクセル精度のずれ量を求めることにより、サブピクセル精度の動きベクトルを求める。

図９（ｂ）は、パラボラフィッティングを用いてサブピクセル精度の動きベクトルを求める方法を示す図である。この場合、サブピクセル精度のずれ量ｄは、次式（１６）で表される。

この場合も、式（１６）に基づいて、Ｘ方向およびＹ方向のサブピクセル精度のずれ量を求めることにより、サブピクセル精度の動きベクトルを求める。

求めたサブピクセル精度のずれ量は、ステップＳ５０で求めた動きベクトル測定精度に量子化する。例えば、求めた動きベクトル測定精度、すなわち、動きベクトル測定の分解能Ｒを０．１に設定した場合には、求めたサブピクセル精度のずれ量の小数点第２位以下の数字を切り捨てることにより、動きベクトル測定精度での量子化を行う。

全ての測定領域を対象としてサブピクセル精度のずれ量を求めて、動きベクトル測定精度に量子化すると、ステップＳ７０に進む。

ステップＳ７０において、動きベクトル信頼度算出部１１５は、各動きベクトルの信頼度を算出する。動きベクトルの信頼度は、例えば、動きベクトル演算において求められた一致指標値のヒストグラムの最も一致度が高いところの一致指標値および平均値の偏差を用いて判定する。例えば、一致指標値にＳＳＤを用いた場合、ＳＳＤの最小値と平均値との偏差を用いる。簡単には、ＳＳＤの最小値と平均値との偏差を信頼度とする。

なお、ＳＳＤの統計性に基づく信頼度は、領域の構造特徴と以下の（ｉ）〜（ｉｉｉ）の概念で対応付けられる。
（ｉ）エッジ構造が鮮鋭な領域の場合、動きベクトルの信頼性が高い。このため、ＳＳＤの最小値を示す位置の誤差は少なく、ＳＳＤのヒストグラムをとった場合に、最小値を示す位置付近に小さな差分値が集中する。従って、ＳＳＤの最小値と平均値の差が大きい。
（ｉｉ）テクスチャや平坦な構造の場合、差分値のヒストグラムが平坦になる。このため、最小値と平均値の差は小さく、信頼度は低い。
（ｉｉｉ）繰り返し構造の場合、差分の最小値と最大値を示す位置が近く、差分が小さい値を示す位置が分散している。このため、最小値と平均値の差は小さく、信頼度は低い。

なお、信頼性に関しては、各測定領域内のエッジの量に応じて判定することもできる。

ステップＳ８０〜ステップＳ１１０の処理は、動きベクトル統合処理部１１６により行われる。ステップＳ８０では、各動きベクトルの信頼度に基づいて、信頼度の高い動きベクトルを選択する。例えば、信頼度が所定のしきい値より低い動きベクトルを除外するためのフィルタリング処理を行うことにより、信頼度の高い動きベクトルを選択する。

ステップＳ９０では、ステップＳ８０の選択処理で選択した複数の動きベクトルに対して投票処理を行い、最も頻度の高い動きベクトル、すなわち、最も数の多い同一の動きベクトルを選択する。例えば、選択処理で選択した動きベクトルを、Ｘ方向のずれ量およびＹ方向のずれ量に分解し、Ｘ方向のずれ量およびＹ方向のずれ量のそれぞれに対して投票処理を行うことにより、最も頻度の高い動きベクトルを求める。

ここで、歪曲収差に起因した動きベクトルの最大変動量以下の分解能で動きベクトルを測定すると、歪曲収差に起因して動きベクトルがばらつくため、上述した投票処理における投票値にばらつきが発生し、安定した最頻投票位置を求めることができなくなる。一方、動きベクトル測定の分解能が大きすぎると、画像間の位置ずれ量の演算精度が低下してしまう。これに対して、本実施形態では、動きベクトル測定の分解能を、歪曲収差に起因した動きベクトルの最大変動量よりも大きい値に設定するので、最も頻度の高い動きベクトルを精度良く求めつつ、画像間の位置合わせの精度を確保することができる。

ステップＳ１００では、ステップＳ８０およびステップＳ９０の処理で残った動きベクトルについて、その個数（最頻位置ずれ量の投票数）と所定のしきい値とを比較することにより、フレーム加算可否を判定する。投票数が所定のしきい値を下回る場合、フレーム加算は行わず次フレームの処理に移るため、ステップＳ３０に戻る。投票数が所定のしきい値以上の場合、ステップＳ１１０に進む。

ステップＳ１１０では、画像間の代表位置ずれ量を求める。位置合わせ用基準画像および位置合わせ用対象画像は、基準画像および対象画像をそれぞれ縮小した画像であるため、投票数が所定のしきい値以上の最頻度の動きベクトルを、縮小後の位置合わせ用の画像を縮小前の画像に変換する際の変換率で変換することで、代表位置ずれ量を求める。縮小後の位置合わせ用の画像を縮小前の画像に変換する際の変換率は、基準画像および対象画像から位置合わせ用基準画像および位置合わせ用対象画像を生成する際の縮小率の逆数として算出する。例えば、基準画像および対象画像をそれぞれ４分の１に縮小して、位置合わせ用基準画像および位置合わせ用対象画像を生成した場合には、求めた最頻度の動きベクトルを４倍することにより、代表位置ずれ量を求める。

このとき、求めた代表位置ずれ量が画素精度になるように、最頻度の動きベクトルを更新することが好ましい。例えば、最頻度の動きベクトルが（2.2，2.6）で、変換率が４倍の場合、単純に４倍すると、（8.8，10.4）となり、画素精度にはならない。従って、最頻度の動きベクトルを（2.0，2.5）に更新してから４倍することにより、画素精度の代表位置ずれ量（8，10）を得ることができる。

ステップＳ１２０において、フレーム加算部１１７は、基準画像および対象画像と、ステップＳ１１０で求めた画像間の代表位置ずれ量とに基づいて、フレーム加算処理を行う。すなわち、対象画像を代表位置ずれ量だけシフトさせて、基準画像に加算する処理を行う。

ステップＳ１３０では、規定フレームを全て処理し終えたか否かを判定する。規定フレームを全て処理し終えればフローチャートの処理を終了し、未処理フレームが残っていれば、ステップＳ３０に戻って、上記処理を繰り返す。

なお、本実施形態では、光学系の歪みなどの光学系データを光学系ユニット１５０自身に保持しているため、例えば、一眼レフカメラなどでレンズを変更した場合においても、変更したレンズの光学系データを画像処理装置１００に取り込んで、レンズに適した画像処理条件を設定することができる。

以上、第１の実施形態における画像処理装置によれば、光学系の歪みを示す情報に基づいて、複数枚の画像間の動きベクトルを測定する際の測定精度を決定するとともに、複数の動きベクトル測定領域を画像上に設定し、複数の動きベクトル測定領域の各々において、決定した測定精度で動きベクトルを求め、求めた動きベクトルに基づいて、複数枚の画像間の位置ずれ量を求める。光学系の歪みを示す情報に基づいて、動きベクトルを測定する際の測定精度を決定するので、光学系の歪みの影響を排除して、画像間の位置ずれ量を精度良く求めることができる。

また、光学系の歪みに起因して動きベクトルが変動する量に基づいて、測定精度を決定することにより、より効果的に光学系の歪みの影響を排除して、動きベクトルを精度良く求めることができる。特に、動きベクトル測定の分解能が光学系の歪みに起因して動きベクトルが変動する量のうちの最大変動量よりも大きくなるように、測定精度を決定するので、動きベクトルの測定時に、光学系の歪みに起因する動きベクトルの変動量を無視することができる。これにより、歪みの影響を排除した精度の高い位置ずれ量を求めることができる。

また、第１の実施形態における画像処理装置によれば、画像上で像が結像する結像領域内において、光学系の歪みに起因して動きベクトルが変動する量のうちの最大変動量よりも動きベクトル測定の分解能が大きくなるように、測定精度を設定する。これにより、動きベクトルが検出不可能な結像領域外のデータを排除することができるので、より効果的に光学系の歪みの影響を排除して、動きベクトルを精度良く求めることができる。

−第１の実施形態の変形例−
上述した説明では、電子ブレ補正を例に挙げたが、基準画像に対する対象画像の画像シフトを行う動画ブレ補正を行っても良い。図１０は、動画ブレ補正を行う画像処理装置の構成を示すブロック図である。図１０に示す画像処理装置は、図１に示す画像処理装置の構成に対して、フレーム加算部１１７の代わりに、フレーム動き補正部１１８を備えている。

フレーム動き補正部１１８は、動きベクトル統合処理部１１６で求められた代表位置ずれ量に基づいて、対象画像をシフトさせることにより、対象画像を基準画像に対してブレの少なくなるように補正する処理を行う。

−第２の実施形態−
本実施形態では、歪曲収差の影響を考慮して、動きベクトルの測定位置ごとに、動きベクトル測定領域を設定する。光学系に歪曲収差がある場合、画像の中心部は歪みが小さく、画像端部は歪みが大きい画像が得られる（図１６参照）。図１６（ａ）に示すように、負の歪曲収差を有する光学系を用いて撮像された画像では、同じ大きさの動きベクトルでも、像高の小さい領域の動きベクトルに比べて、像高の大きい領域の動きベクトルは小さくなる。逆に、図１６（ｂ）に示すように、正の歪曲収差を有する光学系を用いて撮像された画像では、像高の小さい領域の動きベクトルに比べて、像高の大きい領域の動きベクトルは大きくなる。従って、歪曲収差の影響を考慮して、動きベクトル測定領域を適切に設定することで、精度の高い位置ずれ量を求めることができる。

第２の実施形態における画像処理装置の構成は、図１に示す第１の実施形態における画像処理装置の構成と同じである。

第２の実施形態における画像処理装置により行われる処理フローは、図２に示す第１の実施形態における画像処理装置により行われる処理フローと同じである。ただし、第２の実施形態における画像処理装置では、ステップＳ５０の処理、すなわち、動きベクトル測定条件設定部１１３によって行われる処理が第１の実施形態と異なる。

図１１は、第２の実施形態における画像処理装置において、動きベクトル測定条件設定部１１３によって行われる処理内容を示すフローチャートである。ステップＳ１１１０では、位置合わせ画像の幅や高さなどの画像情報、動きベクトル測定領域のＸ，Ｙ方向の個数、探索範囲などの測定領域パラメータに基づいて、テンプレート領域を格子状に設定する。テンプレート領域の設定方法は、第１の実施形態と同様である。

ステップＳ１１２０では、光学系の歪曲収差に応じて、動きベクトルを測定する位置ごとに、動きベクトルを探索する範囲である動きベクトル測定領域を決定する。上述したように、歪曲収差が無い理想的な条件で撮像された画像上の任意の２点、点Ａ（ｘ₁，ｙ₁）、点Ｂ（ｘ₂，ｙ₂）間の動きベクトルは、式（１０）で表され、歪曲収差が存在する光学系を用いて撮像された画像上において、点Ａ−Ｂに対応する２点Ａ’−Ｂ’間の動きベクトルは、式（１１）で表される。

基準となる動きベクトル測定領域をＤとすると、歪曲収差に応じた補正後の動きベクトル測定領域Ｄ’は、次式（１７）により求められる。

ただし、式（１７）中のＣ_rは補正係数であり、式（１０）および式（１１）に基づいて、次式（１８）により与えられる。

図１２は、負の歪曲収差を有する光学系（図１６（ａ）参照）を用いて画像を撮像した場合に、動きベクトル測定条件設定部１１３によって設定されたテンプレート領域１２０１および動きベクトル測定領域１２０２の一例を示す図である。負の歪曲収差を有する光学系を用いて撮像された画像では、像高の小さい領域の動きベクトルに比べて、像高の大きい領域の動きベクトルは小さくなる。従って、図１２に示すように、像高の大きい領域の動きベクトル測定領域は、像高の小さい領域の動きベクトル測定領域に比べて小さい大きさに設定される。これにより、必要以上に広い測定領域内でマッチング処理が行われるのを防いで、演算負荷を低減させることができる。

なお、正の歪曲収差を有する光学系（図１６（ｂ）参照）を用いて撮像された画像では、像高の小さい領域の動きベクトルに比べて、像高の大きい領域の動きベクトルは大きくなる。従って、図示はしないが、像高の大きい領域の動きベクトル測定領域は、像高の小さい領域の動きベクトル測定領域に比べて大きい大きさに設定される。これにより、本来必要な広さの測定領域に対して狭い測定領域内でマッチング処理が行われて、精度の低い動きベクトルが測定されるのを防ぐことができる。

図１１のステップＳ１１３０では、全ての動きベクトル測定領域を決定したか否かを判定する。全ての動きベクトル測定領域を決定していないと判定するとステップＳ１１２０に戻り、別の動きベクトル測定領域を対象として、大きさを決定する処理を行う。一方、全ての動きベクトル測定領域を決定したと判定すると、フローチャートの処理を終了する。

以上、第２の実施形態における画像処理装置によれば、光学系の歪みを示す情報に基づいて、複数枚の画像間の動きベクトルを測定する位置ごとに、動きベクトル測定領域の大きさを決定し、決定した大きさに基づいて、複数の動きベクトル測定領域を画像上に設定する。そして、複数の動きベクトル測定領域の各々において動きベクトルを求め、求めた動きベクトルに基づいて、複数枚の画像間の位置ずれ量を求める。これにより、光学系の歪みに応じた大きさの動きベクトル測定領域を設定することができるので、動きベクトルを精度良く求めて、画像間の位置ずれ量を精度良く求めることができる。

また、歪みが存在する光学系を用いて撮像された画像上における任意の２点の動きベクトル、および、歪みが存在しない理想的な光学系を用いて撮像された画像上において、任意の２点に対応する２点の動きベクトルをそれぞれ求め、求めた動きベクトルに基づいて、動きベクトル測定領域の大きさを決定するので、より適切な大きさの動きベクトル測定領域を設定することができる。これにより、動きベクトルを精度良く求めて、画像間の位置ずれ量を精度良く求めることができる。

−第２の実施形態の変形例−
上述した説明では、歪曲収差に基づいて、動きベクトル測定領域の広さを決定したが、画像撮像時の連射間隔（連射速度）に応じて、動きベクトル測定領域の広さを決定してもよい。上述したように、画像撮像時の連射間隔（連射速度）の情報は、ユーザインターフェース１２１からメモリ１０２に入力される。

通常、連射間隔が短い（連射速度が速い）と、手ブレや被写体ブレは発生しにくく、画像間の対応点間の距離は短くなるため、測定領域を小さく設定する。一方、連射間隔が長い（連射速度が遅い）と画像間の対応点間の距離は長くなるため、測定領域を広く設定する。測定領域は、連射間隔に比例して、連射間隔が長くなるほど、大きくなるように設定してもよいし、連射間隔と探索範囲の関係を定めたテーブルを保持し、このテーブルを参照して設定するようにしてもよい。この場合、連射速度に応じた適切な大きさの動きベクトル測定領域を設定することができるので、動きベクトルを精度良く求めることができ、画像間の位置ずれ量を精度良く求めることができる。

また、上述した第２の実施形態の画像処理装置の構成に対して、さらに、画像撮像時の連射間隔に応じて、動きベクトル測定領域の広さを変更するようにしてもよい。すなわち、歪曲収差に応じて、動きベクトルを測定する位置ごとに測定領域の広さを決定し、さらに、連射間隔に応じて、測定領域の広さを変更する。

−第３の実施形態−
第２の実施形態における画像処理装置では、光学系の歪曲収差に応じて、動きベクトル測定領域の大きさを変更した。第３の実施形態における画像処理装置では、光学系の歪曲収差に応じて、動きベクトル測定領域ごとに測定された動きベクトルを補正してから、画像間の代表位置ずれ量を求める。

第３の実施形態における画像処理装置の構成は、図１に示す第１の実施形態における画像処理装置の構成と同じである。

図１３は、第３の実施形態における画像処理装置によって行われる処理の処理手順を示すフローチャートである。図２に示すフローチャートの処理と異なるのは、ステップＳ５０の処理がステップＳ５０Ａの処理に変更されていることと、ステップＳ６０の処理とステップＳ７０の処理との間に、ステップＳ６５の処理が追加されていることである。

ステップＳ５０Ａの処理、すなわち、動きベクトル測定条件設定部１１３によって行われる処理を図１４のフローチャートに示す。図１４に示すフローチャートは、図３に示すフローチャートに対して、ステップＳ３４０の処理を省略したものとなっている。すなわち、動きベクトル測定条件設定部１１３は、位置合わせ画像の幅や高さなどの画像情報、および、測定領域のＸ，Ｙ方向の個数、探索範囲などを含む測定領域パラメータに基づいて、動きベクトル測定領域を計算し、設定する処理を行うが、動きベクトル測定精度の算出は行わない。

ステップＳ６０の処理に続くステップＳ６５において、動きベクトル演算部１１４は、各動きベクトルごとに、歪曲収差の影響を排除した補正後の動きベクトルを求める。上述した式（１０）および式（１１）を参照すると、歪曲収差が存在する光学系を用いて撮像された画像上の任意の２点Ａ’（ｘ₁，ｙ₁）、Ｂ’（ｘ₂，ｙ₂）と対応する、歪曲収差が無い理想的な条件で撮像された画像上の点Ａ−Ｂ間の動きベクトルは、次式（１９）で表される。従って、式（１９）より、補正後の動きベクトルを求める。

図１５（ａ）は、補正前の動きベクトルの一例を示す図、図１５（ｂ）は、負の歪曲収差の影響を排除した補正後の動きベクトルの一例を示す図である。図１５（ｂ）に示すように、負の歪曲収差の影響を排除した補正後の動きベクトルでは、像高の大きい領域の動きベクトルが大きくなるように補正されている。歪曲収差の影響を排除した補正後の動きベクトルを求めてから投票処理を行うことで、最も数が多い同一の動きベクトルを顕在化させ、画像の位置合わせの精度を安定化させることができる。

以上、第３の実施形態における画像処理装置によれば、複数の動きベクトル測定領域を画像上に設定し、設定した複数の動きベクトル測定領域の各々において、動きベクトルを求める。そして、光学系の歪みを示す情報に基づいて、各動きベクトルの大きさを補正し、補正した複数の動きベクトルに基づいて、複数枚の画像間の位置ずれ量を求める。特に、各動きベクトルを、歪みが存在しない理想的な光学系を用いて撮像された画像上の動きベクトルに変換する補正を行うので、光学系の歪みの影響を排除した補正ベクトルを用いて、画像間の位置ずれ量を精度良く求めることができる。

なお、光学系に歪曲収差が存在する場合に、歪曲収差の影響を考慮せずに、画像間の位置ずれ量を求めると、画像間の位置ずれ量の大きさによっては、画像端で二重線や像ボケが生じる場合がある。図１７（ａ）〜（ｃ）は、位置ずれ量が小さい場合における基準画像、対象画像、位置合わせ後の画像をそれぞれ示す図である。図１７（ａ）〜（ｃ）では、基準画像および対象画像の対応する領域を斜線で示している。この場合、図１７（ｃ）に示すように、二重線は発生しない。

一方、図１７（ｄ）〜（ｆ）は、位置ずれ量が大きい場合における基準画像、対象画像、位置合わせ後の画像をそれぞれ示す図である。図１７（ｄ）〜（ｆ）でも、基準画像および対象画像の対応する領域を斜線で示している。この場合、図１７（ｆ）に示すように、画像端で二重線や像ボケが発生する。

しかしながら、第１〜第３の実施形態における画像処理装置によれば、いずれも、光学系の歪みの影響を排除して、画像間の位置ずれ量を求めるので、位置合わせ時に二重線や像ボケが発生することはない。

なお、上述した第１〜第３の実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。

本発明は、上述した第１〜第３の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、光学系の歪みを示す情報が格納されているＲＯＭ１５２は、光学系ユニット１５０に含まれるものとしたが、画像処理装置１００に含まれるようにしてもよい。

上述した各実施の形態では、基準画像と対象画像のそれぞれを縮小することにより、位置合わせ用基準画像と位置合わせ用対象画像を生成し、生成した位置合わせ用画像を用いて、動きベクトルを求めた。しかし、位置合わせ用画像を生成せずに、基準画像および対象画像を用いて、動きベクトルを求めるようにしてもよい。

画像間の位置ずれ量は、各動きベクトル測定領域で求められた複数の動きベクトルの中から、信頼度が高い動きベクトルを選択し、選択した複数の動きベクトルの中で最も頻度の高い動きベクトルを選択することにより求めた。しかし、信頼度が高い動きベクトルを選択した後、選択した複数の動きベクトルの平均ベクトルを算出することにより、位置ずれ量を求めてもよいし、選択した複数の動きベクトルを、信頼度に応じて重み付け加算することにより、位置ずれ量を求めるようにしてもよい。

第１の実施形態における画像処理装置の構成を示すブロック図である。 第１の実施形態における画像処理装置によって行われる処理の処理手順を示すフローチャートである。 動きベクトル測定条件設定部によって行われる処理の詳細な内容を示すフローチャートである。 図４（ａ）は、位置合わせ用基準画像に設定されたテンプレート領域を示す図であり、図４（ｂ）は、位置合わせ用対象画像に設定された動きベクトル測定領域を示す図である。 位置合わせ用対象画像中の最大像高の動きベクトル測定領域のうち、左上隅に配置されている測定領域を示す図である。 理想像高Ｙと歪曲収差係数ＤＴとの関係を実験的に求めた一例を示す図である。 結像領域が位置合わせ用対象画像の一部の領域となっている一例を示す図である。 一致度が最も大きいことを示す一致指標値の画素位置を中心とする上下左右の４近傍の画素位置を示す図である。 図９（ａ）は、等角直線フィッティングを用いてサブピクセル精度の動きベクトルを求める方法を示す図であり、図９（ｂ）は、パラボラフィッティングを用いてサブピクセル精度の動きベクトルを求める方法を示す図である。 動画ブレ補正を行う画像処理装置の構成を示すブロック図である。 第２の実施形態における画像処理装置において、動きベクトル測定条件設定部によって行われる処理内容を示すフローチャートである。 負の歪曲収差を有する光学系を用いて画像を撮像した場合に、動きベクトル測定条件設定部によって設定されたテンプレート領域および動きベクトル測定領域の一例を示す図である。 第３の実施形態における画像処理装置によって行われる処理の処理手順を示すフローチャートである。 第３の実施形態における画像処理装置において、動きベクトル測定条件設定部によって行われる処理の詳細な内容を示すフローチャートである。 図１５（ａ）は、補正前の動きベクトルの一例を示す図、図１５（ｂ）は、負の歪曲収差の影響を排除した補正後の動きベクトルの一例を示す図である。 図１６（ａ）は、負の歪曲収差を有する光学系を用いて撮像された画像の一例を示す図であり、図１６（ｂ）は、正の歪曲収差を有する光学系を用いて撮像された画像の一例を示す図である。 画像間の位置合わせ時に生じる二重線や像ボケを説明するための図である。

符号の説明

１００…画像処理装置
１０１…メインコントローラ
１０２…メモリ
１０３…プロセッサ
１１０…撮像部
１１１…フレームメモリ
１１２…位置合わせ画像生成部
１１３…動きベクトル測定条件設定部
１１４…動きベクトル演算部
１１５…動きベクトル信頼度算出部
１１６…動きベクトル統合処理部
１１７…フレーム加算部
１１８…フレーム動き補正部
１２０…光学系データ入力部
１２１…ユーザインターフェース
１５０…光学系ユニット
１５１…撮像レンズ
１５２…ＲＯＭ

Claims (19)

1. 複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理装置であって、
   光学系の歪みを示す情報に基づいて、前記複数枚の画像間の動きベクトルを測定する際の測定精度を決定する測定精度決定部と、
   前記動きベクトルを測定するための複数の動きベクトル測定領域を画像上に設定する動きベクトル測定領域設定部と、
   前記複数の動きベクトル測定領域の各々において、前記決定された測定精度にて、前記複数枚の画像間の動きベクトルを求める動きベクトル演算部と、
   前記複数の動きベクトル測定領域の各々において求められた動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求める位置ずれ量算出部と、
   を備えることを特徴とする画像処理装置。
2. 前記測定精度決定部は、前記光学系の歪みに起因して動きベクトルが変動する量に基づいて、前記測定精度を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記測定精度決定部は、動きベクトル測定の分解能が前記光学系の歪みに起因して動きベクトルが変動する量のうちの最大変動量よりも大きくなるように、前記測定精度を決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記測定精度決定部は、画像上で像が結像する結像領域内において、前記光学系の歪みに起因して動きベクトルが変動する量のうちの最大変動量よりも動きベクトル測定の分解能が大きくなるように、前記測定精度を設定することを特徴とする請求項２に記載の画像処理装置。
5. 複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理装置であって、
   光学系の歪みを示す情報に基づいて、前記複数枚の画像間の動きベクトルを測定する位置ごとに、動きベクトルを測定するための動きベクトル測定領域の大きさを決定する動きベクトル測定条件設定部と、
   前記決定された大きさに基づいて、複数の動きベクトル測定領域を画像上に設定する動きベクトル測定領域設定部と、
   前記複数の動きベクトル測定領域の各々において、前記複数枚の画像間の動きベクトルを求める動きベクトル演算部と、
   前記複数の動きベクトル測定領域の各々において求められた動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求める位置ずれ量算出部と、
   を備えることを特徴とする画像処理装置。
6. 前記動きベクトル測定条件設定部は、歪みが存在する光学系を用いて撮像された画像上における任意の２点の動きベクトル、および、歪みが存在しない理想的な光学系を用いて撮像された画像上において、前記任意の２点に対応する２点の動きベクトルをそれぞれ求め、求めた動きベクトルに基づいて、前記動きベクトル測定領域の大きさを決定することを特徴とする請求項５に記載の画像処理装置。
7. 前記動きベクトル測定条件設定部は、負の歪曲収差を有する光学系を用いて撮像された画像では、像高の大きい動きベクトル測定領域の大きさが像高の小さい動きベクトル測定領域の大きさに比べて小さくなるように、動きベクトル測定領域の大きさを決定することを特徴とする請求項５または請求項６に記載の画像処理装置。
8. 前記動きベクトル測定条件設定部は、正の歪曲収差を有する光学系を用いて撮像された画像では、像高の大きい動きベクトル測定領域の大きさが像高の小さい動きベクトル測定領域の大きさに比べて大きくなるように、動きベクトル測定領域の大きさを決定することを特徴とする請求項５または請求項６に記載の画像処理装置。
9. 画像撮像時の連射速度を検出する連射速度検出部をさらに備え、
   前記動きベクトル測定条件設定部は、前記連射速度が速い場合に比べて遅い場合の動きベクトル測定領域の大きさを大きくすることを特徴とする請求項５から請求項８のいずれか一項に記載の画像処理装置。
10. 複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理装置であって、
    前記複数枚の画像間の動きベクトルを測定するための複数の動きベクトル測定領域を画像上に設定する動きベクトル測定領域設定部と、
    前記複数の動きベクトル測定領域の各々において、前記複数枚の画像間の動きベクトルを求める動きベクトル演算部と、
    光学系の歪みを示す情報に基づいて、前記複数の動きベクトル測定領域の各々において求められた動きベクトルの大きさを補正する動きベクトル補正部と、
    前記補正された複数の動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求める位置ずれ量算出部と、
    を備えることを特徴とする画像処理装置。
11. 前記動きベクトル補正部は、前記複数の動きベクトル測定領域の各々において求められた動きベクトルを、歪みが存在しない理想的な光学系を用いて撮像された画像上の動きベクトルに変換する補正を行うことを特徴とする請求項１０に記載の画像処理装置。
12. 前記光学系の歪みを示す情報を、撮像レンズを有する光学系ユニットから取得する光学系データ取得部をさらに備えることを特徴とする請求項１から請求項１１のいずれか一項に記載の画像処理装置。
13. 請求項１から請求項１２のいずれか一項に記載の画像処理装置を有することを特徴とする電子機器。
14. 複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理方法であって、
    光学系の歪みを示す情報に基づいて、前記複数枚の画像間の動きベクトルを測定する際の測定精度を決定するステップと、
    前記動きベクトルを測定するための複数の動きベクトル測定領域を画像上に設定するステップと、
    前記複数の動きベクトル測定領域の各々において、前記決定された測定精度にて、前記複数枚の画像間の動きベクトルを求めるステップと、
    前記複数の動きベクトル測定領域の各々において求められた動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求めるステップと、
    を備えることを特徴とする画像処理方法。
15. 複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理方法であって、
    光学系の歪みを示す情報に基づいて、前記複数枚の画像間の動きベクトルを測定する位置ごとに、動きベクトルを測定するための動きベクトル測定領域の大きさを決定するステップと、
    前記決定された大きさに基づいて、複数の動きベクトル測定領域を画像上に設定するステップと、
    前記複数の動きベクトル測定領域の各々において、前記複数枚の画像間の動きベクトルを求めるステップと、
    前記複数の動きベクトル測定領域の各々において求められた動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求めるステップと、
    を備えることを特徴とする画像処理方法。
16. 複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理方法であって、
    前記複数枚の画像間の動きベクトルを測定するための複数の動きベクトル測定領域を画像上に設定するステップと、
    前記複数の動きベクトル測定領域の各々において、前記複数枚の画像間の動きベクトルを求めるステップと、
    光学系の歪みを示す情報に基づいて、前記複数の動きベクトル測定領域の各々において求められた動きベクトルの大きさを補正するステップと、
    前記補正された複数の動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求めるステップと、
    を備えることを特徴とする画像処理方法。
17. 複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理をコンピュータに実行させるための画像処理プログラムであって、
    光学系の歪みを示す情報に基づいて、前記複数枚の画像間の動きベクトルを測定する際の測定精度を決定するステップと、
    前記動きベクトルを測定するための複数の動きベクトル測定領域を画像上に設定するステップと、
    前記複数の動きベクトル測定領域の各々において、前記決定された測定精度にて、前記複数枚の画像間の動きベクトルを求めるステップと、
    前記複数の動きベクトル測定領域の各々において求められた動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求めるステップと、
    を備えることを特徴とする画像処理プログラム。
18. 複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理をコンピュータに実行させるための画像処理プログラムであって、
    光学系の歪みを示す情報に基づいて、前記複数枚の画像間の動きベクトルを測定する位置ごとに、動きベクトルを測定するための動きベクトル測定領域の大きさを決定するステップと、
    前記決定された大きさに基づいて、複数の動きベクトル測定領域を画像上に設定するステップと、
    前記複数の動きベクトル測定領域の各々において、前記複数枚の画像間の動きベクトルを求めるステップと、
    前記複数の動きベクトル測定領域の各々において求められた動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求めるステップと、
    を備えることを特徴とする画像処理プログラム。
19. 複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理をコンピュータに実行させるための画像処理プログラムであって、
    前記複数枚の画像間の動きベクトルを測定するための複数の動きベクトル測定領域を画像上に設定するステップと、
    前記複数の動きベクトル測定領域の各々において、前記複数枚の画像間の動きベクトルを求めるステップと、
    光学系の歪みを示す情報に基づいて、前記複数の動きベクトル測定領域の各々において求められた動きベクトルの大きさを補正するステップと、
    前記補正された複数の動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求めるステップと、
    を備えることを特徴とする画像処理プログラム。

Images