JP2010041418A - 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 - Google Patents

Abstract

【課題】歪曲収差の影響により、画像間の位置合わせの精度が低下する
【解決手段】複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理装置であって、光学系の歪みを示す情報に基づいて、画像上に、動きベクトルを測定するための複数の動きベクトル測定領域４０３を設定し、設定した複数の動きベクトル測定領域の各々において、複数枚の画像間の動きベクトルを求め、求めた複数の動きベクトルに基づいて、複数枚の画像間の位置ずれ量を求める。
【選択図】図４

Description

本発明は、画像間の重ね合わせ技術や、画像間のブレ補正技術など、複数枚画像の位置合わせ技術に関する。

デジタルカメラなどの電子撮像機器において、シャッタ速度が遅くなると手ブレや被写体ブレに起因する像ブレが発生しやすくなることが知られている。手ブレによる像ブレを抑制する方法として、機械式手ブレ補正と電子式手ブレ補正がある。機械式手ブレ補正は、ジャイロセンサなどを用いて変位量を測定し、撮像光軸を偏心させる補正光学系を駆動することにより像ブレ補正を行うレンズシフト方式と、撮像素子を移動することにより像ブレ補正を行うセンサシフト方式がある。電子式手ブレ補正は、高速に複数フレーム（複数枚画像）を撮像し、それらフレーム間の位置ずれ量を、センサもしくは画像処理手法を用いて測定し、位置ずれ量を補償したうえでフレーム積算することで画像を生成する手法である。

フレーム間の位置ずれ量を求める技術としてブロックマッチング法が一般的に知られている。ブロックマッチング法は、基準フレームにおいて適当な大きさのブロック（例えば８画素×８ライン）を定義し、比較対象フレームの該当箇所から一定範囲において一致指標値を計算し、その一致指標値が最も大きくなる（または小さくなる）フレーム間の相対的ずれ量を計算する手法である。

一致指標値としては、画素値の差分の自乗和である誤差自乗和ＳＳＤ(Sum of Squared intensity Difference)、画素値の差分の絶対値和である誤差絶対値和ＳＡＤ(Sum of Absolute intensity Difference)などがある。ＳＳＤ、ＳＡＤが小さいほど、一致度が高いと判断する。マッチングの基準ブロック領域Ｉおよび対象とするブロック領域Ｉ'において、画素位置ｐ∈Ｉおよび、ｑ∈Ｉ'(ｐ，ｑは２次元の値を持つ量で、Ｉ，Ｉ'は２次元の領域、ｐ∈Ｉは座標ｐが領域Ｉに含まれていることを示す)の画素値をそれぞれＬｐ、Ｌｑとすると、ＳＳＤ、ＳＡＤは、それぞれ次式（１）、（２）で表される。

その他に、正規化相互相関ＮＣＣ(Normalized Cross-Correlation)を用いる方法がある。ゼロ平均相関は、マッチングの基準ブロック領域Ｉおよび対象とするブロック領域Ｉ'の各々に含まれる画素ｐ∈Ｉおよび、ｑ∈Ｉ'の平均値Ａｖｅ（Ｌｐ）、Ａｖｅ（Ｌｑ）を算出し、各ブロックに含まれる画素値との差分を次式（３）、（４）により計算する。

続いて、正規化相互相関ＮＣＣを次式（５）により計算する。

正規化相互相関ＮＣＣの大きいブロックを一致度の高い（相関の高い）ブロックと判断し、最も一致度の高いブロックＩ'とＩの間の相対的ズレ量を求める。

ところで、通常、光学系には収差が含まれている。特に、広角レンズ等、歪曲収差が大きいレンズで撮影すると、画像の中心部は歪みが小さく、画像端部は歪みが大きい画像が得られる（図９（ａ）、（ｂ）参照）。このような歪みが生じた画像を用いて画像間の位置ずれ量を求める場合、画像の中心からの距離（以下、像高と呼ぶ）に応じて、動きベクトルにバラツキが生じる。図９（ａ）に示すように、負の歪曲収差を有する光学系を用いて撮像された画像では、像高の小さい領域の動きベクトルに比べて、像高の大きい領域の動きベクトルは小さくなる。逆に、図９（ｂ）に示すように、正の歪曲収差を有する光学系を用いて撮像された画像では、像高の小さい領域の動きベクトルに比べて、像高の大きい領域の動きベクトルは大きくなる。

このような歪曲収差の影響を排除するために、特許文献１に記載の技術では、歪曲収差を補正する歪み補正処理を施し、歪みの影響を除去した画像を用いて、位置合わせを行っている（図１０参照）。歪み補正処理では、画像の中心を基準として、像高に応じた補正を行っている。
特開２００７−１２９５８７号公報

しかしながら、実際のカメラでは、レンズや撮像素子の組み付け精度による個体差や、ズーム移動時の像ずれ等が含まれることがあるため、画像の中心と歪みの中心とが一致しない場合がある。この場合、歪み補正処理時に、歪曲収差の影響を精度良く排除することができないため、位置合わせの精度が低下するという問題があった。

本発明は上記の課題に鑑みてなされたものであり、その目的は、光学系の歪みの影響を排除して、画像間の位置合わせを精度良く行うことである。

本発明のある態様に係る画像処理装置は、複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理装置であって、光学系の歪みを示す情報に基づいて、前記複数枚の画像間の動きベクトルを測定するための複数の動きベクトル測定領域を画像上に設定する動きベクトル測定領域設定部と、前記複数の動きベクトル測定領域の各々において、前記複数枚の画像間の動きベクトルを求める動きベクトル演算部と、前記複数の動きベクトル測定領域の各々において求められた動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求める位置ずれ量算出部と、を備えることを特徴とする。

本発明の別の態様に係る画像処理方法は、複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理方法であって、光学系の歪みを示す情報に基づいて、前記複数枚の画像間の動きベクトルを測定するための複数の動きベクトル測定領域を画像上に設定するステップと、前記複数の動きベクトル測定領域の各々において、前記複数枚の画像間の動きベクトルを求めるステップと、前記複数の動きベクトル測定領域の各々において求められた動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求めるステップと、を備えることを特徴とする。

本発明のさらに別の態様に係る画像処理プログラムは、複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理をコンピュータに実行させるための画像処理プログラムであって、光学系の歪みを示す情報に基づいて、前記複数枚の画像間の動きベクトルを測定するための複数の動きベクトル測定領域を画像上に設定するステップと、前記複数の動きベクトル測定領域の各々において、前記複数枚の画像間の動きベクトルを求めるステップと、前記複数の動きベクトル測定領域の各々において求められた動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求めるステップと、を備えることを特徴とする。

これら態様によれば、光学系の歪みを示す情報に基づいて、例えば、歪みの影響を受けにくい位置に動きベクトル測定領域を設定して、動きベクトルを求めるので、画像間の位置ずれ量を精度良く求めることができる。

本発明によれば、光学系の歪みの影響を排除して、画像間の位置合わせを精度良く行うことができる。

図１は、一実施の形態における画像処理装置１００の構成を示すブロック図である。図中、点線は制御信号、細線は動きベクトルや信頼度等のデータの流れ、太線は画像データの流れを表している。なお、本実施の形態に係る画像処理装置１００は、デジタルカメラ、デジタルビデオカメラや内視鏡など、正しく作動するために電流または電磁界に依存する機器である電子機器に搭載される。

メインコントローラ１０１は、装置全体の動作制御を行うプロセッサ１０３と、撮影パラメータや各種処理情報を保持するメモリ１０２とを備え、各処理ブロックへのコマンド生成やステータス管理を行う。

メモリ１０２は、光学系データ入力部１２０から入力される光学系データ、および、ユーザインターフェース１２１から入力されるシャッタ速度、絞り、焦点距離、連射速度、ＩＳＯ感度などの撮影パラメータを保持する。光学系データには、光学系の歪みを示すデータが少なくとも含まれている。なお、光学系データは、画像処理装置１００内のＲＯＭ（不図示）に保存しておいてもよいし、画像処理装置１００とは別の光学系ユニット内のＲＯＭ（不図示）に保存しておいてもよい。

撮像部１１０で撮像された複数フレームの画像は、時系列に連続的に、フレームメモリ１１１に入力され、格納される。フレームメモリ１１１に格納された入力画像には、位置合わせの基準となる画像（以下、基準画像と呼ぶ）と、基準画像に対して位置合わせを行う画像（以下、対象画像と呼ぶ）とがある。

位置合わせ画像生成部１１２は、基準画像および対象画像を、それぞれ位置合わせに適した画像へ変換することにより、位置合わせ画像を生成する。位置合わせ画像の生成方法については、後述する。

動きベクトル測定領域設定部１１３は、メモリ１０２に格納されている光学系データ、位置合わせ画像の幅や高さなどの画像情報、および、測定領域パラメータに基づいて、動きベクトルを測定するための複数の動きベクトル測定領域を設定する。測定領域パラメータには、動きベクトル測定領域のＸ，Ｙ方向の個数、および、探索範囲などが含まれる。動きベクトル測定領域の詳しい設定方法については、後述する。以下では、「動きベクトル測定領域」を単に「測定領域」とも呼ぶ。

動きベクトル演算部１１４は、フレームメモリ１１１に格納されている位置合わせ画像のデータと、動きベクトル測定領域のデータとを用いて、各測定領域において、対象画像から基準画像への写像を表す動きベクトルを算出する。動きベクトルの詳しい算出方法については、後述する。

動きベクトル信頼度算出部１１５は、各測定領域の動きベクトル、および、位置合わせ画像に基づいて、各動きベクトルの信頼性（確からしさ）を表す信頼度を算出する。信頼度の詳しい算出方法についても後述する。

動きベクトル統合処理部１１６は、各測定領域の動きベクトルおよび各動きベクトルの信頼度に基づいて、基準画像および対象画像間の位置ずれ量を求める。画像間の位置ずれ量を求める詳しい方法については後述する。

歪み補正処理部１１８は、基準画像および対象画像の歪みを補正する歪み補正処理を行う。歪みの補正は、例えば、光学系の歪曲収差の情報に基づいて既知の方法を用いることにより行う。光学系の歪曲収差の情報は、メモリ１０２に保持されている光学系データに含まれる。歪み補正後の画像は、フレーム加算部１０９に送られる。

フレーム加算部１０９は、歪み補正後の基準画像および対象画像と、歪み補正前の位置ずれ量とに基づいて、フレーム加算処理を行う。すなわち、歪み補正後の対象画像を、歪み補正前の位置ずれ量だけシフトさせて、歪み補正後の基準画像に加算する処理を行う。

図２は、一実施の形態における画像処理装置によって行われる処理の処理手順を示すフローチャートである。ステップＳ１０において、光学系データ入力部１２０は、光学系の歪み情報などの光学系データをメインコントローラ１０１のメモリ１０２に格納する。

ステップＳ２０において、ユーザインターフェース１２１は、シャッタ速度、絞り、焦点距離、連射速度、ＩＳＯ感度などを含む撮影パラメータをメモリ１０２に格納する。ステップＳ３０において、撮像部１１０は、メモリ１０２に入力された撮影パラメータに基づいて撮影を行う。撮影された複数フレームの画像は、フレームメモリ１１１に格納される。

ステップＳ４０において、位置合わせ画像生成部１１２は、フレームメモリ１１１に格納されている基準画像と対象画像のそれぞれについて、位置合わせ用の画像である位置合わせ用基準画像と位置合わせ用対象画像を生成する。位置合わせ用基準画像および位置合わせ用対象画像は、基準画像および対象画像をそれぞれ縮小した画像である。生成された位置合わせ用基準画像および位置合わせ用対象画像は、フレームメモリ１１１に格納される。

ステップＳ５０において、動きベクトル測定領域設定部１１３は、メモリ１０２に格納されている光学系データ、位置合わせ画像の幅や高さなどの画像情報、および、測定領域パラメータに基づいて、動きベクトル測定領域を計算し、設定する。上述したように、測定領域パラメータには、測定領域のＸ，Ｙ方向の個数、探索範囲などが含まれる。

上述したように、内視鏡のように広画角で歪曲収差が大きい光学系を用いて画像を取得した場合、画像中心付近では歪みの影響が少なく、画像周辺部では歪みの影響が大きくなる。これにより、動きベクトルの大きさは、測定箇所(または、像高)によって変動する。

ここで、動きベクトル測定領域を画像中心部にだけ設定すると、歪曲収差の影響は受けにくくなるが、動きベクトルの検出範囲が狭くなるため、検出できる動きベクトルの数が少なくなり、画像間の位置ずれ量の算出精度が低下する。一方、動きベクトル測定領域の設定範囲を画像周辺部まで広げると、歪曲収差の影響を受けやすくなり、各測定領域の動きベクトルにバラツキが発生する。従って、歪曲収差に起因した動きベクトルの変動が、動きベクトル演算精度の範囲内に収まる条件で、できるだけ広く測定領域を設定することが望ましい。

歪曲収差に起因する歪み量と動きベクトル変動量の計算方法について説明する。歪曲収差の影響を排除した理想像の像高(以下、理想像高Ｙと呼ぶ)と、実画像の像高 (以下、実像高Ｙ’と呼ぶ)とは、光学系の歪みを示すデータである歪曲収差係数ＤＴを用いて、次式（６）の関係が成り立つ。

式（６）を変形すると、実像高Ｙ’を表す式（７）が得られる。

歪曲収差係数ＤＴは、あらかじめ形状がわかっている被写体を撮影して理想像高Ｙと実像高Ｙ’をそれぞれ求め、式（６）に代入することで、実験的に求めることができる。図３は、理想像高Ｙと歪曲収差係数ＤＴとの関係を実験的に求めた一例を示す図である。歪曲収差係数ＤＴは、次式（８）のような多項式で近似することができる。

式（８）における多項式の係数ａ，ｂ，ｃを求めれば、任意の理想像高Ｙに対する歪曲収差係数ＤＴを求めることができる。係数ａ，ｂ，ｃは、理想像高Ｙおよびその理想像高Ｙに対応する歪曲収差ＤＴを１組とした場合に、少なくとも３組の理想像高Ｙおよび歪曲収差ＤＴの関係から求めることができる。なお、ここでは３次の多項式で近似したが、より高次の多項式で近似してもよい。

式（８）で表される歪曲収差係数ＤＴを式（７）に代入すると、理想像高Ｙから実像高Ｙ’への変換式として、次式（９）が得られる。

続いて、歪曲収差に起因した動きベクトルの変動量の計算方法について説明する。歪曲収差が無い理想的な条件で撮像された画像上の任意の２点、点Ａ（ｘ₁，ｙ₁）、点Ｂ（ｘ₂，ｙ₂）間の動きベクトルは、次式（１０）で表される。

一方、歪曲収差が存在する光学系を用いて撮像された画像上において、点Ａ−Ｂに対応する２点Ａ’−Ｂ’間の動きベクトルは、次式（１１）で表される。

ただし、式（１１）中のα₁、α₂は、次式（１２）で表される。

従って、歪曲収差がない理想的な条件における動きベクトルと、歪曲収差が存在する条件における動きベクトルとの差である動きベクトルの変動量は、次式（１３）で表される。

ここで、動きベクトルの測定は、基本画像に設定したテンプレート領域に対して、対象画像中の相関の高い領域を求めることにより行う。テンプレート領域は、例えば、所定の大きさの矩形領域であり、動きベクトル測定領域の範囲内で移動させる。

図４は、動きベクトル測定領域を設定する方法を説明するための図である。テンプレート領域４０１の中心座標を（ｘ_c、ｙ_c）、テンプレート領域４０１の中心座標が移動可能な範囲（探索範囲）を、中心座標（ｘ_c、ｙ_c）の上下左右の幅Ｒの範囲（図４参照）とすると、テンプレート領域４０１の最大像高位置は、符号４０２で表される位置となり、動きベクトル測定領域は、符号４０３で表される範囲となる。この場合、動きベクトル測定領域４０３内における動きベクトルの最大変動量は次式（１４）で表される。なお、Ｒは所定の固定値である。

ただし、式（１４）中のα_c、α_rは、次式（１５）で表される。式（１５）におけるＤＴ_cは、動きベクトル測定領域４０３の中心における歪曲収差係数であり、ＤＴ_rは、動きベクトル測定領域内の最大像高位置４０２における歪曲収差係数である。

本実施の形態では、式（１４）で表される、測定領域内における動きベクトルの最大変動量が動きベクトル測定の分解能Ｃ（動きベクトルの測定精度）より小さくなる範囲内で、測定領域を設定する。すなわち、次式（１６）の関係を満たす（ｘ_c、ｙ_c）を求め、測定領域の中心座標が、画像の中心４０４の位置座標（０，０）を中心として、ｘ座標は−ｘ_c以上ｘ_c以下の範囲、ｙ座標は−ｙ_c以上ｙ_c以下の範囲となるように、複数の動きベクトル測定領域４０３を設定する。

本実施の形態では、図４に示すように、格子状に複数の動きベクトル測定領域４０３を設定する。上述した方法によって動きベクトル測定領域４０３を設定すると、図４に示すように、歪みの影響が小さく、動きベクトルの演算精度が保たれる画像中心付近の範囲４０５内に、複数の動きベクトル測定領域４０３が設定される。範囲４０５は、光学系の歪みに応じて定まる範囲である。

図２のフローチャートに戻って説明を続ける。ステップＳ６０において、動きベクトル演算部１１４は、フレームメモリ１１１に格納されている位置合わせ用基準画像および位置合わせ用対象画像と、テンプレート領域４０１および測定領域４０３とに基づいて、動きベクトルを求める。動きベクトルを求める方法を以下で詳しく説明する。

まず初めに、位置合わせ用基準画像のテンプレート領域４０１を、位置合わせ用対象画像の測定領域４０３内において位置合わせを行うことにより、画素精度での動きベクトルを求める。この位置合わせは、ＳＡＤ、ＳＳＤ、ＮＣＣ等の一致指標値を演算するブロックマッチング手法を用いて行うことができる。

また、ブロックマッチングの代わりに、オプティカルフローに置き換えてもよい。なお、画素精度での動きベクトルは、設定された全ての測定領域４０３に対して求める。

次に、求めた画素精度の動きベクトルについて、画素精度よりも細かい精度であるサブピクセル精度の動きベクトルを求める。このため、まず、一致度が最も大きいことを示す一致指標値の画素位置を中心とする上下左右の４近傍の画素位置において、再度、一致指標値を求める。一致度が最も大きいことを示す一致指標値の画素位置とは、例えば、一致指標値としてＳＳＤを求めた場合には、ＳＳＤが最小となる画素位置である。

図５は、一致度が最も大きいことを示す一致指標値の画素位置を中心とする上下左右の４近傍の画素位置を示す図である。一致度が最も大きいことを示す一致指標値の画素位置を黒丸で、上下左右の４近傍の画素位置を白丸でそれぞれ示している。

続いて、上下左右の４近傍の画素位置において求めた一致指標値をフィッティングし、一致指標値のピーク位置を求めることでサブピクセル精度の動きベクトルを求める。フィッティングとしては、等角直線フィッティングや、パラボラフィッティング等の既知の方法を用いることができる。

図６（ａ）は、等角直線フィッティングを用いてサブピクセル精度の動きベクトルを求める方法を示す図である。例えば、画素単位の一致指標値が最高となる画素位置における一致指標値をＲ（０）とし、一致指標値が最高となる画素位置の左隣および右隣の画素位置の一致指標値をそれぞれＲ（−１）、Ｒ（１）とすると、Ｘ方向のサブピクセル精度のずれ量ｄは、次式（１７）で表される。

同様に、上隣および下隣の画素位置の一致指標値をそれぞれＲ（１）、Ｒ（−１）として、式（１７）よりＹ方向のサブピクセル精度のずれ量を求めることにより、サブピクセル精度の動きベクトルを求める。

図６（ｂ）は、パラボラフィッティングを用いてサブピクセル精度の動きベクトルを求める方法を示す図である。この場合、サブピクセル精度のずれ量ｄは、次式（１８）で表される。

この場合も、式（１８）に基づいて、Ｘ方向およびＹ方向のサブピクセル精度のずれ量を求めることにより、サブピクセル精度の動きベクトルを求める。

サブピクセル精度の動きベクトルを求める処理は、画素精度の動きベクトル全てを対象として行う。

図２のフローチャートのステップＳ７０において、動きベクトル信頼度算出部１１５は、各動きベクトルの信頼度を算出する。動きベクトルの信頼度は、例えば、動きベクトル演算において求められた一致指標値のヒストグラムの最も一致度が高いところの一致指標値および平均値の偏差を用いて判定する。例えば、一致指標値にＳＳＤを用いた場合、ＳＳＤの最小値と平均値との偏差を用いる。簡単には、ＳＳＤの最小値と平均値との偏差を信頼度とする。

なお、ＳＳＤの統計性に基づく信頼度は、領域の構造特徴と以下の（ｉ）〜（ｉｉｉ）の概念で対応付けられる。
（ｉ）エッジ構造が鮮鋭な領域の場合、動きベクトルの信頼性が高い。このため、ＳＳＤの最小値を示す位置の誤差は少なく、ＳＳＤのヒストグラムをとった場合に、最小値を示す位置付近に小さな差分値が集中する。従って、ＳＳＤの最小値と平均値の差が大きい。
（ｉｉ）テクスチャや平坦な構造の場合、差分値のヒストグラムが平坦になる。このため、最小値と平均値の差は小さく、信頼度は低い。
（ｉｉｉ）繰り返し構造の場合、差分の最小値と最大値を示す位置が近く、差分が小さい値を示す位置が分散している。このため、最小値と平均値の差は小さく、信頼度は低い。

なお、信頼性に関しては、各測定領域内のエッジの量に応じて判定することもできる。

ステップＳ８０〜ステップＳ１１０の処理は、動きベクトル統合処理部１１６により行われる。ステップＳ８０では、各動きベクトルの信頼度に基づいて、信頼度の高い動きベクトルを選択する。

図７（ａ）は、各テンプレート領域４０１において求められた動きベクトルの一例を示す図、図７（ｂ）は、信頼度の低い動きベクトルを除外して、信頼度の高い動きベクトルを選択した様子の一例を示す図である。図７（ｂ）に示す例では、信頼度の低い動きベクトル（例えば、信頼度が所定のしきい値より低い動きベクトル）を除外するためのフィルタリング処理を行うことにより、信頼度の高い動きベクトルを選択している。

ステップＳ９０では、ステップＳ８０の選択処理で選択した複数の動きベクトルに対して投票処理を行い、最も頻度の高い動きベクトル、すなわち、最も数の多い同一の動きベクトルを選択する。例えば、選択処理で選択した動きベクトルを、Ｘ方向のずれ量およびＹ方向のずれ量に分解し、Ｘ方向のずれ量およびＹ方向のずれ量のそれぞれに対して投票処理を行うことにより、最も頻度の高い動きベクトルを求める。

ステップＳ１００では、ステップＳ８０およびステップＳ９０の処理で残った動きベクトルについて、その個数（最頻位置ずれ量の投票数）と所定のしきい値とを比較することにより、フレーム加算可否を判定する。投票数が所定のしきい値を下回る場合、フレーム加算は行わず次フレームの処理に移るため、ステップＳ３０に戻る。投票数が所定のしきい値以上の場合、ステップＳ１１０に進む。

ステップＳ１１０では、画像間の代表位置ずれ量を求める。位置合わせ用基準画像および位置合わせ用対象画像は、基準画像および対象画像をそれぞれ縮小した画像であるため、投票数が所定のしきい値以上の最頻度の動きベクトルを、縮小後の位置合わせ用の画像を縮小前の画像に変換する際の変換率で変換することで、代表位置ずれ量を求める。縮小後の位置合わせ用の画像を縮小前の画像に変換する際の変換率は、基準画像および対象画像から位置合わせ用基準画像および位置合わせ用対象画像を生成する際の縮小率の逆数として算出する。例えば、基準画像および対象画像をそれぞれ４分の１に縮小して、位置合わせ用基準画像および位置合わせ用対象画像を生成した場合には、求めた最頻度の動きベクトルを４倍することにより、代表位置ずれ量を求める。

このとき、求めた代表位置ずれ量が画素精度になるように、最頻度の動きベクトルを更新することが好ましい。例えば、最頻度の動きベクトルが（2.2，2.6）で、変換率が４倍の場合、単純に４倍すると、（8.8，10.4）となり、画素精度にはならない。従って、最頻度の動きベクトルを（2.0，2.5）に更新してから４倍することにより、画素精度の代表位置ずれ量（8，10）を得ることができる。

ステップＳ１２０において、歪み補正処理部１１８は、メモリ１０２に保持されている光学系データに基づいて、基準画像および対象画像の歪みを補正する。

ステップＳ１３０において、フレーム加算部１１７は、歪み補正後の基準画像および対象画像と、ステップＳ１１０で求めた歪み補正前の位置ずれ量とに基づいて、フレーム加算処理を行う。すなわち、歪み補正後の対象画像を、歪み補正前の位置ずれ量だけシフトさせて、歪み補正後の基準画像に加算する処理を行う。

ステップＳ１４０では、規定フレームを全て処理し終えたか否かを判定する。規定フレームを全て処理し終えればフローチャートの処理を終了し、未処理フレームが残っていれば、ステップＳ３０に戻って、上記処理を繰り返す。

図８は、一実施の形態における画像処理装置によって行われる処理の流れを簡単に説明するための図である。歪み補正前の基準画像および対象画像に基づいて、動きベクトル測定領域が設定される範囲４０５内で、基準画像および対象画像間の位置合わせを行い、画像間の位置ずれ量を求める。そして、基準画像および対象画像の歪みを補正し、歪み補正後の基準画像および対象画像と、歪み補正前の位置ずれ量とに基づいて、フレーム加算処理を行う。

以上、一実施の形態における画像処理装置によれば、光学系の歪みを示す情報に基づいて、画像上に複数の動きベクトル測定領域を設定し、設定した複数の動きベクトル測定領域の各々において、複数枚の画像間の動きベクトルを求め、求めた複数の動きベクトルに基づいて、複数枚の画像間の位置ずれ量を求める。光学系の歪みを示す情報に基づいて、複数の動きベクトル測定領域を設定するので、光学系に歪みが存在する場合でも、歪みの影響を受けにくい位置に動きベクトル測定領域を設定して、画像間の位置ずれ量を精度良く求めることができる。また、歪み補正処理を行う前の画像を用いて、画像間の位置ずれ量を求めるので、歪み補正処理後の画像を用いて位置ずれ量を求める従来の方法に比べて、少ない演算量で位置ずれ量を求めることができる。すなわち、従来の方法では、位置合わせを行う全ての画像に対して、歪み補正処理を行う必要があるが、一実施の形態における画像処理装置によれば、そのような歪み補正処理を行う必要がない。

特に、一実施の形態における画像処理装置では、光学系の歪みを示す情報に基づいて、動きベクトル測定領域を設定する範囲を決定し、決定した範囲内において、複数の動きベクトル測定領域を設定する。動きベクトル測定領域を設定する範囲は、画像の中心から光学系の歪みに応じた所定の範囲とするので、歪みの影響が小さく、動きベクトルの演算精度が保たれる範囲内で動きベクトルを求めることができる。

また、一実施の形態における画像処理装置によれば、動きベクトル測定領域内で測定可能な動きベクトルが光学系の歪みに起因して変動する量のうちの最大変動量を求め、求めた最大変動量が動きベクトルの測定精度よりも小さくなる範囲内で、複数の動きベクトル測定領域を設定する。これにより、動きベクトルの測定時に、光学系の歪みに起因する動きベクトルの変動量が無視されるので、歪みの影響を排除した精度の高い位置ずれ量を求めることができる。

一実施の形態における画像処理装置によれば、各動きベクトルの信頼度を算出し、算出した信頼度、および、各動きベクトルに基づいて、複数枚の画像間の位置ずれ量を求める。特に、信頼度の高い動きベクトルを選択し、選択した信頼度の高い動きベクトルに基づいて、複数枚の画像間の位置ずれ量を求めるので、精度の高い位置ずれ量を求めることができる。

本発明は、上述した一実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、上述した一実施の形態では、基準画像と対象画像のそれぞれを縮小することにより、位置合わせ用基準画像と位置合わせ用対象画像を生成し、生成した位置合わせ用画像を用いて、動きベクトルを求めた。しかし、位置合わせ用画像を生成せずに、基準画像および対象画像を用いて、動きベクトルを求めるようにしてもよい。

複数の動きベクトル測定領域４０３は、図４に示すように、画像の中心４０４から光学系の歪みに応じた範囲４０５内に設定するようにしたが、画像の略中心から光学系の歪みに応じた範囲内に設定するようにしてもよい。なお、図４では、画像の中心と歪みの中心とが一致するものとして説明しているが、両者が一致しない場合には、画像上において歪みの中心に対応する位置を中心とする所定の範囲内に、動きベクトル測定領域４０３が設定されることになる。

画像間の位置ずれ量は、各動きベクトル測定領域で求められた複数の動きベクトルの中から、信頼度が高い動きベクトルを選択し、選択した複数の動きベクトルの中で最も頻度の高い動きベクトルを選択することにより求めた。しかし、信頼度が高い動きベクトルを選択した後、選択した複数の動きベクトルの平均ベクトルを算出することにより、位置ずれ量を求めてもよいし、選択した複数の動きベクトルを、信頼度に応じて重み付け加算することにより、位置ずれ量を求めるようにしてもよい。

図１に示す構成では、フレーム加算の例を示したが、画像間の位置ずれ量を用いて、基準画像に対する対象画像の位置あわせを行う動画ブレ補正を行う構成としてもよい。動画ブレ補正では、位置ずれ量を用いて、対象画像が基準画像に対して、ブレが少なくなるような補正を行う。

光学系の歪みを示す情報として、歪曲収差係数を例に挙げて説明したが、歪曲収差係数に限定されることはない。

なお、上述した一実施の形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。

一実施の形態における画像処理装置の構成を示すブロック図である。 一実施の形態における画像処理装置によって行われる処理の処理手順を示すフローチャートである。 理想像高と歪曲収差係数との関係を実験的に求めた一例を示す図である。 動きベクトル測定領域を設定する方法を説明するための図である。 一致度が最も大きいことを示す一致指標値の画素位置を中心とする上下左右の４近傍の画素位置を示す図である。 図６（ａ）は、等角直線フィッティングを用いてサブピクセル精度の動きベクトルを求める方法を示す図であり、図６（ｂ）は、パラボラフィッティングを用いてサブピクセル精度の動きベクトルを求める方法を示す図である。 図７（ａ）は、各テンプレート領域において求められた動きベクトルの一例を示す図であり、図７（ｂ）は、信頼度の低い動きベクトルを除外して、信頼度の高い動きベクトルを選択した様子の一例を示す図である。 一実施の形態における画像処理装置によって行われる処理の流れを簡単に説明するための図である。 図９（ａ）は、負の歪曲収差を有する光学系を用いて撮像された画像の一例であり、図９（ｂ）は、正の歪曲収差を有する光学系を用いて撮像された画像の一例である。 歪曲収差を補正した画像に基づいて、画像間の位置ずれ量を求める従来技術の方法を説明するための図である。

符号の説明

１００…画像処理装置
１０１…メインコントローラ
１０２…メモリ
１０３…プロセッサ
１１０…撮像部
１１１…フレームメモリ
１１２…位置合わせ画像生成部
１１３…動きベクトル測定領域設定部
１１４…動きベクトル演算部
１１５…動きベクトル信頼度算出部
１１６…動きベクトル統合処理部
１１７…フレーム加算部
１１８…歪み補正処理部
１２０…光学系データ入力部
１２１…ユーザインターフェース

Claims (10)

1. 複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理装置であって、
   光学系の歪みを示す情報に基づいて、前記複数枚の画像間の動きベクトルを測定するための複数の動きベクトル測定領域を画像上に設定する動きベクトル測定領域設定部と、
   前記複数の動きベクトル測定領域の各々において、前記複数枚の画像間の動きベクトルを求める動きベクトル演算部と、
   前記複数の動きベクトル測定領域の各々において求められた動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求める位置ずれ量算出部と、
   を備えることを特徴とする画像処理装置。
2. 前記動きベクトル測定領域設定部は、前記光学系の歪みを示す情報に基づいて、動きベクトル測定領域を設定する範囲を決定し、決定した範囲内において、前記複数の動きベクトル測定領域を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記動きベクトル測定領域設定部は、画像の略中心から前記光学系の歪みに応じた所定の範囲内を前記動きベクトル測定領域を設定する範囲として決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記動きベクトル測定領域設定部は、動きベクトル測定領域内で測定可能な動きベクトルが前記光学系の歪みに起因して変動する量のうちの最大変動量を求め、求めた最大変動量が動きベクトルの測定精度よりも小さくなる範囲内で、前記複数の動きベクトル測定領域を設定することを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。
5. 前記複数の動きベクトル測定領域の各々において求められた動きベクトルの信頼度を算出する動きベクトル信頼度算出部をさらに備え、
   前記位置ずれ量算出部は、前記複数の動きベクトル測定領域の各々において求められた動きベクトル、および、前記動きベクトルごとに求められた信頼度に基づいて、前記複数枚の画像間の位置ずれ量を求めることを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理装置。
6. 前記動きベクトルごとに求められた信頼度に基づいて、信頼度の高い動きベクトルを選択する高信頼度動きベクトル選択部をさらに備え、
   前記位置ずれ量算出部は、前記選択された信頼度の高い動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求めることを特徴とする請求項５に記載の画像処理装置。
7. 前記光学系の歪みを示す情報に基づいて、複数枚の画像の歪みを補正する歪み補正処理部と、
   前記歪み補正処理が行われた画像のうち、位置ずれが生じた画像を前記求められた位置ずれ量に基づいてシフトさせ、前記シフトさせた後の画像を、前記歪み補正処理が行われた基準となる画像に加算する加算部と、
   をさらに備えることを特徴とする請求項１から請求項６のいずれか一項に記載の画像処理装置。
8. 請求項１から請求項７のいずれか一項に記載の画像処理装置を有することを特徴とする電子機器。
9. 複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理方法であって、
   光学系の歪みを示す情報に基づいて、前記複数枚の画像間の動きベクトルを測定するための複数の動きベクトル測定領域を画像上に設定するステップと、
   前記複数の動きベクトル測定領域の各々において、前記複数枚の画像間の動きベクトルを求めるステップと、
   前記複数の動きベクトル測定領域の各々において求められた動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求めるステップと、
   を備えることを特徴とする画像処理方法。
10. 複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理をコンピュータに実行させるための画像処理プログラムであって、
    光学系の歪みを示す情報に基づいて、前記複数枚の画像間の動きベクトルを測定するための複数の動きベクトル測定領域を画像上に設定するステップと、
    前記複数の動きベクトル測定領域の各々において、前記複数枚の画像間の動きベクトルを求めるステップと、
    前記複数の動きベクトル測定領域の各々において求められた動きベクトルに基づいて、前記複数枚の画像間の位置ずれ量を求めるステップと、
    を備えることを特徴とする画像処理プログラム。

Images