JP2006279750A - 画像処理装置、電子カメラ、および画像処理プログラム - Google Patents

Abstract

【課題】 画像ズレを正確に検出する。
【解決手段】 本発明の画像処理装置は、複数の画像間の画像ズレを検出する装置であって、画像歪み補正部、および画像ズレ処理部を備える。画像歪み補正部は、複数の画像について、画像歪みを補正することにより、画面内の位置の違いによる像の変形を低減する。画像ズレ処理部は、画像歪みを補正した画像間において、画像ズレを検出する。
【選択図】 図２

Description

本発明は、複数の画像から絵柄のズレ（画像ズレ）を検出する画像処理装置およびプログラムに関する。
本発明は、その画像ズレを補正して複数の画像を合成することにより、像ブレの少ない合成画像を得る画像処理装置および電子カメラに関する。

従来、画像ズレを検出する処理として、パターンマッチングやブロックマッチングなどが公知である。この種のマッチング処理では、一方の画像をずらしながら他方の画像と照合し、絵柄が最も一致するずらし量を画像ズレとして検出する。
また、電子カメラにおいて、像流れの少ない短時間露光を複数回実施し、得られた複数画像を位置合わせして合成することにより、長秒時露光のブレを軽減する技術が知られている。この種のブレ軽減技術においても、マッチング処理を用いて画像の位置合わせを行うことが知られている。

また、特許文献１には、歪曲収差やアオリを補正した画像を、ブレ検出センサのブレ実測値に基づいて位置合わせして合成する技術が記載されている。
特開平６−１９７２６１号公報

本願発明者は、元々の画像に画像歪みが存在すると、画像ズレの検出精度が低下することに着目した。例えば、マッチング処理では、２つの画像間で絵柄の一致する箇所を探索する。このとき、画像歪みが存在すると絵柄が変形しているため、両画像をずらすだけでは絵柄が一致しない。そのため、正確に画像ズレを検出することができない。
そこで、本発明は、上述した問題点に鑑みて、画像ズレを正確に検出する技術を提供することを目的とする。

《１》 本発明の画像処理装置は、複数の画像間の画像ズレを検出する装置であって、画像歪み補正部、および画像ズレ処理部を備える。
画像歪み補正部は、複数の画像について画像歪みをそれぞれ補正して、画面内の位置の違いによる像の変形を低減する。
画像ズレ処理部は、画像歪みを補正した画像間において、画像ズレを検出する。

《２》 なお好ましくは、画像ズレ処理部は、画像歪みを補正した複数の画像を、画像ズレに基づいて位置合わせして画像合成する。

《３》 本発明の電子カメラは、撮像部、および画像処理装置を備える。
撮像部は、予め定められる露光時間を区切って複数回の撮像動作に分けて実行して、複数の画像を生成する機能を有する。
画像処理装置は、上記《２》に記載の画像処理装置であって、撮像部で撮像された複数の画像を処理して、画像歪みによる合成ズレを低減した合成画像を得る。

《４》 なお好ましくは、本発明の電子カメラは、撮像部で撮像された複数の画像から、クイックビュー用の簡易合成画像を生成する簡易合成部を備える。この簡易合成部は、複数の画像に対して、「画像歪みを補正せずに画像合成」または「解像度変換時に画像歪みを簡易補正して画像合成」することを特徴とする。

《５》 本発明の画像処理プログラムは、コンピュータを、上記《１》または《２》に記載の画像歪み補正部および画像ズレ処理部として機能させるためのプログラムである。

本発明の画像処理装置では、複数の画像について先に画像歪みを補正する。その後、歪み補正を完了した補正画像間で、画像ズレを検出する。したがって、両画像の絵柄がよく一致するようになり、画像ズレの検出精度を高めることができる。
一方、本発明の電子カメラは、歪み補正後の補正画像を、補正画像間で求めた正確な画像ズレに基づいて位置合わせする。その結果、絵柄の位置合わせ精度が高く、かつ画像歪みの補正された良質な合成画像を得ることができる。

［実施形態の構成説明］
図１は、本実施形態の電子カメラ１１を示すブロック図である。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。レンズ制御部１２ａは、この撮影レンズ１２のフォーカス駆動や絞り制御などを実施する。この撮影レンズ１２の像空間には、シャッタ（不図示）を介して撮像素子１３の受光面が配置される。この撮像素子１３は、撮像制御部１４によって駆動される。撮像素子１３から出力される画像データは、信号処理部１５、およびＡ／Ｄ変換部１６を介して処理された後、メモリ１７に一時蓄積される。
このメモリ１７は、バス１８に接続される。このバス１８には、レンズ制御部１２ａ、撮像制御部１４、マイクロプロセッサ１９、画像処理装置２０、記録部２２、およびモニタ表示部２３も接続される。
上記のマイクロプロセッサ１９には、レリーズ釦などの操作部１９ａが接続される。また、上記の記録部２２には、記録媒体２２ａが装着される。
また、画像処理装置２０は、画像歪み補正部４１、および画像ズレ処理部４２を備える。

［実施形態の動作説明］
図２は、本実施形態の動作を説明する流れ図である。以下、図２に示すステップ番号に沿って動作を説明する。

ステップＳ１： 電子カメラ１１の主電源が投入されると、マイクロプロセッサ１９は、撮像制御部１４を介して、撮像素子１３にモニタ撮影を開始させる。マイクロプロセッサ１９は、このモニタ撮影の画像に基づいて被写界を測光し、その測光値に応じて露光時間を決定する。

ステップＳ２： マイクロプロセッサ１９は、決定した露光時間を、像流れを無視できる短時間の分割露光時間に分割し、分割露光のスケジュールを作成する。

ステップＳ３： マイクロプロセッサ１９は、レリーズ操作の有無を検出する。ここで、レリーズ操作がない場合、マイクロプロセッサ１９は、ステップＳ１に動作を戻す。一方、ユーザーによるレリーズ操作があった場合、マイクロプロセッサ１９は、ステップＳ４に動作を移行する。

ステップＳ４： マイクロプロセッサ１９は、レリーズ操作に応じて撮像制御部１４に分割露光を指示する。撮像制御部１４は、撮像素子１３を制御して、ステップＳ２で決定したスケジュールに従って、分割露光を複数回実施して複数画像を生成する。これらの複数画像は、信号処理部１５、およびＡ／Ｄ変換部１６を順次に通って、メモリ１７に順次記憶される。

ステップＳ５： マイクロプロセッサ１９は、レンズ制御部１２ａに対して、画像歪みの情報を要求する。レンズ制御部１２ａは、分割露光時点における撮影レンズ１２の焦点距離やレンズ位置を、予め記憶された歪み情報テーブルに照会して、画像歪みの情報を求める。レンズ制御部１２ａは、画像歪みの情報をマイクロプロセッサ１９に伝達する。
図３は、このような画像歪みの一例を示す図である。図３に示す点線格子は、本来の直線として写るべき線である。この点線が、実線格子で示す曲線に変形して写る。図３に示す矢印群は、この画像歪みを修正するために必要な代表画素の移動軌跡を示すものである。
上述した画像歪みの情報としては、例えば、図３に示す実線の変形度を示す数式や情報、または矢印群に関する情報などが好ましい。

ステップＳ６： マイクロプロセッサ１９は、メモリ１７に記憶された複数画像（画像歪みの補正前の画像）をクイックビュー表示用に解像度変換する。
なお、この解像度変換時に、低解像度の画素を算出するための参照範囲を画像歪みの情報に合わせて画面内でずらすことにより、画像歪みを簡易補正することが好ましい。
さらに、マイクロプロセッサ１９は、解像度変換で得た複数画像を画像合成して、簡易合成画像を生成する。
なお、この画像合成に先だって、低解像度画像の絵柄のエッジ部を位置合わせするなどの簡易位置合わせを行うことが好ましい。
モニタ表示部２３は、このように作成された簡易合成画像を、電子カメラ１１背面のモニタ画面にクイックビュー表示する。
このような動作により、後述するステップＳ９の高解像度な合成画像の完成を待つことなく、撮影直後のクイックビュー表示が可能になる。

ステップＳ７： 画像歪み補正部４１は、メモリ１７内の複数画像に対して、画像歪みをそれぞれ補正する。図３に示す画素配列の拡大図を用いて、この補正処理を説明する。
まず、画像歪み補正部４１は、ステップＳ５で得た画像歪みの情報から、画像歪みによって変形した実線格子または矢印群を求める。この実線格子の交点Ｂを、矢印群に沿って本来の画素位置Ａに移動することにより画像歪みの補正がなされる。
そこで、画像歪み補正部４１は、交点Ｂの近傍画素を補間して、交点Ｂの補間画素値を求める。このような補間処理には、バイリニア法、バイキュービック法、ニアレストネイバー法、線形補間法その他の補間処理が使用可能である。
全ての画素位置Ａに関して交点Ｂの補間画素値を求め、画素位置Ａのメモリアドレスに格納することにより、画像歪みを補正した画像が完成する。
なお、画像歪みの少ない画像領域（画面中央など）については、画像歪みの補正処理を省略してもよい。
また、歪み補正後の画像に部分的に生じる画像情報の粗密差を補うため、補間時の参照半径を調整したり、歪み補正後の画像に対して部分的に空間周波数フィルタをかけてもよい。
なお、画面周辺域の画素位置Ａによっては、対応する交点Ｂが画面外にはみ出す場合がある。このような画素位置Ａについては歪み補正を省略することが好ましい。

ステップＳ８： 画像ズレ処理部４２は、歪み補正後の複数画像から画像ズレを検出する。
例えば、歪み補正後の複数画像から特定色やエッジなどの特徴箇所をそれぞれ抽出し、これら特徴箇所の位置差から画像ズレを検出してもよい。
また例えば、残差逐次検定法などのマッチング処理により、画像ズレを検出してもよい。
また例えば、歪み補正後の画像に帯域制限および画素間引きを施して、代表点配列を抽出する。これら画像毎の代表点配列を縦横斜めにずらしながら画像間で差分の絶対値和を求める。これら差分絶対値和を線形補間することで、差分絶対値和の仮想最小点を求めて画像ズレとしてもよい。なお、このような仮想最小点による画像ズレ検出が可能になるのも、元々の画像が歪み補正され、絵柄の一致が保証されているからである。

ステップＳ９： 画像ズレ処理部４２は、ステップＳ８で求めた画像ズレに基づいて、歪み補正後の複数画像の位置合わせを行って画像合成を行う。
また、画面周辺域の画素位置については、合成相手の画像からはみ出す場合もある。このような画素位置については、画像合成を省略してもよい。また、合成相手が存在しない分だけ当該画素位置の信号レベルを増倍してもよい。
このような合成処理に際して、画像ズレ処理部４２は、合成画像の周辺域を省略して、合成画像の外形を矩形に整形する。

ステップＳ１０： 記録部２２は、求めた合成画像を記録媒体２２ａに保存記録する。

［実施形態の効果など］
以上説明したように、本実施形態では、先に画像歪みを補正した複数画像間において画像ズレを検出する。したがって、画像歪みによる変形の影響を受けることがなく、画像ズレを高精度に検出することができる。

また、本実施形態では、画像歪みを補正した複数画像を、この高精度な画像ズレに従って位置合わせして画像合成する。したがって、複数画像の絵柄がよく一致するようになり、高画質な合成画像を得ることが可能になる。

さらに、本実施形態では、複数画像を、「画像歪みを補正せずに画像合成」または「解像度変換時に画像歪みを簡易補正して画像合成」して、クイックビュー用の簡易合成画像を生成する。このような簡易処理によりクイックビュー表示までの時間を短縮することが可能になる。

［実施形態の補足事項］
なお、上述した実施形態では、本発明を電子カメラや画像処理装置に適用するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、図２中に示す画像処理動作をプログラム化して、画像処理プログラムを作成してもよい。この画像処理プログラムをコンピュータで実行することにより、コンピュータを画像処理装置として機能させることが可能になる。

また、インターネット上のサーバーマシン（画像アルバムサーバーなど）を利用して、ユーザーから伝送される画像に対して、上述した画像処理を実施するサービスを提供してもよい。

以上説明したように、本発明は、画像処理などに利用可能な技術である。

本実施形態の電子カメラ１１を示すブロック図である。 本実施形態の動作を説明する流れ図である。 画像歪みの一例を示す図である。

符号の説明

１１…電子カメラ，１２…撮影レンズ，１２ａ…レンズ制御部，１３…撮像素子，１４…撮像制御部，１９…マイクロプロセッサ，２０…画像処理装置，２３…モニタ表示部，４１…画像歪み補正部，４２…画像ズレ処理部

Claims (5)

1. 複数の画像間の画像ズレを検出する画像処理装置であって、
   前記複数の画像について画像歪みをそれぞれ補正して、画面内の位置の違いによる像の変形を低減する画像歪み補正部と、
   画像歪みを補正した画像間において、画像ズレを検出する画像ズレ処理部と
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像ズレ処理部は、画像歪みを補正した複数の前記画像を、前記画像ズレに基づいて位置合わせして画像合成する
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置と、
   予め定められる露光時間を区切って複数回の撮像動作に分けて実行し、複数の画像を生成する撮像部を備え、
   前記画像処理装置は、前記撮像部で撮像された複数の前記画像を、前記画像処理装置で処理することにより、画像歪みによる合成ズレを低減した合成画像を得る
   ことを特徴とする電子カメラ。
4. 請求項３に記載の電子カメラにおいて、
   前記撮像部で撮像された複数の前記画像を、「画像歪みを補正せずに画像合成」または「解像度変換時に画像歪みを簡易補正して画像合成」することにより、クイックビュー用の簡易合成画像を生成する簡易合成部を備えた
   ことを特徴とする電子カメラ。
5. コンピュータを、請求項１または請求項２に記載の前記画像歪み補正部および前記画像ズレ処理部として機能させるための画像処理プログラム。

Images