JP2008109545A - 画像ブレ検出装置並びにこれを備えた画像ブレ補正装置、固体撮像装置、及び電子機器 - Google Patents

Abstract

【課題】手振れ等によって生じる画像ブレを比較的小規模な回路にて正確に検出する画像ブレ検出装置を提供する。
【解決手段】フレーム単位で順次入力される画像信号について、画像の水平方向及び垂直方向濃度投影値を算出する濃度投影値算出部（１，６）と、前フレームの前記水平方向濃度投影値の配列と現フレームの前記水平方向濃度投影値の配列との一致度を両者の位置関係を順次垂直方向にずらしながら各位置関係において求め、その求めた結果に基づいて垂直方向についての前フレームに対する現フレームの画像ブレ量を検出し、水平方向の画像ブレ量に関しても同様の検出を行う検出部（４，５，９，１０）とを備える画像ブレ検出装置。
【選択図】図１

Description

本発明は、手振れ等によって生じる画像ブレを検出する画像ブレ検出装置並びにこれを備えた画像ブレ補正装置、固体撮像装置、及び電子機器に関するものである。

携帯電話に装着されているカメラ、ディジタルビデオカメラ、ディジタルスチルカメラ等において、動画像を撮影する場合、撮影者の手の揺れや移動しながらの撮影で生じるカメラの振動等により、撮影した画像が揺れてしまうことがある。

このような画像ブレは、本来の被写体にない不要な揺れを発生させ、再生時の動画像を非常に見づらくする。手振れ等によって生じる画像ブレを検出する方法として、画面の複数の局所領域のフレーム間の相関を利用して画像ブレ検出を行う方法（例えば、特許文献１を参照）などがあるが、回路規模が大きいという問題がある。そこで、特許文献２においては、手振れ等によって生じる画像ブレを比較的小規模な回路にて検出する方法として、水平及び垂直方向の濃度投影値の傾斜を利用して移動量を検出する方法が提案されている。
特開平２−１５７９８０号公報 特開平６−３８０９１号公報

ところが、特許文献２において提案されている画像ブレ検出方法では、濃度投影値（特許文献２では、画像の横方向の加算平均を横方向の濃度投影値とし、画像の縦方向の加算平均を縦方向の濃度投影値としている。）を利用して画像ブレ検出を行う際、濃度投影値の傾斜部分の幅の差と高さの差のみでフレーム間のマッチングを行っているため（特許文献２第４頁５欄３７行から４４行を参照）、画像ブレの誤検出が発生しやすい。そして、画像ブレの誤検出が発生した場合、ヒストグラムの標準偏差が大きくなり、画像ブレの補正が困難になる。

本発明は、上述の状況に鑑み、手振れ等によって生じる画像ブレを比較的小規模な回路にて正確に検出する画像ブレ検出装置並びにこれを備えた画像ブレ補正装置、固体撮像装置、及び電子機器を提供することを目的とする。

上記目的を達成するために本発明に係る画像ブレ検出装置は、フレーム単位で順次入力される画像信号について、画像の水平方向濃度投影値及び垂直方向濃度投影値を算出する濃度投影値算出部と、前フレームの前記水平方向濃度投影値の配列と現フレームの前記水平方向濃度投影値の配列との一致度を両者の位置関係を順次垂直方向にずらしながら各位置関係において求め、その求めた結果に基づいて垂直方向についての前フレームに対する現フレームの画像ブレ量を検出し、前フレームの前記垂直方向濃度投影値の配列と現フレームの前記垂直方向濃度投影値の配列との一致度を両者の位置関係を順次水平方向にずらしながら各位置関係において求め、その求めた結果に基づいて水平方向についての前フレームに対する現フレームの画像ブレ量を検出する検出部とを備えるようにする。

このような構成によると、濃度投影値を利用して画像ブレ量を検出しているので、画像ブレ検出装置を比較的小規模な回路で実現することができる。また、このような構成によると、前フレームの濃度投影値の配列と現フレームの濃度投影値の配列との一致度に基づいて、前フレームに対する現フレームの画像ブレ量を検出することになり、濃度投影値の傾斜部分の幅の差と高さの差のみで画像ブレ量を検出する従来の方法よりも正確な検出が可能となる。

上述した特許文献２において提案されている画像ブレ検出方法では、画面全体で濃度投影処理を行うので、画面内の一部に何かが横切った場合に横切ったものをブレと判定し、意図しない補正が行われてしまう、という問題があった。かかる問題を解決するために、上記構成の本発明に係る画像ブレ検出装置において、前記画像信号の全画像領域を複数の領域に分割し、それぞれの分割領域について、画像の水平方向濃度投影値及び垂直方向濃度投影値を算出し、前フレームに対する現フレームの画像ブレ量を検出するようにすることが望ましい。

また、上記各構成の本発明に係る画像ブレ検出装置において、前記濃度投影値算出部によって算出された前記水平方向濃度投影値及び前記垂直方向濃度投影値に対し、ハイパスフィルタ処理又はローパスフィルタ処理を行うフィルタ処理回路を備え、前記検出部が、前記フィルタ処理回路によって処理された前記水平方向濃度投影値及び前記垂直方向濃度投影値を用いて画像ブレ量を検出するようにしてもよい。ハイパスフィルタ処理を行った場合は、ＤＣ成分を除去してエッジ成分を抽出することにより、明るさの変動に影響されにくい状態で検出を行える効果がある。また、ローパスフィルタ処理を行った場合は、ノイズを除去して誤検出を低減する効果がある。

また、上記各構成の本発明に係る画像ブレ検出装置において、前記検出部が、前記一致度の上位の値のみを対応する前フレームと現フレームとの位置ズレ量とともに格納するソート部を有するようにしてもよい。これにより、検出部の回路規模を小さくすることができる。

また、上記目的を達成するために本発明に係る画像ブレ補正装置は、上記いずれかの構成の画像ブレ検出装置と、フレーム単位の画像信号を保存するフレームメモリと、前記フレームメモリに格納された現フレームの画像の読出し領域を前記画像ブレ検出装置によって検出された画像ブレ量に応じて制御するトリミング部とを備えるようにする。

また、上記目的を達成するために本発明に係る固体撮像装置は、固体撮像素子と、前記固体撮像素子から出力される画素データ列をＡ／Ｄ変換するＡ／Ｄ変換部と、上記構成の画像ブレ補正装置とを備え、前記画像ブレ補正装置が前記Ａ／Ｄ変換部から出力される画像信号を入力するようにする。

また、上記目的を達成するために本発明に係る電子機器は、上記構成の固体撮像装置を備えるようにする。

本発明によると、濃度投影値を利用して画像ブレ量を検出しているので、画像ブレ検出装置を比較的小規模な回路で実現することができる。また、本発明によると、前フレームの濃度投影値の配列と現フレームの濃度投影値の配列との一致度に基づいて、前フレームに対する現フレームの画像ブレ量を検出することになり、濃度投影値の傾斜部分の幅の差と高さの差のみで画像ブレ量を検出する従来の方法よりも正確な検出が可能となる。

本発明の実施形態について図面を参照して以下に説明する。図１は本発明に係る画像ブレ補正装置の一構成例を示すブロック図である。

図１に示す画像ブレ補正装置は、入力される画像信号の所定の画像領域について垂直方向に１列のデータすべてを加算して垂直方向濃度投影値を算出する垂直方向濃度投影値算出回路１と、垂直方向濃度投影値算出回路１が算出した各列の垂直方向濃度投影値を前フレームと現フレームの２画面分格納する水平方向１次元メモリ２と、垂直方向濃度投影値に対してエッジ検出及びノイズ除去を行う水平方向フィルタ回路３と、水平方向についての前フレームに対する現フレームの画像ブレ量を検出するのに必要な水平方向相関値を算出する水平方向相関値算出回路４と、水平方向の相関値を順次ソートして上位のもののみを保存する水平方向相関値ソート回路５とを備えている。

また、図１に示す画像ブレ補正装置は、入力される画像信号の所定の画像領域について水平方向に１行のデータすべてを加算して水平方向濃度投影値を算出する水平方向濃度投影値算出回路６と、水平方向濃度投影値算出回路６が算出した各行の水平方向濃度投影値を前フレームと現フレームの２画面分格納する垂直方向１次元メモリ７と、水平方向濃度投影値に対してエッジ検出及びノイズ除去を行う垂直方向フィルタ回路８と、垂直方向についての前フレームに対する現フレームの画像ブレ量を検出するのに必要な垂直方向相関値を算出する垂直方向相関値算出回路９と、垂直方向の相関値を順次ソートして上位のもののみを保存する垂直方向相関値ソート回路１０とを備えている。

さらに、図１に示す画像ブレ補正装置は、検出ブレ量の信頼性を判定する検出ブレ量信頼性判定部１１と、画像信号をフレーム単位で保存するフレームメモリ１２と、検出ブレ量信頼性判定部１１の判定結果に基づいて画像ブレ補正量を求めその画像ブレ補正量に応じて入力画像を切り出すトリミング部１３とを備えている。

図１に示す画像ブレ補正装置は、入力された画像信号の全画像領域を、図２に示すように複数の矩形領域に分割し、それぞれの領域について、画像ブレ量を検出する。図２中の対象画像領域Ｔ１〜Ｔ４は検索する範囲を示しており、現フレームの画像データについて適用する。図２中の基準画像領域Ｒ１〜Ｒ４は、動きを検出する基準となる領域であり、前フレームの画像データについて適用する。対象画像サイズ（図２ではtarsize_h×tarsize_v）、基準画像サイズ（図２ではrefsize_h×refsize_v）、及び領域の場所(左上端の位置、図２では（x0,y0）)はすべてレジスタで設定できるようになっている。図２では分割領域は４つとなっているが、さらに分割しても良いし、また、他の分割領域と重なるように中心部分などに新たな分割領域を設けても良い。

垂直方向濃度投影値算出回路１は、分割されたそれぞれの領域において、図３に示すように、各列の垂直方向濃度投影値を算出する。入力画像信号の画素値をf(x、y)とすると、xi 列目の垂直方向濃度投影値Fx(xi)は、以下に示す（１）式によって求まる。

垂直方向濃度投影値算出回路１は、全列について垂直方向濃度投影値を求める。この際、画像ブレ量が大きい場合、画面の端の画素が相関値に悪影響を与えることがあるため、xi 列目の垂直方向濃度投影値Fx(xi)を求める際に、単純に垂直方向の加算値を求めるのではなく、画面端に行くに従って影響を低く抑えるために上記（１）式のように係数Cyをかけて重み付けをすることが望ましい。通常、画像データはラスタスキャンにて入力される為、垂直方向濃度投影値算出回路１は、垂直方向の加算値をメモリに保存しながら、リードモディファイライトにて積和演算を実施する。即ちメモリは列の数の分だけアドレスがあり、列ごとに、メモリから垂直方向の加算値を読み出しては最新行の画素値を加算して書き込むという動作を毎行繰り返す。これにより最終ラインの演算終了後に垂直方向の濃度投影値がメモリに格納される。

水平方向濃度投影値算出回路６は、分割されたそれぞれの領域において、図４に示すように、各行の水平方向濃度投影値を算出する。入力画像信号の画素値をf(x、y)とすると、yi行目の水平方向濃度投影値F y(yi)は、以下に示す（２）式によって求まる。

水平方向濃度投影値算出回路６は、全行について水平方向濃度投影値を求める。この際、画像ブレ量が大きい場合、画面の端の画素が相関値に悪影響を与えることがあるため、yi行目の水平方向濃度投影値Fy (yi)を求める際に、単純に水平方向の加算値を求めるのではなく、画面端に行くに従って影響を低く抑えるために上記（２）式のように係数Cxをかけて重み付けをすることが望ましい。通常、画像データはラスタスキャンにて入力される為、水平方向濃度投影値算出回路６は、積和演算回路にて水平方向濃度投影値を算出し、最終濃度投影値をメモリに格納する。

垂直方向濃度投影値算出回路１によって算出された垂直方向濃度投影値は、水平方向１次元メモリ２に格納される。水平方向１次元メモリ２は、２画面分の領域を持ち、交互に格納することで常に現フレームの垂直方向濃度投影値と前フレームの垂直方向濃度投影値を格納している。同様に、水平方向濃度投影値算出回路６によって算出された水平方向濃度投影値は、垂直方向１次元メモリ７に格納される。垂直方向１次元メモリ７は、２画面分の領域を持ち、交互に格納することで常に現フレームの水平方向濃度投影値と前フレームの水平方向濃度投影値を格納している。

水平方向１次元メモリ２に格納された垂直方向濃度投影値データは、現フレームデータと前フレームデータが同時に読み出され、水平方向フィルタ回路３にてハイパスフィルタ処理或いはローパスフィルタ処理が行われる。同様に、垂直方向１次元メモリ７に格納された水平方向濃度投影値データは、現フレームデータと前フレームデータが同時に読み出され、垂直方向フィルタ回路８にてハイパスフィルタ処理或いはローパスフィルタ処理が行われる。ハイパスフィルタの使用は、ＤＣ成分を除去してエッジ成分を抽出することにより、明るさの変動に影響されにくい状態で検出を行える効果がある。ローパスフィルタの使用はノイズを除去して誤検出を低減する効果がある。

水平方向相関値算出回路４は、図５に示すように、フィルタ処理された垂直方向濃度投影値データを用いて水平方向相関値を算出する。前フレームの垂直方向濃度投影値データの中心部分（図５中のＡ３〜Ａ１３）を切り出し、前フレームの垂直方向濃度投影値データ（図５中のＢ１〜Ｂ１５）に対し重ね合わせて、対応する垂直方向濃度投影値の差分の絶対値を積算していく。この処理においては、前フレームの垂直方向濃度投影値データを水平方向１次元メモリ２から読み出す位置を変えて読み出すことで、重ね合わせを１画素ずつずらしている。水平方向相関値算出回路４が算出した積算値（図５中のＣ１〜Ｃ５）を水平方向の一致度と定義する。水平方向の一致度が最も小さい場合の重ね合わせが現フレームと前フレームとが水平方向において一致することとの相関が最も高い。このため、水平方向の一致度は、水平方向相関値と呼ぶこともできる。各重ね合わせにおいて、現フレームと前フレームとの中心同士を重ねたところから水平方向にずれた量を、水平方向の位置ズレ量とする。例えば、水平方向の一致度が図５中のＣ３である場合、水平方向の位置ズレ量は零となる。水平方向の一致度が最も小さい場合の水平方向の位置ズレ量を水平方向の画像ブレ量として検出する。

垂直方向相関値算出回路９は、図５に示すように、フィルタ処理された水平方向濃度投影値データを用いて垂直方向相関値を算出する。前フレームの水平方向濃度投影値データの中心部分（図５中のＤ３〜Ｄ８）を切り出し、現フレームの水平方向濃度投影値データ（図５中のＥ１〜Ｅ１０）に対し重ね合わせて、対応する水平方向濃度投影値の差分の絶対値を積算していく。この処理においては、前フレームの水平方向濃度投影値データを垂直方向１次元メモリ７から読み出す位置を変えて読み出すことで、重ね合わせを１画素ずつずらしている。垂直方向相関値算出回路９が算出した積算値（図５中のＦ１〜Ｆ５）を垂直方向の一致度と定義する。垂直方向の一致度が最も小さい場合の重ね合わせが現フレームと前フレームとが垂直方向において一致することとの相関が最も高い。このため、垂直方向の一致度は、垂直方向相関値と呼ぶこともできる。各重ね合わせにおいて、現フレームと前フレームとの中心同士を重ねたところから垂直方向にずれた量を、垂直方向の位置ズレ量とする。例えば、垂直方向の一致度が図５中のＦ３である場合、垂直方向の位置ズレ量は零となる。垂直方向の一致度が最も小さい場合の垂直方向の位置ズレ量を垂直方向の画像ブレ量として検出する。

垂直方向相関値の計算をリアルタイムに行う為、垂直方向相関値算出回路９は、図６に示すように一致度計算用メモリを持ち、現フレームの水平方向の濃度投影値が１行単位で算出されると同時に、一致度計算用メモリのリードモディファイライトによって積和演算を実行し、垂直方向の一致度を算出する。一致度計算用メモリ容量は、（対象画像サイズ−基準画像サイズ＋１）となり、図６の場合、対象画像サイズは１０画素、基準画像サイズは６画素であり、位置ズレ量は−２〜２の５座標である（図６（ａ）を参照）。すなわち一致度計算用メモリは、位置ズレ量−２、位置ズレ量−１、位置ズレ量０、位置ズレ量＋１、位置ズレ量＋２の５つの一致度を格納する。

現フレームの０行目の水平方向濃度投影値が水平方向濃度投影値算出回路６によって算出されると、垂直方向相関値算出回路９は、現フレームの０行目の水平方向濃度投影値と前フレームの２行目の水平方向濃度投影値との差分の絶対値を計算し、一致度計算用メモリの位置ズレ量−２の一致度を格納する場所にその計算結果を書き込む（図６（ｂ）を参照）。

次に、現フレームの１行目の水平方向濃度投影値が水平方向濃度投影値算出回路６によって算出されると、垂直方向相関値算出回路９は、現フレームの１行目の水平方向濃度投影値と前フレームの３行目の水平方向濃度投影値との差分の絶対値を計算し、位置ズレ量−２の一致度計算用メモリの読出しデータにその計算結果を加算して同じ場所に書き込み、続いて、現フレームの１行目の水平方向濃度投影値と前フレームの２行目の水平方向濃度投影値との差分の絶対値を計算し、一致度計算用メモリの位置ズレ量−１の一致度を格納する場所にその計算結果を書き込む（図６（ｃ）を参照）。

同様にして、現フレームの水平方向濃度投影値の算出が１行ずつ終了する度に、対応する前フレームの水平方向濃度投影値を順に読み出して、直前に求まった現フレームの水平方向濃度投影値との差分の絶対値を計算し、対応する一致度計算用メモリのデータを読み出してその計算結果を加算し、同じ場所に格納する（図６（ｄ）〜（ｊ）を参照）。

図６に示す処理により、現フレームの水平方向濃度投影値の算出終了とほぼ同時に積和演算が完了し垂直方向の一致度の計算が終了する。一致度と位置ズレ量の全データを格納すると一時記憶回路が膨大になる為、垂直方向相関値算出回路９内の一致度計算用メモリから一致度（＝垂直方向相関値）を順に読み出して垂直方向相関値ソート回路１０によって上位のもの（値の小さいもの）のみ、対応する位置ズレ量とともにレジスタに格納する。実施例では一致度の上位３つとそれに対応する位置ズレ量をレジスタに格納する。

水平方向相関値算出回路４は、図７に示すように垂直方向濃度投影値（ＲＶ（ｉ）、ＴＶ（ｌ））を用いて水平方向の一致度を算出する。水平方向の一致度の計算は、垂直方向濃度投影値の計算が完了すると同時にスタートする。前フレームの垂直方向濃度投影値データの中心部分を切り出して読み出し、同時に現フレームの垂直方向濃度投影値データを読み出し、対応する濃度投影値の差分の絶対値を計算し積算する。この積算値が水平方向の一致度となる。このような処理を、重ね合わせを１画素ずつずらして行う。垂直方向の一致度が最も小さい場合の重ね合わせが現フレームと前フレームとが垂直方向において一致することとの相関が高い。各重ね合わせにおいて、現フレームと前フレームとの中心同士を重ねたところから垂直方向にずれた分が、垂直方向の位置ズレ量である。

上記処理（図７を参照）は全画像データの濃度投影値算出処理が終了してからでないと行えない為、次のフレームの先頭までの時間が非常に短い場合は、並列処理を行うか、または、画面下端数ラインを無視して濃度投影値算出処理を早く終了させる必要がある。また、垂直方向の一致度の場合と同様に、一致度と位置ズレ量の全データを格納すると一時記憶回路が膨大になる為、上記処理を行いながら、水平方向相関値ソート回路５によって上位のもの（値の小さいもの）のみ、対応する位置ズレ量とともにレジスタに格納する。実施例では一致度の上位３つとそれに対応する位置ズレ量をレジスタに格納する。

検出ブレ量信頼性判定部１１は、相関値ソート回路（水平方向相関値ソート回路５、垂直方向相関値ソート回路１０）に格納されている各分割エリアにおける上位の位置ズレ量の連続性に基づいて、検出された画像ブレ量の信頼性の高低をソフトウエアによって判別する。一般に相関が正しく取れていれば、一致度と位置ズレ量との分布は最も相関が高いところを頂点にして起伏の少ない山の形となる。しかし、画像により正しく相関が取れない場合は、一致度と位置ズレ量との分布はきれいな山の形とはならない。例えば、一致度の上位３つとそれに対応する位置ズレ量が相関値ソート回路（水平方向相関値ソート回路５、垂直方向相関値ソート回路１０）に格納される場合、図８（ａ）のように、或る分割エリアでの相関の高さ１位、２位、３位の位置ズレ量が連続している場合、他に相関値の高い位置ズレ量の候補は無いと判断し、検出された画像ブレ量（１位の位置ズレ量）の信頼性は高いと判断する。一方、図８（ｂ）のように、相関の高さ１位、２位、３位が連続していない場合は、候補がほかにもあり、検出された画像ブレ量（１位の位置ズレ量）の信頼性が低いと判断して画像ブレ補正値を求める際に使用しないようにする。１位、２位、３位の連続性に関しては、例えば、１位、２位、３位の位置ズレ量の幅Δ１を求め、Δ１が予め設定した閾値以下であれば、連続性が有ると判断し、Δ１が予め設定した閾値以下でなければ、連続性が無いと判断すればよい。なお、４位以下の位置ズレ量を格納する場合も同様の考え方ができ、より正確な判定が可能となる。

トリミング部１３は、検出ブレ量信頼性判定部１１の判定結果を加味しながら、各分割エリアで検出された画像ブレ量から、例えばソフトウエアによる多数決処理などにより画像ブレ補正値を決定する。このとき、１位だけすなわち検出された画像ブレ量だけで多数決をとる場合、１位〜２位のデータで多数決をとる場合、または１位〜３位のデータで多数決をとる場合等が考えられる。ただし、検出された画像ブレ量の信頼性が高いと判断された分割エリアが一つしか無い場合は、一般的に補正しないほうがよい場合が多い。或いは検出された画像ブレ量の信頼性が高いと判断されたエリアが二つしかない場合は、それらの検出された画像ブレ量が一致すれば補正するが、一致しなければ補正しないようにすることが好ましい。

また、検出された画像ブレ量の信頼性の他の指標として、相関高さ１位の一致度と相関高さ２位の一致度との差がある。図９（ａ）のように、或る分割エリアでの相関高さ１位の一致度と２位の一致度との差Δ２が大きければ、一致度と位置ズレ量との分布曲線が急峻であり、検出された画像ブレ量の信頼性が高いと考えられる。一方、図９（ｂ）のように、或る分割エリアでの相関高さ１位の一致度と２位の一致度との差Δ２が小さければ、一致度と位置ズレ量との分布曲線が急峻でなく、検出された画像ブレ量の信頼性が低いと考えられる。したがって、検出ブレ量信頼性判定部１１は、相関高さ上位の位置ズレ量の連続性に代えて相関高さ１位の一致度と相関高さ２位の一致度との差Δ２に基づいて検出された画像ブレ量の信頼性を判別してもよく、相関高さ上位の位置ズレ量の連続性及び相関高さ１位の一致度と相関高さ２位の一致度との差Δ２に基づいて検出された画像ブレ量の信頼性を判別してもよい。

上記のように、各分割エリアで検出された画像ブレ量の信頼性を加味して画像ブレ補正値を決定することで、画像ブレ補正の精度が高くなる。フレームメモリ１２は、画像信号を格納している。フレームメモリ１２は、書き込みながら読み出すことができるようなバンド幅が必要であるため、少なくとも２画面分の容量が必要である。トリミング部１３は、画像ブレ補正値を決定すると、検出ブレ量を求める際に使用した現フレームの画像信号をフレームメモリ１２から読出し、画像ブレ補正値に応じて現フレームの画像信号の切り出し位置を変えてトリミングを行う。これにより、手振れ等によって生じる画像ブレを補正し、ブレを抑えた画像を記録、再生することができる。

なお、上述した実施形態では、本発明に係る画像ブレ補正装置が、入力された画像信号の全画像領域を複数の矩形領域に分割したが、本発明はこれに限定されることはなく、入力された画像信号の全画像領域を分割しなくても構わない。ただし、画面内の一部に何かが横切った場合に横切ったものをブレと判定し、意図しない補正が行われてしまうという問題を解決する観点から、上述した実施形態のような分割を行うことが望ましい。

本発明に画像ブレ補正装置は、例えば、固体撮像素子とＡ／Ｄ変換部とを備える固体撮像装置の内部装置として利用され、前記固体撮像素子から出力される画素データ列を前記Ａ／Ｄ変換部によりＡ／Ｄ変換して得られる画像信号を入力し、その入力した画像信号に対して画像ブレ補正を施す。また、本発明に係る画像ブレ補正装置が組み込まれた固体撮像装置は、カメラ付携帯電話、デジタルカメラ、監視カメラ等の各種電子機器に組み込んで利用することができる。

は、本発明に係る画像ブレ補正装置の一構成例を示すブロック図である。 は、画像信号の分割方法を模式的に示す図である。 は、垂直方向濃度投影値の算出方法を模式的に示す図である。 は、水平方向濃度投影値の算出方法を模式的に示す図である。 は、一致度の算出方法を模式的に示す図である。 は、垂直方向の一致度の算出方法を模式的に示す図である。 は、水平方向の一致度の算出方法を模式的に示す図である。 は、一致度と位置ズレ量との関係を示す図である。 は、一致度と位置ズレ量との関係を示す図である。

符号の説明

１ 垂直方向濃度投影値算出回路
２ 水平方向１次元メモリ
３ 水平方向フィルタ回路
４ 水平方向相関値算出回路
５ 水平方向相関値ソート回路
６ 水平方向濃度投影値算出回路
７ 垂直方向１次元メモリ
８ 垂直方向フィルタ回路
９ 垂直方向相関値算出回路
１０ 垂直方向相関値ソート回路
１１ 検出ブレ量信頼性判定部
１２ フレームメモリ
１３ トリミング部
Ｒ１〜Ｒ４ 基準画像領域
Ｔ１〜Ｔ４ 対象画像領域

Claims (7)

1. フレーム単位で順次入力される画像信号について、画像の水平方向濃度投影値及び垂直方向濃度投影値を算出する濃度投影値算出部と、
   前フレームの前記水平方向濃度投影値の配列と現フレームの前記水平方向濃度投影値の配列との一致度を両者の位置関係を順次垂直方向にずらしながら各位置関係において求め、その求めた結果に基づいて垂直方向についての前フレームに対する現フレームの画像ブレ量を検出し、前フレームの前記垂直方向濃度投影値の配列と現フレームの前記垂直方向濃度投影値の配列との一致度を両者の位置関係を順次水平方向にずらしながら各位置関係において求め、その求めた結果に基づいて水平方向についての前フレームに対する現フレームの画像ブレ量を検出する検出部とを備えることを特徴とする画像ブレ検出装置。
2. 前記画像信号の全画像領域を複数の領域に分割し、それぞれの分割領域について、画像の水平方向濃度投影値及び垂直方向濃度投影値を算出し、前フレームに対する現フレームの画像ブレ量を検出する請求項１に記載の画像ブレ検出装置。
3. 前記濃度投影値算出部によって算出された前記水平方向濃度投影値及び前記垂直方向濃度投影値に対し、ハイパスフィルタ処理又はローパスフィルタ処理を行うフィルタ処理回路を備え、
   前記検出部が、前記フィルタ処理回路によって処理された前記水平方向濃度投影値及び前記垂直方向濃度投影値を用いて画像ブレ量を検出する請求項１又は請求項２に記載の画像ブレ検出装置。
4. 前記検出部が、前記一致度の上位の値のみを対応する前フレームと現フレームとの位置ズレ量とともに格納するソート部を有する請求項１〜３のいずれかに記載の画像ブレ検出装置。
5. 請求項１〜４のいずれかに記載の画像ブレ検出装置と、フレーム単位の画像信号を保存するフレームメモリと、前記フレームメモリに格納された現フレームの画像の読出し領域を前記画像ブレ検出装置によって検出された画像ブレ量に応じて制御するトリミング部とを備えることを特徴とする画像ブレ補正装置。
6. 固体撮像素子と、前記固体撮像素子から出力される画素データ列をＡ／Ｄ変換するＡ／Ｄ変換部と、前記Ａ／Ｄ変換部から出力される画像信号を入力する画像ブレ補正装置とを備える固体撮像装置であって、
   前記画像ブレ補正装置が請求項５に記載の画像ブレ補正装置であることを特徴する固体撮像装置。
7. 請求項６に記載の固体撮像装置を備えることを特徴とする電子機器。