JP2009065619A - 手振れ補正装置及び撮像装置 - Google Patents

Abstract

【課題】移動ベクトル算出に要する演算量を大幅に削減することのできる手振れ補正装置を提供する。
【解決手段】撮像によって撮像素子１から得られる複数の画像データからなる動画像データの手振れを補正する手振れ補正装置であって、前記複数の画像データの各々から特徴点を抽出した特徴点画像データを生成する特徴点抽出部５と、前記複数の画像データの各々から生成された特徴点画像データの特徴点同士の比較によって前記複数の画像データ間の移動ベクトルを求める移動ベクトル算出部７と、出力すべき画像データ（以下、出力画像データという）の切り出し範囲を、前記出力画像データの直前に出力された画像データ（以下、直前画像データという）に対する前記出力画像データの前記移動ベクトルを用いて決定し、前記出力画像データのうちの前記決定した切り出し範囲内の画像データを出力する画像オフセット部１２とを備える。
【選択図】図１

Description

本発明は、撮像素子の撮像によって得られる複数の画像データからなる動画像データの手振れを補正する手振れ補正装置に関する。

例えば、動画撮影機能を有するデジタルスチルカメラやビデオカメラ等の撮像装置を手に持ち動画を撮影する場合、カメラを持つ手が振れると、あるフレームの画像中に映っている静止物画像の位置が次フレームの画面では移動してしまい、見づらい動画になってしまう。そこで、あるフレームの画像に対して次フレームの画像の移動ベクトルを検出し、画像が揺れない様に手振れ補正を行うことが行われている。

図１２は、手振れ補正を行うときの移動ベクトルを算出する原理を示す説明図である。
デジタルカメラでは、動画撮影時、撮像素子から得られた最大解像度の画像データ（以下、最大画像データという）が所定のフレームレートで順次手振れ補正装置に入力される。手振れ補正装置では、図１２（ａ）に示すように、撮像素子から得られたｎフレーム目の最大画像データ６１において、実際に動画の１フレームとして記録するために切り出す所定サイズの画像データ（以下、記録用画像データという）の切り出し位置を決定し、この切り出し位置にある画像データ６６を切り出して、記録媒体等に記録する。この場合、図１２（ａ）に示すｎフレーム目の全体画像データ６１中の所定アドレスで示される注視ブロック６２内の画像データを基準画像データとすると、図１２（ｂ）に示すｎ＋１フレーム目の全体画像データ６３中の注視ブロック６２と同一所定アドレスで示される探索ブロック６４によって切り出された比較画像データが基準画像データと同一であれば、全体画像データ６１に対して全体画像データ６３は振れていないことになる。

しかし、手振れが発生していれば、注視ブロック６２内の基準画像データと探索ブロック６４で切り出された比較画像データは一致しない。そこで、手振れ補正装置では、全体画像データ６３中の探索ブロック６４を、全体画像データ６３に設定した所定範囲６５（以下、探索範囲という）内でブロック６４ａ，６４ｂ，６４ｃ，・・・のように、Ｘ方向（水平方向）、Ｙ方向（垂直方向）に１画素づつずらしながら、探索範囲６５内で移動させた各ブロック６４ａ，６４ｂ，６４ｃ，・・・内の夫々の比較画像データを基準画像データと比較して、夫々の比較画像データと基準画像データとの相関性を演算し、基準画像データと最も相関性が高い比較画像データを切り出した探索ブロックの位置を求める。

図１２（ｂ）に示す例で、注視ブロック６２の基準画像データに対し最も相関性の高い比較画像データが探索範囲６５内の探索ブロック６４ｃで切り出されたとすると、全体画像データ６１に対する全体画像データ６３の差は「ｋ」となり、このｋが全体画像データ６１に対する全体画像データ６３の移動ベクトルとなる。従って、手振れ補正装置では、図１２（ｃ）に示すように、全体画像データ６３に設定する記録用画像データの切り出し位置を、画像データ６６を切り出した位置から移動ベクトルｋだけ移動させた位置とし、この切り出し位置から画像データ６７を切り出して記録媒体等に記録すれば、手振れの補正された動画像データを得ることができる。

手振れ補正を行うためには移動ベクトルの算出が必要となるが、上述したようなブロック同士の比較で移動ベクトルを求める方法では、画像データの画素数の増加に伴って演算量が増大してしまい、演算時間が長くなる。演算時間が長くなると、その分、手振れ検出の応答性が悪くなる。演算時のメモリ空間が大きく高速処理が可能なＣＰＵを用いれば、手振れ検出の応答性をある程度は改善できるが、コストが増大してしまう。

そこで、このような課題を解決するために、特許文献１には、入力画像を複数段階にわたって段階的に縮小し、より下層レベルの縮小画像を使って大まかに求めた移動ベクトルを利用して、上層レベルで移動ベクトルを求める際の探索ブロックの移動範囲を決定する方法が提案されている。この方法によれば、探索ブロックを動かす範囲を狭くすることができるため、移動ベクトル算出に要する演算時間を短縮することが可能となる。

特開２００４−３４３４８３号公報

しかし、特許文献１に開示された方法は、注視ブロック内の全画素と各探索ブロック内の全画素との比較によって移動ベクトルを求めているため、この比較に要する演算量が依然として多くなっている。

本発明は、上記事情に鑑みてなされたものであり、移動ベクトル算出に要する演算量を大幅に削減することのできる手振れ補正装置を提供することを目的とする。

本発明の手振れ補正装置は、撮像によって撮像素子から得られる複数の画像データからなる動画像データの手振れを補正する手振れ補正装置であって、前記複数の画像データの各々から特徴点を抽出した特徴点画像データを生成する特徴点画像データ生成手段と、前記複数の画像データの各々から生成された前記特徴点画像データの特徴点同士の比較によって前記複数の画像データ間の移動ベクトルを求める移動ベクトル算出手段と、出力すべき画像データ（以下、出力画像データという）の切り出し範囲を、前記出力画像データの直前に出力された画像データ（以下、直前画像データという）に対する前記出力画像データの前記移動ベクトルを用いて決定し、前記出力画像データのうちの前記決定した切り出し範囲内の画像データを出力する画像出力手段とを備える。

本発明の手振れ補正装置は、前記移動ベクトル算出手段は、任意の画像データに注視ブロックを設定し、前記任意の画像データよりも後に出力された画像データのいずれかの画像データに探索範囲を設定し、前記注視ブロックと同じ大きさの探索ブロックを前記探索範囲内で移動させたときの各移動位置にある前記探索ブロック内の前記特徴点と、前記注視ブロック内の前記特徴点とを比較して、前記注視ブロックと相関性の最も高い探索ブロックである高相関探索ブロックを探し、前記高相関探索ブロックの位置と前記注視ブロックの位置とから、前記任意の画像データに対する前記いずれかの画像データの移動ベクトルを算出するものであり、前記高相関探索ブロックを探す際、前記注視ブロック内にある特徴点のうちの一部を前記探索ブロック内の特徴点と比較する対象となる比較対象特徴点とし、前記比較対象特徴点と前記探索ブロック内の特徴点との比較によって、前記注視ブロックと相関性のある探索ブロックを抽出する処理を行った後、前記注視ブロックと相関性のある探索ブロックが１つの場合には当該探索ブロックを前記高相関探索ブロックとし、前記注視ブロックと相関性のある探索ブロックが複数ある場合には、前記比較対象特徴点の数を増やし、前記増やした比較対象特徴点と前記複数の探索ブロック内の特徴点との比較により、前記複数の探索ブロックの中から前記注視ブロックと相関性のある探索ブロックを抽出する処理を行い、前記処理における前記比較対象特徴点の数が前記注視ブロック内にある特徴点の数に一致しており、且つ、前記処理によって抽出された探索ブロックが複数あった場合には、その中でｓ最も相関性の高い探索ブロックを前記高相関探索ブロックとする。

本発明の手振れ補正装置は、前記複数の画像データの各々について、前記各々の画像データを１段階又は２段階以上にわたって縮小することにより、元の画像データも含めて複数レベルの画像データを生成する画像縮小手段を備え、前記特徴点画像データ生成手段は、前記複数レベルの画像データの各々から第一特徴点を抽出した第一特徴点画像データを生成する第一特徴点画像データ生成手段を有し、前記複数レベルの画像データの各々から生成された複数の前記第一特徴点画像データを用いて、被写体の抽象度及び前記被写体の表現精度のいずれもが所定レベルよりも高い前記特徴点画像データを生成する。

本発明の手振れ補正装置は、前記移動ベクトル算出手段が、前記移動ベクトルを算出できなかった場合、前記移動ベクトルの算出結果として特定の情報を出力するものであり、前記出力画像データが劣化しているか否かを、前記移動ベクトル算出手段による前記直前画像データに対する前記出力画像データの移動ベクトルの算出結果、前記出力画像データに対する前記出力すべき画像データの直後に得られた画像データ（以下、直後画像データという）の移動ベクトルの算出結果、及び前記直前画像データに対する前記直後画像データの移動ベクトルである直前直後間移動ベクトルの算出結果に基づいて判定する画像劣化有無判定手段と、前記画像劣化有無判定手段によって前記出力画像データが劣化していると判定された場合、前記直前直後間移動ベクトルV_２と、前記直前画像データの撮影時刻と前記出力画像データの撮影時刻との差ΔT_１と、前記出力画像データの撮影時刻と前記直後画像データの撮影時刻との差ΔT_２とから、前記直前画像データに対する前記出力画像データの移動ベクトルV_１及び前記直後画像データに対する前記出力画像データの移動ベクトルV_３を推定する移動ベクトル推定手段と、前記直前画像データを前記移動ベクトルV_１分だけ移動させ、前記直後画像データを前記移動ベクトルV_３分だけ移動させて前記直前画像データと前記直後画像データとを合成する画像合成手段とを備え、前記画像劣化有無判定手段によって前記出力画像データが劣化していると判定された場合、前記画像出力手段は、前記出力画像データを前記画像合成手段によって合成された画像データとし、当該画像データの切り出し範囲を前記移動ベクトルV_１を用いて決定する。

本発明の手振れ補正装置は、前記複数の画像データの各々から生成された前記特徴点画像データを圧縮する圧縮手段と、前記圧縮手段によって圧縮された前記特徴点画像データを記憶する記憶手段と、前記記憶手段に記憶された前記特徴点画像データを伸張する伸張手段とを備える。

本発明の撮像装置は、前記手振れ補正装置と、前記画像データ及び前記画像データから生成された前記複数の第一特徴点画像データを利用して前記画像データのオブジェクト検出を行うオブジェクト検出手段、又は、前記画像データ及び前記画像データから生成された前記複数の第一特徴点画像データを利用して前記画像データのノイズリダクション処理を行うノイズリダクション処理手段とを備える。

本発明の撮像装置は、前記手振れ補正装置と、前記画像データ及び前記画像データから生成された前記特徴点画像データを利用して前記画像データのオブジェクト検出を行うオブジェクト検出手段、又は、前記画像データ及び前記画像データから生成された前記特徴点画像データを利用して前記画像データのノイズリダクション処理を行うノイズリダクション処理手段とを備える。

本発明の撮像装置は、前記手振れ補正装置が、前記移動ベクトル算出手段が、前記移動ベクトルを算出できなかった場合、前記移動ベクトルの算出結果として特定の情報を出力するものであり、前記出力画像データが劣化しているか否かを、前記移動ベクトル算出手段による前記直前画像データに対する前記出力画像データの移動ベクトルの算出結果、前記出力画像データに対する前記出力すべき画像データの直後に得られた画像データ（以下、直後画像データという）の移動ベクトルの算出結果、及び前記直前画像データに対する前記直後画像データの移動ベクトルである直前直後間移動ベクトルの算出結果に基づいて判定する画像劣化有無判定手段と、前記画像劣化有無判定手段によって前記出力画像データが劣化していると判定された場合、前記直前直後間移動ベクトルV_２と、前記直前画像データの撮影時刻と前記出力画像データの撮影時刻との差ΔT_１と、前記出力画像データの撮影時刻と前記直後画像データの撮影時刻との差ΔT_２とから、前記直前画像データに対する前記出力画像データの移動ベクトルV_１及び前記直後画像データに対する前記出力画像データの移動ベクトルV_３を推定する移動ベクトル推定手段と、前記直前画像データを前記移動ベクトルV_１分だけ移動させ、前記直後画像データを前記移動ベクトルV_３分だけ移動させて前記直前画像データと前記直後画像データとを合成する画像合成手段とを備え、前記画像劣化有無判定手段によって前記出力画像データが劣化していると判定された場合、前記画像出力手段は、前記出力画像データを前記画像合成手段によって合成された画像データとし、当該画像データの切り出し範囲を前記移動ベクトルV_１を用いて決定する。

本発明の撮像装置は、前記手振れ補正装置が、前記複数の画像データの各々から生成された前記特徴点画像データを圧縮する圧縮手段と、前記圧縮手段によって圧縮された前記特徴点画像データを記憶する記憶手段と、前記記憶手段に記憶された前記特徴点画像データを伸張する伸張手段とを備える。

本発明によれば、移動ベクトル算出に要する演算量を大幅に削減することのできる手振れ補正装置を提供することができる。

以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の実施形態である撮像装置の概略構成を示すブロック図である。
図１に示す撮像装置１００は、デジタルカメラやデジタルビデオカメラ等であり、撮像素子１と、画像生成部２と、多重解像部３と、特徴点抽出部４と、特徴点抽出部５と、特徴点バッファリング部６と、移動ベクトル算出部７と、ベクトル情報バッファリング部８と、最終ベクトル演算部９と、画像合成部１０と、選択部１１と、画像オフセット部１２とを備える。

撮像素子１は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子である。

画像生成部２は、撮像素子１から所定のフレームレートで出力されてくる撮像信号から、複数フレームの画像データからなる動画像データを生成して出力するものである。

多重解像部３は、画像生成部２から出力された動画像データを構成する複数フレームの画像データの各々について、各々の画像データを１段階又は２段階以上にわたって縮小することにより、元の画像データも含めて複数レベルの画像データを生成するものである。多重解像部３は、例えば縮小部３ａと縮小部３ｂを有しており、縮小部３ａは、各フレームの画像データを１／２に縮小した画像データを生成し、縮小部３ｂは、各フレームの画像データを１／４に縮小した画像データを生成する。縮小方法としては、特許文献１に開示されている平均縮小処理を採用することができる。

特徴点抽出部４は、多重解像部３で各フレームの画像データについて生成された複数レベルの画像データの各々から第一の特徴点を抽出する。ここで言う第一の特徴点とは、画像データ中における被写体の輪郭をよく表している特徴点のことをいう。なお、この特徴点は、必ずしも画素１個分の大きさである必要はなく、複数の画素から構成される領域であっても良い。特徴点抽出部４は、例えば、ソーベルフィルタその他の輪郭線抽出フィルタを用いて、画像データから点の集合としての輪郭線を抽出する。又は、特徴点抽出部４は、特許文献１に開示されているような方法で複数レベルの画像データの各々から第一の特徴点を抽出する。

特徴点としては、画像データを多数のエリアに分割した各エリア毎にそのエリア内のデータから求めた画素値の偏差や分散等のデータを用いることができる。偏差や分散を特徴点とした場合、被写体の明暗部分によりデータ相関が異なるため、これを補正するような処理（コントラスト正規化処理）も特徴点抽出部４において行うものとする。例えば、撮像素子１により画像を取り込んだ場合、明るいところではＳ／Ｎ比が向上し、暗いところでは低下することが知られている。このため、前後の画像上において同じような対象物が明部暗部それぞれにあった場合、一方のデータのみ分散や偏差の値が大きくなってしまう。これを防ぐために先のコントラスト正規化処理を行い、前後の画像上において明暗があった場合においても、同じような補正処理（統計の取り方、データの扱い方）を可能にする。

ちなみに分散の場合、下記のような式１，式２によって求めることができる。式２は式１の簡略式である。下記式において“ｖａｌ”は局所エリア内の各画素値、“ａｖｅ”は局所エリア内の画素値の平均値、ｎは局所エリア内の画素数である。

式１：σ^２＝（Σ（ｖａｌ−ａｖｅ）^２）／ｎ
式２：σ^２＝（Σｖａｌ^２）／ｎ−ａｖｅ^２

図１の例では、特徴点抽出部４は、特徴点抽出部４ａと、特徴点抽出部４ｂと、特徴点抽出部４ｃを有している。特徴点抽出部４ａは、各フレームの画像データから生成された複数レベルの画像データのうち、縮小率がゼロの画像データから第一特徴点を抽出した第一特徴点画像データを生成する。特徴点抽出部４ｂは、各フレームの画像データから生成された複数レベルの画像データのうち、縮小率が１／２の画像データ（縮小部３ａから出力された画像データ）から第一特徴点を抽出した第一特徴点画像データを生成する。特徴点抽出部４ｃは、各フレームの画像データから生成された複数レベルの画像データのうち、縮小率が１／４の画像データ（縮小部３ｂから出力された画像データ）から第一特徴点を抽出した第一特徴点画像データを生成する。

図２は、多重解像部３で生成する複数レベルの画像データ毎の縮小率の例を示した図である。
図２に示すように、多重解像部３では、入力画像データを、レベル深さ毎に１／２のべき乗の縮小率（図中のグラフＡ）で縮小したり、１／２以外の数値のべき乗の縮小率（図中のグラフＢ）で縮小したり、これらを組み合わせた縮小率（図中のグラフＡ＋Ｂ）で縮小したりすれば良い。即ち、ここで生成される複数レベルの画像データは、一様の縮尺比率を持った階層構造である必要はない。

図３は、図２のグラフＡ＋Ｂで示される縮小率で画像データを縮小する場合の多重解像部３と特徴点抽出部４の構成例を示した図である。
図３に示すように、多重解像部３には、約０．８の縮小率で画像データを縮小する縮小部３ｃと、縮小部３ｃで生成された画像データを１／２に縮小する縮小部３ｄと、縮小部３ｄで生成された画像データを１／４に縮小する縮小部３ｅとが追加され、特徴点抽出部４には、縮小部３ｃで生成された画像データから第一特徴点を抽出する特徴点抽出部４ｄと、縮小部３ｄで生成された画像データから第一特徴点を抽出する特徴点抽出部４ｅと、縮小部３ｅで生成された画像データから第一特徴点を抽出する特徴点抽出部４ｆとが追加された構成となっている。

図１の説明に戻り、特徴点抽出部５は、特徴点抽出部４で生成された複数の第一特徴点画像データを用いて、第一特徴点画像データで表される被写体の抽象度と該被写体の表現精度（被写体の輪郭をいかに正確に表しているかを示す指標）が所定レベルよりも高い特徴点画像データを生成する。ここで、被写体の抽象度とは、被写体がどれだけ詳細に表現されているかの度合いを示すものであり、詳細に表現されているほど、抽象度は低くなる。例えば被写体として人間の顔を例にした場合、人間の本来の顔は抽象度が低く、スケッチ顔や線による似顔絵等は抽象度が高い。又、所定レベルとは、特徴点画像データを用いて移動ベクトルを算出する際の移動ベクトルの算出精度が許容できる最小の値になるレベルのことを言う。被写体の抽象度と表現精度が所定レベルよりも高ければ、移動ベクトルの算出精度は上がるため、特徴点抽出部５によって、被写体の抽象度と表現精度が所定レベルよりも低くならないような処理を行うことで、移動ベクトルの算出精度を維持している。尚、移動ベクトルの算出精度は、例えば、人工的に手振れをおこさせて撮影して得られた２つの画像データから移動ベクトルを算出し、算出した移動ベクトルと、予め設定していた手振れ量との誤差によって規定することができる。

図４は、特徴点抽出部４と特徴点抽出部５による処理を概念的に示した図である。
図４に示すように、縮小率が大きくなるほど、特徴点抽出部４で抽出される被写体の第一特徴点はその数が減っていくため、第一特徴点画像データで表現される被写体の抽象度は上がる。しかし、被写体の輪郭そのものも階調が滑らかになってしまう。つまり、縮小率が大きい画像データから生成された第一特徴点画像データによって表される被写体の抽象度は高くなるが、該被写体の表現精度は低くなる。一方、縮小率が小さい画像データから生成された第一特徴点画像データによって表される被写体の抽象度は低くなるが、該被写体の表現精度は高くなる。このようなことから、特徴点抽出部４から出力された複数の第一特徴点画像データを利用することで、表現される被写体の抽象度が高く且つ該被写体の表現精度が高い特徴点画像データを生成することができる。

特徴点抽出部５は、複数レベルの画像データの各々から生成された第一特徴点画像データ同士の相関をとることによって、表現される被写体の抽象度と該被写体の表現精度が所定レベルよりも高い特徴点画像データを生成する。この特徴点画像データの生成方法としては、例えば、複数レベルの画像データの各々から生成された第一特徴点画像データを重み付け加算する方法がある。特徴点抽出部４ａから出力される第一特徴点画像データを特徴点画像データ（１）とし、特徴点抽出部４ｂから出力される第一特徴点画像データを特徴点画像データ（２）とし、特徴点抽出部４ｃから出力される第一特徴点画像データを特徴点画像データ（３）とし、特徴点画像データ（１）の座標（i，ｊ）における特徴量をｃiｊ（１）とし、特徴点画像データ（２）の座標（i，ｊ）における特徴量をｃiｊ（２）とし、特徴点画像データ（３）の座標（i，ｊ）における特徴量をｃiｊ（３）とすると、生成すべき特徴点画像データの座標（i，ｊ）における特徴量Ｃiｊは以下の式（Ａ）で表される。

Ｃｉｊ＝（ｃｉｊ（１）＊Ｗ_Ｖ１−ＴＨ_Ｖ１）＋（ｃｉｊ（２）＊Ｗ_Ｖ２−ＴＨ_Ｖ２）＋（ｃｉｊ（３）＊Ｗ_Ｖ３−ＴＨ_Ｖ３）・・・（Ａ）
ここで、Ｗ_Ｖｎは、特徴点データ（ｎ）に設定される重み付け係数、ＴＨ_Ｖｎは、特徴点画像データ（ｎ）に設定される閾値である。

尚、特徴点抽出部５は、条件判別を含む複雑な相関判別処理によって特徴点画像データを生成しても良いし、特徴点データ（１）〜（３）を均等に合成して特徴点画像データを生成しても良い。

特徴点バッファリング部６は、特徴点抽出部５で生成された各フレーム毎の特徴点画像データを記憶する。ここに記憶される特徴点画像データは、上述したように主として輪郭成分からなる。このため、画像データの平坦部や滑らかな階調部ではその値が０近傍になることが多い。したがって、この特徴点画像データを圧縮した場合、高い圧縮効果が期待できる。そこで、図５に示すように、特徴点バッファリング部６の前段に、特徴点画像データを圧縮する圧縮回路６ａを設け、特徴点バッファリング部６の後段に、特徴点バッファリング部６に記憶された特徴点画像データを伸張する伸張回路６ｂを設けておくことが好ましい。

図５のような構成とすることで、特徴点バッファリング部６のメモリ容量を削減することができる。特徴点画像データは主として輪郭成分からなるため、圧縮方法として比較的軽量（ハード、ソフト的に）なランレングス符号化やハフマン符号化等を利用した場合でも十分な圧縮効果が期待でき、これらを利用すれば、効率的で実効速度の高いシステムが構築可能となる。

移動ベクトル算出部７は、特徴点バッファリング部６に記憶されている特徴点画像データのうち、出力すべき画像データである（ｎ＋１）フレームの画像データから生成された特徴点画像データ（以下、特徴点画像データ（ｎ＋１）という）の特徴点と、（ｎ＋１）フレームの画像データの直前の撮像で得られたｎフレームの画像データから生成された特徴点画像データ（以下、特徴点画像データｎという）の特徴点同士を比較して、ｎフレームの画像データに対する（ｎ＋１）フレームの画像データの移動ベクトルを算出する。移動ベクトル算出部７は、ｎフレームの画像データに対する（ｎ＋１）フレームの画像データの移動ベクトルのように、時間的に隣接する２つの画像データ間の移動ベクトルの他に、ｎフレームの画像データに対する（ｎ＋２）フレームの画像データの移動ベクトルのように、時間的に隣接しない２つの画像データ間の移動ベクトルも求めることができる。

以下、移動ベクトルの算出方法について詳細に説明する。図６は、ｎフレームの画像データに対する（ｎ＋１）フレームの画像データの移動ベクトルの算出方法を説明するための図である。図７は、ｎフレームの画像データに対する（ｎ＋１）フレームの画像データの移動ベクトルの算出処理フローを示した図である。
移動ベクトル算出部７は、まず、特徴点画像データｎの任意の位置に、図６に示すように注視ブロックを設定する（ステップＳ１）。設定した注視ブロック内にある特徴点の数Nが移動ベクトルの算出に最低限必要な数を下回っていた場合（ステップＳ２：ＮＯ）、注視ブロックの位置を変更して注視ブロックを再設定する（ステップＳ３）。設定した注視ブロック内にある特徴点の数Nが移動ベクトルの算出に最低限必要な数以上であった場合（ステップＳ２：ＹＥＳ）、移動ベクトル算出部７は、特徴点画像データ（ｎ＋１）に対して探索範囲を設定する（ステップＳ４）。

次に、移動ベクトル算出部７は、注視ブロック内にあるＮ個の特徴点のうちの一部（Ｍ個）を、特徴点画像データ（ｎ＋１）に設定する探索ブロック内の特徴点と比較する対象となる比較対象特徴点として設定する（ステップＳ５）。

次に、移動ベクトル算出部７は、上記注視ブロックと同じ大きさの探索ブロックを探索範囲内で移動させたときの各移動位置にある探索ブロック内の特徴点と、注視ブロック内の比較対象特徴点とを比較して、注視ブロックと相関性のある探索ブロックを抽出する（ステップＳ６）。例えば、注視ブロック内のＭ個の比較対象特徴点の各々と、比較対象の探索ブロック内の該各々と同一座標にある特徴点との差分の総和を求め、この総和が閾値以下であった場合、比較対象の探索ブロックは、注視ブロックと相関性のある探索ブロックであると判断し、この総和が閾値よりも大きかった場合、比較対象の探索ブロックは、注視ブロックと相関性のない探索ブロックである判断する。

抽出された探索ブロックが１つであった場合（ステップＳ７：ＮＯ）、移動ベクトル算出部７は、その１つの探索ブロックを、注視ブロックと最も相関の高い探索ブロックである高相関探索ブロックとし、この高相関探索ブロックの位置と注視ブロックの位置とから、ｎフレームの画像データに対する（ｎ＋１）フレームの画像データの移動ベクトルを算出する（ステップＳ８）。

抽出された探索ブロックが複数であった場合（ステップＳ７：ＹＥＳ）、移動ベクトル算出部７は、比較対象特徴点の数Mが注視ブロック内にある特徴点の数Nと一致しているか否かを判定し、一致していない場合（ステップＳ９：ＮＯ）、比較対象特徴点を増やし（ステップＳ１０）、その後、注視ブロック内の比較対象特徴点と、抽出されていた複数の探索ブロックの各々に含まれる特徴点とを比較して、抽出されていた複数の探索ブロックの中から、注視ブロックと相関性のある探索ブロックを抽出する（ステップＳ１１）。相関性のある探索ブロックの抽出方法は、上述したとおりである。ステップＳ１１の後はステップＳ７に戻る。

例えば、図６の真ん中の図に示すように、ステップＳ６で抽出された探索ブロックが探索ブロックＡと探索ブロックＢの２つであった場合、図６の右の図に示すように、比較対象特徴点を増やすことで、探索ブロックＢは、注視ブロックとの相関性が低い探索ブロックとなる。このように、比較対象特徴点を増やして注視ブロックと探索ブロックとの比較を行うことで、注視ブロックと相関性のある探索ブロックを絞り込んでいくことができる。

M=Nとなっていた場合（ステップＳ９：ＹＥＳ）、移動ベクトル算出部７は、抽出された複数の探索ブロックのうち、注視ブロックとの相関性が最も高い探索ブロック（上述した総和が最も低い探索ブロック）を高相関探索ブロックとし、この高相関探索ブロックの位置と注視ブロックの位置とから、ｎフレームの画像データに対する（ｎ＋１）フレームの画像データの移動ベクトルを算出する（ステップＳ１２）。

尚、移動ベクトル算出部７は、注視ブロック内の画像データが探索範囲外に出てしまった等の原因により、ステップＳ６において、注視ブロックと相関性のある探索ブロックが１つも抽出できなかった場合には、移動ベクトル未検出であるとし、移動ベクトルの算出結果として、ベクトル値の代わりに特定の符号を割り当て、それをベクトル情報バッファリング部８に記憶する。

図１の説明に戻り、ベクトル情報バッファリング部８は、移動ベクトル算出部７による移動ベクトルの算出結果情報（算出された移動ベクトル値や特定の符号）を記憶するものである。

最終ベクトル演算部９は、ベクトル情報バッファリング部８に記憶されている移動ベクトルの算出結果情報のうち、ｎフレームの画像データに対する（ｎ＋１）フレームの画像データの移動ベクトルである（ｎ；ｎ＋１）移動ベクトルの算出結果情報と、（ｎ＋１）フレームの画像データに対する（ｎ＋２）フレームの画像データの移動ベクトルである（ｎ＋１；ｎ＋２）移動ベクトルの算出結果情報と、ｎフレームの画像データに対する（ｎ＋２）フレームの画像データの移動ベクトルである（ｎ；ｎ＋２）移動ベクトルの算出結果情報とに基づいて、（ｎ＋１）フレームの画像データが劣化しているか否かを判定する機能を有する。

例えば、ベクトル情報バッファリング部８に記憶されている（ｎ；ｎ＋１）移動ベクトルの算出結果情報及び（ｎ＋１；ｎ＋２）移動ベクトルの算出結果情報が共に上記特定の符号であった場合、この場合は、（ｎ＋１）フレームの画像データが劣化していて移動ベクトルが検出できない状態となっているか、画面を高速でパンする等、フレームが連続して動いているかの二通りが考えられる。

最終ベクトル演算部９は、（ｎ；ｎ＋１）移動ベクトルの算出結果情報及び（ｎ＋１；ｎ＋２）移動ベクトルの算出結果情報が共に上記特定の符号であった場合に、移動ベクトル算出部７に対し、ｎフレームの画像データに対する（ｎ＋２）フレームの画像データの移動ベクトルである（ｎ；ｎ＋２）移動ベクトルを求めるよう指示を出す。ただし、（ｎ；ｎ＋２）移動ベクトルを求める際の探索範囲は、ベクトル情報バッファリング部８に記憶されている移動ベクトルを求める際の探索範囲よりも広くする。この指示により、ベクトル情報バッファリング部８には、（ｎ；ｎ＋２）移動ベクトルの算出結果情報が記憶される。

（ｎ；ｎ＋２）移動ベクトルの算出結果情報が特定の符号であった場合には、（ｎ＋１）フレームの画像データが劣化しているのではなく、フレームが高速でパン動作するなどして連続的に動いているものと判断し、最終ベクトル演算部９は、画像オフセット部１２に対して画像切り出し位置を変えないよう指示を出し、手振れ補正処理を行わないように制御する。一方、（ｎ；ｎ＋２）移動ベクトルの算出結果情報が移動ベクトル値であった場合、最終ベクトル演算部９は、（ｎ＋１）フレームの画像データが劣化していると判断し、算出された（ｎ；ｎ＋２）移動ベクトル（V_２とする）と、ｎフレームの画像データの撮影時刻から（ｎ＋１）フレームの画像データの撮影時刻までの経過時間ΔＴ_１と、（ｎ＋１）フレームの画像データの撮影時刻から（ｎ＋２）フレームの画像データの撮影時刻までの経過時間ΔＴ_２とから、未検出であった（ｎ；ｎ＋１）移動ベクトル（V_１とする）と、（ｎ＋２）フレームの画像データに対する（ｎ＋１）フレームの画像データの移動ベクトルである（ｎ＋２；ｎ＋１）移動ベクトル（V_３とする）を下記式３，４の演算によって推定する。そして、移動ベクトルV_１，V_３を画像合成部１０に供給し、移動ベクトルV_１を画像オフセット部１２に供給すると共に、ベクトル情報バッファリング部８の情報を更新する。

式３：V_１=（V_２×ΔT_１）／（ΔT_１＋ΔT_２）
式４：V_３＝V_１−V_２

最終ベクトル演算部９は、（ｎ＋１）フレームの画像データが劣化していないと判定した場合、（ｎ＋１）フレームの画像データを選択部１１から出力させる制御を行い、（ｎ＋１）フレームの画像データが劣化していると判定した場合、画像合成部１０で生成された画像データを選択部１１から出力させる制御を行う機能を有する。

最終ベクトル演算部９は、（ｎ＋１）フレームの画像データが劣化しておらず、且つ、画面が高速でパンされた状況ではないと判定した場合、ベクトル情報バッファリング部８に記憶されている（ｎ；ｎ＋１）移動ベクトルを画像オフセット部１２に供給し、（ｎ＋１）フレームの画像データが劣化していると判定した場合、上記推定した移動ベクトルV_１，V_３を画像合成部１０に供給し、上記推定した移動ベクトルV_１を画像オフセット部１２に供給する機能を有する。

画像合成部１０は、最終ベクトル演算部９によって推定された移動ベクトルV_１分だけｎフレームの画像データを移動させ、（ｎ＋２）フレームの画像データを移動ベクトルV_３だけ移動させて、ｎフレームの画像データと（ｎ＋２）フレームの画像データとを合成して、劣化を補正した（ｎ＋１）フレームの画像データを生成する（図８（ｂ））。このとき、ｎフレームと（ｎ＋２）フレームの画像データから生成された特徴点画像データも用いて（ｎ＋１）フレームの画像データの補正を行うことで、振れ画像において目立ち易い輪郭周辺部の補正をより重点的に行うことが可能となる。

画像オフセット部１２は、選択部１１から出力された画像データの切り出し範囲を、最終ベクトル演算部９から供給された移動ベクトルを用いて決定し、当該画像データのうちの前記決定した切り出し範囲内の画像データを表示装置や記録媒体等に出力する。

以上のように構成された撮像装置の動作を説明する。
動画撮影がなされると、例えば毎秒３０フレームの画像データが画像生成部２から出力され、各画像データから複数レベルの画像データが生成され、複数レベルの画像データの各々から第一特徴点の抽出がなされ、抽出された第一特徴点を基に、特徴点画像データが生成される。各フレームの画像データから生成された特徴点画像データは特徴点バッファリング部６に蓄積され、隣接フレームの特徴点同士の比較により、隣接フレーム間の移動ベクトルの算出が行われ、移動ベクトルの算出結果情報がベクトル情報バッファリング部８に蓄積される。

蓄積された算出結果情報に基づいて、出力すべき画像データ（（ｎ＋１）フレームの画像データとする）が劣化しているかが判定され、劣化していないと判定された場合、（ｎ＋１）フレームの画像データがそのまま画像オフセット部１２に入力され、その画像データから、ベクトル情報バッファリング部８に蓄積されているｎフレームの画像データに対する（ｎ＋１）フレームの画像データの移動ベクトルに基づく切り出し位置内の画像データが切り出されて、表示装置や記録媒体へと出力される。一方、出力すべき画像データが劣化していると判定された場合、ｎフレームの画像データに対する（ｎ＋１）フレームの画像データの移動ベクトルV_１と、（ｎ＋２）フレームの画像データに対する（ｎ＋１）フレームの画像データの移動ベクトルV_３との推定が行われ、推定された移動ベクトルV_１，V_３とｎフレームの画像データと（ｎ＋２）フレームの画像データとに基づいて（ｎ＋１）フレームの画像データの補正が行われる。そして、補正後の（ｎ＋１）フレームの画像データが画像オフセット部１２に入力され、その画像データから、上記推定された移動ベクトルV_１に基づく切り出し位置内の画像データが切り出されて、表示装置や記録媒体へと出力される。

以上のように、本実施形態の撮像装置によれば、２フレーム間の移動ベクトルを、その２フレームの各々の特徴点同士の比較によって算出しているため、２フレームの特定エリア内の画像データ同士の比較を行う従来と比べて、移動ベクトルの算出に要する演算量を大幅に削減することができる。この結果、演算時間を短縮することができ、その分、手振れ検出の応答性を良くすることができる。又、演算時のメモリ空間が大きく高速処理が可能なＣＰＵを用いる必要がなくなり、コスト増加を防止することができる。

又、本実施形態の撮像装置は、移動ベクトルの算出に用いる高相関探索ブロックを探す際、まずは、比較対象特徴点を少なくした状態で探索ブロックの絞込みを行い、その後は、比較対象特徴点を増やしていくことで、相関性の最も高い探索ブロックを探すということを行っている。このように、程度の低い比較処理によって探索ブロックを絞り込み、その後、比較対象特徴点の数を増やして比較処理の精度を上げて、絞り込んだ探索ブロックの中から高相関探索ブロックを探すようにすることで、初めから注視ブロック内にある全ての特徴点を比較対象特徴点として高相関探索ブロックを探す場合と比べ、探索ブロックを絞り込むまでの演算時間を短縮することができる。したがって、移動ベクトルの算出を高速に行うことができる。

又、本実施形態の撮像装置は、第一特徴点画像データで表される被写体の抽象度が高く且つ該被写体の表現精度が高い特徴点画像データを生成し、この特徴点画像データを用いて移動ベクトルの算出を行っている。このため、移動ベクトルの算出を高い精度で行うことができ、手振れ補正の精度を向上させることができる。

又、本実施形態の撮像装置によれば、高い精度で算出された移動ベクトルを用いて、出力すべきフレームの画像データが劣化しているか否かを判定することができ、この判定の精度を向上させることができる。

又、本実施形態の撮像装置によれば、上記判定結果に基づいて、出力すべきフレームの画像データから一部の範囲を切り出して出力するのか、出力すべきフレームの画像データを補正し、補正後の画像データから一部の範囲を切り出して出力するのかを選択的に行うことができる。このため、出力すべきフレームの画像データが劣化していた場合でも、手振れのない画像データを表示装置や記録装置に出力することが可能となり、信頼性の高い撮像装置を提供することができる。

尚、本実施形態の撮像装置では、各フレームの画像データについて、複数レベルの画像データを生成し、この複数レベルの画像データの各々から生成した第一特徴点画像データを用いて１つの特徴点画像データを生成するものとしたが、各フレームの画像データから第一特徴点画像データを生成し、これを特徴点画像データとして移動ベクトルの算出に用いるようにしても良い。つまり、図１において、縮小部３ａ，３ｂと、特徴点抽出部４ｂ，４ｃと、特徴点抽出部５を削除し、特徴点抽出部４ａの出力を特徴点バッファリング部６に接続するように構成しても良い。この場合、移動ベクトルの算出精度は落ちるが、手振れ補正に要する時間の短縮という効果は十分に得ることができる。

以下、本実施形態の撮像装置の変形例について説明する。
図９は、本実施形態の撮像装置のベクトル情報バッファリング部の変形例を示す図である。
図９に示すように、最終ベクトル演算部９からのフィードバックループを形成することで、移動ベクトルの時間的蓄積が可能となり、より精度の高い移動ベクトルの推定やバッファ量の低減等が期待できる。

図１０は、本実施形態の撮像装置の変形例を示す図である。
図１０に示す撮像装置は、図１に示す撮像装置にオブジェクト抽出部又はノイズリダクション（ＮＲ）回路１３を追加した構成となっている。オブジェクト抽出部１３は、画像生成部２から出力された画像データ及び特徴点抽出部５から出力された特徴点画像データから、画像生成部２から出力された画像データの被写体に含まれるオブジェクト（例えば顔画像）を検出する処理を行うものである。ＮＲ回路１３は、画像生成部２から出力された画像データ及び特徴点抽出部５から出力された特徴点画像データから、画像生成部２から出力された画像データのノイズリダクション処理を行うものである。

図１１は、本実施形態の撮像装置の変形例を示す図である。
図１１に示す撮像装置は、図１に示す撮像装置にオブジェクト抽出部又はノイズリダクション（ＮＲ）回路１４を追加した構成となっている。オブジェクト抽出部１４は、画像生成部２から出力された画像データ及び特徴点抽出部４から出力された複数の第一特徴点画像データから、画像生成部２から出力された画像データの被写体に含まれるオブジェクト（例えば顔画像）を検出する処理を行うものである。ＮＲ回路１４は、画像生成部２から出力された画像データ及び特徴点抽出部４から出力された複数の第一特徴点画像データから、画像生成部２から出力された画像データのノイズリダクション処理を行うものである。

オブジェクト検出処理やノイズリダクション処理には、画像データから生成された複数レベルの画像データを利用することが従来から行われているため、縮小部３と特徴点抽出部４によって生成された複数レベルの画像データを利用してオブジェクト検出処理やノイズリダクション処理を行うように構成することで、複数レベルの画像データを生成するためのハードウェア構成を別途設ける必要がなくなり、撮像装置の小型化が可能となる。

尚、オブジェクト抽出部１３，１４を設けた場合には、移動ベクトル算出部７で注視ブロックを設定する代わりに、オブジェクト抽出部１３，１４で抽出されたオブジェクトの位置やサイズを基準としたブロックを設定し、このブロックと探索ブロックとの比較を行うようにしても良い。

本発明の実施形態である撮像装置の概略構成を示すブロック図 図１の多重解像部で生成する複数レベルの画像データ毎の縮小率の例を示した図 図２のグラフＡ＋Ｂで示される縮小率で画像データを縮小する場合の多重解像部と特徴点抽出部の構成例を示した図 図１の特徴点抽出部４と特徴点抽出部５による処理を概念的に示した図 図１に示す撮像装置の変形例を示す図 図１の移動ベクトル算出部による移動ベクトルの算出方法を説明するための図 図１の移動ベクトル算出部による移動ベクトルの算出フローを示す図 図１の最終ベクトル演算部による手振れ発生判定処理と画像合成部による画像合成処理を説明するための図 本実施形態の撮像装置のベクトル情報バッファリング部の変形例を示す図 本実施形態の撮像装置の変形例を示す図 本実施形態の撮像装置の変形例を示す図 手振れ補正を行うときの移動ベクトルを算出する原理を示す説明図

符号の説明

１ 撮像素子
５ 特徴点抽出部
７ 移動ベクトル算出部
１２ 画像オフセット部

Claims (9)

1. 撮像によって撮像素子から得られる複数の画像データからなる動画像データの手振れを補正する手振れ補正装置であって、
   前記複数の画像データの各々から特徴点を抽出した特徴点画像データを生成する特徴点画像データ生成手段と、
   前記複数の画像データの各々から生成された前記特徴点画像データの特徴点同士の比較によって前記複数の画像データ間の移動ベクトルを求める移動ベクトル算出手段と、
   出力すべき画像データ（以下、出力画像データという）の切り出し範囲を、前記出力画像データの直前に出力された画像データ（以下、直前画像データという）に対する前記出力画像データの前記移動ベクトルを用いて決定し、前記出力画像データのうちの前記決定した切り出し範囲内の画像データを出力する画像出力手段とを備える手振れ補正装置。
2. 請求項１記載の手振れ補正装置であって、
   前記移動ベクトル算出手段は、任意の画像データに注視ブロックを設定し、前記任意の画像データよりも後に出力された画像データのいずれかの画像データに探索範囲を設定し、前記注視ブロックと同じ大きさの探索ブロックを前記探索範囲内で移動させたときの各移動位置にある前記探索ブロック内の前記特徴点と、前記注視ブロック内の前記特徴点とを比較して、前記注視ブロックと相関性の最も高い探索ブロックである高相関探索ブロックを探し、前記高相関探索ブロックの位置と前記注視ブロックの位置とから、前記任意の画像データに対する前記いずれかの画像データの移動ベクトルを算出するものであり、
   前記高相関探索ブロックを探す際、前記注視ブロック内にある特徴点のうちの一部を前記探索ブロック内の特徴点と比較する対象となる比較対象特徴点とし、前記比較対象特徴点と前記探索ブロック内の特徴点との比較によって、前記注視ブロックと相関性のある探索ブロックを抽出する処理を行った後、前記注視ブロックと相関性のある探索ブロックが１つの場合には当該探索ブロックを前記高相関探索ブロックとし、前記注視ブロックと相関性のある探索ブロックが複数ある場合には、前記比較対象特徴点の数を増やし、前記増やした比較対象特徴点と前記複数の探索ブロック内の特徴点との比較により、前記複数の探索ブロックの中から前記注視ブロックと相関性のある探索ブロックを抽出する処理を行い、前記処理における前記比較対象特徴点の数が前記注視ブロック内にある特徴点の数に一致しており、且つ、前記処理によって抽出された探索ブロックが複数あった場合には、その中で最も相関性の高い探索ブロックを前記高相関探索ブロックとする手振れ補正装置。
3. 請求項１又は２記載の手振れ補正装置であって、
   前記複数の画像データの各々について、前記各々の画像データを１段階又は２段階以上にわたって縮小することにより、元の画像データも含めて複数レベルの画像データを生成する画像縮小手段を備え、
   前記特徴点画像データ生成手段は、前記複数レベルの画像データの各々から第一特徴点を抽出した第一特徴点画像データを生成する第一特徴点画像データ生成手段を有し、前記複数レベルの画像データの各々から生成された複数の前記第一特徴点画像データを用いて、被写体の抽象度及び前記被写体の表現精度のいずれもが所定レベルよりも高い前記特徴点画像データを生成する手振れ補正装置。
4. 請求項１〜３のいずれか１項記載の手振れ補正装置であって、
   前記移動ベクトル算出手段が、前記移動ベクトルを算出できなかった場合、前記移動ベクトルの算出結果として特定の情報を出力するものであり、
   前記出力画像データが劣化しているか否かを、前記移動ベクトル算出手段による前記直前画像データに対する前記出力画像データの移動ベクトルの算出結果、前記出力画像データに対する前記出力すべき画像データの直後に得られた画像データ（以下、直後画像データという）の移動ベクトルの算出結果、及び前記直前画像データに対する前記直後画像データの移動ベクトルである直前直後間移動ベクトルの算出結果に基づいて判定する画像劣化有無判定手段と、
   前記画像劣化有無判定手段によって前記出力画像データが劣化していると判定された場合、前記直前直後間移動ベクトルV_２と、前記直前画像データの撮影時刻と前記出力画像データの撮影時刻との差ΔT_１と、前記出力画像データの撮影時刻と前記直後画像データの撮影時刻との差ΔT_２とから、前記直前画像データに対する前記出力画像データの移動ベクトルV_１及び前記直後画像データに対する前記出力画像データの移動ベクトルV_３を推定する移動ベクトル推定手段と、
   前記直前画像データを前記移動ベクトルV_１分だけ移動させ、前記直後画像データを前記移動ベクトルV_３分だけ移動させて前記直前画像データと前記直後画像データとを合成する画像合成手段とを備え、
   前記画像劣化有無判定手段によって前記出力画像データが劣化していると判定された場合、前記画像出力手段は、前記出力画像データを前記画像合成手段によって合成された画像データとし、当該画像データの切り出し範囲を前記移動ベクトルV_１を用いて決定する手振れ補正装置。
5. 請求項１〜４のいずれか１項記載の手振れ補正装置であって、
   前記複数の画像データの各々から生成された前記特徴点画像データを圧縮する圧縮手段と、
   前記圧縮手段によって圧縮された前記特徴点画像データを記憶する記憶手段と、
   前記記憶手段に記憶された前記特徴点画像データを伸張する伸張手段とを備える手振れ補正装置。
6. 請求項３記載の手振れ補正装置と、
   前記画像データ及び前記画像データから生成された前記複数の第一特徴点画像データを利用して前記画像データのオブジェクト検出を行うオブジェクト検出手段、又は、前記画像データ及び前記画像データから生成された前記複数の第一特徴点画像データを利用して前記画像データのノイズリダクション処理を行うノイズリダクション処理手段とを備える撮像装置。
7. 請求項３記載の手振れ補正装置と、
   前記画像データ及び前記画像データから生成された前記特徴点画像データを利用して前記画像データのオブジェクト検出を行うオブジェクト検出手段、又は、前記画像データ及び前記画像データから生成された前記特徴点画像データを利用して前記画像データのノイズリダクション処理を行うノイズリダクション処理手段とを備える撮像装置。
8. 請求項６又は７記載の撮像装置であって、
   前記手振れ補正装置が、
   前記移動ベクトル算出手段が、前記移動ベクトルを算出できなかった場合、前記移動ベクトルの算出結果として特定の情報を出力するものであり、
   前記出力画像データが劣化しているか否かを、前記移動ベクトル算出手段による前記直前画像データに対する前記出力画像データの移動ベクトルの算出結果、前記出力画像データに対する前記出力すべき画像データの直後に得られた画像データ（以下、直後画像データという）の移動ベクトルの算出結果、及び前記直前画像データに対する前記直後画像データの移動ベクトルである直前直後間移動ベクトルの算出結果に基づいて判定する画像劣化有無判定手段と、
   前記画像劣化有無判定手段によって前記出力画像データが劣化していると判定された場合、前記直前直後間移動ベクトルV_２と、前記直前画像データの撮影時刻と前記出力画像データの撮影時刻との差ΔT_１と、前記出力画像データの撮影時刻と前記直後画像データの撮影時刻との差ΔT_２とから、前記直前画像データに対する前記出力画像データの移動ベクトルV_１及び前記直後画像データに対する前記出力画像データの移動ベクトルV_３を推定する移動ベクトル推定手段と、
   前記直前画像データを前記移動ベクトルV_１分だけ移動させ、前記直後画像データを前記移動ベクトルV_３分だけ移動させて前記直前画像データと前記直後画像データとを合成する画像合成手段とを備え、
   前記画像劣化有無判定手段によって前記出力画像データが劣化していると判定された場合、前記画像出力手段は、前記出力画像データを前記画像合成手段によって合成された画像データとし、当該画像データの切り出し範囲を前記移動ベクトルV_１を用いて決定する撮像装置。
9. 請求項６〜８のいずれか１項記載の撮像装置であって、
   前記手振れ補正装置が、
   前記複数の画像データの各々から生成された前記特徴点画像データを圧縮する圧縮手段と、
   前記圧縮手段によって圧縮された前記特徴点画像データを記憶する記憶手段と、
   前記記憶手段に記憶された前記特徴点画像データを伸張する伸張手段とを備える撮像装置。

Images