JP2008160273A - 手振れベクトル検出方法及びその装置並びに検出プログラム、電子式手振れ補正方法及びその装置並びに補正プログラム、撮像装置 - Google Patents

Abstract

【課題】電子式手振れ補正で用いる手振れベクトルを高精度に算出する。
【解決手段】撮像画面を複数領域に分割し、各分割画面毎に移動ベクトルを算出し、各移動ベクトルから画面全体の手振れベクトルを算出する手振れベクトル検出する場合に、前記複数の移動ベクトルのうちペアとなる移動ベクトルの組み合わせを求めると共に、各ペア毎に、ペアを構成する２つの移動ベクトルに所定演算を施したベクトル値を算出し、各ペアの２つの移動ベクトルを求めた２つの分割画面の間の距離を重みとして各ペア毎の前記ベクトル値を重み付け演算器６５で加算平均演算して手振れベクトルを算出する。
【選択図】図３

Description

本発明は、デジタルカメラ等で電子式手振れ補正を精度良く行うために手振れベクトルを高精度に検出する手振れベクトル検出方法及びその装置並びに検出プログラム、電子式手振れ補正方法及びその装置並びに補正プログラム、撮像装置に関する。

例えば、動画撮影機能を有するデジタルスチルカメラやビデオカメラ等を手に持ち動画を撮影する場合、カメラを持つ手が振れると、あるフレームの画像中に映っている静止物画像の位置が次フレームの画面では移動してしまい、見づらい動画になってしまう。そこで、あるフレームの画像に対して次フレームの画像の移動ベクトル（手振れベクトル）を検出し、画像が揺れない様に手振れ補正を行うことが行われている。

図６は、手振れ補正を行うときの移動ベクトルを検出する原理を示す説明図である。図６（ａ）に示すＮフレーム目の画像１中の所定アドレスで示されるブロック２内の画像を基準画像とすると、図６（ｂ）に示す（Ｎ＋１）フレーム目の画像３中の同一所定アドレスで示されるブロック４によって切り出された画像が基準画像と同一であれば、画像１に対して画像３は振れていないことになる。

しかし、手振れが発生していれば、ブロック２内の基準画像とブロック４で切り出された画像は一致しない。そこで、画像３中のブロック４を、４ａ，４ｂ，４ｃ，…と、Ｘ方向（水平方向），Ｙ方向（垂直方向）に１画素づつずらしながら、各ブロック４ａ，４ｂ，４ｃ，…内の夫々の画像を基準画像と比較し、基準画像と最も相関性が高い比較画像を切り出したブロック位置を求める。

図６（ｂ）に示す例で、ブロック２の基準画像に対し最も相関性の高い比較画像がブロック４ｃで切り出されたとすると、画像１に対する画像３の差はベクトル「ｋ」となる。このベクトルｋが２画面間の移動ベクトルであり、画像１を表示した次に、画像３を移動ベクトルｋと逆方向に移動させて表示すれば、手振れの無い画像を表示することができる。

この様な原理で移動ベクトル（手振れベクトル）ｋを求めるのであるが、通常は、図７（ａ）に示す様に、１画面を複数領域（図示する例では４行４列の計１６個）に分割し、各分割画面毎に図７（ｂ）に示す様に移動ベクトルｋ１〜ｋ１６を求め、これらを平均することで、手振れベクトルｋを求めている。

また、特許文献１に記載されている従来技術では、画面を周辺領域と中央領域とに分け、周辺領域で検出される移動ベクトルは手振れによる移動ベクトルである蓋然性が高いとして手振れベクトルを求めている。

尚、移動ベクトルの検出技術に関連する他の従来技術として、下記特許文献２等がある。

特開平８―２５１４７３号公報 特開平６―４６３１６号公報

上述した様に、１画面を複数領域に分割し、各分割画面毎に移動ベクトルを求め、その平均値を画面全体の移動ベクトルつまり手振れによって生じた移動ベクトルとすることで、部分的な領域だけから求めた移動ベクトルより精度良く手振れベクトルを算出することができる。

しかし、実際の被写界画像中に何が入り込んでいるかは分からず、一部の分割画面では歩いている人の頭や手の部分が映りその下の分割画面ではその人の足部分が映っている場合があり、また、他の分割画面中では鳥が飛んでいたり、犬や猫が動き回っていたりする。また、周辺領域の全てに移動物体が存在する可能性もある。

このため、図７（ｂ）に示す移動ベクトルｋ１〜ｋ１６は、当該分割画面中の動きのある物体の移動ベクトルと真の手振れベクトルとの合成ベクトルとなり、夫々様々な方向や長さになる。従って、各移動ベクトルｋ１〜ｋ１６を単純に平均したり、また、異常値を示す移動ベクトルを除外して平均値を求めても、高精度に手振れベクトルを算出することができない。

本発明の目的は、高精度に手振れベクトルを検出することができる手振れベクトル検出方法及びその装置並びに検出プログラム、電子式手振れ補正方法及びその装置並びに補正プログラム、撮像装置を提供することにある。

本発明の手振れベクトル検出方法，検出プログラム，検出装置は、撮像画面を複数領域に分割し、各分割画面毎に移動ベクトルを算出し、各移動ベクトルから画面全体の手振れベクトルを算出する手振れベクトル検出方法において、前記複数の移動ベクトルのうちペアとなる移動ベクトルの組み合わせを求めると共に、各ペア毎に、ペアを構成する２つの移動ベクトルに所定演算を施したベクトル値を算出し、各ペアの２つの移動ベクトルを求めた２つの分割画面の間の距離を重みとして各ペア毎の前記ベクトル値を加算平均演算して前記手振れベクトルを算出することを特徴とする。

本発明の手振れベクトル検出方法，検出プログラム，検出装置は、前記重み付けして行う前記加算平均演算の演算式の分母の値が或る閾値以下になった場合には該加算平均演算により求められる手振れベクトルの信頼性が無いと判断して手振れベクトルの検出を停止することを特徴とする。

本発明の手振れベクトル検出方法，検出プログラム，検出装置は、前記ペアとなる２つの移動ベクトルの差が所定閾値以上異なる場合には該ペアの前記手振れベクトルへの算出寄与率を“０”とすることを特徴とする。

本発明の手振れベクトル検出方法，検出プログラム，検出装置は、前記距離が所定閾値以下となる前記ペアは前記手振れベクトルの加算平均演算から除外することを特徴とする。

本発明の電子式手振れ補正方法，補正プログラム，補正装置は、上記の手振れベクトル検出方法，検出プログラム，検出装置と、検出された手振れベクトルに基づき撮像画像データから出力範囲を切り出すことを特徴とする。

本発明の撮像装置は、被写体画像を撮像する固体撮像素子と、該固体撮像素子の出力データを取り込み電子式手振れ補正処理を行う上記記載の電子式手振れ補正装置とを備えることを特徴とする。

本発明によれば、手振れベクトルを高精度に算出することができるため、誤差が少なく精度の高い手振れ補正値を求めることができ、自然な電子式手振れ補正が可能となる。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係るデジタルカメラのブロック構成図である。このデジタルカメラは、撮像部２１と、撮像部２１から出力されるアナログの画像データを自動利得調整（ＡＧＣ）や相関二重サンプリング処理等のアナログ処理するアナログ信号処理部２２と、アナログ信号処理部２２から出力されるアナログ画像データをデジタル画像データに変換するアナログデジタル変換部（Ａ／Ｄ）２３と、後述のシステム制御部（ＣＰＵ）２９からの指示によってＡ／Ｄ２３，アナログ信号処理部２２，撮像部２１の駆動制御を行う駆動部（タイミングジェネレータＴＧを含む）２４と、ＣＰＵ２９からの指示によって発光するフラッシュ２５とを備える。

撮像部２１は、被写界からの光を集光する光学レンズ系２１ａと、該光学レンズ系２１ａを通った光を絞る絞りやメカニカルシャッタ２１ｂと、光学レンズ系２１ａによって集光され絞りによって絞られた光を受光し撮像画像データ（アナログ画像データ）を出力する固体撮像素子２１ｃとを備える。

本実施形態のデジタルカメラは更に、Ａ／Ｄ２３から出力されるデジタル画像データを取り込みホワイトバランス補正，ＲＧＢ／ＹＣ変換処理等を行うデジタル信号処理部２６と、画像データをＪＰＥＧ形式などの画像データに圧縮したり逆に伸長したりする圧縮／伸長処理部２７と、メニューなどを表示したりスルー画像や撮像画像を表示する表示部２８と、デジタルカメラ全体を統括制御するシステム制御部（ＣＰＵ）２９と、フレームメモリ等の内部メモリ３０と、ＪＰＥＧ画像データ等を格納する記録メディア３２との間のインタフェース処理を行うメディアインタフェース（Ｉ／Ｆ）部３１と、これらを相互に接続するバス４０とを備え、また、システム制御部２９には、ユーザからの指示入力を行う操作部２３が接続されている。

図２は、図１に示したデジタルカメラで電子式手振れ補正処理を行う場合に構成される電子式手振れ補正処理装置５０の機能構成図である。この電子式手振れ補正処理装置５０は、ユーザが図１に示す操作部３３から電子式手振れ補正処理を行う旨の指示入力があったとき、システム制御部２９が手振れベクトル検出プログラムを含む電子式手振れ補正処理プログラムを起動することで、システム制御部２９が配下のデジタル信号処理部２６，内部メモリ３０等を用いて構成する。

この電子式手振れ補正処理装置５０は、固体撮像素子２１ｃから出力される画像データを間引き処理して縮小画像を生成する間引き処理部５１と、ｎフレーム目（偶数フレーム目）の間引き縮小画像データを格納する第１メモリ５２と、ｎ＋１フレーム目（奇数フレーム目）の間引き縮小画像データを格納する第２メモリ５３と、両メモリ５２，５３から縮小画像データを取り込み手振れベクトルを検出する手振れベクトル検出処理部５５と、検出された手振れベクトルに基づき内部メモリ３０の撮像画像データの読み出し範囲（切り出し範囲）を決める読出制御処理部５６とを備える。

本実施形態では、手振れベクトル検出処理の高速化を図るために間引き処理部５１で基準画像，比較画像の夫々の縮小画像を生成している。演算処理装置として高性能なものが使用できメモリ容量に余裕があれば、間引き処理せずに、元画像データを用いて手振れベクトルを算出することも可能である。

図３は、図２に示す手振れベクトル検出処理部５５の詳細構成図である。この手振れベクトル検出部５５は、基準画像切出回路６１と、比較画像切出回路６２と、両切出回路６１，６２と第１，第２メモリ５２，５３との接続をフレーム切替信号に基づき切り替える切替スイッチ６３と、基準画像切出回路６１から切り出された基準画像と比較画像切出回路６２から切り出された比較画像との比較演算を行い各分割画面毎の移動ベクトルを算出する比較演算器６４と、各移動ベクトルから詳細は後述するようにして手振れベクトルを算出する重み付け演算器６５とを備える。

本実施形態では、図７（ａ）に示す様に１画面を４行４列の計１６個の分割画面に分割し、図７（ｂ）に示す各分割画面毎の移動ベクトルｋ１〜ｋ１６を算出する。計１６個の移動ベクトルを並列演算により同時に算出することも可能である。

しかし、本実施形態では、♯１から♯１６までの分割画面における夫々の移動ベクトルを順に計算するため、比較演算器６４は、基準画像切出回路６１や比較画像切出回路６２に探索範囲♯１〜♯１６を順に指示する信号を出力すると共に、指示した探索範囲内における切出ブロック（図６（ｂ）における４ａ，４ｂ，４ｃ等）の移動指示を比較画像切出回路６２に出力する様になっている。

次に、上述した構成の電子式手振れ補正処理装置５０における動画の手振れ補正処理について説明する。固体撮像素子２１ｃからは、偶数フレームの撮像画像データと奇数フレームの撮像画像データとが交互に出力され、各撮像画像データは、内部メモリ３０に格納される。

固体撮像素子２１ｃから出力される撮像画像データは、内部メモリ３０への格納と並行して、間引き処理部５１を通って縮小画像データとなり、メモリ５２，５３に格納される。

今、ｎフレーム目の画像データに対してｎ＋１フレーム目の画像データの手振れベクトルを検出するとする。つまり、ｎフレーム目の画像データ（縮小画像データ）から基準画像を切り出し、ｎ＋１フレーム目の画像データ（縮小画像データ）から比較画像を切り出し、両者の相関性を求める。

先ず、♯１分割画面における基準画像を所定ブロック枠によって切出回路６１が切り出して比較演算器６４に出力する共に、♯１分割画面における比較画像を所定ブロック枠と同一大きさの切出ブロックによって切出回路６２が切り出し比較演算器６４に出力する。

比較演算器６４は、基準画像の画素データと比較画像の画素データとの差分を縮小画像の１画素単位に求めると共に縮小画像の全画素についての前記差分の積算値を求める。そして、この積算値が求まる毎に移動指示を比較画像切出回路６２に出力して切出ブロック位置を縮小画像の１画素単位で移動させ、移動後の比較画像と基準画像との上記積算値を求める、という動作を繰り返す。

この様にして求めた各積算値のうち、最小値を示す比較画像が基準画像との相関性が最も高いということができ、この比較画像の切出位置と基準画像の切出位置との差が♯１分割画面における移動ベクトルとなる。

斯かる動作を♯２〜♯１６の分割画面でも行い、例えば図４に示す様に得られた１６個の移動ベクトルｋ１〜ｋ１６を重み付け演算器６５に渡す。重み付け演算器６５は、比較演算器６４から渡された１６個の移動ベクトルｋ１〜ｋ１６を次式に基づき演算処理し、画面全体の手振れベクトルｋを算出する。

ここで、分母の「ｆ」とはペア成立で“１”、ペア不成立で“０”となる値である。ペアとは、移動ベクトルｋ１〜ｋ１６の中の任意の２つの組を指す。

例えば、図４に示す１６個の移動ベクトルｋ１〜ｋ１６の中の例えば（ｋ２，ｋ１１）の組を指す。そして、ベクトルｋ２とベクトルｋ１１との差が所定閾値Ａ以下のとき、ペア成立となり、所定閾値Ａを越えて違いが大きい場合にはペア不成立となる。

「Ｐair値」とは、ペア不成立の場合には“０”となり、ペア成立時にはベクトルｋ２とベクトルｋ１１に所定演算を施したベクトル値、例えば加算平均ベクトル値となる。

「Ｌ（ｎ）」とは、図５に示す様に、ペアがｋ２，ｋ１１の場合には両ベクトル間（分割画面♯２，♯１１間）の距離となる。

即ち、数１では、全てのペアの総計の重み付き平均値を手振れベクトルとして算出している。ｋ１とペアになる組は計１５組存在し、ｋ２とペアになる組も計１５組存在し、…、ｋ１６とペアになる組も計１５組存在する。各ペアについて距離を重みとして加算平均することで、精度の高い手振れベクトルを算出することが可能となる。

この様に、本実施形態では、画面中の場所に関係なく、距離が離れた位置で同じ様な方向，長さの移動ベクトルが検出された場合には、その移動ベクトルは「手振れベクトル」の蓋然性が高いとしてその寄与率を高くし、同じ様な方向，長さの移動ベクトルであっても距離が近い場合には移動物体による移動ベクトルである蓋然性が高いため寄与率を小さくしている。このため、移動物体が画面のどの場所に存在していても、手振れベクトルの算出精度を向上させることができる。

算出された手振れベクトルは図２の読出制御処理部５６に出力され、内部メモリ３０から切り出され出力されるｎ＋１フレーム画像の切出範囲（出力範囲）が制御される。

次に、ｎ＋２フレーム目の撮像画像データが固体撮像素子２１ｃから出力され内部メモリ３０に格納されると共に間引き処理部５１で縮小画像データが生成されると、この縮小画像データはメモリ５２に上書きされる。そして、切替スイッチ６３が切り替わり、今度は、ｎ＋１フレーム縮小画像から基準画像が切り出され、ｎ＋２フレーム縮小画像から比較画像が切り出され、上記と同様にして手振れベクトルが検出される。

上述した実施形態では、画面を１６分割して１６個の移動ベクトルを求めているが、画面を更に細分化して各分割画面の移動ベクトルを求め、手振れベクトルを算出することも可能である。しかし、この場合には、ペア数が増大して計算負荷が高くなってしまうという問題が新たに生じる。そこでこの様な場合には、数１において、距離Ｌ（ｎ）が閾値以下の短距離の場合（距離Ｌ（ｎ）は既知である。）には計算から除外し、実際に計算するペア数を減らすことが効果的である。

尚、数１では分母が存在するため、分母が“０”となることが起こり得る。即ち、全て分割画面における移動ベクトルがバラバラとなり、全ペアがペア不成立になってしまう場合がある。例えば、暗い夜空を撮影した場合とか、同一色の壁を撮影した場合には、各分割画面における移動ベクトルはバラバラとなる。この様な場合には、手振れ補正処理を停止する。

または、数１の分母を計算したとき、算出値が所定閾値より小さいか否かを判定し、小さい場合には、数１で求める手振れベクトルの信頼性が無いと判断できるため、手振れベクトルの算出を停止して手振れ補正を一時停止し、あるいは別の方法で手振れベクトルを算出する。

上述した実施形態では、デジタルカメラ内部での処理として説明したが、固体撮像素子２１ｃから出力される画像データを全て記録しておき、これを外部のパーソナルコンピュータ等に取り込み、パーソナルコンピュータが手振れベクトル検出プログラムや電子式手振れ補正プログラムを実行することでも同様に処理が可能である。

本発明に係る手振れベクトル検出方法等は、高精度に手振れベクトルを検出できるため、これを電子式手振れ補正機能付デジタルカメラに適用すると有用である。

本発明の一実施形態に係るデジタルカメラのブロック構成図である。 本発明の一実施形態に係る電子式手振れ補正処理装置の機能構成図である。 図２に示す手振れベクトル検出処理部の詳細構成図である。 各分割画面毎に求めた移動ベクトルの例示図である。 ペアとなる移動ベクトル間の距離Ｌ（ｎ）の説明図である。 移動ベクトルの算出原理説明図である。 分割画面の説明図である。

符号の説明

２１ 撮像部
２１ｃ 固体撮像素子
２６ デジタル信号処理部
２９ システム制御部
５０ 電子式手振れ補正処理部
５５ 手振れベクトル検出処理部
６１ 基準画像切出回路
６２ 比較画像切出回路
６４ 比較演算器
６５ 重み付け演算器

Claims (16)

1. 撮像画面を複数領域に分割し、各分割画面毎に移動ベクトルを算出し、各移動ベクトルから画面全体の手振れベクトルを算出する手振れベクトル検出方法において、前記複数の移動ベクトルのうちペアとなる移動ベクトルの組み合わせを求めると共に、各ペア毎に、ペアを構成する２つの移動ベクトルに所定演算を施したベクトル値を算出し、各ペアの２つの移動ベクトルを求めた２つの分割画面の間の距離を重みとして各ペア毎の前記ベクトル値を加算平均演算して前記手振れベクトルを算出することを特徴とする手振れベクトル検出方法。
2. 前記重み付けして行う前記加算平均演算の演算式の分母の値が或る閾値以下になった場合には該加算平均演算により求められる手振れベクトルの信頼性が無いと判断して手振れベクトルの検出を停止することを特徴とする請求項１に記載の手振れベクトル検出方法。
3. 前記ペアとなる２つの移動ベクトルの差が所定閾値以上異なる場合には該ペアの前記手振れベクトルへの算出寄与率を“０”とすることを特徴とする請求項１または請求項２に記載の手振れベクトル検出方法。
4. 前記距離が所定閾値以下となる前記ペアは前記手振れベクトルの加算平均演算から除外することを特徴とする請求項１乃至請求項３のいずれかに記載の手振れベクトル検出方法。
5. 撮像画像データから出力範囲を切り出すときに請求項１乃至請求項４のいずれかに記載の手振れベクトル検出方法により検出された手振れベクトルに基づき前記出力範囲を決めることを特徴とする電子式手振れ補正方法。
6. 撮像画面を複数領域に分割し、各分割画面毎に移動ベクトルを算出し、各移動ベクトルから画面全体の手振れベクトルを算出する手振れベクトル検出プログラムにおいて、前記複数の移動ベクトルのうちペアとなる移動ベクトルの組み合わせを求めると共に各ペア毎にペアを構成する２つの移動ベクトルに所定演算を施したベクトル値を算出するステップと、各ペアの２つの移動ベクトルを求めた２つの分割画面の間の距離を重みとして各ペア毎の前記ベクトル値を加算平均演算して前記手振れベクトルを算出するステップとを備えることを特徴とする手振れベクトル検出プログラム。
7. 前記重み付けして行う前記加算平均演算の演算式の分母の値が或る閾値以下になった場合には該加算平均演算により求められる手振れベクトルの信頼性が無いと判断して手振れベクトルの検出を停止することを特徴とする請求項６に記載の手振れベクトル検出プログラム。
8. 前記ペアとなる２つの移動ベクトルの差が所定閾値以上異なる場合には該ペアの前記手振れベクトルへの算出寄与率を“０”とすることを特徴とする請求項６または請求項７に記載の手振れベクトル検出プログラム。
9. 前記距離が所定閾値以下となる前記ペアは前記手振れベクトルの加算平均演算から除外することを特徴とする請求項６乃至請求項８のいずれかに記載の手振れベクトル検出プログラム。
10. 請求項６乃至請求項９のいずれかに記載の手振れベクトル検出プログラムと、撮像画像データから出力範囲を切り出すときに前記手振れベクトル検出プログラムにより検出された手振れベクトルに基づき前記出力範囲を決めるステップとを備えることを特徴とする電子式手振れ補正プログラム。
11. 撮像画面を複数領域に分割し、各分割画面毎に移動ベクトルを算出し、各移動ベクトルから画面全体の手振れベクトルを算出する手振れベクトル検出装置において、前記複数の移動ベクトルのうちペアとなる移動ベクトルの組み合わせを求めると共に各ペア毎にペアを構成する２つの移動ベクトルに所定演算を施したベクトル値を算出する手段と、各ペアの２つの移動ベクトルを求めた２つの分割画面の間の距離を重みとして各ペア毎の前記ベクトル値を加算平均演算して前記手振れベクトルを算出する手段とを備えることを特徴とする手振れベクトル検出装置。
12. 前記重み付けして行う前記加算平均演算の演算式の分母の値が或る閾値以下になった場合には該加算平均演算により求められる手振れベクトルの信頼性が無いと判断して手振れベクトルの検出を停止することを特徴とする請求項１１に記載の手振れベクトル検出装置。
13. 前記ペアとなる２つの移動ベクトルの差が所定閾値以上異なる場合には該ペアの前記手振れベクトルへの算出寄与率を“０”とすることを特徴とする請求項１１または請求項１２に記載の手振れベクトル検出装置。
14. 前記距離が所定閾値以下となる前記ペアは前記手振れベクトルの加算平均演算から除外することを特徴とする請求項１１乃至請求項１３のいずれかに記載の手振れベクトル検出装置。
15. 請求項１１乃至請求項１４のいずれかに記載の手振れベクトル検出装置と、撮像画像データから出力範囲を切り出すときに前記手振れベクトル検出装置により検出された手振れベクトルに基づき前記出力範囲を決める読出制御処理手段とを備えることを特徴とする電子式手振れ補正装置。
16. 被写体画像を撮像する固体撮像素子と、該固体撮像素子の出力データを取り込み電子式手振れ補正処理を行う請求項１５に記載の電子式手振れ補正装置とを備えることを特徴とする撮像装置。

Images