JP2008172310A - 電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムと撮像装置 - Google Patents

Abstract

【課題】列車等の移動体に乗って移動体外部を撮影するときでも良好な電子的手振れ補正を行う。
【解決手段】撮像素子の有効画素領域からフレーム順に出力される各フレーム画像を夫々複数の分割画像に分割し、各分割画像毎にフレーム画像間の移動ベクトルを算出し、各分割画像毎の移動ベクトルから前記フレーム画像全体の移動ベクトル（以下、手振れベクトルという。）を算出し、該手振れベクトルにより前記フレーム画像から切り出す画像出力範囲を決定する電子式手振れ補正方法において、分割画像毎に算出される移動ベクトルの交差位置から無限遠点Ｆ１を算出し、フレーム画像毎に求まる無限遠点間のブレベクトルを手振れベクトルとして画像出力範囲を決定する。
【選択図】図７

Description

本発明はデジタルカメラ等で用いる電子式手振れ補正方法等に係り、特に、自動車，列車，船舶，飛行機等の移動体に乗って移動体外部を撮影したときの電子式手振れ補正を実現するのに好適な電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムと撮像装置に関する。

例えば、動画撮影機能を有するデジタルスチルカメラやビデオカメラ等を手に持ち動画を撮影する場合、カメラを持つ手が振れると、あるフレームの画像中に映っている静止物画像の位置が次フレームの表示画面では移動してしまい、見づらい動画になってしまう。そこで、あるフレーム画像に対して次フレームの画像の手振れベクトルを検出し、画像が揺れない様に手振れ補正を行うことが行われている。

図１２は、手振れ補正を行うときに必要となる移動ベクトルを検出する原理を示す説明図である。図１２（ａ）に示すＮフレーム目の画像１と図１２（ｂ）に示すＮ＋１フレーム目の画像３を、この例では夫々４分割し、各分割画面♯１〜♯４毎に次の処理を行う。

先ず、図１２（ａ）に示すＮフレーム目の画像１中の所定アドレスで示されるブロック２内の画像を基準画像とすると、（Ｎ＋１）フレーム目の画像３中の同一所定アドレスで示されるブロック４によって切り出された画像が基準画像と同一であれば、画像１に対して画像３は振れていないことになる。

しかし、手振れが発生していれば、ブロック２内の基準画像とブロック４で切り出された画像は一致しない。そこで、画像３中のブロック４を、４ａ，４ｂ，４ｃ，…と、Ｘ方向（水平方向），Ｙ方向（垂直方向）に１画素づつずらしながら、各ブロック４ａ，４ｂ，４ｃ，…内の夫々の画像を基準画像と比較し、基準画像と最も相関性が高い比較画像を切り出したブロック位置を求める。

この相関性を求める演算は、基準画像と比較画像との１画素１画素の画素データ（輝度データ）の差の総和の絶対値を求めることで行い、この絶対値が最小となる比較画像が最も相関性の高い比較画像となる。

図１２（ｂ）に示す例で、ブロック２の基準画像に対し最も相関性の高い比較画像がブロック４ｃで切り出されたとすると、画像１に対する画像３の差はベクトル「ｋ１」となる。このベクトルｋ１が分割画面♯１における移動ベクトルである。

他の分割画面♯２〜♯４でも同様に移動ベクトルｋ２〜ｋ４を算出すると、例えばこれらの単純加算平均ベクトルｋ＝〔（ｋ１＋ｋ２＋ｋ３＋ｋ４）／４〕が、２画面間の手振れベクトルとなる。

撮像画像１を表示した次に、撮像画像３を手振れベクトルｋと逆方向に移動させて表示（実際には、表示する画像の範囲より広い範囲の画像を撮像素子が撮像できるように有効画素領域を広くしておき、表示画像の切出範囲すなわち出力範囲を移動させる。）すれば、画像３中の静止物画像は画像１中の同一静止物画像と重なり、振れの無い画像表示が可能となる。

尚、手振れベクトルの検出技術に関連する従来技術として、下記特許文献１等がある。

特開昭６１―２０１５８１号公報

図１２で説明した原理により、電子的に良好な手振れ補正を行うことができる。しかし、撮影シーンによっては手振れ補正ができない場合が生じる。例えば、自動車等の移動体に乗って外の景色を撮影した場合、移動体の進行に従って被写体の画像自体が画面中で移動し、図１２に示す夫々の分割画面で大きな移動ベクトルが算出されてしまう。このため、手振れや移動体の振動に起因する小さな移動ベクトル成分を抽出するのが困難になり、手振れ補正ができなくなってしまう。尚、以下、「手振れ」とは移動体の振動に起因する画像ブレも含めた概念として説明する。

本発明の目的は、移動体に乗って移動体外部の撮影を行う場合でも良好に電子的な手振れ補正を行うことができる電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムと撮像装置を提供することにある。

本発明の電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムは、撮像素子の有効画素領域からフレーム順に出力される各フレーム画像を夫々複数の分割画像に分割し、各分割画像毎にフレーム画像間の移動ベクトルを算出し、各分割画像毎の移動ベクトルから前記フレーム画像全体の移動ベクトル（以下、手振れベクトルという。）を算出し、該手振れベクトルにより前記フレーム画像から切り出す画像出力範囲を決定する電子式手振れ補正において、前記分割画像毎に算出される移動ベクトルの交差位置から無限遠点を算出し、前記フレーム画像毎に求まる前記無限遠点間のブレベクトルを前記手振れベクトルとして前記画像出力範囲を決定することを特徴とする。

本発明の電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムは、前記フレーム画像毎に求まる前記無限遠点の位置が固定されるように前記画像出力範囲が決定されることを特徴とする。

本発明の電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムは、前記フレーム画像毎に求まる前記無限遠点の位置が前記フレーム画像中の固定点から常に等距離となるように前記画像出力範囲が決定されることを特徴とする。

本発明の電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムは、或るフレーム画像により算出された前記無限遠点と該フレーム画像の中心点とを結ぶ直線を求め、次フレーム画像により算出された前記無限遠点の前記ブレベクトルのうち前記直線に沿う成分は無視し該直線に対し垂直方向の成分に基づき前記画像出力範囲を決定することを特徴とする。

本発明の電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムは、フレーム順に算出される前記ブレベクトルの変化周波数の所定周波数成分以上の成分のみ補正するように決定することを特徴とする。

本発明の撮像装置は、撮像素子と、上記のいずれかに記載の電子式手振れ補正装置とを備えることを特徴とする。

本発明によれば、無限遠点を用いて手振れ補正を行うため、自動車や列車，船舶，飛行機等の移動体に乗って移動体外部を撮影するときに発生する手振れも良好に補正することが可能となる。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係るデジタルカメラの構成図である。このデジタルカメラは、撮像部２１と、撮像部２１から出力されるアナログの画像データを自動利得調整（ＡＧＣ）や相関二重サンプリング処理等のアナログ処理するアナログ信号処理部２２と、アナログ信号処理部２２から出力されるアナログ画像データをデジタル画像データに変換するアナログデジタル変換部（Ａ／Ｄ）２３と、後述のシステム制御部（ＣＰＵ）２９からの指示によってＡ／Ｄ２３，アナログ信号処理部２２，撮像部２１の駆動制御を行う駆動制御部２４と、ＣＰＵ２９からの指示によって発光するフラッシュ２５とを備える。

撮像部２１は、被写界からの光を集光する光学レンズ系２１ａと、絞り２１ｂと、光学レンズ系２１ａによって集光され絞り２１ｂによって絞られた光を受光し撮像画像データ（アナログ画像データ）を出力する固体撮像素子１００とを備える。

固体撮像素子１００は、ＣＣＤ型でもＣＭＯＳ型でも、また、他の型式の固体撮像素子でも良く、電子式手振れ補正処理を行うために、有効画素領域が画像表示範囲より広くなっている。

本実施形態のデジタルカメラは更に、Ａ／Ｄ２３から出力されるデジタル画像データを取り込み補間処理やホワイトバランス補正，ＲＧＢ／ＹＣ変換処理等を行うデジタル信号処理部２６と、画像データをＪＰＥＧ形式やＭＰＥＧ形式などの画像データに圧縮したり逆に伸長したりする圧縮／伸長処理部２７と、メニューなどを表示したりスルー画像や撮像画像を表示する表示部２８と、デジタルカメラ全体を統括制御するシステム制御部（ＣＰＵ）２９と、フレームメモリ等の内部メモリ３０と、ＪＰＥＧ画像データやＭＰＥＧ画像データ等を格納する記録メディア３２との間のインタフェース処理を行うメディアインタフェース（Ｉ／Ｆ）部３１と、これらを相互に接続するバス４０とを備え、また、システム制御部２９には、ユーザからの指示入力を行う操作部３３が接続されている。

図２は、図１に示したデジタルカメラで電子式手振れ補正処理を行う場合に構成される電子式手振れ補正処理装置５０の機能構成図である。この電子式手振れ補正処理装置５０は、ユーザが図１に示す操作部３３から電子式手振れ補正処理を行う旨の指示入力があったとき、システム制御部２９が電子式手振れ補正プログラムを起動することで、システム制御部２９が配下のデジタル信号処理部２６，内部メモリ３０等を用いて構成する。

この電子式手振れ補正処理装置５０は、固体撮像素子１００から出力される画像データを間引き処理して縮小画像を生成する間引き処理部５１と、ｎフレーム目（偶数フレーム目）の間引き縮小画像データを格納する第１メモリ５２と、ｎ＋１フレーム目（奇数フレーム目）の間引き縮小画像データを格納する第２メモリ５３と、各メモリ５２，５３から縮小画像データを読み出し、図１２で説明した各分割画面毎の移動ベクトルを算出する演算処理部５４と、演算処理部５４が算出した各分割画面毎の移動ベクトルから画面間の手振れベクトルを算出しメモリ３０から読み出す表示画像の切出範囲を可変制御する手振れベクトル演算処理部５５とを備える。

本実施形態では、移動ベクトル算出処理の高速化を図るために間引き処理部５１で基準画像，比較画像の夫々の縮小画像を生成している。演算処理装置として高性能なものが使用できメモリ容量に余裕があれば、間引き処理せずに、元画像データを用いて移動ベクトルを算出することも可能である。

斯かる電子式手振れ補正処理装置５０で、撮影画像の電子式手振れ補正を行うときの動作について説明する。固体撮像素子１００からは、偶数フレームの撮像画像データと奇数フレームの撮像画像データとが交互に出力され、各撮像画像データは、内部メモリ３０に格納される。

固体撮像素子１００の有効画素領域から出力される撮像画像データは、内部メモリ３０への格納と並行して、間引き処理部５１を通って縮小画像データとなり、メモリ５２，５３に交互に格納される。

今、ｎフレーム目の画像データに対してｎ＋１フレーム目の画像データの手振れベクトルを検出するとする。つまり、ｎフレーム目の画像データ（縮小画像データ）から基準画像を切り出し、ｎフレーム目の画像データ（縮小画像データ）から比較画像を切り出し、両者の相関性を求める。

この場合、本実施形態では、図３に示す様に、１画面（１画面とは有効画素領域から出力された当該フレーム画像の全体をいうものとする。）を６×８＝４８個の分割画面♯１〜♯４８に分割し、各分割画面毎に演算処理部５５が移動ベクトルを算出し、演算処理部５６が４８個の移動ベクトルから画面間の移動ベクトル即ち手振れベクトルを算出する。

図４は、電子式手振れ補正処理装置５０がフレーム画像を取り込む毎に実行する処理手順を示すフローチャートである。先ず、ステップＳ１で、分割画面毎の４８個の移動ベクトルが演算処理部５４により算出される。以下のステップは、手振れベクトル演算処理部５５が行う。

次のステップＳ２では、４８個の移動ベクトルが揃っているか否かを判定する。手振れは、画面全体の均一的な画像ブレであるから、４８個の移動ベクトルは、全て、同一方向，同一長さで揃うはずである。

しかし、例えば画面内に動き回る小動物などが映っていると、小動物が映っている分割画面での移動ベクトルは他の移動ベクトルと異なることになる。例えば図５に示す様に、移動ベクトルｋ２８，ｋ３６は、この分割画面♯２８，♯３６内に小動物が映っているため、他の移動ベクトルと異なるベクトル即ち異常ベクトルになっている。

また、手振れにはカメラを平行移動ばかりでなく、回転させる方向にもずれるため、全て、同一方向，同一長さになることはない。そこで、このステップＳ２では、例えば、所定数以上の移動ベクトルが、所定閾値範囲内で同一といえるか否かを判定し、同一といえる場合には移動ベクトルは揃っていると判定する。

ステップＳ２の判定結果が肯定の場合には、次のステップＳ３で、移動ベクトルが揃いすぎているか否かを判定する。例えば、カメラをパンニングやチルトリングしたり、列車等の移動体に乗って進行方向に対し真横の風景等を撮影した場合には、図６（ａ）（ｂ）に矢印で示す様に、撮影画像全体が一方向に流れることになる。これに対し、手振れは、実際には０．５秒も同じ方向に振れることはない。このため、手振れでなく同一方向に画像が流れる場合には、各分割画面の移動ベクトルは殆ど同一ベクトル（上記の所定閾値範囲より狭い閾値範囲に入る）となり、図１２で説明したような移動ベクトルの単純加算平均で手振れベクトルを算出することは不可能となる。

ステップＳ３の判定結果が否定、すなわち、各移動ベクトルがある程度揃っており、且つ、揃いすぎていない場合には、ステップＳ４に進み、通常の手振れベクトルの算出を行う。例えば、図５で異常ベクトルｋ２８，ｋ３６を除外した残りの移動ベクトルを単純加算平均することで手振れベクトルを算出し、画像切出範囲を求める。そして、次のステップＳ５で、この画像切出範囲をメモリ３０に出力する。

ステップＳ２の判定結果が否定された場合、即ち、移動ベクトルが揃っていない場合には、ステップＳ６に進む。また、ステップＳ３の判定結果が肯定の場合、即ち、移動ベクトルが揃いすぎている場合にも、ステップＳ６に進む。

ステップＳ６では、各移動ベクトルから無限遠点が存在するか否かを判定し、存在する場合にはその座標位置を、異常ベクトルを除いた移動ベクトルの交差位置として算出する。あるいは、各移動ベクトルの交差位置を求め、所定数以上の多数となる交差位置を無限遠点の座標位置とする。交差位置が１つも算出されない場合には無限遠点の座標位置は無限位置にあるとされる。

例えば自動車等の移動体に乗って進行方向前方を撮影しているときに算出される移動ベクトルは、図７（ａ）に示す様に、ある一点Ｆ１から湧き出て来る様に算出される。この一点Ｆ１が無限遠点である。無限遠点Ｆ１は、図７（ａ）に示す様に、画面内に存在する場合もあるが、図７（ｂ）に示す様に、画面外に存在する場合もある。車両進行方向の後方を撮影した場合には、各移動ベクトルは、ある一点に吸い込まれる方向を向く。この一点が無限遠点となる。

ステップＳ６で無限遠点が存在しないと判定された場合には、分割画面毎の各移動ベクトルがバラバラであるため、ステップＳ７に進んで手振れ補正は行わないと決定し、ステップＳ５に進む。即ち、この場合には、画像切出範囲の移動制御は行わない。

ステップＳ６の判定の結果、無限遠点が存在する場合には、次にステップＳ８に進み、その無限遠点の座標位置が無限位置にあるか否かを判定する。図６で説明した様に、列車等に乗って進行方向真横の風景等を撮影している状態では、無限遠点の座標位置のうち、移動ベクトル方向の位置は無限位置になる。

ステップＳ８の判定の結果、無限遠点の座標位置が有限位置の場合にはステップＳ９に進み、無限遠点の座標位置が無限位置の場合にはステップＳ１０に進む。

ステップＳ９では、有限位置の無限遠点を用いた手振れ量の算出と画像切出範囲の決定を行ってステップＳ５に進み、ステップＳ１０では、無限位置の無限遠点を用いた手振れ量の算出と画像切出範囲の決定を行ってステップＳ５に進む。

次に、ステップＳ９における処理内容について説明する。前回フレーム画像から求められた無限遠点をＦ０，今回フレーム画像から求められた無限遠点をＦ１とすると、Ｆ０とＦ１との差が手振れベクトルｋとなる。従って、図８（ａ）（ｂ）に示す様に、無限遠点Ｆ０が算出された前回フレーム画像から切出範囲ｆ０の画像が切り出され出力された後に、今回フレーム画像から算出された無限遠点Ｆ１が移動していた場合、切り出し画像中の無限遠点Ｆ１が前回切出画像ｆ０中の無限遠点Ｆ０と重なるように、今回フレーム画像からの切出範囲ｆ１を決定する。これにより、フレーム毎に切り出される画像中の無限遠点が表示画像上で固定され、列車等の移動体の振動も含め、手振れの抑制された画像出力を得ることができる。

図８を用いた説明は、無限遠点を用いた手振れ補正の一例を説明するものであり、その他にも無限遠点を用いた手振れ補正の方法がある。以下、無限遠点を用いた手振れ補正方法について説明する。

〔第１例〕
この第１例は、図８で説明した手振れ補正方法である。図９に示す様に、画像切出範囲の移動制御を行わない場合には、各フレーム画像から得られる無限遠点（画面内にある場合を図示）は、Ｆ０→Ｆ１→……→Ｆ４→…と移動するが、この第１例の方法では、各無限遠点Ｆ０，Ｆ１，Ｆ２，…，Ｆ４，…が切出画像上で移動しない様に切出範囲を決定する。

〔第２例〕
第１例では、図９に例示したようにブレる無限遠点を表示画像上で固定したが、無限遠点が固定されなくても、見易い画像を得ることができる。この第２例では、画像中心点Ｏを予め算出しておき、ある時点で算出された無限遠点Ｆ０の座標位置と中心点Ｏとの距離Ｌを求め、次の時点以後に算出された無限遠点Ｆ１，Ｆ２，Ｆ３，…と中心点Ｏとの距離がＬとなる様に画像切出範囲を決定する。これによっても、手振れによる画像の見づらさは解消する。

〔第３例〕
図１１に示す様に、画面中心点Ｏと、ある時点で検出された無限遠点Ｆ０とを結ぶ直線ｍを算出する。そして、次フレームで算出された無限遠点Ｆ１が、この直線ｍ上を移動している場合には、手振れ補正は行わない。算出された無限遠点Ｆ２が、直線ｍに対して垂直方向に移動している場合には、手振れ補正を行い、無限遠点Ｆ２が直線ｍ上となるように画像切出範囲を定める。換言すれば、無限遠点間のブレベクトルのうち、直線ｍに沿う成分による手振れ補正は行わず、直線ｍに対し垂直方向の西部による手振れ補正は行う。

直線ｍに沿う振動は、自動車等の移動体の進行方向に沿う振動であり、直線ｍに対し垂直方向の振動は、自動車等の縦揺れが該当する。このため、進行方向に沿う振動は補正しなくても画像の違和感はなく、自動車等の縦揺れだけを補正することで、見易い画像となる。

本実施形態では、上記の３例の無限遠点を用いた手振れ補正を用意しておき、状況に応じて適宜選択して適用することになる。

図４のステップＳ１０における手振れ補正は、上記の第３例を適用する。無限遠点の座標位置が無限位置にあるため、直線ｍに沿う方向の無限遠点の移動は算出されることはない。しかし、直線ｍに対し垂直方向の無限遠点の振動は検出できるため、この垂直方向の振動補正は行う。

図４のステップＳ５における切出範囲の出力は、人間の目の感度に応じて行うことも可能である。人間の目は、７Ｈｚの振動には感じやすく１Ｈｚ以下の振動には鈍感である。そこで、図２の手振れベクトル演算処理部５５からメモリ３０への出力パス中にハイパスフィルタを挿入し、１Ｈｚ以上の切出範囲の変化だけをメモリ３０に出力し、１Ｈｚ以下の切出範囲の変化は出力せずに切出範囲を固定しても良い。これにより、手振れが高周波で変動する場合のみ手振れ補正が行われて画像が揺れない様になり、手振れが低周波の場合には画像は低周波で揺れてしまうが、この揺れは不快にはならない。

以上述べた実施形態によれば、無限遠点を用いて手振れ補正を行うため、移動体に乗って移動体外部を撮影したときに生じる移動体の振動を含む手振れも電子的に的確に補正でき、見易い画像を撮影することが可能となる。

尚、上述した実施形態では、デジタルカメラ内部での処理として説明したが、固体撮像素子１００から出力される画像データを全て記録しておき、これを外部のパーソナルコンピュータ等に取り込み、パーソナルコンピュータが電子式手振れ補正プログラムを実行することでも同様に処理が可能であることはいうまでもない。

また、上述した実施形態では、１画面を４８個の分割画面に分割したが、分割画面数はこれに限定されるものではなく、無限遠点の算出に支障の無い分割数であれば良い。

本発明に係る電子式手振れ補正は移動体に乗って移動体外部を撮影する場合にも適切な手振れ補正ができるため、デジタルカメラ等に適用すると有用である。

本発明の一実施形態に係るデジタルカメラのブロック構成図である。 本発明の一実施形態に係るデジタルカメラ内に構成される電子式手振れ補正処理装置の機能ブロック図である。 本発明の実施形態で用いる分割画面の説明図である。 図２に示す電子式手振れ補正処理装置の処理手順を示すフローチャートである。 図３に示す分割画面毎に算出された移動ベクトルの一例を示す図である。 移動体に乗って進行方向真横から外の景色を撮影したときの撮像画像の流れを示す図である。 無限遠点Ｆ１を示す移動ベクトル図である。 画像切出範囲の移動制御を示す図である。 手振れによる無限遠点の移動を説明する図である。 無限遠点を用いた手振れ補正の一例を示す図である。 無限遠点を用いた手振れ補正の他の例を示す図である。 手振れベクトルの検出原理説明図である。

符号の説明

２１ 撮像部
２６ デジタル信号処理部（ＤＳＰ）
２９ システム制御部（ＣＰＵ）
３０ メモリ
５０ 電子式手振れ補正処理装置
５４ 分割画面毎の移動ベクトル演算処理部
５５ 手振れベクトル演算処理部
１００ 撮像素子
１００ａ 有効画素領域
ｆ０，ｆ１ 画像切出範囲
Ｆ０，Ｆ１，Ｆ２，… 無限遠点

Claims (16)

1. 撮像素子の有効画素領域からフレーム順に出力される各フレーム画像を夫々複数の分割画像に分割し、各分割画像毎にフレーム画像間の移動ベクトルを算出し、各分割画像毎の移動ベクトルから前記フレーム画像全体の移動ベクトル（以下、手振れベクトルという。）を算出し、該手振れベクトルにより前記フレーム画像から切り出す画像出力範囲を決定する電子式手振れ補正方法において、前記分割画像毎に算出される移動ベクトルの交差位置から無限遠点を算出し、前記フレーム画像毎に求まる前記無限遠点間のブレベクトルを前記手振れベクトルとして前記画像出力範囲を決定することを特徴とする電子式手振れ補正方法。
2. 前記フレーム画像毎に求まる前記無限遠点の位置が固定されるように前記画像出力範囲が決定されることを特徴とする請求項１に記載の電子式手振れ補正方法。
3. 前記フレーム画像毎に求まる前記無限遠点の位置が前記フレーム画像中の固定点から常に等距離となるように前記画像出力範囲が決定されることを特徴とする請求項１に記載の電子式手振れ補正方法。
4. 或るフレーム画像により算出された前記無限遠点と該フレーム画像の中心点とを結ぶ直線を求め、次フレーム画像により算出された前記無限遠点の前記ブレベクトルのうち前記直線に沿う成分は無視し該直線に対し垂直方向の成分に基づき前記画像出力範囲を決定することを特徴とする請求項１に記載の電子式手振れ補正方法。
5. フレーム順に算出される前記ブレベクトルの変化周波数の所定周波数成分以上の成分のみ補正するように決定することを特徴とする請求項１乃至請求項４のいずれかに記載の電子式手振れ補正方法。
6. 撮像素子の有効画素領域からフレーム順に出力される各フレーム画像を夫々複数の分割画像に分割し、各分割画像毎にフレーム画像間の移動ベクトルを算出し、各分割画像毎の移動ベクトルから前記フレーム画像全体の移動ベクトル（以下、手振れベクトルという。）を算出し、該手振れベクトルにより前記フレーム画像から切り出す画像出力範囲を決定する電子式手振れ補正装置において、前記分割画像毎に算出される移動ベクトルの交差位置から無限遠点を算出し前記フレーム画像毎に求まる前記無限遠点間のブレベクトルを前記手振れベクトルとして前記画像出力範囲を決定する手段を備えことを特徴とする電子式手振れ補正装置。
7. 前記フレーム画像毎に求まる前記無限遠点の位置が固定されるように前記画像出力範囲が決定されることを特徴とする請求項６に記載の電子式手振れ補正装置。
8. 前記フレーム画像毎に求まる前記無限遠点の位置が前記フレーム画像中の固定点から常に等距離となるように前記画像出力範囲が決定されることを特徴とする請求項６に記載の電子式手振れ補正装置。
9. 或るフレーム画像により算出された前記無限遠点と該フレーム画像の中心点とを結ぶ直線を求め、次フレーム画像により算出された前記無限遠点の前記ブレベクトルのうち前記直線に沿う成分は無視し該直線に対し垂直方向の成分に基づき前記画像出力範囲を決定することを特徴とする請求項６に記載の電子式手振れ補正装置。
10. フレーム順に算出される前記ブレベクトルの変化周波数の所定周波数成分以上の成分のみ補正するように決定することを特徴とする請求項６乃至請求項９のいずれかに記載の電子式手振れ補正装置。
11. 撮像素子の有効画素領域からフレーム順に出力される各フレーム画像を夫々複数の分割画像に分割し、各分割画像毎にフレーム画像間の移動ベクトルを算出し、各分割画像毎の移動ベクトルから前記フレーム画像全体の移動ベクトル（以下、手振れベクトルという。）を算出し、該手振れベクトルにより前記フレーム画像から切り出す画像出力範囲を決定する電子式手振れ補正プログラムにおいて、前記分割画像毎に算出される移動ベクトルの交差位置から無限遠点を算出するステップと、前記フレーム画像毎に求まる前記無限遠点間のブレベクトルを前記手振れベクトルとして前記画像出力範囲を決定するステップとを備えることを特徴とする電子式手振れ補正プログラム。
12. 前記フレーム画像毎に求まる前記無限遠点の位置が固定されるように前記画像出力範囲が決定されることを特徴とする請求項１１に記載の電子式手振れ補正プログラム。
13. 前記フレーム画像毎に求まる前記無限遠点の位置が前記フレーム画像中の固定点から常に等距離となるように前記画像出力範囲が決定されることを特徴とする請求項１１に記載の電子式手振れ補正プログラム。
14. 或るフレーム画像により算出された前記無限遠点と該フレーム画像の中心点とを結ぶ直線を求め、次フレーム画像により算出された前記無限遠点の前記ブレベクトルのうち前記直線に沿う成分は無視し該直線に対し垂直方向の成分に基づき前記画像出力範囲を決定することを特徴とする請求項１１に記載の電子式手振れ補正プログラム。
15. フレーム順に算出される前記ブレベクトルの変化周波数の所定周波数成分以上の成分のみ補正するように決定することを特徴とする請求項１１乃至請求項１４のいずれかに記載の電子式手振れ補正プログラム。
16. 撮像素子と、請求項６乃至請求項１０のいずれかに記載の電子式手振れ補正装置とを備えることを特徴とする撮像装置。

Images