JP2009147658A - 撮像装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】動画像におけるぶれ補正効果の不連続性を抑制する。
【解決手段】撮像部により連続して撮像された画像信号間の相関に基づいて動きベクトルを検出する動きベクトル検出部１０６と、動きベクトル検出部により検出された動きベクトルの信頼性評価値を算出する信頼性評価値算出部２７と、動きベクトル検出部により検出された動きベクトルに基づいて画像ぶれの補正量を決定するぶれ補正量決定部１０７と、信頼性評価値算出部により算出された信頼性評価値に基づいて画像ぶれの補正量を減衰する補正量減衰部２４と、補正量減衰部で減衰された画像ぶれの補正量に基づいて画像ぶれを補正するぶれ補正部２２とを備える。
【選択図】図２

Description

本発明は、動画像の動きベクトルを検出して動画像のぶれ補正を行う技術に関するものである。

ビデオカメラなどの動画像を撮影する撮像装置においては、特にレンズを望遠側にズームしたときに、手ぶれにより画像がぶれることが問題となる。このような手ぶれによる画像のぶれを防止するために、従来より撮影した画像信号から画像の動きベクトルを検出し、この動きベクトルに基づいて画像のぶれを補正する技術が提案されている。

動画像の動きベクトルを検出する方法としては、従来より、相関演算に基づく相関法やブロックマッチング法等が知られている。

ブロックマッチング法では、入力された画像信号を複数の適当な大きさのブロック領域（例えば８画素×８ライン）に分割する。そして、このブロック単位で前のフィールド（またはフレーム）の一定範囲の画素との差を計算し、この差の絶対値の和が最小となる前のフィールド（またはフレーム）のブロックを探索する。そして、画面間の相対的なずれが、そのブロックの動きベクトルを示している。

また、マッチング演算については、尾上守夫等により、情報処理Vol.17,No.7,p.634 〜640 July 1976 で詳しく論じられている。

次に、ブロックマッチング法を用いた従来の動きベクトル検出法の一例を、図面を用いて説明する。図６は従来の動きベクトル検出法によりぶれを防止する装置の概略ブロック図である。

まず動きベクトルの検出対象となる画像信号（フィールドまたはフレーム）が画像メモリ１５及び空間周波数を抽出するフィルタ１０２に加えられる。画像メモリ１５は画像信号を一時記憶する。フィルタ１０２は画像信号から動きベクトル検出に有用な空間周波数成分を抽出する。即ち、画像信号の低空間周波数成分及び高空間周波数成分を除去する。

フィルタ１０２を通過した画像信号は２値化回路１０３に加えられる。２値化回路１０３は画像信号を、ゼロレベルを基準として２値化する。具体的には出力信号の符号ビットを出力する。

２値化された画像信号は相関演算回路１０４及び１フィールド期間遅延手段としてのメモリ１０５に加えられる。相関演算回路１０４には更にメモリ１０５から前フィールドの画像信号が加えられている。

相関演算回路１０４はブロックマッチング法に従い、ブロック単位に現フィールドと前フィールドとの相関演算を行い、その結果の相関値を動きベクトル検出回路１０６に加える。動きベクトル検出回路１０６は相関値からブロック単位の動きベクトルを検出する。具体的には相関値が最小となる前フィールドのブロックを探索し、その相対的なずれを動きベクトルとしている。

このブロック単位の動きベクトルは動きベクトル決定回路１０７に加えられる。動きベクトル決定回路１０７はブロック単位の動きベクトルから全体の動きベクトルを決定する。具体的には、ブロック単位の動きベクトルの中央値または平均値を画像全体の動きベクトルとしている。またここで、ブロック単位の動きベクトルを相関値に基づいて評価することで、ブロック単位の動きベクトルの有効／無効を決定している。動きベクトルの有効数／無効数を判断することで、動きベクトルの信頼性を評価できる。

動きベクトル決定回路１０７は全体の動きベクトルをメモリ読み出し制御回路２２に加える。メモリ読み出し制御回路２２は全体の動きベクトルに応じて画像の動きが相殺されるように画像メモリ１５の読み出し位置を制御し、画像メモリ１５からぶれが補正された画像信号が出力される。

次に、動きベクトルの評価方法について説明する。

図７は動きベクトルの評価方法を説明するフローチャートである。

まずステップＳ１００１でブロック単位の動きベクトルを取得する。次にステップＳ１００２において、ブロック単位の相関値の最小値を取得する。ステップＳ１００３では、ステップＳ１００２で取得した相関値の最小値が任意の定数Ａと比較して大きいかどうかを判別する。ステップＳ１００３の判別の結果、最小値がＡよりも大きければステップＳ１００４に進み、小さければステップＳ１００５に進む。ステップＳ１００４では、該当ブロックの動きベクトルを無効とする。ステップＳ１００５では、全てのブロックに対する処理が終了したかを判別する。全てのブロックに対する処理が終了していなければ次のブロックに移行してステップＳ１００１から繰り返し、終了していればステップＳ１００６に進む。ステップＳ１００６では、有効な動きベクトルを出力する。

画像の動きベクトルを検出して画像ぶれを補正するシステムにおける、動きベクトルの信頼性を評価することによって、動きベクトルの検出精度を向上させる方法は特許文献１において提案されている。
特開平６−２０３１６４号公報

しかしながら、従来の技術においては、動きベクトルの有効数が所定の値よりも少ない、すなわち検出した動きベクトルの信頼性が低いと判断した場合、その動きベクトルは無効として、ぶれ補正を行わないようにしていた。このとき、動きベクトルの信頼性は、映像状態に影響される。つまり、コントラストが高くマッチングが一意に決まるような映像の場合は信頼性の高い動きベクトルを検出できるが、画像内で特徴となる絵柄が少ない場合や、似た特徴が多数ある場合などは、信頼性の低い動きベクトルが検出されてしまう。

またさらに、動きベクトルの信頼性は、同一の被写体を映している状態であっても、手ぶれによる映像の流れや、フォーカスの動きによるボケなどによって、信頼性の高さは随時変化している。そのため、動きベクトルの信頼性に従って単純にぶれ補正のＯＮ／ＯＦＦを決定してしまうと、ぶれ補正が効く時と効かない時が連続的に繰り返されるような場合もあり、抑振効果が不連続になってしまうことがあった。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、動画像におけるぶれ補正効果の不連続性を抑制することである。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、撮像光学系により結像された被写体像を撮像して画像信号を出力する撮像手段と、前記撮像手段により連続して撮像された画像信号間の相関に基づいて動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段により検出された動きベクトルの信頼性評価値を算出する信頼性評価値算出手段と、前記動きベクトル検出手段により検出された動きベクトルに基づいて画像ぶれの補正量を決定するぶれ補正量決定手段と、前記信頼性評価値算出手段により算出された信頼性評価値に基づいて決定される減衰率にしたがって前記画像ぶれの補正量を減衰する補正量減衰手段と、前記補正量減衰手段で減衰された前記画像ぶれの補正量に基づいて画像ぶれを補正するぶれ補正手段と、を備えることを特徴とする。

また、本発明に係わる撮像装置は、ズーム可能な撮像光学系により結像された被写体像を撮像して画像信号を出力する撮像手段と、前記撮像手段により連続して撮像された画像信号間の相関に基づいて動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段により検出された動きベクトルの信頼性評価値を算出する信頼性評価値算出手段と、前記動きベクトル検出手段により検出された動きベクトルに基づいて画像ぶれの補正量を決定するぶれ補正量決定手段と、前記信頼性評価値算出手段により算出された信頼性評価値と、前記撮像光学系のズーム位置とに基づいて決定される減衰率にしたがって前記画像ぶれの補正量を減衰する補正量減衰手段と、前記補正量減衰手段で減衰された前記画像ぶれの補正量に基づいて画像ぶれを補正するぶれ補正手段と、を備えることを特徴とする。

また、本発明に係わる撮像装置の制御方法は、撮像光学系により結像された被写体像を撮像して画像信号を出力する撮像手段を備える撮像装置を制御する方法であって、前記撮像手段により連続して撮像された画像信号間の相関に基づいて動きベクトルを検出する動きベクトル検出工程と、前記動きベクトル検出工程において検出された動きベクトルの信頼性評価値を算出する信頼性評価値算出工程と、前記動きベクトル検出工程において検出された動きベクトルに基づいて画像ぶれの補正量を決定するぶれ補正量決定工程と、前記信頼性評価値算出工程において算出された信頼性評価値に基づいて決定される減衰率にしたがって前記画像ぶれの補正量を減衰する補正量減衰工程と、前記補正量減衰工程において減衰された前記画像ぶれの補正量に基づいて画像ぶれを補正するぶれ補正工程と、を備えることを特徴とする。

また、本発明に係わる撮像装置の制御方法は、ズーム可能な撮像光学系により結像された被写体像を撮像して画像信号を出力する撮像手段を備える撮像装置を制御する方法であって、前記撮像手段により連続して撮像された画像信号間の相関に基づいて動きベクトルを検出する動きベクトル検出工程と、前記動きベクトル検出工程において検出された動きベクトルの信頼性評価値を算出する信頼性評価値算出工程と、前記動きベクトル検出工程において検出された動きベクトルに基づいて画像ぶれの補正量を決定するぶれ補正量決定工程と、前記信頼性評価値算出工程において算出された信頼性評価値と、前記撮像光学系のズーム位置とに基づいて決定される減衰率にしたがって前記画像ぶれの補正量を減衰する補正量減衰工程と、前記補正量減衰工程において減衰された前記画像ぶれの補正量に基づいて画像ぶれを補正するぶれ補正工程と、を備えることを特徴とする。

本発明によれば、動画像におけるぶれ補正効果の不連続性を抑制することが可能となる。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる画像ぶれ補正装置を組み込んだ撮像装置のシステム構成を示すブロック図である。

図１において、１１は焦点距離を変えて変倍を行う変倍レンズ群、１２は焦点調節機能と変倍による焦点面の移動を補正するいわゆるコンペ機能を兼ね備えたフォーカスレンズ群である。言い換えれば、変倍レンズ群１１とフォーカスレンズ群１２により被写体像を結像させるズーム可能な撮像光学系が構成されている。また、１３はＣＣＤやＣＭＯＳセンサ等からなる撮像素子である。１４はカメラ信号処理部であり、アナログ信号処理回路とデジタル信号処理回路からなる。アナログ信号処理回路は、撮像素子１３で得られた信号に所定の処理を施してアナログ画像信号を生成するものである。そして、例えばＣＤＳ（co-related double sampling：相関二重サンプリング）回路、ＡＧＣ（Automatic Gain Control）回路等から構成されている。デジタル信号処理回路は、Ａ／Ｄ変換器によりアナログ画像信号をデジタル信号に変換し、ガンマ補正、ホワイトバランス等、所定の信号処理を施したデジタル画像信号を生成する。１５は信号処理された画像データを記憶する画像メモリである。１６はレコーダ部であり、記録媒体（メモリカード、ハードディスク、ＤＶＤ、磁気テープなど）に映像信号を記録する記録装置、表示装置（液晶パネルやビューファインダ）に映像信号を出力表示する表示部、及びそれらの制御回路などが含まれる。

２１はカメラ信号処理部１４で信号処理された画像データから、代表となる動きベクトルを検出する代表ベクトル検出回路である。ここで検出され決定された代表となる動き検出ベクトルは、画像振れの補正を行う際の補正量として決定される（補正量決定）。２３は検出した動きベクトルを画素単位から角度単位に変換する画素角度変換回路である。ここで一旦画素単位を角度単位に変換するのは、ズーム情報を考慮して補正量を修正する際に都合が良いからである。

２７は代表ベクトル検出回路から、代表となる動きベクトルを決定するまでの過程における情報を受け取り、その動きベクトルの信頼性評価値を算出する信頼性評価値算出部である。信頼性評価値の具体的な算出の仕方については後述する。

２４は代表ベクトル検出回路２１および画素角度変換回路を経由して算出された画像振れの補正量に対して、信頼性評価値算出部２７で算出された信頼性評価値によって決定される減衰率に応じて減衰させる補正量減衰回路である。２６は補正量減衰回路２４から出力される補正量を積分する積分回路である。２５は積分回路２６からの信号に基づいて、補正量を角度単位から画素単位に変換する角度画素変換回路である。２２は角度画素変換回路２５から出力される補正量に基づいて、記録または表示する画像データの範囲を決める制御を行うメモリ読み出し制御回路である。メモリ読み出し制御回路２２で決定された範囲だけが画像データとして切り出されて、画像メモリ１５からレコーダ部１６へ出力される。

３３は焦点距離を変倍操作するためのズームスイッチである。３２はズームスイッチ３３に基づいて変倍制御を行うズーム制御回路である。３１はズーム制御回路３２の出力に基づいて、ズームレンズ１１を駆動するズームモータである。３４はズームレンズの位置を検出するズームエンコーダである。

次に、動きベクトルの検出方法について説明する。

図２は、代表ベクトル検出回路２１とその周辺部の概略構成を示すブロック図である。なお、図６と同一符号は同一構成要素を示している。

動きベクトルの検出対象となる画像信号（フィールドまたはフレーム）が入力端子１０１から画像メモリ１５及び空間周波数を抽出するフィルタ１０２に加えられる。画像メモリ１５は画像信号を一時記憶する。フィルタ１０２は画像信号から動きベクトル検出に有用な空間周波数成分を抽出する。即ち、画像信号の低空間周波数成分及び高空間周波数成分を除去する。

フィルタ１０２を通過した画像信号は２値化回路１０３に加えられる。２値化回路１０３は画像信号をゼロレベルを基準として２値化する。具体的には出力信号の符号ビットを出力する。２値化された画像信号は相関演算回路１０４及び１フィールド期間遅延手段としてのメモリ１０５に加えられる。相関演算回路１０４には更にメモリ１０５から前フィールドの画像信号が加えられている。

相関演算回路１０４はブロックマッチング法に従い、ブロック単位に現フィールドと前フィールドとの（画像信号間の）相関演算を行い、その結果の相関値を動きベクトル検出回路１０６及び相関値検出回路１０９に加える。動きベクトル検出回路１０６は相関値からブロック単位の動きベクトルを検出する。具体的には相関値が最小となる前フィールドのブロックを探索し、その相対的なずれを動きベクトルとしている。このブロック単位の動きベクトルは動きベクトル決定回路１０７に加えられる。

相関値検出回路１０９は相関値の最小値を検出し、動きベクトル決定回路１０７に加える。動きベクトル決定回路１０７はブロック単位の動きベクトルを相関値検出回路１０９で検出された最小値に従って評価すると共に、画像全体の動きベクトルを決定する。具体的には、ブロック単位の動きベクトルの中央値または平均値を画像全体の動きベクトルとしている。この画像全体の動きベクトルが、入力された画像に対しての代表となる移動ベクトルとして、画像振れの補正を行う際の補正量として決定される。ただし、ここでの補正量は、画像メモリ１５の読み出し位置の制御にそのまま用いられるわけではなく、以下の処理を経ることによって変換・修正される。

信頼性評価値算出部２７は、動きベクトル検出回路１０６と動きベクトル決定回路１０７のそれぞれの検出、決定過程における情報を受け取り、その動きベクトルの信頼性評価値を算出する。そして、画素角度変換回路２３で角度単位に変換された補正量に対して、補正量減衰回路２４は、信頼性評価値算出部２７から得た信頼性評価値によって決定される減衰率を掛けて減衰させる。

補正量減衰回路２４から得られる減衰された補正量を積分回路２６で積分処理することにより、積算された補正量に変換する。メモリ読み出し制御回路２２は、積算された補正量を角度画素変換部２５で変換された画素単位の補正量に応じて画像の動きが相殺されるように画像メモリ１５の読み出し位置を制御し、画像メモリ１５からぶれが補正された画像信号が出力される。

次に、信頼性評価値算出部２７における、動きベクトルの評価方法について説明する。

動きベクトルの評価方法は、従来技術として説明した図７と同様の処理で行うことができる。また、相関値の評価方法としては、最大値と最小値との差分値を用いたり、相関平均値を用いた方法なども利用可能であり、動きベクトルの有効／無効を評価できればどのような評価方法を用いてもよい。

図３Ａ〜図３Ｄを例に用いて、信頼性評価値算出部２７における動きベクトルの信頼性評価値の算出について説明する。

図３Ａは、ある被写体を撮影したときの画像である。画像内に表示されている８×５の四角枠が、動きベクトルを検出する各ブロックであり、この場合、ブロック数は計４０個である。図３Ｂは、図３Ａの画像の撮影中のある時点において、各ブロックごとの動きベクトルを検出した結果の例である。そして、図３Ｃは、各ブロックごとに検出した動きベクトルの有効（○）／無効（×）を示した例である。図３Ｄは、図３Ｃの結果において、各ブロックごとの動きベクトルの中で、決定した画像全体の動きベクトルに一致するブロックを◎で示した例である。

このように建物の窓枠や木などコントラストが高い部分や絵柄のはっきりした部分では信頼性の高い有効な動きベクトルが検出されるが、空や建物の壁など、コントラストの低い部分や絵柄の少ない部分では信頼性の低い無効なベクトルが検出されてしまう。この場合、有効なベクトルが２８ブロック、無効なベクトルが１２ブロックとなる。また、人など動きのある部分は、コントラストが高いので相関値からは有効な動きベクトルと判断されるが、検出された動きベクトルは手ブレの動きと同時に被写体の動きも検出してしまっている。すなわち、有効な動きベクトルの中には、手ぶれの動きだけを検出した動きベクトルもあれば、被写体の動きも同時に検出した動きベクトルも存在することを意味する。そこで、画像全体の動きベクトルを一つ決定すれば、有効な動きベクトルの中から、決定した画像全体の動きベクトルに一致する動きベクトルと一致しない動きベクトルを選別できる。ここで、画像全体の動きベクトルに一致するベクトルは手ブレのみによる動きを検出したベクトルであり、一致しないベクトルは手ブレの動きと同時に被写体の動きも検出したベクトルである。図３Ｄはこのことを示した例であり、画像全体の動きベクトルに一致する動きベクトルを◎で、一致しない動きベクトルを○で示している（×は図３Ｃと同じく無効なベクトルである）。この例では、一致する動きベクトルが２４ブロック、一致しない動きベクトルが４ブロックとなっている。

全ブロック数に対して有効と評価された動きベクトルの割合をベクトル有効率とすると、図３Ｃの例では、ベクトル有効率が７０％（＝２８ブロック／４０ブロック）という結果になる。このベクトル有効率という値は、画像データの全ブロックに対して何割が有効な動きベクトルとして算出され、何割が無効な動きベクトルとして算出されたかを示す値であることから、検出した全体の動きベクトルの信頼性を評価する（信頼性検出をする）評価値として用いることができる。

つまり、信頼性評価値算出部２７では、このベクトル有効率を信頼性評価値として算出している。

また、信頼性評価値は、次のような別の方法を用いても求めることは可能である。

図３Ｃで有効（○）と判断した各ブロックごとの動きベクトルの中には、決定した画像全体の動きベクトルに一致する動きベクトル（図３Ｄの◎）と一致しない動きベクトル（図３Ｄの○）があることを先に述べた。従って、全ブロック数に対して、決定した画像全体の動きベクトルに一致する動きベクトルの割合（図３Ｄの例では、２４ブロック／４０ブロック＝６０％）を信頼性評価値とするができる。またあるいは、有効ベクトル数に対して、決定した画像全体の動きベクトルに一致する動きベクトルの割合（図３Ｄの例では、２４ブロック／２８ブロック＝８６％）を信頼性評価値とすることもできる。

次に、補正量減衰回路２４における動きベクトルの減衰方法について説明する。

本実施形態における補正量減衰回路２４による補正量の減衰方法では、信頼性評価値算出部２７で算出された動きベクトルの信頼性評価値に基づいて減衰率が決定される。具体的には、予めメモリに用意された信頼性評価値に対する減衰率の変換テーブルに従って、信頼性評価値算出部２７から入力された信頼性評価値に対して減衰率が決定される。

減衰率は原則として、信頼性評価値が大きい場合はベクトル有効率が大きいわけであるから、動きベクトルの信頼性が高いと判断して減衰率を下げる。すなわち、動きベクトルに応じた補正ゲインを高くする。

逆に、信頼性評価値が小さい場合は、動きベクトルの信頼性が低いと判断して減衰率を上げる。すなわち、動きベクトルに応じた補正ゲインを少なくする。補正ゲインと減衰率は表裏の関係にあり、例えば、減衰率２０％の場合は補正ゲインは８０％となる。従って直接的には、補正量減衰回路２４は、画素角度変換回路２３で角度単位に変換された補正量に対して決定された補正ゲインを掛けることで、減衰を実現している。

図４Ａ〜図４Ｆは、信頼性評価値に対する補正ゲインの値を示したグラフである。Ｘ軸は、信頼性評価値算出部２７で算出される信頼性評価値であり、正方向に１００％から０％へ漸減するように表されている。Ｙ軸は、入力される補正量に対する補正ゲインである。図４Ｂ〜図４Ｆのグラフに相当する変換テーブルは、１つ以上が選択されて不図示のメモリに格納されており、必要に応じて補正量減衰回路２４に読み込まれるものである。

例えば、図４Ａに示すように、単純に信頼性評価値が所定のしきい値より大きいか否かによってＯＮ／ＯＦＦを切替えるとぶれ補正効果の有り無しがデジタル的に切換わってしまい、撮影者は画像ぶれに対して違和感を感じてしまう。したがって、このように補正ゲインを設定することは好ましくない。本実施形態では、図４Ｂ〜図４Ｆに示すように信頼性評価値の変化に対して連続的に減衰させることによって、ぶれ補正効果の変化を連続的にし、撮影者の違和感を軽減させる。

図４Ｂに示す特性の入力される補正量に対する補正ゲインは、式（１）で示される。

Ｇ＝Ｅ …（１）
ここで、Ｇは補正ゲイン、Ｅは信頼性評価値である。

なお、減衰率の急激な変化が生じなければ、上記のようなぶれ補正の切換わりの違和感は生じないことから、図４Ｃに示すように、信頼性評価値の所定値以上のところから減衰させていくようにしても良い。このときの特性に対する補正ゲインは、式（２）で示される。

Ｇ＝Ｅ／ｅ ：（Ｅ＜ｅの時）
Ｇ＝１００ ：（Ｅ≧ｅの時） …（２）
また、信頼性評価値が低い場合、補正ゲインも十分に低ければ不連続性があったとしても、手ぶれの補正残りとして違和感がなくなる。それよりも、図４Ｃにおいて信頼性評価値がｅ％のポイントの不連続性を少なくする方が、手ブレの補正残りの違和感を軽減できることから、図４Ｄに示すように、ｆ％のポイントまでの補正ゲインを上げて、信頼性評価値がｆ％以下のときはゲイン０にすることもできる。

さらに、図４Ｂでは、直線的にゲインを変化させていたが、図４Ｅに示すように円弧の曲線で変化させる方法や図４Ｆに示すようにＳ字曲線で変化させる方法もある。曲線で補正ゲインを変化させる方が、信頼性評価値が高い時の補正ゲインを高くできることから、補正の効果を高くすることができる。図４Ｅ、Ｆの曲線による方法は、図４Ｃ、Ｄの直線部分を曲線にする方法へも応用は可能である。

以上説明したように、入力される補正量に対して信頼性評価値に基づいた補正ゲインをかけた補正量を算出することによって、ぶれ補正のＯＮ／ＯＦＦの切換わりの不連続性を無くすことができる。その結果、撮影者に対して画像ぶれ補正による抑振効果の違和感を軽減させることができる。

（第２の実施形態）
第１の実施形態では、動きベクトルの信頼性に基づいて補正量に対する減衰を行ったが、第２の実施形態では、動きベクトルの信頼性に加え、焦点距離に応じても補正量の減衰率を変更する方法について説明する。

本実施形態の撮像装置のシステム構成は、第１の実施形態で示した図１と同じ構成であり、その動作のみが異なる。第１の実施形態で説明した動作と異なる部分について説明する。

補正量減衰回路２４は、ズーム制御回路３２からズーム位置情報を受取ることによって、焦点距離情報を取得し、動きベクトルの信頼性に加えてこれを考慮して、検出した動きベクトルに対する補正量の減衰を行う。

次に、第２の実施形態における補正量減衰回路２４による動きベクトルの減衰方法について説明する。

本実施形態においては、焦点距離がテレ側に行くに従って減衰率を増加させる。すなわち信頼性評価値が同じならズーム位置がテレ側になるほど補正量の減衰を大きくする。

なぜならば、テレ側になるほど撮像対象が拡大されて、ワイド側と比較して絵柄が大きくなるため、動きベクトルの相関が取り難くなるためである。焦点距離がズーム範囲の中間付近であるミドル位置から連続的に減衰率を増加、すなわち補正ゲインを減少させていくことによって、ズーム位置によるぶれ補正効果の差を減少させる。

図５は、焦点距離に応じて信頼性評価値に対する補正ゲインを変更する様子を示したグラフである。

焦点距離がワイド側では、信頼性評価値が低い値から補正ゲインの減衰を開始するようにし、テレ側では、ワイド側よりも高い信頼性評価値から補正ゲインの減衰を開始するようにする。

なお、図５のグラフに相当する変換テーブルは、不図示のメモリに格納されており、必要に応じて補正量減衰回路２４に読み込まれるものである。

以上説明したように、入力される補正量に対して信頼性評価値と焦点距離に基づいた補正ゲインを決めることによって、動きベクトルの信頼性及び焦点距離の違いによるぶれ補正のＯＮ／ＯＦＦの切換わりの不連続性を無くすことができる。その結果、撮影者に対して画像ぶれ補正による抑振効果の違和感を軽減させることができる。

（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係わる、画像ぶれ補正装置を組み込んだ撮像装置のシステム構成を示すブロック図である。 本発明の第１の実施形態に係わる、代表ベクトル検出回路とその周辺部の概略構成を示すブロック図である。 動きベクトルの信頼性の説明図である。 動きベクトルの信頼性の説明図である。 動きベクトルの信頼性の説明図である。 動きベクトルの信頼性の説明図である。 本発明の第１の実施形態に係わる、信頼性評価値に対する補正ゲインの値を示したグラフである。 本発明の第１の実施形態に係わる、信頼性評価値に対する補正ゲインの値を示したグラフである。 本発明の第１の実施形態に係わる、信頼性評価値に対する補正ゲインの値を示したグラフである。 本発明の第１の実施形態に係わる、信頼性評価値に対する補正ゲインの値を示したグラフである。 本発明の第１の実施形態に係わる、信頼性評価値に対する補正ゲインの値を示したグラフである。 本発明の第１の実施形態に係わる、信頼性評価値に対する補正ゲインの値を示したグラフである。 本発明の第２の実施形態に係わる、焦点距離に応じて信頼性評価値に対する補正ゲインを変更する様子を示したグラフである。 従来の画像ぶれ補正システムのブロック図である。 従来の動きベクトルの評価方法を説明するフローチャートである。

Claims (8)

1. 撮像光学系により結像された被写体像を撮像して画像信号を出力する撮像手段と、
   前記撮像手段により連続して撮像された画像信号間の相関に基づいて動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトル検出手段により検出された動きベクトルの信頼性評価値を算出する信頼性評価値算出手段と、
   前記動きベクトル検出手段により検出された動きベクトルに基づいて画像ぶれの補正量を決定するぶれ補正量決定手段と、
   前記信頼性評価値算出手段により算出された信頼性評価値に基づいて決定される減衰率にしたがって前記画像ぶれの補正量を減衰する補正量減衰手段と、
   前記補正量減衰手段で減衰された前記画像ぶれの補正量に基づいて画像ぶれを補正するぶれ補正手段と、
   を備えることを特徴とする撮像装置。
2. ズーム可能な撮像光学系により結像された被写体像を撮像して画像信号を出力する撮像手段と、
   前記撮像手段により連続して撮像された画像信号間の相関に基づいて動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトル検出手段により検出された動きベクトルの信頼性評価値を算出する信頼性評価値算出手段と、
   前記動きベクトル検出手段により検出された動きベクトルに基づいて画像ぶれの補正量を決定するぶれ補正量決定手段と、
   前記信頼性評価値算出手段により算出された信頼性評価値と、前記撮像光学系のズーム位置とに基づいて決定される減衰率にしたがって前記画像ぶれの補正量を減衰する補正量減衰手段と、
   前記補正量減衰手段で減衰された前記画像ぶれの補正量に基づいて画像ぶれを補正するぶれ補正手段と、
   を備えることを特徴とする撮像装置。
3. 前記動きベクトル検出手段は、前記撮像手段の画面を複数のブロックに分割して、分割した各ブロックについて動きベクトルを検出し、前記信頼性評価値算出手段は、前記動きベクトル検出手段により検出された全ブロックの動きベクトルの中で、有効と判断された動きベクトルの割合を前記動きベクトルの信頼性評価値として算出することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記補正量減衰手段は、前記信頼性評価値が高いほど前記画像ぶれの補正量の減衰を少なくすることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記補正量減衰手段は、前記信頼性評価値が同じときには前記撮像光学系のズーム位置がテレ側になるほど前記画像ぶれの補正量の減衰を大きくすることを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
6. 撮像光学系により結像された被写体像を撮像して画像信号を出力する撮像手段を備える撮像装置を制御する方法であって、
   前記撮像手段により連続して撮像された画像信号間の相関に基づいて動きベクトルを検出する動きベクトル検出工程と、
   前記動きベクトル検出工程において検出された動きベクトルの信頼性評価値を算出する信頼性評価値算出工程と、
   前記動きベクトル検出工程において検出された動きベクトルに基づいて画像ぶれの補正量を決定するぶれ補正量決定工程と、
   前記信頼性評価値算出工程において算出された信頼性評価値に基づいて決定される減衰率にしたがって前記画像ぶれの補正量を減衰する補正量減衰工程と、
   前記補正量減衰工程において減衰された前記画像ぶれの補正量に基づいて画像ぶれを補正するぶれ補正工程と、
   を備えることを特徴とする撮像装置の制御方法。
7. ズーム可能な撮像光学系により結像された被写体像を撮像して画像信号を出力する撮像手段を備える撮像装置を制御する方法であって、
   前記撮像手段により連続して撮像された画像信号間の相関に基づいて動きベクトルを検出する動きベクトル検出工程と、
   前記動きベクトル検出工程において検出された動きベクトルの信頼性評価値を算出する信頼性評価値算出工程と、
   前記動きベクトル検出工程において検出された動きベクトルに基づいて画像ぶれの補正量を決定するぶれ補正量決定工程と、
   前記信頼性評価値算出工程において算出された信頼性評価値と、前記撮像光学系のズーム位置とに基づいて決定される減衰率にしたがって前記画像ぶれの補正量を減衰する補正量減衰工程と、
   前記補正量減衰工程において減衰された前記画像ぶれの補正量に基づいて画像ぶれを補正するぶれ補正工程と、
   を備えることを特徴とする撮像装置の制御方法。
8. 請求項６又は７に記載の制御方法をコンピュータに実行させるためのプログラム。

Images