JP2015222925A - ブレ補正装置、ブレ補正方法およびプログラム、並びに撮像装置 - Google Patents

Abstract

【課題】光学式ブレ補正と電子式ブレ補正とを併用するブレ補正において、静止画の撮像時に電子式ブレ補正を光学式ブレ補正と併用すること。【解決手段】ブレ補正装置は、第１の撮像モードでの被写体の撮像において、第２の撮像モードでの被写体の撮像で生成された撮像信号に基づいて動きベクトルを検出し、被写体像のブレを光学的に補正する第１のブレ補正手段、被写体像のブレを電子的に補正する第２のブレ補正手段、角速度情報から決定する補正量に従って第１のブレ補正手段によりブレ補正を行う第１のブレ補正制御手段、動きベクトルに基づいて第２の補正量を決定して第２のブレ補正手段によりブレ補正を行う第２のブレ補正制御手段を備え、第１の撮像モードにおいて、第１のブレ補正制御手段と第２のブレ補正制御手段は前記被写体像のブレ補正を行い、第１のブレ補正制御手段は、第１の補正量と第２の補正量に従って被写体像のブレ補正を行う。【選択図】図１

Description

本発明は、光学式手ブレ補正方式と電子式手ブレ補正方式を併用して、撮影画像のブレを補正するブレ補正装置および撮像装置に関する。

近年、撮像装置の小型化や光学系の高倍率化に伴い、撮像装置のブレ等が撮影画像の品位を低下させる大きな原因となっている。このような撮像装置のブレ等により生じた撮影画像のブレを補正するブレ補正機能が種々提案され、撮影者の手ブレによる撮影ミスを誘発する要因は少なくなっている。撮像装置に搭載される従来のブレ補正機能として、光学式手ブレ補正と電子式手ブレ補正の併用がある（例えば、特許文献１）。

ここで、各ブレ補正について簡単に説明する。
まず、光学式ブレ補正では、撮像装置のブレを検出し、検出したブレを相殺するように、手ブレ補正用の光学系を駆動して、撮像素子の撮像面上に結像される被写体像が撮像面上で常に同じ位置になるようにブレを補正する。次に、電子式ブレ補正では、画像（フレーム）間のブレを求めることで、光学式ブレ補正方式で補正しても補正しきれずに残っているブレを検出し、求めた画像間のブレを相殺するように画像の読出し領域を動かす。これにより、残っている低周波数のブレを補正する。このように、光学式ブレ補正と電子式ブレ補正を併用することにより、手ブレ補正の効果を向上させることができる。

特許第２８０３０７２号公報

しかしながら、光学式ブレ補正と電子式ブレ補正を併用した従来の補正方法では、以下のような課題があった。光学式ブレ補正では、撮像装置に加わるブレを検出するために用いられる角速度センサは、高周波数帯域のブレに対しては精度よくブレを検出できるが、一般的に１Ｈｚ以下の低周波数帯域については、角速度の検出特性が劣化する特徴を有する。そのため、光学式ブレ補正だけでは補正しきれないで残っている低周波帯域のブレを電子式ブレ補正で更に補正することが考えられる。ところが、スチルカメラなど主に静止画を撮影する撮像装置では、基本的に、静止画撮影時に電子式ブレ補正により１コマ１コマの静止画のブレを補正できないこともあり、静止画撮影時に電子式ブレ補正と光学式ブレ補正を併用することは難しい。

本発明は上記問題点を鑑みてなされたものであり、その目的は、静止画撮影時において電子式ブレ補正を光学式ブレ補正と併用し、ブレ補正機能の性能を向上させることを可能にするブレ補正装置および撮像装置を提供することである。

上記目的を達成するために、発明によれば、ブレ補正装置は、角速度情報に基づいてブレを検出し、ブレ信号を生成するブレ検出手段と、撮像素子による第１の撮像モードでの被写体の撮像において、第２の撮像モードでの被写体の撮像で生成された撮像信号に基づいて動きベクトルを検出する動きベクトル検出手段と、被写体像のブレを光学的に補正する第１のブレ補正手段と、被写体像のブレを電子的に補正する第２のブレ補正手段と、ブレ信号に基づいて、被写体像のブレを補正する第１の補正量を決定し、第１の補正量に従って第１のブレ補正手段を制御して被写体像のブレの補正を行う第１のブレ補正制御手段と、動きベクトルに基づいて、被写体のブレを補正する第２の補正量を決定し、第２の補正量に従って第２のブレ補正手段を制御して被写体像のブレの補正を行う第２のブレ補正制御手段とを備え、第１の撮像モードにおいて、第１のブレ補正制御手段と第２のブレ補正制御手段は被写体像のブレの補正を行い、第１のブレ補正制御手段は、第１の補正量と第２の補正量に従って被写体像のブレの補正を行う。

本発明によれば、光学式ブレ補正と電子式ブレ補正を併用するブレ補正において、静止画にも電子式手ブレ補正を適用し、手ブレ補正機能の性能を向上させることが可能となる。

本発明の実施形態に係るブレ補正装置を適用した撮像装置の構成の一例を示すブロック図である。 図１に示す撮像素子が有する撮像素子の構成を説明するための図である。 図２に示す撮像素子の撮像信号の読み出しにおける画素選択を説明するための図である。 図４は画面内に被写体が存在する場合の画面の状態を示す図である。 図４に示す画像の動きベクトルのヒストグラムの例を示す図である。 電子ブレ補正方式の制御量を決めるためのゲインを説明するための図である。 本発明の実施形態に係わるブレ補正装置のブレ補正処理動作のフローチャートを示す図である。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。尚、以下の説明では、画像の縦方向または横方向のいずれか一方のブレ補正制御に関して説明を行う。他方向のブレ補正制御は同様の制御であるため説明を省略する。

図１は、本発明の実施形態に係る撮像装置の一例としての構成を示すブロック図である。以下、図１の撮像装置１００の各構成部とその一例の動作について具体的に説明する。なお、図１に示す撮像装置の構成は、本発明に関連する部分のみを示すもので、関連のない部分は省略してある。また、図１の撮像装置１００では、ＣＰＵ１０１がブレ補正を行うための構成のみを含むように記載されているが、これはＣＰＵ１０１の処理動作でブレ補正機能を実現していることを例示すものであり、これに限られるものではない。例えば、ブレ補正を実現する信号処理部を別途設け、信号処理部が専用のプロセッサを持つようにしてもよい。いずれの場合も、ＣＰＵ１０１は、制御部として、不図示のメモリに記憶したプログラムを実行することで撮像装置１００の全体の制御を行うものとする。

最初に、光学式ブレ補正によるブレ補正構成を説明し、次いで電子式ブレ補正によるブレ補正に使用される撮像信号を提供する撮像素子の構成および画素読み出しについて説明し、最後に電子式ブレ補正について説明する。

ブレ検出部１０２は、例えば振動ジャイロなどの角速度センサであり、手ブレや体の揺れ等に起因する撮像装置のブレを角速度情報として検出し、角速度信号（ブレ信号）をＡ／Ｄ変換器１０３に供給する。Ａ／Ｄ変換器１０３は、角速度センサ１０２の出力信号をデジタル化し、角速度データとして、ＣＰＵ１０１によってその機能が実現されるＤＣ成分除去フィルタ１０４に供給する。ＤＣ成分除去フィルタ１０４は、例えば任意の周波数帯域で特性を変更し得る機能を有したハイパスフィルタであり、Ａ／Ｄ変換器１０３からの角速度データに含まれる低周波数成分を遮断して高周波数成分を出力する。尚、ＤＣ成分除去フィルタ１０４は、ハイパスフィルタの代わりに、高周波数成分の信号を遮断するローパスフィルタを通過させたＡ／Ｄ変換器１０３の出力をＡ／Ｄ変換器１０３の出力から減算する構成にしてもよい。

撮像光学系１１５は、ズームやフォーカス等の動作を行い、被写体像を撮像素子１２０の撮像面に結像する。撮像素子１２０は、図２および３を参照して後述するように、第１の素子部と第２の素子部を備えた積層型の撮像センサである。ここで、第１の素子部は、例えばマトリックス状に配列された複数の画素を有し、光学像に応じた電圧信号を出力する素子部であり、第２の素子部は電圧信号をデジタル信号に変換して画像データを得る素子部である。ズーム位置検出部１１８は、例えばズームエンコーダであり、撮像光学系１１５に含まれるズームレンズのズーム位置（変倍位置）を検出し、ＣＰＵ１０１がその機能を実現する焦点距離演算部１０５に出力する。焦点距離演算部１０５は、ズーム位置検出部１１８の出力に基づいて撮像光学系１１５の焦点距離を算出し、補正光学系１１４を駆動するのに最適な値となるようにＤＣ成分除去フィルタ１０４の出力を補正する。積分器１０６は、任意の周波数帯域でその特性を変更し得る機能を有しており、焦点距離演算部１０５の出力を積分し、補正光学系１１４の駆動量を算出する。

光学補正データ出力制御部１０７は、補正光学系１１４がズーム位置制御部１１９によって決定される可動範囲内で駆動されるように、積分器１０６の出力を制限して、角速度センサ１０２の出力に基づく補正光学系１１４の駆動量を決定する。

減算器１０８は、光学補正系１１４の位置を検出する光学補正系位置検出部１１６の出力をＡ／Ｄ変換器１１７でＡ／Ｄ変換してデジタル化した光学補正系１１４の位置データを光学補正データ出力制御部１０７の出力から減算する。減算の結果である変差データは、加算器１０９に供給される。

加算器１０９は、減算器１０８の出力である変差データに対し、光学式ブレ補正だけでは補正しきれないで残っているブレの補正量として、後述する動きベクトルを使った電子式ブレ補正の補正量を加算する。この加算結果は、制御フィルタ演算部１１０に供給される。制御フィルタ演算部１１０は、入力される偏差データを所定のゲインで増幅する増幅器、及び位相補償フィルタで構成される。制御フィルタ演算部１１０において、増幅器及び位相補償フィルタによる信号処理が行われた後、パルス幅変調部１１１に出力される。

パルス幅変調部１１１は、制御フィルタ演算部１１０を通過して供給されたデータを、パルス波のデューティー比を変化させるＰＷＭ波形に変調して、モータ駆動部１１２に供給する。モータ１１３は、例えば補正光学系１１４の駆動用のボイスコイル型モータであり、モータ駆動部１１２によって駆動され、補正光学系１１４を光軸と垂直な方向に移動させる。光学補正系位置検出部１１６は、磁石とそれに対抗する位置に供えられた例えばホールセンサからなり、補正光学系１１４の光軸と垂直な方向への移動量を検出し、その検出値をＡ／Ｄ変換器１１７を介して、上述した減算器１０８に供給する。これによって、光学補正データ出力制御部１０７の出力に対して、補正光学系１１４の光軸と垂直な方向への移動量を追従させる、フィードバック制御系を構成している。

補正光学系１１４は、例えばシフトレンズであり、光軸と垂直な方向に移動されることにより光軸を偏向することで被写体像の結像位置を変更し光学的にブレを補正することが可能な補正系である。その結果、装置のブレ等により生じる撮像面に結像された被写体のブレが補正される。

以上が本実施形態に係わるブレ補正装置を構成する光学式ブレ補正によるブレ補正構成である。本構成では、光学式ブレ補正で補正しきれなかったブレの補正量を、画像の動きベクトルの検出に基づいて得られたブレの補正量として光学式ブレ補正にフィードバックして、光学式ブレ補正と電子式ブレ補正による相補的なブレ補正を実現している。撮像素子１２０は、後述するように、静止画の撮像において動きベクトルの検出を可能にする撮像信号を提供する画素読み出し構成を有する撮像素子である。当該撮像素子は、補正光学系１１４及び撮像光学系１１５を介して結像された被写体像を光電変換し、異なるフレームレートの撮像信号を出力する、第１の撮像モードと第２の撮像モードの読み出しを同時に行える例えば積層型センサである。

信号処理部１２１は、撮像素子１２０から出力された画像データから静止画像を生成し、画像メモリ１２２に供給する。信号処理部１２１は、撮像素子１２０から得られた画像データから、例えばＮＴＳＣフォーマットに準拠した映像（動画）データを生成して画像メモリ１２２に供給する。

メモリ読出し制御部１２３は、電子補正データ出力制御部１３１が算出した制御量に応じて、画像メモリ１２２からの画像の読出し位置を決定する。これにより、電子的にブレが補正された映像信号が画像メモリ１２２から出力される。メモリ読出し制御部１２３は更に、記録制御部１２４に映像信号を出力して記録媒体１２５に記憶させる。記録媒体１２５は、ハードディスク等の磁気記録媒体や半導体メモリ等の情報記録媒体である。また、表示制御部１２６に映像信号を出力し、表示デバイス１２７に画像を表示させる。表示制御部１２６は液晶表示素子（ＬＣＤ）等により画像を表示する。

次に、本実施形態の撮像素子１２０について、図２および図３を用いて説明する。図２は、図１に示す撮像素子１２０の構成を説明するための図であり、図２（Ａ）は、撮像素子の斜視図、図２（Ｂ）は回路構成を示すブロック図である。図３は、図２に示す撮像素子における画素読み出しを説明するための図である。なお、図２および図３において図１と同様の部分は同じ符号を付して示す。

図２（Ａ）に示すように、撮像素子１２０は第１のチップ２０および第２のチップ２１を有し、第２のチップ２１上に第１のチップ２０が積層されている。第１のチップ２０は、光入射側にマトリックス状に配列された複数の画素２０１を有して、いる。つまり、画素配列は光学像の受光側に配置されている。他方、第２のチップ２１には、後述する列走査回路２１３ａおよび２１３ｂと、行走査回路２１２などの画素駆動回路が形成されている。このように、第１のチップ２０に画素２０１を形成し、第２のチップ２１に画素駆動回路を形成すれば、撮像素子１２０の周辺回路および画素部の製造プロセスを分けることができる。また、周辺回路における配線の線細化、高密度化による高速化、小型化および高機能化も図ることが可能となる。

図２（Ｂ）に示すように、第１のチップ２０において、画素２０１はマトリクス状に配列され、水平方向（行方向）において転送信号線２０３、リセット信号線２０４、および行選択信号線２０５に接続されている。また、垂直方向（列方向）においては、列信号線２０２ａおよび２０２ｂに接続されている。なお、列信号線２０２ａおよび２０２ｂの各々は読み出し行単位で異なる水平信号線２１５ａ、２１５ｂに接続されている。切替スイッチ２１６は、水平信号線２１５ｂに出力される撮像信号を動きベクトル検出部２１８および信号処理部１２１のいずれか一方に選択的に出力するためのスイッチである。なお、水平信号線２１５ａに転送された撮像信号は信号処理部１２１に出力される。

図２（Ｂ）に示すように、画素２０１の各々は、光電変換素子であるフォトダイオードＰＤ、転送トランジスタＭ１、リセットトランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４、フローティングディフュージョンＦＤを有している。なお、本実施の形態の例では、トランジスタの各々はｎチャンネルＭＯＳＦＥＴ（ＭＯＳ Ｆｉｅｌｄ−Ｅｆｆｅｃｔ Ｔｒａｎｓｉｓｔｏｒ）である。

転送トランジスタＭ１、リセットトランジスタＭ２、および選択トランジスタＭ４のゲートには、それぞれ転送信号線２０３、リセット信号線２０４、および行選択信号線２０５が接続されている。これら信号線２０３〜２０５は水平方向に延在し、同一行の画素が同時に駆動される。これによってライン順次動作型のローリングシャッタまたは全行同時動作型のグローバルシャッタの動作を制御することができる。さらに、選択トランジスタＭ４のソースには列信号線２０２ａまたは２０２ｂが行単位で接続されている。

フォトダイオードＰＤは、光電変換によって生成された電荷を蓄積する。そして、フォトダイオードＰＤの正極側が接地され、負極側が転送トランジスタＭ１のソースに接続されている。転送トランジスタＭ１がオンすると、フォトダイオードＰＤの電荷がフローティングディフュージョンＦＤに転送され、フローティングディフュージョンＦＤに存在する寄生容量に電荷が蓄積される。

増幅トランジスタＭ３のドレインには電源電圧Ｖｄｄ（不図示）が印加され、そのゲートはフローティングディフュージョンＦＤに接続されている。増幅トランジスタＭ３は、フローティングディフュージョンＦＤの電荷（つまり、電圧）を増幅して電圧信号に変換する。選択トランジスタＭ４は、信号を読み出す画素を行単位で選択するためのものであり、そのドレインは増幅トランジスタＭ３のソースに接続されている。また、選択トランジスタＭ４のソースは行ごとに列信号線２０２ａまたは２０２ｂに接続されている。

選択トランジスタＭ４がオンすると、フローティングディフュージョンＦＤの電圧に対応する電圧信号が列信号線２０２ａまたは２０２ｂに出力される。リセットトランジスタＭ２のドレインには電源電圧Ｖｄｄが印加され、そのソースはフローティングディフュージョンＦＤに接続されている。リセットトランジスタＭ２のオンによって、フローティングディフュージョンＦＤの電圧は電源電圧Ｖｄｄにリセットされる。

第２のチップ２１には、カラムＡＤＣブロック２１１が備えられており、カラムＡＤＣ２１１は列信号線２０２ａまたは２０２ｂに接続されている。さらに、第２のチップ２１には、行走査回路２１２、列走査回路２１３ａおよび２１３ｂ、切り替えスイッチ２１６、フレームメモリ２１７、および動きベクトル検出部２１８が備えられている。

タイミング制御回路２１４は、行走査回路２１２、列走査回路２１３ａおよび２１３ｂ、およびカラムＡＤＣブロック２１１の動作タイミングを制御する。行走査回路２１２は各行の走査を行い、列走査回路２１３ａおよび２１３ｂはそれぞれ各列の走査を行う。

水平信号線２１５ａおよび２１５ｂは、それぞれ列走査回路２１３ａおよび２１３ｂで制御されるタイミングに応じてカラムＡＤＣブロック２１１の出力信号（画像データ）を転送する。

フレームメモリ２１７は、水平信号線２１５ｂから出力される画像信号を一時的に記憶する。動きベクトル検出部２１８は現在の映像信号に含まれる輝度信号と、フレームメモリ２１７に記憶された１フィールド前の映像信号に含まれる輝度信号に基づいて画像の動きベクトル量を検出する。動きベクトル検出部２１８によって検出された動きベクトルデータは、動きベクトル取得部１２８に出力されてブレ補正に使用される動きベクトルが判別され、ＣＰＵ１０１でその機能が実現されるＤＣ成分除去フィルタ１２９に出力される。

ここで、画像の動きベクトルを検出する方法としては、例えばブロックマッチング法で行う。ブロックマッチング法では、入力された画像信号を複数の適当な大きさのブロック領域に分割する。そして、このブロック単位で前のフィールド（またはフレーム）の一定範囲の画素との差を計算し、この差の絶対値の和が最小となる前のフィールド（またはフレーム）のブロックを探索する。そして、画面間の相対的なズレがそのブロックの動きベクトルを示している。

図３を用いて、図２に示す撮像素子において第１の撮像モード（静止画撮像）と第２の撮像モード（動画撮像）を同時に実行するときの画素読み出しについて説明する。図３では、図２の撮像素子の画素配列のうちの６行×８列の部分画素配列のみを示している。なお、ここでは画素配列をベイヤ配列に従った画素配列とする。

図２の撮像素子１２０は、動画撮像および静止画撮像を同時に行うことができるように、画素配列における読み出し行を各撮像モードについて分ける読み出し構成を有する。つまり、切替スイッチ２１６の切替を制御して、水平信号線２１５ｂをフレームメモリ２１７に接続する。これによって、静止画撮像モードの撮像信号が列信号線２０２ａに出力され、動きベクトル検出のための動画撮像モードの撮像信号が列信号線２０２ｂに出力される。

図３において、行番号１および２は動きベクトル検出のための動画撮像モードの撮像信号を読み出すための行（画素群）、行番号３〜８はライブビューなど静止画撮像モードの撮像信号の読み出しのための行である。図示の例では、読み出し走査が行単位で順次行われて、列信号線２０２ａと２０２ｂへの撮像信号の読み出し走査が８行単位で繰り返し行われる。

８行単位の画素読み出しにおいて、動きベクトル検出のための動画撮像モードではフレームレート重視のため垂直同色４画素にうち３画素を間引きして読み出す。一方、静止画撮像モードにおいては、画質重視のため垂直同色４画素のうち１画素を間引きして読み出し、読み出した３画素を加算する。言い換えると、動きベクトル検出のため動画撮像モードにおいて、行１および２の画素群を第１のフレームレートで読み出し、静止画撮像モードにおいて、行３から８の画素群を第１のフレームレートよりも遅い第２のフレームレートで読み出す。このように、選択行に従って撮像信号を分けて読み出すことにより、異なる電荷蓄積時間でデータサイズとフレームレートが異なる画像データを取得することが可能となる。

次に列信号線２０２ａおよび２０２ｂに出力された電圧信号（アナログ信号）は、図２に示すカラムＡＤＣブロック２１１においてアナログ信号からデジタル信号（画像データ）に変換される。カラムＡＤＣブロック２１１の出力である画像データは、列走査回路２１３ａまたは２１３ｂによってカラムＡＤＣブロック２１１から水平信号線２１５ａに読みだされる。水平信号２１５ａに読み出された画像データは信号処理部１２１に出力される。一方、水平信号線２１５ｂに読み出された画像データは、切替スイッチ２１６に出力され、信号処理部１２１またはフレームメモリ２１７に出力される。なお、切替スイッチ２１６による切り替えは、ＣＰＵ１０１の制御の下で、フレーム単位で行う。

次に、上述した撮像素子の動画撮像モードで読み出された画像データを用いた電子式ブレ補正によるブレ補正の構成を図４から６を用いて説明する。図４（Ａ）は、撮影した現フィールドの画面上に、動きベクトル検出のためのブロック領域４００を示した一例を示す図である。図４（Ｂ）は、直前のフィールドとの差により得られた動きベクトル４０２を示す図である。図５（Ａ）は画面内に被写体（移動体）が入っている場合の動きベクトル量をヒストグラムで示した場合で、図５（Ｂ）は画面内に動きのない被写体が入っている場合の動きベクトル量をヒストグラムで示した場合である。図６は、光学式ブレ補正によるブレ補正をしても残っているブレの補正量を光学式ブレ補正によるブレ補正にフィードバックするときのゲインを示す図である。

図４（Ａ）に示すように、画面内に被写体（移動体）４０１が入ってきた場合、移動体の領域４０３における動きベクトル４０２は図４（Ｂ）に示すようにその他のブロック領域とは動きベクトル量が異なる。このとき、Ｘ方向（画面横方向）とＹ方向（画面縦方向）のヒストグラム（度数分布）は図５（Ａ）に示すように２つのピークが存在する形となる。ここで、得られた動きベクトルのうち、いずれかが手ブレのみの動きベクトルで、いずれかが手ブレに被写体の動きが重畳された動きベクトルかあるか分からないので、動きベクトル取得部１２８でこれを判断してブレ補正に使用する動きベクトルを決定する。この判断を、図５を用いて説明する。

画面内に動きのない被写体が入っている場合は、動きベクトルの大きさが０の位置を中心に動きベクトル量があるのに対し、動きのある被写体が画面にある場合は、動きベクトルの大きさが０の位置から離れたところにも動きベクトル量がある。つまり、動きベクトルの大きさ０をクロスするカウントが異なるヒストグラムを形成する。そこで、０クロスカウンタを設定し所定以上の度数ピークであれば手ブレのみの動きベクトルであると判断する。

このように動きベクトルが決定されたら、図１に示すように、動きベクトル取得部１２８は検出結果をＤＣ成分除去フィルタ１２９に出力する。ＤＣ成分除去フィルタ１２９は、例えば任意の周波数帯域で特性を変更し得る機能を有したハイパスフィルタであり、動きベクトルデータに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。なお、ＤＣ成分除去フィルタ１２９は、動きベクトル取得部１２８の出力から、動きベクトル取得部１２８の出力を高周波数帯域の信号を遮断するフィルタ（ＬＰＦ）を通過させて得られた信号を減算する構成にしてもよい。

積分器１３０は、任意の周波数帯域でその特性を変更し得る機能を有しており、ＤＣ成分除去フィルタ１２９からの出力を積分する。そして、画像のブレが相殺されるように画像メモリ１２２の画像の読み出し位置を制御するための制御量を算出する。電子補正データ出力制御部１３１は、画像メモリ１２２の画像の読み出し位置の範囲が、ズーム位置制御部１１９によって決定される範囲内で設定されるように、積分器１３０の出力を制限する。電子補正条件判定部１３２は、カメラの条件に応じて電子補正データ出力制御部１３１の出力であるブレ補正の制御量に電子補正量ゲインＧ１３３で重みづけを行うことで最終的に電子ブレ補正の制御量を調整する。

例えば、図６（Ａ）に示すようにカメラのシャッター速度に応じて電子ブレ補正量ゲインＧ１３３の設定を変更する。閾値１未満の場合はシャッター速度が十分速いので（つまり、画像はブレが小さい）電子補正量ゲインＧ１３３は小さい値に設定し、ブレ補正は光学式ブレ補正をメインにしておく。閾値２以上の場合はシャッター速度が遅いので（つまり、画像はブレが大きい）電子補正量ゲインＧ１３３を１倍に設定して光学式ブレ補正だけでは補正しきれずに残存しているブレを電子式ブレ補正で積極的に補正する。また、図６（Ｂ）に示すように、カメラのレリーズスイッチの状態に応じて電子補正量ゲインＧ１３３を設定するようにしてもよい。この場合は、ＳＷ２が押下されたら電子補正量ゲインＧ１３３を１倍に設定して、光学式ブレ補正と電子式ブレ補正の併用において、電子式ブレ補正から光学式ブレ補正へのフィードバックを積極的に行う。つまり、ＳＷ２が押下されるまでは露光が始まらず動きベクトルの検出を行わなくてもよいので、ゲインを小さくして無駄な消費電力を抑えることができる。また、図６（Ｃ）に示すように、焦点距離情報に応じて電子補正量ゲインＧ１３３を可変にするように設定してもよい。例えば、広角側では画角に対して手ブレ量が小さいので電子補正量ゲインＧ１３３を弱めて、手ブレ量が目立つ望遠側では電子補正量ゲインＧ１３３を１倍に設定し積極的に電子式ブレ補正を行うようにする。また、図６には示していないが、静止画撮像モードと動画撮像モードのフレームレートの差が少なくて、検出される動きベクトルの信頼性が低くなる場合がある。このような場合に光学式ブレ補正へのフィードバックを抑制するように、ゲインＧ１３３を例えばフレームレートの差に応じて可変に設定するようにしてもよい。また、上述したゲインの設定構成を適宜選択または組み合わせてもよい。

以上のように、第１の撮像モード（静止画撮像）と第２の撮像モード（動画撮像）の撮像信号の読み出しを同時にできる例えば積層型の撮像素子の出力信号のうち、第２の撮像モードの撮像信号を用いて動きベクトルを検出する。次いで、第２の撮像モードよりも遅いフレームレートの第１の撮像モードに対し、動きベクトルに基づくブレ補正量をフィードバックしながら光学式ブレ補正と電子式ブレ補正を相補的に併用する。これにより、手ブレ補正機能の性能向上を実現したブレ補正装置および撮像装置を提供することが可能となる。

次に、ＣＰＵ１０１がプログラムを実行して撮像装置１００の各部を制御して、上述した本発明に係わるブレ補正装置の機能を実現するときの処理動作を図７に示すフローチャートを用いて説明する。図７の（ａ）はブレ補正装置の動作処理のフローチャート、（ｂ）は光学式ブレ補正によるブレ補正の処理動作のフローチャート、（ｃ）は光学式ブレ補正によるブレ補正の処理動作のフローチャートである。なお、以下の説明において、既に述べた撮像装置およびブレ補正装置の各部の機能については、その説明を省略する。

図７（ａ）において、撮像装置１００の図示しない操作部材のうち、電源ボタンが操作されて装置が起動されたときに撮影モードが設定されている状態で、ブレ補正モードの設定ボタンが操作されてブレ補正モードがオンされると本動作処理が開始される。ステップＳ７０１でブレ補正モードがオンされているかどうかを判定する。オンされている場合は、ステップＳ７０２とＳ７０３で光学式ブレ補正によるブレ補正処理動作と電子式ブレ補正によるブレ補正処理動作を行う。Ｓ７０１でブレ補正モードがオンされていないと判定された場合は、ステップＳ７０１の判定を繰り返す。次いで、ステップＳ７０４でブレ補正モードがオフされたかどうかを判定し、オフされていない場合は、ステップＳ７０２とＳ７０３を継続して実行し、オフされている場合はブレ補正を終了する。

図７（ｂ）のフローチャートを用いて、ステップＳ７０２で実行される光学式ブレ補正によるブレ補正の処理動作を説明する。ステップＳ７１０で、ブレ検出部１０２が撮像装置のブレを角速度信号として検出すると、検出された角速度信号はステップＳ７１１でＡ／Ｄ変換器１０３によりデジタル化される。次いで、ステップＳ７１２で、ＤＣ成分除去フィルタ１０４、焦点距離演算部１０５および積分器１０６により補正光学系１１４の駆動量を算出する。ステップＳ７１２ではさらに、光学補正データ出力制御部１０７により、ズーム位置制御部１１９によって決定される可動範囲内を考慮した補正光学系１１４の駆動量を決定する。

次いで、ステップＳ７１３で、光学補正系の位置に基づいた補正量を演算し、ステップＳ７１４でさらに電子式ブレ補正によるブレ補正動作で得られたブレ補正量を加算して補正光学系の補正量を演算する。次いで、ステップＳ７１５で、制御フィルタ演算部１１０およびパルス幅変調部１１１により、ステップ７１３で得られた補正量に基づいて補正光学系の駆動信号を生成する。そして、ステップＳ７１６で生成された駆動信号に従ってモータ駆動部１１２を制御して補正光学系１１４を駆動する。駆動したら、処理動作をブレ補正のメインルーチンに戻す。

図７（ｃ）のフローチャートを用いて、ステップＳ７０３で実行される電子式ブレ補正によるブレ補正の処理動作を説明する。ステップＳ７２０で、図２および図３を用いて説明した撮像素子１２０の動画撮像モードでの画素読み出し信号から得られた画像データを取得する。次いで、ステップＳ７２１で、取得した画像データから画面の動きベクトルを演算し、図４及び図５で説明したように、手ブレに対応した動きベクトルを決定する。次に、ステップＳ７２２で、ＤＣ成分除去フィルタ１２９、積分器１３０および電子補正データ出力制御部１３１により、決定した動きベクトルおよびにズーム位置の制御範囲に基づいて、ブレ補正量として、メモリの読み出し制御の制御量を演算する。ステップＳ７２３では、電子補正条件判定部１３２により、光学的ブレ補正方式によるブレ補正の処理動作にフィードバックするためのブレ補正量を生成する。ステップＳ７２４では、メモリ読み出し制御部１２３により、ステップＳ７２２で演算された補正量に従って、メモリの読み出し範囲を制御する。読み出し制御が終了したら、動作処理をブレ補正のメインルーチンに戻す。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）などが実際の処理の一部又は全部を行うことによっても前述した実施形態の機能が実現される。この場合も本件発明に含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づく処理も本件発明に含まれる。すなわち、機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等がプログラムコードの指示に基づき実際の処理の一部又は全部を行って前述した実施形態の機能を実現する場合も本件発明に含まれることは言うまでもない。

上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明は、デジタル一眼レフやデジタルコンパクトカメラ、デジタルビデオカメラの像ブレ補正装置に限らずカメラ付き携帯端末、監視カメラ、Ｗｅｂカメラなどにも適用できる。

Claims (19)

1. 角速度情報に基づいてブレを検出し、ブレ信号を生成するブレ検出手段と、
   撮像素子による第１の撮像モードでの被写体の撮像において、第２の撮像モードでの前記被写体の撮像で生成された撮像信号に基づいて動きベクトルを検出する動きベクトル検出手段と、
   前記被写体像のブレを光学的に補正する第１のブレ補正手段と、
   前記被写体像のブレを電子的に補正する第２のブレ補正手段と、
   前記ブレ信号に基づいて、前記被写体像のブレを補正する第１の補正量を決定し、前記第１の補正量に従って前記第１のブレ補正手段を制御して前記被写体像のブレの補正を行う第１のブレ補正制御手段と、
   前記動きベクトルに基づいて、前記被写体のブレを補正する第２の補正量を決定し、前記第２の補正量に従って前記第２のブレ補正手段を制御して前記被写体像のブレの補正を行う第２のブレ補正制御手段と、
   を備え、
   前記第１の撮像モードにおいて、前記第１のブレ補正制御手段と前記第２のブレ補正制御手段は前記被写体像のブレの補正を行い、前記第１のブレ補正制御手段は、前記第１の補正量と前記第２の補正量に従って前記被写体像のブレの補正を行うことを特徴とするブレ補正装置。
2. 前記第１の撮像モードは、前記被写体像の静止画を撮像するモードであり、前記第２の撮像モードは、前記被写体像の動画を撮像するモードであり、前記第２の撮像モードのフレームレートは、前記第１の撮像モードのフレームレートより大きいことを特徴とする請求項１に記載のブレ補正装置。
3. 前記第２のブレ補正制御手段は、前記第２の補正量に所定のゲインをかけた補正量を前記第１のブレ補正制御手段にフィードバックする手段を有し、前記第１のブレ補正制御手段は前記第１の補正量と前記第２のブレ補正制御手段からフィードバックされた補正量に従って前記第１のブレ補正手段を制御して前記被写体像のブレの補正を行うことを特徴とする請求項１または２に記載のブレ補正装置。
4. 前記第１のブレ補正制御手段は、前記第１の補正量と前記第２のブレ補正制御手段からフィードバックされた補正量を加算する手段を有し、前記加算された補正量に基づいて前記第１のブレ補正手段を駆動することを特徴とする請求項３に記載のブレ補正装置。
5. 前記所定のゲインは、前記被写体像の撮像におけるシャッター速度に応じて可変に設定されるゲインであることを特徴とする請求項３または４に記載のブレ補正装置。
6. 前記所定のゲインは、レリーズスイッチの状態に応じて可変に設定されるゲインであることを特徴とする請求項３または４に記載のブレ補正装置。
7. 前記所定のゲインは、前記被写体像の焦点距離に応じて可変に設定されるゲインであることを特徴とする請求項３または４に記載のブレ補正装置。
8. 前記第２の撮像モードのフレームレートは可変に設定されるフレームレートであり、前記所定のゲインは、前記第２の撮像モードのフレームレートに従って可変に設定されるゲインであることを特徴とする請求項３または４に記載のブレ補正装置。
9. 前記動きベクトル検出手段は、第２の撮像モードでの撮像で生成された前記被写体像の撮像信号に基づいて検出された動きベクトルから、前記被写体像のブレに対応する動きベクトルを決定する手段を有し、前記決定された動きベクトルに基づいて、前記第２の補正量を決定することを特徴とする請求項１から８のいずれか１項に記載のブレ補正装置。
10. 前記第１のブレ補正手段は、前記被写体像の結像位置を光学的に変更する手段を有し、前記第２のブレ補正手段は、前記第１の撮像モードでの撮像で生成された前記被写体像の撮像信号のメモリからの読み出し位置を変更する手段を有することを特徴とする請求項１から９のいずれか１項に記載のブレ補正装置。
11. 撮像光学系で形成された被写体像を光電変換により撮像して撮像信号を生成する撮像手段と、ここで、前記撮像手段は、第１の撮像モードでの撮像と第２の撮像モードでの撮像で生成された前記被写体像の撮像信号を同時に出力する、
    角速度情報に基づいてブレを検出し、ブレ信号を生成するブレ検出手段と、
    前記第２の撮像モードでの撮像で生成された前記被写体像の撮像信号に基づいて動きベクトルを検出する動きベクトル検出手段と、
    前記被写体像のブレを光学的に補正する第１のブレ補正手段と、
    前記被写体像のブレを電子的に補正する第２のブレ補正手段と、
    前記ブレ信号に基づいて、前記被写体像のブレを補正する第１の補正量を決定し、前記第１の補正量に従って前記第１のブレ補正手段を制御して前記被写体像のブレの補正を行う第１のブレ補正制御手段と、
    前記動きベクトルに基づいて、前記被写体像のブレを補正する第２の補正量を決定し、前記第２の補正量に従って前記第２のブレ補正手段を制御して前記被写体像のブレの補正を行う第２のブレ補正制御手段と、
    前記第１の撮像モードでの撮像で生成された前記被写体像の撮像信号を記憶するメモリと、
    を備え、
    前記第１の撮像モードにおいて、前記第１のブレ補正制御手段と前記第２のブレ補正制御手段は前記被写体像のブレの補正を行い、前記第１のブレ補正制御手段は、前記第１の補正量と前記第２の補正量に従って前記被写体像のブレの補正を行うことを特徴とする撮像装置。
12. 前記第１の撮像モードは、前記被写体像の静止画を撮像するモードであり、前記第２の撮像モードは、前記被写体像の動画を撮像するモードであり、前記撮像手段は、第２の撮像モードでの撮像で生成された前記被写体像の撮像信号を、前記第１の撮像モードでの撮像よりも高速なフレームレートで読み出すことを特徴とする請求項１１に記載の撮像装置。
13. 前記第２の撮像モードのフレームレートは可変に設定されるフレームレートであることを特徴とする請求項１２に記載の撮像装置。
14. 前記第１のブレ補正手段は、前記撮像光学系で形成された前記被写体像の結像位置を光学的に変更する手段を有し、前記第２のブレ補正手段は、前記メモリからの撮像信号の読み出し位置を変更する手段を有することを特徴とする請求項１１から１３のいずれか１項に記載の撮像装置。
15. 前記第２のブレ補正制御手段は、前記第２の補正量に所定のゲインをかけた補正量を前記第１のブレ補正制御手段にフィードバックする手段を有し、前記第１のブレ補正制御手段は前記第１の補正量と前記２のブレ補正制御手段からフィードバックされた補正量に従って前記第１のブレ補正手段を制御して前記被写体像のブレの補正を行うことを特徴とする請求項１１から１４のいずれか１項に記載の撮像装置。
16. 前記第１のブレ補正制御手段は、前記第１の補正量と前記２のブレ補正制御手段からフィードバックされた補正量を加算する手段を有し、前記加算された補正量に基づいて前記第１のブレ補正手段を駆動することを特徴とする請求項１５に記載のブレ補正装置。
17. 角速度情報に基づいてブレを検出し、ブレ信号を生成するブレ検出手段と、撮像素子による第１の撮像モードでの被写体の撮像において、第２の撮像モードでの前記被写体の撮像で生成された撮像信号に基づいて動きベクトルを検出する動きベクトル検出手段と、前記被写体像のブレを光学的に補正する第１のブレ補正手段と、前記被写体像のブレを電子的に補正する第２のブレ補正手段を有するブレ補正装置の制御方法であり、
    前記ブレ信号に基づいて、前記被写体像のブレを補正する第１の補正量を決定し、前記第１の補正量に従って前記第１のブレ補正手段を制御して前記被写体像のブレの補正を行う第１のブレ補正制御工程と、
    前記動きベクトルに基づいて、前記被写体像のブレを補正する第２の補正量を決定し、前記第２の補正量に従って前記第２のブレ補正手段を制御して前記被写体像のブレの補正を行う第２のブレ補正制御工程と、
    を備え、
    前記第１の撮像モードにおいて、前記第１のブレ補正制御工程と前記第２のブレ補正制御工程は前記被写体像のブレの補正を行い、前記第１のブレ補正制御工程は、前記第１の補正量と前記第２の補正量に従って前記被写体像のブレの補正を行うことを特徴とする制御方法。
18. 請求項１７の制御方法をコンピュータに実行させるためのプログラム。
19. 請求項１７に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。