JP2006222511A - 撮像装置および手ブレ補正方法 - Google Patents

Abstract

【課題】 動画像データを生成する動画像処理系と静止画像データを生成する静止画像処理系とが存在する場合において、動画像データおよび静止画像データのいずれにも適切な手ブレ補正処理を施すこと。
【解決手段】 センサ２Ｘ，２Ｙは、カメラ１の撮像素子の光軸に対して垂直な方向に関する撮像素子の動きを検出する。ドライバ回路４は、その撮像素子から、動画モードでは動画像データ６ｂを生成し、静止画モードでは静止画像データ６ｄを生成する。制御回路８は、操作部９への操作に応じて動画モードと静止画モードとを切り換える。そして、動画手ブレ補正部１１は、その撮像素子の動きに基づいて、動画像データ６ｂに対して手ブレ補正を実行し、静止画手ブレ補正部１２は、その撮像素子の動きに基づいて、静止画像データ６ｄに対して手ブレ補正を実行する。
【選択図】 図１

Description

本発明は、撮像装置および手ブレ補正方法に関するものである。

動画像を撮影するビデオカメラ装置には、撮影時の手ブレを補正する機能を有するものがある。また、動画像データの複数のフレーム情報に基づいて手ブレを補正しつつ高画質な静止画像データを生成する装置も提案されている（例えば特許文献１参照）。

特開２００４−２３４６２３号公報（要約）

しかしながら、同一の光学系におけるＣＣＤ（Charge Coupled Device ）などの撮像素子から取得されるデータ（つまり、撮像素子の各画素で検出される値）から、動画像データを生成する動画像処理系と、撮像素子から取得されるデータから静止画像データを生成する静止画像処理系とを別々に有する撮像装置の場合には、従来の手ブレ補正方法では、動画像データおよび静止画像データのそれぞれに適切な手ブレ補正処理を施すことは困難である。つまり、上述の装置では、１つの方式の手ブレ補正しか実行されず、動画像および静止画像のそれぞれの特性に応じた最適な手ブレ補正は実行されない。

本発明は、上記の問題に鑑みてなされたものであり、動画像データを生成する動画像処理系と静止画像データを生成する静止画像処理系とが存在する場合において、動画像データおよび静止画像データのいずれにも適切な手ブレ補正処理を施すことを可能とする撮像装置および手ブレ補正方法を得ることを目的とする。

上記の課題を解決するために、本発明では以下のようにした。

本発明に係る撮像装置は、撮像素子と、撮像素子の光軸に対して垂直な方向に関する撮像素子の動きを検出する動き検出手段と、撮像素子により得られる画像情報から動画像データを生成する動画像データ生成手段と、撮像素子により得られる画像情報から静止画像データを生成する静止画像データ生成手段と、所定の操作部への操作に応じて動画像データ生成手段により動画像データを生成する動画モードと所定の操作部への操作に応じて静止画像データ生成手段により静止画像データを生成する静止画モードとを切り換える切換手段と、動画像データ生成手段により動画像データが生成される場合に、動き検出手段により検出された撮像素子の動きに基づいて、動画像データに対して手ブレ補正を実行する第１の手ブレ補正部と、静止画像データ生成手段により静止画像データが生成される場合に、動き検出手段により検出された撮像素子の動きに基づいて、第１の手ブレ補正部の補正方式とは異なる方式で、静止画像データに対して手ブレ補正を実行する第２の手ブレ補正部とを備える。

これにより、動画像データを生成する動画像処理系と静止画像データを生成する静止画像処理系とが存在しても、第１の手ブレ補正部と第２の手ブレ補正部により、動画像データおよび静止画像データのいずれにも適切な手ブレ補正処理を施すことができる。

また、本発明に係る撮像装置は、上記の撮像装置に加え、次のようにしてもよい。つまり、この場合、第１の手ブレ補正部は、撮像素子により撮像された動画像内の１枚の画像の画像データに対して、動き検出手段により検出されたフレーム間の撮像素子の動きを示す動きデータに基づき、手ブレ補正処理を施し、第２の手ブレ補正部は、撮像素子により撮像された１枚の画像を複数の部分領域に区分した各部分画像の画像データに対して、撮像素子による撮像の際に動き検出手段により検出された前記撮像素子の動きを示す動きデータに基づき、手ブレ補正処理を施す。

これにより、第１の手ブレ補正部と第２の手ブレ補正部により、動画像データおよび静止画像データのいずれにも適切な手ブレ補正処理を施すことができる。特に、静止画のブレは動画のブレより目立つことに対応して、静止画データについては、１画像内でより細かく手ブレ補正が実行される。

また、本発明に係る撮像装置は、上記の撮像装置のいずれかに加え、次のようにしてもよい。つまり、この場合、撮像装置は、所定のレートで動画像の垂直同期信号を生成する垂直同期信号生成手段を備える。そして、動き検出手段は、撮像素子の光軸に対して垂直な方向に関する撮像素子の動きを検出する動き検出素子と、動き検出素子の出力を所定のサンプリングレートでサンプリングするサンプリング回路とを有する。第１および第２の手ブレ補正部は、垂直同期信号生成手段による垂直同期信号を基準にして、補正対象の画像データに対応する動き検出素子の出力のサンプルを特定して手ブレ量を計算し、その手ブレ量に応じた手ブレ補正を実行する。サンプリング回路は、動画像データ生成手段による動画像データの生成と静止画像データ生成手段による静止画像データの生成が切り換えられた場合にも継続して所定のレートで動き検出素子の出力をサンプリングする。

これにより、動画像の撮像と静止画像の撮像の切り換え後に、静止画の撮像期間または動画像のフレームに撮像素子の動きのサンプルを対応付ける処理を簡単に行うことができ、切り換え後に即座に、手ブレ補正を実行することができる。つまり、切り換え前後で、垂直同期信号と撮像素子の動きのサンプリングとの対応関係が連続すること、並びに垂直同期信号に同期して動画像および静止画像の撮像が実行されることで、動画像の各フレームおよび静止画像に対する手ブレ補正に使用するサンプルを簡単に特定することができる。

また、本発明に係る撮像装置は、上記の撮像装置のいずれかに加え、次のようにしてもよい。つまり、この場合、撮像装置は、所定のレートで動画像の垂直同期信号を生成する垂直同期信号生成手段を備える。そして、動き検出手段は、撮像素子の光軸に対して垂直な方向に関する撮像素子の動きを検出する動き検出素子と、動き検出素子の出力を所定のサンプリングレートでサンプリングするサンプリング回路とを有する。第１および第２の手ブレ補正部は、垂直同期信号生成手段による垂直同期信号を基準にして、補正対象の画像データに対応する動き検出素子の出力のサンプルを特定して手ブレ量を計算し、その手ブレ量に応じた手ブレ補正を実行する。サンプリング回路は、切換手段により動画モードと静止画モードが切り換えられた場合にも継続して所定のレートで動き検出素子の出力をサンプリングする。

これにより、動画モードと静止画モードの切り換え後に、静止画の撮像期間または動画像のフレームに撮像素子の動きのサンプルを対応付ける処理を簡単に行うことができ、モード切り換え後に、いつ撮像を開始しても即座に手ブレ補正を実行することができる。

本発明に係る手ブレ補正方法は、所定の操作部に対する操作に応じて動画モードと静止画モードとを切り換えるステップと、撮像素子による撮像の際に、撮像素子の光軸に対して垂直な方向に関する撮像素子の動きを、動画モードと静止画モードとの切り換え時に継続して検出するステップと、動画モードの場合に、フレーム間で検出した撮像素子の動きを示す動きデータに基づき、動画像データに対して手ブレ補正処理を実行するステップと、静止画モードの場合に、撮像素子により撮像された１枚の画像を複数の部分領域に区分した各部分画像の画像データに対して、撮像素子による撮像の際に検出した撮像素子の動きを示す動きデータに基づき、動画像データに対する手ブレ補正方式とは異なる方式で、静止画像データに対して手ブレ補正処理を実行するステップとを備える。

これにより、動画像データを生成する動画像処理系と静止画像データを生成する静止画像処理系とが存在しても、動画像データおよび静止画像データのいずれにも適切な手ブレ補正処理を施すことができる。

以下、図に基づいて本発明の実施の形態を説明する。

実施の形態１．
図１は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。この撮像装置は、ムービー機能付き携帯電話機、ビデオカメラなどといった携帯可能な撮像装置である。図１において、カメラ１は、ＣＣＤ（Charge Coupled Device ）センサ、ＣＭＯＳセンサなどといった撮像素子と、その撮像素子の表面に被写体の像を投射するレンズなどの光学系とを有するモジュールである。このカメラ１は、この撮像装置の筐体あるいは筐体内の構造体に固定される。これにより、カメラ１内の撮像素子も筐体内で固定され、カメラ１内の撮像素子は、三次元空間内で、この撮像装置の運動と同様に運動する。

また、センサ２Ｘは、撮像素子を含むカメラ１の光学系の光軸に対して垂直な方向（以下、Ｘ軸とする）に関するカメラ１の撮像素子の動きを検出する動き検出手段である。また、センサ２Ｙは、撮像素子を含むカメラ１の光学系の光軸およびＸ軸に対して垂直な方向（以下、Ｙ軸とする）に関するカメラ１の撮像素子の動きを検出する動き検出手段である。

センサ２Ｘ，２Ｙは、カメラ１と同様に、この撮像装置の筐体あるいは筐体内の構造体に固定される。これにより、センサ２Ｘ，２Ｙは、この撮像装置の運動と同様に運動する。ひいては、この撮像装置の運動に伴い、センサ２Ｘ，２Ｙは、カメラ１と同様に移動する。

この実施の形態１では、センサ２Ｘ，２Ｙは、Ｘ軸およびＹ軸を中心とした撮像素子の回転運動に係る角速度を検出するジャイロセンサである。つまり、センサ２Ｘ，２Ｙにおいて発生する電圧、電流、抵抗などのアナログ値が、センサ２Ｘ，２Ｙの角速度に伴い変化する。なお、センサ２Ｘ，２Ｙにより、絶対角速度の情報が得られる。このようなジャイロセンサとしては、例えば、本出願人らが開発した振動ジャイロセンサ「ＸＶ−３５００ＣＢ」などがある。一例としてのこの振動ジャイロセンサ「ＸＶ−３５００ＣＢ」の外形寸法は、５．０［ｍｍ］×３．２［ｍｍ］×１．３［ｍｍ］であり、その質量は６６［ｍｇ］である。このような小型・薄型のジャイロセンサを使用することで、筐体内の空間が狭い装置でも充分に、センサ２Ｘ，２Ｙを設置可能である。

図２は、実施の形態１におけるセンサ２Ｘ，２Ｙが検出する角速度の方向を示す斜視図である。図２に示すように、カメラ１の光学系の光軸をＺ軸としたとき、センサ２Ｘは、図２のＸ軸周りのカメラ１の角速度を検出し、センサ２Ｙは、図２のＹ軸周りのカメラ１の角速度を検出する。

図１に戻り、サンプリング回路３は、センサ２Ｘ，２Ｙにおいて発生する電圧、電流、抵抗などのアナログ値をＡ／Ｄ変換し、カメラ１の運動に関する動きデータを取得する回路である。この実施の形態１では、センサ２Ｘ，２Ｙは角速度を検出するため、動きデータは、角速度データとなる。

また、サンプリング回路３は、所定のサンプリングレートで反復してセンサ２Ｘ，２Ｙの検出値をサンプリングする。この実施の形態１では、サンプリング回路３によるサンプリングレートは、所定のフレームレートより大きく設定される。

また、サンプリング回路３は、ＶＳＹＮＣ発生回路５による垂直同期信号（ＶＳＹＮＣ信号）のエッジのタイミングを基準として１フレームずつ区分して、センサ２Ｘ，２Ｙから検出された角速度データをジャイロデータ６ａとしてメモリ６に格納する。

図３は、実施の形態１におけるジャイロデータ６ａの一例を示す図である。ジャイロデータ６ａは、センサ２Ｘ，２Ｙにより得られる各サンプルにつき、サンプル番号、Ｘ軸の角速度データおよびＹ軸の角速度データを含む。各サンプルは、サンプリングレートで順番に発生し、１ずつ増加するサンプル番号を順番に付される。例えば、図３においては、サンプル番号が３３３であるサンプルのＸ軸の角速度データは１５３９であり、Ｙ軸の角速度データは１５１８である。

この実施の形態１では、ジャイロデータ６ａとして記憶する角速度データは、センサ２Ｘ，２Ｙから出力されたロウ（ＲＡＷ）データとされ、角速度データを使用した計算を行う際に、ロウ（ＲＡＷ）データが角速度値へ変換される。なお、ロウデータから角速度値へ変換した後の値を、ジャイロデータ６ａの角速度データとして記憶するようにしてもよい。ロウデータから角速度値への変換は、センサ２Ｘ，２Ｙの既知の特性に基づき行えばよい。

図１に戻り、ドライバ４回路は、動画モード時には、ＶＳＹＮＣ発生回路５によるＶＳＹＮＣ信号の各エッジに同期して、カメラ１の撮像素子から各フレームの画像データを抽出し動画像データ６ｂとしてメモリ６に格納し、静止画モード時には、操作部９に対する撮影操作後のＶＳＹＮＣ信号の最初のエッジに同期して、カメラ１の撮像素子から画像データを抽出し静止画像データ６ｄとしてメモリ６に格納する回路である。

また、この実施の形態１では、ドライバ４回路は、カメラ１における撮像素子の１または複数のラインごとに露出タイミングをシフトさせた後、ラインごとに画像データを抽出して、ローリングシャッタを実現する回路である。

また、ＶＳＹＮＣ発生回路５は、所定のフレームレートと同一の周波数を有する垂直同期信号を生成する回路である。

また、メモリ６は、ＲＡＭ、ＥＥＰＲＯＭ（Electronic Erasable Programmable ROM）、フラッシュメモリなどといった半導体メモリであり、ジャイロデータ６ａ、動画像データ６ｂ、補正済み動画像データ６ｃ、静止画像データ６ｄ、補正済み静止画像データ６ｅなどを記憶する記憶部である。なお、メモリ６の替わりにハードディスクドライブなどの記録媒体を使用するようにしてもよい。

図４は、実施の形態１において実現されるローリングシャッタを説明する図である。図４に示すように、カメラ１の撮像素子１ａは、１画素に相当する受光部１ｂを二次元に配列したものである。１配列方向に沿った受光部１ｂの集合がライン１ｃとなる。

各受光部１ｂは、入射光量に応じた電荷、電圧等を生成し、二次元に配列された受光部１ｂの電荷、電圧等の分布が画像情報となる。画像情報は、ライン１ｃごとに撮像素子１ａから抽出される。各ライン１ｃのアナログ値の画像情報は、ドライバ回路４により、デジタル値の画像データに変換され、メモリ５に記憶される。

１本のライン１ｃずつ、リセットのタイミングで受光部１ｂの電荷、電圧等がリセットされ、その後所定時間経過後の読み出しのタイミングで、受光部１ｂの電荷、電圧等が抽出される。すなわち、リセットのタイミングから読み出しのタイミングまでの期間が、そのライン１ｃの露出期間となる。

ローリングシャッタの場合、カメラ１の光学系を介して撮像素子１ａの表面に被写体の像に対応する光が入射している状態で、ドライバ回路４は、リセットのタイミングと読み出しのタイミングを１または複数のライン１ｃ毎にシフトさせつつ各ライン１ｃの露出時間を一定として露出させ、その後に各ライン１ｃの画像情報を抽出する。したがって、ローリングシャッタの場合には、擬似的な開口部が、ライン１ｃの配列方向に沿って移動していき、シャッタが実現される。

図５は、実施の形態１における撮像素子の各ラインの撮影タイミングとジャイロデータのサンプル番号との対応関係の一例を示すタイミングチャートである。ジャイロデータ６ａのサンプルは、ライン１ｃのリセットから読み出しまでの期間に関連付けられる。図５に示す例では、サンプル番号（ｉ）〜（ｉ＋５）のジャイロデータ６ａのサンプルは、第（ｎ）ラインの画像データに関連付けられる。

図１に戻り、演算部７は、動画像データ６ｂに対する手ブレ補正処理を実行する動画手ブレ補正部１１と静止画像データ６ｄに対する手ブレ補正処理を実行する静止画手ブレ補正部１２とを有する回路または装置である。演算部７は、例えば、上記処理を記述したプログラムを記憶したメモリおよびそのメモリからプログラムを読み出して実行するマイクロプロセッサにより実現される。なお、その他、演算部７の一部または全部を、上記処理専用の電子回路に置き換えてもよい。

動画手ブレ補正部１１は、カメラ１により撮像された動画像内の１枚の画像の画像データに対して、センサ２Ｘ，２Ｙにより検出されたフレーム間のカメラ１の動きを示す角速度データに基づき、手ブレ補正処理を施す。

動画手ブレ補正部１１において、手ブレ検出部１１ａは、フレーム間（つまり、ＶＳＹＮＣ信号の１周期の間）のカメラ１の動きを示す角速度データから手ブレ量と手ブレ方向を計算する第１の計算部である。また、画像補正部１１ｂは、手ブレ検出部１１ａの計算による手ブレ方向に沿って、手ブレ検出部１１ａの計算による手ブレ量に応じた手ブレ補正処理を、各部分画像の画像データに対して施す第２の計算部である。

静止画手ブレ補正部１２は、カメラ１により撮像された１枚の画像を複数の部分領域に区分した各部分画像の画像データに対して、カメラ１による撮像の際にセンサ２Ｘ，２Ｙにより検出されたカメラ１の動きを示す角速度データに基づき、手ブレ補正処理を施す。

静止画手ブレ補正部１２において、手ブレ検出部１２ａは、カメラ１の動きを示す角速度データから手ブレ量と手ブレ方向を計算する第１の計算部である。また、画像補正部１２ｂは、手ブレ検出部１２ａの計算による手ブレ方向に沿って、手ブレ検出部１２ａの計算による手ブレ量に応じた手ブレ補正処理を、各部分画像の画像データに対して施す第２の計算部である。

また、制御回路８は、サンプリング回路３、ドライバ回路４および演算部７を制御する回路である。制御回路８は、例えば、各種動作の開始、終了などの指令を供給する。さらに、制御回路８は、撮像モードを動画モードと静止画モードのいずれかに設定し、操作部９に対する操作に応じて撮像モードを切り換える機能を有する。

なお、動画モードでは、操作部９に対して撮影開始操作がなされてから撮影終了操作がなされるまでの期間、ドライバ回路４が、所定のフレームレートで動画像データ６ｂを出力し、動画手ブレ補正部１１が、ジャイロデータ６ａに基づいて、動画像データ６ｂに対して手ブレ補正処理を施す。一方、静止画モードでは、操作部９に対してシャッタ押下操作がなされると、ドライバ回路４が、静止画像データ６ｄを出力し、静止画手ブレ補正部１２が、ジャイロデータ６ａに基づいて、静止画像データ６ｄに対して手ブレ補正処理を施す。

また、操作部９は、動画モードと静止画モードを切り換えるスイッチ、静止画を撮像する際に操作されるシャッタボタンなどを含む操作部であり、操作に応じた電気信号を制御回路８に供給する。

次に、上記装置の動作について説明する。

図６は、実施の形態１における撮影モードの切り換えについて説明するフローチャートである。

まず、装置が起動すると、制御回路８は、撮影モードを動画モードとする（ステップＳ１）。その後、操作部９に対して撮影モードの切り換え操作がなされない間は（ステップＳ２）、制御回路８は、撮影モードを動画モードのままとする（ステップＳ１）。

動画モードの場合に、操作部９に対して撮影モードの切り換え操作がなされた場合（ステップＳ２）、制御回路８は、撮影モードを静止画モードに切り換える（ステップＳ３）。その後、操作部９に対して撮影モードの切り換え操作がなされない間は（ステップＳ４）、制御回路８は、撮影モードを静止画モードのままとする（ステップＳ３）。

静止画モードの場合に、操作部９に対して撮影モードの切り換え操作がなされた場合（ステップＳ４）、制御回路８は、撮影モードを動画モードに切り換える（ステップＳ１）。

このように、操作部９に対して撮影モードの切り換え操作がなされると、制御回路８は、撮影モードを切り換える。

次に、動画モードについて説明する。図７は、実施の形態１に係る撮像装置の動画モード時の動作を示すタイミングチャートである。

装置が起動すると、サンプリング回路３は、所定のサンプリングレートと同一の周波数を有する基準信号を発生し、その基準信号に同期して、ジャイロセンサ２Ｘ，２Ｙの検出値のサンプリングを実行する。また、装置が起動すると、ＶＳＹＮＣ発生回路５は、ＶＳＹＮＣ信号を発生する。

動画モードでは、ドライバ回路４は、ＶＳＹＮＣ信号の立ち上がりエッジで、シャッタ動作を実行して、１フレーム分の画像データを取得し、動画像データ６ｂとしてメモリ６に書き込む。図７では、ＶＳＹＮＣ信号の時刻Ｔ（ｉ）の立ち上がりエッジでフレームｉの画像データが取得され、１周期後の時刻Ｔ（ｉ＋１）の立ち上がりエッジで次のフレームｉ＋１の画像データが取得される。

このように、動画モードでは、ドライバ回路４からメモリ６へ複数フレームの画像データが動画像データ６ｂとして、ＶＳＹＮＣ信号に同期して順次格納される。

また、サンプリング回路３は、所定のサンプリングレートで、ジャイロデータ６ａをメモリ６に順次書き込む。その際、サンプリング回路３は、ＶＳＹＮＣ信号のエッジを参照して、フレーム間隔Ｐごとに一連のジャイロサンプルを区分して、ジャイロデータ６ａとして書き込む。すなわち、図７における時刻Ｔ（ｉ）から時刻Ｔ（ｉ＋１）までのジャイロサンプルが１つのグループとしてメモリ６に格納される。

そして、動画手ブレ補正部１１の手ブレ検出部１１ａは、あるフレームの画像データについて、そのフレームと直前のフレームとの間に得られたジャイロサンプルをジャイロデータ６ａから取得し、それらのジャイロサンプルの総和に基づいて、そのフレームについてのＸ軸方向の手ブレ量とＹ軸方向の手ブレ量を計算する。フレーム間隔におけるジャイロサンプルの総和は、その期間の角速度の積分値、つまりその期間における回転角にほぼ比例するため、それに基づいて各手ブレ量が計算される。

次に、動画手ブレ補正部１１の画像補正部１１ｂは、手ブレ検出１１ａによるあるフレームについてのＸ軸およびＹ軸方向の手ブレ量に基づいて、動画像データ６ｂのそのフレームの画像データのうち、そのフレームの画像データとして使用する画像領域を特定し、その画像領域の画像データを抽出し、そのフレームの補正済み動画像データ６ｃとする。

図８は、実施の形態１における動画モード時の手ブレ補正を説明する図である。図８に示すように、動画像データ６ｂの１フレームの画像領域２１のうち、基準領域２２ａに対して、Ｘ軸およびＹ軸の手ブレ量と同一の量ΔＸ，ΔＹだけ手ブレ方向とは逆方向にずらした補正後領域２２ｂの画像データが、そのフレームの補正済み動画像データ６ｃとされる。なお、図８に示すように、動画像データ６ｂのフレームの画像領域２１は、補正済み動画像データ６ｃの領域２２ａ，２２ｂより広く設定されている。

このように、動画モードでは、フレーム間に得られるジャイロデータ６ａに応じて、手ブレ量が計算され、その手ブレ量に応じた画像領域が抽出されることで、手ブレ補正が行われる。

次に、静止画モードについて説明する。図９は、実施の形態１に係る撮像装置の静止画モード時の動作を説明するフローチャートである。

まず、操作部９に対するシャッタボタン押下操作などで撮影指令が入力されると、制御回路７は、その操作指令に対応して、ドライバ回路４に撮影開始指令を供給する（ステップＳ２１）。

ドライバ回路４は、撮影開始指令を受け取ると、それ以後にＶＳＹＮＣ信号から得られる画像の先頭タイミング（垂直同期タイミング）で撮影動作を開始する。ドライバ回路４は、この実施の形態１では、撮影開始指令受信後のＶＳＹＮＣ信号の最初の立ち上がりエッジで静止画の撮影動作を開始する。そして、ドライバ回路４は、カメラ１の撮像素子１ａを制御してローリングシャッタ動作を行い、１枚の画像に対応する静止画像データ６ｄを取得し、メモリ６に格納する（ステップＳ２２）。

この実施の形態１では、ローリングシャッタ動作時には、第（ｎ）のライン１ｃのリセットタイミングと第（ｎ＋１）のライン１ｃのリセットタイミングとの間隔は、例えば、サンプリング回路３によるサンプリングレートの逆数とされる。

他方、サンプリング回路３は、継続して所定のサンプリングレートで、ジャイロデータ６ａをメモリ６に順次書き込む。その際、サンプリング回路３は、ＶＳＹＮＣ信号のエッジを参照して、フレーム間隔Ｐごとに一連のジャイロサンプルを区分して、ジャイロデータ６ａとして書き込む（ステップＳ２２）。

次に、制御回路８は、手ブレ補正処理の指令を演算部７の静止画手ブレ補正部１２に供給する。

静止画手ブレ補正部１２の手ブレ検出部１２ａは、まず、メモリ６のジャイロデータ６ａおよび静止画像データ６ｂを参照して、１枚の画像に対応する静止画像データ６ｂから、所定の数の部分領域（以下、セグメントという）に対応する静止画像データ６ｂを特定するとともに、各セグメントの撮影期間にセンサ２Ｘ，２Ｙから検出されたジャイロデータ６ａを特定する（ステップＳ２３）。その際、手ブレ検出部１２ａは、まず、ジャイロデータ６ａのうち、静止画の撮影タイミングに該当するフレーム間隔Ｐを特定し、そのフレーム間隔Ｐのジャイロデータ６ａから、さらに、各セグメントに対応するジャイロデータ６ａを特定する。

この実施の形態１では、セグメントの数は、サンプリングレートをフレームレートで除算して得られる数とされる。例えば、サンプリングレートが２４０［１／ｓｅｃ］であり、フレームレートが１５［１／ｓｅｃ］である場合には、セグメント数は１６となる。図１０は、実施の形態１において、セグメント数が１６である場合のセグメントを示す図である。図１０に示すように、これらのセグメントは、画像内で、ローリングシャッタの開口部の移動方向に相当する方向に配列し、各セグメントは、１または複数のラインから構成される。

そして、手ブレ検出部１２ａは、各セグメントの撮影期間に検出されたジャイロデータ６ａに基づき、各セグメントについて手ブレ量と手ブレ方向を計算する（ステップＳ２４）。

次に、静止画手ブレ補正部１２の画像補正部１２ｂは、各セグメントの手ブレ量Ｄｍおよび手ブレ方向θｍに基づいて、各セグメントの画像データに対して手ブレ補正処理を施す（ステップＳ２５）。そして、画像補正部１２ｂは、手ブレ量Ｄｍおよび手ブレ方向θｍに基づき手ブレ補正された全セグメントの画像データを合成して得られる画像データを、１枚の画像についての静止画像データ６ｄに対する補正済み静止画像データ６ｅとし、メモリ６に格納する（ステップＳ２６）。

ここで、ステップＳ２５における各セグメントの画像データに対する手ブレ補正処理の詳細について説明する。図１１は、図９のステップＳ２５における各セグメントの画像データに対する手ブレ補正処理の詳細について説明するフローチャートである。

まず、画像補正部１２ｂは、各セグメントについて、手ブレ量Ｄｍが所定の閾値以上であるか否かを判定し、手ブレ量Ｄｍが所定の閾値以上である場合には、そのセグメントについて、以下の手ブレ補正処理を実行すると判定し、手ブレ量Ｄｍが所定の閾値未満である場合には、そのセグメントについて、手ブレ補正処理を実行しないと判定する。

画像補正部１２ｂは、手ブレ量Ｄｍが所定の閾値以上である場合には、そのセグメントにおいて手ブレ補正処理を、以下のように実行する。

初めに、画像補正部１２ｂは、１つのセグメントについて、カメラ１およびドライバ回路４により取得された画像データ６ｄを手ブレ画像Ｉ（ｘ，ｙ）とし、この手ブレ画像Ｉ（ｘ，ｙ）を推測画像Ｏ（ｘ，ｙ）の初期値とする（ステップＳ４１）。

また、画像補正部１２ｂは、そのセグメントの手ブレ方向θｍおよび手ブレ量Ｄｍに基づいて、手ブレ方向に画像をボケさせるフィルタＨ（ｉ，ｊ）を生成する。

なお、フィルタＨ（ｉ，ｊ）の縦横のサイズは、それぞれ手ブレ量Ｄｍのピクセル以上に設定される。また、フィルタＨ（ｉ，ｊ）の行列において、中心の要素および中心から手ブレ方向θｍの要素（１行につき１つの要素または１列につき１つの要素）の値が定数ａ１とされ、その要素の１列または１行だけ隣りの１つの要素の値が定数ａ２とされ、その他の要素の値はゼロとされる。定数ａ１，ａ２は、手ブレ量Ｄｍの逆数に比例した正の値を有し、ａ１＋ａ２＝１／Ｄｍの関係にある値とされる。

次に、画像補正部１２ｂは、推測画像Ｏに対してフィルタＨを適用して、推測画像Ｏに対するボケ画像Ｂを生成する（ステップＳ４２）。

そして、画像補正部１２ｂは、手ブレ画像Ｉから生成したボケ画像Ｂを減算して誤差画像Ｅ（ｘ，ｙ）を生成する（ステップＳ４３）。また、画像補正部１２ｂは、生成した誤差画像Ｅ（ｘ，ｙ）にフィルタＨを適用して、誤差画像Ｅ（ｘ，ｙ）のエッジ部分をボケさせる。

また、画像補正部１２ｂは、まず、式（１），（２），（３）に従ってエッジ強度行列Ｗ（ｘ，ｙ）を生成する。さらに、画像補正部１２ｂは、そのエッジ強度行列Ｗ（ｘ，ｙ）を標準化する。つまり、Ｗ（ｘ，ｙ）の全要素のうちの最大値が１に、最小値が０になるように、Ｗ（ｘ，ｙ）の全要素の値を一次式で変換して、Ｗ（ｘ，ｙ）の全要素の値が０〜１の範囲に入るようにする。

なお、式（１），（２）の右辺の演算子は、畳み込みを表す。

Ｗ（ｘ，ｙ）＝ｃｏｓ（θｍ）・ｄｘ（ｘ，ｙ）＋ｓｉｎ（θｍ）・ｄｙ（ｘ，ｙ）・・・（３）

そして、画像補正部１２ｂは、標準化後のエッジ強度行列Ｗ（ｘ，ｙ）を使用して、式（４）に従って推測画像Ｏ（ｘ，ｙ）を更新する（ステップＳ４４）。

Ｏ（ｘ，ｙ）＝Ｏ（ｘ，ｙ）＋β×Ｅ（ｘ，ｙ）×Ｗ（ｘ，ｙ） ・・・（４）

ここで、βは、正の定数であり、推測画像Ｏの値の収束の速さを制御するための定数である。βの値は、手ブレ量Ｄｍおよび手ブレ方向θｍに基づいて決定される。例えば、フィルタＨの最大特異値λに基づき、βは（２／（λ２ ））未満の正の定数とされる。

そして、画像補正部１２ｂは、今回の更新量Ｓが所定の閾値未満であるか否かを判定する（ステップＳ４５）。

今回の更新量Ｓが所定の閾値未満である場合には、画像補正部１２ｂは、推測画像Ｏの更新を終了し、推測画像Ｏに対して、エッジを強調するシャープニング処理を手ブレ方向θｍに沿って施し、その処理後の画像を、そのセグメントの手ブレ補正済みの画像とする（ステップＳ４７）。なお、更新量Ｓは、式（５）に従って計算される。

一方、今回の更新量Ｓが所定の閾値以上である場合には、画像補正部１２ｂは、所定回数（例えば５回）、推測画像Ｏを更新したか否かを判定し（ステップＳ４６）、所定回数、推測画像Ｏを更新したと判定した場合には、画像補正部１２ｂは、推測画像Ｏに対して、エッジを強調するシャープニング処理を施し、その処理後の画像を、そのセグメントの手ブレ補正済みの画像とする（ステップＳ４７）。

今回の更新量Ｓが所定の閾値未満であり、かつ所定回数、推測画像Ｏを更新していないと判定した場合には、画像補正部１２ｂは、ステップＳ４２〜ステップＳ４６の処理を、更新量Ｓが所定の閾値未満となるか、所定回数、推測画像Ｏを更新するまで、繰り返し実行する。

このようにして、画像補正部１２ｂは、各セグメントについて手ブレ補正処理を実行する。

以上のように、上記実施の形態１によれば、センサ２Ｘ，２Ｙは、動き検出手段として、カメラ１の撮像素子１ａの光軸に対して垂直な方向に関する撮像素子の動きを検出する。また、ドライバ回路４は、動画像データ生成手段および静止画像データ生成手段として、撮像素子１ａにより得られる画像情報（各受光部１ｂの検出値）から、動画モードでは動画像データ６ｂを生成し、静止画モードでは静止画像データ６ｄを生成する。また、制御回路８は、切換手段として、操作部９への操作に応じて動画モードと静止画モードとを切り換える。そして、動画手ブレ補正部１１は、第１の手ブレ補正部として、センサ２Ｘ，２Ｙにより検出された撮像素子１ａの動きに基づいて、動画像データ６ｂに対して手ブレ補正を実行し、静止画手ブレ補正部１２は、第２の手ブレ補正部として、センサ２Ｘ，２Ｙにより撮像素子１ａの動きに基づいて、静止画像データ６ｄに対して手ブレ補正を実行する。

これにより、動画手ブレ補正部１１と静止画手ブレ補正部１２により、動画モードと静止画モードとを切り換え可能な装置において、動画像データ６ｂおよび静止画像データ６ｄのいずれにも適切な手ブレ補正処理を施すことができる。

また、上記実施の形態１によれば、動画手ブレ補正部１１は、撮像素子１ａにより撮像された動画像内の１枚の画像の画像データに対して、センサ２Ｘ，２Ｙにより検出されたフレーム間の撮像素子の動きを示す動きデータに基づき、手ブレ補正処理を施し、静止画手ブレ補正部１２は、撮像素子１ａにより撮像された１枚の画像を複数の部分領域に区分した各部分画像の画像データに対して、撮像素子１ａによる撮像の際の撮像素子１ａの動きを示す動きデータに基づき、手ブレ補正処理を施す。

これにより、特に、静止画のブレは動画のブレより目立つことに対応して、静止画データについては、１画像内でより細かく手ブレ補正が実行される。

実施の形態２．
本発明の実施の形態２に係る撮像装置は、実施の形態１に係る撮像装置に加え、撮影モード切り換え時に継続してサンプリング回路３によりジャイロデータ６ａのサンプリングを実行するようにしたものである。

なお、実施の形態２に係る撮像装置の構成については、実施の形態１と同様であるので、その説明を省略する。ただし、実施の形態２に係る撮像装置の撮影モード切り換え時の動作は、以下のようになる。

図１２は、実施の形態２における撮影モード切り換え時の動作を説明するタイミングチャートである。

時刻Ｔｃに操作部９に対して撮影モード切り換えの操作がなされた場合、時刻Ｔｃまでの期間の撮影モードは、動画モードであり、時刻Ｔｃ以降の期間の撮影モードは、静止画モードである。時刻Ｔｃにおいて撮影モード切り換えの操作があった場合でも、サンプリング回路３は、サンプリング周期に対して位相ズレ（つまり、遅延）を生じることなく、継続してサンプリングを実行する。そして、その後、操作部９に対してシャッタボタン押下操作の有無に拘わらず、静止画モードにおいて、サンプリング回路３は、継続してサンプリングを実行する。

そして、時刻Ｔｐにおいて操作部９に対してシャッタボタン押下操作があると、ドライバ回路４は、時刻Ｔｓにおいてシャッタ動作を実行して、１枚分の静止画像データ６ｄを生成し、メモリ６に格納する。そして、静止画手ブレ補正部１２は、図１２におけるフレーム間隔Ｐ３において取得されたジャイロデータ６ａのうちの静止画の撮像期間に対応するジャイロデータ６ａに基づいて、静止画像データ６ｄに対して手ブレ補正処理を施し、補正済み静止画像データ６ｅを生成する。

以上のように、上記実施の形態２によれば、センサ２Ｘ，２Ｙが、動き検出素子として、撮像素子１ａの光軸に対して垂直な方向に関する撮像素子の動きを検出し、サンプリング回路３が、センサ２Ｘ，２Ｙの出力を所定のサンプリングレートでサンプリングする。
そして、手ブレ補正部１１，１２は、ＶＳＹＮＣ信号を基準にして１枚の画像に対応するジャイロデータ６ａ内のサンプルを特定して手ブレ量を計算し、その手ブレ量に応じた手ブレ補正を実行する。サンプリング回路３は、制御回路８により動画モードと静止画モードが切り換えられた場合にも継続して所定のレートで動き検出素子の出力をサンプリングする。

これにより、動画モードと静止画モードの切り換え後に、静止画の撮像期間または動画像のフレームに撮像素子１ａの動きのサンプルを対応付ける処理を簡単に行うことができ、モード切り換え後に、いつ撮像を開始しても即座に手ブレ補正を実行することができる。

なお、上述の各実施の形態は、本発明の好適な例であるが、本発明は、これらに限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の変形、変更が可能である。

例えば、上記各実施の形態では、動画モードから静止画モードへ切り換えられた後、シャッタボタン押下操作がなされると、静止画像データ６ｄの取得が実行されるが、動画モード時または動画撮像時に、シャッタボタン押下操作がなされた場合でも、即座に静止画像データ６ｄを取得するようにしてもよい。その場合には、サンプリング回路３は、動画像データの生成と静止画像データの生成が切り換えられた場合にも継続して所定のレートでセンサ２Ｘ，２Ｙの出力をサンプリングする。

これにより、切り換え前後で、垂直同期信号と撮像素子の動きのサンプリングとの対応関係が連続すること、並びに垂直同期信号に同期して動画像および静止画像の撮像が実行されることで、動画像の各フレームおよび静止画像に対する手ブレ補正に使用するサンプルを簡単に特定することができ、切り換え後に手ブレ補正を即座に実行することができる。

また、上記各実施の形態では、Ｘ軸とＹ軸の２方向の動きに基づいて手ブレ補正を行っているが、手ブレの方向が１方向のみに限定される場合には、１方向のみの動きに基づいて手ブレ補正を行うようにしてもよい。

また、上記各実施の形態では、動きデータとして、角速度データを使用しているが、その代わりに、動きを表す別の物理量のデータを使用するようにしてもよい。

また、上記各実施の形態において、ローリングシャッタのリセットタイミングのライン間の時間間隔は、１セグメントの露出期間内に、少なくとも１つのジャイロデータ６ａのサンプル（ジャイロサンプル）が得られる長さであればよい。

また、上記各実施の形態では、ローリングシャッタを使用しているが、その代わりにメカニカルシャッタを使用してもよい。

本発明は、例えば、デジタルスチルカメラ機能を有するデジタルビデオカメラ装置、デジタルビデオカメラ機能を有するデジタルスチルカメラ装置などに適用可能である。

実施の形態１に係る撮像装置の構成を示すブロック図である。 実施の形態１におけるセンサが検出する角速度の方向を示す斜視図である。 実施の形態１におけるジャイロデータの一例を示す図である。 実施の形態１において実現されるローリングシャッタを説明する図である。 実施の形態１におけるジャイロデータについて説明する図である。 実施の形態１における撮影モードの切り換えについて説明する図である。 実施の形態１に係る撮像装置の動画モード時の動作を示す図である。 実施の形態１における動画モード時の手ブレ補正を説明する図である。 実施の形態１に係る撮像装置の静止画モード時の動作を説明する図である。 実施の形態１におけるセグメントの一例を示す図である。 実施の形態１における手ブレ補正処理の詳細について説明する図である。 実施の形態２における撮影モード切り換え時の動作を説明する図である。

符号の説明

１ａ 撮像素子、２Ｘ，２Ｙ センサ（動き検出手段，動き検出素子）、３ サンプリング回路（動き検出手段）、４ ドライバ回路（動画像データ生成手段，静止画像データ生成手段）、８ 制御回路（切換手段）、９ 操作部、１１ 動画手ブレ補正部（第１の手ブレ補正部）、１２ 静止画手ブレ補正部（第２の手ブレ補正部）。

Claims (5)

1. 撮像素子と、
   上記撮像素子の光軸に対して垂直な方向に関する上記撮像素子の動きを検出する動き検出手段と、
   上記撮像素子により得られる画像情報から動画像データを生成する動画像データ生成手段と、
   上記撮像素子により得られる画像情報から静止画像データを生成する静止画像データ生成手段と、
   所定の操作部への操作に応じて上記動画像データ生成手段により動画像データを生成する動画モードと所定の操作部への操作に応じて上記静止画像データ生成手段により静止画像データを生成する静止画モードとを切り換える切換手段と、
   上記動画像データ生成手段により動画像データが生成される場合に、上記動き検出手段により検出された上記撮像素子の動きに基づいて、上記動画像データに対して手ブレ補正を実行する第１の手ブレ補正部と、
   上記静止画像データ生成手段により静止画像データが生成される場合に、上記動き検出手段により検出された上記撮像素子の動きに基づいて、上記第１の手ブレ補正部の補正方式とは異なる方式で、上記静止画像データに対して手ブレ補正を実行する第２の手ブレ補正部と、
   を備えることを特徴とする撮像装置。
2. 前記第１の手ブレ補正部は、前記撮像素子により撮像された動画像内の１枚の画像の画像データに対して、前記動き検出手段により検出されたフレーム間の前記撮像素子の動きを示す動きデータに基づき、手ブレ補正処理を施し、
   前記第２の手ブレ補正部は、前記撮像素子により撮像された１枚の画像を複数の部分領域に区分した各部分画像の画像データに対して、前記撮像素子による撮像の際に前記動き検出手段により検出された前記撮像素子の動きを示す動きデータに基づき、手ブレ補正処理を施すこと、
   を特徴とする請求項１記載の撮像装置。
3. 所定のレートで動画像の垂直同期信号を生成する垂直同期信号生成手段を備え、
   前記動き検出手段は、前記撮像素子の光軸に対して垂直な方向に関する前記撮像素子の動きを検出する動き検出素子と、上記動き検出素子の出力を所定のサンプリングレートでサンプリングするサンプリング回路とを有し、
   前記第１および第２の手ブレ補正部は、上記垂直同期信号生成手段による垂直同期信号を基準にして、補正対象の画像データに対応する前記動き検出素子の出力のサンプルを特定して手ブレ量を計算し、その手ブレ量に応じた手ブレ補正を実行し、
   上記サンプリング回路は、前記動画像データ生成手段による動画像データの生成と前記静止画像データ生成手段による静止画像データの生成が切り換えられた場合にも継続して所定のレートで上記動き検出素子の出力をサンプリングすること、
   を特徴とする請求項１記載の撮像装置。
4. 所定のレートで動画像の垂直同期信号を生成する垂直同期信号生成手段を備え、
   前記動き検出手段は、前記撮像素子の光軸に対して垂直な方向に関する前記撮像素子の動きを検出する動き検出素子と、上記動き検出素子の出力を所定のサンプリングレートでサンプリングするサンプリング回路とを有し、
   前記第１および第２の手ブレ補正部は、上記垂直同期信号生成手段による垂直同期信号を基準にして、補正対象の画像データに対応する前記動き検出素子の出力のサンプルを特定して手ブレ量を計算し、その手ブレ量に応じた手ブレ補正を実行し、
   上記サンプリング回路は、前記切換手段により動画モードと静止画モードが切り換えられた場合にも継続して所定のレートで上記動き検出素子の出力をサンプリングすること、
   を特徴とする請求項１記載の撮像装置。
5. 所定の操作部に対する操作に応じて動画モードと静止画モードとを切り換えるステップと、
   撮像素子による撮像の際に、上記撮像素子の光軸に対して垂直な方向に関する上記撮像素子の動きを、動画モードと静止画モードとの切り換え時に継続して検出するステップと、
   動画モードの場合に、フレーム間で検出した上記撮像素子の動きを示す動きデータに基づき、動画像データに対して手ブレ補正処理を実行するステップと、
   静止画モードの場合に、上記撮像素子により撮像された１枚の画像を複数の部分領域に区分した各部分画像の画像データに対して、上記撮像素子による撮像の際に検出した上記撮像素子の動きを示す動きデータに基づき、動画像データに対する手ブレ補正方式とは異なる方式で、静止画像データに対して手ブレ補正処理を実行するステップと、
   を備えることを特徴とする手ブレ補正方法。

Images