JP2015212739A - 撮像装置および像ブレ補正方法、プログラム、並びに記憶媒体 - Google Patents

Abstract

【課題】動画撮影時に行う電子式手ブレ補正において手ブレ信号の予測演算処理負荷を軽減できる技術を実現する。【解決手段】撮像装置は、装置のブレ量を検出するブレ検出手段と、前記ブレ量に基づいてブレ補正量を算出するブレ補正量演算手段と、前回までに算出されたブレ補正量を用いて、ブレ補正量の推定値を演算する推定演算手段と、前記ブレ補正量またはブレ補正量の推定値を用いて画像を切り出して像ブレを補正する補正手段と、映像を撮影する際のフレームレートに応じて、前記ブレ補正量の推定値の演算を行うか否かを判定する判定手段と、を有する。【選択図】図２

Description

本発明は、撮像装置の手ブレによる像ブレ補正技術に関する。

撮像装置の手ブレ補正機能には、装置の手ブレ（角度ブレやシフトブレ）を検出し、このブレを相殺するように補正光学系を移動させる光学式手ブレ補正機能や、手ブレによる像ブレをキャンセルする方向に動画の各フレームで画像を切り出す電子式手ブレ補正機能がある。

電子式手ブレ補正では、動画の各フレームと手ブレ信号の取得タイミングを同期することが重要である。また、必ずしも常に同期できるわけではないので、手ブレ信号の取得が遅れたときのように同期できない場合の対処方法も重要である。

特許文献１では、手ブレ信号を予測し、その予測信号と実際の手ブレ情報の差分が一定時間内に符号反転を繰り返す場合は、その予測信号を用いて手ブレ補正を行い、その差分が一定時間内に一定値以上であった場合は、ある一定の補正量で補正している。つまり、特許文献１では、一方向にパンニングしているなど、手ブレ信号が大きい場合は、予測信号を用いず、一定の補正量で画像をセンタリングし、それ以外の場合にだけ予測信号を用いて手ブレ補正を行っている。

特開２００７−１１４４６６号公報

ところで、上記特許文献１では、動画撮影時における手ブレ信号の予測演算に係るＣＰＵの演算処理負荷が大きくなる。

そこで、本発明は、動画撮影時に行う電子式手ブレ補正において手ブレ信号の予測演算処理負荷を軽減できる技術を実現することである。

上記課題を解決するために、本発明の撮像装置は、装置のブレ量を検出するブレ検出手段と、前記ブレ量に基づいてブレ補正量を算出するブレ補正量演算手段と、前回までに算出されたブレ補正量を用いて、ブレ補正量の推定値を演算する推定演算手段と、前記ブレ補正量またはブレ補正量の推定値を用いて画像を切り出して像ブレを補正する補正手段と、映像を撮影する際のフレームレートに応じて、前記ブレ補正量の推定値の演算を行うか否かを判定する判定手段と、を有する。

本発明によれば、動画撮影時に行う電子式手ブレ補正において手ブレ信号の予測演算処理負荷を軽減することができる。

本実施形態の撮像装置のブロック図。 本実施形態の手ブレ補正量制御部のブロック図。 本実施形態の手ブレ補正処理のタイミングチャート。 本実施形態の手ブレ補正量演算処理を示すフローチャート。 本実施形態の手ブレ補正量判定処理を示すフローチャート。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

［実施形態１］以下、本発明を、例えば、動画や静止画を撮影するデジタルビデオカメラなどの撮像装置に適用した実施形態について説明する。

なお、以下の実施形態では、本発明を撮像装置に適用した例を説明するが、本発明はこれに限らず、例えば、カメラ付き携帯電話やスマートフォン、タブレットその他の電子式ブレ補正機能を搭載する撮影機器に適用可能である。

＜装置構成＞図１を参照して、本発明に係る実施形態の撮像装置の構成および機能の概略について説明する。

図１において、ズームユニット１０１は、変倍を行うズームレンズを含む。ズーム駆動部１０２は、制御指令に応じてズームユニット１０１を駆動する。絞り・シャッタユニット１０３は、被写体の光像の入射光量を調整する絞り機能を備えるシャッターを含む。絞り・シャッタ駆動部１０４は、制御指令に応じて絞り・シャッタユニット１０３を駆動する。フォーカスユニット１０５は、ピント調節を行うフォーカスレンズを含む。フォーカス駆動部１０６は、制御指令に応じてフォーカスユニット１０５を駆動する。

撮像部１０７は、上記各種レンズを通過した被写体の光像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子、撮像素子から出力されるアナログ画像信号をデジタル信号に変換するＡ／Ｄ変換器を有する。

撮像信号処理部１０８は、撮像部１０７から出力される撮像信号にフィルタ処理、色変換処理、ガンマ処理などの所定の信号処理を施して映像信号を生成する。

手ブレ補正量制御部１０９は、後述するブレ補正量演算処理により手ブレ補正量を算出し、撮像信号処理部１０８へ出力する。また、撮像信号処理部１０８は、手ブレ補正量制御部１０９により算出された手ブレ補正量または手ブレ補正量の推定値を用いて手ブレによる像ブレをキャンセルする方向に動画の各フレームで画像を切り出す手ブレ補正処理を行う。

映像信号処理部１１０は、撮像信号処理部１０８から出力される映像信号を圧縮符号化して映像ファイルを作成したり、表示用の映像データを生成するなど用途に応じて加工する。

表示部１１１は、映像信号処理部１１０から出力される映像データや画面情報を表示するための液晶パネルや有機ＥＬパネルなどの表示デバイスである。

姿勢情報演算部１１２は、装置の姿勢を判定するための姿勢情報を算出し、映像信号処理部１１０へ出力する。

電源部１１３は、一次電池や二次電池、ＡＣアダプタなどからなり、装置の各部に必要な電力を供給する。

外部入出力部１１４は、外部との通信インタフェースであり、サーバなどの外部機器と有線通信または無線通信を行い、制御信号や映像信号の送受信を行う。

操作部１１５は、例えば、電源のオン／オフ、映像の記録開始／記録停止、静止画の撮影、ズーム操作、動作モードの切替、メニュー画面などを指示するためのスイッチ、カーソルキー、タッチパネルなどである。

記憶部１１６は、装置に装着されるメモリカードやハードディスクドライブなど、あるいは、装置に内蔵されたフラッシュメモリやハードディスクドライブである。記憶部１１６には、映像ファイルやカメラの制御に係る各種情報が格納される。

手ブレ検出部１１７は、装置の動きを検出するジャイロセンサなどであり、撮影時の装置の手ブレ量を算出する。

制御部１１８は、ＣＰＵと、ＣＰＵが実行する制御プログラムを格納するメモリを含み、撮像装置の全体の動作を制御する。

＜動作モードの説明＞次に、上記構成を有する撮像装置の動作について概説する。

操作部１１５には、防振（手ブレ補正）モードを選択可能にする防振スイッチが含まれる。防振スイッチにより防振モードが選択されると、制御部１１８が手ブレ補正量制御部１０９に防振処理の開始指示を出し、これを受けて手ブレ補正量制御部１０９が防振処理の停止指示を受けるまで防振処理を行う。操作部１１５には、静止画撮影モードと動画撮影モードのいずれかを選択可能にする撮影モード選択スイッチが含まれており、それぞれの撮影モードにおいて各駆動部の動作条件を変更することができる。

また、操作部１１５には、押し込み量に応じて第１スイッチ（ＳＷ１）および第２スイッチ（ＳＷ２）が順にオンとなるシャッタレリーズボタンが含まれる。シャッタレリーズボタンが半分押し込まれたときに第１スイッチ信号ＳＷ１がオンし、シャッタレリーズボタンが最後まで押し込まれたときに第２スイッチ信号ＳＷ２がオンする構造となっている。第１スイッチ信号ＳＷ１がオンされると、フォーカス駆動部１０６がフォーカスユニット１０５を駆動してピント調節を行い、絞り・シャッタ駆動部１０４が絞り・シャッタユニット１０３を駆動して適正な露光量に調節する。第２スイッチ信号ＳＷ２がオンされると、撮像部１０７により撮像され、信号処理が施された映像データが記憶部１１６に記憶される。

また、操作部１１５には動画記録スイッチが含まれ、動画撮影モードにおいて、スイッチが押されると動画撮影を開始し、動画撮影中に再度スイッチを押すと記録を停止する。

また、操作部１１５には再生モードを選択可能にする再生モード選択スイッチが含まれ、再生モードでは上記防振処理を停止する。

また、操作部１１５には、ズーム指示を行うズームスイッチが含まれる。ズームスイッチによりズーム倍率の変更指示を受けると、制御部１１８からの制御指令に応じてズーム駆動部１０２がズームユニット１０１を指示されたズーム位置に駆動する。同時に、撮像部１０７により撮像され、信号処理が施された映像データを用いて所定の演算処理を行い、得られた演算結果に基づく制御部１１８からの制御指令に応じてフォーカス駆動部１０６がフォーカスユニット１０５を駆動してピント調節を行い、絞り・シャッタ駆動部１０４が絞り・シャッタユニット１０３を駆動して適正な露光量に調節する。

＜手ブレ補正量制御部の構成＞次に、図２を参照して、図１の手ブレ補正量制御部の詳細な構成について説明する。なお、手ブレ補正量制御部の構成は、装置の動き（ピッチング方向、ヨーイング方向およびローリング方向）ごとに同じであるため、１つの動きのみについて説明を行う。

手ブレ検出部１１７は、主にジャイロセンサを用いて角速度データを検出し電圧として出力する。ＡＤ変換部２０１は、ジャイロセンサから出力されるデータをデジタルデータに変換する。ハイパスフィルタ（ＨＰＦ）２０２は、ジャイロセンサのオフセット成分や、温度ドリフト成分を除去する。ローパスフィルタ（ＬＰＦ）２０３は、角速度データをそのまま積分し、角度データに変換してブレ量を算出する。蓄積部２０４は、算出されたブレ量を蓄積する。推定演算部２０５は、前回までに算出されたブレ量を用いて現在のブレ量を推定演算する。補正量判定部２０６は、撮影時の手ブレやフレームレートに応じて、どの手ブレ補正量を使用して画像を切り出すかを判定する。フレームレート制御部２０７は、制御部１１８に内蔵され、撮影時の撮影パラメータや外部環境の光量の強さに応じて、フレームレートを変更する。

＜手ブレ補正量制御部の動作＞次に、図３を参照して、図２の手ブレ補正量制御部１０９の動作について説明する。

図３に示す各信号は、フレームレート信号、露光時間信号、画像切り出し演算処理信号、手ブレ量取得信号、手ブレ補正量演算処理＆データ通信時間信号である。また、Ｆ［ｎ］は起動からｎ番目のフレーム画像を示し、Ｇ［ｎ］は起動からｎ番目の手ブレ量を示し、Ｈ［ｎ］は起動からｎ番目の手ブレ補正量を示す。

時刻ＸｎはＦ［ｎ］の露光時間の中心（重心タイミング）であり、このタイミングでシステム割り込みをかけ、手ブレ量Ｇ［ｎ］を取得する。そしてその手ブレ量に対してＨＰＦ２０２、ＬＰＦ２０３、推定演算部２０５などが施され、時刻Ｚｎで手ブレ補正量Ｈ［ｎ］が撮像信号処理部１０８に出力される。手ブレ補正量Ｈ［ｎ］に基づき実際にＦ［ｎ］の切り出し処理が行われるタイミングが時刻Ｙｎであり、このタイミング前までに手ブレ補正量を決定しなければならない。

しかしながら、動画のフレームレートが上がる、もしくは手ブレ補正量制御部１０９と撮像信号処理部１０８が異なるＣＰＵで構成されている撮像装置であって、手ブレ補正量を撮像信号処理部１０８に出力するときに多くの時間を要してしまう場合、つまりＺｎ＞Ｙｎとなり手ブレ補正量の受け渡しが間に合わない場合がある。そのような場合は、前回の手ブレ補正量Ｈ［ｎ−１］、若しくは、前回までの手ブレ補正量（Ｈ［ｎ−１］以前のデータ）から予め算出した手ブレ補正量推定値Ｅ［ｎ］を用いる。なお、推定演算方法はは１つに限らない。

＜手ブレ補正量演算処理＞次に、図４を参照して、図２の手ブレ補正量制御部１０９による手ブレ補正量演算処理について説明する。

なお、図４の処理は、制御部１１８が、メモリに格納された制御プログラムをフレームレートごとに実行し、手ブレ補正量制御部１０９を制御することで実現される。

ステップＳ４０１では、制御部１１８は、現在のフレームレートがフレームレート閾値Ｒｔ以上か判定し、閾値Ｒｔ以上であった場合は、手ブレ補正量制御部１０９による推定演算を停止する（Ｓ４０２）。手ブレ周波数帯より十分に大きな周期の閾値Ｒｔに設定することで、推定演算の必要性がなくなるためである。

ステップＳ４０３では、制御部１１８は、手ブレ補正量Ｈ［ｎ］の撮像信号処理部１０８への受け渡しタイミングＺｎが、切り出し演算処理タイミングＹｎ以前か否かを判定する。判定の結果、受け渡しタイミングＺｎが切り出し演算処理タイミングＹｎ以前の場合は、制御部１１８は、実際に切り出し演算処理に用いる手ブレ補正量Ｃ［ｎ］にＨ［ｎ］を設定する（Ｓ４０４）。また、受け渡しタイミングＺｎが切り出し演算処理タイミングＹｎ以降の場合は、切り出し演算処理が間に合わなかったため、前回の手ブレ補正量Ｈ［ｎ−１］をＣ［ｎ］に設定する。

また、ステップＳ４０１で現在のフレームレートがフレームレート閾値Ｒｔより低い場合は、制御部１１８は、手ブレ補正量制御部１０９による推定演算を開始する（Ｓ４０６）。

ステップＳ４０７では、制御部１１８は、手ブレ補正量Ｈ［ｎ］の撮像信号処理部１０８への受け渡しタイミングＺｎが、切り出し演算処理タイミングＹｎ以前か否かを判定する。判定の結果、受け渡しタイミングＺｎが切り出し演算処理タイミングＹｎ以前の場合は、制御部１１８は、実際に切り出し演算処理に用いる手ブレ補正量Ｃ［ｎ］にＨ［ｎ］を設定する（Ｓ４０８）。また、受け渡しタイミングＺｎが切り出し演算処理タイミングＹｎ以降の場合は、切り出し演算処理が間に合わなかったため、手ブレ補正量の推定値Ｅ［ｎ］をＣ［ｎ］に設定する。

＜手ブレ補正量判定処理＞次に、図５を参照して、図２の補正量判定部２０６による手ブレ補正量判定処理について説明する。

なお、図５の処理は、制御部１１８が、メモリに格納された制御プログラムをフレームレートごとに実行し、手ブレ補正量制御部１０９を制御することで実現される。以下では、手ブレ補正量制御部１０９の補正量判定部２０６を動作主体として説明する。

図５の処理は、撮影状態が定点撮影であるか、若しくは歩き撮りやパンニング撮影であるかを自動判定し、後者の場合は精度の高い手ブレ補正を必要としないため、フレームレート閾値を下げ、前者の場合は精度の高い手ブレ補正を必要とするため、フレームレート閾値を上げるものである。また、以下で設定しているフレームレートＲＨ、ＲＭ、ＲＬは、ＲＨ＞ＲＭ＞ＲＬという関係である。

ステップＳ５０１では、補正量判定部２０６は、手ブレ量Ｇ［ｎ］が手ブレ量閾値Ｇｔ以下であるか否かを判定する。判定の結果、閾値以下（Ｇ［ｎ］≦Ｇｔ）の場合、補正量判定部２０６は、カウンタＩｎＣｎｔをインクリメントする（Ｓ５０２）。

ステップＳ５０３では、補正量判定部２０６は、カウンタＩｎＣｎｔがある閾値Ｉｔ以上であるか否かを判定する。判定の結果、閾値以上（ＩｎＣｎｔ≧Ｉｔ）の場合、補正量判定部２０６は、ある一点を狙って定点撮影をしていると判定し、フレームレート閾値Ｒｔを最も高い値ＲＨに設定する（Ｓ５０４）。高フレームレートでも推定演算が必要となるためである。同時にカウンタＩｎＣｎｔをＩｔに設定し、ＯｕｔＣｎｔを０にリセットする。一方、ステップＳ５０３で閾値以上（ＩｎＣｎｔ≧Ｉｔ）でない場合、補正量判定部２０６は、フレームレート閾値Ｒｔを基準値ＲＭのまま維持する（Ｓ５０５）。

また、ステップＳ５０１で手ブレ量Ｇ［ｎ］が手ブレ量閾値Ｇｔよりも大きい場合、補正量判定部２０６は、カウンタＯｕｔＣｎｔをインクリメントする（Ｓ５０６）。

ステップＳ５０７では、補正量判定部２０６は、カウンタＯｕｔＣｎｔがある閾値Ｏｔ以上であるか否かを判定する。判定の結果、閾値以上（ＯｕｔＣｎｔ≧Ｏｔ）の場合、補正量判定部２０６は、ある一点を狙って定点撮影をしていない、つまり歩き撮りやパンニング中と判定し、フレームレート閾値Ｒｔを最も低い値ＲＬに設定する（Ｓ５０８）。同時にカウンタＯｕｔＣｎｔをＯｔに設定し、ＩｎＣｎｔを０にリセットする。一方、ステップＳ５０７で閾値以上（ＯｕｔＣｎｔ≧Ｏｔ９でない場合、補正量判定部２０６は、フレームレート閾値Ｒｔを基準値ＲＭのまま維持する（Ｓ５０５）。

［変形例］次に、撮像装置の焦点距離によるフレームレート閾値の変更処理について説明する。

焦点距離が短いほど手ブレによる画角の変化が小さく、画面のブレは小さく見えるため、焦点距離が短いほど精度の高い手ブレ補正は必要としない。このため、式１のように、焦点距離と比例する形で、フレームレート閾値を設定する。

Ｒｔ（ｎｅｗ）＝ＺＰ×Ｋ×Ｒｔ（ｏｌｄ）・・・（１）
ただし、Ｒｔ（ｎｅｗ）は焦点距離を考慮して新たに設定されるフレームレート閾値であり、Ｒｔ（ｏｌｄ）は焦点距離が考慮されていないフレームレート閾値である。また、ＺＰは焦点距離であり、Ｋは正の値をとる係数である。

本実施形態のように、手ブレ補正量Ｈ［ｎ］の受け渡しタイミングＺｎが、切り出し演算処理タイミングＹｎより遅れてしまう場合、前回の手ブレ補正量Ｈ［ｎ−１］、若しくは、前回までの手ブレ補正量から算出した手ブレ補正量推定値Ｅ［ｎ］を用いることで、手ブレ補正量の予測演算処理負荷を軽減することができる。

［他の実施形態］
なお、本発明は、以下の処理を実行することによっても実現される。即ち、本実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１０９…手ブレ補正量制御部、１１７…手ブレ検出部、１１８…制御部、２０５…推定演算部、２０６…補正量判定部

Claims (11)

1. 装置のブレ量を検出するブレ検出手段と、
   前記ブレ量に基づいてブレ補正量を算出するブレ補正量演算手段と、
   前回までに算出されたブレ補正量を用いて、ブレ補正量の推定値を演算する推定演算手段と、
   前記ブレ補正量またはブレ補正量の推定値を用いて画像を切り出して像ブレを補正する補正手段と、
   映像を撮影する際のフレームレートに応じて、前記ブレ補正量の推定値の演算を行うか否かを判定する判定手段と、を有することを特徴とする撮像装置。
2. 前記推定演算手段は、前回までに算出されたブレ補正量に基づいて、現在のブレ補正量の推定値を演算することを特徴とする請求項１に記載の撮像装置。
3. 前記判定手段は、前記フレームレートが閾値よりも高い場合は、前記ブレ補正量の推定値の演算を行わないと判定することを特徴とする請求項１または２に記載の撮像装置。
4. 前記判定手段は、前記ブレ量に応じて撮影状態を判定し、
   前記撮影状態に応じて前記閾値を変更する設定手段を有することを特徴とする請求項３に記載の撮像装置。
5. 前記撮影状態が定点撮影の場合、前記設定手段は、前記閾値を基準値より高くし、前記推定演算手段による前記推定値の演算が行われやすくすることを特徴とする請求項４に記載の撮像装置。
6. 前記撮影状態が定点撮影ではない場合、前記設定手段は、前記閾値を基準値より低くし、もしくは、前記推定演算手段による前記推定値の演算を行わないことを特徴とする請求項５に記載の撮像装置。
7. 前記判定手段は、前記ブレ量が、所定の時間、所定の値以下であった場合は、前記定点撮影を行っていると判定することを特徴とする請求項５または６に記載の撮像装置。
8. 前記設定手段は、撮像装置の焦点距離に応じて前記閾値を変更する設定手段をさらに有することを特徴とする請求項３に記載の撮像装置。
9. 撮像装置の手ブレによる像ブレを補正する方法であって、
   ブレ検出手段が、装置のブレ量を検出するステップと、
   ブレ補正量演算手段が、前記ブレ量に基づいてブレ補正量を算出するステップと、
   推定演算手段が、前回までに算出されたブレ補正量を用いて、ブレ補正量の推定値を演算するステップと、
   補正手段が、前記ブレ補正量またはブレ補正量の推定値を用いて画像を切り出して像ブレを補正するステップと、
   判定手段が、映像を撮影する際のフレームレートに応じて、前記ブレ補正量の推定値の演算を行うか否かを判定するステップと、を有することを特徴とする方法。
10. コンピュータを、請求項１ないし８のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。
11. コンピュータを、請求項１ないし８のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラムを格納したコンピュータにより読み取り可能な記憶媒体。

Images