JP2007300595A - 静止画像撮影の手ブレ回避方法 - Google Patents

Abstract

【課題】 簡易な画像データ処理で、手ブレがあってもボケのない高品質の画像データを得ることができる静止画像の手ブレ回避方法を提供する。
【解決手段】 本発明の静止画像撮影の手ブレ回避方法は、静止画像撮影に先立って、所定の動き検出を行い、動きが検出されなかった場合には、通常シャッター速度での撮影を行い、獲得された画像データに対して通常の画像処理を行い、処理された画像データを記録デバイスに書き込み、動きが検出された場合には、通常シャッター速度より速い高シャッター速度での撮影を行い、獲得された画像データに対してゲイン増倍を含む所定の画像処理を行い、処理された画像データを記録デバイスに書き込む、ことからなる。
【選択図】 図２

Description

本発明は、固体撮像装置を用いて静止画像の撮影を行うカメラの撮像及び記録に関し、特に、その制御を行う際に、シャッター速度の遅い撮影を行った場合に生じる、手ブレによる画像のボケを回避する方法に関する。

従来、デジタルスチルカメラなどの静止画像撮影装置では、ＣＣＤイメージセンサやＣＭＯＳイメージセンサのような固体撮像デバイスが一般に用いられている。そこでは、固体撮像デバイスからの出力画像信号をＡ／Ｄコンバータでデジタル画像データに変換し、この画像データをデジタル信号処理して、画像データ記録装置に記録する。しかし、シャッター速度が遅い場合には手ブレが生じやすく、手ブレが生じると画像がボケるという問題があった。これまでこの手ブレ画像を補正するために各種の方法が提案されてきている。

例えば、以下のものが提案されている。即ち、１枚の静止画像の撮影に対して、高速シャッターを使用して４枚の画像データを逐次、撮影／記憶する。手ブレがあった場合にはその４枚の画像をブレ量に応じて移動させ、重ね合わせて最終画像データとして記録するという方法である。この方法によれば、感度が４倍になりノイズは２倍以内に抑えられるという利点もあるが、高価なフレーム画像メモリを４フレーム分必要とする上、４枚の画像データを重ね合わせるためのタイムラグが発生する。また、ＣＭＯＳセンサ特有のライン露光では効果がなく、手ブレ補正に失敗することも多々あるという欠点を有していた。

本発明は、上記従来技術の課題を解決するためになされたもので、その目的は、ジャイロ等の特別な手ブレ防止装置等を必要とせず、簡易な画像データ処理だけで高品質の静止画像を得ることができる静止画像撮影の手ブレ回避方法を提供することにある。

また、本発明の第１の観点によれば、本発明の静止画像撮影の手ブレ回避方法において、静止画像撮影に先立って、所定の動き検出を行い、動きが検出されなかった場合には、通常シャッター速度での撮影を行い、獲得された画像データに対して通常の画像処理を行い、処理された画像データを記録デバイスに書き込み、動きが検出された場合には、通常シャッター速度より速い高シャッター速度での撮影を行い、獲得された画像データに対してゲイン増倍処理を含む所定の画像処理を行い、処理された画像データを記録デバイスに書き込む。

また、本発明の第２の観点によれば、本発明の静止画像撮影の手ブレ回避装置は、撮像手段と、動き検出手段と、画像処理手段と、画像記録手段とを有し、静止画像撮影に先立って、上記動き検出手段により所定の動き検出を行い、動きが検出されなかった場合には、上記撮像手段により通常シャッター速度での撮影を行い、獲得された画像データに対して上記画像処理手段で通常の画像処理を行い、処理された画像データを上記画像記録手段に書き込み、動きが検出された場合には、上記撮像手段により通常シャッター速度より速い高シャッター速度での撮影を行い、獲得された画像データに対し上記画像処理手段によりゲイン増倍を含む所定の画像処理を行い、処理された画像データを上記画像記録手段に書き込む。

本発明の第３の観点によれば、本発明の静止画像撮影の手ブレ回避方法において、通常シャッター速度で被写体を撮影し、初期画像データを獲得記録し、所定の動き検出を行い、動きが検出された場合には、記録された初期画像データを削除し、前記通常シャッター速度より速く手ブレをしない速度の高シャッター速度で被写体を再撮影し、再び画像データを獲得し、獲得された再画像データに対して所定の画像処理を行い、処理された画像データを最終画像データとして記録し、動きが検出されなかった場合には、初期画像データをそのまま最終画像データとして記録する。

また、本発明の第４の観点によれば、本発明の静止画像撮影の手ブレ回避装置は、撮像手段と、動き検出手段と、画像処理手段と、画像記憶手段とを有し、前記撮像手段により、通常シャッター速度で被写体を撮影し、初期画像データを前記画像記憶手段に記録し、前記動き検出手段は所定の動き検出を行い、動きが検出された場合には、記録された前記初期画像データを削除し、前記撮像手段により、前記通常シャッター速度より速く手ブレをしない速度の高シャッター速度で被写体を再撮影し、再び画像データを獲得し、前記画像処理手段により再び獲得された画像データに対して所定の画像処理を行い、処理された画像データを最終画像データとして記録し、動きが検出されなかった場合には、前記初期画像データをそのまま最終画像データとして前記画像記憶手段に記録する。

本発明による静止画像の手ブレ回避方法によれば、従来の４フレーム分の画像データを記憶して重ね合わせる方法に比べ、高価なフレーム画像メモリを必要とせず、簡易な画像データ処理のみでボケのない高品質な静止画像を得ることができる。さらに、その静止画像を得るために特別なタイムラグを必要とせず、失敗がほとんど発生しないという利点もある。

以下図面に従い、本発明の実施の形態について説明する。

図１は、本発明の手ブレ回避システムを含む静止画像撮影システムの全体システムブロック図である。このシステムの動作は以下のようにして行われる。まず、被写体１０１からの光学画像が、レンズ１０２とシャッター１０３を介してＣＣＤやＣＭＯＳセンサのような固体撮像デバイス１０４上に結像される。固体撮像デバイス１０４は、上記光学画像を電気信号に変換する。この電気信号は、ＡＤコンバータ１０５でデジタル画像データに変換される。このデジタル画像データは、画像データ処理ブロック１０６、動き検出ブロック１０７、ＡＥ（自動露出）ブロック１０８に入力される。画像データ処理ブロック１０６は、得られたデジタル画像データに所定の信号処理を行ってＪＰＥＧのような記録用の静止画像データを生成する。この画像データ処理ブロック１０６からの出力が記録用の静止画像データとして、フラッシュメモリのような記録デバイスからなる画像データ記録ブロック１０９に入力され記録される。一方、ビューファインダ内に投影された光学画像に対応したプレビュー画像データも出力されて、プレビュー画像ディスプレー１１０に表示される。動き検出ブロック１０７は、プレビュー画像データのフレーム間の動きを検出することによって、手振れによるカメラの動きがあるかどうかを検知する。ＡＥ（自動露出）ブロック１０８は、測定された光強度に基づいて、シャッター１０３の最適シャッター速度を自動的に決定する。シャッター１０３は機械式シャッターでも電子式シャッターでもよい。

図２は、本発明の手ブレ回避システムの動作を示すフローチャートである。図２を用いて、本発明の手ブレ回避システムの動作を説明する。まずステップ２０１で、カメラがＯＮされる。ステップ２０２で、ビューファインダ内に投影された光学画像をプレビュー画像ディスプレーに表示するために、プレビュー画像データの取得が開始される。ステップ２０３で、このプレビュー画像データの複数フレーム間の変化を測定することによって動き検出が行われる。もし、動きが検出されなければ、ステップ２０４で通常シャッター速度での撮像が行われ、ステップ２０５で通常の画像データ処理が行われ、ステップ２０６でその処理された画像データが記録デバイスに記録される。もし、動きが検出されれば、ステップ２０７で高シャッター速度での撮像が行われ、ステップ２０８で後述するゲイン増倍処理を含む画像データ処理が行われ、ステップ２０９でその処理された画像データが記録デバイスに記録される。

上記方法は、静止画像撮影に先立って、プレビュー画像を用いて動き検出を行ってブレ画像の発生を回避する例であるが、図３に示した動作シーケンスに従って、静止画像撮影中に動き検出を行ってブレ画像の発生を回避してもよい。図３を用いてその場合の動作法を説明する。

図３は静止画像撮影中に動き検出が行われる場合の手ブレ回避システムの動作シーケンスを示す。

まず、静止画像撮影のためにシャッターが切られると、動き検出（ステップ３０１）と、ＡＥ１０８で設定された通常シャッター速度での撮影／記録（ステップ３０４）が同時にスタートする。この場合の動き検出法は、プレビュー画像を用いた動き検出法ではなく機械式等、それ以外の方法が用いられる。動きが検出された場合、記録されたデータがあればそれが削除（ステップ３０２）される。その後、ＡＥ１０８で再設定された高シャッター速度での再撮影（ステップ３０３）がスタートする。この時の再撮影データには後述のゲイン増倍処理を含む所定の画像処理が行われ、この画像処理が行われた画像データが最終画像データとして記録される。動きが検出されなかった場合、通常シャッター速度で撮影された画像データがそのまま最終画像データとして記録される。このようにして、ブレ画像の発生が回避される。

図４は、通常シャッター速度での撮影の場合と高シャッター速度での撮影の場合の画像のブレ量を比較したものである。高シャッター速度での撮影の場合のブレ量Ｘ_２は、通常シャッター速度での撮影の場合のブレ量Ｘ_１に比べて、Ｔ_２／Ｔ_１だけ減少する。この結果、通常シャッター速度で撮影すると画像にブレが生じる場合でも、高シャッター速度での撮影を行うことにより、画像のブレを無視できるくらい小さくできる。

図５は、通常シャッター速度での撮像の場合と高シャッター速度での撮像の場合の累積光量を比較したものである。この図から明らかなように、高シャッター速度での撮像の場合の累積光量Ｉ_２は、通常シャッター速度での撮像の場合の累積光量Ｉ_１に比べて、Ｔ_２／Ｔ_１だけ減少する。ここで、Ｔ_１とＴ_２は、各々、通常シャッター速度での露光期間と高シャッター速度での露光期間である。この結果、高シャッター速度で撮影された画像データは累積光量が不足するので、撮影画像が暗くなる。このため、後述のゲイン増倍処理を含む所定の信号処理が行われる。このゲイン増倍処理におけるゲイン増倍率は、好ましくは、ほぼＴ_１／Ｔ_２である。

図６は、プレビュー画像を用いた動き検出の動作を説明するための図で、（ａ）は動き検出点のフレーム上での配置例、（ｂ）は各動き検出点のマトリクス構成を示す。図５（ａ）を参照して、撮影開始直前のプレビュー画像の複数フレームを用いて、各フレームの所定の８点での動き量（変化量）Ｘ_ｎを測定する。図５（ｂ）を参照して、各点での動き量（変化量）Ｘ_ｎの検出は、注目点から所定の距離ＵＳＤＩＳＴ内の５×５のマトリクス画素データを用いて相関をとり相関の高い位置を見つけて、その位置のフレーム間での変化量を測定することによって行われる。Ｘ_ｎの測定結果が、
Ｘ_ｎ≧Ｘ_ｃ・・・・（１）

であれば、動きが検出された（手ブレがある）と判断して高シャッター速度での撮影を開始する。ここで、Ｘ_ｃは、経験とテストから得られる所定の定数である。Ｘ_ｎの測定結果が、
Ｘ_ｎ＜Ｘ_ｃ・・・・（２）

であれば、動きが検出されない（手ブレがない）と判断して通常シャッター速度での撮影を開始する。

図７は、ゲイン増倍処理を説明するための図で、（ａ）は緑（Ｇ）画素配置例、（ｂ）は赤（Ｒ）画素配置例、（ｃ）は青（Ｂ）画素配置例、を示す。ゲイン増倍処理はピクセルクラスタリングという方法を用いて行われる。即ち、注目画素とその隣接画素の画像データを加算処理して新しい画像データを生成し、この新しい画像データを注目画素の画像データと置き換えることによってゲイン増倍処理を行うものである。このゲイン増倍処理は図示された緑（Ｇ）画素、赤（Ｒ）画素、青（Ｂ）画素について各々、独立に行われる。このピクセルクラスタリング法は、ゲイン増倍だけでなく、空間フィルタリング効果によってノイズ除去も行われるという優れた利点を有するが、同時にその空間フィルタリング効果によって解像度を低下させるという欠点も有している。従って、高精細画像の撮影時には、このピクセルクラスタリング法に変えて、画像データに所定の増倍率をデジタル的に乗算するデジタル乗算法を用いてもよい。また、画像の精細度を検出し、その精細度に応じてピクセルクラスタリング法とデジタル乗算法を適応的に切り替えるという適応制御を行ってもよい。

以上詳述したように本発明の静止画像撮影の手ブレ回避方法によれば、高価なフレーム画像メモリのような特別なハードウェアを必要とせず、手ブレがあってもボケのない高品質の静止画像データを得ることができる。

なお、本発明の趣旨を逸脱しない範囲で種々の変形例が本発明に含まれることは勿論である。

例えば、本発明の実施例では、動き検出方法として、プレビュー画像を用いて動き検出を行ったが、加速度センサのような機械的な手段で動きを検出してもよい。

本発明の手ブレ回避システムを含む静止画像撮影システムの全体システムブロック図を示す。 本発明の手ブレ回避システムの動作を示すフローチャートを示す 静止画像撮影中に動き検出が行われる場合の手ブレ回避システムの動作シーケンスを示す。 通常シャッター速度での撮影の場合と高シャッター速度での撮影の場合の画像のブレ量の比較である。 通常シャッター速度での撮影の場合と高シャッター速度での撮影の場合の累積光量の比較である。 プレビュー画像を用いた動き検出の動作を説明するための図で、（ａ）は動き検出点の配置例、（ｂ）は各検出点の画素構成を示す。 ピクセルクラスタリングによるゲイン増倍処理を説明するための図で、（ａ）は緑画素の配置例、（ｂ）は赤画素の配置例、（ｃ）は青画素の配置例を示す。

符号の説明

１０１ 被写体
１０２ レンズ
１０３ シャッター
１０４ 固体撮像デバイス
１０５ ＡＤコンバータ
１０６ 画像データ処理ブロック
１０７ 動き検出ブロック
１０８ ＡＥ（自動露出）
１０９ 画像データ記録ブロック
１１０ プレビュー画像ディスプレー

Claims (12)

1. 静止画像撮影に先立って、所定の動き検出を行い、
   動きが検出されなかった場合には、通常シャッター速度での撮影を行い、獲得された画像データに対して通常の画像処理を行い、処理された画像データを記録デバイスに書き込み、
   動きが検出された場合には、通常シャッター速度より速い高シャッター速度での撮影を行い、獲得された画像データに対してゲイン増倍処理を含む所定の画像処理を行い、処理された画像データを記録デバイスに書き込む、
   ことを特徴とする静止画像撮影の手ブレ回避方法。
2. 上記所定の動き検出は、
   プレビュー画像を構成する複数フレーム間で所定位置の画像データの変化量を測定し、上記変化量が所定値以上である時に動きが検出されたとみなし、上記変化量が所定値以下である時に、動きが検出されなかったとみなす、
   ことを特徴とする請求項１の静止画像の手ブレ回避方法。
3. 上記高シャッター速度は、
   手ブレを生じない程度にまで速めたシャッター速度である、
   ことを特徴とする請求項１の静止画像の手ブレ回避方法。
4. 上記ゲイン増倍を含む所定の画像処理は、
   通常シャッター速度期間を高シャッター速度期間で除した値に実質的に等しい増倍率を有するゲイン増倍処理を含む、
   ことを特徴とする請求項１の静止画像の手ブレ回避方法。
5. 上記ゲイン増倍処理は、
   ピクセルクラスタリング法である、
   ことを特徴とする請求項１の静止画像撮影の手ブレ回避方法。
6. 上記ゲイン増倍処理は、
   上記画像データに上記増倍率をデジタル的に乗算するデジタル乗算法である、
   ことを特徴とする請求項１の静止画像撮影の手ブレ回避方法。
7. 上記ゲイン増倍処理は、
   撮影画像の精細度に応じて、上記ピクセルクラスタリング法と上記デジタル乗算法が適応的に切り替えられるものである、
   ことを特徴とする請求項１の静止画像撮影の手ブレ回避方法。
8. 撮像手段と、
   動き検出手段と、
   画像処理手段と、
   画像記録手段と
   を有し、
   静止画像撮影に先立って、上記動き検出手段で所定の動き検出を行い、
   動きが検出されなかった場合には、上記撮像手段で通常シャッター速度での撮影を行い、獲得された画像データに対して上記画像処理手段で通常の画像処理を行い、処理された画像データを上記画像記録手段に書き込み、
   動きが検出された場合には、上記撮像手段で通常シャッター速度より速い高シャッター速度での撮影を行い、獲得された画像データに対し上記画像処理手段でゲイン増倍を含む所定の画像処理を行い、処理された画像データを上記画像記録手段に書き込む、
   ことを特徴とする静止画像撮影の手ブレ回避装置。
9. 上記所定の動き検出は、
   プレビュー画像を構成する複数フレーム間で所定位置の画像データの変化量を測定し、上記変化量が所定値以上である時に動きが検出されたとみなし、上記変化量が所定値以下である時に、動きが検出されなかったとみなす、
   ことを特徴とする請求項８の静止画像撮影の手ブレ回避装置。
10. 上記ゲイン増強を含む所定の画像処理は、
    通常シャッター速度期間を高シャッター速度期間で除した値に実質的に等しい増倍率を有するゲイン増倍処理を含む、
    ことを特徴とする請求項８の静止画像撮影の手ブレ回避装置。
11. 通常シャッター速度で被写体を撮影し、初期画像データを獲得して記録し、
    所定の動き検出を行い、動きが検出された場合には、記録された前記初期画像データを削除し、前記通常シャッター速度より速い高シャッター速度で前記被写体を再撮影し、再度画像データを獲得し、
    前記再度獲得された画像データに対して所定の画像処理を行い、処理された前記画像データを最終画像データとして記録し、
    動きが検出されなかった場合には、前記初期画像データをそのまま最終画像データとして記録する
    静止画像撮影の手ブレ回避方法。
12. 撮像手段と、
    動き検出手段と、
    画像処理手段と、
    画像記憶手段と
    を有し、
    前記撮像手段により、通常シャッター速度で被写体を撮影し、初期画像データを前記画像記憶手段に記録し、
    前記動き検出手段は所定の動き検出を行い、動きが検出された場合には、記録された前記初期画像データを削除し、前記撮像手段により、前記通常シャッター速度より速い高シャッター速度で前記被写体を再撮影し、再度画像データを獲得し、
    前記画像処理手段により、前記再度獲得された画像データに対して所定の画像処理を行い、前記処理された画像データを最終画像データとして前記画像記憶手段に記録し、
    前記動き検出手段は所定の動き検出を行い、動きが検出されなかった場合には、前記初期画像データをそのまま最終画像データとして前記画像記憶手段に記録する
    静止画像撮影の手ブレ回避装置。

Images