JP2014207507A - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Abstract

【課題】撮影した動画像に大きな揺れが生じている場合にも揺れを補正可能であり、かつ、連続性のある動画像を得ることを可能にする。
【解決手段】本発明の動画撮影装置は、撮像された動画像データに含まれる各フレームの画像内から所定サイズの部分画像を切り取るとともに、この切り取った各部分画像の位置を検出された揺れ量に応じて調整することにより動画像データの揺れを補正する揺れ補正手段と、検出された揺れ量に応じて所定サイズを変化させる制御を実行する制御手段と、を具備し、制御手段は、第１の閾値以上の揺れ量が検出された第１のフレーム区間については、同じ第１のフレーム区間内のフレームに対応して検出された揺れ量に応じて所定サイズを決定する第１の制御を実行し、該第１のフレーム区間に隣接する第２のフレーム区間については、第１の制御とは異なる第２の制御を実行する。
【選択図】図３

Description

本発明は、動画撮影装置および動画像揺れ補正方法ならびにプログラムに関する。

デジタルカメラ、ビデオカメラ、動画撮影機能付き携帯カメラ等の撮影装置では、動画撮影時にイメージセンサから取得される画像の一部を切り出すとともに、この切り出された画像の位置を検出される手振れの方向や量に応じて調整することにより手振れを補正する電子式の手振れ補正機能を有するものがある。この電子式の手振れ補正機能は、イメージセンサの有効画素領域の周囲に補正可能な手振れ量に応じたサイズの余白領域を設ける必要があるが、記録される画像領域をなるべく大きく確保したいために補正可能な手振れ量が制限されている。このため、装置本体自身が大きく動作することや、装置本体を持った手を大きく動かしてしまうことで生じる、画面全体の大きなゆらぎは補正できないのが一般的である。

また、被写体を見失ったときに撮影者がしばしば行う被写体を探す行為は、画面を短時間にあわただしく大きく動かすので、撮影時の手振れ補正機能では補正しきれず、結果として、再生時に画像を視聴することは不快であり、無駄であった。また、この種の従来装置の中には、予め設定された切り出しサイズでは画像の揺れが補正できないような大きな揺れが生じた場合であっても、動的に切り出しサイズを縮小することで、大きな揺れを補正可能にする技術が開示されている（例えば、特許文献１参照）。

特開２００７−３００５８１号公報

しかしながら、上記従来装置では、撮影した動画像に大きな変化（揺れ）が生じて切り出しサイズを小さくした場合、この状態で切り出した画像のサイズを他のフレームの画像のサイズと合わせるために拡大処理を行うが、切り出しサイズの変化に応じて拡大率の変化が急激になることにより動画の連続性が損なわれるおそれがあった。

本発明は、上記した課題を解決するためになされたものであり、撮影した動画像に大きな揺れが生じている場合にも揺れを補正可能であり、かつ、連続性のある動画像を得ることを可能にする動画撮影装置および動画像揺れ補正方法ならびにプログラムを提供することを目的とする。

上記した課題を解決するため本発明の第１の観点による動画撮像装置は、動画像を撮像する撮像手段と、前記撮像手段により撮像された動画像データに含まれる各フレームの揺れ量を検出する検出手段と、前記撮像手段により撮像された動画像データに含まれる各フレームの画像内から所定サイズの部分画像を切り取るとともに、この切り取った各部分画像の位置を前記検出手段により検出された揺れ量に応じて調整することにより前記動画像データの揺れを補正する揺れ補正手段と、前記検出手段により検出された揺れ量に応じて前記所定サイズを変化させる制御を実行する制御手段と、を具備し、前記揺れ補正手段は、前記所定サイズで切り取った複数の部分画像のサイズを合わせるように、前記制御手段の制御による前記所定サイズの変化に応じて、前記所定サイズで切り取った各部分画像を拡大または縮小し、前記制御手段は、前記検出手段により第１の閾値以上の揺れ量が検出された第１のフレーム区間については、同じ第１のフレーム区間内のフレームに対応して前記検出手段により検出された揺れ量に応じて前記所定サイズを決定する第１の制御を実行し、該第１のフレーム区間に隣接する第２のフレーム区間については、同じ第２のフレーム区間ではなく前記第１のフレーム区間内のフレームに対応して前記検出手段により検出された揺れ量に応じて前記所定サイズを決定する前記第１の制御とは異なる第２の制御を実行することを特徴とする。

本発明の第２の観点による動画像揺れ補正方法は、撮像手段により撮像された動画像データの揺れ補正を行う動画像揺れ補正方法であって、前記撮像手段により撮像された動画像データに含まれる各フレームの揺れ量を検出する第１のステップと、前記撮像手段により撮像された動画像データに含まれる各フレームの画像内から所定サイズの部分画像を切り取るとともに、この切り取った各部分画像の位置を前記第１ステップにより検出された揺れ量に応じて調整することにより前記動画像データの揺れを補正する第２ステップと、前記第１ステップにより検出された揺れ量に応じて前記所定サイズを変化させる制御を実行する第３ステップと、を有し、前記第２ステップは、前記所定サイズで切り取った複数の部分画像のサイズを合わせるように、前記第３ステップの制御による前記所定サイズの変化に応じて、前記所定サイズで切り取った各部分画像を拡大または縮小し、前記第３ステップは、前記第１ステップにより第１の閾値以上の揺れ量が検出された第１のフレーム区間については、同じ第１のフレーム区間内のフレームに対応して前記第１ステップにより検出された揺れ量に応じて前記所定サイズを決定する第１の制御を実行し、該第１のフレーム区間に隣接する第２のフレーム区間については、同じ第２のフレーム区間ではなく前記第１のフレーム区間内のフレームに対応して前記第１ステップにより検出された揺れ量に応じて前記所定サイズを決定する前記第１の制御とは異なる第２の制御を実行することを特徴とする。

本発明の第３の観点による動画像揺れ補正プログラムは、動画像撮影装置のコンピュータによって実行され、撮像手段により撮像された動画像データに含まれる各フレームの揺れ量を検出する検出手段を備えた動画像撮影装置の動画像揺れ補正プログラムであって、コンピュータに、前記撮像手段により撮像された動画像データに含まれる各フレームの画像内から所定サイズの部分画像を切り取るとともに、この切り取った各部分画像の位置を前記検出手段により検出された揺れ量に応じて調整することにより前記動画像データの揺れを補正する揺れ補正処理と、前記検出手段により検出された揺れ量に応じて前記所定サイズを変化させる制御を実行する制御処理と、を実行させ、前記揺れ補正処理は、前記所定サイズで切り取った複数の部分画像のサイズを合わせるように、前記制御手段の制御による前記所定サイズの変化に応じて、前記所定サイズで切り取った各部分画像を拡大または縮小し、前記制御処理は、前記検出手段により第１の閾値以上の揺れ量が検出された第１のフレーム区間については、同じ第１のフレーム区間内のフレームに対応して前記検出手段により検出された揺れ量に応じて前記所定サイズを決定する第１の制御を実行し、該第１のフレーム区間に隣接する第２のフレーム区間については、同じ第２のフレーム区間ではなく前記第１のフレーム区間内のフレームに対応して前記検出手段により検出された揺れ量に応じて前記所定サイズを決定する前記第１の制御とは異なる第２の制御を実行することを特徴とする。

本発明によれば、撮影した動画像に大きな揺れが生じている場合にも、揺れを補正可能であり、かつ、連続性のある動画像を得ることを可能にする動画撮影装置および動画像揺れ補正方法ならびにプログラムを提供することができる。

本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。 本発明の第１実施形態によるデジタルカメラの制御部の構成を示すブロック図である。 本発明の第１実施形態によるデジタルカメラの揺れ補正処理を示す概念図である。 本発明の第１実施形態によるデジタルカメラの動画再生時の揺れ補正処理を示すフローチャートである。 本発明の第２実施形態によるデジタルカメラの動画撮影時の揺れ補正処理を示すフローチャートである。

以下、添付図面を参照して、本発明を実施するための形態（以下、本実施形態という）について詳細に説明する。なお、本実施形態の説明の全体を通して同じ要素には同じ番号を付している。なお、本実施形態の説明の全体を通して同じ要素には同じ番号を付している。本実施形態は、デジタルカメラに限らず、ビデオカメラ、動画撮影機能付きの携帯電話装置などに適用される。

（第１実施形態）
（第１実施形態の構成）
図１は、本発明の一実施形態によるデジタルカメラ１の構成を示すブロック図である。図１において、画像取得部１０は、レンズ１１、シャッタ１２、ＬＰＦ１３からなる。レンズ１１は、通常の光学レンズであり、非球面レンズを重ねたレンズ群からなる。シャッタ１２は、シャッタボタンが操作されると、制御部２０によって駆動されるドライバ１４により動作する、所謂メカニカルシャッタである。なお、デジタルカメラによっては、メカニカルシャッタを備えない場合もあり、沈胴式のレンズ構造、メカニカルズームを搭載する機種の場合、これらの駆動制御もドライバ１４で行う。ＬＰＦ１３は、水晶ローパスフィルタであり、モアレの発生を防ぐために搭載されている。

次に、アナログ信号処理部１５は、撮像センサ（ＣＣＤ，ＣＭＯＳ）１６、サンプリング／信号増幅処理部１７、Ａ／Ｄコンバータ１８からなる。撮像センサ１６は、被写体画像（イメージ）を結像し、ＲＧＢの各色の光の強さを、電流値に変換する。サンプリング／信号増幅処理部１７は、ノイズや色むらを抑えるための相関二重サンプリング処理や信号増幅処理を行う。Ａ／Ｄコンバータ１８は、アナログフロントエンドとも呼ばれ、サンプリング・増幅したアナログ信号をデジタル信号に変換する（ＲＧＢ，ＣＭＹＧ各色について１２ｂｉｔデータに変換してバスラインに出力する）。

次に、制御部（ＣＰＵ）２０は、後述するプログラムメモリ格納されるプログラムに従ってデジタルカメラ１（撮影装置）の全体を制御する。本実施形態において、制御部２０は、図２に示すように、揺れ量検出部２１０と、揺れ補正部２２０を有する。
揺れ量検出部２１０は、例えば、後述の画像メモリ３１に記憶されている撮影済み動画像データを再生する前の段階で、該動画像データに含まれる各フレームの揺れ量を検出する。揺れ補正部２２０は、撮像手段により撮像された動画像データに含まれる各フレームの画像内から所定サイズの部分画像を切り取るとともに、この切り取った各部分画像の位置を揺れ量検出部２１０により検出された揺れ量に応じて調整することにより動画像データの揺れを補正する。制御部２０は、揺れ量検出部２１０により検出された揺れ量に応じて所定サイズを変化させる制御を実行する。
また、揺れ補正部２２０は、所定サイズで切り取った複数の部分画像のサイズを合わせるように、補正部２０の制御による所定サイズの変化に応じて、所定サイズで切り取った各部分画像を拡大または縮小する。
制御部２０は、揺れ量検出部２１０により第１の閾値以上の揺れ量が検出された第１のフレーム区間については、同じ第１のフレーム区間内のフレームに対応して揺れ量検出部２１０により検出された揺れ量に応じて所定サイズを決定する第１の制御を実行する。また、制御部２０は、該第１のフレーム区間に隣接する第２のフレーム区間については、同じ第２のフレーム区間ではなく前記第１のフレーム区間内のフレームに対応して揺れ量検出部２１０により検出された揺れ量に応じて所定サイズを決定する第１の制御とは異なる第２の制御を実行する。さらに、制御部２０は、第１の閾値未満の揺れ量が検出された第３のフレーム区間については、揺れ量検出部２１０により検出された揺れ量に応じたサイズではなく、予め決められた固定サイズを所定サイズとして決定する第１の制御および第２の制御のいずれとも異なる第３の制御を実行する。

プレビューエンジン２２は、録画モード（記録モード、撮影モードともいう）において、画像取得部１０、アナログ信号処理部１５を介して入力されたデジタルデータ、もしくはシャッタ操作検出直後、イメージバッファ２６に格納されたデジタルデータ、および、画像メモリ３１に格納されたデジタルデータを表示部２５に表示させるために間引き処理を行う。Ｄ／Ａコンバータ２３は、プレビューエンジン２２により間引き処理されたデジタルデータを変換し、後段のドライバ２４に出力する。

ドライバ２４は、後段の表示部２５に表示されるデジタルデータを一時記憶するバッファ領域を備え、キー操作部２７、制御部２０を介して入力された制御信号に基づいて表示部２５を駆動させる。表示部２５は、カラーＴＦＴ液晶や、ＳＴＮ液晶などからなり、プレビュー画像や、撮影後の画像データ、設定メニューなどを表示する。

イメージバッファ２６は、アナログ信号処理部１５、もしくはデジタル信号処理部２８を介して入力され、デジタル信号処理部２８に渡すまで一時的に撮影直後のデジタルデータを格納する。キー操作部２７は、シャッタボタンや、記録／再生モード選択スライドスイッチ、メニューボタン、十字キー（中央押しで決定）などからなる。

デジタル信号処理部２８は、アナログ信号処理部１５を介して入力されたデジタルデータに対して、ホワイトバランス処理、色処理、階調処理、輸郭強調、ＲＧＢ形式からＹＵＶ形式への変換、ＹＵＶ形式からＪＰＥＧ形式への変換を行う。画像圧縮／伸張処理部２９は、デジタル信号処理部２８を介して入力されたデジタルデータをＪＰＥＧ方式に圧縮符号化したり、モーションＪＰＥＧ形式の動画ファイルを生成したり、モーションＪＰＥＧ形式の動画ファイルをＭＰＥＧ形式の動画ファイルに変換したり、再生モードにおいては、ＪＰＥＧ形式、モーションＪＰＥＧ形式、あるいはＭＰＥＧ形式の動画ファイルを伸張したりする。

プログラムメモリ３０は、制御部２０にロードされる各種プログラムや、ベストショット機能におけるＥＶ値、色補正情報などを格納する。画像メモリ３１は、イメージバッファ２６に一時的に保持された画像データや、各種ファイル形式に変換されたデジタルデータ、動画データなどを格納する。カードＩ／Ｆ３２は、外部記録媒体３３とデジタルカメラ本体との間のデータ交換を制御する。

外部記録媒体３３は、コンパクトフラッシュ（登録商標）、メモリースティック、ＳＤカード等からなる着脱可能な記録媒体である。外部接続用Ｉ／Ｆ３４は、ＵＳＢコネクター用スロットなどからなり、パーソナルコンピュータなどと接続され、撮影した画像データの転送などに用いられる。ＲＡＭ３５は、制御部（ＣＰＵ）２０の制御に必要な各種パラメータや、夜景撮影時の各種パラメータ（ゲイン（ＩＳＯ感度）、絞り、シャッタスピード、画像合成のための閾値、重みなど）などを記憶する。

（第１実施形態の動作）
以下、図３、図４を参照して図１に示す本実施形態によるデジタルカメラ１の動作について詳細に説明する。まず、図３に示す概念図を参照して本実施形態の動画像揺れ補正の概略について説明する。図３（Ａ）は補正対象となる動画像データに含まれる各フレームの揺れ量を示すタイムチャートを示している。なお、この補正対象の動画像データの揺れ量は、例えば、後述する揺れ量検出部２１０（図２参照）により検出される。すなわち、揺れ量検出部２１０は、当該動画像データのあるフレーム区間におけるメインの被写体の移動量、背景にある建物や山等の移動量等を総合的に加味して検出される。図３（Ｂ）は、図３（Ａ）に示す動画像データの揺れ補正時の切り出し余白サイズのタイムチャートを示している。図３（Ａ）においては、上記タイムチャートに引き出し線を引いて、当該引き出し線の起点のタイミングにおける切り出し前のフレーム画像Ｇ１〜Ｇ７を例示している。また、図３（Ｃ）は、図３（Ａ）に示す動画像データの揺れ補正時のデジタルズーム倍率のタイムチャートを示している。図３（Ｃ）においては、上記タイムチャートに引き出し線を引いて、該引き出し線の起点のタイミングで切り出された画像Ｇ２１〜Ｇ２７を例示している。

図３（Ａ）において、補正対象の動画像データ（例えば、画像メモリ３１に記憶されている動画像データ）は、閾値として予め設定された揺れ量である第１閾値、及び第２閾値と比較される。ここで、第１閾値は、例えば、フレーム画像Ｇ１のように被写体（この例では、野球の打者）が中央部にある状態から、フレーム画像Ｇ４のように被写体がフレームの右端に移動した状態となる揺れであることを特定可能な揺れ量に相当する値（但し、後述する第２閾値より小さい）である。また、第２閾値は、例えば、フレーム画像Ｇ１の撮像状態から、フレーム画像Ｇ６のように被写体がフレーム外に外れてしまうような揺れを特定可能な揺れ量に相当する値である。

上述した第１閾値及び第２閾値が設定されている時に、補正対象の動画像データ中、第１閾値未満の揺れが検出されているフレーム区間（例えば、時間ｔ０より前のフレーム区間）が特定されると、当該フレーム区間（特許請求の範囲に合わせ、便宜的に、第３のフレーム区間という）の揺れ量に拘わらず、各フレームから固定サイズで被写体周辺の画像を切り出し、そのままのサイズで位置調整を行うだけの揺れ補正を行う。一例として、図３では、時間ｔ０より前のフレーム区間において、例えば、揺れが生じていないフレーム画像Ｇ１も、右に少し揺れているフレーム画像Ｇ２も、ともに、同じサイズの画像Ｇ２１、Ｇ２２として切り出され、位置調整を経て揺れ補正されている。なお、この揺れ補正処理は一般的に行われている処理である。

また、補正対象の動画像データ（図３（Ａ）参照）中、第１閾値以上で第２の閾値未満の揺れが検出されているフレーム（時間ｔ１とｔ２の間のフレーム）が特定されると、当該フレーム区間（便宜的に第１のフレーム区間という）の揺れ補正を行うべく、例えば、フレーム画像Ｇ４中、右端に揺れてしまった被写体付近の画像が当該第１のフレーム区間（時間ｔ１とｔ２の区間）の揺れ量に対応するサイズで小さく切り出され（図３（Ｂ）参照）、当該切り出された画像が、例えば、切り出したサイズの３倍のサイズに拡大されたうえで（図３（Ｃ）参照）、位置調整されて揺れ補正される。また、制御部２０は、本実施形態では、第１閾値以上で第２閾値未満の揺れ量が検出されている第１のフレーム区間が特定されると、当該第１のフレーム区間の揺れ量に応じて、当該第１のフレーム区間の前後のフレーム区間（時間ｔ０とｔ１の間、及び時間ｔ２とｔ３の間）の長さを変更する処理が行われる。そして、制御部２０は、この長さが変更された前後のフレーム区間（便宜的に第２のフレーム区間という）の双方で、例えば、第１のフレーム区間に近づくほどその時のフレームから切り出した画像のサイズ（最大、第１のフレーム区間のサイズ）が徐々に大きくなるように、言い換えれば、第１のフレーム区間から遠ざかるほどサイズ（最少、第３フレーム区間のサイズ）が徐々に小さくなるように所定サイズを変化させる制御を第２の制御として実行する。この処理により、時間ｔ０から時間ｔ１までの第２のフレーム区間では、各フレームから切り出された画像が１倍から３倍まで徐々に大きなサイズに調整され（この例では、フレーム画像Ｇ３から切り出された画像が２倍のサイズの画像Ｇ２３に調整されている）、次いで、制御部２０は、時間ｔ１から時間ｔ２までの第１のフレーム区間では、各フレームから切り出した画像を３倍のサイズに維持し、更に、時間ｔ２から時間ｔ２までの第２のフレーム区間では、各フレームから切り出した画像を３倍から２倍まで徐々に小さいサイズに調整する。その結果、時間ｔ０から時間ｔ３までを通して、切り出し画像のサイズが緩やかに変化し、連続性が保たれる。

また、第２閾値以上の揺れ量が検出されているフレーム区間（時間ｔ４とｔ５の区間）が特定されると、当該フレーム区間（便宜的に第４のフレーム区間という）では、例えば、フレーム画像Ｇ６のように被写体がフレーム外となるほどズレ込んでいるため、被写体の領域を切り出してサイズ調整することでの揺れ補正は行えない。この場合には、制御部２０は、揺れ補正部２２０による揺れ補正を行う代わりに、当該第４のフレーム区間内の各フレームを破棄するとともに、前のフレーム区間のフレーム画像Ｇ５、あるいは、後ろのフレーム区間のフレーム画像Ｇ７から画像を切り出し、該切り出し画像Ｇ２６を倍率は等倍（１倍）のまま上記切り出したフレーム区間の画像として埋め込んで補間するフレーム補間処理を行う。このフレーム補間処理によれば、被写体が存在しない無駄な画像の再生をなくして、不自然な再生を回避できる。

図３に基づく揺れ補正の概略説明を踏まえ、以下、本実施形態による揺れ補正処理動作を詳細に説明する。図４は本実施形態による動画再生時における補正処理動作を示すフローチャートである。デジタルカメラ１（図１参照）のキー操作部２７においてユーザが動画再生モードを設定し、再生対象の動画像を選んで再生開始の操作を行うと、制御部２０は、当該選択された動画像データを画像メモリ３１から読み出して、一旦、イメージバッファ２６に記憶させる。その後、制御部２０は、図４のステップＳ１１２で動画像データを再生するまでの間に、揺れ量検出部２１０と揺れ補正部２２０とにより、上記イメージバッファ２６に記憶されている再生画像データに対する揺れ補正処理を実行する。なお、この揺れ補正処理を行うに当たり、揺れ量の大きさを判定するための第１閾値と第２の閾値とが予め設定されている。ここで、第１閾値、第２閾値は図３で例示したものである。なお、第１閾値は、各フレームから、固定サイズの画像を切り取り、該切り取った画像の位置を調整するだけの通常の揺れ補正処理（ステップＳ１０３参照）では補正しきれない揺れ量に対応する値である。また、第２の閾値は、第１閾値より大きく、例えば、撮影者が被写体を見失って、見つけようとするために一瞬画像が大きく乱れる時の揺れや、意図せずに撮影者の指が触れたり、一連の画像とは無関係な画像が突然撮影される場合の揺れに相当する値である。

揺れ補正処理が開始されると、揺れ量検出部２１０は、イメージバッファ２６から再生対象の動画像データを読み出し、揺れ量検出のために着目する着目フレームを順に読み出しながら、当該着目フレームと前後の複数フレームとの画像比較により各着目フレームの揺れ量を算出する（ステップＳ１０１）。

揺れ補正部２２０は、揺れ量検出部２１０により算出（検出）された揺れ量を監視し、予め設定された第１閾値未満の揺れ量が検出されたフレーム期間がある否かをチェックする（ステップＳ１０２）。ここで、制御部２０は、第１閾値未満の揺れ量が検出されたフレーム期間がなかった場合（ステップＳ１０２でＮＯ）、ステップＳ１０４に進む。これに対して、第１閾値未満の揺れ量が検出されたフレーム期間があった場合（ステップＳ１０２でＹＥＳ）、当該フレーム期間内の各フレームについて、予め固定的に決められている切り取り余白サイズで画像を切り取るとともに、他のフレームに合わせて位置を調整する（ステップＳ１０３）。この揺れ補正処理は、揺れが小さい動画像に対して通常適用される処理である。

次に、揺れ補正部２２０は、揺れ量検出部２１０により検出（算出）された揺れ量が第１閾値以上で第２閾値未満のフレーム期間があるか否かをチェックする（ステップＳ１０４）。ここで、第１閾値以上で第２閾値未満の揺れ量が検出されたフレーム期間がなかった場合（ステップＳ１０４でＮＯ）、後述するステップＳ１１０の処理に進む。これに対し、制御部２０は、第１閾値以上で第２閾値未満の揺れ量が検出されたフレーム期間があった場合（ステップＳ１０４でＹＥＳ）、当該フレーム期間内の各フレームの揺れ量に基づいて切り取り余白サイズを決定する（ステップＳ１０５）。次に、制御部２０は、当該フレーム期間内の各フレームについて、上記ステップＳ１０５で揺れ量が第１閾値以上で第２閾値未満であることが検出されフレーム期間の揺れ量に応じて決定した切り取り余白サイズで画像を切り取るとともに、該画像の位置とサイズを他のフレームに合わせて（他のフレームの画像の位置とサイズとのバランスをとって）調整する（ステップＳ１０６）。

更に、制御部２０は、当該フレーム期間内の最大揺れ量を検出し、該検出した最大揺れ量に基づいて当該フレーム期間の前後に設ける所定期間の長さを設定する（ステップＳ１０７）。制御部２０は、該設定された所定期間内において、切り取り余白サイズが徐々に変化するように設定する（ステップＳ１０８）。そのうえで、制御部２０は、ステップＳ１０８で設定された所定期間内の各フレームについて、徐々に変化する切り取り余白サイズで各画像を切り取るとともに、他のフレームに合わせて位置とサイズを調整する（ステップＳ１０９）。

以上のようにして、第１閾値以上で第２閾値未満の揺れ量が検出されたフレーム期間の揺れ補正（ステップＳ１０５〜Ｓ１０９）が行われた後、上記ステップＳ１０１において検出された揺れ量が第２閾値以上のフレーム期間があるか否かをチェックする（ステップＳ１１０）。ここで、制御部２０は、第２閾値以上の揺れ量が検出されているフレーム期間があると判定されると（ステップＳ１１０でＹＥＳ）、当該揺れ量が第２閾値以上のフレーム期間内の各フレームを破棄し、破棄したフレームの画像を、前後のフレームの画像に基づいて補間する処理を行う（ステップＳ１１１）。

以上のようにして、第１閾値未満の揺れ量、第１閾値以上第２閾値未満の揺れ量、第２閾値以上の揺れ量の揺れがそれぞれ補正（ステップＳ１０３、Ｓ１０５〜Ｓ１０９、Ｓ１１１）されたイメージバッファ２６内の揺れ補正画像データは、ドライバ２４に送られる。ドライバ２４は、送られてきたデータをバッファ領域に一時記憶し、当該バッファ領域から揺れ補正後の動画像データを読み出して表示部２５に再生動画像として表示する（ステップＳ１１２）。なお、上記ステップＳ１１１までの揺れ補正処理により揺れが補正された画像データを画像メモリ３１に戻し（記憶し）、その後、当該揺れ補正済の動画像データを画像メモリ３１から直接読み出して再生するようにしても良い。

（第１実施形態の効果）
以上説明したように、本実施形態による動画像撮影装置（デジタルカメラ１）によれば、制御手段（揺れ補正部２２０）は、図４に示すように（ステップＳ１０４〜Ｓ１０９参照）、検出手段（揺れ量検出部２１０）により第１の閾値以上で第２の閾値未満の揺れ量が検出された第１のフレーム区間を特定し、第１のフレーム区間と該第１のフレーム区間の前後の第２のフレーム区間とを対象に、第１と第２のフレーム区間のフレームから検出手段により前記第１のフレーム区間について検出された揺れ量に対応するサイズに画像を切り取るとともに、該切り取った画像の位置及びサイズを他のフレームに合わせて調整する第１の揺れ補正処理を行う。このように、大きな揺れを検出したフレームだけではなく、その前後のフレームについても揺れ補正を行うことにより、大きな揺れを検出したフレームを小さく切り出した後、大きな倍率で拡大することにより揺れの補正を行う従来装置（第１引用文献参照）において顕著であった、大きな揺れを補正したフレーム区間での、切り取りサイズの変化に応じた拡大率の急激な変化に起因する動画の連続性を損なうという問題を回避できるようになる。

本発明によれば、更に以下に列挙する効果が得られる。
（１）一瞬被写体がフレームから消えてしまいその後に被写体が捕捉されるように大きな揺れに対して、当該フレームを被写体が存在する隣接するフレームから切り出した画像で補間することにより、自然な再生画像を見ることができる。
（２）第１のフレーム区間の振れ量に応じて第２のフレーム区間の長さを変更し、緩やかにサイズが変化する自然な再生画像を視聴できる。
（３）撮影済の動画画像の再生時、あるいは、動画像の撮影時のいずれの場合でも本実施形態の揺れ補正を適用できる。撮影時に揺れ補正して画像メモリに蓄えておくことで、再生時に揺れ補正の処理が不要となる。
（４）画像がゆっくりと一方へ移動した後、再び画像が大きくゆっくりと逆方向に移動するような揺れであって、通常撮影時にリアルタイムで揺れ補正できない揺れも補正できる。

（第１実施形態の変形例１）
なお、第１実施形態では、第１のフレーム区間において、揺れ量検出部２１０により検出された当該第１のフレーム区間の揺れ量に基づいて切り取り余白サイズで画像を切り取る例を挙げているが、動画像再生時、ユーザが上記切り取り余白サイズ（縮小レベル：ブレ補正レベル）をユーザが任意に設定できるように構成しても良い。この構成については、例えば、動画生成モードを設定した後、再生開始操作の前（ステップＳ１０１に移行する前）に、表示部２５に設定画面を表示し、該設定画面を用いて上記設定の指示を受けるようにすることで実現できる。かかる構成によれば、揺れ量が大きい区間の揺れ補正に際してサイズの変動をユーザが任意に設定できる。

（第１の実施形態の変形例２）
また、第２の実施形態の変形例１に示した上記設定画面において、大きな揺れ（上記第１閾値に相当する揺れ）の動画像を対象とする揺れ補正を行うか否か、無駄画像（上記第２閾値に対応する揺れを有する画像）を対象とする揺れ補正を行うか否かを設定できるようにしても良い。なお、これらの補正を実行するか否かを設定する処理は、動画像の撮影時に実施する構成とすることもできる。かかる構成によれば、補正対象の揺れの種別をユーザが任意に設定できる。

（第２の実施形態）
（第２の実施形態の構成）
上述した第１実施形態では、動画像の再生時に揺れ補正処理を行う例について開示したが、第２の実施形態では、動画像の撮影時に揺れ補正処理を行うものである。動画像の撮影時に揺れ補正を行う場合、補正対象が上記実施形態で述べた撮影済動画像データから撮影中の動画像データに変わるだけであり、制御部２０の構成は、当該動画像データの揺れ補正処理に図２に示す構成により対応できる。本実施形態によるデジタルカメラ１のその他の構成も図１と同様である。

（第２の実施形態の動作）
図５は本実施形態による動画撮影時における揺れ補正処理動作を示すフローチャートである。以下、図５を参照して本実施形態の揺れ補正処理について説明する。動画像を撮影するためには、動画像撮影モードにしたうえで、撮影開始の操作を行う。撮影開始の操作が行われると、撮像センサ１６により撮像された動画像の光電変換出力が、サンプリング／信号増幅処理部１７によりサンプリング・増幅処理され、更にＡ／Ｄコンバータ１８によりデジタル変換されてバスラインに出力される。本実施形態において、制御部２０は、Ａ／Ｄコンバータ１８から出力されるデジタル信号（動画像データ）を画像メモリ３１に格納する前にイメージバッファ２６に一時蓄え、該蓄えた動画像データに対して図５に示す揺れ補正処理を行う。なお、この補正処理を行うにあたり、上記第１実施形態と同様、第１閾値、第２閾値が予め設定されているものとする。

本実施形態において、揺れ補正処理が開始されると、揺れ量検出部２１０は、イメージバッファ２６からデジタル信号処理部２８等を経て画像メモリ３１に渡す前の動画像データ（撮影中の動画像データ）を読み出し、揺れ量検出のために着目する着目フレームを順に読み出しながら、当該着目フレームと前後の複数フレームとの画像比較により各着目フレームの揺れ量を算出する（ステップＳ２０１）。その後、揺れ補正部２２０は、揺れ量検出部２１０により算出（検出）された揺れ量を監視し、予め設定された第１閾値未満の揺れ量が検出されたフレーム期間、第１閾値以上で第２閾値未満の揺れ量が検出されたフレーム期間、第２閾値以上の揺れ量が検出されたフレーム期間をそれぞれ特定し、これら各区間のフレームを対象に、ステップＳ２０２〜Ｓ２１１の揺れ補正処理を実施する。ここで、ステップＳ２０２〜Ｓ２１１の処理は第１実施形態（図４参照）におけるステップＳ１０２〜Ｓ１１１の処理と同様であり、その詳しい説明は割愛する。図５のステップＳ２１１において、第２閾値以上の揺れ量が検出されたフレーム期間に対する画像の補間処理が実施された後、当該揺れ補正（サイズ、位置等の調整）後の動画像データに基づきデジタル信号処理部２８でのデジタル信号処理等を経て揺れ補正済み動画像データを生成し、該揺れ補正済み動画像データを画像メモリ３１に記憶させる（ステップＳ２１２）。

（第２実施形態の効果）
以上説明したように、第２実施形態による動画撮影装置（デジタルカメラ１）よれば、動画像の撮影時、撮影された動画像データを画像メモリ３１に記憶させる前にバッファリングして揺れ補正を行う。撮影時に大きな揺れのある動画像が撮影されても、該揺れを補正した動画像を画像メモリに記憶でき、当該動画像データの再生時には、揺れ補正処理を行うことなく大きな揺れのない画像を再生できる。

（第３実施形態）
（第３実施形態の構成）
上述した第１実施形態、第２の実施形態では、動画像の再生時、あるいは撮影時に、揺れ補正対象の動画像データから各フレームの揺れ量を検出しているが、第３の実施形態では、装置本体部の揺れ量（振動）を検出する加速度／ジャイロセンサ等の検出器と、撮像手段により撮像された動画像データ内の各フレーム毎に、検出器により検出された揺れ量を関連付けて記憶させる関連付け手段とを具備する。そして、揺れ量の関連付けられている動画像データを再生する際、制御部２０の揺れ量検出部２１０は、該動画像データに関連付けられている各フレームの揺れ量を読み出して当該画像データの各フレームの揺れ量をそれぞれ検出する。そして、その後、揺れ補正部２２０は読み出された揺れ量に基づいて、例えば、第１閾値未満の揺れ量が検出されたフレーム期間、第１閾値以上で第２閾値未満の揺れ量が検出されたフレーム期間、第２閾値以上の揺れ量が検出されたフレーム期間をそれぞれ特定して揺れ補正処理を行う。

（第３実施形態の効果）
このように、第３実施形態では、撮像手段（撮像センサ１６）により撮像された動画像データに、装置（デジタルカメラ１）本体部の揺れ量を検出する検出器により検出された揺れ量を関連付けて記憶させ、検出手段（揺れ量検出部２１０）は、動画像データに関連付けられた（装置本体の）揺れ量に基づき補正対象の動画像データの揺れ量を検出することを特徴とする。本実施形態の構成によれば、ジャイロセンサ等の揺れ検知センサを用いて大きな揺れを補正した画像の再生が行える。

なお、本実施形態による動画像揺れ補正方法は、例えば、図１に示すデジタルカメラ１に適用される。そして、その動画像揺れ補正方法は、例えば、図４において、デジタルカメラ１の撮像手段（撮像センサ１６）により撮像された動画像データの揺れ量を検出する第１のステップ（図４のステップＳ１０１）と、第１のステップにより所定の第１の閾値以上で所定の第２の閾値未満の揺れ量が検出された第１のフレーム区間を特定し、第１のフレーム区間と該第１のフレーム区間の前後の第２のフレーム区間とを対象に、第１及び第２のフレーム区間のフレームから第１のステップにより第１のフレーム区間について検出された揺れ量に対応するサイズに画像を切り取るとともに、該切り取った画像の位置及びサイズを他のフレームに合わせて調整する揺れ補正処理を行う第２のステップ（図４のステップＳ１０４〜Ｓ１０９）と、を有する。このように、大きな揺れが検出されたフレームだけでなく、その前後のフレームについても揺れ補正を行う。このため、撮影した動画像に大きな揺れが生じている場合にも、補正のために切り出した画像の拡大率が急変することなく、連続性のある動画像の視聴を可能にする動画撮影方法を提供することができる。

また、本実施形態による動画像揺れ補正プログラムは、デジタルカメラ１の、例えば、プログラムメモリ３０に実装され、コンピュータ（例えば、図１の制御部２０）によって実行されるプログラムである。そして、そのプログラムは、コンピュータに、デジタルカメラ１の撮像手段（撮像センサ１６）により撮像された動画像データの揺れ量を検出する処理（図４のステップＳ１０１）、検出処理により所定の第１の閾値以上で所定の第２の閾値未満の揺れ量が検出された第１のフレーム区間を特定し、第１のフレーム区間と該第１のフレーム区間の前後の第２のフレーム区間とを対象に、前記第１と第２のフレーム区間のフレームから検出処理により第１のフレーム区間について検出された揺れ量に対応するサイズに画像を切り取るとともに、該切り取った画像の位置及びサイズを他のフレームに合わせて調整する揺れ補正処理（図４のステップＳ１０４〜Ｓ１０９）とを実行させる。デジタルカメラ１では、制御部１０（揺れ量検出２１０、及び揺れ補正部２２０）が上記プログラムを読み出して、第１の閾値以上で第２の閾値未満の揺れ量が検出された第１のフレーム区間と前後の第２のフレーム区間とを対象に、各フレームから、第１のフレーム区間について検出された揺れ量に対応するサイズに画像を切り取るとともに、該切り取った画像の位置及びサイズを他のフレームに合わせて調整する揺れ補正処理を実行する。これにより、撮影した動画像に大きな揺れが生じている場合にも、補正のために切り出した画像の拡大率が急変することなく、連続性のある動画像の視聴を可能にする動画撮影プログラムを提供することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またその様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

以下に、本願出願時の特許請求の範囲を付記する。
[請求項１]
動画像を撮像する撮像手段と、
前記撮像手段により撮像された動画像データに含まれる各フレームの揺れ量を検出する検出手段と、
前記撮像手段により撮像された動画像データに含まれる各フレームの画像内から所定サイズの部分画像を切り取るとともに、この切り取った各部分画像の位置を前記検出手段により検出された揺れ量に応じて調整することにより前記動画像データの揺れを補正する揺れ補正手段と、
前記検出手段により検出された揺れ量に応じて前記所定サイズを変化させる制御を実行する制御手段と、
を具備し、
前記揺れ補正手段は、
前記所定サイズで切り取った複数の部分画像のサイズを合わせるように、前記制御手段の制御による前記所定サイズの変化に応じて、前記所定サイズで切り取った各部分画像を拡大または縮小し、
前記制御手段は、
前記検出手段により第１の閾値以上の揺れ量が検出された第１のフレーム区間については、同じ第１のフレーム区間内のフレームに対応して前記検出手段により検出された揺れ量に応じて前記所定サイズを決定する第１の制御を実行し、該第１のフレーム区間に隣接する第２のフレーム区間については、同じ第２のフレーム区間ではなく前記第１のフレーム区間内のフレームに対応して前記検出手段により検出された揺れ量に応じて前記所定サイズを決定する前記第１の制御とは異なる第２の制御を実行することを特徴とする動画撮影装置。
[請求項２]
前記制御手段は、
前記第１の閾値未満の揺れ量が検出された第３のフレーム区間については、前記検出手段により検出された揺れ量に応じたサイズではなく、予め決められた固定サイズを前記所定サイズとして決定する前記第１の制御および前記第２の制御のいずれとも異なる第３の制御を実行する
ことを特徴とする請求項１記載の動画撮影装置。
[請求項３]
前記制御手段は、
前記第１のフレーム区間について検出された前記揺れ量に応じて前記第２のフレーム区間の長さを変更することを特徴とする請求項１または２記載の動画撮影装置。
[請求項４]
前記制御手段は、
前記第２のフレーム区間については、前記所定サイズを前記第１のフレーム区間に近づくほど徐々に大きくなり、遠ざかるほど徐々に小さくなるように変化させる制御を前記第２の制御として実行することを特徴とする請求項３記載の動画撮影装置。
[請求項５]
前記検出手段により前記第１の閾値以上で第２の閾値未満の揺れ量が検出されたフレーム区間を前記第１のフレーム区間、前記第２の閾値以上の揺れ量が検出されたフレーム区間を第４のフレーム区間とし、
この第４のフレーム区間内については、前記揺れ補正手段による揺れ補正を行う代わりに、この第４のフレーム区間内の各フレームを破棄し、隣接するフレームの画像で補間するフレーム補間手段を更に備えたことを特徴とする請求項１乃至４のいずれか１つに記載の動画撮影装置。
[請求項６]
装置本体部の揺れ量を検出する検出器と、
前記撮像手段により撮像された動画像データに、前記検出器により検出された揺れ量を関連付けて記憶させる関連付け手段と
を更に具備し、
前記検出手段は、前記関連付け手段により前記動画像データに関連付けられた前記揺れ量に基づき当該動画像データの揺れ量を検出することを特徴とする請求項１乃至５のいずれかに記載の動画撮影装置。
[請求項７]
前記揺れ補正手段は、
記憶部に記憶されている前記動画像データに対して前記揺れ補正処理を行い、
前記制御手段は、
前記記憶部に記憶されている前記動画像データに対して前記揺れ補正手段が前記揺れ補正処理を行う際に前記検出手段により検出された揺れ量に応じて前記所定サイズを変化させる制御を実行することを特徴とする請求項１乃至６のいずれか１つに記載の動画撮影装置。
[請求項８]
前記揺れ補正手段は、
前記記憶部に記憶されている前記動画像データ全体を再生する際に前記揺れ補正処理を行うことを特徴とする請求項７記載の動画撮影装置。
[請求項９]
前記揺れ補正手段は、
前記撮像手段による撮像中に前記記憶部に記憶する前に一時記憶される前記動画像データを対象に前記揺れ補正処理を行うことを特徴とする請求項７記載の動画撮影装置。
[請求項１０]
撮像手段により撮像された動画像データの揺れ補正を行う動画像揺れ補正方法であって、
前記撮像手段により撮像された動画像データに含まれる各フレームの揺れ量を検出する第１のステップと、
前記撮像手段により撮像された動画像データに含まれる各フレームの画像内から所定サイズの部分画像を切り取るとともに、この切り取った各部分画像の位置を前記第１ステップにより検出された揺れ量に応じて調整することにより前記動画像データの揺れを補正する第２ステップと、
前記第１ステップにより検出された揺れ量に応じて前記所定サイズを変化させる制御を実行する第３ステップと、
を有し、
前記第２ステップは、
前記所定サイズで切り取った複数の部分画像のサイズを合わせるように、前記第３ステップの制御による前記所定サイズの変化に応じて、前記所定サイズで切り取った各部分画像を拡大または縮小し、
前記第３ステップは、
前記第１ステップにより第１の閾値以上の揺れ量が検出された第１のフレーム区間については、同じ第１のフレーム区間内のフレームに対応して前記第１ステップにより検出された揺れ量に応じて前記所定サイズを決定する第１の制御を実行し、該第１のフレーム区間に隣接する第２のフレーム区間については、同じ第２のフレーム区間ではなく前記第１のフレーム区間内のフレームに対応して前記第１ステップにより検出された揺れ量に応じて前記所定サイズを決定する前記第１の制御とは異なる第２の制御を実行することを特徴とする動画像揺れ補正方法。
[請求項１１]
動画像撮影装置のコンピュータによって実行され、撮像手段により撮像された動画像データに含まれる各フレームの揺れ量を検出する検出手段を備えた動画像撮影装置の動画像揺れ補正プログラムであって、
コンピュータに、
前記撮像手段により撮像された動画像データに含まれる各フレームの画像内から所定サイズの部分画像を切り取るとともに、この切り取った各部分画像の位置を前記検出手段により検出された揺れ量に応じて調整することにより前記動画像データの揺れを補正する揺れ補正処理と、
前記検出手段により検出された揺れ量に応じて前記所定サイズを変化させる制御を実行する制御処理と、を実行させ、
前記揺れ補正処理は、
前記所定サイズで切り取った複数の部分画像のサイズを合わせるように、前記制御手段の制御による前記所定サイズの変化に応じて、前記所定サイズで切り取った各部分画像を拡大または縮小し、
前記制御処理は、
前記検出手段により第１の閾値以上の揺れ量が検出された第１のフレーム区間については、同じ第１のフレーム区間内のフレームに対応して前記検出手段により検出された揺れ量に応じて前記所定サイズを決定する第１の制御を実行し、該第１のフレーム区間に隣接する第２のフレーム区間については、同じ第２のフレーム区間ではなく前記第１のフレーム区間内のフレームに対応して前記検出手段により検出された揺れ量に応じて前記所定サイズを決定する前記第１の制御とは異なる第２の制御を実行することを特徴とする動画像揺れ補正プログラム。

１…デジタルカメラ、１０…画像取得部、１５…アナログ信号処理部、１６…撮像センサ、１７…サンプリング／信号増幅処理部、１８…Ａ／Ｄコンバータ、２０…制御部、２１０…揺れ量検出部、２２０…揺れ補正部、２２…プレビューエンジン、２３…Ｄ／Ａコンバータ、２４…ドライバ、２５…表示部、２６…イメージバッファ、２７…キー操作部、２８…デジタル信号処理部、２９…画像圧縮／伸張処理部、３０…プログラムメモリ、３１…画像メモリ、３２…カードＩ／Ｆ、３３…外部記録媒体、３４…外部接続用Ｉ／Ｆ、３５…ＲＡＭ

本発明は、上記した課題を解決するためになされたものであり、撮影した動画像に大きな揺れが生じている場合にも揺れを補正可能であり、かつ、連続性のある動画像を得ることを可能にする画像処理装置、画像処理方法、及び、プログラムを提供することを目的とする。

上記した課題を解決するため本発明は、撮像された動画像の撮像時のブレを取得する取得手段と、この取得手段によって取得されたブレについてそのブレ量を取得するブレ量取得手段と、このブレ量取得手段によって取得されたブレ量が予め設定された第１の閾値以上の時に、前記撮像された動画像のうち、前記取得手段によってブレが取得された第１のフレーム区間の動画像について、そのブレに基づいた第１の補正範囲を設定する第１の設定手段と、前記撮像された動画像のうち、前記取得手段によってブレが取得された第１のフレーム区間の、前又は後の少なくとも一方にある第２のフレーム区間の動画像について、前記取得手段によってブレが取得された第１のフレーム区間におけるブレに基づいた第２の補正範囲を設定する第２の設定手段と、を備えることを特徴とする。

上記した課題を解決するため本発明は、撮像された動画像の撮像時のブレを取得する取得ステップと、この取得ステップにて取得されたブレについてそのブレ量を取得するブレ量取得ステップと、このブレ量取得ステップにて取得されたブレ量が予め設定された第１の閾値以上の時に、前記撮像された動画像のうち、前記取得ステップにてブレが取得された第１のフレーム区間の動画像について、そのブレに基づいた第１の補正範囲を設定する第１の設定ステップと、前記撮像された動画像のうち、前記取得ステップにてブレが取得された第１のフレーム区間の、前又は後の少なくとも一方にある第２のフレーム区間の動画像について、前記取得ステップにてブレが取得された第１のフレーム区間におけるブレに基づいた第２の補正範囲を設定する第２の設定ステップと、を含むことを特徴とする。

上記した課題を解決するため本発明は、画像処理装置が有するコンピュータを、撮像された動画像の撮像時のブレを取得する取得手段、この取得手段によって取得されたブレについてそのブレ量を取得するブレ量取得手段、このブレ量取得手段によって取得されたブレ量が予め設定された第１の閾値以上の時に、前記撮像された動画像のうち、前記取得手段によってブレが取得された第１のフレーム区間の動画像について、そのブレに基づいた第１の補正範囲を設定する第１の設定手段、前記撮像された動画像のうち、前記取得手段によってブレが取得された第１のフレーム区間の、前又は後の少なくとも一方にある第２のフレーム区間の動画像について、前記取得手段によってブレが取得された第１のフレーム区間におけるブレに基づいた第２の補正範囲を設定する第２の設定手段、として機能させることを特徴とする。

本発明によれば、撮影した動画像に大きな揺れが生じている場合にも揺れを補正可能であり、かつ、連続性のある動画像を得ることを可能にする画像処理装置、画像処理方法、及び、プログラムを提供することができる。

Claims (11)

1. 動画像を撮像する撮像手段と、
   前記撮像手段により撮像された動画像データに含まれる各フレームの揺れ量を検出する検出手段と、
   前記撮像手段により撮像された動画像データに含まれる各フレームの画像内から所定サイズの部分画像を切り取るとともに、この切り取った各部分画像の位置を前記検出手段により検出された揺れ量に応じて調整することにより前記動画像データの揺れを補正する揺れ補正手段と、
   前記検出手段により検出された揺れ量に応じて前記所定サイズを変化させる制御を実行する制御手段と、
   を具備し、
   前記揺れ補正手段は、
   前記所定サイズで切り取った複数の部分画像のサイズを合わせるように、前記制御手段の制御による前記所定サイズの変化に応じて、前記所定サイズで切り取った各部分画像を拡大または縮小し、
   前記制御手段は、
   前記検出手段により第１の閾値以上の揺れ量が検出された第１のフレーム区間については、同じ第１のフレーム区間内のフレームに対応して前記検出手段により検出された揺れ量に応じて前記所定サイズを決定する第１の制御を実行し、該第１のフレーム区間に隣接する第２のフレーム区間については、同じ第２のフレーム区間ではなく前記第１のフレーム区間内のフレームに対応して前記検出手段により検出された揺れ量に応じて前記所定サイズを決定する前記第１の制御とは異なる第２の制御を実行することを特徴とする動画撮影装置。
2. 前記制御手段は、
   前記第１の閾値未満の揺れ量が検出された第３のフレーム区間については、前記検出手段により検出された揺れ量に応じたサイズではなく、予め決められた固定サイズを前記所定サイズとして決定する前記第１の制御および前記第２の制御のいずれとも異なる第３の制御を実行する
   ことを特徴とする請求項１記載の動画撮影装置。
3. 前記制御手段は、
   前記第１のフレーム区間について検出された前記揺れ量に応じて前記第２のフレーム区間の長さを変更することを特徴とする請求項１または２記載の動画撮影装置。
4. 前記制御手段は、
   前記第２のフレーム区間については、前記所定サイズを前記第１のフレーム区間に近づくほど徐々に大きくなり、遠ざかるほど徐々に小さくなるように変化させる制御を前記第２の制御として実行することを特徴とする請求項３記載の動画撮影装置。
5. 前記検出手段により前記第１の閾値以上で第２の閾値未満の揺れ量が検出されたフレーム区間を前記第１のフレーム区間、前記第２の閾値以上の揺れ量が検出されたフレーム区間を第４のフレーム区間とし、
   この第４のフレーム区間内については、前記揺れ補正手段による揺れ補正を行う代わりに、この第４のフレーム区間内の各フレームを破棄し、隣接するフレームの画像で補間するフレーム補間手段を更に備えたことを特徴とする請求項１乃至４のいずれか１つに記載の動画撮影装置。
6. 装置本体部の揺れ量を検出する検出器と、
   前記撮像手段により撮像された動画像データに、前記検出器により検出された揺れ量を関連付けて記憶させる関連付け手段と
   を更に具備し、
   前記検出手段は、前記関連付け手段により前記動画像データに関連付けられた前記揺れ量に基づき当該動画像データの揺れ量を検出することを特徴とする請求項１乃至５のいずれかに記載の動画撮影装置。
7. 前記揺れ補正手段は、
   記憶部に記憶されている前記動画像データに対して前記揺れ補正処理を行い、
   前記制御手段は、
   前記記憶部に記憶されている前記動画像データに対して前記揺れ補正手段が前記揺れ補正処理を行う際に前記検出手段により検出された揺れ量に応じて前記所定サイズを変化させる制御を実行することを特徴とする請求項１乃至６のいずれか１つに記載の動画撮影装置。
8. 前記揺れ補正手段は、
   前記記憶部に記憶されている前記動画像データ全体を再生する際に前記揺れ補正処理を行うことを特徴とする請求項７記載の動画撮影装置。
9. 前記揺れ補正手段は、
   前記撮像手段による撮像中に前記記憶部に記憶する前に一時記憶される前記動画像データを対象に前記揺れ補正処理を行うことを特徴とする請求項７記載の動画撮影装置。
10. 撮像手段により撮像された動画像データの揺れ補正を行う動画像揺れ補正方法であって、
    前記撮像手段により撮像された動画像データに含まれる各フレームの揺れ量を検出する第１のステップと、
    前記撮像手段により撮像された動画像データに含まれる各フレームの画像内から所定サイズの部分画像を切り取るとともに、この切り取った各部分画像の位置を前記第１ステップにより検出された揺れ量に応じて調整することにより前記動画像データの揺れを補正する第２ステップと、
    前記第１ステップにより検出された揺れ量に応じて前記所定サイズを変化させる制御を実行する第３ステップと、
    を有し、
    前記第２ステップは、
    前記所定サイズで切り取った複数の部分画像のサイズを合わせるように、前記第３ステップの制御による前記所定サイズの変化に応じて、前記所定サイズで切り取った各部分画像を拡大または縮小し、
    前記第３ステップは、
    前記第１ステップにより第１の閾値以上の揺れ量が検出された第１のフレーム区間については、同じ第１のフレーム区間内のフレームに対応して前記第１ステップにより検出された揺れ量に応じて前記所定サイズを決定する第１の制御を実行し、該第１のフレーム区間に隣接する第２のフレーム区間については、同じ第２のフレーム区間ではなく前記第１のフレーム区間内のフレームに対応して前記第１ステップにより検出された揺れ量に応じて前記所定サイズを決定する前記第１の制御とは異なる第２の制御を実行することを特徴とする動画像揺れ補正方法。
11. 動画像撮影装置のコンピュータによって実行され、撮像手段により撮像された動画像データに含まれる各フレームの揺れ量を検出する検出手段を備えた動画像撮影装置の動画像揺れ補正プログラムであって、
    コンピュータに、
    前記撮像手段により撮像された動画像データに含まれる各フレームの画像内から所定サイズの部分画像を切り取るとともに、この切り取った各部分画像の位置を前記検出手段により検出された揺れ量に応じて調整することにより前記動画像データの揺れを補正する揺れ補正処理と、
    前記検出手段により検出された揺れ量に応じて前記所定サイズを変化させる制御を実行する制御処理と、を実行させ、
    前記揺れ補正処理は、
    前記所定サイズで切り取った複数の部分画像のサイズを合わせるように、前記制御手段の制御による前記所定サイズの変化に応じて、前記所定サイズで切り取った各部分画像を拡大または縮小し、
    前記制御処理は、
    前記検出手段により第１の閾値以上の揺れ量が検出された第１のフレーム区間については、同じ第１のフレーム区間内のフレームに対応して前記検出手段により検出された揺れ量に応じて前記所定サイズを決定する第１の制御を実行し、該第１のフレーム区間に隣接する第２のフレーム区間については、同じ第２のフレーム区間ではなく前記第１のフレーム区間内のフレームに対応して前記検出手段により検出された揺れ量に応じて前記所定サイズを決定する前記第１の制御とは異なる第２の制御を実行することを特徴とする動画像揺れ補正プログラム。

Images