JP2020123863A - 撮像装置 - Google Patents

Abstract

【課題】 再生防振補正制御時、補正後の記録動画の画角が各フレーム毎に異なり、再生防振補正制御結果が不自然になる傾向がある。また、再生防振補正制御による再生動画の画角が必要以上に狭くなる問題がある。【解決手段】 動画記録中に、記録媒体に記録された動画を含む一連の動画における最大のブレ量に応じた前記ブレ補正枠を表示する。【選択図】 図３

Description

本発明は、動画記録中に記録動画と記録媒体に記録された動画を含む一連の動画における最大ブレ量に応じたブレ補正枠の表示を行うことで、ユーザが再生時に再生動画の画角を決定するための指針となる表示を行うことを特徴とする制御方法、及び、プログラムに関する。

近年、デジタルカムコーダ等の撮像装置では、記録媒体に記録された記録動画の再生時に撮影被写体から抽出された特徴量を用いて、被写体ブレを軽減する防振補正制御（以下、再生防振補正制御）が一般的に行われている。一般的な再生防振補正制御は、被写体ブレを軽減するために必要な記録動画の各フレームの切り出しサイズを特徴量から算出し、切り出した領域の位置合わせを行うことで機能を実現している。

しかし、各フレームのブレ量に応じて再生防振補正制御を行うことで、各フレーム毎に切り出しサイズが異なってしまう。そのため、補正後の記録動画の画角が各フレーム毎に異なり、再生防振補正制御結果が不自然になる傾向がある。

そこで、再生防振補正制御の防振性能の確保と記録動画の各フレーム毎の画角を一定保つために、再生防振補正制御に必要な切り出しサイズを一律で大きくすることで対応が行われている。そのため、再生防振補正制御による再生動画の画角が必要以上に狭くなる弊害が発生している（図１を参照）。

そこで、前記再生防振補正制御の再生動画の画角の変動、また、狭くなる問題を改善するために動画記録中に行われる様々な手法が提案されている。第１の方法として、動画記録中の手振れ状態を示すブレ方向、ブレ量を表示することで、ユーザに手振れを警告する表示方法が提案されている（特許文献１）。そして、第２の方法として、動画記録中の記録動画と記録媒体内の記録動画のブレ量の最大値を取得し、最大ブレ量の切り出しサイズを算出し、一律の切り出しサイズで防振補正制御を行う方法が提案されている（特許文献２）。

特開２００６−２４３６１５号公報 特開２００９−１５２８０２号公報

しかしながら、上記の従来例の第１の方法では、動画記録中にユーザに手振れ状態を示すことで手振れに抑えた動画記録を促せることが可能であり、記録動画のブレ量の軽減が見込めるが、記録動画の各フレーム毎のブレ量に応じて切り出しサイズは変動するため、各フレーム毎の画角の変動が発生する問題がある。

また、上記の従来例の第２の方法では、ユーザの手振れ状態が良い（大きな手振れが発生しない状態）場合、防振補正制御の切り出しサイズを小さく抑えることで記録動画の画角を広く保つことが可能である。しかし、ユーザの手振れが大きい状態の場合、切り出しサイズは一律で大きくなるため、防振補正制御後、画角の狭い記録動画が生成される問題がある。

本発明は、このような前記従来技術の課題を解決することを目的としてなされたものである。本発明の目的は、動画記録中に、記録媒体に記録された動画を含む一連の動画における最大のブレ量に応じた前記ブレ補正枠を表示することで、ユーザが再生時に再生防振補正制御の防振補正性能、画角を決定するための指針となる表示制御、及びプログラムを提供することにある。

上記の目的を達成するために、本発明に係る撮像装置は、
動画を撮影する撮像手段と、前記撮像手段により撮影した動画を記録媒体に記録する記録手段と、ブレ量を検出するブレ検出手段と、前記ブレ検出手段により検出したブレ量に応じて、ブレを補正するために切り出される画像の領域を示すブレ補正枠を、前記撮像手段により撮影された画像と共に表示する表示制御手段を有し、前記表示制御手段は、前記記録手段による動画の記録中に、前記記録媒体に記録された動画を含む一連の動画における最大のブレ量に応じた前記ブレ補正枠を表示するように制御することを特徴としている。

本発明に係る撮像装置によれば、動画記録中に、記録媒体に記録された動画を含む一連の動画における最大のブレ量に応じた前記ブレ補正枠を表示することで、ユーザが再生時に再生防振補正制御の防振補正性能、画角を決定するための指針となる表示を行うことが可能になる。

ブレ量に応じた再生防振補正制御の問題を示す図である。 本発明の実施形態に係るブロック図を示す図である。 本発明のメイン構成のアイデアを示す図である。 本発明の第１の実施形態のフローチャートを示す図である。

以下、本発明を実施するための形態について、図面を参照しながら説明する。

図２は、本発明の実施形態に係る撮像装置１００の概略構成の一例を示すブロック図である。 図２に示すように、前記撮像装置１００は、いわゆる、デジタルカムコーダ等の撮像装置の構成を示している。前記撮像装置１００は、レンズ、減光部１を透過した入射光を撮像処理部２により撮像素子で撮像することで撮像データを生成し、画像処理部３により色、輝度等を調整、コーディックにより記録動画を生成した後、記録部９により前記記録動画を記録媒体に記録する構成である。また、マイクロコンピュータ４により前記撮像装置１００の全体の制御を行う。

さらに、本実施形態の構成として、ジャイロ等のブレ検出部５により、ユーザの手振れ等に起因する前記撮像装置１００のブレを検出し、前記ブレ検出部５が検出したブレ情報に応じたブレ量をブレ量算出部６により算出する。また、前記ブレ量算出部６は動画記録中の記録動画のみではなく、前記記録部９の記録媒体に記録されている記録動画の特徴点等からブレ量を算出することにも使用する。そして、前記ブレ算出部６で算出したブレ量から再生防振補正制御に用いる記録動画の各フレーム毎の切り出しサイズを切り出しサイズ算出部７に算出し、前記算出した切り出しサイズで記録動画の各フレーム毎の記録画像を切り出し、前記フレーム毎の位置合わせを防振補正制御部８により行う。また、動画記録中に前記切り出しサイズ算出部７で算出した防振補正性能の異なる複数のブレ補正枠を表示部１０に表示することを特徴とする。そして、前記撮像装置１００の全ての前記処理はマイクロコンピュータ４により制御される。

減光部１はレンズを透過して撮像装置１００の外部から入射された入射光量を調整するための絞り羽根、ＮＤフィルタ（ＮＤ：Neutral Density）などから構成される。前記撮像処理部２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）方式の撮像素子、撮像素子を駆動するためのドライバ、タイミング生成回路、ＣＤＳ／ＡＧＣ回路等から構成される。ここで、前記撮像素子は光電変換による被写体の撮像を行い、ＣＤＳ／ＡＧＣ回路により前記撮像素子の各画素に蓄えられた電荷（画像信号）に基づく画像情報をサンプリング及び増幅する。なお、サンプリングでは相関二重サンプリング（ＣＤＳ：Correlated Double Samplinｇ）が、増幅では自動利得調整（ＡＧＣ：Auto Gain Control）が行われる。

Ａ／Ｄ変換器は、前記ＣＤＳ／ＡＧＣ回路から出力された画像データ（アナログ信号）をデジタル信号に変換する。前記Ａ／Ｄ変換器から出力された画像情報（デジタル信号）に対して前記画像処理部３によりＡＷＢ（auto white balance）、ガンマ制御等の種々の信号処理を行い、最終画像を生成する。最後に、コーディックにより記録動画を生成し、内部メモリ、または、ＳＤカード、ＣＦカード等のメモリーカード、外部レコーダ等の外部記憶装置を含む記録部９に記録する。また、前記撮像素子を駆動するためのドライバ、タイミング生成回路は、前記撮像素子を駆動するための駆動パルス等を前記撮像素子へ供給し、前記撮像素子で撮像した画像の読み出しや露出時間の調整を行う。前記マイクロコンピュータ４は、マイクロコントローラと称される回路であり、前記撮像装置１００の前述した制御を含める動作を統括的に制御する。

ブレ検出部５はユーザの手振れ等に起因する前記撮像装置１００のブレ情報をジャイロ等のデバイスにより検出する。次に、ブレ量算出部６により、前記ブレ検出部５により検出されたブレ情報からブレ量を算出する。また、前記ブレ量算出部６は前記ブレ検出部５からのジャイロ等のブレ情報のみではなく、前記記録部９の記録媒体に記録されている記録動画の特徴点等からブレ量を算出することにも使用する。そして、マイクロコンピュータ４により、前記ブレ算出部６で算出したブレ量から最大ブレ量を算出する。ここで、最大ブレ量とは動画記録中の記録動画の記録開始時からの現在までのブレ量、かつ、前記記録部９の記録媒体に記録されている記録動画の中から任意に選択した複数の記録動画の全ブレ量の中から最大のブレ量を検出したものである。また、マイクロコンピュータ４ではブレ量の大きさ毎の発生頻度も同時に算出する。

切り出しサイズ算出部７は前記マイクロコンピュータ４で算出した最大ブレ量と、各ブレ量に対する発生頻度から、再生防振補正制御時に用いる各防振補正性能毎に必要な切り出しサイズを複数算出する。例えば、再生防振補正制御により記録動画に発生しているブレを補正する場合の切り出しサイズ、大きな瞬間的なブレは補正しないが、それ以外のブレを補正する切り出しサイズなどが挙げられる。そして、ＬＣＤ等の表示部１０において、前記切り出しサイズ算出部７により算出された複数の切り出しサイズを示すブレ補正枠を表示する。最後に、前記表示部１０に表示されたブレ補正枠の中から選択された切り出しサイズに対して、再生時に防振補正制御部８により、前記切り出しサイズで記録動画の各フレーム毎の記録画像を切り出し、前記フレーム毎の位置合わせ行うことで記録動画に対して再生防振補正制御を行う。

＜第１の実施形態＞
撮像装置１００の本実施形態での動作では、まず、前記減光部により調光し、前記撮像処理部２により撮像された撮像データから前記画像処理部３により撮像画像を生成する。同時に、前記ブレ検出部５により前記撮像装置１００のブレ情報を取得し、前記ブレ量算出部６により前記ブレ情報に応じたブレ量を算出する。ここでは、前記ブレ検出部５のブレ量と、記録部９の記録媒体に記録されている記録動画内からユーザが選択した複数の記録動画のブレ量の両方を算出する。その後、マイクロコンピュータ４により前記ブレ量算出部６で算出した全ブレ量から最大ブレ量を含む各ブレ量毎の発生頻度を算出する。

そして、切り出しサイズ算出部７により前記マイクロコンピュータ４で算出した最大ブレ量、発生頻度の組み合わせから防振補正性能の異なる複数の切り出しサイズを算出する。

最後に動画記録中に表示部１０により前記切り出しサイズ算出部７で算出した複数の切り出しサイズを示すブレ補正枠を表示する。前記ブレ補正枠表示をユーザが確認することで、動画記録時に再生時の再生防振補正制御後の防振補正性能、画角を確認することが可能になる（図３を参照）。

その後、再生時に前記ブレ補正枠をユーザが選択することで、選択した切り出しサイズに対して、防振補正制御部８により、前記表示部１０で選択したブレ補正枠の切り出しサイズで記録動画の各フレーム毎の記録画像を切り出し、前記フレーム毎の位置合わせ行うことで記録動画に対して防振補正制御を行いつつ、記録動画を連続再生する。

ここで、本実施形態では、図２に示すように、全て独立した回路部の構成を示している。しかしながら、全ての構成又はその一部はマイクロコンピュータ４内に構成するようにする形態であってもよい。

次に、本実施形態の撮像装置１００においてマイクロコンピュータ４が行う制御方法について説明を行う。

図４は本発明の実施形態に係る撮像装置１００の制御方法を示すフローチャートである。

本実施形態では、ステップＳ１０１において、現在設定されているモードが記録モードか否かを判定する。ステップＳ１０１において、記録モードであると判定された場合、ステップＳ１０２に進む。

ステップＳ１０２では、本発明を実現するブレ補正枠表示モードか否かを判定する。スッテプＳ１０２において、ブレ補正枠表示モードであると判定された場合、ブレ補正枠表示モード判定以降に記録した記録動画は、ブレ補正枠の切り出しサイズの算出用の記録動画として自動で選択される。ここでは、自動で選択された記録動画を用いるが、ブレ補正枠表示モード設定後、再生モード時にユーザが手動で選択することも可能である。

次に、ステップＳ１０３において、手振れ検出部５により記録時の手振れ情報を取得し、ブレ算出部６において、ブレ情報に応じたブレ量を算出する。

その後、ステップＳ１０４において、ブレ算出部６により、記録部９の記録媒体に記録された記録動画からステップＳ１０２以降に選択された記録動画のブレ量を算出する。

そして、ステップＳ１０５において、マイクロコンピュータ４により現在記録中の記録動画と、記録部９の記録媒体内の記録動画から最大ブレ量を検出し、各ブレ量毎の発生頻度を算出する。

そして、ステップＳ１０６において、最大ブレ量、発生頻度から再生防振補正制御で補正するための防振補正性能に応じた複数の切り出しサイズを算出する。

最後に、ステップＳ１０７において表示部１０により表示装置上に切り出しサイズに応じたブレ補正枠の表示を行う。

また、ステップＳ１０１において、現在設定されているモードが記録モードでないと判定した場合、再生時の処理を行う。

まず、ステップＳ１０８において、ブレ補正枠表示モードか否かを判定する。ここで、ステップＳ１０８において、ブレ補正枠表示モードであると判定された場合、ステップＳ１０９において、選択された記録動画を示す表示を行う。ここでは、サムネイル上の全記録動画からブレ補正枠モードで選択されていることが確認できるようにマーカー、アイコン等の表示を行う。

また、ステップＳ１０９では、ブレ補正枠の算出に使用する記録動画を追加選択、または、選択を解除する。

その後、ステップＳ１０９で追加選択、選択解除された場合、ステップＳ１１０において、再度、ブレ補正枠を算出するために選択されている記録動画のブレ量、切り出しサイズを算出する。

最後に、ステップＳ１１１において、ユーザが選択したブレ補正枠の切り出しサイズで前記防振補正制御部８により防振補正制御を行い、ステップＳ１１２において、ユーザが選択した記録動画の防振補正制御後の記録動画を連続再生する。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

１ 減光部、 撮像処理部、３ 画像処理部、４ マイクロ コンピュータ、
５ ブレ検出部、６ ブレ量算出部、７ 切り出しサイズ算出部、
８ 防振補正制御部、９ 記録部、１０ 表示部

Claims (6)

1. 動画を撮影する撮像手段と、
   前記撮像手段により撮影した動画を記録媒体に記録する記録手段と、
   ブレ量を検出するブレ検出手段と、
   前記ブレ検出手段により検出したブレ量に応じて、ブレを補正するために切り出される画像の領域を示すブレ補正枠を、前記撮像手段により撮影された画像と共に表示する表示制御手段を有し、
   前記表示制御手段は、前記記録手段による動画の記録中に、前記記録媒体に記録された動画を含む一連の動画における最大のブレ量に応じた前記ブレ補正枠を表示するように制御することを特徴とする撮像装置。
2. 前記一連の動画は、前記記録手段による動画の記録中の場合、記録開始のフレームから現在記録しているフレームまでを含むことを特徴とする請求項１に記載の撮像装置。
3. 前記一連の動画は、前記記録手段により複数回の記録で得られた動画を含むことを特徴とする請求項１に記載の撮像装置。
4. 前記一連の動画は、前記ブレ補正枠の表示を行う特定モードが設定されてから記録された動画を含むことを特徴とする請求項１に記載の撮像装置。
5. 前記一連の動画は、前記記録手段により前記記録媒体に記録された異なる複数の動画ファイルであり、ユーザが任意に選択したものを含むことを特徴とする請求項１に記載の撮像装置。
6. 前記ブレ補正枠は、前記最大のブレ量に応じて枠サイズ、表示色を変化させることを特徴し、また、前記最大のブレ量の発生頻度により複数の枠を表示することを特徴とする請求項１に記載の撮像装置。