JP2013126175A - 画像記録装置、画像生成装置、画像記録装置の制御プログラムおよび画像生成装置の制御プログラム - Google Patents

Abstract

【課題】動画撮影後に視聴者ごとの要望に沿ったダイジェスト動画を作成することは困難であった。
【解決手段】画像記録装置は、動画データからダイジェスト動画データを生成するための、ダイジェスト動画の終了を規定する終了フラグを含むフラグ群を生成するフラグ生成部と、フラグ群を動画データに関連付けて記録部に記録する記録制御部とを備える。また、画像生成装置は、動画データと、動画データからダイジェスト動画データを生成するための、ダイジェスト動画の終了を規定する終了フラグを含むフラグ群とを取得する取得部と、動画データおよびフラグ群に基づいてダイジェスト動画データを生成する動画生成部とを備える。
【選択図】図２

Description

本発明は、画像記録装置、画像生成装置、画像記録装置の制御プログラムおよび画像生成装置の制御プログラムに関する。

動画撮影中において、レリーズボタンが押されるごとにダイジェスト動画データを生成する撮像装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１０−１５８０４６号公報

しかしながら、動画撮影後に視聴者ごとの要望に沿ったダイジェスト動画を作成することは困難であった。

本発明の第１の態様における画像記録装置は、動画データからダイジェスト動画データを生成するための、ダイジェスト動画の終了を規定する終了フラグを含むフラグ群を生成するフラグ生成部と、フラグ群を動画データに関連付けて記録部に記録する記録制御部とを備える。

また、本発明の第２の態様における画像生成装置は、動画データと、動画データからダイジェスト動画データを生成するための、ダイジェスト動画の終了を規定する終了フラグを含むフラグ群とを取得する取得部と、動画データおよびフラグ群に基づいてダイジェスト動画データを生成する動画生成部とを備える。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係るカメラのシステム構成図である。 ダイジェスト動画データを生成するためのフラグ群の生成処理を説明する図である。 動画ファイルの一例であるＭＰ４ファイルの構成を示す図である。 フラグ群の生成処理のフロー図である。 ダイジェスト動画の作成条件の設定画面を示す図である。 ダイジェスト動画データの生成処理の第１例を説明する図である。 ダイジェスト動画データの生成処理の第２例を説明する図である。 ダイジェスト動画データの生成処理のフロー図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係るカメラ１０のシステム構成図である。カメラ１０は、システム制御部１１を備え、カメラ１０を構成する各要素を直接的または間接的に制御する。システム制御部１１は、システムメモリ１２と通信する。システムメモリ１２は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ（登録商標）等により構成される。システムメモリ１２は、カメラ１０の動作時に必要な定数、変数、設定値、プログラム等を、カメラ１０の非動作時にも失われないように記憶している。

カメラ１０は、光学系２０を備える。光学系２０は、カメラ本体に対して着脱可能に構成されてもよい。光学系２０は、主にズームレンズ、フォーカスレンズ等を含むレンズ群２１、および、レンズシャッタ２２により構成される。被写体像は光軸に沿って光学系２０に入射し、撮像素子３１の結像面に結像する。撮像部の少なくとも一部である撮像素子３１は、光学系２０を透過して入射する被写体像である光学像を光電変換する素子である。撮像素子３１として、ＣＣＤ、ＣＭＯＳセンサ等が用いられる。撮像素子３１で光電変換された被写体像は、Ａ／Ｄ変換器３２でアナログ信号からデジタル信号に変換される。

デジタル信号に変換された被写体像は、画像データとして順次処理される。Ａ／Ｄ変換器３２によりデジタル信号に変換された画像データは、メモリ制御部３３の制御に従い、一旦内部メモリ３４に記憶される。内部メモリ３４は、高速で読み書きのできるランダムアクセスメモリであり、例えばＤＲＡＭ、ＳＲＡＭなどが用いられる。内部メモリ３４は、連写撮影、動画撮影において高速に連続して画像データが生成される場合に、画像処理の順番を待つバッファメモリとしての役割を担う。

また、内部メモリ３４は、画像処理部３５が行う画像処理、圧縮処理において、ワークメモリとしての役割も担うと共に、加工処理された画像データを一時的に保管する役割も担う。更に、システムメモリ１２に記憶されている定数、変数、設定値、プログラム等が適宜展開されて、カメラ１０の制御に利用される。したがって、内部メモリ３４は、これらの役割を担うに相当する十分なメモリ容量を備える。メモリ制御部３３は、いかなる作業にどれくらいのメモリ容量を割り当てるかを制御する。

画像処理部３５は、設定されている撮影モード、ユーザからの指示に則して、画像データを規定の画像フォーマットに従った画像ファイルに変換する。例えば、画像処理部３５は、静止画としてＪＰＥＧファイルを生成する場合、色変換処理、ガンマ処理、ホワイトバランス処理等の画像処理を行った後に適応離散コサイン変換等を施して圧縮処理を行う。また、画像処理部３５は、動画としてＭＰＥＧファイルを生成する場合、所定の画素数に縮小されて生成された連続する静止画としてのフレーム画像に対して、フレーム内符号化、フレーム間符号化を施して圧縮処理を行う。また、画像処理部３５は、画像データの画像内における人物の顔部を認識する顔認識機能を実行する。

画像処理部３５によって処理された静止画ファイル、動画ファイルは、メモリ制御部３３の制御により、内部メモリ３４から記録媒体ＩＦ３８を介して、記録部５０に記録される。記録部５０は、フラッシュメモリ等により構成される、カメラ１０に対して着脱可能な不揮発性メモリである。ただし、記録部５０は、着脱式に限らず、カメラ１０に内蔵される例えばＳＳＤなどの記録媒体であっても良い。このとき、記録部５０に記録された静止画ファイル、動画ファイルは、有線によるＵＳＢ、無線によるＬＡＮ等により外部へ出力される。また、記録部５０には、焦点距離、フォーカス位置、絞り等の撮影に関連する関連情報が画像データに関連付けて記録される。なお、関連情報は、例えばＥｘｉｆ情報に含まれていてもよい。

画像処理部３５は、記録用に処理される画像データに並行して、表示用画像データを生成する。通常の表示用画像データは、記録用に処理される画像データをコピーして間引き処理された、画素数の少ない画像データである。つまり、記録用に処理される画像データに従って生成される通常の表示用画像データは、記録用の画像データと同様のカラー情報であるＲＧＢ情報を有する。このように生成された表示用画像データは、表示制御部３６により、赤色信号であるＲ信号、緑色信号であるＧ信号および青色信号であるＢ信号に変換されて表示部３７へ出力される。また、同時に、表示制御部３６は、表示部３７のバックライトの輝度を調整する輝度調整信号を出力する。

表示部３７は、ＬＣＤパネルとバックライトを備える液晶ディスプレイユニットである。表示部３７は、表示制御部３６が出力するＲＧＢ信号および輝度調整信号を受け取り、ＬＣＤパネルの各画素でＲＧＢ信号の階調を生成しつつ、バックライトの輝度を調整することにより、表示用画像データをユーザに視認されるように表示する。

記録の有無に関わらず、画像処理部３５が撮像素子３１の出力に従って逐次表示用画像データを生成して表示部３７へ出力すれば、電子ビューファインダーとしてのライブビュー表示を実現することができる。表示制御部３６は、静止画および動画撮影後の再生表示、撮影前および動画撮影中のライブビュー表示を表示部３７に実行させる。また、表示制御部３６は、メニュー画面等を表示部３７に表示させる。

カメラ１０は、ユーザの入力を受け付ける受付部としての操作部材３９を複数備えている。操作部材３９は、静止画撮影を指示するレリーズボタン、動画撮影を指示する録画ボタン、ズームを指示するシーソースイッチ、メニュー項目等を選択する十字キー、選択した項目を確定させる確定ボタン等で構成される。システム制御部１１は、操作部材３９で受け付けたユーザの入力に応じて各種処理を実行する。

レンズ制御部４０は、レンズ群２１を制御して、被写体像の画角を変更し、被写体像の特定領域を撮像素子３１の受光面上で合焦させる。露光制御部４１は、レンズシャッタ２２を制御して、設定された絞り値およびシャッタ速度を実現する。

まず、本実施形態に係る画像記録装置として機能するカメラ１０の動作について説明する。カメラ１０は、動画データからダイジェスト動画データを生成するためのフラグ群を生成し、フラグ群を動画データに関連付けて記録部５０に記録する。本実施形態において、システム制御部１１および画像処理部３５は、フラグ群を生成するフラグ生成部として機能する。また、システム制御部１１およびメモリ制御部３３は、フラグ群を動画データに関連付けて記録部５０に記録する記録制御部として機能する。

図２は、ダイジェスト動画データを生成するためのフラグ群の生成処理を説明する図である。カメラ１０が動画撮影を実行して図２に示すフレーム画像データが取得された場合を想定する。図２の例において、ユーザは、設定画面において、人物Ａ、人物Ｂを対象被写体として予め指定している。そして、人物Ａ、人物Ｂを顔認識するためのパターンマッチング用データは、システムメモリ１２に予め記録されている。

本実施形態において、システム制御部１１は、画像処理部３５と協働して、動画データからダイジェスト動画データを生成するためのフラグ群を生成する。フラグ群には、ダイジェスト動画の開始を規定する開始フラグおよびダイジェスト動画の終了を規定する終了フラグが含まれる。なお、開始フラグおよび終了フラグは、ユーザが予め指定した対象被写体ごとに生成される。

具体的には、画像処理部３５は、システムメモリ１２内のパターンマッチング用データを参照して、対象被写体について顔認識機能を実行する。そして、システム制御部１１は、対象被写体がフレームに入ったときに、当該フレームに対して当該対象被写体の開始フラグを生成する。また、システム制御部１１は、対象被写体がフレームの外に出たときに、当該フレームに対して当該対象被写体の終了フラグを生成する。図２の例において、システム制御部１１は、第ｍフレーム、第ｎ＋２フレームに対して人物Ａの開始フラグを、第ｍ＋４フレーム、第ｎ＋４フレームに対して人物Ａの終了フラグを生成する。同様に、システム制御部１１は、第ｎフレームに対して人物Ｂの開始フラグ、第ｎ＋３フレームに対して人物Ｂの終了フラグを生成する。

また、画像処理部３５は、フレーム内での対象被写体の移動量を算出し、対象被写体の移動量を４段階のレベルに分類する。そして、システム制御部１１は、対象被写体の移動量の変化が予め定められたレベル以上、例えば２レベル以上増加したフレームに対して、当該対象被写体の開始フラグを生成する。また、システム制御部１１は、対象被写体の移動量の変化が予め定められたレベル以上、例えば２レベル以上減少したフレームに対して、当該対象被写体の終了フラグを生成する。図２の例において、システム制御部１１は、第ｍ＋２フレームに対して人物Ａの開始フラグを、第ｍ＋３フレームに対して人物Ａの終了フラグを生成する。

また、システム制御部１１は、レリーズボタンの押下を検知した時点のフレーム、すなわち静止画撮影時のフレームに対して、当該フレームに登場する対象被写体の開始フラグを生成する。図２の例において、システム制御部１１は、第ｍ＋１フレームに対して人物Ａの開始フラグを生成する。

システム制御部１１は、メモリ制御部３３と協働して、上述のように生成したフラグ群を動画データに関連付けて記録部５０に記録する。このように、本実施形態におけるシステム制御部１１は、ダイジェスト動画の１カットの開始、終了の候補となる時点のフレームにフラグを関連付ける。したがって、動画撮影後にユーザの要望に沿ったダイジェスト動画を、フラグ群を参照して自動でかつ容易に作成することができる。フラグ群を用いたダイジェスト動画の作成の詳細については後述する。

ここで、動画ファイルの構成について説明する。図３は、動画ファイルの一例であるＭＰ４ファイルの構成を示す図である。デジタルビデオカメラ、デジタルスチルカメラ等で撮影されたＭＰＥＧ４の画像データを記録する汎用フォーマットとしてＭＰ４ファイルフォーマットが用いられている。動画データをＭＰ４ファイルとして記録することにより、他のデジタル機器で再生できるなどの互換性が保証されている。

ＭＰ４ファイルは、（ａ）図に示すように、符号化されたストリーム画像データが格納されるｍｄａｔボックスと、ストリーム画像データに関連する情報が格納されるＭｏｏｖボックスとから構成されている。ｍｄａｔボックスは、（ｃ）図に示すように複数のチャンク（ｃｈｕｎｋ＿ｃ１〜ｃｈｕｎｋ＿ｃＮ）で構成され、それぞれのチャンクは、（ｄ）図に示すように複数のサンプル（ｓａｍｐｌｅ＿ｓ１〜ｓａｍｐｌｅ＿ｓＭ）で構成される。各サンプルは、例えば（ｅ）図に示すように、ｓａｍｐｌｅ＿ｓ１、ｓａｍｐｌｅ＿ｓ２、ｓａｍｐｌｅ＿ｓ３、ｓａｍｐｌｅ＿ｓ４、…のそれぞれに対して、Ｉ０、Ｂ０、Ｂ１、Ｐ０、…の符号化されたＭＰＥＧ画像データが対応する。すなわち、チャンクは、フレーム画像データを実質的に包含するＭＰ４ファイルの部分データを構成する。

Ｉ０、Ｉ１、Ｉ２、…、Ｉｍはイントラ符号化（フレーム内符号化）されたフレーム画像データであり、Ｂ０、Ｂ１、Ｂ２、…、Ｂｍは双方向から参照して符号化（フレーム間符号化）されるフレーム画像データである。また、Ｐ０、Ｐ１、Ｐ２、…、Ｐｍは一方向（順方向）から参照して符号化（フレーム間符号化）されるフレーム画像データであり、いずれも可変長符号データである。

ｍｏｏｖボックスは（ｂ）図に示すように、作成日時等が記録されるヘッダ情報から成るｍｖｈｄボックスと、ｍｄａｔボックスに格納されたストリーム画像データに関する情報を格納するｔｒａｋボックスから構成される。ｔｒａｋボックスに格納される情報としては、（ｆ）図に示すように、ｍｄａｔボックスの各チャンクへのオフセット値の情報を格納するｓｔｃｏボックス、（ｇ）図に示すように、各チャンク内のサンプル数の情報を格納するｓｔｓｃボックス、および（ｆ）図に示すように、各チャンクにおける各サンプルのサイズ情報を格納するｓｔｓｚボックスが存在する。

このＭＰ４ファイルを再生する場合、ＭＰ４ファイルのｍｏｏｖボックスを読み込み、そのｍｏｏｖボックスからｓｔｃｏボックス、ｓｔｓｃボックス、およびｓｔｓｚボックスを解析することにより、ｍｄａｔボックス内の各チャンクへアクセスができるようになる。

本実施形態において、システム制御部１１は、画像処理部３５と協働して、ｍｖｈｄボックスにフラグ群を記述する。具体的には、システム制御部１１は、対象被写体のＩＤ等の被写体識別情報、フラグの種別を示すコード、対応するフレームのチャンクおよびサンプルの情報をｍｖｈｄボックスに記述する。本実施形態において、フラグの種別を示すコードとして、開始フラグを示すコードおよび終了フラグを示すコードのいずれかが記述される。このように動画データのヘッダ情報にフラグ群を記述することにより、フラグ群と動画データとが関連付けられる。

図４は、フラグ群の生成処理のフロー図である。本フローは、システム制御部１１が録画ボタンのオン操作を検知した時点から開始される。なお、本実施形態において、システム制御部１１は、画像処理部３５と協働し、動画撮影処理と並行して本フローを実行する。ステップＳ１０１では、システム制御部１１は、初期設定を行う。具体的には、システム制御部１１は、ユーザが予め指定した対象被写体の数Ｎを設定し、各対象被写体に対して、１からＮまでの番号を付与する。そして、システム制御部１１は、Ｎ個の被写体フラグｆ_１〜ｆ_Ｎおよびｉをそれぞれ０に設定する。図２の例において、システム制御部１１は、Ｎを２に設定し、人物Ａに番号１を、人物Ｂに番号２を付与する。そして、システム制御部１１は、２個の被写体フラグｆ_１、ｆ_２およびｉをそれぞれ０に設定する。

ステップＳ１０２では、システム制御部１１は、撮影中の動画のフレームを１つ取得する。なお、システム制御部１１は、ステップＳ１０２へ移行するごとに、開始フレームから順にフレームを１つ取得する。ステップＳ１０３では、システム制御部１１は、ｉをｉ＋１に設定する。ステップＳ１０４では、システム制御部１１は、番号ｉに対応する対象被写体がステップＳ１０２で取得したフレーム内に存在するか否かを判定する。システム制御部１１は、対象被写体がフレーム内に存在する場合にはステップＳ１０５へ移行し、対象被写体がフレーム内に存在しない場合にはステップＳ１０８へ移行する。ステップＳ１０５では、システム制御部１１は、ｆ_ｉ＝０であるか否かを判定する。

本実施形態において、ｆ_ｉは０または１の値をとる。そして、ｆ_ｉの値は、番号ｉに対応する対象被写体が前フレーム内に存在していたか否かを示す。ｆ_ｉの値０は、番号ｉに対応する対象被写体が前フレームまで存在していなかったことを示し、ｆ_ｉの値１は、番号ｉに対応する対象被写体が前フレームに既に存在していたことを示す。システム制御部１１は、ステップＳ１０５において、ｆ_ｉ＝０である場合にはステップＳ１０６へ移行し、ｆ_ｉ＝１の場合にはステップＳ１１１へ移行する。ステップＳ１０６への移行は、これまではフレーム内に存在しなかった対象被写体が、フレーム内に入ってきたことを意味する。そこで、ステップＳ１０６では、システム制御部１１は、番号ｉに対応する対象被写体の開始フラグを生成する。この時点で番号ｉに対応する対象被写体がフレーム内に存在することになるので、ステップＳ１０７では、システム制御部１１は、ｆ_ｉを１に設定する。

一方、ステップＳ１０８では、システム制御部１１は、ｆ_ｉ＝１であるか否かを判定する。システム制御部１１は、ｆ_ｉ＝１であると判定した場合にはステップＳ１０９へ移行し、ｆ_ｉ＝１でないと判定した場合にはステップＳ１１７へ移行する。ステップＳ１０９への移行は、これまではフレーム内に存在していた対象被写体が、フレームの外へ出たことを意味する。そこで、ステップＳ１０９では、システム制御部１１は、番号ｉに対応する対象被写体の終了フラグを生成する。この時点で番号ｉに対応する対象被写体がフレーム内に存在しないことになるので、ステップＳ１１０では、システム制御部１１は、ｆ_ｉを０に設定する。そして、システム制御部１１は、ステップＳ１１７へ移行する。

ステップＳ１１１では、システム制御部１１は、番号ｉに対応する対象被写体の移動量の変化量が、予め定められた閾値より大きいか否かを判定する。システム制御部１１は、移動量の変化量が閾値より大きい場合にはステップＳ１１２へ移行し、閾値より小さい場合にはステップＳ１１５へ移行する。ステップＳ１１２では、システム制御部１１は、番号ｉに対応する対象被写体の移動量の変化量が増加したか否かを判定する。システム制御部１１は、移動量の変化量が増加したと判定した場合にはステップＳ１１３へ移行し、減少したと判定した場合にはステップＳ１１４へ移行する。ステップＳ１１３では、システム制御部１１は、番号ｉに対応する対象被写体の開始フラグを生成する。一方、ステップＳ１１４では、システム制御部１１は、番号ｉに対応する対象被写体の終了フラグを生成する。

ステップＳ１１５では、システム制御部１１は、レリーズボタンが押されたか否かを判断する。システム制御部１１は、レリーズボタンが押されたと判断した場合にはステップＳ１１６へ移行し、レリーズボタンが押されていないと判断した場合にはステップＳ１１７へ移行する。ステップＳ１１６では、システム制御部１１は、番号ｉに対応する対象被写体の開始フラグを生成する。

ステップＳ１１７では、システム制御部１１は、ｉ＝Ｎであるか否かを判定する。システム制御部１１は、ｉ＝Ｎでない場合にはステップＳ１０３へ戻り、次の対象被写体について上述のフラグ生成処理を実行する。一方、システム制御部１１は、ｉ＝Ｎの場合にはステップＳ１１８へ移行する。ステップＳ１１８では、システム制御部１１は、レリーズボタンが押されたか否かを判断する。システム制御部１１は、レリーズボタンが押されたと判断した場合にはステップＳ１１９へ移行し、レリーズボタンが押されていないと判断した場合にはステップＳ１２０へ移行する。なお、システム制御部１１は、ステップＳ１１５で既にレリーズボタンが押されたと判断している場合には、ステップＳ１１８をスキップしてステップＳ１１９へ移行する。

ステップＳ１１９では、システム制御部１１は、静止画データの取得動作を実行する。具体的には、システム制御部１１は、数フレーム分に相当する動画撮影を中断して、静止画撮影シーケンス、画像処理、記録処理を実行する。ステップＳ１２０では、システム制御部１１は、動画撮影を継続するか否かを判定する。システム制御部１１は、動画撮影が継続すると判定した場合にはステップＳ１０２へ戻り次のフレームを取得する。一方、システム制御部１１は、録画ボタンの押下、電源ボタンのオフ操作等により動画撮影の終了指示を検知した場合には、本フローを終了する。

上述の実施形態では、対象被写体がフレームに入ったときに開始フラグが生成されたが、開始フラグの生成タイミングはこれに限らない。システム制御部１１は、対象被写体の画面に占める面積の割合が予め定められた値以上、例えば０．１以上になった時点のフレームに対して開始フラグを生成してもよい。また、システム制御部１１は、対象被写体がフレームに入ってから予め定められた時間、例えば３秒経過した時点のフレームに対して開始フラグを生成してもよい。

同様に、終了フラグの生成タイミングも、対象被写体がフレームの外に出たときに限らない。システム制御部１１は、対象被写体の画面に占める面積の割合が予め定められた値、例えば０．１以下になった時点のフレームに対して終了フラグを生成してもよい。また、システム制御部１１は、対象被写体がフレームから出てから予め定められた時間、例えば３秒経過した時点のフレームに対して終了フラグを生成してもよい。

また、システム制御部１１は、対象被写体がフレームに入ってからフレームの外に出るまでの間の各フレームに対して一連の登場フラグを生成するようにしてもよい。そして、システム制御部１１は、先頭の登場フラグに対するフレームに開始フラグを生成し、最後の登場フラグに対するフレームの次のフレームに終了フラグを生成してもよい。

上述の実施形態では、対象被写体の移動量を対象被写体の変化を示すパラメータとして扱ったが、対象被写体の変化を示すパラメータはこれに限らない。例えば、システム制御部１１は、対象被写体の変化を示すパラメータとして音声を用いる。システム制御部１１は、対象被写体の変化を示すパラメータとして音声を用いる場合も、対象被写体の移動量の場合と同様に、フレーム内の対象被写体の音声レベルを４段階のレベルに分類する。そして、システム制御部１１は、音声レベルの変化が予め定められたレベル以上、例えば２レベル以上増加したフレームに対して、当該対象被写体の開始フラグを生成する。また、システム制御部１１は、音声の変化が予め定められたレベル以上、例えば２レベル以上減少したフレームに対して、当該対象被写体の終了フラグを生成する。また、システム制御部１１は、対象被写体の表情、対象被写体の画面における占有面積、対象被写体の向きを、対象被写体の変化を示すパラメータとして用いてもよい。

また、システム制御部１１は、対象被写体の変化量をレベルではなく実測値で扱ってもよい。この場合、システム制御部１１は、変化量の大小を判定する閾値を、例えば、移動量の場合には画素単位、音声の場合にはデシベル単位で予めシステムメモリ１２に記録しておく。

上述の実施形態では、レリーズボタンが押されたときに対象被写体がフレームに入ったときに開始フラグが生成されたが、レリーズボタンに応じたフラグ生成はこれに限らない。システム制御部１１は、対象被写体の大きさがレリーズボタンの押下時点における対象被写体の大きさに対して予め定められた比率以上、例えば１．３以上になった時点のフレームに対して開始フラグを生成してもよい。また、システム制御部１１は、対象被写体の大きさがレリーズボタンの押下時点における対象被写体の大きさに対して予め定められた比率未満、例えば０．７未満になった時点のフレームに対して終了フラグを生成してもよい。

また、音声のレベルが測定されている場合に、システム制御部１１は、対象被写体の音声レベルがレリーズボタンの押下時点における音声レベルに対して予め定められた比率以上、例えば１．３以上になった時点のフレームに対して開始フラグを生成してもよい。また、システム制御部１１は、対象被写体の音声レベルがレリーズボタンの押下時点における音声レベルに対して予め定められた比率未満、例えば０．７未満になった時点のフレームに対して終了フラグを生成してもよい。

上述の実施形態では、システム制御部１１は、開始フラグおよび終了フラグを生成したが、開始フラグおよび終了フラグと異なる中立フラグを生成してもよい。具体的には、システム制御部１１は、ズームが変更された時点、フォーカスが変更された時点、絞りが変更された時点、パンニング動作を検知した時点、輝度または色が閾値以上変化した時点、動画撮影の一時停止が検知された時点等に中立フラグを生成する。ズーム、フォーカス、絞りの変更については、システム制御部１１は、これらのパラメータが閾値以上変更された場合に中立フラグを生成するようにしてもよい。中立フラグは、ダイジェスト画像を生成する場合に、状況に応じて開始フラグまたは終了フラグとして用いられる。なお、中立フラグを示すコードは、開始フラグを示すコードおよび終了フラグを示すコードと異なるコードとして、ｍｖｈｄボックスに記述される。

上述の実施形態では、システム制御部１１は、動画データのヘッダ情報にフラグ情報を記述したが、これに限らない。システム制御部１１は、フラグ群のテーブルを作成し、当該テーブルでフラグ群の各フラグと動画データのフレームとを関連付けてもよい。この場合、システム制御部１１は、当該テーブルを動画データとともに記録部５０へ記録する。

上述の実施形態では、被写体ごとに開始フラグおよび終了フラグが生成されたがこれに限らない。システム制御部１１は、被写体を区別することなく開始フラグおよび終了フラグを含むフラグ群を生成する。そして、システム制御部１１は、図２に示す顔認識による被写体の登場判定結果、被写体の移動量等の被写体の変化を示す変化情報を、フラグ群と対応付けて記録部５０に記録する。したがって、システム制御部１１は、フラグ群を生成した後に、フラグ群の各フラグが開始フラグであるか、それとも終了フラグであるか、およびどの被写体フラグであるかを、変化情報で判別できる。

上述の実施形態において、システム制御部１１は、動画撮影後にユーザの選択を受け付け、ユーザが選択した被写体に対するフラグのみ残すようにしてもよい。具体的には、まず、システム制御部１１は、動画撮影後に、表示制御部３６を制御して、動画に登場する被写体若しくは予め登録されている被写体を表示部３７に表示させ、ユーザの選択を受け付ける。そして、システム制御部１１は、動画撮影後にユーザが選択した被写体に対するフラグ以外のフラグを記録部５０から削除する。この構成によれば、ユーザの要望に沿ったフラグ群のみを動画データと関連付けることができる。

上述の実施形態では、システム制御部１１は、動画撮影時にフラグ群を生成したが、これに限らない。システム制御部１１は、画像処理部３５と協働して、動画撮影後に動画データを解析してフラグ群を生成してもよい。具体的には、まず、システム制御部１１は、動画撮影後に、表示制御部３６を制御して、動画に登場する被写体若しくは予め登録されている被写体を表示部３７に表示させ、ユーザの選択を受け付ける。そして、システム制御部１１は、撮影開始フレームから撮影終了フレームまで順次フレーム解析を実行することにより、ユーザが選択した被写体に対するフラグ群を生成し、当該フラグ群を動画データと関連付けて記録する。また、システム制御部１１は、動画撮影時に生成されたフラグ群と動画撮影後に生成されたフラグ群とが共存する場合、動画撮影後に生成されたフラグ群を動画撮影時に生成されたフラグ群より優先度の高いフラグとして設定してもよい。

次に、本実施形態に係る画像生成装置として機能するカメラ１０の動作について説明する。カメラ１０は、動画データと、動画データからダイジェスト動画データを生成するための上述したフラグ群とを記録部５０から取得し、フラグ群を用いてダイジェスト動画データを生成する。本実施形態において、システム制御部１１は、動画データとフラグ群とを記録部５０から取得する取得部として機能する。また、システム制御部１１および画像処理部３５は、フラグ群を用いてダイジェスト動画データを生成する動画生成部として機能する。

図５は、ダイジェスト動画の作成条件の設定画面を示す図である。ユーザがダイジェスト動画作成のメニュー項目を選択し、ダイジェスト動画を作成する動画を選択すると、表示制御部３６は、図５に示すようなダイジェスト動画の作成条件の設定画面を表示部３７に表示させる。作成条件の設定画面には、時間条件項目１０１、注目人物項目１０２、優先度項目１０３の３つの設定項目が含まれている。

時間条件項目１０１は、ダイジェスト動画の全体の時間を設定するための項目である。注目人物項目１０２は、ダイジェスト動画で登場させる注目人物を設定するための項目である。注目人物項目１０２で複数の注目人物が選択された場合、システム制御部１１は、優先度項目１０３をアクティブにする。優先度項目１０３は、ダイジェスト動画において選択された複数の人物の登場比率を設定するための項目である。

ユーザは、操作部材３９を操作してこれらの項目にダイジェスト動画の作成条件を入力する。ユーザが作成条件を入力して画面右下のＯＫボタン１０４を押すと、システム制御部１１は、画像処理部３５と協働して、ダイジェスト動画データの生成を開始する。なお、システム制御部１１は、一度設定した条件をシステムメモリ１２に記録し、別のダイジェスト動画の作成条件の設定時に、以前の設定条件の選択をユーザから受け付けてもよい。ユーザが以前の設定条件を選択した場合、システム制御部１１は、ユーザが選択した設定条件をシステムメモリ１２から読み出す。

ここで、ダイジェスト動画の生成処理について説明する。図６は、ダイジェスト動画データの生成処理の第１例を説明する図である。第１例におけるダイジェスト動画の生成処理は、図２で示す動画データが選択され、かつ人物Ａが注目人物として選択された場合の処理である。まず、システム制御部１１は、動画データと、当該動画データに関連付けられたフラグ群データを記録部５０から取得する。次に、システム制御部１１は、取得したフラグ群のうちから人物Ａのフラグ群を抽出する。

図６に示すとおり、人物Ａのフラグ群には、第ｍフレーム、第ｍ＋１フレーム、第ｍ＋２フレーム、第ｎ＋２フレームにそれぞれ関連付けられた開始フラグ２０１、２０２、２０３、２０６が含まれている。また、人物Ａのフラグ群には、第ｍ＋３フレーム、第ｍ＋４フレーム、第ｎ＋４フレームにそれぞれ関連付けられた終了フラグ２０４、２０５、２０７が含まれている。

システム制御部１１は、人物Ａのフラグ群を参照して、人物Ａが登場しているフレームを用いてダイジェスト動画像データを生成する。具体的には、システム制御部１１は、開始フラグに関連付けられたフレームから、終了フラグに関連付けられたフレームの１つ前のフレームまでのフレーム画像データを１カットの画像データとして抽出する。そして、画像処理部３５は、システム制御部１１の制御に従い、抽出したカットを順に並べたダイジェスト動画データを生成する。ただし、複数の開始フラグが終了フラグを挟むことなく並んでいる場合には、システム制御部１１は、それら複数の開始フラグのうちの最初の開始フラグだけを採用する。同様に、複数の終了フラグが開始フラグを挟むことなく並んでいる場合には、システム制御部１１は、それら複数の終了フラグのうち最後の終了フラグだけを採用する。

図６の例において、システム制御部１１は、終了フラグを挟むことなく並んでいる３つの開始フラグ２０１、２０２、２０３のうち最初の開始フラグ２０１を採用する。また、システム制御部１１は、開始フラグを挟むことなく並んでいる２つの終了フラグのうち最後の終了フラグ２０５を採用する。そして、システム制御部１１は、開始フラグ２０１に関連付けられた第ｍフレームから、終了フラグ２０５に関連付けられた第ｍ＋４フレームの１つ前の第ｍ＋３フレームまでのフレーム画像データを１カットの画像データとして抽出する。また、システム制御部１１は、開始フラグ２０６に関連付けられた第ｎ＋２フレームから、終了フラグ２０７に関連付けられた第ｎ＋４フレームの１つ前の第ｎ＋３フレームまでのフレーム画像データを１カットの画像データとして抽出する。

その後、画像処理部３５は、これら抽出されたカットを並べて、図６に示すように、第ｍフレーム〜第ｍ＋３フレーム、第ｎ＋２フレーム〜第ｎ＋３フレームが順に配置されたダイジェスト動画Ａのデータを生成する。この手法によれば、人物Ａが登場する全てのフレームを含むダイジェスト動画データが生成される。

ダイジェスト動画の作成条件の設定画面でユーザが時間を予め指定したときに、人物Ａが登場する全てのフレームを含むダイジェスト動画の時間がユーザによって予め指定された時間を超えてしまう場合がある。この場合に、システム制御部１１は、ダイジェスト動画で採用するフレームを絞り込んでダイジェスト動画の時間を短縮する。

具体的には、システム制御部１１は、ユーザが指定した時間に対してダイジェスト動画の時間が長くなると判断した場合に、終了フラグを挟むことなく並んでいる複数の開始フラグのうち最初の開始フラグより降順の開始フラグを採用する。図６の例において、システム制御部１１は、ダイジェスト動画Ａに対して、３つの開始フラグ２０１、２０２、２０３のうちダイジェスト動画に採用する開始フラグを開始フラグ２０２に変更する。そして、画像処理部３５は、図６に示すダイジェスト動画Ｂのデータを生成する。ダイジェスト動画Ｂには、第ｍ＋１フレーム〜第ｍ＋３フレーム、第ｎ＋２フレーム〜第ｎ＋３フレームが順に配置されている。

また、システム制御部１１は、ユーザが指定した時間に対してダイジェスト動画の時間が長くなると判断した場合に、開始フラグを挟むことなく並んでいる複数の終了フラグのうち最後の終了フラグより昇順の終了フラグを採用してもよい。図６の例において、システム制御部１１は、ダイジェスト動画Ｂに対して、２つの終了フラグ２０４、２０５のうちダイジェスト動画に採用する終了フラグを終了フラグ２０４に変更する。そして、画像処理部３５は、図６に示すダイジェスト動画Ｃのデータを生成する。ダイジェスト動画Ｃには、第ｍ＋１フレーム〜第ｍ＋２フレーム、第ｎ＋２フレーム〜第ｎ＋３フレームが順に配置されている。

一方、システム制御部１１は、ユーザが指定した時間に対してダイジェスト動画の時間が短くなると判断した場合には、人物Ａが登場する全てのフレームに人物Ａが登場していないフレームを加えて全体の時間を延ばす。例えば、システム制御部１１は、開始フラグの前の一連のフレーム、終了フラグの後の一連のフレームを１カットのフレームに組み込んで１カットの時間を延ばす。

また、システム制御部１１は、ユーザが指定した時間に対してダイジェスト動画の時間が短くなると判断した場合に、上述した中立フラグを開始フラグまたは終了フラグとして用いてもよい。具体的には、システム制御部１１は、中立フラグで形成される新たなカットを作成する。そして、システム制御部１１は、新たなカットのフレームを人物Ａが登場する全てのフレームに加えて、ダイジェスト動画の時間を延ばす。

図７は、ダイジェスト動画データの生成処理の第２例を説明する図である。第１例におけるダイジェスト動画の生成処理は、図２で示す動画データが選択され、かつ人物Ａおよび人物Ｂが注目人物として選択された場合の処理である。まず、システム制御部１１は、動画データと、当該動画データに関連付けられたフラグ群データを記録部５０から取得する。次に、システム制御部１１は、取得したフラグ群のうちから人物Ａのフラグ群および人物Ｂのフラグ群を抽出する。

図７に示すとおり、人物Ａのフラグ群には、図６を用いて説明したように、開始フラグ２０１、２０２、２０３、２０６および終了フラグ２０４、２０５、２０７が含まれている。また、人物Ｂのフラグ群には、第ｎフレームに関連付けられた開始フラグ３０１および第ｎ＋３フレームに関連付けられた終了フラグ３０２が含まれている。

システム制御部１１は、人物Ａのフラグ群および人物Ｂのフラグ群を参照して、人物Ａおよび人物Ｂが登場しているフレームを抽出する。そして、画像処理部３５は、システム制御部１１の制御に従い、ダイジェスト動画像データを生成する。具体的には、システム制御部１１は、上述と同様の手法で、人物Ａが登場する全てのフレームの画像データと、人物Ｂが登場する全てのフレームの画像データとを動画データから抽出する。そして、画像処理部３５は、システム制御部１１が抽出したフレーム画像データを合成して、人物Ａおよび人物Ｂが登場する全てのフレームを含むダイジェスト動画データを生成する。図７の例において、画像処理部３５は、第ｍフレーム〜第ｍ＋３フレーム、第ｎフレーム〜第ｎ＋３フレームが順に配置されたダイジェスト動画Ｄのデータを生成する。

ダイジェスト動画の作成条件の設定画面でユーザが優先度を予め指定したときに、人物Ａおよび人物Ｂの登場比率がユーザによって指定された比率と異なる場合がある。この場合に、システム制御部１１は、ダイジェスト動画で採用するフレームを変更してダイジェスト動画に登場する人物の登場比率を調整する。

具体的には、まず、システム制御部１１は、登場比率が一番高く設定されている人物Ｂのフラグ群を参照して、人物Ｂが登場する全てのフレームを抽出する。次に、システム制御部１１は、人物Ａのフラグ群を参照して、人物Ｂが登場する全てのフレームにおいて人物Ａが登場するフレームを検出する。そして、システム制御部１１は、人物Ｂが登場する全てのフレームにおける人物Ａおよび人物Ｂの登場比率を算出し、予め設定された比率と比較する。

システム制御部１１は、ユーザが指定した比率に対して人物Ｂに対する人物Ａの登場比率が高くなると判断した場合に、人物Ｂが登場する全てのフレームから、人物Ａが登場する幾らかのフレームをダイジェスト動画の対象から外して比率を調整する。この場合、システム制御部１１は、人物Ａのフラグ群を参照して、人物Ａが登場するフレームを判別する。なお、人物Ａおよび人物Ｂの登場比率が予め設定された比率に完全一致しなくても、両者の差が予め定められた範囲内、例えば０．１未満であればよい。

一方、システム制御部１１は、ユーザが指定した比率に対して人物Ｂに対する人物Ａの登場比率が低くなると判断した場合に、人物Ｂが登場する全てのフレームから幾らかのフレームをダイジェスト動画の対象から外して比率を調整する。また、システム制御部１１は、人物Ａが登場する他のフレームを人物Ｂが登場する全てのフレームに追加して比率を調整してもよい。なお、人物Ａおよび人物Ｂの登場比率が予め設定された比率に完全一致しなくても、両者の差が予め定められた範囲内、例えば０．１未満であればよい。

図７の例において、人物Ａおよび人物Ｂの登場比率が３：７に予め設定されている場合、まず、システム制御部１１は、人物Ｂのフラグ群を参照して、人物Ｂが登場する全てのフレームである第ｎフレーム〜第ｎ＋２フレームを抽出する。次に、システム制御部１１は、人物Ａのフラグ群を参照して、第ｎフレーム〜第ｎ＋２フレームのうち人物Ａが登場するフレームである第ｎ＋２を検出する。そして、システム制御部１１は、人物Ａおよび人物Ｂの登場比率１：３を算出する。人物Ｂに対する人物Ａの登場比率１／３と予め設定された比率３／７との差が０．１未満であるので、画像処理部３５は、対象フレームを変更せず、第ｎフレーム〜第ｎ＋２フレームが順に配置されたダイジェスト動画Ｅのデータを生成する。

このように、本実施形態におけるシステム制御部１１は、動画データに関連付けられた開始フラグ、終了フラグを用いて、ダイジェスト動画全体の時間および注目人物の登場比率を調整する。したがって、動画撮影後にユーザの要望に沿ったダイジェスト動画を、フラグ群を参照して自動でかつ容易に作成することができる。また、注目人物の選択に応じてダイジェスト動画を作成することにより、ユーザの要望に沿ったダイジェスト動画を容易に作成することができる。例えば、新郎および新婦は、結婚式の動画データを関係者に配布する場合、新郎の関係者に対して、新郎を中心としたダイジェスト動画データが関連付けられた動画データを配布することができる。同様に、新郎および新婦は、新婦の関係者に対して、新婦を中心としたダイジェスト動画が関連付けられた動画データを配布することができる。

なお、本実施形態において、システム制御部１１は、少なくとも終了フラグを含むフラグ群を生成すればよい。終了フラグおよび動画データの撮影終了フレームを用いることにより、ユーザの要望に応じて終了位置の異なる様々なダイジェスト動画を作成することができる。

図８は、ダイジェスト動画データの生成処理のフロー図である。本フローは、ユーザによるダイジェスト動画作成のメニュー項目の選択を、検知した時点から開始される。なお、本実施形態において、システム制御部１１は、画像処理部３５と協働して本フローを実行する。ステップＳ２０１では、システム制御部１１は、図５を用いて説明したように、対象動画の選択およびダイジェスト動画の作成条件の設定を受け付ける。ステップＳ２０２では、システム制御部１１は、対象動画の動画データと、当該動画データに関連付けられたフラグ群とを記録部５０から取得する。

ステップＳ２０３では、システム制御部１１は、図６および図７を用いて説明したように、注目人物が登場する全てのフレームをダイジェスト動画の対象フレームとして抽出する。ステップＳ２０４では、システム制御部１１は、図７を用いて説明したように、ダイジェスト動画の対象フレームがステップＳ２０１で受け付けた優先度条件を満たしているか否かを判断する。システム制御部１１は、優先度条件を満たしていないと判断した場合にはステップＳ２０５へ移行し、優先度条件を満たしていると判断した場合にはステップＳ２０６へ移行する。なお、優先度条件が設定されていない場合、システム制御部１１は、ステップＳ２０６へ移行する。ステップＳ２０５では、システム制御部１１は、図７を用いて説明したように、ダイジェスト動画の対象フレームを変更して、ダイジェスト動画における対象被写体の登場比率を調整する。

ステップＳ２０６では、システム制御部１１は、図６を用いて説明したように、ダイジェスト動画の対象フレームがステップＳ１０１で受け付けた時間条件を満たしているか否かを判断する。システム制御部１１は、時間条件を満たしていないと判断した場合にはステップＳ２０７へ移行し、時間条件を満たしている場合にはステップＳ２０８へ移行する。なお、次官条件が設定されていない場合、システム制御部１１は、ステップＳ２０８へ移行する。ステップＳ２０７では、システム制御部１１は、図６を用いて説明したように、ダイジェスト動画の対象フレームを変更して、ダイジェスト動画の時間を調整する。

ステップＳ２０８では、画像処理部３５は、システム制御部１１の制御に従い、ダイジェスト動画の対象フレームを並べたダイジェスト動画データを生成する。ステップＳ２０９では、システム制御部１１は、ダイジェスト動画データを記録部５０に記録して本フローを終了する。なお、システム制御部１１は、ダイジェスト動画データを元の動画データと関連付けて記録する。

上述の実施形態において、システム制御部１１は、被写体の移動量、音声等の被写体の変化量を加味してダイジェスト動画データの対象フレームを抽出してもよい。例えば、システム制御部１１は、ダイジェスト動画全体の時間を短縮する場合に、被写体の移動量が閾値より大きいフレーム、音声レベルが閾値より高いフレームを抽出する。この場合、システム制御部１１は、短縮すべき時間に応じて移動量の閾値、音声レベルの閾値を変更してもよい。

上述の実施形態において、システム制御部１１は、被写体の移動量、音声レベル等の設定を設定画面で受け付けるようにしてもよい。また、システム制御部１１は、優先度の代わりに注目人物の優先順位の設定を設定画面で受け付けてもよい。優先順位が設定された場合、システム制御部１１は、優先順位の高い注目人物が登場するフレームの表示順序を、優先順位の低い注目人物が登場するフレームよりも先に設定してもよい。

上述の実施形態において、画像処理部３５は、ダイジェスト動画の対象動画データの動画撮影時に静止画が撮影されている場合に、当該静止画を組み込んだダイジェスト動画データを生成してもよい。具体的には、まず、システム制御部１１は、対象動画データを記録部５０から取得するときに、当該動画データに関連付けられた静止画データもあわせて取得する。そして、画像処理部３５は、上述のように作成したダイジェスト動画に静止画を組み込んだダイジェスト動画データを生成する。

例えば、画像処理部３５は、静止画が撮影された時点のフレームのところで静止画を予め定められた時間、例えば５秒間再生するダイジェスト動画データを生成する。また、画像処理部３５は、冒頭に静止画を再生し、その後にダイジェスト動画を再生するダイジェスト動画データを生成してもよい。また、画像処理部３５は、ダイジェスト動画を再生した後に静止画を再生するダイジェスト動画データを生成してもよい。

上述の実施形態では、１つの動画データに対してダイジェスト動画データが生成されたが、これに限らない。画像処理部３５は、複数の動画データを跨いだダイジェスト動画データを生成してもよい。具体的には、まず、システム制御部１１は、対象となる複数の動画の選択をユーザから受け付ける。次に、システム制御部１１は、対象となる複数の動画データと、複数の動画データにそれぞれ関連付けられた複数のフラグ群とを記録部５０から取得する。

システム制御部１１は、上述と同様の手法で、複数の動画データの各々からフレーム画像データを抽出する。そして、画像処理部３５は、システム制御部１１が抽出したフレーム画像データを繋ぎ合せて１つのダイジェスト動画データを生成する。このように複数の動画データから１つのダイジェスト動画データを生成することにより、ユーザは、例えば、旅行のときに複数回動画撮影し、これら複数の動画データから当該旅行のダイジェスト動画データを生成することができる。

上述の実施形態に係る画像記録装置および画像生成装置において、ダイジェスト動画で注目する対象被写体として人物が用いられたが、これに限らない。システム制御部１１は、山、花、料理等のシーンを認識し、これらを対象被写体として上述のフラグ群を生成してもよい。そして、システム制御部１１は、当該フラグ群を参照してダイジェスト動画データの対象フレームを抽出してもよい。

上述の実施形態に係る画像記録装置としてカメラ１０を例に説明したが、ＰＣ等の電子機器が上述の画像記録装置として機能してもよい。例えば、ＰＣが、カメラ１０の記録部５０から動画データを取得し、当該動画データを解析して上述のフラグ群を生成し、フラグ群を動画データに関連付けてＰＣに接続されている記録媒体に記録する。そして、当該ＰＣが、画像生成装置として、当該記録媒体の動画データとフラグ群とを用いてダイジェスト動画データを生成してもよい。

また、上述の実施形態に係る画像生成装置としてカメラ１０を例に説明したが、ＰＣ等の電子機器が上述の画像生成装置として機能してもよい。例えば、ＰＣが、動画データと、フラグ群とをカメラ１０の記録部５０から取得し、動画データとフラグ群とを用いて上述のようにダイジェスト動画データを生成する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記の実施形態に記載の範囲には限定されない。上記の実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ カメラ、１１ システム制御部、１２ システムメモリ、２０ 光学系、２１ レンズ群、２２ レンズシャッタ、３１ 撮像素子、３２ Ａ／Ｄ変換器、３３ メモリ制御部、３４ 内部メモリ、３５ 画像処理部、３６ 表示制御部、３７ 表示部、３８ 記録媒体ＩＦ、３９ 操作部材、４０ レンズ制御部、４１ 露光制御部、５０ 記録部、１０１ 時間条件項目、１０２ 注目人物項目、１０３ 優先度項目、１０４ ＯＫボタン、２０１、２０２、２０３、２０６、３０１ 開始フラグ、２０４、２０５、２０７、３０２ 終了フラグ

Claims (20)

1. 動画データからダイジェスト動画データを生成するための、ダイジェスト動画の終了を規定する終了フラグを含むフラグ群を生成するフラグ生成部と、
   前記フラグ群を前記動画データに関連付けて記録部に記録する記録制御部と
   を備える画像記録装置。
2. 前記フラグ生成部は、前記動画データの動画に登場する被写体に基づいて前記フラグ群を生成する請求項１に記載の画像記録装置。
3. 前記フラグ生成部は、前記被写体ごとに前記終了フラグを生成する請求項２に記載の画像記録装置。
4. 前記記録制御部は、前記被写体の変化を示す変化情報を、前記フラグ群と対応付けて前記記録部に記録する請求項２または３に記載の画像記録装置。
5. 前記記録制御部は、前記フラグ群を、前記動画データの予め定められた領域に記述する請求項１から４のいずれか１項に記載の画像記録装置。
6. 前記フラグ生成部は、前記ダイジェスト動画の開始を規定する開始フラグを含む前記フラグ群を生成する請求項１から５のいずれか１項に記載の画像記録装置。
7. 前記フラグ生成部は、前記開始フラグおよび前記終了フラグとは異なる中立フラグを含む前記フラグ群を生成する請求項６に記載の画像記録装置。
8. 撮像部と、
   前記撮像部の出力に基づいて前記動画データを生成する画像処理部と
   を備える請求項１から７のいずれか１項に記載の画像記録装置。
9. 前記フラグ生成部は、動画撮影時に前記フラグ群を生成する請求項８に記載の画像記録装置。
10. ユーザの入力を受け付ける受付部を備え、
    前記フラグ生成部は、前記受付部が受け付けた前記入力に基づいて前記フラグ群を生成する請求項８または９に記載の画像記録装置。
11. 前記受付部は、前記動画データの動画撮影後に、前記動画データに登場する被写体の選択を受け付け、
    前記記録制御部は、前記フラグ群のうち選択された前記被写体に対するフラグのみ前記記録部に残す請求項１０に記載の画像記録装置。
12. 動画データと、前記動画データからダイジェスト動画データを生成するための、ダイジェスト動画の終了を規定する終了フラグを含むフラグ群とを取得する取得部と、
    前記動画データおよび前記フラグ群に基づいて前記ダイジェスト動画データを生成する動画生成部と
    を備える画像生成装置。
13. ユーザの入力を受け付ける受付部を備え、
    前記動画生成部は、前記受付部が受け付けた前記入力に基づいて前記ダイジェスト動画データを生成する請求項１２に記載の画像生成装置。
14. 前記受付部は、前記動画データの動画に登場する被写体の選択を受け付ける請求項１３に記載の画像生成装置。
15. 前記受付部は、選択された前記被写体の優先度または優先順位を受け付ける請求項１４に記載の画像生成装置。
16. 前記受付部は、前記ダイジェスト動画の全体の時間を受け付ける請求項１３から１５のいずれか１項に記載の画像生成装置。
17. 前記取得部は、前記動画データの動画撮影時に撮影された静止画の画像データを取得し、
    前記動画生成部は、前記取得部が取得した前記画像データに基づいて前記ダイジェスト動画データを生成する請求項１２から１６のいずれか１項に記載の画像生成装置。
18. 前記取得部は、複数の前記動画データおよび複数の前記動画データに関連付けられた複数の前記フラグ群を取得し、
    前記動画生成部は、複数の前記動画データおよび複数の前記フラグ群に基づいて前記ダイジェスト動画データを生成する請求項１２から１７のいずれか１項に記載の画像生成装置。
19. 画像記録装置の制御プログラムであって、
    動画データからダイジェスト動画データを生成するための、ダイジェスト動画の終了を規定する終了フラグを含むフラグ群を生成するフラグ生成ステップと、
    前記フラグ群を前記動画データに関連付けて記録部に記録する記録制御ステップと
    をコンピュータに実行させる画像記録装置の制御プログラム。
20. 画像生成装置の制御プログラムであって、
    動画データと、前記動画データからダイジェスト動画データを生成するための、ダイジェスト動画の終了を規定する終了フラグを含むフラグ群とを取得する取得ステップと、
    前記動画データおよび前記フラグ群に基づいて前記ダイジェスト動画データを生成する動画生成ステップと
    をコンピュータに実行させる画像生成装置の制御プログラム。

Images