JP2009081691A - 再生指示情報記録装置 - Google Patents

Abstract

【課題】複数の動画データが記録された記録媒体から内容を適切に把握させる代表画像や再生開始位置情報などの再生識別情報を簡単に作成して記録媒体に記録する。
【解決手段】顔検出部１０は、入力された動画像データに対して公知の顔検出を行って得られた顔の数、すなわち人数を示すデータを代表画像作成部８へ出力する。代表画像作成部８は、メモリ３から入力された前フレームの動画像データの顔の数と、顔検出部１０から入力された現フレームの人数データとの比較結果が所定の比較結果が得られるときに、現フレームの静止画像である代表画像を作成し、記録媒体６へ記録する。また、再生開始位置決定部９はメモリ３から入力された前フレームの動画像データの顔の数と、顔検出部１０から入力された人数データとの比較結果が所定の比較結果が得られるときに、再生開始位置を決定し、記録媒体６へ記録する。
【選択図】図１

Description

本発明は再生指示情報記録装置に係り、特に動画像データの内容を容易に把握するための代表画像や、動画像データを途中から再生する際の好適な開始位置を示す再生開始位置情報などの再生指示情報を記録媒体に記録する再生指示情報記録装置に関する。

近年、撮影した動画像をデジタル化して、半導体メモリや磁気ディスク、或いは光ディスク等の記録媒体に記録するようにしたデジタルビデオカメラが急速に普及している。このデジタルビデオカメラでは、ハードディスクに代表される大容量のディスクに、動画像データを記録することが可能となる。従って、大容量のディスクに記録された膨大な数の動画像データの中から所望の動画像データを、高速かつ容易に、検索する機能を持たせることが望ましい。

従来、動画像記録再生装置等において、記録媒体上に複数の動画像データが記録されている場合に、所望のシーンが簡単に検索できるように、各動画像データの内容を代表する１画像を縮小画像（サムネイル）として作成し、縮小画像を表示画面に複数並べて表示する方法が知られている（例えば、特許文献１参照）。また、動画像データを幾つかに区分する再生開始位置（チャプタ）を決めることで、動画像を途中から再生可能とする方法がある。

特開平１１−３１３３１６号公報

しかしながら、上記の特許文献１記載の方法では、検索対象のデータが動画像データの場合、その内容を単一の静止画像である縮小画像から把握するのは困難であり、作成した縮小画像は必ずしも内容を把握する上で適切な代表画像であるとは限らないという問題がある。また、各動画像データ内の一部分を検索する場合、チャプタを決めても目的の位置まで最初から早送り再生するなどして探さなければならない。なお、手動で適切な代表画像、再生開始位置を編集によって作成する方法もあるが、大きな労力を必要とする。

本発明は以上の点に鑑みなされたもので、複数の動画データが記録された記録媒体から所望のシーンの検索を適切に把握させるための代表画像や再生開始位置情報などの再生指示情報を簡単に作成して、記録媒体に記録する再生指示情報記録装置を提供することを目的とする。

上記の目的を達成するため、第1の発明の代表画像作成装置は、入力された動画像データを画像解析して、動画像データの各フレームの人物の顔を検出する顔検出手段と、顔検出手段により各フレーム毎に検出された顔の数のうち、前フレームの顔の数と現フレームの顔の数との差が設定した値より多いか否かを判定する判定手段と、判定手段により前フレームの顔の数と現フレームの顔の数との差が設定した値より多い判定結果が得られたときに、現フレームの動画像データの縮小された静止画である代表画像、及び現フレームの動画像データの時間情報である再生開始位置情報のうちの少なくとも一方を再生指示情報として生成する再生指示情報生成手段と、再生指示情報生成手段により生成された再生指示情報を記録媒体に記録する記録手段とを有することを特徴とする。

この発明では、複数の動画データが記録された記録媒体から所望のシーンの検索を容易にするため、入力された動画像データの一画面（１フレーム）の画像内で、人物の顔という特徴的で情報量の多い画像部分を利用し、その顔の数が前フレームと現フレームとで設定した値以上異なるときは、動画像データ中の代表的な画像であるとみなして、そのときの現フレームの動画像データから代表画像の作成及び再生開始位置の決定を行う。この発明では、一連の動画像データからなる一つの動画像ファイルのうち、顔の数が設定した値より多くなった時の一フレームの動画像データから一つの代表画像及び／又は再生開始位置情報を生成して記録媒体に記録することができる。

また、上記の目的を達成するため、第２の発明は、入力された動画像データを画像解析して、動画像データの各フレームの人物の顔を検出する顔検出手段と、顔検出手段により各フレーム毎に検出された顔の数のうち、前フレームの顔の数と現フレームの顔の数とが異なるか否かを判定する第１の判定手段と、第１の判定手段により現フレームの顔の数が前フレームの顔の数と異なる判定結果が得られたときに、そのときの現フレームの顔の数と同じ顔の数の代表画像が既に作成されているか否かを判定する第２の判定手段と、第２の判定手段により現フレームの顔の数と同じ顔の数の代表画像がまだ作成されていないと判定されたときに、現フレームの動画像データの縮小された静止画である代表画像、及び現フレームの動画像データの時間情報である再生開始位置情報のうちの少なくとも一方を再生指示情報として生成する再生指示情報生成手段と、再生指示情報生成手段により生成された再生指示情報を顔の数と対応付けて記録媒体に記録する記録手段とを有することを特徴とする。

この発明では、一連の動画像データからなる一つの動画像ファイルのうち、顔の数にそれぞれ対応した代表画像及び／又は再生開始位置情報を生成して記録媒体に記録することができる。

本発明によれば、入力された動画像データの一画面（１フレーム）の画像内で、人物の顔という特徴的で情報量の多い画像部分を利用し、その顔の数が前フレームと現フレームとで設定した値以上異なるとき、又は顔の数に対応してその現フレームの代表画像又は再生開始位置情報を生成して記録するようにしたため、動画像データの内容を容易に把握させることができる。また、本発明により記録した上記代表画像の位置又は再生開始位置から再生を開始する事が可能なため、所望のシーンの検索が容易となる。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明になる再生指示情報記録装置の一実施の形態のブロック図を示す。本実施の形態の再生指示情報記録装置は、ビデオカメラに適用したものである。

ビデオカメラ１００は、全体の制御を行う制御部１と、動画及び静止画を撮影する撮像部２と、データを保持するメモリ３と、動画像の表示や操作のための表示を行う表示部４と、ユーザが操作を行う操作部５と、データを記憶する記録媒体６と、動画、静止画の記録、再生を行う記録再生部７と、動画像の内容を代表する静止画を代表画像として作成する代表画像作成部８と、動画像の再生開始位置を決定する再生開始位置決定部９と、一画面内の顔を検出する顔検出部１０とを備えている。なお、本発明に直接関係しないビデオカメラの部分は、図示を省略している。

次に、本実施の形態の動作について説明する。制御部１が撮像の開始を指示すると、撮像部２は被写体の光学像を撮像素子で光電変換し、得られた電気信号である撮像信号に対して公知の信号処理を行い、更にデジタル信号に変換してデジタル映像信号である動画像データの出力を開始する。撮像部２から出力された動画像データは、メモリ３に保持されると同時に表示部４に表示される。

続いて、ユーザが操作部５を操作して録画の開始を指示すると、メモリ３に保持された動画像データがメモリ３から読み出されて、記録再生部７を介して記録媒体６に記録され始める。それと同時に上記の動画像データを記録・再生するための管理情報を保持する動画管理ファイルが記録再生部７にて作成され、記録媒体６に記録される。メモリ３から読み出された動画像データの記録が開始されると、その動画像データは代表画像作成部８に供給されると共に、顔検出部１０にも供給される。

顔検出部１０は、入力された動画像データに対して公知の顔検出を行って得られた顔の数、すなわち人数を示すデータ（これを人数データというものとする）を代表画像作成部８へ出力する。代表画像作成部８は、メモリ３から入力された前フレームの動画像データの顔の数と、顔検出部１０から入力された現フレームの人数データとの比較結果が後述する所定の比較結果が得られるときに、現フレームの静止画像である代表画像を作成し、記録媒体６へ記録する。この代表画像は縮小画像であり、例えば、１つの動画像ファイルに対して１つ作成されるか、又は顔の数に応じて作成される。

また、メモリ３から読み出された動画像データの記録が開始されると、その動画像データは再生開始位置決定部９に供給されると共に、顔検出部１０から上記人数データが再生開始位置決定部９へ供給される。再生開始位置決定部９はメモリ３から入力された前フレームの動画像データの顔の数と、顔検出部１０から入力された現フレームの人数データとの比較結果が後述する所定の比較結果が得られるときに、後述の方法で再生開始位置を決定し、記録媒体６へ記録する。この再生開始位置情報は、例えば、１つの動画像ファイルに対して１つ作成されるか、又は顔の数に応じて作成される。

上記と同様にして複数の動画像ファイルの動画像データの記録媒体６への記録が終了した後、任意のタイミングでユーザが操作部５を操作して動画像の再生を指示すると、記録媒体６に記録されている複数の動画ファイルの縮小された複数の代表画像が表示部４にて一覧表示される。表示部４にて一覧表示されている複数の代表画像の中から、ユーザは操作部５を操作して再生を希望する動画像の内容を示す代表画像を一つ選択すると、記録再生部７は記録媒体６に記録されている動画像ファイルの中から、選択された代表画像が示す動画ファイルの代表画像の場面から動画像データを再生し、表示部４へ表示する。

また、動画像再生中にユーザが操作部５を操作して再生開始位置を指定すると、記録再生部７は記録媒体６から指定された再生開始位置を読み出し、その再生開始位置から動画像データの再生を開始する。この場合は、指定した再生開始位置の代表画像に対応した動画像ファイルの先頭から再生が開始される。なお、代表画像はメモリ３から読み出した動画像データに基づいて作成するのではなく、撮像部２から出力される動画像データ又は記録媒体６から再生した動画像データから作成することも可能である。

本実施の形態によれば、動画像の代表画像を作成する際、又は再生開始位置を決定する際に、顔という特徴的で情報量の多い物体を基準に作成する事で、内容の把握が容易となる。また、上記代表画像の位置から再生を開始する事が可能なため所望のシーンの検索が容易となる。

次に、本発明の再生指示情報記録装置における代表画像及び再生開始位置の作成処理の実施例１について、図１のブロック図と図２のフローチャートを併せ参照して説明する。

撮影が開始されると、撮像部２で撮像して得られた動画像データが、メモリ３に一旦保持される。このメモリ３に保持された動画像データはメモリ３から読み出されて、顔検出部１０に供給され、ここで動画像データの一画面（１フレーム）内の顔検出が公知の方法で行われる。顔検出部１０は、入力人数データに基づいて、現フレームで検出された顔の数をカウントし（ステップＳ１０１）、その顔の数がメモリ３に保存されている前フレームの顔の数と同じかどうかを判定する（ステップＳ１０２）。なお、初期状態では前フレームの顔の数は例えば「０」である。

ステップＳ１０２で現フレームの顔の数が前フレームの顔の数と同じでないと判定した場合は、顔検出部１０は、顔の数が変化したと判断し、現フレームの顔の数が設定値より多いかを判定する（ステップＳ１０３）。この設定値は予め設定した固定値でも、ユーザが設定した値でもよい。上記のステップＳ１０１、Ｓ１０２、Ｓ１０３は、各フレーム毎に検出された顔の数のうち、前フレームの顔の数と現フレームの顔の数との差が設定値より多いか否かを判定する判定手段を実現する。

顔の数が設定値より多いとステップＳ１０３で判断した場合、制御部１は顔検出部１０の判断結果に基づいて代表画像作成部８に対して、現フレームの動画像データを代表画像としてキャプチャさせ縮小した静止画像を生成させると共に、縮小した静止画像である代表画像を記録再生部７により記録媒体６に記録させる（ステップＳ１０４）。

続いて、制御部１は、再生開始位置決定部９に対して、現フレームを再生開始位置と決定させ、その現フレームの時間情報を再生開始位置情報として書き込んだ動画管理ファイルを生成させると共に、記録再生部７を介して記録媒体６に上記代表画像とは区別して上記動画ファイルを記録させる（ステップＳ１０５）。上記の代表画像作成部８によるステップＳ１０４での代表画像の作成処理と、再生開始位置決定部９によるステップＳ１０５の再生開始位置情報を決定する処理は再生指示情報生成手段を実現する。また、記録再生部７によるステップＳ１０４とステップＳ１０５での記録処理は、再生指示情報の記録手段を実現する。ステップＳ１０５の処理が終わると、代表画像作成処理を終了する。すなわち、本実施例では、一つの動画ファイルについては代表画像と再生開始位置とはそれぞれ一つしか作成しない。

なお、ステップＳ１０２で現フレームの顔の数が前フレームの顔の数と同じであると判定した場合、又はステップＳ１０５の記録が行われた場合は、顔検出部１０は次のフレームでステップＳ１０２での顔の数の変化の判定ができるように、現フレームの顔の数を前フレームの顔の数としてメモリ３に保存する（ステップＳ１０６）。続いて、撮影が終了したと判断された場合、本処理を終了するが、撮影が終了していないと判断された場合はステップＳ１０１へ戻り、再びステップＳ１０１以降の処理を繰り返す。

以上のように、本実施例では、画像として特徴的で情報量の多い顔を基準に、顔の数が設定値以上あったときに、その時のフレームの動画像データから代表画像と再生開始位置情報とを作成するようにしたため、ユーザが記録した動画を複数の動画ファイルのそれぞれ一つの代表画像の一覧から選択する際、内容の把握が容易となり、また代表画像の位置から再生を開始することができるので所望のシーンの検索が容易となる。

次に、本発明の再生指示情報記録装置における代表画像及び再生開始位置の作成処理の実施例２について、図１のブロック図と図３のフローチャートを併せ参照して説明する。

撮影が開始されると、撮像部２で撮像して得られた動画像データが、メモリ３に一旦保持される。このメモリ３に保持された動画像データはメモリ３から読み出されて、顔検出部１０に供給され、ここで動画像データの一画面（１フレーム）内の顔検出が公知の方法で行われる。顔検出部１０は、入力人数データに基づいて、現フレームで検出された顔の数をカウントし（ステップＳ２０１）、その顔の数がメモリ３に保存されている前フレームの顔の数と同じかどうかを判定する（ステップＳ２０２）。なお、初期状態では前フレームの顔の数は例えば「０」である。このステップＳ２０１、Ｓ２０２は、各フレーム毎に検出された顔の数のうち、前フレームの顔の数と現フレームの顔の数と同じか否かを判定する第１の判定手段を実現する。

ステップＳ２０２で現フレームの顔の数が前フレームの顔の数と同じでないと判定した場合は、顔検出部１０は、その現フレームの顔の数の代表画像を既に作成してあるかどうかを判定する（ステップＳ２０３）。このステップＳ２０３は第２の判定手段を実現する。ステップＳ２０３でまだ、その現フレームの顔の数の代表画像を作成していないと判定されたときのみ、制御部１は顔検出部１０の判定結果に基づいて、代表画像作成部８に対して、現フレームの動画像データを代表画像として顔の数と関連付けてキャプチャさせて縮小した静止画像を生成させると共に、キャプチャした現フレームの縮小した静止画像を代表画像として記録再生部７により記録媒体６に顔の数と共に記録させる（ステップＳ２０４）。

続いて、制御部１は、再生開始位置決定部９に対して、現フレームを再生開始位置と決定させ、その現フレームの時間情報を再生開始位置情報として現フレームの顔の数と関連付けて書き込んだ動画管理ファイルを生成させると共に、記録再生部７を介して記録媒体６に上記代表画像とは区別して上記動画ファイルを記録させる（ステップＳ２０５）。

ここで、複数の動画ファイルを同じ記録媒体６に順次に記録する場合、再生開始位置情報として記録される、顔の数が変化したときの現フレームの時間情報は各動画ファイル毎に一つずつ作成される動画管理ファイルに記録されるので、区別することが可能である。上記の代表画像作成部８によるステップＳ２０４での代表画像の作成処理と、再生開始位置決定部９によるステップＳ２０５の再生開始位置情報を決定する処理は再生指示情報生成手段を実現する。また、記録再生部７によるステップＳ２０４とステップＳ２０５での記録処理は、再生指示情報の記録手段を実現する。

ステップＳ２０２で現フレームの顔の数が前フレームの顔の数と同じであると判定した場合、又はステップＳ２０３で現フレームの顔の数の代表画像を既に作成してあると判定した場合、又はステップＳ２０５の記録が行われた場合は、顔検出部１０は次のフレームでステップＳ２０２での顔の数の変化の判定ができるように、現フレームの顔の数を前フレームの顔の数としてメモリ３に保存する（ステップＳ２０６）。続いて、撮影が終了したかを判断し（ステップＳ２０７）、撮影終了が判断された場合、本処理を終了するが、撮影が終了していないと判断された場合はステップＳ２０１へ戻り、再びステップＳ２０１以降の処理を繰り返す。

以上のように、本実施例によれば、代表画像と顔の数を関連付けてメモリ３に保存すると共に、１つの動画ファイルにおいては顔の数に対応した数の代表画像及び再生開始位置情報を作成するが、同じ顔の数の代表画像及び再生開始位置情報は１つのみしか作成しないようにしたため、動画像を代表画像の一覧から選択する時に、ユーザが指定した顔の数に応じて代表画像を切り替えたり、途中から再生を開始したりできる。例えばユーザが動画像を代表画像の一覧から選択する時に、操作部５を用いて顔の数をＦと設定したとする。すると、各動画像の代表画像が、ＦまたはＦに最も近い顔の数が写っている代表画像に切り替わる。同様に、ユーザが動画像を再生している途中で、顔の数をＦと設定した場合、顔の数がＦだけ写っている再生開始位置に移動する。

なお、本発明は以上の実施の例に限定されるものではなく、その他種々の変形例も包含するものである。例えば、以上の実施例では、代表画像を動画像の撮影中に作成しているが、それ以外、例えば代表画像の一覧を表示する時に記録媒体６から再生する動画像から作成してもよい。具体的には、撮影中の顔の数の変動を検知したら代表画像を作成せずに、時間情報を記録媒体６に動画管理ファイルとして記録しておく。そして代表画像の一覧を表示する時に、記録媒体６から再生した動画管理ファイルから時間情報を読み出して、その時間に対応するフレームから代表画像を作成する。

なお、代表画像作成用の時間情報をわざわざ記録せずに、再生開始位置情報と共用するようにしてもよい。また、実施例２の場合は、顔の数が頻繁に変動するような場合では、代表画像や再生開始位置が多く作られてしまい、内容の把握が難しくなる可能性がある。そのため、所定の時間以上の顔の数が変動しなかった場合のみ、代表画像や再生開始位置を作成する方法が考えられる。

すなわち、代表画像や再生開始位置情報を作成してから設定した時間経過したかどうかを判定する第２の判定手段を例えば制御部１に設けて、この第２の判定手段により設定時間経過したと判定された場合で、かつ、現フレームの顔の数が前フレームの顔の数と異なった場合に、そのときの現フレームの顔の数の代表画像か再生開始位置情報が作成されていない判定結果が得られたときに、そのときの現フレームの動画像データを代表画像として作成し、そのときの現フレームの時間情報を再生開始位置情報として作成してもよい。また、記録を開始してから初めて顔の変動を検知した時の一度だけ代表画像や再生開始位置を作成する方法も考えられる。

また、代表画像は一目で内容を把握するために状況が変化した後の画像が好ましい、再生開始位置は状況が変化する寸前から再生が開始された方がよい場合がある。そのため代表画像の位置から一定時間分引いた位置を再生開始位置として決定する方法も考えられる。また、代表画像及び再生開始位置情報のうちのどちらか一方だけを生成して記録するようにしてもよい。

本発明装置の一実施の形態のブロック図である。 本発明装置の実施例１の動作を示すフローチャートである。 本発明装置の実施例２の動作を示すフローチャートである。

符号の説明

１ 制御部
２ 撮像部
３ メモリ
４ 表示部
５ 操作部
６ 記録媒体
７ 記録再生部
８ 代表画像作成部
９ 再生開始位置決定部
１０ 顔検出部
１００ ビデオカメラ

Claims (2)

1. 入力された動画像データを画像解析して、前記動画像データの各フレームの人物の顔を検出する顔検出手段と、
   前記顔検出手段により各フレーム毎に検出された前記顔の数のうち、前フレームの顔の数と現フレームの顔の数との差が設定した値より多いか否かを判定する判定手段と、
   前記判定手段により前記前フレームの顔の数と前記現フレームの顔の数との差が前記設定した値より多い判定結果が得られたときに、前記現フレームの動画像データの縮小された静止画である代表画像、及び前記現フレームの動画像データの時間情報である再生開始位置情報のうちの少なくとも一方を再生指示情報として生成する再生指示情報生成手段と、
   前記再生指示情報生成手段により生成された前記再生指示情報を記録媒体に記録する記録手段と
   を有することを特徴とする再生指示情報記録装置。
2. 入力された動画像データを画像解析して、前記動画像データの各フレームの人物の顔を検出する顔検出手段と、
   前記顔検出手段により各フレーム毎に検出された前記顔の数のうち、前フレームの顔の数と現フレームの顔の数とが異なるか否かを判定する第１の判定手段と、
   前記第１の判定手段により前記現フレームの顔の数が前記前フレームの顔の数と異なる判定結果が得られたときに、そのときの現フレームの顔の数と同じ顔の数の代表画像が既に作成されているか否かを判定する第２の判定手段と、
   前記第２の判定手段により前記現フレームの顔の数と同じ顔の数の代表画像がまだ作成されていないと判定されたときに、前記現フレームの動画像データの縮小された静止画である代表画像、及び前記現フレームの動画像データの時間情報である再生開始位置情報のうちの少なくとも一方を再生指示情報として生成する再生指示情報生成手段と、
   前記再生指示情報生成手段により生成された前記再生指示情報を顔の数と対応付けて記録媒体に記録する記録手段と
   を有することを特徴とする再生指示情報記録装置。

Images