JP2011182118A - 表示制御装置及びその制御方法 - Google Patents

Abstract

【課題】 再生中の動画像から、予め設定された長さの区間を柔軟に指定可能な表示制御装置を提供する。
【解決手段】 再生中の動画像とともに、現在の再生位置および未再生の区間を含む所定区間における、動画像の付属情報の経時変化を時系列表示領域２０１に表示する。さらに、時系列表示領域２０１において、現在の再生位置を開始位置、現在の再生位置から予め定められた固定時間後を終了位置とする固定区間を示す区間表示２０２を行う。
【選択図】 図２

Description

本発明は、動画像を再生して表示する表示制御装置及びその制御方法に関し、特には再生中の動画像の固定時間区間を編集可能な表示制御装置及びその制御方法に関する。

従来、記録された動画像を再生、表示する装置において、ユーザが再生を希望するシーンの探索を補助するための機能が提案されている。例えば、記録された動画像を論理的に複数のカット（又はクリップ）に自動分割し、各カットの代表画像を選択可能にサムネイル表示し、サムネイルを選択することで再生開始箇所を指定可能とする機能などが知られている。

しかし、この機能が効果的なのは、再生を希望するシーンが自動検出されたどのカットに含まれるかを、代表画像からユーザが判明できる場合に限られる。それ以外の場合には、自動検出されたカットを順次早送り再生するなどして、ユーザが所望の再生シーンを探す必要があった。

この労力を軽減するため、例えば、特許文献１では、サムネイルの選択によって指定されたカットを再生する際に、動画像と並行して、そのカットの撮像時の情報（付属情報）の時間軸上の分布を、カーソルとともに視覚的に表示している。特許文献１では、付属情報の例として、撮像時の手ぶれ量、ズーム動作、合焦状態などが開示されている。

特開２００８−９７７２７号公報

特許文献１に開示される再生方法によれば、カットの先頭から再生を開始した時点で、そのカットの全区間における撮像時の情報が把握できるため、再生位置を、撮影時の情報が特定の条件を満たす位置に素速く移動することが可能になる。

しかしながら、予め設定された長さ（時間）のシーンを切り出す、あるいはコピーするといった目的でシーンの探索を行う場合、切り出される区間と、その区間に含まれる付属情報との対応を把握することができなかった。例えば、ズームアップ操作が終わった時点で切り出し区間が終わるようにしたい場合、切り出し区間の開始点をどこに設定すればよいかを容易に把握することはできなかった。

また、同様の問題は、付属情報に含まれない情報を考慮して切り出し区間を指定したい場合にはより大きくなる。例えば、付属情報に被写体の向きに関する情報が含まれないとすると、被写体が正面を向いた映像で終わるように切り出し区間を指定したい場合、切り出し区間の開始点を決定することは容易でない。

本発明はこのような従来技術の問題点を鑑みてなされたものである。本発明は、再生中の動画像から、予め設定された長さの区間を柔軟に指定可能な表示制御装置を提供する。

上述の課題は、動画像を再生し、表示装置に表示する表示制御装置であって、再生中の動画像を表示するための動画像表示データを生成する第１の生成手段と、現在の再生位置および未再生の区間を含む予め定められた区間における、再生中の動画像の経時変化を時系列表示するための時系列表示データを生成する第２の生成手段と、時系列表示において、予め定められた固定時間を有する固定区間の開始位置と終了位置とを示すための区間表示データを生成する第３の生成手段と、動画像表示データと、時系列表示データと、区間表示データとを表示装置に同時に表示するよう制御する表示制御手段と、表示制御手段による表示中にユーザからの指示を受け付けると、指示を受け付けたタイミングに基づいて固定区間を特定し、特定した固定区間に含まれる動画像のデータに対し、予め定められた処理を実行する処理手段とを有することを特徴とする表示制御装置によって達成することができる。

このような構成により、本発明の表示制御装置によれば、再生中の動画像から、予め設定された長さの区間を柔軟に指定可能となる。

本発明の実施形態に係る表示制御装置の機能構成例を示すブロック図。 本発明の実施形態に係る表示制御装置において、動画像の再生中に表示される画面（再生画面）の例を示す図。 本発明の実施形態に係る表示制御装置における区間長設定画面の例を示す図。 本発明の実施形態に係る表示制御装置における動画像再生処理を説明するためのフローチャート。 本発明の実施形態に係る表示制御装置において、動画像の再生中に表示される画面（再生画面）の例を示す図。 本発明の第２の実施形態に係る表示制御装置において用いるメタデータ管理テーブル及び顔データ管理テーブルの例を示す図。 本発明の第２の実施形態に係る表示制御装置において、動画像の再生中に表示される画面（再生画面）の例を示す図。 本発明の実施形態に係る表示制御装置における、消去または分割処理の動作例を説明するための図。 本発明の実施形態に係る表示制御装置において、動画像の再生中に表示される画面（再生画面）の別の例を示す図。

（第１の実施形態）
以下、図面を参照しながら本発明の例示的な実施形態について説明する。
図１は、本発明の実施形態に係る表示制御装置の機能構成例を示すブロック図である。本発明に係る表示制御装置は、動画像の再生中（表示中）にコピー開始の指示を受け付けると、動画像の再生を継続しながら、指示を受け付けた時点の再生位置から固定時間後までの区間をコピーして別のカットとして保存する機能を有する。この機能はビデオスナップ機能とも呼ばれる。

表示制御装置１００において、操作部１０１は、キーやボタン、タッチパネル等の入力デバイスを有し、ユーザからの入力を受け付ける。リモコンの送信機及び受信機も操作部１０１に含まれる。パラメータ管理部１０２は、動画像からコピーする固定区間の長さなどのパラメータの管理を行う。再生制御部１０３は、表示制御装置１００における動画像の再生に係る動作を制御する。具体的には、操作部１０１を通じて再生指示の入力があった場合、再生制御部１０３は、デコード部１０６、付属情報生成部１０７、付属情報制御部１０８、固定区間制御部１０９に対して再生処理の開始を指示する。さらに、再生制御部１０３は、動画像の再生中（表示中）に操作部１０１を通じてコピー指示が入力された場合、編集制御部１０５に対し、コピーを行うべき固定区間の開始点と終了点を特定するパラメータとともに編集開始の指示を行う。

保存部１０４は、動画像と、動画像の管理情報とを保存する。保存部１０４は、メモリカードのような着脱可能な記憶装置であってもよいし、ハードディスクドライブのような表示制御装置が内蔵する記憶装置であってもよい。

編集制御部１０５は、保存部１０４に保存されている動画像に対し、再生制御部１０３から渡されるパラメータを用いてコピーなどの編集処理を実行する。第１の生成手段としてのデコード部１０６は、再生制御部１０３からの指示により、保存部１０４に保存されている動画像を読み出してデコードし、表示部１１４で表示するための動画像表示データを付属情報生成部１０７及び合成部１１３へ出力する。また、デコード部１０６は、動画像データのうち、デコードが終了した位置を示す情報（例えば先頭からの時刻情報やフレーム番号など）を、逐次再生制御部１０３に通知する。

付属情報生成部１０７は、デコード部１０６でデコードされた動画像や、デコードされた動画像の管理情報（保存部１０４に保存されている）を解析し、付属情報を生成する。付属情報生成部１０７は、生成した付属情報を付属情報制御部１０８へ供給する。

付属情報制御部１０８は、付属情報生成部１０７からの付属情報を用いて、付属情報を視覚的に表すために用いる表示画像の決定などを行う。固定区間制御部１０９は、再生制御部１０３からの指示により、固定区間を表す表示の大きさや表示位置を制御する。

設定画面表示部１１０は、パラメータ管理部１０２からの指示により、固定区間長の設定画面を含む、各種の設定画面の表示データを生成する。第２の生成手段としての付属情報表示部１１１は、付属情報制御部１０８からの指示により、付属情報の経時変化を時系列表示するための時系列表示データを生成する。第３の生成手段としての固定区間表示部１１２は、固定区間制御部１０９からの指示により、付属情報の時系列表示において固定区間を示すための区間表示データを生成する。

合成部１１３は、設定画面表示部１１０、デコード部１０６、付属情報表示部１１１、及び固定区間表示部１１２からの表示データを合成し、表示画面データを生成する。そして合成部１１３は、生成した表示画面データを表示部１１４へ出力する。これにより、表示部１１４に、動画像や他の情報が表示される。

なお、図１において、操作部１０１、保存部１０４及び表示部１１４を除く各ブロックの１つ以上は、ハードウェア、ソフトウェア又はそれらの組み合わせによって実施することが可能である。また、同一のＣＰＵがプログラムを実行することにより、図１における複数のブロックを実現してもよい。

図２（ａ）は、表示制御装置１００における動画像の再生中に表示部１１４に表示される画面（再生画面）の例を示している。
図２（ａ）の再生画面２００の下部には、再生中の動画像の付属情報（動画像から抜き出したフレーム画像（静止画像）を含む）の経時変化を時系列表示するための時系列表示領域２０１が設けられている。図２（ａ）の例では、時系列表示領域２０１に、再生中の動画像から抜き出したフレーム画像（静止画像）の経時変化が時系列に沿って表示されている。

なお、時系列表示領域２０１には、少なくとも現在の再生位置及び未再生の区間を含んだ連続した区間であり、コピー処理を行う固定区間よりも長い区間における付属情報の経時変化を表示する。時系列表示領域２０１で一度に動画像の経時変化を表せる期間（図２（ａ）の例では８秒間）が動画像もしくは再生中のカットの長さより短い場合、時系列表示領域２０１の表示は、動画像の再生とともに順次、更新され、後述するスクロール表示を実現する。

また、時系列表示領域２０１に重畳表示される枠状の区間表示２０２は、その左端２０２ａで現在の再生位置を、右端２０２ｂで固定区間長経過後の再生位置を示している。つまり、現時点でコピー指示を与えた場合に生成されるカットの概要を、時系列表示領域２０１の表示と区間表示２０２とから把握することができる。

図２（ａ）の例のように、時系列表示領域２０１にフレーム画像が表示される場合、現時点でコピー指示を与えた場合に生成されるカットに含まれる映像の大まかな流れを把握することができる。

図２（ａ）の例では、再生画面にはさらに、現在再生中の動画像の、再生開始位置からの経過時間２０３及び、カット番号２０４が、付属情報として表示される。カット番号２０４は、現在再生中のカットが、保存部１０４に保存された動画像を構成する複数のカットのうち、何カット目であるかを示す。

図２（ａ）において表示されている付属情報の表示データは、付属情報制御部１０８の制御に従って付属情報表示部１１１によって生成される。
本実施形態において、コピー処理に係る固定区間の長さは、設定画面表示部１１０が合成部１１３を介して表示部１１４に表示する区間長設定画面を通じてユーザが設定可能である。

図３に、区間長設定画面の例を示す。図３（ａ）は、予め決められた区間長の中から選択する設定画面を、図３（ｂ）は、区間長を任意の値に設定可能な設定画面の例をそれぞれ示している。図３（ｂ）の設定画面では、時、分、秒の各値を設定できる。設定画面を介した設定操作は、操作部１０１に含まれる方向キーや決定キー、マウスやキーボード等を操作して行うことができる。区間長の設定は、図３に示した画面以外にも、周知の様々なＧＵＩや操作方法を用いて行うことが可能である。区間長設定画面を通じて操作部１０１から設定された区間長は、再生制御部１０３を通じてパラメータ管理部１０２に保存される。また、区間長は再生制御部１０３でも保存してよい。

次に、本実施形態の表示制御装置１００の動画像再生処理について、図４のフローチャート図を用いて説明する。
保存部１０４に保存されている動画像の再生が操作部１０１によりユーザから指示されると、動画像の再生を開始する（Ｓ４０２）。動画像の再生の指示を受け付けると、再生制御部１０３は、再生を指示された動画像のデータを特定する情報とデコード指示をデコード部１０６へ与える。なお、動画像は先頭から再生してもよいし、動画像を構成する複数のカット（自動検出されたものでも、ユーザが指定したものでもよい）のサムネイルを表示部１１４に表示し、ユーザが選択したサムネイルに対応する位置から再生してもよい。後者の場合、再生制御部１０３は再生開始位置の情報（動画像の先頭からの時刻やフレーム番号など、動画像中の位置を特定可能な任意の情報）もデコード部１０６に通知する。なお、個々のサムネイルに対応する再生開始位置の情報は、動画像のデータと関連付けて保存部１０４に予め保存されているものとする。デコード部１０６は、保存部１０４から動画像のデータを読み込み、データの符号化形式に対応したデコードを行って、デコードした動画像データを付属情報生成部１０７及び合成部１１３へ出力する。

また、再生制御部１０３は、付属情報生成部１０７に対し、デコード部１０６から供給される動画像データからフレーム画像を生成するように指示する。付属情報生成部１０７は、動画像データの各フレームを静止画としたフレーム画像を生成し、生成したフレーム画像を順次、付属情報制御部１０８へ供給する。なお、動画像データの解像度が表示部１１４の解像度より高い場合、付属情報生成部１０７は、表示部１１４の解像度に合わせた縮小フレーム画像を生成する。以下、「フレーム画像」は縮小フレーム画像を含むものとする。また、付属情報生成部１０７は、再生中の動画像に関する他の情報（カット番号など）や、経過時刻などを表す情報の画像データも生成し、付属情報制御部１０８へ供給する。

付属情報制御部１０８では、再生制御部１０３から受け取った、現在の再生位置と、フレーム画像の表示間隔（例えば１秒当たり１枚）の情報を基に、時系列表示領域２０１に表示するために必要なフレーム画像のみを選択する。そして、付属情報制御部１０８は、選択したフレーム画像を、付属情報表示部１１１へ供給する。
付属情報表示部１１１では、受け取ったフレーム画像を表示画面における時系列表示領域２０１にマッピングした表示画面データを生成し、合成部１１３へ供給する。

また、再生制御部１０３は、固定区間制御部１０９に対し、デコード部１０６から通知される現在の再生位置の情報とフレーム画像の表示間隔情報を通知し、区間表示を行うように指示する。固定区間制御部１０９は受け取った情報を基に、区間表示２０２の大きさ（特に、時系列表示領域２０１の時間軸方向の長さ）や、区間表示２０２の表示位置の情報を固定区間表示部へ通知する。固定区間表示部１１２では、受け取った情報を元に、区間表示２０２の表示画面データを生成し、表示画面にマッピングして合成部１１３へ供給する。

なお、フレーム画像が時間の進行に従って時系列表示領域２０１でスクロール表示される場合、区間表示２０２の表示位置は固定であってよい。この場合、付属情報表示部１１１が、区間表示２０２の表示位置とフレーム画像のスクロール表示とが同期するように、フレーム画像の表示画面データを作成、更新する。具体的には、付属情報表示部１１１は、例えばフレーム画像の表示間隔が１枚／秒、区間長が４秒であれば、フレーム画像のスクロール速度を、フレーム画像１枚が１秒で区間表示２０２の端（図２（ａ）の２０２ａ、２０２ｂ）の下を通過するように設定する。また、隣接するフレーム画像の間に余白が存在する場合には、余白の幅方向の中心がフレーム画像の左右端であるものとしてスクロール速度を設定する。

合成部１１３は、デコード部１０６、付属情報表示部１１１、固定区間表示部１１２のそれぞれから供給される表示画面データを同時に表示するために、それらの表示画面データを合成し、１画面分の表示画面データ（合成画面データ）を生成する。そして合成部１１３は、生成した表示画像データを、表示部１１４へ供給する。
以上の動作により、動画像の再生が開始されると、表示部１１４には図２（ａ）に示したような画面が表示される。

なお、合成部１１３においては、最背面から最前面へ、デコード部１０６からの表示画面データ、付属情報表示部１１１からの表示画面データ、固定区間表示部１１２からの表示画面データの順に合成し、合成画面データを生成する。

動画像の再生中、例えば操作部１０１のボタン押下などにより、ユーザからコピー開始の指示（Ｓ４０３）があった場合、再生制御部１０３は、その時点での再生位置情報を記憶する。そして、再生制御部１０３は、コピー開始指示に対応する再生位置から、設定されている区間長に相当する時間が経過するまで再生を継続し（Ｓ４０４）、再生を一時停止（ポーズ）させる（Ｓ４０５）。また、再生制御部１０３は、再生を一時停止させた時点での再生位置情報を記憶する。なお、本実施形態において、再生制御部１０３は、コピー開始の指示を受け付けると、コピー処理が終了するまでの間は、新たなコピー開始の指示が操作部１０１からあったとしても受け付けない。また、再生制御部１０３は、コピー開始指示を動画像の通常再生中のみ受け付け、再生していない状態（一時停止、停止など）や、特殊再生中（早送り／早戻し、スロー再生／逆再生、コマ送り／戻し再生など）は受け付けない。また、再生制御部１０３は、動画像自体の再生が困難な場合や、コピー保存先（ここでは保存部１０４）の空き容量が不十分と判断される場合、１つの動画像から生成可能なカット数の上限値に達している場合は、通常再生中でもコピー開始指示を受け付けない。さらに、再生制御部１０３は、カットを跨いでのコピー動作が禁止される場合には、カットの総時間が１秒未満であったり、コピー開始位置がカットの終端から１秒未満の場合であったりする場合も、コピー開始指示を受け付けない。

さらに、コピーされる区間の終了位置（終了点）の情報として、再生を一時停止した時点での再生位置情報を記憶するものとしたが、これに限るものではなく、一時停止前に終了位置を特定して終了位置の情報を記憶しても良い。すなわち、コピー開始の指示を受け付けたことに応じて、コピーされる区間の開始位置（コピー開始の指示を受け付けた時点の再生位置）を特定し、開始位置に基づいて終了位置を特定して、一時停止前に終了位置の情報を記憶してもよい。終了位置は、コピー開始の指示を受け付けた時点の再生位置から区間長に相当する時間進んだ位置、あるいはコピー元の動画のカットの残時間が区間長未満であった場合にはコピー元の動画のカットの終端と特定できる。いずれにしても、ユーザからのコピー開始の指示を受け付けたタイミングに基づいて、コピーされる区間が特定される。言い換えれば、ユーザからのコピー開始の指示はコピーする区間を特定するための指示である。なお、処理のタイムラグのため、コピーされる区間の開始位置は、厳密にユーザからコピー開始指示を受け付けた時点の再生位置になるとは限らないが、すくなくともユーザからコピー開始指示を受け付けたタイミングに連動して定まるものである。

再生制御部１０３は、再生を一時停止させると、コピー区間の開始地点の指示があった時点（開始点）及び再生を一時停止させた時点（終了点）の再生位置情報と、カット番号などの情報を編集制御部１０５へ通知し、コピーの実行を指示する。編集制御部１０５では、開始点から終了点までの動画像を、保存部１０４に保存されている、再生中の動画像のデータを用いてコピーし、新しいカットとして保存部１０４へ保存する（Ｓ４０６）。なお、コピー処理により、コピー元のデータに変更が加えられることはない。編集制御部１０５は、コピーの実行（カットの作成）を完了すると、再生制御部１０３に実行終了を通知する。再生制御部１０３は、「再生を継続しますか？」等のダイヤログをパラメータ管理部１０２及び設定画面表示部１１０を通じて表示部１１４に表示させ、動画像の再生を継続するか否かを問い合わせる（Ｓ４０７）。これに対し、ユーザがユーザが操作部１０１から再生の継続が指示されれば、再生制御部１０３は、動画像の再生を、Ｓ４０５で一時停止した場所から再開させる。一方、Ｓ４０７で、再生を継続しない指示があった場合、再生制御部１０３は再生処理を終了する。

次に、図２（ａ）の再生画面２００において、動画像のフレーム画像を付属情報として表示する場合の表示制御についてさらに説明する。
図２（ａ）の例において、時系列表示領域２０１内に表示しているフレーム画像の表示間隔は１秒であるため、１枚で動画像の１秒を表している。また、時系列表示領域２０１は、フレーム画像が欠けないように８枚横に並べて（時系列に沿って）表示可能である。フレーム画像は区間表示２０２の左端２０２ａの位置が現在の再生位置を表すよう、再生中の動画像と同期させて、再生画面２００の右端から左端の方向にスクロール表示される。ここでは、区間長が４秒に設定されているため、区間表示２０２の右端２０２ｂに対応するフレーム画像が、左端２０２ａに対応するフレーム画像の４枚あとのフレーム画像となるように表示される。

なお、再生が一時停止された場合や、早送り、早戻し、スロー送り／戻しなどの特殊再生中も、フレーム画像のスクロール方向及び速度を変更することにより、再生中の動画像と時系列表示領域２０１の表示とを同期させる。この場合、操作部１０１からの指示内容の情報（再生方向、速度など）を、再生制御部１０３が付属情報制御部１０８及び固定区間制御部１０９に通知する。そして、付属情報制御部１０８及び固定区間制御部１０９が通知内容に応じた表示画面データを作成するよう、付属情報表示部１１１及び固定区間表示部１１２を制御する。また、区間表示２０２は再生時の操作の種類にかかわらず常時表示し、表示位置も常に固定とする。また、区間表示２０２の幅は、図３（ａ）、（ｂ）で示した区間長設定画面で設定された区間長と、フレーム画像の大きさ（時間軸である画面水平方向の画素数）、表示間隔に応じて固定区間制御部１０９が決定する。図５（ｂ）では２倍速再生（インジケータ５０１で示されている）中に、区間表示２０２の幅が、例えば図５（ａ）に示す通常再生の場合に対して半分になっている例を示す。図５（ｂ）においては、図５（ａ）に比べて再生速度が２倍になっているため、フレーム画像の表示間隔を半分（２秒に１枚）とし、スクロール速度は図５（ａ）と同じとすることで、再生中の動画像と時系列表示領域２０１の表示と同期させている。区間表示２０２の幅は図５（ａ）の半分であるが、内包される期間は図５（ａ）と同じ４秒である。

図２（ａ）の時系列表示領域２０１に表示されるフレーム画像は、動画像の１秒毎に１枚表示されるものとしたが、設定画面などによって変更可能にしてもよい。例えば、図３（ａ）、（ｂ）で示した区間長設定画面と同様の設定画面により、フレーム画像の表示間隔を予め決められた中でユーザに指定させるか、ユーザが任意の値を設定できるようにしてもよい。この表示間隔の設定時に、既に設定されている区間長よりもフレーム画像の表示間隔が大きい場合は、「設定された表示間隔が大きすぎます」などの警告を出すか、表示間隔があまりにも大きい値に対しては選択や設定を不可にしてもよい。

また、時系列表示領域２０１におけるフレーム画像の表示総枚数は８枚としたが、これも同様に、８、１６、２４枚などの予め用意された選択肢をユーザに選択させたり、ユーザが任意の枚数を指定可能とすることができる。また、枚数の指定の代わりに、時系列表示領域２０１に表示する時間幅を設定可能としてもよい。この場合も、８秒、１６秒、２４秒などの予め用意された選択肢をユーザに選択させたり、ユーザが任意の時間幅を指定可能としてもよい。時間幅の設定を可能とするとき、既に設定された区間長よりも小さい時間幅を指定されたときは、「設定された時間幅が小さすぎます」などの警告を出すか、選択や設定を不可にしてもよい。

また、区間表示２０２は、再生時の操作の種類にかかわらず常に表示するとしたが、上述の通り本実施形態では、再生の一時停止中や特殊再生中はコピー開始指示を受け付けない。そのため、コピー開始指示を受け付けない状態では、区間表示２０２を非表示とするようにしてもよい。こうすることで、区間表示２０２の有無により、ユーザは現在コピー開始指示が可能かどうかを把握することができる。なお、再生の一時停止中や特殊再生中はコピー開始指示を受け付けない例を説明したが、受け付けてもよい。前述した図５（ｂ）のような表示を行えば、特殊再生中であっても区間表示２０２によってコピーされる区間にどの場面（画像）が含まれるのかを確認することが可能である。

また、区間表示２０２の表示位置は常に固定であるとしたが、どの位置に表示するかは、図３（ａ）、（ｂ）で示した区間長設定画面のようにユーザが、「左端」「中央」などのように選択できてもよい。また、表示部１１４がタッチパネルを備える場合は、区間表示２０２を直接左右に移動させることが可能であってもよい。カットが生成できない範囲に区間表示２０２が移動させられた場合には、警告表示を行ってもよい。

また、図２（ａ）の例では、時系列表示領域２０１におけるフレーム画像の表示形態は区間表示２０２との位置関係にかかわらず変化しないが、図５（ａ）のように区間表示２０２の枠と少なくとも一部が重なったフレーム画像のみ強調表示してもよい。または、区間表示２０２の枠と少なくとも一部が重なったフレーム画像のみ色を変更したり、大きさを変更したりしてもよい。

また、図２（ａ）の再生画面２００における区間表示２０２は、図３（ａ）、（ｂ）で示した区間長設定画面で設定された区間長により、区間表示２０２の幅を伸縮させるとした。しかし表示部１１４がタッチパネルを備える場合は、ユーザが再生画面２００の区間表示２０２を直接操作して区間表示２０２の幅（すなわち、縮尺）を伸縮できるようにしてもよい。

また、図２（ａ）の再生画面２００において、区間表示２０２の表示位置が固定で、フレーム画像が再生画面２００の右端から左端へ向かってスクロール表示されるものとした。しかし、フレーム画像を固定表示し、区間表示２０２をスクロール表示してもよい。この場合、フレーム画像を固定表示するため、フレーム画像の表示間隔を、再生中のカット又は動画像全体の長さと、時系列表示領域２０１に表示するフレーム画像の枚数によってフレーム画像の表示間隔を決定する。そして、区間表示２０２の左端２０２ａが現在の再生位置を示すように、動画像の再生とともに区間表示２０２の表示位置を更新する。

図５（ｃ）に、固定長が２秒、再生するカットの長さが８秒で、時系列表示領域２０１には最大８枚のフレーム画像を表示可能な場合の例を示している。この場合、フレーム画像の表示間隔は１秒となる。そして、区間表示２０２が、再生映像に同期して左端から右端にスクロール表示される。この場合、時系列表示領域２０１の左端がカットの開始位置（０ｓ）を、右端が終了位置（８ｓ）を表す。

このように、本実施形態の表示制御装置は、動画像を再生中に指定された開始位置から、当該動画像の予め定められた固定長の区間のコピーを生成可能である。そして、動画像の再生中は、再生中の動画像のフレーム画像の時系列表示と、現在の再生位置から固定長の区間を時系列表示上で示す区間表示とを、動画像の再生と同期させて表示する。そのため、固定長の区間にどのような画像が含まれるかを確認した上で、コピー開始指示を与えることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について、第１の実施形態との相異点を重点的に説明する。本実施形態では、動画像の記録時に付加されたメタデータを利用して区間表示を行うことを特徴とする。

動画像の再生開始までの処理は第１の実施形態と同様である。再生を開始すると、再生制御部１０３は、付属情報生成部１０７に対し、デコード部１０６でデコードされた動画像データまたは、保存部１０４にある動画像の管理情報から、時間情報と対応したメタデータを抽出するように指示する。時間情報と対応したメタデータの例としては、以下のものがある。撮像時に手ぶれしているか否か、撮像時に顔が検出されたか否か、撮像時にズーム操作されたか否か、撮像時にパンニング操作か否か、音声が記録されているか否か、逆光状態か否か、低／高コントラスト状態か否か、地面撮り状態であるか否か、等。メタデータは、動画像の付属情報として動画像とともに記録されており、メタデータが表す状態の種別と、状態が検出された時刻（又は期間）とが関連付けられているものとする。

付属情報生成部１０７は、動画像データ又は管理情報から抽出したメタデータを付属情報制御部１０８へ供給する。
付属情報制御部１０８では、受け取ったメタデータの値と、予め用意している表示用ビットマップデータとの対応付けを行う。また、再生制御部１０３から受け取った現在の再生位置と各メタデータの時間情報を比較し、付属情報表示部１１１へ表示に必要なメタデータのビットマップデータを渡す。

付属情報表示部１１１では、受け取ったビットマップデータを表示画面にマッピングした表示画面データを生成し、合成部１１３へ供給する。また、再生制御部１０３は、固定区間制御部１０９に対して現在の再生位置と区間長の情報とともに、区間表示の実行を指示する。固定区間制御部１０９は受け取った情報を基に、区間表示の大きさや表示位置を決定し、決定した情報を固定区間表示部１１２へ通知する。固定区間表示部１１２では、受け取った情報を元に、区間表示の表示画面データを生成し、表示画面にマッピングして合成部１１３へ供給する。

合成部１１３は、デコード部１０６、付属情報表示部１１１、固定区間表示部１１２のそれぞれから供給される表示画面データを合成し、１画面分の表示画面データ（合成画面データ）を生成する。そして合成部１１３は、生成した表示画像データを、表示部１１４へ供給する。
動画像の再生中にコピー開始指示を受け付けた後の処理は、第１の実施形態のＳ４０４〜Ｓ４０７で説明した処理と同様でよいため説明を省略する。

図６（ａ）は、付属情報制御部１０８が、付属情報生成部１０７からのメタデータと、ビットマップデータとの対応を行うために用いるメタデータ管理テーブル６０１の例を示す。例えば、「手ぶれ」のメタデータが含まれていれば、付属情報制御部１０８は、対応するアイコン画像とパターン画像を、「手ぶれ」のメタデータが含まれる時刻情報と共に付属情報表示部１１１へ供給する。

図６（ｂ）は、予め登録された顔データを管理する、顔データ管理テーブル６０２の例を示す。付属情報生成部１０７がデコード部から受け取った動画像データから顔が出現している個所を解析し、予め登録されている顔画像とパターンが一致するか判別する。そして、パターンが一致した顔画像があれば、付属情報制御部１０８が、メタデータ管理テーブル６０１で示した顔アイコン画像に代えて、顔データ管理テーブル６０２に登録している顔画像アイコンのビットマップデータを付属情報表示部１１１へ供給する。顔画像アイコンのビットマップデータは、例えば登録された顔画像の縮小画像であってよい。なお、この場合、デコードされた動画像データから顔認識を行うため、未再生の区間については、顔画像アイコンを表示することはできない。この場合、再生前の区間については図６（ａ）に示した顔アイコンを表示し、顔が判明した時点で顔アイコンを顔画像アイコンに置き換える（更新する）ことができる。

ここで、図６（ｂ）では予め登録された顔データテーブルとしているが、付属情報生成部１０７で解析したときに認識された全ての顔に対して顔画像を生成し、それを顔データ管理テーブル６０２に自動的に登録するようにしてもよい。これにより登録されていない顔が存在するカットが再生されても、顔画像アイコンが自動的に生成されて再生時に表示される。

次に、図７の再生画面７００、７０５において、動画像のメタデータを付属情報として表示する場合の表示制御について説明する。

図７（ａ）の時系列表示領域７０１において、表示対象のメタデータがある区間は、メタデータ管理テーブル６０１の各アイコン画像と帯状のパターン画像が表示される。このときアイコン画像は帯状のパターン画像の前面に表示される。帯状のパターン画像はメタデータがある区間を示し、例えばメタデータの「顔」７０２のパターン画像は、顔が出現した時点から顔が認識されなくなるまでの区間を示している。またメタデータの「手ぶれ」においても、帯状のパターン画像７０２ａは手ぶれが検出されてから検出されなくなるまでの区間を示している。時系列表示領域７０１の表示可能な時間幅は８秒としている。またメタデータのアイコン画像とパターン画像は、第１の実施形態と同様、区間表示７０３の左端を現在の再生位置とし、再生している動画像と同期して、再生画面７００の右端から左端の方向にスクロール表示する。再生の一時停止中や特殊再生中においても、メタデータのビットマップ画像のスクロール速度を変更することにより、再生されている動画像と表示を同期させる。また、区間表示７０３は再生時の操作の種類にかかわらず常時表示し、表示位置も常に固定とする。また、図３（ａ）、（ｂ）で示した区間長設定画面で設定された区間長により、区間表示７０３の幅が伸縮して表示される。

図７（ｂ）の時系列表示領域７０６において、区間表示７０３の範囲内に「手ぶれ」のアイコン画像又はパターン画像が含まれる場合、「手ぶれ区間が入ります」という警告表示７０７を、設定画面表示部１１０を通じて表示する。この他、「逆光」、「地面撮り」、「低コントラスト」のような、カットに含める重要度が低いと考えられる状態を示すメタデータが含まれる区間について、同様の警告表示を行うことができる。

なお、本実施形態においては、メタデータ管理テーブル６０１において、メタデータの種類毎にアイコン画像とパターン画像の両方を管理し、メタデータの存在する区間をパターン画像とアイコン画像との組み合わせで表示するものとして説明した。しかし、アイコン画像のみ、もしくはパターン画像のみで表示することも可能である。また、パターン画像は文字列であってもよい。さらに、前述した第１の実施形態と組み合わせて実施することも可能である。例えば、第１の実施形態における図２（ａ）の時系列表示領域２０１のうち、各フレーム画像の背景に当たる白抜きで現した部分に、第２の実施形態で説明したパターン画像を表示する。そして、アイコン画像はそのアイコンが示すメタデータのある期間の先頭のフレーム画像に重畳して表示するか、フレーム画像とは別の位置で、そのアイコンが示すメタデータの期間の開始位置に対応した位置に表示する。

以上説明した通り、本実施形態では、動画像の付属情報として、第１の実施形態におけるフレーム画像の代わりに、動画像に記録されているメタデータによって示される動画像の状態を時系列表示する。そのため、区間表示との組み合わせにより、コピー区間に顔が含まれるように、あるいは手ぶれしている区間を含まないように、といったように、コピー開始位置を指定することが容易になるという効果がある。

（他の実施形態）
以上、本発明を好適かつ例示的な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、発明の範囲内で他の様々な形態を採ることが可能である。

また、第１及び第２の実施形態では、動画像の再生中に指示を受け付けると、受付指示に対応する再生位置から固定長の区間をコピーして新たなカットを生成するものとして説明した。しかし、本発明は固定区間の開始位置の指定を容易にすることを目的としたものであり、指定された固定区間をどのように利用するか任意である。例えば、指定された固定区間を消去したり、分割するといったように、再生中の動画像データそのものに変更を加える処理を行ってもよい。

さらに、前述の各実施形態では、区間表示２０２の左端を現在の再生位置とするように表示したが、これに限るものではなく、コピー開始の指示があった時点での区間表示２０２が示す区間が、コピーされる区間を表すように表示するものであれば良い。例えば区間表示２０２の右端を現在の再生位置となるように区間表示２０２を表示し、コピー開始指示を受け付けると、その時点の再生位置から区間表示２０２が表す区間長だけ遡った位置から、その時点の再生位置までの区間をコピーするものとしても良い。このようにしても、コピーされる区間にどのような場面（画像）が含まれるかを区間表示２０２によって確認してコピー開始指示を行えるという本願の効果を奏する。また、区間表示２０２に内包される特定の位置、例えば区間長をｎ秒とした場合に区間表示２０２の左端からｍ秒の位置であって、区間表示２０２の右端からｎ−ｍ秒の位置が現在の再生位置となるように表示しても良い。この場合、現在の再生位置は区間表示２０２だけからは判別できないので、現在の再生位置を明示的に示す表示を行うのが好ましい。そして、コピー開始の指示を受け付けると、その時点の再生位置からｍ秒遡った位置から、その時点の再生位置からｎ−ｍ秒進んだ位置までの区間をコピーするものとする。

図８を用いて、消去や分割を行う場合の動作について説明する。元の動画像において、固定区間９００の範囲が指定されたとする。固定区間９００を消去した場合、９０１で示すように、固定区間９００の部分が消去され、「Cut1」と「Cut2」の２カットが生成される（２カットに分割される）。また、固定区間９００で分割した場合、９０２で示すように、固定区間９００の開始位置と終了位置でそれぞれ分割され、「Cut1」と「Cut2」と「Cut3」の３カットが生成される（３カットに分割される）。また、固定区間９００の開始位置と終了位置に再生区間を示すタグを付与し、動画像を次に再生する際には、固定区間９００のみが再生されるようにしてもよい。この場合、消去や分割とは違い、タグを付与しているだけであるため、元の動画像データはそのまま保持される。

また、第１及び第２の実施形態においては、時系列表示領域に表示する付属情報としてフレーム画像及びメタデータを例に挙げたが、図２（ｂ）に示すように、「撮影時間情報」と「カット終了情報」を付属情報として時系列表示領域に表示させてもよい。図２（ｂ）の例では、カットの撮影時間情報２０５を先頭から「０秒」、「５秒」、「１０秒」と５秒単位で表示するほか、カットの最後にカット終了情報２０６として「E」を表示している。

また、現在再生中のカット番号２０４に加え、次に連続して再生されるカット番号２０７（「００２」）を表示するようにしてもよい。次のカット番号の表示は、第１及び第２の実施形態において行うことも可能である。

カットを連続して再生する場合、複数のカットにまたがった固定区間の指定を許可しても良いし、単一のカット内でのみ固定区間の指定を許可してもよい。単一のカット内のみで区間指定を許可する場合、再生しているカットの残時間が固定長より短くなった時点から、カットの残時間に合わせて区間長及び区間表示の幅を短くする。このようにして一時的に短縮された区間長は、そのカットの再生終了時、又は別のカットの再生開始時に、元の設定値に戻す。

また、第１及び第２の実施形態において、時系列表示領域に、フレーム画像、メタデータ（アイコン画像・パターン画像）を帯状に表示した。しかし、再生中の動画像と同期した表示であることが識別可能であれば、表示形態に制限はない。

また、第１及び第２の実施形態においては、枠状の区間表示を例示したが、時系列表示領域に表示される付属情報との組み合わせにより、固定区間の開始位置と終了位置とが識別可能であれば、形状や表示方法に制限はない。例えば、図９に示すように、区間表示２０２を矢印とし、固定区間の開始位置と終了位置が識別可能なように時系列表示領域２０１に対応づけて表示しても良い。また、図９に示すとおり、現在の再生位置のフレームを動画表示している再生画面２００、時系列表示領域２０１、区間表示２０２とは、必ずしも互いに合成して表示する必要はなく、それぞれ別々の領域に表示しても良い。ただし、区間表示２０２は時系列表示領域２０１に対応付けた位置に表示し、時系列表示領域２０１のうち、固定区間の開始位置と終了位置が識別可能なように表示する。

また、第１及び第２の実施形態において、動画像データの保存に用いた保存部１０４は、半導体メモリカードのような着脱可能の記録媒体であってもよいし、表示制御装置に内蔵された不揮発性メモリやハードディスクドライブのような記録媒体であってもよい。

さらに、本発明に係る表示制御装置は、動画像を撮像する機能を備えていてもよい。換言すれば、本発明に係る表示制御装置は、動画像を撮像する機能を備える機器（デジタルカメラ、デジタルビデオカメラおよびカメラ機能を備える機器（携帯電話機、コンピュータなど）であってよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 動画像を再生し、表示装置に表示する表示制御装置であって、
   再生中の動画像を表示するための動画像表示データを生成する第１の生成手段と、
   現在の再生位置および未再生の区間を含む予め定められた区間における、前記再生中の動画像の経時変化を時系列表示するための時系列表示データを生成する第２の生成手段と、
   前記時系列表示において、予め定められた固定時間を有する固定区間の開始位置と終了位置とを示すための区間表示データを生成する第３の生成手段と、
   前記動画像表示データと、前記時系列表示データと、前記区間表示データとを前記表示装置に同時に表示するよう制御する表示制御手段と、
   前記表示制御手段による表示中にユーザからの指示を受け付けると、前記指示を受け付けたタイミングに基づいて前記固定区間を特定し、特定した固定区間に含まれる前記動画像のデータに対し、予め定められた処理を実行する処理手段とを有することを特徴とする表示制御装置。
2. 動画像を再生し、表示装置に表示する表示制御装置であって、
   再生中の動画像を表示するための動画像表示データを生成する第１の生成手段と、
   現在の再生位置および未再生の区間を含む予め定められた区間における、前記再生中の動画像の付属情報の経時変化を時系列表示するための時系列表示データを生成する第２の生成手段と、
   前記時系列表示において、予め定められた固定時間を有する固定区間の開始位置と終了位置とを示すための区間表示データを生成する第３の生成手段と、
   前記動画像表示データと、前記時系列表示データと、前記区間表示データとを前記表示装置に同時に表示するよう制御する表示制御手段と、
   前記表示制御手段による表示中にユーザからの指示を受け付けると、前記指示を受け付けたタイミングに基づいて前記固定区間を特定し、特定した固定区間に含まれる前記動画像のデータに対し、予め定められた処理を実行する処理手段とを有することを特徴とする表示制御装置。
3. 前記付属情報が、撮像時に手ぶれしているか否か、撮像時に顔が検出されたか否か、撮像時にズーム操作されたか否か、撮像時にパンニング操作か否か、音声が記録されているか否か、逆光状態か否か、低／高コントラスト状態か否か、地面撮り状態であるか否か、の少なくとも１つであることを特徴とする請求項２記載の表示制御装置。
4. 前記予め定められた区間が前記動画像の長さよりも短い場合、前記区間表示データの表示位置を固定とし、前記第２の生成手段は、前記動画像の再生と同期して前記時系列表示データを更新することを特徴とする請求項１乃至請求項３のいずれか１項に記載の表示制御装置。
5. 前記予め定められた区間が前記動画像の長さ以上である場合、前記第３の生成手段は、前記動画像の再生と同期して前記区間表示データの表示位置を更新することを特徴とする請求項１乃至請求項３のいずれか１項に記載の表示制御装置。
6. 前記第３の生成手段は、前記予め定められた処理を実行するためのユーザの指示を受け付けない状態においては、前記区間表示データを生成しないことを特徴とする請求項１乃至請求項５のいずれか１項に記載の表示制御装置。
7. 動画像を再生し、表示装置に表示する表示制御装置の制御方法であって、
   再生中の動画像を表示するための動画像表示データを生成する第１の生成ステップと、
   現在の再生位置および未再生の区間を含む予め定められた区間における、前記再生中の動画像の経時変化を時系列表示するための時系列表示データを生成する第２の生成ステップと、
   前記時系列表示において、予め定められた固定時間を有する固定区間の開始位置と終了位置とを示すための区間表示データを生成する第３の生成ステップと、
   前記動画像表示データと、前記時系列表示データと、前記区間表示データとを前記表示装置に同時に表示するよう制御する表示制御ステップと、
   前記表示制御ステップによる表示中にユーザからの指示を受け付けると、前記指示を受け付けたタイミングに基づいて前記固定区間を特定し、特定した固定区間に含まれる前記動画像のデータに対し、予め定められた処理を実行する処理ステップとを有することを特徴とする表示制御装置の制御方法。
8. 動画像を再生し、表示装置に表示する表示制御装置の制御方法であって、
   再生中の動画像を表示するための動画像表示データを生成する第１の生成ステップと、
   現在の再生位置および未再生の区間を含む予め定められた区間における、前記再生中の動画像の付属情報の経時変化を時系列表示するための時系列表示データを生成する第２の生成ステップと、
   前記時系列表示において、予め定められた固定時間を有する固定区間の開始位置と終了位置とを示すための区間表示データを生成する第３の生成ステップと、
   前記動画像表示データと、前記時系列表示データと、前記区間表示データとを前記表示装置に同時に表示するよう制御する表示制御ステップと、
   前記表示制御ステップによる表示中にユーザからの指示を受け付けると、前記指示を受け付けたタイミングに基づいて前記固定区間を特定し、特定した固定区間に含まれる前記動画像のデータに対し、予め定められた処理を実行する処理ステップとを有することを特徴とする表示制御装置の制御方法。
9. コンピュータを、請求項１乃至請求項６のいずれか１項に記載の表示制御装置の各手段として機能させるためのプログラム。
10. 請求項９記載のプログラムを記録した、コンピュータで読み取り可能な記録媒体。