JP2017204753A - フレーム抽出方法、動画再生制御方法、プログラム、フレーム抽出装置及び動画再生制御装置 - Google Patents

Abstract

【課題】より的確な代表フレームを抽出する方法及び装置、動画再生制御方法及び装置並びにプログラムを提供する。【解決手段】フレーム抽出方法は、動画像に含まれる複数のフレームを所定の時間間隔でグルーピングして得られる各グループにおいて、フレームの鮮明度に関する指標が最も鮮明であることを示すフレームを特定し、上記各グループにおいて特定したフレーム間で、時間的に前後するフレームとの間の変化量が所定の基準以下の複数のフレームをグルーピングし、上記各グループにおいて特定したフレームから、グルーピングされた上記複数のフレームのうちフレームの鮮明度に関する指標が最も鮮明であることを示すフレームに基づいて、代表フレームを抽出する、処理を含む。【選択図】図１０

Description

本発明は、動画像から代表フレームを抽出する技術に関する。

例えば、作業員の頭部に装着されたカメラで撮影された映像に基づいて作業分析を行うような場合に、一連の作業を１シーンとして認識できれば、シーン毎の検索がし易くなる。

或る特許文献には、シーン変化で区切られた期間に関して、特徴量最大のフレーム画像を代表画像とし、所望のシーンをすばやく検索できるようにする技術が開示されている。この特許文献には、色ヒストグラムの差分からフレーム画像間の相関を求めて、シーンを区切る旨が開示されている。

特開２０００−３５０１５６号公報

本発明の目的は、一側面では、より的確な代表フレームを抽出することである。

更に、一側面では、画像表示操作を簡便にすることである。

一態様に係るフレーム抽出方法は、（Ａ）動画像に含まれる複数のフレームを所定の時間間隔でグルーピングして得られる各グループにおいて、フレームの鮮明度に関する指標が最も鮮明であることを示すフレームを特定し、（Ｂ）上記各グループにおいて特定したフレーム間で、時間的に前後するフレームとの間の変化量が所定の基準以下の複数のフレームをグルーピングし、（Ｃ）上記各グループにおいて特定したフレームから、グルーピングされた上記複数のフレームのうちフレームの鮮明度に関する指標が最も鮮明であることを示すフレームに基づいて、代表フレームを抽出する、処理を含む。

一態様に係る動画再生制御方法は、（Ｄ）動画に含まれる複数のフレームの中から選択された代表フレームの再生タイミングに対応するマークを上記動画の再生タイミングを示すタイムバー上に表示するとともに、上記代表フレームより再生タイミングが早いフレーム、再生タイミングが遅いフレームの双方を含み、上記代表フレームにより代表される被代表フレーム群が属する再生時間区間であって、上記タイムバーが示す時間区間の一部を示す表示を行ない、（Ｅ）上記タイムバーに対する操作に応じて上記動画を再生する、処理を含む。

一側面としては、より的確な代表フレームを抽出することができる。

一側面としては、画像表示操作が簡便になる。

図１は、単位期間及び第１代表画像の例を示す図である。 図２は、安定期間及び第２代表画像の例を示す図である。 図３は、第１ビューアによる表示操作画面を示す図である。 図４は、第１動画処理装置のモジュール構成を示す図である。 図５は、第１メイン処理フローを示す図である。 図６は、第１分析部のモジュール構成を示す図である。 図７は、第１分析フェーズ処理フローを示す図である。 図８は、フレームテーブルの例を示す図である。 図９は、単位期間処理フローを示す図である。 図１０は、第１選定処理（Ａ）フローを示す図である。 図１１Ａは、期間テーブルの例を示す図である。 図１１Ｂは、期間テーブルの例を示す図である。 図１２は、安定期間処理フローを示す図である。 図１３は、安定期間の特定処理フローを示す図である。 図１４は、第２代表画像の選定処理フローを示す図である。 図１５は、第１ビューアのモジュール構成を示す図である。 図１６は、第１閲覧フェーズ処理フローを示す図である。 図１７は、第１サムネイル表示処理フローを示す図である。 図１８は、第１マーク列表示処理フローを示す図である。 図１９は、第１閲覧フェーズ処理フローを示す図である。 図２０は、第１閲覧フェーズ処理フローを示す図である。 図２１は、第１動画再生処理フローを示す図である。 図２２は、第１閲覧フェーズ処理フローを示す図である。 図２３は、第１閲覧フェーズ処理フローを示す図である。 図２４は、第２動画再生処理フローを示す図である。 図２５は、第２代表画像の比較例を示す図である。 図２６は、第２代表画像の比較例を示す図である。 図２７は、場面期間及び第３代表画像の例を示す図である。 図２８は、第１代表画像、第２代表画像及び第３代表画像の配列を示す図である。 図２９は、第２ビューアによる表示操作画面を示す図である。 図３０は、第２動画処理装置のモジュール構成を示す図である。 図３１は、第２メイン処理フローを示す図である。 図３２は、第２分析部のモジュール構成を示す図である。 図３３は、第２分析フェーズ処理フローを示す図である。 図３４Ａは、期間テーブルの例を示す図である。 図３４Ｂは、期間テーブルの例を示す図である。 図３４Ｃは、期間テーブルの例を示す図である。 図３４Ｄは、期間テーブルの例を示す図である。 図３５は、場面期間処理フローを示す図である。 図３６は、場面期間の特定処理フローを示す図である。 図３７は、色調に関する近似判定処理フローを示す図である。 図３８は、特徴量ベクトル算出処理フローを示す図である。 図３９は、第３代表画像の選定処理フローを示す図である。 図４０は、第２ビューアのモジュール構成を示す図である。 図４１は、第２閲覧フェーズ処理（Ａ）フローを示す図である。 図４２は、第２閲覧フェーズ処理（Ａ）フローを示す図である。 図４３は、第３動画再生処理フローを示す図である。 図４４は、第１選定処理（Ｂ）フローを示す図である。 図４５は、実施の形態４に係る第２ビューアによる表示操作画面を示す図である。 図４６は、第２閲覧フェーズ処理（Ｂ）フローを示す図である。 図４７は、自動めくり処理フローを示す図である。 図４８は、自動めくり処理フローを示す図である。 図４９は、自動めくり処理フローを示す図である。 図５０は、実施の形態５に係る第２ビューアによる表示操作画面を示す図である。 図５１は、第２閲覧フェーズ処理（Ｃ）フローを示す図である。 図５２は、第２サムネイル表示処理フローを示す図である。 図５３は、実施の形態６に係る第２ビューアによる表示操作画面を示す図である。 図５４は、第２閲覧フェーズ処理（Ｄ）フローを示す図である。 図５５は、第２マーク列表示処理（Ａ）フローを示す図である。 図５６は、実施の形態７に係る第２ビューアによる表示操作画面を示す図である。 図５７は、第２マーク列表示処理（Ｂ）フローを示す図である。 図５８は、実施の形態８に係る第２ビューアによる表示操作画面を示す図である。 図５９は、コンピュータの機能ブロック図である。

［実施の形態１］
ビデオカメラで撮影された動画データは、様々な形態で利用される。例えば、ヘッドマウント型のビデオカメラで撮影された動画データに基づいて、作業を分析することがある。例えば、撮影されているシーンの内容に応じて、作業手順を作成する。或いは、作業内容が適正かを検証することもある。この場合に、一般的には、動画をすべて再生させて、再生された映像を見ることになる。

本実施の形態では、どの再生タイミングにどのような注視状態が含まれているかを簡単に把握できるようにして、動画を分析する際の労力を軽減する。具体的には、有意義であると見込まれる注視状態を抽出すると共に、当該注視状態の代表画像をめくりながら、全体の流れを把握できるようにする。

尚、他の動画データに本実施の形態を適用するようにしてもよい。例えば、ホームビデオ、ミュージックビデオや映画などに適用するようにしてもよい。

本実施の形態における動画データの分析について説明する。図１の上段に、動画データの構成を示す。再生タイミングの時系列に従って、左から右へフレーム画像の連なりを示している。そして、全体の再生時間を、所定時間長に相当する単位期間１０１に分割する。図１の下段の太い線の枠は、単位期間１０１に含まれるフレーム画像を囲んでいる。

本実施の形態では、各単位期間１０１を代表する第１代表画像１０３が選定される。この例では、エッジが最も鋭いフレーム画像が選ばれる。

そして、第１代表画像１０３の並びにおいて直接の前後関係にある第１代表画像１０３同士を比較する。例えば、第１代表画像１０３ａと第１代表画像１０３ｂとを比較する。また、第１代表画像１０３ｂと第１代表画像１０３ｃとを比較する。両第１代表画像１０３における被写体の位置変化が小さい場合に、両第１代表画像１０３は同じ安定期間に該当すると判断する。つまり、安定期間では、構図が近似する画像が連なる。安定期間は、注視状態が続いている期間に相当する。

図２の説明に移る。この例で、第１代表画像１０３ｂと第１代表画像１０３ｃとの間で被写体の位置変化が小さく、また第１代表画像１０３ｃと第１代表画像１０３ｄとの間で被写体の位置変化が小さいものとする。この例では、２つのボタンスイッチのうち左側のボタンスイッチを操作している様子が写されている。このように、画像内における被写体の位置変化が小さい第１代表画像１０３同士の連なりを安定期間２０１とする。この例では、単位期間１０１ｂ乃至単位期間１０１ｄが安定期間２０１ａに該当する。

そして、各安定期間２０１において第２代表画像２０３を選定する。この例では、安定期間２０１ａに含まれる第１代表画像１０３ｂ乃至第１代表画像１０３ｄのうち、エッジが最も鋭い第１代表画像１０３ｃが第２代表画像２０３ａとして選ばれる。

続いて、これらの分析に基づく画像表示について説明する。図３に、第１ビューアによる表示操作画面を示す。本実施の形態におけるビューアを第１ビューアという。画像領域３０１には、フレーム画像（例えば、第１代表画像１０３又は第２代表画像２０３）が表示される。画像領域３０１には、動画が表示されることもある。

中央のサムネイル３０３ｄは、画像領域３０１に表示中のフレーム画像に最も近い第２代表画像２０３の縮小画像である。遡ってサムネイル３０３ｃ乃至サムネイル３０３ａは、順次それより前の第２代表画像２０３の縮小画像である。サムネイル３０３ｅ乃至サムネイル３０３ｇは、順次それより後の第２代表画像２０３の縮小画像である。

いずれかのサムネイル３０３ａ乃至ｇがタッチされると当該サムネイル３０３に対応する第２代表画像２０３が画像領域３０１に表示される。そして、タッチされたサムネイル３０３が中央になるようにサムネイル３０３ａ乃至ｇが並び替えられる。また、サムネイル３０３の表示領域をスライドさせる操作を行えば、そのスライド量に応じてサムネイル３０３ａ乃至ｇが移動し、入れ替わる。

縁のみの丸で示した第１マーク３０５は、第２代表画像２０３に該当しない第１代表画像１０３に相当する。塗りつぶした丸で示した第２マーク３０７は、第２代表画像２０３のうち付加データが登録されていないものに相当する。塗りつぶした正方形で示した第３マーク３０９は、第２代表画像２０３のうち付加データが登録されているものに相当する。付加データは、代表画像に対応付けて登録されるデータであって、例えば画像の名称や画像を説明する文などである。

三角マーク３１１は、画像領域３０１に表示中の代表画像を表している。三角マーク３１１より左側のマークは、画像領域３０１に表示中のフレーム画像よりも順次前の代表画像に対応する。三角マーク３１１より右側のマークは、画像領域３０１に表示中のフレーム画像よりも順次後の代表画像に対応する。また、枠３１３は、安定期間２０１の範囲を示している。枠３１３の内側には、所定の背景色が設定されている。

いずれかのマークをタッチ（タップ）すると、当該マークに対応する代表画像が画像領域３０１に表示される。そして、タッチされたマークが中央になるようにマークが並び替えられる。マークの表示領域をスライドさせる操作を行えば、そのスライド量に応じてマークが移動し、入れ替わる。また、マークがタッチされた場合に、当該マークに対応する代表画像の再生タイミングから動画が再生されるようにしてもよい。

第１の次ボタン３１５をタッチすれば、次の第１代表画像１０３を画像領域３０１に表示させる指示をすることになる。第２の次ボタン３１７をタッチすれば、次の第２代表画像２０３を画像領域３０１に表示させる指示をすることになる。第１の前ボタン３１９をタッチすれば、前の第１代表画像１０３を画像領域３０１に表示させる指示をすることになる。第２の前ボタン３２１をタッチすれば、前の第２代表画像２０３を画像領域３０１に表示させる指示をすることになる。

この例では、動画処理装置が有するタッチパネルに対するタッチ操作やスライド操作を受け付けるが、他の操作（例えば、動画処理装置が有するマウスによるクリック操作やドラッグ操作）を受け付けるようにしてもよい。

システムメニュー領域３２３は、システムの利用に係る機能を指示するために用いられる。付加データ入力領域３２５は、代表画像に付加するデータの入力を受け付けるために用いられる。出力メニュー領域３２７は、代表画像集の出力を指示するために用いられる。その他、安定期間２０１の長さを表示するようにしてもよい。

以下、本実施の形態に係る動画処理装置を、第１動画処理装置という。図４に、第１動画処理装置のモジュール構成を示す。第１動画処理装置４００は、第１データ受付部４０１、第１分析部４０３、第１ビューア４０５、第１操作受付部４０７、第１更新部４０９、第１動画記憶部４２１、第１パラメータ記憶部４２３、第１フレームテーブル記憶部４２５、第１フレーム画像記憶部４２７及び第１期間テーブル記憶部４２９を有する。

第１データ受付部４０１は、動画データを受け付ける。第１分析部４０３は、動画データの分析を行う。第１ビューア４０５は、フレーム画像及び動画を表示する。第１ビューア４０５は、更に付加データの登録を受け付け、代表画像集の生成も行う。第１操作受付部４０７は、ユーザによる操作を受け付ける。第１更新部４０９は、動画データの分析に用いられるパラメータを更新する。

第１動画記憶部４２１は、動画データを記憶する。第１パラメータ記憶部４２３は、動画データの分析に用いられるパラメータを記憶する。第１フレームテーブル記憶部４２５は、フレームテーブルを記憶する。フレームテーブルについては、図８を用いて後述する。第１フレーム画像記憶部４２７は、フレーム画像のファイルを記憶する。第１期間テーブル記憶部４２９は、期間テーブルを記憶する。期間テーブルについては、図１１Ａ及び図１１Ｂを用いて後述する。

上述した第１データ受付部４０１、第１分析部４０３、第１ビューア４０５、第１操作受付部４０７及び第１更新部４０９は、ハードウエア資源（例えば、図５９）と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。

上述した第１動画記憶部４２１、第１パラメータ記憶部４２３、第１フレームテーブル記憶部４２５、第１フレーム画像記憶部４２７及び第１期間テーブル記憶部４２９は、ハードウエア資源（例えば、図５９）を用いて実現される。

続いて、第１動画処理装置４００における第１メイン処理について説明する。図５に、第１メイン処理フローを示す。第１データ受付部４０１は、動画データを受け付ける（Ｓ５０１）。受け付けた動画データは、第１動画記憶部４２１に記憶される。

第１分析部４０３は、第１分析フェーズ処理を実行する（Ｓ５０３）。第１分析フェーズ処理では、動画データの分析を行う。第１分析フェーズ処理については、図７他を用いて後述する。

第１ビューア４０５は、第１閲覧フェーズ処理を実行する（Ｓ５０５）。第１閲覧フェーズ処理では、フレーム画像と再生動画の閲覧、付加データの登録及び代表画像集生成のための処理を行う。第１閲覧フェーズ処理については、図１６他を用いて後述する。

第１操作受付部４０７は、パラメータの変更指示を受け付けたか否かを判定する（Ｓ５０７）。変更対象のパラメータは、第１パラメータ記憶部４２３に記憶されている。変更対象のパラメータは、例えば、単位期間１０１の長さ及び後述する図１３のＳ１３１１において用いられる閾値である。

パラメータの変更指示を受け付けたと判定した場合には、第１更新部４０９は、変更指示に従ってパラメータを更新する（Ｓ５０９）。そして、Ｓ５０３に示した処理に戻って、上述した処理を繰り返す。

一方、パラメータの変更指示を受け付けていないと判定した場合には、第１操作受付部４０７は、終了指示を受け付けたか否かを判定する（Ｓ５１１）。終了指示を受け付けたと判定した場合には、第１メイン処理を終了する。

一方、終了指示を受け付けていないと判定した場合には、Ｓ５０７に示した処理に戻って、上述した処理を繰り返す。

続いて、第１分析フェーズ処理を行う第１分析部４０３について説明する。図６に、第１分析部４０３のモジュール構成を示す。第１分析部４０３は、第１生成部６０１、分割部６０３、第１選定部６０５、第１特定部６０７及び第２選定部６０９を有する。

第１生成部６０１は、動画データに基づいてフレーム画像を生成する。分割部６０３は、動画データの再生に係る全体の時間（以下、動画再生時間という。）を単位期間１０１に分割する。第１選定部６０５は、単位期間１０１を代表する第１代表画像１０３を選定する。第１特定部６０７は、安定期間２０１を特定する。第２選定部６０９は、安定期間２０１を代表する第２代表画像２０３を選定する。

上述した第１生成部６０１、分割部６０３、第１選定部６０５、第１特定部６０７及び第２選定部６０９は、ハードウエア資源（例えば、図５９）と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。

図７に、第１分析フェーズ処理フローを示す。第１生成部６０１は、動画データに基づいてフレーム画像を生成する（Ｓ７０１）。この例では、１秒間に３０個のフレーム画像が含まれているものとする。動画再生時間が２０分であれば、３６０００個のフレーム画像が生成される。生成されたフレーム画像は、第１フレーム画像記憶部４２７に記憶される。このとき、フレームテーブルにはフレームＩＤ、フレーム画像のファイル名及び再生タイミングが設定される。尚、分析を終了した段階で、代表画像に該当しないフレーム画像を削除するようにしてもよい。

図８に、フレームテーブルの例を示す。この例におけるフレームテーブルは、フレームに対応するレコードを有している。フレームテーブルのレコードは、フレームＩＤが格納されるフィールドと、フレーム画像のファイル名が格納されるフィールドと、再生タイミングが格納されるフィールドと、エッジの鋭さが格納されるフィールドとを有している。

フレームＩＤは、フレームを特定する。フレーム画像のファイル名は、第１フレーム画像記憶部４２７に記憶されるファイルの名前である。再生タイミングは、動画再生時間中において当該フレームが再生される時間を示す。エッジの鋭さは、エッジの明確さに相当する。この例では、エッジの鋭さは、フレームの鮮明度を示す指標として用いられる。フレームの鮮明度を示す指標は、ピントが合っている度合いを示すということもできる。フレームの鮮明度を示す指標は、フレーム画像におけるエッジの検出量であってもよい。エッジの鋭さは、後述される第１選定処理（Ａ）において求められる。例えばフレームＩＤに基づいてファイル名が特定される場合には、ファイル名は省略してもよい。また、再生タイミングを算出する処理を含むようにすれば、再生タイミングを保持しなくてもよい。

図７の説明に戻る。第１分析部４０３は、単位期間処理を実行する（Ｓ７０３）。単位期間処理では、単位期間１０１における代表画像（つまり、第１代表画像１０３）を選定する。単位期間処理については、図９を用いて後述する。

第１分析部４０３は、安定期間処理を実行する（Ｓ７０５）。安定期間処理では、安定期間２０１を特定し、安定期間２０１における代表画像（つまり、第２代表画像２０３）を選定する。安定期間処理については、図１２を用いて後述する。第１分析フェーズ処理を終えると、呼び出し元の第１メイン処理に復帰する。

図９に、単位期間処理フローを示す。まず、分割部６０３は、動画再生時間を単位期間１０１に分割する（Ｓ９０１）。単位期間１０１は、所定の時間の長さを有する。この例では、単位期間１０１の長さは１秒であるものとする。つまり、１番目の単位期間１０１（単位期間ＩＤ：Ｕ０００１）は再生タイミングの０秒から１秒までに相当する。同様に２番目の単位期間１０１（単位期間ＩＤ：Ｕ０００２）は再生タイミングの１秒から２秒までに相当する。同様に３番目の単位期間１０１（単位期間ＩＤ：Ｕ０００３）は再生タイミングの２秒から３秒までに相当する。以降、Ｎ番目の単位期間１０１は再生タイミングのＮ−１秒からＮ秒までに相当する。このように設定された単位期間１０１のデータは、第１パラメータ記憶部４２３に記憶される。

第１選定部６０５は、第１選定処理を実行する（Ｓ９０３）。第１選定処理では、単位期間１０１に含まれるフレーム画像の中から第１代表画像１０３を選定する。

本実施の形態では、第１選定処理（Ａ）を実行する。図１０に、第１選定処理（Ａ）フローを示す。第１選定部６０５は、単位期間１０１を１つ特定する（Ｓ１００１）。例えば、第１選定部６０５は、再生の順番で単位期間１０１を特定する。

第１選定部６０５は、当該単位期間１０１に含まれるフレーム画像を１つ特定する（Ｓ１００３）。例えば、第１選定部６０５は、再生の順番でフレーム画像を特定する。このとき、期間テーブルにおけるレコードに、フレームＩＤ及び単位期間ＩＤが設定される。

図１１Ａ及び図１１Ｂに、期間テーブルの例を示す。図１１Ｂは、図１１Ａの続きを示している。この例における期間テーブルは、フレームに対応するレコードを有している。期間テーブルのレコードは、フレームＩＤが格納されるフィールドと、単位期間ＩＤが格納されるフィールドと、第１代表画像フラグのフィールドと、安定期間ＩＤが格納されるフィールドと、第２代表画像フラグのフィールドと、安定期間２０１の長さが格納されるフィールドと、付加データが格納されるフィールドとを有している。

フレームＩＤは、フレームを特定する。単位期間ＩＤは、当該フレームが属する単位期間１０１を特定する。第１代表画像フラグは、当該フレームの画像が第１代表画像１０３に該当する場合にＯＮとなる。第１代表画像フラグがＯＦＦであれば、当該フレームは第１代表画像１０３に該当しない。安定期間ＩＤは、当該フレームが属する安定期間２０１を特定する。当該フレームが安定期間２０１に含まれない場合には、「該当せず」の旨が設定される。第２代表画像フラグは、当該フレームが第２代表画像２０３に該当する場合にＯＮとなる。第２代表画像フラグがＯＦＦであれば、当該フレームは第２代表画像２０３に該当しない。第２代表画像２０３に該当するレコードには、安定期間２０１の長さが設定される。また、第１代表画像１０３又は第２代表画像２０３に該当するレコードには、付加データが設定されることがある。

図１０の説明に戻る。第１選定部６０５は、Ｓ１００３において特定したフレーム画像におけるエッジを検出する（Ｓ１００５）。更に、第１選定部６０５は、検出されたエッジの鋭さ（明確さ）を求める（Ｓ１００７）。エッジの鋭さは、フレームテーブルに格納される。このとき、フレームの鮮明度を示す他の指標を求めるようにしてもよい。具体的には、第１選定部６０５は、フレーム画像におけるエッジの検出量を算出してもよい。

第１選定部６０５は、未処理のフレーム画像があるか否かを判定する（Ｓ１００９）。未処理のフレーム画像があると判定した場合には、Ｓ１００３に示した処理に戻って、上述した処理を繰り返す。

一方、未処理のフレーム画像がないと判定した場合には、第１選定部６０５は、Ｓ１００１で特定した単位期間１０１に含まれるフレーム画像のうち、最もエッジが鋭いフレーム画像（つまり、最も鮮明なフレーム画像）を特定する（Ｓ１０１１）。そして、第１選定部６０５は、当該フレーム画像を当該単位期間１０１における第１代表画像１０３に定める（Ｓ１０１３）。具体的には、当該フレーム画像に対応するレコードにおける第１代表画像フラグをＯＮに設定する。また、当該第１代表画像１０３以外のフレーム画像に対応するレコードにおける第１代表画像フラグはＯＦＦに設定される。

第１選定部６０５は、未処理の単位期間１０１があるか否かを判定する（Ｓ１０１５）。未処理の単位期間１０１があると判定した場合には、Ｓ１００１に示した処理に戻って、上述した処理を繰り返す。

一方、未処理の単位期間１０１がないと判定した場合には、第１選定処理（Ａ）を終える。第１選定処理（Ａ）を終えると、呼び出し元の単位期間処理に復帰する。そして、図９に示すように単位期間処理も終え、呼び出し元の第１分析フェーズ処理に復帰する。

図１２に、安定期間処理フローを示す。第１特定部６０７は、安定期間２０１の特定処理を実行する（Ｓ１２０１）。

図１３に、安定期間２０１の特定処理フローを示す。第１特定部６０７は、単位期間１０１を１つ特定する（Ｓ１３０１）。例えば、第１特定部６０７は、再生の順番で単位期間１０１を特定する。但し、最後の単位期間１０１は特定されない。

第１特定部６０７は、当該単位期間１０１における第１代表画像１０３を特定する（Ｓ１３０３）。また、第１特定部６０７は、当該単位期間１０１の次の単位期間１０１における第１代表画像１０３を特定する（Ｓ１３０５）。

そして、第１特定部６０７は、当該２つの第１代表画像１０３の間で特徴点のマッチングを行う（Ｓ１３０７）。特徴点は、例えばエッジに含まれる点である。被写体の輪郭のうち角が特徴点となることもある。マッチングでは、被写体の同一箇所を指すと見込まれる特徴点同士を対応付けて、それらの特徴点の位置関係を特定する。この例で、第１特定部６０７は、各特徴点の距離に関する平均値を求め、画像の変化量とする（Ｓ１３０９）。ここで求められた画像の変化量は、第１代表画像１０３内における被写体の位置変化の量に相当する。尚、画像の変化量は、第１代表画像１０３内における被写体の位置変化の量と色調の変化量（例えば、特徴量ベクトルの差分）との組み合わせに基づく値であってもよい。

第１特定部６０７は、画像の変化量が閾値以下であるか否かを判定する（Ｓ１３１１）。画像の変化量が閾値以下であると判定した場合には、第１特定部６０７は、当該単位期間１０１とその次の単位期間１０１とを同じ安定期間２０１に含める（Ｓ１３１３）。具体的には、当該次の単位期間１０１に含まれる各フレームのレコードにおける安定期間ＩＤに、その前の単位期間１０１に含まれる各フレームのレコードにおける安定期間ＩＤと同じ値を設定する。前の単位期間１０１に含まれる各フレームのレコードに安定期間ＩＤが設定されていない場合には、新たな安定期間ＩＤを両単位期間１０１に含まれる各フレームのレコードに設定する。

一方、画像の変化量が閾値以下ではないと判定した場合には、そのままＳ１３１５の処理に移る。

第１特定部６０７は、未処理の単位期間１０１があるか否かを判定する（Ｓ１３１５）。未処理の単位期間１０１があると判定した場合には、Ｓ１３０１に示した処理に戻って、上述した処理を繰り返す。

一方、未処理の単位期間１０１がないと判定した場合には、安定期間２０１の特定処理を終える。安定期間２０１の特定処理を終えると、呼び出し元の安定期間処理に復帰する。

図１２の説明に戻る。第２選定部６０９は、第２代表画像２０３の選定処理を実行する（Ｓ１２０３）。

図１４に、第２代表画像２０３の選定処理フローを示す。第２選定部６０９は、安定期間２０１を１つ特定する（Ｓ１４０１）。例えば、第２選定部６０９は、期間テーブルにおいて、再生の順番で安定期間ＩＤを特定する。

第２選定部６０９は、特定した安定期間２０１に含まれる単位期間１０１毎に、当該単位期間１０１の第１代表画像１０３におけるエッジの鋭さを特定する（Ｓ１４０３）。具体的には、第２選定部６０９は、フレームテーブルから第１代表画像１０３におけるエッジの鋭さを読む。フレームの鮮明度を示す他の指標を用いる場合も、同様である。

第２選定部６０９は、当該安定期間２０１に含まれる単位期間１０１の第１代表画像１０３のうち、最もエッジが鋭い第１代表画像１０３（つまり、最も鮮明な第１代表画像１０３）を特定する（Ｓ１４０５）。第２選定部６０９は、当該第１代表画像１０３を当該安定期間２０１における第２代表画像２０３に定める（Ｓ１４０７）。具体的には、当該第１代表画像１０３に対応するレコードにおける第２代表画像フラグをＯＮに設定する。また、当該第２代表画像２０３以外のフレーム画像に対応するレコードにおける第２代表画像フラグはＯＦＦに設定される。

第２選定部６０９は、未処理の安定期間２０１があるか否かを判定する（Ｓ１４０９）。未処理の安定期間２０１があると判定した場合には、Ｓ１４０１に示した処理に戻って、上述した処理を繰り返す。

一方、未処理の安定期間２０１がないと判定した場合には、第２選定部６０９は、各安定期間２０１の長さを算出する（Ｓ１４１１）。算出した安定期間２０１の長さは、期間テーブルにおける第２代表画像２０３のレコードに設定される。具体的には、期間テーブルにおいて、同一の安定期間ＩＤが設定されているレコードのうち、最後のレコードにおけるフレームの再生タイミングから最初のレコードにおけるフレームの再生タイミングを引くことによって、当該安定期間ＩＤで特定される安定期間２０１の長さを求める。第２代表画像２０３の選定処理を終えると、呼び出し元の安定期間処理に復帰する。

図１２の説明に戻る。安定期間処理を終えると、呼び出し元の第１分析フェーズ処理に復帰する。以上で、第１分析フェーズ処理についての説明を終える。

続いて、第１閲覧フェーズ処理について説明する。図１５に、第１ビューア４０５のモジュール構成を示す。第１ビューア４０５は、第１初期化部１５０１、第１表示処理部１５０３、第２表示処理部１５０５、第３表示処理部１５０７、第２特定部１５０９、第３特定部１５１１、第４表示処理部１５１３、第１再生部１５１５、第２生成部１５１７、第１設定部１５１８及び第４特定部１５１９を有する。

第１初期化部１５０１は、表示対象を特定するためのポインタを初期化する。第１表示処理部１５０３は、ポインタが指す代表画像を画像領域３０１に表示する。第２表示処理部１５０５は、第１サムネイル表示処理を実行する。第３表示処理部１５０７は、第１マーク列表示処理を実行する。第２特定部１５０９は、サムネイル３０３に対するユーザ操作に応じて表示対象を特定する。第３特定部１５１１は、次ボタン又は前ボタンに対するユーザ操作に応じて表示対象を特定する。第４表示処理部１５１３は、第１動画再生処理を実行する。第１再生部１５１５は、動画の再生を行う。第２生成部１５１７は、代表画像集を生成する。第１設定部１５１８は、動画として最後に再生したフレームのＩＤ（又は最後に再生した第１代表画像１０３のフレームＩＤ）をポインタに設定する。第４特定部１５１９は、マークに対するユーザ操作に応じて表示対象を特定する。

上述した第１初期化部１５０１、第１表示処理部１５０３、第２表示処理部１５０５、第３表示処理部１５０７、第２特定部１５０９、第３特定部１５１１、第４表示処理部１５１３、第１再生部１５１５、第２生成部１５１７、第１設定部１５１８及び第４特定部１５１９は、ハードウエア資源（例えば、図５９）と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。

図１６に、第１閲覧フェーズ処理フローを示す。第１初期化部１５０１は、ポインタを初期化する（Ｓ１６０１）。ポインタは、画像領域３０１に表示させる代表画像のフレームＩＤを示す内部パラメータである。第１初期化部１５０１は、例えば先頭の第１代表画像１０３のフレームＩＤをポインタに設定する。或いは、先頭の第２代表画像２０３のフレームＩＤをポインタに設定してもよい。ポインタの初期化の仕方は、任意である。

第１表示処理部１５０３は、ポインタが指す代表画像を画像領域３０１に表示する（Ｓ１６０３）。具体的には、ポインタが示すフレームＩＤに対応するフレーム画像のファイル名を特定し、当該ファイルのフレーム画像を展開して、画像領域３０１に表示させる。

第２表示処理部１５０５は、第１サムネイル表示処理を実行する（Ｓ１６０５）。サムネイル表示処理では、第２代表画像２０３のサムネイル３０３ａ乃至ｇを表示する。

図１７に、第１サムネイル表示処理フローを示す。第２表示処理部１５０５は、ポインタに最も近い第２代表画像２０３を特定する（Ｓ１７００）。具体的には、第２表示処理部１５０５は、期間テーブルにおいて第２代表画像フラグがＯＮに設定されているレコードのうち、ポインタが示すフレームＩＤのレコードに最も近いレコードを特定する。

第２表示処理部１５０５は、ポインタが指す第２代表画像２０３の前後Ｔ個（この例では３個）ずつの第２代表画像２０３を特定する（Ｓ１７０１）。具体的には、第２表示処理部１５０５は、期間テーブルにおいて、ポインタが示すフレームＩＤのレコードより前のレコードの中で第２代表画像フラグがＯＮに設定されている直近のＴ個のレコードを探索する。更に、第２表示処理部１５０５は、ポインタが示すフレームＩＤのレコードより後のレコードの中で第２代表画像フラグがＯＮに設定されている直近のＴ個のレコードを探索する。

第２表示処理部１５０５は、特定した各第２代表画像２０３のサムネイル３０３を生成する（Ｓ１７０３）。具体的には、各フレームＩＤに対応するフレーム画像のファイル名を特定し、当該ファイルのフレーム画像をサムネイル３０３の画像に変換する。

第２表示処理部１５０５は、生成した各サムネイル３０３ａ乃至ｇを表示する（Ｓ１７０５）。具体的には、第２表示処理部１５０５は、再生の順番に従ってサムネイル３０３ａ乃至ｇを配置する。そして、サムネイル表示処理を終え、呼び出し元の第１閲覧フェーズ処理に復帰する。

図１６の説明に戻る。第３表示処理部１５０７は、第１マーク列表示処理を実行する（Ｓ１６０７）。第１マーク列表示処理では、マークによって第１代表画像１０３及び第２代表画像２０３の並びを表す。

図１８に、第１マーク列表示処理フローを示す。第３表示処理部１５０７は、ポインタが指す代表画像の前後Ｍ個（この例では１１個）ずつの第１代表画像１０３に相当するフレームＩＤを抽出する（Ｓ１８０１）。具体的には、第３表示処理部１５０７は、期間テーブルにおいて、ポインタが示すフレームＩＤのレコードより前のレコードの中で第１代表画像フラグがＯＮに設定されている直近のＭ個のレコードを探索する。更に、第３表示処理部１５０７は、ポインタが示すフレームＩＤのレコードより後のレコードの中で第１代表画像フラグがＯＮに設定されている直近のＭ個のレコードを探索する。

第３表示処理部１５０７は、抽出されたフレームＩＤのうち、１つのフレームＩＤを特定する（Ｓ１８０３）。例えば、第３表示処理部１５０７は、再生の順番に従ってフレームＩＤを特定する。

第３表示処理部１５０７は、当該フレームＩＤが第２代表画像２０３にも該当するか否かを判定する（Ｓ１８０５）。当該フレームＩＤが第２代表画像２０３に該当しないと判定した場合には、第３表示処理部１５０７は、第１マーク３０５を当該フレームＩＤの順位に相当する位置に表示する（Ｓ１８０７）。順位は、表示操作画面の左から右に向けて、再生の順番に従って定まる。そして、Ｓ１８１９の処理に移る。

一方、当該フレームＩＤが第２代表画像２０３に該当すると判定した場合には、第３表示処理部１５０７は、当該第２代表画像２０３に付加データが登録されているか否かを判定する（Ｓ１８０９）。具体的には、第３表示処理部１５０７は、期間テーブルにおいて、当該第２代表画像２０３に相当するレコードに付加データが設定されているか否かを判定する。当該第２代表画像２０３に付加データが登録されていないと判定した場合には、第３表示処理部１５０７は、第２マーク３０７を当該フレームＩＤの順位に相当する位置に表示する（Ｓ１８１１）。そして、Ｓ１８１５の処理に移る。

一方、当該第２代表画像２０３に付加データが登録されていると判定した場合には、第３表示処理部１５０７は、第３マーク３０９を当該フレームＩＤの順位に相当する位置に表示する（Ｓ１８１３）。そして、Ｓ１８１５の処理に移る。

第３表示処理部１５０７は、当該第２代表画像２０３を含む安定期間２０１を特定する（Ｓ１８１５）。具体的には、第３表示処理部１５０７は、期間テーブルにおいて、当該第２代表画像２０３に相当するレコードに設定されている安定期間ＩＤと同じＩＤが設定されているレコードのうち、先頭のレコードから最後のレコードまでを安定期間２０１として特定する。そして、第３表示処理部１５０７は、当該安定期間２０１に含まれる代表画像に相当するマーク列の位置を特定する。

第３表示処理部１５０７は、安定期間２０１の範囲に背景色を設定する（Ｓ１８１７）。具体的には、第３表示処理部１５０７は、安定期間２０１の範囲を示す枠３１３を表示するとともに、当該枠３１３の内側にある代表画像の背景に所定の色を表示させる。尚、安定期間２０１同士が隣接する場合には、間をあけて背景色が連続しないようにしてもよい。

第３表示処理部１５０７は、未特定のフレームＩＤがあるか否かを判定する（Ｓ１８１９）。未特定のフレームＩＤがあると判定した場合には、Ｓ１８０３に示した処理に戻って、上述した処理を繰り返す。

一方、未特定のフレームＩＤがないと判定した場合には、第３表示処理部１５０７は、ポインタが指す代表画像のマークの位置に三角マーク３１１を表示する（Ｓ１８２１）。そして、第１マーク列表示処理を終え、呼び出し元の第１閲覧フェーズ処理に復帰する。

図１６の説明に戻る。第１マーク列表示処理を終えると、第１操作受付部４０７は、サムネイル３０３がタッチされたか否かを判定する（Ｓ１６０９）。サムネイル３０３がタッチされたと判定した場合には、第２特定部１５０９は、タッチされたサムネイル３０３に対応するフレームＩＤをポインタに設定する（Ｓ１６１１）。そして、Ｓ１６０３に示した処理に戻って、上述した処理を繰り返す。

Ｓ１６０９において、サムネイル３０３がタッチされていないと判定した場合には、第１操作受付部４０７は、サムネイル３０３の表示領域におけるスライド操作を受け付けたか否かを判定する（Ｓ１６１３）。サムネイル３０３の表示領域におけるスライド操作を受け付けたと判定した場合には、第２特定部１５０９は、スライド量に応じてポインタを変更する（Ｓ１６１５）。このとき、第２特定部１５０９は、スライド量に所定比率を乗じて移動分の代表画像数を求める。ポインタを変更すると、Ｓ１６０３に示した処理に戻って、上述した処理を繰り返す。

一方、サムネイル３０３の表示領域におけるスライド操作を受け付けていないと判定した場合には、端子Ａを介して図１９に示したＳ１９０１の処理に移る。

図１９の説明に移る。第１操作受付部４０７は、第１の次ボタン３１５がタッチされたか否かを判定する（Ｓ１９０１）。第１の次ボタン３１５がタッチされたと判定した場合には、第３特定部１５１１は、ポインタより後の最も近い第１代表画像１０３を特定する（Ｓ１９０３）。具体的には、第３特定部１５１１は、期間テーブルにおいて、ポインタが示すフレームＩＤのレコードより後のレコードの中で第１代表画像フラグがＯＮに設定されている直近のレコードを探索する。そして、第３特定部１５１１は、当該第１代表画像１０３のフレームＩＤをポインタに設定する（Ｓ１９０５）。その後、端子Ｂを介して図１６のＳ１６０３に示した処理に戻って、上述した処理を繰り返す。

一方、第１の次ボタン３１５がタッチされていないと判定した場合には、第１操作受付部４０７は、第２の次ボタン３１７がタッチされたか否かを判定する（Ｓ１９０７）。第２の次ボタン３１７がタッチされたと判定した場合には、第３特定部１５１１は、ポインタより後の最も近い第２代表画像２０３を特定する（Ｓ１９０９）。具体的には、第３特定部１５１１は、期間テーブルにおいて、ポインタが示すフレームＩＤのレコードより後のレコードの中で第２代表画像フラグがＯＮに設定されている直近のレコードを探索する。そして、第３特定部１５１１は、当該第２代表画像２０３のフレームＩＤをポインタに設定する（Ｓ１９１１）。その後、端子Ｂを介して図１６のＳ１６０３に示した処理に戻って、上述した処理を繰り返す。

一方、第２の次ボタン３１７がタッチされていないと判定した場合には、第１操作受付部４０７は、第１の前ボタン３１９がタッチされたか否かを判定する（Ｓ１９１３）。第１の前ボタン３１９がタッチされたと判定した場合には、第３特定部１５１１は、ポインタより前の最も近い第１代表画像１０３を特定する（Ｓ１９１５）。具体的には、第３特定部１５１１は、期間テーブルにおいて、ポインタが示すフレームＩＤのレコードより前のレコードの中で第１代表画像フラグがＯＮに設定されている直近のレコードを探索する。そして、第３特定部１５１１は、当該第１代表画像１０３のフレームＩＤをポインタに設定する（Ｓ１９１７）。その後、端子Ｂを介して図１６のＳ１６０３に示した処理に戻って、上述した処理を繰り返す。

一方、第１の前ボタン３１９がタッチされていないと判定した場合には、第１操作受付部４０７は、第２の前ボタン３２１がタッチされたか否かを判定する（Ｓ１９１９）。第２の前ボタン３２１がタッチされたと判定した場合には、第３特定部１５１１は、ポインタより前の最も近い第２代表画像２０３を特定する（Ｓ１９２１）。具体的には、第３特定部１５１１は、期間テーブルにおいて、ポインタが示すフレームＩＤのレコードより前のレコードの中で第２代表画像フラグがＯＮに設定されている直近のレコードを探索する。そして、第３特定部１５１１は、当該第２代表画像２０３のフレームＩＤをポインタに設定する（Ｓ１９２３）。その後、端子Ｂを介して図１６のＳ１６０３に示した処理に戻って、上述した処理を繰り返す。

一方、第２の前ボタン３２１がタッチされていないと判定した場合には、端子Ｄを介して図２０に示したＳ２００１の処理に移る。

図２０の説明に移る。第１操作受付部４０７は、マーク表示領域において安定期間２０１がタッチされたか否かを判定する（Ｓ２００１）。第１操作受付部４０７は、例えば、枠３１３又は背景の部分がタッチされたか否かを判定する。安定期間２０１がタッチされたと判定した場合には、第４表示処理部１５１３は、第１動画再生処理を実行する（Ｓ２００３）。第１動画再生処理では、当該安定期間２０１の先頭から動画の再生を行う。

図２１に、第１動画再生処理フローを示す。第１再生部１５１５は、安定期間２０１の先頭フレームの再生タイミングから動画の再生を開始し、第４表示処理部１５１３は、再生した動画を画像領域３０１に表示する（Ｓ２１０１）。

第１操作受付部４０７は、再生停止が指示されたか否かを判定する（Ｓ２１０３）。再生停止が指示されていないと判定した場合には、Ｓ２１０３の処理を繰り返す。

一方、再生停止が指示されたと判定した場合には、第１再生部１５１５は、動画再生を停止する（Ｓ２１０５）。そして、第１設定部１５１８は、最後に再生したフレームＩＤ（又は最後に再生した第１代表画像１０３のフレームＩＤ）をポインタに設定する（Ｓ２１０７）。動画再生処理を終えると、呼び出し元の第１閲覧フェーズ処理に復帰する。

図２０の説明に戻る。第１動画再生処理を終えると、端子Ｂを介して図１６のＳ１６０３に示した処理に戻って、上述した処理を繰り返す。

Ｓ２００１において、安定期間２０１がタッチされていないと判定した場合には、第１操作受付部４０７は、第１マーク３０５、第２マーク３０７又は第３マーク３０９がダブルタップされたか否かを判定する（Ｓ２００５）。本実施の形態では、マークをダブルタップすることによって、付加データを受け付ける処理に移る。マウス操作の場合には、ダブルクリックによって、付加データを受け付ける処理に移るようにしてもよい。或いは、他の操作によって付加データを受け付ける処理に移るようにしてもよい。

第１マーク３０５、第２マーク３０７又は第３マーク３０９がダブルタップされたと判定した場合には、第２生成部１５１７は、付加データ入力領域３２５において付加データの入力を受け付ける（Ｓ２００７）。ユーザは、例えば画像に関する名称やコメントを入力する。付加データは、期間テーブルに格納される。具体的には、第１マーク３０５、第２マーク３０７又は第３マーク３０９に相当する代表画像のレコードに、付加データが設定される。付加データの入力を終えると、端子Ｃを介して図１６のＳ１６０９に示した処理に戻って、上述した処理を繰り返す。

一方、第１マーク３０５、第２マーク３０７又は第３マーク３０９のいずれもダブルタップされていないと判定した場合には、第１操作受付部４０７は、出力メニュー領域３２７において出力フォーマットの選択を受け付けたか否かを判定する（Ｓ２００９）。出力メニュー領域３２７において出力フォーマットの選択を受け付けたと判定した場合には、第２生成部１５１７は、選択された出力フォーマットの種類を第１パラメータ記憶部４２３に記憶する（Ｓ２０１１）。そして、端子Ｃを介して図１６のＳ１６０９に示した処理に戻って、上述した処理を繰り返す。

一方、Ｓ２００９において、出力フォーマットの選択を受け付けていないと判定した場合には、第１操作受付部４０７は、出力メニュー領域３２７において出力先の選択を受け付けたか否かを判定する（Ｓ２０１３）。出力先は、例えばドライブ及びフォルダで特定される。出力メニュー領域３２７において出力先の選択を受け付けたと判定した場合には、第２生成部１５１７は、出力先を第１パラメータ記憶部４２３に記憶する（Ｓ２０１５）。そして、端子Ｃを介して図１６のＳ１６０９に示した処理に戻って、上述した処理を繰り返す。

一方、Ｓ２０１３において、出力先の選択を受け付けていないと判定した場合には、第１操作受付部４０７は、出力メニュー領域３２７において代表画像選択が指示されたか否かを判定する（Ｓ２０１７）。代表画像選択が指示されたと判定した場合には、第２生成部１５１７は、代表画像の一覧を表示する（Ｓ２０１９）。当該一覧を表示するウインドウは、代表画像の選択及び当該選択の取消を受け付けるインターフェースを有する。第２生成部１５１７は、代表画像集に含める代表画像の選択を受け付ける（Ｓ２０２１）。尚、デフォルトとして、すべての代表画像が選択されているようにしてもよい。代表画像の選択を終えると、端子Ｃを介して図１６のＳ１６０９に示した処理に戻って、上述した処理を繰り返す。

一方、Ｓ２０１７において、代表画像選択が指示されていないと判定した場合には、第１操作受付部４０７は、出力メニュー領域３２７において代表画像集生成が指示されたか否かを判定する（Ｓ２０２３）。代表画像集生成が指示されたと判定した場合には、第２生成部１５１７は、代表画像集を生成する（Ｓ２０２５）。具体的には、第２生成部１５１７は、選択されている代表画像毎に期間テーブルに設定されている付加データを読み、代表画像のフレーム画像と付加データとを対として、出力フォーマットに従う代表画像集データに設定する。生成された代表画像集データは、出力先に格納される。そして、端子Ｃを介して図１６のＳ１６０９に示した処理に戻って、上述した処理を繰り返す。

一方、Ｓ２０２３において、代表画像集生成が指示されていないと判定した場合には、端子Ｅを介して図２２のＳ２２０１に示した処理に移る。

図２２の説明に移る。第１操作受付部４０７は、第１マーク３０５、第２マーク３０７又は第３マーク３０９がタップされたか否かを判定する（Ｓ２２０１）。この例では、第１マーク３０５、第２マーク３０７又は第３マーク３０９がタップされると、当該マークに対応する代表画像が画像領域３０１に表示される。従って、第１マーク３０５、第２マーク３０７又は第３マーク３０９がタップされたと判定した場合には、第４特定部１５１９は、タップされたマークに相当するフレームＩＤをポインタに設定する（Ｓ２２０３）。そして、端子Ｂを介して図１６のＳ１６０３に示した処理に戻って、上述した処理を繰り返す。

一方、第１マーク３０５、第２マーク３０７又は第３マーク３０９のいずれもタップされていないと判定した場合には、端子Ｃを介して図１６のＳ１６０９に示した処理に戻って、上述した処理を繰り返す。

図２２の例によらず、第１マーク３０５、第２マーク３０７又は第３マーク３０９がタップされると、当該マークに対応する代表画像から動画を再生するようにしてもよい。その場合の処理フローを図２３に示す。図２０のＳ２０２３におけるＮＯルートから端子Ｅを介してＳ２３０１の処理に移る。

第１操作受付部４０７は、第１マーク３０５、第２マーク３０７又は第３マーク３０９がタップされたか否かを判定する（Ｓ２３０１）。第１マーク３０５、第２マーク３０７又は第３マーク３０９がタップされたと判定した場合には、第４特定部１５１９は、タップされたマークに相当するフレームＩＤをポインタに設定する（Ｓ２３０３）。そして、第４表示処理部１５１３は、第２動画再生処理を実行する（Ｓ２３０５）。第２動画再生処理では、ポインタが指すフレームを起点として動画を再生する。

図２４に、第２動画再生処理フローを示す。第１再生部１５１５は、ポインタが指すフレームの再生タイミングから動画の再生を開始し、第４表示処理部１５１３は、再生した動画を画像領域３０１に表示する（Ｓ２４０１）。

第１操作受付部４０７は、再生停止が指示されたか否かを判定する（Ｓ２４０３）。再生停止が指示されていないと判定した場合には、Ｓ２４０３の処理を繰り返す。

一方、再生停止が指示されたと判定した場合には、第１再生部１５１５は、動画再生を停止する（Ｓ２４０５）。そして、第１設定部１５１８は、最後に再生したフレームＩＤ（又は最後に再生した第１代表画像１０３のフレームＩＤ）をポインタに設定する（Ｓ２４０７）。第２動画再生処理を終えると、呼び出し元の第１閲覧フェーズ処理に復帰する。

図２３の説明に戻る。第２動画再生処理を終えると、端子Ｂを介して図１６のＳ１６０３に示した処理に戻って、上述した処理を繰り返す。Ｓ２３０１において、第１マーク３０５、第２マーク３０７又は第３マーク３０９のいずれもタップされていないと判定した場合には、端子Ｃを介して図１６のＳ１６０９に示した処理に戻って、上述した処理を繰り返す。以上で、第１閲覧フェーズ処理の説明を終える。

本実施の形態によれば、より的確な代表フレームを抽出することができる。鮮明な代表フレームが得られる面がある。

また、あまり意味の無い映像を再生する時間を省きやすい。例えば作業場を移動している間は、映像がぶれていて不安定な画像が繰り返される。また、撮影者の注意が集中していないときの映像も、視線方向が定まらず不安定な画像が繰り返される。このような映像を避けて再生するように操作し易い。

［実施の形態２］
本実施の形態では、どの再生タイミングにどのようなシーンが含まれているかを簡単に把握できるようにして、動画を分析する際の労力を軽減する。具体的には、有意義であると見込まれるシーンを抽出すると共に、当該シーンの代表画像をめくりながら、全体の流れを把握できるようにする。

本実施の形態では、図１及び図２に示した第１代表画像１０３同士の比較に続いて、図２５に示す第２代表画像２０３同士の比較を行う。図２５について説明する。安定期間２０１ａの他に、安定期間２０１ｂが特定され、単位期間１０１ｆにおける第１代表画像１０３ｆが第２代表画像２０３ｂとして選ばれているものとする。

この段階で、第２代表画像２０３の並びにおいて直接の前後関係にある第２代表画像２０３同士を比較する。例えば、第２代表画像２０３ａと第２代表画像２０３ｂとを比較する。両第２代表画像２０３における色調が近似する場合に、両第２代表画像２０３は同じ場面期間に該当すると判断する。場面期間は、１つのシーンに相当する。

図２６では、第２代表画像２０３ｂと第２代表画像２０３ｃとを比較する。このように、比較対象となる第２代表画像２０３を含む安定期間２０１同士が連続するとは限らない。単位期間１０１ｉ及び単位期間１０１ｊのように、安定期間２０１に該当しない単位期間１０１を挟んで比較を行うことがある。

図２７の説明に移る。この例で、第２代表画像２０３ａと第２代表画像２０３ｂとは色調が近似し、更に第２代表画像２０３ｂと第２代表画像２０３ｃとは色調が近似するものとする。この例では、２つのボタンスイッチを有する操作面上で作業者の手が写っている。手の位置が異なるので画像内における被写体の位置変化が大きいが、映し出されている被写体自体は同じであるので色調は近似する。このように、色調が近似する第２代表画像２０３同士の連なりを場面期間５０１とする。この例では、第２代表画像２０３ａ乃至第２代表画像２０３ｃが場面期間５０１ａに該当する。

そして、各場面期間５０１において第３代表画像５０３を選定する。この例では、場面期間５０１ａに含まれる第２代表画像２０３ａ乃至第２代表画像２０３ｃのうち、エッジが最も鋭い第２代表画像２０３ｂが第３代表画像５０３ａとして選ばれる。

尚、安定期間２０１に該当しない単位期間１０１ｉ及び単位期間１０１ｊでは、作業者が一瞬余所見をして映像が乱れている。この間のフレーム画像における色調は、第２代表画像２０３ａ乃至第２代表画像２０３ｃにおける色調と近似しない。しかし、本実施の形態では、この間も含めて１つの場面期間５０１を特定することができる。

図２８に、第１代表画像１０３、第２代表画像２０３及び第３代表画像５０３の配列を示す。図２８で斜線パターンを付した矩形は、第２代表画像２０３及び第３代表画像５０３のいずれにも該当しない第１代表画像１０３を示している。このように、本実施の形態における分析の結果、第２代表画像２０３及び第３代表画像５０３のいずれにも該当しない第１代表画像１０３、第３代表画像５０３に該当しない第２代表画像２０３、及び第３代表画像５０３が並ぶことになる。本実施の形態では、これらの代表画像を選択的に表示させる処理も行う。

図２９に、第２ビューアによる表示操作画面を示す。第１画像領域２９０１には、フレーム画像（例えば、第１代表画像１０３乃至第３代表画像５０３）が表示される。第２画像領域２９０３には、動画が表示される。

第１の次ボタン２９０５をタッチすれば、次の第１代表画像１０３を第１画像領域２９０１に表示させる指示をすることになる。第２の次ボタン２９０７をタッチすれば、次の第２代表画像２０３を第１画像領域２９０１に表示させる指示をすることになる。第３の次ボタン２９０９をタッチすれば、次の第３代表画像５０３を第１画像領域２９０１に表示させる指示をすることになる。第１の前ボタン２９１１をタッチすれば、前の第１代表画像１０３を第１画像領域２９０１に表示させる指示をすることになる。第２の前ボタン２９１３をタッチすれば、前の第２代表画像２０３を第１画像領域２９０１に表示させる指示をすることになる。第３の前ボタン２９１５をタッチすれば、前の第３代表画像５０３を第１画像領域２９０１に表示させる指示をすることになる。

動画再生ボタン２９１７をタッチすれば、第１画像領域２９０１に表示されているフレーム画像を起点として再生された動画が第２画像領域２９０３に表示される。再生停止ボタン２９１９をタッチすれば、動画の再生が停止し、最後に再生したフレーム（又は最後に再生した第１代表画像）が第１画像領域２９０１に表示される。この例では、第２動画処理装置が有するタッチパネルに対するタッチ操作やスライド操作を受け付けるが、他の操作（例えば、第２動画処理装置が有するマウスによるクリック操作やドラッグ操作）を受け付けるようにしてもよい。尚、以降の実施例に係る動画処理装置を、第２動画処理装置という。

その他、第１代表画像１０３の数（この例では、１６３８４）、第２代表画像２０３の数（この例では、１２８）及び第３代表画像５０３の数（この例では、３２）が表示されている。また、動画の再生時間（この例では、１０分２４秒）と現在の再生タイミング（この例では、２分５６秒）も表示されている。また、安定期間２０１の長さ及び／又は場面期間５０１の長さを表示するようにしてもよい。

図３０に、第２動画処理装置のモジュール構成を示す。第２動画処理装置３０００は、第２データ受付部３００１、第２分析部３００３、第２ビューア３００５、第２操作受付部３００７、第２更新部３００９、第２動画記憶部３０２１、第２パラメータ記憶部３０２３、第２フレームテーブル記憶部３０２５、第２フレーム画像記憶部３０２７及び第２期間テーブル記憶部３０２９を有する。

第２データ受付部３００１は、動画データを受け付ける。第２分析部３００３は、動画データの分析を行う。第２ビューア３００５は、フレーム画像及び動画を表示する。第２操作受付部３００７は、ユーザによる操作を受け付ける。第２更新部３００９は、動画データの分析に用いられるパラメータを更新する。尚、第２ビューア３００５は、付加データの登録及び代表画像集生成のための処理を行うようにしてもよい。

第２動画記憶部３０２１は、動画データを記憶する。第２パラメータ記憶部３０２３は、動画データの分析に用いられるパラメータを記憶する。第２フレームテーブル記憶部３０２５は、フレームテーブルを記憶する。フレームテーブルは、実施の形態１の場合と同様である。第２フレーム画像記憶部３０２７は、フレーム画像のファイルを記憶する。第２期間テーブル記憶部３０２９は、期間テーブルを記憶する。本実施の形態に係る期間テーブルについては、図３４Ａ乃至図３４Ｄを用いて後述する。

上述した第２データ受付部３００１、第２分析部３００３、第２ビューア３００５、第２操作受付部３００７及び第２更新部３００９は、ハードウエア資源（例えば、図５９）と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。

上述した第２動画記憶部３０２１、第２パラメータ記憶部３０２３、第２フレームテーブル記憶部３０２５、第２フレーム画像記憶部３０２７及び第２期間テーブル記憶部３０２９は、ハードウエア資源（例えば、図５９）を用いて実現される。

続いて、第２動画処理装置３０００における第２メイン処理について説明する。図３１に、第２メイン処理フローを示す。第２データ受付部３００１は、動画データを受け付ける（Ｓ３１０１）。受け付けた動画データは、第２動画記憶部３０２１に記憶される。

本実施の形態では、第２分析部３００３は、第２分析フェーズ処理を実行する（Ｓ３１０３）。第２分析フェーズ処理では、動画データの分析を行う。第２分析フェーズ処理については、図３３他を用いて後述する。

第２ビューア３００５は、第２閲覧フェーズ処理を実行する（Ｓ３１０５）。第２閲覧フェーズ処理では、フレーム画像及び再生動画の閲覧のための処理を行う。第２閲覧フェーズ処理については、図４１他を用いて後述する。

第２操作受付部３００７は、パラメータの変更指示を受け付けたか否かを判定する（Ｓ３１０７）。変更対象のパラメータは、第２パラメータ記憶部３０２３に記憶されている。変更対象のパラメータは、例えば、単位期間１０１の長さ、図１３のＳ１３１１において用いられる閾値及び後述する図３７のＳ３７０７において用いられる閾値である。

パラメータの変更指示を受け付けたと判定した場合には、第２更新部３００９は、変更指示に従ってパラメータを更新する（Ｓ３１０９）。そして、Ｓ３１０３に示した処理に戻って、上述した処理を繰り返す。

一方、パラメータの変更指示を受け付けていないと判定した場合には、第２操作受付部３００７は、終了指示を受け付けたか否かを判定する（Ｓ３１１１）。終了指示を受け付けたと判定した場合には、第２メイン処理を終了する。

一方、終了指示を受け付けていないと判定した場合には、Ｓ３１０７に示した処理に戻って、上述した処理を繰り返す。

続いて、第２分析フェーズ処理を行う第２分析部３００３について説明する。図３２に、第２分析部３００３のモジュール構成を示す。第２分析部３００３は、第１生成部６０１、分割部６０３、第１選定部６０５、第１特定部６０７、第２選定部６０９、第５特定部３２０１及び第３選定部３２０３を有する。

第１生成部６０１は、動画データに基づいてフレーム画像を生成する。分割部６０３は、動画再生時間を単位期間１０１に分割する。第１選定部６０５は、単位期間１０１を代表する第１代表画像１０３を選定する。第１特定部６０７は、安定期間２０１を特定する。第２選定部６０９は、安定期間２０１を代表する第２代表画像２０３を選定する。第５特定部３２０１は、場面期間５０１を特定する。第３選定部３２０３は、場面期間５０１を代表する第３代表画像５０３を選定する。

上述した第１生成部６０１、分割部６０３、第１選定部６０５、第１特定部６０７、第２選定部６０９、第５特定部３２０１及び第３選定部３２０３は、ハードウエア資源（例えば、図５９）と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。

図３３に、第２分析フェーズ処理フローを示す。第１生成部６０１は、動画データに基づいてフレーム画像を生成する（Ｓ３３０１）。生成されたフレーム画像は、第２フレーム画像記憶部３０２７に記憶される。このとき、フレームテーブルにはフレームＩＤ、フレーム画像のファイル名及び再生タイミングが設定される。尚、分析を終了した段階で、代表画像に該当しないフレーム画像を削除するようにしてもよい。

Ｓ３３０３における処理は、図７のＳ７０３における処理と同様である。Ｓ３３０５における処理は、図７のＳ７０５における処理と同様である。

第２分析部３００３は、場面期間処理を実行する（Ｓ３３０７）。場面期間処理では、場面期間５０１を特定し、場面期間５０１における代表画像（つまり、第３代表画像５０３）を選定する。場面期間処理については、図３５を用いて後述する。第２分析フェーズ処理を終えると、呼び出し元の第２メイン処理に復帰する。

図３４Ａ乃至図３４Ｄに、本実施の形態に係る期間テーブルの例を示す。この例における期間テーブルは、フレームに対応するレコードを有している。期間テーブルのレコードは、フレームＩＤが格納されるフィールドと、単位期間ＩＤが格納されるフィールドと、第１代表画像フラグのフィールドと、安定期間ＩＤが格納されるフィールドと、第２代表画像フラグのフィールドと、安定期間２０１の長さが格納されるフィールドと、場面期間ＩＤが格納されるフィールドと、第３代表画像フラグのフィールドと、場面期間５０１の長さが格納されるフィールドと、付加データが格納されるフィールドとを有している。

フレームＩＤは、フレームを特定する。単位期間ＩＤは、当該フレームが属する単位期間１０１を特定する。第１代表画像フラグは、当該フレームの画像が第１代表画像１０３に該当する場合にＯＮとなる。第１代表画像フラグがＯＦＦであれば、当該フレームは第１代表画像１０３に該当しない。安定期間ＩＤは、当該フレームが属する安定期間２０１を特定する。当該フレームが安定期間２０１に含まれない場合には、「該当せず」の旨が設定される。第２代表画像フラグは、当該フレームが第２代表画像２０３に該当する場合にＯＮとなる。第２代表画像フラグがＯＦＦであれば、当該フレームは第２代表画像２０３に該当しない。第２代表画像２０３に該当するレコードには、安定期間２０１の長さが設定される。場面期間ＩＤは、当該フレームが属する場面期間５０１を特定する。第３代表画像フラグは、当該フレームが第３代表画像５０３に該当する場合にＯＮとなる。第３代表画像フラグがＯＦＦであれば、当該フレームは第３代表画像５０３に該当しない。第３代表画像５０３に該当するレコードには、場面期間５０１の長さが設定される。尚、図３４Ｃは、図３４Ａの続きを示している。図３４Ｄは、図３４Ｂの続きを示している。

図３５に、場面期間処理フローを示す。第５特定部３２０１は、場面期間５０１の特定処理を実行する（Ｓ３５０１）。

図３６に、場面期間５０１の特定処理フローを示す。第５特定部３２０１は、安定期間２０１を１つ特定する（Ｓ３６０１）。例えば、第５特定部３２０１は、再生の順番で安定期間２０１を特定する。但し、最後の安定期間２０１は特定されない。

第５特定部３２０１は、当該安定期間２０１における第２代表画像２０３を特定する（Ｓ３６０３）。更に、第５特定部３２０１は、その次の安定期間２０１における第２代表画像２０３を特定する（Ｓ３６０５）。そして、第５特定部３２０１は、色調に関する近似判定処理を実行する（Ｓ３６０７）。

図３７に、色調に関する近似判定処理フローを示す。第５特定部３２０１は、Ｓ３６０３で特定された第２代表画像２０３に関する特徴量ベクトル算出処理を実行する（Ｓ３７０１）。特徴量ベクトル算出処理では、色調を示す特徴量ベクトルを算出する。

図３８に、特徴量ベクトル算出処理フローを示す。第５特定部３２０１は、第２代表画像２０３をより少ない画素数の画像（縮小画像）に変換する（Ｓ３８０１）。第５特定部３２０１は、縮小画像における各画素の画素値成分（例えば、輝度或いはＲＧＢ値）に関する度数分布を求める（Ｓ３８０３）。第５特定部３２０１は、階級毎の度数を要素とする特徴量ベクトルを生成する（Ｓ３８０５）。そして、特徴量ベクトル算出処理を終えると、呼び出し元である色調に関する近似判定処理に復帰する。尚、Ｓ３８０１の処理を省き、Ｓ３８０３において、第２代表画像２０３における各画素の画素値成分に関する度数分布を求めるようにしてもよい。

図３７の説明に戻る。第５特定部３２０１は、Ｓ３６０５で特定された第２代表画像２０３に関する特徴量ベクトル算出処理を実行する（Ｓ３７０３）。第５特定部３２０１は、２つの特徴量ベクトルの類似度を算出する（Ｓ３７０５）。第５特定部３２０１は、特徴量ベクトルの類似度が閾値以上であるか否かを判定する（Ｓ３７０７）。特徴量ベクトルの類似度が閾値以上である場合には、第５特定部３２０１は、色調が近似すると判定する（Ｓ３７０９）。一方、特徴量ベクトルの類似度が閾値以上でない場合には、第５特定部３２０１は、色調が近似しないと判定する（Ｓ３７１１）。色調に関する近似判定処理を終えると、呼び出し元である場面期間５０１の特定処理に復帰する。

図３６の説明に戻る。第５特定部３２０１は、色調が近似すると判定したか否かによって処理を分岐させる（Ｓ３６０９）。色調が近似すると判定した場合には、第５特定部３２０１は、当該安定期間２０１とその次の安定期間２０１とを同じ場面期間５０１に含める（Ｓ３６１１）。具体的には、当該次の安定期間２０１に含まれる各フレームのレコードにおける場面期間ＩＤに、その前の安定期間２０１に含まれる各フレームのレコードにおける場面期間ＩＤと同じ値を設定する。前の安定期間２０１に含まれる各フレームのレコードに場面期間ＩＤが設定されていない場合には、新たな場面期間ＩＤを両安定期間２０１に含まれる各フレームのレコードに設定する。

一方、色調が近似しないと判定した場合には、そのままＳ３６１３の処理に移る。

第５特定部３２０１は、未処理の安定期間２０１があるか否かを判定する（Ｓ３６１３）。未処理の安定期間２０１があると判定した場合には、Ｓ３６０１に示した処理に戻って、上述した処理を繰り返す。

一方、未処理の安定期間２０１がないと判定した場合には、場面期間５０１の特定処理を終える。場面期間５０１の特定処理を終えると、呼び出し元の場面期間処理に復帰する。

図３５の説明に戻る。第３選定部３２０３は、第３代表画像５０３の選定処理を実行する（Ｓ３５０３）。

図３９に、第３代表画像５０３の選定処理フローを示す。第３選定部３２０３は、場面期間５０１を１つ特定する（Ｓ３９０１）。例えば、第３選定部３２０３は、期間テーブルにおいて、再生の順番で場面期間ＩＤを特定する。

第３選定部３２０３は、当該場面期間５０１に含まれる安定期間２０１毎に、当該安定期間２０１の第２代表画像２０３のエッジの鋭さを特定する（Ｓ３９０３）。具体的には、第３選定部３２０３は、フレームテーブルから第２代表画像２０３におけるエッジの鋭さを読む。フレームの鮮明度を示す他の指標を用いる場合も、同様である。

第３選定部３２０３は、当該場面期間５０１に含まれる安定期間２０１の第２代表画像２０３のうち、最もエッジが鋭い第２代表画像２０３（つまり、最も鮮明な第２代表画像２０３）を特定する（Ｓ３９０５）。第３選定部３２０３は、当該第２代表画像２０３を当該場面期間５０１における第３代表画像５０３に定める（Ｓ３９０７）。具体的には、当該第２代表画像２０３に対応するレコードにおける第３代表画像フラグをＯＮに設定する。また、当該第３代表画像５０３以外のフレーム画像に対応するレコードにおける第３代表画像フラグはＯＦＦに設定される。

第３選定部３２０３は、未処理の場面期間５０１があるか否かを判定する（Ｓ３９０９）。未処理の場面期間５０１があると判定した場合には、Ｓ３９０１に示した処理に戻って、上述した処理を繰り返す。

一方、未処理の場面期間５０１がないと判定した場合には、第３選定部３２０３は、各場面期間５０１の長さを算出する（Ｓ３９１１）。算出した場面期間５０１の長さは、期間テーブルにおける第３代表画像５０３のレコードに設定される。具体的には、期間テーブルにおいて、同一の場面期間ＩＤが設定されているレコードのうち、最後のレコードにおけるフレームの再生タイミングから最初のレコードにおけるフレームの再生タイミングを引くことによって、当該場面期間ＩＤで特定される場面期間５０１の長さを求める。第３代表画像５０３の選定処理を終えると、呼び出し元の場面期間処理に復帰する。

ある実験では、第１代表画像１０３の数は、フレーム画像数のおよそ４．０パーセントであった。また、第２代表画像２０３の数は、フレーム画像数のおよそ０．８５パーセントであった。更に、第３代表画像５０３の数は、フレーム画像数のおよそ０．２０パーセントであった。本実施の形態では、このように閲覧対象のフレーム画像を絞り込むことができる。以上で、第２分析フェーズ処理についての説明を終える。

続いて、第２閲覧フェーズ処理について説明する。図４０に、第２ビューア３００５のモジュール構成を示す。第２ビューア３００５は、第２初期化部４００１、第５表示処理部４００３、第６特定部４００５、第２再生部４００７、第６表示処理部４００９、第２設定部４０１１、変更部４０１３、第７特定部４０１５、第７表示処理部４０１７、第８特定部４０１９、第８表示処理部４０２１及び第９特定部４０２３を有する。

第２初期化部４００１は、表示対象を特定するためのポインタ及びモードを初期化する。第５表示処理部４００３は、フレーム画像を第１画像領域２９０１に表示する。第６特定部４００５は、実施の形態２においてユーザ操作に応じて表示対象を特定する。第２再生部４００７は、動画の再生を行う。第６表示処理部４００９は、動画を表示する。第２設定部４０１１は、動画として最後に再生したフレームのＩＤ（又は最後に再生した第１代表画像１０３のフレームＩＤ）をポインタに設定する。変更部４０１３は、ユーザ操作に応じてモードを変更する。第７特定部４０１５は、実施の形態４においてユーザ操作に応じて表示対象を特定する。第７表示処理部４０１７は、実施の形態５において第２サムネイル表示処理を実行する。第８特定部４０１９は、実施の形態５においてユーザ操作に応じて表示対象を特定する。第８表示処理部４０２１は、実施の形態６及び７において第２マーク列表示処理を実行する。第９特定部４０２３は、実施の形態６及び７においてユーザ操作に応じて表示対象を特定する。

上述した第２初期化部４００１、第５表示処理部４００３、第６特定部４００５、第２再生部４００７、第６表示処理部４００９、第２設定部４０１１、変更部４０１３、第７特定部４０１５、第７表示処理部４０１７、第８特定部４０１９、第８表示処理部４０２１及び第９特定部４０２３は、ハードウエア資源（例えば、図５９）と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。

本実施の形態では、図３１に示したＳ３１０５において、第２閲覧フェーズ処理（Ａ）を実行する。図４１及び図４２に、第２閲覧フェーズ処理（Ａ）フローを示す。第２初期化部４００１は、ポインタを初期化する（Ｓ４１０１）。ポインタは、第１画像領域２９０１に表示させる代表画像のフレームＩＤを示す内部パラメータである。第２初期化部４００１は、例えば先頭の第１代表画像１０３のフレームＩＤをポインタに設定する。また、先頭の第２代表画像２０３のフレームＩＤをポインタに設定してもよい。或いは、先頭の第３代表画像５０３のフレームＩＤをポインタに設定してもよい。ポインタの初期化の仕方は、任意である。

第５表示処理部４００３は、ポインタが指す代表画像を第１画像領域２９０１に表示する（Ｓ４１０３）。具体的には、ポインタが示すフレームＩＤに対応するフレーム画像のファイル名を特定し、当該ファイルのフレーム画像を展開して、第１画像領域２９０１に表示させる。

第２操作受付部３００７は、第１の次ボタン２９０５がタッチされたか否かを判定する（Ｓ４１０５）。第１の次ボタン２９０５がタッチされたと判定した場合には、第６特定部４００５は、ポインタより後の最も近い第１代表画像１０３を特定する（Ｓ４１０７）。具体的には、第６特定部４００５は、期間テーブルにおいて、ポインタが示すフレームＩＤのレコードより後のレコードの中で第１代表画像フラグがＯＮに設定されている直近のレコードを探索する。そして、第６特定部４００５は、当該第１代表画像１０３のフレームＩＤをポインタに設定する（Ｓ４１０９）。その後、Ｓ４１０３に示した処理に戻って、上述した処理を繰り返す。

一方、第１の次ボタン２９０５がタッチされていないと判定した場合には、第２操作受付部３００７は、第２の次ボタン２９０７がタッチされたか否かを判定する（Ｓ４１１１）。第２の次ボタン２９０７がタッチされたと判定した場合には、第６特定部４００５は、ポインタより後の最も近い第２代表画像２０３を特定する（Ｓ４１１３）。具体的には、第６特定部４００５は、期間テーブルにおいて、ポインタが示すフレームＩＤのレコードより後のレコードの中で第２代表画像フラグがＯＮに設定されている直近のレコードを探索する。そして、第６特定部４００５は、当該第２代表画像２０３のフレームＩＤをポインタに設定する（Ｓ４１１５）。その後、Ｓ４１０３に示した処理に戻って、上述した処理を繰り返す。

一方、第２の次ボタン２９０７がタッチされていないと判定した場合には、第２操作受付部３００７は、第３の次ボタン２９０９がタッチされたか否かを判定する（Ｓ４１１７）。第３の次ボタン２９０９がタッチされたと判定した場合には、第６特定部４００５は、ポインタより後の最も近い第３代表画像５０３を特定する（Ｓ４１１９）。具体的には、第６特定部４００５は、期間テーブルにおいて、ポインタが示すフレームＩＤのレコードより後のレコードの中で第３代表画像フラグがＯＮに設定されている直近のレコードを探索する。そして、第６特定部４００５は、当該第３代表画像５０３のフレームＩＤをポインタに設定する（Ｓ４１２１）。その後、Ｓ４１０３に示した処理に戻って、上述した処理を繰り返す。

一方、第３の次ボタン２９０９がタッチされていないと判定した場合には、端子Ｆを介して、図４２に示したＳ４２０１の処理に移る。

図４２の説明に移る。第２操作受付部３００７は、第１の前ボタン２９１１がタッチされたか否かを判定する（Ｓ４２０１）。第１の前ボタン２９１１がタッチされたと判定した場合には、第６特定部４００５は、ポインタより前の最も近い第１代表画像１０３を特定する（Ｓ４２０３）。具体的には、第６特定部４００５は、期間テーブルにおいて、ポインタが示すフレームＩＤのレコードより前のレコードの中で第１代表画像フラグがＯＮに設定されている直近のレコードを探索する。そして、第６特定部４００５は、当該第１代表画像１０３のフレームＩＤをポインタに設定する（Ｓ４２０５）。その後、端子Ｇを介して、図４１のＳ４１０３に示した処理に戻って、上述した処理を繰り返す。

一方、第１の前ボタン２９１１がタッチされていないと判定した場合には、第２操作受付部３００７は、第２の前ボタン２９１３がタッチされたか否かを判定する（Ｓ４２０７）。第２の前ボタン２９１３がタッチされたと判定した場合には、第６特定部４００５は、ポインタより前の最も近い第２代表画像２０３を特定する（Ｓ４２０９）。具体的には、第６特定部４００５は、期間テーブルにおいて、ポインタが示すフレームＩＤのレコードより前のレコードの中で第２代表画像フラグがＯＮに設定されている直近のレコードを探索する。そして、第６特定部４００５は、当該第２代表画像２０３のフレームＩＤをポインタに設定する（Ｓ４２１１）。その後、端子Ｇを介して、図４１のＳ４１０３に示した処理に戻って、上述した処理を繰り返す。

一方、第２の前ボタン２９１３がタッチされていないと判定した場合には、第２操作受付部３００７は、第３の前ボタン２９１５がタッチされたか否かを判定する（Ｓ４２１３）。第３の前ボタン２９１５がタッチされたと判定した場合には、第６特定部４００５は、ポインタより前の最も近い第３代表画像５０３を特定する（Ｓ４２１５）。具体的には、第６特定部４００５は、期間テーブルにおいて、ポインタが示すフレームＩＤのレコードより前のレコードの中で第３代表画像フラグがＯＮに設定されている直近のレコードを探索する。そして、第６特定部４００５は、当該第３代表画像５０３のフレームＩＤをポインタに設定する（Ｓ４２１７）。その後、端子Ｇを介して、図４１のＳ４１０３に示した処理に戻って、上述した処理を繰り返す。

一方、第３の前ボタン２９１５がタッチされていないと判定した場合には、第２操作受付部３００７は、動画再生ボタン２９１７がタッチされたか否かを判定する（Ｓ４２１９）。動画再生ボタン２９１７がタッチされたと判定した場合には、第２ビューア３００５は、第３動画再生処理を実行する（Ｓ４２２１）。第３動画再生処理では、ポインタが指すフレーム画像を起点として動画の再生を行う。

図４３に、第３動画再生処理フローを示す。第２再生部４００７は、ポインタが示すフレーム画像の再生タイミングから動画の再生を開始し、第６表示処理部４００９は、再生した動画を第２画像領域２９０３に表示する（Ｓ４３０１）。

第２操作受付部３００７は、再生停止ボタン２９１９がタッチされたか否かを判定する（Ｓ４３０３）。再生停止ボタン２９１９がタッチされていないと判定した場合には、Ｓ４３０３の処理を繰り返す。

一方、再生停止ボタン２９１９がタッチされたと判定した場合には、第２再生部４００７は、動画再生を停止する（Ｓ４３０５）。そして、第２設定部４０１１は、最後に再生したフレームＩＤ（又は最後に再生した第１代表画像１０３のフレームＩＤ）をポインタに設定する（Ｓ４３０７）。第３動画再生処理を終えると、呼び出し元の第２閲覧フェーズ処理（Ａ）に復帰する。

図４２の説明に戻る。第３動画再生処理を終えると、端子Ｇを介して、図４１に示したＳ４１０３の処理に戻る。

Ｓ４２１９において、動画再生ボタン２９１７がタッチされていないと判定した場合には、第２操作受付部３００７は、閲覧終了の指示を受け付けたか否かを判定する（Ｓ４２２３）。閲覧終了の指示を受け付けたと判定した場合には、第２閲覧フェーズ処理（Ａ）を終え、呼び出し元の第２メイン処理に復帰する。

一方、閲覧終了の指示を受け付けていないと判定した場合には、端子Ｈを介して、図４１のＳ４１０５に示した処理に戻って、上述した処理を繰り返す。

以上で第２閲覧フェーズ処理（Ａ）の説明を終える。尚、第２分析フェーズで選定された第１代表画像１０３には、不鮮明な画像が含まれ難いので閲覧しやすい。同じく第２代表画像２０３には、似た構図の画像が含まれないので閲覧しやすい。同じく第３代表画像５０３には、同一シーンに含まれる画像が重複しないので閲覧しやすい。

第１代表画像１０３を選定する段階で不明瞭な画像を排除して、第１代表画像１０３を候補として第２代表画像２０３及び第３代表画像５０３を選定するので、第２代表画像２０３及び第３代表画像５０３は明瞭なものとなるという面もある。

第２閲覧フェーズにおいて、次の第１代表画像１０３を表示させ、又は前の第１代表画像１０３を表示させれば、短い期間の遷移を確認することもできる。

また、同じシーンの中での変遷を把握しようとする場合、次の第２代表画像２０３を表示させ、又は前の第２代表画像２０３を表示させれば、ユーザにとって便利である。

また、次の第３代表画像５０３を表示させれば、ユーザは直ぐに次のシーンを把握できる。逆に、前の第３代表画像５０３を表示させれば、ユーザは直ぐに前のシーンを把握できる。

この例では、第１代表画像１０３乃至第３代表画像５０３に対するめくり操作のためのボタンを１つの表示操作画面に含めているので、第１代表画像１０３乃至第３代表画像５０３に対するめくり操作を適宜組み合わせることができる。このようにすれば、所望のフレーム画像を見つけ出すための作業が簡単になる。

また、１枚ずつ指示しながら代表画像をめくるので、スライド閲覧の場合と似た操作が実現される。従って、例えばプレゼンテーションの資料としても活用しやすい。

上述した例では、動画データの再生時間を分割する第１期間（単位期間１０１）の各々について、当該第１期間に含まれるフレーム画像のうち当該第１期間を代表する第１代表画像１０３を選定する。同じく、第１代表画像１０３の並びにおいて前後関係にあり且つ画像内における被写体の位置変化が基準よりも小さい第１代表画像１０３同士の連なりによって第２期間（安定期間２０１）を特定する。同じく、第２期間の各々について、当該第２期間に含まれる第１代表画像１０３のうち当該第２期間を代表する第２代表画像２０３を選定する。同じく、第２代表画像２０３の並びにおいて前後関係にあり且つ画素値成分の度数分布が近似する第２代表画像２０３同士の連なりによって第３期間（場面期間５０１）を特定する。同じく、第３期間の各々について、当該第３期間に含まれる第２代表画像２０３のうち当該第３期間を代表する第３代表画像５０３を選定する処理を含む。

従って、本実施の形態によれば、シーンを代表する画像を、より的確に抽出することができる。例えば、１つのシーンに相当する動画部分の中に、一時的に色調の異なるフレーム画像が写り込んでいる場合であっても的確にシーン期間を特定するので、無用な代表画像を抽出せずに済む。

［実施の形態３］
本実施の形態では、第１代表画像１０３を選定する工程を簡略化する例について説明する。例えば、手振れによる映像やピントが合っていない画像を含まない動画においては、第１代表画像１０３を選定する工程を簡略化しても実質的に不具合は少ない。

本実施の形態では、図９に示したＳ９０３において、第１選定処理（Ｂ）を実行する。第１選定処理（Ｂ）を、上述した実施の形態１及び２のいずれに適用するようにしてもよい。

図４４に、第１選定処理（Ｂ）フローを示す。第１選定部６０５は、図１０のＳ１００１の場合と同様に、単位期間１０１を１つ特定する（Ｓ４４０１）。

第１選定部６０５は、当該単位期間１０１におけるＮ番目のフレーム画像を特定する（Ｓ４４０３）。Ｎは、１からフレーム画像数までのうちいずれであってもよい。つまり、先頭のフレーム画像を特定してもよいし、中間のフレーム画像を特定してもよいし、最後のフレーム画像を特定するようにしてもよい。

第１選定部６０５は、図１０のＳ１０１３の場合と同様に、当該フレーム画像を当該単位期間１０１における第１代表画像１０３に定める（Ｓ４４０５）。

第１選定部６０５は、未処理の単位期間１０１があるか否かを判定する（Ｓ４４０７）。未処理の単位期間１０１があると判定した場合には、Ｓ４４０１に示した処理に戻って、上述した処理を繰り返す。

一方、未処理の単位期間１０１がないと判定した場合には、第１選定処理（Ｂ）を終える。第１選定処理（Ｂ）を終えると、呼び出し元の単位期間処理に復帰する。

本実施の形態によれば、処理負担が軽減される。また、映像が全般的に明瞭であれば実質的な不具合は少ない。

［実施の形態４］
本実施の形態では、代表画像を自動的に順次表示する例について説明する。

図４５に、実施の形態４に係る第２ビューア３００５による表示操作画面を示す。ラジオボタン４５０１ａを選択すれば、自動めくりの対象が第１代表画像１０３となる。このときのモードを第１モードという。ラジオボタン４５０１ｂを選択すれば、自動めくりの対象が第２代表画像２０３となる。このときのモードを第２モードという。ラジオボタン４５０１ｃを選択すれば、自動めくりの対象が第３代表画像５０３となる。このときのモードを第３モードという。

めくり開始ボタン４５０３をタッチすれば、自動めくりの開始を指示したことになる。自動めくりを開始すれば、現在のモードに従って選択される代表画像が、めくり間隔に従って順次第１画像領域２９０１に表示される。

そして、めくり停止ボタン４５０５をタッチすれば、自動めくりを停止させることになる。また、めくり間隔の変更も受け付けるようになっている。

本実施の形態では、図３１に示したＳ３１０５において、第２閲覧フェーズ処理（Ｂ）を実行する。図４６に、第２閲覧フェーズ処理（Ｂ）フローを示す。第２初期化部４００１は、ポインタ及びモードを初期化する（Ｓ４６０１）。モードは、内部パラメータである。この例では、第１代表画像１０３を表示させる第１モード、第２代表画像２０３を表示させる第２モード或いは第３代表画像５０３を表示させる第３モードのいずれかが設定される。但し、初期化の仕方は任意であって、いずれのモードを設定するようにしてもよい。初期のモードをユーザが予め指定している場合には、そのモードを設定するようにしてもよい。

第５表示処理部４００３は、図４１のＳ４１０３の場合と同様に、ポインタが指す代表画像を第１画像領域２９０１に表示する（Ｓ４６０３）。

第２操作受付部３００７は、ラジオボタン４５０１ａ乃至ｃによるモードの選択を受け付けたか否かを判定する（Ｓ４６０５）。ラジオボタン４５０１ａ乃至ｃによるモードの選択を受け付けたと判定した場合には、変更部４０１３は、選択されたモードに変更する（Ｓ４６０７）。そして、Ｓ４６０５に示した処理に戻って、上述した処理を繰り返す。

一方、ラジオボタン４５０１ａ乃至ｃによるモードの選択を受け付けていないと判定した場合には、第２操作受付部３００７は、めくり間隔の変更指示を受け付けたか否かを判定する（Ｓ４６０９）。めくり間隔の変更指示を受け付けたと判定した場合には、第２操作受付部３００７は、めくり間隔を変更する（Ｓ４６１１）。めくり間隔は、内部パラメータである。以降、Ｓ４６０５に示した処理に戻って、上述した処理を繰り返す。

一方、めくり間隔の変更指示を受け付けていないと判定した場合には、第２操作受付部３００７は、めくり開始ボタン４５０３がタッチされたか否かを判定する（Ｓ４６１３）。めくり開始ボタン４５０３がタッチされたと判定した場合には、第２ビューア３００５は、自動めくり処理を実行する（Ｓ４６１５）。自動めくり処理では、自動的に順次代表画像を表示する。

図４７乃至図４９に、自動めくり処理フローを示す。第７特定部４０１５は、現在第１モードに設定されているか否かを判定する（Ｓ４７０１）。現在第１モードに設定されていると判定した場合には、第７特定部４０１５は、ポインタより後に第１代表画像１０３があるか否かを判定する（Ｓ４７０３）。具体的には、第７特定部４０１５は、期間テーブルにおいて、ポインタが示すフレームＩＤのレコードより後のレコードの中で第１代表画像フラグがＯＮに設定されている直近のレコードを探索する。

ポインタより後に第１代表画像１０３がないと判定した場合には、自動めくり処理を終えて、呼び出し元の第２閲覧フェーズ処理（Ｂ）に復帰する。

一方、ポインタより後に第１代表画像１０３があると判定した場合には、第７特定部４０１５は、ポインタより後の最も近い第１代表画像１０３を特定し（Ｓ４７０５）、当該第１代表画像１０３のフレームＩＤをポインタに設定する（Ｓ４７０７）。そして、第５表示処理部４００３は、ポインタが指す第１代表画像１０３を第１画像領域２９０１に表示する（Ｓ４７０９）。

その後、第２操作受付部３００７は、めくり停止ボタン４５０５がタッチされたか否かを判定する（Ｓ４７１１）。めくり停止ボタン４５０５がタッチされたと判定した場合には、自動めくり処理を終えて、呼び出し元の第２閲覧フェーズ処理（Ｂ）に復帰する。

一方、めくり停止ボタン４５０５がタッチされていないと判定した場合には、第２操作受付部３００７は、Ｓ４７０９の処理を行った時点から、めくり間隔に相当する時間が経過したか否かを判定する（Ｓ４７１３）。めくり間隔に相当する時間が経過したと判定した場合には、Ｓ４７０３に示した処理に戻って、上述した処理を繰り返す。

一方、めくり間隔に相当する時間が経過していないと判定した場合には、Ｓ４７１１に示した処理に戻って、上述した処理を繰り返す。

Ｓ４７０１の説明に戻る。Ｓ４７０１において、現在第１モードに設定されていないと判定した場合には、端子Ｉを介して、図４８に示したＳ４８０１の処理に移る。

図４８の説明に移る。第７特定部４０１５は、現在第２モードに設定されているか否かを判定する（Ｓ４８０１）。現在第２モードに設定されていると判定した場合には、第７特定部４０１５は、ポインタより後に第２代表画像２０３があるか否かを判定する（Ｓ４８０３）。具体的には、第７特定部４０１５は、期間テーブルにおいて、ポインタが示すフレームＩＤのレコードより後のレコードの中で第２代表画像フラグがＯＮに設定されている直近のレコードを探索する。

ポインタより後に第２代表画像２０３がないと判定した場合には、自動めくり処理を終えて、呼び出し元の第２閲覧フェーズ処理（Ｂ）に復帰する。

一方、ポインタより後に第２代表画像２０３があると判定した場合には、第７特定部４０１５は、ポインタより後の最も近い第２代表画像２０３を特定し（Ｓ４８０５）、当該第２代表画像２０３のフレームＩＤをポインタに設定する（Ｓ４８０７）。そして、第５表示処理部４００３は、ポインタが指す第２代表画像２０３を第１画像領域２９０１に表示する（Ｓ４８０９）。

その後、第２操作受付部３００７は、めくり停止ボタン４５０５がタッチされたか否かを判定する（Ｓ４８１１）。めくり停止ボタン４５０５がタッチされたと判定した場合には、自動めくり処理を終えて、呼び出し元の第２閲覧フェーズ処理（Ｂ）に復帰する。

一方、めくり停止ボタン４５０５がタッチされていないと判定した場合には、第２操作受付部３００７は、Ｓ４８０９の処理を行った時点から、めくり間隔に相当する時間が経過したか否かを判定する（Ｓ４８１３）。めくり間隔に相当する時間が経過したと判定した場合には、Ｓ４８０３に示した処理に戻って、上述した処理を繰り返す。

一方、めくり間隔に相当する時間が経過していないと判定した場合には、Ｓ４８１１に示した処理に戻って、上述した処理を繰り返す。

Ｓ４８０１の説明に戻る。Ｓ４８０１において、現在第２モードに設定されていないと判定した場合、つまり現在第３モードに設定されている場合には、端子Ｊを介して、図４９に示したＳ４９０１の処理に移る。

図４９の説明に移る。第７特定部４０１５は、ポインタより後に第３代表画像５０３があるか否かを判定する（Ｓ４９０１）。具体的には、第７特定部４０１５は、期間テーブルにおいて、ポインタが示すフレームＩＤのレコードより後のレコードの中で第３代表画像フラグがＯＮに設定されている直近のレコードを探索する。

ポインタより後に第３代表画像５０３がないと判定した場合には、自動めくり処理を終えて、呼び出し元の第２閲覧フェーズ処理（Ｂ）に復帰する。

一方、ポインタより後に第３代表画像５０３があると判定した場合には、第７特定部４０１５は、ポインタより後の最も近い第３代表画像５０３を特定し（Ｓ４９０３）、当該第３代表画像５０３のフレームＩＤをポインタに設定する（Ｓ４９０５）。そして、第５表示処理部４００３は、ポインタが指す第３代表画像５０３を第１画像領域２９０１に表示する（Ｓ４９０７）。

その後、第２操作受付部３００７は、めくり停止ボタン４５０５がタッチされたか否かを判定する（Ｓ４９０９）。めくり停止ボタン４５０５がタッチされたと判定した場合には、自動めくり処理を終えて、呼び出し元の第２閲覧フェーズ処理（Ｂ）に復帰する。

一方、めくり停止ボタン４５０５がタッチされていないと判定した場合には、第２操作受付部３００７は、Ｓ４９０７の処理を行った時点から、めくり間隔に相当する時間が経過したか否かを判定する（Ｓ４９１１）。めくり間隔に相当する時間が経過したと判定した場合には、Ｓ４９０１に示した処理に戻って、上述した処理を繰り返す。

一方、めくり間隔に相当する時間が経過していないと判定した場合には、Ｓ４９０９に示した処理に戻って、上述した処理を繰り返す。以上で、自動めくり処理の説明を終える。

図４６の説明に戻る。自動めくり処理を終えると、Ｓ４６０５に示した処理に戻って、上述した処理を繰り返す。

Ｓ４６１３において、めくり開始ボタン４５０３がタッチされていないと判定した場合には、第２操作受付部３００７は、動画再生ボタン２９１７がタッチされたか否かを判定する（Ｓ４６１７）。動画再生ボタン２９１７がタッチされたと判定した場合には、第２ビューア３００５は、第３動画再生処理を実行する（Ｓ４６１９）。第３動画再生処理を終えると、Ｓ４６０３に示した処理に戻って、上述した処理を繰り返す。

一方、動画再生ボタン２９１７がタッチされていないと判定した場合には、第２操作受付部３００７は、閲覧終了の指示を受け付けたか否かを判定する（Ｓ４６２１）。閲覧終了の指示を受け付けたと判定した場合には、第２閲覧フェーズ処理（Ｂ）を終え、呼び出し元の第２メイン処理に復帰する。

一方、閲覧終了の指示を受け付けていないと判定した場合には、Ｓ４６０５に示した処理に戻って、上述した処理を繰り返す。

本実施の形態によれば、第３代表画像５０３を自動的に順次表示するので、シーンの遷移を把握し易い。

また、第２代表画像２０３を自動的に順次表示するので、シーン期間内のフレーム画像の変遷を把握し易い。

更に、第１代表画像１０３を自動的に順次表示するので、短い期間におけるフレーム画像の変化も把握し易い。

［実施の形態５］
本実施の形態では、連続する代表画像のサムネイルを表示する例について説明する。

図５０に、実施の形態５に係る第２ビューア３００５による表示操作画面を示す。ラジオボタン４５０１ａを選択すれば、サムネイル表示の対象が第１代表画像１０３になる。このときのモードを第１モードという。ラジオボタン４５０１ｂを選択すれば、サムネイル表示の対象が第２代表画像２０３になる。このときのモードを第２モードという。ラジオボタン４５０１ｃを選択すれば、サムネイル表示の対象が第３代表画像５０３になる。このときのモードを第３モードという。

第１モードにおける中央のサムネイル５００１ｄは、第１画像領域２９０１に表示中のフレーム画像に最も近い第１代表画像１０３の縮小画像である。遡ってサムネイル５００１ｃ乃至サムネイル５００１ａは、順次それより前の第１代表画像１０３の縮小画像である。サムネイル５００１ｅ乃至サムネイル５００１ｇは、順次それより後の第１代表画像１０３の縮小画像である。

第１モードにおいて、いずれかのサムネイル５００１ａ乃至ｇがタッチされると当該サムネイル５００１に対応する第１代表画像１０３が第１画像領域２９０１に表示される。そして、タッチされたサムネイル５００１が中央になるようにサムネイル５００１ａ乃至ｇが並び替えられる。また、サムネイル５００１の表示領域をスライドさせる操作を行えば、そのスライド量に応じてサムネイル５００１ａ乃至ｇが移動し、入れ替わる。

同様に第２モードにおける中央のサムネイル５００１ｄは、第１画像領域２９０１に表示中のフレーム画像に最も近い第２代表画像２０３の縮小画像である。遡ってサムネイル５００１ｃ乃至サムネイル５００１ａは、順次それより前の第２代表画像２０３の縮小画像である。サムネイル５００１ｅ乃至サムネイル５００１ｇは、順次それより後の第２代表画像２０３の縮小画像である。

また、第２モードにおいて、いずれかのサムネイル５００１ａ乃至ｇがタッチされると当該サムネイル５００１に対応する第２代表画像２０３が第１画像領域２９０１に表示される。そして、タッチされたサムネイル５００１が中央になるようにサムネイル５００１ａ乃至ｇが並び替えられる。また、サムネイル５００１の表示領域をスライドさせる操作を行えば、そのスライド量に応じてサムネイル５００１ａ乃至ｇが移動し、入れ替わる。

同様に第３モードにおける中央のサムネイル５００１ｄは、第１画像領域２９０１に表示中のフレーム画像に最も近い第３代表画像５０３の縮小画像である。遡ってサムネイル５００１ｃ乃至サムネイル５００１ａは、順次それより前の第３代表画像５０３の縮小画像である。サムネイル５００１ｅ乃至サムネイル５００１ｇは、順次それより後の第３代表画像５０３の縮小画像である。

また、第３モードにおいて、いずれかのサムネイル５００１ａ乃至ｇがタッチされると、当該サムネイル５００１に対応する第３代表画像５０３が第１画像領域２９０１に表示される。そして、タッチされたサムネイル５００１が中央になるようにサムネイル５００１ａ乃至ｇが並び替えられる。また、サムネイル５００１の表示領域をスライドさせる操作を行えば、そのスライド量に応じてサムネイル５００１ａ乃至ｇが移動し、入れ替わる。

本実施の形態では、図３１に示したＳ３１０５において、第２閲覧フェーズ処理（Ｃ）を実行する。図５１に、第２閲覧フェーズ処理（Ｃ）フローを示す。第２初期化部４００１は、図４６のＳ４６０１の場合と同様に、ポインタ及びモードを初期化する（Ｓ５１０１）。また、第５表示処理部４００３は、図４１のＳ４１０３の場合と同様に、ポインタが指す代表画像を第１画像領域２９０１に表示する（Ｓ５１０３）。

第７表示処理部４０１７は、第２サムネイル表示処理を実行する（Ｓ５１０５）。第２サムネイル表示処理では、現在のモードに応じて代表画像のサムネイル５００１ａ乃至ｇを表示する。

図５２に、第２サムネイル表示処理フローを示す。第７表示処理部４０１７は、現在第１モードに設定されているか否かを判定する（Ｓ５２０１）。現在第１モードに設定されていると判定した場合には、第７表示処理部４０１７は、ポインタが指す第１代表画像１０３（或いは、ポインタに最も近い第１代表画像１０３）の前後Ｔ個（この例では３個）ずつの第１代表画像１０３を特定する（Ｓ５２０３）。具体的には、第７表示処理部４０１７は、期間テーブルにおいて、ポインタが示すフレームＩＤのレコードより前のレコードの中で第１代表画像フラグがＯＮに設定されている直近のＴ個のレコードを探索する。更に、第７表示処理部４０１７は、ポインタが示すフレームＩＤのレコードより後のレコードの中で第１代表画像フラグがＯＮに設定されている直近のＴ個のレコードを探索する。

第７表示処理部４０１７は、特定した各第１代表画像１０３のサムネイル５００１を生成する（Ｓ５２０５）。具体的には、第７表示処理部４０１７は、各フレームＩＤに対応するフレーム画像のファイル名を特定し、当該ファイルのフレーム画像をサムネイル５００１の画像に変換する。

第７表示処理部４０１７は、生成した各サムネイル５００１ａ乃至ｇを表示する（Ｓ５２０７）。具体的には、第７表示処理部４０１７は、再生の順番に従ってサムネイル５００１ａ乃至ｇを配置する。そして、第２サムネイル表示処理を終え、呼び出し元の第２閲覧フェーズ処理（Ｃ）に復帰する。

Ｓ５２０１において、現在第１モードに設定されていないと判定した場合には、第７表示処理部４０１７は、現在第２モードに設定されているか否かを判定する（Ｓ５２０９）。現在第２モードに設定されていると判定した場合には、第７表示処理部４０１７は、ポインタに最も近い第２代表画像２０３を特定する（Ｓ５２１１）。具体的には、第７表示処理部４０１７は、期間テーブルにおいて第２代表画像フラグがＯＮに設定されているレコードのうち、ポインタが示すフレームＩＤのレコードに最も近いレコードを特定する。

第７表示処理部４０１７は、ポインタが指す第２代表画像２０３の前後Ｔ個（この例では３個）ずつの第２代表画像２０３を特定する（Ｓ５２１３）。具体的には、第７表示処理部４０１７は、期間テーブルにおいて、ポインタが示すフレームＩＤのレコードより前のレコードの中で第２代表画像フラグがＯＮに設定されている直近のＴ個のレコードを探索する。更に、第７表示処理部４０１７は、ポインタが示すフレームＩＤのレコードより後のレコードの中で第２代表画像フラグがＯＮに設定されている直近のＴ個のレコードを探索する。

第７表示処理部４０１７は、特定した各第２代表画像２０３のサムネイル５００１を生成する（Ｓ５２１５）。具体的には、各フレームＩＤに対応するフレーム画像のファイル名を特定し、当該ファイルのフレーム画像をサムネイル５００１の画像に変換する。

第７表示処理部４０１７は、生成した各サムネイル５００１ａ乃至ｇを表示する（Ｓ５２１７）。具体的には、第７表示処理部４０１７は、再生の順番に従ってサムネイル５００１ａ乃至ｇを配置する。そして、第２サムネイル表示処理を終え、呼び出し元の第２閲覧フェーズ処理（Ｃ）に復帰する。

Ｓ５２０９において、現在第２モードに設定されていないと判定した場合、つまり現在第３モードに設定されている場合には、第７表示処理部４０１７は、ポインタに最も近い第３代表画像５０３を特定する（Ｓ５２１９）。具体的には、第７表示処理部４０１７は、期間テーブルにおいて第３代表画像フラグがＯＮに設定されているレコードのうち、ポインタが示すフレームＩＤのレコードに最も近いレコードを特定する。

第７表示処理部４０１７は、ポインタが指す第３代表画像５０３の前後Ｔ個（この例では３個）ずつの第３代表画像５０３を特定する（Ｓ５２２１）。具体的には、第７表示処理部４０１７は、期間テーブルにおいて、ポインタが示すフレームＩＤのレコードより前のレコードの中で第３代表画像フラグがＯＮに設定されている直近のＴ個のレコードを探索する。更に、第７表示処理部４０１７は、ポインタが示すフレームＩＤのレコードより後のレコードの中で第３代表画像フラグがＯＮに設定されている直近のＴ個のレコードを探索する。

第７表示処理部４０１７は、特定した各第３代表画像５０３のサムネイル５００１を生成する（Ｓ５２２３）。具体的には、各フレームＩＤに対応するフレーム画像のファイル名を特定し、当該ファイルのフレーム画像をサムネイル５００１の画像に変換する。

第７表示処理部４０１７は、生成した各サムネイル５００１ａ乃至ｇを表示する（Ｓ５２２５）。具体的には、第７表示処理部４０１７は、再生の順番に従ってサムネイル５００１ａ乃至ｇを配置する。そして、第２サムネイル表示処理を終え、呼び出し元の第２閲覧フェーズ処理（Ｃ）に復帰する。

図５１の説明に戻る。第２サムネイル表示処理を終えると、第２操作受付部３００７は、サムネイル５００１がタッチされたか否かを判定する（Ｓ５１０７）。サムネイル５００１がタッチされたと判定した場合には、第８特定部４０１９は、タッチされたサムネイル５００１に対応するフレームＩＤをポインタに設定する（Ｓ５１０９）。そして、Ｓ５１０３に示した処理に戻って、上述した処理を繰り返す。

一方、サムネイル５００１がタッチされていないと判定した場合には、第２操作受付部３００７は、サムネイル５００１の表示領域におけるスライド操作を受け付けたか否かを判定する（Ｓ５１１１）。サムネイル５００１の表示領域におけるスライド操作を受け付けたと判定した場合には、第８特定部４０１９は、スライド量に応じてポインタを変更する（Ｓ５１１３）。このとき、第８特定部４０１９は、スライド量に所定比率を乗じて移動分の代表画像数を求める。ポインタを変更すると、Ｓ５１０３に示した処理に戻って、上述した処理を繰り返す。

一方、サムネイル５００１の表示領域におけるスライド操作を受け付けていないと判定した場合には、第２操作受付部３００７は、ラジオボタン４５０１ａ乃至ｃによるモードの選択を受け付けたか否かを判定する（Ｓ５１１５）。ラジオボタン４５０１ａ乃至ｃによるモードの選択を受け付けたと判定した場合には、変更部４０１３は、選択されたモードに変更する（Ｓ５１１７）。そして、Ｓ５１０５に示した処理に戻って、上述した処理を繰り返す。

一方、ラジオボタン４５０１ａ乃至ｃによるモードの選択を受け付けていないと判定した場合には、第２操作受付部３００７は、動画再生ボタン２９１７がタッチされたか否かを判定する（Ｓ５１１９）。動画再生ボタン２９１７がタッチされたと判定した場合には、第２ビューア３００５は、第３動画再生処理を実行する（Ｓ５１２１）。そして、Ｓ５１０３に示した処理に戻って、上述した処理を繰り返す。

一方、動画再生ボタン２９１７がタッチされていないと判定した場合には、第２操作受付部３００７は、閲覧終了の指示を受け付けたか否かを判定する（Ｓ５１２３）。閲覧終了の指示を受け付けたと判定した場合には、第２閲覧フェーズ処理（Ｃ）を終え、呼び出し元の第２メイン処理に復帰する。

一方、閲覧終了の指示を受け付けていないと判定した場合には、Ｓ５１０７に示した処理に戻って、上述した処理を繰り返す。

本実施の形態によれば、連続する第３代表画像５０３のサムネイル５００１を表示し、サムネイル５００１の選択を受け付けた場合に第３代表画像５０３の画面表示を切り替えるので、画面表示させるシーンを選択し易い。

また、連続する第２代表画像２０３のサムネイル５００１を表示し、サムネイル５００１の選択を受け付けた場合に第２代表画像２０３の画面表示を切り替えるので、シーン期間内で構図の異なるフレーム画像を選択し易い。

更に、連続する第１代表画像１０３のサムネイル５００１を表示し、サムネイル５００１の選択を受け付けた場合に第１代表画像１０３の画面表示を切り替えるので、短期間に含まれるフレーム画像も選択し易い。

［実施の形態６］
本実施の形態では、第２代表画像２０３に該当しない第１代表画像１０３に相当するマークと、第２代表画像２０３に相当するマークとを再生順に並べて表示する例について説明する。

図５３に、実施の形態６に係る第２ビューア３００５による表示操作画面を示す。縁のみの丸で示した第４マーク５３０１は、第２代表画像２０３に該当しない第１代表画像１０３に相当する。塗りつぶした丸で示した第５マーク５３０３は、第２代表画像２０３に相当する。中央のマークは、第１画像領域２９０１に表示中のフレーム画像に対応する。中央のマークより左側のマークは、第１画像領域２９０１に表示中のフレーム画像よりも順次前の代表画像に対応する。中央のマークより右側のマークは、第１画像領域２９０１に表示中のフレーム画像よりも順次後の代表画像に対応する。また、枠５３０５は、安定期間２０１の範囲を示している。

いずれかのマークをタッチすると、当該マークに対応する代表画像が第１画像領域２９０１に表示される。そして、タッチされたマークが中央になるようにマークが並び替えられる。また、マークの表示領域をスライドさせる操作を行えば、そのスライド量に応じてマークが移動し、入れ替わる。

本実施の形態では、図３１に示したＳ３１０５において、第２閲覧フェーズ処理（Ｄ）を実行する。図５４に、第２閲覧フェーズ処理（Ｄ）フローを示す。第２初期化部４００１は、図４１のＳ４１０１の場合と同様に、ポインタを初期化する（Ｓ５４０１）。また、第５表示処理部４００３は、図４１のＳ４１０３の場合と同様に、ポインタが指す代表画像を第１画像領域２９０１に表示する（Ｓ５４０３）。

第８表示処理部４０２１は、第２マーク列表示処理を実行する（Ｓ５４０５）。第２マーク列表示処理では、マークによって各種の代表画像の並びを表す。本実施の形態では、第２マーク列表示処理（Ａ）を実行する。

図５５に、第２マーク列表示処理（Ａ）フローを示す。第８表示処理部４０２１は、ポインタが指す代表画像（或いは、ポインタに最も近い代表画像）の前後Ｍ個（この例では１１個）ずつの第１代表画像１０３に相当するフレームＩＤを抽出する（Ｓ５５０１）。具体的には、第７表示処理部４０１７は、期間テーブルにおいて、ポインタが示すフレームＩＤのレコードより前のレコードの中で第１代表画像フラグがＯＮに設定されている直近のＭ個のレコードを探索する。更に、第７表示処理部４０１７は、ポインタが示すフレームＩＤのレコードより後のレコードの中で第１代表画像フラグがＯＮに設定されている直近のＭ個のレコードを探索する。

第８表示処理部４０２１は、抽出されたフレームＩＤのうち、１つのフレームＩＤを特定する（Ｓ５５０３）。例えば、第８表示処理部４０２１は、再生の順番に従ってフレームＩＤを特定する。

第８表示処理部４０２１は、当該フレームＩＤが第２代表画像２０３にも該当するか否かを判定する（Ｓ５５０５）。当該フレームＩＤが第２代表画像２０３に該当しないと判定した場合には、第８表示処理部４０２１は、第４マーク５３０１を当該フレームＩＤの順位に相当する位置に表示する（Ｓ５５０７）。順位は、表示操作画面の左から右に向けて、再生の順番に従って定まる。Ｓ５５１５の処理に移る。

一方、当該フレームＩＤが第２代表画像２０３にも該当すると判定した場合には、第８表示処理部４０２１は、第５マーク５３０３を当該フレームＩＤの順位に相当する位置に表示する（Ｓ５５０９）。

第８表示処理部４０２１は、当該第２代表画像２０３を含む安定期間２０１を特定して（Ｓ５５１１）、安定期間２０１の範囲を囲む枠５３０５を表示する（Ｓ５５１３）。このとき、枠５３０５の内側に背景色を設定するようにしてもよい。

第８表示処理部４０２１は、未特定のフレームＩＤがあるか否かを判定する（Ｓ５５１５）。未特定のフレームＩＤがあると判定した場合には、Ｓ５５０３に示した処理に戻って、上述した処理を繰り返す。

一方、未特定のフレームＩＤがないと判定した場合には、第２マーク列表示処理（Ａ）を終え、呼び出し元の第２閲覧フェーズ処理（Ｄ）に復帰する。

図５４の説明に戻る。第２操作受付部３００７は、いずれかのマークがタッチされたか否かを判定する（Ｓ５４０７）。いずれかのマークがタッチされたと判定した場合には、第９特定部４０２３は、タッチされたマークに対応するフレームＩＤをポインタに設定する（Ｓ５４０９）。そして、Ｓ５４０３に示した処理に戻って、上述した処理を繰り返す。

一方、いずれのマークもタッチされていないと判定した場合には、第２操作受付部３００７は、マークの表示領域におけるスライド操作を受け付けたか否かを判定する（Ｓ５４１１）。マークの表示領域におけるスライド操作を受け付けたと判定した場合には、第９特定部４０２３は、スライド量に応じてポインタを変更する（Ｓ５４１３）。このとき、第９特定部４０２３は、スライド量に所定比率を乗じて移動分の代表画像数を求める。ポインタを変更すると、Ｓ５４０３に示した処理に戻って、上述した処理を繰り返す。

一方、マークの表示領域におけるスライド操作を受け付けていないと判定した場合には、第２操作受付部３００７は、動画再生ボタン２９１７がタッチされたか否かを判定する（Ｓ５４１５）。動画再生ボタン２９１７がタッチされたと判定した場合には、第２ビューア３００５は、第３動画再生処理を実行する（Ｓ５４１７）。第３動画再生処理を終えると、Ｓ５４０３に示した処理に戻って、上述した処理を繰り返す。

一方、動画再生ボタン２９１７がタッチされていないと判定した場合には、第２操作受付部３００７は、閲覧終了の指示を受け付けたか否かを判定する（Ｓ５４１９）。閲覧終了の指示を受け付けたと判定した場合には、第２閲覧フェーズ処理（Ｄ）を終え、呼び出し元の第２メイン処理に復帰する。

一方、閲覧終了の指示を受け付けていないと判定した場合には、Ｓ５４０７に示した処理に戻って、上述した処理を繰り返す。

本実施の形態によれば、構図が安定している期間とそれ以外の期間との組み合わせに係る代表画像の構成を把握し易い。

［実施の形態７］
本実施の形態では、第３代表画像５０３に相当するマークと、第３代表画像５０３に該当しない第１代表画像１０３に相当するマークとを再生順に並べて表示する例について説明する。

図５６に、実施の形態７に係る第２ビューア３００５による表示操作画面を示す。塗りつぶした正方形で示した第６マーク５６０１は、第３代表画像５０３に相当する。縁のみの丸で示した第７マーク５６０２は、第３代表画像５０３に該当しない第１代表画像１０３に相当する。中央のマークは、第１画像領域２９０１に表示中の代表画像（又は第１画像領域２９０１に表示中のフレーム画像に最も近い代表画像）に対応する。中央のマークより左側のマークは、第１画像領域２９０１に表示中のフレーム画像よりも順次前の代表画像に対応する。中央のマークより右側のマークは、第１画像領域２９０１に表示中のフレーム画像よりも順次後の代表画像に対応する。また、枠５６０３は、場面期間５０１の範囲を示している。

いずれかのマークをタッチすると、当該マークに対応する代表画像が第１画像領域２９０１に表示される。そして、タッチされたマークが中央になるようにマークが並び替えられる。マークの表示領域をスライドさせる操作を行えば、そのスライド量に応じてマークが移動し、入れ替わる。

本実施の形態では、図５４に示したＳ５４０５において、第２マーク列表示処理（Ｂ）を実行する。図５７に、第２マーク列表示処理（Ｂ）フローを示す。Ｓ５７０１及びＳ５７０３の処理は、図５５のＳ５５０１及びＳ５５０３の場合と同様である。

第８表示処理部４０２１は、当該フレームＩＤが第３代表画像５０３にも該当するか否かを判定する（Ｓ５７０５）。当該フレームＩＤが第３代表画像５０３に該当しないと判定した場合には、第８表示処理部４０２１は、第７マーク５６０２を当該フレームＩＤの順位に相当する位置に表示する（Ｓ５７０７）。順位は、表示操作画面の左から右に向けて、再生の順番に従って定まる。そして、Ｓ５７１５の処理に移る。

一方、当該フレームＩＤが第３代表画像５０３にも該当すると判定した場合には、第８表示処理部４０２１は、第６マーク５６０１を当該フレームＩＤの順位に相当する位置に表示する（Ｓ５７０９）。

第８表示処理部４０２１は、当該第３代表画像５０３を含む場面期間５０１を特定して（Ｓ５７１１）、場面期間５０１の範囲を囲む枠５６０３を表示する（Ｓ５７１３）。このとき、枠５６０３の内側に背景色を設定するようにしてもよい。

Ｓ５７１５の処理は、図５５のＳ５５１５の場合と同様である。第２マーク列表示処理（Ｂ）を終えると、呼び出し元の第２閲覧フェーズ処理（Ｄ）に復帰する。

本実施の形態によれば、シーンの期間とそれ以外の期間との組み合わせに係る代表画像の構成を把握し易い。

［実施の形態８］
上述した第２閲覧フェーズ処理を組み合わせるようにしてもよい。図５８に、上述した第２閲覧フェーズ処理を組み合わせる場合の表示操作画面を示す。尚、実施の形態６及び実施の形態７においてマーク化する代表画像の範囲を、再生時間のタイミングによって指定するようにしてもよい。

以上本発明の実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、上述の機能ブロック構成はプログラムモジュール構成に一致しない場合もある。

また、上で説明した各記憶領域の構成は一例であって、上記のような構成でなければならないわけではない。さらに、処理フローにおいても、処理結果が変わらなければ、処理の順番を入れ替えることや複数の処理を並列に実行させるようにしても良い。

なお、上で述べた第１動画処理装置４００及び第２動画処理装置３０００は、コンピュータ装置であって、図５９に示すように、メモリ２５０１とＣＰＵ（Central Processing Unit）２５０３とハードディスク・ドライブ（ＨＤＤ：Hard Disk Drive）２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とがバス２５１９で接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施例における処理を実施するためのアプリケーション・プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。ＣＰＵ２５０３は、アプリケーション・プログラムの処理内容に応じて表示制御部２５０７、通信制御部２５１７、ドライブ装置２５１３を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ２５０１に格納されるが、ＨＤＤ２５０５に格納されるようにしてもよい。本発明の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク２５１１に格納されて頒布され、ドライブ装置２５１３からＨＤＤ２５０５にインストールされる。インターネットなどのネットワーク及び通信制御部２５１７を経由して、ＨＤＤ２５０５にインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。

以上述べた本発明の実施の形態をまとめると、以下のようになる。

本実施の形態に係るフレーム抽出方法は、（Ａ）動画像に含まれる複数のフレームを所定の時間間隔でグルーピングして得られる各グループにおいて、フレームの鮮明度に関する指標が最も鮮明であることを示すフレームを特定し、（Ｂ）上記各グループにおいて特定したフレーム間で、時間的に前後するフレームとの間の変化量が所定の基準以下の複数のフレームをグルーピングし、（Ｃ）上記各グループにおいて特定したフレームから、グルーピングされた上記複数のフレームのうちフレームの鮮明度に関する指標が最も鮮明であることを示すフレームに基づいて、代表フレームを抽出する、処理を含む。

このようにすれば、より的確な代表フレームを抽出することができる。鮮明な代表フレームが得られる面がある。

更に、上記鮮明度に関する指標は、フレーム画像におけるエッジの検出量であってもよい。

このようにすれば、ピントが合っているフレーム画像を選定することができる。

更に、上記変化量は、フレーム内に含まれる被写体の移動量であってもよい。

このようにすれば、画像が安定している期間毎に代表フレームが得られる。尚、上記変化量は、フレーム内に含まれる被写体の移動量と色調の変化量との組み合わせに基づく値であってもよい。

更に、グルーピングされた上記複数のフレームのうち、いずれかのグループにグルーピングされたフレーム群に対応する時間幅を、上記代表フレームに関連付けて、特定するようにしてもよい。

このようにすれば、代表フレームによって代表される期間の長さを知ることができる。

更に、複数の抽出された上記代表フレームを含む第１の代表フレーム群を、フレームの色調に基づいてグルーピングし、グルーピングされた上記第１の代表フレーム群のうち、グループ毎にフレームの鮮明度に関する指標が最も鮮明であることを示すフレームに基づいて、第２の代表フレーム群を抽出するようにしてもよい。

このようにすれば、シーンを代表する画像を、より的確に抽出することができる。

更に、グルーピングされた上記第１の代表フレーム群のうち、いずれかのグループにグルーピングされたフレーム群に対応する時間幅を、上記いずれかのグループに含まれるフレームの鮮明度に関する指標が最も鮮明であることを示すフレームに関連付けて、特定するようにしてもよい。

このようにすれば、代表フレームを含むシーン期間の長さを知ることができる。

更に、再生指示に応じて、上記各グループにおいて特定したフレーム、又は、上記第１の代表フレーム群に含まれるフレーム、又は、上記第２の代表フレーム群に含まれるフレーム、を順に表示するようにしてもよい。

このようにすれば、所望のフレーム画像を見つけ出し易い。

本実施の形態に係る動画再生制御方法は、（Ｄ）動画に含まれる複数のフレームの中から選択された代表フレームの再生タイミングに対応するマークを上記動画の再生タイミングを示すタイムバー上に表示するとともに、上記代表フレームより再生タイミングが早いフレーム、再生タイミングが遅いフレームの双方を含み、上記代表フレームにより代表される被代表フレーム群が属する再生時間区間であって、上記タイムバーが示す時間区間の一部を示す表示を行ない、（Ｅ）上記タイムバーに対する操作に応じて上記動画を再生する、処理を含む。

このようにすれば、代表フレームによって代表される再生時間区間を把握した上で、動画を再生させることができる。

更に、上記マークの指定に応じて、上記代表フレームに対応する画像の表示又は上記マークに対応する再生タイミングからの上記動画の再生を開始するようにしてもよい。

このようにすれば、個々のマークで示した再生タイミングで、画像の表示又は動画再生の開始を行うことができる。

更に、上記再生時間区間の指定に応じて、上記被代表フレーム群の先頭のフレームに対応するタイミングからの上記動画の再生を実行するようにしてもよい。

このようにすれば、再生時間区間の当初からの動画を閲覧する際の指示が簡便になる。

更に、上記マークの指定に応じて、上記代表フレームに対応づけて登録する情報の入力を受け付けるようにしてもよい。

このようにすれば、個々の代表フレームに対応する情報を登録する操作が簡単になる。

更に、指示操作に応じて、代表フレームに対応する画像と入力された情報とがセットとなった代表画像集を生成するようにしてもよい。

このようにすれば、代表フレームと登録された情報とを一括して扱えるようになる。

更に、上記代表フレームのうち、入力操作により選択された代表フレームのみに対応する画像と入力された情報とがセットとなった代表画像集を生成するようにしてもよい。

このようにすれば、情報が登録されていない代表フレームを省くことができる。

更に、上記代表フレームは、上記動画像に含まれる複数のフレームを所定の時間間隔でグルーピングして得られる各グループにおいて、フレームの鮮明度に関する指標が最も鮮明であることを示すフレームを特定し、上記各グループにおいて特定したフレーム間で、時間的に前後するフレームとの間の変化量が所定の基準以下の複数のフレームをグルーピングし、上記各グループにおいて特定したフレームから、グルーピングされた上記複数のフレームのうちフレームの鮮明度に関する指標が最も鮮明であることを示すフレームに基づいて、選択されるようにしてもよい。

このようにすれば、鮮明な代表フレームを表示対象とすることができる。

なお、上記方法による処理をコンピュータに行わせるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納されるようにしてもよい。尚、中間的な処理結果は、一般的にメインメモリ等の記憶装置に一時保管される。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）
動画像に含まれる複数のフレームを所定の時間間隔でグルーピングして得られる各グループにおいて、フレームの鮮明度に関する指標が最も鮮明であることを示すフレームを特定し、
前記各グループにおいて特定したフレーム間で、時間的に前後するフレームとの間の変化量が所定の基準以下の複数のフレームをグルーピングし、
前記各グループにおいて特定したフレームから、グルーピングされた前記複数のフレームのうちフレームの鮮明度に関する指標が最も鮮明であることを示すフレームに基づいて、代表フレームを抽出する、
処理をコンピュータが実行することを特徴とするフレーム抽出方法。

（付記２）
前記鮮明度に関する指標は、フレーム画像におけるエッジの検出量である、ことを特徴とする付記１に記載のフレーム抽出方法。

（付記３）
前記変化量は、フレーム内に含まれる被写体の移動量である、ことを特徴とする付記１に記載のフレーム抽出方法。

（付記４）
グルーピングされた前記複数のフレームのうち、いずれかのグループにグルーピングされたフレーム群に対応する時間幅を、前記代表フレームに関連付けて、特定する、ことを特徴とする付記１に記載のフレーム抽出方法。

（付記５）
複数の抽出された前記代表フレームを含む第１の代表フレーム群を、フレームの色調に基づいてグルーピングし、グルーピングされた前記第１の代表フレーム群のうち、グループ毎にフレームの鮮明度に関する指標が最も鮮明であることを示すフレームに基づいて、第２の代表フレーム群を抽出する、ことを特徴とする付記１に記載のフレーム抽出方法。

（付記６）
グルーピングされた前記第１の代表フレーム群のうち、いずれかのグループにグルーピングされたフレーム群に対応する時間幅を、前記いずれかのグループに含まれるフレームの鮮明度に関する指標が最も鮮明であることを示すフレームに関連付けて、特定する、ことを特徴とする付記５に記載のフレーム抽出方法。

（付記７）
再生指示に応じて、前記各グループにおいて特定したフレーム、又は、前記第１の代表フレーム群に含まれるフレーム、又は、前記第２の代表フレーム群に含まれるフレーム、を順に表示する、ことを特徴とする付記５に記載のフレーム抽出方法。

（付記８）
動画に含まれる複数のフレームの中から選択された代表フレームの再生タイミングに対応するマークを前記動画の再生タイミングを示すタイムバー上に表示するとともに、前記代表フレームより再生タイミングが早いフレーム、再生タイミングが遅いフレームの双方を含み、前記代表フレームにより代表される被代表フレーム群が属する再生時間区間であって、前記タイムバーが示す時間区間の一部を示す表示を行ない、
前記タイムバーに対する操作に応じて前記動画を再生する、
処理をコンピュータが実行することを特徴とする動画再生制御方法。

（付記９）
前記マークの指定に応じて、前記代表フレームに対応する画像の表示又は前記マークに対応する再生タイミングからの前記動画の再生を開始する、ことを特徴とする付記８に記載の動画再生制御方法。

（付記１０）
前記再生時間区間の指定に応じて、前記被代表フレーム群の先頭のフレームに対応するタイミングからの前記動画の再生を実行する、ことを特徴とする付記８に記載の動画再生制御方法。

（付記１１）
前記マークの指定に応じて、前記代表フレームに対応づけて登録する情報の入力を受け付ける、ことを特徴とする付記８記載の動画再生制御方法。

（付記１２）
指示操作に応じて、代表フレームに対応する画像と入力された情報とがセットとなった代表画像集を生成する、ことを特徴とする付記１１に記載の動画再生制御方法。

（付記１３）
前記代表フレームのうち、入力操作により選択された代表フレームのみに対応する画像と入力された情報とがセットとなった代表画像集を生成する、ことを特徴とする付記１１に記載の動画再生制御方法。

（付記１４）
前記代表フレームは、前記動画像に含まれる複数のフレームを所定の時間間隔でグルーピングして得られる各グループにおいて、フレームの鮮明度に関する指標が最も鮮明であることを示すフレームを特定し、前記各グループにおいて特定したフレーム間で、時間的に前後するフレームとの間の変化量が所定の基準以下の複数のフレームをグルーピングし、前記各グループにおいて特定したフレームから、グルーピングされた前記複数のフレームのうちフレームの鮮明度に関する指標が最も鮮明であることを示すフレームに基づいて、選択される、ことを特徴とする付記８乃至１３のいずれか１項に記載の動画再生制御方法。

（付記１５）
動画像に含まれる複数のフレームを所定の時間間隔でグルーピングして得られる各グループにおいて、フレームの鮮明度に関する指標が最も鮮明であることを示すフレームを特定し、
前記各グループにおいて特定したフレーム間で、時間的に前後するフレームとの間の変化量が所定の基準以下の複数のフレームをグルーピングし、
前記各グループにおいて特定したフレームから、グルーピングされた前記複数のフレームのうちフレームの鮮明度に関する指標が最も鮮明であることを示すフレームに基づいて、代表フレームを抽出する、
処理をコンピュータに実行させることを特徴とするプログラム。

（付記１６）
動画像に含まれる複数のフレームを所定の時間間隔でグルーピングして得られる各グループにおいて、フレームの鮮明度に関する指標が最も鮮明であることを示すフレームを特定する特定部と、
前記各グループにおいて特定したフレーム間で、時間的に前後するフレームとの間の変化量が所定の基準以下の複数のフレームをグルーピングするグルーピング部と、
前記各グループにおいて特定したフレームから、グルーピングされた前記複数のフレームのうちフレームの鮮明度に関する指標が最も鮮明であることを示すフレームに基づいて、代表フレームを抽出する抽出部と、
を有することを特徴とするフレーム抽出装置。

（付記１７）
動画に含まれる複数のフレームの中から選択された代表フレームの再生タイミングに対応するマークを前記動画の再生タイミングを示すタイムバー上に表示するとともに、前記代表フレームより再生タイミングが早いフレーム、再生タイミングが遅いフレームの双方を含み、前記代表フレームにより代表される被代表フレーム群が属する再生時間区間であって、前記タイムバーが示す時間区間の一部を示す表示を行ない、
前記タイムバーに対する操作に応じて前記動画を再生する、
処理をコンピュータに実行させることを特徴とするプログラム。

（付記１８）
動画に含まれる複数のフレームの中から選択された代表フレームの再生タイミングに対応するマークを前記動画の再生タイミングを示すタイムバー上に表示するとともに、前記代表フレームより再生タイミングが早いフレーム、再生タイミングが遅いフレームの双方を含み、前記代表フレームにより代表される被代表フレーム群が属する再生時間区間であって、前記タイムバーが示す時間区間の一部を示す表示を行なう表示処理部と、
前記タイムバーに対する操作に応じて前記動画を再生する再生部と、
を有することを特徴とする動画再生制御装置。

１０１ 単位期間 １０３ 第１代表画像
２０１ 安定期間 ２０３ 第２代表画像
３０１ 画像領域 ３０３ サムネイル
３０５ 第１マーク ３０７ 第２マーク
３０９ 第３マーク ３１１ 三角マーク
３１３ 枠 ３１５ 第１の次ボタン
３１７ 第２の次ボタン ３１９ 第１の前ボタン
３２１ 第２の前ボタン ３２３ システムメニュー領域
３２５ 付加データ入力領域 ３２７ 出力メニュー領域
４００ 第１動画処理装置 ４０１ 第１データ受付部
４０３ 第１分析部 ４０５ 第１ビューア
４０７ 第１操作受付部 ４０９ 第１更新部
４２１ 第１動画記憶部 ４２３ 第１パラメータ記憶部
４２５ 第１フレームテーブル記憶部 ４２７ 第１フレーム画像記憶部
４２９ 第１期間テーブル記憶部 ５０１ 場面期間
５０３ 第３代表画像 ６０１ 第１生成部
６０３ 分割部 ６０５ 第１選定部
６０７ 第１特定部 ６０９ 第２選定部
１５０１ 第１初期化部 １５０３ 第１表示処理部
１５０５ 第２表示処理部 １５０７ 第３表示処理部
１５０９ 第２特定部 １５１１ 第３特定部
１５１３ 第４表示処理部 １５１５ 第１再生部
１５１７ 第２生成部 １５１８ 第１設定部
１５１９ 第４特定部 ２９０１ 第１画像領域
２９０３ 第２画像領域 ２９０５ 第１の次ボタン
２９０７ 第２の次ボタン ２９０９ 第３の次ボタン
２９１１ 第１の前ボタン ２９１３ 第２の前ボタン
２９１５ 第３の前ボタン ２９１７ 動画再生ボタン
２９１９ 再生停止ボタン ３０００ 第２動画処理装置
３００１ 第２データ受付部 ３００３ 第２分析部
３００５ 第２ビューア ３００７ 第２操作受付部
３００９ 第２更新部 ３０２１ 第２動画記憶部
３０２３ 第２パラメータ記憶部 ３０２５ 第２フレームテーブル記憶部
３０２７ 第２フレーム画像記憶部 ３０２９ 第２期間テーブル記憶部
３２０１ 第５特定部 ３２０３ 第３選定部
４００１ 第２初期化部 ４００３ 第５表示処理部
４００５ 第６特定部 ４００７ 第２再生部
４００９ 第６表示処理部 ４０１１ 第２設定部
４０１３ 変更部 ４０１５ 第７特定部
４０１７ 第７表示処理部 ４０１９ 第８特定部
４０２１ 第８表示処理部 ４０２３ 第９特定部
４５０１ ラジオボタン ４５０３ めくり開始ボタン
４５０５ めくり停止ボタン ５００１ サムネイル
５３０１ 第４マーク ５３０３ 第５マーク
５３０５ 枠 ５６０１ 第６マーク
５６０２ 第７マーク ５６０３ 枠

Claims (18)

1. 動画像に含まれる複数のフレームを所定の時間間隔でグルーピングして得られる各グループにおいて、フレームの鮮明度に関する指標が最も鮮明であることを示すフレームを特定し、
   前記各グループにおいて特定したフレーム間で、時間的に前後するフレームとの間の変化量が所定の基準以下の複数のフレームをグルーピングし、
   前記各グループにおいて特定したフレームから、グルーピングされた前記複数のフレームのうちフレームの鮮明度に関する指標が最も鮮明であることを示すフレームに基づいて、代表フレームを抽出する、
   処理をコンピュータが実行することを特徴とするフレーム抽出方法。
2. 前記鮮明度に関する指標は、フレーム画像におけるエッジの検出量である、ことを特徴とする請求項１に記載のフレーム抽出方法。
3. 前記変化量は、フレーム内に含まれる被写体の移動量である、ことを特徴とする請求項１に記載のフレーム抽出方法。
4. グルーピングされた前記複数のフレームのうち、いずれかのグループにグルーピングされたフレーム群に対応する時間幅を、前記代表フレームに関連付けて、特定する、ことを特徴とする請求項１に記載のフレーム抽出方法。
5. 複数の抽出された前記代表フレームを含む第１の代表フレーム群を、フレームの色調に基づいてグルーピングし、グルーピングされた前記第１の代表フレーム群のうち、グループ毎にフレームの鮮明度に関する指標が最も鮮明であることを示すフレームに基づいて、第２の代表フレーム群を抽出する、ことを特徴とする請求項１に記載のフレーム抽出方法。
6. グルーピングされた前記第１の代表フレーム群のうち、いずれかのグループにグルーピングされたフレーム群に対応する時間幅を、前記いずれかのグループに含まれるフレームの鮮明度に関する指標が最も鮮明であることを示すフレームに関連付けて、特定する、ことを特徴とする請求項５に記載のフレーム抽出方法。
7. 再生指示に応じて、前記各グループにおいて特定したフレーム、又は、前記第１の代表フレーム群に含まれるフレーム、又は、前記第２の代表フレーム群に含まれるフレーム、を順に表示する、ことを特徴とする請求項５に記載のフレーム抽出方法。
8. 動画に含まれる複数のフレームの中から選択された代表フレームの再生タイミングに対応するマークを前記動画の再生タイミングを示すタイムバー上に表示するとともに、前記代表フレームより再生タイミングが早いフレーム、再生タイミングが遅いフレームの双方を含み、前記代表フレームにより代表される被代表フレーム群が属する再生時間区間であって、前記タイムバーが示す時間区間の一部を示す表示を行ない、
   前記タイムバーに対する操作に応じて前記動画を再生する、
   処理をコンピュータが実行することを特徴とする動画再生制御方法。
9. 前記マークの指定に応じて、前記代表フレームに対応する画像の表示又は前記マークに対応する再生タイミングからの前記動画の再生を開始する、ことを特徴とする請求項８に記載の動画再生制御方法。
10. 前記再生時間区間の指定に応じて、前記被代表フレーム群の先頭のフレームに対応するタイミングからの前記動画の再生を実行する、ことを特徴とする請求項８に記載の動画再生制御方法。
11. 前記マークの指定に応じて、前記代表フレームに対応づけて登録する情報の入力を受け付ける、ことを特徴とする請求項８記載の動画再生制御方法。
12. 指示操作に応じて、代表フレームに対応する画像と入力された情報とがセットとなった代表画像集を生成する、ことを特徴とする請求項１１に記載の動画再生制御方法。
13. 前記代表フレームのうち、入力操作により選択された代表フレームのみに対応する画像と入力された情報とがセットとなった代表画像集を生成する、ことを特徴とする請求項１１に記載の動画再生制御方法。
14. 前記代表フレームは、前記動画像に含まれる複数のフレームを所定の時間間隔でグルーピングして得られる各グループにおいて、フレームの鮮明度に関する指標が最も鮮明であることを示すフレームを特定し、前記各グループにおいて特定したフレーム間で、時間的に前後するフレームとの間の変化量が所定の基準以下の複数のフレームをグルーピングし、前記各グループにおいて特定したフレームから、グルーピングされた前記複数のフレームのうちフレームの鮮明度に関する指標が最も鮮明であることを示すフレームに基づいて、選択される、ことを特徴とする請求項８乃至１３のいずれか１項に記載の動画再生制御方法。
15. 動画像に含まれる複数のフレームを所定の時間間隔でグルーピングして得られる各グループにおいて、フレームの鮮明度に関する指標が最も鮮明であることを示すフレームを特定し、
    前記各グループにおいて特定したフレーム間で、時間的に前後するフレームとの間の変化量が所定の基準以下の複数のフレームをグルーピングし、
    前記各グループにおいて特定したフレームから、グルーピングされた前記複数のフレームのうちフレームの鮮明度に関する指標が最も鮮明であることを示すフレームに基づいて、代表フレームを抽出する、
    処理をコンピュータに実行させることを特徴とするプログラム。
16. 動画像に含まれる複数のフレームを所定の時間間隔でグルーピングして得られる各グループにおいて、フレームの鮮明度に関する指標が最も鮮明であることを示すフレームを特定する特定部と、
    前記各グループにおいて特定したフレーム間で、時間的に前後するフレームとの間の変化量が所定の基準以下の複数のフレームをグルーピングするグルーピング部と、
    前記各グループにおいて特定したフレームから、グルーピングされた前記複数のフレームのうちフレームの鮮明度に関する指標が最も鮮明であることを示すフレームに基づいて、代表フレームを抽出する抽出部と、
    を有することを特徴とするフレーム抽出装置。
17. 動画に含まれる複数のフレームの中から選択された代表フレームの再生タイミングに対応するマークを前記動画の再生タイミングを示すタイムバー上に表示するとともに、前記代表フレームより再生タイミングが早いフレーム、再生タイミングが遅いフレームの双方を含み、前記代表フレームにより代表される被代表フレーム群が属する再生時間区間であって、前記タイムバーが示す時間区間の一部を示す表示を行ない、
    前記タイムバーに対する操作に応じて前記動画を再生する、
    処理をコンピュータに実行させることを特徴とするプログラム。
18. 動画に含まれる複数のフレームの中から選択された代表フレームの再生タイミングに対応するマークを前記動画の再生タイミングを示すタイムバー上に表示するとともに、前記代表フレームより再生タイミングが早いフレーム、再生タイミングが遅いフレームの双方を含み、前記代表フレームにより代表される被代表フレーム群が属する再生時間区間であって、前記タイムバーが示す時間区間の一部を示す表示を行なう表示処理部と、
    前記タイムバーに対する操作に応じて前記動画を再生する再生部と、
    を有することを特徴とする動画再生制御装置。

Images