JP2009284318A - 画像再生装置及びプログラム - Google Patents

Abstract

【課題】 動画データを効率的に視聴しつつ、動画データに関連付けられた各画像データの全てを視聴できるようにする。
【解決手段】 互いに関連付けられた、第１の再生時間でなる第１の動画データ、前記第１の再生時間よりも短い第２の再生時間でなる第２の動画データ、静止画データの各画像データを記録した記録手段（１５）と、前記画像データを表示する表示手段（５）とを備える画像再生装置（１）において、前記第１の動画データ、前記第２の動画データ、前記静止画データのうちいずれかの画像データが前記表示手段（５）に表示されているときに、現在表示されている画像データに関連付けられている他の画像データを選択する選択手段（７）と、前記選択手段（７）によって選択された他の画像データを、前記表示手段（５）に表示させる表示制御手段（７）とを備えることを特徴とする。
【選択図】 図２

Description

本発明は、画像再生装置及びプログラムに関し、詳細には、静止画に加えて動画を再生できると共に、その動画のダイジェスト版を再生できる画像再生装置及びプログラムに関する。

近年、デジタルカメラ等の撮影装置にあっては、静止画に加えて、動きを伴う画像（動画）の記録保存も可能なものが多くなってきており、撮影装置の内部には静止画と動画が混在して保存されるようになってきた。

ところで、静止画や動画を再生する際には、それらの画像の代表画像（サムネイル画像）の一覧から所望の代表画像を選択することにより、当該代表画像の元画像（静止画又は動画）を再生するが、長時間の動画再生、とりわけ、ダラダラと撮り続けられた長い動画の再生視聴は、精神的な苦痛を覚えることもある。

そこで、下記の特許文献１には、動画をダイジェスト版のごとく部分的に再生できるようにした再生装置が開示されている。

以下、この再生装置を従来技術と言うことにすると、この従来技術では、まず、動画データにフラグとしての静止画データを関連付けて記録しておく。そして、静止画データを順次再生するスライドショーモードにおいて、各静止画の代わりに、当該各静止画データに関連付けて記録されている所定時間範囲の動画データを順次再生する。これにより、あたかもダイジェスト版のように、動画データを部分的に再生することができ、効率的な視聴を可能とし、精神的な苦痛軽減を図っている。

特開２００５−１１７０８３号公報

しかしながら、従来技術にあっては、動画データを部分的に再生する場合、動画データに関連付けて記録された静止画データは再生されず、被写体の鑑賞という静止画データ本来の役割を果たすことができない。

そこで、本発明は、動画データを効率的に視聴しつつ、動画データに関連付けられた各画像データの全てを視聴できるようにすることを目的とする。

請求項１記載の発明は、互いに関連付けられた、第１の再生時間でなる第１の動画データ、前記第１の再生時間よりも短い第２の再生時間でなる第２の動画データ、静止画データの各画像データを記録した記録手段と、前記画像データを表示する表示手段と、を備える画像再生装置において、前記第１の動画データ、前記第２の動画データ、前記静止画データのうちいずれかの画像データが前記表示手段に表示されているときに、現在表示されている画像データに関連付けられている他の画像データを選択する選択手段と、前記選択手段によって選択された他の画像データを、前記表示手段に表示させる表示制御手段と、を備えることを特徴とする画像再生装置である。
請求項２記載の発明は、前記第２の動画データは、前記第１の動画データにおける前記第２の再生時間分の動画データであり、前記静止画データは、前記第１の動画データを構成する静止画データである、ことを特徴とする請求項１記載の画像再生装置である。
請求項３記載の発明は、前記記録手段には、前記第１の動画データにおける所定の再生時刻を示す時刻指標が記録されており、前記第２の動画データは、前記第１の動画データにおける、前記時刻指標により示される所定の再生時刻前後における前記第２の再生時間分の動画データであり、前記静止画データは、前記第１の動画データを構成する、前記時刻指標により示される所定の再生時刻における静止画データである、ことを特徴とする請求項２記載の画像再生装置である。
請求項４記載の発明は、前記記録手段には、前記第１の動画データにおける、互いに異なる再生時刻をそれぞれ示す複数の時刻指標が記録されており、前記第２の動画データは、前記第１の動画データにおける、前記複数の時刻指標によりそれぞれ示される各再生時刻前後の前記第２の再生時間分における複数の動画データであり、前記静止画データは、前記第１の動画データを構成する、前記時刻指標によりそれぞれ示される各再生時刻における複数の静止画データである、ことを特徴とする請求項３記載の画像再生装置である。
請求項５記載の発明は、前記選択手段は、前記表示手段に前記第１の動画データが表示されているときには、前記第１の動画データに関連付けられた前記第２の動画データ又は前記静止画データを選択し、前記表示手段に前記第２の動画データが表示されているときには、前記第２の動画データに関連付けられた前記第１の動画データ又は前記静止画データを選択し、前記表示手段に前記静止画データが表示されているときには、前記第１の動画データに関連付けられた前記第１の動画データ又は前記第１の動画データを選択する、ことを特徴とする請求項１から４いずれか１項に記載の画像再生装置である。
請求項６記載の発明は、互いに関連付けられた、第１の再生時間でなる第１の動画データ、前記第１の再生時間よりも短い第２の再生時間でなる第２の動画データ、静止画データ画像データの各画像データを記録した記録手段と、前記画像データを表示する表示手段とを備えるコンピュータを、前記第１の動画データ、前記第２の動画データ、前記静止画データのうちいずれかの画像データが前記表示手段に表示されているときに、現在表示されている画像データに関連付けられている他の画像データを選択する選択手段、前記選択手段によって選択された他の画像データを、前記表示手段に表示させる表示制御手段として機能させることを特徴とするプログラムである。

本発明によれば、動画データを効率的に視聴しつつ、動画データに関連付けられた各画像データの全てを視聴できる。

以下、本発明の実施形態を、図面を参照しながら説明する。

＜撮影の前提＞
実施形態の説明に入る前に、この実施形態で使用する三種類の画像（通常動画、ダイジェスト版動画及び静止画）の構成について説明する。

ちなみに、「通常動画」とは、任意の時間の間、継続的に撮影される動画のことをいう。任意の時間は特に限定されない。最大の時間は一般的に記録メディアの容量に依存する。「通常動画」を撮影するケースは様々である。典型的には、動きそのものを記録したい場合であるが、それ以外にも、たとえば、絶対に逃したくないシャッタチャンスを含む場面を撮影する際にも用いられる。少なくとも“動画”で撮影しておけば、そのようなシャッタチャンスをフレーム画像として残しておくことができるからである。ただし、動画のフレーム画像は、通常の静止画に比べて画質が粗いため、「通常動画」の撮影中に高画質の「静止画」を撮影することが行われる（いわゆるスチルインムービ）。

一方、「ダイジェスト版動画」は、前記のスチルインムービの撮影時点（つまり、動画撮影中の静止画撮影時点）の前後所定範囲の動画を前記の通常動画から切り出し、それらの切り出した動画をつなぎ合わせたものである。動画撮影中の静止画撮影時点は、シャッタチャンスの時点であり、撮影者の注目時点でもあるから、結局、ダイジェスト版動画は、ダラダラと区切りなく撮影された通常動画に対して、もっぱら見たい部分だけで構成された鑑賞に堪え得る動画であるということができる。

図１は、実施形態で使用する三種類の画像の構成を示す図である。
まず、「通常動画」は、図面の左から右へと時間軸に沿って所定の周期（たとえば、毎秒Ｎ枚の周期、つまり、Ｎ〔ｆｐｓ〕）で逐次に撮影されるフレーム画像の集まり（動画）である。ここで、デジタルビデオやデジタルカメラ等の撮影装置の一般的なフレーム周期は、たとえば、Ｎ＝３０であるが、ここでは説明の都合上、Ｎ＝１と仮定する。すなわち、通常動画は、１秒（ｓｅｃ）間隔で撮影された多数のフレーム画像から構成されているものとする。

通常動画の四角枠はそれぞれのフレーム画像を模式的に表し、且つ、その枠内に記された数字は各フレーム画像の識別子（フレーム番号）を示している。たとえば、図示の通常動画は、・・・・１、２、３、４、５、６、７、８・・・・５１、５２、５３、５４、５５、５６、５７、５８・・・・のフレーム画像で構成されている。

次に、「静止画」は、通常動画撮影中の任意の時点、たとえば、図中のＴａとＴｂの二つの時点で撮影された、通常動画のフレーム画像（図示の例ではフレーム番号“４”と“５４”）に対応する高画質の静止画である。時点Ｔａ、Ｔｂは、ユーザによって行われる静止画撮影操作の実行タイミングである。

最後に、「ダイジェスト版動画」は、静止画の撮影時点（図示の例ではＴａ、Ｔｂ）の前後数フレームの画像を通常動画から切り出し、それらをつなぎ合わせて構成した動画のことである。切り出しフレーム数は特に限定されないが、ここでは、一例として前後６秒分、つまり、６フレームを切り出すものとする。したがって、図示の例では、時点Ｔａに対応したフレーム番号“２”〜“７”までの第１のフレーム群と、時点Ｔｂに対応したフレーム番号“５２”〜“５７”までの第２のフレーム群とが切り出され、それらの第１及び第２のフレーム群をつなぎ合わせたダイジェスト版動画が構成される。

ここで、以上の三種類の画像（通常動画、ダイジェスト版動画及び静止画）は、以下のように定義することができる。まず、通常動画は、貴重なシャッタチャンスを逃さないために、ある期間、漫然と撮影が続けられる、言い換えれば不要な部分も含む、ダラダラと撮影が続けられた動画である。これに対して、静止画は、その通常動画の撮影中に訪れた貴重なシャッタチャンスの瞬間の高画質な画像である。一方、ダイジェスト版動画は、そのシャッタチャンスの瞬間の前後の動画であり、且つ、そのシャッタチャンスが複数回存在した場合には、各々のシャッタチャンスの瞬間の前後の動画をつなぎ合わせたものである。

したがって、これら三種類の画像（通常動画、ダイジェスト版動画及び静止画）は、それぞれの特色に応じた使い方（再生）をすることができる。つまり、静止画は、シャッタチャンスの瞬間を捉えた動きのない高画質の絵であるから、被写体の細部を画面で見たり、あるいは、印刷出力したりする場合に好適である。一方、ダイジェスト版動画は、静止画よりも若干画質が劣るものの、シャッタチャンス前後の被写体の動きを抜き出して効率的に見ることができ、さらに、音声も同時記録できる場合は、被写体の声などの環境音も合わせて聞くことができるので、リアルな雰囲気を体感できる点で好適である。さらに、通常動画は、無駄な部分を含むが、無編集の生動画であるので、たとえば、気付かなかった被写体や被写体の動きが写し込まれていることがあり、撮影時点で意図していなかった思わぬ撮影結果が得られる可能性がある点で好ましい。

このように、それぞれ特色のある三種類の画像（通常動画、ダイジェスト版動画及び静止画）であるが、冒頭で説明した従来技術にあっては、各画像間の遷移、つまり、通常動画と、ダイジェスト版動画と、静止画との間の自在な相互切り替えについての手段が講じられておらず、使い勝手の悪さを否めないものであった。

そこで、本実施形態では、以下にその詳細を説明するように、ダラダラと撮影される動画（通常動画）の撮影中に行なわれる、スチルインムービなどのユーザ操作（静止画の撮影操作）を契機（トリガ）として、所定時間（たとえば、数秒分）の動画撮影を行い、それをつなぎ合わせたダイジェスト版を生成して別の動画データとして保存する。

さらに、撮影された静止画と、通常動画及びダイジェスト版動画とを関連付け（対応付けともいう。）て保存し、再生時には、関連付けられた情報を元に、静止画再生、通常動画再生、ダイジェスト版動画の再生をユーザが自由に切り替えられるようにする。

＜構成＞
次に、本実施形態の構成を説明する。
図２は、本実施形態に係る撮影装置のブロック図である。この図において、撮影装置１は、動画撮影中の静止画撮影（スチルインムービ等）が可能な、たとえば、デジタルカメラであり、この撮影装置１は、撮像部２、モニタ表示用画像処理部３、表示制御部４、表示部５、静止画処理部６、中央制御部７、動画処理部８、ＦＩＦＯメモリ９、トリガ生成部１０、ジャイロ部１１、操作部１２、ストリーム制御部１３、記録メディア制御部１４、及び、記録メディア１５などを含む。

なお、これ以外にも、たとえば、パーソナルコンピュータ等の外部機器との間でデータのやり取りをする入出力部や電源部などを含むが、図示の都合上、それらの記載を略している。

各部の詳細を説明すると、撮像部２は、ＣＣＤやＣＭＯＳなどの二次元イメージセンサを含むと共に、そのイメージセンサとの通信制御部、Ｂａｙｅｒデータ読み出し部、及び、現像処理部などを含み、通常は所定周期（説明の便宜上、毎秒１枚の周期）のフレーム画像を構図確認用のスルー画像又は動画用の画像として出力すると共に、ユーザによる静止画撮影操作（シャッタ操作など）に応答して高画質の静止画を出力することができるものである。

モニタ表示用画像処理部３は、撮像部２からの画像データに対して、リサイズや色変換などの画像処理を行い、構図確認用のモニタ表示に適した形（スルー画像）に整形し、表示制御部４は、モニタ表示用画像処理部３からのデータ（スルー画像）を表示部５に表示する制御を行う。

静止画処理部６は、中央制御部７からの指示に従い、撮像部２からのデータを使って、リサイズ、色変換、圧縮処理（たとえばＪＰＥＧ）などの画像処理を行い、１枚分の静止画データを生成し、動画処理部８は、撮像部２からのデータを使って、リサイズ、色変換、圧縮処理（たとえば、Ｈ．２６４）などの画像処理を行い、動画ストリームを生成する。

ＦＩＦＯメモリ９は、先入れ先出し型のメモリであり、このＦＩＦＯメモリ９は、動画処理部８からの動画ストリームを第１の所定時間分保持できるだけの容量を持つ。本実施形態では、第１の所定時間を５秒として説明するがこれに限定されない。第１の所定時間は本発明を適用するアプリケーション毎に任意に設定すればよい。

トリガ生成部１０は、スチルインムービなどのユーザ操作（静止画の撮影操作）に応答したトリガを検出するものであり、このトリガは、たとえば、撮像部２からのデータやジャイロ部１１からのデータに基づいて検出することができる。

つまり、撮像部２からのデータを使ってフレーム間差分を求める等により、フレーム間に大きな変化があった場合に「トリガあり」を検出したり、あるいは、特定の被写体がフレーム内に写った場合に「トリガあり」を検出したりできる。そして、トリガ生成部１０は、「トリガあり」を検出した場合に、中央制御部７にその旨を通知する。または、ジャイロ部１１からのデータを使って、撮影装置１がパン／チルトや大きな手振れの最中なのかそうでないのか判断し、撮影装置１が静止したことを検出した場合に、「トリガあり」を検出するようにしてもよい。この場合も、トリガ生成部１０は、「トリガあり」の検出の旨を中央制御部７に通知する。ちなみに、ジャイロ部１１は、ジャイロセンサやジャイロセンサ制御などが含まれたブロックであり、撮影装置１の姿勢変化などの情報を取得するものである。

なお、トリガ生成部１０への入力は、上記の例示に限ったものではなく、不図示のマイクからの音声データを入力してその変化を検出することでトリガを生成する等、様々な方法が考えられる。また、トリガの検出方法や検出条件なども上記に限定するものではなく、どのような方法であってもよい。

中央制御部７は、撮影装置１の全体的な統括制御を行う部分であり、トリガ生成部１０からの検出通知を受信したり、操作部１２からの各種操作信号入力（シャッタキーやダイジェスト版動画生成許可キーなどの入力）を処理したりする。この中央制御部７の構成は具体的に限定しないが、たとえば、マイクロプログラム制御方式のコンピュータ及びその周辺装置からなる、いわゆるＣＰＵであってもよく、あるいは、そのプログラムの全て又は一部の機能をハードロジックで構成したものであっても構わない。

ストリーム制御部１３は、中央制御部７からの指示に従い、ＦＩＦＯメモリ９を経由した動画ストリームを出力するか否かを制御する。

記録メディア制御部１４は、静止画処理部６から送られてくる静止画データ、ＦＩＦＯメモリ９から直接送られてくる動画ストリーム、ストリーム制御部１３からの動画ストリーム、そして、中央制御部７から送られてくる各種情報（静止画ファイル名、通常動画ファイル名、ダイジェスト版動画ファイル名、関連付けデータテーブル２０、ダイジェスト版動画インデックステーブル）を、固定式又は着脱式の大容量の記録メディア１５に書き込む制御を行う。

＜記録処理＞
次に、本実施形態の撮影装置１の作用のうち「記録処理」について説明する。

図３及び図４は、中央制御部７の動作フローを示す図である。なお、この動作フローは、ユーザが動画撮影を開始した場合の処理を示している。ユーザが動画撮影を開始した場合には、まず、動画処理部８の動作を開始させ、記録メディア制御部１４に通常動画ファイル名を通知する（ステップＳ１）。記録メディア制御部１４では、ＦＩＦＯメモリ９から直接送られてくる動画ストリーム、つまり、通常動画に任意のファイル名（以下、通常動画ファイル名という。）をつけて記録メディア１５に保存する。そして、中央制御部７は、通常動画撮影時間管理タイマをリセットしてスタートさせる（ステップＳ２）。

ここで、通常動画撮影時間管理タイマは、中央制御部７が内蔵している一般的なカウンタであり、通常動画の撮影開始からの経過時間を管理するためのタイマである。また、中央制御部７は、新規に、後述の関連付けデータテーブル２０をワークメモリ（図示せず）に生成し、これに通常動画ファイル名を書き込む（ステップＳ３）。

図５は、関連付けデータテーブル２０の概念構造図であり、この関連付けテーブル２０は、通常動画ファイルと、ダイジェスト版動画ファイルと、静止画ファイルとの対応関係を示すためのテーブル構造を有している。すなわち、関連付けテーブル２０は、通常動画ファイル名フィールド２０ａと、ダイジェスト版動画ファイル名フィールド２０ｂと、静止画ファイル名フィールド２０ｃと、それらのファイルの相互関係を定義するための通常動画経過時間フィールド２０ｄ及びダイジェスト版動画インデックス情報フィールド２０ｅとを有する。

再び、動作フローに戻り、続いて、中央制御部７は、ユーザによる動画撮影の終了操作が行われたか否かを判断する（ステップＳ４）。終了操作が行われていなければ、次いで、静止画撮影のためのシャッタキーが押下されているかを判断する（ステップＳ５）。シャッタキーが押されていたら、中央制御部７は静止画処理部６に１枚分の静止画生成を命令し、記録メディア制御部１４に任意のファイル名（以下、静止画ファイル名という。）を通知する（ステップＳ６）。記録メディア制御部１４では、静止画処理部６から送られてくる静止画データに、この静止画ファイル名をつけて記録メディア１５に保存する。

さらに、中央制御部７は関連付けデータテーブル２０に、静止画ファイル名と静止画撮影時刻情報とを書き込む（ステップＳ７）。静止画撮影時刻情報は、通常動画撮影時間管理タイマを参照して、通常動画撮影の開始からの経過時間を取得することで求めることができる。

次に、中央制御部７は、ダイジェスト版動画生成許可キーの状態を調べる（ステップＳ９）。ダイジェスト版動画生成許可キー入力とは“許可”と“禁止”の２つの状態を取り得る二値信号である。ダイジェスト版動画生成許可キーが“許可”であれば、中央制御部７は、ストリーム制御部１３にストリーム出力開始を命令する（ステップＳ１０）。この命令をストリーム制御部１３が受信すると、ダイジェスト版動画生成を開始するようになっている。

処理部への命令を送信した後は、中央制御部７は、通常動画の撮影を開始後、初めてダイジェスト版動画を生成するのかを判断する（ステップＳ１１）。

そして、初めてならば、ダイジェスト動画撮影時間管理タイマをリセット（ステップＳ１２）すると共に、関連付けデータテーブル２０に任意のファイル名（以下、ダイジェスト版動画ファイル名という。）を書き込み（ステップＳ１３）、次いで、ダイジェスト動画撮影時間管理タイマをスタートさせる（ステップＳ１４）が、初めてでなければ、ステップＳ１２とステップＳ１３をパスして、ダイジェスト動画撮影時間管理タイマをスタートさせる（ステップＳ１４）。

ダイジェスト動画撮影時間管理タイマは、前記の通常動画撮影時間管理タイマと同様に、中央制御部７が内蔵している一般的なカウンタであり、ダイジェスト版動画の撮影合計時間を管理するためのタイマである。

このように、中央制御部７は、ダイジェスト版動画生成が初めてか否かに関わらず、ダイジェスト動画撮影時間管理タイマをスタートさせる（ステップＳ１４）が、ダイジェスト版動画生成が初めてではなかったときには、ステップＳ１２（ダイジェスト動画撮影時間管理タイマのリセット）をパスして、ダイジェスト動画撮影時間管理タイマをスタートさせる（ステップＳ１４）ので、ダイジェスト動画撮影時間管理タイマは、その以前にカウントしていた時間から継続してカウントするようになる。

次に、中央制御部７は、関連付けデータテーブル２０にダイジェスト版動画開始時刻情報とインデックス情報とを書き込み（ステップＳ１５）、さらに、後述のダイジェスト版動画インデックス管理テーブル２１に、ダイジェスト版動画開始時刻情報を書き込む（ステップＳ１６）。ダイジェスト版動画開始時刻情報とは、ダイジェスト版動画の撮影が開始された時刻を記録するための情報であり、通常動画撮影時間管理タイマを参照して得られるもの（通常動画撮影の開始からの経過時間）である。

図６は、ダイジェスト版動画インデックス管理テーブル２１の概念構造図である。このダイジェスト版動画インデックス管理テーブル２１は、ダイジェスト版動画のシーンの区切り位置を管理する為のチャプター情報（インデックス情報）を集めたテーブルであり、インデックスフィールド２１ａと、時刻フィールド２１ｂとを有する。図示の例では、インデックスフィールド２１ａに便宜上のインデックス情報（インデックスＸ、Ｙ、Ｚ）が格納されており、時刻フィールド２１ｂに、それらのインデックス情報に対応した時刻情報（インデックスＸ→０：００：００、インデックスＹ→０：００：１０、インデックスＺ→０：００：２０）が格納されている。

再び、動作フローに戻り、次に、中央制御部７は、ダイジェスト動画生成時間管理タイマをリセットしてスタート（ステップＳ１７）させた後、再びステップＳ４に戻り、動画撮影が終了されたかを判断する。

ダイジェスト動画生成時間管理タイマは、中央制御部７が内蔵している一般的なカウンタであり、ダイジェスト版動画撮影開始からの撮影継続時間をカウントする。本実施形態のＦＩＦＯメモリ９は動画ストリームを５秒分保管できるので、このストリーム制御部１３の動作開始時点では、その開始時刻の５秒前（５秒分だけ過去）の動画ストリームから生成が開始されることになる。

一方、ステップＳ９の判定結果がＮＯの場合、すなわち、ダイジェスト版動画生成許可キー入力が“禁止”の状態の場合には、何も処理せずに、再びステップＳ４に戻り、動画撮影が終了されたかを判断する。

さて、ステップＳ５のシャッタキー押下の判定においてシャッタキーが押されていなかった場合には、トリガ生成部１０からの検出通知があるか否かを判定し（ステップＳ８）、検出通知がある場合には、上述と同じ処理をダイジェスト版動画生成許可キーの状態を調べるところ（ステップＳ９）から行い、トリガ生成部１０からの検出通知がなかった場合には、ダイジェスト動画生成時間管理タイマがスタートしてから第２の所定時間が経過したか否かを判定する（ステップＳ１８）。ここで、第２の所定時間とは、ＦＩＦＯメモリ９の蓄積時間（第１の所定時間）を充分に上回る時間であって、たとえば、第１の所定時間の２倍の１０秒である。

そして、第２の所定時間が経過していなければ、再びステップＳ４に戻って動画撮影が終了されたかを判断し、一方、第２の所定時間が経過していれば、ダイジェスト動画生成時間管理タイマを停止（ステップＳ１９）させると共に、ストリーム制御部１３に一時停止を命令し（ステップＳ２０）、また、ダイジェスト動画撮影時間管理タイマを一時停止（ステップＳ２１）させた後、再びステップＳ４に戻って動画撮影が終了されたかを判断する。

このように、ステップＳ１０のストリーム制御部１３の動作開始時点では、シャッタ押下の第１の所定時間（５秒）前の動画ストリームがストリーム制御部１３より出力が開始されることになるので、ストリーム制御部１３の動作開始から第２の所定時間（１０秒）が経過すると、ＦＩＦＯメモリ９の蓄積時間（第１の所定時間）に相当する長さの、シャッタ押下前後５秒ずつの動画ストリームが生成されたことになる。

ダイジェスト動画生成時間管理タイマがスタートしてから第２の所定時間が経過していなかった場合（ステップＳ１８のＮＯ）には何も処理を行なわず、再びステップＳ４に戻って動画撮影が終了されたかを判断し、動画撮影が終了されていなかった場合には上記と同様の処理（ステップＳ５〜ステップＳ２１）を繰り返す。

一方、動画撮影が終了された場合（ステップＳ４のＹＥＳ）には、通常動画処理部８とダイジェスト動画処理部８及びストリーム制御部１３を停止させる（ステップＳ２２、ステップＳ２３）と共に、ダイジェスト動画生成時間管理タイマやダイジェスト動画撮影時間管理タイマ及び通常動画撮影時間管理タイマを停止させる（ステップＳ２４〜ステップＳ２６）。そして、関連付けデータテーブル２０とダイジェスト版動画インデックス管理テーブル２１を記録メディア制御部１４に出力し（ステップＳ２７、ステップＳ２８）、記録メディア制御部１４ではこれらのテーブルを記録メディア１５に格納して処理が終了となる。

図７は、ストリーム制御部１３の動作フローを示す図である。この図において、ストリーム制御部１３は、まず、ストリーム出力開始命令の有無を判定する（ステップＳ３１）。そして、ストリーム出力開始命令ありであれば、ＦＩＦＯメモリ９から送られてくる動画ストリームのＧＯＰの先頭を検索し（ステップＳ３２）、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ：圧縮コーデックにおける最小の処理単位のこと。）の先頭部分から順に、記録メディア制御部１４に対してストリームを転送する（ステップＳ３３）という動作を繰り返す。

一方、ストリーム出力開始命令ありでなければ、次に、ストリーム出力一時停止命令の有無を判定し（ステップＳ３４）、ストリーム出力一時停止命令なしであれば、再びステップＳ３１に戻り、ストリーム出力一時停止命令ありであれば、ＦＩＦＯメモリ９から送られてくる動画ストリームのＧＯＰの先頭を検索し（ステップＳ３５）、ＧＯＰの先頭の直前（直前のＧＯＰの最終）まで、記録メディア制御部１４に対してストリームを転送してから転送を一時停止する（ステップＳ３３）という動作を繰り返す。

以上のような動作フロー（図３及び図４並びに図７）を実行することにより、通常動画ストリームの生成と平行して、ダイジェスト版動画のストリームを別途作成することができ、さらに、通常動画ストリームとダイジェスト版動画ストリーム及び静止画とを関連付けた情報（関連付けデータテーブル２０とダイジェスト版動画インデックス管理テーブル２１）を記録することができる。

＜再生処理＞
次に、前記のようにして記録された通常動画ストリーム、ダイジェスト版動画ストリーム及び静止画データの再生処理について説明する。

まず、この再生処理で使用する関連付けデータテーブル２０の格納情報の一例を示す。
図８は、再生処理で使用する関連付けデータテーブル２０の格納情報の一例を示す図であり、通常動画ファイル名フィールド２０ａには通常動画ファイル名として“通常動画ファイルＡ”が格納され、ダイジェスト版動画ファイル名フィールド２０ｂにはダイジェスト版動画ファイル名として“ダイジェスト版動画ファイルＡ”が格納され、さらに、静止画ファイル名フィールド２０ｃには静止画ファイル名として“静止画ファイルＡ”、“静止画ファイルＢ”及び“静止画ファイルＣ”が格納されると共に、それらのファイルの相互関係を定義するための情報として、通常動画経過時間フィールド２０ｄに“０：０１：００”、“０：０５：００”、“０：０９：００”、“０：１０：００”の通常動画経過時間情報と、ダイジェスト版動画インデックス情報フィールド２０ｅに“インデックスＸ”、“インデックスＹ”、“インデックスＺ”のダイジェスト動画インデックス情報とが格納されている。

図９は、中央制御部７における再生時の動作フローを示す図である。この動作フローを開始すると、まず、表示部５に各画像ファイルの代表画像（一般的にサムネイル画像）を表示する（ステップＳ４１）。ここで、各画像データとは、通常画像、ダイジェスト版動画及び静止画のうち、関連付けデータテーブル２０によって互いに関連付けられている（対応付けされている）もののことをいう。

次に、ユーザによる画像ファイルの選択操作を判定し（ステップＳ４２）、選択された場合には、その選択画像と、その選択画像に関連付けられた全ての画像の選択肢を表示する（ステップＳ４３）。たとえば、選択画像が「静止画」であって、その静止画に「通常動画」と「ダイジェスト版動画」が関連付けられている場合には、それらの画像（静止画、通常動画、ダイジェスト版動画）のいずれかを選択して再生表示するための選択肢オブジェクト（たとえば、アイコン、メニュー又はそれらに類似するもの）を表示する。

そして、最初に再生する画像データの選択入力を検知し（ステップＳ４４）、その検知された画像データの種類に応じた再生処理、つまり、通常動画データ再生処理（ステップＳ４５）、ダイジェスト版動画データ再生処理（ステップＳ４６）、静止画データ再生処理（ステップＳ４７）のいずれかを実行する。

ここで、ステップＳ４３における“選択肢”の表示について、実例を挙げて説明する。
図１０は、選択肢の表示画面を示す図である。この図において、表示部５の表示画面５ａには、複数（ここでは、五つ）の矩形状の表示エリア２２〜２６が設けられている。この表示エリア２２〜２６は、関連付けデータテーブル２０によって互いに関連付けられた各画像の代表画像を表示するためのオブジェクトであり、図示の例では、左上の表示エリア２２に通常動画ファイルＡの代表画像２２ａが表示され、右上の表示エリア２３にダイジェスト版動画ファイルＡの代表画像２３ａが表示され、左下の表示エリア２４に静止画ファイルＡの代表画像２４ａが表示され、下中央の表示エリア２５に静止画ファイルＢの代表画像２５ａが表示され、右下の表示エリア２６に静止画ファイルＣの代表画像２６ａが表示されている。

さらに、各表示エリア２２〜２６には、各々の代表画像に関連付けられた他の画像の存在を示すアイコンが表示されている。たとえば、表示エリア２２の左上隅にはダイジェストアイコン２２ｂと静止画アイコン２２ｃが表示されており、表示エリア２３の左上隅には通常動画アイコン２３ｂと静止画アイコン２３ｃが表示されており、表示エリア２４の左上隅にはダイジェストアイコン２４ｂと通常動画アイコン２４ｃが表示されており、表示エリア２５の左上隅にはダイジェストアイコン２５ｂと通常動画アイコン２５ｃが表示されており、表示エリア２６の左上隅にはダイジェストアイコン２５ｂが表示されている。

したがって、これらのアイコンを一瞥するだけで、通常動画ファイルＡにはダイジェスト版動画と静止画が関連付けられていることを知ることができ、また、ダイジェスト版ファイルＡには通常動画と静止画が関連付けられていることを知ることができ、また、静止画ファイルＡにはダイジェスト版動画と通常動画が関連付けられていることを知ることができ、また、静止画ファイルＢにはダイジェスト版動画と通常動画が関連付けられていることを知ることができ、また、静止画ファイルＣにはダイジェスト版動画が関連付けられていることを知ることができる。

加えて、各表示エリア２２〜２６のいずれかを選択することにより、関連付けられた画像の択一的再生を行うための、以下に示す「選択肢」オブジェクトを表示できるようになっている。

図１１は、選択肢オブジェクト（その１）を示す図である。この図において、たとえば、左上の表示エリア２２を選択（太枠とハッチングで示す）しているものとすると、この場合、この表示エリア２２の通常動画ファイルＡと、その通常動画ファイルＡに関連付けられたダイジェスト版動画ファイル又は静止画ファイルとのいずれかを選択するための選択肢オブジェクトメニュー２７を表示する。選択肢オブジェクトメニュー２７は、「この通常動画を再生する」、「関連するダイジェスト動画を再生する」、「関連する静止画をスライドショーする」という三つの選択肢を有し、いずれかの選択肢を選ぶことにより、この表示エリア２２の通常動画ファイルＡ、その通常動画ファイルＡに関連付けられたダイジェスト版動画ファイル又は静止画ファイルのいずれかを再生することができるようになっている。

図１２は、選択肢オブジェクト（その２）を示す図である。この図において、たとえば、右上の表示エリア２３を選択（太枠とハッチングで示す）しているものとすると、この場合、この表示エリア２３のダイジェスト版動画ファイルＡと、そのダイジェスト版動画ファイルＡに関連付けられた通常動画ファイル又は静止画ファイルとのいずれかを選択するための選択肢オブジェクトメニュー２８を表示する。選択肢オブジェクトメニュー２８は、「このダイジェスト動画を再生する」、「関連する通常動画を再生する」、「関連する静止画をスライドショーする」という三つの選択肢を有し、いずれかの選択肢を選ぶことにより、この表示エリア２３のダイジェスト版動画ファイルＡ、そのダイジェスト版動画ファイルＡに関連付けられた通常動画ファイル又は静止画ファイルのいずれかを再生することができるようになっている。

図１３は、選択肢オブジェクト（その３）を示す図である。この図において、たとえば、左下の表示エリア２４を選択（太枠とハッチングで示す）しているものとすると、この場合、この表示エリア２４の静止画ファイルＡと、その静止画ファイルＡに関連付けられたダイジェスト版動画ファイル又は通常動画ファイルとのいずれかを選択するための選択肢オブジェクトメニュー２９を表示する。選択肢オブジェクトメニュー２９は、「この静止画ファイルからスライドショーする」、「関連する通常動画を再生する」、「関連するダイジェスト動画を再生する」という三つの選択肢を有し、いずれかの選択肢を選ぶことにより、この表示エリア２４の静止画ファイルＡ、その静止画ファイルＡに関連付けられたダイジェスト版動画ファイル又は通常動画ファイルのいずれかを再生することができるようになっている。

図１４は、選択肢オブジェクト（その４）を示す図である。この図において、たとえば、右下の表示エリア２６を選択（太枠とハッチングで示す）しているものとすると、この場合、この表示エリア２６の静止画ファイルＣと、その静止画ファイルＣに関連付けられたダイジェスト版動画ファイルとのいずれかを選択するための選択肢オブジェクトメニュー３０を表示する。選択肢オブジェクトメニュー３０は、「この静止画ファイルからスライドショーする」、「関連する通常動画を再生する」、「関連するダイジェスト動画を再生する」という三つの選択肢を有している。ただし、関連付けのない選択肢（ここでは、「関連する通常動画を再生する」）は選択不可の状態（薄色表示状態）になっている。「関連する通常動画を再生する」以外のいずれかの選択肢を選ぶことにより、この表示エリア２６の静止画ファイルＣ、その静止画ファイルＣに関連付けられたダイジェスト版動画ファイルのいずれかを再生することができるようになっている。

以上のとおり、中央制御部７は、再生処理を開始すると、まず、記録メディア１５に格納されている動画ストリームと静止画データを検索し、関連付けデータテーブル２０を参照する。中央制御部７は、これらの情報を元に、図１０のような表示を表示部５に行う。図１０は、記録メディア１５に格納されているファイルの一覧とそれぞれのファイルに関連付けられているファイルがあるか否かを示したものであり、図８の関連付けデータテーブル２０の格納情報の内容を反映したものである。つまり、図８の関連付けデータテーブル２０で、通常動画ファイルＡとダイジェスト版動画ファイルＡと静止画ファイルＡ、Ｂ、Ｃが関連付けされているので、図１０のような表示になる。

また、図８によると、静止画ファイルＡ、Ｂは、通常動画ファイルＡとダイジェスト版動画ファイルＡの両方に関連付けられている（インデックスＸとＺ参照）が、静止画ファイルＣは、関連付けられたダイジェスト版動画ファイルがない（インデックスがない）ので、図１０でもそのような表示になっている。このような状態は、図３、図４の説明における、ダイジェスト版動画生成許可キーが“禁止”の状態であった場合に起こり得る。

中央制御部７は、図１０の表示を行うと、ユーザからの再生指示待ちとなる。ユーザが再生したいファイルをカーソルキー（図示せず）により選択して決定キー（図示せず）を押すと、たとえば、図１１のような表示になる。図１１は、通常動画ファイルＡを選択した場合の例であり、この通常動画ファイルＡを再生するか、関連するダイジェスト版動画ファイルＡを再生するか、又は、関連する静止画ファイルＡ、Ｂ、Ｃをスライドショー再生するかをユーザに選択させる表示になる。

ユーザは、カーソルキーと決定キーにより、所望の再生動作を選択する。ユーザが動作を選択すると、中央制御部７は、通常動画再生を選択されていれば通常動画再生ステートの処理（図９のステップＳ４５）を行い、ダイジェスト版動画再生が選択されていればダイジェスト版動画再生ステートの処理（図９のステップＳ４６）を行い、静止画ファイル再生が選択されていれば静止画再生ステート処理（図９のステップＳ４７：本実施形態では静止画スライドショー再生）を行う。

同様に、図１０の画面でダイジェスト版動画ファイルＡが選択された場合には、図１２のような表示になる。あるいは、図１０で静止画ファイルＡ、Ｂが選択されると、図１３のような表示になる。また、静止画ファイルＣが選択されると、関連するダイジェスト版動画ファイルがないので、図１４のような表示になる。

図１２は、選択したダイジェスト版動画ファイルを再生するか、関連する通常動画ファイルを再生するか、関連する静止画ファイルのスライドショー再生をするかを選択させる画面を示し、図１３、図１４は選択した静止画ファイルからスライドショー再生をスタートさせるか、関連する通常動画ファイルを再生するか、関連するダイジェスト版動画ファイルを再生するかを選択させる画面を示している。

以上のように、画像の種類（通常動画、ダイジェスト版動画、静止画）ごとの再生が開始されるのであるが、たとえば、通常動画の再生中に、関連する静止画の再生に切り替えたり、あるいは、ダイジェスト版動画の再生に切り替えたりするための仕組みが必要である。つまり、通常動画、静止画、ダイジェスト版動画の間の柔軟な再生切換の仕組みが必要である。

図１５は、再生先の切り替えの仕組みを示す状態遷移図である。この図において、三つの丸図形はそれぞれ、通常動画再生状態Ｓ１００、静止画再生状態Ｓ１０１、ダイジェスト動画再生状態Ｓ１０２を示し、それらの状態間を結ぶ矢印線（Ｒ１〜Ｒ６）は、状態遷移条件線を示す。ここで、Ｒ１は「関連付けデータテーブル２０の時刻付近で、且つ、ユーザからの通常動画再生から静止画再生への切り替え要求あり」という状態遷移条件線であり、Ｒ２は「ユーザからの静止画再生から通常動画再生への切り替え要求あり」という状態遷移条件線である。また、Ｒ３は「ユーザからの静止画再生からダイジェスト動画再生への切り替え要求あり、且つ、遷移先での動作条件が直近のダイジェスト動画を再生」という状態遷移条件線であり、Ｒ４は「関連付けデータテーブル２０の時刻付近で、且つ、ユーザからのダイジェスト動画再生から静止画再生への切り替え要求あり」という状態遷移条件線である。また、Ｒ５は「ユーザからのダイジェスト動画再生から通常動画再生への切り替え要求あり」という状態遷移条件線であり、Ｒ６は「ユーザからの通常動画再生からダイジェスト動画再生への切り替え要求あり、且つ、遷移先での動作条件が直近のダイジェスト動画を再生」という状態遷移条件線である。

図１６は、三つの再生状態（通常動画再生状態Ｓ１００、静止画再生状態Ｓ１０１及びダイジェスト動画再生状態Ｓ１０２）における表示画面例を示す図である。この図において、（ａ）〜（ｃ）は通常動画再生状態Ｓ１００における表示画面例であり、（ｄ）、（ｅ）は静止画再生状態Ｓ１０１における表示画面例であり、（ｆ）、（ｇ）はダイジェスト動画再生状態Ｓ１０２における表示画面例である。

まず、通常動画再生中には、図１６（ａ）のように、画面５ａの全体より少し小さめの表示エリア３１に通常動画再生表示を行い、再生中のシーンの通常動画ファイル先頭からの経過時間を監視するようにしておく。そして、その経過時間と、関連付けデータテーブル２０の情報を参照しながら、関連付けデータテーブル２０に記録されている時刻になったら、図１６（ｂ）のような表示に移行する。図１６（ｂ）は、たとえば、図８の“０：０１：００”のところに該当する場合の表示例であり、選択可能なダイジェスト動画アイコン３２と静止画アイコン３３とを表示し、ダイジェスト動画と静止画ファイルへの切り替えが可能であることをユーザに示すものである。ユーザは、図１６（ｂ）の表示がされているタイミングでカーソルキーと決定キーにより所望の再生を選択（ダイジェスト動画アイコン３２と静止画アイコン３３のいずれかを選択）すると、再生が切り替わるようになる。また、図８の“０：０５：００”のところでは、関連付けられた静止画ファイルがないので、図１６（ｃ）のような表示になり、この表示例では、静止画アイコン３３が選択不可状態（薄色表示）になっている。

図１７は、静止画データ再生（図９のステップＳ４７）の詳細動作フローを示す図である。この動作フローに示すように、静止画データ再生においては、まず、直前に通常動画データを再生していたか否かを判定し（ステップＳ５１）、再生していれば、直前の「静止画」の選択入力がなされた再生時刻を検知する（ステップＳ５２）。次いで、検知した再生時刻の未来側の直近にある静止画データからスライドショーを表示し（ステップＳ５３）、「通常動画」の選択肢を表示する（ステップＳ５７）。

一方、ステップＳ５１で、直前に通常動画データを再生していたことが判定されなかった場合は、次に、直前にダイジェスト動画データを再生していたか否かを判定する（ステップＳ５４）。そして、再生していれば、直前に再生したダイジェスト動画データに関連付けられた静止画データからスライドショーを表示し（ステップＳ５５）、再生していなければ、最初のインデックスが付された静止画データからスライドショーを表示し（ステップＳ５６）、いずれの場合も「通常動画」の選択肢を表示する（ステップＳ５７）。

次に、現在再生している静止画データに関連付けられたダイジェスト動画の“あり”を判定し（ステップＳ５８）、ありの場合のみ「ダイジェスト」の選択肢を表示する（ステップＳ５９）。次いで、「通常動画」の選択入力を検知し（ステップＳ６０）、「通常動画」の選択入力を検知した場合は、通常動画データ再生（図９のステップＳ４５）を実行し、そうでない場合は、「ダイジェスト動画」の選択入力を検知し（ステップＳ６１）、「ダイジェスト動画」の選択入力を検知した場合は、ダイジェスト動画データ再生（図９のステップＳ４６）を実行し、そうでない場合は、再び、ステップＳ５７に復帰する。

図１８は、ダイジェスト動画データ再生（図９のステップＳ４６）の詳細動作フローを示す図である。この動作フローに示すように、ダイジェスト動画データ再生においては、まず、直前に通常動画データを再生していたか否かを判定し（ステップＳ７１）、再生していれば、直前の「ダイジェスト動画」の選択入力がなされた再生時刻を検知する（ステップＳ７２）。次いで、検知した再生時刻の未来側の直近にあるダイジェスト動画を再生表示し（ステップＳ７３）、「通常動画」の選択肢を表示する（ステップＳ７７）。

一方、ステップＳ７１で、直前に通常動画データを再生していたことが判定されなかった場合は、次に、直前に静止画データを再生していたか否かを判定する（ステップＳ７４）。そして、再生していれば、直前に再生した静止画データに関連付けられたダイジェスト動画データを再生表示し（ステップＳ７５）、再生していなければ、最初のインデックスが付されたダイジェスト動画を再生表示し（ステップＳ７６）、いずれの場合も「通常動画」の選択肢を表示する（ステップＳ７７）。

次に、現在再生しているダイジェスト動画データに関連付けられた静止画データの“あり”を判定し（ステップＳ７８）、ありの場合のみ「静止画」の選択肢を表示する（ステップＳ７９）。次いで、「通常動画」の選択入力を検知し（ステップＳ８０）、「通常動画」の選択入力を検知した場合は、通常動画データ再生（図９のステップＳ４５）を実行し、そうでない場合は、「静止画」の選択入力を検知し（ステップＳ８１）、「静止画」の選択入力を検知した場合は、静止画データ再生（図９のステップＳ４７）を実行し、そうでない場合は、再び、ステップＳ７７に復帰する。

図１９は、通常動画データ再生（図９のステップＳ４５）の詳細動作フローを示す図である。この動作フローに示すように、通常動画データ再生においては、まず、直前にダイジェスト動画又は静止画データを再生していたか否かを判定し（ステップＳ９１）、いずれかを再生していれば、直前に再生した画像データ（ダイジェスト動画又は静止画データ）のインデックスが示す再生時刻を検知する（ステップＳ９２）。次いで、検知した再生時刻から、通常動画を再生表示し（ステップＳ９３）、「ダイジェスト動画」の選択肢を表示する（ステップＳ９５）。

一方、ステップＳ９１で、直前にダイジェスト動画又は静止画データを再生していたことが判定されなかった場合は、次に、最初の再生時刻（０：００：００）から通常動画データを再生表示し（ステップＳ９４）、「ダイジェスト動画」の選択肢を表示する（ステップＳ９５）。

次に、現在の再生時刻が、直近のインデックスが示す再生時刻の１０秒以内であるか否かを判定し（ステップＳ９６）、以内の場合のみ「静止画」の選択肢を表示する（ステップＳ９７）。次いで、「ダイジェスト動画」の選択入力を検知し（ステップＳ９８）、「ダイジェスト動画」の選択入力を検知した場合は、ダイジェスト動画データ再生（図９のステップＳ４６）を実行し、そうでない場合は、「静止画」の選択入力を検知し（ステップＳ９９）、「静止画」の選択入力を検知した場合は、静止画データ再生（図９のステップＳ４７）を実行し、そうでない場合は、再び、ステップＳ９５に復帰する。

ところで、通常動画再生中には、関連付けデータテーブル２０に記録されている時刻か否かに関わらず、常にダイジェスト版動画再生の選択を可能にする表示、つまり、図１６（ｂ）のような表示を行うことが望ましい。同様に、図８の“０：１０：００”では、関連付けられたダイジェスト版動画のインデックス情報がないが、この場合でも、図１６（ｂ）のような表示を行うことが望ましい。なお、図１６（ｃ）は、再生中の通常動画にダイジェスト版動画だけが関連付けされている場合（つまり、静止画が関連付けされていない場合）の表示例である。

このように、関連付けられたダイジェスト版動画がないときに、ユーザがダイジェスト版動画を選択した場合には、ダイジェスト版動画のインデックス情報と、経過時間を参照して、経過時間より未来の時間で、かつ、最も近いインデックス情報のところからダイジェスト版動画の再生を行うようにすればよい。このようにすることで、通常動画再生中につまらないシーンが続き、鑑賞することに飽きてしまった場合に、ユーザは、すぐにダイジェスト版動画に切り替えられるので使い勝手の向上を図ることができる。

なお、上記の説明では、図１６（ｂ）、図１６（ｃ）の表示を行うタイミングを、経過時間が、関連付けデータテーブル２０に記録されている時刻になった時としているが、これに限らず、たとえば、関連付けデータテーブル２０に記録されている時刻の前後１０秒の間は継続して図１６（ｂ）、図１６（ｃ）の表示を行うようにしてもよい。このようにすれば、たとえば、図１６（ｂ）、図１６（ｃ）の表示時間が短すぎる場合に、ユーザの操作が間に合わないという不都合を回避できる。

ここまでが、図１５の通常動画再生状態Ｓ１００から、静止画再生状態Ｓ１０１、ダイジェスト版動画再生状態Ｓ１０２への遷移の説明である。同様に、静止画再生状態Ｓ１０１からの遷移について説明する。静止画再生状態Ｓ１０１から通常動画再生状態Ｓ１００への遷移は、ユーザからの再生切り替え要求があれば常に遷移可能である。一方、静止画再生状態Ｓ１０１からダイジェスト版動画再生状態Ｓ１０２への遷移も、図１５ではユーザからの要求があれば常に遷移できるようにしている。しかしながら、図８を見ると分かるように、静止画によっては、関連付けられたダイジェスト版動画のインデックス情報がない場合がある。たとえば、静止画ファイルＣが該当する。

このような場合、つまり、静止画再生状態Ｓ１０１で静止画のスライドショーを行なっていて、ちょうど静止画ファイルＣの再生を行なっていたときに、ダイジェスト版動画への切り替えをユーザにより要求された場合には、関連付けデータテーブル２０から静止画ファイルＣの時刻情報を取得し、その時刻情報より未来の時間で、かつ最も近いインデックス情報のところから、ダイジェスト版動画を再生するようにする。

図１６（ｄ）に静止画再生ステートでの表示の例を示す。なお、上記で静止画再生状態Ｓ１０１からダイジェスト版動画再生状態Ｓ１０２への遷移を常に可能にする例を説明したが、静止画ファイルに関連付けられたダイジェスト版動画のインデックス情報がない場合に、ダイジェスト版動画再生への遷移を不可能にするという方法も考えられる。この場合の表示例を図１６（ｅ）に示す。図１６（ｅ）は、関連付けられたダイジェスト版動画のインデックス情報がない静止画ファイルを再生中の表示例である。

スライドショーで再生中の静止画ファイルに、関連付けられたダイジェスト版動画のインデックス情報があるかないかによって、図１６（ｄ）と図１６（ｅ）の表示を切り替えるようにすればよい。

続いて、ダイジェスト版動画再生状態Ｓ１０２からの遷移について説明する。ダイジェスト版動画再生状態Ｓ１０２から通常動画再生状態Ｓ１０１への遷移は、ユーザからの切り替え要求があれば常に可能である。ダイジェスト版動画再生状態Ｓ１０２から静止画再生状態Ｓ１０１への切り替えは、図８の関連付けデータテーブル２０に関連付けられた静止画がある場合には、遷移が可能である。図８の例では、ダイジェスト版動画のインデックスＸを再生中ならば、静止画ファイルＡの再生への遷移ができる。しかし、インデックスＹを再生中の場合には、関連付けられた静止画ファイルがないので遷移はできない。また、インデックスＺを再生中は、静止画ファイルＢの再生へ遷移できる。

ところで、ダイジェスト版動画再生中に、静止画ファイルＣの再生への直接遷移することはできないため、静止画ファイルＣが埋もれてしまうという懸念が生まれるが、本実施形態では静止画再生はスライドショー再生であるので、静止画ファイルＣはスライドショーでのワンシーンとして表示されることになるので、問題はない。図１６（ｆ）、図１６（ｇ）にダイジェスト動画再生中の表示例を示す。なお、静止画ファイル再生をスライドショーで行なわない場合には、ダイジェスト版動画のインデックスＺを再生中には、関連付けデータテーブル２０を参照して、現在再生しているダイジェスト版動画のシーンに近い時刻の静止画ファイルを再生するようにすればよい。

以上のようにすることにより、本実施形態によれば、通常動画データの再生中に、再生対象をダイジェスト版動画データや静止画データに切り替えることができるので、視聴者は動画データを効率的に視聴しつつ、動画データに関連付けられた各画像データの全てを視聴できる。
また、本実施形態によれば、関連付けデータテーブル２０を使って、通常動画再生、ダイジェスト版動画再生、静止画再生を自由に切り替えることができ、ユーザに新たな鑑賞スタイルを提供することができる。

また、複数の異なる種類の画像データの関連情報を選択肢オブジェク（選択肢オブジェクトメニュー２７、２８、２９、３０）によって表示し、ユーザに選択させるようにしているので、それらのメニューを一目見るだけで、関連付けされている画像データの有無を直感的に知ることができ、操作性の改善を図ることができる。

なお、以上の説明では、各画像の関連付け情報を関連付けデータテーブル２０に格納し、そのテーブル２０を記録メディア１５に保存していたが、これに限らず、関連付け情報を通常動画ストリーム、ダイジェスト版動画ストリーム及び静止画データのそれぞれのヘッダに記録するようにしてもよい。

また、以上の説明では、関連付けデータテーブル２０は、通常動画ファイルＡとダイジェスト版動画ファイルＡと静止画ファイルとを関連付ける情報のみを保持しているが、これは説明のための便宜に過ぎず、通常動画ファイルやダイジェスト版動画ファイルが複数存在する場合には、それに合わせて関連付けデータテーブル２０のテーブル数が増えることはもちろんである。またこのとき、図１０で表示されるファイル数も増えることになる。

さらに、以上の説明では、ダイジェスト版動画を独立したファイルとしているが、これに限定されず、たとえば、元になる通常動画のファイル名や、その通常動画からの切り出し情報（フレーム番号等）などからなるリンク情報で構成してもよい。このようにすれば、リンク情報は単なる文字情報であり、実体を伴うダイジェスト版動画に比べてはるかに情報量が少ないので、記録メディア１５の容量圧迫を招かないから好ましい。

実施形態で使用する三種類の画像の構成を示す図である。 本実施形態に係る撮影装置のブロック図である。 中央制御部７の動作フローを示す図（１／２）である。 中央制御部７の動作フローを示す図（２／２）である。 関連付けデータテーブル２０の概念構造図である。 ダイジェスト版動画インデックス管理テーブル２１の概念構造図である。 ストリーム制御部１３の動作フローを示す図である。 再生処理で使用する関連付けデータテーブル２０の格納情報の一例を示す図である。 中央制御部７における再生時の動作フローを示す図である。 選択肢の表示画面を示す図である。 選択肢オブジェクト（その１）を示す図である。 選択肢オブジェクト（その２）を示す図である。 選択肢オブジェクト（その３）を示す図である。 選択肢オブジェクト（その４）を示す図である。 再生先の切り替えの仕組みを示す状態遷移図である。 三つの再生状態（通常動画再生状態Ｓ１００、静止画再生状態Ｓ１０１及びダイジェスト動画再生状態Ｓ１０２）における表示画面例を示す図である。 静止画データ再生（図９のステップＳ４７）の詳細動作フローを示す図である。 ダイジェスト動画データ再生（図９のステップＳ４６）の詳細動作フローを示す図である。 通常動画データ再生（図９のステップＳ４５）の詳細動作フローを示す図である。

符号の説明

１ 撮影装置（画像再生装置）
５ 表示部（表示手段）
７ 中央制御部（選択手段、表示制御手段）
１５ 記録メディア（記録手段）

Claims (6)

1. 互いに関連付けられた、第１の再生時間でなる第１の動画データ、前記第１の再生時間よりも短い第２の再生時間でなる第２の動画データ、静止画データの各画像データを記録した記録手段と、
   前記画像データを表示する表示手段と、を備える画像再生装置において、
   前記第１の動画データ、前記第２の動画データ、前記静止画データのうちいずれかの画像データが前記表示手段に表示されているときに、現在表示されている画像データに関連付けられている他の画像データを選択する選択手段と、
   前記選択手段によって選択された他の画像データを、前記表示手段に表示させる表示制御手段と、
   を備えることを特徴とする画像再生装置。
2. 前記第２の動画データは、
   前記第１の動画データにおける前記第２の再生時間分の動画データであり、
   前記静止画データは、
   前記第１の動画データを構成する静止画データである、
   ことを特徴とする請求項１記載の画像再生装置。
3. 前記記録手段には、前記第１の動画データにおける所定の再生時刻を示す時刻指標が記録されており、
   前記第２の動画データは、
   前記第１の動画データにおける、前記時刻指標により示される所定の再生時刻前後における前記第２の再生時間分の動画データであり、
   前記静止画データは、
   前記第１の動画データを構成する、前記時刻指標により示される所定の再生時刻における静止画データである、
   ことを特徴とする請求項２記載の画像再生装置。
4. 前記記録手段には、前記第１の動画データにおける、互いに異なる再生時刻をそれぞれ示す複数の時刻指標が記録されており、
   前記第２の動画データは、
   前記第１の動画データにおける、前記複数の時刻指標によりそれぞれ示される各再生時刻前後の前記第２の再生時間分における複数の動画データであり、
   前記静止画データは、
   前記第１の動画データを構成する、前記時刻指標によりそれぞれ示される各再生時刻における複数の静止画データである、
   ことを特徴とする請求項３記載の画像再生装置。
5. 前記選択手段は、
   前記表示手段に前記第１の動画データが表示されているときには、前記第１の動画データに関連付けられた前記第２の動画データ又は前記静止画データを選択し、
   前記表示手段に前記第２の動画データが表示されているときには、前記第２の動画データに関連付けられた前記第１の動画データ又は前記静止画データを選択し、
   前記表示手段に前記静止画データが表示されているときには、前記第１の動画データに関連付けられた前記第１の動画データ又は前記第１の動画データを選択する、
   ことを特徴とする請求項１から４いずれか１項に記載の画像再生装置。
6. 互いに関連付けられた、第１の再生時間でなる第１の動画データ、前記第１の再生時間よりも短い第２の再生時間でなる第２の動画データ、静止画データ画像データの各画像データを記録した記録手段と、
   前記画像データを表示する表示手段とを備えるコンピュータを、
   前記第１の動画データ、前記第２の動画データ、前記静止画データのうちいずれかの画像データが前記表示手段に表示されているときに、現在表示されている画像データに関連付けられている他の画像データを選択する選択手段、
   前記選択手段によって選択された他の画像データを、前記表示手段に表示させる表示制御手段
   として機能させることを特徴とするプログラム。

Images