JP2007243907A - 記録装置、記録方法、記録方法のプログラム、記録方法のプログラムを記録した記録媒体、再生装置、再生方法、再生方法のプログラム及び再生方法のプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】本発明は、例えばビデオカメラに適用して、代表画像を用いて頭出しできるようにビデオデータを記録して、記録媒体から代表画像を再生する際のランダムアクセス性を向上し、さらにはビデオデータと代表画像との不整合を簡易かつ確実に検出することができるようにする。
【解決手段】本発明は、代表画像を代表画像格納部に格納すると共に、格納した情報が代表画像の制御情報であることを示す情報、動画ファイルの更新日時を示す情報、１つの代表画像を最小再生単位とした制御情報を階層的に制御情報格納部に格納する。
【選択図】 図１

Description

本発明は、記録装置、記録方法、記録方法のプログラム、記録方法のプログラムを記録した記録媒体、再生装置、再生方法、再生方法のプログラム及び再生方法のプログラムを記録した記録媒体に関し、例えばビデオカメラに適用することができる。本発明は、代表画像を代表画像格納部に格納すると共に、格納した情報が代表画像の制御情報であることを示す情報、動画ファイルの更新日時を示す情報、１つの代表画像を最小再生単位とした制御情報を順次階層的に制御情報格納部に格納することにより、代表画像を再生する際のランダムアクセス性を向上し、さらには動画ファイルと代表画像との不整合を簡易かつ確実に検出することができる。

近年、ハードディスクレコーダ等の記録再生装置は、記録容量が飛躍的に大容量化しており、これによりユーザーは、記録媒体を頻繁に交換することなく、従来に比して長時間の動画ファイルを多数記録することができる。

このような記録再生装置で記録した動画ファイルを視聴する場合、ユーザーによっては、動画ファイルの一部分だけを確認したい場合がある。また途中の盛り上がった個所から動画ファイルを視聴したい場合がある。このような場合に、ファイル先頭から順番に動画ファイルを再生していたのでは、操作が面倒になり、所望するシーンを簡易かつ迅速に視聴することが困難になる。

このため特開２００４−２６０４５２号公報には、動画ファイルを記録する際に一定の時間間隔でチャプターを設定して代表画像を記録し、ユーザーが代表画像を選択すると、この選択した代表画像に対応するチャプターを用いて頭出しする方法が提案されている。なおここで代表画像は、動画を構成するフレーム画像の所定グループを代表する画像であり、例えばサムネイル画像が適用される。

しかしながら動画ファイルの記録時間が長くなると、その分、設定されるチャプター数、作成される代表画像の枚数も多くなり、１つの動画ファイルから作成された複数の代表画像を１画面で一覧表示できなくなる。従ってこの場合、ユーザーの操作に応動して一覧表示する代表画像を切り換えることが必要になる。すなわち例えばファイル先頭側に設定された代表画像の一覧表示をユーザーが指示した場合、現在表示中の代表画像からファイル先頭側の代表画像を検出して一覧表示を切り換えることが必要になる。またこれとは逆に、ファイル末尾側に設定された代表画像の一覧表示をユーザーが指示した場合、現在表示中の代表画像からファイル末尾側の代表画像を検出して一覧表示を切り換えることが必要になる。

これによりこの種の記録再生装置は、ユーザーが指示した箇所の代表画像を記録媒体から簡易かつ迅速に再生できるようにすることが望まれ、記録媒体から代表画像を再生する際のランダムアクセス性を向上することが望まれる。しかしながらチャプターによる代表画像の管理では、代表画像の数が多くなると、ランダムアクセス性が低下する問題がある。

またこのような動画ファイルは、ユーザーにより編集される場合もあり、この場合、代表画像と動画ファイルとの整合性が乱れてしまう。具体的に、例えばユーザーが動画ファイルを部分的に削除した場合、この削除した部分については、代表画像が存在するにも係わらず、チャプターを用いて頭出しできなくなる。これによりこのような不整合な状態を解消することが求められ、このためにはこのような不整合の状態を簡易かつ確実に検出することが求められる。
特開２００４−２６０４５２号公報

本発明は以上の点を考慮してなされたもので、代表画像を用いて頭出しできるようにして、代表画像を記録媒体から再生する際のランダムアクセス性を向上し、さらには動画ファイルと代表画像との不整合を簡易かつ確実に検出することができる記録装置、記録方法、記録方法のプログラム、記録方法のプログラムを記録した記録媒体、再生装置、再生方法、再生方法のプログラム及び再生方法のプログラムを記録した記録媒体を提案しようとするものである。

上記の課題を解決するため請求項１の発明は、記録装置に適用して、動画を動画ファイルとして記録媒体に記録する動画記録制御手段と、前記動画を構成するフレーム画像の所定グループを代表する代表画像を生成する代表画像生成手段と、前記代表画像を代表画像ファイルとして前記記録媒体に記録する代表画像記録制御手段とを備え、前記代表画像記録制御手段は、前記代表画像を格納する代表画像格納部と、前記代表画像格納部に格納した前記代表画像の再生を制御する制御情報を、前記制御情報の種別に応じて階層的に格納する制御情報格納部とを有するファイル構造により前記代表画像ファイルを作成し、前記制御情報格納部の第１階層に、前記制御情報格納部に格納した情報が、前記代表画像を制御する制御情報であることを示す情報を格納し、前記第１階層より下位階層である第２階層に、前記動画ファイルの更新日時を示す情報を格納し、前記第２階層より下位階層である第３階層に、１つの前記代表画像を最小再生単位として再生制御するための前記制御情報を格納する。

また請求項８の発明は、記録方法に適用して、動画を動画ファイルとして記録媒体に記録する動画記録制御のステップと、前記動画を構成するフレーム画像の所定グループを代表する代表画像を生成する代表画像生成のステップと、前記代表画像を代表画像ファイルとして前記記録媒体に記録する代表画像記録制御のステップとを備え、前記代表画像記録制御のステップは、前記代表画像を格納する代表画像格納部と、前記代表画像格納部に格納した前記代表画像の再生を制御する制御情報を、前記制御情報の種別に応じて階層的に格納する制御情報格納部とを有するファイル構造により前記代表画像ファイルを作成し、前記制御情報格納部の第１階層に、前記制御情報格納部に格納した情報が、前記代表画像を制御する制御情報であることを示す情報を格納し、前記第１階層より下位階層である第２階層に、前記動画ファイルの更新日時を示す情報を格納し、前記第２階層より下位階層である第３階層に、１つの前記代表画像を最小再生単位として再生制御するための前記制御情報を格納する。

また請求項９の発明は、演算処理手段の実行により動画を記録媒体に記録する記録方法のプログラムに適用して、前記動画を動画ファイルとして前記記録媒体に記録する動画記録制御のステップと、前記動画を構成するフレーム画像の所定グループを代表する代表画像を生成する代表画像生成のステップと、前記代表画像を代表画像ファイルとして前記記録媒体に記録する代表画像記録制御のステップとを備え、前記代表画像記録制御のステップは、前記代表画像を格納する代表画像格納部と、前記代表画像格納部に格納した前記代表画像の再生を制御する制御情報を、前記制御情報の種別に応じて階層的に格納する制御情報格納部とを有するファイル構造により前記代表画像ファイルを作成し、前記制御情報格納部の第１階層に、前記制御情報格納部に格納した情報が、前記代表画像を制御する制御情報であることを示す情報を格納し、前記第１階層より下位階層である第２階層に、前記動画ファイルの更新日時を示す情報を格納し、前記第２階層より下位階層である第３階層に、１つの前記代表画像を最小再生単位として再生制御するための前記制御情報を格納する。

また請求項１０の発明は、演算処理手段の実行により動画を記録媒体に記録する記録方法のプログラムを記録した記録媒体に適用して、前記記録方法のプログラムは、前記動画を動画ファイルとして前記記録媒体に記録する動画記録制御のステップと、前記動画を構成するフレーム画像の所定グループを代表する代表画像を生成する代表画像生成のステップと、前記代表画像を代表画像ファイルとして前記記録媒体に記録する代表画像記録制御のステップとを備え、前記代表画像記録制御のステップは、前記代表画像を格納する代表画像格納部と、前記代表画像格納部に格納した前記代表画像の再生を制御する制御情報を、前記制御情報の種別に応じて階層的に格納する制御情報格納部とを有するファイル構造により前記代表画像ファイルを作成し、前記制御情報格納部の第１階層に、前記制御情報格納部に格納した情報が、前記代表画像を制御する制御情報であることを示す情報を格納し、前記第１階層より下位階層である第２階層に、前記動画ファイルの更新日時を示す情報を格納し、前記第２階層より下位階層である第３階層に、１つの前記代表画像を最小再生単位として再生制御するための前記制御情報を格納する。

また請求項１１の発明は、記録媒体に記録された動画ファイルと代表画像ファイルとを再生する再生装置に適用して、前記代表画像ファイルは、前記動画ファイルを構成するフレーム画像の所定グループを代表する代表画像を格納する代表画像格納部と、前記代表画像格納部に格納した前記代表画像の再生を制御する制御情報を、前記制御情報の種別に応じて階層的に格納する制御情報格納部とを有し、前記制御情報格納部の第１階層に、前記制御情報格納部に格納した情報が、前記代表画像を制御する制御情報であることを示す情報を格納し、前記第１階層より下位階層である第２階層に、前記動画ファイルの更新日時を示す情報を格納し、前記第２階層より下位階層である第３階層に、１つの前記代表画像を最小再生単位として再生制御するための前記制御情報を格納し、前記再生装置は、前記記録媒体に記録された前記動画ファイル、前記代表画像ファイルを再生するデータ再生部と、前記データ再生部で再生された前記動画ファイルの動画、前記代表画像ファイルの代表画像を表示する表示部と、前記データ再生部で再生されたデータを処理して、前記表示部の表示を制御する制御部とを備え、前記制御部は、前記代表画像の制御情報に基づいて、前記記録媒体に記録された複数枚の前記代表画像を前記表示部で一覧表示すると共に、ユーザーの操作に応動して、前記一覧表示の代表画像を切り換え、該一覧表示した代表画像の選択を受け付け、前記代表画像の制御情報に基づいて、該選択された代表画像に対応する前記フレーム画像を前記表示部で表示する。

また請求項１２の発明は、記録媒体に記録された動画ファイルと代表画像ファイルとを再生する再生方法に適用して、前記代表画像ファイルは、前記動画ファイルを構成するフレーム画像の所定グループを代表する代表画像を格納する代表画像格納部と、前記代表画像格納部に格納した前記代表画像の再生を制御する制御情報を、前記制御情報の種別に応じて階層的に格納する制御情報格納部とを有し、前記制御情報格納部の第１階層に、前記制御情報格納部に格納した情報が、前記代表画像を制御する制御情報であることを示す情報を格納し、前記第１階層より下位階層である第２階層に、前記動画ファイルの更新日時を示す情報を格納し、前記第２階層より下位階層である第３階層に、１つの前記代表画像を最小再生単位として再生制御するための前記制御情報を格納し、前記再生方法は、前記記録媒体に記録された前記動画ファイル、前記代表画像ファイルを再生するデータ再生のステップと、前記データ再生のステップで再生された前記動画ファイルの動画、前記代表画像ファイルの代表画像を表示する表示のステップと、前記データ再生のステップで再生されたデータを処理して、前記表示のステップの表示を制御する制御のステップとを備え、前記制御のステップは、前記代表画像の制御情報に基づいて、前記記録媒体に記録された複数枚の前記代表画像を前記表示のステップで一覧表示すると共に、ユーザーの操作に応動して、前記一覧表示の代表画像を切り換え、該一覧表示した代表画像の選択を受け付け、前記代表画像の制御情報に基づいて、該選択された代表画像に対応する前記フレーム画像を前記表示のステップで表示する。

また請求項１３の発明は、演算処理手段の実行により記録媒体に記録された動画ファイルと代表画像ファイルとを再生する再生方法のプログラムに適用して、前記代表画像ファイルは、前記動画ファイルを構成するフレーム画像の所定グループを代表する代表画像を格納する代表画像格納部と、前記代表画像格納部に格納した前記代表画像の再生を制御する制御情報を、前記制御情報の種別に応じて階層的に格納する制御情報格納部とを有し、前記制御情報格納部の第１階層に、前記制御情報格納部に格納した情報が、前記代表画像を制御する制御情報であることを示す情報を格納し、前記第１階層より下位階層である第２階層に、前記動画ファイルの更新日時を示す情報を格納し、前記第２階層より下位階層である第３階層に、１つの前記代表画像を最小再生単位として再生制御するための前記制御情報を格納し、前記再生方法は、前記記録媒体に記録された前記動画ファイル、前記代表画像ファイルを再生するデータ再生のステップと、前記データ再生のステップで再生された前記動画ファイルの動画、前記代表画像ファイルの代表画像を表示する表示のステップと、前記データ再生のステップで再生されたデータを処理して、前記表示のステップの表示を制御する制御のステップとを備え、前記制御のステップは、前記代表画像の制御情報に基づいて、前記記録媒体に記録された複数枚の前記代表画像を前記表示のステップで一覧表示すると共に、ユーザーの操作に応動して、前記一覧表示の代表画像を切り換え、該一覧表示した代表画像の選択を受け付け、前記代表画像の制御情報に基づいて、該選択された代表画像に対応する前記フレーム画像を前記表示のステップで表示する。

また請求項１４の発明は、演算処理手段の実行により記録媒体に記録された動画ファイルと代表画像ファイルとを再生する再生方法のプログラムを記録した記録媒体に適用して、前記代表画像ファイルは、前記動画ファイルを構成するフレーム画像の所定グループを代表する代表画像を格納する代表画像格納部と、前記代表画像格納部に格納した前記代表画像の再生を制御する制御情報を、前記制御情報の種別に応じて階層的に格納する制御情報格納部とを有し、前記制御情報格納部の第１階層に、前記制御情報格納部に格納した情報が、前記代表画像を制御する制御情報であることを示す情報を格納し、前記第１階層より下位階層である第２階層に、前記動画ファイルの更新日時を示す情報を格納し、前記第２階層より下位階層である第３階層に、１つの前記代表画像を最小再生単位として再生制御するための前記制御情報を格納し、前記再生方法は、前記記録媒体に記録された前記動画ファイル、前記代表画像ファイルを再生するデータ再生のステップと、前記データ再生のステップで再生された前記動画ファイルの動画、前記代表画像ファイルの代表画像を表示する表示のステップと、前記データ再生のステップで再生されたデータを処理して、前記表示のステップの表示を制御する制御のステップとを備え、前記制御のステップは、前記代表画像の制御情報に基づいて、前記記録媒体に記録された複数枚の前記代表画像を前記表示のステップで一覧表示すると共に、ユーザーの操作に応動して、前記一覧表示の代表画像を切り換え、該一覧表示した代表画像の選択を受け付け、前記代表画像の制御情報に基づいて、該選択された代表画像に対応する前記フレーム画像を前記表示のステップで表示する。

請求項１、請求項８、請求項９、請求項１０の構成によれば、代表画像の制御情報に基づいて、代表画像を１枚単位で再生してランダムアクセス性を確保することができる。また動画を特定する情報により、ユーザーの選択した代表画像から対応するフレーム画像を再生することができ、代表画像を用いて頭出しすることもできる。また動画ファイルの更新日時を示す情報を判定して動画ファイルと代表画像ファイルとの間の不整合も簡易かつ確実に検出することができる。従って代表画像を用いて頭出しできるようにして、代表画像を記録媒体から再生する際のランダムアクセス性を確保し、さらには動画ファイルと代表画像との不整合を簡易かつ確実に検出することができる。

また請求項１１、請求項１２、請求項１３、請求項１４の構成によれば、代表画像を用いて頭出しできるように、代表画像を記録媒体から再生する際のランダムアクセス性を確保し、さらには動画ファイルと代表画像との不整合を簡易かつ確実に検出することができるように代表画像を記録した記録媒体から、代表画像を用いて動画を頭出しすることができる。

本発明によれば、代表画像を用いて頭出しできるように動画ファイルを記録して、代表画像を記録媒体から再生する際のランダムアクセス性を確保し、さらには動画ファイルと代表画像との不整合を簡易かつ確実に検出することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図２は、本発明の実施例に係るビデオカメラを示すブロック図である。なおこのビデオカメラ１は、ビデオデータの処理系に対応するようにオーディオデータの処理系が設けられているものの、この図２では、このオーディオデータの処理系については、記載を省略して示す。このビデオカメラ１において、カメラ部２は、制御部３の制御に応じて動画による撮像結果を取得し、この撮像結果の画像データをカメラＤＳＰ（Digital Signal Processor）４に出力する。

すなわちカメラ部２において、光学ブロック１１は、光学ブロック用ドライバ（ドライバ）１２の駆動により絞り、ズーム倍率、フォーカス等を可変して入射光を集光し、続くＣＣＤ（Charge Coupled Device ）固体撮像素子（ＣＣＤ）１３の撮像面に被写体の光学像を形成する。光学ブロック用ドライバ１２は、制御部３の制御に応じて光学ブロック１１を駆動する。

ＣＣＤ固体撮像素子１３は、ＣＣＤ用ドライバ（ドライバ）１４の駆動により、撮像面に形成された光学像を光電変換処理し、光電変換処理結果による撮像結果を出力する。ＣＣＤ用ドライバ１４は、制御部３の制御に従ってＣＣＤ固体撮像素子１３を駆動し、タイミング生成回路１５は、これらＣＣＤ固体撮像素子１３、ＣＣＤ用ドライバ１４の動作に必要な各種タイミング信号を生成して出力する。

前処理回路１６は、ＣＣＤ固体撮像素子１３の出力信号を相関二重サンプリング処理（ＣＤＳ：Correlated Double Sampling）、自動利得調整処理（ＡＧＣ：Automatic Gain
Control）した後、アナログディジタル変換処理して画像データを生成する。カメラ部２は、この画像データをカメラＤＳＰ４に出力する。

カメラＤＳＰ４は、制御部３の制御に従って動作を切り換え、カメラ部２から出力される画像データを処理してビデオデータを生成し、さらにモニタ用のビデオデータを生成して制御部３に出力する。またこのビデオデータをデータ圧縮処理して記録用のストリーミングデータを生成し、このストリーミングデータを制御部３に出力する。また再生時、制御部３から出力されるストリーミングデータをデータ伸長処理してビデオデータを生成し、モニタ用のビデオデータを制御部３に出力する。

すなわちカメラＤＳＰ４において、カメラ信号処理部２１は、カメラ部２から出力される画像データをマトリックス演算処理してビデオデータを生成し、このビデオデータから自動フォーカス調整（ＡＦ：Auto Focus）、自動絞り調整（ＡＥ：Auto Exposure ）に必要な情報を取得して制御部３に出力する。またこのビデオデータをオートホワイトバランス（ＡＷＢ：Auto White Balance）調整、ガンマ補正処理、ニー処理等する。カメラＤＳＰ４は、このカメラ信号処理部２１で処理されたビデオデータの解像度を低減してモニタ用のビデオデータを生成し、このモニタ用のビデオデータを制御部３に出力する。

メモリコントローラ２２は、カメラ信号処理部２１で処理されたビデオデータを順次メモリ２３に記録し、またこのメモリ２３に記録したビデオデータを読み出して圧縮／解凍部２４に出力する。また再生時、制御部３から出力されるストリーミングデータをメモリ２３に一時格納して圧縮／解凍部２４に出力する。なおここでメモリ２３は、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）である。

圧縮／解凍部２４は、ＭＰＥＧ（Moving Picture Experts Group）−４ＡＶＣ(Advanced Video Coding）のフォーマットに従って、メモリ２３から出力されるビデオデータをデータ圧縮して記録用のストリーミングデータを生成し、このストリーミングデータを制御部３に出力する。また再生時、メモリ２３を介して入力されるストリーミングデータをデータ伸長してビデオデータを生成する。カメラＤＳＰ４は、再生時、このデータ伸長されたビデオデータからモニタ用のビデオデータを生成して制御部３に出力する。

さらに圧縮／解凍部２４は、ストリーミングデータを生成する際に、Ｉピクチャーに設定したビデオデータの解像度を低減してサムネイル画像の画像データを生成し、このサムネイル画像の画像データを代表画像の画像データとして制御部３に出力する。これによりこの実施例では、１ＧＯＰ（Group Of Pictures ）を構成する複数枚のピクチャー毎に、これら複数枚のピクチャーのうちの１枚のピクチャーから代表画像を生成する。なお代表画像は、必ずしも１ＧＯＰで１枚生成する必要は無く、複数のＧＯＰで１枚作成するようにしてもよい。また複数のＧＯＰで１枚作成する場合には、この複数のＧＯＰの何れのＧＯＰで１枚の代表画像を作成するようにしてもよく、例えばこれら複数のＧＯＰの中からランダムに選択した１つのＧＯＰで１枚の代表画像を作成してもよい。なおこれによりこの実施例では、ストリーミングデータを作成しながら代表画像の画像データを作成することになるが、これに代えてストリーミングデータの記録が完了した後に、自動的に、又はユーザーの指示により別途、代表画像の画像データを作成してもよい。また他のＧＯＰのピクチャーを参照しないいわゆるクローズドＧＯＰによりストリーミングデータを生成するようにして、Ｉピクチャーに代えて、Ｐピクチャー、Ｂピクチャーから代表画像を作成するようにしてもよい。

制御部３は、このビデオカメラ１に設けられたタッチパネル、コントロールキー等による操作部３１の操作に応動して各部の動作を制御し、カメラＤＳＰ４から出力されるモニタ用のビデオデータをＬＣＤ（Liquid Crystal Display）３２で表示する。またカメラＤＳＰ４から出力されるストリーミングデータを記録媒体３３に記録し、また記録媒体３３に記録されたストリーミングデータを再生してカメラＤＳＰ４に出力する。

すなわち制御部３において、時計回路４５は、現在日時による時間情報を中央処理ユニット（ＣＰＵ：Central Processing Unit ）４１に通知する。

中央処理ユニット４１は、ＲＡＭ（Random Access Memory）４２にワークエリアを確保してフラッシュＲＯＭ（Read Only Memory）４３に格納された処理プログラムを実行することにより、操作部３１の操作に応動して各部の動作を制御する。なおこれによりこの実施例では、この中央処理ユニット４１の処理プログラムは、このビデオカメラ１に事前にインストールされて提供されるものの、これに代えて光ディスク、磁気ディスク、メモリカード等の各種記録媒体に記録して提供するようにしてもよく、またインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。

この各部の制御により、中央処理ユニット４１は、カメラ部２で撮像結果を取得し、この撮像結果のビデオデータをカメラＤＳＰ４から内部バス４４に入力する。またこの内部バス４４に入力したビデオデータをＬＣＤコントローラ３６に出力し、ＬＣＤコントローラ３６によるＬＣＤ３２の駆動により、撮像結果のモニタ画像を表示する。またこのときカメラＤＳＰ４から出力される自動フォーカス調整、自動絞り調整に必要な情報に基づいてカメラ部２の動作を制御し、これにより自動フォーカス調整、自動絞り調整の処理を実行する。

またこの状態でユーザーが撮像結果の記録を指示すると、カメラＤＳＰ４でストリーミングデータを生成し、このストリーミングデータを内部バス４４に入力する。またこのストリーミングデータを媒体インターフェース３４に出力し、これにより撮像結果を記録媒体３３に記録する。なおここで記録媒体３３は、半導体メモリを用いたいわゆるメモリカード、記録可能なＤＶＤ（Digital Versatile Disk）、記録可能なＣＤ（Compact Disc）等の光ディスク、磁気ディスク等、種々の記録媒体を適用することができるものの、この実施例ではメモリカードが適用される。

またこのような撮像結果の記録媒体３３への記録に代えて、外部機器への出力をユーザーが指示すると、カメラＤＳＰ４から出力されるストリーミングデータを外部インターフェース（外部Ｉ／Ｆ）３５に出力し、これによりこの外部インターフェース３５に接続された外部機器に撮像結果を出力する。なおここでこの外部機器は、パーソナルコンピュータ、通信モジュール等であり、外部インターフェース３５は、ＩＥＥＥ（Institute of Electrical and Electronics Engineers ）１３９４、ＵＳＢ（Universal Serial Bus）等の有線用インターフェース、光、電波による無線インターフェース等を適用することができる。

これに対してユーザーが再生を指示すると、記録媒体３３に記録されたストリーミングデータを再生してカメラＤＳＰ４に出力し、このストリーミングデータをカメラＤＳＰ４でデータ伸長してビデオデータを生成する。またこのビデオデータよるモニタ用のビデオデータをカメラＤＳＰ４から入力してＬＣＤ３２で表示し、これにより記録媒体３３に記録された撮像結果のモニタ画像を表示する。またこのようにして再生した撮像結果の外部機器への出力が指示されると、記録媒体３３から再生されるデータを外部インターフェース３５を介して外部機器に出力し、又はカメラＤＳＰ４でデータ伸長したビデオデータを外部インターフェース３５を介して外部機器に出力する。

また外部機器からの動画ファイルの入力をユーザーが指示すると、外部インターフェース３５を介してストリーミングデータを取得し、このストリーミングデータをカメラＤＳＰ４に出力してビデオデータを生成する。またこのビデオデータによるモニタ用のビデオデータをカメラＤＳＰ４から入力してＬＣＤ３２により表示し、これにより外部機器から入力される動画ファイルのモニタ画像を表示する。またこのようにモニタ画像を表示してユーザーにより記録媒体３３への記録が指示されると、外部インターフェース３５を介して入力されるストリーミングデータを媒体インターフェース３４に出力し、これによりこのストリーミングデータを記録媒体３３に記録する。

これらの一連の処理において、中央処理ユニット４１は、適宜、後述するサムネイル画像の一覧表示用の画像データ、各種メニュー画面用の画像データ等を生成してＬＣＤコントローラ３６に出力し、これらメニュー画面、サムネイル画像の一覧表示画面等を表示する。またこの表示におけるユーザーによる選択操作により、ユーザーによる操作を受け付ける。

また中央処理ユニット４１は、カメラＤＳＰ４からストリーミングデータを入力して媒体インターフェース３４又は外部インターフェース３５に出力する場合、圧縮／解凍部２４で生成される代表画像の画像データをＲＡＭ４２に格納して一時保持する。またストリーミングデータの出力が完了すると、この一時保持した代表画像の画像データを続いて出力する。これにより中央処理ユニット４１は、ストリーミングデータと代表画像の画像データとを記録し、又は外部機器に出力する。

中央処理ユニット４１は、このようにしてストリーミングデータ及び代表画像の画像データを記録、出力するようにして、ＩＳＯ／ＩＥＣ１４４９６に従ったファイルフォーマットを、これらデータのファイルに適用する。このため中央処理ユニット４１は、ストリーミングデータを記録する際に、このフォーマットに従ったファイルの作成に必要な代表画像の再生時間情報、メタ情報等を取得してＲＡＭ４２に保持し、これらの情報を後述するモーションサムネイルトラックボックス（motion thumbnail track box）等に格納する。なお以下において、ストリーミングデータによる動画ファイルをＡＶファイルと呼び、モーションサムネイルトラックボックス（motion thumbnail track box）を有する代表画像ファイルをメタ情報ファイルと呼ぶ。

ここで図１及び図３は、このＡＶファイルを示す図表である。ＡＶファイルは、ＡＶファイルであることを示す拡張子（ＭＰ４）が設定されて、所定の英数字（ＭＡＳ）と、作成順序による一連の番号（００００１）と、この拡張子（ＭＰ４）とによりファイル名が設定される。なおここで図３では、ボックス（box ）の記載を省略して示す。ＡＶファイルは、階層構造によるボックス構造により形成され、最も上位の階層に、ストリーミングデータ、オーディオデータの実データをまとめてブロック化したメディアデータボックス（media data box）と、これらの実データの再生を制御する制御情報をまとめてブロック化したムービーボックス（movie box ）とが形成される。

メディアデータボックス（media data box）は、さらに実データが階層構造によりボックス化され、ストリーミングデータ、オーディオデータは、この階層構造における最下位階層のボックスによる最小再生単位で編集処理、頭出し処理等を実行できるように割り当てられる。

ここでこの最小再生単位は、サンプル（Sample）と呼ばれ、ストリーミングデータは、１枚のピクチャーが１サンプル（Sample）に割り当てられる。オーディオデータは、ストリーミングデータの１サンプル（Sample）に対応する複数サンプリングが１サンプル（Sample）に割り当てられる。

メディアデータボックス（media data box）（図３）は、複数サンプル（Sample）の集合によりチャンク（chunk ）が形成され、このチャンク（chunk ）が記録媒体の物理的なアクセス単位とされる。実データは、このチャンク（chunk ）の時分割多重により記録される。

これに対してムービーボックス（movie box ）は、メディアデータボックスに割り当てた実データの再生を制御する制御情報が種別に応じて階層化されて形成される。ムービーボックス（movie box ）は、ボックスのタイプ名がmoovに設定され、最も上位階層に、ムービーヘッダボックス（movie header box）、ストリーミングデータに対応するビデオトラックボックス（video track box ）、オーディオデータに対応するオーディオトラックボックス（audio track box ）が形成される。

ここでムービーヘッダボックス（movie header box）は、タイプ名がmvhdに設定され、ヘッダ情報が収容される。

ビデオトラックボックス（video track box ）、オーディオトラックボックスはこのムービーヘッダボックス（movie header box）と同一階層に設けられ、タイプ名がtrack に設定される。また最上位の第１階層に、それぞれトラックヘッダボックス（track header box）、エディットボックス（edit box）、トラックリファレンスボックス（track reference box ）、ユーザーメタデータボックス（user meta data box）、メディアボックス（media box ）等が設けられ、それぞれメディアデータボックス（media data box）の個々の実データに関する情報が記述される。

ここでトラックヘッダボックス（track header box）は、タイプ名がtkhdに設定され、ヘッダ情報が収容される。またさらにトラックヘッダボックス（track header box）は、図４に示すように、トラックボックス（track box ）が作成された日時を示す作成時間情報（creation time ）、トラックボックス（track box ）の内容が更新された場合の日時を示す更新時間情報（modification time ）、トラックボックス（track box ）に固有の識別番号であるトラックＩＤ（track ID）が割り当てられる。ここでこのフォーマットにおける更新時間情報（modification time ）は、本来、同一階層以下のボックスの変更日時が記録され、これによりトラックヘッダボックス（track header box）は、ユーザーメタデータボックス（user meta data box）、エディットボックス（edit box）等の内容が更新された場合に、更新される。

これにより図４の例では、ビデオトラックボックス（video track box ）のトラックＩＤが値１に設定されていることが示されている。またビデオトラックボックス（video track box ）の作成時間情報（creation time ）、更新時間情報（modification time ）が値Ａに設定されていることが示されている。

エディットボックス（edit box）（図３）は、タイプ名がedtsに設定され、必要に応じてエディットリストボックス（edit list box ）を含み、このエディットリストボックス（edit list box ）に、例えば動画像のある区間を表示させるという機能情報、再生速度等の情報が設定される。これによりＡＶファイルは、このエディットリストボックス（edit list box ）の設定により非破壊編集処理することができるように構成される。なおエディットリストボックス（edit list box ）は、タイプ名がelstに設定される。

トラックリファレンスボックス（track reference box ）は、タイプ名がtrefに設定され、他のトラックボックス（track box ）との対応関係を示す情報が割り当てられる。

ユーザーメタデータボックス（user meta data box）は、タイプ名がusmtに設定され、ユーザー独自の各種メタデータを格納することが許される。

メディアボックス（media box ）は、タイプ名がmdiaに設定され、それぞれ対応する実データの圧縮方式、格納場所、表示時間等を管理するための情報が割り当てられる。メディアボックス（media box ）は、メディアヘッダボックス（media header box）、メディアハンドラリファレンスボックス（media handler reference box （図３においてはmedia handler により示す））、メディア情報ボックス（media information box ）により構成される。従ってこれらメディアヘッダボックス（media header box）、メディアハンドラリファレンスボックス（media handler reference box ）、メディア情報ボックス（media information box ）は、トラックボックスの第２階層に設けられる。

ここでメディアヘッダボックス（media header box）は、タイプ名がmdhdに設定され、ヘッダ情報が割り当てられる。またメディアヘッダボックス（media header box）は、図４に示すように、対応する実データが作成された日時を示す作成時間情報（creation time ）、対応する実データが更新、変更された場合の日時を示す更新時間情報（modification time ）が割り当てられる。ここでこの更新時間情報（modification time ）も、このフォーマットでは、本来、同一階層以下のボックスの変更日時が割り当てられ、これにより破壊編集処理により実データが変更されると、これに対応してこの変更された日時を示すように更新時間情報（modification time ）が変更される。従ってＡＶファイルが破壊編集処理された場合、ＡＶファイルは、メディアヘッダボックス（media header box）内の更新時間情報（modification time ）が更新される。

メディアハンドラリファレンスボックス（media handler reference box ）は、タイプ名がhdlrに設定され、対応する実データの種類が記録される。

メディア情報ボックス（media information box ）は、最小の管理単位であるサンプルの情報が割り当てられ、タイプ名がminfに設定される。これによりＡＶファイルは、実データの最小再生単位である１サンプルのピクチャーを単位にして、制御情報が設定される。具体的にメディア情報ボックス（media information box ）は、実データに対応するメディアヘッダボックス（madia header box）（図３においてはvideo madia headerにより示す）、データハンドラリファレンスボックス（data handler reference box（図３においては、data handlerにより示す））、データ情報ボックス（data information box）、サンプルテーブルボックス（sample table box）により構成される。

ここでメディアヘッダボックス（madia header box）は、上位のメディアハンドラリファレンスボックス（media handler reference box ）に対応してタイプ名が設定され、ヘッダ情報が収容される。データハンドラリファレンスボックス（data handler reference box）は、対応する実データの取り扱いに関する情報が設定され、タイプ名がhdlrに設定される。データ情報ボックス（data information box）は、下位階層のデータリファレンスボックス（data reference box）により実際に参照するデータの格納場所、格納方法の情報が割り当てられる。

サンプルテーブルボックス（sample table box）は、最小再生単位である各サンプルに対応する制御情報が割り当てられ、タイプ名がstblに設定される。サンプルテーブルボックス（sample table box）は、サンプルディスクリプションボックス（sample description box）、時間サンプルボックス（time-to-sample box）、サンプルサイズボックス（sample size box ）、サンプルチャンクボックス（sample-to-chunk box ）、チャンクオフセットボックス（chunk offset box）、同期サンプルボックス（sync sample box ）、コンポジション時間サンプルボックス（composition time-to-sample box）等により構成される。従ってトラックボックスは、第３階層に、最小再生単位で実データを再生制御するための制御情報が格納される。

ここでサンプルディスクリプションボックス（sample description box）は、デコードに関する情報が保存され、具体的にデータ圧縮方式、関連する情報が割り当てられる。時間サンプルボックス（time-to-sample box）は、各サンプルとデコードに係る時間軸との関係が記述される。サンプルサイズボックス（sample size box ）は、各サンプルのデータ量が記述される。サンプルチャンクボックス（sample-to-chunk box ）は、チャンク（chunk ）とそのチャンク（chunk ）を構成するサンプル（sample）との関係が記述される。チャンクオフセットボックス（chunk offset box）は、ファイル先頭を基準にした各チャンク先頭の位置情報が記録される。同期サンプルボックス（sync sample box ）は、オプションであり、ビデオトラックボックスでは各サンプルにおけるＩピクチャーの位置情報がテーブルの形式により記述される。

これにより中央処理ユニット４１は、記録媒体の物理的なアクセス単位であるチャンクを単位にした時分割多重化によりストリーミングデータ、オーディオデータを記録媒体３３に記録しながら、ムービーボックス（movie box ）の作成に必要な制御情報を取得してＲＡＭ４２に記録して保持し、撮像結果の記録媒体３３への記録の完了により、これら図１及び図３、図４について説明したフォーマットによりこの記録して保持した制御情報を記録媒体３３に記録し、これによりＡＶファイルを記録媒体３３に記録する。

これに対して図５は、図３との対比によりメタ情報ファイルを示す図表である。メタ情報ファイルは、代表画像によるファイルであり、メタ情報ファイルであることを示す拡張子（ＭＴＩ）が設定され、この拡張子（ＭＴＩ）を除いて、対応するＡＶファイルと同一のファイル名に設定される（図１参照）。メタ情報ファイルは、ＡＶファイルと同様に、階層構造によるボックス構造により形成される。従って、メタ情報ファイルは、最も上位の階層に、代表画像の画像データをまとめてブロック化した代表画像の格納部であるメディアデータボックス（media data box）と、これらの実データの再生を制御する制御情報をまとめてブロック化した制御情報の格納部であるムービーボックス（movie box ）とが形成される。

またこのメディアデータボックス（media data box）では、１サンプル（Sample）に、サムネイル画像の１枚が割り当てられる。また１サンプル（Sample）で１チャンク（chunk ）が形成され、チャンク（chunk ）の連続により代表画像の画像データが格納される。これによりメディアデータボックス（media data box）は、代表画像を格納する代表画像格納部を構成する。

これに対してムービーボックス（movie box ）は、最も上位階層に、ムービーヘッダボックス（movie header box）、代表画像の画像データに対応するモーションサムネイルトラックボックス（motion thumbnail track box）が形成される。またモーションサムネイルトラックボックス（motion thumbnail track box）には、トラックヘッダボックス（track header box）、エディットボックス（edit box）、トラックリファレンスボックス（track reference box ）、ユーザーメタデータボックス（user meta data box）、メディアボックス（media box ）等が設けられ、それぞれＡＶファイルと同様に、代表画像の画像データに対応する各種の制御情報がそれぞれ割り当てられる。これによりメタ情報ファイルは、実データの最小再生単位である１枚の代表画像を単位にして、制御情報が設定される。またモーションサムネイルトラックボックス（motion thumbnail track box）は、代表画像格納部に格納した代表画像の再生を制御する制御情報を、この制御情報の種別に応じて階層的に格納する制御情報格納部を構成する。

これにより中央処理ユニット４１は、ストリーミングデータ、オーディオデータを記録媒体３３に記録しながら、メタ情報ファイルの作成に必要な制御情報を取得してＲＡＭ４２に記録して保持し、ＡＶファイルの記録媒体３３への記録の完了により、この図５について説明したフォーマットによりこの記録して保持した情報を記録媒体３３に記録し、これによりメタ情報ファイルを記録媒体３３に記録する。

この一連の処理において、中央処理ユニット４１は、ＡＶファイルに関してビデオトラックボックス（video track box ）のトラックヘッダボックス（track header box）における作成時間情報（creation time ）、更新時間情報（modification time ）については、ビデオトラックボックス（video track box ）の記録媒体３３への記録日時を設定する。これに対して、図４において矢印ａにより示すように、メタ情報ファイルに関して、モーションサムネイルトラックボックス（motion thumbnail track box）のトラックヘッダボックス（track header box）における作成時間情報（creation time ）、更新時間情報（modification time ）については、対応するビデオトラックボックス（video track box ）のトラックヘッダボックス（track header box）における作成時間情報（creation time ）、更新時間情報（modification time ）と同一の値Ａに設定し、これにより動画ファイルと代表画像との不整合を簡易かつ確実に検出することができるようにする。

また中央処理ユニット４１は、図４において矢印ｂにより示すように、モーションサムネイルトラックボックス（motion thumbnail track box）のユーザーメタデータボックス（user meta data box）に、図６を用いて後述する対応するビデオデータを特定する情報（ref stream）（図４では、トラックＩＤにより示す）を設定し、これによりモーションサムネイルトラックボックス（motion thumbnail track box）とビデオトラックボックス（video track box ）との対応関係を記録する。

またＡＶファイルのメディアヘッダボックス（media header box）における作成時間情報（creation time ）、更新時間情報（modification time ）については、トラックヘッダボックス（track header box）における作成時間情報（creation time ）、更新時間情報（modification time ）と同一に、記録媒体３３への記録日時を設定する。これに対して矢印ｃにより示すように、メタ情報ファイルのメディアヘッダボックス（media header box）における作成時間情報（creation time ）、更新時間情報（modification time ）については、対応するビデオトラックボックス（video track box ）のメディアヘッダボックス（media header box）における作成時間情報（creation time ）、更新時間情報（modification time ）と同一の値Ｂに設定する。なお図９について後述するように、動画ファイルと代表画像の不整合の検出処理では、更新時間情報だけを用いていることから、メタ情報ファイルのトラックヘッダボックス、メディアヘッダボックスの作成時間情報については、ビデオトラックボックスと同一の値に設定する処理を省略してもよい。

また中央処理ユニット４１は、モーションサムネイルトラックボックス（motion thumbnail track box）のユーザーメタデータボックス（user meta data box）を、図６に示すように形成する。ここでユーザーメタデータボックス（user meta data box）は、メタデータボックス（meta data box ）と、メタタイプボックス（meta type def box ）とにより構成される。

メタデータボックス（meta data box ）は、タイプ名がmtdtに設定され、対応する動画を特定する情報である（ref stream（Metadata unit ＃2 ））が設けられる。ここでこの対応する動画を特定する情報（ref stream）は、対応するＡＶファイルにおいて、対応するビデオトラックを特定する情報であり、この実施例では、ＡＶファイルに設けられたビデオトラックのトラックＩＤ（track ID）が設定される。従って対応する動画ファイルが、ISO/IEC14496準拠とは異なるファイルの場合、具体的に例えばＭＰＥＧ２によるプログラムストリームで構成されたファイルの場合、動画を特定する情報（ref stream）は、このプログラムストリームにおいて、ビデオデータのストリーミングを特定するストリームＩＤ（stream ID ）が割り当てられる。

またメタデータボックス（meta data box ）は、このトラックボックスがモーションサムネイルトラック（motion thumbnail track）であることを示すモーションサムネイルトラックＩＤ（motion thumbnail track ID （Metadata unit ＃３））が割り当てられる。ここでこの実施例では、モーションサムネイルトラック（motion thumbnail track）に代表画像の再生を制御する制御情報が割り当てられていることにより、モーションサムネイルトラックＩＤ（motion thumbnail track ID ）は、モーションサムネイルトラックボックスに格納した情報が、代表画像の再生を制御する制御情報であることを示すことになる。これによりメタ情報ファイルは、モーションサムネイルトラック（motion thumbnail track）であることを示すモーションサムネイルトラックＩＤ（motion thumbnail track ID ）が、対応する動画を特定する情報（ref stream）と同一階層に割り当てられ、これらの情報を１つのボックスから同時に取得して、メタ情報ファイルの処理を高速度化できるように構成される。また上位階層であるユーザーメタデータボックス（user meta data box）にモーションサムネイルトラックＩＤ（motion thumbnail track ID ）を設けたことにより、従来では、図５で示すメディアハンドラリファレンスボックス（media handler reference box ）下に格納された実データの種別によりトラックの種別を判別する必要があったが、本手法により下位階層まで解析しなくても、トラックの種別を判別して、メタ情報ファイルを迅速に処理できるように構成される。

メタタイプボックス（meta type def box ）は、メタデータボックス（meta data box
）に記録されることが予定されるメタデータ以外の未定義なメタデータを記録する際に、そのデータが何を表すものかを定義するための情報が格納される。ここでこの実施例では、このメタデータ以外のデータとして、トラックボックスがモーションサムネイルトラックボックス（motion thumbnail track box）であることを示す情報（motion thumbnail track ID ）、対応する動画を特定する情報（ref stream）以外の情報が割り当てられる。なおこれら以外の情報とは、例えば、未定義なメタデータとして、ユーザーが自由に入力する文字情報等である。これによりメタ情報ファイルは、メタデータボックス（meta data box ）及びメタタイプボックス（meta type def box ）を同一階層である上位の階層に設定して、想定外のメタデータを割り当てた場合であっても、迅速に解析して対応できるように構成される。

また中央処理ユニット４１は、ストリーミングデータを生成する際に各ＧＯＰでピクチャーを並べ替えした後の先頭ピクチャーから代表画像を作成するピクチャーまでの時間情報を、モーションサムネイルトラックボックス（motion thumbnail track box）の上位階層のボックスに記録する。すなわち図７に示すように、中央処理ユニット４１は、各ＧＯＰのディスプレイオーダー（display order ）の先頭ピクチャー（この図７の例では先頭のＢピクチャーであるB0ピクチャー）から、代表画像を設定したピクチャー（この実施例ではＩピクチャーであるIDR2ピクチャー）までの再生時間の差分値であるオフセット時間情報（time offset ）を、モーションサムネイルトラックボックス（motion thumbnail track box）のエディットリストボックス（edit list box ）に設定する。これにより中央処理ユニット４１は、このオフセット時間情報（time offset ）を用いて代表画像に対応するピクチャーを正しく検出できるようにする。なおこの実施例において、このオフセット時間情報（time offset ）は、ビデオトラックボックス（video track box ）のタイムスケールで設定される。

また中央処理ユニット４１は、このような記録媒体３３への記録に代えて、外部機器への撮像結果の出力が指示されると、同様にしてＡＶファイル、メタ情報ファイルを作成して出力する。

これに対して記録媒体３３に記録されたＡＶファイルの再生をユーザーが指示すると、対応するＡＶファイルのビデオトラックボックス（video track box ）、オーディオトラックボックスに設定された制御情報により順次メディアデータボックスに設定された実データを再生するように全体の動作を制御する。

このときこのユーザーがフィルムロール再生を指示すると、中央処理ユニット４１は、対応するメタ情報ファイルを検出し、モーションサムネイルトラックボックス（motion thumbnail track box）のサンプルテーブルボックス（sample table box）に設定された制御情報に基づいて、所定枚数分、代表画像の画像データを記録媒体３３から再生してＲＡＭ４２に保持する。またこのＲＡＭ４２に保持した画像データを用いて、図８に示すように、ＬＣＤ３２の表示画面の中央より下側に、この所定枚数の代表画像を横方向に時系列により並べて一覧表示する。またこの一覧表示の下側に、スクロールバーＢ１を表示し、ストリーミングデータ上における一覧表示した代表画像の位置に対応する位置に、マーカーＭ１を表示する。

また矢印Ａにより示すように、このマーカーＭ１をユーザーの操作に応動して移動させ、このマーカーＭ１の移動に対応するように、矢印Ｂにより示すように、代表画像の表示をスクロールさせて代表画像の表示を切り換える。これによりこの場合、中央処理ユニット４１は、モーションサムネイルトラックボックス（motion thumbnail track box）のサンプルテーブルボックス（sample table box）に設定された制御情報に基づいて、時間軸方向に、又は時間軸を逆上る方向に、記録媒体３３から代表画像の画像データ再生し、この再生した画像データによりＲＡＭ４２に保持した画像データを更新する。またこの更新した画像データにより代表画像の一覧表示を切り換える。

また矢印Ｃにより示すように、このようにして表示した代表画像をユーザーが選択すると、この選択された代表画像に対応するストリーミングデータによる静止画像を、ＬＣＤ３２の表示画面、中央のウインドウＢ２に表示する。これによりこの場合、中央処理ユニット４１は、モーションサムネイルトラックボックス（motion thumbnail track box）のサンプルテーブルボックス（sample table box）から、ユーザーが選択した代表画像の再生時間情報を検出し、この再生時間情報に対応するストリーミングデータの記録位置情報をビデオトラックボックス（video track box ）のサンプルテーブルボックス（sample table box）から検出する。またこの検出した記録位置情報により対応する１ＧＯＰのストリーミングデータを記録媒体３３から再生してカメラＤＳＰ４でデータ伸長する。またこのデータ伸長を表示の順序（display order ）に並べ替え、この並べ替えたＧＯＰの先頭ピクチャーからエディットリストボックス（edit list box ）に記録されたオフセット時間情報の分だけ時間経過したピクチャーを検出する。中央処理ユニット４１は、このピクチャーの静止画像をウインドウＢ２に表示する。またこのように静止画像をウインドウＢ２に表示して、ユーザーが代表画像の選択を変更すると、これに対応するように静止画像の表示を切り換える。

これに対してこのように静止画像をウインドウＢ２に表示した状態で、ユーザーがファイルの再生開始を指示すると、このウインドウＢ２に表示した個所から記録媒体３３に記録されたＡＶファイルのストリーミングデータ、オーディオデータの再生を開始する。これにより中央処理ユニット４１は、簡易に頭出しできるようにする。

またこのように静止画像をウインドウＢ２に表示した状態で、ユーザーが編集点を設定すると、この操作に応動してＧＯＰを単位にしてイン点、アウト点を設定する。またさらにユーザーが編集を指示すると、イン点、アウト点の設定に対応するように、記録媒体３３に記録されたＡＶファイルを編集する。この場合、中央処理ユニット４１は、記録媒体３３に記録されたＡＶファイルの実データを変更する破壊編集により編集の処理を実行する。これにより中央処理ユニット４１は、編集より削除する部分については、メディアデータボックスからストリーミングデータを削除し、またこれに対応するように代表画像の画像データ、オーディオデータをメディアデータボックスから削除し、代表画像とストリーミングデータとの不整合を防止する。

また中央処理ユニット４１は、この実データの変更に対応するように、ビデオトラックボックス（video track box ）、オーディオトラックボックス、モーションサムネイルトラックボックス（motion thumbnail track box ）の記録を更新する。このとき中央処理ユニット４１は、ビデオトラックボックス（video track box ）のトラックヘッダボックス（track header box）及びメディアヘッダボックス（media header box）の更新時間情報（modification time ）については、編集処理結果を記録媒体３３に記録する日時を設定する。またモーションサムネイルトラックボックス（motion thumbnail track box）のトラックヘッダボックス（track header box）及びメディアヘッダボックス（media header box）の更新時間情報（modification time ）については、ビデオトラックボックス（video track box ）の対応する更新時間情報（modification time ）を記録する。これにより中央処理ユニット４１は、ストリーミングデータと代表画像との不整合を簡易かつ確実に検出できるようにする。

すなわち記録媒体３３は、このビデオカメラ１から取り外されてコンピュータ等の機器に装着されて、内容が更新される場合がある。ＡＶファイルは、ＩＳＯ／ＩＥＣ１４４９６に従ったファイルフォーマットであることから、このＩＳＯ／ＩＥＣ１４４９６によるファイルを処理可能な機器では、種々に編集処理されて内容が変更される場合が予測される。ここでこのような機器が、このＡＶファイルに設けられたモーションサムネイルトラックボックス（motion thumbnail track box）に対応可能な機器である場合、ストリーミングデータの編集処理に対応するように代表画像を編集処理して、ストリーミングデータと代表画像との不整合を防止することができる。

しかしながらモーションサムネイルトラックボックス（motion thumbnail track box）に対応できない機器によってＡＶファイルが編集処理される場合も予測され、この場合、ストリーミングデータと代表画像との不整合が発生する。またこのような機器で記録媒体３３に動画ファイルが記録され、この記録媒体３３がビデオカメラ１に装着される場合も予測される。

これにより中央処理ユニット４１は、記録媒体３３が装着されると、又はユーザーによりＡＶファイルの一覧表示、ＡＶファイルの再生等が指示されると、図９に示す処理手順の実行により、ストリーミングデータと代表画像との不整合を検出する。

すなわち中央処理ユニット４１は、この処理手順を開始すると、ステップＳＰ１からステップＳＰ２に移る。ここで中央処理ユニット４１は、処理対象のＡＶファイルのファイル名に基づいて、対応するメタ情報ファイルを検索し、これによりモーションサムネイルトラックボックス（motion thumbnail track box）の有無を検出する。またモーションサムネイルトラックボックス（motion thumbnail track box）を検出すると、このモーションサムネイルトラックボックス（motion thumbnail track box）のユーザーメタデータボックス（user meta data box）に設けられたモーションサムネイルトラックＩＤにより、メタ情報ファイルであることを確認する。また動画を特定する情報（ref stream）に基づいて、対応するビデオトラックボックス（video track box ）が存在するか否か検出する。なおここで処理対象のＡＶファイルは、記録媒体３３が装着されてこの図９に示す処理手順を実行する場合、又はユーザーによりＡＶファイルの一覧表示が指示されてこの図９に示す処理手順を実行する場合、記録媒体３３に記録された動画ファイルであり、ＡＶファイルの再生等が指示されてこの図９に示す処理手順を実行する場合、ユーザーにより再生等が指示されたＡＶファイルである。

このステップＳＰ２で否定結果が得られると、この場合、処理対象のＡＶファイルがメタ情報ファイルを有していない同様のフォーマットによるファイルであることにより、中央処理ユニット４１は、ステップＳＰ２からステップＳＰ３に移り、不整合処理を実行する。なお不整合処理については、後述する。

これに対してステップＳＰ２で肯定結果が得られると、ステップＳＰ２からステップＳＰ４に移る。ここで中央処理ユニット４１は、ビデオトラックボックス（video track box ）のメディアヘッダ（media header box）の更新時間情報（modification time ）とモーションサムネイルトラックボックス（motion thumbnail track box）のメディアヘッダ（media header box）の更新時間情報（modification time ）とが一致するか否か判断する（図５参照）。ここで否定結果が得られると、この場合、処理対象のＡＶファイルのストリーミングデータが破壊編集処理されて、動画ファイルと代表画像とが不整合状態であると判断される。

これにより中央処理ユニット４１は、ステップＳＰ４で否定結果が得られると、ステップＳＰ４からステップＳＰ３に移り、不整合処理を実行する。これに対してステップＳＰ４で肯定結果が得られると、ステップＳＰ４からステップＳＰ５に移る。なお不整合処理については、後述する。

このステップＳＰ５において、中央処理ユニット４１は、ビデオトラックボックス（video track box ）のトラックヘッダボックス（track header box）の更新時間情報（modification time ）とモーションサムネイルトラックボックス（motion thumbnail track box）のトラックヘッダボックス（track header box）の更新時間情報（modification time ）が一致するか否か判断する（図５参照）。ここで肯定結果が得られると、この場合、ＡＶファイルは、モーションサムネイルトラックボックス（motion thumbnail track box）に対応困難な機器では編集処理されていないことにより、中央処理ユニット４１は、ステップＳＰ５からステップＳＰ６に移ってこの処理手順を終了する。

これに対してステップＳＰ５で否定結果が得られると、この場合、ビデオトラックボックス（video track box ）のトラックヘッダボックス（track header box）と同一階層以下のボックスが変更された場合であることにより、中央処理ユニット４１は、ステップＳＰ５からステップＳＰ７に移り、ビデオトラックボックス（video track box ）のエディットリストボックス（edit list box ）の内容（edit list entry ）とモーションサムネイルトラックボックス（motion thumbnail track box）のエディットリストボックス（edit list box ）の内容（edit list entry ）とが一致するか否か判断する。

ここで否定結果が得られると、この場合、現実的にはあまり行われていない非破壊編集によってエディットリストボックス（edit list box ）の内容（edit list entry ）が変更されたことにより、ビデオトラックボックス（video track box ）のトラックヘッダボックス（track header box）の更新時間情報（modification time ）とモーションサムネイルトラックボックス（motion thumbnail track box）のトラックヘッダボックス（track header box）の更新時間情報（modification time ）とが一致しなくなった場合であり、これにより中央処理ユニット４１は、ステップＳＰ７からステップＳＰ３に移り、不整合処理を実行する。なお不整合処理については、後述する。

これに対してステップＳＰ７で肯定結果が得られると、ステップＳＰ７からステップＳＰ６に移ってこの処理手順を終了する。なおここでステップＳＰ７で肯定結果が得られて処理を完了する場合、ビデオトラックボックス（video track box ）のトラックヘッダボックス（track header box）の更新時間情報（modification time ）と一致するように、モーションサムネイルトラックボックス（motion thumbnail track box）のトラックヘッダボックス（track header box）の更新時間情報（modification time ）を設定し直すようにしてもよい。

ここでステップＳＰ３の不整合処理において、中央処理ユニット４１は、ＬＣＤ３２にメッセージを表示してユーザーの確認を得た後、ストリーミングデータの編集処理に対応するように、メタ情報ファイルを作成、更新する。

具体的に、ステップＳＰ２で否定結果が得られた場合である対応するモーションサムネイルトラックボックス（motion thumbnail track box ）が設けられていない場合には、１ＧＯＰ毎に、ストリーミングデータから代表画像の画像データを取得して記録媒体３３に記録し、これにより代表画像による実データを記録媒体３３に記録する。またこの代表画像の実データに対応するように、モーションサムネイルトラックボックス（motion thumbnail track box）を作成して記録媒体３３に記録する。これらの処理により、中央処理ユニット４１は、メタ情報ファイルを作成して記録媒体３３に記録する。

これに対してステップＳＰ４で否定結果が得られた場合である破壊編集によりストリーミングデータ自体が編集処理されている場合、ストリーミングデータから代表画像の画像データを作成し直し、記録媒体３３に記録された代表画像の実データを更新する。またこれに対応するようにモーションサムネイルトラックボックス（motion thumbnail track box）を作成し直して記録媒体３３に記録されたモーションサムネイルトラックボックス（motion thumbnail track box）を更新する。また図４を用いて説明したと同様に、ビデオトラックボックス（video track box ）に対応するようにモーションサムネイルトラックボックス（motion thumbnail track box）の更新時間情報（modification time ）を設定する。これによりこの場合、ＡＶファイルに対応するようにメタ情報ファイルを更新する。なおこの場合、代表画像の画像データ、モーションサムネイルトラックボックス（motion thumbnail track box）を作成し直す代わりに、記録媒体３３に記録された代表画像の画像データ、モーションサムネイルトラックボックス（motion thumbnail track box）の更新により一連の処理を実行するようにしてもよく、またモーションサムネイルトラックボックス（motion thumbnail track box）にエディットリストボックス（edit list box）を設けてストリーミングデータの編集処理に対応するように代表画像の画像データを編集処理してもよい。

これに対してステップＳＰ７で否定結果が得られた場合である非破壊編集によってエディットリストボックス（edit list box ）の内容（edit list entry ）が変更されている場合、このエディットリストボックス（edit list box ）の内容（edit list entry ）に対応するように、モーションサムネイルトラックボックス（motion thumbnail track box）のエディットリストボックス（edit list box ）の内容（edit list entry ）を更新し、また図４を用いて説明したと同様に、ビデオトラックボックスに対応するようにモーションサムネイルトラックボックス（motion thumbnail track box）の更新時間情報（modification time ）を設定する。なおこの場合、ステップＳＰ４で否定結果が得られた場合と同様に、実データを編集処理してもよい。

（２）実施例の動作
以上の構成において、このビデオカメラ１では（図２）、動画による撮像結果がカメラ部２で取得され、この撮像結果がカメラＤＳＰ４により処理されてビデオデータが生成される。ビデオカメラ１では、このビデオデータからモニタ用のビデオデータが生成され、このモニタ用のビデオデータが制御部３に入力されてＬＣＤ３２に撮像結果のモニタ画像が表示される。

この状態でユーザーが撮像結果の記録を指示すると、カメラＤＳＰ４の圧縮／解凍部２４でビデオデータがデータ圧縮処理されてストリーミングデータが生成され、このストリーミングデータがオーディオデータと共に制御部３を介して記録媒体３３に記録される。このときストリーミングデータ、オーディオデータは、時分割多重化処理されてメディアデータボックス（media data box）が作成され、このメディアデータボックス（media data box）が記録媒体３３に記録される。またこの時分割多重化処理されたデータの管理情報である再生時間情報等がＲＡＭ４２に蓄積され、ユーザーが記録の終了を指示すると、このＲＡＭ４２に蓄積された管理情報が種別に応じた階層構造によりボックス化されてムービーボックス（movie box ）が作成され、このムービーボックス（movie box ）が記録媒体３３に記録される。これによりビデオカメラ１では、撮像結果による動画ファイルが、ＡＶファイルにより記録媒体３３に記録される。

またこのようにしてストリーミングデータを記録しながら、ビデオカメラ１では、圧縮／解凍部２４で、１ＧＯＰ毎に、Ｉピクチャーに設定されたピクチャーの解像度が低減されてサムネイル画像が作成され、これにより代表画像が作成される。またこの代表画像の画像データが制御部３に出力されて保持され、またこの代表画像の再生を制御する制御情報の生成に必要な各種の情報が同様に保持される。ビデオカメラ１では、ＡＶファイルの記録の完了により、制御部３で、この保持された代表画像の画像データからメディアデータボックス（media data box）が作成され、このメディアデータボックス（media data box）が記録媒体３３に記録される。また制御部３に保持された各種の情報からメディアデータボックス（media data box）に記録された代表画像の再生を制御する制御情報が生成され、この制御情報が種別に応じた階層構造によりボックス化されてムービーボックス（movie box ）が作成され、このムービーボックス（movie box ）が記録媒体３３に記録される。これによりビデオカメラ１では、撮像結果による動画ファイルを構成するフレーム画像の所定グループを代表する代表画像が、動画ファイルと別ファイルにより記録媒体３３に記録される。

このビデオカメラ１では、１枚の代表画像の画像データが実データの最小再生単位である１サンプル（sample）に割り当てられてメディアデータボックス（media data box）が作成され、またこの最小再生単位で再生を制御できるように制御情報が設定されて、階層構造によりムービーボックス（movie box ）が作成される。このビデオカメラ１では、このムービーボックス（movie box ）に設けられたモーションサムネイルトラックボックス（motion thumbnail track box）の第１階層に、このモーションサムネイルトラックボックス（motion thumbnail track box）に格納した情報が、代表画像の再生を制御する制御情報であることを示す情報であるモーションサムネイルトラックＩＤ（motion thumbnail track ID ）が割り当てられる。また第２階層であるメディアボックス（media box ）に、動画ファイルの更新日時を示す情報が格納され、第３階層であるサンプルテーブルボックス（sample table box）に、１つの代表画像を最小再生単位として再生制御するための制御情報が格納される。

これによりこのビデオカメラ１では、このモーションサムネイルトラックボックス（motion thumbnail track box）のサンプルテーブルボックス（sample table box）の記録に応じて、ビデオデータを再生する場合と同様に、１枚単位で代表画像を再生してユーザーに提供することができる。従ってビデオカメラ１では、所望する箇所の代表画像を簡易かつ迅速に再生して提供することができ、これにより代表画像を再生する際のランダムアクセス性を向上することができる。

またモーションサムネイルトラックボックス（motion thumbnail track box）に設けられたモーションサムネイルトラックＩＤ（motion thumbnail track ID ）により、迅速に、メタ情報ファイルであることを把握することができる。これによりモーションサムネイルトラックボックス（motion thumbnail track box）に設けられた制御情報により、対応するビデオトラックを再生することができ、代表画像を用いてストリーミングデータを迅速に頭出しすることができる。

またメディアボックス（media box ）に格納した動画ファイルの更新日時により、動画ファイルと代表画像との不整合を簡易かつ確実に検出することができる。またこれらの情報を階層的に記録して上位階層から順次、モーションサムネイルトラックＩＤ（motion thumbnail track ID ）、動画ファイルの更新日時を示す情報、１つの代表画像を最小再生単位として再生制御するための情報を格納したことにより、ＡＶファイルに関する種々の処理を迅速に開始することができる。すなわち例えばメタ情報ファィルの種別を判定する場合にあって、モーションサムネイルトラックＩＤ（motion thumbnail track ID ）が記録されていない場合、さらに下位階層のメディアハンドラリファレンスボックス（media
handler reference box ）に格納された実データの種別を判定しなければならなくなる。しかしながらモーションサムネイルトラックＩＤ（motion thumbnail track ID ）によれば、モーションサムネイルトラックを第１階層まで解析するだけでメタ情報ファィルの種別を判定することができる。また、動画ファイルと代表画像との不整合についても、最大で第２階層まで解析するだけで検出することができる。従って不整合処理により確認が得られて、初めて最下位階層までモーションサムネイルトラックを解析すればよく、迅速代表画像の各種処理を実行することができる。

これらによりこの実施例では、代表画像を用いて頭出しできるようにビデオデータを記録して、この代表画像を再生する際のランダムアクセス性を向上し、さらには動画ファイルと代表画像との不整合を簡易かつ確実に検出することができる。

具体的に、このビデオカメラ１によるＡＶファイルにおいて、ストリーミングデータと代表画像との不整合が発生する場合は、専ら、モーションサムネイルトラックボックス（motion thumbnail track box）に対応困難な機器であって、ビデオトラックボックスとオーディオトラックボックスとを処理可能な機器によってこのＡＶファイルが編集処理された場合である。またこのような機器による編集処理では、実データを直接編集処理する破壊編集と、エディットリストボックス（edit list box ）の設定による非破壊編集とがあり、このような機器で実データを直接編集処理した場合、ビデオトラックボックス（video track box ）のトラックボックス（track box ）に設けられたメディアヘッダボックス（media header box）の更新時間情報（modification time ）と、このメディアヘッダボックス（media header box）の上位階層であるトラックヘッダボックス（track header box）の更新時間情報（modification time ）とが更新される。これに対してエディットリストボックス（edit list box ）を更新する非破壊編集処理では、ビデオトラックボックス（video track box ）のエディットリストボックス（edit list box ）と、トラックヘッダボックス（track header box）の更新時間情報（modification time ）とが更新される。またこのような機器による編集処理では、モーションサムネイルトラックボックス（motion thumbnail track box）は、更新処理されないことになる。

このビデオカメラ１では、ビデオトラックボックス（video track box ）については、作成日時、更新日時によりメディアヘッダボックス（media header box）の更新時間情報（modification time ）、トラックヘッダボックス（track header box）の更新時間情報（modification time ）が設定される。またモーションサムネイルトラックボックス（motion thumbnail track box）のメディアヘッダボックス（media header box）の更新時間情報（modification time ）、トラックヘッダボックス（track header box）の更新時間情報（modification time ）については、ビデオトラックボックス（video track box ）のメディアヘッダボックス（media header box）の更新時間情報（modification time ）、トラックヘッダボックス（track header box）の更新時間情報（modification time ）とそれぞれ同一に設定される。

これによりビデオトラックボックス（video track box ）に設定された更新時間情報（modification time ）とモーションサムネイルトラックボックス（motion thumbnail track box）に設定された更新時間情報（modification time ）との不一致により、モーションサムネイルトラックボックス（motion thumbnail track box）を処理困難な機器によりＡＶファイルが編集処理された場合を検出して、ストリーミングデータと代表画像との不整合を簡易に検出することができる。

またこのような更新時間情報（modification time ）の設定を異なる階層の複数階層で実行することにより、より具体的には、破壊編集時と非破壊編集時の双方によって変更されるトラックヘッダボックス（track header box）の更新時間情報（modification time
）と、破壊編集のみによって更新されるトラックヘッダボックス（track header box）より下位階層のメディアヘッダボックス（media header box）の更新時間情報（modification time ）とで実行することから、この２つの階層の更新時間情報（modification time
）でそれぞれ不一致を検出することにより（図８）、破壊編集による不整合と非破壊編集による不整合とを簡易に識別することができ、これによりＡＶファイルの処理に要する時間を短くし、不整合時には整合を図る処理を迅速に実行することができる。

またビデオカメラ１では、このような更新時間情報（modification time ）を設定するトラックヘッダボックス（track header box）と同一階層にユーザーが独自に定義可能なユーザーメタデータボックス（user meta data box）が設けられ、このユーザーメタデータボックス（user meta data box）に対応する動画を特定する情報（ref stream）が割り当てられる。この実施例では、対応するＡＶファイルのビデオトラックボックス（video
track box ）のトラックＩＤ（track ID）がこの情報（ref stream）に割り当てられる。これによりメタ情報ファイルは、深い階層まで解析しなくても、モーションサムネイルトラックボックス（motion thumbnail track box）とビデオトラックボックス（video track box ）との関係を把握して迅速に処理することができる。

またモーションサムネイルトラックボックス（motion thumbnail track box）は、このユーザーメタデータボックス（user meta data box）に、上述したモーションサムネイルトラック（motion thumbnail track）であることを示すモーションサムネイルトラックＩＤ（motion thumbnail track ID ）が割り当てられる。これによりメタ情報ファイルは、深い階層まで解析しなくても、モーションサムネイルトラックボックス（motion thumbnail track box）を識別できるように設定される（図５）。

またこのユーザーメタデータボックス（user meta data box）のメタタイプボックス（meta type def box ）には、メタデータボックス（mtdt）に記録されることが予定されるメタデータ以外の未定義のメタデータを記録する際、そのデータが何を表すものかを定義するための情報が割り当てられる。これによりメタ情報ファイルは、メタデータボックス（meta data box ）及びメタタイプボックス（meta type def box ）を同一階層である上位の階層に設定して、想定外のメタデータを割り当てた場合であっても、深い階層までを解析することなく迅速に解析して対応することができる。

またモーションサムネイルトラックボックス（motion thumbnail track box）には、各ＧＯＰのディスプレイオーダー（display order ）の先頭ピクチャーから、代表画像を設定したピクチャーまでの再生時間の差分値であるオフセット時間情報（time offset ）についても、トラックヘッダボックス（track header box）と同一階層のエディットリストボックス（edit list box ）に設定される。これによりメタ情報ファイルは、ユーザーが選択した代表画像により、対応するＧＯＰの先頭を正しく頭出しするようにして、深い階層まで解析しなくてもこの正しい頭出しに必要なオフセット時間情報（time offset ）を検出することができ、これによってもＡＶファイルを迅速に処理することが可能となる。

これに対してこのようにして記録媒体３３に記録したＡＶファイルのフィルムロール再生をユーザーが指示すると、ビデオカメラ１は、モーションサムネイルトラックボックス（motion thumbnail track box）のサンプルテーブルボックス（sample table box）の記録に従って、連続する所定枚数の代表画像が記録媒体３３から再生され、この代表画像が並べられてＬＣＤ３２に表示される（図７）。

またこの代表画像の表示の下側に表示したスクロールバーＢ１をユーザーが操作すると、モーションサムネイルトラックボックス（motion thumbnail track box）のサンプルテーブルボックス（sample table box）の記録に従って、現在表示中の代表画像に続く代表画像が記録媒体３３から再生され、この再生された代表画像によってＬＣＤ３２の表示が切り替えられる。これによりこのビデオカメラ１では、モーションサムネイルトラックボックス（motion thumbnail track box）の記録に従って代表画像データを再生して、代表画像についてのランダムアクセス性を向上することができる。

またこのようにして代表画像の表示を切り換えてユーザーが代表画像を選択すると、このユーザーの選択した代表画像の再生時間情報により、対応するストリーミングデータが再生されてデータ伸長処理され、このデータ伸長されて表示の順序により並べ直されたビデオデータの先頭ピクチャーから、エディットリストボックス（edit list box ）に設定されたオフセット時間情報（time offset ）の分だけ時間経過したピクチャーの画像がウインドウＢ２に表示される。これにより代表画像で頭出しした後、この頭出しした箇所からストリーミングデータを再生することができる。

またビデオカメラ１では、代表画像の一覧表示において編集点の設定を受け付けてＡＶファイルが編集処理される。すなわちこのビデオカメラ１では、このようにしてユーザーにより代表画像が選択されて、編集点の設定が受け付けられ、さらにユーザーによる指示により、この編集点の設定に対応するように、ストリーミングデータの実データが編集処理され、これに対応するようにビデオトラックボックス（video track box ）の記録が更新される。またこのストリーミングデータの編集処理に対応するように、代表画像による実データが編集処理され、これに対応するようにモーションサムネイルトラックボックス（motion thumbnail track box ）が更新処理され、メタ情報ファイルが更新される。

この編集処理の場合でも、このビデオカメラ１では、ビデオトラックボックス（video
track box ）については、メディアヘッダボックス（media header box）の更新時間情報（modification time ）、トラックヘッダボックス（track header box）の更新時間情報（modification time ）がこの編集処理を実行した更新日時に設定され、モーションサムネイルトラックボックス（motion thumbnail track box）のメディアヘッダボックス（media header box）の更新時間情報（modification time ）、トラックヘッダボックス（track header box）の更新時間情報（modification time ）については、ビデオトラックボックスのメディアヘッダボックス（media header box）の更新時間情報（modification time ）、トラックヘッダボックス（track header box）の更新時間情報（modification time ）と同一に設定される。これによりストリーミングデータと代表画像との不整合を簡易かつ迅速に検出することができるように設定される。

すなわちこのビデオカメラ１では、上述のフィルムロール再生をユーザーが指示した場合、記録媒体３３が装填された場合等において、処理対象のＡＶファイルに対応するメタ情報ファイルが検索され、またさらにメタ情報ファイルが見つかると、ＡＶファイルのビデオトラックボックス（video track box ）と、メタ情報ファイルのモーションサムネイルトラックボックス（motion thumbnail track box）との間で、メディアヘッダボックス（media header box）の更新時間情報（modification time ）が一致するか否か判定され、これにより実データの編集処理によってストリーミングデータと代表画像の画像データとが不整合となっている状態が検出される（図８）。

また続いてビデオトラックボックス（video track box ）とモーションサムネイルトラックボックス（motion thumbnail track box）との間で、トラックヘッダボックス（track header box）の更新時間情報（modification time ）が一致するか否か判定され、これによりエディットリストボックス（edit list box ）の編集処理によりストリーミングデータと代表画像の画像データとが不整合となっている状態が、このトラックヘッダボックス（track header box）と同一階層のエディットリストボックス（edit list box ）以外のボックスが更新処理された場合と一緒に検出される。

また続いてエディットリストボックス（edit list box ）の内容が一致するか否か判定され、これによりエディットリストボックス（edit list box ）の編集処理によりストリーミングデータと代表画像とが不整合となっている状態が検出される。

またこのようにして不整合の状態が検出されると、ユーザーによる指示により、ストリーミングデータに対応するようにメタ情報ファイルのメディアデータボックスが作成されて更新され、又はこれに対応するようにメタ情報ファイルのモーションサムネイルトラックボックス（motion thumbnail track box）が更新され、これにより動画ファイルと代表画像とが不整合となっている状態が解消される。

（３）実施例の効果
以上の構成によれば、代表画像を代表画像格納部に格納すると共に、格納した情報が代表画像の制御情報であることを示す情報、動画ファイルの更新日時を示す情報、１つの代表画像を最小再生単位とした制御情報を順次階層的に制御情報格納部に格納することにより、代表画像を再生する際のランダムアクセス性を向上し、さらには動画ファイルと代表画像との不整合を簡易かつ確実に検出することができる。

またさらに動画ファイルの更新日時に関する情報（modification time ）を、別途、第一階層に記録することにより、動画ファイルの非破壊編集と破壊編集と対応して、動画ファイルと代表画像との不整合を簡易かつ確実に検出することができる。

より具体的には、破壊編集時と非破壊編集時の双方によって変更されるトラックヘッダボックス（track header box）の更新時間情報（modification time ）と、破壊編集のみによって更新されるトラックヘッダボックス（track header box）より下位階層のメディアヘッダボックス（media header box）の更新時間情報（modification time ）とを設けるようにして、ビデオデータ側の更新時間情報と一致するように代表画像側の更新時間情報を設定することにより、動画ファイルと代表画像との不整合を簡易かつ確実に検出することができる。

また代表画像ファイルであるメタ情報ファイルのファイル名を、動画ファイルの拡張子を除くファイル名と同一に設定することにより、簡易かつ確実に、メタ情報ファイルを検出することができる。

また１枚の代表画像に対応する複数ピクチャーのうちのデータ圧縮順序の先頭ピクチャーであるＩピクチャーから代表画像を作成するようにして、これら複数ピクチャーの再生順序の先頭ピクチャーからこの代表画像を作成したピクチャーまでのオフセット時間情報を記録することにより、代表画像に対応するピクチャーを正しく頭出しすることができる。

図１０は、図１との対比により本発明の実施例２に係るビデオカメラで生成されるＡＶファイルを示す略線図である。この実施例において、ＡＶファイルは、ストリーミングデータと代表画像の画像データとを一体化して形成される。すなわちＡＶファイルは、実施例１について上述したＡＶファイルと同様に、オーディオデータの実データをまとめてブロック化したメディアデータボックス（media data box）と、これらの実データの再生を制御する制御情報をまとめてブロック化したムービーボックス（movie box ）とが形成される。

ここでメディアデータボックス（media data box）は、実施例１について上述したと同一に、ストリーミングデータ、代表画像、オーディオデータの１サンプル（sample）が設定される。またこれらストリーミングデータ、代表画像、オーディオデータによるチャンク（chunk ）の連続により形成される。

これに対してムービーボックス（movie box ）は、実施例１について上述したビデオトラックボックス、オーディオトラックボックスに、モーションサムネイルトラックボックスを追加して作成される。またモーションサムネイルトラックボックスは、後述するユーザーメタデータボックスが異なる点を除いて、実施例１について上述したメタ情報ファイルと同一に構成される。

ここで図４との対比により図１１に示すように、ＡＶファイルは、矢印ａ及びｃにより示すように、実施例１について上述したビデオトラックボックス（video track box ）、モーションサムネイルトラックボックス（motion thumbnail track box）と同一に、ビデオトラックボックス（video track box ）の作成時間情報（creation time ）、更新時間情報（modification time ）が、モーションサムネイルトラックボックス（motion thumbnail track box）における作成時間情報（creation time ）、更新時間情報（modification time ）に設定される。

れに対してビデオトラックボックス（video track box ）との対応関係については、モーションサムネイルトラックボックス（motion thumbnail track box）の動画を特定する情報（ref stream）に代えて、モーションサムネイルトラックボックス（motion thumbnail track box）のトラックリファレンスボックス（track reference box ）に、対応するビデオトラックボックスのトラックＩＤが設定され、これによりモーションサムネイルトラックボックス（motion thumbnail track box）とビデオトラックボックス（video track box ）との対応関係が記録される。なおこれによりこの実施例における動画ファイルと代表画像の不整合を検出する処理では、このトラックリファレンスボックス（track reference box ）の記録に従って対応するビデオトラックボックス（video track box ）が存在するか否か判定する。

ここで図６との対比により図１２に示すように、ユーザーメタデータボックス（user meta data box）は、実施例１と同一に、メタデータボックス（meta data box ）と、メタタイプボックス（meta type def box ）とにより構成され、メタタイプボックス（meta type def box）は、実施例１と同一に構成される。

これに対してメタデータボックス（meta data box ）には、動画を特定する情報（ref
stream）が省略されて、モーションサムネイルトラック（motion thumbnail track）であることを示すモーションサムネイルトラックＩＤ（motion thumbnail track ID ）だけが設けられる。

この実施例によれば、代表画像の画像データ、管理情報を、ストリーミングデータと一体のファイル構造により記録するようにしても、実施例１と同様の効果を得ることができる。

図１３は、図６との対比により本発明の実施例３に係るＡＶファイルの代表画像の設定を示す略線図である。この実施例では、再生順序の先頭ピクチャーから代表画像を作成する。すなわちこの実施例では、図１３（Ｂ）に示すように、クローズドＧＯＰにより、連続するピクチャーを順次ＢピクチャーB0、B1、ＩピクチャーIDR2、ＢピクチャーB3、B4、ＰピクチャーP5、……に設定して、これらのピクチャーを符号化の順序により並べ替えて符号化処理し、ストリーミングデータを生成する。

この実施例では、この符号化の際に並べ直す前の、このＧＯＰの再生順序の先頭ピクチャーであるＢピクチャーB0の解像度を低減して代表画像の画像データを生成する。これによりこの場合、１ＧＯＰ分のストリーミングデータをデータ伸長した場合に、最初に再生されるピクチャーが、この代表画像に対応するＢピクチャーB0となる。これによりこの実施例では、実施例１について上述したオフセット時間情報の記録が省略され、ユーザーにより代表画像が選択されると、対応するＧＯＰをデータ伸長して得られる先頭ピクチャーがユーザーに提供される。

この実施例のビデオカメラは、この代表画像に係る構成が異なる点を除いて、実施例１、２について上述したビデオカメラと同一に構成される。

この実施例によれば、１枚の代表画像に対応する複数ピクチャーのうちの再生順序の先頭ピクチャーから代表画像を作成することにより、実施例１に比して簡易な処理により代表画像に対応するピクチャーを正しく頭出しすることができる。

この実施例では、ＡＶファイルとは別にメタ情報ファイルを作成するようにして、実施例１について上述したＩＳＯ／ＩＥＣ１４４９６の規定によるフォーマットに代えて、他のファイルフォーマットによりこのＡＶファイルを記録する。すなわちＡＶファイルには、他のファイルフォーマットを適用するようにしてもよく、この実施例では、この他のファイルフォーマットに、ＭＰＥＧ２トランスポートストリームのファイルフォーマットを適用する。なおこの実施例は、このＡＶファイルのファイルフォーマットが異なる点と、これと関連する構成を除いて、実施例１と同一に構成されることにより、実施例１について上述した構成を流用して説明する。

このためこの実施例において、中央処理ユニット４１は、ビデオデータ及びオーディオデータによるストリーミングデータを多重化してＭＰＥＧ２トランスポートストリームを作成しながら、このＭＰＥＧ２トランスポートストリームを記録媒体３３に記録する。またユーザーによる記録の停止の指示により、記録媒体３３へのＡＶファイルの記録を完了し、続いてメタ情報ファイルを記録媒体３３に記録する。

ここでメタ情報ファイルは、実施例１について上述したと同様に、制御情報を階層的に格納して形成される。またＭＰＥＧ２トランスポートストリーム等他のファイルフォーマットでは、トラックボックスの概念が無いことにより、メタ情報ファイルのトラックヘッダボックス（track header box）及びメディアヘッダボックス（media header box）にそれぞれ設けられる作成時間情報（creation time ）及び更新時間情報（modification time）には、ＡＶファイルを管理する記録媒体３３のファイル管理システムにおけるＡＶファイルの作成時間情報及び更新時間情報がそれぞれ記録される。

またさらに、動画を特定する情報（ref stream）には、ＡＶファイルにおいてビデオデータのパケットを特定するＰＩＤ（Program ID）が割り当てられる。なおＰＩＤ（Program ID）に代えて、他の識別データを割り当てるようにしてもよい。

これにより中央処理ユニット４１は、図９との対比により図１４の処理手順を実行して動画ファイルと代表画像の不整合を検出する。すなわち中央処理ユニット４１は、実施例１について上述したと同様にしてこの図１４に示す処理手順を開始すると、ステップＳＰ１１からステップＳＰ１２に移る。ここで中央処理ユニット４１は、処理対象のＡＶファイルのファイル名に基づいて、対応するメタ情報ファイルを検索する。またメタ情報ファイルが見つかるとモーションサムネイルトラックＩＤを判定し、これらによりモーションサムネイルトラックボックス（motion thumbnail track box）の有無を検出する。またモーションサムネイルトラックボックス（motion thumbnail track box）を検出すると、このモーションサムネイルトラックボックス（motion thumbnail track box）のユーザーメタデータボックス（user meta data box）に設けられた動画を特定する情報（ref stream）に基づいて、対応するビデオデータが存在するか否か検出する。

このステップＳＰ１２で否定結果が得られると、この場合、ＡＶファイルは、メタ情報ファイルを有していない同様のフォーマットによるファイルであることにより、中央処理ユニット４１は、ステップＳＰ１２からステップＳＰ１３に移り、不整合処理を実行する。なお不整合処理については、後述する。

これに対してステップＳＰ１２で肯定結果が得られると、ステップＳＰ１２からステップＳＰ１４に移る。ここで中央処理ユニット４１は、ＡＶファイルを管理するファイル管理システムからＡＶファイルの更新時間を検出し、この更新時間が、モーションサムネイルトラックボックス（motion thumbnail track box）のメディアヘッダボックス（media
header box）の更新時間情報（modification time ）と一致するか否か判断する。なお、ＡＶファイルの更新日時がＡＶファイルに直接記述されている場合には、ＡＶファイルに記述されている他の情報を利用してもよい。ここで否定結果が得られると、この場合、処理対象のＡＶファイルが編集処理されて、動画ファイルと代表画像とが不整合状態であると判断される。

これにより中央処理ユニット４１は、ステップＳＰ１４で否定結果が得られると、ステップＳＰ１４からステップＳＰ１３に移り、不整合処理を実行する。なお不整合処理については、後述する。ここでＭＰＥＧ２トランスポートストリームでは、編集リスト（edit list ）の概念が無く、編集処理は、専ら破壊編集処理である。これにより中央処理ユニット４１は、ステップＳＰ１４で肯定結果が得られると、ステップＳＰ１４からステップＳＰ１５に移り、この処理手順を終了する。

中央処理ユニット４１は、ステップＳＰ１３の不整合処理において、ステップＳＰ１２で否定結果が得られた場合には、ＡＶファイルを解析してメタ情報ファイルを新たに作成し、このメタ情報ファイルを記録媒体３３に記録し、ステップＳＰ１５に移ってこの処理手順を終了する。これに対してステップＳＰ１４で否定結果が得られた場合には、ＡＶファイルを解析してメタ情報ファイルを作成し直し、このメタ情報ファイルを記録媒体３３に記録し直し、ステップＳＰ１５に移ってこの処理手順を終了する。

この実施例によれは、ＭＰＥＧ２トランスポートストリーム等の他のフォーマットによりＡＶファイルを記録する場合でも、実施例１と同一の効果を得ることができる。

図１５は、本発明の実施例５に係るビデオカメラにおける代表画像の生成の説明に供する略線図である。なおこの実施例では、この代表画像の生成に関連する構成が異なる点を除いて、実施例１のビデオカメラと同一に構成されることにより、以下の説明では、実施例１の図面を流用して説明し、また重複した説明は省略する。

この実施例において、圧縮／解凍部２４は（図２）、ストリーミングデータ（図１５（Ａ））を生成する際に、所定ピクチャーの解像度を低減してサムネイル画像の画像データを生成する。またこのサムネイル画像の画像データをＪＰＥＧ（Joint Photographic Coding Experts Group ）フォーマットで符号化処理して代表画像の画像データ（図１５（Ｂ））を生成する。このとき圧縮／解凍部２４は、１つの代表画像のデータサイズが一定データサイズとなるように、代表画像の画像データを生成する。

具体的に、圧縮／解凍部２４は（図２）、符号化処理により生成されたデータの末尾を示すＥＯＩ（End Of Image）に続いて、例えば値０のパディングデータを配置することにより、１つの代表画像のデータサイズが例えば４〔ＭＢ〕の一定サイズとなるように設定する。なおここでＳＯＩは、Start Of Imageである。

制御部３は、この一定データ量による１つの代表画像を１サンプルに設定してメタ情報ファイルを作成する（図１５（Ｃ））。従って制御部３は、メタ情報ファイルのサンプルサイズボックス（sample size box ）に、この一定データ量を記述することになるが、ＩＯＳ１４４９６に準拠したファイルフォーマットの場合、同一のサンプルサイズボックス（sample size box ）については記述を省略することができる。これにより制御部３は、先頭代表画像についてのみ、サンプルサイズボックス（sample size box ）を記述し、以降の代表画像については、サンプルサイズボックス（sample size box ）の記述を省略し、メタ情報ファイルのデータ量を低減する。

このメタ情報ファイルにおけるサンプルサイズボックス（sample size box ）の設定に対応して、再生時、制御部３は、下位階層のサンプルサイズボックス（sample size box）を読み出すことなく、この一定のデータ量に基づいて各代表画像の記録位置を特定して代表画像を記録媒体から再生する。

この実施例によれば、代表画像をデータ圧縮して一定データ量でメタ情報ファイルに格納することにより、メタ情報ファイルのデータ量を低減するようにして、実施例１と同一の効果を得ることができる。また再生時、記録媒体へのアクセス速度を向上することができる。

図１６は、本発明の実施例６に係るビデオカメラにおける代表画像の処理の説明に供する略線図である。なおこの実施例では、以下に説明する代表画像の処理に関する構成が異なる点を除いて、実施例１、実施例５のビデオカメラと同一に構成されることにより、以下の説明では、実施例１の図面を流用して説明し、また重複した説明は省略する。

ここでこの実施例のビデオカメラにおいて、圧縮／解凍部２４は、順次循環的にピクチャータイプを設定してＧＯＰを設定し、ビデオストリームを符号化処理する。また制御部３の制御に従ってユーザーによる動作モードの設定によりＧＯＰ構造を切り換える。具体的に例えばユーザーが高画質モードを選択した場合、圧縮／解凍部２４は、オープンＧＯＰでビデオストリームを生成するのに対し、ユーザーがノーマルモードを選択した場合、クローズドＧＯＰでビデオストリームを生成する。なお予め決められた周期でオープンまたはクローズドＧＯＰでビデオストリームが生成されてもよい。ここでオープンＧＯＰは、ＧＯＰ内におけるピクチャーの参照ピクチャーの一部が、直前のＧＯＰに存在するＧＯＰ構造であり、一般にクローズドＧＯＰに比して画質が良い特徴がある。これに対してクローズドＧＯＰは、１つのＧＯＰ内のピクチャーにおける参照ピクチャーが、当該ＧＯＰ内に存在するＧＯＰ構造である。

また圧縮／解凍部２４は、１つ又は複数のＧＯＰ毎に、サムネイル画像データを作成して代表画像の画像データを生成する。また代表画像の画像データをＪＰＥＧのフォーマットでデータ圧縮して制御部３に出力する。このとき圧縮／解凍部２４は、対応するＧＯＰがオープンＧＯＰの場合とクローズドＧＯＰの場合とで、同一の解像度でサムネイル画像を作成する。また対応するＧＯＰがクローズドＧＯＰの場合、オープンＧＯＰの場合に比して高画質にデータ圧縮する。従ってオープンＧＯＰの代表画像は、クローズドＧＯＰの場合に比して、データ量が多くなるように符号化処理される。

このとき図１６（Ａ）及び（Ｂ）に示すように、圧縮／解凍部２４は、ビデオストリームのＧＯＰの種類に応じて、代表画像を作成するピクチャーを切り換える。具体的に、ビデオストリームがクローズドＧＯＰの場合、対応する１つ又は複数のＧＯＰを構成するピクチャーの中から、表示順序で先頭のピクチャーから代表画像を生成する。これに対してビデオストリームがオープンＧＯＰの場合、対応する１つ又は複数のＧＯＰを構成するピクチャーの中から、表示順序で先頭のＩピクチャーから代表画像を生成する。

これにより図１６に示すように、制御部３は、ＧＯＰ構造が途中で切り換えられて繋ぎ取り録画によりビデオストリームを記録する場合には、このＧＯＰ構造の切り換えに応動して代表画像を生成するピクチャーを切り換える。これによりこのビデオカメラでは、フィルムロール再生する場合、代表画像を基準にしてビデオストリームを編集処理し、編集処理結果を他の機器で再生する場合、代表画像とビデオストリームとの整合性を乱さないようにする。

従ってこの図１６の例では、先頭の代表画像データＪＰＥＧ１は、先頭のクローズドＧＯＰの先頭ピクチャーであるＩピクチャーＩＤＲから作成され、続く代表画像データＪＰＥＧ２は、続くオープンＧＯＰの先頭ＩピクチャーＩ２から作成される。また続く代表画像データＪＰＥＧ３は、続くクローズドＧＯＰの先頭ピクチャーであるＢピクチャーＢ０から作成され、続く代表画像データＪＰＥＧ４は、続くオープンＧＯＰの先頭ＩピクチャーＩ２から作成される。

また制御部３は、各代表画像のデユレーション（duration ）に、代表画像を作成したピクチャーの再生を開始して、続く代表画像を作成したピクチャーの再生を開始するまでの、ビデオストリーム上における再生時間を割り当て、このデユレーション（duration ）を各代表画像のサンプルテーブルボックス（sample table box）に記録する。従ってこの場合、制御部３は、各代表画像のサンプル時間長を対応するビデオストリームの再生時間長によりメタ情報ファイルに記録する。

なおこの実施例では、他の機器でＡＶファイルを記録した記録媒体３３が装着されて、ユーザーがメタ情報ファイルの作成を指示した場合にも、同様にしてＧＯＰの種類によって代用画像を作成するピクチャーを切り換えて、メタ情報ファイルを作成する。

これにより図１７に示すように、このビデオカメラは、撮影時、順次得られる連続するピクチャーＰ１、Ｐ２、……による動画像から矢印Ａにより示すようにＡＶファイルを作成して記録媒体３３に記録する。また矢印Ｂにより示すように、連続するピクチャーＰ１、Ｐ２、……からピクチャーを選択して代表画像の画像データＪＰＥＧを作成し、この代表画像の画像データＪＰＥＧを各種の情報と共にメディアデータボックス（media data box）、ムービーボックス（movie box ）にそれぞれ格納してメタ情報ファイルを作成する。

また制御部３は、ユーザーによりフィルムロール再生が指示されると、図８について上述したと同様にして、矢印Ｃにより示すように、メタ情報ファイルから代表画像の画像データＪＰＥＧを再生して表示し、また矢印Ｄにより示すように、対応するビデオストリームを再生して表示する。このときユーザーが何れかの代表画像を選択すると、矢印Ｅ及びＦにより示すように、この代表画像のサンプルテーブルボックス（sample table box）の記録から、対応するビデオストリームにおける再生位置を検出し、ビデオストリームの再生位置を切り換えて表示を切り換える。

このとき制御部３は、メタ情報ファイルのエディットリストボックス（edit list box）に格納されたタイムオフセットを使用しないで、デユレーション（duration ）に記録された再生時間を、先頭代表画像からユーザーが選択した代表画像の直前代表画像まで積算した積算時間を計算し、この積算時間による再生時間情報を用いてビデオストリームの再生開始位置を特定してビデオストリームを再生する。これにより制御部３は、代表画像を種々にユーザーが選択した場合でも、簡易かつ迅速にビデオストリームの再生、表示を切り換える。

また制御部３は、このように代表画像に基づいてビデオストリームの再生、表示を切り換えて、ユーザーが代表画像を指定して編集点の設定を指示すると、ユーザーが指定した代表画像に対応するようにビデオストリームに編集点を設定する。また制御部３は、このようにして設定した編集点によりビデオストリームの編集処理が指示されると、ＧＯＰ単位でビデオストリームを処理して編集結果のＡＶファイルを作成する。なおここでこの場合、編集点の設定に応じてビデオストリームを部分的に再生して外部機器に出力するようにして、外部機器を用いて編集処理するようにしてもよい。これにより制御部３は、ＡＶファイルを破壊編集処理する。

この場合も制御部３は、イン点側については、代表画像のユーザーの選択によりビデオストリームを再生する場合と同様に、先頭代表画像からユーザーの選択した代表画像の直前の代表画像までの、デユレーション（duration ）に記録された時間の積算時間をビデオストリームの再生側に渡すことにより、ユーザーが指定した代表画像に対応するピクチャーから再生を開始するように設定する。

すなわち図１８に示すように、ユーザーが符号ＪＰＥＧ３の代表画像を選択してイン点に設定した場合であって、この代表画像の対応するＧＯＰがクローズドＧＯＰの場合、制御部３は、直前の２つの代表画像ＪＰＥＧ１、ＪＰＥＧ２のデユレーション（duration ）を積算して、代表画像ＪＰＥＧ３に対応するＢピクチャーＢ０の再生開始位置を検出する。またこの場合、対応するＧＯＰがクローズドＧＯＰであることから、この積算した時間情報により、矢印Ｇで示すように、対応するＧＯＰの先頭ピクチャーであるＢピクチャーＢ０からビデオストリームを切り出して編集結果のＡＶファイルを作成する。ここでＧＯＰ単位で破壊編集を行う場合は、ＧＯＰの復号順序（decoding order）で先頭のＩ又はＩＤＲピクチャーが編集点となる。従ってユーザが指示した代表画像がＩ又はＩＤＲピクチャーから生成されたもの場合、この代表画像の対応するピクチャーは復号順序（decoding order）の先頭であることから、復号順序（decoding order）で先頭の位置で分離される。これに対してユーザが指示した代表画像がＢピクチャーから生成されたもの場合は、このＢピクチャーが参照しているＩＤＲピクチャーで復号順序（decoding order）の先頭の位置のピクチャから分離される。よって、この場合は復号順序（decoding order）で先頭のＩＤＲ２から分離される。従ってこの図１８の例では、ユーザーの指定した代表画像に対応するピクチャーＢ０から再生可能に、編集結果のＡＶファイルを作成することができる。

これに対して図１９に示すように、ユーザーが符号ＪＰＥＧ２の代表画像を選択してイン点に設定した場合であって、この代表画像の対応するＧＯＰがオープンＧＯＰの場合、制御部３は、直前の代表画像ＪＰＥＧ１のデユレーション（duration ）により、代表画像ＪＰＥＧ２に対応するＩピクチャーＩ２の再生開始位置を検出する。またこの場合、対応するＧＯＰがオープンＧＯＰであることから、この積算した時間情報に基づいて、矢印Ｈで示すように、対応するＧＯＰの先頭ピクチャーであるＢピクチャーＢ０からビデオストリームを切り出して編集結果のＡＶファイルを作成する。なお、ＧＯＰ単位で破壊編集が行われる場合、オープンＧＯＰの構造は図１５のＩＤＲ２をＩ２に変えたものとなり、Ｉ２はdecoding orderで先頭であるので、同様にＩ２から分離される。ここでこの場合、切り出した先頭２つのＢピクチャーＢ０、Ｂ１は、参照ピクチャーが、切り出す前の直前ＧＯＰであることから、切り出した後は、デコードされないことになる。従ってこの場合も、ユーザーの指定した代表画像に対応するピクチャーＩ２から再生可能に、編集結果のＡＶファイルを作成することができる。非破壊編集されたファイルを他機で再生する場合も同様である。

なおアウト点側については、ユーザーが指定した代表画像を作成したピクチャーを含むＧＯＰが末尾のＧＯＰとなるようにビデオストリームを切り出してＡＶファイルを作成する。なおこの実施例のビデオカメラは、一旦、撮像結果をＡＶファイルとして記録した後、ユーザーの指示によりメタ情報ファイルを作成し、さらには編集処理する場合もある。この場合も、このビデオカメラは、上述した同様にして動画ファイルのＧＯＰの種類に応じて、代表画像を作成するピクチャーを切り換える。なおこの場合に、ビデオストリームを構成するＧＯＰがオープンＧＯＰかクローズドＧＯＰかの判断は、ビデオストリームのコーデックがＭＰＥＧ２の場合、ＧＯＰ毎にＧＯＰの構造を示すフラグがビデオストリーム中に存在することから、記録時にクローズドＧＯＰで記録する場合はこのフラグを１にセットし、メタ情報ファイルの作成時、このフラグを判定して実行する。またビデオストリームのコーデックがＭＰＥＧ（Moving Picture Experts Group）−４ＡＶＣ(Advanced Video Coding）の場合、ＧＯＰ毎に、プロファイル、符号化モードなどを記録したSequence Parameter Set NAL Unitを記録し、再生時、Sequence Parameter Set NAL Unitを検出し、そのＧＯＰの先頭のピクチャがIDR-I Pictureの場合は、クローズドＧＯＰと判断し、先頭ピクチャがIDRでないI Pictureの場合はオープンＧＯＰと判断する。

この実施例によれば、代表画像の対応する動画ファイルのＧＯＰの種類に応じて、代表画像を作成するピクチャーを切り換えることにより、より具体的には、対応する動画ファイルのＧＯＰがクローズドＧＯＰの場合、表示順序の先頭ピクチャーから代表画像を作成し、対応する動画ファイルのＧＯＰがオープンＧＯＰの場合、先頭のＩピクチャーから代表画像を作成することにより、フィルムロール再生する場合、代表画像を基準にしてビデオストリームを編集処理し、編集処理結果を他の機器で再生する場合、代表画像とビデオストリームとの整合性を乱さないようにすることができる。

なお上述の実施例においては、ビデオデータをデータ圧縮してＡＶファイルを作成する場合について述べたが、本発明はこれに限らず、何らデータ圧縮処理していないビデオデータによりＡＶファイルを作成する場合等にも広く適用することができる。

また上述の実施例においては、本発明をビデオカメラに適用する場合について述べたが、本発明はこれに限らず、種々の映像機器に広く適用することができる。

本発明は、記録装置、記録方法、記録方法のプログラム、記録方法のプログラムを記録した記録媒体、再生装置、再生方法、再生方法のプログラム及び再生方法のプログラムを記録した記録媒体に関し、例えばビデオカメラに適用することができる。

本発明の実施例１に係るビデオカメラに適用されるＡＶファイルを示す図表である。 本発明の実施例１に係るビデオカメラを示すブロック図である。 図１のＡＶファイルをさらに詳細に示す図表である。 図２のＡＶファイルとメタ情報ファイルとの関係を示す図表である。 図２のビデオカメラによるメタ情報ファイルを示す図表である。 図５のメタ情報ファイルにおけるユーザーメタデータボックスを示す図表である。 図３のＡＶファイルにおける代表画像の説明に供するタイムチャートである。 フィルムロール再生の説明に供する平面図である。 再生開始時等における中央処理ユニットの処理手順を示すフローチャートである。 本発明の実施例２に係るビデオカメラに適用されるＡＶファイルを示す図表である。 図１０のＡＶファイルにおけるビデオトラックボックスとモーションサムネイルトラックとの関係を示す図表である。 図１０のＡＶファイルにおけるユーザーメタデータボックスを示す図表である。 図１０のＡＶファイルにおける代表画像の説明に供するタイムチャートである。 本発明の実施例４に係るビデオカメラの中央処理ユニットの処理手順を示すフローチャートである。 本発明の実施例５に係るビデオカメラにおける代表画像の説明に供する略線図である。 本発明の実施例６に係るビデオカメラにおける代表画像の処理の説明に供する略線図である。 図１６の代表画像を用いたフィルムロール再生を示す略線図である。 図１６の代表画像を使用した編集処理の説明に供する略線図である。 対応ピクチャーがオープンＧＯＰの場合の処理を示す略線図である。

符号の説明

１……ビデオカメラ、２……カメラ部、３……制御部、４……カメラＤＳＰ、２４……圧縮／解凍部、３３……記録媒体、４１……中央処理ユニット

Claims (14)

1. 動画を動画ファイルとして記録媒体に記録する動画記録制御手段と、
   前記動画を構成するフレーム画像の所定グループを代表する代表画像を生成する代表画像生成手段と、
   前記代表画像を代表画像ファイルとして前記記録媒体に記録する代表画像記録制御手段とを備え、
   前記代表画像記録制御手段は、
   前記代表画像を格納する代表画像格納部と、前記代表画像格納部に格納した前記代表画像の再生を制御する制御情報を、前記制御情報の種別に応じて階層的に格納する制御情報格納部とを有するファイル構造により前記代表画像ファイルを作成し、
   前記制御情報格納部の第１階層に、前記制御情報格納部に格納した情報が、前記代表画像を制御する制御情報であることを示す情報を格納し、
   前記第１階層より下位階層である第２階層に、前記動画ファイルの更新日時を示す情報を格納し、
   前記第２階層より下位階層である第３階層に、１つの前記代表画像を最小再生単位として再生制御するための前記制御情報を格納する
   ことを特徴とする記録装置。
2. 前記代表画像記録制御手段は、
   前記第１階層である同一階層に、前記動画を特定する情報を格納する
   ことを特徴とする請求項１に記載の記録装置。
3. 前記代表画像記録制御手段は、
   前記動画ファイルの更新日時の情報を、前記制御情報格納部における前記第２階層とは異なる階層にさらに記録する
   ことを特徴とする請求項１に記載の記録装置。
4. 前記代表画像記録制御手段は、
   前記代表画像ファイルの拡張子を除くファイル名を前記動画ファイルの拡張子を除くファイル名と同一に設定する
   ことを特徴とする請求項１に記載の記録装置。
5. 代表画像記録制御手段は、
   前記代表画像をデータ圧縮して一定のデータサイズで前記代表画像格納部に格納する
   ことを特徴とする請求項１に記載の記録装置。
6. 前記所定のグループは、
   １又は複数のＧＯＰであり、
   前記代表画像生成手段は、
   前記代表画像の対応する前記動画ファイルのＧＯＰの種類に応じて、前記代表画像を作成するピクチャーを切り換える
   ことを特徴とする請求項１に記載の記録装置。
7. 前記ピクチャーの切り換えが、
   前記対応する前記動画ファイルのＧＯＰがクローズドＧＯＰの場合、表示順序の先頭ピクチャーであり、
   前記対応する前記動画ファイルのＧＯＰがオープンＧＯＰの場合、先頭のＩピクチャーである
   ことを特徴とする請求項６に記載の記録装置。
8. 動画を動画ファイルとして記録媒体に記録する動画記録制御のステップと、
   前記動画を構成するフレーム画像の所定グループを代表する代表画像を生成する代表画像生成のステップと、
   前記代表画像を代表画像ファイルとして前記記録媒体に記録する代表画像記録制御のステップとを備え、
   前記代表画像記録制御のステップは、
   前記代表画像を格納する代表画像格納部と、前記代表画像格納部に格納した前記代表画像の再生を制御する制御情報を、前記制御情報の種別に応じて階層的に格納する制御情報格納部とを有するファイル構造により前記代表画像ファイルを作成し、
   前記制御情報格納部の第１階層に、前記制御情報格納部に格納した情報が、前記代表画像を制御する制御情報であることを示す情報を格納し、
   前記第１階層より下位階層である第２階層に、前記動画ファイルの更新日時を示す情報を格納し、
   前記第２階層より下位階層である第３階層に、１つの前記代表画像を最小再生単位として再生制御するための前記制御情報を格納する
   ことを特徴とする記録方法。
9. 演算処理手段の実行により動画を記録媒体に記録する記録方法のプログラムにおいて、
   前記動画を動画ファイルとして前記記録媒体に記録する動画記録制御のステップと、
   前記動画を構成するフレーム画像の所定グループを代表する代表画像を生成する代表画像生成のステップと、
   前記代表画像を代表画像ファイルとして前記記録媒体に記録する代表画像記録制御のステップとを備え、
   前記代表画像記録制御のステップは、
   前記代表画像を格納する代表画像格納部と、前記代表画像格納部に格納した前記代表画像の再生を制御する制御情報を、前記制御情報の種別に応じて階層的に格納する制御情報格納部とを有するファイル構造により前記代表画像ファイルを作成し、
   前記制御情報格納部の第１階層に、前記制御情報格納部に格納した情報が、前記代表画像を制御する制御情報であることを示す情報を格納し、
   前記第１階層より下位階層である第２階層に、前記動画ファイルの更新日時を示す情報を格納し、
   前記第２階層より下位階層である第３階層に、１つの前記代表画像を最小再生単位として再生制御するための情報を格納する
   ことを特徴とする記録方法のプログラム。
10. 演算処理手段の実行により動画を記録媒体に記録する記録方法のプログラムを記録した記録媒体において、
    前記記録方法のプログラムは、
    前記動画を動画ファイルとして前記記録媒体に記録する動画記録制御のステップと、
    前記動画を構成するフレーム画像の所定グループを代表する代表画像を生成する代表画像生成のステップと、
    前記代表画像を代表画像ファイルとして前記記録媒体に記録する代表画像記録制御のステップとを備え、
    前記代表画像記録制御のステップは、
    前記代表画像を格納する代表画像格納部と、前記代表画像格納部に格納した前記代表画像の再生を制御する制御情報を、前記制御情報の種別に応じて階層的に格納する制御情報格納部とを有するファイル構造により前記代表画像ファイルを作成し、
    前記制御情報格納部の第１階層に、前記制御情報格納部に格納した情報が、前記代表画像を制御する制御情報であることを示す情報を格納し、
    前記第１階層より下位階層である第２階層に、前記動画ファイルの更新日時を示す情報を格納し、
    前記第２階層より下位階層である第３階層に、１つの前記代表画像を最小再生単位として再生制御するための前記制御情報を格納する
    ことを特徴とする記録方法のプログラムを記録した記録媒体。
11. 記録媒体に記録された動画ファイルと代表画像ファイルとを再生する再生装置であって、
    前記代表画像ファイルは、
    前記動画ファイルを構成するフレーム画像の所定グループを代表する代表画像を格納する代表画像格納部と、前記代表画像格納部に格納した前記代表画像の再生を制御する制御情報を、前記制御情報の種別に応じて階層的に格納する制御情報格納部とを有し、
    前記制御情報格納部の第１階層に、前記制御情報格納部に格納した情報が、前記代表画像を制御する制御情報であることを示す情報を格納し、
    前記第１階層より下位階層である第２階層に、前記動画ファイルの更新日時を示す情報を格納し、
    前記第２階層より下位階層である第３階層に、１つの前記代表画像を最小再生単位として再生制御するための前記制御情報を格納し、
    前記再生装置は、
    前記記録媒体に記録された前記動画ファイル、前記代表画像ファイルを再生するデータ再生部と、
    前記データ再生部で再生された前記動画ファイルの動画、前記代表画像ファイルの代表画像を表示する表示部と、
    前記データ再生部で再生されたデータを処理して、前記表示部の表示を制御する制御部とを備え、
    前記制御部は、
    前記代表画像の制御情報に基づいて、前記記録媒体に記録された複数枚の前記代表画像を前記表示部で一覧表示すると共に、ユーザーの操作に応動して、前記一覧表示の代表画像を切り換え、
    該一覧表示した代表画像の選択を受け付け、
    前記代表画像の制御情報に基づいて、該選択された代表画像に対応する前記フレーム画像を前記表示部で表示する
    ことを特徴とする再生装置。
12. 記録媒体に記録された動画ファイルと代表画像ファイルとを再生する再生方法であって、
    前記代表画像ファイルは、
    前記動画ファイルを構成するフレーム画像の所定グループを代表する代表画像を格納する代表画像格納部と、前記代表画像格納部に格納した前記代表画像の再生を制御する制御情報を、前記制御情報の種別に応じて階層的に格納する制御情報格納部とを有し、
    前記制御情報格納部の第１階層に、前記制御情報格納部に格納した情報が、前記代表画像を制御する制御情報であることを示す情報を格納し、
    前記第１階層より下位階層である第２階層に、前記動画ファイルの更新日時を示す情報を格納し、
    前記第２階層より下位階層である第３階層に、１つの前記代表画像を最小再生単位として再生制御するための前記制御情報を格納し、
    前記再生方法は、
    前記記録媒体に記録された前記動画ファイル、前記代表画像ファイルを再生するデータ再生のステップと、
    前記データ再生のステップで再生された前記動画ファイルの動画、前記代表画像ファイルの代表画像を表示する表示のステップと、
    前記データ再生のステップで再生されたデータを処理して、前記表示のステップの表示を制御する制御のステップとを備え、
    前記制御のステップは、
    前記代表画像の制御情報に基づいて、前記記録媒体に記録された複数枚の前記代表画像を前記表示のステップで一覧表示すると共に、ユーザーの操作に応動して、前記一覧表示の代表画像を切り換え、
    該一覧表示した代表画像の選択を受け付け、
    前記代表画像の制御情報に基づいて、該選択された代表画像に対応する前記フレーム画像を前記表示のステップで表示する
    ことを特徴とする再生方法。
13. 演算処理手段の実行により記録媒体に記録された動画ファイルと代表画像ファイルとを再生する再生方法のプログラムであって、
    前記代表画像ファイルは、
    前記動画ファイルを構成するフレーム画像の所定グループを代表する代表画像を格納する代表画像格納部と、前記代表画像格納部に格納した前記代表画像の再生を制御する制御情報を、前記制御情報の種別に応じて階層的に格納する制御情報格納部とを有し、
    前記制御情報格納部の第１階層に、前記制御情報格納部に格納した情報が、前記代表画像を制御する制御情報であることを示す情報を格納し、
    前記第１階層より下位階層である第２階層に、前記動画ファイルの更新日時を示す情報を格納し、
    前記第２階層より下位階層である第３階層に、１つの前記代表画像を最小再生単位として再生制御するための前記制御情報を格納し、
    前記再生方法は、
    前記記録媒体に記録された前記動画ファイル、前記代表画像ファイルを再生するデータ再生のステップと、
    前記データ再生のステップで再生された前記動画ファイルの動画、前記代表画像ファイルの代表画像を表示する表示のステップと、
    前記データ再生のステップで再生されたデータを処理して、前記表示のステップの表示を制御する制御のステップとを備え、
    前記制御のステップは、
    前記代表画像の制御情報に基づいて、前記記録媒体に記録された複数枚の前記代表画像を前記表示のステップで一覧表示すると共に、ユーザーの操作に応動して、前記一覧表示の代表画像を切り換え、
    該一覧表示した代表画像の選択を受け付け、
    前記代表画像の制御情報に基づいて、該選択された代表画像に対応する前記フレーム画像を前記表示のステップで表示する
    ことを特徴とする再生方法のプログラム。
14. 演算処理手段の実行により記録媒体に記録された動画ファイルと代表画像ファイルとを再生する再生方法のプログラムを記録した記録媒体であって、
    前記代表画像ファイルは、
    前記動画ファイルを構成するフレーム画像の所定グループを代表する代表画像を格納する代表画像格納部と、前記代表画像格納部に格納した前記代表画像の再生を制御する制御情報を、前記制御情報の種別に応じて階層的に格納する制御情報格納部とを有し、
    前記制御情報格納部の第１階層に、前記制御情報格納部に格納した情報が、前記代表画像を制御する制御情報であることを示す情報を格納し、
    前記第１階層より下位階層である第２階層に、前記動画ファイルの更新日時を示す情報を格納し、
    前記第２階層より下位階層である第３階層に、１つの前記代表画像を最小再生単位として再生制御するための前記制御情報を格納し、
    前記再生方法は、
    前記記録媒体に記録された前記動画ファイル、前記代表画像ファイルを再生するデータ再生のステップと、
    前記データ再生のステップで再生された前記動画ファイルの動画、前記代表画像ファイルの代表画像を表示する表示のステップと、
    前記データ再生のステップで再生されたデータを処理して、前記表示のステップの表示を制御する制御のステップとを備え、
    前記制御のステップは、
    前記代表画像の制御情報に基づいて、前記記録媒体に記録された複数枚の前記代表画像を前記表示のステップで一覧表示すると共に、ユーザーの操作に応動して、前記一覧表示の代表画像を切り換え、
    該一覧表示した代表画像の選択を受け付け、
    前記代表画像の制御情報に基づいて、該選択された代表画像に対応する前記フレーム画像を前記表示のステップで表示する
    ことを特徴とする再生方法のプログラムを記録した記録媒体。
    

Images