JP2006074531A - データ記録再生装置及び方法 - Google Patents

Abstract

【課題】 ＩＳＯベースメディアファイル形式及び類似形式のマルチメディアデータの特殊再生処理の効率化を実現すること。
【解決手段】 マルチメディアデータ中の動画像データ中のキーフレームを特定する情報を再生制御データとして生成し、再生制御データを、マルチメディアデータの所定位置に配置する。特殊再生時には、この再生制御データを用いることで、ランダムアクセス等に用いるキーフレームを容易に特定、読み出して再生することが可能である。再生制御データをマルチメディアデータの、従来機器が無視する領域に配置することで、ファイル互換性も維持することができる。
【選択図】 図３

Description

本発明は、動画像データを含むマルチメディアデータを記録、再生する技術に関し、特に、ＩＳＯベースメディアファイル形式又は類似形式を有するマルチメディアデータの特殊再生を効率的に処理するための技術に関する。

近年、携帯電話機やＰＤＡ、パーソナルコンピュータ（ＰＣ）、その他様々なコンピューティングデバイスの処理能力は格段に向上し、動画像や音声といったマルチメディアデータを容易に取り扱うことが可能になりつつある。

このような動画像や音声を圧縮符号化する技術も進歩し、国際標準規格としてＩＳＯ（International Organization for Standardization）によって規格化されたＭＰＥＧ−２方式やＭＰＥＧ−４方式などが知られている。これらＭＰＥＧ圧縮符号化方式においては、予測符号化の違いにより、Ｉ、Ｐ、Ｂの３種類のピクチャ（ＶＯＰ）によって画像が構成される。Ｉピクチャはフレーム内符号化画像、Ｐピクチャは過去の画像を用いたフレーム間順方向予測符号化画像、Ｂピクチャは過去と未来の画像を用いた双方向予測符号化画像である。

このうち他のピクチャなしで復号できるのはＩピクチャのみである。したがって、ランダムアクセスや早送り等の特殊再生ような前後関係の崩れるような操作は、復号の基準となるＩピクチャにアクセスすることにより実現される。

しかしながら、このようなランダムアクセス時のＩピクチャへのアクセスは複雑な処理であるため、復号時の処理を効率化し、遅延を小さくすることが望まれる。そこで、ＭＰＥＧ−２方式で圧縮符号化された画像データの記録再生装置において、Ｉピクチャデータを確実に得て、特殊再生をスムーズに行う手法が提案されている（例えば、特許文献１、特許文献２参照）。

また、ＩＳＯでは、メディアの交換、管理、編集を容易にする、柔軟で拡張可能なメディアファイル形式のための基本フォーマットとして、ＩＳＯベースメディアファイル形式（ISO Base Media File Format）（以下、単に「ＩＳＯファイル形式」と記載）を規格化している（ISO/IEC 14496-12）。

このＩＳＯファイル形式をベースとして、特定の符号化形式のデータを記録するために拡張されたファイル形式も規格化されており、ＭＰＥＧ−４方式の動画像・音声符号化データを記録するためのＭＰ４ファイル形式（ISO/IEC 14496-14）や、Ｍｏｔｉｏｎ ＪＰＥＧ ２０００ファイル形式（ISO/IEC 15444-3）、ＡＶＣファイル形式（ISO/IEC 14496-15）、第３世代移動体通信システムの標準化プロジェクトである３ＧＰＰファイル形式（3rd Generation Partnership Project）、３ＧＰＰから派生したプロジェクト３ＧＰＰ２ファイル形式（3rd Generation Partnership Project 2）などが標準化されている。

ＩＳＯファイル形式（及びＩＳＯファイル形式をベースとする上述のファイル形式）は、Ｂｏｘと呼ばれる以下のような入れ子型のデータ構造で構成される。
class Box {
unsigned int(32) size;
byte type[4];
byte data[];
};
sizeは、Ｂｏｘのデータ長を示すフィールドである。
typeは、Ｂｏｘの種類を示すフィールドで、各Boxに対して割り当てられている４文字（４バイト）の識別子がセットされる。
dataは、Ｂｏｘが内包するデータの実体であり、内容はtypeによって異なる。尚、Ｂｏｘは階層構造を持つことができ、一つ以上のＢｏｘを内包することが可能になっているため、dataは他のＢｏｘになることもある。

図１は、ＩＳＯファイル形式で定義されているＢｏｘの一覧を示す図である。
図１において、左から６列目までの列は、ＩＳＯファイル形式で定義されているＢｏｘの種類と、その包含関係を示す。一番右の列には、該当する行のＢｏｘの説明が示される。

上述したように各Ｂｏｘには、その種類を識別するための４バイトのtypeが割り当てられており、通常は４文字の英数字で表現される。この４文字のtypeが左６列中に記載されている。以降の説明では、特定のＢｏｘを示すためにこのtypeを用いて表現する。

あるＢｏｘが他のＢｏｘを包含する関係は、列同士の位置関係によって示している。このテーブルでは、ある列のＢｏｘは、その列よりも右側に位置する列で示されるＢｏｘを包含していることを表している。例えば、上から二番目の行で示される'moov'は、'mvhd'、'trak'、'mvex'を含んでいることを意味する。

図２は、ＩＳＯファイル形式のデータ構造を単純化して示す図である。
ＩＳＯファイル形式のＢｏｘ構成は通常、図２で示されるように、動画像や音声サンプルの管理情報のような、メディアデータのメタデータを格納するためのmoov２０１と、動画像や音声のサンプルデータのような実際のメディアデータを格納するmdat２０２とから構成される。

moov２０１内には、個々のメディアデータに対応するtrakと呼ばれるＢｏｘ２０３が包含される。また、mdat２０２内のメディアデータは、チャンク(chunk)と呼ばれる動画像や音声の連続する複数サンプルのセットに分割されて格納されており、mdat２０２のdataフィールドにはチャンクの配列が格納される。なお、このチャンクのサイズや含まれるサンプルの個数には特に制約はなく、環境や状況に応じて任意の大きさやサンプル数を持つチャンクを構成し、格納することが出来る。

このようなＩＳＯファイル形式においては、ランダムアクセス（特殊再生）処理用の情報として、ランダムアクセスポイントを特定するためのデータ構造が規定されている。
ランダムアクセスは主にstbl２０４に含まれている子Ｂｏｘを使うことによって行われる。
stts(time-to-sample)２０５は、トラックのサンプルがどの時刻と対応するかを示している。与えられた時刻以前の最初のサンプルを見つけるために、このＢｏｘを使用する。尚、ここではstts２０５を例に挙げたが、図１のcttsと呼ばれるＢｏｘを使用しても、同様に与えられた時刻以前の最初のサンプルを見つけることが可能である。

しかし、見つかったサンプルはランダムアクセスポイントではないかもしれない為、最も近いランダムアクセスポイントを見つけるには更に以下のＢｏｘを調べる必要がある。
stss(sync sample table)２０６は、どのサンプルが実際のランダムアクセスポイントであるかを示す。このＢｏｘを使用すると、与えられた時刻以前の最初のサンプル番号を探すことが出来る。stss２０６が無い場合は、すべてのサンプルがランダムアクセスポイントであることを示しているため、ランダムアクセスは容易になる。
この時点で、ランダムアクセスのために使用すべきサンプル番号を見つけることができた。次に、このサンプル番号がどのチャンクに配置されているかを決定するため、stsc(sample-to-chunk)２０７を使用する。

更に、そのチャンクがどこで始まるかを解決するためにstco(chunk offset)２０８を使用する。尚、ここではstcoを例に挙げたが、図１のco64(64bit chunk offeset)と呼ばれるＢｏｘを使用しても、同様にチャンクのオフセット位置を知ることが可能である。

このオフセットから出発し、このチャンク内での目的のサンプルが配置されている位置までの間に存在する各サンプルのサイズをstsz(sample size)２０９から取得し、サイズの総和を計算する。この総サイズを目的のチャンクオフセット位置に加えた位置が、目的とするサンプルの開始位置となる。

このようにして得られるサンプルの開始位置及びサイズを用いて、mdat２０２からランダムアクセスに用いるサンプルデータを特定することが可能になる。

特開平１１−２６１９６４号公報 特開２０００−２２４５４３号公報

しかしながら、上記特許文献１に提案される方式は、多重化された動画像や音声データとは別に記録した管理ファイルを用いて、高速再生の効率化を実現するための手法であり、例えばコンテンツデータのコピーなどにより、コンテンツと対応する管理ファイルとの関連が壊れると、効率的な高速再生を実現することができなくなるといった問題を有している。

また、上記特許文献２に提案される方式は、ＭＰＥＧ−２方式による画像データの記録再生装置における効率的な特殊再生を実現するための手法であり、ＩＳＯベースメディアファイル形式の特殊再生時の処理を効率的に行う手法については言及されていない。

また、ＩＳＯファイル形式データの特殊再生を行うためには、上述したようなランダムアクセスポイントを特定するデータ構造を用いた演算処理により、所望のデータへアクセスすることが可能であるが、ヘッダの構成及び関連が複雑であるため、その演算処理にも時間がかかる。

本発明は以上の課題に鑑みて成されたものであり、ＩＳＯファイル形式又は類似形式を有するマルチメディアデータの特殊再生に必要なフレーム抽出処理を効率化することを目的とする。

上述の目的を達成するため、例えば本発明のデータ記録装置は、符号化された動画像データから、ランダムアクセス可能なキーフレームを検出するキーフレーム検出手段と、キーフレーム検出手段によって検出されたキーフレームの各々に対し、動画像データ中での時間位置及びデータ位置を特定可能な情報を含む再生制御データを生成する制御データ生成手段と、動画像データと、再生制御データとを含んだマルチメディアデータを生成するマルチメディアデータ生成手段とを有することを特徴とする。

また、上述の目的は、符号化された動画像データと、当動画像データ中に含まれるランダムアクセス可能なキーフレームの時間位置及びデータ位置を特定可能な情報を含む再生制御データを含むマルチメディアデータを再生するためのデータ再生装置であって、特殊再生要求によって指定された再生開始時刻と、再生制御データとから、再生を行うべき動画像データ中のキーフレームを特定するデータ特定手段と、再生制御データを用いて、再生を行うべき動画像データ中のキーフレームのデータを動画像データから読み出す読み出し手段と、読み出したキーフレームデータを復号化し、再生する再生手段とを有することを特徴とする本発明のデータ再生装置によっても達成される。

また、上述の目的は、本発明のデータ記録装置とデータ再生装置とからなるデータ記録再生装置によっても達成される。

また、上述の目的は、コンピュータを本発明のデータ記録装置とデータ再生装置の少なくとも一方として機能させるプログラム及び、当該プログラムを格納したコンピュータ読み取り可能な記録媒体によっても達成される。

また、上述の目的は、符号化された動画像データから、ランダムアクセス可能なキーフレームを検出するキーフレーム検出ステップと、キーフレーム検出手段によって検出されたキーフレームの各々に対し、動画像データ中での時間位置及びデータ位置を特定可能な情報を含む再生制御データを生成する制御データ生成ステップと、動画像データと、再生制御データとを含んだマルチメディアデータを生成するマルチメディアデータ生成ステップとを有することを特徴とするデータ記録方法によっても達成される。

また、上述の目的は、符号化された動画像データと、当動画像データ中に含まれるランダムアクセス可能なキーフレームの時間位置及びデータ位置を特定可能な情報を含む再生制御データを含むマルチメディアデータを再生するためのデータ再生方法であって、特殊再生要求によって指定された再生開始時刻と、再生制御データとから、再生を行うべき動画像データ中のキーフレームを特定するデータ特定ステップと、再生制御データを用いて、再生を行うべき動画像データ中のキーフレームのデータを動画像データから読み出す読み出しステップと、読み出したキーフレームデータを復号化し、再生する再生ステップとを有することを特徴とするデータ再生方法によっても達成される。

このような構成により、本発明によれば、ＩＳＯファイル形式又は類似形式を有するマルチメディアデータの特殊再生に必要なフレーム抽出処理を効率化することができる。

以下、添付図面を参照して、本発明をＩＳＯファイル形式のデータ構造を記録再生する装置に適用した好適な実施形態に従って詳細に説明する。

なお、本実施形態はコンテンツデータがＩＳＯファイル形式である場合について説明するが、ＩＳＯファイル形式に限らず、ＩＳＯファイル形式をベースとする他のファイル形式、例えば上述したＭＰ４ファイル形式やＡＶＣファイル形式や３ＧＰＰファイル形式など、類似のファイル形式およびアーキテクチャを用いるコンテンツデータに対しても、本発明を適用することが可能である。

また、以下に説明する具体的な構成や手法は例示的かつ非限定的なものであり、他の同等物、変形物などを利用可能であることは当業者にとって容易に理解されるであろう。

［第１の実施形態］
（記録装置）
図３は、本発明の一実施形態としてのデータ記録装置の基本構成例を示すと共に、各回路間でのデータの流れを示す図である。
図３に示すように、データ記録装置は、動画像符号化回路３００、キーフレーム検出回路３０１、データ記録回路３０２、マルチメディアデータ記憶装置３０３、制御データ生成回路３０４により構成されている。

図４は、本実施形態のデータ記録装置におけるデータ記録処理の例を説明するフローチャートである。
動画像符号化回路３００は、ビデオカメラ等の入力装置や、外部記憶装置から入力された動画像を符号化する（ステップＳ４０１）。図３では、これらの入力装置や記憶装置は図示しない。ここで、動画像符号化回路３００は、例えば周知のＭＰＥＧ−４、Ｈ．２６３方式にて動画像を高能率符号化する回路である。

動画像符号化回路３００において符号化された動画像データは、データ記録回路３０２へ入力される。
データ記録回路３０２は、動画像符号化回路３００から入力された符号化された動画像データをサンプル単位でマルチメディアデータ記憶装置３０３へ記録する（ステップＳ４０２）。本実施形態では、ＩＳＯファイル形式のデータ構造に基づいて記録するものとする。

ここで、サンプルは通常、ビデオの個々のフレーム、時間的に連続する一連のビデオフレーム、あるいは時間的に連続するオーディオの一部といった単位であるが、本実施形態では簡単のため動画像の個々のフレームを１サンプルとして説明する。

キーフレーム検出回路３０１は、ステップＳ４０２でマルチメディア記憶装置３０３に記録された動画像サンプルの符号化の種類を解析し（ステップＳ４０３）、キーフレームか否かを判断する（ステップＳ４０４）。ここでの判断は、符号化された動画像サンプルがＩフレームかＰ及びＢフレームかを解析し、Ｉフレームであった場合には、動画像データがキーフレームであると判断する。

ステップＳ４０４で、動画像データの符号化の種類がキーフレームでないと判断された場合には、特殊再生制御データは生成されず、そのまま動画像データ記録処理を継続するか否かを判断し（ステップＳ４０８）、継続すると判断された場合にはステップＳ４０１へ処理を戻す。

ステップＳ４０４で、動画像データの符号化の種類がキーフレームであると判断された場合には、特殊再生制御データを生成するべく、ステップＳ４０５〜ステップＳ４０７へと処理を移行する。

キーフレーム検出回路３０１は、ステップＳ４０２でデータ記録回路３０２がマルチメディアデータ記憶装置３０３へ記録した動画像サンプルの記録位置とサイズとタイムスタンプを検出する（ステップＳ４０５）。

検出した動画像サンプルの記録位置とサイズとタイムスタンプ情報は、制御データ生成回路３０４へ入力され、制御データ構造に従って制御データが生成される。

図５は、本発明のデータ処理装置によって生成される制御データ構造を示す図である。
RandomAccessPointBox（以下、rdap）は、上述したＩＳＯファイル形式で定義されているＢｏｘを拡張したデータ構造であり、メディアのランダムアクセスを容易にするための情報、具体的にはキーフレームを動画像データ中で時間的、位置的に特定する情報を提供し、図２で示されるＩＳＯファイル形式で定義されているＢｏｘ一覧のUser Data Box(udta)か Free Space Box(free,skip)に含まれるＢｏｘとして定義する。udtaとfree、skipの内容は定義されておらず、本実施形態で記録される制御データを理解しない従来の再生装置において、これらＢｏｘ及びその中に含まれるＢｏｘであるrdapは無視されることになる。また、これら未定義のＢｏｘは、通常はアクセスされないＢｏｘであると言うこともできる。

図５に示すように、rdapは、entry_count、sample_timestamp、sample_offset、sample_sizeの４つのフィールドから構成されている。entry_countは後に続くテーブルのエントリ数を与える整数を示し、sample_timestampはストリームのランダムアクセス可能なタイムスタンプを与える整数を示し、sample_offsetはランダムアクセス可能なサンプルの記録位置（ファイルオフセット）を与える整数を示し、sample_sizeはランダムアクセス可能なサンプルのサイズを与える整数を示す。

制御データ生成回路３０４は、キーフレーム検出回路３０１から検出したキーフレームの情報を受け取ると、ランダムアクセス可能なサンプルの総数をカウントするために、上述したrdspのentry_countをインクリメントする（ステップＳ４０６）と共に、サンプルの記録位置、サイズ、タイムスタンプ情報をそれぞれsample_offset、sample_size、sample_timestampの各フィールドに設定する（ステップＳ４０７）。

このようにして、制御データ生成回路３０５において特殊再生制御データが生成されると、動画像データ記録処理を継続するか否かを判断し（ステップＳ４０８）、継続すると判断された場合にはステップＳ４０１へ処理を戻す。このようにして、記録終了までの一連の動画像フレームに対して、特殊再生制御データが生成されることになる。

ステップＳ４０８で記録を終了すると判断された場合には、制御データ生成回路３０５において生成された制御データは、データ記録回路３０２を介してマルチメディアデータ記憶装置３０３の所定の領域へ記録される（ステップＳ４０９）。

図６は、本発明のデータ記録装置によって生成される特殊再生制御データの例である。
タイムスタンプ６００はミリ秒単位の時刻であり、動画像６０１は動画像符号化回路３００において符号化された一連の動画像フレームである。図６に示すように、１００ミリ秒間隔で動画像フレームが符号化されるものとする。また、時刻０ミリ秒及び時刻１０００ミリ秒のタイムスタンプが付けられたフレームはフレーム内符号化され（Ｉ−ＶＯＰ）、それ以外のタイムスタンプが付けられたフレームはフレーム間予測符号化されている（Ｂ−ＶＯＰ又はＰ−ＶＯＰ）ものとする。

制御データ６０２は、タイムスタンプ０ミリ秒としてフレーム内符号化された動画像フレームに対して生成された制御データである。
この時点では、ランダムアクセス可能なサンプルの総数は１つであるため、entry_count６０３の値は１となっている。また、動画像フレームのタイムスタンプは０ミリ秒であり、記録位置はオフセット0xa868バイト、動画像フレームのサイズは0xf2eバイトであるため、sample_timestamp６０４の値は0、sample_offset６０５の値は0xa868、sample_size６０６の値は0xf2eと設定される。

後続する、タイムスタンプ１００ミリ秒から９００ミリ秒の各動画像フレームは、フレーム間予測符号化されたフレームであるため、これらフレームに対して制御データは生成されない。

制御データ６０７は、タイムスタンプ１０００ミリ秒としてフレーム内符号化された動画像フレームに対して生成された制御データである。
制御データ６０７は、ランダムアクセス可能なサンプルの総数が２つとなったため、entry_count６０８の値は制御データ６０２のentry_count６０３からインクリメントされて２となる。また、新たに動画像フレームのタイムスタンプは１０００ミリ秒であり、記録位置はオフセット0xba3bバイト、動画像フレームのサイズは0xec７バイトであるため、sample_timestamp６０９の値は0x3e8、sample_offset６１０の値は0xba3b、sample_size６１１の値は0xec7が、それぞれ制御データ６０２に対して追加される。

以降の一連の動画像フレームにおいても同様の処理がなされ、生成された制御データは、記録終了時にＩＳＯファイル６１２の末尾に上述したfree Ｂｏｘ内のrdap６１３として記録されることになる。

（再生装置）
続いて、本発明の一実施形態としてのデータ再生装置について詳細に説明する。
図７は、本発明の一実施形態としてのデータ再生装置の基本構成例を示すと共に、各回路間でのデータの流れを示す図である。

図７に示すように、データ再生装置は、マルチメディアデータ記憶装置７００、再生制御回路７０１、制御データ抽出回路７０２、符号化メディアデータ抽出回路７０３、動画像復号化回路７０４、出力機器７０５により構成されている。

図８は、本実施形態のデータ再生装置におけるマルチメディアデータの特殊再生処理を説明するフローチャートである。
再生制御回路７０１は、ユーザからの特殊再生要求を受信すると（ステップＳ８０１）、制御データ抽出回路７０２へマルチメディアデータ中の特殊再生制御データを抽出するよう要求する。

制御データ抽出回路７０２は、マルチメディアデータ記憶装置７００に記録されている再生対象となるＩＳＯファイルに、特殊再生制御データが記録されているか否かを判断する（ステップＳ８０２）。ここでの判断は、上述したデータ記録装置によって記録された、ＩＳＯファイルのfree Box中に記録されているrdapを検索し、rdapが存在しない場合、若しくはrdsp内のエントリ数（entry_count）の値が０である場合、特殊再生制御データは記録されていないと判断される。

ステップＳ８０２で、特殊再生制御データが無いと判断された場合には、上述した背景技術において説明したような、従来の特殊再生処理（ステップＳ８０９）により再生制御がなされ、ランダムアクセス等の特殊再生が行われることになる。

ステップＳ８０２で、特殊再生制御データがあると判断された場合には、ＩＳＯファイルに記録されている特殊再生制御データrdapを抽出し（ステップＳ８０３）、再生制御回路７０１へと入力する。

再生制御回路７０１は、例えばユーザによる再生中の早送りボタン押下などによって発生される特殊再生要求によって指定された再生開始時刻tと、制御データ抽出回路７０２から入力された特殊再生制御データとから、最適な動画像サンプルを検出する必要がある。

そのため再生制御回路７０１は、再生開始要求によって指定された時刻t以前の最初のランダムアクセス可能なサンプルを見つけるべく、まず、制御データの各エントリのタイムスタンプ（rdapのsample_timestamp）から、時刻t以前の最初のタイムスタンプを探索する（ステップＳ８０４）。
続いて、探索したタイムスタンプと同一エントリに記録されているオフセット（sample_offset）とサイズ（sample_size）を抽出する（ステップＳ８０５）。

このようにして抽出したオフセットとサイズは、再生開始要求によって指定された時刻t以前の最初のランダムアクセス可能なサンプルの、ＩＳＯファイル中のオフセット（記録位置）とサイズを示している。これらの情報は、符号化メディアデータ抽出回路７０３へ入力され、符号化メディア抽出回路７０３では、入力されたオフセットとサイズのサンプルデータをマルチメディアデータ記憶装置７００に記録されているＩＳＯファイルから抽出する（ステップＳ８０６）。

符号化メディアデータ抽出回路７０３によって抽出されたデータは、動画像復号化回路７０４へ入力され、符号化された動画像データサンプルが復号化される（ステップＳ８０７）。復号化された動画像データは、ディスプレイに代表される出力機器７０５に供給され、再生される（ステップＳ８０８）。

図９は、本実施形態のデータ再生装置が特殊再生制御データを用いて特殊再生する例である。ＩＳＯファイル６１２は、図６で説明した本実施形態のデータ記録装置によって作成されたＩＳＯファイルであり、制御データrdap６１３を含んでいる。
制御データ６１３中のエントリ数（entry_count９０２）は0x64であり、ランダムアクセス可能なサンプルの総数が１００サンプルであることを示している。

また、rdap６１３中の各エントリは図６と同様に、第一番目のエントリは、タイムスタンプ０ミリ秒（sample_timestamp６０４）、記録位置は0xa868バイト（sample_offset６０５）、サイズ0xf2eバイト（sample_size６０６）のサンプル９００に対して記録されている。第二番目のエントリは、タイムスタンプ１０００（=0x3e8）ミリ秒（sample_timestamp６０９）、記録位置は0xba3bバイト（sample_offset６１０）、サイズ0xec7バイト（sample_size６１１）のサンプル９０１である。その他のエントリについての説明は省略する。

このような制御データを含むＩＳＯファイル６１２に対して、ユーザからの特殊再生要求を受信した場合、例えばタイムスタンプ１２００ミリ秒へのランダムアクセス要求を受信すると、本実施形態のデータ再生装置は最適な動画像サンプルを見つけるために、制御データ６１３の各エントリのタイムスタンプから１２００ミリ秒以前の最初のタイムスタンプであるタイムスタンプ１０００ミリ秒（sample_timestamp６０９）を検出する。

検出したタイムスタンプ（sample_timestamp６０９）は制御データ６１３中の第二番目のエントリであるため、同じく第二番目のエントリに記録されている位置情報（sample_offset６１０）とサイズ（sample_size６１１）情報に従って、ＩＳＯファイル６１２のオフセット0xba3bバイトの位置からサイズ0xec7バイトのサンプルデータ９０１が抽出され、復号されることになる。

このように、本実施形態によれば、特殊再生に用いる再生制御データをＩＳＯファイル形式を用いて記録し、またこの特殊再生制御データを用いて特殊再生を行うことにより、ＩＳＯファイル形式データの特殊再生（ランダムアクセスや早送り等）時の、複雑なフレーム抽出処理の効率化を図ることができる。また、再生制御データを従来機器が無視する領域に配置することで、規格に対する影響がない形式でデータを記録し、従来の再生装置装置においても再生可能なデータを記録することができる。

［他の実施形態］
上述の実施形態では、記録装置が動画像データの符号化処理を行う機能を有していたが、符号化済みのデータを取得し、そのデータに対して図４のステップＳ４０２以降の処理を行っても良い。すなわち、符号化済み動画データに対し、上述した制御データを追加する機能のみを有する記録装置であっても良い。

実施形態に係る記録装置、再生装置を別々の装置として説明したが、記録装置と再生装置の機能を併せ持つ記録再生装置であってもよいことは言うまでもない。

尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。

つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

ＩＳＯファイル形式で定義されているBoxの一覧を示す図である。 ＩＳＯファイル形式のデータ構造を単純化して示す図である。 本発明の一実施形態としてのデータ記録装置の基本構成例を示すと共に、各回路間でのデータの流れを示す図である。 本発明の実施形態に係るデータ記録装置におけるデータ記録処理の例を説明するフローチャートである。 本発明の実施形態に係るデータ記録装置によって生成される制御用データの構造例を示す図である。 本発明の実施形態に係るデータ記録装置によって生成される制御用データの具体例を示す図である。 本発明の一実施形態としてのデータ再生装置の基本構成例を示すと共に、各回路間でのデータの流れを示す図である。 本発明の実施形態に係るデータ再生装置におけるデータ再生処理の例を説明するフローチャートである。 本発明の実施形態に係るデータ再生装置が制御データを用いて特殊再生する具体的な処理の例を説明する図である。

Claims (16)

1. 符号化された動画像データから、ランダムアクセス可能なキーフレームを検出するキーフレーム検出手段と、
   前記キーフレーム検出手段によって検出されたキーフレームの各々に対し、前記動画像データ中での時間位置及びデータ位置を特定可能な情報を含む再生制御データを生成する制御データ生成手段と、
   前記動画像データと、前記再生制御データとを含んだマルチメディアデータを生成するマルチメディアデータ生成手段とを有することを特徴とするデータ記録装置。
2. 前記時間位置及びデータ位置を特定可能な情報が、各キーフレームの時刻情報、データサイズ及びデータ記録位置情報であることを特徴とする請求項１記載のデータ記録装置。
3. 前記再生制御データが、前記キーフレーム検出手段で検出された前記動画像データ中のキーフレーム総数を更に含むことを特徴とする請求項２記載のデータ記録装置。
4. 前記マルチメディア生成手段が、前記再生制御データを、前記マルチメディアデータの、前記再生制御データを理解しない再生装置が無視する領域に配置することを特徴とする請求項１乃至請求項３のいずれか１項に記載のデータ記録装置。
5. 前記マルチメディアデータ生成手段が、前記マルチメディアデータを、ＩＳＯベースメディアファイル形式、ＭＰ４ファイル形式、Ｍｏｔｉｏｎ ＪＰＥＧ ２０００ファイル形式、ＡＶＣファイル形式、３ＧＰＰファイル形式、３ＧＰＰ２ファイル形式のいずれかに準拠した形式で生成し、前記再生制御データを前記各ファイル形式におけるUser Data Box又はFree Space Box内に配置することを特徴とする請求項４記載のデータ記録装置。
6. 前記動画像データが、フレーム内符号化されたフレーム及びフレーム間符号化されたフレームを含み、前記キーフレームが前記フレーム内符号化されたフレームであることを特徴とする請求項１乃至請求項５のいずれか１項に記載のデータ記録装置。
7. 符号化された動画像データと、当該動画像データ中に含まれるランダムアクセス可能なキーフレームの時間位置及びデータ位置を特定可能な情報を含む再生制御データを含むマルチメディアデータを再生するためのデータ再生装置であって、
   前記特殊再生要求によって指定された再生開始時刻と、前記再生制御データとから、再生を行うべき前記動画像データ中のキーフレームを特定するデータ特定手段と、
   前記再生制御データを用いて、前記再生を行うべき前記動画像データ中のキーフレームのデータを前記動画像データから読み出す読み出し手段と、
   前記読み出したキーフレームデータを復号化し、再生する再生手段とを有することを特徴とするデータ再生装置。
8. 前記時間位置及びデータ位置を特定可能な情報が、前記動画像データに含まれる各キーフレームの時刻情報、データサイズ及びデータ記録位置情報であることを特徴とする請求項７記載のデータ再生装置。
9. 前記マルチメディアデータが、ＩＳＯベースメディアファイル形式、ＭＰ４ファイル形式、Ｍｏｔｉｏｎ ＪＰＥＧ ２０００ファイル形式、ＡＶＣファイル形式、３ＧＰＰファイル形式、３ＧＰＰ２ファイル形式のいずれかに準拠した形式を有し、前記再生制御データが前記各ファイル形式におけるUser Data Box又はFree Space Box内に配置されることを特徴とする請求項７又は請求項８記載のデータ再生装置。
10. 前記マルチメディアデータが前記再生制御データを含まない場合、前記データ特定手段が、前記マルチメディアデータに含まれる前記動画像データのメタデータを用いて前記再生を行うべき前記動画像データ中のキーフレームの時間位置及びデータ位置を特定可能な情報を生成し、
    前記読み出し手段が、前記データ特定手段が前記メタデータから生成した情報を用いて前記読み出しを行うことを特徴とする請求項９記載のデータ再生装置。
11. 前記再生制御データが、前記動画像データ中のキーフレーム総数を含み、前記データ特定手段が、前記キーフレーム総数が０の場合には前記再生制御データが無いと判定することを特徴とする請求項１０記載のデータ再生装置。
12. 請求項１乃至請求項６のいずれか１項に記載のデータ記録装置と、請求項７乃至請求項１１のいずれか１項に記載のデータ再生装置とからなるデータ記録再生装置。
13. コンピュータを請求項１乃至請求項６のいずれか１項に記載のデータ記録装置と、請求項７乃至請求項１１のいずれか１項に記載のデータ再生装置の少なくとも一方として機能させるプログラム。
14. 請求項１３記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。
15. 符号化された動画像データから、ランダムアクセス可能なキーフレームを検出するキーフレーム検出ステップと、
    前記キーフレーム検出手段によって検出されたキーフレームの各々に対し、前記動画像データ中での時間位置及びデータ位置を特定可能な情報を含む再生制御データを生成する制御データ生成ステップと、
    前記動画像データと、前記再生制御データとを含んだマルチメディアデータを生成するマルチメディアデータ生成ステップとを有することを特徴とするデータ記録方法。
16. 符号化された動画像データと、当該動画像データ中に含まれるランダムアクセス可能なキーフレームの時間位置及びデータ位置を特定可能な情報を含む再生制御データを含むマルチメディアデータを再生するためのデータ再生方法であって、
    前記特殊再生要求によって指定された再生開始時刻と、前記再生制御データとから、再生を行うべき前記動画像データ中のキーフレームを特定するデータ特定ステップと、
    前記再生制御データを用いて、前記再生を行うべき前記動画像データ中のキーフレームのデータを前記動画像データから読み出す読み出しステップと、
    前記読み出したキーフレームデータを復号化し、再生する再生ステップとを有することを特徴とするデータ再生方法。

Images