JP2004201266A

JP2004201266A - Image data reproducing apparatus

Info

Publication number: JP2004201266A
Application number: JP2003130811A
Authority: JP
Inventors: Yoji Notoya; 陽司能登屋; Yoshinori Matsui; 義徳松井; Tadamasa Toma; 正真遠間
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-05-28
Filing date: 2003-05-08
Publication date: 2004-07-15

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image data reproducing apparatus capable of speedily carrying out random access processing of a file wherein motion picture data or the like are multiplexed. <P>SOLUTION: The image data reproducing apparatus is provided with: a file input part 201 for capturing a file; a temporary data file storage part 202 for temporarily holding the input file; a data file analytic part 203 for analyzing file header information of the input file; a data decoding part 204 for reading substance data from the temporary data file storage part 202 and decoding the data based upon the analyzed result; a data reproducing part 205 for reproducing the decoded substance data; an RA information table generating part 206 for tabulating random access information generated based upon the analyzed result of the data file analytic part 203; a file output part 207 for integrating the RA information table and the input file to output a new file; and a file storage part 208 for storing the outputted file. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術の分野】
本発明は、画像データや音声データ等を多重化したファイルを再生する装置に関し、特に、再生位置の変更や早送り再生等のランダムアクセスを容易にするための技術に関する。
【０００２】
【従来の技術】
近年のネットワーク技術の発展を受けて、インターネット等の広域ネットワーク上にあるサーバ装置からファイルをダウンロードして動画像データを再生する画像データ再生装置が開発されている。特に、マルチメディアという言葉が多用される昨今においては、ファイルに音声データやテキストデータ等のメディアデータが複合されている場合が多く、画像データ再生装置は、音声トラック、テキストトラック等のように様々なトラックを同時に再生できることが求められている。
【０００３】
この画像データ再生装置は、ＭＰＥＧ−４（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐＰｈａｓｅ４）等の圧縮符号化方式によって符号化された動画像データ等を含むファイルをダウンロードによって装置内に取り込み、動画像データ等を復号化して再生する。このとき、動画像データと音声データとが複合されていれば、画像データ再生装置は動画像データと音声データとを分離し、各データ間の同期を図って復号化し再生する。
【０００４】
一方、サーバ装置がファイルをダウンロード配信するためのファイルフォーマットとしてＭＰ４ファイルフォーマットが注目されている。本明細書においては、このファイルフォーマットの一例として、ＭＰ４ファイルフォーマットを用いて説明することとする。
【０００５】
このＭＰ４ファイルフォーマットは、１９９９年に国際標準化団体ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）で制定されたものである。このＭＰ４ファイルフォーマットに基づいて生成されるＭＰ４ファイルは、階層化された複数のボックスからなるボックス構造とされ、実体データを格納するためのボックスに、符号化された動画像データや音声データ等が多重化されて格納されている。そして、画像データ再生装置に読み込まれたＭＰ４ファイルは、装置内において多重化された動画像データや音声データ等が分離されて復号化されることになる。ここで、画像データ再生装置が動画像データや音声データ等を復号化する際の処理単位をフレームといい、各データは複数のフレームから構成される。
【０００６】
しかし、制定当初のＭＰ４ファイルフォーマットには、画像データ再生装置がＭＰ４ファイルのダウンロードを完了する前に動画像データの再生を開始する再生方法、いわゆる擬似ストリーミング再生に適していないという問題があった。その理由は、ＭＰ４ファイルに含まれる動画像データや音声データについて、各動画像フレームや各音声フレームのサイズや多重化順序等の多重化分離を行なうために必要な情報や、各動画像フレームおよび各音声フレームの表示時刻情報等の同期再生を行なうために必要な情報が、ファイルの先頭に位置するファイルヘッダ部に一括して格納されるというファイル構造の特徴にあった。
【０００７】
すなわち、制定当初のＭＰ４ファイルフォーマットは上記のようなファイル構造とされるため、画像データ再生装置は、ファイルヘッダ部のダウンロードを完了するまで、ＭＰ４ファイルに含まれる動画像データ等の再生を開始することができず、ファイルヘッダ部のサイズが大きい程、ダウンロードに要する時間が長くなってしまう。特に長時間のデータを含むファイルでは、その分ファイルヘッダ部も大きくなって、ダウンロードに時間がかかり、画像データ再生装置が再生を開始することができるまで多くの時間を要するという問題もあった。
【０００８】
このような問題を解決するために、多重化分離情報や同期再生情報と、動画像データや音声データ等の実体データとを、交互に配置するＭＰ４ファイルフォーマットが提案され、標準化の動きが進められており、例えば、非特許文献１が開示されている。
【０００９】
図２０は、上記標準化が進められている従来のＭＰ４ファイルフォーマットの構造を示す図である。
このＭＰ４ファイル１００は、動画像データの符号化方式等、ファイル全体の属性情報（ヘッダ情報）を格納するムービーボックス１０１と、動画像データ等の実体データを格納するムービーデータボックス１０２と、ムービーフラグメント列１０３とから構成され、階層化された複数のボックスからなるボックス構造とされる点において、上記制定当初のＭＰ４ファイルと共通するが、ムービーフラグメント列１０３を含む点において、上記制定当初のＭＰ４ファイルと異なる。
【００１０】
このムービーフラグメント列１０３は、所定の時間単位で区切られたムービーフラグメント１０４を繰り返し配列して構成されたものであり、ＭＰ４ファイルの拡張領域と呼ばれる。これに対して、上記のムービーボックス１０１とムービーデータボックス１０２とは、ＭＰ４ファイルの基本領域と呼ばれる。なお、上記所定の時間単位は、常に一定であるとは限らず、例えば、復号化装置のバッファメモリの容量を考慮して、符号化装置において調整されることがあり、このような場合は、結果的に上記所定の時間単位は略一定となることもある。
【００１１】
ムービーフラグメント１０４は、上記所定の時間単位に含まれる動画像データ等に関する多重化分離情報および同期再生情報等を格納するムービーフラグメントボックス１０５と、上記所定の時間単位に含まれる動画像データ等の実体データを格納するフラグメントデータボックス１０６とから構成される。
【００１２】
ムービーフラグメントボックス１０５は、上記所定の時間単位に含まれる動画像データ等に関する多重化分離情報および同期再生情報等、ムービーフラグメント１０４のヘッダ情報を格納するボックスである。このムービーフラグメントボックス１０５は、動画像トラックまたは音声トラック等のようにいずれか１種類のトラックに関するデータについての多重化分離情報および同期再生情報を格納するトラックフラグメントボックス１０７を含む。すなわち、１つのムービーフラグメント１０４に含まれるトラックの種類の数と同数以上のトラックフラグメントボックス１０７が含められることになり、１つのムービーフラグメント１０４に動画像データと音声データとが含まれる場合は、少なくとも２つのトラックフラグメントボックス１０７が用意されることになる。なお、ここで、同数以上とは、１つのトラックに対して複数のトラックフラグメントボックス１０７が用意される場合があることを意味するものであり、例えば、動画像トラックに関するデータについての多重化分離情報および同期再生情報が２つのトラックフラグメントボックス１０７に格納され、音声トラックに関するデータについての多重化分離情報および同期再生情報が、１つのトラックフラグメントボックス１０７に格納されて、合計３つのトラックフラグメントボックス１０７が用意されることもある。
【００１３】
このトラックフラグメントボックス１０７は、上記所定の時間単位よりも細かい単位で区切られたトラックランボックス１０８を複数個備えており、トラックランボックス１０８は、さらに、複数個のエントリ１０９から構成される。
エントリ１０９は、復号化の処理単位となるフレームに関する情報、すなわち、多重化分離情報や同期再生情報等を記述するためのフィールド群である。そして、動画像トラックに関するトラックフラグメントボックス１０７に含まれるトラックランボックス１０８においては、エントリ１０９のフィールドに動画像フレームが画面内符号化フレーム（いわゆるイントラフレーム）であるか否かを示す情報が記述される場合もある。一般に、動画像データは、このイントラフレームを一定数の動画像フレーム毎に繰り返し配置する構造をとることが多く、このような構造で繰り返し配置される１つの単位をＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅ）という。そして、このＧＯＰ単位で、エントリ１０９をトラックランボックス１０８に格納することが想定されている。
【００１４】
また、このエントリ１０９には、各データ間の同期再生を図るために同期サンプルフラグがセットされる場合があり、この場合、そのエントリ１０９のフィールドに同期サンプルフラグ情報が記述され、この記述は動画像フレームがイントラフレームであることを示す情報が記述されていることと同じ意味を有する。
【００１５】
また、フラグメントデータボックス１０６は、対応するムービーフラグメントボックス１０５において指し示されるフレームの実体データを格納するボックスであり、フレームを構成するサンプルが格納されている。
なお、これらＭＰ４ファイル１００を構成する各ボックスは、それぞれボックスヘッダ部１１０とボックスデータ格納部１１１とから構成され、ボックスヘッダ部１１０には、ボックスのサイズ情報を格納するボックスサイズ１１２とボックスの種類を識別するための文字列を格納するボックスタイプ１１３とが少なくとも含まれている。また、ボックスデータ格納部１１１には、そのボックスの下の階層のボックスが格納されたり、情報を記述するためのフィールドが並べられたりする。
【００１６】
このように、所定の時間単位で区切られた動画像データや音声データに関する多重化分離情報および同期再生情報を格納するムービーフラグメントボックス１０５と、対応する実体データを格納するフラグメントデータボックス１０６とからなるムービーフラグメント１０４を繰り返し配列するという構造とされる。すなわち、先に述べた制定当初のＭＰ４ファイルは、所定の時間単位で区切ることなく、多重化分離情報および同期再生情報等を全てムービーボックスに格納し、実体データを全てムービーデータボックスに格納していたため、前述のようにヘッダ情報を格納するムービーボックス１０１のサイズが大きくなり、動画像データや音声データを格納しているムービーデータボックス１０２の最初の部分を取得するまでに時間がかかるという問題があった。これを解決するために、このＭＰ４ファイル１００は、拡張領域であるムービーフラグメント列１０３を設け、この中に大部分の動画像データや音声データを格納することで、ムービーボックス１０１のサイズを小さくし、再生開始までの時間を短くできるようにした（非特許文献１参照。）。
【００１７】
【非特許文献１】
ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１ＭＰＥＧ、ＩＳＯ／ＩＥＣ１４４９６−１「ＩＳＯＭｅｄｉａＦｉｌｅｆｏｒｍａｔｓｐｅｃｉｆｉｃａｔｉｏｎ」、２００１年７月２０日
【００１８】
【発明が解決しようとする課題】
しかしながら、上記のようなファイル構造とされるＭＰ４ファイルフォーマットは、画像データ再生装置によるランダムアクセスが困難であるという問題がある。ここで、ランダムアクセスとは、例えば、再生位置を１０秒後に移動させたり、早送り再生を行なったりする処理動作を意味する。この問題についてより詳しく説明する。
【００１９】
ランダムアクセスを行なうに際して、画像データ再生装置は、ユーザインターフェースを介してユーザからのランダムアクセス指示を受け付け、その指示に従ってＭＰ４ファイルに含まれる動画像データ等の再生開始位置（復号開始位置）を迅速に決定し、動画像データ等を復号化して再生する必要がある。
【００２０】
また、通常、ＭＰＥＧ−４等の高能率圧縮符号化方式によって生成される動画像データ等は、イントラフレームおよび画面間符号化フレーム（いわゆる予測フレーム）の動画像フレームから構成されている。この予測フレームは、復号化を終えた動画像フレームのデータを参照しながら復号化を行なうフレームであるので、ランダムアクセスによる再生開始位置を予測フレームとすると、正しく再生することができず、再生画像が乱れてしまう等の支障がある。そのため、ランダムアクセスによる再生開始位置は、イントラフレームであることが必要とされる。
【００２１】
従って、画像データ再生装置は、例えば再生位置を１０秒後に移動させるランダムアクセス指示を入力すると、現在復号化中の動画像フレームから１０秒先に相当する動画像フレームまでに介在する全ての動画像フレームを格納するムービーフラグメントボックス１０５を解析し、さらに、それら一つ一つについて動画像データを含むトラックフラグメントボックス１０７を解析し、さらに、一つ一つについてトラックランボックス１０８を解析し、というように、非常に小さな単位に至るまで大量のボックスを解析して、再生継続時間をカウントし、ランダムアクセス後の再生開始位置となる１０秒先の動画像フレームを決定しなければならない。また、画像データ再生装置は、１０秒先に相当する動画像フレームがイントラフレームであるかどうかを判断しなければならない。そして、イントラフレームでない場合は、その直近のイントラフレームを探してランダムアクセス後の再生開始位置となる動画像フレームを決定しなければならない。
【００２２】
このように、従来におけるＭＰ４ファイルフォーマットは、ランダムアクセスに際して画像データ再生装置にかかる負荷が大きく、画像データ再生装置がランダムアクセス後の再生開始位置を決定するまでに時間がかかってしまい、その間ユーザを待たせなければならないという不都合がある。
【００２３】
一方、従来のＭＰ４ファイルフォーマットは、インターネット上のサーバ装置からダウンロードしながら再生する擬似ストリーミング再生等に用いることを一つの目的としているため、ダウンロードが完了していない部分へ再生位置を移動させることはできず、ダウンロードが完了している部分へのみ再生位置を移動させることができる。従って、ＭＰ４ファイルのデータ再生におけるランダムアクセスは、画像データ再生装置がＭＰ４ファイルを一旦ダウンロード再生した後に改めて再生する際に使用される場合が多いと想定される。
【００２４】
また、従来のＭＰ４ファイルフォーマットはダウンロード配信において使用することを想定しているので、通信時間や通信料の観点からＭＰ４ファイルのファイルサイズを小さくすることが望まれている。特に、ダウンロードしたデータ量に応じて課金される移動体通信においては、通信料が割高にならないようにファイルサイズを可能な限り縮小させなければならないという問題もある。
【００２５】
そこで、本発明は、かかる問題点および事情に鑑みてなされたものであり、ダウンロードするファイルのサイズを増加させることなく、動画像データや音声データ等を多重化したファイルのランダムアクセス処理を迅速に実行することができる画像データ再生装置を提供することを目的とする。
【００２６】
【課題を解決するための手段】
上記の目的を達成するために、本発明に係る画像データ再生装置は、画像データと、音声データおよびテキストデータのうち少なくとも１つとを多重化してなるファイルを再生する画像データ再生装置であって、前記ファイルを前記画像データ再生装置に取り込むファイル入力手段と、前記入力手段が取り込んだ入力ファイルを一時的に記憶するための領域を有するファイル一時記憶手段と、前記ファイル一時記憶手段に格納されている前記入力ファイルを読み込んで、前記入力ファイルに含まれる前記画像データ、音声データまたはテキストデータの分離および同期再生をするためのファイルヘッダ情報を解析するファイル解析手段と、前記ファイル解析手段が解析した前記ファイルヘッダ情報に基づいて前記一時記憶手段に格納されている前記入力ファイルに含まれる前記画像データ、音声データまたはテキストデータを読み出して復号する復号手段と、前記復号手段が復号した前記画像データ、音声データまたはテキストデータを再生して表示装置に出力する再生手段と、前記ファイル解析手段が解析したファイルヘッダ情報に基づいて、前記入力ファイルに含まれる前記画像データ、音声データまたはテキストデータにランダムアクセスするためのランダムアクセス情報を生成するランダムアクセス情報生成手段と、前記ランダムアクセス情報生成手段が生成した前記ランダムアクセス情報を参照して、前記入力ファイルの解析位置の変更を指示する解析位置変更指示を前記ファイル解析手段に出力する再生位置制御手段とを備え、前記ファイル解析手段は、前記再生位置制御手段が出力する前記解析位置変更指示に基づいて、前記ファイル一時記憶手段に格納されている前記入力ファイルの読み込み位置を変更し、前記入力ファイルに含まれる前記画像データ、音声データまたはテキストデータのファイルヘッダ情報を解析することを特徴とする。
【００２７】
これによって、最初のファイル再生時に、単独で復号化可能なフレームに関するヘッダ情報の位置を示す情報、すなわちランダムアクセス情報を生成するので、迅速なランダムアクセス再生を実現することができる。
ここで、前記ランダムアクセス情報生成手段は、前記入力ファイルに含まれるメディアデータ毎に前記ランダムアクセス情報を生成するとしてもよい。これによって、入力されるファイルに様々なトラックが複合されている場合でも、それぞれのトラック毎のランダムアクセス情報を参照することで、ランダムアクセス再生の処理を迅速にすることができるという効果が発揮される。
【００２８】
また、本発明に係る画像データ再生装置は、さらに、前記ランダムアクセス情報生成手段が生成した前記ランダムアクセス情報を含むファイルを出力するファイル出力手段を備え、前記ランダムアクセス情報生成手段は、前記入力ファイルが階層化された構造である場合に、前記入力ファイルに含まれるメディアデータ毎に前記ランダムアクセス情報を記述するための第１階層と、前記第１階層を集積させた第２階層とを生成し、前記ファイル出力手段は、前記第２階層を前記入力ファイルと一体化させて、前記ランダムアクセス情報を含むファイルを出力するのが好ましい。
【００２９】
これによって、最初のファイル再生時に生成したランダムアクセス情報をファイル出力するので、次のファイル再生時におけるランダムアクセス再生の迅速化に寄与することができる装置が実現される。
さらに、前記ファイル出力手段は、前記入力ファイルと一体化された前記第２階層の開始位置を示す位置情報を生成し、当該位置情報を前記入力ファイルと一体化させて、前記ランダムアクセス情報を含むファイルを出力するとしてもよい。
【００３０】
これによって、ランダムアクセス情報が格納されている部分の読み込みを迅速に行なうことができるので、ランダムアクセス再生をより迅速に実行することができる。
なお、本発明は、このような画像データ再生装置として実現することができるだけでなく、このような画像データ再生装置が備える特徴的な手段をステップとする画像データ再生方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【００３１】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係る画像データ再生装置の構成を示すブロック図である。
【００３２】
この画像データ再生装置２００は、ＭＰＥＧ−４等の圧縮符号化方式によって符号化された動画像データや音声データ等を復号化して再生する装置であり、ＭＰ４ファイルを装置内に取り込むファイル入力部２０１、装置内に取り込まれるＭＰ４ファイルを一時的に格納するデータファイル一時記憶部２０２、ＭＰ４ファイルのヘッダ情報を読み出して解析するデータファイル解析部２０３、ＭＰ４ファイルに含まれる実体データを復号化するデータ復号化部２０４、復号化された実体データを再生し、ディスプレイ等の表示装置に出力するデータ再生部２０５、ランダムアクセスを迅速に処理するためのランダムアクセス情報テーブル（以下、「ＲＡ情報テーブル」という。）を生成するＲＡ情報テーブル生成部２０６、入力が完了したＭＰ４ファイルとＲＡ情報テーブルとを多重化して、新たなＭＰ４ファイルを出力するファイル出力部２０７および出力されたＭＰ４ファイルを格納するファイル格納部２０８を備える。
【００３３】
ファイル入力部２０１は、インターネット上のサーバ装置に格納されているＭＰ４ファイルをダウンロードして画像データ再生装置内に取り込む処理部であり、サーバ装置とインターネット等を介して通信を行なうための通信インターフェース等によって実現される。このファイル入力部２０１は、ＭＰ４ファイルをファイル先頭から順次ダウンロードして装置内に取り込み、データファイル一時記憶部２０２に順次蓄積させていく。
【００３４】
データファイル一時記憶部２０２は、ファイル入力部２０１が取り込むＭＰ４ファイルを一時的に保持する記憶部であり、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）やハードディスク等の記憶装置によって実現される。
データファイル解析部２０３は、データファイル一時記憶部２０２に蓄積されていくＭＰ４ファイルからヘッダ情報を読み出して解析する処理部であり、ＣＰＵやメモリによって実現される。ここにいうＭＰ４ファイルのヘッダ情報とは、ムービーボックスに含まれるファイル全体のヘッダ情報やムービーフラグメントボックスに含まれる多重化分離情報や同期再生情報等のムービーフラグメントのヘッダ情報を意味する。また、このデータファイル解析部２０３は、ＭＰ４ファイルのヘッダ情報を解析した結果に基づいて、フレームの境界位置や再生時刻に関する情報等、動画像データ等を復号するために必要な復号指示情報をデータ復号化部２０４に出力する。さらに、このデータファイル解析部２０３は、ＭＰ４ファイルのヘッダ情報を解析した結果に基づいてランダムアクセス情報（以下、「ＲＡ情報」という。）をＲＡ情報テーブル生成部２０６に出力する。
【００３５】
データ復号化部２０４は、データファイル解析部２０３から受け取った復号指示情報に基づいて、データファイル一時記憶部２０２に蓄積されていくＭＰ４ファイルから動画像データや音声データ等の実体データを読み込んで復号化する処理部であり、ＣＰＵやメモリを備えたデコーダによって実現される。
【００３６】
データ再生部２０５は、データ復号化部２０４が復号化した実体データを再生してディスプレイ等の表示装置やスピーカに出力する処理部であり、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）等のマイクロプロセッサやＶＲＡＭ（ＶｉｄｅｏＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）を備えたチップ、または、ビデオカード等によって実現される。
【００３７】
ＲＡ情報テーブル生成部２０６は、データファイル解析部２０３から受け取ったＲＡ情報に基づいてＲＡ情報テーブルを生成する処理部であり、ＣＰＵやメモリによって実現される。ここにいうＲＡ情報とは、ランダムアクセス後の再生開始位置とすべきフレームのヘッダ情報に関する位置情報および時刻情報であり、ＲＡ情報テーブルとは、ＲＡ情報を集積させたテーブルである。なお、このＲＡ情報およびＲＡ情報テーブルについては、後に詳しく説明することとする。
【００３８】
ファイル出力部２０７は、ダウンロードが完了してデータファイル一時記憶部２０２に蓄積されたＭＰ４ファイル、すなわち装置内への入力が完了したＭＰ４ファイルを読み出すとともに、ＲＡ情報テーブル生成部２０６からＲＡ情報テーブルを受け取って入力完了ＭＰ４ファイルの末尾に追加し、入力完了ＭＰ４ファイルとＲＡ情報テーブルとを多重化して新たなＭＰ４ファイルを出力する処理部であり、ＣＰＵやメモリによって実現される。
【００３９】
ファイル格納部２０８は、ファイル出力部２０７が出力したＭＰ４ファイルを格納する記憶部であり、ハードディスク等の記憶装置や、光磁気ディスク、ＳＤメモリーカード等の記録媒体等によって実現される。
ここで、この画像データ再生装置２００が出力するＭＰ４ファイルの構造について説明する。
【００４０】
図２は、本実施の形態１に係る画像データ再生装置２００により生成されるＭＰ４ファイルのファイル構造を示す図である。
図２に示すように、画像データ再生装置２００により生成されるＭＰ４ファイル３００は、ムービーボックス３０１、ムービーデータボックス３０２、ムービーフラグメント列３０３およびＲＡ情報テーブル３１０から構成され、主にＲＡ情報テーブル３１０を含む点において従来におけるＭＰ４ファイル１００と異なる。
【００４１】
このＭＰ４ファイル３００は、まず、このＭＰ４ファイル３００のうちムービーボックス３０１、ムービーデータボックス３０２およびムービーフラグメント列３０３の部分が、画像データ再生装置２００のファイル入力部２０１から順次取り込まれ、次に、画像データ再生装置２００のファイル出力部２０７においてＲＡ情報テーブル３１０の部分が追加されることによって生成される。
【００４２】
すなわち、画像データ再生装置２００のファイル入力部２０１に取り込まれる段階において、画像データ再生装置２００に入力されるＭＰ４ファイルは、従来におけるＭＰ４ファイル１００と同様の構成とされる。
このＭＰ４ファイル３００の生成過程を説明するために、図２では、図２０と異なりムービーフラグメント列３０３を構成するボックス階層をより具体的に示す。
【００４３】
ムービーフラグメント列３０３は、複数のムービーフラグメント３０４が繰り返し配列されたものであり、ムービーフラグメント３０４は、ムービーフラグメントボックス３０５とフラグメントデータボックス３０６とを交互に配置して構成されている。ここで、ムービーフラグメントボックス３０５のボックスヘッダ部には、ムービーフラグメントボックス３０５の種別を示す文字列”ｍｏｏｆ”が格納されており、これによってこのボックスが、ムービーフラグメントボックス３０５であることを示している。また、図示を省略しているが、この種別を示す文字列の直前には、このボックスのサイズ情報が付与されている。さらに、ムービーフラグメントボックス３０５のボックスヘッダ部には、”ｍｏｏｆ”の他に、ファイルの先頭から何番目のムービーフラグメントボックス３０５であるかを示す数字が格納されている。
【００４４】
また、ムービーフラグメントボックス３０５のボックスデータ格納部に格納されているトラックフラグメントボックス３０７のボックスヘッダ部には、トラックフラグメントボックス３０７の種別を示す文字列”ｔｒａｆ”が格納されており、これによってこのボックスがトラックフラグメントボックス３０７であることを示し、この種別を示す文字列の直前に、このボックスのサイズ情報が付与されている。そして、トラックフラグメントボックス３０７のボックスヘッダ部には、格納しているトラックのトラック番号情報が格納されていて、どのトラックであるかがわかるようになっている。なお、前述のように、トラックフラグメントボックス３０７はヘッダデータであり、これが指し示すデータはフラグメントデータボックス３０６に格納されている。すなわち、あるトラックフラグメントボックス３０７が、これを格納するムービーフラグメントボックス３０５の中の何番目のトラックフラグメントボックス３０７であるかを示す情報は付与されておらず、画像データ再生装置２００が、トラックフラグメントボックス３０７が出現する度にカウントする。
【００４５】
さらに、トラックフラグメントボックス３０７のボックスデータ格納部に格納されているトラックランボックス３０８のボックスヘッダ部には、トラックランボックス３０８の種別を示す文字列”ｔｒｕｎ”が格納されており、これによってこのボックスがトラックランボックス３０８であることを示し、この種別を示す文字列の直前に、このボックスのサイズ情報が付与されている。また、トラックランボックス３０８のボックスデータ格納部に格納されているエントリ３０９のフィールドには、そのエントリ３０９の指し示す動画像データや音声データ等の最小単位の表示継続時間情報やイントラフレームであるか否かを示す情報が記述されている。なお、ファイルを作成する装置によっては、ムービーボックス３０１にムービー全体のサンプルに関する同期サンプルフラグ情報のデフォルト値を格納したり、トラックフラグメントボックス３０７にそのボックスに含まれるサンプルに関する同期サンプルフラグ情報や継続時間長情報のデフォルト値を格納したりする場合もある。
【００４６】
ここでは、トラックランボックス３０８に含まれる最初のエントリ３０９がイントラフレームを示すものである場合には、トラックランボックス３０８のフィールドにイントラフレームを示す情報が記述されることとし、そのエントリ３０９に同期サンプルフラグがセットされている場合には、トラックランボックス３０８のフィールドに同期サンプルフラグ情報が記述されることとする。
【００４７】
そして、フラグメントデータボックス３０６のボックスヘッダ部には、フラグメントデータボックス３０６の種別を示す文字列”ｍｄａｔ”が格納されており、これによってこのボックスがフラグメントデータボックス３０６であることを示し、この種別を示す文字列の直前に、このボックスのサイズ情報が付与されている。さらに、フラグメントボックス３０６のボックスデータ格納部には、ムービーフラグメントボックス３０５内に格納されている全てのエントリ３０９それぞれが指し示すフレームを構成するサンプルがエントリの順番に格納されている。
【００４８】
図２では、第１のムービーフラグメントボックス３０５内の第１のトラックフラグメントボックス３０７に含まれる第１トラックランボックス３０８の第１エントリ３０９に同期サンプルフラグＳ１がセットされており、また、第２のムービーフラグメントボックス３０５内の第１のトラックフラグメントボックス３０７に含まれる第１トラックランボックス３０８の第２エントリ３０９に同期サンプルフラグＳ２がセットされている。従って、同期サンプルフラグＳ１は、第１のトラックランボックス３０８のフィールドに同期サンプルフラグ情報が記述されることになり、同期サンプルフラグＳ２は、セットされているエントリ３０９のフィールドに同期サンプルフラグ情報が記述されることになる。さらに、同期サンプルフラグＳ１によって、第１のフラグメントデータボックス３０６に含まれる最初のサンプルがイントラフレームＩ１であることが示されていることとなる。
【００４９】
すなわち、これら同期サンプルフラグがセットされているエントリ３０９に、ランダムアクセス後の再生開始位置とすべきフレームのヘッダ情報が格納されているといえるので、画像データ再生装置２００は、これらのエントリ３０９に関する位置情報および時刻情報を集積してＲＡ情報テーブル３１０を生成する。
【００５０】
ここで、ＲＡ情報テーブル３１０の生成過程について図を用いて説明する。
図３は、本実施の形態１に係る画像データ再生装置がＲＡ情報テーブルを生成する処理手順を示すフロー図である。
まず、データファイル解析部２０３は、ムービーフラグメント３０４に含まれる最初のムービーフラグメントボックス３０５を読み込む（Ｓ１０）。続いて、そのムービーフラグメントボックス３０５に含まれる最初のトラックフラグメントボックス３０７を読み込む（Ｓ１１）。さらに、データファイル解析部２０３は、ボックスの階層を深めて、最初のトラックフラグメントボックス３０７に含まれる最初のトラックランボックス３０８を読み込む（Ｓ１２）。
【００５１】
ここで、データファイル解析部２０３は、このトラックランボックス３０８のフィールドに同期サンプルフラグ情報が記述されているか否かを解析する（Ｓ１３）。
トラックランボックス３０８のフィールドに同期サンプルフラグ情報が記述されている場合、データファイル解析部２０３は、同期サンプルフラグの位置情報や時刻情報をＲＡ情報としてＲＡ情報テーブル生成部２０６に出力し、ＲＡ情報テーブル生成部２０６はこの情報をＲＡ情報テーブル３１０に追加する（Ｓ１４）。
【００５２】
一方、トラックランボックス３０８のフィールドに同期サンプルフラグ情報が記述されていない場合、データファイル解析部２０３は、さらにボックスの階層を深めて、第１のトラックランボックス３０８に含まれるエントリ３０９を順次読み込む（Ｓ１５）。
【００５３】
ここで、データファイル解析部２０３は、順次読み込んだエントリ３０９のフィールドに同期サンプルフラグ情報が含まれているか否かを解析する（Ｓ１６）。
【００５４】
エントリ３０９のフィールドに同期サンプルフラグ情報が記述されている場合、先に述べたトラックランボックス３０８のフィールドに同期サンプルフラグ情報が記述されている場合と同様に、ＲＡ情報テーブル生成部２０６は、データファイル解析部２０３がＲＡ情報として出力する同期サンプルフラグの位置情報や時刻情報をＲＡ情報テーブル３１０に追加する（Ｓ１４）。
【００５５】
一方、エントリ３０９のフィールドに同期サンプルフラグ情報が記述されていない場合、データファイル解析部２０３は、次のトラックランボックス３０８を読み込む。ＲＡ情報テーブル生成部２０６にＲＡ情報として同期サンプルフラグの位置情報や時刻情報がＲＡ情報テーブル３１０に追加された場合も同様に、次のトラックランボックス３０８を読み込む。
【００５６】
ここで、トラックフラグメントボックス３０７に次のトラックランボックス３０８があれば、画像データ再生装置２００はＳ１２〜Ｓ１４までの処理を繰り返し、トラックフラグメントボックス３０７に次のトラックランボックス３０８がなければ、データファイル解析部２０３は、次のトラックフラグメントボックス３０７を読み込む（Ｓ１７）。
【００５７】
また、同様に、ムービーフラグメントボックス３０５に次のトラックフラグメントボックス３０７があれば、画像データ再生装置２００はＳ１１〜Ｓ１７までの処理を繰り返し、ムービーフラグメントボックス３０５に次のトラックフラグメントボックス３０７がなければ、データファイル解析部２０３は、次のムービーフラグメントボックス３０５を読み込む（Ｓ１８）。
【００５８】
その後、次のムービーフラグメントボックス３０５があれば、画像データ再生装置２００は、Ｓ１１〜Ｓ１８までの処理を繰り返し、次のムービーフラグメントボックス３０５がなければ、ＲＡ情報テーブル生成部２０６は、データファイル解析部２０３からＲＡ情報終了情報を受け取り、生成したＲＡ情報テーブル３１０をファイル出力部２０７に出力する（Ｓ１９）。そして、最終的には、ＲＡ情報テーブル３１０は、ファイル出力部２０７によってボックス構造に成形され、入力完了ＭＰ４ファイルの最後に結合されて新たなＭＰ４ファイル３００の一部として出力される（Ｓ２０）。
【００５９】
なお、上記のように、ムービーボックス３０１にムービー全体のサンプルに関する同期サンプルフラグ情報のデフォルト値が格納され、トラックフラグメントボックス３０７にそのボックスに含まれるサンプルに関する同期サンプルフラグ情報や継続時間長情報のデフォルト値が格納されている場合には、画像データ再生装置２００は、これらのデフォルト値を取得してメモリに保持しておく。そして、トラックランボックス３０８が省略されていれば、トラックフラグメントボックス３０７、ムービーボックス３０１の順に参照し、これらのデフォルト値を用いてＲＡ情報テーブル３１０を生成する。
【００６０】
このような過程を経て生成されるＲＡ情報テーブル３１０に含まれる情報やデータ構造について図４を用いて説明する。
図４（ａ）は、ＲＡ情報テーブル３１０に含まれるデータの中身を示す図である。
【００６１】
ＲＡ情報テーブル３１０は、テーブルに格納されるＲＡ情報の数と同数の行を有し、１行に１つのＲＡ情報を記述する構成とされる。
そして、１つのＲＡ情報は、同期サンプルフラグ情報が記述されているエントリ３０９によって指し示されるフレームの再生時刻を示す時間３１１、そのエントリ３０９が含まれるムービーフラグメントボックス３０５が、ファイル先頭から何バイト目に位置するかを示す”ｍｏｏｆ”の開始位置３１２、そのエントリ３０９が何番目のトラックフラグメントボックス３０７に含まれるかを示す”ｔｒａｆ”番号３１３、そのエントリ３０９が何番目のトラックランボックス３０８に含まれるかを示す”ｔｒｕｎ”番号３１４、そのエントリ３０９が何番目のエントリ３０９であるかを示すエントリ番号３１５、および、そのエントリ３０９によって指し示されるフレームはファイル先頭から何バイト目に位置するかを示すデータの開始位置３１６のフィールドから構成されている。
【００６２】
図４（ｂ）は、ＲＡ情報テーブル３１０のデータ構造を示す図である。
上述のように、ＲＡ情報テーブル３１０は、ファイル出力部２０７によってボックス構造に変換される（図３のＳ２０）。
ボックス構造に変換されたＲＡ情報テーブル３１０は、ＭＰ４ファイル３００を構成するその他のボックスと同様に、ボックスヘッダ部３１７とボックスデータ格納部３１８とから構成される。ボックスヘッダ部３１７は、ボックスのサイズ情報を格納するボックスサイズ３１７ａと、ボックスの種類を識別するための文字列を格納するボックスタイプ３１７ｂとを少なくとも含んでおり、これらのフィールドには例えば、夫々４バイトが割り当てられる。なお、このボックスヘッダ部３１７にＲＡ情報テーブル３１０のバージョンやフラグ情報を示すバージョンフラグ情報を格納することとしてもよい。
【００６３】
また、ボックスヘッダ部３１７に続いて位置するボックスデータ格納部３１８には、ＲＡ情報テーブル３１０に含まれるＲＡ情報の数を示すＲＡ情報テーブルに含まれるサンプルフラグ数３１９が格納されており、その後ろにＲＡ情報を構成するフィールド３１１〜３１６が並べられる。これらのフィールドのデータ長は、ここでは、サンプルフラグ数３１９のフィールドに、４バイトを割り当て、このＲＡ情報を構成するフィールドには、時間３１１に４バイト、”ｍｏｏｆ”の開始位置３１２に４バイト、”ｔｒａｆ”番号３１３に１バイト、”ｔｒｕｎ”番号３１４に１バイト、エントリ番号３１５に２バイト、データの開始位置３１６に４バイトを割り当てるとして説明するが、データ量の削減のためにその他のデータ長であってもよく、このデータ長を示す情報を、ＲＡ情報テーブル３１０に持たせることとしてもよい。
【００６４】
このように、本実施の形態１に係る画像データ再生装置２００は、最初のファイル再生段階、すなわちＭＰ４ファイルをダウンロードしながら再生する段階において、ファイルの再生と同時に、ランダムアクセス時に再生開始位置とすべきフレーム、例えばイントラフレーム等のヘッダ情報に関する位置情報および時刻情報を抽出する。そして、画像データ再生装置２００は、この位置情報等を集積してダウンロードの完了後にＭＰ４ファイルの末尾に追加し、新たなＭＰ４ファイルとして出力する。すなわち、画像データ再生装置２００は、最初のファイル再生段階において、ランダムアクセスを迅速に処理するための情報を生成して出力するので、ダウンロード後の再生時におけるランダムアクセス再生の迅速化に寄与することができる。
【００６５】
次に、本実施の形態１の第１変形例について説明する。
上記実施の形態１では、画像データ再生装置２００において、データファイル解析部２０３がＲＡ情報をＲＡ情報テーブル生成部２０６に出力し、ＲＡ情報テーブル生成部２０６でＲＡ情報テーブルが生成されることとした。
【００６６】
これに対して第１変形例では、上記実施の形態１と略同一の構成とされる画像データ再生装置において、データファイル解析部が、動画像トラック用ＲＡ情報および音声トラック用ＲＡ情報等のようにトラック毎のＲＡ情報をＲＡ情報テーブル生成部に出力し、ＲＡ情報テーブル生成部でトラック毎のＲＡ情報テーブルが生成される。
【００６７】
そのため、第１変形例に係る画像データ再生装置が生成するＭＰ４ファイルの構造は、上記画像データ再生装置２００が生成するＭＰ４ファイルと異なる。以下、第１変形例に係る画像データ再生装置により生成されるＭＰ４ファイルの構造について、生成過程を含めて説明することとする。
【００６８】
図５は、本実施の形態１の第１変形例に係る画像データ再生装置により生成されるＭＰ４ファイルのファイル構造を示す図である。
このＭＰ４ファイル４００は、ムービーボックス４０１、ムービーデータボックス４０２、ムービーフラグメント列４０３およびＲＡ情報テーブル列４１０から構成されており、ＲＡ情報テーブルが複数含まれている点において、上記ＭＰ４ファイル３００と異なる。
【００６９】
なお、このＭＰ４ファイル４００も、画像データ再生装置に取り込まれる段階では、従来におけるＭＰ４ファイル１００の構成と同様の構成とされる。
ＲＡ情報テーブル列４１０は、複数のＲＡ情報テーブルが繰り返し配列されたものであり、ボックス構造に成形されている。すなわち、このＲＡ情報テーブル列４１０は、ＭＰ４ファイル４００のその他のボックスと同様に、ボックスヘッダ部４１１とボックスデータ格納部４１２とから構成される。そして、ＲＡ情報テーブル列４１０の先頭に位置するボックスヘッダ部４１１は、ボックスのサイズ情報を格納するボックスサイズ４１１ａと、ボックスの種別を表す文字列を格納するボックスタイプ４１１ｂとを少なくとも含んでおり、これらのフィールドには例えば、夫々４バイトが割り当てられる。なお、このボックスヘッダ部４１１にＲＡ情報テーブル列４１０のバージョンやフラグ情報を示すバージョンフラグ情報を格納することとしてもよい。
【００７０】
また、ボックスヘッダ部４１１に続いて位置するボックスデータ格納部４１２には、ＲＡ情報テーブル列４１０に含まれるＲＡ情報テーブルの数を示すＲＡ情報テーブル数４１３が格納されており、その後に例えば、動画像トラック用ＲＡ情報テーブル４１４Ｍ、音声トラック用ＲＡ情報テーブル４１４Ａおよびテキストトラック用ＲＡ情報テーブル４１４Ｔ等のトラック毎に生成されたＲＡ情報テーブルが格納される。
【００７１】
このトラック毎に生成されるＲＡ情報テーブルは、図５に示すように、トラックの種類にかかわらず全て同一の構成とすることができ、また、トラックの種類毎に異なる構成としてもよい。なお、ここでは、トラックの種類毎に同一の構成として、動画像トラック用ＲＡ情報テーブル４１４Ｍと音声トラック用ＲＡ情報テーブル４１４Ａとを用いて説明することとする。
【００７２】
動画像トラック用ＲＡ情報テーブル４１４Ｍは、動画像トラックに関するＲＡ情報を集積したテーブルである。この動画像トラック用ＲＡ情報テーブル４１４Ｍの先頭には、どのトラックに関するＲＡ情報テーブルであるかを示すユニークな文字列を記述するフィールドであるトラックＩＤ４１５Ｍが含まれている。そして、このトラックＩＤ４１５Ｍに続いて、テーブルに含まれるサンプルフラグ数４１６Ｍのフィールドが含まれ、その後にＲＡエントリ４１７Ｍが並べられる。なお、ＲＡエントリ４１７Ｍとは、上記実施の形態１のＲＡ情報テーブル３１０における時間３１１からデータの開始位置３１６までのフィールドを一まとめにしたフィールド群を意味するものとする。
【００７３】
一方、音声トラック用ＲＡ情報テーブル４１４Ａは、音声トラックに関するＲＡ情報を集積したテーブルである。この音声トラック用ＲＡ情報テーブル４１４Ａも、動画像トラック用ＲＡ情報テーブル４１４Ｍと同様に、先頭にトラックＩＤ４１５Ａが含まれている。そして、このトラックＩＤ４１５Ａに続いて、テーブルに含まれるサンプルフラグ数４１６Ａが含まれ、その後にＲＡエントリ４１７Ａが並べられる。
【００７４】
そして、図５に示すように、動画像トラック用ＲＡ情報テーブル４１４ＭにおけるＲＡエントリ４１７Ｍの順番と、音声トラック用ＲＡ情報テーブル４１４ＡにおけるＲＡエントリ４１７Ａの順番とが一致するＲＡエントリ同士で同期再生を行なうことができるようにＲＡ情報テーブル４１４Ｍおよび４１４Ａが生成される。
【００７５】
また、一般に、音声トラックの場合、動画像トラックにおける予測フレームのように既に復号化したフレームのデータを参照しながら復号化を行なうものではなく、どの音声フレームから復号化しても再生することができるので、動画像トラック用ＲＡ情報テーブル４１４Ｍのように、テーブルに追加する情報をイントラフレームであることを示すエントリに限る必要がない。従って、音声トラックに関するＲＡ情報は、例えば音声フレームの再生時刻に一定時間間隔という規則性を持たせ、その規則性に従って配列された音声フレームのヘッダ情報に関する時刻情報および位置情報であればよい。
【００７６】
または、音声フレームの再生時刻に、動画像フレームと同調させて動画像トラック用ＲＡ情報テーブル４１４ＭにおけるＲＡエントリ４１７Ｍのフィールドに記述されている再生時刻の値と最も近い再生時刻を有するものという規則性を持たせることとしてもよい。動画像フレームのサンプルレートと音声フレームのサンプルレートとは夫々異なるため、動画像フレームと音声フレームとの再生時刻は必ずしも一致するとは限らない。しかし、この規則性によれば、動画像フレームの再生時刻と音声フレームの再生時刻とがずれる場合でも、近似している再生時刻および”ｍｏｏｆ”の開始位置をＲＡエントリ４１７Ｍおよび４１７Ａに夫々記述し、これらを参照することによって、ランダムアクセス後における動画像データの再生開始時刻と音声データの再生開始時刻とを略一致させることができるようになる。
【００７７】
さらにいえば、音声トラックに関するＲＡ情報は、動画像フレームとの同期再生が図られている音声フレームのヘッダ情報に関する時刻情報および位置情報であってもよい。
すなわち、音声トラック用ＲＡ情報テーブル４１４Ａは、テーブルに含まれるサンプルフラグ数４１６Ａの後に、例えば、所定の規則性に従って配列された音声フレームの再生時刻を示すフィールドを並べたり、また、動画像フレームとの同期再生が図られている音声フレームに対応するヘッダの位置情報等を示すフィールドを並べたりしてもよく、これらのフィールドを交互に並べることとしてもよい。
【００７８】
このように、第１変形例に係る画像データ再生装置によれば、動画像トラック用ＲＡ情報テーブルや音声トラック用ＲＡ情報テーブルのように、トラック毎のＲＡ情報テーブルを含んだＭＰ４ファイル４００が生成されるので、装置内に取り込まれるＭＰ４ファイルに様々なトラックが複合されている場合でも、ダウンロード後の再生時におけるランダムアクセス再生の迅速化に寄与することができる。
【００７９】
続いて、本実施の形態１の第２変形例および第３変形例について説明する。
上記実施の形態１では、ＭＰ４ファイル３００は、画像データ再生装置２００において、装置内に取り込まれるＭＰ４ファイルの末尾にＲＡ情報テーブル３１０が追加されることによって生成されることとした。
【００８０】
これに対して第２変形例では、装置内に取り込まれるＭＰ４ファイルから、ＭＰ４ファイルと、ＲＡ情報テーブルファイルとが分かれて生成される。
そのため、第２変形例に係る画像データ再生装置の構成要素は、上記画像データ再生装置２００の構成と異なる。以下、第２変形例に係る画像データ再生装置について、上記画像データ再生装置２００と異なる点を中心に説明することとする。
【００８１】
図６は、本実施の形態１の第２変形例に係る画像データ再生装置の構成を示すブロック図である。
この第２変形例に係る画像データ再生装置２００Ｂは、主に、ＲＡ情報テーブルファイル出力部２１９と、ＲＡ情報テーブルファイル格納部２２０とを備える点において、上記画像データ再生装置２００と異なる。
【００８２】
ＲＡ情報テーブルファイル出力部２１９は、ＲＡ情報テーブル生成部２１６から出力されるＲＡ情報テーブルを受け取って、ＲＡ情報テーブルをボックス構造に成形し、ファイル化してＲＡ情報テーブルファイルを出力する処理部であり、ＣＰＵやメモリによって実現される。
【００８３】
ＲＡ情報テーブルファイル格納部２２０は、ＲＡ情報テーブルファイル出力部２１９が出力したＲＡ情報テーブルファイルを格納する記憶部であり、ハードディスク等の記憶装置や、光磁気ディスク、ＳＤメモリーカード等の記録媒体等によって実現される。
【００８４】
画像データ再生装置２００Ｂをこのような構成とすることで、ＲＡ情報テーブルファイルをＭＰ４ファイルと分離させて生成することができるので、ＭＰ４ファイル格納部２１８に格納されるＭＰ４ファイルのファイルサイズを最小限にした状態のまま、別の画像データ再生装置等に再送信することができる。また、フレキシブルディスク等の容易に運搬可能な記録媒体等によって、ＲＡ情報テーブルファイルのみをその他の画像データ再生装置にコピーする等、ＲＡ情報テーブルファイルの利用範囲を広げることもできる。
【００８５】
なお、ＲＡ情報テーブルファイルと出力されるＭＰ４ファイルとのファイル間の関連付けを示すことが必要となるが、ＲＡ情報テーブルファイルのファイル名をＭＰ４ファイルのファイル名と同一にし、拡張子のみを異ならせる等の所定の関連付け規則を定めておき、ＲＡ情報テーブルファイル出力部２１９において、その規則に従ってＲＡ情報テーブルファイルを出力することとすればよい。具体的に説明すると、例えば、ＭＰ４ファイルであることを示す拡張子が”．ｍｐ４”であり、ＲＡ情報テーブルファイルであることを示す拡張子が”．ｒａｔ”であるとして、出力されるＭＰ４ファイルのファイル名が、”ａａａ．ｍｐ４”であれば、ＲＡ情報テーブルファイルを”ａａａ．ｒａｔ”として出力すればよい。
【００８６】
これに対して第３変形例では、装置内に取り込まれるＭＰ４ファイルから、ＲＡ情報テーブルファイルと、ＭＰ４ファイルと、そして両ファイル間の関連付けを管理する関連付け管理ファイルとが生成される。
そのため、第３変形例に係る画像データ再生装置の構成要素は、上記画像データ再生装置２００Ｂの構成と異なる。以下、第３変形例に係る画像データ再生装置について、上記画像データ再生装置２００Ｂと異なる点を中心に説明することとする。
【００８７】
図７は、本実施の形態１の第３変形例に係る画像データ再生装置の構成を示すブロック図である。
この第３変形例に係る画像データ再生装置２００Ｃは、主に、ファイル情報管理部２３１と、管理ファイル格納部２３２とを備える点において、上記画像データ再生装置２００Ｂと異なる。
【００８８】
ファイル情報管理部２３１は、キーボード等の入力装置を介して画像データ再生装置２００Ｃ内に入力されるユーザからのファイル名指示に従って、出力されるＭＰ４ファイルのファイル名と、ＲＡ情報テーブルファイルのファイル名とを決定して、ＭＰ４ファイル名情報をＭＰ４ファイル出力部２２７に出力し、ＲＡ情報テーブルファイル名情報をＲＡ情報テーブルファイル出力部２２９に出力すると共に、両ファイル間の関連付け規則をファイル化し、関連付け管理ファイルとして出力する処理部であり、ＣＰＵやメモリ等によって実現される。
【００８９】
管理ファイル格納部２３２は、ファイル情報管理部２３１が出力した関連付け管理ファイルを格納する記憶部であり、ハードディスク等の記憶装置や、光磁気ディスク、ＳＤメモリーカード等の記録媒体等によって実現される。
画像データ再生装置２００Ｃをこのような構成として、ＲＡ情報テーブルファイルをＭＰ４ファイルと分離させて生成する際に、両ファイル間の関連付け規則について別途ファイルを生成することによって、ユーザにファイル名を設定する裁量を与えることもできる。
【００９０】
このように、本実施の形態１およびその変形例に係る画像データ再生装置によって生成されるＭＰ４ファイルとＲＡ情報テーブルとの関係には、複数のパターンが考えられる。
【００９１】
図８（ａ）〜（ｃ）は、ＭＰ４ファイルとＲＡ情報テーブルとの関係を説明するための図である。
図８（ａ）は、本実施の形態１に係る画像データ再生装置２００により生成されるファイルを示す図である。本実施の形態１に係る画像データ再生装置２００によれば、図２０に示す構成のＭＰ４ファイル１００は、装置内に取り込まれると、ＲＡ情報テーブル３１０が末尾に追加されて、ＲＡ情報テーブル３１０が一体となった新たなＭＰ４ファイル３００として出力される。
【００９２】
図８（ｂ）は、第２変形例に係る画像データ再生装置２００Ｂにより生成されるファイルを示す図である。画像データ再生装置２００Ｂによれば、図２０に示す構成のＭＰ４ファイル１００は、装置内に取り込まれると、図２０に示す構成と略同じ構成のＭＰ４ファイル３２０として出力されると共に、これと分離してＲＡ情報テーブルファイル３２１が出力されることになる。この場合、上述したようにＲＡ情報テーブルファイル３２１は、出力ＭＰ４ファイル３２０との間の所定の関連付け規則に従ってファイル名が決定される関係にある。
【００９３】
図８（ｃ）は、第３変形例に係る画像データ再生装置２００Ｃにより生成されるファイルを示す図である。画像データ再生装置２００Ｃによれば、図２０に示す構成のＭＰ４ファイル１００は、装置内に取り込まれると、図２０に示す構成と略同じ構成のＭＰ４ファイル３３０として出力されると共に、これと分離してＲＡ情報テーブルファイル３３１と関連付け管理ファイル３３２とが出力されることになる。この場合、上述したようにＲＡ情報テーブルファイル３３１と出力ＭＰ４ファイル３３０との間の関連付けは、関連付け管理ファイル３３２によって管理されているので、関連付け管理ファイル３３２がＲＡ情報テーブルファイル３３１と出力ＭＰ４ファイル３３０とを仲介する関係にある。
【００９４】
以上説明したように、本実施の形態１およびその変形例によれば、画像データ再生装置において、最初のファイル再生時にランダムアクセスを迅速に処理するための情報を生成するので、ランダムアクセス再生の迅速化に寄与することができる。
【００９５】
（実施の形態２）
次に、本発明の実施の形態２について図面を用いて説明する。
上記実施の形態１では、ランダムアクセスを迅速に処理するためのＲＡ情報テーブルを生成する画像データ再生装置について説明したが、本実施の形態２では、生成されたＲＡ情報テーブルを利用する画像データ再生装置について説明する。そのため、本実施の形態２に係る画像データ再生装置の構成要素は、上記実施の形態１に係る画像データ再生装置２００と異なる。以下、この異なる点を中心に説明することとする。
【００９６】
図９は、本発明の実施の形態２に係る画像データ再生装置の構成を示すブロック図である。
この画像データ再生装置５００は、主に、再生位置制御部５０７を備えており、ファイル出力部およびファイル格納部等を備えていない点において上記実施の形態１に係る画像データ再生装置２００と異なる。
【００９７】
再生位置制御部５０７は、ＲＡ情報テーブル生成部５０６から出力されるＲＡ情報テーブルを受け取って、ランダムアクセス後の再生位置を指示する解析位置指示情報を出力する処理部であり、ＣＰＵやメモリによって実現される。この再生位置制御部５０７は、キーボードやマウス等の入力装置を介して画像データ再生装置５００内に入力されるユーザからの再生位置変更指示（ランダムアクセス指示）に従って、ＲＡ情報テーブルを参照しランダムアクセス後の再生位置を決定して解析位置指示情報をデータファイル解析部５０３に出力する。
【００９８】
そして、上記実施の形態１と異なり、データファイル解析部５０３は、この解析位置指示情報に従ってＭＰ４ファイルのヘッダ情報を解析し、その結果に基づいて復号指示情報をデータ復号化部５０４に出力する。
また、ＲＡ情報テーブル生成部５０６は、全てのＲＡ情報を集積させてＲＡ情報テーブルを生成して出力することとしてもよいが、ダウンロード再生中にＲＡ情報テーブルを利用することができるようにするため、所定の数のＲＡ情報を集積させ、所定の間隔で順次ＲＡ情報テーブルを生成し出力するのが望ましい。
【００９９】
このような構成とされる画像データ再生装置５００では、ＲＡ情報テーブルがファイル出力されないため、ＭＰ４ファイルのダウンロード再生中、または、データファイル一時記憶部５０２にダウンロード済みのＭＰ４ファイルが保持されている間にランダムアクセス再生が可能である。これは、ダウンロード後のＭＰ４ファイルを画像データ再生装置５００の外部記憶装置に出力することが禁止されているような場合に対応するためであり、データファイル一時記憶部５０２からＭＰ４ファイルが削除されると、ＲＡ情報テーブルも破棄されることになる。また、ＭＰ４ファイルのうちダウンロードが完了していない部分についてはデータそのものが存在せず、この部分へのランダムアクセスができないので、ＭＰ４ファイルのダウンロード再生中においては、ダウンロードが完了した部分へのランダムアクセスが可能である。
【０１００】
このように、本実施の形態２に係る画像データ再生装置５００は、最初のファイル再生段階において、ファイルの再生と同時に、ランダムアクセス時に再生開始位置とすべきフレームのヘッダ情報に関する位置情報および時刻情報等を集積したＲＡ情報テーブルを生成し、このテーブルに記述されている情報を用いてランダムアクセス再生を行なうので、迅速なランダムアクセス再生を実現することができる。
【０１０１】
次に、本実施の形態２の第１変形例について説明する。
上記実施の形態２では、画像データ再生装置５００において、生成されたＲＡ情報テーブルはファイル出力されず、またダウンロード後のＭＰ４ファイルもファイル出力されないこととした。
【０１０２】
これに対して第１変形例では、画像データ再生装置において、生成されたＲＡ情報テーブルとダウンロード後のＭＰ４ファイルとをファイル出力する。
そのため、第１変形例に係る画像データ再生装置の構成要素は、上記画像データ再生装置５００の構成要素と異なる。以下、第１変形例に係る画像データ再生装置について、この異なる点を中心に説明する。
【０１０３】
図１０は、本実施の形態２の第１変形例に係る画像データ再生装置の構成を示すブロック図である。
この画像データ再生装置５００Ａは、主に、ファイル出力部５１８とファイル格納部５１９とを備えている点において上記実施の形態２に係る画像データ再生装置５００と異なる。
【０１０４】
ファイル出力部５１８は、装置内への入力が完了したＭＰ４ファイルを読み出すとともに、ＲＡ情報テーブル生成部５１６から全てのＲＡ情報が集積されたＲＡ情報テーブルを受け取って、入力完了ＭＰ４ファイルの末尾に追加し、入力完了ＭＰ４ファイルとＲＡ情報テーブルとを多重化して新たなＭＰ４ファイルを出力する処理部であり、ＣＰＵやメモリによって実現される。
【０１０５】
ファイル格納部５１９は、ファイル出力部５１８が出力したＭＰ４ファイルを格納する記憶部であり、ハードディスク等の記憶装置や、光磁気ディスク、ＳＤメモリーカード等の記録媒体等によって実現される。
【０１０６】
そして、ＲＡ情報テーブル生成部５１６は、上記画像データ再生装置５００におけるＲＡ情報テーブル生成部５０６と同様に、所定の数のＲＡ情報を集積させ、所定の間隔で順次ＲＡ情報テーブルを生成し再生位置制御部５１７に出力する一方で、ＲＡ情報を蓄積させて全てのＲＡ情報を集積させたＲＡ情報テーブルをファイル出力部５１８に出力する。
【０１０７】
なお、ＲＡ情報テーブル生成部５１６は、所定の数のＲＡ情報を集積させ、所定の間隔で順次ＲＡ情報テーブルを生成し再生位置制御部５１７およびファイル出力部５１８に出力し、ファイル出力部５１８において、全てのＲＡ情報を集積させたＲＡ情報テーブルを生成し、入力完了ＭＰ４ファイルの末尾に追加することとしてもよい。
【０１０８】
また、生成されるＲＡ情報テーブルの構造は、上記実施の形態１におけるＲＡ情報テーブル３１０または上記実施の形態１の第１変形例に係るＲＡ情報テーブル列４１０と同一である。
【０１０９】
このように、第１変形例に係る画像データ再生装置５００Ａによれば、最初のファイル再生段階において、ファイルの再生と同時に、ランダムアクセス時に再生開始位置とすべきフレームのヘッダ情報に関する位置情報および時刻情報等を集積したＲＡ情報テーブルを生成し、このテーブルに記述されている情報を用いてランダムアクセス再生を行なうので、迅速なランダムアクセス再生を実現することができ、また、ダウンロードが完了した後にはランダムアクセスを迅速に処理するための情報をファイル出力することができるので、上記実施の形態２と異なり、ＭＰ４ファイルのダウンロード後であって、データファイル一時記憶部５１２からＭＰ４ファイルが削除された後においても、ランダムアクセス再生の迅速化に寄与することもできる。
【０１１０】
さらに続いて、本実施の形態２の第２変形例について説明する。
上記実施の形態２および第１変形例では、画像データ再生装置５００および５００Ａにおいて、ＲＡ情報テーブルが生成されることとした。
これに対して第２変形例では、画像データ再生装置は、ＲＡ情報テーブルを生成することなく、既に生成されたＲＡ情報テーブルを読み込んでランダムアクセス再生に用いる。
【０１１１】
そのため、第２変形例に係る画像データ再生装置の構成要素は、上記画像データ再生装置５００および５００Ａの構成要素と異なる。以下、第２変形例に係る画像データ再生装置について、この異なる点を中心に説明する。
図１１は、本発明の実施の形態２の第２変形例に係る画像データ再生装置の構成を示すブロック図である。
【０１１２】
この画像データ再生装置５００Ｂは、主に、ＲＡ情報テーブルファイル格納部５２７を備えており、ＲＡ情報テーブル生成部等を備えていない点において上記実施の形態２および第１変形例に係る画像データ再生装置５００および５００Ａと異なる。
【０１１３】
ＲＡ情報テーブルファイル格納部５２７は、例えば、上記実施の形態１の第２変形例に係る画像データ再生装置２００Ｂ等において既に生成されたＲＡ情報テーブルファイルを格納している記憶部であり、ハードディスク等の記憶装置や、ＳＤメモリーカードやフレキシブルディスク等の容易に運搬可能な記録媒体等によって実現される。
【０１１４】
そして、再生位置制御部５２６は、キーボードやマウス等の入力装置を介して画像データ再生装置５００Ｂ内に入力されるユーザからのランダムアクセス指示に従って、ＲＡ情報テーブルファイル格納部５２７からＲＡ情報テーブルを読み込み、これを参照してランダムアクセス後の再生位置を決定し解析位置指示情報をデータファイル解析部５２３に出力する。
【０１１５】
画像データ再生装置５００Ｂをこのように構成することで、ダウンロード再生されるＭＰ４ファイルに関するＲＡ情報テーブルファイルが既に生成されている場合には、ＲＡ情報テーブルを生成する必要がないので、ランダムアクセス再生をさらに迅速に行なうことができる。なお、この場合においても、ＭＰ４ファイルのうちダウンロードが完了していない部分については、ＲＡ情報テーブルファイルには全てのＲＡ情報が記述されているが、データそのものが存在しないため、ダウンロードが完了した部分へのランダムアクセスが可能である。
【０１１６】
以上説明したように、本実施の形態２およびその変形例によれば、画像データ再生装置において、最初のファイル再生時にランダムアクセスを迅速に処理するための情報を生成してこの情報を利用したり、既に生成されている情報を読み込んで利用したりするので、ランダムアクセス再生を迅速に行なうことができる。
【０１１７】
（実施の形態３）
さらに、本発明の実施の形態３について図面を用いて説明する。
上記実施の形態１では、主としてＲＡ情報テーブルを生成する画像データ再生装置について説明し、上記実施の形態２では、主としてＲＡ情報テーブルを利用する画像データ再生装置について説明した。すなわち、上記実施の形態１および２では、ランダムアクセスを迅速に処理するため、ＲＡ情報テーブルをボックス構造に成形して生成したり、ボックス構造に成形されたＲＡ情報テーブルを利用したりする画像データ再生装置について説明した。
【０１１８】
これに対して、本実施の形態３における画像データ再生装置では、トラック毎のＲＡ情報を格納するボックスを生成し、さらに、これらのボックスをまとめて格納するためのボックスを生成する。そのため、本実施の形態３に係る画像データ再生装置の構成要素は、上記実施の形態１および２に係る画像データ再生装置のそれと異なる。以下、この異なる点を中心に説明することとする。
【０１１９】
図１２は、本発明の実施の形態３に係る画像データ再生装置の構成を示すブロック図である。
この画像データ再生装置６００は、主に、ＲＡ情報格納ボックス生成部６０６を備えている点で、上記実施の形態１および２に係る画像データ再生装置と異なる。
【０１２０】
ＲＡ情報格納ボックス生成部６０６は、データファイル解析部６０３からＲＡ情報を受け取って、トラック毎のＲＡ情報を格納するトラックＲＡ情報格納ボックスを生成するとともに、このトラックＲＡ情報格納ボックスをまとめて格納するＲＡ情報格納ボックスを生成する処理部であり、ＣＰＵやメモリ等によって実現される。このトラックＲＡ情報格納ボックスおよびＲＡ情報格納ボックスについては、後に詳しく説明することとする。
【０１２１】
そして、再生位置制御部６０７は、キーボードやマウス等の入力装置を介して画像データ再生装置６００内に入力されるユーザからのランダムアクセス指示に従って、ＲＡ情報格納ボックス生成部６０６からＲＡ情報格納ボックスを読み込み、これを参照してランダムアクセス後の再生位置を決定し解析位置指示情報をデータファイル解析部６０３に出力する。
【０１２２】
また、ファイル出力部６０８は、装置内への入力が完了したＭＰ４ファイルを読み出すとともに、ＲＡ情報格納ボックス生成部６０６からＲＡ情報格納ボックスを受け取って、入力完了ＭＰ４ファイルと一体化させて新たなＭＰ４ファイルを出力する。
【０１２３】
なお、再生位置制御部６０７は、ＭＰ４ファイルのダウンロード再生中にＲＡ情報格納ボックスを利用することができるようにするため、ＲＡ情報格納ボックス生成部６０６において生成途中のＲＡ情報格納ボックスを読み込むことができるものとする。
【０１２４】
次に、この画像データ再生装置６００により生成されるＭＰ４ファイルの構造について説明する。
図１３は、本発明の実施の形態３に係る画像データ再生装置６００により生成されるＭＰ４ファイルのファイル構造を示す図である。
【０１２５】
図１３に示すように、このＭＰ４ファイル７００は、ムービーボックス７０１、ムービーデータボックス７０２、ムービーフラグメント列７０３およびＲＡ情報格納ボックス７０４から構成され、ＲＡ情報格納ボックス７０４を含む点において上記ＭＰ４ファイル３００等と異なる。
【０１２６】
なお、このＭＰ４ファイル７００も、画像データ再生装置６００に取り込まれる段階では、従来におけるＭＰ４ファイル１００の構成と同様の構成とされる。
ＲＡ情報格納ボックス７０４は、トラックＲＡ情報格納ボックス７０６をまとめて格納するボックスであり、ＭＰ４ファイル７００のその他のボックスと同様に、ボックスヘッダ部７０５とボックスデータ格納部とから構成され、このボックスデータ格納部に複数のトラックＲＡ情報格納ボックス７０６が格納されている。
【０１２７】
このＲＡ情報格納ボックス７０４のボックスヘッダ部７０５は、ＲＡ情報格納ボックス７０４のサイズ情報を格納するボックスサイズというフィールドと、ＲＡ情報格納ボックス７０４ボックスの種別を表す文字列として、例えば、”ｍｆｒａ”という文字列を格納するボックスタイプというフィールドとを少なくとも含んでいる。また、このボックスヘッダ部７０５は、ＲＡ情報格納ボックス７０４のバージョンやフラグ情報を示すバージョンフラグ情報や、ボックス内に含まれるトラックＲＡ情報格納ボックス７０６の数を示す情報を格納するフィールドを備えることとしてもよい。なお、これらのフィールドには、例えば夫々４バイトが割り当てられる。
【０１２８】
トラックＲＡ情報格納ボックス７０６は、動画像トラックＲＡ情報格納ボックス等、トラック毎のＲＡ情報を格納するボックスであり、ＭＰ４ファイル７００のその他のボックスと同様に、ボックスヘッダ部７０７とボックスデータ格納部とから構成され、このボックスデータ格納部に、トラックＩＤ７０８、ボックスに含まれるサンプルフラグ数７０９および複数のＲＡ情報が格納されている。
【０１２９】
このトラックＲＡ情報格納ボックス７０６のボックスヘッダ部７０７は、トラックＲＡ情報格納ボックス７０６のサイズ情報を格納するボックスサイズというフィールドと、トラックＲＡ情報格納ボックス７０６のボックスの種別を表す文字列として、例えば、”ｔｆｒａ”という文字列を格納するボックスタイプというフィールドとを少なくとも含んでいる。
【０１３０】
また、トラックＲＡ情報格納ボックス７０６のボックスデータ格納部は、どのトラックに関するＲＡ情報が格納されているかを示すトラックＩＤ７０８のフィールド、トラックＲＡ情報格納ボックス７０６に含まれるＲＡ情報の数を示すボックスに含まれるサンプルフラグ数７０９のフィールド、およびＲＡ情報を構成するフィールドを含んでいる。
【０１３１】
なお、トラックＩＤ７０８およびボックスに含まれるサンプルフラグ数７０９のフィールドは、ボックスヘッダ部７０７に格納されることとしてもよく、また、トラックＲＡ情報格納ボックス７０６に関するバージョンフラグ情報をボックスヘッダ部７０７に格納してもよい。
【０１３２】
そして、ＲＡ情報を構成するフィールドは、上記実施の形態１および２と同様の構成とされ、割り当てられるバイトは固定長とされる。一方、ＲＡ情報を構成するフィールド以外のトラックＲＡ情報格納ボックス７０６内の各フィールドには、例えば、夫々４バイトが割り当てられることとする。
【０１３３】
ここで、画像データ再生装置６００によるランダムアクセス再生の処理方法について、図１４および図１５を用いて説明する。
図１４（ａ）は、本実施の形態３に係る画像データ再生装置６００によるランダムアクセス再生の第１の処理方法を説明するための図であり、図１５は、図１４（ａ）に基づく画像データ再生装置の処理手順を示すフロー図である。
【０１３４】
まず、図１５に示すように、画像データ再生装置６００の再生位置制御部６０７は、ユーザからランダムアクセス指示の入力を受け取ると（Ｓ５０）、ＲＡ情報格納ボックス生成部６０６からＲＡ情報格納ボックスの読み込みを試みる（Ｓ５１）。
【０１３５】
このとき、ＲＡ情報格納ボックス生成部６０６にＲＡ情報格納ボックスがない場合、すなわち、図１４（ａ）に示すケース１の場合、再生位置制御部６０７は、ＭＰ４ファイルに含まれる全てのトラックに関するＲＡ情報が含まれていないと判断する。そのため、再生位置制御部６０７は、データファイル解析部６０３に高速再生による再生位置の移動指示を出力する（Ｓ５７）。ここで、高速再生による再生位置の移動とは、通常の再生速度よりも早い速度で、従来における再生位置移動と同様に、ＭＰ４ファイルのヘッダ情報を解析し、フレーム一つ一つを復号化しながら再生継続時間をカウントし、ランダムアクセス後の再生開始位置となるフレームに移動することをいう。
【０１３６】
その後、データファイル解析部６０３は、移動後の再生位置に関する復号指示情報をデータ復号化部６０４に出力し、データ復号化部６０４が復号化した実体データをデータ再生部６０５が再生することになる（Ｓ５８）。但し、この場合、移動後の再生位置が必ずしもイントラフレームであるとは限らないため、移動後のデータ再生が正しく復号化できるものであるという保証を得ることはできない。なお、正しく復号化できないことを避けるために、ランダムアクセスの動作を諦めて、通常の再生速度を維持することとしてもよい。
【０１３７】
一方、ＲＡ情報格納ボックス生成部６０６にＲＡ情報格納ボックスがある場合、再生位置制御部６０７は、ＲＡ情報格納ボックスに含まれるトラックＲＡ情報格納ボックスの読み込みを試みる（Ｓ５２）。
このとき、トラックＲＡ情報格納ボックスがない場合、すなわち、図１４（ａ）に示すケース２の場合、再生位置制御部６０７は、トラックに関するＲＡ情報が含まれていないと判断する。そのため、再生位置制御部６０７は、データファイル解析部６０３に高速再生による再生位置の移動指示を出力する（Ｓ５７）。
【０１３８】
その後、データファイル解析部６０３は、移動後の再生位置に関する復号指示情報をデータ復号化部６０４に出力し、データ復号化部６０４が復号化した実体データをデータ再生部６０５が再生することになる（Ｓ５８）。
これに対して、トラックＲＡ情報格納ボックスがある場合、再生位置制御部６０７は、トラックＲＡ情報格納ボックスに含まれるエントリ情報の読み込みを試みる（Ｓ５３）。
【０１３９】
ここで、エントリ情報がない場合、すなわち、図１４（ａ）に示すケース３の場合、再生位置制御部６０７は、そのトラックに関して、全てのサンプルがランダムアクセス可能であると判断する。そのため、再生位置制御部６０７は、ランダムアクセス指示における指定時間の最寄りのサンプルを再生開始位置とするために再生位置の移動指示をデータファイル解析部６０３に出力する（Ｓ５５）。そして、データファイル解析部６０３は、ＭＰ４ファイルのヘッダ情報に含まれるフレームの再生継続時間をカウントして、ランダムアクセス指示の指定時間の最寄りのサンプルを移動後の再生位置とし（Ｓ５６）、復号指示情報をデータ復号化部６０４に出力する。
【０１４０】
その後、データ復号化部６０４は、実体データを復号化し、データ再生部６０５は、復号された実体データを再生する（Ｓ５８）。この場合、移動後の再生位置は、全てのサンプルがランダムアクセス可能であるため、移動後のデータ再生が正しく復号化できるものであるという保証を得ることができる。
【０１４１】
一方、エントリ情報がある場合、すなわち、図１４（ａ）に示すケース４の場合、再生位置制御部６０７は、エントリ情報に示されたサンプルがランダムアクセス可能であると判断する。そのため、再生位置制御部６０７は、トラックＲＡ情報格納ボックス内でランダムアクセス指示の指定時間に合致するエントリ情報を検索して、ランダムアクセス後の再生開始位置を決定し、データファイル解析部６０３に解析位置指示情報を出力する（Ｓ５４）。
【０１４２】
その後、データファイル解析部６０３は、解析位置指示情報に基づいて、復号指示情報をデータ復号化部６０４に出力し、データ復号化部６０４が復号化した実体データをデータ再生部６０５が再生する（Ｓ５８）。
【０１４３】
なお、図１４（ａ）に示すケース３に該当する具体例として、音声トラックのようにいずれのサンプルからもランダムアクセスが可能である場合に、トラックＲＡ情報格納ボックスにエントリ情報を格納しないことでＲＡ情報格納ボックスのサイズを小さくさせる場合が考えられる。また、図１４（ａ）に示すケース１および２に該当する具体例としては、ＲＡ情報格納ボックスの生成途中で読み込みを禁止する制限が設定されている場合等が考えられる。この場合、再生位置制御部６０７は、データファイル解析部６０３に高速再生による再生位置の移動指示を出力することとしているが（Ｓ５７）、移動指示を出力しないでランダムアクセスを行なわないこととしてもよい。そして、ＲＡ情報格納ボックスの生成が完了した後に、ランダムアクセス指示を受け付けることとしてもよい。
【０１４４】
図１４（ｂ）は、本実施の形態３に係る画像データ再生装置６００によるランダムアクセス再生の第２の処理方法を説明するための図である。
この第２の処理方法は、図１４（ａ）に示す第１の処理方法と、ケース２およびケース３の場合の再生位置制御部６０７による取り扱いが異なる。
【０１４５】
図１４（ｂ）に示すケース２の場合、再生位置制御部６０７は、全てのサンプルがランダムアクセス可能であると判断する。そのため、再生位置制御部６０７は、ランダムアクセス指示における指定時間の最寄りのサンプルを再生開始位置とするために再生位置の移動指示をデータファイル解析部６０３に出力する。
【０１４６】
また、図１４（ｂ）に示すケース３の場合、再生位置制御部６０７は、そのトラックに関して、全てのサンプルがランダムアクセスできない、または、ファイルの先頭に位置するサンプルからのみ再生が可能であると判断する。そのため、再生位置制御部６０７は、例えば、ユーザからのランダムアクセス指示の入力を一切受け付けない、または、ユーザからのランダムアクセス指示の入力は、ファイルの先頭に移動する場合にのみ受け付け、ファイルの先頭に移動するための再生位置の移動指示をデータファイル解析部６０３に出力することのみを行なう。
【０１４７】
このように、画像データ再生装置６００は、ランダムアクセス再生の処理方法において、ＲＡ情報格納ボックス等の有無に応じて処理手順を変更することができるので、トラックＲＡ情報格納ボックスやエントリ情報の構成を自由に設定することができる。また、ＲＡ情報格納ボックスからＲＡ情報を抽出することができない等の支障があっても、柔軟に対応することができる。
【０１４８】
以上説明したように、本実施の形態３によれば、画像データ再生装置において、トラック毎のＲＡ情報を格納するボックスと、このボックスをまとめて格納するボックスとを生成して出力することができるので、ランダムアクセス再生の迅速化に寄与することができる。また、ボックスに格納されているＲＡ情報を用いてランダムアクセスを行なうので、迅速なランダムアクセス再生を実現することできる。
【０１４９】
（実施の形態４）
さらに続いて、本発明の実施の形態４について説明する。
上記実施の形態３では、ＲＡ情報格納ボックスをＭＰ４ファイルの末尾に追加して新たなＭＰ４ファイルを出力する画像データ再生装置について説明した。
【０１５０】
これに対して、本実施の形態４における画像データ再生装置では、さらに、このＲＡ情報格納ボックスへのアクセスを容易にすることができるための情報を含むＭＰ４ファイルを出力する。そのため、本実施の形態４に係る画像データ再生装置が出力するＭＰ４ファイルは、上記実施の形態３に係る画像データ再生装置が出力するＭＰ４ファイルと構造を異にする。以下、この異なる点を中心に説明する。なお、本実施の形態４に係る画像データ再生装置の構成要素は、上記実施の形態３に係る画像データ再生装置と略同一であるため、装置のブロック図は、図１２を参照することとする。
【０１５１】
図１６は、本実施の形態４に係る画像データ再生装置により生成されるＭＰ４ファイルのファイル構造を示す図である。
このＭＰ４ファイル７１０は、ムービーボックス７１１、ムービーデータボックス７１２、ムービーフラグメント列７１３およびＲＡ情報格納ボックス７１４から構成される。この点において、上記実施の形態３におけるＭＰ４ファイル７００と共通するが、ＲＡ情報格納ボックス７１４にＲＡ情報格納オフセットボックス７１７を含む点において、上記ＭＰ４ファイル７００と異なる。
【０１５２】
なお、このＭＰ４ファイル７１０も、画像データ再生装置に取り込まれる段階では、従来におけるＭＰ４ファイル１００の構成と同様の構成とされる。
このＲＡ情報格納オフセットボックス７１７は、ＲＡ情報格納ボックス７１４がＭＰ４ファイル７１０の先頭または末尾から何バイト目に開始するかを示すＲＡ情報格納ボックスのオフセット情報を格納するボックスであり、ＭＰ４ファイル７１０を構成するその他のボックスと同様に、ボックスヘッダ部とボックスデータ格納部とから構成される。
【０１５３】
このＲＡ情報格納オフセットボックス７１７のボックスヘッダ部は、このボックスのサイズ情報を示すボックスサイズ７１８というフィールドと、このボックスの種別を表す文字列として、例えば、”ｍｆｒｏ”という文字列を格納するボックスタイプ７１９というフィールドとを少なくとも含んでおり、それぞれのフィールドには、例えば、４バイトが割り当てられる。
【０１５４】
また、ＲＡ情報格納オフセットボックス７１７のボックスデータ格納部は、ＲＡ情報格納ボックスのオフセット情報を記述するためのＲＡ情報格納ボックスオフセット情報７１７ａのフィールドを含んでおり、このフィールドにも例えば、４バイトが割り当てられる。このオフセット情報７１７ａをＲＡ情報格納ボックス７１４のサイズ情報とすることで、画像データ再生装置は、ＭＰ４ファイル７１０の最後尾から、オフセット情報７１７ａまで遡って読み込むことによって、ＲＡ情報格納ボックス７１４に容易にアクセスすることができるようになる。
【０１５５】
このＲＡ情報格納オフセットボックス７１７は、例えば、ＲＡ情報格納ボックス生成部６０６においてＲＡ情報格納ボックス７１４が生成される際に、ボックスの輪郭がまず生成され、ファイル出力部６０８においてＲＡ情報格納ボックス７１４が入力完了ＭＰ４ファイルの末尾に追加される際に、ボックス内部のフィールドに情報が記述されることによって生成される。
【０１５６】
なお、ＲＡ情報格納オフセットボックス７１７には、ボックスタイプ７１９のフィールドに続いて、このボックスのバージョン情報等を示すフィールドが含まれる場合もあるが、本実施の形態４では、ボックスサイズ７１８、ボックスタイプ７１９およびオフセット情報７１７ａの３つのフィールドからなり、合計１２バイトの固定サイズであることとする。
【０１５７】
ここで、本実施の形態４に係る画像データ再生装置がＲＡ情報を取得する手順について説明する。
図１７は、本実施の形態４に係る画像データ再生装置によるＲＡ情報の取得手順を示すフロー図である。
【０１５８】
ＲＡ情報の取得に限らず、通常、画像データ再生装置は、ＭＰ４ファイルを読み込むにあたって、ファイルの先頭に位置するボックスに格納されている情報を順次取得していく。その一方で、画像データ再生装置は、ＭＰ４ファイルの末尾を検索し、末尾から順番に遡ってボックスに格納されている情報を取得することもできる。
【０１５９】
ＲＡ情報格納ボックス７１４は、ＭＰ４ファイル７１０の末尾に位置するものであるため、画像データ再生装置は、ＭＰ４ファイルの末尾からＲＡ情報格納ボックス７１４のオフセット情報が格納されているボックスを検索する（Ｓ６０）。
【０１６０】
ここで、オフセット情報が格納されているボックス、すなわち、ＲＡ情報格納オフセットボックス７１７が見つかって、そのボックスに含まれるＲＡ情報格納ボックスオフセット情報７１７ａが見つかった場合（Ｓ６１）、画像データ再生装置は、オフセット情報に基づいてＲＡデータの開始位置、すなわち、ＲＡ情報格納ボックス７１４の先頭に読み込み位置を移動させる（Ｓ６２）。
【０１６１】
ここで、画像データ再生装置は、そのオフセット情報とＲＡデータとが一致するか否か、すなわち、オフセット情報の正当性をテストする（Ｓ６２）。このとき、画像データ再生装置は、オフセット情報によって移動したファイル読み込み位置が、ＲＡ情報格納ボックス７１４の先頭位置と一致するか否かをもって判断する。なお、このテストについては、後に図を用いて詳しく説明する。
【０１６２】
そして、オフセット情報とＲＡデータとが一致する場合には、画像データ再生装置は、ＲＡ情報格納ボックス７１４の先頭からボックス内に格納されているＲＡデータを順次取得していく（Ｓ６４）。
一方、ＲＡ情報格納オフセットボックス７１７が見つからない、または、ＲＡ情報格納オフセットボックス７１７が見つかっても、そのボックスに含まれるＲＡ情報格納ボックスオフセット情報が見つからない場合（Ｓ６１）や、オフセット情報とＲＡデータとが一致しない場合（Ｓ６３）には、画像データ再生装置は、通常の情報取得方法、すなわち、ファイルの先頭に位置するボックスに格納されている情報を順次取得して、ＲＡ情報格納ボックス７１４からＲＡデータを取得することになる（Ｓ６５）。
【０１６３】
ここで、上記オフセット情報の正当性に関するテストについて図を用いて説明する。
図１８（ａ）は、本実施の形態４に係る画像データ再生装置によるＲＡ情報の第１の取得手順を説明するための図である。
【０１６４】
まず、画像データ再生装置は、ＭＰ４ファイル７１０の末尾を探して、末尾から順番に遡ってボックスに格納されている情報を取得する（Ｓ７０）。
図１８（ａ）では、ＲＡ情報格納ボックスオフセット情報７１７ａのフィールドに、”２４０”バイトというオフセット情報が記述されているが、この段階では、”２４０”バイトという数字がＲＡ情報格納ボックスのオフセット情報であることが確証できないため、画像データ再生装置は、さらに遡ってボックスに格納されている情報を取得し（Ｓ７１）、この数字がＲＡ情報格納ボックスのオフセット情報であるか否かをテストする。
【０１６５】
ここで、本実施の形態４では、ＲＡ情報格納オフセットボックス７１７は合計１２バイトの固定サイズであるとしたので、画像データ再生装置は、ＭＰ４ファイル７１０の最後尾から１２バイト分遡った位置のボックスサイズ７１８のフィールドに”１２”というサイズ情報が記述されていることを確認し、次に、ボックスタイプ７１９のフィールドに文字列”ｍｆｒｏ”が記述されていることを確認すれば、この後に続く４バイトのフィールドは、ＲＡ情報格納ボックスオフセット情報７１７ａであると判断する。
【０１６６】
すなわち、この段階で、画像データ再生装置は、先に取得した”２４０”バイトという情報がＲＡ情報格納ボックスのオフセット情報であると決定することができる。
【０１６７】
次に、画像データ再生装置は、この”２４０”バイトというＲＡ情報格納ボックスのオフセット情報に従って、ＭＰ４ファイル７１０の末尾から２４０バイト分遡った部分に読み込み位置を移動させる（Ｓ７２）。
【０１６８】
そして、画像データ再生装置は、読み込み位置を移動させた後、ＭＰ４ファイル７１０の末尾に向けてボックスに格納されている情報を取得し（Ｓ７３）、上記オフセット情報の正当性をテストする。
ここで、画像データ再生装置は、ＲＡ情報格納ボックス７１４のボックスヘッダ部７１５のフィールドに記述されている文字列”ｍｆｒａ”を取得すると、読み込み中のボックスがＲＡ情報格納ボックス７１４であることを判断する。
【０１６９】
続いて、ＲＡ情報格納ボックス７１４に格納されているトラックＲＡ情報格納ボックス７１６のボックスヘッダ部のフィールドに記述されているボックスのサイズ情報を夫々のトラックＲＡ情報格納ボックス７１６毎に取得する。図１８（ａ）では、夫々”１１０”バイトのサイズを有する２つのトラックＲＡ情報格納ボックス７１６を示している。
【０１７０】
そして、画像データ再生装置は、全てのトラックＲＡ情報格納ボックス７１６のサイズ（”１１０”バイト＋”１１０”バイト）と、先に取得したＲＡ情報格納オフセットボックス７１７のサイズ（”１２”バイト）と、ＲＡ情報格納ボックス７１４のボックスヘッダ部７１５のフィールドに割り当てられているバイトサイズ（４バイト＋４バイト）との合計が、ＲＡ情報格納ボックス７１４のボックスヘッダ部７１５のフィールドに記述されているボックスのサイズ情報（”２４０”バイト）と一致するか否かを判断する。
【０１７１】
このようなテストを経て、上記オフセット情報の正当性が判断され、これらのテストを通過すると、画像データ再生装置は、上記オフセット情報は正当であるとして、ＲＡ情報格納ボックス７１４に格納されているＲＡ情報を取得する（Ｓ７４）。
【０１７２】
ところで、ＲＡ情報格納ボックスのオフセット情報を記述する箇所として、上記のようなＲＡ情報格納オフセットボックス７１７に記述する他に、例えば、ＭＰ４ファイルのファイル全体のヘッダ情報を格納しているムービーボックスに記述することもできる。
【０１７３】
この場合、画像データ再生装置によるランダムアクセス情報の取得手順は、以下のようになる。
図１８（ｂ）は、本実施の形態４に係る画像データ再生装置によるＲＡ情報の第２の取得手順を説明するための図である。
【０１７４】
まず、画像データ再生装置は、ＭＰ４ファイル７２０の先頭に位置するムービーボックス７２１に格納されている情報を順次取得する（Ｓ８０）。ここで、画像データ再生装置は、ムービーボックス７２１に格納されているＲＡ情報格納ボックスオフセット情報７２１ａのフィールドに記述されている”ｘｘｘ”バイトという情報を取得すると（Ｓ８１）、ＭＰ４ファイルの先頭から”ｘｘｘ”バイト目に読み込み位置を移動させる（Ｓ８２）。
【０１７５】
そして、画像データ再生装置は、読み込み位置を移動させた後、ＭＰ４ファイル７２０の末尾に向けてボックスに格納されている情報を取得し（Ｓ８３）、上記オフセット情報の正当性をテストする。
ここで、画像データ再生装置は、ＲＡ情報格納ボックス７２４のボックスヘッダ部７２５のフィールドに記述されている文字列”ｍｆｒａ”を取得すると、読み込み中のボックスがＲＡ情報格納ボックス７２４であると決定し、上記オフセット情報の正当性を判断する。
【０１７６】
そして、このテストを通過すると、画像データ再生装置は、上記オフセット情報は正当であるとして、ＲＡ情報格納ボックス７２４に格納されているトラックＲＡ情報格納ボックス等のＲＡ情報７２６を取得する（Ｓ８４）。
このように、ＲＡ情報格納ボックスのオフセット情報の記述箇所として、ムービーボックス７２１を用いることもできる。
【０１７７】
以上説明したように、本実施の形態４によれば、画像データ再生装置において、ＲＡ情報格納ボックスの開始位置を示すオフセット情報を生成して出力するので、このオフセット情報を用いてＲＡ情報格納ボックスの読み込みを迅速にすることができ、ひいては、迅速なランダムアクセス再生を実現することができる。
【０１７８】
（適用例）
ここで、本発明に係る画像データ再生装置の適用例について図を用いて説明する。
図１９は、本発明に係る画像データ再生装置の適用例を示す図である。
本発明に係る画像データ再生装置は、ＭＰ４ファイルをインターネット等の通信回線を介して受信したり、送信したりする画像配信システム等に使用されうる。
【０１７９】
図１９に示すように、この画像配信システムは、サーバ装置８０１、ネットワーク通信網８０２、携帯電話機８０３およびパーソナルコンピュータ８０４から構成される。
【０１８０】
ここで、携帯電話機８０３およびパーソナルコンピュータ８０４が、本発明に係る画像データ再生装置に対応する。
すなわち、携帯電話機８０３やパーソナルコンピュータ８０４は、画像データや音声データ等を多重化したＭＰ４ファイルを配信するサーバ装置８０１から、ネットワーク通信網８０２を介して、ＭＰ４ファイルをダウンロードする。
【０１８１】
図１９に示すように、パーソナルコンピュータ８０４で再生されるＭＰ４ファイルには、画像データ、音声データおよびテキストデータが多重化されて含まれており、パーソナルコンピュータ８０４は、このＭＰ４ファイルをダウンロードしながら再生し、ディスプレイの画面上に再生中の動画像を表示する。
【０１８２】
このとき、パーソナルコンピュータ８０４は、ＭＰ４ファイルの先頭から順次ダウンロードして、パーソナルコンピュータ８０４に内蔵されているメモリやハードディスクに一旦保持し、ＣＰＵ等を用いて、メモリ等に保持しているヘッダ情報からＲＡ情報を生成し、ＲＡ情報を集積させてＲＡ情報テーブルまたはＲＡ情報格納ボックスを生成する。
【０１８３】
このとき、パーソナルコンピュータ８０４は、ＭＰ４ファイルを再生している間、ＭＰ４ファイルのファイル全体のヘッダ情報と順次生成されるＲＡ情報とをメモリ等に保持しておく。
【０１８４】
ここで、例えば、ユーザが、マウス等によって画面の下方に位置するバー８０５を左方向にスライドさせる操作、すなわち再生位置を前に戻す操作を実行すると、パーソナルコンピュータ８０４は、メモリ等に保持しているＭＰ４ファイルのファイル全体のヘッダ情報と生成されたＲＡ情報とを参照することによって、迅速なランダムアクセスを行ない、スライド後のバーの位置から動画像を再生して、ディスプレイの画面上に表示することができる。
【０１８５】
このように、本発明に係る画像データ再生装置は、動画像データや音声データ等が多重化されたファイルを読み込んで再生する装置として、特に、画像配信システムにおける受信再生装置となるパーソナルコンピュータや携帯電話機として利用することができ、この画像データ再生装置によれば、ランダムアクセス再生を迅速に行なうための情報を生成し、この情報を用いてランダムアクセス再生を行なうので、ユーザは、再生される動画像を、ストレスを感じることなく楽しむことができる。
【０１８６】
なお、ここで補足すると、パーソナルコンピュータ８０４が、既にＲＡ情報格納ボックスが含まれるＭＰ４ファイルをＣＤ−ＲＯＭ等の記録媒体から読み出して再生するような場合には、パーソナルコンピュータ８０４は、まず、ＭＰ４ファイルのファイル全体のヘッダ情報を格納するムービーボックスとＲＡ情報格納ボックスとを読み込み、ＭＰ４ファイルの再生の間、これらのボックスをそのままメモリに保持しておく、または、これらのボックスを解析した結果得られた情報をメモリ等に保持しておく。そして、パーソナルコンピュータ８０４は、ユーザからランダムアクセスの指示を受け付けると、メモリ等に保持しているこれらのボックスを参照して解析し、または、メモリ等に保持しているこれらのボックスを解析した結果得られた情報を参照することによって、上記と同様に、迅速なランダムアクセスを実行する。
【０１８７】
以上、本発明に係る画像データ再生装置について、各実施の形態等に基づいて説明したが、本発明は、これらの実施の形態等に限定されるものではない。
例えば、上記各実施の形態では、画像データ再生装置内に入力される動画像ファイルとして、ＭＰ４ファイルを用いて説明しているが、ＭＰ４ファイル以外であってもよく、例えば、ＭＰＥＧ−２トランスポートストリームのファイル等であってもよい。
【０１８８】
また、上記各実施の形態では、ＭＰ４ファイルの画像データ再生装置内への取り込みは、ダウンロードによることとしているが、ＭＰ４ファイルを格納している光磁気ディスク等の記録媒体を読み込んで、装置内に取り込むこととしてもよい。
【０１８９】
そして、上記各実施の形態では、ＲＡ情報格納テーブルまたはＲＡ情報格納ボックスについて、ＭＰ４ファイルと一体化して出力する場合に、ＭＰ４ファイルの末尾に追加することとしているが、追加する箇所はこれに限られるものではなく、例えば、ＲＡ情報テーブルをムービーボックス内に格納することとしてもよい。
【０１９０】
さらに、上記各実施の形態において、ＲＡ情報を構成するフィールドに割り当てられるバイト数は固定長であるとしているが、ＭＰ４ファイルのサイズに柔軟に対応させるため、各フィールドは、可変長であるとしてもよい。例えば、”ｔｒａｆ”番号、”ｔｒｕｎ”番号および”エントリ”番号について、フィールドのビット長を１〜４バイトの中から選択可能とするために、これらのフィールドのバイト長を指定するためのフィールドを、図４等に示すデータ構造に追加して、ＭＰ４ファイルのサイズが大きい場合には、各フィールドに２バイトずつを割り当てる等とすることもできる。
【０１９１】
【発明の効果】
以上の説明から明らかなように、本発明に係る画像データ再生装置によれば、最初のファイル再生時に、単独で復号化可能なフレームに関するヘッダ情報の位置を示す情報、すなわちランダムアクセス情報を生成するので、迅速なランダムアクセス再生を実現することが可能になるという効果が奏される。
【０１９２】
また、最初のファイル再生時に生成したランダムアクセス情報をファイル出力するので、次のファイル再生時におけるランダムアクセス再生の迅速化に寄与することができる。
さらに、ランダムアクセス情報が格納されている部分の読み込みを迅速に行なうことができるので、ランダムアクセス再生をより迅速に実行することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る画像データ再生装置の構成を示すブロック図である。
【図２】本発明の実施の形態１に係る画像データ再生装置により生成されるＭＰ４ファイルのファイル構造を示す図である。
【図３】本発明の実施の形態１に係る画像データ再生装置がランダムアクセス情報テーブルを生成する処理手順を示すフロー図である。
【図４】ランダムアクセス情報テーブルを示す図であり、（ａ）は、テーブルに含まれるデータの中身を示す図であり、（ｂ）は、テーブルのデータ構造を示す図である。
【図５】本発明の実施の形態１の第１変形例に係る画像データ再生装置により生成されるＭＰ４ファイルのファイル構造を示す図である。
【図６】本発明の実施の形態１の第２変形例に係る画像データ再生装置の構成を示すブロック図である。
【図７】本発明の実施の形態１の第３変形例に係る画像データ再生装置の構成を示すブロック図である。
【図８】ＭＰ４ファイルとランダムアクセス情報テーブルとの関係を説明するための図であり、（ａ）は、本発明の実施の形態１に係る画像データ再生装置により生成されるファイルを示す図であり、（ｂ）は、本発明の実施の形態１の第２変形例に係る画像データ再生装置により生成されるファイルを示す図であり、（ｃ）は、本発明の実施の形態１の第３変形例に係る画像データ再生装置により生成されるファイルを示す図である。
【図９】本発明の実施の形態２に係る画像データ再生装置の構成を示すブロック図である。
【図１０】本発明の実施の形態２の第１変形例に係る画像データ再生装置の構成を示すブロック図である。
【図１１】本発明の実施の形態２の第２変形例に係る画像データ再生装置の構成を示すブロック図である。
【図１２】本発明の実施の形態３に係る画像データ再生装置の構成を示すブロック図である。
【図１３】本発明の実施の形態３に係る画像データ再生装置により生成されるＭＰ４ファイルのファイル構造を示す図である。
【図１４】本発明の実施の形態３に係る画像データ再生装置によるランダムアクセスの処理を説明するための図であり、（ａ）は、第１の処理方法を説明するための図であり、（ｂ）は、第２の処理方法を説明するための図である。
【図１５】図１４（ａ）に基づく画像データ再生装置の処理手順を示すフロー図である。
【図１６】本発明の実施の形態４に係る画像データ再生装置により生成されるＭＰ４ファイルのファイル構造を示す図である。
【図１７】本発明の実施の形態４に係る画像データ再生装置によるランダムアクセス情報の取得手順を示すフロー図である。
【図１８】本発明の実施の形態４に係る画像データ再生装置によるランダムアクセス情報の取得手順を説明するため図であり、（ａ）は、第１の取得手順を説明するための図であり、（ｂ）は、第２の取得手順を説明するための図である。
【図１９】本発明に係る画像データ再生装置の適用例を示す図である。
【図２０】従来におけるＭＰ４ファイルのファイル構造を示す図である。
【符号の説明】
１００、３００、３２０、３３０、４００、７００、７１０、７２０ＭＰ４ファイル
１０１、３０１、４０１、７０１、７１１、７２１ムービーボックス
１０２、３０２、４０２、７０２、７１２、７２２ムービーデータボックス
１０３、３０３、４０３、７０３、７１３、７２３ムービーフラグメント列
１０４、３０４ムービーフラグメント
１０５、３０５ムービーフラグメントボックス
１０６、３０６フラグメントデータボックス
１０７、３０７トラックフラグメントボックス
１０８、３０８トラックランボックス
１０９、３０９エントリ
１１０、３１７、４１１、７０５、７０７、７１５、７２５ボックスヘッダ部
１１１、３１８、４１２ボックスデータ格納部
１１２、３１７ａ、４１１ａ、７１８ボックスサイズ
１１３、３１７ｂ、４１１ｂ、７１９ボックスタイプ
２００、２００Ｂ、２００Ｃ、５００、５００Ａ、５００Ｂ、６００画像データ再生装置
２０１、２１１、２２１、５０１、５１１、５２１、６０１ファイル入力部
２０２、２１２、２２２、５０２、５１２、５２２、６０２データファイル一時記憶部
２０３、２１３、２２３、５０３、５１３、５２３、６０３データファイル解析部
２０４、２１４、２２４、５０４、５１４、５２４、６０４データ復号化部
２０５、２１５、２２５、５０５、５１５、５２５、６０５データ再生部
２０６、２１６、２２６、５０６、５１６ＲＡ情報テーブル生成部
２０７、５１８、６０８ファイル出力部
２０８、５１９、６０９ファイル格納部
２１７、２２７ＭＰ４ファイル出力部
２１８、２２８ＭＰ４ファイル格納部
２１９、２２９ＲＡ情報テーブルファイル出力部
２２０、２３０、５２７ＲＡ情報テーブルファイル格納部
２３１ファイル情報管理部
２３２管理ファイル格納部
３１０ＲＡ情報テーブル
３１１時間
３１２ｍｏｏｆの開始位置
３１３ｔｒａｆ番号
３１４ｔｒｕｎ番号
３１５エントリ番号
３１６データの開始位置
３１９ＲＡ情報テーブルに含まれるサンプルフラグ数
３２１、３３１ＲＡ情報テーブルファイル
３３２関連付け管理ファイル
４１０ＲＡ情報テーブル列
４１３ＲＡ情報テーブル数
４１４Ａ音声トラック用ＲＡ情報テーブル
４１４Ｍ動画像トラック用ＲＡ情報テーブル
４１４Ｔテキストトラック用ＲＡ情報テーブル
４１５Ａ、４１５Ｍ、７０８トラックＩＤ
４１６Ａ、４１６Ｍテーブルに含まれるサンプルフラグ数
４１７Ａ、４１７ＭＲＡエントリ
５０７、５１７、５２６、６０７再生位置制御部
６０６ＲＡ情報格納ボックス生成部
７０４、７１４、７２４ＲＡ情報格納ボックス
７０６、７１６トラックＲＡ情報格納ボックス
７０９ボックスに含まれるサンプルフラグ数
７１７ＲＡ情報格納オフセットボックス
７１７ａ、７２１ａＲＡ情報格納ボックスオフセット情報
７２６ＲＡ情報
８０１サーバ装置
８０２ネットワーク通信網
８０３携帯電話機
８０４パーソナルコンピュータ
８０５バー[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an apparatus for reproducing a file in which image data, audio data, and the like are multiplexed, and more particularly to a technique for facilitating random access such as changing a reproduction position and fast-forward reproduction.
[0002]
[Prior art]
With the development of network technology in recent years, an image data reproducing apparatus that downloads a file from a server device on a wide area network such as the Internet and reproduces moving image data has been developed. In particular, in recent years where the word multimedia is frequently used, media data such as audio data and text data are often compounded in a file, and the image data reproducing apparatus has various types of data such as an audio track and a text track. It is required to be able to reproduce various tracks at the same time.
[0003]
The image data reproducing apparatus downloads a file including moving image data and the like encoded by a compression encoding method such as MPEG-4 (Moving Picture Experts Group Phase 4) into the apparatus by downloading and decodes the moving image data and the like. To play. At this time, if the moving image data and the audio data are combined, the image data reproducing apparatus separates the moving image data and the audio data, decodes and reproduces the data in synchronization with each other.
[0004]
On the other hand, the MP4 file format has attracted attention as a file format for a server device to download and distribute a file. In this specification, the description will be made using the MP4 file format as an example of this file format.
[0005]
This MP4 file format was established in 1999 by the international standardization organization MPEG (Moving Picture Experts Group). An MP4 file generated based on the MP4 file format has a box structure including a plurality of hierarchically arranged boxes. Encoded moving image data, audio data, and the like are stored in boxes for storing entity data. It is multiplexed and stored. Then, in the MP4 file read by the image data reproducing device, moving image data, audio data, and the like multiplexed in the device are separated and decoded. Here, a unit of processing when the image data reproducing apparatus decodes moving image data, audio data, and the like is called a frame, and each data is composed of a plurality of frames.
[0006]
However, the MP4 file format originally established had a problem that it was not suitable for a reproduction method for starting reproduction of moving image data before the image data reproduction device completed downloading the MP4 file, that is, so-called pseudo streaming reproduction. The reason is that, for moving image data and audio data included in the MP4 file, information necessary for performing demultiplexing such as the size and the multiplexing order of each moving image frame and each audio frame, and each moving image frame and audio data. The file structure is characterized in that information necessary for synchronous reproduction such as display time information of each audio frame is collectively stored in a file header portion located at the head of the file.
[0007]
That is, since the MP4 file format at the beginning of the establishment has the above-described file structure, the image data reproducing apparatus starts reproducing the moving image data and the like included in the MP4 file until the download of the file header section is completed. However, the larger the size of the file header portion, the longer the time required for downloading. Particularly, for a file including long-time data, the file header becomes large accordingly, and it takes a long time to download, and there is also a problem that it takes much time until the image data reproducing apparatus can start reproducing.
[0008]
In order to solve such a problem, an MP4 file format in which multiplex separation information and synchronous reproduction information and entity data such as moving image data and audio data are alternately arranged has been proposed, and the standardization has been promoted. For example, Non-Patent Document 1 is disclosed.
[0009]
FIG. 20 is a diagram showing the structure of a conventional MP4 file format that has been standardized.
The MP4 file 100 includes a movie box 101 for storing attribute information (header information) of the entire file such as an encoding method of moving image data, a movie data box 102 for storing entity data such as moving image data, and a movie fragment. In the point that it has a box structure composed of a plurality of hierarchized boxes, it is common to the MP4 file at the beginning of the establishment, but in that it includes the movie fragment column 103, And different.
[0010]
The movie fragment sequence 103 is formed by repeatedly arranging movie fragments 104 divided by a predetermined time unit, and is called an extended area of the MP4 file. On the other hand, the movie box 101 and the movie data box 102 are called basic areas of the MP4 file. The predetermined time unit is not always constant, and may be adjusted in the encoding device in consideration of, for example, the capacity of the buffer memory of the decoding device. In such a case, As a result, the predetermined time unit may be substantially constant.
[0011]
The movie fragment 104 includes a movie fragment box 105 for storing demultiplexing information and synchronous reproduction information for moving image data and the like included in the predetermined time unit, and an entity for moving image data and the like included in the predetermined time unit. And a fragment data box 106 for storing data.
[0012]
The movie fragment box 105 is a box for storing header information of the movie fragment 104, such as multiplexing / demultiplexing information and synchronous reproduction information relating to moving image data and the like included in the predetermined time unit. The movie fragment box 105 includes a track fragment box 107 for storing multiplex separation information and synchronous reproduction information for data on any one type of track such as a moving image track or an audio track. That is, as many track fragment boxes 107 as the number of types of tracks included in one movie fragment 104 are included. When one movie fragment 104 includes moving image data and audio data, at least Two track fragment boxes 107 are prepared. Here, the same number or more means that a plurality of track fragment boxes 107 may be prepared for one track. For example, multiplex separation information on data related to a moving image track is used. And synchronous reproduction information are stored in two track fragment boxes 107, and multiplex separation information and synchronous reproduction information on data relating to audio tracks are stored in one track fragment box 107, so that a total of three track fragment boxes 107 are stored. May be provided.
[0013]
The track fragment box 107 includes a plurality of track run boxes 108 divided in units smaller than the predetermined time unit. The track run box 108 further includes a plurality of entries 109.
The entry 109 is a group of fields for describing information on a frame that is a processing unit of decoding, that is, demultiplexing information, synchronous reproduction information, and the like. In the track run box 108 included in the track fragment box 107 related to the moving image track, information indicating whether the moving image frame is an intra-frame coded frame (so-called intra frame) is described in a field of the entry 109. In some cases. In general, moving image data often has a structure in which the intra frames are repeatedly arranged for a fixed number of moving image frames, and one unit repeatedly arranged in such a structure is called a GOP (Group Of Picture). Then, it is assumed that the entry 109 is stored in the track run box 108 for each GOP.
[0014]
In some cases, a synchronization sample flag is set in this entry 109 in order to achieve synchronous reproduction between data. In this case, the synchronization sample flag information is described in the field of the entry 109, and this description is This has the same meaning as describing information indicating that the image frame is an intra frame.
[0015]
The fragment data box 106 is a box that stores the entity data of the frame pointed to by the corresponding movie fragment box 105, and stores samples forming the frame.
Each box constituting the MP4 file 100 includes a box header section 110 and a box data storage section 111. The box header section 110 has a box size 112 for storing box size information and a box type. And a box type 113 that stores a character string for identifying In the box data storage unit 111, a box of a layer below the box is stored, and fields for describing information are arranged.
[0016]
As described above, the movie fragment box 105 stores the demultiplexing information and the synchronized reproduction information relating to the moving image data and the audio data separated by the predetermined time unit, and the fragment data box 106 stores the corresponding entity data. The structure is such that the movie fragments 104 are repeatedly arranged. That is, in the MP4 file at the beginning of the above-mentioned establishment, all demultiplexing information and synchronous reproduction information are stored in a movie box without delimiting in a predetermined time unit, and all entity data are stored in a movie data box. Therefore, as described above, the size of the movie box 101 storing the header information becomes large, and it takes time to acquire the first part of the movie data box 102 storing the moving image data and the audio data. there were. In order to solve this, the MP4 file 100 is provided with a movie fragment sequence 103 which is an extended area, and stores most of moving image data and audio data therein, thereby reducing the size of the movie box 101. Thus, the time until the start of reproduction can be shortened (see Non-Patent Document 1).
[0017]
[Non-patent document 1]
ISO / IEC JTC1 / SC29 / WG11 MPEG, ISO / IEC 14496-1 "ISO Media File format specification", July 20, 2001
[0018]
[Problems to be solved by the invention]
However, the MP4 file format having the above file structure has a problem that random access by the image data reproducing apparatus is difficult. Here, the random access means, for example, a processing operation of moving the reproduction position after 10 seconds or performing fast-forward reproduction. This problem will be described in more detail.
[0019]
When performing random access, the image data reproducing apparatus receives a random access instruction from a user via a user interface, and promptly sets a reproduction start position (decoding start position) of moving image data or the like included in the MP4 file according to the instruction. It is necessary to make a decision and decode and reproduce the moving image data and the like.
[0020]
In general, moving image data and the like generated by a high-efficiency compression encoding method such as MPEG-4 are composed of intra-frame and inter-image encoded frames (so-called predicted frames). Since the predicted frame is a frame for which decoding is performed with reference to the data of the video frame that has been decoded, if the reproduction start position by random access is set to the predicted frame, the reproduction cannot be performed correctly. There is an obstacle such as disorder. Therefore, the reproduction start position by random access needs to be an intra frame.
[0021]
Therefore, for example, when a random access instruction to move the reproduction position after 10 seconds is input to the image data reproducing apparatus, all the moving images intervening from the moving image frame currently being decoded to the moving image frame corresponding to 10 seconds ahead are input. Analyze the movie fragment box 105 for storing frames, further analyze the track fragment box 107 containing moving image data for each of them, and further analyze the track run box 108 for each one. In addition, it is necessary to analyze a large number of boxes down to a very small unit, count the reproduction duration, and determine a moving image frame 10 seconds ahead, which is a reproduction start position after random access. Further, the image data reproducing device must determine whether the moving image frame corresponding to 10 seconds ahead is an intra frame. If the frame is not an intra frame, the nearest intra frame must be searched to determine a moving image frame to be a reproduction start position after random access.
[0022]
As described above, in the conventional MP4 file format, the load on the image data reproducing apparatus at the time of random access is large, and it takes time for the image data reproducing apparatus to determine the reproduction start position after the random access. There is an inconvenience of having to wait.
[0023]
On the other hand, the conventional MP4 file format has one purpose of being used for pseudo-streaming playback or the like in which playback is performed while downloading from a server device on the Internet. Therefore, it is not possible to move the playback position to a portion where downloading has not been completed. It is not possible to move the playback position only to the part where the download has been completed. Therefore, it is presumed that the random access in the data reproduction of the MP4 file is often used when the image data reproducing apparatus once downloads and reproduces the MP4 file and then reproduces it again.
[0024]
Further, since the conventional MP4 file format is assumed to be used for download distribution, it is desired to reduce the file size of the MP4 file from the viewpoint of communication time and communication fee. In particular, in mobile communication which is charged in accordance with the amount of downloaded data, there is also a problem that the file size must be reduced as much as possible so that communication charges do not become expensive.
[0025]
Therefore, the present invention has been made in view of such problems and circumstances, and can quickly perform random access processing of a file multiplexed with moving image data and audio data without increasing the size of a file to be downloaded. It is an object of the present invention to provide an image data reproducing device that can be executed.
[0026]
[Means for Solving the Problems]
In order to achieve the above object, an image data reproducing apparatus according to the present invention is an image data reproducing apparatus that reproduces a file obtained by multiplexing image data and at least one of audio data and text data, File input means for taking the file into the image data reproducing device, file temporary storage means having an area for temporarily storing the input file taken by the input means, and the file stored in the file temporary storage means A file analysis unit that reads the input file and analyzes file header information for separating and synchronously reproducing the image data, audio data, or text data included in the input file; and Stored in the temporary storage means based on the file header information. Decoding means for reading and decoding the image data, audio data or text data contained in the input file, and reproducing means for reproducing the image data, audio data or text data decoded by the decoding means and outputting it to a display device Based on the file header information analyzed by the file analysis means, random access information generation means for generating random access information for random access to the image data, audio data or text data included in the input file, A reproduction position control unit that outputs an analysis position change instruction for instructing a change of an analysis position of the input file to the file analysis unit with reference to the random access information generated by the random access information generation unit, The file analysis means may include the playback position The reading position of the input file stored in the file temporary storage unit is changed based on the analysis position change instruction output by the control unit, and the image data, audio data, or text data of the image data included in the input file is changed. It is characterized by analyzing file header information.
[0027]
Thereby, at the time of the first file reproduction, information indicating the position of the header information relating to a frame that can be independently decoded, that is, random access information is generated, so that rapid random access reproduction can be realized.
Here, the random access information generating means may generate the random access information for each media data included in the input file. As a result, even when various tracks are compounded in the input file, the random access reproduction process can be speeded up by referring to the random access information for each track. You.
[0028]
Further, the image data reproducing device according to the present invention further includes a file output unit that outputs a file including the random access information generated by the random access information generating unit, wherein the random access information generating unit includes the input file. Has a layered structure, generates a first layer for describing the random access information for each media data included in the input file, and a second layer in which the first layer is integrated. Preferably, the file output unit outputs the file including the random access information by integrating the second layer with the input file.
[0029]
As a result, since the random access information generated at the time of the first file reproduction is output to a file, a device that can contribute to speeding up of the random access reproduction at the time of the next file reproduction is realized.
Further, the file output unit generates position information indicating a start position of the second hierarchy integrated with the input file, integrates the position information with the input file, and includes the random access information. You may output a file.
[0030]
As a result, the portion in which the random access information is stored can be read quickly, so that random access reproduction can be executed more quickly.
It should be noted that the present invention can be realized not only as such an image data reproducing apparatus, but also as an image data reproducing method in which the characteristic means provided in such an image data reproducing apparatus is used as a step. It can also be realized as a program that causes a computer to execute the steps. Needless to say, such a program can be distributed via a recording medium such as a CD-ROM or a transmission medium such as the Internet.
[0031]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration of an image data reproducing device according to Embodiment 1 of the present invention.
[0032]
The image data reproducing device 200 is a device that decodes and reproduces moving image data, audio data, and the like encoded by a compression encoding method such as MPEG-4, and a file input unit 201 that imports an MP4 file into the device. A data file temporary storage unit 202 for temporarily storing an MP4 file taken into the apparatus, a data file analysis unit 203 for reading and analyzing header information of the MP4 file, and a data decoding for decoding entity data included in the MP4 file. A data reproducing unit 205 that reproduces the decoded entity data and outputs it to a display device such as a display, and a random access information table (hereinafter referred to as an “RA information table”) for quickly processing random access. ) Generating the RA information table generation unit 206, 4 the file and the RA information table by multiplexing, comprising a file storage unit 208 for storing the MP4 file that is a file output unit 207 and an output for outputting a new MP4 file.
[0033]
The file input unit 201 is a processing unit that downloads an MP4 file stored in a server device on the Internet and loads the MP4 file into the image data reproducing device, and includes a communication interface for communicating with the server device via the Internet or the like. It is realized by. The file input unit 201 sequentially downloads the MP4 files from the beginning of the file, takes them into the device, and sequentially stores them in the data file temporary storage unit 202.
[0034]
The data file temporary storage unit 202 is a storage unit that temporarily stores the MP4 file captured by the file input unit 201, and is realized by a storage device such as a RAM (Random Access Memory) or a hard disk.
The data file analysis unit 203 is a processing unit that reads and analyzes header information from an MP4 file stored in the data file temporary storage unit 202, and is realized by a CPU and a memory. Here, the header information of the MP4 file means header information of the entire file included in the movie box, header information of the movie fragment such as demultiplexing information and synchronous reproduction information included in the movie fragment box. The data file analysis unit 203 also outputs decoding instruction information necessary for decoding moving image data, such as information on a frame boundary position and a reproduction time, based on the result of analyzing the header information of the MP4 file. Output to decoding section 204. Further, the data file analysis unit 203 outputs random access information (hereinafter, referred to as “RA information”) to the RA information table generation unit 206 based on the result of analyzing the header information of the MP4 file.
[0035]
The data decoding unit 204 reads and decodes actual data such as moving image data and audio data from the MP4 file accumulated in the data file temporary storage unit 202 based on the decoding instruction information received from the data file analysis unit 203. This is realized by a decoder including a CPU and a memory.
[0036]
The data reproducing unit 205 is a processing unit that reproduces the entity data decoded by the data decoding unit 204 and outputs the entity data to a display device such as a display or a speaker, and a microprocessor such as a DSP (Digital Signal Processor) or a VRAM (Video). This is realized by a chip having a random access memory, a video card, or the like.
[0037]
The RA information table generation unit 206 is a processing unit that generates an RA information table based on the RA information received from the data file analysis unit 203, and is realized by a CPU and a memory. The RA information here is position information and time information relating to header information of a frame to be a reproduction start position after random access, and the RA information table is a table in which RA information is accumulated. The RA information and the RA information table will be described later in detail.
[0038]
The file output unit 207 reads the MP4 file that has been downloaded and accumulated in the data file temporary storage unit 202, that is, the MP4 file that has been completely input into the device, and reads the RA information table from the RA information table generation unit 206. This is a processing unit that receives and adds it to the end of the input completed MP4 file, multiplexes the input completed MP4 file and the RA information table, and outputs a new MP4 file, and is realized by a CPU and a memory.
[0039]
The file storage unit 208 is a storage unit that stores the MP4 file output by the file output unit 207, and is realized by a storage device such as a hard disk, or a recording medium such as a magneto-optical disk or an SD memory card.
Here, the structure of the MP4 file output by the image data reproducing device 200 will be described.
[0040]
FIG. 2 is a diagram showing a file structure of an MP4 file generated by the image data reproducing device 200 according to the first embodiment.
As shown in FIG. 2, the MP4 file 300 generated by the image data reproducing apparatus 200 includes a movie box 301, a movie data box 302, a movie fragment sequence 303, and an RA information table 310. It differs from the conventional MP4 file 100 in that it includes.
[0041]
In the MP4 file 300, first, portions of the movie box 301, the movie data box 302, and the movie fragment string 303 in the MP4 file 300 are sequentially taken in from the file input unit 201 of the image data reproducing apparatus 200. It is generated by adding the part of the RA information table 310 in the file output unit 207 of the data reproducing apparatus 200.
[0042]
That is, at the stage of being taken into the file input unit 201 of the image data reproducing apparatus 200, the MP4 file input to the image data reproducing apparatus 200 has the same configuration as the conventional MP4 file 100.
In order to explain the generation process of the MP4 file 300, FIG. 2 shows the box hierarchy constituting the movie fragment sequence 303 more specifically, unlike FIG.
[0043]
The movie fragment row 303 is obtained by repeatedly arranging a plurality of movie fragments 304. The movie fragment 304 is configured by alternately arranging movie fragment boxes 305 and fragment data boxes 306. Here, a character string “moof” indicating the type of the movie fragment box 305 is stored in the box header portion of the movie fragment box 305, which indicates that the box is the movie fragment box 305. . Although not shown, immediately before the character string indicating the type, the size information of the box is added. Further, in the box header portion of the movie fragment box 305, in addition to "moof", a number indicating the number of the movie fragment box 305 from the beginning of the file is stored.
[0044]
A character string “traf” indicating the type of the track fragment box 307 is stored in the box header section of the track fragment box 307 stored in the box data storage section of the movie fragment box 305. Indicates a track fragment box 307, and size information of this box is added immediately before the character string indicating the type. In the box header section of the track fragment box 307, the track number information of the stored track is stored so that it can be identified which track is. Note that, as described above, the track fragment box 307 is header data, and the data pointed to by this is stored in the fragment data box 306. That is, information indicating the order of the track fragment box 307 in the movie fragment box 305 that stores the track fragment box 307 is not added, and the image data reproducing apparatus 200 Each time 307 appears, it is counted.
[0045]
Further, a character string "trun" indicating the type of the track run box 308 is stored in the box header section of the track run box 308 stored in the box data storage section of the track fragment box 307. Indicates the track run box 308, and size information of the box is added immediately before the character string indicating the type. In the field of the entry 309 stored in the box data storage unit of the track run box 308, display continuation time information of the minimum unit such as moving image data and audio data indicated by the entry 309, and whether or not the frame is an intra frame. Is described. Depending on the device that creates the file, the movie box 301 may store the default value of the synchronous sample flag information relating to the sample of the entire movie, or the track fragment box 307 may store the synchronous sample flag information relating to the sample included in that box, The default value of the length information may be stored.
[0046]
Here, when the first entry 309 included in the track run box 308 indicates an intra frame, information indicating an intra frame is described in the field of the track run box 308, and the information is synchronized with the entry 309. When the sample flag is set, the synchronous sample flag information is described in the field of the track run box 308.
[0047]
A character string "mdat" indicating the type of the fragment data box 306 is stored in the box header portion of the fragment data box 306, thereby indicating that this box is the fragment data box 306, and Immediately before the character string shown, the size information of this box is added. Further, in the box data storage section of the fragment box 306, samples forming the frames indicated by all the entries 309 stored in the movie fragment box 305 are stored in the order of the entries.
[0048]
In FIG. 2, the synchronization sample flag S1 is set in the first entry 309 of the first track run box 308 included in the first track fragment box 307 in the first movie fragment box 305, and the second The synchronization sample flag S2 is set in the second entry 309 of the first track run box 308 included in the first track fragment box 307 in the movie fragment box 305. Therefore, the synchronous sample flag S1 describes the synchronous sample flag information in the field of the first track run box 308, and the synchronous sample flag S2 describes the synchronous sample flag information in the field of the set entry 309. Will be described. Further, the synchronization sample flag S1 indicates that the first sample included in the first fragment data box 306 is the intra frame I1.
[0049]
That is, since it can be said that the header information of the frame to be the reproduction start position after random access is stored in the entry 309 in which the synchronous sample flag is set, the image data reproducing apparatus 200 relates to the entry 309. The RA information table 310 is generated by accumulating the position information and the time information.
[0050]
Here, the generation process of the RA information table 310 will be described with reference to the drawings.
FIG. 3 is a flowchart showing a processing procedure in which the image data reproducing device according to the first embodiment generates an RA information table.
First, the data file analysis unit 203 reads the first movie fragment box 305 included in the movie fragment 304 (S10). Subsequently, the first track fragment box 307 included in the movie fragment box 305 is read (S11). Furthermore, the data file analysis unit 203 reads the first track run box 308 included in the first track fragment box 307 by deepening the box hierarchy (S12).
[0051]
Here, the data file analysis unit 203 analyzes whether or not the synchronous sample flag information is described in the field of the track run box 308 (S13).
When the synchronous sample flag information is described in the field of the track run box 308, the data file analysis unit 203 outputs the position information and the time information of the synchronous sample flag as RA information to the RA information table generation unit 206, and outputs the RA information The table generator 206 adds this information to the RA information table 310 (S14).
[0052]
On the other hand, when the synchronous sample flag information is not described in the field of the track run box 308, the data file analysis unit 203 further deepens the layer of the box and sequentially reads the entries 309 included in the first track run box 308. (S15).
[0053]
Here, the data file analysis unit 203 analyzes whether or not the field of the sequentially read entry 309 includes the synchronization sample flag information (S16).
[0054]
When the synchronous sample flag information is described in the field of the entry 309, the RA information table generation unit 206 performs the same processing as in the case where the synchronous sample flag information is described in the field of the track run box 308 described above. The position information and the time information of the synchronous sample flag output as RA information by the file analysis unit 203 are added to the RA information table 310 (S14).
[0055]
On the other hand, when the synchronous sample flag information is not described in the field of the entry 309, the data file analysis unit 203 reads the next track run box 308. When the position information and the time information of the synchronous sample flag are added to the RA information table 310 as RA information in the RA information table generation unit 206, the next track run box 308 is similarly read.
[0056]
Here, if there is a next track run box 308 in the track fragment box 307, the image data reproducing apparatus 200 repeats the processing from S12 to S14, and if there is no next track run box 308 in the track fragment box 307, the data file The analysis unit 203 reads the next track fragment box 307 (S17).
[0057]
Similarly, if there is a next track fragment box 307 in the movie fragment box 305, the image data reproducing apparatus 200 repeats the processing from S11 to S17, and if there is no next track fragment box 307 in the movie fragment box 305, The data file analysis unit 203 reads the next movie fragment box 305 (S18).
[0058]
Thereafter, if there is a next movie fragment box 305, the image data reproducing apparatus 200 repeats the processing from S11 to S18. If there is no next movie fragment box 305, the RA information table generation unit 206 proceeds to the data file analysis unit. The RA information end information is received from 203, and the generated RA information table 310 is output to the file output unit 207 (S19). Finally, the RA information table 310 is formed into a box structure by the file output unit 207, combined with the end of the input completed MP4 file, and output as a part of the new MP4 file 300 (S20).
[0059]
As described above, the default value of the synchronous sample flag information relating to the sample of the entire movie is stored in the movie box 301, and the default value of the synchronous sample flag information and the default duration time information relating to the sample included in the box is stored in the track fragment box 307. When the values are stored, the image data reproducing device 200 acquires these default values and stores them in the memory. If the track run box 308 is omitted, the track fragment box 307 and the movie box 301 are referred to in this order, and the RA information table 310 is generated using these default values.
[0060]
The information and data structure included in the RA information table 310 generated through such a process will be described with reference to FIG.
FIG. 4A is a diagram showing the contents of data included in the RA information table 310.
[0061]
The RA information table 310 has the same number of rows as the number of RA information stored in the table, and is configured to describe one piece of RA information in one row.
One piece of RA information includes a time 311, which indicates the reproduction time of the frame indicated by the entry 309 in which the synchronous sample flag information is described, and a movie fragment box 305 including the entry 309, indicating the number of bytes from the beginning of the file. The start position 312 of “moof” indicating that the entry 309 is located in the “track” box 313, the “traf” number 313 indicating that the entry 309 is included in the track fragment box 307, and the entry 309 is included in the track run box 308. Number 314 indicating the entry 309, the entry number 315 indicating the entry 309, and the byte number of the frame indicated by the entry 309 from the beginning of the file. Start position of the indicated data And a 16 field.
[0062]
FIG. 4B shows the data structure of the RA information table 310.
As described above, the RA information table 310 is converted into a box structure by the file output unit 207 (S20 in FIG. 3).
The RA information table 310 converted into the box structure includes a box header section 317 and a box data storage section 318, like the other boxes constituting the MP4 file 300. The box header section 317 includes at least a box size 317a for storing box size information and a box type 317b for storing a character string for identifying the type of the box. Bytes are allocated. The box header section 317 may store version flag information indicating the version of the RA information table 310 and flag information.
[0063]
The box data storage unit 318 located following the box header unit 317 stores the number of sample flags 319 included in the RA information table indicating the number of RA information included in the RA information table 310. The fields 311 to 316 constituting the RA information are arranged. In this case, the data length of these fields is 4 bytes assigned to the field of 319 sample flags, and 4 bytes are assigned to the field constituting the RA information at the time 311 and 4 bytes at the start position 312 of “moof”. , One byte is assigned to the “traf” number 313, one byte is assigned to the “trun” number 314, two bytes are assigned to the entry number 315, and four bytes are assigned to the data start position 316. The data length may be used, and information indicating this data length may be provided in the RA information table 310.
[0064]
As described above, the image data reproducing apparatus 200 according to the first embodiment sets the reproduction start position at the time of random access at the same time as the reproduction of the file in the first file reproduction stage, that is, the stage of reproducing while downloading the MP4 file. Position information and time information on header information such as a power frame, for example, an intra frame, are extracted. Then, the image data reproducing apparatus 200 accumulates the position information and the like, adds it to the end of the MP4 file after the download is completed, and outputs it as a new MP4 file. That is, since the image data reproducing device 200 generates and outputs information for quickly processing random access at the first file reproducing stage, it is possible to contribute to speeding up random access reproducing at the time of reproducing after downloading. Can be.
[0065]
Next, a first modified example of the first embodiment will be described.
In the first embodiment, in the image data reproducing apparatus 200, the data file analysis unit 203 outputs the RA information to the RA information table generation unit 206, and the RA information table generation unit 206 generates the RA information table. .
[0066]
On the other hand, in the first modified example, in the image data reproducing apparatus having substantially the same configuration as that of the first embodiment, the data file analysis unit performs the processing such as the moving image track RA information and the audio track RA information. The RA information for each track is output to the RA information table generator, and the RA information table generator generates the RA information table for each track.
[0067]
Therefore, the structure of the MP4 file generated by the image data reproducing device according to the first modification is different from the MP4 file generated by the image data reproducing device 200. Hereinafter, the structure of the MP4 file generated by the image data reproducing device according to the first modification will be described including the generation process.
[0068]
FIG. 5 is a diagram showing a file structure of an MP4 file generated by the image data reproducing device according to the first modification of the first embodiment.
The MP4 file 400 includes a movie box 401, a movie data box 402, a movie fragment column 403, and an RA information table column 410, and differs from the MP4 file 300 in that a plurality of RA information tables are included.
[0069]
The MP4 file 400 has the same configuration as that of the conventional MP4 file 100 at the stage of being loaded into the image data reproducing apparatus.
The RA information table column 410 is obtained by repeatedly arranging a plurality of RA information tables, and is formed in a box structure. That is, the RA information table column 410 includes a box header section 411 and a box data storage section 412, like the other boxes of the MP4 file 400. The box header section 411 located at the top of the RA information table column 410 includes at least a box size 411a for storing box size information and a box type 411b for storing a character string representing the type of the box. For example, each of these fields is assigned 4 bytes. The box header 411 may store version flag information indicating the version of the RA information table column 410 and flag information.
[0070]
Further, in the box data storage unit 412 located following the box header unit 411, an RA information table number 413 indicating the number of RA information tables included in the RA information table column 410 is stored. The RA information table generated for each track, such as the image track RA information table 414M, the audio track RA information table 414A, and the text track RA information table 414T, is stored.
[0071]
As shown in FIG. 5, the RA information table generated for each track may have the same configuration regardless of the type of track, or may have a different configuration for each type of track. Here, the same configuration will be described for each type of track using the moving image track RA information table 414M and the audio track RA information table 414A.
[0072]
The moving image track RA information table 414M is a table in which RA information on moving image tracks is accumulated. The head of the moving image track RA information table 414M includes a track ID 415M, which is a field for describing a unique character string indicating which track the RA information table is related to. Then, following the track ID 415M, a field of the number of sample flags 416M included in the table is included, and the RA entry 417M is arranged after that. Note that the RA entry 417M means a field group in which fields from the time 311 to the data start position 316 in the RA information table 310 of the first embodiment are grouped.
[0073]
On the other hand, the audio track RA information table 414A is a table in which RA information on audio tracks is integrated. The audio track RA information table 414A also includes a track ID 415A at the beginning, similarly to the moving image track RA information table 414M. Following the track ID 415A, the number of sample flags 416A included in the table is included, and the RA entry 417A is arranged after that.
[0074]
Then, as shown in FIG. 5, synchronous reproduction is performed between RA entries in which the order of the RA entries 417M in the moving picture track RA information table 414M matches the order of the RA entries 417A in the audio track RA information table 414A. The RA information tables 414M and 414A are generated so as to be able to perform the operations.
[0075]
In general, in the case of an audio track, decoding is not performed by referring to data of already decoded frames like a predicted frame in a moving image track, and decoding can be performed from any audio frame. Therefore, unlike the moving image track RA information table 414M, the information to be added to the table does not need to be limited to an entry indicating an intra frame. Therefore, the RA information relating to the audio track may be, for example, time information and position information relating to the header information of the audio frames arranged according to the regularity by giving the reproduction time of the audio frame regular intervals.
[0076]
Alternatively, the regularity that the reproduction time of the audio frame has the reproduction time closest to the value of the reproduction time described in the field of the RA entry 417M in the moving image track RA information table 414M in synchronization with the moving image frame. May be provided. Since the sample rate of the moving image frame and the sample rate of the audio frame are different from each other, the reproduction times of the moving image frame and the audio frame do not always match. However, according to this regularity, even when the playback time of the moving image frame and the playback time of the audio frame are different, the approximate playback time and the start position of “moof” are described in the RA entries 417M and 417A, respectively. By referring to these, the reproduction start time of the moving image data and the reproduction start time of the audio data after the random access can be substantially matched.
[0077]
Furthermore, the RA information on the audio track may be time information and position information on the header information of the audio frame that is synchronized with the moving image frame.
That is, in the audio track RA information table 414A, for example, after the number of sample flags 416A included in the table, for example, a field indicating a reproduction time of an audio frame arranged according to a predetermined regularity is arranged, or a moving image frame and Fields indicating the position information and the like of the header corresponding to the audio frame for which the synchronous reproduction is to be performed may be arranged, or these fields may be arranged alternately.
[0078]
As described above, according to the image data reproducing apparatus according to the first modification, the MP4 file 400 including the RA information table for each track, such as the moving image track RA information table and the audio track RA information table, is generated. Therefore, even when various tracks are combined in the MP4 file taken into the device, it is possible to contribute to speeding up random access reproduction at the time of reproduction after download.
[0079]
Subsequently, a second modified example and a third modified example of the first embodiment will be described.
In the first embodiment, the MP4 file 300 is generated in the image data reproducing apparatus 200 by adding the RA information table 310 to the end of the MP4 file taken into the apparatus.
[0080]
On the other hand, in the second modified example, an MP4 file and an RA information table file are generated separately from the MP4 file taken into the device.
Therefore, the components of the image data reproduction device according to the second modification are different from the configuration of the image data reproduction device 200. Hereinafter, the image data reproducing device according to the second modified example will be described focusing on differences from the image data reproducing device 200.
[0081]
FIG. 6 is a block diagram illustrating a configuration of an image data reproducing device according to a second modification of the first embodiment.
The image data reproducing device 200B according to the second modification is different from the image data reproducing device 200 mainly in including an RA information table file output unit 219 and an RA information table file storage unit 220.
[0082]
The RA information table file output unit 219 is a processing unit that receives the RA information table output from the RA information table generation unit 216, shapes the RA information table into a box structure, converts the RA information table into a file, and outputs an RA information table file. , And is realized by a CPU and a memory.
[0083]
The RA information table file storage unit 220 is a storage unit that stores the RA information table file output by the RA information table file output unit 219, and includes a storage device such as a hard disk, a recording medium such as a magneto-optical disk, and an SD memory card. It is realized by.
[0084]
With this configuration of the image data reproducing device 200B, the RA information table file can be generated separately from the MP4 file. Therefore, the file size of the MP4 file stored in the MP4 file storage unit 218 can be minimized. In this state, the image data can be retransmitted to another image data reproducing device or the like. Further, the use range of the RA information table file can be expanded, for example, by copying only the RA information table file to another image data reproducing apparatus using a recording medium or the like that can be easily transported such as a flexible disk.
[0085]
It is necessary to indicate the association between the RA information table file and the output MP4 file, but the file name of the RA information table file is made the same as the file name of the MP4 file, and only the extension is made different. The RA information table file output unit 219 may output an RA information table file in accordance with the rules. More specifically, for example, it is assumed that the extension indicating the MP4 file is “.mp4” and the extension indicating the RA information table file is “.rat”. Is "aaa.mp4", the RA information table file may be output as "aaa.rat".
[0086]
On the other hand, in the third modified example, an RA information table file, an MP4 file, and an association management file for managing the association between the two files are generated from the MP4 file taken into the device.
Therefore, the components of the image data reproduction device according to the third modification are different from the configuration of the image data reproduction device 200B. Hereinafter, the image data reproducing device according to the third modified example will be described focusing on the differences from the image data reproducing device 200B.
[0087]
FIG. 7 is a block diagram illustrating a configuration of an image data reproducing device according to a third modification of the first embodiment.
The image data reproducing device 200C according to the third modification is different from the image data reproducing device 200B mainly in including a file information management unit 231 and a management file storage unit 232.
[0088]
The file information management unit 231 is configured to output a file name of an MP4 file and a file name of an RA information table file according to a file name instruction from a user input into the image data reproducing apparatus 200C via an input device such as a keyboard. Is output, the MP4 file name information is output to the MP4 file output unit 227, the RA information table file name information is output to the RA information table file output unit 229, and the association rule between the two files is converted to a file. This is a processing unit that outputs as a management file, and is realized by a CPU, a memory, and the like.
[0089]
The management file storage unit 232 is a storage unit that stores the association management file output by the file information management unit 231 and is realized by a storage device such as a hard disk, or a recording medium such as a magneto-optical disk or an SD memory card.
When the image data reproducing device 200C is configured as described above and the RA information table file is generated separately from the MP4 file, a file is separately generated for an association rule between the two files, thereby setting a file name to the user. Discretion can also be given.
[0090]
As described above, a plurality of patterns can be considered for the relationship between the MP4 file generated by the image data reproducing device according to the first embodiment and the modification thereof and the RA information table.
[0091]
FIGS. 8A to 8C are diagrams for explaining the relationship between the MP4 file and the RA information table.
FIG. 8A is a diagram showing a file generated by the image data reproducing device 200 according to the first embodiment. According to the image data reproducing apparatus 200 according to the first embodiment, when the MP4 file 100 having the configuration shown in FIG. 20 is taken into the apparatus, the RA information table 310 is added to the end, and the RA information table 310 It is output as an integrated new MP4 file 300.
[0092]
FIG. 8B is a diagram showing a file generated by the image data reproducing device 200B according to the second modification. According to the image data reproducing device 200B, the MP4 file 100 having the configuration shown in FIG. 20 is output as an MP4 file 320 having substantially the same configuration as that shown in FIG. As a result, the RA information table file 321 is output. In this case, as described above, the RA information table file 321 has a relationship in which the file name is determined according to a predetermined association rule with the output MP4 file 320.
[0093]
FIG. 8C is a diagram showing a file generated by the image data reproducing device 200C according to the third modification. According to the image data reproducing device 200C, the MP4 file 100 having the configuration shown in FIG. 20 is output as an MP4 file 330 having substantially the same configuration as that shown in FIG. As a result, the RA information table file 331 and the association management file 332 are output. In this case, since the association between the RA information table file 331 and the output MP4 file 330 is managed by the association management file 332 as described above, the association management file 332 is stored in the RA information table file 331 and the output MP4 file 330. And a relationship that mediates.
[0094]
As described above, according to the first embodiment and its modification, in the image data reproducing apparatus, information for quickly processing random access is generated at the time of the first file reproduction. It can contribute to the conversion.
[0095]
(Embodiment 2)
Next, a second embodiment of the present invention will be described with reference to the drawings.
In the first embodiment, an image data reproducing apparatus that generates an RA information table for quickly processing random access has been described. In the second embodiment, an image data reproducing apparatus that uses a generated RA information table is described. The device will be described. Therefore, the components of the image data reproducing device according to the second embodiment are different from those of the image data reproducing device 200 according to the first embodiment. Hereinafter, this different point will be mainly described.
[0096]
FIG. 9 is a block diagram showing a configuration of an image data reproducing device according to Embodiment 2 of the present invention.
The image data reproducing device 500 mainly includes a reproduction position control unit 507, and differs from the image data reproducing device 200 according to the first embodiment in that the image data reproducing device 500 does not include a file output unit and a file storage unit.
[0097]
The playback position control unit 507 is a processing unit that receives the RA information table output from the RA information table generation unit 506, and outputs analysis position indication information indicating a playback position after random access, and is implemented by a CPU or a memory. Is done. The reproduction position control unit 507 refers to the RA information table and performs random access according to a reproduction position change instruction (random access instruction) from the user input into the image data reproduction device 500 via an input device such as a keyboard or a mouse. The subsequent playback position is determined, and analysis position indication information is output to the data file analysis unit 503.
[0098]
Then, different from the first embodiment, the data file analysis unit 503 analyzes the header information of the MP4 file according to the analysis position indication information, and outputs the decoding instruction information to the data decoding unit 504 based on the analysis result.
Further, the RA information table generation unit 506 may generate and output an RA information table by integrating all RA information. However, in order to use the RA information table during download reproduction, It is desirable to accumulate a predetermined number of pieces of RA information and generate and output an RA information table sequentially at predetermined intervals.
[0099]
In the image data reproducing apparatus 500 having such a configuration, since the RA information table is not output as a file, the reproduction of the MP4 file is performed or the downloaded MP4 file is held in the data file temporary storage unit 502. Random access reproduction is possible. This is to cope with a case where outputting the downloaded MP4 file to the external storage device of the image data reproducing device 500 is prohibited, and the MP4 file is deleted from the data file temporary storage unit 502. Then, the RA information table is also discarded. Also, since the data itself does not exist in the part of the MP4 file that has not been completely downloaded and random access to this part is not possible, during the MP4 file download / playback, the random access to the downloaded part is not performed. Is possible.
[0100]
As described above, the image data reproducing apparatus 500 according to the second embodiment performs the position reproduction and the time information regarding the header information of the frame to be set as the reproduction start position at the time of random access simultaneously with the reproduction of the file in the first file reproduction stage. Is generated, and random access reproduction is performed using the information described in this table. Therefore, rapid random access reproduction can be realized.
[0101]
Next, a first modification of the second embodiment will be described.
In the second embodiment, in the image data reproducing apparatus 500, the generated RA information table is not output as a file, and the downloaded MP4 file is not output as a file.
[0102]
On the other hand, in the first modified example, the generated RA information table and the downloaded MP4 file are output as files in the image data reproducing apparatus.
Therefore, the components of the image data reproducing device according to the first modification are different from the components of the image data reproducing device 500. Hereinafter, the image data reproducing device according to the first modified example will be described focusing on this difference.
[0103]
FIG. 10 is a block diagram showing a configuration of an image data reproducing device according to a first modification of the second embodiment.
This image data reproducing apparatus 500A is different from the image data reproducing apparatus 500 according to the second embodiment mainly in that it has a file output section 518 and a file storage section 519.
[0104]
The file output unit 518 reads the MP4 file that has been completely input into the device, receives the RA information table in which all RA information is integrated from the RA information table generation unit 516, and adds it to the end of the input completed MP4 file. This is a processing unit that multiplexes the input completed MP4 file and the RA information table and outputs a new MP4 file, and is realized by a CPU and a memory.
[0105]
The file storage unit 519 is a storage unit that stores the MP4 file output by the file output unit 518, and is realized by a storage device such as a hard disk, or a recording medium such as a magneto-optical disk or an SD memory card.
[0106]
The RA information table generator 516, like the RA information table generator 506 in the image data reproducing apparatus 500, accumulates a predetermined number of RA information, sequentially generates an RA information table at predetermined intervals, and generates a reproduction position. While outputting to the control unit 517, the RA information is accumulated, and an RA information table in which all the RA information is accumulated is output to the file output unit 518.
[0107]
The RA information table generation unit 516 accumulates a predetermined number of RA information, sequentially generates RA information tables at predetermined intervals, and outputs the RA information tables to the reproduction position control unit 517 and the file output unit 518. Alternatively, an RA information table in which all RA information are integrated may be generated and added to the end of the input completed MP4 file.
[0108]
The structure of the generated RA information table is the same as RA information table 310 in the first embodiment or RA information table column 410 according to the first modification of the first embodiment.
[0109]
As described above, according to the image data reproducing apparatus 500A according to the first modification, in the first file reproducing step, at the same time as the reproduction of the file, the position information and the time regarding the header information of the frame to be the reproduction start position at the time of random access are set. An RA information table in which information and the like are integrated is generated, and random access reproduction is performed using the information described in this table. Therefore, rapid random access reproduction can be realized, and after the download is completed, Since information for promptly processing random access can be output to a file, unlike the second embodiment, after the MP4 file is downloaded and after the MP4 file is deleted from the data file temporary storage unit 512 Can also contribute to speeding up random access playback Kill.
[0110]
Next, a second modification of the second embodiment will be described.
In the second embodiment and the first modification, the RA information table is generated in the image data reproducing devices 500 and 500A.
On the other hand, in the second modification, the image data reproducing device reads the already generated RA information table and uses it for random access reproduction without generating the RA information table.
[0111]
Therefore, the components of the image data reproducing device according to the second modification are different from the components of the image data reproducing devices 500 and 500A. Hereinafter, the image data reproducing device according to the second modified example will be described focusing on this difference.
FIG. 11 is a block diagram showing a configuration of an image data reproducing device according to a second modification of the second embodiment of the present invention.
[0112]
The image data reproducing apparatus 500B mainly includes an RA information table file storage unit 527, and does not include an RA information table generation unit and the like. Different from devices 500 and 500A.
[0113]
The RA information table file storage unit 527 is, for example, a storage unit that stores an RA information table file already generated in the image data reproducing apparatus 200B or the like according to the second modification of the first embodiment, and is a hard disk or the like. , And an easily transportable recording medium such as an SD memory card or a flexible disk.
[0114]
Then, the reproduction position control unit 526 reads the RA information table from the RA information table file storage unit 527 according to a random access instruction from the user input into the image data reproduction device 500B via an input device such as a keyboard or a mouse. With reference to this, the reproduction position after random access is determined, and the analysis position indication information is output to the data file analysis unit 523.
[0115]
By configuring the image data reproducing device 500B in this manner, if an RA information table file for an MP4 file to be downloaded and reproduced has already been generated, it is not necessary to generate an RA information table. It can be done more quickly. In this case as well, for the part of the MP4 file for which the download has not been completed, all RA information is described in the RA information table file, but since the data itself does not exist, the part for which the download has been completed is not performed. Random access to is possible.
[0116]
As described above, according to the second embodiment and its modification, the image data reproducing apparatus generates information for quickly processing random access at the time of the first file reproduction and uses this information. Since information that has already been generated is read and used, random access reproduction can be performed quickly.
[0117]
(Embodiment 3)
Further, Embodiment 3 of the present invention will be described with reference to the drawings.
In the first embodiment, an image data reproducing apparatus that mainly generates an RA information table has been described, and in the second embodiment, an image data reproducing apparatus that mainly uses an RA information table has been described. That is, in the first and second embodiments, in order to quickly process random access, the RA information table is formed into a box structure and generated, or image data using the RA information table formed into a box structure is used. The playback device has been described.
[0118]
On the other hand, in the image data reproducing apparatus according to the third embodiment, a box for storing RA information for each track is generated, and a box for collectively storing these boxes is generated. Therefore, the components of the image data reproducing device according to the third embodiment are different from those of the image data reproducing devices according to the first and second embodiments. Hereinafter, this different point will be mainly described.
[0119]
FIG. 12 is a block diagram showing a configuration of an image data reproducing device according to Embodiment 3 of the present invention.
The image data reproducing apparatus 600 is different from the image data reproducing apparatuses according to the first and second embodiments mainly in that an RA information storage box generating unit 606 is provided.
[0120]
The RA information storage box generation unit 606 receives the RA information from the data file analysis unit 603, generates a track RA information storage box for storing RA information for each track, and stores the track RA information storage box collectively. A processing unit that generates an RA information storage box, and is realized by a CPU, a memory, and the like. The track RA information storage box and the RA information storage box will be described later in detail.
[0121]
Then, the reproduction position control unit 607 transmits the RA information storage box from the RA information storage box generation unit 606 in accordance with a random access instruction from the user input into the image data reproduction device 600 via an input device such as a keyboard or a mouse. The data is read, the reproduction position after random access is determined with reference to this, and the analysis position indication information is output to the data file analyzer 603.
[0122]
Also, the file output unit 608 reads the MP4 file whose input to the device has been completed, receives the RA information storage box from the RA information storage box generation unit 606, and integrates it with the input completed MP4 file to create a new MP4 file. Output a file.
[0123]
Note that the reproduction position control unit 607 reads the RA information storage box that is being generated by the RA information storage box generation unit 606 so that the RA information storage box can be used during the download reproduction of the MP4 file. I can do it.
[0124]
Next, the structure of the MP4 file generated by the image data reproducing device 600 will be described.
FIG. 13 is a diagram showing a file structure of an MP4 file generated by the image data reproducing device 600 according to Embodiment 3 of the present invention.
[0125]
As shown in FIG. 13, the MP4 file 700 is composed of a movie box 701, a movie data box 702, a movie fragment string 703, and an RA information storage box 704, and includes the RA information storage box 704. And different.
[0126]
It should be noted that the MP4 file 700 also has the same configuration as that of the conventional MP4 file 100 at the stage of being loaded into the image data reproducing device 600.
The RA information storage box 704 is a box that collectively stores the track RA information storage boxes 706 and, like the other boxes of the MP4 file 700, is composed of a box header section 705 and a box data storage section. A plurality of track RA information storage boxes 706 are stored in the storage unit.
[0127]
The box header section 705 of the RA information storage box 704 has a field called box size for storing the size information of the RA information storage box 704 and a character string indicating the type of the RA information storage box 704, for example, "mfra". At least a box type field for storing a character string is included. The box header section 705 includes a field for storing version flag information indicating the version and flag information of the RA information storage box 704 and information indicating the number of track RA information storage boxes 706 included in the box. Is also good. Note that each of these fields is assigned, for example, 4 bytes.
[0128]
The track RA information storage box 706 is a box for storing RA information for each track, such as a moving image track RA information storage box. Like the other boxes of the MP4 file 700, the box RA section 707 and the box data storage section In this box data storage section, a track ID 708, the number of sample flags 709 included in a box, and a plurality of pieces of RA information are stored.
[0129]
The box header section 707 of the track RA information storage box 706 includes a box size field for storing the size information of the track RA information storage box 706 and a character string indicating the type of the box of the track RA information storage box 706, for example. At least a box type field that stores a character string “tfra” is included.
[0130]
The box data storage section of the track RA information storage box 706 includes a track ID 708 field indicating which track the RA information is stored in, and a box indicating the number of RA information included in the track RA information storage box 706. 709, and a field constituting RA information.
[0131]
Note that the field of the track ID 708 and the number of sample flags 709 included in the box may be stored in the box header section 707, and version flag information on the track RA information storage box 706 is stored in the box header section 707. You may.
[0132]
The fields constituting the RA information have the same configuration as in the first and second embodiments, and the allocated bytes have a fixed length. On the other hand, each field in the track RA information storage box 706 other than the fields constituting the RA information is assigned, for example, 4 bytes.
[0133]
Here, a processing method of random access reproduction by the image data reproducing apparatus 600 will be described with reference to FIGS.
FIG. 14A is a diagram for explaining a first processing method of random access reproduction by the image data reproducing device 600 according to the third embodiment, and FIG. 15 is an image based on FIG. It is a flowchart which shows the processing procedure of a data reproduction apparatus.
[0134]
First, as shown in FIG. 15, when receiving a random access instruction from the user (S50), the reproduction position control unit 607 of the image data reproduction apparatus 600 reads the RA information storage box from the RA information storage box generation unit 606. (S51).
[0135]
At this time, if there is no RA information storage box in the RA information storage box generation unit 606, that is, in case 1 shown in FIG. 14A, the reproduction position control unit 607 determines the RA information for all the tracks included in the MP4 file. It is determined that the information is not included. Therefore, the reproduction position control unit 607 outputs an instruction to move the reproduction position by the high-speed reproduction to the data file analysis unit 603 (S57). Here, the movement of the playback position by the high-speed playback means that the header information of the MP4 file is analyzed at a speed higher than the normal playback speed, and the frame information is decoded one by one, similarly to the conventional playback position movement. This refers to counting the playback continuation time and moving to a frame serving as a playback start position after random access.
[0136]
After that, the data file analysis unit 603 outputs decoding instruction information relating to the reproduction position after the movement to the data decoding unit 604, and the data reproduction unit 605 reproduces the entity data decoded by the data decoding unit 604. (S58). However, in this case, since the reproduction position after the movement is not always an intra frame, it cannot be guaranteed that the data reproduction after the movement can be correctly decoded. Note that, in order to avoid inaccurate decoding, the operation of random access may be abandoned and the normal reproduction speed may be maintained.
[0137]
On the other hand, if the RA information storage box generation unit 606 has an RA information storage box, the playback position control unit 607 attempts to read the track RA information storage box included in the RA information storage box (S52).
At this time, when there is no track RA information storage box, that is, in case 2 shown in FIG. 14A, the reproduction position control unit 607 determines that RA information regarding the track is not included. Therefore, the reproduction position control unit 607 outputs an instruction to move the reproduction position by the high-speed reproduction to the data file analysis unit 603 (S57).
[0138]
After that, the data file analysis unit 603 outputs decoding instruction information relating to the reproduction position after the movement to the data decoding unit 604, and the data reproduction unit 605 reproduces the entity data decoded by the data decoding unit 604. (S58).
On the other hand, if there is a track RA information storage box, the reproduction position control unit 607 attempts to read entry information included in the track RA information storage box (S53).
[0139]
Here, when there is no entry information, that is, in case 3 shown in FIG. 14A, the reproduction position control unit 607 determines that all samples can be randomly accessed with respect to the track. Therefore, the reproduction position control unit 607 outputs a reproduction position moving instruction to the data file analysis unit 603 in order to set the nearest sample at the designated time in the random access instruction as the reproduction start position (S55). Then, the data file analysis unit 603 counts the reproduction continuation time of the frame included in the header information of the MP4 file, sets the sample closest to the specified time of the random access instruction as the moved reproduction position (S56), and sets the decoding instruction. The information is output to the data decoding unit 604.
[0140]
After that, the data decoding unit 604 decodes the substantial data, and the data reproducing unit 605 reproduces the decrypted substantial data (S58). In this case, since all the samples can be randomly accessed at the playback position after the movement, it is possible to obtain a guarantee that the data playback after the movement can be correctly decoded.
[0141]
On the other hand, when there is entry information, that is, in case 4 shown in FIG. 14A, the reproduction position control unit 607 determines that the sample indicated in the entry information can be randomly accessed. Therefore, the playback position control unit 607 searches the track RA information storage box for entry information that matches the designated time of the random access instruction, determines a playback start position after random access, and analyzes the data file analysis unit 603. The position indication information is output (S54).
[0142]
After that, the data file analysis unit 603 outputs the decoding instruction information to the data decoding unit 604 based on the analysis position instruction information, and the data reproduction unit 605 reproduces the entity data decoded by the data decoding unit 604 ( S58).
[0143]
As a specific example corresponding to Case 3 shown in FIG. 14A, when random access is possible from any sample such as an audio track, entry information is not stored in the track RA information storage box. There is a case where the size of the RA information storage box is reduced. Further, as a specific example corresponding to cases 1 and 2 shown in FIG. 14A, a case where a restriction is set to prohibit reading during the generation of the RA information storage box can be considered. In this case, the playback position control unit 607 outputs an instruction to move the playback position by high-speed playback to the data file analysis unit 603 (S57), but may not perform the random access without outputting the movement instruction. . Then, after the generation of the RA information storage box is completed, a random access instruction may be received.
[0144]
FIG. 14B is a diagram for explaining a second processing method of random access reproduction by the image data reproduction device 600 according to the third embodiment.
This second processing method is different from the first processing method shown in FIG. 14A in the handling by the playback position control unit 607 in case 2 and case 3.
[0145]
In case 2 shown in FIG. 14B, the reproduction position control unit 607 determines that all the samples can be randomly accessed. Therefore, the reproduction position control unit 607 outputs a reproduction position movement instruction to the data file analysis unit 603 so that the nearest sample at the designated time in the random access instruction is set as the reproduction start position.
[0146]
In case 3 shown in FIG. 14B, the playback position control unit 607 determines that all samples cannot be randomly accessed for that track or that playback can be performed only from the sample located at the beginning of the file. to decide. For this reason, the reproduction position control unit 607 does not accept any input of a random access instruction from the user, for example, or accepts an input of a random access instruction from the user only when moving to the beginning of the file. Only the output of the instruction to move the reproduction position to the data file analysis unit 603 is performed.
[0147]
As described above, in the random access reproduction processing method, the image data reproducing apparatus 600 can change the processing procedure according to the presence or absence of the RA information storage box or the like. Can be set freely. Further, even if there is a trouble such as the inability to extract RA information from the RA information storage box, it is possible to flexibly cope with the trouble.
[0148]
As described above, according to the third embodiment, the image data reproducing apparatus can generate and output a box for storing RA information for each track and a box for storing the boxes collectively. Therefore, it is possible to contribute to speeding up random access reproduction. Further, since random access is performed using RA information stored in the box, quick random access reproduction can be realized.
[0149]
(Embodiment 4)
Next, a fourth embodiment of the present invention will be described.
In the third embodiment, the description has been given of the image data reproducing apparatus that outputs the new MP4 file by adding the RA information storage box to the end of the MP4 file.
[0150]
On the other hand, the image data reproducing apparatus according to the fourth embodiment further outputs an MP4 file including information for facilitating access to the RA information storage box. Therefore, the MP4 file output by the image data reproducing apparatus according to the fourth embodiment has a different structure from the MP4 file output by the image data reproducing apparatus according to the third embodiment. Hereinafter, the different point will be mainly described. Note that the components of the image data reproducing apparatus according to the fourth embodiment are substantially the same as those of the image data reproducing apparatus according to the third embodiment, and therefore a block diagram of the apparatus is shown in FIG. .
[0151]
FIG. 16 is a diagram showing a file structure of an MP4 file generated by the image data reproducing device according to the fourth embodiment.
The MP4 file 710 includes a movie box 711, a movie data box 712, a movie fragment string 713, and an RA information storage box 714. This point is common to the MP4 file 700 in the third embodiment, but differs from the MP4 file 700 in that the RA information storage box 714 includes an RA information storage offset box 717.
[0152]
It should be noted that the MP4 file 710 also has the same configuration as that of the conventional MP4 file 100 at the stage of being loaded into the image data reproducing apparatus.
The RA information storage offset box 717 is a box for storing the offset information of the RA information storage box indicating the number of bytes from the start or end of the MP4 file 710 that the RA information storage box 714 starts. Like the other boxes to be configured, the box includes a box header section and a box data storage section.
[0153]
The box header portion of the RA information storage offset box 717 includes a box size 718 indicating size information of the box and a box type storing a character string “mfro” as a character string indicating the type of the box. 719, and each field is assigned, for example, 4 bytes.
[0154]
Further, the box data storage section of the RA information storage offset box 717 includes a field of RA information storage box offset information 717a for describing the offset information of the RA information storage box. Assigned. By using the offset information 717a as the size information of the RA information storage box 714, the image data reproducing apparatus can easily read the RA information storage box 714 from the end of the MP4 file 710 by reading back to the offset information 717a. You will be able to access it.
[0155]
For example, when the RA information storage box generation unit 606 generates the RA information storage box 714, the outline of the box is first generated, and the RA information storage box 714 is generated in the file output unit 608. When it is added to the end of the input completion MP4 file, it is generated by describing information in a field inside the box.
[0156]
Note that the RA information storage offset box 717 may include a field indicating box version information and the like following the field of the box type 719, but in the fourth embodiment, the box size 718 and the box type 719 and offset information 717a, and has a fixed size of 12 bytes in total.
[0157]
Here, a procedure in which the image data reproducing device according to the fourth embodiment acquires RA information will be described.
FIG. 17 is a flowchart showing a procedure for acquiring RA information by the image data reproducing device according to the fourth embodiment.
[0158]
In addition to obtaining the RA information, the image data reproducing apparatus usually sequentially obtains information stored in a box located at the head of the MP4 file when reading the MP4 file. On the other hand, the image data reproducing device can also search for the end of the MP4 file and acquire the information stored in the box in order from the end.
[0159]
Since the RA information storage box 714 is located at the end of the MP4 file 710, the image data reproducing apparatus searches for a box in which the offset information of the RA information storage box 714 is stored from the end of the MP4 file (S60). ).
[0160]
Here, when the box storing the offset information, that is, the RA information storage offset box 717 is found and the RA information storage box offset information 717a included in the box is found (S61), the image data reproducing apparatus The read position is moved to the start position of the RA data, that is, the head of the RA information storage box 714 based on the offset information (S62).
[0161]
Here, the image data reproducing device tests whether or not the offset information matches the RA data, that is, tests the validity of the offset information (S62). At this time, the image data reproducing apparatus determines whether or not the file reading position moved by the offset information matches the head position of the RA information storage box 714. This test will be described later in detail with reference to the drawings.
[0162]
When the offset information and the RA data match, the image data reproducing device sequentially acquires the RA data stored in the RA information storage box 714 from the top of the box (S64).
On the other hand, when the RA information storage offset box 717 is not found, or even when the RA information storage offset box 717 is found, the RA information storage box offset information included in the box is not found (S61), or the offset information and the RA data If they do not match (S63), the image data reproducing apparatus sequentially acquires the information stored in the box located at the head of the file by the normal information acquisition method, and reads the information from the RA information storage box 714 from the RA information storage box 714. RA data is obtained (S65).
[0163]
Here, a test regarding the validity of the offset information will be described with reference to the drawings.
FIG. 18A is a diagram for explaining a first acquisition procedure of RA information by the image data reproducing device according to the fourth embodiment.
[0164]
First, the image data reproducing device searches for the end of the MP4 file 710, and acquires information stored in the box in order from the end (S70).
In FIG. 18A, the offset information of “240” bytes is described in the field of the RA information storage box offset information 717a, but at this stage, the number of “240” bytes is the offset information of the RA information storage box. Therefore, the image data reproducing device obtains the information stored in the box further back (S71), and tests whether or not this number is the offset information of the RA information storage box.
[0165]
Here, in the fourth embodiment, since the RA information storage offset box 717 has a fixed size of a total of 12 bytes, the image data reproducing apparatus sets the box at the position 12 bytes back from the end of the MP4 file 710. After confirming that the size information “12” is described in the field of the size 718 and then confirming that the character string “mfro” is described in the field of the box type 719, the following 4 It is determined that the byte field is RA information storage box offset information 717a.
[0166]
That is, at this stage, the image data reproducing apparatus can determine that the information of “240” bytes acquired earlier is the offset information of the RA information storage box.
[0167]
Next, the image data reproducing device moves the reading position to a portion that is 240 bytes ahead of the end of the MP4 file 710 according to the offset information of the RA information storage box of “240” bytes (S72).
[0168]
Then, after moving the reading position, the image data reproducing device acquires information stored in the box toward the end of the MP4 file 710 (S73), and tests the validity of the offset information.
Here, upon acquiring the character string “mfra” described in the field of the box header section 715 of the RA information storage box 714, the image data reproducing device determines that the box being read is the RA information storage box 714. I do.
[0169]
Subsequently, the size information of the box described in the field of the box header portion of the track RA information storage box 716 stored in the RA information storage box 714 is obtained for each track RA information storage box 716. FIG. 18A shows two track RA information storage boxes 716 each having a size of "110" bytes.
[0170]
Then, the image data reproducing apparatus determines the size (“110” bytes + “110” bytes) of all the track RA information storage boxes 716 and the size (“12” bytes) of the RA information storage offset box 717 obtained earlier. , The sum of the byte size (4 bytes + 4 bytes) allocated to the field of the box header section 715 of the RA information storage box 714 is the number of bytes described in the field of the box header section 715 of the RA information storage box 714. It is determined whether it matches the size information ("240" bytes).
[0171]
After such a test, the validity of the offset information is determined. If the test passes the test, the image data reproducing apparatus determines that the offset information is valid and stores the RA in the RA information storage box 714. Information is acquired (S74).
[0172]
By the way, as a place to describe the offset information of the RA information storage box, in addition to the description in the RA information storage offset box 717 as described above, for example, the description is described in a movie box storing the header information of the entire file of the MP4 file. You can also.
[0173]
In this case, the procedure for acquiring random access information by the image data reproducing device is as follows.
FIG. 18B is a diagram for explaining a second acquisition procedure of RA information by the image data reproducing device according to the fourth embodiment.
[0174]
First, the image data reproducing device sequentially acquires information stored in the movie box 721 located at the head of the MP4 file 720 (S80). Here, when the image data reproducing device obtains the information “xxx” bytes described in the field of the RA information storage box offset information 721a stored in the movie box 721 (S81), it starts from the beginning of the MP4 file. The reading position is moved to the “xxx” ”byte (S82).
[0175]
Then, after moving the reading position, the image data reproducing device acquires the information stored in the box toward the end of the MP4 file 720 (S83), and tests the validity of the offset information.
Here, upon acquiring the character string “mfra” described in the field of the box header section 725 of the RA information storage box 724, the image data reproducing device determines that the box being read is the RA information storage box 724. The validity of the offset information is determined.
[0176]
After passing this test, the image data reproducing apparatus determines that the offset information is valid, and obtains the RA information 726 such as the track RA information storage box stored in the RA information storage box 724 (S84).
As described above, the movie box 721 can be used as a location where the offset information of the RA information storage box is described.
[0177]
As described above, according to the fourth embodiment, the image data reproducing apparatus generates and outputs the offset information indicating the start position of the RA information storage box. Can be read quickly, and as a result, quick random access reproduction can be realized.
[0178]
(Application example)
Here, an application example of the image data reproducing apparatus according to the present invention will be described with reference to the drawings.
FIG. 19 is a diagram showing an application example of the image data reproducing device according to the present invention.
The image data reproducing apparatus according to the present invention can be used for an image distribution system or the like that receives or transmits an MP4 file via a communication line such as the Internet.
[0179]
As shown in FIG. 19, the image distribution system includes a server device 801, a network communication network 802, a mobile phone 803, and a personal computer 804.
[0180]
Here, the mobile phone 803 and the personal computer 804 correspond to the image data reproducing device according to the present invention.
That is, the mobile phone 803 and the personal computer 804 download the MP4 file via the network communication network 802 from the server device 801 that distributes the MP4 file in which image data, audio data, and the like are multiplexed.
[0181]
As shown in FIG. 19, the MP4 file reproduced by the personal computer 804 includes multiplexed image data, audio data, and text data, and the personal computer 804 reproduces the MP4 file while downloading it. Then, the moving image being reproduced is displayed on the display screen.
[0182]
At this time, the personal computer 804 sequentially downloads the MP4 file from the beginning, temporarily stores the MP4 file in a memory or a hard disk built in the personal computer 804, and uses a CPU or the like to convert the header information stored in the memory or the like. RA information is generated, and the RA information is integrated to generate an RA information table or RA information storage box.
[0183]
At this time, while the MP4 file is being reproduced, the personal computer 804 holds the header information of the entire file of the MP4 file and the RA information sequentially generated in a memory or the like.
[0184]
Here, for example, when the user performs an operation of sliding the bar 805 located below the screen to the left with a mouse or the like, that is, an operation of returning the playback position to the front, the personal computer 804 holds the data in a memory or the like. Quick random access is performed by referring to the header information of the entire MP4 file and the generated RA information, and the moving image is reproduced from the position of the bar after the slide and displayed on the display screen. be able to.
[0185]
As described above, the image data reproducing apparatus according to the present invention is a device for reading and reproducing a file in which moving image data, audio data, and the like are multiplexed. According to this image data reproducing apparatus, information for quickly performing random access reproduction is generated, and random access reproduction is performed using this information. You can enjoy the statue without stress.
[0186]
It should be noted that, in a case where the personal computer 804 reads an MP4 file already including the RA information storage box from a recording medium such as a CD-ROM and reproduces the MP4 file, the personal computer 804 first reads the MP4 file. A movie box for storing header information of the entire file and an RA information storage box are read in, and during playback of the MP4 file, these boxes are kept in the memory as they are, or a result obtained by analyzing these boxes is obtained. The stored information is stored in a memory or the like. Then, when the personal computer 804 receives a random access instruction from the user, the personal computer 804 refers to these boxes stored in a memory or the like and performs analysis, or analyzes the boxes stored in a memory or the like. By referring to the obtained information, a quick random access is executed as described above.
[0187]
As described above, the image data reproducing apparatus according to the present invention has been described based on the embodiments and the like, but the present invention is not limited to these embodiments and the like.
For example, in each of the above embodiments, the description has been made using the MP4 file as the moving image file input into the image data reproducing apparatus. However, the moving image file may be other than the MP4 file. It may be a stream file or the like.
[0188]
Further, in each of the above embodiments, the capture of the MP4 file into the image data reproducing apparatus is performed by downloading. However, a recording medium such as a magneto-optical disk storing the MP4 file is read and read into the apparatus. It may be taken in.
[0189]
In each of the above embodiments, the RA information storage table or the RA information storage box is added to the end of the MP4 file when it is output integrally with the MP4 file. For example, the RA information table may be stored in the movie box.
[0190]
Further, in each of the above embodiments, the number of bytes allocated to the fields constituting the RA information is assumed to be fixed length. However, in order to flexibly cope with the size of the MP4 file, each field may have a variable length. Good. For example, for the “traf” number, “trun” number, and “entry” number, a field for designating the byte length of these fields is set so that the bit length of the field can be selected from 1 to 4 bytes. In addition to the data structure shown in FIG. 4 and the like, when the size of the MP4 file is large, 2 bytes may be assigned to each field.
[0191]
【The invention's effect】
As is clear from the above description, according to the image data reproducing apparatus of the present invention, at the time of the first file reproduction, information indicating the position of the header information relating to the frame that can be decoded independently, that is, random access information is generated. Therefore, there is an effect that it is possible to realize quick random access reproduction.
[0192]
Further, since the random access information generated at the time of the first file playback is output to a file, it is possible to contribute to speeding up the random access playback at the time of the next file playback.
Furthermore, since the portion in which the random access information is stored can be read quickly, random access reproduction can be executed more quickly.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image data reproducing device according to Embodiment 1 of the present invention.
FIG. 2 is a diagram showing a file structure of an MP4 file generated by the image data reproducing device according to the first embodiment of the present invention.
FIG. 3 is a flowchart showing a processing procedure in which the image data reproducing device according to Embodiment 1 of the present invention generates a random access information table.
4A and 4B are diagrams illustrating a random access information table. FIG. 4A is a diagram illustrating the contents of data included in the table, and FIG. 4B is a diagram illustrating a data structure of the table.
FIG. 5 is a diagram showing a file structure of an MP4 file generated by an image data reproducing device according to a first modification of the first embodiment of the present invention.
FIG. 6 is a block diagram showing a configuration of an image data reproducing device according to a second modification of the first embodiment of the present invention.
FIG. 7 is a block diagram illustrating a configuration of an image data reproducing device according to a third modification of the first embodiment of the present invention.
FIG. 8 is a diagram for explaining a relationship between an MP4 file and a random access information table. FIG. 8A is a diagram showing a file generated by the image data reproducing device according to the first embodiment of the present invention. (B) is a diagram showing a file generated by the image data reproducing device according to the second modification of the first embodiment of the present invention, and (c) is a diagram showing a file generated by the image data reproducing device according to the first embodiment of the present invention. FIG. 15 is a diagram showing a file generated by an image data reproducing device according to a third modification.
FIG. 9 is a block diagram showing a configuration of an image data reproducing device according to Embodiment 2 of the present invention.
FIG. 10 is a block diagram showing a configuration of an image data reproducing device according to a first modification of the second embodiment of the present invention.
FIG. 11 is a block diagram showing a configuration of an image data reproducing device according to a second modification of the second embodiment of the present invention.
FIG. 12 is a block diagram showing a configuration of an image data reproducing device according to Embodiment 3 of the present invention.
FIG. 13 is a diagram showing a file structure of an MP4 file generated by the image data reproducing device according to the third embodiment of the present invention.
FIG. 14 is a diagram for explaining a random access process by the image data reproducing device according to the third embodiment of the present invention; FIG. 14A is a diagram for explaining a first processing method; (B) is a figure for explaining the 2nd processing method.
FIG. 15 is a flowchart showing a processing procedure of the image data reproducing apparatus based on FIG.
FIG. 16 is a diagram showing a file structure of an MP4 file generated by an image data reproducing device according to Embodiment 4 of the present invention.
FIG. 17 is a flowchart showing a procedure for acquiring random access information by the image data reproducing apparatus according to Embodiment 4 of the present invention.
FIG. 18 is a diagram for explaining a procedure for acquiring random access information by the image data reproducing apparatus according to Embodiment 4 of the present invention, and FIG. 18A is a diagram for explaining a first acquisition procedure. (B) is a diagram for explaining a second acquisition procedure.
FIG. 19 is a diagram illustrating an application example of the image data reproducing device according to the present invention.
FIG. 20 is a diagram showing a file structure of a conventional MP4 file.
[Explanation of symbols]
100, 300, 320, 330, 400, 700, 710, 720 MP4 files
101, 301, 401, 701, 711, 721 movie box
102, 302, 402, 702, 712, 722 Movie data box
103, 303, 403, 703, 713, 723 Movie fragment sequence
104, 304 movie fragment
105, 305 Movie fragment box
106, 306 Fragment data box
107,307 Truck fragment box
108,308 Truck run box
109,309 entries
110, 317, 411, 705, 707, 715, 725 Box header section
111, 318, 412 box data storage
112, 317a, 411a, 718 Box size
113, 317b, 411b, 719 Box type
200, 200B, 200C, 500, 500A, 500B, 600 Image data reproducing apparatus
201, 211, 221, 501, 511, 521, 601 File input unit
202, 212, 222, 502, 512, 522, 602 Data file temporary storage unit
203, 213, 223, 503, 513, 523, 603 Data file analysis unit
204, 214, 224, 504, 514, 524, 604 Data decoding unit
205, 215, 225, 505, 515, 525, 605 Data reproducing unit
206, 216, 226, 506, 516 RA information table generator
207, 518, 608 File output unit
208, 519, 609 File storage
217, 227 MP4 file output unit
218, 228 MP4 file storage
219, 229 RA information table file output unit
220, 230, 527 RA information table file storage
231 File Information Management Unit
232 management file storage
310 RA information table
311 hours
Start position of 312 moof
313 traf number
314 trun number
315 entry number
316 Start position of data
319 Number of sample flags included in RA information table
321,331 RA information table file
332 Association management file
410 RA information table column
413 Number of RA information tables
414A RA information table for audio track
414M RA information table for video track
414T RA information table for text track
415A, 415M, 708 Track ID
Number of sample flags included in the 416A and 416M tables
417A, 417M RA entry
507, 517, 526, 607 Playback position control unit
606 RA information storage box generation unit
704, 714, 724 RA information storage box
706, 716 Track RA information storage box
709 Number of sample flags included in the box
717 RA information storage offset box
717a, 721a RA information storage box offset information
726 RA information
801 server device
802 network communication network
803 mobile phone
804 personal computer
805 bar

Claims

An image data reproducing apparatus for reproducing a file obtained by multiplexing image data with at least one of audio data and text data,
File input means for loading the file into the image data reproducing device;
File temporary storage means having an area for temporarily storing the input file captured by the input means,
File analysis means for reading the input file stored in the file temporary storage means and analyzing file header information for separating and synchronously reproducing the image data, audio data or text data contained in the input file When,
Decoding means for reading and decoding the image data, audio data or text data contained in the input file stored in the temporary storage means based on the file header information analyzed by the file analysis means,
Reproduction means for reproducing the image data, audio data or text data decoded by the decoding means and outputting the reproduced data to a display device;
Based on the file header information analyzed by the file analysis means, random access information generation means for generating random access information for random access to the image data, audio data or text data included in the input file,
Playback position control means for outputting to the file analysis means an analysis position change instruction for instructing a change in the analysis position of the input file, with reference to the random access information generated by the random access information generation means,
The file analysis unit changes a reading position of the input file stored in the file temporary storage unit based on the analysis position change instruction output by the reproduction position control unit, and includes the read file included in the input file. An image data reproducing apparatus for analyzing file header information of image data, audio data or text data.

The random access information,
2. The image data reproducing apparatus according to claim 1, wherein the position information is position information for reading the file header information relating to an intra frame of the image data included in the input file.

The position information for reading the file header information is:
3. The image data according to claim 2, wherein the input file has a hierarchical structure, and when the identification number is assigned to each layer, the input file is the identification number indicating the position of the file header information. Playback device.

The random access information further includes:
3. The image data reproducing apparatus according to claim 2, further comprising information on a reproduction time of said intra frame.

The random access information further includes:
3. The image data reproducing apparatus according to claim 2, further comprising information on a start position of said intra frame.

The random access information,
3. The image data reproducing apparatus according to claim 2, wherein a plurality of pieces of position information for reading the file header information are included.

The random access information generating means,
2. The image data reproducing apparatus according to claim 1, wherein the random access information is generated for each media data included in the input file.

The random access information,
The method according to claim 1, wherein when the data is related to the audio data included in the input file, a plurality of pieces of position information for reading the file header information related to the frame of the audio data are included in accordance with a predetermined regularity. 8. The image data reproducing device according to 7.

The random access information,
The image processing apparatus according to claim 1, further comprising: a plurality of position information for reading the file header information regarding a frame of the audio data having a reproduction time closest to a reproduction time of an intra frame of the image data included in the input file. 9. The image data reproducing device according to item 8.

The image data reproducing device further includes:
2. The image data reproducing apparatus according to claim 1, further comprising a file output unit that outputs a file including the random access information generated by the random access information generation unit.

The random access information generating means,
When the input file has a hierarchical structure, a first layer for describing the random access information for each media data included in the input file, and a second layer in which the first layer is integrated. Produces
The file output means,
The image data reproducing apparatus according to claim 10, wherein the second hierarchy is integrated with the input file, and a file including the random access information is output.

The file output means,
Generating position information indicating a start position of the second layer integrated with the input file, integrating the position information with the input file, and outputting a file including the random access information. The image data reproducing apparatus according to claim 11, wherein

The position information indicating the start position of the second hierarchy is:
13. The image data reproducing device according to claim 12, wherein the image data reproducing device is described at the end of the second hierarchy.

The position information indicating the start position of the second hierarchy is:
14. The image data reproducing apparatus according to claim 13, wherein the second layer has a byte size.

The reproduction position control means,
15. The image data reproducing device according to claim 14, wherein the random access information is acquired by moving a reading position with reference to position information indicating a start position of the second hierarchy.

The reproduction position control means,
The method according to claim 11, wherein the random access information is obtained after moving the reading position with reference to the position information indicating the start position of the second hierarchy, and confirming that the read position is the start position of the second hierarchy. Item 16. The image data reproducing device according to Item 15.

The position information indicating the start position of the second hierarchy is:
13. The image data reproducing device according to claim 12, wherein the image data is described in a field for describing the file header information.

The file output means,
12. The image data reproducing apparatus according to claim 11, wherein the second layer is arranged at the end of the input file and is integrated with the input file.

The reproduction position control means,
Determining whether the input file includes the second layer, the first layer, and the random access information;
When the second hierarchy is not included, or when the second hierarchy is included and the first hierarchy is not included, the analysis position change instruction is not output,
The image data reproducing apparatus according to claim 11, wherein the analysis position change instruction is output when the second hierarchy and the first hierarchy are included.

The file output means,
11. The file according to claim 10, wherein the random access information generated by the random access information generating unit is multiplexed with the input file stored in the file temporary storage unit, and a file including the random access information is output. The image data reproducing device according to the above.

The file output means,
A file including the random access information generated by the random access information generating unit, the input file stored in the file temporary storage unit, and association information between the file including the random access information and the input file are included. 11. The image data reproducing apparatus according to claim 10, wherein the apparatus outputs a file.

An image data reproducing method for reproducing a file obtained by multiplexing image data and at least one of audio data and text data,
A file input step of capturing the file;
In the input step, a file temporary storage step of storing the input file in a storage area for temporarily holding the input file,
A file analysis step of reading the input file stored in the storage area and analyzing file header information for separating and synchronously reproducing the image data, audio data, or text data included in the input file,
In the file analysis step, a decoding step of reading and decoding the image data, audio data or text data included in the input file stored in the storage area based on the analyzed file header information,
A reproducing step of reproducing the decoded image data, audio data or text data and outputting the reproduced data to a display device,
In the file analysis step, based on the analyzed file header information, a random access information generating step of generating random access information for random access to the image data, audio data or text data included in the input file,
A reproduction position control step of outputting to the file analysis step an analysis position change instruction for instructing a change of the analysis position of the input file, with reference to the generated random access information in the random access information generation step. ,
In the file analysis step, a reading position of the input file stored in the storage area is changed based on the analysis position change instruction output in the reproduction position control step, and the image included in the input file is changed. An image data reproducing method characterized by analyzing file header information of data, audio data or text data.

The image data reproducing method further includes:
23. The image data reproducing method according to claim 22, further comprising a file output step of outputting a file including the random access information generated in the random access information step.

In the random access information generating step,
When the input file has a hierarchical structure, a first layer for describing the random access information for each media data included in the input file, and a second layer in which the first layer is integrated. Produces
In the file output step,
24. The image data reproducing method according to claim 23, wherein the second hierarchy is integrated with the input file to output a file including the random access information.

In the file output step,
Generating position information indicating a start position of the second layer integrated with the input file, integrating the position information with the input file, and outputting a file including the random access information. The image data reproducing method according to claim 24, wherein

In the reproduction position control step,
26. The image data reproducing method according to claim 25, wherein the random access information is acquired by moving a reading position with reference to position information indicating a start position of the second hierarchy.

The random access information generated in the random access information generating step,
23. The image data reproducing method according to claim 22, wherein the position information is position information for reading the file header information relating to an intra frame of the image data included in the input file.

In the random access information generating step,
The method according to claim 22, wherein the random access information is generated for each piece of media data included in the input file.

A program for an image data reproducing device,
A file input step of capturing a file obtained by multiplexing image data, at least one of audio data and text data,
In the input step, a file temporary storage step of storing the input file in a storage area for temporarily holding the input file,
A file analysis step of reading the input file stored in the storage area and analyzing file header information for separating and synchronously reproducing the image data, audio data, or text data included in the input file,
In the file analysis step, a decoding step of reading and decoding the image data, audio data or text data included in the input file stored in the storage area based on the analyzed file header information,
A reproducing step of reproducing the decoded image data, audio data or text data and outputting the reproduced data to a display device,
In the file analysis step, based on the analyzed file header information, a random access information generating step of generating random access information for random access to the image data, audio data or text data included in the input file,
A reproduction position control step of outputting to the file analysis step an analysis position change instruction for instructing a change of the analysis position of the input file, with reference to the generated random access information in the random access information generation step. ,
In the file analysis step, a reading position of the input file stored in the storage area is changed based on the analysis position change instruction output in the reproduction position control step, and the image included in the input file is changed. A program for causing a computer to execute each step in an image data reproducing method for analyzing file header information of data, audio data, or text data.

A computer-readable recording medium on which the file is recorded,
The file contains
At least one media data of image data, audio data or text data,
Header information for separating and synchronously reproducing the media data;
A recording medium characterized by including random access information in which position information of header information relating to a frame that can be independently decoded among frames constituting the media data is integrated.

The file further includes:
Two or more of the media data;
31. The recording medium according to claim 30, wherein each piece of said media data includes said corresponding random access information.

The file has a hierarchical structure,
The file includes a first layer for describing the random access information for each of the media data, and a second layer obtained by integrating the first layer.
The file further includes:
32. The recording medium according to claim 31, wherein position information indicating a start position of the second hierarchy is included.