JP2006050192A - 多重化方法、情報記録媒体、およびデータ再生方法 - Google Patents

Abstract

【課題】 MPEG-4 AVCでは、ランダムアクセス単位の再生時間長を長くとることができるが、再生時間長を長くとると、逆再生時に符号化データの読み込み処理が複数回発生するという課題があった。
【解決手段】 1度のデータ読み込み処理で逆再生が実現できるように、ランダムアクセス単位における平均ビットレートに基づいて、ランダムアクセス単位のサイズ、およびランダムアクセス単位長の上限値を設定し、ランダムアクセス単位のサイズが符号化ピクチャ・バッファのサイズ以下となるように符号化する。
【選択図】 図６

Description

本発明は、光ディスクなどの再生装置において逆再生を行う場合に、１度のデータ読み出し処理で、ランダムアクセス単位において再生するピクチャデータを全て取得できるように符号化する多重化方法、およびその再生装置に関する。

近年、音声，画像，その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり64Kbits（電話品質）、さらに動画については１秒当たり100Mbits（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、64Kbit/s〜1.5Mbits/sの伝送速度を持つサービス総合ディジタル網（ISDN : Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままISDNで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU-T（国際電気通信連合 電気通信標準化部門）で勧告されたH.261やH.263規格の動画圧縮技術が用いられている。また、MPEG-１規格の情報圧縮技術によると、通常の音楽用CD（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
ここで、MPEG（Moving Picture Experts Group）とは、ISO/IEC（国際標準化機構 国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、MPEG-１は、動画像信号を１．５Mbpsまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、MPEG-１規格では対象とする品質を伝送速度が主として約１．５Mbpsで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたMPEG-２では、動画像信号を２〜１５MbpsでＴＶ放送品質を実現する。さらに現状では、MPEG-１，MPEG-２と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11） によって、MPEG-１，MPEG-２を上回る圧縮率を達成し、更に物体単位で符号化・復号・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するMPEG-４が規格化された。MPEG-４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。その後、ISO/IECとITU-Tが共同でより高圧縮率の次世代画像符号化方式として、MPEG-4 AVC（Advanced Video Coding）が標準化され、次世代の光ディスク関連機器、あるいは携帯端末向けの放送などで使用される見込みである。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは1枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。

参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方もしくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照画像（参照ピクチャ）は符号化および復号の基本単位であるブロックごとに指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。ただし、これらのピクチャを符号化および復号する場合の条件として、参照するピクチャが既に符号化および復号されている必要がある。

図２２は、従来のMPEG-2のストリームの構成図である。図２２に示すようにMPEG-2のストリームは以下のような階層構造を有している。ストリーム（Stream）は複数のグループ・オブ・ピクチャ（Group Of Picture）から構成されており、これを符号化処理の基本単位とすることで動画像の編集やランダムアクセスが可能になっている。グループ・オブ・ピクチャは、複数のピクチャから構成され、各ピクチャは、Ｉピクチャ、Ｐピクチャ又はＢピクチャがある。ストリーム、GOPおよびピクチャはさらにそれぞれの単位の区切りを示す同期信号（sync）と当該単位に共通のデータであるヘッダ（header）から構成されている。

図２３は、MPEG-2で使用されているピクチャ間の予測構造例である。同図で斜線をつけたピクチャは他のピクチャから参照されるピクチャである。図２３（a）に示すように、MPEG-2ではPピクチャ（P0、P6、P9、P12、P15）は表示時刻が直前1枚のIピクチャもしくはPピクチャのみ参照した予測符号化が可能である。また、Bピクチャ（B1、B2、B4、B5、B7、B8、B10、B11、B13、B14、B16、B17、B19、B20）は表示時刻が直前1枚と直後1枚のIピクチャもしくはPピクチャを参照した予測符号化が可能である。更に、ストリームに配置される順序も決まっており、IピクチャおよびPピクチャは表示時刻の順序、Bピクチャは直後に表示されるIピクチャもしくはPピクチャの直後に配置される。GOP構造としては、例えば、図２３（b）に示すように、I3からB14までのピクチャをまとめて1つのGOPとすることができる。

図２４は、MPEG4 AVCのストリームの構成図である。MPEG4 AVCでは、GOPに相当する概念は無いが他のピクチャに依存せずに復号できる特別なピクチャ単位でデータを分割すればGOPに相当するランダムアクセス可能な単位が構成できるので、これをランダムアクセス単位 RAUと呼ぶことにする。

MPEG-4 AVCにおけるIピクチャには、IDR（Instantaneous Decoder Refresh）ピクチャと、IDRピクチャではないIピクチャの2種類がある。IDRピクチャとは、復号順でIDRピクチャより後の全ピクチャを、復号順でIDRピクチャより前のピクチャを参照することなしに復号することのできるIピクチャであり、MPEG-2のclosed GOPの先頭Iピクチャに相当する（closed RAU）。IDRではないIピクチャにおいては、復号順でIピクチャより後のピクチャが、復号順で当該Iピクチャより前のピクチャを参照してもよい（open RAU）。ここで、IDRピクチャとIピクチャは、それぞれIDRスライスとIスライスのみから構成されるピクチャ、PピクチャはPスライスあるいはIスライスから構成されるピクチャ、BピクチャはBスライス、Pスライス、あるいはIスライスから構成されるピクチャを指すものとする。

DVDやBD（Blu-ray disc）などのパッケージメディアでは、記録容量に制約があるため、なるべく高い圧縮率で動画像データを符号化できることが望ましい。圧縮率を向上させるための1つの方法として、RAU長を長くすることが有効である。ここで、RAU長とは、RAUの再生時間長を示す。これは、一般的にRAU先頭のIピクチャは、Pピクチャ、あるいはBピクチャに比べてデータサイズが大きいため、RAU長を長くして、1RAU内のIピクチャの割合を減らすことにより、圧縮率を向上できるためである。この手法は、ビットレートが低い場合に特に有効であるが、RAU長を長くとるとRAUの後半のピクチャにおいて画質が劣化することがある、あるいは、後述するように逆再生時の機能性が損なわれるという問題もあるため、これらの問題を鑑みて、適切なRAU長を選択することが重要となる。

図２５（a）は、RAU長が長い従来のRAUの構成例である。ここでは、48枚のピクチャを1RAUに格納しており、例えば24Hzのフィルム素材であるとすると、RAU長は2秒となる。以下で、図２５（a）のRAU内のピクチャを逆再生することを考える。なお、ピクチャの予測構造はMPEG-2と同一であるとする。いま、表示順でRAUの最終ピクチャとなるP48から、先頭ピクチャB1までのピクチャを順に逆再生するとする。逆再生時に最初に表示されるのはP48であるため、逆再生を開始前に、RAU内の全ピクチャのデータを読み出し、復号しなければならない。読み出したデータは、一旦バッファメモリに蓄えてから復号を開始するが、RAUの全ピクチャデータをバッファメモリに格納できない場合には、データの読み出しを複数回に分けて行う必要がある。例えば、図２５（b）から図２５（d）に示すように、データの読み出しを3回に分けて行うとする。1回目の読み出しにおいて、I3からB14までのピクチャデータを読み出して復号し、2回目、3回目の読み出しでは、それぞれ、P18からB29、P33からB47までのピクチャデータを読み出して復号する。このように、3回のデータ読み出しを行って、RAUの最終ピクチャまで復号した後に、逆再生を開始する。なお、B1およびB2が直前RAUのピクチャを参照する際には、B1およびB2の復号時には直前RAUにおけるP48も合わせて取得しておく必要がある。

図２６は、従来の多重化データを再生するデータ再生装置1000の構成を示すブロック図である。データ再生装置1000は、読み出し部101、管理情報分離解析部102、逆再生用分割命令部103、取得命令部104、符号化ピクチャ・バッファ105、復号部106、表示部107を備える。

読み出し部101は、多重化データ記録媒体から多重化データを取得し、多重化データの管理情報PlyInfを管理情報分離解析部102に入力するとともに、取得命令部104からのデータの取得要求Getが入力されると、符号化データVdat1を読み出して符号化ピクチャ・バッファに入力する。なお、符号化データは一般に、MPEG-2 TS（Transport Stream）などの多重化方式に従って多重化されているため、図示しない分離部において符号化データVdat1を分離した後に、符号化ピクチャ・バッファに入力するものとする。ここで、多重化方式は、MPEG-2 PS（Program Stream）やMP4（ISO/IEC 14496-12をベースとした多重化方式）などの方式、あるいはアプリケーションで規定された方式でパケット化してから多重化してもよい。例えば、BD規格では、ソースパケット（Source Packet）と呼ばれる、MPEG-2 TSパケットに4バイトのヘッダを付加した方式により多重化される。また、管理情報PlyInfは、符号化データの格納アドレス情報と表示開始時刻を示すテーブルデータ、ランダムアクセス可能なピクチャに関する情報、あるいはプレイリストなどを含む。管理情報分離解析部102は、管理情報を解析して再生するピクチャを決定し、前記決定したピクチャのアドレス情報などを含むアクセス情報acsを取得命令部104に入力する。取得命令部104は、アクセス情報acsに示されるデータの読み出しを指示する取得要求Getを読み出し部101に入力する。

ここで、逆再生時には、RAU単位でデータの読み出しを行い、復号順でRAU内の先頭ピクチャから、RAU内で表示開始するピクチャまでのピクチャを復号し、復号完了後に逆再生を開始する。1RAUの逆再生が終了すると、復号順で１以上前のRAUを逆再生する。ユーザから逆再生の指示が出された際には、逆再要求Revが逆再用分割命令部103に入力される。逆再用分割命令部103は、RAUにおいて逆再生時に復号するピクチャの符号化データを1度に読みだせない場合には、複数回のデータ読み出しを行うことように指示する分割命令Divを取得命令部104に入力する。分割命令Divが入力された際には、逆再生時に表示するピクチャの復号に必要なピクチャデータが全て取得できるまで、RAUの先頭ピクチャから順に、符号化ピクチャ・バッファへピクチャデータを読み出すことを指示する旨を取得要求Getに含める。復号部106は、符号化ピクチャ・バッファに格納されたピクチャデータを復号して復号画像Voを表示部107に入力し、表示部107は復号画像Voに基づいて表示用の画像データdispを生成し、表示タイミングに従って画像データdispを表示する。

図２７は、データ再生装置1000における逆再生時の動作を示すフローチャートである。まず、ステップS101において管理情報を分離、解析して、再生開始するピクチャを決定するとともに、前記決定したピクチャが格納されるRAUを特定し、特定したRAUを取得するために必要な情報を取得する。ステップS102では、再生開始ピクチャが含まれるRAUの先頭ピクチャから、表示を開始するピクチャの復号に必要なピクチャまでのピクチャデータの読み出しが完了したかどうか判定する。読み出しが完了していない場合には、ステップS103に進み、符号化ピクチャ・バッファへピクチャの符号化データを読み出し、続いて、ステップS104において前記読み出したピクチャデータを復号する。読み出しが完了した場合には、ステップS105に進み、逆再生を開始する。
特開2003-18549

従来のデータ再生装置1000に入力されるRAUは、RAU長、RAUを構成するピクチャのビットレート、あるいはRAUを構成するピクチャのサイズ総和に関して制約がなかったため、RAU長を長くすることにより圧縮率の向上が期待できないような高ビットレートの符号化データに対しても、RAU長の長いRAUが作成される、あるいは、RAUのサイズが符号化ピクチャ・バッファのサイズよりも大きいために、逆再生時に複数回のデータ読み出しが必要となる、といった課題があった。特に、光ディスクではデータの読み出しに時間がかかるため、複数回に分けてデータを読み出すことは、データ再生機器にとって負荷が大きい、また、RAU長が長くなると、逆再生時の遅延時間が増加するために、逆再生の機能性が損なわれる。

本発明は、以上の課題を解決するためになされたものである。
本発明の請求項１にかかる多重化方法は、
動画像を符号化して管理情報とともに多重化する多重化方法であって、
符号化ストリームにおけるランダムアクセス単位（RAU：Random Access Unit）の作成条件を決定する作成条件決定ステップと、
前記決定された作成条件を満たす、１以上の前記ランダムアクセス単位から構成される符号化ストリームを生成する符号化ステップと、
前記符号化ストリームにおけるピクチャのデータにアクセスするための情報を含んだ管理情報を作成する管理情報作成ステップと、
前記符号化ストリームと前記管理情報を多重化する多重化ステップと、
を備え、
前記作成条件決定ステップは、前記ランダムアクセス単位を構成するピクチャの平均ビットレート（RAUレート）、前記ランダムアクセス単位を構成するピクチャの再生時間長の総和（RAU長）、および、前記ランダムアクセス単位を構成するピクチャのサイズの総和（RAUサイズ）に基づいて、ランダムアクセス単位の前記作成条件を決定することを特徴とする多重化方法。

本発明の請求項２にかかる多重化方法は、
前記作成条件決定ステップは、前記RAUレートが所定の値より高いかどうかに基づいて、前記RAU長の上限値を切り替えることを特徴とする請求項１記載の多重化方法。

本発明の請求項３にかかる多重化方法は、
前記作成条件決定ステップは、前記RAU長が予め定められた値を超えないように前記作成条件を決定することを特徴とする請求項２記載の多重化方法。

本発明の請求項４にかかる多重化方法は、
前記作成条件決定ステップは、前記RAUサイズが予め定められた値を超えないように前記作成条件を決定することを特徴とする請求項２記載の多重化方法。

本発明の請求項５にかかる多重化方法は、
前記予め定められた値は、請求項１〜４のいずれか１項に記載の多重化方法により生成された多重化データを再生するデータ再生装置において、前記多重化データに格納された符号化データを復号する際の、符号化ピクチャ格納用のバッファサイズと同一であることを特徴とする請求項４記載の多重化方法。

本発明の請求項６にかかる多重化方法は、
請求項１〜４のいずれか１項に記載の多重化方法により生成された多重化データにおいて、符号化データがパケット化されて格納されている際に、前記多重化データを再生するデータ再生装置において前記パケット列を読み出すためのバッファのサイズが、前記予め定められた値と同一であることを特徴とする請求項４記載の多重化方法。

本発明の請求項７にかかる多重化装置は、
動画像を符号化して管理情報とともに多重化する多重化装置であって、
符号化ストリームにおけるランダムアクセス単位（RAU：Random Access Unit）の作成条件を決定する作成条件決定手段と、
前記決定された作成条件を満たす、１以上の前記ランダムアクセス単位から構成される符号化ストリームを生成する符号化手段と、
前記符号化ストリームにおけるピクチャのデータにアクセスするための情報を含んだ管理情報を作成する管理情報作成手段と、
前記符号化ストリームと前記管理情報を多重化する多重化手段と、
を備え、
前記作成条件決定手段は、前記ランダムアクセス単位を構成するピクチャの平均ビットレート（RAUレート）、前記ランダムアクセス単位を構成するピクチャの再生時間長の総和（RAU長）、および、前記ランダムアクセス単位を構成するピクチャのサイズの総和（RAUサイズ）に基づいて、ランダムアクセス単位の前記作成条件を決定することを特徴とする多重化装置。

本発明の請求項８にかかるデータ再生方法は、
請求項１記載の多重化方法により生成された多重化データを再生するデータ再生方法であって、
ユーザからの逆再生要求をうけて、逆再生の開始を指示する逆再生指示ステップと、
前記多重化データから前記管理情報を分離して解析し、再生対象となるピクチャデータを分離するために必要なアクセス情報を取得する管理情報解析ステップと、
管理情報解析ステップにおいて取得した前記アクセス情報に基づいて、前記多重化データから符号化ストリームを分離して、符号化ピクチャ・バッファに読み出す読出ステップと、
前記読出された符号化ピクチャのデータを復号する復号ステップと、
前記復号された復号画像を表示する表示ステップと、
を備え、
前記読み出しステップは、逆再生時には、ランダムアクセス単位で符号化ストリームの読み出しを行い、かつ、前記ランダムアクセス単位のデータをまとめて、前記符号化ピクチャ・バッファに読み出すことを特徴とするデータ再生方法。

本発明の請求項９にかかるデータ再生方法は、
１以上の前記ランダムアクセス単位から構成される符号化ストリームを多重化した多重化データを再生するデータ再生方法であって、
ユーザからの逆再生要求をうけて、逆再生の開始を指示する逆再生指示ステップと、
前記多重化データから前記管理情報を分離して解析し、再生対象となるピクチャデータを分離するために必要なアクセス情報を取得する管理情報解析ステップと、
前記ランダムアクセス単位のサイズが、前記符号化ピクチャ・バッファのサイズ以下であるかどうか判定する判定ステップと、
管理情報解析ステップにおいて取得した前記アクセス情報に基づいて、前記多重化データから符号化ストリームを分離して、符号化ピクチャ・バッファに読み出す読出ステップと、
前記読出された符号化ピクチャのデータを復号する復号ステップと、
前記復号された復号画像を表示する表示ステップと、
を備え、
前記判定ステップは、前記管理情報、あるいは符号化ストリーム内の情報、あるいはアプリケーション規格などにおいて予め定められた規定に基づいて判定を行い、
前記読み出しステップは、逆再生時には、ランダムアクセス単位で符号化ストリームの読み出しを行い、前記判定ステップにおいて、前記ランダムアクセス単位のサイズが前記符号化ピクチャ・バッファのサイズ以下であると判定された際には、前記ランダムアクセス単位のデータをまとめて前記符号化ピクチャ・バッファに読み出し、前記符号化ピクチャ・バッファのサイズ以下でないと判定された際には、前記ランダムアクセス単位のピクチャデータを分割して読み出すことを特徴とするデータ再生方法。

本発明の請求項１０にかかる記録媒体は、
請求項1記載の多重化方法により生成された多重化データを記録する記録媒体であって、
上記記録媒体は、
動画像を符号化して管理情報とともに多重化する多重化方法であって、
符号化ストリームにおけるランダムアクセス単位（RAU：Random Access Unit）の作成条件を決定する作成条件決定ステップと、
前記決定された作成条件を満たす、１以上の前記ランダムアクセス単位から構成される符号化ストリームを生成する符号化ステップと、
前記符号化ストリームにおけるピクチャのデータにアクセスするための情報を含んだ管理情報を作成する管理情報作成ステップと、
前記符号化ストリームと前記管理情報を多重化する多重化ステップと、
を備え、
前記作成条件決定ステップは、前記ランダムアクセス単位を構成するピクチャの平均ビットレート（RAUレート）、前記ランダムアクセス単位を構成するピクチャの再生時間長の総和（RAU長）、および、前記ランダムアクセス単位を構成するピクチャのサイズの総和（RAUサイズ）に基づいて、ランダムアクセス単位の前記作成条件を決定することを特徴とする多重化方法により多重化されたデータを、請求項１記載の多重化方法で多重化されたことを示す情報とともに記録することを特徴とする記録媒体。

本発明の請求項１1にかかるプログラムは、
コンピュータにより請求項８記載のデータ再生方法を行うためのプログラムであって、
上記プログラムはコンピュータに、
請求項１記載の多重化方法により生成された多重化データを再生するデータ再生方法であって、
ユーザからの逆再生要求をうけて、逆再生の開始を指示する逆再生指示ステップと、
前記多重化データから前記管理情報を分離して解析し、再生対象となるピクチャデータを分離するために必要なアクセス情報を取得する管理情報解析ステップと、
管理情報解析ステップにおいて取得した前記アクセス情報に基づいて、前記多重化データから符号化ストリームを分離して、符号化ピクチャ・バッファに読み出す読出ステップと、
前記読出された符号化ピクチャのデータを復号する復号ステップと、
前記復号された復号画像を表示する表示ステップと、
を備え、
前記読み出しステップは、逆再生時には、ランダムアクセス単位で符号化ストリームの読み出しを行い、かつ、前記ランダムアクセス単位のデータをまとめて、前記符号化ピクチャ・バッファに読み出すことを特徴とするデータ再生方法
を、行わせることを特徴とするプログラム。

以上のように、本発明によれば、RAUにおける平均ビットレートに基づいて、RAUのサイズ、およびRAU長の上限値を設定したため、RAUの平均ビットレートが所定の値以下であれば、RAUの全ピクチャデータを復号用のバッファに保持でき、１度のデータ読み出しでRAU内のピクチャの逆再生が実現できる。このため、逆再生時のデータ再生装置の負荷が軽減され、また遅延も短くなり、その実用的価値が高い。

以下、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図１は、本実施の形態1における多重化装置4000の構成を示すブロック図である。

多重化装置4000は、RAU制約設定部401、符号化部402、メモリ403、管理情報作成部404、および多重化部405を備える。符号化部402は、RAU長設定部401により設定されたRAUの制約条件RAUinfoに基づいて、入力された動画像データVinを符号化して、１以上のRAUから構成される符号化データstrInをメモリ403に格納する。RAU制約設定部401は、符号化部402からプロファイルやレベルなどの符号化条件Cparamなどを取得し、符号化条件Cparamと、予め定められたRAUの制約情報に基づいて、制約条件を決定する。なお、BDなどのアプリケーション規格において規定された符号化データ、あるいは多重化データのビットレート、および符号化ピクチャ・バッファのサイズの上限値などに基づいてRAUの制約条件を設定する際には、符号化条件Cparamを取得しなくてもよい。管理情報作成部404は、メモリ403から読み出した符号化データstrOut1の解析結果から管理情報baseを生成し、多重化部405に出力する。多重化部405は、管理情報base、メモリ12からの読み出しデータstrOut2を多重化し、多重化データMuxDatを出力する。管理情報baseは、ランダムアクセスポイントとなるピクチャに関するアドレス情報、再生時刻情報などを含む。

図２は、多重化装置4000の動作を示すフローチャートである。まず、ステップS401においてRAUの制約条件を設定し、ステップS402に進む。ステップS402ではステップS401で設定したRAUの制約条件を満たすように、1ピクチャ分の入力動画像データを符号化する。ステップS403では、符号化が完了したかどうか判定し、入力動画像データの符号化が完了するまでステップS402を繰り返す。符号化完了後、ステップS404に進み、管理情報を作成し、最後にステップS405において管理情報と符号化データとを多重化する。

以下に、RAUの制約条件について説明する。RAUにおいては、少なくとも下記３種類のパラメータが制約される。
（１）RAUを構成するピクチャの平均ビットレート（以降、RAUレートと呼ぶ）
（２）RAUを構成するピクチャのデータサイズの総和（以降、RAUサイズと呼ぶ）
（３）RAUを構成するピクチャの再生時間長の総和（RAU長）
ここで、（１）から（３）について、順に説明する。

（１）符号化データのビットレートが低い場合には、RAU長を長くとることにより圧縮率が向上することを上述した。しかしながら、ビットレートが高くなるにつれて、各ピクチャに割り当て可能なビット量が増加するため、RAU長を長くすることによって得られる圧縮率の向上効果が低下する。従って、圧縮率の観点からは、所定のビットレート以下である際にRAU長を長くできればよい。ここで、ビットレートとしては、平均ビットレートを使用する。最大ビットレートの使用も考えられるが、平均的には低いビットレートであっても、途中に符号化が困難なピクチャが含まれると、その部分ではビットレートの振れ幅が大きくなってしまう。このため、例えば、平均ビットレートが8Mbps、15Mbpの２つのストリームにおいて、最大ビットレートがいずれも20Mbpsであるようなケースが発生し、RAU長を制約する際の指標としては適切でない。また、平均ビットレートとして、全RAUにおける平均ビットレートの平均値とる方法と、各RAUの平均ビットレートをとる方法とがあるが、RAUサイズとRAU長との関連性を考慮して、各RAUの平均ビットレートを使用する。従って、RAUの平均ビットレートを指標としてRAU長を制約する。具体的には、平均ビットレートが所定の値と同一、あるいはそれ以上である際には、RAU長を一定値以下とする。また、平均ビットレートが所定の値、あるいはそれ以下である際には、RAU長を前記一定値以上としてもよいとする。また、RAUレートをRAU内のNAL（Network Abstraction Layer）ユニットにおけるSEIメッセージなどに符号化データ内、あるいは、管理情報に格納してもよい。なお、平均ビットレートを制限しただけでは、最大ビットレートを制限することができないため、再生装置における処理負荷の最大値を考慮して、最大レートを制限することにしてもよい。さらに、平均ビットレートと最大ビットレートを共に制限してもよい。また、ストリーム全体に適用できる指標とするために、ストリーム全体での平均ビットレート、あるいは最大ビットレートを用いてもよい。

（２）RAUサイズが符号化ピクチャ・バッファのサイズを越える際には、逆再生時にRAUの全ピクチャのデータを読み出すために、データの読み出しが複数回発生する。特に、データの読み出しに時間のかかる光ディスク機器においては、データの読み出し回数を低減できることが望ましい。従って、RAUサイズは符号化ピクチャ・バッファ以下とする。しかしながら、特にRAUレートが高い場合には、RAUサイズを符号化ピクチャ・バッファサイズ以下とすると、十分なRAU長が確保できないことがある。例えば、RAUレートを40Mbps、符号化ピクチャ・バッファサイズを10Mbitとすると、RAU長が0.25秒以下となる。特殊再生時の機能性を考慮すると、RAU長としては0.5秒程度までは許容することが必要であるため、RAU長が所定の値以下である際には、RAUサイズが符号化ピクチャ・バッファのサイズを越えてもよいものとする。前記所定の値を０とした際には、最低限確保すべきRAU長に対する制約がないものとしてもよい。

パッケージメディアにおいては、逆再生や早送り再生などの特殊再生時に、IピクチャとPピクチャのみを復号して表示できるように、PピクチャはIピクチャ、あるいは他のPピクチャのみを参照し、Bピクチャは参照しないように符号化されることがある。この場合、逆再生時にIピクチャとPピクチャのみを表示するとすると、符号化ピクチャ・バッファにはIピクチャとPピクチャのみを格納できればよい。なお、逆再生時には特定のPピクチャのみが表示され、前記特定のPピクチャから参照されないPピクチャが存在する際には、参照されないPピクチャは符号化ピクチャ・バッファに格納しなくてよい。このときは、逆再生時に復号が必要なIピクチャ、およびPピクチャのサイズ総和が符号化ピクチャ・バッファサイズe以下となるようにしてもよい。なお、IピクチャとPピクチャに限らず、逆再生時に復号あるいは表示するピクチャが示される際には、それらのピクチャの復号に必要なピクチャのサイズ総和が符号化ピクチャ・バッファのサイズ以下となるようにしてもよい。例えば、Iピクチャ、Pピクチャに加えて、他のピクチャから参照されるBピクチャを逆再生時に表示するとすれば、Iピクチャ、Pピクチャ、および、他のピクチャから参照されるBピクチャのサイズ総和を制限する。

また、open RAUの場合には、復号順で前のRAUを参照するピクチャが存在するため、RAUのサイズと、これらのピクチャの復号に必要なピクチャとのサイズ総和を符号化ピクチャ・バッファのサイズ以下としてもよい。例えば、図２５（a）と同一の構成であるRAU 1において、B1とB2が直前RAU 0におけるP48を参照する際には、RAU 1のサイズとP48のサイズの和が符号化ピクチャ・バッファのサイズ以下となるようにする。あるいは、RAU 1のサイズと、RAUにおいて復号順でP48よりも後にあるB46とB47のサイズ総和を符号化ピクチャ・バッファのサイズ以下としてもよい。こうすることで、RAU 0からデータを読み出す際に、復号順でP48以降のデータを一括して読み出すことができる。あるいはまた、RAU 0を基準として、RAU1においてB1、B2が参照するピクチャはI3であるため、I3、B1、およびB2のサイズ総和と、RAU 0のサイズの和を制限してもよい。

なお、データを読み出す際には、まず、記録媒体から多重化データを読み出し、続いて多重化データから符号化データを分離して、符号化ピクチャ・バッファに格納する。多重化データは、多重化データを保持するためのバッファ（以降、リード・バッファと呼ぶ）に一旦蓄えられるため、RAUサイズが符号化ピクチャ・バッファのサイズ以下であっても、RAU内の全ピクチャのデータを含む多重化データを一度にリード・バッファに読み出せないと、結果として複数回の読み出しが必要となる。多重化データを読み出す際には、管理情報を参照して、アクセスする際のアドレス情報を取得する。従って、多重化データへのアドレス情報により示される位置から、リード・バッファのサイズ分のデータを読み出せば、RAU内の全ピクチャのデータが取得できることを保証してもよい。例えば、コンテンツの10秒の位置から再生するためには、多重化データにおける2000バイト目の位置からデータの取得を開始すればよい旨が管理情報により示され、リード・バッファのサイズが10000バイトであるとすると、多重化データにおける2000バイトから19999バイトまでの位置に、1RAU分のピクチャが含まれる。

読み出しを複数回に分けて行う必要があるかどうかを示す情報を、管理情報、あるいは符号化データに格納してもよい。図３（a）は、符号化データへのRAUのサイズ情報の格納例を示す。MPEG-4 AVCではスライスやSEIなどのデータは、それぞれNALユニットに格納されるため、MPEG-4 AVCにおいてUnspecifiedとされるタイプを持つNALユニット、あるいは、User data unregistered SEIメッセージなどのSEIメッセージ内にRAUのサイズ情報を格納できる。SEIメッセージは特定タイプのNALユニットに格納される。なお、サイズ情報は、RAUの実際のサイズであってもよいし、RAUのサイズが符号化ピクチャ・バッファのサイズ以下であるかどうかを示すフラグ情報であってもよい。また、符号化ピクチャ・バッファのサイズを符号化データ、あるいは管理情報に示してもよい。図３（b）は、User data unregistered SEIメッセージにユーザーデータを格納する際のシンタックス例である。uuid_iso_iec_11578フィールドの後に、type_indicatorフィールドを設けてユーザーデータの種類を示すことにより、異なる種類のユーザーデータを格納することができる。例えば、RAUのサイズ情報、クローズド・キャプションなどのユーザーデータ毎にtype_indicatorを定義して、各種のユーザーデータをUser data unregistered SEIに格納することができる。RAUのサイズ情報に対するtype_indicator値を1とすれば、type_indicatorが1である場合のuser_data_payloadにはRAUのサイズ情報が格納される。各ユーザーデータに対するtype_indicatorの値は、BDなどのアプリケーション毎に設定できる。

（３）RAU長が長くなるにつれて、RAUの先頭ピクチャから復号を開始して、RAU内で逆再生時に表示開始するピクチャの復号が完了するまでの遅延時間が長くなる。また、RAUはランダムアクセスの単位となるため、RAU長が長くなるとランダムアクセス可能な位置の間隔が長くなり、飛び込み再生時の処理負荷が増大する点についても考慮が必要である。従って、RAU長が長くなることにより発生するこれらの問題を回避するために、RAU長に上限値を設ける。なお、RAU長の代わりに、RAUを構成するピクチャの枚数、あるいはRAU内で逆再生などの特殊再生時に復号されるピクチャの枚数に上限値を設けてもよい。

次に、上記（１）から（３）の制約を組み合わせて、あるいは単独で適用する方法について図４を参照して説明する。図４（a）から図４（ｄ）までの各グラフにおいて、横軸はRAUレート、縦軸はRAU長を示し、各RAUレートにおけるRAU長の最大値を実線で示す。なお、符号化ピクチャ・バッファのサイズは30Mbitであるとする。

図４（a）は、（１）、（２）、（３）の制約を組み合わせた例を示す。まず、（１）において、RAUレートが15Mbpsより高ければRAU長を1秒以下に制限し、RAUレートが15M以上であればRAU長が１秒以上であることを許容する。次に（２）では、RAUサイズが符号化ピクチャ・バッファのサイズ以下、つまり30Mbit以下であると制約し、（３）において、GOP長の上限値を3秒とする。従って、各RAUレートにおけるRAU長の最大値は次のようになる。

・０Mbps以上、10Mbps以下：（３）の制約が有効となり、RAU長の最大値は3秒。
・10Mbps以上、15Mbps以下：（２）の制約が有効となり、RAUサイズが30Mbpsとなる時のRAU長が最大値。

・15Mbpsより高く、30Mbps以下：（１）の制約が有効となり、RAU長の最大値は1秒。
・30Mbps以上：（２）の制約が有効となり、RAUサイズが30Mbpsとなる時のRAU長が最大値。

図４（b）は、（１）、（２）、（３）の制約を組み合わせた例を示すが、（２）において、RAU長が1秒以下である際には、RAUサイズが符号化ピクチャ・バッファのサイズを越えてもよいとした点において図（a）と異なる。このとき、RAUレートが30Mbpsより高い場合には、RAUサイズが30Mbitを超えるが、RAU長の最大値は1秒となる。

図４（c）は、（１）、（３）の制約の組み合わせ例を示す。（１）において、RAUレートが15Mbpsより高ければRAU長を1秒以下に制限し、RAUレートが15M以下であればRAU長が１秒以上であることを許容する。次に、（３）において、GOP長の上限値を２秒とする。

図４（d）は、（２）、（３）の制約の組み合わせ例を示す。（２）において、RAUサイズが30Mbit以下であると制約し、（３）において、GOP長の上限値を3秒とする。
なお、図４（a）から（d）以外の組み合わせにより制約を適用してもよい。

上記における符号化ピクチャ・バッファのサイズは、MPEG-4 AVC規格の各レベルにおいて定められた符号化ピクチャ・バッファのサイズの上限値に等しいものとするが、BDなどアプリケーション規格において符号化ピクチャ・バッファサイズの上限値が別途規定される場合には、その値としてもよい。

なお、RAUレート、RAUサイズ、およびRAU長に関する設定値は、BDなどのアプリケーション規格により定められる値とするが、多重化データ作成時に設定するものであってもよい。多重化データ作成時に設定する際には、設定値をMPEG-4 AVCのSEI（Supplemental Enhancement Information）メッセージなどを用いて符号化データ内に示してもよいし、管理情報として格納してもよい。

なお、上記（１）から（３）のうち、少なくとも１つ以上の制約がBDなどのアプリケーション規格で規定される際には、BDなどのパッケージメディアに格納された符号化ストリームにおけるRAUは、必ず前記規定された制約を満たすことが保証される。また、前記規定された制約を満たすことを示すフラグ情報を、多重化データの管理情報、あるいは符号化データに格納してもよい。フラグ情報としては、新規に定義したフラグ情報であってもよいし、アプリケーション規格で多重化データに含めることが必須であるディレクトリ名、あるいはファイル名であってもよい。BDであれば、rootディレクトリ直下に、BDMVという名称のディレクトリが必ず含まれるため、このディレクトリ名をフラグ情報としてもよいし、BDMVディレクトリの中に含まれるindex.bdmvやMovieObject.bdmvなどBD規格固有のファイル名をフラグ情報としてもよい。

ここで、MPEG-4 AVCのピクチャデータは、符号化データにおいて、アクセスユニットという単位に格納される。1アクセスユニットが1ピクチャに相当するが、アクセスユニットには、パラメータセットや、SEI（Supplemental Enhancement Information）などスライスデータ以外のデータも格納される。一般に、符号化ピクチャ・バッファにはアクセスユニット単位でデータを入力するため、上記では各ピクチャに対応するアクセスユニットのデータが符号化ピクチャ・バッファに入力された場合に、RAUに対する制約が満たされるとする。なお、スライスデータのNALユニット、あるいは、スライスデータのNALユニットとパラメータセットのNALユニットのみを符号化ピクチャ・バッファに入力するとしてRAUの制約条件を決定してもよい。

また、RAUにおいて逆再生時に表示あるいは復号される全てのピクチャが復号画像を格納するバッファに格納できるように制約してもよい。なお、全てのピクチャが復号画像に格納できるかどうかではなく、逆再生時にRAUの先頭ピクチャを復号する回数に上限値を設けることにしてもよい。

また、最大ビットレートとRAU長との積が符号化ピクチャ・バッファのサイズ以下となるようにRAU長を設定してもよい。例えば、最大ビットレートが40Mbpsで、符号化ピクチャ・バッファのサイズが40Mbitである場合、RAU長の最大値は1秒となる。最大ビットレートは、MPEG-4 AVCの各レベルにおいて規定されたビットレートの最大値であってもよいし、BDなどのアプリケーション規格において規定されたビットレートの最大値でもよい。あるいは、符号化時の最大ビットレートであってもよい。

なお、MPEG-4 AVC規格において規定されたピクチャサイズの最大値と、RAUを構成するピクチャの枚数の最大値との積が、符号化ピクチャ・バッファのサイズ以下となるようにしてもよい。ここで、MPEG-4 AVC規格ではIDRピクチャと、それ以外のピクチャとではピクチャサイズの上限値が異なるため、RAU内にIDRピクチャを含む際には、IDRピクチャ以外のピクチャの枚数と、それらのピクチャサイズの最大値との積と、IDRピクチャの最大サイズとの和を制限してもよい。

図２のステップS401では、BDなどのアプリケーション規格、多重化装置4000において予め設定された情報、あるいはユーザの入力に従って、上記の各制約条件を設定する。
ここで、多重化装置4000において生成される多重化データは、従来のデータ再生装置1000において再生することができる。

（実施の形態2）
図５は、本発明の実施の形態２におけるデータ再生装置の構成を示すブロック図である。データ再生装置2000は、読み出し部101、管理情報分離解析部102、逆再生用一括命令部201、取得命令部202、符号化ピクチャ・バッファ105、復号部106、表示部107を備える。図２６に示す従来のデータ再生装置1000と同一の機能を持つ手段に対しては同一の符号を附し、説明を省略する。データ再生装置2000は、1度のピクチャデータの読み出しで逆再生時が開始できる点において、従来のデータ再生装置1000と異なる。データ再生装置2000には、実施の形態１の多重化装置4000において、RAU長が符号化ピクチャ・バッファのサイズ以下となるようにRAUの制約条件を設定して生成された多重化データが入力される。なお、動画像の符号化データはMPEG-4 AVCであるとするが、MPEG-2 Videoなど他の符号化方式であってもよい。また、オーディオやテキスト字幕など動画像以外のデータを扱うことを制限するものではない。

ユーザから逆再生の指示が出された際には、逆再要求Revが逆再用一括命令部201に入力される。逆再用一括命令部201は、逆再要求Revが入力されると、RAUにおいて逆再生時に表示するピクチャの復号に必要な全ピクチャデータを1度で読み出すように指示する一括命令Onceを取得命令部202に入力する。取得命令部202は、一括命令Onceが入力されると、RAU内で逆再生時に復号する全ピクチャデータを1度に読み出すことを指示する取得要求Getを読み出し部101に出力する。結果として、符号化ピクチャ・バッファには、1度のデータ読み出しで、RAUにおいて復号が必要な全てのピクチャデータが読み出される。

図６は、データ再生装置2000において1RAU分のピクチャを逆再生する際の動作を示すフローチャートである。図２７に示す従来のデータ再生装置1000と同一の動作を行うステップにおいては同一の符号を附し、説明を省略する。ステップS201では、RAUの先頭ピクチャから順に、表示ピクチャの復号に必要な全ピクチャデータを、符号化ピクチャ・バッファに読み込む。ステップS202では、ステップS201において符号化ピクチャ・バッファに読み込まれたピクチャを復号し、表示する。

図７に、逆再生時の動作例を示す。図７（a）に示すように、各RAUはopen RAUであり、RAU長は2秒であるとする。なお、ピクチャは24 Hzであり、フレームレートは固定である。図７（b）は符号化データにおいて、表示時刻が10秒から16秒までの区間を構成するRAUを示し、RAU 1は10秒から12秒まで、RAU 2は12秒から14秒まで、RAU 3は14秒から16秒までのピクチャを格納する。いま、15秒から10秒までのIピクチャ、およびPピクチャを逆再生するとする。ここで、Pピクチャは、IピクチャおよびPピクチャのみを参照しているとする。図７（c）は、逆再生時の動作を示すフローチャートである。まずステップS1101において、RAU 3の14秒から15秒までのIピクチャ、およびPピクチャを含むピクチャデータ、すなわちI3からP12までを符号化ピクチャ・バッファに読み出す。ステップS1102において、RAU内のI3からP12までのピクチャを復号し、P12から順に再生する。次に、ステップS1103では、RAU2において復号順でI3からP48までのピクチャデータを読み出し、ステップS1104では、RAU内のIピクチャおよびPピクチャをP48から順に再生する。最後に、ステップS1105とステップS1106において、RAU2と同様に、RAU1のピクチャデータを読み出して復号、再生し、処理を終了する。なお、ステップS1101、ステップS1103、ステップS1105においては、IピクチャおよびPピクチャのみを符号化ピクチャ・バッファに読み出してもよい。

なお、データ再生装置において、符号化ピクチャ・バッファとして備えるバッファとは別に、逆再生時に使用可能なメモリが存在する際には、符号化ピクチャ・バッファと前記逆再生時に使用可能なメモリを合わせた領域に、RAUにおいて逆再生時に復号する全ピクチャデータを格納できるかどうか判定し、格納できる際には全ピクチャデータを1度に読み出してもよい。

なお、逆再用一括命令部201は、RAUにおいて逆再生時に復号する全ピクチャを符号化ピクチャ・バッファに格納できるかどうか判定し、格納できない場合には、符号化ピクチャ・バッファへのピクチャデータの読み出しを複数回に分けて行うように取得命令部202に指示してもよい。このとき、読み出しを複数回に分けて行う必要があるかどうかは、符号化データ、あるいは管理情報内に示されるRAUのサイズ情報に基づいて判定してもよい。

（実施の形態3）
本発明の実施の形態3におけるデータ再生装置は、従来のデータ再生装置1000の第2の課題を解決することを目的とする。

まず、従来のデータ再生装置1000の第2の課題について、図８を参照して説明する。図８（a）は、48枚のピクチャから構成されるRAUであり、PピクチャはBピクチャを参照せずに、IピクチャおよびPピクチャのみを復号して表示できるものとする。図８（a）のRAUには、図８（b）に示すように、16枚のIピクチャ、およびPピクチャが含まれる。従って、16枚分の復号画像を格納するバッファ（復号ピクチャ・バッファ）があれば、RAU内のIピクチャとPピクチャを全て格納することができ、1度の復号処理で逆再生を行うことができる。しかしながら、例えば、復号ピクチャ・バッファのサイズが復号画像4枚分である際には、最低でも以下のように計4回の復号処理が必要となる。

1回目：I3からP48まで順に復号し、P39、P42、P45、P48を復号ピクチャ・バッファに保持しておき、P48からP39までのピクチャを順に逆再生
2回目：I3からP36まで順に復号し、P27、P30、P33、P36を復号ピクチャ・バッファに保持しておき、P36からP27までのピクチャを順に逆再生
3回目：I3からP24まで順に復号し、P15、P18、P21、P24を復号ピクチャ・バッファに保持しておき、P24からP15までのピクチャを順に逆再生
4回目：I3からP12まで順に復号し、I3、P6、P9、P12を復号ピクチャ・バッファに保持しておき、P12からI3までのピクチャを順に逆再生
ここで、P48がI3を参照するなど、Pピクチャが直前3枚以外のPピクチャを参照する際には、より多くの回数の復号処理が必要となる。

図９は、従来の第2のデータ再生装置において、1RAU内のピクチャを逆再生する際の動作を示すフローチャートである。図２７に示す従来の第1のデータ再生装置と同一の動作を行うステップについては、同一の符号を附し、説明を省略する。ステップS301では、逆再生時に表示するピクチャの復号画像を復号ピクチャ・バッファに保持していく。復号画像が復号ピクチャ・バッファに格納できない場合には、復号プロセスにおいて使用されないピクチャのうち、復号順が古いピクチャから順に、復号ピクチャ・バッファから削除し、新規の復号画像を格納する。次に、ステップS302では、復号ピクチャ・バッファに保持されたピクチャを逆再生順に表示し、ステップS303に進む。ステップS303では、RAUにおいて逆再生時に表示する全ピクチャの表示が完了したかどうか判定し、完了した場合には処理を終了し、完了していない場合にはステップS304に進む。ステップS304では、ステップS302において最後に表示された次のピクチャを表示開始ピクチャとしてセットし、ステップS102からステップS303までの処理を繰り返す。

図１０は、本発明の実施の形態3にかかるデータ再生装置の構成を示すブロック図である。データ再生装置2001は、読み出し部101、管理情報分離解析部102、逆再生用分割命令部103、取得命令部104、符号化ピクチャ・バッファ105、復号部205、復号ピクチャ・バッファ203、および表示部204を備える。図２６に示す従来のデータ再生装置1000と同一の機能を持つ手段に対しては同一の符号を附し、説明を省略する。データ再生装置2001は、RAUにおいて逆再生時に復号するピクチャを、それぞれ1度復号することによりRAU内のピクチャの逆再生が実現できる点において、従来のデータ再生装置1000と異なる。なお、動画像の符号化データはMPEG-4 AVCであるとするが、MPEG-2 Videoなど他の符号化方式であってもよい。また、オーディオやテキスト字幕など動画像以外のデータを扱うことを制限するものではない。

復号部205は、復号ピクチャ・バッファに格納された参照ピクチャの復号画像Vrを参照しながら符号化データVdat2を復号し、復号時刻と表示時刻とが等しい復号画像Vo1を表示部204に入力する。また、復号時刻と表示時刻とが異なるピクチャ、あるいは参照ピクチャの復号画像Vo2を復号ピクチャ・バッファ203に格納する。表示部204は、復号部205から入力された復号画像Vo1、および復号ピクチャ・バッファ203に保持された復号画像Vo2を表示用の画像データdispに変換し、各々の表示時刻に従って表示する。ここで、逆再生時には、全ての復号画像は、一旦、復号ピクチャ・バッファ203に格納される。ただし、RAUにおいて逆再生時に最初に表示されるピクチャについては、復号ピクチャ・バッファ203に格納せずに、表示部204に直接入力してもよい。

次に、データ再生装置2001に入力される符号化データは、RAUにおいて逆再生時に復号が必要な全ピクチャの復号画像が復号ピクチャ・バッファに格納できるように符号化されている。例えば、復号ピクチャ・バッファに復号画像を16枚まで格納できる場合には、RAUにおいて逆再生時に表示するピクチャは16枚以内とする。逆再生時に、IピクチャとPピクチャを表示する際には、RAU内のIピクチャとPピクチャの枚数を、復号ピクチャ・バッファに格納できる復号画像の枚数以下とする。本手法は、符号化データの画像サイズが小さい場合に特に有効である。HD（High Definition）サイズの画像に対応したデータ再生装置では、HDサイズの復号画像が複数枚格納できる復号ピクチャ・バッファを備えるため、SD（Standard Definition）サイズの画像では、より多くの復号画像を格納できるためである。例えば、1920*1080サイズの画像が4枚分格納な復号ピクチャ・バッファには、720*480サイズの復号画像が約20枚格納できる。ここで、データ再生装置が備える復号ピクチャ・バッファのサイズは、データ再生装置が対応するレベルに対してMPEG-4 AVC規格により規定された復号ピクチャ・バッファのサイズ上限値、あるいは、BDなどのアプリケーション規格において定められた値に従うものとする。

図１１は、データ再生装置2001において、1RAU内のピクチャを逆再生する際の動作を示すフローチャートである。復号ピクチャ・バッファに、1RAU内で逆再生時に表示される全ピクチャの復号画像を格納できるため、図９に示す従来のデータ再生装置のフローチャートにおいて、復号画像が復号ピクチャ・バッファに格納しきれなかった場合の判定、およびループ処理であるステップS303とステップS304とを省いた処理フローとなる。

なお、RAUにおいて逆再生時に表示される全ピクチャの復号画像を復号ピクチャ・バッファに保持できるかどうか判定し、保持できる場合には図１１に示す動作により逆再生し、保持できない際には図９に示す動作により逆再生することにしてもよい。判定方法としては、RAUの符号化データを解析してIピクチャ、およびPピクチャの枚数、および画像サイズを取得してもよいし、符号化データ、あるいは管理情報内に格納された新規の情報に基づいてもよい。新規の情報としては、RAUにおいて逆再生時に表示されるピクチャの枚数を示すことができる。例えば、Iピクチャ、およびPピクチャの枚数を示すことができる。符号化データへの格納方法としては、MPEG-4 AVC規格においてUnspecifiedタイプと規定されたNALユニットや、SEIメッセージがある。

なお、上記においては、RAUにおいて逆再生時に表示される全ピクチャが復号ピクチャ・バッファに保持できるかどうかを判定基準としたが、データ再生装置は、復号ピクチャ・バッファに加えて、復号処理を行うためのワーク・バッファを備えるため、ワーク・バッファと復号ピクチャ・バッファのサイズの和を判定基準としてもよい。ワーク・バッファのサイズは、データ再生装置が対応する画像サイズの復号画像1枚分のサイズ以上である。

また、RAUにおいて逆再生時に表示される全ピクチャの復号画像が、復号ピクチャ・バッファに保持できない場合には、復号画像を縮小した画像を保持することにより、全ピクチャ分の復号結果を保持することができる。例えば、逆再生時に、RAU内の8枚のピクチャを表示する際に、復号ピクチャ・バッファが復号画像4枚分のサイズであったとすると、前記8枚のピクチャの復号画像を1/2のサイズに縮小して保持すれば、元のサイズで4枚分の領域に、8枚分の縮小画像を保持できる。このようにして、縮小画像を保持することにより、元のサイズの復号画像を復号ピクチャ・バッファに保持しきれない場合にも、1度の復号処理で逆再生を実現できる。ここで、逆再生時に表示するピクチャの枚数と、復号ピクチャ・バッファに保持できる復号画像の枚数とから、縮小率が決定できる。例えば、表示するピクチャの枚数が16枚で、保持できる復号画像が4枚である場合には、4/16 = 0.25倍以下に縮小すれば、復号ピクチャ・バッファに16枚分の縮小画像が保持できる。

（実施の形態４）
逆再生などの特殊再生機能は、パッケージメディアを再生する光ディスク機器においては特に重要である。ここで、次実施の形態1および実施の形態3における符号化データを多重化したデータを、世代の光ディスクであるＢＤ（Blu-ray Disc）に記録する例について説明する。

まず、BD-ROMの記録フォーマットについて説明する。
図１２は、ＢＤ−ＲＯＭの構成、特にディスク媒体であるＢＤディスク１００４と、ディスクに記録されているデータ（１００１、１００２、１００３）の構成を示す図である。ＢＤディスク１００４に記録されるデータは、ＡＶデータ１００３と、ＡＶデータに関する管理情報およびＡＶ再生シーケンスなどのＢＤ管理情報１００２と、インタラクティブを実現するＢＤ再生プログラム１００１である。本実施の形態では、説明の都合上、映画のＡＶコンテンツを再生するためのＡＶアプリケーションを主眼においてのＢＤディスクの説明を行うが、他の用途として用いても勿論同様である。

図１３は、上述したＢＤディスクに記録されている論理データのディレクトリ・ファイル構成を示した図である。ＢＤディスクは、他の光ディスク、例えばＤＶＤやＣＤなどと同様にその内周から外周に向けてらせん状に記録領域を持ち、内周のリード・インと外周のリード・アウトの間に論理データを記録できる論理アドレス空間を有している。また、リード・インの内側にはＢＣＡ（Burst Cutting Area）と呼ばれるドライブでしか読み出せない特別な領域がある。この領域はアプリケーションから読み出せないため、例えば著作権保護技術などに利用されることがある。

論理アドレス空間には、ファイルシステム情報（ボリューム）を先頭に映像データなどのアプリケーションデータが記録されている。ファイルシステムとは従来技術で説明した通り、ＵＤＦやＩＳＯ９６６０などのことであり、通常のＰＣと同じように記録されている論理データをディレクトリ、ファイル構造を使って読み出しする事が可能になっている。

本実施例の場合、ＢＤディスク上のディレクトリ、ファイル構造は、ルートディレクトリ（ＲＯＯＴ）直下にＢＤＶＩＤＥＯディレクトリが置かれている。このディレクトリはＢＤで扱うＡＶコンテンツや管理情報などのデータ（図１２で説明した１００１、１００２、１００３）が格納されているディレクトリである。

ＢＤＶＩＤＥＯディレクトリの下には、次の７種類のファイルが記録されている。
ＢＤ．ＩＮＦＯ（ファイル名固定）
「ＢＤ管理情報」の一つであり、ＢＤディスク全体に関する情報を記録したファイルである。ＢＤプレーヤは最初にこのファイルを読み出す。

ＢＤ．ＰＲＯＧ（ファイル名固定）
「ＢＤ再生プログラム」の一つであり、ＢＤディスク全体に関わる再生制御情報を記録したファイルである。

ＸＸＸ．ＰＬ（「ＸＸＸ」は可変、拡張子「ＰＬ」は固定）
「ＢＤ管理情報」の一つであり、シナリオ（再生シーケンス）であるプレイリスト情報を記録したファイルである。プレイリスト毎に１つのファイルを持っている。

ＸＸＸ．ＰＲＯＧ（「ＸＸＸ」は可変、拡張子「ＰROG」は固定）
「ＢＤ再生プログラム」の一つであり、前述したプレイリスト毎の再生制御情報を記録したファイルである。プレイリストとの対応はファイルボディ名（「ＸＸＸ」が一致する）によって識別される。

ＹＹＹ．ＶＯＢ（「ＹＹＹ」は可変、拡張子「ＶＯＢ」は固定）
「ＡＶデータ」の一つであり、ＶＯＢ（従来例で説明したＶＯＢと同じ）を記録したファイルである。ＶＯＢ毎に１つのファイルを持っている。

ＹＹＹ．ＶＯＢＩ（「ＹＹＹ」は可変、拡張子「ＶＯＢＩ」は固定）
「ＢＤ管理情報」の一つであり、ＡＶデータであるＶＯＢに関わるストリーム管理情報を記録したファイルである。ＶＯＢとの対応はファイルボディ名（「ＹＹＹ」が一致する）によって識別される。

ＺＺＺ．ＰＮＧ（「ＺＺＺ」は可変、拡張子「ＰＮＧ」は固定）
「ＡＶデータ」の一つであり、字幕およびメニューを構成するためのイメージデータＰＮＧ（Ｗ３Ｃによって標準化された画像フォーマットであり「ピング」と読む）を記録したファイルである。１つのＰＮＧイメージ毎に１つのファイルを持つ。

図１４から図１９を用いて、ＢＤのナビゲーションデータ（ＢＤ管理情報）構造について説明をする。
図１４は、ＶＯＢ管理情報情報ファイル（”ＹＹＹ．ＶＯＢＩ”）の内部構造を示した図である。

ＶＯＢ管理情報は、当該ＶＯＢのストリーム属性情報（Ａｔｔｒｉｂｕｔｅ）とタイムマップ（ＴＭＡＰ）を有している。ストリーム属性は、ビデオ属性（Ｖｉｄｅｏ）、オーディオ属性（Ａｕｄｉｏ＃０〜Ａｕｄｉｏ＃ｍ）個々に持つ構成となっている。特にオーディオストリームの場合は、ＶＯＢが複数本のオーディオストリームを同時に持つことができることから、オーディオストリーム数（Ｎｕｍｂｅｒ）によって、データフィールドの有無を示している。

下記はビデオ属性（Ｖｉｄｅｏ）の持つフィールドと夫々が持ち得る値である。
圧縮方式（Ｃｏｄｉｎｇ）：
ＭＰＥＧ１
ＭＰＥＧ２
ＭＰＥＧ４
ＭＰＥＧ４−ＡＶＣ（Advanced Video Coding）
解像度（Ｒｅｓｏｌｕｔｉｏｎ）：
１９２０ｘ１０８０
１４４０ｘ１０８０
１２８０ｘ７２０
７２０ｘ４８０
７２０ｘ５６５
アスペクト比（Ａｓｐｅｃｔ）
４：３
１６：９
フレームレート（Ｆｒａｍｅｒａｔｅ）
６０
５９．９４（６０／１．００１）
５０
３０
２９．９７（３０／１．００１）
２５
２４
２３．９７６（２４／１．００１）
下記はオーディオ属性（Ａｕｄｉｏ）の持つフィールドと夫々が持ち得る値である。

圧縮方式（Ｃｏｄｉｎｇ）：
ＡＣ３
ＭＰＥＧ１
ＭＰＥＧ２
ＬＰＣＭ
チャンネル数（Ｃｈ）：
１〜８
言語属性（Ｌａｎｇｕａｇｅ）：
タイムマップ（ＴＭＡＰ）はＶＯＢＵ毎の情報を持つテーブルであって、当該ＶＯＢが有するＶＯＢＵ数（Ｎｕｍｂｅｒ）と各ＶＯＢＵ情報（ＶＯＢＵ＃１〜ＶＯＢＵ＃ｎ）を持つ。個々のＶＯＢＵ情報は、ＶＯＢＵ先頭ＴＳパケット（Ｉピクチャ開始）のアドレスＩ＿ｓｔａｒｔと、そのＩピクチャの終了アドレスまでのオフセットアドレス（I_end）、およびそのＩピクチャの再生開始時刻（PTS）から構成される。

図１５はＶＯＢＵ情報の詳細を説明する図である。
広く知られているように、ＭＰＥＧビデオストリームは高画質記録するために可変ビットレート圧縮されることがあり、その再生時間とデータサイズ間に単純な相関はない。逆に、音声の圧縮規格であるＡＣ３は固定ビットレートでの圧縮を行っているため、時間とアドレスとの関係は１次式によって求めることができる。しかしながらＭＰＥＧビデオデータの場合は、個々のフレームは固定の表示時間、例えばＮＴＳＣの場合は１フレームは１／２９．９７秒の表示時間を持つが、個々のフレームの圧縮後のデータサイズは絵の特性や圧縮に使ったピクチャタイプ、いわゆるＩ／Ｐ／Ｂピクチャによってデータサイズは大きく変わってくる。従って、ＭＰＥＧビデオの場合は、時間とアドレスの関係は一次式の形で表現することは不可能である。

当然の事として、ＭＰＥＧビデオデータを多重化しているＭＰＥＧシステムストリーム、即ちＶＯＢも時間とデータサイズとを一次式の形で表現することは不可能である。このため、ＶＯＢ内での時間とアドレスとの関係を結びつけるのがタイムマップ（ＴＭＡＰ）である。

このようにして、ある時刻情報が与えられた場合、先ずは当該時刻がどのＶＯＢＵに属するのかを検索（ＶＯＢＵ毎のＰＴＳを追っていく）して、当該時刻の直前のＰＴＳをＴＭＡＰに持つＶＯＢＵに飛びこみ（I_startで指定されたアドレス）、ＶＯＢＵ先頭のＩピクチャから復号を開始し、当該時刻のピクチャから表示を開始する。

次に図１６を使って、プレイリスト情報（”ＸＸＸ．ＰＬ”）の内部構造を説明する。
プレイリスト情報は、セルリスト（ＣｅｌｌＬｉｓｔ）とイベントリスト（ＥｖｅｎｔＬｉｓｔ）から構成されている。

セルリスト（ＣｅｌｌＬｉｓｔ）は、プレイリスト内の再生セルシーケンスであり、本リストの記述順でセルが再生される事になる。セルリスト（ＣｅｌｌＬｉｓｔ）の中身は、セルの数（Ｎｕｍｂｅｒ）と各セル情報（Ｃｅｌｌ＃１〜Ｃｅｌｌ＃ｎ）である。

セル情報（Ｃｅｌｌ＃）は、ＶＯＢファイル名（ＶＯＢＮａｍｅ）、当該ＶＯＢ内での開始時刻（Ｉｎ）および終了時刻（Ｏｕｔ）と、字幕テーブル（ＳｕｂｔｉｔｌｅＴａｂｌｅ）を持っている。開始時刻（Ｉｎ）および終了時刻（Ｏｕｔ）は、夫々当該ＶＯＢ内でのフレーム番号で表現され、前述したタイムマップ（ＴＭＡＰ）を使うことによって再生に必要なＶＯＢデータのアドレスを得る事ができる。

字幕テーブル（ＳｕｂｔｉｔｌｅＴａｂｌｅ）は、当該ＶＯＢと同期再生される字幕情報を持つテーブルである。字幕は音声同様に複数の言語を持つことができ、字幕テーブル（ＳｕｂｔｉｔｌｅＴａｂｌｅ）最初の情報も言語数（Ｎｕｍｂｅｒ）とそれに続く個々の言語ごとのテーブル（Ｌａｎｇｕａｇｅ＃１〜Ｌａｎｇｕａｇｅ＃ｋ）から構成されている。

各言語のテーブル（Ｌａｎｇｕａｇｅ＃）は、言語情報（Ｌａｎｇ）と、個々に表示される字幕の字幕情報数（Ｎｕｍｂｅｒ）と、個々に表示される字幕の字幕情報（Ｓｐｅｅｃｈ＃１〜Ｓｐｅｅｃｈ＃ｊ）から構成され、字幕情報（Ｓｐｅｅｃｈ＃）は対応するイメージデータファイル名（Ｎａｍｅ）、字幕表示開始時刻（Ｉｎ）および字幕表示終了時刻（Ｏｕｔ）と、字幕の表示位置（Ｐｏｓｉｔｉｏｎ）から構成されている。

イベントリスト（ＥｖｅｎｔＬｉｓｔ）は、当該プレイリスト内で発生するイベントを定義したテーブルである。イベントリストは、イベント数（Ｎｕｍｂｅｒ）に続いて個々のイベント（Ｅｖｅｎｔ＃１〜Ｅｖｅｎｔ＃ｍ）から構成され、個々のイベント（Ｅｖｅｎｔ＃）は、イベントの種類（Ｔｙｐｅ）、イベントのＩＤ（ＩＤ）、イベント発生時刻（Ｔｉｍｅ）と有効期間（Ｄｕｒａｔｉｏｎ）から構成されている。

図１７は、個々のプレイリスト毎のイベントハンドラ（時間イベントと、メニュー選択用のユーザイベント）を持つイベントハンドラテーブル（”ＸＸＸ．ＰＲＯＧ”）である。

イベントハンドラテーブルは、定義されているイベントハンドラ／プログラム数（Ｎｕｍｂｅｒ）と個々のイベントハンドラ／プログラム（Ｐｒｏｇｒａｍ＃１〜Ｐｒｏｇｒａｍ＃ｎ）を有している。各イベントハンドラ／プログラム（Ｐｒｏｇｒａｍ＃）内の記述は、イベントハンドラ開始の定義（＜ｅｖｅｎｔ＿ｈａｎｄｌｅｒ＞タグ）と前述したイベントのＩＤと対になるイベントハンドラのＩＤ（ＩＤ）を持ち、その後に当該プログラムもＦｕｎｃｔｉｏｎに続く括弧”｛”と”｝”の間に記述する。前述の”ＸＸＸ．ＰＬ”のイベントリスト（ＥｖｅｎｔＬｉｓｔ）に格納されたイベント（Ｅｖｅｎｔ＃１〜Ｅｖｅｎｔ＃ｍ）は”ＸＸＸ．ＰＲＯＧ”のイベントハンドラのＩＤ（ＩＤ）を用いて特定される。

次に図１８を用いてＢＤディスク全体に関する情報（”ＢＤ．ＩＮＦＯ”）の内部構造を説明する。
ＢＤディスク全体情報は、タイトルリスト（ＴｉｔｌｅＬｉｓｔ）とグローバルイベント用のイベントテーブル（ＥｖｅｎｔＬｉｓｔ）から構成されている。

タイトルリスト（ＴｉｔｌｅＬｉｓｔ）は、ディスク内のタイトル数（Ｎｕｍｂｅｒ）と、これに続く各タイトル情報（Ｔｉｔｌｅ＃１〜Ｔｉｔｌｅ＃ｎ）から構成されている。個々のタイトル情報（Ｔｉｔｌｅ＃）は、タイトルに含まれるプレイリストのテーブル（ＰＬＴａｂｌｅ）とタイトル内のチャプタリスト（ＣｈａｐｔｅｒＬｉｓｔ）を含んでいる。プレイリストのテーブル（ＰＬＴａｂｌｅ）はタイトル内のプレイリストの数（Ｎｕｍｂｅｒ）と、プレイリスト名（Ｎａｍｅ）即ちプレイリストのファイル名を有している。

チャプタリスト（ＣｈａｐｔｅｒＬｉｓｔ）は、当該タイトルに含まれるチャプタ数（Ｎｕｍｂｅｒ）と個々のチャプタ情報（Ｃｈａｐｔｅｒ＃１〜Ｃｈａｐｔｅｒ＃ｎ）から構成され、個々のチャプタ情報（Ｃｈａｐｔｅｒ＃）は当該チャプタが含むセルのテーブル（ＣｅｌｌＴａｂｌｅ）を持ち、セルのテーブル（ＣｅｌｌＴａｂｌｅ）はセル数（Ｎｕｍｂｅｒ）と個々のセルのエントリ情報（ＣｅｌｌＥｎｔｒｙ＃１〜ＣｅｌｌＥｎｔｒｙ＃ｋ）から構成されている。セルのエントリ情報（ＣｅｌｌＥｎｔｒｙ＃）は当該セルを含むプレイリスト名と、プレイリスト内でのセル番号によって記述されている。

イベントリスト（ＥｖｅｎｔＬｉｓｔ）は、グローバルイベントの数（Ｎｕｍｂｅｒ）と個々のグローバルイベントの情報を持っている。ここで注意すべきは、最初に定義されるグローバルイベントは、ファーストイベント（ＦｉｒｓｔＥｖｅｎｔ）と呼ばれ、ＢＤディスクがプレーヤに挿入された時、最初に呼ばれるイベントである。グローバルイベント用イベント情報はイベントタイプ（Ｔｙｐｅ）とイベントのＩＤ（ＩＤ）だけを持っている。

図１９は、グローバルイベントハンドラのプログラムのテーブル（”ＢＤ．ＰＲＯＧ”）である。本テーブルは、図１７で説明したイベントハンドラテーブルと同一内容である。

以上のようなBD-ROMフォーマットにおいて、実施の形態1および実施の形態3における符号化データを多重化する際には、VOBUが１以上のランダムアクセス単位 RAUから構成され、プレイリストによりクリップの再生順序が指定されるものとする。ここで、RAUのサイズや、RAUにおいて逆再生時に表示されるピクチャの情報などはBD管理情報により示すことができる。例えば、プレイリストにおけるプレイアイテムに格納してもよいし、EPマップなどのアクセス情報を示すテーブルに格納してもよい。あるいは、符号化ストリームの属性情報を示すテーブルに格納してもよい。

（実施の形態５）
図２０は、実施の形態４に係るBDディスクを再生するプレーヤの大まかな機能構成を示すブロック図である。

ＢＤディスク１２０１上のデータは、光ピックアップ１２０２を通して読み出される。読み出されたデータは夫々のデータの種類に応じて専用のメモリに転送される。ＢＤ再生プログラム（「ＢＤ．ＰＲＯＧ」または「ＸＸＸ．ＰＲＯＧ」ファイルの中身）はプログラム記録メモリ１２０３に、ＢＤ管理情報（「ＢＤ．ＩＮＦＯ」、「ＸＸＸ．ＰＬ」または「ＹＹＹ．ＶＯＢＩ」）は管理情報記録メモリ１２０４に、ＡＶデータ（「ＹＹＹ．ＶＯＢ」または「ＺＺＺ．ＰＮＧ」）はＡＶ記録メモリ１２０５に夫々転送される。

プログラム記録メモリ１２０３に記録されたＢＤ再生プログラムはプログラム処理部１２０６によって、管理情報記録メモリ１２０４に記録されたＢＤ管理情報は管理情報処理部１２０７によって、また、ＡＶ記録メモリ１２０５に記録されたＡＶデータはプレゼンテーション処理部１２０８によって夫々処理される。逆再生用の付加情報が管理情報に格納される際には、管理情報処理部１２０７により、符号化データに格納される際にはプレゼンテーション処理部１２０８によって解釈、処理される。

プログラム処理部１２０６は、管理情報処理部１２０７より再生するプレイリストの情報やプログラムの実行タイミングなどのイベント情報を受け取りプログラムの処理を行う。また、プログラムでは再生するプレイリストを動的に変える事が可能であり、この場合は管理情報処理部１２０７に対してプレイリストの再生命令を送ることで実現する。プログラム処理部１２０６は、ユーザからのイベント、即ちリモコンキーからのリクエストを受け、ユーザイベントに対応するプログラムがある場合は、それを実行する。

管理情報処理部１２０７は、プログラム処理部１２０６の指示を受け、対応するプレイリストおよびプレイリストに対応したＶＯＢの管理情報を解析し、プレゼンテーション処理部１２０８に対象となるＡＶデータの再生を指示する。また、管理情報処理部１２０７は、プレゼンテーション処理部２０８より基準時刻情報を受け取り、時刻情報に基づいてプレゼンテーション処理部１２０８にＡＶデータ再生の停止指示を行い、また、プログラム処理部１２０６に対してプログラム実行タイミングを示すイベントを生成する。

プレゼンテーション処理部１２０８は、映像、音声、字幕／イメージ（静止画）の夫々に対応するデコーダを持ち、管理情報処理部１２０７からの指示に従い、ＡＶデータのデコードおよび出力を行う。映像データ、字幕／イメージの場合は、デコード後に夫々の専用プレーン、ビデオプレーン１２１０およびイメージプレーン１２０９に描画され、合成処理部１２１１によって映像の合成処理が行われＴＶなどの表示デバイスへ出力される。

マルチアングル再生やダイジェスト再生時には、ユーザから要求された可変速再生あるいは逆再生動作をプレゼンテーション処理部１２０８が解釈し、アングル切替えポイントなどの情報を管理情報処理部１２０７に通知する。管理情報処理部１２０７は、再生するクリップのフレーム遅延情報に基づいて、再生時のフレーム遅延を決定し、プレゼンテーション処理部に通知する。

（実施の形態６）
さらに、上記各実施の形態で示した多重化方法およびデータ再生方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図２１は、上記各実施の形態の多重化方法およびデータ再生方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図２１ (b) は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図２１ (a) は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周から内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図２１ (c) は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。多重化方法およびデータ再生方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより多重化方法およびデータ再生方法を実現する多重化方法およびデータ再生方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

本発明にかかるデータ再生装置およびデータ再生方法は、逆再生などの特殊再生機能を備える機器全般に適用することができ、MPEG-4 AVCのストリームを多重化したパッケージメディアの再生において特に有効である。

本発明の実施の形態１の多重化装置のブロック図 本発明の実施の形態１の多重化装置の動作を示すフローチャート RAUのサイズ情報の格納例を示す図 RAU長に対する制約方法の説明図 本発明の実施の形態２のデータ再生装置のブロック図 本発明の実施の形態２のデータ再生装置の動作を示すフローチャート 本発明の実施の形態２のデータ再生装置の動作例を示す図 従来のデータ再生装置の課題について示す説明図 従来の第２のデータ再生装置の動作を示すフローチャート 本発明の実施の形態３のデータ再生装置のブロック図 本発明の実施の形態３のデータ再生装置の動作を示すフローチャート ＨＤ−ＤＶＤのデータ階層図 ＨＤ−ＤＶＤ上の論理空間の構成図 ＶＯＢ情報ファイル構成図 タイムマップの説明図 プレイリストファイルの構成図 プレイリストに対応するプログラムファイルの構成図 ＢＤディスク全体管理情報ファイルの構成図 ＨＤ−ＤＶＤプレーヤの概要ブロック図 グローバルイベントハンドラを記録するファイルの構成図 本発明の多重化方法および逆多重化方法を実現するためのプログラムを記録した記録媒体 MPEG2のストリーム構造を示す図 MPEG2のGOP構造を示す図 MPEG-4 AVCのストリーム構造を示す図 RAU長の長いRAUにおける課題の説明図 従来のデータ再生装置のブロック図 従来のデータ再生装置の動作を示すフローチャート

符号の説明

101 読み出し部
102 管理情報分離解析部
103 逆再生分割命令部
104、202 取得命令部
105 符号化ピクチャ・バッファ
106 復号部
107、204 表示部
201 逆再用一括命令部
203 復号ピクチャ・バッファ
401 ＲＡＵ制約設定部
402 符号化部
403 メモリ
404 管理情報作成部
405 多重化部
2000、2001 データ再生装置
4000 多重化装置

Claims (11)

1. 動画像を符号化して管理情報とともに多重化する多重化方法であって、
   符号化ストリームにおけるランダムアクセス単位（RAU：Random Access Unit）の作成条件を決定する作成条件決定ステップと、
   前記決定された作成条件を満たす、１以上の前記ランダムアクセス単位から構成される符号化ストリームを生成する符号化ステップと、
   前記符号化ストリームにおけるピクチャのデータにアクセスするための情報を含んだ管理情報を作成する管理情報作成ステップと、
   前記符号化ストリームと前記管理情報を多重化する多重化ステップと、
   を備え、
   前記作成条件決定ステップは、前記ランダムアクセス単位を構成するピクチャの平均ビットレート（RAUレート）、前記ランダムアクセス単位を構成するピクチャの再生時間長の総和（RAU長）、および、前記ランダムアクセス単位を構成するピクチャのサイズの総和（RAUサイズ）に基づいて、ランダムアクセス単位の前記作成条件を決定することを特徴とする多重化方法。
2. 前記作成条件決定ステップは、前記RAUレートが所定の値より高いかどうかに基づいて、前記RAU長の上限値を切り替えることを特徴とする請求項１記載の多重化方法。
3. 前記作成条件決定ステップは、前記RAU長が予め定められた値を超えないように前記作成条件を決定することを特徴とする請求項２記載の多重化方法。
4. 前記作成条件決定ステップは、前記RAUサイズが予め定められた値を超えないように前記作成条件を決定することを特徴とする請求項２記載の多重化方法。
5. 前記予め定められた値は、請求項１〜４のいずれか１項に記載の多重化方法により生成された多重化データを再生するデータ再生装置において、前記多重化データに格納された符号化データを復号する際の、符号化ピクチャ格納用のバッファサイズと同一であることを特徴とする請求項４記載の多重化方法。
6. 請求項１〜４のいずれか１項に記載の多重化方法により生成された多重化データにおいて、符号化データがパケット化されて格納されている際に、前記多重化データを再生するデータ再生装置において前記パケット列を読み出すためのバッファのサイズが、前記予め定められた値と同一であることを特徴とする請求項４記載の多重化方法。
7. 動画像を符号化して管理情報とともに多重化する多重化装置であって、
   符号化ストリームにおけるランダムアクセス単位（RAU：Random Access Unit）の作成条件を決定する作成条件決定手段と、
   前記決定された作成条件を満たす、１以上の前記ランダムアクセス単位から構成される符号化ストリームを生成する符号化手段と、
   前記符号化ストリームにおけるピクチャのデータにアクセスするための情報を含んだ管理情報を作成する管理情報作成手段と、
   前記符号化ストリームと前記管理情報を多重化する多重化手段と、
   を備え、
   前記作成条件決定手段は、前記ランダムアクセス単位を構成するピクチャの平均ビットレート（RAUレート）、前記ランダムアクセス単位を構成するピクチャの再生時間長の総和（RAU長）、および、前記ランダムアクセス単位を構成するピクチャのサイズの総和（RAUサイズ）に基づいて、ランダムアクセス単位の前記作成条件を決定することを特徴とする多重化装置。
8. 請求項１記載の多重化方法により生成された多重化データを再生するデータ再生方法であって、
   ユーザからの逆再生要求をうけて、逆再生の開始を指示する逆再生指示ステップと、
   前記多重化データから前記管理情報を分離して解析し、再生対象となるピクチャデータを分離するために必要なアクセス情報を取得する管理情報解析ステップと、
   管理情報解析ステップにおいて取得した前記アクセス情報に基づいて、前記多重化データから符号化ストリームを分離して、符号化ピクチャ・バッファに読み出す読出ステップと、
   前記読出された符号化ピクチャのデータを復号する復号ステップと、
   前記復号された復号画像を表示する表示ステップと、
   を備え、
   前記読み出しステップは、逆再生時には、ランダムアクセス単位で符号化ストリームの読み出しを行い、かつ、前記ランダムアクセス単位のデータをまとめて、前記符号化ピクチャ・バッファに読み出すことを特徴とするデータ再生方法。
9. １以上の前記ランダムアクセス単位から構成される符号化ストリームを多重化した多重化データを再生するデータ再生方法であって、
   ユーザからの逆再生要求をうけて、逆再生の開始を指示する逆再生指示ステップと、
   前記多重化データから前記管理情報を分離して解析し、再生対象となるピクチャデータを分離するために必要なアクセス情報を取得する管理情報解析ステップと、
   前記ランダムアクセス単位のサイズが、前記符号化ピクチャ・バッファのサイズ以下であるかどうか判定する判定ステップと、
   管理情報解析ステップにおいて取得した前記アクセス情報に基づいて、前記多重化データから符号化ストリームを分離して、符号化ピクチャ・バッファに読み出す読出ステップと、
   前記読出された符号化ピクチャのデータを復号する復号ステップと、
   前記復号された復号画像を表示する表示ステップと、
   を備え、
   前記判定ステップは、前記管理情報、あるいは符号化ストリーム内の情報、あるいはアプリケーション規格などにおいて予め定められた規定に基づいて判定を行い、
   前記読み出しステップは、逆再生時には、ランダムアクセス単位で符号化ストリームの読み出しを行い、前記判定ステップにおいて、前記ランダムアクセス単位のサイズが前記符号化ピクチャ・バッファのサイズ以下であると判定された際には、前記ランダムアクセス単位のデータをまとめて前記符号化ピクチャ・バッファに読み出し、前記符号化ピクチャ・バッファのサイズ以下でないと判定された際には、前記ランダムアクセス単位のピクチャデータを分割して読み出すことを特徴とするデータ再生方法。
10. 請求項1記載の多重化方法により生成された多重化データを記録する記録媒体であって、
    上記記録媒体は、
    動画像を符号化して管理情報とともに多重化する多重化方法であって、
    符号化ストリームにおけるランダムアクセス単位（RAU：Random Access Unit）の作成条件を決定する作成条件決定ステップと、
    前記決定された作成条件を満たす、１以上の前記ランダムアクセス単位から構成される符号化ストリームを生成する符号化ステップと、
    前記符号化ストリームにおけるピクチャのデータにアクセスするための情報を含んだ管理情報を作成する管理情報作成ステップと、
    前記符号化ストリームと前記管理情報を多重化する多重化ステップと、
    を備え、
    前記作成条件決定ステップは、前記ランダムアクセス単位を構成するピクチャの平均ビットレート（RAUレート）、前記ランダムアクセス単位を構成するピクチャの再生時間長の総和（RAU長）、および、前記ランダムアクセス単位を構成するピクチャのサイズの総和（RAUサイズ）に基づいて、ランダムアクセス単位の前記作成条件を決定することを特徴とする多重化方法により多重化されたデータを、請求項１記載の多重化方法で多重化されたことを示す情報とともに記録することを特徴とする記録媒体。
11. コンピュータにより請求項８記載のデータ再生方法を行うためのプログラムであって、
    上記プログラムはコンピュータに、
    請求項１記載の多重化方法により生成された多重化データを再生するデータ再生方法であって、
    ユーザからの逆再生要求をうけて、逆再生の開始を指示する逆再生指示ステップと、
    前記多重化データから前記管理情報を分離して解析し、再生対象となるピクチャデータを分離するために必要なアクセス情報を取得する管理情報解析ステップと、
    管理情報解析ステップにおいて取得した前記アクセス情報に基づいて、前記多重化データから符号化ストリームを分離して、符号化ピクチャ・バッファに読み出す読出ステップと、
    前記読出された符号化ピクチャのデータを復号する復号ステップと、
    前記復号された復号画像を表示する表示ステップと、
    を備え、
    前記読み出しステップは、逆再生時には、ランダムアクセス単位で符号化ストリームの読み出しを行い、かつ、前記ランダムアクセス単位のデータをまとめて、前記符号化ピクチャ・バッファに読み出すことを特徴とするデータ再生方法
    を、行わせることを特徴とするプログラム。

Images