JP2007336578A - 多重化装置および逆多重化装置 - Google Patents

Abstract

【課題】動画像を見るユーザに対して不快感を与えない多重化装置を提供する。
【解決手段】多重化装置は、１つ又は複数の符号化ストリームに含まれるアクセス単位のうち何れか２つのアクセス単位が連続的に復号される際、その両アクセス単位の接続点でピクチャ間にギャップが生じないように、その１つ又は複数の符号化ストリームを生成する符号化部（４２）と、符号化部（４２）で生成された１つ又は複数の符号化ストリームと、他の情報とを多重化する多重化部（１８）とを備える。
【選択図】図２

Description

本発明は、符号化された複数のピクチャを含む符号化ストリームを他の情報と多重化して多重化データを生成する多重化装置と、その多重化データを逆多重化する逆多重化装置に関し、特に、マルチアングル再生などの特殊再生に対応した多重化装置及び逆多重化装置に関する。

近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４Ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４Ｋｂｉｔ／ｓ〜１．５Ｍｂｉｔｓ／ｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ：Integrated Services Digital Network）によってすでに実用化されているが、テレビ
・カメラの映像をそのままＩＳＤＮで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）で勧告されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、ＭＰＥＧ(Moving Picture Experts Group)とは、ＩＳＯ／ＩＥＣ（国際標準化機構 国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格では対象とする品質を伝送速度が主として約１．５Ｍｂｐｓで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号を２〜１５ＭｂｐｓでＴＶ放送品質を実現する。さらに現状では、ＭＰＥＧ−１，ＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１）によって、ＭＰＥＧ−１，ＭＰＥＧ−２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。その後、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔが共同でより高圧縮率の次世代画像符号化方式として、ＭＰＥＧ−４ ＡＶＣ(Advanced Video Coding)が標準化され、次世代
の光ディスク関連機器、あるいは携帯端末向けの放送などで使用される見込みである。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。

参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方もしくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照画像（参照ピクチャ）は符号化および復号化の基本単位であるブロックごとに指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。ただし、これらのピクチャを符号化および復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。

Ｐピクチャ又はＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照フレームの画素値から予測するのではなく、ピクチャ内の各部の動き量（以下、これを動きベクトルと呼ぶ）を検出し、当該動き量を考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測残差を符号化することによりデータ量を減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。動きベクトルはマクロブロック単位で検出されており、具体的には、符号化対象ピクチャ側のマクロブロックを固定しておき、参照ピクチャ側のマクロブロックを探索範囲内で移動させ、基準ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。

図２０Ａおよび図２０Ｂは、従来のＭＰＥＧ−２のストリームの構成図である。
図２０Ｂに示すようにＭＰＥＧ−２のストリームは以下のような階層構造を有している。ストリームは複数のＧＯＰ(Group Of Picture)から構成されており、これを符号化処理の基本単位とすることで動画像の編集やランダムアクセスが可能になっている。ＧＯＰは、複数のピクチャから構成され、各ピクチャには、Ｉピクチャ、Ｐピクチャ又はＢピクチャがある。ストリーム、ＧＯＰおよびピクチャはさらにそれぞれの単位の区切りを示す同期信号(sync)と当該単位に共通のデータであるヘッダ(header)から構成されている。

図２１は、ＭＰＥＧ−２で使用されているピクチャ間の予測構造例である。
同図で斜線をつけたピクチャは他のピクチャから参照されるピクチャである。図２１の（ａ）に示すように、ＭＰＥＧ−２ではＰピクチャ（Ｐ０、Ｐ６、Ｐ９、Ｐ１２、Ｐ１５）は表示時刻が直前１枚のＩピクチャもしくはＰピクチャのみ参照した予測符号化が可能である。また、Ｂピクチャ（Ｂ１、Ｂ２、Ｂ４、Ｂ５、Ｂ７、Ｂ８、Ｂ１０、Ｂ１１、Ｂ１３、Ｂ１４、Ｂ１６、Ｂ１７、Ｂ１９、Ｂ２０）は表示時刻が直前１枚と直後１枚のＩピクチャもしくはＰピクチャを参照した予測符号化が可能である。更に、ストリームに配置される順序も決まっており、ＩピクチャおよびＰピクチャは表示時刻の順序、Ｂピクチャは直後に表示されるＩピクチャもしくはＰピクチャの直後に配置される。ＧＯＰ構造としては、例えば、図２１の（ｂ）に示すように、Ｉ３からＢ１４までのピクチャをまとめて１つのＧＯＰとすることができる。

図２２Ａおよび図２２Ｂは、ＭＰＥＧ−２で使用されているＧＯＰ構造における、復号順と表示順、および、復号されてから表示されるまでの遅延を示す。

ここで、ＭＰＥＧ−２は固定フレームレートであり、Ｂピクチャは復号されると同時に表示される。図２２Ａおよび図２２Ｂに示されるように、ＭＰＥＧ−２では、ＧＯＰの先頭ピクチャを復号してから、ＧＯＰにおける表示順での先頭ピクチャを表示するまでの遅延は、最大で１フレーム、あるいは２フィールドの表示間隔となる。以降、ＧＯＰの先頭ピクチャを復号してからＧＯＰの先頭ピクチャを表示するまでの遅延をフレーム遅延と呼び、１フレーム（すなわち、２フィールド）を単位としてカウントする。ＤＶＤ(Digital Versatile Disk)などの光ディスク機器ではＭＰＥＧ−２を使用するが、通常、フレーム遅延は１固定として運用されている。なお、２４Ｈｚで符号化されたストリームをプルダウンして６０Ｈｚで表示する際などには遅延量は変化するが、符号化ストリームのフレームレートに従って表示する場合を元に遅延量を決定できるため、以下では符号化ストリームのフレームレートに従って表示するケースについて説明する。

図２３は、ＭＰＥＧ−４ ＡＶＣのストリームの構成図である。ＭＰＥＧ−４ ＡＶＣでは、ＧＯＰに相当する概念は無いが他のピクチャに依存せずに復号化できる特別なピクチャ単位でデータを分割すればＧＯＰに相当するランダムアクセス可能な単位が構成できるので、これをランダムアクセス単位ＲＡＵと呼ぶことにする。

ＭＰＥＧ−４ ＡＶＣにおけるＩピクチャには、ＩＤＲ(Instantaneous Decoder Refresh)ピクチャと、ＩＤＲピクチャではないＩピクチャの２種類がある。ＩＤＲピクチャとは、復号化順でＩＤＲピクチャより後の全ピクチャを、復号化順でＩＤＲピクチャより前のピクチャを参照することなしに復号化することのできるＩピクチャであり、ＭＰＥＧ−２のｃｌｏｓｅｄ ＧＯＰの先頭Ｉピクチャに相当する。ＩＤＲではないＩピクチャにおいては、復号化順でＩピクチャより後のピクチャが、復号化順で当該Ｉピクチャより前のピクチャを参照してもよい。ＩＤＲピクチャでないＩピクチャをランダムアクセス単位ＲＡＵの先頭に配置し、ランダムアクセス単位ＲＡＵにおけるピクチャの予測構造を制約することにより、ＭＰＥＧ−２のｏｐｅｎ ＧＯＰのような構造を構成することもできる。

図２４は、ＭＰＥＧ−４ ＡＶＣにおけるピクチャ間の予測構造例である。
ＭＰＥＧ−４ ＡＶＣでは、予測構造が柔軟であるため、例えば、Ｐ２がＩ８を参照することが可能である。図２４の例では、まずＩ８とＰ２を復号してから表示を開始するため、フレーム遅延は２となる。このように、予測構造が柔軟であるため、フレーム遅延についてもＭＰＥＧ−２のように最大１に制限されるということはなく、予測構造によってフレーム遅延が異なる。従って、フレーム遅延を１固定として再生することができない。

ＤＶＤなどのパッケージメディアでは、同一ストリームの特定部分を幾つか選択的に再生する、あるいは、異なるストリームを連続的に再生する、また、アングルの異なる複数のストリームを切替えながら再生する（マルチアングル再生）、などの特殊再生機能を有する。これらの機能を実現する際には、ＭＰＥＧ−２のＧＯＰや、ＭＰＥＧ−４ ＡＶＣのランダムアクセス単位ＲＡＵが基本となる。

図２５は、ＭＰＥＧ−２において、再生するストリームを切替える例を示す。図２５の（ａ）、（ｂ）、（ｃ）は、それぞれ異なるストリームであるストリーム１、ストリーム２、ストリーム３に含まれるＧＯＰを示す。ここで、ＧＯＰ１−１の次にＧＯＰ２−１を復号することにより、再生するストリームをストリーム１からストリーム２に切替えるとする。ＧＯＰ１−１とＧＯＰ２−１は、共にフレーム遅延が１であるため、表示の際にギャップが発生することなく、固定フレームレートを保ちながら再生することができる。同様に、ストリーム１からストリーム３への切替えも、ＧＯＰ１−１の次にＧＯＰ３−１を復号することにより実現できる。

従来、このような動画像の符号化及び多重化や、復号化及び逆多重化に関連した様々な技術が提案されている（例えば、特許文献１参照）。

図２６は、動画像データを符号化して多重化する従来の多重化装置の動作を示すフローチャートである。

まず、多重化装置は、ステップＳ１０１とステップＳ１０２において、１以上のストリームを符号化する。次に、多重化装置は、ステップＳ１０３において、ステップＳ１０１で作成したストリームにアクセスするための情報、あるいはマルチアングル再生などの特殊再生時に再生されるデータを示す情報などを含む管理情報を作成し、ステップＳ１０４に進む。ステップＳ１０４では、多重化装置は、管理情報とストリームデータとを多重化して、多重化データを出力する。

図２７は、従来の多重化装置の構成を示すブロック図である。
多重化装置８００は、符号化部１１、メモリ１２、管理情報作成部１３、および多重化部１４を備える。

符号化部１１は、入力された動画像データＶｉｎを符号化して符号化データｓｔｒＩｎをメモリ１２に格納する。

管理情報作成部１３は、メモリ１２から符号化データを読出しデータｓｔｒＯｕｔ１として読み出し、管理情報ｂａｓｅを生成し、多重化部１４に出力する。なお、管理情報ｂａｓｅには、フレーム遅延に関する情報は含まれない。

多重化部１４は、管理情報ｂａｓｅと、メモリ１２からの読出しデータｓｔｒＯｕｔ２と、ユーザの設定情報などのストリームとは別に取得される付加情報ａｄＩｎｆとを多重化し、多重化データＭｕｘＤａｔを出力する。ここで、付加情報ａｄＩｎｆについては、不要である際には使用しなくてもよい。また、読出しデータｓｔｒＯｕｔ２は、ＭＰＥＧ−２ ＴＳ(Transport Stream)やＰＳ(Program Stream)などの方式、あるいはアプリケーションで規定された方式でパケット化してから多重化してもよい。例えば、ＢＤ(Blu-ray
Disc)規格では、読出しデータｓｔｒＯｕｔ２は、ソースパケット(Source Packet)と呼
ばれる、ＭＰＥＧ−２ ＴＳパケットに４バイトのヘッダを付加した方式により多重化してから格納される。

図２８Ａは、多重化装置８００から出力される多重化データの構造例を示す。
図２８Ａに示すように、多重化データには、管理情報と１以上の符号化ストリームが格納される。さらに、個々のストリームを１以上のクリップとして扱うことにより、ダイジェスト再生やマルチアングル再生など多様な再生方法が実現できる。ここで、クリップとは、同一ストリームにおける１以上の連続したランダムアクセス単位ＲＡＵにおける、１以上の連続したピクチャを示し、クリップとストリームとは同一であってもよい。図２８Ｂと図２８Ｃに、再生例を示す。図２８Ｂでは、マルチアングル再生の例を示す。ストリーム１とストリームＮは異なるアングルの映像を格納しているとすると、ストリーム１のクリップ１−１の次に、アングルを切替えてストリームＮのクリップＮ−２を再生し、クリップＮ−２の再生終了後にストリーム１の再生に戻ることができる。図２８Ｃは、ダイジェスト再生の例を示す。ストリーム１において、クリップ１−１とクリップ１−Ｍを選択的に再生することにより、代表的なシーンを順に再生することなどが可能である。

図２９は、多重化データから符号化データを分離して再生する従来の逆多重化装置の動作を示すフローチャートである。

まず、逆多重化装置は、ステップＳ２０１において、多重化データから管理情報を分離して、再生するクリップに関する情報を取得し、ステップＳ２０４に進む。クリップに関する情報は、クリップの開始時刻あるいは終了時刻、および、クリップ内の符号化データへのアクセス情報などを含む。ステップＳ２０４とステップ２０５では、逆多重化装置は、クリップ内の最終ピクチャに達するまで、クリップ内のピクチャを順に復号、表示する。ここで、ユーザ動作などにより再生終了が指示された際には、指示が有効となった時点で再生を終了する。

図３０は、従来の逆多重化装置９００の構成を示すブロック図である。
逆多重化装置９００は、管理情報分離部２１、クリップ情報解析部２２、復号部２４、および表示部２６を備える。

管理情報分離部２１は、光ディスクなどの多重化データ記録媒体から多重化データＭｕｘＤａｔを読み出し、管理情報を解析して、ユーザの指示、あるいは予め定められた方法に従い再生するクリップを決定する。そして、管理情報分離部２１は、クリップ情報解析部２２に対して、決定されたクリップに関する情報であるクリップ情報Ｃｌｉｐを出力する。

クリップ情報解析部２２は、クリップを構成するピクチャへのアクセス情報ａｃｓを復号部２４に出力する。復号部２４は、アクセス情報ａｃｓに基づいて多重化データ記録媒体から映像データＶｄａｔを読み出して復号し、復号結果ｄｅｃＯｕｔを表示部２６に出力する。表示部２６は、表示時刻に達したピクチャから順に、復号結果を表示する。
特開２００３−１８５４９号公報

ところで、ＭＰＥＧ−４ ＡＶＣでは予測構造が柔軟であるため、クリップのフレーム遅延は可変となる。したがって、従来の逆多重化装置では、クリップのフレーム遅延を考慮せずにクリップを切替えていたため、フレーム遅延の異なるクリップの切替え時に、ピクチャの表示間隔にギャップが発生していた。

図３１は、フレーム遅延が１であるクリップからフレーム遅延が２であるクリップに切替える例を示す。

図３１の（ａ）は、フレーム遅延が１であるストリーム１のランダムアクセス単位ＲＡＵ１−１を示し、図３１の（ｂ）は、フレーム遅延が２であるストリーム２のランダムアクセス単位ＲＡＵ２−１を示す。ここで、ランダムアクセス単位ＲＡＵ１−１に続いてランダムアクセス単位ＲＡＵ２−１を再生する際の復号と表示のタイミングを示したのが図３１の（ｃ）である。

ランダムアクセス単位ＲＡＵ１−１はフレーム遅延が１であるため、ランダムアクセス単位ＲＡＵ１−１において表示順が最後であるピクチャＰ１５の表示時刻において、ランダムアクセス単位ＲＡＵ２−１の先頭ピクチャであるピクチャＩ８が復号される。しかしながら、ランダムアクセス単位ＲＡＵ２−１はフレーム遅延が２であるため、復号順で２番目のピクチャであるピクチャＰ２の復号時刻では、ランダムアクセス単位ＲＡＵ２−１のピクチャはまだ表示開始されない。従って、ピクチャＰ２の復号時刻において表示されるピクチャが存在せず、結果としてピクチャＰ１５とピクチャＢ０との間に表示間隔のギャップが発生する。同様に、ランダムアクセス単位ＲＡＵ２−１の後にランダムアクセス単位ＲＡＵ１−１を再生する際には、ピクチャを連続して表示するためには復号間隔にギャップが発生する。すなわち、表示間隔はオーバーラップする。以下、表示間隔のギャップとは、接続点においてフレーム遅延が増加、あるいは減少する両方のケースで、接続点における不連続が発生することを包含するものとする。

このように、従来の多重化装置及び逆多重化装置では、フレーム遅延の異なるクリップの切替わり部分において、固定フレームレートを保って表示することができないため、動画像を見るユーザに対して不快感を与えてしまうという課題があった。

そこで本発明は、かかる問題に鑑みてなされたものであって、マルチアングル再生などのような特殊再生時においても、ユーザに対して不快感を与えないように、符号化ストリームを他の情報とともに多重化して多重化データを生成する多重化装置と、その多重化データを逆多重化して符号化ストリームを再生する逆多重化装置とを提供することを目的とする。

上記目的を達成するために、本発明の多重化装置は、符号化された複数のピクチャをランダムアクセス可能なアクセス単位ごとに含んで構成される複数の符号化ストリームを、他の情報とともに多重化する多重化装置であって、切り替え元となる第１のアクセス単位から、前記複数の符号化ストリームにおいて再生開始時刻と再生終了時刻が同一であるアクセス単位の中から選択した切り替え先となる第２のアクセス単位へとアングルを切り替えて、あるいは同一アングルを連続的に復号する際、前記両アクセス単位のそれぞれにおいて、復号順で先頭のピクチャが復号されてから表示順で先頭のピクチャが表示されるまでの遅延量を等しくすることで、アングルの切り替えを行う２つのアクセス単位の接続点で表示されるピクチャ間にギャップ及びオーバーラップが生じないように、前記１つ又は複数の符号化ストリームを生成する符号化手段と、前記両アクセス単位をシームレスに接続することが可能であるか否かを示すフラグ、および、前記第２のアクセス単位は複数のアングルから選択可能であるか否かを示すフラグを含む前記他の情報と、前記符号化手段で生成された複数の符号化ストリームと、を多重化する多重化手段とを備えることを特徴とする。

また、上記目的を達成するために、本発明の多重化装置は、符号化された複数のピクチャをランダムアクセス可能なアクセス単位ごとに含んで構成される１つ又は複数の符号化ストリームを、他の情報とともに多重化する多重化装置であって、前記１つ又は複数の符号化ストリームに含まれる前記アクセス単位のうち何れか２つのアクセス単位が連続的に復号される際、前記両アクセス単位の接続点でピクチャ間にギャップが生じないように、前記１つ又は複数の符号化ストリームを生成する符号化手段と、前記符号化手段で生成された１つ又は複数の符号化ストリームと前記他の情報とを多重化する多重化手段とを備えることを特徴とする。例えば、前記符号化手段は、前記両アクセス単位のそれぞれにおいて、復号順で先頭のピクチャが復号されてから表示順で先頭のピクチャが表示されるまでの遅延量が等しくなるように、前記１つ又は複数の符号化ストリームを生成する。

これにより、特殊再生の対象となる２つのアクセス単位（例えば、クリップなど）の遅延量（フレーム遅延）が等しくなるように符号化ストリームが生成されているため、これらのアクセス単位が連続的に復号される際には、それらのアクセス単位の接続点でピクチャ間にギャップが生ずることなく、フレームレートが一定になる。つまり、特殊再生時においてこれらのアクセス単位はシームレス接続される。その結果、それらのアクセス単位に基づく動画像を見るユーザに対して従来与えていた不快感をなくすことができる。ここで、例えば、アプリケーションプログラムの運用規格によって遅延量が定められているときには、符号化ストリームは、上記２つのアクセス単位の遅延量がその定められた遅延量となるように生成される。

また、前記多重化装置は、さらに、前記遅延量に関する内容の遅延情報を生成する遅延情報生成手段を備え、前記多重化手段は、前記遅延情報生成手段で生成された遅延情報を、前記他の情報として多重化することを特徴としてもよい。例えば、前記遅延情報生成手段は、前記遅延量を示す前記遅延情報を生成する。または、前記遅延情報生成手段は、前記両アクセス単位をシームレスに接続することが可能であることを示すフラグを前記遅延情報として生成する。

これにより、逆多重化装置は、遅延情報（フレーム遅延情報）が遅延量を示すときには、その遅延情報により２つのアクセス単位に対する遅延量を容易に把握することができ、遅延情報がフラグであるときには、逆多重化装置は、２つのアクセス単位の遅延量が等しいことをそのフラグによって容易に把握することができる。その結果、逆多重化装置に対してより適切な逆多重化処理を実行させることができる。

また、前記符号化手段は、前記複数の符号化ストリームに含まれる前記アクセス単位のうち、アングルの異なる２つのアクセス単位の接続点でピクチャ間にギャップが生じないように、前記１つ又は複数の符号化ストリームを生成することを特徴としてもよい。

これにより、２つのアクセス単位のアングルが異なっているため、これらのアクセス単位が連続的に復号される際には、上述と同様、それらのアクセス単位の接続点でピクチャ間にギャップが生ずることなく、フレームレートが一定になる。つまり、これらのアクセス単位はシームレス・マルチアングルとなる。その結果、それらのアングルの異なるアクセス単位に基づく動画像を見るユーザに対しても、従来与えていた不快感をなくすことができる。

また、上記目的を達成するために、本発明の逆多重化装置は、多重化データを逆多重化する逆多重化装置であって、前記多重化データは、符号化された複数のピクチャをランダムアクセス可能なアクセス単位ごとに含んで構成される１つ又は複数の符号化ストリームと、前記アクセス単位のうちの何れか２つのアクセス単位において、復号順で先頭のピクチャが復号されてから表示順で先頭のピクチャが表示されるまでの遅延量に関する内容の遅延情報とを有し、前記逆多重化装置は、前記多重化データから前記遅延情報を分離する遅延情報分離手段と、前記遅延情報分離手段により分離された遅延情報に従って、前記両アクセス単位を連続的に復号して再生する再生手段とを備えることを特徴とする。

これにより、例えば、特殊再生の対象となる２つのアクセス単位（例えば、クリップなど）の遅延量が等しくなるように符号化ストリームが生成されているときには、特殊再生時においてその２つのアクセス単位が連続的に復号されて再生されることにより、それらのアクセス単位の接続点でピクチャ間にギャップが生ずることなく、フレームレートを一定にすることができる。つまり、これらのアクセス単位をシームレス接続することができる。その結果、それらのアクセス単位に基づく動画像を見るユーザに対して従来与えていた不快感をなくすことができる。また、例えば、遅延情報（フレーム遅延情報）が遅延量を示すときには、その遅延情報により２つのアクセス単位の遅延量を容易に把握することができ、遅延情報がフラグであるときには、２つのアクセス単位の遅延量が等しいことをそのフラグによって容易に把握することができる。その結果、より適切な逆多重化処理を行うことができる。

また、上記目的を達成するために、本発明の多重化方法は、動画像を符号化して管理情報とともに多重化する多重化方法であって、１以上の符号化ストリームを生成する符号化ステップと、前記符号化ストリームにおけるフレーム遅延を取得するステップと、前記取得したフレーム遅延を示す情報を含む管理情報を作成する管理情報作成ステップと、前記１以上の符号化ストリームと前記管理情報を多重化する多重化ステップとを含み、前記符号化ストリームは、１以上のランダムアクセス単位から構成され、前記フレーム遅延は、前記ランダムアクセス単位において、復号順で先頭のピクチャを復号してから、表示順で先頭のピクチャを表示するまでの遅延を示し、前記符号化ストリームにおける前記フレーム遅延は可変であることを特徴とする。

また、前記管理情報は、前記１以上の符号化ストリームの前記フレーム遅延を含むことを特徴としてもよい。

また、前記管理情報は、前記１以上の符号化ストリームにおける前記フレーム遅延の最大値を含むことを特徴としてもよい。

また、前記管理情報は、前記１以上の符号化ストリームにおける前記フレーム遅延が同一である際に、前記１以上の符号化ストリームに共通のフレーム遅延として、前記同一のフレーム遅延を含むことを特徴としてもよい。

また、前記管理情報は、前記１以上のランダムアクセス単位をまとめた再生単位毎の、前記フレーム遅延を含むことを特徴としてもよい。

さらに、本発明の逆多重化方法は、前記多重化方法により多重化された多重化データを分離して再生する逆多重化方法であって、互いに異なる符号化ストリームに含まれる前記ランダムアクセス単位を連続して再生する際に、再生する前記ランダムアクセス単位が属する符号化ストリームのフレーム遅延を取得するフレーム遅延取得ステップと、前記取得したフレーム遅延に基づいて、再生時のフレーム遅延を決定するフレーム遅延決定ステップと、前記決定されたフレーム遅延に従って前記ランダムアクセス単位のピクチャを再生する再生ステップとを含むことを特徴とする。

また、前記フレーム遅延決定ステップは、直前に再生した前記ランダムアクセス単位のフレーム遅延と同一のフレーム遅延により、後続の前記ランダムアクセス単位を再生することを特徴としてもよい。

なお、本発明は、上記多重化装置及び逆多重化装置や、多重化方法及び逆多重化方法だけでなく、その多重化装置及び逆多重化装置のためのプログラム、及びそのプログラムを格納する記憶媒体、その多重化装置により生成された多重化データとしても実現することができる。

以上のように、本発明によれば、特殊再生時においても、固定フレームレートでの表示を保証することができるため、ユーザに対する不快感をなくすことができる。また、特にパッケージメディアの再生品質を高めることができ、その実用的価値が高い。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における多重化装置の動作を示すフローチャートである。本多重化装置では、多重化データに格納される符号化ストリームのフレーム遅延情報を示すことのできる多重化データを出力する。

まず、多重化装置は、ステップＳ３０１において、ＭＰＥＧ−４ ＡＶＣの符号化ストリームを生成する。ステップＳ３０２では、多重化装置は、ステップＳ３０１において生成した符号化ストリームのフレーム遅延を取得し、ステップＳ３０３に進む。ステップＳ３０３では、多重化装置は、多重化データに格納する全ての符号化ストリームを生成し終えたかどうか判定し、生成が終了するまでステップＳ３０１とステップＳ３０２の処理を繰り返す。ステップＳ３０４では、多重化装置は、多重化データの管理情報として格納されるフレーム遅延情報を作成し、ステップＳ３０５に進む。ステップＳ３０５では、多重化装置は、従来の多重化装置により生成される情報に加えて、フレーム遅延情報を示す管理情報を作成する。最後に、多重化装置は、ステップＳ３０６において、ステップＳ３０１で生成した符号化ストリームとステップＳ３０５で作成した管理情報とを多重化して多重化データを出力する。

図２は、本発明の実施の形態１における多重化装置の構成を示すブロック図である。
多重化装置１００Ａは、符号化部１５、メモリ１２、管理情報作成部１６、フレーム遅延取得部１７、および多重化部１８を備える。

なお、本実施の形態の多重化装置１００Ａが有する上記各構成要素のうち、図２７に示す従来の多重化装置が有する構成要素と同一のものに対しては、上記従来の多重化装置の構成要素の符号と同一の符号を付して示し、詳細な説明は省略する。

符号化部１５は、入力された動画像データＶｉｎを符号化して符号化データｓｔｒＩｎをメモリ１２に格納するとともに、符号化ストリームｓｔｒＩｎのフレーム遅延ｆｒＤｌｙをフレーム遅延取得部１７に出力する。

フレーム遅延取得部１７は、管理情報においてフレーム遅延の情報として格納される遅延情報ｄｌｙＩｎｆを作成し、管理情報作成部１６に出力する。

管理情報作成部１６は、メモリ１２から読出しデータｓｔｒＯｕｔ１として読み出した符号化データｓｔｒＩｎの解析結果、および遅延情報ｄｌｙＩｎｆとから管理情報ｂａｓｅを生成し、多重化部１８に出力する。

多重化部１８は、管理情報ｂａｓｅと、メモリ１２からの読み出しデータｓｔｒＯｕｔ２と、ユーザの設定情報など符号化データとは別に取得される付加情報ａｄＩｎｆとを多重化し、多重化データＭｕｘＤａｔを出力する。なお、符号化部１５において設定する符号化時のフレーム遅延を、予め定められた値以下に制限することにしてもよい。

図３Ａ〜図３Ｅは、多重化装置１００Ａが出力する多重化データの構造例を示す。
多重化データには、図３Ａに示すように、多重化データに格納されるクリップのフレーム遅延情報が示される。ここでは、多重化データにＮ個のクリップが格納され、それぞれのフレーム遅延はｄｅｌａｙ１からｄｅｌａｙＮである。なお、各クリップは、同一符号化ストリームにおける異なる区間を示す単位であってもよいし、それぞれ異なる符号化ストリームに属するクリップであってもよい。

フレーム遅延情報の格納例を図３Ｂから図３Ｄに示す。図３Ｂでは、各クリップのフレーム遅延はテーブル情報として格納される。図３Ｃでは、クリップのフレーム遅延の最大値が示される。最大値としては、多重化データに格納される全クリップにおけるフレーム遅延の最大値を示してもよいし、プレイリストなどに従い連続的に再生されるクリップにおけるフレーム遅延の最大値を示してもよい。あるいは、予め規定された値を最大値としてもよい。図３Ｄでは、各クリップにおいて共通に使用されるフレーム遅延の値が示される。各クリップのフレーム遅延が一定である際には、その値を示してもよいし、各クリップのフレーム遅延が一定でない場合には、再生時に使用されるフレーム遅延を示してもよい。図３Ｅでは、各クリップ間でフレーム遅延が同一であるかどうかが示される。例えば、フレーム遅延が同一であるかどうかを示すフラグ情報が格納される。なお、図３Ｂから図３Ｄに示す情報を組み合わせて使用してもよい。

なお、特定のクリップについてのみフレーム遅延情報を示すことにしてもよい。まず、クリップの再生方法を基準として、マルチアングル再生やダイジェスト再生などに使用されるクリップについてのみフレーム遅延情報を示すことができる。また、クリップの先頭ランダムアクセス単位の属性を基準として設定することもできる。例えば、アングルの切替えはＩＤＲピクチャにおいて行うなどと規定される際には、クリップの先頭ランダムアクセス単位がＩＤＲピクチャであるクリップについてのみ、フレーム遅延情報を示してもよい。あるいは、クリップ間がシームレスに接続されることが保証されたダイジェスト再生時にのみ、フレーム遅延情報を示してもよい。

また、各クリップのフレーム遅延情報を直接示さずに、多重化データに格納される符号化ストリームのフレーム遅延情報を示してもよい。このとき、各クリップのフレーム遅延は、クリップが属する符号化ストリームと、符号化ストリームのフレーム遅延を示す情報とを関連付けることにより示すことができる。本方法は、同一符号化ストリームにおける各クリップのフレーム遅延は一定である際に用いてもよいし、同一符号化ストリームに含まれるクリップのフレーム遅延の最大値を示すことにより使用してもよい。

なお、ＢＤ(Blu-Ray Disc)やＨＤ(High Definition)−ＤＶＤなどのアプリケーション
規格においてフレーム遅延を同一にすること、あるいは、フレーム遅延の最大値や規定値が定められている際には、フレーム遅延の情報はそれらのアプリケーション規格により示されるため、管理情報として格納しなくてもよい。

また、ＴＳやＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｍｉｓｓｉｏｎ Ｐｒｏｔｏｃｏｌ）などのプロトコルを使用してネットワークにより多重化データを受信するような場合には、再生制御情報としてフレーム遅延情報を取得してもよい。例えば、再生制御情報の通知にＳＤＰ(Session Description Protocol)を使うような場合には、ＳＤＰにおいてフレーム遅延情報を記述できる。あるいは、ＳＭＩＬ(Synchronized Multimedia Integration Language)などのシーン記述言語においてフレーム遅延情報を示すことにより、再生端末にフレーム遅延を通知してもよい。

また、フレーム遅延情報はランダムアクセス単位毎に示してもよい。さらに、ランダムアクセス単位ＲＡＵにおける先頭ピクチャに付加するなどして、符号化ストリーム内にフレーム遅延情報を示してもよい。

このように、本多重化装置が出力する多重化データでは、フレーム遅延の情報が管理情報により示されるため、多重化データを再生する際にフレーム遅延を調整することにより、クリップの切替え時において表示のギャップを発生させることなく再生することができる。

（実施の形態２）
図４は、本発明の実施の形態２における多重化装置の動作を示すフローチャートである。

まず、多重化装置は、ステップＳ４０１において、多重化データに格納する符号化ストリームにおいて共通に使用されるフレーム遅延の値を設定する。ステップＳ４０２では、多重化装置は、ステップＳ４０１において設定されたフレーム遅延に基づいてＭＰＥＧ−４ ＡＶＣの符号化ストリームを符号化する。ステップＳ４０３では、多重化装置は、多重化データに格納する全ての符号化ストリームを生成し終えたかどうか判定し、生成が終了するまでステップＳ４０２の処理を繰り返す。ステップＳ４０４では、多重化装置は、多重化データの管理情報として格納されるフレーム遅延情報を作成し、ステップＳ４０５に進む。ステップＳ４０５では、多重化装置は、従来の多重化装置により生成される情報に加えて、フレーム遅延情報を示す管理情報を作成する。最後に、ステップＳ４０６において、多重化装置は、ステップＳ４０１で生成した符号化ストリームとステップＳ４０５で作成した管理情報とを多重化して多重化データを出力する。

図５は、本発明の実施の形態２における多重化装置の構成を示すブロック図である。
多重化装置１００Ｂは、フレーム遅延決定部４１、符号化部４２、メモリ１２、管理情報作成部１６、および多重化部１８を備える。

なお、本実施の形態の多重化装置１００Ｂが有する上記各構成要素のうち、図２７に示す従来の多重化装置が有する構成要素と同一のものに対しては、上記従来の多重化装置の構成要素の符号と同一の符号を付して示し、詳細な説明は省略する。

フレーム遅延決定部４１は、符号化ストリームのフレーム遅延を決定し、遅延情報ｄｌｙＩｎｆを符号化部４２と管理情報作成部１６に出力する。ここで決定されるフレーム遅延は、アプリケーション規格などにより予め定められた値であってもよいし、多重化装置あるいはユーザにより設定されるものでもよい。

符号化部４２は、遅延情報ｄｌｙＩｎｆに示されるフレーム遅延に基づいて、入力された動画像データＶｉｎを符号化して符号化データｓｔｒＩｎをメモリ１２に格納する。つまり、このような符号化部４２は、１つ又は複数の符号化データｓｔｒＩｎに含まれるアクセス単位（符号化データ自体やクリップ）のうち特定の２つのアクセス単位が連続的に復号される際、それらのアクセス単位の接続点でピクチャ間にギャップが生じないように、アクセス単位のフレーム遅延を揃えて、その１つ又は複数の符号化データｓｔｒＩｎを生成する。なお、上述の「復号される際、接続点でピクチャ間にギャップが生じないようにすることは」、ピクチャの表示間隔にギャップが生じないことを意味するのと同様に、ピクチャの復号間隔にオーバーラップが生じないことを意味する。

管理情報作成部１６は、メモリ１２から読出しデータｓｔｒＯｕｔ１として読み出した符号化データｓｔｒＩｎの解析結果、および遅延情報ｄｌｙＩｎｆとから管理情報ｂａｓｅを生成し、多重化部１８に出力する。

多重化部１８は、管理情報ｂａｓｅと、メモリ１２からの読み出しデータｓｔｒＯｕｔ２と、ユーザの設定情報など符号化データとは別に取得される付加情報ａｄＩｎｆとを多重化し、多重化データＭｕｘＤａｔを出力する。

なお、フレーム遅延がアプリケーション規格などにおいて予め規定されている際には、フレーム遅延決定部４１を除いて多重化装置１００Ｂを構成し、符号化部４２は固定のフレーム遅延に基づいて符号化処理を行うことにしてもよい。符号化ストリーム間のフレーム遅延が一定であれば、フレーム遅延情報が管理情報により示されなくとも再生時のフレーム遅延を決定することができるため、管理情報においてフレーム遅延情報を示さないことにしてもよい。

このように、本多重化装置が出力する多重化データでは、多重化データに格納される符号化ストリームにおけるフレーム遅延が一定であるため、各クリップにおけるフレーム遅延も一定となり、クリップの切替えが発生する際にも、再生開始時にフレーム遅延を調整することなしに、表示のギャップがない再生を実現することができる。

なお、上記各実施の形態において、フレーム遅延が可変である符号化方式であれば、ＭＰＥＧ−４ ＡＶＣ以外の符号化方式を用いてもよい。

また、シームレス接続やシームレス・マルチアングルなどで連続的に再生されるべきアクセス単位（符号化ストリームやクリップ）を対象に、フレーム遅延を一定にしてもよい。ここで、シームレス接続とは、同一又は互いに異なる符号化ストリームに含まれる複数のクリップをシームレスに接続することをいう。また、シームレス・マルチアングルとは、複数の符号化ストリームのそれぞれに含まれるアングルの異なるクリップをシームレスに接続してアングルを切り換えることをいう。例えば、再生開始から３０秒間は１つのアングルのみであり、３０秒から６０秒までの間は複数のアングルから選択して再生するなどが可能である。このとき、異なるアングルを示す各クリップは、同一のフレーム遅延をもつことになる。さらに、マルチアングル再生時には、アングル毎にフレーム遅延が異なると再生品質が一定とならないため、シームレスにマルチアングル再生できるかどうかに関わらず、アングル毎のフレーム遅延は一定としてもよい。なお、符号化ストリーム同士をシームレス接続またはシームレス・マルチアングルの対象としてもよい。

なお、シームレス接続やマルチアングル再生に使われるアクセス単位においては、アクセス単位内の任意のピクチャが復号順で前となるアクセス単位内のピクチャを参照することなしに復号できることが条件となり得る。このようなアクセス単位は、ＭＰＥＧ−２のｃｌｏｓｅｄ ＧＯＰ、あるいは、ＭＰＥＧ−４ ＡＶＣにおいてＩＤＲピクチャを先頭とするランダムアクセス単位ＲＡＵに相当する。従って、アクセス単位内のピクチャのみを参照して当該アクセス単位内のピクチャが復号できるアクセス単位において、フレーム遅延を一定としてもよい。

また、上述のようにシームレス接続などで連続的に再生されるべきアクセス単位を対象に、フレーム遅延を一定にするときには、多重化装置は、生成されるべきアクセス単位がそのシームレス接続やシームレス・マルチアングルの対象となるか否かを事前に判断する。そして、対象となると判断したときには、多重化装置は、対象となるアクセス単位のフレーム遅延が等しくなるように符号化処理を行い、符号化ストリームを生成する。例えば、２つの符号化ストリームがシームレス接続などの対象となるときには、シームレス接続の後方にある符号化ストリームのフレーム遅延が、シームレス接続の前方にある符号化ストリームのフレーム遅延と等しくなるように、後方の符号化ストリームを生成する。

また、管理情報ｂａｓｅに含まれるフレーム遅延情報は、シームレス接続などの対象となる特定のアクセス単位（符号化ストリームやクリップ）に対してフレーム遅延が共通であることを示してもよく、そのアクセス単位がシームレス接続やマルチアングル再生などの対象となり得ることを示すフラグであってもよい。このようなフラグは、プレイリストやタイムマップなどにおいて接続の属性を示す情報として格納される。

（実施の形態３）
図６は、本発明の実施の形態３における逆多重化装置の動作を示すフローチャートである。本逆多重化装置で、実施の形態１および実施の形態２における多重化装置により作成された多重化データを入力し、再生する。

まず、ステップ５０１において、逆多重化装置は、多重化データから管理情報を分離して、再生するクリップに関する情報を取得する。再生するクリップは、ユーザからの指示、あるいは管理情報内のプレイリストなどにより予め定められた再生順序に基づいて決定する。

次に、ステップＳ５０２において、逆多重化装置は、ステップＳ５０１において再生すると決定したクリップのフレーム遅延情報を取得し、ステップＳ５０３に進む。ステップＳ５０３では、逆多重化装置は、ステップＳ５０２において取得したフレーム遅延情報に基づいて、クリップ再生時のフレーム遅延を決定する。

ステップＳ５０４とステップ５０５では、逆多重化装置は、クリップ内の最終ピクチャに達するまで、クリップ内のピクチャを順に復号、表示する。ここで、ユーザ動作などにより再生終了が指示された際には、指示が有効となった時点で再生を終了する。なお、ステップＳ５０１からステップＳ５０３におけるフレーム遅延の決定は、異なる符号化ストリームに属するクリップへの切替わり時においてのみ行うことにしてもよい。

図７は、図６のステップＳ５０３において再生時のフレーム遅延を決定する際の動作を示すフローチャートである。

まず、ステップＳ６０１において、逆多重化装置は、多重化データに格納された符号化ストリームのフレーム遅延が一定であるかどうか判定し、一定である場合にはステップＳ６０３に進み、一定でない場合にはステップＳ６０２に進む。

ステップＳ６０３では、逆多重化装置は、多重化データ内の符号化ストリームに共通のフレーム遅延で再生すると決定する。ステップＳ６０２では、逆多重化装置は、連続して再生するクリップのフレーム遅延が一定であるかどうか判定し、一定である場合にはステップＳ６０４に進み、一定でない場合にはステップＳ６０５に進む。ステップＳ６０４では、逆多重化装置は、再生時の先頭クリップのフレーム遅延に基づいて再生すると決定する。ステップＳ６０５では、逆多重化装置は、再生時のフレーム遅延を調整すると決定する。再生時のフレーム遅延を調整する方法としては、下記が可能である。

１．再生するクリップの中で、フレーム遅延が最大のクリップに合わせる
２．直前に再生したクリップのフレーム遅延に合わせる
３．予め定められたフレーム遅延を使用する

１番目の方法は再生するクリップが予め決定できる場合に、２番目の方法は、ユーザの指示などにより再生するクリップが動的に変更される際に特に有効である。また、３番目の方法は、多重化データの管理情報や符号化ストリーム内の情報から、あるいはアプリケーション規格などにより、フレーム遅延の最大値が取得できる際に有効である。さらに、機器により予め定められたフレーム遅延を用いてもよい。

図８の（ｃ）と（ｄ）は、それぞれ上記１番目と２番目の方法の例を示す。図８の（ｃ）では、逆多重化装置は、フレーム遅延が１であるクリップ１に続いて、フレーム遅延が２であるクリップ２を再生する。このとき、クリップ１を再生する際のフレーム遅延を２とする。図８の（ｄ）は、フレーム遅延が２であるクリップ２の再生時に、フレーム遅延が１であるクリップ１に切替えるようにユーザから指示されたケースを示す。このとき、クリップ１のフレーム遅延は本来１であるが、逆多重化装置は、クリップ２のフレーム遅延に従い、フレーム遅延を２としてクリップ１を再生する。以上のようにフレーム遅延を決定することにより、クリップ１とクリップ２の切替え位置において、表示間隔のギャップを発生させることなく再生することができる。

なお、実施の形態２で説明したように、多重化データ内の符号化ストリームのフレーム遅延が揃っている際には、多重化データ内にフレーム遅延情報が示されないことがある。このような多重化データを再生する際には、ステップＳ５０２の処理は不要である。また、ステップＳ５０３において表示開始時のフレーム遅延を決定する際にも、常に、再生時の先頭クリップのフレーム遅延に従うことにすればよい。

また、フレーム遅延の最大値がアプリケーション規格などにより規定されている際には、常に前記規定された最大値に従って再生してもよい。

図９は、実施の形態３の逆多重化装置の構成を示すブロック図である。
逆多重化装置２００は、管理情報分離部５１、クリップ情報解析部５２、フレーム遅延決定部５３、復号部２４、および表示部５４を備える。

管理情報分離部５１は、光ディスクなどの多重化データ記録媒体から多重化データＭｕｘＤａｔを読み出し、管理情報を解析して、ユーザの指示、あるいは予め定められた方法に従い再生するクリップを決定する。そして、管理情報分離部５１は、クリップ情報解析部５２に対して、決定されたクリップに関する情報であるクリップ情報Ｃｌｉｐを出力する。

クリップ情報解析部５２は、クリップを構成するピクチャへのアクセス情報ａｃｓを復号部２４に出力する。さらに、クリップ情報解析部５２は、再生するクリップの遅延情報ｄｌｙを取得して、フレーム遅延決定部５３に出力する。

復号部２４は、アクセス情報ａｃｓに基づいて多重化データ記録媒体から映像データＶｄａｔを読み出して復号し、復号結果ｄｅｃＯｕｔを表示部５４に出力する。

フレーム遅延決定部５３は、再生時のフレーム遅延を決定して、遅延Ｔを表示部５４に出力する。

表示部５４は、遅延Ｔに従ってピクチャを表示する。なお、実施の形態２で説明したように、多重化データ内の符号化ストリームのフレーム遅延が揃っている際には、多重化データ内にフレーム遅延情報が示されないことがある。このような多重化データを再生する際には、フレーム遅延決定部５３を除いた構成としてもよい。

また、アクセス単位がシームレス接続、あるいはマルチアングル再生される際にはプレイリストなどにより示される連続再生単位のフレーム遅延は一定であるが、シームレス接続が保証されないなどその他の場合には接続点におけるフレーム遅延が可変であることがある。このとき、多重化データの管理情報にフレーム遅延の情報が含まれなければ、復号部２４においてアクセス単位のフレーム遅延を取得し、フレーム遅延決定部５３に前記取得したフレーム遅延を入力してもよい。ここで、フレーム遅延が一定である再生区間においては、再生時の先頭アクセス単位のフレーム遅延に従い、フレーム遅延が可変である再生区間においては、フレーム遅延決定部において再生時のフレーム遅延を調整する。なお、いずれの場合にも、アプリケーション規格などにより定められたフレーム遅延の最大値と同一のフレーム遅延を適用するとしてもよい。

（実施の形態４）
マルチアングル再生やダイジェスト再生などの機能は、パッケージメディアを再生する光ディスク機器においては特に重要である。ここで、次実施の形態１および実施の形態２の多重化装置により出力される多重化データを、世代の光ディスクであるＢＤ(Blu-ray Disc)に記録する例について説明する。

まず、ＢＤ−ＲＯＭの記録フォーマットについて説明する。
図１０は、ＢＤ−ＲＯＭの構成、特にディスク媒体であるＢＤディスクと、ディスクに記録されているデータの構成を示す図である。ＢＤディスク１０４に記録されるデータは、ＡＶデータ１０３と、ＡＶデータに関する管理情報およびＡＶ再生シーケンスなどのＢＤ管理情報１０２と、インタラクティブを実現するＢＤ再生プログラム１０１である。本実施の形態では、説明の都合上、映画のＡＶコンテンツを再生するためのＡＶアプリケーションを主眼においてのＢＤディスクの説明を行うが、他の用途として用いても勿論同様である。

図１１は、上述したＢＤディスクに記録されている論理データのディレクトリ・ファイル構成を示した図である。ＢＤディスクは、他の光ディスク、例えばＤＶＤやＣＤなどと同様にその内周から外周に向けてらせん状に記録領域を持ち、内周のリード・インと外周のリード・アウトの間に論理データを記録できる論理アドレス空間を有している。また、リード・インの内側にはＢＣＡ(Burst Cutting Area)と呼ばれるドライブでしか読み出せない特別な領域がある。この領域はアプリケーションから読み出せないため、例えば著作権保護技術などに利用されることがある。

論理アドレス空間には、ファイルシステム情報（ボリューム）を先頭に映像データなどのアプリケーションデータが記録されている。ファイルシステムとは従来技術で説明した通り、ＵＤＦやＩＳＯ９６６０などのことであり、通常のＰＣと同じように記録されている論理データをディレクトリ、ファイル構造を使って読み出しする事が可能になっている。

本実施例の場合、ＢＤディスク上のディレクトリ、ファイル構造は、ルートディレクトリ（ＲＯＯＴ）直下にＢＤＶＩＤＥＯディレクトリが置かれている。このディレクトリはＢＤで扱うＡＶコンテンツや管理情報などのデータ（図１０で説明した１０１、１０２、１０３）が格納されているディレクトリである。

ＢＤＶＩＤＥＯディレクトリの下には、次の７種類のファイルが記録されている。

・ＢＤ．ＩＮＦＯ（ファイル名固定）
「ＢＤ管理情報」の一つであり、ＢＤディスク全体に関する情報を記録したファイルである。ＢＤプレーヤは最初にこのファイルを読み出す。
・ＢＤ．ＰＲＯＧ（ファイル名固定）
「ＢＤ再生プログラム」の一つであり、ＢＤディスク全体に関わる再生制御情報を記録したファイルである。
・ＸＸＸ．ＰＬ（「ＸＸＸ」は可変、拡張子「ＰＬ」は固定）
「ＢＤ管理情報」の一つであり、シナリオ（再生シーケンス）であるプレイリスト情報を記録したファイルである。プレイリスト毎に１つのファイルを持っている。
・ＸＸＸ．ＰＲＯＧ（「ＸＸＸ」は可変、拡張子「ＰＲＯＧ」は固定）
「ＢＤ再生プログラム」の一つであり、前述したプレイリスト毎の再生制御情報を記録したファイルである。プレイリストとの対応はファイルボディ名（「ＸＸＸ」が一致する）によって識別される。
・ＹＹＹ．ＶＯＢ（「ＹＹＹ」は可変、拡張子「ＶＯＢ」は固定）
「ＡＶデータ」の一つであり、ＶＯＢ（従来例で説明したＶＯＢと同じ）を記録したファイルである。ＶＯＢ毎に１つのファイルを持っている。
・ＹＹＹ．ＶＯＢＩ（「ＹＹＹ」は可変、拡張子「ＶＯＢＩ」は固定）
「ＢＤ管理情報」の一つであり、ＡＶデータであるＶＯＢに関わるストリーム管理情報を記録したファイルである。ＶＯＢとの対応はファイルボディ名（「ＹＹＹ」が一致する）によって識別される。
・ＺＺＺ．ＰＮＧ（「ＺＺＺ」は可変、拡張子「ＰＮＧ」は固定）
「ＡＶデータ」の一つであり、字幕およびメニューを構成するためのイメージデータＰＮＧ（Ｗ３Ｃによって標準化された画像フォーマットであり「ピング」と読む）を記録したファイルである。１つのＰＮＧイメージ毎に１つのファイルを持つ。

図１２から図１７を用いて、ＢＤのナビゲーションデータ（ＢＤ管理情報）構造について説明をする。

図１２は、ＶＯＢ管理情報ファイル（"ＹＹＹ．ＶＯＢＩ"）の内部構造を示した図である。

ＶＯＢ管理情報は、当該ＶＯＢのストリーム属性情報（Ａｔｔｒｉｂｕｔｅ）とタイムマップ（ＴＭＡＰ）を有している。ストリーム属性は、ビデオ属性（Ｖｉｄｅｏ）、オーディオ属性（Ａｕｄｉｏ＃０〜Ａｕｄｉｏ＃ｍ）個々に持つ構成となっている。特にオーディオストリームの場合は、ＶＯＢが複数本のオーディオストリームを同時に持つことができることから、オーディオストリーム数（Ｎｕｍｂｅｒ）によって、データフィールドの有無を示している。

下記はビデオ属性（Ｖｉｄｅｏ）の持つフィールドと夫々が持ち得る値である。

・圧縮方式（Ｃｏｄｉｎｇ）：
ＭＰＥＧ１
ＭＰＥＧ２
ＭＰＥＧ４
ＭＰＥＧ４−ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）
・解像度（Ｒｅｓｏｌｕｔｉｏｎ）：
１９２０ｘ１０８０
１４４０ｘ１０８０
１２８０ｘ７２０
７２０ｘ４８０
７２０ｘ５６５
・アスペクト比（Ａｓｐｅｃｔ）
４：３
１６：９
・フレームレート（Ｆｒａｍｅｒａｔｅ）
６０
５９．９４（６０／１．００１）
５０
３０
２９．９７（３０／１．００１）
２５
２４
２３．９７６（２４／１．００１）

下記はオーディオ属性（Ａｕｄｉｏ）の持つフィールドと夫々が持ち得る値である。
・圧縮方式（Ｃｏｄｉｎｇ）：
ＡＣ３
ＭＰＥＧ１
ＭＰＥＧ２
ＬＰＣＭ
・チャンネル数（Ｃｈ）：
１〜８
・言語属性（Ｌａｎｇｕａｇｅ）：

タイムマップ（ＴＭＡＰ）はＶＯＢＵ毎の情報を持つテーブルであって、当該ＶＯＢが有するＶＯＢＵ数（Ｎｕｍｂｅｒ）と各ＶＯＢＵ情報（ＶＯＢＵ＃１〜ＶＯＢＵ＃ｎ）を持つ。個々のＶＯＢＵ情報は、ＶＯＢＵ先頭ＴＳパケット（Ｉピクチャ開始）のアドレスＩ＿ｓｔａｒｔと、そのＩピクチャの終了アドレスまでのオフセットアドレス（Ｉ＿ｅｎｄ）、およびそのＩピクチャの再生開始時刻（ＰＴＳ）から構成される。

図１３は、ＶＯＢＵ情報の詳細を説明する図である。
広く知られているように、ＭＰＥＧビデオストリームは高画質記録するために可変ビットレート圧縮されることがあり、その再生時間とデータサイズ間に単純な相関はない。逆に、音声の圧縮規格であるＡＣ３は固定ビットレートでの圧縮を行っているため、時間とアドレスとの関係は１次式によって求めることができる。しかしながらＭＰＥＧビデオデータの場合は、個々のフレームは固定の表示時間、例えばＮＴＳＣの場合は、１フレームは１／２９．９７秒の表示時間を持つが、個々のフレームの圧縮後のデータサイズは絵の特性や圧縮に使ったピクチャタイプ、いわゆるＩ／Ｐ／Ｂピクチャによってデータサイズは大きく変わってくる。従って、ＭＰＥＧビデオの場合は、時間とアドレスの関係は一次式の形で表現することは不可能である。

当然の事として、ＭＰＥＧビデオデータを多重化しているＭＰＥＧシステムストリーム、即ちＶＯＢも時間とデータサイズとを一次式の形で表現することは不可能である。このため、ＶＯＢ内での時間とアドレスとの関係を結びつけるのがタイムマップ（ＴＭＡＰ）である。

このようにして、ある時刻情報が与えられた場合、先ずは当該時刻がどのＶＯＢＵに属するのかを検索（ＶＯＢＵ毎のＰＴＳを追っていく）して、当該時刻の直前のＰＴＳをＴＭＡＰに持つＶＯＢＵに飛びこみ（Ｉ＿ｓｔａｒｔで指定されたアドレス）、ＶＯＢＵ先頭のＩピクチャから復号を開始し、当該時刻のピクチャから表示を開始する。

次に図１４を使って、プレイリスト情報（"ＸＸＸ．ＰＬ"）の内部構造を説明する。
プレイリスト情報は、セルリスト（ＣｅｌｌＬｉｓｔ）とイベントリスト（ＥｖｅｎｔＬｉｓｔ）から構成されている。

セルリスト（ＣｅｌｌＬｉｓｔ）は、プレイリスト内の再生セルシーケンスであり、本リストの記述順でセルが再生される事になる。セルリスト（ＣｅｌｌＬｉｓｔ）の中身は、セルの数（Ｎｕｍｂｅｒ）と各セル情報（Ｃｅｌｌ＃１〜Ｃｅｌｌ＃ｎ）である。

セル情報（Ｃｅｌｌ＃）は、ＶＯＢファイル名（ＶＯＢＮａｍｅ）、当該ＶＯＢ内での開始時刻（Ｉｎ）および終了時刻（Ｏｕｔ）と、字幕テーブル（ＳｕｂｔｉｔｌｅＴａｂｌｅ）を持っている。開始時刻（Ｉｎ）および終了時刻（Ｏｕｔ）は、夫々当該ＶＯＢ内でのフレーム番号で表現され、前述したタイムマップ（ＴＭＡＰ）を使うことによって再生に必要なＶＯＢデータのアドレスを得る事ができる。

字幕テーブル（ＳｕｂｔｉｔｌｅＴａｂｌｅ）は、当該ＶＯＢと同期再生される字幕情報を持つテーブルである。字幕は音声同様に複数の言語を持つことができ、字幕テーブル（ＳｕｂｔｉｔｌｅＴａｂｌｅ）最初の情報も言語数（Ｎｕｍｂｅｒ）とそれに続く個々の言語ごとのテーブル（Ｌａｎｇｕａｇｅ＃１〜Ｌａｎｇｕａｇｅ＃ｋ）から構成されている。

各言語のテーブル（Ｌａｎｇｕａｇｅ＃）は、言語情報（Ｌａｎｇ）と、個々に表示される字幕の字幕情報数（Ｎｕｍｂｅｒ）と、個々に表示される字幕の字幕情報（Ｓｐｅｅｃｈ＃１〜Ｓｐｅｅｃｈ＃ｊ）から構成され、字幕情報（Ｓｐｅｅｃｈ＃）は対応するイメージデータファイル名（Ｎａｍｅ）、字幕表示開始時刻（Ｉｎ）および字幕表示終了時刻（Ｏｕｔ）と、字幕の表示位置（Ｐｏｓｉｔｉｏｎ）から構成されている。

イベントリスト（ＥｖｅｎｔＬｉｓｔ）は、当該プレイリスト内で発生するイベントを定義したテーブルである。イベントリストは、イベント数（Ｎｕｍｂｅｒ）に続いて個々のイベント（Ｅｖｅｎｔ＃１〜Ｅｖｅｎｔ＃ｍ）から構成され、個々のイベント（Ｅｖｅｎｔ＃）は、イベントの種類（Ｔｙｐｅ）、イベントのＩＤ（ＩＤ）、イベント発生時刻（Ｔｉｍｅ）と有効期間（Ｄｕｒａｔｉｏｎ）から構成されている。

図１５は、個々のプレイリスト毎のイベントハンドラ（時間イベントと、メニュー選択用のユーザイベント）を持つイベントハンドラテーブル（"ＸＸＸ．ＰＲＯＧ"）である。

イベントハンドラテーブルは、定義されているイベントハンドラ／プログラム数（Ｎｕｍｂｅｒ）と個々のイベントハンドラ／プログラム（Ｐｒｏｇｒａｍ＃１〜Ｐｒｏｇｒａｍ＃ｎ）を有している。各イベントハンドラ／プログラム（Ｐｒｏｇｒａｍ＃）内の記述は、イベントハンドラ開始の定義（＜ｅｖｅｎｔ＿ｈａｎｄｌｅｒ＞タグ）と前述したイベントのＩＤと対になるイベントハンドラのＩＤ（ＩＤ）を持ち、その後に当該プログラムもＦｕｎｃｔｉｏｎに続く括弧"｛"と"｝"の間に記述する。前述の"ＸＸＸ．ＰＬ"のイベントリスト（ＥｖｅｎｔＬｉｓｔ）に格納されたイベント（Ｅｖｅｎｔ＃１〜Ｅｖｅｎｔ＃ｍ）は"ＸＸＸ．ＰＲＯＧ"のイベントハンドラのＩＤ（ＩＤ）を用いて特定される。

次に図１６を用いてＢＤディスク全体に関する情報（"ＢＤ．ＩＮＦＯ"）の内部構造を説明する。

ＢＤディスク全体情報は、タイトルリスト（ＴｉｔｌｅＬｉｓｔ）とグローバルイベント用のイベントテーブル（ＥｖｅｎｔＬｉｓｔ）から構成されている。

タイトルリスト（ＴｉｔｌｅＬｉｓｔ）は、ディスク内のタイトル数（Ｎｕｍｂｅｒ）と、これに続く各タイトル情報（Ｔｉｔｌｅ＃１〜Ｔｉｔｌｅ＃ｎ）から構成されている。個々のタイトル情報（Ｔｉｔｌｅ＃）は、タイトルに含まれるプレイリストのテーブル（ＰＬＴａｂｌｅ）とタイトル内のチャプタリスト（ＣｈａｐｔｅｒＬｉｓｔ）を含んでいる。プレイリストのテーブル（ＰＬＴａｂｌｅ）はタイトル内のプレイリストの数（Ｎｕｍｂｅｒ）と、プレイリスト名（Ｎａｍｅ）即ちプレイリストのファイル名を有している。

チャプタリスト（ＣｈａｐｔｅｒＬｉｓｔ）は、当該タイトルに含まれるチャプタ数（Ｎｕｍｂｅｒ）と個々のチャプタ情報（Ｃｈａｐｔｅｒ＃１〜Ｃｈａｐｔｅｒ＃ｎ）から構成され、個々のチャプタ情報（Ｃｈａｐｔｅｒ＃）は当該チャプタが含むセルのテーブル（ＣｅｌｌＴａｂｌｅ）を持ち、セルのテーブル（ＣｅｌｌＴａｂｌｅ）はセル数（Ｎｕｍｂｅｒ）と個々のセルのエントリ情報（ＣｅｌｌＥｎｔｒｙ＃１〜ＣｅｌｌＥｎｔｒｙ＃ｋ）から構成されている。セルのエントリ情報（ＣｅｌｌＥｎｔｒｙ＃）は当該セルを含むプレイリスト名と、プレイリスト内でのセル番号によって記述されている。

イベントリスト（ＥｖｅｎｔＬｉｓｔ）は、グローバルイベントの数（Ｎｕｍｂｅｒ）と個々のグローバルイベントの情報を持っている。ここで注意すべきは、最初に定義されるグローバルイベントは、ファーストイベント（ＦｉｒｓｔＥｖｅｎｔ）と呼ばれ、ＢＤディスクがプレーヤに挿入された時、最初に呼ばれるイベントである。グローバルイベント用イベント情報はイベントタイプ（Ｔｙｐｅ）とイベントのＩＤ（ＩＤ）だけを持っている。

図１７は、グローバルイベントハンドラのプログラムのテーブル（"ＢＤ．ＰＲＯＧ"）である。本テーブルは、図１５で説明したイベントハンドラテーブルと同一内容である。

以上のようなＢＤ−ＲＯＭフォーマットにおいて、実施の形態１および実施の形態２における多重化装置の出力データを多重化する際には、ＶＯＢＵが１以上のランダムアクセス単位ＲＡＵから構成され、プレイリストによりクリップの再生順序が指定されるものとする。ここで、フレーム遅延情報はＢＤ管理情報により示すことができる。例えば、プレイリストにおけるプレイアイテムに格納してもよいし、ＥＰマップなどのアクセス情報を示すテーブルに格納してもよい。あるいは、符号化ストリームの属性情報を示すテーブルに格納してもよい。さらに、多重化データに格納される符号化ストリームのフレーム遅延の最大値、あるいは、全符号化ストリームにおいて共通のフレーム遅延などを示す際には、個々の符号化ストリームについての情報よりも上位の情報として示すことにしてもよい。

なお、プレイリストとは異なる情報、あるいは予め定められた順序に基づいてクリップの再生順序を決定してもよい。

なお、ＥＰマップなどのアクセス情報は、バイナリデータとしてテーブルに格納してもよいし、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）などのテキスト形式であってもよい。

（実施の形態５）
図１８は、実施の形態５に係るＢＤディスクを再生するプレーヤの大まかな機能構成を示すブロック図である。

ＢＤディスク２０１上のデータは、光ピックアップ２０２を通して読み出される。読み出されたデータは夫々のデータの種類に応じて専用のメモリに転送される。ＢＤ再生プログラム（「ＢＤ．ＰＲＯＧ」または「ＸＸＸ．ＰＲＯＧ」ファイルの中身）はプログラム記録メモリ２０３に、ＢＤ管理情報（「ＢＤ．ＩＮＦＯ」、「ＸＸＸ．ＰＬ」または「ＹＹＹ．ＶＯＢＩ」）は管理情報記録メモリ２０４に、ＡＶデータ（「ＹＹＹ．ＶＯＢ」または「ＺＺＺ．ＰＮＧ」）はＡＶ記録メモリ２０５に夫々転送される。

プログラム記録メモリ２０３に記録されたＢＤ再生プログラムは、プログラム処理部２０６によって、管理情報記録メモリ２０４に記録されたＢＤ管理情報は、管理情報処理部２０７によって、また、ＡＶ記録メモリ２０５に記録されたＡＶデータは、プレゼンテーション処理部２０８によって夫々処理される。

プログラム処理部２０６は、管理情報処理部２０７より再生するプレイリストの情報やプログラムの実行タイミングなどのイベント情報を受け取りプログラムの処理を行う。また、プログラムでは再生するプレイリストを動的に変える事が可能であり、この場合は管理情報処理部２０７に対してプレイリストの再生命令を送ることで実現する。プログラム処理部２０６は、ユーザからのイベント、即ちリモコンキーからのリクエストを受け、ユーザイベントに対応するプログラムがある場合は、それを実行する。

管理情報処理部２０７は、プログラム処理部２０６の指示を受け、対応するプレイリストおよびプレイリストに対応したＶＯＢの管理情報を解析し、プレゼンテーション処理部２０８に対象となるＡＶデータの再生を指示する。また、管理情報処理部２０７は、プレゼンテーション処理部２０８より基準時刻情報を受け取り、時刻情報に基づいてプレゼンテーション処理部２０８にＡＶデータ再生の停止指示を行い、また、プログラム処理部２０６に対してプログラム実行タイミングを示すイベントを生成する。

プレゼンテーション処理部２０８は、映像、音声、字幕／イメージ（静止画）の夫々に対応するデコーダを持ち、管理情報処理部２０７からの指示に従い、ＡＶデータのデコードおよび出力を行う。映像データ、字幕／イメージの場合は、デコード後に夫々の専用プレーン、ビデオプレーン２１０およびイメージプレーン２０９に描画され、合成処理部２１１によって映像の合成処理が行われＴＶなどの表示デバイスへ出力される。

マルチアングル再生やダイジェスト再生時には、ユーザから要求されたマルチアングル再生あるいはダイジェスト再生動作をプレゼンテーション処理部２０８が解釈し、アングル切替えポイントなどの情報を管理情報処理部２０７に通知する。管理情報処理部２０７は、再生するクリップのフレーム遅延情報に基づいて、再生時のフレーム遅延を決定し、プレゼンテーション処理部に通知する。

（実施の形態６）
さらに、上記各実施の形態で示した多重化方法および逆多重化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１９Ａ、図１９Ｂおよび図１９Ｃは、上記各実施の形態の多重化方法および逆多重化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図１９Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１９Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図１９Ｃは、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。多重化方法および逆多重化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより多重化方法および逆多重化方法を実現する多重化方法および逆多重化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

以上、本発明に係る多重化装置、逆多重化装置およびＢＤディスクプレーヤなどについて、上記各実施の形態に基づいて説明したが、本発明は、これら実施の形態に限定されるものではない。本発明の主旨を逸脱しない範囲内で、当業者が思いつく変形を本実施の形態に施したものも、本発明に含まれる。

例えば、本実施の形態における多重化装置を備える光ディスク記録装置、動画像送信装置、デジタルテレビ放送送出装置、Ｗｅｂサーバ、通信装置、携帯情報端末等や、本実施の形態における逆多重化装置を備える動画像受信装置、デジタルテレビ放送受信装置、通信装置、携帯情報端末等も、本発明に含まれるのは言うまでもない。

なお、ブロック図（図２、図５及び図９など）の各機能ブロックは典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサーで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、符号化または復号の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。

本発明に係る多重化方法および逆多重化方法は、マルチアングル再生やダイジェスト再生などの特殊再生機能を備える機器全般に適用することができ、ＭＰＥＧ−４ ＡＶＣの符号化ストリームを多重化したパッケージメディアの再生において特に有効である。

図１は、本発明の実施の形態１における多重化装置の動作フローを示す図である。 図２は、本発明の実施の形態１における多重化装置のブロック図である。 図３Ａは、本発明の実施の形態１の多重化装置の出力データ構造例を示す図である。 図３Ｂは、本発明の実施の形態１の多重化装置の出力データ構造例を示す図である。 図３Ｃは、本発明の実施の形態１の多重化装置の出力データ構造例を示す図である。 図３Ｄは、本発明の実施の形態１の多重化装置の出力データ構造例を示す図である。 図３Ｅは、本発明の実施の形態１の多重化装置の出力データ構造例を示す図である。 図４は、本発明の実施の形態２における多重化装置の動作フローを示す図である。 図５は、本発明の実施の形態２における多重化装置のブロック図である。 図６は、本発明の実施の形態３における逆多重化装置の動作フローを示す図である。 図７は、本発明の実施の形態３における逆多重化装置において再生時のフレーム遅延を決定する際の動作フローを示す図である。 図８は、本発明の実施の形態３における逆多重化装置においてフレーム遅延を決定する際の動作例を示す図である。 図９は、本発明の実施の形態３における逆多重化装置のブロック図である。 図１０は、ＨＤ−ＤＶＤのデータ階層図である。 図１１は、ＨＤ−ＤＶＤ上の論理空間の構成図である。 図１２は、ＶＯＢ情報ファイル構成図である。 図１３は、タイムマップの説明図である。 図１４は、プレイリストファイルの構成図である。 図１５は、プレイリストに対応するプログラムファイルの構成図である。 図１６は、ＢＤディスク全体管理情報ファイルの構成図である。 図１７は、グローバルイベントハンドラを記録するファイルの構成図である。 図１８は、ＨＤ−ＤＶＤプレーヤの概要ブロック図である。 図１９Ａは、本発明の多重化方法および逆多重化方法を実現するためのプログラムを記録した記録媒体の構成図である。 図１９Ｂは、本発明の多重化方法および逆多重化方法を実現するためのプログラムを記録した記録媒体の構成図である。 図１９Ｃは、本発明の多重化方法および逆多重化方法を実現するためのプログラムを記録した記録媒体の構成図である。 図２０Ａは、ＭＰＥＧ−２のストリーム構造図である。 図２０Ｂは、ＭＰＥＧ−２のストリーム構造図である。 図２１は、ＭＰＥＧ−２のＧＯＰ構造図である。 図２２Ａは、ＭＰＥＧ−２におけるフレーム遅延の説明図である。 図２２Ｂは、ＭＰＥＧ−２におけるフレーム遅延の説明図である。 図２３は、ＭＰＥＧ−４ ＡＶＣのストリーム構造図である。 図２４は、ＭＰＥＧ−４ ＡＶＣにおける予測構造の例を示す図である。 図２５は、ＭＰＥＧ−４ ＡＶＣにおけるクリップ切替えの例を示す図である。 図２６は、従来の多重化装置の動作フローを示す図である。 図２７は、従来の多重化装置の構成を示すブロック図である。 図２８Ａは、従来の多重化装置の出力データの構造例を示す図である。 図２８Ｂは、従来の多重化装置の出力データの構造例を示す図である。 図２８Ｃは、従来の多重化装置の出力データの構造例を示す図である。 図２９は、従来の逆多重化装置の動作フローを示す図である。 図３０は、従来の逆多重化装置の構成を示すブロック図である。 図３１は、従来の多重化装置により出力される多重化データを再生する際の課題を示す図である。

符号の説明

１１，１５，４２ 符号化部
１２ メモリ
１３，１６ 管理情報作成部
１４，１８ 多重化部
１７ フレーム遅延取得部
２１，５１ 管理情報分離部
２２，５２ クリップ情報解析部
２４ 復号部
２６，５４ 表示部
４１，５３ フレーム遅延決定部
１００Ａ，１００Ｂ 多重化装置
１０１ ＢＤ再生プログラム
１０２ ＢＤ管理情報
１０３ ＡＶデータ
１０４，２０１ ＢＤディスク
２００ 逆多重化装置
２０２ 光ピックアップ
２０３ プログラム記録メモリ
２０４ 管理情報記録メモリ
２０５ ＡＶ記録メモリ
２０６ プログラム処理部
２０７ 管理情報処理部
２０８ プレゼンテーション処理部
２０９ イメージプレーン
２１０ ビデオプレーン
２１１ 合成処理部

Claims (9)

1. 符号化された複数のピクチャをランダムアクセス可能なアクセス単位ごとに含んで構成
   される複数の符号化ストリームを、他の情報とともに多重化する多重化装置であって、
   切り替え元となる第１のアクセス単位から、前記複数の符号化ストリームにおいて再生開始時刻と再生終了時刻が同一であるアクセス単位の中から選択した切り替え先となる第２のアクセス単位へとアングルを切り替えて、あるいは同一アングルを連続的に復号する際、前記両アクセス単位のそれぞれにおいて、復号順で先頭のピクチャが復号されてから表示順で先頭のピクチャが表示されるまでの遅延量を等しくすることで、アングルの切り替えを行う２つのアクセス単位の接続点で表示されるピクチャ間にギャップ及びオーバーラップが生じないように、前記１つ又は複数の符号化ストリームを生成する符号化手段と、
   前記両アクセス単位をシームレスに接続することが可能であるか否かを示すフラグ、および、前記第２のアクセス単位は複数のアングルから選択可能であるか否かを示すフラグを含む前記他の情報と、前記符号化手段で生成された複数の符号化ストリームと、を多重化する多重化手段と
   を備えることを特徴とする多重化装置。
2. 復号順で先頭のピクチャが復号されてから表示順で先頭のピクチャが表示されるまでの遅延量が、所定のフレーム数以下である
   ことを特徴とする請求項１記載の多重化装置。
3. 前記符号化手段は、さらに、
   切り替え元となる第１のアクセス単位から、複数の前記アクセス単位から選択した切り替え先となる第２のアクセス単位へとアングルを切り替えて、あるいは同一アングルを連続的に復号する際、前記第２のアクセス単位において最初に復号されるピクチャを、特定のＩピクチャより復号順が後の全てのピクチャが、前記特定のＩピクチャより復号順が前のピクチャを参照することなしに復号することのできる特定のＩピクチャとする
   ことを特徴とする請求項２記載の多重化装置。
4. 多重化データを逆多重化する逆多重化装置であって、
   符号化された複数のピクチャをランダムアクセス可能なアクセス単位ごとに含んで構成される複数の符号化ストリームと、切り替え元となる第１のアクセス単位から、前記複数の符号化ストリームにおいて再生開始時刻と再生終了時刻が同一であるアクセス単位の中から選択した切り替え先となる第２のアクセス単位へとアングルを切り替えて、あるいは同一アングルを連続的に復号する際、前記両アクセス単位をシームレスに接続することが可能であるか否かを示すフラグを含む他の情報とを有する多重化データから前記フラグを分離するフラグ分離手段と、
   前記フラグ分離手段により分離されたフラグが、前記両アクセス単位をシームレスに接続することが可能であることを示している場合に、最初に再生するアクセス単位において最初に復号するピクチャの復号時刻と、前記最初に再生するアクセス単位において最初に表示するピクチャの表示時刻との差分を示す復号遅延に従って前記両アクセス単位をアングルを切り替えて、あるいは、同一アングルを連続的に再生すると決定する決定手段と、
   前記復号遅延を用いて前記両アクセス単位をアングルを切り替えて、あるいは、同一アングルを連続的に復号して再生する再生手段と
   を備えることを特徴とする逆多重化装置。
5. 符号化された複数のピクチャをランダムアクセス可能なアクセス単位ごとに含んで構成される複数の符号化ストリームを、他の情報とともに多重化する多重化方法であって、
   切り替え元となる第１のアクセス単位から、前記複数の符号化ストリームにおいて再生開始時刻と再生終了時刻が同一であるアクセス単位の中から選択した切り替え先となる第２のアクセス単位へとアングルを切り替えて、あるいは同一アングルを連続的に復号する際、前記両アクセス単位のそれぞれにおいて、復号順で先頭のピクチャが復号されてから表示順で先頭のピクチャが表示されるまでの遅延量を等しくすることで、アングルの切り替えを行う２つのアクセス単位の接続点で表示されるピクチャ間にギャップ及びオーバーラップが生じないように、前記１つ又は複数の符号化ストリームを生成する符号化ステップと、
   前記両アクセス単位をシームレスに接続することが可能であるか否かを示すフラグを含む前記他の情報と、前記符号化ステップで生成された複数の符号化ストリームと、を多重化する多重化ステップと
   を備えることを特徴とする多重化方法。
6. 多重化データを逆多重化する逆多重化方法であって、
   符号化された複数のピクチャをランダムアクセス可能なアクセス単位ごとに含んで構成される複数の符号化ストリームと、切り替え元となる第１のアクセス単位から、前記複数の符号化ストリームにおいて再生開始時刻と再生終了時刻が同一であるアクセス単位の中から選択した切り替え先となる第２のアクセス単位へとアングルを切り替えて、あるいは同一アングルを連続的に復号する際、前記両アクセス単位をシームレスに接続することが可能であるか否かを示すフラグを含む他の情報とを有する多重化データから前記フラグを分離するフラグ分離ステップと、
   前記フラグ分離ステップにより分離されたフラグが、前記両アクセス単位をシームレスに接続することが可能であることを示している場合に、最初に再生するアクセス単位において最初に復号するピクチャの復号時刻と、前記最初に再生するアクセス単位において最初に表示するピクチャの表示時刻との差分を示す復号遅延に従って前記両アクセス単位をアングルを切り替えて、あるいは、同一アングルを連続的に再生すると決定する決定ステップと、
   前記復号遅延を用いて前記両アクセス単位をアングルを切り替えて、あるいは、同一アングルを連続的に復号して再生する再生ステップと
   を備えることを特徴とする逆多重化方法。
7. 符号化された複数のピクチャをランダムアクセス可能なアクセス単位ごとに含んで構成
   される複数の符号化ストリームが、他の情報とともに多重化された多重化データを記録した記録媒体であって、
   切り替え元となる第１のアクセス単位から、前記複数の符号化ストリームにおいて再生開始時刻と再生終了時刻が同一であるアクセス単位の中から選択した切り替え先となる第２のアクセス単位へとアングルを切り替えて、あるいは同一アングルを連続的に復号する際、前記両アクセス単位のそれぞれにおいて、復号順で先頭のピクチャが復号されてから表示順で先頭のピクチャが表示されるまでの遅延量を等しくすることで、前記両アクセス単位の接続点で表示されるピクチャ間にギャップ及びオーバーラップが生じない構造を有し、
   前記両アクセス単位をシームレスに接続することが可能であるか否かを示すフラグを含む前記他の情報と、前記複数の符号化ストリームと、を有している多重化データが記録されたコンピュータ読み取り可能な記録媒体。
8. 符号化された複数のピクチャをランダムアクセス可能なアクセス単位ごとに含んで構成
   される複数の符号化ストリームを、他の情報とともに多重化された多重化データをコンピュータ読み取り可能な記録媒体に記録する記録方法であって、
   切り替え元となる第１のアクセス単位から、前記複数の符号化ストリームにおいて再生開始時刻と再生終了時刻が同一であるアクセス単位の中から選択した切り替え先となる第２のアクセス単位へとアングルを切り替えて、あるいは同一アングルを連続的に復号する際、前記両アクセス単位のそれぞれにおいて、復号順で先頭のピクチャが復号されてから表示順で先頭のピクチャが表示されるまでの遅延量を等しくすることで、アングルの切り替えを行う２つのアクセス単位の接続点で表示されるピクチャ間にギャップ及びオーバーラップが生じないように、前記１つ又は複数の符号化ストリームを生成する符号化ステップと、
   前記両アクセス単位をシームレスに接続することが可能であるか否かを示すフラグを含む前記他の情報と、前記符号化ステップで生成された複数の符号化ストリームと、を多重化する多重化ステップと
   前記多重化ステップにおいて多重化された多重化データを記録媒体に記録する記録ステップと
   を備えることを特徴とする記録媒体への記録方法。
9. 多重化データが記録されたコンピュータ読み取り可能な記録媒体と、前記記録媒体から前記多重化データを読み取り逆多重化する逆多重化装置から構成される逆多重化システムであって、
   前記記録媒体に記録された多重化データは、
   符号化された複数のピクチャをランダムアクセス可能なアクセス単位ごとに含んで構成
   される複数の符号化ストリームと、
   切り替え元となる第１のアクセス単位から、前記複数の符号化ストリームにおいて再生開始時刻と再生終了時刻が同一であるアクセス単位の中から選択した切り替え先となる第２のアクセス単位へとアングルを切り替えて、あるいは同一アングルを連続的に復号する際に前記両アクセス単位をシームレスに接続することが可能であるか否かを示すフラグを含む前記他の情報とを有し、
   前記記録媒体から前記多重化データを読み取り逆多重化する逆多重化装置は、
   前記多重化データから前記フラグを分離するフラグ分離手段と、
   前記フラグ分離手段により分離されたフラグが、前記両アクセス単位をシームレスに接続することが可能であることを示している場合に、最初に再生するアクセス単位において最初に復号するピクチャの復号時刻と、前記最初に再生するアクセス単位において最初に表示するピクチャの表示時刻との差分を示す復号遅延に従って前記両アクセス単位をアングルを切り替えて、あるいは、同一アングルを連続的に再生すると決定する決定手段と、
   前記復号遅延を用いて前記両アクセス単位をアングルを切り替えて、あるいは、同一アングルを連続的に復号して再生する再生手段と
   を備えることを特徴とする逆多重化システム。

Images