JP2008263640A - 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 - Google Patents

Abstract

【課題】特殊再生時においても、復号に必要なピクチャパラメータセットを適切に取得してピクチャを復号することができるようにストリームを生成する画像符号化装置を提供する。
【解決手段】画像符号化装置１０は、ピクチャ符号化データを生成するスライス符号化部１１と、ＰＰＳを生成するＰＰＳ作成部１６と、所定の条件に基づき、ＰＰＳを、複数のＡＵのうち先頭のＡＵ、または、ＰＰＳを参照するピクチャ符号化データが格納されているＡＵに格納するＡＵ決定部１７とを備え、ＡＵ決定部１７は、先頭のＡＵに格納するＰＰＳの数に制限を有し、先頭のピクチャを除くピクチャのＳＥＩには、そのピクチャの符号化画素データが参照する符号化されたＰＰＳを格納するか、または、そのピクチャの符号化画素データが参照する符号化されたＰＰＳを格納しない。
【選択図】図１

Description

本発明は、動画像を符号化する画像符号化装置、及びその画像符号化装置で符号化された動画像を復号する画像復号装置に関し、特に、高速再生（可変速再生）などの特殊再生に対応した画像符号化装置及び画像復号装置に関する。

近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４Ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的ではない。例えば、テレビ電話は、６４Ｋｂｉｔ／ｓ〜１．５Ｍｂｉｔｓ／ｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ：Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）によって既に実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）で勧告されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とは、ＩＳＯ／ＩＥＣ（国際標準化機構 国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格では対象とする品質を伝送速度が主として約１．５Ｍｂｐｓで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号を２〜１５ＭｂｐｓでＴＶ放送品質を実現する。さらに現状では、ＭＰＥＧ−１、ＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１）によって、ＭＰＥＧ−１、ＭＰＥＧ−２を上回る圧縮率を達成し、さらに物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。その後、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔが共同でより高圧縮率の次世代画像符号化方式として、ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）が標準化され、次世代の光ディスク関連機器、あるいは携帯端末向けの放送などで使用される見込みである。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。

参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方もしくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照画像（参照ピクチャ）は符号化および復号の基本単位であるブロック毎に指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。ただし、これらのピクチャを符号化および復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。

図２１は、従来のＭＰＥＧ−２のストリームの構成図である。

図２１に示すようにＭＰＥＧ−２のストリームは以下のような階層構造を有している。ストリームは複数のＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）から構成されており、これを符号化処理の基本単位とすることで動画像の編集やランダムアクセスが可能になっている。ＧＯＰは、複数のピクチャから構成され、各ピクチャには、Ｉピクチャ、ＰピクチャまたはＢピクチャがある。ストリーム、ＧＯＰおよびピクチャはさらにそれぞれの単位の区切りを示す同期信号（ｓｙｎｃ）と当該単位に共通のデータであるヘッダ（ｈｅａｄｅｒ）から構成されている。

図２２Ａおよび図２２Ｂは、ＭＰＥＧ−２で使用されているピクチャ間の予測構造例である。

同図で斜線をつけたピクチャは他のピクチャから参照されるピクチャである。図２２Ａに示すように、ＭＰＥＧ−２ではＰピクチャ（Ｐ０、Ｐ６、Ｐ９、Ｐ１２、Ｐ１５）は表示時刻が直前１枚のＩピクチャもしくはＰピクチャのみ参照した予測符号化が可能である。また、Ｂピクチャ（Ｂ１、Ｂ２、Ｂ４、Ｂ５、Ｂ７、Ｂ８、Ｂ１０、Ｂ１１、Ｂ１３、Ｂ１４、Ｂ１６、Ｂ１７、Ｂ１９、Ｂ２０）は表示時刻が直前１枚と直後１枚のＩピクチャもしくはＰピクチャを参照した予測符号化が可能である。さらに、ストリームに配置される順序も決まっており、ＩピクチャおよびＰピクチャは表示時刻の順序、Ｂピクチャは直後に表示されるＩピクチャもしくはＰピクチャの直後に配置される。ＧＯＰ構造としては、例えば、図２２Ｂに示すように、Ｉ３からＢ１４までのピクチャをまとめて１つのＧＯＰとすることができる。

図２３は、ＭＰＥＧ−４ ＡＶＣのストリームの構成図である。ＭＰＥＧ−４ ＡＶＣでは、ＧＯＰに相当する概念は無いが他のピクチャに依存せずに復号化できる特別なピクチャ単位でデータを分割すればＧＯＰに相当するランダムアクセス可能な単位が構成できるので、これをランダムアクセスユニットＲＡＵと呼ぶことにする。

次に、ストリームを扱う際の基本単位であるアクセスユニット（以降、ＡＵ（Ａｃｃｅ
ｓｓ Ｕｎｉｔ）と呼ぶ）について説明する。ＡＵとは、１ピクチャ分の符号化データを格納する単位であり、パラメータセットＰＳや、スライスデータなどを含む。パラメータセットＰＳは各ピクチャのヘッダに相当するデータであるピクチャパラメータセット（以下、単にＰＰＳという）とＭＰＥＧ−２のＧＯＰ以上の単位のヘッダに相当するシーケンスパラメータセット（以下、単にＳＰＳという）がある。なお、ＰＰＳとＳＰＳは、それぞれ復号化の際の初期化を行うために必要とされる初期化情報である。

ＳＰＳには、ランダムアクセスユニットＲＡＵの全ての符号化されたピクチャを復号するために共通に参照される情報として、プロファイル、最大参照可能ピクチャ数、画像サイズ等が含まれている。ＰＰＳには、ランダムアクセスユニットＲＡＵ内の符号化されたピクチャごとに、そのピクチャを復号するために参照される情報として、可変長符号化のタイプ、量子化ステップの初期値、参照ピクチャ数等が含まれている。さらに、ＳＰＳ、ＰＰＳには量子化マトリックスを含めることもでき、ＳＰＳで設定された量子化マトリックスを必要に応じてＰＰＳに上書きすることができる。各ピクチャには前記ＰＰＳおよびＳＰＳのいずれを参照するかを示す識別子が付与される。また、スライスデータには、ピクチャを識別するための識別番号であるフレーム番号ＦＮが含まれる。ここで、各ピクチャから参照されるＰＰＳはピクチャ単位で更新できるが、ＳＰＳは、後述するＩＤＲピクチャにおいてのみ更新可能である。

ＭＰＥＧ−４ ＡＶＣにおけるＩピクチャには、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ
Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）ピクチャと、ＩＤＲピクチャではないＩピクチャの２種類がある。ＩＤＲピクチャとは、復号順でＩＤＲピクチャより後の全ピクチャを、復号順でＩＤＲピクチャより前のピクチャを参照することなしに復号することのできるＩピクチャであり、ＭＰＥＧ−２のｃｌｏｓｅｄ ＧＯＰの先頭Ｉピクチャに相当する。ＩＤＲではないＩピクチャにおいては、復号順でＩピクチャより後のピクチャが、復号順で当該Ｉピクチャより前のピクチャを参照してもよい。ＩＤＲピクチャでないＩピクチャをランダムアクセス単位ＲＡＵの先頭に配置し、ランダムアクセス単位ＲＡＵにおけるピクチャの予測構造を制約することにより、ＭＰＥＧ−２のｏｐｅｎ ＧＯＰのような構造を構成することもできる。

ＭＰＥＧ−４ ＡＶＣにおけるＡＵには、ピクチャの復号化に必須のデータに加えて、スライスデータの復号に必須でないＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）と呼ばれる補助情報や、ＡＵの境界情報なども含めることができる。パラメータセットＰＳ、スライスデータ、ＳＥＩなどのデータは、全てＮＡＬ（Ｎｅｔｗｏｒｋ Ａｄａｐｔａｔｉｏｎ Ｌａｙｅｒ）ユニットＮＡＬＵに格納される。ＮＡＬユニットは、ヘッダとペイロードから構成され、ヘッダには、ペイロードに格納されるデータのタイプ（以降、ＮＡＬユニットタイプと呼ぶ）を示すフィールドなどが含まれる。ＮＡＬユニットタイプは、スライスやＳＥＩなどデータの種類別に値が定義されており、ＮＡＬユニットタイプを参照することにより、ＮＡＬユニットに格納されるデータの種類を特定できる。

ＳＥＩのＮＡＬユニットには、１以上のＳＥＩメッセージを格納することができる。ＳＥＩメッセージもヘッダとペイロードから構成され、ペイロードに格納される情報の種類は、ヘッダにおいて示されるＳＥＩメッセージのタイプにより識別される。以降で、ＡＵを復号化するとは、ＡＵにおけるスライスデータを復号することを示し、ＡＵを表示するとは、ＡＵにおけるスライスデータの復号結果を表示することを示すものとする。

ランダムアクセスユニットＲＡＵの先頭ＡＵには、そのランダムアクセスユニットＲＡＵにおける全てのＡＵから参照されるＳＰＳのＮＡＬユニット、および先頭ＡＵが参照するＰＰＳのＮＡＬユニットが含まれる。さらに、ランダムアクセスユニットＲＡＵにおけ
る各ＡＵを復号する際に必要となるＰＰＳのＮＡＬユニットは、当該ＡＵ、あるいはランダムアクセスユニットＲＡＵにおいて復号順で当該ＡＵよりも前のＡＵに含まれることが保証される。

ここで、ＮＡＬユニットにはＮＡＬユニット境界を識別するための情報が存在しないため、ＡＵとして格納する際には、各ＮＡＬユニットの先頭に境界情報を付加できる。ＭＰＥＧ−２ ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）やＰＳ（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）においてＭＰＥＧ−４ ＡＶＣのストリームを扱う際には、ＮＡＬユニットの先頭に、０ｘ０００００１の３バイトで示されるスタートコードプレフィックスが付加される。また、ＭＰＥＧ−２ ＴＳおよびＰＳにおいては、ＡＵの先頭にＡｃｃｅｓｓ Ｕｎｉｔ Ｄｅｌｉｍｉｔｅｒと呼ばれる、ＡＵ境界を示すＮＡＬユニットを必ず挿入することが規定されている。

従来、このような動画像の符号化及び復号に関連した様々な技術が提案されている（例えば、特許文献１参照）。

図２４は、従来の画像符号化方法を実現する画像符号化装置のブロック図である。

画像符号化装置１９１は、入力される動画像データＶｉｎを圧縮符号化して、ＭＰＥＧ−４ ＡＶＣの符号化ストリームであるＡＶＣストリームｓｔを出力する装置であり、スライス符号化部１１、メモリ１２、ＳＰＳ作成部１３、新規ＰＰＳ判定部１４、ＰＰＳ作成部１６、およびＡＵ決定部１７を備えている。

動画像データＶｉｎは、スライス符号化部１１に入力される。スライス符号化部１１は、１ＡＵ分のスライスデータを符号化して、符号化結果であるスライスデータＳｉｎをメモリ１２に格納し、当該ピクチャの復号に必要なＳＰＳ情報ＳＰＳｉｎをＳＰＳ作成部１３に出力するとともに、当該ＡＵの復号に必要なＰＰＳ情報ＰＰＳｉｎを新規ＰＰＳ判定部１４に出力する。

ＳＰＳ作成部１３は、ＳＰＳ情報ＳＰＳｉｎに基づいてＳＰＳを作成し、そのＳＰＳを含むデータＳＰＳｎａｌをＡＵ決定部１７に出力する。

新規ＰＰＳ判定部１４は、ランダムアクセスユニットＲＡＵの先頭ＡＵから順に、各ＡＵについてのＰＰＳ情報ＰＰＳｉｎを保持しておき、入力されたＰＰＳ情報ＰＰＳｉｎと保持されているＰＰＳ情報ＰＰＳｉｎを比較して、入力されたＰＰＳ情報ＰＰＳｉｎが新規である場合には、その旨を示す新規ＰＰＳフラグｆｌｇを１にセットするとともに、当該ＰＰＳ情報ＰＰＳｉｎをＰＰＳ情報ＰＰＳｏｕｔとしてＰＰＳ作成部１６に出力する。一方、入力されたＰＰＳ情報ＰＰＳｉｎが保持されているＰＰＳ情報ＰＰＳｉｎに含まれる際には、新規ＰＰＳ判定部１４は、新規ＰＰＳフラグを０にセットする。

ＰＰＳ作成部１６は、新規ＰＰＳフラグが１であれば、入力されたＰＰＳ情報ＰＰＳｏｕｔに基づいてＰＰＳを作成し、そのＰＰＳを含むデータＰＰＳｎａｌをＡＵ決定部１７に出力する。

ＡＵ決定部１７は、データＳＰＳｎａｌ、データＰＰＳｎａｌに基づいてＳＰＳとＰＰＳのＮＡＬユニットを作成するとともに、メモリ１２からスライスデータＳｎａｌを取得してスライスデータのＮＡＬユニットを作成する。そして、ＡＵ決定部１７は、作成したＮＡＬユニットを予め定められた順序で配置してＡＵデータを決定することで、ＡＶＣストリームｓｔを構成し、そのＡＶＣストリームｓｔを出力する。

図２５は、画像符号化装置１９１の動作を示すフローチャートである。ステップＳ１０１において、画像符号化装置１９１は、１ピクチャ分のスライスデータを符号化し、ステップＳ１０２においてＳＰＳを作成する。ここで、ＳＰＳの作成は、ランダムアクセスユニットＲＡＵの先頭ＡＵにおいてのみ行うことにしてもよい。続いて、画像符号化装置１９１は、ステップＳ１０３において当該ＡＵのＰＰＳ情報（ＰＰＳ）がランダムアクセスユニットＲＡＵにおいて新規であるかどうか判定する。新規である場合には（ステップＳ１１１のはい）、画像符号化装置１９１は、ＡＵにＰＰＳを格納すると決定し、ステップＳ１１１においてステップＳ１０６に進み、そうでない場合には（ステップＳ１１１のいいえ）、ステップＳ１０７に進む。ステップＳ１０６では、画像符号化装置１９１は、ＰＰＳを作成する。ステップＳ１０７では、ステップＳ１１１において新規であると判断されてＡＵにＰＰＳを格納すると決定された際には、画像符号化装置１９１は、ステップＳ１０６で作成されたＰＰＳをＡＵに含め、１ＡＵ分のデータを作成して出力する。

図２６は、従来の画像復号方法を実現する画像復号装置のブロック図である。

画像復号装置２９１は、入力されるＡＶＣストリームｓｔからＡＵを分離して復号することにより、復号された画像を示す復号後データＤｏｕｔを出力する装置であり、ＡＵ境界検出部２２、ＰＰＳ取得部２３、ＰＰＳメモリ２４、復号情報取得部２５、および復号部２６を備えている。

ＡＵ境界検出部２２は、ＡＵの境界を検出してＡＵデータを分離し、ＡＵデータ内にＰＰＳのＮＡＬユニットが含まれる際には、そのＰＰＳのＮＡＬユニットＰＰＳｎａｌをＰＰＳ取得部２３に出力し、その他のＮＡＬユニットＤｎａｌを復号情報取得部２５に出力する。

ＰＰＳ取得部２３は、ＮＡＬユニットＰＰＳｎａｌを解析し、解析結果を解析結果信号ＰＰＳｓｔとしてＰＰＳメモリ２４に保持させる。復号情報取得部２５は、ＮＡＬユニットＤｎａｌを解析してＳＰＳおよびスライスデータなどを取得するとともに、ＰＰＳメモリ２４から当該ＡＵが参照するＰＰＳを含むデータＰＰＳｒｅｆを取得して、スライスデータと、スライスデータの復号に必要なＳＰＳおよびＰＰＳとを復号前データＤｉｎとして復号部２６に出力する。

復号部２６は、復号前データＤｉｎに基づいてスライスデータを復号し、復号後データＤｏｕｔを出力する。

ところで、ランダムアクセスユニットＲＡＵは、その先頭ＡＵから復号が可能であることを示し、光ディスクやハードディスクを有する蓄積機器において、飛び込み再生、可変速再生、逆再生などの特殊再生、あるいはランダムアクセスユニット単位でのスキップ再生を実現するうえで必須のデータ構造である。
特開２００３−１８５４９号公報

しかしながら、従来のＭＰＥＧ−４ ＡＶＣのストリームにおけるランダムアクセスユニットＲＡＵでは、ＩピクチャやＰピクチャのＡＵなど、特定のＡＵを選択して復号、表示することにより高速再生を行う場合に、ＡＵの復号に必要なＰＰＳを取得することができなかった。

図２７Ａおよび図２７Ｂは、ランダムアクセスユニットＲＡＵの構造例である。

図２７Ａに示すように、ランダムアクセスユニットＲＡＵはＡＵ１からＡＵ１５までの１５個のＡＵから構成され、高速再生時にはＡＵ１、ＡＵ４、ＡＵ７、ＡＵ１０、ＡＵ１
３の５個のＡＵを復号、表示するものとする。ここで、ＡＵ１からＡＵ８まではＰＰＳとしてＰＰＳ＃１を参照し、ＡＵ９からＡＵ１５まではＰＰＳ＃２を参照し、ＰＰＳ＃１とＰＰＳ＃２は、それぞれＡＵ１とＡＵ９に格納される。このとき、図２７Ｂに示すように、高速再生時に復号されるＡＵにはＡＵ９が含まれないため、高速再生時にはＰＰＳ＃２を取得することができず、結果としてＡＵ１０とＡＵ１３を復号することができない。

このように、ランダムアクセスユニットＲＡＵにおけるＡＵを選択的に復号して表示する際には、ＭＰＥＧ−２のように予め決められたＡＵのみを復号するのでは、必要なＰＰＳを取得できず、ランダムアクセスユニットＲＡＵ内の全てのＡＵを解析してＰＰＳを取得しなければならないという課題があった。

そこで本発明は、かかる問題に鑑みてなされたものであって、高速再生（可変速再生）のような特殊再生時においても、復号に必要なピクチャパラメータセットを適切に取得してピクチャを復号することができるようにストリームを生成する画像符号化装置、及びそのストリームを復号する画像復号装置を提供することを目的とする。

上記目的を達成するために、本発明の画像符号化装置は、少なくとも、画素データを格納するための画素データ格納単位と、前記画素データを格納する格納単位の前に位置し、補助情報を格納するための補助情報格納単位とから構成されるピクチャを符号化して、符号化された複数のピクチャを含んで構成されるランダムアクセスユニットを、ストリームの一部として生成する画像符号化装置であって、前記ピクチャの画素データをそれぞれ符号化することで、符号化画素データを生成する符号化手段と、前記符号化画素データごとに、当該符号化画素データを復号するために参照されるパラメータ群たるピクチャパラメータセット情報を生成し、符号化する情報生成手段と、前記画素データ格納単位に、前記符号化画素データを格納する第１の格納手段と、所定の条件に基づき、前記符号化されたピクチャパラメータセット情報を、前記複数のピクチャのうち先頭のピクチャの補助情報格納単位、または、当該ピクチャパラメータセット情報を参照する符号化画素データを含むピクチャの補助情報格納単位に格納する第２の格納手段とを備え、前記第２の格納手段は、前記先頭のピクチャの補助情報格納単位に複数の符号化されたピクチャパラメータセット情報を格納し、前記先頭のピクチャの補助情報格納単位に格納する符号化されたピクチャパラメータセット情報の数に制限を有し、前記複数のピクチャのうち、先頭のピクチャを除くピクチャの補助情報格納単位には、当該ピクチャの符号化画素データが参照する符号化されたピクチャパラメータセット情報を格納するか、または、当該ピクチャの符号化画素データが参照する符号化されたピクチャパラメータセット情報を格納しないことを特徴とする。

また、上記目的を達成するために、本発明の画像符号化装置は、複数のピクチャを符号化して、符号化された複数のピクチャを含んで構成されるランダムアクセスユニットを、ストリームの一部として生成する画像符号化装置であって、前記複数のピクチャをそれぞれ符号化することで複数のピクチャ符号化データを生成する符号化手段と、前記ピクチャ符号化データごとに、当該ピクチャ符号化データを復号するために参照されるパラメータ群たるピクチャパラメータセット情報を生成する情報生成手段と、前記ランダムアクセスユニットを構成する複数の格納単位のそれぞれに、前記複数のピクチャ符号化データを１つずつ格納する第１の格納手段と、所定の条件に基づき、前記ピクチャパラメータセット情報を、前記複数の格納単位のうち先頭の格納単位、または、当該ピクチャパラメータセット情報を参照するピクチャ符号化データが格納されている格納単位に格納する第２の格納手段とを備え、前記第２の格納手段は、前記先頭の格納単位に格納するピクチャパラメータセット情報の数に制限を有し、前記先頭の格納単位に格納する前記ピクチャパラメータセット情報の数が制限を越えない場合には、前記先頭の格納単位に前記ピクチャパラメータセット情報を格納し、前記先頭の格納単位に格納する前記ピクチャパラメータセット情報の数が制限を越える場合には、前記先頭の格納単位より後の格納単位であり、当該ピクチャパラメータセット情報を参照するピクチャ符号化データが格納されている格納単位に、前記ピクチャパラメータセット情報を１つ格納することを特徴とする。

また、上記目的を達成するために、本発明の画像符号化装置は、複数のピクチャを符号化して、符号化された複数のピクチャを含んで構成されるランダムアクセスユニットを、ストリームの一部として生成する画像符号化装置であって、前記複数のピクチャをそれぞれ符号化することで複数のピクチャ符号化データを生成する符号化手段と、前記全てのピクチャ符号化データを復号するために共通に参照されるパラメータ群たるシーケンスパラメータセット情報を生成する第１の情報生成手段と、前記ピクチャ符号化データごとに、当該ピクチャ符号化データを復号するために参照されるパラメータ群たるピクチャパラメータセット情報を生成する第２の情報生成手段と、前記ランダムアクセスユニットを構成する複数の格納単位のそれぞれに、前記複数のピクチャ符号化データを１つずつ格納する第１の格納手段と、前記複数の格納単位のうち先頭の格納単位に、前記シーケンスパラメータセット情報を格納する第２の格納手段と、前記ピクチャパラメータセット情報ごとに、当該ピクチャパラメータセット情報を、前記複数の格納単位のうち先頭の格納単位に格納する、または、当該ピクチャパラメータセット情報を参照するピクチャ符号化データが格納されている格納単位に格納する第３の格納手段とを備えることを特徴とする。例えば、前記第３の格納手段は、複数のピクチャパラメータセット情報を前記先頭の格納単位に
予め格納しておき、前記第２の情報生成手段で生成されたピクチャパラメータセット情報と同一のピクチャパラメータセット情報が、前記先頭の格納単位に格納されていない場合に、当該ピクチャパラメータセット情報を参照するピクチャ符号化データが格納されている格納単位に、当該ピクチャパラメータセット情報を格納する。

これにより、ストリームの一部として生成されたランダムアクセスユニットには、各ピクチャ符号化データの復号に必要なピクチャパラメータセット情報（ＰＰＳ）が、ランダムアクセスユニットの先頭の格納単位（ＡＵ）か、そのピクチャ符号化データを格納している格納単位に格納されている。したがって、このようなランダムアクセスユニットに含まれる全てのピクチャ符号化データのうち、少なくとも先頭の格納単位に格納されているピクチャ符号化データを選択して再生するような特殊再生を行う場合であっても、選択されたピクチャ符号化データの復号に必要なピクチャパラメータセット情報を取り損ねることなく、適切に且つ迅速に取得することができる。その結果、特殊再生をスムーズに行うことができる。

また、本発明の画像復号装置は、上記の画像符号化装置により生成されたストリームから、符号化された複数のピクチャを復号する画像復号装置であって、前記符号化された複数のピクチャの中から、復号すべきピクチャを特定するピクチャ特定手段と、前記符号化された複数のピクチャのうち、先頭のピクチャの補助情報格納単位、または前記復号すべきピクチャの補助情報格納単位から、当該復号すべき符号化画素データを復号するために参照されるパラメータ群であり、符号化されたピクチャパラメータセット情報を取得する取得手段と、前記符号化されたピクチャパラメータセット情報を復号化する第１の復号手段と、復号化されたピクチャパラメータセット情報を参照することで前記復号すべき符号化画素データを復号する復号手段とを備える。

また、本発明の画像復号装置は、上記の画像符号化装置により生成されたストリームから、ランダムアクセスユニットを取得し、前記複数のピクチャ符号化データを復号する画像復号装置であって、少なくとも、前記ランダムアクセスユニットの先頭の格納単位に格納されているピクチャ符号化データが特定されるように、前記複数のピクチャ符号化データの中から、一部の復号すべきピクチャ符号化データを特定するピクチャ特定手段と、前記先頭の格納単位、または前記復号すべきピクチャ符号化データが格納されている格納単位から、当該復号すべきピクチャ符号化データを復号するために参照されるパラメータ群たるピクチャパラメータセット情報を取得する取得手段と、前記ピクチャパラメータセット情報を参照することで前記復号すべきピクチャ符号化データを復号する復号手段とを備えることを特徴とする。

また、本発明の画像復号装置は、符号化された複数のピクチャをそれぞれピクチャ符号化データとして格納単位ごとに格納して構成されるランダムアクセスユニットをストリームから取得し、前記複数のピクチャ符号化データを復号する画像復号装置であって、少なくとも、前記ランダムアクセスユニットの先頭の格納単位に格納されているピクチャ符号化データが特定されるように、前記複数のピクチャ符号化データの中から、一部の復号すべきピクチャ符号化データを特定するピクチャ特定手段と、前記先頭の格納単位から、前記全てのピクチャ符号化データを復号するために共通に参照されるパラメータ群たるシーケンスパラメータセット情報を取得する第１の取得手段と、前記先頭の格納単位、または前記復号すべきピクチャ符号化データが格納されている格納単位から、当該復号すべきピクチャ符号化データを復号するために参照されるパラメータ群たるピクチャパラメータセット情報を取得する第２の取得手段と、前記シーケンスパラメータセット情報及びピクチャパラメータセット情報を参照することで前記復号すべきピクチャ符号化データを復号する復号手段とを備えることを特徴とする。

例えば、各ピクチャ符号化データの復号に必要なピクチャパラメータセット情報は、ランダムアクセスユニットの先頭の格納単位か、そのピクチャパラメータセット情報を参照するピクチャ符号化データを格納している格納単位に格納されている。したがって、ランダムアクセスユニットに含まれる複数のピクチャ符号化データの中から一部のピクチャ符号化データを復号して再生するような特殊再生を行う場合であっても、少なくとも先頭の格納単位に格納されているピクチャ符号化データを復号すべきピクチャ符号化データとし、先頭の格納単位か、復号すべきピクチャ符号化データを格納している格納単位から、復号すべきピクチャ符号化データのピクチャパラメータセット情報を取得するため、ピクチャ符号化データの復号に必要なピクチャパラメータセット情報を取り損ねることなく、適切に且つ迅速に取得することができる。その結果、特殊再生をスムーズに行うことができる。

また、上記目的を達成するために、本発明の画像符号化方法は、動画像をピクチャ単位で符号化する画像符号化方法であって、１以上の前記ピクチャをまとめたランダムアクセス単位は、高速再生や逆再生などの特殊再生時に復号するピクチャと、全ピクチャを復号して表示する通常再生時にのみ復号するピクチャとから構成されるように、ピクチャの画素を符号化して画素の符号化データを生成する符号化ステップと、前記ピクチャを復号する際に参照する初期化情報のうち、前記ランダムアクセス単位を構成する全ピクチャに対して有効であるシーケンス初期化情報を生成するシーケンス初期化情報生成ステップと、前記ピクチャを復号する際に参照する初期化情報のうち、前記ランダムアクセス単位を構成する個々のピクチャに対して設定できるピクチャ初期化情報を生成するピクチャ初期化情報生成ステップと、前記生成された画素の符号化データ、シーケンス初期化情報、あるいはピクチャ初期化情報を、それぞれ異なるサブピクチャ単位に格納する格納ステップと、前記作成された符号化データのサブピクチャ単位を必ず含み、シーケンス初期化情報、あるいはピクチャ初期化情報のサブピクチャ単位を選択的に含むピクチャ格納単位を作成するピクチャ格納単位作成ステップとを含み、ピクチャ格納単位作成ステップは、前記特殊再生時に復号するピクチャのピクチャ初期化情報が、同一ピクチャ格納単位、あるいは、前記ランダムアクセス単位において復号順が前であり、かつ前記特殊再生時に復号するピクチャを格納するピクチャ格納単位から取得できるように、前記ピクチャ初期化情報のサブピクチャ単位を格納することを特徴とする。

また、前記特殊再生時に復号するピクチャは、面内予測、あるいは単予測により符号化されたピクチャであることを特徴としてもよい。

また、前記特殊再生時に復号するピクチャは、面内予測、単予測により符号化されたピクチャ、あるいは双予測により符号化されたピクチャのなかで他のピクチャから参照されないピクチャであることを特徴としてもよい。

また、前記ピクチャ格納単位作成ステップは、前記特殊再生時に復号する全てのピクチャについて、当該ピクチャを復号する際に参照するピクチャ初期化情報を含むサブピクチャ単位を、ピクチャ格納単位に格納することを特徴としてもよい。

また、前記ランダムアクセス単位における先頭のピクチャ格納単位は、前記ランダムアクセス単位内の全てのピクチャを復号する際に参照する前記シーケンス初期化情報を格納したサブピクチャ単位を含むことを特徴としてもよい。

また、上記目的を達成するために、本発明の画像復号方法は、上述の画像符号化方法により符号化された符号化データを復号する画像復号方法であって、復号するピクチャを決定する決定ステップと、前記決定されたピクチャのピクチャ格納単位から前記シーケンス初期化情報と前記ピクチャ初期化情報を取得する初期化情報取得ステップと、前記取得した前記シーケンス初期化情報と前記ピクチャ初期化情報を参照して、前記サブピクチャ格納単位に格納された前記符号化データを復号する復号ステップとを含み、前記決定ステップは、前記通常再生時には全てのピクチャを復号すると決定し、前記特殊再生時には、特殊再生を行う際に復号が必要なピクチャを選択することを特徴とする。

また、上記目的を達成するために、本発明の多重化方法は、動画像を符号化し、符号化ストリームと符号化ストリームの管理情報を多重化して記録する多重化方法であって、動画像を符号化して符号化ストリームを生成する符号化ステップと、前記符号化された符号化ストリームをパケット化するパケット化ステップと、前記パケット化された符号化ストリームからピクチャデータを分離する際に必要なアクセス情報を作成するアクセス情報作
成ステップと、前記アクセス情報を含む管理情報と、前記パケット化された符号化ストリームを多重化する多重化ステップと、前記多重化された多重化データを記録する記録ステップとを含み、前記符号化ステップは、上述の画像符号化方法により符号化ストリームを生成することを特徴とする。

また、上記目的を達成するために、本発明のプログラムは、コンピュータにより上述の画像符号化方法を行うためのプログラムであって、１以上の前記ピクチャをまとめたランダムアクセス単位は、高速再生や逆再生などの特殊再生時に復号するピクチャと、全ピクチャを復号して表示する通常再生時にのみ復号するピクチャとから構成されるように、ピクチャの画素を符号化して画素の符号化データを生成する符号化ステップと、前記ピクチャを復号する際に参照する初期化情報のうち、前記ランダムアクセス単位を構成する全ピクチャに対して有効であるシーケンス初期化情報を生成するシーケンス初期化情報生成ステップと、前記ピクチャを復号する際に参照する初期化情報のうち、前記ランダムアクセス単位を構成する個々のピクチャに対して設定できるピクチャ初期化情報を生成するピクチャ初期化情報生成ステップと、前記生成された画素の符号化データ、シーケンス初期化情報、あるいはピクチャ初期化情報を、それぞれ異なるサブピクチャ単位に格納する格納ステップと、前記作成された符号化データのサブピクチャ単位を必ず含み、シーケンス初期化情報、あるいはピクチャ初期化情報のサブピクチャ単位を選択的に含むピクチャ格納単位を作成するピクチャ格納単位作成ステップとを含み、ピクチャ格納単位作成ステップは、前記特殊再生時に復号するピクチャのピクチャ初期化情報が、同一ピクチャ格納単位、あるいは、前記ランダムアクセス単位において復号順が前であり、かつ前記特殊再生時に復号するピクチャを格納するピクチャ格納単位から取得できるように、前記ピクチャ初期化情報のサブピクチャ単位を格納することを特徴とする。

また、上記目的を達成するために、本発明のプログラムは、コンピュータにより上述の画像復号方法を行うためのプログラムであって、上記プログラムはコンピュータに、上述の画像符号化方法により符号化された符号化データを復号するプログラムであって、復号するピクチャを決定する決定ステップと、前記決定されたピクチャのピクチャ格納単位から前記シーケンス初期化情報と前記ピクチャ初期化情報を取得する初期化情報取得ステップと、前記取得した前記シーケンス初期化情報と前記ピクチャ初期化情報を参照して、前記サブピクチャ格納単位に格納された前記符号化データを復号する復号ステップとを含み、前記決定ステップは、前記通常再生時には全てのピクチャを復号すると決定し、前記特殊再生時には、特殊再生を行う際に復号が必要なピクチャを選択することを特徴とするプログラムである。

なお、本発明は、上記画像符号化装置及び画像復号装置やそれらのプログラムなどだけでなく、そのプログラムを格納する記憶媒体や、画像符号化装置で生成されたストリームとしても実現することができる。

以上のように、本発明によれば、ストリーム中のランダムアクセスユニットＲＡＵにおいて、可変速再生時に復号されるＡＵのみを選択しても、当該ＡＵの復号に必要なＰＰＳを適切に取得してそのＡＵを復号することができる。したがって、可変速再生に対応した優れた画像符号化装置及び画像復号装置を容易に実現することができ、その実用的価値が高い。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の画像符号化方法を実現する画像符号化装置のブロック図である。

同図において、図２４の従来の画像符号化方法を実現する画像符号化装置の各構成要素と同じ動作をする構成要素には同じ番号を付し、詳細な説明を省略する。

従来の画像符号化装置との違いは、可変速再生や逆再生などの特殊再生時に復号されるＡＵを選択すれば、当該ＡＵの復号に必要なＰＰＳが取得できるように、ＰＰＳのＮＡＬユニットが配置されていることである。以降、特殊再生時に復号されるＡＵを、特再ＡＵと呼ぶことにする。特殊再生時には、全ての特再ＡＵの復号結果を表示してもよいし、１以上の特再ＡＵを選択して表示してもよい。

特再ＡＵとは、例えば、ＩピクチャおよびＰピクチャのＡＵを示す。ここで、ＰピクチャのＡＵがＢピクチャのＡＵを参照しないなどの制約を設ければ、特殊再生時に特再ＡＵのみを復号することができる。また、他のＡＵから参照されるＢピクチャと参照されないＢピクチャを区別して、Ｉピクチャ、Ｐピクチャ、および他のＡＵから参照されるＢピクチャのＡＵを特再ＡＵとしてもよい。

画像符号化装置１０は、従来の画像符号化装置における各構成要素に加えて、ＰＰＳ配置決定部１５を備える。ＰＰＳ配置決定部１５は、新規ＰＰＳフラグｆｌｇの値、ＰＰＳ情報ＰＰＳｏｕｔ、および生成しているＡＵが特再ＡＵであるかどうかを示す特再ＡＵ情報ｔｒｋに基づいて、ＡＵにＰＰＳを格納するかどうか判定する。ＰＰＳ配置決定部１５は、格納すると判定された際には、ＰＰＳ作成フラグｍｋを１にセットし、格納しないと判定された際には前記フラグを０にセットしてＰＰＳ作成部１６に出力する。ここで、ＰＰＳ作成フラグｍｋが１にセットされている際には、ＰＰＳ配置決定部１５は、ＰＰＳを作成するためのＰＰＳ情報ＰＰＳｍｋも合わせて、ＰＰＳ作成部１６に出力する。ＰＰＳ作成部１６は、ＰＰＳ作成フラグｍｋが１にセットされている際には、ＰＰＳ情報ＰＰＳｍｋに基づいてＰＰＳのＮＡＬユニットを作成する。ここで、特再ＡＵ情報ｔｒｋは図示しない手段、あるいは、スライス符号化部１１から別途取得する。

図２は、本発明の画像符号化方法の処理を示すフローチャートである。

同図において、図２５の従来の画像符号化方法の処理を示すフローチャートと同じ処理を行うステップには同じ符号を付し、説明を省略する。ステップＳ１０４では、ステップＳ１０３における判定結果、および、生成中のＡＵが特再ＡＵであるかどうかを示す情報に基づいて、特再ＡＵの復号に必要なＰＰＳが特再ＡＵから取得できるように、画像符号化装置１０は、当該ＡＵにＰＰＳを格納するかどうかを判定し、ステップＳ１０５に進む。

ＰＰＳを格納すると判定された際には（ステップＳ１０５のはい）、ステップＳ１０６に進んでＰＰＳを作成し、その後ステップＳ１０７に進んで１ＡＵ分のデータを作成する。

一方、ＰＰＳを格納しないと判定された際には（ステップＳ１０５のいいえ）、直接ステップＳ１０７に進む。

ステップＳ１０７では、ステップＳ１０５においてＰＰＳを格納すると判定された場合には、ステップＳ１０６で作成されたＰＰＳをＡＵに含め、１ＡＵ分のデータを生成して出力する。なお、特再ＡＵではないＡＵにおいて既に格納されたＰＰＳを、特再ＡＵにおいて再び格納する際には、ステップＳ１０６において改めてＰＰＳを作成せずに、保持しておいたＰＰＳを、ステップＳ１０７において格納してもよい。

また、特再ＡＵについては、例えばＩピクチャとＰピクチャを特再ピクチャとするなどピクチャの符号化タイプに応じて決定してもよいし、ピクチャ間の予測構造に応じて動的に決定してもよい。

図３は、ステップＳ１０４の処理を詳細に示すフローチャートである。

ここで、ＰＰＳ作成フラグｍｋの初期値を０とする。ステップＳ２０１では、画像符号化装置１０は、ステップＳ１０３においてセットされた新規ＰＰＳフラグｆｌｇが１であるかどうか（ＰＰＳが新規であるか否か）を判定する。新規ＰＰＳフラグｆｌｇが１である際には、画像符号化装置１０は、ステップＳ２０４に進み、新規ＰＰＳフラグｆｌｇが０である際には、ステップＳ２０２に進む。ステップＳ２０２では、画像符号化装置１０は、特再ＡＵ情報ｔｒｋに基づいて、作成中のＡＵが特再ＡＵであるかどうか判定し、特再ＡＵである際にはステップＳ２０３に進み、特再ＡＵでなければ図２のステップＳ１０５に進む。

ステップＳ２０３では、画像符号化装置１０は、同一ランダムアクセスユニットＲＡＵのなかで復号順が前の特再ＡＵにおいて、当該ＰＰＳが格納されたかどうかを判定する。既に格納されていた場合には処理を終了し、格納されていなければステップＳ２０４に進む。ステップＳ２０４では、画像符号化装置１０は、ＰＰＳ作成フラグｍｋを１にセットして図２のステップＳ１０５に進む。

なお、ＰＰＳの更新方法には、ＰＰＳの識別子となるＩＤ番号が異なるＰＰＳを新規に作成する、あるいは同一ＩＤ番号のＰＰＳを上書きする、という２通りの方法があるが、同一ＩＤ番号のＰＰＳを上書きした際には、上書き前のＰＰＳは無効となる。従って、ステップ１０３およびステップ１０４における判定処理では、ＰＰＳのＩＤ番号だけでなく、ＰＰＳにより示される情報自体を比較する必要がある。ただし、運用規格等において、同一ＩＤ番号のＰＰＳを上書きすることが禁止されている際には、ＩＤ番号により識別してもよい。

図４は、本発明の画像符号化方法により作成されたストリームにおけるランダムアクセスユニットＲＡＵの構造例を示す。

図４の（ａ）に示すように、ランダムアクセスユニットＲＡＵは復号順にＡＵ１からＡＵ１５までの１５個のＡＵから構成される。また、ＡＵ１、ＡＵ４、ＡＵ７、ＡＵ１０、ＡＵ１３の５個のＡＵは特再ＡＵであるとする。ここで、ＡＵ１、ＡＵ４、ＡＵ７、ＡＵ１０、ＡＵ１３は、それぞれＰＰＳとしてＰＰＳ＃１、ＰＰＳ＃３、ＰＰＳ＃２、ＰＰＳ＃３、ＰＰＳ＃１を参照する。さらに、ＡＵ６は、ＰＰＳ＃２を参照し、かつ、ランダムアクセスユニットＲＡＵにおいてＰＰＳ＃２を格納する先頭ＡＵであるとする。また、ＡＵ２とＡＵ３はＰＰＳ＃１を参照し、ＡＵ５はＰＰＳ＃３を参照する。

図４の（ｂ）は、各ＡＵに格納されるＰＰＳのＮＡＬユニットを示す。ＰＰＳ＃１はＡＵ１において、ＰＰＳ＃３はＡＵ４において、ランダムアクセスユニットＲＡＵで最初に参照される。したがって、ＰＰＳ＃１及びＰＰＳ＃３はそれぞれＡＵ１とＡＵ４に格納される。次に、ＰＰＳ＃２はＡＵ６において格納されるが、ＡＵ７はＰＰＳ＃２を参照する最初の特再ＡＵであるため、ＡＵ７にもＰＰＳ＃２が格納される。ＡＵ１０とＡＵ１３は、それぞれＰＰＳ＃３とＰＰＳ＃１を参照するが、これらは共に、特再ＡＵであるＡＵ４とＡＵ１において既に格納されているため、ＡＵ１０とＡＵ１３においては格納されない。

なお、特再ＡＵにおいては、当該ＡＵが参照するＰＰＳを必ずそのＡＵ自身に格納することにしてもよい。

図４の（ｃ）は、特再ＡＵが参照するＰＰＳが必ずその特再ＡＵ自身に格納するときのＰＰＳ格納例を示す。この図４の（ｃ）に示すように、ＡＵ１０とＡＵ１３がそれぞれ参照するＰＰＳ＃３とＰＰＳ＃１は、特再ＡＵであるＡＵ４とＡＵ１において既に格納されているが、ＡＵ１０とＡＵ１３において再度格納される。

なお、ＰＰＳのＮＡＬユニットは１ＡＵ内に複数格納できるため、ランダムアクセスユニットＲＡＵの先頭ＡＵに、ランダムアクセスユニットＲＡＵ内のＡＵの復号に必要なＰＰＳを全て格納してもよいし、あるいは、特再ＡＵの復号に必要なＰＰＳを全て格納してもよい。

また、よく用いられる１以上のＰＰＳについてはデフォルトのＰＰＳとしてランダムアクセス単位ＲＡＵの先頭ＡＵに格納し、先頭ＡＵあるいは後続ＡＵにおいてデフォルトのＰＰＳとは異なるＰＰＳを参照する際には、当該ピクチャにおいて逐次ＰＰＳを格納してもよい。デフォルトのＰＰＳは、例えば、Ｉピクチャ、Ｐピクチャ、参照されるＢピクチャ、あるいは参照されないＢピクチャなど符号化のタイプに応じて用意しておける。

また、特再ＡＵの復号に必要なＰＰＳを、ランダムアクセスユニットＲＡＵの先頭ＡＵと、各特再ＡＵの両方に格納してもよい。

なお、特再ＡＵ以外のＡＵについても、当該ＡＵが参照するＰＰＳを必ず格納することにしてもよい。

なお、特再ＡＵにおいて、ランダムアクセスユニットＲＡＵ内で当該特再ＡＵよりも復号順が後である、特再ＡＵ以外のＡＵの復号に必要なＰＰＳを格納してもよい。例えば、ランダムアクセスユニットＲＡＵの先頭ＡＵに、特再ＡＵ以外の全てのＡＵを復号する際に必要なＰＰＳを格納する。こうすることで、ランダムアクセスユニットＲＡＵの途中のＡＵまではＩピクチャとＰピクチャのＡＵのみを復号、表示し、以降のＡＵについては全ＡＵを復号、表示するなど、特殊再生から通常再生に復帰する際にも、スキップしたＡＵに格納されるＰＰＳを取得することなしに、通常再生に復帰した後の全ＡＵの復号に必要なＰＰＳを取得できる。

次に、ＳＰＳが示す情報には、量子化マトリックスのように、ＰＰＳにより上書きできる情報が含まれる。例えば、あるＡＵがＩＤ番号１のＳＰＳ（ＳＰＳ（１）とする）、および、ＩＤ番号２のＰＰＳ（ＰＰＳ（２）とする）を参照し、ＳＰＳ（１）における量子化マトリックスがＰＰＳ（２）により上書きされている際には、ＡＵの復号時にはＰＰＳ（２）に示される量子化マトリックスを使用する。ＡＵが参照するＳＰＳは、ＩＤＲピクチャのＡＵにおいてのみ切替え可能であるため、ランダムアクセスユニットＲＡＵ内のＡＵが参照するＳＰＳを切替える際には、通常ランダムアクセスユニットＲＡＵの先頭ＡＵをＩＤＲピクチャのＡＵとする。しかしながら、ＩＤＲピクチャのＡＵを使うと、復号順で後のＡＵが、ＩＤＲピクチャより前のＡＵを参照できないため、符号化効率が低下することがある。ここで、ＳＰＳのうち、ＰＰＳにより更新可能なパラメータのみが更新される際には、ＳＰＳは更新せずに、ＰＰＳの更新により対応することができる。

図５は、ランダムアクセスユニットＲＡＵの先頭ＡＵに格納するＳＰＳを、直前のランダムアクセスユニットＲＡＵのＡＵが参照するＳＰＳから更新するかどうかを決定する処理を示すフローチャートである。

まず、ステップＳ３０１において、画像符号化装置１０は、先頭ＡＵが参照するＳＰＳ情報と、直前のランダムアクセスユニットＲＡＵのＡＵが参照するＳＰＳ情報とが異なる
かどうか判定する。画像符号化装置１０は、両者が異なると判定された際には、ステップＳ３０３に進み、同一であると判定されれば、ステップＳ３０２に進む。ここで、ＳＰＳ情報とは、ＳＰＳにおいてのみ設定できる情報と、ＰＰＳにおいて更新可能な情報を共に含むとする。

ステップＳ３０２では、画像符号化装置１０は、ＳＰＳの更新は不要であり、ＰＰＳによりＳＰＳの情報を更新する必要もないと決定する。

ステップＳ３０３では、画像符号化装置１０は、両者の相違点がＰＰＳにより更新可能なデータ（ＳＰＳｖａｒｉとする）のみであるかどうかを判定する。画像符号化装置１０は、違いがＳＰＳｖａｒｉのみであると判定された際には、ステップＳ３０５に進み、ＳＰＳｖａｉｒ以外にも相違点があると判定された際には、ステップＳ３０４に進む。ステップＳ３０４では、画像符号化装置１０は、ＳＰＳを更新すると決定して処理を終了する。ステップＳ３０５では、画像符号化装置１０は、ＳＰＳを更新せずに、ＳＰＳｖａｒｉの更新情報を含むＰＰＳをＡＵに格納すると決定して処理を終了する。

処理結果により、ＳＰＳを更新しないと決定された際には、ランダムアクセスユニットＲＡＵの先頭ＡＵをＩＤＲピクチャのＡＵとせずに、ＩＤＲピクチャ以外のＩピクチャのＡＵとすることができる。なお、シーンチェンジなど、ランダムアクセスユニットＲＡＵの先頭ＡＵをＩＤＲピクチャのＡＵとしたい場合には、上記判定処理を行わなくてもよい。

図６Ａおよび図６Ｂは、図５の方法により作成したランダムアクセスユニットＲＡＵのデータ構造例を示す。

図６Ａでは、連続する２つのランダムアクセスユニットＲＡＵであるＲＡＵ＃１とＲＡＵ＃２において参照されるＳＰＳデータの違いは、ＰＰＳにより更新可能なデータであるＳＰＳｖａｒｉ＃１のみである。このとき、ＲＡＵ＃２においては、ＳＰＳｖａｒｉ＃１のデータを含むＰＰＳを先頭ＡＵに含めることにより、ＩピクチャのＡＵを先頭とすることができる。

図６Ｂでは、ＲＡＵ＃１内のＡＵにおいて、ＳＰＳｖａｒｉ＃１がＰＰＳにより更新されており、ＲＡＵ＃２においても更新後のＳＰＳ情報が使用される。このときも、ＲＡＵ＃２の先頭ＡＵに格納するＰＰＳはＳＰＳｖａｒｉ＃１を含む。

なお、特再ＡＵのみを復号すれば特再ＡＵの復号に必要なＰＰＳが取得できることが保証されていることを示すフラグ情報をランダムアクセスユニットＲＡＵ内に示してもよい。例えば、ＳＰＳやＰＰＳなどのＮＡＬユニットのヘッダにおけるｎａｌ＿ｒｅｆ＿ｉｄｃフィールド、あるいは、別途タイプを定義したＮＡＬユニット、ＳＥＩメッセージなどにフラグ情報を格納することができる。ここで、ｎａｌ＿ｒｅｆ＿ｉｄｃフィールドとは、ＮＡＬユニットのタイプ毎に０あるいは１以上の値をとることが定められた２ビットのフィールドであり、例えばＳＰＳやＰＰＳのＮＡＬユニットでは１以上の値をとる。このため、１以上のいずれかの値により上記フラグ情報を示すことができる。

また、ランダムアクセスユニットＲＡＵの先頭ＡＵに、ランダムアクセスユニットＲＡＵ内のＡＵを復号する際に必要な全てのＰＰＳが格納されることを示すフラグ情報を示してもよい。

なお、上記ではＰＰＳの格納方法について説明したが、アクセスユニット単位の初期化情報、あるいは、複数のアクセスユニットから共通に参照される初期化情報を更新するた
めの情報であれば、ＰＰＳ以外の情報であってもよい。

（変形例）
上記実施の形態の画像符号化装置１０は、対象とするＡＵが特再ＡＵであるか否かを判断して、特再ＡＵである場合には、その特再ＡＵを復号するために参照されるＰＰＳをその特再ＡＵか、その特再ＡＵよりも復号順で前の特再ＡＵに格納した。

本変形例の画像符号化装置は、対象とするＡＵが特再ＡＵであるか否かを判断することなく、対象とするＡＵを復号するために参照されるＰＰＳを、ランダムアクセスユニットＲＡＵの先頭のＡＵか、そのＰＰＳを参照するＡＵ自身に格納する。

ここで、ランダムアクセスユニットＲＡＵの先頭のＡＵは特再ＡＵであるため、ＰＰＳを上述のように先頭のＡＵか、ＰＰＳを参照するＡＵ自身に格納しておけば、特殊再生時においても、適切に且つ迅速にＰＰＳを取得して、ＡＵ（ピクチャ）を復号することができる。

図７は、本変形例に係る画像符号化方法の処理の一部を示すフローチャートである。

本変形例に係る画像符号化方法は、図２に示す画像符号化方法と比べて、ステップＳ１０３及びステップＳ１０４の処理が異なる。即ち、本変形例に係る画像符号化方法は、図２に示すステップＳ１０３及びステップＳ１０４の処理の代わりに、図７に示すステップＳ１００１及びステップＳ１００２の処理を行う。

具体的に、画像符号化装置は、対象とするＡＵのＰＰＳがランダムアクセスユニットＲＡＵの先頭のＡＵに既に格納されているＰＰＳであるか否かを判別する（ステップＳ１００１）。

ここで、画像符号化装置は、先頭のＡＵに既に格納されているＰＰＳであると判別したときには（ステップＳ１００１のはい）、ＰＰＳ作成フラグｍｋが０にセットされた状態を維持したまま、図２のステップＳ１０５の処理を行う。

一方、画像符号化装置は、先頭のＡＵに既に格納されているＰＰＳではないと判別したときには（ステップＳ１００１のいいえ）、ＰＰＳ作成フラグｍｋを１にセットして（ステップＳ１００２）、図２のステップＳ１０５の処理を行う。

なお、このような画像符号化方法では、ランダムアクセスユニットＲＡＵの先頭のＡＵに、複数のＰＰＳを予め格納しておいても、格納しておかなくてもよい。

複数のＰＰＳが予め格納されている場合には、対象とするＡＵに参照されるＰＰＳは、上記先頭のＡＵに予め格納されている複数のＰＰＳと比較される。そして、対象とするＡＵのＰＰＳがその複数のＰＰＳの何れとも異なる場合に、その対象とするＡＵ自身にそのＰＰＳが格納される。

一方、ＰＰＳが予め格納されていない場合には、先頭のＡＵには、その先頭のＡＵに参照されるＰＰＳが格納される。そして、他の各ＡＵについても同様に、ＡＵには、そのＡＵに参照されるＰＰＳが格納される。

また、ランダムアクセスユニットＲＡＵの先頭のＡＵには、ランダムアクセスユニットＲＡＵに含まれる各ＡＵを復号するために参照される全てのＰＰＳを格納してもよい。このような場合、例えば、画像符号化装置は、ランダムアクセスユニットＲＡＵに含まれるべき全てのピクチャを符号化した後に、全てのＰＰＳを先頭のＡＵに格納する。

なお、先頭ＡＵには複数のＰＰＳを格納できるが、同時に格納されるＰＰＳの個数が増加するにつれて復号時の処理負荷も増大する。従って、先頭ＡＵにおいて同時に格納できるＰＰＳの個数に上限を設けてもよい。上限値は、ランダムアクセスユニットＲＡＵを構成するピクチャの枚数の上限値に基づいて、あるいは処理負荷を考慮して決定できる。例えば、ランダムアクセスユニットＲＡＵに格納できるフレーム数の上限値が１５枚であれば、ＰＰＳの個数の上限値を１５個としてもよい。このとき、上限値の制約から先頭ＡＵに格納できないＰＰＳについては、当該ＰＰＳを参照するＡＵにおいて格納される。

また、本方法によれば、ランダムアクセスユニットＲＡＵ内の先頭ＡＵ以降のＡＵにおいて格納されるＰＰＳの個数は０又は１とすることができ、ＰＰＳを効率的に格納できる。

このように本変形例では、生成されたランダムアクセスユニットＲＡＵには、各ＡＵの復号に必要なＰＰＳが、ランダムアクセスユニットＲＡＵの先頭のＡＵか、そのＡＵに格納されている。したがって、このようなランダムアクセスユニットＲＡＵに含まれる全てのＡＵのうち、少なくとも先頭のＡＵを選択して再生するような特殊再生を行う場合であっても、選択されたＡＵの復号に必要なＰＰＳを取り損ねることなく、適切に且つ迅速に取得して、その選択されたＡＵを復号することができる。その結果、特殊再生をスムーズに行うことができる。

（実施の形態２）
図８は、本発明の画像復号方法を実現する画像復号装置のブロック図である。

同図において、図２６の従来の画像復号方法を実現する画像復号化装置の各構成要素と同じ動作をする構成要素には同じ番号を付し、詳細な説明を省略する。従来の画像復号装置との違いは、可変速再生や逆再生などの特殊再生時に、特再ＡＵのみを選択して復号することである。

本発明の画像復号装置２０は、従来の画像復号装置における各構成要素に追加して、復号判定部２１を備える。画像復号装置２０には、実施の形態１に係る本発明の画像符号化装置により符号化されたＭＰＥＧ−４ ＡＶＣのストリーム（ＡＶＣストリームｓｔ）が入力される。

ＡＵ境界検出部２８は、各ＡＵの境界を検出して各ＡＵを分離し、分離した各ＡＵを復号するかどうかを判定するために必要な判定情報ｌｓｔを取得して復号判定部２１に出力する。特殊再生時には、復号判定部２１に特再命令ｔｒｋｐｌｙが入力される。

復号判定部２１は、特再命令ｔｒｋｐｌｙが入力されると、判定情報ｌｓｔに基づいてＡＵが特再ＡＵであるかどうか判定し、特再ＡＵである際には、復号命令ｓｗをＡＵ境界検出部２８に出力する。なお、全ＡＵを復号して表示する通常再生時には、特再命令ｔｒｋｐｌｙは入力されず、復号判定部２１は全ＡＵに対して復号命令ｓｗを出力する。

ＡＵ境界検出部２８は、復号命令ｓｗが入力されると、各構成要素に対して復号に必要な情報を出力する。具体的には、ＡＵ内にＰＰＳのＮＡＬユニットが含まれる際には、ＰＰＳのＮＡＬユニットＰＰＳｎａｌをＰＰＳ取得部２３に出力し、その他のＮＡＬユニットＤｎａｌを復号情報取得部２５に出力する。なお、復号判定部２１に特再命令ｔｒｋｐｌｙが入力された場合にのみ、復号判定部２１に判定情報ｌｓｔを入力することにしてもよい。

図９は、画像復号装置２０において１ＡＵのデータを復号する際の動作を示すフローチャートである。

まず、ステップＳ４０１において、画像復号装置２０は、ＡＵを復号するかどうか決定する。特殊再生時には、ＡＵが特再ＡＵであるかどうか判定し、特再ＡＵである場合にのみ復号すると決定する。なお、画像復号装置２０は、特殊再生時には必ず、ランダムアクセスユニットＲＡＵの先頭のＡＵは特再ＡＵであると判定する。通常再生時には、全ＡＵを復号すると決定する。

ステップＳ４０２では、ステップＳ４０１においてＡＵを復号すると決定された際には、画像復号装置２０は、ステップＳ４０３に進み、復号しないと決定された場合には処理を終了する。ステップＳ４０３では、画像復号装置２０は、ＳＰＳのＮＡＬユニットをサーチして、ＳＰＳのＮＡＬユニットが検出されればステップＳ４０４においてＳＰＳのデータを取得し、検出されなければステップＳ４０５に進む。ステップＳ４０５では、画像復号装置２０は、ＰＰＳのＮＡＬユニットをサーチして、ＰＰＳのＮＡＬユニットが検出されればステップＳ４０６においてＰＰＳのデータを取得し、検出されなければステップＳ４０７に進む。ステップＳ４０７では、画像復号装置２０は、スライスデータのＮＡＬユニットを分離し、現在のＡＵ、あるいはランダムアクセスユニットＲＡＵにおいて復号順で前のＡＵから取得したＳＰＳとＰＰＳのデータに基づいてスライスデータを復号する。

ここで、判定情報ｌｓｔを決定するときには、Ａｃｃｅｓｓ Ｕｎｉｔ Ｄｅｌｉｍｉｔｅｒにおいてピクチャのタイプを示すｐｒｉｍａｒｙ＿ｐｉｃ＿ｔｙｐｅの値、スライスヘッダにおいてスライスのタイプを示すｓｌｉｃｅ＿ｔｙｐｅの値、あるいは、ＳＰＳ、ＰＰＳ、スライスなどのＮＡＬユニットにおけるｎａｌ＿ｒｅｆ＿ｉｄｃフィールドの値など、ＡＶＣストリーム内の各情報から判定情報ｌｓｔを決定してもよいし、特再ＡＵの一覧情報が提供される際には当該情報に従ってもよい。ＡＶＣストリームを光ディスクなどの記録媒体に記録する際の多重化フォーマットにおける管理情報により示される情報から判定情報ｌｓｔを決定してもよい。

なお、特再ＡＵの復号に必要なＰＰＳが特再ＡＵから取得できることが保証されないＡＶＣストリームｓｔの入力に対応するために、特殊再生時に、特再ＡＵ以外のＡＵについてもＰＰＳをサーチして取得、保持しておいてもよい。これらのＡＵについては、スライスデータのＮＡＬユニット、あるいはスライスデータにおけるマクロブロックデータの解析は行わなくてもよい。

（実施の形態３）
図１０は、本発明の画像符号化装置により出力されるＡＶＣストリームｓｔを多重化して光ディスクやハードディスクなどの記録媒体に記録する多重化装置のブロック図である。

多重化装置３０は、画像符号化部１０、メモリ３２、ストリーム解析部３１、管理情報作成部３３、多重化部３４、および記録部３５を備える。ここで、画像符号化部１０は、実施の形態１に係る本発明の画像符号化装置と同一である。

画像符号化部１０は、入力された動画像データＶｉｎを圧縮符号化してＡＶＣストリームｓｔを生成し、メモリ３２に記録する。

ストリーム解析部３１は、メモリ３２に記録されたＡＶＣストリームデータｏｕｔ１を読み出し、ＡＵの復号時刻、表示時刻、ＡＵがランダムアクセスユニットＲＡＵの先頭Ａ
Ｕであるかどうかを示す情報、あるいは画像サイズやビデオフォーマットについての情報などを取得して解析し、解析結果ＳＴｉｎｆを管理情報作成部３３に出力する。

管理情報作成部３３は、解析結果ＳＴｉｎｆに基づいてＡＶＣストリームｓｔへのアクセス情報、ビデオフォーマットやアスペクト比などの属性情報、およびプレイリスト情報などを含む管理情報Ｄｂを作成し、多重化部３４に出力する。

多重化部３４は、管理情報Ｄｂと、メモリ３２から読み出したＡＶＣストリームデータｏｕｔ２とを多重化して、多重化データＭｕｘを作成し、記録部３５に出力する。多重化の方式は、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）のＲｅａｄ Ｏｎｌｙ ＦｏｒｍａｔやＲｅｗｒｉｔａｂｌｅ Ｆｏｒｍａｔにより規格化された方式であるとするが、ＭＰＥＧで規格化されたファイルフォーマットであるＭＰ４に準拠した方式など、他の多重化方式であってもよい。なお、Ｒｅａｄ Ｏｎｌｙ ＦｏｒｍａｔやＲｅｗｒｉｔａｂｌｅ Ｆｏｒｍａｔにおいては、ＭＰＥＧ−４ ＡＶＣの符号化ストリームはＭＰＥＧ−２ ＴＳにパケット化されてから多重化される。

なお、特再ＡＵのみを復号すれば特再ＡＵの復号に必要なＰＰＳが取得できることが保証されていることを示すフラグ情報を多重化データの管理情報に格納してもよい。あるいは、ランダムアクセスユニットＲＡＵの先頭ＡＵに、ランダムアクセスユニットＲＡＵ内の全てのＰＰＳが格納されることを示すフラグ情報を多重化データの管理情報に格納してもよい。

（実施の形態４）
特殊再生機能は、パッケージメディアを再生する光ディスク機器においては特に重要である。ここで、次世代の光ディスクであるＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）において、実施の形態３に係る多重化装置の多重化データＭｕｘを記録する例について説明する。

まず、ＢＤ−ＲＯＭの記録フォーマットについて説明する。

図１１は、ＢＤ−ＲＯＭの構成、特にディスク媒体であるＢＤディスク１０４と、ディスクに記録されているデータ１０１、１０２および１０３の構成を示す図である。ＢＤディスク１０４に記録されるデータは、ＡＶデータ１０３と、ＡＶデータに関する管理情報およびＡＶ再生シーケンスなどのＢＤ管理情報１０２と、インタラクティブを実現するＢＤ再生プログラム１０１である。本実施の形態では、説明の都合上、映画のＡＶコンテンツを再生するためのＡＶアプリケーションを主眼においてのＢＤディスクの説明を行うが、他の用途として用いても勿論同様である。

図１２は、上述したＢＤディスクに記録されている論理データのディレクトリ・ファイル構成を示した図である。ＢＤディスクは、他の光ディスク、例えばＤＶＤやＣＤなどと同様にその内周から外周に向けてらせん状に記録領域を持ち、内周のリード・インと外周のリード・アウトの間に論理データを記録できる論理アドレス空間を有している。また、リード・インの内側にはＢＣＡ（Ｂｕｒｓｔ Ｃｕｔｔｉｎｇ Ａｒｅａ）と呼ばれるドライブでしか読み出せない特別な領域がある。この領域はアプリケーションから読み出せないため、例えば著作権保護技術などに利用されることがある。

論理アドレス空間には、ファイルシステム情報（ボリューム）を先頭に映像データなどのアプリケーションデータが記録されている。ファイルシステムとは従来技術で説明した通り、ＵＤＦやＩＳＯ９６６０などのことであり、通常のＰＣと同じように記録されている論理データをディレクトリ、ファイル構造を使って読み出しすることが可能になっている。

本実施例の場合、ＢＤディスク上のディレクトリ、ファイル構造は、ルートディレクトリ（ＲＯＯＴ）直下にＢＤＶＩＤＥＯディレクトリが置かれている。このディレクトリはＢＤで扱うＡＶコンテンツや管理情報などのデータ（図１１で説明した１０１、１０２、１０３）が格納されているディレクトリである。

ＢＤＶＩＤＥＯディレクトリの下には、次の７種類のファイルが記録されている。

・ＢＤ．ＩＮＦＯ（ファイル名固定）
「ＢＤ管理情報」の１つであり、ＢＤディスク全体に関する情報を記録したファイルである。ＢＤプレーヤは最初にこのファイルを読み出す。
・ＢＤ．ＰＲＯＧ（ファイル名固定）
「ＢＤ再生プログラム」の１つであり、ＢＤディスク全体に関わる再生制御情報を記録したファイルである。
・ＸＸＸ．ＰＬ（「ＸＸＸ」は可変、拡張子「ＰＬ」は固定）
「ＢＤ管理情報」の１つであり、シナリオ（再生シーケンス）であるプレイリスト情報を記録したファイルである。プレイリスト毎に１つのファイルを持っている。
・ＸＸＸ．ＰＲＯＧ（「ＸＸＸ」は可変、拡張子「ＰＲＯＧ」は固定）
「ＢＤ再生プログラム」の１つであり、前述したプレイリスト毎の再生制御情報を記録したファイルである。プレイリストとの対応はファイルボディ名（「ＸＸＸ」が一致する）によって識別される。
・ＹＹＹ．ＶＯＢ（「ＹＹＹ」は可変、拡張子「ＶＯＢ」は固定）
「ＡＶデータ」の１つであり、ＶＯＢ（従来例で説明したＶＯＢと同じ）を記録したファイルである。ＶＯＢ毎に１つのファイルを持っている。
・ＹＹＹ．ＶＯＢＩ（「ＹＹＹ」は可変、拡張子「ＶＯＢＩ」は固定）
「ＢＤ管理情報」の１つであり、ＡＶデータであるＶＯＢに関わるストリーム管理情報を記録したファイルである。ＶＯＢとの対応はファイルボディ名（「ＹＹＹ」が一致する）によって識別される。
・ＺＺＺ．ＰＮＧ（「ＺＺＺ」は可変、拡張子「ＰＮＧ」は固定）
「ＡＶデータ」の１つであり、字幕およびメニューを構成するためのイメージデータＰＮＧ（Ｗ３Ｃによって標準化された画像フォーマットであり「ピング」と読む）を記録したファイルである。１つのＰＮＧイメージ毎に１つのファイルを持つ。

図１３から図１８を用いて、ＢＤのナビゲーションデータ（ＢＤ管理情報）構造について説明をする。

図１３は、ＶＯＢ管理情報ファイル（“ＹＹＹ．ＶＯＢＩ”）の内部構造を示した図である。

ＶＯＢ管理情報は、当該ＶＯＢのストリーム属性情報（Ａｔｔｒｉｂｕｔｅ）とタイムマップ（ＴＭＡＰ）を有している。ストリーム属性は、ビデオ属性（Ｖｉｄｅｏ）、オーディオ属性（Ａｕｄｉｏ＃０〜Ａｕｄｉｏ＃ｍ）個々に持つ構成となっている。特にオーディオストリームの場合は、ＶＯＢが複数本のオーディオストリームを同時に持つことができることから、オーディオストリーム数（Ｎｕｍｂｅｒ）によって、データフィールドの有無を示している。

下記はビデオ属性（Ｖｉｄｅｏ）の持つフィールドと夫々が持ち得る値である。

・圧縮方式（Ｃｏｄｉｎｇ）：
ＭＰＥＧ−１
ＭＰＥＧ−２
ＭＰＥＧ−４
ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）
・解像度（Ｒｅｓｏｌｕｔｉｏｎ）：
１９２０ｘ１０８０
１４４０ｘ１０８０
１２８０ｘ７２０
７２０ｘ４８０
７２０ｘ５６５
・アスペクト比（Ａｓｐｅｃｔ）
４：３
１６：９
・フレームレート（Ｆｒａｍｅｒａｔｅ）
６０
５９．９４（６０／１．００１）
５０
３０
２９．９７（３０／１．００１）
２５
２４
２３．９７６（２４／１．００１）

下記はオーディオ属性（Ａｕｄｉｏ）の持つフィールドと夫々が持ち得る値である。
・圧縮方式（Ｃｏｄｉｎｇ）：
ＡＣ３
ＭＰＥＧ−１
ＭＰＥＧ−２
ＬＰＣＭ
・チャンネル数（Ｃｈ）：
１〜８
・言語属性（Ｌａｎｇｕａｇｅ）：

タイムマップ（ＴＭＡＰ）はＶＯＢＵ毎の情報を持つテーブルであって、当該ＶＯＢが有するＶＯＢＵ数（Ｎｕｍｂｅｒ）と各ＶＯＢＵ情報（ＶＯＢＵ＃１〜ＶＯＢＵ＃ｎ）を持つ。個々のＶＯＢＵ情報は、ＶＯＢＵ先頭ＴＳパケット（Ｉピクチャ開始）のアドレスＩ＿ｓｔａｒｔと、そのＩピクチャの終了アドレスまでのオフセットアドレス（Ｉ＿ｅｎｄ）、およびそのＩピクチャの再生開始時刻（ＰＴＳ）から構成される。

図１４はＶＯＢＵ情報の詳細を説明する図である。

広く知られているように、ＭＰＥＧビデオストリームは高画質記録するために可変ビットレート圧縮されることがあり、その再生時間とデータサイズ間に単純な相関はない。逆に、音声の圧縮規格であるＡＣ３は固定ビットレートでの圧縮を行っているため、時間とアドレスとの関係は一次式によって求めることができる。しかしながらＭＰＥＧビデオデータの場合は、個々のフレームは固定の表示時間、例えばＮＴＳＣの場合は、１フレームは１／２９．９７秒の表示時間を持つが、個々のフレームの圧縮後のデータサイズは絵の特性や圧縮に使ったピクチャタイプ、いわゆるＩ／Ｐ／Ｂピクチャによってデータサイズは大きく変わってくる。従って、ＭＰＥＧビデオの場合は、時間とアドレスの関係は一次式の形で表現することは不可能である。

当然のこととして、ＭＰＥＧビデオデータを多重化しているＭＰＥＧシステムストリー
ム、即ちＶＯＢも時間とデータサイズとを一次式の形で表現することは不可能である。このため、ＶＯＢ内での時間とアドレスとの関係を結びつけるのがタイムマップ（ＴＭＡＰ）である。

このようにして、ある時刻情報が与えられた場合、先ずは当該時刻がどのＶＯＢＵに属するのかを検索（ＶＯＢＵ毎のＰＴＳを追っていく）して、当該時刻の直前のＰＴＳをＴＭＡＰに持つＶＯＢＵに飛び込み（Ｉ＿ｓｔａｒｔで指定されたアドレス）、ＶＯＢＵ先頭のＩピクチャから復号を開始し、当該時刻のピクチャから表示を開始する。

次に図１５を使って、プレイリスト情報（“ＸＸＸ．ＰＬ”）の内部構造を説明する。

プレイリスト情報は、セルリスト（ＣｅｌｌＬｉｓｔ）とイベントリスト（ＥｖｅｎｔＬｉｓｔ）から構成されている。

セルリスト（ＣｅｌｌＬｉｓｔ）は、プレイリスト内の再生セルシーケンスであり、本リストの記述順でセルが再生されることになる。セルリスト（ＣｅｌｌＬｉｓｔ）の中身は、セルの数（Ｎｕｍｂｅｒ）と各セル情報（Ｃｅｌｌ＃１〜Ｃｅｌｌ＃ｎ）である。

セル情報（Ｃｅｌｌ＃）は、ＶＯＢファイル名（ＶＯＢＮａｍｅ）、当該ＶＯＢ内での開始時刻（Ｉｎ）および終了時刻（Ｏｕｔ）と、字幕テーブル（ＳｕｂｔｉｔｌｅＴａｂｌｅ）を持っている。開始時刻（Ｉｎ）および終了時刻（Ｏｕｔ）は、夫々当該ＶＯＢ内でのフレーム番号で表現され、前述したタイムマップ（ＴＭＡＰ）を使うことによって再生に必要なＶＯＢデータのアドレスを得ることができる。

字幕テーブル（ＳｕｂｔｉｔｌｅＴａｂｌｅ）は、当該ＶＯＢと同期再生される字幕情報を持つテーブルである。字幕は音声同様に複数の言語を持つことができ、字幕テーブル（ＳｕｂｔｉｔｌｅＴａｂｌｅ）最初の情報も言語数（Ｎｕｍｂｅｒ）とそれに続く個々の言語毎のテーブル（Ｌａｎｇｕａｇｅ＃１〜Ｌａｎｇｕａｇｅ＃ｋ）から構成されている。

各言語のテーブル（Ｌａｎｇｕａｇｅ＃）は、言語情報（Ｌａｎｇ）と、個々に表示される字幕の字幕情報数（Ｎｕｍｂｅｒ）と、個々に表示される字幕の字幕情報（Ｓｐｅｅｃｈ＃１〜Ｓｐｅｅｃｈ＃ｊ）から構成され、字幕情報（Ｓｐｅｅｃｈ＃）は対応するイメージデータファイル名（Ｎａｍｅ）、字幕表示開始時刻（Ｉｎ）および字幕表示終了時刻（Ｏｕｔ）と、字幕の表示位置（Ｐｏｓｉｔｉｏｎ）から構成されている。

イベントリスト（ＥｖｅｎｔＬｉｓｔ）は、当該プレイリスト内で発生するイベントを定義したテーブルである。イベントリストは、イベント数（Ｎｕｍｂｅｒ）に続いて個々のイベント（Ｅｖｅｎｔ＃１〜Ｅｖｅｎｔ＃ｍ）から構成され、個々のイベント（Ｅｖｅｎｔ＃）は、イベントの種類（Ｔｙｐｅ）、イベントのＩＤ（ＩＤ）、イベント発生時刻（Ｔｉｍｅ）と有効期間（Ｄｕｒａｔｉｏｎ）から構成されている。

図１６は、個々のプレイリスト毎のイベントハンドラ（時間イベントと、メニュー選択用のユーザイベント）を持つイベントハンドラテーブル（“ＸＸＸ．ＰＲＯＧ”）である。

イベントハンドラテーブルは、定義されているイベントハンドラ／プログラム数（Ｎｕｍｂｅｒ）と個々のイベントハンドラ／プログラム（Ｐｒｏｇｒａｍ＃１〜Ｐｒｏｇｒａｍ＃ｎ）を有している。各イベントハンドラ／プログラム（Ｐｒｏｇｒａｍ＃）内の記述は、イベントハンドラ開始の定義（＜ｅｖｅｎｔ＿ｈａｎｄｌｅｒ＞タグ）と前述したイベントのＩＤと対になるイベントハンドラのＩＤ（ＩＤ）を持ち、その後に当該プログラ
ムもＦｕｎｃｔｉｏｎに続く括弧“｛”と“｝”の間に記述する。前述の“ＸＸＸ．ＰＬ”のイベントリスト（ＥｖｅｎｔＬｉｓｔ）に格納されたイベント（Ｅｖｅｎｔ＃１〜Ｅｖｅｎｔ＃ｍ）は“ＸＸＸ．ＰＲＯＧ”のイベントハンドラのＩＤ（ＩＤ）を用いて特定される。

次に図１７を用いてＢＤディスク全体に関する情報（“ＢＤ．ＩＮＦＯ”）の内部構造を説明する。

ＢＤディスク全体情報は、タイトルリスト（ＴｉｔｌｅＬｉｓｔ）とグローバルイベント用のイベントテーブル（ＥｖｅｎｔＬｉｓｔ）から構成されている。

タイトルリスト（ＴｉｔｌｅＬｉｓｔ）は、ディスク内のタイトル数（Ｎｕｍｂｅｒ）と、これに続く各タイトル情報（Ｔｉｔｌｅ＃１〜Ｔｉｔｌｅ＃ｎ）から構成されている。個々のタイトル情報（Ｔｉｔｌｅ＃）は、タイトルに含まれるプレイリストのテーブル（ＰＬＴａｂｌｅ）とタイトル内のチャプタリスト（ＣｈａｐｔｅｒＬｉｓｔ）を含んでいる。プレイリストのテーブル（ＰＬＴａｂｌｅ）はタイトル内のプレイリストの数（Ｎｕｍｂｅｒ）と、プレイリスト名（Ｎａｍｅ）即ちプレイリストのファイル名を有している。

チャプタリスト（ＣｈａｐｔｅｒＬｉｓｔ）は、当該タイトルに含まれるチャプタ数（Ｎｕｍｂｅｒ）と個々のチャプタ情報（Ｃｈａｐｔｅｒ＃１〜Ｃｈａｐｔｅｒ＃ｎ）から構成され、個々のチャプタ情報（Ｃｈａｐｔｅｒ＃）は当該チャプタが含むセルのテーブル（ＣｅｌｌＴａｂｌｅ）を持ち、セルのテーブル（ＣｅｌｌＴａｂｌｅ）はセル数（Ｎｕｍｂｅｒ）と個々のセルのエントリ情報（ＣｅｌｌＥｎｔｒｙ＃１〜ＣｅｌｌＥｎｔｒｙ＃ｋ）から構成されている。セルのエントリ情報（ＣｅｌｌＥｎｔｒｙ＃）は当該セルを含むプレイリスト名と、プレイリスト内でのセル番号によって記述されている。

イベントリスト（ＥｖｅｎｔＬｉｓｔ）は、グローバルイベントの数（Ｎｕｍｂｅｒ）と個々のグローバルイベントの情報を持っている。ここで注意すべきは、最初に定義されるグローバルイベントは、ファーストイベント（ＦｉｒｓｔＥｖｅｎｔ）と呼ばれ、ＢＤディスクがプレーヤに挿入された時、最初に呼ばれるイベントである。グローバルイベント用イベント情報はイベントタイプ（Ｔｙｐｅ）とイベントのＩＤ（ＩＤ）だけを持っている。

図１８は、グローバルイベントハンドラのプログラムのテーブル（“ＢＤ．ＰＲＯＧ”）である。本テーブルは、図１６で説明したイベントハンドラテーブルと同一内容である。

以上のようなＢＤ−ＲＯＭフォーマットにおいて、画像符号化部１０から出力されるＡＶＣストリームｓｔを格納する際には、ＶＯＢＵが１以上のランダムアクセスユニットＲＡＵから構成されるものとする。

なお、ＢＤ−ＲＯＭに多重化されたＭＰＥＧ−４ ＡＶＣのストリームにおいて、特再ＡＵのみを復号すれば特再ＡＵの復号に必要なＰＰＳが取得できることが保証されていることを示すフラグ情報、あるいは、ランダムアクセスユニットＲＡＵの先頭ＡＵにランダムアクセスユニットＲＡＵ内の全てのＰＰＳが格納されることを示すフラグ情報をＢＤ管理情報内に格納してもよい。

なお、ＥＰマップなどのアクセス情報は、バイナリデータとしてテーブルに格納してもよいし、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）などのテキ
スト形式であってもよい。

（実施の形態５）
図１９は、実施の形態４に係るＢＤディスクを再生するプレーヤの大まかな機能構成を示すブロック図である。

ＢＤディスク２０１上のデータは、光ピックアップ２０２を通して読み出される。読み出されたデータは夫々のデータの種類に応じて専用のメモリに転送される。ＢＤ再生プログラム（「ＢＤ．ＰＲＯＧ」または「ＸＸＸ．ＰＲＯＧ」ファイルの中身）はプログラム記録メモリ２０３に、ＢＤ管理情報（「ＢＤ．ＩＮＦＯ」、「ＸＸＸ．ＰＬ」または「ＹＹＹ．ＶＯＢＩ」）は管理情報記録メモリ２０４に、ＡＶデータ（「ＹＹＹ．ＶＯＢ」または「ＺＺＺ．ＰＮＧ」）はＡＶ記録メモリ２０５に夫々転送される。

プログラム記録メモリ２０３に記録されたＢＤ再生プログラムは、プログラム処理部２０６によって、管理情報記録メモリ２０４に記録されたＢＤ管理情報は、管理情報処理部２０７によって、また、ＡＶ記録メモリ２０５に記録されたＡＶデータは、プレゼンテーション処理部２０８によって夫々処理される。

プログラム処理部２０６は、管理情報処理部２０７より再生するプレイリストの情報やプログラムの実行タイミングなどのイベント情報を受け取りプログラムの処理を行う。また、プログラムでは再生するプレイリストを動的に変えることが可能であり、この場合は管理情報処理部２０７に対してプレイリストの再生命令を送ることで実現する。プログラム処理部２０６は、ユーザからのイベント、即ちリモコンキーからのリクエストを受け、ユーザイベントに対応するプログラムがある場合は、それを実行する。

管理情報処理部２０７は、プログラム処理部２０６の指示を受け、対応するプレイリストおよびプレイリストに対応したＶＯＢの管理情報を解析し、プレゼンテーション処理部２０８に対象となるＡＶデータの再生を指示する。また、管理情報処理部２０７は、プレゼンテーション処理部２０８より基準時刻情報を受け取り、時刻情報に基づいてプレゼンテーション処理部２０８にＡＶデータ再生の停止指示を行い、また、プログラム処理部２０６に対してプログラム実行タイミングを示すイベントを生成する。

プレゼンテーション処理部２０８は、映像、音声、字幕／イメージ（静止画）の夫々に対応するデコーダを持ち、管理情報処理部２０７からの指示に従い、ＡＶデータのデコードおよび出力を行う。映像データ、字幕／イメージの場合は、デコード後に夫々の専用プレーン、ビデオプレーン２１０およびイメージプレーン２０９に描画され、合成処理部２１１によって映像の合成処理が行われＴＶなどの表示デバイスへ出力される。

可変速再生や逆再生などの特殊再生時には、ユーザから要求された可変速再生あるいは逆再生動作をプレゼンテーション処理部２０８が解釈し、再生方法を示す情報を管理情報処理部２０７に通知する。管理情報処理部２０７は、再生方法をプレゼンテーション処理部２０８に通知し、プレゼンテーション処理部２０８は、ＶＯＢＵ内に格納された特再ＡＵを特定するための情報に基づいて特再ＡＵを検出し、ユーザが指定した特殊再生動作を満足するように、復号、および表示するＡＵを決定する。例えば、Ｉピクチャ、およびＰピクチャのＡＵのみを復号、表示する際には、Ａｃｃｅｓｓ Ｕｎｉｔ Ｄｅｌｉｍｉｔｅｒ、スライスヘッダ、ＮＡＬユニットのヘッダなどに含まれる識別情報に基づいて、Ｉピクチャ、およびＰピクチャのＡＵを検出する。以下に、特再ＡＵの決定方法の例を示す。

まず、Ａｃｃｅｓｓ Ｕｎｉｔ Ｄｅｌｉｍｉｔｅｒを参照して決定する方法について
説明する。Ａｃｃｅｓｓ Ｕｎｉｔ Ｄｅｌｉｍｉｔｅｒでは、ＡＵを構成するスライスデータのタイプ（ｐｒｉｍａｒｙ＿ｐｉｃ＿ｔｙｐｅフィールド）を示すことができる。従って、Ｉピクチャ、Ｐピクチャ、あるいはＢピクチャのＡＵについて、それぞれ異なるタイプを指定することにより、特再時に復号するＡＵが決定できる。

次に、スライスヘッダにおいては、スライスデータのタイプ（ｓｌｉｃｅ＿ｔｙｐｅフィールド）を示すことができる。ここで、ｓｌｉｃｅ＿ｔｙｐｅには、ＡＵ内のスライスデータが全て同一のタイプであることを示す値が設定できる。例えば、ＡＵを構成する任意の１つのスライスデータにおいてｓｌｉｃｅ＿ｔｙｐｅが７であれば、当該スライス、およびＡＵ内の他のスライスは全てＩスライスであることが示される。同様にして、ｓｌｉｃｅ＿ｔｙｐｅが５であればＡＵ内の全スライスがＰスライス、ｓｌｉｃｅ＿ｔｙｐｅが６であればＡＵ内の全スライスがＢスライスであることを示す値も定義されている。符号化時に、ｓｌｉｃｅ＿ｔｙｐｅが５、６、７のいずれかのスライスのみを使用することにすれば、ＡＵの先頭スライスのｓｌｉｃｅ＿ｔｙｐｅを解析することにより、特再時に復号するＡＵを決定する。なお、ｓｌｉｃｅ＿ｔｙｐｅが５、６、７以外であっても、ＡＵ内の全てのスライスについてｓｌｉｃｅ＿ｔｙｐｅを解析することにより特再時に復号するＡＵが決定できる。

次に、ＮＡＬユニットのヘッダから決定する場合は、スライスなどのＮＡＬユニットにおけるｎａｌ＿ｒｅｆ＿ｉｄｃフィールドの値を、Ｉピクチャ、Ｐピクチャ、およびＢピクチャなどに対してそれぞれ別々のフィールド値を設定することにより、特再時に復号するＡＵが決定できる。

さらに、特殊再生用の情報を示すＮＡＬユニットやＳＥＩメッセージがランダムアクセス単位ＲＡＵに含まれる際には、それらの情報に基づいて特再時に復号するＡＵを決定してもよい。

なお、特再ＡＵを特定するための情報が管理情報に含まれる際には、管理情報処理部２０７において、復号および表示するＡＵを決定してもよい。

さらに、特再ＡＵのみを復号すれば特再ＡＵの復号に必要なＰＰＳが取得できることが保証されていることを示すフラグ情報が管理情報、あるいはＶＯＢＵ内に格納される際には、フラグ情報に基づいてＰＰＳの取得方法を切替えてもよい。このとき、フラグがセットされている際には、特再ＡＵのみからＰＰＳを取得し、フラグがセットされていなければ特再ＡＵ以外のＡＵに格納されるＰＰＳについても取得する。

なお、上記各実施の形態において、符号化方式はＭＰＥＧ−４ ＡＶＣに限定されるものではなく、同様の処理を適用できる符号化方式であれば、他の方式であってもよい。

また、ＥＰマップなどのアクセス情報は、バイナリデータとしてテーブルに格納してもよいし、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）などのテキスト形式であってもよい。

（実施の形態６）
さらに、上記各実施の形態で示した画像符号化方法および画像復号方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図２０Ａ、図２０Ｂおよび図２０Ｃは、上記各実施の形態の画像符号化方法および画像
復号方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図２０Ｂは、フレキシブルディスクの正面からみた外観、断面構造、およびフレキシブルディスクを示し、図２０Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。また、図２０Ｃは、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像符号化方法および画像復号方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像符号化方法および画像復号方法を実現する上記画像符号化方法および画像復号方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

以上、本発明に係る画像符号化装置、画像復号装置、多重化装置およびＢＤディスクプレーヤなどについて、上記各実施の形態に基づいて説明したが、本発明は、これら実施の形態に限定されるものではない。本発明の主旨を逸脱しない範囲内で、当業者が思いつく変形を本実施の形態に施したものも、本発明に含まれる。

例えば、本実施の形態における画像符号化装置および多重化装置のいずれかを備える光ディスク記録装置、動画像送信装置、デジタルテレビ放送送出装置、Ｗｅｂサーバ、通信装置、携帯情報端末等や、本実施の形態における画像復号装置を備える動画像受信装置、デジタルテレビ放送受信装置、通信装置、携帯情報端末等も、本発明に含まれるのは言うまでもない。

なお、ブロック図（図１及び図８など）の各機能ブロックは典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現される。これらは個別に１チップ化され
ても良いし、一部又は全てを含むように１チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギ
ュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、符号化または復号の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。

本発明に係る画像符号化方法は、高速再生のような特殊再生時においても、復号に必要なピクチャパラメータセットを適切に取得してピクチャを復号することができるという効果を奏し、ＭＰＥＧ−４ ＡＶＣのストリームを用いた可変速再生や逆再生などの特殊再生機能を備える機器全般に適用することができる。また、特殊再生機能が重視される光ディスク関連機器において特に有効である。

図１は、本発明の実施の形態１に係る画像符号化装置のブロック図である。 図２は、本発明の実施の形態１に係る画像符号化装置の動作を示すフローチャートである。 図３は、本発明の実施の形態１に係る画像符号化装置においてＰＰＳの配置を決定する動作を示す第１のフローチャートである。 図４は、本発明の実施の形態１に係る画像符号化装置の出力ストリームの第１の構造例である。 図５は、本発明の実施の形態１に係る画像符号化装置においてＰＰＳの配置を決定する動作を示す第２のフローチャートである。 図６Ａは、本発明の実施の形態１に係る画像符号化装置の出力ストリームの第１の構造例である。 図６Ｂは、本発明の実施の形態１に係る画像符号化装置の出力ストリームの第１の構造例である。 図７は、本発明の実施の形態１の変形例に係る画像符号化装置の動作を示すフローチャートである。 図８は、本発明の実施の形態２に係る画像復号装置のブロック図である。 図９は、本発明の実施の形態２に係る画像復号装置の動作を示すフローチャートである。 図１０は、本発明の実施の形態３に係る多重化装置のブロック図である。 図１１は、ＨＤ−ＤＶＤのデータ階層図である。 図１２は、ＨＤ−ＤＶＤ上の論理空間の構成図である。 図１３は、ＶＯＢ情報ファイル構成図である。 図１４は、タイムマップの説明図である。 図１５は、プレイリストファイルの構成図である。 図１６は、プレイリストに対応するプログラムファイルの構成図である。 図１７は、ＢＤディスク全体管理情報ファイルの構成図である。 図１８は、グローバルイベントハンドラを記録するファイルの構成図である。 図１９は、ＨＤ−ＤＶＤプレーヤの概要ブロック図である。 図２０Ａは、本発明の画像符号化方法および画像復号方法を実現するためのプログラムを記録した記録媒体である。 図２０Ｂは、本発明の画像符号化方法および画像復号方法を実現するためのプログラムを記録した記録媒体である。 図２０Ｃは、本発明の画像符号化方法および画像復号方法を実現するためのプログラムを記録した記録媒体である。 図２１は、ＭＰＥＧ−２のストリーム構造である。 図２２Ａは、ＭＰＥＧ−２のＧＯＰ構造である。 図２２Ｂは、ＭＰＥＧ−２のＧＯＰ構造である。 図２３は、ＭＰＥＧ−４ ＡＶＣのストリーム構造である。 図２４は、従来の画像符号化装置の構成を示すブロック図である。 図２５は、従来の画像符号化装置の動作を示すフローチャートである。 図２６は、従来の画像復号装置の構成を示すブロック図である。 図２７Ａは、従来の画像符号化装置における課題についての説明図である。 図２７Ｂは、従来の画像符号化装置における課題についての説明図である。

符号の説明

１０ 画像符号化装置
１１ スライス符号化部
１２ メモリ
１３ ＳＰＳ作成部
１４ 新規ＰＰＳ判定部
１５ ＰＰＳ配置決定部
１６ ＰＰＳ作成部
１７ ＡＵ決定部

上記目的を達成するために、本発明の画像符号化装置は、少なくとも、画素データを格納するための画素データ格納単位と、前記画素データを格納する格納単位の前に位置し、補助情報を格納するための補助情報格納単位とから構成されるピクチャを符号化して、符号化された複数のピクチャを含んで構成されるランダムアクセスユニットを、ストリームの一部として生成する画像符号化装置であって、前記ピクチャの画素データをそれぞれ符号化することで、符号化画素データを生成する符号化手段と、前記ランダムアクセスユニットに含まれる複数の符号化画素データを復号するために共通に参照されるパラメータ群たるシーケンスパラメータセット情報を生成する第１の情報生成手段と、前記符号化画素データごとに、当該符号化画素データを復号するために参照されるパラメータ群たるピクチャパラメータセット情報を生成し、符号化する第２の情報生成手段と、前記画素データ格納単位に、前記符号化画素データを格納する第１の格納手段と、前記複数の格納単位のうち先頭ピクチャの補助情報格納単位に、前記シーケンスパラメータセット情報を１つ格納する第２の格納手段と、所定の条件に基づき、前記符号化されたピクチャパラメータセット情報を、前記複数のピクチャのうち先頭のピクチャの補助情報格納単位、または、当該ピクチャパラメータセット情報を参照する符号化画素データを含むピクチャの補助情報格納単位に格納する第３の格納手段とを備え、前記第３の格納手段は、前記先頭のピクチャの補助情報格納単位に複数の符号化されたピクチャパラメータセット情報を格納し、前記先頭のピクチャの補助情報格納単位に格納する符号化されたピクチャパラメータセット情報の数に制限を有し、前記複数のピクチャのうち、先頭のピクチャを除くピクチャの補助情報格納単位には、前記ピクチャが参照する符号化されたピクチャパラメータセット情報を１つ格納するか、または、符号化されたピクチャパラメータセット情報を格納しないことを特徴とする。
また、本発明の画像符号化装置は、少なくとも、画素データを格納するための画素データ格納単位と、前記画素データを格納する格納単位の前に位置し、補助情報を格納するための補助情報格納単位とから構成されるピクチャを符号化して、符号化された複数のピクチャを含んで構成されるランダムアクセスユニットを、ストリームの一部として生成する画像符号化装置であって、前記ピクチャの画素データをそれぞれ符号化することで、符号化画素データを生成する符号化手段と、前記符号化画素データごとに、当該符号化画素データを復号するために参照されるパラメータ群たるピクチャパラメータセット情報を生成し、符号化する情報生成手段と、前記画素データ格納単位に、前記符号化画素データを格納する第１の格納手段と、所定の条件に基づき、前記符号化されたピクチャパラメータセット情報を、前記複数のピクチャのうち先頭のピクチャの補助情報格納単位、または、当該ピクチャパラメータセット情報を参照する符号化画素データを含むピクチャの補助情報格納単位に格納する第２の格納手段とを備え、前記第２の格納手段は、前記先頭のピクチャの補助情報格納単位に複数の符号化されたピクチャパラメータセット情報を格納し、前記先頭のピクチャの補助情報格納単位に格納する符号化されたピクチャパラメータセット情報の数に制限を有し、前記複数のピクチャのうち、先頭のピクチャを除くピクチャの補助情報格納単位には、当該ピクチャの符号化画素データが参照する符号化されたピクチャパラメータセット情報を格納するか、または、当該ピクチャの符号化画素データが参照する符号化されたピクチャパラメータセット情報を格納しないことを特徴とする。

Claims (5)

1. 少なくとも、画素データを格納するための画素データ格納単位と、前記画素データを格納する格納単位の前に位置し、補助情報を格納するための補助情報格納単位とから構成されるピクチャを符号化して、符号化された複数のピクチャを含んで構成されるランダムアクセスユニットを、ストリームの一部として生成する画像符号化装置であって、
   前記ピクチャの画素データをそれぞれ符号化することで、符号化画素データを生成する符号化手段と、
   前記符号化画素データごとに、当該符号化画素データを復号するために参照されるパラメータ群たるピクチャパラメータセット情報を生成し、符号化する情報生成手段と、
   前記画素データ格納単位に、前記符号化画素データを格納する第１の格納手段と、
   所定の条件に基づき、
   前記符号化されたピクチャパラメータセット情報を、前記複数のピクチャのうち先頭のピクチャの補助情報格納単位、または、当該ピクチャパラメータセット情報を参照する符号化画素データを含むピクチャの補助情報格納単位に格納する第２の格納手段とを備え、
   前記第２の格納手段は、前記先頭のピクチャの補助情報格納単位に複数の符号化されたピクチャパラメータセット情報を格納し、前記先頭のピクチャの補助情報格納単位に格納する符号化されたピクチャパラメータセット情報の数に制限を有し、
   前記複数のピクチャのうち、先頭のピクチャを除くピクチャの補助情報格納単位には、当該ピクチャの符号化画素データが参照する符号化されたピクチャパラメータセット情報を格納するか、または、当該ピクチャの符号化画素データが参照する符号化されたピクチャパラメータセット情報を格納しない
   ことを特徴とする画像符号化装置。
2. 少なくとも、画素データを格納するための画素データ格納単位と、前記画素データを格納する格納単位の前に位置し、補助情報を格納するための補助情報格納単位とから構成されるピクチャを符号化して、符号化された複数のピクチャを含んで構成されるランダムアクセスユニットを、ストリームの一部として生成する画像符号化方法であって、
   前記ピクチャの画素データをそれぞれ符号化することで、符号化画素データを生成する符号化ステップと、
   前記符号化画素データごとに、当該符号化画素データを復号するために参照されるパラメータ群たるピクチャパラメータセット情報を生成し、符号化する情報生成ステップと、
   前記画素データ格納単位に、前記符号化画素データを格納する第１の格納ステップと、
   所定の条件に基づき、
   前記符号化されたピクチャパラメータセット情報を、前記複数のピクチャのうち先頭のピクチャの補助情報格納単位、または、当該ピクチャパラメータセット情報を参照する符号化画素データを含むピクチャの補助情報格納単位に格納する第２の格納ステップとを備え、
   前記第２の格納ステップは、前記先頭のピクチャの補助情報格納単位に複数の符号化されたピクチャパラメータセット情報を格納し、前記先頭のピクチャの補助情報格納単位に格納する符号化されたピクチャパラメータセット情報の数に制限を有し、
   前記複数のピクチャのうち、先頭のピクチャを除くピクチャの補助情報格納単位には、当該ピクチャの符号化画素データが参照する符号化されたピクチャパラメータセット情報を格納するか、または、当該ピクチャの符号化画素データが参照する符号化されたピクチャパラメータセット情報を格納しない
   ことを特徴とする画像符号化方法。
3. 請求項１記載の画像符号化装置により生成されたストリームから、符号化された複数のピクチャを復号する画像復号装置であって、
   前記符号化された複数のピクチャの中から、復号すべきピクチャを特定するピクチャ特定手段と、
   前記符号化された複数のピクチャのうち、先頭のピクチャの補助情報格納単位、または前記復号すべきピクチャの補助情報格納単位から、当該復号すべき符号化画素データを復号するために参照されるパラメータ群であり、符号化されたピクチャパラメータセット情報を取得する取得手段と、
   前記符号化されたピクチャパラメータセット情報を復号化する第１の復号手段と、
   復号化されたピクチャパラメータセット情報を参照することで前記復号すべき符号化画素データを復号する復号手段と
   を備えることを特徴とする画像復号装置。
4. 請求項２記載の画像符号化方法により生成されたストリームから、符号化された複数のピクチャを復号する画像復号方法であって、
   前記符号化された複数のピクチャの中から、復号すべきピクチャを特定するピクチャ特定ステップと、
   前記符号化された複数のピクチャのうち、先頭のピクチャの補助情報格納単位、または前記復号すべきピクチャの補助情報格納単位から、当該復号すべき符号化画素データを復号するために参照されるパラメータ群であり、符号化されたピクチャパラメータセット情報を取得する取得ステップと、
   前記符号化されたピクチャパラメータセット情報を復号化する第１の復号ステップと、
   復号化されたピクチャパラメータセット情報を参照することで前記復号すべき符号化画素データを復号する復号ステップと
   を備えることを特徴とする画像復号方法。
5. 少なくとも、画素データを格納するための画素データ格納単位と、前記画素データを格納する格納単位の前に位置し、補助情報を格納するための補助情報格納単位とから構成されるピクチャを符号化して、符号化された複数のピクチャを含んで構成されるランダムアクセスユニットを一部に有するストリームを記録媒体に記録する記録方法であって、
   前記ピクチャの画素データをそれぞれ符号化することで、符号化画素データを生成する符号化ステップと、
   前記符号化画素データごとに、当該符号化画素データを復号するために参照されるパラメータ群たるピクチャパラメータセット情報を生成し、符号化する情報生成ステップと、
   前記画素データ格納単位に、前記符号化画素データを格納する第１の格納ステップと、
   所定の条件に基づき、
   前記符号化されたピクチャパラメータセット情報を、前記複数のピクチャのうち先頭のピクチャの補助情報格納単位、または、当該ピクチャパラメータセット情報を参照する符号化画素データを含むピクチャの補助情報格納単位に格納する第２の格納ステップと、
   前記第１および第２の格納ステップにより生成されたストリームを記録媒体に記録する記録ステップと、を備え、
   前記第２の格納ステップは、前記先頭のピクチャの補助情報格納単位に複数の符号化されたピクチャパラメータセット情報を格納し、前記先頭のピクチャの補助情報格納単位に格納する符号化されたピクチャパラメータセット情報の数に制限を有し、
   前記複数のピクチャのうち、先頭のピクチャを除くピクチャの補助情報格納単位には、当該ピクチャの符号化画素データが参照する符号化されたピクチャパラメータセット情報を格納するか、または、当該ピクチャの符号化画素データが参照する符号化されたピクチャパラメータセット情報を格納しない
   ことを特徴とする記録方法。

Images