JP2007184791A

JP2007184791A - 動画像符号化データ再生装置

Info

Publication number: JP2007184791A
Application number: JP2006001760A
Authority: JP
Inventors: Kazumi Arakage; 和美荒蔭
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2006-01-06
Filing date: 2006-01-06
Publication date: 2007-07-19

Abstract

【課題】ＩＤＲピクチャ以外のイントラピクチャをアクセスポイントとして符号化データを再生する。
【解決手段】ヘッダ検出部１０３により、ディスクドライブ１０１からストリームバッファ１０２を介して入力される符号化データの指定されたアクセスポイントに応じたヘッダ位置を検出し、それ以降の符号化データをデコーダ１０４の逆ＶＬＣ部１０５に出力する。デコーダは、従来の再生装置と同様の方法で、逆ＶＬＣ、逆量子化、逆ＤＣＴなどのデコード処理を行う。ここで、参照画像リスト変更部１１２は、参照画像リスト作成部１１１により作成された参照画像リストに対して、符号化データの参照ピクチャの最大格納枚数に基づいて変更を行う。デコーダは、変更された参照画像リストを用いて、動き補償を行い、出力画像を作成する。
【選択図】図１

Description

本発明は、動画像信号がピクチャ単位で符号化された符号化データを任意のアクセスポイントから再生する動画像符号化データ再生装置に関する。

近年、動画像の高能率符号化方法として、ＭＰＥＧ２やＭＰＥＧ４方式が用いられている。これらの符号化方式では、まず、１画面相当のデジタル画像データをいくつかの画素からなるブロックに分割し、ブロックごとに画像間の動きを示す動きベクトルを検出し、動き補償と呼ばれる予測画像の生成を行い、得られた予測画像と符号化対照ピクチャとの差分値に対して符号化を行う。

この予測画像の生成方法によって、ピクチャはいくつかのタイプに分けられる。参照画像を持たず、画面内の予測のみを用いるものをＩピクチャと呼び、１枚の参照画像を用いて画面間予測符号化を行うものをＰピクチャと呼び、２枚の参照画像を用いて画面間予測符号化を行うものをＢピクチャと呼ぶ。

図９は、従来のＭＰＥＧ２符号化における符号化方法を説明する図であり、図９（ａ）は表示時のフレームの並び、図９（ｂ）は符号化時のフレームの並びを示す図である。図９（ａ）において、ＩピクチャＩ２は参照画像を用いずに符号化されている。Ｐピクチャは、直前の１枚のＩピクチャ又はＰピクチャを用いて予測が行われるので、例えば、ＰピクチャＰ５は、直前のＩピクチャＩ２を用いて符号化されている。Ｂピクチャは、直前の１枚のＩピクチャ又はＰピクチャと、直後の１枚のＩピクチャ又はＰピクチャを用いて予測が行われるので、例えば、ＢピクチャＢ３は、直前のＩピクチャＩ２と直後のＰピクチャＰ５を用いて符号化されている。

画面間予測符号化を用いた符号化においては、参照画像のデータが先に符号化されている必要があるため、ピクチャの並び替えを行ってから符号化を行う。すなわち、図９（ｂ）に示すように、例えば、ＢピクチャＢ３は、図９（ａ）においてＢピクチャＢ３の直後のＰピクチャＰ５を用いて予測符号化を行うため、ＢピクチャＢ３より前にＰピクチャＰ５を符号化する。

また、ＭＰＥＧ２符号化では、複数のピクチャをまとめたグループ・オブ・ピクチャ（ＧＯＰ）という階層が定義され、これを符号化処理の基本単位として符号化データの編集やランダムアクセスを実現している。ＧＯＰの構成は、例えば、図９（ａ）に示すＧＯＰの場合、Ｂピクチャで始まっているが、最初のＢピクチャは前のＧＯＰのＰピクチャからも予測が行われるため、このＢピクチャからデコードを開始することができない。そこで、前のＧＯＰからの予測を排除した構成とすることもできる。これがクローズドＧＯＰと呼ばれるものである。

図１０は、クローズドＧＯＰの場合の符号化方法を説明するもので、図１０（ａ）は表示時のフレームの並び、図１０（ｂ）は符号化時のフレームの並びを示す図である。例えば、図１０（ａ）に示すように、表示時のフレームの並びでもＧＯＰの先頭にＩピクチャがくるようにして、図１０（ｂ）に示すように、ＧＯＰ単位で予測を完結、すなわち他のＧＯＰのピクチャは予測に使用しないようにしている。

一方、ＩＴＵで現在標準化中のＨ．２６４では、参照ピクチャは参照ピクチャリストと呼ばれる複数枚の候補の中から選んで使用することができるため、任意に離れたピクチャを参照することが可能となっている。

図１１は、従来のＨ．２６４符号化データ再生装置の一例を示す構成図である。
ディスクドライブ９０１にて媒体より読み出された符号化データは、ストリームバッファ９０２に記憶された後、デコーダ９０４に供給される。デコーダ９０４に供給された符号化データは、まず、逆ＶＬＣ部９０５に転送されて逆ＶＬＣ処理が施される。そして、逆ＶＬＣ部９０５は、逆ＶＬＣ処理を終了すると、そのデータと量子化ステップサイズを逆量子化部９０６に供給するとともに、動きベクトル情報を動き補償部９０８に、ＤＰＢ制御情報をＤＰＢ制御部９１０に、参照画像リスト情報を参照画像リスト作成部９１１にそれぞれ出力する。逆量子化部９０６においては、指示された量子化ステップサイズに従って、入力されたデータを逆量子化し、逆ＤＣＴ部９０７に出力する。逆ＤＣＴ部９０７は、入力されたデータに逆ＤＣＴ処理を施して加算器９１３に供給する。

加算器９１３においては、逆ＤＣＴ部９０７の出力と動き補償部９０８の出力とを加算し、ＤＰＢ制御部９１０に出力する。ＤＰＢ制御部９１０は、後述するＤＰＢの制御処理を行い、画像の出力や記憶をフレームメモリ９０９に指示するとともに、ＤＰＢ情報を参照画像リスト作成部９１１に供給する。

参照画像リスト作成部９１１は、後述する方法に従って、参照画像リストを作成し、動き補償部９０８に供給する。動き補償部９０８は、供給される参照画像リストから参照する画像を特定し、フレームメモリ９０９から読み出して動き補償処理を行い、加算器９１３に出力する。

図１２は、Ｈ．２６４における符号化方法を説明する図である。
例えば、ＰピクチャＰ６は、直前のＰピクチャＰ３ではなく、更に時間的に離れたＩピクチャＩＤＲ（Instantaneous Decoding Refresh）０を参照することが可能である。また、ＢピクチャもＢ１のように時間的に離れたピクチャであるＰピクチャＰ６を参照することが可能であり、また、ＢピクチャＢ２のように時間的に後に位置するＰピクチャ２枚（Ｐ３、Ｐ６）を参照することも可能であり、ＢピクチャＢ５のようにＢピクチャＢ４を参照画像とすることも可能である。なお、ＩＤＲピクチャとは、そのピクチャより前のピクチャ（スライス）の情報を使わなくても、それ以後のピクチャを正しく復号することができることを示す特別なＩピクチャであり、このピクチャをまたいで前のピクチャを参照することはできない。したがって、図１２では、ＩＤＲ０より前のピクチャを参照することはできない。

前述したようにＨ．２６４では、任意に離れたピクチャを参照することが可能なため、デコードした画像をデコード・ピクチャ・バッファ（ＤＰＢ）と呼ばれるバッファに入れて管理を行う。

図１３は、Ｈ．２６４におけるＤＰＢの管理を説明する概念図である。
ＤＰＢには、デコード後の出力待ちピクチャ及び被参照ピクチャが格納される。各ピクチャには、ピクチャ・オーダー・カウント（ＰＯＣ）と呼ばれる表示順を表す番号が付与されている。また、被参照ピクチャにはフレームナンバ（ＦＮ）と呼ばれる番号が付与される。ＦＮは、符号化順、すなわち参照されるピクチャ順に１ずつ増加する番号である。

ＤＰＢに格納されるピクチャは、「参照画像として使用」（used for reference：以下、usedと呼ぶ）又は「参照画像として不使用」（unused for reference：以下、unusedと呼ぶ）のどちらかにマークされる。さらに、「出力待ち」（needed for output：以下、neededと呼ぶ）又は「出力済み」（not needed to output：以下、not neededと呼ぶ）のどちらかにマークされる。

なお、図１２（ｂ）に示す符号化順において、デコードすべき現在のピクチャ（カレントピクチャ）がＰ６の場合、ＤＰＢの１番目と２番目の記録エリアには、図１３に示すように、ピクチャ・オーダー・カウントＰＯＣやフレームナンバＦＮ、used又はunused、needed又はnot neededが設定されたＩＤＲ０と、Ｐ３とが格納され、３番目の記録エリアは、空き（empty）ということになる。

図１４は、ピクチャに付与されるピクチャ・オーダー・カウントＰＯＣとフレームナンバＦＮを説明する図である。
Ｂピクチャなどで、他のピクチャから参照されないピクチャが入る場合、例えばＰ、Ｂ、Ｂ、Ｐという並びであると、フレームナンバＦＮは、Ｎ、Ｎ＋１、Ｎ＋１、Ｎ＋１となるので、図１４に示す場合、ＦＮは、０、１、２、３、３、３、４、４、５、５となる。

次に、図１５を用いて、デコード後のＤＰＢの処理について説明する。ここで、ＤＰＢのフレーム数の上限（ＭａｘＤＰＢ）は３、参照ピクチャの最大格納枚数（no_of_ref）は３であるとする。図１５（ａ）は、図１４においてＰ６をデコードした後のＤＰＢの状態を示す図である。ＤＰＢに格納されているＩＤＲ０、Ｐ３、Ｐ６はすべて被参照ピクチャであるので、usedにマークされている。また、Ｐ３、Ｐ６は出力待ちであるのでneededにマークされているが、ＩＤＲ０は出力済みなのでnot neededにマークされている。次に、Ｂ１をデコードする。Ｂ１は被参照ピクチャではないので、unusedにマークする。

次に、ＤＰＢに格納されているピクチャのＰＯＣと、ピクチャＢ１のＰＯＣを比較し、Ｂ１のＰＯＣが最小であるので、ピクチャＢ１を出力する。この場合、ピクチャＢ１は、ＤＰＢに格納する必要はない。Ｂ２も同様である。よって、Ｂ２をデコードした後のＤＰＢの状態も図１５（ａ）のままである。

次に、Ｂ４をデコードする。Ｂ４はＢピクチャであるが、被参照ピクチャであるので、usedにマークされる。ここで、usedとマークされている参照ピクチャの数が４になり、no of refを上回ってしまうため、ＦＮの最も小さいピクチャをunusedにする。すなわち、ＩＤＲ０をunusedにマークする。これにより、unusedで、かつnot neededであるピクチャはこれ以降のデコード処理では不必要であるので、ＤＰＢから削除する。すなわち、ＩＤＲ０をＤＰＢから削除し、Ｂ４をＤＰＢに格納する。図１５（ｂ）に、Ｂ４をデコードした後のＤＰＢの状態を示す。

Ｂ４の次はＢ５をデコードするが、Ｂ５は被参照ピクチャではないので、unusedとマークする。次に、ＤＰＢに格納されているピクチャのＰＯＣと、ピクチャＢ５のＰＯＣを比較するが、Ｂ５のＰＯＣは最小ではないので、neededとマークしＤＰＢに格納する。しかし、ＤＰＢは既に一杯であるので、ＰＯＣが最小のピクチャを出力し、not neededとする。すなわち、Ｐ３を出力しnot neededとするが、Ｐ３はusedとマークされているので、ＤＰＢから削除することはできない。そこで、さらにＰＯＣが最小のピクチャを出力する。この場合、Ｂ４が該当するが、Ｂ４もusedであり削除することはできない。そこで、さらにＢ５を出力しnot neededとする。これにより、Ｂ５はunusedかつnot neededとなるので、ＤＰＢに格納することなく削除される。図１５（ｃ）に、Ｂ５をデコードした後のＤＰＢの状態を示す。

Ｈ．２６４では、前述したused又はunusedのマーク処理に関して、メモリ・マネジメント・コントロール・オペレーション（Memory Management Control Operation；ＭＭＣＯ）コマンドという情報を付加することによって、ＤＰＢ内の任意のusedとマークされたピクチャをunusedとすることも可能である。

特別なイントラピクチャであるＩＤＲピクチャがデコードされると、ＤＰＢ内の画像はすべてunusedとマークされ、ＰＯＣ順にすべての画像が出力され、消去される（符号化データ内の情報によって、画像の出力を行わないことも可能である）。したがって、ＩＤＲピクチャをまたいで前の画像を参照することはできない。ＩＤＲピクチャではＰＯＣとＦＮは０にリセットされる。Ｈ．２６４では、符号化データの最初のピクチャはＩＤＲピクチャでなければならない。

また、ＭＭＣＯコマンドを用いて、特定のコマンドを付加した場合も、ＤＰＢ内の画像はすべてunusedとなり、ＤＰＢ内の画像はＰＯＣ順に出力された上、すべて削除される。

次に、参照ピクチャリストについて説明する。参照ピクチャリストは、ＤＰＢに格納されているピクチャのうち、usedとマークされているピクチャを順番に並べたものである。このリスト中の、何番目のピクチャを参照するという情報をマクロブロック（ＭＢ）又はサブＭＢごとに付加することにより、参照ピクチャを指定する。

Ｐピクチャでは、ＤＰＢのピクチャをピクチャ・ナンバ（ＰＮ）の小さい順に並べる。
ここで、ＰＮとは、ＦＮを元にフィールド順を加味したもので、フレームピクチャではＦＮと同等である。例えば、図１４において、Ｐ９をデコードするときのＤＰＢの状態は、図１５（ｃ）の状態であるので、参照ピクチャリストは「Ｐ３、Ｐ６、Ｂ４」となる。

Ｂピクチャでは、２つの参照ピクチャリストを用いる。１つはデコードしようとするピクチャよりＰＯＣの小さいピクチャをＰＯＣの大きい順に並べ、その後にデコードしようとするピクチャよりＰＯＣの大きいピクチャをＰＯＣの小さい順に並べたものである。もう１つはデコードしようとするピクチャよりＰＯＣの大きいピクチャをＰＯＣの小さい順に並べ、その後にデコードしようとするピクチャよりＰＯＣの小さいピクチャをＰＯＣの大きい順に並べたものである。例えば、図１４において、Ｂ５をデコードするときにＤＰＢの状態は、図１５（ｂ）の状態であるので、１つ目のリストは「Ｂ４、Ｐ３、Ｐ６」、２つ目のリストは「Ｐ６、Ｂ４、Ｐ３」となる。

さて、前述したように、ＭＰＥＧ２符号化方式では、クローズドＧＯＰでないＧＯＰでは最初のＢピクチャが前のＧＯＰのＰピクチャからも予測が行われるため、トラックサーチ、チャプタサーチあるいはタイムコードサーチなどのランダムアクセスが行われた場合、このピクチャからデコードを開始することはできない。同様に、Ｈ．２６４においても、ＩＤＲピクチャでないイントラピクチャでは、その後の画像がイントラピクチャをまたいで前の画像を参照することができるため、このピクチャからデコードを開始することはできない。

そこで、この問題を解決するために、ＭＰＥＧ符号化において、最初のＩピクチャが復号されるまで、ブルーバッグを表示して乱れた画像が表示されないようにする手法が開示されている（例えば、下記の特許文献１参照）。
特開平８−２１４２６５号公報

しかし、従来の方法では、トラックサーチ、チャプタサーチあるいはタイムコードサーチなどのランダムアクセスが行われた場合、デコード開始直後には再生画像と関係のないブルーバッグ画像が表示されてしまうという問題がある。

また、Ｈ．２６４符号化方式では、特別なイントラピクチャであるＩＤＲピクチャがデコードされるまで、デコード開始ポイントより前のピクチャを参照する可能性があるため、ＭＰＥＧ符号化に比べて画像が乱れる期間が長いという問題もある。

そこで、本発明は以上の点に着目してなされたもので、ランダムアクセスなどが行われた際に、デコード開始ポイントがＩＤＲピクチャでなくとも、デコード開始直後に自然な再生画像を出力することができる動画像符号化データ再生装置を提供することを目的とする。

上記目的を達成するため、本発明に係る動画像符号化データ再生装置は、動画像信号がピクチャ単位で符号化された符号化データを任意のアクセスポイントから再生する動画像符号化データ再生装置において、前記符号化データから前記アクセスポイント以降の符号化データを再生する際に、前記符号化データの参照ピクチャの最大数に応じて参照ピクチャリストを変更する参照画像リスト変更部を備え、前記参照画像リスト変更部からの参照ピクチャリストに従ってデコード済みの画像を用いて動き補償を行い、デコード画像を作成することを特徴とする。

本発明に係る動画像符号化データ再生装置では、ランダムアクセスなどが行われた際に、次のＩＤＲピクチャが検出されるまでは、参照ピクチャリストの画像をデコード済みの画像で置き換えるので、任意のアクセスポイントから再生を開始することができる。

以下、図面を参照して、本発明の実施の形態を詳述する。
図１は、本発明の実施の形態に係る動画像符号化データ再生装置の構成を示すブロック図である。以下、図１を用いて本発明の実施の形態に係る動画像符号化データ再生装置の動作、すなわち動画像符号化データ再生方法を説明する。

図１に示される本実施の形態に係る動画像符号化データ再生装置は、媒体より符号化データを読み出すためのディスクドライブ１０１、ディスクドライブ１０１により読み出された符号化データを記憶するストリームバッファ１０２、指定されるアクセスポイントに応じたヘッダ位置を検出し、それ以降のストリームを出力するヘッダ検出部１０３、及びヘッダ検出部１０３の出力信号に応答するデコーダ１０４を有している。デコーダ１０４内にはアクセスポイント以降の符号化データを再生する際に、符号化データの参照ピクチャの最大数に応じて参照ピクチャリストを変更する参照画像リスト変更部１１２があり、参照画像リスト変更部１１２からの参照ピクチャリストに従ってデコード済みの画像を用いて動き補償を行い、デコード画像を作成する。

ここで、デコーダ１０４は、ヘッダ検出部１０３から出力される符号化データの逆ＶＬＣ処理を施し、逆ＶＬＣ処理されたデータと量子化ステップサイズを逆量子化部１０６に供給するとともに、動きベクトル情報を動き補償部１０８に、ＤＰＢ制御情報をＤＰＢ制御部１１０に、参照画像リスト情報を参照画像リスト作成部１１１にそれぞれ出力する逆ＶＬＣ部１０５と、指示された量子化ステップサイズに従って入力されたデータを逆量子化して逆ＤＣＴ部１０７に出力する逆量子化部１０６と、入力されたデータに逆ＤＣＴ処理を施して加算器１１３に供給する逆ＤＣＴ部１０７と、逆ＤＣＴ部１０７の出力と動き補償部１０８の出力とを加算してＤＰＢ制御部１１０に出力する加算器１１３と、ＤＰＢの制御処理を行い、画像の出力や記憶をフレームメモリ１０９に指示するとともに、ＤＰＢ情報を参照画像リスト作成部１１１に供給するＤＰＢ制御部１１０と、参照画像リストを作成して動き補償部１０８に供給する参照画像リスト作成部１１１と、アクセスポイント以降の符号化データを再生する際に、符号化データの参照ピクチャの最大数に応じて参照ピクチャリストを変更する参照画像リスト変更部１１２と、参照画像リスト変更部１１２から供給される参照画像リストから参照する画像を特定してフレームメモリ１０９から読み出し、動き補償処理を行い加算器１１３に出力する動き補償部１０８とから構成されている。

次に動作の概要を説明する。
ディスクドライブ１０１にて媒体より読み出された符号化データは、例えば、ＩＴＵ−ＴＨ．２６４符号化方式にて符号化されたもので、ストリームバッファ１０２に記憶され、ヘッダ検出部１０３に入力される。ここでは、符号化データは、ディスクドライブ１０１から供給されるものとしているが、もちろん、他の媒体でもよい。

ヘッダ検出部１０３は、ストリームバッファ１０２から入力される符号化データから、外部のユーザなどにより指定されるアクセスポイントに応じて、該当するヘッダ位置を検出し、それ以降のストリームをデコーダ１０４に出力する。なお、外部からユーザなどにより指定されるアクセスポイントは、ディスクドライブ１０１にも入力するようにしてもよい。

デコーダ１０４は、従来の再生装置と同様の方法で、逆ＶＬＣ、逆量子化、逆ＤＣＴなどのデコード処理を行う。ここで、参照画像リスト変更部１１２は、参照画像リスト作成部１１１により作成された参照画像リストに対して変更を行う。デコーダ１０４は変更された参照画像リストを用いて、動き補償を行い、出力画像を作成する。

次に、動作の詳細を説明する。
図２は、本実施の形態における動画像符号化データ再生装置に入力される符号化データの一例である。
図２は、符号化データの一部を抜粋したもので、この前後にも符号化データは存在しているものとする。また、図２に示す符号化データのＰＯＣとＦＮは、図２に示す通りであり、アクセスポイントを、２つのＩＤＲ０ピクチャ間のイントラピクチャＩ６としている。なお、図２において、矢印は、予測するピクチャの関係を示している。

ヘッダ検出部１０３は、ストリームバッファ１０２からの符号化データから外部より指定されるアクセスポイントに応じて対応する位置のヘッダを検出する。また、アクセスポイントより前の符号化データからシーケンス・パラメータ・セットなどの符号化データ全体に係る情報も同時に抽出する。ここでは、アクセスポイントを外部から指定されるものとしているが、もちろん、この動画像符号化データ再生装置自体にアクセスポイントを指定できるような装置を設け、それを用いて指定を行うものでもよい。

図３は、ヘッダ検出部１０３によって検出されたヘッダ以降の符号化データの例を示す図である。なお、図３に示す符号化データは、検出されたヘッダ以降の先頭の部分のみを示したものであり、シーケンス・パラメータ・セットなどは記載していない。また、この後にも符号化データが続いていてももちろんよい。

デコーダ１０４は、ヘッダ検出部１０３によって検出されたアクセスポイント以降の図３に示すような符号化データに対して、従来と同様の方法で、逆ＶＬＣ、逆量子化、逆ＤＣＴなどのデコード処埋を行う。

次に、ＤＰＢ制御部１１０から入力されるＤＰＢの状態に応じて、参照画像リスト作成部１１１にて、従来の方法により参照画像リストを作成する。
図４は、図３に示すアクセスポイント以降の符号化データの先頭ピクチャＩ６をデコードした後のＤＰＢの状態を示す図である。

ここでは、ＤＰＢのフレーム（ピクチャ）数の上限（ＭａｘＤＰＢ）は、例えば２フレーム（ピクチャ）、参照ピクチャの最大格納枚数（no_of_ref）も、例えば、２フレーム（ピクチャ）であるとする。このように、ピクチャＩ６のデコード直後は、ＤＰＢにはピクチャＩ６のみが格納されている状態となる。よって、前述した参照ピクチャリストを作成しても、参照ピクチャリストには１枚のピクチャしか存在ない。

図５は、図３に示すピクチャＩ６の次のピクチャであるＢ５をデコードする際に用いられる参照ピクチャリストＭＰの一例を示したものである。この場合、図４に示すように、ＤＰＢには、ピクチャＩ６しか格納されていないので、参照ピクチャリストＭＰは、ｉｄｘ０はＩ６、ｉｄｘ１はＮＯＮＥ（無し）に設定される。なお、Ｂピクチャをデコードする際には２つの参照ピクチャリストＭＰが用いられるが、ここではその１つを取って説明することとする。

一方、図２に示す符号化データでは、ピクチャＩ６をデコードした後のＤＰＢの状態は図６のようになっている。
図６は、ＤＰＢにＰ４とＩ６が格納され、両方ともusedとneededにマークされていることを示す図である。

このように、図２に示すようなＤＰＢの状態では、図６で示すように２枚のusedとマークされたピクチャがあるので、Ｂ５をデコードする際に使用する参照ピクチャリストＭＰには、図７に示すように、ｉｄｘ０、ｉｄｘ１として、２枚のピクチャＩ６、Ｐ４がそれぞれ存在することになる。

したがって、参照ピクチャとして、参照ピクチャリストの２番目のピクチャが指定される可能性があるが、ＤＰＢが例えば図４に示す状態であり、図５に示すような参照ピクチャリストである場合、ヘッダ変更符号化データでは参照ピクチャリストには１枚のピクチヤしか存在しないため、不整合が生じることとなる。

そこで、本実施の形態の参照画像リスト変更部１１２では、アクセスポイント以降の符号化データの参照ピクチャリストのピクチャの数が、参照ピクチャの最大格納枚数（no_of_ref）と同じになるように、参照ピクチャリストに掲載されている参照ピクチャの１つを、参照ピクチャリストの空きに挿入する。その際、参照画像リスト変更部１１２は、符号化すべきピクチャＢ５に時間的に最も近いピクチャを挿入するようにしてもよいし、アクセスポイントであるイントラピクチャを挿入するようにしてももちろんよいし、参照ピクチャリストに掲載されている、例えば１番目のピクチャをコピーして参照ピクチャリストの空きに挿入するようにしてももちろんよい。

図８に、このような変更を行った場合の、参照ピクチャリストを示す。
この場合、符号化すべきピクチャＢ５に時間的に最も近いピクチャは、ピクチャＩ６であるので、図５に示すように符号化データの任意のアクセスポイントからのデコード処理により、参照ピクチャリストの後ろのｉｄｘ１にＮＯＮＥ（無し）が設定されることになった場合、本実施の形態の参照画像リスト変更部１１２では、ｉｄｘ１として、ピクチャＩ６を設定することになる。

したがって、本実施の形態の参照画像リスト変更部１１２では、符号化データの任意のアクセスポイントからのデコード処理により、参照ピクチャリストにＮＯＮＥ（無し）が設定されても、そのＮＯＮＥ（無し）に符号化すべきピクチャＢ５に時間的に最も近いピクチャを付加することにより、復号の際、参照ピクチャとして参照ピクチャリストの２番目のピクチャが指定されても、参照ピクチャの数が足りなくなるという不整合が生じることを防ぐことができる。

そして、ＤＰＢは、次のＩＤＲピクチャが来ることでリセットされるので、参照画像リスト変更部１１２は、アクセスポイントから次のＩＤＲピクチャまでの間のＤＰＢの状態を調べ、ＤＰＢの中の被参照ピクチャの数が参照ピクチャの最大格納枚数（no_of_ref）に満たないピクチャに同様に参照画像リストを変更する。

動き補償部１０８は、参照画像リスト変更部１１２より入力される参照画像リストに従ってフレームメモリ１０９のデコード済み画像を用いて動き補償を行い、デコード画像を作成する。ＤＰＢ制御部１１０は、従来の方法を用いてデコード画像をフレームメモリ１０９格納若しくは出力を行う。

本実施の形態に係る参照画像リスト変更部１１２は、ヘッダ検出部１０３により検出されるアクセスポイント以降の符号化データを復号する際に、参照画像リストの変更を行う。

このように、本実施の形態に係る動画像符号化データ再生装置によれば、符号化データの任意のアクセスポイント以降の符号化データを復号する際に、参照画像リストの変更を行って、参照画像が不足する不整合が起こらないようにするので、任意のアクセスポイントから再生処理を行うことができる。

特に、本実施の形態では、Ｈ．２６４符号化方式にて符号化された符号化データのアクセスポイント以降の符号化データを再生する際のＤＰＢに格納されている被参照画像の数と、参照ピクチャの最大格納枚数（no_of_ref）とを比較し、被参照画像の数が少なかった場合には、アクセスポイントとしたイントラピクチャを、参照ピクチャリストのピクチャの数が最大格納枚数となるまで参照ピクチャリストに追加するようにしたので、ＩＤＲピクチャ以外の任意のイントラピクチャをアクセスポイントとした場合でも、ＤＰＢにおける参照ピクチャの欠落を補填することができ、参照ピクチャの欠落による復号画像の品質劣化の防止を図りながらＩＤＲピクチャ以外のイントラピクチャをアクセスポイントとして、トラックサーチ、チャプタサーチあるいはタイムコードサーチなどのランダムアクセスを行うことが可能となる。

なお、上記実施の形態では、ＩＴＵ−ＴＨ．２６４符号化方式により符号化された符号化データを再生の対象として説明したが、本発明は、これに限るものではなく、他の符号化方式により符号化された符号化データを対象としてももちろんよい。

本発明の実施の形態に係る動画像符号化データ再生装置の構成を示すブロック図である。図１の動画像符号化データ再生装置に入力される符号化データの一例を示す図である。図１のヘッダ検出部によって検出されたヘッダ以降の符号化データの例を示す図である。図３に示す符号化データの先頭ピクチャＩ６をデコードした後のＤＰＢの状態を示す図である。図３に示すピクチャＩ６の次のピクチャであるＢ５をデコードする際に用いられる参照ピクチャリストＭＰの一例を示す図である。ＤＰＢに図２に示すピクチャＰ４とＩ６が格納され、両方ともusedとneededにマークされていることを示す図である。ピクチャＢ５をデコードする際に使用する参照ピクチャリストＭＰの一例を示す図である。本実施の形態による参照ピクチャリストの変更を行った場合の参照ピクチャリストの一例を示す図である。従来のＭＰＥＧ２符号化における符号化方法を説明する図であり、（ａ）は、表示時のフレームの並び、（ｂ）は符号化時のフレームの並びを示す図である。クローズドＧＯＰの場合の符号化方法を説明するもので、（ａ）は表示時のフレームの並び、（ｂ）は符号化時のフレームの並びを示す図である。従来の符号化データ再生装置の一例を示す構成図である。Ｈ．２６４における符号化方法を説明する図である。Ｈ．２６４におけるＤＰＢの管理を説明する概念図である。ピクチャに付与されるＰＯＣとＦＮを説明する図である。デコード後のＤＰＢの処理について説明する図であり、（ａ）は、図１４においてＰ６をデコードした後のＤＰＢの状態を示す図、（ｂ）は、Ｂ４をデコードした後のＤＰＢの状態を示す図、（ｃ）は、Ｂ５をデコードした後のＤＰＢの状態を示す図である。

符号の説明

１０１ディスクドライブ
１０２ストリームバッファ
１０３ヘッダ検出部
１０４デコーダ
１０５逆ＶＬＣ部
１０６逆量子化部
１０７逆ＤＣＴ部
１０８動き補償部
１０９フレームメモリ
１１０ＤＰＢ制御部
１１１参照画像リスト作成部
１１２参照画像リスト変更部
１１３加算器

Claims

動画像信号がピクチャ単位で符号化された符号化データを任意のアクセスポイントから再生する動画像符号化データ再生装置において、
前記符号化データから前記アクセスポイント以降の符号化データを再生する際に、前記符号化データの参照ピクチャの最大数に応じて参照ピクチャリストを変更する参照画像リスト変更部を備え、前記参照画像リスト変更部からの参照ピクチャリストに従ってデコード済みの画像を用いて動き補償を行い、デコード画像を作成することを特徴とする動画像符号化データ再生装置。
前記アクセスポイントは、ある２つのＩＤＲピクチャ間のイントラピクチャであることを特徴とする請求項１に記載の動画像符号化データ再生装置。
前記参照画像リスト変更部は、前記アクセスポイント以降の符号化データの参照ピクチャの数が前記符号化データに記録されている参照ピクチャの最大格納枚数と同じになるように参照画像リストを変更することを特徴とする請求項１又は２に記載の動画像符号化データ再生装置。
前記参照画像リスト変更部は、前記アクセスポイント以降の符号化データの参照ピクチャの数が前記符号化データに記録されている参照ピクチャの最大格納枚数と同じになるように、符号化すべきピクチャに時間的に最も近いピクチャを参照画像として追加することを特徴とする請求項３に記載の動画像符号化データ再生装置。
前記参照画像リスト変更部は、前記アクセスポイント以降の符号化データの参照ピクチャの数が前記符号化データに記録されている参照ピクチャの最大格納枚数と同じになるように、前記アクセスポイントのイントラピクチャを参照画像として追加することを特徴とする請求項３に記載の動画像符号化データ再生装置。
前記参照画像リスト変更部は、前記アクセスポイント以降の符号化データの参照ピクチャの数が前記符号化データに記録されている参照ピクチャの最大格納枚数と同じになるように、前記参照ピクチャリストに掲載されているピクチャを参照画像として追加することを特徴とする請求項３に記載の動画像符号化データ再生装置。