JP2011077722A - 画像復号装置、画像復号方法およびそのプログラム - Google Patents

Abstract

【課題】ステレオ画像の符号化ストリームを、既存のモノラル画像用の復号装置で復号可能にする。
【解決手段】データ復号部１０４は、符号化ストリームに含まれるピクチャを、参照ピクチャを用いて予測復号する。第１ＤＰＢ１１６は、第１画像のピクチャが復号された復号画像を保持する。第１参照リスト記憶部１１３は、第１ＤＰＢ１１６に保持される、参照ピクチャに設定されている復号画像のインデックス情報を保持する。第２ＤＰＢ１１７は、第２画像のピクチャが復号された復号画像を保持する。第２参照リスト記憶部１１４は、第２ＤＰＢ１１７に保持される、参照ピクチャに設定されている復号画像のインデックス情報を保持する。制御部１１０は、符号化ストリームに含まれる各ピクチャに付加されている表示順序を示す情報を参照して、各ピクチャが第１画像のピクチャであるか第２画像のピクチャであるかを判定する。
【選択図】図６

Description

本発明は、ステレオ画像の符号化ストリームを復号するための画像復号装置、画像復号方法およびそのプログラムに関する。

視聴者に立体画像を認識させることができるディスプレイやプロジェクタの開発が進められている。視聴者に立体画像を認識させるには、視差画像を表示または投写する必要がある。人間の両目は数ｃｍほど離れているため、右目と左目で得られる像には位置ずれがある。人間の脳はこの位置ずれを一つの手がかりとして奥行きを認識している。逆にいえば、この両目に写すべき像の位置ずれ量を調整することにより、脳に擬似的に奥行きを認識させることができる。視差画像は、左右方向に位置ずれを持つ右目用画像と左目用画像とで構成される。以下、本明細書では視差画像をステレオ画像と表記する。ステレオ画像は、たとえば、Ｈ．２６４／ＭＶＣ（Multiview Video Coding）に準拠して符号化することが可能である。

特開２００５−１２４２００号公報

ステレオ画像のコンテンツは、まだ、広く普及しているとはいえない段階であり、多くのユーザはモノラル画像用の復号装置しか所持していないのが現状である（２００９年９月現在）。たとえば、現在普及している復号装置は、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）に準拠したモノラル画像の符号化ストリームには対応するが、Ｈ．２６４／ＭＶＣに準拠した多視点画像の符号化ストリームには対応していないものがほとんどである。

本発明はこうした状況に鑑みなされたものであり、その目的は、ステレオ画像の符号化ストリームを、既存のモノラル画像用の復号装置で復号可能にする技術を提供することにある。

本発明のある態様の画像復号装置は、視点が異なる第１画像と第２画像とにより構成されるステレオ画像が符号化された符号化ストリームを復号する画像復号装置であって、符号化ストリームに含まれるピクチャを、参照ピクチャを用いて予測復号する復号部と、復号部により、第１画像のピクチャが復号された復号画像を保持する第１復号ピクチャ記憶部と、第１復号ピクチャ記憶部に保持される、参照ピクチャに設定されている復号画像のインデックス情報を保持する第１参照リスト記憶部と、復号部により、第２画像のピクチャが復号された復号画像を保持する第２復号ピクチャ記憶部と、第２復号ピクチャ記憶部に保持される、参照ピクチャに設定されている復号画像のインデックス情報を保持する第２参照リスト記憶部と、符号化ストリームに含まれる各ピクチャに付加されている表示順序を示す情報を参照して、各ピクチャが第１画像のピクチャであるか第２画像のピクチャであるかを判定する制御部と、を備える。制御部は、復号対象ピクチャが第１画像のピクチャである場合、第１復号ピクチャ記憶部および第１参照リスト記憶部を有効にし、第２画像のピクチャである場合、第２復号ピクチャ記憶部および第２参照リスト記憶部を有効にする。

本発明の別の態様は、画像復号方法である。この方法は、視点が異なる第１画像と第２画像とにより構成されるステレオ画像が符号化された符号化ストリームを復号する画像復号方法であって、符号化ストリームに含まれる各ピクチャに付加されている表示順序を示す情報を参照して、各ピクチャが第１画像のピクチャであるか第２画像のピクチャであるかを判定する判定ステップと、符号化ストリームに含まれるピクチャを、参照ピクチャを用いて予測復号する復号ステップと、判定ステップによる判定の結果、復号対象ピクチャが第１画像のピクチャである場合、第１画像用の復号ピクチャバッファおよび第１画像用の参照ピクチャリストを更新し、復号対象ピクチャが第２画像のピクチャである場合、第２画像用の復号ピクチャバッファおよび第２画像用の参照ピクチャリストを更新する更新ステップと、を備える。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

ステレオ画像の符号化ストリームを、既存のモノラル画像用の復号装置で復号できるようになる。

ＡＶＣ／Ｈ．２６４符号化方式の画像復号装置の構成例を示す図である。 インタービュー予測符号化を説明するための図である。 ＭＶＣ符号化方式で符号化された多視点画像の参照関係の一例を示す図である。 図３において、対象ピクチャがＶｉｅｗ２のＢピクチャＢ１である場合の参照ピクチャリストを示す図である。 ＭＶＣ符号化方式で追加されるＮＡＬの一覧を示す図である。 本発明の実施の形態に係る画像復号装置の構成を示す図である。 ベースビューに設定された左視点画像の符号化ストリームと、ビューオーダーインデックス１に設定された右視点画像の符号化ストリームの構成例を示す図である。 図７に示した左視点画像の符号化ストリームと、右視点画像の符号化ストリームとを組み合わせたステレオ画像の符号化ストリームの構成例を示す図である。 実施の形態に係るＤＰＢ制御部による第１ＤＰＢ、第２ＤＰＢおよび補助記憶部の制御方法を示すフローチャートである。 実施の形態に係る参照リスト制御部による参照ピクチャリストの作成および第１参照リスト保持部および第２参照リスト保持部の制御方法を示すフローチャートである。 図８に示したステレオ画像の符号化ストリームに含まれるピクチャの、復号画像、復号に用いる参照ピクチャリストおよび復号後のバッファの状態を示す図である。 実施の形態に係るヘッダ変換部によるヘッダの変換方法を示すフローチャートである。

以下、本発明の実施の形態に係る画像復号装置の詳細を説明する前に、そこで用いられる前提技術について説明する。

現在、ＭＰＥＧ（Moving Picture Experts Group）などの符号化方式に準拠した装置およびシステムが普及している。そのような符号化方式では、時間軸上に連続する複数の画像をデジタル信号の情報として取り扱う。その際、効率の高い情報の放送、伝送または蓄積などを目的とし、時間方向の冗長性を利用した動き補償予測、および空間方向の冗長性を利用した離散コサイン変換などの直交変換を用いて圧縮符号化する。

１９９５年にはＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ １３８１８−２）符号化方式が、汎用の動画像圧縮符号化方式として制定され、ＤＶＤ（Digital Versatile Disk）およびＤ−ＶＨＳ（登録商標）規格のデジタルＶＴＲによる磁気テープなどの蓄積メディア、ならびにデジタル放送などのアプリケーションとして広く用いられている。

さらに、２００３年に、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同作業によってＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４と呼ばれる符号化方式（ＩＳＯ／ＩＥＣでは１４４９６−１０、ＩＴＵ‐ＴではＨ.２６４の規格番号がつけられている。以下、これをＡＶＣ／Ｈ.２６４符号化方式と呼ぶ）が国際標準として制定された。

図１は、ＡＶＣ／Ｈ.２６４符号化方式の画像復号装置の構成例を示す図である。なお、図１に示す画像復号装置の構成は、後述する図６に示す本発明の実施の形態に係る画像復号装置の構成と大部分が共通するため、ここではその説明を省略する。このＡＶＣ／Ｈ.２６４符号化方式では、従来のＭＰＥＧ−２などの符号化方式に比べ、より高い符号化効率を実現している。

これらの符号化方式では、フレーム間予測符号化が用いられる。フレーム間予測符号化では、まず、１画面相当のデジタル画像データをいくつかの画素を含むブロック（たとえば、マクロブロック）に分割し、ブロック毎に画像間の動きを示す動きベクトルを検出する。つぎに、その動きベクトルを用いて動き補償と呼ばれる予測画像の生成を行い、得られた予測画像と符号化対象画像との差分値を符号化する。

この予測画像の生成方法によって、ピクチャはいくつかのタイプに分けられる。参照画像を持たず、画面内の予測のみを用いるものをＩピクチャと呼び、１枚の参照画像を用いて画面間予測符号化を行うものをＰピクチャと呼び、２枚の参照画像を用いて画面間予測符号化を行うものをＢピクチャと呼ぶ。

ＭＰＥＧ−２のＰピクチャでは、表示順序で直前のＩピクチャまたはＰピクチャのみから動き補償予測を行う。これに対して、ＡＶＣ／Ｈ.２６４では、複数のピクチャを参照ピクチャとして用いることができ、この中からブロック毎に最適なものを選択して動き補償を行うことができる。また、表示順序で先行するピクチャに加えて、既に符号化済みの表示順序で後続のピクチャも参照することができる。

また、ＭＰＥＧ−２のＢピクチャでは、表示順序で前方１枚の参照ピクチャ、後方１枚の参照ピクチャ、またはその２枚の参照ピクチャを平均化したピクチャを、予測ピクチャとし、対象ピクチャと予測ピクチャとの差分データを符号化することができる。これに対して、ＡＶＣ／Ｈ.２６４では、表示順序で前方１枚、後方１枚という制約にとらわれず、前方や後方に関係なく任意の参照ピクチャを予測のために参照することができる。さらに、Ｂピクチャを参照ピクチャとして参照することもできる。

このように、ＡＶＣ／Ｈ．２６４では任意に離れたピクチャを参照することが可能なため、復号した画像をデコード・ピクチャ・バッファ（以下、ＤＰＢと表記する）と呼ばれるバッファに格納して管理する。

ＤＰＢには、復号後の出力待ちピクチャおよび他のピクチャから参照される参照ピクチャが格納される。各ピクチャはヘッダ情報として送られるピクチャ・オーダー・カウント（以下、ＰＯＣと表記する）と呼ばれる表示順序を示す情報（より具体的には、番号）が付与され管理される。また、参照ピクチャにはフレームナンバ（以下、ＦＮと表記する）と呼ばれる番号が付与され管理される。

ＤＰＢに格納されるピクチャは、「参照画像として使用」(used for reference：以下、usedと呼ぶ)または「参照画像として不使用」(unused for reference：以下、unusedと呼ぶ)のどちらかにマークされる。さらに、「出力待ち」(needed for output：以下、neededと呼ぶ)または「出力済み」(not needed to output：以下、not neededと呼ぶ)のどちらかにマークされる。特別なイントラピクチャである、ＩＤＲピクチャが復号されると、ＤＰＢ内の画像は全てunusedとマークされ、ＰＯＣ順に全ての画像が出力され、ＤＰＢ内から消去される。

ＡＶＣ／Ｈ．２６４では、このＤＰＢに格納されているピクチャを後述する方法で並べて参照ピクチャリストを作成し、その符号化ストリームにそのインデックスを記述することにより、参照ピクチャを指定している。

Ｐピクチャでは、ＤＰＢ内のピクチャをピクチャ・ナンバ（以下、ＰＮと表記する）の小さい順に並べる。ここで、ＰＮとは、ＦＮをもとにフィールド順を加味したものである。

Ｂピクチャでは、二つの参照ピクチャリストを用いる。一つはＬ０予測のリストであり、対象ピクチャよりＰＯＣの小さいピクチャをＰＯＣの大きな順に並べ、その後に対象ピクチャよりＰＯＣの大きなピクチャをＰＯＣの小さい順に並べたものである。

もう一つはＬ１予測のリストであり、対象ピクチャよりＰＯＣの大きなピクチャをＰＯＣの小さい順に並べ、その後に対象ピクチャよりＰＯＣの小さいピクチャをＰＯＣの大きな順に並べたものである。

また、参照ピクチャリストはスライス毎に付加されるスライスヘッダ内で参照ピクチャリスト変更情報を送ることにより、上述したリストを並び替えることも可能である。

一方、２眼式立体テレビジョンにおいては、２台のカメラにより異なる２方向から撮影された、左目用画像および右目用画像を生成し、これを同一画面上に表示して立体画像を見せるようにしている。この場合、左目用画像および右目用画像はそれぞれ独立した画像として別個に伝送あるいは記録されることも多い。

その場合、単一の２次元画像の約２倍の情報量が必要となってしまう。そこで、左右いずれか一方の画像を主画像とし、他方の画像を副画像として、一般的な圧縮符号化方法によって圧縮して情報量を抑える手法が提案されている。たとえば、下記に説明するＭＶＣ符号化方式を用いて圧縮符号化する手法が提案されている。

１９９６年に単視点画像の符号化国際標準であるＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ１４４９６−２）符号化方式に、マルチビュープロファイルと呼ばれるステレオ画像の符号化方式が追加された（ＩＳＯ／ＩＥＣ １４４９６−２／ＡＭＤ３）。さらに、２００８年には、ＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４符号化方式（ＩＳＯ／ＩＥＣ １４４９６−１０・ＩＴＵ‐Ｔ Ｈ.２６４）のＡｎｎｅｘ Ｈ（付録Ｈ）として、多視点画像符号化（＝ＭＶＣ符号化方式）の最終勧告案が決定された。

ＭＶＣ符号化方式では、対象の画像を「ビュー」と呼び、複数の画像を扱うことが可能である。また、Ｈ．２６４／ＡＶＣ符号化方式とマクロブロック以下の処理が共通であり、さらに ベースビューと呼ばれるＨ．２６４／ＡＶＣ符号化方式に準拠したビューが必ず含まれる。

ＭＶＣ符号化方式では、画像の予測効率を上げるために、Ｈ．２６４／ＡＶＣ符号化方式に加え、ビュー間のフレーム間予測符号化（以下、インタービュー予測符号化と表記する）を行うことができる。

図２は、インタービュー予測符号化を説明するための図である。横軸が時間方向を示しており、一つの行が一つのビューに対応する。実線の矢印で示したものが時間方向のフレーム間予測符号化であり、点線の矢印で示したものがインタービュー予測符号化である。また、インタービュー予測符号化では、フレーム間予測符号化においては参照ピクチャに用いることができない非参照ピクチャも、参照ピクチャとして用いることができる。この参照ピクチャをインタービュー限定参照ピクチャと呼ぶ。

ＭＶＣ符号化方式では、インタービュー予測符号化を行うため、Ｈ．２６４／ＡＶＣ符号化方式で用いていた参照ピクチャリストに、インタービュー予測符号化用のピクチャを追加する。このインタービュー予測符号化用のピクチャは、対象ピクチャと同じＰＯＣを持ち、かつ、ビューの並び順を示すビューオーダーインデックスの値が対象ピクチャのビューオーダーインデッククスの値より小さな参照ピクチャであるか、インタービュー限定参照ピクチャである。

つぎに、ＭＶＣ符号化方式で用いる参照ピクチャリストの一例を図３および図４を参照しながら説明する。

図３は、ＭＶＣ符号化方式で符号化された多視点画像の参照関係の一例を示す図である。横軸は時間方向を示しており、一つの行が一つのビューに対応する。ここで、Ｖｉｅｗという表記の後ろに添えられている数字は、ビューオーダーインデックスの値である。また、各ピクチャに添えられた数字はＰＯＣを表している。

図４は、図３において、対象ピクチャがＶｉｅｗ２のＢピクチャＢ１である場合の参照ピクチャリストを示す図である。すなわち、参照インデックス０、１は、Ｈ．２６４／ＡＶＣ符号化方式で用いられる参照ピクチャリスト作成方法にしたがい、対象ピクチャと同じビューのピクチャのＰＯＣをもとに作成したものである。参照インデックス２、３に係るピクチャは、同じＰＯＣを持つ異なるビューのピクチャで、対象ピクチャのビューオーダーインデックスより小さいビューオーダーインデックスを持つピクチャである。

ここで、インタービュー予測符号化に用いる参照ピクチャの並び順は、後述する新規に追加されたＮＡＬ（Network Abstraction Layer）のＳｕｂｓｅｔ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ（ＳｕｂｓｅｔＳＰＳ）内に記述される、ＭＶＣ用のシーケンスパラメータセット（ＳＰＳ）拡張データの中に記述される。ＭＶＣ符号化方式で用いる各種情報を記述するため、Ｈ．２６４／ＡＶＣ符号化方式で規定されているＮＡＬ（Network Abstraction Layer）に加え、新規に図５に示す表に記述したＮＡＬが追加される。

以上の前提技術を踏まえて、以下、本発明の実施の形態を詳細に説明する。
図６は、本発明の実施の形態に係る画像復号装置１００の構成を示す図である。画像復号装置１００は、視点が異なる第１画像と第２画像とにより構成されるステレオ画像が符号化された符号化ストリームを復号する。本実施の形態では、第１画像を左視点画像、第２画像を右視点画像とする。

画像復号装置１００は、ストリームバッファ１０１、ヘッダ変換部１０２、ヘッダ復号部１０３、データ復号部１０４、制御部１１０、第１参照リスト保持部１１３、第２参照リスト保持部１１４、第１ＤＰＢ１１６、第２ＤＰＢ１１７および補助記憶部１１９を備える。データ復号部１０４は、逆ＶＬＣ部１０５、逆量子化部１０６、逆ＤＣＴ部１０７、加算部１０８およびＭＣ部１０９を含む。制御部１１０は、参照リスト制御部１１１およびＤＰＢ制御部１１２を含む。

これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

ストリームバッファ１０１は、外部から入力される符号化ストリームを一時的に蓄積する。その後、ストリームバッファ１０１に蓄積された符号化ストリームは、ヘッダ変換部１０２に入力される。本実施の形態では、符号化ストリームは、ＭＶＣ符号化方式に準拠するものとし、ベースビューに左視点画像、ビューオーダーインデックス１に右視点画像が設定されているとする。

図７は、ベースビューに設定された左視点画像の符号化ストリームと、ビューオーダーインデックス１に設定された右視点画像の符号化ストリームの構成例を示す図である。図８は、図７に示した左視点画像の符号化ストリームと、右視点画像の符号化ストリームとを組み合わせたステレオ画像の符号化ストリームの構成例を示す図である。

ヘッダ変換部１０２は、後述するヘッダ情報の変換を行った後、符号化ストリームをヘッダ復号部１０３に入力する。ヘッダ復号部１０３は、入力された符号化ストリームのヘッダ情報を復号して取り出し、取り出したヘッダ情報を参照リスト制御部１１１およびＤＰＢ制御部１１２へ入力する。それとともに、ヘッダ復号部１０３は、残りの符号化ストリームをデータ復号部１０４（より厳密には逆ＶＬＣ部１０５）に入力する。

データ復号部１０４は、符号化ストリームに含まれるピクチャを、参照ピクチャを用いて予測復号する。以下、より具体的に説明する。逆ＶＬＣ部１０５は、入力された符号化ストリーム内のデータに逆ＶＬＣ処理を施し、その結果を量子化ステップとともに、逆量子化部１０６に入力する。それとともに、逆ＶＬＣ部１０５は、動きベクトル情報をＭＣ部１０９に入力する。

逆量子化部１０６は、指示された量子化ステップにしたがって、入力されたデータに逆量子化処理を施し、その結果を逆ＤＣＴ部１０７に入力する。逆ＤＣＴ部１０７は、入力されたデータに逆ＤＣＴ処理を施して差分画像を作成し、加算部１０８に入力する。

第１ＤＰＢ１１６は、データ復号部１０４により、左視点画像のピクチャが復号された復号画像を保持するためのバッファである。第２ＤＰＢ１１７は、データ復号部１０４により、右視点画像のピクチャが復号された復号画像を保持するためのバッファである。補助記憶部１１９は、データ復号部１０４により、左視点画像のピクチャが復号された復号画像を補助的に保持するためのバッファである。なお、Ｂピクチャのインタービュー予測符号化を行わない場合は、補助記憶部１１９を設ける必要はない。

第１参照リスト保持部１１３は、第１ＤＰＢ１１６に保持される、参照ピクチャに設定されている復号画像のインデックス情報を保持する。第２参照リスト保持部１１４は、第２ＤＰＢ１１７に保持される、参照ピクチャに設定されている復号画像のインデックス情報を保持する。第１参照リスト保持部１１３および第２参照リスト保持部１１４内に保持されるインデックス情報は、参照リスト制御部１１１により順次、書き換えられる。

制御部１１０は、各ピクチャに付加されているＰＯＣを参照して、各ピクチャが左視点画像のピクチャであるか右視点画像のピクチャであるかを判定する。より具体的には、復号対象ピクチャに付加されているＰＯＣと、その一つ前に復号されたピクチャに付加されているＰＯＣとを比較し、一致しない場合、復号対象ピクチャをベースビューに設定されている左視点画像のピクチャと判定し、一致している場合、拡張ビュー（本実施の形態では、ビューオーダーインデックス１）に設定されている右視点画像のピクチャと判定する。

制御部１１０は、復号対象ピクチャが左視点画像のピクチャである場合、第１ＤＰＢ１１６および第１参照リスト保持部１１３を有効にし、第２ＤＰＢ１１７および第２参照リスト保持部１１４を無効にする。制御部１１０は、第１参照リスト保持部１１３に保持されているインデックス情報をもとに参照ピクチャリストを生成してデータ復号部１０４に提供する。

制御部１１０は、復号対象ピクチャが右視点画像のピクチャである場合、第２ＤＰＢ１１７および第２参照リスト保持部１１４を有効にし、第１ＤＰＢ１１６および第１参照リスト保持部１１３を無効にする。制御部１１０は、第２参照リスト保持部１１４に保持されているインデックス情報をもとに参照ピクチャリストを生成し、その参照ピクチャリストに一つ前に復号されたピクチャのインデックス情報を追加して、データ復号部１０４に提供する。

また、制御部１１０は、復号対象ピクチャが左視点画像のピクチャである場合、その復号画像を補助記憶部１１９に格納する。その際、左視点画像が復号されるたびに、補助記憶部１１９に格納される復号画像を最新のものに更新する設定でもよい。その場合、補助記憶部１１９は、一枚の復号画像を格納する領域が確保されていれば足りる。

以下、制御部１１０についてより具体的に説明する。ＤＰＢ制御部１１２は、ヘッダ復号部１０３から入力されるヘッダ情報をもとに、後述する手法を用いて、スイッチ１１８を制御して第１ＤＰＢ１１６または第２ＤＰＢ１１７にアクセスし、ＤＰＢ情報を書き換える。また、ＤＰＢ制御部１１２は、加算部１０８から入力される復号画像を、第１ＤＰＢ１１６、第２ＤＰＢ１１７または補助記憶部１１９に格納する。また、ＤＰＢ制御部１１２は、後述する手法を用いて、スイッチ１２０を制御して出力チャネルを、左目用画像の出力チャネルＬＯＵＴまたは右目用画像の出力チャネルＲＯＵＴから選択する。その選択後、ＤＰＢ制御部１１２は、ＤＰＢ情報とヘッダ情報にしたがい、第１ＤＰＢ１１６または第２ＤＰＢ１１７に格納されている復号画像の外部への出力と、第１ＤＰＢ１１６または第２ＤＰＢ１１７内からの削除を行う。

参照リスト制御部１１１は、ヘッダ復号部１０３から入力されるヘッダ情報と、ＤＰＢ制御部１１２から入力されるＤＰＢ情報をもとに、後述する手法を用いて、スイッチ１１５を制御して、第１参照リスト保持部１１３または第２参照リスト保持部１１４に保持されているインデックス情報をもとに、参照ピクチャリストを作成してＭＣ部１０９に入力する。

ＭＣ部１０９は、参照リスト制御部１１１から入力される参照ピクチャリストをもとに、ＤＰＢ制御部１１２を介して第１ＤＰＢ１１６、第２ＤＰＢ１１７または補助記憶部１１９に格納された参照ピクチャにアクセスする。ＭＣ部１０９は、第１ＤＰＢ１１６、第２ＤＰＢ１１７または補助記憶部１１９から取得した参照ピクチャと、逆ＶＬＣ部１０５から入力される動きベクトルを用いて予測画像を作成して加算部１０８に入力する。加算部１０８は、逆ＤＣＴ部１０７から入力される差分画像と、ＭＣ部１０９から入力される予測画像を加算して復号画像を作成し、ＤＰＢ制御部１１２に入力する。

図９は、実施の形態に係るＤＰＢ制御部１１２による第１ＤＰＢ１１６、第２ＤＰＢ１１７および補助記憶部１１９の制御方法を示すフローチャートである。まず、ＤＰＢ制御部１１２は、ヘッダ復号部１０３から入力されたヘッダ情報のＰＯＣと、復号順でひとつ前のピクチャのＰＯＣ（図９ではｐｒｅｖＰＯＣと表記している）を比較する（Ｓ２０１）。

両者が同じ値であれば（Ｓ２０１のＹ）、同じ出力時刻の２つの視点のピクチャのうちの２枚目のピクチャであるから、ＤＰＢ制御部１１２は、第２ＤＰＢ１１７（図９ではＤＰＢ１と表記している）を現在のピクチャの復号に用いるＤＰＢ（図９ではｃｕｒＤＰＢと表している）とし、出力先チャネルＯＵＴを右目用画像の出力チャネルＲＯＵＴとする（Ｓ２０２）。

一方、両者が異なる値であれば（Ｓ２０１のＮ）、２つの視点のピクチャのうちの１枚目のピクチャであるから、ＤＰＢ制御部１１２は、第１ＤＰＢ１１６（図９ではＤＰＢ０と表記している）を現在のピクチャの復号に用いるＤＰＢ（図９ではｃｕｒＤＰＢと表している）とし、出力先チャネルＯＵＴを左目用画像の出力チャネルＬＯＵＴとする（Ｓ２０３）。また、ＤＰＢ制御部１１２は、復号画像を補助記憶部１１９に格納する（Ｓ２０４）。現在のピクチャが非参照ピクチャであった場合、出力時刻によってはＤＰＢ処理によりすぐに出力されてしまい、ＤＰＢに格納されない場合もあり得る。この点、現在のピクチャを補助記憶部１１９に格納することにより、インタービュー予測符号化の参照画像として使用することが可能となる。

その後、ＤＰＢ制御部１１２は、Ｈ．２６４／ＡＶＣ符号化方式で規定されるＤＰＢ制御処理を行う（Ｓ２０５）。すなわち、ＤＰＢに格納されているピクチャのマーキング処理や復号画像のＤＰＢへの格納、出力画像のＤＰＢからの出力、不要なピクチャのＤＰＢからの削除などを行う。

図１０は、実施の形態に係る参照リスト制御部１１１による参照ピクチャリストの作成および第１参照リスト保持部１１３および第２参照リスト保持部１１４の制御方法を示すフローチャートである。まず、参照リスト制御部１１１は、ヘッダ復号部１０３から入力されたヘッダ情報のＰＯＣと、復号順でひとつ前のピクチャのＰＯＣ（図１０ではｐｒｅｖＰＯＣと表記している）を比較する（Ｓ３０１）。

両者の値が同じであれば（Ｓ３０１のＹ）、同じ出力時刻の２つの視点のピクチャのうちの２枚目のピクチャであるから、参照リスト制御部１１１は、第２参照リスト保持部１１４に保持されているインデックス情報（図１０ではＬｉｓｔ１と表記している）を、現在のピクチャの復号に用いる参照ピクチャリスト（図１０ではｃｕｒＲｅｆＬｉｓｔと表記している）の基本情報とし（Ｓ３０２）、参照リスト制御部１１１は、Ｈ．２６４／ＡＶＣ符号化方式で規定される参照ピクチャリストの作成処理を行う（Ｓ３０４）。

さらに、参照リスト制御部１１１は、ステップＳ３０４で作成した参照ピクチャリストの末尾に、復号順でひとつ前のピクチャを参照ピクチャとして追加する（Ｓ３０６）。ここで、本実施の形態に係る入力符号化ストリームはステレオ画像に関するものであるため、インタービュー予測符号化に用いることの可能な参照ピクチャは、ベースビューに相当するピクチャのみである。また、同じ出力時刻の２つの視点のピクチャのうちの２枚目のピクチャにおいて、復号順でひとつ前のピクチャはベースビューに相当するピクチャである。したがって、ＳｕｂｓｅｔＳＰＳに記述されているインタービュー予測符号化の参照ピクチャ情報を復号しなくても、この処理により参照ピクチャリストにインタービュー予測符号化の参照ピクチャを追加することが可能となる。

一方、両者が異なる値であれば（Ｓ３０１のＮ）、２つの視点のピクチャのうちの１枚目のピクチャであるから、参照リスト制御部１１１は、第１参照リスト保持部１１３に保持されているインデックス情報（図１０ではＬｉｓｔ０と表記している）を、現在のピクチャの復号に用いる参照ピクチャリスト（図１０ではｃｕｒＲｅｆＬｉｓｔと表記している）の基本情報とし（Ｓ３０３）、参照リスト制御部１１１は、Ｈ．２６４／ＡＶＣ符号化方式で規定される参照ピクチャリストの作成処理を行う（Ｓ３０５）。ここで、ステップＳ３０４とステップＳ３０５の参照ピクチャリストの作成処理は、Ｈ．２６４／ＡＶＣ符号化方式で規定されているものと全く同様のものである。

図１１は、図８に示したステレオ画像の符号化ストリームに含まれるピクチャの、復号画像、復号に用いる参照ピクチャリストおよび復号後のバッファの状態を示す図である。左視点画像（ＬＩ０、ＬＰ２、ＬＢ１）は、復号後、第１ＤＰＢ１１６（ＤＰＢ０）および補助記憶部１１９に格納される。右視点画像（ＲＰ０、ＲＰ２、ＲＢ１）は、復号後、第２ＤＰＢ１１７（ＤＰＢ１）に格納される。

左視点画像の参照ピクチャリストＬｉｓｔ０は、第１参照リスト保持部１１３に保持されるインデックス情報から生成され、そのインデックス情報は、その時点で第１ＤＰＢ１１６（ＤＰＢ０）に格納されている復号画像のインデックス情報である。右視点画像の参照ピクチャリストＬｉｓｔ１は、第２参照リスト保持部１１４に保持されるインデックス情報から生成され、そのインデックス情報は、その時点で第２ＤＰＢ１１７（ＤＰＢ１）に格納されている復号画像のインデックス情報と、第１ＤＰＢ１１６（ＤＰＢ０）または補助記憶部１１９に格納されている対象画像と同時刻のベースビューの復号画像のインデックス情報である。なお、Ｂピクチャでは、Ｌ０予測の参照ピクチャリストとＬ１予測の参照ピクチャリストの２種類が生成される。

図１２は、実施の形態に係るヘッダ変換部１０２によるヘッダの変換方法を示すフローチャートである。まず、ヘッダ変換部１０２は、入力された符号化ストリームのＮＡＬユニットタイプを判定する（Ｓ４０１）。ＮＡＬユニットタイプがＳｕｂｓｅｔＳＰＳである場合、ヘッダ変換部１０２は、ＮＡＬユニット内のＮＡＬユニットヘッダとＳＰＳデータ以外のデータを削除する（Ｓ４０２）。つぎに、ヘッダ変換部１０２は、ＮＡＬユニットヘッダのＮＡＬユニットタイプをＳＰＳＮＡＬユニットに変更する（Ｓ４０３）。ＳｕｂｓｅｔＳＰＳに含まれるＳＰＳデータは、ＳＰＳＮＡＬユニットに含まれるＳＰＳデータと同じ構造であるため、この処理により、ＳｕｂｓｅｔＳＰＳをＳＰＳＮＡＬユニットに変換することができる。

ステップＳ４０１で判定されたＮＡＬユニットタイプがCoded Slice extensionである場合、ヘッダ変換部１０２は、ＮＡＬユニットヘッダ内のnon_idr_flagを取得する（Ｓ４０４）。ここで、non_idr_flagは、そのピクチャがＩＤＲピクチャであるか（non_idr_flag＝0）、そうでないか（non_idr_flag＝1）を示すフラグであり、Coded Slice extensionのＮＡＬユニットヘッダ内のＮＡＬユニットヘッダ拡張データに含まれている。

つぎに、ヘッダ変換部１０２は、ＮＡＬユニットヘッダ拡張データを削除する（Ｓ４０５）。つぎに、ヘッダ変換部１０２は、non_idr_flagが1であるか０であるか判定する（Ｓ４０６）。non_idr_flagが1である場合（Ｓ４０６のＹ）、ヘッダ変換部１０２は、ＮＡＬユニットヘッダのＮＡＬユニットタイプをｎｏｎ−ＩＤＲピクチャに変更する（Ｓ４０７）。non_idr_flagが０である場合（Ｓ４０６のＮ）、ヘッダ変換部１０２は、ＮＡＬユニットヘッダのＮＡＬユニットタイプをＩＤＲピクチャに変更する（Ｓ４０８）。

Coded Slice extensionには、ＮＡＬユニットヘッダ部にＭＶＣ符号化方式で用いるヘッダ拡張データが含まれるが、それ以外はＨ．２６４／ＡＶＣ符号化方式のｎｏｎ−ＩＤＲピクチャ、ＩＤＲピクチャのＮＡＬユニットと同じ構造である。したがって、この処理によって、Coded Slice extension ＮＡＬユニットをｎｏｎ−ＩＤＲピクチャまたはＩＤＲピクチャのＮＡＬユニットに変換することが可能である。

ステップＳ４０１で判定されたＮＡＬユニットタイプが、上述したＳｕｂｓｅｔＳＰＳおよびCoded Slice extension以外だった場合、何も処理を行わない。ＭＶＣ符号化方式では、Ｈ．２６４／ＡＶＣ符号化方式で規定されているＮＡＬユニットに加え、ＳｕｂｓｅｔＳＰＳまたはCoded Slice extension以外にＰｒｅｆｉｘＮＡＬユニットが追加されている。Ｈ．２６４／ＡＶＣ符号化方式の復号方法では、規定されていないＮＡＬユニットタイプを持つＮＡＬユニットを受け取ると、そのＮＡＬユニットを無視すると決められているため、ＰｒｅｆｉｘＮＡＬユニットが入力されても復号に支障をきたすことはない。

以上説明したように実施の形態によれば、Ｈ．２６４／ＡＶＣ符号化方式の画像復号装置にわずかな変更を加えるのみで、ＭＶＣ符号化方式で符号化されたステレオ画像の符号化ストリームを好適に復号することができる。

ＭＶＣ符号化方式は、Ｈ．２６４／ＡＶＣ符号化方式とマクロブロック以下の処理は共通であるが、インタービュー予測符号化を用いていたり、新規のＮＡＬが追加されているため、Ｈ．２６４／ＡＶＣ符号化方式の画像復号装置ではベースビュー以外のビューの復号は困難であった。これに対して、本実施の形態では、２つのＤＰＢ、２つの参照ピクチャリストおよび２つの出力チャネルを、ＰＯＣの値によって切り替えることにより、ベースビュー以外のビューも復号することができる。また、ＰＯＣが同じピクチャが連続して出現した場合、参照ピクチャリストの末尾に直前のピクチャのインデックス情報を挿入することにより、インタービュー予測符号化にも対応することができる。また、補助記憶部１１９を追加することにより、すべてのピクチャでのインタービュー予測符号化を担保することができる。また、ヘッダ変換部１０２を追加することにより、ＭＶＣ符号化方式で用いられるＮＡＬユニットの一部をＨ．２６４／ＡＶＣ符号化方式で規定されるＮＡＬユニットに変換することが可能である。

以上、本発明をいくつかの実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１００ 画像復号装置、 １０１ ストリームバッファ、 １０２ ヘッダ変換部、 １０３ ヘッダ復号部、 １０４ データ復号部、 １０５ 逆ＶＬＣ部、 １０６ 逆量子化部、 １０７ 逆ＤＣＴ部、 １０８ 加算部、 １０９ ＭＣ部、 １１０ 制御部、 １１１ 参照リスト制御部、 １１２ ＤＰＢ制御部、 １１３ 第１参照リスト保持部、 １１４ 第２参照リスト保持部、 １１５ スイッチ、 １１６ 第１ＤＰＢ、 １１７ 第２ＤＰＢ、 １１８ スイッチ、 １１９ 補助記憶部、 １２０ スイッチ。

Claims (6)

1. 視点が異なる第１画像と第２画像とにより構成されるステレオ画像が符号化された符号化ストリームを復号する画像復号装置であって、
   前記符号化ストリームに含まれるピクチャを、参照ピクチャを用いて予測復号する復号部と、
   前記復号部により、前記第１画像のピクチャが復号された復号画像を保持する第１復号ピクチャ記憶部と、
   前記第１復号ピクチャ記憶部に保持される、参照ピクチャに設定されている復号画像のインデックス情報を保持する第１参照リスト記憶部と、
   前記復号部により、前記第２画像のピクチャが復号された復号画像を保持する第２復号ピクチャ記憶部と、
   前記第２復号ピクチャ記憶部に保持される、参照ピクチャに設定されている復号画像のインデックス情報を保持する第２参照リスト記憶部と、
   前記符号化ストリームに含まれる各ピクチャに付加されている表示順序を示す情報を参照して、各ピクチャが前記第１画像のピクチャであるか前記第２画像のピクチャであるかを判定する制御部と、を備え、
   前記制御部は、復号対象ピクチャが前記第１画像のピクチャである場合、前記第１復号ピクチャ記憶部および前記第１参照リスト記憶部を有効にし、前記第２画像のピクチャである場合、前記第２復号ピクチャ記憶部および前記第２参照リスト記憶部を有効にすることを特徴とする画像復号装置。
2. 前記制御部は、前記復号対象ピクチャに付加されている表示順序を示す情報と、その一つ前に復号されたピクチャに付加されている表示順序を示す情報とを比較し、一致しない場合、前記復号対象ピクチャをベースビューに設定されている前記第１画像のピクチャと判定し、一致している場合、拡張ビューに設定されている前記第２画像のピクチャと判定することを特徴とする請求項１に記載の画像復号装置。
3. 前記制御部は、
   前記復号対象ピクチャが前記第１画像のピクチャである場合、前記第１参照リスト記憶部に保持されているインデックス情報をもとに参照ピクチャリストを生成して、前記復号部に提供し、
   前記復号対象のピクチャが前記第２画像のピクチャである場合、前記第２参照リスト記憶部に保持されているインデックス情報をもとに参照ピクチャリストを生成し、その参照ピクチャリストに一つ前に復号されたピクチャのインデックス情報を追加して、前記復号部に提供することを特徴とする請求項２に記載の画像復号装置。
4. 前記復号部により、前記第１画像のピクチャが復号された復号画像を補助的に保持する補助記憶部をさらに備え、
   前記制御部は、前記第１画像が復号されるたびに、前記補助記憶部に格納される復号画像を最新のものに更新することを特徴とする請求項１から３のいずれかに記載の画像復号装置。
5. 視点が異なる第１画像と第２画像とにより構成されるステレオ画像が符号化された符号化ストリームを復号する画像復号方法であって、
   前記符号化ストリームに含まれる各ピクチャに付加されている表示順序を示す情報を参照して、各ピクチャが前記第１画像のピクチャであるか前記第２画像のピクチャであるかを判定する判定ステップと、
   前記符号化ストリームに含まれるピクチャを、参照ピクチャを用いて予測復号する復号ステップと、
   前記判定ステップによる判定の結果、復号対象ピクチャが前記第１画像のピクチャである場合、前記第１画像用の復号ピクチャバッファおよび前記第１画像用の参照ピクチャリストを更新し、前記復号対象ピクチャが前記第２画像のピクチャである場合、前記第２画像用の復号ピクチャバッファおよび前記第２画像用の参照ピクチャリストを更新する更新ステップと、
   を備えることを特徴とする画像復号方法。
6. 視点が異なる第１画像と第２画像とにより構成されるステレオ画像が符号化された符号化ストリームを復号する画像復号プログラムであって、
   前記符号化ストリームに含まれる各ピクチャに付加されている表示順序を示す情報を参照して、各ピクチャが前記第１画像のピクチャであるか前記第２画像のピクチャであるかを判定する判定処理と、
   前記符号化ストリームに含まれるピクチャを、参照ピクチャを用いて予測復号する復号処理と、
   前記判定処理による判定の結果、前記復号対象ピクチャが前記第１画像のピクチャである場合、前記第１画像用の復号ピクチャバッファおよび前記第１画像用の参照ピクチャリストを更新し、前記復号対象ピクチャが前記第２画像のピクチャである場合、前記第２画像用の復号ピクチャバッファおよび前記第２画像用の参照ピクチャリストを更新する更新処理と、
   をコンピュータに実行させることを特徴とする画像復号プログラム。

Images