JP2009522888A - スケーラブル・ビデオ用参照ピクチャ・リストを構築するための方法及び装置 - Google Patents

Abstract

ビデオ符号化に於いて、Ｐフレーム及びＢフレームの予測が、参照ピクチャ・リストによって示される参照フレームに基づいて、行われる。スケーラブル・ビデオ符号化（ＳＶＣ）は、これを、ベース・レイヤとエンハンスメント・レイヤの両方について、必要とする。本発明は、空間エンハンスメント・レイヤについての参照ピクチャ・リストを構築するための復号化プロセスを開示する。本発明は、シンタックス修正のフラグを１つだけ使用して、より簡単で直接的な参照リスト構築プロセスを提供する。これを使用すれば、複雑なＲＰＬＲとその他のシンタックスを省略でき、空間エンハンスメント・レイヤについてのＲＰＬＲプロセスも回避できる。この構築プロセスは、空間エンハンスメント・レイヤのスライスが喪失された場合のエラー・コンシールメントにも使用できる。

Description

本発明は、スケーラブル・ビデオ（ｓｃａｌａｂｌｅ ｖｉｄｅｏ）の空間エンハンスメント・レイヤ（ｓｐａｔｉａｌ ｅｎｈａｎｃｅｍｅｎｔ ｌａｙｅｒ）用参照ピクチャ・リストを構築するための方法及び装置に関する。

ビデオの符号化では、各ピクチャは、イントラ符号化（Ｉフレーム）、予測符号化（Ｐフレーム）、或いは、双方向予測符号化（Ｂフレーム）できる。Ｐフレーム及びＢフレームの予測は、時間的に前に符号化／復号化された参照フレームに基づくものであり、従って、参照ピクチャ・リストについては、Ｐフレームに１つのリスト（ｌｉｓｔ０）が提供され、Ｂフレームに２つのリスト（ｌｉｓｔ０、ｌｉｓｔ１）が提供される。各参照ピクチャは、その他のピクチャの復号化に必要であるため、自己の復号化後も保存される。スケーラブル・ビデオ符号化（ＳＶＣ：Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）では、参照ピクチャ・リストのリオーダリング（ｒｅｏｒｄｅｒｉｎｇ：順序並び換え）（ＲＰＬＲ：Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｌｉｓｔ Ｒｅｏｒｄｅｒｉｎｇ）が行われる。空間ＳＶＣでは、１つのベース・レイヤ（ＢＬ：Ｂａｓｅ Ｌａｙｅｒ）と１つ又は複数のエンハンスメント・レイヤ（ＥＬ：Ｅｎｈａｎｃｅｍｅｎｔ Ｌａｙｅｒ）とが使用される。現在、ＥＬ ＵＰＤＡＴＥはＳＶＣから削除されている。即ち、ＥＬも、階層化Ｂピクチャ構造を有し、時間的にＢＬに非常に近いシンタックスを有している（２００５年１０月、フランスのニースにて開催されたＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）（ＩＳＯ／ＩＥＣの「ＭＰＥＧ」とＩＴＵ−Ｔの「ＶＣＥＧ」（詳しくは、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とＩＴＵ−Ｔ ＳＧ１６ Ｑ．６）の２つの組織が共同で設立した組織）の第１７回会合に於けるＪＶＴ ＪＶＴ―Ｑ２０１からの「Ｄｒａｆｔ Ｏｕｔｐｕｔ Ｄｏｃｕｍｅｎｔ」の「Ｄｒａｆｔ ｏｆ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ−Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ４」参照）。

しかし、階層化Ｂピクチャ構造は必須ではなく、復号器はどのようなＧＯＰ構造にも対応すべきである。従って、ＢＬ及びＥＬについて、どのような形態の参照ピクチャ・リストの構築も認められるべきである。しかし、２つの相異なる空間レイヤの対応する各ピクチャ相互間の冗長性をより良く利用するために、ＥＬ参照ピクチャ・リスト構築（初期化またはＲＰＬＲ）の目的は、ＥＬ参照ピクチャ・リスト（ｌｉｓｔ０、ｌｉｓｔ１）をＢＬ（即ち、一般的に低位空間レイヤ）のリストに整合させることである。

現在、ＪＳＶＭ（Ｊｏｉｎｔ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｍｏｄｅｌ）（２００５年１０月、フランスのニースにて開催されたＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）（ＩＳＯ／ＩＥＣの「ＭＰＥＧ」とＩＴＵ−Ｔの「ＶＣＥＧ」（詳しくは、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とＩＴＵ−Ｔ ＳＧ１６ Ｑ．６））の第１７回会合に於けるＪＶＴ ＪＶＴ―Ｑ２０２−ＪＳＶＭ４からの「Ｄｒａｆｔ Ｏｕｔｐｕｔ Ｄｏｃｕｍｅｎｔ」の「Ｄｒａｆｔ ｏｆ Ｊｏｉｎｔ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｍｏｄｅｌ ＪＳＶＭ−４」参照）は、ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）（２００５年８月、ＩＴＵ−ＴのＨ．２６４．１、ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮ ＳＴＡＮＤＡＲＤＩＺＡＴＩＯＮ ＳＥＣＴＯＲ ＯＦ ＩＴＵのＳＥＲＩＥＳ Ｈ：「ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ」のＩｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ−Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｖｉｄｅｏのＣｏｎｆｏｒｍａｎｃｅｓ Ｃｏｎｆｏｒｍａｎｃｅ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｆｏｒ Ｈ．２６４ ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ参照）の仕様書の第８．２．４．２章の「参照ピクチャ・リストについての初期化プロセス（Ｉｎｉｔｉａｌｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ ｆｏｒ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔｓ）」と第８．２．４．２章の「ＳＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ（ＷＤ）」とに定義されたデフォルト参照ピクチャ・リスト構築プロセスを単に利用するのではなく、実参照ピクチャ・リスト（ｒｅａｌ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）を規定する強制ＲＰＬＲコマンド（ｆｏｒｃｅｄ ＲＰＬＲ ｃｏｍｍａｎｄ）を扱っている。

ＢＬと空間ＥＬが同一のフレーム・レートを有する場合、符号器に於いて、両方のレイヤについて実際に同一のＲＰＬＲコマンドを使用すべきである。しかし、ＥＬのフレーム・レートがＢＬのフレーム・レートの２倍である場合、ＲＰＬＲコマンドは異なる。

（発明の概要)
本発明は、空間ＥＬについての参照ピクチャ・リストの構築について、新規な復号化プロセスを提供する。本発明は、シンタックス修正フラグを１つだけ使用して、より簡単で直接的な参照ピクチャ・リストの構築プロセスを提供する。このプロセスを使用することによって、複雑なＲＰＬＲやその他のシンタックスを不要にする、或いは、省くことができ、空間ＥＬについてのＲＰＬＲプロセスも省くことができる。更に、この方法を使用して、ＪＳＶＭと同じ復号化ＹＵＶシーケンスを提供でき、符号化効率を若干向上できる。また、このプロセスは、空間ＥＬスライスが喪失された時のエラー・コンシールメント（エラー補正）用の強力なツールとしても使用できる。

例えば、両レイヤのＧＯＰサイズが３２、ＢＬフレーム・レートが１５Ｈｚ、ＥＬフレーム・レートが３０Ｈｚである（入力フレーム・レートに等しい）場合、ピクチャ・オーダ・カウント（ＰＯＣ：Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）が第１ＧＯＰに於いて２、６、１０、１４、１８、２２、２６、３０である各ＢＬフレームは、ゼロに等しいｎａｌ＿ｒｅｆ＿ｉｄｃで連続的に符号化されるため、最も高い時間レベル（ｔｅｍｐｏｒａｌ ｌｅｖｅｌ）にあり、同一のｆｒａｍｅ＿ｎｕｍを有する。しかし、ＥＬでは、これらのＰＯＣを有する各ピクチャは最も高い時間レベルに属しておらず、これらのピクチャについてのｆｒａｍｅ＿ｎｕｍは、これらのフレームについてのｎａｌ＿ｒｅｆ＿ｉｄｃがゼロより大きいため、増大する（これらのピクチャはＢ記憶ピクチャ（Ｂ ｓｔｏｒｅ ｐｉｃｔｕｒｅ）とも呼ばれる）。ＰＯＣの番号は、ＰＯＣ＝０のピクチャが最初に表示され、次にＰＯＣ＝１のピクチャが表示される等、各ピクチャの表示順序に対応している。一方、ｆｒａｍｅ＿ｎｕｍは、他のフレーム／ピクチャにとって参照対象となるという点で、フレーム／ピクチャの「重要さ（ｉｍｐｏｒｔａｎｃｅ）」の尺度となる。Ｈ．２６４では、各復号化参照ピクチャは「短期間参照用に使用（ｕｓｅｄ ｆｏｒ ｓｈｏｒｔ−ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ）」或いは「長期間参照用に使用（ｕｓｅｄ ｆｏｒ ｌｏｎｇ−ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ）」とマークされ、各短期間復号化参照ピクチャはｆｒａｍｅ＿ｎｕｍの値によって識別される。

上述の例に示されているように、ＰＯＣが２（２ｍ＋１）である各々のフレーム／ピクチャのＥＬ及びＢＬについての各ＲＰＬＲコマンドは、異なる。レイヤ間予測期間に於いて、ＢＬ参照ピクチャ・リストとＥＬ参照ピクチャ・リストは（即ち、ＰＯＣが同じ（即ち、表示時点が同じ）である入力フレームに対応するＢＬフレームのｒｅｆ＿ｉｄｘ＿ｌｘとＥＬフレームのｒｅｆ＿ｉｄｘ＿ｌｘで、これらの２つの値が同じである場合）、整合させる必要がある。尚、ピクチャは、一般的に、フレームとも呼ばれる。

以下、本発明の各実施例を、添付図面を参照して、説明する。

次に説明する例（図１参照）には、第１の従来の符号化／復号化が示されている。ベース・レイヤのフレーム・レートは１５Ｈｚであり、エンハンスメント・レイヤのフレーム・レート３０Ｈｚである。ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）サイズは１６である。

例えばＰＯＣが６であるベース・レイヤ・ピクチャについて、その参照ピクチャ・リストをＰＯＣで表す場合、ＲｅｆＰｉｃＬｉｓｔ０は{４、０}であり、ＲｅｆＰｉｃＬｉｓｔ１は{８、１２、１６}である。図１を参照すると、フレーム６は、時間的に前に表示される参照対象候補（即ち、より低い時間レベルのピクチャ）としてフレーム０及び４を有し（前方予測）、時間的に後に表示される参照対象候補としてフレーム８、１２及び１６を有する（後方予測）。しかし、参照ピクチャ・リストを、表１に一覧表示されたｆｒａｍｅ＿ｎｕｍで表す場合、ＲｅｆＰｉｃＬｉｓｔ０は{３、０}（例えばＰＯＣ＝４についてｆｒａｍｅ＿ｎｕｍ＝３）であり、ＲｅｆＰｉｃＬｉｓｔ１は{２、４、１}である。ＰＯＣ＝６について、現在のｆｒａｍｅ＿ｎｕｍは５である。

ｌｉｓｔ＿０（ＢＬ）についてのＲＰＬＲコマンドは以下の通りである。

これは、次のことを意味する。現在のｆｒａｍｅ＿ｎｕｍ＝５について、２つの値、即ち、ｒｅｏｒｄｅｒｉｎｇ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃ ｔｙｐｅ＝０とＶａｌｕｅ＝１とが送受信される。復号器は、これらの値から、次のｆｒａｍｅ＿ｎｕｍが３、即ち、ＰＯＣ＝４であること推定できる（表１参照）。同様に、現在のｆｒａｍｅ＿ｎｕｍ＝３であるｒｅｏｒｄｅｒｉｎｇ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃ ｔｙｐｅ＝０とＶａｌｕｅ＝２のペアは、次のｆｒａｍｅ＿ｎｕｍが０であることを意味する。次のｒｅｏｒｄｅｒｉｎｇ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃ ｔｙｐｅ＝３は、参照ピクチャ・リストのリオーダリング用のループが完了したこと意味する（Ｈ．２６４の表７−４参照）。従って、図２に示されているように、フレーム６についての前方参照フレームは、それらのＰＯＣで表すと、フレーム４及びフレーム０である。

ｌｉｓｔ＿１（ＢＬ）についてのＲＰＬＲコマンドは以下の通りである。

ＰＯＣ＝６のエンハンスメント・レイヤ・ピクチャ（表２参照）は、ＰＯＣで表す場合、ＢＬと同じリスト、即ち、ＲｅｆＰｉｃＬｉｓｔ０＝{４、０}、ＲｅｆＰｉｃＬｉｓｔ１＝{８、１２、１６}を有する。ｆｒａｍｅ＿ｎｕｍで表す場合、ＲｅｆＰｉｃＬｉｓｔ０は{３、０}であり、ＲｅｆＰｉｃＬｉｓｔ１は{２、４、１}である。しかし、ＥＬについて、ＰＯＣ＝６の場合、現在のｆｒａｍｅ＿ｎｕｍは６である（ＢＬについては５であった）。従って、参照フレーム／ピクチャ・リストを構築するには異なる処理が必要であり、各々のフレームについて、全てのＲＰＬＲコマンドを送信する必要がある。

ｌｉｓｔ＿０（ＥＬ）についてのＲＰＬＲコマンドは以下の通りである。

ｌｉｓｔ＿１（ＥＬ）についてのＲＰＬＲコマンドは以下の通りである。

このように、これら全てのＲＰＬＲコマンドは複雑であり、ＥＬ及びＢＬは、異なるＲＰＬＲコマンドを必要とする。本発明に従う解決方法は、エンハンスメント・レイヤの参照ピクチャ・リストをベース・レイヤの参照ピクチャ・リストから予測することである。従って、ｆｒａｍｅ＿ｎｕｍ値を参照するのではなく、ＰＯＣ値を参照することによって、参照ピクチャ・リストの構築がより簡単になり、ビット数を節約できる。本発明の一実施形態に従えば、フラグをスライス・ヘッダ内に導入して、上記のような予測を示す。このフラグは、空間エンハンスメント・レイヤについての簡単な参照ピクチャ・リスト構築プロセスのみで、設定できる。

本発明の一実施形態に従えば、１つの空間的に低位の第１のレイヤ、即ち、ＢＬと少なくとも１つの空間的に高位の第２のレイヤ、即ち、ＥＬとでビデオ・ピクチャを符号化する方法であり、フレームが参照フレームから予測、或いは、双方向予測される方法は、第１のレイヤについての参照フレームを引用することによって、第２のレイヤについての参照フレームを示すステップを含んでいる。

この方法は、第２のレイヤが第１のレイヤの参照ピクチャ・リストを引き継ぐことを示すインディケーション（ｉｎｄｉｃａｔｉｏｎ：表示）、即ち、フラグが信号内に含まれていると、更に規定できる。

本発明の別の一実施形態に従えば、１つの空間的に低位の第１のレイヤ、即ち、ＢＬと少なくとも１つの空間的に高位の第２のレイヤ、即ち、ＥＬとでビデオ・ピクチャを復号化する方法であり、フレームが参照フレームから予測、或いは、双方向予測される方法は、第１のレイヤの参照フレーム・リストを評価することによって、第２のレイヤについての参照フレームを決定するステップを含んでいる。

この復号化の方法は、復号化期間中にインディケーションが検出され、この検出時のみ、第２のレイヤについての参照フレームを決定するステップが行われると、更に規定できる。

この符号化又は復号化の方法は、インディケーションがピクチャのスライスを引用すると、更に規定できる。

この復号化の方法は、データ喪失の検出後に、空間的に高位のレイヤの喪失参照ピクチャ・リストが、空間的に低位のレイヤの参照ピクチャ・リストから再構築されると、更に規定できる。

対応するビデオ符号化装置は、上記符号化の方法を行う手段を備えている。

対応するビデオ復号化装置は、上記復号化の方法を行う手段を備えている。

対応するビデオ信号には、１つの空間的に低位の第１のレイヤ、即ち、ＢＬと少なくとも１つの空間的に高位の第２のレイヤ、即ち、ＥＬとが含まれ、これらのレイヤには、予測されたフレーム及び／又は双方向予測されたフレームとそれぞれの参照フレームのインディケーションとが含まれ、第２のレイヤのフレームについての参照フレームのインディケーションは、第１のレイヤのフレームについての参照フレームが再利用されることを示す。

このビデオ信号は、インディケーションがピクチャのスライスを引用すると、更に規定できる。

参照ピクチャ・リスト構築のためのシンタックス（ｓｙｎｔａｘ）
本発明は、上述の原理に基づいて、空間エンハンスメント・レイヤＲＰＬＲコマンドの解決方法を提供する。本発明の一実施形態では、１つのフラグをスライス・ヘッダ・シンタックス（前述のＪＶＴ−Ｑ２０１の下位節Ｇ．７．３．３．に定義されている）内に挿入し、新規な処理方法を導入する。これにより、参照ピクチャ・リストのサイズと、ベース・レイヤの参照ピクチャ・リストに基づく参照ピクチャ・リストとが得られる。若し、フラグが「真」に設定されている場合、ＪＶＴ−Ｑ２０１の下位節Ｇ．８．２．４．３．の「参照ピクチャ・リストのリオーダリング・プロセス（Ｒｅｏｒｄｅｒｉｎｇ ｐｒｏｃｅｓｓ ｆｏｒ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔｓ）」で規定されているＲＰＬＲコマンドは使用されない。従って、このＲＰＬＲコマンドは省略でき、その結果、送信すべきデータの量は低減され、符号器及び復号器に於ける処理が簡素化される。

この修正によって、ＪＳＶＭの復号器は、ＲＰＬＲコマンドによって提供される参照ピクチャ・リストを容易に構築できるようになる。

現在、ＪＳＶＭの復号器は参照ピクチャ・リストについてのデフォルトの初期化プロセスを行い、このデフォルトのプロセスは、必要なＲＰＬＲコマンドによって生成されるベース・レイヤの参照ピクチャ・リストに対応しているが、Ｇ．８．２．４．２．１で定義されている最近の復号化プロセスは、ＢＬと同じになる。ピクチャのシンタックス要素のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌは、現在のピクチャのシンタックス要素のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌに等しいか、或いは、それより低い。

従って、通常、レイヤ間予測の良好なパフォーマンスを維持するには、ＥＬは、ＢＬの参照ピクチャ・リストのみに基づくＲＰＬＲを使用することによって（ＲＰＬＲの効果は既に分かっているが）、自己の参照ピクチャ・リストを調整する必要がある。本発明の新規な解決方法は、同じ参照ピクチャ・リストと同じＰＳＮＲを提供するが、ＲＰＬＲについてのビット数と処理時間と処理作業とを節約するより優れた方法である。各々のフレームが多数のスライスに符号化される場合、利点が増す。即ち、フレームが多数のスライスを持てば、それだけ多くのビット数と処理作業が節約できる。

シンタックスの修正
本発明の参照ピクチャ・リスト構築方法は、スライス・ヘッダがスケーラブル拡張（ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ）で示されている表３から判るように、少しのシンタックスの修正によって、例えばＪＶＴで実施できる。

この表に第４６乃至４８行を挿入し、従って、「ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｉｎｈｅｒｉｔ＿ｆｌａｇ」を使用することによって、従来のＲＰＬＲ（第５７行目の「ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｒｅｏｒｄｅｒｉｎｇ（）」）を含む後続の第４９乃至５７行内の従来の処理を多数のフレームについて省略できる。

参照ピクチャ・リストのサイズとｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｒｅｏｒｄｅｒｉｎｇのシンタックスとについてのビット数が節約されることは、このシンタックスの修正から明らかである。即ち、ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｉｎｈｅｒｉｔ＿ｆｌａｇが「真」に設定されている場合（表３の第４８行を参照）、上記の部分を省略できるからである。

セマンティックスの修正
ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｉｎｈｅｒｉｔ＿ｆｌａｇは、ＥＬのＰスライス及びＢスライス（ＥＰスライス及びＥＢスライス）についてのみ、使用される。ゼロに等しいｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｉｎｈｅｒｉｔ＿ｆｌａｇは、ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ａｃｔｉｖｅ＿ｏｖｅｒｒｉｄｅ＿ｆｌａｇ、ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１、ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ１＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１、及び、ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｒｅｏｒｄｅｒｉｎｇ（）のシンタックスが書き込まれて、それらに関連する復号化プロセスが実施されることを規定する。１に等しいｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｉｎｈｅｒｉｔ＿ｆｌａｇは、ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ａｃｔｉｖｅ＿ｏｖｅｒｒｉｄｅ＿ｆｌａｇ、ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１、ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ１＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１、及び、ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｒｅｏｒｄｅｒｉｎｇ（）のシンタックスが書き込まれないことを規定する。現在のスライスのｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１とｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ１＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１とは、低位の空間レイヤ・スライスの値と同じになり、新規な参照ピクチャ・リストの構築プロセスが呼び出されて、参照ピクチャ・リストの初期化プロセスに取って代わり、またＲＰＬＲプロセスにも取って代わることがある。

空間エンハンスメント・レイヤの参照ピクチャ・リストの構築のための復号化プロセス
エンハンスメント・レイヤについて、ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｉｎｈｅｒｉｔ＿ｆｌａｇが真の場合、本発明の新規な復号化プロセスが呼び出されて、次に説明するプロセスが行われる。

Ｐスライス又はＢスライスについて、ベース・レイヤの参照ｌｉｓｔ＿０を使用して現在のエンハンスメント・レイヤのｌｉｓｔ＿０を構築する。

Ｂスライスについて、ベース・レイヤの参照ｌｉｓｔ＿１を使用して現在のエンハンスメント・レイヤのｌｉｓｔ＿１を構築する。

今、Ｌｘ_Ｂ ＝ {ｆ_０、ｆ_１、．．．、ｆ_ｎ}によって構成された対応ベース・レイヤｌｉｓｔ＿Ｘを有するスライスがあり、エンハンスメント・レイヤの順序付きｌｉｓｔ＿Ｘ（即ち、Ｌｘ_Ｅ）を構築する必要があると仮定する。更に、今、現在のエンハンスメント・レイヤ・スライスの参照ピクチャ・リストを構成するのに使用されるエンハンスメント・レイヤ・リスト候補Ｌ_Ｅがあると仮定する。通常、Ｌ_Ｅは、短期間リスト（ｓｈｏｒｔ ｔｅｒｍ ｌｉｓｔ）及び長期間リスト（ｌｏｎｇ ｔｅｒｍ ｌｉｓｔ）内の各要素によって構成される。Ｌｘ_Ｅを生成するプロセス（ＮＵＬＬとして初期化される）は、次のように記述される。

このプロセスは、簡単で直接的であり、正にレイヤ間予測に必要なものである。このプロセスは、空間ＥＬに於いて従来の強制ＲＰＬＲコマンドと同じ効果をもたらすが、使用するデータが少なく、且つ、処理もより簡単である。この方法は、最初の参照ピクチャ・リスト初期化プロセスとＲＰＬＲプロセスとを合わせたものよりも良い。

図２には、別の例が示されている。この例では、２つの空間レイヤが相異なるフレーム・レートを有している。入力ＧＯＰサイズは８であり、ＢＬはＥＬの半分のフレーム・レートを有している。今、ＢＬの参照ピクチャｌｉｓｔ＿０があり、ＥＬの参照ピクチャｌｉｓｔ＿０を構築したいと仮定する。実際にしたいことは、第１の参照対象をフレーム４（ＧＯＰ番号で表す）に設定し、第２の参照対象をフレーム０に設定することである。ＲＰＬＲコマンドは、これを行うことができる。しかし、ＢＬｌｉｓｔ＿０内の各参照対象のＰＯＣ値に基づくだけで、ＥＬの参照ピクチャｌｉｓｔ＿０を簡単に構築できる。

インタレースのみの空間スケーラビリティについての空間エンハンスメント・レイヤの参照ピクチャ・リストの構築のための復号化プロセス
本発明に従うシンタックスは、ピクチャ適応フレーム・フィールド（ＰＡＦＦ：Ｐｉｃｔｕｒｅ Ａｄａｐｔｉｖｅ Ｆｒａｍｅ Ｆｉｅｌｄ）符号化にまで、拡張できる。ここでは、ＢＬとＥＬの両方がフィールド符号化されているインタレースの場合についての復号化プロセスのみを説明する。符号器に於いてＲＰＬＲコマンドを生成するのは更に複雑になる。

今、順番付きフィールド・リストＬｘ_Ｂ＝{ｆ_０、ｆ_１、．．．、ｆ_ｎ}によって構成される対応ＢＬｌｉｓｔ＿Ｘを有するスライスがあり、順番付きＥＬ ｌｉｓｔ＿Ｘ、即ち、Ｌｘ_Ｅを構築する必要があると仮定する。更に、今、現在のＥＬリストの参照ピクチャ・リストを構成するのに用いられるＥＬリスト候補Ｌ_Ｅがあると仮定する。通常、Ｌ_Ｅは、短期間リスト（ｓｈｏｒｔ ｔｅｒｍ ｌｉｓｔ）及び長期間リスト（ｌｏｎｇ ｔｅｒｍ ｌｉｓｔ）から生成される各フィールドによって構成される。Ｌｘ_Ｅを生成するプロセスは、次のように記述される。

尚、Ｌｘ_Ｅ、Ｌｘ_Ｂ及びＬ_Ｅに於ける各要素（ｆ_ｉ）は、フィールドである。

エラー・コンシールメントについての復号化プロセス
本発明の参照ピクチャ・リストの構築プロセスを使用して、空間ＥＬの喪失パケットについての参照ピクチャ・リストを構築することもできる。（エラー・コンシールメント（ｅｒｒｏｒ ｃｏｎｃｅａｌｍｅｎｔ））

ＪＶＴ−Ｑ０４６（２００５年１０月ニースにて開催されたＩＳＯ／ＩＥＣ ＭＰＥＧ＆ＩＴＵ−Ｔ ＶＣＥＧのＪＶＴ、ＪＶＴ−Ｑ０４６、Ｃｈｅｎ Ｙｉｎｇ氏、Ｊｉｌｌ Ｂｏｙｃｅ氏及びＸｉｅ Ｋａｉ氏の「Ｆｒａｍｅ Ｌｏｓｓ Ｅｒｒｏｒ Ｃｏｎｃｅａｌｍｅｎｔ ｆｏｒ ＳＶＣ（ＳＶＣについてのフレーム喪失エラー・コンシールメント）」）で明確にされているように、ＢＬＳｋｉｐエラー・コンシールメント方法は、ＪＳＶＭに導入され、提案された各方法の中で最もパフォーマンスが良い。この方法は、空間ＥＬパケットが喪失された場合に、対応するＢＬ動き情報を利用できるものである。また、この方法は、複数参照（ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ）の場合に特に効果を発揮する。その理由は、現在のＪＳＶＭの復号器は、デフォルトでＥＬの参照ピクチャ・リストをＢＬと整合させ、実際、ＥＬは、ＢＬのようにはＲＰＬＲを使用しないからである。エラー・コンシールメントの実施期間中は、キー・ピクチャ（Ｋｅｙ Ｐｉｃｔｕｒｅ）についてのみ、ＲＰＬＲの問題を考慮して、ＥＬの喪失キー・ピクチャが前のキー・ピクチャを参照することを保証する必要がある。

しかし、前述のＪＶＴ―Ｑ２０１の下位節Ｇ．８．２．４．２．１に明確にされているように、非キー・ピクチャについての上述のデフォルトの方法を保証するのに使用される制限事項は取り除かれて、初期化プロセスは前述のＡＶＣの対応部分と同じになる。

ＢＬＳｋｉｐエラー・コンシールメントについての正確なパフォーマンスを得るために、最近のＪＳＶＭバージョンは、空間ＥＬの喪失パケットについてのバーチャルＲＰＬＲコマンドを生成する必要がある。しかし、上述の如く、相異なる空間レイヤのＲＰＬＲコマンドは異なることがあり、ＥＬの喪失ＲＰＬＲコマンドをＢＬの受信ＲＰＬＲコマンドに基づいて予測することは適切でない。何故なら、両レイヤの参照ピクチャ・リスト相互間の核心となる関係がＰＯＣ番号に基づいているからである。

本発明の新規な参照ピクチャ・リスト構築方法を使用することによって、喪失された空間エンハンスメント・レイヤ・パケットについて構築された参照ピクチャ・リストが、対応するベース・レイヤ参照ピクチャ・リストに整合することを保証することは容易になり、これにより、ＢＬＳｋｉｐエラー・コンシールメントについても良好なパフォーマンスが得られる。

本発明は、ビデオ符号化及び／又はビデオ復号化に使用できる。特に、ベース・レイヤがエンハンスメント・レイヤと異なる時間分解能（ｔｅｍｐｏｒａｌ ｒｅｓｏｌｕｔｉｏｎ）を有する場合、空間スケーラブル・ビデオについて非常に有効である。

ＧＯＰサイズが１６の場合のＢＬフレーム及びＥＬフレーム内の時間レベルを示す図である。 参照ピクチャ・リストのレイヤ間予測を示す図である。

Claims (12)

1. １つの空間的に低位の第１のレイヤ（ＢＬ）と少なくとも１つの空間的に高位の第２のレイヤ（ＥＬ）とでビデオ・ピクチャを符号化する方法であり、レイヤ内予測により前記第１及び第２のレイヤのピクチャが同一レイヤの１つ又は複数の参照ピクチャから予測され（Ｐ、Ｂ）、且つ、参照ピクチャ・リストが使用される方法であって、
   前記第２のレイヤのピクチャについての参照ピクチャ・リストを、前記第１のレイヤの対応するピクチャについての参照ピクチャ・リストに基づいて、生成するステップと、
   前記第２のレイヤの前記ピクチャについての前記参照ピクチャ・リストが前記第１のレイヤの前記対応するピクチャについての前記参照ピクチャ・リストから推定できることを示す、及び／又は、どのように推定できるかを示すインディケーション（ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｉｎｈｅｒｉｔ＿ｆｌａｇ）を生成するステップと、
   前記インディケーションを、それが引用する前記第２のレイヤ（ＥＬ）の符号化ピクチャに、関連付けるステップと、
   を含む、前記方法。
2. 前記第２のレイヤが前記第１のレイヤの参照ピクチャ・リストを引き継ぐことを示すインディケーション（ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｉｎｈｅｒｉｔ＿ｆｌａｇ）が信号に含まれている、請求項１に記載の方法。
3. １つの空間的に低位の第１のレイヤ（ＢＬ）と少なくとも１つの空間的に高位の第２のレイヤ（ＥＬ）とでビデオ・ピクチャを復号化する方法であり、前記第２のレイヤ（ＥＬ）のピクチャが、前記第１のレイヤ（ＢＬ）内に対応するピクチャを有し、且つ、前記第２のレイヤ（ＥＬ）の１つ又は複数の参照ピクチャから予測される（Ｐ、Ｂ）方法であって、
   前記第２のレイヤのピクチャについての参照ピクチャ・リストが前記第１のレイヤの対応するピクチャについての参照ピクチャ・リストから推定できることを示す、及び／又は、どのように推定できるかを示すインディケーション（ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｉｎｈｅｒｉｔ＿ｆｌａｇ）を検出するステップと、
   前記第２のレイヤの前記ピクチャについての前記参照ピクチャ・リストを、前記第１のレイヤの前記対応するピクチャについての前記参照ピクチャ・リストから、生成又は予測するステップと、
   を含む、前記方法。
4. インディケーション（ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｉｎｈｅｒｉｔ＿ｆｌａｇ）が復号化期間中に検出され、この検出時のみに前記生成又は予測するステップが実行される、請求項３に記載の方法。
5. 前記インディケーションがピクチャのスライスを引用する、請求項２又は請求項４に記載の方法。
6. データの喪失が検出されると、前記空間的に高位のレイヤの喪失参照ピクチャ・リストが、前記空間的に低位のレイヤの参照ピクチャ・リストから再構築される、請求項３、請求項４又は請求項５に記載の方法。
7. 前記空間的に低位のレイヤが前記空間的に高位のレイヤよりも低い時間分解能を有する、請求項１、請求項２、請求項３、請求項４、請求項５又は請求項６に記載の方法。
8. １つの空間的に低位の第１のレイヤ（ＢＬ）と少なくとも１つの空間的に高位の第２のレイヤ（ＥＬ）とでビデオ・ピクチャを符号化する装置であり、レイヤ内予測により前記第１及び第２のレイヤのピクチャが同一レイヤの１つ又は複数の参照ピクチャから予測され（Ｐ、Ｂ）、且つ、参照ピクチャ・リストが使用される装置であって、
   前記第２のレイヤのピクチャについての参照ピクチャ・リストを、前記第１のレイヤの対応するピクチャについての参照ピクチャ・リストに基づいて、生成する手段と、
   前記第２のレイヤの前記ピクチャについての前記参照ピクチャ・リストが前記第１のレイヤの前記対応するピクチャについての前記参照ピクチャ・リストから推定できることを示す、及び／又は、どのように推定できるかを示すインディケーション（ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｉｎｈｅｒｉｔ＿ｆｌａｇ）を生成する手段と、
   前記インディケーションを、それが引用する前記第２のレイヤ（ＥＬ）の符号化ピクチャに、関連付ける手段と、
   を含む、前記装置。
9. １つの空間的に低位の第１のレイヤ（ＢＬ）と少なくとも１つの空間的に高位の第２のレイヤ（ＥＬ）とでビデオ・ピクチャを復号化する装置であり、前記第２のレイヤ（ＥＬ）のピクチャが、前記第１のレイヤ（ＢＬ）内に対応するピクチャを有し、且つ、前記第２のレイヤ（ＥＬ）の１つ又は複数の参照ピクチャから予測される（Ｐ、Ｂ）装置であって、
   前記第２のレイヤのピクチャについての参照ピクチャ・リストが前記第１のレイヤの対応するピクチャについての参照ピクチャ・リストから推定できることを示す、及び／又は、どのように推定できるかを示すインディケーション（ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｉｎｈｅｒｉｔ＿ｆｌａｇ）を検出する手段と、
   前記第２のレイヤの前記ピクチャについての前記参照ピクチャ・リストを、前記第１のレイヤの前記対応するピクチャについての前記参照ピクチャ・リストから、生成又は予測する手段と、
   を含む、前記装置。
10. 予測（Ｐ）されたピクチャ及び／又は双方向予測（Ｂ）されたピクチャとそれぞれの参照ピクチャのインディケーションとを含む１つの空間的に低位の第１のレイヤ（ＢＬ）と少なくとも１つの空間的に高位の第２のレイヤ（ＥＬ）とを含むビデオ信号であって、前記第２のレイヤのピクチャについての前記参照ピクチャのインディケーションが、前記第１のレイヤのピクチャについての前記参照ピクチャが再利用されることを示す、前記ビデオ信号。
11. 前記インディケーションがピクチャのスライスを引用する、 請求項１０に記載のビデオ信号。
12. 前記空間的に低位のレイヤが前記空間的に高位のレイヤよりも低い時間分解能を有する、請求項１０又は請求項１１に記載のビデオ信号。

Images