JP2018078585A - ピクチャ・ブロックのコーディング方法および復号方法、対応する装置、およびデータストリーム - Google Patents

Abstract

【課題】ピクチャ・ブロックを復号する方法を提供する。
【解決手段】復号方法は、少なくとも１つのストリームＳ＿ｄｉｆｆを、復号済のデータと復号器ピクチャ・バッファ内の再構築済の参照ピクチャを識別する情報とに復号すること１０と、少なくとも識別された再構築済の参照ピクチャおよび復号済のデータから特別な参照ピクチャを再構築すること１２と、少なくとも特別な参照ピクチャに基づきピクチャ・ブロックを再構築すること１６と、を含み、少なくとも特別な参照ピクチャは表示されない。
【選択図】図５

Description

特別な再構築済の参照ピクチャからピクチャ・ブロックを復号する方法が開示される。さらに、対応するコーディング方法、対応する符号化装置、および対応する復号装置が開示される。

ビデオ・ストリーミングの間、利用可能な帯域幅が時間の経過に伴い変化することがある。結果として、ストリーミング・アプリケーションの送出ビットレートは、輻輳を避けるために、利用可能な帯域幅に適合するようにリアルタイムに調節される必要がある。リアルタイムなビットレート調節を可能にする１つの方法は、リアルタイム符号化器を使用することであるが、それにはクライアント毎に１つの符号化システムを割り当てる必要があり、これは、例えば、ＶＯＤサービスのような数多くのクライアントが存在する場合には、受け入れられないことがある。リアルタイムにビットレート調節をする別の方法は、スケーラブル・ビデオ・コーディングを使用することである。スケーラブル・コーディングでは、ビデオ・ソースが複数のレイヤに符号化される。送信の間、送出ビットレートを調節するために、サーバが送信されるべきレイヤを選択するか（モード「プッシュ」）、復号器が送信されるべきレイヤを要求する（モード「プル」）。この方法は、ヘテロジニアス伝送路（ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｃｈａｎｎｅｌｓ）を介したストリーミングに適しているが、スケーラブル・ビデオ・コーディングは、単一のレイヤのビデオ・コーディングの場合と比較して、全体的な圧縮効率を低下させ、符号化器と復号器の双方の演算量を増加させる。ビットレート調節を実現する単純な方法は、同一のビデオ・シーケンスの複数のバージョンを符号化することである。これらのバージョンは、種々の解像度および／または品質レベルを有し、したがって、種々のビットレートを有する。ストリーミングの間に、送出ビットレートを調節する必要がある場合には、図１に描かれているように、帯域幅条件またはた使用側性能に適合するように、送信されるべきストリームを一方のバージョンから他方のバージョンに動的に切り替えることができる。この解決法は、「ストリーム切り替え」として知られている。しかしながら、インター・コーディングされたピクチャ（ＰピクチャまたはＢピクチャ）でのストリーム間の直接的な切り替えによって再構築済の参照ピクチャの不一致が生じ、結果として、誤ったピクチャの再構築がなされることがある。再構築済のビデオに大幅な品質の低下が生じることがある。この問題を解決する１つの方法は、ビットストリーム（通常は、ＩピクチャまたはＩＤＲピクチャまたはＣＲＡピクチャ）内でランダム・アクセス・ポイント（ＲＡＰ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔｓ）を使用することである。ＩＤＲは、「瞬時復号器リフレッシュ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）」の英語の頭文字を取ったものであり、ＣＲＡは、「クリーン・ランダム・アクセス（Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ）」の英語の頭文字を取ったものである。切り替えは、これらのＲＡＰでのみ発生させることができるため、速やかなストリームの切り替えを実現するためには、ビットストリーム内で頻繁にＲＡＰが割り当てられる必要がある。しかしながら、このようなＩ／ＩＤＲピクチャの符号化には、大きなビットレートの負荷が伴う。さらに、ＲＡＰの前に位置する再構築済の参照ピクチャを使用するＲＡＰの後のピクチャは、スキップされるか、或いは、正確に復号されない。なぜならば、これらは、図２で示されているように、符号化において使用されているものとは異なる再構築済の参照ピクチャを使用しているからである。図２において、Ｉｃは、再構築済の参照ピクチャＩ１およびＩ２から再構築され、一方で、Ｉｃは、再構築済の参照ピクチャｉ１およびｉ２から符号化されたものである。

ＡＶＣにおいて、別のストリームから同一のピクチャを再構築できるようにすることによって、ストリームの切り替えを容易にする特別なピクチャ・タイプ（ＳＩ／ＳＰ）が設計されている。したがって、ビデオ・ピクチャは、図３に示されているように、イントラ符号化されたピクチャの代わりに、切り替えポイントでＳＰピクチャに符号化される。ＳＰピクチャのコーディング効率は、イントラ・コーディングされたピクチャのものよりも高いが、依然として、通常のＰピクチャのものよりも効率が低い。したがって、多くの切り替えポイントが割り当てられる場合には、依然として、全体的なコーディング効率が低下している。

Ｚｈｏｕ ｅｔ ａｌ著の“Ｅｆｆｉｃｉｅｎｔ ｂｉｔ ｓｔｒｅａｍ ｓｗｉｔｃｈｉｎｇ ｏｆ Ｈ．２６４ ｃｏｄｅｄ ｖｉｄｅｏ（Ｈ．２６４符号化されたビデオの効率的なビットストリーム切り替え）”と題され、ＳＰＩＥ第５９０９巻（２００５）の議事録で公開された文献において、大幅なビットレートのオーバーヘッド無しに、任意の時点で切り替えを可能とする解決法が開示されている。この解決法は、ＩＰＰＰ ＧＯＰ構造に対してのみ提供されている。同一のビデオ・シーケンスの異なるビットレートの複数のバージョンに加え、図４で示されているように切り替えが行われる時点のピクチャの再構築済の参照ピクチャに対し、ＤＩＦＦピクチャが符号化される。ＤＩＦＦピクチャは、その時点のピクチャの再構築済の参照ピクチャと、時間的に対応する他のストリーム内のピクチャとの差分である。この差分ピクチャは、不整合を補償するために、復号器に送信される。本明細書に記載されているように、切り替えが行われるときのみＤＩＦＦピクチャが送信されるため、上記の手法に伴うビットレートのオーバーヘッドは小さい。その一方で、この解決法は、Ｐピクチャが単一の再構築済の参照ピクチャから予測される場合のみ機能する。さらに、この解決法においては、符号化順序および表示順序が同一であることが必要となる。

ピクチャ・ブロックを復号する方法が開示される。
この方法は、
少なくとも１つのストリームＳ＿ｄｉｆｆを、復号済のデータとピクチャ・バッファ内の再構築済の参照ピクチャを識別する情報とに復号することと、
少なくとも識別された再構築済の参照ピクチャおよび復号済のデータから特別な参照ピクチャを再構築することと、
少なくとも特別な参照ピクチャからピクチャ・ブロックを再構築することと、を含み、再構築された特別な参照ピクチャは表示されない。

有利には、識別された再構築済のピクチャは、第１のレイヤから復号され、復号済のデータおよび復号器ピクチャ・バッファ内の再構築済の参照ピクチャを識別する情報は、第１のレイヤに依存する第２のレイヤから復号される。

特定の特徴によれば、第１のレイヤは、ベース・レイヤである。

特定の態様によれば、復号方法は、第２のレイヤにおける後続して復号されるピクチャがインターレイヤ予測を使用していないことを示すフラグを復号することをさらに含む。

ピクチャ・ブロックを符号化する方法がさらに開示される。この符号化方法は、
少なくとも１つの再構築済の参照ピクチャからピクチャ・ブロックを符号化することと、
少なくとも１つの再構築済の参照ピクチャを、特別な参照ピクチャとして、別の再構築済の参照ピクチャおよび復号器ピクチャ・バッファ内の別の再構築済の参照ピクチャを識別する情報から符号化することと、をさらに含み、再構築された特別な参照ピクチャは表示されない。

有利には、識別された再構築済の参照ピクチャは、第１のレイヤにおいて符号化され、少なくとも１つの再構築済の参照ピクチャおよび復号器ピクチャ・バッファ内の別の再構築済の参照ピクチャを識別する情報は、第１のレイヤに依存した第２のレイヤにおいて符号化される。

特定の特徴によれば、第１のレイヤは、ベース・レイヤである。

特定の態様によれば、符号化方法は、第２のレイヤにおける後続して符号化されたピクチャがインターレイヤ予測を使用していないことを示すフラグを符号化することをさらに含む。

ピクチャ・ブロックを復号する復号装置が開示される。この復号装置は、
少なくとも１つのストリームＳ＿ｄｉｆｆを、復号済のデータと復号器ピクチャ・バッファ内の再構築済の参照ピクチャを識別する情報とに復号する手段と、
少なくとも識別された再構築済の参照ピクチャおよび復号済のデータから特別な参照ピクチャを再構築する手段と、
少なくとも特別な参照ピクチャからピクチャ・ブロックを再構築する手段と、を含み、少なくとも特別な参照ピクチャは表示されない。

復号装置は、復号方法の各ステップを実行するように構成されている。

ピクチャ・ブロックを符号化する符号化装置が開示される。この符号化装置は、
少なくとも１つの再構築済の参照ピクチャからピクチャ・ブロックを符号化する手段と、
少なくとも１つの再構築済の参照ピクチャを、特別な参照ピクチャとして、別の再構築済の参照ピクチャおよび復号器ピクチャ・バッファ内のこの別の再構築済の参照ピクチャを識別する情報から符号化する手段と、を含み、再構築された特別な参照ピクチャは表示されない。

符号化装置は、符号化方法の各ステップを実行するように構成されている。

最後に、データストリームが開示される。データストリーム内には、復号器ピクチャ・バッファ内の再構築済の参照ピクチャを識別する情報と、識別された再構築済の参照ピクチャから特別な参照ピクチャの再構築を可能にするデータと、が符号化されており、特別な参照ピクチャは、表示されない参照ピクチャである。

本発明の他の特徴および利点は、その実施形態のうちのいくつかについての以下の説明から明らかになるであろう。この説明は、図面を参照して行われる。

ストリーム切り替えの一般的な原理を例示する図である。 ストリーム切り替えの一般的な原理を例示する図である。 従来技術によるＳＩ／ＳＰピクチャを使用したストリーム切り替えの原理を例示する図である。 従来技術によるＤＩＦＦピクチャを使用したストリーム切り替えの原理を例示する図である。 本発明に係る復号方法のフローチャートを描いた図である。 本発明に係る符号化方法のフローチャートを描いた図である。 本発明に係るＳＲＰピクチャを使用したストリーム切り替えの原理を例示する図である。 本発明に係る復号方法のさらなる実施形態を例示する図である。 本発明に係るマルチレイヤ・ビデオ復号器を描いた図である。 本発明に係るマルチレイヤ・ビデオ符号化器を描いた図である。 本発明に係るマルチレイヤ・ストリームを表した図である。

本発明は、画素のピクチャ・ブロックを復号する方法およびこのようなピクチャ・ブロックを符号化する方法に関する。ピクチャ・ブロックは、一連のピクチャのうちのあるピクチャに属する。各ピクチャは、それぞれに少なくとも１つのピクチャ・データが関連付けられている複数の画素またはピクチャ点からなる。例えば、あるピクチャ・データは、輝度データまたは色差データである。以下において、ピクチャ・ブロックとの関連で符号化方法および復号方法について説明する。１つ以上のピクチャをそれぞれ符号化する目的で、且つ、１つ以上のピクチャを復号する目的で、１つのピクチャの複数のピクチャ・ブロックに対し、且つ、複数のピクチャのシーケンスに対し、これらの方法を適用できることは明らかである。ピクチャ・ブロックは、任意の形態の１組の画素である。ピクチャ・ブロックは、正方形でもよいし、矩形でもよい。しかしながら、本発明は、このような形状に限定されるものではない。以下の項目において、用語「ブロック」は、ピクチャ・ブロックの用途で使用される。ＨＥＶＣにおいて、ブロックは、符号化単位（ＣＵ）を指す。

用語「予測子」は、他のデータを予測するために使用されるデータを指す。予測子は、ピクチャ・ブロックを予測するために使用される。予測子または予測ブロックは、予測するブロックが属するピクチャと同一のピクチャの１つまたは複数の再構築済の参照サンプルから得られる（空間予測またはイントラピクチャ予測）か、再構築済の参照ピクチャ（一時予測またはインターピクチャ予測）の１つ（単方向予測）または複数の参照ブロック（双方向予測（ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ ｐｒｅｄｉｃｔｉｏｎまたはｂｉ−ｐｒｅｄｉｃｔｉｏｎ））から得られる。参照ブロックは、動きベクトルによって、再構築済の参照ピクチャ内で特定される。予測は、（重み付け予測としても知られる）輝度変化モデルを考慮するために重み付けされることもある。

用語「残差」は、ソース・データから予測子を減算した後に得られるデータを意味する。

用語「再構築」は、残差と予測子とを統合した後に得られるデータ（例えば、画素、ブロック）を指す。統合は、一般的には、予測子と残差とを合算することである。しかしながら、統合は、より一般的には、特に、再構築済のサンプルの追加的なポストフィルタリングのステージ、および／または、再構築済のサンプルに対してオフセットを加算する追加的なステップを含む。参照ピクチャが再構築されると、これは、ＤＰＢ（「復号器ピクチャ・バッファ（Ｄｅｃｏｄｅｒ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）」の英語の頭文字を取ったもの）に新たな再構築済の参照ピクチャとして記憶される。

ピクチャの復号に関しては、用語「再構築」および「復号」は、同意語として、非常に頻繁に使用されている。したがって、「再構築済のブロック」は、用語「復号済のブロック」とも称する。

用語「コーディング（ｃｏｄｉｎｇ）」は、最も広い意味で解釈されるべきである。コーディングは、場合によっては、データに対し、変換を適用しおよび／または量子化することを含む。コーディングは、エントロピー・コーディングのみを指す場合もある。ＤＣＴ（「離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）」は、このような変換の例である。同様に、用語「復号」は、場合によっては、エントロピー復号に加えて、変換を適用しおよび／または逆量子化することを含む。復号器側で適用される変換は、符号化器側で適用されるものの逆変換である。

ストリームは、１つ以上のコーディングされたビデオ・シーケンスを形成する、コーディングされたピクチャの表現と関連するデータとを形成するビットのシーケンスである。ストリームは、ＮＡＬユニット・ストリームまたはバイト・ストリームのいずれかを指すために使用される総称的な用語である。

ＮＡＬ（「ネットワーク抽象レイヤ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）」”の英語の頭文字を取ったもの）ユニットは、後続するデータのタイプを示すインジケーションおよびそのデータを含んだバイトを含むシンタックス構造である。ＮＡＬの指定により、そのデータのフォーマットが決められ、様々な通信チャンネルまたはストレージ・メディア上で伝送を行うのに適した方法でヘッダ情報が提供される。全てのデータがＮＡＬユニットに含まれ、ＮＡＬユニットの各々は、整数の数のバイトを含む。ＮＡＬユニットは、パケット指向のシステムおよびストリーム・システムの双方における使用のための上位フォーマットを指定する。パケット指向のトランスポートおよびバイト・ストリームの双方のＮＡＬユニットのフォーマットは、バイトストリーム・フォーマットにおける開始コード・プリフィックスおよびエクストラ・パディング・バイトが各ＮＡＬユニットに先行することを除き、同一である

ＡＵ（「アクセス・ユニット（Ａｃｃｅｓｓ Ｕｎｉｔ）」の英語の頭文字を取ったもの）は、ＮＡＬユニットのセットであり、これらのＮＡＬユニットは、特定の分類ルールに従って互いに関連付けられ、復号順序で連続しており、丁度１つのコーディングされたピクチャを含む。アクセス・ユニットの復号により、常に、復号済のピクチャが生成される。

図５および図６において、開示されているボックスは、純粋に、機能的なものであり、物理的に別個のものに必ずしも対応するものではない。当業者であれば理解できるであろうが、本願の原理の態様は、システム、方法、または、コンピュータ読み取り可能な媒体として実施することができる。したがって、本願の原理の態様は、完全にハードウェアの形態で実現することも、（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）完全にソフトウェアの形態で実現することも、「回路」、「モジュール」、または、「システム」として本明細書中で全てが一般的に参照されるソフトウェアの態様とハードウェアの態様とを組み合わせた形態で実現することもできる。さらに、本願の原理の態様は、コンピュータ読み取り可能な記憶媒体の形態で実現することもできる。１つ以上のコンピュータ読み取り可能な媒体を任意に組み合わせて使用することができる。

図面内のフローチャートおよび／またはブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラムの製品の想定される実施態様の構成、動作、機能を例示している。この点に関し、フローチャートまたはブロック図内の各ブロックは、モジュール、セグメント、または、コードの部分を表現し、これは、特定の論理機能を実施するための１つ以上の実行可能な命令を含む。なお、複数の代替的な実施態様においては、ブロック内に示された機能の順序が図面に示された順序ではないことがある。例えば、連続して示されている２つのブロックは、実際には、概ね同時に実行されることもある。または、ブロックは、時折は、逆の順序で実施されることもあれば、ブロックは、関連する機能に依存して、代替的な順序で実行されることもある。なお、例示したブロック図および／またはフローチャートの各ブロック、例示したブロック図および／またはフローチャートのブロックの組み合わせは、特定の機能または動作を実行する特定目的ハードウェア・ベースのシステム、または、特定目的ハードウェアまたはコンピュータの命令の組み合わせによって実施することができる。明示的に記載していないが、本願の実施形態を任意に組み合わせることも、部分的に組み合わせることもできる。

図５は、特定の非限定的な実施形態に係る復号方法のフローチャートを描いている。この方法は、ストリームＳに符号化された現在のピクチャ・ブロックＢｃを復号するためのものである。ピクチャ・ブロックＢｃは、現在のピクチャＩｃのスライスＳｃに属する。スライスは、ピクチャ・ブロックの組などのピクチャの部分である。

ステップ１０において、少なくとも１つのストリームＳ＿ｄｉｆｆが、復号済みデータ（例えば、残差およびコーディング・モード）と、ＤＰＢに記憶されている再構築済の参照ピクチャＲ２を識別する情報ＩＮＦＯとに復号される。

ステップ１２において、特別な参照ピクチャＲ１’（Ｓｐｅｃｉａｌ Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ：英語の頭文字がＳＲＰである）が、識別された再構築済の参照ピクチャＲ２および復号済のデータから再構築される。次に、特別な参照ピクチャは、ＤＰＢ内に置かれる。この参照ピクチャＲ１’は、特別である。その理由は、参照ピクチャＲ１’は、決して表示されることはないが、他のピクチャ内のブロックを再構築するためのみに使用されるからである。ＳＲＰ Ｒ１’の再構築は、Ｒ１’のピクチャ・ブロック毎に、予測子を特定することと、残差を加算することとを含む。予測子は、識別された再構築済の参照ピクチャＲ２から（Ｂｃと共通の位置にあるＲ２内のブロックとして、または、動きベクトルによって識別されるＲ２内の動き補償されたブロックとして）特定することができ、または、従来のイントラ予測のようにＲ１’の隣接する再構築済のサンプルから特定することができる。Ｒ２内のあるブロックは、Ｒ２内の当該ブロックの空間位置がＩｃ内のＢｃの空間位置と同一であれば、Ｂｃと共通の位置にあるといえる。変形例によれば、再構築済の参照ピクチャＲ２のサイズが現在のピクチャＩｃのサイズとは異なる場合には、特別な参照ピクチャの再構築のためにＲ２が再スケーリングされ、再スケーリングされたＲ２ピクチャ（適切なパディングが付加されていることがある）がＩｃと同じサイズを有するようになる。この場合、Ｒ１’は、Ｆ（Ｒ２）から再構築され、ここでＦは、再スケーリング・フィルタである。ストリームＳ＿ｄｉｆｆは、ストリームＳの部分であってもよいし、ストリームＳから独立していてもよい。

例として、ストリームＳ＿ｄｉｆｆは、Ｒ２とは異なる別の再構築済の参照ピクチャＲ１と再構築済の参照ピクチャＲ２との間の画素毎の差分を符号化したものである。Ｒ１は、例えば、再構築済の参照ピクチャであり、この再構築済の参照ピクチャから現在のピクチャ・ブロックＢｃが符号化される。この場合において、ストリームＳ＿ｄｉｆｆの復号は、通常、エントロピー復号、逆量子化、および変換によって差分ピクチャＤＩＦＦを復号することを含む。変換は、例えば、逆ＤＣＴである。差分ピクチャは、通常、再構築済の参照ピクチャＲ１と再構築済の参照ピクチャＲ２との間の差分の近似値である。近似値となるのは、（例えば、量子化のため、）符号化の間に損失が発生するからである。差分ピクチャＤＩＦＦがロスレス符号化される場合には、復号済の差分ピクチャＤＩＦＦは、再構築済の参照ピクチャＲ１と再構築済の参照ピクチャＲ２との間の差分と同じになる。変形例によれば、Ｒ１とＲ２とが異なるサイズを有する場合には、差分ピクチャは、再構築済のピクチャＲ１と再スケーリングされた再構築済の参照ピクチャＲ２との間の差分である。例として、Ｒ２がＲ１よりも大きい場合には、Ｒ２は、ダウンスケーリングされ、Ｒ２がＲ１よりも小さい場合には、Ｒ２がアップスケーリングされる。この場合、特別な参照ピクチャＲ１’は、Ｆ（Ｒ２）＋ＤＩＦＦであり、Ｒ２およびＩｃが同一のサイズを有する場合には、Ｆは恒等式（ｉｄｅｎｔｉｔｙ）である。そうでない場合には、Ｆは、再スケーリング関数である。

変形例によれば、復号方法は、必要な場合には、差分ピクチャＤＩＦＦに関連する符号の任意の復号をさらに含む。このような符号が復号される場合には、符号が正であれば、特別な参照ピクチャＲ１’は、Ｆ（Ｒ２）＋ＤＩＦＦとなり、符号が負であれば、特別な参照ピクチャＲ１’は、Ｆ（Ｒ２）−ＤＩＦＦとなる。

別の変形例によれば、ストリームＳ＿ｄｉｆｆは、Ｒ１のいくつかのブロックに対し、これらのブロックと、Ｒ２内で共通の位置にあるいくつかのブロックとの間の差分を符号化したものである。Ｒ１の他のブロックは、Ｓ＿ｄｉｆｆにおいて、従来のイントラ予測を使用して、すなわち、隣接する再構築済のサンプルから符号化される。

別の変形例によれば、ストリームＳ＿ｄｉｆｆは、Ｒ１のいくつかのブロックに対し、これらのブロックと、Ｒ２内の対応するいくつかのブロックとの間の差分を符号化したものである。Ｒ２内の対応するブロックは、共通の位置にあるブロック、または、動き補償されたブロックである。Ｒ１の他のブロックは、Ｓ＿ｄｉｆｆにおいて、従来のイントラ予測を使用して、すなわち、隣接する再構築済のサンプルから符号化される。

情報ＩＮＦＯを復号することによって、種々の使用事例を取り扱うことができる。例として、現在のピクチャ・ブロックＢｃが２つの再構築済の参照ピクチャＲ１およびｒ１から符号化されると、ステップ１０において、２つの特別な参照ピクチャＲ１’およびｒ１’と、２つの情報ＩＮＦＯおよびｉｎｆｏとが復号される。特別な参照ピクチャＲ１’およびｒ１’は、それぞれ、Ｒ２およびｒ２に対応し、Ｒ２およびｒ２は、ＤＰＢに記憶された２つの再構築済の参照ピクチャであり、ここからＢｃが再構築されることとなる。結果として、ＩＮＦＯは、復号器に対し、Ｒ１’がＲ２から再構築されるべきであることを示し、ｉｎｆｏは、ｒ１’がｒ２から再構築されるべきであることを示す。

例えば、各々の特別なピクチャは、従来のＩ、Ｐ、Ｂピクチャ／スライス・タイプとは異なるピクチャ／スライス・タイプを示す専用のフラグを用いて、ストリームＳ＿ｄｉｆｆにおいて識別される。このピクチャ／スライス・タイプは、表示されない特別な参照ピクチャを現在のＡＵが含むことを示す。変形例によれば、各々の特別なピクチャは、スライス・ヘッダ内の専用のフラグを用いて識別される。

変形例によれば、ピクチャ・スライス・タイプは、Ｉ、Ｐ、またはＢであるが、スライス・ヘッダ内の特別なフラグは、再構築済のピクチャが表示されず、ＤＰＢ内で参照として記憶されることを示す。

ＤＰＢ内で再構築済の参照ピクチャＲ２を識別する情報ＩＮＦＯは、例えば、文献ＩＳＯ／ＩＥＣ１４４９６−１０（セクション３．１０４）で規定されるＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）の英語の頭文字を取ったもの）である。変形例によれば、再構築済の参照ピクチャを識別する情報は、再構築済の参照ピクチャ・インデックスである。

ステップ１６において、現在のピクチャ・ブロックＢｃは、特別な参照ピクチャＲ１’から再構築される。通常は、特別な参照ピクチャは、コンテンツの観点からは、Ｒ２よりもＲ１に近いため、ドリフトが減少する。通常、ピクチャ・ブロックの再構築は、ストリームＳからの残差を復号することと、予測子にこの残差を加えることとを含む。スキップ・モードの場合には、残差を零にすることができる。残差の復号は、エントロピー復号と、逆量子化と、符号化側に適用される変換とは逆の変換を適用することとを含む。これらのステップは、ビデオ圧縮／符号化の技術分野における当業者には良く知られており、さらなる開示は行わない。特別な参照ピクチャＲ１’内の参照ブロックは、ストリームＳから復号される動きベクトルによって識別される。参照ブロックは、予測子として使用される。双方向予測の場合には、２つの参照ブロックは、場合によっては同一の再構築済の参照ピクチャである２つの再構築済の参照ピクチャ内で識別される。予測子は、これらの２つの参照ブロックの加重和である。符号化の際に使用された再構築済の参照ピクチャＲ１およびｒ１とは異なることがある２つの再構築済の参照ピクチャＲ２およびｒ２に属する２つの参照ブロックからＢｃが双方向予測される場合には、２つのＳＲＰのＲ１’およびｒ１’が再構築されることがある。したがって、特別な参照ピクチャＲ１’およびｒ１’は、Ｂｃのための参照ピクチャとして使用される。Ｂｃは、１つの特別な参照ピクチャＲ１’から再構築することもでき、且つ、Ｂｃを再構築する際にＤＰＢ内においてｒ１が利用可能である場合には、ｒ１から再構築することができる。ＩＮＦＯおよび符号は、（スライス・ヘッダ内の、または、スライス・セグメント・ヘッダ内の）特別な参照ピクチャ毎に復号することもできるし、単一のヘッダ内の複数の特別な参照ピクチャに対してグループ化することもできる。例えば、ＩＮＦＯおよび符号は、ＳＥＩメッセージ、ＶＰＳ（ビデオ・パラメータ・セットＨＥＶＣ）、または、Ｓｃのスライス・ヘッダから復号される。

図６は、特定の非限定的な実施形態に係る符号化方法のフローチャートを描いている。この方法は、ストリームＳ内の現在のピクチャ・ブロックＢｃを符号化するためのものである。

ステップ２０において、現在のピクチャ・ブロックＢｃがストリームＳ内の少なくとも１つの第１の再構築済の参照ピクチャＲ１から符号化される。通常は、現在のピクチャ・ブロックの符号化は、残差を求めることと、残差を変換することと、変換された残差を量子化して量子化済のデータにすることと、を含む。量子化済のデータは、さらに、ストリームＳ内でエントロピー・コーディングされる。残差は、現在のピクチャ・ブロックＢｃから予測子を減算することによって得ることができる。予測子は、第１の再構築済の参照ピクチャＲ１から求められる。より正確には、予測子は、動きベクトルによって再構築済の参照ピクチャＲ１内で求められる。現在のブロックが２つの参照ブロックから双方向予測される場合には、これらの２つの参照ブロックを平均化することによって予測子が得られる。２つの参照ブロックは、２つの異なる再構築済の参照ピクチャＲ１およびｒ１に属するか、または、全く同一の再構築済の参照ピクチャに属する。動きベクトルもまた、ストリームＳ内で符号化される。これらのステップは、ビデオ圧縮の技術分野における当業者には良く知られており、さらなる開示は行わない。

ステップ２４において、再構築済のピクチャＲ１および情報ＩＮＦＯがストリームＳ＿ｄｉｆｆに符号化される。Ｓ＿ｄｉｆｆを復号したものが、ＳＲＰである。ストリームＳ＿ｄｉｆｆは、ストリームＳの一部であってもよいし、ストリームＳから独立していてもよい。再構築済の参照ピクチャＲ１は、ＩＮＦＯによって識別されるＲ１とは異なる第２の再構築済の参照ピクチャＲ２に基づきＳ＿ｄｉｆｆに符号化される。変形例によれば、再構築済の参照ピクチャＲ２のサイズが現在のピクチャＩｃのサイズとは異なり、したがって、Ｒ１のサイズとは異なる場合には、再スケーリングされたＲ２ピクチャ（適切なパディングが付加されていることがある）が、Ｉｃと同じサイズとなるように、Ｒ２は、再構築済の参照ピクチャＲ１の符号化のために再スケーリングされる。この場合、Ｒ１は、Ｆ（Ｒ２）から符号化される。ここで、Ｆは、再スケーリング・フィルタである。

例として、ストリームＳ＿ｄｉｆｆは、Ｒ１とＲ２との間の画素毎の差分ＤＩＦＦを符号化したものである。ＤＩＦＦピクチャは、（例えば、ＤＣＴを使用した）変換、量子化、およびエントロピー・コーディングによって符号化される。変形例によれば、Ｒ１およびＲ２が異なるサイズを有する場合には、差分ピクチャは、再構築済の参照ピクチャＲ１と再スケーリングされた第２の再構築済の参照ピクチャＲ２との間の差分である。例として、Ｒ２がＲ１よりも大きい場合には、Ｒ２は、ダウンスケーリングされ、Ｒ２がＲ１よりも小さい場合には、Ｒ２がアップスケーリングされる。この場合には、ＤＩＦＦ＝Ｒ１−Ｆ（Ｒ２）であり、Ｒ２およびＩｃが同一のサイズを有する場合には、Ｆは、恒等関数であり、そうでない場合には、Ｆは、再スケーリング関数である。

変形例によれば、復号方法は、差分ピクチャに関連する符号の任意の復号をさらに含む。このような符号が復号される場合には、特別な参照ピクチャＲ１’は、符号が正であれば、Ｆ（Ｒ２）＋ＤＩＦＦとなり、符号が負であれば、Ｆ（Ｒ２）−ＤＩＦＦとなる。

別の変形例によれば、ストリームＳ＿ｄｉｆｆは、Ｒ１のいくつかのブロックに対し、これらのブロックとＲ２内のいくつかのブロック（すなわち、Ｂｃと共通の位置にあるブロックまたは動き補償されたブロック）との間の差分を符号化する。Ｒ１の他のブロックは、Ｓ＿ｄｉｆｆにおいて、従来のイントラ予測を使用して、すなわち、隣接する再構築済のサンプルから符号化される。

情報ＩＮＦＯを符号化することによって、種々の使用事例を取り扱うことができる。例として、現在のピクチャ・ブロックＢｃが２つの再構築済の参照ピクチャＲ１およびｒ１から符号化されると、２つの再構築済の参照ピクチャは、２つの他の再構築済の参照ピクチャＲ２およびｒ２から符号化される。ＩＮＦＯは、復号器に対し、特別な参照ピクチャＲ１’がＲ２から再構築されるべきであることを示し、ｉｎｆｏは、別の特別なピクチャｒ１’がｒ２から再構築されるべきであることを示す。例えば、各々の特別な参照ピクチャは、従来のＩ、Ｐ、Ｂピクチャ／スライス・タイプとは異なるピクチャ／スライス・タイプを示す専用のフラグを用いて、ストリームＳ＿ｄｉｆｆにおいて識別される。このピクチャ／スライス・タイプは、現在のＡＵがＤＰＢ内のピクチャを置き換えるために使用されるべき特別な参照ピクチャであることを示す。

変形例によれば、各々の特別なピクチャは、スライス・ヘッダ内の専用のフラグを用いて識別される。

変形例によれば、ピクチャ・スライス・タイプは、Ｉ、Ｐ、またはＢであるが、スライス・ヘッダ内の特別なフラグは、再構築済のピクチャが表示されず、ＤＰＢ内で参照として記憶されることを示す。

特定の実施形態においては、１つの特別な参照ピクチャおよび情報ＩＮＦＯは、ＤＰＢの再構築済の参照ピクチャの可能な複数の組毎、または、各組毎に符号化される。結果として、ブロックＢｃがＤＰＢのピクチャから符号化されたものではなくとも、常に、ブロックＢｃをあらゆるＤＰＢのピクチャから再構築することができ、その一方で、ドリフトを制限することができる。実際、Ｂｃを再構築する際、Ｒ１がＤＰＢ内で利用可能でない場合には、Ｂｃは、Ｒ２の代わりに、特別な参照ピクチャＲ１’から再構築することができる。Ｒ１’は、コンテンツの観点から、Ｒ２よりもＲ１に近いため、この理由で、ドリフトが制限される。

第２の再構築済の参照ピクチャを識別する情報は、例えば、ＰＯＣである。変形例によれば、第２の再構築済の参照ピクチャを識別する情報は、再構築済の参照ピクチャ・インデックスである。

復号方法について開示される全ての変形例およびオプションは、符号化方法に適用可能である。特に、符号化方法は、異なるピクチャに関連する符号を必要な場合に符号化するステップを含む。

ＩＮＦＯおよび符号は、例えば、ＳＥＩメッセージ、ＶＰＳ（ビデオ・パラメータ
セットＨＥＶＣ）から、または、Ｓｃのスライス・ヘッダから復号される。

変形例によれば、符号化方法および復号方法は、図７に例示されているようなストリーム切り替えを行う状況で使用される。この場合、ピクチャの第１のシーケンスは、ストリームＳ０において符号化される。ピクチャの第２のシーケンスは、ストリームＳ１において符号化される。通常、ピクチャの第２のシーケンスは、第１のシーケンスと同一であるが、異なるビットレートで、すなわち、異なる量子化ステップを使用して符号化される。変形例によれば、ピクチャの第２のシーケンスは、第１のシーケンスの再スケーリングされたバージョン、すなわち、アップスケーリングまたはダウンスケーリングされたバージョンである。特定の実施形態によれば、Ｓ０およびＳ１は、同一のＧＯＰ構造（すなわち、ＨＥＶＣ規格のセクション８．３．１および８．３．２において規定されている同一の復号順序および同一の参照ピクチャ・リスト）を有する。

図７に描かれているように、ストリームＳ０およびＳ１に加え、各時点ｔｎで、Ｓ１の再構築済の参照ピクチャ

は、時間的に対応する、すなわち、時間的にそろっている、Ｓ０の（例えば、同一のＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）の）再構築済の参照ピクチャ

からＳＲＰとしてストリームＳ＿ｄｉｆｆにさらに符号化される。再構築済の参照ピクチャ

は、対応する再構築済の参照ピクチャ

を識別する情報ｉｎｆｏ＿ｔｎとともに、Ｓ＿ｄｉｆｆに符号化される。なお、

に対応するソース・ピクチャは、Ｓ１において符号化され、

に対応するソース・ピクチャは、Ｓ０において符号化される。

図５に関連して開示された復号方法は、第１のストリームＳ０から第２のストリームＳ１への切り替えの後にピクチャ・ブロックＢｃを復号するために使用される。図７に関し、ピクチャは、時間ｔ２までは、ストリームＳ０から復号され、表示される。切り替えは、時間ｔ２と時間ｔ３との間に行われる。切り替えの後、ピクチャは、ストリームＳ１から復号され、表示される。切り替えの時点で、ＤＢＰ０は、Ｓ０から復号された複数の再構築済の参照ピクチャを含む。ＤＰＢ０は、Ｓ０に関するものである。図７に関し、ＤＰＢ０は、切り替え時に、３つの再構築済の参照ピクチャ

および

を含む。

ステップ１０において、Ｓ＿ｄｉｆｆ１、Ｓ＿ｄｉｆｆ２、およびＳ＿ｄｉｆｆ３が、復号済のデータ（例えば、残差およびコーディング・モード）と、ＤＰＢ０に記憶された再構築済の参照ピクチャ

および

を識別する情報ｉｎｆｏ＿ｔ０、ｉｎｆｏ＿ｔ１、ｉｎｆｏ＿ｔ２とに復号される。

ステップ１２において、３つの特別な参照ピクチャＳＲＰ＿ｔ０、ＳＲＰ＿ｔ１、およびＳＲＰ＿ｔ２が、対応する復号済のデータから、且つ、対応する再構築済の参照ピクチャ

および

から再構築される。再構築済のピクチャＳＲＰは、次に、ＤＰＢ０とは異なる（ことがある）ＤＰＢ１に記憶される。ＤＰＢ１は、Ｓ１に関するものである。第１の特定の実施形態によれば、Ｓ＿ｄｉｆｆは、

と、再スケーリングされることがある時間的に対応するピクチャ

との間の画素毎の差分を符号化したものである。この場合、再構築済のＳＲＰは、

であり、

であり、

である。ここで、ｄｉｆｆ＿ｔ０、ｄｉｆｆ＿ｔ１、ｄｉｆｆ＿ｔ２は、Ｓ＿ｄｉｆｆから復号される。必要な場合には、

は、Ｆによって再スケーリングされ、そのサイズは現在のピクチャＩｃのサイズと同一となる。再スケーリングが行われない場合には、Ｆは、恒等関数である。第２の特定の実施形態によれば、Ｓ＿ｄｉｆｆは、Ｆによって再スケーリングされることがある

を使用して

を符号化する。この場合、

におけるブロックの予測子は、ピクチャ

において空間的に共通の位置にあるか、

における動き補償されたブロックであるか、

において空間的に隣接するブロックから導出されたものである（空間イントラ予測）。第１の特定の実施形態の場合には、再スケーリングが必要でなければ、すなわち、第１および第２のストリームのピクチャのサイズが同一であれば、同一の差分ピクチャｄｉｆｆ＿ｔ０、ｄｉｆｆ＿ｔ１、およびｄｉｆｆ＿ｔ２を使用してＳ０からＳ１に、またはＳ１からＳ０に切り替えることができる。前述の例においては、ｄｉｆｆ＿ｔ０が

とストリームＳ１における時間的に対応するピクチャ

との間の差分を符号化したものである場合には、ＳＲＰ＿ｔ０を再構築するために、逆ｄｉｆｆ＿ｔ０が加算される代りに

から減算される。したがって、符号が復号され、差分ピクチャを加算または減算することによって再構築済の参照ピクチャが変更されているかどうかを特定する。

ステップ１６において、ＢｃがＤＰＢ１内の再構築済の参照ピクチャから再構築される。切り替えの直後では、ＤＰＢ１は、３つのＳＲＰを含む。

本発明は、３つの再構築済の参照ピクチャの場合のみに限定されるものではないことは明らかである。本発明の特定の実施形態によれば、ＤＰＢ０における全ての再構築済の参照ピクチャに対し、ステップ１２で特別な参照ピクチャが再構成され、ＤＰＢ１に記憶される。変形例によれば、切り替えの後に参照ピクチャとして使用されるＤＰＢ０内の各再構築済の参照ピクチャに対してのみＳＲＰが再構築される。

変形例によれば、例えば、ＶＰＳ内またはＳＥＩ内においてフラグｆ１３が符号化され、所与のｌａｙｅｒ＿ｉｄを用いて後続して符号化されたピクチャがインターレイヤ予測を使用していないことを示し、ＶＰＳ内またはＳＥＩ内においてフラグｆ１３が復号され、所与のｌａｙｅｒ＿ｉｄを用いて後続して復号されたピクチャがインターレイヤ予測を使用していないことを示す。より正確には、フラグの後に符号化されたピクチャは、インターレイヤ予測を使用しておらず、フラグの後に復号されたピクチャは、インターレイヤ予測を使用していない。

図８は、特定の非限定的な実施形態に係る復号方法のさらなる実施形態を例示している。復号器は、種々のアクセス・ユニットを受信する。まず、アクセス・ユニットＡＵ１が受信され、復号される。第１のピクチャＩ１は、復号済のＡＵ１から再構築される。次に、第２のアクセス・ユニットＡＵ２が受信され、復号される。第２のピクチャＩ２は、復号済のＡＵ２から再構築される。ピクチャＩ１およびＩ２は、同一のストリームＳ０に属し、これらが参照ピクチャとして使用されることを信号で伝えられる場合には、ＤＰＢ０に記憶される。次に、切り替えが行われる。この切り替えのリクエストは、Ｓ＿ｄｉｆｆストリームを受信するリクエストを符号化器に送信する復号器によって行うことができる。変形例によれば、切り替えは、符号化器によって開始することができる。切り替えの後、復号器は、２つのＡＵユニットＳ＿ｄｉｆｆ１およびＳ＿ｄｉｆｆ２を受信する。Ｓ＿ｄｉｆｆ１およびＳ＿ｄｉｆｆ２（ステップ１０）は、ピクチャＩ１およびＩ２のそれぞれを使用してＳＲＰ１およびＳＲＰ２を再構築する（ステップ１２）ために復号される。ＳＲＰ１およびＳＲＰ２は、２つの特別な参照ピクチャである。次に、ＳＲＰ１およびＳＲＰ２は、Ｓ１に関するＤＰＢ１に置かれる。次に、復号器は、ＡＵ３を受信し、それを復号する。ピクチャＩ３は、復号済のＡＵ３から、および、場合によってはＤＰＢ１の少なくとも１つのピクチャから（時間予測）、すなわちＳＲＰ１またはＳＲＰ２から再構築される。Ｉ３は、第２のストリームＳ１に属し、場合によっては再構築済の参照ピクチャとして将来使用するためにＤＢＰ１に記憶される。次に、復号器は、ＡＵ４を受信し、それを復号する。ピクチャＩ４は、復号済のＡＵ４から再構築され、場合によってはＤＰＢ１の少なくとも１つのピクチャから再構築される（時間予測）。ピクチャＩ１、Ｉ２、Ｉ３、Ｉ４は表示されるが、その一方で、ＳＲＰ１、ＳＲＰ２は表示されない。実際、時間的に対応する２つのピクチャのうちの一方のみが表示される。ＳＲＰ１はＩ１と時間的に対応しており、その一方で、ＳＲＰ２はＩ２と時間的に対応している。

本発明の特定の実施形態によれば、第１のシーケンスおよび第２のシーケンスのピクチャ、さらに、特別な参照ピクチャがマルチレイヤ・ストリームに符号化される。特定の例として、特別な参照ピクチャとして識別されるピクチャが、第１のシーケンスのピクチャが符号化される、別のレイヤ（ストリームＳ０）、例えば、ベース・レイヤに依存する、スケーラブルなストリームの拡張レイヤとして符号化される。第１のレイヤは、復号されるために、第２のレイヤからの情報を必要とする場合には、この第２のレイヤに依存している。拡張レイヤは、Ｓ０の再構築済の参照ピクチャから、Ｓ０からＳ１への切り替えの後にＳ１のピクチャを再構築するために使用されるべき特別な参照ピクチャを再構築できるようにする。この拡張レイヤは、例えば、ＳＶＣまたはＳＨＶＣコーディング規格に準拠している。発明の特定の実施形態によれば、特別な参照ピクチャは、拡張レイヤを符号化するためのＳＶＣまたはＳＨＶＣによって提供される符号化ツール／モードのサブセットを用いて符号化される。本発明の別の実施形態によれば、イントラレイヤ動きベクトル予測（時間予測）がＳＶＣまたはＳＨＶＣコーディング規格において無効にされる。これとは反対に、Ｓ０レイヤからのイントラ予測が有効にされる。イントラピクチャ予測もまた、有効にすることができる。別の実施形態によれば、例えば、Ｓ０およびＳ１をコーディングするために、ＨＥＶＣフラグｓｌｉｃｅ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅ＿ｆｌａｇを“ｆａｌｓｅ”に設定することによって時間ｍｖ予測が無効にされる。これは、動きベクトル予測（ＭＶ予測）が、再構築済の隣接するコーディング・ユニットからのＭＶを使用するが、以前に再構築済の参照ピクチャのＭＶを使用せずに構築されることを意味する。

以下に説明する図９および図１０において、符号化モジュールおよび復号モジュールを、符号化器および復号器と称する。

図９は、特定の非限定的な実施形態に係るマルチレイヤ符号化器を描いている。第１のシーケンスのピクチャは、第１の符号化器ＥＮＣ０を使用してＳ０において符号化されている。この第１の符号化器ＥＮＣ０は、モノレイヤ符号化器、例えば、ＭＰＥＧ２、Ｈ．２６４、またはＨＥＶＣに準拠した符号化器である。本発明は、使用されるモノレイヤ符号化器によって限定されることはない。ＥＮＣ０を使用して符号化される参照ピクチャは、Ｒ２として再構築され、第３の符号化器ＥＮＣ２に対する入力として供給される。第２の符号化器ＥＮＣ１は、Ｓ１における第２のシーケンスのピクチャを符号化するために使用される。本発明は、使用する符号化器によって限定されるものではない。再構築済の参照ピクチャＲ２に時間的に対応するＥＮＣ１を用いて符号化された参照ピクチャは、Ｒ１として再構築され、第３の符号化器ＥＮＣ２に対する入力として供給される。したがって、ＥＮＣ０のＤＰＢにおける再構築済の参照ピクチャＲ２毎に、時間的に対応する参照ピクチャＲ１が再構築される。よって、符号化器ＥＮＣ２は、場合によっては再スケーリングされる、時間的に対応する再構築済の参照ピクチャＲ２から再構築済のピクチャＲ１をストリームＳ＿ｄｉｆｆに符号化する。特定の実施形態によれば、符号化器ＥＮＣ２は、Ｒ１から（場合によっては再スケーリングされている）Ｒ２を減算する減算器と、さらに、このように取得され、場合によっては変換、量子化されている差分ピクチャを符号化するエントロピー・コーダとを含む。変形例によれば、Ｒ１の各ブロックから予測子が減算され、予測子は、（場合によっては再スケーリングされている）ピクチャＲ２において空間的に共通の位置にあるブロック、あるいは、（場合によっては再スケーリングされている）Ｒ２において動き補償されたブロックであるか、Ｒ１における空間的に隣接するブロックから導出される（空間イントラ予測）。残差はこのように取得され、さらに、場合によっては変換され、量子化された後にエントロピー・コーディングされる。この場合、Ｓ＿ｄｉｆｆにおいて符号化されるものは、Ｒ１とＲ２との間の単純な画素毎の差分ではない。再構築済の参照ピクチャＲ１を符号化するために使用される再構築済の参照ピクチャＲ２を識別する情報ＩＮＦＯもまた、Ｓ＿ｄｉｆｆに符号化されている。例えば、符号化器ＥＮＣ２は、ＳＶＣやＳＨＶＣのようなスケーラブルなビデオ符号化器に準拠している。本発明は、使用されるスケーラブルな符号化器に限定されるものではない。スケーラブルなビデオ・コーデック規格は、ｌａｙｅｒ＿ｉｄインジケータを規定して、あるレイヤ（ＢＬ）に属するＡＵを別の拡張レイヤに属するものから分離／区別する。特定の実施形態によれば、ＥＮＣ０からのＡＵの符号化は、ＥＮＣ２からのＡＵを符号化するために使用されるｌａｙｅｒ＿ｉｄとは異なる所与のｌａｙｅｒ＿ｉｄを用いて行われる。ＥＮＣ１からのＡＵおよびＥＮＣ２からのＡＵは同一のｌａｙｅｒ＿ｉｄを有する。有利な実施形態によれば、ＥＮＣ１およびＥＮＣ２を同一の符号化モジュールとすることができる。

図１０は、特定の非限定的な実施形態に係るマルチレイヤ復号器を描いている。第１のストリームＳ０は、第１の復号器ＤＥＣ０を使用して復号される。この第１の復号器ＤＥＣ０は、モノレイヤ復号器であり、例えば、ＭＰＥＧ２、Ｈ．２６４、または、ＨＥＶＣ準拠の復号器である。本発明は、使用されるモノレイヤ復号器によって限定されるものではない。復号器ＤＥＣ０は、第１のストリームＳ０からのピクチャ、特に、ＤＰＢ０に記憶されている参照ピクチャＲ２を再構築する。第２の復号器ＤＥＣ１は、第２のストリームＳ１からピクチャを再構築するために使用される。本発明は、使用される復号器によって限定されるものではない。復号器ＤＥＣ２は、ＤＰＢ０における再構築済の参照ピクチャＲ２を識別する情報ＩＮＦＯをストリームＳ＿ｄｉｆｆから復号する（ステップ１０）。復号器ＤＥＣ２は、例えば、ＳＶＣやＳＨＶＣなどのスケーラブルなビデオ復号器に準拠している。本発明は、使用されるスケーラブルな復号器に限定されるものではない。復号器ＤＥＣ２は、さらに、場合によっては再スケーリングされる、時間的に対応する再構築済の参照ピクチャＲ２から、且つ、Ｓ＿ｄｉｆｆから復号されたデータ（例えば、残差、コーディング・モード）から、特別な参照ピクチャＲ１’を再構築する（ステップ１２）。特定の実施形態によれば、復号器ＤＥＣ２は、Ｓ＿ｄｉｆｆからの残差を復号するエントロピー復号器と、予測子に残差を加算する加算器とを含み、予測子は、場合によっては再スケーリングされるＲ２における共通の位置にあるブロックまたは動き補償されたブロックから、または、Ｒ１’における再構築済のサンプル（イントラピクチャ予測）から導出される。特別な参照ピクチャＲ１’は、次に、ＤＰＢ１に置かれる。

有利な実施形態によれば、ＤＥＣ１およびＤＥＣ２を同一の復号モジュールとすることができる。

図１１は、特定の非限定的な実施形態に係るマルチレイヤ・ストリームを表している。この図面において、破線は、ピクチャの依存性を表す。ｌａｙｅｒ＿ｉｄ＝Ｌａｙｅｒ＿ＡであるＡＵ１およびＡＵ２が受信され、復号される。参照ピクチャｂ１およびｂ２は、復号済のＡＵから再構築され、Ｌａｙｅｒ＿ＡのＤＰＢ＿Ａに記憶される。切り替えが行われると、ｌａｙｅｒ＿ｉｄ＝Ｌａｙｅｒ＿ＢであるＡＵのＳ＿ｄｉｆｆ１およびＳ＿ｄｉｆｆ２が受信され、復号される。次に、復号器ＤＥＣ２は、Ｓ＿ｄｉｆｆ１から、且つ、Ｓ＿ｄｉｆｆ２から復号されたデータから、さらに、Ｓ＿ｄｉｆｆ１およびＳ＿ｄｉｆｆ２の各々から復号された情報ｉｎｆｏ＿１およびｉｎｆｏ＿２によって識別されるｂ１およびｂ２から、特別な参照ピクチャｅ’１およびｅ’２を再構築する。ｂ１およびｂ２と時間的にそれぞれ対応する特別な参照ピクチャｅ’１およびｅ‘２がＬａｙｅｒ＿ＢのＤＰＢ＿Ｂに記憶される。そして、ＡＵ３が受信され、復号される。ピクチャｅ３は、この復号済のＡＵ３から再構築され、さらに、特別な参照ピクチャｅ’１およびｅ’２から再構築される。ｅ３は、ｅ４のための再構築済の参照ピクチャとして使用されるため、再構築済のピクチャｅ３は、ＤＰＢ＿Ｂに記憶される。ＡＵ４が受信され、復号される。ピクチャｅ４は、復号済のＡＵ４から、さらには、特別な参照ピクチャｅ’２および再構築済の参照ピクチャｅ３から再構築される。後続するＡＵ５およびＡＵ６が受信され、復号される。対応するピクチャｅ５およびｅ６が、復号されたＡＵ５およびＡＵ６から再構築される。ＤＰＢ＿Ｂは、再構築済のピクチャが参照ピクチャとして使用される場合には、ｅ５およびｅ６を加算することによって更新されることがある。ｅ’１は、好ましくは、ｅ３を符号化する際に使用される再構築済の参照ピクチャのうちの１つであるｅ１の近似値である。ｅ’２は、好ましくは、ｅ３およびｅ４を符号化する際に使用される再構築済の参照ピクチャのうちの１つであるｅ２の近似値である。

有利なことに、フラグｆ１３は、例えば、ＶＰＳ内またはＳＥＩ内において符号化され、所与のｌａｙｅｒ＿ｉｄを用いて後続して符号化されたピクチャがインターレイヤ予測を使用していないことを示し、また、フラグｆ１３は、例えば、ＶＰＳ内またはＳＥＩ内において復号され、所与のｌａｙｅｒ＿ｉｄを用いて後続して復号されたピクチャがインターレイヤ予測を使用していないことを示す。より正確には、フラグの後に符号化されたピクチャは、インターレイヤ予測を使用しておらず、フラグの後に復号されたピクチャは、インターレイヤ予測を使用していない。

第１および第２のシーケンスのピクチャおよび特別な参照ピクチャをマルチレイヤ・ストリームに符号化することにより、例えば、同一のＰＯＣを有する、時間的に対応する２つの参照ピクチャ（ｂ１およびｅ’１またはｂ２およびｅ’２）を再構築することが可能となる。実際、マルチレイヤの手法では、種々のＤＰＢが使用される。具体的には、レイヤ毎に１つのＤＰＢが使用される。その結果として、複数の時間的に対応する再構築済の参照ピクチャは、種々のＤＰＢに記憶される。マルチレイヤ・ストリームの復号は、従来より、レイヤの依存性のため、レベルＮ＋１のレイヤを復号する前に、レベルＮのレイヤを復号することを必要とする。ここで、Ｎは整数である。レイヤ間のこのような依存性は、ストリーム切り替えアプリケーションに適合するものではない。有利には、フラグｆ１３の符号化により、レイヤ間に独立性が生まれ、したがって、スケーラブルな符号化／復号がストリーム切り替えアプリケーションに適したものとなる。

本発明による符号化方法および復号方法は、フレキシブルなストリーム切り替えを実現可能にし、その一方で、切り替えが発生したときにのみ、わずかなビットレートの負荷が生ずるようにする。これらの方法は、如何なるＧＯＰ構造にも、如何なる数の再構築済の参照ピクチャにも、さらに、復号順序が表示順序とは異なる場合にも適している。

シンタックスの例を、Ｓ＿ｄｉｆｆストリームについてのＳＨＶＣ符号化規格フレームワーク内で以下のように規定する。

ｓｌｉｃｅ＿ｔｙｐｅが特別な参照ピクチャのスライスを識別するために加えられる。

ｓｉｇｎ＿ｄｉｆｆ＿ｐｉｃが１である場合には、これは、残差が予測に加算されるべきであることを示し、そうでない場合には、残差が予測から減算されるべきことを示す。

ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｄｉｆｆｐｉｃ＿ｌｓｂは、この特別な参照ピクチャに関するピクチャ・オーダ・カウント・モジュロＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂを規定する。そこで、イントラＢＬ予測は、同一のｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔを有するＤＰＢ内の参照ピクチャを使用する。ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂシンタックス要素の長さは、ｌｏｇ２＿ｍａｘ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ＿ｍｉｎｕｓ４＋４ビットである。ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｄｉｆｆｐｉｃ＿ｌｓｂの値は、０からＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂ−１の範囲である（０とＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂ−１とを含む）。ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｄｉｆｆｐｉｃ＿ｌｓｂが存在しない場合には、ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｄｉｆｆｐｉｃ＿ｌｓｂは０と推定される。

ｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｄｉｆｆｐｉｃ＿ｃｙｃｌｅ＿ｌｔは、この特別な参照ピクチャを再構築するために使用されるＤＰＢ内の長期間にわたる再構築済の参照ピクチャのピクチャ・オーダ・カウント値の最上位ビットの値を求めるために使用される。ｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｌｔが存在しない場合は、これは、０と推定される。

ｎｕｍ＿ｌａｙｅｒ＿ｉｄ＿ｄｉｆｆｐｉｃ＿ａｐｐｌｙは、この特別な参照ピクチャを復号するために使用される再構築済の参照ピクチャのｎｕｍ＿ｌａｙｅｒ＿ｉｄを示す。

シンタックスの例（ｖｐｓ拡張）：

ｄｉｆｆ＿ｐｉｃ＿ｆｌａｇ＿ｅｎａｂｌｅｄが１である場合には、これは、ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｆｏｒ＿ｎｏｎ＿ｄｉｆｆ＿ｐｉｃｔｕｒｅ＿ｆｌａｇがコーディングされていることを示す。

ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｆｏｒ＿ｎｏｎ＿ｄｉｆｆ＿ｐｉｃｔｕｒｅ＿ｆｌａｇが１である場合には、これは、タイプＩ、Ｐ、またはＢの任意の後続するピクチャがインターレイヤ予測を使用しないが、タイプＳＲＰのピクチャが時間的なイントラレイヤ予測ではなく、インターレイヤ予測を使用する場合があることを示している。

図９および図１０に描かれた本発明に係るビデオ・コーダおよび復号器は、例えば、ハードウェア、ソフトウェア、ファームウェア、特定用途プロセッサ、またはこれらを組み合わせた様々な形態で実施される。好ましくは、本願の原理は、ハードウェアとソフトウェアとを組み合わせて実施することができる。さらに、ソフトウェアは、好ましくは、プログラム・ストレージ・デバイス上に現実的に実装されるアプリケーション・プログラムとして実施される。アプリケーション・プログラムは、任意の適切なアーキテクチャからなるマシンにアップロードされ、このマシンによって実行されるようにしてもよい。好ましくは、このマシンは、１つ以上の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）、入出力（Ｉ／Ｏ）インタフェースなどのハードウェアを有するコンピュータ・プラットフォーム上で実施される。また、コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロインストラクション・コードを含む。本明細書中で開示される様々な処理および機能は、マイクロインストラクション・コードの一部を構成するものでもよい。オペレーション・システムを通じて実行されるアプリケーション・プログラムの一部を構成するものであってもよいし、これらを組み合わせたものであってもよく、さらに、追加的なデータ記憶装置や印刷機等、コンピュータ・プラットフォームに様々な他の周辺機器を結合するようにしてもよい。

変形例によれば、本発明に係るコーディング装置および復号装置は、純粋に、ハードウェアの実施態様により実施される。例えば、専用のコンポーネント（例えば、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）の形態で、または、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や超大規模集積（ＶＬＳＩ：Ｖｅｒｙ Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）の形態で、または、装置に集積された複数の電子コンポーネントの形態で、さらには、ハードウェア要素とソフトウェア要素とを混合した形態で実施されることさえある。

Claims (12)

1. 第１のレイヤおよび第２のレイヤを含むマルチレイヤ・ストリームからピクチャ・ブロックを復号する方法であって、
   前記第２のレイヤからの少なくとも１つのストリーム（Ｓ＿ｄｉｆｆ）を、復号済のデータと、前記第１のレイヤの復号器ピクチャ・バッファ内の再構築済の参照ピクチャを識別する情報とに復号すること（１０）と、
   前記識別された再構築済の参照ピクチャおよび前記復号済のデータから特別な参照ピクチャを再構築し（１２）、前記第２のレイヤの復号器ピクチャ・バッファに前記特別な参照ピクチャを記憶することであって、前記再構築済の特別な参照ピクチャは表示されないように指定されている、前記再構築し、記憶することと、
   前記第２のレイヤにおける後続して復号されるピクチャがインターレイヤ予測を使用していないことを示すフラグを復号することと、
   少なくとも前記特別な参照ピクチャに基づき、前記後続して復号されるピクチャのうちの１つのピクチャ・ブロックを再構築すること（１６）と、
   を含む、前記方法。
2. 前記少なくとも１つのストリーム（Ｓ＿ｄｉｆｆ）は、２つの再構築済の参照ピクチャ間の画素毎の差分を符号化したものである、請求項１に記載の方法。
3. 前記第１のレイヤは、ベース・レイヤである、請求項１または２に記載の方法。
4. 第１のレイヤおよび第２のレイヤを含むマルチレイヤ・ストリームにおけるピクチャ・ブロックを符号化する方法であって、
   少なくとも１つの再構築済の参照ピクチャから前記ピクチャ・ブロックを符号化すること（２０）と、
   前記第２のレイヤにおいて、前記少なくとも１つの再構築済の参照ピクチャを、特別な参照ピクチャとして、前記第１のレイヤの復号器ピクチャ・バッファ内に記憶された別の再構築済の参照ピクチャおよび前記第１のレイヤの前記復号器ピクチャ・バッファ内の前記別の再構築済の参照ピクチャを識別する情報に基づき符号化すること（２４）であって、前記特別な参照ピクチャは再構築されたときに表示されないように指定されている、前記符号化することと、
   前記第２のレイヤにおける後続して符号化されるピクチャがインターレイヤ予測を使用していないことを示すフラグを前記第２のレイヤにおいて符号化することと、
   を含む、前記方法。
5. 前記第２のレイヤにおいて、前記少なくとも１つの再構築済の参照ピクチャを特別な参照ピクチャとして符号化することは、前記少なくとも１つの再構築済の参照ピクチャと前記別の再構築済の参照ピクチャとの間の画素毎の差分を求めることと、前記画素毎の差分を符号化することとを含む、請求項４に記載の方法。
6. 前記第１のレイヤは、ベース・レイヤである、請求項４または５に記載の方法。
7. 第１のレイヤおよび第２のレイヤを含むマルチレイヤ・ストリームからピクチャ・ブロックを復号する復号装置であって、
   前記第２のレイヤからの少なくとも１つのストリーム（Ｓ＿ｄｉｆｆ）を、復号済のデータと、前記第１のレイヤの復号器ピクチャ・バッファ内の再構築済の参照ピクチャを識別する情報とに復号する手段（ＤＥＣ２）と、
   前記識別された再構築済の参照ピクチャおよび前記復号済のデータに基づき特別な参照ピクチャを再構築し、前記第２のレイヤの復号器ピクチャ・バッファに前記特別な参照ピクチャを記憶する手段（ＤＥＣ２）であって、前記再構築済の特別な参照ピクチャは表示されないように指定されている、前記手段と、
   前記第２のレイヤにおける後続して復号されるピクチャがインターレイヤ予測を使用していないことを示すフラグを復号する手段と、
   少なくとも前記特別な参照ピクチャに基づき、前記後続して復号されるピクチャのうちの１つのピクチャ・ブロックを再構築する手段（ＤＥＣ０，ＤＥＣ１）と、
   を含む、前記復号装置。
8. 当該装置が、請求項１〜３のいずれか１項に記載の復号方法の各ステップを実行するように構成されている、請求項７に記載の復号装置。
9. 第１のレイヤおよび第２のレイヤを含むマルチレイヤ・ストリームにおけるピクチャ・ブロックを符号化するコーディング装置であって、
   少なくとも１つの再構築済の参照ピクチャに基づき前記ピクチャ・ブロックを符号化する手段と、
   前記第２のレイヤにおいて、前記少なくとも１つの再構築済の参照ピクチャを、特別な参照ピクチャとして、前記第１のレイヤの復号器ピクチャ・バッファ内に記憶された別の再構築済の参照ピクチャおよび前記第１のレイヤの前記復号器ピクチャ・バッファ内の前記別の再構築済の参照ピクチャを識別する情報に基づき符号化する手段であって、前記特別な参照ピクチャは再構築されたときに表示されないように指定されている、前記手段と、
   前記第２のレイヤにおける後続して符号化されるピクチャがインターレイヤ予測を使用していないことを示すフラグを前記第２のレイヤにおいて符号化する手段と、
   を含む、前記コーディング装置。
10. 当該装置が、請求項４〜６のいずれか１項に記載の符号化方法の各ステップを実行するように構成されている、請求項９に記載のコーディング装置。
11. 第１のレイヤおよび第２のレイヤを含むマルチレイヤ・ストリームからのピクチャ・ブロックを復号する復号装置であって、
    前記復号装置は、
    前記第２のレイヤからの少なくとも１つのストリーム（Ｓ＿ｄｉｆｆ）を、復号済のデータと、前記第１のレイヤの復号器ピクチャ・バッファ内の再構築済の参照ピクチャを識別する情報とに復号し、
    前記識別された再構築済の参照ピクチャおよび前記復号済のデータに基づき特別な参照ピクチャを再構築し、前記第２のレイヤの復号器ピクチャ・バッファに前記特別な参照ピクチャを記憶し、前記再構築済の特別な参照ピクチャは表示されないよう指定されており、
    前記第２のレイヤにおける後続して復号されるピクチャがインターレイヤ予測を使用していないことを示すフラグを復号し、
    少なくとも前記特別な参照ピクチャに基づき前記後続して復号されるピクチャのうちの１つのピクチャ・ブロックを再構築するように構成されたプロセッサを少なくとも含む、前記復号装置。
12. 第１のレイヤおよび第２のレイヤを含むマルチレイヤ・ストリームにおけるピクチャ・ブロックを符号化するコーディング装置であって、
    前記コーディング装置は、
    少なくとも１つの再構築済の参照ピクチャに基づき前記ピクチャ・ブロックを符号化し、
    前記第２のレイヤにおいて、前記少なくとも１つの再構築済の参照ピクチャを、特別な参照ピクチャとして、前記第１のレイヤの復号器ピクチャ・バッファ内に記憶された別の再構築済の参照ピクチャおよび前記第１のレイヤの前記復号器ピクチャ・バッファ内の前記別の再構築済の参照ピクチャを識別する情報に基づき符号化し、前記特別な参照ピクチャは再構築されたときに表示されないように指定されており、
    前記第２のレイヤにおける後続して符号化されるピクチャがインターレイヤ予測を使用していないことを示すフラグを前記第２のレイヤにおいて符号化するように構成されたプロセッサを少なくとも含む、前記コーディング装置。
    

Images