JP2008527881A - スケーラブルビデオ符号化における層間予測モード符号化のための方法およびシステム - Google Patents

Abstract

本発明は、ベース層分解能が強化層分解能よりも低い場合に、ベース層内の１つの４×４ブロックのイントラ４×４モードを、強化層内のいくつかの隣接４×４ブロックへコピーするといったように、ベース層ＭＢがイントラモードで符号化される場合でさえもＭＩを使用すること、およびベース層分解能が強化層分解能よりも低くベース層分解能が双方の次元において強化層分解能の半分である場合に、イントラ８×８モードとしてイントラ４×４を使用すること、ＲＰで使用されるベース層予測剰余の直接計算、必要メモリを低減させるための予測剰余のクリップおよびＢＬＴＰモードでの予測剰余のトンネリング、およびフラグビットを節約し実施の複雑性を低減させるためのＲＰフラグの条件付き符号化を実施すること、によって剰余予測を改善させる。

Description

本発明は、ビデオ符号化の分野、より特定的にはスケーラブルビデオ符号化に関する。

Ｈ．２６４といった標準的な単一層ビデオスキームにおいては、ビデオフレームはマクロブロックで処理される。マクロブロック（ＭＢ）がインター（inter）-ＭＢである場合、１つのマクロブロック内の画素は、１つのまたは多数の基準フレーム内の画素から予測可能である。マクロブロックがイントラ（intra）-ＭＢである場合には、現行フレーム内のＭＢ中の画素もまた、同じビデオフレーム内の画素から完全に予測することもできる。

インター-ＭＢおよびイントラ-ＭＢの双方について、ＭＢは以下の段階で復号される。
・予測モードおよび付随するパラメータを含む、ＭＢ中の構文要素（syntax）を復号する。
・構文要素に基づいて、ＭＢの各区画（partition）について画素予測子（pixel predictor）を検索する。
・ＭＢは多数の区画を有することができ、各区画はその独自のモード情報を有し得る。
・量子化係数を得るべく、エントロピー復号を実行する。
・予測剰余（prediction residue）を再構成するため、量子化係数に対し逆変換（inverse transform）を実行する。
・ＭＢの再構成された画素値を得るため、再構成された予測剰余に対して画素予測子を付加する。

符号器側では、予測剰余は原画素とその予測子との間の差である。剰余は変換され、変換係数は量子化される。量子化係数は次に、あるエントロピー符号化スキームを用いて符号化される。

ＭＢがインター-ＭＢである場合、次のようなモード決定に関する情報を符号化することが必要である。
・これがインター-ＭＢであることを表わすＭＢタイプ。
・使用される特定のフレーム間予測モード。該予測モードは、ＭＢがいかに区画化されているかを示す。例えば、ＭＢは、１６×１６というサイズの唯一の区画を有するか、または１６×８の２つの区画を有することができ、各区画は異なる動き情報を有することができる、等々。
・画素予測子を提供する基準フレームを表示するための１またはそれ以上の基準フレーム指標。ＭＢの異なる部分が、異なる基準フレームからの予測子を有し得る。
・予測子がフェッチされる基準フレーム上の位置を表示するための１またはそれ以上の動きベクトル。

ＭＢがイントラ-ＭＢである場合、以下のような情報を符号化することが必要である。
・これがイントラ-ＭＢであることを表示するためのＭＢタイプ。
ルーマ（luma）のために使用されるフレーム間予測モード。ルーマ（luma）信号が、イントラ４×４モードを用いて予測される場合には、１６×１６ルーマブロック内の各４×４ブロックは独自の予測モードを有することができ、ＭＢについて１６のイントラ４×４モードが符号化される。ルーマ信号がイントラ１６×１６モードを用いて予測される場合には、１つのイントラ１６×１６モードのみが全ＭＢと関連付けられる。
クロマ（chroma）について用いられるフレーム間予測モード。

いずれの場合でも、モードおよび付随するパラメータの符号化には多大な量のビットが費やされている。

スケーラブルビデオ型式３．０（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ ２９／ＷＧ １１Ｎ６７１６、２００４年１０月、スペイン、マジョルカ島パルマ）で提案されているようなスケーラブルビデオ符号化解決法においては、多重層の形でビデオシーケンスを符号化することができ、各層は、ある空間分解能または時間分解能におけるまたはある品質レベルにおけるビデオシーケンスまたは３つのもののいずれかの組合せの１つの代表である。優れた符号化効率を達成するために、複数の層の間での冗長度を低減させるべく、新しいテクスチャ（texture）予測モードおよび構成要素予測モードが使用される。

「ベース層からのモード継承（ＭＩ）」
このモードでは、ＭＩ（mode inheritance）フラグを除いて、ＭＢのためにいかなる付加的構文要素も符号化される必要がない。ＭＩフラグは、このＭＢモード決定がベース層における対応するＭＢのものから導出し得ることを示すために用いられる。ベース層の分解能が強化層（enhancement layer）の分解能と同じである場合、全てのモード情報はそのまま使用可能である。ベース層の分解能が強化層の分解能と異なる場合（例えば、強化層の分解能の半分）、強化層によって使用されるモード情報を、分解能比に従って導出する必要がある。

「ベース層テクスチャ予測（ＢＬＴＰ）」
このモードでは、ＭＢ全体またはＭＢの一部分についての画素予測子は、ベース層内に配列（co-located）されたＭＢに由来する。かかる予測を表示するのに新しい構文要素が必要である。これは、フレーム間予測に類似しているが、予測子の位置が分かっていることから、いかなる動きベクトルも必要ではない。このモードは、図１に例示されている。図１では、Ｃ１は強化層符号化における原ＭＢであり、Ｂ１は、Ｃ１を予測する上で使用される現フレームについてのベース層中の再構成されたＭＢである。図１では、強化層フレームサイズはベース層内のフレームサイズと同じである。ベース層が異なるサイズである場合、ベース層の再構成されたフレームについての適切なスケーリング操作が必要とされる。

「剰余予測（ＲＰ）」
このモードでは、両方のＭＢが共にインターモード（inter mode）にて符号化されている場合、ベース層の再構成された予測剰余は、強化層内で符号化すべき剰余の量を低減させるのに使用される。

図１では、ブロックについてのベース層内の再構成された予測剰余は（Ｂ１−Ｂ０）である。強化層内の最良の基準ブロックはＥ０である。Ｃ１を予測するのに使用される実際の予測子（predictor）は（Ｅ０＋（Ｂ１−Ｂ０））である。実際の予測子は「剰余調整された予測子」と呼ばれる。ＲＰモードでの予測剰余を計算する場合、以下の式が得られることになる。

剰余予測が使用されない場合、強化層内の、（Ｃ１−Ｅ０）の正規の予測剰余が符号化される。ＲＰモードで符号化されるのは、強化層内の一次（first order）予測剰余とベース層内の一次予測剰余との間の差である。従って、このテクスチャ予測モードは剰余予測と呼ばれる。現ＭＢを符号化するのにＲＰモードが使用されるか否かを表示するために、フラグが必要とされる。

剰余予測モードでは、動きベクトルmv_eは必ずしも実際の符号化における動きベクトルmv_bと等しいとは限らない。

また、剰余予測モードをＭＩと組合わせることもできる。この場合、ベース層からのモード情報は、強化層Ｅ０内で画素予測子をアクセスするのに使用され、次に、ベース層内の再構成された予測剰余は、強化層内の予測剰余を予測するのに使用される。

本発明の主要な目的は、ＳＶＣ層の間に存在する冗長性をさらに除去することにある。この目的は、層間予測モードを改善することにより達成可能である。

以下のようにイントラモードでベース層ＭＢが符号化される場合でも、ＭＩを用いることにより改善を達成することができる。
・ベース層分解能が強化層分解能よりも低い場合、ベース層内の１つの４×４ブロックのイントラ４×４モードを、強化層内のいくつかの隣接４×４ブロックへコピーする。
・ベース層分解能が強化層分解能よりも低く、双方の次元においてベース層分解能が強化層分解能の半分である場合、上記イントラ４×４をイントラ８×８モードとして使用する。

剰余予測（ＲＰ）の改善は、以下のことにより達成可能である。
・ＲＰで使用されるベース層予測剰余の直接計算、
・必要なメモリを低減させるための予測剰余のクリップ（clipp）、
・ＢＬＴＰモードでの予測剰余のトンネリング（tunneling）、および
・フラグビットを節約し、実現の複雑性を低減させるための、ＲＰフラグの条件付き符号化。

さらに、強化層がベース層テクスチャ予測（ＢＬＴＰ）モードで符号化される場合、ベース層のモード情報のトンネリングを実施することができる。

本発明は、以下の通り、層間予測モードを改善する。

「ベース層ＭＢがイントラモードで符号化される場合の、ベース層からのモード継承（mode inherifance）」
通常、ベース層内の対応するＭＢがインター-ＭＢである場合にのみ、強化層内のＭＢについてＭＩが使用される。本発明によると、ＭＩはまた、ベース層ＭＢがイントラ-ＭＢである場合にも使用される。ベース層分解能が強化層分解能と同じである場合、モードはそのまま使用される。ベース層分解能が同じでない場合、モード情報はそれに相応して変換される。

Ｈ．２６４においては、イントラ４×４、イントラ８×８およびイントラ１６×１６という３つのイントラ予測タイプが存在する。ベース層分解能が強化分解能よりも低い場合、ベース層ＭＢのルーマ（luma）信号がイントラ４×４モードで符号化されるならば、ベース層内の１つの４×４ブロックのイントラ４×４モードを、強化層内のいくつかの４×４ブロックに適用することができる。例えば、双方の次元でベース層分解能が強化層分解能の半分である場合、図２の右側で例示されているように、ベース層内の１つの４×４ブロックのイントラ予測モードは、強化層内の４つの４×４ブロックにより使用され得る。

別の実施形態においては、ベース層分解能が強化層分解能の半分であり、ベース層ＭＢのルーマ信号が１つのイントラ４×４モードで符号化される場合、ベース層内の４×４ブロックのイントラ４×４モードは、強化層内の対応する８×８ブロックについてのイントラ８×８モードとして使用される。これは、イントラ８×８モードが、予測方向に関してイントラ４×４モードと同様に規定されているからである。ベース層内でイントラ８×８予測が適用される場合、ベース層の１つの８×８ブロックのイントラ８×８予測モードが、強化層のＭＢ内の４つの８×８ブロック全てに適用される。

イントラ１６×１６モードおよびクロマ（chroma）予測モードは、ベース層の分解能が強化層の分解能と同じでない場合でさえも、常にそのまま使用可能である。

「ベース層テクスチャ予測モードでのモード情報のトンネリング」
先行技術においては、ＭＢがＢＬＴＰモードで層Ｎ−１から予測されている場合、層ＮでそのＭＢを符号化するのに層Ｎ−１からのモード決定情報は全く必要とされない。本発明によると、層Ｎ−１におけるＭＢのモード決定情報は全て層ＮにおけるＭＢにより継承され、該情報は層Ｎ＋１でＭＢを符号化するのに使用され得るが、層ＮでＭＢを符号化するのに該情報が使用されない可能性もある。

「剰余予測（ＲＰ）」
・ＲＰで使用されるベース層予測剰余の直接計算
層ＮにおいてＭＢを符号化する上で剰余予測のために使用される値は、層Ｎ−１における対応するＭＢがインター符号化（inter-coded）されているとすると、層Ｎ−１における再構成され配列（co-located）されたブロックと、層Ｎ−１におけるこの配列されたブロックの「剰余調整されていない予測子」（non-residue-adjusted predictor）との間の差として定義される、層Ｎ−１における「真の剰余」（true residue）であるべきである。

復号プロセスにおいては、「公称剰余」（nominal residue）は、以下の２つの段階を用いて計算され得る。
１．量子化係数を逆量子化（dequantize）する段階、および
２．逆量子化された係数について逆変換（inverse transform）を実施する段階。

ベース層内の１つの４×４ブロックのモードは、図２の右側で例示されているように、強化層内で４つの４×４ブロックにより使用され得る。

この層においてＭＢを符号化する上で剰余予測が使用されない場合には、この層におけるこのＭＢについて、「公称剰余」は「真の剰余」と同じである。この層でＭＢを符号化する上で剰余予測が使用される場合には、「公称剰余」は、再構成された画素と「剰余調整された予測子」（residue-adjusted predictor）との間の差であることから、「真の剰余」とは異なる。

一例として図２の左側にある３層ＳＶＣ構造を取り上げてみる。層０におけるＭＢについての剰余予測を使用しない場合には、「公称剰余」と「真の剰余」は両方共（Ｂ１−Ｂ０）である。しかしながら、層１におけるＭＢについての剰余予測が使用される場合には、「公称剰余」は（Ｅ１−（Ｅ０＋（Ｂ１−Ｂ０））である。その結果は、逆量子化と、逆量子化係数の逆変換とから直接得ることができる。「真の剰余」は（Ｅ１−Ｅ０）である。

以下に記すのは、層Ｎでの剰余予測において使用することになる、層Ｎ−１における「真の剰余」を計算するための２つの方法例である。

「方法Ａ」
層Ｎ−１において現フレームとその基準フレームの双方について完全再構成を実施すると、層Ｎ−１での「真の剰余」を容易に計算することができる。しかしながら、一部のアプリケーションにおいては、層２におけるフレームの再構成が、層０と層１におけるフレームの完全再構成を要しないことが望ましい。

「方法Ｂ」
層Ｎ−１においてＭＢについて剰余予測が使用されない場合には、層Ｎ−１における「真の剰余」は「公称剰余」と同じである。そうでなければ、それは層Ｎ−１における「公称剰余」と、層Ｎ−２における「真の剰余」との和である。

図２においては、層０における「真の剰余」は（Ｂ１−Ｂ０）であり、ＲＰモードは、層１において対応するＭＢを符号化するのに使用される。層１における現ＭＢについて「剰余調整された予測子」は、（Ｅ０＋（Ｂ１−Ｂ０））である。層１における再構成された「公称予測剰余」（nominal prediction residue）は（Ｅ１−（Ｅ０＋（Ｂ１−Ｂ０））である。従って、層１における「真の剰余」は、

として計算することができる。方法Ｂは、下位層においてフレームの完全再構成を必要としない。この方法は、「真の剰余」の『直接計算』（direct calculation）と呼ばれる。

数学的には、方法Ａおよび方法Ｂからの結果は同じである。しかしながら実際の実現においては、さまざまなクリップ操作が実施されるため、結果はわずかに異なる可能性がある。本発明によると、以下に記すものが、層Ｎにおける「剰余予測」で使用されるべき、層Ｎ−１での「真の剰余」を計算するための手順である。
１．量子化係数を逆量子化する。
２．「層Ｎ−１における公称剰余」を得るために、逆量子化係数に対して逆変換を実施する。
３．層Ｎ−１でＭＢについての剰余予測が使用されない場合、「一時剰余」（tempResidue）を「層Ｎ−１における公称剰余」と等しくなるように設定し、次に段階５に進む。
４．層Ｎ−１でＭＢについての剰余予測が使用される場合、「一時剰余」（tempResidue）を「層Ｎ−１における公称剰余」＋「層Ｎ−２における真の剰余（trueResidue）」に等しくなるように設定し、次の段階５に進む。
５．「層Ｎ−１における「真の剰余」（trueResidue）を得るために、「一時剰余」（tempResidue）に対しクリップ（clipp）を実施する。

本発明においては、「真の剰余」はクリップされており、従ってそれはある範囲内に入り、剰余データを記憶するために必要とされるメモリを節約することになる。剰余のダイナミックレンジ（範囲）を表示するため、ビットストリーム内の付加的な構文要素「剰余範囲」（residueRange）を導入することができる。一例は、８ビットのビデオデータについて［−１２８，１２７］という範囲内に剰余をクリップすることである。ある種の複雑性と符号化効率とのトレードオフのためには、より攻撃的なクリップを適用することが可能であろう。

「係数ドメイン内の剰余予測」
一実施形態においては、剰余予測を係数ドメイン内で実施することができる。剰余予測モードが使用される場合、係数ドメイン内のベース層予測剰余を、強化層内の予測剰余の変換係数から差し引くことができる。次にこの操作の後に強化層内の量子化プロセス（quantization process）が続く。係数ドメイン内で剰余予測を実施することにより、全てのベース層内の空間ドメイン内で、予測剰余を再構成する逆変換を回避することができる。その結果、計算の複雑性を著しく低減することができる。

「イントラおよびＢＬＴＰモードでの予測剰余のトンネリング」
通常、直接的なベース層内のＭＢが、イントラ-ＭＢであるか、またはＢＬＴＰモードを用いてそれ自身のベース層から予測されるか、のいずれかの場合、予測剰余は０に設定される。本発明によると、予測剰余は、上位強化層に転送されることになるが、フレーム間予測からのいかなる剰余も付加されない。３層ＳＶＣ構造を考慮すると、ＭＢが層０内にてインターモードで、そして層１内でイントラモードで符号化される場合、層０の予測剰余を、層２内で使用することが可能である。

一実施形態において、現行の強化層（例えば、図２中の層１）内のＭＢがＢＬＴＰモードで符号化される場合、値（Ｂ１−Ｂ０）のそのベース層（層０）の予測剰余は層１予測剰余として記録され、上位強化層（層２）の剰余予測において使用されることになる。層１内のＢＬＴＰモードからの公称剰余は付加されない。これは、上記で論述したイントラモードと類似している。別の実施形態では、層１における値（Ｅ１−Ｂ１）のＢＬＴＰモード予測剰余はまた、ベース層予測剰余（Ｂ１−Ｂ０）に付加される。かくして、層２における剰余予測で使用される剰余は、（Ｂ１−Ｂ０）ではなく、むしろ（Ｅ１−Ｂ０）である。このことは図２の右側に示されている。

「フラグビットを節約し実現の複雑性を低減させるためのＲＰフラグの条件付き符号化」
ＲＰフラグは、強化層内のＭＢについてＲＰモードが使用されるか否かを表示するために用いられる。強化層内のＭＢについての剰余予測において使用可能な再構成された予測剰余が、ゼロである場合、該剰余予測モードは符号化効率の改善の一助とはならない。本発明によると、符号器側において、剰余予測モードが評価される前に常にこの条件がチェックされる。かくして、モード決定において多大な量の計算を削減できる。符号器側および復号器側の双方で、強化層内のＭＢについての剰余予測において使用可能な再構成された予測剰余が、ゼロである場合、いかなるＲＰフラグも符号化されない。かくして、ＲＰフラグを符号化するのに費やされるビット数は低減される。

マクロブロックＭＢを符号化する際には、ＭＢがイントラ符号化されるかまたはインター符号化されるか、あるいはまたＢＬＴＰモードで符号化されるか、を表示するためにビットストリーム内にて１またはそれ以上の変数が符号化される。ここでは、これら３つの予測タイプを識別するために集合的に変数ＭＢTypeが使用される。

イントラ符号化されたマクロブロックについては公称予測剰余は常に０である。ベース層内にて配列（co-located）されたマクロブロックのいずれもインター符号化されていない場合、強化層のＭＢについての剰余予測において使用し得る再構成された予測剰余は、０である。例えば、２層のＳＶＣ構造においては、ベース層がインター符号化されない場合、層１内のマクロブロックを符号化する上で使用可能な剰余は、０であり、このとき剰余予測プロセスはこのマクロブロックについて削除でき、いかなる剰余予測フラグも送信されない。

ビデオ符号化においては、ＭＢ内でいかに予測剰余が分配されているかを表示するために、符号化ブロックパターン（ＣＢＰ：Coded Block Pattern）を使用するのが一般的である。値０のＣＢＰは、予測剰余が０であることを表わしている。

ベース層が異なる分解能を有する場合、ベース層内のＣＢＰは、図３に示されているように、強化層の適切なスケールに変換される。特定の例は、ベース層分解能が、双方の次元において、強化層分解能の半分である、というものである。通常、ＭＢ内の各８×８ルーマ（luma）ブロックについて、ＣＢＰビットが送信される。適切な位置で１つのＣＢＰビットをチェックすることによって、空間ベース層からの予測剰余が０であるか否かを知ることが可能である。このことは、図３の左側で説明されている。剰余予測を使用すべきか否かを決定するために、類似の要領でクロマ（chroma）ＣＢＰをチェックすることもできる。

本発明の一実施形態においては、ベース層のＣＢＰおよびＭＢTypeを用いて、現行のＭＢの剰余予測内で使用可能な予測剰余が、０であるか否かを推論することができるであろう。従って、ＭＢ内の予測剰余を画素毎に実際にチェックすることを回避することができる。

ベース層分解能が強化層分解能よりも低い場合のアップサンプリング操作およびループフィルタ操作といった何らかの付加的な処理段階を、復号後のベース層テクスチャデータに対し適用できることから、ＣＢＰおよびＭＢTypeのチェックの結果が、画素毎に予測剰余をチェックした結果と同一でない可能性もあるということを理解すべきである。例えば、ベース層の分解能が強化層の分解能の半分である場合、ベース層の再構成された予測剰余は、２というファクタでアップサンプリングされることになる（図３参照）。アップサンプリングにおいて実施されるフィルタ操作では、非ゼロブロックから、隣接するゼロブロックへ少量のエネルギーをリークさせる可能性がある。ブロックの予測剰余が画素毎にチェックされるなら、ＣＢＰおよびＭＢTypeから推論される情報は、０であるものの、剰余が非ゼロであることを見つける可能性がある。

かくして、ベース層内のＣＢＰおよびＭＢType値だけをチェックすることにより、計算の複雑性だけでなくメモリアクセスをも削減することができる。

図４は、本発明の実施形態を実現できるスケーラブルビデオ符号器４００のブロック図を示す。図４に示されているように、符号器は、２つの符号化モジュール４１０および４２０を有しており、各モジュールは異なる層のビットストリームを生成するためのエントロピー符号器を有する。符号器４００は、いかに係数（coefficient）を符号化するかを決定するためのソフトウェアプログラムを含むということが分かる。例えば、このソフトウェアプログラムは、
ベース層内の１つの４×４ブロックのイントラ４×４モードを、強化層内のいくつかの隣接する４×４ブロックにコピーすることによって、またベース層分解能が強化層分解能の半分に過ぎない場合にはイントラ８×８モードとしてイントラ４×４モードを使用することによって、
イントラ符号でベース層ＭＢが符号化される場合であっても、ＭＩを用いるための擬似符号を含む。そのソフトウェアプログラムは、剰余予測モードを直接使用してベース層予測剰余を計算するためおよび予測剰余をクリップするために、使用することができる。

つまり、イントラ８×８およびイントラ４×４は、異なるルーマ（luma）予測タイプである。イントラ予測における基本的な考え方は、処理中のブロック内で画素の方向性予測（directional prediction）を実施するために、（すでに処理され再構成されている）隣接ブロック内の縁部画素を使用することにある。特定のモードが、右下方向または水平方向等々といった予測方向を特定する。さらに詳細に言及すれば、水平方向では、現ブロックの左側にある縁部画素は水平方向にコピーされ、現ブロックの予測子として使用されることになる。

イントラ８×８予測タイプでは、ＭＢは４つの８×８ブロックで処理され、各８×８ブロックに関連する１つのイントラ８×８予測モードが存在する。イントラ４×４では、ＭＢは４×４ブロックで処理される。しかしながら、モード（予測方向）は、両方の予測タイプに対して類似の要領で規定される。従って１つのタイプの実現においては、フレームサイズが双方の次元において２倍された場合、１つの４×４ブロックの予測モードを、強化層内の４つの４×４ブロックにコピーすることができるであろう。もう１つのタイプの実施においては、同じ２／１フレームサイズ関係について強化層内の１つの８×８ブロックのイントラ８×８モードとして、１つの４×４ブロックの予測モードを使用できるであろう。

本発明においては、半分の分解能は、双方の方向についてのものである。ただし、あるアプリケーションにおいては、ビデオを１つの次元においてのみダウンサンプリングすることができるかもしれない。その場合には、強化層内の２つの４×４ブロックに、１つのイントラ４×４モードをコピーするだけであり、イントラ４×４からイントラ８×８へのマッピングは最早有効でなくなる。

かくして、本発明は、その１またはそれ以上の実施形態に関して記述してきたが、当業者であれば、その形態および詳細における上述のおよびさまざまなその他の変更、削除および逸脱を、本発明の範囲から外れることなく実施できるということを理解することだろう。

スケーラブルビデオ符号化におけるテクスチャ予測モードを示す図である。 剰余予測において使用される予測剰余の計算を例示する図である。 空間ベース層からの、符号化ブロックパターンおよびイントラモードの使用を示す図である。 本発明の実施形態を実施できる層状のスケーラブル符号器を示すブロック図である。

Claims (18)

1. スケーラブルビデオ層内に存在する冗長度を低減させるスケーラブルビデオ符号化において使用するための方法で、かつ、該層は、ベース層と、少なくとも１つの強化層とからなり、各該層が少なくとも１つのマクロブロックを含んでなる方法において、
   前記強化層内でマクロブロックを符号化する上で剰余予測モードを使用するか否かを決定し、
   前記剰余予測モードが使用される場合には、剰余予測フラグを強化層ビットストリーム内に符号化し、ここで該フラグは、剰余予測が前記強化層中のマクロブロックに適用されるか否かを示し、
   前記剰余予測モードが使用されない場合、前記マクロブロックについての前記強化層ビットストリームから前記剰余予測フラグを削除すること、
   を特徴とする方法。
2. 前記の決定は、ベース層剰余がゼロであるか否かに基づくことを特徴とする請求項１に記載の方法。
3. 前記の決定は、前記ベース層内の前記マクロブロックを符号化する仕方に基づくことを特徴とする請求項１に記載の方法。
4. 前記の決定は、前記ベース層内に配列（co-located）されたマクロブロックのタイプに基づくことを特徴とする請求項１に記載の方法。
5. 前記ベース層内の前記配列されたマクロブロックのいずれもインター符号化（inter-coded）されていない場合には、前記剰余予測モードが使用されないことを特徴とする請求項３に記載の方法。
6. 前記ベース層マクロブロックについての符号化ブロックパターンがゼロである場合には、前記剰余予測モードが使用されないことを特徴とする請求項１に記載の方法。
7. 前記ベース層および少なくとも１つの強化層が、異なる空間分解能の層であり、前記ベース層符号化ブロックパターンからのビットがゼロに設定されていない場合には前記剰余予測モードが使用されず、前記ビットは、前記ベース層のアップサンプリングが発生すべきである場合に特定の強化層マクロブロックと共に配列されるであろうマクロブロックに対応することを特徴とする請求項６に記載の方法。
8. モード継承を計算する付加的な段階が、前記の決定に先行するか、あるいは後続するかのいずれかであることを特徴とする請求項１に記載の方法。
9. 前記ベース層および強化層が等しい空間分解能を有し、該強化層内の前記特定のマクロブロックのモードが、前記配列されたベース層マクロブロックから継承されており、該配列されたベース層マクロブロックがイントラマクロブロックであることを特徴とする請求項８に記載の方法。
10. 前記強化層が前記ベース層よりも大きい空間分解能を有し、該ベース層内のイントラマクロブロックは、アップサンプリングされた場合に前記特定の強化層マクロブロックを包含することになるベース層マクロブロックから継承されていることを特徴とする請求項８に記載の方法。
11. スケーラブルビデオ層内に存在する冗長度を低減させるための符号化用スケーラブルビデオ符号器において、該層はベース層と、少なくとも１つの強化層とからなり、各該層が少なくとも１つのマクロブロックからなる符号器であって、
    前記強化層内でマクロブロックを符号化する上で剰余予測モードを使用するか否かを決定するための手段と、
    前記剰余予測モードが使用される場合には、剰余予測フラグを強化層ビットストリーム内に符号化し、該フラグは剰余予測が強化層中のマクロブロックに適用されるか否かを示し、
    該剰余予測モードが使用されない場合は、前記マクロブロックについての前記強化層ビットストリームから前記剰余予測フラグを削除するための手段と、
    を有することを特徴とするスケーラブルビデオ符号器。
12. 前記の決定は、前記ベース層剰余がゼロであるか否かに基づくことを特徴とする請求項１１に記載の符号器。
13. 前記の決定が、前記ベース層内のマクロブロックを符号化する仕方に基づくことを特徴とする請求項１１に記載の符号器。
14. 前記の決定は、前記ベース層内に配列されるマクロブロックのタイプに基づくことを特徴とする請求項１１に記載の符号器。
15. 前記ベース層内の前記配列されたマクロブロックのいずれもインター符号化されていない場合には、前記剰余予測モードが使用されないことを特徴とする請求項１３に記載の符号器。
16. 前記ベース層マクロブロックについての符号化ブロックパターンがゼロである場合には、前記剰余予測モードが使用されないことを特徴とする請求項１１に記載の符号器。
17. 前記ベース層および少なくとも１つの強化層が、異なる空間分解能の層であり、前記ベース層符号化ブロックパターンからのビットがゼロに設定されていない場合には前記剰余予測モードが使用されず、前記ビットは、前記ベース層のアップサンプリングが発生すべきである場合に特定の強化層マクロブロックと共に配列されるであろうマクロブロックに対応することを特徴とする請求項１６に記載の符号器。
18. スケーラブルビデオ層内に存在する冗長度を低減するスケーラブルビデオ符号化において使用するためのソフトウェアアプリケーションを有する記憶媒体を含むソフトウェアアプリケーション製品において、前記層がベース層と、少なくとも１つの強化層とからなり、各該層が少なくとも１つのマクロブロックからなり、前記ソフトウェアアプリケーションが請求項１に記載の方法を実行するためのプログラムコードであることを特徴とするソフトウェアアプリケーション製品。

Images