JP2010016910A - 空間的にスケーラブルなビデオ符号化のために、低い複雑さでブロッキング歪を低減するための方法およびシステム - Google Patents

Abstract

【課題】画像処理によって生じるブロッキング歪を低減する。
【解決手段】本発明の実施例は、空間スケーラブルなビデオ符号化におけるフィルタ演算のためのブロック境界の特徴を定めるためのシステムおよび方法を含む。本発明の一部の実施例は、H.264/MPEG-4 AVCのスケーラブルなビデオ符号化拡張と共に使用するようになっている方法およびシステムを含む。
【選択図】なし

Description

本発明の実施例は、画像ブロック境界フィルタリング制御のための方法およびシステムに関する。本発明の一部の実施例は、逆ブロッキングフィルタ演算を制御するための、空間的スケーラビリティエンハンスメントレイヤ内の隣接ブロック間のブロック境界の特徴を定めるための方法およびシステムを含む。

H.264/MPEG-4 AVC［ITU-T VCEGおよびISO/IEC MPEGのJoint Video Team、「高度ビデオ符号化（AVC）−第４版」、ITU-T 勧告H.264およびISO/IEC14496-10（MPEG-4-Part10）、2005年1月］（この規格を本明細書で参考例として援用する）は、ビデオコーデック仕様であり、この仕様は、マクロブロック予測を使用しており、マクロブロック予測の次に残差符号化が行われ、圧縮効率のためにビデオシーケンス内の時間的および空間的冗長性を低減するようになっている。空間的スケーラビリティとは、サポートされた任意の空間解像度でレート歪性能を維持しながら、ビットストリームの一部を除去できる機能を意味する。単一レイヤのH.264/MPEG-4 AVCは、空間的スケーラビリティをサポートしていない。空間的スケーラビリティは、H.264/MPEG-4 AVCのスケーラブルなビデオ符号化（SVC）拡張によってサポートされている。

H.264/MPEG-4 AVC［ジョイントスケーラブルビデオモデル（JSVM）のための作業ドキュメント1.0（WD-1.0）（MPEGドキュメントN6901）のSVC拡張（これを本明細書で参考例として援用する）は、レイヤ状のビデオコーデックであり、このビデオコーデックではレイヤ間予測機構により空間レイヤ間の冗長性を利用している。H.264/MPEG-4 AVCのSVC拡張のデザイン内には、３つのレイヤ間予測技術、すなわちレイヤ間動き予測、レイヤ間残差予測およびレイヤ間イントラテクスチャ予測が含まれている。

ブロックをベースとする動き補償ビデオ符号化は、多くのビデオ圧縮規格、例えばH.261、H.263、H.264、MPEG-1、MPEG-2およびMPEG-4で使用されている。損失の大きい圧縮プロセスは、復号された画像内に、画像歪と称される視覚的な歪を発生することがある。ブロッキング歪は、画像内のブロック境界に沿って生じ、変換係数の粗い量子化が原因となって生じる。

再構成された画像内の歪を低減するのに、画像フィルタリング技術を使用できる。再構成された画像は、逆変換され、復号された後に生成される画像であり、これら技術における経験則は、画像の残りの部分をスムーズにする一方、画像のエッジを保存しなければならないことである。特定のピクセルまたは画像エッジを囲むピクセルの組の特性に基づき、ローパスフィルタを注意深く選択する。

画像ブロック境界を横断するように延びる相関性のない画像ピクセルは、ブロッキング歪を低減するために特にフィルタリングされる。しかしながら、このフィルタリングは、画像内にボケた歪を生じさせる。隣接するブロック間にブロッキング歪がほとんどないか、または皆無である場合、ローパスフィルタリングは不必要に画像内にボケを生じさせ、同時に処理リソースを無駄にする。

これまでは、ＳＶＣによりディアディック空間的スケーラビリティしか解決されていなかった。ディアディック空間的スケーラビリティとは、２つの連続する空間レイヤの間のピクチャーディメンジョンの比が２の累乗となる構成を意味する。連続する空間レイヤの間のピクチャーディメンジョンの比が２の累乗でなく、高レベルのピクチャーがより低いレベルの対応するピクチャー内に存在しない領域を含むことがある構成を管理する新しいツール（クロッピングウィンドウ（cropping window）による非ディアディックスケーリングと称される）がこれまで提案されている。

レイヤ間予測方法のいずれも、ピクチャーアップサンプリングを含む。ピクチャーアップサンプリングとは、より低い解像度の画像からより高い解像度の画像を生成するプロセスのことである。一部のピクチャーアップサンプリングプロセスは、サンプル補間法を含む。ＳＶＣデザインで使用されるこれまでのアップサンプリングプロセスは、インター予測のためのH.264で指定されているルミナンスの４分の１サンプル補間方法に基づいていた。従来の方法を空間的にスケーラビルな符号化に使用するとき、この従来の方法には次の２つの欠点がある。すなわち補間解像度が４分の１のサンプルに限定されるので、非ディアディックスケーリングをサポートできず、４分の１サンプル位置を得るにはハーフサンプル補間が必要であるので、この方法は計算上取り扱いにくい。これら問題を克服するピクチャーアップサンプリング方法が望まれている。

本発明の実施例は、画像符号化および復号のための方法およびシステムを含む。本発明の一部の実施例は、空間的スケーラビリティエンハンスメントレイヤー内の隣接するブロック間のブロック境界の特性を定めるための方法およびシステムを含む。一部の実施例では、レイヤ間テクスチャー予測を利用して、隣接するブロックのうちの少なくとも１つを符号化する。前記隣接するブロックのうちの１つが指定された基準を満たすと、境界強度インジケータによりブロック境界の特性を定めることができる。

添付図面を参照しながら本発明の詳細な説明を検討すれば、本発明の上記およびそれ以外の目的、特徴および利点について、より容易に理解できよう。

隣接する画像ブロック間の類似性に従って、デブロックフィルタリングをどのように選択的にスキップするかを示す図である。 類似する動きベクトルを有する２つの隣接する画像ブロックを示す図である。 画像ブロックのうちの１つに対し、変換係数をどのように識別するかを示す図である。 ２つの隣接する画像ブロックの間で残差変換係数をどのように比較するかを示す図である。 ビデオ画像をどのように符号化し、復号するかを示すブロック図である。 コーデックにおいて、デブロックフィルタリングをどのように選択的にスキップするかを示すブロック図である。 現在のブロックに基づく画像フィルタリング技法を示す図である。 フィルタ処理をする境界および使用するそれぞれのフィルタの強度を決定するための技法を示すブロック図である。 本発明の別の実施例を説明するための図である。 本発明の更に別の実施例を説明するための図である。 本発明の更に別の実施例を説明するための図である。 本発明の更に別の実施例を説明するための図である。 隣接するブロック間のデブロックフィルタリングが隣接するブロック内の符号化パラメータの類似性に依存する本発明の一実施例の処理ステップを説明するフローチャートである。 隣接するブロック間のデブロックフィルタリングが類似する動きベクトルを有する隣接するブロックに依存する本発明の一実施例の処理ステップを説明するフローチャートである。 隣接するブロック間のデブロックフィルタリングが同一の基準フレームを指示する類似する動きベクトルを有する隣接するブロックに依存する本発明の一実施例の処理ステップを説明するフローチャートである。 隣接するブロック間のデブロックフィルタリングが単一基準フレーム内の隣接する基準ブロックを指示する類似する動きベクトルを有する隣接するブロックに依存する、本発明の一実施例のステップを説明するフローチャートである。 隣接するブロック間のデブロックフィルタリングが、類似する直流変換係数を含むパラメータを有する隣接するブロックに依存する本発明の一実施例の処理ステップを説明するフローチャートである。 隣接するブロック間のデブロックフィルタリングが、類似する交流変換係数を含むパラメータを有する隣接するブロックに依存する本発明の一実施例の処理ステップを説明するフローチャートである。 隣接するブロック間のデブロックフィルタリングが、基準フレーム内の類似する動きベクトルおよび類似する動きベクトルターゲットを含むパラメータを有するルミナンス画像内の隣接するブロックに依存する本発明の一実施例の処理ステップを説明するフローチャートである。 隣接するブロック間のデブロックフィルタリングが、基準フレーム内の類似する動きベクトル、類似する動きベクトルターゲットと、類似する変換係数とを含むパラメータを有するルミナンス画像内の隣接するブロックに依存する本発明の一実施例の処理ステップを説明するフローチャートである。 １つの画像が別個のルミナンスチャンネルとクロミナンスチャンネルとに分割されており、各ルミナンス画像またはクロミナンス画像内の隣接するブロック間のデブロックフィルタリングが、類似する動きベクトルを含むパラメータを有するルミナンス画像内の隣接するブロックに依存する本発明の一実施例の処理ステップを説明するフローチャートである。 １つの画像が別個のルミナンスチャンネルとクロミナンスチャンネルとに分割されており、各ルミナンス画像またはクロミナンス画像内の隣接するブロック間のデブロックフィルタリングが、基準フレーム内の類似する動きベクトル、類似する動きベクトルターゲット並びに類似する変換係数を含むパラメータを有するルミナンス画像内の隣接するブロックに依存する本発明の一実施例の処理ステップを説明するフローチャートである。 本発明の一部の実施例におけるベース空間レイヤとエンハンスメント空間レイヤとの間の幾何学的関係を示す図である。 本発明の一部の実施例のアップサンプリングされたベースレイヤのピクチャとエンハンスメントレイヤのピクチャとの間の幾何学的関係を示す図である。 ４×４ブロックのピクセルを示す図である。 ８×８ブロック内の４×４ブロックを示す図である。 予測マクロブロックの８×８ブロックを示す図である。 隣接するブロック属性に基づき、ブロック境界の特性を定めるための方法の一例を示すフローチャートである。 隣接するブロック属性に基づき、ブロック境界の特性を定めるための方法の別の例を示すフローチャートである。 隣接するブロック属性に基づき、ブロック境界の特性を定めるための方法の別の例を示すフローチャートである。 隣接するブロック属性に基づき、ブロック境界の特性を定めるための方法の更に別の例を示すフローチャートである。 隣接するブロック属性に基づき、ブロック境界の特性を定めるための方法の更に別の例を示すフローチャートである。

図面を参照することにより、本発明の実施例が最も良く理解されよう。図全体にわたり、同様な部品は同様な番号で示す。図面はこの詳細な説明の一部として援用する。

本明細書で全般的に説明し、図に示すように、本発明の構成要素は、広範な種々の異なる構成で配置し、設計できることが容易に理解できよう。従って、本発明の方法およびシステムの実施例の次のより詳細な説明は、本発明の範囲を制限するものでなく、単に現時点で好ましい本発明の実施例を示すにすぎない。

本発明の実施例の要素は、ハードウェア、ファームウェアおよび／またはソフトウェアとして具現化できる。本明細書に開示する実施例は、単にこれら形態のうちの１つを示すにすぎないが、当業者であれば本発明の範囲内でこれら要素をこれら形態のうちのいずれかで実施することができると理解すべきである。

従来のフィルタリングプロセスは、一度に１つの再構成された画像フレームを検討する。ブロックに基づく符号化技術は、ピクセルのブロックの動きを推定するのに、動きベクトルを使用する。この動きベクトル情報は、符号化と復号の双方で利用できるが、従来のフィルタリングプロセスでは使用されない。例えば、２つの隣接するブロックが同じ基準画像フレームに対して同じ動きベクトルを共用する場合、（多数の基準フレームシステムでは）各ブロックの残差画像間には大きな差がない可能性が高いので、これらブロックをフィルタリングしてはならない。本質的には、画像の隣接する部分は同じ基準フレームに対して同じ動きを有するので、残差画像間に大きな差がないと予測される。多くのケースでは、これら２つの隣接ブロックのブロック境界を基準フレーム内でフィルタリングすることがあり、従って、現フレームに対して再びフィルタリングしてはならない。動きベクトル情報を検討することなく、逆ブロックフィルタを使用する場合、従来のフィルタリングプロセスはフレーム毎に同じ境界を何回もフィルタリングする可能性があった。このような不必要なフィルタリングは、不必要なボケを生じさせるだけでなく、結果としてフィルタリング計算を更に行うことにもなる。

図１は、画像ブロック間の類似性に従ってブロッキング歪を選択的にフィルタリングする画像１２を示す。この画像は、同様に、非矩形ブロックまたはピクセルの他の任意の組も使用できると理解すべきである。ブロック１４の一部の間の境は、ブロッキング歪１８を含む。一般に、ブロッキング歪は、符号化および／または復号プロセスから生じ得るブロック１４の間の画像の不連続性である。隣接する画像ブロックの境に存在するブロッキング歪を低減するのに、ローパスフィルタまたは他のフィルタを使用できる。

例えば、ブロック２０と２２との間にブロッキング歪２４が存在する。ブロッキング歪２４を除くか、あるいはこれを低減するために、ブロック２０と２２との間の境２６でローパスフィルタを使用できる。このローパスフィルタは、例えば境２６の両側からピクセルのグループ２８を選択する。ピクセルのグループ２８から平均ピクセル値または他の任意の統計的尺度を導き、次に、各個々のピクセルと平均ピクセル値とを比較する。次に、平均ピクセル値の所定のレンジの外にあるグループ２８内のピクセルを平均ピクセル値と置き換える。

前に述べたように、隣接するピクセル間にブロッキング歪２４がほとんどないか、または全くない場合に、ピクセルのグループ２８を不必要にフィルタリングし、よって画像内にボケを生じさせる可能性がある。スキップモードフィルタリング方式は、どれを選択的にフィルタリングするかに基づき、隣接する画像ブロックに対し、動き推定および／または補償情報を使用できる。動き推定情報と補償情報とが十分類似している場合、フィルタリングをスキップしてもよい。これによって、不要な画像のボケを解消し、フィルタリング演算の必要な回数、または他の任意の適当な値を大幅に低減できる。

一例として、符号化プロセス中に隣接する画像ブロック３０と３２とは、類似する符号化パラメータを有すると判断できる。従って、隣接するブロック３０と３２との間の境３１を横断するピクセルのグループ３４に対し、デブロックフィルタリングをスキップできる。画像１２内の隣接ブロック間の任意の水平線、垂線または他の任意の境界に対し、スキップモードのフィルタリングを使用できる。

図２は、基準フレーム４２、基準フレーム４８および現在符号化中または復号中である現フレーム４０を示す。２つの隣接するブロック４４と４６との間でデブロックフィルタリングをスキップすべきかどうかを判断するために、ブロック４４に対する符号化パラメータとブロック４６に対する符号化パラメータとを比較する。比較できる符号化パラメータのうちの１つは、ブロック４４および４６に対する動きベクトル（ＭＶ）である。

動きベクトルＭＶ１は、現在の画像フレーム４０内のブロック４４から基準画像４２内の関連するブロック４４’を指示する。動きベクトルＭＶ２は、現在の画像フレーム４０内のブロック４６から基準フレーム４２内の関連するブロック４６’を指示する。スキップモードフィルタリングは動きベクトルＭＶ１とＭＶ２とが同一基準フレーム４２内の隣接するブロックを指示しているかどうかを調べるためにチェックする。これら動きベクトルが同一基準フレーム内の隣接するブロックを指示している場合（ＭＶ１＝ＭＶ２）、デブロックフィルタリングをスキップしてよい。この動きベクトル情報は、他の符号化情報と共に使用し、２つの画像ブロック４４と４６との間のデブロックフィルタリングをスキップするかどうかを判断するのに使用される。

符号化および復号プロセス中に２つ以上の基準フレームを使用できる。例えば別の基準フレーム４８が存在することがある。隣接するブロック４４および４６は、異なる基準フレームを指示する動きベクトルを有することがある。一例では、デブロックフィルタリングをスキップするかどうかの判断は、２つの隣接するブロックに対する動きベクトルが同じ基準フレームを指示しているかどうかによって決まる。例えば画像ブロック４４が、基準フレーム４８を指示する動きベクトル４９を有し、画像ブロックブロック４６が基準フレーム４２を指示する動きベクトルＭＶ２を有することがある。この例では、動きベクトル４９とＭＶ２とは異なる基準フレームを指示するので、デブロックフィルタリングはスキップされない。

図３は、デブロックフィルタリングを選択的にスキップするかどうかの判断をするのに使用できる符号化パラメータの別の例を示す。図２において、前に示したように、画像フレーム４０からの画像ブロック４４と動きベクトルＭＶ１が指し示した基準フレーム４２からの基準ブロック４４’とを比較する。画像ブロック４４と基準ブロック４４’と比較することから、残差ブロック４４”が出力される。残差ブロック４４”に対して変換５０を実行し、変換係数をもつ変換されたブロック４４’’’を作成する。一実施例では、変換５０は離散的コサイン変換であり、変換されたブロック４４’’’は直流成分５２と交流成分５３とを含む。

直流成分５２は、残差ブロック４４”内の最低周波数の変換係数を意味する。例えば残差ブロック４４”内の平均エネルギーを示す係数である。交流成分５３は、残差ブロック４４”内のより高い周波数の成分を表す変換係数を示す。例えば残差ブロック４４”内のピクセル間の大きいエネルギー差を表す変換係数のことである。

図４は、変換されたブロック４４’’’および４６’’’を示す。これら２つの変換ブロック４４’’’および４６’’’からの直流成分５２はプロセッサ５４で比較される。直流成分が同一であるか、または互いにある範囲内にある場合、プロセッサ５４は２つの隣接するブロック４４と４６の境間のデブロックフィルタリングをスキップすることをデブロックフィルタ演算５６に通知する。直流成分５２が類似していなければ、スキップの通知を開始せず、ブロック４４と４６との間の境をデブロックフィルタリングする。

一例では、国際通信連合（ＩＴＵ−Ｔ）の通信セクタが提案したH.26L符号化方式にスキップモードフィルタリングを組み込んでもよい。このH.26L方式は４×４の整数離散コサイン変換（DCT）ブロックを使用するものである。所望する場合、隣接する２つのブロックの直流成分だけをチェックできる。しかしながら、特に画像ブロックがより大きいサイズ、例えば８×８ブロックまたは１６×１６ブロックであるときに、ある限定された低周波交流係数を同様にチェックすることができる。例えばブロック４４’’’に対する上部直流成分５２および３つの低周波数の交流変換係数５３とブロック４６’’’に対する上部直流成分５２および３つの低周波数の交流変換係数５３とを比較することができる。直流変換係数および／または任意の交流変換係数との異なる組み合わせを使用し、２つの隣接するブロック４４と４６との間の相対的類似性を識別できる。

プロセッサ５４は、符号化プロセス中に生成された他の符号化パラメータ５５も受信できる。これら符号化パラメータは、前に述べたように、隣接するブロック４４および４６に対する動きベクトルおよび基準フレーム情報を含む。プロセッサ５４は、これら符号化パラメータのうちの一部または全てを使用し、隣接する画像ブロック４４と４６との間のデブロックフィルタリングをスキップするかどうかを判断できる。画像に対して実行される他の符号化および変換機能は、同じプロセッサ５４または異なる処理回路で実行することができる。同じプロセッサで符号化の全てまたはほとんどを実行する場合、フィルタリングルーチンでスキップパラメータを設定することにより、簡単にスキップモードも可能にすることができる。

図５は、ブロックに基づく動き補償符号化／復号（コーデック）６０内でどのようにスキップモードのフィルタリングを使用できるかを示す。このコーデック６０は，フレーム間符号化のために使用される。ボックス６２からコンパレータ６４へ、現フレームからの入力ビデオブロックが送られる。フレームバッファリングボックス８０の出力は、推定動きベクトル（および可能な基準フレーム番号）に従って基準ブロック８１を生成する。ボックス６６内で入力ビデオブロックと基準ブロック８１との間の差が変換され、ボックス６８内で量子化される。ボックス７０内の可変長符号化（ＶＬＣ）により、量子化された変換ブロックが符号化され、次に送信され、格納等される。

コーデック６０の符号化セクションは、ボックス７２内で変換された画像を第１逆量子化（ＩＱ）することにより、変換され、量子化された画像を再構成する。次に、この逆量子化された画像は、ボックス７４内で逆変換され、再構成された残差画像を生成する。次に、ボックス７６内で、この再構成された残差ブロックが基準ブロック８１に追加され、再構成された画像ブロックが生成される。一般に、この再構成された画像はボックス７８内でループフィルタがかけられ、量子化および変換プロセスによって生じたブロッキング歪が低減される。次に、フィルタにかけられた画像はボックス８０内でバッファ化され、基準フレームが形成される。ボックス８０内のフレームバッファリングは、動き推定および補償を行うために、再構成された基準フレームを使用する。コンパレータ６４内で基準ブロック８１と入力ビデオブロックとを比較する。符号化セクションから、符号化された画像が出力され、次に格納または送信される。

コーデック６０の復号部分では、可変長復号（ＶＬＤ）がボックス８２内で、符号化された画像を復号する。復号された画像は、ボックス８４内で逆量子化され、ボックス８６内で逆変換される。ボックス８６からの再構成された残差画像は、ブロッキング歪を低減するためにボックス９０内でループフィルタリング処理される前に、総和ボックス８８内で基準ブロック９１に加えられ、基準フレームとしてボックス９２内に一時蓄積される。受信された動きベクトル情報に従い、ボックス９２から基準ブロック９１が生成される。ボックス９０からのループフィルタ処理された出力を、ボックス９６内でビデオ画像としてディスプレイする前に、画像の歪を更に低減するために、オプションとしてボックス９４内でポストフィルタ処理することができる。ボックス７８、９０および９４内のフィルタリング機能の任意の組み合わせで、スキップモードフィルタリング方式を実行できる。

ボックス７８、９０および／または９４内のデブロックフィルタリングをいつスキップするかを判断するために、ビデオ符号化中に利用できる動き推定および補償情報を使用できる。符号化および復号プロセス中に、これら符号化パラメータは既に生成されているので、特にスキップモードフィルタリングのために生成したり、伝送しなければならない別の符号化パラメータは存在しない。

図６は、図５内の符号化および復号内のフィルタ７８、９０および／または９４内でどのようにスキップモードフィルタリングを使用できるかを、更に詳細に示している。まず、ボックス１００内では、任意の２つの隣接するブロック“ｊ”と“ｋ”との間のブロック間境界が識別される。画像フレーム内では、これら２つのブロックは水平方向または垂直方向に隣接することがある。判断ボックス１０２は、ブロックｊのための動きベクトルｍｖ（ｊ）と、ブロックｋのための動きベクトルｍｖ（ｋ）とを比較する。まず、２つの隣接するブロックｊとｋとが、同じ基準フレームを指示する同じ動きベクトルを有するかどうかを判断する。換言すれば、隣接するブロックのための動きベクトルは同一基準フレーム（ｒｅｆ（ｊ）＝ｒｅｆ（ｋ））内の隣接ブロック（ｍｖ（ｊ）＝ｍｖ（ｋ））を指示する。

次に、隣接する２つのブロックに対する残差係数が類似しているかどうかを判断する。隣接するブロックの残差画像間に大きな差がない場合、例えば２つのブロックｊとｋとが同一または近似する直流成分（ｄｃ（ｊ）＝ｄｃ（ｋ））となっている場合、ボックス１０４内のデブロックフィルタリングプロセスがスキップされる。次にスキップモードフィルタリングは、ボックス１０６内の次のブロック間境界へ移動し、判断ボックス１０２内で次の比較を実行する。スキップモードフィルタリングは水平方向に隣接するブロックおよび垂直方向に隣接するブロックのいずれにも実行できる。

一実施例では、ブロックをスキップすることを判断するために、隣接する画像ブロックに対する基準フレームおよび動きベクトル情報だけを使用する。別の実施例では、ブロックをスキップすることを判断するために、直流および／または交流残差係数だけを使用する。別の実施例では、ブロックをスキップすることを判断するために動きベクトル、基準フレームおよび残差係数の全てを使用する。

空間的にサブサンプリングされたクロミナンスチャンネルに対し、スキップモードのフィルタリング方式を使用できる。例えば４：２：０のカラーフォーマットシーケンスを有するケースでは、ブロック境界に対するスキップモードフィルタリングは、画像のルミナンス成分に対する動きベクトルの質および直流成分だけに依存し得る。動きベクトルと直流成分とが同一である場合、隣接する画像ブロックのルミナンス成分およびクロミナンス成分の双方に対して、デブロックフィルタリングをスキップする。別の実施例では、隣接するブロックの各ルミナンス成分およびクロミナンス成分に対し、動きベクトルおよび直流成分を別々に検討する。この場合、隣接するブロックに対するルミナンス成分またはクロミナンス成分をデブロックフィルタリングできるが、同じ隣接ブロックに対する他のルミナンス成分またはクロミナンス成分をデブロックフィルタリングすることはない。

図７を参照すると、一部の公知の技術は、ループフィルタリングプロセスを制御するためにループフィルタのためのブロック強度パラメータを定めている。画像の各ブロックは、そのブロックに関連した強度の値を有し、４つのブロック境界のうちのすべてで実行されるフィルタリングを制御する。このブロック強度の値は、ビットストリーム内で入手できる動きベクトルおよび変換係数に基づいて導かれる。しかしながら、ブロックのうちの４つのすべてのエッジに対し、ブロック強度を使用することを検討した後に、本発明者たちは、このことは、あるエッジにおける一部のブロッキング歪を除去できるが、他のエッジに沿って不必要にボケを生じさせるという結果になることを実現させるに至った。

ブロックごとのフィルタリングと対照的に、本発明者たちは他の情報と共にエッジごとにフィルタリングの判断をしなければならないことが分かった。他の情報として、例えばブロックのブロック内符号化、残差情報を持つブロックの動き推定、残差情報を持たないブロックの動き推定および十分な差を有する残差情報を持たないブロックの動き推定を挙げることができる。これら情報特性のうちの１つ、２つ、３つまたは４つを使用し、エッジごとのフィルタリング能力を改善できる。これら特性の異なる組に基づき、所望するようにフィルタリングを変えることができる。

各ブロック境界に対し、制御パラメータ、すなわち境界強度Ｂｓを定めることが好ましい。図８を参照すると、共通する境界を共有する一対のブロックをｊおよびｋと称す。第１ブロック１１０は、２つのブロックのうちの一方がイントラ符号化されているかどうかを見るようにチェックする。いずれかがイントラ符号化されている場合、ブロック１１２にて境界強度を３にセットする。ブロック１１０は、ブロックの双方が動き予測されていないかどうかを判断する。動き予測が使用されていない場合、ブロックはフレーム自身から導き、従って境界上でフィルタリングを実行しなければならない。イントラ符号化されたブロック境界は普通ブロッキング歪を含むので、このことは通常適切である。

ブロックｊおよびｋの双方が少なくとも部分的に前のフレームまたは将来のフレームから予測される場合、ブロック１１４においてブロックｊおよびｋをチェックし、任意の係数を符号化するかどうかを判断する。これら係数は、例えば離散的コサイン変換係数とすることができる。ブロックｊおよびｋのいずれかが０でない係数を含む場合、ブロックのうちの少なくとも一方は、一般に残差と称される係数を使用するブロックへの変更と共に、前のフレームまたは将来のフレームからの予測を示す。ブロックｊおよびｋのいずれかが、０でない係数（および予測される動き）を含む場合、境界強度はブロック１１６にて、２にセットされる。このことは、画像が予測される事象の発生を示すが、この予測は残差を使って修正される。従って、これらの画像はブロッキング歪を含む可能性がある。

ブロックｊおよびｋの双方が、動き予測され、一般に残差係数と称される非ゼロ係数を含まない場合、境界のどちら側かでのピクセルが互いに十分異なるかどうかが、ブロック１１８で判断される。この判断は同様に、残差係数が十分小さいかどうかを判断するのにも使用できる。十分な差がある場合、ブロッキング歪が存在する可能性がある。最初に２つのブロックが異なる基準フレームを使用しているかどうか、すなわちＲ（ｊ）≠Ｒ（ｋ）であるかどうかの判断を行う。ブロックｊとｋとが２つの異なる基準フレームからのものである場合、ブロック１２０にて１の値を境界強度に割り当てる。これとは異なり、２つの画像ブロックの動きベクトルの絶対値の差をチェックし、それが垂直方向または水平方向のいずれかに１ピクセル以上であるかどうかを判断する。すなわち、

を判断する。所望すれば、使用するテストに応じ、１未満または１より大きい他の闘値も同じように使用できる。動きベクトルの絶対値の差が１以上である場合、境界強度に１の値を割り当てる。

２つのブロックｊおよびｋが動き予測され、残差がなく、同じフレームに基づいており、わずかな差しか有しない場合、境界強度の値に０の値を割り当てる。境界強度の値に０の値を割り当てた場合、境界をフィルタリングしないか、または他の方法で境界強度の値に適合してフィルタリングする。このシステムは、所望すれば、境界強度が０の場合、軽いフィルタリングを行うことができると理解すべきである。

境界強度の値、すなわち１、２および３を使用して、ループフィルタ内のピクセル値適応レンジを制御する。所望すれば、異なる各境界強度を異なるフィルタリングの基礎とすることができる。例えば、一部の実施例では、３つの種類のフィルタを使用できる。例えばＢｓ＝１のときに第１フィルタを使用し、Ｂｓ＝２のときに第２フィルタを使用し、Ｂｓ＝３のときに第３フィルタを使用する。結果として、より大きな差を生じさせる他のフィルタリングと比較し、最小フィルタリングにより非フィルタリングを実行できることがわかる。図８に示された例では、Ｂｓの値が大きくなればなるほど、フィルタリングも大きくなる。このフィルタリングは、任意の適切な技術、例えばISO/IEC MPEGとITU-T VCEG（JVT-C167）の共同ビデオチーム（JVT）の共同委員会草稿（CD）に記載されているような方法、または画像歪をフィルタリングするための他の公知の方法によって実行できる。

マルチ画像フレームを符号化または復号する任意のシステムと共に、スキップモードフィルタリングを使用できる。例えばＤＶＤプレイヤー、ビデオレコーダまたはテレビチャンネルもしくはインターネットのような通信チャンネルを通して画像データを伝送する任意のシステムである。このシステムは、符号化パラメータとして量子化パラメータを単独または他の符号化パラメータと組み合わせて使用することができる。更に、このシステムは量子化パラメータを単独で使用しなくてもよいし、またはフィルタリング目的のために量子化パラメータを全く使用しなくてもよい。

上記スキップモードフィルタリングは専用プロセッサシステム、マイクロコントローラ、プログラマブルロジックデバイス、または前記演算の一部または全てを実行するマイクロプロセッサを用いて実現できる。上記演算の一部をソフトウェアで実施し、他の演算をハードウェアで実施してもよい。

便宜上、前記演算は種々の相互接続された機能ブロックまたは異なるソフトウェアモジュールとして記述される。しかしながら、このことは必要ではなく、これら機能ブロックまたはモジュールが単一のロジックデバイス、プログラムまたは境界の不明瞭な演算に等価的に集約されるケースもあり得る。いずれの場合においても、機能ブロックおよびソフトウェアモジュール、もしくは説明した特徴をそれらだけで実施したり、もしくはハードウェアまたはソフトウェアの他の演算と組み合わせて実現することもできる。

図９に示されるような本発明の一部の実施例では、画像データ符号化装置９０４内に画像データ９０２を入力できる。この符号化装置９０４は、本発明の一部の実施例に対してこれまで説明したような適応型フィルタリング部分を含む。画像データ符号化装置９０４からの出力は、符号化された画像データであり、任意の、コンピュータで読み取り可能な記憶媒体９０６に記憶できる。記憶媒体としてディスク媒体、メモリカード媒体、またはデジタルテープ媒体を挙げることができるが、これらだけに限定されるものではない。記憶媒体９０６は、短期記憶デバイスとして機能する。符号化された画像データはこの記憶媒体９０６から読み出され、本発明の一部の実施例に対してこれまで説明したような適応型フィルタリング部分を含む。画像データ復号装置９０８によって復号される。この復号された画像データは、出力・復号化画像データ９１０としてディスプレイまたは他のデバイスへ提供される。

図１０に示されるような本発明の一部の実施例では、画像データ１００２を符号化し、次に記憶媒体１００６に符号化された画像データを記憶することができ、画像データ復号装置１００８は図９に示されたものと同一である。図１０では、Ｂｓデータ符号化部１０１２は、各ブロック境界に対する境界強度Ｂｓの値を受信し、ＤＰＣＭ、多値ランレングス符号化、無損失特徴を有する変換符号化などを含む任意のデータ符号化方法によってこの値を符号化する。図８に示されるように境界強度Ｂｓを発生できる。次に、符号化された境界強度は記憶媒体１００６に記憶される。一実施例では、符号化された境界強度を符号化された画像データとは別個に記憶できる。別の例では、符号化された境界強度と符号化された画像データは、記憶媒体１００６上に記憶する前に多重化される。

符号化された境界強度を記憶媒体１００６から読み出し、Ｂｓデータ復号部１０１４により復号し、画像データ復号装置１００８へ復号された境界強度を入力することができる。本発明の適応型フィルタリングを実行するために、画像データ復号装置１００８で復号された境界強度を利用するとき、境界強度を発生するために図８に記載したプロセスを繰り返す必要はなく、これによって適応型フィルタリングのための処理パワーを節約できる。

図１１に示されるような本発明の一部の実施例では、本発明の一部実施例に対してこれまで説明したような適応型フィルタリング部分を含む画像データ符号化装置１１０４に画像データ１１０２を入力できる。画像データ符号化装置１１０４からの出力は、符号化された画像データであり、ネットワーク、例えばＬＡＮ、ＷＡＮまたはインターネット１１０６を通して送ることができる。符号化された画像データは、ネットワーク１１０６とも通信する画像復号装置１１０８により受信し、復号される。画像データ復号装置１１０８は、本発明の一部の実施例に対してこれまで説明したような適応型フィルタリング部分を含む。復号された画像データは復号された出力画像データ１１１０としてディスプレイまたは他のデバイスへ提供される。

図１２に示したような本発明の一部の実施例では、画像データ１２０２を符号化し、符号化された画像データを、次にネットワーク、例えばＬＡＮ、ＷＡＮまたはインターネット１２０６を通して送ることができる。この画像データ符号化装置１２０４および画像データ復号装置１２０８の基本的手順は、図１１のものと同じである。図１２では、Ｂのデータ符号化部１２１２は、各ブロックに対する境界強度Ｂｓの値を受信し、ＤＰＣＭ、多値ランレングス符号化、無損失特徴を有する変換符号化などを含む任意のデータ符号化方法によってこの値を符号化する。図１１に示されるように境界強度Ｂｓを発生できる。次に、符号化された境界強度はネットワーク１２０６を通して送ることができる。一例では、符号化された境界強度を符号化された画像データとは別個に送ることができる。別の例では、ネットワーク１２０６を通して送る前に、符号化された境界強度と符号化された画像データとを多重化することができる。

符号化された境界強度をネットワーク１２０６から受信し、Ｂｓのデータ復号部１２１４により復号し、復号した境界強度を画像データ復号装置１２０８に入力し、本発明の適用型フィルタリングを実行する。境界強度を発生するのに、図１１に示されたプロセスを繰り返す必要はなく、これによって適用型フィルタリングのための処理パワーを節約できる。

図１３を参照して、本発明の一部の実施例について説明できる。これらシステムおよび方法では、ビデオフレーム内の隣接するブロック１５０を識別し、これら隣接するブロックに対する符号化パラメータを識別する。次に隣接するブロックに対する符号化パラメータを比較し、それらの類似性１５４を判断する。これら符号化パラメータが類似していないとき、隣接するブロック間の境界に沿ってデブロックフィルタ１５６を使用する。符号化パラメータが類似しているときは、デブロックフィルタリングをスキップし、プロセスは次のステップ１５８まで進む。同様に、デブロックフィルタリングを実行するとき、フィルタリング後に、プロセスは次のステップ１５８に進む。

図１４に示されるような本発明の一部の実施例では、符号化パラメータは動きベクトルである。これら実施例では、ビデオフレーム内の隣接するブロックを識別し（１６０）、動きベクトルを含む符号化パラメータを識別する（１６２）。これら動きベクトルを比較し、それらの類似性を判断する（１６４）。動きベクトルが類似していないと、隣接するブロック間でデブロックフィルタリングを実行（１６６）し、プロセスは次のステップ１６８に進む。動きベクトルが類似しているとき、デブロックフィルタリングをスキップし、次のステップ１６８を直接実行する。

図１５に示されるような本発明の別の実施例は、フィルタリングをスキップするのかどうかの判断のために、多数の符号化パラメータを利用できる。これら実施例では、隣接するブロックを識別し（１７０）、隣接するブロックに対する符号化パラメータが決められる（１７２）。これら符号化パラメータは、動きベクトルのターゲットフレームを含む動きベクトルの属性を含むことができる。隣接するブロックの動きベクトルが類似していないとき（１７４）、隣接するブロック間のデブロックフィルタリングを実行できる（１７６）。動きベクトルが類似しているとき（１７４）、更にフィルタリングプロセスを限定するために別のパラメータを使用できる。この場合、動きベクトルを比較し、これらベクトルが同じ基準フレームを指し示しているかどうかを判断できる（１７８）。これらベクトルが同じ基準フレームを指し示していない場合、ブロックの間でデブロックフィルタリングを実行できる（１７６）。これらベクトルが同じ基準フレームを指し示している場合、フィルタリングをスキップし、プロセスは次のステップまで進むことができる（１７９）。

更に別の動きベクトルパラメータを使ってフィルタリングを決定できる。図１６に示された実施例では、ベクトルが指し示しているブロックのロケーションは、フィルタリングオプションを決定するのに使用できるパラメータである。これら実施例では隣接するブロックを識別（２００）し、隣接するブロックに対する符号化パラメータを識別する（２０２）。次に動きベクトルを比較し、それらの類似性を判断する（２０４）。これらベクトルが類似していない場合、デブロックフィルタリングを続けることができる（２０８）。動きベクトルが類似している場合、別の比較を行い、隣接するブロックの動きベクトルが同じ基準フレームを指し示しているかどうかが判断される。ベクトルが同一フレームを指し示していない場合、デブロックフィルタリングを続けることができる（２０８）。ベクトルが同一基準フレームを指し示している場合、これらベクトルが指し示しているブロックが比較される（２１０）。動きベクトルが同一基準フレーム内の隣接するブロックを指し示していない場合、デブロックフィルタリングを進めることができる（２０８）。ベクトルが同一基準フレーム内の隣接するブロックを指し示しているとき、デブロックフィルタリングをスキップし、次のステップが実行される（２１２）。このように、基準フレーム内の隣接するブロックを基準とし、ブロック間に大きい歪を有する可能性のない隣接するブロックはデブロックフィルタリングされない。このようなデブロックフィルタリングのスキップによって、フィルタリングプロセスによって生じるぼやけおよび画像の劣化を防止できる。不必要なフィルタリングを回避できるので、処理時間も節約できる。従って、画質が改善され、プロセス内ではわずかな計算で済む。フィルタスキップを決定するのに、これら動きベクトルパラメータの種々の組み合わせを使用できることに留意すべきである。特にこれら多数の組み合わせについては、詳細に説明しないが、これら組み合わせは当業者が想到できるものであり、特許請求の範囲内に入るものである。

本発明の別の実施例は、デブロックフィルタリングを行うべきかどうかを判断するのに変換係数を利用できる。図１７を参照すると、フレーム内の隣接するブロックを識別し（１８０）、隣接するブロックに対する符号化パラメータを識別する（１８２）。これら符号化パラメータは、動きベクトルパラメータだけでなく、変換係数も含むことができる。

次に、動きベクトルを比較（１８４）し、類似性を判断する。動きベクトルが類似していなければ、デブロックフィルタリングが実行される（１８６）。動きベクトルが類似していれば、動きベクトルデータを分析し、動きベクトルが同じ基準フレームを指し示しているかどうかを判断する。動きベクトルが同一の基準フレームを指し示してない場合（１８５）、フィルタリングを進めることができる（１８６）。

動きベクトルが同一の基準フレームを指し示している場合、更にフィルタリングプロセスの限定をするために変換係数が比較される。本例では、離散的コサイン変換（ＤＣＴ）方法またはその他の方法を使って得られた直流変換係数が隣接するブロックに対して比較される。直流変換係数が類似していない場合（１８７）、デブロックフィルタリングを実行できる（１８６）。直流変換係数が類似している場合、フィルタリングをスキップし、この方法およびシステムは次のステップ１８８に進むことができる。

本発明の更に別の実施例は、フィルタリングオプションを決定するために交流変換係数を利用できる。図１８を参照すると、ここには交流変換係数を評価する別のステップを備えた、図１７を参照して説明した実施例に類似する実施例が示されている。これら実施例では、ブロック１９０およびそれらの符号化パラメータを識別する（１９１）。動きベクトルの類似性１９２、動きベクトルのターゲットフレームの類似性１９３および直流変換係数における類似性も比較する（１９４）。これらパラメータにおける類似性が存在する場合、交流変換係数を比較する（１９６）。これらが類似している場合、デブロックフィルタリングをスキップし、プロセス内の次のステップを実行する（１９７）。交流係数が類似していなければ、隣接するブロック間でフィルタリングを実行し、プロセスは次のステップに進む（１９７）。

交流変換係数は、より大きいブロックにおいて重要性を有する可能性が高いが、より小さいブロック、例えば４×４ブロックを利用する方法でも使用することができる。

本発明の一部の実施例では、使用する画像のフォーマットおよびカラースペースに応じて１つの画像を種々のルミナンスチャンネルおよびクロミナンスチャンネルに分離できる。次の実施例では、ＹＵＶカラースペースについて説明する。しかしながら、これら実施例では他の多くのフォーマットおよびカラースペースが使用される。CIELAB、YCrCbおよび他のスペースも使用できる。別の実施例では、ＲＧＢのようなカラースペースも使用できる。

図１９を参照し、本発明の一部の実施例について説明する。これら実施例では、画像からルミナンスデータを抽出し、ルミナンス画像を作成する（２２０）。次にルミナンス画像において、隣接するブロックを識別（２２２）し、隣接ブロックに対する符号化パラメータも識別する（２２４）。他の実施例の場合のように、隣接するブロックの動きベクトルを比較し、類似性について判断する（２２６）。動きベクトルが類似していないとき、デブロックフィルタリングを実行する（２３０）。ベクトルが類似しているときには別の分析を実行し、ベクトルが同一基準フレームを指し示しているかどうかを判断する（２２８）。ベクトルが異なる基準フレームを指し示しているとき、ルミナンス画像内の隣接するブロックに対応する元の画像の隣接するブロック間でデブロックフィルタリングを実行する（２３０）。ベクトルが同じフレームを指し示しているときには、デブロックフィルタリングをスキップし、前のフィルタリングを実行することなく、次のステップを実行する（２３２）。フィルタリングを実行するとき、フィルタリングプロセス後に次のステップを実行する（２３２）。従って、ルミナンスチャンネル内のデータの分析を使って、ルミナンスデータおよびクロミナンスデータの双方を含む元の画像内のフィルタリングプロセスを決定する。

図２０に示される別の関連する実施例では、ルミナンス画像を作成（２４０）し、ルミナンスおよび元の画像内で対応する隣接ブロックを識別する（２４２）。ルミナンス画像ブロックに対する符号化パラメータも識別される（２４４）。その後、動きベクトルを比較し、類似性を判断する（２４６）。重大な類似性が存在しない場合、元の画像内の隣接するブロック間でフィルタリングを実行する。動きベクトルが類似している場合、動きベクトルのターゲットフレームを比較し、ベクトルが同一基準フレームを指し示しているかどうかを判断する。ベクトルが同一基準フレームを指し示していない場合、フィルタリングを実行する。ベクトルが同一基準フレームを指し示している場合、ルミナンス（Ｙ）画像の変換係数を比較する。Ｙ変換係数が類似していない場合、フィルタリングを実行する。変換係数が類似している場合、フィルタリングをスキップし、次のステップ２５４を実行する。同様に、フィルタリング演算の後で次のステップを実行する（２５４）。

画像を、ルミナンスチャンネルおよびクロミナンスチャンネルに一般に対応する成分チャンネルに更に分割できる。本発明の一部の実施例では、そのチャンネルにユニークなパラメータに従って各チャンネルをフィルタリングできる。

一例として、図２１を参照し、実施例について説明する。これら実施例では、画像は別個のルミナンス（Ｙ）チャンネルおよび多数のクロミナンス（Ｕ、Ｖ）チャンネルに分割されている（２６０）。これら実施例では、各チャンネルに対応する画像内で隣接するブロックを識別する（２６２、２７２、２８２）。各チャンネルにおけるこれらのブロックに対して動きベクトルデータのような符号化パラメータも識別される（２６４、２７４、２８４）。これら符号化パラメータを比較し、他の実施例の場合のように類似性を判断できる。これら実施例では、各チャンネルにおけるフィルタリングオプションを決定するために、チャンネル固有の動きベクトルに対する動きベクトルの類似性を使用できる。チャンネル画像に対する動きベクトルが類似していない場合、隣接するブロック間の特定のチャンネル内でフィルタリングが実行される（２７０、２８０、２９０）。動きベクトルが類似している場合、ターゲット基準フレームを比較する（２６８、２７８、２８８）。チャンネル内の隣接するブロックに対するベクトルが同一基準フレームを指し示している場合、フィルタリングをスキップする。ベクトルが異なる基準フレームを指し示している場合、フィルタリングを実行する（２７０、２８０、２９０）。

別の実施例の場合のように、これらチャンネル化された実施例はフィルタオプションを限定するのに変換係数データを利用できる。図２２に示されるように、図２１を参照して説明した方法およびシステムは、チャンネル変換係数を更に比較できる（３１０、３２２、３３４）。これら係数が類似していない場合、フィルタリングを実行する（３１２、３２４、３３６）。これら係数が類似している場合、フィルタリングをスキップする。

各チャンネルにおけるフィルタリング演算を限定する場合、パラメータの種々の組み合わせを利用できることに留意すべきである。これら実施例に対し、直流変換係数および交流変換係数を利用できる。更に、フィルタリングオプションを決定し、フィルタリングを実行するために、種々のチャンネルおよびこれらチャンネルの組み合わせを使用できる。例えば一部の実施例では、双方のクロミナンスチャンネルを組み合わせ、共に分析できる。１つのチャンネルからのデータおよびパラメータを使用し、別のチャンネルでのフィルタリングオプションを決定することもできる。例えばＵクロミナンスチャンネルから取り込んだパラメータを比較し、Ｖクロミナンスチャンネルにおけるフィルタリングオプションを決定したり、その逆を行うことができる。

本発明の一部の実施例は、H.264/AVCのスケーラブルなビデオ符号化拡張に関連するものである。一部の実施例では、空間的スケーラブルなビデオ符号化のためのピクチャアップサンプリングの問題に取り組むためのフィルタリングに関係している。より詳細には、本発明の一部の実施例は、H.264/MPEG-4 AVCのスケーラブルビデオ符号化拡張、特にJVT（MPEGとVCEGの共同ビデオチーム）により、２００５年４月に採用された拡張空間的スケーラブル（ESS）ビデオ符号化機能のために設計されたアップサンプリング手順を提供するものである。

目下のところ、本明細書で参考例として援用するJSVM WD-1.0[MPEG Doc.N6901]は、ディアディック空間的スケーラビリティ、すなわち２つの連続する空間レイヤのピクチャ幅と高さの比（ピクセル数に換算した）が２に等しい構成を用意するだけである。このことは、明らかにより一般的なアプリケーション、例えば放送用のＳＤからＨＤのスケーラビリティに対する制限となる。

拡張された空間的スケーラビリティ、すなわち２つの連続する空間レイヤのピクチャ幅と高さの比が必ずしも２の累乗に等しくなく、より高いレベルのピクチャがより低いレベルの対応するピクチャ内に存在しない領域（一般にピクチャの境のまわりの領域）を含むことがあり得る、管理構成を提供するツール［MPEG Doc.ml1669］（本明細書で参考例として援用する）がこれまで提案されている。この提案［MPEG Doc.ml1669］は、より高いレイヤのピクチャディメンジョンとより低いレイヤのピクチャディメンジョンの比が２の累乗ではないような、より包括的なケースに対するWD-1.0［MPEG Doc.N6901］のレイヤ間予測を拡張したものである。

本発明の実施例は、より一般的なアプリケーションのニーズにより良好に適合するピクチャレベルに対し、拡張された空間的スケーラビリティ、すなわちクロッピングウィンドウを有する非ディアディックなスケーリングを適用する方法を提供するものである。空間的スケーラビリティのピクチャレベルの適応をサポートするために、本発明の実施例は、これまで提案されたレイヤ間予測方法のより精巧なものを提供している。更に、従来の提案では用意されなかったいくつかの問題も、これら実施例で取り扱われている。

本明細書および特許請求の範囲の目的のために「ピクチャ」なる用語はピクセルのアレイ、デジタル画像、デジタル画像の細分割、デジタル画像のデータチャンネルまたは画像データの別の表現を含み得る。

図２３は、画像ピクチャに対応する２つのピクチャを示す。

本発明の実施例は２つ以上の連続する空間レイヤ、より低いレイヤ（ベースレイヤとして見なされる）２５３およびより高いレイヤ（エンハンスメントレイヤとして見なされる）２５１に関係する。これらレイヤは次の幾何学的関係によってリンクできる（図２３に示されている）。エンハンスメントレイヤピクチャの幅２５０および高さ２５２は、それぞれｗ_ｅｎｈおよびｈ_ｅｎｈとして定義できる。同様に、ベースレイヤピクチャのディメンジョンもｗ_ｂａｓｅ２５４およびｈ_ｂａｓｅ２５６として定義できる。ベースレイヤ２５３は、エンハンスメントレイヤピクチャの座標系における座標２６２（ｘ_ｏｒｉｇ、ｙ_ｏｒｉｇ）に位置するディメンジョンｗ_{ｅｘｔｒａｃｔ}２５８およびｈ_{ｅｘｔｒａｃｔ}２６０のエンハンスメントレイヤピクチャ２５１のサブ領域のサブサンプリング２６４されたバージョンとし得る。パラメータ（ｘ_ｏｒｉｇ、ｙ_ｏｒｉｇ、ｗ_{ｅｘｔｒａｃｔ}、ｈ_{ｅｘｔｒａｃｔ}、ｗ_ｂａｓｅ、ｈ_ｂａｓｅ）は、より高いレイヤのピクチャ２５１とより低いレイヤのピクチャ２５３との間の幾何学的関係を定める。

本発明の実施例によって用意される問題は、復号されたベースレイヤを知ることによってエンハンスメントレイヤのマクロブロックを符号化／復号することである。エンハンスメントレイヤのマクロブロックは、図２４に示されるように、ベースレイヤに対応するブロックを有しないか（エンハンスメントレイヤピクチャの境上に）、または１個〜数個のベースレイヤに対応するマクロブロックを有し得る。従って、WD-1.0［MPEG Doc.N6901］におけるものとは異なるレイヤ間予測の管理が必要である。図２４は、点線２７４によりマクロブロックの境界をマークしたアップサンプリングベースレイヤピクチャ２７２と、マクロブロックの境界を実線２７６でマークしたエンハンスメントレイヤピクチャ２７０との間にオーバーラップするマクロブロックを示す。

これまでに［MPEG Doc.ml1669］において、ｗ_{ｅｘｔｒａｃｔ}およびｈ_{ｅｘｔｒａｃｔ}を１６の倍数に制限することが提案されている。この制限は、ピクチャレベルの適応化を制限する。この代わりに、本発明の実施例は、ｗ_{ｅｘｔｒａｃｔ}およびｈ_{ｅｘｔｒａｃｔ}を２の倍数に制限するものである。クロミナンスのアップ／ダウンサンプリングにおける起こり得るフェーズシフトを調整する際の複雑さを解消するために、更に本発明の実施例は、ｘ_ｏｒｉｇおよびｙ_ｏｒｉｇを２の倍数にすることをさらに要求する。クロミナンスフェーズシフトの問題は、これまでには取り組まれていない。

図２３に示されたディメンジョンおよびその他のパラメータを次の記号または変数名で表示できる。

レイヤ間動き予測
所定の高いレイヤのマクロブロックは「ＢＡＳＥ＿ＬＡＹＥＲ＿ＭＯＤＥ」または「ＱＰＥＬ＿ＲＥＦＩＮＥＭＥＮＴ＿ＭＯＤＥ」のいずれかを使用するスケーリングされたベースレイヤの動きデータを使って、レイヤ間予測を利用できる。WD-1.0［MPEG Doc.N6901］の場合のように、これらマクロブロックモードは、マクロブロック分割を含む動き／予測情報がベースレイヤから直接得られることを示している。ベースレイヤからの動きデータを引き継ぐことにより、予測マクロブロックＭＢ＿ｐｒｅｄを構成できる。「ＢＡＳＥ＿ＬＡＹＥＲ＿ＭＯＤＥ」を使用するとき、基準インデックスおよび動きベクトルと同じように、マクロブロック分割は予測マクロブロックＭＢ＿ｐｒｅｄの分割である。「ＱＰＥＬ＿ＲＥＦＩＮＥＭＥＮＴ＿ＭＯＤＥ」も同様であるが、４分の１サンプルの動きベクトル改良点を有する点が異なっている。

次の４つのステップで、ＭＢ＿ｐｒｅｄを導くことが、これまで提案されている。
−ＭＢ＿ｐｒｅｄの各４×４ブロックに対し、ベースレイヤの動きデータからの動きデータの引き継ぎ
−ＭＢ＿ｐｒｅｄの各８×８ブロックに対する分割の選択
−ＭＢ＿ｐｒｅｄに対するモード選択および
−動きベクトルのスケーリング

しかしながら、本発明の実施例はピクチャレベルの適応化をサポートするためにいくつかの式において変更を行う。

４×４ブロックの引き継ぎ
図２５は、４つのコーナー２８１、２８２、２８３および２８４を有する４×４ブロックｂ２８０を示す。このプロセスは、ブロックのうちの４つのコーナー２８１、２８２、２８３および２８４の各々をチェックすることから成る。（ｘ、ｙ）を高いレイヤの座標系内のコーナーピクセルｃの位置とする。（ｘ_ｂａｓｅ、ｙ_ｂａｓｅ）を、次に定義するようなベースレイヤの座標系における対応する位置とする。

次に、ピクセル（ｘ、ｙ）の同じ位置のマクロブロックは、ピクセル（ｘ_ｂａｓｅ、ｙ_ｂａｓｅ）を含むベースレイヤのマクロブロックとなる。同じようにピクセル（ｘ、ｙ）の同じ位置の８×８ブロックは、ピクセル（ｘ_ｂａｓｅ、ｙ_ｂａｓｅ）を含むベースレイヤの８×８ブロックとなり、ピクセル（ｘ、ｙ）の同じ位置の４×４ブロックはピクセル（ｘ_ｂａｓｅ、ｙ_ｂａｓｅ）を含むベースレイヤの４×４ブロックとなる。

ｂに対する動きデータの引き継ぎプロセスを次のように記述できる。
−各コーナーｃに対し、各リストｌｉｓｔｘ（ｌｉｓｔｘ＝ｌｉｓｔ０またはｌｉｓｔ１）のうちの基準インデックスｒ（ｃ，ｌｉｓｔｘ）および動きベクトルｍｖ（ｃ、ｌｉｓｔｘ）を同じ位置のベースレイヤ４×４ブロックのこれらの値にセットする。
−各コーナーに対し、同じ位置のマクロブロックが存在していないか、またはイントラモードとなっている場合、ｂをイントラブロックとしてセットする。
−そうでない場合、各リストｌｉｓｔｘに対し、
〇コーナーのいずれもこのリストを使用していない場合、このリストに対する基準インデックスおよび動きベクトルをｂにセットしない。
〇このリストを使用している場合、
■ｂに対してセットした基準インデックスｒｂ（ｌｉｓｔｘ）を４つのコーナーの現在の基準インデックスの最小値とする。

■ｂに対してセットされた動きベクトルｍｖｂ（ｌｉｓｔｘ）を基準インデックスｒｂ（ｌｉｓｔｘ）を有する４つのコーナーの現在の動きベクトルの平均とする。

８×８の分割の選択
一旦、各４×４ブロックの動きデータを設定すると、このデータが属す８×８ブロックの実際の分割を決定し、かつ禁止された構成を回避するにはマージングプロセスが必要である。下記の記載では、８×８ブロックのうちの４×４ブロックを、図２６に示されるように識別する。

各８×８ブロックに対し、次のプロセスを適用できる。
−４つの４×４ブロックがイントラブロックとして分類されている場合、Ｂをイントラブロックとして見なす。
−そうでない場合、Ｂの分割の選択を実行する。
〇各４×４ブロックに対し、同じ基準インデックスを割り当てるために次のプロセスを適用する。
各リストｌｉｓｔｘに対し、
■４×４ブロックがこのリストを使用していない場合、このリストのうちの基準インデックスおよび動きベクトルのいずれも、Ｂにセットしない。
■そうでない場合、
・Ｂに対する基準インデックスｒ_Ｂ（ｌｉｓｔｘ）を次のように４つの４×４ブロックの現在の基準インデックスの最小値として計算する。

・同じ基準インデックスｒ_Ｂ（ｌｉｓｔｘ）を有する４×４ブロックの平均動きベクトルｍＶ_ｍｅａｎ（ｌｉｓｔｘ）を計算する。
・（１）イントラブロックとして分類されている４×４ブロックまたは（２）このリストを使用していない４×４ブロックまたは（３）ｒ_Ｂ（ｌｉｓｔｘ）とは異なる基準インデックｒ_ｂ（ｌｉｓｔｘ）を有する４×４ブロックが、基準インデックスおよび動きベクトルとしてｒ_Ｂ（ｌｉｓｔｘ）およびｍＶ_ｍｅａｎ（ｌｉｓｔｘ）を有するように強制される。
〇次に、Ｂに対する分割モードの選択を実行する。動きベクトルが同一である場合、２つの４×４ブロックを同一と見なす。次のようにマージングプロセスを実行する。
■ｂ_１がｂ_２と同一であり、ｂ_３がｂ_４と同一である場合において、
・ｂ_１がｂ_３と同一であれば、ＢＬＫ＿８×８を選択し、
・そうでない場合、ＢＬＫ＿８×４を選択する。
■ｂ_１がｂ_２と同一でなく、ｂ_３がｂ_４と同一でない場合において、ｂ_１がｂ_３と同一であり、ｂ_２がｂ_４と同一であれば、ＢＬＫ＿４×８を選択し、
■そうでない場合、ＢＬＫ＿４×４を選択する。

予測マクロブロックモードの選択
一部の実施例では、ＭＢ＿ｐｒｅｄモードを決定するためのプロセスを実行できる。次の記載において、マクロブロック３００のうちの８×８ブロック３０１〜３０４を、図２７に示されるように識別する。
次の場合に２つの８×８ブロックを同一であると見なす。
−すなわち２つの８×８ブロックのうちの一方または双方がイントラブロックとして分類される場合、または
−双方のブロックの分割モードがＢＬＫ＿８×８であり、各８×８ブロックのうちのｌｉｓｔ０とｌｉｓｔ１の基準インデックスおよび動きベクトル（存在する場合）が同一である場合。

次のプロセスを使ってモード選択を実行する。
−すべての８×８ブロックがイントラブロックとして分類される場合、ＭＢ＿ｐｒｅｄをイントラマクロブロックとして分類する。
−そうでない場合、ＭＢ＿ｐｒｅｄをインターマクロブロックとする。このモード選択は次のように実行する。
〇イントラとして分類された８×８ブロックに対し、強制的にＢＬＫ＿８×８の分割をする。これら基準インデックスおよび動きベクトルを次のように計算する。Ｂ_{ＩＮＴＲＡ}を、かかる８×８ブロックとする。
各リストｌｉｓｔｘに対し、
■８×８ブロックのいずれも、このリストを使用しない場合、このリストの基準インデックスおよび動きベクトルをＢ_{ＩＮＴＲＡ}に割り当てない。
■そうでない場合、次のステップを適用する。
・基準インデックスｒ_ｍｉｎ（ｌｉｓｔｘ）を次のように８×８ブロックの現在の基準インデックスの最小値として計算する。

・同じ基準インデックスｒ_ｍｉｎ（ｌｉｓｔｘ）を有する４×４ブロックの平均動きベクトルｍＶ_ｍｅａｎ（ｌｉｓｔｘ）を計算する。
・ｒ_ｍｉｎ（ｌｉｓｔｘ）をＢ_{ＩＮＴＲＡ}に割り当て、Ｂ_{ＩＮＴＲＡ}の各４×４ブロックが強制的に基準インデックスおよび動きベクトルとしてｒ_ｍｉｎ（ｌｉｓｔｘ）およびｍＶ_ｍｅａｎ（ｌｉｓｔｘ）を有するようにする。
〇次に、Ｂに対する分割モードの選択を実行する。分割モードがＢＬＫ＿８×８であり、各８×８ブロックのｌｉｓｔ０とｌｉｓｔ１の基準インデックスおよび動きベクトル（存在する場合）が同一であれば、２つの８×８ブロックを同一であると見なす。マージングプロセスを次のように行う。
■Ｂ１がＢ２と同一であり、Ｂ３がＢ４と同一である場合において、
・Ｂ１がＢ３と同一であれば、ＭＯＤＥ＿１６×１６を選択する。
・そうでない場合、ＭＯＤＥ＿１６×８を選択する。
■Ｂ１がＢ２と同一でなく、Ｂ３がＢ４と同一でない場合において、Ｂ１がＢ３と同一であり、Ｂ２がＢ４と同一である場合、ＭＯＤＥ＿８×１６を選択する。
■そうでない場合、ＭＯＤＥ＿８×８を選択する。

動きベクトルのスケーリング
上記のように導いた予測マクロブロックＭＢ＿ｐｒｅｄの現在のどの動きベクトルに対しても、動きベクトルのデスケーリングを実行できる。次の式を使ってベクトルｖｍ_ｓ＝（ｄ_ｓｘ、ｄ_ｓｙ）において、動きベクトルｍｖ＝（ｄ_ｘ、ｄ_ｙ）をスケーリングできる。

ここで、ｘが正のとき、ｓｉｇｎ［ｘ］は１に等しく、ｘが負のとき（−１）であり、ｘが０のとき０となる。添え字「ｒ」を有する記号は、対応する基準ピクチャの幾何学的パラメータを示す。

レイヤ間テクスチャの予測
テクスチャのアップサンプリング
本発明の一部の実施例では、レイヤ間動き予測と同じ原理に基づき、レイヤ間テクスチャ予測を行うことができる。２−ｌｏｂｅｄ又は３−ｌｏｂｅｄ Ｌａｎｃｚｏｓ−ｗｉｎｄｏｗｅｄ ｓｉｎｃ関数を用いてベースレイヤのテクスチャのアップサンプリングを行うことができる。これらフィルタはエリアシングの低減、シャープさおよび最小リンギングの点で最良の妥協を行うと見なされる。２−ｌｏｂｅｄ Ｌａｎｃｚｏｓ−ｗｉｎｄｏｗｅｄ ｓｉｎｃ関数は次のように定義される。

このアップサンプリングステップはフルフレームで、またはブロックごとのいずれかで処理できる。イントラテクスチャ予測に対しては、フレーム境界で繰り返しパディングを使用する。残差予測に対しては、ブロック境界（変換に応じて４×４または８×８）で繰り返しパディングを使用する。

一実施例では、Ｌａｎｃｚｏｓ２関数に従い、ベースレイヤピクチャ内の対応する成分のサンプルグリッドに対する１６分の１のサンプルスペースを単位とする１６の異なる補間フェーズに対し、下記の表１に次のような１６個の４タップアップサンプリングフィルタが定められる。

位置（ｘ、ｙ）における現在のレイヤ内のルミナンスサンプルに対し、ベースレイヤピクチャ内の対応するサンプルに関するフェーズシフトが次のように得られる。

クロミナンスサンプルの座標系における位置（ｘ_ｃ、ｙ_ｃ）における現在のレイヤ内のクロミナンスサンプルに対し、ベースレイヤピクチャ内の対応するサンプルに関するフェーズシフトは次のように得られる。

ここで、

である。
得られた各フェーズシフトに従い、補間のために表１から４タップフィルタを選択できる。

レイヤ間イントラテクスチャ予測
WD-1.0［MPEG Doc.N6901］において、Ｉ＿ＢＬモードは、対応する全てのベースレイヤのマクロブロックをイントラ符号化することを必要とする。本発明の実施例では、要求条件は、対応するベースレイヤのマクロブロックがインター符号化されているかまたは存在しない場合を認めるように、緩和される。

Ｉ＿ＢＬモードにおいて、符号化されたマクロブロックに対するイントラ予測信号を発生するために、ベースレイヤ信号の同一場所のブロック（存在する場合）を直接デブロックし、補間する。４つの入力サンプル（Ｘ［ｎ−１］、Ｘ［ｎ］、Ｘ［ｎ＋１］、Ｘ［Ｎ＋２］）に対し、４タップ補間フィルタの出力値Ｙは次のように得られる。

ここで、ＢｉｔＤｅｐｔｈ_Ｙはルミナンスサンプルに対するルミナンスチャンネルデータのビット深度を示す。または

ここで、ＢｉｔＤｅｐｔｈ_Ｃはクロミナンスサンプルに対するクロミナンスチャンネルデータのビット深度を示す。

式１５および１６では、丸め演算を適用しているので、フィルタリングの順序は、まず水平方向、またはまず垂直方向に指定できる。最初に水平方向にフィルタ演算を実行し、次に垂直方向にフィルタ演算を実行することが推奨される。このようなアップサンプリングプロセスは、下記に定義されるｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙがイネーブルされるときにしか呼び出されない。

このアップサンプリングフィルタ演算後にクロッピングウィンドウの外側の画像領域を満たすのに、一定の値を使用する。この定数は、ルミナンスに対しては（１＜＜（ＢｉｔＤｅｐｔｈ_Ｙ＿１））となりクロミナンスに対しては、（１＜＜（ＢｉｔＤｅｐｔｈ_Ｃ＿１））となる。

レイヤ間残差予測
レイヤ間イントラテクスチャ予測と同様に、ベースレイヤの残差をアップサンプリングするときは、同じ４タップフィルタまたは他のフィルタを使用できるが、式１５および１６内の関数とは異なる丸め関数およびクリッピング関数を使用する。

４つの入力された残差サンプル（Ｘ［ｎ−１］、Ｘ［ｎ］、Ｘ［ｎ＋１］、Ｘ［Ｎ＋２］）に対して、フィルタの出力値Ｙは次のように得られる。ルミナンス残差サンプルに対して、

クロミナンス残差サンプルに対しては、

残差アップサンプリングに対するクリッピング関数は次のように定義される。

ここで、Ｃｌｉｐ３（ａ，ｂ，ｘ）＝ｍｉｎ（ｍａｘ（ａ，ｘ），ｂ）である。

同様に、アップサンプリングフィルタ演算後、クロッピングウィンドウの外側の画像領域を含む残差予測を利用できないピクセル位置を満たすために、定数値を使用する。この定数はすべてのカラー成分に対して０となる。

シンタックスおよびセマンティックスの変更
表（テーブル）形態のシンタックス
本発明の実施例は、大きい太文字テキストで下記のように示された次の変更を利用できる。主な変更は、記号、すなわちｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙのシーケンスパラメータの組内の追加、従ってシーケンスパラメータセット内の次のような４つのパラメータである。

およびベースレイヤのアップサンプリングプロセス内で使用される幾何学的変換に関連するｓｌｉｃｅ＿ｄａｔａ＿ｉｎ＿ｓｃａｌａｂｌｅ＿ｅｘｔｅｎｓｉｏｎ（）である。

セマンティックス
スケーラブルな拡張内のシーケンスパラメータセットのシンタックス
ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙは、ベースレイヤのアップサンプリングのための幾何学的パラメータに関連するシンタックス要素の存在を指定する。ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙが０に等しいとき、ビットストリーム内には幾何学的パラメータは存在しない。ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙが１に等しいとき、シーケンスパラメータセット内に幾何学的パラメータが存在する。ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙが２のとき、ｓｌｉｃｅ＿ｄａｔａ＿ｉｎ＿ｓｃａｌａｂｌｅ＿ｅｘｔｅｎｓｉｏｎ内に幾何学的パラメータが存在する。ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙに対し、３の値を保留する。ｅｘｔｅｎｄｅｄ＿ｓａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙが存在しないとき、０に等しいと推定する。

ｓｃａｌｅｄ＿ｂａｓｅ＿ｌｅｆｔ＿ｏｆｆｓｅｔ＿ｄｉｖｉｄｅｄ＿ｂｙ＿ｔｗｏは、アップサンプリングされたベースレイヤピクチャの上部左ピクセルと現在のピクチャの上部左ピクセルとの間の水平オフセットの半分を指定する。このｓｃａｌｅｄ＿ｂａｓｅ＿ｌｅｆｔ＿ｏｆｆｓｅｔ＿ｄｉｖｉｄｅｄ＿ｂｙ＿ｔｗｏが存在しないとき、これを０に等しいと推定する。

ｓｃａｌｅｄ＿ｂａｓｅ＿ｔｏｐ＿ｏｆｆｓｅｔ＿ｄｉｖｉｄｅｄ＿ｂｙ＿ｔｗｏは、アップサンプリングされたベースレイヤピクチャの上部左ピクセルと現在のピクチャの上部左ピクセルとの間の垂直オフセットの半分を指定する。このｓｃａｌｅｄ＿ｂａｓｅ＿ｔｏｐ＿ｏｆｆｓｅｔ＿ｄｉｖｉｄｅｄ＿ｂｙ＿ｔｗｏが存在しないとき、これを０に等しいと推定する。

ｓｃａｌｅｄ＿ｂａｓｅ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ＿ｄｉｖｉｄｅｄ＿ｂｙ＿ｔｗｏは、アップサンプリングされたベースレイヤピクチャの底部右ピクセルと現在のピクチャの底部右ピクセルとの間の水平オフセットの半分を指定する。このｓｃａｌｅｄ＿ｂａｓｅ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ＿ｄｉｖｉｄｅｄ＿ｂｙ＿ｔｗｏが存在しないとき、これを０に等しいと推定する。

ｓｃａｌｅｄ＿ｂａｓｅ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ＿ｄｉｖｉｄｅｄ＿ｂｙ＿ｔｗｏは、アップサンプリングされたベースレイヤピクチャの底部右ピクセルと現在のピクチャの底部右ピクセルとの間の垂直オフセットの半分を指定する。このｓｃａｌｅｄ＿ｂａｓｅ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ＿ｄｉｖｉｄｅｄ＿ｂｙ＿ｔｗｏが存在しないとき、これを０に等しいと推定する。

現在のレイヤ内のルミナンスサンプリンググリッドに関する１つのサンプルのスペースを単位とする符号のない整数として、すべての幾何学的パラメータを指定する。下記の幾何学的パラメータに基づき、いくつかの追加記号（ｓｃａｌｅｄ＿ｂａｓｅ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｓｃａｌｅｄ＿ｂａｓｅ＿ｔｏｐ＿ｏｆｆｓｅｔ、ｓｃａｌｅｄ＿ｂａｓｅ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｓｃａｌｅｄ＿ｂａｓｅ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ、ｓｃａｌｅｄ＿ｂａｓｅ＿ｗｉｄｔｈ、ｓｃａｌｅｄ＿ｂａｓｅ＿ｈｅｉｇｈｔ）を定義する。

スケーラブルな拡張内のスライスデータシンタックス
スライスデータ内のシンタックス要素のセマンティックスは、シーケンスパラメータセット内の同じシンタックス要素のセマンティックスと同一である。

復号プロセス
予測データに対する復号プロセス
WD-1.0［MPEG Doc.N6901］と比較すると、次のプロセスを追加しなければならない。各マクロブロックに対し、次のことが当てはまる。
−ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙが１または２に等しく、ｂａｓｅ＿ｌａｙｅｒ＿ｍｏｄｅ＿ｆｌａｇが１に等しい場合、第３章に記載されているプロセスを使ってマクロブロック分割を含む動きベクトルフィールドを得る。WD-1.0［MPEG Doc.N6901］の場合のように、全ての対応するベースレイヤのマクロブロックがイントラ符号化されている場合、現在のマクロブロックのモードをＩ＿ＢＬにセットする。
−そうでなく、ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙが１または２に等しく、ｂａｓｅ＿ｌａｙｅｒ＿ｍｏｄｅ＿ｆｌａｇが０であり、ｂａｓｅ＿ｌａｙｅｒ＿ｒｅｆｉｎｅｍｅｎｔが１に等しい場合、ベースレイヤ改善モードの信号を発する。このベースレイヤ改善モードはベースレイヤ予測モードに類似している。次の第３章では、マクロブロック分割だけでなく、基準インデックスおよび動きベクトルを得る。しかしながら、各動きベクトルに対し、更に４分の１サンプルの動きベクトル改善ｍｖｄ＿ｒｅｆ＿１Ｘ（各動きベクトル成分に対し、−１、０または＋１）を送信し、得られた動きベクトルに加える。
プロセスの残りは、WD-1.0［MPEG Doc.N6901］に記載されているプロセスと同一である。

サブバンドピクチャに対する復号プロセス
WD-1.0［MPEG Doc.N6901］と比較すると、次のプロセスを追加しなければならない。
ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙが１または２に等しい場合、Ｉ＿ＢＬモードのＭＢに対するイントラ予測信号を次のプロセスにより発生する。
−並べられたベースレイヤブロック／マクロブロックをフィルタにかける。
−デブロックされたデータを補間することにより、イントラ予測信号を発生する。第４章に記載されたプロセスを使ってこの補間を実行する。プロセスの他の部分はWD-1.0［MPEG Doc.N6901］に記載されているプロセスと同一である。
そうでなく、ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙが１または２に等しく、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇが１に等しい場合、次のことが当てはまる。
−ベースレイヤのブロックの残差信号をアップサンプリングし、現在のマクロブロックの残差信号に追加する。第４章に記載のプロセスを使って補間を実行する。

ループフィルタに対する変更
ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙが１または２に等しいとき、Ｉ＿ＢＬモード（レイヤ間テクスチャ予測）のブロックに対し、フィルタ強度判断をする間にループフィルタにわずかな変更を行わなければならない。
−隣接ブロックがイントラ符号化されているが、Ｉ＿ＢＬモードにない場合、Ｂｓは４となる（この最初の部分はWD-1.0［MPEG Doc.N6901］と同一である）。
−そうでなく、隣接ブロックのいずれかが係数を有する場合、Ｂｓは２となる。
−そうでなく、隣接ブロックがＩ＿ＢＬモードにない場合、Ｂｓは１となる。
−そうでない場合、Ｂｓは０となる。

６タップフィルタの実施例
本発明の一部の実施例は、特にＪＶＴ（MPEGとVCEGの共同ビデオチーム）により、２００５年４月に採用された、拡張空間的スケーラブル（ＥＳＳ）ビデオ符号化機能のための、H.264/MPEG-4 AVCのスケーラブルビデオ符号化拡張と共に使用するようになっている。

現在のSVC設計では、アップサンプリングプロセスはインター予測のためのH.264に指定された４分の１ルミナンスサンプル補間手順に基づく。この方法は、空間的にスケーラブルな符号化に適用したとき、２つの固有の欠点を有する。すなわち（１）補間分解能が４分の１サンプルに限定されること、および（２）４分の１サンプルの位置を得るには半分のサンプル補間を実行しなければならないことである。

本発明の一部の実施例は、（１）より細かい補間分解能および（２）直接的補間により、これら欠点を除いている。その結果、これら実施例はアップサンプリングしたピクチャの画質を改善しながら、計算上の複雑さを低下させている。

本発明の実施例のアップサンプリング技術は、１６個の６タップフィルタを用いた直接補間に基づく。フィルタの選択は１６分の１のピクチャサンプルを単位とする０〜１５の範囲の補間位置またはフェーズに従っている。フィルタの組は、SVCのハーフサンプル補間プロセスおよびH.264のハーフサンプルルミナンスインター予測とバックワードコンパーチブルとなるように設計されている。従って、これら実施例の技術は、ハードウェア／ソフトウェアの実現の観点から、H.264の自然の拡張とすることができる。

従来の空間的スケーラブルなビデオ符号化システムは、一般に空間または解像度スケーリングファクタが２または２の累乗であるケースを取り扱う。２００５年４月に、空間スケーリングファクタが２の累乗に限定されない、より包括的なアプリケーションを取り扱うよう、SVC共同スケーラブルビデオモデル（JSVM）に拡張空間的スケーラビリティが採用された。しかしながら、レイヤ間テクスチャ予測のためのアップサンプリング方法は、まだ開発中の課題である。２００５年４月のＪＶＴの会議中、テクスチャアップサンプリングのためにH.264において指定された４分の１ルミナンスサンプル補間プロセスを暫定的に採用するとの決定がなされた。

本発明のこれら実施例では、図２３を参照してこれまでの実施例に対して説明した同じ幾何学的関係を同じように当てはめる。

これまで説明した実施例では、ベースレイヤピクチャ内の対応する成分の整数サンプルグリッドに関する１６分の１のサンプルスペースを単位とする１６の異なるフェーズの補間に対し、１６個の４タップアップサンプリングフィルタのセットを定めた。しかしながら、これら４タップフィルタは、初期のH.264設計に対してバックワードコンパーチブルではない。従って、これら実施例は１６個の６タップフィルタの新しいセットおよび対応するフィルタリング手順を含むことができる。一実施例では、表５に記載した６タップフィルタを使用でき、別の実施例では、表６に記載された６タップフィルタを使用できる。

整数のルミナンスサンプルを単位とするエンハンスメントピクチャ内のルミナンスサンプル位置（ｘ、ｙ）を仮定すると、次のようにベースピクチャの１６分の１ルミナンスサンプルを単位とするベースピクチャ内の対応する位置（ｐ_ｘ、Ｌ、ｐ_ｙ、Ｌ）を導くことができる。

ここで、Ｒ_Ｌ＝１６（１６分の１サンプルの解像度の補間に対して）であり、図２３のように（ｘ_ｏｒｉｇ、ｙ_ｏｒｉｇ）は、現在のピクチャの単一ルミナンスサンプルを単位とする現在のピクチャ内のクロッピングウィンドウの上部左コーナーの位置を示し、（ｗ_ｂａｓｅ、ｈ_ｂａｓｅ）は、ベースピクチャの単一ルミナンスサンプルを単位とするベースピクチャの解像度であり、（ｗ_{ｅｘｔｒａｃｔ}、ｈ_{ｅｘｔｒａｃｔ}）は現在のピクチャの単一ルミナンスサンプルを単位とするクロッピングウィンドウの解像度であり、「//」は簡略化された割り算演算子を意味する。

同様に、単一のクロミナンスサンプルを単位とするエンハンスメントピクチャ内のクロミナンスサンプル位置（ｘ_ｃ、ｙ_ｃ）を仮定すると、ベースピクチャの１６分の１クロミナンスサンプルを単位とするベースピクチャ内の対応する位置（ｐ_ｘ，ｃ、ｐ_ｙ，ｃ）は次のように導かれる。

ここで、Ｒ_Ｃ＝１６であり、（ｘ_{ｏｒｉｇ，ｃ}、ｙ_{ｏｒｉｇ，ｃ}）は、現在のピクチャの単一クロミナンスサンプルを単位とする現在のピクチャ内のクロッピングウィンドウの上部左コーナーの位置を示し、（ｗ_{ｂａｓｅ，ｃ}、ｈ_{ｂａｓｅ，ｃ}）は、ベースピクチャの単一クロミナンスサンプルを単位とするベースピクチャの解像度であり、（ｗ_{ｅｘｔｒａｃｔ，ｃ}、ｈ_{ｅｘｔｒａｃｔ，ｃ}）は現在のピクチャの単一クロミナンスサンプルを単位とするクロッピングウィンドウの解像度であり、（ｐ_{ｂａｓｅ，ｘ}、ｐ_{ｂａｓｅ，ｙ}）はベースピクチャの４分の１クロミナンスサンプルを単位とするベースピクチャの相対的クロミナンスフェーズシフトを示し、（ｐ_{ｅｎｈ，ｘ}、ｐ_{ｅｎｈ，ｙ}）は現在のピクチャの４分の１クロミナンスサンプルを単位とする現在のピクチャの相対的クロミナンスフェーズシフトを示す。

式２１および２２から導かれる補間位置に基づき、表５または表６から６タップフィルタを選択できる。一部の実施例では、補間位置がハーフサンプル位置であるとき、フィルタはハーフルミナンスサンプル補間のために定められたH.264内のフィルタと同一である。従って、本発明のこれら実施例の技術に対して同様のハードウェア／ソフトウェアモジュールを使用できる。

しかしながら、レイヤ間残差アップサンプリングに対しテクスチャアップサンプリングのための６タップフィルタまたは上記４タップフィルタの代わりに、バイリニア補間フィルタと共に同様の直接補間方法を使用できる。

一部の実施例では、補間プロセスは次のとおりである。

１．エンハンスメントピクチャ内のマクロブロックのうちの上部左ルミナンスサンプルに対する位置（ｘＰ、ｙＰ）を定める。ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃが０に等しくないとき、すなわちクロミナンスチャンネルが存在するとき、同一マクロブロックのうちの上部左クロミナンスサンプルに対する位置（ｘＣ、ｙＣ）を定める。

２．次のようにベースレイヤピクチャ内のマクロブロックの相対的位置を導く。

ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃが０に等しくないとき、次のようになる。

ここで、ＭｂＷｉｄｔｈＣおよびＭｂＨｅｉｇｈｔＣは水平方向および垂直方向のＭＢ当たりのクロミナンスサンプルの数をそれぞれ示す。

３．テクスチャ補間プロセス
このプロセスへの入力は次のものを含む。
・ベースピクチャ内の整数ルミナンスサンプル位置（ｘＢ、ｙＢ）および（ｘＢ１、ｙＢ１）
・ｘ＝−２＋ｘＢ..（ｘＢ１＋２）およびｙ＝−２＋ｙＢ..（ｙＢ１＋２）の場合のベースピクチャに対するルミナンスサンプルアレイｂａｓｅ_Ｌ［ｘ、ｙ］
・ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃが０に等しくないとき、
〇ベースピクチャ内の整数クロミナンスサンプル位置（ｘＣＢ、ｙＣＢ）および（ｘＣＢ１、ｙＣＢ１）
〇ｘ＝−２＋ｘＣＢ..（ｘＣＢ１＋２）およびｙ＝−２＋ｙＣＢ..（ｙＣＢ１＋２）の場合のベースピクチャに対する２つのクロミナンスサンプルアレイｂａｓｅ_Ｃｂ［ｘ、ｙ］およびｂａｓｅ_Ｃｒ［ｘ、ｙ］

このプロセスの出力は次のものを含む。
・ｘ＝０..１５およびｙ＝０..１５の場合の、ルミナンスサンプルマクロブロックアレイｐｒｅｄＬ［ｘ、ｙ］
・ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃが０でない場合の、ｘ＝０..ＭｂＷｉｄｔｈＣ−１、およびｙ＝０..ＭｂＨｅｉｇｈｔＣ−１の場合の、２つのクロミナンスサンプルマクロブロックアレイｐｒｅｄ_Ｃｂ［ｘ、ｙ］およびｐｒｅｄ_Ｃｒ［ｘ、ｙ］

ｘ＝０..１５およびｙ＝０..１５の場合の、ルミナンスサンプルｐｒｅｄＬ［ｘ、ｙ］は次のように導かれる。
・ｘ＝−２＋ｘＢ..（ｘＢ１＋２）およびｙ＝０..１５の場合の、ｔｅｍｐＬ［ｘ、ｙ］を一時的ルミナンスサンプルアレイとする。
・ｘ＝−２＋ｘＢ..（ｘＢ１＋２）およびｙ＝０..１５の場合の、各ｔｅｍｐＬ［ｘ、ｙ］は次のように導かれる。
〇ベースレイヤ内の対応する部分的サンプル位置ｙｆは次のように導かれる。
ｙｆ＝Ｐ_ｙ，Ｌ（ｙ＋ｙＰ）
〇ｙＩｎｔおよびｙＦｒａｃを次のように定義する。

〇ｙＦｒａｃをフェーズとして使用し、表５からｊ＝−２..３の場合の６タップフィルタｅ［ｊ］を選択し、ｔｅｍｐ_Ｌ［ｘ、ｙ］は次のように導かれる。

・ｘ＝０..１５およびｙ＝０..１５の場合の各サンプルｐｒｅｄ_Ｌ［ｘ、ｙ］は次のように導かれる。
〇ベースレイヤ内の対応する部分的サンプル位置ｘｆは次のように導かれる。
ｘｆ＝Ｐ_ｘ，Ｌ（ｘ＋ｘＰ）
〇ｘＩｎｔおよびｘＦｒａｃは次のように導かれる。

〇ｘＦｒａｃをフェーズとして使用し、表５からｊ＝−２..３の場合の６タップフィルタｅ［ｊ］を選択し、ｐｒｅｄ_Ｌ［ｘ、ｙ］は次のように導かれる。

ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃが０でないとき、ｘ＝０..ＭｂＷｉｄｔｈＣ−１、ｙ＝０..ＭｂＨｅｉｇｈｔＣ−１の場合のクロミナンスサンプルｐｒｅｄ_Ｃ［ｘ、ｙ］（ここで、ＣはＣｂまたはＣｒである）は次のように導かれる。
・ｘ＝−２＋ｘＣＢ.. ..（ｘＣＢ１＋２）およびｙ＝０..ＭｂＨｅｉｇｈｔＣ−１の場合のｔｅｍｐｌ_Ｃｂ［ｘ、ｙ］およびｔｅｍｐｌ_Ｃｒ［ｘ、ｙ］を一時的クロミナンスサンプルアレイとする。
・ＣがＣｂおよびＣｒであり、ｘ＝−２＋ｘＣＢ..（ｘＣＢ１＋２）およびｙ＝０...ＭｂＨｅｉｇｈｔＣ−１である場合の各ｔｅｍｐＣ［ｘ、ｙ］は次のように導かれる。
〇ベースレイヤ内の対応する部分サンプル位置ｙｆＣは次のように導かれる。
ｙｆＣ＝ｐ_ｙ，Ｃ（ｙ＋ｙＣ）
〇ｙＩｎｔＣおよびｙＦｒａｃＣを次のように定める。

〇ｙＦｒｃＣをフェーズとして使用し、表５からｊ＝−２..３の場合の６タップフィルタｅ［ｊ］を選択し、ｔｅｍｐ_Ｃ［ｘ、ｙ］は次のように導かれる。

・ＣがＣｂおよびＣｒであり、ｘ＝０..ＭｂＷｉｄｔｈＣ−１およびｙ＝０..ＭｂＨｅｉｇｈｔＣ−１の場合の各サンプルｐｒｅｄ_Ｃ［ｘ、ｙ］は次のように導かれる。
〇ベースレイヤ内の対応する部分的サンプル位置ｘｆＣは次のように導かれる。
ｘｆＣ＝ｐ_Ｘ，Ｃ（ｘ＋ｘＣ）
〇ｘＩｎｔＣおよびｘＦｒａｃＣを次のように定義する。

〇ｘＦｒａｃＣをフェーズとして使用し、表５からｊ＝−２..３の場合の６タップフィルタｅ［ｊ］を選択し、ｐｒｅｄ_Ｃ［ｘ、ｙ］は次のように導かれる。

４．テクスチャ補間プロセス
このプロセスへの入力は次のものを含む。
・ｂａｓｅＰｉｃ（ｘＢ、ｙＢ）および（ｘＢ１、ｙＢ１）における整数ルミナンスサンプル位置
・ｘ＝−ｘＢ..ｘＢ１およびｙ＝ｙＢ..ｙＢ１の場合のルミナンス残差サンプルアレイｒｅｓＢａｓｅ_Ｌ［ｘ、ｙ］
・ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃが０に等しくないとき、
〇ｂａｓｅＰｉｃ（ｘＣＢ、ｙＣＢ）および（ｘＣＢ１、ｙＣＢ１）における整数クロミナンスサンプル位置
〇ｘ＝ｘＣＢ..ｘＣＢ１およびｙ＝ｙＣＢ..ｙＣＢ１の場合の２つのクロミナンス残差サンプルアレイｒｅｓＢａｓｅ_Ｃｂ［ｘ、ｙ］およびｒｅｓＢａｓｅ_Ｃｒ［ｘ、ｙ］

このプロセスの出力は次のものを含む。
・ｘ＝０..１５およびｙ＝０..１５の場合のルミナンスサンプルアレイｒｅｓＰｒｅｄ_Ｌ［ｘ、ｙ］
・ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃが０に等しくないとき、ｘ＝０..ＭｂＷｉｄｔｈＣ−１およびｙ＝０..ＭｂＨｅｉｇｈｔＣ−１の場合の２つのクロミナンスサンプルアレイｒｅｓＰｒｅｄ_Ｃｂ［ｘ、ｙ］およびｒｅｓＰｒｅｄ_Ｃｒ［ｘ、ｙ］

ｘ＝０..１５およびｙ＝０..１５の場合のルミナンス残差サンプルｒｅｓＰｒｅｄ_Ｌ［ｘ、ｙ］は次のように導かれる。
・ｘ＝ｘＢ..ｘＢ１およびｙ＝０..１５の場合のｔｅｍｐ_Ｌ［ｘ、ｙ］を一時的ルミナンスサンプルアレイとする。
・ｘ＝−ｘＢ..ｘＢ１およびｙ＝０..１５の場合のｔｅｍｐ_Ｌ［ｘ、ｙ］は次のように導かれる。
〇ベースレイヤ内の対応する部分的サンプル位置ｙｆは次のように導かれる。
ｙｆ＝Ｐ_ｙ，Ｌ（ｙ＋ｙＰ）
〇ｙＩｎｔおよびｙＦｒａｃを次のように定める。

〇ｔｅｍｐ_Ｌ［ｘ、ｙ］は次のように導かれる。

・ｘ＝０..１５およびｙ＝０..１５の場合の各残差サンプルｒｅｓＰｒｅｄ_Ｌ［ｘ、ｙ］は次のように導かれる。
〇ベースレイヤ内の対応する部分的サンプル位置ｘｆは次のように導かれる。
ｘｆ＝ｐ_ｘ，Ｌ（ｘ＋ｘＰ）
〇ｘＩｎｔおよびｘＦｒａｃを次のように定める。

〇ｒｅｓＰｒｅｄ_Ｌ［ｘ、ｙ］は次のように導かれる。

ここで、ＢｉｔＤｅｐｔｈ_Ｙはルミナンスチャンネルデータのビット深さを示す。

ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃが０に等しくないとき、ｘ＝０..ＭｂＷｉｄｔｈＣ−１、ｙ＝０..ＭｂＨｅｉｇｈｔＣ−１の場合のクロミナンス残差サンプルｒｅｓＰｒｅｄ_Ｃ［ｘ、ｙ］（ここで、ＣはＣｂまたはＣｒである）は次のように導かれる。
・ｘ＝ｘＣＢ.. ..ｘＣＢ１およびｙ＝０..ＭｂＨｅｉｇｈｔＣ−１の場合のｔｅｍｐｌ_Ｃｂ［ｘ、ｙ］およびｔｅｍｐｌ_Ｃｒ［ｘ、ｙ］を一時的クロミナンスサンプルアレイとする。
・ＣがＣｂおよびＣｒであり、ｘ＝−ｘＣＢ..ｘＣＢ１およびｙ＝０..ＭｂＨｅｉｇｈｔＣ−１である場合の各ｔｅｍｐ_Ｃ［ｘ、ｙ］は次のように導かれる。
〇ベースレイヤ内の対応する部分サンプル位置ｙｆＣは次のように導かれる。
ｙｆＣ＝ｐ_ｙ，Ｃ（ｙ＋ｙＣ）
〇ｙＩｎｔＣおよびｙＦｒａｃＣを次のように定める。

〇ｔｅｍｐ_Ｃ［ｘ、ｙ］を次のように導く。

・ＣがＣｂおよびＣｒであり、ｘ＝０..ＭｂＷｉｄｔｈＣ−１およびｙ＝０..ＭｂＨｅｉｇｈｔＣ−１の場合の各サンプルｒｅｓＰｒｅｄ_Ｃ［ｘ、ｙ］は次のように導かれる。
〇ベースレイヤ内の対応する部分的サンプル位置ｘｆＣは次のように導かれる。
ｘｆＣ＝ｐ_Ｘ，Ｃ（ｘ＋ｘＣ）
〇ｘＩｎｔＣおよびｘＦｒａｃＣを次のように定義する。

〇ｒｅｓＰｒｅｄ_Ｃ［ｘ、ｙ］は次のように導かれる。

ここで、ＢｉｔＤｅｐｔｈ_Ｃは、クロミナンスチャンネルデータのビット深さを示す。

本発明の一部の実施例は、空間的スケーラブルビデオ符号化のためのデブロッキングフィルタを備える。これら実施例のうちの一部の実施例におけるフィルタリング方法は、特にＪＶＴ（MPEGとVCEGの共同ビデオチーム）により、２００５年４月に採用された、拡張空間的スケーラブル（ＥＳＳ）ビデオ符号化機能のための、H.264/MPEG-4 AVCのスケーラブルビデオ符号化拡張のために設計されている。

従来の方法では、フィルタリングプロセスは可能な種々の空間的解像度を有する全てのレイヤにわたって同一であった。レイヤ間テクスチャ予測を利用して符号化されるブロックはフィルタリングプロセス中にイントラ符号化されたブロックと見なされていた。このような従来の方法は、空間的スケーラブル符号化に適用したときに２つの欠点を有する。すなわち（１）低い解像度のレイヤからの予測は不必要にボケることがあり、従って、（２）プロセスは不必要により多くの計算サイクルを費やす。

本発明の実施例は、一部のブロック境界に対するフィルタ演算をスキップし、異なるブロック境界に対して異なるフィルタを使用し、異なるブロック境界におけるフィルタのアグレッシブさを変えるか、または特定のブロック境界に対してフィルタ特性を調整することにより、これら欠点の双方を除去できる。この結果、これら実施例は計算上の複雑さを低減し、アップサンプリングされた画像の質を改善できる。

これら実施例では、インターブロックのための現存のＡＶＣ設計におけるフィルタリングの決定が適用されるように、レイヤ間テクスチャ予測を使用して符号化されたブロックをインターブロックと見なす。一部の実施例では、非空間的にスケーラブル符号化と共に、隣接するブロックに対してこれまで説明した適応型ブロック境界フィルタリングを空間的スケーラブル符号化に適用される。H.264に採用されたこれら方法は、空間的スケーラブルビデオ符号化に適用される。

本発明の一部の実施例では、画像ブロック境界のためのデブロッキングフィルタは、０〜４の範囲内または他のある範囲内の値を有することができる制御パラメータ境界強度（Ｂｓ）によって特徴づけられる。Ｂｓの値が大きくなればなるほど、対応する境界に使用されるフィルタ演算も強くなる。Ｂｓが０に等しいとき、フィルタ演算をスキップするか、または最小にできる。

現在のＳＶＣ設計では、レイヤ間テクスチャ予測に基づくマクロブロック予測モードをＩ＿ＢＬモードと称す。従来の方法を使用すると、Ｉ＿ＢＬマクロブロックに関連する全てのブロック境界をフィルタリングしなければならない。すなわち全てのブロック境界に対し、Ｂｓ＞０となる。

本発明の実施例は、ＳＶＣ内の記号ＳｐａｔｉａｌＳｃａｌａｂｉｌｉｔｙＴｙｐｅが０に等しくないときに、空間的スケーラブル符号化のためのＩ＿ＢＬモードのブロックのためのフィルタ強度判断方法を含む。この目的は、計算上の複雑さを低減し、ベースレイヤからの予測のボケを防止することにある。

一部の実施例では、Ｉ＿ＢＬモードでのブロックに対し、ブロックと隣接するブロックとの間の境界のＢｓを次のように導くことができる。
１．隣接するブロックがイントラ符号化されており、Ｉ＿ＢＬモードでない場合、Ｂｓは４である。
２．そうでなくて、隣接するブロックのいずれかが０でない係数を有する場合、Ｂｓは２となる。
３．そうでなくて、隣接するブロックが同一ベースレイヤのピクチャに基づき、Ｉ＿ＢＬモードでない場合、Ｂｓは１となる。
４．その他の場合、Ｂｓは０となる。

ＪＶＴのＳＶＣ拡張に関係する本発明の実施例では、ＳｐａｔｉａｌＳｃａｌａｂｉｌｉｔｙＴｙｐｅが０に等しくなく、ルミナンスサンプルｐ_０またはｑ_０がＩ＿ＢＬマクロブロック予測モードを使用して符号化されたマクロブロック内にある場合、変数Ｂｓは次のように導かれる。
・ルミナンスサンプルｐ_０またはｑ_０がＩ＿ＢＬモード以外のイントラ予測モードを使用して符号化されたマクロブロック内にある場合、４に等しいＢｓの値が出力となる。
・以下の条件の１つが成り立つ場合、２に等しいＢｓの値が出力となる。
ｉ．サンプルｐ_０を含むルミナンスブロックまたはサンプルｑ_０を含むルミナンスブロックが０でない変換係数レベルを含む。
ｉｉ．サンプルｐ_０を含むルミナンスブロックまたはサンプルｑ_０を含むルミナンスブロックに対し、シンタックス要素ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは２０に等しく、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは１に等しく、予測アレイｒｅｓＰｒｅｄＸはサブ章Ｓ.８.５.１４で導かれたように０でないサンプルを含む。ここで、Ｘは適用可能な成分Ｌ、Ｃ_ｂまたはＣ_ｒを示す。
・次の条件のうちの１つが成り立つ場合、１に等しいＢｓの値が出力となる。
ｉ．ルミナンスサンプルｐ_０またはｑ_０のいずれかが、インター予測モードを使用して符号化されたマクロブロック内にある。
ｉｉ．ルミナンスサンプルｐ_０またはｑ_０は、異なるｂａｓｅ＿ｉｄ＿ｐｌｕｓ１を有する２つの別個のスライス内にある。
・そうでない場合、０に等しいＢｓの値が出力となる。
・サンプルｐ_０およびｑ_０の双方が、Ｉ＿ＢＬマクロブロック予測モードを使用して符号化されたマクロブロック内にある場合、１に等しいＢｓの値が出力となる。

図２８を参照し、本発明の一部の実施例について説明する。これら実施例では、空間的スケーラビリティエンハンスメントレイヤ内の隣接するブロックの間の境界は、種々のフィルタリング方法を適用するために特徴づけられる。これらフィルタリング方法は、種々のフィルタリング方法をトリガーするか、またはフィルタリングパラメータを調節するために使用できる境界強度インジケータ３１２、３１６および３２０、３２２に関連付けできる。

これら実施例では、ブロック境界により分離された２つの隣接するブロックの特徴を分析し、ブロックに隣接するブロック境界の特徴を定める。一部の実施例では、ブロック間の境界の特徴を定める。

実施例では、まずブロックの特徴を分析し、ブロックのうち１つをレイヤ間テクスチャ予測を使って符号化するかどうかを判断する（３１０）。レイヤ間テクスチャ予測を使用して前記隣接するブロックのうちの少なくとも１つを符号化する場合、ブロックを分析して、レイヤ間テクスチャ予測以外のイントラ予測方法（レイヤ内テクスチャ予測方法）により、いずれかのブロックが符号化されているかどうかを判断する（３１１）。レイヤ間テクスチャ予測以外のイントラ予測方法により、ブロックのうちの１つが符号化されている場合、第１の境界強度インジケータを使ってターゲット境界の特徴を定める（３１２）。

ブロックのうちの１つが、レイヤ間テクスチャ予測以外のイントラ予測方法によって符号化されていない場合、ブロックの特徴を分析し、隣接するブロックのいずれかまたは隣接するブロックのうちの１つを予測したブロックが０でない変換係数を有するかどうかを判断する（３１４）。隣接するブロックのいずれかまたは隣接するブロックのうちの１つを予測したブロックが０でない変換係数を有する場合、第２の境界強度インジケータを使ってターゲット境界の特徴を定める（３１６）。

ブロックのうちの１つがレイヤ間テクスチャ予測以外のイントラ予測方法では符号化されておらず（３１１）、隣接するブロックのいずれもがまたは隣接するブロックのうちの１つを予測したブロックが、０でない変換係数を有していない場合（３１４）、異なる基準ブロックを参照して、隣接するブロックを予測するかどうかを判断する（３１８）。隣接するブロックが異なる基準ブロックを参照して予測されている場合（３１８）、第３の境界強度インジケータを使ってターゲット境界の特徴を定める（３２０）。

ブロックのうちの１つがレイヤ間テクスチャ予測以外のイントラ予測方法で符号化されておらず（３１１）、隣接するブロックのいずれもがまたは隣接するブロックのうちの１つを予測したブロックが０でない変換係数を有しておらず（３１４）、異なる基準ブロックを参照して隣接するブロックを予測していない（３１８）場合、第４の境界強度インジケータを使ってターゲット境界の特徴を定める（３２２）。

一部の実施例では、境界強度インジケータを使って特定の境界フィルタリングオプションをトリガーできる。一部の実施例では、各インジケータに対して異なるフィルタリング方法を使用できる。一部の実施例では、インジケータに対してフィルタリング方法パラメータを調節できる。一部の実施例では、インジケータがどれだけアグレッシブに境界をフィルタリングするかをトリガーできる。一部の実施例では、第１の境界強度インジケータが境界の最もアグレッシブなフィルタリングをトリガーし、第２、第３および第４の境界強度インジケータが順に、より低いアグレッシブなフィルタリングを次々にトリガーするようになっている。一部の実施例では、第４の境界強度インジケータまたは別のインジケータが関連する境界に対してフィルタリングを全くトリガーしないようになっている。

図２９を参照し、本発明の一部の実施例について説明する。これら実施例では、空間的スケーラビリティエンハンスメントレイヤ内の隣接するブロックの間の境界が種々のフィルタリング方法の適用に対して特徴づけられる。種々のフィルタリング方法をトリガーするか、またはフィルタリングパラメータを調節するのに使用できる境界強度インジケータ３３６、３４０、３４４、３４８および３５２、３５４に、これらフィルタリング方法を関連付けできる。

これら実施例では、ブロック境界により分離された２つの隣接するブロックの特徴を分析し、ブロックに隣接するブロック境界の特徴を定める。一部の実施例では、ブロック間の境界の特徴を定める。

実施例では、まずブロックの特徴を分析し、これらブロックが空間的スケーラビリティレイヤ内にあるかどうかを判断する（３３０）。ブロックのうちの１つをレイヤ間テクスチャ予測を使って符号化するかどうかを判断する（３３２）。前記隣接するブロックのうちの少なくとも１つがレイヤ間テクスチャ予測を使って符号化される場合、ブロックを分析し、いずれかのブロックがレイヤ間テクスチャ予測以外のイントラ予測方法により符号化されているかどうかを判断する（３３４）。ブロックのうちの１つがレイヤ間テクスチャ予測以外のイントラ予測方法によって符号化されている場合、第１の境界強度インジケータを使ってターゲット境界の特徴を定める（３３６）。

ブロックのうちの１つがレイヤ間テクスチャ予測以外のイントラ予測方法によって符号化されていない場合、隣接するブロックのいずれかが０でない変換係数を有するかどうかを判断するために、ブロックの特徴を分析する（３３８）。隣接するブロックのうちのいずれかが０でない変換係数を有する場合、第２の境界強度インジケータを使ってターゲット境界の特徴を定める（３４０）。

ブロックのうちの１つがレイヤ間テクスチャ予測以外のイントラ予測方法によって符号化されていない場合、ブロックの特徴を分析し、隣接するブロックのうちの１つを予測したブロックが０でない変換係数を有するかどうかを判断する（３４２）。隣接するブロックのうちの１つを予測したブロックが０でない変換係数を有する場合、第３の境界強度インジケータを使ってターゲット境界の特徴を定める（３４４）。

ブロックのうちの１つがレイヤ間テクスチャ予測以外のイントラ予測方法では符号化されず（３３４）、隣接するブロックのいずれもがまたは隣接するブロックのうちの１つを予測したブロックが０でない変換係数を有しない場合（３３８、３４２）、隣接するブロックのうちの１つがインター予測モードを使って符号化するかどうかを決定する判断がなされる（３４６）。隣接するブロックのうちの１つがインター予測モードを使って符号化される場合、第４の境界強度インジケータを使ってターゲット境界の特徴を定める（３４８）。

ブロックのうちの１つがレイヤ間テクスチャ予測以外のイントラ予測方法では符号化されておらず（３３４）、隣接するブロックのいずれもがまたは隣接するブロックのうちの１つを予測したブロックが０でない変換係数を有しておらず（３３８、３４２）、ブロックがインター予測モードで符号化されない場合（３４６）、異なる基準ブロックを参照して、隣接するブロックを予測するかどうかを決定する判断を行うことができる（３５０）。異なる基準ブロックを参照して隣接するブロックを予測する場合（３５０）、第５の境界強度インジケータを使ってターゲット境界の特徴を定める（３５２）。

ブロックのうちの１つがレイヤ間テクスチャ予測以外のイントラ予測方法では符号化されず（３３４）、隣接するブロックのいずれもがまたは隣接するブロックのうちの１つを予測したブロックが０でない変換係数を有しておらず（３３８、３４２）、ブロックがインター予測モードで符号化されず（３４６）、異なる基準ブロックを参照して隣接するブロックが予測されていない（３５０）場合、第６の境界強度インジケータを使ってターゲット境界の特徴を定めることができる（３５４）。

図３０を参照して、本発明の一部の実施例について説明する。これら実施例では、空間的スケーラビリティエンハンスメントレイヤ内の隣接するブロックの間の境界は、種々のフィルタリング方法の適用のために特徴づけられる。種々のフィルタリング方法をトリガーまたはフィルタパラメータを調節するために使用できる境界強度インジケータ３６５、３６７、３７１および３７３と、これらフィルタリング方法とを関連付けできる。一部の実施例では、０の境界強度インジケータはフィルタ演算のスキップを示す。

これら実施例では、ブロック境界によって分離された２つの隣接するブロックの特徴を分析し、これらブロックに隣接したブロック境界の特徴を定める。一部の実施例では、ブロックの間の境界の特徴を定める。

これら実施例では、ＳｐａｔｉａｌＳｃａｌａｂｉｌｉｔｙＴｙｐｅは非ゼロでなければならない（３６０）。次に、ブロックのうちの１つからのルミナンスサンプルをレイヤ間テクスチャ予測を使って符号化するかどうかを決定する別の判断を行う（３６２）（Ｉ＿ＢＬ）。前記隣接するブロックのうちの少なくとも１つをＩ＿ＢＬを使って符号化する場合、これらブロックを分析し、いずれかのブロックがＩ＿ＢＬ以外のイントラ予測方法で符号化されているかどうかを判断する（３６４）。Ｉ＿ＢＬ以外のイントラ予測方法を用いてブロックのうちの１つを符号化している場合、第１の境界強度インジケータを使ってターゲット境界の特徴を定める（３６５）。一部の実施例では、第１境界強度インジケータは、最強、すなわち最もアグレッシブなデブロッキングフィルタ演算をトリガーする。一部の実施例では、この第１インジケータは４に等しくなる。

Ｉ＿ＢＬ以外のイントラ予測方法を用いて、ブロックのうちの１つが符号化されていない場合、ブロック特性を分析し、隣接するブロックのうちのいずれかのルミナンスサンプルが０でない変換係数を有するかどうかを判断する（３６６）。隣接するブロックのうちのいずれかのルミナンスサンプルが非ゼロ変換係数を有する場合、第２の境界強度インジケータを使用してターゲット境界の特徴を定める（３６７）。一部の実施例では、この第２の境界強度インジケータは、中間の、すなわち第２に最もアグレッシブなデブロッキングフィルタ演算をトリガーする。一部の実施例では、この第２のインジケータは２に等しくなる。

Ｉ＿ＢＬ以外のイントラ予測方法を用いて、ブロックのうちの１つが符号化されておらず（３６４）、いずれかのブロックからのルミナンスサンプルのいずれもが非ゼロ変換係数を有していない場合、隣接するブロックのうちの１つを予測したブロックが非ゼロ変換係数を有するかどうかを決定する判断がなされる（３６８）。隣接するブロックのうちの１つを予測したブロックが非ゼロ変換係数を有する場合、第２の境界強度インジケータを再び使用し、ターゲット境界の特徴を定めることができる（３６７）。

ブロックのうちの１つがＩ＿ＢＬ以外のイントラ予測方法を用いて符号化されておらず（３６４）、隣接するブロックのいずれも（３６６）が、または隣接するブロックのうちの１つを予測したブロックが、非ゼロ変換係数を有していない（３６８）場合、隣接するブロックのうちの１つのルミナンスサンプルをインター予測モードを使って符号化するかどうかを決定する判断がなされる（３７０）。インター予測モードを使って隣接するブロックのうちの１つのルミナンスサンプルを符号化する（３７０）場合、第３の境界強度インジケータを使ってターゲット境界の特徴を定めることができる（３７１）。一部の実施例では、この第３の境界強度インジケータは、より弱い、すなわち第３番目にアグレッシブなデブロッキングフィルタ演算をトリガーする。一部の実施例では、この第３のインジケータは１に等しくなる。

ブロックのうちの１つがＩ＿ＢＬ以外のイントラ予測方法により符号化されていない（３６４）場合、隣接するブロックのいずれも（３６６）が、また隣接するブロックのうちの１つを予測したブロックも、非ゼロ変換係数を有しておらず（３６８）、隣接するブロックのルミナンスサンプルがインター予測モードで符号化されない（３７０）場合、隣接するブロックのいずれかが異なる基準ブロックから予測されるかどうかを決定する判断がなされる（３７２）。隣接するブロックのいずれかのルミナンスサンプルが異なる基準ブロックを参照して予測される（３７０）場合、第３の境界強度インジケータを再び使って、ターゲット境界の特徴を定めることができる（３７１）。

ブロックのうちの１つがＩ＿ＢＬ以外のイントラ予測方法により符号化されていない（３６４）場合、隣接するブロックのいずれも（３６６）が、また、隣接するブロックのうちの１つを予測したブロックも、非ゼロ変換係数を有しておらず（３６８）、隣接するブロックのルミナンスサンプルがインター予測モードで符号化されない場合（３７０）、隣接するブロックからのルミナンスサンプルが異なる基準ブロックから予測されていない（３７２）場合、第４の境界強度インジケータを使ってターゲット境界の特徴を定めることができる（３７３）。一部の実施例では、この第４の境界強度インジケータは、より弱い、すなわち第４番目にアグレッシブなデブロッキングフィルタ演算をトリガーできる。一部の実施例では、この第４番目のインジケータはフィルタリングが行われないことを示すことができる。一部の実施例では、この第４番目のインジケータは０に等しくなる。

便宜上、演算を相互に関連した種々の機能的ブロックまたは個別のソフトウェアモジュールとして説明した。しかしながら、このようなことは必要なことではなく、これら機能ブロックまたはモジュールを境界の不明確な状態で、単一ロジックデバイス、プログラムまたは演算に等価的に集めるケースもあり得る。いずれの場合においても、機能的ブロックおよびソフトウェアモジュールまたは説明した特徴は、それら自身で、またはハードウェアもしくはソフトウェアのいずれかにおける別の演算と組み合わせて実現できる。

これまで本明細書で用いた用語および表現は、説明するための用語として用いたものであり、制限するために用いたものではなく、かかる用語及び表現の使用に当たり、本明細書に説明し、図示した特徴またはその一部の均等物を排除するものではなく、本発明の範囲は特許請求の範囲のみによって定められ、限定されることが認識できよう。

本願は、シジュン・サンによって発明され、２００５年３月１８日に出願された「ピクチャレベルの適用性を有する拡張空間的スケーラビリティ」を発明の名称とする、米国仮特許出願第60/663,161号の権利を主張するものであり、本願は、更に、シジュン・サンによって発明され、２００５年５月２０日に出願された「拡張空間的スケーラビリティにおけるアップサンプリングのための直接補間」を発明の名称とする米国仮特許出願第60/683,060号の権利も主張するものである。本願は更に、シジュン・サンによって発明され、２００５年６月１日に出願された「空間的スケーラブルなビデオ符号化のための低複雑度のデブロッキングフィルタ方法」を発明の名称とする米国仮特許出願第60/686,676号の権利も主張するものである。本願は、シジュン・サンおよびシャオミン・レイにより発明され、２００２年３月２９日に出願された「ブロックをベースとする動き補償されたビデオ符号化におけるループフィルタリングまたはポストフィルタリングを制御するための方法および装置」を発明の名称とする米国特許出願第10/112,683号の一部継続出願でもあるが、シジュン・サン外により発明され、２００１年３月２６日に出願された「ブロックをベースとする動き補償されたビデオ符号化におけるループフィルタリングまたはポストフィルタリングを制御するための方法および装置」を発明の名称とする米国特許出願第09/817,701号の継続である。本願は更に、シジュン・サンにより発明され、２００４年３月１１日に出願された「境界強度に基づく適応型フィルタリング」を発明の名称とする米国特許出願第10/799,384号の一部継続出願でもあり、米国特許出願第10/799,384号はシジュン・サン外により発明され、２００２年９月１１日に出願されたＰＣＴ特許出願第PCT/JP02/09306号の継続出願であり、ＰＣＴ特許出願第PCT/JP02/09306号は、シジュン・サンおよびシャオミン・レイにより発明され、２００１年９月１４日に出願された「境界強度に基づく適応型フィルタリング」を発明の名称とする米国特許出願第09/953,329号の継続出願である。

Claims (6)

1. レイヤ間テクスチャ予測を使って隣接するブロックのうちの少なくとも１つを符号化する、空間的スケーラビリティエンハンスメントレイヤ内の隣接するブロック間のブロック境界の特徴を定めるための方法であって、
   前記レイヤ間テクスチャ予測以外のイントラ予測モードを使って前記隣接するブロックのうちの１つを符号化するとき、第１の境界強度インジケータにより前記ブロック境界の特徴を定めるステップと、
   前記隣接するブロックのうちの１つをインター予測モードを使って符号化するときに、
   第２の境界強度インジケータを用いて前記ブロック境界の特徴を定めるステップとを含み、
   前記ブロック境界に対してデブロッキングフィルタを適用するときに、
   前記第１の境界強度インジケータは前記第２の境界強度インジケータよりも強いデブロッキングフィルタを適用させることを特徴とする方法。
2. レイヤ間テクスチャ予測を使って隣接するブロックのうちの少なくとも１つを符号化する、空間的スケーラビリティエンハンスメントレイヤ内の隣接するブロック間のブロック境界の特徴を定めるための方法であって、
   前記レイヤ間テクスチャ予測以外のイントラ予測モードを使って前記隣接するブロックのうちの１つを符号化するとき、第１の境界強度インジケータにより前記ブロック境界の特徴を定めるステップと、
   前記レイヤ間テクスチャ予測を使って前記隣接するブロックの双方を符号化して、
   前記隣接するブロックのいずれかが非ゼロ変換係数を有するときに、
   第３の境界強度インジケータを用いて前記ブロック境界の特徴を定めるステップを含み、
   前記ブロック境界に対してデブロッキングフィルタを適用するときに、
   前記第１の境界強度インジケータは前記第３の境界強度インジケータよりも強いデブロッキングフィルタを適用させることを特徴とする方法。
3. レイヤ間テクスチャ予測を使って隣接するブロックのうちの少なくとも１つを符号化する、空間的スケーラビリティエンハンスメントレイヤ内の隣接するブロック間のブロック境界の特徴を定めるための方法であって、
   前記レイヤ間テクスチャ予測以外のイントラ予測モードを使って前記隣接するブロックのうちの１つを符号化するとき、第１の境界強度インジケータにより前記ブロック境界の特徴を定めるステップと、
   前記レイヤ間テクスチャ予測を使ってもとの通り前記隣接するブロックの双方を符号化して、
   前記隣接するブロックのいずれかが非ゼロ変換係数を有するときに、
   第３の境界強度インジケータを用いて前記ブロック境界の特徴を定めるステップと、
   前記レイヤ間テクスチャ予測を使って前記隣接するブロックの双方を符号化して、
   前記隣接するブロックのいずれも非ゼロ変換係数を有しないときに、
   第４の境界強度インジケータを用いて前記ブロック境界の特徴を定めるステップを含み、
   前記ブロック境界に対してデブロッキングフィルタを適用するときに、
   前記第１の境界強度インジケータは前記第３の境界強度インジケータよりも強いデブロッキングフィルタを適用させ、
   前記第３の境界強度インジケータは前記第４の境界強度インジケータよりも強いデブロッキングフィルタを適用させることを特徴とする方法。
4. レイヤ間テクスチャ予測を使って隣接するブロックのうちの少なくとも１つを符号化する、空間的スケーラビリティエンハンスメントレイヤ内の隣接するブロック間のブロック境界の特徴を定めるシステムであって、
   前記レイヤ間テクスチャ予測以外のイントラ予測モードを使って前記隣接するブロックのうちの１つを符号化するとき、第１の境界強度インジケータを用いて前記ブロック境界の特徴を定めるための予測モードアナライザを備え、
   前記隣接するブロックのうちの１つをインター予測モードを使って符号化するときに、
   第２の境界強度インジケータを用いて前記ブロック境界の特徴を定め、
   前記ブロック境界に対してデブロッキングフィルタを適用するときに、
   前記第１の境界強度インジケータは前記第２の境界強度インジケータよりも強いデブロッキングフィルタを適用させることを特徴とするシステム。
5. レイヤ間テクスチャ予測を使って隣接するブロックのうちの少なくとも１つを符号化する、空間的スケーラビリティエンハンスメントレイヤ内の隣接するブロック間のブロック境界の特徴を定めるシステムであって、
   前記レイヤ間テクスチャ予測以外のイントラ予測モードを使って前記隣接するブロックのうちの１つを符号化するとき、第１の境界強度インジケータを用いて前記ブロック境界の特徴を定めるための予測モードアナライザと、
   前記レイヤ間テクスチャ予測を使って前記隣接するブロックの双方を符号化して、
   前記隣接するブロックのいずれかが非ゼロ変換係数を有するときに、
   第３の境界強度インジケータを用いて前記ブロック境界の特徴を定めるための係数アナライザを備え、
   前記ブロック境界に対してデブロッキングフィルタを適用するときに、
   前記第１の境界強度インジケータは前記第３の境界強度インジケータよりも強いデブロッキングフィルタを適用させることを特徴とするシステム。
6. レイヤ間テクスチャ予測を使って隣接するブロックのうちの少なくとも１つを符号化する、空間的スケーラビリティエンハンスメントレイヤ内の隣接するブロック間のブロック境界の特徴を定めるシステムであって、
   前記レイヤ間テクスチャ予測以外のイントラ予測モードを使って前記隣接するブロックのうちの１つを符号化するとき、第１の境界強度インジケータを用いて前記ブロック境界の特徴を定めるための予測モードアナライザと、
   前記レイヤ間テクスチャ予測を使って前記隣接するブロックの双方を符号化して、
   前記隣接するブロックのいずれかが非ゼロ変換係数を有するときに、
   第３の境界強度インジケータを用いて前記ブロック境界の特徴を定めるための係数アナライザを備え、
   前記レイヤ間テクスチャ予測を使って前記隣接するブロックの双方を符号化して、
   前記隣接するブロックのいずれも非ゼロ変換係数を有しないときに、
   第４の境界強度インジケータを用いて前記ブロック境界の特徴を定め、
   前記ブロック境界に対してデブロッキングフィルタを適用するときに、
   前記第１の境界強度インジケータは前記第３の境界強度インジケータよりも強いデブロッキングフィルタを適用させ、
   前記第３の境界強度インジケータは前記第４の境界強度インジケータよりも強いデブロッキングフィルタを適用させることを特徴とするシステム。

Images