JP2009500981A - マクロブロック適応型レイヤ間テクスチャ内予測の方法及び装置 - Google Patents

Abstract

スケーラブルビデオ符号化及び復号化のためにスケーラブルビデオエンコーダ及びデコーダ並びに対応する方法が提供される。スケーラブルビデオエンコーダは、マクロブロックに適応して、エンハンスメントレイヤのマクロブロックと対応するアップサンプルされたベースレイヤのマクロブロックの間で発生されたエンハンスメントレイヤの残差を符号化するため、空間イントラ予測を選択的に使用するエンコーダ１００を含む。

Description

本発明は、ビデオエンコーダ及びデコーダ全般に関し、より詳細には、マクロブロック適応型レイヤ間テクスチャ内予測（ｍａｃｒｏｂｌｏｃｋ ａｄａｐｔｉｖｅ ｉｎｔｅｒ−ｌａｙｅｒ ｉｎｔｒａ ｔｅｘｔｕｒｅ ｐｒｅｄｉｃｔｉｏｎ）の方法及び装置に関する。

本出願は、２００５年７月１１日に提出され、“ＭＡＣＲＯＢＬＯＣＫ ＡＤＡＰＴＩＶＥ ＩＮＴＥＲ−ＬＡＹＥＲ ＩＮＴＲＡ ＴＥＸＴＵＲＥ ＰＲＥＤＩＣＴＩＯＮ”と題された米国特許仮出願シリアル番号６０／６９８，１４０の利益を請求するものであり、その完全な形で本明細書に盛り込まれる。

多数の異なるスケーラビリティの方法は、ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）のＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ −２）規格、及びＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｐａｒｔ１０／ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ）Ｈ．２６４規格（以下、“Ｈ．２６４規格”と呼ぶ）のスケーラビリティプロファイルにおいて、信号対雑音比（ＳＮＲ）スケーラビリティ、空間スケーラビリティ、時間スケーラビリティ、ファイングレインスケーラビリティを含めて、広く研究され、標準化されている。大部分のスケーラブルビデオ符号化スキームは、符号化効率を犠牲にしてスケーラビリティを達成している。したがって、せいぜい僅かな複雑度を追加する一方で、符号化効率を改善することが望まれる。空間スケーラビリティ及びＳＮＲスケーラビリティについて大部分の広く使用される技術は、レイヤ間のテクスチャ内の予測、レイヤ間の動き予測及びレイヤ間の残余予測を含めて、レイヤ間の予測技術である。

空間及びＳＮＲスケーラビリティについて、高度のレイヤ間予測が組み込まれる。イントラマクロブロック及びインターマクロブロックは、対応する前のレイヤの信号を使用して予測することができる。さらに、それぞれのレイヤの動きの記述は、後続するエンハンスメントレイヤの動きの記述の予測のために使用することができる。これらの技術は、レイヤ間のテクスチャ内の予測、レイヤ間の動き予測、及びレイヤ間の残余の予測といった３つのカテゴリに含まれる。

ＪＳＶＭ２．０では、前のレイヤからの情報を使用したテクスチャ内の予測は、ＩＮＴＲＡ＿ＢＬマクロブロックモードで提供され、エンハンスメントレイヤの残余（現在のマクロブロック（ＭＢ）と（アップサンプルされた）ベースレイヤとの間の差）が変換及び量子化される。ＩＮＴＲＡ＿ＢＬモードは、エンハンスメントレイヤの残余が余りに多くのエッジ情報を含まないときに非常に効果的である。

以下の３つの可能性のあるコンフィギュレーションは、ＩＮＴＲＡ＿ＢＬマクロブロックモードについて適用される。制限されていないレイヤ間のテクスチャ内の予測、制限されたレイヤ間のテクスチャ内の予測、及び単一ループのデコーディングのための制限されたレイヤ間のテクスチャ内の予測。

制限されていないレイヤ間のテクスチャ内の予測のコンフィギュレーションに関して、レイヤ間のテクスチャ内の予測は、予測が行われるレイヤへの制限なしに任意のブロックに適用することができる。このコンフィギュレーションでは、デコーダは、目標とする解像度の再構成のためにビットストリームに設けられる全ての低い空間解像度をデコードする必要がある。

制限されたレイヤ間のテクスチャ内の予測のコンフィギュレーションに関して、ベースレイヤの対応するブロックがイントラ符号化されたマクロブロック内に位置されるマクロブロックにレイヤ間のテクスチャ内の予測が適用される。このモードによれば、逆ＭＣＴＦは、実際にデコードされる空間レイヤのために必要とされる。キーピクチャについて、多数のデコーディングループが必要とされる。

シングルループデコーディングのための制限されたレイヤ間のテクスチャ内の予測のコンフィギュレーションに関して、レイヤ間のテクスチャ内の予測は、ベースレイヤの対応するブロックがキーピクチャと同様にＭＣＴＦのイントラ符号化されたマクロブロック内で位置されるマクロブロックに適用される。このコンフォギュレーションでは、目標とする空間解像度でのシングルデコーディングループのみが必要とされる。

従来技術のこれらの問題点及び課題、並びに他の問題点及び課題は、本発明により対処され、マクロブロック適応型のレイヤ間のテクスチャ内の予測のための方法及び装置に向けられる。

本発明の態様によれば、スケーラブルビデオエンコーダが提供される。スケーラブルビデオエンコーダは、マクロブロックの適応に基づいて、エンハンスメントレイヤのマクロブロックと対応するアップサンプルされたレイヤのマクロブロックとの間で発生されたエンハンスメントレイヤの残差を符号化するために空間イントラ予測を選択的に使用するエンコーダを含む。

本発明の別の態様によれば、スケーラブルビデオ符号化の方法が提供される。本方法は、マクロブロックの適応に基づいて、エンハンスメントレイヤのマクロブロックと対応するアップサンプルされたベースレイヤのマクロブロックの間で発生されたエンハンスメントレイヤの残差を符号化するために空間イントラ予測を選択的に使用することを含む。

本発明の更に別の態様によれば、スケーラブルビデオエンコーダが提供される。スケーラブルビデオエンコーダは、エンハンスメントレイヤにおける空間の隣接するイントラ予測モードとアップサンプルされた対応するベースレイヤ予測モードの両者を使用してエンハンスメントレイヤを符号化するエンコーダを含む。

本発明の更に別の態様によれば、スケーラブルビデオ符号化の方法が提供される。本方法は、エンハンスメントレイヤにおける空間の隣接するイントラ予測モードとアップサンプルされた対応するベースレイヤ予測モードの両者を使用してエンハンスメントレイヤを符号化することを含む。

本発明の更なる態様によれば、スケーラブルビデオデコーダが提供される。スケーラブルビデオデコーダは、マクロブロックの適応に基づいて、エンハンスメントレイヤのマクロブロックと対応するアップサンプルされたベースレイヤのマクロブロックの間で発生されたエンハンスメントレイヤの残差を復号化するために空間イントラ予測を選択的に使用するデコーダを含む。

本発明の更なる態様によれば、スケーラブルビデオ復号化の方法が提供される。本方法は、マクロブロックの適応に基づいて、エンハンスメントレイヤのマクロブロックと対応するアップサンプルされたベースレイヤのマクロブロックの間で発生されたエンハンスメントレイヤの残差を復号化するために空間イントラ予測を選択的に使用することを含む。

本発明の更なる態様によれば、スケーラブルビデオデコーダが提供される。スケーラブルビデオデコーダは、エンハンスメントレイヤにおける空間の隣接するイントラ予測モードとアップサンプルされた対応するベースレイヤ予測モードの両者を使用してエンハンスメントレイヤを復号化するデコーダを含む。

本発明の更なる態様によれば、スケーラブルビデオ復号化の方法が提供される。本方法は、エンハンスメントレイヤにおける空間の隣接するイントラ予測モードとアップサンプルされた対応するベースレイヤ予測モードの両者を使用してエンハンスメントレイヤを復号化することを含む。

本発明のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、添付図面と共に読まれる例示的な実施の形態の以下の詳細な説明から明らかになるであろう。本発明は、以下の例示的な図面に従って良好に理解されるであろう。

本発明は、マクロブロック適応型のレイヤ間のテクスチャ内の予測の方法及び装置に向けられる。
大部分のスケーラブルビデオ符号化スキームでは、空間及びＳＮＲスケーラビリティについて高度のレイヤ間予測が組み込まれる。レイヤ間予測は、レイヤ間のテクスチャ内の予測、レイヤ間の動き予測及びレイヤ間の残差予測を含む。本発明の原理によれば、新しいレイヤ間のテクスチャ内の予測が提供される。さらに、その例示的な実施の形態によれば、本発明の原理は、更なる符号化効率を達成するためにマクロブロックに適合するやり方で既存のアプローチと結合される場合がある。

この説明は、本発明の原理を例示するものである。したがって、本明細書で明示的に記載又は図示されないが、本発明の原理を実施し、その精神及び範囲に含まれる様々なアレンジメントを当業者が考案することができるのを理解されるであろう。

本明細書で引用される全ての例及び条件付き言語は、本発明の原理及び当該技術分野を促進するために本発明者により寄与される概念を理解することにおいて読者を支援する教育的な目的のために意図され、係る特に引用される例及び条件への制限がないものとして解釈される。

さらに、本発明の特定の例と同様に、本発明の原理、態様及び実施の形態での全ての説明は、本発明の構造的かつ機能的な等価の両者を包含することが意図される。さらに、かかる等価は、現在知られている等価と同様に将来的に開発される等価、すなわち構造に関わらず同じ機能を実行する開発されたエレメントの両者を含むことが意図される。

したがって、たとえば、当業者により理解されるであろう、本明細書で与えられるブロック図は、本発明の原理を実施する例示的な回路の概念図を表している。同様に、フローチャート、フローダイアグラム、状態遷移図、擬似コード等は、係るコンピュータ又はプロセッサが明示的に示されるか否かで、コンピュータ読取り可能なメディアで実質的に表現され、コンピュータ又はプロセッサにより実行される様々なプロセスを表す。

図示される様々なエレメントの機能は、適切なソフトウェアと関連してソフトウェアを実行可能なハードウェアと同様に、専用のハードウェアの使用を通して提供される場合がある。プロセッサにより提供されるとき、１つの専用のプロセッサ、１つの共有のプロセッサ、又はそのうちの幾つかが供給される場合がある複数の個々のプロセッサにより、機能が提供される場合がある。さらに、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に示すように解釈されず、制限なしに、デジタルシグナルプロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するリードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、不揮発性ストレージを暗黙に含む場合がある。

他のハードウェア、コンベンショナル及び／又はカスタムも含まれる場合がある。同様に、図示された任意のスイッチは、概念的なものである。それらの機能は、プログラムロジックの動作を通して、専用ロジックを通して、プログラム制御と専用ロジックのインタラクションを通して、更には手動的に実行され、特定の技術は、コンテクストから詳細に理解されるように実現者により選択可能である。

本発明の請求では、特定の機能を実行する手段として表現されるエレメントは、たとえばａ）その機能を実行する回路エレメントの組み合わせ、又は、ｂ）その機能を実行するためにそのソフトウェアを実行する適切な回路と結合されるファームウェア、マイクロコード等を含む任意の形式のソフトウェアを含む、その機能を実行する任意のやり方を包含することが意図される。係る請求項により定義される本発明は、様々な引用される手段により提供される機能が結合され、請求項が要求するやり方で集約される。したがって、それらの機能を提供することができる任意の手段が本明細書で示されるそれら機能に等価であるとみなされる。

本発明によれば、方法及び装置は、レイヤ間のテクスチャ内の予測について提供される。例示的な実施の形態によれば、レイヤ間のテクスチャ内の予測は、エンハンスメントレイヤの残差の空間的なイントラ予測についてＨ．２６４規格のサブクローズ８．３で規定される方法を使用して（サブクローズ８．３で規定される関連する方法はＩＮＴＲＡ＿ＢＬＳと本明細書で呼ばれる）、エンハンスメントレイヤの残差の空間的なイントラ予測を可能にすることで改善される。

ＩＮＴＲＡ＿ＢＬＳの使用について１つの理由は、空間スケーラビリティについて、一般的なエンハンスメントレイヤの残差は、エッジのような多数の高周波成分を含むことである。空間イントラ予測は、特に高いビットレートで更なる詳細を保持する役割を果たす。しかし、本発明の原理のアプローチは、ＩＮＴＲＡ１６×１６が選択される場合にたとえばｍｂ＿ｔｙｐｅ、イントラ予測モード（ＰｒｅｄＭｏｄｅ）又はｃｂｐパターンのような、ＩＮＴＲＡ＿ＢＬよりも多くのシンタックスビットを符号化することを含む場合がある。ＩＮＴＲＡ＿ＢＬ及びＩＮＴＲＡ＿ＢＬＳの両者の利点を結合するため、ＩＮＴＲＡ＿ＢＬ又はＩＮＴＲＡ＿ＢＬＳを選択するためのマクロブロック適合型のアプローチが本発明の原理に従って提案される。空間イントラ予測のオーバヘッドを低減するため、（アップサンプルされた）ベースレイヤのイントラ予測モードとエンハンスメントレイヤにおける空間的な隣接からの最も可能性のあるモードとを連帯的に考慮することでシンタックスを簡単にするアプローチが本明細書で提供される。

ＩＮＴＲＡ＿ＢＬモードについて、デコーダサイドで、逆量子化及び逆変換後のレイヤ間の残差が（アップサンプルされた）再構成されたベースレイヤに直接加えられ、再構成されたエンハンスメントレイヤのマクロブロックが形成される。ＩＮＴＲＡ＿ＢＬＳモードについて、デコーダサイドで、（アップサンプルされた）再構成されたベースレイヤからの隣接のマクロブロックの残差は、１２８を加えて、（０，２５５）にクリップすることで調節され、Ｈ．２６４規格のサブクローズ８．３で規定されるように現在のマクロブロックの空間のイントラ予測のために使用される。逆量子化及び逆変換の後に受信された残差は、空間イントラ予測に加えられる。１２８の減算及び（−２５６，２５５）へのクリッピングが実行される。レイヤ間のイントラ予測された残差は、（アップサンプルされた）再構成されたベースレイヤと結合され、再構成されたエンハンスメントレイヤのマクロブロックが形成される。

ＩＮＴＲＡ＿ＢＬ及びＩＮＴＲＡ＿ＢＬＳモードのマクロブロック適応型の選択を可能にするため、ｉｎｔｒａ＿ｂｌｓ＿ｆｌａｇと呼ばれるフラグは、それぞれのマクロブロックについてどのモードが使用されるかを指示するために利用される。Ｈ．２６４規格では、スケーラブルビデオ符号化について、対応するベースレイヤのマクロブロックがイントラとして符号化されるときにのみＩＮＴＲＡ＿ＢＬＳモードを可能にする制限が課される場合に、既存のシンタックスが利用される場合がある。係るケースでは、ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇは、現在のマクロブロックについてｍｂ＿ｔｙｐｅが対応するベースマクロブロックから推定することができるかを規定するために使用される。ｉｎｔｒａ＿ｂａｓｅ＿ｆｌａｇは、ＩＮＴＲＡ＿ＢＬモードが使用されているかを規定するために使用される。対応するベースレイヤマクロブロックがイントラとして符号化されるとき、１に等しいｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇは、１に等しいｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇのみが符号化されることを意味する、ｉｎｔｒａ＿ｂａｓｅ＿ｆｌａｇが１に等しいことを推定するために使用される。ＩＮＴＲＡ＿ＢＬＳモードを指示するため、ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇは０に設定され、ｉｎｔｒａ＿ｂａｓｅ＿ｆｌａｇは１に設定される場合がある。

図１に進み、本発明が適用される例示的なＪｏｉｎｔ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｍｏｄｅｌ Ｖｅｒｓｉｏｎ ２．０（以下、“ＪＳＶＭ２．０”と呼ぶ）エンコーダは、参照符号１００により一般に示される。ＪＳＶＭ２．０エンコーダ１００は、３つの空間レイヤ及び動き補償された時間フィルタリングを使用する。ＪＳＶＭエンコーダ１００は、２次元（２Ｄ）デジメータ１０４、２Ｄデジメータ１０６、及び動き補償された時間フィルタリング（ＭＣＴＦ）モジュール１０８を含み、それぞれビデオ信号データ１０２を受信する入力を有する。

２Ｄデジメータ１０６の出力は、ＭＣＴＦモジュール１１０の入力との信号通信で接続される。ＭＣＴＦモジュール１１０の第一の入力は、動きコーダ１１２の入力との信号通信で接続され、ＭＣＴＦモジュール１１０の第二の出力は、予測モジュール１１６の入力との信号通信で接続される。動きコーダ１１２の第一の出力は、マルチプレクサ１１４の第一の入力との信号通信で接続される。動きコーダ１１２の第二の出力は、動きコーダ１２４の第一の入力との信号通信で接続される。予測モジュール１１６の第一の出力は、空間変換器１１８の入力との信号通信で接続される。空間変換器１１８の出力は、マルチプレクサ１１４の第二の入力との信号通信で接続される。予測モジュール１１６の第二の出力は、インターポレータ１２０の入力との信号通信で接続される。インターポレータの出力は、予測モジュール１２２の第一の入力との信号通信で接続される。予測モジュール１２２の第一の出力は、空間変換器１２６の入力との信号通信で接続される。空間変換器１２６の出力は、マルチプレクサ１１４の第二の入力との信号通信で接続される。予測モジュール１２２の第二の出力は、インターポレータ１３０の入力との信号通信で接続される。インターポレータ１３０の出力は、予測モジュール１３４の第一の入力との信号通信で接続される。予測モジュール１３４の出力は、空間変換器１３６との信号通信で接続される。空間変換器の出力は、マルチプレクサ１１４の第二の入力との信号通信で接続される。

２Ｄデジメータ１０４の出力は、ＭＣＴＦモジュール１２８の入力との信号通信で接続される。ＭＣＴＦモジュール１２８の第一の出力は、動きコーダ１２４の第二の入力との信号通信で接続される。動きコーダ１２４の第一の出力は、マルチプレクサ１１４の第一の入力との信号通信で接続される。動きコーダ１２４の第二の出力は、動きコーダ１３２の第一の入力との信号通信で接続される。ＭＣＴＦモジュール１２８の第二の出力は、予測モジュール１２２の第二の入力との信号通信で接続される。

ＭＣＴＦモジュール１０８の第一の出力は、動きコーダ１３２の第二の入力との信号通信で接続される。動きコーダ１３２の出力は、マルチプレクサ１１４の第一の入力との信号通信で接続される。ＭＣＴＦモジュール１０８の第二の出力は、予測モジュール１３４の第二の入力との信号通信で接続される。マルチプレクサ１１４の出力は、出力ビットストリーム１３８を提供する。

それぞれの空間レイヤについて、動き補償された時間分解が実行される。この分解は、時間スケーラビリティを提供する。下位の空間レイヤからの動き情報は、上位のレイヤでの動きの予測のために使用することができる。テクスチャ符号化について、連続する空間レイヤ間の空間予測は、冗長度を除くために適用することができる。イントラ予測又は動き補償されたインター予測から得られる残差信号は、変換符号化される。クオリティベースレイヤの残差は、それぞれの空間レイヤでの最小の再構成の品質を提供する。このクオリティベースレイヤは、レイヤ間の予測が適用されない場合、Ｈ．２６４規格に準拠するストリームに符号化される。クオリティスケーラビリティについて、クオリティエンハンスメントレイヤが更に符号化される。これらエンハンスメントレイヤは、粗い粒状度の品質又は細かい粒状度の品質の（ＳＮＲ）スケーラビリティの何れかを選択するために選択することができる。

図２に進み、本発明が適用される例示的なスケーラブルビデオデコーダは、参照符号２００により全般的に示される。デマルチプレクサ２０２の入力は、スケーラブルビットストリームを受信するため、スケータブルビデオデコーダ２００への入力として利用可能である。デマルチプレクサ２０２の第一の出力は、空間逆変換ＳＮＲスケーラブルエントロピーデコーダ２０４の入力との信号通信で接続される。空間逆変換ＳＮＲスケーラブルエントロピーデコーダ２０４の第一の出力は、予測モジュール２０６の第一の入力との信号通信で接続される。予測モジュール２０６の出力は、逆ＭＣＴＦモジュール２０８の第一の入力との信号通信で接続される。

空間逆変換ＳＮＲスケーラブルエントロピーデコーダ２０４の第二の出力は、動きベクトル（ＭＶ）デコーダ２１０の第一の入力との信号通信で接続される。ＭＶデコーダ２１０の出力は、逆ＭＣＴＦモジュール２０８の第二の入力との信号通信で接続される。

デマルチプレクサ２０２の第二の出力は、空間逆変換ＳＮＲスケーラブルエントロピーデコーダ２１２の入力との信号通信で接続される。空間逆変換ＳＮＲスケーラブルエントロピーデコーダ２１２の第一の出力は、予測モジュール２１４の第一の入力との信号通信で接続される。予測モジュール２１４の第一の出力は、インターポレーションモジュール２１６の入力との信号通信で接続される。インターポレーションモジュール２１６の出力は、予測モジュール２０６の第二の入力との信号通信で接続される。予測モジュール２１４の第二の出力は、逆ＭＣＴＦモジュール２１８の第一の入力との信号通信で接続される。

空間逆変換ＳＮＲスケーラブルエントロピーデコーダ２１２の第二の出力は、ＭＶデコーダ２２０の第一の入力との信号通信で接続される。ＭＶデコーダ２２０の第一の入力は、ＭＶデコーダ２１０の第二の入力との信号通信で接続される。ＭＶデコーダ２２０の第二の出力は、逆ＭＣＴＦモジュール２１８の第二の入力との信号通信で接続される。

デマルチプレクサ２０２の第三の出力は、空間逆変換ＳＮＲスケーラブルエントロピーデコーダ２２２の入力との信号通信で接続される。空間逆変換ＳＮＲスケーラブルエントロピーデコーダ２２２の第一の出力は、予測モジュール２２４の入力との信号通信で接続される。予測モジュール２２４の第一の出力は、インターポレーションモジュール２２６の入力との信号通信で接続される。インターポレーションモジュール２２６の出力は、予測モジュール２１４の第二の入力との信号通信で接続される。

予測モジュール２２４の第二の出力は、逆ＭＣＴＦモジュール２２８の第一の入力との信号通信で接続される。空間逆変換ＳＮＲスケーラブルエントロピーデコーダ２２２の第二の出力は、ＭＶデコーダ２３０の入力との信号通信で接続される。ＭＶデコーダ２３０の第一の出力は、ＭＶデコーダ２２０の第二の入力との信号通信で接続される。ＭＶデコーダ２３０の第二の出力は、逆ＭＣＴＦモジュール２２８の第二の入力との信号通信で接続される。

逆ＭＣＴＦモジュール２２８の出力は、レイヤ０の信号を出力するため、デコーダ２００の出力として利用可能である。逆ＭＣＴＦモジュール２１８の出力は、レイヤ１の信号を出力するため、デコーダ２００の出力として利用可能である。逆ＭＣＴＦモジュール２０８の出力は、レイヤ２の信号を出力するため、デコーダ２００の出力として利用可能である。

表１は、対応するベースレイヤモードがイントラであるとき、ＩＮＴＲＡ＿ＢＬモードとＩＮＴＲＡ＿ＢＬＳモードのシンタックスがどのように解釈されるかを説明する。対応するベースレイヤモードがイントラではない場合、ＩＮＴＲＡ＿ＢＬはｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇ＝０及びｉｎｔｒａ＿ｂａｓｅ＿ｆｌａｇ＝１により示され、ＩＮＴＲＡ＿ＢＬＳは許容されない。

図３に進み、本発明の原理が適用されるＩＮＴＲＡ＿ＢＬの符号化プロセスは、参照符号３００により示される。ＩＮＴＲＡ＿ＢＬの符号化プロセス３００は、機能ブロック３１７に関して説明されるように、マクロブロックヘッダにシンタックスフィールドを追加するために変更されることが理解される。

開始ブロック３０５は、機能ブロック３１０に制御を移す。機能ブロック３１０は、対応するベースレイヤのマクロブロックをアップサンプルし、機能ブロック３１５に制御を移す。機能ブロック３１５は、エンハンスメントレイヤにおける現在のマクロブロックと対応するアップサンプルされたベースレイヤのマクロブロックの間の残差を計算し、機能ブロック３１７に制御を移す。機能ブロック３１７は、マクロブロックレベルでシンタックス“ｉｎｔｒａ＿ｂｌｓ＿ｆｌａｇ”を書込み、機能ブロック３２０に制御を移す。機能ブロック３２０は、残差を変換及び量子化し、機能ブロック３２５に制御を移す。機能ブロック３２５は、変換及び量子化された残差をエントロピー符号化し、符号化されたビットストリームが形成され、エンドブロック３３０に制御を移す。

図４に進み、本発明が適用されるＩＮＴＲＡ＿ＢＬの復号化方法は、参照符号４００により示される。ＩＮＴＲＡ＿ＢＬの復号化プロセス４００は、機能ブロック４１２に関して記載されるように、マクロブロックヘッダにおけるシンタックスフィールドを読み取るために変更されることが理解される。

開始ブロック４０５は、機能ブロック４１０及び機能ブロック４１５に制御を移す。機能ブロック４１０は、符号化されたビットストリームをエントロピー復号化して、圧縮されていないビットストリームを供給し、機能ブロック４１２に制御を移す。機能ブロック４１２は、マクロブロックレベルでシンタックス“ｉｎｔｒａ＿ｂｌｓ＿ｆｌａｇ”を読取り、機能ブロック４２０に制御を移す。機能ブロック４２０は、圧縮されていないビットストリームを逆変換及び逆量子化して、デコードされた残余を供給し、機能ブロック４２５に制御を移す。機能ブロック４１５は、対応するベースレイヤのマクロブロックをアップサンプルし、機能ブロック４２５に制御を移す。

機能ブロック４２５は、デコードされた残余とアップサンプルされた対応するベースレイヤのマクロブロックとを結合し、機能ブロック４３０に制御を移す。機能ブロック４３０は、エンハンスメントレイヤにおける対応するマクロブロックを再構成し、終了ブロック４３５に制御を移す。

図５に進み、本発明が適用されるＩＮＴＲＡ＿ＢＬＳの符号化プロセスは、参照符号５００により示される。

開始ブロック５０５は、機能ブロック５１０に制御を移す。機能ブロック５１０は、対応するベースレイヤのマクロブロックと、対応するベースレイヤのマクロブロックの近隣とをアップサンプルし、機能ブロック５１５に制御を移す。機能ブロック５１５は、現在のマクロブロックと、エンハンスメントレイヤにおける現在のマクロブロックの空間の近隣と、対応するアップサンプリングされたベースレイヤのマクロブロックとの間で残差を計算し、１２８を加えて、｛０，２５５｝にクリップし、機能ブロック５２０に制御を移す。機能ブロック５２０は、現在のマクロブロックの空間の近隣からの空間イントラ予測を適用し、機能ブロック５２５に制御を移す。機能ブロック５２５は、空間イントラ予測の後に残差を計算し、機能ブロック５３０の制御を移す。機能ブロック５３０は、残差を変換及び量子化し、機能ブロック５３５に制御を移す。機能ブロック５３５は、変換及び量子化された残差をエントロピー符号化して、符号化されたビットストリームを形成し、終了ブロック５４０に制御を移す。

図６に進み、本発明が適用されるＩＮＴＲＡ＿ＢＬＳの復号化プロセスは、参照符号６００により示される。

開始ブロック６０５は、機能ブロック６１０及び機能ブロック６３５に制御を移す。機能ブロック６１０は、対応するベースレイヤのマクロブロックと、対応するベースレイヤのマクロブロックの近隣とをアップサンプルし、機能ブロック６１５に制御を移す。機能ブロック６１５は、エンハンスメントレイヤにおける現在のマクロブロックの空間の近隣と、対応するアップサンプルされたベースレイヤのマクロブロックとの間の残差を計算し、１２８を加え、｛−２５６，２５５｝にクリップし、機能ブロック６２０に制御を移す。機能ブロック６２０は、現在のマクロブロックの空間の近隣から空間のイントラ予測を適用し、機能ブロック６２５に制御を移す。

機能ブロック６３５は、符号化されたビットストリームをエントロピー復号化し、圧縮されていないビットストリームを供給し、機能ブロック６４０に制御を移す。機能ブロック６４０は、圧縮されていないビットストリームを逆変換及び逆量子化して、デコードされた予測の残差を供給し、機能ブロック６２５に制御を移す。

機能ブロック６２５は、デコードされた予測の残差を現在のマクロブロックの空間の近隣からの空間のイントラ予測と結合して、合計を供給し、機能ブロック６３０に制御を移す。機能ブロック６３０は、合計から１２８を差し引いて差を取得し、この差を｛−２５６，２５６｝にクリップし、クリップされた差を対応するアップサンプルされたベースレイヤのマクロブロックに加え、終了ブロック６３５に制御を移す。

図７に進み、ＩＮＴＲＡ＿ＢＬ及びＩＮＴＲＡ＿ＢＬＳモードのマクロブロックに適応する選択の例示的な符号化プロセスは、参照符号７００により示される。

開始ブロック７０５は、機能ブロック７１０、機能ブロック７１５及び機能ブロック７２０に制御を移す。機能ブロック７１０，７２０及び７３０は、ＩＮＴＲＡ＿ＢＬ、ＩＮＴＲＡ＿ＢＬＳ、及び他の予測モードをそれぞれテストし、機能ブロック７２５に制御を移す。機能ブロック７２５は、ＩＮＴＲＡ＿ＢＬ、ＩＮＴＲＡ＿ＢＬＳ及び他の予測モードのうちから最良の予測モードを選択して、終了ブロック７３０に制御を移す。

図８に進み、ＩＮＴＲＡ＿ＢＬ及びＩＮＴＲＡ＿ＢＬＳモードのマクロブロックに適応する選択の例示的な復号化プロセスは、参照符号８００により示される。

開始ブロック８０５は、判定ブロック８１０に制御を移す。判定ブロック８１０は、現在のマクロブロックがＩＮＴＲＡ＿ＢＬモードを使用してエンコードされたか否かを判定する。現在のマクロブロックがＩＮＴＲＡ＿ＢＬモードを使用してエンコードされていない場合、判定ブロック８１５に制御が移る。さもなければ、機能ブロック８３０に制御が移る。

判定ブロック８１５は、現在のマクロブロックがＩＮＴＲＡ＿ＢＬＳモードを使用してエンコードされたか否かを判定する。現在のマクロブロックがＩＮＴＲＡ＿ＢＬＳモードを使用してエンコードされていない場合、機能ブロック８２０に制御が移る。さもなければ、機能ブロック８３５に制御が移る。

機能ブロック８３０は、ＩＮＴＲＡ＿ＢＬモードを使用して現在のマクロブロックをデコードし、機能ブロック８２５に制御が移る。機能ブロック８３５は、ＩＮＴＲＡ＿ＢＬＳモードを使用して現在のマクロブロックをデコードし、機能ブロック８２５に制御を移す。

機能ブロック８２０は、（ＩＮＴＲＡ＿ＢＬ又はＩＮＴＲＡ＿ＢＬＳ以外の）別の予測モードを使用して現在のマクロブロックをデコードし、機能ブロック８２５に制御を移す。

機能ブロック８２５は、デコードされた現在のマクロブロックを出力し、終了ブロック８４０に制御を移す。

表２は、インデックスｌｕｍａ４×４Ｂｌｋｌｄｘ＝０．．１５をもつ４×４ｌｕｍａブロックのｉｎｔｒａ＿４×４予測を規定するために使用されるシンタックスを示す。

ｉｎｔｒａ４×４ＰｒｅｄＭｏｄｅ［ｌｕｍａ４×４Ｂｌｋｌｄｘ］は、以下の手順を適用することで導出され、この場合、Ａ及びＢは、４×４ｌｕｍａブロックの左及び上の近隣である。

（外１）

Ｈ．２６４では、空間の隣接するブロックのＰｒｅｄＭｏｄｅは、オーバヘッドを低減してｉｎｔｒａ４×４の予測を符号化するために使用される。エンハンスメントレイヤのスケーラブルビデオ符号化スキームに関連する実施の形態では、対応するベースレイヤのマクロブロックがイントラとして符号化された場合、式（１）に示されるように、アップサンプルされたベースレイヤのｉｎｔｒａ４×４のＰｒｅｄＭｏｄｅ及びエンハンスメントレイヤにおける空間の隣接するブロックのＰｒｅｄＭｏｄｅの両者に基づいてｉｎｔｒａ４×４のＰｒｅｄＭｏｄｅをエンコードすることが提案される。ここでＦは任意の関数である。

表３は、式（１）を満たすシンタックスを示し、対応するベースレイヤのマクロブロックがイントラとして符号化されるとき、アップサンプルされたベースレイヤのｉｎｔｒａ４×４のＰｒｅｄＭｏｄｅ及びエンハンスメントレイヤにおける空間の隣接するブロックのＰｒｅｄＭｏｄｅの両者に基づいてｉｎｔｒａ４×４のＰｒｅｄＭｏｄｅを規定するために使用される。

ｉｎｔｒａ４×４ＰｒｅｄＭｏｄｅ［ｌｕｍａ４×４Ｂｌｋｌｄｘ］は、以下の手順を適用することで導出される。

（外２）

表４は、式（１）を満たすシンタックスを示し、ｉｎｔｒａ４×４のＰｒｅｄＭｏｄｅを規定するために使用される。表４では、ｉｎｔｒａ４×４のＰｒｅｄＭｏｄｅは、ｐｒｅｄＩｎｔｒａ４×４ＰｒｅｄＭｏｄｅ＝＝ｉｎｔｒａＭｘＭＰｒｅｄＭｏｄｅＢａｓｅである場合、強制的にｐｒｅｄＩｎｔｒａ４×４ＰｒｅｄＭｏｄｅに等しくされる。

ｉｎｔｒａ４×４ＰｒｅｄＭｏｄｅ［ｌｕｍａ４×４Ｂｌｋｌｄｘ］は、以下の手順を適用することで導出される。

（外３）

なお、上記説明及び例は、ｉｎｔｒａ４×４ＰｒｅｄＭｏｄｅの使用に関連しているが、本発明の原理は、そのように限定されず、本明細書で提供された本発明の原理の教示が与えられた場合、当業者は、本発明の範囲が維持される一方で、本発明の原理が適用されるモードを考案することができることを理解されたい。たとえば、本発明の原理は、限定されるものではないが、ｉｎｔｒａ８×８ＰｒｅｄＭｏｄｅに適用される場合もある。

説明は、本発明の多数の付随する利点／特徴の幾つかが与えられる。たとえば、１つの利点／特徴は、エンハンスメントレイヤのマクロブロックと対応するアップサンプルされたベースレイヤのマクロブロックとの間で発生されたエンハンスメントレイヤの残差を符号化するため、マクロブロックに適応することに基づいて、空間イントラ予測を選択的に使用するエンコーダを含むスケーラブルビデオエンコーダである。別の利点／特徴は、上述されたようにスケーラブルビデオエンコーダであり、エンハンスメントレイヤの残差を符号化するために使用される空間イントラ予測は、既存の空間イントラ予測技術に準拠する。

更に、別の利点／特徴は、上述されたようにスケーラブルビデオエンコーダであり、エンコーダは、どの予測モードがエンハンスメントレイヤの残差のために使用されるかを示すために、マクロブロックのヘッダにシンタックスフィールドを加える。更に、別の利点／特徴は、上述のようにスケーラブルビデオエンコーダであり、エンコーダは、ベースレイヤの予測モードがイントラであるとき、どの予測モードがエンハンスメントレイヤの残差のために使用されるかに関する推定を提供するため、既存のシンタックスを変更する。更に、別の利点／特徴は、上述のように既存のシンタックスを変更したスケーラブルビデオエンコーダであり、エンコーダは、ベースレイヤの予測モードがインターに束縛されるとき、エンハンスメントレイヤの残差を符号化するために空間イントラ予測以外の予測モードを使用する。

また、別の利点／特徴は、上述のようにスケーラブルビデオエンコーダであり、エンコーダは、空間イントラ予測モードによらないエンハンスメントレイヤの残差、空間イントラ予測モードによるエンハンスメントレイヤの残差、及び空間イントラ予測モードによるエンハンスメントレイヤの画素を含めて、異なる利用可能な予測モードのなかからエンハンスメントレイヤでどの予測モードを使用するかを判定する。更に、別の利点／特徴は、上述されたようにどの予測モードをエンハンスメントレイヤに使用するかを判定するためのスケーラブルビデオエンコーダである。エンコーダは、後天性の判定基準に基づくか、又は異なる利用可能な予測モードの過去の統計量及びエンハンスメントレイヤの残差及びエンハンスメントレイヤの画素の特性に基づいて、異なる利用可能な予測モードからエンハンスメントレイヤについてどの予測モードを使用するかを判定する。

更に、別の利点／特徴は、エンハンスメントレイヤにおける空間の近隣のイントラ予測モードとアップサンプルされた対応するベースレイヤの予測モードの両者を使用してエンハンスメントレイヤを符号化するエンコーダを含むスケーラブルビデオエンコーダである。更に、別の利点／特徴は、上述のようにスケーラブルビデオエンコーダである。エンコーダは、エンハンスメントレイヤで使用された空間の近隣のイントラ予測モードがアップサンプルされた対応するベースレイヤの予測モードと同じであるとき、予測モードを合図することなしにマクロブロックヘッダにフラグを加える。

また、別の利点／特徴は、上述のようにスケーラブルビデオエンコーダである。エンコーダは、空間の近隣のイントラ予測モードがアップサンプルされた対応するベースレイヤの予測モードと同じであるとき、対応するシンタックスを送出することなしに、現在のイントラ予測モードが、アップサンプルされた対応するベースレイヤモードと強制的に同じになるようにする。更に、別の利点／特徴は、マクロブロックに適応することに基づいて、エンハンスメントレイヤのマクロブロックと対応するアップサンプルされたベースレイヤのマクロブロックとの間で発生されたエンハンスメントレイヤの残差をデコードするため、空間イントラ予測を選択的に使用するデコーダを含むスケーラブルビデオデコーダである。

更に、別の利点／特徴は、上述のようにスケーラブルビデオデコーダであり、エンハンスメントレイヤの残差をデコードするために使用される空間イントラ予測は、既存の空間イントラ予測技術と準拠する。更に、別の利点／特徴は、上述したようにスケーラブルビデオデコーダである。デコーダは、マクロブロックのヘッダにおけるシンタックスフィールドを使用して、エンハンスメントレイヤの残差についてどの予測モードを使用するかを判定する。また、別の利点／特徴は、上述したようにスケーラブルビデオデコーダである。デコーダは、ベースレイヤの予測モードがイントラであるとき、エンハンスメントレイヤの残差を符号化するためにどの予測モードが使用されたかに関して、変更された既存のシンタックスで提供される推定を評価する。

更に、別の利点／特徴は、上述のように既存のシンタックスを変更するスケーラブルビデオデコーダである。デコーダは、ベースレイヤの予測モードがインターに束縛されているとき、エンハンスメントレイヤの残差をデコードするために空間イントラ予測以外の予測モードを使用する。更に、別の利点／特徴は、上述されたようなスケーラブルビデオデコーダであり、このデコーダは、分析されたシンタックスに基づいてエンハンスメントレイヤの残差で使用するための予測モード、空間イントラ予測モードによらないエンハンスメントレイヤの残差、空間イントラ予測モードによるエンハンスメントレイヤの残差、空間イントラ予測モードによるエンハンスメントレイヤの画素のなかから判定される予測モードを決定する。

また、別の利点／特徴は、エンハンスメントレイヤにおける空間の近隣のイントラ予測モード及びアップサンプルされた対応するベースレイヤ予測モードの両者を使用して、エンハンスメントレイヤをデコードするデコーダを含むスケーラブルビデオデコーダである。更に、別の利点／特徴は、上述されたようなスケーラブルビデオデコーダであり、このデコーダは、空間の近隣のイントラ予測モードがアップサンプルされた対応するベースレイヤの予測モードと同じであるとき、対応するシンタックスを受信することなしに、強制的に、現在のイントラ予測モードが、アップサンプルされた対応するベースレイヤのモードと同じになるようにする。

更に、別の利点／特徴は、上述されたようなスケーラブルビデオデコーダであり、このデコーダは、マクロブロックのヘッダにおけるフラグに基づいてエンハンスメントレイヤについてどのイントラ予測モードを使用するかを判定する。更に、別の利点／特徴は、上述されたようにスケーラブルビデオデコーダであり、このデコーダは、空間の近隣のイントラ予測モードがアップサンプルされた対応するベースレイヤのモードと同じであるとき、エンハンスメントレイヤのイントラ予測モードがアップサンプルされた対応するベースレイヤモードと同じであるかを判定する。

本発明のこれらの特徴及び利点、並びに他の特徴及び利点は、本明細書での教示に基づいて当業者により容易に確認される。なお、本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途向けプロセッサ又はそれらの組み合わせの様々な形式で実現される場合があることを理解されたい。

最も好ましくは、本発明の教示は、ハードウェアとソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラムストレージユニットで有形に実施されるアプリケーションプログラムとして実現される。アプリケーションプログラムは、適切なアーキテクチャを有するコンピュータにアップロードされるか、コンピュータにより実行される。好ましくは、コンピュータは、１以上の中央処理装置（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）及び入力／出力（Ｉ／Ｏ）インタフェースのようなハードウェアを有するコンピュータプラットフォームで実現される。コンピュータプラットフォームは、オペレーティングシステム及びマイクロインストラクションコードを含む場合がある。

本明細書で記載される様々なプロセス及び機能は、ＣＰＵにより実行される場合がある、マイクロインストラクションコードの一部又はアプリケーションプログラムの一部、又はその組み合わせの何れかである。さらに、様々な他の周辺ユニットは、更なるデータストレージユニットとプリンティングユニットのようなコンピュータプラットフォームに接続される。

なお、添付図面で示された構成要素となるシステムコンポーネント及び方法の幾つかは、ソフトウェアで実現されるのが好ましいので、システムコンポーネント又はプロセス機能ブロック間の実際の接続は、本発明がプログラムされるやり方に依存して異なる場合がある。本明細書で教示が与えられると、当業者は、本発明のこれら及び類似の実現又はコンフィギュレーションを考案することができるであろう。

例示的な実施の形態は添付図面を参照して本明細書で記載されたが、本発明はそれら正確な実施の形態に限定されず、様々な変形及び変更が本発明の範囲又は精神から逸脱することなしに当業者により実施されることを理解されたい。全ての係る変形及び変更は、特許請求の範囲で述べたように本発明の範囲に含まれることが意図される。

本発明が適用される例示的なＪＳＶＭ（Ｊｏｉｎｔ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｍｏｄｅｌ）２．０エンコーダのブロック図である。 本発明が適用される例示的なデコーダのブロック図である。 本発明が適用されるＩＮＴＲＡ＿ＢＬの符号化プロセスのフローチャートである。 本発明が適用されるＩＮＴＲＡ＿ＢＬの復号化プロセスのフローチャートである。 本発明が適用されるＩＮＴＲＡ＿ＢＬＳの符号化プロセスのフローチャートである。 本発明が適用されるＩＮＴＲＡ＿ＢＬＳの復号化プロセスのフローチャートである。 本発明の原理に係る、ＩＮＴＲＡ＿ＢＬ及びＩＮＴＲＡ＿ＢＬＳモードのマクロブロック適応型の選択の例示的な符号化プロセスのフローチャートである。 本発明の原理に係る、ＩＮＴＲＡ＿ＢＬ及びＩＮＴＲＡ＿ＢＬＳモードのマクロブロック適応型の選択の例示的な符号化プロセスのフローチャートである。

Claims (44)

1. エンハンスメントレイヤのマクロブロックと対応するアップサンプルされたベースレイヤのマクロブロックの間で発生されたエンハンスメントレイヤの残差をマクロブロックに適応して符号化するため、空間イントラ予測を選択的に使用するエンコーダを有する装置。
2. 前記エンハンスメントレイヤの残差を符号化するために使用される空間イントラ予測は、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ）Ｈ．２６４規格の空間イントラ予測の技術に準拠する、
   請求項１記載の装置。
3. 前記エンコーダは、前記エンハンスメントレイヤの残差についてどの予測モードが使用されるかを示すため、マクロブロックのヘッダにシンタックスフィールドを加える、
   請求項１記載の装置。
4. 前記エンコーダは、ベースレイヤの予測モードがイントラであるとき、エンハンスメントレイヤの残差についてどの予測モードが使用されるかに関する推定を提供するため、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ）Ｈ．２６４規格のシンタックスを変更する、
   請求項１記載の装置。
5. 前記エンコーダは、ベースレイヤの予測モードがインターに束縛されているとき、エンハンスメントレイヤの残差を符号化するために空間イントラ予測以下の予測モードを使用する、
   請求項４記載の装置。
6. 前記エンコーダは、異なる利用可能な予測モードからエンハンスメントレイヤでどの予測モードを使用するかを決定し、前記異なる利用可能な予測モードは、空間イントラ予測モードによらないエンハンスメントレイヤの残差、空間イントラ予測モードによるエンハンスメントレイヤの残差、及び、空間イントラ予測モードによるエンハンスメントレイヤの画素を有する、
   請求項１記載の装置。
7. 前記エンコーダは、後天性の判定基準に基づくか、又は、異なる利用可能な予測モードの過去の統計量並びにエンハンスメントレイヤの残差及びエンハンスメントレイヤの画素の特性に基づいて、異なる利用可能な予測モードからエンハンスメントレイヤについてどの予測モードを使用するかを判定する、
   請求項６記載の装置。
8. エンハンスメントレイヤのマクロブロックと対応するアップサンプルされたベースレイヤのマクロブロックの間で発生されたエンハンスメントレイヤの残差をマクロブロックに適応して符号化するため、空間イントラ予測を選択的に使用するステップを含む、スケーラブルビデオ符号化方法。
9. 前記エンハンスメントレイヤの残差を符号化するために使用される空間イントラ予測は、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ）Ｈ．２６４規格の空間イントラ予測の技術に準拠する、
   請求項８記載の方法。
10. 前記エンハンスメントレイヤの残差についてどの予測モードが使用されるかを示すため、マクロブロックのヘッダにシンタックスフィールドを加えるステップを更に含む、
    請求項８記載の方法。
11. ベースレイヤの予測モードがイントラであるとき、エンハンスメントレイヤの残差についてどの予測モードが使用されるかに関する推定を提供するため、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ）Ｈ．２６４規格のシンタックスを変更するステップを更に含む、
    請求項８記載の方法。
12. ベースレイヤの予測モードがインターに束縛されているとき、エンハンスメントレイヤの残差を符号化するために空間イントラ予測以下の予測モードを使用するステップを更に含む、
    請求項１１記載の方法。
13. 異なる利用可能な予測モードからエンハンスメントレイヤでどの予測モードを使用するかを決定するステップを更に含み、
    前記異なる利用可能な予測モードは、空間イントラ予測モードによらないエンハンスメントレイヤの残差、空間イントラ予測モードによるエンハンスメントレイヤの残差、及び、空間イントラ予測モードによるエンハンスメントレイヤの画素を有する、
    請求項８記載の方法。
14. 後天性の判定基準に基づくか、又は、異なる利用可能な予測モードの過去の統計量並びにエンハンスメントレイヤの残差及びエンハンスメントレイヤの画素の特性に基づいて、異なる利用可能な予測モードからエンハンスメントレイヤについてどの予測モードを使用するかを判定するステップを更に含む、
    請求項１３記載の方法。
15. エンハンスメントレイヤにおける空間的に近隣のイントラ予測モードとアップサンプルされた対応するベースレイヤの予測モードの両者を使用してエンハンスメントレイヤを符号化するエンコーダを有する装置。
16. 前記エンコーダは、前記エンハンスメントレイヤで使用される空間的に近隣のイントラ予測モードがアップサンプルされた対応するベースレイヤの予測モードと同じであるとき、予測モードを指示することなしにマクロブロックのヘッダにフラグを加える、
    請求項１５記載の装置。
17. 前記エンコーダは、空間的に近隣のイントラ予測モードがアップサンプルされた対応するベースレイヤの予測モードと同じであるとき、対応するシンタックスを送出することなしに、強制的に、現在のイントラ予測モードがアップサンプルされた対応するベースレイヤのモードと同じになるようにする、
    請求項１５記載の装置。
18. エンハンスメントレイヤにおける空間的に近隣のイントラ予測モードとアップサンプルされた対応するベースレイヤの予測モードの両者を使用してエンハンスメントレイヤを符号化するステップを含む、スケーラブルビデオ符号化方法。
19. エンハンスメントレイヤで使用される空間的に近隣のイントラ予測モードがアップサンプルされた対応するベースレイヤの予測モードと同じであるとき、予測モードを指示することなしに、マクロブロックのヘッダにフラグを加えるステップを更に含む、
    請求項１８記載の方法。
20. 空間的に近隣のイントラ予測モードがアップサンプルされた対応するベースレイヤの予測モードと同じであるとき、対応するシンタックスを送出することなしに、強制的に、現在のイントラ予測モードがアップサンプルされた対応するベースレイヤのモードと同じになるようにするステップを更に含む、
    請求項１８記載の方法。
21. エンハンスメントレイヤのマクロブロックと対応するアップサンプルされたベースレイヤのマクロブロックの間で発生されたエンハンスメントレイヤの残差をマクロブロックに適応して復号化するため、空間イントラ予測を選択的に使用するデコーダを有する装置。
22. 前記エンハンスメントレイヤの残差を復号化するために使用される空間イントラ予測は、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ）Ｈ．２６４規格の空間イントラ予測の技術に準拠する、
    請求項２１記載の装置。
23. 前記デコーダは、マクロブロックのヘッダにおけるシンタックスフィールドを使用して、前記エンハンスメントレイヤの残差についてどの予測モードを使用するかを決定する、
    請求項２１記載の装置。
24. 前記デコーダは、ベースレイヤの予測モードがイントラであるとき、エンハンスメントレイヤの残差を符号化するためにどの予測モードが使用されたかに関して、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ）Ｈ．２６４規格の変更されたシンタックスで提供される推定を評価する、
    請求項２１記載の装置。
25. 前記デコーダは、ベースレイヤの予測モードがインターに束縛されているとき、エンハンスメントレイヤの残差を復号化するために空間イントラ予測以下の予測モードを使用する、
    請求項２４記載の装置。
26. 前記デコーダは、分析されたシンタックスに基づいてエンハンスメントレイヤの残差での使用のための予測モードを決定し、
    前記予測モードは、空間イントラ予測モードによらないエンハンスメントレイヤの残差、空間イントラ予測モードによるエンハンスメントレイヤの残差、及び、空間イントラ予測モードによるエンハンスメントレイヤの画素から決定される、
    請求項２１記載の装置。
27. エンハンスメントレイヤのマクロブロックと対応するアップサンプルされたベースレイヤのマクロブロックの間で発生されたエンハンスメントレイヤの残差をマクロブロックに適応して復号化するため、空間イントラ予測を選択的に使用するステップを含む、スケーラブルビデオ復号化方法。
28. 前記エンハンスメントレイヤの残差を復号化するために使用される空間イントラ予測は、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ）Ｈ．２６４規格の空間イントラ予測の技術に準拠する、
    請求項２７記載の方法。
29. マクロブロックのヘッダにおけるシンタックスフィールドを使用して、前記エンハンスメントレイヤの残差についてどの予測モードを使用するかを決定するステップを更に含む、
    請求項２７記載の方法。
30. ベースレイヤの予測モードがイントラであるとき、エンハンスメントレイヤの残差を符号化するためにどの予測モードが使用されたかに関して、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ）Ｈ．２６４規格の変更されたシンタックスで提供される推定を評価するステップを更に含む、
    請求項２７記載の方法。
31. ベースレイヤの予測モードがインターに束縛されているとき、エンハンスメントレイヤの残差を復号化するために空間イントラ予測以下の予測モードを使用するステップを更に含む、
    請求項３０記載の方法。
32. 分析されたシンタックスに基づいて、空間イントラ予測モードによらないエンハンスメントレイヤの残差、空間イントラ予測モードによるエンハンスメントレイヤの残差、及び、空間イントラ予測モードによるエンハンスメントレイヤの画素から、エンハンスメントレイヤの残差でのどの予測モードを使用するかを決定するステップを更に含む、
    請求項２７記載の方法。
33. エンハンスメントレイヤにおける空間的に近隣のイントラ予測モードとアップサンプルされた対応するベースレイヤの予測モードの両者を使用してエンハンスメントレイヤを復号化するデコーダを有する装置。
34. 前記デコーダは、空間的に近隣のイントラ予測モードがアップサンプルされた対応するベースレイヤの予測モードと同じであるとき、対応するシンタックスを受信することなしに、強制的に、現在のイントラ予測モードがアップサンプルされた対応するベースレイヤのモードと同じになるようにする、
    請求項３３記載の装置。
35. 前記デコーダは、マクロブロックのヘッダにおけるフラグに基づいてエンハンスメントレイヤについてどのイントラ予測モードを使用するかを決定する、
    請求項３３記載の装置。
36. 前記デコーダは、空間的に近隣のイントラ予測モードがアップサンプルされた対応するベースレイヤのモードと同じであるとき、アップサンプルされた対応するベースレイヤのモードと同じエンハンスメントレイヤのイントラ予測モードを決定する、
    請求項３３記載の装置。
37. エンハンスメントレイヤにおける空間的に近隣のイントラ予測モードとアップサンプルされた対応するベースレイヤの予測モードの両者を使用してエンハンスメントレイヤを復号化するステップを含む、スケーラブルビデオ復号化方法。
38. 空間的に近隣のイントラ予測モードがアップサンプルされた対応するベースレイヤの予測モードと同じであるとき、対応するシンタックスを受信することなしに、強制的に、現在のイントラ予測モードがアップサンプルされた対応するベースレイヤのモードと同じになるようにするステップを更に含む、
    請求項３７記載の方法。
39. マクロブロックのヘッダにおけるフラグに基づいてエンハンスメントレイヤについてどのイントラ予測モードを使用するかを決定するステップを更に含む、
    請求項３７記載の方法。
40. 空間的に近隣のイントラ予測モードがアップサンプルされた対応するベースレイヤのモードと同じであるとき、アップサンプルされた対応するベースレイヤのモードと同じエンハンスメントレイヤのイントラ予測モードを決定するステップを更に含む、
    請求項３７記載の方法。
41. マクロブロックに適応して空間イントラ予測を使用して選択的に符号化される、エンハンスメントレイヤのマクロブロックと対応するアップサンプルされたベースレイヤのマクロブロックの間で発生されるエンハンスメントレイヤの残差を含む、スケーラブルビデオ符号化のビデオ信号構造。
42. マクロブロックに適応して空間イントラ予測を使用して選択的に符号化される、エンハンスメントレイヤのマクロブロックと対応するアップサンプルされたベースレイヤのマクロブロックの間で発生されるエンハンスメントレイヤの残差を含む、符号化されるスケーラブルビデオ信号データを有する記憶媒体。
43. エンハンスメントレイヤにおける空間的に近隣のイントラ予測モードとアップサンプルされた対応するベースレイヤの予測モードの両者を使用して符号化されたエンハンスメントレイヤを含む、スケーラブルビデオ符号化のビデオ信号構造。
44. エンハンスメントレイヤにおける空間的に近隣のイントラ予測モードとアップサンプルされた対応するベースレイヤの予測モードの両者を使用して符号化されるエンハンスメントレイヤを有する、符号化されたスケーラブルビデオ信号データを有する記憶媒体。

Images