JP2009523395A

JP2009523395A - 精細粒度空間スケーラビリティによるビデオ符号化

Info

Publication number: JP2009523395A
Application number: JP2008550528A
Authority: JP
Inventors: バオ、イリアン; イエ、ヤン
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2006-01-11
Filing date: 2007-01-11
Publication date: 2009-06-18
Also published as: US20120201301A1; KR101005682B1; JP5497101B2; US20070160133A1; JP2012213190A; JP2012114928A; JP5296228B2; WO2007082288A1; CN101366283A; US8315308B2; EP1972146A1; KR20080094041A; CN101366283B

Abstract

本発明は一般化精細粒度スケーラビリティ（fine granularity scalability：ＦＧＳ）手法を使用して空間スケーラビリティを支援するビデオ符号化技術に関する。様々な程度の空間スケーラビリティは一般化ＦＧＳフォーマットで空間的スケーラブル増補層を送ることによって達成される。空間的スケーラブル増補ビットストリームはネットワーク条件、チャネル条件及び／または復号器の能力に順応させるために任意に切り詰められる。空間スケーラビリティに関する符号化係数及び構文要素は一般化ＦＧＳフォーマットに埋め込まれる。良いネットワークまたはチャネル条件、及び／または増補復号器能力のために、一つ以上の増補層を介して受取られた追加ビットによって符号化ビデオは異なる空間解像度に亘って空間解像度の増加及び連続的ビデオ品質の改善によって再構成が可能になる。その技術によって空間スケーラビリティは個別の層ではなく、任意のスケーラビリティを許容して、ＦＧＳ層として符号化されることが可能になる。その技術はそうでなければ部分的復号によって生じる誤り伝搬を抑制する特徴を含む。
【選択図】図３

Description

本出願は「一般的な精細粒度空間スケーラビリティによるビデオ符号化（VIDEO CODING WITH GENERIC FINE GRANULARITY SCALABILITY）」と題し、２００６年１月１１日出願の米国仮特許出願番号第６０／７５８，３２３号に対する優先権を主張する。

この発明はビデオ、特にディジタル・ビデオの符号化に関係する。

ディジタル・ビデオ機能はディジタル・テレビ、ディジタル直接放送システム、無線通信デバイス、携帯情報機器（ＰＤＡ）、ラップトップ・コンピュータ、デスクトップ・コンピュータ、ディジタル・カメラ、ディジタル記録デバイス、セルラーまたは衛星無線電話等を含めて、広範囲のデバイスに組込まれている。ディジタル・ビデオ・デバイスは動画ビデオ信号系列を効率的に作成し、修正し、伝送し、記憶し、記録し、且つ表示するのに従来のアナログ・ビデオ・システムに対して顕著な改善を行うことができる。

精細粒度スケーラビリティ（fine granularity scalability：ＦＧＳ）は一般に或るビット・レート範囲内でビデオ品質の素直な低下を達成するためにビデオ・ビットストリームを任意に切り詰める能力のことを云う。ＦＧＳ符号化ビデオ・ビットストリームは指定品質のベース層（base layer）、及びベース層に連係する一つ以上の増補層（enhancement layers）を含む。増補層はベース層の品質を精緻化する追加データを含む。一つ以上の増補層を介して、より多くのＦＧＳビットストリームが受取られ、且つ復号化されるので、復号ビデオの品質は向上する。

発明の概要

一般に、本発明は一般化精細粒度スケーラビリティ（ＦＧＳ）手法を用いて空間スケーラビリティを支援するビデオ符号化技術に関する。この発明によれば、様々な程度の空間スケーラビリティが一般化ＦＧＳフォーマットで空間的スケーラブル増補層を送ることによって達成される。空間スケーラビリティ層は連続的に改善されたビデオ品質によって空間スケーラビリティを可能にする個別増補層よりむしろＦＧＳ増補層として符号化される。

ビデオ符号化技術はそうでなければ部分的復号によって生じる誤り伝搬を低減させるために一つ以上の機能によって補完される。例えば、ビデオ符号化技術は浮動誤りを低減するイントラ・フレーム予測、空間誤り伝搬を低減するイントラ・ブロックの特定ＤＣモード、及びイントラ予測のためにベース層内のピクセルのみを使用することの制限に関して漏洩予測手法を適用する。

空間スケーラビリティ増補層（spatial scalability enhancement layer）を再構成するのに必要な係数及び構文要素（syntax elements）は一般化ＦＧＳフォーマットに埋め込まれる。増補層を介して受取られた追加ビットは符号化ビデオが空間解像度を増加し、そして異なる空間解像度に亘って連続的にビデオ品質を改善することを可能にする。空間的スケーラブル増補ビットストリームはネットワークまたはチャネル条件に順応するように、或いは復号器能力に順応するようにあらゆる点において任意に切り詰められる。

一実施例において、本発明は第一の空間解像度においてビデオを定義するベース層ビデオ・ブロックを再構成するために精細粒度スケーラビリティ（ＦＧＳ）ベース層を復号すること、第一の空間解像度より大きいか、または等しい第二の空間解像度においてビデオを定義する増補層ビデオ・ブロックを再構成するために一つ以上のＦＧＳ増補層を少なくとも部分的に復号すること、及びベース層ビデオ・ブロックから形成された第一の予測ブロックと増補層ビデオ・ブロックにおける隣接ピクセルから形成された第二の予測ブロックの荷重和に基づいてイントラ符号化ビデオ・ブロックを予測することを含むビデオ符号化方法を提供する。いくつかの実施例において、第二の空間解像度は第一の空間解像度より大きく、そしてその方法はベース層ビデオ・ブロックを上位標本化（upsampling）することを含み、その場合には第一の予測ブロックは上位標本化ベース層ビデオ・ブロックから形成される。

別の実施例では、本発明は第一の空間解像度においてビデオを定義するベース層ビデオ・ブロックを再構成するために精細粒度スケーラビリティ（ＦＧＳ）ベース層を復号し、第一の空間解像度より大きいか、または等しい第二の空間解像度においてビデオを定義する増補層ビデオ・ブロックを再構成するために一つ以上のＦＧＳ増補層を少なくとも部分的に復号し、そしてベース層ビデオ・ブロックから形成された第一の予測ブロックと増補層ビデオ・ブロックにおける隣接ピクセルから形成された第二の予測ブロックの荷重和に基づいてイントラ符号化ビデオ・ブロックを予測する復号器を含むビデオ符号化デバイスを提供する。いくつかの実施例において、第二の空間解像度は第一の空間解像度より大きく、そして復号器はベース層ビデオ・ブロックを上位標本化し、その場合には第一の予測ブロックは上位標本化ベース層ビデオ・ブロックから形成される。

追加実施例では、本発明は第一の空間解像度においてビデオ情報を定義するベース層ビデオ・ブロックを含む精細粒度スケーラビリティ（ＦＧＳ）ベース層を復号すること、第一の空間解像度より大きい第二の空間解像度においてビデオ情報を定義する増補層ビデオ・ブロックを含む一つ以上のＦＧＳ増補層を少なくとも部分的に復号すること、及び同じ層における同じフレームから得られたビデオ情報を使用しないでイントラ符号化ビデオ・ブロックを予測することを含む方法を提供する。

別の実施例では、本発明は第一の空間解像度においてビデオ情報を定義するベース層ビデオ・ブロックを含む精細粒度スケーラビリティ（ＦＧＳ）ベース層を復号し、第一の空間解像度より大きい第二の空間解像度においてビデオ情報を定義する増補層ビデオ・ブロックを含む一つ以上のＦＧＳ増補層を少なくとも部分的に復号し、そして同じ層における同じフレームから得られたビデオ情報を使用しないでイントラ符号化ビデオ・ブロックを予測する復号器を含むデバイスを提供する。

更なる実施例では、本発明は第一の空間解像度においてビデオ情報を定義するベース層ビデオ・ブロックを含む精細粒度スケーラビリティ（ＦＧＳ）ベース層を復号すること、第一の空間解像度より大きい第二の空間解像度においてビデオ情報を定義する増補層ビデオ・ブロックを含む一つ以上のＦＧＳ増補層を少なくとも部分的に復号すること、及びＤＣ係数が符号器と復号器の双方に既知の初期設定値（default value）から予測され、且つＡＣ係数は隣接ブロックから計算された予測なしで復号される特定ＤＣモードを使用してＦＧＳ増補層におけるいくつかのブロックを復号することを含む方法を提供する。

別の実施例では、本発明は第一の空間解像度においてビデオ情報を定義するベース層ビデオ・ブロックを含む精細粒度スケーラビリティ（ＦＧＳ）ベース層を復号し、第一の空間解像度より大きい第二の空間解像度においてビデオ情報を定義する増補層ビデオ・ブロックを含む一つ以上のＦＧＳ増補層を少なくとも部分的に復号し、そしてＤＣ係数が符号器と復号器の双方に既知の初期設定値から予測され、且つＡＣ係数は隣接ブロックから計算された予測なしで復号される特定ＤＣモードを使用してＦＧＳ増補層におけるいくつかのブロックを復号する復号器を含むデバイスを提供する。

本発明に記載された技術はハードウェア、ソフトウェア、ファームウェア、またはそのあらゆる組合せにおいて実施される。ソフトウェアにおいて実施されるならば、そのソフトウェアはディジタル信号プロセッサ（ＤＳＰ）のようなプロセッサにおいて実施される。その技術を実行するソフトウェアはコンピュータ可読媒体に初めに記憶され、そしてプロセッサに搭載され、且つ実行される。従って、この発明はまた一般化ＦＧＳ手法を使用して空間スケーラビリティを達成するための技術を実行する命令を含むコンピュータ可読媒体を想定する。

本発明の一つ以上の実施例の詳細は下記の付随の図及び説明に示される。本発明の他の特徴、対象、及び利点はその説明と図から、そして請求項から明白になるであろう。

詳細な説明

図１はビデオ符号化及び復号化システム１０を例示するブロック図である。システム１０は一般化精細粒度スケーラビリティ（ＦＧＳ）手法を使用して空間スケーラビリティを支援するビデオ符号化技術を適用するために構成される。図１に示したように、システム１０はチャネル１６を経由して符号化ビデオを受信デバイス１４へ伝送する発信デバイス（source device）１２を含む。発信デバイス１２はビデオ・キャプチャー・デバイス１８、ビデオ符号器２０及び送信器２２を含む。受信デバイス１４は受信器２４、ビデオ復号器２６及びビデオ表示デバイス２８を含む。

システム１０では、様々な程度の空間スケーラビリティが個別増補層の復号化に頼るのではなく、空間的スケーラブル増補層を一般化ＦＧＳフォーマットで送ることによって達成される。ベース層は最小の品質レベルを持つビデオ信号系列を持つ。増補層は高い品質レベルを支援するために追加ビットストリームを搬送する。その上、この発明に従って、一つ以上の増補層によって搬送される追加ビットストリームは増加空間スケーラビリティを支援する。

ビデオ符号器２０及びビデオ復号器２６は任意に切り詰められた空間的スケーラブル増補ビットストリームを提供するために構成される。一つ以上の増補層を介して受取られる追加ビットは適用可能なネットワーク条件、チャネル条件、及び／または復号器能力によって許される空間解像度の増加及び異なる空間解像度に亘る連続的なビデオ品質の改善によって符号化ビデオが再構築されることを可能にする。

後述するように、システム１０は増補層の部分的復号化に起因する浮動誤りを低減させるために様々な手法を適用する。空間スケーラビリティ増補層を再構築するのに必要な係数、及び構文要素は一般化ＦＧＳフォーマットに埋め込まれる。一般化ＦＧＳフォーマット、及び適当な浮動誤り制御手法によって、空間解像度はシステム条件に応じて連続的な品質改善または漸進的な品質低下によって増加或いは減少する。

システム１０は空間スケーラビリティを達成するためにそれらの全体で符号化されなければならない個別増補層の使用を回避する。いくつかの実施例では、しかしながら、システム１０は一般化ＦＧＳ手法または個別増補層のいずれかを使用して、例えば、選択基準によって空間スケーラビリティを支援するために構成される。

図１の例では、通信チャネル１６は無線周波数（ＲＦ）スペクトルまたは一つ以上の物理的伝送回線、または無線及び有線媒体のあらゆる組合せといった、あらゆる無線または有線通信媒体を含む。チャネル１６はローカル・エリア・ネットワーク、広域ネットワークといったパケット基準のネットワーク、またはインターネットのようなグローバル・ネットワークの一部を形成する。通信チャネル１６は一般に発信デバイス１２から受信デバイス１４へビデオ・データを伝送するためにあらゆる適当な通信媒体、または異なる通信媒体の集合を表す。

発信デバイス１２はビデオ・データを符号化し、且つ伝送することが可能なあらゆるディジタル・ビデオ・デバイスである。ビデオ・キャプチャー・デバイス１８はビデオ信号系列を獲得し、そして獲得された信号系列をビデオ符号器２０によるアクセスのためにメモリ（示されていない）に記憶する。ビデオ・キャプチャー・デバイス１８はビデオ・カメラ、ビデオ記録、または、例えば、テレビ、ビデオ・ディスク・レコーダ、ビデオ・カセット・レコーダ、ビデオ・カメラ、または別のビデオ・デバイスからのアナログ・ビデオ・データをディジタル・ビデオ・データへ変換するビデオ変換器である。各々の場合において、ビデオ符号器２０は受信デバイス１４への効率的伝送のために獲得されたビデオを符号化する。

発信デバイス１２は記録保存された、もしくは実時間のビデオ信号系列を通信チャネル１６上で伝送するために構成される。実時間ビデオ信号系列に関して、発信デバイス１２及び受信デバイス１４は実時間、双方向ビデオ電話通信（video telephony：ＶＴ）及び／または実時間、一方向ビデオ・ストリーミングに対応するように構成される。非実時間ビデオ・ストリーミングに関して、発信デバイス１２及び受信デバイス１４はビデオ・クリップ再生またはビデオ・メールのようなアプリケーションに対応し、そして再生、停止、早送り、及び早戻しボタンのような適切な制御手段を含む。

ビデオ符号器２０及び復号器２６はビデオ・キャプチャー・デバイス１８によって取得されたビデオを符号化するのに適した様々なハードウェア、ソフトウェア及び／またはファームウェアを含む。ビデオ符号器２０はビデオ符号化のためにプログラム可能なソフトウェア・モジュールを実行する一つ以上のディジタル信号プロセッサ（ＤＳＰ）を含む。関連するメモリ及び論理回路はビデオ符号化処理を制御する際にＤＳＰを支援するために提供される。いくつかの実施例において、ビデオ符号器１８は結合されたビデオ符号器-復号器（ＣＯＤＥＣ）の一部を形成する。

ビデオ符号器２０及びビデオ復号器２６はＭＰＥＧ-１、ＭＰＥＧ-２、ＭＰＥＧ-４、ＩＴＵ-ＴＨ．２６３もしくはＩＴＵ-ＴＨ．２６４規格、または他の規格に一般に順応する技術といった一つ以上の符号化技術を適用するために構成される。特別な例として、ビデオ符号器２０及び復号器２６はＩＴＵ-ＴＨ．２６４／ＭＰＥＧ-４Ｐａｒｔ１０、即ち、高度ビデオ符号化（ＡＶＣ）、ディジタル・ビデオ・コーデック規格に順応し、それは合同ビデオ・チーム（ＪＶＴ）として知られる集約共同努力の成果としてＩＳＯ／ＩＥＣ動画専門家グループ（Moving Picture Experts Group：ＭＰＥＧ）と共にＩＴＵ-Ｔビデオ符号化専門家グループ（Video Coding Experts Group：ＶＣＥＧ）によって策定された。ＩＴＵ-ＴＨ．２６４規格及びＩＳＯ／ＩＥＣＭＰＥＧ-４Ｐａｒｔ１０規格は技術的に同じである。

現在、合同ビデオ・チーム（ＪＶＴ）はＩＴＵ-ＴＨ．２６４／ＡＶＣへのスケーラブル・ビデオ符号化（scalable video coding ：ＳＶＣ）拡張に取組んでいる。Ｈ．２６４／ＡＶＣと進展中のＳＶＣ拡張の両方の仕様は共同文書（Joint Draft：ＪＤ）の形式である。ＪＶＴによって創られた合同拡張ビデオ・モデル（Joint Scalable Video Model：ＪＳＶＭ）は拡張ビデオにおいて使用するためのツールを実装し、そして本発明において示した様々な符号化タスクに関するシステム１０によって使用される。ＪＳＶＭは様々なスケーラビリティの特徴を支援する。精細粒度ＳＮＲスケーラビリティ（ＦＧＳ）符号化に関係する詳細な情報は合同文書に見られる。しかしながら、ＦＧＳのいくつかの基本概念及び特異な特質は例示の目的のためにここに述べられるであろう。

ビデオ信号系列は一連のビデオ・フレームを含む。ビデオ符号器２０はビデオ・データを符号化するために個々のビデオ・フレーム中のピクセルのブロックに作用する。ビデオ・ブロックは固定もしくは可変のサイズを持ち、そして指定の符号化規格に基づいてサイズが異なる。例として、ＩＴＵ-ＴＨ．２６４は輝度成分に関して１６と１６、８と８、４と４、及び色度成分に関して８×８といった様々なブロック・サイズでのイントラ・フレーム予測、同様に輝度成分に関して１６と１６、１６と８、８と１６、８と８、８と４、４と８及び４と４、及び色度成分に関して対応するスケーラブル・サイズなど、様々なブロック・サイズにおいてインター・フレーム予測を支援する。小さなビデオ・ブロックは良好な解像度を提供し、より高い詳細レベルを含むビデオ・フレームの場所に使用される。予測の後、８×８の残りブロックまたは４×４の残りブロックに関して変換が行われ、その上、イントラ１６×１６予測モードが使用されれば、色度成分または輝度成分に関して４×４ブロックのＤＣ係数に変換が適用される。

さらに図１を参照すると、送信器２２は（線または無線の）チャネル１６上で符号化ビデオを伝送するために適切なモデム及び駆動回路を含み、或いは有線と無線媒体の組合せを含む。無線応用に関して、送信器２２は符号化ビデオ・データを搬送する無線データを伝送するためにＲＦ回路を含む。いくつかの実施例では、発信デバイス１２は一つ以上のサーバ、ワークステーション、デスクトップ・コンピュータ、モバイル・コンピュータ、携帯情報機器（ＰＤＡ）、無線電話、衛星電話、または他の有線または無線通信デバイスの形をとる。

受信デバイス１４では、発信デバイス１２のビデオ符号器２０と同様に、ビデオ復号器２６はＣＯＤＥＣの一部を形成する。受信デバイス１４は一つ以上のワークステーション、デスクトップ・コンピュータ、モバイル・コンピュータ、携帯情報機器（ＰＤＡ）、無線電話、衛星電話、または他の有線または無線通信デバイスといった、あらゆるディジタル・ビデオ・デバイスまたはビデオ・データを受取り、且つ復号することが可能なデバイスの組合せの形を取る。

送信器２２と同様に、受信器２４はチャネル１６上で符号化ビデオを受取るために適切なモデム及び駆動回路を含み、そして無線アプリケーションにおける符号化ビデオ・データを搬送する無線データを受取るためのＲＦ回路を含む。いくつかの実施例において、発信デバイス１２及び受信デバイス１４は各々がチャネル１６上で伝送される符号化ビデオ及び他の情報に関して発信デバイス及び受信デバイスの両方として役立つように逆の送信及び受信回路を含む。この場合には、発信デバイス１２及び受信デバイス１４の双方はビデオ信号系列を符号化し、伝送し、受取り、且つ復号する。

ＬＣＤまたはプラズマ・フラットパネル・ディスプレイ、陰極線管（ＣＲＴ）ディスプレイ、または他のどれかのディスプレイといった表示デバイス２８はビデオをユーザーに提示するために適したデバイスである。その上、表示デバイス２８は受信デバイス１４と統合され、或いは有線または無線結合によって受信デバイス１４に接続された個別デバイスとして提供される。表示デバイス２８はまた受信デバイス１４にとってユーザー・インタフェースの一部として役立つ。発信デバイス１２もまた受信されたビデオの視聴及び発信デバイス１２とのユーザー相互動作を可能にする表示デバイスを含む。

符号器２０及び復号器２６は精細粒度スケーラビリティ（ＦＧＳ）を支援するように構成される。ＦＧＳによってビットストリームは或るビット・レート範囲内で殆ど任意に切り詰められることが可能になる。ＦＧＳの一つの形は信号対雑音比（ＳＮＲ）スケーラビリティに適用される。共通のシナリオは或る品質レベルを有するベース層、及び同じ解像度でベース層に精製を提供する一つ以上のＦＧＳ増補層を持つビデオ・ビットストリームを符号化することを含む。例えば、共通の中間フォーマット（common intermediate format：ＣＩＦ）解像度に関して符号化されたベース層によって、ＦＧＳ増補層を介した追加ビットストリームの伝送はＣＩＦ解像度ビデオの品質、例えば、ＳＮＲを改善する。

この発明に従って、ＦＧＳは一般化ＦＧＳ手法に従って伝送される一つ以上の増補層を介して空間スケーラビリティを支援するために利用される。例えば、４分の１共通中間フォーマット（quarter common intermediate format：ＱＣＩＦ）解像度で符号化されたベース層はビデオの空間解像度を、例えば、ＱＣＩＦ解像度からＣＩＦ解像度に増補するために追加ビットストリームを含む一つ以上のＦＧＳ増補層によって増補される。空間スケーラビリティＦＧＳ増補層はまたＱＣＩＦ及び／またはＣＩＦ解像度に関してビデオの品質を高めるのに十分な追加ビットストリームを含む。従って、この発明において述べる一般化ＦＧＳ手法は空間スケーラビリティを支援するが、ＳＮＲスケーラビリティもまた支援する。特に、符号器２０及び復号器２６は一つ以上の増補層の部分的復号に起因する浮動誤りを緩和するように構成される。

図２はビデオ・ビットストリームの多層ＦＧＳ符号化を例示する図である。図２に示したように、ビデオ・ビットストリームのＦＧＳ符号化はベース層３０及び一つ以上の増補層３２Ａ〜３２Ｎ（まとめて層３２）をもたらす。ベース層３０は或るビット・レートについて最小の品質レベルを持つビデオ・ビットストリームを符号化する一連のフレーム３６Ａ〜３６Ｎを含む。各々の増補層３２はベース層３０によって提供された最初の品質を次第に上げるために復号器２６によって使用される追加ビデオ・ビットストリーム情報を提供する。復号器２６によって処理される増補層３２の数は発信デバイス１４によって伝送された増補層の数、例えば、或るチャネル条件または他の制限、及び復号器２６によって処理される受信増補層の数に依存する。

一般に、各それぞれの増補層３２Ａ〜３２Ｎ、またはその一部は、復号器によって処理されるが、この発明に従ってＳＮＲ及び／または空間解像度に関して、ベース層３０から取得されたビデオの品質に付加して増加する。個別の増補層としてその全体で各増補層３２Ａ〜３２Ｎを処理する代りに、この発明は空間スケーラブル増補層が一般化ＦＧＳ手法を用いて符号化され、伝送され、且つ処理されることを可能にするシステム１０を想定する。このように、空間解像度は精細粒度によって一定基準化され、空間増補層の部分的復号に対して連続的な品質改善を提供する。これから述べるように、部分的復号はこの発明においてもまた提示された一つ以上の手法を用いて扱われる誤り伝搬問題を提示する。

図３はベース層及び増補層符号器及び復号器を含めて、図１のシステム１０をさらに詳細に例示するブロック図である。特に、図３の例では、ビデオ符号器２０はベース層符号器３８及び増補層符号器４０を含む。ビデオ復号器２６はベース層復号器４２及び増補層復号器４４を含む。デバイス１２及び１４はその他の点では一般に図１と同じである。さらに、発信デバイス１２及び受信デバイス１４は逆送信／受信及び符号化／復号化要素を各々含む。図１と同様に、しかしながら、図３は例示を容易にするために発信／符号化デバイスとして一つのデバイス１２を提示し、そして受信／復号化デバイスとして他のデバイス１４を提示する。

ベース層符号器３８は最小レベルの品質及び／または或るビット・レートに関して最小空間サイズを提供するためにビデオ・カメラ１８から取得されたビデオ・ビットストリームの少なくとも一部を符号化する。増補層符号器４０は、復号されたならば、付加品質を提供し、且つ／または一つ以上のより大きな空間フォーマットを可能にする増補層を作成するためにビデオ・ビットストリームの追加部分を符号化する。増補層はそれらが復号されるに従って次第に増加する品質をその層が提供するという意味で階層的である。全ての増補層の復号は、例えば、最大の品質及び最大の空間サイズを造出し、一方、最初の増補層のみの復号はベース層のみの復号と比較して品質の漸進的な増加を造出するであろう。

増補層は画像フレーム品質の増加と共に第一のサイズから第二のサイズへの空間スケーラビリティを可能にする。代りに、いくつかの実施例では、増補層は第一のサイズから第二のサイズへ、第二のサイズから第三のサイズへ、そして恐らくは第三のサイズから一つ以上のより大きなサイズへの空間スケーラビリティを可能にする。例えば、増補層によってビデオ・フレームまたは系列は単にＱＣＩＦからＣＩＦへ、または単にＣＩＦからＶＧＡ（video graphics array）へ、または単にＶＧＡからＳＶＧＡ（super VGA ）へ基準化されることが可能になる。代りに、増補層によってビデオはＱＣＩＦからＣＩＦへ、ＣＩＦからＶＧＡへ、そしてＶＧＡからＳＶＧＡへ基準化されることが可能になる。ＱＣＩＦ、ＣＩＦ、ＶＧＡ、及びＳＶＧＡは例示の目的のために述べているけれども、他の空間サイズ及びフォーマットもこれに代るもの、または追加として可能である。

動作では、ベース層復号器４２は表示デバイス２８に提示のためにビデオ・カメラ１８によって取得されたビデオ・ビットストリームの一部を造出するためにチャネル１６を介して受取られたベース層を復号する。利用可能であるならば、増補層復号器４４は一つ以上の増補層を復号することによって復号ビデオの品質を増加させる。さらに、受信デバイス１４によって受信される増補層の数はチャネル条件または他の制約に依存する。その上、増補層復号器４４によって処理された受信増補層の数は復号器の制約に依存する。一般に、ベース層の符号化及び復号化は、選択された数の増補層と結合して、復号ビデオのＳＮＲ品質の漸進的な改善を可能にする。

ＳＮＲスケーラビリティに加えて、空間スケーラビリティを提供することもまた望ましい。この発明に従って、システム１０は一般化ＦＧＳ符号化手法を介して空間スケーラビリティを支援するように構成される。これから述べるように、システム１０は多層ＦＧＳ符号化ビデオにおける各増補層がベース層のビデオ品質を一様に改善させることを保証するために異なるビデオ・ブロックに関する符号化係数及び構文要素を循環してインタリーブすることによって、一部、空間スケーラビリティを達成することができる。

ＦＧＳによって空間スケーラビリティを達成する部分的復号は誤りを生み出す。この理由のために、システム１０は浮動を減少させるためにイントラ・フレーム予測における漏洩予測、空間誤り伝搬を減少させるために内部ブロックに関する特定のＤＣモード、及びイントラ予測に関してベース層におけるピクセルだけを使用することの制限を含めて、誤り伝搬を抑制する一つ以上の方法を適用する。システム１０はいかに増補層が予測されるべきであるか、例えば、それがインター-またはイントラ-予測であるか、そしていかにブロックが分割されたかを記述する構文要素を送る。システム１０はまた選択に基づいてＦＧＳ空間スケーラビリティまたは個別空間スケーラビリティを支援する。言い換えれば、システム１０はネットワーク条件、チャネル条件、復号器能力または他の考察に基づいてＦＧＳ空間スケーラビリティと個別増補層を介する空間スケーラビリティを支援し、そしてその間を移行する。

図４はビデオ・フレームのＦＧＳ符号化において使用されるジグザグ走査ブロックを例示する図である。図４の例では、ブロック４６Ａ、４６Ｂ、及び４６Ｃはビデオ・フレームの増補層における最初の３ブロックであることが仮定される。この例では、各ブロック４６Ａ、４６Ｂ、４６Ｃは４行４列の係数ブロックである。ブロック４６Ａ、４６Ｂ及び４６Ｃは変換領域に描かれている。従って、ブロック４６Ａ、４６Ｂ、４６Ｃにおける数または変数は無損失エントロピー符号化処理によって符号化されるべき量子化係数である。文字「Ｓ」で始まるラベルを持つ係数は、例えば、ブロック４６Ａにおける参照数字４１によって示されるように、非ゼロの有意係数（significant coefficient）である。このブロック４６ＡはＦＧＳＳＮＲスケーラビリティ増補層にあるので、ブロックにおける各係数について、ベース層において対応する係数がある。

非ゼロの有意係数に関して、その値は非ゼロであり、そしてその対応するベース層係数はゼロである。例えば、係数「Ｓ０，１」はジグザグ走査指数「１」においてブロック「０」における非ゼロの有意係数に対応する。「０」とラベル付けされた係数はゼロ係数であり、そしてその対応するベース層係数はまたゼロである。文字「Ｒ」で始まるラベルを持つ係数は、例えば、ブロック４６Ａにおける参照数字４３によって示されたように、非ゼロである、即ち、有意の対応ベース層係数を持つ改良係数（refinement coefficient）である。改良係数の値はゼロか非ゼロのいずれかである。例えば、係数「Ｒ２，２」はジグザグ走査指数「２」においてブロック「２」における改良係数である増補層係数の分類において、有意度マップ（significance map）がしばしば使用される。このマップは既にベース層において有意になった係数の場所を示す。増補層におけるこれらの場所の係数は改良係数である。

ここに述べたように、増補層符号器４０はベース層を符号化する際に使用されるエントロピー符号器、例えば、ＩＴＵ-ＴＨ．２６４規格によって想定されるエントロピー符号器に対する拡張と見なされる。特に、増補層において使用されるブロック分割、変換及び量子化はベース層において使用されるそれらと類似している。ゼロをより効率的に符号化するために、符号化ブロック・フラグ（coded block flag：ＣＢＦ）及びブロック終端（end of block：ＥＯＢ）といった構文要素が使用される。同様の構文要素はまたベース層符号化においても使用される。ＣＢＦは各ブロックについて一度送られ、そしてブロックにおいて非ゼロの有意係数の存在を示す。ＣＢＦが０であるならば、非ゼロの有意係数はない；他の場合は、少なくとも一つの非ゼロの有意係数がある。ＥＯＢフラグはまさに符号化された非ゼロの有意係数が走査順序における最後の非ゼロの有意係数であるかどうかを示すために使用される。

ベース層符号器３８と増補層符号器４０との間の一つの差異はＦＧＳ層及び符号化順序において他の係数からの改良係数の分離にある。ベース層において、ブロックは次のブロックが符号化される前に完全に符号化される。この発明の実施例に従って、しかしながら、増補層符号器４０の一つの特徴は異なるブロックからの係数が相互にインタリーブされることである。ブロックの係数は巡回して符号化される。各サイクルにおいて、或るブロックからのいくつかの係数だけが符号化される。このように、増補層符号器４０は一旦ビットストリームが切り詰められると、ビデオ品質への改善がより一様であることを保証する。

図５はジグザグ順に配列された異なるビデオ・ブロック４６Ａ、４６Ｂ、４６Ｃに関する構文要素及び係数の典型的な符号化順序を例示する図である。図６は構文要素の伝送に関する典型的な符号化順序を例示し、その中で各ブロックからの係数はジグザグ順に水平に配列されている。各係数は図５及び６においてブロックによって表される。図５及び６の例では、高々一つの非ゼロ係数は一つのサイクルにおいて或るブロックについて符号化され、そしてサイクル指数はジグザグ走査指数とたまたま同じである。しかしながら、サイクル指数もまた異なって定義され、そして一つ以上の非ゼロ係数は設計考察に応じて符号化される。図５における各サイクルは図４のジグザグ順序で一つの係数から別の係数へ移行する或る矢印に対応する。

図５に示したように、サイクル０に関して、ＣＢＦは各ブロック４６Ａ、４６Ｂ、４６Ｃについて一度送られ、そしてブロックに非ゼロ有意係数があることを示す。例えば、ＣＢＦ０／１は第一のブロック０に対応し、そしてブロックに非ゼロ有意係数があることを示す。その上、ブロック０からのゼロ係数「０」及び非ゼロ係数「Ｓ０，１」（それはジグザグ走査指数「１」におけるブロック「０」中の非ゼロ有意係数に対応する）はサイクル０において送られる。しかしながら、ＣＢＦ０／１は第二のブロック１に対応し、そしてブロックに非ゼロ有意係数がないことを示す。従って、次のサイクルにはブロック１について送られる係数はない。サイクル０はさらにＣＢＦ２／１を含み、ブロック２が非ゼロ有意係数Ｓ２，０、及び係数Ｓ２，０それ自体を含むことを示す。

サイクル１はブロック２に関するＥＢＯフラグ（ＥＢＯ２／０）を含み、サイクル０においてまさに符号化された非ゼロ有意係数（それはＳ２，０である）は走査順序において最後の非ゼロ有意係数ではないことを示す。残りのサイクルに亘って、ブロックの符号化は走査ジグザグ順序に従って続き、そして適切であるとして、ＣＢＦ及びＥＯＢといった構文要素を含む。図４、５及び６はビデオ・フレームの増補層における最初の三つの４×４ブロックと関係がある。しかしながら、図４〜６に例示した一般的な手法はより多数のブロックと同様により大きなサイズを持つブロックに適用できる。

図６は、伝送の順番が異なるビデオ・ブロックについて配列された構文要素及び係数の符号化順序を例示する図である。図６における符号化順序は或るサイクルで送られた構文要素及び係数が水平に記載されるように構文要素及び係数が再配列されることを除けば図５のものと同等である。図６の図において、構文要素及び係数は最上部から最下部へサイクル指数順序が増加するように送られ、そして各サイクルに関して、左から右へ送られる。

例えば、サイクル０は最初のブロックに関するＣＢＦ０／１を示し、ゼロ係数が続き、Ｓ０，１が続き、それはジグザグ走査指数「１」においてブロック「０」における非ゼロ有意係数に対応する。サイクル０はさらにブロックＣＢＦ１／０を含み、ブロック１における非ゼロ有意係数、及びＣＢＦ２／１及びＳ２，０を示さず、それはブロック２に関する非ゼロ有意係数を示し、そして提供する。処理はジグザグ走査順でサイクル１〜１５について継続し、そこでは各サイクルは図４における一つの矢印の推移に対応する。

空間スケーラビリティによってビデオ復号器２６はスケーラブル・ビデオ・ビットストリームから増補層ビットストリームを復号することによって、４分の１共通中間フォーマット（ＱＣＩＦ）の代わりに高空間解像度のビデオ信号、例えば、ＣＩＦを再構成し、且つ表示することが可能になる。図４〜６における構文要素及び係数の典型的な順序付けは空間スケーラビリティ及びＦＧＳＳＮＲスケーラビリティの両方に関して一般化ＦＧＳフォーマットの使用を支援する。ベース層ビットストリームを復号することによって復号器２６はより低い空間解像度ビデオを取得することが可能となり、一方、一つ以上の増補層の復号化によって復号器はベース層空間解像度のＳＮＲを改善し、且つ／または空間解像度をより大きなフォーマットに増大させることが可能となる。

図７Ａは空間スケーラビリティ増補層ビットストリームを含む多層ビットストリームを例示する図である。図７Ｂは図７Ａの空間スケーラビリティ・ビットストリームに関するレート-歪み（Ｒ-Ｄ）特性を例示する図である。図７Ａ及び７Ｂは空間スケーラビリティとＦＧＳＳＮＲスケーラビリティの両方の例を提供する。ベース層４５を復号することは図７Ａのビットストリーム１を生成し、それは復号器２６が最小品質（ＳＮＲ）レベルで、比較的低い空間解像度ビデオ、例えば、毎秒３０フレーム（ｆｐｓ）でＱＣＩＦ空間解像度を取得することを可能にする。図７Ａにおけるビットストリーム２はＱＣＩＦビデオ品質（ＳＮＲ）をいくらか、例えば、３ｄＢだけ改善する最初のＦＧＳ増補層ビットストリーム４７において提供される。

増補層４９の復号は空間スケーラビリティを支援する追加ビットストリーム３を提供する。図７Ａの増補層４９においてビットストリーム３を復号することは復号器２６がより高い空間解像度ビデオ、例えば、３０ｆｐｓでＣＩＦ空間解像度を取得することを可能にする。増補層５１はＦＧＳＳＮＲスケーラビリティを同じく持つ追加ビットストリーム４を提供する。増補層５１の復号はさらにＣＩＦビデオ品質を改善するが、その結果生じるビデオの空間解像度には影響しない。図７Ａに示したように、ベース層４５、増補層４７、増補層４９及び増補層５１は完全な伝送のために毎秒９６キロビット（ｋｂｐｓ）、１９２ｋｂｐｓ、３８４ｋｂｐｓ、及び５１２ｋｂｐｓのチャネル帯域幅をそれぞれ必要とする。その例では、増補層のビット・レートはより低い層の全てのビット・レートを含む。例えば、層４７の１９２ｋｂｐｓビット・レートは層４５の９６ｋｂｐｓを含む。同様に、層４９の３８４ｋｂｐｓビット・レートは層４７の１９２ｋｂｐｓビット・レート及び層４５の９６ｋｂｐｓビット・レートを含む。

システム１０はこの発明に従って一般化精細粒度スケーラビリティ（Fine Granularity Scalability：ＦＧＳ）を支援するように構成される。この意味で、システム１０は空間スケーラビリティが個別増補層を送ることによってのみ実現される他のシステムに対する改善を提供する。ＦＧＳに関して、その全体で個別増補層を処理する代りに、実質的にあらゆる点で空間スケーラビリティ増補層を切り詰めることが可能である。従って、ＦＧＳに関して、復号器２６は全体の増補層ビットストリームを解析し、且つ復号することなくビデオフレームの空間解像度を増加させる。しかしながら、システム１０はさらに部分的復号化による誤り伝搬を低減させるために一つ以上の手法を実施する。

図７Ｂは異なるビット・レート及び空間解像度についてデシベル（ｄＢ）でピーク信号対雑音比（ＰＳＮＲ）を示す。特に、図７ＢはＣＩＦ及びＱＣＩＦレート-歪み（Ｒ-Ｄ）曲線を示す。図７Ｂの例では、ＣＩＦ及びＱＣＩＦレート-歪み曲線はビット・レート推移に関してばらばらになっている。図７Ｂの参照数字５３はＱＣＩＦＳＮＲスケーラビリティ経路を特定し、一方、参照数字５５はＣＩＦＳＮＲスケーラビリティ経路を特定する。参照数字５７はＱＣＩＦとＣＩＦとの間の漸進的で実質的に連続なＦＧＳ空間スケーラビリティ経路を示し、一方、参照数字５９は急激な個別増補層空間スケーラビリティ経路を示す。

図７Ｂにおける表記はＳＮＲ及び／または空間スケーラビリティを一つの点から別の点へ増加させるために使用されるベース層及び増補層の組合せを図７Ａに示した層を参照して示す。例えば、「１のみ」は図７Ａのベース層ビットストリームのみが最小ＳＮＲ品質のＱＣＩＦビデオ・フレームを造出することを示す。表記「１＋部分的２」はベース層ビットストリーム及び最初の増補層ビットストリームの一部の両方が増補ＳＮＲ品質を持つＱＣＩＦビデオ・フレームを造出するために復号され、一方、「１＋２」は増補ＳＮＲ品質を達成するためにベース層ビットストリーム及び最初の増補層ビットストリームの両方の完全な復号化を示す。表記「１＋２＋部分的３」は、この発明に従って、一般化ＦＧＳ手法を使用して増補層３を部分的復号することによって許されたＱＣＩＦからＣＩＦへの空間スケーラビリティ経路を同定する。

システム１０は、この発明に述べたように、ＦＧＳフォーマットで空間スケーラブル増補層を送ることによって空間解像度増補のために一般化ＦＧＳを提供する。この手法によって空間スケーラブル増補ビットストリームは或るネットワーク／チャネル条件及び／または復号器能力に適合するためにあらゆる点で切り詰めることが可能になる。このように、より良いネットワーク／チャネル条件及び／またはより高い能力を持つ復号器はより高い空間解像度及び連続して改善されたビデオ品質を持つビデオを再構築することができ、さらに多くのビットが受信され、且つ復号される。空間スケーラビリティのための一般化ＦＧＳ手法の使用は個別増補層の完全復号化に対してかなりの改善を行う。

空間解像度増補のための一般化ＦＧＳによって、異なる空間解像度を持つビデオに関するＲ-Ｄ曲線はビット・レート推移に関して結合されるであろう。このように、空間解像度増補のための一般化ＦＧＳは曲線５９のような分離したＲ-Ｄ曲線ではなく、異なる空間解像度ビデオ、例えばＱＣＩＦ及びＣＩＦの間の実質的に連続なＲ-Ｄ曲線を持つ連続的に改善されたビデオ品質を提供する。特に、図７Ａのベース層及び最初の増補層の完全な復号を示すＱＣＩＦＳＮＲ曲線５３上の点１＋２と図７Ａのベース層及び第二の増補層の完全な復号を示す個別空間増補層上の点１＋３との間の間隙に注目せよ。

一例として、図７Ａの図及び図７Ｂの関連グラフに関して、ベース層１によって提供されたＱＣＩＦビデオよりもむしろ、ＣＩＦビデオを造出することが望ましいと仮定する。しかしながら、チャネル条件は個別増補層４９の完全な伝送及び復号化のために必要とされる毎秒３８４キロビット（ｂｐｓ）を支援しないであろうとさらに仮定する。この場合には、ＦＧＳ増補層４７は３８４ｋｂｐｓ以下のビット・レートによってＣＩＦビデオを取得するために許容レベルまで切り詰められる。これは２８８ｋｂｐｓ（ビットストリーム２の０％が送られるとき）と３８４ｋｂｐｓ（ビットストリーム２の１００％が送られるとき）の間で連続的な品質改善を許容すると同時に、そのようなビットストリーム切り詰めのＲＤ性能は図７Ｂにおいて曲線５９（１＋部分的２＋３）によって示されたように次善のものである。この場合には、１＋部分的２＋３はベース層１の完全な復号、ＦＧＳ増補層２の部分的復号及び個別増補層３の完全な復号を表す。そのようなＲ-Ｄ性能は望ましくない。一般化ＦＧＳを許容して、個別増補層３を完全に復号する代りに、二つの空間解像度を結合するＲ-Ｄ性能曲線は曲線５９（１＋部分的２＋３）から曲線５７（１＋２＋部分的３）へ改善され、それは実質的にＱＣＩＦ曲線５３とＣＩＦ曲線５５との間の全体の空間規模に及んでいる。

従って、異なる空間解像度ビデオ間の分離されたＲ-Ｄ曲線を避けるために、且つ／またはあまり望ましくない符号化性能を避けるために、システム１０は空間解像度強化のために一般化ＦＧＳを提供するように構成される。良い符号化性能を持つ一般化ＦＧＳを使用して空間スケーラビリティを達成するために、一つ以上の独特の符号化手法が、単独でまたは組合わせて、誤り伝搬を抑制するために適用される。ＦＧＳ空間スケーラビリティを支援する増補層の部分的復号は重大な誤り伝搬を造出する。この発明において述べる追加手法はそうでない場合には連続的に改良されたビデオ品質を持つ空間スケーラビリティを達成する一般化ＦＧＳの使用に起因するであろう誤り伝搬を抑制する際に効果的である。

例えば、一実施例では、システム１０は浮動を減少させるためにイントラ・フレーム予測において漏洩予測手法、空間誤り伝搬を減少させるためにイントラ・ブロックに関して特定のＤＣモード、及び／またはイントラ予測についてベース層のピクセルのみを使用する制限を適用する。その上、システム１０はいかに増補層が予測されるべきであるか、例えば、それがインター、-またはイントラ-予測であるかどうか、そしていかにブロックが分割されたかを記述する構文要素を送る。いくつかの実施例では、システム１０は選択に基づいてＦＧＳ空間スケーラビリティ、または個別空間スケーラビリティを支援する。これらの追加の誤り減少手法の各々は下記でさらに詳細に述べる。

ＦＧＳ層ビットストリームは量子化された残余変換係数のみを含むが、モード及び動き情報は含まない。ＦＧＳを使用して空間スケーラビリティを達成するために、モード及び動き情報もまた送られなくてはならない。これは個別増補層について定義されたものと類似した構文を用いて達成される。マクロブロック・モードに関してイントラ（Ｉ）モード（Ｉ_Ｎ×Ｎ，Ｉ_１６×１６）、イントラ（Ｉ）_ＢＬ（ベース層）モード、及びインター（ＰまたはＢ）モードが支援される。Ｉ_ＢＬモードはインター-層テクスチャ予測モードである。このモードでは、増補層におけるピクセルのブロックはベース層における再構成ピクセルから予測される。増補層の解像度がベース層のそれと異なるならば、ベース層再構成ピクセルは増補層解像度に適切に上位標本化されなければならない。増補層の解像度がベース層と同じであるならば、漏洩予測技術を有効にするベース層の上位標本化は必要ではない。その代りに、漏洩予測は上位標本化なしで達成される。結局、上位標本化は必要であり、様々な内挿技術のどれもが上位標本化するために使用される。動きベクトル及び参照画像指数について、それらはベース層ビットストリームから得られ、或いは精錬され、もしくは直接増補層ビットストリームで送られる。

図８ＡはＦＧＳ増補層の部分的復号により符号器及び復号器における異なる参照フレームの使用によって引き起こされる浮動問題を例示する図である。図８Ｂは図８Ａに示した浮動問題を軽減するために、ベース層からの部分的予測、即ち、漏洩予測を例示する図である。ＦＧＳビットストリームの部分的な復号、即ち、ビットストリーム切り詰めは浮動問題を引き起こす。特に、復号器２６がマクロブロックを再構成するために部分的に受信した増補層ビットストリームを使用し、そしてインター-予測において同じマクロブロックを後で使用するとき、図８Ａに示した符号器と復号器の間に不整合がある。漏洩予測手法は、この発明に従って、少なくとも部分的に浮動問題を低減させる。漏洩予測では、図８Ｂに示したように、予測信号はＦＧＳ増補層から（例えば、因数α（０≦α＜１）によって）部分的に形成され、ベース層から（例えば、因数１−αによって）部分的に形成される。ベース層信号が完全に常に受信されるので、増補層の部分的な復号によるあらゆる誤りＥは因数「α」だけ減少され、そして次のフレームにおいてα＊Ｅ、α²＊Ｅ、α³＊Ｅ等になるであろう。

図９は隣接ピクセルの部分的復号によって引き起こされる浮動誤りを例示する図である。図１０は浮動誤りを減少するために漏洩予測手法を使用する隣接ピクセルの形成を例示する図である。システム１０はマクロブロック間と同様に、マクロブロック内に漏洩予測を拡張するように構成される。図９の例では、参照数字５０は現在のＩ_４×４ブロックを示し、参照数字５２は符号器側で予測に使用される隣接ピクセルを示し、そして参照数字５４は復号器側で予測に使用される隣接ピクセルを示す。イントラ予測に関して、ブロックのピクセルは前に復号された隣接ブロックの端部ピクセルから予測される。増補層の部分的復号はビデオ・ブロックのイントラ予測のために復号器によって使用された隣接ピクセルが符号器によって使用されたものと異なる原因となり、浮動誤りをもたらす。

図９は漏洩予測手法に関するイントラ（Ｉ）_４×４対角線モードの一例を示す。図９の例では、現在のブロック５０について、隣接ブロックを表す増補層ビットの部分的復号は復号器側におけるＩ_４×４対角線モードにおいて使用される隣接ピクセル５４が符号器側において使用される隣接ピクセル５２と異なる原因となる。云い換えれば、或るブロック５０を予測するために使用される隣接ピクセルは復号器が増補層ビットを部分的に復号するとき復号器及び符号器において異なる。従って、予測４×４ブロックは変更され、再構成ブロックにおける浮動誤りの原因となる。現在のブロック５０におけるピクセルが復号器側において次のブロックの予測に使用されるとき、そのような浮動誤りは再び隣接の４×４ブロックに伝搬され、潜在的に厳しい誤り伝搬をもたらす。

漏洩問題を減少するために、図１０は４×４予測ブロック５８が増補層隣接ピクセル５４から構築された予測ブロック及び上位標本化ベース層予測ブロック５６の（荷重要素αによる）荷重平均によって形成される漏洩予測技術のアプリケーションを例示する。予測ブロックを形成するために使用される上位標本化ベース層ピクセルは予測されるべき実際のブロックに対応するピクセルである。増補層から構築された予測ブロックを形成するために使用されるピクセルは予測されるべき実際のブロックの端部に沿って前に復号されたブロックからの隣接ピクセルである。復号器側では、結果として生じる予測ブロック５８におけるピクセル値は因数αによって乗算した増補層ビデオ・ブロックの隣接ピクセルから再構成された予測ブロックと因数１−αによって乗算した上位標本化ベース層予測ブロック５６の和である。

各場合において、増補層予測ブロックからの隣接ピクセルはイントラ・ブロックを予測するために上位標本化ベース層予測ブロックと組合せて使用される。増補層について、必ずしも全てのブロックが受取られるとは限らず、部分的復号だけが行われる。ベース層については、全てのブロックが受取られるが、増補層より低い解像度である。増補層予測ブロック及び上位標本化ベース層予測ブロックの隣接ピクセルの荷重平均は再構成ブロック５８における浮動誤りを減少させるのに役立ち、そして空間ＦＧＳ符号化における増補層の部分的復号によって提示された潜在的な問題を軽減する。

従って、漏洩予測手法では、増補層隣接ピクセルから形成された予測ブロック及び上位標本化ベース層ピクセルから形成された予測ブロックは符号化において使用する実際の予測ブロックを造出するために重み付けされる。ベース層ピクセルの上位標本化は増補層予測ブロックと同じ解像度でベース層予測ブロックを提供する。いくつかの実施例では、しかしながら、ベース層及び増補層が同じ空間解像度を持つならば、ベース層ピクセルが上位標本化される必要はない。その代りに、漏洩予測は上位標本化なしで実行される。増補層によって定義されたビデオがベース層によって定義されたビデオの解像度より大きい解像度にあるならば、ベース層ピクセルの上位標本化が実行される。イントラ_４×４予測は図９及び１０における例として使用されているけれども、漏洩予測手法は輝度標本のイントラ_８×８または１６×１６予測、或いは色度イントラ予測といった、他のイントラ予測形式に適用することができる。図１０の例において、復号器２６は浮動誤りを軽減する予測ブロックを造出するために荷重αを持つ増補層隣接ピクセルから構築された予測ブロックを重み付けし、そして荷重１−αを持つ上位標本化ベース層予測ブロックを重み付けするために漏洩予測を適用する。しかしながら、他の因数または重み付けは、さらに複雑な重み付け関数を含めて、例えば、下記に述べるように浮動誤りを減少させるために使用される。

イントラ-符号化ブロックに関する漏洩予測は、図９及び１０に示したように、誤り伝搬を抑制し、そして一般化ＦＧＳ技術において品質の改善を促進する。ビットストリームが部分的に復号されるとき、他の技術が使用されるであろう。増補層ビットストリームの有意量が受取られないならば、或る点において、いくつかのブロックについて、隣接予測はベース層予測より悪いであろう。予測材料（predictors）を計算する際に使用される重み付け因子（それは隣接のピクセルから構築された予測材料及びベース層予測材料である）は動的に調整可能にされる。重み付け因子の値は復号されたビットストリームの量によって決まる。より多くのビットストリームが復号されるならば、隣接ピクセルから構築された予測材料に関する重み付け因子はより高い。全体の増補層ビットストリームが復号されるとき使用される重み付け因子はまた内容に依存する。例えば、イントラ-予測に適用される重み付け因子の値はいかにベース層が予測されたかによって決まる。

図１１は図１０に示した漏洩予測技術の動作を例示するフローチャートである。図１１に示したように、復号器２６はベース層ビデオ・ブロックを再構成するためにＦＧＳベース層を復号し（５７）、増補層ビデオ・ブロックを再構成するために一以上のＦＧＳ増補層ビデオ・ブロックを少なくとも部分的に復号する（５９）。ＦＧＳ増補層は単に部分的に復号されるので、復号器２６はイントラ-符号化ブロックの復号化のために漏洩予測技術を適用する。この理由から、イントラ-符号化予測ブロックを再構成するために部分的に復号された増補層からの隣接ピクセルに対する依存は符号器及び復号器側上の異なるピクセルの使用の可能性による重大な浮動誤りをもたらすであろう。

漏洩予測技術を実施するために、典型的実施例では、復号器２６はベース層ピクセルを上位標本化し（６１）、そして上位標本化ベース層ピクセルから第一の予測ブロックを形成する（６３）。ベース層ピクセルは増補層の解像度に上位標本化され、増補層解像度がベース層解像度より大きいならば、予測されるべきイントラ-符号化ブロックの解像度に対応する予測ブロックを造出する。増補層及びベース層の解像度が等しいならば、ベース層ピクセルを上位標本化する必要はない。その代りに、漏洩予測技術は上位標本化されないベース層ピクセルから形成された予測ブロックに基づいて進行する。従って、ベース層ピクセルの上位標本化は任意であり、そして増補層解像度がベース層解像度より大きいとき適用される。図１をさらに参照して、復号器２６はまた対応する増補層ビデオ・ブロックの隣接ピクセルから第二の予測ブロックを形成する（６５）。特に、復号器２６は予測されるべきイントラ-符号化ブロックに隣接する復号増補層におけるピクセルを選択する。第一及び第二の予測ブロックを使用して、復号器２６はイントラ-符号化ブロックを予測する（６７）。

特に、図１１の例で示したように、復号器２６は上位標本化ベース層ピクセルから造出された第一の予測ブロック及び増補層ブロックにおける隣接ピクセルから造出された第二の予測ブロックの荷重和に基づいてイントラ・ブロックを予測する。このように、ベース層と増補層ピクセルを結合することによって、復号器２６はそうでなければ増補層の部分的復号化のために生じるであろう浮動誤りの量を減少させる。漏洩予測技術はビデオ・スライス（video slice）におけるいくつか、または全てのイントラ-符号化ブロックに適用される。各場合において、増補層隣接ピクセル及びベース層ピクセルの異なる結合は予測されるべきイントラ-符号化ブロックに対応するように選択される。

漏洩予測に加えて、空間スケーラビリティに関する一般化ＦＧＳ手法は空間誤り伝搬を防ぐためにイントラ・マクロブロックについて特定のＤＣモードを提供する。ベース層情報を使用する漏洩予測に関してさえも、浮動誤りはなお誤り発生源からの距離が増大するとともに累積される。ＤＣ係数はブロックの左上角の係数を通常は参照し、そして隣接ブロックから得られた予測によって符号化される。

空間誤り伝搬を軽減するために、システム１０は一般化ＦＧＳに関する特別ＤＣモードを提供するように構成される。全てはイントラ・マクロブロック形式（Ｉ_４×４、Ｉ_ ８×８及びＩ_１６×１６を含む）はこの特別なＤＣモードを使用することができる。特別なＤＣモードが使用されるとき、Ｎ×Ｎブロック（Ｎ＝４、８、または１６）のＤＣ係数は隣接ブロックにおける情報から得られたあらゆる値の代わりに符号器と復号器の両方に既知の初期設定値から予測され、そしてＡＣ係数はあらゆる予測なしで符号化される。従って、特別ＤＣモードは隣接ブロックから値の導出を回避し、そしてその代りに所定の初期設定値に頼る。この発明では、特別ＤＣモードが誤り伝搬を制御するために使用され、そして全ての必要な隣接ブロックが利用可能であっても使用される。ＤＣ値を符号化するのに必要なビットの数は量子化パラメータに依存する。一旦、ビットの数が決定されれば、ＤＣ値は固定長符号化（fixed-length coding）を使用して符号化される。ＤＣ値はまた他の可変長符号（Variable Length Codes）を使用して符号化される。

図１２はビデオ・ブロックの特別ＤＣモードのアプリケーションを例示する図である。特に、図１２は例として４×４ブロックを使用して、Ｉ_４×４特別ＤＣモードの符号化を示す。図１２の例について、Ｉ_８×８特別ＤＣモードは８×８ブロック変換が使用され、且つＤＣ係数が８×８ブロックか計算されることを除けば、Ｉ_４×４特別ＤＣモードに類似している。Ｉ_１６×１６特別ＤＣモードについて、ＩＴＵ-ＴＨ．２６４において定義された変換手法が使用され、そしてＤＣ係数は、例えば、図１５に示したように、Ｈａｄａｍａｒｄ変換のアプリケーションに従うブロック９４におけるＤＣ係数である。

特別ＤＣモードは別モード（extra mode）として、即ち、他の確立されたイントラ予測に加えて、符号化ビットストリームと共に送られる。例えば、ＩＴＵ-ＴＨ．２６４規格では、当業者には既知の九つの確立されたＩ_４×４予測モードがある。特別ＤＣモードが別モードであるならば、それは第１０モードである。Ｉ_１６×１６マクロブロックについて、特別ＤＣモードは第５モードである。代りの実施によれば、特別ＤＣモードは既に確立されたモードに置き換えられる。さらなる代りとして、特別ＤＣモードはビットストリームから得られる特定の条件の下で元のＤＣモードに置き換えられる。

図１２に示したように、符号器２０はＩ_４×４ブロック６０を符号化するために特別ＤＣモードを適用する符号器２０は４×４ブロック変換６１をブロック６０に適用し、そして予測器７０によってＤＣ係数予測６２を適用し、それは符号器と復号器の両方に既知の初期設定ＤＣ係数値を造出する。符号器２０はＤＣ予測の後、量子化６３を変換ブロックに適用し、それから伝送されるであろう符号化ブロックを造出するためにエントロピー符号器６４を適用する。逆処理がブロックを再構成するために使用される。例えば、復号器２６は初期設定ＤＣ係数予測器７０によって造出された値を使用して逆ＤＣ係数値予測６７に続いて、エントロピー復号６５及び逆量子化６６を適用する。従って、符号器２０及び復号器２６各々は符号器及び復号器の両方に既知である初期設定ＤＣ係数値を造出するために初期設定ＤＣ係数予測器７０として機能する機能ユニットを含む。逆ＤＣ予測６７の後で、復号器２６は予測ブロック６９を造出するために４×４ブロック逆変換を行う。ＤＣ係数予測はまたブロックの全てのピクセルから予測値を減算することによってピクセル領域において同等に行われる。

図１３は異なるイントラ予測モードに関して特別ＤＣモードの使用を例示する図である。いくつかのシステムは単一ループ復号選択肢を有する。例えば、ビットストリームは異なる解像度の二つの層を有する。ユーザーが単に高解像度ビデオに関心があり、且つビットストリームが単一ループ復号を支援しているならば、高解像度層においてのみ動き補償を行うことが必要である。これは或る予測制限を実施することによって達成される。例えば、一つの制限は、イントラ・マクロブロックが隣接インター・マクロブロックから予測できないこと、及びベース層マクロブロックが通常のイントラ・モードまたはイントラ_ＢＬモードで符号化される場合のみイントラ_ＢＬ（ベース層）モードが増補層において使用されることを必要とし、その結果ベース層におけるこのマクロブロックは動き補償を行わずに再構成され、且つ予測に使用される。

単一ループ復号化が使用され、且つ対応するベース層マクロブロックがイントラ-符号化されないならば、漏洩予測は利用可能なベース層ピクセルがないので使用することができない。この場合には、空間隣接ブロックからの誤り伝搬を制限するために、増補層マクロブロックは、一実施例では、Ｉ_４×４であることが信号通信されるとき、七つの境界４×４ブロックが特別ＤＣモードにあることが推定される。単一ループ復号では、増補層マクロブロックがイントラ・ブロックであるとき、境界ブロック（図１３の濃いブロック７２）は特別ＤＣモードにあることが推定される。非境界ブロック１４は上で提示された適切な誤り制御手法と共にどのイントラ予測モードもなお使用することができる。

同様に、増補層マクロブロックがＩ_８×８であると信号通信されるとき、三つの境界８×８ブロック７６は特別ＤＣモードにあると推定され、一方、ブロック７８は上で提示された適切な誤り制御手法と共にどのイントラ予測モードも使用することができる。参照数字８０によって示したように、増補層マクロブロックがＩ_１６×１６であるとき、特別ＤＣモードが使用されることが推定される。図１３では、それぞれのマクロブロックにおいて他の非境界４×４または８×８ブロックがなお他のイントラ予測モードを使用することができる。別の実施例では、あらゆる場所のブロックは特別なＤＣモードであり、そしてそのモードは、明白に信号通信される。

図１４はベース層におけるフレーム８２からの内部-予測を例示する図である。図１４は上位標本化ブロック８６を造出するためにベース層のフレーム８２におけるブロック８４の上位標本化を示す。上位標本化ブロック８６は増補層のフレーム９０において符号化されるべきブロック８８の予測に使用される。図１４に示したように、イントラ-層イントラ予測を使用しない制約が増補層において適用される。一実施例では、例えば、設計を単純化するためにその予測が予測されるべきブロックと同じ層からのピクセル、またはそのピクセルから得られた他の情報によって形成されないように一つの制限が強要される。云い換えれば、増補層中のブロックは予測されるべきブロックと同じフレーム及び同じ層から取得されたピクセル及び他の情報を用いて予測されない。この場合、その予測はベース層のフレームまたは既に符号化された他のフレーム或いは双方の組合せのいずれかからのピクセル、またはそのピクセルから得られた他の情報によって形成される。このように、復号器２６はイントラ予測のためにベース層におけるピクセルのみを使用する制限を適用する。ベース層におけるフレーム８２は同じ解像度か、または異なる解像度である。

一般化ＦＧＳを使用して空間スケーラビリティを支援するために、様々なマクロブロック構文要素はいかに各マクロブロックが復号器によって予測されるべきであるかを信号通信するために符号化ビットストリームにおいて伝送される。構文要素はマクロブロックがインター予測されるか、またはイントラ予測されるかどうかといった情報を含む。マクロブロックがインター予測されるならば、いかにマクロブロックが分割されるか、及び各分割の動きベクトルや参照フレーム指数といった追加情報もまた伝送されなければならない。マクロブロックがイントラ予測されるならば、同じ時間位置におけるフレーム、しかしベース層におけるフレームから、もしくは同じ層における同じフレームからのいずれかから、イントラ予測モードのような追加情報が送られる。

構文要素の伝送は異なる方法で達成される。例えば、一実施例では、あらゆるテクスチャ情報（それは変換係数に関係した情報である）が伝送される前に、フレームまたはスライスの全ての構文要素が伝送される。別の実施例では、構文要素はテクスチャ情報とインタリーブされる。しかしながら、符号化ビットストリームはなお一般的にＦＧＳフォーマットに適合し、符号化技術の構造及びフォーマットを大幅に再設計する必要性を回避する。

Ｈ．２６４実施において、マクロブロックはＢスライス、即ち、過去のスライス、未来のスライス、或いは両者を使用する双方向または双予測符号化スライスにおける直接モードにある。Ｂスライスはビデオ・フレームの一部からのものであるか、或いは全体のビデオ・フレームを被包する。マクロブロックがＢスライスにおいて直接モードにあるとき、このマクロブロックの動きベクトル及び参照フレーム指数は既に符号化されている情報から得られる。動きベクトル及び参照フレーム指数を得るために使用される情報は同じフレームから、そして時にまた参照フレームからのものである。マクロブロック（ＭＢ）が空間直接モードにあるならば、各分割の動きベクトルは隣接ＭＢからの動きベクトルから得られる。しかしながら、得られた各動きベクトルはまた参照フレームにおける共に位置するブロックの動きベクトルによって制約される。時間的直接モードにおいて、動きベクトルは現在のフレームとその参照フレームとの間の時間関係に基づいて参照フレームにおける共に位置するブロックの動きベクトルから得られる。

得られた動きベクトルの参照フレームの情報に依存する一つの問題は参照フレームが復号器２６において切り詰められることである。その結果、符号器２０に利用可能な情報は復号器２６に利用可能ではない。動きベクトルの誤った再構成は通常大きな誤りをもたらす。一実施例では、増補層がＢスライスにおいて符号化されるならば、空間直接モードのみが使用され、そして得られた動きベクトルは参照フレームからの情報によって全く制限されない。云い換えれば、増補層が双予測（Ｂ）スライスにおいて符号化されるならば、復号器２６は修正空間直接モード（それは参照フレームからの情報を全く使用しない）のみを適用する。

増補層はより高い空間解像度を示すので、一実施例では、ベース層からの有意性マップはＦＧＳ符号化処理において使用される前に上位標本化される。別の実施例では、有意性マップは空間増補層におけるＦＧＳビットストリームが符号化される前に消去される。この場合には、係数は増加した空間解像度のＦＧＳ増補層における精製係数として符号化されない。従って、ベース層からの有意性マップはリセットされ、そして係数は一以上の増補層におけるゼロ係数または精製係数のない非ゼロ有意性係数としてのみ復号される。

いくつかのシステムでは、ＦＧＳ空間増補層に加えて、選択に基づいて、個別空間増補層を符号化する能力を維持することが望ましい。例えば、複雑さの考慮はいくつかのシステムにおいて個別空間増補層の選択を保証する。この場合には、システム１０は個別空間増補層によって両立性を支援するように構成される。増補層が確実に届けられるならば、個別空間増補層の使用はより高い符号化を提供する。個別空間増補層符号化の選択は伝送ビットストリームにおいて信号通信される。例えば、ビットストリームは、ここに述べたように、個別空間増補層符号化またはＦＧＳ空間増補層符号化がビットストリームについて支援されるかどうかを示す信号通信情報を含む。一つの例はＦＧＳ符号化がスライスにおいて使用されるかどうかを示すために新しいフラグをスケーラブル・スライス・ヘッダに導入することである。

図１５はイントラ１６行１６列予測モードを持つマクロブロックにおける輝度ＤＣブロックを例示する図である。イントラ_１６×１６マクロブロック９２に関して、輝度ＤＣ係数はＨａｄａｍａｒｄ変換される。図１５に示したように、マクロブロックが１６×１６モードを使用して予測されるならば、輝度予測残余は最初に１６個の４×４ブロックに変換され、そして１６ブロックのＤＣ係数は別の４×４ブロック９４を形成する。この追加４×４ブロックはこの討論ではイントラ１６×１６ＤＣブロックとして参照される。ＩＴＵ-ＴＨ．２６４によれば、ＤＣブロックはＡＣブロックとは別に符号化される。ＩＴＵ-ＴＨ．２６４に関して、この分離の追加実施の複雑さは最小である。しかしながら、実施の複雑さの影響はそれがその特別な設計のためにＦＧＳ符号器において別々に符号化されるならばさらに大きい。

従って、ＦＧＳ符号化では、追加変換がＤＣ係数に行われるけれども、ＤＣ係数は別々に符号化されない。これは伝統的なＦＧＳにとっての問題ではなく、それはただ同じ解像度のビデオへの精製を支援する。しかしながら、それはイントラ１６×１６予測を支持するいくつかのビデオ内容について一般化ＦＧＳを介して空間スケーラビリティの性能に著しく影響を及ぼす。過度の複雑さを導入することなくＦＧＳ空間スケーラビリティを提供するための一つの方法はＩＴＵ-ＴＨ．２６４ベース層においていかにそれが符号化される方法と類似した方法でイントラ１６×１６ＤＣブロックを符号化することである。例えば、一旦イントラ１６×１６ＤＣブロックの最初の係数に出会うと、全体のブロックは他の係数が符号化される前に符号化される。

この発明は一般化ＦＧＳ符号化を使用する空間スケーラビリティのための技術を述べる。一般化ＦＧＳフォーマットの使用によってビデオ符号器は異なる空間解像度に亘って連続的な品質改善を達成することが可能となる。この発明において述べたように、一般化ＦＧＳ符号化を使用する空間スケーラビリティの技術は受容可能な性能及び複雑性によって空間スケーラビリティを支援するためにいくつかの異なる手法を利用する。例えば、その技術は、増補層隣接ピクセルによって形成された予測材料及び上位変換ベース層予測材料の荷重平均を使用するイントラ符号化マクロブロックに関する漏洩予測、部分的復号における予測源の適応切替、及び残余浮動誤りによる空間誤り伝搬を阻止する特別ＤＣモードを含めて、部分的復号による誤り伝搬を抑制する手法を組入れている。

いくつかの実施例では、設計を単純化するために、予測が同じ層の同じフレームからのピクセル、或いはそのようなピクセルから得られた他の情報によって形成されないように、制限が実施される。その上、増補層がＢスライスにおいて符号化されるならば空間直接モードが使用され、そして得られた動きベクトルは参照フレームからの情報によって全く制限されない。さらなる特徴として、ベース層画像からの有意性マップは符号化性能を改善させるために上位標本化され、そして増補層残余のＦＧＳ符号化において使用される。代りに、空間増補層における係数は精製係数なしで符号化される。同じく、特別な１ビット構文は空間スケーラビリティ層がＦＧＳ層を使用しているか、或いはＦＧＳ符号化を使っているか、もしくは個別空間増補層として役立つかどうかを復号器に信号通信するためにスケーラブル・スライス・ヘッダに付加される。

この発明において述べた技術はハードウェア、ソフトウェア、ファームウェア、またはそのあらゆる組合せにおいて実施される。特に、ここに述べたように、符号器または復号器は様々なハードウェア、ソフトウェア及びファームウェア要素によって実現される。例えば、様々な技術の形態は一つ以上のマイクロプロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、特定用途集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）、または他の同等の集積もしくは個別の論理回路構成、同様にそのような構成部品のあらゆる組合せの中で実施される。用語「プロセッサ」または「処理回路」は一般に前述の論理回路構成、他の論理回路構成と単独もしくは組合せ、または他のあらゆる同等の回路構成を参照する。いくつかの実施例では、ここに述べた機能性は符号化及び復号化のために構成され、または一体化ビデオ符号器-復号器 ( コーデック ) に組込まれた専用ソフトウェア・モジュールまたはハードウェア・ユニットの中で提供される。

ソフトウェアにおいて実施されるとき、その技術は、プロセッサによって実行されるとき、上で述べた一つ以上の機能を実行するプログラム・コードまたは命令を含むコンピュータ可読媒体によって一部実現される。そのようなプログラム・コードまたは命令を記憶するコンピュータ可読媒体は同期式ダイナミック・ランダム・アクセス・メモリ（ＳＤＲＡＭ）、読出し専用メモリ（ＲＯＭ）、不揮発性ランダム・アクセス・メモリ（ＮＶＲＡＭ）、電気的消去可能読出し専用メモリ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、磁気または光学データ記憶媒体、またはそのようなメモリまたは記憶媒体を含む。

様々な発明の実施例を述べてきた。これらや他の実施例は次の請求項の範囲内にある。

ビデオ符号化及び復号化システムを例示するブロック図である。ビデオ・ビットストリームの多層ＦＧＳ符号化を例示する図である。ベース層及び増補層符号器及び復号器を含む図１のシステムをさらに詳細に例示するブロック図である。ビデオ・フレームのＦＧＳ符号化に使用されるジグザグ走査ブロックを例示する図である。ジグザグ順序に配列された異なるビデオ・ブロックに関するＦＧＳ層における構文要素及び係数の典型的な符号化順序を例示する図である。伝送順に異なるビデオ・ブロックが配列されたＦＧＳ層における構文要素及び係数の典型的な符号化順序を例示する図である。典型的な多層空間スケーラビリティ・ビットストリームを例示する図である。図７Ａの空間スケーラビリティ・ビットストリームに関するレート-歪み特性を例示する図である。符号器及び復号器において異なる参照信号の使用によって引き起こされた浮動誤り問題を例示する図である。図８Ａに示された浮動誤り問題を減らすベース層からの部分的予測を例示する図である。隣接ブロックの部分的復号によって引き起こされた浮動誤りを例示する図である。イントラ符号化ブロックにおける浮動誤り問題を減らす漏洩予測技術を例示する図である。図１０に示された漏洩予測技術の動作を例示するフローチャートである。特定ＤＣモードのビデオ・ブロックへの適用を例示する図である。異なるイントラ予測モードに関して図１２の特別なＤＣモードの使用を例示する図である。ベース層におけるフレームからのイントラ予測を例示する図である。イントラ１６×１６予測モードによるマクロブロックにおける輝度ＤＣブロックを例示する図である。

Claims

第一の空間解像度においてビデオを定義するベース層ビデオ・ブロックを再構成するために精細粒度スケーラビリティ（ＦＧＳ）ベース層を復号すること、
第一の空間解像度より大きいか、もしくは等しい第二の空間解像度においてビデオを定義する増補層ビデオ・ブロックを再構成するために一つ以上のＦＧＳ増補層を少なくとも部分的に復号すること、及び
ベース層ビデオ・ブロックから形成された第一の予測ブロック及び増補層ビデオ・ブロックにおける隣接ピクセルから形成された第二の予測ブロックの重み付けされた和に基づいてイントラ符号化ブロックを予測することを含むビデオ符号化方法。
第二の空間解像度は第一の空間解像度より大きく、その方法はベース層ビデオ・ブロックをさらに上位標本化することを含み、そして第一の予測ブロックは上位標本化ベース層ビデオ・ブロックから形成される、請求項１記載の方法。
復号ＦＧＳベース層及び少なくとも部分的復号ＦＧＳ増補層に基づいて第二の空間解像度においてビデオを生成することをさらに含む、請求項２記載の方法。
ＦＧＳベース層は第一の品質レベルを持つビデオを定義し、そしてＦＧＳ増補層の少なくと一つは第一の品質レベルより大きい第二の品質レベルを持つビデオを定義する、請求項２記載の方法。
復号ＦＧＳベース層及び少なくとも部分的復号ＦＧＳ増補層に基づいて第二の品質レベルにおいてビデオを生成することをさらに含む、請求項４記載の方法。
復号ＦＧＳベース層及び少なくとも部分的復号ＦＧＳ増補層に基づいて第二の空間解像度においてビデオを生成すること、及び復号ＦＧＳベース層及び少なくとも部分的復号ＦＧＳ増補層に基づいて第二の品質レベルにおいてビデオを生成することをさらに含む、請求項４記載の方法。
それぞれのイントラ符号化ビデオ・ブロックと同じ層における同じフレームから得られたビデオ情報を使用しないで、イントラ符号化ビデオ・ブロックを予測することをさらに含む、請求項２記載の方法。
ベース層からピクセルのみを使用してイントラ符号化ビデオ・ブロックを予測することをさらに含む、請求項２記載の方法。
ＤＣ係数が符号器及び復号器の双方に既知の初期設定値（a default value）から予測され、且つＡＣ係数が隣接ブロックから計算された予測なしで復号される、特別ＤＣモードを使用してＦＧＳ増補層におけるブロックを復号することをさらに含む、請求項２記載の方法。
増補層が双予測（Ｂ）スライスにおいて符号化されるならば、参照フレームから情報を使用しない修正空間直接モードだけを増補層に適用することをさらに含む、請求項２記載の方法。
ベース層からの有意性マップを上位標本化すること、及び一つ以上の増補層を復号するために上位標本化有意性マップを使用することをさらに含む、請求項２記載の方法。
ベース層からの有意性マップをリセットすること、及び一つ以上の増補層においてゼロ係数及び精製係数なしの非ゼロ重要係数としてのみ係数を復号することをさらに含む、請求項１記載の方法。
空間スケーラビリティに関するＦＧＳ符号化の使用を信号通信するために増補層の少なくとも一つを持つ１ビット構文要素を受取ることをさらに含む、請求項２記載の方法。
第一の空間解像度においてビデオを定義するベース層ビデオ・ブロックを再構成するために精細粒度スケーラビリティ（ＦＧＳ）ベース層を復号し、第一の空間解像度より大きいか、もしくは等しい第二の空間解像度においてビデオを定義する増補層ビデオ・ブロックを再構成するために一つ以上のＦＧＳ増補層を少なくとも部分的に復号し、そしてベース層ビデオ・ブロックから形成された第一の予測ブロック及び増補層ビデオ・ブロックにおける隣接ピクセルから形成された第二の予測ブロックの重み付けされた和に基づいてイントラ符号化ブロックを予測する復号器を含むビデオ符号化デバイス。
第二の空間解像度は第一の空間解像度より大きく、復号器はベース層ビデオ・ブロックを上位標本化し、そして第一の予測ブロックは上位標本化ベース層ビデオ・ブロックから形成される、請求項１４記載のデバイス。
復号器は復号ＦＧＳベース層及び少なくとも部分的復号ＦＧＳ増補層に基づいて第二の空間解像度においてビデオを生成する、請求項１５記載のデバイス。
ＦＧＳベース層は第一の品質レベルを持つビデオを定義し、そしてＦＧＳ増補層の少なくと一つは第一の品質レベルより大きい第二の品質レベルを持つビデオを定義する、請求項１５記載のデバイス。
復号器は復号ＦＧＳベース層及び少なくとも部分的復号ＦＧＳ増補層に基づいて第二の品質レベルにおいてビデオを生成する、請求項１７記載のデバイス。
復号器は復号ＦＧＳベース層及び少なくとも部分的復号ＦＧＳ増補層に基づいて第二の空間解像度においてビデオを生成し、そして復号ＦＧＳベース層及び少なくとも部分的復号ＦＧＳ増補層に基づいて第二の品質レベルにおいてビデオを生成する、請求項１７記載のデバイス。
復号器はそれぞれのイントラ符号化ビデオ・ブロックと同じ層における同じフレームから得られたビデオ情報を使用しないで、イントラ符号化ビデオ・ブロックを予測する、請求項１７記載のデバイス。
復号器はベース層からのピクセルのみを使用してイントラ符号化ビデオ・ブロックを予測する、請求項１５記載のデバイス。
復号器はＤＣ係数が符号器及び復号器の双方に既知の初期設定値から予測され、且つＡＣ係数が隣接ブロックからの計算された予測なしで復号される、特別ＤＣモードを使用してＦＧＳ増補層におけるブロックを復号する、請求項１５記載のデバイス。
復号器は増補層が双予測（Ｂ）スライスにおいて符号化されるならば、復号器は参照フレームからの情報を使用しない修正空間直接モードだけを増補層に適用する、請求項１５記載のデバイス。
復号器はベース層から有意性マップを上位標本化し、そして一つ以上の増補層を復号するために上位標本化有意性マップを使用する、請求項１５記載のデバイス。
復号器はベース層からの有意性マップをリセットし、そして一つ以上の増補層においてゼロ係数及び精製係数なしの非ゼロ重要係数としてのみ係数を復号する、請求項１４記載のデバイス。
復号器は空間スケーラビリティに関するＦＧＳ符号化の使用を信号通信するために増補層の少なくとも一つを持つ１ビット構文要素を受取る、請求項１５記載のデバイス。
第一の空間解像度においてビデオを定義するベース層ビデオ・ブロックを再構成するために精細粒度スケーラビリティ（ＦＧＳ）ベース層を復号する、
第一の空間解像度より大きいか、もしくは等しい第二の空間解像度においてビデオを定義する増補層ビデオ・ブロックを再構成するために一つ以上のＦＧＳ増補層を少なくとも部分的に復号する、及び
ベース層ビデオ・ブロックから形成された第一の予測ブロック及び増補層ビデオ・ブロックにおける隣接ピクセルから形成された第二の予測ブロックの重み付けされた和に基づいてイントラ符号化ブロックを予測するように、プロセッサを作動させる命令を含むコンピュータ可読媒体。
第二の空間解像度は第一の空間解像度より大きく、その命令はベース層ビデオ・ブロックを上位標本化するためにさらにプロセッサを作動させ、そして第一の予測ブロックは上位標本化ベース層ビデオ・ブロックから形成される、請求項２７記載のコンピュータ可読媒体。
命令は復号ＦＧＳベース層及び少なくとも部分的復号ＦＧＳ増補層に基づいて第二の空間解像度においてビデオを生成するようにプロセッサを作動させる、請求項２８記載のコンピュータ可読媒体。
ＦＧＳベース層は第一の品質レベルを持つビデオを定義し、そしてＦＧＳ増補層の少なくと一つは第一の品質レベルより大きい第二の品質レベルを持つビデオを定義する、請求項２９記載のコンピュータ可読媒体。
命令は復号ＦＧＳベース層及び少なくとも部分的復号ＦＧＳ増補層に基づいて第二の品質レベルにおいてビデオを生成するようにプロセッサを作動させる、請求項３０記載のコンピュータ可読媒体。
命令は復号ＦＧＳベース層及び少なくとも部分的復号ＦＧＳ増補層に基づいて第二の空間解像度においてビデオを生成し、そして復号ＦＧＳベース層及び少なくとも部分的復号ＦＧＳ増補層に基づいて第二の品質レベルにおいてビデオを生成するようにプロセッサを作動させる、請求項３０記載のコンピュータ可読媒体。
命令はそれぞれのイントラ符号化ビデオ・ブロックと同じ層における同じフレームから得られたビデオ情報を使用しないで、イントラ符号化ビデオ・ブロックを予測するようにプロセッサを作動させる、請求項２８記載のコンピュータ可読媒体。
命令はベース層からのピクセルのみを使用してイントラ符号化ビデオ・ブロックを予測するようにプロセッサを作動させる、請求項２８記載のコンピュータ可読媒体。
命令はＤＣ係数が符号器及び復号器の双方に既知の初期設定値から予測され、且つＡＣ係数が隣接ブロックからの計算された予測なしで復号される、特別ＤＣモードを使用してＦＧＳ増補層におけるブロックを復号するようにプロセッサを作動させる、請求項２８記載のコンピュータ可読媒体。
命令は増補層が双予測（Ｂ）スライスにおいて符号化されるならば、参照フレームから情報を使用しない修正空間直接モードだけを増補層に適用するようにプロセッサを作動させる、請求項２８記載のコンピュータ可読媒体。
命令はベース層からの有意性マップを上位標本化し、そして一つ以上の増補層を復号するために上位標本化有意マップを使用するようにプロセッサを作動させる、請求項２８記載のコンピュータ可読媒体。
命令はベース層からの有意性マップをリセットし、そして一つ以上の増補層においてゼロ係数及び精製係数なしの非ゼロ重要係数としてのみ係数を復号するようにプロセッサを作動させる、請求項２７記載のコンピュータ可読媒体。
命令は空間スケーラビリティに関するＦＧＳ符号化の使用を信号通信するために増補層の少なくとも一つを持つ１ビット構文要素を受取るようにプロセッサを作動させる、請求項２８記載のコンピュータ可読媒体。
第一の空間解像度においてビデオ情報を定義するベース層ビデオ・ブロックを含む精細粒度スケーラビリティ（ＦＧＳ）ベース層を復号すること、
第一の空間解像度より大きい第二の空間解像度においてビデオ情報を定義する増補層ビデオ・ブロックを含む一つ以上のＦＧＳ増補層を少なくとも部分的に復号すること、及び
それぞれのイントラ符号化ビデオ・ブロックとして同じ層における同じフレームから得られたビデオ情報を使用しないでイントラ符号化ビデオ・ブロックを予測すること、を含む方法。
ベース層だけを使用してイントラ符号化ビデオ・ブロックを予測することをさらに含む、請求項４０記載の方法。
ＤＣ係数が符号器及び復号器の双方に既知の初期設定値から予測され、且つＡＣ係数が隣接ブロックから計算された予測なしで復号される、特別ＤＣモードを使用してＦＧＳ増補層におけるブロックを復号することをさらに含む、請求項４０記載の方法。
増補層が双予測（Ｂ）スライスにおいて符号化されるならば、参照フレームからの情報を使用しないで空間直接モードだけを増補層に適用することをさらに含む、請求項４０記載の方法。
ベース層からの有意性マップを上位標本化すること、及び一つ以上の増補層を復号するために上位標本化有意性マップを使用することをさらに含む、請求項４０記載の方法。
ベース層から有意性マップをリセットすること、及び一つ以上の増補層においてゼロ係数及び精製係数なしの非ゼロ重要係数としてのみ係数を復号することをさらに含む、請求項４０記載の方法。
第一の空間解像度においてビデオ情報を定義するベース層ビデオ・ブロックを含む精細粒度スケーラビリティ（ＦＧＳ）ベース層を復号し、第一の空間解像度より大きい第二の空間解像度においてビデオ情報を定義する増補層ビデオ・ブロックを含む一つ以上のＦＧＳ増補層を少なくとも部分的に復号し、そしてそれぞれのイントラ符号化ビデオ・ブロックとして同じ層における同じフレームから得られたビデオ情報を使用しないでイントラ符号化ビデオ・ブロックを予測する復号器を含むデバイス。
復号器はベース層だけを使用してイントラ符号化ビデオ・ブロックを予測する、請求項４６記載のデバイス。
復号器はＤＣ係数が符号器及び復号器の双方に既知の初期設定値から予測され、且つＡＣ係数が隣接ブロックから計算された予測なしで復号される特別ＤＣモードを使用してＦＧＳ増補層におけるブロックを復号する、請求項４６記載のデバイス。
復号器は増補層が双予測（Ｂ）スライスにおいて符号化されるならば、参照フレームからの情報を使用しないで空間直接モードだけを増補層に適用する、請求項４６記載のデバイス。
復号器はベース層からの有意性マップを上位標本化し、そして一つ以上の増補層を復号するために上位標本化有意性マップを使用する、請求項４６記載のデバイス。
復号器はベース層から有意性マップをリセットし、そして一つ以上の増補層においてゼロ係数及び精製係数なしの非ゼロ重要係数としてのみ係数を復号する、請求項４６記載のデバイス。
第一の空間解像度においてビデオ情報を定義するベース層ビデオ・ブロックを含む精細粒度スケーラビリティ（ＦＧＳ）ベース層を復号すること、
第一の空間解像度より大きい第二の空間解像度においてビデオ情報を定義する増補層ビデオ・ブロックを含む一つ以上のＦＧＳ増補層を復号すること、及び
ＤＣ係数が符号器及び復号器の双方に既知の初期設定値から予測され、且つＡＣ係数が隣接ブロックから計算された予測なしで復号される、特別ＤＣモードを使用してＦＧＳ増補層における各々のブロックを復号すること、を含む方法。
ＦＧＳベース層は第一の品質レベルを持つビデオ情報を定義し、そして少なくとも一つのＦＧＳ増補層は第一の品質レベルよりも大きい第二の品質レベルを持つビデオ情報を定義する、請求項５２記載の方法。
空間スケーラビリティについてＦＧＳ符号化の使用を信号通信するために少なくとも一つ以上の増補層を持つ１ビット構文要素を受取ることを含む、請求項５２記載の方法。
第一の空間解像度においてビデオ情報を定義するベース層ビデオ・ブロックを含む精細粒度スケーラビリティ（ＦＧＳ）ベース層を復号し、第一の空間解像度より大きい第二の空間解像度においてビデオ情報を定義する増補層ビデオ・ブロックを含む一つ以上のＦＧＳ増補層を復号し、そしてＤＣ係数が符号器及び復号器の双方に既知の初期設定値から予測され、且つＡＣ係数が隣接ブロックから計算された予測なしで復号される、特別ＤＣモードを使用してＦＧＳ増補層における各々のブロックを復号する符号器を具備するデバイス。
ＦＧＳベース層は第一の品質レベルを持つビデオ情報を定義し、そして少なくとも一つのＦＧＳ増補層は第一の品質レベルよりも大きい第二の品質レベルを持つビデオ情報を定義する、請求項５５記載のデバイス。
空間スケーラビリティについてＦＧＳ符号化の使用を信号通信するために少なくとも一つ以上の増補層を持つ１ビット構文要素を受取ることを含む、請求項５５記載のデバイス。