JP2015527811A - スケーラブル映像コーディング及び３ｄ映像コーディングに関する一般化された残差予測 - Google Patents

Abstract

幾つかの態様による映像情報をコーディングするための装置は、メモリユニットと、そのメモリユニットと通信するプロセッサと、を含む。メモリユニットは、基準層の映像情報を格納する。プロセッサは、予測値及び基準層と関連付けられた調整された残差予測値に少なくとも部分的に基づいて映像ユニットの値を決定する。調整された残差予測値は、１と異なる重み付け係数によって乗じられた前記基準層からの残差予測に等しい。

Description

［０００１］本開示は、映像コーディングに関するものである。

［０００２］デジタル映像能力を広範なデバイス内に組み入れることができ、デジタルテレビと、デジタル直接放送システムと、無線放送システムと、パーソナルデジタルアシスタント（ＰＤＡ）と、ラップトップ又はデスクトップコンピュータと、ダフレットコンピュータと、電子書籍リーダーと、デジタルカメラと、デジタル記録デバイスと、デジタルメディアプレーヤーと、ビデオゲームプレイ装置と、ビデオゲームコンソールと、セルラー又は衛星無線電話、いわゆる“スマートフォン”と、ビデオ会議装置と、ビデオストリーミングデバイスと、等、を含む。デジタル映像デバイスは、映像コーディング技法、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ１０、アドバンストビデオコーディング（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ））、現在策定中の高効率映像コーディング（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）規格、及び該規格の拡張版、によって定義される規格において説明されるそれら、を実装する。映像デバイスは、該映像コーディング技法を実装することによってより効率的にデジタル映像情報を送信、受信、符号化、復号、及び／又は格納することができる。

［０００３］映像コーディング技法は、映像シーケンスに固有の冗長性を低減又は除去するための空間的（イントラピクチャ）予測及び／又は時間的（インターピクチャ）予測を行う。ブロックに基づく映像コーディングでは、映像スライス（例えば、映像フレーム又は映像フレームの一部分）を映像ブロックに分割することができ、それらは、ツリーブロック、コーディングユニット（ＣＵ）及び／又はコーディングノードと呼ぶこともできる。ピクチャのイントラコーディングされた（Ｉ）スライス内の映像ブロックは、同じピクチャ内の近隣ブロック内の基準サンプルに関して空間的予測を用いて符号化される。ピクチャのインターコーディングされた（Ｐ又はＢ）スライス内の映像ブロックは、同じピクチャ内の近隣ブロック内の基準サンプルに関する空間的予測又はその他の基準ピクチャ内の基準サンプルに関する時間的予測を使用することができる。ピクチャは、フレームと呼ぶことができ、基準ピクチャは、基準フレームと呼ぶことができる。

［０００４］空間的予測又は時間的予測の結果、コーディングされるべきブロックに関する予測ブロックが得られる。残差データは、コーディングされるべきオリジナルのブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされたブロックは、予測ブロックを形成する基準サンプルのブロックを指し示す動きベクトル、及びコーディングされたブロックと予測ブロックとの間の差分を示す残差データにより符号化される。イントラコーディングされたブロックは、イントラコーディングモード及び残差データにより符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換することができ、その結果残差変換係数が得られ、次にそれらを量子化することができる。量子化された変換係数は、最初は二次元アレイで配列され、変換係数の一次元ベクトルを生成するために走査することができ、及びさらなる圧縮を達成するためにエントロピーコーディングを適用することができる。

［０００５］概して、本開示は、スケーラブル映像コーディング（ｓｃａｌａｂｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）（ＳＶＣ）に関する技法について説明する。幾つかの例では、本開示の技法は、一般化された残差予測（ｇｅｎｅｒａｌｉｚｅｄ ｒｅｓｉｄｕａｌ ｐｒｅｄｉｃｔｉｏｎ）（ＧＲＰ）フレームワークを提供することができる。層間残差予測は、現在の映像ユニットを予測する際に基準層の残差を使用する。一般化された残差予測では、現在の映像ユニットの層間残差予測は、現在の層の残差、現在の層の時間予測、及び基準層の残差に基づくことができる。基準層の残差は、重み付け係数（ｗｅｉｇｈｔｉｎｇ ｆａｃｔｏｒ）によって調整することができる。重み係数は、様々なタイプの情報に基づくことができ及び様々なタイプの情報を含むことができる。該情報の例は、重み付け候補の数と、重み付けステップと、重み付けインデックスと、重み付けテーブルと、を含むことができる。

［０００６］幾つかの態様により映像情報をコーディングするための装置は、メモリユニットと、そのメモリユニットと通信するプロセッサと、を含む。メモリユニットは、基準層の映像情報を格納する。プロセッサは、予測値及び基準層と関連付けられた調整された残差予測値に少なくとも部分的に基づいて映像ユニットの値を決定する。調整された残差予測値は、１と異なる重み付け係数によって乗じられた基準層からの残差予測に等しい。

［０００７］１つ以上の例の詳細が、添付図及び以下の説明において示される。それらの説明と図面から、及び請求項から、その他の特徴、目的、及び利点が明らかになるであろう。

［０００８］本開示において説明される態様により技法を利用することができる映像符号化及び復号システム例を示したブロック図である。 ［０００９］本開示において説明される態様により技法を利用することができる映像符号器の例を示したブロック図である。 ［００１０］本開示において説明される態様により技法を利用することができる映像復号器の例を示したブロック図である。 ［００１１］本開示の態様による一般化された残差予測のための方法例を示したフローチャートである。 ［００１２］本開示の態様による一般化された残差予測のための他の方法例を示したフローチャートである。 ［００１３］本開示の態様による単一ループ復号を用いた一般化された残差予測のための方法例を示したフローチャートである。 ［００１４］本開示の態様による多ループ復号を用いた一般化された残差予測のための方法例を示したフローチャートである。 ［００１５］本開示の態様による一般化された残差予測パラメータをシグナリングするための方法例を示したフローチャートである。 ［００１６］本開示の態様による一般化された残差予測パラメータを導き出すための方法例を示したフローチャートである。 ［００１７］本開示の態様による一般化された残差予測において層をアップサンプリング又はダウンサンプリングするための方法例を示したフローチャートである。 ［００１８］本開示の態様による一般化された残差予測において動き情報を再マッピング、アップサンプリング、又はダウンサンプリングするための方法例を示したフローチャートである。 ［００１９］本開示の態様による一般化された残差予測において符号化のための重み付け係数を決定するための方法例を示したフローチャートである。

［００２０］本開示において説明される技法は、概して、スケーラブル映像コーディング（ＳＶＣ）及び３Ｄ映像コーディングに関するものである。例えば、それらの技法は、高効率映像コーディング（ＨＥＶＣ）スケーラブル映像コーディング（ＳＶＣ）拡張に関連するものであり、高効率映像コーディング（ＨＥＶＣ）スケーラブル映像コーディング（ＳＶＣ）拡張とともに又は高効率映像コーディング（ＨＥＶＣ）スケーラブル映像コーディング（ＳＶＣ）拡張内において使用することができる。ＳＶＣ拡張では、複数の映像情報層が存在することが可能である。最下部レベルの層は、基本層（ＢＬ）として働くことができ、最上部の層は、拡張された層（ＥＬ）として働くことができる。“拡張された層”は、“拡張層”と時々呼ばれ、これらの用語は、互換可能な形で使用することができる。中央のすべての層は、ＥＬ又はＢＬのいずれかとして又は両方として働くことができる。例えば、中央の１つの層は、その下方の層、例えば、基本層又は介在する拡張層、に関するＥＬであることができ、同時に、その上方の拡張層に関するＢＬとして働くことができる。

［００２１］例示のみを目的として、本開示において説明される技法は、２つのみの層（例えば、下位層、例えば、基本層、及び高位層、例えば、拡張層）を含む例を用いて説明される。本開示において説明される技法は、複数の基本層及び拡張層を用いた例に拡大できることが理解されるべきである。

［００２２］映像コーディング規格は、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２又はＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６４（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとも呼ばれる）を含み、それのスケーラブル映像コーディング（ＳＶＣ）と、マルチビュービデオコーディング（ＭＶＣ）拡張と、を含む。さらに、新しいコーディング規格、すなわち、高効率ビデオコーディング（ＨＥＶＣ）、が、ＩＴＵ−Ｔビデオコーディングエキスパーツグループ（ＶＣＥＧ）及びＩＳＯ／ＩＥＣモーションピクチャエキスパーツグループ（ＭＰＥＧ）の映像コーディングに関する共同作業チーム（ＪＣＴ−ＶＣ）によって開発中である。２０１２年６月７日現在では、ＨＥＶＣの最近のドラフトを、http://wg11.sc29.org/jct/doc_end_user/current_document.php?id=5885/JCTVC-I1003-v2から入手可能である。２０１２年６月７日現在では、“ＨＥＶＣワーキングドラフト７”と呼ばれる他のＨＥＶＣの最近のドラフトを、http://phenix.it-sudparis.eu/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I1003-v3.zipから入手可能である。ＨＥＶＣワーキングドラフト７に関する完全な引用名は、HCTVC-I1003, Bross et al., "High Efficiency Video Coding(HEVC) Text Specification Draft 7," Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 9^th Meeting: Geneva, Switzerland, April 27, 2012 to May 7, 2012である。これらの引用文書の各々は、引用によってその全体が組み入れられている。

［００２３］スケーラブル映像コーディング（ＳＶＣ）は、品質（信号対雑音（ＳＮＲ）とも呼ばれる）スケーラビリティ、空間的スケーラビリティ及び／又は時間的スケーラビリティを提供するために使用することができる。拡張された層は、基本層と異なる空間解像度を有することができる。例えば、ＥＬとＢＬとの間の空間アスペクト比は、１．０、１．５、２．０又はその他の異なる比であることができる。換言すると、ＥＬの空間アスペクトは、ＢＬの空間アスペクトの１．０倍、１．５倍又は２．０倍に等しいことができる。幾つかの例では、ＥＬのスケーリング係数は、ＢＬよりも大きいことができる。例えば、ＥＬにおけるピクチャのサイズは、ＢＬにおけるピクチャのサイズよりも大きいことができる。このようにして、制限ではないが、ＥＬの空間解像度は、ＢＬの空間解像度よりも大きいことが可能である。

［００２４］Ｈ．２６４に関するＳＶＣ拡張においては、現在のブロックの予測は、ＳＶＣに関して提供される異なる層を用いて行うことができる。該予測は、層間予測と呼ぶことができる。ＳＶＣでは、層間冗長性を低減させるために層間予測法を利用することができる。層間予測の幾つかの例は、層間イントラ予測と、層間動き予測と、層間残差予測と、を含むことができる。層間イントラ予測は、拡張層における現在のブロックを予測するために基本層において共配置されたブロックの再構築を使用する。層間動き予測は、拡張層における動きを予測するために基本層の動きを使用する。層間残差予測は、拡張層の残差を予測するために基本層の残差を使用する。

［００２５］層間残差予測では、拡張層における現在のブロックを予測するために基本層の残差を使用することができる。残差は、映像ユニットとソース映像ユニットに関する時間的予測の差分であるであると定義することができる。残差予測においては、現在のブロックを予測する際には基本層の残差も考慮される。例えば、現在のブロックは、拡張層からの残差、拡張層からの時間予測、及び基本層からの残差を用いて再構築することができる。現在のブロックは、次の方程式により再構築することができる。

ここで、Ｉ＾_ｅは、現在のブロックの再構築を表し、ｒ_ｅは、拡張層からの残差を表し、Ｐ_ｅは、拡張層からの時間的予測を表し、ｒ_ｂは、基本層からの残差予測を表す。

［００２６］拡張層におけるマクロブロック（ＭＢ）に関して層間残差予測を使用するために、基本層の共配置されたマクロブロックは、インターＭＢであるべきであり、共配置された基本層マクロブロックの残差は、（例えば、ＳＶＣにおける層は異なる空間解像度を有することができるため）拡張層の空間解像度比によりアップサンプリングすることができる。層間残差予測において、拡張層の残差とアップサンプリングされた基本層の残差との間の差分は、ビットストリームにおいてコーディングすることができる。基本層の残差は、基本層及び拡張層の量子化ステップ間の比に基づいて正規化することができる。

［００２７］Ｈ．２６４のＳＶＣ拡張は、復号器に関して低い複雑さを維持するために動き補償に関する単一ループ復号を要求する。概して、動き補償は、次のように時間予測及び現在のブロックに関する残差を加えることによって行われる。

ここで、Ｉ＾は、現在のフレームを表し、ｒは、残差を表し、Ｐは、時間的予測を表す。単一ループ復号において、ＳＶＣにおける各々のサポートされる層は、単一動き補償ループを用いて復号することができる。これを達成するために、高位層を層間イントラ予測するために使用されるすべての層が、制約されたイントラ予測を用いてコーディングされる。制約されたイントラ予測において、イントラモードＭＢは、近隣のインターコーディングされたＭＢからのサンプルを参照せずにイントラコーディングされる。他方、ＨＥＶＣは、ＳＶＣに関する多ループ復号を可能にし、ＳＶＣ層は、複数の動き補償ループを用いて復号することができる。例えば、基本層が最初に完全に復号され、次に、拡張層が復号される。

［００２８］方程式（１）において公式化された残差予測は、Ｈ．２６４ ＳＶＣ拡張における効率的な技法であることができる。しかしながら、その性能は、ＨＥＶＣ ＳＶＣ拡張においてさらに向上させることができ、特に、ＨＥＶＣ ＳＶＣ拡張において多ループ復号が使用されるときである。

［００２９］多ループ復号の場合は、差分領域動き補償を残差予測の代わりに使用することができる。ＳＶＣでは、拡張層は、ピクセル領域コーディング又は差分領域コーディングを用いてコーディングすることができる。ピクセル領域コーディングでは、非ＳＶＣ ＨＥＶＣ層に関するように、拡張層ピクセルに関する入力ピクセルをコーディングすることができる。他方、差分領域コーディングでは、拡張層に関する差分値をコーディングすることができる。差分値は、拡張層に関する入力ピクセルと対応するスケーリングされた基本層再構築ピクチャとの間の差分であることができる。該差分値は、差分領域動き補償に関する動き補償において使用することができる。

［００３０］差分領域を用いたインターコーディングに関して、現在の予測されるブロックは、拡張層基準ピクチャにおける対応する予測されるブロックサンプルとスケーリングされた基本層基準ピクチャにおける対応する予測されるブロックサンプルとの間の差分値に基づいて決定される。差分値は、差分予測されたブロックと呼ぶことができる。共配置された基本層再構築サンプルは、拡張層再構築サンプルを得るために差分予測されたブロックに加えられる。

［００３１］しかしながら、層間予測において差分領域動き補償を使用することは、２組の動き推定及び動き補償を導入し、その理由は、動き推定及び動き補償は、ピクセル領域及び差分領域の両方に関してしばしば使用されるためである。２組の動き推定及び動き補償を導入することは、より高いバッファ上及び計算上のコストに結び付く可能性があり、それは、符号器及び復号器にとって実際的でないであろう。さらに、２組の動きベクトルは異なる性質を有しており、コーディングユニット（ＣＵ）レベルでインターリービングするときには動きフィールドがイレギュラーになるおそれがあるため、２組の動きベクトルをコーディングすることは、コーディング効率を低下させるおそれがある。さらに、差分領域での動き推定は、基本層及び拡張層が同じ動きを共有するように要求する。さらに、２つの層間での差分ピクチャの導出は、各層の完全に再構築されたピクチャに基づくため、差分領域動き補償は、単一ループ復号とともには機能しない。従って、差分領域動き補償を使用時には２組の動き推定及び動き補償を有する冗長性を回避するのが有利である。さらに、単一ループ復号において差分領域動き補償を拡張するのが有利である。

［００３２］本開示において説明される技法は、ＳＶＣにおける層間残差予測及び差分領域動き補償に関連する課題に対処することができる。それらの技法は、一般化された残差予測（ＧＲＰ）フレームワークを提供することができる。上において説明されるように、層間残差予測は、現在の映像ユニット、例えば、ブロック又はフレーム、を予測する際に基準層の残差を使用する。一般化された残差予測では、現在の映像ユニットの層間残差予測は、現在の層の残差、現在の層の時間的予測、及び基準層の残差に基づくことができる。基準層の残差は、重み付け係数によって調整することができる。重み付け係数は、様々なタイプの情報に基づくことができ及び様々なタイプの情報を含むことができる。該情報の例は、重み付け候補の数と、重み付けステップと、重み付けインデックスと、重み付けテーブルと、を含むことができる。ＧＲＰフレームワークは、イントラ予測にも適用することができる。イントラ予測を使用時には、ＧＲＰフレームワークでは、現在の層からの時間的予測の代わりに、現在の層からの空間的予測が使用される。例えば、現在の映像ユニットの層間残差予測は、現在の層の残差、現在の層の空間的予測、及び基準層の残差に基づくことができる。

［００３３］本開示の態様によるＧＲＰフレームワークは、重み付け係数を組み入れることによって様々なタイプの残差予測に対処することができる。重み付け係数を適宜調整することは、残差予測に関して有意なコーディング利得に結び付くことができる。さらに、ＧＲＰフレームワークにおいて、残差予測は、必ずしも伝統的な残差予測における基本層でない基準層を用いて行うことができる。例えば、基準層は、現在の拡張層から導き出すことができる。ＧＲＰは、重み付け係数が１に設定されるときには伝統的な残差予測にも対処することができる。ＧＲＰフレームワークは、単一ループ復号及び多ループ復号の両方とともに使用することができる。さらに、ＧＲＰフレームワークでは、差分領域での動き推定は必要なく、従って、現在の層及び拡張層は、動き推定のために同じ動きを共有する必要がない。ＧＲＰフレームワークは、数多くの異なるタイプの残差予測に適用することができ、方程式（１）において定義される伝統的な残差予測及び差分領域補償が、ＧＲＰフレームワークを使用する２つの具体的なシナリオである。それらの技法は、ＨＥＶＣのスケーラブル拡張における動き補償性能を向上させることができ、及び、ＨＥＶＣの３Ｄ映像コーディング拡張にも適用することができる。

［００３４］新規のシステム、装置、及び方法の様々な態様が、以下において添付図を参照してさらに詳細に説明される。しかしながら、本開示は、数多くの形態で具現化することができ、本開示の全体を通じて提示される特定の構造又は機能に限定されるとは解釈されるべきでない。むしろ、これらの態様は、本開示が徹底的かつ完全であるようにするために、及び本開示の適用範囲を当業者に十分に伝えるために提供される。ここにおける教示に基づき、本開示の適用範囲は、本発明のその他の態様と独立して実装されるか又は組み合わせて実装されるかにかかわらず、ここにおいて開示される新規のシステム、装置、及び方法のあらゆる態様を網羅することが意図されることを当業者は評価すべきである。例えば、ここにおいて説明される態様のうちのあらゆる数を用いて装置を実装すること又は方法を実践することができる。さらに、本発明の適用範囲は、ここにおいて説明される本発明の様々な態様に加えての又はここにおいて説明される本発明の様々な態様以外のその他の構造、機能、又は構造と機能を用いて実践される装置又は方法を網羅することが意図される。ここにおいて開示される態様は、請求項の１つ以上の要素によって具現化できることが理解されるべきである。

［００３５］ここでは特定の態様について説明されているが、これらの態様の数多くの変形及び置換が本開示の適用範囲内である。好ましい態様の幾つかの利益及び利点が述べられているが、本開示の適用範囲は、特定の利益、用途、又は目標に限定されることは意図されない。むしろ、本開示の態様は、異なる無線技術、システム構成、ネットワーク、及び送信プロトコルに対して広範囲にわたって適用可能であることが意図され、それらのうちの一部が図内において及び好ましい態様に関する以下の説明において例として記述されている。発明を実施するための形態及び図面は、限定するのではなく本開示を単に例示することが目的であり、本開示の適用範囲は、添付された請求項及びそれらの同等物によって定義される。

［００３６］図1は、本開示において説明される態様により技法を利用することができる映像符号化及び復号システム例を示したブロック図である。図１に示されるように、システム１０は、行先デバイス１４によってのちに復号されるべき符号化された映像データを提供するソースデバイス１２を含む。特に、ソースデバイス１２は、コンピュータによって読み取り可能な媒体１６を介して行先デバイス１４に映像データを提供する。ソースデバイス１２及び行先デバイス１４は、広範なデバイスを備えることができ、デスクトップコンピュータ、ノートブック（例えば、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、例えば、いわゆる“スマート”フォン、いわゆる“スマート”パッド、テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲームコンソール、ビデオストリーミングデバイス、等を含む。幾つかの場合は、ソースデバイス１２及び行先デバイス１４は、無線通信のために装備することができる。

［００３７］行先デバイス１４は、コンピュータによって読み取り可能な媒体１６を介して復号されるべき符号化された映像データを受信することができる。コンピュータによって読み取り可能な媒体１６は、符号化された映像データをソースデバイス１２から行先デバイス１４に移動させることが可能なタイプの媒体又はデバイスを備えることができる。一例では、コンピュータによって読み取り可能な媒体１６は、ソースデバイス１２が符号化された映像データをリアルタイムで直接行先デバイス１４に送信するのを可能にする通信媒体を備えることができる。符号化された映像データは、通信規格、例えば、無線通信プロトコル、によりを変調することができ、及び行先デバイス１４に送信することができる。通信媒体は、無線又は有線の通信媒体、例えば、無線周波数（ＲＦ）スペクトル又は１つ以上の物理的送信ライン、を備えることができる。通信媒体は、パケットに基づくネットワーク、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、又はグローバルネットワーク、例えば、インターネット、の一部を形成することができる。通信媒体は、ルータ、スイッチ、基地局、又はソースデバイス１２から行先デバイス１４への通信を容易にするのに役立つことができるその他のあらゆる装置を含むことができる。

［００３８］幾つかの例では、符号化されたデータは、出力インタフェース２２から記憶デバイスに出力することができる。同様に、符号化されたデータは、入力インタフェースによって記憶デバイスからアクセスすることができる。記憶デバイスは、様々な分散された又はローカルでアクセスされるデータ記憶媒体、例えば、ハードドライブ、ブルーレイ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性又は非揮発性メモリ、又は符号化された映像データを格納するためのその他の適切なデジタル記憶媒体を含むことができる。さらなる例では、記憶デバイスは、ソースデバイス１２によって生成された符号化された映像を格納することができるファイルサーバ又は他の中間的な記憶デバイスに対応することができる。行先デバイス１４は、ストリーミング又はダウンロードを介して記憶デバイスから格納された映像データにアクセスすることができる。ファイルサーバは、符号化された映像データを格納すること及び符号化された映像データを行先デバイス１４に送信することが可能なあらゆるタイプのサーバであることができる。ファイルサーバ例は、（例えば、ウェブサイトのための）ウェブサーバと、ＦＴＰサーバと、ネットワーク接続記憶（ＮＡＳ）デバイスと、ローカルディスクドライブと、を含む。行先デバイス１４は、インターネット接続を含む標準的なデータ接続を通じて符号化された映像データにアクセスすることができる。これは、ファイルサーバに格納された符号化された映像データにアクセスするのに適する無線チャネル（例えば、Ｗｉ−Ｆｉ接続）、有線接続（例えば、ＤＳＬ、ケーブルモデム、等）、又は両方の組み合わせを含むことができる。記憶デバイスからの符号化された映像データの送信は、ストリーミング送信、ダウンロード送信、又は両方の組み合わせであることができる。

［００３９］本開示の技法は、無線の用途またはセッティングには必ずしも限定されない。それらの技法は、映像コーディングに適用することができ、様々なマルチメディア用途、例えば、オーバー・ザ・エアテレビ放送、ケーブルテレビ送信、衛星テレビ送信、インターネットストリーミング映像送信、例えば、ＨＴＴＰを通じてのダイナミックアダプティブストリーミング（ＤＡＳＨ）、データ記憶媒体への格納のために符号化されるデジタル映像、データ記憶媒体に格納されたデジタル映像の復号、又はその他の用途をサポートする。幾つかの例では、システム１０は、映像ストリーミング、映像再生、映像放送、及び／又は映像テレフォニー、等の用途をサポートするために１方向又は２方向の映像送信をサポートするように構成することができる。

［００４０］図１の例では、ソースデバイス１２は、映像ソース１８と、映像符号器２０と、出力インタフェース２２と、を含む。行先デバイス１４は、入力インタフェース２８と、映像復号器３０と、表示装置３２と、を含む。本開示により、ソースデバイス１２の映像符号器２０は、複数の規格又は拡張規格に準拠して映像データを含むビットストリームをコーディングするための技法を適用するように構成することができる。その他の例では、ソースデバイス及び行先デバイスは、その他のコンポーネント又は配置を含むことができる。例えば、ソースデバイス１２は、外部の映像ソース１８、例えば、外部のカメラ、から映像データを受信することができる。同様に、行先デバイス１４は、一体化された表示装置を含むのではなく、外部の表示装置とインタフェースすることができる。

［００４１］図１の例示されるシステム１０は、単なる一例である。現在のブロックに関する動きベクトル予測子に関する候補リストのための候補を決定するための技法は、あらゆる映像符号化及び／又は復号デバイスによって実行することができる。概して、本開示の技法は、映像符号化デバイスによって実行されるが、それらの技法は、典型的には“ＣＯＤＥＣ”と呼ばれる映像符号器／復号器によって実行することもできる。さらに、本開示の技法は、映像プリプロセッサによって実行することもできる。ソースデバイス１２及び行先デバイス１４は、ソースデバイス１２が行先デバイス１４への送信のためにコーディングされた映像データを生成する該コーディングデバイスの例であるにすぎない。幾つかの例では、デバイス１２、１４は、デバイス１２、１４の各々が符号化コンポーネント及び復号コンポーネントを含むような実質上対称的な形で動作することができる。従って、システム１０は、映像ストリーミング、映像再生、映像放送、及び／又は映像テレフォニー、に関して、映像デバイス１２、１４、間での１方向又は２方向の映像送信をサポートすることができる。

［００４２］ソースデバイス１２の映像ソース１８は、映像キャプチャデバイス、例えば、ビデオカメラ、以前にキャプチャされた映像が入った映像アーカイブ、及び／又は映像コンテンツプロバイダからの映像を受信するための映像フィードインタフェース、を含むことができる。さらなる代替として、映像ソース１８は、コンピュータグラフィックに基づくデータを、ソース映像、又は、ライブ映像、アーカイブに保存された映像、及びコンピュータによって生成された映像の組み合わせとして生成することができる。幾つかの場合においては、映像ソース１８がビデオカメラである場合は、ソースデバイス１２及び行先デバイス１４は、いわゆるカメラフォン又はビデオフォンを形成することができる。しかしながら、上記のように、本開示において説明される技法は、映像コーディング全般に適用可能であり、無線及び／又は有線用途に適用することができる。各場合において、キャプチャされた、予めキャプチャされた、又はコンピュータによって生成された映像は、映像符号器２０によって符号化することができる。符号化された映像情報は、出力インタフェース２２によってコンピュータによって読み取り可能な媒体１６上に出力することができる。

［００４３］コンピュータによって読み取り可能な媒体１６は、一時的な媒体、例えば、無線放送又は有線のネットワーク送信、又は記憶媒体（すなわち、非一時的な記憶媒体）例えば、ハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、ブルーレイ（登録商標）ディスク、又はその他のコンピュータによって読み取り可能な媒体、を含むことができる。幾つかの例では、ネットワークサーバ（示されていない）は、符号化された映像データをソースデバイス１２から受信し、符号化された映像データを、例えば、ネットワーク送信、直接有線通信、等を介して、行先デバイス１４に提供することができる。同様に、媒体生産ファシリティ、例えば、ディスクスタンピングファシリティ、のコンピューティングデバイスは、符号化された映像データをソースデバイス１２から受信し、符号化された映像データが入ったディスクを生産することができる。従って、コンピュータによって読み取り可能な媒体１６は、様々な例において、様々な形態の１つ以上のコンピュータによって読み取り可能な媒体を含むと理解することができる。

［００４４］行先デバイス１４の入力インタフェース２８は、コンピュータによって読み取り可能な媒体１６から情報を受信する。コンピュータによって読み取り可能な媒体１６の情報は、ブロック及びその他のコーディングされたユニット、例えば、ＧＯＰ、の特性及び／又は処理を記述した構文要素を含む、映像復号器３０によっても使用される、映像符号器２０によって定義された構文情報を含むことができる。表示装置３２は、復号された映像データをユーザに表示し、様々な表示装置、例えば、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は他のタイプの表示装置、のうちのいずれかを備えることができる。

［００４５］映像符号器２０及び映像復号器３０は、映像コーディング規格、例えば、現在策定中の高効率映像コーディング（ＨＥＶＣ）規格、により動作することができ、及び、ＨＥＶＣテストモデル（ＨＭ）に準拠することができる。代替として、映像符号器２０及び映像復号器３０は、その他の独占規格又は工業規格、例えば、ＩＴＵ−Ｔ Ｈ．２６４規格、代替でＭＰＥＧ−４、Ｐａｒｔ１０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）と呼ばれる、又は該規格の拡張版により動作することができる。しかしながら、本開示の技法は、上記の規格を含むいずれの特定のコーディング規格にも制限されず、さらに上記のいずれの規格にも限定されない。映像コーディング規格のその他の例は、ＭＰＥＧ−２と、ＩＴＵ−Ｔ Ｈ．２６３とを含む。図１には示されていないが、幾つかの態様では、映像符号器２０及び映像復号器３０は、各々、音声符号器及び復号器と一体化することができ、及び、共通のデータストリーム又は別々のデータストリーム内の音声及び映像の両方の符号化を取り扱うための該当するＭＵＸ−ＤＥＭＵＸユニット、又はその他のハードウェア及びソフトウェアを含むことができる。該当する場合は、幾つかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、又はその他のプロトコル、例えば、ユーザデータグラムプロトコル（ＵＤＰ）に準拠することができる。

［００４６］映像符号器２０及び映像復号器３０は、各々、様々な適切な符号器回路、例えば、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア又はそれらのあらゆる組み合わせのうちのいずれかとして実装することができる。技法がソフトウェア内において部分的に実装されるときには、デバイスは、ソフトウェアに関する命令を適切な、非一時的なコンピュータによって読み取り可能な媒体に格納することができ及び本開示の技法を実行するために１つ以上のプロセッサを用いてハードウェア内で命令を実行することができる。映像符号器２０及び映像復号器３０の各々は、１つ以上の符号器又は復号器に含めることができ、それらのいずれも、各々のデバイスにおいて結合された符号器／復号器（ＣＯＤＥＣ）の一部として一体化することができる。映像符号器２０及び／又は映像復号器３０を含むデバイスは、集積回路、マイクロプロセッサ、及び／又は無線通信デバイス、例えば、携帯電話、を備えることができる。

［００４７］ＪＣＴ−ＶＣは、ＨＥＶＣ規格の策定作業中である。ＨＥＶＣ標準化努力は、ＨＥＶＣテストモデル（ＨＭ）と呼ばれる映像コーディングデバイスの進化中のモデルに基づく。ＨＭは、例えば、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣによる既存のデバイスと比較して幾つかの追加の映像コーディングデバイス能力を仮定している。例えば、Ｈ．２６４は、９つのイントラ予測符号化モードを提供する一方で、ＨＭは、３３ものイントラ予測符号化モードを提供することができる。

［００４８］概して、ＨＭのワーキングモデルでは、映像フレーム又はピクチャは、ツリーブロックのシーケンス又はルマサンプルとクロマサンプルの両方を含む最大コーディングユニット（ＬＣＵ）に分割することができると記述している。ビットストリーム内の構文データは、ピクセル数の点で最大のコーディングユニットであるＬＣＵに関するサイズを定義することができる。スライスは、コーディング順序で連続する幾つかのツリーブロックを含む。映像フレーム又はピクチャは、１つ以上のスライスに分割することができる。各ツリーブロックは、四分木によりコーディングユニット（ＣＵ）に分割することができる。概して、四分木データ構造は、ＣＵ当たり１つのノードを含み、ツリーブロックに対応するルートノードを有する。ＣＵが４つのサブＣＵに分割される場合は、ＣＵに対応するノードは、４つの葉ノードを含み、それらの各々は、サブＣＵのうちの１つに対応する。

［００４９］四分木データ構造の各ノードは、対応するＣＵに関する構文データを提供することができる。例えば、四分木内のノードは、そのノードに対応するＣＵがサブＣＵに分割されるかどうかを示す分割フラグを含むことができる。ＣＵに関する構文要素は、繰り返し定義することができ、及び、ＣＵがサブＣＵに分割されるかどうかに依存することができる。ＣＵがそれ以上分割されない場合は、それは葉ＣＵと呼ばれる。本開示では、オリジナルの葉ＣＵが明示で分割されない場合でも、葉ＣＵの４つのサブＣＵも葉ＣＵと呼ばれる。例えば、１６×１６サイズのＣＵがそれ以上分割されない場合は、１６×１６サイズのＣＵは分割されなかったが４つの８×８サブＣＵも葉ＣＵと呼ばれる。

［００５０］ＣＵは、Ｈ．２６４規格のマクロブロックと同様の目的を有し、ただし、ＣＵはサイズの区別を有さない。例えば、ツリーブロックは、４つの子ノード（サブＣＵとも呼ばれる）に分割することができ、各子ノードは、親ノード及び他の４つの子ノードに分割することができる。最終的な、分割されない子ノードは、四分木の葉ノードと呼ばれ、葉ＣＵともよばれるコーディングノードを備える。コーディングされたビットストリームと関連付けられた構文データは、ツリーブロックを分割することができる最大回数を定義することができ、最大ＣＵ深度と呼ばれ、コーディングノードの最小サイズを定義することもできる。従って、ビットストリームは、最小のコーディングユニット（ＳＣＵ）を定義することもできる。本開示は、ＨＥＶＣに関するＣＵ、ＰＵ、又はＴＵのいずれか、又は、その他の規格に関する同様のデータ構造（例えば、Ｈ．２６４／ＡＶＣにおけるマクロブロック及びサブブロック）を意味するために用語“ブロック”を使用する。

［００５１］ＣＵは、コーディングノードと、そのコーディングノードと関連付けられた予測ユニット（ＰＵ）及び変換ユニット（Ｕ）を含む。ＣＵのサイズは、コーディングノードのサイズに対応し、形状は正方形でなければならない。ＣＵのサイズは、８×８ピクセルからツリーブロックのサイズまでの範囲であることができ、最大サイズは６４×６４ピクセル以上である。各ＣＵには、１つ以上のＰＵ及び１つ以上のＴＵが入ることができる。ＣＵと関連付けられた構文データは、例えば、１つ以上のＰＵへのＣＵの分割を記述することができる。分割モードは、ＣＵがスキップ又は直接モード符号化されるか、イントラ予測モード符号化されるか、又はインター予測モード符号化されるかの間で異なることができる。ＰＵは、形状が非正方形に分割することができる。ＣＵと関連付けられた構文データは、例えば、四分木による１つ以上のＴＵへのＣＵの分割も記述することができる。ＴＵの形状は、正方形であっても非正方形であってもよい。

［００５２］ＨＥＶＣ規格は、ＴＵによる変形を考慮しており、異なるＣＵごとに異なることができる。ＴＵは、典型的には、分割されたＬＣＵに関して定義される所定のＣＵ内のＰＵのサイズに基づいてサイズが設定されるが、常にそうであるわけではない。ＴＵは、典型的には、ＰＵと同じサイズであるか又はそれよりも小さい。幾つかの例では、ＣＵに対応する残差サンプルは、“残差四分木（ＲＱＴ）”と呼ばれる四分木構造を用いてより小さいユニットに細分割することができる。ＲＱＴの葉ノードは、変換ユニット（ＴＵ）と呼ぶことができる。ＴＵと関連付けられたピクセル差分値は、変換係数を生成するために変換することができ、それらは量子化することができる。

［００５３］葉ＣＵは、１つ以上の予測ユニット（ＰＵ）を含むことができる。概して、ＰＵは、対応するＣＵの全部又は一部に対応する空間エリアを表し、ＰＵに関する基準サンプルを取り出すためのデータを含むことができる。さらに、ＰＵは、予測に関連するデータを含む。例えば、ＰＵがイントラモード符号化されるときには、ＰＵに関するデータは、残差四分木（ＲＱＴ）に含めることができ、それは、ＰＵに対応するＴＵに関するイントラ予測モードを記述するデータを含むことができる。他の例として、ＰＵがインターモード符号化されるときには、ＰＵは、ＰＵに関する１つ以上の動きベクトルを定義するデータを含むことができる。ＰＵに関する動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルに関する解像度（例えば、１／４ピクセル精度又は１／８ピクセル精度）、動きベクトルが指し示す基準ピクチャ、及び／又は動きベクトルに関する基準ピクチャリスト（例えば、リスト０、リスト１、又はリストＣ）を記述することができる。

［００５４］１つ以上のＰＵを有する葉ＣＵは、１つ以上の変換ユニット（ＴＵ）を含むこともできる。変換ユニットは、上述されるように、ＲＱＴ（ＴＵユニットは、上述されるように、ＲＱＴ（ＴＵ四分木構造とも呼ばれる）を用いて指定することができる。例えば、分割フラグは、葉ＣＵが４つの変換ユニットに分割されるかどうかを示すことができる。次に、各変換ユニットは、さらなるサブＴＵにさらに分割することができる。ＴＵがそれ以上分割されない場合は、それは、葉ＴＵと呼ぶことができる。概して、イントラコーディングに関して、葉ＣＵに属するすべての葉ＴＵは、同じイントラ予測モードを共有する。すなわち、葉ＣＵのすべてのＴＵに関する予測された値を計算するために同じイントラ予測モードが概して適用される。イントラコーディングに関して、映像符号器は、ＴＵに対応するＣＵの部分とオリジナルブロックとの間の差分として、イントラ予測モードを用いて各葉ＴＵに関する予測された値を計算することができる。ＴＵは、必ずしもＰＵのサイズに限定されない。従って、ＴＵは、ＰＵよりも大きいこと又は小さいことができる。イントラコーディングに関して、ＰＵは、同じＣＵに関する対応する葉ＴＵと共配置することができる。幾つかの例では、葉ＴＵの最大サイズは、対応する葉ＣＵのサイズに対応することができる。

［００５５］さらに、葉ＣＵのＴＵは、残差四分木（ＲＱＴ）と呼ばれる各々の四分木データ構造と関連付けることもできる。すなわち、葉ＣＵは、その葉ＣＵがどのようにしてＴＵに分割されるかを示す四分木を含むことができる。ＴＵ四分木のルートノードは、概して、葉ＣＵに対応し、ＣＵ四分木のルートノードは、概して、ツリーブロック（又はＬＣＵ）に対応する。分割されないＲＱＴのＴＵは、葉ＴＵと呼ばれる。概して、本開示は、別記がないかぎり、葉ＣＵ及び葉ＴＵをそれぞれ意味するために用語ＣＵ及びＴＵを使用する。

［００５６］映像シーケンスは、典型的には、一連の映像フレーム又はピクチャを含む。ピクチャのグループ（ＧＯＰ）は、概して、映像ピクチャのうちの一連の１つ以上を備える。ＧＯＰは、ＧＯＰ内に含まれるピクチャ数を記述する構文データをＧＯＰのヘッダ、１つ以上のピクチャのヘッダ、又はその他の場所において含むことができる。ピクチャの各スライスは、各々のスライスに関する符号化モードを記述するスライス構文データを含むことができる。映像符号器２０は、典型的には、映像データを符号化するために個々の映像スライス内の映像ブロックに対して動作する。映像ブロックは、ＣＵ内のコーディングノードに対応することができる。映像ブロックは、固定された又は可変のサイズを有することができ、及び、指定されたコーディング規格によりサイズが異なることができる。

［００５７］一例として、ＨＭは、様々なＰＵサイズの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２Ｎ又はＮ×ＮのＰＵサイズでのイントラ予測、及び２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、又はＮ×Ｎの対称的ＰＵサイズでのインター予測をサポートする。ＨＭは、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、及びｎＲ×２ＮのＰＵサイズでのインター予測に関する非対称的な分割もサポートする。非対称的な分割では、ＣＵの１方の方向が分割されず、他方の方向が２５％及び７５％に分割される。２５％の分割に対応するＣＵの部分は、“ｎ”によって示され、“上（Ｕｐ）”、“下（Ｄｏｗｎ）”、“左（Ｌｅｆｔ）”、又は“右（Ｒｉｇｈｔ）”の表示文字によって後続される。従って、例えば、“２Ｎ×ｎＵ”は、水平に分割され、最上部が２Ｎ×０．５Ｎ ＰＵ、最下部が２Ｎ×１．５Ｎ ＰＵである２Ｎ×２Ｎ ＣＵを意味する。

［００５８］本開示においては、“Ｎ×Ｎ”及び“Ｎ ｂｙ Ｎ”は、垂直及び水平の寸法に関するブロックのピクチャ寸法を意味するために互換可能な形で使用することができ、例えば、１６×１６ピクセル又は１６ ｂｙ １６ピクセル。概して、１６×１６ブロックは、垂直方向に１６ピクセル（ｙ＝１６）及び水平方向に１６ピクセル（ｘ＝１６）を有することになる。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮのピクセル及び水平方向にＮのピクセルを有し、ここで、Ｎは、負でない整数値を表す。ブロック内のピクセルは、行及び列で配列することができる。さらに、ブロックは、水平方向と垂直方向で必ずしも同じピクセル数を有する必要がない。例えば、ブロックは、Ｎ×Ｍピクセルを備えることができ、ここで、Ｍは必ずしもＮと等しくない。

［００５９］ＣＵのＰＵを用いたイントラ予測又はインター予測コーディングに引き続き、映像符号器２０は、ＣＵのＴＵに関する残差データを計算することができる。ＰＵは、空間領域（ピクセル領域とも呼ばれる）において予測ピクセルデータを生成する方法又はモードを記述する構文データを備えることができ、及び、ＴＵは、変換、例えば、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、又は概念的に類似する変換を残差映像データに適用後に変換領域において係数を備えることができる。残差データは、符号化されないピクチャのピクセルとＰＵに対応する予測値との間のピクセル差分に対応することができる。映像符号器２０は、ＣＵに関する残差データを含むＴＵを形成することができ、次に、ＣＵに関する変換係数を生成するためにＴＵを変換することができる。

［００６０］変換係数を生成するための変換に引き続き、映像符号器２０は、それらの変換係数の量子化を行うことができる。量子化は、概して、係数を表すために使用されるデータ量を低減させ、さらなる圧縮を提供するために変換係数が量子化されるプロセスを意味する。量子化プロセスは、係数の一部又は全部と関連付けられたビット深度を低減させることができる。例えば、量子化中にｎビット値が切り捨てられてｍビット値になり、ここで、ｎはｍよりも大きい。

［００６１］量子化に引き続き、映像符号器は、変換係数を走査し、量子化された変換係数を含む二次元行列から一次元ベクトルを生成することができる。走査は、より高いエネルギー（従って、より低い周波数）係数をアレイの前部に置き、より低いエネルギー（及び従って、より高い周波数）係数をアレイの後部に置くように設計することができる。幾つかの例では、映像符号器２０は、エントロピー符号化することができるシリアライズされたベクトルを生成するために量子化された変換係数を走査するために予め定義された走査順序を利用することができる。その他の例では、映像符号器２０は、適応型走査を行うことができる。一次元ベクトルを形成するために量子化された変換係数を走査後は、映像符号器２０は、例えば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、構文に基づくコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔パーティショニングエントロピー（ＰＩＰＥ）コーディング又は他のエントロピー符号化法により一次元ベクトルをエントロピー符号化することができる。映像符号器２０は、映像データを復号する際に映像復号器３０によって使用するための符号化された映像データと関連付けられた構文要素もエントロピー符号化することができる。

［００６２］ＣＡＢＡＣを行うために、映像符号器２０は、コンテキストモデル内のコンテキストを送信されるべきシンボルに割り当てることができる。コンテキストは、例えば、シンボルの近隣値がゼロでないかどうかに関連することができる。ＣＡＶＬＣを行うために、映像符号器２０は、送信されるべきシンボルに関する可変長コードを選択することができる。ＶＬＣにおけるコードワードは、相対的により短いコードがより確率の高いシンボルに対応し、より長いコードがより確率の低いシンボルに対応するような形で構築することができる。このように、ＶＬＣの使用は、例えば、送信されるべき各シンボルに関して等しい長さのコードワードを使用することと比較してビットの節約を達成することができる。確率決定は、シンボルに割り当てられたコンテキストに基づくことができる。

［００６３］映像符号器２０は、構文データ、例えば、ブロックに基づく構文データ、フレームに基づく構文データ、及び．ＧＯＰに基づく構文データを、例えば、フレームヘッダ、ブロックヘッダ、スライスヘッダ、又はＧＯＰヘッダにおいて、映像復号器３０にさらに送信することができる。ＧＯＰ構文データは、各々のＧＯＰ内のフレーム数を記述することができ、及び、フレーム構文データは、対応するフレームを符号化するために使用される符号化／予測モードを示すことができる。

［００６４］図２は、本開示において説明される態様により技法を実装することができる映像符号器の例を示したブロック図である。映像符号器２０は、本開示のすべての技法を実行するように構成することができる。一例として、モード選択ユニット４０は、本開示において説明されるすべての技法を実行するように構成することができる。しかしながら、本開示の態様は、そのようには限定されない。幾つかの例では、本開示において説明される技法は、映像符号器２０の様々なコンポーネントの間で共有することができる。幾つかの例では、さらに加えて又は代替として、プロセッサ（示されていない）は、本開示において説明されるすべての技法を実行するように構成することができる。

［００６５］幾つかの実施形態では、モード選択ユニット４０、動き推定ユニット４２、動き補償ユニット４４、イントラ予測ユニット４６（示されている又は示されていないモード選択ユニット４０の他のコンポーネント）、又は（示されている又は示されていない）符号器２０の他のコンポーネントは、本開示の技法を実行することができる。例えば、モード選択ユニット４０は、符号化のために映像データを受信することができ、それは、基本層及び対応する１つ以上の拡張層に符号化することができる。モード選択ユニット４０、動き推定ユニット４２、動き補償ユニット４４、イントラ予測ユニット４６、又は、符号器２０の他の該当するユニットは、予測値及び基準層と関連付けられた調整された残差予測値に少なくとも部分的に基づいて映像ユニットの値を決定することができる。調整された残差予測値は、１と異なる重み付け係数によって乗じられた基準層からの残差予測に等しいことができる。符号器２０は、映像ユニットを符号化し、重み付け係数又は重み付け情報をビットストリームにおいてシグナリングすることができる。

［００６６］映像符号器２０は、映像スライス内の映像ブロックのイントラ及びインターコーディングを行うことができる。イントラコーディングは、所定の映像フレーム又はピクチャ内の映像の空間的冗長性を低減又は除去するために空間的予測に依存する。インターコーディングは、映像シーケンスの隣接するフレーム又はピクチャ内の映像の時間的冗長性を低減又は除去するために時間的予測に依存する。イントラモード（Ｉモード（登録商標））は、幾つかの空間に基づく圧縮モードのうちのいずれを意味することができる。インターモード、例えば、単一方向性予測（Ｐモード）又は両方向性予測（Ｂモード）は、幾つかの時間に基づくコーディングモードのうちのいずれかを意味することができる。

［００６７］図２において示されるように、映像符号器２０は、符号化されるべき映像フレーム内の現在の映像ブロックを受信する。図１の例では、映像符号器２０は、モード選択ユニット４０と、基準フレームメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６と、を含む。モード選択ユニット４０は、動き補償ユニット４４と、動き推定ユニット４２と、イントラ予測ユニット４６と、分割ユニット４８と、を含む。映像ブロック再構築に関して、映像符号器２０は、逆量子化ユニット５８と、逆変換ユニット６０と、加算器６２と、も含む。再構築された映像からブロッキネスアーティファクトを除去するためにブロック境界をフィルタリングするためにデブロッキングフィルタ（図２は示されていない）を含めることもできる。希望される場合は、デブロッキングフィルタは、典型的には、加算器６２の出力をフィルタリングする。デブロッキングフィルタに加えて追加のフィルタ（インループ又はポストループ）を使用することもできる。簡潔さを目的として、該フィルタは示されていないが、希望される場合は、（インループフィルタとして）加算器５０の出力をフィルタリングすることができる。

［００６８］符号化プロセス中に、映像符号器２０は、コーディングされるべき映像フレーム又はスライスを受信する。フレーム又はスライスは、複数の映像ブロックに分割することができる。動き推定ユニット４２及び動き補償ユニット４４は、時間的予測を提供するために１つ以上の基準フレーム内の１つ以上のブロックに関して受信された映像ブロックのインター予測コーディングを行う。イントラ予測ユニット４６は、代替として、空間的予測を提供するためにコーディングされるべきブロックと同じフレーム又はスライス内の１つ以上の近隣ブロックに関して受信された映像ブロックのイントラ予測コーディングを行うことができる。映像符号器２０は、例えば、映像データの各ブロックに関して該当するコーディングモードを選択するために複数のコーディングパス（ｃｏｄｉｎｇ ｐａｓｓ）を行うことができる。

［００６９］さらに、分割ユニット４８は、以前のコーディングパスにおける以前の分割方式の評価に基づいて、映像データのブロックをサブブロックに分割することができる。例えば、分割ユニット４８は、最初にフレーム又はスライスをＬＣＵに分割し、及び、レート−歪み解析（例えば、レート−歪み最適化）に基づいて各々のＬＣＵをサブＣＵに分割することができる。モード選択ユニット４０は、サブＣＵへのＬＣＵの分割を示す四分木データ構造をさらに生成することができる。四分木の葉ノードＣＵは、１つ以上のＰＵと、１つ以上のＴＵと、を含むことができる。

［００７０］モード選択ユニット４０は、例えば、誤り結果に基づいてコーディングモードのうちの１つ、イントラ又はインター、を選択することができ、及び、結果的に得られたイントラ又はインターコーディングされたブロックを、残差ブロックデータを生成するために加算器５０に及び基準フレームとしての使用ための符号化されたブロックを再構築するために加算器６２に提供する。モード選択ユニット４０は、構文要素、例えば、動きベクトル、イントラモードインジケータ、分割情報、及びその他の構文情報、もエントロピー符号化ユニット５６に提供する。

［００７１］動き推定ユニット４２及び動き補償ユニット４４は、高度に一体化することができるが、概念上の目的のために別々に示されている。動き推定は、動き推定ユニット４２によって行われ、映像ブロックに関する動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在のフレーム（又はその他のコーディングされたユニット）内のコーディング中の現在のブロックに対する基準フレーム（又はその他のコーディングされたユニット）内の予測ブロックに対する現在の映像フレーム又はピクチャ内の映像ブロックのＰＵの変位を示すことができる。予測ブロックは、ピクセル差分の点でコーディングされるべき映像ブロックのＰＵに密接にマッチングすることが判明しているブロックであり、差分絶対値和（ＳＡＤ）、差分二乗和（ＳＳＤ）、又はその他の差分メトリックによって決定することができる。幾つかの例では、映像符号器２０は、基準フレームメモリ６４に格納された基準ピクチャの整数未満のピクセル位置に関する値を計算することができる。例えば、映像符号器２０は、基準ピクチャの１／４ピクセル位置、１／８ピクセル位置、又はその他の分数のピクセル位置の値を内挿することができる。従って、動き推定ユニット４２は、完全ピクセル位置及び分数ピクセル位置に関する動き探索を行い、分数のピクセル精度を有する動きベクトルを出力することができる。

［００７２］動き推定ユニット４２は、インターコーディングされたスライス内の映像ブロックのＰＵの位置を基準ピクチャの予測ブロックの位置と比較することによってそのＰＵに関する動きベクトルを計算する。基準ピクチャは、第１の基準ピクチャリスト（リスト０）又は第２の基準ピクチャリスト（リスト１）から選択することができ、それらの各々は、基準フレームメモリ６４に格納された１つ以上の基準ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６及び動き補償ユニット４４に送信する。

［０１４５］動き補償は、動き補償ユニット４４によって行われ、動き推定ユニットによって決定された動きベクトルに基づいて予測ブロックをフェッチ又は生成することを含むことができる。繰り返すと、幾つかの例では、動き推定ユニット４２及び動き補償ユニット４４は、機能的に一体化することができる。現在の映像ブロックのＰＵに関する動きベクトルを受信した時点で、動き補償ユニット４４は、基準ピクチャリストのうちの１つにおいて動きベクトルが指し示す予測ブロックの位置を突き止めることができる。加算器５０は、後述されるように、コーディング中の現在の映像ブロックのピクセル値から予測ブロックのピクセル値を減じることによって残差映像ブロックを形成し、ピクセル差分値を形成する。概して、動き推定ユニット４２は、ルマコンポーネントに関する動き推定を行い、動き補償ユニット４４は、クロマコンポーネント及びルマコンポーネントの両方に関してルマコンポーネントに基づいて計算された動きベクトルを使用する。モード選択ユニット４０は、映像スライスの映像ブロックを復号する際に映像復号器３０によって使用するために映像ブロック及び映像スライスと関連付けられた構文要素を生成することもできる。

［００７４］イントラ予測モジュール４６は、上述されるように、動き推定ユニット４２及び動き補償ユニット４４によって行われるインター予測の代替として、現在のブロックをイントラ予測することができる。特に、イントラ予測モジュール４６は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定することができる。幾つかの例では、イントラ予測ユニット４６は、例えば、別々の符号化パス（ｅｎｃｏｄｉｎｇ ｐａｓｓ）中に、様々なイントラ予測モードを用いて現在のブロックを符号化することができ、及び、イントラ予測ユニット４６（又は、幾つかの例では、モード選択ユニット４０）は、使用すべき適当なイントラ予測モードを試験されたモードから選択することができる。

［００７５］例えば、イントラ予測ユニット４６は、様々な試験されたイントラ予測モードに関するレート−歪み解析を用いてレート−歪み値を計算すること、及び、試験されたモードの中で最良のレート−歪み特性を有するイントラ予測モードを選択することができる。レート−歪み解析は、概して、符号化されたブロックを生成するために符号化されたブロックとオリジナルの符号化されないブロックとの間の歪み（又は誤り）の量、及び符号化されたブロックを生成するために使用されるビットレート（すなわち、ビット数）を決定する。イントラ予測モジュール４６は、いずれのイントラ予測モードがブロックに関する最良のレート−歪み値を呈するかを決定するために様々な符号化されたブロックに関する歪み及びレートから比率を計算することができる。

［００７６］ブロックに関するイントラ予測モードを選択後は、イントラ予測ユニット４６は、ブロックに関する選択されたイントラ予測モードを示す情報をエントロピーコーディングユニット５６に提供することができる。エントロピーコーディングユニット５６は、選択されたイントラ予測モードを示す情報を符号化することができる。映像符号器２０は、送信されたビットストリーム内に構成データを含めることができ、それらは、複数のイントラ予測モードインデックステーブル及び複数の修正されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）、様々なブロックに関するコンテキクストを符号化する定義、最も可能性の高いイントラ予測モードのインディケーション、イントラ予測モードインデックステーブル、及び各コンテキストに関して使用すべき修正されたイントラ予測モードインデックステーブルを含むことができる。

［００７７］映像符号器２０は、モード選択ユニット４０からの予測データをコーディング中のオリジナルの映像ブロックから減じることによって残差映像ブロックを形成する。加算器５０は、この減算動作を行うコンポーネント又はコンポーネント（複数）を表す。変換処理ユニット５２は、変換、例えば、離散コサイン変換（ＤＣＴ）又は概念的に類似の変換、を残差ブロックに適用し、残差変換係数値を備える映像ブロックを生成する。変換処理ユニット５２は、ＤＣＴに概念的に類似するその他の変換を行うことができる。ウェーブレット変換、整数変換、サブバンド変換又はその他のタイプの変換も使用可能である。いずれの場合も、変換処理ユニット５２は、残差ブロックに変換を適用し、残差変換係数のブロックを生成する。変換は、残差情報をピクセル領域から変換領域、例えば、周波数領域、に変換することができる。変換処理ユニット５２は、その結果得られた変換係数を量子化ユニット５４に送信することができる。量子化ユニット５４は、ビットレートをさらに低減させるために変換係数を量子化する。量子化プロセスは、係数の一部又は全部と関連付けられたビット深度を低減させることができる。量子化度は、量子化パラメータを調整することによって変更することができる。幾つかの例では、量子化ユニット５４は、量子化された変換係数を含む行列の走査を行うことができる。代替として、エントロピー符号化ユニット５６は、走査を行うことができる。

［００７８］量子化に引き続き、エントロピー符号化ユニット５６は、量子化された変換係数をエントロピー符号化する。例えば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、構文に基づくコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔分割エントロピー（ＰＩＰＥ）コーディング、又はその他のエントロピー符号化技法を実行することができる。コンテキストに基づくエントロピーコーディングの場合は、コンテキストは、近隣ブロックに基づくことができる。エントロピー符号化ユニット５６によるエントロピー符号化に引き続き、符号化されたビットストリームは、他のデバイス（例えば、映像復号器３０）に送信すること、又は、のちの送信又は取り出しのためにアーカイブに保存することができる。

［００７９］逆量子化ユニット５８及び逆変換ユニット６０は、例えば、基準ブロックとしてののちの使用のためにピクセル領域において残差ブロックを再構築するために逆量子化及び逆変換をそれぞれ適用する。動き補償ユニット４４は、基準フレームメモリ６４のフレームのうちの１つの予測ブロックに残差ブロックを加えることによって基準ブロックを計算することができる。動き補償ユニット４４は、動き推定における使用のために整数未満のピクセル値を計算するために１つ以上の内挿フィルタを再構築された残差ブロックに適用することもできる。加算器６２は、基準フレームメモリ６４での格納のための再構築された映像ブロックを生成するために動き補償ユニット４４によって生成された動き補償された予測ブロックに再構築された残差ブロックを加える。再構築された映像ブロックは、後続する映像フレーム内のブロックをインター予測するための基準ブロックとして動き推定ユニット４２及び動き補償ユニット４４によって使用することができる。

［００８０］図３は、本開示において説明される態様により技法を実装することができる映像復号器の例を示したブロック図である。映像復号器３０は、本開示のすべての技法を実行するように構成することができる。一例として、動き補償ユニット７２及び／又はイントラ予測ユニット７４は、本開示において説明されるすべての技法を実行するように構成することができる。しかしながら、本開示の態様は、そのようには限定されない。幾つかの例では、本開示において説明される技法は、映像復号器３０の様々なコンポーネントの間で共有することができる。幾つかの例では、さらに加えて又は代替として、プロセッサ（示されていない）は、本開示において説明されるすべての技法を実行するように構成することができる。

［００８１］幾つかの実施形態では、エントロピー復号ユニット７０、動き補償ユニット７２、イントラ予測ユニット７４、又は（示されている又は示されていない）復号器３０の他のコンポーネントは、本開示の技法を実行することができる。例えば、エントロピー復号ユニット７０は、符号化された映像ビットストリームを受信することができ、それは、基本層及び対応する１つ以上の拡張層に関連するデータを符号化することができる。動き補償ユニット７２、イントラ予測ユニット７４、又は、復号器３０の他の該当するユニットは、予測値及び基準層と関連付けられた調整された残差予測値に少なくとも部分的に基づいて映像ユニットの値を決定することができる。調整された残差予測値は、１と異なる重み付け係数によって乗じられた基準層からの残差予測に等しいことができる。復号器３０は、映像ユニットを復号し、重み付け係数又は重み付け情報をビットストリームにおいて受信することができる。

［００８２］図３の例では、映像復号器３０は、エントロピー復号ユニット７０と、動き補償ユニット７２と、イントラ予測ユニット７４と、逆量子化ユニット７６と、逆変換ユニット７８と、基準フレームメモリ８２と、加算器８０と、を含む。映像復号器３０は、幾つかの例では、映像符号器２０に関して説明された符号化パスと概して相互的な復号パスを行う（図２）。動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルに基づいて予測データを生成することができ、他方、イントラ予測ユニット７４は、エントロピー復号ユニット７０から受信されたイントラ予測モードインジケータに基づいて予測データを生成することができる。

［００８３］復号プロセス中には、映像復号器３０は、符号化された映像スライスの映像ブロックを表す符号化された映像ビットストリーム及び関連付けられた構文要素を映像符号器２０から受信する。映像復号器３０のエントロピー復号ユニット７０は、量子化された係数、動きベクトル又はイントラ予測モードインジケータ、及びその他の構文要素を生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット７０は、動きベクトル及びその他の構文要素を動き補償ユニット７２に転送する。映像復号器３０は、映像スライスレベル及び／又は映像ブロックレベルで構文要素を受信することができる。

［００８４］映像スライスがイントラコーディングされた（Ｉ）スライスとしてコーディングされるときには、イントラ予測モジュール７４は、シグナリングされたイントラ予測モード及び現在のフレーム又はピクチャの以前に復号されたブロックからのデータに基づいて現在の映像スライスの映像ブロックに関する予測データを生成することができる。映像フレームがインターコーディングされた（すなわち、Ｂ、Ｐ又はＧＰＢ）スライスとしてコーディングされるときには、動き補償ユニット７２は、動きベクトル及びエントロピー復号ユニット７０から受信されたその他の構文要素に基づいて現在の映像スライスの映像ブロックに関する予測ブロックを生成する。予測ブロックは、基準ピクチャリストのうちの１つ内の基準ピクチャのうちの１つから生成することができる。映像復号器３０は、基準フレームメモリ９２に格納された基準ピクチャに基づいてデフォルト構築技法を用いて基準フレームリスト、リスト０及びリスト１、を構築することができる。動き補償ユニット７２は、動きベクトル及びその他の構文要素を構文解析することによって現在の映像スライスの映像ブロックに関する予測情報を決定し、復号中の現在の映像ブロックに関する予測ブロックを生成するために予測情報を使用する。例えば、動き補償ユニット７２は、映像スライス、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、又はＧＰＢスライス）、スライスに関する基準ピクチャリストのうちの１つ以上に関する構築情報、スライスの各インター符号化された映像ブロックに関する動きベクトル、スライスの各インターコーディングされた映像ブロックに関する動きベクトル、スライスの各インター符号化された映像ブロックに関するインター予測状態、及び現在の映像スライス内の映像ブロックを復号するためのその他の情報、の映像ブロックをコーディングするために使用される予測モード（例えば、イントラ又はインター予測）を決定するために受信された構文要素の一部を使用する。

［００８５］動き補償ユニット７２は、内挿フィルタに基づいて内挿を行うこともできる。動き補償ユニット７２は、基準ブロックの整数未満のピクチャに関する内挿値を計算するために映像ブロックの符号化中に映像符号器２０によって使用される内挿フィルタを使用することができる。この場合は、動き補償ユニット７２は、受信された構文要素から映像符号器２０によって使用される内挿フィルタを決定すること及び予測ブロックを生成するために内挿フィルタを使用することができる。

［００８６］逆量子化ユニット７６は、ビットストリーム内で提供され、エントロピー復号モジュール８０によって復号された量子化された変換係数を逆量子化する、すなわち、量子化解除する。逆量子化プロセスは、量子化度、そして同様に、適用されるべき逆量子化度、を決定するために映像スライス内の各映像ブロックに関して映像復号器３０によって計算された量子化パラメータＱＰ_Ｙを使用することを含むことができる。

［００８７］逆変換ユニット７８は、ピクセル領域において残差ブロックを生成するために逆変換、例えば、逆ＤＣＴ、逆整数変換、又は概念的に類似する逆変換プロセスを変換係数に適用する。

［００８８］動き補償ユニット８２が動きベクトル及びその他の構文要素に基づいて現在の映像ブロックに関する予測ブロックを生成した後は、映像復号器３０は、逆変換ユニット７８からの残差ブロックを、動き補償ユニット７２によって生成された対応する予測ブロックと加算することによって復号された映像ブロックを形成する。加算器９０は、この加算動作を行うコンポーネント又はコンポーネント（複数）を表す。希望される場合は、ブロッキネスアーティファクトを除去するために復号されたブロックをフィルタリングするためにデブロッキングフィルタを適用することもできる。ピクセル遷移を平滑化するか、又は映像品質を向上するために（コーディングループ内又はコーディングループ後の）その他のループフィルタを使用することもできる。所定のフレーム又はピクチャ内の復号された映像ブロックは、基準ピクチャメモリ９２に格納され、それは、後続する動き補償のために使用される基準ピクチャを格納する。基準フレームメモリ８２は、表示装置、例えば、図１の表示装置３２、でののちの提示のために復号された映像も格納する。

［００８９］図４は、本開示の態様による一般化された残差予測のための方法例を示したフローチャートである。本開示において説明される技法は、一般化された残差予測（ＧＲＰ）フレームワークを提供することができる。上において説明されるように、層間残差予測は、現在の映像ユニット、例えば、フレーム、を予測する際に基準層の残差を使用する。一般化された残差予測では、現在の映像ユニットの層間残差予測は、現在の層の残差、現在の層の時間的予測、及び基準層の残差に基づくことができる。基準層の残差は、重み付け係数によって調整することができる。ＧＲＰ方式は、次のように定義することができる。

ここで、Ｉ＾_ｃは、現在のフレームの再構築を表し、ｒ_ｃは、現在の層からの残差予測を表し、Ｐ_ｃは、同じ層からの時間的予測を表し、ｒ_ｒは、基準層からの残差予測を表し、ｗは、重み付け係数を表す。ＧＲＰフレームワークは、イントラＣＵに適用することもできる。該場合には、Ｐ_ｃは、同じ層からの空間的予測を示す。

［００９０］重み付け係数は、様々なタイプの情報に基づくことができ及び様々なタイプの情報を含む。該情報の例は、重み付け候補の数と、重み付けステップと、重み付けインデックスと、重み付けテーブルと、を含むことができる。重み付け候補の数は、基準層の残差に適用するために利用可能である異なる重み付け係数の数を示すことができる。重み付けステップは、利用可能な重み付け係数間の増分又はユニットのサイズを示すことができる。重み付けインデックスは、利用可能な重み付け係数間の特定の重み付け係数を示すことができる。重み付けテーブルは、重み付け係数に関する情報を含むことができ及びルックアップテーブルと同様に、重み付けインデックスによってアクセスすることができる。特定の例では、３つの重み付け係数候補を利用可能である。すなわち、０．０、０．５、及び１．０。この例では、３つの重み付け係数候補が利用可能であるため重み付け候補の数は３である。３つの重み付け候補間の重み付けステップは、０．５である。各重み付け候補は、重み付けインデックスによって識別することができる。重み付け係数０は、インデックス０によって、重み付け係数０．５はインデックス１によって、及び重み付け係数１．０はインデックス２によって識別される。シグナリングフラクション（ｆｒａｃｔｉｏｎ）はコスト高になる可能性があるため、重み付け係数を導き出すために重み付けステップ及びインデックスを使用することができる。

［００９１］本開示の態様によるＧＲＰフレームワークは、重み付け係数を組み入れることによって様々なタイプの残差予測に対処することができる。重み付け係数を適宜調整することは、残差予測に関する有意なコーディング利得に結び付くことができる。ＧＲＰは、残差予測において基準層に関する重み付け情報を組み入れることによってメモリ量および計算コストを低減させる一方でコーディング性能を向上させることができる。例えば、ＧＲＰは、重み付き残差予測のほうがより正確であるためコーディング性能を向上させることができる。さらに、メモリ量及び計算コストは、例えば、２つの組の動き補償ループは、典型的には、差分領域動き補償におけるようには使用されないため低減させることができる。さらに、ＧＲＰフレームワークにおいては、残差予測は、伝統的な残差予測では必ずしも基本層でない基準層を用いて行うことができる。例えば、基準層は、現在の層の拡張層から導き出すことができる。ＧＲＰは、重み付け係数が１に設定されるときに伝統的な残差予測に対処することができる。ＧＲＰフレームワークは、単一ループ復号及び多ループ復号の両方とともに使用することができる。

［００９２］差分領域動き補償に関して、ＧＲＰフレームワークは、単一ループ復号において適用することができる。上において説明されるように、Ｈ．２６４では、層間の差分ピクチャは、各層の完全に再構築されたピクチャに基づいて計算しなければならないため、単一ループ復号シナリオでは差分領域動き補償は採用することができない。差分領域動き補償において差分ピクチャを得るために、各層に関する完全な再構築がしばしば使用され、各層に関して、１つの動き補償ループを完全な再構築のために使用することができる。例えば、２つの層の完全な再構築を有するために２つの動き補償ループがしばしば使用される。従って、差分領域動き補償は、単一ループ復号では採用することができない。対照的に、ＧＲＰは、単一ループ復号及び多ループ復号の両方をサポートすることができる。さらに、ＧＲＰフレームワークでは、差分領域における動き推定は必要ない。従って、現在の層及び拡張層は、動き推定に関して同じ動きを共有する必要がない。ＧＲＰフレームワークは、数多くの異なるタイプの残差予測に適用することができ、方程式（１）において定義される伝統的な残差予測及び差分領域動き補償が、２つの特定のＧＲＰフレームワーク使用シナリオである。

［００９３］今度は、本開示の態様による一般化された残差予測のための方法例が、図４を参照して説明される。プロセス４００は、符号器（例えば、図２に示される符号器、等）、復号器（例えば、図３に示される復号器、等）、又はその他のコンポーネントによって実行することができる。プロセス４００のブロックは、図３の復号器３０に関して説明されるが、プロセス４００は、上記のように、その他のコンポーネント、例えば、符号器、によって実行することができる。

［００９４］ブロック４０１において、復号器３０は、基準層からの残差予測に重み付け係数を適用する。上において説明されるように、一般化された残差予測（ＧＲＰ）は、基準層からの残差に重み付け係数を適用することができる。重み付け係数は、特定のシナリオ、例えば、単一ループ復号、に関して最適であると決定することができる。重み付け係数は、重み付け候補の数、重み付けステップ、重み付けインデックス、重み付けテーブル、等の情報を含むことができる。

［００９５］ブロック４０２において、復号器３０は、拡張層からの残差予測を入手する。ブロック４０３において、復号器３０は、拡張層からの時間的予測を入手する。

［００９６］ブロック４０４において、復号器３０は、重み付け係数によって調整された基準層からの残差予測、拡張層からの残差予測、及び拡張層からの時間的予測に基づいて現在の映像ユニットを決定する。上において説明されるように、ＧＲＰでは、現在の映像ユニットは、方程式（３）により予測することができる。

［００９７］図４に関して説明される本開示の態様による一般化された残差予測のための方法例は、様々なコーディングレベル、例えば、シーケンス、ピクチャ、フレームのグループ、フレーム、スライスのグループ、スライス、コーディングユニット（ＣＵ）のグループ、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）のグループ、予測ユニット（ＰＵ）、ブロック、ピクセルの領域、又はピクセル、において実装することができる。さらに、図４に関して説明される本開示の態様による一般化された残差予測のための方法例は、信号成分、例えば、ルマコンポーネント及びクロマコンポーネント、に対しても適用することができる。例えば、方法例は、ルマコンポーネントのみに対して、クロマコンポーネントのみに対して、又はルマコンポーネントとクロマコンポーネントの組み合わせ（例えば、１つのルマコンポーネントと２つのクロマコンポーネントの組み合わせ）に対して適用することができる。さらに、図４に関して説明されるすべての実施形態は、別々に、又は互いに組み合わせて実装することができる。

［００９８］図４Ａは、本開示の態様による一般化された残差予測のための他の方法例を示したフローチャートである。プロセス４００Ａは、符号器（例えば、図２に示される符号器、等）、復号器（例えば、図３に示される復号器、等）、又はその他のコンポーネントによって実行することができる。プロセス４００Ａのブロックは、図３の復号器３０に関して説明されるが、プロセス４００Ａは、上記のように、その他のコンポーネント、例えば、符号器、によって実行することができる。プロセス４００Ａは、ＳＶＣ及び３Ｄ映像コーディングに対して適用することができる。図４Ａに関して説明されるすべての実施形態は、別々に、又は互いに組み合わせて実装することができる。

［００９９］ブロック４０１Ａにおいて、復号器３０は、基準層からの残差予測を入手する。基準層は、現在の層に関する基本層であることができる。基準層は、現在の拡張層に対応する拡張層であることもできる。基準層からの残差予測は、様々な方法で決定することができる。例えば、基準層内の共配置された映像ユニットの残差は、現在の層の解像度にマッチさせるためにアップサンプリングすることができる。

［００１００］ブロック４０２Ａにおいて、復号器３０は、重み付け係数によって基準層からの残差予測を調整する。重み付け係数は、１と異なることができる。重み付け係数が１である場合は、復号器３０は、伝統的な残差予測を行うことができる。重み付け係数は、重み付け情報、例えば、重み付けステップ、重み付けテーブル、重み付け係数候補の数、及び重み付けインデックス、に基づいて決定することができる。幾つかの実施形態では、重み付け係数は、ビットストリームにおいて受信することができる。その他の実施形態では、重み付け係数は、ビットストリームで受信された情報から又は以前に復号された情報から少なくとも部分的に導き出すことができる。重み付け係数は、限定されることなしに、次の構文レベルを含むあらゆるコーディングレベルでコーディングすることができる。すなわち、シーケンス、フレームのグループ、フレーム、スライスのグループ、スライス、コーディングユニット（ＣＵ）のグループ、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）のグループ、予測ユニット（ＰＵ）、ブロック、ピクセルの領域、又はピクセル及び１つのルマコンポーネントと２つのクロマコンポーネントの組み合わせ。

［００１０１］幾つかの実施形態では、重み付け情報は、ビットストリームで受信することもでき、又は、ビットストリームで受信された情報から又は以前に復号された情報から少なくとも部分的に導き出すことができる。重み付け係数は、限定されることなしに、次の構文レベルを含むあらゆるコーディングレベルでコーディングすることもできる。すなわち、シーケンス、フレームのグループ、フレーム、スライスのグループ、スライス、コーディングユニット（ＣＵ）のグループ、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）のグループ、予測ユニット（ＰＵ）、ブロック、ピクセルの領域、ピクセル、及び１つのルマコンポーネントと２つのクロマコンポーネントの組み合わせ。

［００１０２］ブロック４０３Ａにおいて、復号器３０は、予測値を決定する。予測値は、現在の映像ユニットに関する予測値であることができる。幾つかの実施形態では、予測値は、現在の映像ユニットに関する予測ユニットである。予測値は、時間的予測値又は空間的イントラ予測値であることができる。プロセス４００Ａは、インター予測及びイントラ予測の両方とともに使用することができる。

［００１０３］ブロック４０４Ａにおいて、復号器３０は、予測値及び基準層と関連付けられた調整された残差予測に少なくとも部分的に基づいて映像ユニットの値を決定する。映像ユニットは、映像データのあらゆるユニットであることができ、及び、フレームと、スライスと、最大コーディングユニット（ＬＣＵ）と、コーディングユニット（ＣＵ）と、ブロックと、ピクセルと、サブピクセルとを含むことができ、ただしこれらに限定されない。映像ユニットの値は、映像ユニットに関する予測ユニット（ＰＵ）を生成することによって決定することができる。

［００１０４］幾つかの実施形態では、復号器３０は、現在の映像ユニットに関する残差予測、現在の映像ユニットに関する予測値、及び基準層と関連付けられた調整された残差予測に基づいて層内の現在の映像ユニットの値を決定することができる。現在の映像ユニットに関する残差予測及び予測値は、現在の層からであることができる。現在の映像ユニットの値は、現在の映像ユニットに関する予測値、現在の映像ユニットに関する残差予測、及び基準層と関連付けられた調整された残差予測を加えることによって決定することができる。

［００１０５］図５は、本開示の態様による単一ループ復号を用いた一般化された残差予測のための方法例を示したフローチャートである。上において説明されるように、単一ループ復号では、拡張層の動き補償に関して１つのループが使用される。単一ループ復号のシナリオでは、基本層の完全な再構築は利用できない。従って、基本層の正規化された残差を基本残差予測子として直接採用することができる。拡張層に関して、再構築Ｉ＾_ｅは、次のように決定することができる。

ここで、ｒ_ｅ及びＰ_ｅは、拡張層の逆量子化された残差及び時間的予測を表し、ｒ_ｂは、（空間的スケーラブルケースでアップサンプリングされた）正規化された基本層残差予測子を表し、ｒ_ｂ’は、基本層残差を表し、Ｑ_ｅ及びＱ_ｂは、拡張層及び基本層のそれぞれの量子化ステップを表す。

［００１０６］今度は、本開示の態様による単一ループ復号を用いた一般化された残差予測のための方法例が、図５を参照して説明される。プロセス５００は、符号器（例えば、図２に示される符号器、等）、復号器（例えば、図３に示される復号器、等）、又はその他のコンポーネントによって実行することができる。プロセス５００のブロックは、図３の復号器３０に関して説明されるが、プロセス５００は、上記のように、その他のコンポーネント、例えば、符号器、によって実行することができる。ブロック５０１において、復号器３０は、ＧＲＰフレームワークに関する単一ループ復号における基準層からの残差予測に関する重み付け係数を決定する。ブロック５０２において、復号器３０は、重み付け係数によって調整されたＲＬからの残差予測、ＥＬからの残差予測、及びＥＬからの時間的予測に基づいて現在の映像ユニットを決定する。例えば、方程式（４）に関して上述されるように、正規化された基本層残差は、ＲＬ残差予測のために使用することができる。図５に関して説明される本開示の態様による単一ループ復号を用いた一般化された残差予測のための方法例は、様々なコーディングレベル、例えば、シーケンス、ピクチャ、フレームのグループ、フレーム、スライスのグループ、スライス、コーディングユニット（ＣＵ）のグループ、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）のグループ、予測ユニット（ＰＵ）、ブロック、ピクセルの領域、又はピクセル、において実装することができる。さらに、図５に関して説明される本開示の態様による一般化された残差予測のための方法例は、信号成分、例えば、ルマコンポーネント及びクロマコンポーネント、に対しても適用することができる。例えば、方法例は、ルマコンポーネントのみに対して、クロマコンポーネントのみに対して、又はルマコンポーネントとクロマコンポーネントの組み合わせ（例えば、１つのルマコンポーネントと２つのクロマコンポーネントの組み合わせ）に対して適用することができる。さらに、図５に関して説明されるすべての実施形態は、別々に、又は互いに組み合わせて実装することができる。

［００１０７］図６は、本開示の態様による多ループ復号を用いた一般化された残差予測のための方法例を示したフローチャートである。上において説明されるように、多ループ復号では、多ループは、拡張層の動き補償のために使用される。多ループ復号のシナリオでは、拡張層を符号化／復号するときに基本層の完全な再構築を利用可能である。従って、以前にコーディングされた拡張層と基本層（必要な場合はアップサンプリングされた）の再構築の間の差分値を残差予測子として採用することができる。拡張層に関して、再構築Ｉ＾ｅは、次のように決定することができる。

ここで、ｒ_ｅは、拡張層における現在の映像ユニットの逆量子化された残差を示し、Ｐ_ｅ及びＰ_ｂは、拡張層及び基本層のそれぞれにおける現在の映像ユニットに関する時間的予測を示し、Ｉ＾_ｂは、基本層における現在の映像ユニットの完全な再構築を示す。拡張層及び基本層は、品質に関して異なる目標を有するため、時間的予測Ｐ_ｅ及びＰ_ｂの動きは異なることができる。

［００１０８］基本層及び拡張層が同じ動きを有する場合は、時間的予測Ｐ_ｅ及びＰ_ｂの動きは同じであり、方程式（５）を直接採用することができる。拡張層のインター映像ユニットを復号するときには、それの拡張層及び基本層の時間的予測Ｐ_ｅ及びＰ_ｂの両方を利用可能である。基本層再構築Ｉ＾_ｂも利用可能である。従って、再構築Ｉ＾_ｅは、逆量子化された残差ｒ_ｅ及びｗから入手することができ、それらは、図７及び８に関してより詳細に説明されるようにシグナリングもすること又は導き出すことができる。同様に、ＧＲＰフレームワークをイントラＣＵに適用時には、Ｐ_ｅ及びＰ_ｂは、拡張層及び基本層のそれぞれにおける現在の映像ユニットに関する空間イントラ予測を示す。さらに、Ｐ_ｅ及びＰ_ｂは、同じイントラ予測方向を適用することによって入手することができ、それは、Ｐ_ｅ及びＰ_ｂの同じ動きを仮定することができるインター予測事例と同様である。

［００１０９］基本層及び拡張層が異なる動きを有する場合は、拡張層及び基本層の時間的予測Ｐ_ｅ及びＰ_ｂが異なり、基本層の残差及び拡張層の残差は相関させることができない。該事例では、残差予測は良い結果に結び付かないことがある。残差予測の性能を向上させるために、拡張層及び基本層の時間的予測は同じ動きを共有すると仮定することができる。ＥＬ及びＢＬの時間的予測が同じ動きを共有すると仮定することに加えて又は仮定する代わりに、残差予測子を生成するために基本層の動き又は拡張層の動きのいずれかを強制的に他の層に適用することができる。例えば、拡張層の時間的予測Ｐ_ｅの動きは、Ｐ_ｂを得るために基本層に適用することができる。該事例では、Ｐ_ｅ及びＰ_ｂの両方ともＰ_ｅの動きによって生成することができるため、拡張層を復号するために２つの動き補償がしばしば使用される。

［００１１０］今度は、本開示の態様による多ループ復号を用いる一般化された残差予測のための方法例が、図６を参照して説明される。プロセス６００は、符号器（例えば、図２に示される符号器、等）、復号器（例えば、図３に示される復号器、等）、又はその他のコンポーネントによって実行することができる。プロセス６００のブロックは、図３の復号器３０に関して説明されるが、プロセス６００は、上記のように、その他のコンポーネント、例えば、符号器、によって実行することができる。ブロック６０１において、復号器３０は、ＧＲＰフレームワークに関する多ループ復号における基準層からの残差予測に関する重み付け係数を決定する。ブロック６０２において、復号器３０は、重み付け係数によって調整されたＲＬからの残差予測、ＥＬからの残差予測、及びＥＬからの時間的予測に基づいて現在の映像ユニットを決定する。例えば、上において方程式（５）に関して説明されるように、ＲＬ残差予測に関してはＩ＾_ｂ−Ｐ_ｂを使用することができる。図６に関して説明される本開示の態様による多ループ復号を用いる一般化された残差予測のための方法例は、様々なコーディングレベル、例えば、シーケンス、ピクチャ、フレームのグループ、フレーム、スライスのグループ、スライス、コーディングユニット（ＣＵ）のグループ、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）のグループ、予測ユニット（ＰＵ）、ブロック、ピクセルの領域、又はピクセル、において実装することができる。さらに、図６に関して説明される本開示の態様による一般化された残差予測のための方法例は、信号成分、例えば、ルマコンポーネント及びクロマコンポーネント、に対しても適用することができる。例えば、方法例は、ルマコンポーネントのみに対して、クロマコンポーネントのみに対して、又はルマコンポーネントとクロマコンポーネントの組み合わせ（例えば、１つのルマコンポーネントと２つのクロマコンポーネントの組み合わせ）に対して適用することができる。さらに、図６に関して説明されるすべての実施形態は、別々に、又は互いに組み合わせて実装することができる。

［００１１１］図７は、本開示の態様による一般化された残差予測パラメータをシグナリングするための方法例を示したフローチャートである。上において説明されるように、重み付け情報は、重み付け候補の数と、重み付けステップ（又は重み付けテーブル）と、重み付けインデックスと、を含むことができる。重み付け係数ｗは、該重み付け情報に基づいて決定することができる。重み付け候補の数は、Ｎ_ｗによって表すことができる。重み付けステップは、Ｓ_ｗによって、及び重み付けテーブルはＷ_Ｔによって表すことができる。重み付けインデックスは、ｉ_ｗによって表すことができる。一実施形態では、重み付け係数ｗは、次のように重み付けステップＳ_ｗ及び重み付けインデックスｉ_ｗに基づいて導き出される。

他の実施形態では、ｗは、インデックスｉ_ｗによりルックアップテーブルＷ_Ｔから入手することができる。

［００１１２］重み付け係数情報は、限定されることになしに、Ｎ_ｗ、Ｓ_ｗ、Ｗ_Ｔ、及びｉ_ｗを含むことができ、様々な方法でシグナリングすることができる。幾つかの実施形態では、重み付けステップＳ_ｗ又は重み付けテーブルＷ_Ｔは、ハードコーディング又はシグナリングすることができる。Ｓ_ｗ又はＷ_Ｔは、シーケンスレベル又はピクチャレベルでシグナリングすることができる。重み付けインデックスｉ_ｗは、それよりも低いレベル、例えば、ＣＵ及びＰＵ、でシグナリングすることができる。

［００１１３］一実施形態では、重み付けステップＳ_ｗは、３ビット量子化（Ｓ_ｗは、１／８、２／８、．．．、８／８であることができる）及びシーケンスパラメータセット（ＳＰＳ）内でコーディングされた符号なし整数Ｅｘｐ−Ｇｏｌｏｍｂによって表される。Ｎ_ｗ≧１であることを考慮すると、（Ｎ_ｗ−１）もＳＰＳ内でコーディングされた符号なし整数Ｅｘｐ−Ｇｏｌｏｍｂである。重み付けインデックスｉ_ｗは、最初に、打ち切られたｕｎａｒｙコード（Ｎ_ｗが最大数）でバイナリ化され、次に、ＣＡＢＡＣコーディングされる。ＣＡＢＡＣコーディングでは、最初のビンは、１つのコンテキストでコーディングされ、残りのビンは他のコンテキストでコーディングされる。重み付けインデックスｉ_ｗをコーディングするために、コンテキストは、以前にコーディングされたパラメータに依存することができる。例えば、空間的に隣接するＣＵ、例えば、左及び上のＣＵ、のｉ_ｗを、現在のＣＵの重み付けインデックスｉ_ｗに関するコンテキストとして使用することができる。さらに、現在のＣＵのタイプ、例えば、現在のＣＵがスキップ又はマージコーディングされるか、又は現在のＣＵのサイズをコンテキストとして使用することができる。

［００１１４］その他の実施形態では、異なるＣＵモードは、異なる重み付け係数シグナリング法を有することができる。例えば、スキップ及びマージモードに関しては、３つの重み付け係数（例えば、ｗ＝０、ｗ＝０．５、及びｗ＝１）を選択してシグナリングすることができる。スキップ及びマージモード以外のインターモードに関しては、２つの重み付け係数（例えば、ｗ＝０及びｗ＝１）のみを選択してシグナリングすることができる。代替として、スキップ及びマージモード以外のインターモードに関しては、１つの固定された重み付け係数のみを適用することができる。該事例では、重み付け係数に関する追加のシグナリングは使用することができない。

［００１１５］今度は、本開示の態様による一般化された残差予測パラメータをシグナリングするための方法例が、図７を参照して説明される。プロセス７００は、符号器（例えば、図２に示される符号器、等）、復号器（例えば、図３に示される復号器、等）、又はその他のコンポーネントによって実行することができる。プロセス７００のブロックは、図２の符号器２０に関して説明されるが、プロセス７００は、上記のように、その他のコンポーネント、例えば、復号器、によって実行することができる。ブロック７０１において、符号器２０は、重み付けステップ又は重み付けテーブルをシグナリングする。ブロック７０２において、符号器２０は、重み付け候補の数をシグナリングする。ブロック７０３において、符号器２０は、重み付けインデックスをシグナリングする。プロセス７００におけるブロックは、異なる順序で行うことができる。例えば、重み付け候補の数は、重み付けステップ（又は重み付けテーブル）の前にシグナリングすることができる。図７に関して説明される本開示の態様による一般化された残差予測パラメータをシグナリングするための方法例は、様々なコーディングレベル、例えば、シーケンス、ピクチャ、フレームのグループ、フレーム、スライスのグループ、スライス、コーディングユニット（ＣＵ）のグループ、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）のグループ、予測ユニット（ＰＵ）、ブロック、ピクセルの領域、又はピクセル、において実装することができる。さらに、図７に関して説明される本開示の態様による一般化された残差予測のための方法例は、信号成分、例えば、ルマコンポーネント及びクロマコンポーネント、に対しても適用することができる。例えば、方法例は、ルマコンポーネントのみに対して、クロマコンポーネントのみに対して、又はルマコンポーネントとクロマコンポーネントの組み合わせ（例えば、１つのルマコンポーネントと２つのクロマコンポーネントの組み合わせ）に対して適用することができる。さらに、図７に関して説明されるすべての実施形態は、別々に、又は互いに組み合わせて実装することができる。

［００１１６］図８は、本開示の態様による一般化された残差予測パラメータを導き出すための方法例を示したフローチャートである。ＧＲＰパラメータは、図７に関して説明されるようにシグナリングすることができる。ＧＲＰパラメータは、ビットストリームに含まれる情報から導き出すこともできる。ＧＲＰパラメータは、ビットストリーム内の情報から完全に又は部分的に導き出すことができる。一実施形態では、重み付けステップＳ_ｗは、関連するＣＵサイズによりＣＵレベルで導き出される。重み付けステップＳ_ｗとＣＵサイズとの間のマッピング例が下表において示される。

［００１１７］他の実施形態では、重み付け候補の最大数は、以前にコーディングされた情報、例えば、ＣＵモード、ＣＵサイズ、及び量子化に基づいてＣＵレベルで調整される。例えば、１６×１６よりも小さいＣＵに関しては、例えば、シグナリングコストを節約するために、２つの重み付け候補のみを許容することができる。

［００１１８］今度は、本開示の態様による一般化された残差予測パラメータを導き出すための方法例が、図８を参照して説明される。プロセス８００は、符号器（例えば、図２に示される符号器、等）、復号器（例えば、図３に示される復号器、等）、又はその他のコンポーネントによって実行することができる。プロセス８００のブロックは、図３の復号器３０に関して説明されるが、プロセス８００は、上記のように、その他のコンポーネント、例えば、符号器、によって実行することができる。

［００１１９］ブロック８０１において、復号器３０は、重み付け情報を決定するためにビットストリームから情報を入手するか又は以前にコーディングされた情報を入手する。例えば、上において説明されるように、ＧＲＰパラメータは、ＣＵサイズに基づくことができる。又は、ＧＲＰパラメータは、以前にコーディングされた情報、例えば、ＣＵモード、ＣＵサイズ、及び量子化に基づくことができる。ブロック８０２において、復号器３０は、ブロック８０１において入手された情報に基づいて一般化された残差予測に関する１つ以上のパラメータを決定する。例えば、復号器３０は、ＣＵサイズに基づいて重み付けステップＳ_ｗを決定することができる。復号器３０は、ＣＵサイズに基づいて重み付け候補の数Ｎ_ｗを決定することもできる。復号器３０は、以前にコーディングされた情報、例えば、ＣＵモード、ＣＵサイズ、及び量子化に基づいて重み付け情報を調整することもできる。図８に関して説明される本開示の態様による一般化された残差予測のための方法例は、様々なコーディングレベル、例えば、シーケンス、ピクチャ、フレームのグループ、フレーム、スライスのグループ、スライス、コーディングユニット（ＣＵ）のグループ、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）のグループ、予測ユニット（ＰＵ）、ブロック、ピクセルの領域、又はピクセル、において実装することができる。さらに、図８に関して説明される本開示の態様による一般化された残差予測パラメータを導き出すための方法例は、信号成分、例えば、ルマコンポーネント及びクロマコンポーネント、に対しても適用することができる。例えば、方法例は、ルマコンポーネントのみに対して、クロマコンポーネントのみに対して、又はルマコンポーネントとクロマコンポーネントの組み合わせ（例えば、１つのルマコンポーネントと２つのクロマコンポーネントの組み合わせ）に対して適用することができる。さらに、図８に関して説明されるすべての実施形態は、別々に、又は互いに組み合わせて実装することができる。

［００１２０］図９は、本開示の態様による一般化された残差予測において層をアップサンプリング又はダウンサンプリングするための方法例を示したフローチャートである。層間予測プロセスにおいて、拡張層の空間アスペクト比をマッチさせるためにアップサンプリング又はダウンサンプリングフィルタリングプロセスが基本層ピクチャに適用される。フィルタリングプロセス、例えば、平滑化フィルタ、は、基本層及び拡張層のピクチャサイズが同一であるときでさえも適用することができる。概して、１つの固定されたアップサンプリング、ダウンサンプリング、及び平滑化フィルタセットが使用され及びハードコーディングされる。フィルタは、分数的ピクセルシフト（位相と時々呼ばれる）によりセットから選択することができ、それは、基本層ピクチャと拡張層ピクチャとの間の空間アスペクト比に基づいて計算される。

［００１２１］ＧＲＰフレームワークでは、層間予測性能を向上させるために異なるタイミングセットを適用することができる。フィルタリングセットは、シーケンス又はピクチャレベルでハードコーディング又はシグナリングすることができる。フィルタセットインデックスは、それよりも低いレベル、例えば、ＣＵ及びＰＵ、でシグナリングすること又は導き出すことができる。フィルタセットインデックスは、重み付け係数ｗの値に基づいて導き出すことができ、又は重み付けインデックスｉ_ｗの値に基づいて導き出すことができる。フィルタリングセットインデックスと重み付け係数ｗとの間、又はフィルタリングセットと重み付けインデックスｉ_ｗとの間の導出マッピングテーブルは、シーケンス又はピクチャレベルでハードコーディング又はシグナリングすることができる。

［００１２２］今度は、本開示の態様による一般化された残差予測において層をアップサンプリング又はダウンサンプリングするための方法例が、図９を参照して説明される。プロセス９００は、符号器（例えば、図２に示される符号器、等）、復号器（例えば、図３に示される復号器、等）、又はその他のコンポーネントによって実行することができる。プロセス９００のブロックは、図３の復号器３０に関して説明されるが、プロセス９００は、上記のように、その他のコンポーネント、例えば、符号器、によって実行することができる。

［００１２３］ブロック９０１において、復号器３０は、基準層をアップサンプリングするか又は拡張層をダウンサンプリングするかを決定する。空間スケーラビリティにおいて、該アップサンプリング及びダウンサンプリングは、層間予測を同じ分解能で行うことができるようにするために実施される。ブロック９０２において基準層がアップサンプリングされると決定された場合は、復号器３０は、ブロック９０３において基準層を拡張層の分解能にアップサンプリングする。他方、復号器３０は、ブロック９０４において拡張層を基準層の分解能にダウンサンプリングする。ブロック９０５において、復号器３０は、アップサンプリングされた又はダウンサンプリングされたピクチャに平滑化フィルタを適用する。平滑化フィルタは、拡張層ピクチャ及び基準層ピクチャが同じである場合でも適用することができる。平滑化フィルタは、適宜選択することができる。ブロック９０６において、復号器３０は、アップサンプリング又はダウンサンプリングされたピクチャに基づいてＧＲＰを用いて現在の映像ユニットを決定する。

［００１２４］図９に関して説明される本開示の態様による一般化された残差予測において層をアップサンプリング又はダウンサンプリングするための方法例は、様々なコーディングレベル、例えば、シーケンス、ピクチャ、フレームのグループ、フレーム、スライスのグループ、スライス、コーディングユニット（ＣＵ）のグループ、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）のグループ、予測ユニット（ＰＵ）、ブロック、ピクセルの領域、又はピクセル、において実装することができる。さらに、図９に関して説明される本開示の態様による一般化された残差予測に層をアップサンプリング又はダウンサンプリングするための方法例は、信号成分、例えば、ルマコンポーネント及びクロマコンポーネント、に対しても適用することができる。例えば、方法例は、ルマコンポーネントのみに対して、クロマコンポーネントのみに対して、又はルマコンポーネントとクロマコンポーネントの組み合わせ（例えば、１つのルマコンポーネントと２つのクロマコンポーネントの組み合わせ）に対して適用することができる。さらに、図９に関して説明されるすべての実施形態は、別々に、又は互いに組み合わせて実装することができる。

［００１２５］図１０は、本開示の態様による一般化された残差予測において動き情報を再マッピング、アップサンプリング、又はダウンサンプリングするための方法例を示したフローチャートである。幾つかの事例では、残差予測子を生成するために１つの層の動き情報を他の層に適用するときには、１つの層において利用可能な基準が他の層では利用できないことがある。該場合は、動きの再マッピングが必要である。一実施形態では、基準が１つの層でしか利用可能でない場合は、この基準が提案されるＧＲＰフレームワークにおいて残差予測子を生成するために使用されないようにするために利用不能と表示される。他の実施形態では、利用不能な基準が関連する基準リストの初めの基準によって取って代わられ、動きがゼロの動きに設定される。

［００１２６］３Ｄ映像コーディングにおいて、ＳＶＣ映像データは、異なるビューに関する映像データも含む。ビューは、異なる角度に関連することができるため、これらの異なるビュー間で差異が存在することがある。３Ｄ映像コーディングに関して動きが再マッピングされる場合は、動きを再マッピングする際に差異ベクトル（ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ）を考慮することができる。

［００１２７］空間スケーラブルな事例では、拡張層と基本層との間での異なる分解能に起因して動きベクトルをアップサンプリン又はダウンサンプリングすることができる。一実施形態では、動きベクトルスケーリングは、分解能比に直接基づく。他の実施形態では、直接スケーリングに引き続いて追加の移相（＋１又は−１）を適用することができる。追加の移相は、ビットストリームにおいてシグナリングすること又は以前にコーディングされた情報、例えば、ＰＵサイズ、動きベクトル、ＣＵ深度、等、に基づいて導き出すことができる。

［００１２８］今度は、本開示の態様による動き情報を再マッピング、アップサンプリング、又はダウンサンプリングするための方法例が、図１０を参照して説明される。プロセス１０００は、符号器（例えば、図２に示される符号器、等）、復号器（例えば、図３に示される復号器、等）、又はその他のコンポーネントによって実行することができる。プロセス１０００のブロックは、図３の復号器３０に関して説明されるが、プロセス１０００は、上記のように、その他のコンポーネント、例えば、符号器、によって実行することができる。ブロック１００１において、動き情報に関する基準が層のうちの１つにおいて利用可能でない場合は、復号器３０は、ブロック１００２において動き情報を再マッピングする。例えば、復号器３０は、他の層内の対応する基準が利用不能である場合は、その基準を利用不能と表示することができる。又は、復号器３０は、関連する基準リスト内の基準への参照を再マッピングすることができる。ブロック１００１においてインター予測のために使用される層内において動き情報に関する基準が利用可能である場合は、復号器３０は、ブロック１００３に示されるさらなる処理を行うことができない。ブロック１００４において、空間ＳＶＣが使用される場合は、復号器３０は、ブロック１００５において、基準層動き情報をアップサンプリングするか又は拡張層動き情報をダウンサンプリングするかを決定する。空間スケーラビリティが使用されない場合は、復号器３０は、ブロック１００６において示されるさらなる処理を行うことができない。ブロック１００７において、基準層動き情報がアップサンプリングされることが決定された場合は、復号器３０は、ブロック１００８において、基準層動き情報を拡張層の分解能にアップサンプリングする。他方、ブロック１００７において、拡張層動き情報がダウンサンプリングされることが決定された場合は、復号器３０は、ブロック１００９において、拡張層動き情報を基準層の分解能にダウンサンプリングする。ブロック１０１０において、復号器３０は、アップサンプリング又はダウンサンプリングされたピクチャを用いてＧＲＰを用いて現在の映像ユニットを決定する。

［００１２９］図１０に関して説明される本開示の態様による動き情報を再マッピング、アップサンプリング、又はダウンサンプリングするための方法例は、様々なコーディングレベル、例えば、シーケンス、ピクチャ、フレームのグループ、フレーム、スライスのグループ、スライス、コーディングユニット（ＣＵ）のグループ、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）のグループ、予測ユニット（ＰＵ）、ブロック、ピクセルの領域、又はピクセル、において実装することができる。さらに、図１０に関して説明される本開示の態様による一般化された残差予測のための方法例は、信号成分、例えば、ルマコンポーネント及びクロマコンポーネント、に対しても適用することができる。例えば、方法例は、ルマコンポーネントのみに対して、クロマコンポーネントのみに対して、又はルマコンポーネントとクロマコンポーネントの組み合わせ（例えば、１つのルマコンポーネントと２つのクロマコンポーネントの組み合わせ）に対して適用することができる。さらに、図１０に関して説明されるすべての実施形態は、別々に、又は互いに組み合わせて実装することができる。

［００１３０］図１１は、本開示の態様により一般化された残差予測において符号化するための重み付け係数を決定するための方法例を示したフローチャートである。方法例は、符号器側の最適化に適用することができる。一実施形態では、各重み付け係数候補に関してＣＵレート−歪みコストを検査することによって各ＣＵに関する最良の重み付け係数ｗが決定される。最低のコストを有する重み付け係数が、ＣＵに関する重み付け係数ｗとして選択される。他の実施形態では、残差予測子は、拡張層時間的予測Ｐ_ｅの動きを基本層時間的予測Ｐ_ｂに適用することによって導き出される。重み付け係数ｗは、次のように決定することができる。

ここで、Ｉは、拡張層に関するソースピクチャを示し、

は、微分ブロック（Ｉ−Ｐ_ｅ）及び（Ｉ＾_ｂ−Ｐ_ｂ）のドット積の和を示す。

［００１３１］今度は、本開示の態様による一般化された残差予測において符号化のための重み付け係数を決定するための方法例が、図１１を参照して説明される。プロセス１１００は、符号器（例えば、図２に示される符号器、等）、復号器（例えば、図３に示される復号器、等）、又はその他のコンポーネントによって実行することができる。プロセス１１００のブロックは、図２の符号器２０に関して説明されるが、プロセス１１００は、上記のように、その他のコンポーネント、例えば、復号器、によって実行することができる。ブロック１１０１において、映像符号器２０は、ＥＬの時間的予測の動きをＢＬの時間的予測に適用することによってＥＬ残差予測を導き出す。ブロック１１０２において、復号器３０は、導き出された残差予測に基づいて重み付け係数を導き出す。図１１に関して説明される本開示の態様による一般化された残差予測において符号化のための重み付け係数を決定するための方法例は、様々なコーディングレベル、例えば、シーケンス、ピクチャ、フレームのグループ、フレーム、スライスのグループ、スライス、コーディングユニット（ＣＵ）のグループ、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）のグループ、予測ユニット（ＰＵ）、ブロック、ピクセルの領域、又はピクセル、において実装することができる。さらに、図１１に関して説明される本開示の態様による一般化された残差予測のための方法例は、信号成分、例えば、ルマコンポーネント及びクロマコンポーネント、に対しても適用することができる。例えば、方法例は、ルマコンポーネントのみに対して、クロマコンポーネントのみに対して、又はルマコンポーネントとクロマコンポーネントの組み合わせ（例えば、１つのルマコンポーネントと２つのクロマコンポーネントの組み合わせ）に対して適用することができる。さらに、図１１に関して説明されるすべての実施形態は、別々に、又は互いに組み合わせて実装することができる。

［００１３２］例に依存して、ここにおいて説明されるいずれかの技法の幾つかの行為又はイベントは、異なるシーケンスで行うことができ、追加すること、結合すること、又はまったく省くことができる（例えば、技法を実践するためにすべての行為又はイベントが必要なわけではない）ことが認識されるべきである。さらに、幾つかの例では、行為又はイベントは、順次ではなく、同時並行して、例えば、マルチスレッド処理、割り込み処理、又は複数のプロセッサ、を通じで行うことができる。

［０１３３］１つ以上の例において、説明される機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらのあらゆる組み合わせにおいて実装することができる。ソフトウェアにおいて実装される場合は、それらの機能は、コンピュータによって読み取り可能な媒体において１つ以上の命令又はコードとして格納又は送信すること及びハードウェアに基づく処理ユニットによって実行することができる。コンピュータによって読み取り可能な媒体は、コンピュータによって読み取り可能な記憶媒体を含むことができ、それは、有形な媒体、例えば、データ記憶媒体、又は、例えば、通信プロトコルにより、１つの場所から他へのコンピュータプログラムの転送を容易にするあらゆる媒体を含む通信媒体、に対応する。このように、コンピュータによって読み取り可能な媒体は、概して、（１）非一時的である有形なコンピュータによって読み取り可能な記憶媒体又は（２）通信媒体、例えば、信号又は搬送波、に対応することができる。データ記憶媒体は、本開示において説明される技法の実装のために命令、コード及び／又はデータ構造を取り出すために１つ以上のコンピュータ又は１つ以上のプロセッサによってアクセスすることができるあらゆる利用可能な媒体であることができる。コンピュータプログラム製品は、コンピュータによって読み取り可能な媒体を含むことができる。

［００１３４］一例により、及び制限することなしに、該コンピュータによって読み取り可能な記憶媒体は、希望されるプログラムコードを命令又はデータ構造の形態で格納するために使用することができ及びコンピュータによってアクセス可能であるＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ又はその他の光学ディスク記憶装置、磁気ディスク記憶装置、又はその他の磁気記憶デバイス、フラッシュメモリ、又はその他のいずれかの媒体を備えることができる。さらに、どのような接続も、コンピュータによって読み取り可能な媒体であると適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバケーブル、より対線、デジタル加入者ライン（ＤＳＬ）、又は無線技術、例えば、赤外線、無線、及びマイクロ波、を用いてウェブサイト、サーバ、又はその他の遠隔ソースから送信される場合は、該同軸ケーブル、光ファイバケーブル、より対線、ＤＳＬ、又は無線技術、例えば赤外線、無線、及びマイクロ波、は、媒体の定義の中に含まれる。しかしながら、コンピュータによって読み取り可能な記憶媒体およびデータ記憶媒体は、コネクション、搬送波、信号、又はその他の遷移媒体は含まず、代わりに、非一時的な、有形の記憶媒体を対象とすることが理解されるべきである。ここにおいて用いられるときのディスク（ｄｉｓｋ及びｄｉｓｃ）は、コンパクトディスク（ＣＤ）（ｄｉｓｃ）と、レーザディスク（ｄｉｓｃ）と、光ディスク（ｄｉｓｃ）と、デジタルバーサタイルディスク（ＤＶＤ）（ｄｉｓｃ）と、フロッピー（登録商標）ディスク（ｄｉｓｋ）と、ブルーレイ（登録商標）ディスク（ｄｉｓｃ）と、を含み、ここで、ｄｉｓｋは、通常は磁気的にデータを複製し、ｄｉｓｃは、レーザを用いて光学的にデータを複製する。上記の組み合わせも、コンピュータによって読み取り可能な媒体の適用範囲内に含められるべきである。

［００１３５］命令は、１つ以上のプロセッサ、例えば、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、又はその他の同等の集積又はディスクリート論理回路によって実行することができる。従って、ここにおいて用いられる場合の用語“プロセッサ”は、上記の構造又はここにおいて説明される技法の実装に適するあらゆるその他の構造のうちのいずれかを意味することができる。さらに、幾つかの態様では、ここにおいて説明される機能は、符号化および復号のために構成された専用のハードウェア及び／又はソフトウェアモジュール内において提供されること、又は組み合わされたコーデック内に組み入れることができる。さらに、技法は、１つ以上の回路又は論理素子内に完全に実装することが可能である。

［００１３６］本開示の技法は、無線ハンドセット、集積回路（ＩＣ）又は一組のＩＣ（例えば、チップセット）を含む非常に様々なデバイス又は装置内に実装することができる。本開示では、開示される技法を実施するように構成されたデバイスの機能上の態様を強調するために様々なコンポーネント、モジュール、又はユニットが説明されるが、異なるハードウェアユニットによる実現は必ずしも要求しない。むしろ、上述されるように、様々なユニットは、適切なソフトウェア及び／又はファームウェアと関係させて、コーデックハードウェアユニット内において結合させること又は上述されるように１つ以上のプロセッサを含む相互運用的なハードウェアユニットの集合によって提供することができる。

［００１３７］様々な例が説明されている。これらの及びその他の例は、以下の請求項の範囲内である。

［００１３７］様々な例が説明されている。これらの及びその他の例は、以下の請求項の範囲内である。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］ 映像情報をコーディングするための装置であって、基準層と関連付けられた映像情報を格納するように構成されたメモリユニットと、前記メモリユニットと通信するプロセッサであって、予測値及び前記基準層と関連付けられた調整された残差予測値に少なくとも部分的に基づいて映像ユニットの値を決定するように構成されたプロセッサと、を備え、前記調整された残差予測値は、１と異なる重み付け係数によって乗じられた前記基準層からの残差予測に等しい、装置。
［Ｃ２］ 前記映像ユニットの前記値は、残差予測、前記予測値、及び前記基準層からの前記調整された残差予測値に基づいて決定されるＣ１に記載の装置。
［Ｃ３］ 前記予測値は、時間的予測値又は空間的イントラ予測値であるＣ１に記載の装置。
［Ｃ４］ 前記基準層は、再構築された基準層であるＣ１に記載の装置。
［Ｃ５］ 前記プロセッサは、シーケンス、フレームのグループ、フレーム、スライスのグループ、スライス、コーディングユニット（ＣＵ）のグループ、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）のグループ、予測ユニット（ＰＵ）、ブロック、ピクセルの領域、ピクセル、及び１つのルマコンポーネントと２つのクロマコンポーネントの組み合わせから成るグループから選択されたコーディングレベルで前記重み付け係数を適用するようにさらに構成されるＣ１に記載の装置。
［Ｃ６］ 前記重み付け係数は、ビットストリームにおいてシグナリングされるＣ１に記載の装置。
［Ｃ７］ 前記重み付け係数は、ビットストリームにおいて受信されるＣ１に記載の装置。
［Ｃ８］ 前記重み付け係数は、重み付け情報に基づいて決定されるＣ１に記載の装置。
［Ｃ９］ 前記重み付け情報は、重み付けステップ、重み付けテーブル、重み付け係数候補の数、及び重み付けインデックスのうちの１つ以上を備えるＣ８に記載の装置。
［Ｃ１０］ 前記重み付け情報は、ビットストリームにおいてシグナリングされるＣ９に記載の装置。
［Ｃ１１］ 前記重み付け情報は、ビットストリームにおいて受信されるＣ９に記載の装置。
［Ｃ１２］ 前記重み付け情報は、シーケンス、フレームのグループ、フレーム、スライスのグループ、スライス、ＣＵのグループ、ＣＵ、ＰＵのグループ、ＰＵ、ブロック、ピクセルの領域、ピクセル、及び１つのルマコンポーネントと２つのクロマコンポーネントの組み合わせから成るグループから選択されたコーディングレベルでコーディングされるＣ９に記載の装置。
［Ｃ１３］ 前記重み付け情報は、以前にコーディングされた情報に少なくとも部分的に基づいて少なくとも部分的に導き出されるＣ９に記載の装置。
［Ｃ１４］ 前記以前にコーディングされた情報は、コーディングレベルで提供され、量子化パラメータ、ＣＵサイズ、ＰＵサイズ、及びＣＵコーディングモードのうちの１つ以上を備えるＣ１３に記載の装置。
［Ｃ１５］ 重み付け係数候補の前記数は、前記以前にコーディングされた情報に少なくとも部分的に基づいて少なくとも部分的に導き出されるＣ１４に記載の装置。
［Ｃ１６］ 前記コーディングレベルは、シーケンス、フレームのグループ、フレーム、スライスのグループ、スライス、ＣＵのグループ、ＣＵ、ＰＵのグループ、ＰＵ、ブロック、ピクセルの領域、ピクセル、及び１つのルマコンポーネントと２つのクロマコンポーネントの組み合わせのうちの１つ以上を備えるＣ１４に記載の装置。
［Ｃ１７］ 記ＣＵコーディングモードは、インターＣＵ又はイントラＣＵであるＣ１４に記載の装置。
［Ｃ１８］ 前記プロセッサは、３Ｄ映像コーディングを行うようにさらに構成され、前記基準層は、複数の基準層又は基準ビューを備えるＣ１に記載の装置。
［Ｃ１９］ 前記プロセッサは、前記基準層からの映像ユニットをアップサンプリングするか又はダウンサンプリングすることによって空間スケーラブル映像コーディングにおいて前記残差予測値を決定するようにさらに構成されるＣ１に記載の装置。
［Ｃ２０］ 前記プロセッサは、前記映像ユニット又は前記基準層からの映像ユニットに平滑化フィルタを適用するようにさらに構成されるＣ１９に記載の装置。
［Ｃ２１］ 前記プロセッサは、ワープ、差異補償、又は両方によって３Ｄ映像コーディングにおいて前記残差予測値を決定するようにさらに構成されるＣ１に記載の装置。
［Ｃ２２］ 前記プロセッサは、層間又はビュー間の映像情報と関連付けられた動き情報をアップサンプリング、ダウンサンプリング、及び再マッピングするうちのいずれか１つ又はそれらの組み合わせによって前記残差予測値を決定するようにさらに構成されるＣ１に記載の装置。
［Ｃ２３］ 前記プロセッサは、動きシフトを適用することによって前記残差予測値を決定するようにさらに構成されるＣ２２に記載の装置。
［Ｃ２４］ 前記プロセッサは、基準映像ユニットが１つの層又はビューにおいて利用可能であるが、他の対応する層又はビューにおいて利用可能でないときはトリートメントを適用することによって前記残差予測値を決定するようにさらに構成されるＣ１に記載の装置。
［Ｃ２５］ トリートメントを前記適用することは、前記基準映像ユニットを利用不能として表示するか又は関連する動きをゼロに設定することを備えるＣ２４に記載の装置。
［Ｃ２６］ 前記プロセッサは、符号化されていない映像情報を符号化し及び次の関係により前記重み付け係数（ｗ）を決定するようにさらに構成され、
［数９］

Ｉは、ソースピクチャに対応し、Ｐ _ｅ は、拡張層の時間的予測又は空間的イントラ予測に対応し、Ｐ _ｂ は、基本層の時間的予測又は空間的イントラ予測に対応し、及びＩ＾ _ｂ は、基本層再構築に対応し、前記符号化されない映像情報から決定される、Ｃ１に記載の装置。
［Ｃ２７］ 前記基準層は、前記映像情報の拡張層と実質的に等しいＣ１に記載の装置。
［Ｃ２８］ 前記装置は、デスクトップコンピュータ、ノートブックコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、スマートフォン、スマートパッド、テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲームコンソール、及びビデオストリーミングデバイスのうちの１つ以上から成るグループから選択されるＣ１に記載の装置。
［Ｃ２９］ 映像情報をコーディングするための方法であって、基準層と関連付けられた映像情報を格納することと、予測値及び前記基準層と関連付けられた調整された残差予測値に少なくとも部分的に基づいて映像ユニットの値を決定することと、を備え、前記調整された残差予測値は、１と異なる重み付け係数によって乗じられた前記基準層からの残差予測に等しい、方法。
［Ｃ３０］ 前記映像ユニットの前記値は、残差予測、前記予測値、及び前記基準層からの前記調整された残差予測値に基づいて決定されるＣ２９に記載の方法。
［Ｃ３１］ 前記予測値は、時間的予測値又は空間的イントラ予測値であるＣ２９に記載の方法。
［Ｃ３２］ 前記基準層は、再構築された基準層であるＣ２９に記載の方法。
［Ｃ３３］ シーケンス、フレームのグループ、フレーム、スライスのグループ、スライス、コーディングユニット（ＣＵ）のグループ、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）のグループ、予測ユニット（ＰＵ）、ブロック、ピクセルの領域、ピクセル、及び１つのルマコンポーネントと２つのクロマコンポーネントの組み合わせから成るグループから選択されたコーディングレベルで前記重み付け係数を適用することをさらに備えるＣ２９に記載の方法。
［Ｃ３４］ 前記重み付け係数は、ビットストリームにおいてシグナリングされるＣ２９に記載の方法。
［Ｃ３５］ 前記重み付け係数は、ビットストリームにおいて受信されるＣ２９に記載の方法。
［Ｃ３６］ 前記重み付け係数は、重み付け情報に基づいて決定されるＣ２９に記載の方法。
［Ｃ３７］ 前記重み付け情報は、重み付けステップ、重み付けテーブル、重み付け係数候補の数、及び重み付けインデックスのうちの１つ以上を備えるＣ３６に記載の方法。
［Ｃ３８］ 前記映像情報をコーディングすることは、前記映像情報を符号化することを備え、前記重み付け情報は、ビットストリームにおいてシグナリングされるＣ３７に記載の方法。
［Ｃ３９］ 前記映像情報をコーディングすることは、前記映像情報を復号することを備え、前記重み付け情報は、ビットストリームにおいて受信されるＣ３７に記載の方法。
［Ｃ４０］ 前記重み付け情報は、シーケンス、フレームのグループ、フレーム、スライスのグループ、スライス、ＣＵのグループ、ＣＵ、ＰＵのグループ、ＰＵ、ブロック、ピクセルの領域、ピクセル、及び１つのルマコンポーネントと２つのクロマコンポーネントの組み合わせから成るグループから選択されたコーディングレベルでコーディングされるＣ３７に記載の方法。
［Ｃ４１］ 前記重み付け情報は、以前にコーディングされた情報に少なくとも部分的に基づいて少なくとも部分的に導き出されるＣ３７に記載の方法。
［Ｃ４２］ 前記以前にコーディングされた情報は、コーディングレベルで提供され、量子化パラメータ、ＣＵサイズ、ＰＵサイズ、及びＣＵコーディングモードのうちの１つ以上を備えるＣ４１に記載の方法。
［Ｃ４３］ 重み付け係数候補の前記数は、前記以前にコーディングされた情報に少なくとも部分的に基づいて少なくとも部分的に導き出されるＣ４２に記載の方法。
［Ｃ４４］ 前記コーディングレベルは、シーケンス、フレームのグループ、フレーム、スライスのグループ、スライス、ＣＵのグループ、ＣＵ、ＰＵのグループ、ＰＵ、ブロック、ピクセルの領域、ピクセル、及び１つのルマコンポーネントと２つのクロマコンポーネントの組み合わせのうちの１つ以上を備えるＣ４２に記載の方法。
［Ｃ４５］ 記ＣＵコーディングモードは、インターＣＵ又はイントラＣＵであるＣ４２に記載の方法。
［Ｃ４６］ ３Ｄ映像コーディングを行うことをさらに備え、前記基準層は、複数の基準層又は基準ビューを備えるＣ２９に記載の方法。
［Ｃ４７］ 前記基準層からの映像ユニットをアップサンプリングするか又はダウンサンプリングすることによって空間スケーラブル映像コーディングにおいて前記残差予測値を決定することをさらに備えるＣ２９に記載の方法。
［Ｃ４８］ 前記映像ユニット又は前記基準層からの映像ユニットに平滑化フィルタを適用することをさらに備えるＣ４７に記載の方法。
［Ｃ４９］ ワープ、差異補償、又は両方によって３Ｄ映像コーディングにおいて前記残差予測値を決定することをさらに備えるＣ２９に記載の方法。
［Ｃ５０］ 層間又はビュー間の映像情報と関連付けられた動き情報をアップサンプリング、ダウンサンプリング、及び再マッピングするうちのいずれか１つ又はそれらの組み合わせによって前記残差予測値を決定することをさらに備えるＣ２９に記載の方法。
［Ｃ５１］ 動きシフトを適用することによって前記残差予測値を決定することをさらに備えるＣ５０に記載の方法。
［Ｃ５２］ 基準映像ユニットが１つの層又はビューにおいて利用可能であるが、他の対応する層又はビューにおいて利用可能でないときはトリートメントを適用することによって前記残差予測値を決定することをさらに備えるＣ２９に記載の方法。
［Ｃ５３］ トリートメントを前記適用することは、前記基準映像ユニットを利用不能として表示するか又は関連する動きをゼロに設定することを備えるＣ５２に記載の方法。
［Ｃ５４］ 符号化されていない映像情報を符号化し及び次の関係により前記重み付け係数（ｗ）を決定することをさらに備え、
［数１０］

Ｉは、ソースピクチャに対応し、Ｐ _ｅ は、拡張層の時間的予測又は空間的イントラ予測に対応し、Ｐ _ｂ は、基本層の時間的予測又は空間的イントラ予測に対応し、及びＩ＾ _ｂ は、基本層再構築に対応し、前記符号化されない映像情報から決定される、Ｃ２９に記載の方法。
［Ｃ５５］ 前記基準層は、前記映像情報の拡張層と実質的に等しいＣ２９に記載の方法。
［Ｃ５６］ コンピュータによって読み取り可能な記憶媒体であって、実行されたときに、基準層と関連付けられた映像情報を格納し、及び予測値及び前記基準層と関連付けられた調整された残差予測値に少なくとも部分的に基づいて映像ユニットの値を決定することを装置に行わせる命令を格納しており、前記調整された残差予測値は、１と異なる重み付け係数によって乗じられた前記基準層からの残差予測に等しい、コンピュータによって読み取り可能な記憶媒体。
［Ｃ５７］ 前記映像ユニットの前記値は、残差予測、前記予測値、及び前記基準層からの前記調整された残差予測値に基づいて決定されるＣ５６に記載のコンピュータによって読み取り可能な記憶媒体。
［Ｃ５８］ 前記予測値は、時間的予測値又は空間的イントラ予測値であるＣ５６に記載のコンピュータによって読み取り可能な記憶媒体。
［Ｃ５９］ 前記重み付け係数は、重み付け情報に基づいて決定されるＣ５６に記載のコンピュータによって読み取り可能な記憶媒体。
［Ｃ６０］ 前記重み付け情報は、重み付けステップ、重み付けテーブル、重み付け係数候補の数、及び重み付けインデックスのうちの１つ以上を備えるＣ５９に記載のコンピュータによって読み取り可能な記憶媒体。
［Ｃ６１］ 映像情報をコーディングするための装置であって、基準層と関連付けられた映像情報を格納するための手段と、予測値及び前記基準層と関連付けられた調整された残差予測値に少なくとも部分的に基づいて映像ユニットの値を決定するための手段と、を備え、前記調整された残差予測値は、１と異なる重み付け係数によって乗じられた前記基準層からの残差予測に等しい、装置。
［Ｃ６２］ 前記映像ユニットの前記値は、残差予測、前記予測値、及び前記基準層からの前記調整された残差予測値に基づいて決定されるＣ６１に記載の装置。
［Ｃ６３］ 前記予測値は、時間的予測値又は空間的イントラ予測値であるＣ６１に記載の装置。
［Ｃ６４］ 前記重み付け係数は、重み付け情報に基づいて決定されるＣ６１に記載の装置。
［Ｃ６５］ 前記重み付け情報は、重み付けステップ、重み付けテーブル、重み付け係数候補の数、及び重み付けインデックスのうちの１つ以上を備えるＣ６４に記載の装置。

Claims (65)

1. 映像情報をコーディングするための装置であって、
   基準層と関連付けられた映像情報を格納するように構成されたメモリユニットと、
   前記メモリユニットと通信するプロセッサであって、予測値及び前記基準層と関連付けられた調整された残差予測値に少なくとも部分的に基づいて映像ユニットの値を決定するように構成されたプロセッサと、を備え、
   前記調整された残差予測値は、１と異なる重み付け係数によって乗じられた前記基準層からの残差予測に等しい、装置。
2. 前記映像ユニットの前記値は、残差予測、前記予測値、及び前記基準層からの前記調整された残差予測値に基づいて決定される請求項１に記載の装置。
3. 前記予測値は、時間的予測値又は空間的イントラ予測値である請求項１に記載の装置。
4. 前記基準層は、再構築された基準層である請求項１に記載の装置。
5. 前記プロセッサは、シーケンス、フレームのグループ、フレーム、スライスのグループ、スライス、コーディングユニット（ＣＵ）のグループ、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）のグループ、予測ユニット（ＰＵ）、ブロック、ピクセルの領域、ピクセル、及び１つのルマコンポーネントと２つのクロマコンポーネントの組み合わせから成るグループから選択されたコーディングレベルで前記重み付け係数を適用するようにさらに構成される請求項１に記載の装置。
6. 前記重み付け係数は、ビットストリームにおいてシグナリングされる請求項１に記載の装置。
7. 前記重み付け係数は、ビットストリームにおいて受信される請求項１に記載の装置。
8. 前記重み付け係数は、重み付け情報に基づいて決定される請求項１に記載の装置。
9. 前記重み付け情報は、重み付けステップ、重み付けテーブル、重み付け係数候補の数、及び重み付けインデックスのうちの１つ以上を備える請求項８に記載の装置。
10. 前記重み付け情報は、ビットストリームにおいてシグナリングされる請求項９に記載の装置。
11. 前記重み付け情報は、ビットストリームにおいて受信される請求項９に記載の装置。
12. 前記重み付け情報は、シーケンス、フレームのグループ、フレーム、スライスのグループ、スライス、ＣＵのグループ、ＣＵ、ＰＵのグループ、ＰＵ、ブロック、ピクセルの領域、ピクセル、及び１つのルマコンポーネントと２つのクロマコンポーネントの組み合わせから成るグループから選択されたコーディングレベルでコーディングされる請求項９に記載の装置。
13. 前記重み付け情報は、以前にコーディングされた情報に少なくとも部分的に基づいて少なくとも部分的に導き出される請求項９に記載の装置。
14. 前記以前にコーディングされた情報は、コーディングレベルで提供され、量子化パラメータ、ＣＵサイズ、ＰＵサイズ、及びＣＵコーディングモードのうちの１つ以上を備える請求項１３に記載の装置。
15. 重み付け係数候補の前記数は、前記以前にコーディングされた情報に少なくとも部分的に基づいて少なくとも部分的に導き出される請求項１４に記載の装置。
16. 前記コーディングレベルは、シーケンス、フレームのグループ、フレーム、スライスのグループ、スライス、ＣＵのグループ、ＣＵ、ＰＵのグループ、ＰＵ、ブロック、ピクセルの領域、ピクセル、及び１つのルマコンポーネントと２つのクロマコンポーネントの組み合わせのうちの１つ以上を備える請求項１４に記載の装置。
17. 記ＣＵコーディングモードは、インターＣＵ又はイントラＣＵである請求項１４に記載の装置。
18. 前記プロセッサは、３Ｄ映像コーディングを行うようにさらに構成され、前記基準層は、複数の基準層又は基準ビューを備える請求項１に記載の装置。
19. 前記プロセッサは、前記基準層からの映像ユニットをアップサンプリングするか又はダウンサンプリングすることによって空間スケーラブル映像コーディングにおいて前記残差予測値を決定するようにさらに構成される請求項１に記載の装置。
20. 前記プロセッサは、前記映像ユニット又は前記基準層からの映像ユニットに平滑化フィルタを適用するようにさらに構成される請求項１９に記載の装置。
21. 前記プロセッサは、ワープ、差異補償、又は両方によって３Ｄ映像コーディングにおいて前記残差予測値を決定するようにさらに構成される請求項１に記載の装置。
22. 前記プロセッサは、層間又はビュー間の映像情報と関連付けられた動き情報をアップサンプリング、ダウンサンプリング、及び再マッピングするうちのいずれか１つ又はそれらの組み合わせによって前記残差予測値を決定するようにさらに構成される請求項１に記載の装置。
23. 前記プロセッサは、動きシフトを適用することによって前記残差予測値を決定するようにさらに構成される請求項２２に記載の装置。
24. 前記プロセッサは、基準映像ユニットが１つの層又はビューにおいて利用可能であるが、他の対応する層又はビューにおいて利用可能でないときはトリートメントを適用することによって前記残差予測値を決定するようにさらに構成される請求項１に記載の装置。
25. トリートメントを前記適用することは、前記基準映像ユニットを利用不能として表示するか又は関連する動きをゼロに設定することを備える請求項２４に記載の装置。
26. 前記プロセッサは、符号化されていない映像情報を符号化し及び次の関係により前記重み付け係数（ｗ）を決定するようにさらに構成され、
    

    

    Ｉは、ソースピクチャに対応し、Ｐ_ｅは、拡張層の時間的予測又は空間的イントラ予測に対応し、Ｐ_ｂは、基本層の時間的予測又は空間的イントラ予測に対応し、及びＩ＾_ｂは、基本層再構築に対応し、前記符号化されない映像情報から決定される、請求項１に記載の装置。
27. 前記基準層は、前記映像情報の拡張層と実質的に等しい請求項１に記載の装置。
28. 前記装置は、デスクトップコンピュータ、ノートブックコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、スマートフォン、スマートパッド、テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲームコンソール、及びビデオストリーミングデバイスのうちの１つ以上から成るグループから選択される請求項１に記載の装置。
29. 映像情報をコーディングするための方法であって、
    基準層と関連付けられた映像情報を格納することと、
    予測値及び前記基準層と関連付けられた調整された残差予測値に少なくとも部分的に基づいて映像ユニットの値を決定することと、を備え、
    前記調整された残差予測値は、１と異なる重み付け係数によって乗じられた前記基準層からの残差予測に等しい、方法。
30. 前記映像ユニットの前記値は、残差予測、前記予測値、及び前記基準層からの前記調整された残差予測値に基づいて決定される請求項２９に記載の方法。
31. 前記予測値は、時間的予測値又は空間的イントラ予測値である請求項２９に記載の方法。
32. 前記基準層は、再構築された基準層である請求項２９に記載の方法。
33. シーケンス、フレームのグループ、フレーム、スライスのグループ、スライス、コーディングユニット（ＣＵ）のグループ、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）のグループ、予測ユニット（ＰＵ）、ブロック、ピクセルの領域、ピクセル、及び１つのルマコンポーネントと２つのクロマコンポーネントの組み合わせから成るグループから選択されたコーディングレベルで前記重み付け係数を適用することをさらに備える請求項２９に記載の方法。
34. 前記重み付け係数は、ビットストリームにおいてシグナリングされる請求項２９に記載の方法。
35. 前記重み付け係数は、ビットストリームにおいて受信される請求項２９に記載の方法。
36. 前記重み付け係数は、重み付け情報に基づいて決定される請求項２９に記載の方法。
37. 前記重み付け情報は、重み付けステップ、重み付けテーブル、重み付け係数候補の数、及び重み付けインデックスのうちの１つ以上を備える請求項３６に記載の方法。
38. 前記映像情報をコーディングすることは、前記映像情報を符号化することを備え、前記重み付け情報は、ビットストリームにおいてシグナリングされる請求項３７に記載の方法。
39. 前記映像情報をコーディングすることは、前記映像情報を復号することを備え、前記重み付け情報は、ビットストリームにおいて受信される請求項３７に記載の方法。
40. 前記重み付け情報は、シーケンス、フレームのグループ、フレーム、スライスのグループ、スライス、ＣＵのグループ、ＣＵ、ＰＵのグループ、ＰＵ、ブロック、ピクセルの領域、ピクセル、及び１つのルマコンポーネントと２つのクロマコンポーネントの組み合わせから成るグループから選択されたコーディングレベルでコーディングされる請求項３７に記載の方法。
41. 前記重み付け情報は、以前にコーディングされた情報に少なくとも部分的に基づいて少なくとも部分的に導き出される請求項３７に記載の方法。
42. 前記以前にコーディングされた情報は、コーディングレベルで提供され、量子化パラメータ、ＣＵサイズ、ＰＵサイズ、及びＣＵコーディングモードのうちの１つ以上を備える請求項４１に記載の方法。
43. 重み付け係数候補の前記数は、前記以前にコーディングされた情報に少なくとも部分的に基づいて少なくとも部分的に導き出される請求項４２に記載の方法。
44. 前記コーディングレベルは、シーケンス、フレームのグループ、フレーム、スライスのグループ、スライス、ＣＵのグループ、ＣＵ、ＰＵのグループ、ＰＵ、ブロック、ピクセルの領域、ピクセル、及び１つのルマコンポーネントと２つのクロマコンポーネントの組み合わせのうちの１つ以上を備える請求項４２に記載の方法。
45. 記ＣＵコーディングモードは、インターＣＵ又はイントラＣＵである請求項４２に記載の方法。
46. ３Ｄ映像コーディングを行うことをさらに備え、前記基準層は、複数の基準層又は基準ビューを備える請求項２９に記載の方法。
47. 前記基準層からの映像ユニットをアップサンプリングするか又はダウンサンプリングすることによって空間スケーラブル映像コーディングにおいて前記残差予測値を決定することをさらに備える請求項２９に記載の方法。
48. 前記映像ユニット又は前記基準層からの映像ユニットに平滑化フィルタを適用することをさらに備える請求項４７に記載の方法。
49. ワープ、差異補償、又は両方によって３Ｄ映像コーディングにおいて前記残差予測値を決定することをさらに備える請求項２９に記載の方法。
50. 層間又はビュー間の映像情報と関連付けられた動き情報をアップサンプリング、ダウンサンプリング、及び再マッピングするうちのいずれか１つ又はそれらの組み合わせによって前記残差予測値を決定することをさらに備える請求項２９に記載の方法。
51. 動きシフトを適用することによって前記残差予測値を決定することをさらに備える請求項５０に記載の方法。
52. 基準映像ユニットが１つの層又はビューにおいて利用可能であるが、他の対応する層又はビューにおいて利用可能でないときはトリートメントを適用することによって前記残差予測値を決定することをさらに備える請求項２９に記載の方法。
53. トリートメントを前記適用することは、前記基準映像ユニットを利用不能として表示するか又は関連する動きをゼロに設定することを備える請求項５２に記載の方法。
54. 符号化されていない映像情報を符号化し及び次の関係により前記重み付け係数（ｗ）を決定することをさらに備え、
    

    

    Ｉは、ソースピクチャに対応し、Ｐ_ｅは、拡張層の時間的予測又は空間的イントラ予測に対応し、Ｐ_ｂは、基本層の時間的予測又は空間的イントラ予測に対応し、及びＩ＾_ｂは、基本層再構築に対応し、前記符号化されない映像情報から決定される、請求項２９に記載の方法。
55. 前記基準層は、前記映像情報の拡張層と実質的に等しい請求項２９に記載の方法。
56. コンピュータによって読み取り可能な記憶媒体であって、実行されたときに、
    基準層と関連付けられた映像情報を格納し、及び
    予測値及び前記基準層と関連付けられた調整された残差予測値に少なくとも部分的に基づいて映像ユニットの値を決定することを装置に行わせる命令を格納しており、
    前記調整された残差予測値は、１と異なる重み付け係数によって乗じられた前記基準層からの残差予測に等しい、コンピュータによって読み取り可能な記憶媒体。
57. 前記映像ユニットの前記値は、残差予測、前記予測値、及び前記基準層からの前記調整された残差予測値に基づいて決定される請求項５６に記載のコンピュータによって読み取り可能な記憶媒体。
58. 前記予測値は、時間的予測値又は空間的イントラ予測値である請求項５６に記載のコンピュータによって読み取り可能な記憶媒体。
59. 前記重み付け係数は、重み付け情報に基づいて決定される請求項５６に記載のコンピュータによって読み取り可能な記憶媒体。
60. 前記重み付け情報は、重み付けステップ、重み付けテーブル、重み付け係数候補の数、及び重み付けインデックスのうちの１つ以上を備える請求項５９に記載のコンピュータによって読み取り可能な記憶媒体。
61. 映像情報をコーディングするための装置であって、
    基準層と関連付けられた映像情報を格納するための手段と、
    予測値及び前記基準層と関連付けられた調整された残差予測値に少なくとも部分的に基づいて映像ユニットの値を決定するための手段と、を備え、
    前記調整された残差予測値は、１と異なる重み付け係数によって乗じられた前記基準層からの残差予測に等しい、装置。
62. 前記映像ユニットの前記値は、残差予測、前記予測値、及び前記基準層からの前記調整された残差予測値に基づいて決定される請求項６１に記載の装置。
63. 前記予測値は、時間的予測値又は空間的イントラ予測値である請求項６１に記載の装置。
64. 前記重み付け係数は、重み付け情報に基づいて決定される請求項６１に記載の装置。
65. 前記重み付け情報は、重み付けステップ、重み付けテーブル、重み付け係数候補の数、及び重み付けインデックスのうちの１つ以上を備える請求項６４に記載の装置。

Images