JP2020526956A - ビデオコーディングにおける改善されたイントラ予測 - Google Patents

Abstract

ビデオデータを符号化または復号するように構成される装置であって、ビデオデータの少なくとも１つの再構築されたサンプルを記憶するように構成されるメモリと、このメモリと通信状態にある少なくとも１つのプロセッサとを含み、プロセッサは、少なくとも１つの再構築されたサンプルを識別することと、現在のブロックの少なくとも１つのサンプルのイントラ予測に使用するための少なくとも１つの拡張角度イントラ予測モードを決定することと、少なくとも１つの再構築されたサンプルに基づいて、現在のブロックの少なくとも１つのサンプルを、少なくとも１つの拡張角度イントラ予測モードを使用してイントラ予測することと、拡張角度イントラ予測モードは、水平−４５度と垂直−４５度との間の角度予測モード以外の角度イントラ予測モードを含むものである、少なくとも１つの予測されたサンプルに基づいて、現在のブロックを符号化または復号することと、をするように構成される。
【選択図】図１１

Description

関連出願の相互参照

[0001] 本出願は、２０１７年６月３０日に出願された米国仮特許出願第６２／５２７，７９５号、２０１７年６月３０日に出願された米国仮特許出願第６２／５２７，９０３号、２０１７年６月３０日に出願された米国仮特許出願第６２／５２７，９２８号、および２０１８年６月２７日に出願された米国特許出願第１６／０２０，１７９号の利益を主張し、それらの各々は、その全体が参照によって組み込まれる。

[0002] この開示は、ビデオコーディング（例えば、ビデオ符号化および／またはビデオ復号）に関する。例えば、いくつかの態様は、ビデオコーディングにおけるイントラ予測に関する。

[0003] デジタルビデオ能力は、デジタルテレビ、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲームコンソール、セルラ式または衛星無線電話、いわゆる「スマートフォン」、ビデオテレビ会議デバイス、ビデオストリーミングデバイス、および同様のものを含む、幅広い範囲のデバイスへと組み込まれることができる。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ １０、アドバンストビデオコーディング（ＡＶＣ）、最近完成された高効率ビデオコーディング（ＨＥＶＣ）規格、およびそのような規格の拡張によって定義された規格において説明されるもののような、ビデオ圧縮技法を実施する。ビデオデバイスは、そのようなビデオ圧縮技法を実施することによって、より効率的にデジタルビデオ情報を送信、受信、符号化、復号、および／または記憶し得る。

[0004] ビデオ圧縮技法は、ビデオシーケンスに内在する冗長性を低減または取り除くために、空間的（イントラピクチャ）予測および／または時間的（インターピクチャ）予測を行う。ブロックベースのビデオコーディングの場合、ビデオスライス（すなわち、ビデオフレームまたはビデオフレームの一部分）は、ビデオブロックへと区分化され得、それはまた、ツリーブロック、コーディングユニット（ＣＵ）、および／またはコーディングノードと呼ばれ得る。ピクチャのイントラコーディングされた（Ｉ）スライス中のビデオブロックは、同じピクチャ中の近隣ブロック中の参照サンプルに対して空間的予測を使用して符号化される。ピクチャのインターコーディングされた（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の近隣ブロック中の参照サンプルに対して空間的予測を、または他の参照ピクチャ中の参照サンプルに対して時間的予測を使用し得る。ピクチャは、フレームと呼ばれ得、および参照ピクチャは、参照フレームと呼ばれ得る。

[0005] 空間的または時間的予測は、コーディングされることになるブロックについての予測ブロックをもたらす。残差データは、コーディングされることになる元のブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックを指し示す動きベクトル、およびコーディングされたブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコーディングされたブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データは、ピクセルドメインから変換ドメインに変換され得、残差変換係数をもたらし、それはその後、量子化され得る。最初に２次元アレイ中に配置された、量子化された変換係数は、変換係数の１次元ベクトルを作り出すために走査され得、エントロピーコーディングが、さらに一層の圧縮を達成するために適用され得る。

[0006] 概して、この開示は、ビデオデータのブロックのサンプルのイントラ予測のための技法を説明するものである。特に、この開示は、拡張角度イントラ予測モード（１つ以上）（an extended angular intra prediction mode）、カスケードイントラ予測（cascade intra prediction）、および／または逆線形モデルイントラ予測（inversed-linear model intra prediction）のうちの少なくとも１つを含むイントラ予測技法を利用して、現在のブロックのサンプルを予測するための技法を説明するものである。

[0007] 一例では、ビデオデータを符号化または復号する方法が、ビデオデータの少なくとも１つの再構築されたサンプルをロケートする(locating)ことと、現在のブロックの少なくとも１つのサンプルのイントラ予測に使用するための少なくとも１つの拡張角度イントラ予測モードを決定することと、少なくとも１つの再構築されたサンプルに基づいて、現在のブロックの少なくとも１つのサンプルを、少なくとも１つの拡張角度イントラ予測モードを使用してイントラ予測することと、拡張角度イントラ予測モードは、水平−４５度と垂直−４５度との間の角度予測モード以外の角度イントラ予測モードを含み、少なくとも１つの予測されたサンプルに基づいて、現在のブロックを符号化または復号することとを含む。

[0008] 別の例では、ビデオデータを符号化または復号するように構成される装置であって、ビデオデータの少なくとも１つの再構築されたサンプルを記憶するように構成されるメモリと、メモリと通信状態にある少なくとも１つのプロセッサとを含み、プロセッサは少なくとも１つの再構築されたサンプルを識別することと、現在のブロックの少なくとも１つのサンプルのイントラ予測に使用するための少なくとも１つの拡張角度イントラ予測モードを決定することと、少なくとも１つの再構築されたサンプルに基づいて、現在のブロックの少なくとも１つのサンプルを、少なくとも１つの拡張角度イントラ予測モードを使用してイントラ予測することと、拡張角度イントラ予測モードは、水平−４５度と垂直−４５度との間の角度予測モード以外の角度イントラ予測モードを含むものである、少なくとも１つの予測されたサンプルに基づいて、現在のブロックを符号化または復号することと、をするように構成される。

[0009] 別の例では、ビデオデータを符号化または復号するように構成される装置が、ビデオデータの少なくとも１つの再構築されたサンプルを記憶するための手段と、少なくとも１つの再構築されたサンプルを識別するための手段と、現在のブロックの少なくとも１つのサンプルのイントラ予測に使用するための少なくとも１つの拡張角度イントラ予測モードを決定するための手段と、少なくとも１つの再構築されたサンプルに基づいて、現在のブロックの少なくとも１つのサンプルを、少なくとも１つの拡張角度イントラ予測モードを使用してイントラ予測するための手段と、拡張角度イントラ予測モードは、水平−４５度と垂直−４５度との間の角度予測モード以外の角度イントラ予測モードを含み、少なくとも１つの予測されたサンプルに基づいて、現在のブロックを符号化または復号するための手段とを含む。

[0010] 別の例では、コンピュータ可読記憶媒体が、実行されると、ビデオデータを符号化または復号するように構成される１つまたは複数のプロセッサに、少なくとも１つの再構築されたサンプルを識別することと、現在のブロックの少なくとも１つのサンプルのイントラ予測に使用するための少なくとも１つの拡張角度イントラ予測モードを決定することと、少なくとも１つの再構築されたサンプルに基づいて、現在のブロックの少なくとも１つのサンプルを、少なくとも１つの拡張角度イントラ予測モードを使用してイントラ予測することと、拡張角度イントラ予測モードは、水平−４５度と垂直−４５度との間の角度予測モード以外の角度イントラ予測モードを含み、少なくとも１つの予測されたサンプルに基づいて、現在のブロックを符号化または復号することとをさせる命令を記憶する。

[0011] 他の例では、ビデオデータをコーディングする方法が、ビデオデータの第１のブロックについての少なくとも１つのクロマサンプルを再構築することと、ビデオデータの第１のブロックについての少なくとも１つの再構築されたクロマサンプルおよび少なくとも１つの予測モデルに基づいて、第１のブロックについての少なくとも１つのルーマサンプルを予測することと、少なくとも１つの予測されたルーマサンプルに基づいて、第１のブロックをコーディングすることとを含む。方法のいくつかの実施形態において、少なくとも１つの予測モデルは、逆線型モデルを含む。いくつかの実施形態において、方法はさらに、第１のブロックに近隣する少なくとも１つのブロックに関連付けられたルーマサンプルまたはクロマサンプルのうちの少なくとも１つに基づいて、少なくとも１つの予測モデルについての少なくとも１つのパラメータを決定することを含み得る。いくつかの実施形態において、方法はさらに、線形回帰技法に基づいて、少なくとも１つのパラメータを決定することを含み得る。いくつかの実施形態において、方法はさらに、第１のブロックについての少なくとも１つのクロマサンプルの強度のインジケーションを決定することを含み得る。いくつかの実施形態において、方法はさらに、少なくとも１つのクロマサンプルの強度のインジケーションに基づいて、少なくとも１つのクロマサンプルを複数のグループの中の第１のグループに関連付けることを含み得る。方法のいくつかの実施形態において、少なくとも１つの予測モデルは、方法がさらに第１のグループに基づいて複数の予測モデルの中から第１の予測モデルを決定することを含み得るように、複数の予測モデルを含み得る。コーディングが復号動作を構成する方法のいくつかの実施形態において、方法はさらに、少なくとも１つの予測モデルが第１のブロックについての少なくとも１つのルーマサンプルを予測するために使用されるかどうかを示す１つまたは複数のシンタックス要素を受信することを含み得る。コーディングが符号化動作を構成する方法のいくつかの実施形態において、方法はさらに、少なくとも１つの予測モデルが第１のブロックについての少なくとも１つのルーマサンプルを予測するために使用されるかどうかを示す１つまたは複数のシンタックス要素を送信することを含み得る。上記の例において、方法は、ビデオデータを符号化する方法またはビデオデータを復号する方法を構成し得る。さらに、いくつかの具体例では、装置が、ビデオデータを記憶するように構成されるメモリと、上記の例証的な方法（１つ以上）に従ってビデオデータを符号化または復号するように構成されるプロセッサとを含み得る。さらに、いくつかの具体例では、コンピュータ可読媒体が、実行されると、ビデオデータを符号化または復号するように構成されるプロセッサに、上記の例証的な方法（１つ以上）を行なわせる命令をそれに記憶させたものであり得る。

[0012] さらなる他の例では、ビデオデータをコーディングする方法が、ビデオデータのサンプルの第１の行または第１の列のうちの１つに関連付けられた少なくとも１つのサンプルを再構築することと、カスケード技法に基づいて、ビデオデータのサンプルの第２の行に関連付けられた少なくとも１つのサンプルを予測することと、カスケード技法は、第２の行に関連付けられた少なくとも１つのサンプルを予測するための、第１の角度イントラ予測モードに関連付けられた角度の使用を備え、ビデオデータの第１のブロック内の第２の行に関連付けられた少なくとも１つの予測されたサンプルをコーディングすることとを含む。方法のいくつかの実施形態において、第１の行または第１の列のうちの１つに関連付けられた少なくとも１つのサンプルは、複数のサンプルを備える。方法のいくつかの実施形態において、第１の行または第１の列のうちの１つに関連付けられた少なくとも１つのサンプルは、複数のサンプルを含み、ここで、複数のサンプルのうちの少なくとも１つのサンプルは、第１のブロック以外の第２のブロックに関連付けられる。方法のいくつかの実施形態において、第２のブロックは、第１のブロックに近隣する。方法のいくつかの実施形態において、第１の行または第１の列のうちの１つに関連付けられた少なくとも１つのサンプルは、複数のサンプルを含み、ここで、複数のサンプルの各々は、第１のブロック以外の少なくとも１つのブロックに関連付けられる。方法のいくつかの実施形態において、少なくとも１つのブロックは、第１のブロックの近隣ブロックまたは第１のブロックの非近隣ブロックのうちの１つである。方法のいくつかの実施形態において、少なくとも１つのブロックは、第１のブロックの隣接ブロックまたは第１のブロックの非隣接ブロックのうちの１つである。方法のいくつかの実施形態において、第１の角度イントラ予測モードは、水平−４５度と垂直−４５度との間の角度イントラ予測モードを含む。方法のいくつかの実施形態において、第１の角度イントラ予測モードは、水平−４５度と垂直−４５度との間において以外の拡張角度イントラ予測モードを備える。上記の例において、方法は、ビデオデータを符号化する方法またはビデオデータを復号する方法を構成し得る。さらに、いくつかの具体例において、装置は、ビデオデータを記憶するように構成されるメモリと、上記の例証的な方法（１つ以上）に従ってビデオデータを符号化または復号するように構成されるプロセッサとを含み得る。さらに、いくつかの具体例では、コンピュータ可読媒体が、実行されると、ビデオデータを符号化または復号するように構成されるプロセッサに、上記の例証的な方法（１つ以上）を行わせる命令をそれに記憶させたものであり得る。

[0013] １つまたは複数の例の詳細が、添付の図面および以下の説明において明らかにされる。他の特徴、目的、および利点は、説明および図面から、並びに特許請求の範囲から明らかになるはずである。

この開示において説明される技法を利用し得る実例的なビデオ符号化および復号システムを例示するブロック図である。 ＱＴＢＴを使用することによるブロック区分化の例を例示する。 対応するツリー構造を例示する。 １６×１６ブロックについてのイントラ予測の例を示す。 HEVCにおいて定義された３５個のイントラ予測モードのグラフィカルな例示である。 ＨＥＶＣに従う平面モードでの予測サンプルの生成の例示である。 ＨＥＶＣに従う平面モードでの予測サンプルの生成の別の例示である。 線形モデルクロマイントラ予測のためのモデルパラメータαおよびモデルパラメータβを導出するために使用されるサンプルの実例的なロケーションの概念図である。 ルーマ（Ｙ）成分とクロマ（Ｃ）成分との間の線形回帰の例のグラフである。 実例的なルーマサンプルダウンサンプリングの概略図である。 この開示に従う、イントラ予測に利用され得る拡張角度イントラ予測モードのグラフィカルな例示である。 この開示に従う、イントラ予測に利用され得る拡張角度イントラ予測モードのグラフィカルな例示である。 この開示に従う、拡張イントラ予測モードを使用して、再構築されたサンプル（１つ以上）から１つのサンプルを予測する例を例示する。 この開示に従う、拡張イントラ予測モードを使用して、再構築されたサンプル（１つ以上）から１つのサンプルを予測する別の例を例示する。 この開示に従う、拡張イントラ予測モードを使用して、再構築されたサンプル（１つ以上）からサンプル（１つ以上）を予測する例を例示する。 この開示に従う、拡張イントラ予測モードを使用して、再構築されたサンプルに基づいて、投影されたサンプルを満たす例を例示する。 この開示に従う、拡張角度イントラ予測モードを使用して、再構築されたサンプル（１つ以上）からサンプル（１つ以上）を予測する別のものを例示する。 この開示に従う、拡張イントラ予測モードを使用して、再構築されたサンプルに基づいて、投影されたサンプルを満たす別の例を例示する。 HEVCにおいて定義されたイントラ予測モードに関連付けられた予測角度の方向と、本開示の拡張角度イントラ予測モードに関連付けられた予測角度の方向とが互いに対して制約される（constrained）例を例示する。 本開示に従う、現在のブロックの行ごとの（line-by-line）カスケードイントラ予測の例を例示する。 本開示に従う、現在のブロックの行ごとのカスケードイントラ予測の例を例示する。 本開示に従う、現在のブロックの行ごとのカスケードイントラ予測の例を例示する。 本開示に従う、現在のブロックの行ごとのカスケードイントラ予測の例を例示する。 本開示の拡張角度イントラ予測モードを利用する、現在のブロックの行ごとのカスケードイントラ予測の例を例示する。 本開示の拡張角度イントラ予測モードを利用する、現在のブロックの行ごとのカスケードイントラ予測の例を例示する。 本開示の拡張角度イントラ予測モードを利用する、現在のブロックの行ごとのカスケードイントラ予測の例を例示する。 本開示の拡張角度イントラ予測モードを利用する、現在のブロックの行ごとのカスケードイントラ予測の例を例示する。 本開示に従う、特定の予測モード（１つ以上）に制約された現在のブロックの行ごとのカスケードイントラ予測の例を例示する。 この開示において説明される技法を実施し得る実例的なビデオ符号化器を例示するブロック図である。 この開示において説明される技法を実施し得る実例的なビデオ復号器を例示するブロック図である。

詳細な説明

[0036] 最近開発された高効率ビデオコーディング（ＨＥＶＣ）規格を含む様々なコーディング規格は、ビデオブロックについての予測コーディングモードを含み、ここで、現在コーディングされているブロックは、ビデオデータの既にコーディングされたブロックに基づいて予測される。イントラ予測モードにおいて、現在のブロックは、現在のブロックと同じピクチャ中の１つまたは複数の以前にコーディングされた近隣ブロックに基づいて予測され、その一方でインター予測モードにおいて、現在のブロックは、異なるピクチャ中の既にコーディングされたブロックに基づいて予測される。インター予測モードにおいて、予測ブロックとして使用するための、以前にコーディングされたフレームのブロックを決定するプロセスは動き推定とも呼ばれ、それは通常ビデオ符号化器によって行われるものであり、予測ブロックを識別および取り出すプロセスは動き補償とも呼ばれ、それはビデオ符号化器およびビデオ復号器の両方によって行われる。ＨＥＶＣの拡張およびＨＥＶＣの後継はまた、イントラブロックコピー、辞書、およびパレットコーディングモードのような追加のコーディングモードを使用し得る。

[0037] この開示は、イントラ予測に関する技法を説明するものである。この開示の技法は、次世代のビデオコーディング規格または画像コーディング規格のような、アドバンストビデオコーデックのコンテキストにおいて使用され得る。

[0038] この開示における様々な技法は、ビデオコーダを参照して説明され得、それは、ビデオ符号化器またはビデオ復号器のいずれかを指すことができる総称であることを意図される。別途明示的に記載されない限り、ビデオ符号化器またはビデオ復号器に関して説明される技法は、ビデオ符号化器またはビデオ復号器の他方によって行えないとみなされるべきでない。例えば、多くの事例では、ビデオ復号器が、符号化されたビデオデータを復号するために、ビデオ符号化器と同じ、または時として相反するコーディング技法を行う。多くの事例では、ビデオ符号化器がまた、ビデオ復号ループを含み、このことから、ビデオ符号化器は、ビデオデータを符号化することの一部としてビデオ復号を行う。ゆえに、別途記載されない限り、ビデオ復号器に関してこの開示において説明される技法もまた、ビデオ符号化器によって行われ得、その逆もまた然りである。

[0039] この開示はまた、現在のブロック、現在のピクチャ、等のような用語を使用し得る。この開示のコンテキストにおいて、「現在の（current）」という用語は、現在コーディングされているブロックまたはピクチャを識別することを意図するもので、例えば、以前にまたは既にコーディングされたブロックまたはピクチャ、あるいは未だにコーディングされていないブロックまたはピクチャとは対照的なものである。

[0040] 図１は、この開示において説明される予測のための技法、例えば、拡張角度イントラ予測モード、カスケードイントラ予測、および／または逆線形モデルイントラ予測、を利用し得る実例的なビデオ符号化および復号システム１０を例示するブロック図である。図１に示されるように、システム１０は、宛先デバイス１４によって後の時間に復号されることになる符号化されたビデオデータを提供するソースデバイス１２を含む。特に、ソースデバイス１２は、コンピュータ可読媒体１６を介して宛先デバイス１４にビデオデータを提供する。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンのような電話ハンドセット、いわゆる「スマート」パッド、テレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイス、または同様のものを含む、幅広い範囲のデバイスのうちの任意のものを備え得る。いくつかのケースでは、ソースデバイス１２および宛先デバイス１４が、ワイヤレス通信のために装備され得る。

[0041] 宛先デバイス１４は、コンピュータ可読媒体１６を介して、復号されることになる符号化されたビデオデータを受信し得る。コンピュータ可読媒体１６は、ソースデバイス１２から宛先デバイス１４に符号化されたビデオデータを移動させることが可能である任意のタイプの媒体またはデバイスを備え得る。一例において、コンピュータ可読媒体１６は、ソースデバイス１２がリアルタイムで宛先デバイス１４に符号化されたビデオデータを直接送信することを可能にするための通信媒体を備え得る。符号化されたビデオデータは、ワイヤレス通信プロトコルのような通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つまたは複数の物理的伝送線路のような任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットのようなグローバルネットワークのような、パケットベースのネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１２から宛先デバイス１４への通信を容易にするのに有用であり得る任意の他の機器を含み得る。

[0042] いくつかの例では、符号化されたデータが、出力インターフェース２２から記憶デバイスに出力され得る。同様に、符号化されたデータは、入力インターフェースによって記憶デバイスからアクセスされ得る。記憶デバイスは、ハードドライブ、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性または非揮発性メモリ、あるいは符号化されたビデオデータを記憶するための任意の他の適したデジタル記憶媒体のような、多様な分散されたまたは局所的にアクセスされるデータ記憶媒体のうちの任意のものを含み得る。さらなる例において、記憶デバイスは、ファイルサーバ、またはソースデバイス１２によって生成される符号化されたビデオを記憶し得る別の中間記憶デバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介して記憶デバイスからの記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化されたビデオデータを記憶することと、宛先デバイス１４にその符号化されたビデオデータを送信することとが可能である任意のタイプのサーバであり得る。実例的なファイルサーバは、（例えば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続記憶（ＮＡＳ）デバイス、またはローカルディスクドライブを含む。宛先デバイス１４は、インターネット接続を含む、任意の標準的データ接続を通じて、符号化されたビデオデータにアクセスし得る。これは、ファイルサーバ上に記憶された符号化されたビデオデータにアクセスするのに適している、ワイヤレスチャネル（例えば、Ｗｉ−Ｆｉ接続）、ワイヤード接続（例えば、ＤＳＬ、ケーブルモデム、等）、またはその両方の組み合わせを含み得る。記憶デバイスからの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組み合わせであり得る。

[0043] この開示の技法は、ワイヤレスアプリケーションまたは設定に必ずしも限定されない。本技法は、無線テレビ放送、ケーブルテレビ送信、衛星テレビ送信、ＨＴＴＰを通した動的適応型ストリーミング（ＤＡＳＨ）のようなインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されるデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、または他のアプリケーションのような、多様なマルチメディアアプリケーションのうちの任意のものをサポートするビデオコーディングに適用され得る。いくつかの例において、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオ電話通信のようなアプリケーションをサポートするための１方向（one-way）または２方向（two-way）ビデオ送信をサポートするように構成され得る。

[0044] 図１の例では、ソースデバイス１２が、ビデオソース１８、ビデオ符号化器２０、および出力インターフェース２２を含む。宛先デバイス１４は、入力インターフェース２８、ビデオ復号器３０、およびディスプレイデバイス３２を含む。この開示に従って、ソースデバイス１２のビデオ符号化器２０は、この開示において説明されるイントラ予測技法のための技法を適用するように構成され得る。他の例では、ソースデバイスおよび宛先デバイスが、他のコンポーネントまたは配置を含み得る。例えば、ソースデバイス１２は、外部カメラのような外部ビデオソース１８からビデオデータを受信し得る。同じように、宛先デバイス１４は、統合されたディスプレイデバイスを含むというよりはむしろ、外部ディスプレイデバイスとインターフェースし得る。

[0045] 図１の例示されるシステム１０は単に、一例に過ぎない。この開示において説明されるイントラ予測技法のための技法は、任意のデジタルビデオ符号化および／または復号デバイスによって行われ得る。概して、この開示の技法は、ビデオ符号化デバイスによって行われるが、本技法はまた、典型的に「ＣＯＤＥＣ」と呼ばれるビデオ符号化器／復号器によって行われ得る。その上、この開示の技法はまた、ビデオプリプロセッサによって行われ得る。ソースデバイス１２および宛先デバイス１４は単に、ソースデバイス１２が宛先デバイス１４への送信のためのコーディングされたビデオデータを生成するそのようなコーディングデバイスの例に過ぎない。いくつかの例において、デバイス１２、１４は、デバイス１２、１４の各々がビデオ符号化および復号コンポーネントを含むような実質的に対称的な方法で動作し得る。故に、システム１０は、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオ電話のために、ビデオデバイス１２とビデオデバイス１４との間の１方向または２方向ビデオ送信をサポートし得る。

[0046] ソースデバイス１２のビデオソース１８は、ビデオカメラのようなビデオキャプチャデバイス、以前にキャプチャされたビデオを包含するビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。さらなる代替として、ビデオソース１８は、ソースビデオとしてコンピュータグラフィックスベースのデータを、またはライブビデオ、アーカイブされたビデオ、およびコンピュータ生成されたビデオの組み合わせを生成し得る。いくつかのケースでは、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４が、いわゆるカメラ電話またはビデオ電話を形成し得る。上述されたように、しかしながら、この開示において説明される技法は、一般にビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤードアプリケーションに適用され得る。各ケースにおいて、キャプチャされた、事前にキャプチャされた、またはコンピュータ生成されたビデオは、ビデオ符号化器２０によって符号化され得る。符号化されたビデオ情報はその後、コンピュータ可読媒体１６上に出力インターフェース２２によって出力され得る。

[0047] コンピュータ可読媒体１６は、ワイヤレスブロードキャストまたはワイヤードネットワーク送信のような一過性媒体、あるいはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Ｂｌｕ−ｒａｙディスク、または他のコンピュータ可読媒体のような記憶媒体（すなわち、非一時的記憶媒体）を含み得る。いくつかの例では、ネットワークサーバ（図示せず）が、ソースデバイス１２から符号化されたビデオデータを受信し、例えば、ネットワーク送信を介して、宛先デバイス１４に符号化されたビデオデータを提供し得る。同様に、ディスクスタンピング設備のような媒体製造設備（medium production facility）のコンピューティングデバイスは、ソースデバイス１２から符号化されたビデオデータを受信し、符号化されたビデオデータを包含するディスクを製造し得る。従って、コンピュータ可読媒体１６は、様々な例において、様々な形態の１つまたは複数のコンピュータ可読媒体を含むことが理解され得る。

[0048] 宛先デバイス１４の入力インターフェース２８は、コンピュータ可読媒体１６から情報を受信する。コンピュータ可読媒体１６の情報は、ブロックおよび他のコーディングされたユニットの特性および／または処理を記述するシンタックス要素を含む、ビデオ符号化器２０によって定義されたシンタックス情報を含み得、それはまた、ビデオ復号器３０によって使用される。ディスプレイデバイス３２は、ユーザに復号されたビデオデータを表示し、ブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスのような多様なディスプレイデバイスのうちの任意のものを備え得る。

[0049] ビデオ符号化器２０およびビデオ復号器３０は、最近確定された高効率ビデオコーディング（ＨＥＶＣ）規格のようなビデオ圧縮規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ）に従い得る。ビデオ符号化器２０およびビデオ復号器３０は加えて、ＩＴＵ−Ｔビデオコーディング専門家グループ（ＶＣＥＧ：Video Coding Experts Group）およびＩＳＯ／ＩＥＣモーションピクチャ専門家グループ（ＭＰＥＧ：Motion Picture Experts Group）のビデオコーディングに関する共同コラボレーションチーム（ＪＣＴ−ＶＣ：the Joint Collaboration Team on Video Coding）並びに３Ｄビデオコーディング拡張開発に関する共同コラボレーションチーム（ＪＣＴ−３Ｖ：Joint Collaboration Team on 3D Video Coding Extension Development）によって開発されてきた、範囲拡張、マルチビュー拡張（ＭＶ−ＨＥＶＣ）、またはスケーラブル拡張（ＳＨＶＣ）のような、ＨＥＶＣ拡張に従って動作し得る。

[0050] ビデオ符号化器２０およびビデオ復号器３０はまた、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４、Ｐａｒｔ １０、アドバンストビデオコーディング（ＡＶＣ）と代替的に呼ばれる、ＩＴＵ−Ｔ Ｈ．２６４規格のような他の所有権または工業規格、あるいはスケーラブルビデオコーディング（ＳＶＣ）およびマルチビュービデオコーディング（ＭＶＣ）拡張のようなそのような規格の拡張に従って動作し得る。この開示の技法は、しかしながら、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例は、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、およびＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌを含む。

[0051] ＩＴＵ−Ｔ ＶＣＥＧ（Ｑ６／１６）およびＩＳＯ／ＩＥＣ ＭＰＥＧ（ＪＴＣ １／ＳＣ ２９／ＷＧ １１）は、現在、（スクリーンコンテンツコーディングおよび高ダイナミックレンジコーディングについてのその現在の拡張および近々の拡張を含む）現在のＨＥＶＣ規格のそれを有意に上回る圧縮能力を有する将来のビデオコーディング技術の標準化の潜在的な必要性を研究している。このグループは、このエリアにおけるそれらの専門家によって提案された圧縮技術設計を評価するために、共同ビデオ調査チーム（ＪＶＥＴ：the Joint Video Exploration Team）として知られる共同コラボレーションの取り組みにおいて、この調査活動で協働している。ＪＶＥＴは、２０１５年１０月１９日〜２１日中に最初の会合を行った。参照ソフトウェアのある１つのバージョン、すなわち、共同調査モデル２（ＪＥＭ２：Joint Exploration Model 2）は、https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-2.0/からダウンロードできる。ＪＥＭ２についてのアルゴリズムが、J. Chen, E. Alshina, G. J. Sullivan, J.-R. Ohm, J. Boyce, “Algorithm description of Joint Exploration Test Model 2”, JVET-B1001, San Diego, Mar. 2016において説明されており、その説明は、参照によってここに組み込まれる。参照ソフトウェアの別のバージョン、すなわち、共同調査モデル３（ＪＥＭ３）は、https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-3.0/からダウンロードできる。ＪＥＭ３についてのアルゴリズムの説明はまた、ＪＶＥＴ−Ｃ１００１と呼ばれ得、参照によってここに組み込まれる。ＪＥＭ４についてのアルゴリズムが、J. Chen, E. Alshina, G. J. Sullivan, J.-R. Ohm, J. Boyce, “Algorithm Description of Joint Exploration Test Model 4,” JVET-D1001, October 2016において説明されており、参照によってここに組み込まれる。

[0052] この開示の技法は、説明を容易にするために、ＨＥＶＣ専門用語を利用し得る。しかしながら、この開示の技法は、ＨＥＶＣに限定されるとみなされるべきでなく、実際に、この開示の技法は、ＨＥＶＣの後継規格およびその拡張並びに他のビデオ圧縮技法（例えば、規格外のコーデック）において実施され得ることが明示的に企図される。

[0053] 図１に示されないが、いくつかの態様において、ビデオ符号化器２０およびビデオ復号器３０は各々、オーディオ符号化器および復号器と統合され得るもので、共通のデータストリームまたは別個のデータストリームにおけるオーディオおよびビデオの両方の符号化を扱うために適切なＭＵＸ−ＤＥＭＵＸユニットまたは他のハードウェアおよびソフトウェアを含み得る。適用可能である場合、いくつかの例において、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ．Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）のような他のプロトコルに従い得る。

[0054] ビデオ符号化器２０およびビデオ復号器３０は各々、１つまたは複数のマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせのような、多様な適した符号化器回路または復号器回路のうちの任意のものとして実施され得る。本技法がソフトウェアにおいて部分的に実施されるとき、デバイスは、適した非一時的コンピュータ可読媒体中にソフトウェアのための命令を記憶し、この開示の技法を行うために、１つまたは複数のプロセッサを使用してハードウェアにおいて命令を実行し得る。ビデオ符号化器２０およびビデオ復号器３０の各々は、１つまたは複数の符号化器または復号器中に含まれ得、それらのうちのいずれも、それぞれのデバイス中で、組み合わされた符号化器／復号器（ＣＯＤＥＣ）の一部として統合され得る。

[0055] ＨＥＶＣおよび他のビデオコーディング仕様では、ビデオシーケンスが典型的に、一連のピクチャを含む。ピクチャはまた、「フレーム」と呼ばれ得る。１つの実例的なアプローチでは、ピクチャが、Ｓ_L、Ｓ_Cb、およびＳ_Crと表される３つのサンプルアレイを含み得る。そのような実例的なアプローチにおいて、Ｓ_Lは、ルーマサンプルの２次元アレイ（すなわち、ブロック）である。Ｓ_Cbは、Ｃｂクロミナンスサンプルの２次元アレイである。Ｓ_Crは、Ｃｒクロミナンスサンプルの２次元アレイである。クロミナンスサンプルはまた、ここにおいて「クロマ」サンプルと呼ばれ得る。他の事例では、ピクチャが、モノクロームであり得、ルーマサンプルのアレイのみを含み得る。

[0056] ピクチャの符号化された表現を生成するために、ビデオ符号化器２０は、コーディングツリーユニット（ＣＴＵ）のセットを生成し得る。ＣＴＵのサイズは、（技術的には、８×８ＣＴＵサイズもまたサポートできるが）ＨＥＶＣメインプロファイルにおいて１６×１６〜６４×６４までの範囲であることができる。ＣＴＵの各々は、ルーマサンプルのコーディングツリーブロックと、クロマサンプルの２つの対応するコーディングツリーブロックと、それらコーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは３つの別個の色平面を有するピクチャでは、ＣＴＵが、単一のコーディングツリーブロックと、そのコーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。コーディングツリーブロックは、サンプルのＮ×Ｎブロックであり得る。ＣＴＵはまた、「ツリーブロック」または「最大コーディングユニット」（ＬＣＵ）と呼ばれ得る。ＨＥＶＣのＣＴＵは、Ｈ．２６４／ＡＶＣのような他の規格のマクロブロックに大まかに類似し得る。しかしながら、ＣＴＵは、必ずしも特定のサイズに限定されず、１つまたは複数のコーディングユニット（ＣＵ）を含み得る。スライスは、ラスタ走査順序で連続して順序付けられた整数の数のＣＴＵを含み得る。

[0057] コーディングされたＣＴＵを生成するために、ビデオ符号化器２０は、コーディングツリーブロックをコーディングブロックへと分割するために、ＣＴＵのコーディングツリーブロックに対して四分木区分化を再帰的に行い得、故に名称が「コーディングツリーユニット」である。コーディングブロックは、サンプルのＮ×Ｎブロックであり得る。ＣＵは、ルーマサンプルアレイ、Ｃｂサンプルアレイ、およびＣｒサンプルアレイを有するピクチャの、ルーマサンプルのコーディングブロックおよびクロマサンプルの２つの対応するコーディングブロックと、それらコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは３つの別個の色平面を有するピクチャでは、ＣＵが、単一のコーディングブロックと、そのコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。

[0058] ビデオ符号化器２０は、ＣＵのコーディングブロックを、１つまたは複数の予測ブロックへと区分化し得る。予測ブロックは、同じ予測が適用されるサンプルの矩形（すなわち、正方形または非正方形）ブロックである。ＣＵの予測ユニット（ＰＵ）は、ルーマサンプルの予測ブロックと、クロマサンプルの２つの対応する予測ブロックと、それら予測ブロックを予測するために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは３つの別個の色平面を有するピクチャでは、ＰＵが、単一の予測ブロックと、その予測ブロックを予測するために使用されるシンタックス構造とを備え得る。ビデオ符号化器２０は、ＣＵの各ＰＵのルーマ、Ｃｂ、およびＣｒ予測ブロックについての予測ルーマ、Ｃｂ、およびＣｒブロックを生成し得る。

[0059] ビデオ符号化器２０は、ＰＵについての予測ブロックを生成するためにイントラ予測またはインター予測を使用し得る。ビデオ符号化器２０がＰＵの予測ブロックを生成するためにイントラ予測を使用する場合、ビデオ符号化器２０は、ＰＵに関連付けられたピクチャの復号されたサンプルに基づいて、ＰＵの予測ブロックを生成し得る。ビデオ符号化器２０がＰＵの予測ブロックを生成するためにインター予測を使用する場合、ビデオ符号化器２０は、ＰＵに関連付けられたピクチャ以外の１つまたは複数のピクチャの復号されたサンプルに基づいて、ＰＵの予測ブロックを生成し得る。

[0060] 各ＣＵは、１つのモードでコーディングされる。ＣＵがインターコーディングされるとき、ＣＵは、２つまたは４つの予測ユニットＰＵへとさらに区分化され得るか、またはさらなる区分化が適用されないときには単に１つのＰＵになり得る。１つのＣＵ中に２つのＰＵが存在するとき、２つのＰＵは、半分のサイズの矩形、またはＣＵの１／４または３／４サイズを有する２つの矩形サイズであることができる。ＣＵがインターコーディングされるとき、動き情報の１つのセットが、各ＰＵに対して存在し得る。加えて、各ＰＵは、動き情報のセットを導出するために、一意のインター予測モードでコーディングされる。

[0061] ビデオ符号化器２０がＣＵの１つまたは複数のＰＵについての予測ルーマ、Ｃｂ、およびＣｒブロックを生成した後に、ビデオ符号化器２０は、そのＣＵについてのルーマ残差ブロックを生成し得る。ＣＵのルーマ残差ブロック中の各サンプルは、ＣＵの予測ルーマブロックのうちの１つ中のルーマサンプルと、ＣＵの元のルーマコーディングブロック中の対応するサンプルとの間の差分を示す。加えて、ビデオ符号化器２０は、ＣＵについてのＣｂ残差ブロックを生成し得る。ＣＵのＣｂ残差ブロック中の各サンプルは、ＣＵの予測Ｃｂブロックのうちの１つ中のＣｂサンプルと、ＣＵの元のＣｂコーディングブロック中の対応するサンプルとの間の差分を示し得る。ビデオ符号化器２０はまた、ＣＵについてのＣｒ残差ブロックを生成し得る。ＣＵのＣｒ残差ブロック中の各サンプルは、ＣＵの予測Ｃｒブロックのうちの１つ中のＣｒサンプルと、ＣＵの元のＣｒコーディングブロック中の対応するサンプルとの間の差分を示し得る。

[0062] さらに、ビデオ符号化器２０は、ＣＵのルーマ、Ｃｂ、およびＣｒ残差ブロックを、１つまたは複数のルーマ、Ｃｂ、およびＣｒ変換ブロックへと分解するために、四分木区分化を使用し得る。変換ブロックは、同じ変換が適用されるサンプルの矩形（例えば、正方形または非正方形）ブロックである。ＣＵの変換ユニット（ＴＵ）は、ルーマサンプルの変換ブロックと、クロマサンプルの２つの対応する変換ブロックと、それら変換ブロックサンプルを変換するために使用されるシンタックス構造とを備え得る。このことから、ＣＵの各ＴＵは、ルーマ変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに関連付けられ得る。ＴＵに関連付けられたルーマ変換ブロックは、ＣＵのルーマ残差ブロックのサブブロックであり得る。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであり得る。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであり得る。モノクロームピクチャまたは３つの別個の色平面を有するピクチャでは、ＴＵが、単一の変換ブロックと、その変換ブロックのサンプルを変換するために使用されるシンタックス構造とを備え得る。

[0063] ビデオ符号化器２０は、ＴＵについてのルーマ係数ブロックを生成するために、ＴＵのルーマ変換ブロックに１つまたは複数の変換を適用し得る。係数ブロックは、変換係数の２次元アレイであり得る。変換係数は、スカラー量であり得る。ビデオ符号化器２０は、ＴＵについてのＣｂ係数ブロックを生成するために、ＴＵのＣｂ変換ブロックに１つまたは複数の変換を適用し得る。ビデオ符号化器２０は、ＴＵについてのＣｒ係数ブロックを生成するために、ＴＵのＣｒ変換ブロックに１つまたは複数の変換を適用し得る。

[0064] 係数ブロック（例えば、ルーマ係数ブロック、Ｃｂ係数ブロックまたはＣｒ係数ブロック）を生成した後に、ビデオ符号化器２０は、係数ブロックを量子化し得る。量子化は概して、変換係数を表すために使用されるデータの量をできる限り低減するために変換係数が量子化されるプロセスを指し、さらなる圧縮を提供する。ビデオ符号化器２０が係数ブロックを量子化した後に、ビデオ符号化器２０は、量子化された変換係数を示すシンタックス要素をエントロピー符号化し得る。例えば、ビデオ符号化器２０は、量子化された変換係数を示すシンタックス要素に対してコンテキスト適応バイナリ算術コーディング（ＣＡＢＡＣ：Context-Adaptive Binary Arithmetic Coding）を行い得る。

[0065] ビデオ符号化器２０は、コーディングされたピクチャの表現と関連するデータとを形成するビットのシーケンスを含むビットストリームを出力し得る。ビットストリームは、ネットワーク抽象化レイヤ（ＮＡＬ）ユニットのシーケンスを備え得る。ＮＡＬユニットは、ＮＡＬユニット中のデータのタイプのインジケーションと、エミュレーション防止ビットが必要に応じて挿入された（interspersed）生バイトシーケンスペイロード（ＲＢＳＰ：a raw byte sequence payload）の形式でそのデータを包含するバイトとを包含するシンタックス構造である。ＮＡＬユニットの各々は、ＮＡＬユニットヘッダを含み、ＲＢＳＰをカプセル化する。ＮＡＬユニットヘッダは、ＮＡＬユニットタイプコードを示すシンタックス要素を含み得る。ＮＡＬユニットのＮＡＬユニットヘッダによって指定されるＮＡＬユニットタイプコードは、ＮＡＬユニットのタイプを示す。ＲＢＳＰは、ＮＡＬユニット内にカプセル化された整数の数のバイトを包含するシンタックス構造であり得る。いくつかの事例では、ＲＢＳＰが、０ビットを含む。

[0066] 異なるタイプのＮＡＬユニットは、異なるタイプのＲＢＳＰをカプセル化し得る。例えば、第１のタイプのＮＡＬユニットは、ＰＰＳについてのＲＢＳＰをカプセル化し得、第２のタイプのＮＡＬユニットは、コーディングされたスライスについてのＲＢＳＰをカプセル化し得、第３のタイプのＮＡＬユニットは、ＳＥＩメッセージについてのＲＢＳＰをカプセル化し得、といった具合であり得る。（パラメータセットおよびＳＥＩメッセージについてのＲＢＳＰとは対照的に）ビデオコーディングデータについてのＲＢＳＰをカプセル化するＮＡＬユニットは、ＶＣＬ ＮＡＬユニットと呼ばれ得る。

[0067] ビデオ復号器３０は、ビデオ符号化器２０によって生成されたビットストリームを受信し得る。加えて、ビデオ復号器３０は、ビットストリームからシンタックス要素を取得するために、ビットストリームを構文解析し得る。ビデオ復号器３０は、ビットストリームから取得されたシンタックス要素に少なくとも部分的に基づいて、ビデオデータのピクチャを再構築し得る。ビデオデータを再構築するためのプロセスは概して、ビデオ符号化器２０によって行われるプロセスとは相反し得る。加えて、ビデオ復号器３０は、現在のＣＵのＴＵに関連付けられた係数ブロックを逆量子化し得る。ビデオ復号器３０は、現在のＣＵのＴＵに関連付けられた変換ブロックを再構築するために、係数ブロックに対して逆変換を行い得る。ビデオ復号器３０は、現在のＣＵのＰＵについての予測ブロックのサンプルを、現在のＣＵのＴＵの変換ブロックの対応するサンプルに追加することによって、現在のＣＵのコーディングブロックを再構築し得る。ピクチャの各ＣＵについてのコーディングブロックを再構築することによって、ビデオ復号器３０は、ピクチャを再構築し得る。

[0068] H. Huang, K. Zhang, Y.-W. Huang, S. Lei, “EE2.1: Quadtree plus binary tree structure integration with JEM tools”, JVET-C0024, June 2016（参照によってここに組み組まれた）において説明されるようなＱＴＢＴ構造は、ＪＥＭ４ソフトウェアにおいて採用されている。ＱＴＢＴ構造では、ＣＴＢが最初に、四分木構造によって区分化される。四分木リーフノードは、二分木構造によってさらに区分化される。二分木リーフノード、すなわちコーディングブロック（ＣＢ）は、これ以上の区分化を伴わずに予測および変換に使用される。ＰおよびＢスライスの場合、１つのＣＴＵ中のルーマおよびクロマＣＴＢは、同じＱＴＢＴ構造を共有する。Ｉスライスの場合、ルーマＣＴＢは、ＱＴＢＴ構造によってＣＢへと区分化され、２つのクロマＣＴＢは、別のＱＴＢＴ構造によってクロマＣＢへと区分化される。

[0069] 四分木のルートノードであるＣＴＵ（またはＩスライスの場合はＣＴＢ）は第１に、四分木によって区分化され、ここで、１つのノードの四分木分割は、そのノードが最小の許容される四分木リーフノードサイズ（ＭｉｎＱＴＳｉｚｅ）に達するまで反復できる。四分木リーフノードサイズが最大の許容される二分木ルートノードサイズ（ＭａｘＢＴＳｉｚｅ）より大きくない場合、それは、二分木によってさらに区分化できる。１つのノードの二分木分割は、そのノードが最小の許容される二分木リーフノードサイズ（ＭｉｎＢＴＳｉｚｅ）または最大の許容される二分木深度（ＭａｘＢＴＤｅｐｔｈ）に達するまで反復できる。二分木リーフノード、すなわちＣＵ（またはＩスライスの場合はＣＢ）は、これ以上の区分化を伴わずに予測（例えば、イントラピクチャ予測またはインターピクチャ予測）および変換に使用されるであろう。対称水平分割および対称垂直分割という２つの分割タイプが、二分木分割において存在する。

[0070] ＱＴＢＴ区分化構造の一例において、ＣＴＵサイズは、１２８×１２８（ルーマサンプルおよび対応する６４×６４Ｃｂ／Ｃｒサンプル）に設定され、ＭｉｎＱＴＳｉｚｅは、１６×１６に設定され、ＭａｘＢＴＳｉｚｅは、６４×６４に設定され、（幅および高さの両方についての）ＭｉｎＢＴＳｉｚｅは、４に設定され、ＭａｘＢＴＤｅｐｔｈは、４に設定される。四分木リーフノードを生成するために、最初に四分木区分化がＣＴＵに適用される。四分木リーフノードは、１６×１６（すなわち、ＭｉｎＱＴＳｉｚｅ）から１２８×１２８（すなわち、ＣＴＵサイズ）までのサイズを有し得る。リーフ四分木ノードが１２８×１２８である場合、それは、サイズがＭａｘＢＴＳｉｚｅ（すなわち、６４×６４）を上回ることから、二分木によってさらに分割されないであろう。そうでない場合は、リーフ四分木ノードは、二分木によってさらに区分化されるであろう。従って、四分木リーフノードはまた、二分木のためのルートノードであり、その二分木深度は、０と定義される。二分木深度がＭａｘＢＴＤｅｐｔｈ（すなわち、４）に達するとき、それは、さらなる分割を暗示しない。二分木ノードがＭｉｎＢＴＳｉｚｅ（すなわち、４）に等しい幅を有するとき、それは、さらなる水平分割を暗示しない。同様に、二分木ノードがＭｉｎＢＴＳｉｚｅに等しい高さを有するとき、それは、さらなる垂直分割を暗示しない。二分木のリーフノード、すなわちＣＵは、これ以上の区分化を伴わずに予測および変換によってさらに処理される。

[0071] 図２Ａは、ＱＴＢＴを使用することによるブロック区分化の例を例示し、図２Ｂは、対応するツリー構造を例示する。実線は四分木分割を示し、点線は二分木分割を示す。二分木の各分割（すなわち、非リーフ）ノードでは、１つのフラグが、どの分割タイプ（すなわち、水平または垂直）が使用されているかを示すためにシグナリングされ、ここで、０が水平分割を示し、１が垂直分割を示す。四分木分割の場合、それが常に等しいサイズの４つのサブブロックへと水平および垂直にブロックを分割することから、分割タイプを示す必要はない。

[0072] Ｉスライスの場合、ルーマ−クロマ分離（luma-chroma-separated）ブロック区分化構造が提案される。１つのＣＴＵのルーマ成分（すなわち、ルーマＣＴＢ）が、ルーマＣＢへとＱＴＢＴ構造によって区分化され、そのＣＴＵの２つのクロマ成分（すなわち、２つのクロマＣＴＢ）が、クロマＣＢへと別のＱＴＢＴ構造によって区分化される。

[0073] ＰおよびＢスライスの場合、ルーマおよびクロマについてのブロック区分化構造は、共有される。すなわち、（ルーマおよびクロマの両方を含む）１つのＣＴＵが、ＣＵへと１つのＱＴＢＴ構造によって区分化される。

[0074] 図３は、１６×１６ブロックについてのイントラ予測の例を示す。イントラ予測モードでブロックをコーディングするとき、ビデオコーダは、空間的に近隣する再構築された画像サンプルを使用して画像ブロック予測を行う。１６×１６画像ブロックについてのイントラ予測の典型的な例が、図３に示される。イントラ予測において、１６×１６の画像ブロック４０は（矢印４１によって示されるような）選択された予測方向に沿って上および左の近隣する再構築されたサンプル（参照サンプル）によって予測される。

[0075] 図４は、HEVCにおいて定義された３５個のイントラ予測モードを示す。ＨＥＶＣでは、ルーマブロックのイントラ予測のために、ビデオコーダが、図４に示されるような、平面モード、ＤＣモード、および３３個の角度モードを含む、３５の利用可能なモードから選択し得る。

[0076] 頻繁に使用されるイントラ予測モードである平面モードの場合、予測サンプルは、図５に示されるように生成される。Ｎ×Ｎブロックについての平面予測を行うために、座標（ｘ，ｙ）にロケートされたブロックの各サンプルｐ_xyについて、予測値が、バイリニアフィルタで４つの特定の近隣する再構築されたサンプル（例えば、参照サンプル）を使用して算出される（すなわち、決定される）。４つの参照サンプルは、「ＴＲ」として表されている右上の再構築されたサンプル、「ＢＬ」として表されている左下の再構築されたサンプル、「Ｌ」によって表されている現在のサンプルの同じ列（ｒ_x,-1）にロケートされた再構築されたサンプル、および「Ｔ」によって表されている現在のサンプルの行（ｒ_-1,y）にロケートされた再構築されたサンプルを含む。平面モードは、以下のように定式化できる：

ＤＣモードの場合、予測ブロックは、以下のようにＤＣ値（すなわち、近隣する再構築されたサンプルの平均値）で単に満たされ、

ここで、図６に示されるように、Ｍは、上の近隣する再構築されたサンプルの数であり、Ｎは、左の近隣する再構築されたサンプルの数であり、Ａ_kは、ｋ番目の上の近隣する再構築されたサンプルを表し、Ｌ_kは、ｋ番目の左の近隣する再構築されたサンプルを表す。近隣サンプルの全てが利用可能でない（例えば、全ての近隣サンプルが存在しないか、または全ての近隣サンプルが未だに符号化／復号されていない）とき、１＜＜（ｂｉｔＤｅｐｔｈ−１）のデフォルト値は、利用不可能なサンプルの各々に割り当てられる。ここで、変数「ｂｉｔＤｅｐｔｈ」は、ルーマ成分またはクロマ成分のいずれかのビット深度（すなわち、使用されるビットの数）を表す。（例えば、全てでなく部分的な数の）近隣サンプルのサブセットが利用可能でないとき、利用不可能なサンプルが、利用可能なサンプルによってパディングされる。概して、平面モードおよびＤＣモードの両方が、平滑に変化するおよび一定の画像領域をモデル化するために適用される。

[0077] ＨＥＶＣは、イントラ予測のための３５個のイントラ予測モードを定義するが、例えば、ルーマブロックの場合、これら従来のモードでいくつかの問題が残る。いくつかのイントラ予測のケースにおいて、（３３個の角度モードを含む）既存のモードは、所与のブロックをコーディングするのに最も最適な予測モードを表さないことがあり得る。

[0078] 線形モデル（ＬＭ）クロマイントラ予測が、http://phenix.int-evry.fr/jct/doc_end_user/documents/5_Geneva/wg11/JCTVC-E0266-v4.zipにおいてＪＣＴ−ＶＣに提案された。それはまた、http://phenix.int-evry.fr/jvet/doc_end_user/documents/3_Geneva/wg11/JVET-C1001-v3.zipにおけるセクション２．２．４において説明されるように、ＪＶＥＴに提案されている。ＬＭモードは、ルーマ成分とクロマ成分との間に線形関係があると仮定する。ＬＭモードは、その関係を把握するために、線形回帰アプローチを利用することによって、近隣の再構築されたピクセルを探索する。ＬＭモードが使用されるとき、クロマ値は、次のように同じブロックの再構築されたルーマ値から予測され得る。

ここで、Ｐｒｅｄ_Cは、ブロック中のクロマサンプルの予測を示し、Ｒｅｃ_Lは、そのブロック中の再構築されたルーマサンプルを示す。パラメータαおよびβは、現在のブロックの周囲の因果的（causal）再構築されたサンプルから導出される。

[0079] クロマ成分のサンプリング比は、ルーマ成分のそれの半分であり、ＹＵＶ４２０サンプリングにおいて垂直方向に０．５ピクセル位相差を有する。再構築されたルーマは、次のように、クロマサイズのサイズおよび位相にマッチするように、垂直方向にダウンサンプリングされ、且つ水平方向にサブサンプリングされる。

[0080] ＬＭ方法は、モデルパラメータαおよびβを導出するために、ダウンサンプリングされたルーマ成分の因果的再構築データ(causal reconstructed data)と因果的クロマ成分(causal chroma component)との間の線形最小２乗解を利用する。例えば、モデルパラメータαおよびβは、次のように導出され得る：

ここで、Ｒｅｃ_C（ｉ）およびＲｅｃ_L’（ｉ）は、ターゲットブロックの周囲の再構築されたクロマサンプルおよびダウンサンプリングされたルーマサンプルを示し、Ｉは、近隣データの総サンプル数を示す。

[0081] 図７は、モデルパラメータαおよびモデルパラメータβを導出するために使用されるサンプルのロケーションのグラフィカル図である。図７に例示されるように、グレーの円としてマーキングされている左および上の因果的サンプル(causal samples)のみが、２のべき乗として総サンプル数Ｉを保持するための算出に関与している。ターゲットＮ×Ｎクロマブロックの場合、左および上の因果的サンプルの両方が利用可能であるとき、関与する総サンプル数は、２Ｎであり、左のみまたは上のみの因果的サンプルが利用可能であるとき、関与する総サンプル数Ｉは、Ｎである。

[0082] 図８は、ルーマ（Ｙ）成分とクロマ（Ｃ）成分との間の線形回帰の例のグラフィカル図である。図８に例示されるように、一例によると、ルーマ成分とクロマ成分との間の線形関係は、線形回帰法を使用して解かれ得る。図８では、グラフィカル図上の点が、サンプルＲｅｃ’_L［ｘ，ｙ］，Ｒｅｃ_C［ｘ，ｙ］）のペアに対応する。

[0083] 図９は、ＪＥＭ３．０におけるルーマサンプルダウンサンプリングの概略図である。図９に例示されるように、ＪＶＥＴは、ＪＥＭ３．０におけるＬＭモードのためのより高度なルーマサンプルダウンサンプリングフィルタを採用しており、ここで、

である。

[0084] サンプルがピクチャ境界にロケートされるとき、上記の式（７）に示されるように、２タップフィルタが適用される。

[0085] ここに論じられる問題に潜在的に対処するおよび／または既存のイントラ予測技法より改善するために、この開示は、水平−４５°と垂直−４５°との間の角度イントラ予測モード（例えば、HEVCにおいて定義された３３個の角度予測モード）の他に（すなわち、それ以外におよび／またはそれに加えて）角度イントラ予測モードを利用するサンプルを予測するための技法を説明するものである。具体的には、この開示は、予測のための、水平−４５°を超えるか、または垂直−４５°を超える角度イントラ予測モードの使用を企図する。ここに開示される角度イントラ予測モード、技法、方法、および／または様々な例は、個々におよび／または任意の組み合わせで適用され得る。

[0086] 上述されたように、HEVCにおいて定義された（３３個の角度モードを含む）既存のイントラ予測モードは、全ての状況において所与のブロックをコーディングするのに最も最適な予測を提供しないことがあり得る。しかしながら、本開示に従って説明されるような拡張角度イントラ予測モード（ここでは拡張イントラ予測モードまたは拡張イントラ予測とも呼ばれる）の利用は、コーディング利得を実現し、且つ拡張角度イントラ予測の使用が提供し得る予測多様性（prediction variety）の増大によって達成されるであろう予測品質を増大させるために、いくつかのケースにおいて、ビデオ符号化器（例えば、ビデオ符号化器２０）の符号化器設計（例えば、アルゴリズムの実施形態および／または動作）の複雑性の増大を必要とし得る。例えば、本開示の拡張イントラ予測モードをサポートする、ビデオ符号化器２０のようなビデオ符号化器が、拡張イントラ予測モードに関連付けられた少なくとも１つの追加の予測方向に沿って追加の（すなわち、HEVCにおいて定義されたイントラ予測モードと併せて評価されるそれらの画像サンプルに加えて）再構築された画像サンプル（または参照サンプル）を評価して、現在のブロックを予測するための特定の参照サンプル（１つ以上）を決定および／または選択するために、いくつかの状況において、必要とされ得る。言い換えれば、ビデオ符号化器（例えば、ビデオ符号化器２０）は、本開示に従って現在のブロックを予測するためのより良い参照サンプル（１つ以上）（すなわち、予測候補（１つ以上））を識別する可能性を改善するために、例えば、ＨＥＶＣによって提供される従来のイントラ予測モードの利用に通常必要とされるものよりさらなる計算を行うことを必要とされ得る。

[0087] 図１０Ａは、本開示によって企図される拡張角度イントラ予測モードのうちのいくつかの例を例示する。この例では、示されるように、Ｎ１、Ｎ２、Ｎ３およびＮ４としてタグ付けされている（すなわち、識別されている）、水平−４５°（すなわち、HEVCにおいて定義され、且つ図４に図示されるモード２）を超える（破線矢印で例示される）４つの角度モードが存在する。さらに、この特定の例では、Ｎ５、Ｎ６、Ｎ７およびＮ８としてタグ付けされている、垂直−４５°（すなわち、HEVCにおいて定義され、且つ図４に図示されるモード３４）を超える（破線矢印で例示される）４つの追加の角度モードが存在する。

[0088] 図１０Ｂは、本開示によって企図される拡張角度イントラ予測モードのうちのいくつかの別の例を例示する。この例では、周囲の再構築されたサンプルが利用可能であるとき（例えば、インターコーディングされたブロックによって囲まれたイントラコーディングされたブロック）、いくつかの（例えば、全ての）（破線矢印で例示される）拡張角度イントラ予測方向が適用され得る。言い換えれば、イントラコーディングされている現在のブロックがインターコーディングされたブロックによって囲まれているという決定に基づいて、図１０Ｂに例示される拡張角度イントラ予測方向は、現在のブロックのサンプルを予測するために利用可能であると決定され得る。

[0089] 本開示のいくつかの実施形態では、現在のブロック内のサンプルが、使用されている垂直−４５°を超える拡張イントラ予測モードに基づいて、最上位ライン（例えば、近隣ブロックのサンプルの再構築されたライン）上の再構築されたサンプルによって予測される。図１１は、本開示の拡張角度イントラ予測モードで、最上位ラインの再構築されたサンプルから現在のブロックの（「Ａ」としてマーキングされている）サンプルを予測する例を示す。垂直−４５°を超える角度（すなわち、実線矢印で例示される拡張角度イントラ予測モード）では、サンプル「Ａ」が、最上位ライン上のサンプルに投影され、それは、サブサンプルであり得る。（破線矢印としてマーキングされている）ＨＥＶＣにおける角度予測モードと比較して、本開示に従う提案された拡張角度イントラ予測モードは、角度垂直−４５°が投影される（「Ｂ」としてマーキングされている）サンプルを超えるサンプルまたはサブサンプルの投影を可能にする。一例では、サンプル「Ａ」が、サブサンプルに投影され、それは、補間フィルタによって最上位ライン上の近隣の再構築されたサンプルで補間できる。一例では、サンプル「Ａ」が、サブサンプルに投影され、それは、近隣の再構築されたサンプルによって近似できる。図１０では、サンプル「Ａ」が、近似としてサンプル「Ｃ」に投影できる。

[0090] 本開示の別の例では、現在のブロックのサンプルが、水平−４５°を超える拡張角度イントラ予測モードを利用して、左ラインの再構築されたサンプルによって予測され得る。図１２は、本開示の拡張角度イントラ予測モードで、左ライン上の再構築されたサンプルから（「Ａ」としてマーキングされている）サンプルを予測する例を例示する。水平−４５°を超える角度（すなわち、実線矢印で例示される拡張角度イントラ予測モード）であると、サンプル「Ａ」が、最上位ライン上のサンプルに投影され、それは、サブサンプルであり得る。（図１２に破線矢印として例示される）ＨＥＶＣにおける角度予測モードと比較して、本開示の提案された拡張角度予測モードは、角度水平−４５°が投影される（「Ｂ」としてマーキングされている）サンプルを超えるサンプルまたはサブサンプルの投影を可能にする。一例では、サンプル「Ａ」が、サブサンプルに投影され、それは、補間フィルタによって左ライン上の近隣の再構築されたサンプルで補間され得る。一例では、サンプル「Ａ」が、サブサンプルに投影され、それは、近隣の再構築されたサンプルによって近似できる。図１２では、サンプル「Ａ」が、近似としてサンプル「Ｃ」に投影できる。

[0091] 本開示のさらなる別の例では、現在のブロック中のサンプルが、垂直−４５°を超える拡張角度イントラ予測モードを利用して、右ライン（例えば、近隣ブロックのサンプルの再構築されたライン）上のサンプルによって予測され得る。図１３は、本開示の拡張角度イントラ予測モードで、再構築された近隣のブロックの右ライン上の再構築されたサンプルから現在のブロックの（「Ａ」、「Ｂ」、「Ｃ」および「Ｄ」としてマーキングされている）サンプルを予測する例を例示する。垂直−４５°を超える角度（すなわち、実線矢印で例示される拡張角度イントラ予測モード）であると、サンプル「Ａ」が、右ライン上のサンプルに投影され、それは、サブサンプルであり得る。一例では、サンプル「Ａ」が、サブサンプルに投影され、それは、補間フィルタによって右ライン上の近隣の再構築されたサンプルで補間できる。別の例では、サンプル「Ａ」が、サブサンプルに投影され、それは、近隣の再構築されたサンプルによって近似できる。

[0092] 本開示のさらなる別の例では、現在のブロック中の（すなわち、現在のブロック内の、または現在のブロックの）サンプルが、垂直−４５°を超える拡張角度イントラ予測モード（１つ以上）の利用に基づいて、右ライン上の投影されたサンプルによって予測され得る。図１４は、右ライン上のサンプルが、垂直−４５°を超える角度（すなわち、実線矢印で例示される拡張角度イントラ予測モード）で、再構築されたサンプルの最上位ラインから投影される例を示す。この例では、右ライン上の投影されたサンプルが、最上位ラインの再構築されたサンプルに基づいて「満たされる」。例えば、右ライン上のサンプル「Ａ」は、最上位ラインのサブサンプルに投影され、それは、補間フィルタによって最上位ライン上の近隣の再構築されたサンプルで補間できる。別の例では、右ライン上のサンプル「Ａ」が、サブサンプルに投影され、それは、近隣の再構築されたサンプルによって近似できる。図１４では、右ライン上のサンプル「Ａ」が、近似として最上位ライン上のサンプル「Ｂ」に投影され得る。

[0093] 本開示のさらなる別の例では、現在のブロック中の（すなわち、現在のブロック内の、または現在のブロックの）サンプルが、水平−４５°を超える拡張角度イントラ予測モード（１つ以上）を利用して、最下位ライン上の再構築されたサンプルによって予測される。図１５は、拡張角度イントラ予測モードで、最下位ライン上にロケートされた再構築されたサンプルから現在のブロックの（「Ａ」、「Ｂ」、「Ｃ」および「Ｄ」としてマーキングされている）サンプルを予測する例を例示する。図１５において利用されている拡張角度イントラ予測モードに関連付けられた、水平−４５°を超える角度であると、サンプル「Ａ」が、最下位ライン上のサンプルに投影され、それは、サブサンプルであり得る。一例では、サンプル「Ａ」が、サブサンプルに投影され、それは、補間フィルタによって最下位ライン上の近隣の再構築されたサンプルで補間され得る。別の例では、サンプル「Ａ」が、サブサンプルに投影され得、それは、近隣の再構築されたサンプルによって近似され得る。

[0094] 本開示のさらなる別の例では、現在のブロック中のサンプルが、水平−４５°を超える拡張角度イントラ予測モード（１つ以上）の利用に基づいて、再構築されたサンプルの最下位ライン上の投影されたサンプルによって予測され得る。図１６は、最下位ライン上のサンプルが、水平−４５°を超える角度で、左ラインから投影される例を示す。この例では、最下位ライン上の投影されたサンプルが、左ラインの再構築されたサンプルに基づいて「満たされる」。一例では、最下位ライン上のサンプル「Ａ」が、サブサンプルに投影され、それは、補間フィルタによって左ライン上の近隣の再構築されたサンプルで補間できる。別の例では、最下位ライン上のサンプル「Ａ」が、サブサンプルに投影され、それは、近隣の再構築されたサンプルによって近似できる。図１６では、最下位ライン上のサンプル「Ａ」が、近似としてサンプル「Ｂ」に投影できる。

[0095] 本開示において説明される拡張角度イントラ予測モードは、ルーマ成分並びにクロマ成分に適用され得る。

[0096] 拡張角度イントラ予測モードの使用は、近隣する再構築されたモードの利用可能性に依存し得る（すなわち、それに基づき得るか、またはそれに応答し得る）。例えば、図１０Ａおよび１０Ｂに定義された拡張角度イントラ予測モードであると、右上の参照サンプルが利用可能でない場合に、垂直−４５°を超える拡張角度イントラ予測モード（例えば、Ｎ５〜Ｎ８）は、適用されない（例えば、本開示に従う利用から制限されるか、または本開示に従って有効にされない）。

[0097] 一例では、近隣ブロックが本開示に従って拡張角度イントラ予測方向を適用するとともに、現在のブロックがイントラモードコーディングにおいて最確モード（ＭＰＭ：the Most Probable Mode）を導出するために拡張角度イントラ予測方向を適用しない場合に、近隣拡張角度イントラ予測方向は、現在のブロックに利用可能である最も近いイントラ予測方向（すなわち、イントラ予測モード）にマッピングされ得る（すなわち、関連付けられ得るか、または対応し得る）。例えば、図１０Ａおよび１０Ｂに定義された拡張角度イントラ予測モードであると、モードＮ５〜Ｎ８は、イントラモード３４にマッピングされるであろう。

[0098] 代替として、または上記の従属性／基底に加えて、本開示に従う、拡張角度イントラ予測モードの使用は、現在のブロックの形状に依存し得る。例えば、図１０Ａおよび１０Ｂに定義された拡張角度イントラ予測モードであると、ブロック幅（すなわち、現在のブロックの幅）がブロックの高さ（すなわち、現在のブロックの高さ）より大きいとき、垂直−４５°を超える拡張角度イントラ予測モード（例えば、Ｎ５〜Ｎ８）のみが適用可能であり得、水平−４５°を超える拡張角度イントラ予測モード（例えば、Ｎ１〜Ｎ４）は、適用されることを許容されないことがあり得る（例えば、本開示に従う利用から制限されるか、または本開示に従って有効にされない）。ブロック幅がブロックの高さより小さいとき、水平−４５°を超える拡張角度イントラ予測モード（例えば、Ｎ１〜Ｎ４）のみが適用可能であり得、垂直−４５°を超える拡張角度イントラ予測モード（例えば、Ｎ５〜Ｎ８）は、適用されることを許容されないことがあり得る。

[0099] 本開示の拡張角度イントラ予測モードを適用するときに、同じ数のイントラ予測モードを保持（すなわち、維持）するために、イントラ予測方向が、例えばそれらに限定されないが、拡張角度イントラ予測方向の範囲内でいくつかのイントラ予測方向をシフトすること、例えば、［水平−（４５＋Δ₀）°，垂直−（４５＋Δ₀）°］、および／またはいくつかの元のイントラ予測方向を本開示の拡張角度イントラ予測方向と置き換えることによって、再分配され得る。上記の再分配および置換技法は、単に例証的である。本開示は、本開示の拡張角度イントラ予測モードの利用に基づいて、同じ数のイントラ予測モードを維持するために、他の技法を想定する。

[0100] 本開示の様々な実施形態において、現在のブロックは、拡張角度イントラ予測モードと、水平−４５°と垂直−４５°との間の角度を有する通常のイントラ予測モードとの加重和によって予測され得る。

[0101] 予測ブロックＰ１は、通常のイントラ予測モードＭ１を使用して現在のブロックのために生成され、別の予測ブロックＰ２は、拡張角度イントラ予測モードＭ２を使用して現在のブロックのために生成される。最終の予測ブロックＰは、以下に示される公式のように、Ｐ１とＰ２との加重和として生成され得る：
Ｐ（ｘ，ｙ）＝ｗ１（ｘ，ｙ）×Ｐ１（ｘ，ｙ）＋ｗ２（ｘ，ｙ）×Ｐ２（ｘ，ｙ）、
ここで、（ｘ，ｙ）は、現在のブロック中のサンプルの座標である。ｗ１は、Ｐ１についての重み付け値であり、ｗ２は、Ｐ２についての重み付け値である。

[0102] 一例では、Ｐ（ｘ，ｙ）＝（ｗ１（ｘ，ｙ）×Ｐ１（ｘ，ｙ）＋ｗ２（ｘ，ｙ）×Ｐ２（ｘ，ｙ）＋ｏ）≫ｓであり、ここで、ｗ１、ｗ２、ｏおよびｓは、整数である。いくつかの制約が利用され得る（すなわち、制限が構成され得る）。例えば、
ｗ１（ｘ，ｙ）＋ｗ２（ｘ，ｙ）＝２^s
ｏ＝２^s-1０≦ｗ１（ｘ，ｙ）≦２^s、
０≦Ｗ２（ｘ，ｙ）≦２^s

[0103] 別の例では、ｗ１およびｗ２が、イントラ予測モード（ＩＰＭ）に依存し、それは、Ｍ１またはＭ２であることができる。例えば、各モードは、異なるｗ１およびｗ２を有することができる。
Ｐ（ｘ，ｙ）＝ｗ１（ｘ，ｙ，ＩＰＭ）×Ｐ１（ｘ，ｙ）＋ｗ２（ｘ，ｙ，ＩＰＭ）×Ｐ２（ｘ，ｙ）。
別の例では、イントラ予測モードが、グループへと分類される（例えば、配置される、またはソートされる、または割り当てられる）。各グループは、異なるｗ１およびｗ２を有することができる。
Ｐ（ｘ，ｙ）＝ｗ１（ｘ，ｙ，Ｇｒｏｕｐ（ＩＰＭ））×Ｐ１（ｘ，ｙ）＋ｗ２（ｘ，ｙ，Ｇｒｏｕｐ（ＩＰＭ））×Ｐ２（ｘ，ｙ）。

[0104] 他の実施形態では、ｗ１およびｗ２が、ｘ，ｙから算出できる。一例では、
ｗ１（ｘ，ｙ，Ｇｒｏｕｐ（ＩＰＭ））＝ａ（Ｇｒｏｕｐ（ＩＰＭ））×ｘ＋ｂ（Ｇｒｏｕｐ（ＩＰＭ））×ｙ＋ｃ（Ｇｒｏｕｐ（ＩＰＭ））、および
ｗ２（ｘ，ｙ，Ｇｒｏｕｐ（ＩＰＭ））＝１−ｗ１（ｘ，ｙ，Ｇｒｏｕｐ（ＩＰＭ））
それは、統合された形式で実施できる
ｗ１（ｘ，ｙ，Ｇｒｏｕｐ（ＩＰＭ））＝（ａ（Ｇｒｏｕｐ（ＩＰＭ））×ｘ＋ｂ（Ｇｒｏｕｐ（ＩＰＭ））×ｙ＋ｃ（Ｇｒｏｕｐ（ＩＰＭ））＋ｏ）≫ｓ、および
ｗ２（ｘ，ｙ，Ｇｒｏｕｐ（ＩＰＭ））＝２^s−ｗ１（ｘ，ｙ，Ｇｒｏｕｐ（ＩＰＭ））。
ここで、ａ（Ｇｒｏｕｐ（ＩＰＭ））、ｂ（Ｇｒｏｕｐ（ＩＰＭ））、ｃ（Ｇｒｏｕｐ（ＩＰＭ））、ｏおよびｓは、整数である。

[0105] パラメータａ（Ｇｒｏｕｐ（ＩＰＭ））、ｂ（Ｇｒｏｕｐ（ＩＰＭ））およびｃ（Ｇｒｏｕｐ（ＩＰＭ））は、符号化器および復号器の両方において予め定義され（すなわち、構成され）得、代替として、または加えて、パラメータａ（Ｇｒｏｕｐ（ＩＰＭ））、ｂ（Ｇｒｏｕｐ（ＩＰＭ））およびｃ（Ｇｒｏｕｐ（ＩＰＭ））は、符号化器によって復号器にシグナリングされ得る。または、符号化器および復号器の両方においていくつかの予め定義されたパラメータが存在することができる。符号化器は、どのパラメータ（１つ以上）が使用されているかを示すために、予め定義されたパラメータのセットに関連付けられたインデックスを復号器にシグナリングできる。

[0106] 本開示は、コーディングデバイス（例えば、符号化器および／または復号器）がそれに従って動作し得るように構成される制約を企図する。例えば、
ｏ＝２^s-1
０≦ｗ１(ｘ，ｙ）≦２^s，０≦ｗ２（ｘ，ｙ）≦２^s
０≦ａ（Ｇｒｏｕｐ（ＩＰＭ）），ｂ（Ｇｒｏｕｐ（ＩＰＭ）），ｃ（Ｇｒｏｕｐ（ＩＰＭ））≦２^kであり、ここで、ｋは、整数である。

[0107] 一例では、ｗ１（ｘ，ｙ，Ｇｒｏｕｐ（ＩＰＭ））＝ａ（Ｇｒｏｕｐ（ＩＰＭ））×ｘ²＋ｂ（Ｇｒｏｕｐ（ＩＰＭ））×ｙ²＋ｃ（Ｇｒｏｕｐ（ＩＰＭ））×ｘ×ｙ＋ｄ（Ｇｒｏｕｐ（ＩＰＭ））×ｘ＋ｅ（Ｇｒｏｕｐ（ＩＰＭ））×ｙ＋ｆ（Ｇｒｏｕｐ（ＩＰＭ））、およびｗ２（ｘ，ｙ，Ｇｒｏｕｐ（ＩＰＭ））＝１−ｗ１（ｘ，ｙ，Ｇｒｏｕｐ（ＩＰＭ））
それは、統合された形式で（例えば、コーディングデバイスによって）実施できる
ｗ１（ｘ，ｙ，Ｇｒｏｕｐ（ＩＰＭ））＝（ａ（Ｇｒｏｕｐ（ＩＰＭ））×ｘ²＋ｂ（Ｇｒｏｕｐ（ＩＰＭ））×ｙ²＋ｃ（Ｇｒｏｕｐ（ＩＰＭ））×ｘ×ｙ＋ｄ（Ｇｒｏｕｐ（ＩＰＭ））×ｘ＋ｅ（Ｇｒｏｕｐ（ＩＰＭ））×ｙ＋ｆ（Ｇｒｏｕｐ（ＩＰＭ））＋ｏ）≫ｓ、および
ｗ２（ｘ，ｙ，Ｇｒｏｕｐ（ＩＰＭ））＝２^s−ｗ１（ｘ，ｙ，Ｇｒｏｕｐ（ＩＰＭ））。
ここで、ａ（Ｇｒｏｕｐ（ＩＰＭ））、ｂ（Ｇｒｏｕｐ（ＩＰＭ））、ｃ（Ｇｒｏｕｐ（ＩＰＭ））、ｄ（Ｇｒｏｕｐ（ＩＰＭ））、ｅ（Ｇｒｏｕｐ（ＩＰＭ））、ｆ（Ｇｒｏｕｐ（ＩＰＭ））、ｏおよびｓは、整数である。

[0108] パラメータａ（Ｇｒｏｕｐ（ＩＰＭ））、ｂ（Ｇｒｏｕｐ（ＩＰＭ））、ｃ（Ｇｒｏｕｐ（ＩＰＭ））、ｄ（Ｇｒｏｕｐ（ＩＰＭ））、ｅ（Ｇｒｏｕｐ（ＩＰＭ））およびｆ（Ｇｒｏｕｐ（ＩＰＭ））は、符号化器および復号器の両方において予め定義されることができ、代替として、または加えて、パラメータａ（Ｇｒｏｕｐ（ＩＰＭ））、ｂ（Ｇｒｏｕｐ（ＩＰＭ））、ｃ（Ｇｒｏｕｐ（ＩＰＭ））、ｄ（Ｇｒｏｕｐ（ＩＰＭ））、ｅ（Ｇｒｏｕｐ（ＩＰＭ））およびｆ（Ｇｒｏｕｐ（ＩＰＭ））は、符号化器から復号器にシグナリングできる。代替として、または加えて、いくつかの予め定義されたパラメータは、符号化器および復号器の両方において構成され得る。１つの実施形態において、上記の論述と同様に、符号化器は、どのパラメータが使用されているかを示すために、インデックスを復号器にシグナリングし得る。いくつかの制約が、本開示に従って利用され得る。例えば、
ｏ＝２^s-1
０≦ｗ１(ｘ，ｙ）≦２^s，０≦ｗ２（ｘ，ｙ）≦２^s
０≦ａ（Ｇｒｏｕｐ（ＩＰＭ）），ｂ（Ｇｒｏｕｐ（ＩＰＭ）），ｃ（Ｇｒｏｕｐ（ＩＰＭ）），ｄ（Ｇｒｏｕｐ（ＩＰＭ）），ｅ（Ｇｒｏｕｐ（ＩＰＭ）），ｆ（Ｇｒｏｕｐ（ＩＰＭ））≦２^kであり、ここで、ｋは、整数である。

[0109] 他の開示された技法の代替として、またはそれに加えて、本開示は、コーディングデバイスが、Ｍ１の予測角度とＭ２の予測角度とが互いの反対方向、またはほぼ互いの反対方向となるように制約することを可能にする（すなわち、構成する）ことを企図する。図１７は、Ｍ１およびＭ２の角度が反対方向である例を例示する。

[0110] 本開示の様々な具体例では、ルーマサンプルが、クロマサンプルから予測され得る。本開示は、逆線形モデル（ｉＬＭ）イントラ予測と呼ばれるクロマサンプルからのルーマサンプルのこの予測を可能にする新しい予測技法を企図する。

[0111] 例えば、Ｐｒｅｄ’_L［ｘ，ｙ］＝α・Ｒｅｃ_C［ｘ，ｙ］＋βであり、ここで、Ｒｅｃ_c［ｘ，ｙ］は、クロマの再構築されたサンプルである。αおよびβは、線形回帰アプローチで、近隣の構築されたルーマおよびクロマサンプルによって導出される。Ｐｒｅｄ’_L［ｘ，ｙ］は、ダウンサンプリングされたルーマ予測サンプルである。ルーマ成分についての予測ブロックは、ダウンサンプリングされたルーマ予測サンプルをアップサンプリングすることによって生成できる。例えば、

ここで、Ｒｅｃ_c［ｘ，ｙ］は、クロマの再構築されたサンプルである。クロマの再構築されたサンプルは、それらの強度ごとに（例えば、それに基づいて）２つのグループへと分類される。α₁，α₂、β₁およびβ₂は、線形回帰アプローチで、近隣の構築されたルーマおよびクロマサンプルによって導出される。Ｐｒｅｄ’_L［ｘ，ｙ］は、ダウンサンプリングされたルーマ予測サンプルである。ルーマ成分についての予測ブロックは、ダウンサンプリングされたルーマ予測サンプルをアップサンプリングすることによって生成できる。

[0112] 本開示に従って、フラグが、ｉＬＭが適用されるかどうかを示すために、ピクチャレベル、スライスレベル、コーディングツリーユニット（ＣＴＵ）レベル、コーディングユニット（ＣＵ）レベル、予測ユニット（ＰＵ）レベルおよび／または変換ユニット（ＴＵ）レベルでシグナリングされ得る。一例では、ＣＴＵ、ＣＵ、ＴＵまたはＰＵ中のルーマサンプルがｉＬＭモードで予測されることに基づいて、同じＣＴＵ、ＣＵ、ＴＵまたはＰＵ中のクロマサンプルは、ＬＭモードで予測されることができない。一例において、ＣＴＵ中のルーマサンプルがｉＬＭモードで予測されることに基づいて、ルーマおよびクロマ成分のコーディング構造は共有されなければならず、この例において、ルーマおよびクロマ成分のコーディング構造は、分離されることができない。さらなる別の例において、ＣＴＵ中のルーマサンプルがｉＬＭモードで予測されることに基づいて、ルーマおよびクロマ成分のコーディング構造は、分離できるが、ｉＬＭがそれからルーマ予測を導出するクロマ成分の情報は、ルーマ成分の前にコーディングされなければならない。

[0113] 本開示に従って、最終のルーマ予測ブロックは、ｉＬＭモードの予測と、通常または拡張イントラ予測モードの予測との加重和として算出される（すなわち、決定または計算される）ことができる。

[0114] 本開示の様々な実施形態では、イントラ予測が、行ごとのカスケード様式で行われることができる。図１８Ａ〜１８Ｄは、本開示に従う、現在のブロックの行ごとのカスケードイントラ予測の例を例示する。図１８Ｅ〜１８Ｈは、本開示の拡張角度イントラ予測モードを利用する、現在のブロックの行ごとのカスケードイントラ予測の例を例示する。

[0115] 図１８Ａでは、現在のブロックの上部から第１の行中のサンプル（黒でマーキングされているサンプル）が、特定の予測モードに関連付けられた角度で、再構築された近隣サンプル（網目陰影でマーキングされているサンプル）から予測される。図１８Ｂでは、現在のブロックの第２の行中のサンプル（黒でマーキングされているサンプル）が、第１の行の予測サンプルから、特定の予測モードに関連付けられた角度（例えば、図１８Ａに例示されるサンプルを予測する際に利用される予測モードの角度）で予測される。図１８Ｂの境界における現在のブロックのサンプル（例えば、現在のブロックの上部から第２の行の、最も左の黒でマーキングされているサンプル）は、再構築された近隣サンプル（例えば、網目陰影でマーキングされているサンプル）から、特定の予測モードに関連付けられた角度を使用して予測され得る。図１８Ｃでは、現在のブロックのサンプルの第３の行（黒でマーキングされているサンプル）が、現在のブロック、および示されるように、（網目陰影でマーキングされている）再構築された近隣ブロック、の第２の行の予測サンプルから、（例えば、特定の予測モードに関連付けられた角度を使用して）予測される。図１８Ｄでは、現在のブロックのサンプルの第４の行（黒でマーキングされているサンプル）が、現在のブロック、および示されるように、（網目陰影でマーキングされている）再構築された近隣ブロック、の第３の行の予測サンプルから予測される。

[0116] 上述されたように、図１８Ｅ〜１８Ｈは、本開示の拡張角度イントラ予測モードを利用する、行ごとのカスケードイントラ予測の例を例示する。図１８Ｅでは、現在のブロックの上部から第４の行中のサンプル（黒でマーキングされているサンプル）が、拡張角度イントラ予測モードの拡張角度を使用して、再構築された近隣サンプル（網目陰影でマーキングされているサンプル）から予測される。図１８Ｆでは、現在のブロックの上部から第３の行中のサンプル（黒でマーキングされているサンプル）が、現在のブロックの第４の行中の予測サンプル（すなわち、図１８Ｅに例示されるように予測された現在のブロックのサンプル）から、拡張角度イントラ予測モードの拡張角度を使用して予測される。現在のブロックの境界位置におけるサンプル（例えば、現在のブロックの上部から第３の行の、最も左の黒でマーキングされているサンプル）は、再構築された近隣サンプル（網目陰影でマーキングされているサンプル）から予測され得る。図１８Ｇでは、現在のブロックの上部から第２の行中に位置付けられた／ロケートされたサンプル（黒でマーキングされているサンプル）が、拡張角度イントラ予測モードの拡張角度を利用して、現在のブロックの第３の行の予測サンプルおよび近隣する再構築されたサンプル（１つ以上）から予測され得る。同じように、図１８Ｈでは、現在のブロックの上部から第１の行中に位置付けられた／ロケートされたサンプル（黒でマーキングされているサンプル）が、拡張角度イントラ予測モードの拡張角度を利用して、現在のブロックの第２の行の予測サンプルおよび近隣する再構築されたサンプル（１つ以上）から予測され得る。

[0117] 本開示の一例では、最終の予測ブロックが、カスケード予測技法の予測と、同じ予測角度または他の予測角度を有する通常または拡張イントラ予測モードの予測との加重和として、コーディングデバイスによって算出され得る。

[0118] 本開示に従って、カスケード予測技法は、いくつかの特定の予測モードのみに適用されるように制約され得る。一例において、カスケード予測技法は、図１９に示されるような、水平０°と垂直０°との間の角度を有する予測モードにのみ適用され得る。

[0119] 様々な実施形態では、本開示のカスケードイントラ予測技法が実施されると、イントラ予測方向が、例えば、ソースデバイスによってシグナリングされるが、しかしながら、各行については、または各列または行のグループまたは列のグループについては、異なるイントラ予測方向が適用され得る。そのような事例では、シグナリングされた予測方向と比較したときの（すなわち、それに対する）差分、または以前の行／列について適用されたイントラ予測と比較したときの差分が、シグナリングされる。

[0120] さらなる他の実施形態では、本開示のカスケードイントラ予測技法が実施されると、（ＳＩＰによって表される）イントラ予測方向がシグナリングされる。しかしながら、各行については、または各列または行のグループまたは列のグループについては、異なるイントラ予測方向が適用され得、そのイントラ予測方向は、以前の再構築された行／列上の（ＳＩＰ−σ，ＳＩＰ＋σ）の範囲中で各イントラ予測方向を適用するコストをチェックする（すなわち、決定または計算する）ことによって導出され、複数の計算されたコストの中で最小のコストを有するイントラ予測方向が、現在の行／列について適用されるイントラ予測方向として導出される。

[0121] 図２０は、この開示において説明される予測のための技法（例えば、拡張角度イントラ予測モード、カスケードイントラ予測、および／または逆線形モデルイントラ予測）を実施し得るビデオ符号化器２０の例を例示するブロック図である。ビデオ符号化器２０は、ビデオスライス内のビデオブロックのイントラおよびインターコーディングを行い得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオにおける空間的冗長性を低減または取り除くために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオにおける時間的冗長性を低減または取り除くために時間的予測に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースのコーディングモードのうちの任意のものを指し得る。単方向予測（uni-directional prediction）（Ｐモード）または双予測（bi-prediction）（Ｂモード）のようなインターモードは、いくつかの時間ベースのコーディングモードのうちの任意のものを指し得る。図２０に示されるように、ビデオ符号化器２０は、符号化されることになるビデオフレーム内の現在のビデオブロックを受信する。図２０の例において、ビデオ符号化器２０は、モード選択ユニット４０、（復号ピクチャバッファ（ＤＰＢ）とも呼ばれ得る）参照ピクチャメモリ６４、加算器５０、変換処理ユニット５２、量子化ユニット５４、およびエントロピー符号化ユニット５６を含む。モード選択ユニット４０は次に、動き補償ユニット４４、動き推定ユニット４２、イントラ予測ユニット４６、および区分化ユニット４８を含む。ビデオブロック再構築のために、ビデオ符号化器２０はまた、逆量子化ユニット５８、逆変換ユニット６０、および加算器６２を含む。デブロッキングフィルタ（deblocking filter）（図２０には図示せず）もまた、再構築されたビデオからブロッキネスアーティファクト（blockiness artifact）を取り除くようにブロック境界をフィルタリングするために含まれ得る。所望される場合、デブロッキングフィルタは典型的に、加算器６２の出力をフィルタリングするであろう。追加のフィルタ（インループまたはポストループ）もまた、デブロッキングフィルタに加えて使用され得る。そのようなフィルタは、簡潔さのために示されないが、所望される場合、（インループフィルタとして）加算器５０の出力をフィルタリングし得る。

[0122] 符号化プロセス中に、ビデオ符号化器２０は、コーディングされることになるビデオフレームまたはスライスを受信する。フレームまたはスライスは、複数のビデオブロックへと分割され得る。動き推定ユニット４２および動き補償ユニット４４は、時間的予測を提供するために、１つまたは複数の参照フレーム中の１つまたは複数のブロックに対して、受信されたビデオブロックのインター予測符号化を行う。イントラ予測ユニット４６は代替として、空間的予測を提供するために、コーディングされることになるブロックと同じフレームまたはスライス中の１つまたは複数の近隣ブロックに対して、受信されたビデオブロックのイントラ予測符号化を行い得る。ビデオ符号化器２０は、例えば、ビデオデータの各ブロックについて適切なコーディングモードを選択するために、複数のコーディングパスを行い得る。

[0123] その上、区分化ユニット４８は、以前のコーディングパスにおける以前の区分化スキームの評価に基づいて、ビデオデータのブロックをサブブロックへと区分化し得る。例えば、区分化ユニット４８は、レート−歪み分析（例えば、レート−歪み最適化）に基づいて、最初にフレームまたはスライスをＣＴＵへと区分化し、ＣＴＵの各々をサブＣＵへと区分化し得る。モード選択ユニット４０はさらに、ＣＴＵのサブＣＵへの区分化を示す四分木データ構造を作り出し得る。四分木のリーフノードＣＵは、１つまたは複数のＰＵおよび１つまたは複数のＴＵを含み得る。

[0124] モード選択ユニット４０は、例えば、誤差結果に基づいて、予測モードのうちの１つ、イントラまたはインターを選択し得、残差データを生成するために加算器５０に、および参照フレームとして使用するための符号化されたブロックを再構築するために加算器６２に、結果として生じる予測されたブロックを提供する。モード選択ユニット４０はまた、エントロピー符号化ユニット５６に、動きベクトル、イントラモードインジケータ、区分化情報、および他のそのようなシンタックス情報のようなシンタックス要素を提供する。

[0125] 動き推定ユニット４２および動き補償ユニット４４は、高度に統合され得るが、概念的な目的のために別個に例示される。動き推定ユニット４２によって行われる動き推定は、動きベクトルを生成するプロセスであり、それは、ビデオブロックについての動きを推定する。動きベクトルは、例えば、現在のビデオフレームまたはピクチャ内のビデオブロックのＰＵの、その現在のフレーム（または他のコーディングされたユニット）内でコーディングされている現在のブロックに対する参照フレーム（または他のコーディングされたユニット）内の予測ブロックに対する変位を示し得る。予測ブロックは、絶対差分の和（ＳＡＤ：sum of absolute difference）、２乗差分の和（ＳＳＤ：sum of square difference）、または他の差分メトリックによって決定され得るピクセル差分の観点から、コーディングされることになるブロックに密接にマッチすることを見出されるブロックである。いくつかの例では、ビデオ符号化器２０が、参照ピクチャメモリ６４中に記憶された参照ピクチャのサブ整数ピクセル位置についての値を算出し得る。例えば、ビデオ符号化器２０は、参照ピクチャの４分の１ピクセル位置、８分の１ピクセル位置、または他の分数ピクセル位置の値を補間し得る。従って、動き推定ユニット４２は、フルピクセル位置および分数ピクセル位置に対して動き探索を行い、分数ピクセル精度で動きベクトルを出力し得る。

[0126] 動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライス中のビデオブロックのＰＵについての動きベクトルを算出する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択され得、それらの各々は、参照ピクチャメモリ６４中に記憶された１つまたは複数の参照ピクチャを識別する。動き推定ユニット４２は、エントロピー符号化ユニット５６および動き補償ユニット４４に算出された動きベクトルを送る。

[0127] 動き補償ユニット４４によって行われる動き補償は、動き推定ユニット４２によって決定される動きベクトルに基づいて予測ブロックをフェッチまたは生成することを伴い得る。繰り返すが、いくつかの例において、動き推定ユニット４２および動き補償ユニット４４は機能的に統合され得る。現在のビデオブロックのＰＵについての動きベクトルを受信すると、動き補償ユニット４４は、参照ピクチャリストのうちの１つ中に、動きベクトルが指し示す予測ブロックをロケートし得る。加算器５０は、以下に論述されるように、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残差ビデオブロックを形成する。一般に、動き推定ユニット４２は、ルーマ成分に対して動き推定を行い、動き補償ユニット４４は、クロマ成分およびルーマ成分の両方について、ルーマ成分に基づいて算出された動きベクトルを使用する。モード選択ユニット４０はまた、ビデオスライスのビデオブロックを復号する際に、ビデオ復号器３０によって使用するための、ビデオブロックおよびビデオスライスに関連付けられたシンタックス要素を生成し得る。

[0128] イントラ予測ユニット４６は、上述されたように、動き推定ユニット４２および動き補償ユニット４４によって行われるインター予測の代替として、現在のブロックをイントラ予測し得る。特に、イントラ予測ユニット４６は、現在のブロックを符号化するために使用するためのイントラ予測モードを決定し得る。例えば、イントラ予測ユニット４６は、例えば、本開示において説明されるような拡張角度イントラ予測モード、カスケードイントラ予測、および／または逆線形モデルイントラ予測を実施し得る。いくつかの例において、イントラ予測ユニット４６は、例えば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在のブロックを符号化し得、イントラ予測ユニット４６（または、いくつかの例において、モード選択ユニット４０）は、テストされたモードおよび／または本開示において説明されるイントラ予測モードから、使用するための適切なイントラ予測モードを選択し得る。

[0129] 例えば、イントラ予測ユニット４６は、様々なテストされたイントラ予測モードについてのレート−歪み分析を使用してレート−歪み値を算出し、テストされたモードの中で最良のレート−歪み特性を有するイントラ予測モードを選択し得る。レート−歪み分析は概して、符号化されたブロックと、符号化されたブロックを作り出すために符号化された元の符号化されていないブロックとの間の歪み（または誤差）の量、並びに符号化されたブロックを作り出すために使用されたビットレート（すなわち、ビットの数）を決定する。イントラ予測ユニット４６は、どのイントラ予測モードがブロックについての最良のレート−歪み値を示すかを決定するために、様々な符号化されたブロックについての歪みおよびレートから比率を算出し得る。

[0130] ブロックについてイントラ予測モードを選択した後に、イントラ予測ユニット４６は、エントロピー符号化ユニット５６にそのブロックについての選択されたイントラ予測モードを示す情報を提供し得る。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオ符号化器２０は、様々なブロックについての符号化コンテキストの定義、およびそれらコンテキストの各々に対して使用するための最確イントラ予測モード、イントラ予測モードインデックス表、および修正されたイントラ予測モードインデックス表のインジケーションを、送信されたビットストリーム構成データ中に含め得、それは、複数のイントラ予測モードインデックス表および複数の修正されたイントラ予測モードインデックス表（コードワードマッピング表とも呼ばれる）を含み得る。上述されたように、イントラ予測ユニット４６は、この開示において説明されるイントラ予測技法を行うように構成され得る。

[0131] ビデオ符号化器２０は、コーディングされている元のビデオブロックから、モード選択ユニット４０からの予測データを減算することによって残差ビデオブロックを形成する。加算器５０は、この減算演算を行う１つまたは複数のコンポーネントを表す。変換処理ユニット５２は、残差ブロックに離散コサイン変換（ＤＣＴ）または概念的に同様の変換のような変換を適用し、変換係数値を備えるビデオブロックを作り出す。ウェーブレット変換、整数変換、サブバンド変換、離散サイン変換（ＤＳＴ）、または他のタイプの変換が、ＤＣＴの代わりに使用できる。いずれのケースでも、変換処理ユニット５２は、残差ブロックに変換を適用し、変換係数のブロックを作り出す。変換は、ピクセルドメインから周波数ドメインのような変換ドメインに残差情報をコンバートし得る。変換処理ユニット５２は、量子化ユニット５４に結果として生じる変換係数を送り得る。量子化ユニット５４は、ビットレートをさらに低減するために、変換係数を量子化する。量子化プロセスは、係数のうちのいくつかまたは全てに関連付けられたビット深度を低減し得る。量子化の程度は、量子化パラメータを調節することによって修正され得る。

[0132] 量子化に続いて、エントロピー符号化ユニット５６は、量子化された変換係数をエントロピーコーディングする。例えば、エントロピー符号化ユニット５６は、コンテキスト適応可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースのコンテキスト適応バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分化エントロピー（ＰＩＰＥ）コーディング、または別のエントロピーコーディング技法を行い得る。コンテキストベースのエントロピーコーディングのケースでは、コンテキストが、近隣ブロックに基づき得る。エントロピー符号化ユニット５６によるエントロピーコーディングに続いて、符号化されたビットストリームは、別のデバイス（例えば、ビデオ復号器３０）に送信され得るか、または後の送信または取り出しのためにアーカイブされ得る。

[0133] 逆量子化ユニット５８および逆変換ユニット６０は、ピクセルドメイン中の残差ブロックを再構築するために、それぞれ逆量子化および逆変換を適用する。特に、加算器６２は、参照ピクチャメモリ６４中での記憶のための再構築されたビデオブロックを作り出すために、動き補償ユニット４４またはイントラ予測ユニット４６によって先に作り出された動き補償予測ブロックに再構築された残差ブロックを追加する。再構築されたビデオブロックは、後続のビデオフレーム中のブロックをインターコーディングするために、参照ブロックとして動き推定ユニット４２および動き補償ユニット４４によって使用され得る。

[0134] 図２１は、拡張角度イントラ予測モード、カスケードイントラ予測、および／または逆線形モデルイントラ予測のような、この開示において説明されるイントラ予測のための技法を実施し得るビデオ復号器３０の例を例示するブロック図である。図２１の例において、ビデオ復号器３０は、エントロピー復号ユニット７０、動き補償ユニット７２、イントラ予測ユニット７４、逆量子化ユニット７６、逆変換ユニット７８、参照ピクチャメモリ８２、および加算器８０を含む。ビデオ復号器３０は、いくつかの例において、ビデオ符号化器２０（図２０）に関して説明された符号化パスと概して相反する復号パスを行い得る。動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルに基づいて予測データを生成し得、その一方で、イントラ予測ユニット７４は、エントロピー復号ユニット７０から受信されたイントラ予測モードインジケータに基づいて予測データを生成し得る。

[0135] 復号プロセス中に、ビデオ復号器３０は、ビデオ符号化器２０から符号化されたビデオスライスのビデオブロックと関連するシンタックス要素とを表す符号化されたビデオビットストリームを受信する。ビデオ復号器３０のエントロピー復号ユニット７０は、量子化された係数、動きベクトルまたはイントラ予測モードインジケータ、および他のシンタックス要素を生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット７０は、動き補償ユニット７２に動きベクトルおよび他のシンタックス要素を転送する。ビデオ復号器３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信し得る。

[0136] ビデオスライスがイントラコーディングされた（Ｉ）スライスとしてコーディングされるとき、イントラ予測ユニット７４は、現在のフレームまたはピクチャの以前に復号されたブロックからのデータおよびシグナリングされたイントラ予測モードに基づいて、現在のビデオスライスのビデオブロックについての予測データを生成し得る。ビデオフレームがインターコーディングされた（すなわち、ＢまたはＰ）スライスとしてコーディングされるとき、動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルおよび他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックについての予測ブロックを作り出す。予測ブロックは、参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つから作り出され得る。ビデオ復号器３０は、参照ピクチャメモリ８２中に記憶された参照ピクチャに基づいて、デフォルト構築技法を使用して参照フレームリスト、リスト０およびリスト１、を構築し得る。動き補償ユニット７２は、動きベクトルおよび他のシンタックス要素を構文解析することによって現在のビデオスライスのビデオブロックについての予測情報を決定し、復号されている現在のビデオブロックについての予測ブロックを作り出すために予測情報を使用する。例えば、動き補償ユニット７２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（例えば、イントラまたはインター予測）と、インター予測スライスタイプ（例えば、ＢスライスまたはＰスライス）と、スライスについての参照ピクチャリストのうちの１つまたは複数についての構築情報と、スライスの各インター符号化されたビデオブロックについての動きベクトルと、スライスの各インターコーディングされたビデオブロックについてのインター予測状態と、現在のビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素のうちのいくつかを使用する。

[0137] 動き補償ユニット７２はまた、補間フィルタに基づいて補間を行い得る。動き補償ユニット７２は、参照ブロックのサブ整数ピクセルについての補間された値を算出するために、ビデオブロックの符号化中にビデオ符号化器２０によって使用されるような補間フィルタを使用し得る。このケースでは、動き補償ユニット７２は、受信されたシンタックス要素からビデオ符号化器２０によって使用される補間フィルタを決定し、予測ブロックを作り出すために補間フィルタを使用し得る。

[0138] イントラ予測ユニット７４は、この開示において説明される拡張角度イントラ予測モード、カスケードイントラ予測、および／または逆線形モデルイントラ予測のようなイントラ予測技法を行うように構成され得る。

[0139] 逆量子化ユニット７６は、ビットストリーム中で提供され、且つエントロピー復号ユニット７０によって復号された、量子化された変換係数を逆量子化（inverse quantizes）、すなわち、逆量子化（de-quantizes）する。逆量子化プロセスは、量子化の程度、および同じように、適用されるべき逆量子化の程度を決定するために、ビデオスライス中の各ビデオブロックについてビデオ復号器３０によって算出される量子化パラメータＱＰ_Yの使用を含み得る。

[0140] 逆変換ユニット７８は、ピクセルドメイン中に残差ブロックを作り出すために、変換係数に逆変換、例えば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換プロセスを適用する。

[0141] 動き補償ユニット７２が動きベクトルおよび他のシンタックス要素に基づいて現在のビデオブロックについての予測ブロックを生成した後に、ビデオ復号器３０は、逆変換ユニット７８からの残差ブロックを、動き補償ユニット７２によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器８０は、この加算演算を行う１つまたは複数のコンポーネントを表す。所望される場合、デブロッキングフィルタもまた、ブロッキネスアーティファクトを取り除くために、復号されたブロックをフィルタリングするように適用され得る。（コーディングループ中またはコーディングループ後のいずれかの）他のループフィルタもまた、ピクセル遷移を平滑化するために、またはそうでない場合はビデオ品質を改善するために使用され得る。所与のフレームまたはピクチャ中の復号されたビデオブロックはその後、参照ピクチャメモリ８２中に記憶され、それは、後続する動き補償に使用される参照ピクチャを記憶する。参照ピクチャメモリ８２はまた、図１のディスプレイデバイス３２のようなディスプレイデバイス上での後の提示のために、復号されたビデオを記憶する。

Claims (30)

1. ビデオデータを符号化または復号する方法であって、
   ビデオデータの少なくとも１つの再構築されたサンプルをロケートすることと、
   現在のブロックの少なくとも１つのサンプルのイントラ予測に使用するための少なくとも１つの拡張角度イントラ予測モードを決定することと、
   前記少なくとも１つの再構築されたサンプルに基づいて、前記現在のブロックの少なくとも１つのサンプルを、前記少なくとも１つの拡張角度イントラ予測モードを使用してイントラ予測することと、拡張角度イントラ予測モードは、水平−４５度と垂直−４５度との間の角度予測モード以外の角度イントラ予測モードを含む、
   前記少なくとも１つの予測されたサンプルに基づいて、前記現在のブロックを符号化または復号することと
   を備える、方法。
2. 前記少なくとも１つの拡張角度イントラ予測モードは、水平−４５度を超える角度モードまたは垂直−４５度を超える角度モードのうちの少なくとも１つを備える、請求項１に記載の方法。
3. 前記現在のブロックの形状に基づいて、前記少なくとも１つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定することをさらに備える、請求項１に記載の方法。
4. 前記現在のブロックに近隣する少なくとも１つの再構築されたサンプルの利用可能性に基づいて、前記少なくとも１つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定することをさらに備える、請求項１に記載の方法。
5. 前記少なくとも１つの拡張角度イントラ予測モードに基づいて、前記現在のブロックのルーマ成分またはクロマ成分のうちの少なくとも１つを予測することをさらに備える、請求項１に記載の方法。
6. 水平−４５度と垂直−４５度との間の角度イントラ予測モードを置き換えることに応答して、前記少なくとも１つの拡張角度イントラ予測モードを決定することをさらに備える、請求項１に記載の方法。
7. 前記拡張角度イントラ予測モードの角度方向の範囲内で、水平−４５度と垂直−４５度との間の角度イントラ予測モードをシフトすることに応答して、前記少なくとも１つの拡張角度イントラ予測モードを決定することをさらに備える、請求項１に記載の方法。
8. 水平−４５度と垂直−４５度との間の角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第１の予測ブロックを生成することと、
   前記少なくとも１つの拡張角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第２の予測ブロックを生成することと、
   前記第１の予測ブロックと前記第２の予測ブロックとの加重和を決定することと、
   前記加重和に基づいて、最終の予測ブロックを生成することと、
   前記最終の予測ブロックに基づいて、前記現在のブロックを予測することと
   をさらに備える、請求項１に記載の方法。
9. ビデオデータを符号化または復号するように構成される装置であって、前記装置は、
   ビデオデータの少なくとも１つの再構築されたサンプルを記憶するように構成されるメモリと、
   前記メモリと通信状態にある少なくとも１つのプロセッサと
   を備え、前記少なくとも１つのプロセッサは、
   少なくとも１つの再構築されたサンプルを識別することと、
   現在のブロックの少なくとも１つのサンプルのイントラ予測に使用するための少なくとも１つの拡張角度イントラ予測モードを決定することと、
   前記少なくとも１つの再構築されたサンプルに基づいて、前記現在のブロックの少なくとも１つのサンプルを、前記少なくとも１つの拡張角度イントラ予測モードを使用してイントラ予測することと、拡張角度イントラ予測モードは、水平−４５度と垂直−４５度との間の角度予測モード以外の角度イントラ予測モードを含む、
   前記少なくとも１つの予測されたサンプルに基づいて、前記現在のブロックを符号化または復号することと
   をするように構成される、装置。
10. 前記少なくとも１つの拡張角度イントラ予測モードは、水平−４５度を超える角度モードまたは垂直−４５度を超える角度モードのうちの少なくとも１つを備える、請求項９に記載の装置。
11. 前記少なくとも１つのプロセッサは、前記現在のブロックの形状に基づいて、前記少なくとも１つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定するようにさらに構成される、請求項９に記載の装置。
12. 前記少なくとも１つのプロセッサは、前記現在のブロックに近隣する少なくとも１つの再構築されたサンプルの利用可能性に基づいて、前記少なくとも１つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定するようにさらに構成される、請求項９に記載の装置。
13. 前記少なくとも１つのプロセッサは、前記少なくとも１つの拡張角度イントラ予測モードに基づいて、前記現在のブロックのルーマ成分またはクロマ成分のうちの少なくとも１つを予測するようにさらに構成される、請求項９に記載の装置。
14. 前記少なくとも１つのプロセッサは、水平−４５度と垂直−４５度との間の角度イントラ予測モードの置き換えに応答して、前記少なくとも１つの拡張角度イントラ予測モードを決定するようにさらに構成される、請求項９に記載の装置。
15. 前記少なくとも１つのプロセッサは、水平−４５度と垂直−４５度との間の角度イントラ予測モードが前記拡張角度イントラ予測モードの角度方向の範囲内となるためのシフトに応答して、前記少なくとも１つの拡張角度イントラ予測モードを決定するようにさらに構成される、請求項９に記載の装置。
16. 前記少なくとも１つのプロセッサは、
    水平−４５度と垂直−４５度との間の角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第１の予測ブロックを生成することと、
    前記少なくとも１つの拡張角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第２の予測ブロックを生成することと、
    前記第１の予測ブロックと前記第２の予測ブロックとの加重和を決定することと、
    前記加重和に基づいて、最終の予測ブロックを生成することと、
    前記最終の予測ブロックに基づいて、前記現在のブロックを予測することと
    をするようにさらに構成される、請求項９に記載の装置。
17. ビデオデータを符号化または復号するように構成される装置であって、前記装置は、
    ビデオデータの少なくとも１つの再構築されたサンプルを記憶するための手段と、
    少なくとも１つの再構築されたサンプルを識別するための手段と、
    現在のブロックの少なくとも１つのサンプルのイントラ予測に使用するための少なくとも１つの拡張角度イントラ予測モードを決定するための手段と、
    前記少なくとも１つの再構築されたサンプルに基づいて、前記現在のブロックの少なくとも１つのサンプルを、前記少なくとも１つの拡張角度イントラ予測モードを使用してイントラ予測するための手段と、拡張角度イントラ予測モードは、水平−４５度と垂直−４５度との間の角度予測モード以外の角度イントラ予測モードを含む、
    前記少なくとも１つの予測されたサンプルに基づいて、前記現在のブロックを符号化または復号するための手段と
    を備える、装置。
18. 前記少なくとも１つの拡張角度イントラ予測モードは、水平−４５度を超える角度モードまたは垂直−４５度を超える角度モードのうちの少なくとも１つを備える、請求項１７に記載の装置。
19. 前記現在のブロックの形状に基づいて、前記少なくとも１つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定するための手段をさらに備える、請求項１７に記載の装置。
20. 前記現在のブロックに近隣する少なくとも１つの再構築されたサンプルの利用可能性に基づいて、前記少なくとも１つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定するための手段をさらに備える、請求項１７に記載の装置。
21. 前記少なくとも１つの拡張角度イントラ予測モードに基づいて、前記現在のブロックのルーマ成分またはクロマ成分のうちの少なくとも１つを予測するための手段をさらに備える、請求項１７に記載の装置。
22. 水平−４５度と垂直−４５度との間の角度イントラ予測モードの置き換えに応答して、前記少なくとも１つの拡張角度イントラ予測モードを決定するための手段をさらに備える、請求項１７に記載の装置。
23. 水平−４５度と垂直−４５度との間の角度イントラ予測モードが前記拡張角度イントラ予測モードの角度方向の範囲内となるためのシフトに応答して、前記少なくとも１つの拡張角度イントラ予測モードを決定するための手段をさらに備える、請求項１７に記載の装置。
24. 水平−４５度と垂直−４５度との間の角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第１の予測ブロックを生成するための手段と、
    前記少なくとも１つの拡張角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第２の予測ブロックを生成するための手段と、
    前記第１の予測ブロックと前記第２の予測ブロックとの加重和を決定するための手段と、
    前記加重和に基づいて、最終の予測ブロックを生成するための手段と、
    前記最終の予測ブロックに基づいて、前記現在のブロックを予測するための手段と
    をさらに備える、請求項１７に記載の装置。
25. 実行されると、ビデオデータを符号化または復号するように構成される１つまたは複数のプロセッサに、
    少なくとも１つの再構築されたサンプルを識別することと、
    現在のブロックの少なくとも１つのサンプルのイントラ予測に使用するための少なくとも１つの拡張角度イントラ予測モードを決定することと、
    前記少なくとも１つの再構築されたサンプルに基づいて、前記現在のブロックの少なくとも１つのサンプルを、前記少なくとも１つの拡張角度イントラ予測モードを使用してイントラ予測することと、拡張角度イントラ予測モードは、水平−４５度と垂直−４５度との間の角度予測モード以外の角度イントラ予測モードを含む、
    前記少なくとも１つの予測されたサンプルに基づいて、前記現在のブロックを符号化または復号することと
    をさせる命令を記憶する、コンピュータ可読記憶媒体。
26. 実行されると、ビデオデータを符号化または復号するように構成される前記１つまたは複数のプロセッサに、前記現在のブロックの形状に基づいて、前記少なくとも１つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定することをさせる命令をさらに記憶する、請求項２５に記載のコンピュータ可読記憶媒体。
27. 実行されると、ビデオデータを符号化または復号するように構成される前記１つまたは複数のプロセッサに、前記現在のブロックに近隣する少なくとも１つの再構築されたサンプルの利用可能性に基づいて、前記少なくとも１つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定することをさせる命令をさらに記憶する、請求項２５に記載のコンピュータ可読記憶媒体。
28. 実行されると、ビデオデータを符号化または復号するように構成される前記１つまたは複数のプロセッサに、前記少なくとも１つの拡張角度イントラ予測モードに基づいて、前記現在のブロックのルーマ成分またはクロマ成分のうちの少なくとも１つを予測することをさせる命令をさらに記憶する、請求項２５に記載のコンピュータ可読記憶媒体。
29. 実行されると、ビデオデータを符号化または復号するように構成される前記１つまたは複数のプロセッサに、水平−４５度と垂直−４５度との間の角度イントラ予測モードが前記拡張角度イントラ予測モードの角度方向の範囲内となるためのシフトに応答して、前記少なくとも１つの拡張角度イントラ予測モードを決定することをさせる命令をさらに記憶する、請求項２５に記載のコンピュータ可読記憶媒体。
30. 実行されると、ビデオデータを符号化または復号するように構成される前記１つまたは複数のプロセッサに、
    水平−４５度と垂直−４５度との間の角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第１の予測ブロックを生成することと、
    前記少なくとも１つの拡張角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第２の予測ブロックを生成することと、
    前記第１の予測ブロックと前記第２の予測ブロックとの加重和を決定することと、
    前記加重和に基づいて、最終の予測ブロックを生成することと、
    前記最終の予測ブロックに基づいて、前記現在のブロックを予測することと
    をさせる命令をさらに記憶する、請求項２５に記載のコンピュータ可読記憶媒体。

Images