JP2016524878A - コンポーネント間フィルタ処理 - Google Patents

Abstract

一実施形態では、ビデオ情報を符号化するように構成された装置はメモリユニットとプロセッサとを含む。メモリユニットは、ビデオ情報を備えるレイヤ間参照ピクチャを記憶するように構成される。プロセッサはメモリユニットに動作可能に結合される。さらに、プロセッサは、レイヤ間参照ピクチャを、複数のリーフを有する４分木構造に区分することと、各個々のリーフ中のビデオ情報に基づいて各個々のリーフに固有のコンポーネント間フィルタパラメータを決定することと、リーフの各々のためのコンポーネント間フィルタパラメータをシグナリングすることとを行うように構成される。

Description

関連出願の相互参照
[0001] 本出願は、その全体が参照により組み込まれる、２０１３年６月１７日に出願された米国仮出願第６１／８３６，０６４号、および２０１４年６月１０日に出願された米国非仮出願第１４／３０１，２０５号の利益を主張する。本開示は、ビデオコーディングおよび圧縮の分野に関する。詳細には、本開示は、アドバンストビデオコーディング（ＡＶＣ：Advanced Video Coding）のためのスケーラブルビデオコーディング（ＳＶＣ：scalable video coding）を含むＳＶＣ、ならびにスケーラブルＨＥＶＣ（ＳＨＶＣ：Scalable HEVC）とも呼ばれる高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）のためのＳＶＣに関する。本開示はまた、シングルレイヤコーディング、およびＭＶ−ＨＥＶＣと呼ばれる、ＨＥＶＣのマルチビュー拡張などの３Ｄビデオコーディングに関する。詳細には、本開示は、色間フィルタ処理、クロスカラー（cross-color）フィルタ処理、またはコンポーネント間予測と呼ばれることもある、ビデオコーディングにおけるコンポーネント間フィルタ処理およびレイヤ間予測に関する。様々な実施形態は、改善されたレイヤ間予測シグナリングおよび関係するコンポーネント間フィルタ処理プロセスのためのシステムおよび方法に関する。

[0002] デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ）、現在開発中の高効率ビデオコーディング（ＨＥＶＣ）規格によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法など、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。

[0003] ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間（ピクチャ内）予測および／または時間（ピクチャ間）予測を含む。ブロックベースのビデオコーディングでは、ビデオスライス（たとえば、ビデオフレームまたはビデオフレームの一部分）が、ツリーブロック、コーディングユニット（ＣＵ：coding unit）および／またはコーディングノードと呼ばれることもある、ビデオブロックに区分され得る。ピクチャのイントラコーディングされた（Ｉ）スライス中のビデオブロックは、同じピクチャ中の近隣ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコーディングされた（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャの中の近隣ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

[0004] 空間予測または時間予測は、コーディングされるべきブロックのための予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コーディングされたブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコーディングされたブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換され、残差変換係数が生じ得、その残差変換係数は、次いで量子化され得る。最初に２次元アレイで構成される量子化変換係数は、変換係数の１次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するためにエントロピーコーディングが適用され得る。

[0005] 各ツリーブロックは、ルーマサンプル（たとえば、ピクセル）とクロマサンプルの両方をさらに含み得る。クロマサブサンプリングは、ルーマ（たとえば、輝度）情報よりも少ないクロマ（たとえば、色）情報を与えることによってピクチャを符号化することの実施である。ビデオシーケンス中のルーマサンプルおよびクロマサンプルの各々は８ビットから１４ビットまでを利用し得る。ビット要件により、ビデオ符号化および復号システムは、使用されるビット数を低減し、場合によってはピクチャ品質を改善するために、様々な方法（たとえば、イントラ予測、クロスチャネル予測、レイヤ間予測、コンポーネント間フィルタ処理）を実装し得る。たとえば、コンポーネント間フィルタ処理を使用して、レイヤ間予測のために使用されるクロマ成分は、対応するルーマ成分にハイパスフィルタを適用することによって拡張され得る。システムは、ＣｂまたはＣｒクロマピクセルを囲むルーマピクセルを決定するために、固有のフィルタパラメータを決定し、それらを送信（たとえば、シグナリングなど）、受信、および／または使用し得る。これにより、そのようなシステムが拡張ＣｂまたはＣｒピクセルをそれぞれ決定することが可能になり得る。一実施形態では、シグナリングすることは、あるレベルにおいて、たとえば、最大コーディングユニット、最小コーディングユニット、予測ユニットなどにおいてビットストリーム中にフラグを設定することを含み得る。

[0006] 既存のビデオ符号化および復号システムは、一般に、ピクチャレイヤにおいてフィルタパラメータの１つのセット（たとえば、色成分ＣｂおよびＣｒごとに１つずつ）をシグナリングする。言い換えれば、既存のシステムは、色成分ごとにフィルタパラメータのセットをシグナリングするが、フィルタパラメータのそのようなセットをピクチャ全体中の対応する成分のために使用し得る。ピクチャ（たとえば、４Ｋピクチャなどの大解像度ピクチャ）は、異なるビデオコンテンツをもついくつかの領域を含み得るので、ピクチャの各領域のためにカスタマイズされた固有のフィルタパラメータは大きいコーディング利益を与えることができる。そのような場合、ピクチャ全体のためにフィルタパラメータの１つのセットのみをシグナリングすることは最良の結果を与えないことがあり、品質が損なわれることがある。

[0007] 品質およびコーディング効率を改善するために、特にレイヤ間参照ピクチャ（inter-layer reference picture）について、ピクチャの個々の領域のための固有のフィルタパラメータを決定し、シグナリングするデバイスおよび／またはプロセスを与えることが有利であろう。本明細書で開示する技法のいくつかの利点は、複数のリーフ（leaf）を有する４分木構造（quadtree structure）にピクチャを区分することと、パラメータがリーフ間で変動することができるように、各個々のリーフのための固有のフィルタパラメータをシグナリングすることとによって、コンポーネント間フィルタ処理コーディング効率とレイヤ間参照ピクチャ品質とを改善することに関する。

[0008] 概して、本開示では、スケーラブルビデオコーディング（ＳＶＣ）に関する技法について説明する。以下で説明する様々な技法は、色間フィルタ処理、クロスカラーフィルタ処理、および／またはコンポーネント間予測と呼ばれることもある、コンポーネント間フィルタ処理およびレイヤ間予測を改善するための方法およびデバイスについて説明する。

[0009] 一実施形態では、ビデオ情報を符号化するように構成された装置はメモリユニットとプロセッサとを含む。メモリユニットは、ビデオ情報を備えるレイヤ間参照ピクチャを記憶するように構成される。プロセッサはメモリユニットに動作可能に結合される。さらに、プロセッサは、レイヤ間参照ピクチャを、複数のリーフを有する４分木構造に区分することと、各個々のリーフ中のビデオ情報に基づいて各個々のリーフに固有のコンポーネント間フィルタパラメータ（inter-component filter parameter）を決定することと、リーフの各々のためのコンポーネント間フィルタパラメータをシグナリングすることとを行うように構成される。

[0010] 別の実施形態では、ビデオ情報を符号化する方法は、ビデオ情報を備えるレイヤ間参照ピクチャを記憶することを含む。本方法はまた、レイヤ間参照ピクチャを、複数のリーフを有する４分木構造に区分することを含む。本方法はまた、各個々のリーフ中のビデオ情報に基づいて各個々のリーフに固有のコンポーネント間フィルタパラメータを決定することを含む。本方法はまた、リーフの各々のためのコンポーネント間フィルタパラメータをシグナリングすることを含む。

[0011] 別の実施形態では、ビデオ情報を符号化するように構成された装置はメモリユニットとプロセッサとを含む。メモリユニットは、ビデオ情報を備えるレイヤ間参照ピクチャを記憶するように構成される。プロセッサはメモリユニットに動作可能に結合される。さらに、プロセッサは、レイヤ間参照ピクチャがそれに区分される複数のリーフを有する４分木構造を示すパーティション情報を決定することと、各個々のリーフに固有のコンポーネント間フィルタパラメータを決定することと、ここにおいて、各個々のリーフのためのコンポーネント間フィルタパラメータが個々のリーフ中のビデオ情報に基づいており、パーティション情報とコンポーネント間フィルタパラメータとを使用してレイヤ間参照ピクチャを復号することとを行うように構成される。

[0012] 別の実施形態では、ビデオ情報を復号する方法は、ビデオ情報を備えるレイヤ間参照ピクチャを記憶することを含む。本方法はまた、レイヤ間参照ピクチャがそれに区分される複数のリーフを有する４分木構造を示すパーティション情報を決定することを含む。本方法はまた、各個々のリーフに固有のコンポーネント間フィルタパラメータを決定することを含み、ここにおいて、各個々のリーフのためのコンポーネント間フィルタパラメータは個々のリーフ中のビデオ情報に基づいている。本方法はまた、パーティション情報とコンポーネント間フィルタパラメータとを使用してレイヤ間参照ピクチャを復号することを含む。

[0013] 別の実施形態では、ビデオ情報を符号化するための手段が提供される。ビデオ情報を符号化するための手段は、ビデオ情報を備えるレイヤ間参照ピクチャを記憶するための手段と、レイヤ間参照ピクチャを、複数のリーフを有する４分木構造に区分するための手段と、各個々のリーフ中のビデオ情報に基づいて各個々のリーフに固有のコンポーネント間フィルタパラメータを決定するための手段と、リーフの各々のためのコンポーネント間フィルタパラメータをシグナリングするための手段とを備える。

[0014] 別の実施形態では、非一時的コンピュータ可読媒体は、電子回路を備えるプロセッサによって実行されたとき、レイヤ間参照ピクチャを、複数のリーフを有する４分木構造に区分することと、各個々のリーフ中のビデオ情報に基づいて各個々のリーフに固有のコンポーネント間フィルタパラメータを決定することと、リーフの各々のためのコンポーネント間フィルタパラメータをシグナリングすることとをプロセッサに行わせる、ビデオ情報を符号化するための命令を備える。

[0015] 別の実施形態では、ビデオ情報を復号するための手段が提供される。ビデオ情報を復号するための手段は、ビデオ情報を備えるレイヤ間参照ピクチャを記憶するための手段と、レイヤ間参照ピクチャがそれに区分される複数のリーフを有する４分木構造を示すパーティション情報を決定するための手段と、各個々のリーフに固有のコンポーネント間フィルタパラメータを決定するための手段と、ここにおいて、各個々のリーフのためのコンポーネント間フィルタパラメータが個々のリーフ中のビデオ情報に基づいており、パーティション情報とコンポーネント間フィルタパラメータとを使用してレイヤ間参照ピクチャを復号するための手段とを備える。

[0016] 別の実施形態では、非一時的コンピュータ可読媒体は、電子回路を備えるプロセッサによって実行されたとき、レイヤ間参照ピクチャがそれに区分される複数のリーフを有する４分木構造を示すパーティション情報を決定することと、各個々のリーフに固有のコンポーネント間フィルタパラメータを決定することと、ここにおいて、各個々のリーフのためのコンポーネント間フィルタパラメータが個々のリーフ中のビデオ情報に基づいており、パーティション情報とコンポーネント間フィルタパラメータとを使用してレイヤ間参照ピクチャを復号することとをプロセッサに行わせる、ビデオ情報を復号するための命令を備える。

[0017] １つまたは複数の例の詳細を添付の図面および以下の説明に記載する。添付の図面および以下の説明は、本明細書で説明する発明的概念の全範囲を限定するものではない。他の特徴、目的、および利点は、説明および図面、ならびに特許請求の範囲から明らかになろう。

[0018] 図面全体にわたって、参照される要素間の対応を示すために参照番号が再使用されることがある。図面は、本明細書で説明する例示的な実施形態を図示するために提供され、本開示の範囲を限定するものではない。

[0019] 本開示で説明する態様による技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0020] 本開示で説明する態様による技法を実装し得るビデオエンコーダの一例を示すブロック図。 [0021] 本開示で説明する態様による技法を実装し得るマルチレイヤビデオエンコーダの一例を示すブロック図。 [0022] 本開示で説明する態様による技法を実装し得るビデオデコーダの一例を示すブロック図。 [0023] 本開示で説明する態様による技法を実装し得るマルチレイヤビデオデコーダの一例を示すブロック図。 [0024] ４つの等しい４分木リーフを備える４分木構造に（たとえば、ビデオエンコーダによって）区分された例示的なレイヤ間参照ピクチャの図。 [0025] さらなる４分木サブリーフに区分された図４Ａのレイヤ間参照ピクチャの図。 [0026] さらなる４分木サブリーフに区分された図４Ａのレイヤ間参照ピクチャの別の図。 [0027] 例示的な区分構成（partitioning arrangement）中の例示的なクロマおよびルーマ構成の図。 [0028] シグナリングされたフィルタパラメータの構成を含む、図５Ａの例示的な区分構成中の例示的なクロマおよびルーマ構成を示す図。 [0029] レイヤ間参照ピクチャを複数のリーフに区分し、各個々のリーフのための固有のフィルタパラメータをシグナリングするための例示的な方法またはプロセスを示すフローチャート。 [0030] 固有のパーティション情報と固有のフィルタパラメータとを使用してレイヤ間参照ピクチャを復号し、拡張するための例示的な方法またはプロセスを示すフローチャート。

[0031] 本開示で説明する技法は、概して、スケーラブルビデオコーディング（ＳＨＶＣ、ＳＶＣ）、シングルレイヤコーディング、および／またはマルチビュー／３Ｄビデオコーディングに関する。たとえば、本技法は、高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）スケーラブルビデオコーディング（ＳＶＣ、ＳＨＶＣと呼ばれることがある）拡張に関し、それとともにまたはそれの中で使用され得る。ＳＨＶＣ、ＳＶＣ拡張では、ビデオ情報の複数のレイヤがあり得る。ビデオ情報の最も低いレベルにあるレイヤはベースレイヤ（ＢＬ：base layer）または参照レイヤ（ＲＬ：reference layer）として働き得、ビデオ情報の最上部にあるレイヤ（または最上位レイヤ）はエンハンストレイヤ（ＥＬ：enhanced layer）として働き得る。「エンハンストレイヤ」は「エンハンスメントレイヤ（enhancement layer）」と呼ばれることがあり、これらの用語は互換的に使用され得る。ベースレイヤは「参照レイヤ（reference layer）」と呼ばれることがあり、これらの用語も互換的に使用され得る。ベースレイヤとトップレイヤとの間にあるすべてのレイヤは追加のＥＬおよび／または参照レイヤとして働き得る。たとえば、所与のレイヤは、ベースレイヤまたは介在エンハンスメントレイヤ（intervening enhancement layer）など、所与のレイヤの下の（たとえば、それに先行する）レイヤのためのＥＬであり得る。さらに、所与のレイヤはまた、所与のレイヤの上の（たとえば、それの後の）１つまたは複数のエンハンスメントレイヤのためのＲＬとして働き得る。ベースレイヤ（たとえば、「１」に設定されたまたは「１」に等しいレイヤ識別情報（ＩＤ）を有する、たとえば、最下位レイヤ）とトップレイヤ（または、最上位レイヤ）との間にあるレイヤは、所与のレイヤよりも上位のレイヤによるレイヤ間予測のための参照として使用され得、所与のレイヤよりも下位のレイヤをレイヤ間予測のための参照として使用し得る。たとえば、所与のレイヤは、所与のレイヤよりも下位のレイヤをレイヤ間予測のための参照として使用して決定され得る。

[0032] 簡単のために、ＢＬおよびＥＬならびに／あるいはＲＬおよびＥＬというただ２つのレイヤに関して例を提示するが、以下で説明する概念および実施形態は、複数のレイヤがある場合にも適用可能であることがよく理解されよう。さらに、説明を簡単にするために、「フレーム（frame）」または「ブロック（block）」という用語がしばしば使用される。ただし、これらの用語は限定的なものではない。たとえば、以下で説明する技法は、限定はしないが、ピクセル、ブロック（たとえば、ＣＵ、ＰＵ、ＴＵ、マクロブロックなど）、スライス、フレーム、ピクチャなどを含む、様々なビデオユニットのいずれかとともに使用され得る。

ビデオコーディング（Video Coding）
[0033] ビデオコーディング規格は、ＩＴＵ−Ｔ Ｈ．２６１と、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌと、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌと、ＩＴＵ−Ｔ Ｈ．２６３と、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌと、それのスケーラブルビデオコーディング（ＳＶＣ）およびマルチビュービデオコーディング（ＭＶＣ：Multi-view Video Coding）拡張を含む（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４とを含む。ＳＶＣおよびＭＶＣの最新のジョイントドラフトは、「Advanced video coding for generic audiovisual services」、ＩＴＵ−Ｔ勧告Ｈ．２６４、２０１０年３月に記載されている。さらに、ＩＴＵ−Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ：Video Coding Experts Group）とＩＳＯ／ＩＥＣモーションピクチャエキスパートグループ（ＭＰＥＧ：Motion Picture Experts Group）とのジョイントコラボレーションチームオンビデオコーディング（ＪＣＴ−ＶＣ：Joint Collaboration Team on Video Coding）によって開発された新しいビデオコーディング規格、高効率ビデオコーディング（ＨＥＶＣ）がある。最近の高効率ビデオコーディング（ＨＥＶＣ）テキスト仕様ドラフトは、http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v13.zipから入手可能である。また、ＨＥＶＣのマルチビュー拡張、すなわちＭＶ−ＨＥＶＣがＪＣＴ−３Ｖによって開発されている。ＨＥＶＣのスケーラブル拡張、すなわちＳＨＶＣもＪＣＴ−ＶＣによって開発されている。

[0034] スケーラブルビデオコーディング（ＳＶＣ）、Ｈ．２６４／ＡＶＣのスケーラブル拡張は、たとえば、３つの次元において使用可能な、異なる次元におけるスケーラビリティを備え得る。時間次元では、７．５Ｈｚ、１５Ｈｚ、または３０Ｈｚをもつフレームレートが時間スケーラビリティ（Ｔ）によってサポートされ得る。空間スケーラビリティ（Ｓ）がサポートされるとき、ＱＣＩＦ、ＣＩＦ、および４ＣＩＦなどの異なる解像度が使用可能である。特定の空間解像度およびフレームレートごとに、ピクチャ品質を改善するためにＳＮＲ（Ｑ）レイヤが追加され得る。ビデオコンテンツがスケーラブルな方法で符号化されると、アプリケーション要件に従って、実際の配信されたコンテンツを適応させるために、抽出器ツールが使用され得る。アプリケーション要件は、たとえば、クライアントまたは送信チャネルに依存し得る。一例では、各キュービックは、同じフレームレート（時間レベル）、空間解像度、およびＳＮＲレイヤをもつピクチャを含んでいることがある。それらのキューブ（ピクチャ）を任意の次元で追加することによって、より良い表現が達成され得る。使用可能な２つ、３つ、またはさらに多くのスケーラビリティがあるとき、複合スケーラビリティがサポートされ得る。

[0035] ＳＶＣの仕様によれば、最下位の空間レイヤおよび品質レイヤをもつピクチャはＨ．２６４／ＡＶＣに適合し、最も低い時間レベルにあるピクチャは、より高い時間レベルにあるピクチャを用いて拡張され得る時間ベースレイヤを形成する。Ｈ．２６４／ＡＶＣ適合レイヤに加えて、いくつかの空間エンハンスメントレイヤおよび／またはＳＮＲエンハンスメントレイヤが、空間スケーラビリティおよび／または品質スケーラビリティを与えるために追加され得る。ＳＮＲスケーラビリティは品質スケーラビリティと呼ばれることもある。各空間エンハンスメントレイヤまたはＳＮＲエンハンスメントレイヤは、Ｈ．２６４／ＡＶＣ適合レイヤと同じ時間スケーラビリティ構造で、時間的にスケーラブルであり得る。１つの空間エンハンスメントレイヤまたはＳＮＲエンハンスメントレイヤについて、それが依存する下位レイヤは、その特定の空間エンハンスメントレイヤまたはＳＮＲエンハンスメントレイヤのベースレイヤと呼ばれることもある。

[0036] ＳＶＣコーディング構造の一例としては、Ｈ．２６４／ＡＶＣに適合し得る、最下位の空間レイヤおよび品質レイヤをもつピクチャ（たとえば、ＱＣＩＦ解像度をもつ、レイヤ０およびレイヤ１中のピクチャ）があり得る。それらの中で、最も低い時間レベルのピクチャは時間ベースレイヤを形成する（たとえば、レイヤ０中のピクチャ）。この時間ベースレイヤ（たとえば、レイヤ０）は、より高い時間レベル（たとえば、レイヤ１）のピクチャを用いて拡張され得る。Ｈ．２６４／ＡＶＣ適合レイヤに加えて、いくつかの空間エンハンスメントレイヤおよび／またはＳＮＲエンハンスメントレイヤが、空間スケーラビリティおよび／または品質スケーラビリティを与えるために追加され得る。たとえば、エンハンスメントレイヤは、レイヤ２と同じ解像度をもつＣＩＦ表現であり得る。この例では、レイヤ３はＳＮＲエンハンスメントレイヤであり得る。各空間エンハンスメントレイヤまたはＳＮＲエンハンスメントレイヤ自体は、Ｈ．２６４／ＡＶＣ適合レイヤと同じ時間スケーラビリティ構造で、時間的にスケーラブルであり得る。また、エンハンスメントレイヤは空間解像度とフレームレートの両方を向上させ得る。たとえば、レイヤ４は、フレームレートを１５Ｈｚから３０Ｈｚにさらに増加させ得る４ＣＩＦエンハンスメントレイヤを与え得る。さらに、同じ時間インスタンス中のコーディングされたスライスは、ビットストリーム順序で連続しており、ＳＶＣのコンテキストにおける１つのアクセスユニットを形成し得る。それらのＳＶＣアクセスユニットは、次いで、表示順序とは異なり、たとえば、時間予測関係によって決定され得る、復号順序に従い得る。

[0037] 概して、ＳＶＣおよびＳＨＶＣは、（信号対雑音（ＳＮＲ）とも呼ばれる）品質スケーラビリティ、空間スケーラビリティ、および／または時間スケーラビリティを与えるために使用され得る。たとえば、一実施形態では、参照レイヤおよびエンハンスメントレイヤがともに第１のレベルよりも高い第２の品質レベル（たとえば、より少ない雑音、より大きい解像度、より良いフレームレートなど）でビデオを表示するのに十分なビデオ情報を含むように、参照レイヤ（たとえば、ベースレイヤ）は第１の品質レベルでビデオを表示するのに十分なビデオ情報を含み、エンハンスメントレイヤは、参照レイヤに関係する追加のビデオ情報を含む。エンハンストレイヤは、ベースレイヤとは異なる空間解像度を有し得る。たとえば、ＥＬとＢＬとの間の空間アスペクト比は、１．０、１．５、２．０または他の異なる比であり得る。言い換えれば、ＥＬの空間アスペクトは、ＢＬの空間アスペクトの１．０倍、１．５倍、または２．０倍に等しくなり得る。いくつかの例では、ＥＬのスケーリング係数（scaling factor）はＢＬよりも大きくなり得る。たとえば、ＥＬ中のピクチャのサイズは、ＢＬ中のピクチャのサイズよりも大きくなり得る。このようにして、限定はしないが、ＥＬの空間解像度がＢＬの空間解像度よりも大きいことが可能であり得る。

[0038] さらに、ＳＶＣおよびＳＨＶＣでは、現在ブロックの予測は、ＳＶＣのために与えられる様々なレイヤを使用して実行され得る。そのような予測はレイヤ間予測と呼ばれることがある。レイヤ間予測方法は、レイヤ間冗長性を低減するためにＳＶＣにおいて利用され得る。レイヤ間予測のいくつかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、およびレイヤ間残差予測があり得る。レイヤ間イントラ予測は、エンハンスメントレイヤ中の現在ブロックを予測するために、ベースレイヤ中のコロケートブロックの再構成を使用する。レイヤ間動き予測は、エンハンスメントレイヤ中の動作を予測するために、ベースレイヤの（動きベクトルを含む）動き情報を使用する。レイヤ間残差予測は、エンハンスメントレイヤの残差を予測するために、ベースレイヤの残差を使用する。

[0039] ＳＶＣのいくつかの機能はＨ．２６４／ＡＶＣから引き継がれている。以前のスケーラブル規格と比較して、例示的な利点は、以下で説明するように、レイヤ間予測とシングルループ復号とを含み得る。

[0040] たとえば、低複雑度デコーダを保持するために、ＳＶＣではシングルループ復号が使用され得る。シングルループ復号の場合、各サポートされるレイヤは、単一の動き補償ループを用いて復号され得る。これを達成するために、コロケートされた参照レイヤ信号がそれのためにイントラコーディングされ得るエンハンスメントレイヤマクロブロック（ＭＢ：macroblock）について、レイヤ間イントラ予測の使用が可能にされ得る。さらに、上位レイヤをレイヤ間予測するために使用されるレイヤが、制約付きイントラ予測を使用してコーディングされ得る。

[0041] ＳＶＣは、テクスチャと残差と動きとに基づく空間スケーラビリティとＳＮＲスケーラビリティとのためのレイヤ間予測を含む。ＳＶＣにおける空間スケーラビリティは、２つのレイヤ間の任意の解像度比に一般化され得る。ＳＮＲスケーラビリティは、粗粒度スケーラビリティ（ＣＧＳ：Coarse Granularity Scalability）または中粒度スケーラビリティ（ＭＧＳ：Medium Granularity Scalability）によって実現され得る。ＳＶＣでは、２つの空間レイヤまたはＣＧＳレイヤは、（ＮＡＬユニットヘッダ中でｄｅｐｅｎｄｅｎｃｙ＿ｉｄによって示される）異なる依存性レイヤに属し得るが、２つのＭＧＳレイヤは同じ依存性レイヤ中にあり得る。１つの依存性レイヤは、品質エンハンスメントレイヤに対応する、０からより高い値までのｑｕａｌｉｔｙ＿ｉｄをもつ品質レイヤを含み得る。ＳＶＣでは、以下で説明するように、レイヤ間の冗長性を低減するために、レイヤ間予測方法が利用される得る。

[0042] １つの例示的なレイヤ間予測方法はレイヤ間イントラ予測を含み得る。レイヤ間イントラ予測を使用するコーディングモードは、ＳＶＣでは「イントラＢＬ」モードと呼ばれることがある。シングルループ復号を使用可能にするために、制約付きイントラモードとしてコーディングされるベースレイヤ中のコロケートされたＭＢを有し得るＭＢはレイヤ間イントラ予測モードを使用し得る。制約付きイントラモードＭＢは、近隣のインターコーディングされたＭＢからのサンプルを参照することなしにイントラコーディングされ得る。

[0043] 別の例示的なレイヤ間予測方法はレイヤ間残差予測を含み得る。たとえば、ＭＢが残差予測を使用するように示される場合、レイヤ間予測のためのベースレイヤ中のコロケートされたＭＢはインターＭＢであり得、それの残差は、空間解像度比に従ってアップサンプリングされ得る。エンハンスメントレイヤとベースレイヤのそれとの間の残差差分がコーディングされ得る。すなわち、エンハンスメントレイヤの現在フレーム

の再構成は、エンハンスメントレイヤの逆量子化係数ｒ_eと、エンハンスメントレイヤからの時間予測Ｐ_eと、ベースレイヤの量子化正規化残差係数ｒ_bとの和に等しく、ここにおいて、

である。

[0044] また別の例示的なレイヤ間予測方法はレイヤ間動き予測を含み得る。たとえば、コロケートされたベースレイヤ動きベクトルは、エンハンスメントレイヤ中のＭＢまたはＭＢパーティションの動きベクトルのための予測子を生成するためにスケーリングされ得る。さらに、ＭＢタイプ（たとえば、ベースモード）はＭＢごとに１つのフラグを送り得る。このフラグが真であり、対応するベースレイヤＭＢがイントラでない場合、動きベクトル、区分モードおよび参照インデックスはベースレイヤから導出され得る。

[0045] Ｈ．２６４／ＡＶＣと同様に、ＨＥＶＣはまた、上記で説明したように、時間スケーラビリティと、ＳＮＲスケーラビリティと、空間スケーラビリティとを含み得るスケーラブルビデオコーディング拡張（ＳＨＶＣ）を有し得る。

概観(Overview)
[0046] 以下で説明するように、ビデオフレームまたはピクチャは、ピクセルの数に関して最大コーディングユニットを表し得る一連のツリーブロックまたは最大コーディングユニット（ＬＣＵ：largest coding unit）に分割され得る。各ツリーブロックは、４分木に従って４つの等しいコーディングユニット（ＣＵ）にスプリット（たとえば、区分）され得、各ＣＵは「リーフ（leaf）」または「リーフＣＵ」と呼ばれることがある。各ＣＵは４つの等しいサブＣＵにさらにスプリットされ得、サブＣＵもリーフＣＵと呼ばれることがある。各ＣＵは、以下でさらに説明するように、コーディングノードと、コーディングノードに関連する予測ユニット（ＰＵ：prediction unit）および変換ユニット（ＴＵ：transform unit）とを含み得る。ＴＵは、変換の適用の後に変換領域において係数を備え得る。変換係数を生成するための任意の変換の後に、ビデオエンコーダは、係数を表すために使用されるデータの量をできる限り低減するために変換係数を量子化して、さらなる圧縮を行い得る。ＰＵは、ビデオコーディングシステムが、ピクチャの各部分を処理するのではなく、前のピクチャ、近隣ピクチャ、または同じピクチャの他の部分に基づいてピクチャの部分を予測することによってビットを節約する（たとえば、より効率的になる）ことを可能にする、イントラ予測またはインター予測コーディングを使用可能にし得る。

[0047] 各ツリーブロックは、以下でさらに説明するように、ルーマサンプルとクロマサンプルの両方をさらに含み得る。クロマサブサンプリングは、ルーマ（たとえば、輝度）情報よりも少ないクロマ（たとえば、色）情報を与えることによってピクチャを符号化することの実施である。ビデオシーケンス中のルーマサンプルおよびクロマサンプルの各々は８ビットから１４ビットまでを必要とし得る。ビット要件により、ビデオ符号化および復号システムは、ビットを節約し、場合によってはピクチャ品質を改善するために、様々な方法（たとえば、イントラ予測、クロスチャネル予測、レイヤ間予測、コンポーネント間フィルタ処理）を実装し得る。

[0048] たとえば、以下でさらに説明するように、コンポーネント間フィルタ処理を使用して、レイヤ間予測のために使用されるクロマ成分は、対応するルーマ成分にハイパスフィルタを適用することによって拡張され得る。本システムは、パラメータの中でも、本開示では「フィルタパラメータ（filter parameter）」と総称される、固有のハイパスフィルタ係数（high-pass filter coefficient）、量子化された固有のハイパスフィルタ係数、量子化パラメータ（quantization parameter）、シフトパラメータ（shift parameter）、量子化ステップサイズ（quantization step size）を決定または実装し得る。フィルタパラメータは、ＣｂまたはＣｒクロマピクセル（chroma pixel）を囲むルーマピクセル（luma pixel）に送信（たとえば、シグナリング）され得、これにより、以下で説明するように、本システムが拡張ＣｂまたはＣｒピクセルをそれぞれ取得することが可能になり得る。

[0049] 既存のビデオ符号化および復号システムは、ピクチャレイヤにおいてフィルタパラメータの１つのセット（色成分ＣｂおよびＣｒごとに１つずつ）をシグナリングし得る。言い換えれば、既存のシステムは、ピクチャ全体のためにフィルタパラメータの合計２つのセットをシグナリングし得る。上記で説明したように、ピクチャ全体のためにフィルタパラメータの１つのセットのみをシグナリングすることは低品質ピクチャを生じ得る。たとえば、大解像度ピクチャ（たとえば、４Ｋ、または３８４０×２１６０ピクセル）は、異なる固有のフィルタパラメータをもついくつかの領域を含み得る。システムがピクチャ全体のために色成分ごとにフィルタパラメータの１つのセットのみを使用した場合、システムはピクチャのプロパティを最も良くキャプチャしないことがあり、品質が損なわれることがある。

[0050] 上記および以下で説明するように、本開示のシステムおよび／または方法は、４つまたはそれ以上のリーフからなる４分木構造にピクチャを区分することと、（クロマサンプルおよびルーマサンプルに関して上記および以下で説明するように）固有のコンポーネント間フィルタパラメータを各リーフにシグナリングすることとによって、コンポーネント間フィルタ処理コーディング効率とレイヤ間参照ピクチャ品質とを改善し得る。いくつかの実施形態では、リーフは、４つの等しいサイズのリーフ（またはクォーター）などの４分木リーフである。他の実施形態では、リーフは、異なるサイズを有し、４分木以外であり得る（たとえば、２つのリーフなどにスプリットされ得る）。以下で説明する実施形態は４分木構造に関して特徴づけられ得るが、同じ技法が他のリーフ構造とともに同様に使用され得ることを理解されたい。そのような方法は、最初にピクチャを最大コーディングユニット（ＬＣＵ）に分割しなければならないことと、次いで、ＬＣＵまたはより小さいレベルにおいてコンポーネント間情報をシグナリングすることとを回避する。

[0051] たとえば、本システムおよび／または方法は、３８４０×２１６０（４Ｋ）解像度ピクチャを４つの等しい１９２０×１０８０ ４分木リーフに区分し得る。場合によっては、４分木リーフは、より小さいユニット（たとえば、最小コーディングユニットまたは最大コーディングユニットまたは他のサイズのユニット）にさらに区分され得るが、それらはそうである必要はない。別の実施形態では、本方法は、４つの等しい１９２０×１０８０ ４分木リーフのうちの１つまたは複数を４つの等しい９６０×５４０ ４分木リーフにさらに区分し、４分木リーフの各々に上記で説明した同じステップを適用し得る。別の実施形態では、本方法は、さらに区分された４分木リーフの各々のうちの１つまたは複数をそれら自体のさらなる等しい４分木リーフにさらに区分し得、以下同様である。任意のサイズのリーフが利用され得る。

[0052] 本システムおよび／または方法は、リーフの各々についてレイヤ間予測中に使用されるべき固有のコンポーネント間フィルタパラメータを決定し得る。本方法は、リーフの各々のための固有のコンポーネント間フィルタパラメータの各々をシグナリングし得る。フィルタパラメータは、スライスヘッダ中でまたは適応パラメータセット（ＡＰＳ：adaptation parameter set）中でシグナリングされ得る。このようにして、参照レイヤ内のサンプリングされたクロマの各々は、各リーフのプロパティに基づいてこのリーフ固有情報を適宜に組み込み、改善されたレイヤ間参照ピクチャが生じ得る。これらの特徴およびさらなる実施形態について以下でより詳細に説明する。

[0053] 添付の図面を参照しながら、新規のシステム、装置、および方法の様々な態様について以下でより十分に説明する。ただし、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示する任意の特定の構造または機能に限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるように与えるものである。本明細書の教示に基づいて、本開示の範囲は、本発明の他の態様とは無関係に実装されるにせよ、本発明の他の態様と組み合わせて実装されるにせよ、本明細書で開示する新規のシステム、装置、および方法のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載の態様をいくつ使用しても、装置は実装され得、または方法は実施され得る。さらに、本発明の範囲は、本明細書に記載の本発明の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示するどの態様も請求項の１つまたは複数の要素によって実施され得ることを理解されたい。

[0054] 本明細書では特定の態様について説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好適な態様のいくつかの利益および利点について説明するが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々なワイヤレス技術、システム構成、ネットワーク、および伝送プロトコルに広く適用可能であるものとし、それらのいくつかを例として、図において、および好適な態様についての以下の説明において示す。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。

ビデオコーディングシステム
[0055] 図１は、本開示で説明する態様による技法を利用し得る例示的なビデオ符号化および復号システム１０を示すブロック図である。本明細書で使用し説明する「ビデオコーダ（video coder）」という用語は、総称的にビデオエンコーダとビデオデコーダの両方を指す。本開示では、「ビデオコーディング（video coding）」または「コーディング（coding）」という用語は、ビデオ符号化とビデオ復号とを総称的に指すことがある。

[0056] 図１に示されているように、ビデオコーディングシステム１０は、ソースデバイス１２と宛先デバイス１４とを含む。ソースデバイス１２は符号化されたビデオデータを生成する。宛先デバイス１４は、ソースデバイス１２によって生成された符号化されたビデオデータを復号し得る。ソースデバイス１２は、コンピュータ可読記憶媒体または他の通信チャネルを含み得る通信チャネル１６を介して宛先デバイス１４にビデオデータを与え得る。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（たとえば、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォン、いわゆる「スマート」パッドなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、車載コンピュータ、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスを含み得る。ソースデバイス１２および宛先デバイス１４はワイヤレス通信のために装備され得る。

[0057] 宛先デバイス１４は、通信チャネル１６を介して、復号されるべき符号化されたビデオデータを受信し得る。通信チャネル１６は、ソースデバイス１２から宛先デバイス１４に符号化されたビデオデータを移動することが可能なタイプの媒体またはデバイスを備え得る。たとえば、通信チャネル１６は、ソースデバイス１２が、符号化されたビデオデータをリアルタイムで宛先デバイス１４に直接送信することを可能にするための通信媒体を備え得る。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理伝送線路など、ワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１２から宛先デバイス１４への通信を可能にするために有用であり得る他の機器を含み得る。

[0058] いくつかの実施形態では、符号化されたデータは、出力インターフェース２２からストレージデバイスに出力され得る。そのような例では、チャネル１６は、ソースデバイス１２によって生成された符号化されたビデオデータを記憶するストレージデバイスまたはコンピュータ可読記憶媒体に対応し得る。たとえば、宛先デバイス１４は、ディスクアクセスまたはカードアクセスを介してコンピュータ可読記憶媒体にアクセスし得る。同様に、符号化されたデータは入力インターフェース２８によってコンピュータ可読記憶媒体からアクセスされ得る。コンピュータ可読記憶媒体は、ハードドライブ、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいはビデオデータを記憶するための他のデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。コンピュータ可読記憶媒体は、ソースデバイス１２によって生成された符号化されたビデオを記憶し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介して、コンピュータ可読記憶媒体から、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化されたビデオデータを記憶し、その符号化されたビデオデータを宛先デバイス１４に送信することが可能なタイプのサーバであり得る。例示的なファイルサーバとしては、（たとえば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブがある。宛先デバイス１４は、インターネット接続を含む標準のデータ接続を介して、符号化されたビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化されたビデオデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、またはその両方の組合せを含み得る。コンピュータ可読記憶媒体からの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはその両方の組合せであり得る。

[0059] 本開示の技法は、ワイヤレス適用例または設定に加えて適用例または設定を適用し得る。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ：dynamic adaptive streaming over HTTP）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のａをサポートするビデオコーディングに適用され得る。いくつかの実施形態では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向ビデオ送信をサポートするように構成され得る。

[0060] 図１では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。ソースデバイス１２のビデオエンコーダ２０は、複数の規格または規格拡張に準拠するビデオデータを含むビットストリームをコーディングするための技法を適用するように構成され得る。他の実施形態では、ソースデバイスおよび宛先デバイスは他の構成要素または構成を含み得る。たとえば、ソースデバイス１２は、外部カメラなどの外部ビデオソース１８からビデオデータを受信し得る。同様に、宛先デバイス１４は、内蔵ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。

[0061] ソースデバイス１２のビデオソース１８は、ビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。ビデオソース１８は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。いくつかの実施形態では、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラフォンまたはビデオフォンを形成し得る。キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。符号化されたビデオ情報は、上記で説明したように、出力インターフェース２２によって、コンピュータ可読記憶媒体を含み得る通信チャネル１６に出力され得る。

[0062] コンピュータ可読記憶媒体は、ワイヤレスブロードキャストまたはワイヤードネットワーク送信などの一時媒体、あるいはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Ｂｌｕ−ｒａｙディスク、または他のコンピュータ可読媒体などの記憶媒体（たとえば、非一時的記憶媒体）を含み得る。ネットワークサーバ（図示せず）は、（たとえば、ネットワーク送信を介して）ソースデバイス１２から符号化されたビデオデータを受信し、その符号化されたビデオデータを宛先デバイス１４に与え得る。ディスクスタンピング設備など、媒体製造設備のコンピューティングデバイスは、ソースデバイス１２から符号化されたビデオデータを受信し、その符号化されたビデオデータを含んでいるディスクを生成し得る。したがって、通信チャネル１６は、様々な形態の１つまたは複数のコンピュータ可読記憶媒体を含むものと理解され得る。

[0063] 宛先デバイス１４の入力インターフェース２８は通信チャネル１６から情報を受信し得る。通信チャネル１６の情報は、ビデオエンコーダ２０によって定義され、ビデオデコーダ３０によって使用され得る、ブロックおよび他のコーディングされたユニット、たとえば、ＧＯＰの特性および／または処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。ディスプレイデバイス３２は、復号されたビデオデータをユーザに対して表示し、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを含み得る。

[0064] ビデオエンコーダ２０およびビデオデコーダ３０は、現在開発中の高効率ビデオコーディング（ＨＥＶＣ）規格などのビデオコーディング規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ）に準拠し得る。代替的に、ビデオエンコーダ２０およびビデオデコーダ３０は、代替的にＭＰＥＧ−４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格など、他のプロプライエタリ規格または業界規格、あるいはそのような規格の拡張に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオコーディング規格の他の例としては、ＭＰＥＧ−２およびＩＴＵ−Ｔ Ｈ．２６３がある。図１には示されていないが、いくつかの態様では、ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれオーディオエンコーダおよびデコーダと統合され得、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含み得る。適用可能な場合、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ：user datagram protocol）などの他のプロトコルに準拠し得る。

[0065] 図１は一例にすぎず、本開示の技法は、符号化デバイスと復号デバイスとの間のデータ通信を必ずしも含むとは限らないビデオコーディング設定（たとえば、ビデオ符号化またはビデオ復号）に適用され得る。他の例では、データがローカルメモリから取り出されること、ネットワークを介してストリーミングされることなどが行われ得る。符号化デバイスは、データを符号化し、メモリに記憶し得、および／または、復号デバイスは、メモリからデータを取り出し、復号し得る。多くの例では、符号化および復号は、互いに通信しないが、単にメモリにデータを符号化し、および／またはメモリからデータを取り出し、復号するデバイスによって実行される。

[0066] ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアまたはそれらの任意の組合せなど、様々な好適なエンコーダ回路のいずれかとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、ソフトウェアのための命令を非一時的コンピュータ可読媒体に記憶し、本開示の技法を実行するために１つまたは複数のプロセッサを使用してハードウェアでその命令を実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。ビデオエンコーダ２０および／またはビデオデコーダ３０を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラー電話などのワイヤレス通信デバイスを備え得る。

[0067] ＪＣＴ−ＶＣはＨＥＶＣ規格およびそれの拡張の開発に取り組んでおり、バージョン１は確定された。ＨＥＶＣ規格化の取り組みは、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコーディングデバイスの発展的モデルに基づいている。ＨＭは、たとえば、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣに従う既存のデバイスに対してビデオコーディングデバイスのいくつかの追加の能力を仮定する。たとえば、Ｈ．２６４は９つのイントラ予測符号化モードを与えるが、ＨＭは３３個ものイントラ予測符号化モードを与え得る。

[0068] 概して、ＨＭの作業モデルは、ビデオフレームまたはピクチャが一連のツリーブロックまたは最大コーディングユニット（ＬＣＵ）に分割され得ることを記載している。ビットストリーム内のシンタックスデータが、ピクセルの数に関して最大コーディングユニットであるＬＣＵのサイズを定義し得る。スライスは、コーディング順序でいくつかの連続するツリーブロックを含む。ビデオフレームまたはピクチャは、１つまたは複数のスライスに区分され得る。各ツリーブロックは、４分木に従ってコーディングユニット（ＣＵ）にスプリットされ得る。概して、４分木データ構造はＣＵごとに１つのノードを含み、ルートノードはツリーブロックに対応する。ＣＵが４つのサブＣＵにスプリットされた場合、ＣＵに対応するノードは４つのリーフノードを含み、リーフノードの各々はサブＣＵのうちの１つに対応する。

[0069] ４分木データ構造の各ノードは、対応するＣＵのシンタックスデータを与え得る。たとえば、４分木中のノードは、そのノードに対応するＣＵがサブＣＵにスプリットされるかどうかを示すスプリットフラグを含み得る。ＣＵのためのシンタックス要素は、再帰的に定義され得、ＣＵがサブＣＵにスプリットされるかどうかに依存し得る。ＣＵがさらにスプリットされない場合、そのＣＵはリーフＣＵまたは単に「リーフ」と呼ばれる。本開示では、元のリーフＣＵの明示的スプリッティングが存在しない場合でも、リーフＣＵの４つのサブＣＵをリーフＣＵとも呼ぶことがある。たとえば、１６×１６サイズのＣＵがさらにスプリットされない場合、この１６×１６ＣＵが決してスプリットされなくても、４つの８×８サブＣＵをリーフＣＵとも呼ぶことがある。

[0070] ＣＵは、ＣＵがサイズ差異を有しないことを除いて、Ｈ．２６４規格のマクロブロックと同様の目的を備える。たとえば、ツリーブロックは、（サブＣＵとも呼ばれる）４つの子ノードにスプリットされ得、各子ノードは、今度は親ノードとなり、別の４つの子ノードにスプリットされ得る。４分木のリーフノードと呼ばれる、最後のスプリットされていない子ノードは、リーフＣＵとも呼ばれるコーディングノードを備える。コーディングされたビットストリームに関連するシンタックスデータは、最大ＣＵ深度と呼ばれる、ツリーブロックがスプリットされ得る最大回数を定義し得、また、コーディングノードの最小サイズを定義し得る。それに応じて、ビットストリームは最小コーディングユニット（ＳＣＵ：smallest coding unit）をも定義し得る。本開示では、ＨＥＶＣのコンテキストにおけるＣＵ、ＰＵ、またはＴＵ、あるいは他の規格のコンテキストにおける同様のデータ構造（たとえば、Ｈ．２６４／ＡＶＣにおけるマクロブロックおよびそれのサブブロック）のいずれかを指すために「ブロック」という用語を使用する。

[0071] ＣＵは、コーディングノードと、コーディングノードに関連する予測ユニット（ＰＵ）および変換ユニット（ＴＵ）とを含む。ＣＵのサイズは、コーディングノードのサイズに対応し、形状が正方形であり得る。ＣＵのサイズは、８×８ピクセルから最大６４×６４以上のピクセルをもつツリーブロックのサイズまでに及び得る。各ＣＵは、１つまたは複数のＰＵと１つまたは複数のＴＵとを含み得る。ＣＵに関連するシンタックスデータは、たとえば、ＣＵを１つまたは複数のＰＵに区分することを記述し得る。区分モードは、ＣＵが、スキップモード符号化またはダイレクトモード符号化されるか、イントラ予測モード符号化されるか、あるいはインター予測モード符号化されるかの間で異なり得る。ＰＵは、形状が非正方形になるように区分され得る。ＣＵに関連するシンタックスデータは、たとえば、４分木に従って、ＣＵを１つまたは複数のＴＵに区分することも記述し得る。ＴＵは、形状が正方形または非正方形（たとえば、矩形）であり得る。

[0072] ＨＥＶＣ規格は、ＣＵごとに異なり得る、ＴＵに従う変換を可能にする。ＴＵは、区分されたＬＣＵについて定義された所与のＣＵ内のＰＵのサイズに基づいてサイズ決定され得るが、常にそうであるとは限らない。ＴＵは、ＰＵと同じサイズであるかまたはＰＵよりも小さいことがある。いくつかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ：residual quad tree）と呼ばれる４分木構造を使用して、より小さいユニットに再分割され得る。ＲＱＴのリーフノードは変換ユニット（ＴＵ）と呼ばれることがある。ＴＵに関連するピクセル差分値は、変換されて変換係数が生成され得、その変換係数は量子化され得る。

[0073] リーフＣＵは、１つまたは複数の予測ユニット（ＰＵ）を含み得る。概して、ＰＵは、対応するＣＵの全部または一部分に対応する空間エリアを表し、そのＰＵの参照サンプルを取り出すためのデータを含み得る。その上、ＰＵは、予測に関係するデータを含む。たとえば、ＰＵがイントラモード符号化されるとき、ＰＵのためのデータは、ＰＵに対応するＴＵのためのイントラ予測モードを記述するデータを含み得る残差４分木（ＲＱＴ）中に含まれ得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵのための１つまたは複数の動きベクトルを定義するデータを含み得る。ＰＵのための動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルについての解像度（たとえば、１／４ピクセル精度または１／８ピクセル精度）、動きベクトルが指す参照ピクチャ、および／または動きベクトルのための参照ピクチャリスト（たとえば、リスト０、リスト１、またはリストＣ）を記述し得る。

[0074] １つまたは複数のＰＵを有するリーフＣＵは、１つまたは複数の変換ユニット（ＴＵ）をも含み得る。変換ユニットは、上記で説明したように、（ＴＵ４分木構造とも呼ばれる）ＲＱＴを使用して指定され得る。たとえば、スプリットフラグは、リーフＣＵが４つの変換ユニットにスプリットされるかどうかを示し得る。次いで、各変換ユニットは、さらなるサブＴＵにさらにスプリットされ得る。ＴＵがさらにスプリットされないとき、そのＴＵはリーフＴＵと呼ばれることがある。概して、イントラコーディングの場合、リーフＣＵに属するすべてのリーフＴＵは同じイントラ予測モードを共有する。すなわち、概して、リーフＣＵのすべてのＴＵの予測値を計算するために同じイントラ予測モードが適用される。イントラコーディングの場合、ビデオエンコーダは、イントラ予測モードを使用して各リーフＴＵの残差値をＴＵに対応するＣＵの一部と元のブロックとの間の差分として計算し得る。ＴＵは、必ずしもＰＵのサイズに制限されるとは限らない。したがって、ＴＵは、ＰＵよりも大きいことも小さいこともある。イントラコーディングの場合、ＰＵは、同じＣＵの対応するリーフＴＵとコロケートされ得る。いくつかの例では、リーフＴＵの最大サイズは、対応するリーフＣＵのサイズに対応し得る。

[0075] その上、リーフＣＵのＴＵはまた、残差４分木（ＲＱＴ）と呼ばれる、それぞれの４分木データ構造に関連し得る。すなわち、リーフＣＵは、リーフＣＵがどのようにＴＵに区分されるかを示す４分木を含み得る。ＴＵ４分木のルートノードは概してリーフＣＵに対応し、ＣＵ４分木のルートノードは概してツリーブロック（またはＬＣＵ）に対応する。スプリットされないＲＱＴのＴＵはリーフＴＵと呼ばれる。概して、本開示では、別段に明記されていない限り、リーフＣＵおよびリーフＴＵに言及するためにそれぞれＣＵおよびＴＵという用語を使用する。

[0076] ビデオシーケンスは一連のビデオフレームまたはピクチャを含み得る。ピクチャグループ（ＧＯＰ：group of pictures）は、概して、ビデオピクチャのうちの一連の１つまたは複数を備える。ＧＯＰは、ＧＯＰ中に含まれるいくつかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、ピクチャのうちの１つまたは複数のヘッダ中、または他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスのための符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作し得る。ビデオブロックはＣＵ内のコーディングノードに対応し得る。ビデオブロックは、固定サイズまたは可変サイズを有し得、指定のコーディング規格に応じてサイズが異なり得る。

[0077] 一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２ＮまたはＮ×ＮのＰＵサイズでのイントラ予測をサポートし、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、またはＮ×Ｎの対称的なＰＵサイズでのインター予測をサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズでのインター予測のための非対称区分をサポートする。非対称区分では、ＣＵの一方向は区分されないが、他の方向は２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、または「Ｒｉｇｈｔ」という表示によって示される。したがって、たとえば、「２Ｎ×ｎＵ」は、上部の２Ｎ×０．５Ｎ ＰＵと下部の２Ｎ×１．５Ｎ ＰＵとで水平方向に区分された２Ｎ×２Ｎ ＣＵを指す。

[0078] 本開示では、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」は、垂直寸法および水平寸法に関するビデオブロックのピクセル寸法、たとえば、１６×１６（16x16）ピクセルまたは１６×１６（16 by 16）ピクセルを指すために互換的に使用され得る。概して、１６×１６ブロックは、垂直方向に１６ピクセルを有し（ｙ＝１６）、水平方向に１６ピクセルを有し得る（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮピクセルを備え、水平方向にＮピクセルを備え、ただし、Ｎは非負整数値を表す。ブロック中のピクセルは行と列とに構成され得る。その上、ブロックは、必ずしも、水平方向において垂直方向と同じ数のピクセルを有する必要があるとは限らない。たとえば、ブロックはＮ×Ｍピクセルを備え得、ただし、Ｍは必ずしもＮに等しいとは限らない。

[0079] ＣＵのＰＵを使用したイントラ予測コーディングまたはインター予測コーディングの後に、ビデオエンコーダ２０は、ＣＵのＴＵのための残差データを計算し得る。ＰＵは、（ピクセル領域とも呼ばれる）空間領域において予測ピクセルデータを生成する方法またはモードを記述するシンタックスデータを備え得、ＴＵは、変換、たとえば、残差ビデオデータへの離散サイン変換（ＤＳＴ）、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャのピクセルと、ＰＵに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを含むＴＵを形成し、次いで、ＣＵのための変換係数を生成するためにＴＵを変換し得る。

[0080] 変換係数を生成するための任意の変換の後に、ビデオエンコーダ２０は変換係数の量子化を実行し得る。量子化は、それの最も広い通常の意味を有することが意図された広義の用語である。一実施形態では、量子化は、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。たとえば、量子化中にｎビット値がｍビット値に切り捨てられ得、ただし、ｎはｍよりも大きい。

[0081] 量子化の後に、ビデオエンコーダは、変換係数を走査して、量子化された変換係数を含む２次元行列から１次元ベクトルを生成し得る。走査は、アレイの前部により高いエネルギー（したがって、より低い周波数）係数を配置し、アレイの後部により低いエネルギー（したがって、より高い周波数）係数を配置するように設計され得る。いくつかの例では、ビデオエンコーダ２０は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化された変換係数を走査するためにあらかじめ定義された走査順序を利用し得る。他の例では、ビデオエンコーダ２０は適応型走査を実行し得る。１次元ベクトルを形成するために量子化された変換係数を走査した後に、ビデオエンコーダ２０は、たとえば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ：context-adaptive variable length coding）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：context-adaptive binary arithmetic coding）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率間隔区分エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コーディング、または別のエントロピー符号化方法に従って１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための符号化されたビデオデータに関連するシンタックス要素をエントロピー符号化し得る。

[0082] ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当て得る。コンテキストは、たとえば、シンボルの近隣値が非０であるか否かに関係し得る。ＣＡＶＬＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルのための可変長コードを選択し得る。ＶＬＣにおけるコードワードは、比較的短いコードが優勢シンボル（more probable symbol）に対応し、より長いコードが劣勢シンボル（less probable symbol）に対応するように構成され得る。このようにして、ＶＬＣの使用は、たとえば、送信されるべき各シンボルのために等長コードワードを使用するよりも、ビット節約を達成し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。

[0083] ビデオエンコーダ２０はさらに、ブロックベースのシンタックスデータ、フレームベースのシンタックスデータ、およびＧＯＰベースのシンタックスデータなどのシンタックスデータを、たとえば、フレームヘッダ、ブロックヘッダ、スライスヘッダ、またはＧＯＰヘッダ中でビデオデコーダ３０に送り得る。ＧＯＰシンタックスデータは、それぞれのＧＯＰ中のフレームの数を記述し得、フレームシンタックスデータは、対応するフレームを符号化するために使用される符号化／予測モードを示し得る。

[0084] 上記で説明したように、各ツリーブロックはルーマサンプルとクロマサンプルの両方をさらに含み得る。クロマサブサンプリングは、ルーマ（たとえば、輝度）情報よりも少ないクロマ（たとえば、色）情報を与えることによってピクチャを符号化することの実施であり、これは、色差についての人間の視覚系の鋭敏さがルミナンスについてよりも低いことを利用する。たとえば、４：２：２（たとえば、Ｃｂ：Ｃｒ：Ｙ）サンプリングでは、２つのクロマアレイの各々は同じ高さ（たとえば、Ｃｂ＝２およびＣｒ＝２）とルーマアレイの１／２の幅（たとえば、Ｙ＝４）とを有する。別の例として、４：２：０サンプリングでは、２つのクロマアレイの各々はルーマアレイの１／２の高さと１／２の幅とを有する。また別の例では、４：４：４サンプリングでは、２つのクロマアレイの各々はルーマアレイと同じ高さおよび幅を有し得、または他の構成では、各々がモノクロームサンプリングされたピクチャとして別々に処理される、３つの色平面があり得る。たとえば、４：４：４サンプリングでは、平面フラグ（たとえば、ｓｅｐａｒａｔｅ＿ｃｏｌｏｒ＿ｐｌａｎｅ＿ｆｌａｇ）が０に等しい場合、２つのクロマアレイの各々はルーマアレイと同じ高さおよび幅を有し得る。そうではなく、平面フラグが１に等しい場合、３つの色平面はモノクロームサンプリングされたピクチャとして別々に処理され得る。

[0085] ビデオシーケンス中のルーマサンプルおよびクロマサンプルの各々は８ビットから１４ビットまでを必要とし得る。ビット要件により、ビデオ符号化および復号システムは、ビットを節約するために、（上記で説明した）予測およびフィルタ処理の様々な手法を実装し得る。いくつかの構成では、ルーマアレイ中で使用されるビット数は、クロマアレイ中で使用されるビット数とは異なり得る。たとえば、インデックス（たとえば、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ）値が１に等しいとき、ピクチャ中のルーマサンプルおよびクロマサンプルの公称垂直および水平相対ロケーションは、たとえば４：２：０サンプリングで構成した複数のクロマサンプルの各々を囲むルーマサンプルの３×４アレイを備え得る。代替クロマサンプル相対ロケーションは、ビデオユーザビリティ情報、たとえば、ＨＥＶＣ規格の付属書類Ｅにおいて示され得る。別の例として、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの値が２に等しい場合、クロマサンプルは、対応するルーマサンプルと共同配置（co-site）され得、ピクチャ中の公称ロケーションは４：２：２サンプリングの場合のように構成され得る。また別の例として、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの値が３に等しいとき、アレイサンプルは、ピクチャのすべての場合について共同配置され得、ピクチャ中の公称ロケーションは４：４：４サンプリングの場合のように構成され得る。

[0086] １つの例示的なコンポーネント間予測およびフィルタ処理手法は、再構成されたルーマサンプルによるクロマイントラ予測を備え得る。１つの例示的なコンポーネント間予測方法は線形モデル（ＬＭ：Linear Model）モードと呼ばれることがある。ＬＭモードでは、クロマサンプルは、式１に示されているように、線形モデルによって同じブロックの再構成されたルーマサンプルから予測され得る。

上式で、Ｐｒｅｄ_C［ｘ，ｙ]は、ブロック中のクロマサンプルの予測を示し得、

は、ブロック中の再構成されたルーマサンプルを示し得、パラメータαおよびβは、近隣の再構成されたサンプルから導出され得る。

[0087] クロマ成分のサンプリング比はルーマ成分のそれの１／２であり得、たとえば、ＹＵＶ４２０サンプリングでは、垂直方向において０．５ピクセル位相シフトを有し得る。再構成されたルーマは、式２に記載されているように、クロマ信号のサイズおよび位相に一致するように垂直方向および水平方向にダウンサンプリングされ得、ここで、パラメータαおよびβは、それぞれ式３および式４に記載されているように、近隣の再構成されたサンプルから導出され得る。

上式で、Ｒｅｃ_C（ｉ）および

は、再構成されたクロマサンプル、およびターゲットブロックの周りのダウンサンプリングされたルーマサンプルを示し得、Ｉは、近隣データのサンプルの総数を示し得る。

[0088] さらに、式（３）および式（４）に関して、いくつかの例では、αおよびβの導出のために使用されるサンプルは左の因果的サンプルと上の因果的サンプルとを含み得、これは、総サンプル数を２のべき乗として維持し得る。たとえば、ターゲットＮ×Ｎクロマブロックについて、左の因果的サンプルと上の因果的サンプルの両方が利用可能であるとき、関係する総サンプル数は２Ｎであり得る。しかし、左の因果的サンプルまたは上の因果的サンプルのみが利用可能であるとき、関係する総サンプル数はＮであり得る。

[0089] 別の例示的なコンポーネント間予測およびフィルタ処理プロセスはクロスチャネルイントラクロマ残差予測を含み得る。たとえば、そのようなプロセスは、再構成されたＣｂ残差に基づいてＣｒ残差を予測し得る。プロセスは、ＬＭモードを使用してコーディングされたものを除いて、すべてのイントラブロックのために使用可能にされ得る。追加の制御フラグは必要とされないことがある。一例では、プロセスは以下のことを含み得る。（１）Ｃｒピクセルが通常イントラクロマ予測モードによって予測され得、ここにおいて、（ｘ，ｙ）に位置するピクセルについて、Ｃｒピクセルの予測はＰｒｅｄ_Cr［ｘ，ｙ]として示され得る。次いで、（２）ステップ（１）中のイントラクロマ予測モードがＬＭモードに属さない場合、Ｃｒピクセルの変更予測が、コロケートＰＵのＣｂピクセルの再構成された残差によって生成され得る。一例では、予測式は、

であるような、（ｘ，ｙ）に位置するピクセルについての線形モデルであり得、ただし、ＭｏｄＰｒｅｄ_CrはＣｒピクセルの変更予測であり得、

はＣｂピクセルの再構成された残差値であり得る。最後に、（３）（ｘ，ｙ）に位置するＣｒピクセルの最終予測は、ＦｉｎａｌＰｒｅｄ_Cr［ｘ，ｙ]＝Ｐｒｅｄ_Cr［ｘ，ｙ]＋ＭｏｄＰｒｅｄ_Cr［ｘ，ｙ]として計算され得、ここで、パラメータαは固定値であり得る。一実施形態では、αのためのデフォルト値は−１／２であり得る。いくつかの実施形態では、クロスチャネルクロマ残差予測はＬＭモードでは適用されないことがある。

[0090] 別の例示的なコンポーネント間予測およびフィルタ処理手法として、システムはまた、コンポーネント間予測および／またはレイヤ間予測を実装し得る。上記でさらに説明したように、効率および品質を改善するために、レイヤ間予測のために使用されるクロマ成分は、対応するルーマ成分にハイパスフィルタを適用することによって拡張され得る。たとえば、ベースレイヤが、最初に、エンハンスメントレイヤと同じ空間解像度を含む参照レイヤを生成するためにアップサンプリングされ得る。次いで、参照レイヤにおいて、インター参照レイヤ中の各クロマピクセルは、アップサンプリングされたクロマ値にオフセットを加算することによって拡張され得る。オフセットは、ハイパスフィルタを通して周囲ルーマピクセル（たとえば、３×４ルーマピクセル）をフィルタ処理した結果に基づき得る。対応するベースレイヤルーマ平面からの高周波成分は、対応するベースレイヤ圧縮中に失われたエンハンスメントレイヤクロマエッジの復元を可能にする。

[0091] 各エンハンスメントレイヤについて、システムまたは方法は、レイヤ間参照ピクチャのＣｂ平面およびＣｒ平面の各々のために１つのハイパスフィルタを使用し得る。本システムまたは方法は、レイヤ間参照ピクチャにおける元のエンハンスメントレイヤクロマ平面と拡張クロマ平面との間の平均２乗誤差（たとえば、ＭＳＥ）が最小限に抑えられるように、固有のハイパスフィルタ係数（たとえば、

および

）を決定し得る。平均２乗誤差を計算するために、本システムまたは方法は、たとえば、最小最小平均２乗誤差（ＬＭＭＳＥ：Least Minimum Mean Squared Error）推定器（または他の推定器）を使用し得る。

および

を計算するための例示的な式が式（５）および式（６）に示されており、ただし、Ｃｂ、Ｃｒ、およびＹは、それぞれクロマサブサンプリング値の（たとえば、Ｃｂクロマ：Ｃｒクロマ：ルーマを表す）Ｃｂ：Ｃｒ：Ｙ部分を表し、Ｓは、対応するＣｂまたはＣｒの元のエンハンスメントレイヤ値を表し、ｘおよびｙは、対応するクロマピクセル位置およびルーマピクセル位置を表す。

上式で、Ｙ、Ｃｂ、およびＣｒは、所与のレイヤ間参照ピクチャにおける３つの平面を表し得る。

[0092] 式（５）および式（６）に記載されているものなどの式を使用するとき、

および

は、量子化なしにシグナリングされないことがある実数値係数であり得る。本システムまたは方法は、係数を量子化するために量子化器（たとえば、１６レベル一様量子化器など）を使用し得る。量子化器は、いくつかの構成では、量子化パラメータ（たとえば、Ｑ_CbおよびＱ_Cr）および／またはシフトパラメータ（たとえば、Ｎ_CbおよびＮ_Cr）など、いくつかのパラメータによって制御され得る。量子化器は、たとえば、式（７）および式（８）を使用して、量子化ステップサイズＱＳＳを決定し得る。

[0093] いくつかの構成では、

および

は、式（９）および式（１０）などの、決定された量子化ステップサイズを組み込む簡略式を使用して近似され得る。

[0094] 量子化されると、決定されたハイパスフィルタ係数（たとえば、４ビット精度をもつ３×４フィルタ）は整数ｆ_Cbおよびｆ_Crとして表され得る。ｆ_Cbおよびｆ_Crは、たとえば、−８から７までのダイナミックレンジ（たとえば、１２個の値をもつ４ビット表現）を有し得る。

[0095] 量子化フィルタ係数、量子化パラメータ、およびシフトパラメータはフィルタパラメータと総称され得る。フィルタパラメータは、ヘッダが各クロマ平面のために使用され得るかどうかを示すバイナリフラグをさらに含み得るスライスヘッダ中で送信され得る。いくつかの構成では、２つのクロマ平面の各々について、フィルタパラメータをシグナリングするために６５ビットが使用され得る。たとえば、６５ビットは、１ビットフラグと、各々が４ビット精度をもち、合計４８ビットになる、３×４フィルタ係数と、１１ビット量子化パラメータ（大きさを表す１０ビットおよび符号を表す１ビット）、たとえば、Ｑ_Cbと、５ビットシフトパラメータ、たとえば、Ｎ_Cbとを含み得る。より高いレベルのシンタックスでは、提案されたツールが現在のコーディングされたビデオシーケンス中で使用され得るかどうかを示すために、１つのバイナリフラグがシーケンスパラメータセット（ＳＰＳ：sequence parameter set）に追加され得る。他の構成では、ヘッダが現在のコーディングされたビデオシーケンス中で使用され得るどうかを示すために、追加の１ビットバイナリフラグが含められ得る。他の実施形態では、カラーフォーマットに基づくフィルタ形状適応（filter shape adaptation）が使用され得る。さらなる実施形態では、効率を増加させるために、（３×４フィルタ係数ではなく）８点十字形（8-point cross-shape）フィルタフォーマットが使用され得る。他の実施形態では、様々なフィルタのいずれかが使用され得る。

[0096] フィルタパラメータのうちの１つまたは複数が、たとえば、レイヤ間参照ピクチャ中の、ルーマピクセルによって囲まれたＣｂクロマピクセルおよび／またはＣｒクロマピクセルを拡張するためにシグナリングされ得る。たとえば、ｆ_Cbおよびｆ_Crがシグナリングされ、式（１１）および式（１２）に示されているように、クロマオフセット中間値（たとえば、ｚ（ｘ，ｙ））を生成し得、ただし、ｘおよびｙはピクセル位置を表す。

[0097] クロマオフセット中間値ｚ（ｘ，ｙ）は、次いで、量子化ステップサイズ値と、量子化パラメータとのｚ（ｘ，ｙ）の比較とを使用して、正常範囲クロマオフセット中間値（たとえば、ｏ（ｘ，ｙ））にスケーリングされ得る。拡張ピクセルが、次いで、Ｃｂ_enh（ｘ，ｙ）およびＣｒ_enh（ｘ，ｙ）によって表され、式（１３）および式（１４）に示されているように計算され得、ただし、Ｃｂ（ｘ，ｙ）およびＣｒ（ｘ，ｙ）は、それぞれＣｂクロマピクセルおよびＣｒクロマピクセルについてのアップサンプリングされたクロマ値を表す。

[0098] 既存のビデオ符号化および復号システムおよび方法は、ピクチャレイヤにおいてフィルタパラメータの１つのセット（たとえば、色成分ＣｂおよびＣｒごとに１つずつ）のみをシグナリングし、各セットをピクチャ全体に適用する。言い換えれば、既存のシステムは、Ｃｂ成分のためのフィルタパラメータの単一のセットをシグナリングし、ピクチャ全体中のＣｂ成分のすべてを決定するためにパラメータの同じセットを使用し得る。同様に、Ｃｒ成分のためのフィルタパラメータの単一のセットがピクチャのためにシグナリングされ得、同じＣｒフィルタパラメータが、そのピクチャ全体中のＣｒ成分のすべてを決定するために使用され得る。上記で説明したように、ピクチャ全体のためにフィルタパラメータの１つのセットのみをシグナリングすることは低品質ピクチャを生じ得る。たとえば、大解像度ピクチャ（たとえば、４Ｋ、または３８４０×２１６０ピクセルなど）は、異なるフィルタパラメータがそれのために有用であろう異なるコンテンツを有するいくつかの領域を含み得る。システムがピクチャ全体のために色成分ごとにフィルタパラメータの１つのセットのみを使用した場合、システムは最良のピクチャ品質を与えないことがある。

[0099] 上記および以下で説明するように、本開示のシステムおよび方法は、上記および以下で説明するように、レイヤ間参照ピクチャを決定すること、レイヤ間参照ピクチャを複数のリーフに区分すること、各個々のリーフのための固有のフィルタパラメータを決定すること、各個々のリーフのための固有のフィルタパラメータをシグナリングすること、および／または固有のパーティション情報と固有のフィルタパラメータとを使用してレイヤ間参照ピクチャを復号し、拡張することのうちの１つまたは複数によって、（たとえば、複雑度およびシグナリングコストを減らして）コンポーネント間フィルタ処理コーディング効率を改善し、（たとえば、クロマピクセルを拡張して）レイヤ間参照ピクチャ品質を改善する。さらに、いくつかの実施形態は、カラーフォーマットに基づいてフィルタ形状適応を実装し得る。

ビデオエンコーダ（Video Encoder）
[00100] 図２Ａは、本開示で説明する態様による技法を実装し得るビデオエンコーダの一例を示すブロック図である。ビデオエンコーダ２０は、ＨＥＶＣの場合など、ビデオビットストリームのシングルレイヤを処理するように構成され得る。さらに、ビデオエンコーダ２０は、限定はしないが、上記でならびに図４Ａ、図４Ｂ、図５Ａ、図５Ｂ、および図６に関して以下でより詳細に説明する、レイヤ間参照ピクチャを決定すること、レイヤ間参照ピクチャを複数のリーフに区分すること、各個々のリーフのための固有のフィルタパラメータを決定すること、各個々のリーフのための固有のフィルタパラメータをシグナリングすること、および／またはコンポーネント間フィルタ処理と、レイヤ間予測と、関係するプロセスとを実行する他の方法を含む、本開示の技法のいずれかまたはすべてを実行するように構成され得る。いくつかの実施形態では、（以下でさらに説明する）レイヤ間予測ユニット６６が本技法のうちの１つまたはすべてを実行し得る。別の実施形態では、レイヤ間予測ユニット６６は、本技法のうちの１つまたはすべてを実行するときに、（以下でさらに説明する）パーティションユニット４８との組合せで動作し得る。本技法のうちの１つまたはすべてが、たとえば、上記および以下で説明するように、各個々のリーフのための固有のフィルタパラメータを使用してクロマピクセルをアップサンプリングすることによって、レイヤ間参照ピクチャ品質を向上させるために使用され得る。いくつかの実施形態では、フィルタパラメータは、上記および以下でさらに説明するように、フィルタ係数、量子化パラメータ、シフトパラメータ、または他のパラメータのうちの１つまたは複数を含み得る。ただし、本開示の態様はそのように限定されない。いくつかの例では、本開示で説明する技法は、ビデオエンコーダ２０の様々な構成要素間で共有され得る。いくつかの例では、追加または代替として、プロセッサ（図示せず）が、本開示で説明する技法のいずれかまたはすべてを実行するように構成され得る。

[00101] 説明の目的で、本開示では、ＳＶＣおよび／またはＨＥＶＣコーディングのコンテキストにおいてビデオエンコーダ２０について説明する。ただし、本開示の技法は他のコーディング規格または方法に適用可能であり得る。図２Ａのエンコーダ２０はコーデックのシングルレイヤを示している。しかしながら、図２Ｂに関してさらに説明するように、ビデオエンコーダ２０の一部または全部はマルチレイヤコーデックに従う処理のために複製され得る。

[00102] ビデオエンコーダ２０は、ビデオスライス内のビデオブロックの（イントラコーディング、インターコーディングまたはレイヤ間コーディングとも呼ばれる）イントラ予測、インター予測、およびレイヤ間予測を実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間冗長性を低減または除去するために空間予測に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオの時間冗長性を低減または除去するために時間予測に依拠する。レイヤ間コーディングは、同じビデオコーディングシーケンス内の異なる（１つまたは複数の）レイヤ内のビデオに基づく予測に依拠する。イントラモード（Intra-mode）（Ｉモード）は、いくつかの空間ベースのコーディングモードのいずれかを指すことがある。単方向予測（uni-directional prediction）（Ｐモード）または双方向予測（bi-prediction）（Ｂモード）などのインターモード（Inter-mode）は、いくつかの時間ベースのコーディングモードのいずれかを指すことがある。

[00103] 図２Ａに示されているように、ビデオエンコーダ２０は、符号化されるべきビデオフレーム内の現在ビデオブロックを受信する。図２Ａの例では、ビデオエンコーダ２０は、モード選択ユニット４０と、参照フレームメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。モード選択ユニット４０は、動き補償ユニット４４と、動き推定ユニット４２と、イントラ予測ユニット４６と、レイヤ間予測ユニット６６と、パーティションユニット４８とを含む。参照フレームメモリ６４は復号ピクチャバッファを含み得る。復号ピクチャバッファは、それの通常の意味を有する広義の用語であり、いくつかの実施形態では、参照フレームのビデオコーデック管理型データ構造を指す。

[00104] ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換ユニット６０と、加算器６２とを含む。再構成されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタ処理するためのデブロッキングフィルタ（図２Ａに図示せず）も含まれ得る。所望される場合、デブロッキングフィルタは加算器６２の出力をフィルタ処理し得る。追加のフィルタ（ループ内またはループ後）もデブロッキングフィルタに加えて使用され得る。そのようなフィルタは、簡潔のために示されていないが、所望される場合、（ループ内フィルタとして）加算器５０の出力をフィルタ処理し得る。

[00105] 符号化プロセス中に、ビデオエンコーダ２０は、コーディングされるべきビデオフレームまたはスライスを受信する。フレームまたはスライスは複数のビデオブロックに分割され得る。動き推定ユニット４２および動き補償ユニット４４は、時間予測を行うために、１つまたは複数の参照フレーム中の１つまたは複数のブロックに対する受信されたビデオブロックのインター予測コーディングを実行する。イントラ予測ユニット４６は、代替的に、空間予測を行うために、コーディングされるべきブロックと同じフレームまたはスライス中の１つまたは複数の近隣ブロックに対する受信されたビデオブロックのイントラ予測コーディングを実行し得る。ビデオエンコーダ２０は、たとえば、ビデオデータのブロックごとに適切なコーディングモードを選択するために、複数のコーディングパスを実行し得る。

[00106] その上、パーティションユニット４８は、前のコーディングパスにおける前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分し得る。たとえば、パーティションユニット４８は、最初にフレームまたはスライスをＬＣＵに区分し、レートひずみ（rate-distortion）分析（たとえば、レートひずみ最適化など）に基づいてＬＣＵの各々をサブＣＵに区分し得る。モード選択ユニット４０は、さらに、サブＣＵへのＬＣＵの区分を示す４分木データ構造を生成し得る。４分木のリーフノードＣＵは、１つまたは複数のＰＵと１つまたは複数のＴＵとを含み得る。

[00107] モード選択ユニット４０は、たとえば、誤差結果に基づいてコーディングモード、すなわち、イントラ、インター、またはレイヤ間予測モードのうちの１つを選択し、得られたイントラ、インター、またはレイヤ間コーディングされたブロックを、残差ブロックデータを生成するために加算器５０に与え、参照フレームとして使用するための符号化されたブロックを再構成するために加算器６２に与え得る。モード選択ユニット４０はまた、動きベクトル、イントラモードインジケータ、パーティション情報、および他のそのようなシンタックス情報など、シンタックス要素をエントロピー符号化ユニット５６に与える。

[00108] 動き推定ユニット４２と動き補償ユニット４４とは、高度に統合され得るが、概念的な目的のために別々に示されている。動き推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、現在フレーム（または他のコーディングされたユニット）内でコーディングされている現在ブロックに対する参照フレーム（または他のコーディングされたユニット）内の予測ブロックに対する現在ビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示し得る。予測ブロックは、絶対差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、または他の差分メトリックによって決定され得るピクセル差分に関して、コーディングされるべきブロックにぴったり一致することがわかるブロックである。いくつかの例では、ビデオエンコーダ２０は、参照フレームメモリ６４に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ２０は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置の値を補間し得る。したがって、動き推定ユニット４２は、フルピクセル位置と分数ピクセル位置とに関して動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。

[00109] 動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライスにおけるビデオブロックのＰＵのための動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択され得、それらの参照ピクチャリストの各々は、参照フレームメモリ６４に記憶された１つまたは複数の参照ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。

[00110] 動き補償ユニット４４によって実行される動き補償は、動き推定ユニット４２によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することに関与し得る。動き推定ユニット４２と動き補償ユニット４４とは、いくつかの例では機能的に統合され得る。現在ビデオブロックのＰＵのための動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照ピクチャリストのうちの１つにおいて指す予測ブロックの位置を特定し得る。加算器５０は、以下で説明するように、コーディングされている現在ビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残差ビデオブロックを形成する。いくつかの実施形態では、動き推定ユニット４２はルーマ成分に対して動き推定を実行し得、動き補償ユニット４４は、クロマ成分とルーマ成分の両方のためにルーマ成分に基づいて計算された動きベクトルを使用し得る。モード選択ユニット４０は、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するためのビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。

[00111] イントラ予測ユニット４６は、上記で説明したように、動き推定ユニット４２と動き補償ユニット４４とによって実行されるインター予測の代替として、現在ブロックをイントラ予測または計算し得る。特に、イントラ予測ユニット４６は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測ユニット４６は、たとえば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し得、イントラ予測ユニット４６（または、いくつかの例では、モード選択ユニット４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。

[00112] たとえば、イントラ予測ユニット４６は、様々なテストされたイントラ予測モードについてレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、概して、符号化されたブロックと、符号化されたブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ（または誤差）の量、ならびに符号化されたブロックを生成するために使用されるビットレート（すなわち、ビット数）を決定する。イントラ予測ユニット４６は、どのイントラ予測モードがブロックについて最良のレートひずみ値を呈するかを決定するために、様々な符号化されたブロックのひずみおよびレートから比を計算し得る。

[00113] ブロックのためのイントラ予測モードを選択した後に、イントラ予測ユニット４６は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に与え得る。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、複数のイントラ予測モードインデックステーブルおよび複数の変更イントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、および変更イントラ予測モードインデックステーブルの指示とを含み得る構成データを送信ビットストリーム中に含め得る。

[00114] ビデオエンコーダ２０はレイヤ間予測ユニット６６を含み得る。レイヤ間予測ユニット６６は、ＳＶＣにおいて利用可能である１つまたは複数の異なるレイヤ（たとえば、ベースレイヤまたは参照レイヤ）を使用して現在ブロック（たとえば、ＥＬ中の現在ブロック）を予測するように構成される。そのような予測はレイヤ間予測と呼ばれることがある。レイヤ間予測ユニット６６は、レイヤ間冗長性を低減するために予測方法を利用し、それによって、コーディング効率を改善し、計算リソース要件を低減する。レイヤ間予測のいくつかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、およびレイヤ間残差予測がある。レイヤ間イントラ予測は、エンハンスメントレイヤ中の現在ブロックを予測するために、ベースレイヤ中のコロケートブロックの再構成を使用する。レイヤ間動き予測は、エンハンスメントレイヤ中の動作を予測するために、ベースレイヤの動き情報を使用する。レイヤ間残差予測は、エンハンスメントレイヤの残差を予測するために、ベースレイヤの残差を使用する。ベースレイヤとエンハンスメントレイヤとが異なる空間解像度を有するとき、時間スケーリング関数を使用する空間動きベクトルスケーリングおよび／またはレイヤ間位置マッピングが、以下でより詳細に説明するように、レイヤ間予測ユニット６６によって実行され得る。

[00115] ビデオエンコーダ２０は、コーディングされている元のビデオブロックから、モード選択ユニット４０からの予測データを減算することによって残差ビデオブロックを形成する。加算器５０は、この減算演算を実行する１つまたは複数の構成要素を表す。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換を残差ブロックに適用して、残差変換係数値を備えるビデオブロックを生成する。変換処理ユニット５２は、ＤＣＴと概念的に同様である他の変換を実行し得る。たとえば、離散サイン変換（ＤＳＴ）、ウェーブレット変換、整数変換、サブバンド変換または他のタイプの変換も使用され得る。

[00116] 変換処理ユニット５２は、変換を残差ブロックに適用して、残差変換係数のブロックを生成し得る。変換は、残差情報をピクセル値領域から周波数領域などの変換領域に変換し得る。変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。いくつかの例では、量子化ユニット５４は、次いで、量子化された変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット５６が走査を実行し得る。

[00117] 量子化の後に、エントロピー符号化ユニット５６は量子化された変換係数をエントロピー符号化する。たとえば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングまたは別のエントロピーコーディング技法を実行し得る。コンテキストベースエントロピーコーディングの場合、コンテキストは近隣ブロックに基づき得る。エントロピー符号化ユニット５６によるエントロピーコーディングの後に、符号化されたビットストリームは、別のデバイス（たとえば、ビデオデコーダ３０）に送信されるか、あるいは後で送信するかまたは取り出すためにアーカイブされ得る。

[00118] 逆量子化ユニット５８および逆変換ユニット６０は、（たとえば、参照ブロックとして後で使用するために）ピクセル領域において残差ブロックを再構成するために、それぞれ逆量子化および逆変換を適用する。動き補償ユニット４４は、残差ブロックを参照フレームメモリ６４のフレームのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット４４はまた、動き推定において使用するためのサブ整数ピクセル値を計算するために、再構成された残差ブロックに１つまたは複数の補間フィルタを適用し得る。加算器６２は、参照フレームメモリ６４に記憶するための再構成されたビデオブロックを生成するために、再構成された残差ブロックを、動き補償ユニット４４によって生成された動き補償予測ブロックに加算する。再構成されたビデオブロックは、後続のビデオフレーム中のブロックをインターコーディングするために、動き推定ユニット４２および動き補償ユニット４４によって参照ブロックとして使用され得る。

マルチレイヤビデオエンコーダ（Multi-Layer Video Encoder）
[00119] 図２Ｂは、本開示で説明する態様による技法を実装し得るマルチレイヤビデオエンコーダ２１の一例を示すブロック図である。ビデオエンコーダ２１は、ＳＨＶＣおよびマルチビューコーディングの場合など、マルチレイヤビデオフレームを処理するように構成され得る。さらに、ビデオエンコーダ２１は、本開示の技法のいずれかまたはすべてを実行するように構成され得る。

[00120] ビデオエンコーダ２１はビデオエンコーダ２０Ａとビデオエンコーダ２０Ｂとを含み、それらの各々は図２Ａのビデオエンコーダ２０として構成され得、ビデオエンコーダ２０に関して上記で説明した機能を実行し得る。さらに、参照番号の再利用によって示されるように、ビデオエンコーダ２０Ａおよび２０Ｂは、復号ピクチャバッファをさらに含み得、「参照フレームメモリ（復号ピクチャバッファ）６４」と呼ばれることがある、参照フレームメモリ（「ＲＦＭ：reference frame memory」）６４など、ビデオエンコーダ２０としてシステムとサブシステムとのうちの少なくともいくつかを含み得る。ビデオエンコーダ２１は、２つのビデオエンコーダ２０Ａおよび２０Ｂを含むものとして示されているが、ビデオエンコーダ２１は、そのようなものとして限定されず、任意の数のビデオエンコーダ２０レイヤを含み得る。いくつかの実施形態では、ビデオエンコーダ２１はアクセスユニット中の各ピクチャまたはフレームについてビデオエンコーダ２０を含み得る。たとえば、５つのピクチャを含むアクセスユニットは、５つのエンコーダレイヤを含むビデオエンコーダによって処理または符号化され得る。いくつかの実施形態では、ビデオエンコーダ２１は、アクセスユニット中のフレームよりも多くのエンコーダレイヤを含み得る。いくつかのそのような場合では、ビデオエンコーダレイヤのいくつかは、いくつかのアクセスユニットを処理するときに非アクティブであり得る。

[00121] ビデオエンコーダ２０Ａおよび２０Ｂに加えて、ビデオエンコーダ２１はリサンプリングユニット９０を含み得る。リサンプリングユニット９０は、場合によっては、たとえば、エンハンスメントレイヤを作成するために、受信されたビデオフレームのベースレイヤをアップサンプリングし得る。リサンプリングユニット９０は、フレームの受信されたベースレイヤに関連する特定の情報をアップサンプリングするが、他の情報をアップサンプリングしないことがある。たとえば、リサンプリングユニット９０は、ベースレイヤの空間サイズまたはピクセルの数をアップサンプリングし得るが、スライスの数またはピクチャ順序カウントは一定のままであり得る。場合によっては、リサンプリングユニット９０は、受信されたビデオを処理しないことがあるか、および／または随意であり得る。たとえば、場合によっては、モード選択ユニット４０がアップサンプリングを実行し得る。いくつかの実施形態では、リサンプリングユニット９０は、レイヤをアップサンプリングすることと、スライス境界ルールおよび／またはラスタ走査ルールのセットに準拠するために１つまたは複数のスライスを再編成、再定義、変更、または調整することとを行うように構成される。アクセスユニット中のベースレイヤまたは下位レイヤをアップサンプリングするものとして主に説明したが、場合によっては、リサンプリングユニット９０はレイヤをダウンサンプリングし得る。たとえば、ビデオのストリーミング中に帯域幅が減少した場合、フレームは、アップサンプリングされるのではなく、ダウンサンプリングされ得る。リサンプリングユニット９０は、クロッピングおよび／またはパディング演算をも実行するようにさらに構成され得る。

[00122] リサンプリングユニット９０は、下位レイヤエンコーダ（たとえば、ビデオエンコーダ２０Ａ）の参照フレームメモリ（復号ピクチャバッファ）６４からピクチャまたはフレーム（またはピクチャに関連するピクチャ情報）を受信し、ピクチャ（または受信されたピクチャ情報）をアップサンプリングするように構成され得る。このアップサンプリングされたピクチャは、次いで、下位レイヤエンコーダと同じアクセスユニット中のピクチャを符号化するように構成された上位レイヤエンコーダ（たとえば、ビデオエンコーダ２０Ｂ）のモード選択ユニット４０に与えられ得る。場合によっては、上位レイヤエンコーダは、下位レイヤエンコーダから削除された１つのレイヤである。他の場合には、図２Ｂのレイヤ０ビデオエンコーダとレイヤ１エンコーダとの間に１つまたは複数の上位レイヤエンコーダがあり得る。

[00123] 場合によっては、リサンプリングユニット９０は省略またはバイパスされ得る。そのような場合、ビデオエンコーダ２０Ａの参照フレームメモリ（復号ピクチャバッファ）６４からのピクチャは、直接、または少なくともリサンプリングユニット９０に与えられることなしに、ビデオエンコーダ２０Ｂのモード選択ユニット４０に与えられ得る。たとえば、ビデオエンコーダ２０Ｂに与えられたビデオデータと、ビデオエンコーダ２０Ａの参照フレームメモリ（復号ピクチャバッファ）６４からの参照ピクチャとが同じサイズまたは解像度である場合、参照ピクチャは、リサンプリングなしにビデオエンコーダ２０Ｂに与えられ得る。

[00124] いくつかの実施形態では、ビデオエンコーダ２１は、ビデオエンコーダ２０Ａにビデオデータを与える前に、ダウンサンプリングユニット９４を使用して下位レイヤエンコーダに与えられるべきビデオデータをダウンサンプリングする。代替的に、ダウンサンプリングユニット９４は、ビデオデータをアップサンプリングまたはダウンサンプリングすることが可能なリサンプリングユニット９０であり得る。また他の実施形態では、ダウンサンプリングユニット９４は省略され得る。

[00125] 図２Ｂに示されているように、ビデオエンコーダ２１は、マルチプレクサ９８、またはｍｕｘをさらに含み得る。ｍｕｘ９８は、ビデオエンコーダ２１から合成ビットストリームを出力することができる。合成ビットストリームは、ビデオエンコーダ２０Ａおよび２０Ｂの各々からビットストリームを取ることと、所与の時間において出力されるビットストリームを交替することとによって、作成され得る。場合によっては、２つの（または、３つ以上のビデオエンコーダレイヤの場合には、より多くの）ビットストリームからのビットが一度に１ビットずつ交替され得るが、多くの場合、ビットストリームは別様に合成され得る。たとえば、出力ビットストリームは、選択されたビットストリームを一度に１ブロックずつ交替することによって作成され得る。別の例では、出力ビットストリームは、ビデオエンコーダ２０Ａおよび２０Ｂの各々から非１：１比のブロックを出力することによって作成され得る。たとえば、ビデオエンコーダ２０Ａから出力された各ブロックについて、２つのブロックがビデオエンコーダ２０Ｂから出力され得る。いくつかの実施形態では、ｍｕｘ９８からの出力ストリームはプリプログラムされ得る。他の実施形態では、ｍｕｘ９８は、ソースデバイス１２上のプロセッサからなど、ビデオエンコーダ２１の外部のシステムから受信された制御信号に基づいて、ビデオエンコーダ２０Ａ、２０Ｂからのビットストリームを合成し得る。制御信号は、ビデオソース１８からのビデオの解像度またはビットレートに基づいて、チャネル１６の帯域幅に基づいて、ユーザに関連するサブスクリプション（たとえば、有料サブスクリプション対無料サブスクリプション）に基づいて、またはビデオエンコーダ２１から望まれる解像度出力を決定するための他のファクタに基づいて生成され得る。

ビデオデコーダ（Video Decoder）
[00126] 図３Ａは、本開示で説明する態様による技法を実装し得るビデオデコーダの一例を示すブロック図である。ビデオデコーダ３０は、ＨＥＶＣの場合など、ビットストリームのシングルレイヤを処理するように構成され得る。

[00127] さらに、ビデオデコーダ３０は、限定はしないが、上記でならびに図４Ａ、図４Ｂ、図５Ａ、図５Ｂ、および図７に関して以下でより詳細に説明する、レイヤ間参照ピクチャの個々のリーフを識別するレイヤ間参照ピクチャパーティション情報を受信すること、各個々のリーフのための固有のフィルタパラメータを受信すること、および固有のパーティション情報と固有のフィルタパラメータとを使用してレイヤ間参照ピクチャを復号し、拡張すること、および／またはコンポーネント間フィルタ処理と、レイヤ間予測と、関係するプロセスとを実行する他の方法を含む、本開示の技法のいずれかまたはすべてを実行するように構成され得る。いくつかの実施形態では、（以下でさらに説明する）レイヤ間予測ユニット７５が本技法のうちの１つまたはすべてを実行し得る。本技法のうちの１つまたはすべてが、たとえば、上記および以下で説明するように、各個々のリーフのための固有のフィルタパラメータを使用してクロマピクセルをアップサンプリングすることによって、レイヤ間参照ピクチャ品質を向上させるために使用され得る。いくつかの実施形態では、フィルタパラメータは、上記および以下でさらに説明するように、フィルタ係数、量子化パラメータ、シフトパラメータ、または他のパラメータのうちの１つまたは複数を含み得る。ただし、本開示の態様はそのように限定されない。いくつかの例では、本開示で説明する技法は、ビデオデコーダ３０の様々な構成要素間で共有され得る。いくつかの例では、追加または代替として、プロセッサ（図示せず）が、本開示で説明する技法のいずれかまたはすべてを実行するように構成され得る。

[00128] 説明の目的で、本開示では、ＨＥＶＣコーディングのコンテキストにおいてビデオデコーダ３０について説明する。ただし、本開示の技法は他のコーディング規格または方法に適用可能であり得る。図３Ａのデコーダ３０はコーデックのシングルレイヤを示している。しかしながら、図３Ｂに関してさらに説明するように、ビデオデコーダ３０の一部または全部はマルチレイヤコーデックに従う処理のために複製され得る。

[00129] 図３Ａの例では、ビデオデコーダ３０は、エントロピー復号ユニット７０と、動き補償ユニット７２と、イントラ予測ユニット７４と、レイヤ間予測ユニット７５と、逆量子化ユニット７６と、逆変換ユニット７８と、参照フレームメモリ８２と、加算器８０とを含む。いくつかの実施形態では、動き補償ユニット７２および／またはイントラ予測ユニット７４がレイヤ間予測を実行するように構成され得、その場合、レイヤ間予測ユニット７５は省略され得る。ビデオデコーダ３０は、いくつかの例では、ビデオエンコーダ２０（図２Ａ）に関して説明した符号化パスとは概して逆の復号パスを実行し得る。動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルに基づいて予測データを生成し得、イントラ予測ユニット７４は、エントロピー復号ユニット７０から受信されたイントラ予測モードインジケータに基づいて予測データを生成し得る。参照フレームメモリ８２は復号ピクチャバッファを含み得る。復号ピクチャバッファは、それの通常の意味を有する広義の用語であり、いくつかの実施形態では、参照フレームのビデオコーデック管理型データ構造を指す。

[00130] 復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化されたビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化されたビデオビットストリームを受信する。ビデオデコーダ３０のエントロピー復号ユニット７０は、量子化された係数と、動きベクトルまたはイントラ予測モードインジケータと、他のシンタックス要素とを生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット７０は、動きベクトルと他の予測シンタックス要素とを動き補償ユニット７２に転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信し得る。

[00131] ビデオスライスがイントラコーティングされた（Ｉ）スライスとしてコーディングされるとき、イントラ予測ユニット７４は、シグナリングされたイントラ予測モードと、現在フレームまたはピクチャの、前に復号されたブロックからのデータとに基づいて、現在ビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコーディングされた（たとえば、Ｂ、ＰまたはＧＰＢ）スライスとしてコーディングされるとき、動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルと他のシンタックス要素とに基づいて、現在ビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０は、参照フレームメモリ８２に記憶された参照ピクチャに基づいて、デフォルト構成技法を使用して、参照フレームリスト、すなわち、リスト０とリスト１とを構成し得る。動き補償ユニット７２は、動きベクトルと他のシンタックス要素とをパースすることによって現在ビデオスライスのビデオブロックのための予測情報を決定し、復号されている現在ビデオブロックのための予測ブロックを生成するために、その予測情報を使用する。たとえば、動き補償ユニット７２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラまたはインター予測）と、インター予測スライスタイプ（たとえば、Ｂスライス、Ｐスライス、またはＧＰＢスライス）と、スライスのための参照ピクチャリストのうちの１つまたは複数のための構成情報と、スライスの各インター符号化されたビデオブロックのための動きベクトルと、スライスの各インターコーディングされたビデオブロックのためのインター予測ステータスと、現在ビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素のいくつかを使用する。

[00132] 動き補償ユニット７２はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット７２は、参照ブロックのサブ整数ピクセルの補間値を計算するために、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用し得る。この場合、動き補償ユニット７２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、予測ブロックを生成するために、その補間フィルタを使用し得る。

[00133] ビデオデコーダ３０はレイヤ間予測ユニット７５をも含み得る。レイヤ間予測ユニット７５は、ＳＶＣにおいて利用可能である１つまたは複数の異なるレイヤ（たとえば、ベースレイヤまたは参照レイヤ）を使用して現在ブロック（たとえば、ＥＬ中の現在ブロック）を予測するように構成される。そのような予測はレイヤ間予測と呼ばれることがある。レイヤ間予測ユニット７５は、レイヤ間冗長性を低減するために予測方法を利用し、それによって、コーディング効率を改善し、計算リソース要件を低減する。レイヤ間予測のいくつかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、およびレイヤ間残差予測がある。レイヤ間イントラ予測は、エンハンスメントレイヤ中の現在ブロックを予測するために、ベースレイヤ中のコロケートブロックの再構成を使用する。レイヤ間動き予測は、エンハンスメントレイヤ中の動作を予測するために、ベースレイヤの動き情報を使用する。レイヤ間残差予測は、エンハンスメントレイヤの残差を予測するために、ベースレイヤの残差を使用する。ベースレイヤとエンハンスメントレイヤとが異なる空間解像度を有するとき、空間動きベクトルスケーリングおよび／またはレイヤ間位置マッピングが、以下でより詳細に説明するように、時間スケーリング関数を使用してレイヤ間予測ユニット７５によって実行され得る。

[00134] 逆量子化ユニット７６は、ビットストリーム中で与えられ、エントロピー復号ユニット７０によって復号された、量子化された変換係数を逆量子化（inverse quantize）、すなわち、逆量子化（de-quantize）する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用され得る逆量子化の程度を決定するための、ビデオスライス中の各ビデオブロックについてビデオデコーダ３０によって計算される量子化パラメータＱＰＹの使用を含み得る。

[00135] 逆変換ユニット７８は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば、逆ＤＣＴ、逆ＤＳＴ、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。

[00136] 動き補償ユニット７２が、動きベクトルと他のシンタックス要素とに基づいて現在ビデオブロックのための予測ブロックを生成した後、ビデオデコーダ３０は、逆変換ユニット７８からの残差ブロックを動き補償ユニット７２によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器８０は、この加算演算を実行する１つまたは複数の構成要素を表す。所望される場合、ブロッキネスアーティファクトを除去するために、復号されたブロックをフィルタ処理するためにデブロッキングフィルタも適用され得る。ピクセル遷移を平滑化するために、または場合によってはビデオ品質を改善するために、他のループフィルタも（コーディングループ中またはコーディングループ後のいずれかで）使用され得る。所与のフレームまたはピクチャ中の復号されたビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶する参照フレームメモリ８２に記憶される。参照フレームメモリ８２はまた、図１のディスプレイデバイス３２などのディスプレイデバイス上での後の提示のために、復号されたビデオを記憶する。

マルチレイヤデコーダ（Multi-Layer Decoder）
[00137] 図３Ｂは、本開示で説明する態様による技法を実装し得るマルチレイヤビデオデコーダ３１の一例を示すブロック図である。ビデオデコーダ３１は、ＳＨＶＣおよびマルチビューコーディングの場合など、マルチレイヤビデオフレームを処理するように構成され得る。さらに、ビデオデコーダ３１は、本開示の技法のいずれかまたはすべてを実行するように構成され得る。

[00138] ビデオデコーダ３１はビデオデコーダ３０Ａとビデオデコーダ３０Ｂとを含み、それらの各々は図３Ａのビデオデコーダ３０として構成され得、ビデオデコーダ３０に関して上記で説明した機能を実行し得る。さらに、参照番号の再利用によって示されるように、ビデオデコーダ３０Ａおよび３０Ｂは、ビデオデコーダ３０としてシステムとサブシステムとのうちの少なくともいくつかを含み得る。ビデオデコーダ３１は、２つのビデオデコーダ３０Ａおよび３０Ｂを含むものとして示されているが、ビデオデコーダ３１は、そのようなものとして限定されず、任意の数のビデオデコーダ３０レイヤを含み得る。いくつかの実施形態では、ビデオデコーダ３１はアクセスユニット中の各ピクチャまたはフレームについてビデオデコーダ３０を含み得る。たとえば、５つのピクチャを含むアクセスユニットは、５つのデコーダレイヤを含むビデオデコーダによって処理または復号され得る。いくつかの実施形態では、ビデオデコーダ３１は、アクセスユニット中のフレームよりも多くのデコーダレイヤを含み得る。いくつかのそのような場合では、ビデオデコーダレイヤのいくつかは、いくつかのアクセスユニットを処理するときに非アクティブであり得る。

[00139] ビデオデコーダ３０Ａおよび３０Ｂに加えて、ビデオデコーダ３１はアップサンプリングユニット９２を含み得る。いくつかの実施形態では、アップサンプリングユニット９２は、フレームまたはアクセスユニットのための参照ピクチャリストに追加されるべきエンハンストレイヤを作成するために、受信されたビデオフレームのベースレイヤをアップサンプリングし得る。このエンハンストレイヤは参照フレームメモリ８２に（たとえば、それの復号ピクチャバッファなどに）記憶され得る。いくつかの実施形態では、アップサンプリングユニット９２は、図２Ａのリサンプリングユニット９０に関して説明した実施形態の一部または全部を含み得る。いくつかの実施形態では、アップサンプリングユニット９２は、レイヤをアップサンプリングすることと、スライス境界ルールおよび／またはラスタ走査ルールのセットに準拠するために１つまたは複数のスライスを再編成、再定義、変更、または調整することとを行うように構成される。場合によっては、アップサンプリングユニット９２は、受信されたビデオフレームのレイヤをアップサンプリングおよび／またはダウンサンプリングするように構成されたリサンプリングユニットであり得る。

[00140] アップサンプリングユニット９２は、下位レイヤデコーダ（たとえば、ビデオデコーダ３０Ａ）の復号ピクチャバッファ（参照フレームメモリ）８２からピクチャまたはフレーム（またはピクチャに関連するピクチャ情報）を受信し、ピクチャ（または受信されたピクチャ情報）をアップサンプリングするように構成され得る。このアップサンプリングされたピクチャは、次いで、下位レイヤデコーダと同じアクセスユニット中のピクチャを復号するように構成された上位レイヤデコーダ（たとえば、ビデオデコーダ３０Ｂ）のモード選択ユニット７１に与えられ得る。場合によっては、上位レイヤデコーダは、下位レイヤデコーダから削除された１つのレイヤである。他の場合には、図３Ｂのレイヤ０ビデオデコーダとレイヤ１デコーダとの間に１つまたは複数の上位レイヤデコーダがあり得る。

[00141] 場合によっては、アップサンプリングユニット９２は省略またはバイパスされ得る。そのような場合、ビデオデコーダ３０Ａの復号ピクチャバッファ（参照フレームメモリ）８２からのピクチャは、直接、または少なくともアップサンプリングユニット９２に与えられることなしに、ビデオデコーダ３０Ｂのモード選択ユニット７１に与えられ得る。たとえば、ビデオデコーダ３０Ｂに与えられたビデオデータと、ビデオデコーダ３０Ａの復号ピクチャバッファ（参照フレームメモリ）８２からの参照ピクチャとが同じサイズまたは解像度である場合、参照ピクチャは、アップサンプリングなしにビデオデコーダ３０Ｂに与えられ得る。さらに、いくつかの実施形態では、アップサンプリングユニット９２は、ビデオデコーダ３０Ａの復号ピクチャバッファ（参照フレームメモリ）８２から受信された参照ピクチャをアップサンプリングまたはダウンサンプリングするように構成されたリサンプリングユニット９０（図２Ｂ参照）であり得る。

[00142] 図３Ｂに示されているように、ビデオデコーダ３１は、デマルチプレクサ９９、またはｄｅｍｕｘをさらに含み得る。ｄｅｍｕｘ９９は符号化されたビデオビットストリームを複数のビットストリームにスプリットすることができ、ｄｅｍｕｘ９９によって出力された各ビットストリームは異なるビデオデコーダ３０Ａおよび３０Ｂに与えられる。複数のビットストリームは、ビットストリームを受信することによって作成され得、ビデオデコーダ３０Ａおよび３０Ｂの各々は、所与の時間においてビットストリームの一部分を受信する。場合によっては、ｄｅｍｕｘ９９において受信されるビットストリームからのビットは、ビデオデコーダの各々（たとえば、図３Ｂの例ではビデオデコーダ３０Ａおよび３０Ｂ）の間で一度に１ビットずつ交替され得るが、多くの場合、ビットストリームは別様に分割される。たとえば、ビットストリームは、一度に１ブロックずつビットストリームを受信するビデオデコーダを交替することによって分割され得る。別の例では、ビットストリームは、非１：１比のブロックによって、ビデオデコーダ３０Ａおよび３０Ｂの各々に分割され得る。たとえば、ビデオデコーダ３０Ａに与えられる各ブロックについて、２つのブロックがビデオデコーダ３０Ｂに与えられ得る。いくつかの実施形態では、ｄｅｍｕｘ９９によるビットストリームの分割はプリプログラムされ得る。他の実施形態では、ｄｅｍｕｘ９９は、宛先デバイス１４上のプロセッサからなど、ビデオデコーダ３１の外部のシステムから受信された制御信号に基づいてビットストリームを分割し得る。制御信号は、入力インターフェース２８からのビデオの解像度またはビットレートに基づいて、チャネル１６の帯域幅に基づいて、ユーザに関連するサブスクリプション（たとえば、有料サブスクリプション対無料サブスクリプション）に基づいて、またはビデオデコーダ３１によって取得可能な解像度を決定するための他のファクタに基づいて生成され得る。

４分木構造（Quadtree Structure）
[00143] 図４Ａに、（４１０と総称される）４つの等しい４分木リーフ４１０Ａ〜４１０Ｄを含む４分木構造に（たとえば、ビデオエンコーダ２０によって）区分された例示的なレイヤ間参照ピクチャ４００を示す。他の実施形態では、レイヤ間参照ピクチャ４００は、４分木リーフ構造とは異なる区分構成に区分され得る。一実施形態では、レイヤ間参照ピクチャ４００は、同じ空間解像度をもつベースレイヤのアップサンプリングされたバージョンを備え得る。レイヤ間参照ピクチャ４００はレイヤ間参照ピクチャ幅４０５Ｗとレイヤ間参照ピクチャ高さ４０５Ｈとを含む。同様に、４分木リーフ４１０の各々は幅４１５Ｗと高さ４１５Ｈとを有する。一実施形態では、例示的な４Ｋ（たとえば、３８４０×２１６０ピクセル）ピクチャでは、レイヤ間参照ピクチャ幅４０５Ｗは３，８４０ピクセルを備え得、レイヤ間参照ピクチャ高さ４０５Ｈは２，１６０ピクセルを備え得る。この例では、４分木リーフ幅４１５Ｗは１，９２０ピクセルを備え得、４分木リーフ高さ４１５Ｈは１，０８０ピクセルを備え得る。いくつかの実施形態では、ビデオエンコーダ２０は、図４Ｂおよび図４Ｃに関して説明するように、様々な深度指定（depth specification）に基づいて４分木リーフ４１０の各々を４分木サブリーフにさらに区分し得る。他の実施形態では、ビデオエンコーダ２０は、最小コーディングユニットサイズ（smallest coding unit size）または最大コーディングユニットサイズ（largest coding unit size）に基づいてレイヤ間参照ピクチャ４００を区分し得る。

[00144] 上記で説明したように、レイヤ間参照ピクチャ４００の４分木構造は、ビデオエンコーダ２０が、レイヤ間参照ピクチャ４００全体のためにフィルタパラメータの１つのセットをシグナリングするのではなく、各４分木リーフ４１０のための固有のコンポーネント間フィルタパラメータをシグナリングすることを可能にし得る。上記で説明したように、フィルタパラメータは、フィルタ係数、量子化パラメータ、シフトパラメータ、および／または他のパラメータのうちの１つまたは複数を含み得る。いくつかの実施形態では、ピクチャ全体またはピクチャの部分は同じまたは同様の固有のフィルタパラメータを共有し得る。他の実施形態では、ピクチャ全体またはピクチャの部分は固有のフィルタパラメータの一部分（たとえば、量子化パラメータ）を共有し得、他の固有のフィルタパラメータは異なり得る（たとえば、フィルタ係数）。いずれの場合も、ビデオエンコーダ２０は、固有のフィルタパラメータを、どの空間的に近隣する４分木リーフ４１０がどの程度まで共有するかを決定し得る。たとえば、ビデオエンコーダ２０は、４分木リーフ４１０Ａのための固有のフィルタパラメータの一部または全部が、４分木リーフ４１０Ｂのための固有のフィルタパラメータの一部または全部と同じまたは同様であると決定し得る。その場合、効率を増加させるために、ビデオエンコーダ２０は、４分木リーフ４１０Ａと４分木リーフ４１０Ｂとが、シグナリングされたフィルタパラメータの一部または全部を共有し得るように、フィルタパラメータの一部または全部を４分木リーフ４１０Ａまたは４分木リーフ４１０Ｂのうちの１つにシグナリングし、４分木リーフ４１０Ａと４分木リーフ４１０Ｂとを（たとえば、マージ演算をシグナリングすることによって）マージし得る。代替的に、ビデオエンコーダ２０は、フィルタパラメータの一部または全部（たとえば、量子化パラメータおよびシフトパラメータのみ）をいくつかの子ノード（たとえば、４分木リーフ４１０Ａ〜４１０Ｄ）の親ノード（たとえば、４分木ルートノード）にシグナリングするが、他のフィルタパラメータ（たとえば、フィルタ係数）を子ノードの各々に個別にシグナリングし得る。代替的に、ベース情報がルートノードにおいてシグナリングされ得、関係するデルタ（たとえば、差分）情報がそれの４分木リーフにおいてシグナリングされ得る。他の実施形態では、複数（たとえば、３つ以上）の４分木リーフ４１０（または、図４Ｂに関して以下で説明するように、４分木サブリーフ）が、同じまたは同様の固有のフィルタパラメータの一部または全部を共有し得る。その場合、ビデオエンコーダ２０は、複数の４分木リーフおよび／または４分木サブリーフをマージすることと、それらが使用するための、フィルタパラメータの一部または全部の１つのセットの一部分をシグナリングすることとによって、効率を同様に増加させ得る。一実施形態では、４分木リーフおよび／またはサブリーフは、それらのすぐ左またはすぐ上の近隣４分木リーフおよび／またはサブリーフにマージされ得る。この例では、ビデオエンコーダ２０は、ビットストリーム中でマージ演算をシグナリングし得る。他の実施形態では、マージ演算は各リーフおよび／またはサブリーフのためにシグナリングされ得る。また他の実施形態では、ビデオエンコーダ２０は、最大コーディングユニット（ＣＵ）レベルにおいて、最小コーディングユニット（ＣＵ）レベルにおいて、シーケンスパラメータセット（ＳＰＳ）中で、ピクチャパラメータセット（ＰＰＳ：Picture Parameter Set）中で、および／または最大予測ユニット（ＰＵ）レベルにおいてコンポーネント間フィルタパラメータをシグナリングし得る。たとえば、大きいピクチャ（たとえば、４Ｋ解像度ピクチャ）の場合、ビデオエンコーダ２０が、複数の４分木リーフの各々にではなく、最大コーディングユニットの各々にフィルタパラメータをシグナリングすることがより効率的であり得る。

[00145] ビデオエンコーダ２０がコンポーネント間フィルタパラメータをシグナリングすることに関して、パラメータ関数（たとえば、ｉｎｔｅｒ＿ｃｏｍｐ＿ｆｉｌｔｅｒ＿ｐａｒａｍ（ｉｄｘ））がいくつかの変数および／またはパラメータに関連付けられ得る。たとえば、ｉｎｔｅｒ＿ｃｏｍｐ＿ｆｉｌｔｅｒ＿ｃｂ＿ｆｌａｇ［ｉｄｘ]関数および／またはｉｎｔｅｒ＿ｃｏｍｐ＿ｆｉｌｔｅｒ＿ｃｒ＿ｆｌａｇ［ｉｄｘ]関数は、フィルタパラメータが特定の４分木パーティションのためにシグナリングされ得るかどうかを（それらのインデックスを介して）指定し得る。たとえば、これらの例示的な関数インデックスが１に等しい場合、ビデオエンコーダ２０は、ＣｂピクセルおよびＣｒピクセル（それぞれ）のためのフィルタパラメータをシグナリングし得る。代替的に、これらの例示的な関数インデックスが０に等しい場合、ビデオエンコーダ２０は、ＣｂピクセルおよびＣｒピクセル（それぞれ）のためのフィルタパラメータをシグナリングしないことがある。さらなる例として、ａｂｓ＿ｍｕｌｔｉ＿ｆａｃｔｏｒ＿ｃｂ＿ｍｉｎｕｓ１［ｉｄｘ]関数およびａｂｓ＿ｍｕｌｔｉ＿ｆａｃｔｏｒ＿ｃｒ＿ｍｉｎｕｓ１［ｉｄｘ]関数は、４分木パーティションｉｄｘについて、それぞれ（上記の式７および式８関する）Ｑ_CbおよびＱ_Crのための絶対値を（それらのインデックスを介して）指定し得る。一実施形態では、これらの関数が存在しないとき、それらの値は０として推論され得る。同様に、ｓｉｇｎ＿ｍｕｌｔｉ＿ｆａｃｔｏｒ＿ｃｂ［ｉｄｘ]関数およびｓｉｇｎ＿ｍｕｌｔｉ＿ｆａｃｔｏｒ＿ｃｒ［ｉｄｘ]関数は、それぞれＱ_CbおよびＱ_Crの符号を（それらのインデックスを介して）指定し得る。一実施形態では、これらの関数が存在しないとき、それらの値は０として推論され得る。同様に、ｓｈｉｆｔ＿ｃｂ［ｉｄｘ]関数およびｓｈｉｆｔ＿ｃｒ［ｉｄｘ]関数は、４分木パーティションｉｄｘについて、それぞれ（上記の式７および式８関する）Ｎ_CbおよびＮ_Crの値を（それらのインデックスを介して）指定し得る。一実施形態では、これらの関数が存在しないとき、それらの値は、あらかじめ定義された値、たとえば、１５として推論され得る。図１に関して上記で説明したように、ビデオエンコーダ２０は８点十字形様式でフィルタ係数をシグナリングし得る。その場合、たとえば、ｉｎｔｅｒ＿ｃｏｍｐ＿ｆｉｌｔｅｒ＿ｃｂ［ｉｄｘ]［ｉ]関数およびｉｎｔｅｒ＿ｃｏｍｐ＿ｆｉｌｔｅｒ＿ｃｒ［ｉｄｘ]［ｉ]関数は、それぞれＣｂピクセルおよびＣｒピクセルのための８点十字の最初の７つの係数を指定し得る。この例では、８番目の係数は最初の７つの係数の和の負値として推論され得る。一実施形態では、これらの関数が存在しないとき、それらは０として推論され得る。

[00146] 例示的なｉｎｔｅｒ＿ｃｏｍｐ＿ｆｉｌｔｅｒ＿ｐａｒａｍ（ｉｄｘ）関数は、少なくとも以下を含み得る。

ここで、変数およびパラメータのうちのいくつかは、図４Ｂに関して以下でさらに説明され得る。

[00147] 図１に関して上記でさらに説明したように、ビデオエンコーダ２０は、たとえば、ピクチャレベルにおいてスライスヘッダまたは適応パラメータセット（ＡＰＳ）を介してコンポーネント間フィルタパラメータをシグナリングし得る。ビデオエンコーダ２０が、頻繁に変動する（たとえば、分化する）フィルタパラメータ、たとえば、量子化パラメータおよび／またはフィルタ係数をシグナリングするためにスライスヘッダまたはＡＰＳを使用することは有益であり得る。一実施形態では、ビデオエンコーダ２０がスライスヘッダ中でいくつかのフィルタパラメータをシグナリングしたとき、同じピクチャ内のすべてのスライスは同じいくつかのフィルタパラメータを共有し得る。いくつかの実施形態では、ビデオエンコーダ２０は、ピクチャごとにコンポーネント間フィルタパラメータの一部または全部をシグナリングする必要はないことがある。たとえば、８点十字形フィルタの係数および／またはシフトパラメータはピクチャごとの更新を必要としないことがある。その場合、ビデオエンコーダ２０は、シーケンスパラメータセット（ＳＰＳ）および／またはピクチャパラメータセット（ＰＰＳ）中でそのようなフィルタパラメータをデフォルト値としてシグナリングし得る。効率を増加させるために、ビデオエンコーダ２０は、適用可能なとき、デフォルト値に対する差分（difference）（たとえば、差分（differential））のみをシグナリングし得る。

[00148] ビデオエンコーダ２０がいくつかのフィルタパラメータについての差分（たとえば、差分的にコーディングされ得る増倍係数および／またはシフト係数）をシグナリングすることに関して、パラメータ関数（たとえば、ｉｎｔｅｒ＿ｃｏｍｐ＿ｆｉｌｔｅｒ＿ｐａｒａｍ（ｉｄｘ））が、変更され、いくつかの変数および／またはパラメータに関連付けられ得る。たとえば、ｄｅｌｔａ＿ｍｕｌｔｉ＿ｆａｃｔｏｒ＿ｃｂ［ｉｄｘ]関数およびｄｅｌｔａ＿ｍｕｌｔｉ＿ｆａｃｔｏｒ＿ｃｒ［ｉｄｘ]関数は、４分木パーティションｉｄｘについて（式７および式８に関する）Ｑ_CbおよびＱ_Crのためのデルタ（たとえば、差分）を指定し得る。差分は、すぐ左、すぐ上、および／またはすぐ左上の４分木リーフに関して計算され得る。一実施形態では、これらの位置に近隣４分木リーフが存在しない場合、差分は０であり得る。一実施形態では、関数が存在しないとき、それらの値も０であるものと推論され得る。同様に、ｄｅｌｔａ＿ｓｈｉｆｔ＿ｃｂ［ｉｄｘ]関数およびｄｅｌｔａ＿ｓｈｉｆｔ＿ｃｒ［ｉｄｘ]関数は、４分木パーティションｉｄｘについて（式７および式８に関する）Ｎ_CbおよびＮ_Crのためのデルタ（たとえば、差分）を指定し得る。差分は、すぐ左、すぐ上、および／またはすぐ左上の４分木リーフに関して計算され得る。一実施形態では、これらの位置に近隣４分木リーフが存在しない場合、差分は０であり得る。一実施形態では、関数が存在しないとき、それらの値も０であるものと推論され得る。

[00149] 例示的な変更ｉｎｔｅｒ＿ｃｏｍｐ＿ｆｉｌｔｅｒ＿ｐａｒａｍ（ｉｄｘ）関数は以下を含み得る。

ここで、変数およびパラメータのうちのいくつかは、上記でさらに説明され、および／または図４Ｂに関して以下で説明され得る。

[00150] ビデオエンコーダ２０が、４分木リーフをそれらのすぐ左またはすぐ上の近隣４分木リーフおよび／またはサブリーフにマージすることに関して、スライスヘッダ関数（たとえば、ｓｌｉｃｅ＿ｈｅａｄｅｒ（））がいくつかの変数および／またはパラメータに関連付けられ得る。たとえば、ｓｌｉｃｅ＿ｍａｘ＿ｉｎｔｅｒ＿ｃｏｍｐ＿ｑｕａｄｔｒｅｅ＿ｄｅｐｔｈ変数は、図４Ｂに関してさらに説明するように、最大４分木深度（maximum quadtree depth）を表し得る。さらに、ｑｕａｄｔｒｅｅ＿ｍｅｒｇｅ＿ｉｄｃ［ｉｄｘ]変数は、近隣４分木が共通フィルタパラメータを共有するかどうかを指定するためのインデックスを表し得る。一実施形態では、ｑｕａｄｔｒｅｅ＿ｍｅｒｇｅ＿ｉｄｃ［ｉｄｘ]のインデックスは、両端値を含めて［０，２]の範囲内にあり得、トランケートされた単項コーディングでコーディングされ得る。たとえば、０のインデックスは、現在の４分木パーティションのコンポーネント間フィルタパラメータそれの左ネイバーのものと同じのことを示し得る。さらに、１のインデックスは、現在の４分木パーティションのフィルタパラメータがそれの上ネイバーのものと同じであることを示し得る。さらに、２のインデックスは、現在の４分木パーティションのフィルタパラメータがビデオエンコーダ２０によってシグナリングされ得ることを示し得る。

[00151] 例示的なｓｌｉｃｅ＿ｈｅａｄｅｒ（）関数は以下を含み得る。

ここで、変数およびパラメータのうちのいくつかは、上記でさらに説明され、および／または図４Ｂに関して以下で説明され得る。

[00152] 同様に、レイヤ間参照ピクチャ４００が２つ以上のパーティションを含むとき（たとえば、それが、４分木リーフ４１０などの４分木リーフに区分されたとき）、ビデオエンコーダ２０は、別の４分木パーティションのフィルタパラメータを予測するために、１つの４分木パーティションのフィルタパラメータを使用し得る。たとえば、ビデオエンコーダ２０は、４分木リーフ４１０Ａにフィルタパラメータをシグナリングし、次いで、それらのフィルタパラメータに基づいて、４分木リーフ４１０Ｂのために使用されるべきフィルタパラメータを「予測(predict)」し得る。このプロセスは、ビデオエンコーダ２０が４分木リーフ４１０Ｂに差分フィルタパラメータ情報（もしあれば）のみをシグナリングすることを可能にすることによって、コーディング効率を増加させ得る。他の実施形態では、ビデオエンコーダ２０がビットストリーム中でフィルタパラメータのインデックスセットをシグナリングし得るように、コンポーネント間フィルタパラメータの一部または全部があらかじめ定義（たとえば、ハードコーディング）され得る。

４分木深度（Quadtree Depth）
[00153] 図４Ｂに、さらなる４分木サブリーフ（たとえば、４２０と総称される４２０Ａ〜４２０Ｌ）に区分された（図４Ａに関して説明した）レイヤ間参照ピクチャ４００を示す。この例では、４分木サブリーフのうちのいくつかは、さらなる４分木サブリーフ（たとえば、４３０と総称される４３０Ａ〜４３０Ｌ）にさらに区分されている。さらに、この例では、１つのさらなる４分木サブリーフ（たとえば、４３０Ｊ）は、なおさらなる４分木サブリーフ（たとえば、４４０と総称される４４０Ａ〜４４０Ｄ）になおさらに区分されている。他の実施形態では、４分木リーフは、図４Ｃに関して説明するように、４分木リーフ内のコンテンツに応じておよび／またはターゲット４分木深度に応じて、いくつもの他の方法で区分される（または区分されない）ことがある。図４Ａに関して上記で説明したように、レイヤ間参照ピクチャ４００はレイヤ間参照ピクチャ幅４０５Ｗとレイヤ間参照ピクチャ高さ４０５Ｈとを備え、４分木リーフ４１０の各々は４分木リーフ幅４１５Ｗと４分木リーフ高さ４１５Ｈとを備える。同様に、４分木サブリーフ４２０の各々は４分木サブリーフ幅４２５Ｗと４分木サブリーフ高さ４２５Ｈとを備える。４Ｋ（たとえば、３８４０×２１６０ピクセル）ピクチャの例では、４分木サブリーフ幅４２５Ｗは９６０ピクセルを備え得、４分木サブリーフ高さ４２５Ｈは５４０ピクセルを備え得る。同様に、４分木サブリーフ４３０および４４０の各々は、それぞれ４分木サブリーフ幅４３５Ｗおよび４４５Ｗと、それぞれ４分木サブリーフ高さ４３５Ｈおよび４４５Ｈとを備える。４Ｋ（たとえば、３８４０×２１６０ピクセル）ピクチャの例では、４分木サブリーフ幅４３５Ｗおよび４４５Ｗは、それぞれ４８０ピクセルおよび２４０ピクセルを備え得、４分木サブリーフ高さ４３５Ｈおよび４４５Ｈは、それぞれ２７０ピクセルおよび１３５ピクセルを備え得る。説明する例では、ビデオエンコーダ２０は、ピクセル値に基づいて４分木パーティションサイズを決定し得る。たとえば、１深度４分木は、全ピクチャ（たとえば、レイヤ間参照ピクチャ４００）を２×２様式で（たとえば、図４Ａに示されたパーティション構成でなど）４つの部分に均等に区分し得る。他の実施形態では、ビデオエンコーダ２０は、最小コーディングユニットまたは最大コーディングユニットに基づいて４分木パーティションサイズおよび／または４分木パーティションを決定し得る。以下でさらに説明するように、４分木構造は、４分木深度、４分木深度よりも小さい深度をもつノードのためにシグナリングされ得るスプリッティングフラグ、および／またはそれの近隣パーティションにマージすべきかどうかを示すために各４分木リーフノードについてシグナリングされ得るマージ演算のうちの１つまたは複数によって表され得る。

[00154] 上述のように、いくつかの実施形態では、ビデオエンコーダ２０は、上記および以下で説明するように、スプリッティングフラグ（たとえば、スプリットごとに１つずつ）に基づいて、あるいはいくつかの他の区分および／または深度指定のいずれかに基づいて、４分木サブリーフの各々をさらなる４分木サブリーフにさらに区分し続け得る。ビデオエンコーダ２０がレイヤ間参照ピクチャ４００を４分木リーフおよび／またはサブリーフに区分する程度は「４分木深度(quadtree depth)」と呼ばれることがある。必要な場合、４分木深度指定に従って、ビデオエンコーダ２０は、ピクチャの各ピクセルがそれ自体の４分木サブリーフ内に含まれるまで、さらなる４分木サブリーフの各々をさらに区分し続け得る。

[00155] いくつかの実施形態では、ビデオエンコーダ２０は、４分木リーフおよび／または４分木サブリーフの全部ではないが一部をさらなる４分木サブリーフに区分し得る。たとえば、４分木深度指定に応じて、図示のように、ビデオエンコーダ２０は、４分木サブリーフ４２０Ｅをさらなる４分木サブリーフにさらに区分することがあるが、４分木サブリーフ４２０Ｆをさらに区分しないことがある。一実施形態では、ビデオエンコーダ２０は、すべてのリーフが同じ４分木深度を共有するように、シーケンスレベルにおいて４分木深度をシグナリングし得る。別の実施形態では、ビデオエンコーダ２０は、各リーフのための４分木深度を個々にシグナリングし得る。その場合、ビデオエンコーダ２０は、ピクチャレベルにおける４分木深度のエントロピーコーディングがより効率的になり得るように、シーケンスレベルにおいて最大４分木深度をもシグナリングし得る。一実施形態では、冗長を回避するために、ビデオエンコーダ２０は、ビデオエンコーダ２０が領域全体のために１つの４分木深度をシグナリングし得るように、同様に特徴づけられたリーフ（たとえば、等しいかまたは同様である一部または全部のフィルタパラメータを共有し得るリーフ）を「領域(region)」にグループ化し得る。また別の実施形態では、最大４分木深度はコーデックにおいてハードコーディングされ得る。さらにまた別の実施形態では、ビデオエンコーダ２０は、スプリットフラグを使用して４分木深度をシグナリングし得る。その場合、ビデオエンコーダ２０は、各リーフおよび／またはサブリーフについて最大４分木深度に到達するまで、各リーフおよび／またはサブリーフにスプリットフラグをシグナリングし得る。たとえば、図示の例では、ビデオエンコーダ２０は、ピクチャ（たとえば、レイヤ間参照ピクチャ４００全体）の第１のレイヤのためのパーティションを示すためにスプリットフラグをシグナリングし得、これは、４分木リーフ４１０の各々を生じ得る。ビデオエンコーダ２０は、次いで、第１の４分木リーフ（たとえば、４１０Ａ）が区分されるべきであることを示すためにスプリットフラグをシグナリングし得、これは、一例として示されているように、４分木サブリーフ４２０を生じ得る。ビデオエンコーダ２０は、次いで、一例として示されているように、第２の４分木リーフ（たとえば、４２０Ｂ）が区分されるべきでないことを示すためにスプリットフラグをシグナリングし得る。このプロセスは、図において一例として示されているように、４分木リードおよび／またはサブリーフのすべてが深度指定に従って完全に区分されるまで続き得る。

[00156] ビデオエンコーダ２０がシーケンスパラメータセット（ＳＰＳ）中で最大４分木深度をシグナリングする場合、４分木深度および関係するコンポーネント間フィルタパラメータは、たとえば、以下で説明するように変更され得るスライスヘッダ中で、ピクチャレベルにおいて更新され得る。例示的なシンタックス（たとえば、ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（））は、シーケンスレベルにおいて最大４分木深度を指定し得る、（ｕｅ（ｖ）記述子をもつ）ｓｅｑ＿ｍａｘ＿ｉｎｔｅｒ＿ｃｏｍｐ＿ｑｕａｄｔｒｅｅ＿ｄｅｐｔｈパラメータを含み得る。一実施形態では、ｓｅｑ＿ｍａｘ＿ｉｎｔｅｒ＿ｃｏｍｐ＿ｑｕａｄｔｒｅｅ＿ｄｅｐｔｈ変数は［０，２]の範囲を有し得る。例示的なシンタックスは以下を含む。

[00157] 最大４分木深度をシグナリングするための例示的なシンタックスは以下を含み得る。

ここで、ｓｌｉｃｅ＿ｍａｘ＿ｉｎｔｅｒ＿ｃｏｍｐ＿ｑｕａｄｔｒｅｅ＿ｄｅｐｔｈ変数は、（たとえば、両端値を含めて［０，ｓｅｑ＿ｍａｘ＿ｉｎｔｅｒ＿ｃｏｍｐ＿ｑｕａｄｔｒｅｅ＿ｄｅｐｔｈ]の範囲内の現在ピクチャのための最大４分木深度を指定し得、ここで、変数およびパラメータのうちのいくつかについて、図４Ａに関して上記でさらに説明していることがある。

ターゲット４分木深度（Target Quadtree Depth）
[00158] 図４Ｃに、さらなる４分木サブリーフ（たとえば、４２０と総称される４２０Ａ〜４２０Ｐ）に区分された（図４Ａに関して説明した）レイヤ間参照ピクチャ４００を示す。上記で説明したように、ビデオエンコーダ２０は、ターゲット４分木深度Ｍに従ってレイヤ間参照ピクチャ４００を区分し得、ただし、Ｍは正の整数である。いくつかの実施形態では、このようにしてレイヤ間参照ピクチャ４００を区分することは、コーディング複雑度を低減し得るが、より多くのビットを必要とし得る。（たとえば、図４Ａ〜図４Ｃに示された）４分木リーフ区分構成の例では、区分が完了した後、レイヤ間参照ピクチャ４００は４^M個の等しいサイズの４分木リーフパーティションを有し得る。たとえば、図４Ａに示されたパーティション構成では、ターゲット４分木深度は１であり、２×２様式で構成された４¹＝４つの等しいサイズの４分木リーフパーティション（たとえば、４１０Ａ〜４１０Ｄ）を生じ得る。たとえば、図４Ｃに示された例では、ターゲット４分木深度は２であり、４×４様式で構成された４²＝１６個の等しいサイズの４分木リーフパーティション（たとえば、４２０Ａ〜４２０Ｐ）を生じ得る。図４Ａに関して上記で説明したように、レイヤ間参照ピクチャ４００はレイヤ間参照ピクチャ幅４０５Ｗとレイヤ間参照ピクチャ高さ４０５Ｈとを備え、４分木リーフ４１０の各々は４分木リーフ幅４１５Ｗと４分木リーフ高さ４１５Ｈとを備える。同様に、４分木サブリーフ４２０の各々は４分木サブリーフ幅４２５Ｗと４分木サブリーフ高さ４２５Ｈとを備える。ビデオエンコーダ２０は、ターゲット４分木深度に到達するまで、４分木リーフパーティションを等しく区分し続け得る。たとえば、ターゲット４分木深度が３に等しい場合、ビデオエンコーダ２０は、８×８様式で構成された４³＝６４個の等しいサイズの４分木リーフパーティションを有するようにレイヤ間参照ピクチャ４００を区分し得る（図示せず）。

クロマおよびルーマピクセル構成（Chroma and Luma Pixel Arrangement）
[00159] 図５Ａに、例示的な区分構成５００中の例示的なクロマおよびルーマ構成を示す。一実施形態では、区分構成５００は、上記で説明したように４分木リーフ構造であり得る。４分木リーフ構造を備える区分構成５００の例では、例示的な区分構成５００は、（図４Ａ〜図４Ｃに関して説明した、および以下でまとめて４分木リーフと呼ぶ）４分木リーフおよび／またはサブリーフのうちの１つの１つの部分を表し得る。４分木リーフの各々は複数のクロマピクセルを含んでいることがあり、図示された例示的な区分構成５００は、１つの特定の４分木リーフ中にあるクロマピクセルのうちの１つ（たとえば、Ｃｂクロマピクセルおよび／またはＣｒクロマピクセルを備え得る、円によって表されたクロマピクセル５２０）を含み得る。例示的な区分構成５００は、対応するクロマピクセル５２０に「関係(related)」し得る、この図では正方形によって表されたルーマピクセル５１０をさらに含み得る。一実施形態では、図示されたルーマピクセル５１０はクロマピクセル５２０と同じ４分木リーフ内にあり得る。他の実施形態では、ルーマピクセル５１０のうちの１つまたは複数は他の４分木リーフ内にあり得る。この例では、図示された相対クロマおよびルーマピクセル位置は４：２：０カラーサブサンプリングフォーマットを表し得、ここにおいて、「関係」するルーマピクセル５１０の３×４セットはクロマピクセル５２０を囲む。他の実施形態では、クロマピクセルとルーマピクセルとはいくつもの他のカラーサブサンプリングフォーマット（たとえば、４：４：４、４：２：２など）で構成され得る。いくつかの実施形態では、ビデオエンコーダ２０は、上記でおよび図５Ｂに関して以下でさらに説明するように、クロマピクセル５２０を拡張する際に使用するために、クロマピクセル５２０および／またはルーマピクセル５１０のプロパティに基づいてコンポーネント間フィルタパラメータを決定し得る。

フィルタパラメータシグナリングおよびパディング（Filter Parameter Signaling and Padding）
[00160] 図５Ｂに、シグナリングされたフィルタパラメータ５３０の構成を含む、（図５Ａに関して説明したように１つの４分木リーフおよび／またはサブリーフの１つの部分を表し得る）例示的な区分構成５００中の例示的なクロマおよびルーマ構成を示す。上記で説明したように、正方形アイコンの各々はルーマピクセル５１０を表し、別個の円アイコンは、Ｃｂクロマピクセルおよび／またはＣｒクロマピクセルを備え得るクロマピクセル５２０を表す。ルーマピクセル５１０内にあるパターン付き円アイコンは、クロマピクセル５２０の周りに構成されたシグナリングされたフィルタパラメータ５３０の配置を表す。この例では、シグナリングされたフィルタパラメータ５３０構成は、上記でさらに説明したように、４：２：０カラーサブサンプリングフォーマットに適用される８点十字形フィルタフォーマットを表す。他の実施形態では、シグナリングされたフィルタパラメータ５３０は、異なるパターンで、たとえば、図示されたルーマピクセル５１０の各々がシグナリングされたフィルタパラメータ５３０を受信し得る３×４構成で、構成され得る。さらに、他の実施形態では、クロマとルーマとはいくつもの数の他のカラーサブサンプリングフォーマット（たとえば、４：４：４、４：２：２など）で構成され得る。

[00161] 式５〜式１４に関して上記で説明したように、いくつかの実施形態では、ビデオエンコーダ２０は、クロマピクセル５２０およびルーマピクセル５１０のプロパティに基づいてフィルタパラメータ５３０（たとえば、ｆ_Cb）を決定し得る。上記で説明したように、フィルタパラメータ５３０は、フィルタ係数、量子化パラメータ、シフトパラメータ、および／または他のパラメータのうちの１つまたは複数を含み得る。ビデオエンコーダ２０は、次いで、クロマオフセット値（たとえば、ｏ（ｘ，ｙ））を決定するために、フィルタパラメータ５３０をシグナリングし、使用し得る。一実施形態では、ビデオエンコーダ２０は、対応するクロマピクセル５２０に「関係」する、特定のパターン（たとえば、図５Ｂに示された８点十字形フィルタフォーマット）のルーマピクセル５１０の各々をフィルタ処理するためにフィルタパラメータ５３０を使用し得る。最後に、ビデオエンコーダ２０は、拡張クロマピクセル値（たとえば、Ｃｂ_enh（ｘ，ｙ））を取得するために、前にアップサンプリングされたクロマピクセル５２０値（たとえば、Ｃｂ（ｘ，ｙ））にクロマオフセット値を加算し得る。区分構成５００がＣｂクロマピクセル５２０とＣｒクロマピクセル５２０の両方を備える場合、ビデオエンコーダ２０は、ＣｂクロマピクセルとＣｒクロマピクセルの各々について上記のすべてを別々に実行し、各々にフィルタパラメータの１つのセットをシグナリングし得る。いずれの場合も、ビデオエンコーダ２０が１つのクロマピクセル５２０について上記のステップを実行したとき、ビデオエンコーダ２０は、別のクロマピクセル、たとえば、クロマピクセル５２０の右にあるクロマピクセル（図示せず）についてプロセスを繰り返し得る。

[00162] 上記で説明したように、クロマピクセル５２０は４分木リーフの境界の近くにあり得る。たとえば、「タイル（tile）」などの並列処理が使用可能にされたとき、クロマピクセル５２０の左または上のルーマピクセルが近隣４分木リーフ中にあり得る場合、たとえば、それらは「境界横断（cross-boundary）」または「利用不可能（unavailable）」ルーマピクセルであり得る。そのような場合、一実施形態では、ビデオエンコーダ２０は、境界内（in-boundary）ルーマピクセルの値を使用して、境界横断（たとえば、「利用不可能」）ルーマピクセルの値を置き換える（たとえば、「パディング（padding）」する）ことによってコンポーネント間フィルタ処理を実行し得る。たとえば、クロマピクセル５２０のすぐ左のルーマピクセルが近隣４分木中にある（たとえば、それが境界横断である）場合、ビデオエンコーダ２０は、クロマピクセル５２０の右の最も近いルーマピクセル（たとえば、境界内にあるルーマピクセル）の値を使用して、そのルーマピクセルの値をパディングし得る。別の例では、クロマピクセル５２０のすぐ上のルーマピクセルが近隣４分木中にある場合、ビデオエンコーダ２０は、クロマピクセル５２０の下の最も近いルーマピクセルの値を使用して、そのルーマピクセルの値をパディングし得る。一実施形態では、ビデオエンコーダ２０は、上記の式５、式６、式１１、および式１２に関して説明した計算を実行するときにルーマピクセルの値を使用し得る。説明したパディングプロセスは、動き補償またはリサンプリングにおいて使用するパディングプロセスと同様であり得る。他の実施形態では、ビデオエンコーダ２０は、動き補償における「境界拡張(border extension)」と同様の方法を使用して、境界横断ルーマピクセルを生成し得る。

レイヤ間参照ピクチャを複数のリーフに区分し、各個々のリーフのための固有のフィルタパラメータをシグナリングする方法（Method of Partitioning an Inter-Layer Reference Picture into a Plurality of Leafs and Signaling Specific Filter Parameters for Each Individual Leaf）
[00163] 図６は、レイヤ間参照ピクチャ（たとえば、図４Ａおよび／または図４Ｂのレイヤ間参照ピクチャ４００）を複数のリーフ（たとえば、図４Ａおよび／または図４Ｂに関して説明した４分木リーフ４１０および／またはサブリーフ４２０、４３０、４４０など）に区分し、各個々のリーフのための固有のフィルタパラメータをシグナリングするための例示的なプロセス６００を示すフローチャートである。上記で説明したように、フィルタパラメータは、フィルタ係数、量子化パラメータ、シフトパラメータ、および／または他のパラメータのうちの１つまたは複数を含み得る。一実施形態では、プロセス６００は、（図４Ｂおよび／または図４Ｃに関して説明したように）深度指定に従ってレイヤ間参照ピクチャを区分し得る。プロセス６００は、実施形態に応じて、エンコーダ（たとえば、図２Ａに関するビデオエンコーダ２０）、レイヤ間予測ユニット（たとえば、図２Ａに関するレイヤ間予測ユニット６６）、パーティションユニット（たとえば、図２Ａに関するパーティションユニット４８）、または他の構成要素によって実行され得る。プロセス６００のブロックについてビデオエンコーダ２０に関して説明するが、プロセス６００は他の構成要素によって実行され得る。プロセス６００に関して説明するすべての実施形態は、別々に、または互いと組み合わせて実装され得る。

[00164] プロセス６００はブロック６０５において開始する。ブロック６１０において、ビデオエンコーダ２０はレイヤ間参照ピクチャ４００を決定する。一実施形態では、ビデオエンコーダ２０は、レイヤ間予測ユニット６６を使用してレイヤ間参照ピクチャ４００を決定し得る。一実施形態では、ビデオエンコーダ２０はレイヤ間参照ピクチャ４００を生成し得、あるいは他の実施形態では、ビデオエンコーダ２０は、メモリからレイヤ間参照ピクチャ４００を取り出すか、またはレイヤ間参照ピクチャ４００をメモリにロードし得る。

[00165] ブロック６２０において、ビデオエンコーダ２０は、図４Ａに関してさらに説明したように、レイヤ間参照ピクチャ４００を複数のリーフに区分する。一実施形態では、複数のリーフは、４つの等しい４分木リーフを備える４分木構造であり得る。他の実施形態では、複数のリーフは他のパーティション構造を備え得る。いくつかの実施形態では、ビデオエンコーダ２０は、図４Ｂに関して説明したように、深度指定がさらなる４分木リーフおよび／またはサブリーフへの４分木リーフ４１０のさらなる区分を示すかどうかを決定し得る。また他の実施形態では、ビデオエンコーダ２０は、図４Ｂに関して説明したように、ターゲット４分木深度に従ってレイヤ間参照ピクチャ４００を区分し得る。

[00166] ブロック６３０において、ビデオエンコーダ２０は、上記で説明したように各個々のリーフのための固有のフィルタパラメータを決定する。たとえば、ビデオエンコーダ２０は、リーフごとに平均２乗誤差を最小限に抑え、（たとえば、上記で説明したようにフィルタパラメータと総称される）フィルタ係数、量子化パラメータ、および／またはシフトパラメータのうちの１つまたは複数を決定し得る。いくつかの実施形態では、フィルタパラメータは、各リーフのコンテンツに基づいてリーフごとに固有であり（たとえば、個別化され）得る。他の実施形態では、フィルタパラメータは各リーフについて同じであり得る。他の実施形態では、ビデオエンコーダ２０は、図４Ａに関してさらに説明したように、いくつかの４分木リーフがそれらの周囲４分木リーフと同様の特性を有するかどうかを決定し、ビデオエンコーダ２０が、それらのリーフをマージし、それらのマージにフィルタパラメータの１つのセットのみを送ることを可能にし得る。また他の実施形態では、ビデオエンコーダ２０は、必要に応じて、および図４Ａに関して説明したように、フィルタパラメータの一部分を決定し得る。一実施形態では、フィルタパラメータはレイヤ間予測ユニット６６によって決定され得る。

[00167] ブロック６４０において、ビデオエンコーダ２０は、上記で説明したように、各個々のリーフのための固有のフィルタパラメータをシグナリングする。いくつかの実施形態では、ビデオエンコーダ２０は、図５Ｂに関して説明したように、ビットストリーム中で、スライスヘッダ中で、適応パラメータセット（ＡＰＳ）中で、および／またはシグナリングのいくつもの他の方法でフィルタパラメータをシグナリングし得る。プロセスはブロック６９５において終了する。

固有のパーティション情報と固有のフィルタパラメータとを使用してレイヤ間参照ピクチャを復号し、拡張する方法（Method of Decoding and Enhancing an Inter-Layer Reference Picture Using Specific Partition Information and Specific Filter Parameters）
[00168] 図７は、図１、図３Ａ、図５Ａ、および図５Ｂに関して上記で説明したように、固有のパーティション情報と固有のフィルタパラメータとを使用して、レイヤ間参照ピクチャ（たとえば、図４Ａおよび／または図４Ｂのレイヤ間参照ピクチャ４００）を復号し、拡張するための例示的な方法またはプロセス７００を示すフローチャートである。一実施形態では、固有のパーティション情報および固有のフィルタパラメータは、図６に関して説明したビデオエンコーダ２０などのビデオエンコーダから受信され得る。プロセス７００は、実施形態に応じて、デコーダ（たとえば、図３Ａに関するビデオデコーダ３０）、レイヤ間予測ユニット（たとえば、図３Ａに関するレイヤ間予測ユニット７５）、または他の構成要素によって実行され得る。プロセス７００のブロックについてビデオデコーダ３０に関して説明するが、プロセス７００は他の構成要素によって実行され得る。プロセス７００に関して説明するすべての実施形態は、別々に、または互いと組み合わせて実装され得る。

[00169] プロセス７００はブロック７０５において開始する。ブロック７１０において、ビデオデコーダ３０は、レイヤ間参照ピクチャ４００の個々のリーフ（たとえば、図４Ａおよび／または図４Ｂに関して説明した４分木リーフ４１０および／またはサブリーフ４２０、４３０、４４０など）を識別するレイヤ間参照ピクチャ４００のパーティション情報（partition information）を受信する。一実施形態では、ビデオデコーダ３０は、ビットストリームを介してレイヤ間参照ピクチャ４００パーティション情報を受信し得る。上記で説明したように、パーティション情報は、図４Ｂに関して説明したように、たとえば、スプリットフラグビットを介して示され得、レイヤ間参照ピクチャ４００をパーティション深度の様々なレベルに区分することをさらに企図し得る。代替的に、パーティション情報は、図４Ｃに関して説明したように、たとえば、ターゲット４分木深度によって示され得、ターゲット４分木深度に到達するまでレイヤ間参照ピクチャ４００を等しいサブリーフに区分することをさらに企図し得る。

[00170] ブロック７２０において、ビデオデコーダ３０は、各個々のリーフのための固有のフィルタパラメータを受信する。一実施形態では、ビデオデコーダ３０は、ビットストリームを介して固有のフィルタパラメータを受信し得る。上記で説明したように、フィルタパラメータは、フィルタ係数、量子化パラメータ、シフトパラメータ、および／または他のパラメータのうちの１つまたは複数を含み得る。一実施形態では、ビデオデコーダ３０は、ビデオエンコーダ、たとえば、図６のブロック６４０に関して説明したようにビデオエンコーダ２０から固有のフィルタパラメータを受信し得る。

[00171] ブロック７３０において、ビデオデコーダ３０は、上記で説明したように、固有のパーティション情報と固有のフィルタパラメータとを使用してレイヤ間参照ピクチャ４００を復号し、拡張する（enhance）。たとえば、ビデオデコーダ３０は、図５Ｂに関してさらに説明したように、個々のリーフのうちの１つまたは複数中のクロマピクセルを拡張することによってレイヤ間参照ピクチャ４００ピクチャ品質を改善するために固有のフィルタパラメータを使用し得る。プロセスはブロック７９５において終了する。

３Ｄ拡張およびシングルレイヤコーディング（3-D Extension and Single Layer Coding）
[00172] 上記の開示では特定の実施形態について説明したが、多くの変形形態が可能である。たとえば、上述のように、上記の技法はシングルレイヤコーディングおよび／または３Ｄビデオ符号化に適用され得る。３Ｄビデオのいくつかの実施形態では、参照レイヤ（たとえば、ベースレイヤ）は、ビデオの第１のビューを表示するのに十分なビデオ情報を含み、エンハンスメントレイヤは参照レイヤに関係する追加のビデオ情報を含み、したがって、参照レイヤとエンハンスメントレイヤとは一緒に（たとえば、「ベースビュー(base view)」）、ビデオの第２のビュー（たとえば、「依存ビュー(dependent view)」）を表示するのに十分なビデオ情報を含む。これらの２つのビューは立体視画像を生成するために使用され得る。上記で説明したように、本開示の態様によれば、エンハンスメントレイヤ中のビデオユニットを符号化または復号するときに追加の暗黙的仮説を識別するために、参照レイヤからの動き情報が使用され得る。これは、シングルレイヤおよび／または３Ｄビデオビットストリームについてより大きいコーディング効率を与え得る。

[00173] たとえば、３Ｄビデオ符号化に関して、コンポーネント間フィルタ処理が適用されるとき、ビデオエンコーダ２０は、クロマ成分のみではなく、ベースビューのルーマ成分とクロマ成分の両方を使用して、依存ビューのクロマピクセルを予測し得る。より具体的な例として、ビデオエンコーダ２０は、依存ビュー中のＣｒクロマピクセルおよび／またはＣｂクロマピクセルを予測するために、ベースビュー中のＣｒクロマピクセルからの情報と組み合わせてベースビュー中のルーマピクセルからの情報を使用し得る。同様に、ビデオエンコーダ２０は、依存ビュー中のＣｒクロマピクセルおよび／またはＣｂクロマピクセルを予測するために、ベースビュー中のＣｂクロマピクセルからの情報と組み合わせてベースビュー中のルーマピクセルからの情報を使用し得る。言い換えれば、最終クロマ予測（たとえば、依存レイヤにおける未決定のＣｂクロマまたはＣｒクロマ）は、ベースビュークロマ成分（たとえば、Ｃｂ成分またはＣｒクロマ成分のいずれか）からの予測とベースビュールーマ成分からの高周波予測との和を使用して決定され得る。いくつかの実施形態では、コンポーネント間フィルタ処理は、ビットストリームの任意のレベル、たとえば、スライスレベル、コーディングユニット（ＣＵ）レベル、予測ユニット（ＰＵ）レベルなどにおいてオンまたはオフに切り替えられ得る。

[00174] 別の例として、シングルレイヤコーディング（たとえば、ＨＥＶＣの範囲拡張）に関して、ビット深度がＳＶＣにおいてよりも高くなり得（たとえば、１２ビットから１６ビットへの増加）、これにより、より大きいクロマ解像度、たとえば、４：４：４が可能になり得る。その場合、いくつかの実施形態では、コンポーネント間フィルタ処理は、最終クロマ予測を決定するためにピクチャ間（たとえば、時間）予測と組み合わせられ得る。たとえば、ビデオエンコーダ２０は、最初に、ピクチャ間予測中に（たとえば、前のピクチャからの）ピクチャ間ルーマおよびクロマ参照ブロックを決定し得る。一実施形態では、ピクチャ間ルーマ予測は他のシステムから不変のままであり得る。ビデオエンコーダ２０は、次いで、（たとえば、フィルタパラメータに関して上記で説明したように）クロマ高周波オフセットブロックを取得するために、（上記で説明した）コンポーネント間フィルタ処理プロセスをルーマ参照ブロックに適用し得る。ビデオエンコーダ２０は、次いで、ピクチャ間クロマ参照ブロックにクロマ高周波オフセットブロックを加算して、（たとえば、現在ピクチャにおいて使用する）最終クロマ予測を取得し得る。言い換えれば、３Ｄ拡張と同様に、ビデオエンコーダ２０は、（たとえば、参照ブロックの）ルーマ成分とクロマ成分の両方を使用して（たとえば、現在ブロックの）最終クロマ成分を予測し得、ここにおいて、ルーマ成分は高周波情報を与える。いくつかの実施形態では、効率を増加させるために（たとえば、ビットを節約するために）、ビデオエンコーダ２０は、現在ピクチャのためのコロケート参照ピクチャのコンポーネント間フィルタパラメータのみをシグナリングし得る。いくつかの実施形態では、ビデオエンコーダ２０は、フィルタパラメータを生成し、それらを参照ピクチャと現在ピクチャとの各ペアにシグナリングし得る。他の実施形態では、ビデオエンコーダ２０は、参照ピクチャおよび現在ピクチャペアのサブセットのためにフィルタパラメータをシグナリングし得る。その場合、ビデオエンコーダ２０は、ビデオエンコーダ２０がフィルタパラメータをそれのためにシグナリングしない参照ピクチャおよび現在ピクチャペアについてコンポーネント間フィルタ処理を実装しないことがある。いくつかの実施形態では、コンポーネント間フィルタ処理は、ビットストリームの任意のレベル、たとえば、スライスレベル、コーディングユニット（ＣＵ）レベル、予測ユニット（ＰＵ）レベルなどにおいてオンまたはオフに切り替えられ得る。

用語（Terminology）
[00175] 例によっては、本明細書で説明した技法のうちいずれかの、いくつかの行為またはイベントは、異なるシーケンスで実行され得、追加、マージ、または完全に除外され得る（たとえば、すべての説明した行為またはイベントが、本技法の実施のために必要であるとは限らない）ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続してではなく、同時に、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通じて実行され得る。

[00176] 本明細書で開示する情報および信号は、多種多様な技術および技法のいずれかを使用して表され得る。たとえば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁界または磁性粒子、光場または光学粒子、あるいはそれらの任意の組合せによって表され得る。

[00177] 本明細書で開示する実施形態に関して説明した様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、またはその両方の組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップについて、概してそれらの機能に関して上記で説明した。そのような機能がハードウェアとして実装されるか、ソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本発明の範囲からの逸脱を生じるものと解釈されるべきではない。

[00178] 本明細書で説明した技術は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、またはワイヤレス通信デバイスハンドセットおよび他のデバイスにおける適用例を含む複数の用途を有する集積回路デバイスなど、様々なデバイスのいずれかにおいて実装され得る。モジュールまたは構成要素として説明した任意の機能は、集積論理デバイスに一緒に、または個別であるが相互運用可能な論理デバイスとして別々に実装され得る。ソフトウェアで実装された場合、本技法は、実行されたとき、上記で説明した方法のうちの１つまたは複数を実行する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含むことがあるコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュメモリ、磁気または光学データ記憶媒体など、メモリまたはデータ記憶媒体を備え得る。本技法は、追加または代替として、伝搬信号または電波など、命令またはデータ構造の形態でプログラムコードを搬送または伝達し、コンピュータによってアクセスされ、読み取られ、および／または実行され得るコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。

[00179] プログラムコードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の等価の集積回路またはディスクリート論理回路など、１つまたは複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示で説明する技法のいずれかを実行するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、または本明細書で説明する技法の実装に好適な他の構造または装置のいずれかを指す。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のソフトウェアモジュールまたはハードウェアモジュール内に提供され得、あるいは複合ビデオエンコーダ／デコーダ（コーデック）に組み込まれ得る。

[00180] 本明細書で説明したコーディング技法は、例示的なビデオ符号化および復号システムにおける実施形態であり得る。システムは、宛先デバイスによって後で復号されるべき符号化されたビデオデータを与えるソースデバイスを含む。特に、ソースデバイスは、コンピュータ可読媒体を介してビデオデータを宛先デバイスに与える。ソースデバイスおよび宛先デバイスは、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイスおよび宛先デバイスはワイヤレス通信のために装備され得る。

[00181] 宛先デバイスは、コンピュータ可読媒体を介して復号されるべき符号化されたビデオデータを受信し得る。コンピュータ可読媒体は、ソースデバイスから宛先デバイスに符号化されたビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体は、ソースデバイス１２が符号化されたビデオデータを宛先デバイスにリアルタイムで直接送信することを可能にするための通信媒体を備え得る。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイスに送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ソースデバイスから宛先デバイスへの通信を可能にするために有用であり得る、ルータ、スイッチ、基地局、または任意の他の機器を含み得る。

[00182] いくつかの例では、符号化されたデータは出力インターフェースからストレージデバイスに出力され得る。同様に、符号化されたデータは入力インターフェースによってストレージデバイスからアクセスされ得る。ストレージデバイスは、ハードドライブ、Ｂｌｕ−ｒａｙディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイスは、ソースデバイスによって生成された符号化されたビデオを記憶し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイスは、ストリーミングまたはダウンロードを介してストレージデバイスから記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化されたビデオデータを記憶し、その符号化されたビデオデータを宛先デバイスに送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバとしては、（たとえば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブがある。宛先デバイスは、インターネット接続を含む、任意の標準のデータ接続を介して、符号化されたビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化されたビデオデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、またはその両方の組合せを含み得る。ストレージデバイスからの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。

[00183] 本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システムは、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。

[00184] 一例では、ソースデバイスは、ビデオソースと、ビデオエンコーダと、出力インターフェースとを含む。宛先デバイスは、入力インターフェースと、ビデオデコーダと、ディスプレイデバイスとを含み得る。ソースデバイスのビデオエンコーダは、本明細書で開示する技法を適用するように構成され得る。他の例では、ソースデバイスおよび宛先デバイスは他のコンポーネントまたは構成を含み得る。たとえば、ソースデバイスは、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイスは、内蔵ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。

[00185] 上記の例示的なシステム一例にすぎない。ビデオデータを並列に処理するための技法は、任意のデジタルビデオ符号化および／または復号デバイスによって実行され得る。概して、本開示の技法はビデオ符号化デバイスによって実行されるが、本技法は、「コーデック」と呼ばれることがあるビデオエンコーダ／デコーダによっても実行され得る。その上、本開示の技法はビデオプリプロセッサによっても実行され得る。ソースデバイスおよび宛先デバイスは、ソースデバイスが宛先デバイスに送信するためのコーディングされたビデオデータを生成するような、コーディングデバイスの例にすぎない。いくつかの例では、ソースデバイスおよび宛先デバイスは、デバイスの各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。したがって、例示的なシステムは、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、またはビデオテレフォニーのための、ビデオデバイス間の一方向または双方向のビデオ送信をサポートし得る。

[00186] ビデオソースは、ビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。さらなる代替として、ビデオソースは、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。場合によっては、ビデオソースがビデオカメラである場合、ソースデバイスおよび宛先デバイスは、いわゆるカメラフォンまたはビデオフォンを形成し得る。ただし、上述のように、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤード適用例に適用され得る。各場合において、キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成ビデオは、ビデオエンコーダによって符号化され得る。符号化されたビデオ情報は、次いで、出力インターフェースによってコンピュータ可読媒体上に出力され得る。

[00187] 述べたように、コンピュータ可読媒体は、ワイヤレスブロードキャストまたはワイヤードネットワーク送信などの一時媒体、あるいはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Ｂｌｕ−ｒａｙディスク、または他のコンピュータ可読媒体などの記憶媒体（すなわち、非一時的記憶媒体）を含み得る。いくつかの例では、ネットワークサーバ（図示せず）は、たとえば、ネットワーク送信を介して、ソースデバイスから符号化されたビデオデータを受信し、その符号化されたビデオデータを宛先デバイスに与え得る。同様に、ディスクスタンピング設備など、媒体製造設備のコンピューティングデバイスは、ソースデバイスから符号化されたビデオデータを受信し、その符号化されたビデオデータを含んでいるディスクを生成し得る。したがって、コンピュータ可読媒体は、様々な例において、様々な形態の１つまたは複数のコンピュータ可読媒体を含むものと理解され得る。

[00188] 宛先デバイスの入力インターフェースはコンピュータ可読媒体から情報を受信する。コンピュータ可読媒体の情報は、ビデオエンコーダによって定義され、ビデオデコーダによっても使用される、ブロックおよび他のコーディングされたユニット、たとえば、ピクチャグループ（ＧＯＰ）の特性および／または処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。ディスプレイデバイスは、復号されたビデオデータをユーザに対して表示し、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。本発明の様々な実施形態について説明した。これらおよび他の実施形態は以下の特許請求の範囲内に入る。

[00189] 本発明の様々な実施形態について説明した。これらおよび他の実施形態は以下の特許請求の範囲内に入る。

[0059] 本開示の技法は、ワイヤレス適用例または設定に加えて適用例または設定を適用し得る。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ：dynamic adaptive streaming over HTTP）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例をサポートするビデオコーディングに適用され得る。いくつかの実施形態では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向ビデオ送信をサポートするように構成され得る。

[0085] ビデオシーケンス中のルーマサンプルおよびクロマサンプルの各々は８ビットから１４ビットまでを必要とし得る。ビット要件により、ビデオ符号化および復号システムは、ビットを節約するために、（上記で説明した）予測およびフィルタ処理の様々な手法を実装し得る。いくつかの構成では、ルーマアレイ中で使用されるビット数は、クロマアレイ中で使用されるビット数とは異なり得る。たとえば、インデックス（たとえば、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ）値が１に等しいとき、ピクチャ中のルーマサンプルおよびクロマサンプルの公称垂直および水平相対ロケーションは、たとえば４：２：０サンプリングで構成された複数のクロマサンプルの各々を囲むルーマサンプルの３×４アレイを備え得る。代替クロマサンプル相対ロケーションは、ビデオユーザビリティ情報、たとえば、ＨＥＶＣ規格の付属書類Ｅにおいて示され得る。別の例として、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの値が２に等しい場合、クロマサンプルは、対応するルーマサンプルと共同配置（co-site）され得、ピクチャ中の公称ロケーションは４：２：２サンプリングの場合のように構成され得る。また別の例として、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの値が３に等しいとき、アレイサンプルは、ピクチャのすべての場合について共同配置され得、ピクチャ中の公称ロケーションは４：４：４サンプリングの場合のように構成され得る。

[00155] いくつかの実施形態では、ビデオエンコーダ２０は、４分木リーフおよび／または４分木サブリーフの全部ではないが一部をさらなる４分木サブリーフに区分し得る。たとえば、４分木深度指定に応じて、図示のように、ビデオエンコーダ２０は、４分木サブリーフ４２０Ｅをさらなる４分木サブリーフにさらに区分することがあるが、４分木サブリーフ４２０Ｆをさらに区分しないことがある。一実施形態では、ビデオエンコーダ２０は、すべてのリーフが同じ４分木深度を共有するように、シーケンスレベルにおいて４分木深度をシグナリングし得る。別の実施形態では、ビデオエンコーダ２０は、各リーフのための４分木深度を個々にシグナリングし得る。その場合、ビデオエンコーダ２０は、ピクチャレベルにおける４分木深度のエントロピーコーディングがより効率的になり得るように、シーケンスレベルにおいて最大４分木深度をもシグナリングし得る。一実施形態では、冗長を回避するために、ビデオエンコーダ２０は、ビデオエンコーダ２０が領域全体のために１つの４分木深度をシグナリングし得るように、同様に特徴づけられたリーフ（たとえば、等しいかまたは同様である一部または全部のフィルタパラメータを共有し得るリーフ）を「領域(region)」にグループ化し得る。また別の実施形態では、最大４分木深度はコーデックにおいてハードコーディングされ得る。さらにまた別の実施形態では、ビデオエンコーダ２０は、スプリットフラグを使用して４分木深度をシグナリングし得る。その場合、ビデオエンコーダ２０は、各リーフおよび／またはサブリーフについて最大４分木深度に到達するまで、各リーフおよび／またはサブリーフにスプリットフラグをシグナリングし得る。たとえば、図示の例では、ビデオエンコーダ２０は、ピクチャ（たとえば、レイヤ間参照ピクチャ４００全体）の第１のレイヤのためのパーティションを示すためにスプリットフラグをシグナリングし得、これは、４分木リーフ４１０の各々を生じ得る。ビデオエンコーダ２０は、次いで、第１の４分木リーフ（たとえば、４１０Ａ）が区分されるべきであることを示すためにスプリットフラグをシグナリングし得、これは、一例として示されているように、４分木サブリーフ４２０を生じ得る。ビデオエンコーダ２０は、次いで、一例として示されているように、第２の４分木リーフ（たとえば、４２０Ｂ）が区分されるべきでないことを示すためにスプリットフラグをシグナリングし得る。このプロセスは、図において一例として示されているように、４分木リーフおよび／またはサブリーフのすべてが深度指定に従って完全に区分されるまで続き得る。

Claims (30)

1. ビデオ情報を符号化するように構成された装置であって、前記装置が、
   ビデオ情報を備えるレイヤ間参照ピクチャを記憶するように構成されたメモリユニットと、
   前記メモリに動作可能に結合されたプロセッサと
   を備え、前記プロセッサが、
   前記レイヤ間参照ピクチャを、複数のリーフを有する４分木構造に区分することと、
   各個々のリーフ中の前記ビデオ情報に基づいて各個々のリーフに固有のコンポーネント間フィルタパラメータを決定することと、ここにおいて、前記コンポーネント間フィルタパラメータが、ハイパスフィルタ係数、量子化パラメータ、またはシフトパラメータのうちの少なくとも１つを備える、
   前記リーフの各々のための前記コンポーネント間フィルタパラメータをシグナリングすることと
   を行うように構成された、装置。
2. 前記プロセッサが、前記レイヤ間参照ピクチャの、ピクチャ解像度、最小コーディングユニットサイズ、最大コーディングユニットサイズ、またはタイルサイズ（tile size）に基づいて前記レイヤ間参照ピクチャを区分するようにさらに構成された、請求項１に記載の装置。
3. 前記プロセッサは、選択されたリーフと前記選択されたリーフの空間ネイバーリーフ（spatial neighbor leaf）とが同じコンポーネント間フィルタパラメータを共有するように、前記選択されたリーフを前記空間ネイバーリーフとマージするようにさらに構成された、請求項１に記載の装置。
4. 前記プロセッサが、前記４分木構造の４分木区分（quadtree partitioning）を示すために４分木深度情報（quadtree depth information）を使用するようにさらに構成された、請求項１に記載の装置。
5. フィルタ係数、量子化パラメータ、またはシフトパラメータのうちの少なくとも１つが複数の前記リーフについて同じである、請求項１に記載の装置。
6. 前記プロセッサが、スライスヘッダ、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）またはシーケンスパラメータセット（ＳＰＳ）中で前記コンポーネント間フィルタパラメータをシグナリングするように構成された、請求項１に記載の装置。
7. 前記プロセッサが、異なるリーフに関連する２つのコンポーネント間フィルタパラメータ間の差分を示す差分情報をシグナリングすることによって前記コンポーネント間フィルタパラメータをシグナリングするように構成された、請求項１に記載の装置。
8. 前記プロセッサが、あらかじめ定義されたフィルタパラメータセットの１つまたは複数のインデックス値をシグナリングすることによって前記コンポーネント間フィルタパラメータをシグナリングするように構成された、請求項１に記載の装置。
9. ビデオ情報を符号化する方法であって、前記方法が、
   ビデオ情報を備えるレイヤ間参照ピクチャを記憶することと、
   前記レイヤ間参照ピクチャを、複数のリーフを有する４分木構造に区分することと、
   各個々のリーフ中の前記ビデオ情報に基づいて各個々のリーフに固有のコンポーネント間フィルタパラメータを決定することと、ここにおいて、前記コンポーネント間フィルタパラメータが、ハイパスフィルタ係数、量子化パラメータ、またはシフトパラメータのうちの少なくとも１つを備える、
   前記リーフの各々のための前記コンポーネント間フィルタパラメータをシグナリングすることと
   を備える、方法。
10. 前記区分することが、前記レイヤ間参照ピクチャの、ピクチャ解像度、最小コーディングユニットサイズ、最大コーディングユニットサイズ、またはタイルサイズに基づいて前記レイヤ間参照ピクチャを区分することを備える、請求項９に記載の方法。
11. 選択されたリーフと前記選択されたリーフの空間ネイバーリーフとが同じコンポーネント間フィルタパラメータを共有するように、前記選択されたリーフを前記空間ネイバーリーフとマージすることをさらに備える、請求項９に記載の方法。
12. 前記４分木構造の４分木区分を示すために４分木深度情報を使用することをさらに備える、請求項９に記載の方法。
13. フィルタ係数、量子化パラメータ、またはシフトパラメータのうちの少なくとも１つが複数の前記リーフについて同じである、請求項９に記載の方法。
14. 前記シグナリングすることが、異なるリーフに関連する２つのコンポーネント間フィルタパラメータ間の差分を示す差分情報をシグナリングすることによって前記コンポーネント間フィルタパラメータをシグナリングすることを備える、請求項９に記載の方法。
15. 前記シグナリングすることが、あらかじめ定義されたフィルタパラメータセットの１つまたは複数のインデックス値をシグナリングすることによって前記コンポーネント間フィルタパラメータをシグナリングすることを備える、請求項９に記載の方法。
16. ビデオ情報を復号するように構成された装置であって、前記装置が、
    ビデオ情報を備えるレイヤ間参照ピクチャを記憶するように構成されたメモリユニットと、
    前記メモリに動作可能に結合されたプロセッサと
    を備え、前記プロセッサは、
    前記レイヤ間参照ピクチャがそれに区分される複数のリーフを有する４分木構造を示すパーティション情報を決定することと、
    各個々のリーフに固有のコンポーネント間フィルタパラメータを決定することと、ここにおいて、各個々のリーフのための前記コンポーネント間フィルタパラメータが、前記個々のリーフ中の前記ビデオ情報に基づいており、ハイパスフィルタ係数、量子化パラメータ、またはシフトパラメータのうちの少なくとも１つを備える、
    前記パーティション情報と前記コンポーネント間フィルタパラメータとを使用して前記レイヤ間参照ピクチャを復号することと
    を行うように構成された、装置。
17. 前記レイヤ間参照ピクチャの前記パーティション情報が、前記レイヤ間参照ピクチャの、ピクチャ解像度、最小コーディングユニットサイズ、最大コーディングユニットサイズ、またはタイルサイズに基づいている、請求項１６に記載の装置。
18. 前記プロセッサは、選択されたリーフと前記選択されたリーフの空間ネイバーリーフとが同じコンポーネント間フィルタパラメータを共有するように、前記選択されたリーフを前記空間ネイバーリーフとマージするようにさらに構成された、請求項１６に記載の装置。
19. 前記プロセッサが、前記４分木構造の４分木区分を決定するために４分木深度情報を使用するようにさらに構成された、請求項１６に記載の装置。
20. フィルタ係数、量子化パラメータ、またはシフトパラメータのうちの少なくとも１つが複数の前記リーフについて同じである、請求項１６に記載の装置。
21. 前記プロセッサが、スライスヘッダ、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）またはシーケンスパラメータセット（ＳＰＳ）から前記コンポーネント間フィルタパラメータを受信するように構成された、請求項１６に記載の装置。
22. 前記プロセッサが、異なるリーフに関連する２つのコンポーネント間フィルタパラメータ間の差分を示す差分情報を受信することによって前記コンポーネント間フィルタパラメータを決定するように構成された、請求項１６に記載の装置。
23. 前記プロセッサが、あらかじめ定義されたフィルタパラメータセットの１つまたは複数のインデックス値を受信することによって前記コンポーネント間フィルタパラメータを決定するように構成された、請求項１６に記載の装置。
24. ビデオ情報を復号する方法であって、前記方法は、
    ビデオ情報を備えるレイヤ間参照ピクチャを記憶することと、
    前記レイヤ間参照ピクチャがそれに区分される複数のリーフを有する４分木構造を示すパーティション情報を決定することと、
    各個々のリーフに固有のコンポーネント間フィルタパラメータを決定することと、ここにおいて、各個々のリーフのための前記コンポーネント間フィルタパラメータが、前記個々のリーフ中の前記ビデオ情報に基づいており、ハイパスフィルタ係数、量子化パラメータ、またはシフトパラメータのうちの少なくとも１つを備える、
    前記パーティション情報と前記コンポーネント間フィルタパラメータとを使用して前記レイヤ間参照ピクチャを復号することと
    を備える、方法。
25. 前記レイヤ間参照ピクチャの前記パーティション情報が、前記レイヤ間参照ピクチャの、ピクチャ解像度、最小コーディングユニットサイズ、最大コーディングユニットサイズ、またはタイルサイズに基づいている、請求項２４に記載の方法。
26. 選択されたリーフと前記選択されたリーフの空間ネイバーリーフとが同じコンポーネント間フィルタパラメータを共有するように、前記選択されたリーフを前記空間ネイバーリーフとマージすることをさらに備える、請求項２４に記載の方法。
27. 前記プロセッサが、前記４分木構造の４分木区分を決定するために４分木深度情報を使用するようにさらに構成された、請求項２４に記載の装置。
28. フィルタ係数、量子化パラメータ、またはシフトパラメータのうちの少なくとも１つが複数の前記リーフについて同じである、請求項２４に記載の方法。
29. 前記コンポーネント間フィルタパラメータを前記決定することが、異なるリーフに関連する２つのコンポーネント間フィルタパラメータ間の差分を示す差分情報を受信することを備える、請求項２４に記載の方法。
30. 前記コンポーネント間フィルタパラメータを前記決定することが、あらかじめ定義されたフィルタパラメータセットの１つまたは複数のインデックス値を受信することを備える、請求項２４に記載の方法。

Images