JP2022548637A - ビデオコーディングのためのクロスコンポーネント適応ループフィルタリングのためのビットシフティング - Google Patents

Abstract

例示的な方法は、クロスコンポーネント適応ループフィルタの複数のフィルタ係数を復号することと、ここにおいて、複数のフィルタ係数のうちの特定のフィルタ係数を復号することが、符号化されたビデオビットストリームから、特定のフィルタ係数の絶対値の２を底とする対数を表す指数値を、２を指数値のべき乗にしたものとして特定するシンタックス要素を復号することと、指数値に基づいて、特定のフィルタ係数の値を決定することとを備える、ビデオデータのブロックのサンプルを再構築することと、複数のフィルタ係数に基づいて、ビデオデータのブロックをクロスコンポーネント適応ループフィルタリングすることとを含む。

Description

[0001] 本出願は、２０１９年９月２３日に出願された米国仮出願第６２／９０４，５０８号の利益を主張する、２０２０年９月２２日に出願された米国出願第１７／０２８，２０９号の優先権を主張し、各々の内容全体が、参照によって本明細書に組み込まれている。

[0002] 本開示は、ビデオ符号化（video encoding）とビデオ復号（video decoding）とを含む、ビデオコーディング（video coding）に関する。

[0003] デジタルビデオ能力は、デジタルテレビ、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタルレコーディングデバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲーム機、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、幅広いデバイスの中に組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ－２、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４、パート１０、アドバンストビデオコーディング（ＡＶＣ：Advanced Video Coding）、ＩＴＵ－Ｔ Ｈ．２６５／高効率ビデオコーディング（ＨＥＶＣ）によって規定される規格、およびそのような規格の拡張において記載されるものなどの、ビデオコーディング技法を実施する。ビデオデバイスは、そのようなビデオコーディング技法を実施することによって、より効率的にデジタルビデオ情報を送信、受信、符号化、復号、および／または記憶し得る。

[0004] ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するために、空間（イントラピクチャ）予測および／または時間（インターピクチャ）予測を含む。ブロックベースのビデオコーディングの場合、ビデオスライス（たとえば、ビデオピクチャまたはビデオピクチャの一部分）は、コーディングツリーユニット（ＣＴＵ：coding tree unit）、コーディングユニット（ＣＵ：coding unit）、および／またはコーディングノードと呼ばれることもある、ビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライスの中のビデオブロックは、同じピクチャの中の隣接ブロックの中の参照サンプルを基準にした空間予測を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライスの中のビデオブロックは、同じピクチャの中の隣接ブロックの中の参照サンプルを基準にした空間予測、または他の参照ピクチャの中の参照サンプルを基準にした時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

[0005] 一般に、本開示は、ビデオデータ（video data）のクロスコンポーネント適応ループフィルタリング（ＣＣ－ＡＬＦ：cross-component adaptive loop filter）に関連する技法を説明する。ＡＬＦを実行するために、ビデオコーダ（video coder）は、異なる係数セットを使用して（たとえば、ルーマブロック（luma block）をフィルタリングするためのルーマ係数セットと、クロマブロック（chroma block）をフィルタリングするための１つまたは複数のクロマ係数セットとを使用して）、対応するルーマブロックとクロマブロックとを別々にフィルタリングし得る。しかしながら、ルーマブロックは、コーディングループ内で対応するクロマブロックにおいて失われ得る詳細を含み得る。そのため、ビデオコーダは、ルーマブロックからの情報が、対応するクロマブロックを向上させるために使用されるＣＣ－ＡＬＦを実行し得る。

[0006] たとえば、ビデオコーダは、第１のクロマ成分（たとえば、Ｃｂ）についての中間ブロック（intermediate block）を生成するために、クロマフィルタ係数の第１のセットを用いてルーマブロックをフィルタリングし、第２のクロマ成分（たとえば、Ｃｒ）についての中間ブロックを生成するために、クロマフィルタ係数の第２のセットを用いてルーマブロックをフィルタリングしてもよい。ビデオエンコーダ（video encoder）は、ＣＣ－ＡＬＦのためのフィルタ係数使用の値（たとえば、ルーマブロックをフィルタリングするために使用される、少なくともクロマフィルタ係数の第１および第２のセット）を、符号化されたビデオビットストリーム（encoded video bitstream）内で、１つまたは複数のシンタックス要素（syntax element）として、ビデオデコーダ（video decoder）にシグナリングし得る。次いで、ビデオコーダは、それぞれの中間ブロックを、クロマ成分のＡＬＦフィルタリングされたクロマブロックに追加し得る。

[0007] クロマ成分についての中間ブロックを生成するべくルーマブロックをフィルタリングするために、ビデオコーダは、ルーマブロックの各サンプル（sample）に対して複数の乗算演算（multiplication operation）を実行し得る。たとえば、ビデオコーダは、ルーマブロックの特定のサンプルについてのフィルタリングされた値（a filtered value）を、ルーマブロックのサンプルによって乗算されたクロマフィルタ係数の和として計算してもよい。そのため、ＣＣ－ＡＬＦを実行することは、多数の乗算演算（たとえば、８ｘ８ルーマブロックに対して７回）を含み得る。そのような大きい数の乗算演算の実行は、ビデオコーダにとってリソース集約的な努力となることがあり、これは不必要にコーディング時間および／または電力消費を増加させることがある。

[0008] 本開示の１つまたは複数の技法によれば、ビデオコーダは、フィルタ係数（filter coefficient）の絶対値（absolute value）がゼロまたは２のべき乗（power of two）に制限されるように、ＣＣ－ＡＬＦについてのフィルタ係数をコーディングし得る（たとえば、ビデオエンコーダは符号化し得、ビデオデコーダは復号し得る）。中間のクロマブロックを生成するために、フィルタ係数を使用してルーマブロックをフィルタリングする場合、ビデオコーダは、乗算演算をビットシフト演算（bit-shift operation）（たとえば、左シフト演算および右シフト演算）に置換し得る。フィルタ係数の絶対値がゼロまたは２のべき乗になるように制限されるので、乗算演算とビットシフト演算との置換は、数学的に等価であり（すなわち、同一の中間クロマブロックを生み出し）得る。しかしながら、数学上は等価であるが、ビットシフト演算は、乗算演算よりもリソース集約度が実質的に低くなり得る。また、専用ハードウェア（たとえば、特定用途向け集積回路（ＡＳＩＣ））において実装される場合、ビットシフト演算を実行するために必要とされるハードウェアは、乗算演算を実行するために必要とされるハードウェアよりも単純であり得る。このようにして、本開示の技法は、ＣＣ－ＡＬＦのリソース要件（resource requirement）を低減する。

[0009] 一例として、方法は、クロスコンポーネント適応ループフィルタの複数のフィルタ係数を復号（decode）することと、ここにおいて、複数のフィルタ係数の特定のフィルタ係数を復号することは、符号化されたビデオビットストリームから、特定のフィルタ係数（particular filter coefficient）の絶対値の２を底とする対数（a log base 2）を表す指数値（exponent value）を、２を指数値のべき乗にしたものとして（as two raised to the power of the exponent value）特定するシンタックス要素を復号することと、指数値に基づいて、特定のフィルタ係数の値（value）を決定することとを備える、ビデオデータのブロック（block）のサンプルを再構築（reconstruct）することと、複数のフィルタ係数に基づいて、ビデオデータのブロックをクロスコンポーネント適応ループフィルタリングすることとを含む。

[0010] 別の例として、方法は、クロスコンポーネント適応ループフィルタの複数のフィルタ係数の値を符号化することと、ここにおいて、複数のフィルタ係数のうちの特定のフィルタ係数の値を符号化することは、符号化されたビデオビットストリームにおいて、特定のフィルタ係数の絶対値の２を底とする対数を表す指数値を、２を指数値のべき乗にしたものとして特定するシンタックス要素を符号化することを備える、ビデオデータのブロックのサンプルを再構築することと、複数のフィルタ係数の値に基づいて、ビデオデータのブロックをクロスコンポーネント適応ループフィルタリングすることとを含む。

[0011] 別の例として、デバイス（device）は、符号化されたビデオビットストリームの少なくとも一部を記憶するように構成されたメモリ（memory）と、回路構成（circuitry）の中に実装された１つまたは複数のプロセッサ（processor）とを含み、１つまたは複数のプロセッサは、クロスコンポーネント適応ループフィルタの複数のフィルタ係数を復号することと、ここにおいて、複数のフィルタ係数のうちの特定のフィルタ係数を復号するために、１つまたは複数のプロセッサは、符号化されたビデオビットストリームから、特定のフィルタ係数の絶対値の２を底とする対数を表す指数値を、２を指数値のべき乗にしたものとして特定するシンタックス要素を復号することと、指数値に基づいて、特定のフィルタ係数の値を決定することとを行うように構成される、ビデオデータのブロックのサンプルを再構築することと、複数のフィルタ係数に基づいて、ビデオデータのブロックをクロスコンポーネント適応ループフィルタリングすることとを行うように構成される。

[0012] 別の例として、デバイスは、符号化されたビデオビットストリームの少なくとも一部を記憶するように構成されたメモリと、回路構成の中に実装された１つまたは複数のプロセッサとを含み、１つまたは複数のプロセッサは、クロスコンポーネント適応ループフィルタの複数のフィルタ係数の値を符号化するように構成され、ここにおいて、複数のフィルタ係数のうちの特定のフィルタ係数の値を符号化するために、１つまたは複数のプロセッサは、符号化されたビデオビットストリームにおいて、特定のフィルタ係数の絶対値の２を底とする対数を表す指数値を、２を指数値のべき乗にしたものとして特定するシンタックス要素を復号することと、ビデオデータのブロックのサンプルを再構築することと、複数のフィルタ係数の値に基づいて、ビデオデータのブロックをクロスコンポーネント適応ループフィルタリングすることとを行うように構成される。

[0013] １つまたは複数の例の詳細が、添付図面および以下の説明において記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかとなろう。

[0014] 本開示の技法を実行し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0015] 例示的な４分木２分木（ＱＴＢＴ：quadtree binary tree）構造と、対応するコーディングツリーユニット（ＣＴＵ）とを示す概念図。 例示的な４分木２分木（ＱＴＢＴ）構造と、対応するコーディングツリーユニット（ＣＴＵ）とを示す概念図。 [0016] 本開示の技法を実行し得る例示的なビデオエンコーダを示すブロック図。 [0017] 本開示の技法を実行し得る例示的なビデオデコーダを示すブロック図。 [0018] 本開示の１つまたは複数の技法による、例示的なフィルタユニット（filter unit）を例示するブロック図。 [0019] 本開示の技法による、現在のブロックを符号化するための例示的な方法を例示するフローチャート。 [0020] 本開示の技法による、現在ブロックを復号するための例示的な方法を示すフローチャート。 [0021] 本開示の１つまたは複数の技法による、現在のブロックに対するクロスコンポーネント適応ループフィルタリング（ＣＣ－ＡＬＦ）のための例示的な方法を例示するフローチャート。

[0022] 図１は、本開示の技法を実行し得る例示的なビデオ符号化および復号システム１００を示すブロック図である。本開示の技法は、一般に、ビデオデータをコーディング（符号化および／または復号）することを対象とする。一般に、ビデオデータは、ビデオを処理するための任意のデータを含む。したがって、ビデオデータは、未加工のコーディングされていないビデオと、符号化されたビデオと、復号された（たとえば、再構成された）ビデオと、シグナリングデータなどのビデオメタデータとを含んでよい。

[0023] 図１に示すように、システム１００は、この例では、宛先デバイス１１６によって復号および表示されるべき符号化ビデオデータを提供するソースデバイス１０２を含む。詳細には、ソースデバイス１０２は、コンピュータ可読媒体１１０を介してビデオデータを宛先デバイス１１６に提供する。ソースデバイス１０２および宛先デバイス１１６は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、スマートフォンなどの電話ハンドセット、テレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーム機、ビデオストリーミングデバイスなどを含む、幅広いデバイスのうちのいずれかを備えてよい。場合によっては、ソースデバイス１０２および宛先デバイス１１６は、ワイヤレス通信のために装備されてよく、したがって、ワイヤレス通信デバイスと呼ばれることがある。

[0024] 図１の例では、ソースデバイス１０２は、ビデオソース１０４と、メモリ１０６と、ビデオエンコーダ２００と、出力インターフェース１０８とを含む。宛先デバイス１１６は、入力インターフェース１２２と、ビデオデコーダ３００と、メモリ１２０と、ディスプレイデバイス１１８とを含む。本開示によれば、ソースデバイス１０２のビデオエンコーダ２００および宛先デバイス１１６のビデオデコーダ３００は、クロスコンポーネント適応ループフィルタリングを実行するための技法を適用するように構成され得る。したがって、ソースデバイス１０２は、ビデオ符号化デバイスの一例を表し、宛先デバイス１１６は、ビデオ復号デバイスの一例を表す。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または構成を含んでよい。たとえば、ソースデバイス１０２は、外部カメラなどの外部ビデオソースからビデオデータを受信してよい。同様に、宛先デバイス１１６は、統合されたディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースしてよい。

[0025] 図１に示すようなシステム１００は一例にすぎない。一般に、任意のデジタルビデオ符号化および／または復号デバイスが、クロスコンポーネント適応ループフィルタリングのための技法を実行し得る。ソースデバイス１０２および宛先デバイス１１６は、ソースデバイス１０２が宛先デバイス１１６への送信のためにコード化ビデオデータを生成する、そのようなコーディングデバイスの例にすぎない。本開示は、データのコーディング（符号化および／または復号）を実行するデバイスとして「コーディング」デバイスに言及する。したがって、ビデオエンコーダ２００およびビデオデコーダ３００は、コーディングデバイス、詳細には、それぞれ、ビデオエンコーダおよびビデオデコーダの例を表す。いくつかの例では、ソースデバイス１０２および宛先デバイス１１６は、ソースデバイス１０２および宛先デバイス１１６の各々がビデオ符号化および復号構成要素を含むように、実質的に対称的に動作し得る。したがって、システム１００は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、またはビデオ電話のために、ソースデバイス１０２と宛先デバイス１１６との間で１方向または２方向のビデオ送信をサポートし得る。

[0026] 概して、ビデオソース１０４は、ビデオデータ（すなわち、未加工のコーディングされていないビデオデータ）のソースを表し、ビデオデータの連続した一連のピクチャ（「フレーム」とも呼ばれる）をビデオエンコーダ２００に提供し、ビデオエンコーダ２００はピクチャに対するデータを符号化する。ソースデバイス１０２のビデオソース１０４は、以前にキャプチャされた未加工のビデオを含むビデオカメラ、ビデオアーカイブなどのビデオキャプチャデバイス、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含んでよい。さらなる代替として、ビデオソース１０４は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオ、アーカイブされたビデオ、およびコンピュータ生成されたビデオの組合せを生成し得る。各場合において、ビデオエンコーダ２００は、キャプチャされた、事前キャプチャされた、またはコンピュータ生成されたビデオデータを符号化する。ビデオエンコーダ２００は、受信された順序（時々、「表示順序」と呼ばれる）からコーディング用のコーディング順序に、ピクチャを再配置し得る。ビデオエンコーダ２００は、符号化ビデオデータを含むビットストリームを生成し得る。ソースデバイス１０２は、次いで、たとえば、宛先デバイス１１６の入力インターフェース１２２による、受信および／または取出しのために、出力インターフェース１０８を介してコンピュータ可読媒体１１０上に符号化ビデオデータを出力し得る。

[0027] ソースデバイス１０２のメモリ１０６および宛先デバイス１１６のメモリ１２０は、汎用メモリを表す。いくつかの例では、メモリ１０６、１２０は、未加工のビデオデータ、たとえば、ビデオソース１０４からの未加工ビデオと、ビデオデコーダ３００からの未加工の復号されたビデオデータとを記憶し得る。追加または代替として、メモリ１０６、１２０は、たとえば、それぞれ、ビデオエンコーダ２００およびビデオデコーダ３００によって実行可能な、ソフトウェア命令を記憶し得る。この例ではビデオエンコーダ２００およびビデオデコーダ３００から別個に示されるが、ビデオエンコーダ２００およびビデオデコーダ３００がまた、機能的に類似のまたは均等な目的のための内部メモリを含んでよいことを理解されたい。さらに、メモリ１０６、１２０は、符号化ビデオデータ、たとえば、ビデオエンコーダ２００からの出力と、ビデオデコーダ３００への入力とを記憶し得る。いくつかの例では、メモリ１０６、１２０の部分は、たとえば、未加工の復号ビデオデータおよび／または符号化ビデオデータを記憶するための、１つまたは複数のビデオバッファとして割り振られてよい。

[0028] コンピュータ可読媒体１１０は、ソースデバイス１０２から宛先デバイス１１６に符号化ビデオデータをトランスポートすることが可能な任意のタイプの媒体またはデバイスを表してよい。一例では、コンピュータ可読媒体１１０は、ソースデバイス１０２が、たとえば、無線周波数ネットワークまたはコンピュータベースネットワークを介して、符号化ビデオデータをリアルタイムで直接宛先デバイス１１６へ送信することを可能にするための、通信媒体を表す。出力インターフェース１０８は、符号化ビデオデータを含む送信信号を変調してよく、入力インターフェース１２２は、受信された送信信号をワイヤレス通信プロトコルなどの通信規格に従って復調してよい。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つもしくは複数の物理伝送線路などの、任意のワイヤレスまたは有線の通信媒体を備えてよい。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなどの、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１０２から宛先デバイス１１６への通信を容易にするために有用であり得る任意の他の機器を含んでよい。

[0029] いくつかの例では、ソースデバイス１０２は、出力インターフェース１０８から記憶デバイス１１２に符号化データを出力し得る。同様に、宛先デバイス１１６は、入力インターフェース１２２を介して記憶デバイス１１２からの符号化データにアクセスし得る。記憶デバイス１１２は、ハードドライブ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性メモリもしくは不揮発性メモリ、または符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体などの、分散されるかまたは局所的にアクセスされる様々なデータ記憶媒体のうちのいずれかを含んでよい。

[0030] いくつかの例では、ソースデバイス１０２は、ソースデバイス１０２によって生成された符号化ビデオを記憶し得る、ファイルサーバ１１４または別の中間記憶デバイスに、符号化ビデオデータを出力し得る。宛先デバイス１１６は、ストリーミングまたはダウンロードを介してファイルサーバ１１４からの記憶されたビデオデータにアクセスし得る。ファイルサーバ１１４は、符号化ビデオデータを記憶することおよびその符号化ビデオデータを宛先デバイス１１６へ送信することが可能な、任意のタイプのサーバデバイスであってよい。ファイルサーバ１１４は、（たとえば、ウェブサイト用の）ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、コンテンツ配信ネットワークデバイス、またはネットワーク接続ストレージ（ＮＡＳ）デバイスを表してよい。宛先デバイス１１６は、インターネット接続を含む任意の標準データ接続を通じて、ファイルサーバ１１４からの符号化ビデオデータにアクセスし得る。これは、ワイヤレスチャネル（たとえば、Ｗｉ－Ｆｉ（登録商標）接続）、有線接続（たとえば、デジタル加入者回線（ＤＳＬ）、ケーブルモデムなど）、またはファイルサーバ１１４上に記憶された符号化ビデオデータにアクセスするのに適したその両方の組合せを含んでよい。ファイルサーバ１１４および入力インターフェース１２２は、ストリーミング伝送プロトコル、ダウンロード伝送プロトコル、またはそれらの組合せに従って動作するように構成され得る。

[0031] 出力インターフェース１０８および入力インターフェース１２２は、ワイヤレス送信機／受信機、モデム、有線ネットワーキング構成要素（たとえば、Ｅｔｈｅｒｎｅｔ（登録商標）カード）、様々なＩＥＥＥ８０２．１１規格のうちのいずれかに従って動作するワイヤレス通信構成要素、または他の物理構成要素を表してよい。出力インターフェース１０８および入力インターフェース１２２がワイヤレス構成要素を備える例では、出力インターフェース１０８および入力インターフェース１２２は、４Ｇ、４Ｇ－ＬＴＥ（登録商標）（ロングタームエボリューション）、ＬＴＥアドバンスト、５Ｇなどのセルラー通信規格に従って、符号化ビデオデータなどのデータを転送するように構成され得る。出力インターフェース１０８がワイヤレス送信機を備えるいくつかの例では、出力インターフェース１０８および入力インターフェース１２２は、ＩＥＥＥ８０２．１１仕様、ＩＥＥＥ８０２．１５仕様（たとえば、ＺｉｇＢｅｅ（登録商標））、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格などの他のワイヤレス規格に従って、符号化ビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス１０２および／または宛先デバイス１１６は、それぞれのシステムオンチップ（ＳｏＣ）デバイスを含んでよい。たとえば、ソースデバイス１０２は、ビデオエンコーダ２００および／または出力インターフェース１０８のものとされる機能性を実行するためのＳｏＣデバイスを含んでよく、宛先デバイス１１６は、ビデオデコーダ３００および／または入力インターフェース１２２のものとされる機能性を実行するためのＳｏＣデバイスを含んでよい。

[0032] 本開示の技法は、オーバージエアテレビ放送、ケーブルテレビ送信、衛星テレビ送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されるデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、または他の適用例などの、様々なマルチメディア適用例のうちのいずれかのサポートにおけるビデオコーディングに適用され得る。

[0033] 宛先デバイス１１６の入力インターフェース１２２は、コンピュータ可読媒体１１０（たとえば、記憶デバイス１１２、ファイルサーバ１１４など）から符号化ビデオビットストリームを受信する。符号化ビデオビットストリームは、ビデオブロックまたは他のコード化ユニット（たとえば、スライス、ピクチャ、ピクチャのグループ、シーケンスなど）の特性および／または処理を記述する値を有するシンタックス要素などの、ビデオデコーダ３００によっても使用される、ビデオエンコーダ２００によって規定されるシグナリング情報を含んでよい。ディスプレイデバイス１１８は、復号ビデオデータの復号ピクチャをユーザに表示する。ディスプレイデバイス１１８は、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなどの、様々なディスプレイデバイスのうちのいずれかを表してよい。

[0034] 図１に示さないが、いくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は各々、オーディオエンコーダおよび／またはオーディオデコーダと統合されてよく、共通のデータストリームの中にオーディオとビデオの両方を含む多重化ストリームを処理するために、適切なＭＵＸ－ＤＥＭＵＸユニットまたは他のハードウェアおよび／もしくはソフトウェアを含んでよい。適用可能な場合、ＭＵＸ－ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。

[0035] ビデオエンコーダ２００およびビデオデコーダ３００は各々、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、個別論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなどの、様々な好適なエンコーダおよび／またはデコーダ回路構成のうちのいずれかとして実装され得る。技法が部分的にソフトウェアで実装されるとき、デバイスは、本開示の技法を実行するために、ソフトウェアのための命令を好適な非一時的コンピュータ可読媒体の中に記憶してよく、１つまたは複数のプロセッサを使用してハードウェアで命令を実行してよい。ビデオエンコーダ２００およびビデオデコーダ３００の各々は、１つまたは複数のエンコーダまたはデコーダの中に含まれてよく、それらのうちのいずれも、それぞれのデバイスの中で、組み合わせられたエンコーダ／デコーダ（コーデック）の一部として統合されてよい。ビデオエンコーダ２００および／またはビデオデコーダ３００を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラー電話などのワイヤレス通信デバイスを備えてよい。

[0036] ビデオエンコーダ２００およびビデオデコーダ３００は、高効率ビデオコーディング（ＨＥＶＣ）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６５、またはマルチビューおよび／もしくはスケーラブルビデオコーディング拡張などのそれらの拡張などの、ビデオコーディング規格に従って動作し得る。代替として、ビデオエンコーダ２００およびビデオデコーダ３００は、共同探求テストモデル（ＪＥＭ）または多用途ビデオコーディング（ＶＶＣ：Versatile Video Coding）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６６などの、他のプロプライエタリ規格または業界規格に従って動作し得る。ＶＶＣ規格の最近のドラフトは、Ｂｒｏｓｓら、「Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ６）」、ＩＴＵ－Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１との共同ビデオエキスパート部会（ＪＶＥＴ）、第１５回会合、イェーテボリ、スウェーデン、２０１９年７月３日～１２日、ＪＶＥＴ－Ｏ２００１－ｖＥ（以下では「ＶＶＣドラフト６」）の中に記載されている。しかしながら、本開示の技法は、いかなる特定のコーディング規格にも限定されない。

[0037] 概して、ビデオエンコーダ２００およびビデオデコーダ３００は、ピクチャのブロックベースコーディングを実行し得る。「ブロック」という用語は、概して、処理される（たとえば、符号化される、復号される、または符号化および／もしくは復号プロセスにおいて別のやり方で使用される）べきデータを含む構造を指す。たとえば、ブロックは、ルミナンスおよび／またはクロミナンスデータのサンプルの２次元行列を含んでよい。概して、ビデオエンコーダ２００およびビデオデコーダ３００は、ＹＵＶ（たとえば、Ｙ、Ｃｂ、Ｃｒ）フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルに対して赤色、緑色、および青色（ＲＧＢ）のデータをコーディングするのではなく、ビデオエンコーダ２００およびビデオデコーダ３００は、ルミナンス成分とクロミナンス成分とをコーディングし得、ここで、クロミナンス成分は、赤色色相および青色色相の両方のクロミナンス成分を含んでよい。いくつかの例では、ビデオエンコーダ２００は、符号化の前に、受信されたＲＧＢフォーマット式データをＹＵＶ表現に変換し、ビデオデコーダ３００は、ＹＵＶ表現をＲＧＢフォーマットに変換する。代替として、前処理ユニットおよび後処理ユニット（図示せず）がこれらの変換を実行してよい。

[0038] 本開示は、概して、ピクチャのデータを符号化または復号するプロセスを含めるように、ピクチャのコーディング（たとえば、符号化および復号）に言及することがある。同様に、本開示は、ブロックに対するデータを符号化または復号する、たとえば、予測および／または残差コーディングのプロセスを含めるように、ピクチャのブロックのコーディングに言及することがある。符号化ビデオビットストリームは、概して、コーディング決定（たとえば、コーディングモード）およびブロックへのピクチャの区分を表す、シンタックス要素に対する一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は、概して、ピクチャまたはブロックを形成するシンタックス要素に対する値をコーディングすることとして理解されるべきである。

[0039] ＨＥＶＣは、コーディングユニット（ＣＵ）と、予測ユニット（ＰＵ）と、変換ユニット（ＴＵ：transform unit）とを含む、様々なブロックを規定する。ＨＥＶＣによれば、（ビデオエンコーダ２００などの）ビデオコーダは、４分木構造に従ってコーディングツリーユニット（ＣＴＵ）をＣＵに区分する。すなわち、ビデオコーダは、ＣＴＵとＣＵとをオーバーラップしない４つの均等な正方形に区分し、４分木の各ノードは、０個または４個の子ノードのいずれかを有する。子ノードを有しないノードは、「リーフノード」と呼ばれることがあり、そのようなリーフノードのＣＵは、１つもしくは複数のＰＵおよび／または１つもしくは複数のＴＵを含んでよい。ビデオコーダは、ＰＵとＴＵとをさらに区分し得る。たとえば、ＨＥＶＣでは、残差４分木（ＲＱＴ：residual quadtree）はＴＵの区分を表す。ＨＥＶＣでは、ＰＵはインター予測データを表し、ＴＵは残差データを表す。イントラ予測されるＣＵは、イントラモード表示などのイントラ予測情報を含む。

[0040] 別の例として、ビデオエンコーダ２００およびビデオデコーダ３００は、ＪＥＭまたはＶＶＣに従って動作するように構成され得る。ＪＥＭまたはＶＶＣによれば、（ビデオエンコーダ２００などの）ビデオコーダは、ピクチャを複数のコーディングツリーユニット（ＣＴＵ）に区分する。ビデオエンコーダ２００は、４分木２分木（ＱＴＢＴ）構造またはマルチタイプツリー（ＭＴＴ：Multi-Type Tree）構造などの木構造に従ってＣＴＵを区分し得る。ＱＴＢＴ構造は、ＨＥＶＣのＣＵ、ＰＵ、およびＴＵの間の分離などの、複数の区分タイプという概念を除去する。ＱＴＢＴ構造は、２つのレベル、すなわち、４分木区分に従って区分される第１のレベルと、２分木区分に従って区分される第２のレベルとを含む。ＱＴＢＴ構造のルートノードは、ＣＴＵに対応する。２分木のリーフノードは、コーディングユニット（ＣＵ）に対応する。

[0041] ＭＴＴ区分構造では、ブロックは、４分木（ＱＴ：quadtree）区分と、２分木（ＢＴ：binary tree）区分と、１つまたは複数のタイプの３分木（ＴＴ：triple tree）区分とを使用して、区分され得る。３分木区分は、ブロックが３つのサブブロックに分割される区分である。いくつかの例では、３分木区分は、中心を通って元のブロックを分割することなく、ブロックを３つのサブブロックに分割する。ＭＴＴにおける区分タイプ（たとえば、ＱＴ、ＢＴ、およびＴＴ）は、対称または非対称であってよい。

[0042] いくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は、ルミナンス成分およびクロミナンス成分の各々を表すために単一のＱＴＢＴまたはＭＴＴ構造を使用し得るが、他の例では、ビデオエンコーダ２００およびビデオデコーダ３００は、ルミナンス成分用の１つのＱＴＢＴ／ＭＴＴ構造および両方のクロミナンス成分用の別のＱＴＢＴ／ＭＴＴ構造（すなわち、それぞれのクロミナンス成分用の２つのＱＴＢＴ／ＭＴＴ構造）などの、２つ以上のＱＴＢＴまたはＭＴＴ構造を使用し得る。

[0043] ビデオエンコーダ２００およびビデオデコーダ３００は、ＨＥＶＣによる４分木区分、ＱＴＢＴ区分、ＭＴＴ区分、または他の区分構造を使用するように構成され得る。説明のために、本開示の技法の説明はＱＴＢＴ区分に関して提示される。ただし、本開示の技法が、４分木区分、または同様に他のタイプの区分を使用するように構成されたビデオコーダにも適用され得ることを理解されたい。

[0044] ブロック（たとえば、ＣＴＵまたはＣＵ）は、ピクチャの中に様々な方法でグループ化されてよい。一例として、ブリックとは、ピクチャの中の特定のタイル内のＣＴＵ行の長方形領域を指してよい。タイルとは、ピクチャの中の特定のタイル列内および特定のタイル行内のＣＴＵの長方形領域であってよい。タイル列とは、ピクチャの高さに等しい高さと、（たとえば、ピクチャパラメータセットの中などで）シンタックス要素によって指定される幅とを有する、ＣＴＵの長方形領域を指す。タイル行とは、（たとえば、ピクチャパラメータセットの中などで）シンタックス要素によって指定される高さと、ピクチャの幅に等しい幅とを有する、ＣＴＵの長方形領域を指す。

[0045] いくつかの例では、タイルは複数のブリックに区分されてよく、その各々はタイル内の１つまたは複数のＣＴＵ行を含んでよい。複数のブリックに区分されないタイルも、ブリックと呼ばれてよい。ただし、タイルの真のサブセットであるブリックは、タイルと呼ばれないことがある。

[0046] ピクチャの中のブリックはまた、スライスの中に配置され得る。スライスは、単一のネットワーク抽象レイヤ（ＮＡＬ）ユニットの中に排他的に含まれてよいピクチャの整数個のブリックであってよい。いくつかの例では、スライスは、いくつかの完全なタイル、または１つのタイルの完全なブリックの連続したシーケンスのみのいずれかを含む。

[0047] 本開示は、垂直寸法および水平寸法、たとえば、１６×１６サンプルまたは１６バイ１６（16 by 16）サンプルの観点から、（ＣＵまたは他のビデオブロックなどの）ブロックのサンプル寸法を指すために、「Ｎ×Ｎ」と「ＮバイＮ」とを互換的に使用し得る。概して、１６×１６のＣＵは、垂直方向において１６サンプル（ｙ＝１６）と、水平方向において１６サンプル（ｘ＝１６）とを有する。同様に、Ｎ×ＮのＣＵは、概して、垂直方向においてＮサンプルと、水平方向においてＮサンプルとを有し、ただし、Ｎは非負の整数値を表す。ＣＵの中のサンプルは、行および列をなして配置され得る。その上、ＣＵは、必ずしも水平方向において垂直方向と同じ個数のサンプルを有することを必要としない。たとえば、ＣＵはＮ×Ｍ個のサンプルを備えてよく、ただし、Ｍは必ずしもＮに等しいとは限らない。

[0048] ビデオエンコーダ２００は、予測情報および／または残差情報ならびに他の情報を表す、ＣＵに対するビデオデータを符号化する。予測情報は、ＣＵに対する予測ブロックを形成するために、ＣＵがどのように予測されることになるのかを示す。残差情報は、概して、符号化の前のＣＵのサンプルと予測ブロックとの間のサンプルごとの差分を表す。

[0049] ＣＵを予測するために、ビデオエンコーダ２００は、概して、インター予測またはイントラ予測を通じてＣＵに対する予測ブロックを形成し得る。インター予測は、一般に、以前にコーディングされたピクチャのデータからＣＵを予測することを指すが、イントラ予測は、一般に、同じピクチャの、以前にコーディングされたデータからＣＵを予測することを指す。インター予測を実行するために、ビデオエンコーダ２００は、１つまたは複数の動きベクトルを使用して予測ブロックを生成し得る。ビデオエンコーダ２００は、概して、たとえば、ＣＵと参照ブロックとの間の差分の観点から、ＣＵに密に整合する参照ブロックを識別するために、動き探索を実行し得る。ビデオエンコーダ２００は、参照ブロックが現在ＣＵに密に整合するかどうかを決定するために、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ：sum of squared differences）、平均絶対差分（ＭＡＤ：mean absolute difference）、平均２乗差分（ＭＳＤ：mean squared differences）、または他のそのような差分計算を使用して、差分メトリックを計算し得る。いくつかの例では、ビデオエンコーダ２００は、単方向予測または双方向予測を使用して現在ＣＵを予測し得る。

[0050] ＪＥＭおよびＶＶＣのいくつかの例はまた、インター予測モードと見なされ得るアフィン動き補償モードを提供する。アフィン動き補償モードでは、ビデオエンコーダ２００は、ズームインもしくはズームアウト、回転、遠近法の動き、または他の不規則な動きタイプなどの、並進でない動きを表す２つ以上の動きベクトルを決定し得る。

[0051] イントラ予測を実行するために、ビデオエンコーダ２００は、予測ブロックを生成するためのイントラ予測モードを選択し得る。ＪＥＭおよびＶＶＣのいくつかの例は、様々な方向性モードならびに平面モードおよびＤＣモードを含む、６７個のイントラ予測モードを提供する。概して、ビデオエンコーダ２００は、現在ブロックのサンプルをそこから予測するための、現在ブロック（たとえば、ＣＵのブロック）への隣接サンプルを記述する、イントラ予測モードを選択する。ビデオエンコーダ２００がラスタ走査順序（左から右、上から下）でＣＴＵとＣＵとをコーディングすることを想定すると、そのようなサンプルは、概して、現在ブロックと同じピクチャの中の現在ブロックの上、現在ブロックの上およびその左、または現在ブロックの左にあってよい。

[0052] ビデオエンコーダ２００は、現在ブロック用の予測モードを表すデータを符号化する。たとえば、インター予測モードの場合、ビデオエンコーダ２００は、様々な利用可能なインター予測モードのうちのどれが使用されるのか、ならびに対応するモードに対する動き情報を表す、データを符号化し得る。単方向または双方向インター予測の場合、たとえば、ビデオエンコーダ２００は、高度動きベクトル予測（ＡＭＶＰ）モードまたはマージモードを使用して動きベクトルを符号化し得る。ビデオエンコーダ２００は、アフィン動き補償モード用の動きベクトルを符号化するために、類似のモードを使用し得る。

[0053] ブロックのイントラ予測またはインター予測などの予測に続いて、ビデオエンコーダ２００は、ブロックに対する残差データを計算し得る。残差ブロックなどの残差データは、ブロックと、対応する予測モードを使用して形成された、ブロックに対する予測ブロックとの間の差分を、サンプルごとに表す。ビデオエンコーダ２００は、サンプル領域ではなく変換領域における変換されたデータを作り出すために、１つまたは複数の変換を残差ブロックに適用し得る。たとえば、ビデオエンコーダ２００は、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に類似の変換を、残差ビデオデータに適用し得る。追加として、ビデオエンコーダ２００は、第１の変換に続いて、モード依存非分離可能２次変換（ＭＤＮＳＳＴ：mode-dependent non-separable secondary transform）、信号依存変換、カルーネンレーベ変換（ＫＬＴ：Karhunen-Loeve transform）などの２次変換を適用し得る。ビデオエンコーダ２００は、１つまたは複数の変換の適用に続いて変換係数を作り出す。

[0054] 上述のように、変換係数を作り出すための任意の変換に続いて、ビデオエンコーダ２００は変換係数の量子化を実行し得る。量子化とは、概して、係数を表すために使用されるデータの量をできる限り低減してさらなる圧縮をもたらすように、変換係数が量子化されるプロセスを指す。量子化プロセスを実行することによって、ビデオエンコーダ２００は、係数の一部または全部に関連するビット深度を低減し得る。たとえば、ビデオエンコーダ２００は、量子化の間にｎビット値をｍビット値まで小さく丸めてよく、ただし、ｎはｍよりも大きい。いくつかの例では、量子化を実行するために、ビデオエンコーダ２００は、量子化されるべき値のビット単位での右シフトを実行し得る。

[0055] 量子化に続いて、ビデオエンコーダ２００は変換係数を走査してよく、量子化変換係数を含む２次元行列から１次元ベクトルを作り出す。走査は、より高いエネルギー（したがって、より低い周波数）係数をベクトルの前方に配置し、より低いエネルギー（したがって、より高い周波数）変換係数をベクトルの後方に配置するように設計され得る。いくつかの例では、ビデオエンコーダ２００は、量子化変換係数を走査してシリアル化されたベクトルを作り出すために、既定の走査順序を利用してよく、次いで、ベクトルの量子化変換係数をエントロピー符号化してよい。他の例では、ビデオエンコーダ２００は適応走査を実行し得る。１次元ベクトルを形成するために量子化変換係数を走査した後、ビデオエンコーダ２００は、たとえば、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）に従って、１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２００はまた、ビデオデータを復号する際のビデオデコーダ３００による使用のために、符号化ビデオデータに関連するメタデータを記述するシンタックス要素に対する値をエントロピー符号化し得る。

[0056] ＣＡＢＡＣを実行するために、ビデオエンコーダ２００は、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当ててよい。コンテキストは、たとえば、シンボルの隣接する値が０値であるか否かに関係し得る。確率決定は、シンボルに割り当てられたコンテキストに基づいてよい。

[0057] ビデオエンコーダ２００は、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、またはシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、もしくはビデオパラメータセット（ＶＰＳ）などの他のシンタックスデータの中で、ビデオデコーダ３００への、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびシーケンスベースのシンタックスデータなどの、シンタックスデータをさらに生成し得る。ビデオデコーダ３００は、対応するビデオデータをどのように復号すべきかを決定するために、そのようなシンタックスデータを同様に復号し得る。

[0058] このようにして、ビデオエンコーダ２００は、符号化ビデオデータ、たとえば、ブロック（たとえば、ＣＵ）へのピクチャの区分ならびにブロックに対する予測情報および／または残差情報を記述するシンタックス要素を含む、ビットストリームを生成し得る。最終的に、ビデオデコーダ３００は、ビットストリームを受信し得、符号化ビデオデータを復号し得る。

[0059] 概して、ビデオデコーダ３００は、ビットストリームの符号化ビデオデータを復号するために、ビデオエンコーダ２００によって実行されるプロセスとは相反のプロセスを実行する。たとえば、ビデオデコーダ３００は、ビデオエンコーダ２００のＣＡＢＡＣ符号化プロセスとは相反としても、それと実質的に類似の方法で、ＣＡＢＡＣを使用してビットストリームのシンタックス要素に対する値を復号し得る。シンタックス要素は、ＣＴＵのＣＵを規定するために、ＱＴＢＴ構造などの対応する区分構造に従って、ＣＴＵへのピクチャの区分情報と、各ＣＴＵの区分とを規定し得る。シンタックス要素は、ビデオデータのブロック（たとえば、ＣＵ）に対する予測情報と残差情報とをさらに規定し得る。

[0060] 残差情報は、たとえば、量子化変換係数によって表されてよい。ビデオデコーダ３００は、ブロックに対する残差ブロックを再生するために、ブロックの量子化変換係数を逆量子化および逆変換し得る。ビデオデコーダ３００は、ブロックに対する予測ブロックを形成するために、シグナリングされた予測モード（イントラ予測またはインター予測）と、関連する予測情報（たとえば、インター予測用の動き情報）とを使用する。ビデオデコーダ３００は、次いで、元のブロックを再生するために予測ブロックと残差ブロックとを（サンプルごとに）組み合わせてよい。ビデオデコーダ３００は、ブロックの境界に沿った視覚的アーティファクトを低減するためにデブロッキングプロセスを実行することなどの、追加の処理を実行し得る。

[0061] 上記で論じられたように、および本開示の１つまたは複数の技法によれば、ビデオエンコーダ２００および／またはビデオデコーダ３００は、絶対値がゼロまたは２のべき乗になるように制限されたＣＣ－ＡＬＦについてのフィルタ係数をシグナリングするように構成され得る。このようにして、ビデオエンコーダ２００および／またはビデオデコーダ３００は、ＣＣ－ＡＬＦの実行における乗算演算とビットシフト演算とを置換し得、ビットシフト演算は、リソース集約度がより低い。

[0062] 本開示は、概して、シンタックス要素などのいくつかの情報を「シグナリングすること」に言及することがある。「シグナリング」という用語は、概して、シンタックス要素に対する値および／または符号化ビデオデータを復号するために使用される他のデータの通信を指してよい。すなわち、ビデオエンコーダ２００は、シンタックス要素に対する値をビットストリームの中でシグナリングしてよい。概して、シグナリングとは、ビットストリームの中の値を生成することを指す。上述のように、ソースデバイス１０２は、実質的にリアルタイムで、または宛先デバイス１１６によって後で取り出せるようにシンタックス要素を記憶デバイス１１２に記憶するときに起こり得るようにリアルタイムでなく、ビットストリームを宛先デバイス１１６にトランスポートし得る。

[0063] 図２Ａおよび図２Ｂは、例示的な４分木２分木（ＱＴＢＴ）構造１３０と、対応するコーディングツリーユニット（ＣＴＵ）１３２とを示す概念図である。実線は４分木分割を表し、点線は２分木分割を示す。２分木の分割された各（すなわち、非リーフ）ノードにおいて、どの分割タイプ（すなわち、水平または垂直）が使用されるのかを示すために１つのフラグがシグナリングされ、ここで、この例では、０は水平分割を示し、１は垂直分割を示す。４分木分割の場合、４分木ノードは、サイズが等しい４つのサブブロックに、水平および垂直にブロックを分割するので、分割タイプを示す必要がない。したがって、ＱＴＢＴ構造１３０の領域ツリーレベルに対する（分割情報などの）シンタックス要素（すなわち、実線）と、ＱＴＢＴ構造１３０の予測ツリーレベルに対する（分割情報などの）シンタックス要素（すなわち、破線）とを、ビデオエンコーダ２００が符号化してよくビデオデコーダ３００が復号してよい。ＱＴＢＴ構造１３０の端末リーフノードによって表されるＣＵに対して、予測データおよび変換データなどのビデオデータを、ビデオエンコーダ２００が符号化してよくビデオデコーダ３００が復号してよい。

[0064] 概して、図２ＢのＣＴＵ１３２は、第１および第２のレベルにおけるＱＴＢＴ構造１３０のノードに対応するブロックのサイズを規定するパラメータに関連し得る。これらのパラメータは、（サンプル単位でＣＴＵ１３２のサイズを表す）ＣＴＵサイズと、最小４分木サイズ（最小許容４分木リーフノードサイズを表す、ＭｉｎＱＴＳｉｚｅ）と、最大２分木サイズ（最大許容２分木ルートノードサイズを表す、ＭａｘＢＴＳｉｚｅ）と、最大２分木深度（最大許容２分木深度を表す、ＭａｘＢＴＤｅｐｔｈ）と、最小２分木サイズ（最小許容２分木リーフノードサイズを表す、ＭｉｎＢＴＳｉｚｅ）とを含んでよい。

[0065] ＣＴＵに対応するＱＴＢＴ構造のルートノードは、ＱＴＢＴ構造の第１のレベルにおいて４つの子ノードを有してよく、その各々は、４分木区分に従って区分され得る。すなわち、第１のレベルのノードは、（子ノードを有しない）いずれかのリーフノードであるか、または４つの子ノードを有する。ＱＴＢＴ構造１３０の例は、分岐に対して実線を有する親ノードと子ノードとを含むものとして、そのようなノードを表す。第１のレベルのノードが最大許容２分木ルートノードサイズ（ＭａｘＢＴＳｉｚｅ）よりも大きくない場合、ノードはそれぞれの２分木によってさらに区分され得る。１つのノードの２分木分割は、分割から得られるノードが最小許容２分木リーフノードサイズ（ＭｉｎＢＴＳｉｚｅ）または最大許容２分木深度（ＭａｘＢＴＤｅｐｔｈ）に到達するまで反復され得る。ＱＴＢＴ構造１３０の例は、分岐に対して破線を有するものとしてそのようなノードを表す。２分木リーフノードは、コーディングユニット（ＣＵ）と呼ばれ、コーディングユニット（ＣＵ）は、それ以上区分することなく、予測（たとえば、イントラピクチャ予測またはインターピクチャ予測）および変換のために使用される。上記で説明したように、ＣＵは、「ビデオブロック」または「ブロック」と呼ばれることもある。

[0066] ＱＴＢＴ区分構造の一例では、ＣＴＵサイズは１２８×１２８（ルーマサンプルおよび２つの対応する６４×６４クロマサンプル）として設定され、ＭｉｎＱＴＳｉｚｅは１６×１６として設定され、ＭａｘＢＴＳｉｚｅは６４×６４として設定され、ＭｉｎＢＴＳｉｚｅは（幅と高さの両方に対して）４として設定され、ＭａｘＢＴＤｅｐｔｈは４として設定される。４分木リーフノードを生成するために、最初に４分木区分がＣＴＵに適用される。４分木リーフノードは、１６×１６（すなわち、ＭｉｎＱＴＳｉｚｅ）から１２８×１２８（すなわち、ＣＴＵサイズ）までのサイズを有してよい。リーフ４分木ノードが１２８×１２８である場合、リーフ４分木ノードは、サイズがＭａｘＢＴＳｉｚｅ（すなわち、この例では６４×６４）を上回るので、２分木によってそれ以上分割されない。そうでない場合、リーフ４分木ノードは、２分木によってさらに区分される。したがって、４分木リーフノードはまた、２分木に対してルートノードであり、０としての２分木深度を有する。２分木深度がＭａｘＢＴＤｅｐｔｈ（この例では４）に到達すると、それ以上の分割は許されない。２分木ノードがＭｉｎＢＴＳｉｚｅ（この例では４）に等しい幅を有するとき、そのことはそれ以上の水平分割が許されないことを暗示する。同様に、ＭｉｎＢＴＳｉｚｅに等しい高さを有する２分木ノードは、その２分木ノードに対してそれ以上の垂直分割が許されないことを暗示する。上述のように、２分木のリーフノードはＣＵと呼ばれ、それ以上区分することなく予測および変換に従ってさらに処理される。

[0067] 図３は、本開示の技法を実行し得る例示的なビデオエンコーダ２００を示すブロック図である。図３は説明のために提供され、本開示において広く例示および説明されるような技法の限定と見なされるべきでない。説明のために、本開示は、開発中のＨＥＶＣビデオコーディング規格およびＨ．２６６ビデオコーディング規格などの、ビデオコーディング規格のコンテキストでビデオエンコーダ２００を説明する。しかしながら、本開示の技法はこれらのビデオコーディング規格に限定されず、一般にビデオ符号化およびビデオ復号に適用可能である。

[0068] 図３の例では、ビデオエンコーダ２００は、ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構成ユニット２１４と、フィルタユニット２１６と、復号ピクチャバッファ（ＤＰＢ：decoded picture buffer）２１８と、エントロピー符号化ユニット２２０とを含む。ビデオデータメモリ２３０、モード選択ユニット２０２、残差生成ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、フィルタユニット２１６、ＤＰＢ２１８、およびエントロピー符号化ユニット２２０のうちのいずれかまたはすべては、１つまたは複数のプロセッサまたは処理回路構成で実装され得る。その上、ビデオエンコーダ２００は、これらおよび他の機能を実行するために、追加または代替のプロセッサまたは処理回路構成を含んでよい。

[0069] ビデオデータメモリ２３０は、ビデオエンコーダ２００の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ２００は、たとえば、ビデオソース１０４（図１）から、ビデオデータメモリ２３０の中に記憶されるビデオデータを受信し得る。ＤＰＢ２１８は、ビデオエンコーダ２００による後続のビデオデータの予測における使用のための参照ビデオデータを記憶する参照ピクチャメモリとして働いてよい。ビデオデータメモリ２３０およびＤＰＢ２１８は、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスを含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）などの、様々なメモリデバイスのうちのいずれかによって形成され得る。ビデオデータメモリ２３０およびＤＰＢ２１８は、同じメモリデバイスまたは別個のメモリデバイスによって設けられてよい。様々な例では、ビデオデータメモリ２３０は、図示したようにビデオエンコーダ２００の他の構成要素とともにオンチップであってよく、またはそれらの構成要素に対してオフチップであってよい。

[0070] 本開示では、ビデオデータメモリ２３０への言及は、そのように特に説明されない限りビデオエンコーダ２００の内部のメモリに限定されるものとして解釈されるべきでなく、またはそのように特に説明されない限りビデオエンコーダ２００の外部のメモリに限定されるものとして解釈されるべきでない。むしろ、ビデオデータメモリ２３０への言及は、符号化するためにビデオエンコーダ２００が受信するビデオデータ（たとえば、符号化されることになる現在ブロックに対するビデオデータ）を記憶する参照メモリとして理解されるべきである。図１のメモリ１０６も、ビデオエンコーダ２００の様々なユニットからの出力の一時的な記憶を提供し得る。

[0071] 図３の様々なユニットは、ビデオエンコーダ２００によって実行される動作を理解するのを支援するために図示される。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。固定機能回路とは、特定の機能性を提供する回路を指し、実行され得る動作において事前設定される。プログラマブル回路とは、様々なタスクを実行するようにプログラムされ得る回路を指し、実行され得る動作においてフレキシブルな機能性を提供する。たとえば、プログラマブル回路は、プログラマブル回路に、ソフトウェアまたはファームウェアの命令によって規定される方式で動作させる、ソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信しパラメータを出力するための）ソフトウェア命令を実行し得るが、固定機能回路が実行する動作のタイプは、一般に不変である。いくつかの例では、ユニットのうちの１つまたは複数は異なる回路ブロック（固定機能またはプログラマブル）であってよく、いくつかの例では、１つまたは複数のユニットは集積回路であってよい。

[0072] ビデオエンコーダ２００は、算術論理ユニット（ＡＬＵ）、初等関数ユニット（ＥＦＵ）、デジタル回路、アナログ回路、および／またはプログラマブル回路から形成されたプログラマブルコアを含んでよい。ビデオエンコーダ２００の動作が、プログラマブル回路によって実行されるソフトウェアを使用して実行される例では、メモリ１０６（図１）は、ビデオエンコーダ２００が受信および実行するソフトウェアのオブジェクトコードを記憶してよく、またはビデオエンコーダ２００内の別のメモリ（図示せず）が、そのような命令を記憶してもよい。

[0073] ビデオデータメモリ２３０は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ２００は、ビデオデータメモリ２３０からビデオデータのピクチャを取り出してよく、残差生成ユニット２０４およびモード選択ユニット２０２にビデオデータを提供してよい。ビデオデータメモリ２３０の中のビデオデータは、符号化されることになる未加工のビデオデータであってよい。

[0074] モード選択ユニット２０２は、動き推定ユニット２２２と、動き補償ユニット２２４と、イントラ予測ユニット２２６とを含む。モード選択ユニット２０２は、他の予測モードに従ってビデオ予測を実行するために、追加の機能ユニットを含んでよい。例として、モード選択ユニット２０２は、パレットユニット、（動き推定ユニット２２２および／または動き補償ユニット２２４の一部であり得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ：linear model）ユニットなどを含んでよい。

[0075] モード選択ユニット２０２は、概して、符号化パラメータの組合せと、そのような組合せに対して得られたレートひずみ値とをテストするために、複数の符号化パスを協調させる。符号化パラメータは、ＣＵへのＣＴＵの区分、ＣＵのための予測モード、ＣＵの残差データ用の変換タイプ、ＣＵの残差データのための量子化パラメータなどを含んでよい。モード選択ユニット２０２は、テストされた他の組合せよりも良好なレートひずみ値を有する符号化パラメータの組合せを、最終的に選択してよい。

[0076] ビデオエンコーダ２００は、ビデオデータメモリ２３０から取り出されたピクチャを一連のＣＴＵに区分してよく、スライス内の１つまたは複数のＣＴＵをカプセル化してよい。モード選択ユニット２０２は、上記で説明した、ＨＥＶＣのＱＴＢＴ構造または４分木構造などの木構造に従って、ピクチャのＣＴＵを区分してよい。上記で説明したように、ビデオエンコーダ２００は、木構造に従ってＣＴＵを区分することから１つまたは複数のＣＵを形成し得る。そのようなＣＵは、一般に、「ビデオブロック」または「ブロック」と呼ばれることもある。

[0077] 概して、モード選択ユニット２０２はまた、現在ブロック（たとえば、現在ＣＵ、またはＨＥＶＣでは、ＰＵおよびＴＵのオーバーラップする部分）に対する予測ブロックを生成するために、その構成要素（たとえば、動き推定ユニット２２２、動き補償ユニット２２４、およびイントラ予測ユニット２２６）を制御する。現在ブロックのインター予測に対して、動き推定ユニット２２２は、１つまたは複数の参照ピクチャ（たとえば、ＤＰＢ２１８の中に記憶された、以前にコーディングされた１つまたは複数のピクチャ）の中の、密に整合する１つまたは複数の参照ブロックを識別するために、動き探索を実行し得る。詳細には、動き推定ユニット２２２は、たとえば、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差分（ＭＡＤ）、平均２乗差分（ＭＳＤ）などに従って、可能な参照ブロックが現在ブロックにどのくらい類似しているのかを表す値を計算し得る。動き推定ユニット２２２は、概して、現在ブロックと検討中の参照ブロックとの間のサンプルごとの差分を使用して、これらの計算を実行し得る。動き推定ユニット２２２は、現在ブロックに最も密に整合する参照ブロックを示す、これらの計算から得られる最小値を有する参照ブロックを識別し得る。

[0078] 動き推定ユニット２２２は、現在ピクチャの中の現在ブロックの位置に対して、参照ピクチャの中の参照ブロックの位置を規定する、１つまたは複数の動きベクトル（ＭＶ）を形成し得る。動き推定ユニット２２２は、次いで、動き補償ユニット２２４に動きベクトルを提供し得る。たとえば、単方向インター予測の場合、動き推定ユニット２２２は単一の動きベクトルを提供し得るが、双方向インター予測の場合、動き推定ユニット２２２は２つの動きベクトルを提供し得る。動き補償ユニット２２４は、次いで、動きベクトルを使用して予測ブロックを生成し得る。たとえば、動き補償ユニット２２４は、動きベクトルを使用して参照ブロックのデータを取り出してよい。別の例として、動きベクトルが分数サンプル精度を有する場合、動き補償ユニット２２４は、予測ブロックに対する値を１つまたは複数の補間フィルタに従って補間してよい。その上、双方向インター予測の場合、動き補償ユニット２２４は、それぞれの動きベクトルによって識別される２つの参照ブロックに対するデータを取り出してよく、たとえば、サンプルごとの平均化または重み付き平均化を通じて、取り出されたデータを組み合わせてよい。

[0079] 別の例として、イントラ予測またはイントラ予測コーディングに対して、イントラ予測ユニット２２６は、現在ブロックに隣接するサンプルから予測ブロックを生成し得る。たとえば、方向性モードの場合、イントラ予測ユニット２２６は、概して、隣接するサンプルの値を数学的に組み合わせてよく、予測ブロックを作り出すために、計算されたこれらの値を現在ブロックにわたる規定された方向で埋めてよい。別の例として、ＤＣモードの場合、イントラ予測ユニット２２６は、現在ブロックへの隣接するサンプルの平均を計算してよく、予測ブロックのサンプルごとにこの得られた平均を含むように、予測ブロックを生成してよい。

[0080] モード選択ユニット２０２は、残差生成ユニット２０４に予測ブロックを提供する。残差生成ユニット２０４は、現在ブロックの未加工のコーディングされていないバージョンをビデオデータメモリ２３０から、および予測ブロックをモード選択ユニット２０２から受信する。残差生成ユニット２０４は、現在ブロックと予測ブロックとの間のサンプルごとの差分を計算する。得られたサンプルごとの差分は、現在ブロックに対する残差ブロックを規定する。いくつかの例では、残差生成ユニット２０４はまた、残差差分パルスコード変調（ＲＤＰＣＭ：residual differential pulse code modulation）を使用して残差ブロックを生成するために、残差ブロックの中のサンプル値の間の差分を決定してよい。いくつかの例では、残差生成ユニット２０４は、２進減算を実行する１つまたは複数の減算器回路を使用して形成され得る。

[0081] モード選択ユニット２０２がＣＵをＰＵに区分する例では、各ＰＵは、ルーマ予測ユニットおよび対応するクロマ予測ユニットに関連し得る。ビデオエンコーダ２００およびビデオデコーダ３００は、様々なサイズを有するＰＵをサポートし得る。上記で示されるように、ＣＵのサイズとは、ＣＵのルーマコーディングブロックのサイズを指してよく、ＰＵのサイズとは、ＰＵのルーマ予測ユニットのサイズを指してよい。特定のＣＵのサイズが２Ｎ×２Ｎであると想定すると、ビデオエンコーダ２００は、イントラ予測に対して２Ｎ×２ＮまたはＮ×ＮというＰＵサイズと、インター予測に対して２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、または類似の対称的なＰＵサイズとを、サポートし得る。ビデオエンコーダ２００およびビデオデコーダ３００はまた、インター予測の場合、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮというＰＵサイズに対して非対称の区分をサポートし得る。

[0082] モード選択ユニット２０２がそれ以上ＣＵをＰＵに区分しない例では、各ＣＵは、ルーマコーディングブロックおよび対応するクロマコーディングブロックに関連し得る。上記のように、ＣＵのサイズとは、ＣＵのルーマコーディングブロックのサイズを指してよい。ビデオエンコーダ２００およびビデオデコーダ３００は、２Ｎ×２Ｎ、２Ｎ×Ｎ、またはＮ×２ＮというＣＵサイズをサポートし得る。

[0083] いくつかの例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル（ＬＭ）モードコーディングなどの、他のビデオコーディング技法の場合、モード選択ユニット２０２は、コーディング技法に関連するそれぞれのユニットを介して、符号化中の現在ブロックに対する予測ブロックを生成する。パレットモードコーディングなどのいくつかの例では、モード選択ユニット２０２は、予測ブロックを生成しなくてよく、代わりに、選択されたパレットに基づいてブロックを再構成するための方式を示すシンタックス要素を生成する。そのようなモードでは、モード選択ユニット２０２は、符号化されるべきこれらのシンタックス要素をエントロピー符号化ユニット２２０に提供し得る。

[0084] 上記で説明したように、残差生成ユニット２０４は、現在ブロックに対するビデオデータと、対応する予測ブロックとを受信する。残差生成ユニット２０４は、次いで、現在ブロックに対する残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット２０４は、予測ブロックと現在ブロックとの間のサンプルごとの差分を計算する。

[0085] 変換処理ユニット２０６は、変換係数のブロック（本明細書で「変換係数ブロック」と呼ぶ）を生成するために、残差ブロックに１つまたは複数の変換を適用する。変換処理ユニット２０６は、変換係数ブロックを形成するために、残差ブロックに様々な変換を適用し得る。たとえば、変換処理ユニット２０６は、離散コサイン変換（ＤＣＴ）、方向性変換、カルーネンレーベ変換（ＫＬＴ）、または概念的に類似の変換を、残差ブロックに適用してよい。いくつかの例では、変換処理ユニット２０６は、複数の変換、たとえば、１次変換および回転変換などの２次変換を、残差ブロックに実行し得る。いくつかの例では、変換処理ユニット２０６は、残差ブロックに変換を適用しない。

[0086] 量子化ユニット２０８は、量子化変換係数ブロックを作り出すために、変換係数ブロックの中の変換係数を量子化し得る。量子化ユニット２０８は、現在ブロックに関連する量子化パラメータ（ＱＰ：quantization parameter）値に従って変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ２００は（たとえば、モード選択ユニット２０２を介して）、ＣＵに関連するＱＰ値を調整することによって、現在ブロックに関連する変換係数ブロックに適用される量子化の程度を調整し得る。量子化は情報の損失を持ち込むことがあり、したがって、量子化変換係数は、変換処理ユニット２０６によって作り出される元の変換係数よりも精度が低いことがある。

[0087] 逆量子化ユニット２１０および逆変換処理ユニット２１２は、変換係数ブロックから残差ブロックを再構成するために、それぞれ、逆量子化と逆変換とを量子化変換係数ブロックに適用し得る。再構成ユニット２１４は、再構成された残差ブロック、およびモード選択ユニット２０２によって生成された予測ブロックに基づいて、（潜在的にいくらかの程度のひずみを有するとしても）現在ブロックに対応する再構成されたブロックを作り出し得る。たとえば、再構成ユニット２１４は、再構成されたブロックを作り出すために、モード選択ユニット２０２によって生成された予測ブロックからの対応するサンプルに、再構成された残差ブロックのサンプルを加算してよい。

[0088] フィルタユニット２１６は、再構成されたブロックに対して１つまたは複数のフィルタ動作を実行し得る。たとえば、フィルタユニット２１６は、ＣＵのエッジに沿ったブロッキネスアーティファクトを低減するために、デブロッキング動作を実行してよい。いくつかの例では、フィルタユニット２１６の動作はスキップされてよい。フィルタユニット２１６は、本開示のクロスコンポーネント適応ループフィルタリング（ＣＣ－ＡＬＦ）技法を、単独で、または任意の組合せで、実行し得る。たとえば、フィルタユニット２１６は、図５を参照して以下に論じられるようにＣＣ－ＡＬＦを実行してもよい。フィルタユニット２１６は、ＣＣ－ＡＬＦについての１つまたは複数の係数を生成し得る。たとえば、フィルタユニット２１６は、ルーマブロックから第１の中間クロマブロックを生成する場合に使用されるべき、フィルタ係数の第１のセットと、ルーマブロックから第２の中間クロマブロックを生成する場合に使用されるべき、フィルタ係数の第２のセットとを生成し得る。上記で論じられたように、および本開示の１つまたは複数の技法によれば、フィルタユニット２１６は、生成されるフィルタ係数の絶対値をゼロまたは２のべき乗（たとえば、１、２、４、８、１６、３２、６４、１２８、２５６など）に制限し得る。同様に、エントロピー符号化ユニット２２０は、本開示の技法に従って、クロスコンポーネント適応ループフィルタリングパラメータをエントロピー符号化するように構成され得る。たとえば、フィルタ係数の実際の値を符号化することとは対照的に、エントロピー符号化ユニット２２０は、フィルタ係数の指数値を符号化し得、ビデオデコーダは、指数値に基づいて、フィルタ係数の実際の値を再構築し得る。

[0089] ビデオエンコーダ２００は、再構成されたブロックをＤＰＢ２１８の中に記憶する。たとえば、フィルタユニット２１６の動作が必要とされない例では、再構成ユニット２１４は、再構成されたブロックをＤＰＢ２１８に記憶してよい。フィルタユニット２１６の動作が必要とされる例では、フィルタユニット２１６は、フィルタ処理済みの再構成されたブロックをＤＰＢ２１８に記憶してよい。動き推定ユニット２２２および動き補償ユニット２２４は、その後に符号化されるピクチャのブロックをインター予測するために、再構成された（また潜在的にフィルタ処理された）ブロックから形成された参照ピクチャをＤＰＢ２１８から取り出してよい。加えて、イントラ予測ユニット２２６は、現在ピクチャの中の他のブロックをイントラ予測するために、現在ピクチャの、ＤＰＢ２１８の中の再構成されたブロックを使用し得る。

[0090] 概して、エントロピー符号化ユニット２２０は、ビデオエンコーダ２００の他の機能構成要素から受信されたシンタックス要素をエントロピー符号化し得る。たとえば、エントロピー符号化ユニット２２０は、量子化ユニット２０８からの量子化変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット２２０は、モード選択ユニット２０２からの予測シンタックス要素（たとえば、インター予測のための動き情報、またはイントラ予測のためのイントラモード情報）をエントロピー符号化し得る。エントロピー符号化ユニット２２０は、エントロピー符号化データを生成するために、ビデオデータの別の例であるシンタックス要素に対して、１つまたは複数のエントロピー符号化動作を実行し得る。たとえば、エントロピー符号化ユニット２２０は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）動作、ＣＡＢＡＣ動作、可変対可変（Ｖ２Ｖ）長コーディング動作、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）動作、確率区間区分エントロピー（ＰＩＰＥ）コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作を、データに対して実行してよい。いくつかの例では、エントロピー符号化ユニット２２０は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。

[0091] ビデオエンコーダ２００は、スライスまたはピクチャのブロックを再構成するために必要とされるエントロピー符号化されたシンタックス要素を含むビットストリームを出力し得る。詳細には、エントロピー符号化ユニット２２０がビットストリームを出力してよい。

[0092] 上記で説明した動作は、ブロックに関して説明される。そのような説明は、ルーマコーディングブロックおよび／またはクロマコーディングブロックのための動作であるものとして理解されるべきである。上記で説明したように、いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＣＵのルーマ成分およびクロマ成分である。いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＰＵのルーマ成分およびクロマ成分である。

[0093] いくつかの例では、ルーマコーディングブロックに関して実行される動作は、クロマコーディングブロックに対して繰り返される必要がない。一例として、ルーマコーディングブロックに対する動きベクトル（ＭＶ）と参照ピクチャとを識別するための動作は、クロマブロックに対するＭＶと参照ピクチャとを識別するために繰り返される必要がない。むしろ、クロマブロックに対するＭＶを決定するために、ルーマコーディングブロックに対するＭＶがスケーリングされてよく、参照ピクチャが同じであってよい。別の例として、イントラ予測プロセスは、ルーマコーディングブロックおよびクロマコーディングブロックにとって同じであってよい。

[0094] ビデオエンコーダ２００は、ビデオデータを符号化するように構成され、ビデオデータを記憶するように構成されたメモリと、回路構成の中に実装され、本開示によるクロスコンポーネント適応ループフィルタリング技法を実行するように構成された１つまたは複数の処理ユニットとを含むデバイスの例を表す。

[0095] 図４は、本開示の技法を実行し得る例示的なビデオデコーダ３００を示すブロック図である。図４は説明のために提供され、本開示において広く例示および説明されるような技法における限定ではない。説明のために、本開示は、ＪＥＭ、ＶＶＣ、およびＨＥＶＣの技法によるビデオデコーダ３００を説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に構成されるビデオコーディングデバイスによって実行され得る。

[0096] 図４の例では、ビデオデコーダ３００は、コード化ピクチャバッファ（ＣＰＢ：coded picture buffer）メモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構成ユニット３１０と、フィルタユニット３１２と、復号ピクチャバッファ（ＤＰＢ）３１４とを含む。ＣＰＢメモリ３２０、エントロピー復号ユニット３０２、予測処理ユニット３０４、逆量子化ユニット３０６、逆変換処理ユニット３０８、再構成ユニット３１０、フィルタユニット３１２、およびＤＰＢ３１４のうちのいずれかまたはすべては、１つまたは複数のプロセッサまたは処理回路構成で実装され得る。その上、ビデオデコーダ３００は、これらおよび他の機能を実行するために、追加または代替のプロセッサまたは処理回路構成を含んでよい。

[0097] 予測処理ユニット３０４は、動き補償ユニット３１６とイントラ予測ユニット３１８とを含む。予測処理ユニット３０４は、他の予測モードに従って予測を実行するために、追加のユニットを含んでよい。例として、予測処理ユニット３０４は、パレットユニット、（動き補償ユニット３１６の一部を形成し得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含んでよい。他の例では、ビデオデコーダ３００は、より多数の、より少数の、または異なる機能の、構成要素を含んでよい。

[0098] ＣＰＢメモリ３２０は、ビデオデコーダ３００の構成要素によって復号されるべき、符号化ビデオビットストリームなどのビデオデータを記憶し得る。ＣＰＢメモリ３２０の中に記憶されるビデオデータは、たとえば、コンピュータ可読媒体１１０（図１）から取得され得る。ＣＰＢメモリ３２０は、符号化ビデオビットストリームからの符号化ビデオデータ（たとえば、シンタックス要素）を記憶するＣＰＢを含んでよい。また、ＣＰＢメモリ３２０は、ビデオデコーダ３００の様々なユニットからの出力を表す一時的なデータなどの、コード化ピクチャのシンタックス要素以外のビデオデータを記憶し得る。ＤＰＢ３１４は、概して、符号化ビデオビットストリームの後続のデータもしくはピクチャを復号するときに、ビデオデコーダ３００が参照ビデオデータとして出力および／または使用することがある、復号ピクチャを記憶する。ＣＰＢメモリ３２０およびＤＰＢ３１４は、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ）、または他のタイプのメモリデバイスを含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）などの、様々なメモリデバイスのうちのいずれかによって形成され得る。ＣＰＢメモリ３２０およびＤＰＢ３１４は、同じメモリデバイスまたは別個のメモリデバイスによって設けられてよい。様々な例では、ＣＰＢメモリ３２０は、ビデオデコーダ３００の他の構成要素とともにオンチップであってよく、またはそれらの構成要素に対してオフチップであってよい。

[0099] 追加または代替として、いくつかの例では、ビデオデコーダ３００は、メモリ１２０（図１）からコード化ビデオデータを取り出してよい。すなわち、メモリ１２０は、ＣＰＢメモリ３２０とともに、上記で説明したようにデータを記憶し得る。同様に、メモリ１２０は、ビデオデコーダ３００の機能性の一部または全部が、ビデオデコーダ３００の処理回路構成によって実行されるべきソフトウェアで実装されるとき、ビデオデコーダ３００によって実行されるべき命令を記憶し得る。

[0100] 図４に示す様々なユニットは、ビデオデコーダ３００によって実行される動作を理解するのを支援するために図示される。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。図３と同様に、固定機能回路とは、特定の機能性を提供する回路を指し、実行され得る動作において事前設定される。プログラマブル回路とは、様々なタスクを実行するようにプログラムされ得る回路を指し、実行され得る動作においてフレキシブルな機能性を提供する。たとえば、プログラマブル回路は、プログラマブル回路に、ソフトウェアまたはファームウェアの命令によって規定される方式で動作させる、ソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信しパラメータを出力するための）ソフトウェア命令を実行し得るが、固定機能回路が実行する動作のタイプは、一般に不変である。いくつかの例では、１つまたは複数のユニットは異なる回路ブロック（固定機能またはプログラマブル）であってよく、いくつかの例では、１つまたは複数のユニットは集積回路であってよい。

[0101] ビデオデコーダ３００は、ＡＬＵ、ＥＦＵ、デジタル回路、アナログ回路、および／またはプログラマブル回路から形成されたプログラマブルコアを含んでよい。ビデオデコーダ３００の動作が、プログラマブル回路上で実行するソフトウェアによって実行される例では、ビデオデコーダ３００が受信および実行するソフトウェアの命令（たとえば、オブジェクトコード）を、オンチップメモリまたはオフチップメモリが記憶し得る。

[0102] エントロピー復号ユニット３０２は、ＣＰＢから符号化ビデオデータを受信してよく、シンタックス要素を再生するためにビデオデータをエントロピー復号してよい。予測処理ユニット３０４、逆量子化ユニット３０６、逆変換処理ユニット３０８、再構成ユニット３１０、およびフィルタユニット３１２は、ビットストリームから抽出されるシンタックス要素に基づいて復号ビデオデータを生成し得る。

[0103] 概して、ビデオデコーダ３００は、ピクチャをブロックごとに再構成する。ビデオデコーダ３００は、各ブロックに対して再構成動作を個別に実行し得る（ここで、現在再構成中の、すなわち、復号中のブロックは、「現在ブロック」と呼ばれることがある）。

[0104] エントロピー復号ユニット３０２は、量子化変換係数ブロックの量子化変換係数ならびに量子化パラメータ（ＱＰ）および／または変換モード表示などの変換情報を規定する、シンタックス要素をエントロピー復号し得る。逆量子化ユニット３０６は、量子化の程度、および同様に、逆量子化ユニット３０６が適用すべき逆量子化の程度を決定するために、量子化変換係数ブロックに関連するＱＰを使用し得る。逆量子化ユニット３０６は、たとえば、量子化変換係数を逆量子化するために、ビット単位での左シフト演算を実行し得る。逆量子化ユニット３０６は、それによって、変換係数を含む変換係数ブロックを形成し得る。

[0105] 逆量子化ユニット３０６が変換係数ブロックを形成した後、逆変換処理ユニット３０８は、現在ブロックに関連する残差ブロックを生成するために、変換係数ブロックに１つまたは複数の逆変換を適用し得る。たとえば、逆変換処理ユニット３０８は、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ）、逆回転変換、逆方向性変換、または別の逆変換を、変換係数ブロックに適用してよい。

[0106] さらに、予測処理ユニット３０４は、エントロピー復号ユニット３０２によってエントロピー復号された予測情報シンタックス要素に従って、予測ブロックを生成する。たとえば、現在ブロックがインター予測されていることを予測情報シンタックス要素が示す場合、動き補償ユニット３１６は、予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、参照ブロックをそこから取り出すためのＤＰＢ３１４の中の参照ピクチャ、ならびに現在ピクチャの中の現在ブロックのロケーションに対して、参照ピクチャの中の参照ブロックのロケーションを識別する、動きベクトルを示してよい。動き補償ユニット３１６は、概して、動き補償ユニット２２４（図３）に関して説明したのと実質的に類似の方法で、インター予測プロセスを実行し得る。

[0107] 別の例として、現在ブロックがイントラ予測されていることを予測情報シンタックス要素が示す場合、イントラ予測ユニット３１８は、予測情報シンタックス要素によって示されるイントラ予測モードに従って予測ブロックを生成し得る。再び、イントラ予測ユニット３１８は、概して、イントラ予測ユニット２２６（図３）に関して説明したのと実質的に類似の方法で、イントラ予測プロセスを実行し得る。イントラ予測ユニット３１８は、現在ブロックへの隣接するサンプルのデータを、ＤＰＢ３１４から取り出してよい。

[0108] 再構成ユニット３１０は、予測ブロックと残差ブロックとを使用して、現在ブロックを再構成し得る。たとえば、再構成ユニット３１０は、現在ブロックを再構成するために、残差ブロックのサンプルを予測ブロックの対応するサンプルに加算してよい。

[0109] エントロピー復号ユニット３０２は、本開示の技法に従って、クロスコンポーネント適応ループフィルタパラメータをさらにエントロピー復号し得る。たとえば、本開示の１つまたは複数の技法に従って、エントロピー復号ユニット３０２は、複数のフィルタ係数の各々について、符号化されたビデオビットストリームから、特定のフィルタ係数の絶対値の２を底とする対数を表す指数値を、２を指数値のべき乗にしたものとして特定するシンタックス要素を復号し得る。特定のフィルタ係数についての指数値が非ゼロである場合、エントロピー復号ユニット３０２は、符号化されたビデオビットストリームから、および特定のフィルタ係数について、特定のフィルタ係数の符号（sign）（たとえば、正または負のいずれか）を特定する値を有するシンタックス要素を復号し得る。エントロピー復号ユニット３０２は、指数値に基づいて、複数のフィルタ係数の値を再構築し得る。たとえば、エントロピー復号ユニット３０２は、以下の等式に従って、特定のフィルタ係数の値を再構築し得る。

ただし、ｃ（ｉ）は、特定のフィルタ係数の値であり、ｓｉｇｎ（ｉ）は、シグナリングされた符号が負である場合には負の符号であり、シグナリングされた符号が正である場合には正の符号であり、ｃ’（ｉ）は、特定のフィルタ係数についてのシグナリングされた指数値である。

[0110] エントロピー復号ユニット３０２は、再構築されたクロスコンポーネント適応ループフィルタ係数をフィルタユニット３１２に提供し得る。フィルタユニット３１２は、再構成されたブロックに対して１つまたは複数のフィルタ動作を実行し得る。たとえば、フィルタユニット３１２は、再構成されたブロックのエッジに沿ったブロッキネスアーティファクトを低減するために、デブロッキング動作を実行してよい。フィルタユニット３１２の動作は、必ずしもすべての例において実行されるとは限らない。本開示の技法に従って、フィルタユニット３１２は、ビデオデータの復号されたブロックのクロスコンポーネント適応ループフィルタリングを実行するために、クロスコンポーネント適応ループフィルタ係数を使用し得る。

[0111] ビデオデコーダ３００は、再構成されたブロックをＤＰＢ３１４の中に記憶し得る。上記で説明したように、ＤＰＢ３１４は、イントラ予測のための現在ピクチャのサンプル、および後続の動き補償のための以前に復号されたピクチャなどの、参照情報を、予測処理ユニット３０４に提供し得る。その上、ビデオデコーダ３００は、図１のディスプレイデバイス１１８などのディスプレイデバイス上での後続の提示のために、ＤＰＢ３１４から復号ピクチャを出力し得る。

[0112] このようにして、ビデオデコーダ３００は、ビデオデータを記憶するように構成されたメモリと、回路構成の中に実装され、本開示のクロスコンポーネント適応ループフィルタリング技法を単独でまたは任意の組合せで実行するように構成された１つまたは複数の処理ユニットとを含むビデオ復号デバイスの例を表す。

[0113] 図５は、本開示の１つまたは複数の技法による、例示的なフィルタユニットを例示するブロック図である。図５のフィルタユニット５００は、ビデオエンコーダ２００のフィルタユニット２１６またはビデオデコーダ３００のフィルタユニット３１２の例であると考えられ得る。

[0114] フィルタユニット５００は、様々なタイプのフィルタリングを実行するように構成された構成要素を含み得る。たとえば、図５に示されるように、フィルタユニット５００は、サンプル適応オフセット（ＳＡＯ：sample adaptive offset）フィルタリングを実行するように構成された構成要素、たとえば、ＳＡＯルーマフィルタ５０２、ＳＡＯ Ｃｂフィルタ５０４、およびＳＡＯ Ｃｒフィルタ５０６などを含み得る。さらに図５に示されるように、フィルタユニット５００は、クロスコンポーネント適応ループフィルタリング（ＣＣ－ＡＬＦ）を実行するように構成された構成要素、たとえば、ＡＬＦルーマフィルタ５０８、ＣＣ ＡＬＦ Ｃｂフィルタ５１０、ＣＣ ＡＬＦ Ｃｒフィルタ５１２、ＡＬＦクロマフィルタ５１４、加算器５１６、および加算器５１８などを含み得る。

[0115] 動作時に、ＳＡＯルーマフィルタ５０２は、ビデオデータの入力ルーマブロックを受信し、ビデオデータの出力ルーマブロックを生成するために入力ルーマブロックに対してＳＡＯフィルタリングを実行し、ビデオデータの出力ルーマブロックを、１つまたは複数の他のフィルタ構成要素、たとえば、ＡＬＦルーマフィルタ５０８、ＣＣ ＡＬＦ Ｃｂフィルタ５１０、およびＣＣ ＡＬＦ Ｃｒフィルタ５１２などに提供し得る。ＳＡＯ Ｃｂフィルタ５０４は、ビデオデータの入力Ｃｂクロマブロックを受信し、ビデオデータの出力Ｃｂクロマブロックを生成するために入力Ｃｂクロマブロックに対してＳＡＯフィルタリングを実行し、ビデオデータの出力Ｃｂクロマブロックを、１つまたは複数の他のフィルタ構成要素、たとえば、ＡＬＦクロマフィルタ５１４などに提供し得る。同様に、ＳＡＯ Ｃｒフィルタ５０６は、ビデオデータの入力Ｃｒクロマブロックを受信し、ビデオデータの出力Ｃｒクロマブロックを生成するために入力Ｃｒクロマブロックに対してＳＡＯフィルタリングを実行し、ビデオデータの出力Ｃｒクロマブロックを、１つまたは複数の他のフィルタ構成要素、たとえば、ＡＬＦクロマフィルタ５１４などに提供し得る。

[0116] ＡＬＦ構成要素は、ＳＡＯフィルタリング構成要素によって提供されるビデオデータのブロックに対してＡＬＦを実行し得る。たとえば、ＡＬＦルーマフィルタ５０８は、Ｙとして表される、出力ルーマブロックを生成するために、ＳＡＯルーマフィルタ５０２によって提供されるルーマブロックに対して適応ループフィルタリングを実行してもよい。また、ＡＬＦクロマフィルタ５１４は、Ｃｂ’およびＣｒ’として表される、出力クロマブロックを生成するために、ＳＡＯ Ｃｂフィルタ５０４およびＳＡＯ Ｃｒフィルタ５０６によって提供されるクロマブロックに対して適応ループフィルタリングを実行してもよい。

[0117] Ｍｉｓｒａら、「Ｃｒｏｓｓ－Ｃｏｍｐｏｎｅｎｔ Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ ｆｏｒ ｃｈｒｏｍａ」、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ （ＪＶＥＴ） ｏｆ ＩＴＵ－Ｔ ＳＧ １６ ＷＰ ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１、１５ｔｈ Ｍｅｅｔｉｎｇ：Ｇｏｔｈｅｎｂｕｒｇ、ＳＥ、２０１９年７月３～１２日、ＪＶＥＴ－Ｏ０６３６（以下、「ＪＶＥＴ－Ｏ０６３６」）は、クロスコンポーネント適応ループフィルタ（ＣＣ－ＡＬＦ）と呼ばれるツールを提案した。ＣＣ－ＡＬＦは、適応ループフィルタ（ＡＬＦ）の一部として動作し、各クロマ成分を改良するためにルーマサンプルを利用する。たとえば、ＣＣ ＡＬＦ Ｃｂフィルタ５１０およびＣＣ ＡＬＦ Ｃｒフィルタ５１２は各々、ＳＡＯルーマフィルタ５０２によって提供されるルーマブロックに基づいて、向上／改良クロマブロック（enhancement/refinement chroma block）を生成し得る（たとえば、ＣＣ ＡＬＦ Ｃｂフィルタ５１０は、向上クロマブロック（enhancement chroma block）Ｃｂ＋を生成してもよく、ＣＣ ＡＬＦ Ｃｒフィルタ５１２は、向上クロマブロックＣｒ＋を生成してもよい）。ＣＣ ＡＬＦ Ｃｂフィルタ５１０およびＣＣ ＡＬＦ Ｃｒフィルタ５１２の各々は、フィルタ係数のそれぞれのセットに基づいて、それぞれの向上クロマブロックを生成し得る（たとえば、ＣＣ ＡＬＦ Ｃｂフィルタ５１０は、フィルタ係数の第１のセットを使用してもよく、ＣＣ ＡＬＦ Ｃｒフィルタ５１２は、フィルタ係数の第２のセットを使用してもよい）。たとえば、ＣＣ ＡＬＦ Ｃｂフィルタ５１０は、以下の式に従ってクロマブロックＣｂ＋を生成し得る。

ただし、Ｉ_ｉは、フィルタリングされたブロックであり、Ｉ_０は、フィルタリングされていないブロックであり、（ｘ_Ｃ、ｙ_Ｃ）は、ルーマロケーション（ｘ、ｙ）であり、Ｓ_ｉは、色成分Ｃｂについてのルーマにおけるフィルタサポートであり、ｃ_ｉ（ｘ_０、ｙ_０）は、フィルタ係数である。

[0118] 上記の式に示されるように、ＣＣ ＡＬＦ Ｃｂフィルタ５１０およびＣＣ ＡＬＦ Ｃｒフィルタ５１２の各々は、多くの乗算演算を実行し得る。上記で論じられたように、および本開示の１つまたは複数の技法によれば、これらの乗算演算は、ビットシフト演算と置換されてもよく、ビットシフト演算は、乗算演算よりも、リソース集約度が実質的に低く、および／またはハードウェアにおいて実装することがより簡単である。たとえば、ビットシフト演算を使用してフィルタリングを実行するために、ＣＣ ＡＬＦ Ｃｂフィルタ５１０およびＣＣ ＡＬＦ Ｃｒフィルタ５１２の各々は、以下の式を利用し得る。

[0119] ＣＣ－ＡＬＦは、ビットストリーム内の情報によって制御され得、この情報は、（適応パラメータセット（ＡＰＳ：adaptation parameter set）においてシグナリングされ得る）各クロマ成分についての前述されたフィルタ係数と、サンプルのブロックに対するフィルタの適用を制御するマスクとを含む。ＪＶＥＴ－Ｏ０６３６において、フィルタ係数の各々は、固定小数点１０進数として表される。特に、フィルタ係数は、小数部を表すために、下位１０ビットを使用する。各係数は、指数ゴロム（ＥＧ）コードを用いてシグナリングされ、その順序は、フィルタテンプレート内の係数位置に依存する。

[0120] 上述のように、本開示は、ＪＶＥＴ－Ｏ０６３６において説明されているＣＣ－ＡＬＦツールの乗算（multiplication）が、たとえば、本開示の技法のいずれかまたは全部に従って、改善および単純化されることが可能であることを認識する。したがって、ビデオエンコーダ２００および／またはビデオデコーダ３００は、本開示の技法のいずれかまたは全部に従って、たとえば、以下に説明されるように、任意の組合せで、構成されてもよい。

[0121] 本開示の第１の技法によれば、ビデオコーダ（たとえば、ビデオエンコーダ２００および／またはビデオデコーダ３００）は、クロスコンポーネント適応ループフィルタ５１０、５１２についての係数の一部または全部の値を制約（constrain）し得る。たとえば、ビデオコーダは、係数の一部または全部の値を（たとえば、これらの係数に対して乗算が必要とされないように）ゼロまたは２のべき乗数になるように制約し（たとえば、それらの値の可能な選択を限定し）てもよい。いくつかの例では、乗算を実行しなければならない代わりに、ビデオコーダ（すなわち、ビデオエンコーダ２００またはビデオデコーダ３００）は、サンプルに対してビットシフティング（bit-shifting）を適用してもよい。一例において、ビデオコーダは、すべての係数の絶対値を０のみまたは２のべき乗数になるように制約してもよい。別の例において、ビデオコーダは、いくつかの係数の絶対値を０のみまたは２のべき乗数になるように制約してもよい。フィルタのどの係数が制約されるかに関する情報は、シグナリング無しで全部のフィルタについて同じであり得る。代替としてまたは付加的に、情報は、シグナリング無しで色成分の全部のフィルタについて同じであってもよい。代替としてまたは付加的に、情報は、シーケンス、ピクチャ、サブピクチャ、ブロック、または色成分についてビットストリーム内で（たとえば、１つまたは複数のシンタックス要素として）シグナリングされてもよい。

[0122] いくつかの例では、ビデオコーダが、（たとえば、それらの制約された係数の値をシグナリングするために）ビットストリーム内で情報をシグナリングする場合、ビデオコーダは、（非ゼロ係数の符号を有する指数値である）マッピングされた値のみをシグナリングし得る。制約された係数ｃ（ｉ）は、以下のようにｃ’（ｉ）にマッピングされ得る。

ｃ（ｉ）が０に等しい場合、ｃ’（ｉ）は０である。

そうでない場合、ｃ’（ｉ）＝ｓｉｇｎ（ｃ（ｉ））＊（ｌｏｇ_２（ａｂｓ（ｃ（ｉ））＋１）であり、ただし、ｃ（ｉ）が負である場合、ｓｉｇｎ（ｃ（ｉ））は－１であり、そうでない場合、１である。

[0123] いくつかの例では、ビデオコーダは、ｃ’（ｉ）をシグナリングするために、固定された順序のゴロムコード、固定長コード（fixed-length code）または単項コードの任意の組合せを利用してもよい。

[0124] いくつかの例では、ビデオコーダは、固定された順序のゴロムコード、固定長コードまたは単項コードの任意の組合せを利用して、まず、ｃ’（ｉ）の絶対値をシグナリングし（または構文解析し）てもよい。ｃ’（ｉ）が０でない場合、ビデオコーダは、続いて、その後に（たとえば、ｃ’（ｉ）の絶対値をシグナリングした後に）、符号情報をシグナリングし（または解析し）得る。

[0125] いくつかの例では、ビデオコーダは、ｃ’’（ｉ）＝ｃ’（ｉ）－ｃ’_ｍｉｎ（ｉ）によって、ｃ’（ｉ）を非ゼロ値に変換し、変換された値をシグナリングしてもよく、ただし、ｃ’_ｍｉｎ（ｉ）は、ｉ番目の係数についての最小のマッピングされた値である。ビデオデコーダは、非負値であるｃ’’（ｉ）を構文解析し得る。ｃ’’（ｉ）に基づいて、ビデオデコーダは、ｃ’（ｉ）＝ｃ’’（ｉ）＋ｃ’_ｍｉｎ（ｉ）を計算し得る。

[0126] 本開示の第２の技法によれば、ビデオコーダは、コスト乗数（cost multiplier）を低減するために、クロスコンポーネント適応ループフィルタ５１０、５１２についてのフィルタ係数のダイナミックレンジを制約するように構成され得る。ｋを、係数の小数部を表すために使用されるビット数とする。フィルタ係数ｃ（ｉ）のダイナミックレンジは、開区間（－（１＜＜（ｋ－ｊ）），（１＜＜（ｋ－ｊ））－１）において制約されてもよい。ビデオコーダは、ｃ（ｉ）をシグナリングするために、固定された順序のゴロムコード、固定長コード、および／または単項コードの任意の組合せを使用し得る。ビデオコーダは、まず、ｃ（ｉ）の絶対値をシグナリングし（または構文解析し）得る。ｃ（ｉ）が０でない場合、ビデオコーダは、続いて、ｃ（ｉ）についての符号情報をシグナリングし（構文解析し）得る。付加的に、または代替的に、ビデオコーダは、ｃ’（ｉ）＝ｃ（ｉ）－ｃ_ｍｉｎ（ｉ）によって、ｃ（ｉ）を非ゼロ値に変換してもよい。ビデオコーダは、次いで、変換された値をシグナリングし得、ただし、ｃ_ｍｉｎ（ｉ）は、ｉ番目の係数についての最小の値である。ビデオデコーダは、非負値であるｃ’（ｉ）を構文解析し得る。ビデオデコーダは、ｃ（ｉ）の値をｃ’（ｉ）＋ｃ_ｍｉｎ（ｉ）として計算し得る。

[0127] 図６は、本開示の技法による、現在ブロックを符号化するための例示的な方法を示すフローチャートである。現在ブロックは、現在ＣＵを備えてよい。ビデオエンコーダ２００（図１および図３）に関して説明されるが、他のデバイスが図６の方法と類似の方法を実行するように構成され得ることを理解されたい。

[0128] この例では、ビデオエンコーダ２００は、最初に現在ブロックを予測する（３５０）。たとえば、ビデオエンコーダ２００は、現在のブロックについての予測ブロックを形成し得る。ビデオエンコーダ２００は、次いで、現在ブロックに対する残差ブロックを計算し得る（３５２）。残差ブロックを計算するために、ビデオエンコーダ２００は、コーディングされていない元のブロックと現在ブロックに対する予測ブロックとの間の差分を計算してよい。ビデオエンコーダ２００は、次いで、残差ブロックの係数を変換および量子化し得る（３５４）。次に、ビデオエンコーダ２００は、残差ブロックの量子化変換係数を走査し得る（３５６）。走査の間、または走査に続いて、ビデオエンコーダ２００は、係数をエントロピー符号化し得る（３５８）。たとえば、ビデオエンコーダ２００は、ＣＡＶＬＣまたはＣＡＢＡＣを使用して係数を符号化してよい。ビデオエンコーダ２００は、次いで、ブロックのエントロピー符号化データを出力し得る（３６０）。

[0129] ビデオエンコーダ２００は、次いで、現在のブロックを復号し得る（３６２）。たとえば、ビデオエンコーダ２００は、残差ブロックを再現するために、量子化された変換係数を逆量子化および逆変換し、予測ブロックと再現された残差ブロックとを組み合わせ得る。ビデオエンコーダ２００は、次いで、たとえば、本開示によるクロスコンポーネント適応ループフィルタリング技法を使用して、復号されたブロックをフィルタリングし得る（３６４）。ブロックのエントロピー符号化されたデータは、たとえば、どのクロスコンポーネント適応ループフィルタがそのブロックに対して選択されるかを示すフィルタインデックスをさらに含み得る。ビデオエンコーダ２００は、次いで、たとえば、符号化される（および復号される）べき将来のブロックを予測する場合の参照のために、フィルタリングされたブロックを記憶し得る（３６６）。

[0130] 図７は、本開示の技法による、現在ブロックを復号するための例示的な方法を示すフローチャートである。現在ブロックは、現在ＣＵを備えてよい。ビデオデコーダ３００（図１および図４）に関して説明されるが、他のデバイスが図７の方法と類似の方法を実行するように構成され得ることを理解されたい。

[0131] ビデオデコーダ３００は、現在のブロックについてのエントロピー符号化されたデータ、たとえば、エントロピー符号化された予測情報、現在のブロックに対応する残差ブロックの係数についてのエントロピー符号化されたデータ、および現在のブロックについてのエントロピー符号化されたクロスコンポーネント適応ループフィルタ情報などを受信し得る（３７０）。ビデオデコーダ３００は、現在ブロックに対する予測情報を決定し残差ブロックの係数を再生するために、エントロピー符号化データをエントロピー復号し得る（３７２）。ビデオデコーダ３００は、現在ブロックに対する予測ブロックを計算するために、たとえば、現在ブロックに対する予測情報によって示されるようなイントラ予測モードまたはインター予測モードを使用して、現在ブロックを予測し得る（３７４）。ビデオデコーダ３００は、次いで、量子化変換係数のブロックを作成するために、再生された係数を逆走査し得る（３７６）。ビデオデコーダ３００は、次いで、残差ブロックを作り出すために、係数を逆量子化および逆変換し得る（３７８）。ビデオデコーダ３００は、予測ブロックと残差ブロックとを組み合わせることによって、最終的に現在ブロックを復号し得る（３８０）。

[0132] さらに、ビデオデコーダ３００は、たとえば、本開示の技法のいずれかによるクロスコンポーネント適応ループフィルタリングを使用して、復号されたブロックをフィルタリングし得る（３８２）。ビデオデコーダ３００は、次いで、たとえば、復号されるべき将来のブロックを予測する場合の参照のために、フィルタリングされたブロックを記憶し得る（３８４）。

[0133] 図８は、本開示の１つまたは複数の技法による、現在のブロックに対するクロスコンポーネント適応ループフィルタリング（ＣＣ－ＡＬＦ）のための例示的な方法を例示するフローチャートである。現在のブロックは、現在のＣＵを含み得る。ビデオデコーダ３００（図１および図４）に関して説明されるが、他のデバイスが、図８の方法と同様の方法を実行するように構成されてもよいことが、理解されるべきである。

[0134] ビデオデコーダ３００は、クロスコンポーネント適応ループフィルタの複数のフィルタ係数を復号し得る（８０２）。たとえば、複数のフィルタ係数のうちの特定のフィルタ係数を復号するために、エントロピー復号ユニット３０２は、符号化されたビデオビットストリームから、特定のフィルタ係数の絶対値の２を底とする対数を表す指数値を、２を指数値のべき乗にしたものとして特定するシンタックス要素を復号し得る。指数値が非ゼロである（すなわち、ゼロ以外の値を有する）場合、エントロピー復号ユニット３０２は、符号化されたビデオビットストリームから、特定のフィルタ係数の符号を特定するシンタックス要素を復号し得る。エントロピー復号ユニット３０２は、指数値（および、存在する場合には符号値）に基づいて、特定のフィルタ係数の値を決定し得る。たとえば、エントロピー復号ユニット３０２は、以下の式に従って、特定のフィルタ係数の値を決定し得る。

ただし、ｃ（ｉ）は、特定のフィルタ係数の値であり、ｓｉｇｎ（ｉ）は、符号が負である場合には負の符号であり、符号が正である場合には正の符号であり、ｃ’（ｉ）は、特定のフィルタ係数についての指数値である。

[0135] ビデオデコーダ３００は、ビデオデータのブロックのサンプルを再構築し得る（８０４）。たとえば、ビデオデコーダ３００は、図７を参照して上述したようにサンプルを再構築してもよい。一例として、ビデオデコーダ３００は、ブロックのサンプルを再構築するために、残差データを有する予測子ブロックのサンプルを追加してもよい。

[0136] ビデオデコーダ３００は、複数のフィルタ係数に基づいて、ビデオデータ（８０６）のブロックに対して、クロスコンポーネント適応ループフィルタリングを実行し得る。たとえば、上記で論じられたように、フィルタユニット３１２のＣＣ ＡＬＦ ＣｂフィルタおよびＣＣ ＡＬＦ Ｃｒフィルタ（たとえば、ＣＣ ＡＬＦ Ｃｂフィルタ５１０およびＣＣ ＡＬＦ Ｃｒフィルタ５１２）は、乗算を実行せずに、ビデオデータのブロックのサンプルを、複数のフィルタ係数の値に基づいてビットシフティングすることによって、向上クロマブロック（enhancement chroma block）を生成し得る。このようにして、本開示の技法は、ＣＣ－ＡＬＦを実行するために必要とされるシステムリソースを低減し得る。

[0137] 以下の番号付きの例は、本開示の１つまたは複数の態様を例示し得る。

[0138] 例１。ビデオデータを復号する方法であって、方法が、クロスコンポーネント適応ループフィルタの複数のフィルタ係数をコーディングすることと、ここにおいて、複数のフィルタ係数のうちの１つまたは複数の値は、ゼロまたは２のべき乗になるように制約される、複数のフィルタ係数のうちの１つまたは複数の値をビットシフティングすることは、ゼロまたは２のべき乗になるように制約されることと、ビデオデータのブロックをコーディングすることと、フィルタ係数を使用して、復号されたブロックのクロスコンポーネント適応ループフィルタリングを実行することとを備える、方法。

[0139] 例２。複数のフィルタ係数のすべての値が、ゼロまたは２のべき乗になるように制約される、例１に記載の方法。

[0140] 例３。複数のフィルタ係数の少なくとも１つの値が、ゼロまたは２のべき乗になるように制約されない、例１に記載の方法。

[0141] 例４。クロスコンポーネント適応ループフィルタリングを実行することが、復号されたブロックのサンプルによって、ゼロまたは２のべき乗の値を有するフィルタ係数を乗算しないことを備える、例１～３のいずれかに記載の方法。

[0142] 例５。制約される複数のフィルタ係数のフィルタ係数の値を示す、１つまたは複数のシンタックス要素をコーディングすることをさらに備える、例１から４のいずれかに記載の方法。

[0143] 例６。ビデオデータを復号する方法であって、方法が、クロスコンポーネント適応ループフィルタのフィルタ係数についての十進値を表すために使用されるビット数ｋを決定することと、フィルタ係数のダイナミックレンジが（－（１＜＜（ｋ－ｊ）），（１＜＜（ｋ－ｊ））－１）を備えると決定することと、ビデオデータのブロックをコーディングすることと、フィルタ係数を使用して、復号されたブロックのクロスコンポーネント適応ループフィルタリングを実行することとを備える、方法。

[0144] 例７。コーディングすることが、復号することを含む、例１～６のいずれかに記載の方法。

[0145] 例８。コーディングすることが、符号化することを含む、例１～７のいずれかに記載の方法。

[0146] 例９。ビデオデータをコーディングするためのデバイスであって、デバイスは、例１～８のいずれかに記載の方法を実行するための１つまたは複数の手段を備える、デバイス。

[0147] 例１０。１つまたは複数の手段が、回路構成の中に実装された１つまたは複数のプロセッサを備える例９に記載のデバイス。

[0148] 例１１。ビデオデータを記憶するためのメモリをさらに備える、例９および１０のいずれかに記載のデバイス。

[0149] 例１２。復号されたビデオデータを表示するように構成されたディスプレイをさらに備える、例９～１１のいずれかに記載のデバイス。

[0150] 例１３。デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、例９～１２のいずれかに記載のデバイス。

[0151] 例１４。デバイスが、ビデオデコーダを備える、例９～１３のいずれかに記載のデバイス。

[0152] 例１５。デバイスが、ビデオエンコーダを備える、例９～１４のいずれかに記載のデバイス。

[0153] 例１６。実行されたとき、１つまたは複数のプロセッサに、例１～８のいずれかに記載の方法を実行させる命令を記憶した、コンピュータ可読記憶媒体。

[0154] 例に応じて、本明細書で説明した技法のいずれかのいくつかの行為またはイベントが、異なるシーケンスで実行され得、追加、マージ、または完全に除外され得る（たとえば、説明したすべての行為またはイベントが本技法の実践のために必要であるとは限らない）ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して並行して実行され得る。

[0155] １つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶またはコンピュータ可読媒体を介して送信されてよく、ハードウェアベースの処理ユニットによって実行されてよい。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に相当するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含んでよい。このようにして、コンピュータ可読媒体は、概して、（１）非一時的な有形コンピュータ可読記憶媒体、または（２）信号もしくは搬送波などの通信媒体に相当し得る。データ記憶媒体は、本開示で説明した技法の実施のための命令、コード、および／またはデータ構造を取り出すために、１つもしくは複数のコンピュータまたは１つもしくは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であってよい。コンピュータプログラム製品は、コンピュータ可読媒体を含んでよい。

[0156] 限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ－ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得るとともにコンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続も適切にコンピュータ可読媒体と呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体が、接続、搬送波、信号、または他の一時的媒体を含まず、代わりに非一時的な有形の記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ－ｒａｙディスク（disc）を含み、ここで、ディスク（disk）は通常、データを磁気的に再生し、ディスク（disc）は、レーザーを用いてデータを光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

[0157] 命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他の均等な集積論理回路構成もしくは個別論理回路構成などの、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用する「プロセッサ」および「処理回路構成」という用語は、上記の構造または本明細書で説明した技法の実装にとって好適な任意の他の構造のうちのいずれかを指してよい。加えて、いくつかの態様では、本明細書で説明する機能性は、符号化および復号のために構成された専用ハードウェアおよび／もしくはソフトウェアモジュール内で提供されてよく、または組み合わせられたコーデックの中に組み込まれてよい。また、本技法は、１つまたは複数の回路または論理要素で十分に実装され得る。

[0158] 本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置で実装され得る。開示する技法を実行するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットが本開示で説明されるが、異なるハードウェアユニットによる実現を必ずしも必要とするとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明したような１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットの中で組み合わせられてよく、または相互動作可能なハードウェアユニットの集合によって提供されてよい。

[0159] 様々な例が説明されている。これらおよび他の例は、以下の特許請求の範囲内に入る。

Claims (20)

1. ビデオデータを復号する方法であって、前記方法が、
   クロスコンポーネント適応ループフィルタの複数のフィルタ係数を復号することと、ここにおいて、前記複数のフィルタ係数のうちの特定のフィルタ係数を復号することが、
   符号化されたビデオビットストリームから、前記特定のフィルタ係数の絶対値の２を底とする対数を表す指数値を、２を前記指数値のべき乗にしたものとして特定するシンタックス要素を復号することと、
   前記指数値に基づいて、前記特定のフィルタ係数の値を決定することと
   を備える、
   ビデオデータのブロックのサンプルを再構築することと、
   前記複数のフィルタ係数に基づいて、前記ビデオデータのブロックをクロスコンポーネント適応ループフィルタリングすることと
   を備える、方法。
2. 前記複数のフィルタ係数のすべての絶対値が、ゼロまたは２のべき乗になるように制約される、請求項１に記載の方法。
3. 前記特定のフィルタ係数を復号することが、
   前記指数値がゼロ以外の値であることに応答して、前記符号化されたビデオビットストリームから、前記特定のフィルタ係数の符号を特定するシンタックス要素を復号すること
   をさらに備え、
   前記特定のフィルタ係数の前記値を決定することが、前記符号に基づいて、前記特定のフィルタ係数の前記値を決定することをさらに備える、請求項１に記載の方法。
4. 前記特定のフィルタ係数の前記値を決定することが、以下の式
   

   

   に従って、前記特定のフィルタ係数の前記値を決定することを備え、ただし、ｃ（ｉ）は、前記特定のフィルタ係数の前記値であり、ｓｉｇｎ（ｉ）は、前記符号が負である場合には負の符号であり、前記符号が正である場合には正の符号であり、ｃ’（ｉ）は、前記特定のフィルタ係数についての前記指数値である、請求項３に記載の方法。
5. 前記クロスコンポーネント適応ループフィルタリングすることが、乗算を実行せずに、前記複数のフィルタ係数の値に基づいて、前記ビデオデータのブロックのサンプルをビットシフティングすることを備える、請求項１に記載の方法。
6. 前記指数値を特定する前記シンタックス要素を復号することが、固定長コードを使用して、前記指数値を特定する前記シンタックス要素を復号することを備える、請求項１に記載の方法。
7. ビデオデータを符号化する方法であって、前記方法が、
   クロスコンポーネント適応ループフィルタの複数のフィルタ係数の値を符号化することと、ここにおいて、前記複数のフィルタ係数のうちの特定のフィルタ係数の値を符号化することが、
   符号化されたビデオビットストリームにおいて、前記特定のフィルタ係数の絶対値の２を底とする対数を表す指数値を、２を前記指数値のべき乗にしたものとして特定するシンタックス要素を符号化することを備える、
   ビデオデータのブロックのサンプルを再構築することと、
   前記複数のフィルタ係数の前記値に基づいて、前記ビデオデータのブロックをクロスコンポーネント適応ループフィルタリングすることと
   を備える、方法。
8. 前記複数のフィルタ係数のすべての絶対値が、ゼロまたは２のべき乗になるように制約される、請求項７に記載の方法。
9. 前記特定のフィルタ係数を符号化することが、
   前記特定のフィルタ係数がゼロ以外の値を有することに応答して、前記符号化されたビデオビットストリームにおいて、前記特定のフィルタ係数の符号を特定するシンタックス要素を符号化すること
   をさらに備える、請求項７に記載の方法。
10. クロスコンポーネント適応ループフィルタリングすることが、乗算を実行せずに、前記複数のフィルタ係数の値に基づいて、前記ビデオデータのブロックのサンプルをビットシフティングすることを備える、請求項７に記載の方法。
11. 前記指数値を特定する前記シンタックス要素を符号化することが、固定長コードを使用して、前記指数値を特定する前記シンタックス要素を符号化することを備える、請求項７に記載の方法。
12. ビデオデータを復号するためのデバイスであって、前記デバイスが、
    符号化されたビデオビットストリームの少なくとも一部を記憶するように構成されたメモリと、
    回路構成の中に実装された１つまたは複数のプロセッサとを備え、前記１つまたは複数のプロセッサが、
    クロスコンポーネント適応ループフィルタの複数のフィルタ係数を復号することと、ここにおいて、前記複数のフィルタ係数のうちの特定のフィルタ係数を復号するために、前記１つまたは複数のプロセッサが、
    前記符号化されたビデオビットストリームから、前記特定のフィルタ係数の絶対値の２を底とする対数を表す指数値を、２を前記指数値のべき乗にしたものとして特定するシンタックス要素を復号することと、
    前記指数値に基づいて、前記特定のフィルタ係数の値を決定することと
    を行うように構成される、
    ビデオデータのブロックのサンプルを再構築することと、
    前記複数のフィルタ係数に基づいて、前記ビデオデータのブロックをクロスコンポーネント適応ループフィルタリングすることと
    を行うように構成される、デバイス。
13. 前記複数のフィルタ係数のすべての絶対値が、ゼロまたは２のべき乗になるように制約される、請求項１２に記載のデバイス。
14. 前記特定のフィルタ係数を復号するために、前記１つまたは複数のプロセッサが、
    前記指数値がゼロ以外の値であることに応答して、前記符号化されたビデオビットストリームから、前記特定のフィルタ係数の符号を特定するシンタックス要素を復号すること
    を行うようにさらに構成され、
    前記特定のフィルタ係数の前記値を決定するために、前記１つまたは複数のプロセッサが、前記符号に基づいて、前記特定のフィルタ係数の前記値を決定するようにさらに構成される、請求項１２に記載のデバイス。
15. 前記特定のフィルタ係数の前記値を決定するために、前記１つまたは複数のプロセッサが、以下の式
    

    

    に従って、前記特定のフィルタ係数の前記値を決定するように構成され、ただし、ｃ（ｉ）は、前記特定のフィルタ係数の前記値であり、ｓｉｇｎ（ｉ）は、前記符号が負である場合には負の符号であり、前記符号が正である場合には正の符号であり、ｃ’（ｉ）は、前記特定のフィルタ係数についての前記指数値である、請求項１４に記載のデバイス。
16. クロスコンポーネント適応ループフィルタリングするために、前記１つまたは複数のプロセッサが、乗算を実行せずに、前記複数のフィルタ係数の値に基づいて、前記ビデオデータのブロックのサンプルをビットシフティングするように構成される、請求項１２に記載のデバイス。
17. ビデオデータを符号化するためのデバイスであって、前記デバイスが、
    符号化されたビデオビットストリームの少なくとも一部を記憶するように構成されたメモリと、
    回路構成の中に実装された１つまたは複数のプロセッサとを備え、前記１つまたは複数のプロセッサが、
    クロスコンポーネント適応ループフィルタの複数のフィルタ係数の値を符号化することと、ここにおいて、前記複数のフィルタ係数のうちの特定のフィルタ係数の値を符号化するために、前記１つまたは複数のプロセッサが、
    前記符号化されたビデオビットストリームにおいて、前記特定のフィルタ係数の絶対値の２を底とする対数を表す指数値を、２を前記指数値のべき乗にしたものとして特定するシンタックス要素を符号化すること
    を行うように構成される、
    ビデオデータのブロックのサンプルを再構築することと、
    前記複数のフィルタ係数の前記値に基づいて、前記ビデオデータのブロックをクロスコンポーネント適応ループフィルタリングすることと
    を行うように構成される、デバイス。
18. 前記複数のフィルタ係数のすべての絶対値が、ゼロまたは２のべき乗になるように制約される、請求項１７に記載のデバイス。
19. 前記特定のフィルタ係数を符号化するために、前記１つまたは複数のプロセッサが、
    前記特定のフィルタ係数がゼロ以外の値を有することに応答して、前記符号化されたビデオビットストリームから、前記特定のフィルタ係数の符号を特定するシンタックス要素を符号化すること
    を行うようにさらに構成される、請求項１７に記載のデバイス。
20. クロスコンポーネント適応ループフィルタリングするために、前記１つまたは複数のプロセッサが、乗算を実行せずに、前記複数のフィルタ係数の値に基づいて、前記ビデオデータのブロックのサンプルをビットシフティングするように構成される、請求項１７に記載のデバイス。

Images