JP2022552173A - ビデオコーディングのための変換スキップにおける残差値のためのコーディング方式をシグナリングすること - Google Patents

Abstract

ビデオデータを復号する例示的な方法であって、変換スキップでコーディングされたビデオデータのブロックの残差値にコーディング方式の第１のタイプが適用されるかコーディング方式の第２のタイプが適用されるかを示すビデオデータの１つまたは複数のシンタックス要素を受信することを含み、ここにおいて、残差値が、ブロックと予測ブロックとの間の差分を示し、およびここにおいて、変換スキップにおいて、残差値が、サンプルドメインから周波数ドメインに変換されない、方法。本方法は、１つまたは複数のシンタックス要素に基づいて、残差値に適用すべきコーディング方式のタイプを決定することと、コーディング方式の決定されたタイプに基づいて残差値を決定することと、決定された残差値と予測ブロックとに基づいてブロックを再構築することとを含む。

Description

[0001] 本出願は、それらの両方の全体が参照により本明細書に組み込まれる、２０１９年１０月１１日に出願された米国仮出願第６２／９１４，３１５号の利益を主張する、２０２０年１０月８日に出願された米国出願第１７／０６６，３０８号の優先権を主張する。

[0002] 本開示は、ビデオ符号化（video encoding）およびビデオ復号（video decoding）に関する。

[0003] デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ－２、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ）、ＩＴＵ－Ｔ Ｈ．２６５／高効率ビデオコーディング（ＨＥＶＣ）によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法など、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。

[0004] ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間（ピクチャ内）予測および／または時間（ピクチャ間）予測を含む。ブロックベースのビデオコーディングでは、ビデオスライス（たとえば、ビデオピクチャまたはビデオピクチャの一部分）が、コーディングツリーユニット（ＣＴＵ：coding tree unit）、コーディングユニット（ＣＵ：coding unit）および／またはコーディングノードと呼ばれることもある、ビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

[0005] 概して、本開示では、ビデオコーディングのためのロスレスコーディング方式およびシグナリングのための技法について説明する。ビデオデータ（video data）の残差値（residual value）をコーディングする（たとえば、符号化または復号する）ために使用される少なくとも２つのコーディング方式（coding scheme）があり得る。第１のコーディング方式は、変換係数コーディング（ＴＲＣＣ：transform coefficient coding）であり、第２のコーディング方式は、変換スキップ残差コーディング（ＴＳＲＣ：transform skip residual coding）である。いくつかの場合には、ＴＳＲＣは、変換スキップ（たとえば、ブロック（block）の残差値がサンプルドメイン（sample domain）から周波数ドメイン（）に変換されない）でコーディングされたビデオデータのブロックのためにのみ利用可能であり得る。しかしながら、変換スキップされたブロックにさえＴＲＣＣを使用することに利益があり得る。本開示では、変換スキップされたブロックにさえＴＲＣＣを利用し、それにより、全体的なコーディングプロセスを改善するための例示的な技法について説明する。

[0006] 一例では、本開示では、ビデオデータを復号する方法について説明し、本方法は、変換スキップでコーディングされたビデオデータのブロックの残差値にコーディング方式の第１のタイプ（first type）が適用されるかコーディング方式の第２のタイプ（second type）が適用されるかを示すビデオデータの１つまたは複数のシンタックス要素（syntax element）を、ビデオビットストリーム（video bitstream）から受信することと、ここにおいて、残差値が、ブロックと予測ブロック（prediction block）との間の差分（difference）を示し、およびここにおいて、変換スキップにおいて、残差値が、サンプルドメインから周波数ドメインに変換されない、１つまたは複数のシンタックス要素に基づいて、残差値に適用すべきコーディング方式のタイプ（a type of coding scheme）を決定することと、コーディング方式の決定されたタイプに基づいて残差値を決定することと、決定された残差値と予測ブロックとに基づいてブロックを再構築（reconstruct）することとを含む。

[0007] 別の例では、本開示では、ビデオデータを符号化する方法について説明し、本方法は、変換スキップでコーディングされるべきであるビデオデータのブロックと予測ブロックとの間の差分に基づいて残差値を決定することと、ここにおいて、変換スキップにおいて、残差値が、サンプルドメインから周波数ドメインに変換されない、残差値に適用するために、コーディング方式の第１のタイプとコーディング方式の第２のタイプとの間でコーディング方式のタイプを決定することと、コーディング方式の決定されたタイプに基づいて残差値を符号化することと、ビデオビットストリーム中に、残差値にコーディング方式の第１のタイプが適用されるかコーディング方式の第２のタイプが適用されるかを示すビデオデータの１つまたは複数のシンタックス要素をシグナリングすることとを含む。

[0008] 別の例では、本開示では、ビデオデータを復号するためのデバイス（device）について説明し、本デバイスは、ビデオデータを記憶するように構成されたメモリ（memory）と、メモリに結合された処理回路（processing circuitry）とを含み、処理回路は、変換スキップでコーディングされたビデオデータのブロックの残差値にコーディング方式の第１のタイプが適用されるかコーディング方式の第２のタイプが適用されるかを示すビデオデータの１つまたは複数のシンタックス要素を、ビデオビットストリームから受信することと、ここにおいて、残差値が、ブロックと予測ブロックとの間の差分を示し、およびここにおいて、変換スキップにおいて、残差値が、サンプルドメインから周波数ドメインに変換されない、１つまたは複数のシンタックス要素に基づいて、残差値に適用すべきコーディング方式のタイプを決定することと、コーディング方式の決定されたタイプに基づいて残差値を決定することと、決定された残差値と予測ブロックとに基づいてブロックを再構築することとを行うように構成される。

[0009] 別の例では、本開示では、命令（instruction）を記憶したコンピュータ可読記憶媒体（computer-readable storage medium）について説明し、命令は、実行されたとき、１つまたは複数のプロセッサに、変換スキップでコーディングされたビデオデータのブロックの残差値にコーディング方式の第１のタイプが適用されるかコーディング方式の第２のタイプが適用されるかを示すビデオデータの１つまたは複数のシンタックス要素を、ビデオビットストリームから受信することと、ここにおいて、残差値が、ブロックと予測ブロックとの間の差分を示し、およびここにおいて、変換スキップにおいて、残差値が、サンプルドメインから周波数ドメインに変換されない、１つまたは複数のシンタックス要素に基づいて、残差値に適用すべきコーディング方式のタイプを決定することと、コーディング方式の決定されたタイプに基づいて残差値を決定することと、決定された残差値と予測ブロックとに基づいてブロックを再構築することとを行わせる。

[0010] 別の例では、本開示では、ビデオデータを復号するためのデバイスについて説明し、本デバイスは、変換スキップでコーディングされたブロックの残差値にコーディング方式の第１のタイプが適用されるかコーディング方式の第２のタイプが適用されるかを示すビデオデータの１つまたは複数のシンタックス要素を、ビデオビットストリームから受信するための手段と、ここにおいて、残差値が、ブロックと予測ブロックとの間の差分を示し、およびここにおいて、変換スキップにおいて、残差値が、サンプルドメインから周波数ドメインに変換されない、１つまたは複数のシンタックス要素に基づいて、残差値に適用すべきコーディング方式のタイプを決定するための手段と、コーディング方式の決定されたタイプに基づいて残差値を決定するための手段と、決定された残差値と予測ブロックとに基づいてブロックを再構築するための手段とを含む。

[0011] １つまたは複数の例の詳細が添付の図面および以下の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになろう。

[0012] 本開示の技法を実施し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0013] 例示的なクワッドツリーバイナリツリー（ＱＴＢＴ）構造を示す概念図。 対応するコーディングツリーユニット（ＣＴＵ）を示す概念図。 [0014] 本開示の技法を実施し得る例示的なビデオエンコーダを示すブロック図。 [0015] 本開示の技法を実施し得る例示的なビデオデコーダを示すブロック図。 [0016] 現在ブロックを符号化するための例示的な方法を示すフローチャート。 [0017] ビデオデータの現在ブロックを復号するための例示的な方法を示すフローチャート。

[0018] ビデオコーディング技法において、ビデオエンコーダは、現在ブロックのサンプルと予測ブロックのサンプルとの間の差分を示す残差情報（residual information）（たとえば、残差値）を決定する。いくつかの場合には、ビデオエンコーダは、サンプルドメイン（ピクセルドメインとも呼ばれる）における残差情報（たとえば、残差値）のサンプル値を、周波数ドメインにおける係数値に変換する。いくつかの例では、係数値は、次いで、量子化され、ビットストリーム中にエントロピー符号化される。ビデオデコーダは、ビットストリームから、量子化された係数値を受信する。ビデオデコーダは、係数値を逆量子化し、逆量子化された係数値を逆変換して、残差値を生成する。ビデオデコーダは、予測ブロックに残差値を加算して、現在ブロックを再構築する。

[0019] いくつかの場合には、変換および／または量子化は、損失を伴うことがある。たとえば、残差値のいくつかは、変換および／または量子化ステップにおいて失われ得る。したがって、ビデオデコーダが生成する残差値は、ビデオエンコーダが生成する残差値と同等でないことがある。したがって、いくつかの場合には、ビデオデコーダによって再構築された現在ブロックは、ビデオエンコーダが符号化した元の現在ブロックと同等でないことがある。

[0020] 符号化プロセスにおいて何らかの損失があり得るが、ビデオデコーダによって再構築された現在ブロックは、視覚的品質の低減がほとんどからまったくないように、元の現在ブロックと十分同じになる傾向がある。しかしながら、いくつかの場合には、残差値の損失がほとんどからまったくないように（たとえば、ロッシービデオコーディング技法と比較して、ビデオエンコーダにおける残差値が、ビデオデコーダにおける残差値により類似しているように）、ロスレスビデオコーディングツールを含むことが望ましいことがある。

[0021] いくつかの場合には、ロスレスビデオコーディングでは、ビデオエンコーダは、特定のブロックのために変換ステップをスキップし得る。ビデオエンコーダは、特定のブロックのために変換がスキップされたことを示す情報（information）をシグナリングし得る。ビデオデコーダは、シグナリングされた情報に基づいて、変換がスキップされると決定し得る。いくつかの例では、ビデオデコーダは、変換がスキップされることを示す情報をビデオエンコーダがシグナリングすることなしに、ブロックのための変換がスキップされるかどうかを暗黙的に決定し得る。

[0022] 変換がスキップされるか否かにかかわらず、残差値はコーディングされ得る。変換係数コーディング（ＴＲＣＣ）および変換スキップ（ＴＳ）残差コーディング（ＴＳＲＣ）という、残差値がコーディングされ得る２つの例示的な方式がある。ＴＲＣＣでは、ビデオエンコーダは、（たとえば、変換を介して）残差値から係数値を決定し、係数値を決定するために使用される情報をエントロピー符号化し得る。たとえば、ビデオエンコーダは、最後の有意係数値位置、有意性マップ（たとえば、どの係数値が０でないかを示す情報）、係数レベル（たとえば、どの係数値が、１よりも大きい、２よりも大きいなどの絶対値を有するかを示す情報）、および符号データ（たとえば、係数値が負であるか正であるか）などの情報を決定し得る。

[0023] ＴＳＲＣは、ＴＲＣＣとは異なり得る。ＴＳＲＣでは、最後の有意係数の位置（the position of the last significant coefficient）のシグナリングがないことがある。ＴＳＲＣでは、有意性マップ、係数レベル、および符号データなどの情報は、ＴＲＣＣと同様であり得る。しかしながら、コンテキストモデリングおよび２値化、ならびにサンプルごとのコンテキストコード化ビンの数の限界は、ＴＳＲＣでは、ＴＲＣＣと比較して異なり得る。上記は、ＴＳＲＣとＴＲＣＣとの間の差異および類似性についての少数の非限定的な例である。他の差異および他の類似性があり得る。また、ＴＳＲＣとＴＲＣＣとの間の差異として識別されたものは、いくつかの場合には同じであり得、ＴＳＲＣとＴＲＣＣとの間の類似性として識別されたものは、いくつかの場合には異なり得る。

[0024] いくつかの場合には、ＴＳＲＣは、変換スキップされたブロックの残差コーディングのためにもっぱら使用され得る。しかしながら、変換スキップされたブロックにＴＲＣＣを使用することに利益があり得る。本開示では、ロスレスコーディング技法（たとえば、変換スキップ）が実装された場合にＴＳＲＣまたはＴＲＣＣが使用され得る仕方のための例示的な技法について説明する。このようにして、例示的な技法は、ＴＲＣＣまたはＴＳＲＣが残差値に適用されることを可能にし、それにより、今度は、より良いビデオコーディングがもたらされ得ることによって、ビデオエンコーダとビデオデコーダとの動作を改善し得る。

[0025] 一例として、ビデオデコーダは、変換スキップでコーディングされたブロックの残差値にコーディング方式の第１のタイプ（たとえば、ＴＲＣＣ）が適用されるかコーディング方式の第２のタイプ（たとえば、ＴＳＲＣ）が適用されるかを示すビデオデータの１つまたは複数のシンタックス要素を、ビデオビットストリームから受信し得る。説明されたように、残差値は、ブロックと予測ブロックとの間の差分を示し、変換スキップにおいて、残差値は、サンプルドメインから周波数ドメイン（変換ドメインとも呼ばれる）に変換されない。いくつかの例では、１つまたは複数のシンタックス要素を受信するために、ビデオデコーダは、変換スキップでコーディングされたスライス中のブロックの残差値にコーディング方式の第１のタイプが適用されるかコーディング方式の第２のタイプが適用されるかを示すスライスヘッダ（slice header）中のフラグ（flag）を受信し得る。

[0026] ビデオデコーダは、１つまたは複数のシンタックス要素に基づいて、残差値に適用すべきコーディング方式のタイプを決定し（たとえば、ＴＲＣＣを使用すべきかＴＳＲＣを使用すべきかを決定し）、コーディング方式の決定されたタイプに基づいて残差値を決定し得る。たとえば、ビデオデコーダは、残差値を決定するためにＴＲＣＣが利用されるかＴＳＲＣが利用されるかに基づいて、最後の有意値位置（last significant value position）、有意性マップ（たとえば、どの値が０でないかを示す情報）、係数レベル（たとえば、どの値が、１よりも大きい、２よりも大きいなどの絶対値を有するかを示す情報）、符号データ（たとえば、値が負であるか正であるか）などの値をパース（parse）し得る。ビデオデコーダは、決定された残差値と予測ブロックとに基づいてブロックを再構築し得る（たとえば、ブロックを再構築するために、予測ブロックに残差値を加算し得る）。

[0027] ビデオエンコーダは、変換スキップでコーディングされるべきであるブロックと予測ブロックとの間の差分に基づいて残差値を決定し得る。変換スキップにおいて、残差値は、サンプルドメインから周波数ドメイン（たとえば、変換ドメイン）に変換されない。

[0028] ビデオエンコーダは、残差値に適用するために、コーディング方式の第１のタイプ（たとえば、ＴＲＣＣ）とコーディング方式の第２のタイプ（たとえば、ＴＳＲＣ）との間でコーディング方式のタイプを決定し、コーディング方式の決定されたタイプに基づいて残差値を符号化し得る。たとえば、ビデオエンコーダは、残差値を決定するためにＴＲＣＣが利用されるかＴＳＲＣが利用されるかに基づいて、最後の有意値位置、有意性マップ（たとえば、どの値が０でないかを示す情報）、係数レベル（たとえば、どの値が、１よりも大きい、２よりも大きいなどの絶対値を有するかを示す情報）、符号データ（たとえば、値が負であるか正であるか）などの値をシグナリングし得る。

[0029] ビデオエンコーダは、ビデオビットストリーム中に、残差値にコーディング方式の第１のタイプが適用されるかコーディング方式の第２のタイプが適用されるかを示すビデオデータの１つまたは複数のシンタックス要素をシグナリングし得る。いくつかの例では、１つまたは複数のシンタックス要素をシグナリングするために、ビデオエンコーダは、変換スキップでコーディングされたブロックの残差値にコーディング方式の第１のタイプが適用されるかコーディング方式の第２のタイプが適用されるかを示すスライスヘッダ中のフラグをシグナリングし得る。

[0030] 図１は、本開示の技法を実施し得る例示的なビデオ符号化および復号システム１００を示すブロック図である。本開示の技法は、概して、ビデオデータをコーディング（符号化および／または復号）することを対象とする。概して、ビデオデータは、ビデオを処理するための何らかのデータを含む。したがって、ビデオデータは、生の符号化されていないビデオ、符号化されたビデオ、復号された（たとえば、再構築された）ビデオ、およびシグナリングデータなどのビデオメタデータを含み得る。

[0031] 図１に示されているように、システム１００は、この例では、宛先デバイス１１６によって復号および表示されるべき符号化ビデオデータを提供するソースデバイス１０２を含む。特に、ソースデバイス１０２は、コンピュータ可読媒体１１０を介して宛先デバイス１１６にビデオデータを提供する。ソースデバイス１０２と宛先デバイス１１６とは、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、スマートフォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲のデバイスのいずれかを備え得る。いくつかの場合には、ソースデバイス１０２と宛先デバイス１１６とは、ワイヤレス通信のために装備され得、したがって、ワイヤレス通信デバイスと呼ばれることがある。

[0032] 図１の例では、ソースデバイス１０２は、ビデオソース１０４と、メモリ１０６と、ビデオエンコーダ２００と、出力インターフェース１０８とを含む。宛先デバイス１１６は、入力インターフェース１２２と、ビデオデコーダ３００と、メモリ１２０と、ディスプレイデバイス１１８とを含む。本開示によれば、ソースデバイス１０２のビデオエンコーダ２００と、宛先デバイス１１６のビデオデコーダ３００とは、ロスレスコーディングおよびシグナリングのための技法を適用するように構成され得る。したがって、ソースデバイス１０２はビデオ符号化デバイスの例を表し、宛先デバイス１１６はビデオ復号デバイスの例を表す。他の例では、ソースデバイスと宛先デバイスとは、他の構成要素または配置を含み得る。たとえば、ソースデバイス１０２は、外部カメラなど、外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイス１１６は、一体型ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。

[0033] 図１に示されているシステム１００は一例にすぎない。概して、どんなデジタルビデオ符号化および／または復号デバイスも、ロスレスコーディングおよびシグナリングのための技法を実施し得る。ソースデバイス１０２と宛先デバイス１１６とは、ソースデバイス１０２が宛先デバイス１１６への送信のためにコード化ビデオデータを生成するようなコーディングデバイスの例にすぎない。本開示では、「コーディング」デバイスを、データのコーディング（符号化および／または復号）を実施するデバイスとして参照する。したがって、ビデオエンコーダ２００とビデオデコーダ３００とは、コーディングデバイス、特に、それぞれビデオエンコーダとビデオデコーダとの例を表す。いくつかの例では、ソースデバイス１０２と宛先デバイス１１６とは、ソースデバイス１０２と宛先デバイス１１６との各々がビデオ符号化および復号構成要素を含むように、実質的に対称的に動作し得る。したがって、システム１００は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのための、ソースデバイス１０２と宛先デバイス１１６との間の一方向または双方向ビデオ送信をサポートし得る。

[0034] 概して、ビデオソース１０４は、ビデオデータ（すなわち、生の符号化されていないビデオデータ）のソースを表し、ビデオデータの連続的な一連のピクチャ（「フレーム」とも呼ばれる）をビデオエンコーダ２００に提供し、ビデオエンコーダ２００は、ピクチャのためにデータを符号化する。ソースデバイス１０２のビデオソース１０４は、ビデオカメラ、以前にキャプチャされた生のビデオを含んでいるビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなど、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース１０４は、ソースビデオとして、コンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。各場合において、ビデオエンコーダ２００は、キャプチャされたビデオデータ、プリキャプチャされたビデオデータ、またはコンピュータ生成されたビデオデータを符号化する。ビデオエンコーダ２００は、ピクチャを、（「表示順序」と呼ばれることがある）受信順序から、コーディングのためのコーディング順序に並べ替え得る。ビデオエンコーダ２００は、符号化ビデオデータを含むビットストリームを生成し得る。ソースデバイス１０２は、次いで、たとえば、宛先デバイス１１６の入力インターフェース１２２による受信および／または取出しのために、出力インターフェース１０８を介して符号化ビデオデータをコンピュータ可読媒体１１０上に出力し得る。

[0035] ソースデバイス１０２のメモリ１０６と、宛先デバイス１１６のメモリ１２０とは、汎用メモリを表す。いくつかの例では、メモリ１０６、１２０は、生のビデオデータ、たとえば、ビデオソース１０４からの生のビデオ、およびビデオデコーダ３００からの生の復号ビデオデータを記憶し得る。追加または代替として、メモリ１０６、１２０は、たとえば、それぞれ、ビデオエンコーダ２００とビデオデコーダ３００とによって実行可能なソフトウェア命令を記憶し得る。メモリ１０６とメモリ１２０とは、この例ではビデオエンコーダ２００とビデオデコーダ３００ととは別個に示されているが、ビデオエンコーダ２００とビデオデコーダ３００とは、機能的に同様または等価な目的で内部メモリをも含み得ることを理解されたい。さらに、メモリ１０６、１２０は、符号化ビデオデータ、たとえば、ビデオエンコーダ２００からの出力、およびビデオデコーダ３００への入力を記憶し得る。いくつかの例では、メモリ１０６、１２０の部分は、たとえば、生の復号および／または符号化ビデオデータを記憶するために、１つまたは複数のビデオバッファとして割り振られ得る。

[0036] コンピュータ可読媒体１１０は、ソースデバイス１０２から宛先デバイス１１６に符号化ビデオデータを移送することが可能な任意のタイプの媒体またはデバイスを表し得る。一例では、コンピュータ可読媒体１１０は、ソースデバイス１０２が、たとえば、無線周波数ネットワークまたはコンピュータベースのネットワークを介して、符号化ビデオデータを宛先デバイス１１６にリアルタイムで直接送信することを可能にするための通信媒体を表す。出力インターフェース１０８は、符号化ビデオデータを含む送信信号を変調し得、入力インターフェース１２２は、ワイヤレス通信プロトコルなどの通信規格に従って、受信された送信信号を復調し得る。通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースのネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１０２から宛先デバイス１１６への通信を容易にするために有用であり得る任意の他の機器を含み得る。

[0037] いくつかの例では、ソースデバイス１０２は、ソースデバイス１０２によって生成された符号化ビデオデータを記憶し得るファイルサーバ１１４または別の中間記憶デバイスに符号化ビデオデータを出力し得る。宛先デバイス１１６は、ストリーミングまたはダウンロードを介して、ファイルサーバ１１４から、記憶されたビデオデータにアクセスし得る。

[0038] ファイルサーバ１１４は、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス１１６に送信することが可能な任意のタイプのサーバデバイスであり得る。ファイルサーバ１１４は、（たとえば、ウェブサイト用の）ウェブサーバ、（ファイル転送プロトコル（ＦＴＰ）または単方向トランスポート上ファイル配信（ＦＬＵＴＥ：File Delivery over Unidirectional Transport）プロトコルなどの）ファイル転送プロトコルサービスを提供するように構成されたサーバ、コンテンツ配信ネットワーク（ＣＤＮ）デバイス、ハイパーテキスト転送プロトコル（ＨＴＴＰ）サーバ、マルチメディアブロードキャストマルチキャストサービス（ＭＢＭＳ）または拡張ＭＢＭＳ（ｅＭＢＭＳ）サーバ、ならびに／あるいはネットワーク接続ストレージ（ＮＡＳ）デバイスを表し得る。ファイルサーバ１１４は、追加または代替として、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）、ＨＴＴＰライブストリーミング（ＨＬＳ）、リアルタイムストリーミングプロトコル（ＲＴＳＰ）、ＨＴＴＰ動的ストリーミングなど、１つまたは複数のＨＴＴＰストリーミングプロトコルを実装し得る。

[0039] 宛先デバイス１１６は、インターネット接続を含む、任意の標準データ接続を通してファイルサーバ１１４から符号化ビデオデータにアクセスし得る。これは、ファイルサーバ１１４に記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、Ｗｉ－Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、デジタル加入者線（ＤＳＬ）、ケーブルモデムなど）、またはその両方の組合せを含み得る。入力インターフェース１２２は、ファイルサーバ１１４からメディアデータを取り出すかまたは受信するための上記で論じられた様々なプロトコルのうちの１つまたは複数、あるいはメディアデータを取り出すための他のそのようなプロトコルに従って動作するように構成され得る。

[0040] 出力インターフェース１０８と入力インターフェース１２２とは、ワイヤレス送信機／受信機、モデム、ワイヤードネットワーキング構成要素（たとえば、イーサネット（登録商標）カード）、様々なＩＥＥＥ８０２．１１規格のいずれかに従って動作するワイヤレス通信構成要素、または他の物理的構成要素を表し得る。出力インターフェース１０８と入力インターフェース１２２とがワイヤレス構成要素を備える例では、出力インターフェース１０８と入力インターフェース１２２とは、４Ｇ、４Ｇ－ＬＴＥ（登録商標）（ロングタームエボリューション）、ＬＴＥアドバンスト、５Ｇなど、セルラー通信規格に従って、符号化ビデオデータなどのデータを転送するように構成され得る。出力インターフェース１０８がワイヤレス送信機を備えるいくつかの例では、出力インターフェース１０８と入力インターフェース１２２とは、ＩＥＥＥ８０２．１１仕様、ＩＥＥＥ８０２．１５仕様（たとえば、ＺｉｇＢｅｅ（登録商標））、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格など、他のワイヤレス規格に従って、符号化ビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス１０２および／または宛先デバイス１１６は、それぞれのシステムオンチップ（ＳｏＣ）デバイスを含み得る。たとえば、ソースデバイス１０２は、ビデオエンコーダ２００および／または出力インターフェース１０８に帰属する機能を実施するためのＳｏＣデバイスを含み得、宛先デバイス１１６は、ビデオデコーダ３００および／または入力インターフェース１２２に帰属する機能を実施するためのＳｏＣデバイスを含み得る。

[0041] 本開示の技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。

[0042] 宛先デバイス１１６の入力インターフェース１２２は、コンピュータ可読媒体１１０（たとえば、通信媒体、記憶デバイス１１２、ファイルサーバ１１４など）から符号化ビデオビットストリームを受信する。符号化ビデオビットストリームは、ビデオビットストリーム中に、ビデオブロックまたは他のコード化ユニット（たとえば、スライス、ピクチャ、ピクチャのグループ、シーケンスなど）の特性および／または処理を記述する値を有するシンタックス要素など、ビデオデコーダ３００によっても使用される、ビデオエンコーダ２００によって定義される情報をシグナリングすることを含み得る。ディスプレイデバイス１１８は、復号ビデオデータの復号ピクチャをユーザに表示する。ディスプレイデバイス１１８は、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを表し得る。

[0043] 図１には示されていないが、いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは各々、オーディオエンコーダおよび／またはオーディオデコーダと統合され得、共通のデータストリーム中にオーディオとビデオの両方を含む多重化ストリームを処理するために、適切なＭＵＸ－ＤＥＭＵＸユニット、あるいは他のハードウェアおよび／またはソフトウェアを含み得る。適用可能な場合、ＭＵＸ－ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。

[0044] ビデオエンコーダ２００とビデオデコーダ３００とは各々、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダおよび／またはデコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、本開示の技法を実施するために１つまたは複数のプロセッサを使用してその命令をハードウェアで実行し得る。ビデオエンコーダ２００とビデオデコーダ３００との各々は、１つまたは複数のエンコーダまたはデコーダに含まれ得、それらのいずれかが、それぞれのデバイス中の複合エンコーダ／デコーダ（ＣＯＤＥＣ）の一部として組み込まれ得る。ビデオエンコーダ２００および／またはビデオデコーダ３００を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラー電話機などのワイヤレス通信デバイスを備え得る。

[0045] ビデオエンコーダ２００とビデオデコーダ３００とは、高効率ビデオコーディング（ＨＥＶＣ）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６５などのビデオコーディング規格、あるいはマルチビューおよび／またはスケーラブルビデオコーディング拡張などのそれの拡張に従って動作し得る。代替的に、ビデオエンコーダ２００とビデオデコーダ３００とは汎用ビデオコーディング（ＶＶＣ：Versatile Video Coding）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６６など、他のプロプライエタリまたは業界規格に従って動作し得る。ＶＶＣ規格のドラフトは、Ｂｒｏｓｓら、「Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ ６）」、ＩＴＵ－Ｔ ＳＧ １６ ＷＰ ３とＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１とのジョイントビデオエキスパーツチーム（ＪＶＥＴ）、第１５回会合：ヨーテボリ、ＳＥ、２０１９年７月３～１２日、ＪＶＥＴ－Ｏ２００１－ｖＥ（以下、「ＶＶＣドラフト６」）に記載されている。ＶＶＣ規格のより最近のドラフトは、Ｂｒｏｓｓら、「Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ １０）」、ＩＴＵ－Ｔ ＳＧ １６ ＷＰ ３とＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１とのジョイントビデオエキスパーツチーム（ＪＶＥＴ）、第１８回会合：遠隔会議による、２０２０年６月２２日～７月１日、ＪＶＥＴ－Ｓ２００１－ｖＡ（以下、「ＶＶＣドラフト１０」）に記載されている。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。

[0046] 概して、ビデオエンコーダ２００とビデオデコーダ３００とは、ピクチャのブロックベースのコーディングを実施し得る。「ブロック」という用語は、処理されるべき（たとえば、符号化されるべき、復号されるべき、あるいは符号化および／または復号プロセスにおいて他の方法で使用されるべき）データを含む構造を一般に意味する。たとえば、ブロックは、ルミナンスおよび／またはクロミナンスデータのサンプルの２次元行列を含み得る。概して、ビデオエンコーダ２００とビデオデコーダ３００とは、ＹＵＶ（たとえば、Ｙ、Ｃｂ、Ｃｒ）フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルのために赤色、緑色、および青色（ＲＧＢ）データをコーディングするのではなく、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分とクロミナンス成分とをコーディングし得、ここで、クロミナンス成分は、赤色相と青色相の両方のクロミナンス成分を含み得る。いくつかの例では、ビデオエンコーダ２００は、符号化より前に、受信されたＲＧＢフォーマット付きデータをＹＵＶ表現にコンバートし、ビデオデコーダ３００は、ＹＵＶ表現をＲＧＢフォーマットにコンバートする。代替的に、前処理および後処理ユニット（図示されず）が、これらのコンバージョンを実施し得る。

[0047] 本開示では、概して、ピクチャのコーディング（たとえば、符号化および復号）を、ピクチャのデータを符号化または復号するプロセスを含むように参照し得る。同様に、本開示では、ピクチャのブロックのコーディングを、ブロックのデータを符号化または復号するプロセス、たとえば、予測および／または残差コーディングを含むように参照し得る。符号化ビデオビットストリームは、概して、コーディング決定（たとえば、コーディングモード）とブロックへのピクチャの区分とを表すシンタックス要素の一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は、概して、ピクチャまたはブロックを形成しているシンタックス要素の値をコーディングすることとして理解されたい。

[0048] ＨＥＶＣは、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、および変換ユニット（ＴＵ）を含む、様々なブロックを定義する。ＨＥＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、クワッドツリー構造に従ってコーディングツリーユニット（ＣＴＵ）をＣＵに区分する。すなわち、ビデオコーダは、ＣＴＵとＣＵとを４つの等しい重複しない正方形に区分し、クワッドツリーの各ノードは、０個または４個のいずれかの子ノードを有する。子ノードなしのノードは「リーフノード」と呼ばれることがあり、そのようなリーフノードのＣＵは、１つまたは複数のＰＵならびに／あるいは１つまたは複数のＴＵを含み得る。ビデオコーダは、ＰＵとＴＵとをさらに区分し得る。たとえば、ＨＥＶＣでは、残差クワッドツリー（ＲＱＴ）は、ＴＵの区分を表す。ＨＥＶＣでは、ＰＵはインター予測データを表すが、ＴＵは残差データを表す。イントラ予測されるＣＵは、イントラモードインジケーションなどのイントラ予測情報を含む。

[0049] 別の例として、ビデオエンコーダ２００とビデオデコーダ３００とは、ＶＶＣに従って動作するように構成され得る。ＶＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、ピクチャを複数のコーディングツリーユニット（ＣＴＵ）に区分する。ビデオエンコーダ２００は、クワッドツリーバイナリツリー（ＱＴＢＴ）構造またはマルチタイプツリー（ＭＴＴ）構造など、ツリー構造に従ってＣＴＵを区分し得る。ＱＴＢＴ構造は、ＨＥＶＣのＣＵとＰＵとＴＵとの間の分離など、複数の区分タイプの概念を除去する。ＱＴＢＴ構造は、クワッドツリー区分に従って区分される第１のレベル、およびバイナリツリー区分に従って区分される第２のレベルという、２つのレベルを含む。ＱＴＢＴ構造のルートノードはＣＴＵに対応する。バイナリツリーのリーフノードはコーディングユニット（ＣＵ）に対応する。

[0050] ＭＴＴ区分構造では、ブロックは、クワッドツリー（ＱＴ）区分と、バイナリツリー（ＢＴ）区分と、１つまたは複数のタイプのトリプルツリー（ＴＴ）（ターナリツリー（ＴＴ）とも呼ばれる）区分とを使用して区分され得る。トリプルまたはターナリツリー区分は、ブロックが３つのサブブロックに分割される区分である。いくつかの例では、トリプルまたはターナリツリー区分は、中心を通して元のブロックを分けることなしにブロックを３つのサブブロックに分ける。ＭＴＴにおける区分タイプ（たとえば、ＱＴ、ＢＴ、およびＴＴ）は、対称的または非対称的であり得る。

[0051] いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分とクロミナンス成分との各々を表すために単一のＱＴＢＴまたはＭＴＴ構造を使用し得、他の例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分のための１つのＱＴＢＴ／ＭＴＴ構造、および両方のクロミナンス成分のための別のＱＴＢＴ／ＭＴＴ構造（またはそれぞれのクロミナンス成分のための２つのＱＴＢＴ／ＭＴＴ構造）など、２つ以上のＱＴＢＴまたはＭＴＴ構造を使用し得る。

[0052] ビデオエンコーダ２００とビデオデコーダ３００とは、ＨＥＶＣに従うクワッドツリー区分、ＱＴＢＴ区分、ＭＴＴ区分、または他の区分構造を使用するように構成され得る。説明の目的で、本開示の技法の説明はＱＴＢＴ区分に関して提示される。しかしながら、本開示の技法は、クワッドツリー区分、または同様に他のタイプの区分を使用するように構成されたビデオコーダにも適用され得ることを理解されたい。

[0053] ブロック（たとえば、ＣＴＵまたはＣＵ）は、ピクチャ中で様々な仕方でグループ化され得る。一例として、ブリックは、ピクチャ中の特定のタイル内のＣＴＵ行の矩形領域を参照し得る。タイルは、ピクチャ中の特定のタイル列と特定のタイル行との内のＣＴＵの矩形領域であり得る。タイル列は、ピクチャの高さに等しい高さと、（たとえば、ピクチャパラメータセット中などの）シンタックス要素によって指定された幅とを有するＣＴＵの矩形領域を参照する。タイル行は、（たとえば、ピクチャパラメータセット中などの）シンタックス要素によって指定された高さと、ピクチャの幅に等しい幅とを有するＣＴＵの矩形領域を参照する。

[0054] いくつかの例では、タイルは複数のブリックに区分され得、それらの各々は、タイル内に１つまたは複数のＣＴＵ行を含み得る。複数のブリックに区分されないタイルもブリックと呼ばれることがある。しかしながら、タイルの真のサブセットであるブリックは、タイルと呼ばれないことがある。

[0055] ピクチャ中のブリックはまた、スライス中に配置され得る。スライスは、もっぱら単一のネットワークアブストラクションレイヤ（ＮＡＬ）ユニット中に含まれていることがあるピクチャの整数個のブリックであり得る。いくつかの例では、スライスは、いくつかの完全なタイル、または１つのタイルの完全なブリックの連続シーケンスのみのいずれかを含む。

[0056] 本開示では、たとえば、１６×１６サンプルまたは１６掛ける１６のサンプルなど、垂直寸法と水平寸法とに関して、（ＣＵまたは他のビデオブロックなどの）ブロックのサンプル寸法を参照するために「Ｎ×Ｎ（ＮｘＮ）」と「Ｎ掛けるＮ（Ｎ ｂｙ Ｎ）」とを互換的に使用し得る。一般に、１６×１６ＣＵは、垂直方向に１６個のサンプルを有し（ｙ＝１６）、水平方向に１６個のサンプルを有する（ｘ＝１６）。同様に、Ｎ×Ｎ ＣＵは、一般に、垂直方向にＮ個のサンプルを有し、水平方向にＮ個のサンプルを有し、ここで、Ｎは非負整数値を表す。ＣＵ中のサンプルは、行と列とに配置され得る。さらに、ＣＵは、必ずしも、水平方向において垂直方向と同じ数のサンプルを有する必要があるとは限らない。たとえば、ＣＵはＮ×Ｍサンプルを備え得、ここで、Ｍは必ずしもＮに等しいとは限らない。

[0057] ビデオエンコーダ２００は、予測および／または残差情報（たとえば、残差値）、ならびに他の情報を表すＣＵのためにビデオデータを符号化する。予測情報は、ＣＵについて予測ブロックを形成するためにＣＵがどのように予測されるべきかを示す。残差情報（すなわち、残差値）は、概して、符号化より前のＣＵのサンプルと予測ブロックとの間のサンプルごとの差分を表す。

[0058] ＣＵを予測するために、ビデオエンコーダ２００は、概して、インター予測またはイントラ予測を通してＣＵについて予測ブロックを形成し得る。インター予測は、概して、以前にコーディングされたピクチャのデータからＣＵを予測することを指し、一方、イントラ予測は、概して、同じピクチャの以前にコーディングされたデータからＣＵを予測することを指す。インター予測を実施するために、ビデオエンコーダ２００は、１つまたは複数の動きベクトルを使用して予測ブロックを生成し得る。ビデオエンコーダ２００は、概して、たとえば、ＣＵと参照ブロックとの間の差分に関して、ＣＵにぴったり一致する参照ブロックを識別するために動き探索を実施し得る。ビデオエンコーダ２００は、参照ブロックが現在ＣＵにぴったり一致するかどうかを決定するために、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）、または他のそのような差分計算を使用して差分メトリックを計算し得る。いくつかの例では、ビデオエンコーダ２００は、単方向予測または双方向予測を使用して現在ＣＵを予測し得る。

[0059] いくつかの例では、ＶＶＣはまた、インター予測モードと考えられ得る、アフィン動き補償モードを提供する。アフィン動き補償モードでは、ビデオエンコーダ２００は、ズームインまたはアウト、回転、パースペクティブの動き、あるいは他の変則の動きタイプなど、非並進の動きを表す２つ以上の動きベクトルを決定し得る。

[0060] イントラ予測を実施するために、ビデオエンコーダ２００は、予測ブロックを生成するようにイントラ予測モードを選択し得る。いくつかの例では、ＶＶＣは、様々な方向性モード、ならびに平面モードおよびＤＣモードを含む、６７個のイントラ予測モードを提供する。概して、ビデオエンコーダ２００は、現在ブロック（たとえば、ＣＵのブロック）のサンプルをそれから予測すべき、現在ブロックに対する隣接サンプルを記述するイントラ予測モードを選択する。そのようなサンプルは、ビデオエンコーダ２００がラスタ走査順序で（左から右に、上から下に）ＣＴＵとＣＵとをコーディングすると仮定すると、概して、現在ブロックと同じピクチャ中の現在ブロックの上方、上方および左側、または左側にあり得る。

[0061] ビデオエンコーダ２００は、現在ブロックについての予測モードを表すデータを符号化する。たとえば、インター予測モードでは、ビデオエンコーダ２００は、様々な利用可能なインター予測モードのうちのどれが使用されるか、ならびに対応するモードの動き情報を表すデータを符号化し得る。たとえば、単方向または双方向インター予測では、ビデオエンコーダ２００は、高度動きベクトル予測（ＡＭＶＰ）またはマージモードを使用して動きベクトルを符号化し得る。ビデオエンコーダ２００は、アフィン動き補償モードの動きベクトルを符号化するために同様のモードを使用し得る。

[0062] ブロックのイントラ予測またはインター予測などの予測に続いて、ビデオエンコーダ２００は、ブロックについて残差データを計算し得る。残差ブロックなどの残差データは、ブロックと、対応する予測モードを使用して形成された、ブロックについての予測ブロックとの間の、サンプルごとの差分を表す。ビデオエンコーダ２００は、サンプルドメインではなく変換ドメイン中に変換データを生成するために、残差ブロックに１つまたは複数の変換を適用し得る。たとえば、ビデオエンコーダ２００は、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換を残差ビデオデータに適用し得る。さらに、ビデオエンコーダ２００は、モード依存非分離可能２次変換（ＭＤＮＳＳＴ）、信号依存変換、カルーネンレーベ変換（ＫＬＴ）など、第１の変換に続いて２次変換を適用し得る。ビデオエンコーダ２００は、１つまたは複数の変換の適用に続いて変換係数を生成する。

[0063] いくつかの例では、残差データ（たとえば、残差値）の変換は、スキップされ得る。たとえば、ロスレスビデオコーディング技法が適用される場合、変換はスキップされ得る。そのような例では、符号化されているブロックは、変換スキップされたブロック、変換スキップブロック、または変換スキップでコーディングされたブロックと呼ばれることがある。

[0064] 上述のように、変換係数を生成するための任意の変換に続いて、ビデオエンコーダ２００は、変換係数の量子化を実施し得る。量子化は、一般に、変換係数を表すために使用されるデータの量をできるだけ低減させるために変換係数が量子化され、さらなる圧縮を実現するプロセスを指す。量子化プロセスを実施することによって、ビデオエンコーダ２００は、変換係数の一部または全部に関連するビット深度を低減し得る。たとえば、ビデオエンコーダ２００は、量子化中にｎビット値をｍビット値に切り捨て得、ここで、ｎはｍよりも大きい。いくつかの例では、量子化を実施するために、ビデオエンコーダ２００は、量子化されるべき値のビット単位の右シフトを実施し得る。いくつかの例では、量子化ステップはバイパスされ得る。

[0065] 量子化に続いて、ビデオエンコーダ２００は、変換係数（または変換がスキップされる場合は残差サンプル値）を走査して、変換がスキップされ量子化がスキップされる量子化変換係数または残差サンプル値、あるいは変換はスキップされるが量子化は実施される残差量子化サンプル値を含む２次元行列から１次元ベクトルを生成し得る。変換係数の走査は、より高いエネルギー（したがって、より低い頻度）の変換係数をベクトルの前方に配置し、より低いエネルギー（したがって、より高い頻度）の変換係数をベクトルの後方に配置するように設計され得る。いくつかの例では、ビデオエンコーダ２００は、あらかじめ定義された走査順序を利用して、量子化された変換係数を走査してシリアル化ベクトルを生成し、次いで、ベクトルの量子化された変換係数をエントロピー符号化し得る。他の例では、ビデオエンコーダ２００は適応型走査を実施し得る。

[0066] 量子化された変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２００は、たとえば、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）に従って、１次元ベクトルをエントロピー符号化し得る。変換および／または量子化がスキップされる例では、ビデオエンコーダ２００は、残差サンプル値または残差量子化サンプル値の１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２００はまた、ビデオデータを復号する際のビデオデコーダ３００による使用のために、符号化ビデオデータに関連付けられたメタデータを記述するシンタックス要素の値をエントロピー符号化し得る。

[0067] ＣＡＢＡＣを実施するために、ビデオエンコーダ２００は、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当て得る。コンテキストは、たとえば、シンボルの隣接値が０値であるか否かに関係し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。

[0068] ビデオエンコーダ２００は、さらに、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびシーケンスベースのシンタックスデータなどのシンタックスデータを、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、あるいはシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、またはビデオパラメータセット（ＶＰＳ）などの他のシンタックスデータ中で、ビデオデコーダ３００に対して生成し得る。ビデオデコーダ３００は、対応するビデオデータをどのように復号すべきかを決定するために、そのようなシンタックスデータを同様に復号し得る。

[0069] このようにして、ビデオエンコーダ２００は、符号化ビデオデータ、たとえば、ブロック（たとえば、ＣＵ）へのピクチャの区分ならびにブロックの予測および／または残差値を記述するシンタックス要素を含むビットストリームを生成し得る。最終的に、ビデオデコーダ３００は、ビットストリームを受信し、符号化ビデオデータを復号し得る。

[0070] 概して、ビデオデコーダ３００は、ビットストリームの符号化ビデオデータを復号するために、ビデオエンコーダ２００によって実施されたものの逆プロセスを実施する。たとえば、ビデオデコーダ３００は、ビデオエンコーダ２００のＣＡＢＡＣ符号化プロセスと逆ではあるが、それと実質的に同様の様式でＣＡＢＡＣを使用してビットストリームのシンタックス要素の値を復号し得る。シンタックス要素は、ＣＴＵのＣＵを定義するために、ＣＴＵへのピクチャの区分情報と、ＱＴＢＴ構造などの対応する区分構造に従う、各ＣＴＵの区分とを定義し得る。シンタックス要素は、ビデオデータのブロック（たとえば、ＣＵ）についての予測および残差値をさらに定義し得る。

[0071] 残差値は、たとえば、量子化された変換係数によって表され得る。ビデオデコーダ３００は、ブロックの残差ブロックを再生するために、ブロックの量子化された変換係数を逆量子化し、逆変換し得る。しかしながら、ビデオエンコーダ２００によって変換および／または量子化が適用されない場合、ビデオデコーダ３００は、逆量子化および／または逆変換ステップをバイパスし得る。たとえば、復号された値は、逆量子化および／または逆変換する必要のない残差値であり得る。ビデオデコーダ３００は、ブロックの予測ブロックを形成するために、シグナリングされた予測モード（イントラまたはインター予測）と、関係する予測情報（たとえば、インター予測のための動き情報）とを使用する。ビデオデコーダ３００は、次いで、（サンプルごとに）予測ブロックと残差ブロックとを組み合わせて、元のブロックを再生し得る。ビデオデコーダ３００は、ブロックの境界に沿って視覚的アーティファクトを低減するためにデブロッキングプロセスを実施することなど、追加の処理を実施し得る。

[0072] 本開示の技法によれば、ビデオエンコーダ２００とビデオデコーダ３００とは、変換スキップされたブロックのために（すなわち、変換スキップでコーディングされたブロックのために）異なるコーディング方式を利用するように構成され得る。たとえば、ロスレス固有のツールを追加することなしに、ＶＶＣにおいてロスレスコーディングをサポートすることが望ましいことがある。少なくとも２つの残差コーディング方式があり得る。第１の残差コーディング方式は、変換係数コーディング（ＴＲＣＣ）と呼ばれ、第２の残差コーディング方式は、変換スキップ（ＴＳ）残差コーディング（ＴＳＲＣ）と呼ばれる。

[0073] ＴＲＣＣ方式およびＴＳＲＣ方式は、残差値を表す異なる仕方であり得る。ＴＲＣＣとＴＳＲＣの両方において、ビデオエンコーダ２００は、残差ブロック中の残差値が有意である（たとえば、絶対値が０よりも大きい）かどうかを決定し、残差値がしきい値（threshold value）よりも大きいかどうかを決定し得る。たとえば、ビデオエンコーダ２００は、残差ブロック中の残差値が、１よりも大きいか、３よりも大きいか、５よりも大きいかなどを決定し得る。ビデオエンコーダ２００は、ビデオデコーダ３００が残差値を決定するために利用する複数のフラグをシグナリングし得る。たとえば、ビデオエンコーダ２００が、残差値が有意であることを示す第１のフラグ（first flag）と、残差値が１よりも大きいことを示す第２のフラグ（second flag）とをシグナリングしたが、残差値が２よりも小さいことを示す第３のフラグをシグナリングしなかった場合、ビデオデコーダ３００は、残差値が１よりも大きく、２よりも小さいと決定し得る。

[0074] しかしながら、ＴＲＣＣ方式とＴＳＲＣ方式との間には差異があり得る。ＴＲＣＣでは、ビデオエンコーダ２００は、最後の有意係数値の位置を示す情報をシグナリングし得、この情報を、ビデオデコーダ３００は、最後の有意値（last significant value）の位置に後続するすべての値が０であると決定するために利用し得る。しかしながら、ＴＳＲＣ方式では、変換がスキップされた場合、残差ブロック中の最後のロケーションを含む、残差ブロック内のどんなロケーションにも有意値があることが可能であるので、最後の有意値がないことがある。

[0075] 別の例として、ＴＲＣＣ方式では、残差値のうちの残差値がしきい値よりも大きいかどうかを示すフラグの数（a number of flags）は、ＴＳＲＣ方式において残差値のうちの残差値がしきい値よりも大きいかどうかを示すフラグの数とは異なる。たとえば、ＴＲＣＣ方式は、残差値が３よりも大きいかどうかを示すフラグを含むが、残差値が５よりも大きいかどうかを示すフラグを含まないことがある。しかしながら、ＴＳＲＣ方式では、残差値が５よりも大きいかどうかを示すフラグと、残差値が７よりも大きいかどうかを示すフラグと、残差値が９よりも大きいかどうかを示すフラグとがあり得る。

[0076] また別の例として、ＴＲＣＣ方式では、残差ブロックの走査順序は、最後から最初へ、すなわち、最後の残差値から最初の残差値へであり得る。しかしながら、ＴＳＲＣ方式では、残差ブロックの走査順序は、第１の残差値から最後の残差値へであり得る。

[0077] したがって、ＴＲＣＣ方式およびＴＳＲＣ方式は、残差値に適用されるコーディング方式の異なるタイプである。より詳細に説明されるように、いくつかの例では、ビデオエンコーダ２００は、変換スキップでコーディングされたすべてのブロックのためにＴＳＲＣ方式を利用し、ＴＲＣＣ方式は、変換スキップでコーディングされたブロックのために利用可能でなかった。しかしながら、ＴＲＣＣ方式が、変換スキップでコーディングされたブロックに使用されることを可能にすることに、利益があり得る。

[0078] そのような場合、ビデオエンコーダ２００は、コーディング方式の第１のタイプ（たとえば、ＴＲＣＣ方式）が適用されるかコーディング方式の第２のタイプ（たとえば、ＴＳＲＣ方式）が適用されるかを示す、ビデオデコーダ３００が受信する情報をシグナリングし得る。そのようなシグナリングは、変換スキップが有効にされた場合にのみ存在し得る。たとえば、ビデオデコーダ３００は、最初に、変換スキップが有効にされるかどうかを決定し、変換スキップが有効にされることに基づいて、コーディング方式の第１のタイプが適用されるかコーディング方式の第２のタイプが適用されるかを示すスライスヘッダ中のフラグをパースし得る。すなわち、変換スキップが有効にされる場合、ビデオデコーダ３００は、コーディング方式の第１のタイプが適用されるかコーディング方式の第２のタイプが適用されるかを示すスライスヘッダ中のフラグをパースし得る。しかしながら、変換スキップが有効にされない場合、ビデオデコーダ３００は、コーディング方式の第１のタイプが適用されるかコーディング方式の第２のタイプが適用されるかを示すスライスヘッダ中のフラグをパースしなくてよい。

[0079] ロスレスコーディングは、変換演算のスキップを必要とし得る（たとえば、ビデオエンコーダ２００は、係数値を用いた周波数ドメインへの残差値の変換をバイパスし、ビデオデコーダ３００は、残差値がすでにサンプルドメイン中にあるので、逆変換演算をバイパスする）。いくつかの例では、ビデオエンコーダ２００は、ブロックのために（たとえば、変換スキップされたブロックのために）変換がスキップされることを示すＴＳコーディングフラグをシグナリングし得る。ＴＳコーディングフラグは、多重変換選択（ＭＴＳ）インデックスの一部としてシグナリングされ得る。いくつかの例では、ＴＳコーディングフラグを明示的にシグナリングするのではなく、ビデオデコーダ３００は、ブロックベースの量子化残差ドメインデルタパルスコード変調（ＢＤＰＣＭ）モードが選択された場合、ブロックが、変換スキップされたブロック（たとえば、変換スキップでコーディングされたブロック）であると暗黙的に決定し得る。いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ＴＳＲＣを、変換スキップされたブロックのための残差コーディング方式として利用し得る。

[0080] いくつかの例では、変換スキップブロックのためにＴＲＣＣならびにＢＤＰＣＭを使用することが望ましいことがある。既存の低レベルシグナリングが使用されるべきである場合、ＳＰＳ、ＰＰＳ、ピクチャヘッダ、またはスライスヘッダ中のフラグは、変換がスキップされるときに使用されるべき残差コーディング技法を示すために使用され得る。すなわち、ビデオエンコーダ２００は、変換スキップでコーディングされたブロックの残差値にコーディング方式の第１のタイプ（たとえば、ＴＲＣＣ）が適用されるかコーディング方式の第２のタイプ（たとえば、ＴＳＲＣ）が適用されるかを示すスライスヘッダ中のフラグをシグナリングし得、ビデオデコーダ３００は、このフラグを受信し得る。このようにして、ＶＶＣドラフト６の（たとえば、変換がバイパスされる場合の）ＴＳコーディング経路の変更は不要になり得、ＴＳＲＣまたはＴＲＣＣが使用され得る。しかしながら、本開示で説明される技法は、ＴＳコーディング経路への変更が行われる場合にも利用され得る。

[0081] 本開示では、変換がスキップされるときに使用されるべき係数（残差）コーディング技法（たとえば、ＴＲＣＣまたはＴＳＲＣ）を選択するために、ＳＰＳ、ＰＰＳ、ピクチャヘッダまたはスライスヘッダ中に１つまたは複数のシンタックス要素（たとえば、フラグ）を追加するための技法について説明する。１つまたは複数のシンタックス要素（たとえば、フラグ）は、ＴＳブロック（たとえば、変換スキップでコーディングされたブロック）のためにＴＳＲＣが使用されるかＴＲＣＣが使用されるかを示し得る。いくつかの例では、シグナリングされた方法は、変換スキップされたブロックの量子化パラメータ（ＱＰ：quantization parameter）が４以下である場合のみ（すなわち、ロスレス）、効力を生じ得る。

[0082] たとえば、ＶＶＣドラフト１０は、ｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇを含む。ｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇは、スライスヘッダ中でシグナリングされ、変換スキップでコーディングされたブロックのためにＴＳＲＣが使用されるかＴＲＣＣが使用されるかを示すために本開示で説明されるフラグの一例である。たとえば、ｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇが真（たとえば、論理１）である場合、それは、ＴＳＲＣが無効にされ、ＴＲＣＣが使用されることを意味する。ｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇが偽（たとえば、論理０）である場合、それは、ＴＳＲＣが無効にされず、ＴＳＲＣが使用されることと、ＴＲＣＣが使用されないこととを意味する。

[0083] ＶＶＣドラフト１０は、ｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇを次のように定義する。１に等しいｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇは、ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ（）シンタックス構造が、現在スライスの変換スキップブロックの残差サンプルをパースするために使用されることを指定する。０に等しいｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇは、ｒｅｓｉｄｕａｌ＿ｔｓ＿ｃｏｄｉｎｇ（）シンタックス構造が、現在スライスの変換スキップブロックの残差サンプルをパースするために使用されることを指定する。ｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇが存在しないとき、それは０に等しいと推論される。ＶＶＣドラフト１０において、ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ（）シンタックス構造は、ＴＲＣＣ方式を指し、ｒｅｓｉｄｕａｌ＿ｔｓ＿ｃｏｄｉｎｇ（）シンタックス構造は、ＴＳＲＣ方式を指す。

[0084] ＶＶＣドラフト１０のセクション７．３．７（スライスヘッダシンタックス）に記載されているように、ｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇシンタックス要素は、変換スキップが有効にされた場合のみシグナリングされる。たとえば、ＶＶＣドラフト１０では、ビデオエンコーダ２００は、ブロックのために変換スキップが有効にされるか否かを示すｓｐｓ＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇをシグナリングし得る。ビデオデコーダ３００は、ｓｐｓ＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇを受信し、ｓｐｓ＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇが真である場合のみ（たとえば、変換スキップが有効にされる場合のみ）、ｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇをパースし得る。

[0085] したがって、１つまたは複数の例では、ビデオデコーダ３００は、変換スキップでコーディングされたブロックの残差値にコーディング方式の第１のタイプ（たとえば、ＴＲＣＣ）が適用されるかコーディング方式の第２のタイプ（たとえば、ＴＳＲＣ）が適用されるかを示すビデオデータの１つまたは複数のシンタックス要素（たとえば、ｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ）を、ビデオビットストリームから受信し得る。残差値は、ブロックと予測ブロックとの間の差分を示し、変換スキップにおいて、残差値は、サンプルドメインから周波数ドメインに変換されない（たとえば、ＤＣＴまたはＤＳＴ演算はスキップされる）。いくつかの例では、ビデオデコーダ３００は、スライスヘッダ中でｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇを受信し得る。

[0086] １つまたは複数の例では、ビデオデコーダ３００は、変換スキップが有効にされるかどうかを示す第１のフラグ（たとえば、ｓｐｓ＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）を受信し得る。１つまたは複数のシンタックス要素を受信するために、ビデオデコーダ３００は、変換スキップが有効にされることを示す第１のフラグに基づいてコーディング方式の第１のタイプが適用されるかコーディング方式の第２のタイプが適用されるかを示すスライスヘッダ中の第２のフラグ（たとえば、ｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ）をパースし得る。たとえば、第１のフラグ（たとえば、ｓｐｓ＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）が真である場合、ビデオデコーダ３００は、第２のフラグ（たとえば、ｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ）のみをパースし得る。第１のフラグが偽である場合、ビデオデコーダ３００は、第２のフラグをパースしなくてよい。

[0087] ビデオデコーダ３００は、１つまたは複数のシンタックス要素に基づいて、残差値に適用すべきコーディング方式のタイプを決定し得る。たとえば、ビデオデコーダ３００は、ｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇが真である場合、ＴＲＣＣを使用することを決定し、ｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇが偽である場合、ＴＳＲＣを使用することを決定し得る。

[0088] ビデオデコーダ３００は、コーディング方式の決定されたタイプに基づいて残差値を決定し得る。ブロックが変換スキップでコーディングされたので、ビデオデコーダ３００は、残差値に逆変換（inverse transform）を適用することなしに残差値を決定し得る。たとえば、残差値はすでにサンプルドメイン中にあり、したがって、周波数ドメインからサンプルドメインへの逆変換への逆変換は不要であり得る。

[0089] ビデオデコーダ３００は、決定された残差値と予測ブロックとに基づいてブロックを再構築し得る。たとえば、ビデオデコーダ３００は、ブロックを再構築するために、決定された残差値に予測ブロックを加算し得る。

[0090] １つまたは複数の例では、ビデオエンコーダ２００は、変換スキップでコーディングされるべきであるブロックと予測ブロックとの間の差分に基づいて残差値を決定し得る。説明されたように、変換スキップにおいて、残差値は、サンプルドメインから周波数ドメインに変換されない。

[0091] ビデオエンコーダ２００は、残差値に適用するために、コーディング方式の第１のタイプ（たとえばＴＲＣＣ）とコーディング方式の第２のタイプ（たとえば、ＴＳＲＣ）との間でコーディング方式のタイプを決定し得る。ビデオエンコーダ２００は、コーディング方式の決定されたタイプに基づいて残差値を符号化し、ビデオビットストリーム中に、残差値にコーディング方式の第１のタイプ（たとえば、ＴＲＣＣ）が適用されるかコーディング方式の第２のタイプ（たとえば、ＴＳＲＣ）が適用されるかを示すビデオデータの１つまたは複数のシンタックス要素（たとえば、スライスヘッダ中のｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ）をシグナリングし得る。

[0092] いくつかの例では、ＴＳＲＣは、（ブロック中の最後の非０係数位置がブロックの最後の位置になると仮定して）最後の非０位置（すなわち、最後の有意係数の位置）のコーディングをスキップするＴＲＣＣ方式と交換され得る。加えて、ビデオエンコーダ２００とビデオデコーダ３００とは、（ＨＥＶＣ Ｒｅｘｔ）におけるようにコーディングされるべき係数を（たとえば、１８０度）回転させ得る。そのような例では、変換スキップの場合のために使用されるべきコーディング方式をシグナリングすることは不要であり得る。たとえば、既存のシグナリングは、変換スキップ経路が、最後の位置をシグナリングすることと、コーディングされるべきブロックを潜在的に回転させることとを伴わないでＴＲＣＣ方式を使用するはずであるので、ロスレスコーディングを達成するために使用され得る。

[0093] 本開示では、概して、シンタックス要素など、ある情報を「シグナリング」することに言及することがある。「シグナリング」という用語は、概して、符号化ビデオデータを復号するために使用されるシンタックス要素および／または他のデータの値の通信を指し得る。すなわち、ビデオエンコーダ２００は、ビットストリーム中でシンタックス要素の値をシグナリングし得る。概して、シグナリングは、ビットストリーム中に値を生成することを指す。上述されたように、ソースデバイス１０２は、実質的にリアルタイムでビットストリームを宛先デバイス１１６に移送するか、または、宛先デバイス１１６による後の取出しのためにシンタックス要素を記憶デバイス１１２に記憶するときに起こり得るようになど、非リアルタイムでビットストリームを宛先デバイス１１６に移送し得る。

[0094] 図２Ａと図２Ｂとは、例示的なクワッドツリーバイナリツリー（ＱＴＢＴ）構造１３０と、対応するコーディングツリーユニット（ＣＴＵ）１３２とを示す概念図である。実線はクワッドツリー分割を表し、点線はバイナリツリー分割を表す。バイナリツリーの各分割（すなわち、非リーフ）ノードでは、どの分割タイプ（すなわち、水平または垂直）が使用されるかを示すために１つのフラグがシグナリングされ、ここで、この例では、０は水平分割を示し、１は垂直分割を示す。クワッドツリー分割では、クワッドツリーノードが、ブロックを、等しいサイズをもつ４つのサブブロックに水平および垂直に分割するので、分割タイプを示す必要がない。したがって、ＱＴＢＴ構造１３０の領域ツリーレベル（すなわち、実線）についての（分割情報などの）シンタックス要素と、ＱＴＢＴ構造１３０の予測ツリーレベル（すなわち、破線）についての（分割情報などの）シンタックス要素とを、ビデオエンコーダ２００は符号化し得、ビデオデコーダ３００は復号し得る。ＱＴＢＴ構造１３０の端末リーフノードによって表されるＣＵについての、予測および変換データなどのビデオデータを、ビデオエンコーダ２００は符号化し得、ビデオデコーダ３００は復号し得る。

[0095] 概して、図２ＢのＣＴＵ１３２は、第１および第２のレベルにおいてＱＴＢＴ構造１３０のノードに対応するブロックのサイズを定義するパラメータに関連付けられ得る。これらのパラメータは、（サンプル中のＣＴＵ１３２のサイズを表す）ＣＴＵサイズと、最小クワッドツリーサイズ（最小許容クワッドツリーリーフノードサイズを表すＭｉｎＱＴＳｉｚｅ）と、最大バイナリツリーサイズ（最大許容バイナリツリールートノードサイズを表すＭａｘＢＴＳｉｚｅ）と、最大バイナリツリー深度（最大許容バイナリツリー深度を表すＭａｘＢＴＤｅｐｔｈ）と、最小バイナリツリーサイズ（最小許容バイナリツリーリーフノードサイズを表すＭｉｎＢＴＳｉｚｅ）とを含み得る。

[0096] ＣＴＵに対応するＱＴＢＴ構造のルートノードは、ＱＴＢＴ構造の第１のレベルにおいて４つの子ノードを有し得、それらの各々は、クワッドツリー区分に従って区分され得る。すなわち、第１のレベルのノードは、（子ノードを有しない）リーフノードであるか、あるいは４つの子ノードを有する。ＱＴＢＴ構造１３０の例は、ブランチのために実線を有する親ノードと子ノードとを含むようなノードを表す。第１のレベルのノードが最大許容バイナリツリールートノードサイズ（ＭａｘＢＴＳｉｚｅ）よりも大きくない場合、ノードは、それぞれのバイナリツリーによってさらに区分され得る。１つのノードのバイナリツリー分割は、分割から生じるノードが最小許容バイナリツリーリーフノードサイズ（ＭｉｎＢＴＳｉｚｅ）または最大許容バイナリツリー深度（ＭａｘＢＴＤｅｐｔｈ）に達するまで反復され得る。ＱＴＢＴ構造１３０の例は、ブランチのために破線を有するようなノードを表す。バイナリツリーリーフノードはコーディングユニット（ＣＵ）と呼ばれ、ＣＵは、どんなさらなる区分もない予測（たとえば、ピクチャ内またはピクチャ間予測）ならびに変換のために使用される。上記で論じられたように、ＣＵは「ビデオブロック」または「ブロック」と呼ばれることもある。

[0097] ＱＴＢＴ区分構造の一例では、ＣＴＵサイズは、１２８×１２８（ルーマサンプルおよび２つの対応する６４×６４クロマサンプル）として設定され、ＭｉｎＱＴＳｉｚｅは１６×１６として設定され、ＭａｘＢＴＳｉｚｅは６４×６４として設定され、（幅と高さの両方について）ＭｉｎＢＴＳｉｚｅは４として設定され、ＭａｘＢＴＤｅｐｔｈは４として設定される。クワッドツリー区分は、クワッドツリーリーフノードを生成するために、最初にＣＴＵに適用される。クワッドツリーリーフノードは、１６×１６（すなわち、ＭｉｎＱＴＳｉｚｅ）から１２８×１２８（すなわち、ＣＴＵサイズ）のサイズを有し得る。リーフクワッドツリーノードが１２８×１２８である場合、リーフクワッドツリーノードは、サイズがＭａｘＢＴＳｉｚｅ（すなわち、この例では、６４×６４）を超えるので、バイナリツリーによってさらに分割されない。そうでない場合、リーフクワッドツリーノードは、バイナリツリーによってさらに区分される。したがって、クワッドツリーリーフノードはまた、バイナリツリーのルートノードであり、０としてのバイナリツリー深度を有する。バイナリツリー深度がＭａｘＢＴＤｅｐｔｈ（この例では４）に達したとき、さらなる分割は許可されない。バイナリツリーノードがＭｉｎＢＴＳｉｚｅ（この例では４）に等しい幅を有するとき、それは、さらなる水平分割が許可されないことを暗示する。同様に、ＭｉｎＢＴＳｉｚｅに等しい高さを有するバイナリツリーノードは、さらなる垂直分割がそのバイナリツリーノードのために許可されないことを暗示する。上述されたように、バイナリツリーのリーフノードは、ＣＵと呼ばれ、さらなる区分なしに予測および変換に従ってさらに処理される。

[0098] 図３は、本開示の技法を実施し得る例示的なビデオエンコーダ２００を示すブロック図である。図３は、説明の目的で提供されており、本開示において広く例示され、説明される技法を限定するものと考えられるべきではない。説明の目的で、本開示では、Ｈ．２６５ビデオコーディング規格（ＨＥＶＣとも呼ばれる）およびＨ．２６６ビデオコーディング規格（ＶＶＣとも呼ばれる）などのビデオコーディング規格のコンテキストにおいて、ビデオエンコーダ２００について説明する。しかしながら、本開示の技法は、これらのビデオコーディング規格に限定されず、一般的にビデオ符号化および復号に適用可能である。

[0099] 図３の例では、ビデオエンコーダ２００は、ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、フィルタユニット２１６と、復号ピクチャバッファ（ＤＰＢ）２１８と、エントロピー符号化ユニット２２０とを含む。ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、フィルタユニット２１６と、ＤＰＢ２１８と、エントロピー符号化ユニット２２０とのいずれかまたはすべては、１つまたは複数のプロセッサ中にあるいは処理回路中に実装され得る。たとえば、ビデオエンコーダ２００のユニットは、１つまたは複数の回路または論理要素として、ハードウェア回路の一部として、あるいはＦＰＧＡのプロセッサ、ＡＳＩＣの一部として実装され得る。その上、ビデオエンコーダ２００は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路を含み得る。

[0100] ビデオデータメモリ２３０は、ビデオエンコーダ２００の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ２００は、たとえば、ビデオソース１０４（図１）から、ビデオデータメモリ２３０に記憶されたビデオデータを受信し得る。ＤＰＢ２１８は、ビデオエンコーダ２００による後続のビデオデータの予測において使用する参照ビデオデータを記憶する参照ピクチャメモリとして働き得る。ビデオデータメモリ２３０とＤＰＢ２１８とは、同期ＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ２３０とＤＰＢ２１８とは、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ２３０は、図示のように、ビデオエンコーダ２００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。

[0101] 本開示では、ビデオデータメモリ２３０への言及は、特にそのように説明されない限り、ビデオエンコーダ２００の内部のメモリに限定されるものとして解釈されるべきではなく、または特にそのように説明されない限り、ビデオエンコーダ２００の外部のメモリに限定されるものとして解釈されるべきではない。そうではなく、ビデオデータメモリ２３０への言及は、ビデオエンコーダ２００が符号化のために受信するビデオデータ（たとえば、符号化されるべきである現在ブロックのビデオデータ）を記憶する参照メモリとして理解されたい。図１のメモリ１０６はまた、ビデオエンコーダ２００の様々なユニットからの出力の一時的記憶を提供し得る。

[0102] 図３の様々なユニットは、ビデオエンコーダ２００によって実施される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。固定機能回路は、特定の機能を提供する回路を指し、実施され得る動作にプリセットされる。プログラマブル回路は、様々なタスクを実施するように、および実施され得る動作においてフレキシブルな機能を提供するようにプログラムされ得る回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するための）ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、ユニットのうちの１つまたは複数は、集積回路であり得る。

[0103] ビデオエンコーダ２００は、算術論理ユニット（ＡＬＵ）、基本機能ユニット（ＥＦＵ）、デジタル回路、アナログ回路、および／またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオエンコーダ２００の動作が、プログラマブル回路によって実行されるソフトウェアを使用して実施される例では、メモリ１０６（図１）は、ビデオエンコーダ２００が受信し実行するソフトウェアの命令（たとえば、オブジェクトコード）を記憶し得るか、またはビデオエンコーダ２００内の別のメモリ（図示されず）が、そのような命令を記憶し得る。

[0104] ビデオデータメモリ２３０は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ２００は、ビデオデータメモリ２３０からビデオデータのピクチャを取り出し、ビデオデータを残差生成ユニット２０４とモード選択ユニット２０２とに提供し得る。ビデオデータメモリ２３０中のビデオデータは、符号化されるべきである生のビデオデータであり得る。

[0105] モード選択ユニット２０２は、動き推定ユニット２２２と、動き補償ユニット２２４と、イントラ予測ユニット２２６とを含む。モード選択ユニット２０２は、他の予測モードに従ってビデオ予測を実施するための追加の機能ユニットを含み得る。例として、モード選択ユニット２０２は、パレットユニット、（動き推定ユニット２２２および／または動き補償ユニット２２４の一部であり得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。

[0106] モード選択ユニット２０２は、概して、符号化パラメータの組合せと、そのような組合せについての得られたレートひずみ値とをテストするために、複数の符号化パスを協調させる。符号化パラメータは、ＣＵへのＣＴＵの区分、ＣＵの予測モード、ＣＵの残差データの変換タイプ、ＣＵの残差データのための量子化パラメータなどを含み得る。モード選択ユニット２０２は、最終的に、他のテストされた組合せよりも良好であるレートひずみ値を有する符号化パラメータの組合せを選択し得る。

[0107] ビデオエンコーダ２００は、ビデオデータメモリ２３０から取り出されたピクチャを一連のＣＴＵに区分し、１つまたは複数のＣＴＵをスライス内にカプセル化し得る。モード選択ユニット２０２は、上記で説明されたＨＥＶＣのＱＴＢＴ構造またはクワッドツリー構造など、ツリー構造に従ってピクチャのＣＴＵを区分し得る。上記で説明されたように、ビデオエンコーダ２００は、ツリー構造に従ってＣＴＵを区分することから１つまたは複数のＣＵを形成し得る。そのようなＣＵは、一般に「ビデオブロック」または「ブロック」と呼ばれることもある。

[0108] 概して、モード選択ユニット２０２はまた、現在ブロック（たとえば、現在ＣＵ、またはＨＥＶＣでは、ＰＵとＴＵとの重複する部分）についての予測ブロックを生成するように、それの構成要素（たとえば、動き推定ユニット２２２、動き補償ユニット２２４、およびイントラ予測ユニット２２６）を制御する。現在ブロックのインター予測のために、動き推定ユニット２２２は、１つまたは複数の参照ピクチャ（たとえば、ＤＰＢ２１８に記憶されている１つまたは複数の以前のコード化ピクチャ）中で１つまたは複数のぴったり一致する参照ブロックを識別するために動き探索を実施し得る。特に、動き推定ユニット２２２は、たとえば、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）などに従って、現在ブロックに対して潜在的参照ブロックがどのくらい類似しているかを表す値を計算し得る。動き推定ユニット２２２は、概して、現在ブロックと考慮されている参照ブロックとの間のサンプルごとの差分を使用してこれらの計算を実施し得る。動き推定ユニット２２２は、現在ブロックに最もぴったり一致する参照ブロックを示す、これらの計算から得られた最も低い値を有する参照ブロックを識別し得る。

[0109] 動き推定ユニット２２２は、現在ピクチャ中の現在ブロックの位置に対して参照ピクチャ中の参照ブロックの位置を定義する１つまたは複数の動きベクトル（ＭＶ）を形成し得る。動き推定ユニット２２２は、次いで、動きベクトルを動き補償ユニット２２４に提供し得る。たとえば、単方向インター予測では、動き推定ユニット２２２は、単一の動きベクトルを提供し得るが、双方向インター予測では、動き推定ユニット２２２は、２つの動きベクトルを提供し得る。動き補償ユニット２２４は、次いで、動きベクトルを使用して予測ブロックを生成し得る。たとえば、動き補償ユニット２２４は、動きベクトルを使用して参照ブロックのデータを取り出し得る。別の例として、動きベクトルが分数サンプル精度を有する場合、動き補償ユニット２２４は、１つまたは複数の補間フィルタに従って予測ブロックの値を補間し得る。その上、双方向インター予測では、動き補償ユニット２２４は、それぞれの動きベクトルによって識別された２つの参照ブロックについてデータを取り出し、たとえば、サンプルごとの平均化または加重平均化を通して、取り出されたデータを組み合わせ得る。

[0110] 別の例として、イントラ予測、またはイントラ予測コーディングのために、イントラ予測ユニット２２６は、現在ブロックに隣接しているサンプルから予測ブロックを生成し得る。たとえば、方向性モードでは、イントラ予測ユニット２２６は、隣接サンプルの値を概して数学的に組み合わせ、現在ブロックにわたって規定の方向にこれらの計算された値をポピュレートして、予測ブロックを生成し得る。別の例として、ＤＣモードでは、イントラ予測ユニット２２６は、現在ブロックに対する隣接サンプルの平均を計算し、予測ブロックのサンプルごとにこの得られた平均を含むように予測ブロックを生成し得る。

[0111] モード選択ユニット２０２は、予測ブロックを残差生成ユニット２０４に提供する。残差生成ユニット２０４は、ビデオデータメモリ２３０から現在ブロックの生の非コード化バージョンを受信し、モード選択ユニット２０２から予測ブロックを受信する。残差生成ユニット２０４は、現在ブロックと予測ブロックとの間のサンプルごとの差分を計算する。得られたサンプルごとの差分は、現在ブロックの残差ブロックを定義する。いくつかの例では、残差生成ユニット２０４はまた、残差差分パルスコード変調（ＲＤＰＣＭ）を使用して残差ブロックを生成するために、残差ブロック中のサンプル値の間の差分を決定し得る。いくつかの例では、残差生成ユニット２０４は、バイナリ減算を実施する１つまたは複数の減算器回路を使用して形成され得る。

[0112] モード選択ユニット２０２がＣＵをＰＵに区分する例では、各ＰＵは、ルーマ予測ユニットと、対応するクロマ予測ユニットとに関連付けられ得る。ビデオエンコーダ２００とビデオデコーダ３００とは、様々なサイズを有するＰＵをサポートし得る。上記のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指すことがあり、ＰＵのサイズは、ＰＵのルーマ予測ユニットのサイズを指すことがある。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオエンコーダ２００は、イントラ予測のための２Ｎ×２ＮまたはＮ×ＮのＰＵサイズと、インター予測のための２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、または同様のものの対称的ＰＵサイズとをサポートし得る。ビデオエンコーダ２００とビデオデコーダ３００とはまた、インター予測のための２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズの非対称的区分をサポートし得る。

[0113] モード選択ユニット２０２がＣＵをＰＵにさらに区分しない例では、各ＣＵは、ルーマコーディングブロックと、対応するクロマコーディングブロックとに関連付けられ得る。上記のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、２Ｎ×２Ｎ、２Ｎ×Ｎ、またはＮ×２ＮのＣＵサイズをサポートし得る。

[0114] いくつかの例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル（ＬＭ）モードコーディングなど、他のビデオコーディング技法では、モード選択ユニット２０２は、コーディング技法に関連付けられたそれぞれのユニットを介して、符号化されている現在ブロックの予測ブロックを生成する。パレットモードコーディングなど、いくつかの例では、モード選択ユニット２０２は、予測ブロックを生成せず、代わりに、選択されたパレットに基づいてブロックを再構築すべき様式を示すシンタックス要素を生成し得る。そのようなモードでは、モード選択ユニット２０２は、符号化されるためにこれらのシンタックス要素をエントロピー符号化ユニット２２０に提供し得る。

[0115] 上記で説明されたように、残差生成ユニット２０４は、現在ブロックと、対応する予測ブロックとについて、ビデオデータを受信する。残差生成ユニット２０４は、次いで、現在ブロックの残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット２０４は、予測ブロックと現在ブロックとの間のサンプルごとの差分を計算する。

[0116] 変換処理ユニット２０６は、変換係数のブロック（本明細書では「変換係数ブロック」と呼ばれる）を生成するために、残差ブロックに１つまたは複数の変換を適用する。変換処理ユニット２０６は、変換係数ブロックを形成するために、残差ブロックに様々な変換を適用し得る。たとえば、変換処理ユニット２０６は、離散コサイン変換（ＤＣＴ）、方向変換、カルーネンレーベ変換（ＫＬＴ）、または概念的に同様の変換を残差ブロックに適用し得る。いくつかの例では、変換処理ユニット２０６は、複数の変換、たとえば、１次変換および２次変換、たとえば回転変換を残差ブロックに実施し得る。いくつかの例では、変換処理ユニット２０６は、変換を残差ブロックに適用しない。

[0117] 量子化ユニット２０８は、量子化された変換係数ブロックを生成するために、変換係数ブロック中の変換係数を量子化し得る。量子化ユニット２０８は、現在ブロックに関連付けられた量子化パラメータ（ＱＰ）値に従って変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ２００は（たとえば、モード選択ユニット２０２を介して）、ＣＵに関連付けられたＱＰ値を調整することによって、現在ブロックに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。量子化は、情報の損失を導入することがあり、したがって、量子化された変換係数は、変換処理ユニット２０６によって生成された元の変換係数よりも低い精度を有し得る。

[0118] 破線で図３に示されているように、いくつかの例では、変換処理ユニット２０６と量子化ユニット２０８との一方または両方がバイパスされ得る。たとえば、モード選択ユニット２０２は、ブロックが変換スキップモードで符号化されるべきであると決定し得る。変換スキップされたブロックのために、変換処理ユニット２０６の動作はバイパスされ得、量子化ユニット２０８の動作はバイパスされ得る。

[0119] 逆量子化ユニット２１０と逆変換処理ユニット２１２とは、変換係数ブロックから残差ブロックを再構築するために、それぞれ、量子化された変換係数ブロックに逆量子化と逆変換とを適用し得る。１つまたは複数の変換および量子化がスキップされる例では、逆量子化ユニット２１０と逆変換処理ユニット２１２との動作は、破線で示されているように、同様にスキップされ得る。

[0120] 再構築ユニット２１４は、再構築された残差ブロックと、モード選択ユニット２０２によって生成された予測ブロックとに基づいて、（ある程度のひずみを潜在的にもっているものの）現在ブロックに対応する再構築されたブロックを生成し得る。たとえば、再構築ユニット２１４は、再構築されたブロックを生成するために、モード選択ユニット２０２によって生成された予測ブロックからの対応するサンプルに、再構築された残差ブロックのサンプルを加算し得る。

[0121] フィルタユニット２１６は、再構築されたブロックに対して１つまたは複数のフィルタ演算を実施し得る。たとえば、フィルタユニット２１６は、ＣＵのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実施し得る。いくつかの例では、フィルタユニット２１６の動作はスキップされてよい。

[0122] ビデオエンコーダ２００は、再構築されたブロックをＤＰＢ２１８に記憶する。たとえば、フィルタユニット２１６の動作が必要とされない例において、再構築ユニット２１４は、再構築されたブロックをＤＰＢ２１８に記憶し得る。フィルタユニット２１６の動作が必要とされる例では、フィルタユニット２１６は、フィルタ処理された再構築されたブロックをＤＰＢ２１８に記憶し得る。動き推定ユニット２２２と動き補償ユニット２２４とは、後で符号化されるピクチャのブロックをインター予測するために、再構築（および潜在的にフィルタ処理）されたブロックから形成された参照ピクチャをＤＰＢ２１８から取り出し得る。加えて、イントラ予測ユニット２２６は、現在ピクチャ中の他のブロックをイントラ予測するために、現在ピクチャのＤＰＢ２１８中の再構築されたブロックを使用し得る。

[0123] 概して、エントロピー符号化ユニット２２０は、ビデオエンコーダ２００の他の機能構成要素から受信されたシンタックス要素をエントロピー符号化し得る。たとえば、エントロピー符号化ユニット２２０は、量子化ユニット２０８からの量子化された変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット２２０は、モード選択ユニット２０２からの予測シンタックス要素（たとえば、インター予測のための動き情報、またはイントラ予測のためのイントラモード情報）をエントロピー符号化し得る。エントロピー符号化ユニット２２０は、エントロピー符号化データを生成するために、ビデオデータの別の例であるシンタックス要素に対して１つまたは複数のエントロピー符号化演算を実施し得る。たとえば、エントロピー符号化ユニット２２０は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）動作、ＣＡＢＡＣ動作、可変対可変（Ｖ２Ｖ）長コーディング動作、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）動作、確率間隔区分エントロピー（ＰＩＰＥ）コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作をデータに対して実施し得る。いくつかの例では、エントロピー符号化ユニット２２０は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。

[0124] いくつかの例では、変換が実施される場合、エントロピー符号化ユニット２２０は、変換係数コーディング（ＴＲＣＣ）と呼ばれる第１のコーディング方式を使用するように構成され得る。変換がスキップされる場合、エントロピー符号化ユニット２２０は、変換スキップ残差コーディング（ＴＳＲＣ）と呼ばれる第２のコーディング方式を使用するように構成され得る。しかしながら、本開示で説明される例では、変換スキップされたブロックのためにさえ（たとえば、変換がスキップされる場合）、ＴＲＣＣが利用される時間があり得る。

[0125] ＴＲＣＣとＴＳＲＣとの間には様々な差異があり得る。一例として、ＴＲＣＣ方式では、最後の有意値の位置を示す情報がシグナリングされる。ＴＳＲＣ方式では、最後の有意値の位置を示す情報はシグナリングされない。ＴＲＣＣ方式では、残差値のうちの残差値がしきい値よりも大きいかどうかを示すフラグ（たとえば、１よりも大きい、３よりも大きいなどのフラグ）の数は、ＴＳＲＣ方式において残差値のうちの残差値がしきい値よりも大きいかどうかを示すフラグの数とは異なる。別の例として、ＴＲＣＣおよびＴＳＲＣにおける残差ブロックの走査順序は、異なり得る（たとえば、ＴＲＣＣは、最後の残差値から最初の残差値への走査順序であり、ＴＳＲＣは、最初の残差値から最後の残差値への走査順序である）。

[0126] 残差生成ユニット２０４は、変換スキップでコーディングされるべきであるブロックと予測ブロックとの間の差分に基づいて残差情報（たとえば、残差値）を決定し得る。モード選択ユニット２０２は、残差情報に適用すべきコーディング方式のタイプを決定し得る（たとえば、コーディング方式のタイプは、ＴＲＣＣまたはＴＳＲＣのうちの１つである）。エントロピー符号化ユニット２２０は、コーディング方式の決定されたタイプに基づいて残差情報を符号化し得る。エントロピー符号化ユニット２２０はまた、ビデオビットストリーム中に、コーディング方式のタイプを示す１つまたは複数のシンタックス要素（たとえば、ｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ）をシグナリングし得る。いくつかの例では、エントロピー符号化ユニット２２０は、しきい値（たとえば、４）以下である量子化ユニット２０８の量子化パラメータ（ＱＰ）に基づいて、１つまたは複数のシンタックス要素をシグナリングし得る。

[0127] 別の例として、残差生成ユニット２０４は、変換スキップでコーディングされるべきであるブロックと予測ブロックとの間の差分に基づいて残差情報を決定し得る。エントロピー符号化ユニット２２０は、最後の非０位置のコーディングをスキップするＴＲＣＣ方式に基づいて、残差情報を符号化し得る。エントロピー符号化ユニット２２０は、符号化された残差情報をシグナリングし得る。いくつかの例では、エントロピー符号化ユニット２２０は、残差情報の回転バージョンに対してそれの動作を実施し得る。また、いくつかの例では、エントロピー符号化ユニット２２０は、ＴＲＣＣ方式が利用されるという情報をシグナリングするのを回避し得る（たとえば、シグナリングしない）。

[0128] 上記の例示的な技法では、エントロピー符号化ユニット２２０に関して説明されたが、これらの例示的な技法は、そのように限定すると考えられるべきではない。いくつかの例では、モード選択ユニット２０２、またはモード選択ユニット２０２と組み合わせたエントロピー符号化ユニット２２０は、例示的な技法を実施するように構成され得る。その上、いくつかの例では、ビデオエンコーダ２００のユニットの様々な組合せは、例示的な技法を実施するように構成され得る。概して、ビデオエンコーダ２００は、本開示で説明される例示的な技法を実施するように構成され得る。

[0129] ビデオエンコーダ２００は、スライスまたはピクチャのブロックを再構築するために必要とされるエントロピー符号化されたシンタックス要素を含むビットストリームを出力し得る。特に、エントロピー符号化ユニット２２０は、ビットストリームを出力し得る。

[0130] 上記で説明された動作は、ブロックに関して説明されている。そのような説明は、ルーマコーディングブロックおよび／またはクロマコーディングブロックのための動作であるものとして理解されたい。上記で説明されたように、いくつかの例では、ルーマコーディングブロックとクロマコーディングブロックとは、ＣＵのルーマ成分とクロマ成分とである。いくつかの例では、ルーマコーディングブロックとクロマコーディングブロックとは、ＰＵのルーマ成分とクロマ成分とである。

[0131] いくつかの例では、ルーマコーディングブロックに関して実施される動作は、クロマコーディングブロックのために繰り返される必要はない。一例として、ルーマコーディングブロックのための動きベクトル（ＭＶ）と参照ピクチャとを識別するための動作は、クロマブロックのためのＭＶと参照ピクチャとを識別するために繰り返される必要はない。そうではなく、ルーマコーディングブロックのためのＭＶは、クロマブロックのためのＭＶを決定するためにスケーリングされてよく、参照ピクチャは同じであってよい。別の例として、イントラ予測プロセスは、ルーマコーディングブロックとクロマコーディングブロックについて同じであってよい。

[0132] 図４は、本開示の技法を実施し得る例示的なビデオデコーダ３００を示すブロック図である。図４は、説明の目的で提供されており、本開示において広く例示され、説明される技法に対する限定ではない。説明の目的で、本開示では、ＶＶＣと、ＨＥＶＣとの技法に従ってビデオデコーダ３００について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に構成されたビデオコーディングデバイスによって実施され得る。

[0133] 図４の例では、ビデオデコーダ３００は、コード化ピクチャバッファ（ＣＰＢ）メモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、復号ピクチャバッファ（ＤＰＢ）３１４とを含む。ＣＰＢメモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、ＤＰＢ３１４とのいずれかまたはすべては、１つまたは複数のプロセッサ中にあるいは処理回路中に実装され得る。たとえば、ビデオデコーダ３００のユニットは、１つまたは複数の回路または論理要素として、ハードウェア回路の一部として、あるいはＦＰＧＡのプロセッサ、ＡＳＩＣの一部として実装され得る。その上、ビデオデコーダ３００は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路を含み得る。

[0134] 予測処理ユニット３０４は、動き補償ユニット３１６と、イントラ予測ユニット３１８とを含む。予測処理ユニット３０４は、他の予測モードに従って予測を実施するための追加のユニットを含み得る。例として、予測処理ユニット３０４は、パレットユニット、（動き補償ユニット３１６の一部を形成し得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。他の例では、ビデオデコーダ３００は、より多数の、より少数の、または異なる機能構成要素を含み得る。

[0135] ＣＰＢメモリ３２０は、ビデオデコーダ３００の構成要素によって復号されるべき、符号化ビデオビットストリームなどのビデオデータを記憶し得る。ＣＰＢメモリ３２０に記憶されるビデオデータは、たとえば、コンピュータ可読媒体１１０（図１）から取得され得る。ＣＰＢメモリ３２０は、符号化ビデオビットストリームからの符号化ビデオデータ（たとえば、シンタックス要素）を記憶するＣＰＢを含み得る。また、ＣＰＢメモリ３２０は、ビデオデコーダ３００の様々なユニットからの出力を表す一時データなど、コード化ピクチャのシンタックス要素以外のビデオデータを記憶し得る。ＤＰＢ３１４は、概して、ビデオデコーダ３００が符号化ビデオビットストリームの後続のデータまたはピクチャを復号するときに出力しおよび／または参照ビデオデータとして使用し得る復号ピクチャを記憶する。ＣＰＢメモリ３２０とＤＰＢ３１４とは、ＳＤＲＡＭを含むＤＲＡＭ、ＭＲＡＭ、ＲＲＡＭ、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ＣＰＢメモリ３２０とＤＰＢ３１４とは、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ＣＰＢメモリ３２０は、ビデオデコーダ３００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。

[0136] 追加または代替として、いくつかの例では、ビデオデコーダ３００は、メモリ１２０（図１）からコード化ビデオデータを取り出し得る。すなわち、メモリ１２０は、ＣＰＢメモリ３２０を用いて上記で論じられたデータを記憶し得る。同様に、メモリ１２０は、ビデオデコーダ３００の機能の一部または全部が、ビデオデコーダ３００の処理回路によって実行されるべきソフトウェアにおいて実装されたとき、ビデオデコーダ３００によって実行されるべき命令を記憶し得る。

[0137] 図４に示されている様々なユニットは、ビデオデコーダ３００によって実施される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。図３と同様に、固定機能回路は、特定の機能を提供する回路を指し、実施され得る動作にプリセットされる。プログラマブル回路は、様々なタスクを実施するように、および実施され得る動作においてフレキシブルな機能を提供するようにプログラムされ得る回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するための）ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、ユニットのうちの１つまたは複数は、集積回路であり得る。

[0138] ビデオデコーダ３００は、ＡＬＵ、ＥＦＵ、デジタル回路、アナログ回路、および／またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオデコーダ３００の動作が、プログラマブル回路上で実行されるソフトウェアによって実施される例では、オンチップまたはオフチップメモリは、ビデオデコーダ３００が受信し実行するソフトウェアの命令（たとえば、オブジェクトコード）を記憶し得る。

[0139] エントロピー復号ユニット３０２は、ＣＰＢから符号化ビデオデータを受信し、ビデオデータをエントロピー復号してシンタックス要素を再生し得る。予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２とは、ビットストリームから抽出されたシンタックス要素に基づいて復号ビデオデータを生成し得る。

[0140] 概して、ビデオデコーダ３００は、ブロックごとにピクチャを再構築する。ビデオデコーダ３００は、各ブロックに対して個々に再構築演算を実施し得る（ここで、現在再構築されているブロック、すなわち、現在復号されているブロックは、「現在ブロック」と呼ばれることがある）。

[0141] エントロピー復号ユニット３０２は、量子化された変換係数ブロックの量子化された変換係数を定義するシンタックス要素、ならびに量子化パラメータ（ＱＰ）および／または変換モードインジケーションなどの変換情報をエントロピー復号し得る。逆量子化ユニット３０６は、量子化の程度と、同様に、逆量子化ユニット３０６が適用すべき逆量子化の程度とを決定するために、量子化された変換係数ブロックに関連するＱＰを使用し得る。逆量子化ユニット３０６は、量子化された変換係数を逆量子化するために、たとえば、ビット単位の左シフト演算を実施し得る。逆量子化ユニット３０６は、それにより、変換係数を含む変換係数ブロックを形成し得る。

[0142] 逆量子化ユニット３０６が変換係数ブロックを形成した後に、逆変換処理ユニット３０８は、現在ブロックに関連する残差ブロックを生成するために、変換係数ブロックに１つまたは複数の逆変換を適用し得る。たとえば、逆変換処理ユニット３０８は、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ）、逆回転変換、逆方向変換、または別の逆変換を変換係数ブロックに適用し得る。

[0143] 破線で図４に示されているように、いくつかの例では、逆量子化ユニット３０６と逆変換処理ユニット３０８との一方または両方がバイパスされ得る。たとえば、予測処理ユニット３０４は、ブロックが変換スキップモードでコーディングされるという情報を受信し得る。予測処理ユニット３０４は、次いで、逆変換処理ユニット３０８の動作をバイパスさせ、いくつかの例では、逆量子化ユニット３０６の動作をバイパスさせ得る。

[0144] １つまたは複数の例では、予測処理ユニット３０４は、変換スキップでコーディングされたブロックの残差情報に適用されるコーディング方式のタイプを示す（たとえば、コーディング方式のタイプは、ＴＲＣＣ方式またはＴＳＲＣ方式のうちの１つであり得る）１つまたは複数のシンタックス要素（たとえば、スライスヘッダ中のｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ）を受信し得る。上記で説明されたように、ＴＲＣＣとＴＳＲＣとの間には様々な差異があり得る。一例として、ＴＲＣＣ方式では、最後の有意値の位置を示す情報がパースされる。ＴＳＲＣ方式では、最後の有意値の位置を示す情報はパースされない。ＴＲＣＣ方式では、残差値のうちの残差値がしきい値よりも大きいかどうかを示すフラグ（たとえば、１よりも大きい、３よりも大きいなどのフラグ）の数は、ＴＳＲＣ方式において残差値のうちの残差値がしきい値よりも大きいかどうかを示すフラグの数とは異なる。別の例として、ＴＲＣＣおよびＴＳＲＣにおける残差ブロックの走査順序は、異なり得る（たとえば、ＴＲＣＣは、最後の残差値から最初の残差値への走査順序であり、ＴＳＲＣは、最初の残差値から最後の残差値への走査順序である）。

[0145] 残差値は、ブロックと予測ブロックとの間の差分を示す。予測処理ユニット３０４は、コーディング方式のタイプに基づいて残差値を決定し得る。いくつかの例では、予測処理ユニット３０４は、しきい値（たとえば、４）以下である量子化パラメータ（ＱＰ）に基づいて、１つまたは複数のシンタックス要素を受信し得る。

[0146] 別の例として、予測処理ユニット３０４は、変換スキップでコーディングされたブロックの残差情報を決定し得、ここで、残差情報を決定することは、最後の非０位置のコーディングをスキップする変換係数コーディング（ＴＲＣＣ）方式を利用して残差情報を決定することを含む。いくつかの例では、予測処理ユニット３０４は、ブロックを再構築することより前に、決定された残差情報を回転させ得る。予測処理ユニット３０４は、ＴＲＣＣ方式が利用されるべきであるという情報を受信することなしにＴＲＣＣ方式を利用して残差情報を決定し得る。

[0147] 上記の例示的な技法では予測処理ユニット３０４に関して説明されたが、これらの例示的な技法は、そのように限定すると考えられるべきではない。いくつかの例では、エントロピー復号ユニット３０２、または予測処理ユニット３０４と組み合わせたエントロピー復号ユニット３０２は、例示的な技法を実施するように構成され得る。その上、いくつかの例では、ビデオデコーダ３００のユニットの様々な組合せは、例示的な技法を実施するように構成され得る。概して、ビデオデコーダ３００は、本開示で説明される例示的な技法を実施するように構成され得る。

[0148] さらに、予測処理ユニット３０４は、エントロピー復号ユニット３０２によってエントロピー復号された予測情報シンタックス要素に従って予測ブロックを生成する。たとえば、予測情報シンタックス要素が、現在ブロックがインター予測されることを示す場合、動き補償ユニット３１６は、予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、参照ブロックをそれから取り出すべきＤＰＢ３１４中の参照ピクチャ、ならびに現在ピクチャ中の現在ブロックのロケーションに対して参照ピクチャ中の参照ブロックのロケーションを識別する動きベクトルを示し得る。動き補償ユニット３１６は、概して、動き補償ユニット２２４（図３）に関して説明されたのと実質的に同様である様式でインター予測プロセスを実施し得る。

[0149] 別の例として、予測情報シンタックス要素が、現在ブロックがイントラ予測されることを示す場合、イントラ予測ユニット３１８は、予測情報シンタックス要素によって示されるイントラ予測モードに従って予測ブロックを生成し得る。この場合も、イントラ予測ユニット３１８は、概して、イントラ予測ユニット２２６（図３）に関して説明されたのと実質的に同様である様式でイントラ予測プロセスを実施し得る。イントラ予測ユニット３１８は、ＤＰＢ３１４から、現在ブロックに対する隣接サンプルのデータを取り出し得る。

[0150] 再構築ユニット３１０は、予測ブロックと残差ブロックとを使用して現在ブロックを再構築し得る。たとえば、再構築ユニット３１０は、現在ブロックを再構築するために、予測ブロックの対応するサンプルに残差ブロックのサンプルを加算し得る。

[0151] フィルタユニット３１２は、再構築されたブロックに対して１つまたは複数のフィルタ演算を実施し得る。たとえば、フィルタユニット３１２は、再構築されたブロックのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実施し得る。フィルタユニット３１２の動作は、すべての例において必ずしも実施されるとは限らない。

[0152] ビデオデコーダ３００は、再構築されたブロックをＤＰＢ３１４に記憶し得る。たとえば、フィルタユニット３１２の動作が実施されない例において、再構築ユニット３１０は、再構築されたブロックをＤＰＢ３１４に記憶し得る。フィルタユニット３１２の動作が実施される例では、フィルタユニット３１２は、フィルタ処理された再構築されたブロックをＤＰＢ３１４に記憶し得る。上記で論じられたように、ＤＰＢ３１４は、イントラ予測のための現在ピクチャのサンプルおよび後続の動き補償のための以前に復号されたピクチャなど、参照情報を予測処理ユニット３０４に提供し得る。その上、ビデオデコーダ３００は、ＤＰＢ３１４からの復号ピクチャ（たとえば、復号ビデオ）を、後続のプレゼンテーションのために、図１のディスプレイデバイス１１８などのディスプレイデバイス上に出力し得る。たとえば、ディスプレイデバイス１１８は、再構築されたブロックを含むピクチャを表示し得る。

[0153] 図５は、現在ブロックを符号化するための例示的な方法を示すフローチャートである。現在ブロックは現在ＣＵを備え得る。ビデオエンコーダ２００（図１および図３）の処理回路に関して説明されるが、他のデバイスが図５の方法と同様の方法を実施するように構成され得ることを理解されたい。

[0154] ビデオエンコーダ２００の処理回路は、変換スキップでコーディングされるべきであるブロックと予測ブロックとの間の差分に基づいて残差値を決定し得る（３５０）。変換スキップにおいて、残差値は、サンプルドメインから周波数ドメインに変換されない。たとえば、変換処理ユニット２０６の動作はバイパスされ得る。

[0155] ビデオエンコーダ２００の処理回路は、残差値に適用するために、コーディング方式の第１のタイプとコーディング方式の第２のタイプとの間でコーディング方式のタイプを決定し得る（３５２）。一例として、コーディング方式の第１のタイプは、変換係数コーディング（ＴＲＣＣ）方式であり、コーディング方式の第２のタイプは、変換スキップ残差コーディング（ＴＳＲＣ）方式である。ビデオエンコーダ２００は、どのコーディング方式がビデオ圧縮とのバランスがとれた良好なビデオ品質を提供するかを示すレートひずみ分析に基づいて、コーディング方式のタイプを決定し得る。

[0156] ＴＲＣＣ方式では、最後の有意値の位置を示す情報はシグナリングされるが、ＴＳＲＣ方式では、最後の有意値の位置を示す情報はシグナリングされない。ＴＲＣＣ方式では、残差値のうちの残差値がしきい値よりも大きいかどうかを示すフラグ（たとえば、１よりも大きい、３よりも大きいなどのフラグ）の数は、ＴＳＲＣ方式において残差値のうちの残差値がしきい値よりも大きいかどうかを示すフラグの数とは異なる。ＴＲＣＣおよびＴＳＲＣにおける残差ブロックの走査順序は、異なり得る（たとえば、ＴＲＣＣは、最後の残差値から最初の残差値への走査順序であり、ＴＳＲＣは、最初の残差値から最後の残差値への走査順序である）。上記は、ＴＲＣＣおよびＴＳＲＣが異なるコーディング方式であるいくつかの例示的な仕方であり、例示的な仕方は、網羅的であると考えられるべきではない、またはすべての場合において要求されるべきではない。

[0157] ビデオエンコーダ２００の処理回路は、コーディング方式の決定されたタイプに基づいて残差値を符号化し得る（３５４）。たとえば、ＴＳＲＣが、コーディング方式の決定されたタイプである場合、処理回路は、最後の有意値の位置をシグナリングしなくてよく、ＴＳＲＣに従ってしきい値よりも大きいフラグをシグナリングし得、最初から最後へと走査し得る。ＴＲＣＣが、コーディング方式の決定されたタイプである場合、処理回路は、最後の有意値の位置をシグナリングし得、ＴＲＣＣに従ってしきい値よりも大きいフラグをシグナリングし得、最後から最初へと走査し得る。

[0158] ビデオエンコーダ２００の処理回路は、ビデオビットストリーム中に、残差値にコーディング方式の第１のタイプが適用されるかコーディング方式の第２のタイプが適用されるかを示す１つまたは複数のシンタックス要素をシグナリングし得る（３５６）。たとえば、処理回路は、残差値にＴＲＣＣ方式が適用されるかＴＳＲＣ方式が適用されるかを示すために、スライスヘッダ中でｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇをシグナリングし得る。

[0159] 図６は、区分ツリータイプに従って区分される残差ブロックを有するデータの現在ブロックを復号するための例示的な方法を示すフローチャートである。現在ブロックは現在ＣＵを備え得る。ビデオデコーダ３００（図１および図４）の処理回路に関して説明されるが、他のデバイスが図６の方法と同様の方法を実施するように構成され得ることを理解されたい。

[0160] ビデオデコーダ３００の処理回路は、変換スキップでコーディングされたブロックの残差値にコーディング方式の第１のタイプが適用されるかコーディング方式の第２のタイプが適用されるかを示すビデオデータの１つまたは複数のシンタックス要素を、ビデオビットストリームから受信し得る（３７０）。残差値は、ブロックと予測ブロックとの間の差分を示し、変換スキップにおいて、残差値は、サンプルドメインから周波数ドメインに変換されない。すなわち、残差値は、すでにサンプルドメイン中にある。

[0161] 一例として、１つまたは複数のシンタックス要素を受信するために、ビデオデコーダ３００の処理回路は、変換スキップでコーディングされたブロックの残差値にコーディング方式の第１のタイプが適用されるかコーディング方式の第２のタイプが適用されるかを示すスライスヘッダ中のフラグ（たとえば、ｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ）を受信し得る。いくつかの例では、ビデオデコーダ３００の処理回路は、変換スキップが有効にされるかどうかを示す第１のフラグ（たとえば、ｓｐｓ＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）を受信し得る。１つまたは複数のシンタックス要素を受信するために、ビデオデコーダ３００の処理回路は、変換スキップが有効にされることを示す第１のフラグに基づいてコーディング方式の第１のタイプが適用されるかコーディング方式の第２のタイプが適用されるかを示すスライスヘッダ中の第２のフラグ（たとえば、ｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ）をパースし得る。

[0162] いくつかの例では、コーディング方式の第１のタイプは、変換係数コーディング（ＴＲＣＣ）方式であり、コーディング方式の第２のタイプは、変換スキップ残差コーディング（ＴＳＲＣ）方式である。ＴＲＣＣ方式では、最後の有意値の位置を示す情報はパースされるが、ＴＳＲＣ方式では、最後の有意値の位置を示す情報はパースされない。ＴＲＣＣ方式では、残差値のうちの残差値がしきい値よりも大きいかどうかを示すフラグ（たとえば、１よりも大きい、３よりも大きいなどのフラグ）の数は、ＴＳＲＣ方式において残差値のうちの残差値がしきい値よりも大きいかどうかを示すフラグの数とは異なる。ＴＲＣＣおよびＴＳＲＣにおける残差ブロックの走査順序は、異なり得る（たとえば、ＴＲＣＣは、最後の残差値から最初の残差値への走査順序であり、ＴＳＲＣは、最初の残差値から最後の残差値への走査順序である）。

[0163] ビデオデコーダ３００の処理回路は、１つまたは複数のシンタックス要素に基づいて、残差値に適用すべきコーディング方式のタイプを決定し得る（３７２）。たとえば、ｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇが真である場合、ビデオデコーダ３００の処理回路は、ＴＲＣＣが有効にされると決定し得る。ｓｈ＿ｔｓ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇが偽である場合、ビデオデコーダ３００の処理回路は、ＴＳＲＣが有効にされると決定し得る。

[0164] ビデオデコーダ３００の処理回路は、コーディング方式の決定されたタイプに基づいて残差値を決定し得る（３７４）。たとえば、ＴＳＲＣが、コーディング方式の決定されたタイプである場合、処理回路は、最後の有意値の位置をパースしなくてよく、ＴＳＲＣに従ってしきい値よりも大きいフラグをパースし得、最初から最後へと走査し得る。ＴＲＣＣが、コーディング方式の決定されたタイプである場合、処理回路は、最後の有意値の位置をパースし得、ＴＲＣＣに従ってしきい値よりも大きいフラグをパースし得、最後から最初へと走査し得る。また、ブロックが変換スキップでコーディングされたので、残差値を決定するために、ビデオデコーダ３００の処理回路は、残差値に逆変換を適用することなしに残差値を決定し得る。

[0165] ビデオデコーダ３００の処理回路は、決定された残差値と予測ブロックとに基づいてブロックを再構築し得る（３７６）。ビデオデコーダ３００の処理回路は、ブロックを再構築するために、予測ブロックに残差値を加算し得る。

[0166] 以下は、別々にまたは組合せで実施され得る１つまたは複数の例示的な技法である。

[0167] 例１。ビデオデータを復号する方法であって、変換スキップでコーディングされたブロックの残差情報に適用されるコーディング方式のタイプを示す１つまたは複数のシンタックス要素を受信することと、ここにおいて、残差情報が、ブロックと予測ブロックとの間の差分を示す、コーディング方式のタイプに基づいて残差情報を決定することと、決定された残差情報と予測ブロックとに基づいてブロックを再構築することとを備える、方法。

[0168] 例２。ビデオデータを符号化する方法であって、変換スキップでコーディングされるべきであるブロックと予測ブロックとの間の差分に基づいて残差情報を決定することと、残差情報に適用すべきコーディング方式のタイプを決定することと、コーディング方式の決定されたタイプに基づいて残差情報を符号化することと、コーディング方式のタイプを示す１つまたは複数のシンタックス要素をシグナリングすることとを備える、方法。

[0169] 例３。コーディング方式のタイプが、変換係数コーディング（ＴＲＣＣ）方式または変換スキップ残差コーディング（ＴＳＲＣ）のうちの１つを備える、例１および２のいずれかの方法。

[0170] 例４。残差情報を決定することが、残差情報に変換または逆変換を適用することなしに残差情報を決定することを備える、例１～３のいずれかの方法。

[0171] 例５。１つまたは複数のシンタックス要素を受信することが、しきい値以下である量子化パラメータ（ＱＰ）に基づいて１つまたは複数のシンタックス要素を受信することを備える、例１、３、および４のいずれかの方法。

[0172] 例６。コーディング方式のタイプを示す１つまたは複数のシンタックス要素をシグナリングすることが、しきい値以下である量子化パラメータ（ＱＰ）に基づいて１つまたは複数のシンタックス要素をシグナリングすることを備える、例２～４のいずれかの方法。

[0173] 例７。しきい値が４である、例５および６のいずれかの方法。

[0174] 例８。ビデオデータを復号する方法であって、変換スキップでコーディングされたブロックの残差情報を決定することと、ここにおいて、残差情報を決定することが、最後の非０位置のコーディングをスキップする変換係数コーディング（ＴＲＣＣ）方式を利用して残差情報を決定することを備え、およびここにおいて、残差情報が、ブロックと予測ブロックとの間の差分を示す、残差情報と予測ブロックとに基づいてブロックを再構築することとを備える、方法。

[0175] 例９。ビデオデータを符号化する方法であって、変換スキップでコーディングされたブロックの残差情報を決定することと、ここにおいて、残差情報が、ブロックと予測ブロックとの間の差分を示す、最後の非０位置のコーディングをスキップする変換係数コーディング（ＴＲＣＣ）方式に基づいて残差情報を符号化することと、符号化された残差情報をシグナリングすることとを備える、方法。

[0176] 例１０。ブロックを再構築することより前に、決定された残差情報を回転させることをさらに備える、例９の方法。

[0177] 例１１。残差情報を符号化することより前に、残差情報を回転させることをさらに備える、例９の方法。

[0178] 例１２。回転させることが、１８０度だけ回転させることを備える、例８および９のいずれかの方法。

[0179] 例１３。ＴＲＣＣ方式を利用して残差情報を決定することは、ＴＲＣＣ方式が利用されるべきであるという情報を受信することなしにＴＲＣＣ方式を利用して残差情報を決定することを備える、例８、１０、および１２のいずれかの方法。

[0180] 例１４。ＴＲＣＣ方式が利用されるという情報のシグナリングを回避することをさらに備える、例９、１１、および１２のいずれかの方法。

[0181] 例１５。例１、３～５、７、８、１０、１２、および１３のいずれか１つまたは組合せを備える方法。

[0182] 例１６。例２～４、６、７、９、１１、１２、および１４のいずれか１つまたは組合せを備える方法。

[0183] 例１７。ビデオデータを復号するためのデバイスであって、ビデオデータを記憶するように構成されたメモリと、例１５の方法を実施するように構成された処理回路とを備える、デバイス。

[0184] 例１８。ビデオデータを符号化するためのデバイスであって、ビデオデータを記憶するように構成されたメモリと、例１６の方法を実施するように構成された処理回路とを備える、デバイス。

[0185] 例１９。復号されたビデオデータを表示するように構成されたディスプレイをさらに備える、例１７および１８のいずれかのデバイス。

[0186] 例２０。デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、セットトップボックス、またはワイヤレス通信デバイスのうちの１つまたは複数を備える、例１７～１９のいずれかのデバイス。

[0187] 例２１。処理回路がビデオデコーダを備える、例１７、１９、および２０のいずれかのデバイス。

[0188] 例２２。処理回路がビデオエンコーダを備える、例１８～２０のいずれかのデバイス。

[0189] 例２３。実行されたとき、１つまたは複数のプロセッサに、例１５または１６のいずれかの方法を実施させる命令を記憶したコンピュータ可読記憶媒体。

[0190] 例２４。ビデオデータをコーディングするためのデバイスであって、例１５または１６のいずれかの方法を実施するための手段を備える、デバイス。

[0191] 上記例に応じて、本明細書で説明された技法のいずれかのいくつかの行為またはイベントは、異なるシーケンスで実施され得、追加、マージ、または完全に除外され得る（たとえば、すべての説明された行為またはイベントが本技法の実践のために必要であるとは限らない）ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して同時に実施され得る。

[0192] １つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応する、コンピュータ可読記憶媒体を含み得るか、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を促進する任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的な有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示において説明された技法の実装のための命令、コードおよび／またはデータ構造を取り出すために、１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。

[0193] 限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ－ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含むのではなく、代わりに、非一時的な有形の記憶媒体を対象とすることを理解されたい。本明細書において使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ－ｒａｙ（登録商標）ディスク（disc）を含み、ここで、ディスク（disk）は通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

[0194] 命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、あるいは他の等価な集積回路またはディスクリート論理回路など、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書において使用される「プロセッサ」および「処理回路」という用語は、前述の構造、または本明細書において説明された技法の実装に好適な任意の他の構造のいずれかを指し得る。加えて、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用ハードウェアおよび／またはソフトウェアモジュール内に提供されるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素において十分に実装され得る。

[0195] 本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示される技法を実施するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明されたが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。そうではなく、上記で説明されたように、様々なユニットは、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明された１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わされるか、または相互動作可能なハードウェアユニットの集合によって提供され得る。

[0196] 様々な例について説明された。これらおよび他の例は、以下の特許請求の範囲内に入る。

Claims (24)

1. ビデオデータを復号する方法であって、
   変換スキップでコーディングされたビデオデータのブロックの残差値にコーディング方式の第１のタイプが適用されるかコーディング方式の第２のタイプが適用されるかを示す前記ビデオデータの１つまたは複数のシンタックス要素を、ビデオビットストリームから受信することと、ここにおいて、前記残差値が、前記ブロックと予測ブロックとの間の差分を示し、およびここにおいて、変換スキップにおいて、前記残差値が、サンプルドメインから周波数ドメインに変換されない、
   前記１つまたは複数のシンタックス要素に基づいて、前記残差値に適用すべきコーディング方式のタイプを決定することと、
   コーディング方式の前記決定されたタイプに基づいて前記残差値を決定することと、
   前記決定された残差値と前記予測ブロックとに基づいて前記ブロックを再構築することと
   を備える、方法。
2. コーディング方式の前記第１のタイプが、変換係数コーディング（ＴＲＣＣ）方式であり、コーディング方式の前記第２のタイプが、変換スキップ残差コーディング（ＴＳＲＣ）方式である、請求項１に記載の方法。
3. 前記ＴＲＣＣ方式では、最後の有意値の位置を示す情報がパースされ、前記ＴＳＲＣ方式では、前記最後の有意値の前記位置を示す情報がパースされない、請求項２に記載の方法。
4. 前記ＴＲＣＣ方式において、前記残差値のうちの残差値がしきい値よりも大きいかどうかを示すフラグの数が、前記ＴＳＲＣ方式において前記残差値のうちの前記残差値が前記しきい値よりも大きいかどうかを示すフラグの数とは異なる、請求項２に記載の方法。
5. 前記残差値を決定することが、前記残差値に逆変換を適用することなしに前記残差値を決定することを備える、請求項１に記載の方法。
6. 前記１つまたは複数のシンタックス要素を受信することは、変換スキップでコーディングされた前記ブロックの前記残差値にコーディング方式の前記第１のタイプが適用されるかコーディング方式の前記第２のタイプが適用されるかを示すスライスヘッダ中のフラグを受信することを備える、請求項１に記載の方法。
7. 変換スキップが有効にされるかどうかを示す第１のフラグを受信することをさらに備え、
   ここにおいて、前記１つまたは複数のシンタックス要素を受信することは、変換スキップが有効にされることを示す前記第１のフラグに基づいてコーディング方式の前記第１のタイプが適用されるかコーディング方式の前記第２のタイプが適用されるかを示すスライスヘッダ中の第２のフラグをパースすることを備える、
   請求項１に記載の方法。
8. 前記１つまたは複数のシンタックス要素を受信することが、しきい値以下である量子化パラメータ（ＱＰ）に基づいて前記１つまたは複数のシンタックス要素を受信することを備える、請求項１に記載の方法。
9. ビデオデータを符号化する方法であって、
   変換スキップでコーディングされるべきであるビデオデータのブロックと予測ブロックとの間の差分に基づいて残差値を決定することと、ここにおいて、変換スキップにおいて、前記残差値が、サンプルドメインから周波数ドメインに変換されない、
   前記残差値に適用するために、コーディング方式の第１のタイプとコーディング方式の第２のタイプとの間でコーディング方式のタイプを決定することと、
   コーディング方式の前記決定されたタイプに基づいて前記残差値を符号化することと、
   ビデオビットストリーム中に、前記残差値にコーディング方式の前記第１のタイプが適用されるかコーディング方式の前記第２のタイプが適用されるかを示す前記ビデオデータの１つまたは複数のシンタックス要素をシグナリングすることと
   を備える、方法。
10. コーディング方式の前記第１のタイプが、変換係数コーディング（ＴＲＣＣ）方式であり、コーディング方式の前記第２のタイプが、変換スキップ残差コーディング（ＴＳＲＣ）方式である、請求項９に記載の方法。
11. 前記１つまたは複数のシンタックス要素をシグナリングすることは、前記残差値にコーディング方式の前記第１のタイプが適用されるかコーディング方式の前記第２のタイプが適用されるかを示すスライスヘッダ中のフラグをシグナリングすることを備える、請求項９に記載の方法。
12. 前記１つまたは複数のシンタックス要素をシグナリングすることが、しきい値以下である量子化パラメータ（ＱＰ）に基づいて前記１つまたは複数のシンタックス要素をシグナリングすることを備える、請求項９に記載の方法。
13. ビデオデータを復号するためのデバイスであって、
    ビデオデータを記憶するように構成されたメモリと、
    前記メモリに結合された処理回路とを備え、前記処理回路は、
    変換スキップでコーディングされたビデオデータのブロックの残差値にコーディング方式の第１のタイプが適用されるかコーディング方式の第２のタイプが適用されるかを示す前記ビデオデータの１つまたは複数のシンタックス要素を、ビデオビットストリームから受信することと、ここにおいて、前記残差値が、前記ブロックと予測ブロックとの間の差分を示し、およびここにおいて、変換スキップにおいて、前記残差値が、サンプルドメインから周波数ドメインに変換されない、
    前記１つまたは複数のシンタックス要素に基づいて、前記残差値に適用すべきコーディング方式のタイプを決定することと、
    コーディング方式の前記決定されたタイプに基づいて前記残差値を決定することと、
    前記決定された残差値と前記予測ブロックとに基づいて前記ブロックを再構築することと
    を行うように構成された、デバイス。
14. コーディング方式の前記第１のタイプが、変換係数コーディング（ＴＲＣＣ）方式であり、コーディング方式の前記第２のタイプが、変換スキップ残差コーディング（ＴＳＲＣ）方式である、請求項１３に記載のデバイス。
15. 前記ＴＲＣＣ方式では、最後の有意値の位置を示す情報がパースされ、前記ＴＳＲＣ方式では、前記最後の有意値の前記位置を示す情報がパースされない、請求項１４に記載のデバイス。
16. 前記ＴＲＣＣ方式において、前記残差値のうちの残差値がしきい値よりも大きいかどうかを示すフラグの数が、前記ＴＳＲＣ方式において前記残差値のうちの前記残差値が前記しきい値よりも大きいかどうかを示すフラグの数とは異なる、請求項１４に記載のデバイス。
17. 前記残差値を決定するために、前記処理回路が、前記残差値に逆変換を適用することなしに前記残差値を決定するように構成された、請求項１３に記載のデバイス。
18. 前記１つまたは複数のシンタックス要素を受信するために、前記処理回路は、変換スキップでコーディングされた前記ブロックの前記残差値にコーディング方式の前記第１のタイプが適用されるかコーディング方式の前記第２のタイプが適用されるかを示すスライスヘッダ中のフラグを受信するように構成された、請求項１３に記載のデバイス。
19. 前記処理回路は、
    変換スキップが有効にされるかどうかを示す第１のフラグを受信するように構成され、
    ここにおいて、前記１つまたは複数のシンタックス要素を受信するために、前記処理回路は、変換スキップが有効にされることを示す前記第１のフラグに基づいてコーディング方式の前記第１のタイプが適用されるかコーディング方式の前記第２のタイプが適用されるかを示すスライスヘッダ中の第２のフラグをパースするように構成された、
    請求項１３に記載のデバイス。
20. 前記１つまたは複数のシンタックス要素を受信するために、前記処理回路が、しきい値以下である量子化パラメータ（ＱＰ）に基づいて前記１つまたは複数のシンタックス要素を受信するように構成された、請求項１３に記載のデバイス。
21. 前記再構築されたブロックを含むピクチャを表示するように構成されたディスプレイをさらに備える、請求項１３に記載のデバイス。
22. 前記デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、セットトップボックス、またはワイヤレス通信デバイスのうちの１つまたは複数を備える、請求項１３に記載のデバイス。
23. 命令を記憶したコンピュータ可読記憶媒体であって、前記命令は、実行されたとき、１つまたは複数のプロセッサに、
    変換スキップでコーディングされたビデオデータのブロックの残差値にコーディング方式の第１のタイプが適用されるかコーディング方式の第２のタイプが適用されるかを示す前記ビデオデータの１つまたは複数のシンタックス要素を、ビデオビットストリームから受信することと、ここにおいて、前記残差値が、前記ブロックと予測ブロックとの間の差分を示し、およびここにおいて、変換スキップにおいて、前記残差値が、サンプルドメインから周波数ドメインに変換されない、
    前記１つまたは複数のシンタックス要素に基づいて、前記残差値に適用すべきコーディング方式のタイプを決定することと、
    コーディング方式の前記決定されたタイプに基づいて前記残差値を決定することと、
    前記決定された残差値と前記予測ブロックとに基づいて前記ブロックを再構築することと
    を行わせる、コンピュータ可読記憶媒体。
24. ビデオデータを復号するためのデバイスであって、
    変換スキップでコーディングされたブロックの残差値にコーディング方式の第１のタイプが適用されるかコーディング方式の第２のタイプが適用されるかを示す前記ビデオデータの１つまたは複数のシンタックス要素を受信するための手段と、ここにおいて、前記残差値が、前記ブロックと予測ブロックとの間の差分を示し、およびここにおいて、変換スキップにおいて、前記残差値が、サンプルドメインから周波数ドメインに変換されない、
    前記１つまたは複数のシンタックス要素に基づいて、前記残差値に適用すべきコーディング方式のタイプを決定するための手段と、
    コーディング方式の前記決定されたタイプに基づいて前記残差値を決定するための手段と、
    前記決定された残差値と前記予測ブロックとに基づいて前記ブロックを再構築するための手段と
    を備える、デバイス。

Images