JP2022549312A - コンテキストコード化ｂｉｎ（ｃｃｂ）カウント方法の統合 - Google Patents

Abstract

一実施形態では、ＣＣＢカウント方法は、変換残差コーディングプロセスおよび変換スキップ（ＴＳ）残差コーディングプロセスの間で統合される。一例では、ＴＳ残差コーディングにおいて、ＣＣＢカウントに使用されるシンタックスが２つの残差コーディングプロセスについて統合されるようにＣＣＢカウントはｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇを除外する。また、コンテキストコード化ｂｉｎの別個の最大数は、ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇのみのために特定されて使用され得る。別の例では、ＴＳ残差コーディングにおいて、ＣＣＢカウントの最大数は、ＴＢについてＴＢ＿ｓｉｚｅ＊２からＴＢ＿ｓｉｚｅ＊１．７５に減少し、またはより一般的には変換残差コーディングおよびＴＳ残差コーディングの両方は同じ値に設定されて、最大ＣＣＢカウントが２つの残差コーディングプロセスについて統合される。

Description

本実施形態は、一般に、残差変換モード（transform residual mode）および残差変換スキップモード（transform skip residual mode）のためのコンテキストコード化ｂｉｎ（ＣＣＢ：context-coded bins）スキームを統合することに関する。

高い圧縮効率を達成するために、画像およびビデオコーディングスキームは、通常、予測および変換を使用して、ビデオコンテンツにおける空間的および時間的冗長性を利用する。一般に、イントラ予測またはインター予測は、フレーム内画像相関またはフレーム間画像相関を利用するために使用され、次いで、予測エラーまたは予測残差としてしばしば示される元のブロックと予測ブロックとの間の差は、変換、量子化、およびエントロピー符号化される。ビデオを再構成するために、圧縮されたデータは、エントロピー符号化、量子化、変換、および予測に対応する逆処理によって復号される。

"Algorithm description for Versatile Video Coding and Test Model 6 (VTM 6)," Document JVET-O2002, 15th Meeting: Gothenburg, SE, 3-12 Jul. 2019

一実施形態によれば、ビデオ符号化の方法が提供される。この方法は、画像内の符号化されることになるブロックについての予測残差を取得することと、前記ブロックの予測残差を符号化するために使用されるコンテキストコード化ｂｉｎの数をカウントすることであって、前記ブロックの前記予測残差は、変換残差符号化プロセスおよび変換スキップ残差符号化プロセスの１つを使用して符号化されることになり、前記変換残差符号化プロセスおよび前記変換スキップ残差符号化プロセスは、前記コンテキストコード化ｂｉｎの数を制限するために同じ限度を使用する、ことと、前記限度および前記コンテキストコード化ｂｉｎの数に応じて、変換残差符号化プロセスおよび変換スキップ残差符号化プロセスの１つにおいて１つまたは複数のシンタックス要素のエントロピー符号化方法を調整することを備える。

別の実施形態によれば、ビデオ復号の方法が提供される。この方法は、ブロックの予測残差を復号するために使用されるコンテキストコード化ｂｉｎの数をカウントすることであって、前記ブロックの前記予測残差は、変換残差復号プロセスおよび変換スキップ残差復号プロセスの１つを使用して復号されることになり、前記変換残差復号プロセスおよび前記変換スキップ残差復号プロセスは、前記コンテキストコード化ｂｉｎの数を制限するために同じ限度を使用する、ことと、前記限度および前記コンテキストコード化ｂｉｎの数に応じて、変換残差復号プロセスおよび変換スキップ残差復号プロセスの１つにおいて１つまたは複数のシンタックス要素のエントロピー復号方法を調整することと、画像内の復号されることになるブロックの予測残差を取得することを備える。

別の実施形態によれば、１つまたは複数のプロセッサを備えるビデオ符号化のための装置が提供される。１つまたは複数のプロセッサは、画像内の符号化されることになるブロックについての予測残差を取得することと、ブロックの予測残差を符号化するために使用されるコンテキストコード化ｂｉｎの数をカウントすることであって、前記ブロックの前記予測残差は、変換残差符号化プロセスおよび変換スキップ残差符号化プロセスの１つを使用して符号化されることになり、前記変換残差符号化プロセスおよび前記変換スキップ残差符号化プロセスは、前記コンテキストコード化ｂｉｎの数を制限するために同じ限度を使用する、ことと、前記限度および前記コンテキストコード化ｂｉｎの数に応じて、変換残差符号化プロセスおよび変換スキップ残差符号化プロセスの１つにおいて１つまたは複数のシンタックス要素のエントロピー符号化方法を調整することを行うように構成される。

別の実施形態によれば、１つまたは複数のプロセッサを備えるビデオ復号のための装置が提供される。１つまたは複数のプロセッサは、ブロックの予測残差を復号するために使用されるコンテキストコード化ｂｉｎの数をカウントすることであって、前記ブロックの前記予測残差は、変換残差復号プロセスおよび変換スキップ残差復号プロセスの１つを使用して復号されることになり、前記変換残差復号プロセスおよび前記変換スキップ残差復号プロセスは、前記コンテキストコード化ｂｉｎの数を制限するために同じ限度を使用する、ことと、前記限度および前記コンテキストコード化ｂｉｎの数に応じて、変換残差復号プロセスおよび変換スキップ残差復号プロセスの１つにおいて１つまたは複数のシンタックス要素のエントロピー復号方法を調整することと、画像内の復号されることになるブロックの予測残差を取得することを行うように構成される。

１つまたは複数の実施形態は、１つまたは複数のプロセッサによって実行されると、上述した実施形態のいずれかに従う符号化方法または復号方法を１つまたは複数のプロセッサに実行させる命令を含むコンピュータプログラムを提供する。１つまたは複数の実施形態はまた、上述した方法に従うビデオデータを符号化するまたは復号する命令を記憶したコンピュータ可読記憶媒体を提供する。１つまたは複数の実施形態はまた、上述した方法に従って生成されたビットストリームを格納したコンピュータ可読記憶媒体を提供する。１つまたは複数の実施形態はまた、上述した方法に従って生成されたビットストリームを送信するまたは受信する方法および装置を提供する。

本実施形態の態様が実装され得るシステムのブロック図を示す図である。 ビデオエンコーダの実施形態のブロック図を示す図である。 ビデオデコーダの実施形態のブロック図を示す図である。 圧縮画像を表すための符号化ツリーユニットと符号化ツリーの概念を示す図である。 変換ブロックの残差コーディング構造を示す図である。 変換スキップブロックの残差コーディング構造を示す図である。 ＶＴＭ６．０における変換ブロックの残差コーディングプロセスを示す図である。 ＶＴＭ６．０における変換スキップブロックの残差コーディングプロセスを示す図である。 一実施形態による、変換スキップブロックの残差コーディングプロセスを示す図である。 別の一実施形態による、変換スキップブロックの残差コーディングプロセスを示す図である。 別の一実施形態による、変換スキップブロックの残差コーディングプロセスを示す図である。

図１は、様々な態様および実施形態が実装され得るシステムの一例のブロック図を示す。システム１００は、下記の様々なコンポーネントを含むデバイスとして具体化することができ、本明細書に記載された１つまたは複数の態様を実施するように構成される。そのようなデバイスの例は、それだけには限らないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、コネクテッド家電、およびサーバなど様々な電子デバイスを含む。システム１００の要素は、単独または組合せで、単一の集積回路（ＩＣ）、複数のＩＣ、および／またはディスクリートコンポーネントで具体化することができる。例えば、少なくとも１つの実施形態では、システム１００の処理およびエンコーダ／デコーダ要素は、複数のＩＣおよび／またはディスクリートコンポーネントにわたって分散されている。様々な実施形態では、システム１００は、例えば、通信バスを介して、または専用の入力および／もしくは出力ポートを通じて他のシステムまたは他の電子デバイスに通信可能に結合される。様々な実施形態では、システム１００は、本明細書に記載された１つまたは複数の態様を実装するように構成される。

システム１００は、例えば本明細書に記載された様々な態様を実装するためにロードされた命令を実行するように構成された少なくとも１つのプロセッサ１１０を含む。プロセッサ１１０は、埋込みメモリ、入力出力インターフェース、および当技術分野で知られている様々な他の回路を含むことができる。システム１００は、少なくとも１つのメモリ１２０（例えば、揮発性メモリデバイスおよび／または不揮発性メモリデバイス）を含む。システム１００は、それだけには限らないが、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスクドライブ、および／または光ディスクドライブを含む不揮発性メモリおよび／または揮発性メモリを含むことができる記憶デバイス１４０を含む。記憶デバイス１４０は、非限定的な例として、内部記憶装置、接続型記憶装置、および／またはネットワークアクセス可能な記憶装置を含むことができる。

システム１００は、例えば、符号化されたビデオまたは復号されたビデオを提供するためにデータを処理するように構成されたエンコーダ／デコーダモジュール１３０を含み、エンコーダ／デコーダモジュール１３０は、それ自体のプロセッサおよびメモリを含むことができる。エンコーダ／デコーダモジュール１３０は、符号化機能および／または復号機能を実施するためにデバイスに含めることができるモジュールを表す。知られているように、デバイスは、符号化モジュールおよび復号モジュールの一方または両方を含むことができる。さらに、エンコーダ／デコーダモジュール１３０は、システム１００の別々の要素として実装することができ、または当業者に知られているようにハードウェアおよびソフトウェアの組合せとしてプロセッサ１１０内に組み込むことができる。

本明細書に記載の様々な態様を実施するためにプロセッサ１１０またはエンコーダ／デコーダ１３０にロードされることになるプログラムコードは、記憶デバイス１４０内に格納されており、その後、プロセッサ１１０による実行のためにメモリ１２０上にロードされることができる。様々な実施形態によれば、プロセッサ１１０、メモリ１２０、記憶デバイス１４０、およびエンコーダ／デコーダモジュール１３０の１つまたは複数は、本明細書に記載された処理の実施中、様々な項目の１つまたは複数を記憶することができる。そのような記憶される項目は、それだけには限らないが、入力ビデオ、復号されたビデオまたは復号されたビデオの一部分、ビットストリーム、行列、変数、並びに式、公式、演算および動作論理の処理からの中間結果または最終結果を含むことができる。

いくつかの実施形態では、プロセッサ１１０および／またはエンコーダ／デコーダモジュール１３０内部のメモリは、命令を記憶するために、および符号化または復号中に必要とされる処理のためのワーキングメモリを提供するために使用される。しかし、他の実施形態では、処理デバイス（例えば、処理デバイスは、プロセッサ１１０またはエンコーダ／デコーダモジュール１３０とすることができる）の外部メモリがこれらの機能のうちの１つまたは複数のために使用される。外部メモリは、メモリ１２０および／または記憶デバイス１４０、例えばダイナミック揮発性メモリおよび／または不揮発性フラッシュメモリとすることができる。いくつかの実施形態では、外部不揮発性フラッシュメモリは、テレビジョンのオペレーティングシステムを記憶するために使用される。少なくとも１つの実施形態では、ＲＡＭなど高速外部ダイナミック揮発性メモリが、ＭＰＥＧ－２、ＨＥＶＣ、またはＶＶＣ用など、ビデオ符号化および復号動作のためにワーキングメモリとして使用される。

システム１００の要素に対する入力は、ブロック１０５に示されている様々な入力デバイスを通じて提供され得る。そのような入力デバイスは、それだけには限らないが、（ｉ）例えば放送局によって無線で送信されるＲＦ信号を受信するＲＦ部、（ｉｉ）コンポジット入力端子、（ｉｉｉ）ＵＳＢ入力端子、および／または（ｉｖ）ＨＤＭＩ（登録商標）入力端子を含む。

様々な実施形態では、ブロック１０５の入力デバイスは、当技術分野で知られているように関連するそれぞれの入力処理要素を有する。例えば、ＲＦ部は、（ｉ）所望の周波数を選択し（信号を選択すること、または信号を周波数のある帯域に帯域制限することとも称される）、（ｉｉ）選択された信号をダウンコンバートし、（ｉｉｉ）（例えば）いくつかの実施形態ではチャネルと称することができる信号周波数帯域を選択するために周波数の狭帯域に再び帯域制限し、（ｉｖ）ダウンコンバートおよび帯域制限された信号を復調し、（ｖ）誤り訂正を実施し、（ｖｉ）データパケットの所望のストリームを選択するために逆多重化するのに適した要素に関連付けられ得る。様々な実施形態のＲＦ部は、これらの機能を実施するための１つまたは複数の要素、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤り訂正器、およびデマルチプレクサを含む。ＲＦ部は、例えば受信された信号をより低い周波数（例えば、中間周波数または近ベースバンド周波数）に、またはベースバンドにダウンコンバートすることを含む、様々なこれらの機能を実施するチューナを含むことができる。１つのセットトップボックスの実施形態では、ＲＦ部およびその関連の入力処理要素は、有線（例えば、ケーブル）媒体で送信されるＲＦ信号を受信し、フィルタリング、ダウンコンバート、および所望の周波数帯域に再びフィルタリングすることによって周波数選択を実施する。様々な実施形態は、上記の（および他の）要素の順序を再配置し、これらの要素のいくつかを除去し、および／または同様の、もしくは異なる機能を実施する他の要素を追加する。要素を追加することには、例えば増幅器およびＡＤ変換器を挿入することなど、既存の要素間に要素を挿入することが含まれ得る。様々な実施形態では、ＲＦ部はアンテナを含む。

さらに、ＵＳＢおよび／またはＨＤＭＩ端子は、ＵＳＢおよび／またはＨＤＭＩ接続を介してシステム１００を他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理の様々な態様、例えばリードソロモン誤り訂正は、例えば、必要に応じて別々の入力処理ＩＣ内またはプロセッサ１１０内で実装することができることを理解されたい。同様に、ＵＳＢまたはＨＤＭＩインターフェース処理の態様は、必要に応じて、別々のインターフェースＩＣ内またはプロセッサ１１０内で実装することができる。復調され、誤り訂正され、逆多重化されたストリームは、出力デバイス上で提示するために必要に応じてデータストリームを処理するために、例えばメモリおよび記憶要素との組合せで動作するプロセッサ１１０およびエンコーダ／デコーダ１３０を含む様々な処理要素に提供される。

システム１００の様々な要素は、一体化されたハウジング内に設けることができ、一体化されたハウジング内では、様々な要素は相互接続され、好適な接続構成１１５、例えば、インターＩＣ（Ｉ２Ｃ）バス、配線、およびプリント回路板を含む当技術分野で知られている内部バスを使用して、それらの間でデータを送信することができる。

システム１００は、通信チャネル１９０を介して他のデバイスとの通信を可能にする通信インターフェース１５０を含む。通信インターフェース１５０は、それだけには限らないが、通信チャネル１９０を介してデータを送信および受信するように構成されたトランシーバを含むことができる。通信インターフェース１５０は、それだけには限らないが、モデムまたはネットワークカードを含むことができ、通信チャネル１９０は、例えば有線および／または無線媒体内に実装することができる。

様々な実施形態では、データは、ＩＥＥＥ８０２．１１などのＷｉ－Ｆｉネットワークを使用して、システム１００にストリーミングされる。これらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信に適合された通信チャネル１９０および通信インターフェース１５０を介して受信される。これらの実施形態の通信チャネル１９０は、典型的には、ストリーミングアプリケーションおよび他のオーバーザトップ通信を可能にするインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイントまたはルータに接続される。他の実施形態は、入力ブロック１０５のＨＤＭＩ接続を介してデータを送るセットトップボックスを使用してストリーミングデータをシステム１００に提供する。さらに他の実施形態は、入力ブロック１０５のＲＦ接続を使用してストリーミングデータをシステム１００に提供する。

システム１００は、ディスプレイ１６５、スピーカ１７５、および他の周辺デバイス１８５を含む様々な出力デバイスに出力信号を提供することができる。他の周辺デバイス１８５は、実施形態の様々な例において、スタンドアロンＤＶＲ、ディスクプレーヤ、ステレオシステム、照明システム、およびシステム１００の出力に基づいて機能を提供する他のデバイスのうちの１つまたは複数を含む。様々な実施形態では、ＡＶ．Ｌｉｎｋ、ＣＥＣ、またはユーザの介在ありまたはなしにデバイス間制御を可能にする他の通信プロトコルなどのシグナリングを使用して、制御信号がシステム１００とディスプレイ１６５、スピーカ１７５、または他の周辺デバイス１８５との間で通信される。出力デバイスは、それぞれのインターフェース１６０、１７０、および１８０を通じて専用接続を介してシステム１００に通信可能に結合され得る。あるいは、出力デバイスは、通信インターフェース１５０を介して通信チャネル１９０を使用してシステム１００に接続され得る。ディスプレイ１６５およびスピーカ１７５は、例えばテレビジョンなどの電子デバイス内のシステム１００の他のコンポーネントと単一のユニットで統合され得る。様々な実施形態では、ディスプレイインターフェース１６０は、例えばタイミングコントローラ（Ｔ Ｃｏｎ）チップなどのディスプレイドライバを含む。

あるいは、ディスプレイ１６５およびスピーカ１７５は、例えば入力１０５のＲＦ部が別々のセットトップボックスの一部である場合、他のコンポーネントのうちの１つまたは複数から分離することができる。ディスプレイ１６５およびスピーカ１７５が外部コンポーネントである様々な実施形態では、出力信号は、例えばＨＤＭＩポート、ＵＳＢポートまたはＣＯＭＰ出力を含む専用の出力接続を介して提供することができる。

図２は、ＨＥＶＣ（High Efficiency Video Coding）エンコーダなどの例示的なビデオエンコーダ２００を示している。図２はまた、ＨＥＶＣ標準規格に改良が加えられたエンコーダ、またはＪＶＥＴ（Joint Video Exploration Team）によって開発されているＶＶＣ（Versatile Video Coding）エンコーダなどのＨＥＶＣと同様の技術を使用するエンコーダを示し得る。

本願では、「再構成された」および「復号された」という用語は交換可能に使用され、「画像」、「ピクチャ」および「フレーム」という用語は交換可能に使用され得る。必ずしもそうとは限らないが、通常、「再構成された」という用語はエンコーダ側で使用され、「復号された」という用語はデコーダ側で使用される。

符号化される前に、ビデオシーケンスは、符号化前処理（２０１）を受けることができ、例えば、入力カラーピクチャに色変換を適用し（例えば、ＲＧＢ４：４：４からＹＣｂＣｒ４：２：０への変換）、または、信号分布を圧縮に対してより弾力性のあるものにするために、入力ピクチャ成分の再マッピングを実行する（例えば、色成分の１つのヒストグラム均等化を使用して）ことができる。メタデータは、前処理に関連付けられ、ビットストリームに添付することができる。

１つまたは複数の画像を含むビデオシーケンスを符号化するために、画像は、例えば、１つまたは複数のスライスに分割され（２０２）、各スライスは、１つまたは複数のスライスセグメントを含むことができる。ＨＥＶＣでは、スライスセグメントは、符号化ユニット、予測ユニット、および変換ユニットに編成される。ＨＥＶＣ規格は、「ブロック」と「ユニット」を区別しており、「ブロック」は、サンプル配列内の特定の領域（例えば、輝度、Ｙ）をアドレス指定し、「ユニット」は、符号化された全ての色成分（Ｙ、Ｃｂ、Ｃｒ、またはモノクロ）、シンタックス要素、およびブロックに関連付けられる予測データ（例えば、動きベクトル）のコロケートされたブロックを含む。

ＨＥＶＣに従ってコーディングする場合、画像は構成可能なサイズ（通常、６４ｘ６４、１２８ｘ１２８、または２５６ｘ２５６ピクセル）の正方形の符号化ツリーブロック（ＣＴＢ）に分割され、符号化ツリーブロックの一連のセットがスライスにグループ化される。符号化ツリーユニット（ＣＴＵ）は、符号化された色成分のＣＴＢを含んでいる。ＣＴＢは、符号化ブロック（ＣＢ）に分割されたクアッドツリーのルートであり、符号化ブロックは、１つまたは複数の予測ブロック（ＰＢ）に分割され、変換ブロック（ＴＢ）に分割されたクアッドツリーのルートを形成する。４ｘ４より大きい変換ブロック（ＴＢ）は、係数グループ（ＣＧ）と呼ばれる量子化された係数の４ｘ４サブブロックに分割される。符号化ブロック、予測ブロック、および変換ブロックに対応して、符号化ユニット（ＣＵ）には、予測ユニット（ＰＵ）とツリー構造の変換ユニット（ＴＵ）のセットとが含まれ、ＰＵには全ての色成分の予測情報が含まれ、ＴＵには、各色成分の残差コーディングシンタックス構造（residual coding syntax structure）が含まれる。輝度成分のＣＢ、ＰＢおよびＴＢのサイズは、対応するＣＵ、ＰＵおよびＴＵに適用される。本願では、「ブロック」という用語は、例えば、ＣＴＵ、ＣＵ、ＰＵ、ＴＵ、ＣＧ、ＣＢ、ＰＢ、およびＴＢのいずれかを指すために使用することができる。さらに、「ブロック」という用語は、Ｈ．２６４／ＡＶＣまたは他のビデオコーディング標準規格で指定されているマクロブロックとパーティションを指す場合もあり、より一般的には、様々なサイズのデータの配列を指す場合もある。

エンコーダ２００では、ピクチャは、以下に説明するように、エンコーダ要素によって符号化される。符号化されるピクチャは、例えば、ＣＵの単位で処理される。各符号化ユニットは、イントラモードまたはインターモードのいずれかを使用して符号化される。符号化ユニットがイントラモードで符号化されると、イントラ予測が実行される（２６０）。インターモードでは、動き推定（２７５）と動き補償（２７０）が実行される。エンコーダは、符号化ユニットを符号化するためにイントラモードまたはインターモードのどちらを使用するかを決定し（２０５）、予測モードフラグによってイントラモード／インターモードの決定を示す。予測残差（prediction residual）は、元の画像ブロックから予測ブロックを減算（２１０）することによって計算される。

予測残差は、変換され（２２５）、量子化される（２３０）。量子化された変換係数、および動きベクトルやその他のシンタックス要素は、ビットストリームを出力するためにエントロピー符号化（２４５）される。非限定的な例として、ＣＡＢＡＣ（context-based adaptive binary arithmetic coding：コンテキスト適応型バイナリ算術符号）を使用して、シンタックス要素をビットストリームに符号化することができる。

ＣＡＢＡＣで符号化するために、非バイナリシンタックス要素の値は、バイナリ化プロセスを通じて、ｂｉｎ文字列と呼ばれるバイナリシーケンスにマッピングされる。ｂｉｎの場合、コンテキストモデルが選択される。「コンテキストモデル」は、１つまたは複数のビン（ｂｉｎ）の確率モデルであり、最近コード化されたシンボルの統計に応じて、利用可能なモデルの選択から選択される。各ｂｉｎのコンテキストモデルは、コンテキストモデルインデックス（「コンテキストインデックス」とも呼ばれる）によって識別され、様々なコンテキストインデックスが様々なコンテキストモデルに対応する。コンテキストモデルは、各ｂｉｎが「１」または「０」である確率を格納し、適応型または静的にすることができる。静的モデルは、ｂｉｎ「０」と「１」に対して等しい確率でコーディングエンジンをトリガする。適応型コーディングエンジンでは、ｂｉｎの実際のコード化された値に基づいてコンテキストモデルが更新される。適応型モデルと静的モデルに対応する動作モードは、それぞれ通常モードとバイパスモードと呼ばれる。コンテキストに基づいて、バイナリ算術コーディングエンジンは、対応する確率モデルに従ってｂｉｎを符号化し、または復号する。

エンコーダは、変換をスキップして、例えば、４ｘ４ＴＵベースで、変換されていない残差信号に直接量子化を適用することもできる。エンコーダは、変換と量子化の両方をバイパスすることができ、すなわち、残差は、変換または量子化プロセスの適用なしで直接コード化される。直接ＰＣＭコーディングでは、予測は適用されず、符号化ユニットのサンプルはビットストリームに直接コード化される。

エンコーダは、符号化されたブロックを復号して、さらなる予測のための参照を提供する。量子化された変換係数は、予測残差を復号するために逆量子化（２４０）および逆変換（２５０）される。復号された予測残差と予測ブロックを組み合わせて（２５５）、画像ブロックが再構成される。ループ内フィルタ（２６５）は、再構成された画像に適用されて、例えば、符号化アーチファクトを低減するためにデブロッキング／ＳＡＯ（サンプル適応オフセット）フィルタリングを実行する。フィルタリングされた画像は、参照ピクチャバッファ（２８０）に格納される。

図３は、ＨＥＶＣデコーダなどの例示的なビデオデコーダ３００のブロック図を示している。デコーダ３００では、ビットストリームは、以下に説明するように、デコーダ要素によって復号される。ビデオデコーダ３００は、一般に、図２に記載されているような符号化パスとは逆の復号パスを実行し、符号化パスは、ビデオデータの符号化の一部としてビデオ復号を実行する。図３はまた、ＨＥＶＣ標準規格に改良が加えられたデコーダ、またはＶＶＣデコーダなどのＨＥＶＣと同様の技術を採用したデコーダを示し得る。

特に、デコーダの入力は、ビデオビットストリームを含むが、これはビデオエンコーダ２００によって生成され得る。ビットストリームは、変換係数、動きベクトル、画像分割情報、および他の符号化情報を取得するために、最初にエントロピー復号される（３３０）。エントロピーコーディングにＣＡＢＡＣを使用する場合、コンテキストモデルは、エンコーダコンテキストモデルと同じ方法で初期化され、シンタックス要素はコンテキストモデルに基づいてビットストリームから復号される。

画像分割情報は、画像がどのように分割されるか、例えば、ＣＴＵのサイズ、およびＣＴＵがＣＵに分割される方法、および該当する場合はＰＵに分割される方法を示す。従って、デコーダは、復号された画像分割情報に従って、画像を例えばＣＴＵに分割し、各ＣＴＵをＣＵに分割することができる（３３５）。変換係数は、予測残差を復号するために逆量子化（３４０）および逆変換（３５０）される。

復号された予測残差と予測ブロックを組み合わせて（３５５）、画像ブロックが再構成される。予測ブロックは、イントラ予測（３６０）または動き補償予測（すなわち、インター予測）（３７５）から取得できる（３７０）。ループ内フィルタ（３６５）は、再構成された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ（３８０）に保存される。

復号された画像は、復号後処理（３８５）、例えば逆色変換（例えば、ＹＣｂＣｒ４：２：０からＲＧＢ４：４：４に変換）、または符号化前処理（２０１）において実施された再マッピング処理の逆を実施する逆再マッピングをさらに受けることができる。復号後処理では、符号化前処理で導出され、ビットストリームでシグナリングされるメタデータを使用できる。

ＨＥＶＣでは、符号化ブロックの変換係数は、重複しない係数グループ（ＣＧまたはサブブロック）を使用してコード化され、各ＣＧには符号化ブロックの４ｘ４ブロックの係数が含まれる。ＶＶＣドラフト６では、係数グループサイズの選択は、ＴＢサイズのみに依存するようになり、すなわち、チャネルタイプへの依存がなくなる。その結果、様々なＣＧ（１ｘ１６、２ｘ８、８ｘ２、２ｘ４、４ｘ２、および１６ｘ１）が使用可能になる。符号化ブロック内のＣＧ、およびＣＧ内の変換係数は、予め定められたスキャン順序に従ってコード化される。

ピクセルごとのコンテキストコード化ｂｉｎ（通常モードでコード化されたｂｉｎ）の最大数を制限するために、ＴＢの領域を使用して、ＶＶＣドラフト６でＴＢに許可されるコンテキストコード化ｂｉｎの最大数を導出する（非特許文献１）。図７は、ＶＴＭ６．０における変換ブロックの残差コーディングプロセスを示しており、図８は、ＶＴＭ６．０における変換スキップブロックの残差コーディングプロセスを示している。ＴＢの場合、コンテキストコード化ｂｉｎ（ＣＣＢ）の最大数は、図７のステップ７１０に示すように、ＴＢ＿ｚｏｓｉｚｅ＊１．７５に設定され、ここで、ＴＢ＿ｚｏｓｉｚｅは、ゼロ化された係数を除いたＴＢ内のサンプル数を示す。大きなブロック分割は通常、残差が少なく、エネルギーは、変換領域の低周波係数に集中することが知られている。ＶＴＭ（VVC Test Model）６．０では、３２ｘ３２領域外の高周波変換係数は、サイズが３２より大きい変換ブロックに対してゼロになる。図７のステップ７２０に示されるように、ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇは、ＣＣＢカウントについて考慮されないことに留意されたい。

ＶＴＭ６．０では、最大３２ｘ３２（両端を含む）のサイズの輝度ブロックに変換スキップモードを使用できる。ＣＵが変換スキップモードでコード化されると、その予測残差は量子化され（変換なし、つまり変換スキップ）、変換スキップ残差コーディングプロセスを使用してコード化される。残差コーディングが変換係数レベルの統計と信号特性のために設計されているＨＥＶＣとは異なり、２つの別々の残差コーディング構造が変換残差（変換された残差、変換がスキップされない）と変換スキップ残差（変換されない残差、変換はスキップされる）にそれぞれ使用される。例えば、ＣＣＢの最大数は、図８のステップ８１０に示されるように、変換スキップモードにおいてＴＢ＿ｓｉｚｅ＊２に設定され、ここで、ＴＢ＿ｓｉｚｅは、ＴＢ内のサンプル数を示す。また、変換スキップ残差モードのｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇはコンテキストコード化されており、図８のステップ８４０に示すようにＣＣＢカウントと見なされる。変換残差（transform residual）の残差コーディング（residual coding）は、「変換係数コーディング（transform coefficients coding）」、「変換残差コーディング（transform residual coding）」、または「変換係数の残差コーディング（residual coding for transform coefficients）」とも呼ばれる。変換スキップ残差（transform skip residual）の残差コーディングは、「変換スキップ（ＴＳ）残差コーディング（Transform Skip (TS) residual coding）」とも呼ばれる。

変換係数の残差コーディング

ＶＶＣドラフト６では、変換係数を符号化するために、ＣＧの有意性（significance）が１に等しい場合（７２０）、ＣＧ（サブブロック）のｂｉｎはＣＧのスキャン位置で複数のパスでコード化される：
・パス１：有意性（ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ）、１より大きいフラグ（ｇｔ１、ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［０］）、パリティフラグ（ＰＡＲ、ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ）、および３より大きいフラグ（ｇｔ３、ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［１］）がコーディング順序でコード化される。１より大きいフラグは、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇが１に等しい場合にのみ存在する。パリティフラグおよび３より大きいフラグ（ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［１］）のコーディングは、ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［０］が１に等しいスキャン位置に対してのみ実行される。ｇｔ１、ＰＡＲ、およびｇｔ３の値は、ビットストリームに存在しない場合は０であると推測される。ＳＩＧ、ＰＡＲ、ｇｔ１、およびｇｔ３フラグは、通常モードでコード化される（７４０）。ＭａｘＣｃｂｓは、これらのフラグが係数に対してコード化された後、４ずつデクリメントされ、カウンタｎは１ずつインクリメントされ、ＳＩＧ、ＰＡＲ、ｇｔ１、およびｇｔ３フラグが通常モードでコード化されているサブブロック内の係数の数を追跡する（７５０）。ここで、ｎは、各サブブロックについて０としてリセットされる。サブブロック内の全ての係数がコード化されている場合（７５５）、またはＣＣＢカウントが限度（limit）に達した場合（７３０）、パス１は停止するため、パス１では一部のスキャン位置のコーディングがスキップされ得る。
・パス２：パス１でコード化されたスキャン位置の場合、シンタックス要素ａｂｓ＿ｒｅｍａｉｎｄｅｒは、ｇｔ３が１に等しいスキャン位置用にコード化される（７６０）。非バイナリシンタックス要素は、ゴロム－ライス符号を使用して２値化され、結果のｂｉｎは算術符号化エンジンのバイパスモードでコード化される。パス１でコード化されていないスキャン位置の場合、シンタックス要素ｄｅｃ＿ａｂｓ＿ｌｅｖｅｌはゴロム－ライス符号を使用して２値化され、結果のｂｉｎはバイパスモードでコード化される（７６０）。
・パス３：ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇが１に等しい全てのスキャン位置の符号（ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇ）が符号化される。符号（sign）はバイパスモードで符号化される（７８０）。

上記のように、変換係数コーディングでは、変数ｒｅｍＢｉｎｓＰａｓｓ１（ＭａｘＣｃｂｓ）が最初にコンテキストコード化ｂｉｎの最大数（ＭＣＣＢ：maximum number of context-coded bins）に設定され、コンテキストコード化ｂｉｎがシグナリングされると１つ減少する。ｒｅｍＢｉｎｓＰａｓｓ１は４以上であるが、第１のコーディングパスのフラグには、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ、ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［０］（ｇｔ１、１より大きいフラグ）、ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ、およびａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［１］（ｇｔ３、３より大きいフラグ）が含まれており、このフラグはコンテキストコード化されたｂｉｎを使用してコード化される。コンテキストコード化されたｂｉｎの数が第１のパスのコーディングでＭＣＣＢより大きくない場合、さらにコード化されることになる最初のパスで示されるレベル情報の残りの部分は、ゴロム－ライス符号およびバイパス符号化ｂｉｎを使用してａｂｓ＿ｒｅｍａｉｎｄｅｒのシンタックス要素で符号化される。ｒｅｍＢｉｎｓＰａｓｓ１が４より小さい場合、最初のパスでコード化されなかった残りの係数は、ゴロム－ライス符号およびバイパス符号化ｂｉｎを使用して、シンタックス要素ｄｅｃ＿ａｂｓ＿ｌｅｖｅｌを使用して２番目のパスで直接コード化される。ｒｅｍＢｉｎｓＰａｓｓ１はＴＢごとにリセットされる。ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ、ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［０］、ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ、およびａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［１］にコンテキストコード化されたｂｉｎを使用することから、残りのシンタックス要素にバイパス符号化ｂｉｎを使用することへの移行は、ＴＢごとに最大１回だけ発生する。係数サブブロックの場合、ｒｅｍＢｉｎｓＰａｓｓ１が４より小さい場合、係数サブブロック全体がバイパス符号化ｂｉｎを使用してコード化される。上記の全てのレベルコーディングの後、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇが１に等しい全てのスキャン位置の符号（ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇ）が最終的にバイパス符号化される。このプロセスは、変換ブロック（７９０）内の全てのサブブロックに対して、プロセスが終了する（７９９）前に実行される。

例えば、図５では、スキャン位置Ｃ１５、・・・、Ｃ３の通常モードでｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ、ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［０］、ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ、およびａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［１］を符号化した後、ＣＣＢの数が限度に達し、パス１のコーディングが停止する。パス２では、現在のスキャン位置に対してより多くのレベル情報がコード化されることになることをパス１が示している場合、ａｂｓ＿ｒｅｍａｉｎｄｅｒはスキャン位置Ｃ１５、・・・、Ｃ３に対してバイパス符号化される。スキャン位置Ｃ２、Ｃ１およびＣ０は、パス１ではコード化されておらず、これらの位置の絶対係数レベルは、バイパスモードを使用してシンタックス要素ｄｅｃ＿ａｂｓ＿ｌｅｖｅｌで直接コード化される。パス３では、現在のスキャン位置の係数がゼロでない場合、シンタックス要素ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇがバイパス符号化される。

変換スキップの残差コーディング

変換スキップモードでは、残差信号の統計的特性は変換係数の統計的特性とは異なり、低周波成分の周囲のエネルギー圧縮は観察されない。残差コーディングは、（空間）変換スキップ残差の様々な信号特性を考慮して変更されるが、これには次のものが含まれる：
－係数スキャンは順方向走査である；
－最後のｘ／ｙ位置のシグナリングはない；
－ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇは、以前の全てのｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇが０に等しい場合、ＤＣサブブロックを除く全てのサブブロックに対してコード化される；
－テンプレートを減らしたｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇコンテキストモデリング；
－ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［０］およびｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇは、それぞれ１つのコンテキストモデルのみを使用する；
－５、７、９より大きい追加のフラグ；
－残りの２値化のための修正されたライスパラメータの導出；
－符号フラグｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇは、コンテキストコード化されており、符号フラグのコンテキストモデリングは、左と上の隣接する係数値に基づいて決定され、また、符号フラグは、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇの後に解析され、コンテキストコード化された全てのビンをまとめる。

図６および図８に示すように、ＣＧの重要度が１である場合（８２０）、シンタックス要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ、ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇ、ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［０］、およびｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇは、第１のパス（８３０～８６０）において残差サンプルごとにインターリーブコード化され、その後、第２のパス（８７０）にあるａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇビットプレーン、ａｂｓ＿ｒｅｍａｉｎｄｅｒのコード化（８８０）に続く。このプロセスは、変換ブロック内の全てのサブブロックに対して、プロセスが終了する（８９９）前に実行される（８９０）。
－パス１（８３０～８６０）：ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ、ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇ、ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［０］、およびｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ。
－パス２（８７０）：ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［１］、ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［２］（５より大きいフラグ）、ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［３］（７より大きいフラグ）、ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［４］（９より大きいフラグ）。
－パス３（８８０）：ａｂｓ＿ｒｅｍａｉｎｄｅｒ。

変換スキップモードにおいて、ＣＣＢカウントが最大数を超えると、これらの残りの係数フラグは同じシンタックス構造でバイパス符号化されるが、これは変換の残差の場合とは全く異なる。

前述のように、ＣＣＢカウントに使用されるシンタックス、ＣＣＢカウントの最大数、およびＣＣＢカウントが最大数を超えた後のシンタックス設計は、変換ブロックと変換スキップブロックの残差コーディングでは異なる。したがって、ここでいくつかの統合を提案することができる。

上記のように、ピクセルあたりのコンテキストコード化ｂｉｎ（ＣＣＢ）の最大数を制限するために、ＴＢの領域は、ＶＶＣドラフト６のＴＢのコンテキストコード化ｂｉｎの最大数を導出するために使用される。さらに、２０１９年３月の会議では、ＪＶＥＴは変換スキップ残差ブロックに新しい残差コーディングプロセスを採用した。この変換スキップ（ＴＳ）残差コーディングプロセスは、変換ブロックの変換残差コーディングプロセスとは大幅に異なる。ＣＣＢに関するＴＳ残差コーディングと変換残差コーディングの主な違いは次の通りである：
１．変換残差コーディングでは、符号（ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇ）はバイパス符号化され、ＣＣＢカウントに使用されるシンタックスとして自動的に含まれない。一方、ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇは、ＴＳ残差コーディングでコンテキストコード化され、ＣＣＢカウントに使用されるシンタックスとして含まれている；
２．変換残差コーディングでは、ＣＣＢの最大数は、ＴＢのＴＢ＿ｚｏｓｉｚｅ＊１．７５に等しくなる。一方、ＴＳ残差符号化では、ＣＣＢの最大数はＴＢのＴＢ＿ｓｉｚｅ＊２に等しくなる。

変換残差コーディングプロセスとＴＳ残差コーディングプロセスの間のＣＣＢ制限を統合するために、変換ブロックとＴＳブロックに使用される２つの別個の残差コーディング構造によって提供されるゲインのほとんどを維持しながら、いくつかの統合が提案されている。

一実施形態では、ＴＳ残差コーディングにおいて、ＣＣＢカウントに使用されるシンタックスが２つの残差コーディングプロセスのために統合されるように、ＣＣＢカウントからｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇを除外する。さらに、コンテキストコード化ｂｉｎの個別の最大数を指定して、ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇにのみ使用できる。別の実施形態では、ＴＳ残差コーディングにおいて、ＣＣＢカウントの最大数は、ＴＢのＴＢ＿ｓｉｚｅ＊２からＴＢ＿ｓｉｚｅ＊１．７５に減少する。より一般的には、最大ＣＣＢカウントが２つの残差コーディングプロセスで統合されるように、変換残差コーディングとＴＳ残差コーディングの両方の最大ＣＣＢカウントが同じ値に設定される。以下では、変換残差コーディングプロセスとＴＳ残差コーディングプロセスの間のＣＣＢ制限を統合するいくつかの方法について詳しく説明する。

ＣＣＢカウントに使用されるシンタックスの統合

ＶＶＣドラフト６では、図７のステップ７４０およびステップ７５０に示すように、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ、ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［０］、ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ、およびａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［１］などの係数フラグは、変換残差モードのＣＣＢカウントに含まれている。一方、図８のステップ８３０～ステップ８７０に示すように、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ、ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇ、ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［０］、ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ、およびａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［ｊ］（１≦ｊ≦４）などの係数フラグは、変換スキップ残差モードのＣＣＢカウントに含まれている。これら２つのモードでは、ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇがＣＣＢカウントに含まれるかどうかに違いがある。表１は、ＶＴＭ６．０の２つの残差コーディングモードのシンタックス構造を示している。表１に示すように、符号化ブロックの残差は、重複しないサブブロック（ＳｕｂＢｌｏｃｋｓ）を使用してコーディングされ、各サブブロックには１６個の係数が含まれる。所与のサブブロックについて、次のサブブロックを処理する前に、そのサブブロック内の全ての係数を再構成できるようになるまで、係数がループ内でコード化される（ＳｕｂＢｌｏｃｋ ｌｏｏｐ）。所与の係数について、係数レベルのシンタックスは、いくつかのパス内でコード化される。各パスでは、係数のパス内の全ての事前定義されたシンタックスがコーディングされた後、次の係数の処理を開始する。残差のエントロピー符号化／復号は、最大３つのパスを備えており、次のシンタックス要素を符号化するために使用される：
ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇ：１６係数のサブブロックの有意性（ゼロ／非ゼロ）を指定する
ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ：係数の有意性（ゼロ／非ゼロ）を指定する
ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［ｊ］：係数レベルの絶対値が（ｊ＜＜１）＋１より大きいかどうかを指定する
ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ：係数のパリティを指定する
ａｂｓ＿ｒｅｍａｉｎｄｅｒ：係数レベルの絶対値の残りの値を指定する（値が前のパスでコード化された値よりも大きい場合）
ｄｅｃ＿ａｂｓ＿ｌｅｖｅｌ：係数レベルの絶対値を指定する（係数が前のパスでコーディングされていない場合）
ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇ：有意係数の符号を指定する（０：正、１：負）

ＶＶＣドラフト６の変換スキップ残差コーディングの詳細なシンタックステーブルを示す。

前述のように、ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇは、コンテキストコード化されており、図８のステップ８４０に示すように、ＴＳ残差モードのＣＣＢカウントに含まれている。一実施形態では、図９および表３に示されるように、ＴＳ残差モードのＣＣＢカウントからｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇを除外することが提案されているが、ここでＶＴＭ６．０と比較した変更に下線が引かれている。変換スキップ残差コーディングの提案されたシンタックステーブルを表４に示す。ここで、ＶＶＣドラフト６に関連する変更は取り消し線である（つまり、「ＭａｘＣｃｂｓ－－」はｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇがシグナリングされた後に削除され（９４０）、図９の他のステップは図８のステップと同じである）。この実施形態の変形例によれば、ＴＳ残差コーディングにおけるＣＣＢカウントからａｂｓ＿ｌｅｖｅｒ＿ｇｔｘ＿ｆｌａｇ［ｊ］（ｊ＞１）を除外することが提案されている。

ＣＣＢカウントの最大数の統合

ＶＶＣドラフト６では、（図７および図８にも）示されているように、輝度係数および彩度係数の係数あたりのコンテキストコード化ｂｉｎの数が、図７のステップ７１０に示されているように、ＴＢレベルで１．７５ｂｉｎ／係数に制限されている。他方、ＴＳ残差コーディングは、図８のステップ８１０に示されるように、この制限をＴＢレベルで２ｂｉｎ／係数に設定する。

ここで提案される別の統合は、例えば、図１０のステップ１０１０に示されるように、ＴＢレベルで１．７５ｂｉｎ／係数を割り当てることによって、変換残差コーディングおよびＴＳ残差コーディングの係数あたりのコンテキストコード化ｂｉｎの最大許容数を整列させることである（図１０の他のステップは、図８のステップと同じである）。ＴＳ残差コーディングでは、残差あたりのコンテキストコード化ｂｉｎのワーストケース数を２から１．７５に減らすことが望ましい。この変更により、全体的なＣＡＢＡＣスループットが向上し、ＣＡＢＡＣ制限の一貫性が高まる。表５は、この実施形態で提案された２つの残差コーディングモードのＣＣＢ割り当ての最大数を示しており、ＶＴＭ６．０と比較した変化には下線が引かれている。変換スキップ残差コーディングの最大数ＣＣＢカウント割り当てについて提案されたシンタックステーブルを表６に示す。ここでは、ＶＶＣドラフト６に関連する変更に下線が引かれている。

第２の実施形態の変形例によれば、変換残差コーディングおよびＴＳ残差コーディングの係数あたりのコンテキストコード化ｂｉｎの最大許容数は、ＴＢレベルで１．７５ｂｉｎ／係数ではなく別の値ｘを割り当てることによって整列させることができる。

第２の実施形態の別の変形例によれば、第２の実施形態は、第１の実施形態と組み合わせることができ、これにより、ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇを除く他の残差シンタックスのＣＣＢの最大数が１．７５ｂｉｎに減少する。

ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇに対する別の数のコンテキストコード化ｂｉｎ ＣＣＢ＿ＳＩＧＮの割り当て

第１の実施形態によれば、ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇは、ＴＳ残差モードのＣＣＢカウントから除外されることが提案されている。ＴＳ残差コーディングでは、残差あたりのコンテキストコード化ｂｉｎのワーストケース数が２を超えて増加するため、全体的なＣＡＢＡＣスループットが低下する。

この欠点を補うための１つの解決策は、表３と表５で説明した前述の実施形態を組み合わせることであり、これにより、ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇを除く他の残差シンタックスのＣＣＢの最大数が減少する。別の解決策は、ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇに別の数のコンテキストコード化ｂｉｎ ＣＣＢ＿ＳＩＧＮを割り当てることである。この場合、ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇのＣＡＢＡＣスループットを個別に制御できる。

ＴＢの領域を使用して、ＴＢ内のｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇのコンテキストコード化ｂｉｎ ＣＣＢ＿ＳＩＧＮの最大数を導出できる。例えば、ＣＣＢ＿ＳＩＧＮの最大数は、図１１のステップ１１１０に示されるように、ＴＢ＿ｓｉｚｅ＊０．５に等しくすることができる。ここで、ＴＢ＿ｓｉｚｅは、表７に示すようにＴＢ内のサンプル数を示し、ＶＴＭ６．０に対する変更には下線が引かれている。図１１のステップ１１４０に示されるように、ＭａｘＣｃｂｓではなく、新しいＣＣＢカウントＭａｘＣｃｂｓ＿ｓｉｇｎがｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇに使用される（図１１の１１１０および１１４０以外のステップは、図８のステップと同じである）。追加のＣＣＢ＿ＳＩＧＮを使用した変換スキップ残差コーディシンタックステーブルを表８に示す。ここで、ＶＶＣドラフト６に対する変更が取り消し線または下線付きで示されている。

第３の実施形態の変形例によれば、それは、第２の実施形態と一緒に適用することができる。第３の実施形態の変形例によれば、ＣＣＢ＿ＳＩＧＮは、ＣＧレベルで設定および適用することもできる。

図７～図１１に記載されている方法は、エンコーダ側またはデコーダ側で使用できることに留意されたい。エンコーダ側で使用する場合、図の「コード（code）」という用語は「エンコード」と理解でき、一方、デコーダ側で使用する場合、図の「コード」という用語は「デコード」と理解できる。残差コーディングプロセスが示されている図９～図１１の場合、エンコーダ側で使用すると、変換スキップブロックの量子化された予測残差が入力として使用され、コード化された予測残差が出力される。図９～図１１がデコーダ側の残差コーディングプロセスを説明するために使用されると、ビットストリーム内の量子化された予測残差に対応するｂｉｎがデコードされ、量子化された予測残差が変換スキップブロックに出力される。

様々な方法が本明細書に記載されており、各方法は、本明細書に記載された方法を達成するための１つまたは複数のステップまたはアクションを含む。方法を適切に操作するために特定のステップまたはアクションの順序が必要な場合を除き、特定のステップおよび／またはアクションの順序および／または使用を変更または組み合わせることができる。また、「第１の」、「第２の」などの用語は、要素、構成要素、ステップ、動作など、例えば「第１の復号」および「第２の復号」を変更するために様々な実施形態で使用され得る。このような用語の使用は、特に必要な場合を除き、変更された操作の順序を意味するものではない。従って、この例では、第１の復号は、第２の復号の前に実行される必要はなく、例えば、第２の復号との重複期間の前、最中、または重複する期間に発生し得る。

本願に記載される様々な方法および他の態様を使用してモジュール、例えば、図２および図３に示されるようなビデオエンコーダ２００のエントロピー符号化モジュール（２４５）およびビデオデコーダ３００のエントロピー復号モジュール（３３０）を変更することができる。さらに、本願の態様は、ＶＶＣまたはＨＥＶＣに限定されず、例えば、他の標準および推奨、並びにそのような標準および推奨の拡張に適用することができる。特に明記されていない限り、または技術的に排除されていない限り、本願で説明されている態様は、個別にまたは組み合わせて使用できる。

本願では様々な数値が使用されている。特定の値は例示的な目的のためのものであり、説明されている態様はこれらの特定の値に限定されない。

一実施形態は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに、上記の実施形態のいずれかによる符号化方法または復号方法を実行させる命令を含むコンピュータプログラムを提供する。１つまたは複数の実施形態はまた、上記の方法に従ってビデオデータを符号化または復号するための命令を記憶したコンピュータ可読記憶媒体を提供する。１つまたは複数の実施形態はまた、上記の方法に従って生成されたビットストリームを記憶したコンピュータ可読記憶媒体を提供する。１つまたは複数の実施形態はまた、上記の方法に従って生成されたビットストリームを送信または受信するための方法および装置を提供する。

様々な実装には復号が含まれる。本願で使用される「復号」は、例えば、表示に適した最終出力を生成するために、受信した符号化シーケンスに対して実行されるプロセスの全てまたは一部を含む場合がある。様々な実施形態において、そのようなプロセスは、典型的にはデコーダによって実行される１つまたは複数のプロセス、例えば、エントロピー復号、逆量子化、逆変換、および差動復号を含む。用語「復号プロセス」が、具体的に操作のサブセットを示すことを意図するのか、または一般により広い復号プロセスを示すことを意図するのかは、特定の説明の文脈に基づいて明確になり、当業者によく理解されるだろう。

様々な実装には符号化が含まれる。「復号」に関する上記の説明と同様の方法で、本願で使用される「符号化」は、例えば、符号化ビットストリームを生成するために入力ビデオシーケンスに対して実行されるプロセスの全てまたは一部を包含し得る。

本明細書で使用されるシンタックス要素は、説明的な用語であることに留意されたい。そのため、他のシンタックス要素名の使用を排除するものではい。

本明細書で述べられた実装形態および態様は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号において実装されることが可能である。考察される特徴の実装形態は、単一の形の実装形態のコンテキストでのみ考察される（例えば方法としてのみ考察される）場合であっても、他の形（例えば装置やプログラム）で実装できる。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアにおいて実装できる。方法は、装置、例えば、プロセッサにおいて実装されることが可能であり、プロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを含む処理デバイスを一般に指す。プロセッサはまた、例えばコンピュータ、セルフォン、ポータブル／パーソナルディジタルアシスタント（ＰＤＡ）、およびエンドユーザ間の情報の通信を容易にする他のデバイスなど、通信デバイスも含む。

「一実施形態」または「実施形態」または「一実装形態」または「実装形態」、並びにこれらの他の変形例への言及は、実施形態に関連して述べられた特定の特徴、構造、特性などが少なくとも１つの実施形態に含まれることを意味する。したがって、本願の全体にわたる様々な場所で「一実施形態で」または「実施形態で」または「一実装形態で」または「実装形態で」という句、並びにいずれか他の変形例が現れる場合、これは、全てが同じ実施形態を指すとは限らない。

本願は、様々な情報を「決定する」ことに言及することがある。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、または情報をメモリから取り出すことのうちの１つまたは複数を含むことができる。

本願は、様々な情報に「アクセスする」ことに言及することがある。情報にアクセスすることは、例えば、情報を受け取ること、情報を（例えばメモリから）取り出すこと、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することのうちの１つまたは複数を含むことができる。

本願は、様々な情報を「受け取る」ことに言及することがある。受け取ることは、「アクセスする」ことと同様、広範な用語であるものとされる。情報を受け取ることは、例えば、情報にアクセスすること、または情報を（例えばメモリから）取り出すことのうちの１つまたは複数を含むことができる。さらに、「受け取る」ことは通常、例えば情報の記憶、情報の処理、情報の伝送、情報の移動、情報のコピー、情報の消去、情報の計算、情報の決定、情報の予測、または情報の推定などの動作中に、何らかの方法で関係する。

例えば「Ａ／Ｂ」、「Ａおよび／またはＢ」、および「ＡとＢのうちの少なくとも一方」の場合の、「／」、「および／または」、「少なくとも一方」のいずれかの使用は、列挙された第１のオプション（Ａ）のみの選択、または列挙された第２のオプション（Ｂ）のみの選択、または両方のオプション（ＡとＢ）の選択を含むものとされることを認識されたい。さらに他の例として、「Ａ、Ｂ、および／またはＣ」、および「Ａ、Ｂ、およびＣのうちの少なくとも１つ」の場合、このような語法は、列挙された第１のオプション（Ａ）のみの選択、または列挙された第２のオプション（Ｂ）のみの選択、または列挙された第３のオプション（Ｃ）のみの選択、または列挙された第１および第２のオプション（ＡおよびＢ）のみの選択、または列挙された第１および第３のオプション（ＡおよびＣ）のみの選択、または列挙された第２および第３のオプション（ＢおよびＣ）のみの選択、または３つのオプション全ての選択（ＡおよびＢおよびＣ）を含むものとされる。これは、当技術分野および関連技術分野の当業者には明確なように、列挙された数のアイテムに拡張され得る。

当業者には明白であろうが、実装形態は、例えば記憶または伝送され得る情報を搬送するようにフォーマットされた、様々な信号を生成できる。情報は、例えば、方法を実施するための命令、または、述べられた実装形態の１つによって生成されたデータを含むことができる。例えば、信号は、述べられた実施形態のビットストリームを搬送するようにフォーマットされ得る。このような信号は、例えば、電磁波（例えば、スペクトルの無線周波数部分を使用する）として、またはベースバンド信号としてフォーマットされることが可能である。フォーマットすることは、例えば、データストリームを符号化し、符号化済みデータストリームでキャリアを変調することを含み得る。信号が搬送する情報は、例えば、アナログまたはディジタル情報であってよい。信号は、知られている様々な異なる有線または無線リンクを介して伝送され得る。信号は、プロセッサ可読媒体に記憶できる。

Claims (23)

1. ビデオ符号化の方法であって、
   画像内の符号化されることになるブロックについての予測残差を取得することと、
   前記ブロックの予測残差を符号化するために使用されるコンテキストコード化ｂｉｎの数をカウントすることであって、前記ブロックの前記予測残差は、変換残差符号化プロセスおよび変換スキップ残差符号化プロセスの１つを使用して符号化されることになり、前記変換残差符号化プロセスおよび前記変換スキップ残差符号化プロセスは、前記コンテキストコード化ｂｉｎの数を制限するために同じ限度を使用する、ことと、
   前記限度および前記コンテキストコード化ｂｉｎの数に応じて、変換残差符号化プロセスおよび変換スキップ残差符号化プロセスの１つにおいて１つまたは複数のシンタックス要素のエントロピー符号化方法を調整することと
   を備える方法。
2. ビデオ復号の方法であって、
   ブロックの予測残差を復号するために使用されるコンテキストコード化ｂｉｎの数をカウントすることであって、前記ブロックの前記予測残差は、変換残差復号プロセスおよび変換スキップ残差復号プロセスの１つを使用して復号されることになり、前記変換残差復号プロセスおよび前記変換スキップ残差復号プロセスは、前記コンテキストコード化ｂｉｎの数を制限するために同じ限度を使用する、ことと、
   前記限度および前記コンテキストコード化ｂｉｎの数に応じて、変換残差復号プロセスおよび変換スキップ残差復号プロセスの１つにおいて１つまたは複数のシンタックス要素のエントロピー復号方法を調整することと、
   画像内の復号されることになるブロックの予測残差を取得することと
   を備える方法。
3. 前記同じ限度は、１．７５＊ＴＢ＿ｓｉｚｅに設定され、ＴＢ＿ｓｉｚｅは、前記ブロックにおけるサンプルの数を示す、請求項１の方法。
4. 予測残差の符号を示すシンタックス要素は、前記変換スキップ残差符号化プロセスまたは復号プロセスにおけるコンテキストコード化ｂｉｎの数をカウントすることから除外される、請求項１乃至３のいずれか一項に記載の方法。
5. 予測残差の絶対レベルが値よりも大きいかどうかを示すシンタックス要素は、前記変換スキップ残差符号化プロセスまたは復号プロセスにおけるコンテキストコード化ｂｉｎの数をカウントすることから除外される、請求項１乃至４のいずれか一項に記載の方法。
6. 前記ブロックにおける予測残差の符号を示すシンタックス要素を符号化するために使用されるコンテキストコード化ｂｉｎの第２の数をカウントすることであって、別の限度が、前記コンテキストコード化ｂｉｎの第２の数を制限するために使用される、こと
   をさらに備える、請求項１乃至５のいずれか一項に記載の方法。
7. 前記別の限度は、ＴＢ＿ｓｉｚｅによって決まり、ＴＢ＿ｓｉｚｅは、前記ブロックにおけるサンプルの数を示す、請求項６の方法。
8. 前記別の限度は、０．５＊ＴＢ＿ｓｉｚｅに設定される、請求項７の方法。
9. 前記変換残差符号化プロセスおよび前記変換スキップ残差符号化プロセスは、前記コンテキストコード化ｂｉｎの数をカウントするとき、シンタックス要素の同じセットを使用する、請求項１、３乃至８のいずれか一項に記載の方法。
10. 前記変換残差復号プロセスおよび前記変換スキップ残差復号プロセスは、前記コンテキストコード化ｂｉｎの数をカウントするとき、シンタックス要素の同じセットを使用する、請求項２乃至８のいずれか一項に記載の方法。
11. １つまたは複数のプロセッサを備えるビデオ符号化のための装置であって、
    前記１つまたは複数のプロセッサは、
    画像内の符号化されることになるブロックについての予測残差を取得することと、
    前記ブロックの予測残差を符号化するために使用されるコンテキストコード化ｂｉｎの数をカウントすることであって、前記ブロックの前記予測残差は、変換残差符号化プロセスおよび変換スキップ残差符号化プロセスの１つを使用して符号化されることになり、前記変換残差符号化プロセスおよび前記変換スキップ残差符号化プロセスは、前記コンテキストコード化ｂｉｎの数を制限するために同じ限度を使用する、ことと、
    前記限度および前記コンテキストコード化ｂｉｎの数に応じて、変換残差符号化プロセスおよび変換スキップ残差符号化プロセスの１つにおいて１つまたは複数のシンタックス要素のエントロピー符号化方法を調整することと
    を行うように構成される、装置。
12. １つまたは複数のプロセッサを備えるビデオ復号のための装置であって、
    前記１つまたは複数のプロセッサは、
    ブロックの予測残差を復号するために使用されるコンテキストコード化ｂｉｎの数をカウントすることであって、前記ブロックの前記予測残差は、変換残差復号プロセスおよび変換スキップ残差復号プロセスの１つを使用して復号されることになり、前記変換残差復号プロセスおよび前記変換スキップ残差復号プロセスは、前記コンテキストコード化ｂｉｎの数を制限するために同じ限度を使用する、ことと、
    前記限度および前記コンテキストコード化ｂｉｎの数に応じて、変換残差復号プロセスおよび変換スキップ残差復号プロセスの１つにおいて１つまたは複数のシンタックス要素のエントロピー復号方法を調整することと、
    画像内の復号されることになるブロックの予測残差を取得することと
    を行うように構成される、装置。
13. 前記同じ限度は、１．７５＊ＴＢ＿ｓｉｚｅに設定され、ＴＢ＿ｓｉｚｅは、前記ブロックにおけるサンプルの数を示す、請求項１１の装置。
14. 予測残差の符号を示すシンタックス要素は、前記変換スキップ残差符号化プロセスまたは復号プロセスにおけるコンテキストコード化ｂｉｎの数をカウントすることから除外される、請求項１１乃至１３のいずれか一項に記載の装置。
15. 予測残差の絶対レベルが値よりも大きいかどうかを示すシンタックス要素は、前記変換スキップ残差符号化プロセスまたは復号プロセスにおけるコンテキストコード化ｂｉｎの数をカウントすることから除外される、請求項１１乃至１４のいずれか一項に記載の装置。
16. 前記１つまたは複数のプロセッサは、
    前記ブロックにおける予測残差の符号を示すシンタックス要素を符号化するために使用されるコンテキストコード化ｂｉｎの第２の数をカウントすることであって、別の限度が、前記コンテキストコード化ｂｉｎの第２の数を制限するために使用される、こと
    を行うようにさらに構成される、請求項１１乃至１５のいずれか一項に記載の装置。
17. 前記別の限度は、ＴＢ＿ｓｉｚｅによって決まり、ＴＢ＿ｓｉｚｅは、前記ブロックにおけるサンプルの数を示す、請求項１６の装置。
18. 前記別の限度は、０．５＊ＴＢ＿ｓｉｚｅに設定される、請求項１７の装置。
19. 前記変換残差符号化プロセスおよび前記変換スキップ残差符号化プロセスは、前記コンテキストコード化ｂｉｎの数をカウントするとき、シンタックス要素の同じセットを使用する、請求項１１、１３乃至１８のいずれか一項に記載の装置。
20. 前記変換残差復号プロセスおよび前記変換スキップ残差復号プロセスは、前記コンテキストコード化ｂｉｎの数をカウントするとき、シンタックス要素の同じセットを使用する、請求項１２乃至１８のいずれか一項に記載の装置。
21. 請求項１乃至１０のいずれか一項に記載の方法を実行することによって形成される、ビットストリームを備える信号。
22. 請求項１乃至１０のいずれか一項に記載の方法にしたがってビデオを符号化または復号する命令を記憶したコンピュータ可読記憶媒体。
23. １つまたは複数のプロセッサによって実行されると、請求項１乃至１０のいずれか一項に記載の符号化方法または復号方法を前記１つまたは複数のプロセッサに実行させる命令を備えるコンピュータプログラム。

Images