JP2022548204A

JP2022548204A - 変換スキップモードで映像データを符号化するための方法及び装置

Info

Publication number: JP2022548204A
Application number: JP2022513264A
Authority: JP
Inventors: サーヴァー，モハメッド，ゴラム; リャオ，ル－リン; ルオ，ジャンコン; イエ，ヤン
Original assignee: アリババグループホウルディングリミテッド
Priority date: 2019-09-12
Filing date: 2020-08-13
Publication date: 2022-11-17
Also published as: KR20220057620A; EP4029257A1; US20210084303A1; US20220329801A1; EP4029257A4; WO2021050198A1; CN115552897A

Abstract

映像処理のための方法及び装置は、予測ブロックの最大変換サイズに基づいて予測残差に関する変換プロセスをスキップすることを決定することと、シーケンスパラメータセット（ＳＰＳ）において最大変換サイズをシグナリングすることとを含む。

Description

関連出願の相互参照
[0001] 本開示は、全体として共に本明細書に援用される、２０１９年９月１２日に出願された米国仮特許出願第６２／８９９，７３８号及び２０１９年９月２４日に出願された米国仮特許出願第６２／９０４，８８０号に対する優先権を主張するものである。

背景
[0002] 映像は、視覚情報を捕捉する一連の静止ピクチャ（又は「フレーム」）である。記憶メモリ及び伝送帯域幅を減少させるために、映像は、記憶又は伝送前に圧縮され、表示前に復元され得る。圧縮プロセスは、通常、エンコーディングと呼ばれ、復元プロセスは、通常、デコーディングと呼ばれる。最も一般的には、予測、変換、量子化、エントロピー符号化、及びインループフィルタリングに基づく、標準化映像符号化技術を用いる様々な映像符号化フォーマットが存在する。特定の映像符号化フォーマットを指定する、ＨＥＶＣ（High Efficiency Video Coding）／H.265標準規格、ＶＶＣ（Versatile Video Coding）／H.266標準規格ＡＶＳ標準規格などの映像符号化標準規格が、標準化機関によって開発されている。ますます高度な映像符号化技術が、映像標準規格に採用されるにつれて、新しい映像符号化標準規格の符号化効率は、ますます高くなる。

開示の概要
[0003] 本開示の実施形態は、映像処理のための方法及び装置を提供する。ある実施形態例では、方法は、予測ブロックの最大変換サイズに基づいて予測残差に関する変換プロセスをスキップすることを決定することと、シーケンスパラメータセット（ＳＰＳ）において最大変換サイズをシグナリングすることとを含む。

[0004] 別の実施形態では、装置は、命令を保存するように構成されたメモリと、プロセッサと、を含み、プロセッサは、予測ブロックの最大変換サイズに基づいて予測残差に関する変換プロセスをスキップすることを決定することと、シーケンスパラメータセット（ＳＰＳ）において最大変換サイズをシグナリングすることと、を装置に行わせるように、命令を実行するように構成される。

[0005] 別の実施形態例では、非一時的コンピュータ可読媒体は、命令セットを保存し、命令セットは、装置に方法を行わせるように、装置の少なくとも１つのプロセッサによって実行可能である。この方法は、予測ブロックの最大変換サイズに基づいて予測残差に関する変換プロセスをスキップすることを決定することと、シーケンスパラメータセット（ＳＰＳ）において最大変換サイズをシグナリングすることと、を含む。

[0006] 別の実施形態例では、方法は、映像シーケンスのビットストリームを受け取ることと、映像シーケンスのシーケンスパラメータセット（ＳＰＳ）に基づいて、予測ブロックの最大変換サイズを決定することと、最大変換サイズに基づいて、予測ブロックの予測残差に関する変換プロセスをスキップすることを決定することと、を含む。

[0007] 別の実施形態では、装置は、命令を保存するように構成されたメモリと、プロセッサと、を含み、プロセッサは、映像シーケンスのビットストリームを受け取ることと、映像シーケンスのシーケンスパラメータセット（ＳＰＳ）に基づいて、予測ブロックの最大変換サイズを決定することと、最大変換サイズに基づいて、予測ブロックの予測残差に関する変換プロセスをスキップすることを決定することと、を装置に行わせるように、命令を実行するように構成される。

[0008] 別の実施形態例では、非一時的コンピュータ可読媒体は、命令セットを保存し、命令セットは、装置に方法を行わせるように、装置の少なくとも１つのプロセッサによって実行可能である。この方法は、映像シーケンスのビットストリームを受け取ることと、映像シーケンスのシーケンスパラメータセット（ＳＰＳ）に基づいて、予測ブロックの最大変換サイズを決定することと、最大変換サイズに基づいて、予測ブロックの予測残差に関する変換プロセスをスキップすることを決定することと、を含む。

図面の簡単な説明
[0009] 本開示の実施形態及び様々な局面は、以下の詳細な説明及び添付の図面に示される。図面に示される様々な特徴は、一定の縮尺で描かれていない。

[0010]本開示の幾つかの実施形態による、映像シーケンス例の構造を示す模式図である。 [0011]本開示の実施形態と一致した、ハイブリッド映像符号化システムのエンコーディングプロセス例の模式図を示す。 [0012]本開示の実施形態と一致した、ハイブリッド映像符号化システムの別のエンコーディングプロセス例の模式図を示す。 [0013]本開示の実施形態と一致した、ハイブリッド映像符号化システムのデコーディングプロセス例の模式図を示す。 [0014]本開示の実施形態と一致した、ハイブリッド映像符号化システムの別のデコーディングプロセス例の模式図を示す。 [0015]本開示の幾つかの実施形態による、映像をエンコード又はデコードするための装置例のブロック図を示す。 [0016]本開示の幾つかの実施形態による、シーケンスパラメータセット（ＳＰＳ）のシンタックス構造例を示す表１を示す。 [0017]本開示の幾つかの実施形態による、ピクチャパラメータセット（ＳＰＳ）のシンタックス構造例を示す表２を示す。 [0018]本開示の幾つかの実施形態による、変換ユニットのシンタックス構造例を示す表３を示す。 [0019]本開示の幾つかの実施形態による、ブロック差分パルスコード変調（ＢＤＰＣＭ）モードのシグナリングに関係するシンタックス構造例を示す表４を示す。 [0020]本開示の幾つかの実施形態による、ＳＰＳの別のシンタックス構造例を示す表５を示す。 [0021]本開示の幾つかの実施形態による、変換ユニットの別のシンタックス構造例を示す表６を示す。 [0022]本開示の幾つかの実施形態による、６４×６４の変換ブロック（ＴＢ）の対角スキャニング例を示す模式図である。 [0023]本開示の幾つかの実施形態による残差ユニット（ＲＵ）例を示す。 [0023]本開示の幾つかの実施形態による残差ユニット（ＲＵ）例を示す。 [0023]本開示の幾つかの実施形態による残差ユニット（ＲＵ）例を示す。 [0023]本開示の幾つかの実施形態による残差ユニット（ＲＵ）例を示す。 [0024]本開示の幾つかの実施形態による、ＴＢが４つの３２×３２のＲＵに分割される６４×６４のＴＢの対角スキャニングの一例を示す模式図である。 [0025]本開示の幾つかの実施形態による、ＴＢがＲＵに分割されるときの残差符号化に関するシンタックス構造例を示す表７を示す。 [0025]本開示の幾つかの実施形態による、ＴＢがＲＵに分割されるときの残差符号化に関するシンタックス構造例を示す表７を示す。 [0025]本開示の幾つかの実施形態による、ＴＢがＲＵに分割されるときの残差符号化に関するシンタックス構造例を示す表７を示す。 [0025]本開示の幾つかの実施形態による、ＴＢがＲＵに分割されるときの残差符号化に関するシンタックス構造例を示す表７を示す。 [0026]本開示の幾つかの実施形態による、残差符号化に関する別のシンタックス構造例を示す表８を示す。 [0026]本開示の幾つかの実施形態による、残差符号化に関する別のシンタックス構造例を示す表８を示す。 [0026]本開示の幾つかの実施形態による、残差符号化に関する別のシンタックス構造例を示す表８を示す。 [0026]本開示の幾つかの実施形態による、残差符号化に関する別のシンタックス構造例を示す表８を示す。 [0027]本開示の幾つかの実施形態による、クロマフォーマットから導出されたパラメータ値例を示す表９を示す。 [0028]本開示の幾つかの実施形態による、逆レベルマッピングを行う残差符号化に関する、Versatile Video Coding Draft 6のシンタックス構造例を示す表１０を示す。 [0029]本開示の幾つかの実施形態による、デコーディング方法例のフローチャートである。 [0030]本開示の幾つかの実施形態による、逆レベルマッピングが実行されない残差符号化に関するシンタックス構造例を示す表１１を示す。 [0031]本開示の幾つかの実施形態による、Riceパラメータを選択するためのルックアップ表例を示す表１２を示す。 [0032]本開示の幾つかの実施形態による、映像処理のためのプロセス例のフローチャートを示す。 [0033]本開示の幾つかの実施形態による、映像処理のための別のプロセス例のフローチャートを示す。

詳細な説明
[0034] これより、添付の図面に示される実施形態例に詳細に言及できる。以下の説明は、別段の説明のない限り、異なる図面の同じ番号が、同じ又は類似の要素を表す、添付の図面を参照する。実施形態例の以下の説明に記載する実施態様は、本発明と一致した全ての実施態様を表すわけではない。代わりに、それらは、添付の特許請求の範囲に記載される本発明に関連する局面と一致した装置及び方法の例に過ぎない。以下に、本開示の特定の局面をより詳細に記載する。援用された用語及び／又は定義と矛盾する場合は、本明細書に提供される用語及び定義が優先する。

[0035] ＩＴＵ－ＴＶＣＥＧ（ITU-T Video Coding Expert Group）及びＩＳＯ／ＩＥＣＭＰＥＧ（ISO/IEC Moving Picture Expert Group）のＪＶＥＴ（Joint Video Experts Team）は、現在、ＶＶＣ（Versatile Video Coding）／H.266標準規格を開発中である。ＶＶＣ標準規格は、その先行バージョンであるＨＥＶＣ（High Efficiency Video Coding）／H.265標準規格の圧縮効率を倍にすることを目的とする。つまり、ＶＶＣの目標は、ＨＥＶＣ／H.265と同じ主観的品質を半分の帯域幅で達成することである。

[0036] 半分の帯域幅でＨＥＶＣ／H.265と同じ主観的品質を達成するために、ＪＶＥＴは、ＪＥＭ（joint exploration model）参照ソフトウェアを使用して、ＨＥＶＣを超える技術を開発してきた。符号化技術がＪＥＭに組み込まれたため、ＪＥＭは、ＨＥＶＣよりも大幅に高い符号化性能を実現した。

[0037] ＶＶＣ標準規格は、最近開発されたものであり、より良い圧縮性能を提供する、さらに多くの符号化技術を加え続けている。ＶＶＣは、ＨＥＶＣ、H.264／ＡＶＣ、MPEG2、H.263などの近代の映像圧縮標準規格で使用されてきた、同じハイブリッド映像符号化システムに基づく。

[0038] 映像は、視覚情報を保存するために、時系列で配置された一連の静止ピクチャ（又は「フレーム」）である。映像キャプチャデバイス（例えば、カメラ）を使用して、これらのピクチャを時系列で捕捉及び保存することができ、映像再生デバイス（例えば、テレビ、コンピュータ、スマートフォン、タブレットコンピュータ、ビデオプレーヤー、又は表示機能を備えた任意のエンドユーザ端末）を使用して、このようなピクチャを時系列で表示することができる。また、用途によっては、監視、会議の開催、又は生放送などのために、映像キャプチャデバイスは、捕捉された映像を映像再生デバイス（例えば、モニタを備えたコンピュータ）にリアルタイムで伝送することができる。

[0039] このような用途で必要とされる記憶空間及び伝送帯域幅を減少させるために、映像は、記憶及び伝送前に圧縮され、表示前に復元され得る。圧縮及び復元は、プロセッサ（例えば、汎用コンピュータのプロセッサ）又は専用ハードウェアによって実行されるソフトウェアによって実施され得る。圧縮用のモジュールは、一般に「エンコーダ」と呼ばれ、復元用のモジュールは、一般に「デコーダ」と呼ばれる。エンコーダ及びデコーダは、まとめて「コーデック」と呼ばれることがある。エンコーダ及びデコーダは、様々な適切なハードウェア、ソフトウェア、又はこれらの組み合わせの何れかとして実装され得る。例えば、エンコーダ及びデコーダのハードウェア実装は、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、離散論理、又はこれらの任意の組み合わせなどの回路網を含み得る。エンコーダ及びデコーダのソフトウェア実装は、プログラムコード、コンピュータ実行可能命令、ファームウェア、又はコンピュータ可読媒体に固定された、任意の適切なコンピュータ実施アルゴリズム若しくはプロセスを含み得る。映像圧縮及び復元は、MPEG-1、MPEG-2、MPEG-4、H.26x系などの様々なアルゴリズム又は標準規格によって実施され得る。用途によっては、コーデックが、第１の符号化標準規格から映像を復元し、第２の符号化標準規格を用いて復元映像を再圧縮することができ、この場合、コーデックは、「トランスコーダ」と呼ばれることがある。

[0040] 映像エンコーディングプロセスは、ピクチャの再構成のために使用することができる有用な情報を識別及び保持し、再構成にとって重要ではない情報を無視することができる。無視された重要ではない情報を完全に再構成することができない場合、このようなエンコーディングプロセスは、「不可逆」と呼ばれることがある。そうでなければ、それは、「可逆」と呼ばれることがある。ほとんどのエンコーディングプロセスは、不可逆であり、これは、必要とされる記憶空間及び伝送帯域幅を減少させるためのトレードオフである。

[0041] （「現在のピクチャ」と呼ばれる）エンコードされているピクチャの有用な情報は、参照ピクチャ（例えば、前にエンコードされた、及び再構成されたピクチャ）に対する変化を含む。このような変化は、ピクセルの位置変化、輝度変化、又は色変化を含む場合があり、中でも、位置変化は、最も重要である。物体を表すピクセル群の位置変化は、参照ピクチャ及び現在のピクチャ間の物体の動きを反映し得る。

[0042] 別のピクチャを参照することなく符号化されたピクチャ（すなわち、それは、それ自体の参照ピクチャである）は、「Ｉピクチャ」と呼ばれる。前のピクチャを参照ピクチャとして使用して符号化されたピクチャは、「Ｐピクチャ」と呼ばれる。前のピクチャ及び未来のピクチャの両方を参照ピクチャとして使用して（すなわち、参照が「双方向」である）符号化されたピクチャは、「Ｂピクチャ」と呼ばれる。

[0043] 図１は、本開示の幾つかの実施形態による、映像シーケンス例１００の構造を示す。映像シーケンス１００は、ライブ映像、又は捕捉及びアーカイブされた映像でもよい。映像１００は、実際の映像、コンピュータ生成された映像（例えば、コンピュータゲーム映像）、又はそれらの組み合わせ（例えば、拡張現実効果を有した実際の映像）でもよい。映像シーケンス１００は、映像キャプチャデバイス（例えば、カメラ）、前に捕捉された映像を包含する映像アーカイブ（例えば、記憶デバイスに保存された映像ファイル）、又は映像コンテンツプロバイダから映像を受信するための映像フィードインタフェース（例えば、映像ブロードキャストトランシーバ）から入力され得る。

[0044] 図１に示されるように、映像シーケンス１００は、ピクチャ１０２、１０４、１０６、及び１０８を含むタイムラインに沿って時間的に配置された一連のピクチャを含み得る。ピクチャ１０２～１０６は連続しており、ピクチャ１０６と１０８との間には、さらに多くのピクチャが存在する。図１では、ピクチャ１０２は、Ｉピクチャであり、それの参照ピクチャは、ピクチャ１０２自体である。ピクチャ１０４は、Ｐピクチャであり、それの参照ピクチャは、矢印によって示されるように、ピクチャ１０２である。ピクチャ１０６は、Ｂピクチャであり、それの参照ピクチャは、矢印によって示されるように、ピクチャ１０４及び１０８である。幾つかの実施形態では、あるピクチャ（例えば、ピクチャ１０４）の参照ピクチャは、当該ピクチャの直前又は直後に存在しなくてもよい。例えば、ピクチャ１０４の参照ピクチャは、ピクチャ１０２に先行するピクチャでもよい。ピクチャ１０２～１０６の参照ピクチャは単なる例であり、本開示は、参照ピクチャの実施形態を図１に示される例のように限定しないことに留意されたい。

[0045] 一般的に、映像コーデックは、ピクチャ全体のエンコーディング又はデコーディングを、そのようなタスクの計算の複雑さゆえに、一度に行わない。より正確に言えば、それらは、ピクチャを基本セグメントに分割し、セグメントごとにピクチャをエンコード又はデコードし得る。このような基本セグメントは、本開示では、基本処理ユニット（「ＢＰＵ（basic processing unit）」）と呼ばれる。例えば、図１の構造１１０は、映像シーケンス１００のあるピクチャ（例えば、ピクチャ１０２～１０８の何れか）の構造例を示す。構造１１０では、ピクチャは、４×４の基本処理ユニットに分割され、それらの境界は、破線で示されている。幾つかの実施形態では、基本処理ユニットは、一部の映像符号化標準規格（例えば、ＭＰＥＧ系統、H.261、H.263、若しくはH.264／ＡＶＣ）では「マクロブロック」と呼ばれることがあり、又は一部の他の映像符号化標準規格（例えば、H.265／ＨＥＶＣ若しくはH.266／ＶＶＣ）では、「符号化ツリーユニット」（「ＣＴＵ（coding tree unit）」）と呼ばれることがある。基本処理ユニットは、１２８×１２８、６４×６４、３２×３２、１６×１６、４×８、１６×３２、又はピクセルの任意の形状及びサイズなどのピクチャの可変サイズを有し得る。基本処理ユニットのサイズ及び形状は、符号化効率と、基本処理ユニットにおいて維持されるべき詳細のレベルのバランスに基づいて、ピクチャごとに選択することができる。

[0046] 基本処理ユニットは、コンピュータメモリに（例えば、映像フレームバッファに）保存された異なる複数のタイプの映像データの一群を含み得る論理ユニットでもよい。例えば、カラーピクチャの基本処理ユニットは、無彩色の明度情報を表すルマ成分（Ｙ）、色情報を表す１つ又は複数のクロマ成分（例えば、Ｃｂ及びＣｒ）、並びに関連のシンタックス要素を含み得る（ここでは、ルマ成分及びクロマ成分は、同じサイズの基本処理ユニットを有し得る）。ルマ成分及びクロマ成分は、一部の映像符号化標準規格（例えば、H.265／ＨＥＶＣ又はH.266／ＶＶＣ）では、「符号化ツリーブロック」（「ＣＴＢ（coding tree block）」）と呼ばれることがある。基本処理ユニットに対して行われるどのような演算も、それのルマ成分及びクロマ成分のそれぞれに対して繰り返し行うことができる。

[0047] 映像符号化は、複数の演算ステージを有し、これらの例を図２Ａ～２Ｂ及び図３Ａ～３Ｂに示す。各ステージで、基本処理ユニットのサイズが、処理するにはまだ大き過ぎる場合があり、したがって、本開示では「基本処理サブユニット」と呼ばれるセグメントへとさらに分割され得る。幾つかの実施形態では、基本処理サブユニットは、一部の映像符号化標準規格（例えば、ＭＰＥＧ系統、H.261、H.263、若しくはH.264／ＡＶＣ）では「ブロック」と呼ばれることがあり、又は一部の他の映像符号化標準規格（例えば、H.265／ＨＥＶＣ若しくはH.266／ＶＶＣ）では、「符号化ユニット」（「ＣＵ（coding unit）」）と呼ばれることがある。基本処理サブユニットは、基本処理ユニットと同じ又はより小さいサイズを有してもよい。基本処理ユニットと同様に、基本処理サブユニットも、コンピュータメモリに（例えば、映像フレームバッファに）保存された異なる複数のタイプの映像データ（例えば、Ｙ、Ｃｂ、Ｃｒ、及び関連のシンタックス要素）の一群を含み得る論理ユニットである。基本処理サブユニットに対して行われるどのような演算も、それのルマ成分及びクロマ成分のそれぞれに対して繰り返し行うことができる。このような分割は、処理のニーズに応じてさらなるレベルに対して行われ得ることに留意されたい。異なるステージが異なるスキームを用いて基本処理ユニットを分割し得ることにも留意されたい。

[0048] 例えば、モード決定ステージ（それの一例を図２Ｂに示す）において、エンコーダは、基本処理ユニットに対してどの予測モード（例えば、ピクチャ内予測又はピクチャ間予測）を使用すべきかを決定することができ、基本処理ユニットは、このような決定を下すには大き過ぎる場合がある。エンコーダは、基本処理ユニットを複数の基本処理サブユニット（例えば、H.265／ＨＥＶＣ又はH.266／ＶＶＣの場合のＣＵ）に分割し、及び個々の基本処理サブユニットごとに予測タイプを決定することができる。

[0049] 別の例として、予測ステージ（それの一例を図２Ａ～２Ｂに示す）において、エンコーダは、基本処理サブユニット（例えば、ＣＵ）のレベルで予測演算を行うことができる。しかしながら、場合によっては、基本処理サブユニットは、処理するにはまだ大き過ぎる場合がある。エンコーダは、基本処理サブユニットを（例えば、H.265／ＨＥＶＣ又はH.266／ＶＶＣにおいては「予測ブロック」又は「ＰＢ（prediction block）」と呼ばれる）より小さなセグメントにさらに分割することができ、このセグメントのレベルで、予測演算を行うことができる。

[0050] 別の例として、変換ステージ（それの一例を図２Ａ～２Ｂに示す）では、エンコーダは、残差基本処理サブユニット（例えば、ＣＵ）に対して変換演算を行うことができる。しかしながら、場合によっては、基本処理サブユニットは、処理するにはまだ大き過ぎる場合がある。エンコーダは、基本処理サブユニットを（例えば、H.265／ＨＥＶＣ又はH.266／ＶＶＣにおいては「変換ブロック」又は「ＴＢ（transform block）」と呼ばれる）より小さなセグメントにさらに分割することができ、このセグメントのレベルで、変換演算を行うことができる。同じ基本処理サブユニットの分割スキームが予測ステージ及び変換ステージで異なり得ることに留意されたい。例えば、H.265／ＨＥＶＣ又はH.266／ＶＶＣでは、同じＣＵの予測ブロック及び変換ブロックが異なるサイズ及び数を有し得る。

[0051] 図１の構造１１０では、基本処理ユニット１１２は、３×３の基本処理サブユニットにさらに分割され、それらの境界は、点線で示される。同じピクチャの異なる基本処理ユニットが、異なるスキームで基本処理サブユニットに分割されてもよい。

[0052] 幾つかの実施態様では、並列処理能力、並びに映像エンコーディング及びデコーディングに対する誤り耐性を提供するために、ピクチャの領域ごとに、エンコーディング又はデコーディングプロセスがピクチャの他のどの領域からの情報にも依存しないことが可能であるように、ピクチャは、処理のために複数の領域に分割され得る。つまり、ピクチャの各領域は、独立して処理することができる。そうすることで、コーデックは、ピクチャの異なる複数の領域を並列に処理することができ、したがって、符号化効率が向上される。また、ある領域のデータが処理時に壊れた場合、又はネットワーク伝送時に失われた場合、コーデックは、壊れたデータ又は失われたデータに依存することなく、同じピクチャの他の領域を正確にエンコード又はデコードすることができ、したがって、誤り耐性能力が提供される。一部の映像符号化標準規格では、ピクチャは、異なる複数のタイプの領域に分割することができる。例えば、H.265／ＨＥＶＣ及びH.266／ＶＶＣは、２つの領域タイプ：「スライス」及び「タイル」を提供する。映像シーケンス１００の異なる複数のピクチャが、ピクチャを領域に分割するための異なるパーティションスキームを有し得ることにも留意されたい。

[0053] 例えば、図１において、構造１１０は、３つの領域１１４、１１６、及び１１８に分割され、それらの境界は、構造１１０内の実線として示されている。領域１１４は、４つの基本処理ユニットを含む。領域１１６及び１１８のそれぞれは、６つの基本処理ユニットを含む。図１の構造１１０の基本処理ユニット、基本処理サブユニット、及び領域は、単なる例であり、本開示は、それらの実施形態を限定しないことに留意されたい。

[0054] 図２Ａは、本開示の実施形態と一致したエンコーディングプロセス例２００Ａの模式図を示す。例えば、エンコーディングプロセス２００Ａは、エンコーダによって行うことができる。図２Ａに示されるように、エンコーダは、プロセス２００Ａに従って、映像シーケンス２０２を映像ビットストリーム２２８へとエンコードすることができる。図１の映像シーケンス１００と同様に、映像シーケンス２０２は、時間的順序で配置された（「オリジナルピクチャ」と呼ばれる）ピクチャのセットを含み得る。図１の構造１１０と同様に、映像シーケンス２０２の各オリジナルピクチャは、エンコーダによって、基本処理ユニット、基本処理サブユニット、又は処理用の領域に分割することができる。幾つかの実施形態では、エンコーダは、映像シーケンス２０２のオリジナルピクチャごとに、基本処理ユニットのレベルでプロセス２００Ａを行うことができる。例えば、プロセス２００Ａの１回の反復でエンコーダが１つの基本処理ユニットをエンコードすることができる反復的やり方で、エンコーダは、プロセス２００Ａを行い得る。幾つかの実施形態では、エンコーダは、映像シーケンス２０２の各オリジナルピクチャの領域（例えば、領域１１４～１１８）に対してプロセス２００Ａを並行して行うことができる。

[0055] 図２Ａでは、エンコーダは、予測データ２０６及び予測ＢＰＵ２０８を生成するために、映像シーケンス２０２のオリジナルピクチャの基本処理ユニット（「オリジナルＢＰＵ」と呼ばれる）を予測ステージ２０４に送ることができる。エンコーダは、オリジナルＢＰＵから予測ＢＰＵ２０８を減算することによって、残差ＢＰＵ２１０を生成することができる。エンコーダは、量子化変換係数２１６を生成するために、残差ＢＰＵ２１０を変換ステージ２１２及び量子化ステージ２１４に送ることができる。エンコーダは、映像ビットストリーム２２８を生成するために、予測データ２０６及び量子化変換係数２１６を二進符号化ステージ２２６に送ることができる。コンポーネント２０２、２０４、２０６、２０８、２１０、２１２、２１４、２１６、２２６、及び２２８は、「順方向経路」と呼ばれることがある。プロセス２００Ａ中に、エンコーダは、量子化ステージ２１４の後に、再構成残差ＢＰＵ２２２を生成するために、量子化変換係数２１６を逆量子化ステージ２１８及び逆変換ステージ２２０に送ることができる。エンコーダは、再構成残差ＢＰＵ２２２を予測ＢＰＵ２０８に加算することによって、プロセス２００Ａの次の反復のために予測ステージ２０４において使用される予測参照２２４を生成することができる。プロセス２００Ａのコンポーネント２１８、２２０、２２２、及び２２４は、「再構成経路」と呼ばれることがある。再構成経路は、エンコーダ及びデコーダが共に予測のために同じ参照データを使用することを確実にするために使用することができる。

[0056] エンコーダは、（順方向経路において）オリジナルピクチャの各オリジナルＢＰＵをエンコードし、及び（再構成経路において）オリジナルピクチャの次のオリジナルＢＰＵをエンコードするための予測参照２２４を生成するために、反復的にプロセス２００Ａを行うことができる。オリジナルピクチャの全てのオリジナルＢＰＵをエンコードした後に、エンコーダは、映像シーケンス２０２の次のピクチャのエンコーディングに進むことができる。

[0057] プロセス２００Ａを参照すると、エンコーダは、映像キャプチャデバイス（例えば、カメラ）によって生成された映像シーケンス２０２を受け取ることができる。本明細書で使用される「受け取る（receive）」という用語は、受け取ること、入力すること、獲得すること、取り出すこと、取得すること、読み出すこと、アクセスすること、又はデータを入力するためのあらゆる方法のあらゆるアクションを指し得る。

[0058] 予測ステージ２０４において、現在の反復では、エンコーダは、オリジナルＢＰＵ及び予測参照２２４を受け取ることができ、並びに予測データ２０６及び予測ＢＰＵ２０８を生成するために予測演算を行うことができる。予測参照２２４は、プロセス２００Ａの前の反復の再構成経路から生成することができる。予測ステージ２０４の目的は、オリジナルＢＰＵを再構成するために使用することができる予測データ２０６を予測データ２０６及び予測参照２２４から予測ＢＰＵ２０８として抽出することによって、情報の冗長性を減少させることである。

[0059] 理想的には、予測ＢＰＵ２０８は、オリジナルＢＰＵと同一となり得る。しかしながら、非理想的な予測及び再構成演算により、予測ＢＰＵ２０８は、一般に、オリジナルＢＰＵとは僅かに異なる。このような差を記録するために、予測ＢＰＵ２０８を生成した後に、エンコーダは、それをオリジナルＢＰＵから減算することによって、残差ＢＰＵ２１０を生成することができる。例えば、エンコーダは、予測ＢＰＵ２０８のピクセルの値（例えば、グレースケール値又はＲＧＢ値）をオリジナルＢＰＵの対応するピクセルの値から減算することができる。残差ＢＰＵ２１０の各ピクセルは、オリジナルＢＰＵ及び予測ＢＰＵ２０８の対応するピクセル間のこのような減算の結果として残差値を有し得る。オリジナルＢＰＵと比較して、予測データ２０６及び残差ＢＰＵ２１０は、より少ないビットを有し得るが、それらを使用して、大きな品質の劣化なしにオリジナルＢＰＵを再構成することができる。したがって、オリジナルＢＰＵは、圧縮される。

[0060] 残差ＢＰＵ２１０をさらに圧縮するために、変換ステージ２１２において、エンコーダは、それを２次元「基底パターン」のセットに分解する（各基底パターンは、「変換係数」に関連付けられる）ことによって、残差ＢＰＵ２１０の空間冗長性を減少させることができる。基底パターンは、同じサイズ（例えば、残差ＢＰＵ２１０のサイズ）を有し得る。各基底パターンは、残差ＢＰＵ２１０の変動周波数（例えば、明度変動の周波数）成分を表し得る。どの基底パターンも、その他の基底パターンの何れの結合（例えば、線形結合）からも再現することができない。つまり、この分解は、残差ＢＰＵ２１０の変動を周波数領域に分解することができる。このような分解は、関数の離散フーリエ変換に類似し、ここでは、基底パターンは、離散フーリエ変換の基底関数（例えば、三角法関数）に類似し、変換係数は、基底関数に関連付けられた係数に類似する。

[0061] 異なる変換アルゴリズムは、異なる基底パターンを使用することができる。例えば、離散コサイン変換、又は離散サイン変換などの様々な変換アルゴリズムを変換ステージ２１２において使用することができる。変換ステージ２１２における変換は、可逆である。すなわち、エンコーダは、（「逆変換」と呼ばれる）変換の逆演算によって残差ＢＰＵ２１０を復元することができる。例えば、残差ＢＰＵ２１０のピクセルを復元するために、逆変換は、基底パターンの対応するピクセルの値をそれぞれの関連付けられた係数で乗算すること、及びそれらの積を加算することによって加重和を生成することでもよい。映像符号化標準規格のために、エンコーダ及びデコーダは共に、同じ変換アルゴリズム（したがって、同じ基底パターン）を使用することができる。したがって、エンコーダは、変換係数のみを記録することができ、デコーダは、基底パターンをエンコーダから受け取ることなく、変換係数から残差ＢＰＵ２１０を再構成することができる。残差ＢＰＵ２１０と比較して、変換係数は、より少ないビットを有し得るが、それらを使用して、大きな品質の劣化なしに残差ＢＰＵ２１０を再構成することができる。したがって、残差ＢＰＵ２１０は、さらに圧縮される。

[0062] エンコーダは、量子化ステージ２１４において変換係数をさらに圧縮することができる。変換プロセスにおいて、異なる基底パターンは、異なる変動周波数（例えば、明度変動周波数）を表し得る。人間の目は、一般に、低周波変動を認識することが得意であるため、エンコーダは、デコーディングにおいて大きな品質の劣化を生じさせることなく、高周波変動の情報を無視することができる。例えば、量子化ステージ２１４において、エンコーダは、各変換係数を（「量子化パラメータ」と呼ばれる）整数値で除算し、及びその商を最も近い整数に丸めることによって、量子化変換係数２１６を生成することができる。このような演算後に、高周波基底パターンの幾つかの変換係数がゼロに変換され得、低周波基底パターンの変換係数が、より小さい整数に変換され得る。エンコーダは、ゼロ値の量子化変換係数２１６を無視することができ、それによって、変換係数がさらに圧縮される。量子化プロセスも可逆であり、ここでは、量子化変換係数２１６は、（「逆量子化」と呼ばれる）量子化の逆演算で、変換係数に再構成され得る。

[0063] エンコーダは、丸め演算においてこのような除算の余りを無視するので、量子化ステージ２１４は、不可逆となり得る。一般的に、量子化ステージ２１４は、プロセス２００Ａにおいて、最も多くの情報損失に寄与し得る。情報損失が大きくなるほど、量子化変換係数２１６が必要とし得るビットが少なくなる。異なる情報損失レベルを得るために、エンコーダは、量子化パラメータ又は量子化プロセスのその他のパラメータの異なる値を使用し得る。

[0064] 二進符号化ステージ２２６では、エンコーダは、例えば、エントロピー符号化、可変長符号化、算術符号化、ハフマン符号化、コンテキスト適応的二進算術符号化、又はその他の可逆若しくは不可逆圧縮アルゴリズムなどの二進符号化技術を使用して、予測データ２０６及び量子化変換係数２１６をエンコードすることができる。幾つかの実施形態では、予測データ２０６及び量子化変換係数２１６の他にも、エンコーダは、例えば、予測ステージ２０４で使用される予測モード、予測演算のパラメータ、変換ステージ２１２における変換タイプ、量子化プロセスのパラメータ（例えば、量子化パラメータ）、又はエンコーダ制御パラメータ（例えば、ビットレート制御パラメータ）などの他の情報を二進符号化ステージ２２６においてエンコードすることができる。エンコーダは、二進符号化ステージ２２６の出力データを使用して、映像ビットストリーム２２８を生成することができる。幾つかの実施形態では、映像ビットストリーム２２８は、ネットワーク伝送のためにさらにパケット化され得る。

[0065] プロセス２００Ａの再構成経路を参照すると、逆量子化ステージ２１８において、エンコーダは、量子化変換係数２１６に対して逆量子化を行うことによって、再構成変換係数を生成することができる。逆変換ステージ２２０では、エンコーダは、再構成変換係数に基づいて、再構成残差ＢＰＵ２２２を生成することができる。エンコーダは、再構成残差ＢＰＵ２２２を予測ＢＰＵ２０８に加算することによって、プロセス２００Ａの次の反復で使用される予測参照２２４を生成することができる。

[0066] 映像シーケンス２０２をエンコードするために、プロセス２００Ａの他のバリエーションが使用され得ることに留意されたい。幾つかの実施形態では、プロセス２００Ａのステージは、異なる順序でエンコーダによって行うことができる。幾つかの実施形態では、プロセス２００Ａの１つ又は複数のステージは、単一のステージに統合されてもよい。幾つかの実施形態では、プロセス２００Ａの単一のステージが、複数のステージに分割されてもよい。例えば、変換ステージ２１２及び量子化ステージ２１４が単一のステージに統合されてもよい。幾つかの実施形態では、プロセス２００Ａは、さらなるステージを含んでもよい。幾つかの実施形態では、プロセス２００Ａは、図２Ａの１つ又は複数のステージを省略してもよい。

[0067] 図２Ｂは、本開示の実施形態と一致した別のエンコーディングプロセス例２００Ｂの模式図を示す。プロセス２００Ｂは、プロセス２００Ａから変更され得る。例えば、プロセス２００Ｂは、ハイブリッド映像符号化標準規格（例えば、H.26x系）に準拠したエンコーダによって使用され得る。プロセス２００Ａと比較して、プロセス２００Ｂの順方向経路は、モード決定ステージ２３０をさらに含み、予測ステージ２０４を空間予測ステージ２０４２及び時間予測ステージ２０４４に分割する。プロセス２００Ｂの再構成経路は、ループフィルタステージ２３２及びバッファ２３４をさらに含む。

[0068] 一般に、予測技術は、２つのタイプ：空間予測及び時間予測に分類することができる。空間予測（例えば、ピクチャ内予測又は「イントラ予測」）は、同じピクチャ内の１つ又は複数の既に符号化された隣接ＢＰＵからのピクセルを使用することによって、現在のＢＰＵを予測することができる。すなわち、空間予測における予測参照２２４は、隣接ＢＰＵを含み得る。空間予測は、ピクチャの固有の空間冗長性を減少させることができる。時間予測（例えば、ピクチャ間予測又は「インター予測」）は、１つ又は複数の既に符号化されたピクチャからの領域を使用することによって、現在のＢＰＵを予測することができる。すなわち、時間予測における予測参照２２４は、符号化されたピクチャを含み得る。時間予測は、ピクチャの固有の時間冗長性を減少させることができる。

[0069] プロセス２００Ｂを参照すると、順方向経路において、エンコーダは、空間予測ステージ２０４２及び時間予測ステージ２０４４において予測演算を行う。例えば、空間予測ステージ２０４２において、エンコーダは、イントラ予測を行うことができる。エンコードされているピクチャのオリジナルＢＰＵに関して、予測参照２２４は、同じピクチャ内の、（順方向経路において）エンコードされ、及び（再構成経路において）再構成された１つ又は複数の隣接ＢＰＵを含み得る。エンコーダは、隣接ＢＰＵを外挿することによって予測ＢＰＵ２０８を生成することができる。外挿技術には、例えば、線形外挿若しくは補間、又は多項式外挿若しくは補間などが含まれ得る。幾つかの実施形態では、エンコーダは、例えば予測ＢＰＵ２０８のピクセルごとに対応するピクセルの値を外挿することによって、ピクセルレベルで外挿を行い得る。外挿に使用される隣接ＢＰＵは、垂直方向（例えば、オリジナルＢＰＵの上）、水平方向（例えば、オリジナルＢＰＵの左）、対角線方向（例えば、オリジナルＢＰＵの左下、右下、左上、若しくは右上）、又は使用した映像符号化標準規格において定義される任意の方向などの様々な方向からオリジナルＢＰＵに対して位置し得る。イントラ予測の場合、予測データ２０６は、例えば、使用された隣接ＢＰＵの場所（例えば、座標）、使用された隣接ＢＰＵのサイズ、外挿のパラメータ、又はオリジナルＢＰＵに対する使用された隣接ＢＰＵの方向などを含み得る。

[0070] 別の例として、時間予測ステージ２０４４では、エンコーダは、インター予測を行うことができる。現在のピクチャのオリジナルＢＰＵに関して、予測参照２２４は、（順方向経路において）エンコードされ、及び（再構成経路において）再構成された１つ又は複数のピクチャ（「参照ピクチャ」と呼ばれる）を含み得る。幾つかの実施形態では、参照ピクチャは、ＢＰＵごとにエンコードされ、及び再構成され得る。例えば、エンコーダは、再構成残差ＢＰＵ２２２を予測ＢＰＵ２０８に加算することによって、再構成ＢＰＵを生成することができる。同じピクチャの全ての再構成ＢＰＵが生成されると、エンコーダは、参照ピクチャとして再構成ピクチャを生成することができる。エンコーダは、参照ピクチャの（「探索窓（search window）」と呼ばれる）範囲内のマッチング領域を探索するために、「動き推定」の演算を行い得る。参照ピクチャにおける探索窓の場所は、現在のピクチャにおけるオリジナルＢＰＵの場所に基づいて決定することができる。例えば、探索窓は、現在のピクチャのオリジナルＢＰＵと同じ参照ピクチャ内の座標を有する場所を中心としてもよく、所定の距離だけ外に延在されてもよい。エンコーダが（例えば、ペル再帰アルゴリズム又はブロックマッチングアルゴリズムなどを使用して）探索窓内のオリジナルＢＰＵに類似した領域を識別すると、エンコーダは、そのような領域をマッチング領域として決定することができる。マッチング領域は、オリジナルＢＰＵとは異なる寸法（例えば、より小さい、等しい、より大きい、又は異なる形状）を有してもよい。参照ピクチャ及び現在のピクチャは、（例えば図１に示されるように）タイムラインにおいて時間的に分離されるため、時間が経過するにつれて、マッチング領域がオリジナルＢＰＵの場所に「移動する」と見なすことができる。エンコーダは、そのような動きの方向及び距離を「動きベクトル」として記録し得る。（例えば、図１のピクチャ１０６のように）複数の参照ピクチャが使用される場合、エンコーダは、参照ピクチャごとに、マッチング領域を探索し、それに関連付けられた動きベクトルを決定することができる。幾つかの実施形態では、エンコーダは、それぞれのマッチング参照ピクチャのマッチング領域のピクセル値に重みを割り当てることができる。

[0071] 動き推定を使用して、例えば、平行移動、回転、又はズーミングなどの様々なタイプの動きを識別することができる。インター予測の場合、予測データ２０６は、例えば、マッチング領域の場所（例えば、座標）、マッチング領域に関連付けられた動きベクトル、参照ピクチャの数、又は参照ピクチャに関連付けられた重みを含み得る。

[0072] 予測ＢＰＵ２０８を生成するために、エンコーダは、「動き補償」の演算を行い得る。動き補償を用いて、予測データ２０６（例えば、動きベクトル）及び予測参照２２４に基づいて予測ＢＰＵ２０８を再構成することができる。例えば、エンコーダは、エンコーダが現在のピクチャのオリジナルＢＰＵを予測することができる動きベクトルに従って、参照ピクチャのマッチング領域を移動させることができる。（例えば、図１のピクチャ１０６のように）複数の参照ピクチャが使用される場合、エンコーダは、それぞれの動きベクトルに従って参照ピクチャのマッチング領域を移動させ、及びマッチング領域のピクセル値を平均することができる。幾つかの実施形態では、エンコーダがそれぞれのマッチング参照ピクチャのマッチング領域のピクセル値に重みを割り当てた場合、エンコーダは、移動されたマッチング領域のピクセル値の加重和を加えることができる。

[0073] 幾つかの実施形態では、インター予測は、単方向又は双方向でもよい。単方向インター予測は、現在のピクチャに対して同じ時間方向の１つ又は複数の参照ピクチャを使用し得る。例えば、図１のピクチャ１０４は、参照ピクチャ（例えば、ピクチャ１０２）がピクチャ１０４に先行する単方向インター予測ピクチャである。双方向インター予測は、現在のピクチャに対して両時間方向にある１つ又は複数の参照ピクチャを使用し得る。例えば、図１のピクチャ１０６は、参照ピクチャ（すなわち、ピクチャ１０４及び１０８）がピクチャ１０４に対して両時間方向にある双方向インター予測ピクチャである。

[0074] プロセス２００Ｂの順方向経路をさらに参照すると、空間予測ステージ２０４２及び時間予測ステージ２０４４の後に、モード決定ステージ２３０において、エンコーダは、プロセス２００Ｂの現在の反復に関する予測モード（例えば、イントラ予測又はインター予測の一方）を選択することができる。例えば、エンコーダは、候補予測モードのビットレート、及び上記候補予測モード下の再構成参照ピクチャの歪みに応じて、コスト関数の値を最小にするためにエンコーダが予測モードを選択することができるレート歪み最適化技術を行うことができる。選択された予測モードに応じて、エンコーダは、対応する予測ＢＰＵ２０８及び予測データ２０６を生成することができる。

[0075] プロセス２００Ｂの再構成経路では、順方向経路においてイントラ予測モードが選択されていた場合、予測参照２２４（例えば、現在のピクチャ内でエンコードされ、及び再構成された現在のＢＰＵ）の生成後に、エンコーダは、（例えば、現在のピクチャの次のＢＰＵの外挿のために）後で使用するために、予測参照２２４を空間予測ステージ２０４２に直接送ることができる。順方向経路においてインター予測モードが選択されていた場合、予測参照２２４（例えば、全てのＢＰＵがエンコードされ、及び再構成された現在のピクチャ）の生成後に、エンコーダは、ループフィルタステージ２３２に予測参照２２４を送ることができ、ループフィルタステージ２３２では、インター予測によって導入される歪み（例えば、ブロッキングアーチファクト）を低減又は無くすためにエンコーダがループフィルタを予測参照２２４に適用することができる。エンコーダは、ループフィルタステージ２３２において、例えば、非ブロック化、サンプル適応オフセット、又は適応ループフィルタなどの様々なループフィルタ技術を適用することができる。ループフィルタリングが行われた参照ピクチャは、後に使用するために（例えば、映像シーケンス２０２の未来ピクチャのためのインター予測参照ピクチャとして使用されるように）、バッファ２３４（又は「デコードピクチャバッファ」）に保存されてもよい。エンコーダは、時間予測ステージ２０４４で使用される１つ又は複数の参照ピクチャをバッファ２３４に保存し得る。幾つかの実施形態では、エンコーダは、量子化変換係数２１６、予測データ２０６、及び他の情報と共に、ループフィルタのパラメータ（例えば、ループフィルタ強度）を二進符号化ステージ２２６においてエンコードし得る。

[0076] 図３Ａは、本開示の実施形態と一致したデコーディングプロセス例３００Ａの模式図を示す。プロセス３００Ａは、図２Ａの圧縮プロセス２００Ａに対応する解凍プロセスでもよい。幾つかの実施形態では、プロセス３００Ａは、プロセス２００Ａの再構成経路に類似し得る。デコーダは、プロセス３００Ａに従って、映像ビットストリーム２２８を映像ストリーム３０４へとデコードすることができる。映像ストリーム３０４は、映像シーケンス２０２に非常に類似し得る。しかしながら、圧縮及び解凍プロセス（例えば、図２Ａ～２Ｂの量子化ステージ２１４）における情報損失により、一般に、映像ストリーム３０４は、映像シーケンス２０２と同一ではない。図２Ａ～２Ｂのプロセス２００Ａ及び２００Ｂと同様に、デコーダは、映像ビットストリーム２２８においてエンコードされたピクチャごとに、基本処理ユニット（ＢＰＵ）のレベルでプロセス３００Ａを行うことができる。例えば、デコーダは、プロセス３００Ａの１回の反復でデコーダが１つの基本処理ユニットをデコードすることができる反復的やり方で、プロセス３００Ａを行い得る。幾つかの実施形態では、デコーダは、映像ビットストリーム２２８においてエンコードされた各ピクチャの領域（例えば、領域１１４～１１８）に対してプロセス３００Ａを並列に行うことができる。

[0077] 図３Ａでは、デコーダは、エンコードされたピクチャの基本処理ユニット（「エンコードＢＰＵ」と呼ばれる）に関連付けられた映像ビットストリーム２２８の部分を二進デコーディングステージ３０２に送ることができる。二進デコーディングステージ３０２では、デコーダは、上記部分を予測データ２０６及び量子化変換係数２１６へとデコードすることができる。デコーダは、再構成残差ＢＰＵ２２２を生成するために、量子化変換係数２１６を逆量子化ステージ２１８及び逆変換ステージ２２０に送ることができる。デコーダは、予測ＢＰＵ２０８を生成するために、予測データ２０６を予測ステージ２０４に送ることができる。デコーダは、再構成残差ＢＰＵ２２２を予測ＢＰＵ２０８に加算することによって、予測参照２２４を生成することができる。幾つかの実施形態では、予測参照２２４は、バッファ（例えば、コンピュータメモリのデコードピクチャバッファ）に保存することができる。デコーダは、プロセス３００Ａの次の反復において予測演算を行うための予測ステージ２０４に予測参照２２４を送ることができる。

[0078] デコーダは、エンコードされたピクチャの各エンコードＢＰＵをデコードし、及びエンコードされたピクチャの次のエンコードＢＰＵをエンコードするための予測参照２２４を生成するために、プロセス３００Ａを反復して行うことができる。エンコードされたピクチャの全てのエンコードＢＰＵのデコーディング後に、デコーダは、表示のために上記ピクチャを映像ストリーム３０４に出力し、映像ビットストリーム２２８の次のエンコードされたピクチャのデコーディングに進み得る。

[0079] 二進デコーディングステージ３０２では、デコーダは、エンコーダによって使用された二進符号化技術（例えば、エントロピー符号化、可変長符号化、算術符号化、ハフマン符号化、コンテキスト適応的二進算術符号化、又はその他の可逆圧縮アルゴリズム）の逆演算を行うことができる。幾つかの実施形態では、予測データ２０６及び量子化変換係数２１６の他にも、デコーダは、例えば、予測モード、予測演算のパラメータ、変換タイプ、量子化プロセスのパラメータ（例えば、量子化パラメータ）、又はエンコーダ制御パラメータ（例えば、ビットレート制御パラメータ）などの他の情報を二進デコーディングステージ３０２においてデコードすることができる。幾つかの実施形態では、映像ビットストリーム２２８がネットワーク上でパケット伝送される場合、デコーダは、映像ビットストリーム２２８を二進デコーディングステージ３０２に送る前に、それをデパケタイズ処理することができる。

[0080] 図３Ｂは、本開示の実施形態と一致した別のデコーディングプロセス例３００Ｂの模式図を示す。プロセス３００Ｂは、プロセス３００Ａから変更され得る。例えば、プロセス３００Ｂは、ハイブリッド映像符号化標準規格（例えば、H.26x系）に準拠したデコーダによって使用され得る。プロセス３００Ａと比較して、プロセス３００Ｂは、予測ステージ２０４を空間予測ステージ２０４２及び時間予測ステージ２０４４にさらに分割し、ループフィルタステージ２３２及びバッファ２３４をさらに含む。

[0081] プロセス３００Ｂでは、デコード中の（「現在のピクチャ」と呼ばれる）エンコードされたピクチャの（「現在のＢＰＵ」と呼ばれる）エンコード基本処理ユニットに関して、デコーダによって二進デコーディングステージ３０２からデコードされた予測データ２０６は、エンコーダによって現在のＢＰＵをエンコードするためにどの予測モードが使用されたかに応じて、様々なタイプのデータを含み得る。例えば、現在のＢＰＵをエンコードするためにイントラ予測がエンコーダによって使用された場合、予測データ２０６は、イントラ予測を示す予測モードインジケータ（例えば、フラグ値）、又はイントラ予測演算のパラメータなどを含み得る。イントラ予測演算のパラメータは、例えば、基準として使用される１つ又は複数の隣接ＢＰＵの場所（例えば、座標）、隣接ＢＰＵのサイズ、外挿のパラメータ、又はオリジナルＢＰＵに対する隣接ＢＰＵの方向などを含み得る。別の例として、現在のＢＰＵをエンコードするためにインター予測がエンコーダによって使用された場合、予測データ２０６は、インター予測を示す予測モードインジケータ（例えば、フラグ値）、又はインター予測演算のパラメータなどを含み得る。インター予測演算のパラメータは、例えば、現在のＢＰＵに関連付けられた参照ピクチャの数、参照ピクチャにそれぞれ関連付けられた重み、それぞれの参照ピクチャにおける１つ若しくは複数のマッチング領域の場所（例えば、座標）、又はマッチング領域にそれぞれ関連付けられた１つ若しくは複数の動きベクトルなどを含み得る。

[0082] 予測モードインジケータに基づいて、デコーダは、空間予測ステージ２０４２において空間予測（例えば、イントラ予測）を行うか、或いは時間予測ステージ２０４４において時間予測（例えば、インター予測）を行うかを決めることができる。このような空間予測又は時間予測を行う詳細は、図２Ｂに示され、以下では繰り返さない。そのような空間予測又は時間予測を行った後に、デコーダは、予測ＢＰＵ２０８を生成することができる。デコーダは、図３Ａに示されるように、予測ＢＰＵ２０８及び再構成残差ＢＰＵ２２２を加算することにより、予測参照２２４を生成することができる。

[0083] プロセス３００Ｂでは、デコーダは、プロセス３００Ｂの次の反復において予測演算を行うための空間予測ステージ２０４２又は時間予測ステージ２０４４に予測参照２２４を送ることができる。例えば、現在のＢＰＵが空間予測ステージ２０４２においてイントラ予測を用いてデコードされる場合、予測参照２２４（例えば、デコードされた現在のＢＰＵ）の生成後に、デコーダは、後に使用するために（例えば、現在のピクチャの次のＢＰＵの外挿のために）予測参照２２４を空間予測ステージ２０４２に直接送ることができる。現在のＢＰＵが時間予測ステージ２０４４においてインター予測を用いてデコードされる場合、予測参照２２４（例えば、全てのＢＰＵがデコードされた参照ピクチャ）の生成後に、エンコーダは、歪み（例えば、ブロッキングアーチファクト）を低減又は無くすために、予測参照２２４をループフィルタステージ２３２に送ることができる。デコーダは、図２Ｂに示したやり方で、ループフィルタを予測参照２２４に適用することができる。ループフィルタリングが行われた参照ピクチャは、後に使用するために（例えば、映像ビットストリーム２２８の未来にエンコードされるピクチャのためのインター予測参照ピクチャとして使用されるように）、バッファ２３４（例えば、コンピュータメモリのデコードピクチャバッファ）に保存されてもよい。デコーダは、時間予測ステージ２０４４で使用される１つ又は複数の参照ピクチャをバッファ２３４に保存し得る。幾つかの実施形態では、現在のＢＰＵをエンコードするためにインター予測が使用されたことを予測データ２０６の予測モードインジケータが示す場合、予測データは、ループフィルタのパラメータ（例えば、ループフィルタ強度）をさらに含み得る。

[0084] 図４は、本開示の実施形態による、映像をエンコード又はデコードするための装置例４００のブロック図である。図４に示されるように、装置４００は、プロセッサ４０２を含み得る。プロセッサ４０２が本明細書に記載される命令を実行すると、装置４００は、映像エンコーディング又はデコーディング用の専用マシンになることができる。プロセッサ４０２は、情報の操作又は処理を行うことが可能な任意のタイプの回路網でもよい。例えば、プロセッサ４０２は、幾つかの中央処理装置（すなわち「ＣＰＵ」）、グラフィック処理ユニット（すなわち「ＧＰＵ」）、ニューラル処理ユニット（「ＮＰＵ」）、マイクロコントローラユニット（「ＭＣＵ」）、光プロセッサ、プログラマブル論理コントローラ、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、ＩＰ（intellectual property）コア、プログラマブル論理アレイ（ＰＬＡ）、プログラマブルアレイロジック（ＰＡＬ）、汎用アレイロジック（ＧＡＬ）、複合プログラマブル論理デバイス（ＣＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、システムオンチップ（ＳｏＣ）、又は特定用途向け集積回路（ＡＳＩＣ）などの任意の組み合わせを含んでもよい。幾つかの実施形態では、プロセッサ４０２は、単一の論理コンポーネントとしてグループ化されたプロセッサのセットでもよい。例えば、図４に示されるように、プロセッサ４０２は、プロセッサ４０２ａ、プロセッサ４０２ｂ、及びプロセッサ４０２ｎを含む複数のプロセッサを含んでもよい。

[0085] 装置４００は、データ（例えば、命令セット、コンピュータコード、又は中間データなど）を保存するように構成されたメモリ４０４も含み得る。例えば、図４に示されるように、保存されたデータは、プログラム命令（例えば、プロセス２００Ａ、２００Ｂ、３００Ａ、又は３００Ｂのステージを実装するためのプログラム命令）及び処理用データ（例えば、映像シーケンス２０２、映像ビットストリーム２２８、又は映像ストリーム３０４）を含み得る。プロセッサ４０２は、（例えば、バス４１０を介して）プログラム命令及び処理用データにアクセスし、処理用データに対して演算又は操作を行うために、プログラム命令を実行することができる。メモリ４０４は、高速ランダムアクセス記憶デバイス又は不揮発性記憶デバイスを含んでもよい。幾つかの実施形態では、メモリ４０４は、幾つかのランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、光ディスク、磁気ディスク、ハードドライブ、ソリッドステートドライブ、フラッシュドライブ、ＳＤ（security digital）カード、メモリスティック、又はコンパクトフラッシュ（登録商標）（ＣＦ）カードなどの任意の組み合わせを含み得る。メモリ４０４もまた、単一の論理コンポーネントとしてグループ化されたメモリの一群（図４では図示せず）でもよい。

[0086] バス４１０は、内部バス（例えば、ＣＰＵメモリバス）、又は外部バス（例えば、ユニバーサルシリアルバスポート、周辺コンポーネント相互接続エクスプレスポート）などの装置４００内のコンポーネント間でデータを転送する通信デバイスでもよい。

[0087] 曖昧さを生じさせずに説明を簡単にするために、本開示においては、プロセッサ４０２及び他のデータ処理回路はまとめて「データ処理回路」と呼ばれる。データ処理回路は、完全にハードウェアとして、又はソフトウェア、ハードウェア、若しくはファームウェアの組み合わせとして実装されてもよい。さらに、データ処理回路は、単一の独立したモジュールでもよく、又は装置４００の任意の他のコンポーネントと完全に若しくは部分的に統合されてもよい。

[0088] 装置４００は、ネットワーク（例えば、インターネット、イントラネット、ローカルエリアネットワーク、又はモバイル通信ネットワークなど）との有線又は無線通信を提供するために、ネットワークインタフェース４０６をさらに含み得る。幾つかの実施形態では、ネットワークインタフェース４０６は、幾つかのネットワークインタフェースコントローラ（ＮＩＣ）、無線周波数（ＲＦ）モジュール、トランスポンダ、トランシーバ、モデム、ルータ、ゲートウェイ、有線ネットワークアダプタ、無線ネットワークアダプタ、ブルートゥース（登録商標）アダプタ、赤外線アダプタ、近距離無線通信（「ＮＦＣ」）アダプタ、又はセルラーネットワークチップなどの任意の組み合わせを含んでもよい。

[0089] 幾つかの実施形態では、任意選択的に、装置４００は、１つ又は複数の周辺デバイスに対する接続を提供するために、周辺インタフェース４０８をさらに含んでもよい。図４に示されるように、周辺デバイスは、カーソル制御デバイス（例えば、マウス、タッチパッド、若しくはタッチスクリーン）、キーボード、ディスプレイ（例えば、陰極線管ディスプレイ、液晶ディスプレイ、若しくは発光ダイオードディスプレイ）、又は映像入力デバイス（例えば、カメラ、若しくは映像アーカイブに通信可能に結合された入力インタフェース）などを含み得る（ただし、これらに限定されない）。

[0090] 映像コーデック（例えば、プロセス２００Ａ、２００Ｂ、３００Ａ、又は３００Ｂを行うコーデック）は、装置４００内の任意のソフトウェア又はハードウェアモジュールの任意の組み合わせとして実装され得ることに留意されたい。例えば、プロセス２００Ａ、２００Ｂ、３００Ａ、又は３００Ｂの一部又は全てのステージが、メモリ４０４にロードされ得るプログラム命令などの装置４００の１つ又は複数のソフトウェアモジュールとして実装され得る。別の例として、プロセス２００Ａ、２００Ｂ、３００Ａ、又は３００Ｂの一部又は全てのステージは、専用データ処理回路など（例えば、ＦＰＧＡ、ＡＳＩＣ、又はＮＰＵなど）の装置４００の１つ又は複数のハードウェアモジュールとして実装され得る。

[0091] 量子化及び逆量子化機能ブロック（例えば、図２Ａ又は２Ｂの量子化２１４及び逆量子化２１８、図３Ａ又は３Ｂの逆量子化２１８）では、予測残差に適用される量子化（及び逆量子化）の量を決定するために、量子化パラメータ（ＱＰ）が使用される。ピクチャ又はスライスの符号化に使用される初期ＱＰ値は、例えば、ピクチャパラメータセット（ＰＰＳ）のinit_qp_minus26シンタックス要素を使用して、及びスライスヘッダのslice_qp_deltaシンタックス要素を使用して、ハイレベルでシグナリングされ得る。さらに、ＱＰ値は、量子化グループの粒度で送られたデルタＱＰ値を使用して、ＣＵごとにローカルレベルで適応させることができる。

[0092] ＶＶＣ６（Versatile Video Coding Draft 6）では、映像データの変換ブロック（ＴＢ）の残差が、変換ステージがスキップされる変換スキップ（ＴＳ（transform skip））モードを用いて符号化され得る。例えば、デコーダは、残差を取得するために映像データをデコードすることによって、ＴＳモードを用いて映像データをデコードし、次に、逆変換を行うことなく、逆量子化及び再構成を行い得る。ＶＶＣ６は、最大ブロックサイズによってＴＳモードの適用可能性を限定する（ここでは、ＴＢの幅及び高さが多くとも３２ピクセルである場合のみ、ＴＳモードがＴＢに適用可能である）。ＴＳモードを適用するためのこのような最大ブロックサイズは、ピクチャパラメータセット（ＰＰＳ）レベルシンタックスlog2_transform_skip_max_size_minus2として指定することができ、０～３の範囲内に存在し得る。存在しない場合は、log2_transform_skip_max_size_minus2の値は、０であると推論される。ＴＳモードを限定する最大ブロックの幅又は高さの最大値MaxTsSizeは、式（１）に基づいて決定することができる。
MaxTsSize = 1 << ( log2_transform_skip_max_size_minus2 + 2 ) 式（１）

[0093] つまり、log2_transform_skip_max_size_minus2が０のとき、ＴＢ幅及び高さが多くとも４であれば、ＴＳモードが許容され得る。ＶＶＣ６の現在の設計では、log2_transform_skip_max_size_minus2の最大許容値が３であるため、MaxTsSizeの最大許容値は３２である。ＴＢの幅及び高さが多くともMaxTsSizeであれば、ＴＳモードが選択されるか否かを指定するパラメータtransform_skip_flagがシグナリングされ得る。ＴＢの幅又は高さが３２より大きい場合、そのＴＢに関して、ＴＳモードは許容されない。

[0094] ＶＶＣ６では、ＴＳモードの残差レベルは、４×４サイズの非オーバーラップ係数グループ（ＣＧ（coefficient group））を用いて符号化される。ＣＧの変換スキップ係数レベルは、複数のスキャン位置にわたり３パスで符号化される。

[0095] 第１のパスは、以下の擬似コードによって表され得る。
for(n = 0; n <= numSbCoeff - 1; n++ )
if (remainingCtxBin > 0)、sig_coeff_flagをデコードする（コンテキスト）
else、sig_coeff_flagのバイパスデコーディング（バイパス）
if (remainingCtxBin > 0)、coeff_sign_flagをデコードする（コンテキスト）
else、coeff_sign_flagのバイパスデコーディング（バイパス）
if (remainingCtxBin > 0)、abs_level_gtx_flag[0]をデコードする（コンテキスト）
else、abs_level_gtx_flag[0]のバイパスデコーディング（バイパス）
if (remainingCtxBin > 0)、par_level_flagをデコードする（コンテキスト）
else、par_level_flagのバイパスデコーディング（バイパス）

[0096] 第２のパスは、以下の擬似コードによって表され得る。
for(n = 0; n <= numSbCoeff - 1; n++ )
if (remainingCtxBin > 0)、abs_level_gtx_flag[1]をデコードする（コンテキスト）
else、abs_level_gtx_flag[1]のバイパスデコーディング（バイパス）
if (remainingCtxBin > 0)、abs_level_gtx_flag[2]をデコードする（コンテキスト）
else、abs_level_gtx_flag[2]のバイパスデコーディング（バイパス）
if (remainingCtxBin > 0)、abs_level_gtx_flag[3]をデコードする（コンテキスト）
if (remainingCtxBin > 0)、abs_level_gtx_flag[4]をデコードする（コンテキスト）
else、abs_level_gtx_flag[4]のバイパスデコーディング（バイパス）

[0097] 第３のパスは、以下の擬似コードによって表され得る。
for(n = 0; n <= numSbCoeff - 1; n++ )
rice = cctx.templateAbsSumTS(n, coeff);
abs_remainder_using_RG_Codingをデコードする

[0098] 上記の記載では、（「ＴＳ残差符号化」と呼ばれる）残差符号化のためのＴＳモードにおけるシンタックス要素は、（「コンテキスト」と表示される）コンテキスト符号化又は（「バイパス」と表示される）バイパス符号化の一方を使用して符号化され得る。

[0099] 幾つかの実施形態では、ＴＳ残差符号化のために、「レベルマッピング」と呼ばれる符号化ツールを採用することができる。絶対係数レベルパラメータabsCoeffLevelは、現在の残差サンプルの左及び上にある量子化残差サンプルの値に応じて符号化されるように変更レベルにマッピングされ得る。Ｘ０が現在の係数の左の絶対係数レベルを示し、Ｘ１が現在の係数の上の絶対係数レベルを示すとする。絶対係数レベル（「absCoeff」）を用いて係数を表すために、マッピングされたパラメータabsCoeffModが符号化され得る。absCoeffModは、以下の擬似コードによって表されるやり方で導出することができる。
pred = max(X0, X1);
if (absCoeff == pred)
{
absCoeffMod = 1;
}
else
{
absCoeffMod = (absCoeff < pred) ? absCoeff + 1 : absCoeff;
}

[0100] ＴＳモードの現在の設計には、幾つかの課題がある。ＶＶＣ６では、ＴＳモードは、適切な量子化パラメータ値が選択され、及びループフィルタステージがオフにされるという両条件の下で、ブロックに対する数学的可逆圧縮を達成することができる符号化ツールである。ＶＶＣ６は、３２より大きい幅又は高さを有するＴＢに対してＴＳモードを許容しないため、ＶＶＣ６の現在の設計は、ＴＢ幅又は高さが３２より大きい場合は、そのブロックに対する数学的可逆圧縮を達成することができない。

[0101] また、新しく採用されたレベルマッピングプロセスは、係数レベルごとにデコーダが上及び左から予測値を算出する必要があるため、コンテキスト適応的二進算術符号化（ＣＡＢＡＣ）のスループットに大きな影響を与える。Riceパラメータの導出プロセスは、実際のレベルに依存するため、逆マッピングを伴う実際のレベルの算出は、ＣＡＢＡＣパースループ内で実施される必要がある。パース及びレベルデコーディングのこのようなインターリーブなやり方は、それがデコーダハードウェア実装のスループットを低下させ得るため望ましくない。

[0102] ＶＶＣ６では、上記のようなlog2_transform_skip_max_size_minus2に加えて、別のシーケンスパラメータセット（ＳＰＳ）レベルフラグであるsps_max_luma_transform_size_64_flagが、ルマサンプルでの最大ＴＢサイズを指定することができる。sps_max_luma_transform_size_64_flagが１に等しい場合、ルマサンプルでの最大ＴＢサイズは、６４に等しい。sps_max_luma_transform_size_64_flagが０に等しい場合、ルマサンプルでの最大ＴＢサイズは、３２に等しい。符号化ツリーユニット（ＣＴＵ）のルマ符号化ツリーブロックサイズが６４未満である場合、sps_max_luma_transform_size_64_flagの値は、０に等しい。sps_max_luma_transform_size_64_flagに基づいて、パラメータMaxTbLog2SizeY及び最大ＴＢサイズMaxTbSizeYは、式（２）及び式（３）に基づいて導出することができる。
MaxTbLog2SizeY = sps_max_luma_transform_size_64_flag ? 6: 5 式（２）
MaxTbSizeY = 1 << MaxTbLog2SizeY 式（３）

[0103] 式（２）～（３）に基づいて、ＰＰＳレベルシンタックスlog2_transform_skip_max_size_minus2の最大値は、ＳＰＳレベルフラグsps_max_luma_transform_size_64_flagに依存し得る。log2_transform_skip_max_size_minus2は、ＴＳモードに使用される最大ブロックサイズを指定し、その値は、０～（３＋sps_max_luma_transform_size_64_flag）の範囲内に存在し得る。エンコーダは、log2_transform_skip_max_size_minus2の値が許容範囲内にあることを確実にするように構成され得る。存在しない場合は、log2_transform_skip_max_size_minus2の値は、０であると推論され得る。最大許容MaxTsSizeは、式（１）を使用して決定することができる。ＴＢの幅及び高さがMaxTsSize未満である場合、ＴＢを符号化するために、ＴＳモードが許容され得る。

[0104] 上記の記載から分かるように、ＶＶＣ６では、sps_transform_skip_enabled_flagが１である場合のみ、log2_transform_skip_max_size_minus2がシグナリングされる。sps_transform_skip_enabled_flagが０に等しいことは、変換ユニットシンタックスにtransform_skip_flagが存在しないことを表す。したがって、sps_transform_skip_enabled_flagが０である場合は、log2_transform_skip_max_size_minus2をシグナリングすることは必要とされない。ＶＶＣ６におけるこの現在のシグナリングは、ＳＰＳとＰＰＳとの間のパース依存関係の問題を有する。上記の実施形態も、ＰＰＳシンタックスlog2_transform_skip_max_size_minus2と、ＳＰＳシンタックスsps_max_luma_transform_size_64_flagとの間のパース依存関係の同じ問題を有している。このようなパース依存関係は、一般に望ましくない。

[0105] 本開示の実施形態は、上記の技術的問題に対する技術的解決策を提供する。大きなＴＢに対してＴＳモードを使用して可逆圧縮を達成するために、本開示は、ＴＳモードが、符号化された映像シーケンスに許容される最大ＴＢサイズまでのＴＢサイズに適用されるように拡張され得る実施形態を提供する。ＴＳ残差符号化のために、異なる係数スキャニング方法も提供される。

[0106] 本開示の幾つかの実施形態に一致して、ＳＰＳとＰＰＳとの間のパース依存関係を除去するために、log2_transform_skip_max_size_minus2をＰＰＳからＳＰＳに移動することができる。例として、図５は、本開示の幾つかの実施形態による、シーケンスパラメータセット（ＳＰＳ）のシンタックス構造例を示す表１を示す。図６は、本開示の幾つかの実施形態による、ピクチャパラメータセット（ＳＰＳ）のシンタックス構造例を示す表２を示す。表１及び表２は、表１の行５０２及び表２の行６０２～６０４によって示されるように、log2_transform_skip_max_size_minus2がＰＰＳからＳＰＳに移動されることを示す。

[0107] 本開示の幾つかの実施形態に一致して、ＴＳモードブロックを適用するための最大ブロックサイズは、最大ＴＢサイズ（MaxTbSizeY）として設定することができ、この場合、log2_transform_skip_max_size_minus2は、シグナリングされない。そうすることによって、ＴＢの幅及び高さがMaxTbSizeY以下である場合、ＴＳモードが許容され得る。幾つかの実施形態では、MaxTbSizeYは、式（２）～（３）に基づいて決定することができる。

[0108] 例として、図７は、本開示の幾つかの実施形態による、変換ユニットのシンタックス構造例を示す表３を示す。表３は、変換ユニットのシンタックス構造例に従って、行７０６によって示されるように、ＴＢの幅及び高さが最大値MaxTbSizeY（すなわち、３２）以下となり得ることを示す。そうすることによって、ＴＳモードを適用するための最大ブロックサイズがMaxTbSizeYと同じであるため、ＴＳモードは、全てのＴＢに対して許容され得、行７０２～７０４に示されるように、ＴＢの幅及び高さがMaxTbSizeY以下であるか否かを決定するために、さらなるチェックは必要とされない。ＶＶＣ６が、インター符号化ブロック及びイントラ符号化ブロックの両方を残差符号化するための複数変換選択（ＭＴＳ（Multiple Transform Selection））スキームも使用することに留意されたい。ＭＴＳは、ＤＣＴ８／ＤＳＴ７から複数選択変換を使用する。しかしながら、ＭＴＳは、tbWidth及びtbHeightが共に３２以下であるときに許容されるため、ＭＴＳ符号化中に、さらなるチェックが必要とされる。

[0109] ＶＶＣ６は、ブロック差分パルスコード変調（ＢＤＰＣＭ）と呼ばれる別の符号化ツールを提供する。ＢＤＰＣＭモードでは、残差領域において水平及び垂直差分パルスコード変調（ＤＰＣＭ）が適用され、変換ステージがスキップされる。ＢＤＰＣＭモードを適用するための最大許容ブロック幅又は高さは、ＴＳモードのものと同じである。

[0110] 本開示の幾つかの実施形態に一致して、ＢＤＰＣＭモードを適用するための最大ブロックサイズは、ＴＳモードを適用するための最大ブロックサイズであるように拡張することもできる。そうすることによって、符号化ユニット（ＣＵ）の幅及び高さがMaxTbSizeY以下である場合に、ＢＤＰＣＭモードが許容され得る。例として、図８は、本開示の幾つかの実施形態による、ブロック差分パルスコード変調（ＢＤＰＣＭ）モードのシグナリングに関係するシンタックス構造例を示す表４を示す。表４は、行８０２によって示されるように、ＢＤＰＣＭモードを適用するための最大ブロックサイズが、ＴＳモードを適用するための最大ブロックサイズであるように拡張され得ることを示す。

[0111] 場合によっては、log2_transform_skip_max_size_minus2の許容値は、コーデックのプロファイルに依存し得る。例えば、メインプロファイルは、log2_transform_skip_max_size_minus2の値が最大ＴＢサイズと同じになり得ることを指定することができる。最大ＴＢサイズと同じでないlog2_transform_skip_max_size_minus2値をシグナリングするどのビットストリームも、コーデックによって非準拠ビットストリームと見なされ得る。メインプロファイルを超えた拡張プロファイルの場合、log2_transform_skip_max_size_minus2の値は、最大ＴＢサイズとは異なり得る。

[0112] 本開示の幾つかの実施形態に一致して、log2_transform_skip_max_size_minus2のシグナリングを行わず、それが最大ＴＢサイズと同じであると推論すること、又はプロファイル制約構成などによって、log2_transform_skip_max_size_minus2の値が常に最大ＴＢサイズと同じであることを確実にするための方法及びシンタックス構造が本明細書において提供される。そうすることによって、テストすべきシンタックス要素値の組み合わせが少なくなるため、デコーダ実装の負担を減らすことができる。

[0113] 幾つかの実施形態では、ＳＰＳフラグは、ＴＳモードを適用するための最大ブロックサイズが３２又は６４であることを示すためにシグナリングされ得る。例えば、ＳＰＳフラグは、最大ＴＢサイズのシグナリングと同じやり方でシグナリングすることができる。例として、ＴＳモードを適用するための最大ブロックサイズが３２であることを指定するために、sps_max_transform_skip_size_64_flagは、０に設定され得る。別の例では、ＴＳモードを適用するための最大ブロックサイズが６４であることを指定するために、sps_max_transform_skip_size_64_flagは、１に設定され得る。幾つかの実施形態では、sps_max_transform_skip_size_64_flagのシグナリングが行われない場合、その値は０であると推論することができる。

[0114] 幾つかの実施形態では、ＴＳモードを適用するための最大ブロックサイズは、式（４）に基づいて決定することができる。
MaxTsSize = sps_max_transform_skip_size_64_flag ? 64: 32 式（４）

[0115] 幾つかの実施形態では、sps_max_luma_transform_size_64_flag及びsps_transform_skip_enabled_flagが共に１に等しい場合に、sps_max_transform_skip_size_64_flagがシグナリングされ得る。

[0116] 例として、図９は、本開示の幾つかの実施形態による、sps_max_transform_skip_size_64_flagをシグナリングするためのＳＰＳのシンタックス構造例を示す表５を示す。図１０は、本開示の幾つかの実施形態による、sps_max_transform_skip_size_64_flagをシグナリングするための変換ユニットのシンタックス構造例を示す表６を示す。表５及び表６は、表５の行９０２及び表６の行１００２～１００６によって示されるように、sps_max_transform_skip_size_64_flagのシグナリングの実装を示す。

[0117] 本開示の幾つかの実施形態に一致して、ＴＳモード又はＢＤＰＣＭモードを適用するための最大ブロックサイズが最大ＴＢサイズであるように拡張され得るため、ＴＳモード又はＢＤＰＣＭモードにおける残差符号化も、その点で、最大ＴＢサイズを符号化することを許容するように拡張され得る。幾つかの開示実施形態によれば、残差符号化は、スキャニングパターンを変更することなく、最大ＴＢサイズまで許容するように直接拡張され得る。

[0118] 幾つかの実施形態では、ＶＶＣドラフト６と同様に、変換ブロックは、係数グループ（ＣＧ）に分割することができ、対角スキャニングを行うことができる。例として、図１１は、本開示の幾つかの実施形態による、６４×６４の変換ブロック（ＴＢ）の対角スキャニング例を示す模式図である。図１１は、６４×６４のＴＢ（例えば、MaxTbSizeY＝６４）の対角スキャニングパターン（ジグザグ矢印線で示される）を示す。図１１の各セルは、４×４のＣＧを示し得る。図１１は、対角スキャニングプロセスを示すために６４×６４のＴＢを示しているが、ＴＢは、任意のサイズ又は任意の形状のものでよく、本明細書に示されるような例に限定されないことに留意されたい。例えば、ＴＢが正方形の代わりに長方形である場合、その寸法の一方のみが６４に等しい。

[0119] 残差符号化におけるＴＢ全体（例えば、図１１の６４×６４のＴＢ）のスキャニングの課題の１つは、ＶＶＣにおける現在の残差符号化が、３２×３２のブロックサイズまでのみをサポートするため、上記の拡張をサポートするために現在のＶＶＣ残差符号化が変更される必要があることである。現在のＶＶＣ設計では、（例えば、非スキップモードにおいて）６４×６４のＴＢに変換が適用されたとしても、デコーダは、依然として、６４×６４のＴＢの左上の３２×３２のブロックを表す係数の３２×３２のブロックのみに残差符号化を適用する必要がある場合がある。そのような場合、全ての残りの高周波係数は、強制的にゼロにされる（したがって、残りの係数の符号化は必要ない）。例えば、Ｍ×ＮのＴＢ（Ｍはブロック幅であり、Ｎはブロック高さである）の場合、Ｍが６４に等しいとき、変換係数の左の３２列のみが符号化され得る。同様に、Ｎが６４に等しいとき、変換係数の上の３２行のみが符号化され得る。

[0120] 本開示の幾つかの実施形態に一致して、既存のＶＶＣ６残差符号化技術を再利用するために、大きなＴＢを小さな残差ユニット（ＲＵ）に分割することができる。例えば、ＴＢの幅が３２よりも大きければ、ＴＢは、水平方向に２つのパーティションに分割され得る。別の例として、ＴＢの高さが３２よりも大きければ、ＴＢは、垂直方向に２つのパーティションに分割され得る。さらに別の例では、ＴＢの両寸法が３２よりも大きければ、ＴＢは、４つのＲＵに水平方向及び垂直方向に分割することができる。分割後に、３２×３２のＲＵを符号化することができる。

[0121] 例として、図１２Ａ～１２Ｄは、本開示の幾つかの実施形態による残差ユニット（ＲＵ）例を示す。図１２Ａでは、６４×６４のＴＢが、（破線で示される）４つの３２×３２のＲＵに分割される。図１２Ｂでは、６４×１６のＴＢが、（破線で示される）２つの３２×１６のＲｕに水平方向に分割される。図１２Ｃでは、３２×６４のＴＢが、（破線で示される）２つの３２×３２のＲｕに垂直方向に分割される。図１２Ｄでは、高さ及び幅の何れも３２を超えないため、分割は行われず、ＲＵサイズは、ＴＢサイズと同じである。幾つかの実施形態では、最大許容ＲＵサイズは、３２×３２である。

[0122] 例として、図１３は、本開示の幾つかの実施形態による、ＴＢが４つの３２×３２のＲＵに分割される６４×６４のＴＢの対角スキャニングの一例を示す模式図である。図１３では、６４×６４のＴＢは、（ＴＢ内の太い実線によって示される）４つのＲＵに分割され、各ＲＵの係数は、３２×３２のＴＢに関するスキャニングパターンと同じ順序に従って、ＲＵ内で個別に（例えば、独立して）スキャンされる。図１３では、あるＲＵのコンテキストモデル及びRiceパラメータ導出は、別のＲＵとは無関係となり得る。幾つかの実施形態では、コンテキスト符号化ビン（context coded bin）の最大数もＲＵごとに独立して割り当てられ得る。このようなスキームは、コンテキスト符号化ビンの最大数がＴＢレベルで定義されるＶＶＣ６の場合異なる。

[0123] 例として、図１４Ａ～１４Ｄは、本開示の幾つかの実施形態による、ＴＢがＲＵに分割されるときの残差符号化に関するシンタックス構造例を示す表７を示す。

[0124] ＶＶＣ６では、ＴＳモードブロックの係数グループ（ＣＧ）ごとに、coded_sub_block_flagがシグナリングされる。coded_sub_block_flag＝０は、ＣＧの係数の全てがゼロであることを意味する。coded_sub_block_flag＝１は、ＣＧ内の少なくとも１つの係数が非ゼロであることを意味する。しかしながら、前に符号化されたＣＧ（すなわち、最後のＣＧの前に）の全てのcoded_sub_block_flagがゼロである場合は、最後のＣＧのcoded_sub_block_flagはシグナリングされず、１であると推論される。これは、ＴＢの最後のＣＧのパースが、全ての前にデコードされたＣＧに依存することを意味する。ＲＵ間の依存関係を除去するために、最後のＣＧを含むＲＵのＣＧの全てに関して、coded_sub_block_flagがシグナリングされてもよい。

[0125] 本開示の幾つかの実施形態に一致して、さらなるシンタックスcoded_RU_flagが導入され得る。幾つかの実施形態では、ＴＢ内のＲＵの数が１よりも大きい場合に、coded_RU_flagがシグナリングされ得る。幾つかの実施形態では、coded_RU_flagが存在しない場合は、それは、１であると推論され得る。coded_RU_flag＝０は、ＲＵの係数の全てがゼロであることを指定し得る。coded_RU_flag＝１は、ＲＵの係数の少なくとも１つが非ゼロであることを指定し得る。幾つかの実施形態では、最後のＲＵを除く全てのcoded_RU_flagがゼロである場合、最後のＲＵのcoded_RU_flagは、シグナリングされる必要はなく、１であると推論することができる。例として、以下の擬似コードは、coded_RU_flagのシグナリング例を示す。
inferRUCbf = 1;
for( k =0; k < numofRUs; k++ )
{
if( (k != lastRU | | !inferRUCbf )
signal coded_RU_flag;
if( coded_RU_flag)
inferRUCbf = 0;
}

[0126] 例として、図１５Ａ～１５Ｄは、本開示の幾つかの実施形態による、coded_RU_flagがシグナリングされるときの残差符号化に関する別のシンタックス構造例を示す表８を示す。幾つかの実施形態では、coded_RU_flagがシグナリングされる場合、最後のＣＧフラグは、ＶＶＣ６の場合と同じやり方で維持され得る。すなわち、同じＲＵ内の全ての前のＣＧのcoded_sub_block_flagがゼロである場合、coded_sub_block_flagは、シグナリングされず、１であると推論することができる。

[0127] ＪＶＥＴ（Joint Video Experts Team）ＡＨＧ可逆及びほぼ可逆符号化ツール（ＡＨＧ１８）は、VTM-6.0に基づいた可逆ソフトウェアをリリースする。可逆ソフトウェアは、cu_transquant_bypass_flagと呼ばれるＣＵレベルフラグを導入した。cu_transquant_bypass_flag＝１は、そのＣＵの変換及び量子化がスキップされることを意味し、そのＣＵは、可逆モードで符号化される。可逆ソフトウェアの現在のバージョンでは、sps_max_luma_transform_size_64_flagは０に設定され、これは、ルマサンプルでの最大ＴＢサイズが３２×３２に限定されることを意味する。クロマサンプルの場合、最大ＴＢサイズは、ＹＵＶカラーフォーマットに基づいて調整される（例えば、ＹＵＶ４２０の場合、最大１６×１６）。幾つかの実施形態では、ルマ変換ブロックサイズは、cu_transquant_bypass_flag＝１の場合に、６４×６４まで増加させることができ、cu_transquant_bypass_flag＝１の場合に、上述の残差符号化技術を使用することができる。

[0128] 幾つかの実施形態では、クロマ成分に関する最大ＴＢサイズは、式（２）及び式（３）を使用して決定することができる。式（２）及び式（３）に基づいて、最大ＴＢ幅maxTbWidth及び最大ＴＢ高さmaxTbHeightは、式（５）及び式（６）に基づいて決定することができる。
maxTbWidth = ( cIdx == 0 ) ? MaxTbSizeY : MaxTbSizeY / SubWidthC 式（５）
maxTbHeight = ( cIdx == 0 ) ? MaxTbSizeY : MaxTbSizeY / SubHeightC 式（６）

[0129] 式（５）及び式（６）では、cIdx＝０は、ルマ成分を意味する。cIdx＝１及びcIdx＝２は、２つのクロマ成分を意味する。例として、SubWidthC及びSubHeightCの値は、クロマフォーマットから導出することができる。本開示の幾つかの実施形態に一致して、図１６は、本開示の幾つかの実施形態による、クロマフォーマットから導出されたパラメータ値例を示す表９を示す。

[0130] ＶＶＣ６では、逆レベルマッピングがＣＡＢＡＣモジュールに埋め込まれる。図１７は、本開示の幾つかの実施形態による、逆レベルマッピングを行う残差符号化に関するＶＶＣ６におけるシンタックス構造例を示す表１０を示す。

[0131] 本開示の幾つかの実施形態に一致して、変換スキップ残差パースのＣＡＢＡＣスループットを向上させるために、実際のレベル値に基づく代わりに、マッピングされたレベル値に基づいて、Riceパラメータが導出され得る。幾つかの実施形態では、コンテキストモデル及びRiceパラメータは共に、マッピングされた値に依存することが可能で、残差パースプロセス中に逆マッピング演算が行われないことが可能である。そうすることによって、逆マッピングは、残差パースプロセスから切り離されることが可能となる。逆マッピングは、ＴＢ全体の残差のパースの完了後に実行され得る。幾つかの実施形態では、逆マッピング及び残差パースは、１つのパス内で同時に行われてもよく、これは、実際の実装が、パース及びマッピングをインターリーブするか、或いはそれらを２つのパスに分けるかを決めることを可能にする。

[0132] 例として、図１８は、本開示の幾つかの実施形態による、デコーディング方法例１４００のフローチャートである。方法１８００は、パース及び逆マッピングが分けられる場合に行われ得る。図１８は、逆マッピングが、ＴＢ全体の残差のパースの完了後であり、且つ逆量子化の前に実行されることによって、残差パースから切り離されることを示す。

[0133] 本開示の幾つかの実施形態に一致して、図１９は、本開示の幾つかの実施形態による、逆レベルマッピングが実行されない残差符号化に関するシンタックス構造例を示す表１０を示す。幾つかの実施形態では、逆レベルマッピングは、デコーディングプロセスに移動させることができ、これは、以下に説明される。

[0134] 本開示の幾つかの実施形態に一致して、以下の擬似コードは、（図１８に示されるように）残差パースの後であり、且つ逆量子化の前に行うことができる逆レベルマッピングプロセスを示す。以下の擬似コードでは、TransCoeffLevel [xC][yC]は、残差パース後の（xC，yC）位置の係数値を表し、TransCoeffLevelInvMapped [xC][yC]は、逆マッピング後の（xC，yC）位置の係数値を表す。
for (int yC = 0; yC < height; yC++)
{
for (int xC = 0; xC < width; xC++)
{

TransCoeffLevelInvMapped [xC][yC] = TransCoeffLevel [xC][yC];
if (TransCoeffLevel [xC][yC])
{
topPos = abs (TransCoeffLevel [xC][yC-1]);
leftPos = abs(TransCoeffLevel [xC - 1][yC]);
if (topPos || leftPos)
{
int absMappedLevel = abs(TransCoeffLevel [xC][yC]);
int sign = TransCoeffLevel [xC][yC] < 0;
int pred1 = std::max(topPos, leftPos);

if (absMappedLevel == 1)
TransCoeffLevelInvMapped [xC][yC]= pred1;
else
TransCoeffLevelInvMapped [xC][yC] = absMappedLevel - (absMappedLevel <= pred1);
TransCoeffLevelInvMapped [xC][yC] = sign ? -dst[xC][yC] : dst[xC][yC];
}
}

}

}

[0135] 本開示の幾つかの実施形態に一致して、マッピングされた値に基づいて、Riceパラメータが導出され得、これは、Riceパラメータが実際のレベル値に基づいて導出されるＶＶＣ６とは異なる。アレイTransCoeffLevel [xC][yC]が、場所（xC，yC）における所与のカラー成分のＴＢに関するマッピングされたレベル値であると仮定して、変数locSumAbsは、以下の擬似コードに基づいて導出され得る。
locSumAbs = 0
AbsLevel [xC][yC] = abs(TransCoeffLevel[xC][yC])
if( xC > 0 )
locSumAbs += AbsLevel[ xC - 1 ][ yC ]
if( yC > 0 )
locSumAbs += AbsLevel[ xC ][ yC - 1 ]
locSumAbs = Clip3( 0, 31, locSumAbs )

[0136] 本開示の幾つかの実施形態に一致して、図２０は、本開示の幾つかの実施形態による、Riceパラメータを選択するためのルックアップ表例を示す表１２を示す。幾つかの開示実施形態では、locSumAbsの値は、予め定義されたオフセット値に基づいて調整することができる。幾つかの実施形態では、オフセット値は、オフライン訓練から算出される。以下の擬似コード例は、オフセット値が２であることを示す。
locSumAbs = 0
offset = 2;
AbsLevel [xC][yC] = abs(TransCoeffLevel[xC][yC])
if( xC > 0 )
locSumAbs += AbsLevel[ xC - 1 ][ yC ]
if( yC > 0 )
locSumAbs += AbsLevel[ xC ][ yC - 1 ]
locSumAbs -= offset
locSumAbs = Clip3( 0, 31, locSumAbs )

[0137] 本開示の幾つかの実施形態に一致して、図２１～２２は、本開示の幾つかの実施形態による、映像処理のためのプロセス例２１００～２２００のフローチャートを示す。幾つかの実施形態では、プロセス２１００～２２００は、コーデック（例えば、図２Ａ～２Ｂのエンコーダ、又は図３Ａ～３Ｂのデコーダ）によって行うことができる。例えば、コーデックは、映像処理のための装置（例えば、装置４００）の１つ又は複数のソフトウェア又はハードウェアコンポーネントとして実装され得る。

[0138] 例として、図２１は、本開示の幾つかの実施形態による、映像処理のためのプロセス例２１００のフローチャートを示す。ステップ２１０２では、コーデック（例えば、図２Ａ～２Ｂのエンコーダ）は、予測ブロックのルマサンプルの寸法の最大値又は予測ブロックの寸法の最大値の一方に基づいて、予測残差に関する変換プロセスをスキップすることを決定することができる。変換プロセスは、図２Ａ～２Ｂの変換ステージ２１２でもよい。予測残差は、図２Ａ～２Ｂの残差ＢＰＵ２１０でもよい。変換ブロックは、変換ブロック（例えば、図１１～１３に示される変換ブロックの何れか）などの図２Ａ～２Ｂの予測データ２０６に含まれるブロックでもよい。予測ブロックの寸法は、高さ又は幅を含み得る。

[0139] 幾つかの実施形態では、コーデックは、予測ブロックの寸法が閾値を超えないという決定に基づいて、変換プロセスをスキップすることを決定することによって、予測残差に関する変換プロセスをスキップすることを決定し得る。幾つかの実施形態では、閾値は、式（２）～（３）に関連して示され、及び説明されたようなMaxTbSizeYでもよい。閾値は、ルマサンプルの寸法の最大値（例えば、３２、６４、若しくは任意の数）、又は予測ブロックの寸法の最大値（例えば、３２、６４、若しくは任意の数）の一方に等しい最大値を有し得る。幾つかの実施形態では、ルマサンプルの寸法の最大値又は予測ブロックの寸法の最大値は、（例えば、一定ではない）動的値でもよい。

[0140] 幾つかの実施形態では、閾値は、予測ブロックの輝度情報を示すルマサンプルの寸法の最大値に等しい。幾つかの実施形態では、閾値の最大値は、６４である。幾つかの実施形態では、閾値の最大値は、３２である。幾つかの実施形態では、閾値の最小値は、４である。幾つかの実施形態では、閾値は、変換プロセスを行うことを許容される予測ブロックの寸法の最大値（例えば、式（１）に示され、及び説明されたようなMaxTsSize）に等しくてもよい。

[0141] 幾つかの実施形態では、閾値の最大値は、第１のパラメータセットの少なくとも第１のパラメータに基づいて決定される。例えば、第１のパラメータセットは、シーケンスパラメータセット（ＳＰＳ）でもよい。幾つかの実施形態では、第１のパラメータの値は、０又は１である。例えば、第１のパラメータは、図９の表５に関連して示され、及び説明されたようなsps_max_luma_transform_size_64_flagでもよい。幾つかの実施形態では、閾値は、第１のパラメータの値に基づいて決定することができる。例えば、第１のパラメータがsps_max_luma_transform_size_64_flagとなり得る場合、及び閾値がMaxTbSizeYである場合、sps_max_luma_transform_size_64_flagが１に等しいとき、MaxTbSizeYは６４に等しくてもよい。sps_max_luma_transform_size_64_flagが０に等しいとき、MaxTbSizeYは３２に等しい。

[0142] 幾つかの実施形態では、閾値の最大値は、第１のパラメータセットの少なくとも第１のパラメータに基づいて決定することができる。幾つかの実施形態では、閾値は、第２のパラメータセットの第２のパラメータの値に基づいて決定することができる。幾つかの実施形態では、第２のパラメータセットは、シーケンスパラメータセット（ＳＰＳ）である。幾つかの実施形態では、第２のパラメータセットは、ピクチャパラメータセット（ＰＰＳ）である。第２のパラメータは、（例えば、図５の表１に関連して示され、及び説明されたような）log2_transform_skip_max_size_minus2でもよい。第２のパラメータの値は、第１のパラメータの値に基づいて決定することができる。幾つかの実施形態では、第２のパラメータ（例えば、log2_transform_skip_max_size_minus2）の値は、０の最小値と、３及び第１のパラメータ（例えば、sps_max_luma_transform_size_64_flag）の値の合計に等しい最大値とを有する。例えば、log2_transform_skip_max_size_minus2は、０～（３＋sps_max_luma_transform_size_64_flag）の範囲内でもよい。幾つかの実施形態では、第２のパラメータは、エンコーダの第１のプロファイル（例えば、メインプロファイル）における第１の値と、エンコーダの第２のプロファイル（例えば、拡張プロファイル）における第２の値とを有してもよく、第１の値及び第２の値は異なる。

[0143] 図２１をさらに参照すると、ステップ２１０４では、コーデックは、可逆圧縮プロセス又は量子化プロセスの少なくとも一方を予測残差に対して行うことによって、予測残差に関する残差係数を生成することができる。本明細書に記載されるように、残差係数は、残差符号化プロセスに関連付けられた係数でもよい。量子化プロセスは、図２Ａ～２Ｂの量子化ステージ２１４でもよい。可逆圧縮プロセスは、係数グループ（ＣＧ）を使用して残差係数を生成することを含み得る。例えば、係数グループは、非オーバーラップでもよい。幾つかの実施形態では、係数グループは、４×４のサイズを有する。

[0144] 幾つかの実施形態では、コーデックは、複数変換選択（ＭＴＳ）スキームを使用して残差係数を生成することができる。例えば、コーデックは、予測ブロックの寸法が３２を超えないか否かを決定することができる。予測ブロックの寸法が３２を超えない場合、コーデックは、ＭＴＳスキームを使用して残差係数を生成することができる。

[0145] 幾つかの実施形態では、コーデックはさらに、コンテキスト符号化技術又はバイパス符号化技術の一方を使用して、係数グループに関する変換スキップ係数レベルを決定することができる。コーデックは、変換スキップ係数レベルに基づいて、Riceパラメータも決定することができる。コーデックはさらに、係数グループ、変換スキップ係数レベル、又はRiceパラメータの少なくとも１つをエントロピーエンコードすることによって、ビットストリームを生成することができる。

[0146] 幾つかの実施形態では、コーデックはさらに、予測ブロックの左にある第１の予測ブロックの第１の残差係数の第１の値、及び予測ブロックの上にある第２の予測ブロックの第２の残差係数の第２の値に基づいて、変換スキップ係数レベルを、変更された変換スキップ係数レベルにマッピングすることができる。

[0147] 幾つかの実施形態では、コーデックは、コンテキスト符号化技術又はバイパス符号化技術の一方を使用して、係数グループに関する変換スキップ係数レベルを決定し、予測ブロックの左にある第１の予測ブロックの第１の残差係数の第１の値、及び予測ブロックの上にある第２の予測ブロックの第２の残差係数の第２の値に基づいて、変換スキップ係数レベルを、変更された変換スキップ係数レベルにマッピングし、変更された変換スキップ係数レベルに基づいてコンテキスト符号化技術のためのコンテキストモデルを生成し、変更された変換スキップ係数レベルに基づいてRiceパラメータを決定し、係数グループを使用して残差係数を生成し、並びに係数グループ、変換スキップ係数レベル、又はRiceパラメータの少なくとも１つをエントロピーエンコードすることによってビットストリームを生成することができる。

[0148] 図２１をさらに参照すると、ステップ２１０６において、コーデックは、少なくとも残差係数をエントロピーエンコードすることによって、ビットストリームを生成することができる。ビットストリームは、図２Ａ～２Ｂの映像ビットストリーム２２８でもよい。

[0149] 図２２は、本開示の幾つかの実施形態による、映像処理のための別のプロセス例２２００のフローチャートを示す。例えば、プロセス２２００は、図３Ａ～３Ｂのデコーダによって行われてもよい。

[0150] 図２２に示されるように、ステップ２２０２では、デコーダは、映像シーケンスの符号化情報を含むビットストリームを受け取る。ビットストリームは、映像シーケンスのシーケンスパラメータセット（ＳＰＳ）を含む。

[0151] ステップ２２０４では、デコーダは、映像シーケンスのシーケンスパラメータセット（ＳＰＳ）のパラメータに基づいて、予測ブロックの最大変換サイズを決定する。予測ブロックは、変換ブロック（例えば、図１１～１３に示される変換ブロックの何れか）などの図２Ａ～２Ｂの予測データ２０６に含まれるブロックでもよい。幾つかの実施形態では、最大変換サイズは、予測ブロックのルマサンプルの寸法の最大値、又は予測ブロックの寸法の最大値に相当し得る。予測ブロックの寸法は、高さ又は幅を含み得る。ＳＰＳのパラメータに基づいて最大変換サイズを決定するための詳細な方法は、図５～１０に関連して上記に記載される。

[0152] ステップ２２０６では、デコーダは、最大変換サイズに基づいて、予測ブロックの予測残差に関する変換プロセスをスキップすることを決定する。変換プロセスは、図２Ａ～２Ｂの変換ステージ２１２でもよい。

[0153] 幾つかの実施形態では、命令を含む非一時的コンピュータ可読記憶媒体も提供され、命令は、上記の方法を行うために、デバイス（開示のエンコーダ及びデコーダなど）によって実行され得る。非一時的媒体の一般的な形態には、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、又はその他の磁気データ記憶媒体、ＣＤ－ＲＯＭ、その他の光学データ記憶媒体、孔のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、及びＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）－ＥＰＲＯＭ又はその他のフラッシュメモリ、ＮＶＲＡＭ、キャッシュ、レジスタ、その他のメモリチップ又はカートリッジ、並びに上記のネットワーク化バージョンが含まれる。デバイスは、１つ若しくは複数のプロセッサ（ＣＰＵ）、入出力インタフェース、ネットワークインタフェース、及び／又はメモリを含み得る。

[0154] 実施形態は、以下の条項を用いてさらに説明することができる。
１．予測ブロックの最大変換サイズに基づいて予測残差に関する変換プロセスをスキップすることを決定することと、
シーケンスパラメータセット（ＳＰＳ）において最大変換サイズをシグナリングすることと、
を含む、映像処理方法。
２．予測残差に関する変換プロセスをスキップすることを決定することが、
予測ブロックの寸法が閾値を超えないという決定に基づいて、変換プロセスをスキップすることを決定することを含み、閾値が、
予測ブロックのルマサンプルの寸法の最大値、又は
予測ブロックの寸法の最大値
の一方に等しい最大値を有する、条項１に記載の方法。
３．ルマサンプルの寸法の最大値、又は予測ブロックの寸法の最大値の一方が、動的値である、条項２に記載の方法。
４．変換スキップモードを示すパラメータにさらに基づいて、変換プロセスをスキップすることを決定することをさらに含む、先行する条項の何れか一項に記載の方法。
５．予測ブロックの寸法が、高さ又は幅を含む、条項２に記載の方法。
６．閾値の最大値が、第１のパラメータセットの少なくとも第１のパラメータに基づいて決定される、条項２に記載の方法。
７．第１のパラメータセットが、シーケンスパラメータセット（ＳＰＳ）である、条項６に記載の方法。
８．第１のパラメータの値が０又は１である、条項６～７の何れか一項に記載の方法。
９．閾値の最大値が６４である、条項２～８の何れか一項に記載の方法。
１０．閾値の最大値が３２である、条項２～８の何れか一項に記載の方法。
１１．閾値の最大値が、第１のパラメータセットの少なくとも第１のパラメータ、及び第１のパラメータセットの第３のパラメータに基づいて決定される、条項２～１０の何れか一項に記載の方法。
１２．閾値の最小値が４である、条項２～１１の何れか一項に記載の方法。
１３．閾値が、予測ブロックの輝度情報を示すルマサンプルの寸法の最大値に等しい、条項２～１２の何れか一項に記載の方法。
１４．閾値の最大値が、第２のパラメータセットの第２のパラメータの値に基づいて決定され、第２のパラメータの値が、第１のパラメータの値に基づいて決定される、条項６～１３の何れか一項に記載の方法。
１５．第２のパラメータの値が、０の最小値と、３及び第１のパラメータの値の合計に等しい最大値とを有する、条項１４に記載の方法。
１６．第２のパラメータが、エンコーダの第１のプロファイルにおける第１の値と、エンコーダの第２のプロファイルにおける第２の値とを有し、第１の値及び第２の値が異なる、条項１４に記載の方法。
１７．第２のパラメータセットがＳＰＳである、条項１４～１６の何れか一項に記載の方法。
１８．第２のパラメータセットがピクチャパラメータセット（ＰＰＳ）である、条項１４～１６の何れか一項に記載の方法。
１９．閾値が、変換プロセスを行うことを許容される予測ブロックの寸法の最大値に等しい、条項２～１２の何れか一項に記載の方法。
２０．閾値が、第１のパラメータの値に基づいて決定される、条項１９に記載の方法。
２１．複数変換選択（ＭＴＳ）スキームを使用して、予測ブロックに関する残差係数を生成することをさらに含む、先行する条項の何れか一項に記載の方法。
２２．予測ブロックの寸法が３２を超えないか否かを決定することと、
予測ブロックの寸法が３２を超えないという決定に基づいて、ＭＴＳスキームを使用して残差係数を生成することと、
をさらに含む、条項２１に記載の方法。
２３．予測ブロックの寸法が閾値を超えないか否かを決定することと、
予測ブロックの寸法が閾値を超えないという決定に基づいて、予測ブロックに関する残差係数を生成する前に、予測残差に対してブロック差分パルスコード変調（ＢＤＰＣＭ）を行うことと、
をさらに含む、条項２～２２の何れか一項に記載の方法。
２４．予測残差に対して可逆圧縮プロセスを行うことによって、予測残差に関する残差係数を生成することをさらに含み、可逆圧縮プロセスが、係数グループを使用して残差係数を生成することを含み、係数グループが、非オーバーラップである、先行する条項の何れか一項に記載の方法。
２５．係数グループが、４×４のサイズを有する、条項２４に記載の方法。
２６．コンテキスト符号化技術又はバイパス符号化技術の一方を使用して、係数グループに関する変換スキップ係数レベルを決定することと、
変換スキップ係数レベルに基づいてRiceパラメータを決定することと、
係数グループ、変換スキップ係数レベル、又はRiceパラメータの少なくとも１つをエントロピーエンコードすることによってビットストリームを生成することと、
をさらに含む、条項２４～２５の何れか一項に記載の方法。
２７．予測ブロックの左にある第１の予測ブロックの第１の残差係数の第１の値、及び予測ブロックの上にある第２の予測ブロックの第２の残差係数の第２の値に基づいて、変換スキップ係数レベルを、変更された変換スキップ係数レベルにマッピングすることをさらに含む、条項２４～２６の何れか一項に記載の方法。
２８．コンテキスト符号化技術又はバイパス符号化技術の一方を使用して、係数グループに関する変換スキップ係数レベルを決定することと、
予測ブロックの左にある第１の予測ブロックの第１の残差係数の第１の値、及び予測ブロックの上にある第２の予測ブロックの第２の残差係数の第２の値に基づいて、変換スキップ係数レベルを、変更された変換スキップ係数レベルにマッピングすることと、
変更された変換スキップ係数レベルに基づいてコンテキスト符号化技術のためのコンテキストモデルを生成することと、
変更された変換スキップ係数レベルに基づいてRiceパラメータを決定することと、
係数グループを使用して残差係数を生成することと、
係数グループ、変換スキップ係数レベル、又はRiceパラメータの少なくとも１つをエントロピーエンコードすることによってビットストリームを生成することと、
をさらに含む、条項２４～２６の何れか一項に記載の方法。
２９．量子化プロセスを行った後であり、且つ残差係数の生成中に、変換スキップ係数レベルを、変更された変換スキップ係数レベルにマッピングすることをさらに含む、条項２８に記載の方法。
３０．量子化プロセスを行った後であり、且つ残差係数の生成前に、変換スキップ係数レベルを、変更された変換スキップ係数レベルにマッピングすることをさらに含む、条項２８に記載の方法。
３１．Riceパラメータを決定することが、
予測ブロックのカラー成分の変更された変換スキップ係数レベルに基づいてRiceパラメータを決定することを含む、条項２８～３０の何れか一項に記載の方法。
３２．カラー成分の変更された変換スキップ係数レベルが、所定のオフセット値によってオフセットされる、条項３１に記載の方法。
３３．所定のオフセット値が、オフライン訓練プロセスにおいて機械学習モデルを使用して決定される、条項３２に記載の方法。
３４．残差係数を生成することが、
対角スキャニングを使用して、予測残差に対して、可逆圧縮プロセス又はＢＤＰＣＭの少なくとも一方を行うことであって、対角スキャニングを行うための予測ブロックの最大サイズが６４である、行うことを含む、条項２３～３３の何れか一項に記載の方法。
３５．残差係数を生成することが、
予測ブロックの寸法が３２を超えるという決定に基づいて、その寸法において、予測ブロックを複数のサブブロックに分割することと、
複数のサブブロックのそれぞれの特定のサブブロックに関して、対角スキャニングを使用して、その特定のサブブロックに関連付けられた予測残差に対して可逆圧縮プロセス又はＢＤＰＣＭの少なくとも一方を行うことであって、複数のサブブロックに関連付けられた可逆圧縮プロセス又はＢＤＰＣＭのそれぞれのパラメータ及び出力結果が独立している、行うことと、
を含む、条項２３～３３の何れか一項に記載の方法。
３６．予測ブロックの２つの寸法が３２を超えるという決定に基づいて、２つの寸法において、予測ブロックを複数のサブブロックに分割することをさらに含む、条項３５に記載の方法。
３７．複数のサブブロックに関連付けられた可逆圧縮プロセス又はＢＤＰＣＭのそれぞれのパラメータ及び出力結果が、コンテキスト符号化技術に関連付けられたコンテキストモデル、Riceパラメータ、又はコンテキスト符号化技術に関連付けられたコンテキスト符号化ビンの最大数の少なくとも１つを含む、条項３５～３６の何れか一項に記載の方法。
３８．対角スキャニングの単位が係数グループである、条項３４～３７の何れか一項に記載の方法。
３９．特定のサブブロックの係数グループごとに、係数グループの係数の値を示す第１のインジケータパラメータを設定することをさらに含む、条項３８に記載の方法。
４０．複数のサブブロックの特定のサブブロックごとに、特定のサブブロックの全ての係数グループの値を示す第２のインジケータパラメータを設定することをさらに含む、条項３８に記載の方法。
４１．特定のサブブロックの係数グループごとに、係数グループの係数の値を示す第１のインジケータパラメータを設定することと、
特定のサブブロックの最後の係数グループの前の全ての係数グループの第１のインジケータパラメータがゼロであるという決定に基づいて、最後の係数グループの第１のインジケータパラメータを１に設定することと、
をさらに含む、条項４０に記載の方法。
４２．残差係数を生成することが、
可逆符号化モードを示すパラメータに基づいて、予測残差に対して可逆圧縮プロセスを行うことによって、残差係数を生成することであって、ルマサンプルの寸法の最大値が６４である、生成することを含む、条項２４～４１の何れか一項に記載の方法。
４３．映像ピクチャを受け取ることと、
映像ピクチャを複数のブロックに分割することと、
ブロックに対してイントラ予測又はインター予測の一方を行うことによって、予測ブロックを生成することと、
ブロックから予測ブロックを減算することによって、予測残差を生成することと、
をさらに含む、先行する条項の何れか一項に記載の方法。
４４．命令を保存するように構成されたメモリと、
予測ブロックの最大変換サイズに基づいて予測残差に関する変換プロセスをスキップすることを決定することと、
シーケンスパラメータセット（ＳＰＳ）において最大変換サイズをシグナリングすることと、
を行うために命令を実行するように構成されたプロセッサと、
を含む、装置。
４５．装置に方法を行わせるために装置の少なくとも１つのプロセッサによって実行可能な命令セットを保存する非一時的コンピュータ可読媒体であって、方法が、
予測ブロックの最大変換サイズに基づいて予測残差に関する変換プロセスをスキップすることを決定することと、
シーケンスパラメータセット（ＳＰＳ）において最大変換サイズをシグナリングすることと、
を含む、非一時的コンピュータ可読媒体。
４６．映像シーケンスのビットストリームを受け取ることと、
映像シーケンスのシーケンスパラメータセット（ＳＰＳ）に基づいて、予測ブロックの最大変換サイズを決定することと、
最大変換サイズに基づいて、予測ブロックの予測残差に関する変換プロセスをスキップすることを決定することと、
を含む、映像処理方法。
４７．予測残差に関する変換プロセスをスキップすることを決定することが、
予測ブロックの寸法が閾値を超えないとの決定に応答して、変換プロセスをスキップすることを決定することを含み、閾値が、
予測ブロックのルマサンプルの寸法の最大値、又は
予測ブロックの寸法の最大値
の一方に等しい最大値を有する、条項４６に記載の方法。
４８．予測ブロックの寸法が、高さ又は幅を含む、条項４７に記載の方法。
４９．閾値の最大値が、ＳＰＳの少なくとも第１のパラメータに基づいて決定される、条項４７に記載の方法。
５０．第１のパラメータの値が０又は１である、条項４９に記載の方法。
５１．閾値の最大値が６４である、条項４７～５０の何れか一項に記載の方法。
５２．閾値の最大値が３２である、条項４７～５０の何れか一項に記載の方法。
５３．閾値の最大値が、ＳＰＳの少なくとも第１のパラメータ、及びＳＰＳの第３のパラメータに基づいて決定される、条項４７～５２の何れか一項に記載の方法。
５４．閾値の最小値が４である、条項４７～５３の何れか一項に記載の方法。
５５．閾値が、予測ブロックの輝度情報を示すルマサンプルの寸法の最大値に等しい、条項４７～５４の何れか一項に記載の方法。
５６．閾値の最大値が、第２のパラメータセットの第２のパラメータの値に基づいて決定され、第２のパラメータの値が、第１のパラメータの値に基づいて決定される、条項４９～５４の何れか一項に記載の方法。
５７．第２のパラメータの値が、０の最小値と、３及び第１のパラメータの値の合計に等しい最大値とを有する、条項５６に記載の方法。
５８．第２のパラメータが、エンコーダの第１のプロファイルにおける第１の値と、エンコーダの第２のプロファイルにおける第２の値とを有し、第１の値及び第２の値が異なる、条項５６に記載の方法。
５９．第２のパラメータセットがＳＰＳである、条項５６～５８の何れか一項に記載の方法。
６０．第２のパラメータセットがピクチャパラメータセット（ＰＰＳ）である、条項５６～５８の何れか一項に記載の方法。
６１．命令を保存するように構成されたメモリと、
映像シーケンスのビットストリームを受け取ることと、
映像シーケンスのシーケンスパラメータセット（ＳＰＳ）に基づいて、予測ブロックの最大変換サイズを決定することと、
最大変換サイズに基づいて、予測ブロックの予測残差に関する変換プロセスをスキップすることを決定することと、
を行うために命令を実行するように構成されたプロセッサと、
を含む、装置。
６２．装置に方法を行わせるために装置の少なくとも１つのプロセッサによって実行可能な命令セットを保存する非一時的コンピュータ可読媒体であって、方法が、
映像シーケンスのビットストリームを受け取ることと、
映像シーケンスのシーケンスパラメータセット（ＳＰＳ）に基づいて、予測ブロックの最大変換サイズを決定することと、
最大変換サイズに基づいて、予測ブロックの予測残差に関する変換プロセスをスキップすることを決定することと、
を含む、非一時的コンピュータ可読媒体。

[0155] 「第１の」及び「第２の」などの本明細書の関係語は、あるエンティティ又は動作を別のエンティティ又は動作と区別するためだけに使用されるものであり、これらのエンティティ又は動作間の実際の関係又は順序を必要とするもの、又は暗示するものではないことに留意されたい。また、「含む（comprising）」、「有する（having）」、「包含する（containing）」、及び「含む（including）」という語、並びに他の類似の形態は、意味が同等であること、及びこれらの語の何れか１つに続く１つ又は複数の項が、そのような１つ若しくは複数の項の網羅的列挙ではない点で、又は列挙された１つ若しくは複数の項のみに限定されない点で、オープンエンド形式であることが意図される。

[0156] 本明細書では、特に別段の記載のない限り、「又は」という用語は、実行不可能でない限り、全ての可能な組み合わせを網羅する。例えば、コンポーネントがＡ又はＢを含み得ると記述される場合、別段の具体的な記述のない限り、又は実行不可能でない限り、コンポーネントは、Ａ、又はＢ、又はＡ及びＢを含み得る。第２の例として、コンポーネントがＡ、Ｂ、又はＣを含み得ると記載される場合、特に別段の記載のない限り、又は実行不可能でない限り、コンポーネントは、Ａ、又はＢ、又はＣ、又はＡ及びＢ、又はＡ及びＣ、又はＢ及びＣ、又はＡ及びＢ及びＣを含み得る。

[0157] 上記の実施形態は、ハードウェア、又はソフトウェア（プログラムコード）、又はハードウェア及びソフトウェアの組み合わせによって実施され得ることが理解される。ソフトウェアによって実施される場合、それは、上記のコンピュータ可読媒体に保存され得る。ソフトウェアは、プロセッサによる実行時に、開示の方法を行うことができる。本開示に記載したコンピューティングユニット及び他の機能ユニットは、ハードウェア、又はソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実装され得る。当業者は、上記のモジュール／ユニットの内の複数が、１つのモジュール／ユニットとして統合され得ること、及び上記のモジュール／ユニットのそれぞれが、複数のサブモジュール／サブユニットにさらに分割され得ることも理解するだろう。

[0158] 上述の明細書では、実施態様によって異なり得る多数の具体的詳細に関して、実施形態を説明した。記載した実施形態の特定の適応及び変更が行われ得る。ここに開示した発明の明細書及び実施を考慮して、他の実施形態が当業者には明らかとなり得る。上記明細書及び例は、単なる例と見なされることが意図され、本発明の真の範囲及び精神は、以下の特許請求の範囲によって示される。また、図面に示されるステップの順序は、単に、説明のためのものであることが意図され、ステップの何れの特定の順序にも限定されることは意図されない。そのため、同じ方法を実施しながら、これらのステップが異なる順序で行われ得ることを当業者は理解できる。

[0159] 図面及び明細書では、実施形態例を開示した。しかしながら、これらの実施形態に対して多くの変形形態及び変更形態を作ることができる。したがって、特定の用語が使用されるが、それらは、単に一般的及び説明的な意味で使用されるものであり、限定を意図したものではない。

Claims

予測ブロックの最大変換サイズに基づいて予測残差に関する変換プロセスをスキップすることを決定することと、
シーケンスパラメータセット（ＳＰＳ）において前記最大変換サイズをシグナリングすることと、
を含む、映像処理方法。
変換スキップモードを示すパラメータにさらに基づいて、前記変換プロセスをスキップすることを決定することをさらに含む、請求項１に記載の方法。
前記予測残差に関する前記変換プロセスをスキップすることを決定することが、
前記予測ブロックの寸法が閾値を超えないという決定に基づいて、前記変換プロセスをスキップすることを決定することを含み、前記閾値が、
前記予測ブロックのルマサンプルの寸法の最大値、又は
前記予測ブロックの寸法の最大値
の一方に等しい最大値を有する、請求項１に記載の方法。
前記ルマサンプルの前記寸法の前記最大値、又は前記予測ブロックの前記寸法の前記最大値の一方が、動的値である、請求項３に記載の方法。
前記予測ブロックの前記寸法が、高さ又は幅を含む、請求項３に記載の方法。
前記閾値の前記最大値が６４である、請求項３に記載の方法。
前記閾値の前記最大値が３２である、請求項３に記載の方法。
前記閾値の最小値が４である、請求項３に記載の方法。
前記閾値が、前記予測ブロックの輝度情報を示す前記ルマサンプルの前記寸法の前記最大値に等しい、請求項３に記載の方法。
前記閾値の前記最大値が、第１のパラメータセットの少なくとも第１のパラメータに基づいて決定される、請求項３に記載の方法。
前記第１のパラメータセットが、シーケンスパラメータセット（ＳＰＳ）である、請求項１０に記載の方法。
前記第１のパラメータの値が０又は１である、請求項１０に記載の方法。
前記閾値の前記最大値が、前記第１のパラメータセットの少なくとも前記第１のパラメータ、及び前記第１のパラメータセットの第３のパラメータに基づいて決定される、請求項１０に記載の方法。
前記閾値の前記最大値が、第２のパラメータセットの第２のパラメータの値に基づいて決定され、前記第２のパラメータの前記値が、前記第１のパラメータの前記値に基づいて決定される、請求項１０に記載の方法。
前記第２のパラメータの前記値が、０の最小値と、３及び前記第１のパラメータの前記値の合計に等しい最大値とを有する、請求項１４に記載の方法。
前記第２のパラメータが、エンコーダの第１のプロファイルにおける第１の値と、前記エンコーダの第２のプロファイルにおける第２の値とを有し、前記第１の値及び前記第２の値が異なる、請求項１４に記載の方法。
前記第２のパラメータセットが前記ＳＰＳである、請求項１４に記載の方法。
前記第２のパラメータセットがピクチャパラメータセット（ＰＰＳ）である、請求項１４に記載の方法。
命令を保存するように構成されたメモリと、
プロセッサと、を含み、前記プロセッサは、
予測ブロックの最大変換サイズに基づいて予測残差に関する変換プロセスをスキップすることを決定することと、
シーケンスパラメータセット（ＳＰＳ）において前記最大変換サイズをシグナリングすることと、
を装置に行わせるように、前記命令を実行するように構成される、
装置。
命令セットを保存する非一時的コンピュータ可読媒体であって、前記命令セットは、装置に方法を行わせるように、前記装置の少なくとも１つのプロセッサによって実行可能であり、前記方法が、
予測ブロックの最大変換サイズに基づいて予測残差に関する変換プロセスをスキップすることを決定することと、
シーケンスパラメータセット（ＳＰＳ）において前記最大変換サイズをシグナリングすることと、
を含む、非一時的コンピュータ可読媒体。