JP2022544950A

JP2022544950A - ビデオエンコードおよびデコードに対する量子化マトリックス予測

Info

Publication number: JP2022544950A
Application number: JP2022509117A
Authority: JP
Inventors: ドラグランジュフィリップ; ルルアンネックファブリス; フランソワエドゥアール; ガルピンフランク
Original assignee: インターデジタルヴイシーホールディングスフランス，エスエーエス
Priority date: 2019-08-14
Filing date: 2020-08-06
Publication date: 2022-10-24
Also published as: CN114270858A; US20230084787A1; EP4014490A1; MX2022001836A; WO2021028321A1

Abstract

ビットストリームに含まれたビデオ情報のデコードおよび／またはエンコードは、ビデオ情報の少なくとも一部に関連付けられた予測量子化マトリックスと、予測量子化マトリックスの少なくとも１つの係数が残差として解釈されることを示すシンタックス要素とを含んで、ビデオ情報の少なくとも一部のデコードおよび／またはエンコードは、予測量子化マトリックスと残差との組み合わせに基づき、シンタックス要素は、デコードの間、ビットストリームから取得される、またはエンコードの間、ビットストリームに含まれることが可能である。

Description

本開示は、ビデオ圧縮に関し、より詳細には、ビデオ圧縮の量子化段階に関する。

高い圧縮効率を達成するために、通例、画像およびビデオの符号化スキームは、予測および変換を利用して、ビデオコンテンツにおける空間的なおよび時間的な冗長性をレバレッジする。一般に、イントラ予測またはインター予測が用いられて、フレーム内相関（intra frame correlation）またはフレーム間相関（inter frame correlation）を利用し、次に、予測誤差または予測残差として示されることがよくある、元のピクチャブロックと予測されたピクチャブロックとの間の差は、変換され、量子化され、エントロピー符号化される。ビデオを再構成するために、圧縮されたデータは、予測、変換、量子化、およびエントロピー符号化に対応する逆処理によってデコードされる。

ＨＥＶＣ（High Efficiency Video Coding）は、圧縮規格の例である。ＨＥＶＣは、ＪＣＴ－ＶＣ（Joint Collaborative Team on Video Coding）によって開発された（例えば、「ITU-T H.265 TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU (10/2014), SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Infrastructure of audiovisual services - Coding of moving video, High efficiency video coding, Recommendation ITU-T H.265」を参照）。圧縮規格の別の例は、ＪＶＥＴ（Joint Video Experts Team）による開発のもとの１つであり、ＶＶＣ（Versatile Video Coding）が指名された開発の成果に関連付けられた１つである。ＶＶＣは、ＨＥＶＣに対する改良を与えることに向けられる。

一般に、態様の少なくとも１つは、エンコードされたビデオ情報を含むビットストリームから、量子化マトリックス（quantization matrix）およびシンタックス要素のうちの少なくとも１つの係数を表す情報を取得することと、シンタックス要素に基づいて、少なくとも１つの係数を表す情報が残差として解釈されることになることを決定することと、量子化マトリックスの予測と残差との組み合わせに基づいて、エンコードされたビデオ情報の少なくとも一部をデコードすることと、を含む方法を含むことが可能である。

一般に、態様の少なくとも１つの例は、エンコードされたビデオ情報を含むビットストリームから、量子化マトリックスおよびシンタックス要素のうちの少なくとも１つの係数を表す情報を取得し、シンタックス要素に基づいて、少なくとも１つの係数を表す情報が残差として解釈されることになることを決定し、量子化マトリックスの予測と残差との組み合わせに基づいて、エンコードされたビデオ情報の少なくとも一部をデコードするように構成された１つまたは複数のプロセッサーを含む装置を含むことが可能である。

一般に、態様の少なくとも１つの例は、ビデオ情報と、ビデオ情報の少なくとも一部に関連付けられた予測量子化マトリックス（predicted quantization matrix）の少なくとも１つの係数を表す情報とを取得することと、少なくとも１つの係数が残差として解釈されることになることを決定することと、予測量子化マトリックスと残差との組み合わせに基づいてビデオ情報の少なくとも一部をエンコードし、少なくとも１つの係数が残差として解釈されることになることを示すシンタックス要素をエンコードすることと、を含む方法を含むことが可能である。

一般に、態様の少なくとも１つの例は、ビデオ情報と、ビデオ情報の少なくとも一部に関連付けられた予測量子化マトリックス（predicted quantization matrix）の少なくとも１つの係数を表す情報とを取得し、少なくとも１つの係数が残差として解釈されることになることを決定し、予測量子化マトリックスと残差との組み合わせに基づいてビデオ情報の少なくとも一部をエンコードする、および、少なくとも１つの係数が残差として解釈されることになることを示すシンタックス要素をエンコードするように構成された１つまたは複数のプロセッサーを含む装置を含むことが可能である。

一般に、態様の別の例は、ピクチャ情報を含むようにフォーマットされたビットストリームを含むことが可能であり、ピクチャ情報は、本開示にしたがって、方法の態様の例のうちのいずれかの１つまたは複数に基づいてピクチャ情報を処理することによってエンコードされる。

一般に、さらに、態様の１つまたは複数の他の例は、本明細書に説明される方法または装置に従って、ピクチャ情報、たとえばビデオデータなどをエンコードするまたはデコードするための命令を格納しているコンピューター読取り可能な記録媒体、例えば、非一時的なコンピューター読取り可能記録媒体を提供することも可能である。さらに、１つまたは複数の態様は、本明細書に説明される方法または装置に従って生成されたビットストリームを格納したコンピューター読取り可能な記録媒体を提供することも可能である。さらに、１つまたは複数の態様は、本明細書に説明される方法または装置に従って生成されたビットストリームを送信するまたは受信するための方法および装置を提供することも可能である。

以下に説明されている、上がっている圧縮効率および／または符号化効率および／または処理効率および／または下がっている複雑さのうちの１つまたは複数を限定されずに含むビデオエンコードおよび／またはデコードシステムに対する改良を与えることが可能である種々の変更および態様が想像される。

上述は、本開示のいくつかの様相の基本的な理解を提供するために、主題の簡略化された要約を与える。本要約は、主題の広範囲にわたる概要ではない。態様の重要な／重大な要素を特定することが、または主題の範囲の境界を明示することが意図されない。唯一の目的は、以下に提供されるより詳細な説明の前置きとして、簡略化されたかたちにおいて主題のいくつかの概念を与えることである。

本開示は、添付の図面と共に以下の詳細な説明を検討することによって、よりよく理解されることがある。

ＶＶＣにおいて３２より大きいブロックサイズに対して零に推論される変換／量子化係数の例を示す。Ｈ．２６４におけるイントラおよびインターデフォルト量子化マトリックスの比較を示す（上：インター（ソリッド）およびイントラ（格子）、下：インター（ソリッド）およびイントラのスケーリング（格子））。ＨＥＶＣにおけるイントラおよびインターデフォルト量子化マトリックスの比較を示す（上：インター（ソリッド）およびイントラ（格子）、下：インター（ソリッド）およびイントラのスケーリング（格子））。量子化マトリックス（quantization matrix：ＱＭ）デコードワークフロー（decoding workflow）の例を例示する。変更されたＱＭデコードワークフローの態様の例を例示する。変更されたＱＭデコードワークフローの態様についての別の例を例示する。予測（例えば、コピー）と可変長（variable-length）の残差とを含むＱＭデコードワークフローの態様についての別の例を例示する。予測（例えば、スケーリング）と可変長の残差とを含むＱＭデコードワークフローの態様についての別の例を例示する。予測（例えば、スケーリング）と可変長の残差とを常に用いることを含むＱＭデコードワークフローの態様についての別の例を例示する。本明細書に説明される種々の様相、特徴、および態様を実装するのに適したエンコーダー、例えばビデオエンコーダーの態様の例をブロック図のかたちにおいて例示する。本明細書に説明される種々の様相、特徴、および態様を実装するのに適したデコーダー、例えばビデオデコーダーの態様の例をブロック図のかたちにおいて例示する。本明細書に説明される種々の様相、特徴、および態様を実装するのに適したシステムの例をブロック図のかたちにおいて例示する。本説明にしたがうデコーダーの態様についての別の例を例示する。本説明にしたがうエンコーダーの態様の別の例を例示する。

図面は、種々の様相および態様の例を例示することの目的に対してであり、必ずしも唯一の可能性のある構成ではないことが理解されるべきである。種々の図面の至る所において、同じ参照符号は、同一または類似の特徴を引用する。

ＨＥＶＣ仕様は、逆量子化処理において量子化マトリックスの使用を認めて、符号化されたブロックの周波数変換されている係数は、カレントの量子化段階によってスケーリングされ、さらに量子化マトリックス（quantization matrix：ＱＭ）によって次のとおりにスケーリングされる。
d[ x ][ y ]=Clip3( coeffMin, coeffMax, ( (TransCoeffLevel[ xTbY ][ yTbY ][ cIdx ][ x ][ y ] ) * m[ x ][ y ] * levelScale[ qP%6 ] << (qP / 6 ) )+ ( 1 << ( bdShift - 1 ) ) ) >> bdShift )
ただし、
●TransCoeffLevel[...]は、空間座標xTbY、yTbYおよびコンポーネントインデックスcIdxによって識別されるカレントブロック（current block）に対して変換されている係数の絶対値である。
●xおよびyは、水平／垂直の周波数インデックスである。
●qPは、カレントの量子化パラメーターである。
●levelScale[qP%6]による乗法の演算および(qP/6)による左シフトは、量子化段階qStep = ( levelScale[qP%6] << (qP/6) )による乗法の演算と同等である。
●m[...][...]は、２次元量子化マトリックスである。
●bdShiftは、画像サンプルのビット深度を考慮した追加のスケーリングファクタ（scaling factor）である。項(1 << (bdShift - 1))は、最も近い整数の概数にて表す目的を果たす。
●d[...]は、結果として生じている逆量子化された変換されている係数の絶対値である。

量子化マトリックスを送信するのにＨＥＶＣによって用いられるシンタックスは、次である。

次を特筆することが可能である。
●異なるマトリックスは、各変換サイズ（sizeId）に対して指定される。
●与えられた変換サイズに対して、６つのマトリックスが、イントラ／インター符号化およびＹ／Ｃｂ／Ｃｒ成分に対して指定される。
●マトリックスは、次のいずれかであることが可能である、
○scaling_list_pred_mode_flag が零ならば、同一のサイズの以前に送信されたマトリックスからコピーされる（参照matrixIdは、matrixId - scaling_list_pred_matrix_id_delta として取得される）、
○規格にて指定されているデフォルト値からコピーされる（scaling_list_pred_mode_flagおよびscaling_list_pred_matrix_id_deltaの両方が零ならば）、
○ｅｘｐ－Ｇｏｌｏｍｂエントロピー符号化を用いて、右上ダイアゴナルスキャニング（up-right diagonal scanning）の順にＤＰＣＭ符号化モードにおいて完全に指定される。
●８×８より大きいブロックサイズに対して、符号化ビットを節約するために、８×８の係数のみが、量子化マトリックスをシグナリングするために送信される。次に、係数は、明示的に送信されるＤＣ係数を除いて、ゼロホールド（zero-hold）（すなわち、繰り返し）を用いて補間される。

ＨＥＶＣと同様の量子化マトリックスの使用は、貢献ＪＶＥＴ－Ｎ０８４７に基づくＶＶＣ原案５（VVC draft 5）にて採用されている（O.Chubach, T.Toma, S.C.Lim, et al.、「CE7-related:Support of quantization matrices for VVC」、JVET-N0847、Geneva、CH、２０１９年３月参照）。scaling_list_dataのシンタックスは、以下に示されているＶＶＣコーデックに合わせて変えられている。

ＨＥＶＣと比較すれば、ＶＶＣは、ブロックサイズがより高い数のため、より多くの量子化マトリックスが必要である。

ＶＶＣ原案５（VVC draft 5）（JVET-N0847採用による）に関して、ＨＥＶＣのように、ＱＭは、２つのパラメーターｍａｔｒｉｘＩｄおよびｓｉｚｅＩｄによって識別される。今述べたことは、次の２つの表に例示される。

両方の識別子の組み合わせは、次の表に示される。

ＨＥＶＣのように、８×８より大きいブロックサイズに対して、８×８の係数＋ＤＣのみが送信される。正しいサイズのＱＭは、ゼロホールド（zero-hold）の補間を用いて再構成される。例えば、１６×１６ブロックに対して、すべての係数は、両方向に２回繰り返され、次に、ＤＣ係数は、送信された１つと置き換えられる。

長方形のブロックに対して、ＱＭ選択のために保持されるサイズ（sizeId）は、より大きな寸法、すなわち、幅および高さの最大値である。例えば、４×１６のブロックに対して、１６×１６のブロックサイズのためのＱＭが選択される。次に、再構成された１６×１６のマトリックスは、因数４によって垂直にデシメーションされて、最終的な４×１６の量子化マトリックスを取得する（すなわち、４つの中から３つのラインがスキップされる）。

下記について、sizeIdと、用いられる正方形のブロックサイズとに関して、ブロックサイズ（正方形または長方形）について与えられたファミリーに対するＱＭを、サイズＮ（size-N）と呼び、例えば、ブロックサイズ１６×１６または１６×４に対して、ＱＭは、サイズ１６（ＶＶＣ原案５（VVC draft 5）におけるsizeId 4）として識別される。サイズＮの表記は、正確なブロックのかたちと区別する、および、シグナリングされたＱＭ係数の数（表３に示されている８×８に限定される）と区別するのに用いられる。

その上さらに、ＶＶＣ原案５（VVC draft 5）にて、サイズ６４について、右下に対するＱＭ係数は、送信されない（０に推論され、下記において「ゼロアウト（zero-out）」と呼ばれる）。今述べたことは、scaling_list_dataシンタックスにて「x>=4 && y>=4」条件によって実装される。今述べたことは、変換／量子化処理によって決して用いられないＱＭ係数を送信することを避ける。確かに、ＶＶＣにて、いずれかの次元（Ｎ＜＝６４ならば、６４ｘＮ、Ｎｘ６４）においても、３２より大きい変換ブロックサイズは、３２以上のｘ／ｙ周波数座標を有する変換されている係数は、送信されず、零に推論される。結果として、量子化する必要がある量子化マトリックス係数はない。今述べたことは、図１に例示され、ハッチングされた領域は、零に推論された変換係数に対応する。

一般に、本明細書に説明される少なくとも１つの態様の様相は、可能な限り簡潔に仕様を保つ一方、カスタムＱＭ（custom QM）の送信においてビットを節約することを含むことが可能である。一般に本開示の別の様相は、単純な調整が低ビットコストにより可能であるように、ＱＭ予測を改良することを含むことが可能である。

例えば、ＱＭに適用される２つの共通の調整は次である。
－選択の中立値（neutral value）に基づくマトリックス係数についてのグローバルスケーリングにより容易に達成される、ダイナミックレンジ（最低値－通例、低周波数としてと、最高値－通例、高周波数としてとの比）の制御、および
－ビットレートを微調整するか、ＱＰの範囲を拡大するか、異なる変換サイズ間にて品質のバランスをとるかのいずれかのための一般的なオフセット
１つの一例は、図２に例示されるｈ２６４に対する「イントラ」および「インター」の８×８デフォルトマトリックスである。図２は、イントラおよびインターのデフォルトｈ２６４マトリックスについての比較である。図２における上の例図は、インター（ソリッド）およびイントラ（格子）を示す。図２における下の例図は、インター（ソリッド）およびスケーリングされたイントラ（格子）を示す。図２にて、「インター」マトリックスは、「スケーリングされたイントラ」が（ｉｎｔｒａ＿ＱＭ－１６）＊１１／１６＋１７である、「イントラ」マトリックスの単なるスケーリング版である。

同様の傾向は、図３に例示されている、ＨＥＶＣ８×８デフォルトマトリックスについても見られる。図３は、イントラおよびインターのデフォルトｈ２６４マトリックスについての比較である。図３における上の例図は、インター（ソリッド）およびイントラ（格子）を示す。図３における下の例図は、インター（ソリッド）と、「スケーリングされたイントラ」が（ｉｎｔｒａ＿ＱＭ－１６）＊１２／１６＋１６であるスケーリングされたイントラ（格子）を示す。

上記の単純な調整は、ＨＥＶＣおよびＶＶＣにおいてマトリックスの完全な再符号化を必要とし、コスト高（例えば、上に示されているスケーリングされたＨＥＶＣイントラマトリックスを符号化するのに２４０ビット）であることが可能である。さらに、ＨＥＶＣおよびＶＶＣの両方において、予測（＝コピー）と明示的なＱＭ係数とは、相互に排他的である。換言すれば、予測をリファインメントすることは、可能ではない。

ＶＶＣコンテキストにて、ＱＭシンタックスおよび予測についての変更が提案された。例えば、１つの提案（ＪＶＥＴ－Ｏ０２２３）にて、ＱＭは、より大きなものからより小さなものへの順に送信され、より大きなブロックサイズに対して意図されたＱＭからのを含む、以前に送信されたすべてのＱＭからの予測を可能にする。ここでの「予測」は、コピーを、または参照が大きいならばデシメーションを意味する。今述べたことは、同一のタイプ（Ｙ／Ｃｂ／Ｃｒ、イントラ／インター）についての、異なるブロックサイズに対して意図されたＱＭの間における類似性を利用する。説明される提案に含まれるＱＭインデックスｍａｔｒｉｘＩｄは、次の式を用いて組み合わせられる、サイズ識別子ｓｉｚｅＩｄ（表４に示される）およびタイプ識別子ｍａｔｒｉｘＴｙｐｅＩｄ（表５に示される）の混合物であり、表６に示される一意的な識別子ｍａｔｒｉｘＩｄに帰着する。
ｍａｔｒｉｘＩｄ＝６^*ｓｉｚｅＩｄ＋ｍａｔｒｉｘＴｙｐｅＩｄ（３－１）

そして、シンタックスは、下記にハイライトする（本翻訳文ではハイライトの代わりに下線を引く）ことによって示されているとおりに変更される。

ＱＭデコードワークフローは、図４にて例示される。

図４にて、
－入力は、符号化されたビットストリームである。
－出力は、ScalingMatrixの配列である。
－「ＱＭ予測モードをデコードする」：ビットストリームから予測フラグを得る。
－「予測されるか？」：前述のフラグによって決まる、ＱＭがビットストリームにて推論されるか（予測されるか）シグナリングされるかを決定する。
－「ＱＭ予測データをデコードする」：シグナリングされていないときＱＭを推論するのに必要な予測データ、例えばＱＭインデックスの違いscaling_list_pred_matrix_id_deltaなどをビットストリームから得る。
－「デフォルトか？」：ＱＭがデフォルト値から予測されるか（例えばscaling_list_pred_matrix_id_deltaが零であるかなど）、以前にデコードされたＱＭから予測されるかを決定する。
－「参照ＱＭはデフォルトＱＭである」：デフォルトＱＭを参照ＱＭとして選択する。例えばmatrixIdのパリティによって決まることなどから選択される複数のデフォルトＱＭがあることが可能である。
－「参照ＱＭを得る」：以前にデコードされたＱＭを参照ＱＭとして選択する。参照ＱＭのインデックスは、matrixIdと前述のインデックスの違いとから導出される。
－「参照ＱＭをコピーするまたはダウンスケーリングする」：ＱＭを参照ＱＭから予測する。予測は、参照ＱＭが正しいサイズであるならば単純なコピー、または予期されるよりも大きいならばデシメーションを含む。結果は、ScalingMatrix[matrixId]に格納される。
－「係数の数を得る」：matrixId によって決まる、ビットストリームからデコードされるＱＭ係数の数を決定する。例えば、matrixIdが２０より小さいならば６４、matrixIdが２０から２５までの間であるならば１６、およびそうでなければ４。
－「ＱＭ係数をデコードする」：関係のあるＱＭ係数の数をビットストリームからデコードする。
－「ダイアゴナルスキャニング」：デコードされたＱＭ係数を２次元マトリックスにおいて構成する。結果は、ScalingMatrix[matrixId]に格納される。
－「最後のＱＭ」：ループするか、すべてのＱＭがビットストリームからデコードされるとき停止するかどうか。
－ＤＣ値についての詳細は、明快さのために省略される。
上に説明された提案（ＪＶＥＴ－Ｏ０２２３）は、異なるsizeIdを有するＱＭからの予測を可能にすることによって、ＶＶＣのコンテキストにてカスタムＱＭを符号化することについてのビットコストを減らすことを試みる。しかしながら、予測は、コピー（またはデシメーション）に限定される。
ＨＥＶＣコンテキストにて、ＪＣＴＶＣ－Ａ１１４（HEVC Call for Proposalへの回答）は、スケーリングの性能を有するインターＱＭ予測技法を提案した。ボールド体（本翻訳文ではボールド体の代わりに下線を引いてある）にて示される最も関係のある部分を有して、次のシンタックスおよびセマンティクスがＪＣＴＶＣ－Ａ１１４の付属書Ａにて見つけられる。

ただし、
－qscalingmatrix_update_type_flag：スケーリングマトリックス（scaling matrix）を更新するメソッドを示す。値０は、新しいマトリックスが既存のマトリックスから変えられることを意味し、値１は、新しいマトリックスがヘッダーから検索されることを意味する。
－delta_scale：デルタスケールの値を示す。delta_scale値は、Ｚ字形のスキャニングの順にデコードされる。存在しないならば、delta_scaleに対するデフォルト値は零に等しい。
－matrix_scale：すべてのマトリックスの値をスケーリングするパラメーターを示す。
－matrix_slope：平坦でないマトリックスの勾配を調整するパラメーターを示す。
－num_delta_scale：０に等しいqscalingmatrix_update_type_flagのときデコードされるdelta_scale値の数を示す。
－qscalingmatrix_update_type_flagによって決まる、スケーリングマトリックスScaleMatrixの値は、次のとおりに定義される、
－qscalingmatrix_update_type_flagが０に等しいならば、
ScaleMatrix[ i ] = (ScaleMatrix[ i ] * (matrix_scale + 16) + matrix_slope * (ScaleMatrix[ i ] - 16) + 8 )>>4) + delta_scale、
ただし、i = 0からMaxCoeff
－そうでなければ（qscalingmatrix_update_type_flagが１に等しい）、
ScaleMatrix[ i ]は、節５．１０に示すように導出される
注）caleMatrix[ i ] は、デフォルトによって１６に等しい。
ＪＣＴＶＣ－Ａ１１４のアプローチは、スケーリングファクタ（scaling factor）と可変長（variable-length）の残差とによるＱＭ予測を可能にするが、２つの冗長なスケーリングファクタがあり、グローバルオフセットを指定する簡単なメソッドがない（すべてのdelta_scale値がＤＰＣＭ符号化されるわけではないので、１つがすべてのdelta_scale値を符号化しなければならないだろう）。

一般に、本開示の少なくとも１つの様相は、コピーおよびダウンサンプリングに加えてスケールファクタ（scale factor）を適用すること、グローバルオフセットを指定する簡単なやり方を提供すること、または可変長の残差により予測をリファインメントできるようにすることによって、ＱＭの予測を拡張することのうちの１つまたは複数を含むことが可能である。

一般に、本開示の少なくとも１つの様相は、ＱＭをさらにリファインメントするために、完全な符号化よりも可能性のあるより低いコストを有して、改良された予測を残差と組み合わせることを含むことが可能である。

一般に、本開示にしたがう態様の少なくとも１つの例は、コピー／ダウンスケーリングに加えてオフセットによるＱＭ予測を含むことが可能である。

一般に、本開示にしたがう態様の少なくとも１つの例は、（可変長の）残差を加えたＱＭ予測を含むことが可能である。

一般に、本開示にしたがう態様の少なくとも１つの例は、コピー／ダウンスケーリングに加えてスケールファクタ（scale factor）によるＱＭ予測を含むことが可能である。

一般に、本開示にしたがう態様の少なくとも１つの例は、オフセットか残差かのいずれかとのスケールファクタの組み合わせを含むことが可能である。

一般に、本開示にしたがう態様の少なくとも１つの例は、ＱＭを送信するのに必要なビット数を減らすことを提供し、簡潔に仕様を保つと同時に正確度とビットコストとの間のユーザー定義のトレードオフを可能にすることが可能である。

一般に、本開示にしたがう態様の少なくとも１つの例は、ＱＭを送信するのに必要なビット数を減らすことを提供し、簡潔に仕様を保つと同時に正確度とビットコストとの間のユーザー定義のトレードオフを可能にする次の特徴のうち１つまたは複数を含むことが可能である。
●ＱＭ予測に残差を加える、
●ＱＭ予測にスケーリングファクタを加える、
●残差とスケーリングとを組み合わせる、
●予測を常に用いる（予測モードフラグを取り除く）。

説明された特徴および様相の１つまたは複数を組み込んだ種々の態様の例が以下に提供される。次の例は、提案ＪＶＥＴ－Ｏ０２２３を含むＶＶＣ原案５（VVC draft 5）に基づいて、シンタックスおよびテキストディスクリプションのかたちにおいて与えられる。しかしながら、今述べたコンテキストは、単に、説明の容易さおよび明確さに対して選択された例であり、本開示の範囲も、本明細書に説明される原理の適用の範囲も限定しない。換言すれば、同一の原理は、多くの異なる状況において、当業者には明らかなように、例えばＨＥＶＣまたはＶＶＣ原案５（VVC draft 5）に、スケーリングファクタの代わりにＱＰオフセットとして解釈されるＱＭオフセットとして組み込まれるＱＭに、８ビットの代わりに７ビットにより符号化されたＱＭ係数になど、適用されることが可能である。

一般に、態様の少なくとも１つの例は、グローバルオフセットを加えることを含むＱＭ予測に対するコピーに加える変更を含む。一例として、グローバルオフセットは、ＪＶＥＴ－Ｏ０２２３を含むＶＶＣ原案５（VVC draft 5）に基づいて、シンタックスおよび仕様テキストの次の変更に示されているとおりに明示的に指定されることが可能であり、追加は、陰によりハイライトされ（本翻訳文ではハイライトの代わりに下線を引く）、削除は、貫く線が引かれる（本翻訳文では貫く線の代わりに「／＊」と「＊／」とにより挟む）。

上に説明された態様に対応する変更されたＱＭデコードワークフローの例は、図５に示され、ＪＶＥＴ－Ｏ０２２３からの変更は、ボールド体のテキストおよび太い外郭の中にある。

代替えとして、グローバルオフセットは、（下に説明される）ＤＰＣＭ符号化された残差の第１の係数として指定されることが可能である。

一般に、態様の少なくとも１つの例は、残差を予測に加えることを含む。例えば、ＱＭ予測に加えて残差を送信して、予測をリファインメントする、またはＱＭに対して最適化された符号化スキーム（直接符号化の代わりに残差を加えた予測）を提供することが望ましいことが可能である。予測されていないときＱＭ係数を送信するのに用いられるシンタックスは、ＱＭが予測されるとき残差を送信するのに再使用されることが可能である。

加えて、残差の係数の数は、可変であることが可能である。今述べた係数がＨＥＶＣ、ＶＶＣ、およびＪＶＥＴ－Ｏ０２２３におけるようにＤＰＣＭ符号化され、欠落した係数が零に推論されるとき、残差について追跡する係数（trailing coefficient）は、最後に送信された残差係数の繰り返しであることを意味する。次に、単一の残差係数を送信することは、ＱＭ全体に一定のオフセットを適用することに相当する。

一般に、残差を加えることを含む説明される態様の少なくとも１つの異形は、依然として係数は非予測モード（non-prediction mode）によるとして送信されるが残差として解釈されることが可能であることを示す予測モードにおけるとき、フラグを用いることをさらに含むことが可能である。予測モードではないとき、設計を統一するために、係数は、デフォルトのオール８のＱＭ予測に加えて、残差として解釈されることが依然として可能である（値８は、ＨＥＶＣおよびＶＶＣのビヘイビアを模倣することであるが、その値に限定されない）。ＪＶＥＴ－Ｏ０２２３に基づくシンタックスおよびセマンティクスの例は、以下に例示される。

０に等しいscaling_list_pred_mode_flag[ matrixId ]は、スケーリングマトリックスが参照スケーリングマトリックス（reference scaling matrix）の値から導出されることを指定する。参照スケーリングマトリックスは、scaling_list_pred_matrix_id_delta[ matrixId ]によって指定される。１に等しいscaling_list_pred_mode_flag[ matrixId ]は、スケーリングリストの値が明示的にシグナリングされることを指定する。
scaling_list_pred_mode_flag[ matrixId ]が１に等しいとき、(matrixSize)x(matrixSize)の配列predScalingMatrix[ matrixId ]のすべての値、および変数predScalingDC[ matrixId ]の値は、８に等しいと推論される。
scaling_list_pred_matrix_id_delta[ matrixId ]は、次のとおりに、予測されるスケーリングマトリックス（predicted scaling matrix）を導出するのに用いられる参照スケーリングマトリックスを指定する。scaling_list_pred_matrix_id_delta[ matrixId ]の値は、両端を含む０からmatrixIdまでの範囲内であるとする。
scaling_list_pred_mode_flag[ matrixId ]が零に等しいとき、
－第１に、変数refMatrixSizeおよび配列refScalingMatrixは、次のとおりに導出される、
○scaling_list_pred_matrix_id_delta[ matrixId ]が零に等しいならば、下記が適用されてデフォルト値を設定する、
●refMatrixSizeは、８に等しく設定される、
●matrixIdが偶数ならば、
refScalingMatrix = （６－１）
{
{ 16, 16, 16, 16, 16, 16, 16, 16 }// INTRAのデフォルト値に対するプレースホルダー
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
},
●そうでなければ、
refScalingMatrix = （６－２）
{
{ 16, 16, 16, 16, 16, 16, 16, 16 }// INTERのデフォルト値に対するプレースホルダー
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
},
○そうでなければ（scaling_list_pred_matrix_id_delta[ matrixId ]が零より大きいならば）、下記が適用される。
refMatrixId = matrixId - scaling_list_pred_matrix_id_delta[ matrixId ] （６－３）
refMatrixSize =(refMatrixId < 20) ?8 : (refMatrixId < 26) ?4 : 2 ) （６－４）
refScalingMatrix = ScalingMatrix[ refMatrixId ] （６－５）－次に、配列predScalingMatrix[ matrixId ]は、次のとおりに導き出される。
predScalingMatrix[ matrixId ][ x ][ y ] = refScalingMatrix[ i ][ j ] （６－６）
ただし、matrixSize = (matrixId < 20) ?8 : (matrixId < 26) ?4 : 2 )、
x = 0・・・matrixSize - 1, y = 0・・・matrixSize - 1,
i = x << ( log2(refMatrixSize) - log2( matrixSize ) )
j = y << ( log2(refMatrixSize) - log2( matrixSize ) )
－matrixIdが１４より小さい場合、scaling_list_pred_matrix_id_delta[ matrixId ]が零に等しいならば、変数predScalingDC[ matrixId ]は１６に等しく設定され、そうでなければScalingDC[ refMatrixId ]に等しく設定される。
１に等しいscaling_list_coef_present_flagは、スケーリングリスト係数が送信され予測量子化マトリックスに加えられる残差として解釈されることを指定する。０に等しいscaling_list_coef_present_flag equalは、加えられる残差がないことを指定する。存在しないとき、scaling_list_coef_present_flagは、１に等しいと推論される。
scaling_list_dc_coef／＊_minus8＊／[ matrixId ] ／＊plus ８＊／は、ScalingDC[ matrixId ]を導出するのに用いられ、ｘｘｘ項にて説明されている、関係のあるときのスケーリングマトリックスについての第１の値を指定する。scaling_list_dc_coef／＊_minus8＊／[ matrixId ]の値は、両端を含む－１２８から１２７までの範囲内であるとする。存在しないとき、scaling_list_dc_coef[ matrixId ]の値は、０に等しいと推論される。
matrixIdが１４より小さいとき、変数ScalingDC[ matrixId ]は、次のとおりに導出される。
ScalingDC[ matrixId ] = ( predScalingDC[ matrixId ] + scaling_list_dc_coef[ matrixId ] + 256 ) % 256 （６－７）
／＊scaling_list_pred_mode_flag[ matrixId ]が零に等しく、scaling_list_pred_matrix_id_delta[ matrixId ]が零よりも大きく、refMatrixId＜１４のとき、下記が適用される。
－matrixId＜１４のとき、scaling_list_dc_coef_minus8[ matrixId ]は、scaling_list_dc_coef_minus8[ refMatrixId ]に等しいと推論される。
－そうでなければ、ScalingMatrix[ matrixId ][ 0 ][ 0 ] は、 scaling_list_dc_coef_minus8[ refMatrixId ]＋８に等しく設定される。
scaling_list_pred_mode_flag[ matrixId ]が零に等しく、scaling_list_pred_matrix_id_delta[ matrixId ]が（デフォルト値を示す）零に等しく、およびmatrixId＜１４ならば、scaling_list_dc_coef_minus8[ matrixId ]は、８に等しいと推論される。＊／
scaling_list_delta_coefは、scaling_list_coef_present_flag／＊scaling_list_pred_mode_flag[ matrixId ]＊／が１に等しいとき、カレントのマトリックス係数ScalingList[ matrixId ][ i ]と、直前のマトリックス係数ScalingList[matrixId ][ i - 1 ]との差を指定しする。scaling_list_delta_coefの値は、両端を含む－１２８から１２７までの範囲内であるとする。／＊ScalingList[ matrixId ][ i ] の値は、0より大きいとする。＊／
scaling_list_coef_present_flagが０に等しいとき、配列ScalingList[ matrixId ]のすべての値は、零に等しいと推論される。
(matrixSize)x(matrixSize)の配列ScalingMatrix[ matrixId ]は、次のとおりに導き出される。
ScalingMatrix [ i ][ j ] = ( predScalingMatrix[ i ][ j ] + ScalingList[ matrixId ][ k] + 256 ) % 256 （６－８）
ただし、k = 0・・・coefNum - 1、
i = diagScanOrder[ log2(coefNum)/2 ][ log2(coefNum)/2 ][ k ][ 0 ]、
j = diagScanOrder[ log2(coefNum)/2 ][ log2(coefNum)/2 ][ k ][ 1 ]
さらに、「スケーリングマトリックス導出処理」節にて、テキストは、次のとおりに変えられる。
matrixIdが１４より小さいならば、m[ 0 ][ 0 ] は、さらに次のとおりに変更される。
m[ 0 ][ 0 ] = ScalingDC[ matrixId ] ／＊scaling_list_dc_coef_minus8[ matrixId ] + 8＊／（６－９）
直前の態様に対応する変更されたＱＭデコードワークフローの例は、図６に示され、ＪＶＥＴ－Ｏ０２２３からの変更は、ボールド体のテキストおよび太い外郭にて示される。

一般に、態様の少なくとも１つの例は、予測に加えて可変長の残差を用いることを含むことが可能である。可変長の残差は、例えば、次の理由により役に立つことが可能である。
●ダイアゴナルスキャニング（diagonal scan）のために最初に送信される低周波係数は、最も大きなインパクトがある。
●係数がＤＰＣＭ符号化されている状態にて、欠落したデルタ係数が零に推論されるならば、最後の残差係数が繰り返されることに帰着する。今述べたことは、最後に送信された残差は、送信される残差がないＱＭの部分に対して再使用される。今述べたやり方、単一の残差係数を送信することは、特定の追加のシンタックスを用いることなく、ＱＭ全体にオフセットを適用することに相当する。
残差係数の数は、例えば、次によって示されることが可能である。
●係数の明示的な数
○ｅｘｐ－Ｇｏｌｏｍｂ符号化または固定長符号化（matrixIdに依存する長さを有する）による、または
●２の累乗に制限されることが可能である、残差係数の数から１を引いた値が続く残差の存在を示すフラグ、
○もしくは同等に、１＋（残差係数の数のｌｏｇ２）、ただし、零は残差がないことを示す。今述べたことは、固定長（matrixId に依存する可能性がある長さ）もしくはｅｘｐ－Ｇｏｌｏｍｂ符号化として符号化されることが可能である、または
●リストが係数の値を含む、リスト内のインデックス。今述べたリストは、規格によって固定されている（送信される必要がない）こと、例えば｛０，１，２，４，８，１６，３２，６４｝などが勧められる。
残差係数の数は、潜在的な割増のＤＣ残差係数をカウントする必要がない。今述べた割増のＤＣ残差係数は、少なくとも１つの通常の残差係数が送られることになると同時に、送信されることが可能である。

すぐ前の例示的な態様に基づくシンタックスおよびセマンティクスの例は、以下に与えられる。

０に等しいscaling_list_pred_mode_flag[ matrixId ]は、スケーリングマトリックスが参照スケーリングマトリックス（reference scaling matrix）の値から導出されることを指定する。参照スケーリングマトリックスは、scaling_list_pred_matrix_id_delta[ matrixId ]によって指定される。１に等しいscaling_list_pred_mode_flag[ matrixId ]は、スケーリングリストの値が明示的にシグナリングされることを指定する。
scaling_list_pred_mode_flag[ matrixId ]が１に等しいとき、matrixSize × matrixSizeの配列predScalingMatrix[ matrixId ]のすべての値、および変数predScalingDC[ matrixId ]の値は、８に等しいと推論される。
scaling_list_pred_matrix_id_delta[ matrixId ]は、次のとおりに、予測されるスケーリングマトリックス（predicted scaling matrix）を導出するのに用いられる参照スケーリングマトリックスを指定する。scaling_list_pred_matrix_id_delta[ matrixId ]の値は、両端を含む０からmatrixIdまでの範囲内であるとする。
scaling_list_pred_mode_flag[ matrixId ]が零に等しいとき、
－第１に、変数refMatrixSizeおよび配列refScalingMatrixは、次のとおりに導出される、
○scaling_list_pred_matrix_id_delta[ matrixId ]が零に等しいならば、下記が適用されてデフォルト値を設定する、
●refMatrixSizeは、８に等しく設定される、
●matrixIdが偶数ならば、
refScalingMatrix = （６－１０）
{
{ 16, 16, 16, 16, 16, 16, 16, 16 }// INTRAのデフォルト値に対するプレースホルダー
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
},
●そうでなければ、
refScalingMatrix = （６－１１）
{
{ 16, 16, 16, 16, 16, 16, 16, 16 }// INTERのデフォルト値に対するプレースホルダー
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
},
○そうでなければ（scaling_list_pred_matrix_id_delta[ matrixId ]が零より大きいならば）、下記が適用される。
refMatrixId = matrixId - scaling_list_pred_matrix_id_delta[ matrixId ] （６－１２）
refMatrixSize = (refMatrixId < 20) ?8 : (refMatrixId < 26) ?4 : 2 ) （６－１３）
refScalingMatrix = ScalingMatrix[ refMatrixId ] （６－１４）
－次に、配列predScalingMatrix[ matrixId ]は、次のとおりに導き出される。
predScalingMatrix[ matrixId ][ x ][ y ] = refScalingMatrix[ i ][ j ] （６－１５）
ただし、／＊matrixSize = (matrixId < 20) ?8 : (matrixId < 26) ?4 : 2 )、＊／
x = 0・・・matrixSize - 1, y = 0・・・matrixSize - 1、
i = x << ( log2(refMatrixSize) - log2( matrixSize ) )、および
j = y << ( log2(refMatrixSize) - log2( matrixSize ) )
－matrixId＜１４のとき、scaling_list_pred_matrix_id_delta[ matrixId ]が零に等しいならば、変数predScalingDC[ matrixId ]は１６に等しく設定され、そうでなければScalingDC[ refMatrixId ]に等しく設定される。
coefNumは、送信される残差係数の数を指定する。scoefNumの値は、両端を含む０からmaxCoefNumまでの範囲内であるとする。
／＊１に等しいscaling_list_coef_present_flagは、スケーリングリスト係数が送信され予測量子化マトリックスに加えられる残差として解釈されることを指定する。０に等しいscaling_list_coef_present_flag equalは、加えられる残差がないことを指定する。存在しないとき、scaling_list_coef_present_flagは、１に等しいと推論される。＊／
scaling_list_dc_coef[ matrixId ]は、ScalingDC[ matrixId ]を導出するのに用いられ、ｘｘｘ項にて説明されている、関係のあるときのスケーリングマトリックスについての第１の値を指定する。scaling_list_dc_coef [ matrixId ]の値は、両端を含む－１２８から１２７までの範囲内であるとする。存在しないとき、scaling_list_dc_coef[ matrixId ]の値は、０に等しいと推論される。
matrixIdが１４より小さいとき、変数ScalingDC[ matrixId ]は、次のとおりに導出される。
ScalingDC[ matrixId ] = ( predScalingDC[ matrixId ] + scaling_list_dc_coef[ matrixId ] + 256 ) % 256 （６－１６）
scaling_list_delta_coefは、両端を含む０からCoefNum－１の間のｉに対して、カレントのマトリックス係数ScalingList[ matrixId ][ i ] と、直前のマトリックス係数ScalingList[ matrixId ][ i - 1 ] との差を指定する。両端を含むCoefNumとmaxCoefNum－１との間のｉに対して、scaling_list_delta_coefは、／＊scaling_list_coef_present_flagが１に等しいとき、＊／０に等しいと推論される。scaling_list_delta_coefの値は、両端を含む－１２８から１２７までの範囲内であるとする。
／＊scaling_list_coef_present_flagが０に等しいとき、配列ScalingList[ matrixId ]のすべての値は、零に等しいと推論される。＊／
(matrixSize)x(matrixSize)の配列ScalingMatrix[ matrixId ]は、次のとおりに導き出される。
ScalingMatrix [ i ][ j ] = ( predScalingMatrix[ i ][ j ] + ScalingList[ matrixId ][ k ] + 256 ) % 256 （６－１７）
ただし、k = 0 ...maxCoefNum- 1、
i = diagScanOrder[log2(matrixSize) ][log2(matrixSize) ][k ][ 0 ]
j = diagScanOrder[log2(matrixSize) ][log2(matrixSize) ][k ][ 1 ]
変更されるＱＭデコードワークフローの例は、図７に示される。図７に示される態様の例は、予測＝コピー；可変長の残差を含む。図７では、図６に例示される態様の例からの変更は、ボールドのテキストおよび太い外郭の中にある。

一般に、態様の少なくとも１つの例は、スケールファクタを予測に加えることを含む。例えば、ＱＭの予測は、スケールファクタをコピー／デシメーションに加えることによって強化されることが可能である。先行する態様の例と組み合わせるとき、今述べたことは、上に説明されているＱＭになされる２つの共通の調整、スケーリングおよびオフセットを可能にし、さらに可変長の残差を用いて正確度とビットコストとの間のユーザー定義トレードオフも可能にする。スケールファクタは、数値Ｎ（例えば１６）に正規化された整数であることが可能である。スケーリング式（scaling formula）は、選択の中立値（neutral value）（例えば、ＨＥＶＣ、ＶＶＣ、またはＪＶＥＴ－Ｏ０２２３に対して１６、しかしＱＭがＱＰオフセットとして解釈されるならば零であるだろう）に基づいて参照ＱＭをスケーリングすることが可能である。N = (1 << shift) = 16による例示的な式が以下に示される。
scaledQM = ( ( refQM - 16 ) * scale + rnd ) >> shift )+ 16 （６－１８）
ただし、
●shift= 4かつrnd= 8は、N = ( 1 << 4 ) = 16を意味する
●refQMは、スケーリングされることになる入力ＱＭである
●scaleは、スケーリングファクタである
●scaledQMは、出力されたスケーリングされているＱＭである
結果のスケーリングされているＱＭは、さらにＱＭの範囲（例えば０・・・２５５または１・・・２５５など）にクリップされるべきである。

スケーリングファクタscaleは、値０が、最小数のビットコスト、ｅｘｐ－Ｇｏｌｏｍｂとして符号化されるとき１ビット、を有する中立値（スケーリングしない）を表すために、Ｎに対してオフセットとして送信されることが可能である（上の例では、送信される値は、scale - ( 1 << shift ) であろう）。その上さらに、値は、現実的な範囲に限定されることが可能であり、例えば、－３２から３２までの間の値が－１から＋３までの間のスケーリングを意味する、または－１６から１６までの間の値が０から＋２までの間のスケーリングを意味する（ゆえに、スケーリングを正の値に限定する）。

シンタックスの例が以下に示される。スケールファクタは、必ずしもオフセットまたは残差と組み合わされず、ＪＶＥＴ－Ｏ０２２３、ＶＶＣ、またはＨＥＶＣに加えて単独において適用されることがあることを特筆する。

０に等しいscaling_list_pred_mode_flag[ matrixId ]は、スケーリングマトリックスが参照スケーリングマトリックス（reference scaling matrix）の値から導出されることを指定する。参照スケーリングマトリックスは、scaling_list_pred_matrix_id_delta[ matrixId ]によって指定される。１に等しいscaling_list_pred_mode_flag[ matrixId ]は、スケーリングリストの値が明示的にシグナリングされることを指定する。
scaling_list_pred_mode_flag[ matrixId ]が１に等しいとき、matrixSize × matrixSizeの配列predScalingMatrix[ matrixId ]のすべての値、および変数predScalingDC[ matrixId ]の値は、８に等しいと推論される。
scaling_list_pred_matrix_id_delta[ matrixId ]は、次のとおりに、予測されるスケーリングマトリックス（predicted scaling matrix）を導出するのに用いられる参照スケーリングマトリックスを指定する。scaling_list_pred_matrix_id_delta[ matrixId ]の値は、両端を含む０からmatrixIdまでの範囲内であるとする。
scaling_list_pred_scale_minus16[ matrixId ] plus 16は、次のとおりに、予測されるスケーリングマトリックス（predicted scaling matrix）を導出するのに用いられる参照スケーリングマトリックスに適用されることになるスケールファクタを指定する。scaling_list_pred_scale_minus16[ matrixId ]の値は、両端を含む－１６から＋１６までの範囲内であるとする。
scaling_list_pred_mode_flag[ matrixId ]が零に等しいとき、
－第１に、変数refMatrixSizeおよび配列refScalingMatrixは、次のとおりに導出される、
○scaling_list_pred_matrix_id_delta[ matrixId ]が零に等しいならば、下記が適用されてデフォルト値を設定する、
●refMatrixSizeは、８に等しく設定される、
●matrixIdが偶数ならば、
refScalingMatrix = （６－１９）
{
{ 16, 16, 16, 16, 16, 16, 16, 16 }// INTRAのデフォルト値に対するプレースホルダー
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
},
●そうでなければ、
refScalingMatrix = （６－２０）
{
{ 16, 16, 16, 16, 16, 16, 16, 16 }// INTERのデフォルト値に対するプレースホルダー
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
},
○そうでなければ（scaling_list_pred_matrix_id_delta[ matrixId ]が零より大きいならば）、下記が適用される。
refMatrixId = matrixId - scaling_list_pred_matrix_id_delta[ matrixId ] （６－２１）
refMatrixSize = (refMatrixId < 20) ?8 : (refMatrixId < 26) ?4 : 2 ) （６－２２）
refScalingMatrix = ScalingMatrix[ refMatrixId ] （６－２３）
－次に、配列predScalingMatrix[ matrixId ]は、次のとおりに導き出される。
predScalingMatrix[ matrixId ][ x ][ y ] = Clip3( 1, 255, ( ( (refScalingMatrix[ i ][ j] - 16 ) * scale + 8 ) >> 4 ) )+ 16 ) （６－２４）
ただし、x = 0・・・matrixSize - 1、 y = 0・・・matrixSize - 1、
i = x << ( log2(refMatrixSize) - log2( matrixSize ) )／＊, and＊／
j = y << ( log2(refMatrixSize) - log2( matrixSize ) ), and
scale = scaling_list_pred_scale_minus16[ matrixId ] + 16
－matrixId＜１４のとき、scaling_list_pred_matrix_id_delta[ matrixId ]が零に等しいならば、変数predScalingDC[ matrixId ]は１６に等しく設定され、そうでなければ、次のとおりに、／＊ScalingDC[ refMatrixId ]に等しく設定される。＊／導出される。
predScalingDC[ matrixId ] = Clip3( 1, 255, ( ( ( ScalingDC[ refMatrixId ] - 16 ) * scale + 8 ) >> 4 ) )+ 16 ) （６－２５）
ただし、scale = scaling_list_pred_scale_minus16[ matrixId ] + 16
coefNumは、送信される残差係数の数を指定する。scoefNumの値は、両端を含む０からmaxCoefNumまでの範囲内であるとする。
scaling_list_dc_coef[ matrixId ]は、ScalingDC[ matrixId ]を導出するのに用いられ、ｘｘｘ項にて説明されている、関係のあるときのスケーリングマトリックスについての第１の値を指定する。scaling_list_dc_coef [ matrixId ]の値は、両端を含む－１２８から１２７までの範囲内であるとする。存在しないとき、scaling_list_dc_coef[ matrixId ]の値は、０に等しいと推論される。
matrixIdが１４より小さいとき、変数ScalingDC[ matrixId ]は、次のとおりに導出される。
ScalingDC[ matrixId ] = ( predScalingDC[ matrixId ] + scaling_list_dc_coef[ matrixId ] + 256 ) % 256 （６－２６）
scaling_list_delta_coefは、両端を含む０からCoefNum－１の間のｉに対して、カレントのマトリックス係数ScalingList[ matrixId ][ i ] と、直前のマトリックス係数ScalingList[ matrixId ][ i - 1 ] との差を指定する。両端を含むCoefNumとmaxCoefNum－１との間のｉに対して、scaling_list_delta_coefは、０に等しいと推論される。scaling_list_delta_coefの値は、両端を含む－１２８から１２７までの範囲内であるとする。
(matrixSize)x(matrixSize)の配列ScalingMatrix[ matrixId ]は、次のとおりに導き出される。
ScalingMatrix [ i ][ j ] = ( predScalingMatrix[ i ][ j ] + ScalingList[ matrixId ][ k ] + 256 ) % 256 （６－２７）
ただし、k = 0・・・maxCoefNum - 1、
i = diagScanOrder[ log2(matrixSize) ][ log2(matrixSize) ][ k ][ 0 ]、
j = diagScanOrder[ log2(matrixSize) ][ log2(matrixSize) ][ k ][ 1 ]
変更されるＱＭデコードワークフローの例は、図８に示される。図９に示される態様の例は、予測＝スケーリング；可変長の残差を含む。図８では、図７に例示される態様の例からの変更は、ボールド体のテキストおよび太い外郭の中にある。

一般に、態様の少なくとも１つの例は、予測モードフラグを取り除くことを含む。例えば、完全な残差が、例えば上に説明される態様の例においてなど、送信されることが可能である限り、ＱＭの完全な仕様がscaling_list_pred_mode_flagフラグに関係なく可能であるので、このフラグを取り除くことが可能であり、ビットコストに対して最小限のインパクトだけで、仕様テキストを簡略化する。

以下は、先行する態様への変更に基づいて、現時の態様のシンタックスおよびセマンティクスの例を与える。

／＊０に等しいscaling_list_pred_mode_flag[ matrixId ]は、スケーリングマトリックスが参照スケーリングマトリックス（reference scaling matrix）の値から導出されることを指定する。参照スケーリングマトリックスは、scaling_list_pred_matrix_id_delta[ matrixId ]によって指定される。１に等しいscaling_list_pred_mode_flag[ matrixId ]は、スケーリングリストの値が明示的にシグナリングされることを指定する。＊／
／＊scaling_list_pred_mode_flag[ matrixId ]が１に等しいとき、matrixSize × matrixSizeの配列predScalingMatrix[ matrixId ]のすべての値、および変数predScalingDC[ matrixId ]の値は、８に等しいと推論される。＊／
scaling_list_pred_matrix_id_delta[ matrixId ]は、予測されるスケーリングマトリックス（predicted scaling matrix）を導出するのに用いられる参照スケーリングマトリックスを指定する。scaling_list_pred_matrix_id_delta[ matrixId ]の値は、両端を含む０からmatrixIdまでの範囲内であるとする。
scaling_list_pred_scale_minus16[ matrixId ] plus 16は、次のとおりに、予測されるスケーリングマトリックス（predicted scaling matrix）を導出するのに用いられる参照スケーリングマトリックスに適用されることになるスケールファクタを指定する。scaling_list_pred_scale_minus16[ matrixId ]の値は、両端を含む－１６から＋１６までの範囲内であるとする。
／＊scaling_list_pred_mode_flag[ matrixId ]が零に等しいとき、＊／
－第１に、変数refMatrixSizeおよび配列refScalingMatrixは、次のとおりに導出される、
○scaling_list_pred_matrix_id_delta[ matrixId ]が零に等しいならば、下記が適用されてデフォルト値を設定する、
●refMatrixSizeは、８に等しく設定される、
●matrixIdが偶数ならば、
refScalingMatrix = （６－２８）
{
{ 16, 16, 16, 16, 16, 16, 16, 16 }// INTRAのデフォルト値に対するプレースホルダー
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
},
●そうでなければ、
refScalingMatrix = （６－２９）
{
{ 16, 16, 16, 16, 16, 16, 16, 16 }// INTERのデフォルト値に対するプレースホルダー
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
{ 16, 16, 16, 16, 16, 16, 16, 16 }
},
○そうでなければ（scaling_list_pred_matrix_id_delta[ matrixId ]が零より大きいならば）、下記が適用される。
refMatrixId = matrixId - scaling_list_pred_matrix_id_delta[ matrixId ] （６－３０）
refMatrixSize = (refMatrixId < 20) ?8 : (refMatrixId < 26) ?4 : 2 ) （６－３１）
refScalingMatrix = ScalingMatrix[ refMatrixId ] （６－３２）
－次に、配列predScalingMatrix[ matrixId ]は、次のとおりに導き出される。
predScalingMatrix[ matrixId ][ x ][ y ] = Clip3( 1, 255, ( ( ( refScalingMatrix[ i ][ j ] - 16 ) * scale + 8 ) >> 4 ) )+ 16 ) （６－３３）
ただし、x = 0・・・matrixSize - 1、 y = 0・・・matrixSize - 1、
i = x << ( log2(refMatrixSize) - log2( matrixSize ) )
j = y << ( log2(refMatrixSize) - log2( matrixSize ) ), and
scale = scaling_list_pred_scale_minus16[ matrixId ] + 16
－matrixId＜１４のとき、scaling_list_pred_matrix_id_delta[ matrixId ]が零に等しいならば、変数predScalingDC[ matrixId ]は１６に等しく設定され、そうでなければ、次のとおりに、導出される。
predScalingDC[ matrixId ] = Clip3( 1, 255, ( ( ( ScalingDC[ refMatrixId ] - 16 ) * scale + 8 ) >> 4 ) )+ 16 ) （６－３４）
ただし、scale = scaling_list_pred_scale_minus16[ matrixId ] + 16
coefNumは、送信される残差係数の数を指定する。scoefNumの値は、両端を含む０からmaxCoefNumまでの範囲内であるとする。
scaling_list_dc_coef[ matrixId ]は、ScalingDC[ matrixId ]を導出するのに用いられ、ｘｘｘ項にて説明されている、関係のあるときのスケーリングマトリックスについての第１の値を指定する。scaling_list_dc_coef [ matrixId ]の値は、両端を含む－１２８から１２７までの範囲内であるとする。存在しないとき、scaling_list_dc_coef[ matrixId ]の値は、０に等しいと推論される。
matrixIdが１４より小さいとき、変数ScalingDC[ matrixId ]は、次のとおりに導出される。
ScalingDC[ matrixId ] = ( predScalingDC[ matrixId ] + scaling_list_dc_coef[ matrixId ] + 256 ) % 256 （６－３５）
scaling_list_delta_coefは、両端を含む０からCoefNum－１の間のｉに対して、カレントのマトリックス係数ScalingList[ matrixId ][ i ] と、直前のマトリックス係数ScalingList[ matrixId ][ i - 1 ] との差を指定する。両端を含むCoefNumとmaxCoefNum－１との間のｉに対して、scaling_list_delta_coefは、０に等しいと推論される。scaling_list_delta_coefの値は、両端を含む－１２８から１２７までの範囲内であるとする。
(matrixSize)x(matrixSize)の配列ScalingMatrix[ matrixId ]は、次のとおりに導き出される。
ScalingMatrix [ i ][ j ] = ( predScalingMatrix[ i ][ j ] + ScalingList[ matrixId ][ k ] + 256 ) % 256 （６－３６）
ただし、k = 0・・・maxCoefNum - 1、
i = diagScanOrder[ log2(matrixSize) ][ log2(matrixSize) ][ k ][ 0 ]、
j = diagScanOrder[ log2(matrixSize) ][ log2(matrixSize) ][ k ][ 1 ]
変更されるＱＭデコードワークフローの例は、図９に示される。図９に示される態様の例は、予測を常に用いる；予測＝スケーリング；可変長の残差を含む。図９では、図８に例示される態様の例からの変更は、図８の特徴の削除を含む。

種々の他の態様の少なくともいくつかの例は、上に説明された現時のＶＶＣ技法を参考として得ている、ＱＭに対する変更を検討している第１６^回ＪＶＥＴ会議に変更のために提出されたいくつかの貢献を含み、以下に説明される。たいていの人々は、ＱＭの数、ＱＭ識別子のマッピング、ＱＭマトリックスサイズ式、ＱＭ選択および／またはリサイズ処理に影響を与えることによって、例示的なシンタックスおよびセマンティクスにインパクトを与えるが、本質を変えることなく本開示にて提案されている技法に同等の変更を検討することができるだろう。変化への適応を提供する態様の例は、次の小節にて詳述される。

態様の少なくとも１つの例は、２×２色差ＱＭのうちのいくつかまたはすべての除去を含むことが可能である。最近、ＶＶＣは、イントラモードにおいて２×２色差変換ブロックを取り除き、ゆえに、２×２ＱＭイントラＱＭを送信することを無駄にするが、無駄は、２×３＝６ビットに限定されることが可能である（３ビットは、上に説明されたシンタックス例を有するデフォルトマトリックスの使用をシグナリングするのに必要とされる）。

輝度２×２ＱＭを取り除くことは、簡単なシンタックス変更により、送信されるＱＭの数に影響を与えるだろう。

そして、例えば、次のように、ＪＶＥＴ－Ｏ０２２３（またはＪＶＥＴ－Ｐ０１１０の更新）からの「量子化マトリックス導出処理」においてmatrixIdの選択式を調整することによって反映されることが可能であるであろう、識別子のマッピングも影響を受ける（表６からｉｄ２６および２８が無効になる）だろう。
matrixId = 6 * sizeId + matrixTypeId
ただし、log2TuWidth = log2( blkWidth ) + ( cIdx > 0 ) ? log2( SubWidthC ) : 0,
log2TuHeight = log2( blkHeight ) + ( cIdx > 0 ) ?log2( SubHeightC ) : 0,
sizeId = 6 - max( log2TuWidth, log2TuHeight ), and
matrixTypeId = ( 2 * cIdx + ( predMode = MODE_INTRA ? 0 : 1 ) )
matrixId -= (matrixId > 25) ?(matrixId > 27 ? : 2 : 1) : 0
すべての２×２ＱＭを取り除き、２×２色差インターブロックに対してＱＭを無効にすることは、下の表に示されている、ＱＭの数を２６に減らすことによって、複雑さをいっそうより少なくするだろう。

そして、ＶＶＣの「Derivation process for scaling matrix」にて「Scaling process for transform coefficients」をコールせず、代わりに例外リストにその場合を追加する。
－中間にある(nTbW)×(nTbH)のスケーリングファクタの配列mは、次のとおりに導き出される、
－次の条件のうちの１つまたは複数が真ならば、m[ x ][ y ] は１６に等しく設定される、
－sps_scaling_list_enabled_flagが０に等しい、
－transform_skip_flag[ xTbY ][ yTbY ]が１に等しい、
－nTbWとnTbHとの両方が２に等しい、
－そうでなければ、mは、８．７．１項にて指定されているマトリックスのスケーリングのための導出処理の出力であり、入力として、予測モードCuPredMode[ xTbY ][ yTbY ]、色成分変数cIdx、ブロック幅nTbW、およびブロック高さnTbHを用いて起動される。
代替えとして、ブロックサイズが２×２または同様の条件であるとき、「Derivation process for scaling matrix」内にてすべて１６の値（all-16 value）をm[][]配列に割り当てる。

少なくとも１つの他の態様は、サイズ６４の輝度ＱＭに対して、より大きいサイズを含む。マトリックスサイズ式を変更して、例えばサイズ６４の輝度ＱＭに対して１６×１６の係数を有効にすることが可能であり、例示的なシンタックスは、以下に示される。

上に説明された態様の例示的なセマンティクスにおけるrefMatrixSizeは、同一の規則に従い、それに応じて変えられるとすることは当業者には明らかであろう。

少なくとも１つの他の態様は、ジョイントのＣｂＣｒ（joint CbCr）のＱＭを追加することを含む。ジョイントのＣｂＣｒの残差により符号化されたブロックに対して特定のＱＭが望まれることが可能だろう。今述べたことは、通常の色差の１つの後に追加されることが可能であり、以下の新しい識別マッピング表に帰着する。

以下に示されるとおり、ＱＭの数、matrixSize式、ＤＣ係数存在条件（＜１４から＜１８へ変更する）、ＱＭ選択処理におけるmatrixId式に影響を与える。

matrixId = 8／＊6＊／ ^* sizeId + matrixTypeId
ただし、log2TuWidth = log2( blkWidth ) + ( cIdx > 0 ) ? log2( SubWidthC ) : 0,
log2TuHeight = log2( blkHeight ) + ( cIdx > 0 ) ?log2( SubHeightC ) : 0,
sizeId = 6 - max( log2TuWidth, log2TuHeight ), and
matrixTypeId = ( 2 * cIdx + ( predMode = MODE_INTRA ? 0 : 1 ) )
セマンティクスにおける他の関係した場所（refMatrixSizeなど）は、当業者には明らかであろう変更に対応することにより影響を受ける。

少なくとも１つの他の態様は、ＬＮＦＳＴに対してＱＭを追加することを含む。ＬＮＦＳＴは、最終的な変換係数の空間周波数の意味を変える、ゆえに、ＱＭ係数の意味にも影響を与える、ＶＶＣにて用いられる二次変換である。特定のＱＭが望まれることがある。ＬＮＦＳＴの出力は、４×４に限定され、２つの代替えの変換コアを有し、今述べたＱＭは、下の表に示されている、（サイズが減る順に並べられたＱＭを保つ）通常のサイズ４の前にまたは後に挿入される見せかけのＴＵサイズとして追加されることが可能であろう。ＬＮＦＳＴがイントラモードのみのためであるので、イントラ／インターラインは、コア変換を区別するのに用いられるだろう。

シンタックスおよびセマンティクスは、直前の例におけるとおり、それに応じて変更されて、新しいmatrixIdマッピングを、ＱＭの数、matrixSize、ＤＣ係数条件などを反映するべきである。

正しいＱＭを選択する「Quantization matrix derivation process」におけるmatrixIdの導出も、上のように表にされた記述によってか、次の例におけるように式／擬似コード（pseudo-code）を改めることによってかのいずれかによって更新されるべきである。
if (lfnst_idx[ xTbY ][ yTbY ] != 0)
matrixId = 24 + 2*cIdx + lfnst_idx[ xTbY ][ yTbY ]
else {
matrixId = [...]
if (matrixId > 23)
matrixId += 6
}
少なくとも１つの他の態様は、４x４ＱＭの使用を強いることによって、ＬＮＦＳＴによりＱＭを取り扱うことを含む。今述べたは、例えば、次のように、ＬＮＦＳＴの場合に「量子化マトリックス導出処理」にて特定のmatrixIdがカレントブロックに対して用いられることを強いることによって、実装されることが可能である。
if (lfnst_idx[ xTbY ][ yTbY ] != 0)
matrixId = 20 + ((cIdx==0) ?10 : 2*cIdx) + lfnst_idx[ xTbY ][ yTbY ]
else
matrixId = [...]
本出願は、ツール、特徴、態様、モデル、アプローチなどを含むいろいろな様相を説明する。例えば、種々の様相などは、次を含むが、これらに限定されない。
－可能な限り簡潔に仕様を保つ一方、カスタムＱＭの送信時におけるビット数を節約すること、
－単純な調整が低ビットコストにより可能であるようにＱＭ予測を改良すること、
－グローバルオフセットを指定する簡単なやり方を提供すること、
－コピーおよびダウンサンプリングに加えてスケールファクタ（scale factor）を適用すること、グローバルオフセットを指定する簡単なやり方を提供すること、ならびに、可変長の残差により予測をリファインメントできるようにすることによって、ＱＭの予測を拡張することのうちの１つまたは複数、
－ＱＭをさらにリファインメントするために、完全な符号化よりも可能性のあるより低いコストを有して、改良された予測を残差と組み合わせること、
－コピー／ダウンスケーリングに加えてオフセットを用いるＱＭ予測を提供すること、
－（可変長の）残差を加えたＱＭ予測を提供すること、
－コピー／ダウンスケーリングに加えてスケールファクタを用いるＱＭ予測を提供すること、
－オフセットか残差かのいずれかとのスケールファクタの組み合わせを含むＱＭ予測を提供すること、
－ＱＭを送信するのに、および、簡潔に仕様を保つと同時に正確度とビットコストとの間のユーザー定義のトレードオフを可能にするのに、必要なビット数を減らすことを提供すること、
－次の特徴のうちの１つまたは複数を含むことに基づいて、ＱＭを送信するのに、および、簡潔に仕様を保つと同時に正確度とビットコストとの間のユーザー定義のトレードオフを可能にするのに、必要なビット数を減らすことを提供すること、
○ＱＭ予測に残差を加える、
○ＱＭ予測にスケーリングファクタを加える、
○残差とスケーリングとを組み合わせる、
○予測を常に用いる（予測モードフラグを取り除く）。

今述べた様相の多くは、特殊性を有して説明され、少なくとも個々の特性を示すために、多くの場合、限定するような印象を与え得る仕方において説明される。しかしながら、今述べたことは、説明における明確さの目的のためであり、今述べた様相の適用または範囲を限定しない。確かに、異なった様相のすべては、組み合わされ、入れ替えられて、さらなる様相を提供することが可能である。さらにその上、態様は、同様に、より早い出願にて説明される様相と組み合わされ、入れ替えられることが可能である。

本出願において説明されるおよび想定される様相は、多くの異なったかたちにおいて実装されることが可能である。図１０、１１、および１２は、以下にいくつかの態様を提供するが、他の態様が想定され、図１０、１１、および１２についての議論は、実装の広さを限定しない。一般に、様相のうちの少なくとも１つは、ビデオエンコードおよびデコードに関し、一般に、少なくとも１つの他の態様は、生成されたまたはエンコードされたビットストリームを送信することに関する。今述べた様相および他の様相は、説明される方法のいずれかに従ってビデオデータをエンコードまたはデコードするために、方法、装置、命令を格納したコンピューター読み取り可能な記録媒体、および／または説明される方法のいずれかに従って生成されたビットストリームを格納したコンピューター読み取り可能な記録媒体として実装されることが可能である。

本出願にて、用語「再構成された」および「デコードされた」は、交換可能に用いられることがあり、用語「ピクセル」および「サンプル」は、交換可能に用いられることがあり、用語「画像」、「ピクチャ」、および「フレーム」は、交換可能に用いられることがある。

種々の方法が本明細書にて説明され、方法の各々は、説明されている方法を達成するために１つまたは複数のステップまたは動作を含む。ステップまたは動作の特定の順が方法の固有の操作に対して必要とされない限り、特定のステップおよび／または動作の順および／または使用は、変更される、または組み合わされることがある。

本出願にて説明される種々の方法および他の様相は、モジュール、例えば、図１０および図１１に示されているビデオエンコーダー１００およびデコーダー２００の量子化および逆量子化モジュール（１３０、１４０、２４０）を変更するのに用いられることが可能である。さらにその上、本様相は、ＶＶＣまたはＨＥＶＣに限定されず、例えば、以前から存在しようが将来開発されようが、他の規格および勧告に、ならびにどれかの上記の規格および勧告（ＶＶＣおよびＨＥＶＣを含む）の拡張に適用されることが可能である。特に示されない限り、または特に技術的に妨げられない限り、本出願にて説明される様相は、個々にまたは組み合わせにおいて用いられることが可能である。

種々の数値が、例えば、最大量子化マトリックスのサイズ、考慮されるブロックサイズの数が、本出願にて用いられる。特定の値は、例示的な目的のためであり、説明される様相は、今述べた特定の値に限定されない。

図１０は、エンコーダー１００を例示する。エンコーダー１００の変形が想定されるが、エンコーダー１００は、すべての予期される変形を説明することなく、明確さの目的のために以下に説明される。
エンコードされる前に、ビデオシーケンスは、プレエンコード（pre-encoding）処理（１０１）を、例えば、色変換を入力カラーピクチャに適用すること（たとえば、ＲＧＢ４：４：４からＹＣｂＣｒ４：２：０へのコンバージョン）、または信号分布を圧縮に対してより回復力のある状態にするために入力ピクチャ成分の再マッピングを行うこと（たとえば、色成分のうちの１つのヒストグラムイコライゼーションを使用すること）を通り抜けることがある。メタデータは、前処理に関連付けられ、ビットストリームに結び付けられることが可能である。

エンコーダー１００において、ピクチャは、以下に説明されているエンコーダーエレメントによってエンコードされる。エンコードされるピクチャは、分割（１０２）され、例えば、ＣＵのユニットにて処理される。各ユニットは、例えば、イントラかインターモードかのいずれかを使用してエンコードされる。ユニットがイントラモードにてエンコードされるとき、イントラ予測（１６０）を行う。インターモードにおいて、動き推定（１７５）および動き補償（１７０）が行われる。エンコーダーは、ユニットをエンコードするために用いるイントラモードまたはインターモードのうちのいずれか１つを決定（１０５）し、例えば、予測モードフラグによってイントラ／インター決定を示す。予測残差は、例えば、予測されるブロックを元の画像ブロックから減じる（１１０）ことによって算出される。

次に、予測残差は、変換（１２５）され、量子化（１３０）される。量子化されている変換係数は、動きベクトルおよび他のシンタックス要素も同様に、ビットストリームを出力するのにエントロピー符号化（１４５）される。エンコーダーは、変換をスキップし、変換されていない残差信号に直に量子化を適用することが可能である。エンコーダーは、変換も量子化も両方バイパスすることが可能であり、すなわち、残差は、変換処理も量子化処理も適用なしに直に符号化される。

エンコーダーは、エンコードされているブロックをデコードして、さらなる予測のために参照を提供する。量子化されている変換係数は、予測残差をデコードするために、逆量子化（１４０）され逆変換（１５０）される。デコードされた予測残差と予測されるブロックとを組み合わせ（１５５）て、画像ブロックが再構成される。インループフィルター（１６５）は、再構成されたピクチャに適用されて、例えば、エンコードのアーチファクトを減らすデブロッキング／ＳＡＯ（Sample Adaptive Offset）フィルタリングを行う。フィルタリングされている画像は、参照ピクチャバッファ（１８０）に格納される。

図１１は、ビデオデコーダー２００のブロック図を例示する。デコーダー２００において、ビットストリームは、以下に説明されているデコーダーエレメントによってデコードされる。一般に、ビデオデコーダー２００は、図１０にて説明されているエンコードパスと逆のデコードパスを行う。さらに、一般に、エンコーダー１００も、ビデオデータをエンコードする一部としてビデオデコードを行う。

特に、デコーダーの入力は、ビデオエンコーダー１００によって生成されることが可能であるビデオビットストリームを含む。最初に、ビットストリームは、変換係数、動きベクトル、および他の符号化情報を取得するために、エントロピーデコード（２３０）される。ピクチャ分割情報は、ピクチャがどのように分割されるかを示す。それゆえ、デコーダーは、デコードされたピクチャ分割情報に従ってピクチャを区分（２３５）することがある。変換係数は、予測残差をデコードするために、逆量子化（２４０）され逆変換（２５０）される。デコードされた予測残差と予測されるブロックとを組み合わせて（２５５）、画像ブロックが再構成される。予測されるブロックは、イントラ予測（２６０）または動き補償された予測（すなわち、インター予測）（２７５）から取得される（２７０）ことが可能である。インループフィルター（２６５）は、再構成された画像に適用される。フィルタリングされている画像は、参照ピクチャバッファ（２８０）に格納される。

さらに、デコードされたピクチャは、ポストデコード（post-decoding）処理（２８５）を、例えば、逆色変換（たとえば、ＹＣｂＣｒ４：２：０からＲＧＢ４：４：４へのコンバージョン）、またはプレエンコード処理（１０１）にて行われた再マッピング処理の逆を行う逆再マッピングを通り抜けることが可能である。ポストデコード処理は、プレエンコード処理にて導出された、ビットストリームにてシグナリングされたメタデータを用いることが可能である。

図１２は、種々の様相および態様が実装されるシステムの例についてのブロック図を例示する。システム１０００は、以下に説明される種々のコンポーネントを含むデバイスとして具体化されることが可能であり、本文書にて説明される１つまたは複数の様相を行うように構成される。上記のデバイスの例は、限定されないが、例えば、パーソナルコンピューター、ラップトップコンピューター、スマートフォン、タブレットコンピューター、デジタルマルチメディアセットトップボックス、デジタルテレビ放送受信機、パーソナルビデオレコーディングシステム、連結される家庭用電気機器、およびサーバーなどの種々の電子デバイスを含む。システム１０００のエレメントは、単独にまたは組み合わせにて、単一の集積回路（ＩＣ）、複数のＩＣ、および／または個別のコンポーネントに具体化されることが可能である。例えば、少なくとも１つの態様にて、システム１０００の処理およびエンコーダー／デコーダーエレメントは、複数のＩＣおよび／または個別のコンポーネントにわたって分散される。種々の態様にて、システム１０００は、例えば、通信バスを介して、または専用の入力および／もしくは出力ポートを介して、１つもしくは複数の他のシステム、または他の電子デバイスに通信接続される。種々の態様にて、システム１０００は、本文書に説明される１つまたは複数の様相を実装するように構成される。
システム１０００は、例えば、本文書に説明される種々の様相を実装するためにロードされる命令を実行するように構成された少なくとも１つのプロセッサー１０１０を含む。プロセッサー１０１０は、埋め込まれたメモリー、入出力インターフェイス、および当技術分野にて知られている種々の他の回路を含むことが可能である。システム１０００は、少なくとも１つのメモリー１０２０（たとえば、揮発性メモリーデバイス、および／または不揮発性メモリーデバイス）を含む。システム１０００は、限定されないが、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＲＯＭ（Read-Only Memory）、ＰＲＯＭ（Programmable Read-Only Memory）、ＲＡＭ（Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、フラッシュ、磁気ディスクドライブ、および／または光ディスクドライブを含む不揮発性メモリーおよび／または揮発性メモリーを含むことが可能であるストレージデバイス１０４０を含む。ストレージデバイス１０４０は、非限定の例として、内部ストレージデバイス、付属のストレージデバイス（分離できるストレージデバイス、および分離できないストレージデバイスを含む）、および／またはネットワークアクセス可能なストレージデバイスを含むことが可能である。

システム１０００は、例えば、エンコードされたビデオまたはデコードされたビデオを提供するデータを処理するように構成されたエンコーダー／デコーダーモジュール１０３０を含み、エンコーダー／デコーダーモジュール１０３０は、独自のプロセッサーおよびメモリーを含むことが可能である。エンコーダー／デコーダーモジュール１０３０は、エンコード機能および／またはデコード機能を行うデバイスに含まれることが可能であるモジュール（複数可）を表す。既知であるように、デバイスは、エンコードモジュールおよびデコードモジュールのうちの１つまたは両方を含むことが可能である。追加として、エンコーダー／デコーダーモジュール１０３０は、システム１０００の別個のエレメントとして実装されることが可能である、または当業者に知られているようにハードウェアおよびソフトウェアの組み合わせとしてプロセッサー１０１０内に組み入れられることが可能である。

本文書に説明される種々の様相を行うプロセッサー１０１０またはエンコーダー／デコーダー１０３０上にロードされるプログラムコードは、ストレージデバイス１０４０に格納され、続いてプロセッサー１０１０による実行のためにメモリー１０２０上にロードされることが可能である。種々の態様にしたがって、１つまたは複数のプロセッサー１０１０、メモリー１０２０、ストレージデバイス１０４０、およびエンコーダー／デコーダーモジュール１０３０は、本文書に説明される処理の実行中に１つまたは複数の種々のアイテムを格納することが可能である。上記の格納されるアイテムは、限定されないが、入力ビデオ、デコードされたビデオ、またはデコードされたビデオの一部、ビットストリーム、マトリックス、変数、ならびに等式、公式、演算、および操作ロジックの処理からの中間または最終的な結果を含むことが可能である。

いくつかの態様にて、プロセッサー１０１０および／またはエンコーダー／デコーダーモジュール１０３０の内部のメモリーは、命令を記憶し、エンコードするまたはデコードする間に必要とされる処理にワーキングメモリーを提供するのに用いられる。しかしながら、他の態様にて、処理デバイス（例えば、処理デバイスは、プロセッサー１０１０またはエンコーダー／デコーダーモジュール１０３０のいずれかであることが可能である）の外部のメモリーは、１つまたは複数の今述べた機能ために用いられる。外部メモリーは、メモリー１０２０および／またはストレージデバイス１０４０、例えば、ダイナミック型揮発性メモリーおよび／または不揮発性フラッシュメモリーであることが可能である。いくつかの態様にて、外部不揮発性フラッシュメモリーを用いて、例えば、テレビのオペレーティングシステムを格納する。少なくとも１つの態様にて、例えばＲＡＭのような高速外部ダイナミック型揮発性メモリーは、ビデオ符号化およびデコード操作に対して、例えば、ＭＰＥＧ－２（ＭＰＥＧは、Moving Picture Experts Groupを引用し、さらにＭＰＥＧ－２は、ＩＳＯ／ＩＥＣ１３８１８と呼ばれ、さらに１３８１８－１は、Ｈ．２２２として知られ、さらに１３８１８－２は、Ｈ．２６２として知られる）、ＨＥＶＣ（ＨＥＶＣは、さらにＨ．２６５およびＭＰＥＧ－ＨＰａｒｔ２としても知られるHigh Efficiency Video Codingを引用する）、またはＶＶＣ（Versatile Video Coding、ＪＶＥＴ、the Joint Video Experts Teamによって開発されている規格）などに対してワーキングメモリーとして用いられる。

システム１０００のエレメントへの入力は、ブロック１１３０に示されるように、種々の入力デバイスを介して提供されることが可能である。上記の入力デバイスは、限定ではないが、（ｉ）例えば、放送局によって電波を介して送信されるＲＦ（radio frequency）信号を受信するＲＦ部、（ｉｉ）ＣＯＭＰ（Component）入力端子（またはＣＯＭＰ入力端子のセット）、（ｉｉｉ）ＵＳＢ（Universal Serial Bus）入力端子、および／または（ｉｖ）ＨＤＭＩ（High Definition Multimedia Interface）入力端子を含む。図１０にて示されない他の例は、コンポジットビデオを含む。

種々の態様にて、ブロック１１３０の入力デバイスは、当技術分野にて知られているそれぞれの入力処理エレメントを関連付けている。例えば、ＲＦ部分は、（ｉ）望まれる周波数を選択すること（信号を選択すること、または信号を周波数の帯域に帯域制限することとも言われる）と、（ｉｉ）選択された信号をダウンコンバートすることと、（ｉｉｉ）（例えば、）ある態様にてチャネルと言われることが可能である信号周波数帯域を選択する周波数のより狭い帯域に再び帯域制限することと、（ｉｖ）ダウンコンバートされ帯域制限された信号を復調することと、（ｖ）誤り訂正を行うことと、（ｖｉ）逆多重してデータパケットについて望まれるストリームを選択することと、に適しているエレメントに関連付けられることが可能である。種々の態様のＲＦ部分は、今述べた機能を行う１つまたは複数のエレメント、例えば、周波数セレクター、信号セレクター、バンドリミッター、チャネルセレクター、フィルター、ダウンコンバーター、デモジュレーター、エラーコレクター、およびデマルチプレクサーを含む。ＲＦ部分は、例えば、受信信号を、より低い周波数（例えば、中間周波数もしくはベースバンドに近い周波数）に、またはベースバンドにダウンコンバートすることを含む、種々の機能を行うチューナーを含むことが可能である。１つのセットトップボックスの態様にて、ＲＦ部分および関連する入力処理エレメントは、ワイヤード媒体（例えば、ケーブル）を介して送信されるＲＦ信号を受信し、フィルタリングし、ダウンコンバートし、および望まれる周波数帯域に再びフィルタリングすることによって周波数選択を行う。種々の態様は、上述した（および他の）要素の順序を再配置し、今述べた要素のいくつかを取り除き、および／または同様のまたは異なる機能を行う他の要素を加える。要素を加えることは、例えば、増幅器、およびアナログデジタル変換器を挿入することなど、既存の要素の間に要素を挿入することを含むことが可能である。種々の態様にて、ＲＦ部分は、アンテナを含む。

追加として、ＵＳＢおよび／またはＨＤＭＩ端末は、システム１０００を他の電子デバイスにＵＳＢおよび／またはＨＤＭＩ接続をわたって連結するために、それぞれのインターフェイスプロセッサーを含むことが可能である。入力処理の種々の様相、例えば、リードソロモン誤り訂正が、例えば、別個の入力処理ＩＣ内に、または必要に応じてプロセッサー１０１０内に実装されることが可能であることは、理解されることである。同様に、ＵＳＢまたはＨＤＭＩインターフェイス処理の様相は、別個の入力処理ＩＣ内に、または必要に応じてプロセッサー１０１０内に実装されることが可能である。復調された、誤り訂正された、および逆多重されたストリームは、例えば、プロセッサー１０１０と、メモリーおよびストレージエレメントと協働して動作して必要に応じて出力デバイスにおける提出のためにデータストリームを処理するエンコーダー／デコーダー１０３０とを含む種々の処理エレメントに提供される。

システム１０００の種々のエレメントは、統合エンドされているハウジング内に提供されることが可能であり、統合されているハウジング内において、種々のエレメントは、相互接続され、適切な連結配列１１４０、例えば、Ｉ２Ｃ（Inter-IC）バス、配線、およびプリント回路基板を含む当技術分野にて知られている内部バスを用いて、そこの間においてデータを送信することが可能である。

システム１０００は、通信チャネル１０６０を介して他のデバイスとの通信を可能にする通信インターフェイス１０５０を含む。通信インターフェイス１０５０は、限定ではないが、通信チャネル１０６０を介してデータを送信するようにおよび受信するように構成されたトランシーバーを含むことが可能である。通信インターフェイス１０５０は、限定ではないが、モデムまたはネットワークカードを含むことが可能であり、通信チャネル１０６０は、例えば、ワイヤードおよび／またはワイヤレス媒体内に実装されることが可能である。

データは、種々の態様にて、例えば、Ｗｉ－Ｆｉネットワーク、例えば、ＩＥＥＥ８０２．１１（ＩＥＥＥは、Institute of Electrical and Electronics Engineersを引用する）などのワイヤレスネットワークを用いて、システム１０００にストリーミングされるまたは他の方法により提供される。今述べた態様のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信に対して合わせて変えられる通信チャネル１０６０および通信インターフェイス１０５０を介して受信される。通常、今述べた態様の通信チャネル１０６０は、ストリーミングアプリケーションおよび他のオーバーザトップ通信を可能にするために、インターネットを含む外部のネットワークへのアクセスを提供するアクセスポイントまたはルーターに連結される。他の態様は、ストリーミングされたデータをシステム１０００に、入力ブロック１１３０のＨＤＭＩ接続を介してデータを配信するセットトップボックスを用いて提供する。依然として、他の態様は、ストリーミングされたデータをシステム１０００に、入力ブロック１１３０のＲＦ接続を用いて提供する。上に示したように、種々の態様は、ストリーミングではない仕方においてデータを提供する。追加として、種々の態様は、Ｗｉ－Ｆｉ以外のワイヤレスネットワーク、例えば、セルラーネットワークまたはＢｌｕｅｔｏｏｔｈネットワークを用いる。

システム１０００は、出力信号を、ディスプレイ１１００、スピーカー１１１０、および他の周辺デバイス１１２０を含む種々の出力デバイスに提供することが可能である。種々の態様のディスプレイ１１００は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、曲面ディスプレイ、および／または折り畳めるディスプレイのうちの１つまたは複数を含む。ディスプレイ１１００は、テレビ、タブレット、ラップトップ、セルラーフォン（モバイルフォン）、または他のデバイス用であることが可能である。さらに、ディスプレイ１１００は、（例えば、スマートフォンのように）他のコンポーネントと統合される、または（例えば、ラップトップ用の外部モニターと）分離することも可能である。態様の種々の例にて、その他の周辺デバイス１１２０は、スタンドアロンのデジタルビデオディスク（またはデジタルバーサタイルディスク）（両方の用語に対して、ＤＶＲ）、ディスクプレーヤー、ステレオシステム、および／または照明システムのうちの１つまたは複数を含む。種々の態様は、システム１０００の出力に基づいて機能を提供する１つまたは複数の周辺デバイス１１２０を用いる。例えば、ディスクプレーヤーは、システム１０００の出力をプレイする役割を行う。

種々の態様にて、制御信号は、システム１０００と、ディスプレイ１１００、スピーカー１１１０、または他の周辺デバイス１１２０との間において、例えば、ＡＶ．Ｌｉｎｋ、ＣＥＣ（Consumer Electronics Control）、またはユーザーの介入の有無にかかわらずデバイスツーデバイス制御を可能にする他の通信プロトコルのようなシグナリングを用いて通信される。出力デバイスは、それぞれのインターフェイス１０７０、１０８０、および１０９０を通じて専用のコネクションを介してシステム１０００に通信接続されることが可能である。代替として、出力デバイスは、システム１０００に、通信チャネル１０６０を用いて通信インターフェイス１０５０を介して連結されることが可能である。ディスプレイ１１００およびスピーカー１１１０は、システム１０００のその他のコンポーネントにより単一のユニットにおいて、例えば、テレビのような電子デバイスにおいて統合されることが可能である。種々の態様にて、ディスプレイインターフェイス１０７０は、例えば、タイミングコントローラ（ＴＣｏｎ）チップのようなディスプレイドライバーを含む。

代替として、ディスプレイ１１００およびスピーカー１１１０は、例えば、入力１１３０のＲＦ部分が別個のセットトップボックスの一部であるならば、１つまたは複数のその他のコンポーネントから分離されることが可能である。ディスプレイ１１００およびスピーカー１１１０が外部コンポーネントである種々の態様にて、出力信号は、例えば、ＨＤＭＩポート、ＵＳＢポート、またはＣＯＭＰ出力を含む専用の出力コネクションを介して提出されることが可能である。

態様は、プロセッサー１０１０によって実装されるコンピュータソフトウェアによって、またはハードウェアによって、またはハードウェアおよびソフトウェアの組み合わせによって実行されることが可能である。非限定の例として、態様は、１つまたは複数の集積回路によって実装されることが可能である。メモリー１０２０は、技術的環境に適したどんなタイプのでもあることが可能であり、例えば、非限定の例として、光メモリーデバイス、磁気メモリーデバイス、半導体ベースのメモリーデバイス、固定メモリー、および取り外し可能なメモリーなどのどんな適したデータストレージ技術でも用いて実装されることが可能である。プロセッサー１０１０は、技術環境に適したどんなタイプのでもあることが可能であり、非限定の例として、マイクロプロセッサー、汎用コンピューター、専用コンピューター、およびマルチコアアーキテクチャに基づくプロセッサーのうちの１つまたは複数を含み込むことが可能である。

態様の別の例が図１３に例示される。図１３では、たとえばビットストリームなどの入力情報は、エンコードされたビデオ情報と、たとえばエンコードされたビデオ情報に関連付けされた情報、例えば量子化マトリックスまたはマトリックスなど、およびたとえば１つまたは複数のシンタックス要素などの制御情報などの他の情報とを含む。１３１０では、量子化マトリックスの少なくとも１つの係数とシンタックス要素とを表す情報が、入力、例えば入力ビットストリームなどから取得される。１３２０では、シンタックス要素に基づいて、少なくとも１つの係数を表す情報が残差として解釈されることになることが決定される。次に、１３３０では、エンコードされたビデオ情報の少なくとも一部が、量子化マトリックスの予測と残差との組み合わせに基づいてデコードされる。図１３に関して示され、説明される特徴の１つまたは複数の例は、本明細書にて以前に、例えば図６に関して例示され、説明された。

態様の別の例が図１４に例示される。図１４では、ビデオ情報を含む入力が１４１０にて処理されて、ビデオ情報と、ビデオ情報の少なくとも一部に関連付けられた予測量子化マトリックスの少なくとも１つの係数を表す情報とを取得する。１４２０では、少なくとも１つの係数が残差として解釈されることになることが決定される。例えば、ビデオ情報の処理は、残差の使用が、あるビデオ情報の有利な処理を提供すること、例えばビデオ情報をエンコードするときに向上した圧縮効率、またはエンコードされたビデオ情報をデコードするときに向上したビデオ品質を提供することなどを示すことがある。次に、１４３０では、ビデオ情報の少なくとも一部が、予測された量子化マトリックスと残差との組み合わせに基づいてエンコードされる。さらに１４３０におけるエンコードは、少なくとも１つの係数が残差として解釈されることになることを示すシンタックス要素もエンコードする。

本明細書に説明される態様の種々の実装および例は、デコードすることを含む。本出願にて用いられている「デコードすること」は、例えば、ディスプレイに適している最終的な出力を生成するために、受信されたエンコードされているシーケンスに行われる処理のすべてまたは一部を含み込むことが可能である。種々の態様にて、上記の処理は、デコーダーによって通常行われる処理、例えば、エントロピーデコード、逆量子化、逆変換、および差分デコードのうちの１つまたは複数を含む。種々の態様にて、さらにまたは代替えとして、上記の処理は、本出願にて説明される種々の実装のデコーダーによって行われる処理を含む。

さらなる例として、一態様にて「デコードすること」は、「エントロピーデコード」のみを引用し、別の態様にて「デコードすること」は、差分デコードのみを引用し、別の態様にて「デコードすること」は、エントロピーデコードおよび差分デコードの組み合わせを引用する。語句「デコード処理」が具体的に演算のサブセットを引用することが意図されようと一般により広く引用することが意図されようと、デコード処理は、特定の説明の状況に基づいて明らかになるだろう、および当業者によって十分に理解されると信じられる。

種々の実装は、エンコードすることを含む。「デコードすること」についての上の議論に類似したやり方において、本出願にて用いられている「エンコードすること」は、例えば、エンコードされているビットストリームを生成するために、入力ビデオシーケンスに行われる処理のすべてまたは一部を含み込むことが可能である。種々の態様にて、上記の処理は、エンコーダーによって通常行われる処理、例えば、分割、差分エンコード、変換、量子化、およびエントロピーエンコードのうちの１つまたは複数を含む。

さらなる例として、一態様にて「エンコードすること」は、「エントロピーデコード」のみを引用し、別の態様にて「エンコードすること」は、差分デエンコードのみを引用し、別の態様にて「エンコードすること」は、差分エンコードおよびエントロピーエンコードの組み合わせを引用する。語句「エンコード処理」が具体的に演算のサブセットを引用することが意図されようと一般により広く引用することが意図されようと、エンコード処理は、特定の説明の状況に基づいて明らかになるだろう、および当業者によって十分に理解されると信じられる。

本明細書にて用いられているシンタックス要素、例えば、scaling_list_pred_mode_flag、scaling_list_pred_matrix_id_delta、scaling_list_dc_coef_minus8は、記述的な用語であることを特筆する。記のような、それらは、他のシンタックス要素名の使用を排除しない。

図がフロー図として与えられるとき、さらにそれは対応する装置のブロック図も提供することが理解されるべきである。同様に、図がブロック図として与えられると、さらにそれは対応する方法／処理のフロー図も提供することが理解されるべきである。

本明細書にて説明される実装および様相は、例えば、方法もしくは処理、装置、ソフトウェアプログラム、データストリーム、または信号において実装されることが可能である。実装の単一のかたちの状況においてのみ述べられる（例えば、方法としてのみ述べられる）場合でさえ、さらに、述べられた特徴の実装は、他のかたち（例えば、装置またはプログラム）において実装されることも可能である。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアにおいて実装されることが可能である。方法は、例えば、コンピューター、マイクロプロセッサー、集積回路、またはプログラマブルロジックデバイスを含む、一般に処理デバイスを引用する、例えば、プロセッサーにおいて実装されることが可能である。さらに、プロセッサーは、例えば、コンピューター、携帯電話、ポータブル／パーソナルデジタルアシスタント（「ＰＤＡ」）、およびエンドユーザー間において情報の通信を容易にする他のデバイスなど、通信デバイスも含む。

「一態様」または「態様」または「一実装」または「実装」への言及は、他の変形も同様に、態様に関連して説明される特定の特徴、構造、特性などが、少なくとも１つの態様に含まれることを意味する。ゆえに、本出願の至る所に種々の場所に現れている語句「一態様にて」または「態様にて」または「一実装にて」または「実装にて」の出現は、どんな他の変形でも同様に、必ずしも同一の態様をすべて引用しているとは限らない。

追加として、本出願は、情報の種々の部分を「決定すること」を引用することがある。情報を決定することは、例えば、情報を推定すること、情報を算出すること、情報を予測すること、または情報をメモリーから検索することのうちの１つまたは複数を含むことが可能である。

さらに、本出願は、情報の種々の部分に「アクセスすること」を引用することがある。情報にアクセスすることは、例えば、情報を受信すること、情報を（例えば、メモリーから）検索すること、情報を格納すること、情報を移動すること、情報をコピーすること、情報を算出すること、情報を決定すること、情報を予測すること、または情報を推定することのうちの１つまたは複数を含むことが可能である。

追加として、本出願は、情報の種々の部分を「受信すること」を引用することがある。受信することは、「アクセスすること」に関してのように、広い用語であることが意図される。情報を受信することは、例えば、情報にアクセスすること、または情報を（例えば、メモリーから）検索することのうちの１つまたは複数を含むことが可能である。さらに、通常、「受信すること」は、何らかの仕方または別の仕方において、例えば、情報を格納すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を算出すること、情報を決定すること、情報を予測すること、または情報を推定することなどの動作の間に含まれる。

次の「／」、「および／または」、および「のうちの少なくとも１つ」のいずれかの使用は、例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、および「ＡおよびＢのうちの少なくとも１つ」の場合、第１の列挙されている選択肢（Ａ）のみの選択、または第２の列挙されている選択肢（Ｂ）のみの選択、または両方の選択肢（ＡおよびＢ）の選択を含み込むことが意図されることは、理解されるべきである。さらなる例として、「Ａ、Ｂ、および／またはＣ」および「Ａ、Ｂ、およびＣの少なくとも１つ」の場合、上記語句は、第１の列挙されている選択肢（Ａ）のみの選択、または第２の列挙されている選択肢（Ｂ）のみの選択、または第３の列挙されている選択肢（Ｃ）のみの選択、または第１および第２の列挙されている選択肢（ＡおよびＢ）のみの選択、または第１のおよび第３の列挙されている選択肢（ＡおよびＣ）のみの選択、または第２および第３の列挙されている選択肢（ＢおよびＣ）、またはすべての３つの選択肢（ＡおよびＢおよびＣ）の選択を含み込むことが意図される。今述べたことは、当業者および関連業者に明らかであるように、列挙されているだけの事項に対して拡張され得る。

当業者には明らかであろうように、実装は、例えば、格納されるまたは送信されることが可能である情報を運ぶようにフォーマットされたいろいろな信号を生成されることが可能である。例えば、情報は、方法を行うための命令、または説明されている実装のうちの１つによって生成されるデータを含むことが可能である。例えば、信号は、説明されている態様のビットストリームを運ぶようにフォーマットされることが可能である。例えば、上記の信号は、電磁波として（例えば、スペクトルの無線周波部分を用いて）またはベースバンド信号としてフォーマットされることが可能である。例えば、フォーマッティングは、データストリームをエンコードすることと、エンコードされたデータストリームにより搬送波を変調することとを含むことが可能である。例えば、信号が運ぶ情報は、アナログまたはデジタル情報であることが可能である。信号は、知られているように、いろいろな別々のワイヤードまたはワイヤレスリンクを介して送信されることが可能である。信号は、プロセッサー読み取り可能な媒体において格納されることが可能である。

種々の一般化された態様および特定化された態様も、本開示の至る所にサポートされ、企図される。本開示にしたがう態様の例は、下記を含むが下記に限定されない。

一般に、態様の少なくとも１つの例は、本明細書に説明されている残差を含む方法または装置を含むことが可能であり、残差は可変長残差（variable length residual）を含むことが可能である。

一般に、態様の少なくとも１つの例は、本明細書に説明されている方法または装置を含むことが可能であり、少なくとも１つの係数は、複数の予測量子化マトリックス係数を含み、組み合わせは、複数の予測量子化マトリックス係数に残差を加えることを含む。

一般に、態様の少なくとも１つの例は、本明細書に説明されている方法または装置を含むことが可能であり、組み合わせは、スケールファクタを適用することをさらに含む。

一般に、態様の少なくとも１つの例は、本明細書に説明されている方法または装置を含むことが可能であり、組み合わせは、複数の予測量子化マトリックス係数にスケールファクタを適用し、次に残差を加えることを含む。

一般に、態様の少なくとも１つの例は、本明細書に説明されている方法または装置を含むことが可能であり、組み合わせは、オフセットを適用することをさらに含む。

一般に、態様の少なくとも１つの例は、本明細書に説明されている方法または装置を含むことが可能であり、量子化マトリックスが予測されるとき残差を送信するのに再使用されることが可能である量子化マトリックスが予測されないとき、ビットストリームは、少なくとも１つの係数を送信するのに用いられる１つまたは複数のシンタックス要素を含む。

一般に、態様の少なくとも１つの例は、量子化マトリックスが予測されるとき残差を送信するのに再使用されることが可能である量子化マトリックスが予測されないとき、少なくとも１つの係数を送信するのに用いられる１つまたは複数のシンタックス要素を含むビットストリームを生成する、本明細書に説明されている方法または装置を含むことが可能である。

一般に、態様の別の例は、本明細書に説明される方法のいずれかに従って生成されたデータを含む信号を含むことが可能である。
一般に、態様の別の例は、本明細書に説明されていて、量子化マトリックスが予測されていないとき量子化マトリックスの少なくとも１つの係数を表すのに用いられる少なくとも１つのシンタックス要素を含む信号またはビットストリームを含むことが可能であり、少なくとも１つのシンタックス要素は、量子化マトリックスが予測されているとき残差を表すのに用いられる。

一般に、態様の別の例は、本明細書に説明される態様のいずれかの例に従う装置と、（ｉ）信号が画像情報を表すデータを含む、信号を受信するように構成されたアンテナ、（ｉｉ）受信した信号を、画像情報を表すデータを含む周波数の帯域に限定するように構成されたバンドリミッター（band limiter）、および（ｉｉｉ）画像情報から画像を表示するように構成されたディスプレイのうちの少なくとも１つとを含むデバイスを含むことが可能である。

一般的に、態様の別の例は、本明細書に説明されているデバイスを含み、たとえば、テレビ、テレビ信号レシーバー、セットトップボックス、ゲートウェイデバイス、モバイルデバイス、携帯電話、タブレット、または他の電子デバイスのうちの１つを含むことが可能である。

種々の態様が本明細書にて説明される。今述べた態様の特徴は、種々のクレームカテゴリーおよびタイプにわたって、単独にてまたはどんな組み合わせにおいても提供されることが可能である。さらに、態様は、次の特徴、デバイス、または様相のうちの１つまたは複数を、単独にてまたはどんな組み合わせにおいても、種々のクレームのカテゴリおよびタイプにわたって含むことが可能である。
●可能な限り簡潔に仕様を保つ一方、カスタムＱＭの送信時におけるビット数を節約することを含むビデオエンコードおよび／またはデコードを提供すること、
●単純な調整が低ビットコストにより可能であるようにＱＭ予測を改良することを含むビデオエンコードおよび／またはデコードを提供すること、
●グローバルオフセットを指定する簡単なやり方を含むビデオエンコードおよび／またはデコードを提供すること、
●コピーおよびダウンサンプリングに加えてスケールファクタ（scale factor）を適用すること、グローバルオフセットを指定する簡単なやり方を提供すること、ならびに、可変長の残差により予測をリファインメントできるようにすることによって、ＱＭの予測を拡張することのうちの１つまたは複数を含むビデオエンコードおよび／またはデコードを提供すること、
●ＱＭをさらにリファインメントするために、完全な符号化よりも可能性のあるより低いコストを有して、改良された予測を残差と組み合わせることを含むビデオエンコードおよび／またはデコードを提供すること、
●コピー／ダウンスケーリングに加えてオフセットを用いるＱＭ予測を含むビデオエンコードおよび／またはデコードを提供すること、
●（可変長の）残差を加えたＱＭ予測を含むビデオエンコードおよび／またはデコードを提供すること、
●コピー／ダウンスケーリングに加えてスケールファクタを用いるＱＭ予測を含むビデオエンコードおよび／またはデコードを提供すること、
●オフセットか残差かのいずれかとのスケールファクタの組み合わせを含むＱＭ予測を含むビデオエンコードおよび／またはデコードを提供すること、
●ＱＭを送信するのに、および、簡潔に仕様を保つと同時に正確度とビットコストとの間のユーザー定義のトレードオフを可能にするのに、必要なビット数を減らすことを含むビデオエンコードおよび／またはデコードを提供すること、
●次の特徴のうちの１つまたは複数を含むことに基づいて、ＱＭを送信するのに、および、簡潔に仕様を保つと同時に正確度とビットコストとの間のユーザー定義のトレードオフを可能にするのに、必要なビット数を減らすことを含むビデオエンコードおよび／またはデコードを提供すること、
○ＱＭ予測に残差を加える、
○ＱＭ予測にスケーリングファクタを加える、
○残差とスケーリングとを組み合わせる、
○予測を常に用いる（予測モードフラグを取り除く）、
●グローバルオフセットを加えることを含むＱＭ予測に対するコピーに加える変更を含み、グローバルオフセットは明示的に指定されることが可能である、ビデオエンコードおよび／またはデコードを提供すること、
●ＤＰＣＭ符号化された残差の第１の係数として指定されることが可能であるグローバルオフセットを含むビデオエンコードおよび／またはデコードを提供すること、
●予測に残差を加えることを含むビデオエンコードおよび／またはデコードを提供すること、
●予測をリファインメントするまたはＱＭに対して最適化された符号化スキーム（直接符号化の代わりに残差を加えた予測）を提供するＱＭ予測に加えた残差を含むビデオエンコードおよび／またはデコードを提供すること、
●予測されていないときＱＭ係数を送信するのに用いられるシンタックスは、ＱＭが予測されるとき残差を送信するのに再使用されることが可能であることを含むビデオエンコードおよび／またはデコードを提供すること、
●残差を加えることを含み、残差の係数の数は可変であることが可能である、ビデオエンコードおよび／またはデコードを提供すること、
●残差を加えることを含み、残差を加えることは、依然として係数は非予測モード（non-prediction mode）として送信されるが残差として解釈されることが可能であることを示す予測モードにおけるとき、フラグを用いることを含むことが可能である、ビデオエンコードおよび／またはデコードを提供すること、
●予測モードではないとき、係数はデフォルトのQM予測に加えて残差として依然として解釈されることが可能であることを含むビデオエンコードおよび／またはデコードを提供すること、
●予測に加えて可変長の残差を用いることを含むビデオエンコードおよび／またはデコードを提供すること、
●予測に加えて可変長の残差を用いることを含み、残差係数の数が次の１つまたは複数によって示されることが可能である、ビデオエンコードおよび／またはデコードを提供すること、
○係数の明示的な数、または
○２の累乗に制限されることが可能である、残差係数の数から１を引いた値が続く残差の存在を示すフラグ、または
○１＋（残差係数の数のｌｏｇ２）、ただし、零は残差がないことを示し、これは、固定長（長さはmatrixIdに依存する可能性のある長さ）またはｅｘｐ－Ｇｏｌｏｍｂ符号化として符号化されることが可能である、または
○リストにおけるインデックス、ただし、リストは係数の数を含み、例えば、このリストは規格によって固定されていることが可能であり、送信する必要がない、例えば｛０，１，２，４，８，１６，３２，６４｝、または
○残差係数の数は、少なくとも１つの通常の残差係数が送られることになると同時に送信されることが可能である潜在的な割増のＤＣ残差係数をカウントする必要がない、
●予測にスケールファクタを加えること、例えばコピー／デシメーションにスケールファクタを加えることなどを含むビデオエンコードおよび／またはデコードを提供すること、
●可変長の残差とスケールファクタとを含むことによって、スケーリングおよび／またはオフセットに基づいてＱＭへの調整を可能にし、可変長の残差に基づいて正確度とビットコストとの間のユーザー定義のトレードオフを可能にするＱＭ予測を含むビデオエンコードおよび／またはデコードを提供すること、
●可変長の残差とスケールファクタとを含むことによって、スケーリングおよび／またはオフセットに基づいてＱＭへの調整を可能にし、可変長の残差に基づいて正確度とビットコストとの間のユーザー定義のトレードオフを可能にするＱＭ予測を含み、スケールファクタは、数Ｎ（例えば、１６など）に正規化された整数であることが可能であり、スケーリング式は、中立値に基づいて参照ＱＭをスケーリングする、ビデオエンコードおよび／またはデコードを提供すること、
●予測にスケールファクタを追加することを含み、スケールファクタは、数Ｎに正規化された整数であることが可能であり、スケールファクタは、Nへのオフセットとして送信されることが可能である、ビデオエンコードおよび／またはデコードを提供すること、
●予測モードフラグを取り除くことを含むビデオエンコードおよび／またはデコードを提供すること、
●説明されたシンタックス要素のうちの１つもしくは複数、もしくはバリエーションを含むビットストリームまたは信号、
●説明される態様のうちのいずれかに従って生成された情報を伝えるシンタックスを含むビットストリームまたは信号、
●シグナリングするシンタックス要素に、エンコーダーによって用いられるシンタックス要素に対応する仕方にて動作することをデコーダーに可能にするシンタックス要素を挿入すること、
●説明されたシンタックス要素のうちの１つもしくは複数、もしくはバリエーションを含むビットストリームまたは信号を作成することおよび／または送信することおよび／または受信することおよび／またはデコードすること、
●説明される態様のうちのいずれかに従って作成することおよび／または送信することおよび／または受信することおよび／またはデコードすること、
●説明される態様のうちのいずれかに従う方法、処理、装置、命令を格納する媒体、データを格納する媒体、または信号、
●説明される態様のいずれかを実装することを提供するテレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
●説明される態様のいずれかを実装することを提供し、結果の画像を（例えばモニター、スクリーン、または他の種類のディスプレイを用いてなど）表示するテレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
●チャネルを（例えばチューナーを用いてなど）選択してエンコードされている画像を含む信号を受信し、説明される態様のいずれかを実装することを提供するテレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
●エンコードされている画像を含む電波を介して信号を（例えばアンテナを用いてなど）受信し、説明される態様のいずれかを実装することを提供するテレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。

Claims

エンコードされたビデオ情報を含むビットストリームから、量子化マトリックスの少なくとも１つの係数を表す情報と、シンタックス要素とを取得することと、
前記シンタックス要素に基づいて、前記少なくとも１つの係数を表す前記情報が残差として解釈されることになると決定することと、
前記量子化マトリックスの予測と前記残差との組み合わせに基づいて、前記エンコードされたビデオ情報の少なくとも一部をデコードすることと
を備えることを特徴とする方法。
エンコードされたビデオ情報を含むビットストリームから、量子化マトリックスの少なくとも１つの係数を表す情報と、シンタックス要素とを取得し、
前記シンタックス要素に基づいて、前記少なくとも１つの係数を表す前記情報が残差として解釈されることになると決定し、
前記量子化マトリックスの予測と前記残差との組み合わせに基づいて、前記エンコードされたビデオ情報の少なくとも一部をデコードする
ように構成された１つまたは複数のプロセッサー
を備えたことを特徴とする装置。
ビデオ情報と、前記ビデオ情報の少なくとも一部に関連付けられた予測量子化マトリックスの少なくとも１つの係数を表す情報とを取得することと、
前記少なくとも１つの係数が残差として解釈されることになると決定することと、
前記予測量子化マトリックスと前記残差との組み合わせに基づいて前記ビデオ情報の前記少なくとも一部をエンコードすること、および、前記少なくとも１つの係数が残差として解釈されることなることを示すシンタックス要素をエンコードすることと
を備えることを特徴とする方法。
ビデオ情報と、前記ビデオ情報の少なくとも一部に関連付けられた予測量子化マトリックスの少なくとも１つの係数を表す情報とを取得し、
前記少なくとも１つの係数が残差として解釈されることになると決定し、
前記予測量子化マトリックスと前記残差との組み合わせに基づいて前記ビデオ情報の前記少なくとも一部をエンコードし、前記少なくとも１つの係数が残差として解釈されることなることを示すシンタックス要素をエンコードする
ように構成された１つまたは複数のプロセッサー
を備えたことを特徴とする装置。
前記残差は可変長残差を含むことを特徴とする請求項１もしくは３に記載の方法、または、請求項２もしくは４に記載の装置。
前記少なくとも１つの係数は、複数の予測量子化マトリックス係数を含み、前記組み合わせは、前記複数の予測量子化マトリックス係数に前記残差を加えることを含むことを特徴とする請求項１、３、もしくは５のいずれか一項に記載の方法、または、請求項２、４、もしくは５のいずれか一項に記載の装置。
前記組み合わせはスケールファクタを適用することをさらに含むことを特徴とする請求項１、３、５、もしくは６のいずれか一項に記載の方法、または、請求項２、４、５、もしくは６のいずれか一項に記載の装置。
前記組み合わせは、前記複数の予測量子化マトリックス係数に前記スケールファクタを適用し、次に前記残差を加えることを含むことを特徴とする、請求項６に従属する請求項７に記載の方法または装置。
前記組み合わせはオフセットを適用することをさらに含むことを特徴とする請求項１、３、５、６、７もしくは８のいずれか一項に記載の方法、または、請求項２、４、５、６、７、もしくは８のいずれか一項に記載の装置。
前記量子化マトリックスが予測されるとき前記残差を送信するのに再使用されることが可能である前記量子化マトリックスが予測されないとき、前記ビットストリームは、前記少なくとも１つの係数を送信するのに使用される１つまたは複数のシンタックス要素を含むことを特徴とする請求項１に記載の方法、または、請求項２に記載の装置。
前記エンコードすることは、前記量子化マトリックスが予測されるとき前記残差を送信するのに再使用されることが可能である前記量子化マトリックスが予測されないとき、前記少なくとも１つの係数を送信するのに使用される１つまたは複数のシンタックス要素を含む前記ビットストリームを生成することを特徴とする請求項３に記載の方法、またはエンコードするように構成された前記少なくとも１つのプロセッサーは、前記量子化マトリックスが予測されるとき前記残差を送信するのに再使用されることが可能である前記量子化マトリックスが予測されないとき、前記少なくとも１つの係数を送信するのに使用される１つまたは複数のシンタックス要素を含む前記ビットストリームを生成することを特徴とする請求項４に記載の装置。
コンピューターによって実行されると、請求項１、３、または５ないし１１のいずれか一項に係る方法を前記コンピューターに実行させる命令を含むコンピュータープログラム製品。
実行可能プログラム命令を実行するコンピューターに、請求項１、３、または５ないし１１のいずれか一項に係る方法を行わせる前記命令を格納する非一時的なコンピューター読取り可能媒体。
請求項３に係る方法、または請求項３に従属する請求項５ないし１１のいずれか一項に係る方法に従って生成されたデータを含む信号。
請求項３に係る方法、または請求項３に従属する請求項５ないし１１のいずれか一項に係る方法に従って、シンタックス要素と、エンコードされている画像情報とを含むようにフォーマットされたビットストリーム。
前記量子化マトリックスが予測されていないとき前記量子化マトリックスの前記少なくとも１つの係数を表すのに用いられる少なくとも１つのシンタックス要素を含み、前記少なくとも１つのシンタックス要素は、前記量子化マトリックスが予測されているとき前記残差を表すのに用いられることを特徴とする請求項１４に記載の信号、または、請求項１５に記載のビットストリーム。
請求項２、４、または請求項２もしくは４に従属する請求項５ないし９のいずれか一項に係る装置と、
（ｉ）信号を受信するように構成されたアンテナであって、前記信号は、前記画像情報を表すデータを含む、アンテナ（ｉｉ）前記画像情報を表す前記データを含む周波数の帯域に、前記受信した信号を制限するように構成されたバンドリミッター、および、（ｉｉｉ）前記画像情報から画像を表示するように構成されたディスプレイのうちの少なくとも１つと
を備えたことを特徴とするデバイス。
前記デバイスは、テレビ、テレビ信号レシーバー、セットトップボックス、ゲートウェイデバイス、モバイルデバイス、携帯電話、タブレット、または他の電子デバイスのうちの１つを含むことを特徴とする請求項１５に記載のデバイス。