JP2022548008A - クロマデブロックフィルタリングの量子化パラメータ - Google Patents

Abstract

ビデオ処理の例示的な方法は、ビデオのクロマ成分のブロックとビデオのビットストリーム表現との間の変換のために、ルールに従って、エッジの一方側にサンプルを含む第１ビデオ領域の第１量子化情報、及び／又は、エッジの他方側にサンプルを含む第２ビデオ領域の第２量子化情報に基づいて、ブロックのエッジに対してフィルタリングプロセスを適用するか否か、または、適用する方法を決定することを含み、ルールは、エッジの一方側におけるサンプル、または、エッジの他方側におけるサンプルをコード化するために、ブロックに適用可能なコーディングモードに基づいている。本ルールは、第１量子化情報または第２量子化情報を決定するために、異なるビデオユニットレベルで複数のＱＰオフセットが使用されることを規定している。本方法は、また、決定に基づいて変換を実行することも含む。

Description

本特許文書は、ビデオコーディング技術、装置、およびシステムに関する。

関連出願の相互参照
パリ条約に基づく適用特許法及び／又はルールの下で、本出願は、2019年9月14日に出願された国際特許出願第PCT/N2019/105831号の優先権および利益を適時に主張して成されるものである。法の下で全ての目的のために、上記の出願の開示全体が、この出願の開示の一部として参照により包含されている。

現在、より良い圧縮比を提供するため、または、より低い複雑性または並列化された実装を可能にするビデオコーディングおよびデコーディング方式を提供するために、現在ビデオコーデック技術の性能を改善するための努力が進行中である。産業界の専門家は、最近、いくつかの新しいビデオコーディングツールを提案し、そして、それらの有効性を決定するためのテストが現在進行中である。

デジタルビデオコーディング、そして、特には、動きベクトルの管理に関連する装置、システム、および方法が説明される。説明される方法は、既存のビデオコーディング規格(例えば、高効率ビデオコーディング(High Efficiency Video Coding、HEVC)またはバーサタイルビデオコーディング（Versatile Video Coding）)、および、将来のビデオコーディング規格またはビデオコーデックに適用することができる。

１つの代表的な態様において、開示される技術は、ビデオ処理のための方法を提供するために使用され得る。この方法は、ビデオのクロマ成分のブロックと、ビデオのビットストリーム表現との間の変換を実行することを含む。変換の最中に、ブロックのエッジに沿って、サンプルに対してデブロッキングフィルタリングプロセスを選択的に適用し、そして、デブロッキングフィルタプロセスのパラメータを決定するために、クロマ量子化パラメータ(QP)オフセットをクロマQPテーブルからのアウトプットに追加する。

別の代表的な態様において、開示される技術は、ビデオ処理のための方法を提供するために使用され得る。この方法は、ビデオのクロマ成分のブロックと、ビデオのビットストリーム表現との間の変換のために、ルールに従って、エッジの一方側にサンプルを含む第１ビデオ領域の第１量子化情報、及び／又は、エッジの他方側にサンプルを含む第２ビデオ領域の第２量子化情報に基づいて、フィルタリングプロセスをブロックのエッジに適用するか否かを決定することを含む。ルールは、エッジの一方側または他方側のサンプルをコード化するためのブロックに適用可能なコーディングモードに基づいている。ルールは、異なるビデオユニットレベルで複数のQPオフセットが、第１量子化情報または第２量子化情報を決定するために使用されることを指定する。この方法は、また、決定に基づいて変換を実行することも含む。

別の代表的な態様において、開示される技術は、ビデオ処理のための方法を提供するために使用され得る。この方法は、ビデオの現在ブロックと、ビデオのビットストリーム表現との間の変換のために、ビデオユニットのレベルにおけるシンタックス要素に従って、現在ブロックに対するクロマ量子化パラメータ（QP）オフセットの使用を可能にするか否かを決定することを含む。ビデオユニットは、現在ブロックおよびビデオの第２ブロックを含む。

別の代表的な態様において、開示される技術は、ビデオ処理のための方法を提供するために使用され得る。この方法は、第１クロマ成分および第２クロマ成分を含むビデオと、ビデオのビットストリーム表現との間の変換を実行することを含む。第１クロマ成分の第１クロマブロックおよび第２クロマ成分の第２クロマブロックの残差（residuals）は、ルールに従って、コーディングモードを使用してビットストリーム表現において結合的にコード化される。本ルールは、変換のための量子化パラメータ(QP)を導出する方法がコーディングモードから独立していることを規定する。

別の代表的な態様において、開示される技術は、ビデオ処理のための方法を提供するために使用され得る。この方法は、ビデオの第１ブロックとビデオのビットストリーム表現との間の変換を実行することを含む。ビデオは、複数の色成分のカラーフォーマットを有し、第1ブロックは、ビデオの第１色成分に関連付けられる。変換の最中に、第１ブロックのエッジに沿って、少なくともいくつかのサンプルに対してデブロッキングフィルタリングプロセスが適用される。本方法は、また、ビデオの残りの色成分に関連するブロックと、ビデオのビットストリーム表現との間で、後続の変換を実行することを含む。後続の変換の最中に、第１ブロックの変換と同じ方法で、各ブロックのエッジに沿って、少なくともいくつかのサンプルに対してデブロッキングフィルタプロセスが適用される。

別の代表的な態様において、開示される技術は、ビデオ処理のための方法を提供するために使用され得る。この方法は、ビデオとビデオのビットストリーム表現との間の変換のために、ビデオの２つのブロック間の境界の境界強度を決定することを含む。境界強度は、２つのブロックのいずれか１つがクロマ残差の結合コーディング(JCCR)モードでコード化されるか否かにかかわらず決定される。本方法は、また、決定に基づいて変換を実行することも含む。

別の代表的な態様において、開示される技術は、ビデオ処理のための方法を提供するために使用され得る。この方法は、ビデオとビデオのビットストリーム表現との間の変換のために、第１ブロックと第２ブロックとの間の境界の境界強度を決定することを含む。決定は、第１ブロックの情報を第２ブロックの対応する情報と比較することなく実行される。本情報は、参照ピクチャ及び／又は対応するブロックの数動きベクトルを含み、そして、境界強度は、デブロッキングフィルタリングプロセスが境界に対して適用可能か否かを決定するために使用される。本方法は、また、決定に基づいて変換を実行することも含む。

別の代表的な態様において、開示される技術は、ビデオ処理のための方法を提供するために使用され得る。この方法は、ビデオのビデオブロックとビデオのビットストリーム表現との間の変換のために、ルールに従って、ビデオブロックに対してデブロッキングフィルタを適用するために使用される量子化パラメータ（QP）を決定することを含む。本ルールは、ビデオブロックの残差が変換の適用をスキップすることによってビットストリーム表現においてコード化される、変換スキップ(TS)モードを使用してビデオブロックがコード化される場合に、決定のために第１QPが使用されることを規定している。第１QPとは異なる第２QPは、ビデオブロックの残差が変換を適用した後にビットストリーム表現においてコード化される、非変換スキップモードを使用してビデオブロックがコード化される場合に、決定のために使用される。本方法は、また、決定に基づいて変換を実行することも含む。

別の代表的な態様において、開示される技術は、ビデオ処理のための方法を提供するために使用され得る。この方法は、ビデオのビデオブロックとビデオのビットストリーム表現との間の変換のために、ルールに従って、ビデオブロックのエッジの少なくともいくつかのサンプルに対するデブロッキングフィルタリングプロセスの適用可能性を決定するための勾配（gradient）を決定することを含む。本ルールは、勾配が決定される方法は、ビデオブロックのサイズから独立していることを規定する。本方法は、また、決定に基づいて変換を実行することも含む。

別の代表的な態様において、開示される技術は、ビデオ処理のための方法を提供するために使用され得る。この方法は、ビデオユニットとビデオユニットのビットストリーム表現との間の変換を実行することを含む。ここで、変換の最中に、デブロッキングフィルタがビデオユニットの境界において使用され、クロマ量子化パラメータ（QP）テーブルがデブロッキングフィルタのパラメータを導出するために使用されるとき、クロマQPテーブルによる処理が個々のクロマQP値に対して実行される。

別の代表的な態様においては、ビデオ処理のための別の方法を提供するために、開示される技術が使用され得る。この方法は、ビデオユニットとビデオユニットのビットストリーム表現との間の変換を実行することを含む。ここで、変換の最中に、クロマQPオフセットがデブロッキングフィルタ内で使用されるように、デブロッキングフィルタがビデオユニットの境界において使用される。ここで、クロマQPオフセットは、画像/スライス/タイル/ブリック/サブピクチャレベルである。

別の代表的な態様においては、ビデオ処理のための別の方法を提供するために、開示される技術が使用され得る。この方法は、ビデオユニットとビデオユニットのビットストリーム表現との間の変換を実行することを含む。ここで、変換の最中に、クロマQPオフセットがデブロッキングフィルタ内で使用されるように、デブロッキングフィルタがビデオユニットの境界において使用される。ここで、同じルマコーディングユニットに関する情報は、デブロッキングフィルタ内で使用され、そして、クロマQPオフセットを導出する。

別の代表的な態様においては、ビデオ処理のための別の方法を提供するために、開示される技術が使用され得る。この方法は、ビデオユニットとビデオユニットのビットストリーム表現との間の変換を実行することを含む。ここで、変換の最中に、クロマQPオフセットがデブロッキングフィルタ内で使用されるように、デブロッキングフィルタがビデオユニットの境界において使用される。ここで、クロマQPオフセットの使用をイネーブルにする指示（indication）がビットストリーム表現において信号化される。

別の代表的な態様においては、ビデオ処理のための別の方法を提供するために、開示される技術が使用され得る。この方法は、ビデオユニットとビデオユニットのビットストリーム表現との間の変換を実行することを含む。ここで、変換の最中に、デブロッキングフィルタにおいてクロマQPオフセットが使用されるように、デブロッキングフィルタがビデオユニットの境界において使用される。ここで、デブロッキングフィルタにおいて使用されるクロマQPオフセットは、ビデオユニットの境界においてJCCRコード化方法が適用されるか、または、ビデオユニットの境界においてJCCRコード化方法とは異なる方法が適用されるかである。

別の代表的な態様においては、ビデオ処理のための別の方法を提供するために、開示される技術が使用され得る。この方法は、ビデオユニットとビデオユニットのビットストリーム表現との間の変換を実行することを含む。ここで、変換の最中に、デブロッキングフィルタ内でクロマQPオフセットが使用されるように、ビデオユニットの境界においてデブロッキングフィルタが使用される。ここで、デブロッキングフィルタの境界強度（BS）は、P側境界におけるビデオユニットに関連する参照ピクチャ及び／又は動きベクトル（MV）の数を、Q側境界におけるビデオユニットの参照ピクチャと比較することなく計算される。

さらに、代表的な態様においては、プロセッサ、および、その上に命令を含む非一時的メモリを備えるビデオシステム内の装置が開示される。プロセッサによる実行の際に、命令は、開示される方法のいずれか１つ以上をプロセッサに実施させる。

加えて、代表的な態様においては、開示される方法のいずれか１つ以上を実施するように構成されたプロセッサを備えるビデオデコーディング装置が開示される。

別の代表的な態様においては、開示される方法のいずれか１つ以上を実施するように構成されたプロセッサを備えるビデオコーディング装置が開示される。

また、非一時的コンピュータ読取り可能媒体に保管されたコンピュータプログラム製品であって、開示される方法のいずれか１つ以上を実行するためのプログラムコードを含むコンピュータプログラム製品が開示される。

開示される技術に係る上記の態様および特徴は、図面、明細書、および特許請求の範囲において、より詳細に記載されている。

図1は、ブロッキング・デブロッキングフィルタプロセスの全体的な処理フローに係る一つの例を示している。 図2は、Bs計算のフロー図に係る一つの例を示している。 図3は、CTU境界におけるBs計算のために参照される情報に係る一つの例を示している。 図4は、フィルタのオン／オフ決定および強／弱フィルタ選択に含まれるピクセルに係る一つの例を示している。 図5は、VVCにおけるデブロッキングフィルタプロセスの全体的な処理フローに係る一つの例を示している。 図6は、VVCにおけるルマ（luma）デブロッキングフィルタプロセスに係る一つの例を示している。 図7は、VVCにおけるクロマ（chroma）デブロッキングフィルタプロセスに係る一つの例を示している。 図8は、サブPU境界に対するフィルタ長の決定に係る一つの例を示している。 図9Aは、クロマブロックの中心位置に係る一つの例を示している。 図9Bは、クロマブロックの中心位置に係る別の例を示している。 図10は、P側およびQ側におけるブロックに係る例を示している。 図11は、ルマブロックのデコーディングされた情報の使用に係る例を示している。 図12は、本文書で説明されるビジュアルメディア・デコーディングまたはビジュアルメディア・コーディング技術を実装するためのハードウェアプラットフォームに係る一つの例のブロック図である。 図13は、ビデオコーディングのための一つの例示的方法に係るフローチャートを示している。 図14は、開示される技術を実施することができる一つの例示的なビデオ処理システムに係るブロック図である。 図15は、本技術に従った、ビデオ処理方法に係るフローチャート表現である。 図16は、本技術に従った、別のビデオ処理方法に係るフローチャート表現である。 図17は、本技術に従った、別のビデオ処理方法に係るフローチャート表現である。 図18は、本技術に従った、別のビデオ処理方法に係るフローチャート表現である。 図19は、本技術に従った、別のビデオ処理方法に係るフローチャート表現である。 図20は、本技術に従った、別のビデオ処理方法に係るフローチャート表現である。 図21は、本技術に従った、別のビデオ処理方法に係るフローチャート表現である。 図22は、本技術に従った、別のビデオ処理方法に係るフローチャート表現である。 図23は、本技術に従った、ビデオ処理のさらに別の方法に係るフローチャート表現である。 図24は、一つの例示的なビデオコーディングシステムを説明するブロック図である。 図25は、本開示のいくつかの実施形態に従った、エンコーダを説明するブロック図である。 図26は、本開示のいくつかの実施形態に従った、デコーダを説明するブロック図である。

1. HEVC/H.265におけるビデオコーディング
ビデオコーディング規格は、主に、周知のITU-TおよびISO/IEC規格の開発を通じて発展してきた。ITU-TはH.261とH.263を製作し、ISO/IECはMPEG-1とMPEG-4 Visualを製作し、そして、２つの組織はH.262/MPEG-2 Video、H.264/MPEG-4 Advanced Video Coding(AVC)、およびH.265/HEVC規格を共同で作成した。H.262から、ビデオコーディング規格は、時間的予測と変換コーディングが利用されるハイブリッドビデオコーディング構造に基づいている。HEVCを越えた将来のビデオコーディング技術を探求するため、2015年にVCEGとMPEGが共同で共同ビデオ探査チーム(Joint Exploration Team、JVET)を設立した。それ以来、JVETによって多くの新しい方法が採用され、JEM(Joint Exploration Model)と名付けられた参照ソフトウェアに入れられた。2018年4月には、VCEG(Q6/16)とISO/IEC JTC1 SC29/WG11(MPEG)の合同ビデオエキスパートチーム(JVET)を発足されて、HEVCに対して50%のビットレート低減を目指すVVC規格に取り組んでいる。

2.1. HEVCにおけるデブロッキングスキーム
デブロッキング（deblocking）フィルタプロセスは、デコーディングプロセスと同じ順序で各CUに対して実行される。最初に、垂直エッジがフィルタリングされ(水平フィルタリング)、次いで、水平エッジがフィルタリングされる(垂直フィルタリング)。フィルタリングは、ルマ成分およびクロマ成分の両方に対して、フィルタリングされると決定された8×8ブロック境界に適用される。4×4ブロック境界は、複雑性を低減するために処理されない。

図1は、デブロッキングフィルタプロセスの全体的な処理フローを示している。境界は、3個のフィルタリングステータスを有し得る。フィルタリングなし、弱いフィルタリング、および、強いフィルタリング、である。各フィルタリング決定は、境界強度、Bs、および、閾値、βおよびt_Cに基づいている。

フィルタリングプロセスには3種類の境界が含まれ得る。CU境界、TU境界、および、PU境界でがある。CU境界、CUの外側エッジ、は、常にフィルタリングに含まれる。CU境界は、また、常にTU境界またはPU境界でもあるからである。PU形状が2N×N (N>4)であり、かる、RQT深さが1に等しい場合、8×8ブロックグリッドにおけるTU境界、および、CU内部の各PU間のPU境界が、フィルタリングに含まれる。１つの例外は、PU境界がTU内部にある場合、その境界はフィルタリングされないことである。

2.1.1. 境界強度計算
一般的に言えば、境界強度(Bs)は、境界に対してどの程度強いフィルタリングが必要であるかを反映する。Bsが大きい場合は、強いフィルタリングが考慮されるべきである。

PおよびQをフィルタリングに関与するブロックとして定義する。ここで、Pは境界の左側(垂直エッジの場合)または上方(水平エッジの場合)に置かれたブロックを表し、そして、Qは境界の右側(垂直エッジの場合)または上方(水平エッジの場合)に置かれたブロックを表している。図2は、イントラコーディングモード、非ゼロ変換係数と動き情報の存在、参照ピクチャ、動きベクトル（motion vector）の数、および、動きベクトルの差に基づいて、Bs値がどのように計算されるかを示す図である。

Bsは、4×4ブロックについて計算されるが、8×8グリッドへ再マッピングされる。4×4グリッドにおけるライン（line）で構成される8ピクセルに対応する、Bsの２つの値のうち最大値が、8×8グリッドにおける境界のBsとして選択される。

ラインバッファメモリ要求を低減するために、CTU境界についてのみ、図3に示されるように、左側または上側における第２ブロック(4×4グリッド)毎の情報が再使用される。

2.1.2 βとt _C の決定
フィルタのオン／オフ決定に関与する閾値βとt_C、強いフィルタと弱いフィルタの選択、および、弱いフィルタリングプロセスは、PとQブロックのルマ量子化パラメータ、QP_PとQP_Q、それぞれに、基づいて導出される。βとt_Cを導出するために使用されるQは、以下のように計算される。
Q=((QP_P+QP_Q+1)>>1)

Qに基づいて、テーブル1に示されるように、βが導出される。Bsが1より大きい場合は、Clip3(0,55,Q+2)を入力とするテーブル1のように変数t_Cが指定される。そうでなければ(BSが1以下)、変数t_Cは、Qを入力とするテーブル1のように変数t_Cが指定される。
テーブル1 入力Qからの閾値変数βとt_Cの導出

2.1.3. 4ラインについてフィルタのオン／オフ決定
フィルタのオン／オフは、4ラインを単位として行われる。図4は、フィルタのオン／オフ決定に関与するピクセルを示す。第１の4ラインについて赤い2個のボックスにおける6ピクセルが、4ラインについてフィルタのオン／オフを決定するために使用される。第２の4ラインについて赤い2個のボックスにおける6ピクセルが、第２の4ラインについてフィルタのオン／オフを決定するために使用される。

dp0+dq0+dp3+dq3<βの場合、第１の4ラインについてフィルタリングがオンになり、そして、強／弱フィルタ選択プロセスが適用される。各変数は、以下のように導出される。
dp0=|p_2,0-2*p_1,0+p_0,0|,dp3=|p_2,3-2*p_1,3+p_0,3|,dp4=|p_2,4-2*p_1,4+p_0,4|,dp7=|p_2,7-2*p_1,7+p_0,7|
dq0=|q_2,0-2*q_1,0+q_0,0|,dq3=|q_2,3-2*q_1,3+q_0,3|,dq4=|q_2,4-2*q_1,4+q_0,4|,dq7=|q_2,7-2*q_1,7+q_0,7|

条件が満たされない場合、第１の4ラインについてフィルタリングは行われない。加えて、条件が満たされる場合、dE、dEp1、およびdEp2が、弱いフィルタリングプロセスに対して導出される。変数dEは1に等しく設定される。dp0+dp3<(β+(β>>1))>>3の場合、変数dEp1は1に等しく設定される。dq0+dq3<(β+(β>>1))>>3の場合、変数dEq1は1に等しく設定される。

第２の4ラインについては、上記と同じ方法で決定される。

2.1.4. 4ラインについて強弱フィルタ選択
フィルタのオン／オフ決定において第１の4ラインについてフィルタリングすることが決定された後で、以下の２つの条件が満たされる場合、第１の4ラインのフィルタリングに強いフィルタを使用する。そうでなければ、フィルタリングに弱いフィルタが使用される。関与するピクセルは、図4に示すように、フィルタのオン／オフ決定に使用されるピクセルと同じである。
1)2*(dp0+dq0)<(β>>2),|p3₀-p0₀|+|q0₀-q3₀|<(β>>3)and|p0₀-q0₀|<(5*t_C+1)>>1
2)2*(dp3+dq3)<(β>>2),|p3₃-p0₃|+|q0₃-q3₃|<(β>>3)and|p0₃-q0₃|<(5*t_C+1)>>1

同様に、以下の２つの条件が満たされる場合、第２の4ラインのフィルタリングには強いフィルタが使用される。そうでなければ、フィルタリングに弱いフィルタが使用される。
1)2*(dp4+dq4)<(β>>2),|p3₄-p0₄|+|q0₄-q3₄|<(β>>3)and|p0₄-q0₄|<(5*t_C+1)>>1
2)2*(dp7+dq7)<(β>>2),|p3₇-p0₇|+|q0₇-q3₇|<(β>>3)and|p0₇-q0₇|<(5*t_C+1)>>1

2.1.4.1. 強いフィルタリング
強いフィルタリングについて、フィルタリングされたピクセル値は、以下の式によって得られる。3個のピクセルは、各PおよびQブロックについて、それぞれに、入力として4個のピクセルを使用して修正されることは注意に値する。
p₀’=(p₂+2*p₁+2*p₀+2*q₀+q₁+4)>>3
q₀’=(p₁+2*p₀+2*q₀+2*q₁+q₂+4)>>3
p₁’=(p₂+p₁+p₀+q₀+2)>>2
q₁’=(p₀+q₀+q₁+q₂+2)>>2
p₂’=(2*p₃+3*p₂+p₁+p₀+q₀+4)>>3
q₂’=(p₀+q₀+q₁+3*q₂+2*q₃+4)>>3

2.1.4.2. 弱いフィルタリング
Dを以下のように定義する。
D=(9*(q₀-p₀)-3*(q₁-p₁)+8)>>4
abs(D)がt_C*10より小さい場合、
D=Clip3(-t_C,t_C,D)
p₀’=Clip1_Y(p₀+D)
q₀’=Clip1_Y(q₀-D)
dEp1が1に等しい場合、
Dp=Clip3(-(t_C>>1),t_C>>1,(((p₂+p₀+1)>>1)-p₁+D)>>1)
p₁’=Clip1_Y(p₁+Dp)
dEq1が1に等しい場合、
Dq=Clip3(-(t_C>>1),t_C>>1,(((q₂+q₀+1)>>1)-q₁-D)>>1)
q₁’=Clip1_Y(q₁+Dq)

最大2個のピクセルが、各PブロックおよびQブロックについて、それぞれに、入力として3個のピクセルを用使用して修正されることは注意に値する。

2.1.4.3. クロマフィルタリング
クロマフィルタリングのBsは、ルマから継承される。Bs>1、または、コード化クロマ係数が存在する場合には、クロマフィルタリングが実行される。他にフィルタリングの決定は無い。そして、クロマについて１つだけのフィルタが適用される。クロマについてフィルタ選択プロセスは使用されない。フィルタリングされたサンプル値p0'およびq0'は、以下のように導出される。
D=Clip3(-t_C,t_C,((((q₀-p₀)<<2)+p₁-q₁+4)>>3))
p₀’=Clip1_C(p₀+D)
q₀’=Clip1_C(q₀-D)

2.2 VVCにおけるデブロッキングスキーム
VTM6において、デブロッキングフィルタリングプロセスは、HEVCとほとんど同じである。しかしながら、以下の変更が加えられている。

A)再構成されたサンプルの平均ルマレベルに依存するデブロッキングフィルタのフィルタ強度。

B)デブロッキングtCテーブルの拡張、および、10ビットビデオへの適合。

C)ルマのための、4×4グリッドのデブロッキング。

D)ルマのための、より強いデブロッキングフィルタ。

E)クロマのための、より強いデブロッキングフィルタ。

F)サブブロック境界のための、デブロッキングフィルタ。

G)動きにおけるより小さい差異に対して適合されたデブロッキング決定。

図5は、コーディングユニットについて、VVCにおけるデブロッキングフィルタプロセスのフローチャートを示している。

2.2.1. 再構成された平均ルマに依存するフィルタ強度
HEVCでは、デブロッキングフィルタのフィルタ強度は、平均量子化パラメータqP_Lから導出される変数βとt_Cによって制御される。VTM6では、この方法のSPSフラグが真である場合、デブロッキングフィルタは、再構成されたサンプルのルマレベルに従って、qP_Lにオフセットを加えることによって、デブロッキングフィルタの強度を制御する。再構成されたルマレベルLLは、以下のように導出される。
LL=((p_0,0+p_0,3+q_0,0+q_0,3)>>2)/(1<<bitDepth) (3-1)
ここで、i=0..3、かつ、k=0および3でのサンプル値p_i,k、q_i,kを導出することができる。次いで、SPSにおいて信号化された閾値に基づいてオフセットqpOffsetを決定するために、LLが使用される。その後で、以下のように導出される、qP_Lを使用して、βおよびt_Cを導出する。
qP_L=((Qp_Q+Qp_P+1)>>1)+qpOffset (3-2)
ここで、Qp_QおよびQp_Pは、それぞれに、サンプルq_0,0およびp_0,0を含むコーディングユニットの量子化パラメータを示す。現在のVVCにおいて、この方法は、ルマ・デブロッキングプロセスにのみ適用されている。

2.2.2 ルマについて4×4デブロッキング・グリッド
HEVCは、ルマとクロマの両方について8×8デブロッキング・グリッドを使用する。VTM6では、ルマ境界について、4×4グリッド格子におけるデブロッキングが、矩形変換形状からのブロッキングアーチファクトを処理するために導入された。4×4グリッドにおける並列のフレンドリーなルマデブロッキングは、片側が4以下の幅を持つ垂直ルマ境界の各側面における1サンプル、または、片側が4以下の高さを持つ水平ルマ境界の各側面における1サンプルに、デブロッキングされるサンプルの数を制限することによって達成される。

2.2.3. ルマのについて境界強度の導出
詳細な境界強度の導出がテーブル2から分かるだろう。テーブル2における条件は、順次チェックされる。
テーブル2 境界強度の導出

2.2.4. ルマ用のより強いデブロッキングフィルタ
境界の片側のサンプルが大きいブロックに属する場合、本提案は、バイリニア（bilinear）フィルタを使用する。大きいブロックに属するサンプルは、垂直エッジについて幅が32以上（width>=32）の場合、そして、水平エッジについて高さが32以上（height>=32）の場合として定義される。

バイリニアフィルタが、以下に列挙される。

i=0～Sp-1でのブロック境界サンプルpi、および、j=0～Sq-1でのブロック境界サンプルqi(piとqiは上記のHEVCデブロッキングにおける定義に従う)は、以下のように線形補間によって置き換えられる。

ここで、用語tcPD_iおよびtcPD_jは、セクション2.2.5で説明される位置依存のクリッピングであり、そして、Middle_s,t、P_s、および、Q_sは、以下のように与えられる。

2.2.5. ルマのデブロッキング制御
デブロッキング決定プロセスが、このサブセクションにおいて説明される。

より強力なルマフィルタは、条件1、条件2、および、条件3の全てが真（TRUE）の場合にのみ使用される。

条件1は「大きいブロック条件（“large block condition”）」である。この条件は、P側とQ側のサンプルが、大きいブロックに属するか否かを検出する。それらは、変数bSidePisLargeBlkおよびbSideQisLargeBlkで、それぞれ表される。bSidePisLargeBlkおよびbSideQisLargeBlkは、以下のように定義される。
bSidePisLargeBlk=((エッジタイプが垂直かつp₀がCUに属し、width>=32)||(エッジタイプが水平かつp₀がCUに属し、width>=32))?TRUE:FALSE
bSideQisLargeBlk=((エッジタイプが垂直かつq₀がCUに属し、width>=32)||(エッジタイプが水平かつq₀がCUに属し、width>=32))?TRUE:FALSE

bSidePisLargeBlkおよびbSideQisLargeBlkに基づいて、条件1は、以下のように定義される。
条件1=(bSidePisLargeBlk||bSidePisLargeBlk)?TRUE:FALSE

次に、条件1が真（true）の場合は、条件2が、さらにチェックされる。最初に、以下の変数が導出される。
dp0、dp3、dq0、dq3が、最初に、HEVCと同様に導出される
if(p側が32以上である)
dp0=(dp0+Abs(p_5,0-2*p_4,0+p_3,0)+1)>>1
dp3=(dp3+Abs(p_5,3-2*p_4,3+p_3,3)+1)>>1
if(q側が32以上である)
dq0=(dq0+Abs(q_5,0-2*q_4,0+q_3,0)+1)>>1
dq3=(dq3+Abs(q_5,3-2*q_4,3+q_3,3)+1)>>1
dpq0、dpq3、dp、dq、dが、次いで、HEVCにおけるように導出される。

条件2は、以下のように定義される。
条件2=(d<β) ?TRUE:FALSE
ここで、セクション2.1.4に示されるように、d=dp0+dq0+dp3+dq3である。

条件1と条件2が有効の場合、いずれかのブロックがサブブロックを使用しているか否かがチェックされる。
If(bSidePisLargeBlk)
If(mode blockP==SUBBLOCKMODE)
Sp=5
else
Sp=7
else
Sp=3
If(bSideQisLargeBlk)
If(modeblockQ==SUBBLOCKMODE)
Sq=5
else
Sq=7
else
Sq=3

最終的に、条件1と条件2の両方が有効である場合、提案したデブロッキング方法は条件3(大きいブロック強いフィルタ条件)をチェックし、これは、以下のように定義される。条件3StrongFilterConditionにおいては、以下の変数が導出される。
DpqがHEVCのように導出される
sp3=Abs(p3-p0),HEVCのように導出される
if(p側が32以上である)
if(Sp==5)
sp3=(sp3+Abs(p5-p3)+1)>>1
else
sp3=(sp3+Abs(p7-p3)+1)>>1
sq3=Abs(q0-q3),HEVCのように導出される
if(q側が32以上である)
If(Sq==5)
sq3=(sq3+Abs(q5-q3)+1)>>1
else
sq3=(sq3+Abs(q7-q3)+1)>>1

HEVCにおけるように、
StrongFilterCondition=(dpqislessthan(β>>2),sp3+sq3islessthan(3*β>>5),andAbs(p0-q0)islessthan(5*tC+1)>>1)?TRUE:FALSE
である。

図6は、ルマ（luma）デブロッキングフィルタプロセスに係るフローチャートを示している。

2.2.6. クロマの強力なデブロッキングフィルタ
以下に、クロマのための強いデブロックフィルタが定義される。
p₂′=(3*p₃+2*p₂+p₁+p₀+q₀+4)>>3
p₁′=(2*p₃+p₂+2*p₁+p₀+q₀+q₁+4)>>3
p₀′=(p₃+p₂+p₁+2*p₀+q₀+q₁+q₂+4)>>3

提案されるクロマフィルタは、4×4のクロマサンプルグリッドにおいてデブロッキングを実行する。

2.2.7. クロマに対するデブロッキング制御
上記のクロマフィルタは、8×8のクロマサンプルグリッドにおいてデブロッキングを実行する。クロマの強いフィルタがブロック境界の両側において使用される。ここで、クロマフィルタは、クロマエッジの両側が8以上(クロマサンプルの単位)の場合に選択され、そして、3個の条件を伴う以下の判定が満足される。1番目は、境界強度、並びに、大きいブロック（large block）の決定である。2番目と3番目の条件は、基本的に、HEVCルマ判定と同じであり、それは、それぞれに、オン／オフ判定と強いフィルタ決定である。
図7は、クロマデブロッキングフィルタプロセスのフローチャートを示している。

2.2.8. 位置依存クリッピング
本提案は、また、境界で7、5、および3個のサンプルを修正する、強く、かつ、長いフィルタを含むルマフィルタリングプロセスの出力サンプルに対して適用される位置依存クリッピングtcPDを導入している。量子化誤差分布を仮定して、より高い量子化ノイズを有することが期待される、従って、再構成されたサンプル値に係る真のサンプル値からのより高い偏差を有することが期待されるサンプルに対して、クリッピング値を増加させることが提案されている。

セクション2.2で説明された意思決定プロセスの結果に依存して、提案された非対称フィルタを用いてフィルタリングされた各PまたはQ境界に対して、位置依存閾値（position dependent threshold）テーブルは、サイド情報としてデコーダに提供されているTc7およびTc3テーブルから選択される。
Tc7={6,5,4,3,2,1,1};
Tc3={6,4,2};
tcPD=(SP==3)?Tc3:Tc7;
tcQD=(SQ==3)?Tc3:Tc7;

短い対称フィルタを用いてフィルタリングされるPまたはQ境界に対しては、より低い規模（magnitude）の位置依存閾値が適用される。
Tc3={3,2,1};

閾値を定義した後で、フィルタリングされたp'iおよびq'iのサンプル値は、tcPおよびtcQのクリッピング値に従ってクリップされる。
p''_i=clip3(p'_i+tcP_i,p'_i-tcP_i,p'_i);
q''_j=clip3(q'_j+tcQ_j,q'_j-tcQ_j,q'_j);
ここで、p'_iとq'_iはフィルタリングされたサンプル値であり、p''_iとq''_iｊはクリッピング後の出力サンプル値であり、そして、tcP_iとtcP_iはVVCtcパラメータとtcPDとtcQDから導出されたクリッピング閾値である。用語clip3は、VVCで指定されるクリッピング機能である。

2.2.9. サブブロックのデブロッキング調整
長いフィルタ（long filter）とサブブロックデブロッキングの両方を使用して、並列したフレンドリー（friendly）なデブロッキングを可能にするために、長いフィルタは、長いフィルタに対するルマコントロールに示されているように、サブブロックデブロッキング(AFFINEまたはATMVP)を使用する側において、最大で5個のサンプルを修正するように制限されている。加えて、サブブロックのデブロッキングは、CUまたは黙示的（implicit）TU境界に近い8×8グリッド上のサブブロック境界が、それぞれの側で最大2個のサンプルを修正するように制限されるように、調整されている。

以下が、CU境界と整列されていないサブブロック境界に対して適用される。
If(modeblockQ==SUBBLOCKMODE&&edge!=0){
if(!(implicitTU&&(edge==(64/4))))
if(edge==2||edge==(orthogonalLength-2)||edge==(56/4)||edge==(72/4))
Sp=Sq=2;
else
Sp=Sq=3;
else
Sp=Sq=bSideQisLargeBlk?5:3
}

0に等しいエッジがCU境界に対応する場合、2に等しい、または、orthogonalLength-2に等しいエッジは、CU境界からのサブブロック境界の8個のサンプルに対応する、等。ここで、TUの黙示的分割が使用される場合、黙示的TUは真である。図8は、TU境界およびサブPU境界に対する決定プロセスのフローチャートを示している。

水平境界のフィルタリングは、水平境界がCTU境界と整列されている場合、ルマについてSp=3、クロマについてSp=1およびSq=1に制限している。

2.2.10. より小さい差異の動きに適合されたデブロッキング決定
HEVCは、境界のそれぞれの側におけるブロック間の少なくとも１つの動きベクトル成分における差異が、1サンプルの閾値以上である場合に、予測ユニット境界のデブロッキングを可能にする。VTM6では、半ルマサンプル（half luma sample）の閾値が導入され、動きベクトルにおいて小さい差異を有するインター予測ユニット間の境界から生じるブロックアーチファクトの除去も可能にする。

2.3. 結合されたインター予測とイントラ予測（CIIP)
VTM6では、CUがマージモードでコード化されているときに、CUが少なくとも64ルマサンプルを含み(すなわち、CU幅×CU高さが64以上)、かつ、CU幅とCU高さの両方が128ルマサンプル未満である場合に、結合されたインター／イントラ予測(CIIP)モードが現在CUに適用されるか否かを示すために追加フラグが信号化される。その名前が示すように、CIIP予測は、インター予測（inter prediction）信号とイントラ予測（intra prediction）信号を結合している。CIIPモードにおけるインター予測信号P_interは、通常のマージモードに適用されるのと同じインター予測プロセスを使用して導出され、そして、イントラ予測信号P_intraは、プラナーモード（planar mode）での通常のイントラ予測プロセスに従って導出される。次いで、重み付け平均を使用して、イントラおよびインター予測信号が結合される。ここで、重み付け値は、以下のように、上隣接ブロックおよび左隣接ブロックのコーディングモードに依存して計算される。
－上隣接が利用可能、かつ、イントラコード化されている場合、isIntraTopを1に設定し、そうでなければ、isIntraTopを0に設定する
－左隣接が利用可能、かつ、イントラコード化されている場合、isIntraLeftを1に設定し、そうでなければ、isIntraLeftを0に設定する
－(isIntraLeft+isIntraLeft)が2に等しい場合、wtは3に設定される
－そうでなければ、(isIntraLeft+isIntraLeft)が1に等しい場合、wtは2に設定される
－そうでなければ、wtを1に設定する。

CIIP予測は、以下のように形成される。
P_CIIP=((4-wt)*P_inter+wt*P_intra+2)>>2

2.4. VTM-6.0におけるクロマQPテーブル設計
いくつかの実施態様においては、クロマQPテーブルが使用される。いくつかの実施形態においては、信号化（signaling）メカニズムがクロマQPテーブルについて使用され、これにより、SDRおよびHDRコンテンツについてテーブルを最適化する機会をフレキシブルにエンコーダに提供することが可能になる。これは、Cb成分とCr成分について別個のテーブルの信号化をサポートする。提案されるたメカニズムは、区分的な（piece-wise）線形関数としてクロマQPテーブルを信号化する。

2.5. 変換スキップ(TS)
HEVCと同様に、ブロックの残差（residual）は、変換スキップモードを用いてコード化することができる。シンタックスコーディング（syntax coding）の冗長性を避けるために、CUレベルMTS_CU_flagがゼロに等しくない場合、変換スキップフラグは信号化されない。変換スキップに対するブロックサイズ制限は、JEM4におけるMTSに対するものと同じであり、これは、ブロック幅と高さの両方が32以下である場合に、変換スキップがCUに対して適用できることを示している。現在CUに対してLFNSTまたはMIPがアクティブになっている場合、黙示的MTS変換はDCT2に設定されることに注意すること。また、MTSがインターコード化ブロックについてイネーブルされている場合でも、黙示的MTSは、未だにイネーブルにされ得る。

加えて、変換スキップブロックについて、最小許容量子化パラメータ(QP)は、以下のように定義される。
6*(internalBitDepth-inputBitDepth)+4

2.6. クロマ残差の結合コーディング(JCCR)
いくつかの実施態様において、クロマ残差は、一緒にコード化される。結合クロマコーディングモードの使用(起動)は、TUレベルのフラグtu_joint_cbcr_residual_flagで示され、そして、選択されたモードはクロマCBFによって黙示的に示される。フラグ
tu_joint_cbcr_residual_flagは、TUについてクロマCBFの一方または両方が1に等しい場合に存在する。PPSおよびスライスヘッダにおいて、クロマQPオフセット値は、通常のクロマ残差コーディングモードについて信号化された、通常のクロマQPオフセット値と差別化するために、結合クロマ残差コーディングモードについて信号化される。これらのクロマQPオフセット値は、結合クロマ残差コーディングモードを使用してコード化されたブロックについてクロマQP値を導出するために使用される。対応する結合クロマコーディングモード(テーブル3におけるモード2)がTU内でアクティブな場合、このクロマQPオフセットは、そのTUの量子化およびデコーディングの最中に、適用されたルマ由来（luma-derived）クロマQPに対して追加される。その他のモードについて(テーブル3におけるモード1およびモード3である、テーブル3 クロマ残差の再構成。値CSignは符号値(+1または-1)であり、それは、スライスヘッダにおいて指定されており、resJointC[][]は送信される残差である)、クロマQPは、従来のCbまたはCrブロックと同じ方法で導出される。送信された変換ブロックからのクロマ残差(resCbおよびresCr)の再構成プロセスがテーブル3に示されている。このモードが起動されると、１つの単一結合クロマ残差ブロック(テーブル3におけるresJointC[x][y])が信号化され、そして、Cbの残差ブロック(resCb)、Crの残差ブロック(resCr)は、tu_cbf_cb、tu_cbf_cr、および、スライスヘッダで指定された符号値である、Csignといった、情報を考慮して導出される。

エンコーダ側では、以下に説明するように、結合クロマ成分が導出される。モード(上のテーブルにリストされているもの)に応じて、resJointC{1,2}はエンコーダによって次のように生成される。
・モードが2に等しい場合(再構成Cb=C,Cr=CSign*Cでの単一残差)、結合残差は、以下に従って決定される。
resJointC[x][y]=(resCb[x][y]+CSign*resCr[x][y])/2
・そうでなければ、モードが1に等しい場合(再構成Cb=C,Cr=(CSign*C)/2での単一残差)、結合残差は、以下に従って決定される。
resJointC[x][y]=(4*resCb[x][y]+2*CSign*resCr[x][y])/5
・そうでなければ(モードが3に等しい、すなわち、単一残差、再構成Cr=C,Cb=(CSign*C)/2)、結合残差は、以下に従って決定される。
resJointC[x][y]=(4*resCr[x][y]+2*CSign*resCb[x][y])/5

テーブル3 クロマ残差の再構成
値CSignは、スライスヘッダで指定される符号値(+1または-1)であり、resJointC[][]は送信された残差である。

上記の３つのモードでは、異なるQPが利用される。モード2では、JCCRコード化ブロックについてPPSで信号化されたQPオフセットが適用され、他の２つのモードで、それは適用されず、代わりに、非JCCRコード化ブロックについてPPSで信号化されたQPオフセットが適用される。

対応する仕様は以下の通りである。

3. 既存の実装の欠点
DMVRおよびBIOは、動きベクトルを精緻化する際に元の信号を含まず、その結果、不正確な動き情報を有するコーディングブロックを生じる可能性がある。また、DMVRおよびBIOは、ときどき、動き精緻化後の分数の（fractional）動きベクトルを採用するが、スクリーンビデオは、たいてい、整数の（integer）動きベクトルを有し、これは、現在のモーション情報をより不正確にし、そして、コーディングモード性能を悪化させる。
1.クロマQPテーブルとクロマデブロッキングとの間の相互作用に問題があり得る。例えば、クロマQPテーブルは、個々のQPに適用されるべきであるが、QPの加重和には適用されない。
2.ルマ・デブロッキング・フィルタリングプロセスの論理は、ハードウェア設計について複雑である。
3.境界強度導出の論理は、ソフトウェア設計とハードウェア設計の両方について複雑すぎる。
4.BS決定プロセスにおいて、JCCRは、JCCTを適用せずにコード化されたブロックとは別に扱われる。しかしながら、JCCRは残差をコード化するための特別な方法にすぎない。従って、そうした設計は、明確な利点がない限り、さらなる複雑性をもたらし得る。
5.クロマエッジ決定において、Qp_QおよびQp_Pは、それぞれ、サンプルq_0,0およびp_0,0を含むコーディングブロックを含むコーディングユニットのQp_Y値に等しく設定される。しかしながら、量子化／脱量子化プロセスでは、クロマサンプルのQPは、現在クロマCUの中心位置の対応するルマサンプルをカバーするルマブロックのQPから導出される。デュアルツリーをイネーブルにする場合、ルマブロックの位置が異なると、QPが異なる可能性がある。従って、クロマデブロッキングプロセスにおいて、誤ったQPがフィルタ決定に使用される可能性がある。そうした位置ずれは、視覚的なアーチファクトを生じさせることがある。図9(a)および図9(b)を含む一つの例が図9に示されている。図9において、左側(図9(a))はルマブロックについて対応するCTB分割であり、そして、右側(図9(b))はデュアルツリーの下のクロマCTB分割である。CU_C1で示される、クロマブロックのQPを決定する場合、CU_C1の中心位置が最初に導かれる。次いで、CU_C1の中心位置の対応するルマサンプルが識別され、そして、対応するルマサンプル、すなわちCU_Y3をカバーするルマCUに関連するルマQPが、CU_C1のQPを導出するためにアンタイル化（untilized）される。しかしながら、図示された3個のサンプル(実線の円)のフィルタ決定を行う場合は、対応する3個のサンプルをカバーするCUのQPが選択される。従って、第１、第２、および第３クロマサンプル(図9(b)に示される)については、CU_Y2、CU_Y3、およびCU_Y4のQPが使用される。つまり、同じCU内のクロマサンプルがフィルタ決定に異なるQPを使用することがあり、それは、誤った決定を招く可能性がある。
6.異なるピクチャレベルQPオフセット(すなわち、pps_joint_cbcr_qp_offset)は、JCCRコード化ブロックに適用され、非JCCRコード化ブロックに適用されるCb/Crのピクチャレベルオフセット(例えば、pps_cb_qp_offsetおよびpps_cr_qp_offset)とは異なる。しかしながら、クロマデブロッキングフィルタ決定プロセスでは、非JCCRコーディングブロックに対するそれらのオフセットのみが利用される。コード化されたモードの考慮が欠けていると、間違ったフィルタの決定を結果として生じる可能性がある。
7.TSおよび非TSコーディングブロックは、脱量子化プロセスにおいて異なるQPを採用しており、それは、デブロック化プロセスにおいても考慮される可能性がある。
8.異なるモードを持つJCCRコーディングブロックのスケーリングプロセス(量子化／脱量子化)では、異なるQPが使用される。そうした設計は一貫性がない。

4. 例示的な技術および実施形態
以下に説明される詳細な実施形態は、一般的な概念を説明するための例として考慮されるべきである。これらの実施形態は狭義に解釈されるべきではない。さらに、これらの実施形態は、任意の方法で組み合わせることができる。

以下に説明される方法は、以下に説明されるDMVRおよびBIOに加えて、他のデコーダ動作情報導出技術にも適用可能である。

以下の例において、MVM[i].xおよびMVM[i].yは、M(Mは、PまたはQ)側のブロックの参照ピクチャリストi(iは、0または1)における動きベクトルの水平成分および垂直成分を示す。Absは、入力の絶対値を取得する操作を示し、「&&」および「||」は、論理演算ANDとORを示す。図10を参照すると、PはP側のサンプルを示し、QはQ側のサンプルを示すことができる。P側とQ側のブロックは、ダッシュ線で示されたブロックを示すことができる。
デブロッキングにおけるクロマQPについて
1.クロマQPテーブルがクロマのデブロッキングを制御するパラメータを導出するために使用される場合(例えば、クロマブロックエッジの決定プロセスにおいて)、クロマQPオフセットがクロマQPテーブルを適用した後に適用され得る。
a.一つの例において、クロマQPオフセットは、クロマQPテーブルによって出力される値に追加され得る。
b.代替的に、クロマQPオフセットは、クロマQPテーブルへの入力とみなされない場合がある。
c.一つの例において、クロマQPオフセットは、ピクチャレベルまたは他のビデオユニットレベル(スライス/タイル/ブリック/サブピクチャ)クロマ量子化パラメータオフセット(例えば、仕様におけるpps_cb_qp_offset、pps_cr_qp_offset)であってよい。
2.クロマQPテーブルの入力には、QPクリッピングが適用されない場合がある。
3.デブロッキングフィルタ決定プロセスにおける種々のコーディング方法に使用される画像/スライス/タイル/ブリック/サブピクチャレベル量子化パラメータオフセットを考慮することが提案されている。
a.一つの例において、フィルタ決定のための画像/スライス/タイル/ブリック/サブピクチャレベル量子化パラメータオフセットの選択(例えば、デブロッキングフィルタプロセスにおけるクロマエッジ決定)は、各側面についてコード化された方法に依存し得る。
b.一つの例において、クロマブロックに対して量子化パラメータを使用することを必要とするフィルタリングプロセス(例えば、クロマエッジ決定プロセス)は、ブロックがJCCRを使用するか否かに依存し得る。
i.代替的に、さらに、JCCRコーディングブロックに適用される画像/スライスレベルQPオフセット(例えば、pps_joint_cbcr_qp_offset)が、デブロッキングフィルタリングプロセスにおいてさらに考慮され得る。
ii.一つの例において、T_Cおよびβ設定を決定するために使用されるcQpPicOffsetは、特定の条件下でpps_cb_qp_offsetまたはpps_cr_qp_offsetの代わりにpps_joint_cbcr_qp_offsetに設定され得る。
1.一つの例においては、P側またはQ側のブロックのいずれかがJCCRを使用する場合である。
2.一つの例においては、PまたはQ側の両方のブロックがJCCRを使用する場合である。
4.ルマブロックのデコーディングされた情報にアクセスすることを必要とするクロマフィルタリングプロセス(例えば、クロマエッジ決定プロセス)は、脱量子化/量子化プロセスにおいてクロマQPを導出するために使用されるのと同じルマ・コーディングブロックに関連付けられた情報を利用することができる。
a.一つの例において、ルマブロックに対して量子化パラメータを使用することを必要とするクロマフィルタリングプロセス(例えば、クロマエッジ決定プロセス)は、現在クロマCUの中心位置の対応するルマサンプルをカバーするルマコーディングユニットを利用することができる。
b.一つの例が図9に示されており、図9(b)の3個のクロマサンプル(第１、第２、および第３)の決定をフィルタリングするために、CU_Y3のデコーディングされた情報を使用することができる。
5.クロマフィルタリングプロセス(例えば、クロマエッジ決定プロセス)は、クロマブロックのスケーリングプロセスに適用される量子化パラメータ(例えば、量子化/脱量子化)に依存し得る。
a.一つの例において、βおよびT_Cを導出するために使用されるQPは、クロマブロックのスケーリングプロセスに適用されるQPに依存し得る。
b.代替的に、さらに、クロマブロックのスケーリングプロセスに使用されるQPは、クロマCUレベルQPオフセットを考慮に入れてよい。
6.上記の項目（bullets）を呼び出すか否かは、フィルタリングされるサンプルがPまたはQ側のブロック内にあることに依存し得る。
a.例えば、現在クロマサンプルの対応するルマサンプルをカバーするルマコーディングブロックの情報を使用するか、現在クロマサンプルをカバーするクロマコーディングブロックの中心位置の対応するルマサンプルをカバーするルマコーディングブロックの情報を使用するかは、ブロック位置に依存する。
i.一つの例において、現在クロマサンプルがQ側のブロック内にある場合、現在クロマサンプルをカバーするクロマコーディングブロックの中心位置の対応するルマサンプルをカバーするルマコーディングブロックのQP情報が使用され得る。
ii.一つの例において、現在クロマサンプルがP側のブロック内にある場合、クロマサンプルの対応するルマサンプルをカバーするルマコーディングブロックのQP情報が使用され得る。

QP設定について
7.ブロックレベルクロマQPオフセット(例えば、slice_cu_chroma_qp_offset_enabled_flag)を、スライス/タイル/ブリック/サブピクチャレベルでイネーブルにすることの指示を信号化することが提案されている。
ａ．代替的に、そのような指示の信号は条件付きで信号化されてよい。
i.一つの例において、JCCRイネーブルフラグの条件下で、信号が送られてよい。
ii.一つの例において、それは、ブロックレベルクロマQPオフセットの条件下で、ピクチャレベルでフラグをイネーブルにすることができる。
iii.代替的に、そうした指示を代わりに導出することができる。
b.一つの例において、slice_cu_chroma_qp_offset_enabled_flagは、クロマQPオフセットのPPSフラグがある場合にのみ、信号化され得る(例えば、slice_cu_chroma_qp_offset_enabled_flagが真である)。
c.一つの例において、slice_cu_chroma_qp_offset_enabled_flagは、クロマQPオフセットのPPSフラグがある場合にのみ、偽に推定され得る(例えば、slice_cu_chroma_qp_offset_enabled_flagが偽である)。
d.一つの例において、ブロック上でクロマQPオフセットを使用するか否かは、PPSレベル及び／又はスライスレベルにおけるクロマQPオフセットのフラグに基づいてよい。 8.異なるモードを持つJCCRコーディングブロックのスケーリングプロセス(量子化/脱量子化)では、同じQP導出法が使用される。
a.一つの例において、モード1および3を有するJCCRの場合、QPは、画像/スライスレベルで信号化されたQPオフセット(例えば、pps_cbcr_qp_offset、slice_cbcr_qp_offset)に依存する。

フィルタリングのプロシージャ
1.第１色成分を除く全ての色成分のためのデブロッキングは、第１色成分のためのデブロッキングプロセスに従い得る。
a.一つの例において、カラーフォーマットが4:4:4である場合、第２および第３構成要素のためのデブロッキングプロセスは、第１構成要素のためのデブロッキングプロセスに従い得る。
b.一つの例において、カラーフォーマットがRGB色空間において4:4:4である場合、第２および第３構成要素のためのデブロッキング処理は、第１構成要素のためのデブロッキング処理に従い得る。
c.一つの例において、カラーフォーマットが4:2:2である場合、第２および第３構成要素の垂直方向のデロック処理は、第１構成要素の垂直方向のデロック処理に従い得る。
d.上記の例では、デブロッキングプロセスは、デブロッキング決定プロセス及び／又はデブロッキングフィルタリングプロセスを参照することができる。

境界強度の導出について
10.境界強度決定プロセスにおいて、JCCRコーディングブロックを非JCCRコーディングブロックとして扱うことが提案されている。
a.一つの例において、境界強度(BS)の決定は、P側およびQ側の２つのブロックに対するJCCRの使用のチェックから独立し得る。
b.一つの例において、ブロックの境界強度(BS)は、そのブロックがJCCRでコード化されるか否かにかかわらず、決定され得る。
11.P側のブロックに関連する参照ピクチャ及び／又はMV数をQ側のブロックの参照ピクチャと比較することなく、境界強度(BS)を導出することが提案されている。
a.一つの例において、デブロッキングフィルタは、２つのブロックが異なる参照ピクチャを有する場合でさえ、ディセーブルにされ得る。
b.一つの例において、デブロッキングフィルタは、２つのブロックが異なるMV数を持つ場合であってもディセーブルにされ得る(例えば、一方はユニ予測であり、他方はバイ予測)。
c.一つの例において、BSの値は、P側とQ側のブロック間の１つまたは全ての参照ピクチャリストの動きベクトル差が閾値Th以上である場合に1に設定され得る。
i.代替的に、さらに、BSの値は、P側とQ側のブロック間の一つまたは全ての参照ピクチャリストの動きベクトル差が閾値Th以下の場合には、0に設定され得る。
d.一つの例において、閾値Thより大きい２つのブロックの動きベクトルの差は、以下のように定義され得る。
(Abs(MVP[0].x-MVQ[0].x)>Th||Abs(MVP[0].y-MVQ[0].y)>Th||
Abs(MVP[1].x-MVQ[1].x)>Th)||Abs(MVP[1].y-MVQ[1].y)>Th)
i.代替的に、閾値Thより大きい2ブロックの動きベクトルの差は、以下のように定義され得る。
(Abs(MVP[0].x-MVQ[0].x)>Th&&Abs(MVP[0].y-MVQ[0].y)>Th&&
Abs(MVP[1].x-MVQ[1].x)>Th)&&Abs(MVP[1].y-MVQ[1].y)>Th)
ii.代替的に、一つの例において、閾値Thより大きい2ブロックの動きベクトルの差は、以下のように定義され得る。
(Abs(MVP[0].x-MVQ[0].x)>Th||Abs(MVP[0].y-MVQ[0].y)>Th)&&
(Abs(MVP[1].x-MVQ[1].x)>Th)||Abs(MVP[1].y-MVQ[1].y)>Th)
iv.代替的に、一つの例において、閾値Thより大きい2ブロックの動きベクトルの差は、以下のように定義され得る。
(Abs(MVP[0].x-MVQ[0].x)>Th&&Abs(MVP[0].y-MVQ[0].y)>Th)||
(Abs(MVP[1].x-MVQ[1].x)>Th)&&Abs(MVP[1].y-MVQ[1].y)>Th)
e.一つの例において、所与のリスト内に動きベクトルを有しないブロックは、そのリスト内にゼロ動きベクトルを有するものとして取り扱うことができる。
f.上記の例では、Thは整数(例えば、4、8、または16)である。
g.上記の例では、Thは以下に依存し得る。
i.映像コンテンツ(例えば、スクリーンコンテンツ、または自然コンテンツ)
ii.DPS/SPS/VPS/PPS/PPS/APS/picture header/slice header/tile group header/Largest coding unit(LCU)/Coding unit(CU)/LCU row/group of LCUs/TU/PU block/Video coding unitにおいて信号化されたメッセージ
iii.CU/PU/TU/block/Video coding unitの位置
iv.エッジに沿ったサンプルを含むブロックのコーディングモード
v.エッジに沿ってサンプルを含むブロックに適用された変換行列
vi.ブロックディメンション/現在ブロック及び／又は隣接ブロックのブロック形状
vii.カラーフォーマットの表示(4:2:0、4:4:4、RGBまたはYUV、など)
viii.コーディングツリー構造(デュアルツリーまたはシングルツリー、など)
ix.スライス/タイルグループタイプ、及び／又は、ピクチャタイプ
x.色成分(例えば、CbまたはCrにのみ適用され得る)
xi.時間レイヤID
xii.規格のプロファイル/レベル/ティア（Tier）
xiii.代替的に、Thはデコーダに対して信号化され得る
h.上記の例は、所定の条件下で適用することができる。
i.一つの例において、条件は、blkPおよびblkQが、イントラモードでコード化されていないことである。
ii.一つの例において、条件は、blkPおよびblkQが、ルマ成分において係数ゼロを有することである。
iii.一つの例において、条件は、blkPおよびblkQが、CIIPモードでコード化されていないことである。
iv.一つの例において、条件は、blkPおよびblkQが、同じ予測モード(例えば、IBCまたはInter)でコード化されていることである。

ルマデブロッキングフィルタリングプロセスについて
12．デブロッキングは、TSコーディングブロックと非TSコーディングブロックに対して異なるQPを使用し得る。
a.一つの例において、TSのQPはTSコーディングブロックで使用され、TS以外のQPはTSコード化されていないブロックで使用される。
13.ルマフィルタリングプロセス(例えば、ルマエッジ決定プロセス)は、ルマブロックのスケーリングプロセスに適用される量子化パラメータに依存し得る。
a.一つの例において、ベータおよびT_Cを導出するために使用されるQPは、例えばQpPrimeTsMinによって示されるように、変換スキップのクリッピング範囲に依存し得る。
14.大きいブロック境界と小さいブロック境界に対して同一の勾配計算を用いることが提案されている。
a.一つの例において、セクション2.1.4で説明したデブロッキングフィルタのオン／オフ決定は、大きいブロック境界にも適用することができる。
i.一つの例において、決定における閾値ベータ（beta）は、大きいブロック境界に対して修正され得る。
1.一つの例において、ベータは、量子化パラメータに依存し得る。
2.一つの例において、大きいブロック境界に対するフィルタのオン／オフ決定に使用されるベータは、小さいブロック境界に対するベータより小さくてもよい。
a.代替的に、一つの例において、大きいブロック境界に対するフィルタのオン／オフ決定に使用されるベータは、小さいブロック境界に対するベータより大きくてもよい。
b.代替的に、一つの例において、大きいブロック境界に対するフィルタのオン／オフ決定に使用されるベータは、小さいブロック境界に対するものと等しくてよい。
3.一つの例において、ベータは整数であり、以下に基づいてよい。
a.映像コンテンツ(例えば、スクリーンコンテンツ、または自然コンテンツ)
b.DPS/SPS/VPS/PPS/PPS/APS/picture header/slice header/tile group header/Largest coding unit(LCU)/Coding unit(CU)/LCU row/group of LCUs/TU/PU block/Video coding unitにおいて信号化されたメッセージ
c.CU/PU/TU/block/Video coding unitの位置
d.エッジに沿ったサンプルを含むブロックのコーディングモード
e.エッジに沿ってサンプルを含むブロックに適用された変換行列
f.現在ブロック及び／又はその隣接ブロックのブロック寸法
g.ブロックディメンション/現在ブロック及び／又は隣接ブロックのブロック形状
h.カラーフォーマットの表示(4:2:0、4:4:4、RGBまたはYUV、など)
i.コーディングツリー構造(デュアルツリーまたはシングルツリー、など)
j.スライス/タイルグループタイプ、及び／又は、ピクチャタイプ
k.色成分(例えば、CbまたはCrにのみ適用され得る)
l.時間レイヤID
m.規格のプロファイル/レベル/ティア（Tier）
n.代替的に、Thはデコーダに対して信号化され得る

一般
15.上記の方法は、所定の条件下で適用することができる。
a.一つの例において、条件は、カラーフォーマットが4:2:0及び／又は4:2:2なことである。
i.代替的に、さらに、4:4:4カラーフォーマットの場合、２つのカラークロマ成分にデブロッキングフィルタを適用する方法は、現在の設計に従い得る。
b.一つの例において、上記方法の使用の指示は、シーケンス/ピクチャ/スライス/タイル/ブリック/ビデオ領域レベル、例えば、SPS/PPS/ピクチャヘッダ/スライスヘッダで信号化されてよい。
c.一つの例において、上記の方法の使用は、以下に依存し得る。
i.映像コンテンツ(例えば、スクリーンコンテンツ、または自然コンテンツ)
ii.DPS/SPS/VPS/PPS/PPS/APS/picture header/slice header/tile group header/Largest coding unit(LCU)/Coding unit(CU)/LCU row/group of LCUs/TU/PU block/Video coding unitにおいて信号化されたメッセージ
iii.CU/PU/TU/block/Video coding unitの位置
iv.エッジに沿ったサンプルを含むブロックのコーディングモード
v.エッジに沿ってサンプルを含むブロックに適用された変換行列
vi.現在ブロック及び／又はその隣接ブロックのブロック寸法

vii.ブロックディメンション/現在ブロック及び／又は隣接ブロックのブロック形状
viii.カラーフォーマットの表示(4:2:0、4:4:4、RGBまたはYUV、など)
ix.コーディングツリー構造(デュアルツリーまたはシングルツリー、など)
x.スライス/タイルグループタイプ、及び／又は、ピクチャタイプ
xi.色成分(例えば、CbまたはCrにのみ適用され得る)
xii.時間レイヤID
xiii.規格のプロファイル/レベル/ティア（Tier）
xiv.代替的に、Thはデコーダに対して信号化され得る

5. 追加の実施形態
新たに追加されたテキストは、下線が付けられ、太字のイタリック体で示されている。削除されたテキストは[[ ]]でマーク付けされている。

5.1. デブロッキングにおけるクロマQPに関する実施例#1

5.2. 境界強度の導出に関する実施例#2

5.3. 境界強度の導出に関する実施例#3

5.4. ルマデブロッキングフィルタリングプロセスに関する実施例#4

5.5. クロマデブロッキングフィルタリングプロセスに関する実施例#5

6. 開示される技術の実施例
図12は、ビデオ処理装置1200のブロック図である。装置1200は、ここにおいて説明される１つ以上の方法を実装するために使用され得る。装置1200は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT)受信器、等で実現することができる。装置1200は、１つ以上のプロセッサ1202、１つ以上のメモリ1204、およびビデオ処理ハードウェア1206を含み得る。プロセッサ1202は、本文書に説明される１つ以上の方法を実装するように構成され得る。メモリ(複数のメモリ)1204は、ここにおいて説明される方法および技術を実施するために使用されるデータおよびコードを保管するために使用され得る。ビデオ処理ハードウェア1206は、ハードウェア回路において、本文書に説明されるいくつかの技術を実装するために使用することができ、部分的または完全にプロセッサ1202(例えば、グラフィックスプロセッサコアGPU、または他の信号処理回路)の一部であってよい。

本文書において、用語「ビデオ処理（“video processing”）」は、ビデオコーディング、ビデオデコーディング、ビデオ圧縮またはビデオ解凍を指すことができる。例えば、ビデオ圧縮アルゴリズムは、ビデオのピクセル表現から対応するビットストリーム表現へ、または、その逆への変換の最中に適用され得る。現在ビデオブロックのビットストリーム表現は、例えば、シンタックスによって定義されるように、ビットストリーム内の異なる場所に共配置されるか、または拡散されるビットに対応し得る。例えば、マクロブロックは、変換され、かつ、コード化されたエラー残差値の観点から、また、ビットストリーム内のヘッダおよび他のフィールド内のビットを使用して、エンコーディングされ得る。

開示される方法および技術は、スマートフォン、ラップトップ、デスクトップ、および、類似の装置といった、ビデオ処理装置内に組み込まれたビデオエンコーダ及び／又はデコーダの実施形態に有益であることが、ここにおいて開示される技術の使用を可能にすることによって理解されるであろう。

図13は、ビデオ処理の例示的な方法1300のためのフローチャートである。方法1300は、1310において、ビデオユニットとビデオユニットのビットストリーム表現との間の変換を実行することを含む。ここで、本変換の最中は、デブロッキングフィルタがビデオユニットの境界において使用され、そうして、クロマ量子化パラメータ（QP）テーブルがデブロッキングフィルタのパラメータを導出するために使用されるとき、クロマQPテーブルによる処理が個々のクロマQP値に対して実行される。

いくつかの実施形態が、以下の条項ベース（clause-based）のフォーマットを使用して説明され得る。

1.ビデオ処理の方法であって、以下を含む方法。

ビデオユニットとビデオユニットのビットストリーム表現との間の変換を実行するステップであり、前記変換の最中に、クロマ量子化パラメータ(QP)テーブルが前記デブロッキングフィルタのパラメータを導出するために使用されるとき、クロマQPテーブルによる処理が個々のクロマQP値に対して実行されるように、デブロッキングフィルタが前記ビデオユニットの境界において使用される、ステップ。

2.クロマQPオフセットが、クロマQPテーブルによる処理の後で、個々のクロマQP値に追加される、条項1に記載の方法。

3.クロマQPオフセットが、クロマQPテーブルによって出力される値に追加される、条項1または2に記載の方法。

4.クロマQPオフセットは、クロマQPテーブルへの入力とはみなされない、条項1または2に記載の方法。

5.クロマQPオフセットは、ピクチャレベルまたはビデオユニットレベルである、条項2に記載の方法。

6.ビデオ処理の方法であって、以下を含む方法。

ビデオユニットと前記ビデオユニットのビットストリーム表現との間の変換を実行するステップであり、前記変換の最中に、クロマQPオフセットが前記デブロッキングフィルタにおいて使用されるように、デブロッキングフィルタが前記ビデオユニットの境界において使用され、前記クロマQPオフセットがピクチャ/スライス/タイル/ブリック/サブピクチャレベルで使用される、ステップ。

7.デブロッキングフィルタで使用されるクロマQPオフセットは、前記ビデオユニットの境界に適用されるコーディング方法と関連付けられる、条項6に記載の方法。

8.コーディング方法が、クロマ残差の結合コーディング(JCCR)方法である、条項7に記載の方法。

9.ビデオ処理の方法であって、以下を含む方法。

ビデオユニットとビデオユニットのビットストリーム表現との間の変換を実行するステップであり、前記変換の最中に、クロマQPオフセットが前記デブロッキングフィルタにおいて使用されるように、デブロッキングフィルタが前記ビデオユニットの境界において使用され、前記デブロッキングフィルタにおいて同じルマコーディングユニットに関連する情報が使用され、クロマQPオフセットを導出する、ステップ。

10.同じルマコーディングユニットが、ビデオユニットの中心位置の対応するルマサンプルをカバーし、ビデオユニットがクロマコーディングユニットである、条項9に記載の方法。

11.スケーリングプロセスがビデオユニットに適用され、前記デブロッキングフィルタの１つ以上のパラメータが、少なくとも部分的に、前記スケーリングプロセスの量子化/脱量子化パラメータに依存する、条項9に記載の方法。

12.前記スケーリングプロセスの量子化/脱量子化パラメータは、前記クロマQPオフセットを含む、条項11に記載の方法。

13.ビデオユニット内のルマサンプルは、P側またはQ側にある、条項9-12のいずれかに記載の方法。

14.同じルマコーディングユニットに関する情報は、同じルマコーディングユニットに関するコーディングユニットの相対位置に依存する、条項13に記載の方法。

15.ビデオ処理の方法であって、以下を含む方法。

ビデオユニットとビデオユニットのビットストリーム表現との間で変換を実行するステップであり、前記変換の最中に、クロマQPオフセットがデブロッキングフィルタにおいて使用されるように、デブロッキングフィルタが前記ビデオユニットの境界において使用され、クロマQPオフセットの使用をイネーブルにする指示が前記ビットストリーム表現において信号化される、ステップ。

16.前記指示は、１つ以上のフラグを検出することに応答して条件付きで信号化される、条項15に記載の方法。

17.前記１つ以上のフラグが、JCCRイネーブルフラグまたはクロマQPオフセットイネーブルフラグに関連する、条項16に記載の方法。

18.前記指示は、導出に基づいて信号化される、条項15に記載の方法。

19.ビデオ処理の方法であって、以下を含む方法。

ビデオユニットと前記ビデオユニットのビットストリーム表現との間の変換を実行するステップであり、前記変換の最中に、前記ビデオユニットの境界上でデブロッキングフィルタが使用され、前記デブロッキングフィルタにクロマQPオフセットが使用される。ここで、前記デブロッキングフィルタに使用されるクロマQPオフセットは、前記ビデオユニットの境界上でJCCRコーディング方法が適用されるか、または、前記ビデオユニットの境界上でJCCRコーディング方法とは異なる方法が適用されるか、いずれかと同じである、ステップ

20.ビデオ処理の方法であって、以下を含む方法。

ビデオユニットと前記ビデオユニットのビットストリーム表現との間の変換を実行するステップであり、前記変換の最中に、クロマQPオフセットが前記デブロッキングフィルタ内で使用されるように、デブロッキングフィルタが前記ビデオユニットの境界において使用され、前記デブロッキングフィルタの境界強度(BS)が、参照ピクチャ及び／又は前記ビデオユニットに関連する多数の動きベクトル(MV)と、参照ピクチャ及び／又はQ側の前記ビデオユニットに関連する多数の動きベクトル(MV)とをP側境界で比較することなく、計算される、ステップ。

21.前記デブロッキングフィルタは、１つ以上の条件下でディセーブルにされる、条項20に記載の方法。

22.前記１つ以上の条件は、前記動きベクトルの大きさまたは閾値に関連する、条項21に記載の方法。

23.前記閾値は、以下の少なくとも１つに関連付けられる、条項22に記載の方法。i.前記ビデオユニットのコンテンツ、ii.DPS/SPS/VPS/PPS/PPS/APS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/最大コーディングユニット(LCU)/コーディングユニット(CU)/LCU行/LCUグループ/TU/PUブロック/ビデオコーディングユニット、において信号化されるメッセージ、iii.CU/PU/TU/ブロック/ビデオコーディングユニットの位置、iv.境界に沿ったサンプルを有するブロックのコーディングモード、v.境界に沿ったサンプルを有するビデオユニットに適用される変換マトリクス、vi.ビデオユニットの形状または寸法、vii.カラーフォーマットの指示、viii.コーディングツリー構造、ix.スライス/タイルグループタイプ及び／又はピクチャタイプ、x.色成分、xi.時間層ID、または、xii.規格のプロファイル/レベル/階層。

24.異なるQPオフセットが、TSコーディングビデオユニットおよび非TSコーディングビデオユニットに対して使用される、条項20に記載の方法。

25.ルマフィルタリングステップで使用されるQPが、ルマブロックのスケーリングプロセスで使用されるQPに関連する、条項20に記載の方法。

26.条項1-25のうち１つ以上に記載の方法を実装するように構成されたプロセッサを含む、ビデオデコーディング装置。

27.条項1-25のうち１つ以上に記載の方法を実装するように構成されたプロセッサを含む、ビデオコーディング装置。

28.保管されたコンピュータコードを有するコンピュータプログラム製品であって、本コードは、プロセッサによって実行されると、プロセッサに、条項1-25のいずれかに記載の方法を実行させる、コンピュータプログラム製品。

29.本文書に記載された方法、装置、またはシステム。

図14は、ここにおいて開示される様々な技術が実装され得る例示的なビデオ処理システム1400を示しているブロック図である。種々の実装は、システム1400のコンポーネントの一部または全部を含んでよい。システム1400は、ビデオコンテンツを受信するための入力1402を含んでよい。ビデオコンテンツは、生で（raw）または非圧縮フォーマット、例えば、8または10ビットのマルチコンポーネント画素値で受信されてよく、または、圧縮または符号化フォーマットで受信されてもよい。入力1402は、ネットワークインターフェイス、ペリフェラルバスインターフェイス、またはストレージインターフェイスを表すことができる。ネットワークインターフェイスの例は、イーサネット、受動光ネットワーク（PON）といった有線インターフェイス、および、Wi-Fiまたはセルラーインターフェイスといった無線インターフェイスを含む。

システム1400は、本文書において説明される種々のコーディングまたはエンコーディング方法を実装し得るコーディングコンポーネント1404を含んでよい。コーディングコンポーネント1404は、入力1402からコーディングコンポーネント1404の出力までのビデオの平均ビットレートを縮小することができ、ビデオのビットストリーム表現を生成する。従って、コーディング技術は、ときどき、ビデオ圧縮またはビデオトランスコーディング技術と呼ばれる。コーディングコンポーネント1404の出力は、コンポーネント1406によって表されるように、保管されるか、または、接続された通信を介して送信されてよい。入力1402で受信されたビデオに係る保管され、または、通信されたビットストリーム(または、コードされた)表現は、ディスプレイインターフェイス1410に送信される、画素値または表示可能なビデオを生成するために、コンポーネント1408によって使用されてよい。ビットストリーム表現からユーザが閲覧可能な（user-viewable）ビデオを生成するプロセスは、ときどき、ビデオ解凍（decompression）と呼ばれる。さらに、所定のビデオ処理操作は、「コーディング」操作またはツールと称されるが、コーディングツールまたは操作は、エンコーダで使用され、コーディングの結果を反転する、対応するデコーディングツールまたは操作は、デコーダで実行されることが理解されるだろう。

ペリフェラルバスインターフェイスまたはディスプレイインターフェイスの例は、ユニバーサルシリアルバス（USB）または高精細度マルチメディアインターフェイス（HDMI（登録商標））、もしくはディスプレイポート、などを含んでよい。ストレージインターフェイスの例は、SATA（serial advanced technology attachment）、PCI、IDEインターフェイス、などを含んでよい。ここにおいて説明される技術は、移動電話、ラップトップ、スマートフォン、または、デジタルデータ処理及び／又はビデオ表示を実行することができる他の装置といった、種々の電子装置において具体化することができる。

図15は、本技術に従った、ビデオ処理方法1500のフローチャート表現である。方法1500は、オペレーション1510において、ビデオのクロマ成分のブロックと、ビデオのビットストリーム表現との間の変換を実行することを含む。変換の最中に、ブロックのエッジに沿って、少なくともいくつかのサンプルに対してデブロッキングフィルタリングプロセスが適用され、そして、デブロッキングフィルタプロセスのパラメータを決定するために、クロマ量子化パラメータ(QP)オフセットがクロマQPテーブルからのアウトプットに追加される。

いくつかの実施形態において、クロマQPオフセットは、少なくともビットストリーム表現におけるピクチャレベルまたはビデオユニットレベルのシンタックス要素によって示される。いくつかの実施態様において、ビデオユニットは、スライス、タイル、ブリック、サブピクチャ、またはブロックを含む。いくつかの実施態様において、クロマQPオフセットは、少なくともpps_cb_qp_offset及び／又はpps_cr_qp_offsetを含む。いくつかの実施形態においては、クロマQPテーブルのインプットについてQPクリッピングプロセスがディセーブルされる。いくつかの実施態様において、クロマ成分は、ビデオのCr成分を含む。いくつかの実施態様において、クロマ成分は、ビデオのCb成分を含む。

図16は、本技術に従った、ビデオ処理の方法1600のフローチャート表現である。方法1600は、オペレーション1610において、ビデオのクロマ構成要素のブロックとビデオのビットストリーム表現との間の変換のために、ルールに従って、エッジの一方側にサンプルを含む第１ビデオ領域の第１量子化情報及び／又はエッジの他方側にサンプルを含む第２ビデオ領域の第２量子化情報に基づいて、フィルタリングプロセスをブロックのエッジに適用するか否か、または、どのように適用するかを決定することを含む。ルールは、エッジの一方側のサンプルまたは他方側のサンプルをコード化するためのブロックに適用可能なコーディングモードに基づいている。ルールは、異なるビデオユニットレベルで複数のQPオフセットを使用して、第１量子化情報または第２量子化情報を決定することを指定する。また、方法1600は、オペレーション1620において、決定に基づいて変換を実行することを含む。

いくつかの実施形態において、異なるビデオユニットレベルは、少なくともピクチャレベル、スライスレベル、タイルレベル、ブリックレベル、または、サブピクチャレベルを含む。いくつかの実施形態において、複数のQPオフセットは、ビデオのCb成分に対するオフセットを含む。いくつかの実施形態において、複数のQPオフセットは、ビデオのCr成分に対するオフセットを含む。

いくつかの実施形態において、ルールは、複数のQPオフセットの選択が、コーディングモードに基づいていることを明記する。いくつかの実施形態において、コーディングモードは、クロマ残差の結合コーディング(JCCR)モードを含む。いくつかの実施形態において、ブロックがJCCRコーディングモードでコード化される場合、複数QPオフセットは、少なくともピクチャレベルQPオフセットまたはスライスレベルQPオフセットを含む。いくつかの実施形態において、フィルタ処理のための閾値βおよびtCを決定するために使用される複数のQPオフセットは、第１ビデオ領域または第２ビデオ領域のうち少なくとも１つがJCCRコーディングモードを使用してコード化される場合、JCCRコーディングモードに対するQPオフセット値を含む。

いくつかの実施形態においては、ルマ成分の対応するブロックの情報が、第１ビデオ領域の第１量子化情報または第２ビデオ領域の第２量子化情報を決定するために使用される。いくつかの実施態様においては、クロマ成分のブロック内の現在クロマサンプルをフィルタリングするために、現在クロマサンプルに対応するルマサンプルをカバーするルマコージングユニットの情報を使用して、第１ビデオ領域についての第１量子化情報または第２ビデオ領域についての第２量子化情報を決定する。

いくつかの実施形態において、フィルタリングプロセスを適用するか否か、または、適用する方法は、ブロックに適用可能なスケーリングプロセスに基づいている。いくつかの実施態様において、閾値βおよびtCを決定するために使用される第１ビデオ領域の第１量子化情報または第２ビデオ領域の第２量子化情報は、スケーリングプロセスにおいて使用される量子化情報に基づいている。いくつかの実施形態において、１つ以上のコーディングユニットレベルQPオフセットが、スケーリングプロセスで使用される量子化情報を決定するために使用される。

いくつかの実施形態において、本方法の適用可能性は、ブロックがエッジの一方側にあるか、または、エッジの他方側にあるかに基づいている。いくつかの実施形態において、ルマ成分の対応するブロックの情報がフィルタリングプロセスに使用されるか否かは、ブロックの位置に基づいている。いくつかの実施形態において、ブロックがエッジの他方側にある場合、ルマ成分の対応するブロックの情報がフィルタリングプロセスに使用される。いくつかの実施形態において、ブロックがエッジの一方側にある場合、ルマ成分の対応するブロックの情報がフィルタリングプロセスに使用される。

図17は、本技術に従った、ビデオ処理の方法1700のフローチャート表現である。方法1700は、オペレーション1710において、ビデオの現在ブロックとビデオのビットストリーム表現との間の変換のために、ビデオユニットのレベルにおけるシンタックス要素に従って、現在ブロックに対するクロマ量子化パラメータ（QP）オフセットの使用をイネーブルするか否かを決定することを含む。ビデオユニットは、現在ブロックと、ビデオの第２ブロックとを含む。方法1700は、また、オペレーション1720において、決定に基づいて変換を実行することを含む。

いくつかの実施態様において、ビデオユニットは、スライスを含む。いくつかの実施形態において、ビデオユニットは、さらに、タイル、ブリック、またはサブピクチャを含む。

いくつかの実施形態において、シンタックス要素は、ビデオユニットのレベルでのビットストリーム表現に条件付きで（conditionally）含まれる。いくつかの実施形態において、シンタックス要素は、クロマ残差の結合コード化モードがイネーブルされるか否かに基づいて、ビットストリーム表現に条件付きで含まれる。いくつかの実施形態において、ブロックレベルでクロマ量子化パラメータ（QP）オフセットの使用を示すピクチャレベルでの第２シンタックス要素に基づいて、ビデオユニットのレベルでのビットストリーム表現にシンタックス要素が含まれる。いくつかの実施形態において、シンタックス要素は、ビットストリーム表現において省略され、そして、ブロックレベルでクロマ量子化パラメータ（QP）オフセットの使用は、ピクチャレベルでの第２シンタックス要素がブロックレベルでクロマ量子化パラメータ（QP）オフセットの使用がディセーブルされることを示す場合に、ディセーブルされるように決定される。いくつかの実施態様において、現在ブロックに対するクロマ量子化パラメータ(QP)オフセットの使用は、スライスレベルのシンタックス要素およびピクチャレベルの第２シンタックス要素の両方に基づいて決定される。

図18は、本技術に従った、ビデオ処理方法1800のフローチャート表現である。方法1800は、オペレーション1810において、第１クロマ成分および第２クロマ成分を含むビデオと、ビデオのビットストリーム表現との間で変換を実行することを含む。第１クロマ成分の第１クロマブロックおよび第２クロマ成分の第２クロマブロックの残差は、ルールに従って、コーディングモードを使用してビットストリーム表現において結合的にコード化される。このルールは、変換のための量子化パラメータ(QP)を導出する方法がコーディングモードから独立していることを規定する。いくつかの実施形態において、変換のためのQPは、ピクチャレベルまたはビットストリーム表現のスライスレベルで信号化されたQPオフセットに基づいて導出される。

図19は、本技術に従った、ビデオ処理方法1900のフローチャート表現である。方法1900は、オペレーション1910において、ビデオの第１ブロックと、ビデオのビットストリーム表現との間の変換を実行することを含む。ビデオは、複数の色成分のカラーフォーマットを有し、第１ブロックは、ビデオの第１色成分に関連付けられる。変換中に、少なくともいくつかのサンプルに対して、第１ブロックのエッジに沿って、デブロッキングフィルタリングプロセスが適用される。方法1900は、オペレーション1920において、ビデオの残りの色成分に関連するブロックと、ビデオのビットストリーム表現との間の後続の変換を実行することを含む。後続の変換の最中に、デブロッキングフィルタプロセスが、第１ブロックの変換と同じ方法で、各ブロックのエッジに沿って、少なくともいくつかのサンプルに対して適用される。

いくつかの実施態様において、カラーフォーマットは、4:4:4である。いくつかの実施態様において、カラーフォーマットは、赤－緑－青(RGB)色空間において4:4:4である。いくつかの実施態様において、カラーフォーマットは、4:2:2であり、デブロッキングフィルタプロセスは、垂直方向に適用される。いくつかの実施形態において、デブロッキングフィルタプロセスは、決定プロセス及び／又はフィルタリングプロセスを含む。

図20は、本技術に従った、ビデオ処理の方法2000のフローチャート表現である。方法2000は、オペレーション2010において、ビデオとビデオのビットストリーム表現との間の変換のために、ビデオの２つのブロック間の境界の境界強度を決定することを含む。境界強度は、２つのブロックのいずれか１つがクロマ残差の結合コーディング(JCCR)モードでコード化されるか否かに関係なく決定される。方法2000は、オペレーション2020において、決定に基づいて変換を実行することを含む。

いくつかの実施態様において、２つのブロックうちのブロックがJCCRモードでコード化される場合、そのブロックは、境界強度を決定するために、非JCCRモードでコード化されるものとして取り扱われる。いくつかの実施態様において、境界強度は、２つのブロックについてのJCCRの使用から独立して決定される。

図21は、本技術に従った、ビデオ処理の方法2100のフローチャート表現である。方法2100は、オペレーション2110において、ビデオとビデオのビットストリーム表現との間の変換のために、第１ブロックと第２ブロックとの間の境界の境界強度を決定することを含む。決定は、第１ブロックの情報を第２ブロックの対応する情報と比較することなく実行される。この情報は、参照ピクチャ、及び／又は、対応するブロックの動きベクトルの数を含み、境界強度は、デブロッキングフィルタリングプロセスが境界に適用可能か否かを決定するために使用される。方法2100は、また、オペレーション2120において、決定に基づいて変換を実行することも含む。

いくつかの実施態様において、境界強度は、第１ブロックの参照ピクチャが第２ブロックの参照ピクチャと異なる場合に、デブロッキングフィルタリングプロセスがディセーブルされることを示す。いくつかの実施形態において、境界強度は、第１ブロックの動きベクトルの数が第２ブロックの動きベクトルの数と異なる場合、デブロッキングフィルタリングプロセスがディセーブルされることを示す。

いくつかの実施形態において、境界強度は、第１ブロックの１つ以上の動きベクトルと第２ブロックの１つ以上の動きベクトルとの間の差が閾値以上である場合に1に設定され、閾値は整数である。いくつかの実施形態において、第１ブロックの１つ以上の動きベクトルはMVP[0]およびMVP[1]として示され、第２ブロックの１つ以上の動きベクトルはMVQ[0]およびMVQ[1]として示される。差異は、(Abs(MVP[0].x-MVQ[0].x)>Th||Abs(MVP[0].y-MVQ[0].y)>Th||Abs(MVP[1].x-MVQ[1].x)>Th)||Abs(MVP[1].y-MVQ[1].y)>Th)である場合に、閾値Th以上である。いくつかの実施形態において、差異は、(Abs(MVP[0].x-MVQ[0].x)>Th&&Abs(MVP[0].y-MVQ[0].y)>Th&&Abs(MVP[1].x-MVQ[1].x)>Th)&&Abs(MVP[1].y-MVQ[1].y)>Th)である場合に、閾値Th以上である。いくつかの実施形態において、差異は、(Abs(MVP[0].x-MVQ[0].x)>Th||Abs(MVP[0].y-MVQ[0].y)>Th)&&(Abs(MVP[1].x-MVQ[1].x)>Th)||Abs(MVP[1].y-MVQ[1].y)>Th)である場合に、閾値Th以上である。いくつかの実施形態において、差異は、(Abs(MVP[0].x-MVQ[0].x)>Th&&Abs(MVP[0].y-MVQ[0].y)>Th)||(Abs(MVP[1].x-MVQ[1].x)>Th)&&Abs(MVP[1].y-MVQ[1].y)>Th)である場合に、閾値Th以上である。いくつかの実施形態において、境界強度は、第１ブロックの動きベクトルと第２ブロックの動きベクトルとの差が閾値以下である場合に0に設定され、閾値は整数である。いくつかの実施態様において、閾値は4、8、または16である。いくつかの実施態様において、閾値は、ビデオの特性に基づいている。

いくつかの実施形態において、本方法の適用可能性は、条件に基づいて決定される。いくつかの実施形態において、本方法は、第１ブロックおよび第２ブロックが、イントラ予測モードでコード化されない場合に適用可能である。いくつかの実施態様において、本方法は、第１ブロックおよび第２ブロックが、ルマ成分に対して係数ゼロを有する場合に適用可能である。いくつかの実施形態において、本方法は、第１ブロックおよび第２ブロックが、結合されたインター／イントラ予測モードでコード化されない場合に適用可能である。いくつかの実施形態において、本方法は、第１ブロックおよび第２ブロックが、同じ予測モードでコード化され、同じ予測モードが、イントラブロックコピー予測モードまたはインター予測モードである場合に適用可能である。

図22は、本技術に従った、ビデオ処理の方法2200のフローチャート表現である。方法2200は、オペレーション2210において、ビデオのビデオブロックとビデオのビットストリーム表現との間の変換のために、ルールに従って、ビデオブロックにおいてデブロッキングフィルタを適用するために使用される量子化パラメータ（QP）を決定することを含む。本ルールは、変換の適用をスキップすることによってビデオブロックの残差（residue）がビットストリーム表現においてコード化される、変換スキップ(TS)モードを使用してビデオブロックがコード化される場合に、決定のために第１QPが使用されることを規定している。変換を適用した後でビデオブロックの残差がビットストリーム表現でコード化される非変換スキップモードを使用してビデオブロックがコード化される場合に、第１QPとは異なる第２QPが、決定のために使用される。方法2200は、また、オペレーション2220において、決定に基づいて変換を実行することも含む。

いくつかの実施形態において、ルマブロックの変換のために、ルマブロックに適用可能なフィルタリングプロセスは、ルマブロックのスケーリングプロセスに適用されるQPに基づいている。いくつかの実施形態において、フィルタリングプロセスがルマブロックに適用可能か否かを決定するために使用されるQPは、TSモードのクリッピング範囲に基づいて決定される。

図23は、本技術に従った、ビデオ処理の方法2300のフローチャート表現である。方法2300は、オペレーション2310において、ビデオのビデオブロックとビデオのビットストリーム表現との間の変換のために、ルールに従って、ビデオブロックのエッジの少なくとも一部のサンプルに対するデブロッキングフィルタリングプロセスの適用可能性を決定するための勾配（gradient）を決定することを含む。このルールは、勾配が決定される方法がビデオブロックのサイズから独立していることを規定する。方法2300は、また、オペレーション2320において、決定に基づいて変換を実行することも含む。

いくつかの実施形態において、デブロッキングフィルタリングプロセスがイネーブルされるか否かを決定する閾値は、異なる境界サイズを有するブロックに対して調整され、閾値は整数である。いくつかの実施形態において、閾値は、デブロッキングフィルタリングプロセスについて決定された量子化パラメータに基づいている。いくつかの実施態様において、大きい境界を有するブロックの閾値は、小さい境界を有するブロックの第２閾値より小さい。いくつかの実施態様において、大きい境界を有するブロックの閾値は、小さい境界を有するブロックの第２閾値より大きい。いくつかの実施態様において、大きい境界を有するブロックの閾値は、小さい境界を有するブロックの第２閾値に等しい。いくつかの実施態様において、閾値は、ビデオの特性に基づいている。

いくつかの実施形態において、上記の方法の１つ以上の適用可能性は、ビデオの特性に基づいている。いくつかの実施形態において、ビデオの特性は、ビデオのコンテンツを含む。いくつかの実施形態において、ビデオの特性は、デコーダパラメータセット、スライスパラメータセット、ビデオパラメータセット、ピクチャパラメータセット、適応パラメータセット、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大コーディングユニット（LCU）、コーディングユニット、LCU行、LCUのグループ、変換ユニット、ピクチャユニット、または、ビットストリーム表現におけるビデオコーディングユニット、において信号化される情報を含む。いくつかの実施態様において、ビデオの特性は、ビデオ内の、コーディングユニット、ピクチャユニット、変換ユニット、ブロック、またはビデオコーディングユニットの位置を含む。いくつかの実施態様において、ビデオの特性は、エッジに沿って少なくともいくつかのサンプルを含むブロックのコーディングモードを含む。いくつかの実施形態において、ビデオの特性は、エッジに沿って少なくともいくつかのサンプルを含むブロックに適用される変換マトリクスを含む。いくつかの実施形態において、現在ブロックまたは現在ブロックの隣接ブロックの特性は、現在ブロックのディメンションまたは現在ブロックの隣接ブロックのディメンションを含む。いくつかの実施形態において、現在ブロックまたは現在ブロックの隣接ブロックの特性は、現在ブロックの形状または現在ブロックの隣接ブロックの形状を含む。いくつかの実施形態において、ビデオの特性は、ビデオのカラーフォーマットの表示を含む。いくつかの実施形態において、ビデオの特性は、ビデオに適用可能な符号化ツリー構造を含む。いくつかの実施形態において、ビデオの特性は、ビデオのスライスタイプ、タイルグループタイプ、またはピクチャタイプを含む。いくつかの実施形態において、ビデオの特性は、ビデオの色成分を含む。いくつかの実施形態において、ビデオの特性は、ビデオの時間層識別子（temporal layer identifier）を含む。いくつかの実施形態において、ビデオの特性は、プロファイル、レベル、または、ビデオ規格の階層（tier）を含む。

いくつかの実施形態において、変換は、ビデオをビットストリーム表現へとエンコーディングすることを含む。いくつかの実施形態において、変換は、ビットストリーム表現をビデオへとデコーディングすることを含む。

図24は、本開示の技術を利用することができる例示的なビデオコーディングシステム100を示しているブロック図である。図24に示されるように、ビデオコーディングシステム100は、送信元デバイス（source device）110および宛先デバイス（destination device）120を含んでよい。送信元デバイス110は、エンコーディングされたビデオデータを生成し、ビデオコーディング装置として称されてよい。宛先デバイス120は、送信元デバイス110によって生成されたエンコーディングされたビデオデータを復号することができ、ビデオデコーディング装置として称されてよい。

送信元デバイス110は、ビデオソース112、ビデオエンコーダ114、および入力／出力（I/O）インターフェイス116を含むことができる。

ビデオソース112は、ビデオキャプチャ装置といったソース、ビデオコンテンツ・プロバイダからビデオデータを受信するためのインターフェイス、及び／又は、ビデオデータを生成するためのコンピュータグラフィックスシステム、または、そのようなソースの組み合わせを含んでよい。ビデオデータは、１つ以上の画像を含んでよい。ビデオエンコーダ114は、ビデオソース112からのビデオデータを符号化してビットストリームを生成する。ビットストリームは、ビデオデータのコード化表現を形成するビットのシーケンスを含んでよい。ビットストリームは、コード化された画像および関連するデータを含んでよい。コード化画像は、画像のコード化表現である。関連するデータは、シーケンスパラメータセット、画像パラメータセット、および、他のシンタックス構造を含んでよい。I/Oインターフェイス116は、変調器／復調器(モデム)及び／又は送信器を含んでよい。エンコーディングされたビデオデータは、ネットワーク130aを通じてI/Oインターフェイス116を介して宛先デバイス120に対して直接的に送信され得る。エンコーディングされたビデオデータは、また、宛先デバイス120によるアクセスのためにストレージ媒体／サーバ130b上にも保管され得る。

宛先デバイス120は、I/Oインターフェイス126、ビデオデコーダ124、および、ディスプレイ装置122を含んでよい。

I/Oインターフェイス126は、受信器及び／又はモデムを含んでよい。I/Oインターフェイス126は、送信元デバイス110またはストレージ媒体／サーバ130bからエンコーディングされたビデオデータを取得することができる。ビデオデコーダ124は、エンコーディングされたビデオデータをデコーディングすることができる。ディスプレイ装置122は、デコードされたビデオデータをユーザに表示することができる。ディスプレイ装置122は、宛先デバイス120と一体化されてよく、または、外部ディスプレイ装置とインターフェイスするように構成された宛先デバイス120の外部にあってよい。

ビデオエンコーダ114及びビデオデコーダ124は、高効率ビデオコーディング（HEVC）標準、汎用ビデオコーディング（VVM）標準、および、その他の現在の、かつ／あるいは、さらなる標準といった、ビデオ圧縮標準に従って動作し得る。

図25は、ビデオエンコーダ200の一つの例を示しているブロック図であり、それは、図24に示されるシステム100内のビデオエンコーダ114であってよい。

ビデオエンコーダ200は、本開示の技術のいずれかまたは全てを実行するように構成することができる。図25の例では、ビデオエンコーダ200は、複数の機能コンポーネントを含む。本開示に記載される技術は、ビデオエンコーダ200の種々のコンポーネント間で共有され得る。いくつかの例において、プロセッサは、本開示に記載される技術のいずれかまたは全てを実行するように構成されてもよい。

ビデオエンコーダ200の機能コンポーネントは、パーティション（partition）ユニット201、モード選択ユニット203、動作推定ユニット204、動作補償ユニット205、イントラ予測ユニット206、残差（residual）生成ユニット207、変換ユニット208、量子化ユニット209、逆量子化ユニット210、逆変換ユニット211、再構成ユニット212、バッファ213、および、エントロピー符号化ユニット214を含んでよい。

他の例では、ビデオエンコーダ200は、より多くの、より少ない、または、異なる機能コンポーネントを含み得る。一つの例では、予測ユニット202は、イントラブロックコピー（IBC）ユニットを含み得る。IBCユニットは、IBCモードで予測を実行することができ、そこでは、少なくとも１つの参照画像は、現在ビデオブロックが配置されている画像である。

さらに、動作推定ユニット204や動作補償ユニット205といった、いくつかのコンポーネントは、高度に統合されてもよいが、説明のために図25の例では別々に示されている。

パーティションユニット201は、画像を１つ以上のビデオブロックへと分割することができる。ビデオエンコーダ200およびビデオデコーダ300は、様々なビデオブロックサイズをサポートすることができる。

モード選択ユニット203は、例えば、エラー結果に基づいて、符号化モードのうちの１つ、イントラまたはインター、を選択することができ、そして、結果として生じるイントラまたはインターコード化ブロックを、残留ブロックデータを生成するために残差生成ユニット207に、かつ、参照画像として使用するためにコード化ブロックを再構成するように再構成ユニット212に提供することができる。いくつかの例では、モード選択ユニット203は、結合イントラおよびインター予測（CIIP）モードを選択することができ、そこでは、予測が、インター予測信号およびイントラ予測信号に基づいている。モード選択ユニット203は、また、インター予測の場合に、ブロックに対する運動ベクトルの解像度(例えば、サブピクセルまたは整数ピクセル精度)を選択することもできる。

現在ビデオブロックについてインター予測を実行するために、動作推定ユニット204は、バッファ213から現在ビデオブロックへの１つ以上の参照フレームを比較することによって、現在ビデオブロックの動作情報を生成することができる。動作補償ユニット205は、現在ビデオブロックに関連する画像以外のバッファ213からの画像の動作情報及びデコードされたサンプルに基づいて、現在ビデオブロックについて予測されるビデオブロックを決定することができる。

動作推定ユニット204および動作補償ユニット205は、例えば、現在ビデオブロックがIスライス内にあるか、Pスライス内にあるか、または、Bスライス内にあるかによって、現在ビデオブロックに対して異なる動作を実行することができる。

いくつかの例において、動作推定ユニット204は、現在ビデオブロックに対して単一方向の予測を実行することができ、動作推定ユニット204は、現在ビデオブロックに対する参照ビデオブロックについてリスト0またはリスト1の参照画像を検索することができる。動作推定ユニット204は、次いで、リスト0またはリスト1内の参照ピクチャを示している基準インデックスを生成することができる。参照ビデオブロック、および、現在ビデオブロックと参照ビデオブロックとの間の空間的変位を示す動きベクトルを含むものである。動作推定ユニット204は、現在ビデオブロックの動作情報として、基準インデックス、予測方向インジケータ、及び動きベクトルを出力することができる。動作補償ユニット205は、現在ビデオブロックの動作情報によって示される参照ビデオブロックに基づいて、現在ブロックの予測ビデオブロックを生成することができる。

他の例において、動作推定ユニット204は、現在ビデオブロックについて双方向予測を実行することができ、動作推定ユニット204は、リスト0内の参照ピクチャを現在ビデオブロックについての参照ビデオブロックについて検索することができ、リスト1内の参照ピクチャを現在ビデオブロックについての別の参照ビデオブロックについても検索することができる。動作推定ユニット204は、次いで、リスト0およびリスト1内の参照ピクチャを示す基準インデックスを生成することができる。参照ビデオブロック、および、現在ビデオブロックと参照ビデオブロックとの間の空間的変位を示す動きベクトルを含んでいるものである。動作推定ユニット204は、現在ビデオブロックの動作情報として、現在ビデオブロックの基準インデックス及び動きベクトルを出力することができる。動作補償ユニット205は、現在ビデオブロックの動作情報によって示される参照ビデオブロックに基づいて、現在ビデオブロックの予測ビデオブロックを生成することができる。

いくつかの例において、動作推定ユニット204は、デコーダの復号処理のための動作情報の全セットを出力することができる。

いくつかの例において、動作推定ユニット204は、現在のビデオに対する完全なセットの動作情報を出力しないことがある。むしろ、動作推定ユニット204は、他のビデオブロックの動作情報を参照して現在ビデオブロックの動作情報を信号化することができる。例えば、動作推定ユニット204は、現在ビデオブロックの動作情報が、隣接するビデオブロックの動作情報と十分に類似していると判断することができる。

一つの例において、動作推定ユニット204は、現在ビデオブロックに関連するシンタックス構造において、現在ビデオブロックが別のビデオブロックと同じ動作情報を有することをビデオデコーダ300に対して示す値を示すことができる。

別の例において、動作推定ユニット204は、現在ビデオブロックに関連するシンタックス構造において、別のビデオブロックおよび動きベクトル差（MVD）を識別することができる。動きベクトル差は、現在ビデオブロックの動きベクトルと、示されたビデオブロックの動きベクトルとの間の差を示している。ビデオデコーダ300は、示されたビデオブロックの動きベクトル、および、動きベクトル差を使用して、現在ビデオブロックの動きベクトルを決定することができる。

上述のように、ビデオエンコーダ200は、運動ベクトルを予測的に信号化することができる。ビデオエンコーダ200によって実現され得る予測信号化技術の２つの例は、高度な動きベクトル予測（AMVP）およびマージモード信号化を含む。

イントラ予測ユニット206は、現在ビデオブロックに対してイントラ予測を実行することができる。イントラ予測ユニット206が現在ビデオブロックに対してイントラ予測を行う場合、イントラ予測ユニット206は、同じピクチャ内の他のビデオブロックのデコードされたサンプルに基づいて、現在ビデオブロックに対する予測データを生成することができる。現在ビデオブロックに対する予測データは、予測されるビデオブロックおよび種々のシンタックス要素を含んでよい。

残差生成ユニット207は、現在ビデオブロックから現在ビデオブロックの予測ビデオブロックを差し引くことによって(例えば、マイナス記号によって示される)、現在ビデオブロックの残差データを生成することができる。現在ビデオブロックの残差データは、現在ビデオブロック内のサンプルの異なるサンプル成分に対応する、残差ビデオブロックを含んでよい。

他の例では、例えば、スキップモードにおいて、現在ビデオブロックについて現在ビデオブロックのための残差データが存在しないことがあり、残差生成ユニット207は減算動作を実行しないことがある。

変換処理ユニット208は、現在ビデオブロックに関連する残差ビデオブロックに対して１つ以上の変換を適用することによって、現在ビデオブロックのための１つ以上の変換係数ビデオブロックを生成することができる。

変換処理ユニット208が現在ビデオブロックに関連する変換係数ビデオブロックを生成した後で、量子化ユニット209は、現在ビデオブロックに関連する１つ以上の量子化パラメータ（QP）値に基づいて、現在ビデオブロックに関連する変換係数ビデオブロックを量子化することができる。

逆量子化ユニット210および逆変換ユニット211は、変換係数ビデオブロックから残差ビデオブロックを再構成するために、変換係数ビデオブロックに対して逆量子化および逆変換を、それぞれに、適用することができる。再構成ユニット212は、バッファ213内に保管するための現在ブロックに関連する再構成ビデオブロックを生成するために、予測ユニット202によって生成された１つ以上の予測ビデオブロックからの対応するサンプルに対して、再構成残差ビデオブロックを追加することができる。

再構成ユニット212がビデオブロックを再構成した後で、ループフィルタリング動作を実施して、ビデオブロック内のビデオブロッキングのアーチファクトを削減することができる。

エントロピー符号化ユニット214は、ビデオエンコーダ200の他の機能コンポーネントからデータを受信することができる。エントロピー符号化ユニット214がデータを受信すると、エントロピー符号化ユニット214は、エントロピー符号化データを生成し、かつ、エントロピー符号化データを含むビットストリームを出力するために、１つ以上のエントロピー符号化動作を実行することができる。

図26は、図24に示すシステム100内のビデオデコーダ114であり得る、ビデオデコーダ300の一つの例を示しているブロック図である。

ビデオデコーダ300は、本開示の技術のいずれか又は全てを実行するように構成することができる。図26の例では、ビデオデコーダ300は、複数の機能コンポーネントを含んでいる。本開示で説明される技術は、ビデオデコーダ300の種々のコンポーネント間で共有され得る。いくつかの例において、プロセッサは、本開示で説明される技術のいずれか又は全てを実行するように構成されてよい。

図26の例では、ビデオデコーダ300は、エントロピー復号化ユニット301、動作補償ユニット302、イントラ予測ユニット303、逆量子化ユニット304、逆変換ユニット305、再構成ユニット306、バッファ307を含んでいる。ビデオデコーダ300は、いくつかの例において、ビデオエンコーダ200(図25)に関して説明した符号化パスと概ね相対する（reciprocal）復号パスを実行することができる。

エントロピー復号化ユニット301は、符号化ビットストリームを検索することができる。符号化ビットストリームは、エントロピーエンコーディングされたビデオデータ(例えば、ビデオデータのコード化ブロック)を含み得る。エントロピー復号化ユニット301は、エントロピーエンコーディングされたビデオデータを復号することができ、そして、エントロピー復号化ビデオデータから、動作補償ユニット302は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、および、他の動作情報を含んでいる動作情報を決定することができる。動作補償ユニット302は、例えば、AMVP及びマージモードを実行することによって、そうした情報を決定することができる。

動作補償ユニット302は、動作補償ブロックを生成することができ、補償フィルタに基づいて補間をおそらく実行する。サブピクセル精度で使用される補間フィルタのための識別子は、シンタックス要素に含まれてよい。

動作補償ユニット302は、ビデオブロックの符号化の最中にビデオエンコーダ20によって使用される補間フィルタを使用して、参照ブロックのサブ整数ピクセルに対する補間値を計算することができる。動作補償ユニット302は、受信されたシンタックス情報に従って、ビデオエンコーダ200によって使用される補間フィルタを決定し、かつ、予測ブロックを生成するために補間フィルタを使用することができる。

動作補償ユニット302は、エンコーディングされたビデオシーケンスのフレーム及び／又はスライスを符号化するために使用されるブロックのサイズ、エンコーディングされたビデオシーケンスの画像の各マクロブロックがどのように分割されるかを記述する分割情報、各分割がどのように符号化されるかを示しているモード、各相互コード化ブロックに対する１つ以上の参照フレーム(および参照フレームリスト)、および、エンコーディングされたビデオシーケンスをデコーディングするための他の情報を決定するために、シンタックス情報のいくつかを使用することができる。

イントラ予測ユニット303は、例えば、ビットストリームで受信されたイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成することができる。逆量子化ユニット303は、ビットストリーム内で提供され、エントロピー復号化ユニット301によってデコーディングされる量子化ビデオブロック係数を逆量子化、すなわち、脱量子化（de-quantize）する。逆変換ユニット303は、逆変換を適用する。

再構成ユニット306は、残差ブロックを、動作補償ユニット202またはイントラ予測ユニット303によって生成された対応する予測ブロックと合算して、デコードされたブロックを形成することができる。所望であれば、ブロック性（blockiness）アーチファクトを除去するために、デコードされたブロックをフィルタリングするようにデブロックフィルタも、また、適用されてよい。デコードされたビデオブロックは、次いで、バッファ307に保管され、バッファ307は、後続の動作補償／イントラ予測のための参照ブロックを提供し、そして、ディスプレイ装置上に提示するためのデコードされたビデオも、また、生成する。

開示される技術のいくつかの実施形態は、ビデオ処理ツールまたはモードをイネーブルにする決定または判定を行うことを含む。一つの実施例において、ビデオ処理ツールまたはモードがイネーブルされている場合、エンコーダは、ビデオのブロックの処理においてツールまたはモードを使用または実装するが、ツールまたはモードの使用に基づいて、必ずしも結果として生じるビットストリームを修正しないことがある。すなわち、ビデオのブロックからビデオのビットストリーム表現への変換は、決定または判定に基づいてイネーブルにされたとき、ビデオ処理ツールまたはモードを使用する。別の実施例では、ビデオ処理ツールまたはモードがイネーブルされている場合、デコーダは、ビットストリームが、ビデオ処理ツールまたはモードに基づいて修正されたことを知って、ビットストリームを処理する。すなわち、ビデオのビットストリーム表現からビデオのブロックへの変換は、決定または判定に基づいてイネーブルされたビデオ処理ツールまたはモードを使用して実行される。

開示される技術のいくつかの実施形態は、ビデオ処理ツールまたはモードをディセーブルにする決定または判定を行うことを含む。一つの実施例において、ビデオ処理ツールまたはモードがディセーブルされている場合、エンコーダは、ビデオのブロックをビデオのビットストリーム表現に変換する際に、ツールまたはモードを使用しない。別の実施例では、ビデオ処理ツールまたはモードがディセーブルにされた場合、デコーダは、ビットストリームが、決定または判定に基づいてイネーブルにされたビデオ処理ツールまたはモードを使用して修正されていないことを知って、ビットストリームを処理する。

この特許文献で説明されている技術的事項（subject matter）の実装および機能動作は、ここにおいて開示されている構造およびそれらの構造的等価物を含む、種々のシステム、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、もしくはハードウェアにおいて、または、それらの１つ以上の組み合わせにおいて実施することができる。ここにおいて説明される技術的事項の実装は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置による、またはデータ処理装置の動作を制御するための、有形および非一時的なコンピュータ読取り可能な媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実装することができる。コンピュータ読取り可能な媒体は、マシンで読取り可能なストレージ装置、マシンで読取り可能なストレージ基板、メモリ装置、マシンで読取り可能な伝搬信号に影響を与える事項の組成、または、それらの１つ以上の組み合わせであり得る。用語「データ処理ユニット（“data processing unit”）」または「データ処理装置（“data processing apparatus”）」は、例えば、プログラマブルプロセッサ、コンピュータ、または、複数のプロセッサまたはコンピュータを含む、データを処理するための全ての装置、デバイス、およびマシンを包含する。装置は、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を生成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、または、それらの１つ以上の組み合わせを構成するコードを含み得る。

コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られるもの)は、コンパイルまたは解釈された言語を含む、任意の形態のプログラミング言語で書くことができる。そして、それは、スタンドアロンプログラムとして、または、コンピューティング環境での使用に適したモジュール、コンポーネント、サブルーチン、または他のユニットとしてを含む、任意の形態で展開することができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するものではない。プログラムは、他のプログラムまたはデータを保持するファイルの一部分(例えば、マークアップ言語文書に保管される１つ以上のスクリプト)、問題のプログラム専用の単一ファイル、または、複数の調整されたファイル(例えば、１つ以上のモジュール、サブプログラム、またはコードの一部分を保管するファイル)に保管することができる。コンピュータプログラムは、１つのコンピュータまたは１つのサイトに配置されるか、または、複数のサイトに分散され、通信ネットワークによって相互接続される複数のコンピュータ上で実行されるように展開され得る。

ここにおいて説明されるプロセスおよび論理フローは、入力データ上で動作し、出力を生成することによって機能を実行するために、１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって実行することができる。プロセスおよび論理フローは、また、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)のような特殊目的論理回路によって実行することができ、装置も、また、実行することができる。

コンピュータプログラムの実行に適したプロセッサは、例えば、汎用および専用マイクロプロセッサの両方、および、任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。一般的に、プロセッサは、読出し専用メモリまたはランダムアクセスメモリ、またはその両方から命令およびデータを受信する。コンピュータの必須要素は、命令を実行するためのプロセッサと、命令およびデータを保管するための１つ以上のメモリデバイスである。一般的に、コンピュータは、また、データを保管するための１つ以上の大容量ストレージ装置、例えば、磁気ディスク、光磁気ディスク、または光ディスクからデータを受信し、または、データを転送するために動作可能に結合される。しかし、コンピュータは、そのような装置を有する必要はない。コンピュータプログラム命令及びデータを保管するのに適したコンピュータ読取り可能な媒体は、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスを含む。例として、半導体メモリデバイス、例えば、EPROM、EEPROM、およびフラッシュメモリデバイス、磁気ディスク、例えば、内蔵ハードディスクまたはリムーバブルディスク、光磁気ディスク、例えば、CD ROMおよびDVD-ROM、を含んでいる。プロセッサおよびメモリは、特殊目的論理回路によって補足されるか、または内蔵され得る。

この特許文献には多くの詳細が含まれているが、これらは、いずれかの発明の範囲または特許請求されることができるものを限定するものではなく、特定の発明の特定の実施形態に特有な特徴の説明として解釈されるべきである。別個の実施形態のコンテキストでこの特許文献に記載されている特定の特徴は、単一の実施形態で組み合わせて実施することもできる。逆に、単一の実施形態のコンテキストにおいて説明される種々の特徴は、複数の実施形態において別々に、または、任意の適切なサブコンビネーションで実施することもできる。さらに、特徴は、特定の組み合わせにおいて作用するものとして上述され、最初にそのように請求されてよいが、請求された組み合わせからの１つ以上の特徴は、場合によって、組み合わせから切り出されてよく、請求された組み合わせは、サブコンビネーション又はサブコンビネーションのバリエーションに向けられてよい。

同様に、図面には特定の順序で動作が示されているが、これは、所望の結果を達成するために、このような動作を特定の順序で、または、連続的な順序で実行すること、もしくは、例示された全ての動作を実行することを要求するものとして理解されるべきではない。さらに、この特許文献において説明されている実施形態における種々のシステムコンポーネントの分離は、そうした分離を全ての実施形態において必要とするものとして理解されるべきではない。

少数の実施形態および実施例のみが記載されており、この特許文献に記載され、かつ、説明されている内容に基づいて、他の実施形態、拡張、およびバリエーションが行われ得る。

関連出願の相互参照
本出願は、2019年9月14日に出願された国際特許出願第PCT/CN2019/105831号の優先権および利益を主張する、2020年9月14日に出願された国際特許出願第PCT/US2020/050644号に基づくものである。上記の特許出願の全体は、参照により、本出願の開示の一部として組み込まれている。

Claims (22)

1. ビデオ処理の方法であって、
   ビデオのクロマ成分のブロックと、ビデオのビットストリーム表現との間の変換のために、ルールに従って、エッジの一方側にサンプルを含む第１ビデオ領域の第１量子化情報、及び／又は、エッジの他方側にサンプルを含む第２ビデオ領域の第２量子化情報に基づいて、ブロックのエッジに対してフィルタリングプロセスを適用するか否か、または、適用する方法を決定するステップであり、
   前記ルールは、前記エッジの一方側におけるサンプル、または、前記エッジの他方側におけるサンプルをコード化するために、前記ブロックに適用可能なコーディングモードに基づいており、かつ、
   前記ルールは、前記第１量子化情報または前記第２量子化情報を決定するために、異なるビデオユニットレベルで複数のＱＰオフセットが使用されることを規定している、
   ステップと、
   前記決定に基づいて、前記変換を実行するステップと、
   を含む、方法。
2. 前記異なるビデオユニットのレベルは、少なくとも、ピクチャレベル、スライスレベル、タイルレベル、ブリックレベル、またはサブピクチャレベル、を含む、
   請求項１に記載の方法。
3. 前記複数のＱＰオフセットは、前記ビデオのＣｂ成分に対するオフセットを含む、
   請求項１または２に記載の方法。
4. 前記複数のＱＰオフセットは、前記ビデオのＣｒ成分に対するオフセットを含む、
   請求項１または２に記載の方法。
5. 前記ルールは、前記複数のＱＰオフセットの選択が、前記コーディングモードに基づくことを規定している、
   請求項１乃至４いずれか一項に記載の方法。
6. 前記コーディングモードは、クロマ残差の結合コーディング（ＪＣＣＲ）コーディングモードを含む、
   請求項５に記載の方法。
7. 前記ブロックが前記ＪＣＣＲコーディングモードでコード化される場合、前記複数のＱＰオフセットは、少なくとも、ピクチャレベルＱＰオフセットまたはスライスレベルＱＰオフセット、を含む、
   請求項６に記載の方法。
8. 前記フィルタリングプロセスのための閾値βおよびｔＣを決定するために使用される前記複数のＱＰオフセットは、前記第１ビデオ領域または前記第２ビデオ領域のうち少なくとも１つが、前記ＪＣＣＲコーディングモードを使用してコード化される場合に、前記ＪＣＣＲコーディングモードに対するＱＰオフセット値を含む、
   請求項６に記載の方法。
9. 前記第１ビデオ領域の前記第１量子化情報または前記第２ビデオ領域の前記第２量子化情報を決定するために、ルマ成分の対応するブロックの情報が使用される、
   請求項１乃至８いずれか一項に記載の方法。
10. 前記クロマ成分のブロックにおける現在クロマサンプルのフィルタリングについて、前記第１ビデオ領域の前記第１量子化情報または前記第２ビデオ領域の前記第２量子化情報を決定するために、前記現在クロマサンプルに対応するルマサンプルをカバーするルマコーディングユニットの情報が使用される、
    請求項９に記載の方法。
11. 前記フィルタリングプロセスを適用するか否か、または、適用する方法は、前記ブロックに適用可能なスケーリングプロセスに基づいている、
    請求項１乃至１０いずれか一項に記載の方法。
12. 閾値βおよびｔＣを決定するために使用される前記第１ビデオ領域の前記第１量子化情報または前記第２ビデオ領域の前記第２量子化情報は、前記スケーリングプロセスにおいて使用される量子化情報に基づいている、
    請求項１１に記載の方法。
13. 前記スケーリングプロセスにおいて使用される量子化情報を決定するために、１つ以上のコーディングレベルＱＰオフセットが使用される、
    請求項１１または１２に記載の方法。
14. 前記方法の適用可能性は、前記ブロックが、前記エッジの一方側にあるか、または、前記エッジの他方側にあるかに基づいている、
    請求項１乃至１３いずれか一項に記載の方法。
15. 前記フィルタリングプロセスのために前記ルマ成分の対応するブロックの情報が使用されるか否かは、前記ブロックの位置に基づいている、
    請求項１４に記載の方法。
16. 前記ブロックが前記エッジの他方側にある場合、前記ルマ成分の対応するブロックの情報が、前記フィルタリングプロセスのために使用される、
    請求項１５に記載の方法。
17. 前記ブロックが前記エッジの一方側にある場合、前記ルマ成分の対応するブロックの情報が、前記フィルタリングプロセスのために使用される、
    請求項１５に記載の方法。
18. 前記変換は、前記ビデオを前記ビットストリーム表現へとエンコーディングすることを含む、
    請求項１乃至１７いずれか一項に記載の方法。
19. 前記変換は、前記ビットストリーム表現を前記ビデオへとデコーディングすることを含む、
    請求項１乃至１７いずれか一項に記載の方法。
20. 請求項１乃至１９いずれか一項に記載の方法を実施するように構成されたプロセッサを備える、ビデオ処理装置。
21. コードが保管されたコンピュータで読取り可能な媒体であって、
    前記コードは、プロセッサによって実行されると、請求項１乃至１９いずれか一項に記載の方法を前記プロセッサに実行させる、
    コンピュータで読取り可能な媒体。
22. 請求項１乃至１９いずれか一項に記載の方法に従って生成されたビットストリーム表現を保管する、コンピュータで読取り可能な媒体。

Images