JP2022533074A - ビデオコーディングのためのデブロッキングフィルタ - Google Patents
ビデオコーディングのためのデブロッキングフィルタ Download PDFInfo
- Publication number
- JP2022533074A JP2022533074A JP2021567799A JP2021567799A JP2022533074A JP 2022533074 A JP2022533074 A JP 2022533074A JP 2021567799 A JP2021567799 A JP 2021567799A JP 2021567799 A JP2021567799 A JP 2021567799A JP 2022533074 A JP2022533074 A JP 2022533074A
- Authority
- JP
- Japan
- Prior art keywords
- filter
- block
- video
- conversion
- video block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本出願は、パリ条約に基づく適用特許法及び/又は規則に基づいて2019年5月11日に出願された国際特許出願第PCT/CN2019/086488号の優先権及び利益を適時に主張するために行われる。法に基づくすべての目的のために、前述の出願の開示全体は、本出願の開示の一部として引用により援用される。
図1は、VVCのエンコーダブロック図の実施例を示し、3ループのフィルタブロック:デブロックフィルタ(DF)、サンプル適応オフセット(SAO)及びALFを含む。所定のフィルタを使用するDFと異なり、SAO及びALFが、現在画像のオリジナルサンプルを利用して、オフセットを加えることによって、また、フィルタ係数及びオフセットをシグナリングするコード化された追加情報(side information)のぞれぞれで有限インパルス応答(FIR)フィルタを適用することによって、オリジナルのサンプルと再構成されたサンプルとの間の平均二乗エラーを減少させる。ALFは、各画像の最終処理ステージに位置し、前のステージで生成されたアーチファクトを捕捉し修復しようとするツールと見なすことができる。
デブロッキングフィルタプロセスは、デコーディングプロセスと同じ順序で各CUに対して実行される。まず垂直エッジをフィルタリング(水平フィルタリング)し、次に水平エッジをフィルタリング(垂直フィルタリング)する。フィルタリングは、ルマコンポーネントとクロマコンポーネントの両方について、フィルタリングされると決定された8×8ブロック境界に適用される。4×4ブロック境界は、複雑さを低減するために処理されない。
フィルタリングプロセスには、CU境界、TU境界、PU境界の3種類の境界が含まれ得る。CUの外側エッジであるCU境界は、常にTU境界又はPU境界でもあるので、CU境界は常にフィルタリングに含まれる。PU形状が2N×N(N>4)でRQT深さが1に等しい場合、8×8ブロックグリッドにおけるTU境界とCU内部の各PU間のPU境界がフィルタリングに含まれる。例外の1つは、PU境界がTU内にある場合、その境界はフィルタリングされないことである。
図3は、Bs計算のためのフローチャートを示す。一般的に言えば、境界強度(Bs)は、境界に対してどの程度強いフィルタリングが必要であるかを反映する。Bsが大きい場合は、強力なフィルタリングを考慮すべきである。PとQをフィルタリングに関与するブロックとして定義すると、Pは境界の左側(垂直エッジの場合)又は上方(水平エッジの場合)に位置するブロック、Qは境界の右側(垂直エッジの場合)又は上方(水平エッジの場合)に位置するブロックを表す。図3は、イントラコーディングモード、非ゼロ変換係数及び動き情報の存在、参照画像、動きベクトルの数、及び動きベクトルの差に基づいてBs値がどのように計算されるかを示す。
弱フィルタリングプロセス、強フィルタ及び弱フィルタの選択、フィルタのオン/オフ決定、に関与する閾値βとtCは、それぞれ、QPP及びQPQ、P及びQブロックのルマ量子化パラメータに基づいて導出した。β及びtCを導くために用いたQは、次のように計算される。
Q=((QPP+QPQ+1)>>1)
図5は、フィルタのオン/オフ決定に関する画素の例を示す。なお、以下の説明では、pNMは垂直エッジに関してM行目における左側のN番目のサンプル、又は、水平エッジに関してM列目における上側のN番目のサンプルを表し、qNMは垂直エッジに関してM行目における右側のN番目のサンプル、又は、水平エッジに関してM列目における下側のN番目のサンプルを表す。pNM及びqNMの例を図5に示す。
フィルタをイネーブルにすることを決めるために第一の4ラインをチェックした後、以下の2つの条件が満たされれば、第一の4ラインのフィルタに強フィルタを使用する。それ以外の場合、フィルタリングに弱フィルタが使用される。関与する画素は、図5に示すように、フィルタのオン/オフ決定に使用される画素と同じである。
強フィルタリングについて、フィルタリングされた画素値は、以下の式によって得られる。3つの画素は、各P及びQブロックに対する入力としてそれぞれ4つの画素を用いて変更される(modified)ことに留意されたい。
クロマフィルタリングのBsはルマから引き継がれる。Bs>1であるか又はコード化されたクロマ係数が存在すれば、クロマフィルタリングが実行される。他のフィルタリングの決定はない。また、1つのフィルタだけがクロマに適用される。クロマに対してフィルタ選択プロセスは使用されない。フィルタされたサンプル値p0’及びq0’は、以下のように導出される。
現在のVTM、すなわちVTM-4.0では、JVET-M0471に記載されているデブロッキングスキームが使用される。画像の垂直エッジは、最初にフィルタリングされる。その後、画像の水平エッジは、入力として垂直エッジフィルタリングプロセスによって変更されたサンプルを用いてフィルタリングされる。各CTUのCTBの垂直エッジと水平エッジは、コーディング単位ベースで別々に処理される。コーディングユニット内のコーディングブロックの垂直エッジは、コーディングブロックの左側のエッジから開始して、幾何学的順序で、エッジを通って、コーディングブロックの右側に向かって進むようにフィルタリングされる。コーディングユニット内のコーディングブロックの水平エッジは、コーディングブロックの上部のエッジから始まって、その幾何学的順序で、エッジを通ってコード化ブロックの下部に向かって進無用にフィルタ負リングされる。
フィルタリングは、8×8ブロック境界に適用される。さらに、それは変換ブロック境界又はコーディングサブブロック境界でなければならない(例えば、アフィン動き予測、ATMVPの使用による)。このような境界ではない場合、フィルタはディセーブルになる。
変換ブロック境界/コーディングサブブロック境界について、8x8グリッドに位置すれば、フィルタリングされ得、bS[xDi][yDj](ここで、[xDi][yDj]は座標を示す)の設定は、このエッジに対して次のように定義される:
このサブセクションでは、デブロッキング決定プロセスについて記載する。
より強力なルマフィルタは、条件1、条件2、条件3のすべてがTRUEの場合にのみ使用される。
この条件は、P側とQ側のサンプルが、それぞれ変数bSidePisLargeBlkとbSideQisLargeBlkによって表されるラージブロックに属するかどうかを検出する。bSidePisLargeBlk及びbSideQisLargeBlkは以下のように定義される。
バイリニアフィルタは、境界の一側のサンプルがラージブロックに属する場合に使用される。ラージブロックに属するサンプルは、垂直エッジについては幅が32以上であり、水平エッジについては高さが32以上である場合に、定義される。バイリニアフィルタは、以下の通りである。
クロマ強フィルタ(chroma strong filters)をブロック境界の両側に使用する。ここで、クロマフィルタは、クロマエッジの両側が8(クロマ位置)以上の場合で、次の3つの条件を満たす場合に選択される:第一条件は、境界強度とラージブロックの決定のためのものである。提案のフィルタは、ブロックを直角に横切るブロック幅又は高さがクロマサンプルドメインにおいて8以上である場合に適用できる。第二及び第三条件は、基本的にHEVCルマデブロッキング決定と同じであり、オン/オフ決定及び強フィルタ決定である。
dがβ未満のとき、第二条件は真である。
位置依存クリッピングtcPDを、境界で7、5及び3サンプルを変更する強・長フィルタ(strong and long filters)を含むルマフィルタリングプロセスの出力サンプルに適用した。量子化誤差分布を仮定して、より高い量子化ノイズを有することが期待され、したがって、真のサンプル値から再構成されたサンプル値のより高い偏差を有することが期待されるサンプルに対して、クリッピング値を増加させることを提案した。
長フィルタとサブブロックの両方を使用した並列フレンドリデブロッキングをイネーブルにするには、長フィルタのルマ制御に示されるように、サブブロック・デブロッキング(AFFINE、ATMVP、又はDMVR)を使用する側で最大5つのサンプルを変更するように制限される。さらに、サブブロック・デブロッキングは、CU又は暗黙的TU境界(implicit TU boundary)に近い8x8グリッド上のサブブロック境界が、各側で最大2つのサンプルを変更するように制限されるように調整される。
水平エッジのフィルタリングは、水平エッジがCTU境界に整列される場合、ルマに対してはSp=3、クロマに対してはSp=1、Sq=1に制限される。
図6Aは、4×8及び8×4ブロックの分割の一例を示す。図6Bは、4×8、8×4及び4×4を除くすべてのブロックの分割の実施例を示す。
アフィン線形加重イントラ予測(ALWIP、別名マトリックスベースイントラ予測(MIP))は、JVET-N0217において提唱される。
隣接する参照サンプルは、まず、平均化を介してダウンサンプリングされ、低減参照信号(reduced reference signal)
(外1)
(以下、pred_redと記載する。)を生成する。その後、マトリックスベクトル積を計算し、オフセットを加えることによって、低減予測信号pred_redを計算する:
平均化、マトリックスベクトル乗算、及び線形補間の全プロセスは、図7A~7Dの異なる形状について示されている。残りの形状は、図示のケースの1つと同様に扱われることに留意されたい。
6.1 明示的マルチ変換集合(MTS)
VTM4では、64×64までのサイズの大きなブロックサイズの変換が可能であり、これは主に高解像度ビデオ、例えば1080p及び4Kシーケンスに有用である。高周波変換係数は、サイズ(幅又は高さ、又は幅及び高さの両方)が64に等しい変換ブロックに対してゼロ出力され、その結果、低周波係数のみが保持される。たとえば、M×N変換ブロックでは、Mをブロック幅、Nをブロック高さとして、Mが64に等しい場合、変換係数の左32列のみが保持される。同様に、Nが64に等しい場合、変換係数の上部32行のみが保持される。大きなブロックに対して変換スキップモードを使用した場合、値をゼロにすることなくブロック全体が使用される。
‐ 幅、高さとも32以下
‐ CBFフラグが1に等しい
ISP、SBT、及びMTSは有効であるが、暗黙的のシグナリング(implicit signaling)がある場合は、すべて暗黙的MTSとして取り扱われることに留意されたい。
8.7.4.1 全般
inclusitMtsEnabled変数は次のように導出される:
‐ sps_mts_enabled_flagが1に等しく、次の条件のいずれかが真の場合、inclusitMtsEnabledが1に設定される:
‐ IntraSubpartitionsSplitTypeがISP_NO_SPLITと等しくない
‐ cu_sbt_flagが1、Max(nTbW, nTbH)が32以下
‐ sps_explicit_mts_intr_enabled_flagとsps_explicit_mts_inter_enabled_flagは両方とも0であり、CuPredMode[xTbY][yTbY]はMODE_INTRAと等しい
‐ それ以外の場合は、inclusitMtsEnabledが0に設定される。
‐ cIdxが0より大きい場合、trTypeHor及びtrTypeVerは0に等しく設定される。
‐ それ以外の場合、implicitMtsEnabledが1に等しい場合、以下を適用する:
‐ IntraSubpartitionsSplitTypeがISP_NO_SPLITと等しくない場合、trTypeHor及びtrTypeVerは、intraPredModeに依存して表8-15に指定される。
‐ それ以外の場合で、cu_sbt_flagが1に等しい場合、trTypeHor及びtrTypeVerは、cu_sbt_horizontal_flag及びcu_sbt_pos_flagに依存して表8-14に指定される。
‐ それ以外の場合(sps_explicit_mts_intr_enabled_flag及びsps_explicit_mts_inter_enabled_flagが0に等しい)、trTypeHor及びtrTypeVerは以下のように導出される:
7.1 JEMにおける非分離二次変換(NSST:Non-Separable Secondary Transform)
図8は、JEMにおける二次変換の一例を示す。JEMでは、二次変換を順一次変換と量子化(エンコーダにおいて)との間、及び量子化解除(de-quantization)と逆一次変換(デコーダ側において)の間に適用する。図8に示すように、4×4(又は8×8)の二次変換が実行されるのは、ブロックサイズに依存する。例えば、4×4二次変換は小さなブロック(すなわち、min(width, height)<8)に適用され、8×8二次変換は、8×8ブロック毎のより大きなブロック(すなわち、min(width, height)>4)に適用される。
ここで
(外4)
(以下、F_ベクトルと記載する。)は変換係数ベクトルを表し、Tは16×16変換マトリックスとして計算される。16×1係数ベクトルF_ベクトルは、その後、そのブロックに対する走査順序(水平、垂直、又は対角)を使用して、4×4ブロックとして再編成される。より小さいインデックスを有する係数は、4×4係数ブロック内のより小さい走査インデックスに配置される。変換集合には合計35の変換セットがあり、変換セットあたり3の非分離可能変換行列(カーネル)が使用される。イントラ予測モードから変換セットへのマッピングは、予め定義される。各変換セットに対して、選択された非分離可能な二次変換(NSST:non-separable secondary transform)候補は、明示的にシグナリングされた二次変換インデックスによってさらに指定される。インデックスは、変換係数の後、イントラCU毎に一度ビットストリームでシグナリングされる。
図9は、開示された技術の実施例に基づく減少した第2の変換(RST)の一例を示す。RST(Low Frequency Non-Separable Transform(LFNST))はJVET-K0099に導入され、4変換セット(35変換セットに代えて)はJVET-L0133に導入された。このJVET-N0193では、16×48及び16×16マトリックスは、それぞれ8×8及び4×4ブロックに対して使用される。表記の便宜上、16×48変換はRST8x8、16×16変換はRST4x4と表記される。
RSTの選択は、以下のように定められる:
‐ 4*N又はN*4ブロック(N≦8)について、RST4x4を左上4*4CG(例えば、4x4、4x8、8x4)に適用する
‐ 4*N又はN*4ブロック(N>8)について、RST4x4を2つの隣接する左上4*4CG(例えば4x16、16x4等)に、2回適用する
‐ すべての他のケースについて、二次変換を左上3つの4*4CGに適用して、左上4x4CG及びゼロ係数を有する他の2つのCGを生成する。
cu_cbfが1に等しいインター予測CUに対して、cu_sbt_flagは、残差ブロック全体又は残差ブロックのサブ部分がデコードされるかどうかを示すためにシグナリングされ得る。前者の場合、CUの変換タイプを決定するために、イントラMTS情報がさらに解析される。後者の場合、残差ブロックの一部は推定適応変換でコード化され、残差ブロックの他の部分はゼロ出力される。SBTはコンバインド・インター・イントラモードには適用されない。
CbとCr残差は互いに反比例的に相関する(correlate inversely)ように見えるので、この現象を利用し、クロマ残差のジョイントコーディングのためのモードを導入することを提案した。このモードでは、変換ユニットの2つのクロマブロックに単一残差が示されている。示された残差は、第一チャネル(典型的にはCbを表す)の予測ブロックに加算され、第二チャネル(典型的にはCrを表す)の予測ブロックから差し引かれる。
この寄与は、サブブロックベースアフィン動き補償予測をオプティカルフローによって洗練化する方法を提案する。サブブロックベースアフィン動き補償が実行された後、予測サンプルは、オプティカルフローによる予測値洗練化(PROF:prediction refinement with optical flow)と称される、オプティカルフロー方程式によって導出される差分を加えることによって洗練化される。提案した方法は、メモリアクセス帯域幅を増加させることなく、画素レベルの粒度でインター予測を達成できる。
いくつかの既存の実装(例えば、現在のVVC/VTMデブロッキング設計)では、以下の問題が発生する:
本開示の技術の実施形態は、既存の実施形態の欠点を克服し、それにより、より高いコーディング効率を有するビデオ符号化を提供する。開示された技術に基づくデブロッキングフィルタリング(DB)の改良は、現存及び将来の両方のビデオコーディング標準を向上させることができ、種々の実装について説明される以下の実施例において解明される。以下に提供される開示された技術の例は、全般的概念を説明するものであり、限定的なものとして解釈されることを意図するものではない。
例において、明示的にそうでないと示されない限り、これらの実施例に記載された種々の特徴を組み合わせることができる。
P側又はQ側で実施したデブロッキンングは、それぞれP側又はQ側でのBS値に基づき得る。
を含む。
を含む。
コーディングスキームの決定は、予測サンプルが双方向オプティカルフロー(BDOF)内に位置するかどうかを識別することを含み、
インループフィルタの適用は、予測サンプルが双方向オプティカルフロー(BDOF)内に位置することを決定することに応答してイネーブルにされ、
さらに、インループフィルタは、BDOF内に位置しない予測サンプルに関連する他のインループフィルタよりも弱い強度を有する。
を含む。
を含む。
を含む。
本出願は、2020年5月11日に出願された国際出願PCT/CN2020/089557の国内段階であり、2019年5月11日に出願された国際特許出願第PCT/CN2019/086488号の優先権及び利益を適時に主張する。法に基づくすべての目的のために、前述の出願の開示全体は、本出願の開示の一部として引用により援用される。
Claims (28)
- ビジュアルメディア処理のための方法であって、
2つのビデオブロックの垂直エッジ及び/又は水平エッジにおける境界を識別するステップと、
垂直エッジ又は水平エッジを横切る前記2つのビデオブロックのうちの少なくとも1つに基づくフィルタの境界強度の計算は、コンバインド・インター・イントラ予測(CIIP)モードを用いてコード化されるステップと、
前記フィルタをオン又はオフにするべきかどうか決めるステップと、
前記フィルタをオンにする場合の前記フィルタの強度を選択するステップと、
前記選択に基づいて、前記ビデオブロックへのデブロッキングフィルタ(DB)プロセスを実行するステップと、
を含む方法。 - CIIPコード化ブロックは、前記境界強度の計算において、イントラコード化ブロックとして処理される、
請求項1記載の方法。 - 前記境界強度は、垂直又は水平エッジを横切る2つのビデオブロックのうちの少なくとも1つがCIIPでコード化される場合に、2として選択される、
請求項1記載の方法。 - 前記境界強度は、垂直又は水平エッジを横切る2つのブロックのうちの一方のみがCIIPでコード化され、他方のビデオブロックがインターコード化される場合に、1として選択される、
請求項1記載の方法。 - 前記境界強度は、垂直又は水平エッジを横切る2つのブロックのうちの1つのみがCIIPでコード化され、他方のビデオブロックがインター又はイントラブロックコピー(IBC)コード化される場合に、1として選択される、
請求項1記載の方法。 - ビジュアルメディア処理のための方法であって、
ビジュアルメディアデータのビデオブロックと前記ビデオブロックのビットストリーム表現との間のコンバートに適用可能なコーディングスキームを決定するステップと、
前記コーディングスキームの決定に基づいて、前記ビデオブロックのコンバート中に、前記ビデオブロックへのインループフィルタの適用を選択的にイネーブル又はディセーブルにするステップと、
を含む、方法。 - 前記インループフィルタは、デブロッキングフィルタ(DB)、サンプル適応オフセット(SAO)フィルタ、及び/又は適応ループフィルタのうちの1つを含む、
請求項6記載の方法。 - 前記コーディングスキームは、予測サンプル及び/又は動き情報及び/又は再構成サンプルを洗練化するためのオプティカルフローの使用を含む、
請求項6又は7記載の方法。 - 前記予測サンプルを洗練化するために前記オプティカルフローを使用する前記コーディングスキームは、双方向オプティカルフロー(BDOF)を含む、
請求項8記載の方法。 - 前記コーディングスキームの前記決定は、前記予測サンプルが前記双方向オプティカルフロー(BDOF)内に位置するかどうかを識別することを含み、
前記予測サンプルが前記双方向オプティカルフロー(BDOF)内に位置するという決定に応答して、前記インループフィルタの前記適用をディセーブルにする、
請求項9記載の方法。 - 前記インループフィルタの境界強度及び/又はフィルタ強度のうちの少なくとも1つは、前記双方向オプティカルフロー(BDOF)の使用に基づいて決定される、
請求項10記載の方法。 - 前記コーディングスキームの前記決定は、前記予測サンプルが前記双方向オプティカルフロー(BDOF)内に位置するかどうかを識別することを含み、
前記インループフィルタの前記適用は、前記予測サンプルが前記双方向オプティカルフロー(BDOF)内に位置すると決定することに応答してイネーブルにされ、
さらに、前記インループフィルタは、前記BDOF内に位置しない予測サンプルに関連する他のインループフィルタよりも弱い強度を有する、
請求項9記載の方法。 - ビジュアルメディア処理のための方法であって、
ビジュアルメディアデータのビデオブロックと前記ビデオブロックのビットストリーム表現との間のコンバートに適用可能な変換マトリックスのタイプを決定するステップと、
前記変換マトリックスのタイプの前記決定に基づいて、前記ビデオブロックのコンバート中に、前記ビデオブロックへのデブロッキングフィルタ(DBフィルタ)プロセスの適用を選択的にイネーブル又はディセーブルにするステップと、
を含む、方法。 - 前記変換マトリックスのタイプは、DCT-II、DST-VII、DCT-VIII及び/又は変換スキップモードを含む、
請求項13記載の方法。 - デブロッキングフィルタリングプロセスの前記適用は、クリッピング動作をさらに含む、
請求項13又は14記載の方法。 - 前記クリッピング動作は、前記DBフィルタに関して前記ビデオブロックのサンプルの位置に基づいて、位置依存する、
請求項15記載の方法。 - 前記クリッピング動作は、変換スキップコード化ビデオブロック内に位置するサンプルに対して、ディセーブルである、
請求項16記載の方法。 - 前記デブロッキングフィルタ(DBフィルタ)プロセスは、変換スキップコード化ブロック上で、又は、前記ビデオブロックのコーディングが変換ベースコーディング技術から免除されているという決定に応じて、ディセーブルである、
請求項17記載の方法。 - 前記変換ベースコーディング技術は、残差差分パルスコード変調(RDPCM)又は量子化残差差分パルスコード変調(QR-BDPCM)を含む、
請求項18記載の方法。 - 前記DBフィルタプロセスがサンプルのセット上でイネーブルである場合、前記セットに含まれる全てのサンプルは、前記クリッピング動作の同じパラメータに付される、
請求項15記載の方法。 - 位置依存のクリッピング動作のパラメータは、前記コンバートに適用できる変換マトリックスの基底関数に関連する、
請求項16記載の方法。 - ビジュアルメディア処理のための方法であって、
ビジュアルメディアデータのビデオブロックと前記ビデオブロックのビットストリーム表現との間のコンバート中に、
前記ビデオブロックへのインループフィルタリングステップの適用を決定するステップであって、
前記インループフィルタリングステップは、フィルタされるべき前記ビデオブロック内のサンプルに適用されるクリッピング動作を含む、ステップと、
前記ビデオブロックに関連する1つ以上の条件を決定することに応答して、前記クリッピング動作を選択的にイネーブル又はディセーブルにするステップと、
を含む方法。 - 前記ビデオブロックに関係する前記1つ以上の条件は、
(a)前記ビデオブロックの内容、又は、
(b)シーケンスパラメータセット(SPS)/ビデオパラメータセット(VPS)/画像パラメータ一セット(PPS)/画像ヘッダ/スライスヘッダ/タイルグループヘッダ/最大コーディングユニット(LCU)/コーディングユニット(CU)/LCU列/LCUグループに含まれるフィールド、
を含む、請求項22記載の方法。 - 前記コンバートは、ビデオブロックからビットストリーム表現を生成するステップを含む、
請求項1乃至23いずれか1項記載の方法。 - 前記コンバートは、前記ビットストリーム表現からビデオブロックの画素値を生成するステップを含む、
請求項1乃至23いずれか1項記載の方法。 - 請求項1乃至23いずれか1項記載の方法を実装するように構成されたプロセッサを含むビデオエンコーダ装置。
- 請求項1乃至23いずれか1項記載の方法を実装するように構成されたプロセッサを含むビデオデコーダ装置。
- 格納されたコードを有するコンピュータ可読媒体であって、
前記コードは、請求項1乃至23いずれか1項記載の方法を、プロセッサによって実装するために、プロセッサ実行可能命令を実施する、
コンピュータ可読媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023071920A JP2023103284A (ja) | 2019-05-11 | 2023-04-26 | ビデオコーディングのためのデブロッキングフィルタ |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNPCT/CN2019/086488 | 2019-05-11 | ||
CN2019086488 | 2019-05-11 | ||
PCT/CN2020/089557 WO2020228661A1 (en) | 2019-05-11 | 2020-05-11 | Deblocking filter for video coding |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023071920A Division JP2023103284A (ja) | 2019-05-11 | 2023-04-26 | ビデオコーディングのためのデブロッキングフィルタ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022533074A true JP2022533074A (ja) | 2022-07-21 |
JP7271723B2 JP7271723B2 (ja) | 2023-05-11 |
Family
ID=73289773
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021567799A Active JP7271723B2 (ja) | 2019-05-11 | 2020-05-11 | ビデオコーディングのためのデブロッキングフィルタ |
JP2023071920A Pending JP2023103284A (ja) | 2019-05-11 | 2023-04-26 | ビデオコーディングのためのデブロッキングフィルタ |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023071920A Pending JP2023103284A (ja) | 2019-05-11 | 2023-04-26 | ビデオコーディングのためのデブロッキングフィルタ |
Country Status (6)
Country | Link |
---|---|
US (2) | US20220070454A1 (ja) |
EP (1) | EP3954128A4 (ja) |
JP (2) | JP7271723B2 (ja) |
KR (1) | KR20220006054A (ja) |
CN (2) | CN113812163B (ja) |
WO (1) | WO2020228661A1 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020114513A1 (en) * | 2018-12-07 | 2020-06-11 | Huawei Technologies Co., Ltd. | An encoder, a decoder and corresponding methods of boundary strength derivation of deblocking filter |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9001899B2 (en) * | 2006-09-15 | 2015-04-07 | Freescale Semiconductor, Inc. | Video information processing system with selective chroma deblock filtering |
US8787443B2 (en) * | 2010-10-05 | 2014-07-22 | Microsoft Corporation | Content adaptive deblocking during video encoding and decoding |
CN103404147B (zh) * | 2011-03-10 | 2016-08-31 | 联发科技(新加坡)私人有限公司 | 去区块滤波器方法及装置 |
US9167269B2 (en) * | 2011-10-25 | 2015-10-20 | Qualcomm Incorporated | Determining boundary strength values for deblocking filtering for video coding |
EP2742691B1 (en) * | 2011-10-31 | 2018-08-29 | HFI Innovation Inc. | Method and apparatus of deblocking filter with simplified boundary strength decision |
KR20130090465A (ko) * | 2012-02-06 | 2013-08-14 | 삼성전자주식회사 | 순차 주사 기반의 디블록킹 필터링 장치 및 방법 |
CN103491373B (zh) * | 2013-09-06 | 2018-04-27 | 复旦大学 | 一种适用于hevc标准的去方块滤波器的四级流水滤波方法 |
JP2015144423A (ja) * | 2013-12-25 | 2015-08-06 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 画像符号化装置、画像復号化装置、それらの方法、プログラム及び画像処理システム |
AU2014202921B2 (en) * | 2014-05-29 | 2017-02-02 | Canon Kabushiki Kaisha | Method, apparatus and system for de-blocking a block of video samples |
EP3178228B1 (en) * | 2014-09-15 | 2023-10-04 | HFI Innovation Inc. | Method of deblocking for intra block copy in video coding |
CN113473120A (zh) * | 2015-06-11 | 2021-10-01 | 英迪股份有限公司 | 使用自适应去块滤波编码和解码图像的方法及其装置 |
CN116320494A (zh) * | 2016-11-28 | 2023-06-23 | 韩国电子通信研究院 | 用于滤波的方法和装置 |
WO2018180841A1 (en) * | 2017-03-29 | 2018-10-04 | Sharp Kabushiki Kaisha | Systems and methods for filtering reconstructed video data using bilateral filtering techniques |
CN107172423B (zh) * | 2017-03-31 | 2018-08-21 | 武汉斗鱼网络科技有限公司 | 一种对视频帧进行滤波的方法及装置 |
US11477446B2 (en) * | 2018-01-08 | 2022-10-18 | Samsung Electronics Co., Ltd. | Encoding method and apparatus therefor, and decoding method and apparatus therefor |
WO2019243498A1 (en) * | 2018-06-21 | 2019-12-26 | Telefonaktiebolaget Lm Ericsson (Publ) | Deblocking of video picture boundaries |
-
2020
- 2020-05-11 WO PCT/CN2020/089557 patent/WO2020228661A1/en unknown
- 2020-05-11 EP EP20805536.8A patent/EP3954128A4/en active Pending
- 2020-05-11 JP JP2021567799A patent/JP7271723B2/ja active Active
- 2020-05-11 CN CN202080035421.1A patent/CN113812163B/zh active Active
- 2020-05-11 KR KR1020217035465A patent/KR20220006054A/ko unknown
- 2020-05-11 CN CN202211386673.6A patent/CN117176969A/zh active Pending
-
2021
- 2021-11-10 US US17/523,131 patent/US20220070454A1/en active Granted
-
2022
- 2022-09-28 US US17/954,905 patent/US20230032798A1/en active Pending
-
2023
- 2023-04-26 JP JP2023071920A patent/JP2023103284A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020114513A1 (en) * | 2018-12-07 | 2020-06-11 | Huawei Technologies Co., Ltd. | An encoder, a decoder and corresponding methods of boundary strength derivation of deblocking filter |
Non-Patent Citations (3)
Title |
---|
BIAO WANG, ET AL.: "CE10-related: modification for blocks applied with combined inter-intra prediction", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-M0294, JPN6022048648, January 2019 (2019-01-01), pages 1 - 6, ISSN: 0004921426 * |
JIANLE CHEN, YAN YE, SEUNG HWAN KIM: "Algorithm description for Versatile Video Coding and Test Model 4 (VTM 4)", OINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-M1002-v2, JPN6022048647, 19 March 2019 (2019-03-19), pages 51 - 54, ISSN: 0004921427 * |
K. ANDERSSON, ET AL.: "Deblocking for multi-hypothesis intra inter prediction", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-M0103-v1, JPN6022048649, December 2018 (2018-12-01), pages 1 - 5, ISSN: 0004921428 * |
Also Published As
Publication number | Publication date |
---|---|
EP3954128A4 (en) | 2022-06-15 |
CN113812163B (zh) | 2022-11-25 |
WO2020228661A1 (en) | 2020-11-19 |
EP3954128A1 (en) | 2022-02-16 |
JP7271723B2 (ja) | 2023-05-11 |
JP2023103284A (ja) | 2023-07-26 |
CN113812163A (zh) | 2021-12-17 |
US20220070454A1 (en) | 2022-03-03 |
US20230032798A1 (en) | 2023-02-02 |
CN117176969A (zh) | 2023-12-05 |
KR20220006054A (ko) | 2022-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7267461B2 (ja) | ビデオ・データ処理方法、装置、記憶媒体及び記憶方法 | |
JP7422858B2 (ja) | ビデオ処理方法、装置、記憶媒体及び記憶方法 | |
KR102325395B1 (ko) | 비디오 코딩 방법 및 장치 | |
JP7277616B2 (ja) | ビデオ・データを処理する方法、装置及び記憶媒体 | |
KR20220073745A (ko) | 비디오 처리에서 크로마 잔차 및 필터링의 공동 코딩 | |
JP2022533190A (ja) | アップサンプリングを使用した行列ベースのイントラ予測 | |
WO2021051046A1 (en) | Quantization parameter for chroma deblocking filtering | |
JP2022529055A (ja) | 符号化映像における二次変換の使用 | |
CN114651442A (zh) | 视频编解码中的跨分量适应性回路滤波 | |
JP2022545276A (ja) | コーディングブロック又はサブブロック境界でのデブロッキングフィルタリング | |
CN114041285B (zh) | 视频处理中去方块滤波器的边界强度确定 | |
JP7271723B2 (ja) | ビデオコーディングのためのデブロッキングフィルタ | |
CN113906763B (zh) | 用于视频编解码的色度去方块协调 | |
CN113728631B (zh) | 帧内子块分割和多变换选择 | |
CN114503597A (zh) | 视频编解码中的色度去方块 | |
CN118077197A (en) | Combining deblocking filtering and another filtering for video encoding and/or decoding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211111 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230426 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7271723 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |