JP2022528051A - ビデオ処理における非線形適応ループフィルタリング - Google Patents
ビデオ処理における非線形適応ループフィルタリング Download PDFInfo
- Publication number
- JP2022528051A JP2022528051A JP2021556952A JP2021556952A JP2022528051A JP 2022528051 A JP2022528051 A JP 2022528051A JP 2021556952 A JP2021556952 A JP 2021556952A JP 2021556952 A JP2021556952 A JP 2021556952A JP 2022528051 A JP2022528051 A JP 2022528051A
- Authority
- JP
- Japan
- Prior art keywords
- video
- clipping
- video unit
- unit
- bit depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
Description
パリ条約に基づく適用特許法及び/又は規則に基づき、本出願は、2019年3月24日に出願された国際特許出願第PCT/CN2019/079395号の優先権及び利益を適時に主張するように行われるものである。法に基づく全ての目的のために、前述の出願の開示全体が、本出願の開示の一部として引用により援用されている。
色空間(color space)、カラーモデル(または、カラーシステム)としても知られているものは、色の範囲を数字のタプル(tuple)として、典型的には、3個または4個の値、もしくは、色成分(例えば、RGB)として、簡単に記述する抽象的な数学モデルである。基本的に言えば、色空間は、座標系とサブ空間の精緻化(elaboration)である。
3個のY'CbCr成分それぞれは、同じサンプルレートを有するので、クロマサブサンプリングは存在しない。このスキームは、ときどき、ハイエンドのフィルムスキャナおよび映画のポストプロダクションにおいて使用されている。
2個のクロマ成分はルマのサンプルレートの半分でサンプリングされる。例えば、水平クロマ解像度が半分になる。このことは、視覚的な差異がほとんどないか全くない状態で非圧縮ビデオ信号の帯域幅を3分の1に低減する。
4:2:0において、水平方向のサンプリングは4:1:1に比べて2倍になるが、このスキームにおいてはCbおよびCrチャンネルが各代替ラインでのみサンプリングされるため、垂直方向の解像度は半分になる。従って、データレートは同じである。CbとCrは、それぞれ水平方向と垂直方向の2倍でサブサンプリングされる。4:2:0スキームの3つのバリエーションが存在し、異なる水平および垂直位置(sitting)を有している。
図1は、一つの例示的なVCのCエンコーダブロック図を示している。図1に示されるように、ビデオ符号化のフローは、イントラ予測、及び/又は、動き推定/動き補償(motion estimation/motion compensation、ME/MC)を受ける、入力ビデオを用いて開始し得る。これらの動作(operation)は、ビデオの以前にコード化された部分の再構成されたコピーからのフィードバックを使用する。イントラ予測及び/又はME/MCの出力は、変換演算(T)を通じて差動的に処理され、量子化動作(Q)が後に続き、出力コード化表現へとエントロピー符号化(entropy coded)される。フィードバックループにおいて、コード化表現(Qブロックの出力)は、逆量子化演算(IQ)、続いて逆変換演算を経て、符号化されたビデオブロックの再構成サンプルを生成することができる。
JEMでは、ブロックベースフィルタ適応を有する幾何学的変換ベースの適応ループフィルタ(GALF)が適用される。ルマ成分では、ローカルグラデーションの方向とアクティビティに基づいて、2×2ブロックごとに25個のフィルタのうちの1つが選択される。
JEMでは、ルマ成分に対して、最大3個のダイヤモンドフィルタ形状を(5×5ダイヤモンド、7×7ダイヤモンド、および9×9ダイヤモンドについて、それぞれ図2A、2B、および2Cに示されるように)選択することができる。インデックスは、ルマ成分について使用されるフィルタの形状を示すために、画像レベルで信号化される。画像におけるクロマ成分については、5×5のダイヤモンド形状が常に使用される。
各ブロックは、25個のクラスのうち1つへと分類される。分類インデックスCは、その方向性(directionality)Dと活動の量子化値A^に基づいて、次のように導出される。
C=5D+A^ (1)
DおよびA^を計算するために、水平方向、垂直方向、および2つの対角方向の勾配(gradients)が、1-Dラプラシアン(Laplacian)使用して、まず、計算される。
インデックスiおよびjは2×2ブロック内の左上のサンプルの座標を指し、そして、r(i,j)は座標(I,j)における再構成されたサンプルを示している。
次に、水平方向と垂直方向の勾配の最大値と最小値Dが次のように設定される。
gh,v max=max(gh,gv)、gh,v min=min(gh,gv) (6)
そして、2つの対角方向の勾配の最大値と最小値が次のように設定される。
gd0,d1 max=max(gd0,gd1)、gd0,d1 min=min(gd0,gd1) (7)
方向性Dの値を導出するために、これらの値が相互に、および、2個の閾値t1およびt2を用いて比較される。
ステップ1.gh,v max≦t1・gh,v min、かつ、gd0,d1 max≦t1・gd0,d1 minが真である場合に、Dは0に設定される。
ステップ2.gh,v max/gh,v min>gd0,d1 max/gd0,d1 minである場合には、ステップ3から継続し、そうでなければ、ステップ4から継続する。
ステップ3.gh,v max>t2・gh,v minである場合に、Dは2に設定され、そうでなければ、Dは1に設定される。
ステップ4.gd0,d1 max>t2・gd0,d1 minである場合に、Dは4に設定され、そうでなければ、Dは3に設定される。活性値(activity value)Aは、次のように計算される。
Aは、包括的に、さらに0から4の範囲に量子化され、そして、量子化された値はA^として示される。画像内の両方のクロマ成分について、分類方法は適用されない。すなわち、各クロマ成分に対してALF係数の単一セットが適用される。
各2×2ブロックをフィルタリングする前に、そのブロックについて計算された勾配値に応じて、回転、または、対角および垂直フリッピング(flipping)といった幾何学的変換が、フィルタ係数f(k,l)に対して適用される。これは、フィルタ支持領域(support region)内のサンプルに対してこれらの変換を適用することと等価である。このアイデアは、ALFが適用される異なるブロックを、それらの方向性を整列させることによって、より類似させることである。
対角線(Diagonal) :fD(k,l)=f(l,k)、
垂直反転(Vertical flip):fV(k,l)=f(k,K-l-1)、
回転(Rotation) :fR(k,l)=f(K-l-,k)
(9)
JEMにおいて、GALFフィルタパラメータは、第1CTU、すなわち、スライスヘッダの後で、かつ、第1CTUのSAOパラメータの前に信号化される。最大25セットのルマフィルタ係数がシグナル化され得る。ビットオーバーヘッドを低減するために、異なる分類のフィルタ係数をマージすることができる。また、参照画像のGALF係数が保管され、そして、現在画像のGALF係数として再利用される。現在画像は、参照画像のために保管されたGALF係数を使用し、GALF係数信号をバイパスすることを選択することができる。この場合、参照画像の1つへのインデックスのみが符号化され、示された参照画像の保管されたGALF係数が現在画像に対して継承される。
デコーダ側では、ブロックについてGALFがイネーブル(enabled)されると、ブロック内の各サンプルR(i,j)がフィルタリングされ、以下に示されるようにサンプル値R’(i,j)を結果として生じる。ここで、Lはフィルタ長を表し、fm,nはフィルタ係数を表し、そして、f(k,l)は復号されたフィルタ係数を表す。
GALFについて全体的なエンコーダ決定プロセスが図3に示されている。各CUのルマサンプルについて、エンコーダは、GALFが適用されるか否かを決定し、そして、適切な信号フラグがスライスヘッダに含まれる。クロマサンプルについて、フィルタを適用するか否かの決定は、CUレベルではなく、画像レベルに基づいて行われる。さらに、画像のクロマGALFは、画像についてルマGALFがイネーブルされている場合にだけチェックされる。
VVCにおけるGALFの現在の設計は、JEMにおけるものと比較して、以下の主要な変化を有している。
1)適応フィルタの形状が除去される。ルマ成分については7×7のフィルタ形状だけが許可され、かつ、クロマ成分については5×5のフィルタ形状が許可される。
2)ALFパラメータの時間的予測および固定フィルタからの予測は、両方とも除去される。
3)各CTUに対して、ALFがイネーブルまたはディセーブルであろうとも、1ビットのフラグが信号化される。
4)分類インデックスの計算は、2×2ではなく、4×4レベルで行われる。加えて、JVET-L0147で提案されるように、ALF分類のためのサブサンプル・ラプラシアン計算法が利用される。より具体的には、1つのブロック内の各サンプルについて、水平/垂直/対角/135度勾配を計算する必要はない。代わりに、1:2サブサンプリングが利用される。
ALFは、ループ内フィルタリングの最終段階である。このプロセスには、2つの段階(stages)がある。第1段階はフィルタ係数の導出である。フィルタ係数を訓練(train)するために、エンコーダは、ルマ成分の再構成されたピクセルを16領域へと分類し、そして、1セットのフィルタ係数が、各カテゴリについて、ウィナー-ホップ(wiener-hopf)方程式を使用し訓練され、元のフレームと再構成されたフレームとの間の平均二乗誤差を最小化する。これら16セットのフィルタ係数の間の冗長性を低減するために、エンコーダは、レート歪み性能(rate-distortion performance)に基づいて、それらを適応的にマージする。最大で、ルマ成分について16個の異なるフィルタセットが割り当てられ、そして、クロマ成分については1個だけが割り当てられ得る。第2段階は、フレームレベルおよびLCUレベルの両方を含む、フィルタ決定である。最初に、エンコーダは、フレームレベル適応ループフィルタリングが実行されるか否かを決定する。フレームレベルALFがオンである場合には、エンコーダは、さらに、LCUレベルALFが実行されるか否かを決定する。
AVS-2で採用されるフィルタ形状は、ルマ成分とクロマ成分の両方について図5にちょうど示されるように、3×3の正方形を重ね合わせた7×7の十字形である。図5における各正方形は、サンプルに対応している。従って、位置C8のサンプルに対するフィルタ値を導出するために、合計17個のサンプルが使用される。係数を伝送するオーバヘッドを考慮して、点対称フィルタを、残された9個の係数{C0,C1,...,C8}だけに使用され、フィルタリングにおける乗算の数と同様に、フィルタ係数の数を半分まで削減する。点対称フィルタは、また、1つのフィルタリングされたサンプルに対する計算の半分を低減することができる。例えば、1つのフィルタリングされたサンプルについて9個の乗算および14個の加算だけである。
異なる符号化誤差を適応させるために、AVS-2は、ルマ成分について領域ベースの複数適応ループフィルタを採用する。ルマ成分は、ほぼ等しいサイズの16個の基本領域に分割され、そこで、各基本領域は、図6に示されるように、最大符号化ユニット(largest coding unit、LCU)の境界と整列され、そして、各領域について1つのウィナーフィルタが導出される。より多くのフィルタを使用すると、より多くの歪みが低減されるが、これらの係数を符号化するために使用されるビットは、フィルタの数と共に増加する。最善のレート歪み性能を達成するために、これらの領域は、同じフィルタ係数を共有する、より少ない、より大きな領域へとマージすることができる。マージプロセスを単純化するために、画像の以前の相関に基づく修正ヒルベルト(Hilbert)順序に従って、各領域にインデックスを割り当てる。連続したインデックスを持つ2つの領域は、レート歪みコストに基づいてマージされ得る。
複数のスイッチフラグも、また、使用される。シーケンススイッチフラグ、adptive_loop_filter_enableは、適応ループフィルタがシーケンス全体について適用されるか否かを制御するために使用される。画像スイッチフラグ、picture_alf_enble[i]は、対応するi番目の画像コンポーネントについてALFが適用されるか否かを制御する。picture_alf_enble[i]が有効になっている場合にのみ、対応するLCUレベルのフラグ、および、その色成分のフィルタ係数が送信される。LCUレベルフラグ、lcu_alf_enable[k]は、対応するk番目のLCUについてALFがイネーブルであるか否かを制御し、そして、スライスデータへとインタリーブされる。異なるレベルで調整されるフラグの決定は、全て、レート歪みコストに基づいている。さらに、高いフレキシビリティにより、ALFは、符号化効率を大幅に改善する。
上記のフィルタ等式(13)を使用して、ALFをより効率的にするために、非線形性を容易に導入することができる。簡単なクリッピング関数を使用することによるものであり、フィルタリングされる現在のサンプル値(I(x,y))とあまりにも異なる場合に、隣接サンプル値(I(x+i,y+i))の影響を低減する。
ループ内再形成(in-loop reshaping、ILR)は、クロマスケーリングによるルママッピング(Luma Mapping with Chroma Scaling、LMCS)としても知られている。
概念的には、区分ごとの(piece-wise)線形(PWL)は、以下のように実装される。
y=((y2-y1)/(x2-x1))*(x-x1)+y1
y=((m*x+2FP_PREC-1)>>FP_PREC)+c
8.2.1 ルマ再形成
ループ内ルマ再形成のテスト2(すなわち、提案におけるCE12-2)は、より複雑性の低いパイプラインを提供し、また、インタースライス再構成におけるブロックごとのイントラ予測のための復号化待ち時間(latency)も排除する。イントラ予測は、インタースライスおよびイントラスライスの両方について再形成ドメインにおいて実行される。
ルマ依存クロマ残余スケーリング(luma-dependent chroma residue scaling)は、固定小数点整数演算を用いて実装される乗法プロセスである。クロマ残余スケーリングは、クロマ信号とのルマ信号の相互作用を補償する。クロマ残余スケーリングはTUレベルで適用される。具体的には、以下の通りである。
-イントラについて、再構成ルマが平均化される。
-インターについて、予測ルマが平均化される。
パラメータは、(現在)タイル群ヘッダ(ALFと同様)において送信される。これらは40-100ビットを要すると言われている。以下の仕様は、JVET-L1001のバージョン9に基づいている。追加されたシンタックスは、イタリック体で以下に強調表示されている。
一般シーケンスパラメータセットRBSPセマンティクス(General sequence parameter set RBSP semantics)において、以下のセマンティクスを追加する。
1に等しいsps_reshaper_enabled_flagは、コード化されたビデオシーケンス(CVS)においてリシェイパ(reshaper)が使用されることを指定する。
0に等しいsps_reshaper_enabled_flagは、CVSにおいてリシェイパが使用されないことを指定する。
タイル群・ヘッダシンタックス(tile group header syntax)において、以下のセマンティクスを追加する。
1に等しいtile_group_reshaper_model_present_flagは、tile_group_reshaper_model()がタイル群ヘッダ内に存在することを指定する。0に等しいtile_group_reshaper_model_present_flagは、tile_group_reshaper_model()がタイル群ヘッダ内に存在しないことを指定する。tile_group_reshaper_model_present_flagが存在しない場合は、0に等しいものと推定される。
1に等しいtile_group_reshaper_enabled_flagは、現在のタイル群についてリシェイパがイネーブルされていることを指定する。0に等しいtile_group_reshaper_enabled_flagは、現在のタイル群についてリシェイパがイネーブルされていないことを指定する。tile_group_resharper_enable_flagが存在しない場合は、0に等しいものと推定される。
1に等しいtile_group_reshaper_chroma_residual_scale_flagは、現在のタイル群についてクロマ残余スケーリングイネーブルされていることを指定する。0に等しいtile_group_reshaper_chroma_residual_scale_flagは、現在のタイル群でクロマ残余スケーリングがイネーブルされていないことを指定する。tile_group_reshaper_chroma_residual_scale_flagが存在しない場合は、0に等しいものと推定される。
tile_group_reshaper_model()シンタックスの追加
reshape_model_min_bin_idxは、リシェイパ構築プロセス(reshaper construction process)において使用される最小のビン(または、ピース)インデックスを指定する。reshape_model_min_bin_idxの値は、0からMaxBinIdxの範囲とする。MaxBinIdxの値は15に等しい。
reshape_model_delta_max_bin_idxは、リシェイパ構築プロセスにおいて使用される、最大許容ビン(または、ピース)であるインデックスMaxBinIdxから最大ビンインデックスを引いたものを指定する。reshape_model_max_bin_idxの値はMaxBinIdxマイナスreshape_model_delta_max_bin_idxに等しく設定される。
reshaper_model_bin_delta_abs_cw_pre_minus1プラス1は、シンタックスreshape_model_bin_delta_abs_CW[i]の表現について使用されるビット数を指定する。
reshape_model_bin_delta_abs_CW[i]は、i番目のビンについて絶対デルタコードワード値(absolute delta codeword value)を指定する。
reshaper_model_bin_delta_sign_CW_flag[i]は、reshape_model_bin_delta_abs_CW[i]の符号を以下のように指定する。
-reshape_model_bin_delta_sign_CW_flag[i]が0に等しい場合、対応する変数RspDeltaCW[i]は正の値である。
-それ以外の場合(reshape_model_bin_delta_sign_CW_flag[i]が0に等しくない)、対応する変数RspDeltaCW[i]は負の値である。
reshape_model_bin_delta_sign_CW_flag[i]が存在しない場合は、0に等しいものと推定される。
変数RspDeltaCW[i]=(1 2*reshape_model_bin_delta_sign_CW[i])*reshape_model_bin_delta_abs_CW[i];
変数RspCW[i]は、以下のステップのように導出される。
変数OrgCWは、(1<<BitDepthY)/(MaxBinIdx+1)に等しく設定される。
-reshaper_model_min_bin_idx<=i<=reshaper_model_max_bin_idxの場合
RspCW[i]=OrgCW+RspDeltaCW[i]
-それ以外の場合、RspCW[i]=0
RspCW[i]の値は、BitDepthYの値が10に等しい場合、32から2×OrgCW-1の範囲である。
0からMaxBinIdx+1の範囲のiを持つ変数InputPivot[i]は、次のように導出される。
InputPivot[i]=i*OrgCW
0からMaxBinIdx+1の範囲のiを持つ変数ReshapePivot[i]と、0からMaxBinIdxの範囲のiを持つ変数ScaleCoef[i]およびInvScaleCoeff[i]は、次のように導出される。
shiftY=4
ReshapePivot[0]=0;
for(i=0;i<=MaxBinIdx;i++){
ReshapePivot[i+1]=ReshapePivot[i]+RspCW[i]
ScaleCoef[i]=(RspCW[i]*(1<<shiftY)+(1<<(Log2(OrgCW)-1)))>>(Log2(OrgCW))
if(RspCW[i]==0)
InvScaleCoeff[i]=0
else
InvScaleCoeff[i]=OrgCW*(1<<shiftY)/RspCW[i]
}
0からBinIdxの範囲のiを持つ変数ChromaScaleCoef[i]は、次のように導出される。
ChromaResidualScaleLut[64]={16384,16384,16384,16384,16384,16384,16384,8192,8192,8192,8192,5461,5461,5461,5461,4096,4096,4096,4096,3277,3277,3277,3277,2731,2731,2731,2731,2341,2341,2341,2048,2048,2048,1820,1820,1820,1638,1638,1638,1638,1489,1489,1489,1489,1365,1365,1365,1365,1260,1260,1260,1260,1170,1170,1170,1170,1092,1092,1092,1092,1024,1024,1024,1024};
shiftC=11
-if(RspCW[i]==0)
ChromaScaleCoef[i]=(1<<shiftC)
-Otherwise(RspCW[i]!=0),ChromaScaleCoef[i]=ChromaResidualScaleLut[RspCW[i]>>1]
エンコーダ側では、各画像(または、タイル群)が最初に再形成ドメインへ変換される。そして、全ての符号化プロセスは、再形成されたドメインで実行される。イントラ予測について、隣接ブロックは再形成ドメイン内にあり、インター予測について、参照ブロック(復号された画像バッファからの元のドメインから生成されたもの)が、最初に再形成ドメインへ変換される。次いで、残余が生成され、そして、ビットストリームへコード化される。
-現在ブロックがイントラコード化されている。
-現在ブロックがCPR(現在画像参照、別名イントラブロックコピー、IBC)としてコード化されている。
-現在のブロックが、結合インター-イントラモード(CIIP)としてコード化されており、かつ、イントラ予測ブロックについて前方再形成がディセーブルされている。
JVET-N0242における非線形ALF(NLALF)設計は、以下の問題を有している。
(1)4:2:0カラーフォーマット用に設計されたものであること。4:4:4カラーフォーマットについて、ルマ成分とクロマ成分が同様に重要であり得ること。どのようにNLALFをより良好に適用するか不明であること。
(2)クリッピング値が10ビットの場合について設計されていること。他のビット深度について、どのようにNLALFを定義するか未だ研究されていないこと。
(3)ループ内再形成法とNLALFの相互作用は、研究されてきていないこと。
ここで開示される技術の実施形態は、既存の実施形態の欠点を克服し、それによって、より高い符号化効率を有するビデオ符号化を提供する。非線形適応ループフィルタリングは、開示される技術に基づいて、既存の及び将来のビデオ符号化規格の両方を強化知るものであり、種々の実装について説明される以降の実施例において解明される。以下に提供される開示された技術の例は、一般的概念を説明するものであり、そして、限定的なものとして解釈されるように意図されたものではない。一つの例において、明示的に反対に示されない限り、これらの実施例において説明される種々の特徴を組み合わせることができる。
1.NLALFで使用されるパラメータ(例えば、表2で定義されたクリッピングパラメータ)は、コード化された情報に依存し得ることが提案されている。
a.NLALFで使用されるパラメータ(例えば、表2で定義されたクリッピングパラメータ)は、時間層インデックス/低遅延チェックフラグ/参照画像に依存し得ることが提案されている。
2.複数セットのNLALFパラメータが定義され、または、信号化され得る。
a.代替的に、さらに、複数セットのNLALFパラメータが信号化される場合、それらは適応パラメータセット(APS)/タイル群ヘッダ/ビデオデータユニットといった、データユニット(data unit)で信号化され得る。
b.一つの例では、NLALFパラメータは、予測的な方法で信号化される。
i.例えば、1つのデータユニット(APSまたはタイル群、もしくはスライス、といったもの)で信号化されたNLALFパラメータの1つのセットは、同じデータユニットで信号化された別のNLALFパラメータのセットによって予測される。
ii.例えば、1つのデータユニット(APSまたはタイル群、もしくはスライス、といったもの)で信号化されたNLALFパラメータの1つのセットは、別のデータユニットで信号化された別のNLALFパラメータのセットによって予測される。
3.NLALFで使用されるパラメータ(例えば、表2で定義されたクリッピングパラメータ)は、NLALFを適用する前に、再構成されたサンプルのビット深度に依存し得ることが提案される。
a.代替的に、NLALFで使用されるパラメータ(例えば、表2で定義されたクリッピングパラメータ)は、符号化/復号化される前に、サンプルの入力ビット深度に依存し得ることが提案されている。
b.一つの例では、所与のビット深度に対するパラメータは、他のビット深度に対して割り当てられたものから導出され得る。
i.一つの例では、1つの所与のビット深度に対するパラメータを導出するために、ビット深度に従ったシフト動作(shifting operation)が適用され得る。
4.NLALFで使用されるパラメータ(例えば、表2で定義されたクリッピングパラメータ)は、色表現フォーマット(color representation format)に依存し得ることが提案されている。
a.一つの例では、RGBの場合、G色成分について、および、B/R色成分について、同じインデックスを持つパラメータである。
5.NLALFで使用されるパラメータ(例えば、表2で定義されたクリッピングパラメータ)は、ループ内再形成(ILR)法が適用されるか否かに依存し得ることが提案されている。
a.一つの例では、ILRがイネーブルまたはディセーブルされている場合、パラメータが異なり得る。
6.フィルタパラメータ(フィルタ係数といったもの)およびNLALFパラメータ(クリッピングパラメータといったもの)を一緒に保管することが提案されている。
a.一つの例では、それらの両方がAPSに保管され得る。
b.一つの例では、1つのビデオデータユニット(例えば、CTU/領域/タイル群)が1つのAPSに関連するフィルタ係数を使用する場合、関連するNLALFパラメータも、また、使用され得る。
c.代替的に、1つのビデオデータユニット(例えば、CTU/領域/タイル群)に符号化/復号化について、1つのAPSに関連するフィルタ係数からの予測がイネーブルされている場合、関連するNLALFパラメータは、また、同じAPSからの1つのビデオデータユニットに対するNLALFパラメータを予測するためにも利用され得る。
7.クロマ色成分についてNLALFの扱い方は、カラーフォーマットに依存し得る。
a.1つの例では、(4:4:4といった)所与のカラーフォーマットについて、2つのクロマ成分が異なるNLALFパラメータを使用し得る。
8.ALFでのクリッピングは、シーケンスレベル、ピクチャレベル、スライスレベル、タイル群レベル、タイルレベル、CTUレベル、CUレベル、またはブロックレベルでオンまたはオフにされ得ることが提案されている。
a.例えば、ALFでクリッピングをオンにするか否かは、デコーダに信号化され得る。SPS、PPS、スライスヘッダ、タイル群ヘッダ、タイル、CTU、CU、またはブロックといったものである。
図10Aは、ビデオ処理装置900のブロック図である。装置900は、ここにおいて記載される1つ以上の方法を実装するために使用され得る。装置900は、スマートフォン、タブレット、コンピュータ、モノのインターネット(Internet of Things、IoT)受信器、などで具体化することができる。装置900は、1つ以上のプロセッサ902、1つ以上のメモリ904、および、ビデオ処理ハードウェア906を含み得る。プロセッサ902は、本文書に記載される1つ以上の方法(方法800を含むが、これに限定されない)を実装するように構成され得る。メモリ(メモリ)904は、ここにおいて記載される方法および技術を実施するために使用されるデータおよびコードを保管するために使用され得る。ビデオ処理ハードウェア906は、ハードウェア回路において、本文書に記載されるいくつかの技術を実装するために使用され得る。
Claims (26)
- ビデオ処理方法であって、
ビデオのビデオユニットを符号化ビデオユニットとして符号化するステップと、
前記符号化ビデオユニットから再構成サンプルを生成するステップと、
前記再構成サンプルに対してクリッピング動作を実行するステップであり、前記クリッピング動作で使用されるクリッピングパラメータは、クリッピングインデックス、および、前記再構成サンプルのビット深度または前記ビデオユニットのサンプルのビット深度に係る関数である、ステップと、
前記クリッピング動作の出力に対して非線形適応ループフィルタを適用するステップと、
前記符号化ビデオユニットを使用して、前記ビデオのコード化表現を生成するステップと、
を含む、方法。 - 前記クリッピングインデックスは、前記コード化表現で信号化される、
請求項1に記載の方法。 - ビデオ処理方法であって、
前記ビデオのビデオユニットを表す符号化ビデオユニットについてビデオのコード化表現を解析するステップと、
前記符号化ビデオユニットから前記ビデオユニットの再構成サンプルを生成するステップと、
前記再構成サンプルに対してクリッピング動作を実行するステップであり、前記クリッピング動作で使用されるクリッピングパラメータは、クリッピングインデックス、および、前記再構成サンプルのビット深度または前記ビデオユニットのビット深度に係る関数である、ステップと、
最終的な復号ビデオユニットを生成するように、前記クリッピング動作の出力に対して非線形適応ループフィルタを適用するステップと、
を含む、方法。 - 前記クリッピングインデックスは、少なくとも前記コード化表現におけるフィールドに基づいて決定される、
請求項3に記載の方法。 - 前記クリッピングインデックスは、既定の規則を使用して決定される、
請求項3に記載の方法。 - 前記クリッピングインデックス、および、前記再構成サンプルの前記ビット深度または前記ビデオユニットの前記ビット深度に係る前記関数は、前記再構成サンプルの前記ビット深度または前記ビデオユニットの前記ビット深度に基づいて、前記クリッピングインデックスの所与の値に対して異なる値を返す、
請求項1または3に記載の方法。 - 前記クリッピングインデックスと前記クリッピングパラメータとの間のマッピングは、前記再構成サンプルの前記ビット深度または前記ビデオユニットの前記ビット深度に依存する、
請求項1または3に記載の方法。 - 所与のビット深度に対する第1クリッピングインデックスに対応する第1クリッピング値は、別のビット深度に対する第2クリッピングインデックスに対応する第2クリッピング値に基づいて導出される、
請求項1または3に記載の方法。 - 別のビット深度を使用するシフト動作が、前記所与のビット深度に対するクリッピングパラメータを導出するために適用される、
請求項8に記載の方法。 - 前記コード化表現は、前記非線形適応ループフィルタにおいて使用される2個のサンプルの差異の上限または下限を制御する前記クリッピングパラメータを含む、
請求項1乃至9のいずれか一項に記載の方法。 - ビデオ処理方法であって、
1つ以上のビデオ領域を含むビデオのコード化表現と、前記ビデオとの間の変換を実行するステップと、
非線形適応ループフィルタを使用して、ビデオ領域のビデオユニットの再構成をフィルタリングするためのクリッピングパラメータを決定するステップと、
を含み、
前記決定は、前記ビデオ、及び/又は、前記ビデオ領域、及び/又は、前記ビデオユニットのコード化情報に基づいている、
方法。 - 前記コード化情報は、時間層インデックスを含む、
請求項11に記載の方法。 - 前記コード化情報は、低遅延チェックフラグを含む、
請求項11に記載の方法。 - 前記コード化情報は、1つ以上の参照画像を含む、
請求項11に記載の方法。 - 前記ビデオ領域は、ビデオ画像を含む、
請求項11乃至14いずれか一項に記載の方法。 - 前記ビデオユニットは、コード化ユニットを含む、
請求項11乃至14いずれか一項に記載の方法。 - 前記クリッピングパラメータは、前記非線形適応ループフィルタにおいて使用される2個のサンプルの差異の上限または下限を制御する、
請求項11乃至16いずれか一項に記載の方法。 - ビデオ処理方法であって、
1つ以上のビデオ領域を含むビデオのコード化表現と、前記ビデオとの間の変換を実行するステップと、
非線形適応ループフィルタを使用して、ビデオ領域のビデオユニットの再構成をフィルタリングするためのクリッピングパラメータを決定するステップと、
を含み、
前記クリッピングパラメータは、色表現フォーマットの関数である、
方法。 - RGBカラーフォーマットについて、前記クリッピングパラメータは、緑色成分、および、青色または赤色成分について、同じインデックスを有する、
請求項18に記載の方法。 - ビデオ処理方法であって、
1つ以上のビデオ領域を含むビデオのコード化表現と、前記ビデオとの間の変換を実行するステップと、
非線形適応ループフィルタを使用して、ビデオ領域のビデオユニットの再構成をフィルタリングするためのクリッピングパラメータを決定するステップと、
を含み、
前記クリッピングパラメータは、第1ドメインおよび第2ドメインにおけるビデオユニットの表現、及び/又は、クロマビデオユニットのクロマ残余のスケーリングに基づいて、前記ビデオユニットを再構成するためにループ内再形成(ILR)が適用されるか否かに依存する、
方法。 - 前記クリッピングパラメータは、前記ビデオユニットのルマ成分またはクロマ成分のクリッピング値に対応している、
請求項1乃至20いずれか一項に記載の方法。 - 前記方法は、さらに、前記変換の最中に、
前記非線形適応ループフィルタを前記ビデオユニットの前記再構成に適用することによって、フィルタリングされたビデオユニットを生成するステップと、
前記ビデオの別のビデオユニットの予測を決定するために、前記フィルタリングされたビデオユニットを使用するステップと、
を含む、請求項1乃至21いずれか一項に記載の方法。 - 前記変換を実行するステップは、
前記ビデオから前記コード化表現を生成するステップ、
を含む、請求項1乃至21いずれか一項に記載の方法。 - 前記変換を実行するステップは、
前記コード化表現から前記ビデオを生成するステップ、
を含む、請求項1乃至21いずれか一項に記載の方法。 - ビデオシステムにおける装置であって、
プロセッサ、および、命令を含む非一時的メモリを備え、
前記プロセッサによって前記命令が実行されると、前記プロセッサに、請求項1乃至24いずれか一項に記載の方法を実行させる、
装置。 - 非一時的なコンピュータ読取り可能媒体に保管されたコンピュータプログラム製品であって、
請求項1乃至24いずれか一項に記載の方法を実行するためのプログラムコードを含む、
コンピュータプログラム製品。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023026362A JP7490102B2 (ja) | 2019-03-24 | 2023-02-22 | ビデオ処理における非線形適応ループフィルタリング |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNPCT/CN2019/079395 | 2019-03-24 | ||
CN2019079395 | 2019-03-24 | ||
PCT/CN2020/080827 WO2020192644A1 (en) | 2019-03-24 | 2020-03-24 | Nonlinear adaptive loop filtering in video processing |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023026362A Division JP7490102B2 (ja) | 2019-03-24 | 2023-02-22 | ビデオ処理における非線形適応ループフィルタリング |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022528051A true JP2022528051A (ja) | 2022-06-08 |
JPWO2020192644A5 JPWO2020192644A5 (ja) | 2022-08-05 |
JP7234406B2 JP7234406B2 (ja) | 2023-03-07 |
Family
ID=72609728
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021556953A Active JP7233565B2 (ja) | 2019-03-24 | 2020-03-24 | ビデオ処理におけるマルチパラメータ適応ループフィルタリング |
JP2021556952A Active JP7234406B2 (ja) | 2019-03-24 | 2020-03-24 | ビデオ処理における非線形適応ループフィルタリング |
JP2023026362A Active JP7490102B2 (ja) | 2019-03-24 | 2023-02-22 | ビデオ処理における非線形適応ループフィルタリング |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021556953A Active JP7233565B2 (ja) | 2019-03-24 | 2020-03-24 | ビデオ処理におけるマルチパラメータ適応ループフィルタリング |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023026362A Active JP7490102B2 (ja) | 2019-03-24 | 2023-02-22 | ビデオ処理における非線形適応ループフィルタリング |
Country Status (12)
Country | Link |
---|---|
US (3) | US11523140B2 (ja) |
EP (2) | EP3925226A4 (ja) |
JP (3) | JP7233565B2 (ja) |
KR (2) | KR20210139247A (ja) |
CN (4) | CN115243056A (ja) |
AU (1) | AU2020248837B2 (ja) |
BR (1) | BR112021018509A2 (ja) |
CA (1) | CA3134075A1 (ja) |
MX (1) | MX2021011247A (ja) |
SG (1) | SG11202110102YA (ja) |
WO (2) | WO2020192644A1 (ja) |
ZA (1) | ZA202106908B (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115243056A (zh) | 2019-03-24 | 2022-10-25 | 抖音视界有限公司 | 视频处理中的多参数自适应环路滤波 |
US11368684B2 (en) * | 2019-04-23 | 2022-06-21 | Qualcomm Incorporated | Adaptation parameter sets (APS) for adaptive loop filter (ALF) parameters |
KR20220016075A (ko) | 2019-06-04 | 2022-02-08 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 모션 후보 리스트 구성 프로세스의 조건부 구현 |
WO2020244571A1 (en) | 2019-06-04 | 2020-12-10 | Beijing Bytedance Network Technology Co., Ltd. | Motion candidate list construction using neighboring block information |
CN115604488A (zh) * | 2019-06-25 | 2023-01-13 | 北京大学(Cn) | 环路滤波的方法与装置 |
EP3981150A4 (en) | 2019-07-09 | 2022-08-03 | Beijing Bytedance Network Technology Co., Ltd. | SAMPLE DETERMINATION FOR ADAPTIVE LOOP FILTERING |
KR102648121B1 (ko) | 2019-07-11 | 2024-03-18 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 적응적 루프 필터링에서의 샘플 패딩 |
CN114128295B (zh) | 2019-07-14 | 2024-04-12 | 北京字节跳动网络技术有限公司 | 视频编解码中几何分割模式候选列表的构建 |
WO2021008539A1 (en) | 2019-07-15 | 2021-01-21 | Beijing Bytedance Network Technology Co., Ltd. | Classification in adaptive loop filtering |
WO2021051044A1 (en) | 2019-09-14 | 2021-03-18 | Bytedance Inc. | Quantization parameter offset for chroma deblocking filtering |
WO2021052453A1 (en) | 2019-09-18 | 2021-03-25 | Beijing Bytedance Network Technology Co., Ltd. | Two-part signaling of adaptive loop filters in video coding |
CN117278747A (zh) | 2019-09-22 | 2023-12-22 | 北京字节跳动网络技术有限公司 | 自适应环路滤波中的填充过程 |
CN117834924A (zh) | 2019-09-27 | 2024-04-05 | 北京字节跳动网络技术有限公司 | 不同视频单元之间的自适应环路滤波 |
CN114450959A (zh) | 2019-09-28 | 2022-05-06 | 北京字节跳动网络技术有限公司 | 视频编解码中的几何分割模式 |
CN114651442A (zh) | 2019-10-09 | 2022-06-21 | 字节跳动有限公司 | 视频编解码中的跨分量适应性回路滤波 |
KR20220071203A (ko) | 2019-10-10 | 2022-05-31 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 적응적 루프 필터링에서 이용 불가능한 샘플 위치들에서의 패딩 프로세스 |
EP4029273A4 (en) | 2019-10-14 | 2023-03-15 | ByteDance Inc. | USE OF CHROMA QUANTIZATION PARAMETERS IN VIDEO ENCODING |
KR20220083715A (ko) | 2019-10-29 | 2022-06-20 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 루마 차이를 이용한 크로스 컴포넌트 적응적 루프 필터 |
CN114788279A (zh) | 2019-12-09 | 2022-07-22 | 字节跳动有限公司 | 视频编解码中使用的量化组 |
JP7393550B2 (ja) | 2019-12-11 | 2023-12-06 | 北京字節跳動網絡技術有限公司 | クロス成分適応ループフィルタリングのためのサンプルパディング |
WO2021138293A1 (en) | 2019-12-31 | 2021-07-08 | Bytedance Inc. | Adaptive color transform in video coding |
KR20230029670A (ko) | 2020-06-30 | 2023-03-03 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 적응적 루프 필터링을 위한 경계 위치 |
US11838522B2 (en) * | 2020-12-29 | 2023-12-05 | Tencent America LLC | Method and apparatus for video coding |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050119422A (ko) * | 2004-06-16 | 2005-12-21 | 삼성전자주식회사 | 움직임 보상에 기반한 입력 영상의 노이즈 예측 및 그장치와, 이를 사용한 노이즈 제거 및 동영상 부호화 방법,이를 수행하기 위한 프로그램이 기록된 기록 매체 |
GB2421593B (en) * | 2004-12-22 | 2009-05-27 | Stephen Paul Maslen | Combined digital and analogue controller for servo control or open loop control system |
US8324953B1 (en) * | 2009-10-21 | 2012-12-04 | Vyycore Ltd. | Method and a system for signal processing |
US9094658B2 (en) | 2010-05-10 | 2015-07-28 | Mediatek Inc. | Method and apparatus of adaptive loop filtering |
EP2596635B1 (en) | 2010-07-19 | 2020-05-20 | Dolby Laboratories Licensing Corporation | Enhancement methods for sampled and multiplexed image and video data |
US9596447B2 (en) * | 2010-07-21 | 2017-03-14 | Qualcomm Incorporated | Providing frame packing type information for video coding |
US20140003527A1 (en) * | 2011-03-10 | 2014-01-02 | Dolby Laboratories Licensing Corporation | Bitdepth and Color Scalable Video Coding |
EP2693750A4 (en) | 2011-03-30 | 2016-09-28 | Lg Electronics Inc | IN-LOOP FILTER PROCESS AND DEVICE THEREFOR |
ES2711180T3 (es) * | 2011-04-21 | 2019-04-30 | Hfi Innovation Inc | Procedimiento y aparato para un filtrado en bucle mejorado |
US20130107973A1 (en) | 2011-10-28 | 2013-05-02 | Qualcomm Incorporated | Loop filtering control over tile boundaries |
US9538200B2 (en) * | 2012-01-19 | 2017-01-03 | Qualcomm Incorporated | Signaling of deblocking filter parameters in video coding |
EP2870758B1 (en) | 2012-07-03 | 2016-11-16 | Telefonaktiebolaget LM Ericsson (publ) | Controlling deblocking filtering |
WO2014015032A2 (en) * | 2012-07-19 | 2014-01-23 | Cypress Semiconductor Corporation | Touchscreen data processing |
US9445130B2 (en) | 2013-01-09 | 2016-09-13 | Qualcomm Incorporated | Blockiness metric for large HEVC block artifacts |
KR101803164B1 (ko) | 2013-03-15 | 2017-12-28 | 우버 테크놀로지스, 인크. | 로봇 공학용 다중 감지 스테레오 비전 방법, 시스템 및 장치 |
KR20140116992A (ko) * | 2013-03-25 | 2014-10-07 | 삼성전자주식회사 | 외부 메모리 접근의 대역폭을 감소시키는 lcu단위의 인-루프 필터링 장치 및 방법 |
US9712834B2 (en) | 2013-10-01 | 2017-07-18 | Dolby Laboratories Licensing Corporation | Hardware efficient sparse FIR filtering in video codec |
US10158836B2 (en) * | 2015-01-30 | 2018-12-18 | Qualcomm Incorporated | Clipping for cross-component prediction and adaptive color transform for video coding |
US10057574B2 (en) | 2015-02-11 | 2018-08-21 | Qualcomm Incorporated | Coding tree unit (CTU) level adaptive loop filter (ALF) |
WO2017045101A1 (en) * | 2015-09-14 | 2017-03-23 | Mediatek Singapore Pte. Ltd. | Advanced deblocking filter in video coding |
US11405611B2 (en) | 2016-02-15 | 2022-08-02 | Qualcomm Incorporated | Predicting filter coefficients from fixed filters for video coding |
US20180041778A1 (en) | 2016-08-02 | 2018-02-08 | Qualcomm Incorporated | Geometry transformation-based adaptive loop filtering |
EP3297282A1 (en) | 2016-09-15 | 2018-03-21 | Thomson Licensing | Method and apparatus for video coding with adaptive clipping |
US20180091812A1 (en) * | 2016-09-23 | 2018-03-29 | Apple Inc. | Video compression system providing selection of deblocking filters parameters based on bit-depth of video data |
US10506230B2 (en) | 2017-01-04 | 2019-12-10 | Qualcomm Incorporated | Modified adaptive loop filter temporal prediction for temporal scalability support |
CN115174902A (zh) * | 2017-01-20 | 2022-10-11 | 世宗大学校产学协力团 | 影像解码方法、影像编码方法及比特流的生成方法 |
US10212456B2 (en) * | 2017-06-02 | 2019-02-19 | Apple Inc. | Deblocking filter for high dynamic range (HDR) video |
KR102580314B1 (ko) * | 2017-06-29 | 2023-09-19 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 통합된 이미지 정형 및 비디오 코딩 |
US10778974B2 (en) | 2017-07-05 | 2020-09-15 | Qualcomm Incorporated | Adaptive loop filter with enhanced classification methods |
SG11202003927TA (en) | 2017-11-01 | 2020-05-28 | Vid Scale Inc | Methods for simplifying adaptive loop filter in video coding |
US10721469B2 (en) | 2017-11-28 | 2020-07-21 | Qualcomm Incorporated | Line buffer reduction for adaptive loop filtering in video coding |
US20190238845A1 (en) | 2018-01-26 | 2019-08-01 | Qualcomm Incorporated | Adaptive loop filtering on deblocking filter results in video coding |
US20190306502A1 (en) | 2018-04-02 | 2019-10-03 | Qualcomm Incorporated | System and method for improved adaptive loop filtering |
CN113383554B (zh) | 2019-01-13 | 2022-12-16 | 北京字节跳动网络技术有限公司 | LUT和共享Merge列表之间的交互 |
CN115243056A (zh) | 2019-03-24 | 2022-10-25 | 抖音视界有限公司 | 视频处理中的多参数自适应环路滤波 |
-
2020
- 2020-03-24 CN CN202210787197.2A patent/CN115243056A/zh active Pending
- 2020-03-24 CN CN202080023977.9A patent/CN113632490B/zh active Active
- 2020-03-24 JP JP2021556953A patent/JP7233565B2/ja active Active
- 2020-03-24 MX MX2021011247A patent/MX2021011247A/es unknown
- 2020-03-24 WO PCT/CN2020/080827 patent/WO2020192644A1/en unknown
- 2020-03-24 CN CN202080023970.7A patent/CN113632470A/zh active Pending
- 2020-03-24 AU AU2020248837A patent/AU2020248837B2/en active Active
- 2020-03-24 SG SG11202110102YA patent/SG11202110102YA/en unknown
- 2020-03-24 KR KR1020217028520A patent/KR20210139247A/ko not_active Application Discontinuation
- 2020-03-24 CA CA3134075A patent/CA3134075A1/en active Pending
- 2020-03-24 WO PCT/CN2020/080829 patent/WO2020192645A1/en unknown
- 2020-03-24 KR KR1020217028519A patent/KR102606010B1/ko active IP Right Grant
- 2020-03-24 EP EP20777266.6A patent/EP3925226A4/en active Pending
- 2020-03-24 EP EP20779943.8A patent/EP3925215A4/en active Pending
- 2020-03-24 BR BR112021018509A patent/BR112021018509A2/pt unknown
- 2020-03-24 JP JP2021556952A patent/JP7234406B2/ja active Active
- 2020-03-24 CN CN202211573846.5A patent/CN115767107A/zh active Pending
-
2021
- 2021-06-22 US US17/354,250 patent/US11523140B2/en active Active
- 2021-06-22 US US17/354,282 patent/US11509941B2/en active Active
- 2021-09-17 ZA ZA2021/06908A patent/ZA202106908B/en unknown
-
2022
- 2022-12-06 US US18/075,999 patent/US20240080496A9/en active Pending
-
2023
- 2023-02-22 JP JP2023026362A patent/JP7490102B2/ja active Active
Non-Patent Citations (4)
Title |
---|
JONATHAN TAQUET, CHRISTOPHE GISQUET, GUILLAUME LAROCHE, AND PATRICE ONNO: "Non-Linear Adaptive Loop Filter", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-M0385, JPN6022038026, January 2019 (2019-01-01), pages 1 - 5, ISSN: 0004873821 * |
JONATHAN TAQUET, PATRICE ONNO, CHRISTOPHE GISQUET, AND GUILLAUME LAROCHE: "CE5: Results of tests CE5-3.1 to CE5-3.4 on Non-Linear Adaptive Loop Filter.", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-N0242, JPN6022038027, 19 March 2019 (2019-03-19), pages 1 - 10, ISSN: 0004873822 * |
KYOHEI UNNO, AND KEI KAWAMURA: "Non-CE5: A simplification of clipping thresholds for Non-Linear ALF", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-O0386-v2, JPN6022038029, July 2019 (2019-07-01), pages 1 - 6, ISSN: 0004873824 * |
SERGEY IKONIN, VICTOR STEPIN, AND ELENA ALSHINA: "Non-CE5: Non-linear ALF simplifications", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-O0188-v2, JPN6022038028, July 2019 (2019-07-01), pages 1 - 9, ISSN: 0004873823 * |
Also Published As
Publication number | Publication date |
---|---|
CA3134075A1 (en) | 2020-10-01 |
SG11202110102YA (en) | 2021-10-28 |
US20240080496A9 (en) | 2024-03-07 |
JP2022528052A (ja) | 2022-06-08 |
BR112021018509A2 (pt) | 2021-11-23 |
AU2020248837A1 (en) | 2021-10-14 |
JP7490102B2 (ja) | 2024-05-24 |
EP3925215A1 (en) | 2021-12-22 |
AU2020248837B2 (en) | 2023-06-08 |
WO2020192644A1 (en) | 2020-10-01 |
ZA202106908B (en) | 2023-10-25 |
KR20210135513A (ko) | 2021-11-15 |
CN115243056A (zh) | 2022-10-25 |
WO2020192645A1 (en) | 2020-10-01 |
US11523140B2 (en) | 2022-12-06 |
EP3925226A4 (en) | 2022-08-17 |
KR102606010B1 (ko) | 2023-11-24 |
US20210314628A1 (en) | 2021-10-07 |
CN113632470A (zh) | 2021-11-09 |
KR20210139247A (ko) | 2021-11-22 |
US11509941B2 (en) | 2022-11-22 |
JP2023059955A (ja) | 2023-04-27 |
EP3925215A4 (en) | 2022-08-17 |
JP7234406B2 (ja) | 2023-03-07 |
CN113632490B (zh) | 2022-12-23 |
MX2021011247A (es) | 2021-10-01 |
CN113632490A (zh) | 2021-11-09 |
US20210321095A1 (en) | 2021-10-14 |
EP3925226A1 (en) | 2021-12-22 |
US20230107861A1 (en) | 2023-04-06 |
CN115767107A (zh) | 2023-03-07 |
JP7233565B2 (ja) | 2023-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7234406B2 (ja) | ビデオ処理における非線形適応ループフィルタリング | |
WO2020200277A1 (en) | Adaptive loop filtering in video processing | |
WO2020211809A1 (en) | On adaptive loop filtering for video coding | |
WO2021083257A1 (en) | Cross-component adaptive loop filter | |
JP2022526633A (ja) | 非線形適応ループフィルタにおけるパラメータの時間的予測 | |
JPWO2020192644A5 (ja) | ||
JPWO2020192645A5 (ja) | ||
KR20220038690A (ko) | 인트라 모드에서 예측 샘플 필터링을 위한 가중 인자들 | |
RU2812618C2 (ru) | Нелинейная адаптивная контурная фильтрация при обработке видеоданных |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210922 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210922 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7234406 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |