JP2023052578A - ブロック単位の画像符号化のためのイントラ予測モードの概念 - Google Patents
ブロック単位の画像符号化のためのイントラ予測モードの概念 Download PDFInfo
- Publication number
- JP2023052578A JP2023052578A JP2023008219A JP2023008219A JP2023052578A JP 2023052578 A JP2023052578 A JP 2023052578A JP 2023008219 A JP2023008219 A JP 2023008219A JP 2023008219 A JP2023008219 A JP 2023008219A JP 2023052578 A JP2023052578 A JP 2023052578A
- Authority
- JP
- Japan
- Prior art keywords
- intra
- prediction
- block
- neural network
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 claims abstract description 147
- 230000006835 compression Effects 0.000 abstract description 5
- 238000007906 compression Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 52
- 238000000034 method Methods 0.000 description 48
- 210000002569 neuron Anatomy 0.000 description 20
- 238000005457 optimization Methods 0.000 description 19
- 238000012549 training Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000013139 quantization Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 238000009826 distribution Methods 0.000 description 9
- 230000011664 signaling Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000012952 Resampling Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 238000001994 activation Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
- H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
Abstract
【解決手段】データストリーム12から画像をブロック単位で復号するため或いはデータストリームに画像を符号化するための装置であって、所定のサイズとは異なる現在のブロック18に対して、再サンプリングされたテンプレート170を取得するために第1のテンプレートと一致するように現在のブロックに隣接するサンプルの第2のテンプレート60を再サンプリングし、予備的イントラ予測信号を取得するためにサンプルの再サンプリングされたテンプレートをニューラルネットワークに適用し、現在のブロックについてのイントラ予測信号を取得するために現在のブロックと一致するように予備的イントラ予測信号を再サンプリングする。
【選択図】図9a
Description
再サンプリングされたテンプレートを取得するために、第1のテンプレートと一致するように、現在のブロックに隣接するサンプルの第2のテンプレートを再サンプリングし、
予備的イントラ予測を取得するために、サンプルの再サンプリングされたテンプレートをニューラルネットワークに適用し、
現在のブロックのイントラ予測信号を取得するために、現在のブロックに一致するように予備的イントラ予測信号を再サンプリングするように構成される、装置が開示される。
再サンプリングされたテンプレートを取得するために、第1のテンプレートと一致するように、現在のブロックに隣接するサンプルの第2のテンプレートを再サンプリングし、
予備的イントラ予測を取得するために、サンプルの再サンプリングされたテンプレートをニューラルネットワークに適用し、
現在のブロックのイントラ予測信号を取得するために、現在のブロックに一致するように予備的イントラ予測信号を再サンプリングするように構成される、装置も開示される。
現在のブロックの次元に一致するようにイントラ予測信号の次元を増やし、
予備的イントラ予測信号の追加された係数であって、より高い周波数のビンに関連する追加された係数の係数をゼロパディングする
ことによって変換ドメイン予備的イントラ予測信号を再サンプリングするように構成されることができる。
現在のブロックの隣接するサンプルの第1のセットをニューラルネットワークに適用して、現在のブロックの変換の変換係数のセットの予測を取得することによって、画像の現在のブロックのイントラ予測信号が判定される少なくとも1つのイントラ予測モードをサポートする、装置も開示される。
現在のブロックの隣接するサンプルの第1のセットをニューラルネットワークに適用して、現在のブロックの変換の変換係数のセットの予測を取得することによって、画像の現在のブロックのイントラ予測信号が判定される少なくとも1つのイントラ予測モードをサポートする、装置も開示される。
サンプルの再サンプリングされたテンプレートをニューラルネットワークに適用し、予備的イントラ予測信号を取得することと、
現在のブロックに一致するように予備的イントラ予測信号を再サンプリングし、現在のブロックのイントラ予測信号を取得することと、
を備える方法が開示される。
現在のブロックの隣接するサンプルの第1のセットをニューラルネットワークに適用して、現在のブロックの変換の変換係数のセットの予測を取得することを備える、方法が開示される。
現在のブロックの隣接するサンプルの第1のセットをニューラルネットワークに適用して、現在のブロックの変換の変換係数のセットの予測を取得することを備える、方法が開示される。
1.イントラ予測を実行するニューラルネットワークのパラメータをトレーニングするアルゴリズム
ビデオフレームのブロック、すなわちブロック18を
1.1 ビデオコーデックのレート関数を近似する損失関数をトレーニングするアルゴリズム
ビデオコーデックで使用される未知のパラメータを判定するためのデータ駆動型アプローチは、通常、特定のトレーニング例のセットで事前定義された損失関数を最小化しようとする最適化アルゴリズムとして設定される。通常、数値最適化アルゴリズムが実際に機能するためには、後者の損失関数がいくつかの滑らかさの要件を満たす必要がある。
1.2 固定ブロック形状の予測のトレーニング
このセクションでは、特定のブロック
1.3
このセクションでは、
したがって、
1.4 既存の予測を考慮したトレーニング
既存のイントラ予測を補完する予測をトレーニングできるように前のセクションのアルゴリズムを拡張した。
1.5 いくつかのブロック形状の予測の共同トレーニング
このセクションでは、予測のトレーニングにおいて、一般的なビデオ符号化標準では、ブロックを様々な方法で小さなサブブロックに分割し、小さなサブブロックでイントラ予測を実行することが通常可能であることを考慮に入れる方法について説明した。
2 トレーニングされたニューラルネットワークのビデオコーデックへの統合
特定の色成分について、特定のブロック
1.デコーダは、その自由の固定数
を有するとともに、
図11-1の例
図11-1は、エンコーダ14-1の可能な実装、すなわち、エンコーダが予測残差を符号化するために変換符号化を使用するように構成されるものを示しているが、これはほぼ例であり、本出願は、その種の予測残差符号化に限定されるものではない。図11-1によれば、エンコーダ14-1は、インバウンド信号、すなわち画像10、またはブロックベースで現在のブロック18から対応する予測信号24-1を減算して、後に予測残差エンコーダ28によってデータストリーム12に符号化される空間ドメイン予測残差信号26を取得するように構成された空間ドメイン減算器22を備える。予測残差エンコーダ28は、不可逆符号化ステージ28aおよび可逆符号化ステージ28bを備える。不可逆符号化ステージ28aは、予測残差信号26を受信し、予測残差信号26のサンプルを量子化する量子化器30を備える。本例は、予測残差信号26の変換符号化を使用し、したがって、不可逆符号化ステージ28aは、残差信号26を提示する変換された係数で行われる量子化器30の量子化によってスペクトル分解されたそのような予測残差27を変換するように、減算器22と量子化器30との間に接続された変換ステージ32を含む。変換は、DCT、DST、FFT、アダマール変換などとすることができる。次に、変換および変換ドメイン量子化された予測残差信号34は、量子化予測残差信号34をデータストリーム12にエントロピー符号化するエントロピーコーダである可逆符号化ステージ28bによる可逆符号化を受ける。
図11-2の例
図11-2は、デコーダ54-2の可能な実装、すなわちエンコーダ14-1の実装に適合するものを示している。エンコーダ54-2の多くの要素は、図11-1の対応するエンコーダで発生する要素と同じであるため、これらの要素を示すために、「-2」が付いた同じ参照符号が図11-2で使用される。特に、加算器42-2、任意のインループフィルタ46-2、および予測器44-2は、図11-1のエンコーダと同じ方法で予測ループに接続される。再構成された、すなわち逆量子化および再変換された予測残差信号24-2(例えば、60)は、エントロピーエンコーダ28bのエントロピー符号化を逆にするエントロピーデコーダ56のシーケンス、続いて符号化側の場合と同じように逆量子化器38-2および逆変換器40-2で構成される残差信号再構成ステージ36-2によって導出される。デコーダの出力は、画像10の再構成である。画像10の再構成を画像品質を改善するためにいくつかのポストフィルタリングにかけるために、いくつかのポストフィルタ46-2がデコーダの出力に配置されることができる。同様に、図11-1に関して上に示した説明は、エンコーダが最適化タスクと符号化オプションに関する関連する決定を実行するだけであることを除いて、図11-2にも有効である。しかしながら、ブロック細分割、予測、逆量子化、および再変換に関する全ての説明は、図11-2のデコーダ54についても有効である。再構成された信号24-2は、予測器44-2に提供され、予測器44-2は、図5~図10の例にしたがってニューラルネットワークで動作することができる。予測器44-2は、変換ドメイン予測値45-2を提供することができる。
図12の例
ここで、図12を参照する。デコーダおよびエンコーダの双方を同時に、すなわち、 イントラ予測ブロック18に関するそれらの機能の観点である。イントラ符号化ブロック18に関するエンコーダ動作モードとデコーダ動作モードとの違いは、一方では、エンコーダが利用可能なイントラ予測モード66の全てまたは少なくともいくつかを実行し、例えば、意味を最小化するコスト関数の観点から最適なものを90で決定し、エンコーダがデータストリーム12を形成する、すなわちコードがそこに日付を記入し、デコーダがそれぞれ復号および読み取りによってそこからデータを導出するという事実である。図12は、ブロック18のサイド情報70内のフラグ70aが、セット72内、すなわち、ニューラルネットワークベースのイントラ予測モードである、またはセット74内、すなわち、非ニューラルネットワークベースのイントラ予測モードの1つである、ステップ90でエンコーダによってブロック18にとって最良のモードであると決定されたイントラ予測モードであるかどうかを示す、上記で概説した代替案の動作モードを示す。エンコーダは、それに応じてフラグ70aをデータストリーム12に挿入する一方で、デコーダは、フラグ70aをそこから検索する。図12は、決定されたイントラ予測モード92がセット72内にあると仮定している。次に、別個のニューラルネットワーク84は、セット72の各ニューラルネットワークベースのイントラ予測モードの確率値を決定し、これらの確率値セット72を使用して、またはより正確には、その中のニューラルネットワークベースのイントラ予測モードは、確率値の降順などの確率値にしたがって順序付けられ、それにより、イントラ予測モードの順序付きリスト94をもたらす。次に、サイド情報70の一部であるインデックス70bは、エンコーダによってデータストリーム12に符号化され、そこからデコーダによって復号される。したがって、デコーダは、セット72および74のどのセットを決定することができる。ブロック18に使用されるイントラ予測モードは、使用されるイントラ予測モードがセット72に位置する場合、セット72の順序付け96を実行するように位置する。決定されたイントラ予測モードがセット74に位置する場合、インデックスもまた、データストリーム12で送信されることができる。したがって、デコーダは、それに応じて選択68を制御することによって、決定されたイントラ予測モードを使用して、ブロック18の予測信号を生成することができる。
議論
ニューラルネットワークを介してイントラ予測信号を生成する方法が定義されており、この方法がビデオまたは静止画像コーデックにどのように含まれるかが説明されている。これらの例では、空間ドメインに予測する代わりに、予測器44-1、44-2は、例えば離散コサイン変換などの基礎となるコーデックで既に利用可能である可能性のある事前定義された画像変換の変換ドメインに予測することができる。第2に、特定の形状のブロック上の画像に対して定義された各イントラ予測モードは、より大きなブロック上の画像に対してイントラ予測モードを誘導する。
対照的に、図11および図12は、以下の手順に言及している:予測信号pred(45-1、45-2)が上記のようなニューラルネットワークイントラ予測法によって生成される場合、最終的な再構成信号(24-1、24-2)は、pred+res(predは45-1または45-2、resは39-1または39-2)の逆変換(40-1、40-2)によって取得され、それらの合計は、43-1または43-2であり、これは、最終的な再構成信号24-1、24-2の変換ドメインバージョンである。
図13aおよび図13b
図13aおよび図13bを参照すると、例えば、空間ドメインベースの方法(例えば、図11aおよび図11b)および/または変換ドメインベースの方法(例えば、図1~図4)に適用され得る戦略が示されている。
-第1のテンプレート(例えば、130、170)に準拠させて再サンプリングされたテンプレート(例えば、130、170)を取得するために、現在のブロック(例えば、18)に隣接するサンプルの第2のテンプレート(例えば、60)を再サンプリング(例えば、D、134、166)し、
-予備的イントラ予測信号(例えば、138)を取得するために、ニューラルネットワーク(例えば、80)上のサンプルの再サンプリングされたテンプレート(例えば、130、170)を適用し、
-現在のブロックのイントラ予測信号を取得するために、現在のブロック(18、B1)に一致するように予備的イントラ予測信号(138)を再サンプリング(例えば、U、V、182)する。
-Brec(130)上のK×Nブロック、
-Brec(130)の左側にあるM×Lブロック、および、
-Brec(130)上、およびBrec(130)の左側にあるM×Lブロック上のK×Nブロックの左側にあるK×Lブロック。
議論
B1(例えば、18)をM1行およびN1列のブロックとし、M1≧MおよびN1≧Nと仮定する。B1,recをB1の隣接(例えば、隣接するテンプレート60)とし、B1,recのサブセットと見なされる領域Brec(例えば、130)を仮定する。im1(例えば、138)をB1の画像とし、rec1(例えば、B1,recの係数)をB1,recの既に再構成された画像とする。上記の解決策は、B1,recの画像をB1の画像にマッピングする、事前定義されたダウンサンプリング操作D(例えば、134、166)に基づいている。例えば、M1=2M、N1=2Nの場合、BrecがBの上のK行とBの左側のL列、およびBの左上のサイズK×Lのコーナーで構成され、B1,recがB1上の2K行およびBの左側の2L列、B1の左上のサイズ2K×2Lのコーナーから構成される場合、Dは、平滑化フィルタを適用した後、各方向に2倍のダウンサンプリング操作を行う操作とすることができる。したがって、D(rec1)は、Brecで再構成された画像と見なすことができる。上記のニューラルネットワークベースのイントラ予測モードを使用して、D(rec1)から、B上の画像である予測信号pred(45-1)を形成することができる。
その他の例
一般的に言えば、上記のようなデコーダは、上記のようなエンコーダを備えることができ、および/またはその逆もしかりである。例えば、エンコーダ14は、デコーダ54であるか、またはデコーダ54を含む(またはその逆)ことができる。エンコーダ14-1は、デコーダ54-2(またはその逆)などとすることができる。さらに、エンコーダ14または14-1は、量子化された予測残差信号34が、予測信号24または24-1を得るために復号されるストリームを形成するため、それ自体がデコーダを含むと理解することもできる。
Claims (1)
- データストリーム(12)から画像(10)をブロック単位で復号するための装置(54-2)であって、前記画像の所定のサイズのブロック(136、172)のイントラ予測信号が現在のブロックに隣接するサンプルの第1のテンプレート(130、170)をニューラルネットワーク(80)に適用することによって判定される、少なくとも1つのイントラ予測モードをサポートする装置であって、前記所定のサイズとは異なる現在のブロック(18)に対して、
再サンプリングされたテンプレート(130、170)を取得するために、前記第1のテンプレート(130、170)と一致するように、前記現在のブロック(18)に隣接するサンプルの第2のテンプレート(60)を再サンプリング(134、166)し、
予備的イントラ予測信号(138、172、176)を取得するために、前記サンプルの再サンプリングされたテンプレート(130、170)を前記ニューラルネットワーク(80)に適用(138a、170a、44-1、44-2)し、
前記現在のブロック(18)の前記イントラ予測信号(142、24-1、24-2)を取得(140)するために、前記現在のブロック(18)に一致するように前記予備的イントラ予測信号(138、172、176)を再サンプリング(140、180)するように構成される、装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18165224 | 2018-03-29 | ||
EP18165224.9 | 2018-03-29 | ||
JP2020552199A JP7217288B2 (ja) | 2018-03-29 | 2019-03-28 | ブロック単位の画像符号化のためのイントラ予測モードの概念 |
PCT/EP2019/057882 WO2019185808A1 (en) | 2018-03-29 | 2019-03-28 | Intra-prediction mode concept for block-wise picture coding |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020552199A Division JP7217288B2 (ja) | 2018-03-29 | 2019-03-28 | ブロック単位の画像符号化のためのイントラ予測モードの概念 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023052578A true JP2023052578A (ja) | 2023-04-11 |
Family
ID=61868352
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020552199A Active JP7217288B2 (ja) | 2018-03-29 | 2019-03-28 | ブロック単位の画像符号化のためのイントラ予測モードの概念 |
JP2023008219A Pending JP2023052578A (ja) | 2018-03-29 | 2023-01-23 | ブロック単位の画像符号化のためのイントラ予測モードの概念 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020552199A Active JP7217288B2 (ja) | 2018-03-29 | 2019-03-28 | ブロック単位の画像符号化のためのイントラ予測モードの概念 |
Country Status (7)
Country | Link |
---|---|
US (2) | US11601672B2 (ja) |
EP (1) | EP3777141A1 (ja) |
JP (2) | JP7217288B2 (ja) |
KR (2) | KR20230057481A (ja) |
CN (1) | CN112204963A (ja) |
TW (1) | TWI763987B (ja) |
WO (1) | WO2019185808A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3562162A1 (en) * | 2018-04-27 | 2019-10-30 | InterDigital VC Holdings, Inc. | Method and apparatus for video encoding and decoding based on neural network implementation of cabac |
WO2020185022A1 (ko) | 2019-03-12 | 2020-09-17 | 주식회사 엑스리스 | 영상 신호 부호화/복호화 방법 및 이를 위한 장치 |
WO2021069688A1 (en) * | 2019-10-11 | 2021-04-15 | Interdigital Vc Holdings France, Sas | Deep intra predictor generating side information |
CN115104301A (zh) * | 2020-02-21 | 2022-09-23 | 交互数字Vc控股法国公司 | 用于视频编码或解码的基于神经网络的帧内预测 |
US11652994B2 (en) | 2021-01-19 | 2023-05-16 | Tencent America LLC | Neural image compression with adaptive intra-prediction |
US11595665B2 (en) * | 2021-02-11 | 2023-02-28 | Qualcomm Incorporated | Upsampling reference pixels for intra-prediction in video coding |
WO2022211657A1 (en) * | 2021-04-01 | 2022-10-06 | Huawei Technologies Co., Ltd. | Configurable positions for auxiliary information input into a picture data processing neural network |
WO2022216051A1 (ko) * | 2021-04-08 | 2022-10-13 | 엘지전자 주식회사 | 영상 디코딩 방법 및 그 장치 |
WO2023165596A1 (en) * | 2022-03-03 | 2023-09-07 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for visual data processing |
WO2023200246A1 (ko) * | 2022-04-12 | 2023-10-19 | 엘지전자 주식회사 | 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체 |
WO2023200237A1 (ko) * | 2022-04-12 | 2023-10-19 | 엘지전자 주식회사 | 기하 분할된 블록에 대한 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체 |
WO2023200243A1 (ko) * | 2022-04-12 | 2023-10-19 | 엘지전자 주식회사 | Mvd 부호 예측에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체 |
WO2024058494A1 (ko) * | 2022-09-13 | 2024-03-21 | 엘지전자 주식회사 | 예측 모델의 학습에 기반한 피쳐 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010538520A (ja) * | 2007-09-02 | 2010-12-09 | エルジー エレクトロニクス インコーポレイティド | ビデオ信号処理方法及び装置 |
WO2016199330A1 (ja) * | 2015-06-12 | 2016-12-15 | パナソニックIpマネジメント株式会社 | 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置 |
WO2018199051A1 (ja) * | 2017-04-25 | 2018-11-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法および復号方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007043651A (ja) * | 2005-07-05 | 2007-02-15 | Ntt Docomo Inc | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム |
US9467705B2 (en) * | 2009-12-30 | 2016-10-11 | Ariscale Inc. | Video encoding apparatus, video decoding apparatus, and video decoding method for performing intra-prediction based on directionality of neighboring block |
CN101854551B (zh) * | 2010-06-08 | 2012-08-15 | 浙江大学 | 帧内预测模式编解码方法及装置 |
KR101675707B1 (ko) * | 2011-06-23 | 2016-11-11 | 가부시키가이샤 제이브이씨 켄우드 | 화상 인코딩 장치, 화상 인코딩 방법 및 화상 인코딩 프로그램, 및 화상 디코딩 장치, 화상 디코딩 방법 및 화상 디코딩 프로그램 |
GB2559062B (en) * | 2011-10-17 | 2018-11-14 | Kt Corp | Video decoding method using transform method selected from a transform method set |
CN105338348B (zh) * | 2011-10-24 | 2018-11-13 | 英孚布瑞智有限私人贸易公司 | 用于图像解码的方法和装置 |
EP4161078A1 (en) * | 2011-11-11 | 2023-04-05 | GE Video Compression, LLC | Effective wedgelet partition coding using spatial prediction |
SG11201703015PA (en) * | 2014-10-31 | 2017-05-30 | Mediatek Inc | Method of improved directional intra prediction for video coding |
KR20180030791A (ko) * | 2015-07-20 | 2018-03-26 | 엘지전자 주식회사 | 비디오 코딩 시스템에서 인트라 예측 방법 및 장치 |
US10397569B2 (en) * | 2016-06-03 | 2019-08-27 | Mediatek Inc. | Method and apparatus for template-based intra prediction in image and video coding |
US20170374369A1 (en) * | 2016-06-24 | 2017-12-28 | Mediatek Inc. | Methods and Apparatuses of Decoder Side Intra Mode Derivation |
WO2018021585A1 (ko) * | 2016-07-26 | 2018-02-01 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인트라 예측 방법 및 장치 |
EP3685585A1 (en) * | 2017-09-20 | 2020-07-29 | Vid Scale, Inc. | Handling face discontinuities in 360-degree video coding |
KR102454936B1 (ko) | 2017-10-13 | 2022-10-17 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 블록 단위의 화상 코딩을 위한 인트라 예측 모드 개념 |
US11350107B2 (en) * | 2017-11-16 | 2022-05-31 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and device, and recording medium storing bitstream |
-
2019
- 2019-03-28 KR KR1020237013131A patent/KR20230057481A/ko not_active Application Discontinuation
- 2019-03-28 CN CN201980036297.8A patent/CN112204963A/zh active Pending
- 2019-03-28 EP EP19712793.9A patent/EP3777141A1/en active Pending
- 2019-03-28 WO PCT/EP2019/057882 patent/WO2019185808A1/en active Application Filing
- 2019-03-28 KR KR1020207030912A patent/KR102524593B1/ko active IP Right Grant
- 2019-03-28 JP JP2020552199A patent/JP7217288B2/ja active Active
- 2019-03-29 TW TW108111307A patent/TWI763987B/zh active
-
2020
- 2020-09-25 US US17/032,113 patent/US11601672B2/en active Active
-
2023
- 2023-01-09 US US18/094,975 patent/US20230254508A1/en active Pending
- 2023-01-23 JP JP2023008219A patent/JP2023052578A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010538520A (ja) * | 2007-09-02 | 2010-12-09 | エルジー エレクトロニクス インコーポレイティド | ビデオ信号処理方法及び装置 |
WO2016199330A1 (ja) * | 2015-06-12 | 2016-12-15 | パナソニックIpマネジメント株式会社 | 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置 |
WO2018199051A1 (ja) * | 2017-04-25 | 2018-11-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法および復号方法 |
Non-Patent Citations (1)
Title |
---|
JONATHAN PFAFF, ET AL.: "Intra prediction modes based on neural networks", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-J0037-v1, JPN6022000133, April 2018 (2018-04-01), pages 1 - 14, ISSN: 0005201852 * |
Also Published As
Publication number | Publication date |
---|---|
JP2021519542A (ja) | 2021-08-10 |
US20230254508A1 (en) | 2023-08-10 |
US20210014531A1 (en) | 2021-01-14 |
CN112204963A (zh) | 2021-01-08 |
KR102524593B1 (ko) | 2023-04-21 |
KR20230057481A (ko) | 2023-04-28 |
TW201946455A (zh) | 2019-12-01 |
US11601672B2 (en) | 2023-03-07 |
JP7217288B2 (ja) | 2023-02-02 |
WO2019185808A1 (en) | 2019-10-03 |
EP3777141A1 (en) | 2021-02-17 |
TWI763987B (zh) | 2022-05-11 |
KR20200128586A (ko) | 2020-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7217288B2 (ja) | ブロック単位の画像符号化のためのイントラ予測モードの概念 | |
TWI794623B (zh) | 用於逐塊圖片編碼的幀內預測模式概念 | |
US10659804B2 (en) | Method and apparatus for encoding/decoding images using adaptive motion vector resolution | |
KR102622452B1 (ko) | 아핀 선형 가중 인트라 예측 | |
JP2020145753A (ja) | 変換係数ブロック復号装置および方法、ならびに変換係数ブロック符号化装置および方法 | |
TWI469644B (zh) | 使用辭典編碼視訊之方法 | |
KR101048634B1 (ko) | 비디오 압축을 위한 공간 희소성 유도된 시간적 예측 | |
US10652541B2 (en) | Method and device for encoding video data | |
JP2016134860A (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム | |
KR102059842B1 (ko) | 일반화된 그래프 파라미터를 이용하여 그래프 기반 변환을 수행하는 방법 및 장치 | |
US10735733B2 (en) | Method and device for encoding video data | |
EP3056002A2 (en) | Method for encoding and decoding a media signal and apparatus using the same | |
US20240137500A1 (en) | Intra-prediction mode concept for block-wise picture coding | |
WO2024013109A1 (en) | Encoder, decoder and methods for coding a data structure |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230221 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240417 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |