JP2021519542A - ブロック単位の画像符号化のためのイントラ予測モードの概念 - Google Patents
ブロック単位の画像符号化のためのイントラ予測モードの概念 Download PDFInfo
- Publication number
- JP2021519542A JP2021519542A JP2020552199A JP2020552199A JP2021519542A JP 2021519542 A JP2021519542 A JP 2021519542A JP 2020552199 A JP2020552199 A JP 2020552199A JP 2020552199 A JP2020552199 A JP 2020552199A JP 2021519542 A JP2021519542 A JP 2021519542A
- Authority
- JP
- Japan
- Prior art keywords
- intra
- block
- current block
- prediction
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 claims abstract description 165
- 230000009466 transformation Effects 0.000 claims description 61
- 238000000034 method Methods 0.000 claims description 59
- 238000006243 chemical reaction Methods 0.000 claims description 54
- 230000002441 reversible effect Effects 0.000 claims description 11
- 238000012952 Resampling Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 description 75
- 238000005457 optimization Methods 0.000 description 20
- 210000002569 neuron Anatomy 0.000 description 19
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000013139 quantization Methods 0.000 description 14
- 238000012549 training Methods 0.000 description 13
- 238000009826 distribution Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 230000011664 signaling Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 230000002427 irreversible effect Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000001994 activation Methods 0.000 description 5
- 238000012886 linear function Methods 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 108091026890 Coding region Proteins 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 101100356020 Haemophilus influenzae (strain ATCC 51907 / DSM 11121 / KW20 / Rd) recA gene Proteins 0.000 description 1
- 101100042680 Mus musculus Slc7a1 gene Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
- H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
Abstract
Description
再サンプリングされたテンプレートを取得するために、第1のテンプレートと一致するように、現在のブロックに隣接するサンプルの第2のテンプレートを再サンプリングし、
予備的イントラ予測を取得するために、サンプルの再サンプリングされたテンプレートをニューラルネットワークに適用し、
現在のブロックのイントラ予測信号を取得するために、現在のブロックに一致するように予備的イントラ予測信号を再サンプリングするように構成される、装置が開示される。
再サンプリングされたテンプレートを取得するために、第1のテンプレートと一致するように、現在のブロックに隣接するサンプルの第2のテンプレートを再サンプリングし、
予備的イントラ予測を取得するために、サンプルの再サンプリングされたテンプレートをニューラルネットワークに適用し、
現在のブロックのイントラ予測信号を取得するために、現在のブロックに一致するように予備的イントラ予測信号を再サンプリングするように構成される、装置も開示される。
現在のブロックの次元に一致するようにイントラ予測信号の次元を増やし、
予備的イントラ予測信号の追加された係数であって、より高い周波数のビンに関連する追加された係数の係数をゼロパディングする
ことによって変換ドメイン予備的イントラ予測信号を再サンプリングするように構成されることができる。
現在のブロックの隣接するサンプルの第1のセットをニューラルネットワークに適用して、現在のブロックの変換の変換係数のセットの予測を取得することによって、画像の現在のブロックのイントラ予測信号が判定される少なくとも1つのイントラ予測モードをサポートする、装置も開示される。
現在のブロックの隣接するサンプルの第1のセットをニューラルネットワークに適用して、現在のブロックの変換の変換係数のセットの予測を取得することによって、画像の現在のブロックのイントラ予測信号が判定される少なくとも1つのイントラ予測モードをサポートする、装置も開示される。
サンプルの再サンプリングされたテンプレートをニューラルネットワークに適用し、予備的イントラ予測信号を取得することと、
現在のブロックに一致するように予備的イントラ予測信号を再サンプリングし、現在のブロックのイントラ予測信号を取得することと、
を備える方法が開示される。
現在のブロックの隣接するサンプルの第1のセットをニューラルネットワークに適用して、現在のブロックの変換の変換係数のセットの予測を取得することを備える、方法が開示される。
現在のブロックの隣接するサンプルの第1のセットをニューラルネットワークに適用して、現在のブロックの変換の変換係数のセットの予測を取得することを備える、方法が開示される。
1.イントラ予測を実行するニューラルネットワークのパラメータをトレーニングするアルゴリズム
ビデオフレームのブロック、すなわちブロック18を
とする。
が
ピクセルを有すると仮定する。固定色成分の場合、
を
のビデオ信号の内容とする。
を
の要素と見なす。
ピクセルを有し、既に再構成された画像
が利用可能である
の隣接
が利用可能であると仮定する。すなわち、サンプルセット60および86は、代わりに異なってもよい。イントラ予測関数により、関数
を意味する。
を
の予測器と見なす。
のイントラ予測関数を設計するアルゴリズムである。その目標を達成するために、以下の主要な設計機能を考慮に入れた。
1.1 ビデオコーデックのレート関数を近似する損失関数をトレーニングするアルゴリズム
ビデオコーデックで使用される未知のパラメータを判定するためのデータ駆動型アプローチは、通常、特定のトレーニング例のセットで事前定義された損失関数を最小化しようとする最適化アルゴリズムとして設定される。通常、数値最適化アルゴリズムが実際に機能するためには、後者の損失関数がいくつかの滑らかさの要件を満たす必要がある。
を最小限に抑える決定を下すときに最高の性能を発揮する。ここで、
は、復号されたビデオ信号の再構成エラーであり、
は、レート、すなわちビデオ信号を符号化するために必要なビット数である。さらに、
は、選択した量子化パラメータに依存するラグランジュパラメータである。
は、通常、非常に複雑であり、データ駆動型最適化アルゴリズムに供給することができる閉じた式では与えられない。したがって、関数
の全体または少なくともレート関数
のいずれかを区分的に滑らかな関数で近似する。
をビデオフレーム10の所与のブロック1/とし、
を固定色成分における
についての対応するビデオ信号とする。
が
ピクセルを有すると仮定する。次に、予測候補
について、予測残差
を考慮する。与えられた量子化パラメータと与えられた変換について、
を真のビデオエンコーダが
の量子化された変換を信号で送る必要があるレートとする。さらに、
を
の逆量子化と逆変換によって発生する再構成エラーとする。次に、
が
の適切な近似として機能し、
が
の適切な近似として機能するように、区分的に滑らかな関数
を判定したい。
および
を決定するために、特定のハイブリッドビデオ符号化標準を使用する一般的なエンコーダにおいて、有限の大きなインデックスセット
のレート値
のみである、予測残差
、
のトレーニング例の膨大なセット、および対応するレート歪み値
をそれぞれ収集した。次に、式
を最小化するか、少なくとも小さくするように、
および
を見つけようとする。
1.2 固定ブロック形状の予測のトレーニング
このセクションでは、特定のブロック
18、st72の予測、および既に再構成されたサンプルの領域
60の
イントラ予測を設計するために設定したアルゴリズムについて説明する。
に対して関数
(1)
が与えられ、我々のイントラ予測が
として与えられるように「重み」
を判定したいことを意味し、ここで、
について
(2)
とする。
の
番目のコンポーネント
は、トレーニングする
番目のイントラモードを通知するために必要なビット数をモデル化する。
がセクション2.1で定義された関数である場合、
について、与えられた再構成された画像
と元の画像
に対して、
は全ての
について
であるプロパティで最小
を示すものとする。
は、イントラモードの特異化のために真のビット数をモデル化するため、その勾配は、ゼロまたは未定義のいずれかである。したがって、最急降下法に基づくアルゴリズムを介して重み
を最適化するには、
だけでは十分ではない。したがって、softmax関数を使用して関数
を確率分布に変換することにより、イントラモードのクロスエントロピーも呼び出す。後者の関数の定義に留意されたい。
について、
は
のi番目のコンポーネントを示すものとする。次に、softmax関数
は、
のように定義される。
を決定する。したがって、有限で大きなインデックスセット
の場合、
の画像
とそれに対応する再構成された
の画像
のトレーニング例のセットが与えられ、例えば、(確率的)勾配降下法に基づく最適化アルゴリズムを適用して、式
(6)
を最小化する重み
を見つける。
1.3 関数
およびの仕様
このセクションでは、関数
および
の形式をより正確に定義する。同様に、ニューラルネットワーク80および84を定義するものに留意されたい。これらの関数のそれぞれは、1)アフィン変換
または2)非線形活性化関数
のいずれかである関数の一連の構成で構成されている。
により、
の形式の写像を意味する。ここで、
は線形変換であり、すなわち、全ての
、
について
を満たし、ここで、
である。各線形写像
は、
の行列によって完全に決定され、すなわち、ベクトル
に一意に対応する。したがって、各アフィン関数
は、
重み、すなわちベクトル
によって完全に決定される。各
について、前述の方法で
に対応する固有のアフィン変換について
を記述する。
は、
の
番目のコンポーネントを示し、
は、
の
番目のコンポーネントを示す。最後に、
は、形式
(7)
または形式
(8)
からなることができるが、これらの例は、本出願の例をこれらの明示的な例に限定するものとして解釈されるべきではない。
または任意の他の非線形関数などの他の式も同様に使用することができる。あるいは、
は、例えば、区分的に滑らかな関数であってもよい。
は、パラメータ
を使用してパラメータ化されたニューラルネットワーク80iを記述する。これは、線形関数
と非線形関数
のシーケンスであり、この例では、シーケンス内で交互に適用され、パラメータ
は、
の線形関数重みを含む。線形関数
と非線形関数
のシーケンスでは、非線形関数
が続く線形関数
のペアは、例えば、
の次元mによって決定されるニューラルネットワークのフィードフォワード方向におけるこのニューロン層jの前に先行ノードの数、
の列の数、およびその行の数である
の次元nによって決定されるニューロン層j自体のニューロンの数を有するj番目の層などのニューロン層を表す。
の各行には、m個の先行ニューロンのそれぞれの信号強度のそれぞれの活性化がそれぞれの行に対応するニューロン層jのそれぞれのニューロンに転送される強度を制御する重みが組み込まれている。
は、ニューロン層jの各ニューロンを制御し、転送された先行ニューロンの活性化の線形結合をそれ自体の活性化に非線形マッピングする。上記の例では、
のそのようなニューロン層がある。層ごとのニューロンの数は異なる場合がある。ニューロン層
の数は、様々なニューラルネットワーク80j間で、すなわち、異なるjについて変化し得る。非線形関数は、ニューロン層ごとに、あるいはニューロンごとに、あるいは他のいくつかのユニットでさえも変化する可能性があることに留意されたい。
、
および
は、(3)におけるものと同じである。次に、
を有する
について、
のように定義する。
したがって、
は、パラメータ
を使用してパラメータ化されたニューラルネットワーク84を記述する。これは、予測信号の計算に関するニューロン層に関して上で説明したように、線形関数
および非線形関数
のシーケンスであろう。ニューラルネットワーク84のニューロン層の数
は、ニューラルネットワーク80iのニューロン層の数
のうちの1つ以上とは異なることができる。
1.4 既存の予測を考慮したトレーニング
既存のイントラ予測を補完する予測をトレーニングできるように前のセクションのアルゴリズムを拡張した。
を既に利用可能な固定イントラ予測関数のセットとする。例えば、
は、HEVCのDC予測または平面予測とHEVCにしたがって定義された角度予測から構成されることができ、これら全ての予測にはまた、再構成されたサンプルの予備的な平滑化も含むことができる。さらに、
が、
が与えられた元の画像
に適用された
番目のイントラ予測関数
の損失をモデル化するように、関数
が与えられていると仮定する。
1.5 いくつかのブロック形状の予測の共同トレーニング
このセクションでは、予測のトレーニングにおいて、一般的なビデオ符号化標準では、ブロックを様々な方法で小さなサブブロックに分割し、小さなサブブロックでイントラ予測を実行することが通常可能であることを考慮に入れる方法について説明した。
を
の画像とし、これは、制限により、各
について、
の画像
と見なされる。さらに、
の再構成された画像
が存在すると仮定し、これは、制限により、各
について、
の画像
と見なされる。
について、
イントラ予測関数
の重みのセットとして
を求め、モード予測関数
の重みとして
を求める。これらの重みを全ての
について共同で以下のように決定する。
および与えられた重みのセット
、
、
、
について、
とする。
を以下のように定義する。セットを含めてセット
における順序付け
を有する。
を
の全ての最小要素のセットとする。
について、
とし、ここで、後者の関数は、(9)におけるものと同じである。
について(9)を個別に最小化することにより、重み
、
を初期化する。
2 トレーニングされたニューラルネットワークのビデオコーデックへの統合
特定の色成分について、特定のブロック
上のビデオ信号のコンテンツがデコーダによって生成されるハイブリッドビデオ符号化標準を検討する。
を
のピクセル数とする。さらに、
を、デコーダが
の再構成された画像
を自由に使えるように、
の固定された隣接とする。
を
のピクセル数とする。次に、
を
の要素と見なす。コーデックは、現在のブロック
10の予測符号化によって動作すると仮定する。次に、
の予測信号
を生成するためにデコーダが実行できる以下の手順の著作権を主張する。これは、
の要素と見なされる:
1.デコーダは、その自由の固定数
において関数
、すなわち84
を有するとともに、重み
および重み
を有し、後者の重みは、前のセクションで説明したトレーニングアルゴリズムによって事前に決定される。
、すなわち84を再構成された画像
に適用する。
を
として定義する。次に、デコーダが以下の2つのオプションのうちの正確に1つによって数値
を定義するように標準が変更される
によってセット
の確率分布
を定義し、後者の確率分布
を使用して、データストリーム12からの基礎となる標準で使用され且つ
を定義するエントロピー符号化エンジンを介してサイド情報70の一部でもあるインデックス
を解析する。
を解析するコード設計では、
である場合且つエントロピー符号化エンジンによって使用される全ての関連する基礎となる確率が等しい確率に設定される場合、インデックス
を通知するために必要なビット数がインデックス
を通知するためのビット数以下である必要がある。
を決定した場合、デコーダは、すなわち、選択されたニューラルネットワーク80mを使用して、
として予測信号
を生成する71。次に、デコーダは、予測信号として
を使用して、基礎となるハイブリッドビデオ符号化標準のように進める。
についてセクション1.2で提示された内部品質の第2の加算器が、確率値ニューラルネットワーク関数GBに適用された関数MBの連結である必要がないことを意味する。むしろ、選択の頻度がMBのコードレート表示に適切にしたがうように、ニューラルネットワーク80iに適切なパラメータを決定するものの最適化アルゴリズムである。例えば、デコーダ54は、可変長コードを使用してブロック18のインデックスをデータストリーム12から復号することができ、そのコード長はMBで示され、デコーダ54は、このインデックスに基づいて選択68を実行する。インデックスは、サイド情報70の一部であろう。
(rec)は、モードBの予測残差118であり、確率値
(rec)は、確率値120である。各モード0・・・Kb−1について、それぞれのモードについて得られた予測信号118に基づいてそれぞれのモードのコスト推定値を計算する装置108によって構成されるコスト推定器122が存在する。上記の例では、コスト推定器122は、セクション1.2の不等式の左側および右側に示されているように、コスト推定値を計算した。すなわち、ここで、コスト推定器122はまた、各モードについて、対応する確率値120を使用した。しかしながら、これは、既に上で説明したように当てはまる必要はない。しかしながら、コスト推定は、いずれの場合も2つのアドインの合計であり、そのうちの一方は、上記の不等式内の
を有する項として示される予測残差の符号化コストの推定であり、他方は、モードを示すために符号化コストを推定するアドインである。予測残差に関連する符号化コストの推定値を計算するために、コスト推定器122はまた、現在の画像テストブロック114の元の内容を取得する。ニューラルネットワーク80および84は、それらの入力において、対応する隣接するサンプルセット116を適用した。コスト推定器122によって出力されたコスト推定値124は、最小コスト推定値を最小化するか、またはそれに関連する最小コスト推定値を有するモードを決定する最小コストセレクタ126によって受信される。上記の数学表記では、これは、
であった。アップデータは、この最適モードを受信し、最低の符号化推定値のイントラ予測モードに対して得られた予測信号118に応じて残差レート推定値を形成する第1のアドインと、セレクタ126によって示されるように、予測信号および最小の符号化コスト推定のイントラ予測モードについて得られた確率値に依存するサイド情報レート推定値をシグナリングするモードを形成する第2のアドインとを有する符号化コスト関数を使用する。上に示したように、これは、離れた勾配を使用して行うことができる。したがって、符号化コスト関数は、微分可能であり、上記の数学的表現では、この関数の例が式5に示されている。ここで、モードシグナリングサイド情報レート推定に関連する第2のアドインは、最小の符号化コスト推定のイントラ予測モードのクロスエントロピーを計算した。
図11−1の例
図11−1は、エンコーダ14−1の可能な実装、すなわち、エンコーダが予測残差を符号化するために変換符号化を使用するように構成されるものを示しているが、これはほぼ例であり、本出願は、その種の予測残差符号化に限定されるものではない。図11−1によれば、エンコーダ14−1は、インバウンド信号、すなわち画像10、またはブロックベースで現在のブロック18から対応する予測信号24−1を減算して、後に予測残差エンコーダ28によってデータストリーム12に符号化される空間ドメイン予測残差信号26を取得するように構成された空間ドメイン減算器22を備える。予測残差エンコーダ28は、不可逆符号化ステージ28aおよび可逆符号化ステージ28bを備える。不可逆符号化ステージ28aは、予測残差信号26を受信し、予測残差信号26のサンプルを量子化する量子化器30を備える。本例は、予測残差信号26の変換符号化を使用し、したがって、不可逆符号化ステージ28aは、残差信号26を提示する変換された係数で行われる量子化器30の量子化によってスペクトル分解されたそのような予測残差27を変換するように、減算器22と量子化器30との間に接続された変換ステージ32を含む。変換は、DCT、DST、FFT、アダマール変換などとすることができる。次に、変換および変換ドメイン量子化された予測残差信号34は、量子化予測残差信号34をデータストリーム12にエントロピー符号化するエントロピーコーダである可逆符号化ステージ28bによる可逆符号化を受ける。
図11−2の例
図11−2は、デコーダ54−2の可能な実装、すなわちエンコーダ14−1の実装に適合するものを示している。エンコーダ54−2の多くの要素は、図11−1の対応するエンコーダで発生する要素と同じであるため、これらの要素を示すために、「−2」が付いた同じ参照符号が図11−2で使用される。特に、加算器42−2、任意のインループフィルタ46−2、および予測器44−2は、図11−1のエンコーダと同じ方法で予測ループに接続される。再構成された、すなわち逆量子化および再変換された予測残差信号24−2(例えば、60)は、エントロピーエンコーダ28bのエントロピー符号化を逆にするエントロピーデコーダ56のシーケンス、続いて符号化側の場合と同じように逆量子化器38−2および逆変換器40−2で構成される残差信号再構成ステージ36−2によって導出される。デコーダの出力は、画像10の再構成である。画像10の再構成を画像品質を改善するためにいくつかのポストフィルタリングにかけるために、いくつかのポストフィルタ46−2がデコーダの出力に配置されることができる。同様に、図11−1に関して上に示した説明は、エンコーダが最適化タスクと符号化オプションに関する関連する決定を実行するだけであることを除いて、図11−2にも有効である。しかしながら、ブロック細分割、予測、逆量子化、および再変換に関する全ての説明は、図11−2のデコーダ54についても有効である。再構成された信号24−2は、予測器44−2に提供され、予測器44−2は、図5〜図10の例にしたがってニューラルネットワークで動作することができる。予測器44−2は、変換ドメイン予測値45−2を提供することができる。
図12の例
ここで、図12を参照する。デコーダおよびエンコーダの双方を同時に、すなわち、 イントラ予測ブロック18に関するそれらの機能の観点である。イントラ符号化ブロック18に関するエンコーダ動作モードとデコーダ動作モードとの違いは、一方では、エンコーダが利用可能なイントラ予測モード66の全てまたは少なくともいくつかを実行し、例えば、意味を最小化するコスト関数の観点から最適なものを90で決定し、エンコーダがデータストリーム12を形成する、すなわちコードがそこに日付を記入し、デコーダがそれぞれ復号および読み取りによってそこからデータを導出するという事実である。図12は、ブロック18のサイド情報70内のフラグ70aが、セット72内、すなわち、ニューラルネットワークベースのイントラ予測モードである、またはセット74内、すなわち、非ニューラルネットワークベースのイントラ予測モードの1つである、ステップ90でエンコーダによってブロック18にとって最良のモードであると決定されたイントラ予測モードであるかどうかを示す、上記で概説した代替案の動作モードを示す。エンコーダは、それに応じてフラグ70aをデータストリーム12に挿入する一方で、デコーダは、フラグ70aをそこから検索する。図12は、決定されたイントラ予測モード92がセット72内にあると仮定している。次に、別個のニューラルネットワーク84は、セット72の各ニューラルネットワークベースのイントラ予測モードの確率値を決定し、これらの確率値セット72を使用して、またはより正確には、その中のニューラルネットワークベースのイントラ予測モードは、確率値の降順などの確率値にしたがって順序付けられ、それにより、イントラ予測モードの順序付きリスト94をもたらす。次に、サイド情報70の一部であるインデックス70bは、エンコーダによってデータストリーム12に符号化され、そこからデコーダによって復号される。したがって、デコーダは、セット72および74のどのセットを決定することができる。ブロック18に使用されるイントラ予測モードは、使用されるイントラ予測モードがセット72に位置する場合、セット72の順序付け96を実行するように位置する。決定されたイントラ予測モードがセット74に位置する場合、インデックスもまた、データストリーム12で送信されることができる。したがって、デコーダは、それに応じて選択68を制御することによって、決定されたイントラ予測モードを使用して、ブロック18の予測信号を生成することができる。
議論
ニューラルネットワークを介してイントラ予測信号を生成する方法が定義されており、この方法がビデオまたは静止画像コーデックにどのように含まれるかが説明されている。これらの例では、空間ドメインに予測する代わりに、予測器44−1、44−2は、例えば離散コサイン変換などの基礎となるコーデックで既に利用可能である可能性のある事前定義された画像変換の変換ドメインに予測することができる。第2に、特定の形状のブロック上の画像に対して定義された各イントラ予測モードは、より大きなブロック上の画像に対してイントラ予測モードを誘導する。
対照的に、図11および図12は、以下の手順に言及している:予測信号pred(45−1、45−2)が上記のようなニューラルネットワークイントラ予測法によって生成される場合、最終的な再構成信号(24−1、24−2)は、pred+res(predは45−1または45−2、resは39−1または39−2)の逆変換(40−1、40−2)によって取得され、それらの合計は、43−1または43−2であり、これは、最終的な再構成信号24−1、24−2の変換ドメインバージョンである。
図13aおよび図13b
図13aおよび図13bを参照すると、例えば、空間ドメインベースの方法(例えば、図11aおよび図11b)および/または変換ドメインベースの方法(例えば、図1〜図4)に適用され得る戦略が示されている。
−第1のテンプレート(例えば、130、170)に準拠させて再サンプリングされたテンプレート(例えば、130、170)を取得するために、現在のブロック(例えば、18)に隣接するサンプルの第2のテンプレート(例えば、60)を再サンプリング(例えば、D、134、166)し、
−予備的イントラ予測信号(例えば、138)を取得するために、ニューラルネットワーク(例えば、80)上のサンプルの再サンプリングされたテンプレート(例えば、130、170)を適用し、
−現在のブロックのイントラ予測信号を取得するために、現在のブロック(18、B1)に一致するように予備的イントラ予測信号(138)を再サンプリング(例えば、U、V、182)する。
−Brec(130)上のK×Nブロック、
−Brec(130)の左側にあるM×Lブロック、および、
−Brec(130)上、およびBrec(130)の左側にあるM×Lブロック上のK×Nブロックの左側にあるK×Lブロック。
議論
B1(例えば、18)をM1行およびN1列のブロックとし、M1≧MおよびN1≧Nと仮定する。B1,recをB1の隣接(例えば、隣接するテンプレート60)とし、B1,recのサブセットと見なされる領域Brec(例えば、130)を仮定する。im1(例えば、138)をB1の画像とし、rec1(例えば、B1,recの係数)をB1,recの既に再構成された画像とする。上記の解決策は、B1,recの画像をB1の画像にマッピングする、事前定義されたダウンサンプリング操作D(例えば、134、166)に基づいている。例えば、M1=2M、N1=2Nの場合、BrecがBの上のK行とBの左側のL列、およびBの左上のサイズK×Lのコーナーで構成され、B1,recがB1上の2K行およびBの左側の2L列、B1の左上のサイズ2K×2Lのコーナーから構成される場合、Dは、平滑化フィルタを適用した後、各方向に2倍のダウンサンプリング操作を行う操作とすることができる。したがって、D(rec1)は、Brecで再構成された画像と見なすことができる。上記のニューラルネットワークベースのイントラ予測モードを使用して、D(rec1)から、B上の画像である予測信号pred(45−1)を形成することができる。
その他の例
一般的に言えば、上記のようなデコーダは、上記のようなエンコーダを備えることができ、および/またはその逆もしかりである。例えば、エンコーダ14は、デコーダ54であるか、またはデコーダ54を含む(またはその逆)ことができる。エンコーダ14−1は、デコーダ54−2(またはその逆)などとすることができる。さらに、エンコーダ14または14−1は、量子化された予測残差信号34が、予測信号24または24−1を得るために復号されるストリームを形成するため、それ自体がデコーダを含むと理解することもできる。
Claims (39)
- データストリーム(12)から画像(10)をブロック単位で復号するための装置(54−2)であって、前記画像の所定のサイズのブロック(136、172)のイントラ予測信号が現在のブロックに隣接するサンプルの第1のテンプレート(130、170)をニューラルネットワーク(80)に適用することによって判定される、少なくとも1つのイントラ予測モードをサポートする装置であって、前記所定のサイズとは異なる現在のブロック(18)に対して、
再サンプリングされたテンプレート(130、170)を取得するために、前記第1のテンプレート(130、170)と一致するように、前記現在のブロック(18)に隣接するサンプルの第2のテンプレート(60)を再サンプリング(134、166)し、
予備的イントラ予測信号(138、172、176)を取得するために、前記サンプルの再サンプリングされたテンプレート(130、170)を前記ニューラルネットワーク(80)に適用(138a、170a、44−1、44−2)し、
前記現在のブロック(18)の前記イントラ予測信号(142、24−1、24−2)を取得(140)するために、前記現在のブロック(18)に一致するように前記予備的イントラ予測信号(138、172、176)を再サンプリング(140、180)するように構成される、装置。 - 前記第2のテンプレート(60)をダウンサンプリング(D)して前記第1のテンプレート(130、170)を取得することによって再サンプリング(134、166)するように構成される、請求項1に記載の装置。
- 前記予備的イントラ予測信号(138、172)をアップサンプリング(U、140)することによって前記予備的イントラ予測信号(138、172、176)を再サンプリング(140)するように構成される、請求項1または2に記載の装置。
- 前記予備的イントラ予測信号(138、176)を空間ドメインから変換ドメインに変換し、
前記変換ドメインにおいて前記予備的イントラ予測信号(176)を再サンプリングする
ように構成される、請求項1から3のいずれか一項に記載の装置。 - 前記予備的イントラ予測信号(176)の係数をスケーリングすることによって、前記変換ドメイン予備的イントラ予測信号(176)を再サンプリング(140)する
ように構成される、請求項4に記載の装置。 - 前記現在のブロック(18)の次元に一致するように(182)前記イントラ予測信号(176)の次元を増やし、
前記予備的イントラ予測信号(176)の追加された係数であって、より高い周波数のビンに関連する前記追加された係数の係数をゼロパディングする
ことによって前記変換ドメイン予備的イントラ予測信号(176)を再サンプリング(140)する
ように構成される、請求項4または5に記載の装置。 - 予測残差信号(34)の逆量子化バージョン(39−1、39−2)によって前記変換ドメイン予備的イントラ予測信号(176)を構成する(42−1、42−2)
ように構成される、請求項4から6のいずれか一項に記載の装置。 - 空間ドメインにおける前記予備的イントラ予測信号(138)を再サンプリング(140)する
ように構成される、請求項1から7のいずれか一項に記載の装置。 - 双一次補間を実行することによって前記予備的イントラ予測信号(138)を再サンプリング(140)する
ように構成される、請求項8に記載の装置。 - さらに、前記再サンプリングおよび/または前記異なる次元のニューラルネットワークの使用に関する情報をデータフィールドに符号化する
ように構成される、請求項1から9のいずれか一項に記載の装置。 - 現在のブロック(18)の隣接するサンプルの第1のセット(60)をニューラルネットワーク(80)に適用して、前記現在のブロック(18)の変換(34、39−1、39−2)の変換係数のセットの予測(45−1、45−2)を取得する
ことによって、前記画像の前記現在のブロック(18)の前記イントラ予測信号(24−1、24−2)が判定される少なくとも1つのイントラ予測モードをサポートする、請求項1から10のいずれか一項に記載の装置。 - データストリーム(12)から画像(10)をブロック単位で復号するための装置であって、現在のブロック(18)の隣接するサンプルの第1のセット(60)をニューラルネットワーク(80)に適用して、前記現在のブロック(18)の変換(34、39−1、39−2)の変換係数のセットの予測(45−1、45−2)を取得する
ことによって、前記画像の前記現在のブロック(18)の前記イントラ予測信号(24−1、24−2)が判定される少なくとも1つのイントラ予測モードをサポートする、装置。 - 請求項1から11のいずれか一項に記載の装置としてさらに構成される、請求項12に記載の装置。
- 再構成された信号(24−1、24−2)を取得するために前記予測(45−1、45−2)を逆変換(40−1、40−2)する
ように構成される、請求項1から13のいずれか一項に記載の装置。 - 可変長コードを使用して前記データストリーム(12)からインデックス(70b)を復号し、
前記インデックス(70b)を使用して選択を実行する
ように構成される、請求項1から14のいずれか一項に記載の装置。 - イントラ予測モードのセット(72)のランキングを判定し、
その後、前記第2のテンプレート(60)を再サンプリングする
ように構成される、請求項1から15のいずれか一項に記載の装置。 - データストリーム(12)に画像(10)をブロック単位で符号化するための装置(14−1)であって、前記画像の所定のサイズのブロック(136、172)のイントラ予測信号が現在のブロックに隣接するサンプルの第1のテンプレート(130、170)をニューラルネットワーク(80)に適用することによって判定される、少なくとも1つのイントラ予測モードをサポートする装置(14−1)であって、前記所定のサイズとは異なる現在のブロック(18)に対して、
再サンプリングされたテンプレート(130、170)を取得するために、前記第1のテンプレート(130、170)と一致するように、前記現在のブロック(18)に隣接するサンプルの第2のテンプレート(60)を再サンプリング(134、166)し、
予備的イントラ予測信号(138、172、176)を取得するために、前記サンプルの再サンプリングされたテンプレート(130、170)を前記ニューラルネットワーク(80)に適用(138a、170a、44−1、44−2)し、
前記現在のブロック(18)のイントラ予測信号(142、24−1、24−2)を取得(140)するために、前記現在のブロック(18)に一致するように前記予備的イントラ予測信号(138、172、176)を再サンプリング(140、180)する
ように構成される、装置。 - 前記第2のテンプレート(60)をダウンサンプリング(D)して前記第1のテンプレート(130、170)を取得することによって再サンプリング(134、166)するように構成される、請求項17に記載の装置。
- 前記予備的イントラ予測信号(138、172)をアップサンプリング(U、140)することによって前記予備的イントラ予測信号(138、172、176)を再サンプリング(140)するように構成される、請求項17または18に記載の装置。
- 前記予備的イントラ予測信号(138、176)を空間ドメインから変換ドメインに変換し、
前記変換ドメインにおいて前記予備的イントラ予測信号(176)を再サンプリングする
ように構成される、請求項17から19のいずれか一項に記載の装置。 - 前記予備的イントラ予測信号(176)の係数をスケーリングすることによって、変換ドメイン予備的イントラ予測信号(176)を再サンプリング(140)する
ように構成される、請求項20に記載の装置。 - 前記現在のブロック(18)の次元に一致するように(182)前記イントラ予測信号(176)の次元を増やし、
前記予備的イントラ予測信号(176)の追加された係数であって、より高い周波数のビンに関連する前記追加された係数の係数をゼロパディングする
ことによって前記変換ドメイン予備的イントラ予測信号(176)を再サンプリング(140)する
ように構成される、請求項20または21に記載の装置。 - 予測残差信号(34)の逆量子化バージョン(39−1、39−2)によって前記変換ドメイン予備的イントラ予測信号(176)を構成する(42−1、42−2)
ように構成される、請求項20から22のいずれか一項に記載の装置。 - 前記空間ドメインにおける前記予備的イントラ予測信号(138)を再サンプリング(140)する
ように構成される、請求項17から23のいずれか一項に記載の装置。 - 双一次補間を実行することによって前記予備的イントラ予測信号(138)を再サンプリング(140)する
ように構成される、請求項24に記載の装置。 - さらに、前記再サンプリングおよび/または前記異なる次元のニューラルネットワークの使用に関する情報をデータフィールドに符号化する
ように構成される、請求項17から23のいずれか一項に記載の装置。 - 現在のブロック(18)の隣接するサンプルの第1のセット(60)をニューラルネットワーク(80)に適用して、前記現在のブロック(18)の変換(34、39−1、39−2)の変換係数のセットの予測(45−1、45−2)を取得する
ことによって、前記画像の前記現在のブロック(18)の前記イントラ予測信号(24−1、24−2)が判定される少なくとも1つのイントラ予測モードをサポートする、請求項17から26のいずれか一項に記載の装置。 - データストリーム(12)から画像(10)をブロック単位で復号するおよび/またはデータストリーム(12)に画像(10)をブロック単位で符号化するための装置であって、
現在のブロック(18)の隣接するサンプルの第1のセット(60)をニューラルネットワーク(80)に適用して、前記現在のブロック(18)の変換(34、39−1、39−2)の変換係数のセットの予測(45−1、45−2)を取得することによって、前記画像の前記現在のブロック(18)の前記イントラ予測信号(24−1、24−2)が判定される少なくとも1つのイントラ予測モードをサポートする、装置。 - 請求項17から28のいずれか一項に記載の装置としてさらに構成される、請求項28に記載の装置。
- 再構成された信号(24−1、24−2)を取得するために前記予測(45−1、45−2)を逆変換(40−1、40−2)する
ように構成される、請求項17から29のいずれか一項に記載の装置。 - 可変長コードを使用して前記データストリーム(12)からインデックス(70b)を復号し、
前記インデックス(70b)を使用して選択を実行する
ように構成される、請求項17から30のいずれか一項に記載の装置。 - イントラ予測モードのセット(72)のランキングを判定し、
その後、前記第2のテンプレート(60)を再サンプリングする
ように構成される、請求項17から31のいずれか一項に記載の装置。 - データストリーム(12)から画像(10)をブロック単位で復号するための方法であって、前記画像の所定のサイズのブロック(136、172)のイントラ予測信号が現在のブロックに隣接するサンプルの第1のテンプレート(130、170)をニューラルネットワーク(80)に適用することによって判定される、少なくとも1つのイントラ予測モードをサポートする方法であって、
再サンプリングされたテンプレート(130、170)を取得するために、第1のテンプレート(130、170)と一致するように、前記現在のブロック(18)に隣接するサンプルの第2のテンプレート(60)を再サンプリング(134、166)し、
予備的イントラ予測信号(138、172、176)を取得するために、前記サンプルの再サンプリングされたテンプレート(60)をニューラルネットワーク(80)に適用(138a、170a、44−1、44−2)し、
前記現在のブロック(18)の前記イントラ予測信号(142、24−1、24−2)を取得(140)するために、前記現在のブロック(18)に一致するように前記予備的イントラ予測信号(138、172、176)を再サンプリング(140)することを備える、方法。 - データストリーム(12)に画像(10)をブロック単位で符号化するための方法であって、前記画像の所定のサイズのブロック(136、172)のイントラ予測信号が現在のブロックに隣接するサンプルの第1のテンプレート(130、170)をニューラルネットワーク(80)に適用することによって判定される、少なくとも1つのイントラ予測モードをサポートする方法であって、
再サンプリングされたテンプレート(130、170)を取得するために、第1のテンプレート(130、170)と一致するように、前記現在のブロック(18)に隣接するサンプルの第2のテンプレート(60)を再サンプリング(134、166)し、
予備的イントラ予測信号(138、172、176)を取得するために、前記サンプルの再サンプリングされたテンプレート(60)をニューラルネットワーク(80)に適用(138a、170a、44−1、44−2)し、
前記現在のブロック(18)の前記イントラ予測信号(142、24−1、24−2)を取得(140)するために、前記現在のブロック(18)に一致するように前記予備的イントラ予測信号(138、172、176)を再サンプリング(140)することを備える、方法。 - データストリーム(12)から画像(10)をブロック単位で復号する方法であって、
現在のブロック(18)の隣接するサンプルの第1のセット(60)をニューラルネットワーク(80)に適用して、現在のブロック(18)の変換(34、39−1、39−2)の変換係数のセットの予測(45−1、45−2)を取得することを備える、方法。 - データストリーム(12)に画像(10)をブロック単位で符号化する方法であって、
現在のブロック(18)の隣接するサンプルの第1のセット(60)をニューラルネットワーク(80)に適用して、現在のブロック(18)の変換(34、39−1、39−2)の変換係数のセットの予測(45−1、45−2)を取得することを備える、方法。 - コンピュータによって実行されると、前記コンピュータに請求項33から36のいずれか一項に記載の方法を実行させる命令を備える、コンピュータ可読記憶媒体。
- 画像(10)を符号化し、前記画像の所定のサイズのブロック(136、172)のイントラ予測信号が前記現在のブロックに隣接するサンプルの第1のテンプレート(130、170)をニューラルネットワーク(80)に適用することによって判定される、少なくとも1つのイントラ予測モードをサポートする方法によって取得されるデータストリームであって、
再サンプリングされたテンプレート(130、170)を取得するために、第1のテンプレート(130、170)と一致するように、前記現在のブロック(18)に隣接するサンプルの第2のテンプレート(60)を再サンプリング(134、166)し、
予備的イントラ予測信号(138、172、176)を取得するために、前記サンプルの再サンプリングされたテンプレート(60)をニューラルネットワーク(80)に適用(138a、170a、44−1、44−2)し、
前記現在のブロック(18)の前記イントラ予測信号(142、24−1、24−2)を取得(140)するために、前記現在のブロック(18)に一致するように前記予備的イントラ予測信号(138、172、176)を再サンプリング(140)することを備える、データストリーム。 - 画像(10)を符号化し、方法によって取得されるデータストリームであって、
現在のブロック(18)の隣接するサンプルの第1のセット(60)をニューラルネットワーク(80)に適用して、現在のブロック(18)の変換(34、39−1、39−2)の変換係数のセットの予測(45−1、45−2)を取得することを備える、データストリーム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023008219A JP2023052578A (ja) | 2018-03-29 | 2023-01-23 | ブロック単位の画像符号化のためのイントラ予測モードの概念 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18165224 | 2018-03-29 | ||
EP18165224.9 | 2018-03-29 | ||
PCT/EP2019/057882 WO2019185808A1 (en) | 2018-03-29 | 2019-03-28 | Intra-prediction mode concept for block-wise picture coding |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023008219A Division JP2023052578A (ja) | 2018-03-29 | 2023-01-23 | ブロック単位の画像符号化のためのイントラ予測モードの概念 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021519542A true JP2021519542A (ja) | 2021-08-10 |
JP7217288B2 JP7217288B2 (ja) | 2023-02-02 |
Family
ID=61868352
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020552199A Active JP7217288B2 (ja) | 2018-03-29 | 2019-03-28 | ブロック単位の画像符号化のためのイントラ予測モードの概念 |
JP2023008219A Pending JP2023052578A (ja) | 2018-03-29 | 2023-01-23 | ブロック単位の画像符号化のためのイントラ予測モードの概念 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023008219A Pending JP2023052578A (ja) | 2018-03-29 | 2023-01-23 | ブロック単位の画像符号化のためのイントラ予測モードの概念 |
Country Status (7)
Country | Link |
---|---|
US (2) | US11601672B2 (ja) |
EP (1) | EP3777141A1 (ja) |
JP (2) | JP7217288B2 (ja) |
KR (2) | KR20230057481A (ja) |
CN (1) | CN112204963A (ja) |
TW (1) | TWI763987B (ja) |
WO (1) | WO2019185808A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3562162A1 (en) * | 2018-04-27 | 2019-10-30 | InterDigital VC Holdings, Inc. | Method and apparatus for video encoding and decoding based on neural network implementation of cabac |
WO2020185022A1 (ko) | 2019-03-12 | 2020-09-17 | 주식회사 엑스리스 | 영상 신호 부호화/복호화 방법 및 이를 위한 장치 |
WO2021069688A1 (en) * | 2019-10-11 | 2021-04-15 | Interdigital Vc Holdings France, Sas | Deep intra predictor generating side information |
CN115104301A (zh) * | 2020-02-21 | 2022-09-23 | 交互数字Vc控股法国公司 | 用于视频编码或解码的基于神经网络的帧内预测 |
US11652994B2 (en) | 2021-01-19 | 2023-05-16 | Tencent America LLC | Neural image compression with adaptive intra-prediction |
US11595665B2 (en) * | 2021-02-11 | 2023-02-28 | Qualcomm Incorporated | Upsampling reference pixels for intra-prediction in video coding |
WO2022211657A1 (en) * | 2021-04-01 | 2022-10-06 | Huawei Technologies Co., Ltd. | Configurable positions for auxiliary information input into a picture data processing neural network |
WO2022216051A1 (ko) * | 2021-04-08 | 2022-10-13 | 엘지전자 주식회사 | 영상 디코딩 방법 및 그 장치 |
WO2023165596A1 (en) * | 2022-03-03 | 2023-09-07 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for visual data processing |
WO2023200246A1 (ko) * | 2022-04-12 | 2023-10-19 | 엘지전자 주식회사 | 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체 |
WO2023200237A1 (ko) * | 2022-04-12 | 2023-10-19 | 엘지전자 주식회사 | 기하 분할된 블록에 대한 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체 |
WO2023200243A1 (ko) * | 2022-04-12 | 2023-10-19 | 엘지전자 주식회사 | Mvd 부호 예측에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체 |
WO2024058494A1 (ko) * | 2022-09-13 | 2024-03-21 | 엘지전자 주식회사 | 예측 모델의 학습에 기반한 피쳐 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010538520A (ja) * | 2007-09-02 | 2010-12-09 | エルジー エレクトロニクス インコーポレイティド | ビデオ信号処理方法及び装置 |
WO2016199330A1 (ja) * | 2015-06-12 | 2016-12-15 | パナソニックIpマネジメント株式会社 | 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置 |
WO2018199051A1 (ja) * | 2017-04-25 | 2018-11-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法および復号方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007043651A (ja) * | 2005-07-05 | 2007-02-15 | Ntt Docomo Inc | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム |
US9467705B2 (en) * | 2009-12-30 | 2016-10-11 | Ariscale Inc. | Video encoding apparatus, video decoding apparatus, and video decoding method for performing intra-prediction based on directionality of neighboring block |
CN101854551B (zh) * | 2010-06-08 | 2012-08-15 | 浙江大学 | 帧内预测模式编解码方法及装置 |
KR101675707B1 (ko) * | 2011-06-23 | 2016-11-11 | 가부시키가이샤 제이브이씨 켄우드 | 화상 인코딩 장치, 화상 인코딩 방법 및 화상 인코딩 프로그램, 및 화상 디코딩 장치, 화상 디코딩 방법 및 화상 디코딩 프로그램 |
GB2559062B (en) * | 2011-10-17 | 2018-11-14 | Kt Corp | Video decoding method using transform method selected from a transform method set |
CN105338348B (zh) * | 2011-10-24 | 2018-11-13 | 英孚布瑞智有限私人贸易公司 | 用于图像解码的方法和装置 |
EP4161078A1 (en) * | 2011-11-11 | 2023-04-05 | GE Video Compression, LLC | Effective wedgelet partition coding using spatial prediction |
SG11201703015PA (en) * | 2014-10-31 | 2017-05-30 | Mediatek Inc | Method of improved directional intra prediction for video coding |
KR20180030791A (ko) * | 2015-07-20 | 2018-03-26 | 엘지전자 주식회사 | 비디오 코딩 시스템에서 인트라 예측 방법 및 장치 |
US10397569B2 (en) * | 2016-06-03 | 2019-08-27 | Mediatek Inc. | Method and apparatus for template-based intra prediction in image and video coding |
US20170374369A1 (en) * | 2016-06-24 | 2017-12-28 | Mediatek Inc. | Methods and Apparatuses of Decoder Side Intra Mode Derivation |
WO2018021585A1 (ko) * | 2016-07-26 | 2018-02-01 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인트라 예측 방법 및 장치 |
EP3685585A1 (en) * | 2017-09-20 | 2020-07-29 | Vid Scale, Inc. | Handling face discontinuities in 360-degree video coding |
KR102454936B1 (ko) | 2017-10-13 | 2022-10-17 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 블록 단위의 화상 코딩을 위한 인트라 예측 모드 개념 |
US11350107B2 (en) * | 2017-11-16 | 2022-05-31 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and device, and recording medium storing bitstream |
-
2019
- 2019-03-28 KR KR1020237013131A patent/KR20230057481A/ko not_active Application Discontinuation
- 2019-03-28 CN CN201980036297.8A patent/CN112204963A/zh active Pending
- 2019-03-28 EP EP19712793.9A patent/EP3777141A1/en active Pending
- 2019-03-28 WO PCT/EP2019/057882 patent/WO2019185808A1/en active Application Filing
- 2019-03-28 KR KR1020207030912A patent/KR102524593B1/ko active IP Right Grant
- 2019-03-28 JP JP2020552199A patent/JP7217288B2/ja active Active
- 2019-03-29 TW TW108111307A patent/TWI763987B/zh active
-
2020
- 2020-09-25 US US17/032,113 patent/US11601672B2/en active Active
-
2023
- 2023-01-09 US US18/094,975 patent/US20230254508A1/en active Pending
- 2023-01-23 JP JP2023008219A patent/JP2023052578A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010538520A (ja) * | 2007-09-02 | 2010-12-09 | エルジー エレクトロニクス インコーポレイティド | ビデオ信号処理方法及び装置 |
WO2016199330A1 (ja) * | 2015-06-12 | 2016-12-15 | パナソニックIpマネジメント株式会社 | 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置 |
WO2018199051A1 (ja) * | 2017-04-25 | 2018-11-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法および復号方法 |
Non-Patent Citations (1)
Title |
---|
JONATHAN PFAFF, ET AL.: "Intra prediction modes based on neural networks", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-J0037-v1, JPN6022000133, April 2018 (2018-04-01), pages 1 - 14, ISSN: 0004840823 * |
Also Published As
Publication number | Publication date |
---|---|
US20230254508A1 (en) | 2023-08-10 |
US20210014531A1 (en) | 2021-01-14 |
CN112204963A (zh) | 2021-01-08 |
KR102524593B1 (ko) | 2023-04-21 |
KR20230057481A (ko) | 2023-04-28 |
TW201946455A (zh) | 2019-12-01 |
US11601672B2 (en) | 2023-03-07 |
JP2023052578A (ja) | 2023-04-11 |
JP7217288B2 (ja) | 2023-02-02 |
WO2019185808A1 (en) | 2019-10-03 |
EP3777141A1 (en) | 2021-02-17 |
TWI763987B (zh) | 2022-05-11 |
KR20200128586A (ko) | 2020-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021519542A (ja) | ブロック単位の画像符号化のためのイントラ予測モードの概念 | |
TWI794623B (zh) | 用於逐塊圖片編碼的幀內預測模式概念 | |
US10659804B2 (en) | Method and apparatus for encoding/decoding images using adaptive motion vector resolution | |
KR102622452B1 (ko) | 아핀 선형 가중 인트라 예측 | |
US9674546B2 (en) | Method and apparatus for interpolating reference picture and method and apparatus for encoding/decoding image using same | |
KR101048634B1 (ko) | 비디오 압축을 위한 공간 희소성 유도된 시간적 예측 | |
US11641481B2 (en) | Method and apparatus for encoding/decoding images using adaptive motion vector resolution | |
CN101218829A (zh) | 动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法以及动态图像解码程序 | |
CN105723708A (zh) | 对媒体信号进行编码和解码的方法及使用该方法的设备 | |
US20240137500A1 (en) | Intra-prediction mode concept for block-wise picture coding | |
JP7479471B2 (ja) | モード-グローバル設定によるマトリックスベースのイントラ予測 | |
WO2019167994A1 (ja) | 画像復号化装置、画像復号化方法及び画像復号化プログラム | |
KR20190129641A (ko) | 참조 샘플의 평균값 구하는 방법을 이용한 비디오 신호 처리 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201125 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220107 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220331 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220408 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220706 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221027 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221129 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230123 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7217288 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |