JP2020195013A - 画像復号装置および画像符号化装置 - Google Patents
画像復号装置および画像符号化装置 Download PDFInfo
- Publication number
- JP2020195013A JP2020195013A JP2019098072A JP2019098072A JP2020195013A JP 2020195013 A JP2020195013 A JP 2020195013A JP 2019098072 A JP2019098072 A JP 2019098072A JP 2019098072 A JP2019098072 A JP 2019098072A JP 2020195013 A JP2020195013 A JP 2020195013A
- Authority
- JP
- Japan
- Prior art keywords
- mode
- coding
- joint
- unit
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009466 transformation Effects 0.000 claims description 23
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000013139 quantization Methods 0.000 description 72
- 238000009795 derivation Methods 0.000 description 49
- 238000006243 chemical reaction Methods 0.000 description 48
- 238000012545 processing Methods 0.000 description 48
- 238000000034 method Methods 0.000 description 37
- 230000015654 memory Effects 0.000 description 28
- 230000005540 biological transmission Effects 0.000 description 24
- 238000004891 communication Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 229920000069 polyphenylene sulfide Polymers 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 1
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 208000034188 Stiff person spectrum disease Diseases 0.000 description 1
- 229920010524 Syndiotactic polystyrene Polymers 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 208000012112 ischiocoxopodopatellar syndrome Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002490 spark plasma sintering Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
あるモードにおいてある色成分の予測残差を導出するための線形変換に含まれる係数の絶対値が、他のモードにおいて当該ある色成分の予測残差を導出するための線形変換に含まれる係数の絶対値とは異なっている。
以下、図面を参照しながら本発明の実施形態について説明する。
本明細書で用いる演算子を以下に記載する。
本実施形態に係る動画像符号化装置11および動画像復号装置31の詳細な説明に先立って、動画像符号化装置11によって生成され、動画像復号装置31によって復号される符号化ストリームTeのデータ構造について説明する。
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために動画像復号装置31が参照するデータの集合が規定されている。シーケンスSEQは、図4の符号化ビデオシーケンスに示すように、ビデオパラメータセット(Video Parameter Set)、シーケンスパラメータセットSPS(Sequence Parameter Set)、ピクチャパラメータセットPPS(Picture Parameter Set)、ピクチャPICT、及び、付加拡張情報SEI(Supplemental Enhancement Information)を含んでいる。
符号化ピクチャでは、処理対象のピクチャPICTを復号するために動画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図4の符号化ピクチャに示すように、スライス0〜スライスNS-1を含む(NSはピクチャPICTに含まれるスライスの総数)。
符号化スライスでは、処理対象のスライスSを復号するために動画像復号装置31が参照するデータの集合が規定されている。スライスは、図4の符号化スライスに示すように、スライスヘッダ、および、スライスデータを含んでいる。
符号化スライスデータでは、処理対象のスライスデータを復号するために動画像復号装置31が参照するデータの集合が規定されている。スライスデータは、図4の符号化スライスヘッダに示すように、CTUを含んでいる。CTUは、スライスを構成する固定サイズ(例えば64x64)のブロックであり、最大符号化単位(LCU:Largest Coding Unit)と呼ぶこともある。
図4の符号化ツリーユニットには、処理対象のCTUを復号するために動画像復号装置31が参照するデータの集合が規定されている。CTUは、再帰的な4分木分割(QT(Quad Tree)分割)、2分木分割(BT(Binary Tree)分割)あるいは3分木分割(TT(Ternary Tree)分割)により符号化処理の基本的な単位である符号化ユニットCUに分割される。BT分割とTT分割を合わせてマルチツリー分割(MT(Multi Tree)分割)と呼ぶ。再帰的な4分木分割により得られる木構造のノードのことを符号化ノード(Coding Node)と称する。4分木、2分木、及び3分木の中間ノードは、符号化ノードであり、CTU自身も最上位の符号化ノードとして規定される。
図4の符号化ユニットに示すように、処理対象の符号化ユニットを復号するために動画像復号装置31が参照するデータの集合が規定されている。具体的には、CUは、CUヘッダCUH、予測パラメータ、変換パラメータ、量子化変換係数等から構成される。CUヘッダでは予測モード等が規定される。
予測画像は、ブロックに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測とインター予測の予測パラメータがある。
本実施形態に係る動画像復号装置31(図6)の構成について説明する。
図7は、動画像復号装置31の概略的動作を説明するフローチャートである。
以下では、量子化予測誤差の復号処理についてより具体的に説明する。
本例では、TU復号部3024は、1つの量子化予測誤差(予測残差、又は単に残差とも呼ぶ)を復号して、複数の色成分(一例としてCb及びCr)に関する予測残差を導出するジョイント色差復号処理を行う。
・joint_mode1_cb_cr_sign_flag
・joint_mode2_cb_cr_sign_flag
・joint_mode3_cb_cr_sign_flag
の3つのサインフラグを復号する。これらのフラグは後述するジョイント色差復号処理において参照される複数の正負の符号を特定するために用いられる。
・joint_cb_cr_sign_flag[0]
・joint_cb_cr_sign_flag[1]
・joint_cb_cr_sign_flag[2]
これらのフラグの各々は、一例として、上述のjoint_mode1_cb_cr_sign_flag〜joint_mode3_cb_cr_sign_flagの各々に対応している。
・色差をジョイント色差符号化するか否かを示すフラグtu_joint_chroma_residual_flag[x0][y0]
・ブロックフラグ情報(tu_cbf_cb[x0][y0]、tu_cbf_cr[x0][y0])
を復号する。ブロックフラグ情報tu_cbf_cb、tu_cbf_crは、基本的にはCb, Crに対応する量子化予測誤差resSamplesの情報が存在するか(1つ以上の非ゼロの変換係数が存在するか)否かを示すフラグであるが、別の意味を持たせてもよい。tu_cbf_cb、tu_cbf_crの組み合わせを用いて、子化予測誤差resSamplesの情報が存在するか否かを示してもよい。
wC = tbWidth / SubWidthC
hC = tbHeight / SubHeightC
また、tu_joint_chroma_residual_flag[x0][y0]=1の場合にも、第1色差残差residual_coding(xC,yC,Log2(wC),Log2(hC),1)を復号する。
・モードが2かつcIdx=2の場合、以下の式により残差resSamplesを復号する。
resSamples[x][y] = (joint_mode2_cb_cr_sign_flag ? -1 : 1) * res[x][y]
・モードが1かつcIdx=2の場合、以下の式により残差resSamplesを復号する。
resSamples[x][y] = (joint_mode1_cb_cr_sign_flag ? -1 : 1) * res[x][y]) >> 1
・モードが3かつcIdx=1の場合、以下に式により残差resSamplesを復号する。
resSamples[x][y] = (joint_mode3_cb_cr_sign_flag ? -1 : 1) * res[x][y]) >> 1
上記の導出式から明らかなように、本例では、上記導出式の右辺のres[x][y]に乗算されるサイン係数(サインフラグとも呼ぶ場合がる)が、ジョイントモード毎に復号される。なお、上記導出式において、cIdxは色コンポーネントを示す値であり、一例としてcIdx=0は第1色成分(輝度成分Y)を示し、cIdx=1は第2色成分(色差成分Cb)を示し、cIdx=2は第3色成分(色差成分Cr)を示す。なお、色空間がYCbCrではなくRGBやGBRの場合にも、本明細書の構成は適用可能である。この場合Y, Cb, CrをR, G, BやG, B, Rに置き換える。
mode2: resSamplesCr = CSign2 * resCb
mode1: resSamplesCr = CSign1 * resCb/2
mode3: resSamplesCb = CSign3 * resCr/2
ここで、サインフラグCSign2、CSign1、CSign3は、それぞれ、上記量子化予測誤差の導出式における
(joint_mode2_cb_cr_sign_flag ? -1 : 1)、
(joint_mode1_cb_cr_sign_flag ? -1 : 1)、
(joint_mode3_cb_cr_sign_flag ? -1 : 1)
に対応する。また、resCb, resCrは各々、Cb, Crの情報として復号された量子化予測誤差resSamplesである。つまり、上記の処理は、量子化予測誤差の変形や更新とみなすこともできる。
・モードが2かつcIdx=2の場合、以下の式により予測残差を復号する。
resSamplesCb[x][y] = res[x][y]
resSamplesCr[x][y] = (joint_mode2_cb_cr_sign_flag ? -1 : 1) * res[x][y]
・モードが1かつcIdx=2の場合、以下の式により予測残差を復号する。
resSamplesCb[x][y] = res[x][y]
resSamplesCr[x][y] = (joint_mode1_cb_cr_sign_flag ? -1 : 1) * (res[x][y]) >> 1)
・モードが3かつcIdx=1の場合、以下に式により予測残差を復号する。
resSamplesCr[x][y] = res[x][y]
resSamplesCb[x][y] = (joint_mode3_cb_cr_sign_flag ? -1 : 1) * (res[x][y]) >> 1)
ここでもres[][]は、符号化データからCbもしくはCrのCb, Crの情報として復号された量子化予測誤差resSamplesである。
本例では上述した処理例と同じ処理については説明を省略する。本例では、TU復号部3024は、図12に示すように、ブロック単位で、
・モード情報(tu_joint_chroma_residual_mode[x0][y0])
・ブロックフラグ情報(tu_cbf_cb[x0][y0]、tu_cbf_cr[x0][y0])
を復号する。ここでx0, y0は、TUの左上座標である。このように、本例では、復号処理例1におけるフラグtu_joint_chroma_residual_flag[x0][y0]に代えて、tu_joint_chroma_residual_mode[x0][y0]を復号する。
0: ジョイント色差符号化しない
1: ジョイント色差符号化する(ジョイントモード1)
2: ジョイント色差符号化する(ジョイントモード2)
3: ジョイント色差符号化する(ジョイントモード3)
ことを示す。
本例においても上述した処理例と同じ処理については説明を省略する。本例では、TU復号部3024は、図13に示すように、ブロック単位で、
・モード情報(tu_joint_chroma_residual_mode[x0][y0])
・ブロックフラグ情報(tu_cbf_cb[x0][y0]、tu_cbf_cr[x0][y0])
を復号する。ただし、本例では、図13に示すように、ジョイント色差符号化しない場合(tu_joint_chroma_residual_mode=0の場合)に、tu_cbf_cr[x0][y0]を復号する。
0: ジョイント色差符号化しない
1: ジョイント色差符号化する(ジョイントモード1)
2: ジョイント色差符号化する(ジョイントモード2)
3: ジョイント色差符号化する(ジョイントモード3)
ことを示す。
本例では、上記復号処理例1から3と同様に、TU復号部3024は、1つの量子化予測誤差を復号して、複数の色成分(一例としてCb及びCr)に関する予測残差を導出するジョイント色差復号処理を行う。
・モードが2かつcIdx=2の場合、以下の式により残差resSamplesを復号する。
resSamples[x][y] = (joint_cb_cr_sign_flag ? -1 : 1) * res[x][y]
・モードが1かつcIdx=2の場合、以下の式により残差resSamplesを復号する。
resSamples[x][y] = (joint_cb_cr_sign_flag ? -1 : 1) * res[x][y]) >> 1
・モードが3かつcIdx=1の場合、以下に式により残差resSamplesを復号する。
resSamples[x][y] = (joint_cb_cr_sign_flag ? -1 : 1) * res[x][y]) >> 1
上記の導出式から明らかなように、本例では、上記導出式の右辺のres[x][y]に乗算されるサイン係数(サインフラグとも呼ぶ場合がある)が、CTU単位毎に復号される。なお、上記導出式において、cIdxは色コンポーネントを示す値であり、一例としてcIdx=0は輝度成分Yを示し、cIdx=1は色差成分Cbを示し、cIdx=2は色差成分Crを示す。
本例では、TU復号部3024は、1つの量子化予測誤差(予測残差、又は単に残差とも呼ぶ)を復号して、複数の色成分(一例としてCb及びCr)に関する予測残差を導出するジョイント色差復号処理を行う。
mode2: resCr = CSign * resCb
mode3: resCb = CSign * resCr/2
ここで、resCr、resCbはCr、Cbの予測残差、CSignはサイン係数である。
wC = tbWidth / SubWidthC
hC = tbHeight / SubHeightC
また、tu_cbf_cr[x0][y0]=1の場合に、TU復号部3024は第2色差残差residual_coding(xC,yC,Log2(wC),Log2(hC),2)を復号する。
・モードが2かつcIdx=2の場合、以下の式により残差resSamplesCb、resSamplesCrを復号する。
resSamplesCr[x][y] = (joint_cb_cr_sign_flag ? -1 : 1) * res[x][y]
resSamplesCb[x][y] = res[x][y]
・モードが1かつcIdx=2の場合、以下の式により残差を復号する。
resSamplesCr[x][y] = (joint_cb_cr_sign_flag ? -1 : 1) * res[x][y]) >> 1
resSamplesCb[x][y] = res[x][y]
・モードが3かつcIdx=1の場合、以下に式により残差を復号する。
resSamplesCb[x][y] = (joint_cb_cr_sign_flag ? -1 : 1) * res[x][y]) >> 1
resSamplesCr[x][y] = res[x][y]
(復号処理例6)
本例では、TU復号部3024はjoint_cb_cr_modeに応じて、色差残差導出の予測方向および重み係数をモードから導出する。すなわち、TU復号部3024はjoint_cb_cr_modeが示す色差残差導出の予測方向(Cb、Crのいずれから他方を予測するか)および重み係数に応じて、量子化予測誤差の関係式を導出する。換言すると、本例では、色差残差導出の予測方向および重み係数を示す情報がCTU単位で復号される。
図19は、joint_cb_cr_modeが示す色差残差導出の予測方向および重み係数の一例を示している。図19ではjoint_cb_cr_modeは2進表現である。
また、joint_cb_cr_modeが101の場合に、予測方向はresCbからresCrとなり、重み係数は1/2となる。すなわち、以下の式に示すように、resCbに重み係数1/2を乗じた値がresCrとなる。
また、joint_cb_cr_modeが11の場合に、予測方向はresCrからresCbとなり、重み係数は1/2となる。すなわち、以下の式に示すように、resCrに重み係数1/2を乗じた値がresCbとなる。
本例では、さらに、TU復号部3024は、joint_cb_cr_modeに応じて、色差残差導出の予測方向、重み係数およびサイン係数をモードから導出してもよい。すなわち、TU復号部3024はjoint_cb_cr_modeが示す色差残差導出の予測方向、重み係数およびサイン係数に応じて、量子化予測誤差の関係式を導出してもよい。換言すると、色差残差導出の予測方向、重み係数およびサイン係数を示す情報がCTU単位で復号される。
図20は、joint_cb_cr_modeが示す色差残差導出の予測方向、重み係数およびサイン係数の一例を示している。
また、joint_cb_cr_modeが2の場合に、予測方向はCbからCrとなり、重み係数は1となり、サイン係数は-1となる。すなわち、以下の式に示すように、resCbにサイン係数-1および重み係数1を乗じた値がresCrとなる。
また、joint_cb_cr_modeが3の場合に、予測方向はCbからCrとなり、重み係数は2となり、サイン係数は-1となる。すなわち、以下の式に示すように、resCbにサイン係数-1および重み係数2を乗じた値がresCrとなる。
また、joint_cb_cr_modeが4の場合に、予測方向はCbからCrとなり、重み係数は1/2 (==0.5)となり、サイン係数は1となる。すなわち、以下の式に示すように、resCbにサイン係数1および重み係数1/2を乗じた値がresCrとなる。
(joint_cb_cr_modeが示す色差残差導出の予測方向、重み係数およびサイン係数の例2)
図21は、joint_cb_cr_modeが示す色差残差導出の予測方向、重み係数およびサイン係数の他の一例を示している。
また、joint_cb_cr_modeが2の場合に、予測方向はCbからCrとなり、重み係数は1となり、サイン係数は-1となる。すなわち、以下の式に示すように、resCbにサイン係数-1および重み係数1を乗じた値がresCrとなる。
また、joint_cb_cr_modeが3の場合に、予測方向はCrからCbとなり、重み係数は1/2となり、サイン係数は-1となる。すなわち、以下の式に示すように、resCrにサイン係数-1および重み係数1/2を乗じた値がresCbとなる。
また、joint_cb_cr_modeが4の場合に、予測方向はCbからCrとなり、重み係数は1/2となり、サイン係数は1となる。すなわち、以下の式に示すように、resCbにサイン係数1および重み係数1/2を乗じた値がresCrとなる。
(joint_cb_cr_modeが示す色差残差導出の予測方向、重み係数およびサイン係数の例3)
図22は、joint_cb_cr_modeが示す色差残差導出の予測方向、重み係数およびサイン係数のさらに他の一例を示している。
また、joint_cb_cr_modeが2の場合に、予測方向はCbからCrとなり、重み係数は1となり、サイン係数は-1となる。すなわち、以下の式に示すように、resCbにサイン係数-1および重み係数1を乗じた値がresCrとなる。
また、joint_cb_cr_modeが3の場合に、予測方向はCbからCrとなり、重み係数は2となり、サイン係数は-1となる。すなわち、以下の式に示すように、resCrにサイン係数-1および重み係数2を乗じた値がresCbとなる。
また、joint_cb_cr_modeが4の場合に、予測方向はCbからCrとなり、重み係数は1となり、サイン係数は1となる。すなわち、以下の式に示すように、resCbにサイン係数1および重み係数1を乗じた値がresCrとなる。
(joint_cb_cr_modeが示す色差残差導出の予測方向、重み係数およびサイン係数の例4)
図23は、joint_cb_cr_modeが示す色差残差導出の予測方向、重み係数およびサイン係数のさらに他の一例を示している。
また、joint_cb_cr_modeが2の場合に、予測方向はCbからCrとなり、重み係数は1となり、サイン係数は-1となる。すなわち、以下の式に示すように、resCbにサイン係数-1および重み係数1を乗じた値がresCrとなる。
また、joint_cb_cr_modeが3の場合に、予測方向はCrからCbとなり、重み係数は1/2となり、サイン係数は-1となる。すなわち、以下の式に示すように、resCrにサイン係数-1および重み係数1/2を乗じた値がresCbとなる。
また、joint_cb_cr_modeが4の場合に、予測方向はCbからCrとなり、重み係数は1となり、サイン係数は1となる。すなわち、以下の式に示すように、resCbにサイン係数1および重み係数1を乗じた値がresCrとなる。
(joint_cb_cr_modeが示す色差残差導出の予測方向、重み係数およびサイン係数の例5)
図24は、joint_cb_cr_modeが示す色差残差導出の予測方向、重み係数およびサイン係数のさらに他の一例を示している。
また、joint_cb_cr_modeが2の場合に、予測方向はCbからCrとなり、重み係数は2となり、サイン係数は-1となる。すなわち、以下の式に示すように、resCbにサイン係数-1および重み係数2を乗じた値がresCrとなる。
また、joint_cb_cr_modeが3の場合に、予測方向はCbからCrとなり、重み係数は1となり、サイン係数は1となる。すなわち、以下の式に示すように、resCbにサイン係数1および重み係数1を乗じた値がresCrとなる。
(joint_cb_cr_modeが示す色差残差導出の予測方向、重み係数およびサイン係数の例6)
図25は、joint_cb_cr_modeが示す色差残差導出の予測方向、重み係数およびサイン係数のさらに他の一例を示している。
また、joint_cb_cr_modeが2の場合に、予測方向はCrからCbとなり、重み係数は1/2となり、サイン係数は-1となる。すなわち、以下の式に示すように、resCrにサイン係数-1および重み係数1/2を乗じた値がresCbとなる。
また、joint_cb_cr_modeが3の場合に、予測方向はCbからCrとなり、重み係数は1となり、サイン係数は1となる。すなわち、以下の式に示すように、resCbにサイン係数1および重み係数1を乗じた値がresCrとなる。
(joint_cb_cr_modeが示す色差残差導出の予測方向、重み係数およびサイン係数の例7)
図26は、joint_cb_cr_modeが示す色差残差導出の予測方向、重み係数およびサイン係数のさらに他の一例を示している。
また、joint_cb_cr_modeが2の場合に、予測方向はCbからCrとなり、重み係数は1となり、サイン係数は1となる。すなわち、以下の式に示すように、resCbにサイン係数1および重み係数1を乗じた値がresCrとなる。
次に、本復号処理例6におけるTU復号部3024によるresSamples[x][y]の導出について説明する。
・JointCbCrDirが0かつcIdx=2の場合、以下の式により残差resSamplesCb、resSamplesCrを復号する。
resSamplesCr[x][y] = (joint_cb_cr_sign_flag ? -1 : 1) * res[x][y] >> JointCbCrWeightFlag
resSamplesCb[x][y] = res[x][y]
・JointCbCrDirが1かつcIdx=1の場合、以下に式により残差を復号する。
resSamplesCb[x][y] = (joint_cb_cr_sign_flag ? -1 : 1) * res[x][y]) >> JointCbCrWeightFlag
resSamplesCr[x][y] = res[x][y]
なお、上述の例においては、色差残差導出の予測方向、重み係数およびサイン係数等がjoint_cb_cr_modeにて示される構成について説明した。しかし、色差残差導出の予測方向、重み係数およびサイン係数は別々のフラグにて示されてもよい。すなわち、TU復号部3024は、色差残差導出の予測方向、重み係数およびサイン係数のそれぞれを示す別々のフラグを復号してもよい。
本例では、TU復号部3024は、1つの量子化予測誤差(予測残差、又は単に残差とも呼ぶ)を復号して、複数の色成分(一例としてCb及びCr)に関する予測残差を導出するジョイント色差復号処理を行う。
また、JointCodingModeが2の場合に、予測方向はCbからCrとなり、重み係数は1となり、サイン係数はCSignとなる。すなわち、以下の式に示すように、resCbにサイン係数CSignおよび重み係数1を乗じた値がresCrとなる。
また、JointCodingModeが3の場合に、予測方向はCrからCbとなり、重み係数は1/2となり、サイン係数はCSignとなる。すなわち、以下の式に示すように、resCrにサイン係数CSignおよび重み係数1/2を乗じた値がresCbとなる。
また、図32に、joint_cb_cr_mode_idxの値と利用可能なJointCodingModeと利用可能なresCr/resCbの値との関係の一例を示す。
resCr = -resCb (JointCodingMode==2)
resCr = -2*resCb (JointCodingMode==3)
resCr = resCb/2 (JointCodingMode==4)
resCr = resCb (JointCodingMode==5)
次に、上記の図32に示す例におけるJointCodingModeの定義の他の一例を図34に示す。
resCr = -resCb (JointCodingMode==2)
resCb = -resCr/2 (JointCodingMode==3)
resCr = resCb/2 (JointCodingMode==4)
resCr = resCb (JointCodingMode==5)
次に、図35に、予測方向をCbからCrに固定した場合の、joint_cb_cr_mode_idxの値と利用可能なresCr/resCbの値との関係の他の一例を示す。
本例では、TU復号部3024は、複数の予測誤差(予測残差、又は単に残差とも呼ぶ)を変換することによって、複数の色成分(一例としてCb及びCr)の各々に関する予測残差を導出するステレオ色差復号処理を行う。
ステレオモードの例について説明する。
resJoint2=(resCb+resCr)/2
TU復号部3024はresJoint1、resJoint2を復号し、下記に示す式によりresCbおよびresCrを導出する。なおresJoint1、resJoint2はCbの予測残差(resCb)、Crの予測残差(resCr)の符号化データから復号してもよい(以下同様)。
resCr=resJoint2-resJoint1
また、StereoMode=1の場合、TU符号化部1114は予測残差resCb、resCrからresJoint1およびresJoint2を導出し符号化する。
resJoint2=(resCb/2+resCr)
TU復号部3024はresJoint1、resJoint2を復号し、下記に示す式によりresCbおよびresCrを導出する。
resCr=(resJoint2-resJoint1)/2
(ステレオモードの例2)
ステレオモードの他の例について説明する。
resJoint2=(resCb+resCr)/2
TU復号部3024はresJoint1、resJoint2を復号し、下記に示す式によりresCbおよびresCrを導出する。
resCr=resJoint2-resJoint1
また、StereoMode=1の場合、TU符号化部1114は予測残差resCb、resCrからresJoint1およびresJoint2を導出し、符号化する。
resJoint2=(resCb+resCr/2)
TU復号部3024はresJoint1、resJoint2を復号し、下記に示す式によりresCbおよびresCrを導出する。
resCr=resJoint2-resJoint1
(ステレオモードの例3)
本例においては、JointStereoModeに示される値に応じて、TU符号化部1114、TU復号部3024は色差残差の導出に用いるステレオモードとジョイントモードとを切り替える。
resJoint2=(resCb+resCr)/2
TU復号部3024はresJoint1、resJoint2を復号し、下記に示す式によりresCbおよびresCrを導出する。
resCr=resJoint2-resJoint1
また、StereoMode=0(ジョイントモード)の場合に、TU符号化部1114は予測残差resCb、resCrからresJoint1を符号化、導出する。
TU復号部3024はresJoint1を復号し、下記に示す式によりresCbおよびresCrを導出する。
resCr=CSign*resJoint1
(動画像符号化装置の構成)
次に、本実施形態に係る動画像符号化装置11の構成について説明する。図37は、本実施形態に係る動画像符号化装置11の構成を示すブロック図である。動画像符号化装置11は、予測画像生成部101、減算部102、変換・量子化部103、逆量子化・逆変換部105、加算部106、ループフィルタ107、予測パラメータメモリ(予測パラメータ記憶部、フレームメモリ)108、参照ピクチャメモリ(参照画像記憶部、フレームメモリ)109、符号化パラメータ決定部110、パラメータ符号化部111、エントロピー符号化部104を含んで構成される。
上述した動画像符号化装置11及び動画像復号装置31は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CGおよびGUIを含む)であってもよい。
また、上述した動画像復号装置31および動画像符号化装置11の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
301 エントロピー復号部
302 パラメータ復号部
3020 ヘッダ復号部
303 インター予測パラメータ復号部
304 イントラ予測パラメータ復号部
308 予測画像生成部
309 インター予測画像生成部
310 イントラ予測画像生成部
311 逆量子化・逆変換部
312 加算部
11 画像符号化装置
101 予測画像生成部
102 減算部
103 変換・量子化部
104 エントロピー符号化部
105 逆量子化・逆変換部
107 ループフィルタ
110 符号化パラメータ決定部
111 パラメータ符号化部
112 インター予測パラメータ符号化部
113 イントラ予測パラメータ符号化部
1110 ヘッダ符号化部
1111 CT情報符号化部
1112 CU符号化部(予測モード符号化部)
1114 TU符号化部
Claims (8)
- 予測残差を復号する復号部を備えた画像復号装置であって、
前記復号部は、
1つの予測残差を復号して、複数の色成分に関する予測残差を導出するよう構成されており、
前記複数の色成分の間の関係式を、モード毎に決定し、
前記関係式に用いられる正負の符号を示すサインフラグを、モード毎に導出する
ことを特徴とする画像復号装置。 - 予測残差を復号する復号部を備えた画像復号装置であって、
前記復号部は、
1つの予測残差を復号して、複数の色成分に関する予測残差を導出するよう構成されており、
前記複数の色成分の間の関係式を、モード毎に決定し、
前記関係式に用いられる正負の符号を示すサインフラグを、符号化ツリーユニット毎に導出する
ことを特徴とする画像復号装置。 - 予測残差を復号する復号部を備えた画像復号装置であって、
前記復号部は、
1つの予測残差を復号して、複数の色成分に関する予測残差を導出するよう構成されており、
前記複数の色成分の間の関係式を、モード毎に決定し、
対象ブロックに対して利用可能なモードを、当該対象ブロックを含む符号化ツリーユニット毎に導出する
ことを特徴とする画像復号装置。 - 予測残差を復号する復号部を備えた画像復号装置であって、
前記復号部は、
複数の予測残差を変換することによって、複数の色成分の各々に関する予測残差を導出するよう構成されており、
前記変換には少なくとも線形変換が含まれており、
あるモードにおいてある色成分の予測残差を導出するための線形変換に含まれる係数の絶対値が、他のモードにおいて当該ある色成分の予測残差を導出するための線形変換に含まれる係数の絶対値とは異なっている
ことを特徴とする画像復号装置。 - 予測残差を符号化する符号化部を備えた画像符号化装置であって、
前記符号化部は、
複数の色成分に関する予測残差から1つの予測残差を符号化するよう構成されており、
前記複数の色成分の間の関係式を、モード毎に決定し、
前記関係式に用いられる正負の符号を示すサインフラグを、モード毎に符号化する
ことを特徴とする画像符号化装置。 - 予測残差を符号化する符号化部を備えた画像符号化装置であって、
前記符号化部は、
複数の色成分に関する予測残差から1つの予測残差を符号化するよう構成されており、
前記複数の色成分の間の関係式を、モード毎に決定し、
前記関係式に用いられる正負の符号を示すサインフラグを、符号化ツリーユニット毎に符号化する
ことを特徴とする画像符号化装置。 - 予測残差を符号化する符号化部を備えた画像復号装置であって、
前記符号化部は、
複数の色成分に関する予測残差から1つの予測残差を符号化するよう構成されており、
前記複数の色成分の間の関係式を、モード毎に決定し、
対象ブロックに対して利用可能なモードを、当該対象ブロックを含む符号化ツリーユニット毎に符号化する
ことを特徴とする画像符号化装置。 - 予測残差を符号化する符号化部を備えた画像符号化装置であって、
前記符号化部は、
複数の予測残差をであって、変換することによって複数の色成分の各々に関する予測残差を導出する予測残差を符号化するよう構成されており、
前記変換には少なくとも線形変換が含まれており、
あるモードにおいてある色成分の予測残差を導出するための線形変換に含まれる係数の絶対値が、他のモードにおいて当該ある色成分の予測残差を導出するための線形変換に含まれる係数の絶対値とは異なっている
ことを特徴とする画像符号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019098072A JP2020195013A (ja) | 2019-05-24 | 2019-05-24 | 画像復号装置および画像符号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019098072A JP2020195013A (ja) | 2019-05-24 | 2019-05-24 | 画像復号装置および画像符号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020195013A true JP2020195013A (ja) | 2020-12-03 |
JP2020195013A5 JP2020195013A5 (ja) | 2022-05-30 |
Family
ID=73546031
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019098072A Pending JP2020195013A (ja) | 2019-05-24 | 2019-05-24 | 画像復号装置および画像符号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020195013A (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020175970A1 (ko) * | 2019-02-28 | 2020-09-03 | 삼성전자 주식회사 | 크로마 성분을 예측하는 비디오 부호화 및 복호화 방법, 및 크로마 성분을 예측하는 비디오 부호화 및 복호화 장치 |
WO2020216175A1 (en) * | 2019-04-20 | 2020-10-29 | Beijing Bytedance Network Technology Co., Ltd. | Signaling of syntax elements for joint coding of chrominance residuals |
-
2019
- 2019-05-24 JP JP2019098072A patent/JP2020195013A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020175970A1 (ko) * | 2019-02-28 | 2020-09-03 | 삼성전자 주식회사 | 크로마 성분을 예측하는 비디오 부호화 및 복호화 방법, 및 크로마 성분을 예측하는 비디오 부호화 및 복호화 장치 |
JP2022523378A (ja) * | 2019-02-28 | 2022-04-22 | サムスン エレクトロニクス カンパニー リミテッド | クロマ成分を予測するビデオ符号化及び復号方法、及びクロマ成分を予測するビデオ符号化及び復号装置 |
WO2020216175A1 (en) * | 2019-04-20 | 2020-10-29 | Beijing Bytedance Network Technology Co., Ltd. | Signaling of syntax elements for joint coding of chrominance residuals |
JP2022529479A (ja) * | 2019-04-20 | 2022-06-22 | 北京字節跳動網絡技術有限公司 | クロミナンス残差の結合符号化のための構文要素の信号通知 |
Non-Patent Citations (3)
Title |
---|
BENJAMIN BROSS ET AL.: "Versatile Video Coding (Draft 5) [online]", JVET-N1001-V8 (JVET-O0935-V1), JPN6023019919, 2 July 2019 (2019-07-02), ISSN: 0005063427 * |
CHRISTIAN HELMRICH ET AL.: "CE7-related: Joint chroma residual coding with multiple modes [online]", JVET-N0282-V3, JPN6023019917, 21 March 2019 (2019-03-21), ISSN: 0005063425 * |
JANI LAINEMA: "CE7-related: Joint coding of chrominance residuals [online]", JVET-M0305, JPN6023019918, 16 January 2019 (2019-01-16), ISSN: 0005063426 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7402016B2 (ja) | 画像復号装置及び画像符号化装置 | |
JP7469904B2 (ja) | 画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法 | |
JP2021002780A (ja) | 動画像復号装置および動画像符号化装置 | |
WO2020116376A1 (ja) | 動画像復号装置および動画像符号化装置 | |
JP2021034980A (ja) | 画像符号化装置、および、画像復号装置 | |
JP2020150516A (ja) | 画像復号装置及び画像符号化装置 | |
WO2020241858A1 (ja) | 画像復号装置 | |
JPWO2020241858A5 (ja) | ||
WO2020184366A1 (ja) | 画像復号装置 | |
JP2021150703A (ja) | 画像復号装置及び画像符号化装置 | |
JP2020141285A (ja) | 画像復号装置 | |
WO2021246284A1 (ja) | 動画像復号装置及び動画像符号化装置 | |
JP2021034848A (ja) | 画像復号装置 | |
JP2021158546A (ja) | 画像復号装置及び画像符号化装置 | |
JP2021034966A (ja) | 動画像符号化装置、動画像復号装置 | |
JP2021034887A (ja) | 画像復号装置及び画像符号化装置 | |
JP2021153213A (ja) | 動画像符号化装置および動画像復号装置 | |
JP2020195013A (ja) | 画像復号装置および画像符号化装置 | |
JP7425568B2 (ja) | 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法 | |
JP7444570B2 (ja) | 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法 | |
JP2020205483A (ja) | 画像復号装置および画像符号化装置 | |
JP2021013110A (ja) | 画像復号装置および画像符号化装置 | |
JP2021136609A (ja) | 画像復号装置及び画像符号化装置 | |
JP2021197557A (ja) | 画像復号装置及び画像符号化装置 | |
WO2020045275A1 (ja) | 画像復号装置および画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220520 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230523 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231114 |