JP2021078004A - 動画像符号化装置、動画像復号装置 - Google Patents
動画像符号化装置、動画像復号装置 Download PDFInfo
- Publication number
- JP2021078004A JP2021078004A JP2019203450A JP2019203450A JP2021078004A JP 2021078004 A JP2021078004 A JP 2021078004A JP 2019203450 A JP2019203450 A JP 2019203450A JP 2019203450 A JP2019203450 A JP 2019203450A JP 2021078004 A JP2021078004 A JP 2021078004A
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- unit
- image
- picture
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013598 vector Substances 0.000 claims abstract description 78
- 230000033001 locomotion Effects 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 59
- 230000008569 process Effects 0.000 abstract description 27
- 238000009795 derivation Methods 0.000 description 72
- 238000006243 chemical reaction Methods 0.000 description 53
- 238000013139 quantization Methods 0.000 description 40
- 230000015654 memory Effects 0.000 description 37
- 238000012545 processing Methods 0.000 description 30
- 230000005540 biological transmission Effects 0.000 description 27
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 24
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 15
- XEBWQGVWTUSTLN-UHFFFAOYSA-M phenylmercury acetate Chemical compound CC(=O)O[Hg]C1=CC=CC=C1 XEBWQGVWTUSTLN-UHFFFAOYSA-M 0.000 description 11
- 238000012937 correction Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000002457 bidirectional effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000010364 biochemical engineering Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000012952 Resampling Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241001482237 Pica Species 0.000 description 2
- 101150103552 cagE gene Proteins 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 229920000069 polyphenylene sulfide Polymers 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 1
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 208000034188 Stiff person spectrum disease Diseases 0.000 description 1
- 229920010524 Syndiotactic polystyrene Polymers 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 208000012112 ischiocoxopodopatellar syndrome Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002490 spark plasma sintering Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
前記予測画像生成において、符号化ピクチャのサイズと異なる参照ピクチャの動きベクトルの情報を参照する符号化データを符号化、復号する場合には、
前記参照ピクチャの動きベクトル情報の使用が禁止されてものとして、予測画像を生成することを特徴とする。
以下、図面を参照しながら本発明の実施形態について説明する。
本明細書で用いる演算子を以下に記載する。
本実施形態に係る動画像符号化装置11および動画像復号装置31の詳細な説明に先立って、動画像符号化装置11によって生成され、動画像復号装置31によって復号される符号化ストリームTeのデータ構造について説明する。
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために動画像復号装置31が参照するデータの集合が規定されている。シーケンスSEQは、図4に示すように、ビデオパラメータセットVPS(Video Parameter Set)、シーケンスパラメータセットSPS(Sequence Parameter Set)、ピクチャパラメータセットPPS(Picture Parameter Set)、Adaptation Parameter Set(APS)、ピクチャPICT、及び、付加拡張情報SEI(Supplemental Enhancement Information)を含んでいる。
・ref_pic_resampling_enabled_flag:対象SPSを参照する単一のシーケンスに含まれる各画像を復号する場合に、解像度を可変とする機能(リサンプリング:resampling)を用いるか否かを規定するフラグである。別の側面から言えば、当該フラグは、予測画像の生成において参照される参照ピクチャのサイズが、単一のシーケンスが示す各画像間において変化することを示すフラグである。当該フラグの値が1である場合、上記リサンプリングが適用され、0である場合、適用されない。
・pic_width_max_in_luma_samples:単一のシーケンスにおける画像のうち、最大の幅を有する画像の幅を、輝度ブロック単位で指定するシンタックスである。また、当該シンタックスの値は、0ではなく、且つMax(8, MinCbSizeY)の整数倍であることが要求される。ここで、MinCbSizeYは、輝度ブロックの最小サイズによって定まる値である。
・pic_height_max_in_luma_samples:単一のシーケンスにおける画像のうち、最大の高さを有する画像の高さを、輝度ブロック単位で指定するシンタックスである。また、当該シンタックスの値は、0ではなく、且つMax(8, MinCbSizeY)の整数倍であることが要求される。
・sps_temporal_mvp_enabled_flag:対象シーケンスを復号する場合において、時間動きベクトル予測を用いるか否かを規定するフラグである。当該フラグの値が1であれば時間動きベクトル予測が用いられ、値が0であれば時間動きベクトル予測は用いられない。また、当該フラグを規定することにより、異なる解像度の参照ピクチャを参照する場合等に、参照する座標位置がずれてしまうことを防ぐことができる。
・pic_width_in_luma_samples:対象ピクチャの幅を指定するシンタックスである。当該シンタックスの値は、0ではなく、Max(8, MinCbSizeY)の整数倍であり、且つpic_width_max_in_luma_samples以下の値であることが要求される。
・pic_height_in_luma_samples:対象ピクチャの高さを指定するシンタックスである。当該シンタックスの値は、0ではなく、Max(8, MinCbSizeY)の整数倍であり、且つpic_height_max_in_luma_samples以下の値であることが要求される。
・conformance_window_flag:コンフォーマンス(クロッピング)ウィンドウオフセットパラメータが続いて通知されるか否かを示すフラグであって、コンフォーマンスウィンドウを表示する場所を示すフラグである。このフラグが1である場合、当該パラメータが通知され、0である場合、コンフォーマンスウインドウオフセットパラメータが存在しないことを示す。
・conf_win_left_offset、conf_win_right_offset、conf_win_top_offset、conf_win_bottom_offset:出力用のピクチャ座標で指定される矩形領域に関して、復号処理で出力されるピクチャの左、右、上、下位置を指定するためのオフセット値である。また、conformance_window_flagの値が0である場合、conf_win_left_offset、conf_win_right_offset、conf_win_top_offset、conf_win_bottom_offsetの値は0であるものと推定される。
・scaling_window_flag:スケーリングウインドウオフセットパラメータが対象PPSに存在するか否かを示すフラグであって、出力される画像サイズの規定に関するフラグである。このフラグが1である場合、当該パラメータがPPSに存在することを示しており、このフラグが0である場合、当該パラメータがPPSに存在しないことを示している。また、ref_pic_resampling_enabled_flagの値が0である場合、scaling_window_flagの値も0であることが要求される。
・scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、scaling_win_bottom_offset:スケーリング比率計算のために画像サイズに適用されるオフセットを、それぞれ、対象ピクチャの左、右、上、下位置について輝度サンプル単位で指定するシンタックスである。また、scaling_window_flagの値が0である場合、scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、scaling_win_bottom_offsetの値は0であるものと推定される。また、scaling_win_left_offset + scaling_win_right_offsetの値はpic_width_in_luma_samples未満であること、及びscaling_win_top_offset + scaling_win_bottom_offsetの値はpic_height_in_luma_samples未満であることが要求される。
PicOutputHeightL = pic_height_in_pic_size_units - (scaling_win_bottom_offset + scaling_win_top_offset)
・pps_collocated_from_l0_idc:collocated_from_l0_flagが、当該PPSを参照するスライスのスライスヘッダに存在するか否かを示すシンタックスである。当該シンタックスの値が0である場合、collocated_from_l0_flagが当該スライスヘッダに存在し、1又は2の場合、当該スライスヘッダには存在しないことを示している。
符号化ピクチャでは、処理対象のピクチャPICTを復号するために動画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図4に示すように、ピクチャヘッダPH、スライス0〜スライスNS-1を含む(NSはピクチャPICTに含まれるスライスの総数)。
・pic_temporal_mvp_enabled_flag:当該ピクチャヘッダに関連付けられたスライスのインター予測に時間動きベクトル予測を用いるか否かを規定するフラグである。当該フラグの値が0である場合、当該ピクチャヘッダに関連付けられたスライスのシンタックス要素は、そのスライスの復号において時間動きベクトル予測が用いられないように制限される。当該フラグの値が1である場合、当該ピクチャヘッダに関連付けられたスライスの復号に時間動きベクトル予測が用いられることを示している。また、当該フラグが規定されていない場合、値が0であるものと推定される。
符号化スライスでは、処理対象のスライスSを復号するために動画像復号装置31が参照するデータの集合が規定されている。スライスは、図4に示すように、スライスヘッダ、および、スライスデータを含んでいる。
・collocated_from_l0_flag:時間動きベクトル予測に用いられるコロケートピクチャピクチャ(collocated picture)が何れの参照ピクチャリストから導出されるかを規定するフラグである。当該フラグの値が1である場合、当該ピクチャが参照ピクチャリスト0(L0リスト)から導出されることを示しており、当該フラグの値が0である場合、当該ピクチャが参照ピクチャリスト1(L1リスト)から導出されることを示している。また、当該フラグが規定されていない場合、スライスのタイプとpps_collocated_from_l0_idcに応じて、0又は1の値が推定される。
・collocated_ref_idx:時間動きベクトル予測に使用されるコロケートピクチャの参照インデックスである。また、collocated_ref_idxの値は、スライスのタイプ又はcollocated_from_l0_flagの値によって規定される。スライスタイプがPの場合、あるいは、スライスタイプがBかつcollocated_from_l0_flagが1の場合、collocated_ref_idxはList0のピクチャを参照する。スライスタイプがBかつcollocated_from_l0_flagが0の場合、collocated_ref_idxはList1のピクチャを参照する。collocated_ref_idxが存在しない場合、0と推定する。
L1のいずれの参照ピクチャリストから導出されるかを規定するフラグであるcollocated_from_l0_flagの値を代入する。(S201)次に、collocated_ref_idxで示されたコロケートピクチャピクチャのサイズが、符号化ピクチャのサイズと異なるか否かを調べるために、変数RefPicIsScaledの値が1か否かを比較する。(S202)もし、1ならば、コロケートピクチャピクチャのサイズが、符号化ピクチャのサイズと異なると判断して、変数SliceTemporalMvpEnableFlagを0に設定して、コロケートピクチャの動きベクトル情報を用いない。(S203)もし、1でないならば、変数SliceTemporalMvpEnableFlagには、ピクチャレベルでのフラグであるpicTemporalMvpEnableFlagの値を代入する。(S204)
別の実施の形態としては、もし、符号化ピクチャのサイズと異なるサイズの参照ピクチャをcollocated_ref_idxで指定した場合は、符号化ピクチャのサイズと同一サイズの参照ピクチャでref_idxの最も小さい値をcollocated_ref_idxとすることとし、もし、符号化ピクチャのサイズと同一サイズの参照ピクチャが存在しない場合は、強制的に変数SliceTemporalMvpEnableFlagを0に設定して、当該スライスにおいて、参照ピクチャの動きベクトル情報を用いずに、符号化、復号処理を行うという方式でもよい。
符号化スライスデータでは、処理対象のスライスデータを復号するために動画像復号装置31が参照するデータの集合が規定されている。スライスデータは、図4の符号化スライスヘッダに示すように、CTUを含んでいる。CTUは、スライスを構成する固定サイズ(例えば64x64)のブロックであり、最大符号化単位(LCU:Largest Coding Unit)と呼ぶこともある。
図4には、処理対象のCTUを復号するために動画像復号装置31が参照するデータの集合が規定されている。CTUは、再帰的な4分木分割(QT(Quad Tree)分割)、2分木分割(BT(Binary Tree)分割)あるいは3分木分割(TT(Ternary Tree)分割)により、符号化処理の基本的な単位である符号化ユニットCUに分割される。BT分割とTT分割を合わせてマルチツリー分割(MT(Multi Tree)分割)と呼ぶ。再帰的な4分木分割により得られる木構造のノードのことを符号化ノード(Coding Node)と称する。4分木、2分木、及び3分木の中間ノードは、符号化ノードであり、CTU自身も最上位の符号化ノードとして規定される。
図4は、処理対象の符号化ユニットを復号するために動画像復号装置31が参照するデータの集合が規定されている。具体的には、CUは、CUヘッダCUH、予測パラメータ、変換パラメータ、量子化変換係数等から構成される。CUヘッダでは予測モード等が規定される。
予測画像は、ブロックに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測とインター予測の予測パラメータがある。
参照ピクチャリストは、参照ピクチャメモリ306に記憶された参照ピクチャからなるリストである。図6は、参照ピクチャおよび参照ピクチャリストの一例を示す概念図である。図6の参照ピクチャの一例を示す概念図において、矩形はピクチャ、矢印はピクチャの参照関係、横軸は時間、矩形中のI、P、Bは各々イントラピクチャ、単予測ピクチャ、双予測ピクチャ、矩形中の数字は復号順を示す。図に示すように、ピクチャの復号順は、I0、P1、B2、B3、B4であり、表示順は、I0、B3、B2、B4、P1である。図6には、ピクチャB3(対象ピクチャ)の参照ピクチャリストの例を示されている。参照ピクチャリストは、参照ピクチャの候補を表すリストであり、1つのピクチャ(スライス)が1つ以上の参照ピクチャリストを有してもよい。図の例では、対象ピクチャB3は、L0リストRefPicList0およびL1リストRefPicList1の2つの参照ピクチャリストを持つ。個々のCUでは、参照ピクチャリストRefPicListX(X=0または1)中のどのピクチャを実際に参照するかをrefIdxLXで指定する。図は、refIdxL0=2、refIdxL1=0の例である。なお、LXは、L0予測とL1予測を区別しない場合に用いられる記述方法であり、以降では、LXをL0、L1に置き換えることでL0リストに対するパラメータとL1リストに対するパラメータを区別する。
予測パラメータの復号(符号化)方法には、マージ予測(merge)モードとAMVP(Advanced Motion Vector Prediction、適応動きベクトル予測)モードがあり、merge_flagは、これらを識別するためのフラグである。マージ予測モードは、予測リスト利用フラグpredFlagLX、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを符号化データに含めずに、既に処理した近傍ブロックの予測パラメータ等から導出するモードである。AMVPモードは、inter_pred_idc、refIdxLX、mvLXを符号化データに含めるモードである。なお、mvLXは、予測ベクトルmvpLXを識別するmvp_LX_idxと差分ベクトルmvdLXとして符号化される。また、マージ予測モードの他に、アフィン予測モード、MMVD予測モードがあってもよい。
mvLXは、異なる2つのピクチャ上のブロック間のシフト量を示す。mvLXに関する予測ベクトル、差分ベクトルを、それぞれmvpLX、mvdLXと呼ぶ。
inter_pred_idcと、predFlagL0、predFlagL1の関係は以下のとおりであり、相互に変換可能である。
predFlagL0 = inter_pred_idc & 1
predFlagL1 = inter_pred_idc >> 1
なお、インター予測パラメータは、予測リスト利用フラグを用いても良いし、インター予測識別子を用いてもよい。また、予測リスト利用フラグを用いた判定は、インター予測識別子を用いた判定に置き替えてもよい。逆に、インター予測識別子を用いた判定は、予測リスト利用フラグを用いた判定に置き替えてもよい。
双予測であるかのフラグbiPredは、2つの予測リスト利用フラグがともに1であるかによって導出できる。例えば以下の式で導出できる。
あるいは、biPredは、インター予測識別子が2つの予測リスト(参照ピクチャ)を使うことを示す値であるか否かによっても導出できる。例えば以下の式で導出できる。
(動画像復号装置の構成)
本実施形態に係る動画像復号装置31(図7)の構成について説明する。
図8は、動画像復号装置31の概略的動作を説明するフローチャートである。
図11には、本実施形態に係るインター予測パラメータ導出部303の構成を示す概略図が示されている。インター予測パラメータ導出部303は、パラメータ復号部302から入力されたシンタックス要素に基づいて、予測パラメータメモリ307に記憶された予測パラメータを参照してインター予測パラメータを導出する。また、インター予測パラメータをインター予測画像生成部309、予測パラメータメモリ307に出力する。インター予測パラメータ導出部303及びその内部の要素であるAMVP予測パラメータ導出部3032、マージ予測パラメータ導出部3036、アフィン予測部30372、MMVD予測部30373、triangle予測部30377、DMVR部30537、MV加算部3038は、動画像符号化装置、動画像復号装置で共通する手段であるので、これらを総称して動きベクトル導出部(動きベクトル導出装置)と称してもよい。
((fRefWidth << 14)+(PicOutputWidthL >> 1)) / PicOutputWidthL
RefPicScale[ i ][ j ][ 1 ] =
((fRefHeight << 14)+(PicOutputHeightL >> 1)) / PicOutputHeightL
RefPicIsScaled[i][j] =
(RefPicScale[i][j][0] != (1<<14)) || (RefPicScale[i][j][1] != (1<<14))
ここで、変数PicOutputWidthLは、符号化ピクチャが参照される時に水平方向のスケーリング比を計算する時の値であり、符号化ピクチャの輝度の水平方向の画素数から左右のオフセット値を引いたものが用いられる。変数PicOutputHeightLは、符号化ピクチャが参照される時に垂直方向のスケーリング比を計算する時の値であり、符号化ピクチャの輝度の垂直方向の画素数から上下のオフセット値を引いたものが用いられる。変数fRefWidthは、リストiの参照リスト値jの参照ピクチャのPicOutputWidthLの値とし、変数fRefHightは、リストiの参照ピクチャリスト値jの参照ピクチャのPicOutputHeightLの値とする。
MV加算部3038では導出されたmvpLXとmvdLXを加算し、mvLXを導出する。
アフィン予測部30372は、1)対象ブロックの2つの制御点CP0、CP1、もしくは3つの制御点CP0, CP1, CP2の動きベクトルを導出し、2)対象ブロックのアフィン予測パラメータを導出し、3)アフィン予測パラメータから各サブブロックの動きベクトルを導出する。
spMvLXは、各サブブロックの中心に位置する点(xPosCb, yPosCb)の動きベクトルとして導出される。
mvScaleVer = cpMvLX[ 0 ][ 1 ] << 7
dHorX = ( cpMvLX[ 1 ][ 0 ] - cpMvLX[ 0 ][ 0 ] ) << ( 7 - log2CbW )
dVerX = ( cpMvLX[ 1 ][ 1 ] - cpMvLX[ 0 ][ 1 ] ) << ( 7 - log2CbW )
numCpMv==3の場合、
dHorY = ( cpMvLX[ 2 ][ 0 ] - cpMvLX[ 0 ][ 0 ] ) << ( 7 - log2CbH )
dVerY = ( cpMvLX[ 2 ][ 1 ] - cpMvLX[ 0 ][ 1 ] ) << ( 7 - log2CbH )
numCpMv!=3の場合、
dHorY = - dVerX
dVerY = dHorX
ここで、log2CbW、log2CbHは、対象ブロックの幅bW、高さbHの対数値である。
yPosCb = 2 + (j<<2)
spMvLX[i][j][0] = mvScaleHor + dHorX * xPosCb + dHorY * yPosCb
spMvLX[i][j][1] = mvScaleVer + dVerX * xPosCb + dVerY * yPosCb
さらにラウンドシフトをし、クリップしてもよい。
spMvLX[i][j][1] = Clip3(-2^17, 2^17, (spMvLX[i][j][1]+64)>>7 )
ここで、sbWとsbHは対象サブブロックの幅と高さである。
(マージ予測)
図12には、本実施形態に係るマージ予測パラメータ導出部3036の構成を示す概略図が示されている。マージ予測パラメータ導出部3036は、マージ候補導出部30361、マージ候補選択部30362を備える。なお、マージ候補は、予測パラメータ(predFlagLX、mvLX、refIdxLX)を含んで構成され、マージ候補リストに格納される。マージ候補リストに格納されたマージ候補には、所定の規則に従ってインデックスが割り当てられる。
ここで、A1,B1,B0,A0,B2は各々、下記の座標を含むブロックから導出される動き情報である。図9の対象ピクチャでマージ候補の配置にA1,B1,B0,A0,B2の位置を示す。
B1: (xCb + cbWidth - 1, yCb - 1)
B0: (xCb + cbWidth, yCb - 1)
A0: (xCb - 1, yCb + cbHeight)
B2: (xCb - 1, yCb - 1)
対象ブロックの左上座標を(xCb, yCb)、幅cbWidth、高さcbHeightとする。
yColCtr = yCb+(cbHeight>>1)
xColCBr = xCb+cbWidth
yColCBr = yCb+ cbHeight
CBRが利用可能であればCBRの動きベクトルを利用してマージ候補COLを導出する。CBRが利用可能でなければCを使用してCOLを導出する。そして、availableFlagLXColを1に設定する。なお、参照ピクチャは、スライスヘッダにおいて通知されたcollocated_ref_idxであってもよい。
mvLXavgK[1] = (mvLXp0Cand[1]+mvLXp1Cand[1])/2
マージ候補導出部30361は、refIdxLXが0…Mであり、mvLXのX成分、Y成分が共に0であるゼロマージ候補Z0,…, ZMを導出しマージ候補リストに格納する。
i = 0
if( availableFlagA1 )
mergeCandList[ i++ ] = A1
if( availableFlagB1 )
mergeCandList[ i++ ] = B1
if( availableFlagB0 )
mergeCandList[ i++ ] = B0
if( availableFlagA0 )
mergeCandList[ i++ ] = A0
if( availableFlagB2 )
mergeCandList[ i++ ] = B2
if( availableFlagCol )
mergeCandList[ i++ ] = COL
if( availableFlagAvgK )
mergeCandList[ i++ ] = avgK
if( i < MaxNumMergeCand )
mergeCandList[ i++ ] = ZK
マージ候補選択部30362は、マージ候補リストに含まれるマージ候補のうち、merge_idxが示すマージ候補Nを以下の式で選択する。
ここでNは、マージ候補を示すラベルであり、A1,B1,B0,A0,B2,Col,avgK,ZKなどをとる。ラベルNで示されるマージ候補の動き情報は(mvLXN[0], mvLXN[0])、predFlagLXN, refIdxLXNで示される。
続いて、DMVR部30375が行うDMVR(Decoder side Motion Vector Refinement)処理について説明する。DMVR部30375は、対象CUに対して、merge_flagが1の場合、又は、スキップフラグskip_flagが1の場合、マージ予測部30374が導出する当該対象CUのmvLXを、参照画像を用いて修正する。具体的には、マージ予測部30374が導出する予測パラメータが双予測である場合において、2つの参照ピクチャに対応すると動きベクトルから導出される予測画像を用いて、動きベクトルを修正する。修正後のmvLXはインター予測画像生成部309に供給される。
また、RefPicIsScaled[0][refIdxLX]の値が1であるか、RefPicIsScaled[1][refIdxLX]の値が1であれば、cbProfFlagLXの値はFALSEに設定される。ここで、cbProfFlagLXは、アフィン予測のPrediction refinement(PROF)を行うか否かを規定するフラグである。
図12には、本実施形態に係るAMVP予測パラメータ導出部3032の構成を示す概略図が示されている。AMVP予測パラメータ導出部3032は、ベクトル候補導出部3033とベクトル候補選択部3034を備える。ベクトル候補導出部3033は、refIdxLXに基づいて予測パラメータメモリ307が記憶する復号済みの隣接ブロックの動きベクトルから予測ベクトル候補を導出し、予測ベクトル候補リストmvpListLX[]に格納する。
MV加算部3038は、AMVP予測パラメータ導出部3032から入力されたmvpLXと復号したmvdLXを加算してmvLXを算出する。加算部3038は、算出したmvLXをインター予測画像生成部309および予測パラメータメモリ307に出力する。
mvLX[1] = mvpLX[1]+mvdLX[1]
(サブブロックマージの詳細分類)
サブブロックマージが関連する予測処理の種類について纏める。上記のように、マージ予測とAMVP予測とに大別される。
・サブブロックマージ予測
サブブロックマージ予測は、更に、以下に類別される。
・アフィン予測
・継承アフィン予測(inferred affine prediction)
・構成アフィン予測(constructed affine prediction)
一方、AMVP予測は、以下に類別される。
・MVDアフィン予測
MVDアフィン予測は、更に、以下に類別される。
・6パラメータMVDアフィン予測
なお、MVDアフィン予測は、差分ベクトルを復号して用いるアフィン予測を指す。
predModeがインター予測モードを示す場合、インター予測画像生成部309は、インター予測パラメータ導出部303から入力されたインター予測パラメータと参照ピクチャを用いてインター予測によりブロックもしくはサブブロックの予測画像を生成する。
動き補償部3091(補間画像生成部3091)は、インター予測パラメータ導出部303から入力された、インター予測パラメータ(predFlagLX、refIdxLX、mvLX)に基づいて、参照ピクチャメモリ306から参照ブロックを読み出すことによって補間画像(動き補償画像)を生成する。参照ブロックは、refIdxLXで指定された参照ピクチャRefPicLX上で、対象ブロックの位置からmvLXシフトした位置のブロックである。ここで、mvLXが整数精度でない場合には、動き補償フィルタと呼ばれる小数位置の画素を生成するためのフィルタを施して、補間画像を生成する。
xFrac = mvLX[0]&(MVPREC-1)
yInt = yPb+(mvLX[1]>>(log2(MVPREC)))+y
yFrac = mvLX[1]&(MVPREC-1)
ここで、(xPb,yPb)は、bW*bHサイズのブロックの左上座標、x=0…bW-1、y=0…bH-1であり、MVPRECは、mvLXの精度(1/MVPREC画素精度)を示す。例えばMVPREC=16である。
続いて、動き補償部3091は、一時的画像temp[][]を垂直補間処理により、補間画像Pred[][]を導出する。以下のΣはk=0..NTAP-1のkに関する和、shift2は値のレンジを調整する正規化パラメータ、offset2=1<<(shift2-1)である。
IntraInter合成部30951は、インター予測画像とイントラ予測画像の重み付け和により予測画像を生成する。
Triangle合成部30952は、上述したTriangle予測を用いた予測画像を生成する。
次に、BIO部30954が行うBIO予測(Bi-Directional Optical Flow, BDOF処理)の詳細について説明する。BIO部30954は、双予測モードにおいて、2つの予測画像(第1の予測画像及び第2の予測画像)及び勾配補正項を参照して予測画像を生成する。
ここで、DiffPicOrderCnt()は、以下のように2枚の画像のPOC(Picture Order Count:ピクチャの表示順序)の差分を導出する関数である。
また、インター予測パラメータ導出部303は、上述したRefPicIsScaled[0][refIdxL0]の値が0であり、且つRefPicIsScaled[1][refIdxL1]の値が0であれば、bioAvailableFlagの値をTRUEに設定してもよい。
ly0[x][y] = (PredL0[x][y+1]-PredL0[x][y-1])>>shift0
lx1[x][y] = (PredL1[x+1][y]-PredL1[x-1][y])>>shift0
ly1[x][y] = (PredL1[x][y+1]-PredL1[x][y-1])>>shift0
ここで、shift0=14-InternalBitDepthである。BIO部内の計算精度として画素ビット長bitDepthとは独立の内部ビット長InternalBitDepthを定義する。InternalBitDepthは7以上、12以下の値とする。
s2 = sum(phiX[x][y]* phiY[x][y])
s3 = sum(-theta[x][y]* phiX[x][y])
s5 = sum(phiY[x][y]* phiY[x][y])
s6 = sum(-theta[x][y]* phiY[x][y])
ここで、sum(a)は(N+2)x(N+2)画素のブロック内の座標(x,y)に対するaの総和を表す。また、変数theta、phiX、phiYを導出する。
phiX[x][y] = (lx1[x][y] + lx0[x][y])>>shift5
phiY[x][y] = (ly1[x][y] + ly0[x][y])>>shift5
ここで、shift4、shift5は以下で導出する。
shift5=Max(InternalBitDepth-7, bitDepth+InternalBitDepth-19)
次に、動き補償修正値導出部309544は、導出した勾配積和s1,s2,s3,s5,s6を用いて、NxN画素単位の補正重みベクトル(u, v)を導出する。
v = ((s6<<3)-((((u*s2m)<<12)+u*s2s)>>1)) >> floor(log2(s5))
ここでs2m=s2>>12、s2s=s2&((1<<12)-1)である。
双方向予測画像生成部309545は、上記のパラメータを用いて下式により、NxN画素の予測画像の画素値Predを導出する。
ここで、shift2=Max(3,15-bitDepth)、offset2=1<<(shift2-1)である。
重み予測部3094は、補間画像PredLXに重み係数を乗算することによりブロックの予測画像を生成する。予測リスト利用フラグの一方(predFlagL0もしくはpredFlagL1)が1(単予測)、かつ、重み予測を用いない場合、PredLX(LXはL0もしくはL1)を画素ビット数bitDepthに合わせる以下の式の処理を行う。
ここで、shift1=14-bitDepth、offset1=1<<(shift1-1)である。
また、予測リスト利用フラグの両者(predFlagL0とpredFlagL1)が1(双予測PRED_BI)、かつ、重み予測を用いない場合、PredL0、PredL1を平均し画素ビット数に合わせる以下の式の処理を行う。
ここで、shift2=15-bitDepth、offset2=1<<(shift2-1)である。
ここで、log2WDは所定のシフト量を示す変数である。
インター予測画像生成部309は生成したブロックの予測画像を加算部312に出力する。
次に、本実施形態に係る動画像符号化装置11の構成について説明する。図14は、本実施形態に係る動画像符号化装置11の構成を示すブロック図である。動画像符号化装置11は、予測画像生成部101、減算部102、変換・量子化部103、逆量子化・逆変換部105、加算部106、ループフィルタ107、予測パラメータメモリ(予測パラメータ記憶部、フレームメモリ)108、参照ピクチャメモリ(参照画像記憶部、フレームメモリ)109、符号化パラメータ決定部110、パラメータ符号化部111、予測パラメータ導出部120、エントロピー符号化部104を含んで構成される。
インター予測パラメータ符号化部112は図15に示すように、パラメータ符号化制御部1121、インター予測パラメータ導出部303を含んで構成される。インター予測パラメータ導出部303は動画像復号装置と共通の構成である。パラメータ符号化制御部1121は、マージインデックス導出部11211とベクトル候補インデックス導出部11212を含む。
上述した動画像符号化装置11及び動画像復号装置31は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CGおよびGUIを含む)であってもよい。
また、上述した動画像復号装置31および動画像符号化装置11の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
301 エントロピー復号部
302 パラメータ復号部
303 インター予測パラメータ導出部
304 イントラ予測パラメータ導出部
305、107 ループフィルタ
306、109 参照ピクチャメモリ
307、108 予測パラメータメモリ
308、101 予測画像生成部
309 インター予測画像生成部
310 イントラ予測画像生成部
311、105 逆量子化・逆変換部
312、106 加算部
320 予測パラメータ導出部
11 画像符号化装置
102 減算部
103 変換・量子化部
104 エントロピー符号化部
110 符号化パラメータ決定部
111 パラメータ符号化部
112 インター予測パラメータ符号化部
113 イントラ予測パラメータ符号化部
120 予測パラメータ導出部
Claims (3)
- 符号化ピクチャのサイズと参照ピクチャのサイズが異なっていた場合、参照ピクチャをスケーリングする予測画像生成部を有し、
前記予測画像生成部において、符号化ピクチャのサイズと異なる参照ピクチャの動きベクトルの情報を参照する符号化データを復号した場合には、
前記参照ピクチャの動きベクトル情報の使用が禁止されてものとして復号して、予測画像を生成することを特徴とする動画像復号装置。 - 符号化ピクチャのサイズと参照ピクチャのサイズが異なっていた場合、参照ピクチャをスケーリングする予測画像生成部を有し、
前記予測画像生成部において、符号化ピクチャのサイズと異なる参照ピクチャの動きベクトルの情報を参照する符号化データを符号化する場合には、
前記参照ピクチャの動きベクトル情報の使用が禁止されてものとして符号化して、予測画像を生成することを特徴とする動画像符号化装置。 - 符号化ピクチャのサイズと参照ピクチャのサイズが異なっていた場合、参照ピクチャをスケーリングする予測画像生成部を有し、
前記予測画像生成部において、符号化ピクチャのサイズと異なる参照ピクチャの動きベクトルの情報を参照する符号化データを符号化、復号する場合には、
前記参照ピクチャの動きベクトル情報の使用が禁止されてものとして、予測画像を生成することを特徴とする予測画像生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019203450A JP2021078004A (ja) | 2019-11-08 | 2019-11-08 | 動画像符号化装置、動画像復号装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019203450A JP2021078004A (ja) | 2019-11-08 | 2019-11-08 | 動画像符号化装置、動画像復号装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021078004A true JP2021078004A (ja) | 2021-05-20 |
JP2021078004A5 JP2021078004A5 (ja) | 2022-11-11 |
Family
ID=75898365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019203450A Pending JP2021078004A (ja) | 2019-11-08 | 2019-11-08 | 動画像符号化装置、動画像復号装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021078004A (ja) |
-
2019
- 2019-11-08 JP JP2019203450A patent/JP2021078004A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021111962A1 (ja) | 動画像復号装置 | |
JP7448349B2 (ja) | 動画像復号装置 | |
JP2021002780A (ja) | 動画像復号装置および動画像符号化装置 | |
JPWO2020137920A1 (ja) | 予測画像生成装置、動画像復号装置、動画像符号化装置および予測画像生成方法 | |
US11589056B2 (en) | Video decoding apparatus and video coding apparatus | |
JPWO2020045248A1 (ja) | 動画像復号装置および動画像符号化装置 | |
US11303927B2 (en) | Video decoding apparatus and video coding apparatus | |
JP2022007319A (ja) | 動画像符号化装置、復号装置 | |
JP2021027429A (ja) | 動画像符号化装置、動画像復号装置 | |
WO2021200658A1 (ja) | 動画像復号装置及び動画像復号方法 | |
WO2021200610A1 (ja) | 動画像復号装置、動画像符号化装置、動画像復号方法及び動画像符号化方法 | |
JP2022096879A (ja) | 動画像符号化装置、復号装置 | |
JP2021106309A (ja) | 動画像復号装置および動画像符号化装置 | |
JP2020170901A (ja) | 予測画像生成装置、動画像復号装置および動画像符号化装置 | |
JP2021082913A (ja) | 動画像復号装置および動画像符号化装置 | |
JP2021034849A (ja) | 動画像復号装置および動画像符号化装置 | |
WO2021235448A1 (ja) | 動画像符号化装置及び動画像復号装置 | |
JP7465128B2 (ja) | 動画像符号化装置及び動画像復号装置 | |
JP2021078004A (ja) | 動画像符号化装置、動画像復号装置 | |
JP2021125798A (ja) | 動画像符号化装置、復号装置 | |
JP2021175009A (ja) | 動画像符号化装置及び動画像復号装置 | |
JP2021197558A (ja) | 動画像符号化装置及び動画像復号装置 | |
JP2022085475A (ja) | 動画像符号化装置、復号装置 | |
JP2022156140A (ja) | 動画像符号化装置、復号装置 | |
JP2021027458A (ja) | 動画像符号化装置、動画像復号装置、予測画像生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221102 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221102 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240507 |