JP2022531553A - 多重変換行列のコンテキストモデリングおよび選択 - Google Patents
多重変換行列のコンテキストモデリングおよび選択 Download PDFInfo
- Publication number
- JP2022531553A JP2022531553A JP2021562775A JP2021562775A JP2022531553A JP 2022531553 A JP2022531553 A JP 2022531553A JP 2021562775 A JP2021562775 A JP 2021562775A JP 2021562775 A JP2021562775 A JP 2021562775A JP 2022531553 A JP2022531553 A JP 2022531553A
- Authority
- JP
- Japan
- Prior art keywords
- conversion
- block
- mode
- mts
- current video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009466 transformation Effects 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 claims abstract description 236
- 238000012545 processing Methods 0.000 claims abstract description 64
- 239000011159 matrix material Substances 0.000 claims abstract description 35
- 238000006243 chemical reaction Methods 0.000 claims description 283
- 238000003672 processing method Methods 0.000 claims description 41
- 238000004590 computer program Methods 0.000 claims description 13
- 230000015654 memory Effects 0.000 claims description 12
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 9
- 238000000844 transformation Methods 0.000 abstract description 13
- 230000001131 transforming effect Effects 0.000 abstract 1
- 239000000523 sample Substances 0.000 description 23
- 230000001419 dependent effect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2020年4月23日出願の国際特許出願第PCT/CN2019/083844号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
より高い解像度の映像の需要が増大しているため、近代技術において、映像符号化法および技術は、遍在している。ビデオコーデックは、一般的に、デジタル映像を圧縮又は展開する電子回路又はソフトウェアを含み、より高い符号化効率を提供するように絶えず改良されている。ビデオコーデックは、非圧縮映像を圧縮フォーマットに変換する、又はその逆である。映像の品質、映像を表現するために使用されるデータの数(ビットレートで決まる)、エンコーディングおよびデコーディングアルゴリズムの複雑性、データの損失およびエラーに対する敏感さ、編集のしやすさ、ランダムアクセス、およびエンドツーエンドの遅延(待ち時間)の間には複雑な関係がある。この圧縮フォーマットは、通常、標準的な映像圧縮仕様、例えば、高効率映像符号化(HEVC)規格(H.265またはMPEG-H Part2としても知られている)、完成させるべき汎用映像符号化規格、または他の現在のおよび/または将来の映像符号化基準に準拠する。
離散正弦関数変換ファミリーは、周知の離散フーリエ、コサイン、サイン、およびカルーネン-レーブ(1次マルコフ条件下)変換を含む。すべてのメンバーの中で、コサイン関数に基づく8つのタイプの変換、およびサイン関数に基づく8つのタイプの変換、すなわち、それぞれ、DCT-I、II、・・、VIII、およびDST-I、II、・・・、VIIIがある。これらの離散コサイン変換およびサイン変換の変形は、それらに対応する対称-周期的シーケンスの異なる対称性に由来する。提案される方法に利用されるような、選択されたタイプのDCTおよびDSTの変換基底関数を、以下の表1にまとめる。
表1:N点入力用DCT-II/V/VIII、DST-I/VIIの変換ベースの関数
HEVC規格は、ブロックベースの動き補償映像圧縮のコンテキストにおいて2次元変換に使用されるべき、サイズ4×4、8×8、16×16、および32×32のコア変換行列を規定する。従来の映像符号化規格と同様に、HEVCは、すべての変換サイズに対して逆離散コサイン変換(IDCT)に類似した2次元変換を規定する。複数の変換サイズは、圧縮性能を向上させるが、実装の複雑性を増大させる。
7.3.2.3.1 一般ピクチャパラメータセットRBSP構文
transform_skip_context_enabled_flagが1の場合は、変換がスキップされた変換ブロックのsig_coeff_flagの構文解析に特定のコンテキストが使用されることを示す。transform_skip_context_enabled_flagが0の場合は、変換ブロックの変換スキップまたは変換バイパスの有無が、このフラグのコンテキスト選択に使用されないことを示す。存在しない場合、transform_skip_context_enabled_flagの値は0であると推測される。
多重変換選択(Multiple Transform Selection、MTS)技術において、代替変換のグループが予め定義される。エンコーダは、複数の予め定義された候補から1つの変換を選択し、その選択をビットストリームに明示的に信号通知するように権限を与えられる。これは、単一の予測方向であっても、残差統計量が有意に変化するという観察結果に基づいている。
現在のVVC設計において、MTSは、幅および高さの両方が64以下の輝度符号化ユニット(CU)に適用され、MTSが適用されるか否かは、tu_mts_flagと呼ばれるCUレベルフラグによって制御される。CUレベルフラグが0の場合、デフォルト変換DCT-IIをCUに適用し、剰余を符号化する。MTS有効化CU内の輝度符号化ブロックの場合、使用される水平および垂直変換をそれぞれ識別するように、2つの追加のフラグが信号通知される。各フラグは、DST-VIIまたはDCT-VIIIのいずれが利用されるかを示すために、1ビットで符号化される。
表2:許容される変換行列のリスト
7.3.2.1 シーケンスパラメータセットRBSP構文
sps_mts_intra_enabled_flagが1の場合は、tu_mts_flagがイントラ符号化ユニットの残差符号化構文に存在する可能性があることを示す。sps_mts_intra_enabled_flagが0の場合は、tu_mts_flagはイントラ符号化ユニットの残差符号化構文内に存在しないことを示す。
sps_mts_inter_enabled_flagは、tu_mts_flagがインター符号化ユニットの残差符号化構文に存在する可能性があることを示す。sps_mts_inter_enabled_flagが0の場合は、tu_mts_flagはインター符号化ユニットの残差符号化構文内に存在しないことを示す。
tu_mts_flag[x0][y0]が1の場合は、関連する輝度変換ブロックの残差サンプルに多重変換選択を適用することを示す。tu_mts_flag[x0][y0]が0の場合は、関連する輝度変換ブロックの残差サンプルに多重変換選択を適用しないことを示す。配列インデックスx0,y0は、ピクチャの左上輝度サンプルに対する、考慮される変換ブロックの左上輝度サンプルの位置(x0,y0)を指定する。
mts_flag[x0][y0]が存在しない場合、0に等しいと推測される。
mts_idx[x0][y0][cIdx]は、現在の変換ブロックの水平および垂直方向に沿ってどの変換カーネルを残差サンプルに適用するかを指定する。配列インデックスx0,y0は、考慮される変換ブロックの左上の輝度サンプルの、ピクチャの左上の輝度サンプルに対する位置(x0,y0)を指定し、配列インデックスcIdxは、色成分のインジケータを指定し、輝度については0であり、Cbについては1であり、Crについては2である。
mts_idx[x0][y0][cIdx]iが存在しない場合、-1に等しいと推測される。
表8-9 - mts_idx[x][y][cIdx]に基づくtrTypeHor,trTypeVerの仕様
2.4.1 JVET-L0134
イントラ予測誤差信号の分布はブロックの形状に相関するように見えるので、変換ブロックの幅および高さに基づいて、異なる方向への異なる変換を選択することが提案される。より正確には、変換ブロックの短辺にDST7を使用し、ブロックの長辺にDCT2を使用することが提案される。正方形のブロックの場合、水平および垂直変換の両方にDCT2を使用することが提案される。
表3:提案されたVTM-2とは異なる変換導出および信号通知テーブルを、太二重括弧を使用して囲んで区切る。
まずMTSフラグを構文解析する代わりに、変換スキップ(TS)フラグの後に、MTSインデックスのために2つのビンを有する固定長符号化が続き、新しい結合構文要素tu_mts_idxは、短縮された単項2値化を使用する。第1のビンはTSを示し、第2のビンはMTSフラグを示し、すべての後続のMTSインデックスを示す。完全な意味論および2値化を以下の表に示す。
イントラ予測誤差信号の分布はブロックの形状に相関するように見えるので、変換ブロックの幅および高さに基づいて、異なる方向への異なる変換を選択することが提案される。より正確には、変換ブロックの短辺にDST7を使用し、ブロックの長辺にDCT2を使用することが提案される。正方形のブロックの場合、シーケンスに対してMTSが有効化される場合、水平および垂直変換の両方にDCT2を使用し、シーケンスに対してMTSが無効化される場合、DST7を使用することが提案される。形状適応性は、空間的予測モードで予測されるイントラブロックに対してのみ使用される。
2.4.4 最新のVVCワーキングドラフトにおける構文、意味論および復号化処理
2.4.4.1 シンタックス設計
7.3.2.1 シーケンスパラメータセットRBSP構文
sps_mts_enabled_flagが1の場合、シーケンスパラメータセットRBSPの構文にsps_explicit_mts_intra_enabled_flagが存在し、シーケンスパラメータセットRBSPの構文にsps_explicit_mts_inter_enabled_flagが存在することを示す。sps_mts_enabled_flagが0の場合、シーケンスパラメータセットRBSPの構文にsps_explicit_mts_intra_enabled_flagが存在しないこと、およびsps_explicit_mts_inter_enabled_flagが存在しないことを示す。
sps_explicit_mts_intra_enabled_flagが1の場合、イントラ符号化ユニットの変換ユニット構文にtu_mts_idxが存在する可能性があることを示す。sps_explicit_mts_intra_enabled_flagが0の場合、イントラ符号化ユニットの変換ユニット構文にtu_mts_idxが存在しないことを示す。存在しない場合、sps_explicit_mts_intra_enabled_flagの値は0と推測される。
sps_explicit_mts_inter_enabled_flagが1の場合、インター符号化ユニットの変換ユニット構文にtu_mts_idxが存在する可能性があることを示す。sps_explicit_mts_inter_enabled_flagが0の場合、インター符号化ユニットの変換ユニット構文にtu_mts_idxが存在しないことを示す。存在しない場合、sps_explicit_mts_inter_enabled_flagの値は0と推測される。
2.4.4.3 復号化処理
暗黙的MTSを有効化するかどうかは、以下の規則に従って判定される。
変数implicitMtSEnabledは、以下のように導出される。
- sps_mts_enabled_flagが1であり、以下の条件の1つが真である場合、implicitMtsEnabledは1に設定される。
- IntraSubPartitionsSplitTypeがISP_NO_SPLITではない。
- cu_sbt_flagが1であり、Max(nTbW,nTbH)=32以下である
- sps_explicit_mts_intra_enabled_flag、sps_explicit_mts_inter_enabled_flagは両方とも0であり、CuPredMode[xTbY][yTbY]は、MODE_INTRAである。
- そうでない場合、implicitMtSEnabledは0に設定される。
水平変換カーネルを指定する変数trTypeHorおよび垂直変換カーネルを規定する変数trTypeVerは、以下のように導出される。
- cIdxが0よりも大きい場合、trTypeHorおよびtrTypeVerは、0に設定される。
- そうでない場合、implicitMtSEnabledが1の場合、以下が適用される。
- IntraSubPartitionsSplitTypeがISP_NO_SPLITでない場合、trTypeHorおよびtrTypeVerは、intraPredModeに依存して、表8-15に規定される。
- そうでない場合、cu_sbt_flagが1である場合、trTypeHorおよびtrTypeVerは、表8-14において、cu_sbt_horizontal_flagおよびcu_sbt_pos_flagに基づいて指定される。
- そうでない場合、(sps_explicit_mts_intra_enabled_flagとsps_explicit_mts_inter_enabled_flagが0の場合)、trTypeHorとtrTypeVerは以下のように導出される。
trTypeHor=(nTbW>=4 && nTbW<=16 && nTbW<=nTbH) ?1:0 (8-1030)
trTypeVer=(nTbH>=4 && nTbH<=16 && nTbH<=nTbW) ?1:0 (8-1031)
- そうでない場合、trTypeHorおよびtrTypeVerはtu_mts_idx[xTbY][yTbY]に基づいて、表8-13に指定される。
表8-13 - tu_mts_idx[x][y]に依存するtrTypeHor,trTypeVerの仕様
JEMにおいて、セカンダリ変換は、順方向プライマリ変換と量子化(エンコーダにおいて)の間、及び逆量子化と逆方向プライマリ変換(デコーダ側において)の間に適用される。図1に示すように、ブロックサイズにより4×4(または8×8)のセカンダリ変換を行う。例えば、4×4のセカンダリ変換は、小さなブロック(すなわち、min(幅、高さ)<8)に適用され、8×8のセカンダリ変換は、8×8ブロック当たりより大きなブロック(すなわち、min(幅、高さ)>4)に適用される。
最近のVVC作業草案において、意味論および構文表の整列がずれている。
7.3.2.3 シーケンスパラメータセットRBSP構文
sps_explicit_mts_inter_enabled_flagが1の場合、インター符号化ユニットの変換ユニット構文にtu_mts_idxが存在する可能性があることを示す。sps_explicit_mts_inter_enabled_flagが0の場合、インター符号化ユニットの変換ユニット構文にtu_mts_idxが存在しないことを示す。存在しない場合、sps_explicit_mts_inter_enabled_flagの値は0と推測される。
pred_mode_flagが0に等しい場合、現在の符号化ユニットがインター予測モードで符号化されることを規定する。pred_mode_flagが1に等しい場合、現在の符号化ユニットがイントラ予測モードで符号化されることを規定する。変数CuPredMode[x][y]は、x=x0..x0+cbWidth-1およびy=y0..y0+cbHeight-1に対しては以下のように導出される。
- pred_mode_flagが0に等しい場合、CuPredMode[x][y]は、MODE_INTERに等しく設定される。
- あるいは、(pred_mode_flagが1に等しい場合)、CuPredMode[x][y]をMODE_INTRAに等しく設定する。
pred_mode_flagが存在しない場合、Iスライスをデコードするとき、1に等しいと推測され、PまたはBスライスを復号化するとき、それぞれ0に等しいと推測される。
pred_mode_ibc_flagが1に等しい場合、現在の符号化ユニットがIBC予測モードで符号化されることを規定する。pred_mode_ibc_flagが0に等しい場合、現在の符号化ユニットがIBC予測モードで符号化されないことを規定する。
pred_mode_ibc_flagが存在しない場合、Iスライスをデコードするとき、sps_ibc_enabled_flagの値に等しいと推測され、PまたはBスライスを復号化するとき、それぞれ0と推測される。
pred_mode_ibc_flagが1に等しいとき、変数CuPredMode[x][y]は、x=x0..x0+cbWidth-1およびy=y0..y0+cbHeight-1に対してMODE_IBCと等しくなるように設定される。
cu_cbfが1に等しいインター予測されたCUの場合、cu_sbt_flagは、残差ブロック全体が復号されるのか、サブ部分が復号化されるのかを示すために信号通知されてもよい。前者の場合、インターMTS情報をさらに構文解析し、CUの変換タイプを判定する。後者の場合、残差ブロックの一部は推測適応変換で符号化され、残差ブロックの他の部分はゼロ化される。SBTは、複合インターイントラモードには適用されない。
JVET-N0217には、アフィン線形重み付きイントラ予測(ALWIP、別名行列ベースイントラ予測(MIP))が提案される。
JVET-M0102において、ISPは、表4に示すように、輝度イントラ予測ブロックを垂直または水平にブロックサイズの寸法により2個または4個のサブパーティションに分割することが提案される。図4および図5は、これら2つの可能性の例を示す。すべてのサブパーティションは、少なくとも16個のサンプルを有するという条件を満たす。
表4:ブロックサイズに応じたサブパーティションの数
JVET-M0057において、BDPCMが提案されている。現在の画素を予測するために左(A)(または上(B))の画素を使用する水平(または垂直)予測モジュールの形状により、ブロックを最もスループット効率よく処理する方法は、1つの列(またはライン)のすべての画素を並列に処理し、これらの列(またはライン)を順次処理することである。スループットを向上させるために、我々は、以下の処理を導入する。すなわち、このブロックにおいて選択された予測子が垂直である場合、幅4のブロックを水平フロンティアで二分割し、このブロックにおいて選択された予測子が水平である場合、高さ4のブロックを垂直フロンティアで二分割する。
JVET-N0413において、量子化残差ドメインBDPCM(以下、RBDPCMと称する)が提案される。イントラ予測は、イントラ予測と同様に、予測方向(水平または垂直予測)にサンプルコピーすることで、ブロック全体で予測する。残差を量子化し、量子化された残差とその予測子(水平または垂直)量子化値との間のデルタを符号化する。
VVCの現在の設計において、3つの異なるマージリストが異なる手順で利用され、それはハードウェア実装コストを増加させる。
本開示の技術の実施形態は、既存の実装の欠点を克服し、それにより、より高い符号化効率を有する映像符号化を提供する。本明細書に開示される技術に基づいてコンテキストモデリングおよび多重変換行列選択を行う方法は、既存のおよび将来の映像符号化規格を共に向上させることができ、以下の様々な実装形態において説明する。以下に提供される開示される技術の例は、一般的な概念を説明するものであり、限定するものと解釈されるべきではない。一例において、明確に示されていない限り、逆に示されていない限り、これらの例に記載されている様々な特徴を組み合わせることができる。
1. 暗黙的MTSを適用するかどうか、および/またはどのように適用するか(すなわち、変換インデックスを明示的に信号通知せずに変換行列を選択するかどうか)は、1つのブロックがモードXで符号化されているかどうか、および/または符号化された残差情報に依存してもよい。
a. 一例において、モードXは、IBCモードであってもよい。
b. 一例において、1つのブロックがIBCモードで符号化される場合、黙示的MTSは、自動的に有効化されてもよい。
c. 一例において、IBC符号化ブロックのための変換行列の選択は、イントラ符号化ブロックのための変換行列の選択と同じであってもよい。
i. 一例において、正方形のブロックのために、DCT-2が適用される。
ii. 一例において、非正方形のブロックの場合、短辺にDST-7が適用され、長辺にDCT-2が適用される。
d. 一例において、変換行列の選択は、ブロックがイントラ符号化されるかまたはIBC符号化されるか等の符号化モード情報に依存してもよい。
i. 一例において、IBC符号化された正方形のブロックのために、DST-7が適用される。
ii. 一例において、IBC符号化された非正方形のブロックの場合、短辺に変換スキップを適用してもよい。
iii. 一例において、IBC符号化された非正方形のブロックの場合、長辺に変換スキップまたはDST-7を適用してもよい。
e. 他の例において、モードXは、セカンダリ変換であってもよい。
f. 他の例において、モードXは、BDPCMモードまたは/およびDPCMモードまたは/およびRBDPCMモードまたは/およびALWIPモードであってもよい。
g. 他の例では、モードXは、任意の特定の角度イントラ予測モード(例えば、DC、平面、垂直、水平等)でもよい。
2. 1つのブロックがモードXで符号化されているかどうかに従って、許容される変換のセットを判定してもよい。
a. 一例において、モードXは、IBCモードであってもよい。
b. 一例において、モードXは、イントラおよびインター予測(CIIP)複合モードであってもよい。
c. 一例において、IBC符号化ブロックのための許容される変換行列のセットは、イントラ符号化ブロックのための変換行列の選択と同じであってもよい。
d. 代替的に、IBC符号化ブロックのための許容される変換行列の異なるセットは、イントラ符号化ブロックのためのものと同じであってもよく、例えば、IBC符号化ブロックのために、変換スキップ、DCT-2、DCT-8、DST-7が許容されてもよい。
e. 他の例において、モードXは、BDPCMモードまたは/およびDPCMモードまたは/およびRBDPCMモードまたは/およびALWIPモードであってもよい。
f. 他の例では、モードXは、任意の特定の角度イントラ予測モード(例えば、DC、平面、垂直、水平等)でもよい。
g. 他の例において、モードXは、セカンダリ変換であってもよい。
3. MTSインデックスを符号化するためのコンテキストモデリングは、符号化モード情報に依存してもよいことが提案される。
a. 符号化モード情報は、イントラまたはノンイントラを含んでもよい。
i. 代替的に、符号化モード情報は、イントラまたはインターまたはIBCを含んでもよい。
ii. 代替的に、符号化モード情報は、インターまたはノンインターを含んでもよい。
b. 代替的に、MTSインデックスを符号化するためのコンテキストモデリングは、ブロック形状情報に依存してもよい。
i. 一例において、ブロック形状情報は、ブロックが正方形であるかまたは非正方形であるかを含んでもよい。
ii. 一例において、ブロック形状情報は、幅が高さ以下であるかどうかを含んでもよい。
iii. 一例において、ブロック形状情報は、幅が高さ以上であるか否かを含んでもよい。
iv. 一例において、ブロック形状情報は、幅と高さの比を含んでもよい。
4. 水平および垂直変換行列インデックスを別個に符号化することが提案される。
a. 一例において、変換スキップフラグは、別個に符号化されない。その代わりに、それは水平および垂直変換行列インデックスの1つとして扱われる。
i. 一例において、変換スキップは、一方向(例えば、水平方向または垂直方向)にのみ適用されてもよい。
b. 垂直変換行列インデックスのコンテキストモデリングは、水平変換行列インデックスに依存してもよい。代替的に、水平変換行列インデックスのコンテキストモデリングは、垂直変換行列インデックスに依存してもよい。
c. 一例において、1つのフラグは、まず水平および垂直変換行列が同じであるかどうかを示すように符号化されてもよい。
5. IBC符号化ブロックのためのMTSの使用の指示は、シーケンス/ピクチャ/タイルグループ/スライス/CTU行/任意の映像データユニットレベルで信号通知されてもよい。
a. 一例において、IBC符号化ブロックのためにMTSを有効化するかどうか(例えば、1つのフラグ)は、SPS/PPS/スライスヘッダ/ピクチャヘッダ/タイルグループヘッダ/タイルヘッダ等において信号通知されてもよい。
i. さらに、代替的に、このようなフラグは、SPS/PPS/スライスヘッダ/ピクチャヘッダ等において明示的なMTSおよびIBCが有効にされているかどうかに基づいて、条件付きで符号化されてもよい。
b. 代替的に、IBC符号化ブロックのためにMTSを有効にするかどうか(例えば、1つのフラグ)は、インター符号化ブロックのためにMTSを有効にするかどうかから導出されてもよい。
i. この場合、1つのSPSフラグのみが、IBCおよびインターMTS間の両方を制御するように信号通知されてもよい。
c. 一例において、IBC符号化ブロックのためのMTSは、常に許容されなくてもよい。
d. 一例において、MTSの適用の有無および/またはその方法は、非ゼロ符号化係数の数に依存してもよい。
e. 一例において、MTSの適用の有無および/またはその方法は、非ゼロ符号化係数の絶対値の合計に依存してもよい。
f. 一例において、MTSの適用の有無および/またはその方法は、非ゼロ係数の最後の位置に依存してもよい。
6. 彩度成分へのMTSの適用の有無および/またはその方法は、カラーフォーマットに依存してもよい。
a. 一例において、カラーサブサンプリングフォーマットが4:4:4である場合、彩度成分(またはB/R色成分等の従属成分)のためのMTSを有効化してもよい。
b. 一例において、彩度成分のためのMTSが有効化される場合、色成分の2つの対応するブロックは、強制的に同じ変換行列を適用されてもよい。
i. 選択された変換行列の指示は、1つの色成分における1つのブロックに対して信号通知されてもよく、別の色成分における別のブロックは同じ行列に従う。
ii. 彩度成分に適用される変換行列は、対応する輝度ブロックまたは主成分(例えば、G色成分)に使用される変換行列から導出されてもよい。
c. 一例において、彩度成分のためのMTSが有効化される場合、2つの対応する色成分の対応するブロックは、異なる変換行列を使用してもよい。
i. 2つのブロックのために選択された変換行列の指示は、別個に信号通知されてもよい。
1. さらに、代替的に、2色成分間での変換行列インデックスの予測符号化を適用してもよい。
2. さらに、代替的に、1つの色成分と輝度/主成分との間での変換行列インデックスの予測符号化を適用してもよい。
3. 代替的に、1つの色成分の変換行列および/または輝度/主成分を、別の色成分のインデックスを符号化するコンテキストモデリングに利用してもよい。
d. 彩度成分のためのMTSインデックスを信号通知するかどうかは、カラーフォーマットおよび/または別個のプレーン符号化が有効化されているかどうかに依存してもよい。
i. 一例において、それが4:0:0であるおよび/または別個のプレーン符号化が有効化されている場合、彩度成分のためにMTSインデックスを信号通知する必要がない。
7. 暗黙的MTSに適用される上記方法は、オンザフライで変換行列を導出するSBTにも適用可能でもよい。
8. 彩度成分に対してISPの適用の有無および/またはその方法は、カラーフォーマットに依存してもよい。
a. 一例において、カラーサブサンプリングフォーマットが4:4:4である場合、彩度成分(またはB/R色成分等の従属成分)のためのISPを有効化してもよい。さらに、代替的に、カラーサブサンプリングフォーマットが4:4:4でない場合、彩度成分(またはB/R色成分等の従属成分)のISPを無効化してもよい。
b. 彩度成分のためにISPが有効化されるとき、彩度ブロックのためのISPおよび/または他の関連情報(例えば、ISP分割)の使用の指示が符号化されてもよい。
i. 一例において、それは、ブロック寸法に従って条件付きで符号化されてもよい。
ii. 一例において、イントラ予測方法に従って、例えば、クロス成分線形モデル予測方法が適用されるかどうかなどの条件付き符号化を行ってもよい。
iii. 一例において、イントラ予測方法に従って、ジョイント彩度残差符号化が適用されるかどうか等の条件付き符号化を行ってもよい。
iv. 一例において、それは、イントラ予測方向に従って条件付きで符号化されてもよい。
v. 一例において、DMが使用されるかどうか(すなわち、イントラ予測モードが輝度成分から導出されるかどうか)に従って、それを条件付きで符号化してもよい。
c. 彩度成分のためにISPが有効化されるとき、彩度ブロックのためのISPおよび/または他の関連情報(例えば、ISP分割)の使用の指示は、オンザフライで導出されてもよい。
i. 一例において、それらは、近傍の彩度ブロックの再構成されたサンプル/符号化された情報に従って導出されてもよい。
ii. 一例において、それらは、同一位置の輝度ブロック内の1つまたは複数の選択ブロックに従って導出されてもよい。
iii. 一例において、それらは、同一位置の輝度ブロックの近傍の情報に従って導出されてもよい。
図9は、映像処理装置900のブロック図である。装置900は、本明細書に記載の方法の1つ以上を実装するために使用してもよい。装置900は、スマートフォン、タブレット、コンピュータ、IoT(モノのインターネット)受信機等により実施されてもよい。装置900は、1つ以上の処理装置902と、1つ以上のメモリ904と、映像処理ハードウェア906と、を含んでもよい。1つまたは複数の処理装置902は、本明細書に記載される1つ以上の方法(方法800、810、820、830および840を含むが、これに限定されない)を実装するように構成されてもよい。メモリ(複数可)904は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア906は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。
この章では、IBCおよびインター符号化ブロックのためのMTSの別個の制御の例を示す。
7.3.2.3 シーケンスパラメータセットRBSP構文
sps_explicit_mts_inter_enabled_flagが1の場合、インター符号化ユニットの変換ユニット構文にtu_mts_idxが存在する可能性があることを示す。sps_explicit_mts_inter_enabled_flagが0の場合、インター符号化ユニットの変換ユニット構文にtu_mts_idxが存在しないことを示す。存在しない場合、sps_explicit_mts_inter_enabled_flagの値は0と推測される。
{{sps_explicit_mts_ibc_enabled_flagが1の場合、IBC符号化ユニットの変換ユニット構文にtu_mts_idxが存在する可能性があることを示す。sps_explicit_mts_ibc_enabled_flagが0の場合、IBC符号化ユニットの変換ユニット構文にtu_mts_idxが存在しないことを示す。存在しない場合、sps_explicit_mts_ibc_enabled_flagの値は0と推測される。}}
この章は、IBCおよびインター符号化ブロックのためのMTSのジョイント制御の例を示す。
本願は、2019年4月23日出願の国際特許出願第PCT/CN2019/083844号の優先権と利益を主張する、2020年4月23日出願の国際特許出願第PCT/CN2020/086354号の国内段階である。上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
Claims (39)
- 映像の現在の映像ブロックと前記映像のビットストリーム表現との間での変換のために、多重変換選択(MTS)演算における変換タイプの指示が前記ビットストリーム表現から排除されると判定することであって、前記現在の映像ブロックは、イントラブロックコピー(IBC)モードを使用して符号化される、判定することと、
前記変換を行うことと、を含む映像処理方法であって、
前記指示は、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、タイルグループヘッダ、スライスヘッダ、ピクチャヘッダ、タイルヘッダ、符号化ツリーユニット(CTU)行、符号化ユニット、または映像データユニット中にあり、
前記MTS演算は、前記変換中に前記現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む、
映像処理方法。 - 映像の現在の映像ブロックの符号化モードに基づいて、多重変換選択(MTS)演算の選択的適用に関して決定することと、
前記決定することに基づいて、前記現在の映像ブロックと前記映像のビットストリーム表現との間で変換を行うこととを含み、
前記MTS演算は、前記変換中に前記現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む、
映像処理方法。 - 前記MTS演算は暗黙的MTS演算であり、前記MTS演算の変換インデックスは前記ビットストリーム表現から除外される、請求項2に記載の方法。
- 前記符号化モードは、イントラブロックコピー(IBC)モードである、請求項2または3に記載の方法。
- 前記MTS演算は、前記符号化モードがイントラブロックコピーモードまたはイントラモードである場合にも同様に適用される、請求項2または3に記載の方法。
- 前記現在の映像ブロックが正方形のブロックであり、離散コサイン変換タイプII(DCT-II)が適用される、請求項5に記載の方法。
- 前記現在の映像ブロックが非正方形のブロックであり、離散コサイン変換タイプII(DCT-II)が前記現在の映像ブロックの長辺に適用され、DCT-VIIが前記現在の映像ブロックの短辺に適用される、請求項5に記載の方法。
- 前記符号化モードは、イントラブロック(IBC)コピーモードであり、前記現在の映像ブロックは、正方形のブロックであり、離散コサイン変換タイプVII(DCT-VII)が適用される、請求項2または3に記載の方法。
- 前記符号化モードは、イントラブロックコピー(IBC)モードであり、前記現在の映像ブロックは非正方形のブロックであり、前記現在の映像ブロックの短辺に変換スキップを適用する、請求項2または3に記載の方法。
- 前記符号化モードは、ブロック差分パルス符号変調(BDPCM)モード、DPCMモード、残差BDPCM(RBDPCM)モード、またはアフィン線形重み付けイントラ予測(ALWIP)モードである、請求項2または3に記載の方法。
- 前記符号化モードは、角度イントラ予測モードである、請求項2または3に記載の方法。
- 前記ビットストリーム表現は、前記現在の映像ブロックの前記符号化モードに基づいて判定される、許容される変換のセットの指示を含む、請求項2に記載の方法。
- 前記符号化モードは、イントラブロックコピー(IBC)モードである、請求項12に記載の方法。
- 前記符号化モードは、イントラおよびインター予測(CIIP)複合モードである、請求項12に記載の方法。
- 前記符号化モードは、ブロック差分パルス符号変調(BDPCM)モード、DPCMモード、残差BDPCM(RBDPCM)モード、またはアフィン線形重み付けイントラ予測(ALWIP)モードである、請求項12に記載の方法。
- 前記符号化モードは、角度イントラ予測モードである、請求項12に記載の方法。
- 現在の映像ブロックの特徴に基づいて、多重変換選択(MTS)演算の少なくとも1つのインデックスを符号化するためのコンテキストモデルを構成することと、
前記構成することに基づいて、前記現在の映像ブロックと前記現在の映像ブロックを含む映像のビットストリーム表現との間で変換を行うことと、を含む映像処理方法であって、
前記MTS演算は、前記変換中に前記現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む、映像処理方法。 - 前記特徴は、前記現在の映像ブロックの符号化モードを含む、請求項17に記載の方法。
- 前記符号化モードは、イントラ符号化モード、またはインター符号化モード、またはインターブロックコピー(IBC)を含む、請求項18に記載の方法。
- 前記符号化モードは、インター符号化モードまたは非インター符号化モードを含む、請求項18に記載の方法。
- 前記特徴は、前記現在の映像ブロックに関連付けられた形状情報を含む、請求項17に記載の方法。
- 前記形状情報は、前記現在の映像ブロックが正方形または非正方形であることを含む、請求項21に記載の方法。
- 前記形状情報は、前記現在の映像ブロックの幅が前記現在の映像ブロックの高さよりも小さい、請求項21に記載の方法。
- 前記形状情報は、前記現在の映像ブロックの幅が前記現在の映像ブロックの高さよりも大きい、請求項21に記載の方法。
- 前記形状情報は、前記現在の映像ブロックの幅と前記現在の映像ブロックの高さとの比を含む、請求項21に記載の方法。
- 現在の映像ブロックと前記現在の映像ブロックを含む映像のビットストリーム表現との間での変換中、前記変換が多重変換選択(MTS)演算を含むと判定することと、
前記判定することに基づいて、前記MTS演算の行列の1つ以上の水平インデックスおよび1つ以上の垂直インデックスを別個に符号化することと、を含む映像処理方法であって、
前記MTS演算は、前記変換中に前記現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む、映像処理方法。 - 前記1つ以上の水平方向インデックスおよび/または前記1つ以上の垂直方向インデックスは、変換スキップ動作を含む、請求項26に記載の方法。
- 前記1つ以上の水平インデックスのためのコンテキストモデルは、前記1つ以上の垂直平インデックスに基づく、請求項26に記載の方法。
- 前記1つ以上の垂直インデックスのためのコンテキストモデルは、前記1つ以上の水平インデックスに基づく、請求項26に記載の方法。
- 映像の現在の映像ブロックと前記映像のビットストリーム表現との間での変換のために、イントラブロックコピー(IBC)モードを使用して符号化される前記現在の映像ブロックに対して多重変換選択(MTS)演算の変換タイプの指示を構成することと、
前記変換を行うことと、を含む映像処理方法であって、
前記指示は、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、タイルグループヘッダ、スライスヘッダ、ピクチャヘッダ、タイルヘッダ、符号化ツリーユニット(CTU)行、または映像データユニット中にあり、
前記MTS演算は、前記変換中に前記現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む、
映像処理方法。 - 前記指示は、前記SPS、前記PPS、前記タイルグループヘッダ、前記スライスヘッダ、前記ピクチャヘッダ、前記タイルヘッダ、前記CTU行、または前記映像データユニットにおいて、前記MTS演算および前記IBCモードが明示的に符号化されているかどうかに基づいて、前記ビットストリーム表現により条件付きで符号化される、請求項30に記載の方法。
- 前記指示は、前記MTS演算がインター符号化映像ブロックに対して有効化されているかどうかに基づいて、前記ビットストリーム表現において条件付きで符号化される、請求項30に記載の方法。
- 前記SPSは前記指示を含み、前記指示は、インターコードされた映像ブロックのために前記MTS演算を使用することをさらに構成する、請求項30に記載の方法。
- 前記指示は、非ゼロ符号化係数の数に基づく、請求項30に記載の方法。
- 前記指示は、非ゼロ符号化係数の絶対値の合計に基づく、請求項30に記載の方法。
- 前記変換は、前記ビットストリーム表現から前記現在の映像ブロックを生成する、請求項1~35のいずれかに記載の方法。
- 前記変換は、前記現在の映像ブロックから前記ビットストリーム表現を生成する、請求項1~35のいずれかに記載の方法。
- 処理装置と、命令を含む非一時的メモリとを備える映像システムの装置であって、前記処理装置による実行時に、前記命令は、前記処理装置に請求項1~37のいずれか1項に記載の方法を実装させる、映像システムの装置。
- 非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、請求項1~37のいずれか1項に記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023076813A JP2023103327A (ja) | 2019-04-23 | 2023-05-08 | 多重変換行列のコンテキストモデリングおよび選択 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2019083844 | 2019-04-23 | ||
CNPCT/CN2019/083844 | 2019-04-23 | ||
PCT/CN2020/086354 WO2020216282A1 (en) | 2019-04-23 | 2020-04-23 | Context modeling and selection of multiple transform matrix |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023076813A Division JP2023103327A (ja) | 2019-04-23 | 2023-05-08 | 多重変換行列のコンテキストモデリングおよび選択 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022531553A true JP2022531553A (ja) | 2022-07-07 |
JP7277608B2 JP7277608B2 (ja) | 2023-05-19 |
Family
ID=72940829
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021562775A Active JP7277608B2 (ja) | 2019-04-23 | 2020-04-23 | 多重変換行列のコンテキストモデリングおよび選択 |
JP2023076813A Pending JP2023103327A (ja) | 2019-04-23 | 2023-05-08 | 多重変換行列のコンテキストモデリングおよび選択 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023076813A Pending JP2023103327A (ja) | 2019-04-23 | 2023-05-08 | 多重変換行列のコンテキストモデリングおよび選択 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11930176B2 (ja) |
EP (1) | EP3939282A4 (ja) |
JP (2) | JP7277608B2 (ja) |
KR (1) | KR20210154157A (ja) |
CN (3) | CN116896634A (ja) |
WO (2) | WO2020216282A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020243258A1 (en) * | 2019-05-31 | 2020-12-03 | Interdigital Vc Holdings, Inc. | Transform selection for implicit multiple transform selection |
KR20210065063A (ko) * | 2019-11-26 | 2021-06-03 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
CN115633172A (zh) * | 2020-12-06 | 2023-01-20 | 浙江大华技术股份有限公司 | 基于ibc模式编码方法、电子设备及存储介质 |
WO2022197139A1 (ko) * | 2021-03-19 | 2022-09-22 | 현대자동차주식회사 | 크로마 블록의 인트라 서브블록 예측을 이용하는 비디오 코딩방법 및 장치 |
WO2023191404A1 (ko) * | 2022-03-27 | 2023-10-05 | 엘지전자 주식회사 | 적응적 mts에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체 |
WO2024020117A1 (en) * | 2022-07-19 | 2024-01-25 | Google Llc | Dependent context model for transform types |
WO2024050099A1 (en) * | 2022-09-02 | 2024-03-07 | Beijing Dajia Internet Information Technology Co., Ltd. | Methods and devices for intra block copy |
WO2024080766A1 (ko) * | 2022-10-12 | 2024-04-18 | 엘지전자 주식회사 | 비분리 변환에 기반한 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018123644A1 (ja) * | 2016-12-28 | 2018-07-05 | ソニー株式会社 | 画像処理装置および方法 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190143460A (ko) * | 2009-01-27 | 2019-12-30 | 인터디지탈 매디슨 페이튼트 홀딩스 | 비디오 인코딩 및 디코딩에서 변환 선택을 위한 방법 및 장치 |
US9172968B2 (en) | 2010-07-09 | 2015-10-27 | Qualcomm Incorporated | Video coding using directional transforms |
US9219915B1 (en) * | 2013-01-17 | 2015-12-22 | Google Inc. | Selection of transform size in video coding |
US11323747B2 (en) * | 2013-06-05 | 2022-05-03 | Qualcomm Incorporated | Residual differential pulse code modulation (DPCM) extensions and harmonization with transform skip, rotation, and scans |
AU2013228045A1 (en) * | 2013-09-13 | 2015-04-02 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding video data |
GB2519070A (en) * | 2013-10-01 | 2015-04-15 | Sony Corp | Data encoding and decoding |
US9906813B2 (en) * | 2013-10-08 | 2018-02-27 | Hfi Innovation Inc. | Method of view synthesis prediction in 3D video coding |
WO2015100522A1 (en) | 2013-12-30 | 2015-07-09 | Mediatek Singapore Pte. Ltd. | Methods for inter-component residual prediction |
CN106063262A (zh) | 2013-12-30 | 2016-10-26 | 高通股份有限公司 | 3d视频译码中的增量dc残差译码的简化 |
CN103780910A (zh) * | 2014-01-21 | 2014-05-07 | 华为技术有限公司 | 视频编码中的块分割方式和最佳预测模式确定方法及相关装置 |
US10271052B2 (en) * | 2014-03-14 | 2019-04-23 | Qualcomm Incorporated | Universal color-space inverse transform coding |
WO2015139165A1 (en) * | 2014-03-17 | 2015-09-24 | Microsoft Technology Licensing, Llc | Encoder-side decisions for screen content encoding |
GB2531004A (en) * | 2014-10-06 | 2016-04-13 | Canon Kk | Residual colour transform signalled at sequence level for specific coding modes |
TW201626798A (zh) | 2014-10-06 | 2016-07-16 | Vid Scale Inc | 用於螢幕內容編碼之改良調色編碼 |
WO2016081939A1 (en) * | 2014-11-21 | 2016-05-26 | Vid Scale, Inc. | One-dimensional transform modes and coefficient scan order |
US10306229B2 (en) * | 2015-01-26 | 2019-05-28 | Qualcomm Incorporated | Enhanced multiple transforms for prediction residual |
WO2017041271A1 (en) | 2015-09-10 | 2017-03-16 | Mediatek Singapore Pte. Ltd. | Efficient context modeling for coding a block of data |
US10440399B2 (en) | 2015-11-13 | 2019-10-08 | Qualcomm Incorporated | Coding sign information of video data |
CN107231566B (zh) * | 2016-03-25 | 2020-12-18 | 阿里巴巴集团控股有限公司 | 一种视频转码方法、装置和系统 |
US10904526B2 (en) * | 2016-03-28 | 2021-01-26 | Kt Corporation | Method and apparatus for processing video signal |
US20170374369A1 (en) * | 2016-06-24 | 2017-12-28 | Mediatek Inc. | Methods and Apparatuses of Decoder Side Intra Mode Derivation |
US10972733B2 (en) * | 2016-07-15 | 2021-04-06 | Qualcomm Incorporated | Look-up table for enhanced multiple transform |
US10880564B2 (en) * | 2016-10-01 | 2020-12-29 | Qualcomm Incorporated | Transform selection for video coding |
WO2018143496A1 (ko) * | 2017-02-03 | 2018-08-09 | 엘지전자(주) | 예측 모드를 유도하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치 |
KR20180092774A (ko) * | 2017-02-10 | 2018-08-20 | 삼성전자주식회사 | 샘플 적응적 오프셋 처리를 수행하는 영상 처리 장치 및 영상 처리 방법 |
US11405645B2 (en) * | 2017-02-28 | 2022-08-02 | Google Llc | Transform kernel selection and entropy coding |
TWI683573B (zh) * | 2017-03-10 | 2020-01-21 | 聯發科技股份有限公司 | 用於視訊編解碼中具有畫面內方向預測模式之內含畫面內編解碼工具設定的方法和裝置 |
US10855997B2 (en) * | 2017-04-14 | 2020-12-01 | Mediatek Inc. | Secondary transform kernel size selection |
US10750181B2 (en) * | 2017-05-11 | 2020-08-18 | Mediatek Inc. | Method and apparatus of adaptive multiple transforms for video coding |
US11166045B2 (en) * | 2017-10-11 | 2021-11-02 | Lg Electronics Inc. | Method for image coding on basis of separable transform and apparatus therefor |
US11284112B2 (en) * | 2018-12-06 | 2022-03-22 | Tencent America LLC | Method and apparatus for a primary transform using an 8-bit transform core |
-
2020
- 2020-04-23 JP JP2021562775A patent/JP7277608B2/ja active Active
- 2020-04-23 EP EP20796393.5A patent/EP3939282A4/en active Pending
- 2020-04-23 CN CN202311108576.5A patent/CN116896634A/zh active Pending
- 2020-04-23 CN CN202080030895.7A patent/CN113728641B/zh active Active
- 2020-04-23 CN CN202080030909.5A patent/CN113711597B/zh active Active
- 2020-04-23 KR KR1020217033198A patent/KR20210154157A/ko active Search and Examination
- 2020-04-23 WO PCT/CN2020/086354 patent/WO2020216282A1/en unknown
- 2020-04-23 WO PCT/CN2020/086370 patent/WO2020216288A1/en active Application Filing
-
2021
- 2021-08-19 US US17/406,315 patent/US11930176B2/en active Active
-
2023
- 2023-05-08 JP JP2023076813A patent/JP2023103327A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018123644A1 (ja) * | 2016-12-28 | 2018-07-05 | ソニー株式会社 | 画像処理装置および方法 |
Non-Patent Citations (2)
Title |
---|
BENJAMIN BROSS, JIANLE CHEN, AND SHAN LIU: "Versatile Video Coding (Draft 5)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-N1001 (version 2), JPN6022051096, 12 April 2019 (2019-04-12), pages 49 - 53, ISSN: 0004939421 * |
LI ZHANG, ET AL.: "CE6 related: On Index Signalling of Multiple Transform Selection", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-L0331-v2, JPN6022051097, October 2018 (2018-10-01), pages 1 - 4, ISSN: 0004939422 * |
Also Published As
Publication number | Publication date |
---|---|
KR20210154157A (ko) | 2021-12-20 |
CN113711597A (zh) | 2021-11-26 |
JP2023103327A (ja) | 2023-07-26 |
CN116896634A (zh) | 2023-10-17 |
WO2020216288A1 (en) | 2020-10-29 |
CN113728641B (zh) | 2023-09-15 |
JP7277608B2 (ja) | 2023-05-19 |
WO2020216282A1 (en) | 2020-10-29 |
EP3939282A4 (en) | 2022-11-16 |
CN113728641A (zh) | 2021-11-30 |
US20220295061A1 (en) | 2022-09-15 |
US11930176B2 (en) | 2024-03-12 |
EP3939282A1 (en) | 2022-01-19 |
CN113711597B (zh) | 2022-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7269373B2 (ja) | ビデオ処理方法、装置、記憶媒体及び記憶方法 | |
JP7277608B2 (ja) | 多重変換行列のコンテキストモデリングおよび選択 | |
JP7422858B2 (ja) | ビデオ処理方法、装置、記憶媒体及び記憶方法 | |
JP7277616B2 (ja) | ビデオ・データを処理する方法、装置及び記憶媒体 | |
WO2020228663A1 (en) | Interactions among multiple intra coding methods | |
KR102648569B1 (ko) | 변환 스킵 모드의 블록 치수 설정들 | |
JP2022533190A (ja) | アップサンプリングを使用した行列ベースのイントラ予測 | |
JP2022529055A (ja) | 符号化映像における二次変換の使用 | |
JP2023153169A (ja) | 画像およびビデオコーディングのための高精度変換および量子化 | |
WO2020228693A1 (en) | Coding of multiple intra prediction methods | |
JP2024010156A (ja) | イントラコーディングにおけるサブパーティショニング | |
CN113728631B (zh) | 帧内子块分割和多变换选择 | |
CN116965035A (zh) | 非二元块上的变换 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211020 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220617 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230508 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7277608 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |