JP2022545451A - デフォルトおよびユーザ定義のスケーリング行列の使用法 - Google Patents
デフォルトおよびユーザ定義のスケーリング行列の使用法 Download PDFInfo
- Publication number
- JP2022545451A JP2022545451A JP2022511033A JP2022511033A JP2022545451A JP 2022545451 A JP2022545451 A JP 2022545451A JP 2022511033 A JP2022511033 A JP 2022511033A JP 2022511033 A JP2022511033 A JP 2022511033A JP 2022545451 A JP2022545451 A JP 2022545451A
- Authority
- JP
- Japan
- Prior art keywords
- video
- transform
- scaling
- block
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 claims abstract description 19
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 297
- 238000000034 method Methods 0.000 claims description 282
- 238000012545 processing Methods 0.000 claims description 107
- 230000033001 locomotion Effects 0.000 claims description 68
- 230000001131 transforming effect Effects 0.000 claims description 50
- 230000009466 transformation Effects 0.000 claims description 38
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 12
- 238000013139 quantization Methods 0.000 description 105
- 230000011664 signaling Effects 0.000 description 24
- 230000008569 process Effects 0.000 description 21
- 239000013598 vector Substances 0.000 description 21
- 238000010586 diagram Methods 0.000 description 12
- 230000001419 dependent effect Effects 0.000 description 10
- 238000001914 filtration Methods 0.000 description 10
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 8
- 241000023320 Luma <angiosperm> Species 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 7
- 230000015654 memory Effects 0.000 description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000009795 derivation Methods 0.000 description 5
- 230000000717 retained effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 102000020897 Formins Human genes 0.000 description 2
- 108091022623 Formins Proteins 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2019年8月20日出願の国際特許出願第PCT/CN2019/101555号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
前記スケーリング行列に基づいて前記変換を行うことと、を含む。
前記映像ブロックは、規則に基づいて、前記変換時に前記スケーリング行列が適用される第1の数の位置と、前記変換時にスケーリング行列が適用されない第2の数の位置とを含む。
前記スケーリング行列に基づいて、前記変換を行うことと、を含む方法であって、
前記符号化表現は前記スケーリング行列の要素の数を示し、前記数は、ゼロ化する係数を前記映像ブロックの係数に適用するかどうかに依存する。
前記映像ブロックは、前記映像ブロックの係数を変換すべくK×L変換行列を適用した後に、左上のM×N変換係数を除いたすべての変換係数をゼロ化した後の前記符号化表現で表現され、
前記符号化表現は、前記ゼロ化したことに対応する位置にあるスケーリング行列の要素の信号通知を排除するように構成され、
前記スケーリング行列は、前記変換係数をスケーリングするために使用される。
前記量子化行列を使用して前記変換を行うことと、を含む。
前記スケーリング行列に基づいて、前記変換を行うことと、を含む方法であって、
前記符号化表現は前記スケーリング行列の要素の数を信号通知し、前記数は、前記変換においてゼロ化する係数の適用に依存する。
本明細書は、画像/映像符号化技術に関する。具体的には、画像/映像符号化における量子化マトリックスに関する。HEVCのような既存の映像符号化規格に適用してもよいし、規格(Versatile Video Coding)を確定させるために適用してもよい。本発明は、将来の映像符号化規格または映像コーデックにも適用可能である。
映像符号化規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-1とMPEG-4 Visualを作り、両団体はH.262/MPEG-2 VideoとH.264/MPEG-4 AVC(Advanced Video Coding)とH.265/HEVC規格を共同で作った。H.262以来、映像符号化規格は、時間予測と変換符号化が利用されるハイブリッド映像符号化構造に基づく。HEVCを超えた将来の映像符号化技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Mode)と呼ばれる参照ソフトウェアに組み込まれてきた。2018年4月には、VCEG(Q6/16)とISO/IEC JTC1 SC29/WG11(MPEG)の間にJoint Video Expert Team(JVET)が発足し、HEVCと比較して50%のビットレート削減を目標にVVC規格の策定に取り組んでいる。
色空間は、カラーモデル(又はカラーシステム)としても知られ、色の範囲を数字のタプル(tuple)として簡単に記述する抽象的な数学モデルであり、典型的には3又は4つの値又は色成分(例えばRGB)である。基本的には、色空間は座標系とサブ空間とを合成したものである。
3つのY’CbCr成分の各々は、同じサンプルレートを有し、従って、クロマサブサンプリングは存在しない。この方式は、ハイエンドフィルムスキャナおよび映画のポストプロダクションに用いられることがある。
2つのクロマ成分は、輝度のサンプルレートの半分でサンプリングされ、水平クロマ解像度は半分にされる。これにより、視覚的にほとんど又は全く差がなく、非圧縮の映像信号の帯域幅を1/3に縮小する。
4:2:0では、水平サンプリングは4:1:1に比べて2倍になるが、このスキームではCbおよびCrチャネルを各1行おきのラインでのみサンプリングするので、垂直解像度は半分になる。従って、データレートは同じである。CbおよびCrはそれぞれ水平および垂直方向の両方に2倍ずつサブサンプリングされる。異なる水平および垂直位置を有する4:2:0スキームの3つの変形がある。
● MPEG-2において、CbおよびCrは水平方向に共座している。Cb、Crは垂直方向の画素間に位置する(格子間に位置する)。
● JPEG/JFIFにおいて、H.261、およびMPEG-1、Cb、およびCrは、交互の輝度サンプルの中間の格子間に位置する。
● 4:2:0 DVにおいて、CbおよびCrは、水平方向に共座している。垂直方向には、それらは交互に共座している。
図1は、3つのインループフィルタリングブロック、すなわち非ブロック化フィルタ(DF)、サンプル適応オフセット(SAO)およびALFを含むVVCのエンコーダブロック図の例を示す。DF(予め定義されたフィルタを使用する)とは異なり、SAOおよびALFは、現在のピクチャのオリジナルサンプルを利用し、それぞれ、オフセットを追加することにより、および、有限インパルス応答(FIR)フィルタを適用することにより、オフセットおよびフィルタ係数を信号通知する符号化側情報を用いて、元のサンプルと再構成サンプルとの間の平均二乗誤差を低減する。ALFは、各ピクチャの最後の処理ステージに位置し、前のステージで生成されたアーチファクトを捕捉し、修正しようとするツールと見なすことができる。
人間の視覚システム(HVS)の周知の空間周波数感度は、JPEG、MPEG2、H.264/AVC High Profile、およびHEVCを含む、現代の画像および映像符号化アルゴリズムおよび規格の設計の多くの態様の後ろで重要な要因となっている。
2.4.1.変換
HEVCは、離散コサイン変換(DCT)の有限精度近似である、4×4~32×32の様々なサイズの2次元変換を規定する。また、HEVCは、4×4輝度イントラ予測残差ブロックに使用するために、離散正弦変換(DST)に基づいて代替の4×4整数変換を規定する。これに加え、特定のブロックサイズの場合、変換スキップを許可してもよい。
nS=4
{64,64,64,64}
{83,36,-36,-83}
{64,-64,-64,64}
{36,-83,83,-36}
nS=8
{64,64,64,64,64,64,64,64}
{89,75,50,18,-18,-50,-75,-89}
{83,36,-36,-83,-83,-36,36,83}
{75,-18,-89,-50,50,89,18,-75}
{64,-64,-64,64,64,-64,-64,64}
{50,-89,18,75,-75,-18,89,-50}
{36,-83,83,-36,-36,83,-83,36}
{18,-50,75,-89,89,-75,50,-18}
nS=16
{64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64}
{90,87,80,70,57,43,25,9,-9-25-43-57-70-80-87-90}
{89,75,50,18-18-50-75-89-89-75-50-18,18,50,75,89}
{87,57,9-43-80-90-70-25,25,70,90,80,43,-9-57-87}
{83,36-36-83-83-36,36,83,83,36-36-83-83-36,36,83}
{80,9-70-87-25,57,90,43-43-90-57,25,87,70,-9-80}
{75-18-89-50,50,89,18-75-75,18,89,50-50-89-18,75}
{70-43-87,9,90,25-80-57,57,80-25-90,-9,87,43-70}
{64-64-64,64,64-64-64,64,64-64-64,64,64-64-64,64}
{57-80-25,90,-9-87,43,70-70-43,87,9-90,25,80-57}
{50-89,18,75-75-18,89-50-50,89-18-75,75,18-89,50}
{43-90,57,25-87,70,9-80,80,-9-70,87-25-57,90-43}
{36-83,83-36-36,83-83,36,36-83,83-36-36,83-83,36}
{25-70,90-80,43,9-57,87-87,57,-9-43,80-90,70-25}
{18-50,75-89,89-75,50-18-18,50-75,89-89,75-50,18}
{9-25,43-57,70-80,87-90,90-87,80-70,57-43,25,-9}
nS=32
{64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64}
{90,90,88,85,82,78,73,67,61,54,46,38,31,22,13,4,-4-13-22-31-38-46-54-61-67-73-78-82-85-88-90-90}
{90,87,80,70,57,43,25,9,-9-25-43-57-70-80-87-90-90-87-80-70-57-43-25,-9,9,25,43,57,70,80,87,90}
{90,82,67,46,22,-4-31-54-73-85-90-88-78-61-38-13,13,38,61,78,88,90,85,73,54,31,4-22-46-67-82-90}
{89,75,50,18-18-50-75-89-89-75-50-18,18,50,75,89,89,75,50,18-18-50-75-89-89-75-50-18,18,50,75,89}
{88,67,31-13-54-82-90-78-46,-4,38,73,90,85,61,22-22-61-85-90-73-38,4,46,78,90,82,54,13-31-67-88}
{87,57,9-43-80-90-70-25,25,70,90,80,43,-9-57-87-87-57,-9,43,80,90,70,25-25-70-90-80-43,9,57,87}
{85,46-13-67-90-73-22,38,82,88,54,-4-61-90-78-31,31,78,90,61,4-54-88-82-38,22,73,90,67,13-46-85}
{83,36-36-83-83-36,36,83,83,36-36-83-83-36,36,83,83,36-36-83-83-36,36,83,83,36-36-83-83-36,36,83}
{82,22-54-90-61,13,78,85,31-46-90-67,4,73,88,38-38-88-73,-4,67,90,46-31-85-78-13,61,90,54-22-82}
{80,9-70-87-25,57,90,43-43-90-57,25,87,70,-9-80-80,-9,70,87,25-57-90-43,43,90,57-25-87-70,9,80}
{78,-4-82-73,13,85,67-22-88-61,31,90,54-38-90-46,46,90,38-54-90-31,61,88,22-67-85-13,73,82,4-78}
{75-18-89-50,50,89,18-75-75,18,89,50-50-89-18,75,75-18-89-50,50,89,18-75-75,18,89,50-50-89-18,75}
{73-31-90-22,78,67-38-90-13,82,61-46-88,-4,85,54-54-85,4,88,46-61-82,13,90,38-67-78,22,90,31-73}
{70-43-87,9,90,25-80-57,57,80-25-90,-9,87,43-70-70,43,87,-9-90-25,80,57-57-80,25,90,9-87-43,70}
{67-54-78,38,85-22-90,4,90,13-88-31,82,46-73-61,61,73-46-82,31,88-13-90,-4,90,22-85-38,78,54-67}
{64-64-64,64,64-64-64,64,64-64-64,64,64-64-64,64,64-64-64,64,64-64-64,64,64-64-64,64,64-64-64,64}
{61-73-46,82,31-88-13,90,-4-90,22,85-38-78,54,67-67-54,78,38-85-22,90,4-90,13,88-31-82,46,73-61}
{57-80-25,90,-9-87,43,70-70-43,87,9-90,25,80-57-57,80,25-90,9,87-43-70,70,43-87,-9,90-25-80,57}
{54-85,-4,88-46-61,82,13-90,38,67-78-22,90-31-73,73,31-90,22,78-67-38,90-13-82,61,46-88,4,85-54}
{50-89,18,75-75-18,89-50-50,89-18-75,75,18-89,50,50-89,18,75-75-18,89-50-50,89-18-75,75,18-89,50}
{46-90,38,54-90,31,61-88,22,67-85,13,73-82,4,78-78,-4,82-73-13,85-67-22,88-61-31,90-54-38,90-46}
{43-90,57,25-87,70,9-80,80,-9-70,87-25-57,90-43-43,90-57-25,87-70,-9,80-80,9,70-87,25,57-90,43}
{38-88,73,-4-67,90-46-31,85-78,13,61-90,54,22-82,82-22-54,90-61-13,78-85,31,46-90,67,4-73,88-38}
{36-83,83-36-36,83-83,36,36-83,83-36-36,83-83,36,36-83,83-36-36,83-83,36,36-83,83-36-36,83-83,36}
{31-78,90-61,4,54-88,82-38-22,73-90,67-13-46,85-85,46,13-67,90-73,22,38-82,88-54,-4,61-90,78-31}
{25-70,90-80,43,9-57,87-87,57,-9-43,80-90,70-25-25,70-90,80-43,-9,57-87,87-57,9,43-80,90-70,25}
{22-61,85-90,73-38,-4,46-78,90-82,54-13-31,67-88,88-67,31,13-54,82-90,78-46,4,38-73,90-85,61-22}
{18-50,75-89,89-75,50-18-18,50-75,89-89,75-50,18,18-50,75-89,89-75,50-18-18,50-75,89-89,75-50,18}
{13-38,61-78,88-90,85-73,54-31,4,22-46,67-82,90-90,82-67,46-22,-4,31-54,73-85,90-88,78-61,38-13}
{9-25,43-57,70-80,87-90,90-87,80-70,57-43,25,-9,-9,25-43,57-70,80-87,90-90,87-80,70-57,43-25,9}
{4-13,22-31,38-46,54-61,67-73,78-82,85-88,90-90,90-90,88-85,82-78,73-67,61-54,46-38,31-22,13,-4}
HEVC量子化器の設計は、H.264/AVCの設計に類似しており、ここで、0~51(8ビットの映像シーケンスの場合)の範囲の量子化パラメータ(QP)を、QP値が6だけ増加する度に2倍になる量子化ステップサイズにマッピングする。しかしながら、重要な違いは、HEVCにおいて、H.264/AVCのデスケーリング行列に組み込まれる変換基本ノルム補正係数がもはや必要とされず、量子化器の設計を簡単にすることである。レート制御および知覚量子化のために、8×8サンプルという小さな量子化グループに対してQP値を(デルタQPの形式で)送信することができる。デルタQPを算出するためのQP予測モジュールは、左、上、前回のQP値の組み合わせを用いる。HEVCはまた、すべての変換ブロックサイズに対して量子化行列を使用することによって、周波数依存量子化をサポートする。詳細は2.4.3項で説明する。
qij=(dij*f[QP%6]+offset)>>(29+QP/6-nS-BitDepth),with i,j=0,...,nS-1
ここで
f[x]={26214,23302,20560,18396,16384,14564},x=0,…,5
228+QP/6-nS-BitDepth<offset<229+QP/6-nS-BitDepth
量子化行列(QM)は、JPEG、JPEG-2000等の画像符号化規格、およびMPEG2、MPEG4、H.264/AVC等の映像規格に採用されている。QMは、異なる周波数係数に対する周波数重み付けによって、主観的品質を改善することができる。HEVC規格において、量子化ブロックのサイズは、32×32まで拡大することができる。ビットストリームにおいて、4×4、8×8、16×16、32×32のサイズのQMを符号化してもよい。各ブロックサイズに対して、イントラ/インター予測タイプおよびY/Cb/Cr色成分は、異なる量子化行列を必要とする。合計24個の量子化行列(4×4、8×8、16×16、および32×32個の4つのブロックサイズ、イントラ/インターおよびY,U,V成分のための別個の行列)が、符号化されるべきである。
7.3.2.2 シーケンスパラメータセットRBSP構文
7.3.2.2.1 一般シーケンスパラメータセットRBSP構文
7.3.2.3.1 一般ピクチャパラメータセットRBSP構文
sps_scaling_list_data_present_flagが1の場合、scaling_list_data()構文構造がSPSに存在することを規定する。sps_scaling_list_data_present_flagが0の場合、scaling_list_data()構文構造がSPSに存在しないことを規定する。存在しない場合、sps_scaling_list_data_present_flagの値は0と推測される。
pps_scaling_list_data_present_flagが1である場合、アクティブSPSで規定されたスケーリングリストと、PPSで規定されたスケーリングリストとに基づいて、PPSを参照するピクチャに使用されるスケーリングリストデータを導出することを規定する。pps_scaling_list_data_present_flagが0である場合、PPSを参照するピクチャに使用されるスケーリングリストデータが、アクティブSPSで規定されたスケーリングリストデータと等しいと推論される。scaling_list_enabled_flagが0であるとき、pps_scaling_list_data_present_flagの値は0である。scaling_list_enabled_flagが1であるとき、sps_scaling_list_data_present_flagは0であり、pps_scaling_list_data_present_flagが0であるとき、デフォルトのスケーリングリストデータは、項目7.4.5に規定したスケーリングリストデータ意味論に説明したような配列ScalingFactorを導出するのに使用される。
scaling_list_pred_mode_flag[sizeId][matrixId]が0である場合、スケーリングリストの値が参照スケーリングリストの値と同じであることを規定する。参照スケーリングリストは、scaling_list_pred_matrix_id_delta[sizeId][matrixId]により規定される。
scaling_list_pred_mode_flag[sizeId][matrixId]が1である場合、スケーリングリストの値は明示的に信号通知されることを規定する。
scaling_list_pred_matrix_id_delta[sizeId][matrixId]は、ScalingList[sizeId][matrixId]を導出するための参照スケーリングリストを以下のように規定する。
- scaling_list_pred_matrix_id_delta[sizeId][matrixId]が0である場合、i=0..Min(63,(1<<(4+(sizeId<<1)))-1)に対して表7-5および表7-6に規定するように、デフォルトのスケーリングリストScalingList[sizeId][matrixId][i]から推論される。
- そうでない場合、スケーリングリストは、参照スケーリングリストから以下のように推論される。
refMatrixId=matrixId-
scaling_list_pred_matrix_id_delta[sizeId][matrixId]*(sizeId==3?3:1) (7-42)
ScalingList[sizeId][matrixId][i]=ScalingList[sizeId][refMatrixId][i]
with i=0..Min(63,(1<<(4+(sizeId<<1)))-1) (7-43)
sizeIdが2以下である場合、scaling_list_pred_matrix_id_delta[sizeId][matrixId]の値は、0からmatrixIdまでの範囲内にあるべきである。そうでない場合(sizeIdが3である)、scaling_list_pred_matrix_id_delta[sizeId][matrixId]の値は、0からmatrixId/3までの範囲内にあるべきである。
表7-3 - sizeIdの仕様
scaling_list_pred_mode_flag[sizeId][matrixId]が0、scaling_list_pred_matrix_id_delta[sizeId][matrixId]が0、sizeIdが1より大きい場合、scaling_list_dc_coef_minus8[sizeId-2][matrixId]の値は、8になると推論される。
scaling_list_pred_matrix_id_delta[sizeId][matrixId]が0でなく、sizeIdが1より大きい場合、scaling_list_dc_coef_minus8[sizeId-2][matrixId]の値は、scaling_list_dc_coef_minus8[sizeId-2][refMatrixId]であると推論される。ここで、refMatrixIdの値は数式7-42によって与えられる。
scaling_list_delta_coefは、scaling_list_pred_mode_flag[sizeId][matrixId][i]が1である場合、現在の行列係数ScalingList[sizeId][matrixId][i]と前回の行列係数ScalingList[sizeId][matrixId][i-1]との差を規定する。scaling_list_delta_coefの値は、-128以上127以下とする。ScalingList[sizeId][matrixId][i]の値は、0よりも大きい。
表7-5 - i=0..15の場合のScalingList[0][matrixId][i]のデフォルト値の仕様
サイズ4×4の量子化行列の要素であるScalingFactor[0][matrixId][][]は、以下のように導出される。
ScalingFactor[0][matrixId][x][y]=ScalingList[0][matrixId][i] (7-44)
with i=0..15,matrixId=0..5,x=ScanOrder[2][0][i][0],and y=ScanOrder[2][0][i][1]
サイズ8×8の量子化行列の要素であるScalingFactor[1][matrixId][][]は、以下のように導出される。
ScalingFactor[1][matrixId][x][y]=ScalingList[1][matrixId][i] (7-45)
with i=0..63,matrixId=0..5,x=ScanOrder[3][0][i][0],and y=ScanOrder[3][0][i][1]
サイズ16×16の量子化行列の要素であるScalingFactor[2][matrixId][][]は、以下のように導出される。
ScalingFactor[2][matrixId][x*2+k][y*2+j]=ScalingList[2][matrixId][i] (7-46)
with i=0..63,j=0..1,k=0..1,matrixId=0..5,x=ScanOrder[3][0][i][0],and y=ScanOrder[3][0][i][1]
ScalingFactor[2][matrixId][0][0]=scaling_list_dc_coef_minus8[0][matrixId]+8 (7-47)
with matrixId=0..5
サイズ32×32の量子化行列の要素であるScalingFactor[3][matrixId][][]は、以下のように導出される。
ScalingFactor[3][matrixId][x*4+k][y*4+j]=ScalingList[3][matrixId][i] (7-48)
with i=0..63,j=0..3,k=0..3,matrixId=0,3,x=ScanOrder[3][0][i][0],and y=ScanOrder[3][0][i][1]
ScalingFactor[3][matrixId][0][0]=scaling_list_dc_coef_minus8[1][matrixId]+8 (7-49)
with matrixId=0,3
ChromaArrayTypeが3である場合、matrixId=1,2,4,5の場合、サイズ32×32のクロマ量子化行列の要素ScalingFactor[3][matrixId][][]は、以下のように導出される。
ScalingFactor[3][matrixId][x*4+k][y*4+j]=ScalingList[2][matrixId][i] (7-50)
with i=0..63,j=0..3,k=0..3,x=ScanOrder[3][0][i][0],and y=ScanOrder[3][0][i][1]
ScalingFactor[3][matrixId][0][0]=scaling_list_dc_coef_minus8[0][matrixId]+8 (7-51)
2.5.1.MTS(多重変換選択)
離散正弦関数変換ファミリーは、周知の離散フーリエ、コサイン、サイン、およびカルーネン-レーベ(1次マルコフ条件下)変換を含む。すべてのメンバーの中で、コサイン関数に基づく8つのタイプの変換、およびサイン関数に基づく8つのタイプの変換、すなわち、それぞれ、DCT-I、II、・・、VIII、およびDST-I、II、・・・、VIIIがある。これらの離散コサイン変換およびサイン変換の変形は、それらに対応する対称-周期的シーケンスの異なる対称性に由来する。提案される方法に利用されるような、選択されたタイプのDCTおよびDSTの変換基底関数を、以下の表1にまとめる。
表1.N点入力用DCT-II/V/VIII、DST-I/VIIの変換ベースの関数
- 幅および高さが共に32以下
- CBF フラグが1である
表6.N点入力用DCT-II/V/VIII、DST-I/VIIの変換ベースの関数
VTM4において、サイズが64×64までの大きなブロックサイズの変換が有効化され、これは、主に高解像度映像、例えば、1080pおよび4Kシーケンスに有用である。サイズ(幅または高さ、または幅と高さの両方)が64である変換ブロックに対して、高周波数変換係数をゼロにし、低周波数係数のみを保持する。例えば、M×N変換ブロックの場合、ブロック幅をM、ブロック高さをNとすると、Mが64である場合、左32列の変換係数のみが保持される。同様に、Nが64である場合、変換係数の上位32行のみが保持される。大きなブロックに対して変換スキップモードを使用する場合、値をゼロ化することなくブロック全体を使用する。
JEMにおいて、セカンダリ変換は、順方向プライマリ変換と量子化(エンコーダにおいて)の間、および逆量子化と逆方向プライマリ変換(デコーダ側において)の間に適用される。図2に示すように、ブロックサイズにより4×4(または8×8)個のセカンダリ変換を行う。例えば、4×4のセカンダリ変換は、小さなブロック(すなわち、min(幅、高さ)<8)に適用され、8×8のセカンダリ変換は、8×8ブロック当たりより大きなブロック(すなわち、min(幅、高さ)>4)に適用される。
VTM4において、最大QPは51から63に拡大し、そして最初のQPの信号通知はそれに応じて変化した。slice_qp_deltaの非ゼロ値を符号化する場合、SliceQpYの初期値はスライスセグメント層で変更される。具体的には、init_qp_minus26の値を、-(26+QpBdOffsetY)~+37の範囲に修正する。
2.5.4.JVET-N0847におけるユーザ定義量子化行列
- スケーリング行列の3つのモードOFF、DEFAULT、およびUSER_DEFINED
- ブロックのより大きいサイズ範囲(輝度に対して4×4~64×64、クロマに対して2×2~32×32)
- 矩形変換ブロック(TBs)
- 従属量子化
- 多重変換選択(MTS)
- ゼロ化した高周波数係数を有する大きな変換
- イントラサブブロック分割(ISP)
- イントラブロックコピー(IBC、現在のピクチャの参照CPRとしても知られる)は、イントラ符号化ブロックと同じQMを共有する。
- DEFAULTスケーリング行列は、すべてのTBサイズに対してフラットであり、デフォルト値は16である。
- スケーリング行列は、以下のために適用されてはならない。
○ すべてのTBサイズに対するTS
○ セカンダリ変換(別名RST)
2.5.4.1.1.スケーリング行列における要素の走査順序
これらの素子は、係数符号化に使用されるのと同じ走査順に、即ち対角走査順に符号化される。対角走査順序の一例を図6A-6Bに示す。
6.5.2 右上対角走査順序配列初期化処理
この処理には、ブロック幅blkWidthおよびブロックサイズ高さblkHeightが入力される。
i=0
x=0
y=0
stopLoop=FALSE
while(!stopLoop){
while(y>=0){
if(x<blkWidth&&y<blkHeight){(6-11)
diagScan[i][0]=x
diagScan[i][1]=y
i++
}
y--
x++
}
y=x
x=0
if(i>=blkWidth*blkHeight)
stopLoop=TRUE
}
DC値(すなわち、行列の左上の0である走査インデックスに位置する要素)は、以下のスケーリング行列、16×16、32×32および64×64のために別個に符号化される。
8×8(N<=8)以下のサイズのTB(N×N)の場合
8×8以下のサイズのTBの場合、1つのスケーリング行列におけるすべての要素が信号通知される。
8×8(N>8)より大きいサイズのTB(N×N)の場合
2.5.4.2.非二乗変換サイズに対するQMの導出
1.矩形行列Hの高さは、幅Wより大きく、次に、サイズW×Hの矩形TBのためのScalingMatrixは、次のようなサイズbaseL×baseLから定義され、baseLはmin(log2(H),3)である。
また、64点変換のために高周波数係数のゼロ化を適用する場合、対応するスケーリング行列の高周波数もゼロ化される。すなわち、TBの巾または高さが32以上である場合、図9に示すように、係数の左側または上側半分のみを維持し、残りの係数に0を割り当てる。そのため、式(1)、(2)に従って矩形行列を得る場合はチェックを行って、ScalingMatrix(i,j)の対応する要素に0を割り当てる。
2.5.4.4.量子化行列の構文、意味論
7.3.2.11 スケーリングリストデータ構文
scaling_list_pred_mode_flag[sizeId][matrixId]が0である場合、スケーリングリストの値が参照スケーリングリストの値と同じであることを規定する。参照スケーリングリストは、scaling_list_pred_matrix_id_delta[sizeId][matrixId]により規定される。
scaling_list_pred_mode_flag[sizeId][matrixId]が1である場合、スケーリングリストの値は明示的に信号通知されることを規定する。
scaling_list_pred_matrix_id_delta[sizeId][matrixId]は、ScalingList[sizeId][matrixId]を導出するために使用される参照スケーリングリストを規定し、ScalingList[sizeId][matrixId]の導出は、以下のように、scaling_list_pred_matrix_id_delta[sizeId][matrixId]に基づく。
-scaling_list_pred_matrix_id_delta[sizeId][matrixId]が0である場合、スケーリングリストは、i=0..Min(63,(1<<(sizeId<<1))-1)について表7-15、表7-16、表7-17、表7-18に規定されるように、デフォルトのスケーリングリストScalingList[sizeId][matrixId][i]から推論される。
-そうでない場合、スケーリングリストは、参照スケーリングリストから以下のように推論される。
sizeId=1…6の場合、
refMatrixId=matrixId-scaling_list_pred_matrix_id_delta[sizeId][matrixId]*(sizeId==6 ?3:1) (7-XX)
sizeIdが1である場合、refMatrixIdの値は0または3でない。あるいは、sizeIdが5以下である場合、scaling_list_pred_matrix_id_delta[sizeId][matrixId]の値は、0からmatrixIdまでの範囲内にあるべきである。そうでない場合(sizeIdが6である)、scaling_list_pred_matrix_id_delta[sizeId][matrixId]の値は、0からmatrixId/3までの範囲内にあるべきである。
表7-13 - sizeIdの仕様
scaling_list_pred_mode_flag[sizeId][matrixId]が0、scaling_list_pred_matrix_id_delta[sizeId][matrixId]が0、sizeIdが3より大きい場合、scaling_list_dc_coef_minus8[sizeId][matrixId]の値は、8になると推論される。
scaling_list_pred_matrix_id_delta[sizeId][matrixId]が0でなく、sizeIdが3より大きい場合、scaling_list_dc_coef_minus8[sizeId][matrixId]の値は、scaling_list_dc_coef_minus8[sizeId][refMatrixId]であると推論され、ここで、refMatrixIdの値は数式7-XXによって与えられる。
scaling_list_delta_coefは、scaling_list_pred_mode_flag[sizeId][matrixId][i]が1である場合、現在の行列係数ScalingList[sizeId][matrixId][i]と前回の行列係数ScalingList[sizeId][matrixId][i-1]との差を規定する。scaling_list_delta_coefの値は、-128以上127以下とする。ScalingList[sizeId][matrixId][i]の値は、0よりも大きい。When scaling_list_pred_mode_flag[sizeId][matrixId]が1の場合、かつscaling_list_delta_coefが存在しない場合、ScalingList[sizeId][matrixId][i]の値は、0であると推論される。
表7-15 - ScalingList[1][matrixId][i]のデフォルト値の仕様(i=0..3)
サイズ2×2の量子化行列の要素であるScalingFactor[1][matrixId][][]は、以下のように導出される。
ScalingFactor[1][1][matrixId][x][y]=ScalingList[1][matrixId][i] (7-XX)
with i=0..3,matrixId=1,2,4,5,x=DiagScanOrder[1][1][i][0],and y=DiagScanOrder[1][1][i][1]
サイズ4×4の量子化行列の要素であるScalingFactor[2][matrixId][][]は、以下のように導出される。
ScalingFactor[2][2][matrixId][x][y]=ScalingList[2][matrixId][i] (7-XX)
with i=0..15,matrixId=0..5,x=DiagScanOrder[2][2][i][0],and y=DiagScanOrder[2][2][i][1]
サイズ8×8の量子化行列の要素であるScalingFactor[3][matrixId][][]は、以下のように導出される。
ScalingFactor[3][3][matrixId][x][y]=ScalingList[3][matrixId][i] (7-XX)
with i=0..63,matrixId=0..5,x=DiagScanOrder[3][3][i][0],and y=DiagScanOrder[3][3][i][1]
サイズ16×16の量子化行列の要素であるScalingFactor[4][matrixId][]は、以下のように導出される。
ScalingFactor[4][4][matrixId][x*2+k][y*2+j]=ScalingList[4][matrixId][i](7-XX)
with i=0..63,j=0..1,k=0..1,matrixId=0..5,x=DiagScanOrder[3][3][i][0],and y=DiagScanOrder[3][3][i][1]
ScalingFactor[4][4][matrixId][0][0]=scaling_list_dc_coef_minus8[0][matrixId]+8 (7-XX)
with matrixId=0..5
サイズ32×32の量子化行列の要素ScalingFactor[5][matrixId][][]は、以下のように導出される。
ScalingFactor[5][5][matrixId][x*4+k][y*4+j]=ScalingList[5][matrixId][i] (7-XX)
with i=0..63,j=0..3,k=0..3,matrixId=0..5,x=DiagScanOrder[3][3][i][0],and y=DiagScanOrder[3][3][i][1]
ScalingFactor[5][5][matrixId][0][0]=scaling_list_dc_coef_minus8[1][matrixId]+8 (7-XX)
with matrixId=0..5
サイズ64×64の量子化行列の要素であるScalingFactor[6][matrixId][][]は、以下のように導出される。
ScalingFactor[6][6][matrixId][x*8+k][y*8+j]=ScalingList[6][matrixId][i] (7-XX)
with i=0..63,j=0..7,k=0..7,matrixId=0,3,x=DiagScanOrder[3][3][i][0],and y=DiagScanOrder[3][3][i][1]
ScalingFactor[6][6][matrixId][0][0]=scaling_list_dc_coef_minus8[2][matrixId]+8 (7-XX)
with matrixId=0,3
ChromaArrayTypeが3である場合、matrixId=1,2,4,5であるなら、サイズ64×64のクロマ量子化行列の要素ScalingFactor[6][6][matrixId][][]は、以下のように導出される。
ScalingFactor[6][6][matrixId][x*8+k][y*8+j]=ScalingList[5][matrixId][i] (7-XX)
with i=0..63,j=0..7,k=0..7,x=DiagScanOrder[3][3][i][0],and y=DiagScanOrder[3][3][i][1]
ScalingFactor[6][6][matrixId][0][0]=scaling_list_dc_coef_minus8[1][matrixId]+8 (7-XX)
//非正方形の場合
長方形のサイズを有する量子化行列の場合、
x=0..(1<<sizeIdW)-1,y=0..(1<<sizeIdH)-1,sizeIdW!=sizeIdHの場合の5次元配列ScalingFactor[sizeIdW][sizeIdH][matrixId][x][y]は、表7-19に規定された変数sizeIdW、sizeIdHに従って、倍率の配列を規定するとともに、次のように導出される。
ScalingList[sizeLid][matrixId][i]により、ScalingFactor[sizeIdW][sizeIdH][matrixId][x][y]を生成することができる。
ただし、sizeLId=max(sizeIdW,sizeIdH),sizeIdW=0,1..6,sizeIdH=0,1..6,matrixId=0..5,x=0..(1<<sizeIdW)-1,y=0..(1<<sizeIdH)-1,,x=DiagScanOrder[k][k][i][0],およびy=DiagScanOrder[k][k][i][1],k=min(sizeLId,3),
およびratioW=(1<<sizeIdW)/(1<<k),ratioH=(1<<sizeIdH)/(1<<k),and ratioWH=(1<<abs(sizeIdW-sizeIdH))。下記の規則を参照:
- (sizeIdW>sizeIdH)の場合、
ScalingFactor[sizeIdW][sizeIdH][matrixId][x][y]
=ScalingList[sizeLId][matrixId][Raster2Diag[(1<<k)*((y*ratioWH)/ratioW)+x/ratioW]]
- その他
ScalingFactor[sizeIdW][sizeIdH][matrixId][x][y]
=ScalingList[sizeLId][matrixId][Raster2Diag[(1<<k)*(y/ratioH)+(x*ratioWH)/ratioH]],
ここで、Raster2Diag[]は、1つの8×8ブロックにおけるラスタ走査位置を対角走査位置に変換する関数である。
//ゼロ化する場合
以下の条件を満たすサンプルに対して、矩形サイズを有する量子化行列をゼロ化する。
- x>32
- y>32
- 復号化されたtuはデフォルトの変換モードで符号化されない(1<<sizeIdW)==32、x>16
- 復号化されたtuはデフォルトの変換モードで符号化されない(1<<sizeIdH)==32、y>16
表7-19 - sizeIdWおよびsizeIdHの仕様
JVET-M0413において、量子化された残差ブロック差動パルスコード変調(QR-BDPCM)が、スクリーンコンテンツを効率的に符号化するために提案されている。
7.3.6.5 符号化ユニット構文
bdpcm_dir_flag[x0][y0]=0は、bdpcmブロックで使用される予測方向が水平であることを指定し、そうでない場合、垂直である。
現在のVVC設計において、量子化行列の観点から以下のような問題が存在する。
1.QR-BDPCMおよびBDPCM-blocksの場合、変換は適用されない。そのため、このようなブロックに対して、他の変換適用ブロックと同様にスケーリング行列を適用することは、最適ではない。
2.IBCおよびイントラ符号化モードは、同じスケーリング行列を共有する。しかしながら、IBCはインター符号化ツールである可能性が高い。そのような設計は妥当でないと思われる。
3.ゼロ化大きなブロックの場合、いくつかの要素が信号通知されるが、ビットを浪費する復号化処理においてゼロにリセットされる。
4.いくつかのフレームワークにおいて、量子化は、常に量子化行列を適用するように行われる。このように、小さなブロックのための量子化行列は、頻繁に行列を変更させる可能性がある。
以下の詳細な発明は、一般的な概念を説明するための例であると考えられるべきである。これらの発明は狭い意味で解釈されるべきではない。さらに、これらの発明は、任意の方法で組み合わせることができる。
1.TS(Transform Skip)フラグがビットストリームにおいて信号通知されない場合、このフラグの値をどのように設定するかは、符号化モード情報に依存し得る。
a.一例において、BDPCM/QR-BDPCM符号化ブロックの場合、TSフラグは1であると推論される。
b.一例において、非BDPCM/QR-BDPCM符号化ブロックの場合、TSフラグは0であると推論される。
2.BDPCM/QR-BDPCM符号化ブロックにスケーリング行列を適用することができることが提案される。
a.代替的に、BDPCM/QR-BDPCM符号化ブロックのためのスケーリング行列を許可しないことが提案される。
b.一例として、BDPCM/QR-BDPCM符号化ブロックのスケーリング行列を選択する方法は、変換スキップ符号化ブロックと同じ方法で行われ得る。
c.一例において、BDPCM/QR-BDPCM符号化ブロックのためのスケーリング行列をどのように選択するかは、1つまたは複数の変換がブロックに適用されるかに依存し得る。
i.一例において、1つのBDPCM/QR-BDPCM符号化ブロックに1つ以上の変換を適用する場合、スケーリング行列は許可され得る。
ii.一例において、1つまたは複数の変換がBDPCM/QR-BDPCM符号化ブロックに適用される場合、BDPCM/QR-BDPCM符号化ブロックのためのスケーリング行列をどのように選択するかは、1つのイントラ符号化ブロックと同様にして行われ得る。
3.インループフィルタ(非ブロック化フィルタ)および/または他の再構成後フィルタにおいて、2つの隣接するブロック間のサンプル/エッジをフィルタリングするかどうか、および/またはどのようにフィルタリングするかは、2つの隣接するブロックのいずれかまたは両方が変換スキップ(TS)モードで符号化されるかどうかに依存し得る。
a.インループフィルタ(非ブロック化フィルタ)および/または他の再構成後フィルタにおいて、2つの隣接するブロック間のサンプル/エッジをフィルタリングするかどうか、および/またはどのようにフィルタリングするかは、2つの隣接するブロックがTS、BDPCM、QR-BDPCM、パレットモードで符号化されるかどうかに依存し得る。
b.一例において、境界フィルタリング強度の導出は、2つの隣接するブロックの一方または両方のTSモードフラグに依存し得る。
c.一例において、TS符号化ブロックに位置するサンプルの場合、非ブロック化フィルタ/サンプル適応オフセット/適応ループフィルタ/他の種類のインループフィルタ/他の再構成後フィルタは、無効化されてもよい。
i.一例において、2つの隣接するブロックが両方とも変換スキップモードで符号化される場合、これらの2つの間でこのようなエッジをフィルタリングする必要がない。
ii.一例において、2つの隣接するブロックのうちの一方が変換スキップモードで符号化され、他の一方が符号化されていない場合、TS符号化ブロックに位置するサンプルをフィルタリングする必要がない。
d.代替的に、TS符号化ブロックに位置するサンプルに対して、異なるフィルタ(例えば、より平滑なフィルタ)を許可してもよい。
e.インループフィルタ(例えば、非ブロック化フィルタ)および/または他の再構成後フィルタ(例えば、双方向フィルタ、拡散フィルタ)の処理中、PCM/BDPCM/QR-BDPCMで符号化されたブロック、および/または変換が適用されない他の種類のモードは、上述したように、TSモードで符号化されたものと同様に処理されてもよい。
4.IBCおよびインター符号化モードで符号化されたブロックは、同じスケーリング行列を共有してもよい。
5.スケーリング行列の選択は、変換行列のタイプに依存し得る。
a.一例において、スケーリング行列の選択は、ブロックがDCT2などのデフォルト変換を使用するかどうかに依存し得る。
b.一例において、スケーリング行列は、複数の変換行列タイプに対して別々に信号通知されてもよい。
6.スケーリング行列の選択は、1つのブロックの動き情報に依存し得る。
a.一例において、スケーリング行列の選択は、ブロックがサブブロック符号化モード(例えば、アフィンモード)で符号化されているかどうかに依存し得る。
b.一例において、アフィンモードと非アフィンモードとで別々にスケーリング行列を信号通知してもよい。
c.一例において、スケーリング行列の選択は、ブロックがアフィンイントラ予測モードで符号化されるかどうかに依存し得る。
7.セカンダリ変換符号化ブロックのためにスケーリング行列を無効化する代わりに、スケーリング行列を有効にすることが提案される。仮に変換ブロックのサイズをK×Lで表すとしたら、左上のM×Nブロックに対してセカンダリ変換を行う。
a.セカンダリ変換および/または低減されたセカンダリ変換および/または回転変換に対して、タイルグループヘッダ/スライスヘッダ/PPS/VPS/SPSにおいてスケーリング行列を信号通知することができる。
b.一例において、セカンダリ変換が適用されるか否かに従って、スケーリング行列を選択してもよい。
i.一例において、左上のM×Nブロックのためのスケーリング行列の要素は、セカンダリ変換が適用されるか否かについて別個に信号通知されてもよい。
c.代替的に、スケーリング行列は、セカンダリ変換が適用されない領域にのみ適用可能であってもよい。
d.一例において、左上のM×N領域を除く残りの部分は、依然としてスケーリング行列を適用してもよい。
e.代替的に、スケーリング行列は、セカンダリ変換が適用される領域にのみ適用可能であってもよい。
8.正方形ブロックから非正方形ブロックのためのスケーリング行列を導出する代わりに、非正方形ブロックのためのスケーリング行列を信号通知することが提案される。
a.一例において、非正方形ブロックのためのスケーリング行列は、正方形ブロックからの予測で符号化されてもよく、スケーリング行列は有効化されてもよい。
9.いくつかの位置に対するスケーリング行列の使用を無効化し、ブロック内の残りの位置に対するスケーリング行列を有効化することが提案される。
a.例えば、1つのブロックがM*N個よりも多い位置を含む場合、左上のM*N個の領域のみがスケーリング行列を使用してもよい。
b.例えば、1つのブロックがM*N個よりも多い位置を含む場合、上位M*N個の位置のみがスケーリング行列を使用してもよい。
c.例えば、1つのブロックがM*N個よりも多い位置を含む場合、左側のM*N個の位置のみがスケーリング行列を使用してもよい。
10.スケーリング行列に信号通知されるべき要素が何個あるかは、ゼロ化が適用されるかどうかに依存し得る。
a.一例において、64×64変換の場合、左上のM×N個の変換係数のみが保持され、残りの係数はすべてゼロ化されると仮定する。そして、信号通知されるべき要素の数は、M/8*N/8として導出されてもよい。
11.ゼロ化のある変換の場合、ゼロ化領域に位置するスケーリング行列における要素の信号通知を無効化することが提案される。K×L変換の場合を仮定すると、左上のM×N個の変換係数のみが保持され、残りの係数はすべてゼロ化している。
a.一例において、K=L=64、M=N=32である。
b.一例において、左上のM×N領域の外側の位置に対応するスケーリング行列において要素の信号通知は、省略される。
図10は、破線領域(例えば、M×N領域)における選択された要素のみが信号通知される例を示す。
c.一例において、スケーリング行列において要素を選択するためのサブサンプリング比は、Kおよび/またはLによって判定されてもよい。
i.例えば、変換ブロックを複数のサブ領域に分割し、各サブ領域のサイズをUw*Uhとする。左上のM×N領域の各サブ領域内に位置する1つの要素を信号通知することができる。
ii.代替的に、符号化されるべき要素の数は、Mおよび/またはNに依存し得る。
1)一例において、このようなゼロ化のあるK×L変換に対して何個の要素が符号化されるべきかは、ゼロ化のないM×N変換ブロックに対するものとは異なる。
d.一例において、スケーリング行列において要素を選択するためのサブサンプリング比は、KおよびLの代わりにMおよび/またはNによって判定されてもよい。
i.例えば、M×N領域は、複数のサブ領域に分割される。各(M/Uw,N/Uh)領域内の1つの要素が信号通知されてもよい。
ii.代替的に、さらに、このようなゼロ化のあるK×L変換に対して何個の要素が符号化されるべきかは、ゼロ化のないM×N変換ブロックに対するものと同じである。
e.一例において、K=L=64,M=N=32,Uw=Uh=8である。
12.小さなサイズのブロックのような、あるブロックサイズに対して、1つの量子化行列のみを使用することが提案される。
a.一例において、W×Hより小さいすべてのブロックは、ブロックのタイプにかかわらず、2つ以上の量子化行列を使用することが許可されないことがある。
b.一例において、閾値より小さい幅を有するすべてのブロックは、2つ以上の量子化行列を使用することが許可されない場合がある。
c.一例において、高さが閾値よりも小さいすべてのブロックは、2つ以上の量子化行列を使用することが許可されないことがある。
d.一例において、量子化行列は、小さなサイズのブロックに適用されなくてもよい。
13.上記の黒点は、変換を適用しない(またはアイデンティティ変換を適用しない)他の符号化方法にも適用可能である。
a.一例において、上記の黒点は、「TS/BDPCM/QR-BDPCM」を「Palette」に置き換えることによって、パレットモードで符号化されたブロックに適用可能である。
8.8.2.1 一般
この処理への入力は、非ブロック化前の再構成ピクチャ、即ち配列recPictureLであり、且つChromaArrayTypeが0でない場合、配列recPictureCbおよびrecPictureCrである。
この処理の出力は、非ブロック化後の修正された再構成ピクチャ、即ち配列recPictureLであり、ChromaArrayTypeが0でない場合、配列recPictureCbおよびrecPictureCrである。
まずピクチャの垂直エッジを選別する。そして、垂直エッジフィルタリング処理で修正されたサンプルを入力として、ピクチャの水平エッジをフィルタリングする。各CTUのCTBにおける垂直および水平エッジは、符号化ユニットごとに別個に処理される。符号化ユニットにおける符号化ブロックの垂直エッジは、符号化ブロックの左側のエッジから始まり、符号化ブロックの右側に向かってそれらの幾何学的順にエッジを通って進むようにフィルタリングされる。符号化ユニットにおける符号化ブロックの水平エッジは、符号化ブロックの上側のエッジから始まり、符号化ブロックの下側に向かってそれらの幾何学的順にエッジを通って進むようにフィルタリングされる。
注 - 本願明細書において、フィルタリング処理はピクチャ単位で述べられているが、同じ出力値を生成するように、デコーダが処理の従属順序を適切に考慮すれば、フィルタリング処理は等価な結果を有する符号化単位で実施されてもよい。
非ブロック化フィルタ処理は、以下のタイプのエッジを除き、ピクチャのすべての符号化サブブロックのエッジおよび変換ブロックのエッジに適用される。
- ピクチャの境界にあるエッジ、
- pps_loop_filter_across_virtual_boundaries_disabled_flagが1である場合、ピクチャの仮想境界に合致するエッジ
- loop_filter_across_bricks_enabled_flagが0である場合、ブリックの境界に合致するエッジ
- slice_loop_filter_across_slices_enabled_flagが0である、またはslice_deblocking_filter_disabled_flagが1である場合、スライスの上または左の境界に一致するエッジ
- slice_deblocking_filter_disabled_flagが1であるスライス内のエッジ
- 考慮される成分の8×8個のサンプルグリッド境界に対応しないエッジ
- エッジの両側がインター予測を用いるクロマ成分内のエッジ
- 関連付けられた変換ユニットのエッジでないクロマ変換ブロックのエッジ
- IntraSubPartitionsSplit値がISP_NO_SPLITでない符号化ユニットの輝度変換ブロック全体のエッジ
この章は、章4の黒点11.dの例を提供する。
with matrixId=0,3
//ゼロ化する場合
以下の条件を満たすサンプルに対して、矩形サイズを有する量子化行列をゼロ化する。
- 復号化されたtuはデフォルトの変換モードでは符号化されない(1<<sizeIdH)==32、y>16
with matrixId=0,3
//ゼロ化する場合
以下の条件を満たすサンプルに対して、矩形サイズを有する量子化行列をゼロ化する。
- 復号化されたtuはデフォルトの変換モードでは符号化されない(1<<sizeIdH)==32、y>16
本章は、QR-BDPCM符号化ブロックのためのスケーリング行列を許可しない例を提供する。
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在の輝度変換ブロックの左上のサンプルを規定する輝度位置(xTbY,yTbY)
- 変換ブロックの幅を指定する変数nTbW、
- 変換ブロックの高さを指定する変数nTbH、
- 現在のブロックの色成分を規定する変数cIdx、
- 現在の色成分のビット深度を指定する変数bitDepth。
この処理の出力は、要素d[x][y]を有するスケーリングされた変換係数の(nTbW)×(nTbH)配列dである。
量子化パラメータqPは、以下のように導出される。
- cIdxが0に等しい場合、以下が適用される。
qP=Qp’Y (8-1019)
- そうでない場合、cIdxが1である場合、以下が適用される。
qP=Qp’Cb (8-1020)
- そうでない場合(cIdx=2)、以下が適用される。
qP=Qp’Cr (8-1021)
変数rectNonTsFlagは、以下のように導出される。
rectNonTsFlag=(((Log2(nTbW)+Log2(nTbH))&1)==1 && (8-1022)
transform_skip_flag[xTbY][yTbY]==0)
変数bdShift、rectNorm、およびbdOffsetは、以下のように導出される。
bdShift=bitDepth+((rectNonTsFlag?8:0)+ (8-1023)
(Log2(nTbW)+Log2(nTbH))/2)-5+dep_quant_enabled_flag
rectNorm=rectNonTsFlag ? 181:1 (8-1024)
bdOffset=(1<<bdShift)>>1 (8-1025)
list levelScale[]は、k=0..5の時、levelScale[k]={40,45,51,57,64,72}として規定される。
x=0..nTbW-1,y=0..nTbH-1である場合、スケーリングされた変換係数d[x][y]を導出するために、以下が適用される。
- 中間倍率m[x][y]は、以下のように導出される。
- 以下の条件の1つ以上が真である場合、m[x][y]は、16に等しく設定される。
- scaling_list_enabled_flagは0と等しい。
- transform_skip_flag[xTbY][yTbY]は、1である。
- m[x][y]=ScalingFactor[sizeIdW][sizeIdH][matrixId][x][y] (8-XXX)
sizeIdWをLog2(nTbW)に設定する場合、sizeIdHをLog2(nTbH)に等しく設定し、matrixIdを表7-14に規定する。
- 倍率ls[x][y]は、以下のように導出される。
- dep_quant_enabled_flagが1である場合、以下が適用される。
ls[x][y]=(m[x][y]*levelScale[(qP+1)%6])<<((qP+1)/6) (8-1026)
- そうでない場合(dep_quant_enabled_flagが0に等しい)、以下が適用される。
ls[x][y]=(m[x][y]*levelScale[qP%6])<<(qP/6) (8-1027)
- 値dnc[x][y]は、以下のように導出される。
dnc[x][y]= (8-1028)
(TransCoeffLevel[xTbY][yTbY][cIdx][x][y]*ls[x][y]*rectNorm+bdOffset)>>bdShift
- スケーリングされた変換係数d[x][y]は、以下のように導出される。
d[x][y]=Clip3(CoeffMin,CoeffMax,dnc[x][y]) (8-1029)
transform_skip_flag[x0][y0]は、輝度変換ブロックに対して変換を適用するかどうかを指定する。配列インデックスx0,y0は、ピクチャの左上輝度サンプルに対する、考慮される符号化ブロックの左上輝度サンプルの位置(x0,y0)を指定する。transform_skip_flag[x0][y0]=1は、輝度変換ブロックに変換を適用しないことを指定する。transform_skip_flag[x0][y0]=0は、輝度変換ブロックに変換を適用するかどうかの決定が他の構文要素に依存することを指定する。
前記スケーリング行列に基づいて、前記変換を行うことと、を含む方法であって、
前記符号化表現は前記スケーリング行列の要素の数を信号通知し、前記数は、前記変換においてゼロ化する係数の適用に依存する、映像処理方法。
前記スケーリング行列に基づいて前記変換を行うこと(2304)と、を含む。
前記映像ブロックは、規則に基づいて、前記変換時に前記スケーリング行列が適用される第1の数の位置と、前記変換時にスケーリング行列が適用されない第2の数の位置とを含む。
前記スケーリング行列に基づいて、前記変換を行うことと、を含む方法であって、
前記符号化表現は前記スケーリング行列の要素の数を示し、前記数は、ゼロ化する係数を前記映像ブロックの係数に適用するかどうかに依存する。
前記映像ブロックは、前記映像ブロックの係数を変換すべくK×L変換行列を適用した後に、左上のM×N変換係数を除いたすべての変換係数をゼロ化した後の前記符号化表現で表現され、
前記符号化表現は、前記ゼロ化したことに対応する位置にあるスケーリング行列の要素の信号通知を排除するように構成され、
前記スケーリング行列は、前記変換係数をスケーリングするために使用される。
前記量子化行列を使用して前記変換を行うことと、を含む。
選択された前記スケーリング行列を使用して、前記映像の前記映像ブロックと前記映像のビットストリーム表現との変換を行うことと、を含む映像処理方法。
前記スケーリング行列に基づいて前記変換を行うことと、を含む映像処理方法。
前記映像ブロックは、規則に基づいて、前記変換時に前記スケーリング行列が適用される第1の数の位置と、前記変換時にスケーリング行列が適用されない第2の数の位置とを含む、映像処理方法。
前記スケーリング行列に基づいて、前記変換を行うことと、を含む映像処理方法であって、
前記符号化表現は前記スケーリング行列の要素の数を示し、前記数は、ゼロ化する係数を前記映像ブロックの係数に適用するかどうかに依存する、映像処理方法。
前記映像ブロックは、前記映像ブロックの係数を変換すべくK×L変換行列を適用した後に、左上のM×N変換係数を除いたすべての変換係数をゼロ化した後の前記符号化表現で表現され、
前記符号化表現は、前記ゼロ化したことに対応する位置にあるスケーリング行列の要素の信号通知を排除するように構成され、
前記スケーリング行列は、前記変換係数をスケーリングするために使用される、映像処理方法。
前記量子化行列を使用して前記変換を行うことと、を含む映像処理方法。
本願は、2019年8月20日出願の国際特許出願第PCT/CN2019/101555号の優先権と利益を主張する、2020年8月20日出願の国際特許出願第PCT/CN2020/110275号の国内段階である。上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
Claims (22)
- 映像の映像ブロックと前記映像の符号化表現との変換のために、前記映像ブロックの符号化モードに基づいてスケーリングツールの倍数を判定することと、前記スケーリングツールを使用して前記変換を行うことと、を含む映像処理方法であって、
前記スケーリングツールの前記使用は、符号化中に前記映像ブロックを表す少なくともいくつかの係数をスケーリングすること、又は復号化時に前記符号化表現から少なくともいくつかの係数をデスケーリングすることを含む、映像処理方法。 - 前記映像ブロックの前記変換に使用されているブロック差分パルス符号変調(BDPCM)符号化ツールまたは量子化残差BDPCM(QR-BDPCM)符号化ツールに応答して、予め定義された値に基づいて前記スケーリングツールの前記倍数を判定することをさらに含む、請求項1に記載の方法。
- 前記BDPCM符号化ツールまたは前記QR-BDPCM符号化ツールが適用される前記映像ブロックに使用される前記スケーリングツールの前記倍数は、変換スキップモードが適用される前記映像ブロックに使用されるものと同じであり、
前記変換スキップモードは、前記符号化表現への符号化前に前記少なくともいくつかの係数に順方向変換を適用することをスキップすること、または復号化時に、前記符号化表現からの復号化前に前記少なくともいくつかの係数に逆方向変換を適用することをスキップすることを含む、請求項2に記載の方法。 - 前記変換は、前記変換時に前記映像ブロックの前記少なくともいくつかの係数に適用される1つ以上の変換に基づいて、前記スケーリングツールの前記倍数を判定することを含む、請求項2に記載の方法。
- 前記映像ブロックの前記少なくともいくつかの係数に適用される前記1つ以上の変換に応答して、前記変換に対して前記スケーリングツールを許可する、請求項4に記載の方法。
- 前記映像ブロックの前記少なくともいくつかの係数に適用される前記1つ以上の変換に応答して、前記スケーリングツールの前記倍数を判定するための技法が、イントラ符号化ブロックに使用される技法と同じである、請求項4に記載の方法。
- イントラブロックコピーモードおよびインターモードを使用して符号化されている前記映像の映像ブロックに対して、同じ方法で前記スケーリング行列の前記倍数を判定する、請求項1に記載の方法。
- 映像の映像ブロックと前記映像の符号化表現との変換のために、前記映像ブロックの前記変換のためのブロック差分パルス符号変調(BDPCM)符号化ツールまたは量子化残差BDPCM(QRーBDPCM)符号化ツールに起因して、スケーリングツールの使用を無効化すると判定することと、
前記スケーリングツールを使用せずに前記変換を行うことと、を含む映像処理方法であって、
前記スケーリングツールの前記使用は、符号化時に前記映像ブロックを表す少なくともいくつかの係数をスケーリングすること、又は復号化時に前記符号化表現から少なくともいくつかの係数をデスケーリングすることを含む、映像処理方法。 - 映像の映像ブロックと前記映像の符号化表現との変換のために、前記変換のために選択された変換行列に基づいてスケーリング行列を選択することであって、前記スケーリング行列は、前記映像ブロックの少なくともいくつかの係数をスケーリングするために使用され、前記変換行列は、前記変換時に前記映像ブロックの前記少なくともいくつかの係数を変換するために使用される、選択することと、
前記スケーリング行列を使用して前記変換を行うことと、を含む映像処理方法。 - 前記スケーリング行列を前記選択することは、前記映像ブロックの前記変換がデフォルト変換モードを使用するかどうかに基づく、請求項9に記載の方法。
- 前記デフォルト変換モードは、離散コサイン変換2(DCT2)を含む、請求項10に記載の方法。
- 前記スケーリング行列は、複数の変換行列に対して別個に信号通知される、請求項9に記載の方法。
- 前記スケーリング行列を前記選択することは、前記映像ブロックの動き情報に基づく、請求項9に記載の方法。
- 前記スケーリング行列を前記選択することは、前記映像ブロックの前記変換がサブブロック符号化モードを使用するかどうかに基づく、請求項13に記載の方法。
- 前記サブブロック符号化モードは、アフィン符号化モードを含む、請求項14に記載の方法。
- 前記アフィン符号化モードのためのスケーリング行列が、その変換が非アフィン符号化モードを使用する別の映像ブロックのためのスケーリング行列とは異なるように信号通知される、請求項15に記載の方法。
- 前記スケーリング行列を前記選択することは、前記映像ブロックがアフィンイントラ予測モードで符号化されているかどうかに基づく、請求項13に記載の方法。
- 前記変換は、前記映像ブロックまたは複数の前記映像ブロックを前記符号化表現に符号化することを含む、請求項1~17のいずれか1項に記載の方法。
- 前記変換は、前記符号化表現を復号化して、前記映像ブロックまたは複数の前記映像ブロックの画素値を生成することを含む、請求項1~17のいずれか1項に記載の方法。
- 請求項1~19のいずれか1項に記載の方法を実装するように構成される処理装置を備える、映像復号化装置。
- 請求項1~19のいずれか1項に記載の方法を実装するように構成される処理装置を備える映像符号化装置。
- コンピュータコードが記憶されたコンピュータプログラム製品であって、前記コードは、処理装置により実行されると、前記処理装置に、請求項1~19のいずれか1項に記載の方法を実装させるコンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2019101555 | 2019-08-20 | ||
CNPCT/CN2019/101555 | 2019-08-20 | ||
PCT/CN2020/110275 WO2021032165A1 (en) | 2019-08-20 | 2020-08-20 | Usage of default and user-defined scaling matrices |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022545451A true JP2022545451A (ja) | 2022-10-27 |
JP7444970B2 JP7444970B2 (ja) | 2024-03-06 |
Family
ID=74659756
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022511033A Active JP7444970B2 (ja) | 2019-08-20 | 2020-08-20 | デフォルトおよびユーザ定義のスケーリング行列の使用法 |
JP2022511034A Active JP7397172B2 (ja) | 2019-08-20 | 2020-08-20 | 位置に基づく係数のスケーリング |
JP2023194599A Pending JP2024020419A (ja) | 2019-08-20 | 2023-11-15 | 位置に基づく係数のスケーリング |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022511034A Active JP7397172B2 (ja) | 2019-08-20 | 2020-08-20 | 位置に基づく係数のスケーリング |
JP2023194599A Pending JP2024020419A (ja) | 2019-08-20 | 2023-11-15 | 位置に基づく係数のスケーリング |
Country Status (6)
Country | Link |
---|---|
US (4) | US11539970B2 (ja) |
EP (2) | EP4000258A4 (ja) |
JP (3) | JP7444970B2 (ja) |
KR (2) | KR20220045955A (ja) |
CN (4) | CN114270817A (ja) |
WO (3) | WO2021032162A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2585030A (en) * | 2019-06-25 | 2020-12-30 | British Broadcasting Corp | Method of signalling in a video codec |
WO2021032162A1 (en) | 2019-08-20 | 2021-02-25 | Beijing Bytedance Network Technology Co., Ltd. | Signaling for transform skip mode |
US11949852B2 (en) * | 2019-09-19 | 2024-04-02 | Hfi Innovation Inc. | Method and apparatus of residual coding selection for lossless coding mode in video coding |
Family Cites Families (66)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2009050897A1 (ja) | 2007-10-19 | 2011-02-24 | パナソニック株式会社 | 符号化レート変換装置、符号化レート変換方法および集積回路 |
US8634466B2 (en) * | 2009-03-17 | 2014-01-21 | Freescale Semiconductor, Inc. | Video decoder plus a discrete cosine transform unit |
US9118898B2 (en) * | 2009-06-24 | 2015-08-25 | Qualcomm Incorporated | 8-point transform for media data coding |
CN102137261A (zh) * | 2011-04-20 | 2011-07-27 | 深圳市融创天下科技发展有限公司 | 一种视频编码16x16整数变换方法 |
GB2492333B (en) * | 2011-06-27 | 2018-12-12 | British Broadcasting Corp | Video encoding and decoding using transforms |
US20130170555A1 (en) * | 2011-12-28 | 2013-07-04 | Broadcom Corporation | Adapting transform coefficient scaling in video/image coding to block features identified in the transform domain |
US20130177084A1 (en) | 2012-01-10 | 2013-07-11 | Qualcomm Incorporated | Motion vector scaling in video coding |
US9866829B2 (en) | 2012-01-22 | 2018-01-09 | Qualcomm Incorporated | Coding of syntax elements that correspond to coefficients of a coefficient block in video coding |
DK3300370T3 (da) | 2012-02-29 | 2019-05-20 | Sony Corp | Anordning og fremgangsmåde til billedbehandling |
JPWO2013154028A1 (ja) | 2012-04-13 | 2015-12-17 | ソニー株式会社 | 画像処理装置および方法 |
PT2840791T (pt) * | 2012-04-16 | 2018-04-16 | Electronics & Telecommunications Res Inst | Método e dispositivo para codificação/descodificação de imagem |
US20130294524A1 (en) * | 2012-05-04 | 2013-11-07 | Qualcomm Incorporated | Transform skipping and lossless coding unification |
CN108156463B (zh) | 2012-08-29 | 2022-07-01 | Vid拓展公司 | 用于可分级视频编码的运动矢量预测的方法和装置 |
US9253483B2 (en) * | 2012-09-25 | 2016-02-02 | Google Technology Holdings LLC | Signaling of scaling list |
EP2904803A1 (en) * | 2012-10-01 | 2015-08-12 | GE Video Compression, LLC | Scalable video coding using derivation of subblock subdivision for prediction from base layer |
CN103796015A (zh) * | 2012-10-31 | 2014-05-14 | 朱洪波 | 系数数目自适应的量化参数差分编码 |
US20140254661A1 (en) * | 2013-03-08 | 2014-09-11 | Samsung Electronics Co., Ltd. | Method and apparatus for applying secondary transforms on enhancement-layer residuals |
CN109982094A (zh) | 2013-04-02 | 2019-07-05 | Vid拓展公司 | 针对可伸缩视频编码的增强型时间运动向量预测 |
WO2015100522A1 (en) | 2013-12-30 | 2015-07-09 | Mediatek Singapore Pte. Ltd. | Methods for inter-component residual prediction |
US10404988B2 (en) | 2014-03-16 | 2019-09-03 | Vid Scale, Inc. | Method and apparatus for the signaling of lossless video coding |
US9432696B2 (en) * | 2014-03-17 | 2016-08-30 | Qualcomm Incorporated | Systems and methods for low complexity forward transforms using zeroed-out coefficients |
BR112016021529B1 (pt) | 2014-03-27 | 2023-02-28 | Microsoft Technology Licensing, Llc | Dispositivo de computação, método e meio legível por computador para ajuste de quantização/escalada e quantização/escalada inversa ao alternar áreas de cor |
US10200700B2 (en) | 2014-06-20 | 2019-02-05 | Qualcomm Incorporated | Cross-component prediction in video coding |
EP3192261A1 (en) | 2014-09-12 | 2017-07-19 | VID SCALE, Inc. | Inter-component de-correlation for video coding |
CN106663209B (zh) * | 2014-09-19 | 2020-05-08 | 华为技术有限公司 | 用于非均匀映射图像/视频编码中不同尺寸的量化矩阵之间的量化矩阵系数的方法和装置 |
EP3222044A1 (en) * | 2014-11-21 | 2017-09-27 | VID SCALE, Inc. | One-dimensional transform modes and coefficient scan order |
CN111601110B (zh) | 2015-01-29 | 2023-11-07 | Vid拓展公司 | 用于调色编码模式的逃逸色彩编码 |
WO2016123792A1 (en) | 2015-02-06 | 2016-08-11 | Microsoft Technology Licensing, Llc | Skipping evaluation stages during media encoding |
US10574988B2 (en) * | 2015-11-19 | 2020-02-25 | Qualcomm Incorporated | System and methods for reducing slice boundary visual artifacts in display stream compression (DSC) |
WO2017088093A1 (en) | 2015-11-23 | 2017-06-01 | Mediatek Singapore Pte. Ltd. | On the smallest allowed block size in video coding |
WO2017156669A1 (en) | 2016-03-14 | 2017-09-21 | Mediatek Singapore Pte. Ltd. | Methods for motion vector storage in video coding |
WO2017196128A1 (ko) * | 2016-05-12 | 2017-11-16 | 엘지전자(주) | 계수 유도 복원을 이용하여 비디오 신호를 처리하는 방법 및 장치 |
JP6868785B2 (ja) * | 2016-05-13 | 2021-05-12 | ソニーグループ株式会社 | 画像処理装置および方法 |
CN109076226B (zh) * | 2016-05-13 | 2021-08-13 | 索尼公司 | 图像处理装置和方法 |
CN109417621A (zh) * | 2016-07-04 | 2019-03-01 | 索尼公司 | 图像处理装置及方法 |
US11722698B2 (en) * | 2016-08-24 | 2023-08-08 | Sony Corporation | Image processing apparatus and image processing method |
WO2018038554A1 (ko) * | 2016-08-24 | 2018-03-01 | 엘지전자(주) | 이차 변환을 이용한 비디오 신호의 인코딩/디코딩 방법 및 장치 |
CN109661820A (zh) * | 2016-09-13 | 2019-04-19 | 联发科技股份有限公司 | 用于视频编解码的多个量化矩阵集合的方法 |
EP3523977A4 (en) * | 2016-10-05 | 2020-03-18 | Telefonaktiebolaget LM Ericsson (publ) | DERINGING FILTER FOR VIDEO CODING |
CN110249629A (zh) | 2017-01-31 | 2019-09-17 | 夏普株式会社 | 用于将图片分割成视频块以进行视频码处理的系统和方法 |
US10779007B2 (en) * | 2017-03-23 | 2020-09-15 | Mediatek Inc. | Transform coding of video data |
CN116866585A (zh) * | 2017-05-17 | 2023-10-10 | 株式会社Kt | 对图像解码和编码的方法以及存储压缩视频数据的装置 |
EP3644606A4 (en) * | 2017-07-28 | 2020-05-20 | Panasonic Intellectual Property Corporation of America | ENCODING DEVICE, DECODING DEVICE, ENCODING METHOD, AND DECODING METHOD |
WO2019022099A1 (ja) | 2017-07-28 | 2019-01-31 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
KR102453811B1 (ko) * | 2017-07-31 | 2022-10-12 | 에스케이텔레콤 주식회사 | 비-제로 계수들의 위치를 표현하는 방법 및 장치 |
US11736687B2 (en) | 2017-09-26 | 2023-08-22 | Qualcomm Incorporated | Adaptive GOP structure with future reference frame in random access configuration for video coding |
US10812797B2 (en) * | 2018-02-05 | 2020-10-20 | Tencent America LLC | Method, apparatus and medium for decoding or encoding using a low-complexity transform |
JP7088606B2 (ja) | 2018-04-02 | 2022-06-21 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッド | 動画処理方法、画像処理装置、プログラム、符号化デバイス、及び復号化デバイス |
EP3804315A4 (en) | 2018-05-31 | 2022-03-09 | Sharp Kabushiki Kaisha | SYSTEMS AND METHODS FOR PARTITIONING VIDEO BLOCKS INTO A SLOT FOR INTERPRETING VIDEO DATA |
US11533508B2 (en) * | 2018-06-08 | 2022-12-20 | Kt Corporation | Method and apparatus for encoding/decoding residual data based on a plurality of transformations |
TWI731358B (zh) | 2018-06-29 | 2021-06-21 | 大陸商北京字節跳動網絡技術有限公司 | 改進的時域運動向量預測推導 |
CN110662050B (zh) | 2018-06-29 | 2022-06-14 | 北京字节跳动网络技术有限公司 | 处理视频数据的方法、装置及存储介质 |
WO2020151765A1 (en) | 2019-01-27 | 2020-07-30 | Beijing Bytedance Network Technology Co., Ltd. | Interpolation for bi-prediction with cu-level weight |
US11190794B2 (en) * | 2019-02-12 | 2021-11-30 | Tencent America LLC | Method and apparatus for video coding |
WO2020176636A1 (en) | 2019-02-27 | 2020-09-03 | Futurewei Technologies, Inc. | Luma mapping with chroma scaling adaptation parameter set in video coding |
WO2020177703A1 (en) | 2019-03-04 | 2020-09-10 | Beijing Bytedance Network Technology Co., Ltd. | Signaling of filtering information in video processing |
AU2020235190B2 (en) | 2019-03-08 | 2023-06-01 | Beijing Bytedance Network Technology Co., Ltd. | Constraints on model-based reshaping in video processing |
CN113574880B (zh) | 2019-03-13 | 2023-04-07 | 北京字节跳动网络技术有限公司 | 关于子块变换模式的分割 |
CN117528068A (zh) | 2019-04-18 | 2024-02-06 | 北京字节跳动网络技术有限公司 | 视频编解码中的跨分量模式中的选择性使用 |
AU2020258477A1 (en) | 2019-04-19 | 2021-11-11 | Bytedance Inc. | Context coding for transform skip mode |
WO2020216176A1 (en) | 2019-04-20 | 2020-10-29 | Beijing Bytedance Network Technology Co., Ltd. | Signaling of chroma syntax elements in video coding |
TW202101987A (zh) * | 2019-04-26 | 2021-01-01 | 美商松下電器(美國)知識產權公司 | 編碼裝置、解碼裝置、編碼方法及解碼方法 |
US10904532B2 (en) | 2019-05-20 | 2021-01-26 | Samsung Display Co., Ltd. | Differential prefix coding for high throughput entropy coder in display compression |
US11218728B2 (en) * | 2019-06-04 | 2022-01-04 | Tencent America LLC | Method and apparatus for video coding |
KR20220017439A (ko) * | 2019-07-08 | 2022-02-11 | 엘지전자 주식회사 | 스케일링 리스트 파라미터 기반 비디오 또는 영상 코딩 |
WO2021032162A1 (en) | 2019-08-20 | 2021-02-25 | Beijing Bytedance Network Technology Co., Ltd. | Signaling for transform skip mode |
-
2020
- 2020-08-20 WO PCT/CN2020/110260 patent/WO2021032162A1/en active Application Filing
- 2020-08-20 CN CN202080059166.4A patent/CN114270817A/zh active Pending
- 2020-08-20 CN CN202080059009.3A patent/CN114270838B/zh active Active
- 2020-08-20 KR KR1020227002777A patent/KR20220045955A/ko not_active Application Discontinuation
- 2020-08-20 WO PCT/CN2020/110229 patent/WO2021032158A1/en unknown
- 2020-08-20 EP EP20855686.0A patent/EP4000258A4/en active Pending
- 2020-08-20 EP EP20854699.4A patent/EP4000265A4/en active Pending
- 2020-08-20 CN CN202311555521.9A patent/CN117336482A/zh active Pending
- 2020-08-20 JP JP2022511033A patent/JP7444970B2/ja active Active
- 2020-08-20 WO PCT/CN2020/110275 patent/WO2021032165A1/en unknown
- 2020-08-20 CN CN202080059117.0A patent/CN114342398A/zh active Pending
- 2020-08-20 KR KR1020227002779A patent/KR20220047759A/ko not_active Application Discontinuation
- 2020-08-20 JP JP2022511034A patent/JP7397172B2/ja active Active
-
2022
- 2022-02-18 US US17/675,880 patent/US11539970B2/en active Active
- 2022-02-18 US US17/675,796 patent/US11595671B2/en active Active
- 2022-02-18 US US17/675,843 patent/US11641478B2/en active Active
-
2023
- 2023-02-22 US US18/172,484 patent/US20230209072A1/en active Pending
- 2023-11-15 JP JP2023194599A patent/JP2024020419A/ja active Pending
Non-Patent Citations (2)
Title |
---|
BENJAMIN BROSS, JIANLE CHEN, AND SHAN LIU: "Versatile Video Coding (Draft 6)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-O2001 (version 14), JPN6023006497, 31 July 2019 (2019-07-31), ISSN: 0004996781 * |
OLENA CHUBACH, ET AL.: "AHG15: Cleanups for scaling matrices", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-O0267-v1, JPN6023006496, June 2019 (2019-06-01), pages 1 - 2, ISSN: 0004996782 * |
Also Published As
Publication number | Publication date |
---|---|
US20220174298A1 (en) | 2022-06-02 |
JP7444970B2 (ja) | 2024-03-06 |
EP4000265A4 (en) | 2022-10-26 |
CN114342398A (zh) | 2022-04-12 |
KR20220045955A (ko) | 2022-04-13 |
WO2021032162A1 (en) | 2021-02-25 |
JP7397172B2 (ja) | 2023-12-12 |
US11595671B2 (en) | 2023-02-28 |
US20230209072A1 (en) | 2023-06-29 |
CN114270838A (zh) | 2022-04-01 |
WO2021032158A1 (en) | 2021-02-25 |
CN114270838B (zh) | 2024-04-12 |
EP4000258A1 (en) | 2022-05-25 |
KR20220047759A (ko) | 2022-04-19 |
JP2024020419A (ja) | 2024-02-14 |
JP2022545452A (ja) | 2022-10-27 |
EP4000258A4 (en) | 2023-03-15 |
US11641478B2 (en) | 2023-05-02 |
WO2021032165A1 (en) | 2021-02-25 |
CN114270817A (zh) | 2022-04-01 |
US20220174299A1 (en) | 2022-06-02 |
CN117336482A (zh) | 2024-01-02 |
US11539970B2 (en) | 2022-12-27 |
EP4000265A1 (en) | 2022-05-25 |
US20220174280A1 (en) | 2022-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20210152476A (ko) | 코딩 된 비디오의 양자화된 잔차 차동 펄스 코드 변조 표현의 제약 | |
WO2020228717A1 (en) | Block dimension settings of transform skip mode | |
JP7256293B2 (ja) | 符号化映像における二次変換の使用 | |
WO2021083376A1 (en) | Derivation of linear parameter in cross-component video coding | |
JP7397172B2 (ja) | 位置に基づく係数のスケーリング | |
WO2021110018A1 (en) | Separable secondary transform processing of coded video | |
WO2020233664A1 (en) | Sub-block based use of transform skip mode | |
WO2020228716A1 (en) | Usage of transquant bypass mode for multiple color components | |
CN114930832A (zh) | 跨分量自适应滤波和子块编解码 | |
WO2022037701A1 (en) | Coefficient reordering in video coding | |
WO2020221213A1 (en) | Intra sub-block partitioning and multiple transform selection | |
JP7473680B2 (ja) | クロスコンポーネント予測のための利用制約 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220617 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220304 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220304 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230519 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231201 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7444970 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |