CN116886931A - 用于视频编解码的量化矩阵计算和表示的方法和装置 - Google Patents

用于视频编解码的量化矩阵计算和表示的方法和装置 Download PDF

Info

Publication number
CN116886931A
CN116886931A CN202310978864.XA CN202310978864A CN116886931A CN 116886931 A CN116886931 A CN 116886931A CN 202310978864 A CN202310978864 A CN 202310978864A CN 116886931 A CN116886931 A CN 116886931A
Authority
CN
China
Prior art keywords
matrix
scaling
scaling matrix
quantization
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310978864.XA
Other languages
English (en)
Inventor
赖贞延
庄子德
陈庆晔
徐志玮
黄毓文
欧莱娜·邱巴赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN116886931A publication Critical patent/CN116886931A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了用于视频编码的方法和装置。根据一种方法，仅具有第一颜色分量的当前块属于第一颜色格式的当前图片。针对当前块的第一颜色分量，在视频编码器侧用信号通知第一缩放矩阵，或者在视频解码器侧解析第一缩放矩阵。另一方面，针对当前块的第二颜色分量或第三颜色分量，禁止在视频编码器侧用信号通知任何第二缩放矩阵，或者禁止在视频解码器侧解析任何第二缩放矩阵。

Description

用于视频编解码的量化矩阵计算和表示的方法和装置
交叉引用
本发明是申请号为202080024075.7，发明名称为用于视频编解码的量化矩阵计算和表示的方法和装置的发明专利申请的分案申请。
本发明要求于2019年3月25日提交的序号为62/823,605的美国临时专利申请、于2020年1月13日提交的序号为62/960,552的美国临时专利申请以及于2020年1月15日提交的序号为62/961,589的美国临时专利申请的优先权。所述美国临时专利申请在此通过引用将其全文并入。
技术领域
本发明涉及用于视频编码的变换系数编码。尤其是，本发明公开了量化矩阵推导和表示。
背景技术
自我调整帧内/帧间视频编码已经广泛用于各种视频编码标准(诸如，MPEG-2、AVC(高级视频编码)和HEVC(高效视频编码))中。在自我调整帧内/帧间视频编码中，通过帧内/帧间预测器预测输入信号以生成预测残差。残差通常通过二维变换进行处理并被量化。然后对经量化的变换系数进行编码。高效视频编码(HEVC)标准是在ITU-T视频编码专家组(VCEG)和ISO/IEC运动图像专家组(MPEG)标准化组织(并且特别是与被称为视频编码联合协作小组(JCT-VC)的合作伙伴)的联合视频专案下开发的。在HEVC中，一个切片(slice)被划分成多个编码树单元(CTU)。在主设定档(profile)中，CTU的最小和最大大小由序列参数集(SPS)中的语法元素指定。所允许的CTU大小可以是8×8、16×16、32×32或64×64。对于各个切片，根据光栅扫描连续处理切片内的CTU。
CTU进一步被划分成多个编码单元(CU)，以适应各种本地特征。通过四叉树或四叉树(QT)划分，CTU可以被进一步划分成多个编码单元(CU)。QT划分将大小为4N×4N的块分割成4个大小相等的2N×2N子块。CTU可以是单个CU(即，不分割)，或者可以被分割成相等大小的四个较小单元，所述四个较小单元与编码树的节点相对应。如果单元是编码树的叶节点，则单元变成CU。否则，可以重复四叉树分割处理，直到节点的大小达到SPS(序列参数集)中指定的允许的最小CU大小为止。
根据HEVC，可以将各个CU划分成一个或更多个预测单元(PU)。与CU结合，PU用作共用预测资讯的基本代表块。在各个PU内部，应用相同的预测处理，并且基于PU将相关资讯发送到解码器。可以根据PU分割类型将CU分割成一个、两个或四个PU。HEVC定义了用于将CU分割成PU的八种形状，包括2N×2N、2N×N、N×2N、N×N、2N×nU、2N×nD、nL×2N和nR×2N划分类型。与CU不同，PU仅能根据HEVC分割一次。
在通过基于PU分割类型的预测处理来获得残差块后，可以根据类似于针对CU的编码树的另一四叉树结构将CU的预测残差划分成变换单元(TU)。TU是具有残差或变换系数以应用整数变换和量化的基本代表块。对于各个TU，应用具有与TU相同大小的一个整数变换以获得残差系数。这些系数在基于TU的量化之后被发送到解码器。
图1例示了示例性自我调整帧间/帧内视频编码系统，该系统并入了变换和量化以处理预测残差。对于帧间预测，运动估计(ME)/运动补偿(MC)112用于基于来自另一图片或多个图片的视频数据来提供预测数据。开关114选择帧内预测110或帧间预测数据，并且所选择的预测数据被供应至加法器116以形成预测误差(也称为残差)。预测误差然后由变换(T)118处理，随后由量化(Q)120处理。然后，经变换且经量化的残差由熵编码器122编码，以被包括在与压缩视频数据相对应的视频比特流中。然后，将与变换系数相关联的比特流与诸如运动、编码模式以及与图像区域相关联的其它资讯的边资讯(side information)打包在一起。边资讯也可以通过熵编码来压缩以减少所需的频宽。因此，如图1所示，与边资讯相关联的数据被提供给熵编码器122。当使用帧间预测模式时，也必须在编码器端重构一个参考图片或多个参考图片。因此，通过逆量化(IQ)124和逆变换(IT)126处理经变换且经量化的残差以恢复残差。然后在重构(REC)128处将残差加回到预测数据136以重构视频数据。经重构的视频数据可以被存储在参考图片缓冲器134中并用于其它帧的预测。
如图1所示，输入视频数据在编码系统中经历了一系列处理。由于一系列处理，所以来自REC 128的经重构的视频数据可能遭受各种损害。因此，在将经重构的视频数据存储在参考图片缓冲器134中之前，经常将环路滤波器130应用于经重构的视频数据，以提高视频品质。例如，在高效视频编码(HEVC)标准中已经使用了去块滤波器(DF)和样本自我调整偏移(SAO)。环路滤波器还可以包括ALF(自我调整环路滤波器)。可能必须将环路滤波器资讯并入比特流中，以使解码器可以正确恢复所需资讯。因此，环路滤波器资讯被提供给熵编码器122以并入比特流中。在图1中，在将经重构的样本存储在参考图片缓冲器134中之前，将环路滤波器130应用于经重构的视频。图1中的系统旨在例示典型视频编码器的示例性结构。它可以与高效视频编码(HEVC)系统或H.264相对应。
图2例示了用于图1中的编码器系统的对应视频解码器的系统框图。由于编码器还包含用于重构视频数据的本地解码器，因此除了熵解码器210之外，在编码器中已经使用了一些解码器部件。此外，解码器侧仅需要运动补偿220。开关146选择帧内预测或帧间预测，并且所选择的预测数据被供应给重构(REC)128以与所恢复的残差组合。除了对压缩残差执行熵解码之外，熵解码210还负责边资讯的熵解码，并将该边资讯提供给相应块。例如，将帧内模式资讯提供给帧内预测110，将帧间模式资讯提供给运动补偿220，将环路滤波器资讯提供给环路滤波器130，并将残差提供给逆量化124。残差由IQ 124、IT 126和随后的重构处理来处理，以重构视频数据。再一次地，来自REC 128的经重构的视频数据经历如图2所示的包括IQ 124和IT 126的一系列处理，并且经受编码伪影(coding artefact)。环路滤波器130进一步处理经重构的视频数据。
量化矩阵(QM)已经用于各种视频编码标准中。例如，量化矩阵用于图1中的量化120和图2中的逆量化124。基于块的混合视频编码方案(其暗示对残差信号进行变换编码)可以使用频率相关缩放(frequencydependent scaling)来控制量化失真跨变换单元(TU)中的不同频率的分布。为了实现跨空间频率在感知上均匀的量化，量化矩阵可以被设计为根据跨与变换系数相关联的各个频率通道的相关频率范围的感知灵敏度，对该各个频率通道进行加权。因此，与高频系数相比，将以更精细的量化步长对变换块中的低频系数进行量化。可以采用对应的量化矩阵来在解码器处对经去量化的变换系数进行逆加权。
量化矩阵已经成功地用于视频编码标准(诸如，H.264/AVC和H.265/HEVC(高效视频编码))中，这允许提高视频内容的主观品质。由于量化矩阵的有效性，所以量化矩阵已经被广泛用于众多视频编码产品中。
HEVC规范包括大小为4×4、8×8、16×16和32×32的四个整数逆变换矩阵。这些变换矩阵是大小相同的DCT-2矩阵的整数近似，旨在保留DCT(离散余弦变换)系数结构。指定了附加的4×4DST(离散正弦变换)矩阵，该附加的4×4DST矩阵被应用于帧内预测4×4块的残差。为了区别于DST，将四个DCT称为HEVC核心变换。
【发明内容】
根据一种方法，接收与仅具有第一颜色分量的当前块相关的输入数据，所述当前块属于第一颜色格式的当前图片，其中，所述输入数据与所述当前块在视频编码器侧的变换块相对应，并且所述输入数据与所述当前块在视频解码器侧的经解码经量化的变换块相对应，并且所述当前块对应于与所述第一颜色格式相关联的所述第一颜色分量。针对所述当前块的所述第一颜色分量，在所述视频编码器侧用信号通知第一缩放矩阵，或者在所述视频解码器侧解析所述第一缩放矩阵。另一方面，针对所述当前块中缺少的第二颜色分量或第三颜色分量，禁止在所述视频编码器侧用信号通知任何第二缩放矩阵，或者禁止在所述视频解码器侧解析任何第二缩放矩阵。根据所述第一缩放矩阵将量化处理应用于所述输入数据，以在所述视频编码器侧生成经编码经量化的变换块，或者根据所述第一缩放矩阵将逆量化处理应用于所述输入数据，以在所述视频解码器侧生成经解码的变换块。
在一个实施方式中，在比特流中用信号通知标志，以指示针对所述第二颜色分量或所述第三颜色分量，所述在所述视频编码器侧用信号通知任何第二缩放矩阵或者所述在所述视频解码器侧解析任何第二缩放矩阵是允许的(enabled)还是禁止的(disabled)。可以在所述比特流的自我调整参数集(APS)中用信号通知所述标志，其中，所述APS具有与缩放清单数据相对应的类型。
在另一实施方式中，当未在所述视频编码器侧用信号通知第二缩放矩阵或未在所述视频解码器侧解析第二缩放矩阵时，推断预定义的第二缩放矩阵。此外，根据语法元素scaling_list_copy_mode_flag和scaling_list_pred_id_delta来确定被推断的所述预定义的缩放矩阵。如果未接收到所述语法元素scaling_list_copy_mode_flag和所述scaling_list_pred_id_delta的值，则可以在所述视频解码器侧推断出语法元素scaling_list_copy_mode_flag和scaling_list_pred_id_delta的所述值。
在一个实施方式中，所述第一颜色格式是400颜色格式，并且所述第一颜色分量是亮度分量。在另一实施方式中，所述第二颜色分量或所述第三颜色分量包括色度分量。在另一实施方式中，所述第一缩放矩阵可以供400颜色格式的另一从属视频层参考。在又一实施方式中，通过与所述当前图片相关联的颜色格式索引来指示所述当前图片是否是所述400颜色格式。
附图说明
图1例示了视频编码器的示例性框图，其中，视频编码器并入了帧内/帧间预测、变换和量化处理。
图2例示了视频解码器的示例性框图，其中，视频解码器并入了帧内/帧间预测、逆变换和去量化处理。
图3例示了4×4和8×8基于共用的基本缩放矩阵的示例，所述基本缩放矩阵用于推导用于帧内编码模式和帧间编码模式中的亮度分量和色度分量的更大的缩放矩阵。
图4例示了通过使用复制进行上采样来从相同类型的基于共用的8×8量化矩阵推导用于大小为16×16和32×32的变换块的量化矩阵的示例。
图5例示了VVC中受支持的分割的示例，所述分割包括四叉分割、垂直二元分割、水准二元分割、垂直中心侧三元分割和水准中心侧三元分割。
图6例示了从基于共用的8×8量化矩阵推导矩形缩放矩阵的一个示例。
图7例示了从基于共用的8×8量化矩阵推导矩形缩放矩阵的另一示例。
图8例示了从基于共用的8×8量化矩阵推导矩形缩放矩阵的又一示例。
图9例示了从基于共用的8×8量化矩阵推导矩形缩放矩阵的又一示例。
图10例示了根据本发明实施方式的示例性编码系统使用缩放矩阵推导方法的流程图。
图11例示了根据本发明实施方式的示例性编码系统使用另一缩放矩阵推导方法的流程图。
具体实施方式
以下描述是执行本发明的最佳构想模式。进行该描述是出于例示本发明的一般原理的目的，并且不应被认为是限制性意义。本发明的范围最好通过参照所附权利要求书来确定。在本发明中，用于VVC中的视频编码的新的量化矩阵表示方法如下。
默认量化矩阵表示
量化矩阵正被评估以在新兴的新视频编码标准(称为VVC(通用视频编码))中采用，该新视频编码标准作为下一代视频编码标准和H.265/HEVC的后继标准。在本公开中，量化矩阵也称为缩放矩阵。
当启用频率相关缩放时，大小为4×4和8×8的量化矩阵具有如图3所示的预设值。如图3所示，4×4矩阵310用于帧内模式和帧间模式中的亮度分量和色度分量，8×8矩阵320用于帧内模式中的亮度分量和色度分量，并且8×8矩阵330用于帧间模式中的亮度分量和色度分量。
例如，对于不同大小和不同类型的变换块，支持以下20种量化矩阵：
·亮度：帧内4×4、帧间4×4、帧内8×8、帧间8×8、帧内16×16、帧间16×16、帧内32×32、帧间32×32
·Cb：帧内4×4、帧间4×4、帧内8×8、帧间8×8、帧内16×16、帧间16×16
·Cr：帧内4×4、帧间4×4、帧内8×8、帧间8×8、帧内16×16、帧间16×16
为了减少存储量化矩阵所需的记忆体，使用8×8矩阵来生成16×16量化矩阵和32×32量化矩阵。通过使用复制进行上采样来从相同类型的默认8×8量化矩阵获得用于大小为16×16和32×32的变换块的默认量化矩阵。该过程在图4中示出：图中的点填充块412指示将8×8量化矩阵410中的量化矩阵条目复制到16×16量化矩阵420中的2×2区域422中以及复制到32×32量化矩阵430中的4×4区域432中。
自我调整多核心变换
与HEVC相比，正在开发的新标准VVC(通用视频编码器)支援更多划分形状。提出了所谓的多类型树(MTT)划分，其中，除了HEVC中支援的四叉树(QT)结构之外，还添加了二元分割和三元分割。图5示出了VVC中所有受支持的分割，所述分割包括四叉分割510、垂直二元分割520、水准二元分割530、垂直中心侧三元分割540和水准中心侧三元分割550。
在MTT中，树结构分别针对I切片中的亮度和色度进行编码，并同时应用于P切片和B切片中的亮度和色度二者(对色度的某些最小大小约束除外)。这意味着在I切片中，亮度CTB具有其MTT结构化的块划分，并且两个色度CTB可以具有另一MTT结构化的块划分。此外，为了提高较高解析度视频的编码增益，可以将三元(TT)分割和二元(BT)分割递回地应用于128×128亮度/64×64色度编码树块(CTB)。此外，TU的最大支持大小增加到64×64亮度/32×32色度。
在VTM(VVC测试模型)中，自我调整多重变换(AMT)方案用于帧间编码块和帧内编码块两者的残差编码。除HEVC中的当前变换之外，还将从DCT/DST系列中选择的多个变换应用于残差块。最近，已经引入了DST-7、DCT-8和DST-1的变换矩阵。表1示出了所选DST/DCT的基函数。
表1：用于N点输入的DCT/DST的变换基函数
AMT应用于宽度和高度均小于或等于64的CU，并且是否应用AMT由CU级标志控制。当CU级标志等于0时，在CU中应用DCT-2以对残差进行编码。对于启用AMT的CU内的亮度编码块，用信号通知两个附加标志以标识要使用的水准变换和垂直变换。与HEVC中一样，在VTM中，可以利用变换跳过模式来对块的残差进行编码。为避免语法编码的冗余，当CU级AMT标志不等于零时，不用信号通知变换跳过标志。
对于帧内残差编码，由于不同帧内预测模式的不同残差统计，因此使用模式相关的变换候选选择处理。表2示出了三个已定义的变换子集的一个实施方式。可以基于帧内预测模式来选择变换子集。
表2：三个预定义变换候选集
利用子集概念，首先使用CU级AMT标志等于1的CU的帧内预测模式基于表2来标识变换子集。此后，对于水准变换和垂直变换中的每一者，可以选择已标识的变换子集中的两个变换候选中的一个变换候选并利用标志显式地用信号通知。
在帧间预测残差的情况下，只有一个变换集(该变换集由DST-7和DCT-8组成)可以用于所有帧间模式以及水准变换和垂直变换两者。
此外，已知DCT-8与DST-7具有以下关系：
式(1)中的和/>是用于DCT-8和DST-7的逆变换矩阵，并且i和j分别是行索引和列索引。在式(1)中，JN是沿其反对角线由1表示的矩阵，并且矩阵DN在其对角线上在1与-1之间交替。因此，通过直接在DST7计算之前和之后进行符号改变和重新排序，可以从DST7推导DCT8。因此，在该实现中，DST7重复用于DCT8。符号改变和混排(shuffling)不会给DST7增加任何附加开销，使得DCT8的计算复杂度与DST7的计算复杂度相同。这避免了在DCT8和DST-1中使用任何附加记忆体。
由于VVC支援更多的块大小和AMT，因此VTM需要更高效的量化矩阵表示方法。
根据本发明，首先定义大小为M×N的默认量化矩阵并与指定的系数一起存储在M×N变换单元的各个位置处，其中，M和N可以是介于2到64之间的任何偶数。在一个实施方式中，可以存在三个量化/缩放矩阵：一个量化/缩放矩阵大小为M＝N＝4(用于大小为4×4的残差块、帧内预测和帧间预测两者)，并且两个量化/缩放矩阵大小为M＝N＝8(一个量化/缩放矩阵用于帧内预测，并且另一量化/缩放矩阵用于帧间预测)。作为示例，图3中的对应矩阵(310、320和330)可以用作默认量化矩阵。在另一实施方式中，仅可以定义用于帧内预测的默认矩阵(例如，对于大小为4×4和8×8)，同时可以从用于帧内预测的对应矩阵获得用于帧间预测的量化矩阵。
在另一实施方式中，定义并存储预设M×N量化矩阵，所述默认M×N量化矩阵用于推导用于2p×2k变换单元的预设2p×2k量化矩阵，其中，p和k可以取介于1到6之间的任何值。例如，k＝p＝4、k＝p＝5或k＝p＝6，这将给出大小16×16、32×32和64×64。
在定义并存储预设量化矩阵之后，一种方法(例如，系数映射和插值(称为系数映射和插值步骤)包括使用重复和基于线性插值的上采样的简单零阶插值方法)从默认M×N量化矩阵生成用于2p×2k(例如，4×4、4×8、8×4、8×8、4×16、16×4、4×32、32×4、8×16、16×8、16×16、8×32、32×8、16×32、32×16、32×32、16×64、64×16、32×64、64×32、64×64)变换块的默认量化矩阵。
以下流程图示出了用于定义块大小与2p×2k相对应的矩阵的三个可能实施方式。在一个实施方式中，例如在图6中，对于步骤1(610)，首先，通过应用系数映射和插值步骤，从预设矩阵(例如，8×8)生成多个方阵(例如，16×16、32×32、64×64)。在步骤2(620)中，通过分别对行和列中的每第M1/2p和第N1/2k个元素进行子采样来从最接近的方形量化矩阵生成矩形矩阵。在步骤615确定宽度为M1且高度为N1的最小大小的方阵，该宽度和高度均大于或等于目标矩形矩阵的对应宽度和高度。例如，M1和N1可以等于M。因此，最接近的方形量化矩阵是M×M。在其它示例中，M1可以不等于N1，如果在M1和N1当中最小大小是M，则最接近的方阵是M×M。在图7中，对于步骤1(710)，通过应用系数映射和插值步骤来从预设矩阵(例如，8×8)生成方阵(例如，16×16、32×32、64×64)。在步骤2(720)中，通过应用系数映射和插值步骤以分别对行或列中的元素上采样2p/M和2k/N次来从最接近的方形量化矩阵生成矩形矩阵。在步骤715确定宽度为M1或高度为N1的最小大小的方阵，该宽度或高度大于或等于目标矩形矩阵的对应宽度或高度。在图8中，对于步骤1(810)，通过应用系数映射和插值步骤，以2p/M或2k/N的因数对默认矩阵(例如，8×8)的行或列进行上采样。在步骤2(820)中，通过应用系数映射和插值步骤，以2k/N或2p/M的因数对来自步骤1 810的矩阵的列或行进行上采样。
在又一实施方式中，对于低频系数，可以以小间隔对M×N矩阵进行上采样，并且对于高频系数，以大间隔对M×N矩阵进行上采样。
图9示出了一个示例。在图9中，对于步骤1(910)，通过应用系数映射和插值步骤，以t<2p/M的因数(对于给定的M1<M)或以r<2k/N的因数(对于给定的M2<M)对基本缩放矩阵(例如，8×8)的行或列进行上采样。在步骤2(920)中，通过应用系数映射和插值步骤，以r1>2k/N的因数(对于给定的M2>M)或以t1>2p/M的因数(对于给定的M1>M)对来自步骤1 910的矩阵的列或行进行上采样。在步骤915中确定t和t1以及r和r1的值，其中，这些值必须使得上采样仍将导致大小为2p/M×2k/N的矩阵。
作为一个示例，用于帧内亮度、帧内Cb、帧内Cr的8×8量化矩阵(基本缩放矩阵)可以用于获得用于16×16变换单元的16×16量化矩阵帧间亮度、帧间Cb、帧间Cr。为了获得第一量化矩阵，在水准方向和垂直方向上应用因数为2的上采样。这将导致以下16×16量化矩阵：
作为另一示例，用于帧内亮度、帧内Cb、帧内Cr的8×8量化矩阵(基本缩放矩阵)可以用于获得用于8×16变换块的8×16量化矩阵。为了获得第二量化矩阵，上采样将仅应用于列。这将导致以下8×16量化矩阵：
在一个实施方式中，根据本发明的方法可以使用对应系数的线性组合、矩阵乘法、线性/非线性回归等来从预设M×N量化矩阵生成用于通过应用AMT而获得的不同变换块的量化矩阵。
在另一实施方式中，根据本发明的方法可以使用对应系数的线性组合、矩阵乘法、线性/非线性回归等来从预设M×N量化矩阵生成用于帧内变换块的量化矩阵。
在又一实施方式中，根据本发明的方法可以使用如下方法：用信号通知用于通过应用AMT而获得的不同变换块的默认量化矩阵。
定制量化矩阵表示
在一个实施方式中，定义在各个位置中具有指定系数的用户定义的M×N量化矩阵并利用无损熵编码将其发送至M×N变换单元。M和N可以是介于2到64之间的任何偶数。
在一个实施方式中，未针对(例如，YUV 4:4:4或YCbCr 4:4:4格式)或420格式的序列的某一颜色分量定义(或发送)大小为M×N的用户定义的量化矩阵。在一个实施方式中，未针对444或420颜色格式的序列的色度分量定义2×2用户定义的缩放矩阵。另外，针对400颜色格式(即，仅一个颜色分量)，未定义或未用信号通知2×2使用者定义的缩放矩阵。
在另一实施方式中，定义并发送大小为M×N(其中，M和N是介于2到64之间的任何偶数)的用户定义的大小较小的量化矩阵，所述量化矩阵用于推导用于2p×2k变换单元的2p×2k量化矩阵，其中，p和k可以取介于1到6之间的任何值。
在另一实施方式中，公开了如下方法：使用系数映射和插值(该系数映射和插值包括通过图元重复和基于线性插值的上采样的简单零阶插值)在不发送任何比特的情况下从M×N量化矩阵生成用于2p×2k(p！＝k)(例如，4×8、8×4、4×16、16×4、4×32、32×4、8×16、16×8、8×32、32×8、16×32、32×16、16×64、64×16、32×64、64×32)变换块的缩放矩阵。
在该实施方式中，例如，在解码器侧，用信号通知并接收多个大小的基本缩放矩阵。选择基本缩放矩阵中的一个基本缩放矩阵(至少不大于变换块)。为了生成用于M×N变换块的目标缩放矩阵，首先，可以将上述上采样方法应用于基本缩放矩阵以生成M×M矩阵。然后，通过将M×M缩放矩阵子采样到作为目标缩放矩阵的M×N或N×M缩放矩阵来从M×M缩放矩阵推导目标缩放矩阵。例如，如果接收到的变换块大小为32×8，则选择8×8基本缩放矩阵。然后，通过使用图元重复或线性插值，从8×8基本缩放矩阵生成32×32缩放矩阵。然后，将子采样应用于32×32缩放矩阵，以生成32×8缩放矩阵。子采样的方法可以变化，例如，一种子采样方法可以包括分别取M×M缩放矩阵中的列和行中的每第M/2p和第M/2k个系数，其中，M等于2p，并且N等于2k。该实施方式与在图6中将M1和N1设置为M相对应。
在又一实施方式中，公开了如下方法：使用对应系数的线性组合、矩阵乘法、线性/非线性回归等在不发送任何附加比特的情况下从预设M×N量化矩阵生成用于通过应用AMT而获得的不同变换块的用户定义的量化矩阵。
在又一实施方式中，公开了如下方法：使用对应系数的线性组合、矩阵乘法、线性/非线性回归等在不发送任何附加比特的情况下从用于帧内变换块的默认M×N量化矩阵生成用于所获得的帧间变换块的用户定义的量化矩阵。
用于生成较小大小的M×N量化矩阵的方法
公开了用于从较大的2p×2k矩阵生成用于M×N变换单元的较小大小的M×N量化矩阵的方法，其中，M和N可以是介于2到64之间的任何偶数，其中，p和k可以取介于1到6之间的任何值。
在一个实施方式中，该方法总是保持DC系数并且以固定间隔对M×N矩阵进行子采样。
在另一实施方式中，该方法总是保持DC系数，并且在低频系数中以小间隔对M×N矩阵进行子采样，并且在高频系数中以大间隔对M×N矩阵进行子采样。
在又一实施方式中，该方法总是保持DC系数以及M×N矩阵的低频部分，该低频部分具有与目标较小大小矩阵相同的大小。
用于推导较大大小的2p×2k量化矩阵的方法
公开了用于推导较大大小的2p×2k量化矩阵的方法，其中，p和k可以取介于1到6之间的任何值。2p×2k量化矩阵与通过上文针对较小大小的M×N量化矩阵描述的不同子采样方法生成的较小大小的M×N量化矩阵相对应，其中，M和N可以是介于2到64之间的任何偶数。
在一个实施方式中，上采样方法使用固定间隔插值和/或重复。在p！＝k(即，非方形变换)的情况下，水准方向和垂直方向上的插值系数的数量分别等于2p/M和2k/N，其中，(2p和M)以及(2k和N)分别与目标矩阵和用信号通知的矩阵中的行数和列数相对应。
在另一实施方式中，对于低频系数，上采样方法使用较小的间隔插值和/或重复，并且对于高频系数，上采样方法使用较大的间隔插值和/或重复。
在又一实施方式中，较小大小的M×N矩阵(M和N是介于2到64之间的任何偶数)被用作较大大小的2p×2k(p和k是介于1到6之间的任何值)量化矩阵的低频部分，并且基于固定模式生成高频系数。在一个实施方式中，可以从低频部分的末端开始，并随着频率的增加以固定的数增加系数值。
用于推导与M×N变换单元相对应的M×N量化矩阵的方法
对于从用于帧内预测的对应矩阵定义用于帧间预测的矩阵的情况，公开了用于推导与M×N变换单元相对应的M×N量化矩阵的方法(M和N是介于2到64之间的任何数)。
在一个实施方式中，可以根据变换单元的大小来获得用于帧间预测变换块的不同量化矩阵。换句话说，通过将诸如对应系数的线性组合、矩阵乘法、线性/非线性回归等方法应用于用于帧内块的矩阵的对应元素，来从用于帧内预测的对应量化矩阵定义用于帧间预测的所有矩阵。
在另一实施方式中，通过将诸如对应系数的线性组合、矩阵乘法、线性/非线性回归等方法应用于用于帧内块的矩阵的对应元素，来从用于帧内预测的对应量化矩阵获得用于帧间预测变换块的仅特定量化矩阵。通过应用上文公开的默认量化矩阵表示，可以从用于帧间变换块的对应方形量化矩阵获得用于帧间变换块的所有矩形矩阵。
用于推导与用于AMT的M×N变换单元相对应的M×N量化矩阵的方法
对于将AMT应用于残差信号(例如，根据不同预测模式)的情况，提出了用于推导与M×N变换单元(M和N是介于2到64之间的任何偶数)相对应的M×N量化矩阵的方法。在这种情况下，可以根据变换类型来应用不同量化/缩放矩阵，使得与变换之后的能量压缩相(energycompaction)匹配。
在一个实施方式中，可以独立于应用于残差块的AMT中的变换类型，根据预测模式(即，帧间预测或帧内预测)来定义不同缩放矩阵。
在另一实施方式中，对于小于K的块大小，可以获得分离的矩阵，其中K可以取从4到32的任何值。对于所有剩余变换块大小，独立于应用于残差块的变换，使用相同的量化矩阵。
在又一实施方式中，对于亮度分量和色度分量，独立于应用于残差块的AMT中的变换类型，获得不同缩放矩阵。
在另一实施方式中，AMT中允许的变换是DST-1、DST-7和DCT-8，并且可以针对各个变换(包括DCT-2)定义不同缩放/量化矩阵。缩放/量化矩阵可以在水准和垂直变换步骤之后应用。
在另一实施方式中，所允许的变换包括DST-1、DST-7和DCT-8，并且可以基于这些变换之间的关系对于DCT-2、DST-1、DST-7和DCT-8变换的所有组合计算不同缩放矩阵。
在又一实施方式中，对于变换(例如，DCT-2、DST-1、DST-7和DCT-8)的基本集仅定义了几个缩放矩阵，并且可以通过线性组合、矩阵乘法、置换、符号改变、翻转或基本缩放矩阵的这些变换的任何组合来定义用于基本变换的组合结果的缩放矩阵。
在另一实施方式中，可以针对基本变换的子集(例如，DCT-2或者DCT-2和DST-7)定义并用信号通知缩放矩阵，并且可以通过线性组合、矩阵乘法、置换、符号改变、翻转或基本缩放矩阵的这些变换的任何组合来定义用于剩余变换(例如，用于DST-7、DST-1和DCT-8，或者用于DST-1和DCT-8)的缩放矩阵。在一个示例中，推导处理取决于所定义的变换类型与目标变换类型之间的关系。在另一示例中，推导处理取决于所定义的变换系数与目标变换系数之间的关系。
可以使用上述缩放矩阵推导方法的任何组合。
预设量化矩阵选择的选项
公开了如下方案：为使用者提供选项以在预设量化矩阵或用户定义的量化矩阵之间进行决策，或在不应用任何量化的情况下使用残差编码(例如，PCM变换/量化旁路模式)。
缩放矩阵生成时应用的归零处理
在一个实施方式中，如果应用归零，则使用M×N缩放矩阵集来量化大小大于M×N的TU。换句话说，将行编号大于P的所有缩放矩阵条目设置为零，并将列编号大于Q的所有缩放矩阵条目设置为零。P和Q均可以小于CU宽度和CU高度、仅P小于CU宽度、或者仅Q小于CU高度。例如，如果将归零应用于行大于32并且列大于32的CU，则使用32×32缩放矩阵集来量化64×64TU。在另一示例中，如果将归零应用于列大于32的CU，则使用32×4缩放矩阵集来量化64×4TU。在另一实施方式中，使用M×N缩放矩阵集来量化M×N TU。缩放矩阵中第P行和第Q列之外的值分配为零。P和Q均可以小于M和N、仅P小于M、或者仅Q小于N。例如，利用64×64缩放矩阵对64×64TU进行量化。然而，32×32之外的范围中的值将设置为零。换句话说，在量化处理时，32×32之外的范围将被归零。在另一示例中，利用64×4缩放矩阵对64×4TU进行量化。然而，在缩放矩阵中，左上32×4之外的范围中的值被归零。换句话说，在量化处理时，32×4之外的范围将被归零。
在另一实施方式中，公开了如下方法：使用系数上采样、系数映射和插值(例如，通过图元重复和基于线性插值的上采样的简单零阶插值)来在不发送任何比特的情况下从较小的M×N(例如，4×4、8×8)量化矩阵生成用于p！＝k的2p×2k(例如，4×8、8×4、4×16、16×4、4×32、32×4、8×16、16×8、8×32、32×8、16×32、32×16、16×64、64×16、32×64、64×32)和p＝k的2p×2k(例如，16×16、32×32、64×64)变换块的量化矩阵。当应用归零时，需要对较少数量的较小M×N量化矩阵进行解码。例如，64×64TU需要64×64缩放矩阵进行量化。可以通过上采样从8×8量化矩阵生成64×64缩放矩阵。当将归零应用于64×64TU时，只需用信号通知4×4量化矩阵即可生成64×64缩放矩阵，因为64×64缩放矩阵中的32×32之外的范围将始终为零。因此，对于64×64TU缩放矩阵，仅需要用信号通知4×4矩阵。在一个示例中，仅64×64TU缩放矩阵是从4×4矩阵推导的。对于64×N或M×64TU缩放矩阵，所述64×N或M×64TU缩放矩阵是从32×N或M×32TU缩放矩阵上采样的。
在又一实施方式中，在对较小的M×N量化矩阵进行解码后，当对第P行和第Q列应用归零时，将M×N量化矩阵上采样至P×Q。例如，64×64TU需要64×64缩放矩阵进行量化。通过上采样从8×8量化矩阵生成64×64缩放矩阵。当对64×64TU的第32行和第32列应用归零时，8×8量化矩阵被上采样至32×32，并且第32行或第32列之外的范围将被零填充。因此，对于用于32×32TU和64×64TU两者的缩放矩阵，用信号通知8×8矩阵。对于64×64TU缩放矩阵，使用8×8矩阵并将其上采样至64×64矩阵。左上32×32之外的缩放矩阵值全部归零。在一个示例中，仅64×64缩放矩阵是从8×8矩阵推导的。对于64×N或M×64缩放矩阵，64×64缩放矩阵是从32×N或M×32缩放矩阵上采样的。
用于多重变换集(MTS)的默认量化矩阵
当应用多重变换集(MTS)时，还应用针对左上16×16区域之外的变换系数的系数归零。如果共用用于默认变换(例如，DCT-2变换)的缩放矩阵和MTS，则可以应用相同的缩放矩阵信令(signaling)和上采样处理。然而，如果用于默认变换的缩放矩阵和MTS可以不同，则应用不同缩放矩阵信令或不同上采样处理。在一个示例中，对于32×32TU，如果应用MTS，则左上16×16区域之外的系数被归零。因此，具有MTS的32×32TU仅需要16×16缩放矩阵。在一个实施方式中，用信号通知M×N矩阵(例如，8×8矩阵)。M×N的大小可以与32×32预设变换TU的用信号通知的矩阵大小相同。该M×N矩阵被上采样成用于具有MTS的该32×32TU的16×16矩阵。在另一实施方式中，用信号通知M×N矩阵(例如，4×4矩阵)。M×N的大小可以小于32×32预设变换TU的用信号通知的矩阵大小。该M×N矩阵被上采样成用于具有MTS的该32×32TU的16×16矩阵。
在另一实施方式中，可以跳过用信号通知的矩阵(例如，8×8矩阵)中的右下区域(例如，4×4)，以在一些情况下用信号通知何时应用归零。例如，对于32×32TU，如果应用MTS，则左上16×16区域之外的系数被归零。因此，从不使用基本缩放矩阵右下4×4区域中的元素，使得无需在比特流中用信号通知所述元素。在另一实施方式中，用信号通知M×N矩阵(例如，4×4矩阵)。M×N的大小可以小于用于32×32预设变换TU的用信号通知的矩阵大小。该M×N矩阵被上采样成用于具有MTS的该32×32TU的16×16矩阵。
缩放矩阵生成的变型例
在另一实施方式中，即使当应用系数归零时，仍然生成大小与TU相同的基本缩放矩阵。例如，对于64×64TU，即使应用系数归零，也只有左上32×32个系数有意义，仍然生成64×64基本缩放矩阵。该64×64基本缩放矩阵可以用于生成M×64或64×N的缩放矩阵。在一个示例中，在所生成的缩放矩阵中，归零系数带的条目值可以为零。
在另一示例中，对于M大于N的M×N或N×M缩放矩阵，其是从M×M矩阵推导的并且下采样至M×N或N×M矩阵。在另一示例中，对于M大于N的M×N或N×M缩放矩阵，其是从N×N矩阵推导的并且上采样至M×N或N×M矩阵。
在一个实施方式中，根据32×32TU的缩放矩阵对64×64、64×N、M×64TU的缩放矩阵进行上采样和下采样。64×64缩放矩阵不需要语法。例如，用户定义的缩放矩阵仅包含4×4、8×8、16×16和32×32。
在另一实施方式中，当应用系数归零时，不用信号通知基本缩放矩阵中的与归零区域相对应的元素。例如，对于应用了系数归零的64×64TU，仅左上32×32个系数有意义。然后，仅用信号通知基本缩放矩阵中的左上4×4个元素。在另一示例中，支持矩形缩放矩阵(例如，64×32、16×64等)。在这种情况下，从不使用基本缩放矩阵的右下4×4区域中的元素，并且从不需要用信号通知这些元素的原始值，或者可以在比特流中将右下4×4区域中的这些元素设置为零。在一个实施方式中，上文提到的归零过程被应用于444或420格式的序列的某一颜色分量的信令量化矩阵。在一个实施方式中，将上文提到的归零过程应用于信令8×8缩放矩阵，该信令8×8缩放矩阵用于定义某一颜色分量的TB的M×N(例如，64×64、64×32、64×16、64×N，N×64等)缩放矩阵，其中，高频部分被归零。
在一个实施方式中，对于定义的M×N缩放矩阵，将具有归零的相同信令方法应用于如下缩放矩阵，该缩放矩阵用于444或420颜色格式的序列的色度分量。换句话说，对于亮度，仅用信号通知三个4×4矩阵(即，左上、右上和左下)，并且对于用于定义分别具有归零的对应M×N亮度和色度缩放矩阵的每个8×8色度缩放矩阵，仅用信号通知三个4×4矩阵(即，左上、右上和左下)。在另一实施方式中，如果使用400颜色格式(即，仅一个颜色分量)，则禁用用于色度分量(或第二颜色分量/第三颜色分量)的缩放矩阵信令。
在一个实施方式中，帧内块复制模式使用在帧间模式中使用的缩放矩阵。
在另一实施方式中，帧内块复制模式使用在帧内模式中使用的缩放矩阵。
在另一实施方式中，帧内块复制模式具有另一缩放矩阵集，该缩放矩阵集与在帧间模式和帧内模式中使用的缩放矩阵集不同。
量化矩阵信令
与缩放矩阵相关的资讯可以在序列参数集(SPS)中用信号通知，并在图片参数集(PPS)中被进一步更新。可以通过使用SPS中的语法元素scaling_list_enabled_flag来启用频率相关缩放。当启用该标志时，SPS和PPS中的附加标志控制使用预设量化矩阵还是使用非默认量化矩阵。
也可以在序列参数集(SPS)或图片参数集(PPS)的比特流中可选地发送非默认量化矩阵。
在JVET-P2001(J.Bross等人，“Versatile Video Coding(Draft 7)”，ITU-T SG16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET),第16次会议:Geneva,CH,1–11Oct.2019,文件:JVET-P2001)中，与量化矩阵相关的语法如下表3所示。
表3.缩放清单数据语法
/>
如表4所示，一维缩放矩阵ID用于如下指示用于编码变换块的对应缩放矩阵。
表4.一维缩放矩阵ID
用于彩色视频数据的量化矩阵信令
为了提高色度分量的编码效率，如果当前色度格式是单色的，则本发明中的信令方法建议跳过用于VVC中的视频编码的色度量化矩阵信令。在一个实施方式中，在APS类型(例如，aps_type)等于缩放列表(例如，SCALING_LIST)的各个APS中用信号通知语法。如下表所指定的，语法(例如，aps_chroma_format_idc)指定相对于亮度采样的色度采样。如表5所示，语法表中包括aps_chroma_format_idc。表6示出了与aps_chroma_format_idc相关联的对应色度格式索引(即，chroma_format_idc)。比特流一致性要求aps_chroma_format_idc的值应与如表6所示的chroma_format_idc相同。
表5.建议的缩放清单数据语法
/>
/>
表6.chroma_format_idc的映射
chroma_forinat_idc separate_colour_plane_flag 色度格式 子宽度C 子高度C
0 0 单色 1 1
1 0 4:2:0 2 2
2 0 4:2:2 2 1
3 0 4:4:4 1 1
3 1 4:4:4 1 1
在一个实施方式中，如果当前色度格式是单色，则对于信令来说，可以跳过用于色度分量的所有缩放矩阵。
在一个实施方式中，如果aps_chromaformat_idc等于0，则仅可以用信号通知ID满足以下条件的缩放矩阵：
ScalingMatrixID％3＝＝2||ScalingMatrixID＝＝27。
在另一实施方式中，上式可以重写为：
ScalingMatrixID％3＝＝2||ScalingMatrixID＞25。
在又一实施方式中，该式可以是：
ScalingMatrixID％3＝＝2||ScalingMatrixID＞＝26。
在上式中，ScalingMatrixID与表4中定义的一维缩放矩阵ID相对应。在一个实施方式中，aps_chroma_format_idc等于0的缩放矩阵APS仅可以供不包括色度分量(例如，aps_chroma_format_idc＝＝0或chroma_format_idc＝＝0)的其它从属视频层参考。
在一个实施方式中，aps_chroma_format_idc等于0的缩放矩阵APS无法供具有色度分量(例如，chroma_format_idc！＝0)的其它视频层参考。
在一个实施方式中，包括色度缩放列表的层的缩放矩阵APS无法供不具有色度分量(例如，chroma_format_idc＝＝0)的其它视频层参考。
在一个实施方式中，如果aps_chroma_format_idc或APS不包括色度缩放列表，则其无法供具有色度分量(例如，chroma_format_idc！＝0)的其它视频层参考。
在一个实施方式中，如果APS的aps_chroma_format_idc小于或等于从属视频层的chroma_format_idc，则缩放矩阵APS可以供其它从属视频层参考。例如，如果APS的aps_chroma_format_idc等于0，则从属视频层的chroma_format_idc可以是任何值。在另一示例中，如果APS的aps_chroma_format_idc等于1，则从属层的chroma_format_idc可以是1、2或3。
在一个实施方式中，当未用信号通知用于色度的缩放矩阵时，推断缩放矩阵的预定值，这等同于禁用用户定义的缩放矩阵的情况。在另一实施方式中，通过推断语法元素scaling_list_copy_mode_flag和scaling_list_pred_id_delta的值来实现推断预定义值。
在一个实施方式中，如表7所示，在aps_type等于SCALING_LIST的各个APS中用信号通知语法aps_chroma_param_present_flag，以指示是否用信号通知用于色度的缩放矩阵，如下表所示。aps_chroma_param_present_flag等于1指定APS中存在用于色度的缩放矩阵。aps_chroma_param_present_flag等于0指定APS中不存在用于色度的缩放矩阵。如果chroma_format_idc等于0，则比特流一致性要求aps_chroma_param_present_flag的值应等于0。
表7.建议的缩放清单数据语法
/>
上述实施方式中的“if条件：(aps_chroma_param_present_flag||(id％3＝＝2||id＝＝27))”可以替换为：
(aps_chroma_param_present_flag||(id％3＝＝2||id>25))或
(aps_chroma_param_present_flag||(id％3＝＝2||id>＝26))。
在一个实施方式中，aps_chroma_param_present_flag等于0的缩放矩阵APS仅可以供不包括色度分量(例如，aps_chroma_param_present_flag＝＝0或chroma_format_idc＝＝0)的其它从属视频层参考。
在一个实施方式中，aps_chroma_param_present_flag等于0的缩放矩阵APS无法供具有色度分量(例如，chroma_format_idc！＝0)的其它视频层参考。
在一个实施方式中，以上方法也可以应用于aps_type等于LMCS、SCALING_LIST和ALF的APS。
在另一实施方式中，帧内块复制模式中使用的缩放矩阵中的一些缩放矩阵与帧间模式中使用的缩放矩阵相同，并且其它缩放矩阵与在帧内模式中使用的缩放矩阵相同。选择可以是隐式选择(例如，取决于大小、量化参数、图块组类型)，或者可以是显式选择(例如，在序列级、图片级、图块组级、图块级或块级用信号通知选择)。
可以以编码器和/或解码器的各种硬体实现、软体实现或其组合来实现上文提出的方法中的任何方法。例如，本发明的实施方式可以是集成到视频压缩晶片中的一个或更多个电路或集成到视频压缩软体中以执行本文所述处理的程式码。例如，所提出的方法中的任何方法可以实现为耦接至编码器的量化模组和逆量化模组的电路，并且可以实现为耦接至解码器的逆量化模组的电路。在一个实施方式中，所提出的方法中的任何方法可以在编码器的量化模组和逆量化模组中实现，并且可以在解码器的逆量化模组中实现。
语法设计
在本发明中，公开了用于本发明的信令的语法集，其中该语法可以在SPS(序列参数集RBSP语法)、PPS(图片参数集RBSP语法)、切片、图块、CTU和CU报头中用信令通知，以将量化矩阵用信号通知给解码器。
在一个实施方式中，在SPS中使用序列级“seq_quant_matrix_present_flag”来用信号通知整个序列是否将使用量化矩阵。在一个实施方式中，如果“seq_quant_matrix_present_flag”为真，则针对各个变换大小和各个通道(Y、U、V)检查另一语法“seq_quant_matrix_present_idx”，以确定指定的变换大小和各个通道是否将使用量化矩阵。在一个实施方式中，如果“seq_quant_matrix_present_idx”为真，则检查另一语法“use_default_seq_quant_matrix”以确定是否将使用默认量化矩阵。在一个实施方式中，如果用信号通知“use_default_seq_quant_matrix”，则将使用默认量化矩阵。在这种情况下，从记忆体中读取默认量化矩阵，并且将从默认量化矩阵隐式地生成其余方形量化矩阵、矩形量化矩阵、较大的量化矩阵和针对所有AMT情况的量化矩阵。在一个实施方式中，如果“use_default_seq_quant_matrix”为假，则通过诸如基于预测的熵编码的编码方法来显式地生成序列级量化矩阵。
在另一实施方式中，在PPS中使用图片级语法“pic_quant_matrix_present_flag”以用信号通知当前图片是否将使用量化矩阵。然后可以在PPS级、切片级、图块级、CTU级或CU级中添加以下语法。在一个实施方式中，如果“pic_quant_matrix_present_flag”为真，则针对各个预测模式、变换、变换大小和各个通道(Y、U、V)检查另一语法“pic_quant_matrix_present_idx”，以确定指定的预测模式、变换、变换大小和各个通道是否将使用量化矩阵。在一个实施方式中，如果“pic_quant_matrix_present_idx”为真，则检查另一语法“use_seq_quant_matrix_flag”以确定是否将使用序列级量化矩阵。在一个实施方式中，如果“pic_quant_matrix_present_idx”不为真，则针对某些预测模式和小的变换大小，通过诸如基于预测的熵编码的编码方法显式地生成量化矩阵。在一个实施方式中，针对矩形和较大的变换大小，检查语法“use_implicit_quant_matrix”。如果为真，则通过诸如内容中的建议方法的方法隐式地生成量化矩阵。否则，通过诸如基于预测的熵编码的编码方法显式地生成量化矩阵。
视频编码器必须遵循上述语法设计以生成合法的比特流，并且视频解码器仅在解析处理符合上述语法设计的情况下才能够正确地对比特流进行解码。当在比特流中跳过语法时，编码器和解码器应将语法值设置为推断值，以确保编码结果和解码结果匹配。
图10例示了根据本发明实施方式的示例性编解码系统使用缩放矩阵推导的流程图。流程图中所示的步骤可以被实现为能够在编码器侧的一个或更多个处理器(例如，一个或更多个CPU)上执行的程式码。流程图中所示的步骤也可以基于硬体(诸如，被布置成执行流程图中的步骤的一个或更多个电子装置或处理器)来实现。根据该方法，在步骤1010中接收与当前图片中的当前块相关的输入数据，其中，输入数据与当前块在视频编码器侧的变换块相对应，并且输入数据与当前块在视频解码器侧的经解码经量化的变换块相对应，并且其中，当前块的变换块的最大侧与64相对应。在步骤1020中，从8×8基本缩放矩阵的元素推导缩放矩阵，其中，8×8基本缩放矩阵的右下4×4区域中的元素被跳过，或者不用信号通知，或者设置为零。在步骤1030中，根据缩放矩阵将量化处理应用于输入数据，以在视频编码器侧生成经编码经量化的变换块，或者根据缩放矩阵将逆量化处理应用于输入数据，以在视频解码器侧生成经解码的变换块。
图11例示了根据本发明实施方式的示例性编码系统使用缩放矩阵推导方法的流程图。根据该方法，在步骤1110中，接收与仅具有第一颜色分量的当前块相关的输入数据，该当前块属于第一颜色格式的当前图片，其中，输入数据与当前块在视频编码器侧的变换块相对应，并且输入数据与当前块在视频解码器侧的经解码经量化的变换块相对应，并且其中，该当前块对应于与第一颜色格式相关联的第一颜色分量。在步骤1120中，针对当前块的第一颜色分量，在视频编码器侧用信号通知第一缩放矩阵，或者在视频解码器侧解析第一缩放矩阵。在步骤1130中，针对当前块中缺少的第二颜色分量或第三颜色分量，禁止在视频编码器侧用信号通知任何第二缩放矩阵，或者禁止在视频解码器侧解析任何第二缩放矩阵。在步骤1140中，根据第一缩放矩阵将量化处理应用于输入数据，以在视频编码器侧生成经编码经量化的变换块，或者根据第一缩放矩阵将逆量化处理应用于输入数据，以在视频解码器侧生成经解码的变换块。
所示的流程图旨在例示根据本发明的视频编码的示例。本领域技术人员可以在不脱离本发明的精神的情况下修改各个步骤、重新布置步骤、分割步骤或组合步骤以实践本发明。在本公开中，已经使用特定的语法和语义来例示实现本发明的实施方式的示例。技术人员可以在不脱离本发明的精神的情况下通过利用等效的语法和语义替换所述语法和语义来实践本发明。
呈现以上描述是为了使得本领域普通技术人员能够如在特定应用及其要求的背景下所提供的来实践本发明。对所描述的实施方式的多种修改对于本领域技术人员将是显而易见的，并且本文中定义的一般原理可以应用于其它实施方式。因此，本发明并不旨在限于所示出和所描述的特定实施方式，而是被赋予与本文所公开的原理和新颖特征相一致的最广范围。在以上详细描述中，例示了各种具体细节以便提供对本发明的透彻理解。然而，本领域技术人员将理解本发明是可以实践的。
如上所述的本发明的实施方式可以以各种硬体、软体代码或两者的组合来实现。例如，本发明的实施方式可以是集成到视频压缩晶片中的一个或更多个电路或集成到视频压缩软体中以执行本文描述的处理的程式码。本发明的实施方式还可以是要在数位讯号处理器(DSP)上执行以执行本文描述的处理的程式码。本发明还可以涉及由电脑处理器、数位讯号处理器、微处理器或现场可程式设计闸阵列(FPGA)执行的许多功能。这些处理器可以被配置成通过执行定义本发明所体现的特定方法的机器可读软体代码或固件代码来执行根据本发明的具体任务。可以以不同的程式设计语言和不同的格式或样式来开发软体代码或固件代码。也可以针对不同的目标平台编译软体代码。然而，不同的代码格式、软体代码的样式和语言以及配置代码以执行根据本发明的任务的其它手段将不脱离本发明的精神和范围。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其它特定形式实施。所描述的示例在所有方面仅应被认为是例示性的而非限制性的。因此，本发明的范围由所附权利要求而不是前述描述来指示。落入权利要求等同含义和范围内的所有改变均应包含在其范围内。

Claims (11)

1.一种视频编码的方法，所述方法包括以下步骤：
接收与仅具有第一颜色分量的当前块相关的输入数据，所述当前块属于第一颜色格式的当前图片，其中，所述输入数据与所述当前块在视频编码器侧的变换块相对应，并且所述输入数据与所述当前块在视频解码器侧的经解码经量化的变换块相对应，并且其中，所述当前块对应于与所述第一颜色格式相关联的所述第一颜色分量；
针对所述当前块的所述第一颜色分量，在所述视频编码器侧用信号通知第一缩放矩阵，或者在所述视频解码器侧解析所述第一缩放矩阵；
针对所述当前块中缺少的第二颜色分量或第三颜色分量，禁止在所述视频编码器侧用信号通知任何第二缩放矩阵，或者禁止在所述视频解码器侧解析任何第二缩放矩阵；以及
根据所述第一缩放矩阵将量化处理应用于所述输入数据，以在所述视频编码器侧生成经编码经量化的变换块，或者根据所述第一缩放矩阵将逆量化处理应用于所述输入数据，以在所述视频解码器侧生成经解码的变换块。
2.根据权利要求1所述的方法，其特征在于，在比特流中用信号通知标志，以指示针对所述第二颜色分量或所述第三颜色分量，所述在所述视频编码器侧用信号通知任何第二缩放矩阵或者所述在所述视频解码器侧解析任何第二缩放矩阵是允许的还是禁止的。
3.根据权利要求2所述的方法，其特征在于，在所述比特流的自我调整参数集APS中用信号通知所述标志，并且其中，所述APS具有与缩放清单数据相对应的类型。
4.根据权利要求1所述的方法，其特征在于，当未在所述视频编码器侧用信号通知一个第二缩放矩阵或未在所述视频解码器侧解析一个第二缩放矩阵时，推断预定义的第二缩放矩阵。
5.根据权利要求4所述的方法，其特征在于，根据语法元素scaling_list_copy_mode_flag和scaling_list_pred_id_delta来确定是否推断出所述预定义的第二缩放矩阵。
6.根据权利要求5所述的方法，其特征在于，如果未接收到所述语法元素scaling_list_copy_mode_flag和所述scaling_list_pred_id_delta的值，则在所述视频解码器侧推断出所述语法元素scaling_list_copy_mode_flag和scaling_list_pred_id_delta的所述值。
7.根据权利要求1所述的方法，其特征在于，所述第一颜色格式是400颜色格式，并且所述第一颜色分量是亮度分量。
8.根据权利要求1所述的方法，其特征在于，所述第一缩放矩阵供400颜色格式的另一从属视频层参考。
9.根据权利要求1所述的方法，其特征在于，通过与所述当前图片相关联的颜色格式索引来指示所述当前图片是否为400颜色格式。
10.根据权利要求1所述的方法，其特征在于，所述第二颜色分量或所述第三颜色分量包括色度分量。
11.一种视频编码装置，所述装置包括一个或更多个电子电路或处理器，所述一个或更多个电子电路或处理器被布置成：
接收与仅具有第一颜色分量的当前块相关的输入数据，所述当前块属于第一颜色格式的当前图片，其中，所述输入数据与所述当前块在视频编码器侧的变换块相对应，并且所述输入数据与所述当前块在视频解码器侧的经解码经量化的变换块相对应，并且其中，所述当前块对应于与所述第一颜色格式相关联的所述第一颜色分量；
针对所述当前块的所述第一颜色分量，在所述视频编码器侧用信号通知第一缩放矩阵，或者在所述视频解码器侧解析所述第一缩放矩阵；
针对所述当前块中缺少的第二颜色分量或第三颜色分量，禁止在所述视频编码器侧用信号通知任何第二缩放矩阵，或者禁止在所述视频解码器侧解析任何第二缩放矩阵；以及
根据所述第一缩放矩阵将量化处理应用于所述输入数据，以在所述视频编码器侧生成经编码经量化的变换块，或者根据所述第一缩放矩阵将逆量化处理应用于所述输入数据，以在所述视频解码器侧生成经解码的变换块。
CN202310978864.XA 2019-03-25 2020-03-23 用于视频编解码的量化矩阵计算和表示的方法和装置 Pending CN116886931A (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201962823605P 2019-03-25 2019-03-25
US62/823,605 2019-03-25
US202062960552P 2020-01-13 2020-01-13
US62/960,552 2020-01-13
US202062961589P 2020-01-15 2020-01-15
US62/961,589 2020-01-15
PCT/CN2020/080705 WO2020192633A1 (en) 2019-03-25 2020-03-23 Method and apparatus of the quantization matrix computation and representation for video coding
CN202080024075.7A CN113796074A (zh) 2019-03-25 2020-03-23 用于视频编解码的量化矩阵计算和表示的方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202080024075.7A Division CN113796074A (zh) 2019-03-25 2020-03-23 用于视频编解码的量化矩阵计算和表示的方法和装置

Publications (1)

Publication Number Publication Date
CN116886931A true CN116886931A (zh) 2023-10-13

Family

ID=72610935

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310978864.XA Pending CN116886931A (zh) 2019-03-25 2020-03-23 用于视频编解码的量化矩阵计算和表示的方法和装置
CN202080024075.7A Pending CN113796074A (zh) 2019-03-25 2020-03-23 用于视频编解码的量化矩阵计算和表示的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202080024075.7A Pending CN113796074A (zh) 2019-03-25 2020-03-23 用于视频编解码的量化矩阵计算和表示的方法和装置

Country Status (5)

Country Link
US (1) US11582454B2 (zh)
EP (1) EP3925217A4 (zh)
CN (2) CN116886931A (zh)
TW (1) TWI759705B (zh)
WO (1) WO2020192633A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210135502A (ko) * 2019-03-08 2021-11-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 처리에서 변형 정보의 시그널링
BR112021019675A2 (pt) 2019-04-23 2021-12-07 Beijing Bytedance Network Tech Co Ltd Método para processamento de mídia visual, aparelho codificador de vídeo, aparelho decodificador de vídeo, e, mídia legível por computador
CN113994697A (zh) 2019-06-22 2022-01-28 北京字节跳动网络技术有限公司 色度残差缩放的语法元素
JP7460748B2 (ja) 2019-07-07 2024-04-02 北京字節跳動網絡技術有限公司 クロマ残差スケーリングのシグナリング
JP7303366B2 (ja) * 2019-07-08 2023-07-04 エルジー エレクトロニクス インコーポレイティド スケーリングリストデータに基づく画像またはビデオコーディング
KR20220098017A (ko) * 2020-01-10 2022-07-08 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
CN115299064A (zh) 2020-03-11 2022-11-04 抖音视界有限公司 基于颜色格式的自适应参数集信令通知
JPWO2021201222A1 (zh) * 2020-04-02 2021-10-07
WO2021244420A1 (en) 2020-05-31 2021-12-09 Beijing Bytedance Network Technology Co., Ltd. Palette mode with local dual tree modetype definition

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8069201B2 (en) * 2003-11-25 2011-11-29 Texas Instruments Incorporated 8×8 transform and quantization
JP2005210502A (ja) * 2004-01-23 2005-08-04 Nec Corp 画像再圧縮装置および画像再圧縮方法
US9167252B2 (en) * 2010-12-01 2015-10-20 Texas Instruments Incorporated Quantization matrix compression in video coding
CN103096056B (zh) * 2011-11-08 2015-11-25 华为技术有限公司 矩阵编码方法与装置及解码方法与装置
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
BR122020017515B1 (pt) * 2012-01-20 2022-11-22 Electronics And Telecommunications Research Institute Método de decodificação de vídeo
US20150043637A1 (en) * 2012-04-13 2015-02-12 Sony Corporation Image processing device and method
US9253483B2 (en) * 2012-09-25 2016-02-02 Google Technology Holdings LLC Signaling of scaling list
EP3354019A4 (en) * 2015-09-23 2019-05-22 Telefonaktiebolaget LM Ericsson (publ) DETERMINATION OF QUANTIZATION PARAMETER VALUES
US9942548B2 (en) * 2016-02-16 2018-04-10 Google Llc Entropy coding transform partitioning information
US20180309991A1 (en) * 2016-03-02 2018-10-25 MatrixView, Inc. Video encoding with adaptive rate distortion control by skipping blocks of a lower quality video into a higher quality video
US10015495B2 (en) * 2016-05-09 2018-07-03 Adobe Systems Incorporated Generating custom quantization tables for JPEG compression based on image content
AU2016231584A1 (en) * 2016-09-22 2018-04-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
WO2018067051A1 (en) * 2016-10-05 2018-04-12 Telefonaktiebolaget Lm Ericsson (Publ) Deringing filter for video coding
US10742979B2 (en) * 2016-12-21 2020-08-11 Arris Enterprises Llc Nonlinear local activity for adaptive quantization
US10567768B2 (en) * 2017-04-14 2020-02-18 Apple Inc. Techniques for calculation of quantization matrices in video coding
US10469854B2 (en) * 2017-06-21 2019-11-05 Intel Corporation Content, psychovisual, region of interest, and persistence based adaptive quantization for video coding
US10856010B2 (en) * 2017-09-08 2020-12-01 FG Innovation Company Limited Device and method for coding video data based on multiple reference lines
CN111149359B (zh) * 2017-09-20 2023-11-17 韩国电子通信研究院 用于对图像进行编码/解码的方法和装置以及存储有比特流的记录介质
US10805629B2 (en) * 2018-02-17 2020-10-13 Google Llc Video compression through motion warping using learning-based motion segmentation
JP7334726B2 (ja) * 2018-03-28 2023-08-29 ソニーグループ株式会社 画像処理装置及び画像処理方法
WO2020153506A1 (ko) * 2019-01-21 2020-07-30 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치

Also Published As

Publication number Publication date
WO2020192633A1 (en) 2020-10-01
EP3925217A4 (en) 2023-03-08
CN113796074A (zh) 2021-12-14
US20220094936A1 (en) 2022-03-24
TW202041007A (zh) 2020-11-01
TWI759705B (zh) 2022-04-01
US11582454B2 (en) 2023-02-14
EP3925217A1 (en) 2021-12-22

Similar Documents

Publication Publication Date Title
US10313667B2 (en) Method and apparatus for encoding/decoding image using transform skip flag
CN116886931A (zh) 用于视频编解码的量化矩阵计算和表示的方法和装置
US20220141495A1 (en) Video signal processing method and device
TWI762889B (zh) 用於視頻編解碼的量化矩陣計算和表示的方法和裝置
CN109068135B (zh) 视频编解码的方法和设备
CN113678459A (zh) 基于矩阵的帧内预测的适应性
US20160080753A1 (en) Method and apparatus for processing video signal
AU2015330676A1 (en) Intra block copy prediction restrictions for parallel processing
CN113748676A (zh) 帧内编解码模式下的矩阵推导
CN113826383B (zh) 变换跳过模式的块维度设置
KR20150096375A (ko) 영상 인코딩/디코딩 방법 및 이를 이용하는 장치
KR20140018873A (ko) 영상 정보 부호화 방법 및 복호화 방법
US11924473B2 (en) Method and device for encoding or decoding video
KR20220003124A (ko) 적응적 파라미터 셋을 사용하는 비디오 코딩 방법 및 장치
CN114270838B (zh) 变换跳过模式的信令通知
CN113826405B (zh) 多个颜色分量的变换量化旁路模式的使用
CN115066899A (zh) 编解码视频的可分二次变换处理
CN116746148A (zh) 用于视频编解码的残差和系数编解码
US20220182629A1 (en) Method and Apparatus of the Quantization Matrix Computation and Representation for Video Coding
CA3061701A1 (en) Image decoding method and device in accordance with block split structure in image coding system
CN114175653B (zh) 用于视频编解码中的无损编解码模式的方法和装置
KR20210091673A (ko) 적응적 색상 변환을 이용하는 비디오 부호화 및 복호화
KR20230137825A (ko) 인접 정보 기반 팔레트 모드를 이용하는 비디오 코딩 방법 및 장치
CN115462074A (zh) 经压缩的画中画信令

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination