CN113302925A - 视频编码的量化矩阵计算以及表示方法和装置 - Google Patents

视频编码的量化矩阵计算以及表示方法和装置 Download PDF

Info

Publication number
CN113302925A
CN113302925A CN202080009595.0A CN202080009595A CN113302925A CN 113302925 A CN113302925 A CN 113302925A CN 202080009595 A CN202080009595 A CN 202080009595A CN 113302925 A CN113302925 A CN 113302925A
Authority
CN
China
Prior art keywords
matrix
scaling matrix
block
input data
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080009595.0A
Other languages
English (en)
Other versions
CN113302925B (zh
Inventor
赖贞延
欧莱娜·邱巴赫
庄子德
陈庆晔
徐志玮
黄毓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN113302925A publication Critical patent/CN113302925A/zh
Application granted granted Critical
Publication of CN113302925B publication Critical patent/CN113302925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

揭示一种使用属于一个模式群组的编解码模式的视频编解码方法与装置，该模式群组包括帧内块复制(Intra Block Copy，或称IBC)模式与帧内模式。依据本发明，对于IBC与帧内模式二者，一个相同的预设缩放矩阵被使用来推导用于当前块的缩放矩阵。在另一实施例中，对于块尺寸大小为MxN或NxM的当前块(而且M大于N)，从MxM缩放矩阵中通过对该MxM缩放矩阵下取样成为MxN或NxM缩放矩阵，来推导目标缩放矩阵。

Description

视频编码的量化矩阵计算以及表示方法和装置
交叉申请
本申请要求在2019年3月10日提出的申请号为62/816,167，以及在2019年3月12日提出的申请号为62/816,978的美国临时专利申请的优先权。上述美国临时专利申请整体以引用方式并入本文中。
技术领域
本发明关于用于视频编解码的转换系数编解码。尤其，本发明揭示量化矩阵的推导与表示。
背景技术
适应性帧内/帧间视频编解码已经被广泛使用在各种视频编解码标准，例如MPEG-2、AVC(Advanced Video Coding，高级视频编解码)与HEVC(High Efficiency VideoCoding，高效率视频编解码)。在适应性帧内/帧间视频编解码中，输入信号是通过帧内/帧间预测子加以预测以产生预测残差。残差通常通过二维转换与量化加以处理。量化后转换系数则被编码。高效率视频编解码(High Efficiency Video Coding，HEVC)的标准，是由一些标准化组织国际电信联盟电信标准化部门的视频编码专家组(ITU-T Video CodingExperts Group，VCEG)与国际标准化组织/国际电工委员会下属的动态影像专家组(ISO/IEC Moving Picture Experts Group，MPEG)于联合视频计划下所开发的，而且特别是与视频编码联合协作小组(Joint Collaborative Team on Video Coding，JCT-VC)合作开发。在HEVC中，一个切片(slice)被分割成多个编解码树单元(Coding Tree Unit，CTU)。在主配置文件(main profile)中，CTU的最小尺寸和最大尺寸由序列参数集(Sequence ParameterSet，SPS)中的语法元素指定。允许的CTU尺寸可以是8x8、16x16、32x32或64x64。对于每个切片，切片内的CTU根据光栅扫描(raster scan)顺序进行处理。
CTU进一步被分割成多个编解码单元(Coding Unit，CU)以适应各种局部特性。透过四叉-树或四叉树(QT)分割可以将CTU进一步分割成多个编解码单元(Coding Unit，CU)。QT分割将尺寸大小4Nx4N的块分割成4个相同尺寸大小的2Nx2N子块。CTU可以是单个CU(即无分割)或可以被分割成四个相同尺寸大小的较小单元，其相对应为编解码树的节点。如果这些单元是编解码树的叶节点，这些单元则变成CU。否则，四叉树分割流程可以被迭代，直到节点的尺寸大小达到序列参数集(Sequence Parameter Set，SPS)中所指定的最小可允许CU尺寸大小。
根据HEVC，每个CU可以被分割成一或多个预测单元(Prediction Unit，PU)。结合CU，PU作为分享共享预测信息的基本表示块。在每个PU内部，可应用相同的预测流程，并将相关信息以PU为基础发送给解码器。根据PU分割类型，CU可以被分割成一个，两个或四个PU。HEVC定义了八个形状用以将CU分割成PU，包括2Nx2N、2NxN、Nx2N、NxN、2NxnU、2NxnD、nLx2N与nRx2N的分割类型。与CU不同，根据HEVC PU仅可以被分割一次。
基于PU分割类型，在通过预测流程来获得残差块之后，根据另一四叉树结构(其与用于CU的编解码树类似)可以将CU的预测残差分割成转换单元(Transform Unit，TU)。TU是具有残差或转换系数的基本代表块，以用来应用整数转换和量化。对于每个TU，与TU有相同尺寸大小的一个整数转换会被应用来获得残差系数。在以TU为基础进行量化之后，这些系数被传输到解码器。
图1绘示出一适应性帧内/帧间视频编解码系统，系统包含转换与量化以处理预测残差。对于帧间预测，运动估计/运动补偿(Motion Estimation/Motion Compensation，ME/MC)112基于来自其他一或数个画面的视频数据而用以提供预测数据。开关114选择帧内-预测110或帧间-预测数据，而且所选择的预测数据会提供给加法器116以形成预测误差，也称残差。预测误差则通过转换(Transform，简称T)118以及随后量化(Quantization，简称Q)120来加以处理。转换后并量化后的残差则通过熵编码器122加以编码，以被纳入于相对应压缩后视频数据的视频比特流中。与转换系数相关联的比特流则会与边信息(例如运动、编解码模式、以及与影像区域相关联的其他信息)一起打包。边信息可通过熵编解码加以压缩以降低所需的带宽。因此，与边信息相关联的数据被提供给如图1所示的熵编码器122。当使用帧间-预测模式时，一或多个参考画面也必须在编码器端加以重构。因此，转换后并量化后的残差会通过逆量化(IQ)124与逆转换(IT)126加以处理来还原出残差。残差则在重构(REC)128处加回至预测数据136中以重构出视频数据。重构后视频数据则可以储存于参考画面缓冲器(Reference Picture Buffer)134，并且被使用来预测其他帧。
如图1所示，输入进来的视频数据在编码系统中会经过一连串的处理。由于经过一连串的处理，来自REC128的重构后视频数据可能会遭到各种损伤。因此，在重构后视频数据存入参考画面缓冲器134之前，通常会先应用环路滤波器(Loop filter)130来处理重构后视频数据，以改善视频质量。例如，解块滤波器(de-blocking Filter，DF)和样本适应性偏移(Sample Adaptive Offset，SAO)已经使用于高效率视频编解码(High EfficiencyVideo Coding，HEVC)标准中。环路滤波器也可以包括ALF(Adaptive Loop Filter，适应性环路滤波器。环路滤波器信息可能需要被合并于比特流中，以使解码器可以适当地还原所需的信息。因此，环路滤波器信息被提供给熵编码器122以合并于比特流中。在图1中，在重构后的样本储存于参考画面缓冲器134之前，将环路滤波器130应用于重构后的视频中。在图1中的系统其用意在于绘示典型视频编码器的示例性结构。其可以对应于高效率视频编解码(HEVC)系统或H.264。
图2绘示用于图1编码器系统中相对应视频解码器的系统方块图。由于编码器也包含本地解码器以重构视频数据，有些解码器组件已经使用于编码器中(除了熵解码器210)。此外，解码器侧只有运动补偿220是必需的。开关146选择帧内-预测或帧间-预测，而且所选择的预测数据会提供给重构(reconstruction，REC)128以与还原后残差进行结合。除了对于压缩后残差进行熵解码之外，熵解码器210也负责对于边信息进行熵解码并提供边信息给相对应各块。例如，帧内模式信息被提供给帧内-预测110，帧间模式信息被提供给运动补偿220，环路滤波器信息被提供给环路滤波器130，而且残差被提供给逆量化124。残差通过IQ124、IT126与后续的重构流程加以处理以重构出视频数据。来自REC128的重构后视频数据再次经过一连串的处理，包括如图2所示的IQ124与IT126，并且可能会受到编解码伪影(coding artefact)。重构后视频数据通过环路滤波器130加以进一步处理。
量化矩阵(quantization matrix，QM)已经被使用在各种视频编解码标准中。例如，量化矩阵被使用于图1中的量化120与图2中的逆量化124。基于块的混合视频编解码架构(隐含残差信号的转换编解码)可以使用频率依存缩放(frequency dependent scaling)来控制在转换单元(transform unit，TU)跨不同频率中量化失真的分布。为了达到跨空间频率中感知上的统一量化，可以依据其相关频率范围中感知灵敏度来设计量化矩阵以对转换系数相关联的每一频道施以权重。因此，与高频系数相比，转换块中的低频系数会以较细微的量化步长(quantization step size)来加以量化。相对应的量化矩阵可以被运用于解码器中的逆权重去量化转换系数(inversely weight de-quantized transformcoefficient)。
量化矩阵已经被成功运用在视频编解码标准，如H.264/AVC与H.265/HEVC(HighEfficiency Video Coding，高效率视频编解码)，可使视频内容的物体画质得以改善。鉴于其有效性，量化矩阵已经被广泛使用在众多视频编解码产品中。
HEVC规格包括尺寸为4x4、8×8、16×16、与32×32的四个整数逆转换矩阵。这些转换矩阵为相同尺寸的DCT-2矩阵的整数近似值，目标在于DCT(discrete cosinetransform，离散余弦转换)系数结构的保存。额外的4x4DST(discrete sine transform，离散正弦转换)矩阵被具体指定，来被应用于帧内预测4x4块的残差。为了与DST有所区别，四个DCT被称为HEVC核心转换(core transform)。
发明内容
揭示一种使用属于一个模式群组的编解码模式的视频编解码方法与装置，该模式群组包括帧内块复制(Intra Block Copy，或称IBC)模式与帧间模式。依据本发明，接收关于当前画面的当前块的输入数据，其中该输入数据相对应于在视频编码器侧的该当前块的转换块，而且该输入数据相对应于在视频解码器侧的该当前块的解码后-量化后转换块。决定用于该当前块的当前编解码模式。如果该当前编解码模式相对应于该IBC模式，缩放矩阵会从共享基础缩放矩阵来被推导。如果该当前相对应于该帧内模式，该缩放矩阵会从该共享基础缩放矩阵来被推导。然后依据该缩放矩阵应用量化处理于该输入数据，来产生在该视频编码器侧的编码后-量化后转换块；或是依据该缩放矩阵应用逆量化处理于该输入数据，来产生在该视频解码器侧的解码后转换块。
依据另一方法，接收关于当前画面的当前块的输入数据，其中该输入数据相对应于在视频编码器侧的该当前块的转换块，而且该输入数据相对应于在视频解码器侧的该当前块的解码后-量化后转换块；而且其中该当前块的块尺寸大小相对应于MxN或NxM，而且其中M与N是正整数而且M大于N。从MxM缩放矩阵中通过对该MxM缩放矩阵下取样(降低取样频率，down-sampling)成为MxN或NxM缩放矩阵，来推导目标缩放矩阵。依据该目标缩放矩阵应用量化处理于该输入数据，来产生在该视频编码器侧的编码后-量化后转换块；或是依据该目标缩放矩阵应用逆量化处理于该输入数据，来产生在该视频解码器侧的解码后转换块。
在一实施例中，MxM缩放矩阵是通过上取样(up-sampling)8x8共享基础缩放矩阵而产生，而且M大于8。例如，该上取样可以相对应于像素重复(pixel repetition)。在另一例子中，该上取样可以相对应于线性内插(linear interpolation)。
附图说明
图1绘示出视频编码器的示例性方块图，其中视频编码器纳入帧内/帧间预测、转换与量化处理。
图2绘示出视频解码器的示例性方块图，其中视频解码器纳入帧内/帧间预测、逆转换与解-量化处理。
图3绘示出4x4与8x8共享基础缩放矩阵的例子，来推导用于帧内与帧间编解码模式中亮度与色度分量的较大缩放矩阵。
图4绘示出通过使用复制(replication)来进行上取样(up-sampling)，而从相同类型的共享基础8x8量化矩阵来推导用于尺寸为16x16与32x32的转换块的量化矩阵。
图5绘示出VVC中所支持分割的例子，包括四叉分割、垂直二叉分割、水平二叉分割、垂直中央侧三叉分割、与水平中央侧三叉分割。
图6绘示从共享基础8x8量化矩阵来推导长方形缩放矩阵的例子。
图7绘示从共享基础8x8量化矩阵来推导长方形缩放矩阵的另一例子。
图8绘示从共享基础8x8量化矩阵来推导长方形缩放矩阵的又一例子。
图9绘示从共享基础8x8量化矩阵来推导长方形缩放矩阵的又一例子。
图10依据本发明的实施例绘示使用共享基础缩放矩阵于帧内块复制(IBC)模式与帧间模式的示例性编解码系统的流程图。
图11依据本发明的实施例绘示使用缩放矩阵推导方法的示例性编解码系统的流程图。
具体实施方式
在接下来的说明是实施本发明较佳能思及的方式，在此说明的目的是为了阐释本发明的一般性原则，不应从限制性的角度视之。本发明的范围最佳方式是由参照所附的申请专利范围来决定。在本发明中，VVC中用于视频编解码的一种新的量化矩阵表示方法如下。
预设量化矩阵表示
量化矩阵正在被评估以采纳于最新视频编解码标准，被称为VVC(VersatileVideo Coding，多功能视频编解码)以作为下一代讯编解码标准以及H.265/HEVC的接替者。量化矩阵在本揭示中也被称为缩放矩阵。
关于缩放矩阵的信息可以被发信于序列参数组(sequence parameter set，SPS)以及进一步更新于画面参数组(picture parameter set，PPS)。频率依存缩放(frequencydependent scaling)可以通过使用SPS中的语法元素scaling_list_enabled_flag来加以致能。当此旗标被致能时，SPS与PPS中额外的旗标会控制预设量化矩阵或是非-预设量化矩阵会被使用。
当频率依存缩放被致能时，尺寸大小4x4与8x8量化矩阵的预设数值如图3所示。如图3所示，4x4矩阵310被使用于帧内与帧间模式的亮度与色度分量，8x8矩阵320被使用于帧内模式的亮度与色度分量，8x8矩阵330被使用于帧间模式的亮度与色度分量。
例如，支持以下20种量化矩阵以用于不同尺寸大小与类型的转换块：
亮度：帧内4x4、帧间4x4、帧内8x8、帧间8x8、帧内16x16、帧间16x16、帧内32x32、帧间32x32
Cb：帧内4x4、帧间4x4、帧内8x8、帧间8x8、帧内16x16、帧间16x16
Cr：帧内4x4、帧间4x4、帧内8x8、帧间8x8、帧内16x16、帧间16x16
为了降低所需要储存量化矩阵的内存，8x8矩阵被使用来产生16x16与32x32量化矩阵。用于尺寸大小为16x16与32x32的转换块的预设量化矩阵，是通过使用复制(replication)来进行上取样而从相同类型的预设8x8量化矩阵而获得。此过程显示于图4中：图中点状填充块412指示出在8x8量化矩阵410的量化矩阵元素(matrix entry)被复制为16x16量化矩阵420的2x2区域422以及32x32量化矩阵430的4x4区域432。
非-预设量化矩阵也可以选配式地在序列参数组(sequence parameter set，SPS)或画面参数组(picture parameter set，PPS)中的比特流加以传输。
适应性多重核心转换(Adaptive Multiple Core Transform)
与HEVC相比较，在开发中的新标准VVC(Versatile Video Codec，多功能视频编解码)支持更多分割形状。俗称多重类型树(multi-type tree，MTT)分割被提出，其中除了HEVC所支持的四叉树结构之外(quad-tree，QT)，还增加了二叉与三叉分割。VVC所支持的所有分割都显示于图5中，包括四叉分割510、垂直二叉分割520、水平二叉分割530、垂直中央侧三叉分割540、与水平中央侧三叉分割550。
在MTT中，树结构在I切片的亮度与色度是分别加以编解码，而在P与B切片是同时应用于亮度与色度二者(除了在色度的某些最小尺度约束)。这表示，在I切片中亮度CTB有其MTT-结构块分割，而且二个色度CTB可以有另外的MTT-结构块分割。还有，为了增加在较高分辨率视频的编解码增益，三叉树(TT)与二叉树(BT)分割可以被递归式地应用于128x128亮度/64x64色度编解码树块(coding tree blocks，CTB)。此外，TU的最大支持尺度被增加至64x64亮度/32x32色度。
适应性多重转换(Adaptive Multiple Transform，AMT)机制被使用在VTM(VVCtest model，VVC测试模型)中帧间与帧内编解码块二者的残差编解码。来自DCT/DST家族(除了HEVC中当前转换之外)的多重选择转换(Multiple selected transform)被应用于残差块中。近来，DST-7、DST-8、与DST-1的转换矩阵被引进。表格1显示所选择DST/DCT的基础函数。
表格1：用于N-点输入的DCT/DSTs转换基础函数
Figure BDA0003166054470000081
AMT被应用于宽度与高度二者皆小于或等于64的CU，而且AMT是否应用是通过CU层级旗标(CU level flag)所控制。当CU层级旗标等于0之时，DCT-2被应用于CU以编码残差。对于在AMT被致能的CU中的亮度编解码块，两个额外的旗标被发信以辨识将被使用的水平与垂直转换。因为在HEVC中，块的残差可以用VTM中转换跳过模式来加以编解码。为了避免语法编解码的冗余，当CU层级AMT旗标不等于零之时，转换跳过旗标不会被发信。
对于帧内残差编解码，由于不同帧内预测模式的不同残差统计特性，模式依存转换候选选择流程被使用。三个经过定义的转换子集的实施例显示于表格2中。转换子集可以基于帧内预测模式来加以选择。
表格2：三个事先定义的转换候选组
Figure BDA0003166054470000091
有了子集的概念后，基于表格2使用CU(CU-层级的AMT旗标等于1)的帧内预测模式，转换子集首先被辨识。然后，对于每一水平与垂直转换，在所辨识的转换子集中二个转换候选中的一个可以被选择而且显性地以旗标加以发信。
就帧间预测残差的状况下，只有一个转换组(由DST-7与DST-8所构成)可以被使用在所有帧间模式以及在水平与垂直转换二者。
此外，如所熟知的，DST-8与DST-7有下列关系：
Figure BDA0003166054470000092
在等式(1)中的
Figure BDA0003166054470000093
与
Figure BDA0003166054470000094
是用于DST-8与DST-7的逆转换矩阵，而且i与j分别是行(row)与列(column)的索引。在等式(1)中，JN是矩阵并通过多个1沿着反-对角线加以代表，而且矩阵DN在其对角线于1与-1之间交替(alternate)。因此，刚好在DST-7计算之前与之后将符号改变并重排序(reordering)，就可以从DST-7来推导出DST-8。也就是说，DST-7被再使用(resue)于DST-8的此一实施方式中。符号改变与顺序变化(shuffling)不会对DST-7增加额外负担，因此DST-8的计算困难度与DST-7是相同的。这避免了在DST-8与DST-1使用任何额外的内存。
由于VVC支持更多块尺寸与AMT，在VTM需要更有效率的量化矩阵表示方式。
依据本发明，尺寸为MxN的预设量化矩阵首先被定义并且以特定系数被储存于每一位置，以用于MxN转换单元，其中M与N可以是介于2与64之间的任何偶数。在一个实施例中，可以有三个量化/缩放矩阵：一个尺寸为M＝N＝4(用于尺寸为4x4的残差块，帧内预测与帧间预测二者)以及两个尺寸为M＝N＝8(一个用于帧内预测而且另一个用于帧间预测)。举例而言，图3中相对应的矩阵(310、320与330)可以被使用作为预设量化矩阵。在另一实施例中，只有用于帧内预测的预设矩阵可以被定义(例如用于尺寸为4x4与8x8)，而用于帧间预测的量化矩阵可以从相对应用于帧内预测的矩阵得到。
在另一实施例中，预设MxN量化矩阵被定义与储存，被用来推导用于2p x 2k转换单元的默认2p x 2k量化矩阵，其中p与k的数值可以在1与6之间。例如，k＝p＝4、k＝p＝5或k＝p＝6，可以得出尺寸大小为16x16、32x32、与64x64。
在预设量化矩阵被定义与储存之后，一种方法(例如，系数映像与内插(称为系数映射与内插步长)包括使用重复与基于线性内插的上取样的简单零阶内插方法)从预设MxN量化矩阵来产生用于2p x 2k(例如4x4、4x8、8x4、8x8、4x16、16x4、4x32、32x4、8x16、16x8、16x16、8x32、32x8、16x32、32x16、32x32、16x64、64x16、32x64、64x32、64x64)转换块的量化矩阵。
以下流程图显示三个可能的实施例来定义块尺寸相对应于2p x 2k的矩阵。在一个实施例，例如在图6中，在步骤1(610)，首先通过应用系数映像与内插级距(interpolationstep)，从预设矩阵(例如8x8)来产生多个方形矩阵(例如16x16、32x32、64x64)。在步骤2(620)，通过对于行(row)与列(column)中的每M1/2p个与N1/2k个元素相对应地进行次取样，从最接近的方形量化矩阵来产生长方形矩阵。在步骤615，最小尺寸为宽度M1与高度N1的方形矩阵被决定，其大于或等于目标长方形矩阵相对应的宽度与高度二者。例如，M1与N1可以等于M。因此，最接近的方形量化矩阵为MxM。在其他例子中，M1不可以等于N1，如果最小尺寸为在M1与N1之间的M，则最接近的方形矩阵为MxM。图7中，在步骤1(710)，通过应用系数映像与内插级距，从预设矩阵(例如8x8)来产生方形矩阵(例如16x16、32x32、64x64)。在步骤2(720)，通过应用系数映像与内插级距而对于行(row)或列(column)中的元素相对应地进行上取样2p/M与2k/N次，而从最接近的方形量化矩阵来产生长方形矩阵。在步骤715，最小尺寸为宽度M1或高度N1的方形矩阵被决定，其大于或等于目标长方形矩阵相对应的宽度或高度。图8中，在步骤1(810)，通过应用系数映像与内插级距而对于预设矩阵(例如8x8)中的行(row)或列(column)以因子2p/M或2k/N进行上取样。在步骤2(820)，通过应用系数映像与内插级距而对于来自步骤1(810)矩阵中的列(column)或行(row)以因子2k/N或2p/M进行上取样。
在又一实施例中，对于低频系数以小的区间上取样MxN矩阵而对于高频系数以大的区间上取样MxN矩阵是可能的。
一个例子显示于图9中。图9中，在步骤1(910)，通过应用系数映像与内插级距，对于给定的M1<M以因子t<2p/M或对于给定的M2<M以因子r<2k/N，将基础缩放矩阵(例如8x8)的行或列进行上取样。在步骤2(920)，通过应用系数映像与内插级距，对于给定的M2>M以因子r1>2k/N或对于给定的M1>M以因子t1>2p/M，将从步骤1(910)来的矩阵的列或行进行上取样。在步骤915，t与t1与r与r1的数值被决定，其中这些数值必须使得上取样后仍会生成尺寸为2p/M x 2k/N的矩阵。
举例而言，用于IntraLuma、IntraCb、IntraCr的8x8量化矩阵(基础缩放矩阵)可以被使用来取得用于16x16转换单元的16x16量化矩阵InterLuma、InterCb、InterCr。为了取得第一个量化矩阵，以因子2进行上取样被应用于水平与垂直的方向。这会生成下列16x16量化矩阵：
Figure BDA0003166054470000121
举另一例而言，用于IntraLuma、IntraCb、IntraCr的8x8量化矩阵(基础缩放矩阵)可以被使用来取得用于8x16转换单元的8x16量化矩阵。为了取得第二个量化矩阵，上取样仅会被应用于列(column)。这会生成下列8x16量化矩阵：
Figure BDA0003166054470000122
在一实施例中，依据本发明的方法可以使用相对应系数的线性组合、矩阵乘法、线性/非线性回归等，从预设MxN量化矩阵来产生应用AMT所取得的不同转换块的量化矩阵。
在另一实施例中，依据本发明的方法可以使用相对应系数的线性组合、矩阵乘法、线性/非线性回归等，从预设MxN量化矩阵来产生用于帧内转换块的量化矩阵。
在又一实施例中，依据本发明的方法可以使用方法对于应用AMT所取得的不同转换块的预设量化矩阵来加以发信。
客制化量化矩阵表示
在一实施例中，在每一位置具有特定系数的使用者定义的MxN量化矩阵被定义并且以无损失的熵编解码加以传送给MxN转换单元。M与N可以是介于2与64之间的任何偶数。
在另一实施例中，使用者定义尺寸大小为MxN的较小尺寸量化矩阵(其中M与N为介于2与64之间的任何偶数)被定义与传送，其被使用来推导用于2p x 2k转换单元的2p x 2k量化矩阵，其中p与k的数值可以在1与6之间。
在另一实施例中，揭示一种方法使用系数映射与内插，包括通过像素重复与基于线性内插的上取样的简单零阶内插，从MxN量化矩阵来产生用于2p x 2k(p！＝k)转换块的缩放矩阵(例如4x8、8x4、4x16、16x4、4x32、32x4、8x16、16x8、8x32、32x8、16x32、32x16、16x64、64x16、32x64、64x32)，而不传送任何比特。
在此一实施例中，例如在解码器侧，多种尺寸的基础缩放矩阵被发信与被接收。基础缩放矩阵中之一被选择(至少不大于转换块)。为了产生用在MxN转换块的目标缩放矩阵，首先，上述的上取样方法可以被应用在基础缩放矩阵以产生MxM矩阵。然后，目标缩放矩阵被从MxM缩放矩阵通过次取样此MxM缩放矩阵为MxN或NxM缩放矩阵，来加以推导出以当作目标缩放矩阵。例如，如果接收到的转换块的尺寸为32x8，则8x8基础缩放矩阵被选择。然后，通过像素重复或线性内插，从8x8基础缩放矩阵来产生32x32缩放矩阵。然后应用次取样于此32x32缩放矩阵因而产生32x8缩放矩阵。次取样的方法可以加以变化，例如，一种次取样方法可以包括在MxM缩放矩阵的列(column)与行(row)中分别选取每M/2p个与M/2k个系数，其中M等于2p而且N等于2k。此一实施例相对应于在图6中将M1与N1设定为M。
在又一实施例中，揭示一种方法以使用相对应系数的线性组合、矩阵乘法、线性/非线性回归等，从预设MxN量化矩阵来产生应用AMT所取得的不同转换块的使用者定义的量化矩阵，而不传送任何额外的位。
在又一实施例中，揭示一种方法以使用相对应系数的线性组合、矩阵乘法、线性/非线性回归等，从用于帧内转换块的预设MxN量化矩阵来产生所取得的用于帧间转换块的使用者定义的量化矩阵，而不传送任何额外的位。
较小尺寸MxN量化矩阵的产生方法
揭示从较大的2p x 2k矩阵，其中p与k可以为1与6之间的任何数值，来产生用于MxN转换单元的较小尺寸MxN量化矩阵的方法，其中M与N可以是介于2与64之间的任何偶数。
在一实施例中，此方法总是保留DC系数并且在固定间隔(fixed interval)对于MxN矩阵进行次取样。
在另一实施例中，此方法总是保留DC系数，并且在低频系数以小的间隔对于MxN矩阵进行次取样而且在高频系数以大的间隔对于MxN矩阵进行次取样。
在又一实施例中，此方法总是保留MxN矩阵中的DC系数与低频部分，而MxN矩阵具有与目标较小尺寸矩阵相同的尺寸。
大尺寸2p x 2k量化矩阵的推导方法
揭示大尺寸2p x 2k量化矩阵的推导方法，其中p与k的数值可以在1与6之间。通过以上描述用于较小尺寸MxN量化矩阵的不同次取样(sub-sampling)方法，来产生相对应较小尺寸MxN量化矩阵的2p x 2k量化矩阵，其中M与N可以是介于2与64之间的任何偶数。
在一实施例中，上取样方法使用固定间隔(fixed interval)内插与/或重复。当p！＝k的情况时(即非方形转换)，在水平与垂直方向的内插后系数的数目分别等于2p/M与2k/N，其中(2p与M)以及(2k与N)分别对应于在目标与被发信矩阵中的行数目与列数目。
在另一实施例中，上取样方法通过在低频系数使用较小间隔的内插与/或重复，而且在高频系数使用较大间隔的内插与/或重复。
在又一实施例中，较小尺寸MxN矩阵(M与N为介于2与64之间的任何偶数)被使用作为大尺寸2p x 2k量化矩阵(p与k为1与6之间的任何数值)的低频部份，而且高频系数是基于固定模式(fixed pattern)加以产生。在一实施例中，可以从低频系数部份的末端开始，并且在频率增加的过程中以固定数目来增加系数数值。
相对应MxN转换单元的MxN量化矩阵的推导方法
揭示相对应MxN转换单元的MxN量化矩阵的推导方法(M与N为介于2与64之间的任何数值)，以用于帧间预测的矩阵从帧内预测的相对应矩阵加以定义的情况中。
在一实施例中，取决于转换单元的尺寸大小，可以得到用于帧间预测转换块的不同量化矩阵。换言之，通过应用如相对应系数的线性组合、矩阵乘法、线性/非线性回归等方法在帧内块矩阵的相对应元素中，帧间预测的所有矩阵从帧内预测的相对应量化矩阵可以加以定义出。
在一实施例中，通过应用如相对应系数的线性组合、矩阵乘法、线性/非线性回归等方法在帧内块矩阵的相对应元素中，从帧内预测的相对应量化矩阵只能得到某些帧间预测转换块的量化矩阵。通过应用上述所揭示的预设量化矩阵表示，帧间转换块的所有长方形矩阵可以从帧间转换块的相对应方形量化矩阵中得到。
用于AMT的相对应MxN转换单元的MxN量化矩阵的推导方法
当AMT被应用于残差信号(例如取决于不同预测模式)的情况时，相对应MxN转换单元(M与N为介于2与64之间的任何偶数)的MxN量化矩阵的推导方法。在此情况时，取决于转换类型，不同量化/缩放矩阵可以被应用，使得在转换后其可被校准至能量压缩(alignedto the energy compaction)。
在一实施例中，取决于不同预测模式(例如帧间或帧内预测)，不同缩放矩阵可以被定义，而不论AMT被应用于残差块的转换类型。
在另一实施例中，分别的矩阵可以被取得以用于大小小于K的块尺寸，其中K可以是从4与32的任何数值。对于所有其余的转换块尺寸大小，相同的量化矩阵被使用，而与应用于残差块的转换无关。
在又另一实施例中，不同缩放矩阵可以被取得以用于亮度与色度分量，而不论AMT被应用于残差块的转换类型。
在另一实施例中，在AMT中被允许的转换为DST-1、DST-7、与DST-8，而且不同缩放/量化矩阵可以被定义以用于每一种转换，包括DST-2。缩放/量化矩阵在水平与垂直转换步骤之后可以被应用。
在另一实施例中，被允许的转换包括DST-1、DST-7、与DST-8，而且基于这些转换之间的关系，不同缩放矩阵可以被计算以用于DST-2、DST-1、DST-7、与DST-8转换的所有组合。
在又另一实施例中，只有一些缩放矩阵被定义以用于基本的转换组(例如DST-2、DST-1、DST-7、与DST-8)，而且用于基本转换的组合结果的缩放矩阵可以通过线性组合、矩阵乘法、排列交换(Permutation)、符号改变(sign changes)、变换(flipping)、或是这些基础缩放矩阵转换的任何组合来加以定义。
在另一实施例中，缩放矩阵可以被定义与被发信以用于基本转换的子集(例如DST-2、或是DST-2与DST-7)，而且用于剩下转换(例如用于DST-7、DST-1、与DST-8、或是用于DST-1与DST-8)的缩放矩阵可以通过线性组合、矩阵乘法、排列交换(Permutation)、符号改变(sign changes)、变换(flipping)、或是这些基础缩放矩阵转换的任何组合来加以定义。在一例子中，推导处理是取决于被定义转换类型与目标转换类型之间的关系。在另一例子中，推导处理是取决于被定义转换系数与目标转换系数之间的关系。
上述缩放矩阵推导方法的任何组合可以被使用。
默认量化矩阵选择的选项
揭示一种架构来给用户提供选项，以决定默认量化矩阵、或使用者定义量化矩阵、或使用残差编解码而不应用任何量化(例如PCM转换/量化旁路模式(quantization bypassmode))。
应用缩放矩阵产生的归零(Zero-out)处理
在一实施例中，如果归零被应用时，MxN缩放矩阵组会被使用来量化尺寸大小大于MxN的TU。换言之，所有行数目(row number)大于P的缩放矩阵元素都被设定为零，而且所有列数目(column number)大于Q的缩放矩阵元素都被设定为零。P和Q二者可以皆小于CU宽度与CU高度，仅有P小于CU宽度，或是仅有Q小于CU高度。例如，如果归零被应用于大于32的CU行以及大于32的列，32x32缩放矩阵组被用来量化64x64TU。在另一例子中，如果归零被应用于大于32的CU列，32x4缩放矩阵组被用来量化64x4TU。在另一实施例中，MxN缩放矩阵组会被使用来量化MxN的TU。在第P行以及第Q列之外的缩放矩阵的数值被设定为零。P和Q二者可以皆小于M与N，仅有P小于M，或是仅有Q小于N。例如，64x64TU被以64x64缩放矩阵加以量化。然而，在32x32之外范围的数值被设定为零。换言之，在量化处理中在32x32之外的范围会被归零。在另一例子中，64x4TU被以64x4缩放矩阵加以量化。然而，缩放矩阵中在左上方32x4之外范围的数值被归零。换言之，在量化处理中在32x4之外的范围会被归零。
在另一实施例中，揭示一种方法使用系数上取样、系数映射、与内插(例如通过像素重复与基于线性内插的上取样的简单零阶内插)，从小的MxN(即4x4、8x8)量化矩阵来产生用于2p x 2k转换块的量化矩阵，其中p！＝k(例如4x8、8x4、4x16、16x4、4x32、32x4、8x16、16x8、8x32、32x8、16x32、32x16、16x64、64x16、32x64、64x32)以及p＝k(例如16x16、32x32、64x64)，而不传送任何位。当归零被应用时，较小数目的较小MxN量化矩阵需要被解码。例如，64x64TU需要64x64缩放矩阵来进行量化。64x64缩放矩阵可以通过上取样从8x8量化矩阵来加以产生。当归零被应用于64x64TU时，只有4x4量化矩阵需要被发信以产生64x64缩放矩阵，这是由于在64x64缩放矩阵中32x32之外的范围总会是零。因此，对于64x64TU缩放矩阵，其只需要发信4x4矩阵。在一个例子中，只有64x64TU缩放矩阵是从4x4矩阵所推导出来。对于64xN或Mx64TU缩放矩阵，其是从32xN或Mx32 TU缩放矩阵进行上取样而得。
在又一实施例中，在解码较小MxN量化矩阵之后，当归零被应用于第P行以及第Q列之时，MxN量化矩阵被上取样至PxQ。例如，64x64TU需要64x64缩放矩阵来进行量化。64x64缩放矩阵可以通过上取样从8x8量化矩阵来加以产生。当归零被应用于64x64TU中第32行以及第32列之时，8x8量化矩阵会被上取样至32x32，而第32行以及第32列之外的范围会被填入零。因此，对于32x32TU与64x64TU缩放矩阵二者，8x8矩阵被发信。对于64x64TU缩放矩阵，8x8矩阵被使用而被上取样至64x64矩阵。缩放矩阵中在左上方32x32之外的数值都被归零。在一例子中，只有64x64缩放矩阵是从8x8矩阵所推导出来。对于64xN或Mx64缩放矩阵，64x64缩放矩阵是从32xN或Mx32缩放矩阵进行上取样而得。
用于多重转换组(Multiple Transform Set，MTS)的预设量化矩阵
当多重转换组(MTS)被应用时，左上方16x16区域之外转换系数的系数归零也被应用。如果用于预设转换(例如DCT-2转换)与MTS的缩放矩阵为共享，相同的缩放矩阵发信与上取样处理可以被应用。然而，如果用于预设与MTS的缩放矩阵可以不同之时，不同的缩放矩阵发信或不同的上取样处理被应用。在一个例子中，对于32x32TU，如果MTS被应用时，在左上方16x16区域之外的系数都被归零。因此对于应用MTS的32x32TU，只需要16x16缩放矩阵。在一实施例中，MxN矩阵(例如8x8矩阵)被发信。此MxN尺寸大小可以与用于32x32预设转换TU的被发信矩阵的尺寸大小相同。此MxN矩阵被上取样至16x16矩阵以用于此应用MTS的32x32TU。在另一实施例中，MxN矩阵(例如4x4矩阵)被发信。此MxN尺寸大小可以小于用于32x32预设转换TU的被发信矩阵的尺寸大小。此MxN矩阵被上取样至16x16矩阵以用于此应用MTS的32x32TU。
缩放矩阵产生的变型
在另一实施例中，即使应用了系数归零，与TU相同尺寸大小的基础缩放矩阵仍然会产生。例如，对于64x64TU，即使应用了系数归零，只有左上32x32系数是有意义的，64x64基础缩放矩阵仍然会产生。此64x64基础缩放矩阵可以被使用来产生Mx64或64xN的缩放矩阵。在一个例子中，在所产生的缩放矩阵中，归零系数频带的元素数值可以为零。
在另一例子中，对于MxN或NxM缩放矩阵(其中M大于N)，是从MxM矩阵中所推导出并且加以下取样(降低取样频率)至MxN或NxM矩阵。在另一例子中，对于MxN或NxM缩放矩阵(其中M大于N)，是从NxN矩阵中所推导出并且加以上取样(增加取样频率)至MxN或NxM矩阵。
在一实施例中，64x64、64xN、Mx64 TU的缩放矩阵是从32x32 TU的缩放矩阵进行上取样与下取样而来。64x64缩放矩阵不需要语法。例如，使用者所定义的缩放矩阵只包括4x4、8x8、16x16、与32x32。
在一实施例中，帧内块复制模式使用在帧间模式所使用的缩放矩阵。
在另一实施例中，帧内块复制模式使用在帧内模式所使用的缩放矩阵。
在另一实施例中，帧内块复制模式有另外一组缩放矩阵，其与在帧间模式与帧内模式所使用的缩放矩阵不同。
在另一实施例中，帧内块复制模式所使用的有些缩放矩阵和在帧间模式所使用的相同，而其他的和在帧内模式所使用的相同。选择可以是隐含的选择(例如，取决于尺寸大小、量化参数、方块组类型(tile group type))，或显性的选择(例如，在序列层级、画面层级、方块组层级、方块层级、或块层级将选择进行发信)。
可以在编码器与/或解码器的各种硬件、软件具体实现、或是上述的一组合中来实施任何之前所提出的方法。例如，本发明的一实施例可以为一或多个电路来整合在视频压缩芯片中，或程序代码来整合于视频压缩软件中，来实施本文所说明的处理。例如，任何所提出的方法也可以实施为电路来耦合至编码器的量化模块或逆量化模块，而且可以实施为电路来耦合至解码器的逆量化模块。在一实施例中，任何所提出的方法也可以实施在编码器的量化模块或逆量化模块中，而且可以实施在解码器的逆量化模块中。
语法设计
在本发明中，一组语法被揭示以作为本发明的发信，其中语法可以被发信于SPS(sequence parameter set RBSP syntax，序列参数组RBSP语法)、PPS(picture parameterset RBSP syntax，画面参数组RBSP语法)、切片、方块、CTU、与CU标头以将量化矩阵发信至解码器中。
在一实施例中，序列层级“seq_quant_matrix_present_flag”被使用于SPS来对于整个序列是否会使用量化矩阵加以发信。在一实施例中，如果“seq_quant_matrix_present_flag”为真，对于每一转换尺寸与每一频道(Y,U,V)会检查另一语法“seq_quant_matrix_present_idx”，以决定特定的转换尺寸与每一频道是否会使用量化矩阵。在一实施例中，如果“seq_quant_matrix_present_idx”为真，会检查另一语法“use_default_seq_quant_matrix”以决定是否会使用预设的量化矩阵。在一实施例中，如果“use_default_seq_quant_matrix”被发信，预设的量化矩阵会被使用。在这种情况下，预设的量化矩阵会从内存中被读出，而且其余方形、长方形量化矩阵、较大的量化矩阵、与用于所有AMT情况下的量化矩阵会从预设的量化矩阵中被隐含地产生出。在一实施例中，如果“use_default_seq_quant_matrix”为假，序列层级量化矩阵会通过如基于预测熵编解码的编解码方法来显性地加以产生。
在另一实施例中，画面层级语法“pic_quant_matrix_present_flag”被使用于PPS来对于当前画面是否会使用量化矩阵加以发信。下列语法则可以被加入于PPS、切片、方块、CTU、或CU层级。在一实施例中，如果“pic_quant_matrix_present_flag”为真，对于每一预测模式、转换、转换尺寸与每一频道(Y,U,V)会检查另一语法“pic_quant_matrix_present_idx”，以决定特定的预测模式、转换、转换尺寸与每一频道是否会使用量化矩阵。在一实施例中，如果“pic_quant_matrix_present_idx”为真，会检查另一语法“use_seq_quant_matrix_flag”以决定是否会使用序列层级量化矩阵。在一实施例中，如果“pic_quant_matrix_present_idx”不为真，对于某些预测模式与小型转换尺寸，量化矩阵会通过如基于预测熵编解码的编解码方法来显性地加以产生。在一实施例中，对于长方形与较大的转换尺寸，会检查语法“use_implicit_quant_matrix”。如果此语法为真，量化矩阵会通过如内容所提方法的方法来隐含地加以产生。否则，量化矩阵会通过如基于预测熵编解码的编解码方法来显性地加以产生。
视频编码器必须遵循前述的语法设计以便产生合法的比特流，而且只有剖析处理合乎前述语法设计的规范时，视频解码器才可以正确地解码比特流。当语法在比特流中被跳过时，编码器与解码器应该设定语法数值为推论出的数值，以确保编码与解码的结果相符合。
图10依据本发明的一实施例绘示使用共享预设缩放矩阵于帧内块复制(IBC)模式与帧间模式的示例性编解码系统的流程图。本流程图中所示的步骤可以实作成程序代码而可在编码器侧中的一或多个处理器(例如一或多个中央处理器)中执行。本流程图中所示的步骤也可以基于硬件来实作，硬件可以是例如安排来进行本流程图中各步骤的一或多个电子装置或处理器。依据本方法，在步骤1010中，接收关于当前画面的当前块的输入数据；其中该输入数据相对应于在视频编码器侧的该当前块的转换块，而且该输入数据相对应于在视频解码器侧的该当前块的解码后-量化后转换块。在步骤1020中，决定用于该当前块的当前编解码模式。在步骤1030中，检查该当前编解码模式是否为该IBC模式。如果该当前编解码模式为该IBC模式，执行步骤1040与步骤1050。如果该当前编解码模式不是该IBC模式，则跳过步骤1040与步骤1050。在步骤1040中，从共享基础缩放矩阵来推导缩放矩阵。在步骤1050中，依据该缩放矩阵应用逆量化处理于该输入数据，来产生在该视频解码器侧的解码后转换块；其中该共享基础缩放矩阵被应用于相对应于该模式群组中的该帧间模式的另一个编解码模式中的另一个量化处理。
图11依据本发明的一实施例绘示使用缩放矩阵推导方法的示例性编解码系统的流程图。依据本方法，在步骤1110中，接收关于当前画面的当前块的输入数据；其中该输入数据相对应于在视频编码器侧的该当前块的转换块，而且该输入数据相对应于在视频解码器侧的该当前块的解码后-量化后转换块；而且其中M与N是正整数而且M大于N。在步骤1120中，从MxM缩放矩阵中通过次取样(sub-sampling)该MxM缩放矩阵至MxN或NxM缩放矩阵，来推导目标缩放矩阵。在步骤1130中，依据该目标缩放矩阵应用逆量化处理于该输入数据，来产生在该视频解码器侧的解码后转换块。
所示的流程图用于示出根据本发明的视频编解码的示例。在不脱离本发明的精神的情况下，所属领域中熟知此技术者可以修改每个步骤、重组这些步骤、将一个步骤进行分离或者组合这些步骤而实施本发明。在本揭示中，具体的语法和语义已被使用以示出实现本发明实施例的示例。在不脱离本发明的精神的情况下，透过用等同的语法和语义来替换该语法和语义，熟知此技术者可以实施本发明。
上述说明，使得所属领域中熟知此技术者能够在特定应用程序的内容及其需求中实施本发明。对所属领域中熟知此技术者来说，所描述的实施例的各种变形将是显而易见的，并且本文定义的一般原则可以应用于其他实施例中。因此，本发明不限于所示和描述的特定实施例，而是将被赋予与本文所公开的原理和新颖特征相一致的最大范围。在上述详细说明中，说明了各种具体细节，以便透彻理解本发明。尽管如此，将被本领域的熟知此技术者理解的是，本发明能够被实践。
如上所述的本发明的实施例可以在各种硬件、软件代码或两者的结合中实现。例如，本发明的实施例可以是集成在视频压缩芯片内的电路，或者是集成到视频压缩软件中的程序代码，以执行本文所述的处理。本发明的一个实施例也可以是在数字信号处理器(Digital Signal Processor，DSP)上执行的程序代码，以执行本文所描述的处理。本发明还可以包括由计算机处理器、数字信号处理器、微处理器或现场可程序设计门阵列(fieldprogrammable gate array，FPGA)所执行的若干函数。根据本发明，透过执行定义了本发明所实施的特定方法的机器可读软件代码或者固件代码，这些处理器可以被配置为执行特定任务。软件代码或固件代码可以由不同的程序设计语言和不同的格式或样式开发。软件代码也可以编译为不同的目标平台。然而，执行本发明的任务的不同的代码格式、软件代码的样式和语言以及其他形式的配置代码，不会背离本发明的精神和范围。
本发明可以以不脱离其精神或本质特征的其他具体形式来实施。所描述的例子在所有方面仅是说明性的，而非限制性的。因此，本发明的范围由附加的权利要求来表示，而不是前述的描述来表示。权利要求的含义以及相同范围内的所有变化都应纳入其范围内。

Claims (12)

1.一种视频编解码方法，该方法使用属于一个模式群组的编解码模式，该模式群组包括帧内块复制模式与帧间模式，该方法包括：
接收关于当前画面的当前块的输入数据，其中该输入数据相对应于在视频编码器侧的该当前块的转换块，而且该输入数据相对应于在视频解码器侧的该当前块的解码后-量化后转换块；
决定用于该当前块的当前编解码模式；
如果该当前编解码模式相对应于该帧内块复制模式：
从共享基础缩放矩阵来推导缩放矩阵；以及
依据该缩放矩阵应用逆量化处理于该输入数据，来产生在该视频解码器侧的解码后转换块；
其中该共享基础缩放矩阵被应用于相对应于该模式群组中的该帧间模式的另一个编解码模式中的另一个量化处理或另一个逆量化处理。
2.根据权利要求1所述的视频编解码方法，其特征在于，进一步包括依据该缩放矩阵应用量化处理于该输入数据，来产生在该视频编码器侧的编码后-量化后转换块。
3.一种视频编解码装置，该装置使用属于一个模式群组的编解码模式，该模式群组包括帧内块复制模式与帧间模式，而且该装置包括一或多个电子电路或处理器被配置用来：
接收关于当前画面的当前块的输入数据，其中该输入数据相对应于在视频编码器侧的该当前块的转换块，而且该输入数据相对应于在视频解码器侧的该当前块的解码后-量化后转换块；
决定用于该当前块的当前编解码模式；
如果该当前编解码模式相对应于该帧内块复制模式：
从共享基础缩放矩阵来推导缩放矩阵；以及
依据该缩放矩阵应用量化处理于该输入数据，来产生在该视频编码器侧的编码后-量化后转换块，或是依据该缩放矩阵应用逆量化处理于该输入数据，来产生在该视频解码器侧的解码后转换块；
其中该共享基础缩放矩阵被应用于相对应于该模式群组中的该帧间模式的另一个编解码模式中的另一个量化处理或另一个逆量化处理。
4.根据权利要求3所述的视频编解码装置，其特征在于，该一或多个电子电路或处理器被配置用来依据该缩放矩阵应用量化处理于该输入数据，来产生在该视频编码器侧的编码后-量化后转换块。
5.一种视频解码方法，该方法包括：
接收关于当前画面的当前块的输入数据，其中该输入数据相对应于在视频编码器侧的该当前块的转换块，而且该输入数据相对应于在视频解码器侧的该当前块的解码后-量化后转换块；而且其中该当前块的块尺寸大小相对应于MxN或NxM，其中M与N是正整数而且M大于N；
从MxM缩放矩阵中通过次取样该MxM缩放矩阵至MxN或NxM缩放矩阵，来推导目标缩放矩阵；
依据该目标缩放矩阵应用逆量化处理于该输入数据，来产生在该视频解码器侧的解码后转换块。
6.根据权利要求5所述的视频解码方法，其特征在于，该MxM缩放矩阵是通过上取样共享基础缩放矩阵而产生，而且M大于8。
7.根据权利要求6所述的视频解码方法，其特征在于，该上取样相对应于像素重复。
8.根据权利要求6所述的视频解码方法，其特征在于，该上取样相对应于线性内插。
9.根据权利要求6所述的视频解码方法，其特征在于，包括从多个基础缩放矩阵的尺寸大小中选择该共享基础缩放矩阵的尺寸大小。
10.根据权利要求5所述的视频解码方法，其特征在于，该次取样相对应于分别对该MxM缩放矩阵的列中每M/2p系数与行中每M/2k系数进行次取样，其中M等于2p而且N等于2k。
11.根据权利要求5所述的视频解码方法，其特征在于，进一步包括：
在该MxN或NxM缩放矩阵进行至少下列步骤之一：
对于列数目大于Q的缩放矩阵元素设定为零；以及
对于行数目大于P的缩放矩阵元素设定为零；其中Q是小于M的正整数，P是小于N的正整数。
12.一种视频编解码装置，该装置包括一或多个电子电路或处理器被配置用来：
接收关于当前画面的当前块的输入数据，其中该输入数据相对应于在视频编码器侧的该当前块的转换块，而且该输入数据相对应于在视频解码器侧的该当前块的解码后-量化后转换块；而且其中该当前块的块尺寸大小相对应于MxN或NxM，其中M与N是正整数而且M大于N；
从MxM缩放矩阵中通过次取样该MxM缩放矩阵至MxN或NxM缩放矩阵，来推导目标缩放矩阵；
依据该目标缩放矩阵应用逆量化处理于该输入数据，来产生在该视频解码器侧的解码后转换块。
CN202080009595.0A 2019-03-10 2020-03-06 视频编码的量化矩阵计算以及表示方法和装置 Active CN113302925B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962816167P 2019-03-10 2019-03-10
US62/816,167 2019-03-10
US201962816978P 2019-03-12 2019-03-12
US62/816,978 2019-03-12
PCT/CN2020/078123 WO2020182069A1 (en) 2019-03-10 2020-03-06 Mehtod and apparatus of the quantization matrix computation and representation for video coding

Publications (2)

Publication Number Publication Date
CN113302925A true CN113302925A (zh) 2021-08-24
CN113302925B CN113302925B (zh) 2024-05-10

Family

ID=72427694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080009595.0A Active CN113302925B (zh) 2019-03-10 2020-03-06 视频编码的量化矩阵计算以及表示方法和装置

Country Status (5)

Country Link
US (1) US20220182629A1 (zh)
EP (2) EP4231641A1 (zh)
CN (1) CN113302925B (zh)
TW (1) TWI730659B (zh)
WO (1) WO2020182069A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4376411A2 (en) * 2019-04-16 2024-05-29 LG Electronics Inc. Transform in intra prediction-based image coding
EP4013054A4 (en) * 2019-09-06 2022-10-26 Sony Group Corporation IMAGE PROCESSING DEVICE AND METHOD

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110150350A1 (en) * 2009-12-17 2011-06-23 Mega Chips Corporation Encoder and image conversion apparatus
CN103220517A (zh) * 2012-01-20 2013-07-24 索尼公司 Hevc标准的量化矩阵设计
CN103765788A (zh) * 2011-08-23 2014-04-30 联发科技（新加坡）私人有限公司 在视频编码中依据量化矩阵处理变换区块的方法与系统
WO2016123091A1 (en) * 2015-01-26 2016-08-04 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US20160241852A1 (en) * 2013-10-01 2016-08-18 Sony Corporation Data encoding and decoding

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101039421A (zh) * 2006-03-16 2007-09-19 华为技术有限公司 在编解码中的实现量化的方法和装置
US9167252B2 (en) * 2010-12-01 2015-10-20 Texas Instruments Incorporated Quantization matrix compression in video coding
KR20120098500A (ko) * 2011-02-25 2012-09-05 삼성전자주식회사 영상의 변환 및 역변환 방법, 및 이를 이용한 영상의 부호화 및 복호화 장치
AU2013227608B2 (en) * 2012-02-29 2016-07-21 Sony Corporation Image processing device and method
WO2013154028A1 (ja) * 2012-04-13 2013-10-17 ソニー株式会社 画像処理装置および方法
EP3481063A1 (en) * 2016-07-04 2019-05-08 Sony Corporation Image processing device and method
US10812797B2 (en) * 2018-02-05 2020-10-20 Tencent America LLC Method, apparatus and medium for decoding or encoding using a low-complexity transform
US20210006796A1 (en) * 2018-03-28 2021-01-07 Sony Corporation Image processing device and image processing method
US10448026B1 (en) * 2018-07-09 2019-10-15 Tencent America LLC Method and apparatus for block vector signaling and derivation in intra picture block compensation
US20210274197A1 (en) * 2018-07-13 2021-09-02 Electronics And Telecommunications Research Institute Method and device for image encoding/decoding, and recording medium having bitstream stored thereon
US10469845B1 (en) * 2018-09-21 2019-11-05 Tencent America, Llc Method and apparatus for intra mode coding
US11159795B2 (en) * 2019-03-04 2021-10-26 Tencent America LLC Max transform size control
US20220248017A1 (en) * 2019-03-06 2022-08-04 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus, and recording medium storing bitstream

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110150350A1 (en) * 2009-12-17 2011-06-23 Mega Chips Corporation Encoder and image conversion apparatus
CN103765788A (zh) * 2011-08-23 2014-04-30 联发科技（新加坡）私人有限公司 在视频编码中依据量化矩阵处理变换区块的方法与系统
US20140177728A1 (en) * 2011-08-23 2014-06-26 Ximin Zhang Method and system of transform block processing according to quantization matrix in video coding
CN103220517A (zh) * 2012-01-20 2013-07-24 索尼公司 Hevc标准的量化矩阵设计
US20160241852A1 (en) * 2013-10-01 2016-08-18 Sony Corporation Data encoding and decoding
WO2016123091A1 (en) * 2015-01-26 2016-08-04 Qualcomm Incorporated Enhanced multiple transforms for prediction residual

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHOI，KIHO等: ""CE6: Unified matrix for transform (Test 6-1.2a)"" *
TOMA，TADAMASA 等: "CE7-related: Support of quantization matrices" *

Also Published As

Publication number Publication date
EP3918797A4 (en) 2023-01-25
EP3918797A1 (en) 2021-12-08
TWI730659B (zh) 2021-06-11
TW202044842A (zh) 2020-12-01
US20220182629A1 (en) 2022-06-09
CN113302925B (zh) 2024-05-10
EP4231641A1 (en) 2023-08-23
WO2020182069A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
WO2020192633A1 (en) Method and apparatus of the quantization matrix computation and representation for video coding
AU2016253621B2 (en) Method and apparatus for encoding image and method and apparatus for decoding image
CA2914581C (en) Inter-color component residual prediction
TWI762889B (zh) 用於視頻編解碼的量化矩陣計算和表示的方法和裝置
US20140146894A1 (en) Devices and methods for modifications of syntax related to transform skip for high efficiency video coding (hevc)
EP2920971B1 (en) Devices and methods for processing of non-idr related syntax for high efficiency video coding (hevc)
PH12014501332B1 (en) Image processing device and method
WO2014055231A1 (en) Devices and methods for using base layer motion vector for enhancement layer motion vector prediction
CN113302925B (zh) 视频编码的量化矩阵计算以及表示方法和装置
WO2014100111A1 (en) Devices and methods for using base layer intra prediction mode for enhancement layer intra mode prediction
CN114073076B (zh) 量化矩阵的发信技术
KR20130083405A (ko) 디블록킹 필터링 방법 및 그 장치
US20240007636A1 (en) Method and apparatus for video coding using versatile information-based context model
US20240007645A1 (en) Video encoding and decoding method using adaptive reference pixel selection
US20230130958A1 (en) Video encoding and decoding using adaptive color transform
KR20210000828A (ko) 비디오 코덱에서 2차 변환 계수의 생성 방법
CN114270842A (zh) 利用差分编码的视频编码和解码
KR20210035413A (ko) 비디오 코덱에서 행렬 기반 인트라 예측에 따른 명시적 주변환 커널 적용 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220425

Address after: Hsinchu County, Taiwan, China

Applicant after: MEDIATEK Inc.

Address before: Hsinchu Science Park Road, Taiwan city of Hsinchu China Dusing 1

Applicant before: MEDIATEK Inc.

GR01 Patent grant
GR01 Patent grant