CN112771864A - 视频编解码系统中变换系数量化缩放的方法及装置 - Google Patents

视频编解码系统中变换系数量化缩放的方法及装置 Download PDF

Info

Publication number
CN112771864A
CN112771864A CN201980058854.6A CN201980058854A CN112771864A CN 112771864 A CN112771864 A CN 112771864A CN 201980058854 A CN201980058854 A CN 201980058854A CN 112771864 A CN112771864 A CN 112771864A
Authority
CN
China
Prior art keywords
transform block
normalized
current
scaling factor
current transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980058854.6A
Other languages
English (en)
Other versions
CN112771864B (zh
Inventor
向时达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN112771864A publication Critical patent/CN112771864A/zh
Application granted granted Critical
Publication of CN112771864B publication Critical patent/CN112771864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

视频数据的处理方法以及装置包括接收与当前视频图像中当前变换块有关的输入数据，决定所述当前变换块的尺寸是否是4的幂，决定已归一化量化或解量化缩放因子，通过应用量化处理到所述当前变换块中的已缩放变换系数生成变换系数层级或通过应用逆量化处理到所述当前变换块中的变换系数层级生成已缩放变换系数，以及编码或解码所述当前变换块。所述量化处理包括由所述已归一化量化缩放因子缩放该已缩放变换系数以及该逆量化处理器包括由该已归一化的解量化缩放因子缩放该变换系数层级。

Description

视频编解码系统中变换系数量化缩放的方法及装置
相关引用
本发明要求于2018年9月18日提交的，美国临时专利申请案62/733,100，标题为“Methods and apparatus for quantization of transform coefficients”的优先权。美国临时专利申请案在此通过参考纳入其中。
技术领域
本发明涉及用于视频编码或视频解码的视频数据处理方法以及装置。特别地，本发明涉及用于正方形以及非正方形块的变换系数的量化缩放(quantization scaling)。
背景技术
高效视频编解码(High-Efficiency Video Coding，HEVC)标准是由来自ITU-T研究小组的视频编解码专家的视频编解码联合协作小组(JCT-VC)开发的最新的视频编解码标准。HEVC标准依靠基于块的编解码结构，其将每一条带(slice)拆分成多个编码树单元(Coding Tree Unit，CTU)。一个已编码图像由一个或一批条带所表示，每一条带包括整数数目的CTU。条带中的单个CTU根据光栅扫描次序(raster scanning order)进行处理。双向预测(Bi-predictive，B)条带中每一块的样本值使用帧内图像预测或使用至多两个运动向量以及参考索引的帧间图像预测进行解码。预测(Predictive，P)条带中每一块的样本值是使用帧内图像预测或仅使用一个运动向量以及参考索引的帧间图像预测来解码。帧内(intra，I)条带仅使用帧内图像预测进行解码。每一CTU根据四叉树(quadtree，QT)分割方法被进一步递归地拆分成一个或多个编码单元(coding unit，CU)来适应各种局部运动以及纹理特性。图1中示出了用于将一个CTU拆分成多个CU的四叉树块分割结构的示例，其中实线指示CTU 100中的CU边界。
预测决定在CU级上做出，其中每一CU由帧间图像预测或帧内图像预测进行编码。一旦完成CU分层树的拆分，每一CU根据PU分割类型进一步被拆分成一个或多个预测单元(Prediction Unit，PU)用于预测。图2示出了HEVC标准中定义的8个PU分割类型。每一CU根据图2示出的8个PU分割类型之一被拆分成一个、两个或四个PU。因为相同的预测进程被应用于PU中的所有像素以及预测相关信息在PU基础上被传达给解码器，PU与相关CU语法作为用于共享预测信息的基本代表块。指定的预测进程被采用来预测PU内相关像素样本的值。在获得由预测进程生成的残差信号后，属于CU的残差信号的残差数据属于根据残差四叉树(Residual QuadTree，RQT)块分割结构被拆分成一个或多个变换单元(Transform Unit，TU)，以将残差数据变换成变换系数用于紧凑数据表示。图1中虚线指示TU边界。TU是在编码进程中对残差信号应用变换以及量化的基础代表块。对于每一TU，具有与TU相同尺寸的变换矩阵被应用于残差信号来生成变换系数，以及这些变换系数在TU的基础上被量化以及被传达给解码器。变换单元由根据4:2:0色彩格式编码的图像中尺寸为8×8、16×16或32×32的亮度样本的一个变换块(Transform Block，TB)以及色度样本的两个对应的变换块组成。整数变换被应用于变换块以及已量化系数的层级值(level value)与其他辅助信息(sideinformation)一起被熵编码到视频比特流。
术语编码树块(coding tree block，CTB)、编码块(coding block，CB)、预测块(prediction block，PB)以及变换块(transform block，TB)被分别定义为指定与CTU、CU、PU以及TU有关的一个颜色分量的二维样本组。例如，CTU由一个亮度(luma)CTB、两个色度(chroma)CTB以及其相关的语法元素组成。在HEVC系统中，除非达到色度块的最小尺寸，相同的四叉树块分割结构通常被应用于亮度以及色度分量两者。
ITU-T SG16 WP3以及ISO/IEC JTC1/SC29/WG11的联合视频专家小组(JVET)目前正在研究制定下一代视频编解码标准通用视频编解码(versatile video coding，VVC)。一些有希望的新的编解码工具已经被采用到VVC工作草案(Working Draft，WD)2中。在VVCWD2中，通过四叉树与使用二叉树(binary tree)以及三叉树(ternary tree)拆分的嵌入的多类型树(Multi-Type Tree，MTT)一起，每一CTU可以被拆分成一个或多个更小尺寸的CU。所生成的CU分割以及对应的TU分割可以是正方形或者矩形形状。
发明内容
视频编解码系统中处理视频数据的方法以及装置接收与当前视频图像中当前变换块有关的输入数据，决定所述当前变换块的尺寸是否是4的幂，根据所述当前变换块的尺寸是否是4的幂决定已归一化量化缩放因子或已归一化解量化缩放因子，通过应用量化处理到所述当前变换块中的已缩放变换系数生成变换系数层级或者通过应用逆量化处理到所述当前变换块中的变换系数层级生成已缩放变换系数，以及编码所述当前变换块或解码所述当前变换块。所述量化处理包括通过由所述已归一化量化缩放因子缩放该已缩放变换系数以及该逆量化处理包括通过该已归一化解量化缩放因子缩放该变换系数层级。所述当前变换块由分割结构拆分以及由该分割结果拆分所生成块的形状是正方形或非正方形。
由于单个缩放操作替代解量化缩放与归一化缩放的级联操作，已归一化解量化缩放因子等于解量化缩放因子与归一化缩放因子的乘积。在一些实施例中，根据所述当前变换块的该尺寸是否是4的幂，从查找表(look-up table)中检索该已归一化解量化缩放因子。通过将所述当前变换块中该变换系数层级与该已归一化解量化缩放因子相乘生成所述当前变换块的该已缩放变换因子。该查找表存储对应于变换块尺寸等于4的幂的不同量化参数的该已归一化解量化参数因子的值以及该查找表也存储对应于变换块尺寸不等于4的幂的不同量化参数的该已归一化解量化参数的值。
在一个实施例中，通过将所述变换系数层级TransCoeffLevel[x][y]、已指定缩放列表m[x][y]以及所述已归一化解量化缩放因子levelScaleRectNorm[rectNormFlag][qP％6]相乘生成该已缩放变换系数d[x][y]，其中x以及y表示所述当前变换块中样本的坐标。该已归一化解量化缩放因子取决于指示所述当前变换块的该尺寸是否是4的幂的旗标rectNormFlag，以及qP％6是该量化参数除以6的余数。根据变量bdShift进一步生成该已缩放变换系数，其根据该视频数据的比特深度以及所述当前变换块的该尺寸来推导。
在本发明的一些实施例中，固定点计算被采用以便生成所述当前变换块的该已缩放的变换系数，以及用于表示该已归一化解量化缩放因子的分数比特的数目被设置为预设精度。该预设精度的示例是根据用于解量化缩放的分数比特的数目来设置，以及该预设精度的另一个示例是根据用于归一化缩放的分数比特的数目来设置。例如，该默认精度被设置为6比特。
通过根据所述当前变换块的尺寸是否是4的幂从查找表检索可以决定用于编码所述当前变换块的所述已归一化量化缩放因子。通过将所述当前变换块中该已缩放变换系数与该已归量化缩放因子相乘生成该变换系数层级。所述查找表存储对应于变换块尺寸等于4的幂的不同量化参数的所述已归一化量化缩放因子的值以及存储对应于变换块尺寸不等于4的幂的不同量化参数的该已归一化量化参数的值。
根据决定所述当前变换块的尺寸是否是4的幂来决定所述当前变换块是否是正方形或非正方形，以及当所述当前变换块的该尺寸是4的幂时，所述当前变换块是正方形。
本发明的一方面进一步提供了用于编码或解码视频数据的视频编解码系统的装置，通过应用量化处理到当前变换块中的已缩放变换系数或者应用逆量化处理到当前变换块中的变换系数层级。其中所述量化处理由已归一化量化缩放因子缩放该已缩放变换系数，以及该逆量化处理由已归一化解量化缩放因子缩放该变换系数层级。所述已归一化量化缩放因子以及该已归一化解量化缩放因子取决于所述当前变换块的该尺寸是否是4的幂。
本发明的另一方面进一步提供了存储程序指令的非瞬时计算机可读媒介，使得装置的处理电路执行用于变换系数的量化缩放的视频编解码处理。在阅读具体实施例的后续描述后，本发明的其他方面以及特征对本领域普通技术人员将是显而易见的。
附图说明
以示例提出的本发明的各种实施将参考后续图示进行详细描述，其中相同的附图标记指示相同的组件，以及其中：
图1示出了根据HEVC标准中定义的四叉树拆分，用于将编码树单元(CTU)拆分成多个编码单元(CU)以及将每一CU拆分成一个或多个变换单元(TU)的示例性编码树。
图2示出了根据HEVC标准用于将CU拆分成一个或多个PU的8个不同的预测单元(PU)分割类型。
图3是示出了应用量化缩放到当前变换块中的变换系数层级(transformcoefficient level)的本发明实施例的流程图。
图4示出了根据本发明实施例的结合视频数据处理方法的视频编码系统的示例性系统框图。
图5示出了根据本发明实施例的结合视频数据处理方法的视频解码系统的示例性系统框图。
具体实施方式
将容易理解，本发明的组件(如通常以本文图示所描述以及示出的)可以以多种多样不同配置进行安排以及设计。因此，如图示中所表示的，本发明的系统以及方法的实施例的后续更详细的描述不旨在限制本发明的范围，如所要求保护的，仅代表本发明所选择的实施例。
贯穿本说明书对“一个实施例”、“一些实施例”或类似语言的引用意味着结合实施例所描述的特定特征、结构或特性将包括在本发明至少一个实施例中。因此，贯穿本说明书各个位置中短语“在一个实施例中”或“在一些实施例中”的出现不需要都参考相同的实施例，这些实施例将单独地实施或结合一个或多个其他实施例实施。此外，所描述的特征、结构或特性将以一个或多个实施例中任何合适的方式结合。相关领域技术人员将意识到，本发明可以在没有一个或多个特定细节的情况下或用其他方法、组件等等来实施。换言之，公知的结构或操作未示出或未详细描述来避免混淆本发明的各个方面。
由除了四叉树分割方法之外的分割方法拆分的编码块可能不都是正方形。例如，四叉树加二叉树(QuadTree plus Binary Tree，QTBT)、二叉树(binary tree)、三叉树(ternary tree)、多类型树(Multi-Type Tree，MTT)分割方法生成一些矩形形状编码块以及因此对应的变换块也是矩形形状。如果变换块的尺寸不是4的幂，变换块的DC增益(DCgain)不是2的幂。在这种情况中，变换系数的值以及已编码变换系数层级由2的平方根(square root)进行缩放，用于变换系数值的归一化(normalization)，考虑到计算，其是不期望的缩放操作。被应用于缩放变换块的已编码变换系数层级的缩放因子与变换块面积的平方根成反比。变换块的面积通过将变换块的宽度与高度相乘来计算，以及如果变换块是正方形，面积是4的幂。因为4的幂的平方根是2的幂，当变换块是正方形时，缩放因子可以由右移位(right shift)来实施。然而，如果变换块的面积不是4的幂，简单的右移位是不可用的。
具有一个行中nTbW个元素以及一个列中nTbH个元素的数组d包含表示变换块的已缩放变换系数的元素d[x][y]，以及这些元素从变换块的已编码变换系数层级TransCoeffLevel[x][y]推导如下，其中x＝0…nTbW-1以及y＝0…nTbH-1。d[x][y]＝(TransCoeffLevel[x][y]*m[x][y]*levelScale[qP％6]*rectNorm+((1<<bdShift)>>1))>>bdShift等式(1)
其中m[x][y]是已指定缩放列表，levelScale[]被指定为levelScale[k]＝{40,45,51,57,64,72}，k＝0…5，用于关于已指定量化参数qP的解量化缩放(dequantizationscaling)。例如，当qP是24，qP除以6的余数是0，levelsScale[24％6]＝40。变量rectNorm以及bdShift取决于当前变换块尺寸是否是4的幂，例如，当当前变换块尺寸不是4的幂时，即当前变换块不是正方形，归一化缩放因子rectNorm被设置为等于181以及移位值bdShift增加8。变量rectNormFlag、bdShift以及rectNrom被推导如下：
rectNormFlag＝((Log2(nTbW)+Log2(nTbH))&1)＝＝1？1:0 等式(2)
bdShift＝bitDepth+rectNormFlag*8+(Log2(nTbW)+Log2(nTbH))/2)-5+dep_quant_enabled_flag 等式(3)
rectNorm＝(rectNormFlag＝＝1)？181:1 等式(4)
其中log()是2为底的对数函数以及当从属量化(dependent quantization)被采用以生成已编码变换系数层级时，语法dep_quant_enabled_flag等于1，否则dep_quant_enabled_flag等于0。已缩放变换系数d[x][y]、已编码变换系数层级TransCoeffLevel[x][y]、已指定缩放列表m[x][y]、解量化缩放因子(dequantization scaling factor)levelScale以及归一化缩放因子(normalization scaling factor)rectNorm的值都是整数。从通过解量化缩放因子levelScale[qP％6]以及归一化缩放因子rectNorm的级联式缩放(cascaded scaling)生成的分数比特(fractional bit)的数目等于14，包括levelScale[]的6个分数比特以及rectNorm的8个分数比特。
在本发明示例性实施例中，通过解量化缩放因子以及归一化缩放因子对已编码变换系数层级TranCoeffLevel[x][y]的级联式缩放操作被具有已归一化解量化缩放因子(normalized dequantization scaling factor)的一个单个缩放操作所替代。已归一化解量化缩放因子等于解量化缩放因子与归一化缩放因子的乘积。在一些优选实施例中，对应于解量化缩放因子以及归一化缩放因子不同组合的已归一化解量化缩放因子的值被预计算并且被存储在查找表(look-up table)中。本发明的实施例可以被采用于DC增益不等于2的幂的变换块中变换系数的量化或解量化，换言之，处理非正方形变换块的变换系数。
在生成视频编解码系统中所采用的已缩放变换系数用于编码变换系数的值的一些实施例中，变换块中已缩放变换系数通过将变换块中变换系数层级、已归一化解量化缩放因子以及已指定缩放列表相乘推导出。例如，用于变换块的已缩放变换系数的数组d根据已编码变换系数层级TransCoeffLevel[x][y]推导如下：
d[x][y]＝(TransCoeffLevel[x][y]*m[x][y]*levelScaleRectNorm[rectNormFlag][qP％6]+((1<<bdShift)>>1))>>bdShift 等式(5)
具有一个行中nTbW个元素以及一个列中nTbH个元素的数组，其包括元素d[x][y]，其中x＝0…nTbW-1,y＝0…nTbH-1。当前变换块的尺寸是nTbW*nTbH，以及x与y表示当前变换块中样本的坐标。变数m[x][y]是已指定缩放列表。变数levelScaleRectNorm[rectNormFlag][qP％6]是已归一化解量化缩放因子，其取决于旗标rectNormFlag以及量化参数qP除以6的余数。基于当前变换块的尺寸是否是4的幂，旗标rectNormFlag指示当前变换块是否是正方形块或非正方形块。当当前变换块是正方形块时，旗标rectNormFlag等于0，以及当当前变换块是非正方形块时，旗标等于1。变量bdShfit根据视频数据的比特深度以及当前变换块尺寸被推导如下：
bdShift＝bitDepth+(Log2(nTbW)+Log2(nTbH))/2)-11+RECT_NORM_FRAC_BITS+dep_quant_enabled 等式(6)
其中常数REC_NORM_FRAC_BITS对应于用于表示已归一化缩放因子的分数部分的比特的数目。
如具体描述中早些所提到的，用于解量化缩放因子的分数比特的数目是6以及用于归一化缩放因子的分数比特(fractional bit)的数目是8，以及用于缩放非正方形变换块的变换系数的分数比特的数目是14比特，其相比于正方形块的比特计数，有8个比特的增加。因此不同的缩放精度用于不同的变换块形状。根据本发明一些实施例，固定点计算(fixed-point computation)被采用以便重构已解码变换系数，用于表示查找表的条目值的分数比特的数目可以从原始精度减少到预设精度。查找表存储已预计算的已归一化解量化缩放因子或已预计算的已归一化量化缩放因子的值。根据用于解量化缩放的分数比特的数目或用于归一化缩放的分数比特的数目，分数比特的数目被减少。例如，视频编解码系统使用与解量化缩放因子相同数目的分数比特。这样，在已归一化解量化缩放操作后，分数比特的数目将不会由于用于处理非正方形TB的归一化缩放操作而增加。在另一个示例中，视频编解码系统使用与归一化缩放因子相同数目的分数比特。这一示例中变换系数的归一化可以以相同的精度被处理。
表1示出了当常数RECT_NORM_FRAC_BITS等于6时，存储已归一化解量化缩放因子levelScaleRectNorm[rectNormFlag][qP％6]的值的查找表的示例，以及表2示出了当常数RECT_NORM_FRAC_BITS等于8时，用于已归一化解量化缩放因子的查找表的示例。表3以及表4是存储已归一化量化缩放因子的值的查找表的示例，在编码器具有14个分数比特用于变换系数的量化。表3中的值对应于表1中已归一化解量化缩放因子，以及表4中的值对应于表2中已归一化解量化缩放因子。
表1
Figure GDA0003009215650000101
表2
Figure GDA0003009215650000102
表3
Figure GDA0003009215650000111
表4
Figure GDA0003009215650000112
在使用6个分数比特来表示已归一化解量化缩放因子(即，RECT_NORM_FRAC_BITS＝6)的示例中，通过搜索如表1示出的查找表，当量化参数是1、7、13、19、25、31、37、43或49(qP％6＝1)时，用于正方形变换块的已归一化解量化缩放参数是45，以及用于非正方形变换块的已归一化解量化缩放参数是32。在对应的编码器，当量化参数是1、7、13、19、25、31、37、43或49时，通过搜索表3中的查找表，用于编码正方形变换块的对应的已归一化量化缩放因子是23302以及用于编码非正方形块的对应的已归一化量化缩放因子时32768。
本发明的实施例大大地减少了对非正方形块的变换系数执行量化或解量化的计算复杂度。在一些采用固定点计算的实施例中，通过限制用于量化缩放的分数比特的数目，计算复杂度被进一步减小。
图3示出了处理视频编解码系统中变换块的本发明实施例的流程图。视频数据的当前视频图像或当前条带被拆分成多个非重叠块用于视频编码或解码。在步骤S302，视频编解码系统接收与该当前视频图像或当前条带中当前变换块有关的输入数据。该输入数据包括从视频编码系统中变换模块输出的变换系数或者该输入数据包括由视频解码系统中熵解码器从视频比特流中剖析出来的已编码变换系数层级。当前变换块可以是正方形或非正方形，以及在步骤S304中，视频编解码系统决定所述当前变换块的尺寸是否是4的幂。例如，如果当前变换块尺寸等于4的幂，所述当前变换块是正方形块。在步骤S306中，根据所述当前变换块的该尺寸是否是4的幂，决定用于编码所述当前变换块的已归一化量化缩放因子，或者根据所述当前变换块的尺寸是否是4的幂，决定用于解码所述当前变换块的已归一化解量化缩放因子。在视频编码系统中，在步骤S308，通过应用量化处理到所述当前变换块中的已缩放变换系数，生成变换系数层级。在视频解码系统中，通过应用逆量化处理到所述当前变换块中的变换系数层级，生成已缩放变换系数。量化处理包括通过该视频编码系统中已归一化量化缩放因子缩放该已缩放变换系数，以及该逆量化处理包括通过该视频解码系统中已归一化解量化缩放因子缩放该变换系数层级。在步骤S310，编码所述当前变换块或解码所述当前变换块。在步骤S306的实施例中，根据所述当前变换块的尺寸是否是4的幂以及根据用于量化或解量化所述当前变换块的量化参数的值，从查找表中检索该已归一化量化缩放参数或该已归一化解量化缩放参数。
图4示出了实施本发明实施例的视频编码器400的示例性系统框图。帧内预测模块410基于当前图像的重构视频数据提供帧内预测子。帧间预测模块412基于来自一个或多个其他图像的参考视频数据执行运动估计(motion estimation，ME)以及运动补偿(motioncompensation，MC)来提供预测子。帧内预测模块410或帧间预测模块412提供所选择的预测子到加法器416来形成残差。当前块的残差进一步由变换模块(T)418紧接着量化模块(Q)420处理。量化模块420从变换模块418接收每一变换块的已缩放变换系数，以及缩放所述已缩放变换系数。量化模块的一个实施例在查找表中存储对应于变换块尺寸等于4的幂以及变换块的尺寸不等于4的幂的不同量化参数的已归一化量化缩放因子。通过与从该查找表中搜索的已归一化量化缩放因子相乘来缩放当前变换块中的已缩放变换系数来生成变换系数层级。通过根据当前变换块的量化参数应用量化处理来生成当前变换块的变换系数层级。已变换以及已量化参数然后由熵编码器430进行编码来形成视频比特流。视频比特流然后与辅助信息一起打包。当前块的已变换以及已量化残差信号由逆量化模块(IQ)422以及逆变换模块(IT)424处理来恢复预测残差。IQ模块以单个缩放操作缩放已编码变换系数来生成已缩放变换系数。如图4所示，通过在重构模块(REC)426添加回所选择的预测子恢复该残差来生成已重构视频数据。已重构视频数据可以被存储在参考图像缓冲器(Ref.Pict.Buffer)432以及用于其他图像的预测。由于编码处理，来自REC模块426的已重构视频数据可以经受各种损害，因此，在存储到参考图像缓冲器432中之前，将环路处理滤波器(ILPF)428应用于已重构视频数据来进一步增强图像质量。语法元素被提供到熵编码器430用于结合到视频比特流中。
在图5中示出了对应的视频解码器500，用于解码由图4的视频编码器400生成的视频比特流。视频比特流被输入到视频解码器500以及由熵解码器510解码来解析(parse)以及恢复已变换以及已量化的残差信号以及其他系统信息。熵解码器510剖析当前变换块的已编码变换系数层级。除了解码器500仅需要帧间预测模块514的运动补偿预测，解码器500的解码进程类似于在编码器400的重构环路。每一块由帧内预测模块512或帧间预测模块514解码。开关516根据已解码模式信息选择来自帧内预测模块512的帧内预测子或来自帧间预测模块514的帧间预测子。通过逆量化模块(IQ)520以及逆变换模块(IT)522恢复已变换以及已量化残差信号。通过由已归一化解量化缩放因子缩放当前变换块中的已编码变换系数层级，逆量化模块520生成已缩放变换系数，以及根据当前变换块的量化参数应用逆量化处理来生成已缩放变换系数。所恢复的残差信号通过在REC模块518添加回预测子来生成已重构视频。已重构视频进一步由环路处理滤波器(ILFP)524来生成最终已解码视频。如果当前已解码图像是参考图像，当前已解码图像的已重构视频也存储在参考图像缓冲器526中用于解码次序中的后续图像。
图4以及图5中视频编码器400以及视频解码器500的各种组件可以由硬件组件、用于执行存储在存储器中的程序指令的一个或多个处理器或硬件与处理器的组合来实施。例如，处理器执行程序指令来控制与当前变换块有关的输入数据的接收。处理器配备有单个或多个处理核心。在一些示例中，处理器执行程序指令来执行编码器400以及解码器500中一些组件的功能，以及与处理器电性耦合的存储器用于存储程序指令、对应于块的已重构图像的信息、与/或编码或解码进程中的中间数据。一些实施例中的存储器包括非瞬时计算机可读媒介，例如半导体或固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、硬盘、光盘或者其他合适的存储媒介。存储器也可以是上述列出的一个或多个非瞬时计算机可读媒介的组合。如图4以及图5所示，编码器400以及解码器500可以在相同的电子装置中实施，如果在相同的电子装置中实施，编码器400以及解码器500的各种功能组件可以共享或重新使用。例如，图4中的重构模块426、逆变换模块424、逆量化模块422、环路处理滤波器428以及参考图像缓冲器432也分别可以用于充当图5中重构模块518、逆变换模块522、逆量化模块520、环路处理器滤波器524以及参考图像缓冲器526。
视频编解码系统中对正方形或非正方形块应用量化缩放的视频数据处理方法的实施例可以在集成到视频压缩芯片的电路或者集成到视频压缩软件的程序代码中实施来执行以上描述的处理。例如，当前变换块中的缩放变换系数层级可以以将在计算机处理器、数字信号处理器(DSP)、微处理器或现场可程序设计门阵列(FPGA)上执行的程序代码的方式实现。这些处理器可以用于执行根据本发明的具体任务，通过执行定义由本发明实施的特定方法的机器可读软件代码或固件代码。
在不背离其精神或基本特性的情况下，本发明可以以其他具体的形式实施。所描述的示例在所有方面仅被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求而非前述描述来指示。在权利要求的等同物的含义以及范围内的所有变化都包括在其范围内。

Claims (15)

1.一种视频编解码系统中编码或解码视频数据的方法，其特征在于，所述方法包括：
接收与当前视频图像中当前变换块有关的输入数据；
决定所述当前变换块的尺寸是否是4的幂；
根据所述当前变换块的所述尺寸是否是4的幂，决定用于编码所述当前变换块的已归一化量化缩放因子，或决定用于解码所述当前变换块的已归一化解量化缩放因子；
通过应用量化处理到所述当前变换块中的已缩放变换系数生成变换系数层级，或者通过应用逆量化处理到所述当前变换块中的变换系数层级生成已缩放变换系数，其中所述量化处理包括由所述已归一化量化缩放因子缩放所述已缩放变换系数，以及所述逆量化处理包括由所述已归一化解量化缩放因子缩放所述变换系数层级；以及
编码所述当前变换块或解码所述当前变换块。
2.如权利要求1所述的视频编解码系统中编码或解码视频数据的方法，其特征在于，其中，所述已归一化解量化缩放因子等于解量化缩放因子与归一化缩放因子的乘积。
3.如权利要求1所述的视频编解码系统中编码或解码视频数据的方法，其特征在于，其中，决定所述已归一化解量化缩放因子包括根据所述当前变换块的尺寸是否是4的幂，从查找表检索所述已归一化解量化缩放因子，以及生成所述已缩放变换系数包括将所述当前变换块中的所述变换系数层级与所述已归一化解量化缩放因子相乘。
4.如权利要求3所述的视频编解码系统中编码或解码视频数据的方法，其特征在于，其中，所述查找表存储对应于变换块尺寸等于4的幂的不同量化参数的所述已归一化解量化缩放因子的值，以及存储对应于变换块尺寸不等于4的幂的不同量化参数的所述已归一化解量化缩放因子的值。
5.如权利要求1所述的视频编解码系统中编码或解码视频数据的方法，其特征在于，其中，通过将所述变换系数层级TransCoefflevel[x][y]、已指定缩放列表m[x][y]以及所述已归一化解量化缩放因子levelScaleRectNorm[rectNromFlag][qP％6]相乘来生成所述已缩放变换系数d[x][y]，其中x以及y表示所述当前变换块中样本的坐标，rectNormFlag是指示所述当前变换块的尺寸是否是4的幂的旗标，以及qP％6是量化参数除以6的余数。
6.如权利要求5所述的视频编解码系统中编码或解码视频数据的方法，其特征在于，其中，所述已缩放变换系数d[x][y]是通过：d[x][y]＝(TransCoeffLevel[x][y]*m[x][y]*levelScaleRectNorm[rectNormFlag][qP％6]+((1<<bdShift)>>1))>>bdShift生成，其中变量bdShift是从所述视频数据的比特深度以及所述当前变换块的尺寸来推导。
7.如权利要求1所述的视频编解码系统中编码或解码视频数据的方法，其特征在于，其中，采用固定点计算来生成所述当前变换块的所述已缩放的变换系数，其中用于表示所述已归一化解量化缩放因子的分数比特的数目被设置为预设精度。
8.如权利要求7所述的视频编解码系统中编码或解码视频数据的方法，其特征在于，其中，根据用于解量化缩放的分数比特的数目设置所述预设精度。
9.如权利要求7所述的视频编解码系统中编码或解码视频数据的方法，其特征在于，其中，根据用于归一化缩放的分数比特的数目设置所述预设精度。
10.如权利要求7所述的视频编解码系统中编码或解码视频数据的方法，其特征在于，其中，所述预设精度被设置为6比特。
11.如权利要求1所述的视频编解码系统中编码或解码视频数据的方法，其特征在于，其中，决定所述已归一化量化缩放因子进一步包括根据所述当前变换块的尺寸是否是4的幂，从查找表检索所述已归一化量化缩放因子，以及生成所述变换系数层级包括将所述当前变换块中的所述已缩放变换系数与所述已归一化量化缩放因子相乘。
12.如权利要求11所述的视频编解码系统中编码或解码视频数据的方法，其特征在于，其中，所述查找表存储对应于变换块尺寸等于4的幂的不同量化参数的所述已归一化量化缩放因子的值，以及存储对应于变换块的尺寸不等于4的幂的不同量化参数的所述已归一化量化缩放因子。
13.如权利要求1所述的视频编解码系统中编码或解码视频数据的方法，其特征在于，其中，决定所述当前变换块的所述尺寸是否是4的幂来决定所述当前变换块是正方形或非正方形。
14.一种用于执行视频编解码的装置，包括：用于接收视频数据的计算机处理器，以及在所述计算机处理器上可执行的程序用于执行视频编解码方法，其特征在于，所述方法包括：
接收与当前视频图像中当前变换块有关的输入数据；
决定所述当前变换块的尺寸是否是4的幂；
根据所述当前变换块的尺寸是否是4的幂，决定用于编码所述当前变换块的已归一化量化缩放因子或决定用于解码所述当前变换块的已归一化解量化缩放因子；
通过应用量化处理到所述当前变换块中的已缩放变换系数生成变换系数层级或者通过应用逆量化处理到所述当前变换块中的变换系数层级生成已缩放变换系数，其中所述量化处理包括由所述已归一化量化缩放因子缩放所述已缩放变换系数以及所述逆量化处理包括由所述已归一化解量化缩放因子缩放所述变换系数层级；以及
编码所述当前变换块或解码所述当前变换块。
15.一种存储程序指令的非瞬时计算机可读媒介，所述程序指令使得装置的处理电路执行视频编解方法，其特征在于，所述方法包括：
接收与当前视频图像中当前变换块有关的输入数据；
决定所述当前变换块的尺寸是否是4的幂；
根据所述当前变换块的所述尺寸是否是4的幂，决定用于编码所述当前变换块的已归一化量化缩放因子或决定用于解码所述当前变换块的已归一化解量化缩放因子；
通过应用量化处理到所述当前变换块中的已缩放变换系数生成变换系数层级或者通过应用逆量化处理到所述当前变换块中的变换系数层级生成已缩放变换系数，其中所述量化处理包括由所述已归一化量化缩放因子缩放所述已缩放变换系数以及所述逆量化处理包括由所述已归一化解量化缩放因子缩放所述变换系数层级；以及
编码所述当前变换块或解码所述当前变换块。
CN201980058854.6A 2018-09-19 2019-09-02 视频编解码系统中变换系数量化缩放的方法及装置 Active CN112771864B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862733100P 2018-09-19 2018-09-19
US62/733,100 2018-09-19
PCT/CN2019/103943 WO2020057359A1 (en) 2018-09-19 2019-09-02 Methods and apparatuses of quantization scaling of transform coefficients in video coding system

Publications (2)

Publication Number Publication Date
CN112771864A true CN112771864A (zh) 2021-05-07
CN112771864B CN112771864B (zh) 2023-08-29

Family

ID=69888258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980058854.6A Active CN112771864B (zh) 2018-09-19 2019-09-02 视频编解码系统中变换系数量化缩放的方法及装置

Country Status (5)

Country Link
US (1) US11202073B2 (zh)
EP (1) EP3850842A4 (zh)
CN (1) CN112771864B (zh)
TW (1) TWI719641B (zh)
WO (1) WO2020057359A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3846470A4 (en) 2018-08-31 2022-05-11 Samsung Electronics Co., Ltd. VIDEO DECODING METHOD AND APPARATUS, VIDEO CODING METHOD AND APPARATUS
TWI789187B (zh) * 2021-12-29 2023-01-01 瑞昱半導體股份有限公司 壓縮方法與相關的電子裝置
CN116669104B (zh) * 2023-07-24 2023-09-29 南京创芯慧联技术有限公司 数传压缩方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130003824A1 (en) * 2011-07-01 2013-01-03 Qualcomm Incorporated Applying non-square transforms to video data
US20130114685A1 (en) * 2011-11-07 2013-05-09 Sharp Laboratories Of America, Inc. Video decoder with constrained dynamic range
US20160255346A1 (en) * 2013-10-11 2016-09-01 Sony Corporation Decoding device, decoding method, encoding device, and encoding method
CN106028032A (zh) * 2016-05-24 2016-10-12 西安电子科技大学 一种系数级自适应量化方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130114688A1 (en) 2011-11-07 2013-05-09 Louis Joseph Kerofsky Video Decoder with Constrained Dynamic Range
KR102228577B1 (ko) 2012-06-28 2021-03-16 한국전자통신연구원 양자화 행렬의 부호화 방법 및 복호화 방법과 이를 이용하는 장치
WO2016081939A1 (en) 2014-11-21 2016-05-26 Vid Scale, Inc. One-dimensional transform modes and coefficient scan order
KR102252619B1 (ko) * 2015-02-03 2021-05-17 삼성전자 주식회사 알림 제공 방법 및 이를 구현하는 전자 장치
EP3414901A4 (en) 2016-02-08 2018-12-26 Sharp Kabushiki Kaisha Systems and methods for transform coefficient coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130003824A1 (en) * 2011-07-01 2013-01-03 Qualcomm Incorporated Applying non-square transforms to video data
US20130114685A1 (en) * 2011-11-07 2013-05-09 Sharp Laboratories Of America, Inc. Video decoder with constrained dynamic range
US20160255346A1 (en) * 2013-10-11 2016-09-01 Sony Corporation Decoding device, decoding method, encoding device, and encoding method
CN106028032A (zh) * 2016-05-24 2016-10-12 西安电子科技大学 一种系数级自适应量化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HEIKO SCHWARZ 等: "CE7: Transform Coefficient Coding and Dependent Quantization (Tests 7.1.2, 7.2.1)", 《JVET-K0071》 *

Also Published As

Publication number Publication date
EP3850842A1 (en) 2021-07-21
WO2020057359A1 (en) 2020-03-26
US11202073B2 (en) 2021-12-14
CN112771864B (zh) 2023-08-29
TW202025744A (zh) 2020-07-01
TWI719641B (zh) 2021-02-21
EP3850842A4 (en) 2022-07-20
US20210321105A1 (en) 2021-10-14

Similar Documents

Publication Publication Date Title
US11943476B2 (en) Methods and apparatuses for coding video data with adaptive secondary transform signaling
US10848788B2 (en) Multi-type-tree framework for video coding
US10904580B2 (en) Methods and apparatuses of video data processing with conditionally quantization parameter information signaling
EP2777258B1 (en) Binarization of prediction residuals for lossless video coding
CN111742554B (zh) 具有视频数据自适应量化的视频编码或解码方法和装置
US11051009B2 (en) Video processing methods and apparatuses for processing video data coded in large size coding units
EP2781097B1 (en) Scanning of prediction residuals in high efficiency video coding
EP3251355B1 (en) Coding escape pixels for palette coding
US11991393B2 (en) Methods and apparatuses for coding video data with secondary transform
US9445132B2 (en) Two level last significant coefficient (LSC) position coding
US11483549B2 (en) Methods and apparatuses for transform skip mode information signaling
CN114205630B (zh) 边界强制分区的改进
CN112771864B (zh) 视频编解码系统中变换系数量化缩放的方法及装置
KR20160091392A (ko) 이미지를 인코딩하고 디코딩하기 위한 방법, 이미지를 인코딩하고 디코딩하기 위한 디바이스 및 상응하는 컴퓨터 프로그램
US10469872B2 (en) Video encoding and decoding device and method including a texture block prediction with a group of pixel blocks each representing a predetermined texture
CN115052163B (zh) 编码器、解码器和用于变换处理的对应方法
US20230269385A1 (en) Systems and methods for improving object tracking in compressed feature data in coding of multi-dimensional data
US11711513B2 (en) Methods and apparatuses of coding pictures partitioned into subpictures in video coding systems
Francisco et al. Efficient recurrent pattern matching video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220426

Address after: Hsinchu County, Taiwan, China

Applicant after: MEDIATEK Inc.

Address before: 1 Duxing 1st Road, Hsinchu Science Park, Hsinchu, Taiwan, China

Applicant before: MEDIATEK Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant