CN112840655A - 图像与视频编解码中最后有效系数的编解码方法及装置 - Google Patents

图像与视频编解码中最后有效系数的编解码方法及装置 Download PDF

Info

Publication number
CN112840655A
CN112840655A CN201980066091.XA CN201980066091A CN112840655A CN 112840655 A CN112840655 A CN 112840655A CN 201980066091 A CN201980066091 A CN 201980066091A CN 112840655 A CN112840655 A CN 112840655A
Authority
CN
China
Prior art keywords
prefix
significant coefficient
last significant
transform block
corresponds
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980066091.XA
Other languages
English (en)
Other versions
CN112840655B (zh
Inventor
欧莱娜·邱巴赫
向时达
穆罕默德·葛兰·沙沃尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Singapore Pte Ltd filed Critical MediaTek Singapore Pte Ltd
Publication of CN112840655A publication Critical patent/CN112840655A/zh
Application granted granted Critical
Publication of CN112840655B publication Critical patent/CN112840655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种使用改善的最后有效系数编解码的视频编解码的方法以及装置。根据本发明,所述变换块中最后有效系数的位置被编码来生成一个或多个语法元素以及所述语法元素的最大值取决于所述变换块的块尺寸以及清零阈值,其中坐标大于所述清零阈值的所述变换块的系数被设置为零。还公开了使用改善的最后有效系数编解码的视频解码的方法以及装置。

Description

图像与视频编解码中最后有效系数的编解码方法及装置
相关引用
本发明要求于2018年10月8日提交的,美国临时专利申请号为62/742,471的优先权。该美国临时专利申请整体内容在此通过参考纳入其中。
技术领域
本发明涉及用于图像以及视频编解码的变换系数编解码。具体地,本发明公开了用于最后有效系数(last significant coefficient)的改善的编解码方法。
背景技术
适应性帧内/帧间(intra/inter)视频编解码已经被广泛用于各种视频编解码标准,如MPEG-2、AVC(advanced video coding,高级视频编解码)以及HEVC(High EfficiencyVideo Coding,高效视频编解码)。在适应性帧内/帧间视频编解码中,输入信号由帧内/帧间预测子(predictor)进行预测来生成预测残差(prediction residue)。所述残差通常由二维变换以及量化来处理。所量化的变换系数然后被编解码。高效视频编解码(HEVC)标准是在ITU-T视频编解码专家组(VCEG)以及ISO/IEC移动图像专家组(MPEG)标准组织的联合视频项目下开发的,以及尤其与被称为视频编解码联合协作小组的合作伙伴。在HEVC中,一个条带(slice)被分割成多个编码树单元(coding tree unit,CTU)。在主要的规格中,CTU的最小以及最大尺寸由序列参数集(sequence parameter set,SPS)中的语法元素指定。所允许的CTU尺寸可以是8×8、16×16、32×32或者64×64。对于每一条带,条带内的CTU根据光栅扫描次序(raster scan order)来处理。
CTU被进一步分割成多个编码单元(coding unit,CU)来适应各种局部特性。CTU可以通过四叉树或QT分割被进一步分割成多个编码单元(CU)、QT分割将尺寸4N×4N的块拆分成4个相等尺寸的2N×2N子块。CTU可以是的单个CU(即,没有拆分)或者可以被拆分成四个相等尺寸的较小单元,其对应于编码树的节点。如果单元是编码树的叶节点,单元变成CU。否则,四叉树拆分进程可以被重复直到节点的尺寸达到如SPS(序列参数集)中指定的最小允许CU尺寸。
根据HEVC,每一CU可以被分割成一个或多个预测单元(prediction unit,PU)。与CU相结合,PU作为共享预测信息的基础代表块。在每一PU内,相同的预测进程被应用以及相关信息在PU基础上被传送到解码器。CU可以根据PU拆分类型被拆分成一个、两个或四个PU。HEVC定义将CU拆分成PU的八个形状,包括2N×2N、2N×N、N×2N、2N×nU、2N×nD、nL×2n以及nR×2N分割类型。不同于CU,PU根据HEVC可以仅被拆分一次。
在获得由基于PU拆分类型的预测进程的残差块后,CU的预测残差根据另一个四叉树结构可以被分割成变换单元(transform unit,TU),所述四叉树结构类同于CU的编码树。TU是用于应用整数变换以及量化的具有残差或变换系数的基础代表块。对于每一TU,一个具有与TU相同尺寸的整数变换被应用来获得残差系数。这些系数在TU基础上的量化后,被传送到解码器。
图1示出了合并变换以及量化来处理预测残差的示例性适应性帧间/帧内视频编解码系统。对于帧间预测,运动估计(Motion Estimation,ME)/运动补偿(MotionCompensation,MC)112用于基于来自其他一个或多个图像的视频数据来提供预测数据。开关114选择帧内预测110或者帧间预测数据以及所选择的预测数据被提供到加法器116来形成预测误差,也称残差。所述预测误差然后由变换(T)118紧接着量化(Q)120处理。所变换以及所量化的残差然后由熵编码器122进行编解码来被包括在对应于压缩的视频数据的视频比特流中。与变换系数相关的比特流然后与边信息(side information)一起打包,如运动、编解码模式以及与图像区域相关的其他信息。所述边信息也可以由熵编解码来压缩以减少所需要的带宽(bandwidth)。因此,边信息相关的数据被提供到如图1所示的熵编码器122。当帧间预测被使用时,一个或多个参考图像也需要在编码器端被重构。因此,所变换以及所量化的残差由逆量化(IQ)124以及逆变换(IT)126处理来恢复残差。所述残差然后在重构(REC)128被添加回预测数据136来重构视频数据。所述重构的视频数据可以被储存在参考图像缓冲器134以及用于其他帧的预测。
如图1所示,进来的视频数据在编码系统中经受一系列的处理。来自REC 128的重构视频数据由于一系列处理可能受到各种损害。因此,环路滤波器130通常在重构视频数据被储存到参考图像缓冲器134之前被应用于所述重构视频数据来改善视频质量。例如,去块滤波器(de-blocking filter,DF)以及样本适应性偏移(Sample Adaptive Offset,SAO)已经在高效视频编解码(HEVC)标准中被使用。环路滤波器还可以包括ALF(Adaptive LoopFilter,适应性环路滤波器)。所述环路滤波信息可能需要被包括在比特流中以致解码器可以正确地恢复所需要的信息。因此,环路滤波信息被提供到熵编码器122来被合并到比特流中。在图1中,环路滤波器130在重构样本被储存到参考图像缓冲器134之前被应用到所述重构视频。图1中的系统旨在说明典型视频编码器的示例性结构。其可以对应于高效视频编解码(HEVC)系统或H.264。
图2示出了图1中编码器系统的对应的视频解码器的系统框图。因此编码器也包含局部解码器用于重构视频数据,一些解码器元件已经适用于编码器中,除了熵解码器210。此外,解码器侧仅需要运动补偿220。开关146选择帧内预测或者帧间预测以及所选择的预测数据被提供到重构(REC)128来与所恢复的残差结合。除了对压缩的残差执行熵解码,熵解码210也用于边信息的熵解码以及提供所述边信息到各自的块。例如,帧内模式信息被提供到帧内预测110,帧间模式信息被提供到运动补偿220,环路滤波信息被提供到环路滤波器130以及残差被提供给逆量化124。残差由IQ 124、IT 126以及后续重构进程处理来重构视频数据。另外,来自REC 128的重构视频数据经受包括如图2所示的IQ 124以及IT 126的一系列处理以及受到编解码伪影(artefacts)。重构视频数据进一步由环路滤波器130处理。
对于熵编解码,其有不同的类型。可变长度编解码是熵编解码的一种形式,已经被广泛用于源编解码(source coding)。通常,可变长度码(variable length code,VLC)表用于可变长度编码以及解码。算术编解码(arithmetic coding)是新的熵编解码技术,其可以利用使用“上下文”的有条件的可能性。此外,算术编解码可以容易地适应源统计信息以及相较于可变长度编解码能够提供较高的压缩效率。而算术编解码是高效熵编解码工具以及已经被广泛用于高级视频编解码系统,操作相较于可变长度编解码更加复杂。
通用视频编解码(Versatile Video Coding,VVC)是ITU-T的联合视频专家小组(JVET)开发的新兴的编解码标准。VVC利用更复杂的块分割以及也包括一些新的编解码工具。例如,除了基于四叉树的块分割,VVC包括考虑二叉树(binary tree,BT)以及三元树(ternary tree,TT)。
对于残差信号的变换系数,残差块通常包括大量的零值变换系数。为了有效地编码变换系数,一个技术涉及识别以及发信最后非零已量化变换系数的位置,其也称为目标变换块中的最后有效系数。在VVC草案2中(2018年7月10-18日,在斯洛文尼亚的卢布尔雅那举行的ITU-T SG 16WP 3以及ISO/IEC JTC 1/SC/29/WG 11的联合视频变换小组(JVET)第11次会议,B.Bross等人“Versatile Video Coding(Draft 2)”,文献:JVET-K1001),lastSignificantCoeff是变换块(transform block,TB)中不等于零的最后一个系数。lastSignificantCoeff的位置被编码用于每一TB。具体地,CB(编码块)的最后非零系数的水平(x)以及垂直(y)位置用两个语法元素来编解码,lastSignificantCoeffX(水平坐标)以及lastSignificantCoeffY(垂直坐标)。图3示出了目标块的lastSignificantCoeffX以及lastSignificantCoeffY的示例,其中示出了目标块320中的最后有效变换系数310。
此外,每一语法元素(即,lastSignificantCoeffX或lastSignificantCoeffY)由前缀以及尾缀组成:
-前缀,last_sig_coeff_x_prefix以及last_sig_coeff_y_prefix都使用截断一元编码(truncated unary coding)进行常规编码,以及
-尾缀,last_sig_coeff_x_suffix以及last_sig_coeff_y_suffix都使用固定长度编码(fixed length coding)进行常规编码。
lastSignificantCoeffX可以被推导如下:
-如果不存在,
lastSignificantCoeffX=last_sig_coeff_x_prefix
-否则(存在)
lastSignificantCoeffX=(1<<((last_sig_coeff_x_prefix>>1)-1))*(2+(last_sig_coeff_x_prefix&1))+last_sig_coeff_x_suffix
截断一元二值化是具有莱斯参数(rice parameter)cRiceParam=0的截断莱斯(truncated Rice,TR)二值化进程的特殊情况。残差编解码语义被描述如下:
-last_sig_coeff_x_prefix指定变换块内扫描次序中最后有效系数的列位置的前缀。last_sig_coeff_x_prefix的值可以在0到(log2TbWidth<<1)–1的范围内,包括0和(log2TbWidth<<1)–1。
-last_sig_coeff_y_prefix指定变换块内扫描次序中最后有效系数的行位置的前缀。last_sig_coeff_y_prefix的值可以在0到(log2TbHeight<<1)–1的范围内,包括0和(log2TbHeight<<1)–1。
在上述描述中,log2TbWidth以及log2TbHeight是变换块宽度以及变换块高度的底为2的对数以及分别被定义为Log2(nTbW)以及Log(nTbH),其中变量nTbW指变换块宽度以及变量nTbH指变换块高度。
在名为VTM2.0.1的评估软件中(VVC测试模型,版本2.0.1),亮度的最大TB尺寸是64x64以及色度是32x32。然而,最大变换残差块尺寸(系数编码的)比较小,因为应用了零输出进程:
-坐标大于最大变换块尺寸的TB的系数都被设置为零。
残差块的最大尺寸:
-DCT2:最大残差块尺寸是32×32
-非DCT2:最大残差块尺寸是16×16
DCT2以及非DCT2变换的不同块尺寸的零输出进程的应用被示出于表1。
表1
长度=64 长度=32 长度<=16
DCT2 32-py零输出 非零输出 非零输出
非DCT2 无效 32-py零输出 非零输出
在VTM2.0.1中,为了减少变换的计算,大变换块的非常高频率分量被设置为零。有名为iZeroOutThresh的参数,其控制那些系数被设置为零。假定(x,y)是变换块的行以及列位置,以及T(x,y)是(x,y)位置的变换系数。清零进程被示出如下:
如果(x>=iZeroOutThresh||y>=iZeroOutThresh),那么T(x,y)被设置为零。
在本发明中,公开了改善性能的最后有效系数的编解码技术。
发明内容
公开了一种视频编码的方法以及装置。根据本发明,在视频编码器侧接收与当前图像中当前块相关的输入数据。推导所述当前块的残差信号。应用变换进程以及量化进程到所述残差信号来生成变换块。编码所述变换块中最后有效系数的位置来生成一个或多个语法元素,其中所述一个或多个语法元素的最大值取决于所述变换块的块尺寸以及清零阈值,其中坐标大于所述清零阈值的所述变换块的系数被设置为0。生成包括所述一个或多个语法元素的已编码数据。
在一个实施例中,所述语法元素包括用于所述最后有效系数的x位置的前缀,以及用于所述最后有效系数的所述x位置的所述前缀的所述最大值取决于所述变换块的宽度以及所述清零阈值。此外,参数Log2maxX被定义为(Log2(nTbW>iZeroOutThresh?iZeroOutThresh:nTbW))以及用于所述最后有效系数的所述x位置的所述前缀的所述最大值被推导为((Log2maxX<<1)-1),以及其中Log2()对应于底为2的对数运算,iZeroOutThresh对应于所述清零阈值,nTbW对应于所述变换块的所述宽度,以及“<<”对应于左移位操作。
在另一个实施例中,语法元素包括用于所述最后有效系数的y位置的前缀,以及用于所述最后有效系数的所述y位置的所述前缀取决于所述变换块的高度以及所述清零阈值。此外,参数Log2maxY被定义为(Log2(nTbH>iZeroOutThresh?iZeroOutThresh:nTbH))以及用于所述最后有效系数的所述y位置的所述前缀的所述最大值被推导为((Log2maxY<<1)-1),以及nTbH对应于所述变换块的所述高度。
在又一实施例中,所述语法元素包括用于所述最后有效系数的x位置的前缀以及用于所述最后有效系数的y位置的前缀,以及用于所述最后有效系数的所述x位置的所述前缀的所述最大值取决于所述变换块的宽度以及所述清零阈值以及用于所述最后有效系数的所述y位置的所述前缀的所述最大值取决于所述变换块的高度以及所述清零阈值。上文示出的用于所述最后有效系数的所述x位置的所述前缀的所述最大值以及用于所述最后有效系数的所述y位置的所述前缀的所述最大值的推导可以被应用于这一实施例。
在一个实施例中,用于所述最后有效系数的x位置的所述前缀根据用于所述最后有效系数的y位置的所述前缀来编解码,或者用于所述最后有效系数的y位置的所述前缀根据用于所述最后有效系数的所述x位置的所述前缀来编解码。
在另一个实施例中,用于所述最后有效系数的x位置的所述前缀使用用于所述最后有效系数的y位置的所述前缀作为预测子来编解码,或者用于所述最后有效系数的y位置的所述前缀使用用于所述最后有效系数的所述x位置的所述前缀作为预测子来编解码。
在一个实施例中,所述清零阈值是预定义的以及对编码器或解码器是已知的。在另一个实施例中,所述清零阈值在比特流中被发信。例如,所述清零阈值可以在所述比特流的SPS(序列参数集)中被发信。在又一实施例中,所述清零阈值被分别发信用于垂直方向以及水平方向。在又一实施例中,不同的清零阈值被用于不同的变换块尺寸。
在一个实施例中,当非DCT-Ⅱ变换被应用于残差块的水平方向与/或垂直方向,所述清零阈值iZeroOutThresh被更新为iZeroOutThresh>>k,其中k是大于0的整数,以及其中“>>”对应于右移位操作。例如,k可以等于1。
还公开了一种用于解码器侧的类似方法。根据这一方法,在视频解码器侧接收对应于包括当前图像中当前块的压缩数据的视频比特流。从所述视频比特流中解析与所述当前块内变换块中最后有效系数的位置相关的一个或多个语法元素,其中所述一个或多个语法元素的最大值取决于所述变换块的块尺寸以及清零阈值,其中坐标大于所述清零阈值的所述变换块的系数被设置为零。使用包括所述变换块中所述最后有效系数的所述位置的第一信息推导所述当前块的已解码残差信号。使用包括所述当前块的所述已解码残差信号的第二信息生成重构的当前块。
附图说明
图1示出了合并帧内/帧间预测、变换以及量化进程的视频编码器的示例性框图。
图2示出了合并帧内/帧间预测、逆变换以及去量化进程的视频解码器的示例性框图。
图3示出了最后有效系数的位置的示例。
图4示出了根据本发明实施例的使用对最后有效系数的位置的改善的编解码的示例性编码系统流程图。
图5示出了根据本发明实施例的使用对最后有效系数的位置的改善的编解码的示例性解码系统的流程图。
具体实施方式
后续的描述是实施本发明的最佳实施方式。所作之描述是为了说明本发明基本原理的目的因此不应做限制性理解。本发明的范围通过参考所附权利要求最佳确定。
在本发明中,公开了用于改善最后有效系数的编解码效率的方法。根据本发明,last_sig_coeff_x_prefix以及last_sig_coeff_y_prefix的编码考虑块尺寸以及清零阈值。在一个实施例中,last_sig_coeff_x_prefix的最大值取决于变换块的宽度以及清零阈值iZeroOutThresh。例如,last_sig_coeff_x_prefix的最大值根据以下伪码来推导:
–Log2maxX=Log2(nTbW>iZeroOutThresh?iZeroOutThresh:nTbW);
–last_sig_coeff_x_prefix的最大值=(Log2maxX<<1)–1.
在上述等式中,逻辑运算符(x?y:z)意为如果x为真或者不等于0,评估为y的值;否则,评估为z的值。类似地,last_sig_coeff_y_prefix的最大值取决于块的高度以及清零阈值iZeroOutThresh。last_sig_coeff_y_prefix的最大值根据以下伪码来推导:
–Log2maxY=Log2(nTbH>iZeroOutThresh?iZeroOutThresh:nTbH);
–last_sig_coeff_y_prefix最大值=(Log2maxY<<1)–1.
在另一个实施例中,last_sig_coeff_x_prefix的最大值与VTM2.0相同。然而,last_sig_coeff_y_prefix的最大值不仅取决于块的高度还取决于清零阈值iZeroOutThresh。last_sig_coeff_y_prefix的最大值通过使用以下伪码来推导:
–Log2maxY=Log2(nTbH>iZeroOutThresh?iZeroOutThresh:nTbH);
–last_sig_coeff_y_prefix最大值=(Log2maxY<<1)–1.
在又一实施例中,last_sig_coeff_y_prefix的最大值与VTM2.0.1相同。然而,last_sig_coeff_x_prefix的最大值不仅取决于块的宽度还取决于清零阈值iZeroOutThresh。last_sig_coeff_x_prefix的最大值根据以下伪码来推导:
–Log2maxX=Log2(nTbW>iZeroOutThresh?iZeroOutThresh:nTbW);
–last_sig_coeff_x_prefix最大值=(Log2maxX<<1)–1.
本发明也公开了如果满足某些条件,last_sig_coeff_x_prefix以及last_sig_coeff_y_prefix的最大值仅取决于清零阈值iZeroOutThresh。一个实施例被示出如下:
-如果变换不被应用于TB,last_sig_coeff_x_prefix以及last_sig_coeff_y_prefix不取决于清零阈值以及最大值与VTM2.0.1相同。
-否则,last_sig_coeff_x_prefix以及last_sig_coeff_y_prefix取决于如之前所描述的清零阈值。
在一个实施例中,iZeroOutThresh的值是预定的(如,32)以及对编码器以及解码器都是已知的。
在另一个实施例中,iZeroOutThresh的值可以是从0到变换块最大尺寸的任何值以及iZeroOutThresh的值通过如SPS语法元素的更高层级语法被发信到解码器。
在一些实施例中,iZeroOutThresh的不同值可以分别被发信用于水平以及垂直方向。在一些其他实施例中,iZeroOutThresh的不同值可以被发信用于不同的变换类型。在一个实施例中,iZeroOutThresh的值还可以取决于在水平与/或垂直方向被应用于变换块的变换类型。在一个实施例中,当非DCT-Ⅱ变换被应用于残差块的水平与/或垂直方向,iZeroOutThresh的值被更新成iZeroOutThresh>>k用于所述方向。例如,k等于1。
在一个实施例中,last_sig_coeff_y_prefix可以根据last_sig_coeff_x_prefix的值来编解码。在一个实施例中,last_sig_coeff_x_prefix可以被用作编解码last_sig_coeff_y_prefix的预测子。在一个实施例中,last_sig_coeff_x_prefix可以根据last_sig_coeff_y_prefix的值来编解码。在一个实施例中,last_sig_coeff_y_prefix可以用作编解码last_sig_coeff_x_prefix的预测子。
本发明可以被应用于视频编码器。具体地,本发明可以被应用于从帧内/帧间预测进程生成的残差信号。图4示出了根据本发明实施例的使用对最后有效系数的位置的改善的编解码的示例性编码系统的流程图。流程图中示出的步骤可以被实施为在编码器侧的一个或多个处理器(如,一个或多个CPU)上可执行的程序代码。流程图中示出的步骤还可以基于如用于执行流程图中步骤的一个或多个电子装置或处理器的硬件来实施。根据这一方法,在步骤410,接收与图像中当前块相关的输入数据。在步骤420,推导所述当前块的残差信号。在步骤430,将变换进程以及量化进程应用于所述残差信号来生成变换块。在步骤440,编码所述变换块中最后有效系数的位置来生成一个或多个语法元素,其中所述一个或多个语法元素的最大值取决于所述变换块的块尺寸以及清零阈值,以及坐标大于所述清零阈值的所述变换块的系数被设置为0。在步骤450中,生成包括所述一个或多个语法元素的已编码数据。
本发明可以被应用于视频解码器。具体地,本发明可以被应用于已编解码的残差信号。图5示出了根据本发明实施例的对最后有效系数的位置使用改善的编解码的示例性解码系统的流程图。在步骤510,在视频解码器侧接收对应于包括当前图像中当前块的压缩数据的视频比特流。在步骤520,从所述视频比特流中解析与所述当前块内变换块中最后有效系数的位置相关的一个或多个语法元素,其中所述一个或多个语法元素的最大值取决于所述变换块的块尺寸以及清零阈值,以及坐标大于所述清零阈值的所述变换块的系数被设置为0。在步骤530,使用包括所述变换块中最后有效系数的所述位置的第一信息生成所述当前块的已解码残差信号。在步骤540中,使用包括所述已解码残差信号的第二信息生成重构的当前块。
所示出的流程图旨在说明根据本发明的视频编解码的示例。本领域普通技术人员在不背离本发明精神的情况下,可以修正每一步骤、重排步骤、拆分步骤或者组合步骤来实施本发明。在本发明中,特定的语法以及语义已经被用于说明示例来实施本发明实施例。本领域普通技术人员在不背离本发明精神的情况下,可以用等同的语法以及语义替换所述语法以及语义来实施本发明。
以上描述被呈现来使本领域普通技术人员以特定应用的上下文中所提供及其需求来实施本发明。对所描述实施例的各种修正对本领域普通技术人员将是显而易见的,以及本文定义的基本原理可以被应用于其他实施例。因此,本发明不旨在限制于所示以及所描述的特定实施例,而是符合与本文所公开的原理以及新颖特征一致的最宽范围。在上述细节描述中,各种具体细节被示出以提供本发明的透彻理解。然而,本领域普通技术人员将能理解,本发明可以被实施。
如上所描述的本发明的实施例可以以各种硬件、软件代码或两者的组合来实施。例如,本发明的实施例可以是集成到视频压缩芯片的一个或多个电子电路或者集成到视频压缩软件的程序代码来执行本文所描述的处理。本发明的一个实施例还可以是在数字信号处理器(DSP)上可执行的程序代码来执行本文所描述的处理。本发明还可以涉及由计算机处理器、数字信号处理器、微处理器或现场可程序设计门阵列(FPGA)执行的若干功能。这些处理器可以用于执行根据本发明的特定任务,通过执行定义由本发明所呈现的特定方法的软件代码或固体代码。软件代码或固体代码可以以不同的程序设计语言以及不同的格式或风格来开发。软件代码还可以被编译用于不同的目标平台。然而,不同的代码格式、风格以及软件代码的语言以及配置代码执行根据本发明的任务的其他方法将不背离本发明的精神以及范围。
本发明在不背离其精神或基本特征的情况下,可以以其他特定形式来实施。所描述的示例在所有方面仅被考虑为说明性的而非限制性的。因此,本发明的范围由所附权利要求来指示而非前述的描述。权利要求的含义以及等同范围内的所有变化都在其范围内。

Claims (32)

1.一种视频编码方法,其特征在于,所述方法包括:
在视频编码器侧接收与当前图像中当前块相关的输入数据;
推导所述当前块的残差信号;
将变换进程以及量化进程应用于所述残差信号来生成变换块;
编码所述变换块中最后有效系数的位置来生成一个或多个语法元素,其中所述一个或多个语法元素的最大值取决于所述变换块的块尺寸以及清零阈值,其中坐标大于所述清零阈值的所述变换块的系数被设置为零;以及
生成包括所述一个或多个语法元素的已编码数据。
2.如权利要求1所述的视频编码方法,其特征在于,其中所述一个或多个语法元素包括用于所述最后有效系数的x位置的前缀,以及用于所述最后有效系数的所述x位置的所述前缀的所述最大值取决于所述变换块的宽度以及所述清零阈值。
3.如权利要求2所述的视频编码方法,其特征在于,其中Log2maxX被定义为(Log2(nTbW>iZeroOutThresh?iZeroOutThresh:nTbW))以及用于所述最后有效系数的所述x位置的所述前缀的所述最大值被推导为((Log2maxX<<1)-1),以及其中Log2()对应于底为2的对数运算,iZeroOutThresh对应于所述清零阈值,nTbW对应于所述变换块的所述宽度,以及“<<”对应于左移位操作。
4.如权利要求1所述的视频编码方法,其特征在于,其中所述一个或多个语法元素包括用于所述最后有效系数的y位置的前缀,以及用于所述最后有效系数的所述y位置的所述前缀的所述最大值取决于所述变换块的高度以及所述清零阈值。
5.如权利要求4所述的视频编码方法,其特征在于,其中Log2maxY被定义为(Log2(nTbH>iZeroOutThresh?iZeroOutThresh:nTbH))以及用于所述最后有效系数的所述y位置的所述前缀的所述最大值被推导为((Log2maxY<<1)-1),以及其中Log2()对应于底为2的对数运算,iZeroOutThresh对应于所述清零阈值,nTbH对应于所述变换块的所述高度,以及“<<”对应于左移位操作。
6.如权利要求1所述的视频编码方法,其特征在于,其中所述一个或多个语法元素包括用于所述最后有效系数的x位置的前缀以及用于所述最后有效系数的y位置的前缀,以及用于所述最后有效系数的所述x位置的所述前缀的所述最大值取决于所述变换块的宽度以及所述清零阈值,以及用于所述最后有效系数的所述y位置的所述前缀的所述最大值取决于所述变换块的高度以及所述清零阈值。
7.如权利要求6所述的视频编码方法,其特征在于,其中Log2maxX被定义为(Log2(nTbW>iZeroOutThresh?iZeroOutThresh:nTbW))以及用于所述最后有效系数的所述x位置的所述前缀的所述最大值被推导为((Log2maxX<<1)-1);Log2maxY被定义为(Log2(nTbH>iZeroOutThresh?iZeroOutThresh:nTbH))以及用于所述最后有效系数的所述y位置的所述前缀的所述最大值被推导为((Log2maxY<<1)-1),以及其中Log2()对应于底为2的对数运算,iZeroOutThresh对应于所述清零阈值,nTbW对应于所述变换块的所述宽度,nTbH对应于所述变换块的所述高度,以及“<<”对应于左移位操作。
8.如权利要求6所述的视频编码方法,其特征在于,其中用于所述最后有效系数的x位置的所述前缀根据用于所述最后有效系数的y位置的所述前缀来编解码,或者用于所述最后有效系数的y位置的所述前缀根据用于所述最后有效系数的所述x位置的所述前缀来编解码。
9.如权利要求6所述的视频编码方法,其特征在于,其中用于所述最后有效系数的x位置的所述前缀使用用于所述最后有效系数的y位置的所述前缀作为预测子来编解码,或者用于所述最后有效系数的y位置的所述前缀使用用于所述最后有效系数的所述x位置的所述前缀作为预测子来编解码。
10.如权利要求1所述的视频编码方法,其特征在于,其中所述清零阈值是预定义的以及对编码器或解码器都是已知的。
11.如权利要求1所述的视频编码方法,其特征在于,其中所述清零阈值在比特流中被发信。
12.如权利要求11所述的视频编码方法,其特征在于,其中所述清零阈值在所述比特流的序列参数集中被发信。
13.如权利要求1所述的视频编码方法,其特征在于,其中所述清零阈值被分别发信用于垂直方向以及水平方向。
14.如权利要求1所述的视频编码方法,其特征在于,其中不同的清零阈值被用于不同的变换块尺寸。
15.如权利要求1所述的视频编码方法,其特征在于,其中当非DCT-Ⅱ变换被应用于残差块的水平方向与/或垂直方向,所述清零阈值iZeroOutThresh被更新为iZeroOutThresh>>k,其中k是大于0的整数,以及其中“>>”对应于右移位操作。
16.一种视频编码装置,其特征在于,所述装置包括一个或多个电子电路或处理器用于:
在视频编码器侧接收与当前图像中当前块相关的输入数据;
推导所述当前块的残差信号;
将变换进程以及量化进程应用于所述残差信号来生成变换块;
编码所述变换块中最后有效系数的位置来生成一个或多个语法元素,其中所述一个或多个语法元素的最大值取决于所述变换块的一块尺寸以及清零阈值,其中坐标大于所述清零阈值的所述变换块的系数被设置为零;以及
生成包括所述一个或多个语法元素的已编码数据。
17.一种视频解码方法,其特征在于,所述方法包括:
在视频解码器侧接收对应于包括当前图像中当前块的压缩数据的视频比特流;
从所述视频比特流中解析与所述当前块内变换块中最后有效系数的位置相关的一个或多个语法元素,其中所述一个或多个语法元素的最大值取决于所述变换块的块尺寸以及清零阈值,其中坐标大于所述清零阈值的所述变换块的系数被设置为零;
使用包括所述变换块中所述最后有效系数的所述位置的第一信息推导所述当前块的已解码残差信号;以及
使用包括所述当前块的所述已解码残差信号的第二信息生成重构的当前块。
18.如权利要求17所述的视频解码方法,其特征在于,其中所述一个或多个语法元素包括用于所述最后有效系数的x位置的前缀,以及用于所述最后有效系数的所述x位置的所述前缀的所述最大值取决于所述变换块的宽度以及所述清零阈值。
19.如权利要求18所述的视频解码方法,其特征在于,其中Log2maxX被定义为(Log2(nTbW>iZeroOutThresh?iZeroOutThresh:nTbW))以及用于所述最后有效系数的所述x位置的所述前缀的所述最大值被推导为((Log2maxX<<1)-1),以及其中Log2()对应于底为2的对数运算,iZeroOutThresh对应于所述清零阈值,nTbW对应于所述变换块的所述宽度,以及“<<”对应于左移位操作。
20.如权利要求17所述的视频解码方法,其特征在于,其中所述一个或多个语法元素包括用于所述最后有效系数的y位置的前缀,以及用于所述最后有效系数的所述y位置的所述前缀的所述最大值取决于所述变换块的高度以及所述清零阈值。
21.如权利要求20所述的视频解码方法,其特征在于,其中Log2maxY被定义为(Log2(nTbH>iZeroOutThresh?iZeroOutThresh:nTbH))以及用于所述最后有效系数的所述y位置的所述前缀的所述最大值被推导为((Log2maxY<<1)-1),以及其中Log2()对应于底为2的对数运算,iZeroOutThresh对应于所述清零阈值,nTbH对应于所述变换块的所述高度,以及“<<”对应于左移位操作。
22.如权利要求17所述的视频解码方法,其特征在于,其中所述一个或多个语法元素包括用于所述最后有效系数的x位置的前缀以及用于所述最后有效系数的y位置的前缀,以及用于所述最后有效系数的所述x位置的所述前缀的所述最大值取决于所述变换块的宽度以及所述清零阈值以及用于所述最后有效系数的所述y位置的所述前缀的所述最大值取决于所述变换块的高度以及所述清零阈值。
23.如权利要求22所述的视频解码方法,其特征在于,其中Log2maxX被定义为(Log2(nTbW>iZeroOutThresh?iZeroOutThresh:nTbW))以及用于所述最后有效系数的所述x位置的所述前缀的所述最大值被推导为((Log2maxX<<1)-1);Log2maxY被定义为(Log2(nTbH>iZeroOutThresh?iZeroOutThresh:nTbH))以及用于所述最后有效系数的所述y位置的所述前缀的所述最大值被推导为((Log2maxY<<1)-1),以及其中Log2()对应于底为2的对数运算,iZeroOutThresh对应于所述清零阈值,nTbW对应于所述变换块的所述宽度,nTbH对应于所述变换块的所述高度,以及“<<”对应于左移位操作。
24.如权利要求22所述的视频解码方法,其特征在于,其中用于所述最后有效系数的x位置的所述前缀根据用于所述最后有效系数的y位置的所述前缀来编解码,或者用于所述最后有效系数的y位置的所述前缀根据用于所述最后有效系数的所述x位置的所述前缀来编解码。
25.如权利要求22所述的视频解码方法,其特征在于,其中用于所述最后有效系数的x位置的所述前缀使用所述最后有效系数的y位置的所述前缀作为预测子来编解码,或者用于所述最后有效系数的y位置的所述前缀使用所述最后有效系数的所述x位置的所述前缀作为预测子来编解码。
26.如权利要求17所述的视频解码方法,其特征在于,其中所述清零阈值是预定义的以及对编码器或解码器都是已知的。
27.如权利要求17所述的视频解码方法,其特征在于,其中所述清零阈值在比特流中被发信。
28.如权利要求27所述的视频解码方法,其特征在于,其中所述清零阈值在所述比特流的序列参数集中被发信。
29.如权利要求17所述的视频解码方法,其特征在于,其中所述清零阈值被分别发信用于垂直方向以及水平方向。
30.如权利要求17所述的视频解码方法,其特征在于,其中不同的清零阈值被用于不同的变换块尺寸。
31.如权利要求17所述的视频解码方法,其特征在于,其中当非DCT-Ⅱ变换被应用于残差块的水平方向与/或垂直方向,所述清零阈值iZeroOutThresh被更新为iZeroOutThresh>>k,其中k是大于0的整数,以及其中“>>”对应于右移位操作。
32.一种视频解码装置,其特征在于,所述装置包括一个或多个电子电路或处理器用于:
在视频解码器侧接收对应于包括当前图像中当前块的压缩数据的视频比特流;
从所述视频比特流中解析与所述当前块内变换块中最后有效系数的位置相关的一个或多个语法元素,其中所述一个或多个语法元素的最大值取决于所述变换块的块尺寸以及清零阈值,其中坐标大于所述清零阈值的所述变换块的系数被设置为零;
使用包括所述变换块中所述最后有效系数的所述位置的第一信息推导所述当前块的已解码残差信号;以及
使用包括所述当前块的所述已解码残差信号的第二信息生成重构的当前块。
CN201980066091.XA 2018-10-08 2019-10-08 图像与视频编解码中最后有效系数的编解码方法及装置 Active CN112840655B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862742471P 2018-10-08 2018-10-08
US62/742,471 2018-10-08
PCT/CN2019/109914 WO2020073884A1 (en) 2018-10-08 2019-10-08 Method and apparatus of last significant coefficient coding in image and video coding

Publications (2)

Publication Number Publication Date
CN112840655A true CN112840655A (zh) 2021-05-25
CN112840655B CN112840655B (zh) 2023-12-01

Family

ID=70164862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980066091.XA Active CN112840655B (zh) 2018-10-08 2019-10-08 图像与视频编解码中最后有效系数的编解码方法及装置

Country Status (5)

Country Link
US (1) US11343539B2 (zh)
EP (1) EP3857894A4 (zh)
CN (1) CN112840655B (zh)
TW (1) TWI738077B (zh)
WO (1) WO2020073884A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130235925A1 (en) * 2012-03-08 2013-09-12 Research In Motion Limited Unified transform coefficient encoding and decoding
US20130301738A1 (en) * 2012-01-19 2013-11-14 Sharp Laboratories Of America, Inc. Modified coding for a transform skipped block for cabac in hevc
US20150078432A1 (en) * 2013-09-19 2015-03-19 Blackberry Limited Coding position data for the last non-zero transform coefficient in a coefficient group
CN107079165A (zh) * 2014-11-05 2017-08-18 联发科技(新加坡)私人有限公司 使用预测残差的视频编码方法及装置
US20180020218A1 (en) * 2016-07-15 2018-01-18 Qualcomm Incorporated Look-up table for enhanced multiple transform

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI115946B (fi) * 2000-05-05 2005-08-15 Nokia Corp Menetelmä virheiden havaitsemiseksi videoinformaatiosta
EP1928184B1 (en) * 2005-09-20 2017-09-27 Mitsubishi Electric Corporation Image encoding apparatus, image encoding method
MX2010009194A (es) * 2008-03-07 2010-09-10 Toshiba Kk Metodo y dispositivo de codificacion/decodificacion dinamica de imagen.
US8285068B2 (en) * 2008-06-25 2012-10-09 Cisco Technology, Inc. Combined deblocking and denoising filter
EP2154894A1 (en) * 2008-08-15 2010-02-17 Thomson Licensing Video coding with coding of the locations of significant coefficients in a block of coefficients
CN113556556A (zh) * 2010-04-13 2021-10-26 Ge视频压缩有限责任公司 显著性图和变换系数块的编码
US8902988B2 (en) 2010-10-01 2014-12-02 Qualcomm Incorporated Zero-out of high frequency coefficients and entropy coding retained coefficients using a joint context model
US8976861B2 (en) * 2010-12-03 2015-03-10 Qualcomm Incorporated Separately coding the position of a last significant coefficient of a video block in video coding
US9525876B2 (en) * 2011-11-04 2016-12-20 Sharp Kabushiki Kaisha Arithmetic decoding device, image decoding device, arithmetic coding device, image coding device, and arithmetic decoding method
US9191670B2 (en) * 2012-01-17 2015-11-17 Qualcomm Incorporated Throughput improvement for CABAC coefficient level coding
US9635358B2 (en) * 2012-01-21 2017-04-25 Google Technology Holdings LLC Method of determining binary codewords for transform coefficients
US9088769B2 (en) * 2012-06-28 2015-07-21 Blackberry Limited Reduced worst-case context-coded bins in video compression with parity hiding
CA2939170A1 (en) * 2014-03-13 2015-09-17 Qualcomm Incorporated Constrained depth intra mode coding for 3d video coding
US9432696B2 (en) * 2014-03-17 2016-08-30 Qualcomm Incorporated Systems and methods for low complexity forward transforms using zeroed-out coefficients
KR101534033B1 (ko) * 2015-03-02 2015-07-10 에스케이텔레콤 주식회사 주파수 마스크 테이블을 이용한 주파수변환 블록 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US10708164B2 (en) * 2016-05-03 2020-07-07 Qualcomm Incorporated Binarizing secondary transform index
US10440394B2 (en) * 2016-09-08 2019-10-08 Google Llc Context adaptive scan order for entropy coding
EP3516876A4 (en) 2016-10-14 2020-07-22 MediaTek Inc. METHOD AND DEVICE FOR SMOOTHING A FILTER FOR THE REMOVAL OF RING ARTIFACTS
US10523968B2 (en) * 2017-09-18 2019-12-31 Google Llc Coding of last significant coefficient flags

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130301738A1 (en) * 2012-01-19 2013-11-14 Sharp Laboratories Of America, Inc. Modified coding for a transform skipped block for cabac in hevc
US20130235925A1 (en) * 2012-03-08 2013-09-12 Research In Motion Limited Unified transform coefficient encoding and decoding
US20150078432A1 (en) * 2013-09-19 2015-03-19 Blackberry Limited Coding position data for the last non-zero transform coefficient in a coefficient group
CN107079165A (zh) * 2014-11-05 2017-08-18 联发科技(新加坡)私人有限公司 使用预测残差的视频编码方法及装置
US20180020218A1 (en) * 2016-07-15 2018-01-18 Qualcomm Incorporated Look-up table for enhanced multiple transform

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
B. BROSS ET AL.: "Versatile Video Coding (Draft 2)", Retrieved from the Internet <URL:百度> *
J. SOLE ET AL.: "Reduced complexity 32x32 transform by coefficient zero-out", Retrieved from the Internet <URL:百度> *
XIN ZHAO ET AL.: "CE6: Block size dependent zero-out transform (Test 1.14)", Retrieved from the Internet <URL:百度> *

Also Published As

Publication number Publication date
EP3857894A4 (en) 2022-09-07
US11343539B2 (en) 2022-05-24
WO2020073884A1 (en) 2020-04-16
CN112840655B (zh) 2023-12-01
US20210314617A1 (en) 2021-10-07
TW202031042A (zh) 2020-08-16
TWI738077B (zh) 2021-09-01
EP3857894A1 (en) 2021-08-04

Similar Documents

Publication Publication Date Title
US10419763B2 (en) Method and apparatus of context modelling for syntax elements in image and video coding
US11750841B2 (en) Methods and apparatuses for coding transform blocks
RU2654129C2 (ru) Функциональные возможности режима внутреннего предсказания с блочным копированием для кодирования и декодирования видео и изображений
US10582203B2 (en) Method and apparatus for transform coefficient coding of non-square blocks
US9380319B2 (en) Implicit transform unit representation
CA2925183A1 (en) Features of base color index map mode for video and image coding and decoding
US11509938B2 (en) Method and apparatus of signaling subpicture information in video coding
TWI751633B (zh) 在視訊編解碼系統中對與預測殘差相對應的變換係數進行編/解碼的方法及裝置
US11805279B2 (en) Method and apparatus of transform coefficient coding
TW202038615A (zh) 帶有變換塊級別約束的變換係數編碼的方法和設備
WO2020262012A1 (ja) 画像復号装置、画像復号方法及びプログラム
CN112840655B (zh) 图像与视频编解码中最后有效系数的编解码方法及装置
WO2023198013A1 (en) Methods and apparatus of cu partition using signalling predefined partitions in video coding
RU2783342C1 (ru) Способ и устройство для нелинейной адаптивной контурной фильтрации при кодировании видео

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220422

Address after: Hsinchu County, Taiwan, China

Applicant after: MEDIATEK Inc.

Address before: Singapore City Huicheng Avenue Soras one of the third floor of the building

Applicant before: MediaTek (Singapore) Pte. Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant