CN114615504A - 视频解码方法、视频编码方法、装置及设备 - Google Patents

视频解码方法、视频编码方法、装置及设备 Download PDF

Info

Publication number
CN114615504A
CN114615504A CN202011414460.0A CN202011414460A CN114615504A CN 114615504 A CN114615504 A CN 114615504A CN 202011414460 A CN202011414460 A CN 202011414460A CN 114615504 A CN114615504 A CN 114615504A
Authority
CN
China
Prior art keywords
value
displacement vector
suffix
vector residual
prefix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011414460.0A
Other languages
English (en)
Inventor
胡晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011414460.0A priority Critical patent/CN114615504A/zh
Priority to PCT/CN2021/131293 priority patent/WO2022116836A1/zh
Priority to EP21899870.6A priority patent/EP4246975A4/en
Publication of CN114615504A publication Critical patent/CN114615504A/zh
Priority to US17/969,633 priority patent/US20230068657A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

本申请提供了一种视频解码方法、视频编码方法、装置及设备。所述方法包括:从多个候选的取值区间中,确定当前解码单元在第一方向上的位移矢量残差的绝对值所属的第一取值区间;在基于第一取值区间,确定第一方向上的位移矢量残差除了对应有前缀值之外,还对应有后缀值的情况下,基于第一取值区间,确定用于对第一方向上的位移矢量残差对应的后缀值进行解码的第一后缀反二值化方法;采用第一后缀反二值化方法,对码流中的第一后缀部分二元符号串进行反二值化处理,得到第一方向上的位移矢量残差对应的后缀值;基于第一方向上的位移矢量残差对应的前缀值和后缀值,确定第一方向上的位移矢量残差。本申请提升了编解码效率和压缩性能。

Description

视频解码方法、视频编码方法、装置及设备
技术领域
本申请实施例涉及视频编解码技术领域,特别涉及一种视频解码方法、视频编码方法、装置及设备。
背景技术
在目前的视频编解码标准中,如VVC(Versatile Video Coding,通用视频编码)和AVS3(Audio Video coding Standard 3,音视频编码标准3)中,帧间预测模式的MVD(运动矢量残差)和IBC(帧内块复制)模式的BVD(块位移矢量残差)使用的编解码方法是相同的。但是,这不利于编解码性能的提升。
发明内容
本申请实施例提供了一种视频解码方法、视频编码方法、装置及设备,有利于提升编解码性能。所述技术方案如下:
根据本申请实施例的一个方面,提供了一种视频解码方法,所述方法包括:
从多个候选的取值区间中,确定当前解码单元在第一方向上的位移矢量残差的绝对值所属的第一取值区间;
在基于所述第一取值区间,确定所述第一方向上的位移矢量残差除了对应有前缀值之外,还对应有后缀值的情况下,基于所述第一取值区间,确定用于对所述第一方向上的位移矢量残差对应的后缀值进行解码的第一后缀反二值化方法;
采用所述第一后缀反二值化方法,对所述码流中的第一后缀部分二元符号串进行反二值化处理,得到所述第一方向上的位移矢量残差对应的后缀值;
基于所述第一方向上的位移矢量残差对应的前缀值和后缀值,确定所述第一方向上的位移矢量残差。
根据本申请实施例的一个方面,提供了一种视频编码方法,所述方法包括:
从多个候选的取值区间中,确定当前编码单元在第一方向上的位移矢量残差的绝对值所属的第一取值区间;
在确定所述第一方向上的位移矢量残差对应有前缀值和后缀值的情况下,基于所述第一取值区间,确定用于对所述第一方向上的位移矢量残差对应的后缀值进行编码的第一后缀二值化方法;
采用所述第一后缀二值化方法,对所述第一方向上的位移矢量残差对应的后缀值进行二值化处理,得到第一后缀部分二元符号串;
编码生成包含有所述第一后缀部分二元符号串的码流。
根据本申请实施例的一个方面,提供了一种视频解码装置,所述装置包括:
区间确定模块,用于从多个候选的取值区间中,确定当前解码单元在第一方向上的位移矢量残差的绝对值所属的第一取值区间;
方法确定模块,用于在基于所述第一取值区间,确定所述第一方向上的位移矢量残差除了对应有前缀值之外,还对应有后缀值的情况下,基于所述第一取值区间,确定用于对所述第一方向上的位移矢量残差对应的后缀值进行解码的第一后缀反二值化方法;
反二值化模块,用于采用所述第一后缀反二值化方法,对所述码流中的第一后缀部分二元符号串进行反二值化处理,得到所述第一方向上的位移矢量残差对应的后缀值;
残差确定模块,用于基于所述第一方向上的位移矢量残差对应的前缀值和后缀值,确定所述第一方向上的位移矢量残差。
根据本申请实施例的一个方面,提供了一种视频编码装置,所述装置包括:
区间确定模块,用于从多个候选的取值区间中,确定当前编码单元在第一方向上的位移矢量残差的绝对值所属的第一取值区间;
方法确定模块,用于在确定所述第一方向上的位移矢量残差对应有前缀值和后缀值的情况下,基于所述第一取值区间,确定用于对所述第一方向上的位移矢量残差对应的后缀值进行编码的第一后缀二值化方法;
二值化模块,用于采用所述第一后缀二值化方法,对所述第一方向上的位移矢量残差对应的后缀值进行二值化处理,得到第一后缀部分二元符号串;
码流生成模块,用于编码生成包含有所述第一后缀部分二元符号串的码流。
根据本申请实施例的一个方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述视频解码方法,或者实现上述视频编码方法。
根据本申请实施例的一个方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述视频解码方法,或者实现上述视频编码方法。
根据本申请实施例的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述视频解码方法,或者实现上述视频编码方法。
本申请实施例提供的技术方案可以包括如下有益效果:
位移矢量残差对应的后缀值的二值化和反二值化方法,其并非是一种固定的方法,而是基于位移矢量残差的绝对值所属的取值区间确定的方法,通过这种方式,实现了基于位移矢量残差的绝对值在不同取值区间内的分布特性,设计适合该分布特性的且具有较好编解码性能的二值化和反二值化方法,从而有助于提升编解码效率和压缩性能。
附图说明
图1是本申请示例性示出的一种视频编码过程的基本流程图;
图2是本申请一个实施例提供的帧间预测模式的示意图;
图3是本申请一个实施例提供的候选运动矢量的示意图;
图4是本申请一个实施例提供的帧内块复制模式的示意图;
图5是本申请一个实施例提供的帧内串复制模式的示意图;
图6是本申请一个实施例提供的通信系统的简化框图;
图7是本申请示例性示出的视频编码器和视频解码器在流式传输环境中的放置方式的示意图;
图8至图13是本申请实施例提供的视频解码方法的流程图;
图14是本申请实施例提供的视频编码方法的流程图;
图15是本申请一个实施例提供的视频解码装置的框图;
图16是本申请一个实施例提供的视频编码装置的框图;
图17是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例进行介绍说明之前,首先结合图1对视频编码技术进行简单介绍。图1示例性示出了一种视频编码过程的基本流程图。
视频信号是指包括多个帧的图像序列。帧(frame)是视频信号空间信息的表示。以YUV模式为例,一个帧包括一个亮度样本矩阵(Y)和两个色度样本矩阵(Cb和Cr)。从视频信号的获取方式来看,可以分为摄像机拍摄到的以及计算机生成的两种方式。由于统计特性的不同,其对应的压缩编码方式也可能有所区别。
在一些主流的视频编码技术中,如H.265/HEVC(High Efficient Video Coding,高效率视频压缩编码)、H.266/VVC(Versatile Video Coding,通用视频编码)标准、AVS(Audio Video coding Standard,音视频编码标准)(如AVS3)中,采用了混合编码框架,对输入的原始视频信号进行如下一系列的操作和处理:
1、块划分结构(block partition structure):输入图像划分成若干个不重叠的处理单元,每个处理单元将进行类似的压缩操作。这个处理单元被称作CTU(Coding TreeUnit,编码树单元),或者LCU(Large Coding Unit,最大编码单元)。CTU再往下,可以继续进行更加精细的划分,得到一个或多个基本编码的单元,称之为CU(Coding Unit,编码单元)。每个CU是一个编码环节中最基本的元素。以下描述的是对每一个CU可能采用的各种编码方式。
2、预测编码(Predictive Coding):包括了帧内预测和帧间预测等方式,原始视频信号经过选定的已重建视频信号的预测后,得到残差视频信号。编码端需要为当前CU决定在众多可能的预测编码模式中,选择最适合的一种,并告知解码端。其中,帧内预测是指预测的信号来自于同一图像内已经编码重建过的区域。帧间预测是指预测的信号来自已经编码过的,不同于当前图像的其他图像(称之为参考图像)。
3、变换编码及量化(Transform&Quantization):残差视频信号经过DFT(DiscreteFourier Transform,离散傅里叶变换)、DCT(Discrete Cosine Transform,离散余弦变换)等变换操作,将信号转换到变换域中,称之为变换系数。在变换域中的信号,进一步进行有损的量化操作,丢失掉一定的信息,使得量化后的信号有利于压缩表达。在一些视频编码标准中,可能有多于一种变换方式可以选择,因此,编码端也需要为当前CU选择其中的一种变换,并告知解码端。量化的精细程度通常由量化参数来决定。QP(Quantization Parameter,量化参数)取值较大,表示更大取值范围的系数将被量化为同一个输出,因此通常会带来更大的失真,及较低的码率;相反,QP取值较小,表示较小取值范围的系数将被量化为同一个输出,因此通常会带来较小的失真,同时对应较高的码率。
4、熵编码(Entropy Coding)或统计编码:量化后的变换域信号,将根据各个值出现的频率,进行统计压缩编码,最后输出二值化(0或者1)的压缩码流。同时,编码产生其他信息,例如选择的模式、运动矢量等,也需要进行熵编码以降低码率。统计编码是一种无损编码方式,可以有效的降低表达同样的信号所需要的码率。常见的统计编码方式有变长编码(Variable Length Coding,简称VLC)或者基于上下文的二值化算术编码(ContentAdaptive Binary Arithmetic Coding,简称CABAC)。
5、环路滤波(Loop Filtering):已经编码过的图像,经过反量化、反变换及预测补偿的操作(上述2~4的反向操作),可获得重建的解码图像。重建图像与原始图像相比,由于存在量化的影响,部分信息与原始图像有所不同,产生失真(distortion)。对重建图像进行滤波操作,例如去块效应滤波(deblocking),SAO(Sample Adaptive Offset,样本自适应偏移量)或者ALF(Adaptive Lattice Filter,自适应格型滤波器)等滤波器,可以有效的降低量化所产生的失真程度。由于这些经过滤波后的重建图像,将作为后续编码图像的参考,用于对将来的信号进行预测,所以上述的滤波操作也被称为环路滤波,及在编码环路内的滤波操作。
根据上述编码过程可以看出,在解码端,对于每一个CU,解码器获得压缩码流后,先进行熵解码,获得各种模式信息及量化后的变换系数。各个系数经过反量化及反变换,得到残差信号。另一方面,根据已知的编码模式信息,可获得该CU对应的预测信号,两者相加之后,即可得到重建信号。最后,解码图像的重建值,需要经过环路滤波的操作,产生最终的输出信号。
一些主流的视频编码标准中,如HEVC、VVC、AVS3等标准中,均采用基于块的混合编码框架。它们将原始的视频数据分成一系列的编码块,结合预测、变换和熵编码等视频编码方法,实现视频数据的压缩。其中,运动补偿是视频编码常用的一类预测方法,运动补偿基于视频内容在时域或空域的冗余特性,从已编码的区域导出当前编码块的预测值。这类预测方法包括:帧间预测、帧内块复制预测、帧内串复制预测等,在具体的编码实现中,可能单独或组合使用这些预测方法。对于使用了这些预测方法的编码块,通常需要在码流显式或隐式地编码一个或多个二维的位移矢量,指示当前块(或当前块的同位块)相对它的一个或多个参考块的位移。
需要注意的是,在不同的预测模式下及不同的实现,位移矢量可能有不同的名称,本文统一按照以下方式进行描述:1)帧间预测模式中的位移矢量称为运动矢量(MotionVector,简称MV);2)IBC(Intra Block Copy,帧内块复制)预测模式中的位移矢量称为块矢量(Block Vector,简称BV);3)ISC(Intra String Copy,帧内串复制)预测模式中的位移矢量称为串矢量(String Vector,简称SV)。帧内串复制也称作“串预测”或“串匹配”等。
MV是指用于帧间预测模式的位移矢量,由当前图像指向参考图像,其值为当前块和参考块之间的坐标偏移量,其中,当前块与参考块在两个不同图像中。在帧间预测模式中,可以引入运动矢量预测,通过对当前块的运动矢量进行预测,得到当前块对应的预测运动矢量,对当前块对应的预测运动矢量与实际运动矢量之间的差值进行编码传输,相较于直接对当前块对应的实际运动矢量进行编码传输,有利于节省比特开销。在本申请实施例中,预测运动矢量是指通过运动矢量预测技术,得到的当前块的运动矢量的预测值。
BV是指用于IBC预测模式的位移矢量,其值为当前块和参考块之间的坐标偏移量,其中,当前块与参考块均在当前图像中。在IBC模式中,可以引入块矢量预测,通过对当前块的块矢量进行预测,得到当前块对应的预测块矢量,对当前块对应的预测块矢量与实际块矢量之间的差值进行编码传输,相较于直接对当前块对应的实际块矢量进行编码传输,有利于节省比特开销。在本申请实施例中,预测块矢量是指通过块矢量预测技术,得到的当前块的块矢量的预测值。
SV是指用于ISC预测模式的位移矢量,其值为当前串和参考串之间的坐标偏移量,其中,当前串与参考串均在当前图像中。在ISC模式中,可以引入串矢量预测,通过对当前串的串矢量进行预测,得到当前串对应的预测串矢量,对当前串对应的预测串矢量与实际串矢量之间的差值进行编码传输,相较于直接对当前串对应的实际串矢量进行编码传输,有利于节省比特开销。在本申请实施例中,预测串矢量是指通过串矢量预测技术,得到的当前串的串矢量的预测值。
下面对几种不同的预测模式进行介绍:
一、帧间预测模式
如图2所示,帧间预测利用视频时间域的相关性,使用邻近已编码图像的像素预测当前图像的像素,以达到有效去除视频时域冗余的目的,能够有效节省编码残差数据的比特。其中,P为当前帧,Pr为参考帧,B为当前待编码块,Br是B的参考块。B’与B在图像中的坐标位置相同,Br坐标为(xr,yr),B’坐标为(x,y)。当前待编码块与其参考块之间的位移,称为运动矢量(MV),即:
MV=(xr-x,yr-y)。
考虑到时域或空域邻近块具有较强的相关性,可以采用MV预测技术进一步减少编码MV所需要的比特。在H.265/HEVC中,帧间预测包含Merge和AMVP(Advanced MotionVector Prediction,高级运动向量预测)两种MV预测技术。
Merge模式会为当前PU(Prediction Unit,预测单元)建立一个MV候选列表,其中存在5个候选MV(及其对应的参考图像)。遍历这5个候选MV,选取率失真代价最小的作为最优MV。若编解码器依照相同的方式建立候选列表,则编码器只需要传输最优MV在候选列表中的索引即可。需要注意的是,HEVC的MV预测技术还有一种skip模式,是Merge模式的一种特例。在Merge模式找到最优MV后,如果当前块和参考块基本一样,那么不需要传输残差数据,只需要传送MV的索引和一个skip flag。
Merge模式建立的MV候选列表中包含了空域和时域的两种情形,对于B Slice(B帧图像),还包含组合列表的方式。其中,空域最多提供4个候选MV,它的建立如图3中的(a)部分所示。空域列表按照A1→B1→B0→A0→B2的顺序建立,其中B2为替补,即当A1,B1,B0,A0中有一个或多个不存在时,则需要使用B2的运动信息;时域最多只提供1个候选MV,它的建立如图3中的(b)部分所示,由同位PU的MV按下式伸缩得到:
curMV=td*colMV/tb;
其中,curMV表示当前PU的MV,colMV表示同位PU的MV,td表示当前图像与参考图像之间的距离,tb表示同位图像与参考图像之间的距离。若同位块上D0位置PU不可用,则用D1位置的同位PU进行替换。对于B Slice中的PU,由于存在两个MV,其MV候选列表也需要提供两个MVP(Motion Vector Predictor,预测运动矢量)。HEVC通过将MV候选列表中的前4个候选MV进行两两组合,产生了用于B Slice的组合列表。
类似的,AMVP模式利用空域和时域邻近块的MV相关性,为当前PU建立MV候选列表。与Merge模式不同,AMVP模式的MV候选列表中选择最优的预测MV,与当前待编码块通过运动搜索得到的最优MV进行差分编码,即编码MVD=MV-MVP,其中MVD为运动矢量残差(MotionVector Difference);解码端通过建立相同的列表,仅需要MVD与MVP在该列表中的序号即可计算当前解码块的MV。AMVP模式的MV候选列表也包含空域和时域两种情形,不同的是AMVP模式的MV候选列表长度仅为2。
如上所述,在HEVC的AMVP模式中,需要对MVD(Motion Vector Difference,运动矢量残差)进行编码。在HEVC中,MVD的分辨率由slice_header中的use_integer_mv_flag控制,当该标志的值为0,MVD以1/4(亮度)像素分辨率进行编码;当该标志的值为1,MVD采用整(亮度)像素分辨率进行编码。VVC中使用了一种自适应运动矢量精度(Adaptive MotionVector Resolution,简称AMVR)的方法。该方法允许每个CU自适应的选择编码MV的分辨率。在普通的AMVP模式中,可选的分辨率包括1/4,1/2,1和4像素分辨率。对于具有至少一个非零MVD分量的CU,首先编码一个标志指示是否将四分之一亮度采样MVD精度用于CU。如果该标志为0,则当前CU的MVD采用1/4像素分辨率进行编码。否则,需要编码第二个标志,以指示CU使用了1/2像素分辨率或其他MVD分辨率。否则,编码第三个标志以指示对于CU是否使用1像素分辨率或4像素分辨率。
二、IBC预测模式
IBC是HEVC屏幕内容编码(Screen Content Coding,简称SCC)扩展中采纳的一种帧内编码工具,它显著的提升了屏幕内容的编码效率。在AVS3和VVC中,也采纳了IBC技术以提升屏幕内容编码的性能。IBC利用屏幕内容视频在空间的相关性,使用当前图像上已编码图像像素预测当前待编码块的像素,能够有效节省编码像素所需的比特。如图4所示,在IBC中当前块与其参考块之间的位移,称为BV(块矢量)。H.266/VVC采用了类似于帧间预测的BV预测技术进一步节省编码BV所需的比特,并允许使用1或4像素分辨率编码BVD(BlockVector Difference,块矢量残差)。
三、ISC预测模式
ISC技术按照某种扫描顺序(如光栅扫描、往返扫描和Zig-Zag扫描等)将一个编码块分成一系列像素串或未匹配像素。类似于IBC,每个串在当前图像已编码区域中寻找相同形状的参考串,导出当前串的预测值,通过编码当前串像素值与预测值之间残差,代替直接编码像素值,能够有效节省比特。图5给出了帧内串复制的示意图,深灰色的区域为已编码区域,白色的28个像素为串1,浅灰色的35个像素为串2,黑色的1个像素表示未匹配像素。串1与其参考串之间的位移,即为图4中的串矢量1;串2与其参考串之间的位移,即为图4中的串矢量2。
帧内串复制技术需要编码当前编码块中各个串对应的SV、串长度以及是否有匹配串的标志等。其中,SV表示待编码串到其参考串的位移。串长度表示该串所包含的像素数量。在不同的实现方式中,串长度的编码有多种方式,以下给出几种示例(部分示例可能组合使用):1)直接在码流中编码串的长度;2)在码流中编码处理该串后续的待处理像素数量,解码端则根据当前块的大小N,已处理的像素数量N1,解码得到的待处理像素数量N2,计算得到当前串的长度,L=N-N1-N2;3)在码流中编码一个标志指示该串是否为最后一个串,如果是最后一个串,则根据当前块的大小N,已处理的像素数量N1,计算得到当前串的长度L=N-N1。如果一个像素在可参考的区域中没有找到对应的参考,将直接对未匹配像素的像素值进行编码。
以下表1给出AVS3标准中BVD的解码流程(带下划线加粗的字段表示需要解码的语法元素,无下划线首字母大写的字段表示变量,变量的值可由语法元素解码得到,以下流程省略了一些与本申请无关的细节):
表1
Figure BDA0002817726610000091
Figure BDA0002817726610000101
相关语义描述:
1、帧内块复制模式标志ibc_cu_flag
二值变量。值为‘1’表示当前编码单元是IBC预测模式;值为‘0’表示当前编码单元不是IBC预测模式。IbcCuFlag的值等于ibc_cu_flag。如果位流中不存在ibc_cu_flag,IbcCuFlag的值等于0。
2、自适应块矢量精度允许标志abvr_enable_flag
二值变量。值为‘1’表示可使用自适应块矢量精度;值为‘0’表示不应使用自适应块矢量精度。AbvrEnableFlag的值等于abvr_enable_flag的值。如果位流中不存在abvr_enable_flag,AbvrEnableFlag的值为0。
3、自适应块矢量精度索引abvr_index
用于确定编码单元的块矢量精度。如果abvr_index值为‘0’,AbvrIndex的值等于0。如果abvr_index值为‘1’,AbvrIndex的值等于2。如果位流中不存在abvr_index,则AbvrIndex的值等于0。
如果编码单元是IBC预测模式,则根据AbvrIndex决定BV的基本单位:
如果AbvrIndex的值为0,BV的基本单位是1个整数样本;
如果AbvrIndex的值为1,BV的基本单位是4个整数样本。
4、块矢量水平分量差绝对值mv_diff_x_abs_bv;块矢量垂直分量差绝对值mv_diff_y_abs_bv
BVD的绝对值。MvDiffXAbsBv等于mv_diff_x_abs_bv的值,MvDiffYAbsBv等于mv_diff_y_abs_bv的值。
5、块矢量水平分量差符号值mv_diff_x_sign_bv;块矢量垂直分量差符号值mv_diff_y_sign_bv
BVD的符号位。MvDiffXSignbV的值等于mv_diff_x_sign_bv的值,MvDiffYSignBv的值等于mv_diff_y_sign_bv。如果位流中不存在mv_diff_x_sign_bv或mv_diff_y_sign_bv,则MvDiffXSignBv或MvDiffYSignBv的值为0。如果MvDiffXSignBv的值为0,MvDiffXBv(BVD的水平分量)等于MvDiffXAbsBv;如果MvDiffXSignBv的值为1,MvDiffXBv等于-MvDiffXAbsBv。如果MvDiffYSignBv的值为0,MvDiffYBv(BVD的垂直分量)等于BvDiffYAbsBv;如果MvDiffYSignBv的值为1,BvDiffYBv等于-MvDiffYAbsBv。MvDiffXBv和MvDiffYBv的取值范围是-32768~32767。
另外,IBC预测模式的BV导出过程如下:
MvDiffXBv=MvDiffXBv<<(AbvrIndex+2)
MvDiffYBv=MvDiffYBv<<(AbvrIndex+2)
MvPredXBv=Rounding(MvPredXBv,AbvrIndex+2)<<(AbvrIndex+2)
MvPredYBv=Rounding(MvPredYBv,AbvrIndex+2)<<(AbvrIndex+2)
bvE_x=Clip3(-32768,32767,MvDiffXBv+MvPredXBv)
bvE_y=Clip3(-32768,32767,MvDiffYBv+MvPredYBv)
其中,MvDiffXBv为BVD的水平分量,MvDiffYBv为BVD的垂直分量,MvPredXBv为BVP(Block Vector Predictor,预测块矢量)的水平分量,MvPredYBv为BVP的垂直分量,bvE_x是BV的水平分量,bvE_y是BV的垂直分量。
结合表1,以下介绍AVS3标准中关于MVD/BVD的熵编码方案,由于在目前的AVS3标准中,BVD和MVD采用的是相同的熵编码和二值化方案,因此,以解码端为例,下面主要对BVD的熵解码过程进行介绍说明:
1)先解码BVD水平方向绝对值mv_diff_x_abs_bv;
2)如果mv_diff_x_abs_bv不为0,解码mv_diff_x_abs_bv的符号mv_diff_x_sign_bv;
3)解码BVD垂直方向绝对值mv_diff_y_abs_bv;
4)如果mv_diff_y_abs_bv不为0,解码mv_diff_y_abs_bv的符号mv_diff_y_sign_bv。
以下介绍AVS3标准中关于BVD的反二值化方法(省略了一些与本申请无关的细节):
一、二元符号串的解析步骤如下:
a)设二元符号的索引号binIdx的值为-1,二元符号串为空;
b)binIdx的值加1,然后进行以下操作:
1)如果当前二元符号是以下二元符号之一,置BypassFlag的值为1;
mv_diff_x_sign或mv_diff_y_sign的二元符号;
mv_diff_x_abs或mv_diff_y_abs中binIdx大于或等于3的二元符号;
2)否则,如果当前二元符号是以下二元符号之一,置BypassFlag的值为0且StuffingBitFlag的值为1;
aec_lcu_stuffing_bit的二元符号;
aec_ipcm_stuffing_bit的二元符号。
3)否则,置BypassFlag和StuffingBitFlag的值为0,根据binIdx得到每个二元符号对应的唯一的ctxIdx,并根据ctxIdx导出二元符号模型ctx。
c)如果当前二元符号是coeff_last,置CtxWeight的值为1;否则,置CtxWeight的值为0;
d)解析当前二元符号;
e)将由步骤c得到的二元符号加入二元符号串的尾部,得到更新的二元符号串;
f)将由步骤d得到的二元符号串与相关表格(该表格中记录了索引值与二元符号串之间的对应关系,例如下述表2)进行比较。如果该二元符号串与表格中某个二元符号串相匹配,则完成二元符号串的解析;否则回到步骤b,继续解析下一个二元符号。
二、mv_diff_x_abs_bv和mv_diff_y_abs_bv的反二值化方法
由二元符号串查表2得到synElVal的值。表2中,如果synElVal的值大于或等于3并且synElVal的值为奇数,二元符号串的前四位为‘1110’,后续位为(synElVal-3)/2对应的0阶指数哥伦布码;如果synElVal的值大于3并且synElVal的值为偶数,二元符号串的前四位为‘1111’,后续位为(synElVal-3)/2对应的0阶指数哥伦布码。
mv_diff_x_abs_bv或mv_diff_y_abs_bv的值等于synElVal。
表2
Figure BDA0002817726610000121
Figure BDA0002817726610000131
下面,对CABAC进行介绍说明。CABAC过程主要包括如下3个步骤:
1、二进制化;
2、上下文建模;
3、二进制算术编码。
在对输入的语法元素进行二值化后,可以通过常规编码模式和旁路(bypass)编码模式对二元数据进行编码。旁路编码模式(Bypass Coding Mode),它无须为每个二元位分配特定的概率模型,输入的二元位(bin)直接用一个简单的旁路编码器进行编码,以加快整个编码以及解码的速度。
一般情况下,不同的语法元素之间并不是完全独立的,且相同语法元素自身也具有一定的记忆性。因此,根据条件熵理论,利用其他已编码的语法元素进行条件编码,相对于独立编码或者无记忆编码能够进一步提高编码性能。这些用来作为条件的已编码符号信息称为上下文。在常规编码模式中,语法元素的bin顺序地进入上下文模型器。编码器根据先前编码过的语法元素或二元位的值,为每一个输入的二元位分配合适的概率模型,该过程即为上下文建模。将bin和分配的概率模型一起送入二元算术编码器进行编码后,需要根据bin值更新上下文模型,也就是编码中的自适应过程。
从理论来说,条件越多所得到的条件熵就越小,因此提高上下文阶数能够获得更好的编码性能。但随着上下文模型阶数的增加,对概率模型存储和更新的复杂度也会以惊人的速度增加。若减小概率模型的数目,会使得编码器不能对概率做出准确的估计,引起编码性能下降。因此在进行上下文模型设计时,既要考虑如何充分地利用上下文模型来提高编码效率,又要考虑引入上下文模型所增加的概率模型实现复杂度。
同时为了利用有限的概率模型资源实现尽可能高的编码性能,上下文模型的应用就要有所针对性。具体表现就是,对于那些高概率发生的对编码性能的影响起主导作用的事件,建立精致的上下文模型,可以增加上下文模型的阶数以达到更为精细的条件估计;而对于低概率发生的对编码性能影响不大的事件,可以建立比较简单的上下文模型,甚至可以存在不同上下文模型,或者视其为等概率时间进行编码。
在目前的AVS3标准中,帧间预测模式的MVD和IBC预测模式的BVD使用了相同的编解码方式。然而,MVD(绝对值)的分布较为尖锐,绝大部分值集中在0附近。而与MVD相比,BVD(绝对值)的分布相对更为分散,出现较大值的概率较大。BVD(绝对值)大部分值集中在较小值,然后在中段区间内分布较为平坦。另外,当BVD水平方向的值等于0时,BVD垂直方向的值等于0的概率较大。
目前的位移矢量残差的编解码方案,更适用于编码诸如MVD这种分布更为尖锐,更倾向于较小值的语法元素。但是,由于帧间预测模式和IBC预测模式的参考范围限制差异等因素,MVD和BVD的分布特性是不完全一致的。如上文介绍,与MVD相比,BVD的分布相对更加均匀,数据偏斜度相对较小。因此,使用适用于MVD的编码方式去编码BVD不能完全发挥BVD分布的特性,导致BVD编码的压缩效率不能达到最优。
本申请根据MVD和BVD的分布特征差异,提出了一种更符合BVD分布特性的位移矢量残差编解码方法,有助于提升BVD的编解码效率,从而提升视频的压缩性能。
如图6所示,其示出了本申请一个实施例提供的通信系统的简化框图。通信系统600包括多个设备,所述设备可通过例如网络650彼此通信。举例来说,通信系统600包括通过网络650互连的第一设备610和第二设备620。在图6的实施例中,第一设备610和第二设备620执行单向数据传输。举例来说,第一设备610可对视频数据例如由第一设备610采集的视频图片流进行编码以通过网络650传输到第二设备620。已编码的视频数据以一个或多个已编码视频码流形式传输。第二设备620可从网络650接收已编码视频数据,对已编码视频数据进行解码以恢复视频数据,并根据恢复的视频数据显示视频图片。单向数据传输在媒体服务等应用中是较常见的。
在另一实施例中,通信系统600包括执行已编码视频数据的双向传输的第三设备630和第四设备640,所述双向传输可例如在视频会议期间发生。对于双向数据传输,第三设备630和第四设备640中的每个设备可对视频数据(例如由设备采集的视频图片流)进行编码,以通过网络650传输到第三设备630和第四设备640中的另一设备。第三设备630和第四设备640中的每个设备还可接收由第三设备630和第四设备640中的另一设备传输的已编码视频数据,且可对所述已编码视频数据进行解码以恢复视频数据,且可根据恢复的视频数据在可访问的显示装置上显示视频图片。
在图6的实施例中,第一设备610、第二设备620、第三设备630和第四设备640可为服务器、个人计算机和智能电话等计算机设备,但本申请公开的原理可不限于此。本申请实施例适用于PC(Personal Computer,个人计算机)、手机、平板电脑、媒体播放器和/或专用视频会议设备。网络650表示在第一设备610、第二设备620、第三设备630和第四设备640之间传送已编码视频数据的任何数目的网络,包括例如有线连线的和/或无线通信网络。通信网络650可在电路交换和/或分组交换信道中交换数据。该网络可包括电信网络、局域网、广域网和/或互联网。出于本申请的目的,除非在下文中有所解释,否则网络650的架构和拓扑对于本申请公开的操作来说可能是无关紧要的。
作为实施例,图7示出视频编码器和视频解码器在流式传输环境中的放置方式。本申请所公开主题可同等地适用于其它支持视频的应用,包括例如视频会议、数字TV(电视)、在包括CD(Compact Disc,光盘)、DVD(Digital Versatile Disc,数字通用光盘)、存储棒等的数字介质上存储压缩视频等等。
流式传输系统可包括采集子系统713,所述采集子系统可包括数码相机等视频源701,所述视频源创建未压缩的视频图片流702。在实施例中,视频图片流702包括由数码相机拍摄的样本。相较于已编码的视频数据704(或已编码的视频码流),视频图片流702被描绘为粗线以强调高数据量的视频图片流,视频图片流702可由电子装置720处理,所述电子装置720包括耦接到视频源701的视频编码器703。视频编码器703可包括硬件、软件或软硬件组合以实现或实施如下文更详细地描述的所公开主题的各方面。相较于视频图片流702,已编码的视频数据704(或已编码的视频码流704)被描绘为细线以强调较低数据量的已编码的视频数据704(或已编码的视频码流704),其可存储在流式传输服务器705上以供将来使用。一个或多个流式传输客户端子系统,例如图7中的客户端子系统706和客户端子系统708,可访问流式传输服务器705以检索已编码的视频数据704的副本707和副本709。客户端子系统706可包括例如电子装置730中的视频解码器710。视频解码器710对已编码的视频数据的传入副本707进行解码,且产生可在显示器712(例如显示屏)或另一呈现装置(未描绘)上呈现的输出视频图片流711。在一些流式传输系统中,可根据某些视频编码/压缩标准对已编码的视频数据704、视频数据707和视频数据709(例如视频码流)进行编码。
应注意,电子装置720和电子装置730可包括其它组件(未示出)。举例来说,电子装置720可包括视频解码器(未示出),且电子装置730还可包括视频编码器(未示出)。其中,视频解码器用于对接收到的已编码视频数据进行解码;视频编码器用于对视频数据进行编码。
需要说明的一点是,本申请实施例提供的技术方案可以应用于H.266/VVC标准、H.265/HEVC标准、AVS(如AVS3)或者下一代视频编解码标准中,本申请实施例对此不作限定。
还需要说明的一点是,本申请实施例提供的视频解码方法,各步骤的执行主体可以是解码端设备。本申请实施例提供的视频编码方法,各步骤的执行主体可以是编码端设备。该解码端设备和编码端设备可以是任何具备数据计算、处理和存储能力的计算机设备,如PC、手机、平板电脑、媒体播放器、专用视频会议设备、服务器等等。
另外,本申请所提供的方法可以单独使用或以任意顺序与其他方法合并使用。基于本申请所提供方法的编码器和解码器,可以由1个或多个处理器或是1个或多个集成电路来实现。下面,通过几个实施例对本申请技术方案进行介绍说明。
下面,通过实施例对本申请提供的视频解码方法进行介绍说明。
请参考图8,其示出了本申请一个实施例提供的视频解码方法的流程图。该方法可应用于解码端设备中。该方法可以包括如下几个步骤(801~804):
步骤801,从多个候选的取值区间中,确定当前解码单元在第一方向上的位移矢量残差的绝对值所属的第一取值区间。
可选地,第一方向为水平方向或垂直方向。当前解码单元在第一方向上的位移矢量残差的绝对值可能等于0,也可能大于0。
第一取值区间可以是上述多个候选的取值区间中的任意一个取值区间。例如,多个候选的取值区间包括:[0,5)、[5,9)、[9,17)、[17,∞)。第一取值区间可以是上述4个候选的取值区间中的任意一个取值区间。
可选地,多个候选的取值区间是基于位移矢量残差的分布特性设定的。对于不同的预测模式,如帧间预测模式、IBC预测模式、ISC预测模式等,位移矢量残差的分布特性会有所不同。因此,当本申请技术方案应用于某一种预测模式时,需要基于该种预测模式下位移矢量残差的分布特性,设定多个候选的取值区间。例如,对于IBC预测模式来说,BVD的绝对值大部分值集中在[0,5),然后在[5,9)和[9,17)区间内分布较为平坦。那么,对于IBC预测模式来说,基于BVD的上述分布特性,示例性地,可以设置如下4个候选的取值区间:[0,5)、[5,9)、[9,17)、[17,∞)。
需要说明的是,本申请实施例提供的位移矢量残差的编解码方法,不局限于应用在IBC预测模式下BVD的编解码上,还可应用在ISC预测模式下SVD的编解码上、帧间预测模式下MVD的编解码上,等等,本申请实施例对此不作限定。因此,如果当前解码单元属于IBC解码块,那么位移矢量残差为BVD;如果当前解码单元属于ISC解码块,那么位移矢量残差为SVD;如果当前解码单元属于帧间预测模式的解码块,那么位移矢量残差为MVD。
另外,在本申请实施例中,提供了多种方法,以实现从多个候选的取值区间中确定出第一取值区间。例如,可以基于第一方向上的位移矢量残差对应的前缀值,确定第一取值区间;也可以基于一个或者多个范围标识,来确定第一取值区间;还可以结合第一方向上的位移矢量残差对应的前缀值,以及一个或者多个范围标识,来确定第一取值区间。具体方法可参见下文实施例中的介绍说明。
步骤802,在基于第一取值区间,确定第一方向上的位移矢量残差除了对应有前缀值之外,还对应有后缀值的情况下,基于第一取值区间,确定用于对第一方向上的位移矢量残差对应的后缀值进行解码的第一后缀反二值化方法。
在目前的AVS3标准中,位移矢量残差对应的前缀值采用截断值为3的截断一元码进行二值化和反二值化,位移矢量残差对应的后缀值采用0阶指数哥伦布码进行二值化和反二值化。也即,前缀值和后缀值的二值化和反二值化方法,均是固定的一种方法。
与此不同的是,在本申请实施例中,位移矢量残差对应的后缀值的二值化和反二值化方法,其并非是一种固定的方法,而是基于位移矢量残差的绝对值所属的取值区间确定的方法。
例如,在第一取值区间满足第一条件的情况下,确定用于对第一方向上的位移矢量残差对应的后缀值进行解码的第一后缀反二值化方法为第一种方法;在第一取值区间满足第二条件的情况下,确定用于对第一方向上的位移矢量残差对应的后缀值进行解码的第一后缀反二值化方法为第二种方法;并且,上述第一种方法和第二种方法,是两种不同的反二值化方法,且是基于位移矢量残差的绝对值在该取值区间内的分布特性设定的,适合该分布特性的且具有较好编解码性能的方法。
在示例性实施例中,在第一取值区间满足第一条件的情况下,确定第一后缀反二值化方法为定长码的方式;在第一取值区间满足第二条件的情况下,确定第一后缀反二值化方法为指数哥伦布码的方式。当然,在一些其他示例中,还可以针对取值区间所满足的条件,相应设定其他不同的反二值化方法,本申请实施例对此不作限定。
步骤803,采用第一后缀反二值化方法,对码流中的第一后缀部分二元符号串进行反二值化处理,得到第一方向上的位移矢量残差对应的后缀值。
例如,在确定第一后缀反二值化方法为定长码的方式的情况下,采用定长码的方式,对码流中的第一后缀部分二元符号串进行反二值化处理,得到第一方向上的位移矢量残差对应的后缀值。其中,定长码的解码位数可以是预先设定的固定值,也可以是基于第一取值区间确定出的值。
又例如,在确定第一后缀反二值化方法为指数哥伦布码的方式的情况下,采用指数哥伦布码的方式,对码流中的第一后缀部分二元符号串进行反二值化处理,得到第一方向上的位移矢量残差对应的后缀值。其中,指数哥伦布码的阶数可以是预先设定的固定值,也可以是基于第一取值区间确定出的值。
步骤804,基于第一方向上的位移矢量残差对应的前缀值和后缀值,确定第一方向上的位移矢量残差。
可选地,本步骤包括如下几个子步骤:
1、基于第一方向上的位移矢量残差对应的前缀值,确定第一偏移值;
2、基于第一偏移值和第一方向上的位移矢量残差对应的后缀值,确定第一方向上的位移矢量残差的绝对值;
3、在第一方向上的位移矢量残差的绝对值不为0的情况下,从码流中解码得到第一方向上的位移矢量残差的符号,并基于第一方向上的位移矢量残差的绝对值和符号,确定第一方向上的位移矢量残差;
假设第一方向上的位移矢量残差记为y,第一方向上的位移矢量残差的绝对值记为x,那么,在第一方向上的位移矢量残差的符号为正的情况下,第一方向上的位移矢量残差y=x;在第一方向上的位移矢量残差的符号为负的情况下,第一方向上的位移矢量残差y=-x。
4、在第一方向上的位移矢量残差的绝对值为0的情况下,直接确定第一方向上的位移矢量残差为0,且无需从码流中解码得到第一方向上的位移矢量残差的符号。
可选地,位移矢量残差的符号采用CABAC的方式进行熵解码,具有对应的上下文模型;或者,采用bypass的方式进行熵解码。
另外,对于不同的反二值化方法,确定前缀值、后缀值以及偏移值的方式也会相应有所不同,具体可参见下文实施例中相关示例的说明。
另外,位移矢量残差通常包括水平方向和垂直方向这两个方向的分量。因此,如图9所示,本申请提供的视频解码方法还可以包括如下几个步骤(805~808):
步骤805,从多个候选的取值区间中,确定当前解码单元在第二方向上的位移矢量残差的绝对值所属的第二取值区间。
步骤806,在基于第二取值区间,确定第二方向上的位移矢量残差除了对应有前缀值之外,还对应有后缀值的情况下,基于第二取值区间,确定用于对第二方向上的位移矢量残差对应的后缀值进行解码的第二后缀反二值化方法。
可选地,在第二取值区间满足第一条件的情况下,确定第二后缀反二值化方法为定长码的方式;在第二取值区间满足第二条件的情况下,确定第二后缀反二值化方法为指数哥伦布码的方式。
步骤807,采用第二后缀反二值化方法,对码流中的第二后缀部分二元符号串进行反二值化处理,得到第二方向上的位移矢量残差对应的后缀值。
步骤808,基于第二方向上的位移矢量残差对应的前缀值和后缀值,确定第二方向上的位移矢量残差。
可选地,本步骤包括如下几个子步骤:
1、基于第二方向上的位移矢量残差对应的前缀值,确定第二偏移值;
2、基于第二偏移值和第二方向上的位移矢量残差对应的后缀值,确定第二方向上的位移矢量残差的绝对值;
3、在第二方向上的位移矢量残差的绝对值不为0的情况下,从码流中解码得到第二方向上的位移矢量残差的符号,并基于第二方向上的位移矢量残差的绝对值和符号,确定第二方向上的位移矢量残差;
4、在第二方向上的位移矢量残差的绝对值为0的情况下,直接确定第二方向上的位移矢量残差为0,且无需从码流中解码得到第二方向上的位移矢量残差的符号。
其中,第一方向为水平方向且第二方向为垂直方向,或者,第一方向为垂直方向且第二方向为水平方向。
有关第二方向上的位移矢量残差的解码方法,与上文介绍的第一方向上的位移矢量残差的解码方法相同或类似,这是在基于上文介绍的第一方向上的位移矢量残差的解码方法的基础上易于思及的,此处不再赘述。
在示例性实施例中,如果第二方向上的位移矢量残差对应的前缀值是采用CABAC进行熵编码和熵解码的,其第一个比特具有第一上下文模型和第二上下文模型。在先解码第一方向上的位移矢量残差,后解码第二方向上的位移矢量残差的情况下,若第一方向上的位移矢量残差为0,则基于第一上下文模型确定第一个比特的值;若第一方向上的位移矢量残差不为0,则基于第二上下文模型确定第一个比特的值。
在本申请实施例中,考虑到水平方向(x方向)上的位移矢量残差为0的情况下,垂直方向(y方向)上的位移矢量残差也为0的概率较高。因此,针对垂直方向(y方向)上的位移矢量残差,建立较为精细的上下文模型,即将前缀值的第一个比特位(该值为0表示垂直方向上的位移矢量残差为0)的上下文模型增加到2个,通过水平方向上的位移矢量残差是否为0,来判断使用上述2个上下文模型中的哪一个。通过这种方式,可以增加上下文模型的个数以达到更为精细的条件估计,提高编解码效率。
综上所述,本申请实施例提供的技术方案,位移矢量残差对应的后缀值的二值化和反二值化方法,其并非是一种固定的方法,而是基于位移矢量残差的绝对值所属的取值区间确定的方法,通过这种方式,实现了基于位移矢量残差的绝对值在不同取值区间内的分布特性,设计适合该分布特性的且具有较好编解码性能的二值化和反二值化方法,从而有助于提升编解码效率和压缩性能。
请参考图10,其示出了本申请另一个实施例提供的视频解码方法的流程图。该方法可应用于解码端设备中。该方法可以包括如下几个步骤(1001~1006):
步骤1001,采用第一前缀反二值化方法,对码流中的第一前缀部分二元符号串进行反二值化处理,得到当前解码单元在第一方向上的位移矢量残差对应的前缀值。
可选地,第一前缀反二值化方法可以是截断一元码。采用截断一元码的方式,对码流中的第一前缀部分二元符号串进行反二值化处理,得到第一方向上的位移矢量残差对应的前缀值。
步骤1002,基于第一方向上的位移矢量残差对应的前缀值,从多个候选的取值区间中,确定第一方向上的位移矢量残差的绝对值所属的第一取值区间。
可选地,基于位移矢量残差的分布特性,预先设定多个候选的取值区间,即为R0、R1、R2、…、Rn,n为正整数。其中,区间Rx的索引为x,区间Rx可以表示为[Rx_start,Rx_end),所确定的区间相关信息如下表3所示:
表3
Figure BDA0002817726610000211
Figure BDA0002817726610000221
步骤1003,在基于第一取值区间,确定第一方向上的位移矢量残差没有对应的后缀值的情况下,基于第一方向上的位移矢量残差对应的前缀值,确定第一方向上的位移矢量残差。
步骤1004,在基于第一取值区间,确定第一方向上的位移矢量残差除了对应有前缀值之外,还对应有后缀值的情况下,基于第一取值区间,确定用于对第一方向上的位移矢量残差对应的后缀值进行解码的第一后缀反二值化方法。
步骤1005,采用第一后缀反二值化方法,对码流中的第一后缀部分二元符号串进行反二值化处理,得到第一方向上的位移矢量残差对应的后缀值。
步骤1006,基于第一方向上的位移矢量残差对应的前缀值和后缀值,确定第一方向上的位移矢量残差。
在本实施例中,仅对第一方向上的位移矢量残差的解码方法进行了介绍说明,第二方向上的位移矢量残差的解码方法与此相同或类似,本实施例不作赘述。
示例性地,第一方向上的位移矢量残差的解码方法如下:
1、采用截断一元码的方式,对码流中的第一前缀部分二元符号串进行反二值化处理,得到第一方向上的位移矢量残差对应的前缀值;
可选地,假设候选的取值区间划分如上表3所示,截断一元码的截断值maxVal=R0_end+n-1。采用截断一元码的方式,对码流中的第一前缀部分二元符号串进行反二值化处理,得到第一方向(记为x方向)上的位移矢量残差对应的前缀值mv_diff_x_abs_bv_pre。
可选地,前缀值mv_diff_x_abs_bv_pre采用CABAC的方式进行熵解码,每个二进制位具有对应的上下文模型。
2、若步骤1得到的前缀值小于等于第一阈值,则基于该前缀值确定第一方向上的位移矢量残差的绝对值;
若步骤1得到的前缀值小于等于第一阈值,则将该前缀值确定为第一偏移值,第一方向上的位移矢量残差的绝对值等于第一偏移值。
第一阈值可以设定为R0_end-1。如果mv_diff_x_abs_bv_pre≤R0_end-1,令第一偏移值offset=mv_diff_x_abs_bv_pre,第一方向上的位移矢量残差的绝对值mv_diff_x_abs_bv=offset。
3、若步骤1得到的前缀值大于第一阈值且小于第二阈值,则基于该前缀值确定第一方向上的位移矢量残差的绝对值所属的第一取值区间;基于第一取值区间确定定长码的解码位数n,n为正整数;采用n位定长码的方式,对码流中的第一后缀部分二元符号串进行反二值化处理,得到第一方向上的位移矢量残差对应的后缀值;基于前缀值和后缀值,确定第一方向上的位移矢量残差的绝对值;
第二阈值可以设定为R0_end+n-1。如果R0_end-1<mv_diff_x_abs_bv_pre<R0_end+n-1,即mv_diff_x_abs_bv_pre=R0_end+x-1(x=1~n-1),则mv_diff_x_abs_bv的值属于区间Rx=[Rx-1_end,Rx_end)。令第一偏移值offset=Rx-1_end,从码流中熵解码len=Ceil(log2(Rx_end-Rx-1_end))位比特,按照len位定长码的方式反二值化并推导得到第一方向上的位移矢量残差对应的后缀值mv_diff_x_abs_bv_suf,则第一方向上的位移矢量残差的绝对值mv_diff_x_abs_bv=offset+mv_diff_x_abs_bv_suf。
作为替代方案,还可以采用如下方式对后缀值进行反二值化:
(1)按照k阶指数哥伦布码的方式,对后缀值进行反二值化;
(2)按照截断一元码(截断值maxVal=Rx_end-offset-1)的方式对后缀值进行反二值化;
(3)按照一元码的方式对后缀值进行反二值化。
4、若步骤1得到的前缀值等于第二阈值,则从码流中解码得到奇偶性标识,该奇偶性标识用于指示第一方向上的位移矢量残差的绝对值的奇偶性;采用k阶指数哥伦布码的方式,对码流中的第一后缀部分二元符号串进行反二值化处理,得到第一方向上的位移矢量残差对应的后缀值,k为大于或等于0的整数;基于前缀值、奇偶性标识和后缀值,确定第一方向上的位移矢量残差的绝对值。
如果mv_diff_x_abs_bv_pre=R0_end+n-1,则mv_diff_x_abs_bv的值属于区间Rn=[Rn-1_end,Rn_end)。令第一偏移值offset=Rn-1_end,继续从码流中解码1位比特得到指示mv_diff_x_abs_bv奇偶性的标识mv_diff_x_abs_bv_parity;得到mv_diff_x_abs_bv_parity的值后,继续从码流中进行熵解码,按照k阶指数哥伦布码的方式反二值化得到mv_diff_x_abs_bv_k_eg,则mv_diff_x_abs_bv=offset+mv_diff_x_abs_bv_parity+2*mv_diff_x_abs_bv_k_eg。
可选地,奇偶性标识mv_diff_x_abs_bv_parity采用CABAC的方式进行熵解码,具有对应的上下文模型;或者,奇偶性标识mv_diff_x_abs_bv_parity采用bypass的方式进行熵解码。
可选地,指数哥伦布码的阶数k=0~5。
下面,以R0=[0,5),R1=[5,9),R2=[9,17),R3=[17,33),R4=[33,∞),即n=4,x=0~4,R0_end=5为例进行举例说明如下:
1、对于位移矢量残差值,首先确定一系列数值为整数的候选的取值区间,记为R0=[0,5),R1=[5,9),R2=[9,17),R3=[17,33),R4=[33,∞);
2、从码流中按照截断一元码的方式(截断值maxVal=5+4-1=8)解码和反二值化得到前缀值mv_diff_x_abs_bv_pre,如果mv_diff_x_abs_bv_pre小于等于4,令offset等于mv_diff_x_abs_bv_pre,则mv_diff_x_abs_bv=offset;
3、否则,如果mv_diff_x_abs_bv_pre等于5(x=1),则mv_diff_x_abs_bv的值属于区间R1=[5,9)。令offset等于5,从码流中熵解码2位比特,按照2位定长码的方式反二值化并推导得到后缀值mv_diff_x_abs_bv_suf,则mv_diff_x_abs_bv=offset+mv_diff_x_abs_bv_suf;
4、否则,如果mv_diff_x_abs_bv_pre等于6(x=2),则mv_diff_x_abs_bv的值属于区间R2=[9,17)。令offset等于9,从码流中熵解码3位比特,按照3位定长码的方式反二值化并推导得到后缀值mv_diff_x_abs_bv_suf,则mv_diff_x_abs_bv=offset+mv_diff_x_abs_bv_suf;
5、否则,如果mv_diff_x_abs_bv_pre等于7(x=3),则mv_diff_x_abs_bv的值属于区间R3=[17,33)。令offset等于17,从码流中熵解码4位比特,按照4位定长码的方式反二值化并推导得到后缀值mv_diff_x_abs_bv_suf,则mv_diff_x_abs_bv=offset+mv_diff_x_abs_bv_suf;
6、否则,如果mv_diff_x_abs_bv_pre等于5+4-1=8,则mv_diff_x_abs_bv的值属于区间R4=[33,∞)。令offset=33,继续从码流中解码1位比特得到指示mv_diff_x_abs_bv奇偶性的标识mv_diff_x_abs_bv_parity;得到mv_diff_x_abs_bv_parity的值后,继续从码流中进行熵解码,按照k阶指数哥伦布码的方式反二值得到mv_diff_x_abs_bv_k_eg,则mv_diff_x_abs_bv=offset+mv_diff_x_abs_bv_parity+2*mv_diff_x_abs_bv_k_eg。
请参考图11,其示出了本申请另一个实施例提供的视频解码方法的流程图。该方法可应用于解码端设备中。该方法可以包括如下几个步骤(1101~1107):
步骤1101,采用第一前缀反二值化方法,对码流中的第一前缀部分二元符号串进行反二值化处理,得到当前解码单元在第一方向上的位移矢量残差对应的前缀值。
可选地,第一前缀反二值化方法可以是截断一元码。采用截断一元码的方式,对码流中的第一前缀部分二元符号串进行反二值化处理,得到第一方向上的位移矢量残差对应的前缀值。
步骤1102,若第一方向上的位移矢量残差对应的前缀值属于第一取值范围,则基于第一方向上的位移矢量残差对应的前缀值,从多个候选的取值区间中,确定第一方向上的位移矢量残差的绝对值所属的第一取值区间。
步骤1103,若第一方向上的位移矢量残差对应的前缀值属于第二取值范围,则从码流中解码得到第二范围标识,该第二范围标识用于指示第一方向上的位移矢量残差的绝对值是否属于第二设定范围;基于第二范围标识,从多个候选的取值区间中,确定第一方向上的位移矢量残差的绝对值所属的第一取值区间。
步骤1104,在基于第一取值区间,确定第一方向上的位移矢量残差没有对应的后缀值的情况下,基于第一方向上的位移矢量残差对应的前缀值,确定第一方向上的位移矢量残差。
步骤1105,在基于第一取值区间,确定第一方向上的位移矢量残差除了对应有前缀值之外,还对应有后缀值的情况下,基于第一取值区间,确定用于对第一方向上的位移矢量残差对应的后缀值进行解码的第一后缀反二值化方法。
步骤1106,采用第一后缀反二值化方法,对码流中的第一后缀部分二元符号串进行反二值化处理,得到第一方向上的位移矢量残差对应的后缀值。
步骤1107,基于第一方向上的位移矢量残差对应的前缀值和后缀值,确定第一方向上的位移矢量残差。
在本实施例中,仅对第一方向上的位移矢量残差的解码方法进行了介绍说明,第二方向上的位移矢量残差的解码方法与此相同或类似,本实施例不作赘述。
示例性地,第一方向上的位移矢量残差的解码方法如下:
1、采用截断一元码的方式,对码流中的第一前缀部分二元符号串进行反二值化处理,得到第一方向上的位移矢量残差对应的前缀值;
可选地,截断一元码的截断值maxVal=T+1,T为大于等于0的整数。采用截断一元码的方式,对码流中的第一前缀部分二元符号串进行反二值化处理,得到第一方向(记为x方向)上的位移矢量残差对应的前缀值mv_diff_x_abs_bv_pre。
可选地,前缀值mv_diff_x_abs_bv_pre采用CABAC的方式进行熵解码,每个二进制位具有对应的上下文模型。
2、若步骤1得到的前缀值小于等于T,则基于该前缀值确定第一方向上的位移矢量残差的绝对值;
若步骤1得到的前缀值小于等于T,则将该前缀值确定为第一偏移值,第一方向上的位移矢量残差的绝对值等于第一偏移值。
如果mv_diff_x_abs_bv_pre≤T,令第一偏移值offset=mv_diff_x_abs_bv_pre,第一方向上的位移矢量残差的绝对值mv_diff_x_abs_bv=offset。
3、若步骤1得到的前缀值等于T+1,则从码流中解码得到第二范围标识,该第二范围标识用于指示第一方向上的位移矢量残差的绝对值是否属于第二设定范围;
如果mv_diff_x_abs_bv_pre=T+1,继续从码流中解码1位比特得到范围标识mv_diff_x_abs_bv_less_M_flag,该范围标识mv_diff_x_abs_bv_less_M_flag用于指示mv_diff_x_abs_bv是否小于M,M为大于T的整数。例如,T=0~32,M=3~65。
可选地,范围标识mv_diff_x_abs_bv_less_M_flag采用CABAC的方式进行熵解码,具有对应的上下文模型;或者,范围标识mv_diff_x_abs_bv_less_M_flag采用bypass的方式进行熵解码。
4、若基于第二范围标识,确定第一方向上的位移矢量残差的绝对值属于第二设定范围,则基于该第二设定范围确定定长码的解码位数n,n为正整数;采用n位定长码的方式,对码流中的第一后缀部分二元符号串进行反二值化处理,得到第一方向上的位移矢量残差对应的后缀值;基于前缀值和后缀值,确定第一方向上的位移矢量残差的绝对值;
如果mv_diff_x_abs_bv_less_M_flag等于1,从码流中熵解码len=Ceil(log2(M-T-1))位比特,按照len位定长码的方式反二值化并推导得到第一方向上的位移矢量残差对应的后缀值mv_diff_x_abs_bv_suf,则mv_diff_x_abs_bv=mv_diff_x_abs_bv_suf+mv_diff_x_abs_bv_pre。
作为替代方案,还可以采用如下方式对后缀值进行反二值化:
(1)按照k阶指数哥伦布码的方式,对后缀值进行反二值化;
(2)按照截断一元码(截断值maxVal=M-T-2)的方式对后缀值进行反二值化;
(3)按照一元码的方式对后缀值进行反二值化。
5、若基于第二范围标识,确定第一方向上的位移矢量残差的绝对值不属于第二设定范围,则从码流中解码得到奇偶性标识,该奇偶性标识用于指示第一方向上的位移矢量残差的绝对值的奇偶性;采用k阶指数哥伦布码的方式,对码流中的第一后缀部分二元符号串进行反二值化处理,得到第一方向上的位移矢量残差对应的后缀值,k为大于或等于0的整数;基于前缀值、奇偶性标识和后缀值,确定第一方向上的位移矢量残差的绝对值。
如果mv_diff_x_abs_bv_less_M_flag等于0,继续从码流中解码1位比特得到指示mv_diff_x_abs_bv奇偶性的标识mv_diff_x_abs_bv_parity;得到mv_diff_x_abs_bv_parity的值后,继续从码流中进行熵解码,按照k阶指数哥伦布码的方式反二值化得到mv_diff_x_abs_bv_k_eg,则mv_diff_x_abs_bv=M+mv_diff_x_abs_bv_parity+2*mv_diff_x_abs_bv_k_eg。
可选地,奇偶性标识mv_diff_x_abs_bv_parity采用CABAC的方式进行熵解码,具有对应的上下文模型;或者,奇偶性标识mv_diff_x_abs_bv_parity采用bypass的方式进行熵解码。
可选地,指数哥伦布码的阶数k=0~5。
下面,以T=4,M=9为例进行举例说明如下:
1、从码流中按照截断一元码的方式(截断值maxVal=5)解码和反二值化得到前缀值mv_diff_x_abs_bv_pre,如果mv_diff_x_abs_bv_pre小于等于4,则mv_diff_x_abs_bv=mv_diff_x_abs_bv_pre;
2、否则,mv_diff_x_abs_bv_pre等于5,继续从码流中解码1位比特得到mv_diff_x_abs_bv_less_M_flag;
3、如果mv_diff_x_abs_bv_less_M_flag等于1,从码流中熵解码len=2位比特,按照2位定长码的方式反二值化并推导得到后缀值mv_diff_x_abs_bv_suf,mv_diff_x_abs_bv=mv_diff_x_abs_bv_suf+mv_diff_x_abs_bv_pre;
4、否则,继续从码流中解码1位比特得到指示mv_diff_x_abs_bv奇偶性的标识mv_diff_x_abs_bv_parity;然后,继续从码流中进行熵解码,按照k阶指数哥伦布码的方式反二值化得到mv_diff_x_abs_bv_k_eg,则mv_diff_x_abs_bv=M+mv_diff_x_abs_bv_parity+2*mv_diff_x_abs_bv_k_eg。
请参考图12,其示出了本申请另一个实施例提供的视频解码方法的流程图。该方法可应用于解码端设备中。该方法可以包括如下几个步骤(1201~1206):
步骤1201,从码流中解码得到第一范围标识,该第一范围标识用于指示当前解码单元在第一方向上的位移矢量残差的绝对值是否属于第一设定范围。
步骤1202,基于第一范围标识,从多个候选的取值区间中确定第一取值区间。
步骤1203,在基于第一取值区间,确定第一方向上的位移矢量残差没有对应的后缀值的情况下,基于第一方向上的位移矢量残差对应的前缀值,确定第一方向上的位移矢量残差。
步骤1204,在基于第一取值区间,确定第一方向上的位移矢量残差除了对应有前缀值之外,还对应有后缀值的情况下,基于第一取值区间,确定用于对第一方向上的位移矢量残差对应的后缀值进行解码的第一后缀反二值化方法。
步骤1205,采用第一后缀反二值化方法,对码流中的第一后缀部分二元符号串进行反二值化处理,得到第一方向上的位移矢量残差对应的后缀值。
步骤1206,基于第一方向上的位移矢量残差对应的前缀值和后缀值,确定第一方向上的位移矢量残差。
在本实施例中,仅对第一方向上的位移矢量残差的解码方法进行了介绍说明,第二方向上的位移矢量残差的解码方法与此相同或类似,本实施例不作赘述。
示例性地,第一方向上的位移矢量残差的解码方法如下:
1、从码流中解码得到第一范围标识,该第一范围标识用于指示当前解码单元在第一方向上的位移矢量残差的绝对值是否属于第一设定范围;
例如,从码流中解码1位比特得到范围标识mv_diff_x_abs_bv_less_M_flag的值,该范围标识mv_diff_x_abs_bv_less_M_flag用于指示mv_diff_x_abs_bv是否小于M,M为大于0的整数,如M=1~65。
可选地,范围标识mv_diff_x_abs_bv_less_M_flag采用CABAC的方式进行熵解码,具有对应的上下文模型;或者,范围标识mv_diff_x_abs_bv_less_M_flag采用bypass的方式进行熵解码。
2、若基于第一范围标识,确定第一方向上的位移矢量残差的绝对值属于第一设定范围,则采用截断一元码的方式,对码流中的第一前缀部分二元符号串进行反二值化处理,得到第一方向上的位移矢量残差对应的前缀值;基于该前缀值确定第一方向上的位移矢量残差;
如果mv_diff_x_abs_bv_less_M_flag等于1,从码流中按照截断一元码的方式(截断值为M-1)解码和反二值化得到mv_diff_x_abs_bv。
可选地,mv_diff_x_abs_bv采用CABAC的方式进行熵解码,每个二进制位具有对应的上下文模型。
作为替代方案,还可以按照以下方式之一进行熵解码和反二值化得到mv_diff_x_abs_bv:
(1)按照一元码的方式进行反二值化;
(2)按照len位定长码的方法进行反二值化,len=Ceil(log2(M));
(3)按照k阶指数哥伦布码的方式进行反二值化。
3、若基于第一范围标识,确定第一方向上的位移矢量残差的绝对值不属于第一设定范围,则从码流中解码得到奇偶性标识,该奇偶性标识用于指示第一方向上的位移矢量残差的绝对值的奇偶性;采用k阶指数哥伦布码的方式,对码流中的第一后缀部分二元符号串进行反二值化处理,得到第一方向上的位移矢量残差对应的后缀值,k为大于或等于0的整数;基于前缀值、奇偶性标识和后缀值,确定第一方向上的位移矢量残差的绝对值。
如果mv_diff_x_abs_bv_less_M_flag等于0,继续从码流中解码1位比特得到指示mv_diff_x_abs_bv奇偶性的标识mv_diff_x_abs_bv_parity;得到mv_diff_x_abs_bv_parity的值后,继续从码流中进行熵解码,按照k阶指数哥伦布码的方式反二值化得到mv_diff_x_abs_bv_k_eg,则mv_diff_x_abs_bv=M+mv_diff_x_abs_bv_parity+2*mv_diff_x_abs_bv_k_eg。
可选地,奇偶性标识mv_diff_x_abs_bv_parity采用CABAC的方式进行熵解码,具有对应的上下文模型;或者,奇偶性标识mv_diff_x_abs_bv_parity采用bypass的方式进行熵解码。
可选地,指数哥伦布码的阶数k=0~5。
请参考图13,其示出了本申请另一个实施例提供的视频解码方法的流程图。该方法可应用于解码端设备中。该方法可以包括如下几个步骤(1301~1307):
步骤1301,从码流中解码得到第三范围标识,该第三范围标识用于指示当前解码单元在第一方向上的位移矢量残差的绝对值是否属于第三设定范围。
步骤1302,若基于第三范围标识,确定当前解码单元在第一方向上的位移矢量残差的绝对值属于第三设定范围,则基于第三设定范围确定第一方向上的位移矢量残差的绝对值所属的第一取值区间。
步骤1303,若基于第三范围标识,确定当前解码单元在第一方向上的位移矢量残差的绝对值不属于第三设定范围,则采用第一前缀反二值化方法,对码流中的第一前缀部分二元符号串进行反二值化处理,得到第一方向上的位移矢量残差对应的前缀值;基于第一方向上的位移矢量残差对应的前缀值,从多个候选的取值区间中,确定第一方向上的位移矢量残差的绝对值所属的第一取值区间。
步骤1304,在基于第一取值区间,确定第一方向上的位移矢量残差没有对应的后缀值的情况下,基于第一方向上的位移矢量残差对应的前缀值,确定第一方向上的位移矢量残差。
步骤1305,在基于第一取值区间,确定第一方向上的位移矢量残差除了对应有前缀值之外,还对应有后缀值的情况下,基于第一取值区间,确定用于对第一方向上的位移矢量残差对应的后缀值进行解码的第一后缀反二值化方法。
步骤1306,采用第一后缀反二值化方法,对码流中的第一后缀部分二元符号串进行反二值化处理,得到第一方向上的位移矢量残差对应的后缀值。
步骤1307,基于第一方向上的位移矢量残差对应的前缀值和后缀值,确定第一方向上的位移矢量残差。
在本实施例中,仅对第一方向上的位移矢量残差的解码方法进行了介绍说明,第二方向上的位移矢量残差的解码方法与此相同或类似,本实施例不作赘述。
示例性地,第一方向上的位移矢量残差的解码方法如下:
基于位移矢量残差的分布特性,预先设定多个候选的取值区间,即为R0、R1、R2、…、Rn,n为正整数。其中,区间Rx的索引为x,区间Rx可以表示为[Rx_start,Rx_end),所确定的区间相关信息可以如上表3所示。
1、从码流中解码得到第三范围标识,该第三范围标识用于指示当前解码单元在第一方向上的位移矢量残差的绝对值是否属于第三设定范围;
例如,从码流中解码1位比特得到范围标识mv_diff_x_abs_bv_M_to_N_flag的值,该范围标识mv_diff_x_abs_bv_M_to_N_flag用于指示mv_diff_x_abs_bv是否属于区间[M,N),M和N均为预设值,其值与预先设定的候选取值区间Rt有关,以表3为例,t为区间索引,即M=Rt-1_end,N=Rt_end。
可选地,范围标识mv_diff_x_abs_bv_M_to_N_flag采用CABAC的方式进行熵解码,具有对应的上下文模型;或者,范围标识mv_diff_x_abs_bv_M_to_N_flag采用bypass的方式进行熵解码。
2、若基于第三范围标识,确定第一方向上的位移矢量残差的绝对值属于第三设定范围,则基于第三设定范围确定定长码的解码位数n,n为正整数;采用n位定长码的方式,对码流中的第一后缀部分二元符号串进行反二值化处理,得到第一方向上的位移矢量残差对应的后缀值;基于前缀值(或第一偏移值)和后缀值,确定第一方向上的位移矢量残差的绝对值;
如果mv_diff_x_abs_bv_M_to N_flag等于1,令第一偏移值offset等于M,从码流中熵解码len=Ceil(log2(N-M))位比特,按照len位定长码的方式反二值化并推导得到后缀值mv_diff_x_abs_bv_suf,则mv_diff_x_abs_bv=mv_diff_x_abs_bv_suf+offset。
3、若基于第三范围标识,确定第一方向上的位移矢量残差的绝对值不属于第三设定范围,则采用截断一元码的方式,对码流中的第一前缀部分二元符号串进行反二值化处理,得到前缀值;
如果mv_diff_x_abs_bv_M_to N_flag等于0,则从码流中按照截断一元码的方式(截断值maxVal=R0_end+n-2)解码和反二值化得到前缀值mv_diff_x_abs_bv_pre。
可选地,前缀值mv_diff_x_abs_bv_pre采用CABAC的方式进行熵解码,每个二进制位具有对应的上下文模型。
4、若前缀值小于等于第一门限值,则基于该前缀值确定第一方向上的位移矢量残差的绝对值;
如果mv_diff_x_abs_bv_pre小于等于R0_end-1,令第一偏移值offset等于mv_diff_x_abs_bv_pre,则mv_diff_x_abs_bv=offset。
5、若前缀值大于第一门限值且小于第二门限值,则基于该前缀值确定第一方向上的位移矢量残差的绝对值所属的第一取值区间;基于该第一取值区间确定定长码的解码位数n,n为正整数;采用n位定长码的方式,对码流中的第一后缀部分二元符号串进行反二值化处理,得到后缀值;基于前缀值和后缀值,确定第一方向上的位移矢量残差的绝对值;
如果mv_diff_x_abs_bv_pre等于R0_end+x-1,则mv_diff_x_abs_bv的值属于区间Rx=[Rx-1_end,Rx_end),且x<t(x=1~t-1),令offset等于Rx-1_end,从码流中熵解码len=Ceil(log2(Rx_end-Rx-1_end))位比特,按照len位定长码的方式反二值化并推导得到后缀值mv_diff_x_abs_bv_suf,则mv_diff_x_abs_bv=mv_diff_x_abs_bv_suf+offset。
如果mv_diff_x_abs_bv_pre等于R0_end+x-2,则mv_diff_x_abs_bv的值属于区间Rx=[Rx-1_end,Rx_end),且x>t(x=t+1~n-1),令offset等于Rx-1_end,从码流中熵解码len=Ceil(log2(Rx_end-Rx-1_end))位比特,按照len位定长码的方式反二值化并推导得到后缀值mv_diff_x_abs_bv_suf,则mv_diff_x_abs_bv=mv_diff_x_abs_bv_suf+offset。
作为替代方案,也可按照以下方式之一对后缀值mv_diff_x_abs_bv_suf进行熵解码和反二值化并推导出其值:
(1)按照k阶指数哥伦布码的方式对后缀值mv_diff_x_abs_bv_suf反二值化;
(2)按照截断一元码(截断值maxVal=Rx_end-offset-1)的方式对后缀值mv_diff_x_abs_bv_suf反二值化;
(3)按照一元码的方式对后缀值mv_diff_x_abs_bv_suf反二值化。
6、若前缀值等于第二门限值,则从码流中解码得到奇偶性标识,该奇偶性标识用于指示第一方向上的位移矢量残差的绝对值的奇偶性;采用k阶指数哥伦布码的方式,对码流中的第一后缀部分二元符号串进行反二值化处理,得到后缀值,k为大于或等于0的整数;基于前缀值、奇偶性标识和后缀值,确定第一方向上的位移矢量残差的绝对值。
如果mv_diff_x_abs_bv_pre等于R0_end+n-2(x=n),则mv_diff_x_abs_bv的值属于区间Rn=[Rn-1_end,Rn_end)。令offset=Rn-1_end,继续从码流中解码1位比特得到指示mv_diff_x_abs_bv奇偶性的标识mv_diff_x_abs_bv_parity;得到mv_diff_x_abs_bv_parity的值后,继续从码流中进行熵解码,按照k阶指数哥伦布码的方式反二值化得到mv_diff_x_abs_bv_k_eg,则mv_diff_x_abs_bv=offset+mv_diff_x_abs_bv_parity+2*mv_diff_x_abs_bv_k_eg。
可选地,奇偶性标识mv_diff_x_abs_bv_parity采用CABAC的方式进行熵解码,具有对应的上下文模型;或者,奇偶性标识mv_diff_x_abs_bv_parity采用bypass的方式进行熵解码。
可选地,指数哥伦布码的阶数k=0~5。
下面,以R0=[0,5),R1=[5,9),R2=[9,17),R3=[17,∞),即n=3,x=0~3,R0_end=5为例进行举例说明如下:
1、对于运动残差值,首先确定一系列数值为整数的区间,记为R0=[0,5),R1=[5,9),R2=[9,17),R3=[17,∞),令t=2,x=0~3;
2、从码流中熵解码1位比特得到mv_diff_x_abs_bv_9_to_17_flag;
3、如果mv_diff_x_abs_bv_9_to 17_flag等于1,令offset等于9,从码流中熵解码3位比特,按照3位定长码的方式反二值化并推导得到后缀值mv_diff_x_abs_bv_suf,则mv_diff_x_abs_bv等于mv_diff_x_abs_bv_suf+offset;
4、否则,从码流中按照截断一元码的方式(截断值maxVal=6)解码和反二值化得到前缀值mv_diff_x_abs_bv_pre,如果mv_diff_x_abs_bv_pre小于等于4,令offset等于mv_diff_x_abs_bv_pre,则mv_diff_x_abs_bv等于offset;
5、否则,如果mv_diff_x_abs_bv_pre等于5(x=1),则mv_diff_x_abs_bv的值属于区间R1=[5,9)令offset=5,从码流中熵解码2位比特,按照2位定长码的方式反二值化并推导得到后缀值mv_diff_x_abs_bv_suf,则mv_diff_x_abs_bv等于mv_diff_x_abs_bv_suf+offset;
6、否则,如果mv_diff_x_abs_bv_pre等于6,则mv_diff_x_abs_bv的值属于区间Rn=[17,∞)。令offset=17,继续从码流中解码1位比特得到指示mv_diff_x_abs_bv奇偶性的标识mv_diff_x_abs_bv_parity;得到mv_diff_x_abs_bv_parity的值后,继续从码流中进行熵解码,按照k阶指数哥伦布码的方式反二值化得到mv_diff_x_abs_bv_k_eg,则mv_diff_x_abs_bv=offset+mv_diff_x_abs_bv_parity+2*mv_diff_x_abs_bv_k_eg。
在本申请实施例中,给出了多种方式以从多个候选的取值区间中,确定位移矢量残差的绝对值所属的取值区间,在实际应用中,可以结合方案所采用的预测方法或位移矢量残差的分布特性,选择合适的方式,本申请实施例对此不作限定。
另外,上述实施例中,用到了截断一元码、定长码、指数哥伦布码、一元码等多种二值化和反二值化方法。
如下表4和表5示出了截断一元码的两种形式下,synElVal与二元符号串的关系。
表4
Figure BDA0002817726610000341
表5
Figure BDA0002817726610000342
如下表6示出了长度为len的定长码下,synElVal与二元符号串的关系。
表6
Figure BDA0002817726610000343
Figure BDA0002817726610000351
如下表7示出了k阶指数哥伦布码表。
表7
Figure BDA0002817726610000352
如下表8和表9示出了一元码的两种形式下,synElVal与二元符号串的关系。
表8
Figure BDA0002817726610000353
Figure BDA0002817726610000361
表9
Figure BDA0002817726610000362
下面,通过实施例对本申请提供的视频编码方法进行介绍说明。视频编码方法与上文实施例介绍的视频解码方法相对应,对于视频编码方法中未详细说明的细节,可参见视频解码方法中的介绍说明。
请参考图14,其示出了本申请一个实施例提供的视频编码方法的流程图。该方法可应用于编码端设备中。该方法可以包括如下几个步骤(1401~1404):
步骤1401,从多个候选的取值区间中,确定当前编码单元在第一方向上的位移矢量残差的绝对值所属的第一取值区间。
可选地,第一方向为水平方向或垂直方向。当前编码单元在第一方向上的位移矢量残差的绝对值可能等于0,也可能大于0。
第一取值区间可以是上述多个候选的取值区间中的任意一个取值区间。例如,多个候选的取值区间包括:[0,5)、[5,9)、[9,17)、[17,∞)。第一取值区间可以是上述4个候选的取值区间中的任意一个取值区间。例如,第一方向上的位移矢量残差的绝对值为2,那么其所属的第一取值区间为[0,5)。又例如,第一方向上的位移矢量残差的绝对值为10,那么其所属的第一取值区间为[9,17)。
可选地,多个候选的取值区间是基于位移矢量残差的分布特性设定的。对于不同的预测模式,如帧间预测模式、IBC预测模式、ISC预测模式等,位移矢量残差的分布特性会有所不同。因此,当本申请技术方案应用于某一种预测模式时,需要基于该种预测模式下位移矢量残差的分布特性,设定多个候选的取值区间。例如,对于IBC预测模式来说,BVD的绝对值大部分值集中在[0,5),然后在[5,9)和[9,17)区间内分布较为平坦。那么,对于IBC预测模式来说,基于BVD的上述分布特性,示例性地,可以设置如下4个候选的取值区间:[0,5)、[5,9)、[9,17)、[17,∞)。
需要说明的是,本申请实施例提供的位移矢量残差的编解码方法,不局限于应用在IBC预测模式下BVD的编解码上,还可应用在ISC预测模式下SVD的编解码上、帧间预测模式下MVD的编解码上,等等,本申请实施例对此不作限定。因此,如果当前编码单元属于IBC编码块,那么位移矢量残差为BVD;如果当前编码单元属于ISC编码块,那么位移矢量残差为SVD;如果当前编码单元属于帧间预测模式的编码块,那么位移矢量残差为MVD。
步骤1402,在确定第一方向上的位移矢量残差对应有前缀值和后缀值的情况下,基于第一取值区间,确定用于对第一方向上的位移矢量残差对应的后缀值进行编码的第一后缀二值化方法。
在目前的AVS3标准中,位移矢量残差对应的前缀值采用截断值为3的截断一元码进行二值化和反二值化,位移矢量残差对应的后缀值采用0阶指数哥伦布码进行二值化和反二值化。也即,前缀值和后缀值的二值化和反二值化方法,均是固定的一种方法。
与此不同的是,在本申请实施例中,位移矢量残差对应的后缀值的二值化和反二值化方法,其并非是一种固定的方法,而是基于位移矢量残差的绝对值所属的取值区间确定的方法。
例如,在第一取值区间满足第一条件的情况下,确定用于对第一方向上的位移矢量残差对应的后缀值进行编码的第一后缀二值化方法为第一种方法;在第一取值区间满足第二条件的情况下,确定用于对第一方向上的位移矢量残差对应的后缀值进行编码的第一后缀二值化方法为第二种方法;并且,上述第一种方法和第二种方法,是两种不同的二值化方法,且是基于位移矢量残差的绝对值在该取值区间内的分布特性设定的,适合该分布特性的且具有较好编解码性能的方法。
在示例性实施例中,在第一取值区间满足第一条件的情况下,确定第一后缀二值化方法为定长码的方式;在第一取值区间满足第二条件的情况下,确定第一后缀二值化方法为指数哥伦布码的方式。当然,在一些其他示例中,还可以针对取值区间所满足的条件,相应设定其他不同的二值化方法,本申请实施例对此不作限定。
步骤1403,采用第一后缀二值化方法,对第一方向上的位移矢量残差对应的后缀值进行二值化处理,得到第一后缀部分二元符号串。
例如,在确定第一后缀二值化方法为定长码的方式的情况下,采用定长码的方式,对第一方向上的位移矢量残差对应的后缀值进行二值化处理,得到第一后缀部分二元符号串。其中,定长码的编码位数可以是预先设定的固定值,也可以是基于第一取值区间确定出的值。
又例如,在确定第一后缀二值化方法为指数哥伦布码的方式的情况下,采用指数哥伦布码的方式,对第一方向上的位移矢量残差对应的后缀值进行二值化处理,得到第一后缀部分二元符号串。其中,指数哥伦布码的阶数可以是预先设定的固定值,也可以是基于第一取值区间确定出的值。
步骤1404,编码生成包含有第一后缀部分二元符号串的码流。
在第一方向上的位移矢量残差对应有前缀值和后缀值的情况下,码流中包含第一前缀部分二元符号串和第一后缀部分二元符号串。在第一方向上的位移矢量残差仅对应有前缀值,而没有后缀值的情况下,码流中仅包含第一前缀部分二元符号串。其中,第一前缀部分二元符号串是采用第一前缀二值化方法,对第一方向上的位移矢量残差对应的前缀值进行二值化处理得到的。第一后缀部分二元符号串是采用上述步骤1403介绍的方式得到的。
可选地,第一前缀二值化方法可以是截断一元码的方式。采用截断一元码的方式,对第一方向上的位移矢量残差对应的前缀值进行二值化处理,得到第一前缀部分二元符号串。
另外,在第一方向上的位移矢量残差的绝对值不为0的情况下,需要在码流中编码该第一方向上的位移矢量残差的符号;在第一方向上的位移矢量残差的绝对值为0的情况下,则不需要在码流中编码该第一方向上的位移矢量残差的符号。位移矢量残差的符号可以采用1比特的标志位来指示。可选地,位移矢量残差的符号采用CABAC的方式进行熵编码,具有对应的上下文模型;或者,采用bypass的方式进行熵编码。
另外,位移矢量残差通常包括水平方向和垂直方向这两个方向的分量。本申请提供的视频编码方法还可以包括如下几个步骤(1405~1408,图14中未示出):
步骤1405,从多个候选的取值区间中,确定当前编码单元在第二方向上的位移矢量残差的绝对值所属的第二取值区间。
步骤1406,在确定第二方向上的位移矢量残差对应有前缀值和后缀值的情况下,基于第二取值区间,确定用于对第二方向上的位移矢量残差对应的后缀值进行编码的第二后缀二值化方法。
可选地,在第二取值区间满足第一条件的情况下,确定第二后缀二值化方法为定长码的方式;在第二取值区间满足第二条件的情况下,确定第二后缀二值化方法为指数哥伦布码的方式。
步骤1407,采用第二后缀二值化方法,对第二方向上的位移矢量残差对应的后缀值进行二值化处理,得到第二后缀部分二元符号串。
步骤1408,编码生成包含有第二后缀部分二元符号串的码流。
其中,第一方向为水平方向且第二方向为垂直方向,或者,第一方向为垂直方向且第二方向为水平方向。
在第二方向上的位移矢量残差对应有前缀值和后缀值的情况下,码流中包含第二前缀部分二元符号串和第二后缀部分二元符号串。在第二方向上的位移矢量残差仅对应有前缀值,而没有后缀值的情况下,码流中仅包含第二前缀部分二元符号串。其中,第二前缀部分二元符号串是采用第二前缀二值化方法,对第二方向上的位移矢量残差对应的前缀值进行二值化处理得到的。第二后缀部分二元符号串是采用上述步骤1407介绍的方式得到的。
可选地,第二前缀二值化方法可以是截断一元码的方式。采用截断一元码的方式,对第二方向上的位移矢量残差对应的前缀值进行二值化处理,得到第二前缀部分二元符号串。
另外,在第二方向上的位移矢量残差的绝对值不为0的情况下,需要在码流中编码该第二方向上的位移矢量残差的符号;在第二方向上的位移矢量残差的绝对值为0的情况下,则不需要在码流中编码该第二方向上的位移矢量残差的符号。
在示例性实施例中,如果第二方向上的位移矢量残差对应的前缀值是采用CABAC进行熵编码和熵解码的,其第一个比特具有第一上下文模型和第二上下文模型。在先编码第一方向上的位移矢量残差,后编码第二方向上的位移矢量残差的情况下,若第一方向上的位移矢量残差为0,则基于第一个比特的值熵编码第一上下文模型;若第一方向上的位移矢量残差不为0,则基于第一个比特的值熵编码第二上下文模型。
在本申请实施例中,考虑到水平方向(x方向)上的位移矢量残差为0的情况下,垂直方向(y方向)上的位移矢量残差也为0的概率较高。因此,针对垂直方向(y方向)上的位移矢量残差,建立较为精细的上下文模型,即将前缀值的第一个比特位(该值为0表示垂直方向上的位移矢量残差为0)的上下文模型增加到2个,通过水平方向上的位移矢量残差是否为0,来判断使用上述2个上下文模型中的哪一个。通过这种方式,可以增加上下文模型的个数以达到更为精细的条件估计,提高编解码效率。
综上所述,本申请实施例提供的技术方案,位移矢量残差对应的后缀值的二值化和反二值化方法,其并非是一种固定的方法,而是基于位移矢量残差的绝对值所属的取值区间确定的方法,通过这种方式,实现了基于位移矢量残差的绝对值在不同取值区间内的分布特性,设计适合该分布特性的且具有较好编解码性能的二值化和反二值化方法,从而有助于提升编解码效率和压缩性能。
另外,为了使得解码端设备能够在解码过程中,获知位移矢量残差的绝对值所属的取值区间,进而基于该取值区间,选择相应的反二值化方法对后缀值进行反二值化处理。那么,对于编码端设备来说,其在编码过程中,需要将用于确定上述取值区间的相关信息编码进码流,以便于解码端设备能够从码流中得到上述相关信息,进而解码得到位移矢量残差的绝对值所属的取值区间。
下面,主要以第一方向上的位移矢量残差的编码过程为例进行介绍说明,第二方向上的位移矢量残差的编码过程与之相同或类似,不作赘述。
在一个示例中,如果解码端设备采用图10实施例提供的方法,基于第一方向上的位移矢量残差对应的前缀值,来确定第一取值区间。那么对于编码端设备来说,在从多个候选的取值区间中,确定出当前编码单元在第一方向上的位移矢量残差的绝对值所属的第一取值区间之后,基于预先设定的取值区间与前缀值之间的映射关系,获取与第一取值区间对应的前缀值,然后将该前缀值编码进码流中。
在另一个示例中,如果解码端设备采用图12实施例提供的方法,基于范围标识(如第一范围标识)来确定第一取值区间。那么对于编码端设备来说,在从多个候选的取值区间中,确定出当前编码单元在第一方向上的位移矢量残差的绝对值所属的第一取值区间之后,确定范围标识的取值,然后将该范围标识编码进码流中。
在又一个示例中,如果解码端设备采用图11或图13实施例提供的方法,结合前缀值和范围标识(如第二范围标识或第三范围标识),来确定第一取值区间。那么对于编码端设备来说,在从多个候选的取值区间中,确定出当前编码单元在第一方向上的位移矢量残差的绝对值所属的第一取值区间之后,确定出前缀值和范围标识的取值,然后将该前缀值和范围标识分别编码进码流中。
另外,前缀值和范围标识均可采用CABAC的方式进行熵编码,或者采用bypass的方式进行熵编码,本申请实施例对此不作限定。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图15,其示出了本申请一个实施例提供的视频解码装置的框图。该装置具有实现上述视频解码方法示例的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现。该装置可以是上文介绍的解码端设备,也可以设置在解码端设备上。该装置1500可以包括:区间确定模块1510、方法确定模块1520、反二值化模块1530和残差确定模块1540。
区间确定模块1510,用于从多个候选的取值区间中,确定当前解码单元在第一方向上的位移矢量残差的绝对值所属的第一取值区间。
方法确定模块1520,用于在基于所述第一取值区间,确定所述第一方向上的位移矢量残差除了对应有前缀值之外,还对应有后缀值的情况下,基于所述第一取值区间,确定用于对所述第一方向上的位移矢量残差对应的后缀值进行解码的第一后缀反二值化方法。
反二值化模块1530,用于采用所述第一后缀反二值化方法,对所述码流中的第一后缀部分二元符号串进行反二值化处理,得到所述第一方向上的位移矢量残差对应的后缀值。
残差确定模块1540,用于基于所述第一方向上的位移矢量残差对应的前缀值和后缀值,确定所述第一方向上的位移矢量残差。
在示例性实施例中,所述区间确定模块1510,用于:
采用第一前缀反二值化方法,对所述码流中的第一前缀部分二元符号串进行反二值化处理,得到所述第一方向上的位移矢量残差对应的前缀值;
基于所述第一方向上的位移矢量残差对应的前缀值,从所述多个候选的取值区间中确定所述第一取值区间。
在示例性实施例中,所述区间确定模块1510,用于:
从所述码流中解码得到第一范围标识,所述第一范围标识用于指示所述第一方向上的位移矢量残差的绝对值是否属于第一设定范围;
基于所述第一范围标识,从所述多个候选的取值区间中确定所述第一取值区间。
在示例性实施例中,所述区间确定模块1510,用于:
采用第一前缀反二值化方法,对所述码流中的第一前缀部分二元符号串进行反二值化处理,得到所述第一方向上的位移矢量残差对应的前缀值;
若所述第一方向上的位移矢量残差对应的前缀值属于第一取值范围,则基于所述第一方向上的位移矢量残差对应的前缀值,从所述多个候选的取值区间中确定所述第一取值区间;
若所述第一方向上的位移矢量残差对应的前缀值属于第二取值范围,则从所述码流中解码得到第二范围标识,所述第二范围标识用于指示所述第一方向上的位移矢量残差的绝对值是否属于第二设定范围;基于所述第二范围标识,从所述多个候选的取值区间中确定所述第一取值区间。
在示例性实施例中,所述区间确定模块1510,用于:
从所述码流中解码得到第三范围标识,所述第三范围标识用于指示所述第一方向上的位移矢量残差的绝对值是否属于第三设定范围;
若基于所述第三范围标识,确定所述当前解码单元在第一方向上的位移矢量残差的绝对值属于所述第三设定范围,则基于所述第三设定范围确定所述第一取值区间;
若基于所述第三范围标识,确定所述当前解码单元在第一方向上的位移矢量残差的绝对值不属于所述第三设定范围,则采用第一前缀反二值化方法,对所述码流中的第一前缀部分二元符号串进行反二值化处理,得到所述第一方向上的位移矢量残差对应的前缀值;基于所述第一方向上的位移矢量残差对应的前缀值,从所述多个候选的取值区间中确定所述第一取值区间。
在示例性实施例中,所述区间确定模块1510,用于采用截断一元码的方式,对所述码流中的第一前缀部分二元符号串进行反二值化处理,得到所述第一方向上的位移矢量残差对应的前缀值。
在示例性实施例中,所述方法确定模块1520,用于:
在所述第一取值区间满足第一条件的情况下,确定所述第一后缀反二值化方法为定长码的方式;
在所述第一取值区间满足第二条件的情况下,确定所述第一后缀反二值化方法为指数哥伦布码的方式。
在示例性实施例中,所述当前解码单元属于IBC解码块,所述位移矢量残差为BVD;或者,所述当前解码单元属于ISC解码块,所述位移矢量残差为SVD;或者,所述当前解码单元属于帧间预测模式的解码块,所述位移矢量残差为MVD。
在示例性实施例中,所述多个候选的取值区间是基于所述位移矢量残差的分布特性设定的。
在示例性实施例中,所述区间确定模块1510,还用于从所述多个候选的取值区间中,确定所述当前解码单元在第二方向上的位移矢量残差的绝对值所属的第二取值区间。
所述方法确定模块1520,还用于在基于所述第二取值区间,确定所述第二方向上的位移矢量残差除了对应有前缀值之外,还对应有后缀值的情况下,基于所述第二取值区间,确定用于对所述第二方向上的位移矢量残差对应的后缀值进行解码的第二后缀反二值化方法。
所述反二值化模块1530,还用于采用所述第二后缀反二值化方法,对所述码流中的第二后缀部分二元符号串进行反二值化处理,得到所述第二方向上的位移矢量残差对应的后缀值。
所述残差确定模块1540,还用于基于所述第二方向上的位移矢量残差对应的前缀值和后缀值,确定所述第二方向上的位移矢量残差。
其中,所述第一方向为水平方向且所述第二方向为垂直方向,或者,所述第一方向为垂直方向且所述第二方向为水平方向。
在示例性实施例中,所述第二方向上的位移矢量残差对应的前缀值是采用CABAC进行熵编码和熵解码的,其第一个比特具有第一上下文模型和第二上下文模型。在先解码所述第一方向上的位移矢量残差,后解码所述第二方向上的位移矢量残差的情况下,所述区间确定模块1510,还用于:若所述第一方向上的位移矢量残差为0,则基于所述第一上下文模型确定所述第一个比特的值;若所述第一方向上的位移矢量残差不为0,则基于所述第二上下文模型确定所述第一个比特的值。
请参考图16,其示出了本申请一个实施例提供的视频编码装置的框图。该装置具有实现上述视频编码方法示例的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现。该装置可以是上文介绍的编码端设备,也可以设置在编码端设备上。该装置1600可以包括:区间确定模块1610、方法确定模块1620、二值化模块1630和码流生成模块1640。
区间确定模块1610,用于从多个候选的取值区间中,确定当前编码单元在第一方向上的位移矢量残差的绝对值所属的第一取值区间。
方法确定模块1620,用于在确定所述第一方向上的位移矢量残差对应有前缀值和后缀值的情况下,基于所述第一取值区间,确定用于对所述第一方向上的位移矢量残差对应的后缀值进行编码的第一后缀二值化方法。
二值化模块1630,用于采用所述第一后缀二值化方法,对所述第一方向上的位移矢量残差对应的后缀值进行二值化处理,得到第一后缀部分二元符号串。
码流生成模块1640,用于编码生成包含有所述第一后缀部分二元符号串的码流。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
请参考图17,其示出了本申请一个实施例提供的计算机设备的结构框图。该计算机设备可以是上文介绍的解码端设备或编码端设备。该计算机设备170可以包括:处理器171、存储器172、通信接口173、编码器/解码器174和总线175。
处理器171包括一个或者一个以上处理核心,处理器171通过运行软件程序以及模块,从而执行各种功能应用以及信息处理。
存储器172可用于存储计算机程序,处理器171用于执行该计算机程序,以实现上述视频解码方法,或者实现上述视频编码方法。
通信接口173可用于与其它设备进行通信,如收发音视频数据。
编码器/解码器174可用于实现编码和解码功能,如对音视频数据进行编码和解码。
存储器172通过总线175与处理器171相连。
此外,存储器172可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,易失性或非易失性存储设备包括但不限于:磁盘或光盘,EEPROM(ElectricallyErasable Programmable Read-Only Memory,电可擦除可编程只读存储器),EPROM(Erasable Programmable Read-Only Memory,可擦除可编程只读存储器),SRAM(StaticRandom-Access Memory,静态随时存取存储器),ROM(Read-Only Memory,只读存储器),磁存储器,快闪存储器,PROM(Programmable Read-Only Memory,可编程只读存储器)。
本领域技术人员可以理解,图17中示出的结构并不构成对计算机设备170的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被处理器执行时实现上述视频解码方法,或者实现上述视频编码方法。
可选地,该计算机可读存储介质可以包括:ROM(Read-Only Memory,只读存储器)、RAM(Random-Access Memory,随机存储器)、SSD(Solid State Drives,固态硬盘)或光盘等。其中,随机存取记忆体可以包括ReRAM(Resistance Random Access Memory,电阻式随机存取记忆体)和DRAM(Dynamic Random Access Memory,动态随机存取存储器)。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述视频解码方法,或者实现上述视频编码方法。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外,本文中描述的步骤编号,仅示例性示出了步骤间的一种可能的执行先后顺序,在一些其它实施例中,上述步骤也可以不按照编号顺序来执行,如两个不同编号的步骤同时执行,或者两个不同编号的步骤按照与图示相反的顺序执行,本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (15)

1.一种视频解码方法,其特征在于,所述方法包括:
从多个候选的取值区间中,确定当前解码单元在第一方向上的位移矢量残差的绝对值所属的第一取值区间;
在基于所述第一取值区间,确定所述第一方向上的位移矢量残差除了对应有前缀值之外,还对应有后缀值的情况下,基于所述第一取值区间,确定用于对所述第一方向上的位移矢量残差对应的后缀值进行解码的第一后缀反二值化方法;
采用所述第一后缀反二值化方法,对所述码流中的第一后缀部分二元符号串进行反二值化处理,得到所述第一方向上的位移矢量残差对应的后缀值;
基于所述第一方向上的位移矢量残差对应的前缀值和后缀值,确定所述第一方向上的位移矢量残差。
2.根据权利要求1所述的方法,其特征在于,所述从多个候选的取值区间中,确定当前解码单元在第一方向上的位移矢量残差的绝对值所属的第一取值区间,包括:
采用第一前缀反二值化方法,对所述码流中的第一前缀部分二元符号串进行反二值化处理,得到所述第一方向上的位移矢量残差对应的前缀值;
基于所述第一方向上的位移矢量残差对应的前缀值,从所述多个候选的取值区间中确定所述第一取值区间。
3.根据权利要求1所述的方法,其特征在于,所述从多个候选的取值区间中,确定当前解码单元在第一方向上的位移矢量残差的绝对值所属的第一取值区间,包括:
从所述码流中解码得到第一范围标识,所述第一范围标识用于指示所述第一方向上的位移矢量残差的绝对值是否属于第一设定范围;
基于所述第一范围标识,从所述多个候选的取值区间中确定所述第一取值区间。
4.根据权利要求1所述的方法,其特征在于,所述从多个候选的取值区间中,确定当前解码单元在第一方向上的位移矢量残差的绝对值所属的第一取值区间,包括:
采用第一前缀反二值化方法,对所述码流中的第一前缀部分二元符号串进行反二值化处理,得到所述第一方向上的位移矢量残差对应的前缀值;
若所述第一方向上的位移矢量残差对应的前缀值属于第一取值范围,则基于所述第一方向上的位移矢量残差对应的前缀值,从所述多个候选的取值区间中确定所述第一取值区间;
若所述第一方向上的位移矢量残差对应的前缀值属于第二取值范围,则从所述码流中解码得到第二范围标识,所述第二范围标识用于指示所述第一方向上的位移矢量残差的绝对值是否属于第二设定范围;基于所述第二范围标识,从所述多个候选的取值区间中确定所述第一取值区间。
5.根据权利要求1所述的方法,其特征在于,所述从多个候选的取值区间中,确定当前解码单元在第一方向上的位移矢量残差的绝对值所属的第一取值区间,包括:
从所述码流中解码得到第三范围标识,所述第三范围标识用于指示所述第一方向上的位移矢量残差的绝对值是否属于第三设定范围;
若基于所述第三范围标识,确定所述当前解码单元在第一方向上的位移矢量残差的绝对值属于所述第三设定范围,则基于所述第三设定范围确定所述第一取值区间;
若基于所述第三范围标识,确定所述当前解码单元在第一方向上的位移矢量残差的绝对值不属于所述第三设定范围,则采用第一前缀反二值化方法,对所述码流中的第一前缀部分二元符号串进行反二值化处理,得到所述第一方向上的位移矢量残差对应的前缀值;基于所述第一方向上的位移矢量残差对应的前缀值,从所述多个候选的取值区间中确定所述第一取值区间。
6.根据权利要求2、4或5所述的方法,其特征在于,所述采用第一前缀反二值化方法,对所述码流中的第一前缀部分二元符号串进行反二值化处理,得到所述第一方向上的位移矢量残差对应的前缀值,包括:
采用截断一元码的方式,对所述码流中的第一前缀部分二元符号串进行反二值化处理,得到所述第一方向上的位移矢量残差对应的前缀值。
7.根据权利要求1所述的方法,其特征在于,所述基于所述第一取值区间,确定用于对所述第一方向上的位移矢量残差对应的后缀值进行解码的第一后缀反二值化方法,包括:
在所述第一取值区间满足第一条件的情况下,确定所述第一后缀反二值化方法为定长码的方式;
在所述第一取值区间满足第二条件的情况下,确定所述第一后缀反二值化方法为指数哥伦布码的方式。
8.根据权利要求1所述的方法,其特征在于,
所述当前解码单元属于帧内块复制IBC解码块,所述位移矢量残差为块矢量残差BVD;
或者,
所述当前解码单元属于帧内串复制ISC解码块,所述位移矢量残差为串矢量残差SVD;
或者,
所述当前解码单元属于帧间预测模式的解码块,所述位移矢量残差为运动矢量残差MVD。
9.根据权利要求1所述的方法,其特征在于,所述多个候选的取值区间是基于所述位移矢量残差的分布特性设定的。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
从所述多个候选的取值区间中,确定所述当前解码单元在第二方向上的位移矢量残差的绝对值所属的第二取值区间;
在基于所述第二取值区间,确定所述第二方向上的位移矢量残差除了对应有前缀值之外,还对应有后缀值的情况下,基于所述第二取值区间,确定用于对所述第二方向上的位移矢量残差对应的后缀值进行解码的第二后缀反二值化方法;
采用所述第二后缀反二值化方法,对所述码流中的第二后缀部分二元符号串进行反二值化处理,得到所述第二方向上的位移矢量残差对应的后缀值;
基于所述第二方向上的位移矢量残差对应的前缀值和后缀值,确定所述第二方向上的位移矢量残差;
其中,所述第一方向为水平方向且所述第二方向为垂直方向,或者,所述第一方向为垂直方向且所述第二方向为水平方向。
11.根据权利要求10所述的方法,其特征在于,所述第二方向上的位移矢量残差对应的前缀值是采用基于上下文的自适应二进制算术编码CABAC进行熵编码和熵解码的,其第一个比特具有第一上下文模型和第二上下文模型;
在先解码所述第一方向上的位移矢量残差,后解码所述第二方向上的位移矢量残差的情况下,所述方法还包括:
若所述第一方向上的位移矢量残差为0,则基于所述第一上下文模型确定所述第一个比特的值;
若所述第一方向上的位移矢量残差不为0,则基于所述第二上下文模型确定所述第一个比特的值。
12.根据权利要求1所述的方法,其特征在于,所述基于所述第一方向上的位移矢量残差对应的前缀值和后缀值,确定所述第一方向上的位移矢量残差,包括:
基于所述第一方向上的位移矢量残差对应的前缀值,确定第一偏移值;
基于所述第一偏移值和所述第一方向上的位移矢量残差对应的后缀值,确定所述第一方向上的位移矢量残差的绝对值;
在所述第一方向上的位移矢量残差的绝对值不为0的情况下,从所述码流中解码得到所述第一方向上的位移矢量残差的符号,并基于所述第一方向上的位移矢量残差的绝对值和符号,确定所述第一方向上的位移矢量残差;
在所述第一方向上的位移矢量残差的绝对值为0的情况下,直接确定所述第一方向上的位移矢量残差为0,且无需从所述码流中解码得到所述第一方向上的位移矢量残差的符号。
13.一种视频编码方法,其特征在于,所述方法包括:
从多个候选的取值区间中,确定当前编码单元在第一方向上的位移矢量残差的绝对值所属的第一取值区间;
在确定所述第一方向上的位移矢量残差对应有前缀值和后缀值的情况下,基于所述第一取值区间,确定用于对所述第一方向上的位移矢量残差对应的后缀值进行编码的第一后缀二值化方法;
采用所述第一后缀二值化方法,对所述第一方向上的位移矢量残差对应的后缀值进行二值化处理,得到第一后缀部分二元符号串;
编码生成包含有所述第一后缀部分二元符号串的码流。
14.一种视频解码装置,其特征在于,所述装置包括:
区间确定模块,用于从多个候选的取值区间中,确定当前解码单元在第一方向上的位移矢量残差的绝对值所属的第一取值区间;
方法确定模块,用于在基于所述第一取值区间,确定所述第一方向上的位移矢量残差除了对应有前缀值之外,还对应有后缀值的情况下,基于所述第一取值区间,确定用于对所述第一方向上的位移矢量残差对应的后缀值进行解码的第一后缀反二值化方法;
反二值化模块,用于采用所述第一后缀反二值化方法,对所述码流中的第一后缀部分二元符号串进行反二值化处理,得到所述第一方向上的位移矢量残差对应的后缀值;
残差确定模块,用于基于所述第一方向上的位移矢量残差对应的前缀值和后缀值,确定所述第一方向上的位移矢量残差。
15.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至13任一项所述的方法。
CN202011414460.0A 2020-12-04 2020-12-04 视频解码方法、视频编码方法、装置及设备 Pending CN114615504A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011414460.0A CN114615504A (zh) 2020-12-04 2020-12-04 视频解码方法、视频编码方法、装置及设备
PCT/CN2021/131293 WO2022116836A1 (zh) 2020-12-04 2021-11-17 视频解码方法、视频编码方法、装置及设备
EP21899870.6A EP4246975A4 (en) 2020-12-04 2021-11-17 VIDEO DECODING METHOD AND APPARATUS, VIDEO ENCODING METHOD AND APPARATUS, AND DEVICE
US17/969,633 US20230068657A1 (en) 2020-12-04 2022-10-19 Selecting a coding method for suffix values for displacement vector differences based on value intervals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011414460.0A CN114615504A (zh) 2020-12-04 2020-12-04 视频解码方法、视频编码方法、装置及设备

Publications (1)

Publication Number Publication Date
CN114615504A true CN114615504A (zh) 2022-06-10

Family

ID=81852921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011414460.0A Pending CN114615504A (zh) 2020-12-04 2020-12-04 视频解码方法、视频编码方法、装置及设备

Country Status (4)

Country Link
US (1) US20230068657A1 (zh)
EP (1) EP4246975A4 (zh)
CN (1) CN114615504A (zh)
WO (1) WO2022116836A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024054609A1 (en) * 2022-09-09 2024-03-14 Comcast Cable Communications, Llc Sign coding and decoding using prediction

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6900748B2 (en) * 2003-07-17 2005-05-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for binarization and arithmetic coding of a data value
WO2007065351A1 (en) * 2005-12-05 2007-06-14 Huawei Technologies Co., Ltd. Binarizing method and device thereof
KR101611375B1 (ko) * 2008-08-19 2016-04-11 톰슨 라이센싱 압축된 비디오에서 구문 요소의 cabac/avc 준수 워터마킹
KR101457399B1 (ko) * 2011-06-28 2014-11-04 삼성전자주식회사 산술부호화를 수반한 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US9854253B2 (en) * 2014-06-30 2017-12-26 Qualcomm Incorporated Method for motion vector difference (MVD) and intra block copy vector difference (BVD) coding of screen content video data
US10893286B2 (en) * 2018-10-09 2021-01-12 Tencent America LLC Methods and apparatus for low-complexity MTS
CN114390280B (zh) * 2018-11-12 2023-08-18 Lg电子株式会社 图像解码方法、图像编码方法和数据发送方法
WO2020141831A2 (ko) * 2018-12-31 2020-07-09 엘지전자 주식회사 인트라 블록 카피 예측을 이용한 영상 코딩 방법 및 장치

Also Published As

Publication number Publication date
EP4246975A4 (en) 2024-01-24
WO2022116836A1 (zh) 2022-06-09
US20230068657A1 (en) 2023-03-02
EP4246975A1 (en) 2023-09-20

Similar Documents

Publication Publication Date Title
CN111866512B (zh) 视频解码方法、视频编码方法、装置、设备及存储介质
EP3417623B1 (en) Efficient parameter storage for compact multi-pass transforms
WO2019135930A1 (en) Sign prediction in video coding
CN112514386B (zh) 网格编解码量化系数编解码
CN113424542A (zh) 用于视频编解码中带有运动矢量差的合并模式的信令
WO2020185875A1 (en) Coefficient coding for transform skip mode
JP2023156438A (ja) データ符号化方法及び装置、データ復号化方法及び装置、画像処理装置
US20200036980A1 (en) Rounding of motion vectors for adaptive motion vector difference resolution and increased motion vector storage precision in video coding
CN114009049A (zh) 用于针对视频译码的低频不可分离变换信令的上下文建模
CN114375582A (zh) 处理亮度和色度信号的方法和系统
CN112335251B (zh) 以分组的旁路位元的系数编码
CN114679917A (zh) 视频数据的变换跳过残差编码
US20230068657A1 (en) Selecting a coding method for suffix values for displacement vector differences based on value intervals
WO2021263251A1 (en) State transition for dependent quantization in video coding
CN114071158A (zh) 视频编解码中的运动信息列表构建方法、装置及设备
WO2020257557A1 (en) Maximum allowed block size for bdpcm mode
WO2022037464A1 (zh) 视频解码方法、视频编码方法、装置、设备及存储介质
TWI806480B (zh) 視訊編解碼方法、裝置、計算機可讀媒體及電子設備
WO2022037458A1 (zh) 视频编解码中的运动信息列表构建方法、装置及设备
CN115086656A (zh) 视频编解码方法、装置、计算机可读介质及电子设备
CN115086655A (zh) 视频编解码方法、装置、计算机可读介质及电子设备
CN114079782A (zh) 视频图像重建方法、装置、计算机设备及存储介质
CN114979656A (zh) 视频编解码方法、装置、计算机可读介质及电子设备
WO2022213122A1 (en) State transition for trellis quantization in video coding
CN114374849A (zh) 一种候选运动信息列表确定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40071988

Country of ref document: HK