CN109756733B - 视频数据解码方法及装置 - Google Patents

视频数据解码方法及装置 Download PDF

Info

Publication number
CN109756733B
CN109756733B CN201711080706.3A CN201711080706A CN109756733B CN 109756733 B CN109756733 B CN 109756733B CN 201711080706 A CN201711080706 A CN 201711080706A CN 109756733 B CN109756733 B CN 109756733B
Authority
CN
China
Prior art keywords
quantization
adjustment factor
image block
quantization adjustment
transform coefficients
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711080706.3A
Other languages
English (en)
Other versions
CN109756733A (zh
Inventor
赵寅
杨海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201711080706.3A priority Critical patent/CN109756733B/zh
Priority to PCT/CN2018/113986 priority patent/WO2019086033A1/zh
Priority to TW107139328A priority patent/TW201919398A/zh
Publication of CN109756733A publication Critical patent/CN109756733A/zh
Application granted granted Critical
Publication of CN109756733B publication Critical patent/CN109756733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了视频数据解码方法及装置,使用当前图像块的空间邻域像素信息模拟当前图像块对应的原始像素信息,以估计当前图像块所处背景区域的特征。综合考虑所述空间邻域像素信息以及从码流中解码出的量化调节因子调节参数,自适应地推导用于当前图像块的第二量化调节因子,并基于自适应推导的第二量化调节因子来调节当前图像块对应的第一变换系数集的反量化过程,实现了在视频解码过程中,在稳定条带码率的同时灵活地调节反量化处理,使得量化失真强度更符合人眼视觉感知,从而提高了编解码性能。

Description

视频数据解码方法及装置
技术领域
本申请涉及视频编解码技术领域,尤其涉及视频数据解码方法以及相应的视频解码器。
背景技术
当前视频编码技术包括多种,例如H.264/AVC、H.265/HEVC、音视频编码标准(Audio Video coding Standard,AVS)等视频编码标准,上述视频编码标准通常都采用混合编码框架,该混合编码框架可包括预测(prediction)、变换(transform)、量化(quantization)、熵编码(entropy coding)等环节。预测环节利用已编码区域的重建像素(reconstructed pixel)产生当前编码图像块(coding block)对应的原始像素(originalpixel)的预测像素(predicted pixel)。原始像素和预测像素之间的像素值差异称为残差(residual)。为了提高残差的编码效率,通常先对残差进行变换,将其转化为变换系数(transform coefficient),再对变换系数作量化处理。然后,将量化后的变换系数以及语法元素(例如编码图像块大小、预测模式、运动矢量等指示信息)通过熵编码处理转换成码流。
视频解码是将码流转换为视频图像的过程,可包括熵解码(entropy decoding)、预测、反量化(dequantization)、反变换(inverse transform)等环节。首先,将码流通过熵解码处理解析出语法元素和经量化的变换系数。然后,一方面基于语法元素和在先已解码的重建像素得到预测像素;另一方面将经量化的变换系数通过反量化处理得到反量化后的变换系数,并对反量化后的变换系数进行反变换,以得到重建的残差。以及,累加重建的残差和预测像素,以得到重建像素,从而恢复出视频图像。
对于有损编码,重建像素与原始像素可能是不同的,两者之间的数值差异称为失真(distortion)。由于多种视觉掩蔽效应的存在,例如亮度掩蔽效应和对比度掩蔽效应,人眼观察到失真的强度与失真所在背景的特性有密切的联系。也就是说,人眼的失真敏感度与失真所在位置的背景亮度和背景对比度有关,通常来说失真敏感度和背景亮度呈现U形曲线关系,而与背景的对比度呈单调递减关系。在视频编码或解码中,结合上述视觉特性,对视觉上失真敏感度较小的区域增大量化步长,对失真敏感度较大的区域减小量化步长,相较于使用统一的量化步长,可以使编码失真分配更符合人眼视觉感知。
通常来说,反量化过程与量化步长直接相关,而量化步长则受到量化参数QP、缩放因子、电平尺度表的影响。现有技术中,调整量化步长的方法为:
由编码端分析视频序列后,将各个编码图像块的变换系数对应的量化参数(QP)以及该量化参数的偏移量(delta QP)编入码流;解码端对各解码图像块根据解析到的量化参数以及偏移量进行相应的量化步长调节。然而,块级的量化参数以及块级的偏移量对应的边信息(side information)较大地增加了比特开销,一定程度上降低了编解码性能。
发明内容
本申请实施例提供一种视频数据解码方法及相应的视频解码器,一定程度上提高编解码性能。
本申请实施例还提供另一种视频数据解码方法及相应的视频解码器,一定程度上提高编解码性能。
第一方面,本申请实施例提供一种视频解码器,包括:
熵解码模块,用于从码流中获取量化调节因子调节参数(例如条带层级或条带段层级的量化调节因子调节参数)和获取第一变换系数集(例如图像块层级的变换系数集),所述第一变换系数集对应于当前解码图像块的残差;
反量化模块,用于根据当前解码图像块的空间邻域像素信息,(例如通过计算或查表的方式)确定用于当前解码图像块的第一量化调节因子;基于所述量化调节因子调节参数与所述第一量化调节因子,得到用于当前解码图像块的第二量化调节因子;基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集;其中,在不同示例下,反量化模块用于基于所述量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;或者,反量化模块用于基于所述量化调节因子调节参数与所述第一量化调节因子的和,得到用于当前解码图像块的第二量化调节因子;
反变换模块,用于对所述第二变换系数集进行反变换,以得到当前解码图像块的残差;
预测模块,用于生成当前解码图像块的预测块;
重建模块,用于基于当前解码图像块的残差和所述当前解码图像块的预测块对当前解码图像块进行重建。
可见,本申请实施例提供的视频编码器使用当前解码图像块(即变换块)的空间邻域像素信息模拟当前解码图像块对应的原始像素信息,以估计当前解码图像块所处背景区域的特征。综合考虑前述空间邻域像素信息以及从码流中解码出的条带级或条带段级的量化调节因子调节参数,自适应地推导用于当前图像块(即变换块)的第二量化调节因子,并基于自适应推导的第二量化调节因子来调节当前图像块对应的第一变换系数集的反量化过程,实现了在视频解码过程中,在稳定条带码率的同时灵活地调节反量化处理,使得量化失真强度更符合人眼视觉感知,从而提高了编解码性能。
结合第一方面,在第一方面的某些实现方式中,所述熵解码模块具体用于从码流中获取用于指示量化调节因子调节参数的索引信息,所述索引信息指向所述量化调节因子调节参数。
可见,通过在码流中传输条带层级或条带段层级的量化调节因子调节参数的索引的方案,一定程度上减少了比特开销,进而提高了编解码性能。
结合第一方面,在第一方面的某些实现方式中,所述反量化模块包括:
获取单元,用于获取当前解码图像块的空间邻域像素信息;
计算单元,用于根据像素均值Pavg的第一分段函数f1(Pavg)计算所述第一量化调节因子或根据像素均值Pavg查表得到与像素均值Pavg对应的第一量化调节因子,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值;基于所述量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;或者,基于所述量化调节因子调节参数与所述第一量化调节因子的和,得到用于当前解码图像块的第二量化调节因子;
反量化单元,用于基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集。
可见,通过在解码端利用已重建的空间邻域像素的像素均值来模拟当前解码图像块对应的原始像素特征,自适应导出第一量化调节因子,进而基于自适应导出的第一量化调节因子与该量化调节因子调节参数的乘积/和来调节当前解码图像块的残差变换系数的反量化过程,使得条带码率的下降幅度变小,达到稳定条带码率的效果,也提高了编解码性能。
结合第一方面,在第一方面的某些实现方式中,所述反量化模块包括:
获取单元,用于获取当前解码图像块的空间邻域像素信息;
计算单元,用于根据像素差值Pcon的第二分段函数f2(Pcon)计算所述第一量化调节因子或根据像素差值Pcon查表得到与像素差值Pcon对应的第一量化调节因子;其中,所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与像素均值Pavg的平均绝对误差和,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值;基于所述量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;或者基于所述量化调节因子调节参数与所述第一量化调节因子的和,得到用于当前解码图像块的第二量化调节因子;
反量化单元,用于基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集。
可见,通过在解码端利用已重建的空间邻域像素的像素差值来模拟当前解码图像块对应的原始像素特征,自适应导出第一量化调节因子,进而基于自适应导出的第一量化调节因子与该量化调节因子调节参数的乘积/和来调节当前解码图像块的残差变换系数的反量化过程,在条带码率的下降幅度变小,达到稳定条带码率的同时,也提高了编解码性能。
结合第一方面,在第一方面的某些实现方式中,所述反量化模块包括:
获取单元,用于获取当前解码图像块的空间邻域像素信息;
计算单元,用于根据像素差值Pcon和像素均值Pavg的第三函数f3(f1(Pavg),f2(Pcon))计算所述第一量化调节因子;其中,所述像素均值Pavg是所述空间邻域像素信息对应的多个像素的亮度分量求平均得到的均值;所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与所述像素均值Pavg的平均绝对误差和;基于所述量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;或者基于所述量化调节因子调节参数与所述第一量化调节因子的和,得到用于当前解码图像块的第二量化调节因子;
反量化单元,用于基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集。
可见,通过在解码端利用已重建的空间邻域像素的像素差值和像素均值的组合情况来模拟当前解码图像块对应的原始像素特征,自适应导出第一量化调节因子,进而基于自适应导出的第一量化调节因子与该量化调节因子调节参数的乘积/和来调节当前解码图像块的残差变换系数的反量化过程,在条带码率的下降幅度变小,达到稳定条带码率的同时,也提高了编解码性能。
结合第一方面,在第一方面的某些实现方式中,所述反量化单元具体用于:
根据预设的第一对应关系确定所述第二量化调节因子对应的目标电平尺度表;其中,所述第一对应关系包括多个量化调节因子与多个电平尺度表的对应关系;
根据所述目标电平尺度表反量化所述第一变换系数集,以得到所述第二变换系数集。
可见,通过在解码端基于自适应导出的第一量化调节因子与该量化调节因子调节参数的乘积,从多个电平尺度表中确定目标电平尺度表,从而间接地调节当前解码图像块的残差变换系数的量化步长,在条带码率的下降幅度变小,达到稳定条带码率的同时,也提高了编解码性能。
结合第一方面,在第一方面的某些实现方式中,所述反量化单元具体用于:
根据预设的第二对应关系确定所述第二量化调节因子对应的目标量化矩阵;其中,所述第二对应关系包括多个量化调节因子与多个量化矩阵的对应关系;
根据所述目标量化矩阵反量化所述第一变换系数集,以得到所述第二变换系数集。
可见,通过在解码端基于自适应导出的第一量化调节因子与该量化调节因子调节参数的乘积,从多个量化矩阵中确定目标量化矩阵,从而间接地调节当前解码图像块的残差变换系数的量化步长,在条带码率的下降幅度变小,达到稳定条带码率的同时,也提高了编解码性能。
结合第一方面,在第一方面的某些实现方式中,所述反量化单元具体用于:
从码流中获取所述第一变换系数集对应的第一量化步长;
利用所述第二量化调节因子对所述第一量化步长进行缩放,以得到第二量化步长;利用所述第二量化步长反量化所述第一变换系数集,以得到所述第二变换系数集。
可见,通过在解码端基于自适应导出的第一量化调节因子与该量化调节因子调节参数的乘积,直接地调节当前解码图像块的残差变换系数的量化步长,在条带码率的下降幅度变小,达到稳定条带码率的同时,也提高了编解码性能。
结合第一方面,在第一方面的某些实现方式中,所述反量化单元具体用于:
从码流中获取所述第一变换系数集对应的第一量化步长;
利用所述第一量化步长对所述第一变换系数集中的变换系数进行反量化,以得到第三变换系数集中的变换系数;
利用所述第二量化调节因子对所述第三变换系数集中的变换系数进行缩放,以得到所述第二变换系数集。
可见,通过在解码端基于自适应导出的第一量化调节因子与该量化调节因子调节参数的乘积,对利用基础量化步长反量化得到的第三变换系数集的变换系数进行缩放,实现了灵活调节当前解码图像块的残差变换系数的反量化过程的目的,在条带码率的下降幅度变小,达到稳定条带码率的同时,也提高了编解码性能。
本申请的第二方面提供了另一种视频解码器,该装置包括:
熵解码模块,用于判断当前解码图像块是否使用自适应反量化过程;
所述熵解码模块还用于从码流中获取量化调节因子调节参数和获取第一变换系数集,所述第一变换系数集对应于当前解码图像块的残差;
反量化模块,用于在所述熵解码模块确定当前解码图像块需使用自适应反量化过程的情况下,根据当前解码图像块的空间邻域像素信息,(例如通过计算或查表的方式)确定用于当前解码图像块的第一量化调节因子;基于所述量化调节因子调节参数与所述第一量化调节因子,得到用于当前解码图像块的第二量化调节因子;基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集;其中,所述反量化模块具体用于基于所述量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;或者,基于所述量化调节因子调节参数与所述第一量化调节因子的和,得到用于当前解码图像块的第二量化调节因子;
反变换模块,用于对所述第二变换系数集进行反变换,以得到当前解码图像块的残差;
预测模块,用于生成当前解码图像块的预测块;
重建模块,用于基于当前解码图像块的残差和所述当前解码图像块的预测块对当前解码图像块进行重建。
可见,一方面,解码端通过选择性地对图像块使用自适应反量化过程,一定程度上避免错误调节反量化过程;另一方面,针对需要使用自适应反量化过程的图像块,在解码端利用当前图像块的空间邻域像素信息,估计当前图像块所处背景区域的特征。综合考虑前述空间邻域像素信息以及从码流中解码出的条带级或条带段级的量化调节因子调节参数,自适应地推导用于当前图像块的第二量化调节因子,并基于自适应推导的第二量化调节因子来调节当前图像块对应的第一变换系数集的反量化过程,实现了在视频解码过程中,在稳定条带码率的同时灵活地调节反量化处理,使得量化失真强度更符合人眼视觉感知,从而提高了编解码性能。
结合第二方面,在第二方面的某些实现方式中,所述熵解码模块具体用于根据明文地或隐含地包含于码流中的自适应反量化开关标志判断当前解码图像块是否使用自适应反量化过程,所述自适应反量化开关标志用于指示当前解码图像块的反量化过程中使用的第二量化调节因子是否为默认值。
可见,解码端通过码流中明文地或隐含地包含于码流中的自适应反量化开关标志判断哪些图像块需要使用自适应反量化过程,而哪些图像块不需要使用自适应反量化过程,从而避免错误调节反量化过程。
结合第二方面,在第二方面的某些实现方式中,所述熵解码模块具体用于从码流中解码出用于指示量化调节因子调节参数的索引信息,所述索引信息指向所述量化调节因子调节参数。
结合第二方面,在第二方面的某些实现方式中,所述反量化模块包括:
获取单元,用于获取当前解码图像块的空间邻域像素信息;
计算单元,用于根据像素均值Pavg的第一分段函数f1(Pavg)计算所述第一量化调节因子或者根据像素均值Pavg查表得到与像素均值Pavg对应的第一量化调节因子,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值;基于所述量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;或者,基于所述量化调节因子调节参数与所述第一量化调节因子的和,得到用于当前解码图像块的第二量化调节因子;
反量化单元,用于基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集。
结合第二方面,在第二方面的某些实现方式中,所述反量化模块包括:
获取单元,用于获取当前解码图像块的空间邻域像素信息;
计算单元,用于根据像素差值Pcon的第二分段函数f2(Pcon)计算所述第一量化调节因子或者根据像素差值Pcon查表得到与像素差值Pcon对应的第一量化调节因子;其中,所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与像素均值Pavg的平均绝对误差,所述像素均值Pavg是所述空间邻域像素信息对应的多个像素的亮度分量求平均得到的均值;基于所述量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;或者,基于所述量化调节因子调节参数与所述第一量化调节因子的和,得到用于当前解码图像块的第二量化调节因子;
反量化单元,用于基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集。
结合第二方面,在第二方面的某些实现方式中,所述反量化模块包括:
获取单元,用于获取当前解码图像块的空间邻域像素信息;
计算单元,用于根据像素差值Pcon和像素均值Pavg的第三函数f3(f1(Pavg),f2(Pcon))计算所述第一量化调节因子;其中,所述像素均值Pavg是所述空间邻域像素信息对应的多个像素的亮度分量求平均得到的均值,所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与所述像素均值Pavg的平均绝对误差和;基于所述量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;或者,基于所述量化调节因子调节参数与所述第一量化调节因子的和,得到用于当前解码图像块的第二量化调节因子;
反量化单元,用于基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集。
结合第二方面,在第二方面的某些实现方式中,所述反量化单元具体用于:
根据预设的第一对应关系确定所述第二量化调节因子对应的目标电平尺度表;其中,所述第一对应关系包括多个量化调节因子与多个电平尺度表的对应关系;
根据所述目标电平尺度表反量化所述第一变换系数集,以得到所述第二变换系数集。
结合第二方面,在第二方面的某些实现方式中,所述反量化单元具体用于:
根据预设的第二对应关系确定所述第二量化调节因子对应的目标量化矩阵;其中,所述第二对应关系包括多个量化调节因子与多个量化矩阵的对应关系;
根据所述目标量化矩阵反量化所述第一变换系数集,以得到所述第二变换系数集。
结合第二方面,在第二方面的某些实现方式中,所述反量化单元具体用于:
从码流中获取所述第一变换系数集对应的第一量化步长;
利用所述第二量化调节因子对所述第一量化步长进行缩放,以得到第二量化步长;利用所述第二量化步长反量化所述第一变换系数集,以得到所述第二变换系数集。
结合第二方面,在第二方面的某些实现方式中,所述反量化单元具体用于:
从码流中获取所述第一变换系数集对应的第一量化步长;
利用所述第一量化步长对所述第一变换系数集中的变换系数进行反量化,以得到第三变换系数集中的变换系数;
利用所述第二量化调节因子对所述第三变换系数集中的变换系数进行缩放,以得到所述第二变换系数集。
本申请的第三方面提供了一种视频数据解码方法,该方法包括:
从码流中获取量化调节因子调节参数和获取第一变换系数集,所述第一变换系数集对应于当前解码图像块的残差;
根据当前解码图像块的空间邻域像素信息,(例如通过计算或查表的方式)确定用于当前解码图像块的第一量化调节因子;
基于所述量化调节因子调节参数与所述第一量化调节因子,得到用于当前解码图像块的第二量化调节因子;其中,例如,基于所述量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;或者,基于所述量化调节因子调节参数与所述第一量化调节因子的和,得到用于当前解码图像块的第二量化调节因子;
基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集;
对所述第二变换系数集进行反变换,以得到当前解码图像块的残差;
基于当前解码图像块的残差和所述当前解码图像块的预测块对当前解码图像块进行重建。
结合第三方面,在第三方面的某些实现方式中,所述从码流中获取量化调节因子调节参数,包括:
从码流中获取用于指示量化调节因子调节参数的索引信息,所述索引信息指向所述量化调节因子调节参数。
结合第三方面,在第三方面的某些实现方式中,所述根据当前解码图像块的空间邻域像素信息,确定用于当前解码图像块的第一量化调节因子,包括:
获取当前解码图像块的空间邻域像素信息;
根据像素均值Pavg的第一分段函数f1(Pavg)计算所述第一量化调节因子或根据像素均值Pavg查表得到与像素均值Pavg对应的第一量化调节因子,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值。
结合第三方面,在第三方面的某些实现方式中,所述根据当前解码图像块的空间邻域像素信息,确定用于当前解码图像块的第一量化调节因子,包括:
获取当前解码图像块的空间邻域像素信息;
根据像素差值Pcon的第二分段函数f2(Pcon)计算所述第一量化调节因子或根据像素差值Pcon查表得到与像素差值Pcon对应的第一量化调节因子;其中,所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与像素均值Pavg的平均绝对误差和,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值。
结合第三方面,在第三方面的某些实现方式中,所述根据当前解码图像块的空间邻域像素信息,确定用于当前解码图像块的第一量化调节因子,包括:
获取当前解码图像块的空间邻域像素信息;
根据像素差值Pcon和像素均值Pavg的第三函数f3(f1(Pavg),f2(Pcon))计算所述第一量化调节因子;其中,所述像素均值Pavg是所述空间邻域像素信息对应的多个像素的亮度分量求平均得到的均值;所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与所述像素均值Pavg的平均绝对误差和。
结合第三方面,在第三方面的某些实现方式中,所述基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集,包括:
根据预设的第一对应关系确定所述第二量化调节因子对应的目标电平尺度表;其中,所述第一对应关系包括多个量化调节因子与多个电平尺度表的对应关系;
根据所述目标电平尺度表反量化所述第一变换系数集,以得到所述第二变换系数集。
结合第三方面,在第三方面的某些实现方式中,所述基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集,包括:
根据预设的第二对应关系确定所述第二量化调节因子对应的目标量化矩阵;其中,所述第二对应关系包括多个量化调节因子与多个量化矩阵的对应关系;
根据所述目标量化矩阵反量化所述第一变换系数集,以得到所述第二变换系数集。
结合第三方面,在第三方面的某些实现方式中,所述基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集,包括:
从所述码流中获取所述第一变换系数集对应的第一量化步长;
利用所述第二量化调节因子对所述第一量化步长进行缩放,以得到第二量化步长;利用所述第二量化步长反量化所述第一变换系数集,以得到所述第二变换系数集。
结合第三方面,在第三方面的某些实现方式中,所述基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集,包括:
从所述码流中获取所述第一变换系数集对应的第一量化步长;
利用所述第一量化步长对所述第一变换系数集中的变换系数进行反量化,以得到第三变换系数集中的变换系数;
利用所述第二量化调节因子对所述第三变换系数集中的变换系数进行缩放,以得到所述第二变换系数集。
本申请的第四方面提供了一种视频数据解码方法,该方法包括:
判断当前解码图像块是否使用自适应反量化过程;
在当前解码图像块需使用自适应反量化过程的情况下,根据当前解码图像块的空间邻域像素信息,(例如以计算或查表的方式)确定用于当前解码图像块的第一量化调节因子;
基于从码流中获取的量化调节因子调节参数与所述第一量化调节因子,得到用于当前解码图像块的第二量化调节因子;其中,例如,基于从码流中获取的量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;或者,基于从码流中获取的量化调节因子调节参数与所述第一量化调节因子的和,得到用于当前解码图像块的第二量化调节因子;
基于所述第二量化调节因子对从所述码流中获取的第一变换系数集进行反量化,以得到第二变换系数集,所述第一变换系数集对应于当前解码图像块的残差;
对所述第二变换系数集进行反变换,以得到当前解码图像块的残差;
基于当前解码图像块的残差和所述当前解码图像块的预测块对当前解码图像块进行重建。
结合第四方面,在第四方面的某些实现方式中,所述判断当前解码图像块是否使用自适应反量化过程,包括:
根据明文地或隐含地包含于码流中的自适应反量化开关标志判断当前解码图像块是否使用自适应反量化过程,所述自适应反量化开关标志用于指示当前解码图像块的反量化过程中使用的第二量化调节因子是否为默认值。
结合第四方面,在第四方面的某些实现方式中,所述根据当前解码图像块的空间邻域像素信息,确定用于当前解码图像块的第一量化调节因子,包括:
获取当前解码图像块的空间邻域像素信息;
根据像素差值Pcon的第二分段函数f2(Pcon)计算所述第一量化调节因子或根据像素差值Pcon查表得到与像素差值Pcon对应的第一量化调节因子;其中,所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与像素均值Pavg的平均绝对误差和,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值。
结合第四方面,在第四方面的某些实现方式中,所述根据当前解码图像块的空间邻域像素信息,确定用于当前解码图像块的第一量化调节因子,包括:
获取当前解码图像块的空间邻域像素信息;
根据像素差值Pcon和像素均值Pavg的第三函数f3(f1(Pavg),f2(Pcon))计算所述第一量化调节因子;其中,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值,所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与所述像素均值Pavg的平均绝对误差和。
本申请的第五方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第三方面或第四方面所述的方法。
本申请的第六方面提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第三方面或第四方面所述的方法。
本申请的第七方面提供了一种电子设备,包括上述第一方面所述的视频解码器,或上述第二方面所述的视频解码器。
应理解,本申请的第二至七方面及对应的实现方式所取得的有益效果参见本申请的第一方面及对应的实现方式所取得的有益效果,不再赘述。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1为本申请实施例中一种视频编码及解码系统的示意性框图;
图2A为本申请实施例中一种视频编码器20的示意性框图;
图2B为本申请实施例中一种视频解码器30的示意性框图;
图3A为本申请实施例中一种视频数据编码方法的流程示意图;
图3B为本申请实施例中一种确定量化调节因子调节参数方法的流程示意图;
图3C为本申请实施例中一种设置自适应反量化开关标志的流程示意图;
图4为本申请实施例中一种用于视频数据解码方法的流程示意图;
图5为本申请实施例中另一种用于视频数据解码方法的流程示意图;
图6为本申请实施例中图像块的空间邻域像素的示意图;
图7为本申请实施例中一种用于视频编码器中的量化模块54的示意性框图;
图8为本申请实施例中另一种用于视频解码器中的反量化模块86的示意性框图;
图9为本申请实施例中一种编码设备或解码设备的示意性框图。
具体实施方式
下面对本申请实施例涉及的几个术语解释如下:
量化调节因子:用于调节图像块级的变换系数的量化过程,或者用于调节图像块级的经量化的变换系数的反量化过程,在本申请实施例的下文中,量化调节因子的实例包括第一量化调节因子、第二量化调节因子、第三量化调节因子和第四量化调节因子。应当理解的是,第一量化调节因子和第二量化调节因子是用于视频解码过程中调节图像块级的经量化的变换系数的反量化过程,其中第一量化调节因子是自适应计算出的初始量化调节因子,第二量化调节因子是相对于第一量化调节因子经过量化调节因子调节参数调整过的。类推地,第三量化调节因子和第四量化调节因子是用于视频编码过程中调节图像块级的变换系数的量化过程,其中第三量化调节因子是自适应计算出的初始量化调节因子,第四量化调节因子是相对于第三量化调节因子经过量化调节因子调节参数调整过的。作为一种示例,第二量化调节因子用于调节第一变换系数集中的变换系数的反量化过程,具体的,第二量化调节因子用于直接地或间接地调节第一变换系数集中的变换系数对应的基础量化步长的。对于间接的手段,所述量化调节因子可以用于调节决定量化步长的多个因素中的任一个或组合,从而达到调节量化步长的目的。通常来说,反量化与量化步长直接相关,而量化步长则受到QP、缩放因子、电平尺度表的影响。例如,可以调节缩放因子来改变量化步长,可以选择多个缩放因子矩阵(亦称为量化矩阵)中的一个来确定缩放因子。
量化调节因子调节参数:用于调节多个图像块(例如编码图像块,或解码图像块,亦可称为变换块)的量化调节因子的调节参数,尤其是用于调节多个自适应计算出的图像块级的初始量化调节因子的调节参数。
量化参数QP:用于指示量化步长的索引,其中量化参数与量化步长对应。每个级别的量化参数对应一个量化步长,H.264/AVC和H.265/HEVC规定了52个级别的量化参数。为了区分“量化参数QP指示的量化步长”与“经过本发明方案调整过的量化步长”,本文中将“量化参数QP指示的量化步长”称为基础量化步长(亦称为原有量化步长)。
变换系数集:包括N个变换系数,所述变换系数为所述当前编码图像块(codingblock)或当前解码图像块(decoding block)中任一色彩空间分量(例如亮度分量)的变换系数,N为正整数;在本申请实施例的下文中,变换系数集的实例包括第一变换系数集、第二变换系数集、第三变换系数集、第四变换系数集和第五变换系数集。应当理解的是,第一变换系数集是视频解码过程中被反量化的对象,表示经量化过的一个或多个变换系数,且对应于当前解码图像块的残差第二变换系数集是视频解码过程中被反变换的对象,即第二变换系数集表示对第一变换系数集进行反量化得到的一个或多个变换系数。类推地,第四变换系数集是视频编码过程中待量化的对象,表示待量化的一个或多个变换系数,具体地,对当前编码图像块的原始块和至少一个预测块之间的残差进行变换得到的第四变换系数集。所述第五变换系数集表示对第四变换系数集进行量化而得到的一个或多个变换系数。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
图1为本申请实施例中视频编码及解码系统10的一种示意性框图。如图1所示,系统10包含源装置12,源装置12产生将在稍后时间由目的地装置14解码的经编码视频数据。源装置12及目的地装置14可包括广泛范围的装置中的任一者,包含桌上型计算机、笔记型计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手机、所谓的“智能”触控板、电视、摄影机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。
目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个可行的实施方式中,链路16可包括使源装置12能够实时将经编码视频数据直接传输到目的地装置14的通信媒体。可根据通信标准(例如,无线通信协议)调制经编码视频数据且将其传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体,例如射频频谱或一个或多个物理传输线。通信媒体可形成基于包的网络(例如,局域网、广域网或因特网的全球网络)的部分。通信媒体可包含路由器、交换器、基站或可有用于促进从源装置12到目的地装置14的通信的任何其它装备。
替代地,可将经编码数据从输出接口22输出到存储装置24。类似地,可由输入接口从存储装置24存取经编码数据。存储装置24可包含多种分散式或本地存取的数据存储媒体中的任一者,例如,硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一可行的实施方式中,存储装置24可对应于文件服务器或可保持由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置24存取所存储视频数据。文件服务器可为能够存储经编码视频数据且将此经编码视频数据传输到目的地装置14的任何类型的服务器。可行的实施方式文件服务器包含网站服务器、文件传送协议服务器、网络附接存储装置或本地磁盘机。目的地装置14可经由包含因特网连接的任何标准数据连接存取经编码视频数据。此数据连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,缆线调制解调器等)或两者的组合。经编码视频数据从存储装置24的传输可为流式传输、下载传输或两者的组合。
本申请的技术不必限于无线应用或设定。技术可应用于视频解码以支持多种多媒体应用中的任一者,例如,空中电视广播、有线电视传输、卫星电视传输、流式传输视频传输(例如,经由因特网)、编码数字视频以用于存储于数据存储媒体上、解码存储于数据存储媒体上的数字视频或其它应用。在一些可行的实施方式中,系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频播放、视频广播和/或视频电话的应用。
在图1的可行的实施方式中,源装置12包括视频源18、视频编码器20及输出接口22。在一些应用中,输出接口22可包括调制器/解调制器(调制解调器)和/或传输器。在源装置12中,视频源18可包括例如以下各者的源:视频捕获装置(例如,摄像机)、含有先前捕获的视频的视频存档、用以从视频内容提供者接收视频的视频馈入接口,和/或用于产生计算机图形数据作为源视频的计算机图形系统,或这些源的组合。作为一种可行的实施方式,如果视频源18为摄像机,那么源装置12及目的装置14可形成所谓的摄影机电话或视频电话。本申请中所描述的技术可示例性地适用于视频解码,且可适用于无线和/或有线应用。
可由视频编码器20来编码所捕获、预捕获或计算机产生的视频。经编码视频数据可经由源装置12的输出接口22直接传输到目的地装置14。经编码视频数据也可(或替代地)存储到存储装置24上以供稍后由目的地装置14或其它装置存取以用于解码和/或播放。
目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些应用中,输入接口28可包含接收器和/或调制解调器。目的地装置14的输入接口28经由链路16接收经编码视频数据。经由链路16传达或提供于存储装置24上的经编码视频数据可包含由视频编码器20产生以供视频解码器30的视频解码器使用以解码视频数据的多种语法元素。这些语法元素可与在通信媒体上传输、存储于存储媒体上或存储于文件服务器上的经编码视频数据包含在一起。
显示装置32可与目的地装置14集成或在目的地装置14外部。在一些可行的实施方式中,目的地装置14可包含集成显示装置且也经配置以与外部显示装置接口连接。在其它可行的实施方式中,目的地装置14可为显示装置。一般来说,显示装置32向用户显示经解码视频数据,且可包括多种显示装置中的任一者,例如液晶显示器、等离子显示器、有机发光二极管显示器或另一类型的显示装置。
视频编码器20及视频解码器30可根据例如目前在开发中的下一代视频编解码压缩标准(H.266)操作且可遵照H.266测试模型(JEM)。替代地,视频编码器20及视频解码器30可根据例如ITU-TH.265标准,也称为高效率视频解码标准,或者,ITU-TH.264标准的其它专属或工业标准或这些标准的扩展而操作,ITU-TH.264标准替代地被称为MPEG-4第10部分,也称高级视频编码(advanced video coding,AVC)。然而,本申请的技术不限于任何特定解码标准。视频压缩标准的其它可行的实施方式包含MPEG-2和ITU-TH.263。
尽管未在图1中展示,但在一些方面中,视频编码器20及视频解码器30可各自与音频编码器及解码器集成,且可包含适当多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件以处置共同数据流或单独数据流中的音频及视频两者的编码。如果适用,那么在一些可行的实施方式中,MUX-DEMUX单元可遵照ITUH.223多路复用器协议或例如用户数据报协议(UDP)的其它协议。
视频编码器20及视频解码器30各自可实施为多种合适编码器电路中的任一者,例如,一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。在技术部分地以软件实施时,装置可将软件的指令存储于合适的非暂时性计算机可读媒体中且使用一个或多个处理器以硬件执行指令,以执行本申请的技术。视频编码器20及视频解码器30中的每一者可包含于一个或多个编码器或解码器中,其中的任一者可在相应装置中集成为组合式编码器/解码器(CODEC)的部分。
本申请示例性地可涉及视频编码器20将特定信息“用信号发送”到例如视频解码器30的另一装置。然而,应理解,视频编码器20可通过将特定语法元素与视频数据的各种经编码部分相关联来用信号发送信息。即,视频编码器20可通过将特定语法元素存储到视频数据的各种经编码部分的头信息来“用信号发送”数据。在一些应用中,这些语法元素可在通过视频解码器30接收及解码之前经编码及存储(例如,存储到存储系统34或文件服务器36)。因此,术语“用信号发送”示例性地可指语法或用于解码经压缩视频数据的其它数据的传达,而不管此传达是实时或近实时地发生或在时间跨度内发生,例如可在编码时将语法元素存储到媒体时发生,语法元素接着可在存储到此媒体之后的任何时间通过解码装置检索。
JCT-VC开发了H.265(HEVC)标准。HEVC标准化基于称作HEVC测试模型(HM)的视频解码装置的演进模型。H.265的最新标准文档可从http://www.itu.int/rec/T-REC-H.265获得,最新版本的标准文档为H.265(12/16),该标准文档以全文引用的方式并入本文中。HM假设视频解码装置相对于ITU-TH.264/AVC的现有算法具有若干额外能力。例如,H.264提供9种帧内预测编码模式,而HM可提供多达35种帧内预测编码模式。
JVET致力于开发H.266标准。H.266标准化的过程基于称作H.266测试模型的视频解码装置的演进模型。H.266的算法描述可从http://phenix.int-evry.fr/jvet获得,其中最新的算法描述包含于JVET-F1001-v2中,该算法描述文档以全文引用的方式并入本文中。同时,可从https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/获得JEM测试模型的参考软件,同样以全文引用的方式并入本文中。
一般来说,HM的工作模型描述可将视频帧或图像划分成包含亮度及色度样本两者的树块或最大编码单元(largest coding unit,LCU)的序列,LCU也被称为CTU。树块具有与H.264标准的宏块类似的目的。条带包含按解码次序的数个连续树块。可将视频帧或图像分割成一个或多个条带。可根据四叉树将每一树块分裂成编码单元。例如,可将作为四叉树的根节点的树块分裂成四个子节点,且每一子节点可又为母节点且被分裂成另外四个子节点。作为四叉树的叶节点的最终不可分裂的子节点包括解码节点,例如,经解码图像块。与经解码码流相关联的语法数据可定义树块可分裂的最大次数,且也可定义解码节点的最小大小。
编码单元包含解码节点及预测单元(prediction unit,PU)以及与解码节点相关联的变换单元(transform unit,TU)。CU的大小对应于解码节点的大小且形状必须为正方形。CU的大小的范围可为8×8像素直到最大64×64像素或更大的树块的大小。每一CU可含有一个或多个PU及一个或多个TU。例如,与CU相关联的语法数据可描述将CU分割成一个或多个PU的情形。分割模式在CU是被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式编码的情形之间可为不同的。PU可经分割成形状为非正方形。例如,与CU相关联的语法数据也可描述根据四叉树将CU分割成一个或多个TU的情形。TU的形状可为正方形或非正方形。
HEVC标准允许根据TU进行变换,TU对于不同CU来说可为不同的。TU通常基于针对经分割LCU定义的给定CU内的PU的大小而设定大小,但情况可能并非总是如此。TU的大小通常与PU相同或小于PU。在一些可行的实施方式中,可使用称作“残差四叉树”(residualqualtree,RQT)的四叉树结构将对应于CU的残差样本再分成较小单元。RQT的叶节点可被称作TU。可变换与TU相关联的像素差值以产生变换系数,变换系数可被量化。
一般来说,TU使用变换及量化过程。具有一个或多个PU的给定CU也可包含一个或多个TU。在预测之后,视频编码器20可计算对应于PU的残差值。残差值包括像素差值,像素差值可变换成变换系数、经量化且使用TU扫描以产生串行化变换系数以用于熵解码。本申请通常使用术语“图像块”来指CU的解码节点。在一些特定应用中,本申请也可使用术语“图像块”来指包含解码节点以及PU及TU的树块,例如,LCU或CU。本申请实施例的下文将详细介绍视频编码或解码中自适应反量化方法所描述的各种方法实例来执行当前图像块(即当前变换块)对应的变换系数的反量化过程,以改善编解码性能。
视频序列通常包含一系列视频帧或图像。图像群组(group of picture,GOP)示例性地包括一系列、一个或多个视频图像。GOP可在GOP的头信息中、图像中的一者或多者的头信息中或在别处包含语法数据,语法数据描述包含于GOP中的图像的数目。图像的每一条带可包含描述相应图像的编码模式的条带语法数据。视频编码器20通常对个别视频条带内的图像块进行操作以便编码视频数据。图像块可对应于CU内的解码节点。图像块可具有固定或变化的大小,且可根据指定解码标准而在大小上不同。
作为一种可行的实施方式,HM支持各种PU大小的预测。假定特定CU的大小为2N×2N,HM支持2N×2N或N×N的PU大小的帧内预测,及2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM也支持2N×nU、2N×nD、nL×2N及nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中,CU的一方向未分割,而另一方向分割成25%及75%。对应于25%区段的CU的部分由“n”后跟着“上(Up)”、“下(Down)”、“左(Left)”或“右(Right)”的指示来指示。因此,例如,“2N×nU”指水平分割的2N×2NCU,其中2N×0.5NPU在上部且2N×1.5NPU在底部。
在本申请中,“N×M”与“N乘M”可互换使用以指依照水平维度及竖直维度的图像块的像素尺寸,例如,16×8像素或16乘8像素。一般来说,16×8块将在水平方向上具有16个像素,即图像块的宽为16像素,且在竖直方向上具有8个像素,即图像块的高为8像素。
在使用CU的PU的帧内预测性或帧间预测性解码之后,视频编码器20可计算CU的TU的残差数据。PU可包括空间域(也称作像素域)中的像素数据,且TU可包括在将变换(例如,离散余弦变换(discrete cosine transform,DCT)、整数变换、小波变换或概念上类似的变换)应用于残差视频数据之后变换域中的系数。残差数据可对应于未经编码图像的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含CU的残差数据的TU,且接着变换TU以产生CU的变换系数。
在任何变换以产生变换系数之后,视频编码器20可执行变换系数的量化。量化示例性地指对系数进行量化以可能减少用以表示系数的数据的量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。例如,可在量化期间将n位值降值舍位到m位值,其中n大于m。本申请实施例的下文将详细介绍视频编码或解码中自适应反量化方法所描述的各种方法实例来执行当前图像块(即当前变换块)对应的变换系数的反量化过程,以改善编解码性能。
JEM模型对视频图像的编码结构进行了进一步的改进,具体的,被称为“四叉树结合二叉树”(QTBT)的块编码结构被引入进来。QTBT结构摒弃了HEVC中的CU,PU,TU等概念,支持更灵活的CU划分形状,一个CU可以正方形,也可以是长方形。一个CTU首先进行四叉树划分,该四叉树的叶节点进一步进行二叉树划分。同时,在二叉树划分中存在两种划分模式,对称水平分割和对称竖直分割。二叉树的叶节点被称为CU,JEM的CU在预测和变换的过程中都不可以被进一步划分,也就是说JEM的CU,PU,TU具有相同的块大小。在现阶段的JEM中,CTU的最大尺寸为256×256亮度像素。
在一些可行的实施方式中,视频编码器20可利用预定义扫描次序来扫描经量化变换系数以产生可经熵编码的串行化向量。在其它可行的实施方式中,视频编码器20可执行自适应性扫描。在扫描经量化变换系数以形成一维向量之后,视频编码器20可根据上下文自适应性可变长度解码(CAVLC)、上下文自适应性二进制算术解码(CABAC)、基于语法的上下文自适应性二进制算术解码(SBAC)、概率区间分割熵(PIPE)解码或其他熵解码方法来熵解码一维向量。视频编码器20也可熵编码与经编码视频数据相关联的语法元素以供视频解码器30用于解码视频数据。
为了执行CABAC,视频编码器20可将上下文模型内的上下文指派给待传输的符号。上下文可与符号的相邻值是否为非零有关。为了执行CAVLC,视频编码器20可选择待传输的符号的可变长度码。可变长度解码(VLC)中的码字可经构建以使得相对较短码对应于可能性较大的符号,而较长码对应于可能性较小的符号。以这个方式,VLC的使用可相对于针对待传输的每一符号使用相等长度码字达成节省码率的目的。基于指派给符号的上下文可以确定CABAC中的概率。
在本申请实施例中,视频编码器20可执行变换系数的自适应量化过程,可选的,视频编码器20还可执行经量化的变换系数的反量化过程。以及,视频解码器30可执行经量化的变换系数的反量化过程。
一并参阅图3A,视频编码器20用于将经量化的残差变换系数(亦称为第五变换系数集)以及与当前待编码的视频数据相关的语法元素编码入数字视频输出位流(简称为位流或码流),其中与量化或反量化相关的语法元素可以包括:用于指示量化调节因子调节参数sn的信息,比如,条带slice级或条带段级的量化调节因子调节参数。在一种示例下,例如视频编码器20在对条带头位置的图像块(比如变换块)进行量化时,就获知了应用于整个条带中的多个图像或图像块的量化调节因子调节参数。可选的,所述与量化或反量化相关的语法元素还可以包括自适应反量化开关标志,比如,序列级的自适应反量化开关标志,其中三种序列级的自适应反量化开关标志的设置方式可以包括当前视频序列包括的所有图像块都不使用自适应反量化过程,当前视频序列包括的所有图像块都使用自适应反量化过程,或者当前视频序列包括的图像块选择性的使用自适应反量化过程。
一并参阅图3B和3C,视频编码器20还用于计算量化调节因子调节参数,和/或确定是否启用自适应反量化开关标志,和/或确定自适应反量化开关标志的赋值,比如,条带slice级或条带段级的量化调节因子调节参数,和/或序列级的自适应量化开关标志。
在另一实例中,一并参阅图4,视频解码器30用于从码流中解码出与待解码视频数据相关的语法元素,其中,从码流中解码出的与待解码视频数据相关的语法元素包括与量化或反量化相关的语法元素,其中与量化或反量化相关的语法元可以包括用于指示量化调节因子调节参数的信息或量化调节因子调节参数,例如条带层级或条带段层级的量化调节因子调节参数;可选的,所述与量化或反量化相关的语法元素还可以包括自适应反量化开关标志,例如序列级的自适应量化开关标志,或者序列级的自适应量化开关标志和块级的自适应量化开关标志的组合。
一并参阅图4,视频解码器30还用于从码流中解码出与当前解码图像块(即当前变换块)相关的经量化的变换系数(亦称为第一变换系数集)(S401),根据当前解码图像块的空间邻域像素信息确定用于当前解码图像块的第一量化调节因子(S403);基于量化调节因子调节参数和第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子(S405);基于第二量化调节因子对第一变换系数集进行反量化,以得到第二变换系数集(S407);对第二变换系数集进行反变换,以得到当前解码图像块的残差(S409);基于当前解码图像块的残差以及当前解码图像块的预测块对当前解码图像块进行重建(S411)。
应当理解的是,依据本原理在视频编码器20上和视频解码器30上可以使用同样或类似的方法推导得出图像块级的量化调节因子(例如第二量化调节因子和第四量化调节因子)。
由上可见,本申请实施例的视频编码及解码系统中,使用当前图像块(即变换块)的空间邻域像素信息模拟当前图像块对应的原始像素信息,以估计当前图像块所处背景区域的特征(例如背景亮度和背景对比度)。综合考虑前述空间邻域像素信息以及从码流中解码出的条带级或条带段级的量化调节因子调节参数,自适应地推导用于当前图像块(即变换块)的量化调节因子,并基于自适应推导的量化调节因子来调节当前图像块对应的第一变换系数集的反量化过程,实现了在视频编码或解码过程中,在稳定条带码率的同时灵活地调节反量化处理,使得量化失真强度更符合人眼视觉感知,从而提高了编解码性能。具体地,本申请实施例引入量化调节因子调节参数,基于自适应确定的第一量化调节因子与该量化调节因子调节参数的乘积来直接地或间接地调节当前图像块的量化步长,可以使得条带码率的下降幅度变小,达到稳定条带码率的效果。
进一步的,相比于在码流中传输块级的量化调节信息的现有方案,本发明实施例在码流中传输条带级或条带段级的量化调节因子调节参数的方案减少了比特开销,因此进一步提高了编解码性能。
进一步的,本申请实施例的视频译码系统支持通过码流中的自适应反量化开关标志得知哪些图像块的反量化过程中使用自适应计算的第二量化调节因子,而哪些图像块的反量化过程中使用默认值的第二量化调节因子,从而进一步提高了编解码性能。
图2A为本申请实施例中视频编码器20的一种示意性框图。一并参阅图3A,视频编码器20可执行自适应的量化过程以及自适应的反量化过程,尤其是视频编码器20中的量化模块54可执行自适应量化过程,和/或反量化模块58可执行自适应反量化过程。
如图2A所示,视频编码器20可以包括:预测模块41、求和器50、变换模块52、量化模块54和熵编码模块56。在一种示例下,预测模块41可以包括运动估计单元42、运动补偿单元44和帧内预测单元46,本申请实施例对预测模块41的内部结构不作限定。可选的,对于混合架构的视频编码器,视频编码器20也可以包括反量化模块58、反变换模块60和求和器62。
在图2A的一种可行的实施方式下,视频编码器20还可以包括分割单元(未示意)和参考图像存储器64,应当理解的是,分割单元和参考图像存储器64也可以设置在视频编码器20之外;
在另一种可行的实施方式下,视频编码器20还可以包括滤波器(未示意)以对块边界进行滤波从而从经重构建视频中去除块效应伪影。在需要时,滤波器将通常对求和器62的输出进行滤波。
如图2A所示,视频编码器20接收视频数据,且分割单元将数据分割成图像块。此分割也可包含分割成条带、图像块或其它较大单元,例如根据LCU及CU的四叉树结构进行图像块分割。一般来说,条带可划分成多个图像块。
预测模块41用于生成当前编码图像块的预测块。预测模块41可基于编码质量与代价计算结果(例如,码率-失真代价,RDcost)选择当前图像块的多个可能解码模式中的一者,例如多个帧内解码模式中的一者或多个帧间解码模式中的一者。预测模块41可将所得经帧内解码或经帧间解码块提供到求和器50以产生残差块数据且将所得经帧内译码或经帧间译码块提供到求和器62以重构建经编码块从而用作参考图像。
预测模块41内的运动估计单元42及运动补偿单元44执行相对于一个或多个参考图像中的一个或多个预测块的当前图像块的帧间预测性解码以提供时间压缩。运动估计单元42用于根据视频序列的预定模式确定视频条带的帧间预测模式。预定模式可将序列中的视频条带指定为P条带、B条带或GPB条带。运动估计单元42及运动补偿单元44可高度集成,但为概念目的而分别说明。通过运动估计单元42所执行的运动估计为产生估计图像块的运动矢量的过程。例如,运动矢量可指示当前视频帧或图像内的图像块的PU相对于参考图像内的预测块的位移。
预测块为依据像素差而被发现为紧密匹配待解码的图像块的PU的块,像素差可通过绝对差和(SAD)、平方差和(SSD)或其它差度量确定。在一些可行的实施方式中,视频编码器20可计算存储于参考图像存储器64中的参考图像的子整数(sub-integer)像素位置的值。
运动估计单元42通过比较PU的位置与参考图像的预测块的位置而计算经帧间解码条带中的图像块的PU的运动矢量。可从第一参考图像列表(列表0)或第二参考图像列表(列表1)选择参考图像,列表中的每一者识别存储于参考图像存储器64中的一个或多个参考图像。运动估计单元42将经计算运动矢量发送到熵编码模块56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计所确定的运动矢量提取或产生预测块,可能执行到子像素精确度的内插。在接收当前图像块的PU的运动矢量后,运动补偿单元44即可在参考图像列表中的一者中定位运动矢量所指向的预测块。视频编码器20通过从正经解码的当前图像块的像素值减去预测块的像素值来形成残差图像块,从而形成像素差值。像素差值形成块的残差数据,且可包含亮度及色度差分量两者。求和器50表示执行此减法运算的一个或多个组件。运动补偿单元44也可产生与图像块及视频条带相关联的语法元素以供视频解码器30用于解码视频条带的图像块。
预测模块41内的帧内预测单元46可执行相对于在与待解码的当前块相同的图像或条带中的一个或多个相邻块的当前图像块的帧内预测性解码以提供空间压缩。因此,作为通过运动估计单元42及运动补偿单元44执行的帧间预测(如前文所描述)的替代,帧内预测单元46可帧内预测当前块。明确地说,帧内预测单元46可确定用以编码当前块的帧内预测模式。在一些可行的实施方式中,帧内预测单元46可(例如)在单独编码遍历期间使用各种帧内预测模式来编码当前块,且帧内预测单元46(或在一些可行的实施方式中,模式选择单元40)可从经测试模式选择使用的适当帧内预测模式。
在预测模块41经由帧间预测或帧内预测产生当前图像块的预测块之后,视频编码器20通过从当前图像块减去预测块而形成残差图像块。残差块中的残差视频数据可包含于一个或多个TU中且应用于变换模块52。变换模块52用于对当前编码图像块的原始块和当前图像块的预测块之间的残差进行变换,以得到第四变换系数集(S301)。变换模块52使用例如离散余弦变换(DCT)或概念上类似的变换(例如,离散正弦变换DST)将残差数据变换成残差变换系数(下文称为第四变换系数集)。变换模块52可将残差视频数据从像素域转换到变换域(例如,频域)。
变换模块52可将所得变换系数(亦称为第四变换系数集)发送到量化模块54。量化模块54对变换系数进行量化以进一步减小码率。下文将结合图3A对本申请实施例的自适应量化过程进行详细的介绍,这里不再赘述。在一些可行的实施方式中,量化模块54可接着执行包含经量化变换系数的矩阵的扫描。替代地,熵编码模块56可执行扫描。
在量化之后,熵编码模块56可熵编码经量化变换系数。例如,熵编码模块56可执行上下文自适应性可变长度解码(CAVLC)、上下文自适应性二进制算术解码(CABAC)、基于语法的上下文自适应性二进制算术解码(SBAC)、概率区间分割熵(PIPE)解码或另一熵编码方法或技术。熵编码模块56也可熵编码正经编码的当前视频条带的运动矢量及其它语法元素。在通过熵编码模块56进行熵编码之后,可将经编码码流传输到视频解码器30或存档以供稍后传输或由视频解码器30检索。
反量化模块58及反变换模块60分别应用反量化及反变换,以在像素域中重构建残差块以供稍后用作参考图像的参考块。编码端的自适应反量化过程可以参见图4所示的解码端的自适应反量化过程,这里不再赘述。求和器62将经重构建残差块与通过预测模块41所产生的预测块相加以产生重建块,并作为参考块以供存储于参考图像存储器64中。这些参考块可由运动估计单元42及运动补偿单元44用作参考块以帧间预测后续视频帧或图像中的块。
应当理解的是,视频编码器20的其它的结构变化可用于编码视频流。例如,视频编码器20中量化模块54和反量化模块58可以合并在一起;或者,视频编码器20中变换模块52和反变换模块60可以合并在一起;或者,求和器50和求和器62可以合并在一起。
图2B为本申请实施例中视频解码器30的一种示意性框图。一并参阅图4或图5,视频解码器30可执行自适应的反量化过程,尤其是视频解码器30中的反量化模块86可执行自适应反量化过程。
如图2B所示,视频解码器30可以包括熵解码模块80、预测模块81、反量化模块86、反变换模块88和重建模块90。在一种示例下,预测模块81可以包括运动补偿单元82和帧内预测单元84,本申请实施例对此不作限定。
在一种可行的实施方式中,视频解码器30还可以包括参考图像存储器92。应当理解的是,参考图像存储器92也可以设置在视频解码器30之外。在一些可行的实施方式中,视频解码器30可执行与关于来自图3A的视频编码器20描述的编码流程的示例性地互逆的解码流程。
在解码过程期间,视频解码器30从视频编码器20接收表示经编码视频条带的图像块及相关联的语法元素的经编码视频码流。视频解码器30可在视频条带层级和/或图像块层级处接收语法元素。视频解码器30的熵解码模块80用于熵解码码流以得到语法元素。所述语法元素承载有与反量化相关的信息,其中所述与反量化相关信息可包括经量化的变换系数(图像块级的变换系数,亦称为第一变换系数集)和量化参数(QuantizationParameter,QP),这里的量化参数QP是用于指示基础量化步长的索引。在本申请实施例中,所述与反量化相关信息还可包括条带级或条带段级的量化调节因子调节参数。可选的,所述与反量化相关信息还可包括序列级的自适应调节开关标志,或序列级和图像块级组合形式的自适应调节开关标志。熵编码单元80还可将所述语法元素承载的预测模式、运动矢量等信息传递到预测模块81。熵编码单元80将量化参数QP、量化调节因子调节参数、经量化的变换系数(亦称为第一变换系数集)传递到反量化模块86。在另一种实现方式下,熵编码单元80将量化参数QP、量化调节因子调节参数、自适应调节开关标志、经量化的变换系数(亦称为第一变换系数集)传递到反量化模块86。应当理解的是,这里的传递,例如可以是按照熵解码码流的顺序进行传递。
本实施例中,熵解码模块80用于从码流中获取量化调节因子调节参数和获取经量化的变换系数(亦称为第一变换系数集),所述第一变换系数集对应于当前解码图像块的残差(S401);在一种示例下,量化调节因子调节参数是视频条带层级的,经量化的变换系数(亦称为第一变换系数集)是图像块层级的。可选地,熵解码模块80还用于判断当前解码图像块是否使用自适应反量化过程(S503)。在一种实现方式下,所述熵解码模块80具体用于根据明文地或隐含地包含于码流中的自适应反量化开关标志判断当前解码图像块是否使用自适应反量化过程,所述自适应反量化开关标志用于指示当前解码图像块的反量化过程中使用的第二量化调节因子是否为默认值。
本实施例中,预测模块81用于生成当前解码图像块的预测块;具体的,在视频条带经解码为经帧内解码(I)条带时,预测模块81的帧内预测单元84可基于用信号发送的帧内预测模式及来自当前帧或图像的先前经解码图像块的数据而产生当前视频条带的图像块的预测块。在视频图像经解码为经帧间解码(例如,B、P或GPB)条带时,预测模块81的运动补偿单元82基于从熵编码单元80所接收的运动矢量及其它语法元素而产生当前视频图像的图像块的预测块。
本实施例中,反量化模块86用于对码流中所提供且通过熵编码单元80所解码的经量化变换系数(即第一变换系数集)进行反量化。反量化过程可包括使用通过针对视频条带中的每一图像块所计算的第二量化调节因子来自适应调节所述第一变换系数集的反量化过程。其中,反量化模块86用于根据当前解码图像块的空间邻域像素信息,确定用于当前解码图像块的第一量化调节因子(S403,S505);基于所述量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子(S405,S507);基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集(S407,S509A)。
本实施例中,反变换模块88用于对所述第二变换系数集进行反变换,以得到当前解码图像块的残差(亦称为重构的残差块)(S409,S511)。即,反变换模块88将反变换(例如,反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数以便在像素域中产生残差块。
本实施例中,重建模块90用于基于当前解码图像块的残差和所述当前解码图像块的预测性图像块(简称预测块或预测像素)对当前解码图像块进行重建(S411,S513)。在一种实现方式下,在运动补偿单元82基于运动矢量及其它语法元素产生当前图像块的预测块之后,视频解码器30通过将来自反变换模块88的残差块与通过运动补偿单元82产生的对应预测块求和来形成经解码图像块。求和器表示执行此求和运算的一个或多个组件。可选的,在需要时,也可应用解块滤波器来对经解码块进行滤波以便去除块效应伪影。其它环路滤波器(在解码环路中或在解码环路之后)也可用于使像素转变平滑,或以其它方式改进视频质量。给定帧或图像中的经解码图像块接着存储于参考图像存储器92中,参考图像存储器92存储供后续运动补偿所使用的参考图像。参考图像存储器92也存储供稍后呈现于例如图1的显示装置32的显示装置上的经解码视频。
应当理解的是,视频解码器30的其它结构变化可用于解码经编码视频码流。例如,视频解码器30中反量化模块86和反变换模块88可以合并在一起。
图3A是示出根据本申请实施例的一种视频编码方法的流程图。该方法可由视频编码器20执行。视频编码方法描述为一系列的步骤或操作,应当理解的是,该方法可以以各种顺序执行和/或同时发生,不限于图3A所示的执行顺序。假设具有多个视频帧的视频数据流正在使用视频编码器,执行包括如下步骤来编码当前视频帧的当前图像块;
步骤301,对当前编码图像块的原始块和至少一个预测块之间的残差进行变换,以得到第四变换系数集;第四变换系数集对应于当前编码图像块的残差;
步骤303,根据当前编码图像块的空间邻域像素信息,确定用于当前编码图像块的第三量化调节因子;
在本发明实施例中,当前编码图像块的空间邻域像素信息可以包括:图像块X(亦称为图像区域X)的空间邻域Y中至少一个像素的重建值,具体地,空间邻域像素信息可以包括M个像素,M为正整数,其中空间邻域Y的几种可选示例包括:
如图6(a)~6(d)所示,图像块X(由实线指示)对应于一个w×h编码单元(即编码单元的宽为w个像素,高为h个像素),空间邻域Y(由虚线指示)的构成方式例如以下4种之一:
1)方式一:X上方的w×n个像素、X左方的m×h个像素、X左上方的m×n个像素,如图6(a)所示,此时M=w×n+m×h+m×n。
2)方式二:X上方的w×n个像素、X左方的m×h个像素,如图6(b)所示。
3)方式三:X上方的w×n个像素、X左方的m×h个像素、X右方的m×h个像素,如图6(c)所示。
4)方式四:X上方的w×n个像素、X下方的w×n个像素、X左方的m×h个像素、X右方的m×h个像素,如图6(d)所示。
如图6(e)~6(f)所示,图像块X对应于一个wc×hc编码单元C(由点线指示)中的一个w×h区域,空间邻域Y的构成方式例如以下2种之一:
1)方式一:X所属编码单元C上方的wc×n个像素、C左方的m×hc个像素,如图6(e)所示。
2)方式二:X所属编码单元C上方的wc×n个像素、C左方的m×hc个像素、C右方的m×hc个像素,如图6(f)所示。
其中,m和n为预设常数,例如m=n=1,或m=n=2,或m=2、n=1,或m=1,n=2。m和n还可以与图像块X的大小有关,例如当图像块X的宽小于或等于第一阈值(例如8)时,n=2;当图像块X的宽大于第一阈值(例如8)时,n=1。
在本实施例中,在一种示例下,步骤303可以包括:
步骤303-1:获取第四变换系数集对应的图像块X的空间邻域像素信息;
具体地,检查空间邻域中像素是否已经重建,并获取空间邻域中已重建像素的亮度值。例如,对于图6(c)所示的空间邻域构成方式,分别检查图像区域X的左侧、上侧、右侧的像素是否已经重建,以获取这些区域中已经重建的像素的亮度值。又例如,对于图6(c)所示的空间邻域构成方式,分别检查图像区域X的左侧、上侧、右侧的像素是否已经重建,如果左侧和右侧的像素均已重建,但上侧的像素没有重建,则获取左右两侧的像素的亮度值;如果三侧像素均已重建,则获取左侧和上侧的像素的亮度值;如果左侧和上侧的像素均已重建,但右侧的像素没有重建,则获取左侧和上侧的像素的亮度值。
步骤303-2:根据空间邻域像素信息的统计特性,确定用于图像块X的第三量化调节因子;
在本发明实施例中,为了实现自适应量化的效果,利用当前图像块(即变换块)的空间邻域像素信息来模拟当前图像块对应的原始像素信息。空间邻域像素信息的统计特性是指对空间邻域像素信息中多个像素的像素值经过统计分析得到的数值结果,空间邻域像素信息的统计特性至少可以包括像素均值Pavg和/或像素差值Pcon。空间邻域像素信息的统计特性一定程度上反映了当前图像块所处背景区域的特征(例如背景亮度和背景对比度)。
其中,(1)空间邻域像素信息中K1个像素的亮度值(即亮度分量)的均值Pavg,简称像素均值,即:
Figure BDA0001458970710000221
其中P(k)为空间邻域中一个像素的亮度值(即亮度分量),其中K1均为小于或等于M的正整数,例如K1=M/2或M,其中空间邻域像素信息包括M个像素。
2)空间邻域像素信息中K2个像素的亮度值与像素均值Pavg的平均绝对误差和(Mean Absolute Difference,MAD),简称像素差值Pcon,即;
Figure BDA0001458970710000222
其中K1,K2均为小于等于M的正整数,K1可与K2相等,也可以K1>K2,例如K1=M/2或M,K2=M/4或M。
其中,基于空间邻域像素信息的统计特性(例如像素均值Pavg、像素差值Pcon)确定第三量化调节因子的方法可以采用以下方式中的任意一种:
方法一:根据像素均值Pavg的第一分段函数f1(Pavg)计算所述第三量化调节因子;其中,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值。
在一种具体实例中,第三量化调节因子QC由关于所述像素均值Pavg的第一分段函数f1(Pavg)决定,即QC=f1(Pavg)β,其中β>0,例如β=1或0.5。f1(Pavg)为关于Pavg的U形函数,f1(Pavg)满足当Pavg小于阈值T1时f1(Pavg)的一阶导数小于0,当Pavg大于阈值T2时f1(Pavg)的一阶导数大于0,Pavg在阈值T1和T2之间时f1(Pavg)等于常数C0;其中,T1≥0,T2≥0,T2≥T1,T1例如为0、60、64或128,T2例如为0、80、128或170;C0为正实数例如为0.5、0.75、1、1.5、8、16、256或1024。更具体的,f1(Pavg)函数例如
Figure BDA0001458970710000223
其中η1为正实数,例如η1=150或200.8;η2为正实数,例如η2=425或485.5。f1(Pavg)函数又例如
Figure BDA0001458970710000231
其中η3为正实数,例如η3=425或256或135.1。
为减少计算复杂度,上述函数计算也可以使用查表法来代替。
方法二:根据像素差值Pcon的第二分段函数f2(Pcon)计算所述第三量化调节因子;其中,所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与像素均值Pavg的平均绝对误差和,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值。
在一种具体实例中,第三量化调节因子QC由关于所述像素差值Pcon的第二分段函数f2(Pcon)决定,即QC=f2(Pcon)γ,其中γ>0,例如γ=1或者0.8。f2(Pcon)为关于Pcon的单调函数,f2(Pcon)满足当(Pcon)α小于阈值T3时,f2(Pcon)为常数C3,当(Pcon)α大于等于阈值T3时,f2(Pcon)的一阶导数大于0。其中,T3≥0,T3例如为0、3、5或10;α>0,例如α=1/2或1;C3为正实数,例如0.5、0.8、1、16、32或256。更具体的,f2(Pcon)函数例如
Figure BDA0001458970710000232
其中η4为正实数,例如η4=10、20、35.5、80或100。
为减少计算复杂度,上述函数计算也可以使用查表法来代替。
方法三:根据像素差值Pcon和像素均值Pavg的第三函数f3(f1(Pavg),f2(Pcon))计算所述第三量化调节因子;其中,所述像素均值Pavg是所述空间邻域像素信息对应的多个像素的亮度分量求平均得到的均值;所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与所述像素均值Pavg的平均绝对误差和。
在一种具体实例中,第三量化调节因子QC由关于所述像素均值Pavg的第一分段函数f1(Pavg)和关于所述像素差值Pcon的第二分段函数f2(Pcon)联合决定,换言之,第一量化调节因子QC由所述像素均值Pavg和所述像素差值Pcon的联合函数f1(Pavg)·f2(Pcon)决定,例如QC=f1(Pavg)β·f2(Pcon)γ,其中β,γ>0,例如β=1,γ=1,或者β=0.5,γ=1.5,或者β=2,γ=1;或者,例如f1(Pavg)·k1+f2(Pcon)·k2,其中k1和k2为正实数,例如k1=k2=0.5,或者k1=0.25,k2=0.75,或者k1=0.2,k2=0.7。
需要说明的是,上述参数T1、T2、T3、C0、C3、C4、η1、η2、η3、η4可以为预先设定的常数,也可以根据视频图像的统计特性自适应计算得到,也可以从视频码流中提取得到。
步骤305,基于量化调节因子调节参数与所述第三量化调节因子的乘积,得到用于当前编码图像块的第四量化调节因子,所述量化调节因子调节参数可以是基于当前条带或者当前编码图像中的多个图像块的量化调节因子的几何平均值而确定的;
简言之,即利用量化调节因子调节参数sn对第三量化调节因子QC进行调整,以得到第四量化调节因子QC2。
在一种具体实现方式下,步骤305可以包括:将量化调节因子调节参数sn与第三量化调节因子QC相乘得到第四量化调节因子QC2,例如使用以下算式计算:
Figure BDA0001458970710000241
其中,x为与sn的位宽相关的预设常数;例如采用上述解析sn方式一时,x可设置为N-1,其中N表示多比特定长码方式的比特数;又例如采用上述解析sn方式二时,x可设置为256。
较优地,步骤305中,基于所述量化调节因子调节参数的取整值与第三量化调节因子的取整值的乘积,得到第四量化调节因子的整数值。
在一种具体实现方式下,当采用整数加法和移位实现时,可采用以下算式计算得到第四量化调节因子QC2的整数化结果:
QC2’=(QC’×sn+so)>>x;
其中so为舍入偏置,其值例如1<<(x-1);QC2'为QC2的整数化结果,QC'为QC的整数化结果。
应当理解的是,将一个数整数化是常用方法,例如可以将QC2与2的整数次幂相乘取整得到QC2';又例如,根据像素均值、像素差值查表得到QC的整数化结果QC',再将QC'通过公式QC2’=(QC’×sn+so)>>x得到QC2'。
较优地,在步骤305得到第四量化调节因子QC2之后,还可以选择进一步地对所述第四量化调节因子QC2进行数值限制处理,将QC2对应到一预设的数值范围之内。例如:
将QC2钳制在一预设的数值范围之内,即
Figure BDA0001458970710000251
其中Val1和Val2是正实数,例如Val1=0.5,Val2=2,或者Val1=0.6,Val2=1.5;
又例如,将QC2通过映射函数映射到某一数值范围之内,所述映射函数例如
Figure BDA0001458970710000252
其中Val3、Val4、Val5、Val6为实数,例如Val3=1.0,Val4=0.5,Val5=1.5,Val6=1.0;或者Val3=1.1,Val4=0.4,Val5=1.2,Val6=1.15。
其中,上述参数T1、T2、T3、C0、C3、C4、η1、η2、η3、η4、Val1、Val2、Val3、Val4、Val5、Val6可以为预先设定的常数,也可以根据视频图像的统计特性自适应计算得到,也可以从视频码流中提取得到。
需要说明的是,本实施例中也可以对第三量化因子QC和第四量化因子QC2进行数值限制处理,以将QC和QC2分别对应到一预设的数值范围之内。
需要说明的是,一种变型下,步骤305可以是基于量化调节因子调节参数与所述第三量化调节因子的和,得到用于当前编码图像块的第四量化调节因子。
步骤307,根据第四量化调节因子对所述第四变换系数集进行量化,以得到第五变换系数集,所述第五变换系数集对应于当前编码图像块的残差。
其中,根据第四量化调节因子QC2,量化第四变换系数集中变换系数C(i),以得到第五变换系数集中的变换系数Q(i),其中i=1,2,...,N,N为正整数。亦可理解为,根据第四量化调节因子QC2,调节第四变换系数集中变换系数的量化过程,以得到第五变换系数集中的变换系数。
在一种示例下,变换系数的量化过程可以采用标量量化方式。记当前编码块残差(亦称为残差块)的N个变换系数中第i个变换系数为C(i)(1≤i≤N,N与变换块的大小有关,通常为16、64、1024等),则量化后的变换系数Q(i)为
Figure BDA0001458970710000261
其中sign{X}表示取X的符号,即有
Figure BDA0001458970710000262
round{X}为取整(rounding)操作,通常可以是向下取整、四舍五入取整、向上取整中的一种;|X|表示取X的绝对值或幅度;Qs(i)表示变换系数C(i)对应的量化步长(quantization step);o1(i)为舍入偏置(rounding offset)。
本发明实施例中,可以通过多种方式实现步骤307的量化处理(即调节量化过程),以下提供几种实现方法:
方法一:获取第四变换系数集对应的基础量化步长,即由第四变换系数集对应的量化参数指示的量化步长(亦称为第一量化步长);利用第四量化调节因子对第一量化步长进行缩放,以得到第二量化步长;利用第二量化步长量化所述第四变换系数集,以得到第五变换系数集。具体实现可以是:
对于第四变换系数集中的变换系数C(i),根据第四量化调节因子QC2将C(i)基础量化步长Qs(i)(即C(i)对应的第一量化步长Qs(i))进行缩放,以得到第二量化步长Qs(i)·QC2;基于第二量化步长Qs(i)·QC2量化第四变换系数集中的变换系数C(i),以得到第五变换系数集中的一个变换系数Q(i),例如,使用以下公式量化第四变化系数集中的变换系数C(i)得到第五变换系数集中的变换系数Q(i),即:
Figure BDA0001458970710000263
其中o1(i)为舍入偏置,例如o1(i)=0.5。
方法二:根据预设的第三对应关系确定所述第四量化调节因子QC2对应的目标电平尺度表;其中,所述第三对应关系包括多个量化调节因子与多个电平尺度表的对应关系;根据所述目标电平尺度表量化所述第四变换系数集,以得到所述第五变换系数集。
在本发明实施例中,视频编码端可以预先设置多个量化调节因子与多个电平尺度表的第三对应关系。
更具体的,预先将QC2的取值范围划分为H1(H1为大于1的正整数,例如H1=3、5或6)段区间,每一段区间对应于一个预设的电平尺度表;检索计算出的第四量化调节因子QC2属于的取值区间,选取第四量化调节因子QC2属于的取值区间所对应的电平尺度表作为量化第四变换系数集的目标电平尺度表。例如:QC2与电平尺度表的映射关系表(表1)中给出对于包含5个元素的电平尺度表,根据QC2选择一个电平尺度表的示例。
电平尺度表
QC2≥1.5 {60,68,77,86,96,108}
1.2<QC2<1.5 {54,61,69,77,86,97}
0.8≤QC2≤1.2 {40,45,51,57,64,72}
0.6<QC2<0.8 {28,32,36,40,45,50}
QC2≤0.6 {24,27,31,34,38,43}
表1
根据表1所给出的实例,当QC2为0.9时,确定QC2属于的取值区间为0.8≤QC2≤1.2,选取取值区间0.8≤QC2≤1.2所对应的电平尺度表{40,45,51,57,64,72}作为量化第四变换系数集的电平尺度表。
方法三:根据预设的第四对应关系确定所述第四量化调节因子QC2对应的目标量化矩阵;其中,所述第四对应关系为多个量化调节因子与多个量化矩阵的对应关系;根据所述目标量化矩阵量化所述第四变换系数集,以得到所述第五变换系数集。
其中,预先将QC2的取值范围划分为H2(H2为大于1的正整数,例如H2=3、5或6)段区间,每一段区间对应于一个预设的量化矩阵;检索QC2属于的取值区间,选取对应的量化矩阵作为量化第四变换系数集的量化矩阵。例如:表2中给出对于4×4变换块
Figure BDA0001458970710000271
表2
根据表2给出的实例,如果计算出的QC2值为18,从表2所给出的参数可以确定QC2属于的取值区间为16≤QC2≤64,则对应的量化所述第四变换系数集的量化矩阵4×4量化矩阵为表2第三列所示的4×4量化矩阵。
方法四:获取所述第一变换系数集对应的基础量化步长(亦称为第一量化步长);利用所述第一量化步长对所述第四变换系数集中的变换系数进行量化,以得到第六变换系数集中的变换系数;利用所述计算得到的第四量化调节因子对所述第六变换系数集中的变换系数进行缩放,以得到第五变换系数集。
一种具体的实现方式下,先用第一量化步长Qs(i)对第四变换系数集中的变换系数C(i)进行量化得到第六变换系数集中的变换系数D(i),即
Figure BDA0001458970710000281
再利用第四量化调节因子QC2对D(i)进行缩放并取整得到第五变换系数中的变换系数Q(i),即
Figure BDA0001458970710000282
其中o4和o5为舍入偏置。
步骤309,将所述第四变换系数集编入码流,如果当前编码图像块是当前条带的首个编码图像块,则还可以将量化调节因子调节参数,比如条带层级的量化调节因子调节参数编入码流;可选的,视频编码器20还可以将自适应反量化开关标志编入码流。
其中,将量化调节因子调节参数sn的值或其近似值编码写入到码流中,可采用以下方式之一:
方式一:将sn的值编码为定长码,写入码流的条带头中,或者写入码流中的条带片段(slice segment)的条带片段头(slice segment header)中。
方式二:将sn的值映射到一组预设常数中与其值最为接近的常数,并把该映射得到的常数在这组预设常数中的索引编码为定长码或指数哥伦布码,写入码流中的条带头中。例如预设常数放置在一维数组T3中,T3=[469,430,394,362,331,304,279,256,234,215,197,181,165,152,139],预设常数的索引即为数组元素的下标。更具体的,如果sn为231,预设常数中234与其最为接近,将234作为映射值,其下标为8。
由上可见,本发明实施例所提供的方案,在编码端利用当前图像块(即变换块)的空间邻域像素信息来模拟当前解码图像块对应的原始像素信息。综合考虑前述空间邻域像素信息以及编码端确定的条带级或条带段级的量化调节因子调节参数,自适应地推导用于当前编码图像块(即变换块)的第四量化调节因子,并基于自适应推导的第四量化调节因子来调节当前图像块对应的第四变换系数集的量化过程,实现了在视频编码过程中,在稳定条带码率的同时灵活地调节量化处理,使得量化失真强度更符合人眼视觉感知,从而提高了编码性能。具体地,本申请实施例引入量化调节因子调节参数,基于自适应计算的第三量化调节因子与该量化调节因子调节参数的乘积来直接地或间接地调节当前编码图像块的量化步长,可以使得条带码率的下降幅度变小,达到稳定条带码率的效果。
进一步的,相比于在码流中传输图像块级的量化调节信息的现有方案,本发明实施例在码流中传输条带级或条带段级的量化调节因子调节参数的方案减少了比特开销,因此进一步提高了编码性能。
如图3B所示,本发明实施例还提供一种计算量化调节因子调节参数的方法,该方法可由视频编码器(例如视频编码器20)执行,该方法可以包括:
步骤331,针对当前条带中多个原始图像块中的每个原始图像块,根据该原始图像块像素计算量化调节因子;
在一个条带或者一个条带片段(slice segment)的图像中获取G个原始图像块Bg(g=1,2,…,G),对每个原始图像块,根据原始图像块像素的亮度值计算量化调节因子QCg。
其中,原始图像块的大小例如可以是8×8或者16×16。量化调节因子QCg由关于原始图像块像素的亮度值的均值Pavg,g的第一分段函数f1(Pavg,g)和关于原始图像块像素的亮度值的差值Pcon,g的第二分段函数f2(Pcon,g)联合决定,例如QCg=f1(Pavg,g)1/2·f2(Pcon,g)1/2=(f1(Pavg,g)·f2(Pcon,g))1/2
Figure BDA0001458970710000291
Figure BDA0001458970710000292
其中,参数设置为C0=1,T1=60,T2=170,η1=150,η2=425,C3=1/2,T3=5,η5=10。在这组参数设定下,QCg为大于1/2的数。开方计算可以用查表法来简化。
步骤333,计算各原始图像块的量化调节因子QCg的倒数的几何平均值QCa,例如采用如下公式:
Figure BDA0001458970710000293
步骤335,基于几何平均值计算量化调节因子调节参数;
具体地,根据QCa计算量化调节因子调节参数sn=2x×QCa×k1+A×k2,其中,x为常数,例如x=4或5或8,A为常数,例如A=2x或2x-1;k1和k2为权重值且k1+k2=1,例如k1=k2=1/2,或者k1=1,k2=0,或者当条带为I类型条带(I slice,即只能使用帧内预测方式的条带)时,k1=5/8,k2=3/8;当条带为非I类型条带时,k1=3/8,k2=5/8。
应当理解的是,本申请实施例不仅限于这一种方法来计算量化调节因子调节参数。
由上可见,本发明实施例所提供的方案,在编码端计算的量化因子调节参数可以稳定条带的码率。例如,当条带图像中大部分图像区域的第三量化调节因子(或第一量化调节因子)较大时,如果直接使用第三量化调节因子(或第一量化调节因子)调节这些图像块的量化步长,则编码处理中这些图像块将使用比这些图像块的原始量化步长更大的量化步长进行量化处理,从而使得整个条带中量化步长变大的图像块较多而量化步长变小的图像块较少;相应的,整个条带中多数图像块的码率下降而少数图像块的码率上升,导致条带码率出现明显的下降。此时,本申请实施例使用条带中多个原始图像块的量化调节因子来估算条带中一个或多个图像块的第三量化调节因子(或第一量化调节因子)的分布,得到的量化调节因子调节参数较小,该量化调节因子调节参数与各块的第三量化调节因子(或第一量化调节因子)相乘得到的第四量化调节因子(或第二量化调节因子)相比于第三量化调节因子(或第一量化调节因子)更小,因此使用第四量化调节因子(或第二量化调节因子)调节这些图像块的量化步长可以使得条带码率的下降幅度变小,达到稳定条带码率的效果。
如图3C所示,本发明实施例还提供一种设置图像块层级的自适应反量化开关标志的方法,该方法可由视频编码器20执行,该方法可以包括:
步骤351,根据当前编码图像块(即第四变换系数集对应的图像块)的空间邻域像素信息,计算第三量化调节因子QC;具体实施方式参见其它实施例,这里不再赘述。
步骤353,根据第四变换系数集对应的图像块的原始像素信息,计算第五量化调节因子QCo;
在一种实现方式下,步骤353中,获取第四变换系数集对应的图像区域X的未经压缩的原始像素信息,得到原始像素信息的统计特性;根据原始像素信息的统计特性,计算第五量化调节因子QCo。具体实施方式参见其它实施例,差别在于将空间邻域像素信息替换为原始像素信息,计算原始像素信息的像素均值和像素差值,并根据原始像素信息的像素均值和/或像素差值计算第五量化调节因子QCo。
步骤355,如果第三量化调节因子QC和第五量化调节因子QCo的差值小于阈值Th,则将第四变换系数集对应的图像块的自适应反量化开关标志设置为真ture(例如1),否则设置为假false(例如0)。Th为预设常数,例如Th=1/8或1/4或32。
应当理解的是,本申请实施例不仅限于这一种方法来设置图像块层级的自适应反量化开关标志。
由上可见,当图像块的空间邻域像素信息与图像块自身的像素信息存在较大差别时,利用空间邻域像素信息计算出的量化调节因子并不适合用于调节图像块的量化步长,使用这种量化步长将引起编码性能下降。针对这种情况,本发明实施例中,还可以根据图像块的第三量化调节因子和第五量化调节因子的比较结果设置图像块的自适应反量化开关标志,并包含图像块的自适应反量化开关标志于码流中传输,使得解码端可以通过码流中的自适应反量化开关标志信息判断哪些图像块应使用自适应计算的第二量化调节因子,哪些图像块使用默认的量化调节因子,从而提高编码性能。
图4是示出根据本申请实施例的一种视频解码方法的流程图。该方法可由视频解码器(例如视频解码器30)执行。视频解码方法描述为一系列的步骤或操作,应当理解的是,该方法可以以各种顺序执行和/或同时发生,不限于图4所示的执行顺序。假设具有多个视频帧的视频数据流正在使用视频解码器,执行包括如下步骤来解码当前视频帧的当前图像块;
步骤401,从码流中获取量化调节因子调节参数和获取第一变换系数集,所述第一变换系数集对应于当前解码图像块的残差;
应当理解的是,在步骤401中,从码流中获取量化调节因子调节参数,与,从码流中获取第一变换系数集,可以是先后发生的,其中,量化调节因子调节参数是条带层级的,变换系数集是图像块层级的。
在步骤401中,视频解码器可以从码流中解析明文传输的量化调节因子调节参数sn或隐性地传输的量化调节因子调节参数sn,比如,从码流中获取用于指示量化调节因子调节参数的索引信息,所述索引信息指向所述量化调节因子调节参数。在多种可行的实现方式下,量化调节因子调节参数sn可以包含在当前图像块所属的条带(slice)的条带头(slice header)中,或者当前图像块所属的条带片段(slice segment)的条带片段头(slice segment header)中。如果条带头包含有量化调节因子调节参数sn,则说明该量化调节因子调节参数sn可以应用于属于该条带的所有图像块上;同理,如果条带片段头包含有量化调节因子调节参数sn,则说明该量化调节因子调节参数sn可以应用于属于该条带片段的所有图像块上;本申请包括但不限于这里描述的实现方式。
具体地,量化调节因子调节参数sn的解析方式例如使用以下方式之一:
方式一:用N比特定长码方式解析出量化调节因子调节参数sn,N=4或5或6或7;
方式二:用有符号指数哥伦布码方式解析出一个索引SI,并由索引SI得到量化调节因子调节参数sn。
例如,当索引SI为0时,量化调节因子调节参数sn等于256;当索引SI大于0时,量化调节因子调节参数sn=T1[SI-1];当SI小于0时,sn=T2[-SI-1],其中T1=[234,215,197,181,165,152,139],T2=[279,304,331,362,394,430,469];
又例如,sn=T3[SI+7],T3=[469,430,394,362,331,304,279,256,234,215,197,181,165,152,139],
又例如sn=T4[SI+15],T4=[489,468,449,431,412,395,379,362,347,333,318,305,291,279,267,256,245,235,225,215,206,197,189,181,173,166,159,152,146,140,134],
又例如sn=T5[SI+15],T5=[134,140,146,152,159,166,173,181,189,197,206,215,225,235,245,256,267,279,291,305,318,333,347,362,379,395,412,431,449,468,489]。
方式三:用6位定长码方式解析出一个索引SI,并由索引SI得到量化调节因子调节参数sn,例如,sn=T5[SI]。
以及,在步骤401中,第一变换系数集包括N个变换系数,所述变换系数为所述当前解码图像块中任一色彩空间分量(例如亮度分量)的变换系数,N为正整数;具体地,所述第一变换系数集表示经量化过的一个或多个变换系数,且对应于当前解码图像块的残差。
在本发明实施例中,第一变换系数集可以包括N个变换系数A(i),i=1,2,...,N,N为正整数,例如N=1、2、4、16、32、50、64、81、128、256、512或1024;变换系数A(i)为所述当前解码图像块中任一色彩空间分量的变换系数,例如亮度分量的变换系数、色度分量的变换系数、RGB任一分量(如R分量)的变换系数。
第一变换系数集对应的图像块为第一变换系数集在当前解码图像中对应的图像块,例如对于H.264/AVC、H.265/HEVC标准对应的混合编码框架下,第一变换系数集对应的图像块为第一变换系数集对应的变换块(transform block)或者变换单元(transformunit),或者为第一变换系数集对应的变换子块(即变换块或变换单元的一部分或一个区域)。在本发明实施例中,第一变换系数集可以包含一个变换块的全部变换系数;也可以包含一个变换块的一部分变换系数,例如一个变换块中的直流系数,或者一组低频系数,或者一组高频系数,或者直流系数和一组高频系数,或者按照某一系数扫描顺序下的前几个系数等。变换块可以对应于一个编码单元,也可以对应于编码单元中的一个区域。以下实施例中,以变换系数A(i)为视频信号中亮度分量的变换系数进行下文介绍。尤其是,第一变换系数集包括一个亮度变换块的所有非零变换系数。
步骤403,根据当前解码图像块的空间邻域像素信息,确定用于当前解码图像块的第一量化调节因子;
当前解码图像块的空间邻域像素信息是指与当前解码图像块在同一帧解码图像上的像素的信息,相邻像素的位置以及范围会根据解码条件的不同进行适应性的调整。
在本发明实施例中,当前解码图像块的空间邻域像素信息可以包括:图像块X(亦称为图像区域X)的空间邻域Y中至少一个像素的重建值,具体地,空间邻域像素信息可以包括M个像素,M为正整数,其中空间邻域Y的几种可选示例包括:
如图6(a)~6(d)所示,图像块X(由实线指示)对应于一个w×h编码单元(即编码单元的宽为w个像素,高为h个像素),空间邻域Y(由虚线指示)的构成方式例如以下4种之一:
1)方式一:X上方的w×n个像素、X左方的m×h个像素、X左上方的m×n个像素,如图6(a)所示,此时M=w×n+m×h+m×n。
2)方式二:X上方的w×n个像素、X左方的m×h个像素,如图6(b)所示。
3)方式三:X上方的w×n个像素、X左方的m×h个像素、X右方的m×h个像素,如图6(c)所示。
4)方式四:X上方的w×n个像素、X下方的w×n个像素、X左方的m×h个像素、X右方的m×h个像素,如图6(d)所示。
如图6(e)~6(f)所示,图像块X对应于一个wc×hc编码单元C(由点线指示)中的一个w×h区域,空间邻域Y的构成方式例如以下2种之一:
1)方式一:X所属编码单元C上方的wc×n个像素、C左方的m×hc个像素,如图6(e)所示。
2)方式二:X所属编码单元C上方的wc×n个像素、C左方的m×hc个像素、C右方的m×hc个像素,如图6(f)所示。
其中,m和n为预设常数,例如m=n=1,或m=n=2,或m=2、n=1,或m=1,n=2。m和n还可以与图像块X的大小有关,例如当图像块X的宽小于或等于第一阈值(例如8)时,n=2;当图像块X的宽大于第一阈值(例如8)时,n=1。
在本实施例中,在一种示例下,步骤403可以包括:
步骤403-1:获取第一变换系数集对应的图像块X的空间邻域像素信息;
具体地,检查空间邻域中像素是否已经重建,并获取空间邻域中已重建像素的亮度值。例如,对于图6(c)所示的空间邻域构成方式,分别检查图像区域X的左侧、上侧、右侧的像素是否已经重建,以获取这些区域中已经重建的像素的亮度值。又例如,对于图6(c)所示的空间邻域构成方式,分别检查图像区域X的左侧、上侧、右侧的像素是否已经重建,如果左侧和右侧的像素均已重建,但上侧的像素没有重建,则获取左右两侧的像素的亮度值;如果三侧像素均已重建,则获取左侧和上侧的像素的亮度值;如果左侧和上侧的像素均已重建,但右侧的像素没有重建,则获取左侧和上侧的像素的亮度值。
步骤403-2:根据空间邻域像素信息的统计特性,确定用于图像块X的第一量化调节因子;
在本发明实施例中,为了实现自适应反量化的效果,利用当前图像块(即变换块)的空间邻域像素信息来估计当前图像块所处背景区域的特征(例如背景亮度和背景对比度)。空间邻域像素信息的统计特性是指对空间邻域像素信息中多个像素的像素值经过统计分析得到的数值结果,空间邻域像素信息的统计特性至少可以包括像素均值Pavg和/或像素差值Pcon。空间邻域像素信息的统计特性一定程度上反映了当前图像块所处背景区域的特征。
其中,(1)空间邻域像素信息中K1个像素的亮度值(即亮度分量)的均值Pavg,简称像素均值,即:
Figure BDA0001458970710000331
其中P(k)为空间邻域中一个像素的亮度值(即亮度分量),其中K1均为小于或等于M的正整数,例如K1=M/2或M,其中空间邻域像素信息包括M个像素。
2)空间邻域像素信息中K2个像素的亮度值与像素均值Pavg的平均绝对误差和(Mean Absolute Difference,MAD),简称像素差值Pcon,即;
Figure BDA0001458970710000332
其中K1,K2均为小于等于M的正整数,K1可与K2相等,也可以K1>K2,例如K1=M/2或M,K2=M/4或M。
其中,基于空间邻域像素信息的统计特性(例如像素均值、像素差值)计算第一量化调节因子的方法可以采用以下方式中的任意一种:
方法一:根据像素均值Pavg的第一分段函数f1(Pavg)计算所述第一量化调节因子;其中,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值。
在一种具体实例中,第一量化调节因子QC由关于所述像素均值Pavg的第一分段函数f1(Pavg)决定,即QC=f1(Pavg)β,其中β>0,例如β=1或0.5。f1(Pavg)为关于Pavg的分段函数,f1(Pavg)满足当Pavg小于阈值T1时f1(Pavg)的一阶导数小于0,当Pavg大于阈值T2时f1(Pavg)的一阶导数大于0,Pavg在阈值T1和T2之间时f1(Pavg)等于常数C0;其中,T1≥0,T2≥0,T2≥T1,T1例如为0、60、64或128,T2例如为0、80、128或170;C0为正实数例如为0.5、0.75、1、1.5、8、16、256或1024。更具体的,f1(Pavg)函数例如
Figure BDA0001458970710000341
其中η1为正实数,例如η1=150或200.8;η2为正实数,例如η2=425或485.5。f1(Pavg)函数又例如
Figure BDA0001458970710000342
其中η3为正实数,例如η3=425或256或135.1。
为减少计算复杂度,上述函数计算也可以使用查表法来代替。
方法二:根据像素差值Pcon的第二分段函数f2(Pcon)计算所述第一量化调节因子;其中,所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与像素均值Pavg的平均绝对误差和,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值。
在一种具体实例中,第一量化调节因子QC由关于所述像素差值Pcon的第二分段函数f2(Pcon)决定,即QC=f2(Pcon)γ,其中γ>0,例如γ=1或者0.8。f2(Pcon)为关于Pcon的单调函数,f2(Pcon)满足当(Pcon)α小于阈值T3时,f2(Pcon)为常数C3,当(Pcon)α大于等于阈值T3时,f2(Pcon)的一阶导数大于0。其中,T3≥0,T3例如为0、3、5或10;α>0,例如α=1/2或1;C3为正实数,例如0.5、0.8、1、16、32或256。更具体的,f2(Pcon)函数例如
Figure BDA0001458970710000343
其中η5为正实数,例如η4=10、20、35.5、80或100。
为减少计算复杂度,上述函数计算也可以使用查表法来代替。
方法三:根据像素差值Pcon和像素均值Pavg的第三函数f3(f1(Pavg),f2(Pcon))计算所述第一量化调节因子;其中,所述像素均值Pavg是所述空间邻域像素信息对应的多个像素的亮度分量求平均得到的均值;所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与所述像素均值Pavg的平均绝对误差和。
在一种具体实例中,第一量化调节因子QC由关于所述像素均值Pavg的第一分段函数f1(Pavg)和关于所述像素差值Pcon的第二分段函数f2(Pcon)联合决定,换言之,第一量化调节因子QC由所述像素均值Pavg和所述像素差值Pcon的联合函数f1(Pavg)·f2(Pcon)决定,例如QC=f1(Pavg)β·f2(Pcon)γ,其中β,γ>0,例如β=1,γ=1,或者β=0.5,γ=1.5,或者β=2,γ=1;或者,例如f1(Pavg)·k1+f2(Pcon)·k2,其中k1和k2为正实数,例如k1=k2=0.5,或者k1=0.25,k2=0.75,或者k1=0.20,k2=0.70。
在一种具体实例中,可由查表法根据Pavg和Pcon分别得到f1(Pavg)的数值和f2(Pcon)的数值,将f1(Pavg)的数值和f2(Pcon)的数值相乘后右移N位,得到第一量化调节因子QC,如以下算式所示:
QC=(f1(Pavg)·f2(Pcon)+2N-1)>>N
其中N为常数,例如N=8或9或6或7。需要说明的是,上述参数T1、T2、T3、C0、C3、C4、η1、η2、η3、η4、η5可以为预先设定的常数,也可以根据视频图像的统计特性自适应计算得到,也可以从视频码流中提取得到。
步骤405,基于量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;简言之,即利用量化调节因子调节参数sn对第一量化调节因子QC进行调整,以得到第二量化调节因子QC2。
在一种具体实现方式下,步骤405可以包括:将量化调节因子调节参数sn与第一量化调节因子QC相乘得到第二量化调节因子QC2,例如使用以下算式计算:
Figure BDA0001458970710000351
其中,x为与sn的位宽相关的预设常数;例如采用上述解析sn方式一时,x可设置为N-1,其中N表示多比特定长码方式的比特数;又例如采用上述解析sn方式二时,x可设置为256。
较优地,步骤405中,基于所述量化调节因子调节参数的取整值与第一量化调节因子的取整值的乘积,得到第二量化调节因子的整数值。
在一种具体实现方式下,当采用整数加法和移位实现时,可采用以下算式计算得到第二量化调节因子QC2的整数化结果:
QC2’=(QC’×sn+so)>>x;
其中so为舍入偏置,其值例如1<<(x-1);QC2'为QC2的整数化结果,QC'为QC的整数化结果。
应当理解的是,将一个数整数化是常用方法,例如可以将QC2与2的整数次幂相乘取整得到QC2';又例如,根据像素均值、像素差值查表得到QC的整数化结果QC',再将QC'通过公式QC2’=(QC’×sn+so)>>x得到QC2'。换言之,即根据预设的对应关系确定与当前图像块的空间邻域像素信息的统计特性(例如像素均值或像素差值等)对应的第一量化调节因子;其中,所述对应关系包括多个量化调节因子与多组空间邻域像素信息的统计特性的对应关系;在不同示例下,所述对应关系为多个量化调节因子与多个像素均值的对应关系,或者,所述对应关系为多个量化调节因子与多个像素差值的对应关系,其中多个量化调节因子均是取整值。
作为一种替代方法,也可以基于量化调节因子调节参数与所述第一量化调节因子的和,得到用于当前解码图像块的第二量化调节因子。在一种具体实现方式下,步骤405可以包括:将量化调节因子调节参数sn与第一量化调节因子QC相加得到第二量化调节因子QC2,例如使用以下算式计算:
QC2=QC+sn
或者,也可以使用以下算式计算:
QC2=QC+sn-K
其中,K为预设常数,例如K=256或128。
较优地,在步骤405得到第二量化调节因子QC2之后,还可以选择进一步地对所述第二量化调节因子QC2进行数值限制处理,将QC2对应到一预设的数值范围之内。例如:
将QC2钳制在一预设的数值范围之内,即
Figure BDA0001458970710000361
其中Val1和Val2是正实数,例如Val1=0.5,Val2=2,或者Val1=0.6,Val2=1.5;
又例如,将QC2通过映射函数映射到某一数值范围之内,所述映射函数例如
Figure BDA0001458970710000371
其中Val3、Val4、Val5、Val6为实数,例如Val3=1.0,Val4=0.5,Val5=1.5,Val6=1.0;或者Val3=1.1,Val4=0.4,Val5=1.2,Val6=1.15。
其中,上述参数T1、T2、T3、C0、C3、C4、η1、η2、η3、η4、Val1、Val2、Val3、Val4、Val5、Val6可以为预先设定的常数,也可以根据视频图像的统计特性自适应计算得到,也可以从视频码流中提取得到。
需要说明的是,本实施例中也可以对第一量化因子QC和第二量化因子QC2进行数值限制处理,将QC和QC2分别对应到一预设的数值范围之内。
步骤407,根据第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集。
具体的,可以是根据第二量化调节因子QC2,反量化第一变换系数集中变换系数A(i),以得到第二变换系数集中的变换系数R(i),其中i=1,2,...,N,N为正整数。亦可理解为,根据第二量化调节因子QC2,调节第一变换系数集中变换系数的反量化过程,以得到第二变换系数集中的变换系数。
在一种示例下,对量化后的变换系数A(i)进行反量化,以得到重建的变换系数R(i),可以描述为:
R(i)=sign{A(i)}·round{A(i)·Qs(i)+o2(i)} (1)
其中量化步长Qs(i)可以为浮点数,o2(i)为舍入偏置。在一些可行的实施方式下,为了避免使用浮点数运算,采用整数加法和移位的方式来近似替代浮点数乘法,例如H.265/HEVC将(1)式表述的反量化过程近似为:
R(i)=sign{A(i)}·(A(i)·Qs'(i)+(1<<(bdshift-1)))>>bdshift (2)
其中,bdshift为移位参数,Qs'(i)为整数,Qs'(i)/2bdshift近似于(1)式中的量化步长Qs(i),此时o2(i)=0.5,取整方式为向下取整。
在一种示例下,Qs'(i)由电平尺度(levelScale)l(i)和缩放因子(scalingfactor)m(i)共同决定,
Qs'(i)=m(i)·l(i) (3)
而l(i)为量化参数(Quantization Parameter,QP)的函数,即有
Figure BDA0001458970710000381
其中,电平尺度表levelScale[k]={40,45,51,57,64,72},k=0,1,...,5;
Figure BDA0001458970710000382
表示对QP(i)除6取整,%为取余操作。
特别的,当一个变换块(transform block)的长和宽的乘积等于2的奇数次幂时,(2)式还写为以下形式:
R(i)=sign{A(i)}·(A(i)·Qs'(i)·a+(1<<(bdshift-1+s)))>>(bdshift+s) (2)
其中,a和s为预设常数,且
Figure BDA0001458970710000383
例如a=181,s=8。
本发明实施例中,可以通过多种方式实现步骤407的反量化处理,以下提供几种可实现方法:
方法一:从码流中获取第一变换系数集对应的第一量化步长;利用第二量化调节因子对第一量化步长进行缩放,以得到第二量化步长,利用第二量化步长反量化所述第一变换系数集,以得到第二变换系数集。具体实现可以是:
对于熵解码得到的第一变换系数集中的变换系数A(i),根据第二量化调节因子QC2将A(i)的基础量化步长Qs(i)(即A(i)对应的第一量化步长Qs(i))进行缩放,以得到第二量化步长Qs(i)·QC2;基于第二量化步长Qs(i)·QC2反量化第一变换系数集中的变换系数A(i),以得到第二变换系数集中的一个变换系数R(i)。其中,一种示例下,A(i)对应的第一量化步长Qs(i)可以是包含于码流的量化参数QP指示的基础量化步长;应当理解的是,从码流中解码出第一变化系数集所在变换块的缺省量化参数,例如帧级量化参数QP,其中量化参数QP为基础量化步长的索引,量化参数与基础量化步长对应。
在一种可能实现方式下,使用以下公式反量化第一变化系数集中的变换系数A(i)得到第二变换系数集中的变换系数R(i),即:
R(i)=sign{A(i)}·round{A(i)·Qs(i)·QC2+o2(i)}
其中o2(i)为舍入常数,例如o2(i)=0.5。
在另一种可能实现方式下,当反量化采用整数加法和移位实现时,可以采用:
R(i)=sign{A(i)}·(A(i)·Qs'(i)·QC2'+(1<<(bdshift-1+delta)))>>(bdshift+delta)
其中Qs'(i)为第一量化步长的整数化结果,bdshift为移位位数;delta为额外需要的移位位数;QC2'为QC2的整数化结果,例如可以将QC2与2的整数次幂相乘取整得到QC2',或者对QC2直接取整得到QC2',或者根据像素均值、像素方差以查表法得到QC2的整数化结果。
在再一种可能实现方式下,基于第二量化调节因子的整数化结果QC2',对A(i)对应的第一量化步长Qs(i)的整数化结果Qs'(i)进行缩放处理,以得到第二量化步长的整数化结果Qsn'(i),例如由QC2'和Qs'(i)相乘得到第二量化步长,再根据第二量化步长的整数化结果Qsn'(i)对所述第一变换系数集中的变换系数A(i)进行反量化,以得到第二变换系数集中的变换系数R(i),例如,采用以下公式反量化A(i)得到第二变换系数集中的一个变换系数R(i),即
Qsn'(i)=(Qs'(i)·QC2'+(1<<(y-1)))>>y
R(i)=sign{A(i)}·(A(i)·Qsn'(i)+(1<<(bdshift-1)))>>(bdshift)
其中,y为预设常数,通常与QC2'位宽相关,例如y=8或7或3。
方法二:根据预设的第一对应关系确定所述第二量化调节因子QC2对应的目标电平尺度表;其中,所述第一对应关系包括多个量化调节因子与多个电平尺度表的对应关系;根据所述目标电平尺度表反量化所述第一变换系数集,以得到所述第二变换系数集。
在本发明实施例中可以预先设置多个量化调节因子与多个电平尺度表的第一对应关系。
更具体的,预先将QC2的取值范围划分为H1(H1为大于1的正整数,例如H1=3、5或6)段区间,每一段区间对应于一个预设的电平尺度表;检索计算出的量化调节因子QC2属于的取值区间,选取量化调节因子QC2属于的取值区间所对应的电平尺度表作为反量化第一变换系数集的目标电平尺度表。例如:QC2与电平尺度表的映射关系表(表1)中给出对于包含5个元素的电平尺度表,根据QC2选择一个电平尺度表的示例。
电平尺度表
QC2≥1.5 {60,68,77,86,96,108}
1.2<QC2<1.5 {54,61,69,77,86,97}
0.8≤QC2≤1.2 {40,45,51,57,64,72}
0.6<QC2<0.8 {28,32,36,40,45,50}
QC2≤0.6 {24,27,31,34,38,43}
表1
根据表1所给出的实例,当QC2为0.9时,确定QC2属于的取值区间为0.8≤QC2≤1.2,选取取值区间0.8≤QC2≤1.2所对应的电平尺度表{40,45,51,57,64,72}作为反量化第一变换系数集的电平尺度表。
方法三:根据预设的第二对应关系确定所述第二量化调节因子QC2对应的目标量化矩阵;其中,所述第二对应关系为多个量化调节因子与多个量化矩阵的对应关系;根据所述目标量化矩阵反量化所述第一变换系数集,以得到所述第二变换系数集。
其中,预先将QC2的取值范围划分为H2(H2为大于1的正整数,例如H2=3、5或6)段区间,每一段区间对应于一个预设的量化矩阵;检索QC2属于的取值区间,选取对应的量化矩阵作为反量化第一变换系数集的量化矩阵。例如:表2中给出对于4×4变换块
Figure BDA0001458970710000401
表2
根据表2给出的实例,如果计算出的QC2值为18,从表2所给出的参数可以确定QC2属于的取值区间为16≤QC2≤64,则对应的反量化所述第一变换系数集的量化矩阵4×4量化矩阵为表2第三列所示的4×4量化矩阵。
方法四:从码流中获取所述第一变换系数集对应的第一量化步长;利用所述第一量化步长对所述第一变换系数集中的变换系数进行反量化,以得到第三变换系数集中的变换系数;利用所述计算得到的第二量化调节因子对所述第三变换系数集中的变换系数进行缩放,以得到第二变换系数集。
一种具体的实现方式下,先用第一量化步长Qs(i)对第一变换系数集中的变换系数A(i)进行反量化得到第三变换系数集中的变换系数B(i),即B(i)=sign{A(i)}·round{A(i)·Qs(i)+o4(i)},再利用第二量化调节因子QC2对B(i)进行缩放并取整得到第二变换系数中的变换系数R(i),即R(i)=sign{B(i)}·round{B(i)·QC2+o5(i)},其中o4和o5为舍入偏置。
步骤409,对所述第二变换系数集进行反变换,以得到当前解码图像块的残差;
步骤411,基于当前解码图像块的残差和所述当前解码图像块的预测块对当前解码图像块进行重建。
由上可见,本发明实施例所提供的方案,在解码端利用当前解码图像块(即变换块)的空间邻域像素信息模拟当前解码图像块对应的原始像素信息。综合考虑前述空间邻域像素信息以及从码流中解码出的条带级或条带段级的量化调节因子调节参数,自适应地推导用于当前图像块(即变换块)的第二量化调节因子,并基于自适应推导的第二量化调节因子来调节当前图像块对应的第一变换系数集的反量化过程,实现了在视频编码或解码过程中,在稳定条带码率的同时灵活地调节反量化处理,使得量化失真强度更符合人眼视觉感知,从而提高了编解码性能。具体地,本申请实施例引入量化调节因子调节参数,基于自适应确定的第一量化调节因子与该量化调节因子调节参数的乘积来直接地或间接地调节当前图像块的量化步长,可以使得条带码率的下降幅度变小,达到稳定条带码率的效果。
进一步的,相比于在码流中传输块级的量化调节信息的现有方案,本发明实施例在码流中传输条带级或条带段级的量化调节因子调节参数的方案减少了比特开销,因此进一步提高了编解码性能。
图5是示出根据本申请实施例的另一种视频解码方法的流程图。该方法可由视频解码器(例如视频解码器30)执行。视频解码方法描述为一系列的步骤或操作,应当理解的是,该方法可以以各种顺序执行和/或同时发生,不限于图4所示的执行顺序。假设具有多个视频帧的视频数据流正在使用视频解码器,执行包括如下步骤来解码当前视频帧的当前图像块;
步骤501,开始;
步骤503,判断当前解码图像块是否使用自适应反量化过程,如果判断出当前解码图像块需要使用自适应反量化过程,跳转执行步骤505;反之,跳转执行步骤509B;
在步骤503中,根据明文地或隐含地包含于码流中的自适应反量化开关标志判断第一变换系数集对应的当前解码图像块是否使用自适应反量化过程(或者,判断是否应用自适应反量化于第一变换系数集),所述自适应反量化开关标志用于指示当前解码图像块的反量化过程中使用的第二量化调节因子是否为默认值,换言之,所述自适应反量化开关标志用于指示当前解码图像块的反量化过程中是否需要使用自适应的第二量化调节因子。
例如,如果自适应反量化开关标志为0(即意味着不需要使用自适应反量化过程),则跳转执行步骤509B,其中所采用的第二量化调节因子为设置的默认值;如果自适应反量化开关标志非0(即意味着需要使用自适应反量化过程),则跳转执行步骤505。
在一种实现方式下,如果序列参数集(sequence parameter set,SPS)中第一语法元素为第一值(例如0),则第一变换系数集的自适应反量化开关标志默认为0。如果第一语法元素为第二值(例如1),则第一变换系数集的自适应反量化开关标志默认为1。如果第一语法元素为第三值(例如2),则从码流中解析第一变换系数集的自适应反量化开关标志。自适应反量化开关标志可通过解析一个标志位(例如enable_flag)得到。
在另一种实现方式下,如果序列参数集(sequence parameter set,SPS)中第一语法元素为第一值(例如0),则第一变换系数集的自适应反量化开关标志默认为0。如果序列参数集(sequence parameter set,SPS)中第一语法元素为第二值(例如1)且序列参数集SPS中第二语法元素为第一值(例如0),则第一变换系数集的自适应反量化开关标志默认为1。如果第一语法元素为第二值且SPS中第二语法元素为第二值(例如1),针对第一变换系数集对应的图像块使用帧间预测模式的情况,进一步从码流中解析第一变换系数集对应的自适应反量化开关标志;针对第一变换系数集对应的图像块使用帧内预测模式的情况,第一变换系数集对应的自适应反量化开关标志设置为默认值1。
步骤505,根据当前解码图像块的空间邻域像素信息,确定用于当前解码图像块的第一量化调节因子;
在本发明实施例中,当前解码图像块的空间邻域像素信息可以包括:图像块X(亦称为图像区域X)的空间邻域Y中至少一个像素的重建值,具体地,空间邻域像素信息可以包括M个像素,M为正整数,其中空间邻域Y的几种可选示例如图6(a)~6(f)所示,详细说明参见图4所示实施例的介绍,这里不再赘述。
在本实施例中,在一种示例下,步骤505可以包括:
步骤505-1:获取第一变换系数集对应的当前解码图像块X的空间邻域像素信息;
具体地,检查空间邻域中像素是否已经重建,并获取空间邻域中已重建像素的亮度值。例如,对于图6(c)所示的空间邻域构成方式,分别检查当前解码图像块X(亦称为图像区域X)的左侧、上侧、右侧的像素是否已经重建,以获取这些区域中已经重建的像素的亮度值。又例如,对于图6(c)所示的空间邻域构成方式,分别检查图像区域X的左侧、上侧、右侧的像素是否已经重建,如果左侧和右侧的像素均已重建,但上侧的像素没有重建,则获取左右两侧的像素的亮度值;如果三侧像素均已重建,则获取左侧和上侧的像素的亮度值;如果左侧和上侧的像素均已重建,但右侧的像素没有重建,则获取左侧和上侧的像素的亮度值。
步骤505-2:根据空间邻域像素信息的统计特性,确定用于当前解码图像块X的第一量化调节因子;
在本发明实施例中,为了实现自适应反量化的效果,使用当前图像块(即变换块)的空间邻域像素信息模拟当前解码图像块对应的原始像素信息,以估计当前解码图像块所处背景区域的特征(例如背景亮度和背景对比度)。空间邻域像素信息的统计特性是指对空间邻域像素信息中多个像素的像素值经过统计分析得到的数值结果,空间邻域像素信息的统计特性至少可以包括像素均值Pavg和/或像素差值Pcon。空间邻域像素信息的统计特性一定程度上反映了当前图像块所处背景区域的特征。
其中,(1)空间邻域像素信息中K1个像素的亮度值(即亮度分量)的均值Pavg,简称像素均值,即:
Figure BDA0001458970710000421
其中P(k)为空间邻域中一个像素的亮度值(即亮度分量),其中K1均为小于或等于M的正整数,例如K1=M/2或M,其中空间邻域像素信息包括M个像素。
2)空间邻域像素信息中K2个像素的亮度值与像素均值Pavg的平均绝对误差和(Mean Absolute Difference,MAD),简称像素差值Pcon,即;
Figure BDA0001458970710000422
其中K1,K2均为小于等于M的正整数,K1可与K2相等,也可以K1>K2,例如K1=M/2或M,K2=M/4或M。
其中,基于空间邻域像素信息的统计特性(例如像素均值Pavg和/或像素差值Pcon)计算第一量化调节因子的方法可以采用以下方式中的任意一种:
方法一:根据像素均值Pavg的第一分段函数f1(Pavg)计算所述第一量化调节因子;其中,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值。
在一种具体实例中,第一量化调节因子QC由关于所述像素均值Pavg的第一分段函数f1(Pavg)决定,即QC=f1(Pavg)β,其中β>0,例如β=1或0.5。f1(Pavg)为关于Pavg的U形函数,f1(Pavg)满足当Pavg小于阈值T1时f1(Pavg)的一阶导数小于0,当Pavg大于阈值T2时f1(Pavg)的一阶导数大于0,Pavg在阈值T1和T2之间时f1(Pavg)等于常数C0;其中,T1≥0,T2≥0,T2≥T1,T1例如为0、60、64或128,T2例如为0、80、128或170;C0为正实数例如为0.5、0.75、1、1.5、8、16、256或1024。更具体的,f1(Pavg)函数例如
Figure BDA0001458970710000431
其中η1为正实数,例如η1=150或200.8;η2为正实数,例如η2=425或485.5。f1(Pavg)函数又例如
Figure BDA0001458970710000432
其中η3为正实数,例如η3=256或135.1。
为减少计算复杂度,上述函数计算也可以使用查表法来代替。
方法二:根据像素差值Pcon的第二分段函数f2(Pcon)计算所述第一量化调节因子;其中,所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与像素均值Pavg的平均绝对误差和,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值。
在一种具体实例中,第一量化调节因子QC由关于所述像素差值Pcon的第二分段函数f2(Pcon)决定,即QC=f2(Pcon)γ,其中γ>0,例如γ=1或者0.8。f2(Pcon)为关于Pcon的单调函数,f2(Pcon)满足当(Pcon)α小于阈值T3时,f2(Pcon)为常数C3,当(Pcon)α大于等于阈值T3时,f2(Pcon)的一阶导数大于0。其中,T3≥0,T3例如为0、3、5或10;α>0,例如α=1/2或1;C3为正实数,例如0.5、0.8、1、16、32或256。更具体的,f2(Pcon)函数例如
Figure BDA0001458970710000441
其中η5为正实数,例如η5=10、20、35.5、80或100。
为减少计算复杂度,上述函数计算也可以使用查表法来代替。
方法三:根据像素差值Pcon和像素均值Pavg的第三函数f3(f1(Pavg),f2(Pcon))计算所述第一量化调节因子;其中,所述像素均值Pavg是所述空间邻域像素信息对应的多个像素的亮度分量求平均得到的均值;所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与所述像素均值Pavg的平均绝对误差和。
在一种具体实例中,第一量化调节因子QC由关于所述像素均值Pavg的第一分段函数f1(Pavg)和关于所述像素差值Pcon的第二分段函数f2(Pcon)联合决定,换言之,第一量化调节因子QC由所述像素均值Pavg和所述像素差值Pcon的联合函数f1(Pavg)·f2(Pcon)决定,例如QC=f1(Pavg)β·f2(Pcon)γ,其中β,γ>0,例如β=1,γ=1,或者β=0.5,γ=1.5,或者β=2,γ=1;或者,例如f1(Pavg)·k1+f2(Pcon)·k2。
需要说明的是,上述参数T1、T2、T3、C0、C3、C4、η1、η2、η3、η4、η5可以为预先设定的常数,也可以根据视频图像的统计特性自适应计算得到,也可以从视频码流中提取得到。
步骤507,基于从码流中获取的量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;
在步骤507中,视频解码器可以从码流中解析明文传输的量化调节因子调节参数sn或隐性地传输的量化调节因子调节参数sn,比如,从码流中获取用于指示量化调节因子调节参数的索引信息,所述索引信息指向所述量化调节因子调节参数。在多种可行的实现方式下,量化调节因子调节参数sn可以包含在当前图像块所属的条带(slice)的条带头(slice header)中,或者当前图像块所属的条带片段(slice segment)的条带片段头(slice segment header)中。如果条带头包含有量化调节因子调节参数sn,则说明该量化调节因子调节参数sn可以应用于属于该条带的所有图像块上;同理,如果条带片段头包含有量化调节因子调节参数sn,则说明该量化调节因子调节参数sn可以应用于属于该条带片段的所有图像块上;本申请包括但不限于这里描述的实现方式。
其中,量化调节因子调节参数sn的解析方式例如使用以下方式之一:
方式一:用N比特定长码方式解析出量化调节因子调节参数sn,N=4或5或6或7;
方式二:用有符号指数哥伦布码方式解析出一个索引SI,并由索引SI得到量化调节因子调节参数sn。
例如,当索引SI为0时,量化调节因子调节参数sn等于256;当索引SI大于0时,量化调节因子调节参数sn=T1[SI-1];当SI小于0时,sn=T2[-SI-1],其中T1=[234,215,197,181,165,152,139],T2=[279,304,331,362,394,430,469];
又例如,sn=T3[SI+7],T3=[469,430,394,362,331,304,279,256,234,215,197,181,165,152,139],
又例如sn=T4[SI+15],T4=[489,468,449,431,412,395,379,362,347,333,318,305,291,279,267,256,245,235,225,215,206,197,189,181,173,166,159,152,146,140,134],
又例如sn=T5[SI+15],T5=[134,140,146,152,159,166,173,181,189,197,206,215,225,235,245,256,267,279,291,305,318,333,347,362,379,395,412,431,449,468,489]。
方式三:用6位定长码方式解析出一个索引SI,并由索引SI得到量化调节因子调节参数sn,例如,sn=T5[SI]。
在一种具体实现方式下,步骤507可以包括:将量化调节因子调节参数sn与第一量化调节因子QC相乘得到第二量化调节因子QC2,例如使用以下算式计算:
Figure BDA0001458970710000451
其中,x为与sn的位宽相关的预设常数;例如采用上述解析sn方式一时,x可设置为N-1,其中N表示多比特定长码方式的比特数;又例如采用上述解析sn方式二时,x可设置为256。
较优地,步骤507中,基于所述量化调节因子调节参数的取整值与第一量化调节因子的取整值的乘积,得到第二量化调节因子的整数值。
在一种具体实现方式下,当采用整数加法和移位实现时,可采用以下算式计算得到第二量化调节因子QC2的整数化结果:
QC2’=(QC’×sn+so)>>x;
其中so为舍入偏置,其值例如1<<(x-1);QC2'为QC2的整数化结果,QC'为QC的整数化结果。
应当理解的是,将一个数整数化是常用方法,例如可以将QC2与2的整数次幂相乘取整得到QC2';又例如,根据像素均值、像素差值查表得到QC的整数化结果QC',再将QC'通过公式QC2’=(QC’×sn+so)>>x得到QC2',换言之,即根据预设的对应关系确定与当前图像块的空间邻域像素信息的统计特性对应的第一量化调节因子;其中,所述对应关系包括多个量化调节因子与多组空间邻域像素信息的统计特性的对应关系;在不同示例下,所述对应关系为多个量化调节因子与多个像素均值的对应关系,或者,所述对应关系为多个量化调节因子与多个像素差值的对应关系,其中多个量化调节因子均为取整值。
较优地,在步骤507得到第二量化调节因子QC2之后,还可以选择进一步地对所述第二量化调节因子QC2进行数值限制处理,将QC2对应到一预设的数值范围之内。例如:
将QC2钳制在一预设的数值范围之内,即
Figure BDA0001458970710000461
其中Val1和Val2是正实数,例如Val1=0.5,Val2=2,或者Val1=0.6,Val2=1.5;
又例如,将QC2通过映射函数映射到某一数值范围之内,所述映射函数例如
Figure BDA0001458970710000462
其中Val3、Val4、Val5、Val6为实数,例如Val3=1.0,Val4=0.5,Val5=1.5,Val6=1.0;或者Val3=1.1,Val4=0.4,Val5=1.2,Val6=1.15。
其中,上述参数T1、T2、T3、C0、C3、C4、η1、η2、η3、η4、η5、η6、η7、Val1、Val2、Val3、Val4、Val5、Val6可以为预先设定的常数,也可以根据视频图像的统计特性自适应计算得到,也可以从视频码流中提取得到。
需要说明的是,本实施例中也可以对第一量化因子QC和第二量化因子QC2进行数值限制处理,将QC和QC2分别对应到一预设的数值范围之内。
需要说明的是,一种变型下,步骤507可以是基于量化调节因子调节参数与所述第一量化调节因子的和,得到用于当前解码图像块的第二量化调节因子。
步骤509A,根据第二量化调节因子对从码流中解码出的第一变换系数集进行反量化,以得到第二变换系数集。
其中,第一变换系数集包括N个变换系数,所述变换系数为所述当前解码图像块中任一色彩空间分量(例如亮度分量)的变换系数,N为正整数;具体地,所述第一变换系数集表示经量化过的一个或多个变换系数,且对应于当前解码图像块的残差。
在本发明实施例中,第一变换系数集可以包括N个变换系数A(i),i=1,2,...,N,N为正整数,例如N=1、2、4、16、32、50、64、81、128、256、512或1024;变换系数A(i)为所述当前解码图像块中任一色彩空间分量的变换系数,例如亮度分量的变换系数、色度分量的变换系数、RGB任一分量(如R分量)的变换系数。
第一变换系数集对应的图像块为第一变换系数集在当前解码图像中对应的图像块,例如对于H.264/AVC、H.265/HEVC标准对应的混合编码框架下,第一变换系数集对应的图像块为第一变换系数集对应的变换块(transform block)或者变换单元(transformunit),或者为第一变换系数集对应的变换子块(即变换块或变换单元的一部分或一个区域)。在本发明实施例中,第一变换系数集可以包含一个变换块的全部变换系数;也可以包含一个变换块的一部分变换系数,例如一个变换块中的直流系数,或者一组低频系数,或者一组高频系数,或者直流系数和一组高频系数,或者按照某一系数扫描顺序下的前几个系数等。变换块可以对应于一个编码单元,也可以对应于编码单元中的一个区域。以下实施例中,以变换系数A(i)为视频信号中亮度分量的变换系数进行下文介绍。尤其是,第一变换系数集包括一个亮度变换块的所有非零变换系数。
在步骤509A中,可以是根据第二量化调节因子QC2,反量化第一变换系数集中变换系数A(i),以得到第二变换系数集中的变换系数R(i),其中i=1,2,...,N,N为正整数。亦可理解为,根据第二量化调节因子QC2,调节第一变换系数集中变换系数的反量化过程,以得到第二变换系数集中的变换系数。
在一种示例下,对量化后的变换系数A(i)进行反量化,以得到重建的变换系数R(i),可以描述为:
R(i)=sign{A(i)}·round{A(i)·Qs(i)+o2(i)} (1)
其中量化步长Qs(i)可以为浮点数,o2(i)为舍入偏置。在一些可行的实施方式下,为了避免使用浮点数运算,采用整数加法和移位的方式来近似替代浮点数乘法,例如H.265/HEVC将(1)式表述的反量化过程近似为:
R(i)=sign{A(i)}·(A(i)·Qs'(i)+(1<<(bdshift-1)))>>bdshift (2)
其中,bdshift为移位参数,Qs'(i)为整数,Qs'(i)/2bdshift近似于(1)式中的量化步长Qs(i),此时o2(i)=0.5,取整方式为向下取整。
在一种示例下,Qs'(i)由电平尺度(levelScale)l(i)和缩放因子(scalingfactor)m(i)共同决定,
Qs'(i)=m(i)·l(i) (3)
而l(i)为量化参数(Quantization Parameter,QP)的函数,即有
Figure BDA0001458970710000481
其中,电平尺度表levelScale[k]={40,45,51,57,64,72},k=0,1,...,5;
Figure BDA0001458970710000482
表示对QP(i)除6取整,%为取余操作。
特别的,当一个变换块(transform block)的长和宽的乘积等于2的奇数次幂时,(2)式还可写为以下形式:
R(i)=sign{A(i)}·(A(i)·Qs'(i)·a+(1<<(bdshift-1+s)))>>(bdshift+s) (2)
其中,a和s为预设常数,且
Figure BDA0001458970710000483
例如a=181,s=8。
本发明实施例中,可以通过多种方式实现步骤509A的反量化处理,以下提供几种可实现方法:
方法一:从码流中获取第一变换系数集对应的第一量化步长;利用第二量化调节因子对第一量化步长进行缩放,以得到第二量化步长,利用第二量化步长反量化所述第一变换系数集,以得到第二变换系数集。具体实现可以是:
对于熵解码得到的第一变换系数集中的变换系数A(i),根据第二量化调节因子QC2将A(i)的基础量化步长Qs(i)(即A(i)对应的第一量化步长Qs(i))进行缩放,以得到第二量化步长Qs(i)·QC2;基于第二量化步长Qs(i)·QC2反量化第一变换系数集中的变换系数A(i),以得到第二变换系数集中的一个变换系数R(i)。其中,一种示例下,A(i)对应的第一量化步长Qs(i)可以是包含于码流的量化参数QP指示的基础量化步长;应当理解的是,从码流中解码出第一变化系数集所在变换块的缺省量化参数,例如帧级量化参数QP,其中量化参数QP为基础量化步长的索引,量化参数与基础量化步长对应。
在一种可能实现方式下,使用以下公式反量化第一变化系数集中的变换系数A(i)得到第二变换系数集中的变换系数R(i),即:
R(i)=sign{A(i)}·round{A(i)·Qs(i)·QC2+o2(i)}
其中o2(i)为舍入常数,例如o2(i)=0.5。
在另一种可能实现方式下,当反量化采用整数加法和移位实现时,可以采用:
R(i)=sign{A(i)}·(A(i)·Qs'(i)·QC2'+(1<<(bdshift-1+delta)))>>(bdshift+delta)
其中Qs'(i)为第一量化步长的整数化结果,bdshift为移位位数;delta为额外需要的移位位数;QC2'为QC2的整数化结果,例如可以将QC2与2的整数次幂相乘取整得到QC2',或者对QC2直接取整得到QC2',或者根据像素均值、像素方差以查表法得到QC2的整数化结果。
在再一种可能实现方式下,基于第二量化调节因子的整数化结果QC2',对A(i)对应的第一量化步长Qs(i)的整数化结果Qs'(i)进行缩放处理,以得到第二量化步长的整数化结果Qsn'(i),例如由QC2'和Qs'(i)相乘得到第二量化步长,再根据第二量化步长的整数化结果Qsn'(i)对所述第一变换系数集中的变换系数A(i)进行反量化,以得到第二变换系数集中的变换系数R(i),例如,采用以下公式反量化A(i)得到第二变换系数集中的一个变换系数R(i),即
Qsn'(i)=(Qs'(i)·QC2'+(1<<(y-1)))>>y
R(i)=sign{A(i)}·(A(i)·Qsn'(i)+(1<<(bdshift-1)))>>(bdshift)
其中,y为预设常数,通常与QC2'位宽相关,例如y=8或7或3。
方法二:根据预设的第一对应关系确定所述第二量化调节因子QC2对应的目标电平尺度表;其中,所述第一对应关系包括多个量化调节因子与多个电平尺度表的对应关系;根据所述目标电平尺度表反量化所述第一变换系数集,以得到所述第二变换系数集。
在本发明实施例中可以预先设置多个量化调节因子与多个电平尺度表的第一对应关系。
更具体的,预先将QC2的取值范围划分为H1(H1为大于1的正整数,例如H1=3、5或6)段区间,每一段区间对应于一个预设的电平尺度表;检索计算出的量化调节因子QC2属于的取值区间,选取量化调节因子QC2属于的取值区间所对应的电平尺度表作为反量化第一变换系数集的目标电平尺度表。例如:QC2与电平尺度表的映射关系表(表1)中给出对于包含5个元素的电平尺度表,根据QC2选择一个电平尺度表的示例。
电平尺度表
QC2≥1.5 {60,68,77,86,96,108}
1.2<QC2<1.5 {54,61,69,77,86,97}
0.8≤QC2≤1.2 {40,45,51,57,64,72}
0.6<QC2<0.8 {28,32,36,40,45,50}
QC2≤0.6 {24,27,31,34,38,43}
表1
根据表1所给出的实例,当QC2为0.9时,确定QC2属于的取值区间为0.8≤QC2≤1.2,选取取值区间0.8≤QC2≤1.2所对应的电平尺度表{40,45,51,57,64,72}作为反量化第一变换系数集的电平尺度表。
方法三:根据预设的第二对应关系确定所述第二量化调节因子QC2对应的目标量化矩阵;其中,所述第二对应关系为多个量化调节因子与多个量化矩阵的对应关系;根据所述目标量化矩阵反量化所述第一变换系数集,以得到所述第二变换系数集。
其中,预先将QC2的取值范围划分为H2(H2为大于1的正整数,例如H2=3、5或6)段区间,每一段区间对应于一个预设的量化矩阵;检索QC2属于的取值区间,选取对应的量化矩阵作为反量化第一变换系数集的量化矩阵。例如:表2中给出对于4×4变换块
Figure BDA0001458970710000501
表2
根据表2给出的实例,如果计算出的QC2值为18,从表2所给出的参数可以确定QC2属于的取值区间为16≤QC2≤64,则对应的反量化所述第一变换系数集的量化矩阵4×4量化矩阵为表2第三列所示的4×4量化矩阵。
方法四:从码流中获取所述第一变换系数集对应的第一量化步长;利用所述第一量化步长对所述第一变换系数集中的变换系数进行反量化,以得到第三变换系数集中的变换系数;利用所述计算得到的第二量化调节因子对所述第三变换系数集中的变换系数进行缩放,以得到第二变换系数集。
一种具体的实现方式下,先用第一量化步长Qs(i)对第一变换系数集中的变换系数A(i)进行反量化得到第三变换系数集中的变换系数B(i),即B(i)=sign{A(i)}·round{A(i)·Qs(i)+o4(i)},再利用第二量化调节因子QC2对B(i)进行缩放并取整得到第二变换系数中的变换系数R(i),即R(i)=sign{B(i)}·round{B(i)·QC2+o5(i)},其中o4和o5为舍入偏置。
步骤509B,基于默认值的第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集;
步骤511,对所述第二变换系数集进行反变换,以得到当前解码图像块的残差;
步骤513,基于当前解码图像块的残差和所述当前解码图像块的预测块对当前解码图像块进行重建。
步骤515,结束。
由上可见,本发明实施例所提供的方案,一方面,解码端通过码流中明文地或隐含地包含于码流中的自适应反量化开关标志判断哪些图像块需要使用自适应反量化过程,而哪些图像块不需要使用自适应反量化过程,从而避免错误调节反量化过程,尤其是避免错误调节量化步长;另一方面,针对需要使用自适应反量化过程的图像块,在解码端利用当前解码图像块(即变换块)的空间邻域像素信息来模拟当前解码图像块对应的原始像素信息。综合考虑前述空间邻域像素信息以及从码流中解码出的条带级或条带段级的量化调节因子调节参数,自适应地推导用于当前图像块(即变换块)的量化调节因子,并基于自适应推导的量化调节因子来调节当前图像块对应的第一变换系数集的反量化过程,实现了在视频编码或解码过程中,在稳定条带码率的同时灵活地调节反量化处理,使得量化失真强度更符合人眼视觉感知,从而提高了编解码性能。具体地,本申请实施例引入量化调节因子调节参数,基于自适应确定的第一量化调节因子与该量化调节因子调节参数的乘积来直接地或间接地调节当前图像块的量化步长,可以使得条带码率的下降幅度变小,达到稳定条带码率的效果。
进一步的,相比于在码流中传输块级的量化调节信息的现有方案,本发明实施例在码流中传输条带级或条带段级的量化调节因子调节参数的方案减少了比特开销,因此进一步提高了编解码性能。
图7为本申请实施例的视频编码器20中的量化模块54的一种示意性框图。该量化模块54可以包括:
获取单元541,用于获取第四变换系数集对应的当前编码图像块的空间邻域像素信息;其中,一并参阅图6,所述空间邻域像素信息包括当前图像块X(亦称为图像区域X)的空间邻域Y中的至少一个像素的重建值。其中,第四变换系数集是视频编码器20对当前编码图像块的原始块和至少一个预测块之间的残差进行变换得到的;
计算单元543,用于根据当前编码图像块的空间邻域像素信息,(例如通过计算或查表的方式)确定用于当前编码图像块的第三量化调节因子;并基于量化调节因子调节参数与所述第三量化调节因子,得到用于当前编码图像块的第四量化调节因子,所述量化调节因子调节参数是基于当前条带或当前编码图像中的多个图像块的量化调节因子的几何平均值而确定的;在不同示例下,计算单元543具体用于基于量化调节因子调节参数与所述第三量化调节因子的乘积,得到用于当前编码图像块的第四量化调节因子;或者,计算单元543具体用于基于量化调节因子调节参数与所述第三量化调节因子的和,得到用于当前编码图像块的第四量化调节因子;
量化单元545,用于基于所述第四量化调节因子对第四变换系数集进行量化,以得到第五变换系数集,所述第五变换系数集对应于当前编码图像块的残差。
在本发明实施例中,在一种实现方式下,计算单元543具体用于根据像素均值Pavg的第一分段函数f1(Pavg)计算所述第三量化调节因子或根据像素均值Pavg查表得到与像素均值Pavg对应的第三量化调节因子,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值;基于所述量化调节因子调节参数与所述第三量化调节因子的乘积,得到用于当前编码图像块的第四量化调节因子;或者,基于所述量化调节因子调节参数与所述第三量化调节因子的和,得到用于当前编码图像块的第四量化调节因子。
在另一种实现方式下,计算单元543具体用于根据像素差值Pcon的第二分段函数f2(Pcon)计算所述第三量化调节因子或根据像素差值Pcon查表得到与像素差值Pcon对应的第三量化调节因子;其中,所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与像素均值Pavg的平均绝对误差和,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值;基于所述量化调节因子调节参数与所述第三量化调节因子的乘积,得到用于当前编码图像块的第四量化调节因子;或者,基于所述量化调节因子调节参数与所述第三量化调节因子的和,得到用于当前编码图像块的第四量化调节因子。
在再一种实现方式下,计算单元543具体用于根据像素差值Pcon和像素均值Pavg的第三函数f3(f1(Pavg),f2(Pcon))计算所述第三量化调节因子;其中,所述像素均值Pavg是所述空间邻域像素信息对应的多个像素的亮度分量求平均得到的均值;所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与所述像素均值Pavg的平均绝对误差和;基于所述量化调节因子调节参数与所述第三量化调节因子的乘积,得到用于当前编码图像块的第四量化调节因子;或者,基于所述量化调节因子调节参数与所述第三量化调节因子的和,得到用于当前编码图像块的第四量化调节因子。
为减少计算复杂度,上述函数计算也可以使用查表法来代替。即,在又一种实现方式下,计算单元543具体用于根据预设对应关系,确定与当前图像块的空间邻域像素信息的统计特性(例如当前编码图像块的像素均值Pavg和/或像素差值Pcon)对应的第三量化调节因子;并基于所述量化调节因子调节参数与所述第三量化调节因子的乘积,得到用于当前编码图像块的第四量化调节因子;或者,基于所述量化调节因子调节参数与所述第三量化调节因子的和,得到用于当前编码图像块的第四量化调节因子;其中,所述对应关系包括多个量化调节因子与多组空间邻域像素信息的统计特性的对应关系;在不同示例下,所述对应关系包括多个量化调节因子(例如多个f1(Pavg)的数值)与多个像素均值(例如多个Pavg的数值)的对应关系,或者所述对应关系包括多个量化调节因子(例如多个f2(Pcon)的数值)与多个像素差值(例如多个Pcon的数值)的对应关系。
应当理解的是,量化过程与量化步长直接相关,而量化步长则受到量化参数QP、缩放因子、电平尺度表的影响。视频编码器可以通过直接或间接地调节量化步长来实现第四变换系数集的自适应量化过程。
在本发明实施例中,在一种实现方式下,量化单元545具体用于根据预设的第三对应关系确定所述第四量化调节因子对应的目标电平尺度表;其中,所述第三对应关系包括多个量化调节因子与多个电平尺度表的对应关系;根据所述目标电平尺度表量化所述第四变换系数集,以得到所述第五变换系数集。
在另一种实现方式下,量化单元545具体用于根据预设的第四对应关系确定所述第四量化调节因子对应的目标量化矩阵;其中,所述第四对应关系包括多个量化调节因子与多个量化矩阵(亦称为缩放因子矩阵)的对应关系;根据所述目标量化矩阵量化所述第四变换系数集,以得到所述第五变换系数集。
在再一种实现方式下,量化单元545具体用于获取所述第四变换系数集对应的原始量化步长(亦称为第三量化步长);利用所述第四量化调节因子对所述原始量化步长进行缩放,以得到第四量化步长,利用所述第四量化步长量化所述第四变换系数集,以得到所述第五变换系数集。
在又一种实现方式下,量化单元545具体用于获取所述第四变换系数集对应的原始量化步长(亦称为第三量化步长);利用所述第三量化步长对所述第四变换系数集中的变换系数进行量化,以得到第七变换系数集中的变换系数;利用所述第四量化调节因子对所述第七变换系数集中的变换系数进行缩放,以得到所述第五变换系数集。
详细细节请参见本文中对视频数据编码方法的介绍,为简洁起见,这里不再赘述。
图8为本申请实施例的视频解码器30中的反量化模块86的一种示意性框图。该反量化模块86可以包括:
获取单元861,用于获取第一变换系数集对应的当前解码图像块的空间邻域像素信息;其中,一并参阅图6,所述空间邻域像素信息包括图像块X(亦称为图像区域X)的空间邻域Y中的至少一个像素的重建值。
计算单元863,用于根据当前解码图像块的空间邻域像素信息,(例如通过计算或查表的方式)确定用于当前解码图像块的第一量化调节因子;并基于量化调节因子调节参数与所述一量化调节因子,得到用于当前解码图像块的第二量化调节因子;在不同示例下,计算单元863具体用于基于量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;或者,计算单元863具体用于基于量化调节因子调节参数与所述第一量化调节因子的和,得到用于当前解码图像块的第二量化调节因子;
反量化单元865,用于基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集。
在本发明实施例中,在一种实现方式下,计算单元863具体用于根据像素均值Pavg的第一分段函数f1(Pavg)计算所述第一量化调节因子或根据像素均值Pavg查表得到与像素均值Pavg对应的第一量化调节因子,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值;基于所述量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;或者,基于所述量化调节因子调节参数与所述第一量化调节因子的和,得到用于当前解码图像块的第二量化调节因子。
在另一种实现方式下,计算单元863具体用于根据像素差值Pcon的第二分段函数f2(Pcon)计算所述第一量化调节因子或根据像素差值Pcon查表得到与像素差值Pcon对应的第一量化调节因子;其中,所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与像素均值Pavg的平均绝对误差和,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值;基于所述量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;或者,基于所述量化调节因子调节参数与所述第一量化调节因子的和,得到用于当前解码图像块的第二量化调节因子。
在再一种实现方式下,计算单元863具体用于根据像素差值Pcon和像素均值Pavg的第三函数f3(f1(Pavg),f2(Pcon))计算所述第一量化调节因子;其中,所述像素均值Pavg是所述空间邻域像素信息对应的多个像素的亮度分量求平均得到的均值;所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与所述像素均值Pavg的平均绝对误差和;基于所述量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;或者,基于所述量化调节因子调节参数与所述第一量化调节因子的和,得到用于当前解码图像块的第二量化调节因子。
为减少计算复杂度,上述函数计算也可以使用查表法来代替。相应地,在又一种实现方式下,计算单元863具体用于根据预设对应关系,确定与当前图像块的空间邻域像素信息的统计特性(例如当前解码图像块的像素均值Pavg和/或像素差值Pcon)对应的第一量化调节因子;并基于所述量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;或者基于所述量化调节因子调节参数与所述第一量化调节因子的和,得到用于当前解码图像块的第二量化调节因子;其中,所述对应关系包括多个量化调节因子与多组空间邻域像素信息的统计特性的对应关系;在不同示例下,所述对应关系包括多个量化调节因子与多个像素均值的对应关系,或者所述对应关系包括多个量化调节因子与多个像素差值的对应关系。
应当理解的是,反量化过程与量化步长直接相关,而量化步长则受到量化参数QP、缩放因子、电平尺度表的影响。视频解码器可以通过直接或间接地调节量化步长来实现第一变换系数集的自适应量化过程。
在本发明实施例中,在一种实现方式下,反量化单元865具体用于根据预设的第一对应关系确定所述第二量化调节因子对应的目标电平尺度表;其中,所述第一对应关系包括多个量化调节因子与多个电平尺度表的一一对应关系;根据所述目标电平尺度表反量化所述第一变换系数集,以得到所述第二变换系数集。
在另一种实现方式下,反量化单元865具体用于根据预设的第二对应关系确定所述第二量化调节因子对应的目标量化矩阵;其中,所述第二对应关系包括多个量化调节因子与多个量化矩阵的对应关系;根据所述目标量化矩阵反量化所述第一变换系数集,以得到所述第二变换系数集。
在再一种实现方式下,反量化单元865具体用于从码流中获取所述第一变换系数集对应的基础量化步长(亦称为第一量化步长);利用所述第二量化调节因子对所述第一量化步长进行缩放,以得到第二量化步长,利用所述第二量化步长反量化所述第一变换系数集,以得到所述第二变换系数集。
在又一种实现方式下,反量化单元865具体用于从码流中获取所述第一变换系数集对应的基础量化步长(亦称为第一量化步长);利用所述第一量化步长对所述第一变换系数集中的变换系数进行反量化,以得到第三变换系数集中的变换系数;利用所述第二量化调节因子对所述第三变换系数集中的变换系数进行缩放,以得到所述第二变换系数集。
详细细节请参见本文中对视频数据解码方法的介绍,为简洁起见,这里不再赘述。
图9为本申请实施例的编码设备或解码设备(简称为译码设备900)的一种实现方式的示意性框图。在本申请中,术语“视频译码”或“译码”可一般地指代视频编码或视频解码。其中,译码设备900可以包括处理器910、存储器930和总线系统950。其中,处理器和存储器通过总线系统相连,该存储器用于存储指令,该处理器用于执行该存储器存储的指令。编码设备的存储器存储程序代码,且处理器可以调用存储器中存储的程序代码执行本申请描述的各种视频编码或解码方法,尤其是用于视频编码或解码中自适应反量化方法。为避免重复,这里不再详细描述。
在本申请实施例中,该处理器910可以是中央处理单元(Central ProcessingUnit,简称为“CPU”),该处理器910还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器930可以包括只读存储器(ROM)设备或者随机存取存储器(RAM)设备。任何其他适宜类型的存储设备也可以用作存储器930。存储器930可以包括由处理器910使用总线950访问的代码和数据931。存储器930可以进一步包括操作系统933和应用程序935,该应用程序935包括允许处理器910执行本申请描述的视频编码或解码方法(尤其是本申请前述各实施例描述的用于视频编码或解码中自适应反量化方法)的至少一个程序。例如,应用程序935可以包括应用1至N,其进一步包括执行在本申请前述各实施例描述的视频编码或解码方法的视频编码或解码应用(简称视频译码应用)。
该总线系统950除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线系统950。
可选的,译码设备900还可以包括一个或多个输出设备,诸如显示器970。在一个示例中,显示器970可以是触感显示器,其将显示器与可操作地感测触摸输入的触感单元合并。显示器970可以经由总线950连接到处理器910。
本领域技术人员能够领会,结合本文公开描述的各种说明性逻辑框、模块和算法步骤所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施,那么各种说明性逻辑框、模块、和步骤描述的功能可作为一或多个指令或代码在计算机可读媒体上存储或传输,且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体,其对应于有形媒体,例如数据存储媒体,或包括任何促进将计算机程序从一处传送到另一处的媒体(例如,根据通信协议)的通信媒体。以此方式,计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体,或(2)通信媒体,例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本申请中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
作为实例而非限制,此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。并且,任何连接被恰当地称作计算机可读媒体。举例来说,如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令,那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。但是,应理解,所述计算机可读存储媒体和数据存储媒体并不包括连接、载波、信号或其它暂时媒体,而是实际上针对于非暂时性有形存储媒体。如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
可通过例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此,如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外,在一些方面中,本文中所描述的各种说明性逻辑框、模块、和步骤所描述的功能可以提供于经配置以用于编码和解码的专用硬件和/或软件模块内,或者并入在组合编解码器中。而且,所述技术可完全实施于一或多个电路或逻辑元件中。
本申请的技术可在各种各样的装置或设备中实施,包含无线手持机、集成电路(IC)或一组IC(例如,芯片组)。本申请中描述各种组件、模块或单元是为了强调用于执行所揭示的技术的装置的功能方面,但未必需要由不同硬件单元实现。实际上,如上文所描述,各种单元可结合合适的软件和/或固件组合在编码解码器硬件单元中,或者通过互操作硬件单元(包含如上文所描述的一或多个处理器)来提供。
以上所述,仅为本申请示例性的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。

Claims (32)

1.一种视频解码器,其特征在于,包括:
熵解码模块,用于从码流中获取量化调节因子调节参数和获取第一变换系数集,所述第一变换系数集对应于当前解码图像块的残差,所述量化调节因子调节参数为条带级或条带段级的量化调节因子调节参数;
反量化模块,用于根据当前解码图像块的空间邻域像素信息,确定用于当前解码图像块的第一量化调节因子;基于所述量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集;
反变换模块,用于对所述第二变换系数集进行反变换,以得到当前解码图像块的残差;
预测模块,用于生成当前解码图像块的预测块;
重建模块,用于基于当前解码图像块的残差和所述当前解码图像块的预测块对当前解码图像块进行重建。
2.如权利要求1所述的视频解码器,其特征在于,所述熵解码模块具体用于从码流中获取用于指示量化调节因子调节参数的索引信息,所述索引信息指向所述量化调节因子调节参数。
3.如权利要求1所述的视频解码器,其特征在于,所述反量化模块包括:
获取单元,用于获取当前解码图像块的空间邻域像素信息;
计算单元,用于根据像素均值Pavg的第一分段函数f1(Pavg)计算所述第一量化调节因子,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值;基于所述量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;
反量化单元,用于基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集。
4.如权利要求1所述的视频解码器,其特征在于,所述反量化模块包括:
获取单元,用于获取当前解码图像块的空间邻域像素信息;
计算单元,用于根据像素差值Pcon的第二分段函数f2(Pcon)计算所述第一量化调节因子;其中,所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与像素均值Pavg的平均绝对误差和,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值;基于所述量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;
反量化单元,用于基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集。
5.如权利要求1所述的视频解码器,其特征在于,所述反量化模块包括:
获取单元,用于获取当前解码图像块的空间邻域像素信息;
计算单元,用于根据像素差值Pcon和像素均值Pavg的第三函数f3(f1(Pavg),f2(Pcon))计算所述第一量化调节因子;其中,所述像素均值Pavg是所述空间邻域像素信息对应的多个像素的亮度分量求平均得到的均值;所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与所述像素均值Pavg的平均绝对误差和;基于所述量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;
反量化单元,用于基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集。
6.如权利要求3至5任一项所述的视频解码器,其特征在于,所述反量化单元具体用于:
根据预设的第一对应关系确定所述第二量化调节因子对应的目标电平尺度表;其中,所述第一对应关系包括多个量化调节因子与多个电平尺度表的对应关系;
根据所述目标电平尺度表反量化所述第一变换系数集,以得到所述第二变换系数集。
7.如权利要求3至5任一项所述的视频解码器,其特征在于,所述反量化单元具体用于:
根据预设的第二对应关系确定所述第二量化调节因子对应的目标量化矩阵;其中,所述第二对应关系包括多个量化调节因子与多个量化矩阵的对应关系;
根据所述目标量化矩阵反量化所述第一变换系数集,以得到所述第二变换系数集。
8.如权利要求3至5任一项所述的视频解码器,其特征在于,所述反量化单元具体用于:
从码流中获取所述第一变换系数集对应的第一量化步长;
利用所述第二量化调节因子对所述第一量化步长进行缩放,以得到第二量化步长;
利用所述第二量化步长反量化所述第一变换系数集,以得到所述第二变换系数集。
9.如权利要求3至5任一所述的视频解码器,其特征在于,所述反量化单元具体用于:
从码流中获取所述第一变换系数集对应的第一量化步长;
利用所述第一量化步长对所述第一变换系数集中的变换系数进行反量化,以得到第三变换系数集中的变换系数;
利用所述第二量化调节因子对所述第三变换系数集中的变换系数进行缩放,以得到所述第二变换系数集。
10.一种视频解码器,其特征在于,所述视频解码器包括:
熵解码模块,用于判断当前解码图像块是否使用自适应反量化过程;
所述熵解码模块还用于从码流中获取量化调节因子调节参数和获取第一变换系数集,所述第一变换系数集对应于当前解码图像块的残差,所述量化调节因子调节参数为条带级或条带段级的量化调节因子调节参数;
反量化模块,用于在所述熵解码模块确定当前解码图像块使用自适应反量化过程的情况下,根据当前解码图像块的空间邻域像素信息,确定用于当前解码图像块的第一量化调节因子;基于所述量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集;
反变换模块,用于对所述第二变换系数集进行反变换,以得到当前解码图像块的残差;
预测模块,用于生成当前解码图像块的预测块;
重建模块,用于基于当前解码图像块的残差和所述当前解码图像块的预测块,对当前解码图像块进行重建。
11.如权利要求10所述的视频解码器,其特征在于,所述熵解码模块具体用于根据明文地或隐含地包含于码流中的自适应反量化开关标志判断当前解码图像块是否使用自适应反量化过程,所述自适应反量化开关标志用于指示当前解码图像块的反量化过程中使用的第二量化调节因子是否为默认值。
12.如权利要求10所述的视频解码器,其特征在于,所述反量化模块包括:
获取单元,用于获取当前解码图像块的空间邻域像素信息;
计算单元,用于根据像素均值Pavg的第一分段函数f1(Pavg)计算所述第一量化调节因子,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值;基于所述量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;
反量化单元,用于基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集。
13.如权利要求10所述的视频解码器,其特征在于,所述反量化模块包括:
获取单元,用于获取当前解码图像块的空间邻域像素信息;
计算单元,用于根据像素差值Pcon的第二分段函数f2(Pcon)计算所述第一量化调节因子;其中,所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与像素均值Pavg的平均绝对误差,所述像素均值Pavg是所述空间邻域像素信息对应的多个像素的亮度分量求平均得到的均值;基于所述量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;
反量化单元,用于基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集。
14.如权利要求10所述的视频解码器,其特征在于,所述反量化模块包括:
获取单元,用于获取当前解码图像块的空间邻域像素信息;
计算单元,用于根据像素差值Pcon和像素均值Pavg的第三函数f3(f1(Pavg),f2(Pcon))计算所述第一量化调节因子;其中,所述像素均值Pavg是所述空间邻域像素信息对应的多个像素的亮度分量求平均得到的均值,所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与所述像素均值Pavg的平均绝对误差和;基于所述量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;
反量化单元,用于基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集。
15.如权利要求12至14任一项所述的视频解码器,其特征在于,所述反量化单元具体用于:
根据预设的第一对应关系确定所述第二量化调节因子对应的目标电平尺度表;其中,所述第一对应关系包括多个量化调节因子与多个电平尺度表的对应关系;
根据所述目标电平尺度表反量化所述第一变换系数集,以得到所述第二变换系数集。
16.如权利要求12至14任一项所述的视频解码器,其特征在于,所述反量化单元具体用于:
根据预设的第二对应关系确定所述第二量化调节因子对应的目标量化矩阵;其中,所述第二对应关系包括多个量化调节因子与多个量化矩阵的对应关系;
根据所述目标量化矩阵反量化所述第一变换系数集,以得到所述第二变换系数集。
17.如权利要求12至14任一项所述的视频解码器,其特征在于,所述反量化单元具体用于:
从所述码流中获取所述第一变换系数集对应的第一量化步长;
利用所述第二量化调节因子对所述第一量化步长进行缩放,以得到第二量化步长;
利用所述第二量化步长反量化所述第一变换系数集,以得到所述第二变换系数集。
18.如权利要求12至14任一项所述的视频解码器,其特征在于,所述反量化单元具体用于:
从所述码流中获取所述第一变换系数集对应的第一量化步长;
利用所述第一量化步长对所述第一变换系数集中的变换系数进行反量化,以得到第三变换系数集中的变换系数;
利用所述第二量化调节因子对所述第三变换系数集中的变换系数进行缩放,以得到所述第二变换系数集。
19.一种视频数据解码方法,其特征在于,该方法包括:
从码流中获取量化调节因子调节参数和获取第一变换系数集,所述第一变换系数集对应于当前解码图像块的残差,所述量化调节因子调节参数为条带级或条带段级的量化调节因子调节参数;
根据当前解码图像块的空间邻域像素信息,确定用于当前解码图像块的第一量化调节因子;
基于所述量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子;
基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集;
对所述第二变换系数集进行反变换,以得到当前解码图像块的残差;
基于当前解码图像块的残差和所述当前解码图像块的预测块,对当前解码图像块进行重建。
20.如权利要求19所述的方法,其特征在于,所述从码流中获取量化调节因子调节参数,包括:
从码流中获取用于指示量化调节因子调节参数的索引信息,所述索引信息指向所述量化调节因子调节参数。
21.如权利要求19所述的方法,其特征在于,所述根据当前解码图像块的空间邻域像素信息,确定用于当前解码图像块的第一量化调节因子,包括:
获取当前解码图像块的空间邻域像素信息;
根据像素均值Pavg的第一分段函数f1(Pavg)计算所述第一量化调节因子,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值。
22.如权利要求19所述的方法,其特征在于,所述根据当前解码图像块的空间邻域像素信息,确定用于当前解码图像块的第一量化调节因子,包括:
获取当前解码图像块的空间邻域像素信息;
根据像素差值Pcon的第二分段函数f2(Pcon)计算所述第一量化调节因子;其中,所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与像素均值Pavg的平均绝对误差和,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值。
23.如权利要求19所述的方法,其特征在于,所述根据当前解码图像块的空间邻域像素信息,确定用于当前解码图像块的第一量化调节因子,包括:
获取当前解码图像块的空间邻域像素信息;
根据像素差值Pcon和像素均值Pavg的第三函数f3(f1(Pavg),f2(Pcon))计算所述第一量化调节因子;其中,所述像素均值Pavg是所述空间邻域像素信息对应的多个像素的亮度分量求平均得到的均值;所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与所述像素均值Pavg的平均绝对误差和。
24.如权利要求19至23任一项所述的方法,其特征在于,所述基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集,包括:
根据预设的第一对应关系确定所述第二量化调节因子对应的目标电平尺度表;其中,所述第一对应关系包括多个量化调节因子与多个电平尺度表的对应关系;
根据所述目标电平尺度表反量化所述第一变换系数集,以得到所述第二变换系数集。
25.如权利要求19至23任一项所述的方法,其特征在于,所述基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集,包括:
根据预设的第二对应关系确定所述第二量化调节因子对应的目标量化矩阵;其中,所述第二对应关系包括多个量化调节因子与多个量化矩阵的对应关系;
根据所述目标量化矩阵反量化所述第一变换系数集,以得到所述第二变换系数集。
26.如权利要求19至23任一项所述的方法,其特征在于,所述基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集,包括:
从码流中获取所述第一变换系数集对应的第一量化步长;
利用所述第二量化调节因子对所述第一量化步长进行缩放,以得到第二量化步长;
利用所述第二量化步长反量化所述第一变换系数集,以得到所述第二变换系数集。
27.如权利要求19至23任一所述的方法,其特征在于,所述基于所述第二量化调节因子对所述第一变换系数集进行反量化,以得到第二变换系数集,包括:
从码流中获取所述第一变换系数集对应的第一量化步长;
利用所述第一量化步长对所述第一变换系数集中的变换系数进行反量化,以得到第三变换系数集中的变换系数;
利用所述第二量化调节因子对所述第三变换系数集中的变换系数进行缩放,以得到所述第二变换系数集。
28.一种视频数据解码方法,其特征在于,该方法包括:
判断当前解码图像块是否使用自适应反量化过程;
在确定当前解码图像块使用自适应反量化过程的情况下,根据当前解码图像块的空间邻域像素信息,确定用于当前解码图像块的第一量化调节因子;
基于从码流中获取的量化调节因子调节参数与所述第一量化调节因子的乘积,得到用于当前解码图像块的第二量化调节因子,所述量化调节因子调节参数为条带级或条带段级的量化调节因子调节参数;
基于所述第二量化调节因子对第一变换系数集进行反量化,以得到第二变换系数集,所述第一变换系数集对应于当前解码图像块的残差;
对所述第二变换系数集进行反变换,以得到当前解码图像块的残差;
基于当前解码图像块的残差和所述当前解码图像块的预测块,对当前解码图像块进行重建。
29.如权利要求28所述的方法,其特征在于,所述判断当前解码图像块是否使用自适应反量化过程,包括:
根据明文地或隐含地包含于码流中的自适应反量化开关标志判断当前解码图像块是否使用自适应反量化过程,所述自适应反量化开关标志用于指示当前解码图像块的反量化过程中使用的第二量化调节因子是否为默认值。
30.如权利要求28或29所述的方法,其特征在于,所述根据当前解码图像块的空间邻域像素信息,确定用于当前解码图像块的第一量化调节因子,包括:
获取当前解码图像块的空间邻域像素信息;
根据像素差值Pcon的第二分段函数f2(Pcon)计算所述第一量化调节因子;其中,所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与像素均值Pavg的平均绝对误差和,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值。
31.如权利要求28或29所述的方法,其特征在于,所述根据当前解码图像块的空间邻域像素信息,确定用于当前解码图像块的第一量化调节因子,包括:
获取当前解码图像块的空间邻域像素信息;
根据像素差值Pcon和像素均值Pavg的第三函数f3(f1(Pavg),f2(Pcon))计算所述第一量化调节因子;其中,所述像素均值Pavg是所述空间邻域像素信息所对应的多个像素的亮度分量求平均得到的均值,所述像素差值Pcon为所述空间邻域像素信息对应的多个像素的亮度分量与所述像素均值Pavg的平均绝对误差和。
32.一种电子设备,包括如权利要求1至18任一项所述的视频解码器。
CN201711080706.3A 2017-11-06 2017-11-06 视频数据解码方法及装置 Active CN109756733B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201711080706.3A CN109756733B (zh) 2017-11-06 2017-11-06 视频数据解码方法及装置
PCT/CN2018/113986 WO2019086033A1 (zh) 2017-11-06 2018-11-05 视频数据解码方法及装置
TW107139328A TW201919398A (zh) 2017-11-06 2018-11-06 視頻數據解碼方法及裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711080706.3A CN109756733B (zh) 2017-11-06 2017-11-06 视频数据解码方法及装置

Publications (2)

Publication Number Publication Date
CN109756733A CN109756733A (zh) 2019-05-14
CN109756733B true CN109756733B (zh) 2022-04-12

Family

ID=66332859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711080706.3A Active CN109756733B (zh) 2017-11-06 2017-11-06 视频数据解码方法及装置

Country Status (3)

Country Link
CN (1) CN109756733B (zh)
TW (1) TW201919398A (zh)
WO (1) WO2019086033A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263650B (zh) * 2019-05-22 2022-02-22 北京奇艺世纪科技有限公司 行为类别检测方法、装置、电子设备和计算机可读介质
CN112738518B (zh) * 2019-10-28 2022-08-19 北京博雅慧视智能技术研究院有限公司 一种基于感知的ctu级视频编码的码率控制方法
CN113766227B (zh) * 2020-06-06 2023-07-11 华为技术有限公司 用于图像编码和解码的量化和反量化方法及装置
CN114727108A (zh) * 2021-01-04 2022-07-08 北京金山云网络技术有限公司 量化因子调整方法、装置、电子设备及存储介质
CN115474062B (zh) * 2022-11-10 2023-04-28 苏州浪潮智能科技有限公司 一种提高jpeg压缩质量的方法、系统、芯片以及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9628825B2 (en) * 2012-01-20 2017-04-18 Fujitsu Limited Video decoder, video encoder, video decoding method, and video encoding method

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8005139B2 (en) * 2004-06-27 2011-08-23 Apple Inc. Encoding with visual masking
JP4988567B2 (ja) * 2004-06-27 2012-08-01 アップル インコーポレイテッド マルチパスのビデオ符号化
US8503536B2 (en) * 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
CN100464585C (zh) * 2006-05-16 2009-02-25 华为技术有限公司 一种视频压缩方法
JP5363302B2 (ja) * 2009-12-24 2013-12-11 株式会社メガチップス 画像符号化装置及び画像変換装置
CN102685491B (zh) * 2012-03-02 2015-01-28 中兴通讯股份有限公司 一种实现视频编码的方法和系统
US20140269901A1 (en) * 2013-03-13 2014-09-18 Magnum Semiconductor, Inc. Method and apparatus for perceptual macroblock quantization parameter decision to improve subjective visual quality of a video signal
CN105338352B (zh) * 2014-07-24 2019-04-19 华为技术有限公司 一种视频编码中自适应反量化方法及装置
US10284849B2 (en) * 2015-04-13 2019-05-07 Qualcomm Incorporated Quantization parameter (QP) calculation for display stream compression (DSC) based on complexity measure
CN104994382B (zh) * 2015-04-30 2017-12-19 西安电子科技大学 一种感知率失真的优化方法
KR102139159B1 (ko) * 2015-11-06 2020-07-29 후아웨이 테크놀러지 컴퍼니 리미티드 변환 계수의 역양자화 방법 및 장치, 그리고 디코딩 기기

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9628825B2 (en) * 2012-01-20 2017-04-18 Fujitsu Limited Video decoder, video encoder, video decoding method, and video encoding method

Also Published As

Publication number Publication date
CN109756733A (zh) 2019-05-14
TW201919398A (zh) 2019-05-16
WO2019086033A1 (zh) 2019-05-09

Similar Documents

Publication Publication Date Title
US10021419B2 (en) Rice parameter initialization for coefficient level coding in video coding process
US9883203B2 (en) Adaptive overlapped block motion compensation
CN109756733B (zh) 视频数据解码方法及装置
KR102031468B1 (ko) 팔레트 모드 코딩을 위한 이스케이프 픽셀들 코딩
EP3713232A1 (en) Video coding using mapped transforms and scanning modes
WO2016196307A1 (en) Advanced arithmetic coder
JP7389898B2 (ja) 残差及び係数のコーディングの方法及び装置
EP3117615A1 (en) Deblock filtering using pixel distance
WO2019125787A1 (en) Probability initialization and signaling for adaptive arithmetic coding in video coding
PH12014502365B1 (en) Quantization parameter (qp) coding in video coding
KR20160114087A (ko) 낮은 복잡도 샘플의 적응적 오프셋 인코딩
EP2774363A2 (en) Intra-mode video coding
WO2012044935A1 (en) Coding prediction modes in video coding
EP2984827A1 (en) Sample adaptive offset scaling based on bit-depth
KR20140016983A (ko) 비디오 코딩을 위한 런-모드 기반 계수 코딩
JP2021530909A (ja) ルマ・イントラ・モード・シグナリング
CN110536133B (zh) 视频数据解码方法及装置
CN116489373A (zh) 一种图像解码方法、编码方法及装置
KR20220071283A (ko) 4:4:4 크로마 포맷의 비디오 코딩 방법 및 장치
JP7349028B2 (ja) パレットモードを使用するビデオ符号化の方法及び装置
WO2021207035A1 (en) Methods and apparatus on transform and coefficient signaling
CN116668705A (zh) 一种图像解码方法、编码方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant