CN103841419B - 基于人眼视觉特性的hevc量化矩阵设计 - Google Patents

Abstract

本发明专利涉及一种HEVC视频编码标准的量化矩阵设计，使用一种基于DCT变换的MTF函数设计HEVC视频编码标准的量化矩阵，并针对HEVC整数DCT变换与DCT变换的差别对量化矩阵进行校正调整，所设计的量化矩阵包括亮度分量，色度分量8×8以及4×4的整数DCT帧内、帧间量化矩阵以及4×4 DST变换的帧内量化矩阵。本发明在相同的视频质量下能获得更高的编码效率，所得的码流保持与HEVC编码标准的兼容且不改变编码的复杂度，这种量化矩阵对于基于DCT变换的其他视频编码标准同样适用，如H.264/AVC、AVS以及AVS2。

Description

基于人眼视觉特性的HEVC量化矩阵设计

技术领域

本发明专利涉及一种基于HEVC（High Efficiency Video Coding）视频编码标准的量化矩阵设计，尤其涉及一种基于视觉特性的视频图像量化方法。

背景技术

在视频编码与传输应用中，新一代高性能视频编码标准（HEVC，High EfficiencyVideo Coding）由ISO-IEC/MPEG和ITU-T/VCEG两大国际标准化组织成立的视频编码联合开发小组(JCT-VC)开发，与H.264/AVC相比，在相同的视觉质量下，HEVC能使比特率降低一半。

作为新一代视频编码标准，HEVC仍然属于预测加变换的混合编码框架，它也包含了帧内预测、帧间预测、正交变换、量化、滤波、熵编码等编码模块，但在各个编码环节都进行了细致的优化与改进，HEVC标准编码方法如附图1所示。在正交变换环节，HEVC对预测残差采用多尺寸整数离散余弦变换（DCT，Discrete Cosine Transform），变换尺寸可以为32x32,16x16,8x8等大小，对有些4x4的帧内预测亮度分量采用离散正弦变换（DST，Discrete Sine Transform）。正交变换后的残差系数主要采用均匀量化的方法，同一变换块中的不同频率系数使用相同的量化步长。实际上，人眼对不同频率系数的敏感度是不同的，因此HEVC同时支持并提供了一种基于视觉特性的量化矩阵，通过这个缺省的量化矩阵可以用不同的量化步长对不同频率系数进行量化。

调制传递函数（MTF，Modulation Transfer Function）体现了人眼对不同空间频率的敏感程度，基于视觉特性的不均匀量化矩阵主要基于MTF函数进行设计。MTF函数在早期的图像编码应用中主要面向DFT变换，并被延续到HEVC的缺省量化矩阵的设计，HEVC的缺省量化矩阵如附图2所示，模块（11）完成对亮度色度分量帧内预测8×8整数DCT系数的量化；模块（12）完成对亮度色度分量帧内预测4×4整数DCT系数的量化；模块（13）完成对亮度色度分量帧间预测8×8整数DCT系数的量化；模块（14）完成对亮度色度分量帧间预测4×4整数DCT系数的量化；模块（15）完成对亮度分量帧内预测4×4整数DST系数的量化。本发明专利使用一种基于DCT变换的MTF函数，并将其用于改进HEVC的量化矩阵。由于HEVC在变换编码模块采用的是经过伸缩扩展的整数DCT变换，这种正交变换类似于DCT，但实际上还有所区别，因此需要对形成的量化矩阵进行校正；此外，HEVC对DST变换系数采用与DCT相同的量化矩阵，而这两种变换的某些系数所反映的空间频率是不同的，因此本发明专利还设计一种基于DST变换的量化矩阵。

与HEVC缺省量化矩阵相比，本发明专利的量化矩阵在高频部分能去除更多的视觉冗余，同时减少中频系数的量化步长，保留较多的中频细节，由于人眼对中频系数也相对敏感，对高频系数敏感性最差，因此本发明专利的量化矩阵更适用于HEVC编码，能在保持视频图像视觉质量的同时达到更高的压缩效率。

发明内容

本发明的目的是提供一种基于人眼视觉特性的HEVC量化矩阵设计，该量化矩阵在相同的视频质量下能获得更高的编码效率，所得的码流保持与HEVC编码标准的兼容且不改变编码的复杂度，这种量化矩阵对于基于DCT变换的其他视频编码标准同样适用。

本发明采用以下方案实现：一种基于人眼视觉特性的HEVC量化矩阵设计，其特征在于：使用一种基于DCT变换的MTF函数设计HEVC视频编码标准的量化矩阵，并针对HEVC整数DCT变换与DCT变换的差别对量化矩阵进行校正，所设计的量化矩阵包括

整数DCT8×8帧内量化矩阵

16	16	16	16	16	17	19	22
								16	16	16	16	16	17	20	24
16	16	15	15	17	19	22	26
								15	16	15	19	22	26	30	36
16	16	17	22	28	35	43	51
								17	17	19	26	35	48	62	75
19	20	22	30	43	62	84	108
								22	24	26	36	51	75	108	149

，完成对亮度色度分量帧内预测8×8整数DCT系数的量化；

整数DCT4×4帧内量化矩阵

16	16	16	19
				16	15	17	22
16	17	28	43
				19	22	43	84

，完成对亮度色度分量帧内预测4×4整数DCT系数的量化；

整数DCT8×8帧间量化矩阵

16	16	16	16	16	17	18	22
								16	16	16	16	17	18	22	23
16	16	16	17	18	22	23	24
								16	16	17	18	22	23	24	31
16	17	18	22	23	24	31	42
								17	18	22	23	24	31	42	60
18	22	23	24	31	42	60	84
								22	23	24	31	42	60	84	114

，完成对亮度色度分量帧间预测8×8整数DCT系数的量化；

整数DCT4×4帧间量化矩阵

16	16	16	16
				16	16	16	16
16	16	16	16
				16	16	16	16

，完成对亮度色度分量帧间预测4×4整数DCT系数的量化；

整数DST4×4帧内量化矩阵

16	16	18	23
				16	16	18	23
18	18	28	43
				23	23	43	83

，完成对亮度分量帧内预测4×4整数DST系数的量化。

附图说明

图1是HEVC视频编码标准结构框图。

图2是HEVC视频编码缺省量化矩阵。

图3是本发明专利设计的HEVC视频编码量化矩阵。

具体实施方式

下面结合附图及设计原理阐述本发明专利涉及的技术方案，调制传递函数MTF体现了人眼对不同空间频率的信号具有不同的敏感程度。HEVC缺省量化矩阵所用的MTF函数模型如下公式（1）所示：

$H(u,v)=\left\{\begin{array}{cc}2.2(0.192+0.114f(u,v))\exp \left({-\left(0.114f(u,v)\right)}^{1.1}\right)& f(u,v)>f_{\max }\\ 1& \mathrm{otherwise}\end{array}\right.---\left(1\right)$

其中f(u,v)表示(u,v)位置所对应的空间频率，空间频率表示每度视角内条纹变化的周期数，单位为周/度（CPD，Cycle per）。(u,v)位置的系数所对应的敏感度H(u,v)具有低通特性，f_max取值为8CPD，这是MTF函数的峰值位置，当频率大于f_max时，人眼对对应系数的敏感性开始下降。

JCTVC-G880提案使用这个模型设计量化矩阵并被用于HEVC的缺省量化矩阵，每一种量化矩阵的具体值如附图2所示。实际上公式（1）模型最初的设计是针对基于DFT变换的图像编码，由于许多视频图像编码都采用DCT变换，因此本发明专利使用一种基于DCT变换的MTF函数，对于二维的图像，其调制传递函数表达式如公式（2）所示。

$H\left(f\right)=\left\{\begin{array}{cc}0.05\exp {\left(f\right)}^{0.554}& f<7\\ \exp [-9{\left(\right|{\log }_{10}^f-{\log }_{10}^9\left|\right)}^{2.3}]& f<7\end{array}\right.---\left(2\right)$

由于HEVC采用了整数DCT变换去除像素空间域的相关性，因此使用这个模型更能体现人眼的视觉特性，基于这种分析，结合该模型用公式（3）来表示人眼对DCT变换不同频率的响应并将其用于设计量化矩阵。

$H(u,v)=\left\{\begin{array}{cc}\exp [-9{\left(\right|{\log }_{10}^{f(u,v)}-{\log }_{10}^9\left|\right)}^{2.3}]& f(u,v)>7\\ 1& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

对于N×N的DCT变换，为了计算(u,v)位置对应的空间频率f(u,v)，用f(u)表示(u,v)位置所对应的水平频率，它表示第u个DCT变换基在单位长度（1mm）内具有的变化周期个数，计算方法如公式（4）所示，其中Δ表示像素间距，垂直频率的计算方法与此类似。

$f\left(u\right)=\frac{u}{\mathrm{\&Delta;}\&times;2N},\mathrm{foru}=\mathrm{0,1},...,N-1---\left(4\right)$

假设观看距离为d，1mm长的图像所形成的角度α如公式（5）所示。由于人眼对水平或者垂直角度的系数比对角位置的系数更敏感，通过对不同位置频率使用角度的加权处理，如公式（6）与公式（7）所示，其中θ(u,v)表示(u,v)位置对应的观看角度，S(θ(u,v))为该位置的频率加权值。最终计算出每度视角内的变化周期数即(u,v)位置的空间频率f(u,v)如公式（8）所示。

$\mathrm{\&alpha;}=\frac{180\&times;2{\sin }^1(0.5/\sqrt{0.25+d^2})}{\mathrm{\&pi;}}---\left(5\right)$

$\mathrm{\&theta;}(u,v)=\arctan \left(\frac{f\left(v\right)}{f\left(u\right)}\right)---\left(6\right)$

$S\left(\mathrm{\&theta;}(u,v)\right)=\frac{1-w}{2}\cos \left(4\mathrm{\&theta;}(u,v)\right)+\frac{1+w}{2}---\left(7\right)$

$f(u,v)=\frac{\sqrt{f{\left(u\right)}^2+f{\left(v\right)}^2}}{\mathrm{\&alpha;}\&times;S\left(\mathrm{\&theta;}(u,v)\right)}---\left(8\right)$

基于视觉特性的DCT变换不均匀帧内量化矩阵QM_DCT(u,v)计算如公式（9）所示，其中Q_step等于16。

QM_DCT(u,v)=Q_step/H(u,v) （9）

HEVC视频编码采用的是整数DCT变换，这种变换是在DCT变换的基础上对各个基矢量进行伸缩扩展，在满足正交性，能量密集性以及各基矢量范数相等几个约束条件下，通过各个系数的微调和折中处理后得到的，与真正的DCT变换还是有所区别，因此本发明专利还对量化矩阵进行校正处理。

对于8×8的HEVC帧内量化矩阵，使用公式（10）来产生校正矩阵T_8×8，其中DCT_8×8表示实际的DCT变换核，矩阵DCT_HEVC8×8Norm表示归一化处理后的HEVC变换核，归一化计算的方法是将每个系数除以该系数所在的基矢量的二阶范数。校正处理后的帧内量化矩阵QM_HEVC(u,v)如公式（11）所示，矩阵中每个系数量化步长的具体值如附图3模块a所示。

$T_{8\&times;8}={\mathrm{DCT}}_{8\&times;8}\&times;{\mathrm{DCT}}_{\mathrm{HEVC}8\&times;8\mathrm{Norm}}^T---\left(10\right)$

${\mathrm{QM}}_{\mathrm{HEVC}}(u,v)=T_{8\&times;8}^T\&times;{\mathrm{QM}}_{\mathrm{DCT}}(u,v)\&times;T_{8\&times;8}---\left(11\right)$

对于4×4的HEVC帧内量化矩阵，也是采用类似的计算方法，具体如附图3模块b所示。实际上4×4的HEVC量化矩阵内嵌于8×8矩阵内，16×16以及32×32的量化矩阵也存在这种内嵌关系。HEVC中为了节省数据量，16×16以及32×32的帧内量化矩阵由8×8帧内量化矩阵扩展得到，每2×2或者4×4的子块共用8×8矩阵对应位置上的系数。本专利提出的方法在低频部分的量化步长与缺省矩阵一样，但中频系数的步长要低于缺省矩阵，而高频系数的步长则相对增加。由于人眼对中频系数也相对敏感，对高频系数敏感性最差，因此设计的帧内量化矩阵有可能在提高视觉质量的同时降低码率。

对于帧间量化矩阵，一般通过相同尺寸的帧内量化矩阵映射生成。本专利采用了H.264/AVC中的映射方法。首先映射生成帧间量化矩阵的第一行和最后一列系数，其他位置的量化步长则等于其右上方的系数。映射生成帧间量化矩阵第一行的第一个系数具体公式如（12）所示，其他位置系数如公式（13）所示，第一行最后一个系数的映射方法如公式（14）所示：

QM_inter(0,0)=QM_HEVC(0,0) （12）

$\begin{array}{c}{\mathrm{QM}}_{\mathrm{inter}}(0,n)={\mathrm{QM}}_{\mathrm{inter}}(0,n-1)\\ +0.714285714\&times;[{\mathrm{QM}}_{\mathrm{HEVC}}(0,n)-{\mathrm{QM}}_{\mathrm{HEVC}}(0,n-1)]+0.5\\ ,0<n<N-1\end{array}---\left(13\right)$

QM_inter(0,N-1)=QM_HEVC(0,N-1) （14）

映射生成帧间量化矩阵最后一列的具体公式如（15）所示：

$\begin{array}{c}{\mathrm{QM}}_{\mathrm{inter}}(m,N-1)={\mathrm{QM}}_{\mathrm{inter}}(m-1,N-1)\\ +0.733333333\&times;[{\mathrm{QM}}_{\mathrm{HEVC}}(m,N-1)-{\mathrm{QM}}_{\mathrm{HEVC}}(m-1,N-1)]+0.5\\ ,0<m\&le;N-1\end{array}---\left(15\right)$

帧间量化矩阵其他位置的量化步长则等于其右上方的系数，如公式（16）所示。

QM_inter(m,n)=QM_inter(m-1,n-1),1≤m≤N-1,0≤n<N-1 （16）

使用这种计算方法得到的8×8帧间量化矩阵如附图3模块c所示，与HEVC缺省的帧间量化矩阵相比，也是在高频系数上增加了量化步长。使用同样的方法得到的4×4帧间量化矩阵如附图3模块d所示。

HEVC标准中DST变换仅限于4x4的帧内预测亮度分量，在量化时采用与DCT系数相同的量化矩阵。把DCT量化矩阵用于DST系数的量化，可能产生视觉上的人工效应。因此本发明还设计基于DST变换的量化矩阵。

4×4的DST变换矩阵中，第一个基矢量减去平均值后，存在一次从负值到正值的交替，因此当u=0时，(u,v)位置对应的水平频率f(u)计算方法如公式（17）所示；对于其他情况，水平频率的计算方法与DCT变换一样，如公式（18）所示。垂直频率的计算方法与水平频率类似，这里不再赘述。

$f\left(u\right)=\frac{1}{\mathrm{\&Delta;}\&times;2N},u=0---\left(17\right)$

$f\left(u\right)=\frac{u}{\mathrm{\&Delta;}\&times;2N},\mathrm{foru}=1,...,N-1---\left(18\right)$

HEVC中的DST变换核是由ODST-3经过伸缩扩展后得到的变换矩阵，两者之间存在一定的区别，因此也需要进行校正，方法与DCT量化矩阵相同。附图3模块e为最后获得的亮度分量帧内预测整数DST4×4帧内量化矩阵。

在HEVC均匀量化时，不同的量化参数QP对应不同的量化步长，QP每增加6，量化步长增加一倍，这相当于量化后的系数多右移一位，因此编码器只需要QP=0～5对应的量化步长即可；同时为了减少计算复杂度，将除法运算变为乘法运算，并经过伸缩处理之后就形成了量化数组f_QP%6。结合了不均匀量化矩阵QM_HEVC(u,v)的HEVC量化方法则如公式（19）所示，其中Coeff(u,v)为(u,v)位置的变换系数，Level(u,v)为量化后的值，加入offset是为了避免死区问题而进行补偿；B是每个像素的比特深度；M表示变换块的大小，2^M=N。

$\mathrm{Level}(u,v)=(\mathrm{Coeff}(u,v)\&times;f_{\mathrm{QP}\%6}\&times;\frac{16}{{\mathrm{QM}}_{\mathrm{HEVC}}(u,v)}+\mathrm{offset})>>29+\frac{\mathrm{QP}}{6}-B-M---\left(19\right)$

Claims (1)

1.一种基于人眼视觉特性的HEVC量化矩阵设计方法，其特征在于：使用一种基于DCT变换的MTF函数设计HEVC视频编码标准的量化矩阵，并针对HEVC整数DCT变换与DCT变换的差别对量化矩阵进行校正，所设计的量化矩阵包括

整数DCT8×8帧内量化矩阵，完成对亮度色度分量帧内预测8×8整数DCT系数的量化；

整数DCT 4×4帧内量化矩阵，完成对亮度色度分量帧内预测4×4整数DCT系数的量化；

整数DCT 8×8帧间量化矩阵，完成对亮度色度分量帧间预测8×8整数DCT系数的量化；

整数DCT 4×4帧间量化矩阵，完成对亮度色度分量帧间预测4×4整数DCT系数的量化；

整数DST 4×4帧内量化矩阵，完成对亮度分量帧内预测4×4整数DST系数的量化。