CN103945220B

CN103945220B - 一种用于高效视频编码hevc的量化优化方法

Info

Publication number: CN103945220B
Application number: CN201410062267.3A
Authority: CN
Inventors: 刘翔凯; 彭强; 任健鹏; 闫川; 石也军
Original assignee: Southwest Jiaotong University
Current assignee: Southwest Jiaotong University
Priority date: 2014-02-24
Filing date: 2014-02-24
Publication date: 2017-02-15
Anticipated expiration: 2034-02-24
Also published as: CN103945220A

Abstract

本发明提供了一种用于高效视频编码HEVC的量化优化方法，通过对变换单元TU进行视觉感知阈值计算，得到每个变换系数的感知阈值。在量化阶段基于该阈值为每个变换系数筛选候选量化值并对量化后的值进行抑制。最后，在TU划分模式选择阶段，利用变换块的视觉感知信息对TU的划分模式进行预判。本发明不需要对解码器做任何改动，在维持视频主观感知质量不变的前提下提高了编码压缩效率，并加快了编码速度。

Description

一种用于高效视频编码HEVC的量化优化方法

技术领域

本发明属于视频编码领域，具体涉及用于HEVC的基于视觉感知的量化优化方法研究。

背景技术

随着视频捕获与显示技术的进步，人们对视频质量的需求在不断提高，近几年甚至出现了超高清(Ultra High Definition)电视，其分辨率达到了8Kx4K(7680×4320)，视频数据量的爆炸式增长，急需新的编码工具来提高压缩比。目前由VCEG和MPEG共同组建的Joint Collaborative Team on Video Coding(JCT-VC)所制定的高效视频编码标准HEVC，压缩效率比H.264提高40％左右。

虽然HEVC相对于H.264在压缩效率上有了很大提高，但目前仍然面临着两个主要问题：速度优化问题和视觉感知优化问题。首先，HEVC相比H.264在编码结构上引入了编码单元(CU，Coding Unit)、预测单元(PU，Partition Unit)、变换单元(TU，Transform Unit)，虽然CU、PU、TU的引入提高了编码器的压缩效率，但是在各单元划分模式选择上需要耗费大量的计算代价，目前HEVC的参考软件还需要非常多的优化才能达到实时应用的要求，其中软件代码优化的提升空间有限，更重要的是算法层面的优化。若要进行HEVC编码算法的速度优化，最重要的问题就是如何快速准确地进行CU、PU、TU的划分模式选择。HEVC面临的第二个问题就是亟待通过对人眼视觉系统HVS(Human Visual System)特性的挖掘使其编码压缩效率得到进一步的提升以应对超高清视频(8Kx4K)的巨大数据量。同时，也可以利用人眼视觉感知特性提高HEVC的编码速度。

针对速度优化问题，目前已经有很多研究成果致力于解决CU快速划分以及PU预测模式快速选择的问题，但实际上不管是CU的划分还是PU的划分，在计算率失真代价时都要经过TU划分这一过程，然后才能计算得到率失真代价从而为划分方式提供决策依据。但目前关于TU快速划分的研究成果还很少。如果能够在编码过程中结合TU的视觉感知信息对TU划分模式做出预判，就可以对TU划分的速度进行明显提升。

同时，HEVC在量化过程中使用了基于率失真优化的量化(Rate DistortionOptimized Quantization，RDOQ)，每一个变换系数都有若干个候选量化值，要确定最终的量化值需要对每一个候选值计算率失真代价，由于CU、PU、TU的每一种划分模式的代价计算最终都要经过量化，所以RDOQ给整个编码过程带来了很大的时间复杂度。如果在进行RDOQ之前，能够结合TU的视觉感知信息对每个系数的候选量化值进行筛选，则可以大大降低整个量化过程的时间复杂度。

针对视觉感知优化问题，视频数据之所以能够被压缩很大程度上归功于对数据的量化，而视频的失真也来自于量化。由于视频图像内容特性的不同，人眼视觉感知系统对不同图像因量化而产生的失真敏感度也不同。对于人眼不敏感的图像区域，可以使用粗量化以实现更大的压缩率。目前基于视觉感知特性的编码量化研究的代表性方法是计算预测残差在DCT域的视觉感知阈值，然后根据视觉感知阈值来调整变换块的量化矩阵，对人眼不敏感的系数进行粗量化从而降低比特，但这种方法需要改动解码器，在编、解码端以同样步骤估计每个变换系数的视觉感知阈值从而在解码端生成相同的量化矩阵；或者，由编码端将量化矩阵发送至解码端以保证编、解码两端量化与反量化的步长一致。除此之外，如果要将视觉感知模型应用到HEVC的编码框架中对量化进行调整，还应考虑到HEVC相对于上一代标准所增加的更大尺寸DCT变换(32x32、16x16)、TU的模式划分、RDOQ等。

发明内容

本发明实现发明目的的具体手段采用：

一种用于高效视频编码HEVC的量化优化方法，在HEVC的变换单元TU进行量化时对整个量化过程进行优化，所述方法包括以下步骤：

A:在量化开始前，对变换单元TU的每一个DCT系数，由量化参数计算得到候选量化集，以量化失真为约束对TU的候选量化值进行筛选，并对变换单元TU的每一个DCT系数计算视觉感知阈值，缩小每个系数候选量化集；

B:在量化过程中，以量化失真为约束，采用迭代递减的方法进一步削减所述TU变换量化后得到的量化值，降低编码该系数所需的比特；

C:在量化完成后，根据TU变换量化系数的分布统计特征与TU最优划分模式间的关系模型，对TU划分模式进行预判，提前决定该TU的四叉树划分深度。

在所述TU系数的量化值候选集构建中，找出所有满足量化误差小于视觉感知阈值条件的候选量化值，保留其中最小的一个以及零作为候选量化值，其余候选值被剔除出量化值候选集；若所述TU系数量化为0的量化误差小于该系数的感知阈值，则直接取零作为该系数最终量化值。

步骤B中将所述TU系数量化后的值减去一个抑制值，使得该系数的最终量化值变小；TU系数的量化值在满足量化误差小于该系数视觉感知阈值的条件下被减到最小；

这样，步骤A与步骤B不更改变换系数的量化步长或量化表，即解码端只需按照原定的量化步长进行反量化重建即可；

步骤C中以权利要求2所述TU的视觉感知信息及步骤B量化结果为依据，对TU的划分模式进行预判；若所述TU所在的变换块人眼感知敏感且DCT系数中非零量化系数个数较多，则该TU使用较精细的划分；若TU所在的变换块人眼感知不敏感且DCT系数中非零量化系数个数较少，则该TU使用较粗略的划分。

针对HEVC的编码速度过慢及缺少视觉感知优化问题，本发明从HEVC的量化环节入手，结合变换单元TU的视觉感知信息，加快TU的量化值选择、划分模式选择的速度，同时在保证人眼感知质量不变的前提下提升量化环节的压缩效率。

针对不同尺寸TU的DCT变换系数计算其视觉感知阈值，根据视觉感知阈值为每个系数筛选量化值，在提高压缩率的同时加快RDOQ的速度。

TU变换系数量化之后，为了进一步提高压缩率，还可以根据视觉感知阈值对量化后的系数值进行抑制，在保证重建量化误差不会超过视觉感知阈值的前提下削减每个量化后系数的数值。由于本发明不会更改变换系数的量化步长或量化矩阵，即解码器只需按照原定的量化步长进行反量化重建即可，所以本发明不需要改动解码器，所产生的码流与HEVC标准兼容。

由于之前已经获得了每个TU的视觉感知信息，同时在量化过程中对于人眼不敏感的系数会有更大倾向被量化为零，此时就可以根据TU的视觉感知信息及非零量化系数的个数来对TU的划分模式进行预判，从而提高TU模式选择的速度。

由于TU划分模式选择是CU、PU划分模式选择的必经步骤，所以整个HEVC的编码过程都会由此获得加速。

附图说明

图1为本发明提供的基于视觉感知信息的HEVC量化优化方法流程图

图2为本发明提供的基于视觉感知阈值的TU候选量化值筛选方法流程图

图3为本发明提供的基于视觉感知阈值的量化值抑制方法流程图

图4为本发明提供的TU划分模式预判方法流程图

具体实施方法

图示1为本发明提出的基于视觉感知信息的HEVC量化优化方法流程图，主要包括4部分：

1)HEVC会根据TU变换单元的尺寸进行相应的DCT变换，TU的DCT变换可以是32x32、16x16、8x8、4x4。本发明的方法在TU完成DCT变换后针对其DCT变换尺寸使用相应的视觉感知模型计算该变换块中每一变换系数的视觉感知阈值。

2)HEVC在TU进行量化的过程中，会为每一个变换系数准备若干个候选量化值，不同的量化值会给TU带来不同的率失真代价，编码器会分别计算每个候选量化值带来的率失真代价，选择代价最低的值作为该系数的最终量化值。本发明的方法以系数的视觉感知阈值为依据，缩小每个系数量化值的候选集，详见图示2说明。

3)HEVC在选定TU变换系数的最终量化值之后，接下来会完成量化后的CABAC编码部分。本发明的方法对量化后的非零系数减去一个抑制值，降低编码该系数所需的比特，详见图示3说明。

4)在(1)中已经获得了每个TU的视觉感知信息，同时在(2)、(3)的量化过程中对于人眼不敏感的系数会有很多被量化为零，此时可以根据视觉感知信息及非零量化系数的个数来对TU的划分模式进行预判。详见图示4说明。

图示2为本发明提供的基于视觉感知阈值的TU候选量化值筛选方法流程图。HEVC在TU的量化过程中为每一个变换系数准备若干候选值，例如0、floor、ceil。其中floor表示将系数按标准量化步长进行量化后所得数值的向下取整，ceil则表示相应的向上取整。三个值依次增大。本发明的方法为，若该系数量化为0的误差小于该系数的视觉感知阈值，则直接取0最为最终量化值；否则，若该系数量化为floor的误差小于该系数的视觉感知阈值，则在0和floor之间通过率失真优化选取最终量化值；若量化为0和floor的误差均大于视觉感知阈值，则按正常的标准流程进行。在本发明提出的量化值筛选流程中，如果量化值为零时的量化误差小于视觉感知阈值则直接使用零作为量化值，否则仍需通过标准的率失真代价计算过程来确定最终量化值。

图示3为本发明提供的基于视觉感知阈值的量化值抑制方法流程图。本发明的方法为，若TU变换系数量化为0则不再进行处理，否则，对量化值减去一个抑制值，降低编码该系数所需的比特，前提是该系数减去抑制值后的量化重建误差低于该系数的视觉感知阈值。所减的抑制值为满足量化误差小于感知阈值条件的所有抑制值中的最大值。

图示4为本发明提供的TU划分模式预判方法流程图。HEVC中的TU划分模式决策过程是一个迭代过程，将当前TU进行四叉树划分，并分别计算四叉树划分前与划分后的率失真代价，并通过代价比较决定是否继续向下划分。本发明的方法为，结合TU的视觉感知信息以及感知优化量化结果，对TU划分模式进行预判。同时，当TU经过前面的量化候选值筛选与量化抑制之后，会有很多系数被量化为0，非零量化系数个数可用来辅助预判TU划分模式。

实施例

A.视觉感知阈值计算

输入一个变换单元TU，编码器会根据TU的尺寸对其进行DCT变换(32x32、16x16、8x8、4x4)，然后对变换后得到的系数块进行视觉感知阈值计算。

在DCT域计算视觉感知阈值的模型通常由三部分组成：基础阈值、亮度自适应系数、纹理掩膜。

在计算基础阈值时，由于HEVC中的变换块存在4种不同尺寸，并且AC系数的基础阈值与DC系数的基础阈值相比，基本是按AC系数位置与DC系数位置之间的径向距离呈指数化增长，所以可以按照系数子带位置与径向距离之间的增长关系来设计适用于不同尺寸DCT变换的基础阈值。例如，设T_DC为DC系数的基础阈值(应用中可将T_DC设为1)，坐标位于(i,j)处的AC系数的基础阈值T_Base(i,j)可按下式计算得到：

式中，B为DCT变换块的尺寸，可以是HEVC支持的32、16、8、4四种尺寸中的任何一个。

在图像中非常亮和非常暗的区域，人眼的视觉敏感度会下降，但是在中等亮度的区域人眼视觉会很敏感，所以要计算视觉阈值，除了基础阈值外，还需要计算每个变换块的亮度自适应系数。DCT变换块的亮度自适应系数是基于DC系数来计算的，例如下式：

式中，a_Lum是变换块的亮度自适应系数，C是变换块的DC系数。M是数字图像灰度等级，此处为256。N是DCT块的边长。公式中的经验参数设置如下：k₁＝2，k₂＝0.8，λ₁＝3，λ₂＝2。

人眼在图像的平坦区域对错误很敏感，在边缘区域次之，在图像的纹理区域最不敏感。将系数块的系数按照低频、中频、高频进行划分，划分之后可以按照各频段系数的频域能量统计值将该块归类为平坦快、边缘块或者纹理块。之后便可以为该块设定纹理掩膜α_Mask，例如可将平坦快、边缘块或者纹理块的纹理掩膜值分别设为1、1.25、1.5。

系数最终的视觉感知阈值T(i,j)由前面得到的基础阈值T_Base(i,j)、亮度自适应系数α_Lum、纹理掩膜α_Mask相乘得到：

T(i,j)＝T_Base(i,j)·α_Lum·α_Mask

B.基于视觉感知阈值的候选量化值筛选

如图示2，HEVC在每一个变换系数进行量化之前要为其选择一个最佳量化值，HEVC采用了基于率失真优化的量化技术(RDOQ,Rate Distortion OptimizationQuantization)为每一个系数准备若干候选量化值。例如，第一个候选值通常为0，假设另外两个候选值命名为l_floor和l_ceil，分别计算如下：

l_floor＝floor(|c_i|·Q(QP％6,i)/2^15+QP/6)

l_ceil＝l_floor+1

式中floor()表示向下取整，c_i为量化前系数值，QP为量化参数。

依次将0、l_floor、l_ceil的绝对值与原始系数值c_i的绝对值相减，得到量化误差，若量化为0的误差小于A中计算得到阈值T(i,j)，则直接取0作为该系数的量化值，量化为0的误差大于视觉感知阈值T(i,j)但量化为l_floor的误差小于T(i,j)，则将0和l_floor作为候选量化值进入后面的率失真优化过程，l_ceil抛弃。若量化为l_floor的误差大于T(i,j)，则仍然按照HEVC原始算法流程进行处理。

C.基于视觉感知阈值的量化系数抑制

如图示3，在步骤B中会为每一个变换系数选定最终的量化值进行量化，得到量化值后还可以基于视觉感知阈值对量化后的值进行进一步的抑制以降低表示数据所需的比特数。假设系数块中第(i,j)个系数量化为l_i,j，若l_i,j为0，则不需要再进行量化抑制，若l_i,j不为0，则还可以进行基于视觉感知阈值的量化抑制。

若第(i,j)个系数的量化值被减去一个抑制值k，设此时的量化误差为τ_i,j(k)：

τ_i,j(k)＝|c_i,j|-F(|l_i,j-k|)

l_i,j为量化后的值，c_i,j为量化前的系数值。F(·)为反量化重建操作。量化抑制的过程就是要找到一个满足下列条件的抑制值k_i,j：

k_i,j＝max k s.t.0≤k≤|l_i,j|,k∈Z

τ_i,j(k)≤T(i,j)

目的是在保证量化误差τ_i,j(k)小于感知阈值T(i,j)的前提下，尽可能地减小量化值l_i,j的数值(即找到尽可能大的抑制值k_i,j)以减少表示量化值所需的比特数。

D.TU划分模式预判

如图示4，在进行TU划分模式选择的过程中，可以结合图像块的视觉感知信息进行划分模式的预判。例如，可以根据该TU的中高频能量值同时结合TU中的非零量化系数个数对TU划分模式进行预判。频域能量值由TU变换后的中频系数与高频系数的绝对值之和得到，非零量化系数个数为步骤C量化抑制之后统计得到。

例如，若边长为N的TU所在块的频域能量值小于阈值T₁(T₁可设为125)，则判定边长为N的TU为最终选定的变换单元模式，不需要再进行四叉树划分；若TU所在块的频域能量值大于T₁小于T₂(T₂可设为290)，则根据非零量化系数个数，若非零量化系数个数小于等于数值N(N可设为3)则不需要划分，若非零量化系数个数大于N则进行一次四叉树划分；若TU所在块的频域能量值大于T₂小于T₃(T₃可设为900)，则根据非零量化系数个数，若非零量化系数个数小于等于N，则只进行一次四叉树划分，若非零量化系数个数大于N，则进行正常的四叉树迭代划分；若TU所在块的频域能量值大于T₃，则进行正常的四叉树迭代划分。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims

1.一种用于高效视频编码HEVC的量化优化方法，在HEVC的变换单元TU进行量化时对整个量化过程进行优化，所述方法包括以下步骤：

C:在量化完成后，根据TU变换量化系数的分布统计特征与TU最优划分模式间的关系模型，对TU划分模式进行预判，提前决定该TU的四叉树划分深度；

所述步骤B中，还包括将所述TU系数量化后的值减去一个抑制值，使得该系数的最终量化值变小；TU系数的量化值在满足量化误差小于该系数视觉感知阈值的条件下被减到最小。

2.根据权利要求1所述的方法，其特征在于，在所述TU系数的量化值候选集构建中，找出所有满足量化误差小于视觉感知阈值条件的候选量化值，保留其中最小的一个以及零作为候选量化值，其余候选值被剔除出量化值候选集；若所述TU系数量化为0的量化误差小于该系数的感知阈值，则直接取零作为该系数最终量化值。

3.根据权利要求1所述方法，其特征在于，步骤A与步骤B不更改变换系数的量化步长或量化表，即解码端只需按照原定的量化步长进行反量化重建即可。

4.根据权利要求2所述方法，其特征在于，步骤C中以权利要求2所述TU的视觉感知信息及步骤B量化结果为依据，对TU的划分模式进行预判；若所述TU所在的变换块人眼感知敏感且DCT系数中非零量化系数个数较多，则该TU使用较精细的划分；若TU所在的变换块人眼感知不敏感且DCT系数中非零量化系数个数较少，则该TU使用较粗略的划分。