CN101409845A - 一种avs视频编码中的视频失真度估计方法及其装置 - Google Patents

Abstract

本发明公开了一种AVS视频编码中的视频失真度估计方法及其装置，属于视频编解码领域。本发明的方法为：首先对输入的残差值数据进行整数变换，并对变换系数进行缩放；然后对缩放后的数据进行量化，同时保存缩放后的数据；对量化后的数据进行反量化，并将输出的反量化数据与保存的缩放后的数据进行比较，得到像素经量化和反量化后的失真值；最后对失真值进行放大和移位调节，得到像素的失真度。本发明的装置包括残差模块、变换模块、预缩放模块、FIFO模块、量化模块、反量化模块、后缩放模块、失真度加和模块。与现有技术相比，本发明大大的提前了决策时间，降低了流水线深度，同时本发明的算法更加逼近真实的失真度，提高了视频质量。

Description

一种AVS视频编码中的视频失真度估计方法及其装置

技术领域

本发明涉及一种AVS视频编码中的视频失真度估计方法及其装置，该方法主要使用在信源处理领域，尤其是视频编解码领域。

背景技术

在视频编解码里，运动估计和模式决策部分都存在着对不同模式的视频进行取舍。第二代音视频标准提出了基于RDO(Rate-Distortion Optimization)的代价函数C＝D+λR。其中D表示视频的失真度，R表示编码视频所需要的比特数，λ表示D和R的权重因子，是拉格朗日常数。

AVS标准是拥有独立产权和自主创新技术的新型视频编码技术，目前视频部分(AVS-P2)已经正式成为国家标准。AVS视频编码采用了16x16，16x8，8x16，8x8，direct以及intra6种预测编码模式。由于预测的模式繁多，在实时编码中，单位时间内要处理大量的数据信息。尽管硬件加速能给整个编码器带来执行速度上的优势，但是对于高清尺寸的视频处理也面对临时间和面积的挑战。本发明是AVS编码器硬件加速实现中的重要环节，编码器中，RDO的复杂度大约占整个编码器复杂度的40％，这个过程主要是对各种预测模式的数据进行处理，计算出每种预测模式的代价。

第一代音视频标准里，人们只考虑到了视频的失真度D，并用D的大小来决定该采用那种预测模式，这种决策方式虽然给视频质量带来了很大的提高，同时也给信道带宽增加了负载，不利于传输。在第二代音视频标准里，采用了图像质量和信道带宽相结合的思想，提出了RDO的概念。用失真度D来衡量视频质量，比特数R来衡量所占用的信道带宽，两者的结合极大程度的提高了编码器的整体性能。D采用的是编解码相结合的方法，用解码端得到的数和编码端的数据相比较，计算整个数据的失真度。基本流程包括，求残差，变换，量化，反量化，反变换，重构，失真度。在失真度D的计算时，大量的数据以及intra预测宏块内各个子块间的数据相关性，由于计算的环路过长，耗时太多，常常使得整个编码器达不到实时的要求。代价函数C＝D+λR，是用来评价各种预测模式的代价函数，它只需要近似逼近真实代价就行了，并不需要真正的D和R。本发明就是采用了一种新的方法来逼近D，这种方法基本解决了RDO耗时太长和硬件资源过多的问题。

发明内容

本发明针对AVS标准的RDO模块，提供了一种高效的硬件加速实现。本发明的主要目的在于提供一种AVS视频编码中的视频失真度估计方法及其装置，以提高编码器的速度，减少硬件开销，从而达到编码的实时。另外，本发明是我们所设计的编码器硬件实现中的一个模块，本模块可用于前期的运动估计和后期的模式决策两个部分。

其中，模式决策占整个编码器复杂度的30％，它的作用是计算每种模式的代价，选择代价最小的模式作为最后编码的模式。这里代价函数定义为：C＝D+λR，其中D表示编码的失真，R表示表示系数所需要的位宽(比特数)。本发明采用了一种频域的D来逼近传统时域的D。

本发明的技术方案为：

一种AVS视频编码中的视频失真度估计方法，其步骤为：

1)对输入的残差值数据进行整数变换，并对变换系数进行缩放；

2)对缩放后的数据进行量化，同时保存缩放后的数据；

3)对量化后的数据进行反量化；

4)将输出的反量化数据与保存的缩放后的数据进行比较，得到像素经量化和反量化后的失真值；

5)对失真值进行放大，并对放大后的数据进行移位调节，得到像素的失真度。

所述对输入的残差值进行整数变换的方法为：首先对并行输入的残差值进行一维行变换，然后对行变换的数据进行转置，最后对转置后的数据进行一维列变换，并对列变换的数据进行转置使输出数据的排列顺序与输入时一致。

所述对变换系数进行缩放的方法为：

1)采用一n状态控制计数器控制从缩放表格中取出的系数；

2)将同一时钟中取出的n个系数分别与对应的整数变换系数相乘；

3)对每个相乘后的数据进行移位，缩小频域的系数。

所述并行输入的残差值为8并行输入；所述n状态控制计数器为8状态控制计数器。

所述方法中采用频域SSD方法表示一变换块的总失真度。

一种AVS视频编码中的视频失真度估计装置，其包括残差模块、变换模块、预缩放模块、FIFO模块、量化模块、反量化模块、后缩放模块、失真度加和模块；

其连接关系为：所述残差模块的数据输出端与所述变换模块的数据输入端连接；所述变换模块的数据输出端与所述预缩放模块的数据输入端连接；所述预缩放模块的数据输出端分别与所述量化模块的数据输入端、FIFO模块的数据输入端连接；所述量化模块的数据输出端与所述反量化模块的数据出入端连接；所述后缩放模块的数据输入端分别与所述反量化模块的数据输出端、FIFO模块的数据输出端连接，其数据输出端与所述失真度加和模块的数据输入端连接；

所述残差模块用于比较输入的原始像素与预测值，得到残差数据，并将残差数据送入所述变换模块；

所述变换模块将时域的残差数据转化为频域的残差数据；

所述预缩放模块对所述变换模块输出的数据进行缩放调整，得到进入量化前的数据；

所述FIFO模块用于存储量化前的数据；

所述量化模块用于将预缩放后的数据进行量化处理；

所述反量化模块用于完成对量化后的数据进行反量化；

所述后缩放模块用于根据量化前和反量化后的数据计算得到每个像素的失真度；

所述失真度加和模块用于完成每个像素的失真度换算和对变换块的失真度系数加和。

所述后缩放模块包括一计数器、一后缩放表格单元、若干个减法器、若干个乘法器和若干个移位器；其连接关系为：所述减法器的输入端分别与所述反量化模块的输出端和所述预缩放模块的输出端对应连接，且其输出端与所述乘法器的一输入端对应连接；所述乘法器的另一个输入端与所述后缩放表格连接，且其输出端与一所述移位器输入端连接；所述后缩放表格单元输入端与所述计数器连接。

本发明的硬件设计的方法为：

1)8并行像素求残差：为了提高整个编码器的效率，模式决策部分采用8像素并行的结构，对于输入到模式决策的各种模式的预测值，计算残差，方法就是利用原始像素减预测值。

2)将AVS标准的量化拆分：由于AVS采用的是整数变换和整数反变换，并且将系数的缩放(Scale)放到了量化中进行。为了结合本发明中失真度D的计算，本发明将标准的量化模块拆分成预缩放(Pre-Scale)和量化两个模块。

3)保存Pre-Scale之后的数据到反量化之后：利用FIFO将数据保存到反量化之后。传统做法在数据经过缩放量化和反量化时，是不会保存中间数据的。本发明保存中间数据的主要目的是为了后面D的计算。

4)利用乘法和移位替代除法，完成预缩放，量化和后缩放(Suf-Scale)模块：对于并行的8个像素，本发明用8个并行的乘法器和8个并行的移位器完成预缩放。再用8个并行的乘法器和8个并行的移位器完成量化。预缩放和量化两个模块完成的功能正好与AVS标准的量化模块一样。后缩放模块用8个并行的减法器和8个并行的乘法器完成缩放。

5)计算量化和反量化的失真：传统做法是利用重构后的数据和原始数据比较来表示失真度。这样做的缺点就是需要等到反变换模块和重构模块之后才能得到失真数据。本发明用反量化后和量化前的数据相减，来表示每个像素在量化和反量化中的损失，当然这个损失和传统的做法是有区别，本发明会对这个损失处理，使它逼近传统的失真度，见6)。

6)对5)所述的失真度进行调节：由于只考虑到量化和反量化的损失，与传统的失真有一定的差别，本发明增加了一个后缩放模块(Suf-Scale)，5)的数据经过该模块后，失真度将基本与传统的失真相近。本发明也就是利用了这种逼近真实失真度的方法，来替代真实的失真度。经过验证测试，其对整个编码器的性能不造成损失。

本发明的模块硬件装置，包括：残差模块，变换模块，预缩放模块，FIFO模块，量化模块，反量化模块，后缩放模块，失真度加和模块。模块的连接关系如图2所示。

1)本发明所述残差模块用于处理各种模式输入的预测值，其方法就是用ram存储原始像素，并用原始像素减去预测值，得到时域的残差数据，再送入变换模块。

2)本发明所述变换模块接收1)中的输出数据并将时域的残差转化为频域的残差数据。在硬件实现上，采用了行列转置的方式实现整个DCT变换。基本方法是先行变换，转置数据后，再列变换，然后将数据转置后输出。

3)本发明所述预缩放模块对2)所述的数据进行处理，得到进入量化前的数据。硬件实现上，该模块主要包括8个并行的乘法器，8个移位器以及1个缩放表格。

4)本发明所述FIFO模块用于存储3)所述的输出数据，硬件实现上就是一个存储空间为16x14大小的FIFO控制器。

5)本发明所述量化模块的主要功能是将3)所述输出的数据进行量化处理。硬件实现上主要采用了8个并行的乘法器，8个移位器和1个量化表格组成。

6)本发明所述反量化模块主要完成5)所述输出数据的反量化。在硬件实现上，主要由8个乘法器，8个加法器，8个移位器以及1个反量化表格组成。

7)本发明所述后缩放模块主要用来处理4)和6)的输出结果，也就是用来对量化前和反量化后数据的失真进行调整。包括8个减法器，8个乘法器和8个移位器组成。

8)本发明所述失真度加和模块主要对7)所述输出结果进行处理，完成每个像素的失真度换算和变换块的失真度系数加和。主要由8个乘法器和几个级联的加法器组成。

本发明的积极效果为：

在视频领域中，视频质量的评价一直是业内研究的热点，第一代视频标准中，人们建议用原始像素和预测值进行比较来表示视频的质量，到了第二代视频标准开始用原始像素和重构值进行比较来表示视频质量.然而利用重构值的取得需要反变换和重构完成才能取得，耗时较多.尤其是在硬件实现时，反变换和重构占用的时钟周期过长，大大的增加了流水线深度.因此提前决策便成了一个众所周知的难题.本发明正是对此难题作了研究，并给出了一种提前决策的方法.在数据流处理上，本发明在反量化之后，不需要计算反变换和重构就能得到视频的失真度，大大的提前了决策时间，降低了流水线深度.在硬件实现上，本方明用乘法和移位完成了对单个像素的失真度调节，使本发明的算法更加逼近真实的失真度，提高了视频质量。

附图说明

图1.传统的AVS的RDO原理图

图2.本发明的原理图

图3.残差的硬件结构图

图4.变换的硬件原理图

图5.预缩放的硬件结构图

图6.量化的硬件结构图

图7.反量化的硬件结构图

图8.后缩放的硬件结构图

图9.失真度加和硬件结构图

具体实施方式

本发明的设计思想适用于任何AVS标准的编码器中，下面结合附图和8并行的像素流水线结构作进一步说明。

为了实时处理送给RDO的数据，在硬件实现时本发明采用了8像素并行的结构，并最大限度地节约硬件成本和减少流水线深度。为了解决RDO硬件实现时面积过大和时钟周期不够的问题，本发明用对传统的算法上作了修正和替换，提出了若干近似的方案，这些方案包括：硬件实现上将传统的量化模块拆分为预缩放模块(Pre-Scale)和量化模块，在反量化后添加后缩放(Suf-Scale)模块；算法上利用频域的失真度(D)近似逼近传统的时域失真度。

请参阅图2本发明的原理图。在计算失真度D时，利用了编码器中的残差模块，变换模块，量化模块以及反量化模块。并将标准的量化模块拆分成预缩放(Pre-Scale)模块和量化模块，以此获得准确的频域系数。然后与反量化后的系数进行比较，得到频域系数的失真度。按照数据流的处理顺序，首先由原始像素和预测值相减取得残差值，然后再经过整数DCT变换得到频域系数，经过预缩放(Pre-Scale)对系数进行调整，至此数据分流，将一路送入量化和反量化模块，另一路数据送入存储器FIFO。下面将对各个涉及到的模块进行详细叙述。

1.残差模块：

输入到残差模块的预测值位宽为8位，原始像素也为8位。由于各种模式的预测值都需要经过RDO处理，为了节省面积，本发明利用位宽为64，深度为48的RAM来存储原始像素。如图3所示，硬件结构上主要包括8个并行的减法器，完成数据的残差计算，这里我们表示为res0～7＝org0～7-pred0～7(说明：残差数据等于原始像素减预测值，这里res表示残差值，org表示原始像素值，pred表示预测值.文章中的res，org等是变量名字)。用计数器counter来控制RAM的存取地址，保证原始数据与预测数据的同步。

2.变换模块：

AVS整数DCT原理图如图4所示。用两个一维的变换和2个转置矩阵完成2D的DCT变换。8并行的残差像素输入到一维行变换模块，输出8个15比特的像素到转置矩阵0，经过转置后再将8个并行的像素输入到一维列变换模块，完成2D的DCT变换。由于转置矩阵0已经改变了数据的排列顺序，所以在数据输出时，又安排了转置矩阵1对数据进行排列。(为了简化变换模块的控制逻辑，本发明设计了4个同步信号来表示对应时钟数据的有效性，1表示数据有效，0表示数据无效.如图4示，en_dct，en_register0，en_step2，en_prescale分别为变换的四个模块的同步信号)在硬件上，行列变换模块主要由若干加法器组成，转置矩阵0是由位宽是15比特的8x8寄存器组组成，转置矩阵1是由位宽是16比特的8x8寄存器组组成。这种结构的主要优点是行变换模块和列变换模块的硬件结构基本相同，两个转置矩阵的硬件结构基本相同，大大降低了设计的复杂度。

3.预缩放模块：

这个模块的主要作用是对整数DCT变换的系数进行缩放调整。由于缩放调整为除法，硬件实现困难，本发明用乘法加移位代替了除法。在硬件设计上分为二级流水级控制。如图5所示。

第一级，主要包括8个并行的乘法器和一个预缩放表格。对于输入的数据，本发明用8状态计数器counter控制从表格中取出的系数。每个时钟取8个系数，按照数据输入的顺序依次取系数。如图5所示，由counter控制从表格中取出对应的缩放系数pre_coeff0～7(说明：pre_coeff0～7表示是对于预缩放模块中的预缩放系数，为变量名)，分别与DCT变换的系数dct0～7(dct0～7表示是变换模块的输出结果，为变量名)相乘。即：mul0＝pre_coeff0*dct0，mul1＝pre_coeff1*dct1，…，mul7＝pre_coeff7*dct7(mul0~7表示对应的乘法器的输出结果，为变量名)。

第二级，主要包括8个并行的移位器。对于乘法器的输出进行右移19位处理，也就是变相的缩小频域的系数，达到缩放的目的。即：prescale0＝mul0＞＞19；prescale1＝mul1＞＞19，…，prescale7＝mul7＞＞19(prescale0~7表示对应预缩放模块的输出结果)；

4.量化模块：

该模块的主要作用用来对数据进行量化，降低信道带宽。编码器系统量化参数QP用来确定量化步长QPstep，由于量化时需要除量化步长QPstep，硬件实现困难，AVS标准用乘法加移位替换了除法处理。本发明的量化模块硬件结构图如图6所示，主要由2级流水级组成。如图6所示。

第一级，主要包括8个乘法器和一个量化表格。由于系统参数QP只有64种状态值，所以本发明在硬件实现时将所有64种的步长存入表格，利用QP进行存取step。并行的8个乘法器完成预量化系数与步长的乘法，即mul0＝prescale0*step，mul1＝prescale1*step，…，mul7＝prescale7*step(mul0~7对应于图6中的几个乘法器输出结果，为变量名)。

第二级，完成对乘法器输出的移位处理，主要包括8个并行的右移15位的移位器。即：q0＝mul0＞＞15，q1＝mul1＞＞15，…，q7＝mul7＞＞15(q0~7表示量化模块的输出结果，为变量名)。

5.反量化模块：

该模块是量化模块的逆处理，功能是用来恢复量化前的数据。但是由于在实现时，是用乘法和移位代替除法，存在运算精度的损失，所以恢复回来的数据仍然会有不同，这也是本发明求失真度的根本依据。本发明在硬件实现反量化时主要分为3级流水级。如图7所示。

第一级，完成量化系数的放大，主要由8个并行的乘法器和1个量化步长表格组成。量化步长表格，是与量化参数QP对应的缩放参数，有64种值都存在步长表格里。完成功能，mul0＝q0*step，mul1＝q1*step，…，mul7＝q7*step。

第二级，完成系数恢复的调节。主要由8个并行的加法器和1个参数调节表格。调节参数offset由量化参数QP确定，对于64种QP值，offset对应8种值都存于表格中，调节参数的主要目的是减少反量化时的性能损失。硬件上8个加法器完成：coeff0＝mul0+offset，coeff1＝mul1+offset，…，coeff7＝mul7+offset。(coeff0~7表示对应于图7中的加法器输出结果，为变量名)

第三级，对第二级加法器的系数移位，是反量化的最后一步，主要包括8个并行的移位器和1个移位表格。移位表格由系统参数QP决定，当0≤QP≤7时，shift＝14，当8≤QP≤16时，shift＝13，当17≤QP≤23时，shift＝12，当24≤QP≤32时，shift＝11，当33≤QP≤40时，shift＝10，当41≤QP≤48时，shift＝9，当49≤QP≤55时，shift＝8，当56≤QP≤63时，shift＝7。完成功能：iq0＝coeff0＞＞shift，iq1＝coeff1＞＞shift，…，iq7＝coeff7＞＞shift。(iq0~7表示反量化模块的输出结果)

6.后缩放模块：

该模块是AVS标准中没有涉及的模块，发明者在测试反量化恢复数据的失真度时，发现损失很严重，为了让整个RDO的性能更好，本发明加入了后缩放模块，利用乘法和移位对单个系数的损失进行调节。具体实现时，该模块分为3个流水级。如图8所示。

第一级，完成计算单个像素的量化前和反量化后的失真，主要包括8个并行的减法器。完成功能：sae0＝iq0-prescale0，sae1＝iq1-prescale1，…，sae7＝iq7-prescale7。(sae0~7表示对应图8示的8个减法器输出结果，为变量名)

第二级，对第一级的失真值进行放大，主要包括8个并行的乘法器和1个调节系数表格。该表格中的系数与变换块对应的系数位置有关，所以在实现时本发明设置了一个8状态的计数器counter来控制调节表格中的系数。按照对应的位置，每个时钟取8个系数，送给8个乘法器。完成功能：mul0＝sae0*suf_coeff0，mul1＝sae1*suf_coeff1，…，mul7＝sae7*suf_coeff7。

第三级，对第二级的系数进行移位，完成单个系数的调节。由于硬件实现时只能表示整数，是没有办法表示小数的，例如，b＝a*0.1255通常是将0.1255放大为整数，然后将输出结果再缩小，如将0.1255放大32768倍为4105.8304，这样c＝a*4105，b＝c＞＞15，明显在第三级移位就是对数据b进行调节。本发明此处的移位调节主要包括8个并行的移位器，完成功能：sad0＝mul0＞＞12，sad1＝mul1＞＞12，…，sad7＝mul7＞＞12。(sad0~7表示后缩放模块的输出结果，为变量名)

7.失真度加和模块：

在RDO设计时，需要获得每个变换块的总失真度。这种失真度D有多种表示方式，如本发明后缩放模块中的sad0～sad7等。本发明采用的是对单个系数求平方的表示方法，并将整个变换块的所有系数的失真度加和起来，也就是俗称的SSD表示法。硬件设计上，该模块分为3个流水级进行，如图9所示。

第一级，计算单个系数失真度的平方。主要由8个并行的乘法器组成。完成功能：mul0＝sad0*sad0，mul1＝sad1*sad1，…，mul7＝sad7*sad7。

第二级，计算当前行的失真度。由于本发明采用的是8并行像素的流水线设计，也就是说每个时钟就会有8个像素的失真度输出。为了节省加法器的数量，提高综合速度，本发明采用了二分法对单个像素的失真度处理。第一步由4个加法器组成，dis01＝mul0+mul1，dis23＝mul2+mul3，dis45＝mul4+mul5，dis67＝mul6+mul7。第二步由2个加法器组成，dis0123＝dis01+dis23，dis4567＝dis45+dis67。第三步完成该行8个像素的失真度和，由1个加法器组成，dis_line＝dis0123+dis4567。(这里的各个dis变量为对应于图9中加法器各级的输出结果，为变量名)

第三级，加和变换块的8行失真度。主要由一个counter的选择器和1个反馈累加器组成。一个8状态的计数器counter用来控制累加器的工作，当counter＝7时，表示该变换块已经结束，输出整个变换块的失真度D，当counter＝0时，累加器清零，表示该变换块开始。

Claims (7)

1.一种AVS视频编码中的视频失真度估计方法，其步骤为：

1)对输入的残差值数据进行整数变换，并对变换系数进行缩放；

2)对缩放后的数据进行量化，同时保存缩放后的数据；

3)对量化后的数据进行反量化；

4)将输出的反量化数据与保存的缩放后的数据进行比较，得到像素经量化和反量化后的失真值；

5)对失真值进行放大，并对放大后的数据进行移位调节，得到像素的失真度。

2.如权利要求1所述的方法，其特征在于所述对输入的残差值进行整数变换的方法为：

首先对并行输入的残差值进行一维行变换，然后对行变换的数据进行转置，最后对转置后的数据进行一维列变换，并对列变换的数据进行转置使输出数据的排列顺序与输入时一致。

3.如权利要求2所述的方法，其特征在于所述对变换系数进行缩放的方法为：

1)采用一n状态控制计数器控制从缩放表格中取出的系数；

2)将同一时钟中取出的n个系数分别与对应的整数变换系数相乘；

3)对每个相乘后的数据进行移位，缩小频域的系数。

4.如权利要求3所述的方法，其特征在于所述并行输入的残差值为8并行输入；所述n状态控制计数器为8状态控制计数器。

5.如权利要求1所述的方法，其特征在于采用频域SSD方法表示一变换块的总失真度。

6.一种AVS视频编码中的视频失真度估计装置，其包括残差模块、变换模块、预缩放模块、FIFO模块、量化模块、反量化模块、后缩放模块、失真度加和模块；

其连接关系为：所述残差模块的数据输出端与所述变换模块的数据输入端连接；所述变换模块的数据输出端与所述预缩放模块的数据输入端连接；所述预缩放模块的数据输出端分别与所述量化模块的数据输入端、FIFO模块的数据输入端连接；所述量化模块的数据输出端与所述反量化模块的数据出入端连接；所述后缩放模块的数据输入端分别与所述反量化模块的数据输出端、FIFO模块的数据输出端连接，其数据输出端与所述失真度加和模块的数据输入端连接；

所述残差模块用于比较输入的原始像素与预测值，得到残差数据，并将残差数据送入所述变换模块；

所述变换模块将时域的残差数据转化为频域的残差数据；

所述预缩放模块对所述变换模块输出的数据进行缩放调整，得到进入量化前的数据；

所述FIFO模块用于存储量化前的数据；

所述量化模块用于将预缩放后的数据进行量化处理；

所述反量化模块用于完成对量化后的数据进行反量化；

所述后缩放模块用于根据量化前和反量化后的数据计算得到每个像素的失真度；

所述失真度加和模块用于完成每个像素的失真度换算和对变换块的失真度系数加和。

7.如权利要求6所述的装置，其特征在于所述后缩放模块包括一计数器、一后缩放表格单元、若干个减法器、若干个乘法器和若干个移位器；其连接关系为：所述减法器的输入端分别与所述反量化模块的输出端和所述预缩放模块的输出端对应连接，且其输出端与所述乘法器的一输入端对应连接；所述乘法器的另一个输入端与所述后缩放表格单元连接，且其输出端与一所述移位器输入端连接；所述后缩放表格单元输入端与所述计数器连接。

Images