CN101795404A - 基于量化步长的零块阈值确定方法及零块预先判断方法 - Google Patents

Abstract

本发明涉及一种基于量化步长的零块阈值的确定方法及零块预先判断方法，用于H.264压缩编码过程中零块阈值的确定，其中零块阈值的确定方法包括步骤：求取视频图像当前帧M×N块与参考帧相应的M×N块的预测残差值；求取上述预测残差值对应的绝对误差和；求取判断条件值；对比绝对误差和SAD_{InterM × N}与判断条件值，将

判断条件值作为确定零块的阈值。相应地，本发明还提出了一种零块预先判断方法，通过本发明可以提高H.264标准中的压缩编码效率。

Description

基于量化步长的零块阈值确定方法及零块预先判断方法

技术领域

本发明涉及多媒体通信中的视频压缩编码技术，尤其涉及一种压缩编码过程中的零块判断方法。

背景技术

现有H2.64标准中，在对预测残差图像块进行变换和对变换后的变换系数进行量化的过程引入优化处理方法主要从以下两个方面来考虑：

(1)由于H.264整数变换方法是一种从离散余弦变换(DCT)方法近似导出的变换方法，即采用整数的商来近似DCT变换系数，从而消除浮点乘除运算，因此采用整数变换方式代替DCT方式，变换效率可以得到很大提高，并且能够将变换过程和量化过程结合成一个过程。同时由于H.264整数变换方式处理的图像块尺度是4x4块，因此如果采用H.264整数变换，预测残差图像块大小不是4x4块，那么就需要把预测残差块划分为多个4x4块，然后分别对每个4x4块进行整数变换。

(2)预先判断出整数变换量化后的零块(所谓零块即是全零变换系数块的简称，即宏块MB中16个4x4块的变换系数全部为零的情况)，对于变换和量化结果为零的预测残差图像块是对图像压缩编码没有任何影响的，所以可以直接省略对这些零块的变换和量化过程，从而提高了图像压缩编码的效率；而且由于当前块是和前帧(0，0)位置上的对应块之间直接不求取预测残差的，因此如果预测残差图像块变换和量化结果为全零，则后面的运动搜索过程就可以避免了，从而可以节省每个图像块的运动搜索计算量，相应节省了整个帧间预测模式选择的计算量。

由此可见，如果能够根据一定条件预先判断一个预测残差图像块变换量化结果是否为零，即预先判断出整数变换后的零块，则可以避免大量零块的变换计算量和变换前的预测模式选择过程中的部分计算量。所以在H.264标准中，零块预先判断处理对于提高视频图像压缩编码效率是十分重要的。

发明内容

本发明要解决的技术问题在于提出一种基于量化步长的零块阈值确定方法及零块预先判断方法，以适合于H.264标准压缩编码过程中的零块预先判断处理，提高H.264标准中的压缩编码效率。

为解决上述问题，本发明提出了一种基于量化步长的零块阈值确定方法，用于H.264压缩编码过程中零块阈值的确定，包括步骤：

步骤S10：求取视频图像当前帧M×N块与参考帧相应的M×N块的预测残差图像块；

步骤S20：求取上述预测残差图像块对应的绝对误差和 ${\mathrm{SAD}}_{\mathrm{InterM}\×N}=\underset{i=0}{\overset{M}{\mathrm{\Σ}}}\underset{j=0}{\overset{N}{\mathrm{\Σ}}}\left|X_{\mathrm{ij}}\right|;$

步骤S30：求取判断条件值

步骤S40：对比绝对误差和SAD_InterM×N与判断条件值，将 ${\mathrm{SAD}}_{\mathrm{InterM}\&times;N}<\frac{5\&times;M\&times;N\&times;\mathrm{Qstep}}{384\&times;\mathrm{PF}}$ 判断条件值作为确定零块的阈值。

相应地，本发明还提出了一种基于量化步长的零块预先判断方法，用于H.264压缩编码过程中零块预先判断处理，包括步骤：

(1)确定预测残差图像块对应的绝对误差和 ${\mathrm{SAD}}_{\mathrm{InterM}\&times;N}<\frac{5\&times;M\&times;N\&times;\mathrm{Qstep}}{384\&times;\mathrm{PF}}$ 为零块预判条件，Qstep为量化步长；

(2)针对当前图像中的M×N块，将当前图像各种帧间预测模式下的当前块划分成4×4块；

(3)对于当前划分出的每个4×4块，分别求取每个4×4块和参考帧中相应位置的4×4块之间的预测残差图像块对应的绝对误差和；

(4)对于所述绝对误差和满足所述零块预判条件的每个4×4块，将其在当前图像帧中的位置信息记录在零块列表中；

(5)在对当前图像帧的每个当前块与参考帧相应参考块之间的预测残差图像进行整数变换和量化前，先判断当前块划分出的每个4×4块的位置信息是否都记录在零块列表中，如果是，则不必进行相应的整数变换和量化处理。

本发明能够达到如下的有益效果：本发明根据H.264标准中4×4整数变换的数学理论，推导确定的零块预判阈值可以很好的适用于H.264中的4×4整数变换过程中的零块预先判断，其预判阈值具有很好的判别精确度，能够很好的保证视频图像的质量。

附图说明

图1为本发明零块阈值确定方法的主要实现原理流程图；

图2为本发明零块预先判断方法在inter16×16、inter16×8、inter8×8、inter8×4、inter4×8帧间预测模式下的实现原理流程图。

具体实施方式

“零块”就是残差像素块在匹配准则下，经过变换和量化后，变换系数全都小于1的块。所谓“零块检测”就是利用某种算法，计算出图像中的全零块，从而可以提前终止对这些全零块的DCT/IDCT，Q/IQ以及像素块的重构过程，因而可以节省一定的计算步骤，减少编解码系统的计算复杂度。

由于在帧间预测编码和帧内预测编码中存在大量的“全零块”，利用它们来提前终止对应像素块的变换和量化过程，可以节省大量的计算过程，显著的提高编码系统的效率。

本发明根据现行基于量化参数零检索条件的阈值计算的优缺点提出了一种新的基于量化步长的阈值计算方法。

1.算法推到的基础

DCT变换计算过程如下：

一维N点离散余弦变换(DCT)可表示为：

$y_k=C_k\underset{n=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{x}_n\cos \frac{(2n+1)\mathrm{k\&pi;}}{2N},---\left(1\right)$

其中x_n是输入时域序列中的第n项，y_k是输出频域中的第k项，系数C_k定义如下：

$C_k=\left\{\begin{array}{c}\sqrt{\frac{1}{N}},k=0\\ \sqrt{\frac{2}{N}},k=\mathrm{1,2},...,N-1\end{array}\right.---\left(2\right)$

二维N×N图像块的DCT，可以表示为：

$y_{\mathrm{mn}}=C_m{C}_n\underset{i=0}{\overset{N-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{x}_{\mathrm{ij}}\cos \frac{(2j+1)\mathrm{n\&pi;}}{2N}\cos \frac{(2i+1)\mathrm{m\&pi;}}{2N},---\left(3\right)$

其中，x_ij是图像块X中第i行，第j列图像残差，y_mn是变换结果矩阵Y相应频率点上的DCT系数，可以用矩阵表示为：

Y＝AXA^T，    (4)

对N×N变换矩阵A的系数为：

$A_{\mathrm{ij}}=C_i\cos \frac{(2j+1)\mathrm{i\&pi;}}{2N},---\left(5\right)$

在H.264是对4x4像素块进行操作。可以设：

$a=\frac{1}{2},$ $b=\sqrt{\frac{1}{2}}\cos \left(\frac{\mathrm{\&pi;}}{8}\right),$ $c=\sqrt{\frac{1}{2}}\cos \left(\frac{3\mathrm{\&pi;}}{8}\right),---\left(6\right)$

则有：

$A=\left[\begin{array}{cccc}a& a& a& a\\ b& c& -c& b\\ a& -a& -a& a\\ c& -b& b& -c\end{array}\right]$

上面的a，b，c都为浮点数，而H.264对上面实数的DCT变换进行了改造，采用整数DCT技术，可有效的减少计算量，同时不损失图像的准确度。式(4)可以等效为：

$Y=\left({\mathrm{CXC}}^T\right)\&CircleTimes;E$

$=\left(\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& d& -d& -1\\ 1& -1& -1& 1\\ d& -1& 1& -d\end{array}\right]X\left[\begin{array}{cccc}1& 1& 1& d\\ 1& d& -1& -1\\ 1& -d& -1& 1\\ 1& -1& 1& -d\end{array}\right]\right)\&CircleTimes;\left[\begin{array}{cccc}{a}^2& \mathrm{ab}& a^2& \mathrm{ab}\\ \mathrm{ab}& b^2& \mathrm{ab}& b^2\\ a^2& \mathrm{ab}& a^2& \mathrm{ab}\\ \mathrm{ab}& b^2& \mathrm{ab}& b^2\end{array}\right],---\left(7\right)$

其中，d＝d/b。符号

表示(CXC^T)结果中的每个元素乘以矩阵E中对应位置的值，也就是数学中的点乘运算。为了保持正交性和进一步的简化运算，H.264对(7)式进行了更进一步的改造。得到：

$Y=\left(C_f{{\mathrm{XC}}_f}^T\right)\&CircleTimes;E_f$

$=\left(\left[\begin{array}{cccc}1& 1& 1& 1\\ 2& 1& -1& -2\\ 1& -1& -1& 1\\ 1& -2& 2& -1\end{array}\right]X\left[\begin{array}{cccc}1& 2& 1& 1\\ 1& 1& -1& -2\\ 1& -1& -1& 2\\ 1& -2& 1& -1\end{array}\right]\right)\&CircleTimes;\left[\begin{array}{cccc}{a}^2& \mathrm{ab}/2& a^2& \mathrm{ab}/2\\ \mathrm{ab}/2& b^2/4& \mathrm{ab}/2& b^2/4\\ a^2& \mathrm{ab}/2& a^2& \mathrm{ab}/2\\ \mathrm{ab}/2& b^2/4& \mathrm{ab}/2& b^2/4\end{array}\right],---\left(8\right)$

在H.264中，把E_f放入了量化过程以避免复杂的浮点数运算和除法操作。

因此在H.264中的量化过程稍显复杂。可以表达成下式：

$Z_{\mathrm{uv}}=\mathrm{round}\left(\frac{Y_{\mathrm{uv}}}{Q_{\mathrm{step}}}\right)=\mathrm{round}\left(W_{\mathrm{uv}}\frac{\mathrm{PF}}{Q_{\mathrm{step}}}\right),---\left(9\right)$

其中：

$W_{\mathrm{uv}}=\underset{i=0}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{3}{\mathrm{\&Sigma;}}}{C}_{\mathrm{ui}}{X}_{\mathrm{ij}}{C_{\mathrm{jv}}}^T,0\&le;u\&le;\mathrm{3,0}\&le;v\&le;3,---\left(10\right)$

其中：a＝1/2， $b=\sqrt{2/5}$

利用量化步长随量化参数每增加6而增加一倍的性质，可以进一步简化计算，设：

qbits＝15+floor(QP/6)，    (12)

令，

$\frac{\mathrm{MF}}{2^{\mathrm{qbits}}}=\frac{\mathrm{PF}}{Q_{\mathrm{step}}},---\left(13\right)$

其中floor()为取整函数，即其输出值不大于输入实数的最大整数。则(9)可以写成：

$Z_{\mathrm{ij}}=\mathrm{round}\left(W_{\mathrm{uv}}\frac{\mathrm{MF}}{2^{\mathrm{qbits}}}\right)=(W_{\mathrm{uv}}\mathrm{MF}+f)>>\mathrm{qbits},---\left(14\right)$

这里，帧内时，取f＝2^qbits/3，帧间时，取f＝2^qbits/6。

2.1原基于量化参数的全零块检测阈值的推导过程：

对(10)式中的W_uv取绝对值得到：

$\left|W_{\mathrm{uv}}\right|=\left|\underset{i=0}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{3}{\mathrm{\&Sigma;}}}{C}_{\mathrm{ui}}{X}_{\mathrm{ij}}{C}_{\mathrm{jv}}\right|\&le;\underset{i=0}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{3}{\mathrm{\&Sigma;}}}\left|C_{\mathrm{ui}}{C}_{\mathrm{jv}}\right|\left|X_{\mathrm{ij}}\right|,0\&le;u,v\&le;3,---\left(15\right)$

根据矩阵C的特性，最大元素为2，则元素之间最大的乘法为4，所以有

|C_uiC_jv|≤4，        (16)

因此，由不等式(15)可以转化为：

$\left|W_{\mathrm{uv}}\right|\&le;4\underset{i=0}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{3}{\mathrm{\&Sigma;}}}\left|X_{\mathrm{ij}}\right|,---\left(17\right)$

而|X_ij|就是像素的残差，因此：

${\mathrm{SAD}}_{4\&times;4}=\underset{i=0}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{3}{\mathrm{\&Sigma;}}}\left|X_{\mathrm{ij}}\right|,---\left(18\right)$

于是(17)式转化为

|W_uv|≤4SAD_4×4，    (19)

根据式(14)，可以得出全零块必须满足如下条件：

$\left|Z_{\mathrm{uv}}\right|=\frac{\left|W_{\mathrm{uv}}\right|\mathrm{MF}+f}{2^{\mathrm{qbits}}}\&le;\frac{4{\mathrm{SAD}}_{4\&times;4}\mathrm{MF}+f}{2^{\mathrm{qbits}}}<1,---\left(20\right)$

对帧间预测，取f＝2^qbits/6，对帧内预测取f＝2^qbits/3，从式(20)可以解出帧间全零块的阈值，得到：

${\mathrm{SAD}}_{\mathrm{Inter}4\&times;4}<\frac{2^{\mathrm{qbits}}-f}{4\&times;\mathrm{MF}}=\frac{2^{15+\mathrm{floor}(\mathrm{QP}/6)}}{4.8\mathrm{MF}}---\left(21\right)$

$\mathrm{MF}=\left(\begin{array}{ccc}5243& 8066& 13107\\ 4660& 7490& 11916\\ 4194& 6554& 10082\\ 3647& 5825& 9362\\ 3355& 5243& 8192\\ 2893& 4559& 7282\end{array}\right)---\left(22\right)$

由于是严格的数学推导过程，因而满足(21)的像素块为全零块。当QP得值为0-5时，MF的值见式(22)，而对于大于5的QP值，因qbits值随QP值每增加6而加1，所以其后的QP值所对应的MF值于QP为0-5的值一样。但该方法所得门限值因MF的取值太多，所以算起来并不方便。

2.2另一种改进后基于量化参数的阈值

由式(22)可知MF的值最大为：

MF₀₀＝13107    (23)

所以由式(20)和(23)得改进的帧间全零块的阈值为：

${\mathrm{SAD}}_{\mathrm{Inter}4\&times;4}<\frac{2^{\mathrm{qbits}}-f}{4\&times;{\mathrm{MF}}_{00}}=\frac{2^{15+\mathrm{floor}(\mathrm{QP}/6)}}{4.8{\mathrm{MF}}_{00}}---\left(24\right)$

该门限值虽然计算起来很方便，但显然只有QP的值每增加6才会改变一次，即每6个QP所对应的门限值都是一样的，所以误差太大。

3.结合上述优缺点提出一种新的基于量化步长的阈值计算方法：

由式(13)和(20)得新的帧间全零块的阈值为：

${\mathrm{SAD}}_{\mathrm{Inter}4\&times;4}<\frac{2^{\mathrm{qbits}}}{4.8\&times;\mathrm{MF}}=\frac{2^{\mathrm{qbits}}\&times;\mathrm{Qstep}}{4.8\&times;\mathrm{PF}\&times;2^{\mathrm{qbits}}}=\frac{\mathrm{Qstep}}{4.8\&times;\mathrm{PF}},---\left(25\right)$

对于帧间预测，有不同帧间块选择模式：4x4，4x8，8x4，8x8，16x8，8x16和16x16这七种模式，更通用的是用M和N来代表像素块的长和宽。所以，对帧间SAD阈值SAD_InterM×N的门限值，可以表述为下式：

${\mathrm{SAD}}_{\mathrm{InterM}\&times;N}<\frac{5\&times;M\&times;N\&times;\mathrm{Qstep}}{384\&times;\mathrm{PF}},---\left(26\right)$

基于上述推导过程，同时参考图1，因此，本发明方法提出的一种基于量化步长的零块阈值的确定方法，用于H.264压缩编码过程中零块阈值的确定，其特征在于，包括步骤：

步骤S10：求取视频图像M×N块与前帧参考M×N块的预测残差图像块；

步骤S20：求取上述预测残差图像块对应的绝对误差和 ${\mathrm{SAD}}_{\mathrm{InterM}\&times;N}=\underset{i=0}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N}{\mathrm{\&Sigma;}}}\left|X_{\mathrm{ij}}\right|;$

步骤S30：求取判断条件值

步骤S40：对比绝对误差和SAD_InterM×N与判断条件值，将 ${\mathrm{SAD}}_{\mathrm{InterM}\&times;N}<\frac{5\&times;M\&times;N\&times;\mathrm{Qstep}}{384\&times;\mathrm{PF}}$ 判断条件值作为确定零块的阈值。

对于4×4块帧间预测，步骤30中零块判断条件值计算公式为

步骤40中对比绝对误差和SAD_Inter4×4与判断条件值，将 ${\mathrm{SAD}}_{\mathrm{Inter}4\&times;4}<\frac{\mathrm{Qstep}}{4.8\&times;\mathrm{PF}}$ 判断条件值作为确定零块的阈值。

请参阅图2，是本发明零块预先判断方法在inter16×16、inter16×8、inter8×8、inter8×4、inter4×8帧间预测模式下的实现原理流程图；其主要实现过程如下：

(1)确定预测残差图像块对应的绝对误差和 ${\mathrm{SAD}}_{\mathrm{InterM}\&times;N}<\frac{5\&times;M\&times;N\&times;\mathrm{Qstep}}{384\&times;\mathrm{PF}}$ 为零块预判条件，Qstep为量化步长；

(2)针对当前图像中的M×N块，将当前图像各种帧间预测模式下的当前划分成4×4块；

(3)对于当前划分出的每个4×4块，分别找到其在前帧初始位置的参考4×4块，分别求取每个4×4块和相应初始位置参考4×4块之间的预测残差图像块对应的绝对误差和；

(4)对于所述绝对误差和满足所述零块预判条件的每个4×4块，将其在当前图像帧中的位置信息记录在零块列表中，位置信息是指4×4块在当前图像中的行、列坐标信息；

(41)分别完成其在参考帧的运动搜索，找到其在参考帧最优位置的参考4×4块，分别求取每个4×4块和相应最优位置参考4×4块之间的预测残差图像对应的绝对误差和；

(42)对该当前块划分出的每个4×4块与参考帧相应参考4×4块之间的预测残差图像块进行整数变换和量化处理。

(5)在对当前图像帧的每个当前块与参考帧相应参考块之间的预测残差图像进行整数变换和量化前，先判断当前块划分出的每个4×4块的位置信息是否都记录在零块列表中，如果是，则不必进行相应的整数变换和量化处理。

效果比较实验

实验条件：码率为384KB，foreman.cif测试流。把由本发明计算所得的全零块阈值运用的pskip判断的模块进行优化，可以获得较好的视频图像质量。

采用本发明计算“零块”检索阈值，不仅计算复杂度低，误差也较小。因此在不采用率失真优化时，并且代价函数为SAD时，当失真函数SAD满足上式(26)，就可以认为是“零块”，可以跳过这些块的变换、量化与重构步骤，而直接处理下一像素块。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于量化步长的零块阈值的确定方法，用于H.264压缩编码过程中零块阈值的确定，其特征在于，包括步骤：

步骤S10：求取当前帧M×N块与参考帧相应的参考M×N块的预测残差图像块；

步骤S20：求取上述预测残差图像块对应的绝对误差和 ${\mathrm{SAD}}_{\mathrm{InterM}\&times;N}=\underset{i=0}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N}{\mathrm{\&Sigma;}}}\left|X_{\mathrm{ij}}\right|;$

步骤S30：求取判断条件值

步骤S40：对比绝对误差和SAD_InterM×N与判断条件值，将 ${\mathrm{SAD}}_{\mathrm{InterM}\&times;N}<\frac{5\&times;M\&times;N\&times;\mathrm{Qstep}}{384\&times;\mathrm{PF}}$ 判断条件值作为确定零块的阈值。

2.如权利要求1所述的零块阈值的确定方法，其特征在于，对于4×4块帧间预测，步骤30中零块判断条件值计算公式为步骤40中对比绝对误差和SAD_Inter4×4与判断条件值，将 ${\mathrm{SAD}}_{\mathrm{Inter}4\&times;4}<\frac{\mathrm{Qstep}}{4.8\&times;\mathrm{PF}}$ 判断条件值作为确定零块的阈值。

3.如权利要求1或2所述的零块阈值的确定方法，其特征在于，所述

其中：a＝1/2， $b=\sqrt{2/5}.$

4.一种基于量化步长的零块预先判断方法，用于H.264压缩编码过程中零块预先判断处理，其特征在于，包括步骤：

(1)确定预测残差图像块对应的绝对误差和 ${\mathrm{SAD}}_{\mathrm{InterM}\&times;N}<\frac{5\&times;M\&times;N\&times;\mathrm{Qstep}}{384\&times;\mathrm{PF}}$ 为零块预判条件，Qstep为量化步长；

(2)将当前帧中的待编码块(M×N块)划分为若干4×4块；

(3)对于当前划分出的每个4×4块，分别求取每个4×4块和参考帧中相应位置的4×4块之间的预测残差图像块对应的绝对误差和；

(4)对于所述绝对误差和满足所述零块预判条件的每个4×4块，将其在当前帧中的位置信息记录在零块列表中；

(5)在对当前帧的-待编码块与参考帧相应参考块之间的预测残差值进行整数变换和量化之前，先判断当前块划分出的每个4×4块的位置信息是否都记录在零块列表中，如果是，则不必进行相应的整数变换和量化处理，否则，则按原264算法继续计算相应的整数变化和量化处理。

5.如权利要求4所述的基于量化步长的零块预先判断方法，其特征在于：所述位置信息是指4×4块在当前图像中的行、列坐标信息。

6.如权利要求4所述的基于量化步长的零块预先判断方法，其特征在于：步骤(2)中所述帧间预测模式包括inter16×16、inter16×8、inter8×8、inter8×4、inter4×8。

Images