CN101895759B - 一种h.264码率控制方法 - Google Patents

Abstract

本发明公开了一种H.264码率控制方法，属于视频编码技术领域。本发明方法在现有方法以图像灰度直方图的平均差值和图像亮度分量的平均绝对误差比率的加权之和作为帧复杂度系数并根据该复杂度系数确定当前编码帧的目标比特数的基础之上，考虑已编码帧的特性对当前帧码率控制的影响，引入一个调整系数，用该调整系数对量化参数进行动态调整并进行率失真优化。本发明方法在更准确控制码率的同时，能得到更好的图像质量，本发明方法在抑制帧间质量波动方面也有更好的表现，提高了视频图像的平滑性，并且保持了较低的编码器缓冲区占用度。

Description

一种H.264码率控制方法

技术领域

本发明涉及视频编码技术领域，具体涉及一种H.264视频编码的码率控制方法。

背景技术

在视频通信中，压缩编码后的信息流常常需要在带宽不衡定的网络上传输。为了使编码后的视频流很好地适应带宽，尤其是适应低带宽信道或时变的无线信道并充分利用有限的网络资源，码率控制成为了视频通信系统中一个必不可少的环节。码率控制的主要任务是采集缓冲区状态和图像活动性等信息，来给每幅图像分配一定的比特数，使得输出码率能控制在给定的标准上，并使图像失真最小。

在H.264/AVC的码率控制方法中，由于同时在码率控制和率失真优化环节使用了量化参数，导致了“蛋鸡悖论”，即对当前帧的宏块进行率失真优化时，需要先通过当前帧或当前宏块的MAD决定每个宏块的量化参数，而当前帧或宏块的MAD仅在率失真优化后才能得到[Ma S.W，Gao W and Lu Y.Rate control on JVT standard，Document JVT-D030[S].2002]。为了解决“蛋鸡悖论”问题，很多学者做了大量的研究，文献[Shin I H，Lee Y L，Park H W.Rate control using linear rate-ρmodel for H.264[J].Signal Process Image Com-munication，2004，19：341-352.]在ρ域模型的基础上作了改进，应用在H.264的码率控制中，文献[Ma Siwei，Gao Wen，Lu Yan.Rate-distortion analysis for H.264/AVCvideo coding and its application to rate control[J].IEEE Trans on Circuit Syst for Video Technol，2005，15(12)：1533-1544.]提出了码率与量化步长与量化步长间的关系模型及相应的码率控制方法，文献[Ma S.W，Gao ，Wu F and Lu Y.Rate control for JVT video coding scheme with HRD considerations.Proceeding of IEEE International Conference on Image and Processing，2003，vol.3，PP：793-796.]将HRD一致性约束、平均绝对误差比综合考虑，提出了一种新的码率控制方法。Li Zhengguo提出的JVT-G012方法利用线性MAD模型来预测当前基本单元的MAD值，这一方法可以获得比较好的编码效果，引起了广泛的关注[Li Zhengguo，Gao Wen，Pan Feng，et al.Adaptive rate control for H.264[J].Journal of Visual Communication and Image Representation，2006，17(2)：376-406.]。JVT-G012方法虽然较好地解决了蛋鸡悖论问题，然而仍然存在很多问题。比如方法中没有明确的讨论帧内的码率-量化(R-Q)模型，因此文献[X.Jing，L.P.Chau，and W.-C Siu，″Frame complexity-based rate-quantization model for H.264/AVC intraframe rate control，″IEEE Signal Processing Letters，vol.15，pp.373-376，2008.]提出了一种自适应的帧内R-Q模型，这种方法通过考虑基于灰度的帧复杂度，自适应的更新模型参数，来更精确地选择帧内编码帧的量化参数。又比如在基于传统变换的视频编码系统中彩色视频信号的率失真(R-D)参数分别为亮度和色度分量模型化，所以文献[Z.Z.Chen and K.N.Ngan，“Towards rate-distortion tradeoff in real-time color video coding”，IEEE Trans.Circuits Syst.Video Technol.，2007，vol.17，no.2，pp.158-167]提出为彩色视频编码建立独立的R-D模型。

JVT-G012方法在帧级码率控制上也存在不足。它根据缓冲区的情况来为各帧平均分配比特，忽略图像复杂度的分布，致使帧层目标比特分配过于均匀；其次计算量化参数时也没有考虑已编码帧的特性对当前帧码率控制的影响。

在本发明人于2010年7月23日申请的一篇中国发明专利申请(申请号为201010235061.8)中公开了一种基于帧复杂度的H.264码率控制方法。该方法包括以下步骤：A、根据帧复杂度确定当前编码帧的目标比特数；B、计算量化参数并进行率失真优化；其中，帧复杂度是通过一个复杂度系数来衡量，该复杂度系数定义为图像灰度直方图的平均差值和图像亮度分量的平均绝对误差比率的加权之和，在该复杂度系数基础上，通过经验公式对现有的目标比特公式进行了修正。该方法能够更为准确地控制码率，提高视频输出序列的平均峰值信噪比，并能够减小视频图像帧间质量波动，从而提高视频图像质量。但该方法仅从帧层目标比特分配的角度进行了优化，在计算量化参数时仍然使用了JVT-G012中传统的方法，并未考虑已编码帧的特性对当前帧码率控制的影响。在该方法中，线性MAD预测模型和头信息比特的不准确性可能导致由二项式模型计算得到的量化参数无法产生预期的编码比特。因此，为了更准确地进行码率控制，有必要利用以前帧的编码信息对当前量化参数做适当的调整。

发明内容

本发明的目的在于在上述基于帧复杂度的H.264码率控制方法的基础之上，考虑已编码帧的特性对当前帧码率控制的影响，提供一种结合图像复杂度并对量化参数进行调整的帧层码率控制方法，从而进一步提高视频图像质量。

本发明采用量化参数调整系数ΔQ来调整每帧的量化参数。ΔQ的值由前一已编码帧产生的实际比特数preactbits和前一帧的目标比特数pretarbits来决定。当实际编码比特数大于目标比特数时，表示前一帧分配了较少的目标比特数，致使GOP剩余的比特数增加，那么分配给当前帧的目标比特数就会增加，由二次率失真模型计算出来的量化参数就会较小，因此应该适当的增大量化参数。在一个GOP层中，第一帧的量化参数是预先设定的，没有进行目标比特分配，所以紧随其后的第2帧无法根据前一帧的实际比特数、目标比特数来调整，因此本发明中GOP层中前两帧的量化参数不作调整，后面的帧根据量化参数调整系数来计算。本发明的技术方案具体为：

一种H.264码率控制方法，包括以下步骤：A、以图像灰度直方图的平均差值和图像亮度分量的平均绝对误差比率的加权之和作为帧复杂度系数，根据该复杂度系数确定当前编码帧的目标比特数；B、计算量化参数并进行率失真优化；其特征在于：在计算量化参数时，利用已编码帧的信息动态调整当前帧的量化参数，具体是指按照如下公式计算并动态调整当前编码的第i个GOP层第j帧的量化参数：

$Q_i\left(j\right)=\left\{\begin{array}{cc}C& j=1\\ Q_i^{\′}\left(j\right)& j=2\\ Q_i^{\′}\left(j\right)+\mathrm{\Δ}{Q}_i\left(j\right)& j>2\end{array}\right.,$

其中，

C是预先设定的常数，取值范围为20到40之间；Q′_i(j)为通过JVT-G012中传统方法计算得到的第i个GOP层第j帧调整前的量化参数；i为视频序列中GOP层的序号，取值范围为1到视频序列中GOP层数；j为第i个GOP层中帧的序号，取值范围为1到第i个GOP层中包含的总帧数；ΔQ_i(j)为调整系数，其表达式为：

$\mathrm{\&Delta;}{Q}_i\left(j\right)=\left\{\begin{array}{cc}2& \mathrm{ifpretarbits}\&le;\mathrm{preactbits}<2\mathrm{pretarbits}\\ 3& \mathrm{ifpreactbits}\&GreaterEqual;2\mathrm{pretarbits}\end{array}\right.,$

pretarbits和preactbits分别表示前一已编码帧的目标比特数、实际比特数。

通过上述方案对量化参数进行调整后，用拉格朗日优化法进行率失真优化。

上述技术方案中调整系数ΔQ_i(j)是通过大量实验，选取的最优值。

本发明方法在现有方法以图像灰度直方图的平均差值和图像亮度分量的平均绝对误差比率的加权之和作为帧复杂度系数并根据该复杂度系数确定当前编码帧的目标比特数的基础之上，考虑已编码帧的特性对当前帧码率控制的影响，引入一个调整系数，用该调整系数对量化参数进行动态调整。本发明方法在更准确控制码率的同时，能得到更好的图像质量，提高了视频的平滑性并保持了较低的编码器缓冲区占用度。

附图说明

图1是本发明方法与JVT-G012方法处理suzie序列的PSNR比较图；

图2是本发明方法与JVT-G012方法处理football序列的PSNR比较图；

图3是本发明方法与JVT-G012方法处理mobile序列的PSNR比较图；

图4是本发明方法与JVT-G012方法处理football序列缓冲区占用度比较图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本发明的H.264码率控制方法具体包括以下步骤：

A、根据帧复杂度确定当前编码帧的目标比特数；本步骤包括以下各步骤：

A1、按照下式计算未编码帧的剩余比特数：

$T_r\left(n_{i,j}\right)=\left\{\begin{array}{cc}\frac{u\left(n_{i,1}\right)}{F_r}\&times;N_{\mathrm{gop}}-(\frac{B_s}{8}-B_c\left(n_{i-1,N_{\mathrm{gop}}}\right))& j=1\\ T_r\left(n_{i,j-1}\right)-A\left(n_{i,j-1}\right)& j=\mathrm{2,3}...N_i\end{array}\right.,$

其中，T_r(n_i，j)表示第i个GOP层编码至第j帧时剩余的总比特数，u(n_i，1)表示编码第一帧前的可用信道带宽，F_r为帧率，N_gop表示该GOP层中图像帧的个数，B_s为缓冲区的大小，

表示第i-1个GOP层中最后一帧编码结束后缓冲区的实际占有率，A(n_i，j-1)是第i个GOP层第j-1帧实际产生的比特数；

A2、按照如下公式计算当前编码帧的复杂度系数：

FC＝μMAD_ratio(i，j)+(1-μ)C_j，

其中，FC表示复杂度系数；μ是权系数，其取值范围为0到1；i为视频序列中GOP层的序号，取值范围为1到视频序列中GOP层数；j为第i个GOP层中帧的序号，取值范围为1到第i个GOP层中包含的总帧数；

h_j表示当前编码帧的灰度直方图，h_j-1表示前一帧重建帧的灰度直方图；

表示第i个GOP层中第j帧的图像亮度分量平均绝对误差的比率；MAD(i，j)＝a1*MAD(i，j-1)+a2，表示第i个GOP层中第j帧的图像亮度分量平均绝对误差，a1和a2为一元线性回归系数，其初始值分别为1和0，并在每个帧编码完成之后更新；

表示当前GOP层中所有已编码P帧的图像亮度分量平均绝对误差的平均值；

本具体实施方式中，权系数μ的取值为0.3。

A3、根据下式计算当前编码帧的目标比特数：

$T_i\left(j\right)=\left\{\begin{array}{cc}0.88\&times;\mathrm{FC}\&times;\mathrm{\&beta;}\&times;\frac{T_r\left(n_{i,j}\right)}{N_r}+(1-\mathrm{\&beta;})\&times;\{\frac{u\left(n_{i,j}\right)}{F_r}+\mathrm{\&gamma;}[T_{\mathrm{bl}}\left(n_{i,j}\right)-B_c\left(n_{i,j}\right)\left]\right\}& 0\&le;\mathrm{FC}\&le;1.1\\ [0.8\&times;(\mathrm{FC}-1.15)+1.1]\&times;\mathrm{\&beta;}\&times;\frac{T_r\left(n_{i,j}\right)}{N_r}+(1-\mathrm{\&beta;})\&times;\{\frac{u\left(n_{i,j}\right)}{F_r}+\mathrm{\&gamma;}[T_{\mathrm{bl}}\left(n_{i,j}\right)-B_c\left(n_{i,j}\right)\left]\right\}& 1.1<\mathrm{FC}\&le;2.1\\ 1.15\&times;\mathrm{\&beta;}\&times;\frac{T_r\left(n_{i,j}\right)}{N_r}+(1-\mathrm{\&beta;})\&times;\{\frac{u\left(n_{i,j}\right)}{F_r}+\mathrm{\&gamma;}[T_{\mathrm{bl}}\left(n_{i,j}\right)-B_c\left(n_{i,j}\right)\left]\right\}& \mathrm{FC}>2.1\end{array}\right.$

其中，T_r(n_i，j)表示第i个GOP层编码至第j帧时剩余的总比特数；T_i(j)表示第i个GOP层中第j帧的目标比特数；FC表示复杂度系数；F_r表示帧率；N_r表示当前GOP层的未编码帧数；u(n_i，j)表示信道可利用的带宽；T_bl(n_i，j)表示目标缓冲级别；B_c(n_i，j)为缓冲区占用度；β、γ为加权系数，β在有B帧时为0.9，否则为0.5；γ当GOP内有B帧时，它的值为0.25，否则为0.75。

B、计算量化参数并进行率失真优化；具体包括以下各步骤：

B1、根据下式计算当前帧调整前的量化参数Q′_i(j)：

$T_i\left(j\right)=a\frac{\mathrm{MAD}(i,j)}{{Q_i}^{\&prime;}\left(j\right)}+b\frac{\mathrm{MAD}(i,j)}{{Q_i}^{\&prime;}{\left(j\right)}^2}$

其中，a、b为模型参数，通过线性回归统计计算得到；T_i(j)表示当前编码的第i个GOP层中第j帧的目标比特数；MAD(i，j)＝a1*MAD(i，j-1)+a2，表示第i个GOP层中第j帧的图像亮度分量平均绝对误差，a1和a2为一元线性回归系数，其初始值分别为1和0，并在每个帧编码完成之后更新；

B2、按照如下公式计算并动态调整当前编码的第i个GOP层第j帧的量化参数：

$Q_i\left(j\right)=\left\{\begin{array}{cc}C& j=1\\ Q_i^{\&prime;}\left(j\right)& j=2\\ Q_i^{\&prime;}\left(j\right)+\mathrm{\&Delta;}{Q}_i\left(j\right)& j>2\end{array}\right.,$

其中，

C是预先设定的常数，取值范围为20到40之间；Q′_i(j)为通过JVT-G012中传统方法计算得到的第i个GOP层第j帧调整前的量化参数；i为视频序列中GOP层的序号，取值范围为1到视频序列中GOP层数；j为第i个GOP层中帧的序号，取值范围为1到第i个GOP层中包含的总帧数；ΔQ_i(j)为调整系数，其表达式为：

$\mathrm{\&Delta;}{Q}_i\left(j\right)=\left\{\begin{array}{cc}2& \mathrm{ifpretarbits}\&le;\mathrm{preactbits}<2\mathrm{pretarbits}\\ 3& \mathrm{ifpreactbits}\&GreaterEqual;2\mathrm{pretarbits}\end{array}\right.,$

pretarbits和preactbits分别表示前一已编码帧的目标比特数、实际比特数；

B3、用拉格朗日优化法进行率失真优化。

本步骤所使用的率失真优化为现有技术，详细内容可参见文献(Li Zheng-guo，Pan Feng，Lim Keng-pang，et al.Adaptive base unit layer rate control for JVT，JVT-G012.Proceedings of 7th Meeting，Pattay II，Thailand，2003.)，此处不再赘述。

为了验证本发明方法的效果，在JVT的校验模型JM8.6上实现了本文提出的码率控制改进方法，并和基于帧复杂度的H.264码率控制方法以及JVT-G012码率控制方法分别进行了对比。实验使用的测试序列是QCIF4:2:0格式：mobile、football、suzie、coastguard，帧率为15帧/s，目标码率为64kb/s，共编码100帧，起始量化参数为28，GOP长度为25。得到的实验结果如下表1所示(其中，原方法表示基于帧复杂度的H.264码率控制方法，本方法表示本发明方法)：

表1

从上表中可以看出，与基于帧复杂度的H.264码率控制方法相比，本发明的码率控制方法可以更为准确地控制码率。本发明的码率控制方法还能获得更好的序列峰值信噪比。该方法在一定程度上能够有效地平滑帧间的PSNR波动，提高了视频序列的平滑性。

图1-图3分别为suzie、football和mobile测试序列分别采用两种方法时的PSNR对比图，图中JM8.6表示采用JVT-G012码率控制方法进行编码，Proposed表示采用本发明的码率控制方法编码。从图中可看到本发明方法能够更有效地抑制由于快速运动引起的PSNR剧降。如第63帧在采用JVT-G012码率控制方法进行编码时，其PSNR值锐减到22.84dB。但在采用本发明方法时，其PSNR值仍有27.03dB，比JVT-G012码率控制方法提高了4.19dB。

图4为分别采用两种方法处理football序列时的缓冲区占用度对比图，图中JM8.6表示采用JVT-G012码率控制方法进行编码，Proposed表示采用本发明的码率控制方法编码。从图中可看出，本发明方法的缓冲区占用度波动较小，有效地避免了可能出现的上溢。本文提出的方法使缓冲区占用量更稳定，不至于出现较大的波动。

相比现有技术，本发明方法在更准确控制码率的同时，能得到更好的图像质量，提高视频的平滑性并保持较低的编码器缓冲区占用度，可用于视频编解码芯片的设计制造，具有良好的应用前景。

Claims (2)

1.一种H.264码率控制方法，包括以下步骤：A、以图像灰度直方图的平均差值和图像亮度分量的平均绝对误差比率的加权之和作为帧复杂度系数，根据该复杂度系数确定当前编码帧的目标比特数；B、计算量化参数并进行率失真优化；其特征在于：在计算量化参数时，利用已编码帧的信息动态调整当前帧的量化参数，具体是指按照如下公式计算并动态调整当前编码的第i个GOP层第j帧的量化参数：

$Q_i\left(j\right)=\left\{\begin{array}{cc}C& j=1\\ Q_i^{\&prime;}\left(j\right)& j=2\\ Q_i^{\&prime;}\left(j\right)+\mathrm{\&Delta;}{Q}_i\left(j\right)& j>2\end{array}\right.,$

其中，

C是预先设定的常数，取值范围为20到40之间；Q′_i(j)为第i个GOP层第j帧调整前的量化参数，其计算公式如下：

$T_i\left(j\right)=a\frac{\mathrm{MAD}(i,j)}{Q_i^{\&prime;}\left(j\right)}+b\frac{\mathrm{MAD}(i,j)}{Q_i^{\&prime;}{\left(j\right)}^2},$

其中，a、b为模型参数，通过线性回归统计计算得到；T_i(j)表示当前编码的第i个GOP层中第j帧的目标比特数；MAD(i，j)＝a1*MAD(i，j-1)+a2，表示第i个GOP层中第j帧的图像亮度分量平均绝对误差，a1和a2为一元线性回归系数，其初始值分别为1和0，并在每个帧编码完成之后更新；

i为视频序列中GOP层的序号，取值范围为1到视频序列中GOP层数；j为第i个GOP层中帧的序号，取值范围为1到第i个GOP层中包含的总帧数；ΔQ_i(j)为调整系数，其表达式为：

$\mathrm{\&Delta;}{Q}_i\left(j\right)=\left\{\begin{array}{cc}2& \mathrm{if\; pretarbits}\&le;\mathrm{preactbits}<2\mathrm{pretarbits}\\ 3& \mathrm{if\; preactbits}\&GreaterEqual;2\mathrm{pretarbits}\end{array}\right.,$

pretarbits和preactbits分别表示前一已编码帧的目标比特数、实际比特数。

2.如权利要求1所述H.264码率控制方法，其特征在于，所述步骤B具体按照以下各步骤执行：

B1、根据下式计算当前帧调整前的量化参数Q′_i(j)：

$T_i\left(j\right)=a\frac{\mathrm{MAD}(i,j)}{Q_i^{\&prime;}\left(j\right)}+b\frac{\mathrm{MAD}(i,j)}{Q_i^{\&prime;}{\left(j\right)}^2}$

其中，a、b为模型参数，通过线性回归统计计算得到；T_i(j)表示当前编码的第i个GOP层中第j帧的目标比特数；MAD(i，j)＝a1*MAD(i，j-1)+a2，表示第i个GOP层中第j帧的图像亮度分量平均绝对误差，a1和a2为一元线性回归系数，其初始值分别为1和0，并在每个帧编码完成之后更新；

B2、按照如下公式计算并动态调整当前编码的第i个GOP层第j帧的量化参数：

$Q_i\left(j\right)=\left\{\begin{array}{cc}C& j=1\\ Q_i^{\&prime;}\left(j\right)& j=2\\ Q_i^{\&prime;}\left(j\right)+\mathrm{\&Delta;}{Q}_i\left(j\right)& j>2\end{array}\right.,$

其中，

C是预先设定的常数，取值范围为20到40之间；Q′_i(j)为通过JVT-G012中传统方法计算得到的第i个GOP层第j帧调整前的量化参数；i为视频序列中GOP层的序号，取值范围为1到视频序列中GOP层数；j为第i个GOP层中帧的序号，取值范围为1到第i个GOP层中包含的总帧数；ΔQ_i(j)为调整系数，其表达式为：

$\mathrm{\&Delta;}{Q}_i\left(j\right)=\left\{\begin{array}{cc}2& \mathrm{if\; pretarbits}\&le;\mathrm{preactbits}<2\mathrm{pretarbits}\\ 3& \mathrm{if\; preactbits}\&GreaterEqual;2\mathrm{pretarbits}\end{array}\right.,$

pretarbits和preactbits分别表示前一已编码帧的目标比特数、实际比特数；

B3、用拉格朗日优化法进行率失真优化。

Images