CN102752591B - 基于综合因子的h.264码率控制方法 - Google Patents

Abstract

本发明公开了一种基于综合因子的H.264码率控制方法，属于视频编码技术领域。本发明考虑了P帧在GOP中的位置对当前帧码率控制的影响，定义了一个综合因子，用该因子对帧层目标比特的分配进行优化，然后利用前一帧的实际编码比特数和当前编码帧的目标比特的比率作为量化参数的调整因子，动态地进行量化参数的调整并进行率失真最优化。综合因子定义为当前编码帧的图像灰度直方图的平均差值比率、图像亮度分量的平均绝对误差比率和P帧在GOP中位置的加权和。本发明方法提高码率控制的精度和视频的质量。

Description

基于综合因子的H.264码率控制方法

技术领域：

本发明涉及视频编码技术领域，具体涉及一种基于综合因子的H.264视频编码的码率控制方法。

背景技术:

在视频通信中，压缩编码后的信息流常常需要在带宽不衡定的网络上传输。为了使编码后的视频流很好地适应带宽，尤其是适应低带宽信道或时变的无线信道并充分利用有限的网络资源，码率控制成为了视频通信系统中一个必不可少的环节。码率控制的主要任务是采集缓冲区状态和图像活动性等信息，来给每幅图像分配一定的比特数，使得输出码率能控制在给定的标准上，并使图像失真最小。

在H.264/AVC的码率控制方法中，由于同时在码率控制和率失真优化环节使用了量化参数，导致了“蛋鸡悖论”，即对当前帧的宏块进行率失真优化时，需要先通过当前帧或当前宏块的MAD决定每个宏块的量化参数，而当前帧或宏块的MAD仅在率失真优化后才能得到[Ma S.W，Gao W and Lu Y.Rate control on JVTstandard,Document JVT-D030[S].2002]。为了解决“蛋鸡悖论”问题，很多学者做了大量的研究，文献[Shin I H,Lee Y L,Park H W.Rate control using linear rate-ρmodel for H.264[J].Signal Process Image Com-munication,2004,19:341-352.]在ρ域模型的基础上作了改进，应用在H.264的码率控制中，文献[Ma Siwei,Gao Wen,Lu Yan.Rate-distortion analysis for H.264/AVC video coding and its application torate control[J].IEEE Trans on Circuit Syst for Video Technol,2005,15(12):1533-1544.]提出了码率与量化步长与量化步长间的关系模型及相应的码率控制方法，文献[Ma S.W，Gao W，Wu F and Lu Y.Rate control for JVT videocoding scheme with HRD considerations.Proceeding of IEEE InternationalConference on Image and Processing,2003,vol.3,pp:793-796.]将HRD一致性约束、平均绝对误差比综合考虑，提出了一种新的码率控制方法。Li Zhengguo提出的JVT-G012方法利用线性MAD模型来预测当前基本单元的MAD值,这一方法可以获得比较好的编码效果,引起了广泛的关注[Li Zhengguo,Gao Wen,PanFeng,et al.Adaptive rate control for H.264[J].Journal of Visual Communication andImage Representation,2006,17(2):376-406.]。JVT-G012方法虽然较好地解决了蛋鸡悖论问题,然而仍然存在很多问题。比如方法中没有明确的讨论帧内的码率-量化（R-Q）模型，因此文献[X.Jing,L.P.Chau,and W.-C Siu,"Framecomplexity-based rate-quantization model for H.264/AVC intraframe ratecontrol,"IEEE Signal Processing Letters,vol.15,pp.373-376,2008.]提出了一种自适应的帧内R-Q模型，这种方法通过考虑基于灰度的帧复杂度，自适应的更新模型参数，来更精确地选择帧内编码帧的量化参数。又比如在基于传统变换的视频编码系统中彩色视频信号的率失真（R-D）参数分别为亮度和色度分量模型化，所以文献[Z.Z.Chen and K.N.Ngan，“Towards rate-distortion tradeoff in real-time colorvideo coding”,IEEE Trans.Circuits Syst.Video Technol.,2007，vol.17,no.2,pp.158-167]提出为彩色视频编码建立独立的R-D模型。

JVT-G012方法在帧级码率控制上也存在不足。它根据缓冲区的情况来为各帧平均分配比特，忽略图像复杂度的分布,致使帧层目标比特分配过于均匀；其次计算量化参数时也没有考虑已编码帧的特性对当前帧码率控制的影响。

基于帧复杂度的H.264码率控制方法（申请号为201010235061.8）中公开了一种基于帧复杂度的H.264码率控制方法。该方法包括以下步骤：A、根据帧复杂度确定当前编码帧的目标比特数；B、计算量化参数并进行率失真优化；其中，帧复杂度是通过一个复杂度系数来衡量，该复杂度系数定义为图像灰度直方图的平均差值和图像亮度分量的平均绝对误差比率的加权之和，在该复杂度系数基础上，通过经验公式对现有的目标比特公式进行了修正。一种H.264码率控制方法(ZL201010239407.1)提供一种结合图像复杂度并对量化参数进行调整的帧层码率控制方法，提高视频输出序列的平均峰值信噪比，并能够减小视频图像帧间质量波动，从而提高视频图像质量。但是以上方法都没考虑参考帧在图像组中的位置对当前帧码率控制的影响。由于图像组中位置靠前的参考帧通常做其后帧的参考帧，靠前P帧预测的精确性直接影响后面帧预测的精准性，因此，为了更准确地进行码率控制，有必要考虑参考帧在图像组中的位置对当前帧分配的目标比特做适当的调整。

发明内容：

本发明的目的在于克服现有技术的不足，提出一种新的码率控制方法。本发明考虑P帧在GOP中的位置对当前帧码率控制的影响，提供一种利用综合因子和量化参数调整因子对帧层目标比特分配优化的控制方法，进一步提高码率控制的精度和视频的质量。

本发明解决其技术问题所采用的技术方案是：

本发明采用当前编码帧的综合因子来调整当前帧的目标比特数，利用量化参数调整因子来调整当前编码帧的量化参数。综合因子是当前编码帧的图像灰度直方图的平均差值比率、图像亮度分量的平均绝对误差比率和P帧在GOP中位置的加权和，图像复杂的、靠前的编码帧就会得到更多的目标比特，使其编码效果更好，对后面帧的预测也就更加精确，从整体上提高码率控制精度和图像的编码质量。量化参数调整因子是前一帧实际编码产生的比特数和当前编码帧的目标比特数的比值，量化参数调整因子利用了已编码帧的历史信息对当前编码帧的影响。

本发明的有益效果：

综合因子是当前编码帧图像灰度直方图的平均差值比率、图像亮度分量的平均绝对误差比率和P帧在GOP中位置的加权和，图像复杂的、靠前的编码帧就会得到更多的目标比特，使其编码效果更好，对后面帧的预测也就更加精确，从整体上提高码率控制精度和图像的编码质量。

量化参数调整因子是前一帧实际编码产生的比特数和当前编码帧的目标比特数的比值，充分利用了已编码帧的历史信息对当前编码帧的影响。

编码中出现的第一帧是按照事先已经设定的初始量化参数来编码的，其后的帧都是利用本发明方法进行编码的。在步骤B的公式中已有体现。j=1表示第一帧。

附图说明：

图一是本发明方法与JVT-G012方法处理tennis序列的PSNR比较图；

图二是本发明方法与JVT-G012方法处理football序列的PSNR比较图；

图三是本发明方法与JVT-G012方法处理mobile序列的PSNR比较图；

具体实施方式：

下面结合附图对本发明的技术方案进行详细说明：

本发明的H.264码率控制方法具体包括以下步骤：

A、根据综合因子来确定当前编码帧的目标比特数；本步骤包括以下步骤：

A1、按照下式计算所有未编码帧的剩余比特数：初始参数已体现在下式中，j=1时即为第一帧的表达式，其中的初始参数均已在下面定义过。

$T_r\left(n_{i,j}\right)=\left\{\begin{array}{cc}\frac{u\left(n_{i,1}\right)}{F_r}\×N_{\mathrm{gop}}-(\frac{B_s}{8}-B_c\left(n_{i-1,N_{\mathrm{gop}}}\right))& j=1\\ T_r\left(n_{i,j-1}\right)-A\left(n_{i,j-1}\right)& j=\mathrm{2,3}...N_{\mathrm{gop}}\end{array}\right.,$

其中，T_r(n_i，j)表示第i个GOP层编码至第j帧时剩余的总比特数，u(n_i，1)表示编码第一帧前的可用信道带宽，F_r为帧率，N_gop表示该GOP层中图像帧的个数，B_s为缓冲区的大小，表示第i-1个GOP层中最后一帧编码结束后缓冲区的实际占有率，A(n_i，j-1)是第i个GOP层第j-1帧实际产生的比特数；

A2、按照下式计算当前编码帧的综合因子：

CF_j＝μMAD_ratio(i,j)+ηC(i,j)+αL(i,j)

                                        ，

其中CF_j表示综合因子；μ、η和α是小于1的加权系数；i为视频序列中GOP层的序号，取值范围为1到视频序列中GOP层数；j为第i个GOP层中编码帧的序号，取值范围为1到当前GOP层中包含的总帧数；MAD(i,j)＝a1×MAD(i,j-1)+a2，a1和a2为一元线性回归系数，其初始值分别为1和0，并在每个帧编码完成之后更新， $\stackrel{\‾}{\mathrm{MAD}}=\frac{1}{j-1}\underset{n=1}{\overset{j-1}{\mathrm{\Σ}}}\mathrm{MAD}(i,n);$ $C(i,j)=\sqrt{H_j}/\sqrt{H_{j-1}}$ 表示图像灰度直方图的平均差值比率，h_j表示当前编码帧的灰度直方图，h_j-1表示前一重建帧的灰度直方图；L(i,j)是第i个GOP中j帧的位置。

通过上述方案来优化帧层目标比特的分配，上述技术方案中的加权系数μ、η和α分别取0.2、0.5和0.3。

A3、根据下式计算当前编码帧的目标比特数：

$f\left(n_{i,j}\right)=\left\{\begin{array}{cc}0.88\&times;{\mathrm{CF}}_j\&times;\mathrm{\&beta;}\&times;\frac{T_r\left(n_{i,j}\right)}{N_r}+(1-\mathrm{\&beta;})\&times;\{\left(\frac{u\left(n_{i,j}\right)}{F_r}\right)-\mathrm{\&gamma;}\&times;[\mathrm{Tbl}\left(n_{i,j}\right)-B_c\left(n_{i,j}\right)\left]\right\}& 0\&le;{\mathrm{CF}}_j\&le;1.15\\ [0.25\&times;({\mathrm{CF}}_j-1.15)+1.15]\&times;\mathrm{\&beta;}\&times;\frac{T_r\left(n_{i,j}\right)}{N_r}+(1-\mathrm{\&beta;})\&times;\{\left(\frac{u\left(n_{i,j}\right)}{F_r}\right)-\mathrm{\&gamma;}\&times;[\mathrm{Tbl}\left(n_{i,j}\right)-B_c\left(n_{i,j}\right)\left]\right\}& 1.15<{\mathrm{CF}}_j\&le;2.15\\ 1.15\&times;\mathrm{\&beta;}\&times;\frac{T_r\left(n_{i,j}\right)}{N_r}+(1-\mathrm{\&beta;})\&times;\{\left(\frac{u\left(n_{i,j}\right)}{F_r}\right)-\mathrm{\&gamma;}\&times;[\mathrm{Tbl}\left(n_{i,j}\right)-B_c\left(n_{i,j}\right)\left]\right\}& {\mathrm{CF}}_j>2.15\end{array}\right.$

其中f(n_i，j)表示第i个GOP中第j帧的目标比特数；T_r(n_i，j)是第i个GOP中未编码帧的剩余比特数；CF_j表示综合因子；F_r表示帧率；N_r表示当前GOP层未编码帧数；u(n_i，j)表示信道可利用的带宽；Tbl(n_i，j)表示目标缓冲级别；B_c(n_i,j)表示缓冲区占用度；β、γ是加权系数，当有B帧时β为0.9，γ为0.25，否则β为0.5，γ为0.5。

B、计算量化参数并进行率失真优化；具体包括以下三步：

B1、根据下式计算调整前当前编码帧的量化参数QP_i'(j)：

$f\left(n_{i,j}\right)=a\frac{\mathrm{MAD}(i,j)}{{\mathrm{QP}}_i^{\&prime;}\left(j\right)}+b\frac{\mathrm{MAD}(i,j)}{{\mathrm{QP}}_i^{\&prime;}{\left(j\right)}^2}$

其中，a、b为模型参数，通过线性回归统计计算得到；f(n_i，j)表示当前编码帧的目标比特数，MAD(i,j)表示第i个GOP层中第j帧的图像亮度分量平均绝对误差；

B2、按照如下公式计算并动态调整当前编码帧的量化参数：

${\mathrm{QP}}_i\left(j\right)=\left\{\begin{array}{cc}C& j=1\\ {\mathrm{QP}}_i^{\&prime;}\left(j\right)& j=2\\ {\mathrm{QP}}_i^{\&prime;}\left(j\right)+\mathrm{\&Delta;Q}{P}_i\left(j\right)& j>2\end{array}\right.$

其中，C是预先设定的常数，取值范围为20到40之间；i为视频序列中GOP的序号；j为第i个GOP中帧的序号；ΔQP_i(j)为量化参数调整系数，其表达式为：

${\mathrm{\&Delta;QP}}_i\left(j\right)=\left\{\begin{array}{cc}0& \mathrm{\&sigma;}<0.8\\ 1& 0.8\&le;\mathrm{\&sigma;}\&le;1.0\\ 2& 1.0<\mathrm{\&sigma;}<1.3\\ 3& \mathrm{\&sigma;}\&GreaterEqual;1.3\end{array}\right.$

上式中的σ是量化参数调整因子，表示前一帧实际编码产生的比特数和当前编码帧的目标比特的比率。

B3、根据调整后当前编码帧的量化参数，用拉格朗日优化方法进行率失真优化。

本步骤所使用的率失真优化为JVT-G012传统方法中的技术。详细内容可参见文献（Li Zheng-guo,Pan Feng,Lim Keng-pang,et al.Adaptive base unit layer ratecontrol for JVT,JVT-G012.Proceedings of 7th Meeting,Pattay II,Thailand,2003.），此处不再赘述。

为了验证本发明方法的效果，在JVT的校验JM8.6上实现了本发明提出的码率控制改进方法，并和陈晓提出的码率控制方法(ZL201010239407.1)以及JVT-G012码率控制方法分别进行了对比。实验采用QCIF4:2:0格式的测试序列：tennis、mobile、stefan、container、football序列，在不同的目标码率下进行测试，所有序列按IPP……PPP编码,GOP长度为25，帧率为15fps，初始QP为28，共编码100帧。得到的实验结果如下表1所示：

从上表中可以看出，在图像质量部下降的情况下，与ZL201010239407.1中提出的码率控制方法相比，本发明的码率控制方法可以更准备的控制码率，对于带宽有限的移动通信，本发明就更能体现它的优越性。

图1—图3分别为tennis、mobile、football测试序列在目标码率为64kbps时分别采用两种方法是的PSNR对比图。从图中可以看到本发明方法相对于JVT-G012方法，图像的质量得到了很大程度的提高。

PSNR指峰值信噪比，是客观评判图像质量的一个参数。

表中|Δ|是指不同码率控制方法下，测试序列输出的实际码率的差值的绝对值，它表明本文方法较ZL201010239407.1中提出的码率控制方法更接近目标码率的程度，|Δ|越大说明本文方法较ZL201010239407.1中提出的码率控制方法的码率控制越好。

表中Δ是本文算法得到的PSNR与ZL201010239407.1中提出的码率控制方法得到的PSNR的差值，它表明了本方法较ZL201010239407.1中提出的码率控制方法对图像质量提高的程度。

相比现有技术，本发明方法在图像质量不降低的前提下，能更精确的控制码率，对带宽有限的移动通信中，本发明方法有良好的应用前景。

Claims (2)

1.基于综合因子的H.264码率控制方法，该方法具体包括以下步骤：

步骤A，根据综合因子来确定当前编码帧的目标比特数；

步骤B，计算量化参数并进行率失真优化；

其中步骤A包括：

A1、按照下式计算所有未编码帧的剩余比特数：

$T_r\left(n_{i,j}\right)=\left\{\begin{array}{cc}\frac{u\left(n_{i,1}\right)}{F_r}\&times;N_{\mathrm{gop}}-(\frac{B_s}{8}-B_c\left(n_{i-1,N_{\mathrm{gop}}}\right))& j=1\\ T_r\left(n_{i,j-1}\right)-A\left(n_{i,j-1}\right)& j=\mathrm{2,3}\&CenterDot;\&CenterDot;\&CenterDot;N_{\mathrm{gop}}\end{array}\right.,$

其中，T_r(n_i,j)表示第i个GOP层编码至第j帧时剩余的总比特数，u(n_i,1)表示编码第一帧前的可用信道带宽，F_r为帧率，N_gop表示该GOP层中图像帧的个数，B_s为缓冲区的大小，表示第i-1个GOP层中最后一帧编码结束后缓冲区的实际占有率，A(n_i,j-1)是第i个GOP层第j-1帧实际产生的比特数；

A2、按照下式计算当前编码帧的综合因子：

CF_j＝μMAD_ratio(i,j)+ηC(i,j)+αL(i,j)，

其中CF_j表示综合因子；μ、η和α是小于1的加权系数；i为视频序列中GOP层的序号，取值范围为1到视频序列中GOP层数；j为第i个GOP层中编码帧的序号，取值范围为1到当前GOP层中包含的总帧数；MAD(i,j)＝a1×MAD(i,j-1)+a2，a1和a2为一元线性回归系数，其初始值分别为1和0，并在每个帧编码完成之后更新， $\stackrel{\&OverBar;}{\mathrm{MAD}}=\frac{1}{j-1}\underset{n=1}{\overset{j-1}{\mathrm{\&Sigma;}}}\mathrm{MAD}(i,n);$ $C(i,j)=\sqrt{H_j}/\sqrt{H_{j-1}}$ 表示图像灰度直方图的平均差值比率，h_j表示当前编码帧的灰度直方图，h_j-1表示前一重建帧的灰度直方图；L(i,j)是第i个GOP中j帧的位置；

通过上述方案来优化帧层目标比特的分配，上述加权系数μ、η和α的值分别取0.2、0.5和0.3；

A3、根据下式计算当前编码帧的目标比特数：

$f\left(n_{i,j}\right)=\left\{\begin{array}{cc}0.88\&times;{\mathrm{CF}}_j\&times;\mathrm{\&beta;}\&times;\frac{T_r\left(n_{i,j}\right)}{N_r}+(1-\mathrm{\&beta;})\&times;\{\left(\frac{u\left(n_{i,j}\right)}{F_r}\right)-\mathrm{\&gamma;}\&times;[\mathrm{Tbl}\left(n_{i,j}\right)-B_c\left(n_{i,j}\right)\left]\right\}& 0\&le;{\mathrm{CF}}_j\&le;1.15\\ [0.25\&times;({\mathrm{CF}}_j-1.15)+1.15]\&times;\mathrm{\&beta;}\&times;\frac{T_r\left(n_{i,j}\right)}{N_r}+(1-\mathrm{\&beta;})\&times;\{\left(\frac{u\left(n_{i,j}\right)}{F_r}\right)-\mathrm{\&gamma;}\&times;[\mathrm{Tbl}\left(n_{i,j}\right)-B_c\left(n_{i,j}\right)\left]\right\}& 1.15<{\mathrm{CF}}_j\&le;2.15\\ 1.15\&times;\mathrm{\&beta;}\&times;\frac{T_r\left(n_{i,j}\right)}{N_r}+(1-\mathrm{\&beta;})\&times;\{\left(\frac{u\left(n_{i,j}\right)}{F_r}\right)-\mathrm{\&gamma;}\&times;[\mathrm{Tbl}\left(n_{i,j}\right)-B_c\left(n_{i,j}\right)\left]\right\}& {\mathrm{CF}}_j>2.15\end{array}\right.$ 其中f(n_i,j)表示第i个GOP中第j帧的目标比特数；T_r(n_i,j)代表是第i个GOP层编码至第j帧时剩余的总比特数；CF_j表示综合因子；F_r表示帧率；N_r表示当前GOP层未编码帧数；u(n_i,j)表示信道可利用的带宽；Tbl(n_i,j)表示目标缓冲级别；B_c(n_i,j)表示缓冲区占用度；β、γ是加权系数，当有B帧时β为0.9，γ为0.25，否则β为0.5，γ为0.5。

2.根据权利要求1所述的基于综合因子的H.264码率控制方法，其中步骤B包括：

B1、根据下式计算调整前当前编码帧的量化参数QP_i'(j)：

$f\left(n_{i,j}\right)=a\frac{\mathrm{MAD}(i,j)}{Q{P_i}^{\&prime;}\left(j\right)}+b\frac{\mathrm{MAD}(i,j)}{Q{P_i}^{\&prime;}{\left(j\right)}^2}$

其中，a、b为模型参数，通过线性回归统计计算得到；f(n_i,j)表示第i个GOP中第j帧的目标比特数，MAD(i,j)表示第i个GOP层中第j帧的图像亮度分量平均绝对误差；

B2、按照如下公式计算并动态调整当前编码帧的量化参数：

$Q{P}_i\left(j\right)=\left\{\begin{array}{cc}C& j=1\\ Q{P_i}^{\&prime;}\left(j\right)& j=2\\ Q{P_i}^{\&prime;}\left(j\right)+\mathrm{\&Delta;Q}{P}_i\left(j\right)& j>2\end{array}\right.$

其中，C是预先设定的常数，取值范围为20到40之间；i为视频序列中GOP的序号；j为第i个GOP中帧的序号；ΔQP_i(j)为量化参数调整系数，其表达式为：

$\mathrm{\&Delta;Q}{P}_i\left(j\right)=\left\{\begin{array}{cc}0& \mathrm{\&sigma;}<0.8\\ 1& 0.8\&le;\mathrm{\&sigma;}\&le;1.0\\ 2& 1.0<\mathrm{\&sigma;}<1.3\\ 3& \mathrm{\&sigma;}\&GreaterEqual;1.3\end{array}\right.$

上式中的σ是量化参数调整因子，表示前一帧实际编码产生的比特数和当前编码帧的目标比特的比率；

B3、根据调整后当前编码帧的量化参数，用拉格朗日优化方法进行率失真优化。