CN101895758B

CN101895758B - 基于帧复杂度的h.264码率控制方法

Info

Publication number: CN101895758B
Application number: CN 201010235061
Authority: CN
Inventors: 陈晓; 陆飞飞
Original assignee: Nanjing University of Information Science and Technology
Current assignee: Huai'an City Huaigong Vehicle Inspection Institute Co., Ltd.
Priority date: 2010-07-23
Filing date: 2010-07-23
Publication date: 2012-07-18
Anticipated expiration: 2030-07-23
Also published as: CN101895758A

Abstract

本发明公开了一种基于帧复杂度的H.264码率控制方法，属于视频编码技术领域。该方法包括以下步骤：A、根据帧复杂度确定当前编码帧的目标比特数；B、计算量化参数并进行率失真优化；其特征在于，帧复杂度是通过一个复杂度系数来衡量，该复杂度系数定义为图像灰度直方图的平均差值和图像亮度分量的平均绝对误差比率的加权之和，在该复杂度系数基础上，通过经验公式对现有的目标比特公式进行了修正。本发明方法不但能更为准确地控制码率，而且提高了视频输出序列的平均峰值信噪比，从而得到更好的图像质量；本发明方法同时减小了视频图像帧间质量波动，使得视频图像质量更加平滑。

Description

基于帧复杂度的H.264码率控制方法

技术领域

本发明涉及视频编码技术领域，具体涉及一种基于帧复杂度的H.264编码控制方法。

背景技术

在过去十多年中，视频通信技术得到了飞速发展和广泛的应用，并制定了一系列视频编码标准。现有的国际视频编码标准主要包括国际标准化组织(ISO)推出的MPEG-1，MPEG-2，MPEG-4(参见文献：ISO/IEC 13818-2.Information technology-Genericcoding of moving pictures and associated audio Part 2：Video[S].1996；ISO/IEC14496-2.Information technology-Generic coding of audio-visual objects Part2：Visual[S].1998.)，以及国际电信联盟标准化部(ITU-T)推出的H.26x系列，如H.261(参见文献：ITU-T.Draft ITU-T Recommendation H.261.Video codec for audio visualservices，at px64kbps[S]，1993.)，H.263(参见文献：ITU-T.Draft ITU-T RecommendationH.263.Video coding for low bit rate communication[S].1996.)等。2003年，由ISO与ITU-T合作成立的联合视频工作组JVT推出了最新的视频标准H.264(参见文献：ISO/IEC11496-10.ITU-T Recommendation H.264 Advanced video coding[S].2002.)。H.264吸收了以往各种编码标准方案的优点，在预测编码、变换量化和容错编码等方面进行了较大的改进。在相同的图像质量下，H.264码率约为以前视频编码标准的一半。此外，H.264还具有很强的容错能力和网络适应性。目前H.264正逐渐取代原有视频压缩标准在各应用领域占据主导地位。

码率控制是视频压缩编码过程中的关键环节，作用于整个视频编码过程，其有效性不仅影响码流的码率稳定，还将影响到整个视频序列的图象质量。因此，一般在视频标准产生后，码率控制都会得到广泛的研究，如MPEG-2的TM5、H.263的TMN8、MPEG-4的VM7系列等。然而，这些方法都不能直接应用于H.264标准，这是因为H.264标准在码率控制方法以及率失真优化(RDO)中都使用了量化参数，这就导致了在进行码率控制时出现了蛋鸡悖论：对当前帧的宏块进行率失真优化时，需要先通过当前帧或当前宏块的MAD决定每个宏块的量化参数，而当前帧或宏块的MAD仅在率失真优化后才能得到。

适用H.264/AVC的码率控制方法主要有JVT-F086(参见文献：MA S，GAO W，LUY，et al.Proposed draft description of rate control on JVT standard[DB/OL].[2006-08-01].ftp://ftp.imtc-files.org/jvt-experts/2002-12-Awaji/JVT-F086-L.doc.)和JVT-G012(参见文献：Li Zheng-guo，Pan Feng，Lim Keng-pang，et al·Adaptive base unit layerrate control for JVT，JVT-G012[A]·In：Proceedings of 7th Meeting，Pattay II[C]，Thailand，2003.)。JVT-F086控制方法采用TM-5码率模型，没有利用当前基本单元信息，输出的码率的控制不够精度。而JVT-G012提出用流量往返模型来分配每个基本单元目标比特数，预测误差较小，并在宏块层编码采用二次率失真函数来计算量化参数，且JVT-G012仅需要进行一次编码处理，计算复杂度较低，编码效率较高。JVT-G012很好地解决了蛋鸡悖论。JVT-G012码率控制方法有三个步骤：首先计算未编码帧的剩余比特数，然后，计算当前帧的目标比特数，最后，计算当前帧的量化参数并进行率失真优化(参见文献：Li Zheng-guo，Pan Feng，Lim Keng-pang，et al·Adaptive base unitlayer rate control for JVT，JVT-G012[A]·In：Proceedings of 7th Meeting，PattayII[C]，Thailand，2003.)。该方法只是根据缓冲区的情况来为各帧分配比特数，没有考虑当前帧的信息，在比特分配和码率精度的控制上还有些欠缺。这种分配方法只是根据缓冲区的状态为当前帧分配比特，没有考虑到它编码图像复杂度和重要性。由于每一帧视频图像的编码复杂度存在着差异，达到相当质量所需的编码比特有所不同，仅仅依靠缓冲区状态决定帧层目标比特导致帧间视频质量产生较大的波动，因此帧级比特分配还必须考虑帧编码复杂度，以更准确地进行比特分配，达到更好的码率控制效果和改善图像的质量。

鉴于现有JVT-G012码率控制方法中，在码率控制上存在帧的目标比特根据缓冲区的剩余比特数平均分配、没有考虑到它编码图像复杂度和重要性的缺点，一些学者提出了根据图像复杂度来进行目标比特分配的码率控制方法。例如，有人提出采用当前编码帧和前一帧重建帧之间的灰度直方图的平均差值来衡量帧复杂度(韩峥，唐昆，崔慧娟.基于H·264的码率控制算法.清华大学学报(自然科学版)，2008，48(1)：59-61.)；还有人采用图像亮度分量的平均绝对误差比率来衡量帧复杂度(刘启，石志强.一种H.264帧级码率控制改进算法.计算机仿真，2008，25(5)：105-108.)。灰度直方图的平均差值和平均绝对误差比率都可以从一个侧面衡量图像复杂度，但是都不够全面。如果能将衡量图像复杂度的各种标准综合起来，则可以更好的表示视频中每帧图像的复杂度，从而更准确地进行比特分配，更好的控制码率和改善视频的质量。

发明内容

本发明的目的在于克服现有技术的不足，提出一种新的码率控制方法，该方法能够使生成码率与目标码率相近的同时，提高视频输出序列的平均峰值信噪比，从而得到更好的图像质量。

为达到上述目的，本发明的思路是：结合现有的两种帧复杂度衡量方法，引入一个新的复杂度系数，该复杂度系数定义为图像灰度直方图的平均差值和图像亮度分量的平均绝对误差比率的加权之和。本发明具体采用如下技术方案：

一种基于帧复杂度的H.264码率控制方法，包括以下步骤：A、根据帧复杂度确定当前编码帧的目标比特数；B、计算量化参数并进行率失真优化；其特征在于，帧复杂度是通过一个复杂度系数来衡量，该复杂度系数定义为图像灰度直方图的平均差值和图像亮度分量的平均绝对误差比率的加权之和，其定义式如下：

FC＝μMAD_ratio(i，j)+(1-μ)C_j

其中，FC表示复杂度系数；μ是权系数，其取值范围为0到1；i为视频序列中GOP层的序号，取值范围为1到视频序列中GOP层数；j为第i个GOP层中帧的序号，取值范围为1到第i个GOP层中包含的总帧数；

h_j表示当前编码帧的灰度直方图，h_j-1表示前一帧重建帧的灰度直方图；

表示第i个GOP层中第j帧的图像亮度分量平均绝对误差的比率；MAD(i，j)＝a1*MAD(i，j-1)+a2，表示第i个GOP层中第j帧的图像亮度分量平均绝对误差，a1和a2为一元线性回归系数，其初始值分别为1和0，并在每个帧编码完成之后更新；

表示当前GOP层中所有已编码P帧的图像亮度分量平均绝对误差的平均值。

根据上述的复杂度系数FC修改JVT-G012码率控制方法中目标比特数的分配公式，并根据实验对相关系数进行修正，得到本发明的目标比特数分配公式如下：

T_{i} (j) = \{\begin{matrix} 0.88 \times FC \times β \times \frac{T_{r} (n_{i, j})}{N_{r}} + (1 - β) \times {\frac{u (n_{i, j})}{F_{r}} + γ [T_{bl} (n_{i, j}) - B_{c} (n_{i, j})]} & 0 \leq FC \leq 1.1 \\ [0.8 \times (FC - 1.15) + 1.1] \times β \times \frac{T_{r} (n_{i, j})}{N_{r}} + (1 + β) \times {\frac{u (n_{i, j})}{F_{r}} + γ [T_{bl} (n_{i, j}) - B_{c} (n_{i, j})]} & 1.1 < FC \leq 2.1 \\ 1.15 \times β \times \frac{T_{r} (n_{i, j})}{N_{r}} + (1 - β) \times {\frac{u (n_{i, j})}{F_{r}} + γ [T_{bl} (n_{i, j}) - B_{c} (n_{i, j})]} & FC > 2.1 \end{matrix}

其中，T_r(n_i，j)表示第i个GOP层编码至第j帧时剩余的总比特数；T_i(j)表示第i个GOP层中第j帧的目标比特数；FC表示复杂度系数；F_r表示帧率；N_r表示当前GOP层的未编码帧数；u(n_i，j)表示信道可利用的带宽；T_bl(n_i，j)表示目标缓冲级别；B_c(n_i，j)为缓冲区占用度；β、γ为加权系数，β在有B帧时为0.9，否则为0.5；γ当GOP内有B帧时，它的值为0.25，否则为0.75。

然后按照现有技术的方法计算量化参数并进行率失真优化即可。

本发明通过使用图像灰度直方图的平均差值和图像亮度分量的平均绝对误差比率的加权之和作为帧的复杂度的衡量系数，并根据该系数来分配目标比特，优化了帧级目标比特分配，使运动复杂的帧能获得较多的比特分配，从而更有效地实现了码率控制，相应地提高了视频编码质量。

附图说明

图1是本发明方法与JVT-G012方法处理suzie序列的PSNR比较图；

图2是本发明方法与JVT-G012方法处理football序列的PSNR比较图；

图3是本发明方法与JVT-G012方法处理mobile序列的PSNR比较图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

具体而言，本发明的基于帧复杂度的H.264码率控制方法包括以下步骤：

A、根据帧复杂度确定当前编码帧的目标比特数；本步骤包括以下各步骤：

A1、按照下式计算未编码帧的剩余比特数：

T_{r} (n_{i, j}) = \{\begin{matrix} \frac{u (n_{i, 1})}{F_{r}} \times N_{gop} - (\frac{B_{s}}{8} - B_{c} (n_{i - 1, N_{gop}})) & j = 1 \\ T_{r} (n_{i, j - 1}) - A (n_{i, j - 1}) & j = 2,3 . . . N_{i} \end{matrix},

其中，T_r(n_i，j)表示第i个GOP层编码至第j帧时剩余的总比特数，u(n_i，1)表示编码第一帧前的可用信道带宽，F_r为帧率，N_gop表示该GOP层中图像帧的个数，B_s为缓冲区的大小，

表示第i-1个GOP层中最后一帧编码结束后缓冲区的实际占有率，A(n_i，j-1)是第i个GOP层第j-1帧实际产生的比特数；

A2、按照如下公式计算当前编码帧的复杂度系数：

FC＝μMAD_ratio(i，j)+(1-μ)C_j，

表示当前GOP层中所有已编码P帧的图像亮度分量平均绝对误差的平均值；

根据试验优化发现，当权系数μ的取值为0.3时，得到的结果最佳；因此本具体实施方式中，权系数μ的取值为0.3。

A3、根据下式计算当前编码帧的目标比特数：

T_{i} (j) = \{\begin{matrix} 0.88 \times FC \times β \times \frac{T_{r} (n_{i, j})}{N_{r}} + (1 - β) \times {\frac{u (n_{i, j})}{F_{r}} + γ [T_{bl} (n_{i, j}) - B_{c} (n_{i, j})]} & 0 \leq FC \leq 1.1 \\ [0.8 \times (FC - 1.15) + 1.1] \times β \times \frac{T_{r} (n_{i, j})}{N_{r}} + (1 + β) \times {\frac{u (n_{i, j})}{F_{r}} + γ [T_{bl} (n_{i, j}) - B_{c} (n_{i, j})]} & 1.1 < FC \leq 2.1 \\ 1.15 \times β \times \frac{T_{r} (n_{i, j})}{N_{r}} + (1 - β) \times {\frac{u (n_{i, j})}{F_{r}} + γ [T_{bl} (n_{i, j}) - B_{c} (n_{i, j})]} & FC > 2.1 \end{matrix}

B、计算量化参数并进行率失真优化；

根据下式计算第i个GOP中第j帧的量化参数Q：

T_{i} (j) = a \frac{MAD (i, j)}{Q} + b \frac{MAD (i, j)}{Q^{2}}

其中，a、b表示2个模型参数，通过线性回归统计计算得到；然后用拉格朗日优化法进行率失真优化。

本步骤中量化参数计算及率失真优化均为现有技术，详细内容可参考文献(LiZheng-guo，Pan Feng，Lim Keng-pang，et al.Adaptive base unit layer rate control for JVT，JVT-G012.Proceedings of 7th Meeting，Pattay II，Thailand，2003.)

为了验证本发明方法的效果，在JVT的校验模型JM86上实现了本发明的码率控制方法，并和JVT-G012码率控制方法进行了对比。实验使用的测试序列是QCIF4:2:0格式：mobile，football，suzie，coastguard，帧率为15帧/s，目标码率为64kb/s，共编码100帧，起始量化参数为28，GOP长度为25。得到的实验结果如下表1所示：

表1

从表中可以看出，本文提出的码率控制方法可以更为准确地控制码率，序列的比特率最大误差为1.38％，相比与原方法的比特率最大误差2.45％，误差减小了约1倍。

从表中可以看出，本码率控制方法还能获得更好的PSNR，序列的峰值信噪比比原方法平均提高0.38dB。对于运动剧烈且纹理复杂的football和mobile两个序列，他们的峰值信噪比得到了显著地提高。

图1-图3分别为suzie、football和mobile测试序列采用两种方法下的PSNR对比图，采用本发明的码率控制方法能够有效地抑制由于快速运动引起的PSNR剧降。而JVT-G012所采用的比特分配方案由于缺乏对复杂度的考虑，很容易导致较大的帧间质量波动，在剧烈运动时出现PSNR剧降。在图2“football”序列中，快速的运动从第60帧开始并往后持续若干帧，导致了剧烈的图像质量下降。如第62帧在采用JVT-G012码率控制方法进行编码时，其PSNR值锐减到23.27dB。但在采用本发明的方法编码时，其PSNR值仍有27.38dB，比JVT-G012码率控制方法多出了4.11dB。本发明方法明显要比原方法的图像质量好，而且在一定程度上能够有效地平滑帧间的PSNR波动，提高视频序列质量的平滑性。

Claims

1.一种基于帧复杂度的H.264码率控制方法，包括以下步骤：A、根据帧复杂度确定当前编码帧的目标比特数；B、计算量化参数并进行率失真优化；其特征在于，帧复杂度是通过一个复杂度系数来衡量，该复杂度系数定义为图像灰度直方图的平均差值和图像亮度分量的平均绝对误差比率的加权之和，其定义式如下：

FC＝μMAD_ratio(i，j)+(1-μ)C_j

h_j表示当前编码帧的灰度直方图，h_j-1表示前一重建帧的灰度直方图；表示第i个GOP层中第j帧的图像亮度分量平均绝对误差的比率；MAD(i，j)＝a1*MAD(i，j-1)+a2，表示第i个GOP层中第j帧的图像亮度分量平均绝对误差，a1和a2为一元线性回归系数，其初始值分别为1和0，并在每个帧编码完成之后更新；

2.如权利要求1所述基于帧复杂度的H.264码率控制方法，其特征在于，所述步骤A中的目标比特数由下式确定：

T_{i} (j) = \{\begin{matrix} 0.88 \times FC \times β \times \frac{T_{r} (n_{i, j})}{N_{r}} + (1 - β) \times {\frac{u (n_{i, j})}{F_{r}} + γ [T_{bl} (n_{i, j}) - B_{c} (n_{i, j})]} & 0 \leq FC \leq 1.1 \\ [0.8 \times (FC - 1.15) + 1.1] \times β \times \frac{T_{r} (n_{i, j})}{N_{r}} + (1 - β) \times {\frac{u (n_{i, j})}{F_{r}} + γ [T_{bl} (n_{i, j}) - B_{c} (n_{i, j})]} & 1.1 < FC \leq 2.1 \\ 1.15 \times β \times \frac{T_{r} (n_{i, j})}{N_{r}} + (1 - β) \times {\frac{u (n_{i, j})}{F_{r}} + γ [T_{bl} (n_{i, j}) - B_{c} (n_{i, j})]} & FC > 2.1 \end{matrix}

3.如权利要求2所述基于帧复杂度的H.264码率控制方法，其特征在于，所述步骤A具体包括以下各步骤：

A1、按照下式计算未编码帧的剩余比特数：

T_{r} (n_{i, j}) = \{\begin{matrix} \frac{u (n_{i, 1})}{F_{r}} \times N_{gop} - (\frac{B_{s}}{8} - B_{c} (n_{i - 1, N_{gop}})) & j = 1 \\ T_{r} (n_{i, j - 1}) - A (n_{i, j - 1}) & j = 2,3 \cdot \cdot \cdot N_{i} \end{matrix},

A2、按照如下公式计算当前编码帧的复杂度系数：

FC＝μMAD_ratio(i，j)+(1-μ)C_j，

h_j表示当前编码帧的灰度直方图，h_j-1表示前一重建帧的灰度直方图；

A3、根据下式计算当前编码帧的目标比特数：

T_{i} (j) = \{\begin{matrix} 0.88 \times FC \times β \times \frac{T_{r} (n_{i, j})}{N_{r}} + (1 - β) \times {\frac{u (n_{i, j})}{F_{r}} + γ [T_{bl} (n_{i, j}) - B_{c} (n_{i, j})]} & 0 \leq FC \leq 1.1 \\ [0.8 \times (FC - 1.15) + 1.1] \times β \times \frac{T_{r} (n_{i, j})}{N_{r}} + (1 - β) \times {\frac{u (n_{i, j})}{F_{r}} + γ [T_{bl} (n_{i, j}) - B_{c} (n_{i, j})]} & 1.1 < FC \leq 2.1 \\ 1.15 \times β \times \frac{T_{r} (n_{i, j})}{N_{r}} + (1 - β) \times {\frac{u (n_{i, j})}{F_{r}} + γ [T_{bl} (n_{i, j}) - B_{c} (n_{i, j})]} & FC > 2.1 \end{matrix}

4.如权利要求1、2或3所述基于帧复杂度的H.264码率控制方法，其特征在于：权系数μ的取值为0.3。