CN103533359A - 一种h.264码率控制方法 - Google Patents

Abstract

本发明公开了一种H.264码率控制方法，包括以下步骤：步骤1：通过执行预运动估计计算图像宏块MB运动复杂度SAD和视觉感知权重；步骤2：综合所述的图像目标码率，目标帧率和码流缓冲区的填充度计算所述的图像帧级目标比特数；步骤3：对所述的图像进行帧级码率控制；步骤4：对所述的图像进行宏块级码率控制，其码率控制模型根据上述过程获得的宏块MB运动复杂度和帧级目标比特数，为每个宏块MB分配合适的量化参数QP；步骤5：对所述的图像进行正式运动估计。本发明与现有方法相比，显著降低了运算复杂度，提高了对解码还原视频再次编码的码率控制精度，本发明的处理过程具有低延时特点，对于实时性要求比较高的视频通信，效果更加明显。

Description

一种H.264码率控制方法

技术领域

本发明属于视频编码技术领域，涉及一种视频编码控制方法，具体涉及一种低延时的H.264码率控制方法。

技术背景

在多媒体通信中，压缩视频流在带宽需求不一致且变化的网络上传输，为了充分利用提供的网络资源，并保证用户获得最优的感觉质量，视频通信系统需要应用码率控制机制。在视频编码中，码率控制是一项非常开放而又极其重要的技术，不同的码率控制策略不会影响到系统的互通互联，但是其控制策略的好坏则直接影响到压缩视频的品质和对现有网络带宽的有效利用。迄今为止，被国际视频编码标准采纳的公开的码率控制算法主要有MPEG2的TM5模型，H.263的TMN8模型，MPEG4的SRC模型，以及H.264的JVT-G012码率控制方案。

在H.264视频编码器中，率失真优化（RDO）作为提高编码效率的一个基本功能而存在。无论RDO运动估计还是编码模式选择，量化参数QP都是拉格朗日率失真优化公式中的必要参数。现有的码率控制算法都以图像块的复杂性估计为依据，而图像复杂度是运动估计步骤的附带计算结果。这样一来，就造成了码率控制算法和率失真优化技术间互为因果的矛盾局面。为了得到码率控制过程需要的画面活动复杂度参数，JVT-G012方法采用线性预测模型由上一帧已知的复杂度来估计当前帧未知的复杂度，但是对每个宏块（MB）执行线性预测涉及极高的运算量，尤其是在高清视频编码中不能接受。其次，对于诸如视频会议多点控制器中的解码还原视频，由于编码过程过滤掉了高频信息，致使帧间宏块间的差异变小，大量宏块被编码器判别为跳过编码模式，过多跳过编码的宏块损害了线性预测器回归分析的精度和稳定性，从而导致预测的宏块复杂度严重偏离真实的数值。

TMN8码率控制模型是公认的固定比特率应用场合最为精确的模型，随着H323、SIP等多媒体通信系统的普及应用，伴随着H.263标准发展起来的TMN8模型正在发挥重要的用途。本发明以TMN8模型为蓝本，提出了一种适用于视频会议等实时通信系统的低延时H.264码率控制方法。基于本发明方法可以降低视频编码器输出码率的波动性，从而提高实时视频通信的品质；本方法兼具计算快、延时低、控制准、画质好的优点。

发明内容

本发明的目的在于提供一种适用于实时通信的低延时H.264码率控制方法，该方法可以在网络带宽受限的公网通信中，显著提高实时视频的视觉感受。

为达到上述目的，本发明所采用的技术方案为：一种H.264码率控制方法，其特征在于，包括以下步骤：

步骤1：通过执行预运动估计计算图像宏块MB运动复杂度SAD和视觉感知权重；

步骤2：综合所述的图像目标码率，目标帧率和码流缓冲区的填充度计算所述的图像帧级目标比特数；

步骤3：对所述的图像进行帧级码率控制，即通过帧、条带一级的码率控制算法计算出一个量化步长基准值，将它作为每帧、条带TMN8模型量化步长的初始值；

步骤4：对所述的图像进行宏块级码率控制，其码率控制模型根据上述过程获得的宏块MB运动复杂度和帧级目标比特数，为每个宏块MB分配合适的量化参数QP；

步骤5：对所述的图像进行正式运动估计，即将预运动估计阶段产生的运动矢量作为正式运动估计菱形搜索策略的起始点，提高正式运动估计的搜索效率。

作为优选，步骤1中所述的计算图像宏块MB运动复杂度SAD，其具体实现过程为：通过执行预运动估计获得宏块图像MB的运动复杂度SAD，对于第k个宏块MB，其运动复杂度指标

其中，SAD_k为预运动估计得到的运动复杂度SAD值。

作为优选，所述的通过执行预运动估计获得宏块图像MB的运动复杂度SAD，其预运动估计阶段计算率失真优化RDO代价的量化参数QP取上一帧的平均量化参数QP。

作为优选，所述的通过执行预运动估计获得宏块图像MB的运动复杂度SAD，只执行16x16的帧间运动搜索和16x16的帧内预测，所述的帧间运动搜索在当前输入帧和前一重建帧之间进行，帧内预测在当前输入帧中进行。

作为优选，步骤1中所述的计算图像宏块MB视觉感知权重，其具体实现过程为：通过引入金字塔视觉感知加权，即加权系数的权值从图像中心到四周满足金字塔型分布，计算第k个宏块MB的视觉感知权重为：

$w_k=A_1(1-\frac{|r-R|}{R})(1-\frac{|c-C|}{C})+A_2$

其中A₁为常数1.5，A₂为常数0.1，R为图像行宏块数的一半，C为图像列宏块数的一半，r为第k个宏块MB的行号，c为第k个宏块MB的列号。

第k个宏块MB的失真权重参数 ${\mathrm{\&alpha;}}_k=\left\{\begin{array}{cc}2\frac{B}{{16}^{2}N}(1-{\mathrm{\&sigma;}}_k)+{\mathrm{\&sigma;}}_k,& \frac{B}{{16}^{2}N}<0.5\\ 1,& \mathrm{otherwise}\end{array}\right.,$ 其中N为宏块MB的总数目，σ_k为第k个宏块MB的运动复杂度指标，B是目标比特数，进一步结合金字塔感知加权模型，将α_k修正为α_k=α_kw_k，且令

S是编码复杂度。

作为优选，步骤2中所述的计算所述的图像帧级目标比特数，设目标码率为R、目标帧率为F、码流缓冲区填充度为W，M为跳帧门限，默认为M=2R/F，D为延迟门限，默认为D=0.5R/F，码流缓冲区填充度W初始化为0，则其具体实现包括以下步骤：

步骤2.1：根据目标码率R和网络传输模块前后两次读取缓冲区的时间间隔计算发送的比特数，即B_t＝RT，其中B_t为比特数，R为目标码率，T为时间间隔；

步骤2.2：码流缓冲区更新；每编码一帧，根据W=max(W+B′-B_t,U)更新编码缓冲区，其中B′为上一帧编码的实际比特数，U为下溢门限，默认为帧平均比特数的负值；

步骤2.3：图像帧级目标比特数计算；在对当前帧编码时，首先检查W，如果W>M，则跳过当前帧的编码，同时W=W-B_t；否则每帧的目标比特数为B=(R/F)-Δ，其中

$\mathrm{\&Delta;}=\left\{\begin{array}{cc}W/F,& W>D\\ W-D,& \mathrm{Otherwise}\end{array}\right..$

作为优选，步骤3中所述的帧、条带一级的码率控制算法为可伸缩码率控制算法SRC，所述的可伸缩码率控制算法SRC机制假定编码器的失真函数由以下模型表示：

B=X₁×S×Q^-1+X₂×S×Q^-2

其中，B是目标比特数；S是编码复杂度，即帧或条带内全部MB复杂度之和，Q是量化步长，X₁和X₂是模型参数。

作为优选，步骤4中所述的为每个宏块MB分配合适的量化参数QP，其具体实现包括以下子步骤：

步骤4.1：根据TMN8模型，计算宏块的量化步长其中K,L,S均为模型参数，σ_k为第k个宏块MB的运动复杂度指标，α_k为第k个宏块MB的失真权重参数，每编码一个宏块MB，模型参数更新一次；在得到Qstep后，根据公式QP=6logQstep/log2+4将Qstep转化为量化参数QP；

步骤4.2：将量化参数QP限制在上一帧平均量化参数的±2范围内，限制后的QP即为该宏块MB最终的量化参数；

步骤4.3：根据公式Qstep=2^(QP-4)/6将限制范围后的量化参数QP重新还原到量化步长Qstep，并用Qstep/2去更新TMN8模型。

作为优选，步骤5中所述的正式运动估计，其具体实现过程为：利用上述步骤给出的宏块MB真实的量化参数QP，计算率失真优化RDO的拉格朗日参数执行率失真优化RDO运动估计和帧内帧间编码模式判决，其中运动矢量快速搜索方法选择H.264中的Uneven-cross Multi-Hexagon-grid方法，将预运动估计阶段产生的运动矢量作为正式运动估计菱形搜索策略的起始点，提高正式运动估计的搜索效率。

本发明具有以下优点和积极效果：

（1）与现有方法相比，显著降低了运算复杂度，提高了对解码还原视频再次编码的码率控制精度，特别适合于视频会议多点控制器等视频交换应用场合；

（2）本发明能够提供稳定的画面质量，图像恢复清晰画质的过程迅速，在低码率下能够优先保障图像中心的人头肩像部位的质量，非常适合视频会议、可视电话的应用；

（3）本发明能够充分地利用网络有效带宽，降低了视频编码器输出码率的波动性，保障了画面流畅性；

（4）本发明的处理过程具有低延时特点，对于实时性要求比较高的视频通信，效果更加明显。

附图说明

图1：本发明具体实施例的原理图。

具体实施方式

H.264采用的是率失真运动估计技术，运动估计时用到了量化参数QP，而码率控制算法对QP的计算又依赖运动估计模块得到的宏块复杂度指标，造成运动估计和码率控制互相依赖的局面。为了克服这一矛盾，本发明在码率控制之前预先执行一遍运动估计，将运动估计产生的SAD作为码率控制的依据。预运动估计阶段计算率失真优化RDO代价的量化参数QP取上一帧的平均QP。在获得一帧中每个宏块的SAD后，调用运动估计算法求取QP，然后根据这个真实的QP执行正式的率失真优化RDO运动估计，接着进入常规的H.264编码流程，执行剩余的运动补偿，变换和量化等步骤。预运动估计阶段产生的运动矢量被正式的运动估计所参考，将其作为正式运动估计菱形搜索的起始点，提高正式运动估计的搜索效率，从而抵消预运动估计的额外计算代价。

以下将结合附图和具体实施方式对本发明做进一步的阐述。

请见图1，本发明所采用的技术方案是：一种H.264码率控制方法，包括以下步骤：

步骤1：通过执行预运动估计计算图像宏块MB运动复杂度SAD和视觉感知权重；

其中计算图像宏块MB运动复杂度SAD，具体实现过程为：通过执行预运动估计获得宏块图像MB的运动复杂度SAD，对于第k个宏块MB，其运动复杂度指标

其中，SAD_k为预运动估计得到的运动复杂度SAD值，预运动估计阶段计算率失真优化RDO代价的量化参数QP取上一帧的平均量化参数QP，而且，为了节省预运动估计的计算开销，只执行16x16的帧间运动搜索和16x16的帧内预测，帧间运动搜索在当前输入帧和前一重建帧之间进行，帧内预测在当前输入帧中进行；

其中计算图像宏块MB视觉感知权重，具体实现过程为：通过引入金字塔视觉感知加权，即加权系数的权值从图像中心到四周满足金字塔型分布，计算第k个宏块MB的视觉感知权重为：

$w_k=A_1(1-\frac{|r-R|}{R})(1-\frac{|c-C|}{C})+A_2$

其中A₁为常数1.5，A₂为常数0.1，R为图像行宏块数的一半，C为图像列宏块数的一半，r为第k个宏块MB的行号，c为第k个宏块MB的列号。

第k个宏块MB的失真权重参数 ${\mathrm{\&alpha;}}_k=\left\{\begin{array}{cc}2\frac{B}{{16}^{2}N}(1-{\mathrm{\&sigma;}}_k)+{\mathrm{\&sigma;}}_k,& \frac{B}{{16}^{2}N}<0.5\\ 1,& \mathrm{otherwise}\end{array}\right.,$ 其中N为宏块MB的总数目，σ_k为第k个宏块MB的运动复杂度指标，B是目标比特数，进一步结合金字塔感知加权模型，将α_k修正为α_k=α_kw_k，且令

S是编码复杂度。

步骤2：综合图像目标码率，目标帧率和码流缓冲区的填充度计算图像帧级目标比特数；设目标码率为R、目标帧率为F、码流缓冲区填充度为W，M为跳帧门限，默认为M=2R/F，D为延迟门限，默认为D=0.5R/F，码流缓冲区填充度W初始化为0，则其具体实现包括以下步骤：

步骤2.1：根据目标码率R和网络传输模块前后两次读取缓冲区的时间间隔计算发送的比特数，即B_t＝RT，其中B_t为比特数，R为目标码率，T为时间间隔；

步骤2.2：码流缓冲区更新；每编码一帧，根据W=max(W+B′-B_t,U)更新编码缓冲区，其中B′为上一帧编码的实际比特数，U为下溢门限，默认为帧平均比特数的负值；

步骤2.3：图像帧级目标比特数计算；在对当前帧编码时，首先检查W，如果W>M，则跳过当前帧的编码，同时W=W-B_t；否则每帧的目标比特数为B=(R/F)-Δ，其中

$\mathrm{\&Delta;}=\left\{\begin{array}{cc}W/F,& W>D\\ W-D,& \mathrm{Otherwise}\end{array}\right..$

步骤3：对图像进行帧级码率控制，即通过帧、条带一级的码率控制算法计算出一个量化步长基准值，将它作为每帧、条带TMN8模型量化步长的初始值；其中帧、条带一级的码率控制算法为可伸缩码率控制算法SRC，可伸缩码率控制算法SRC机制假定编码器的失真函数由以下模型表示：

B=X₁×S×Q^-1+X₂×S×Q^-2

其中，B是目标比特数；S是编码复杂度，即帧或条带内全部MB复杂度之和，Q是量化步长，X₁和X₂是模型参数。

步骤4：对图像进行宏块级码率控制，其码率控制模型根据上述过程获得的宏块MB运动复杂度和帧级目标比特数，为每个宏块MB分配合适的量化参数QP；其具体实现包括以下子步骤：

步骤4.1：根据TMN8模型，计算宏块的量化步长

其中K,L,S均为模型参数，σ_k为第k个宏块MB的运动复杂度指标，α_k为第k个宏块MB的失真权重参数，每编码一个宏块MB，模型参数更新一次；在得到Qstep后，根据公式QP=6logQstep/log2+4将Qstep转化为量化参数QP；

步骤4.2：将量化参数QP限制在上一帧平均量化参数的±2范围内，限制后的QP即为该宏块MB最终的量化参数；

步骤4.3：根据公式Qstep=2^(QP-4)/6将限制范围后的量化参数QP重新还原到量化步长Qstep，并用Qstep/2去更新TMN8模型。

步骤5：对图像进行正式运动估计，即将预运动估计阶段产生的运动矢量作为正式运动估计菱形搜索策略的起始点，提高正式运动估计的搜索效率；其具体实现过程为：利用上述步骤给出的宏块MB真实的量化参数QP，计算率失真优化RDO的拉格朗日参数

执行率失真优化RDO运动估计和帧内帧间编码模式判决，其中运动矢量快速搜索方法选择H.264中的Uneven-cross Multi-Hexagon-grid方法，将预运动估计阶段产生的运动矢量作为正式运动估计菱形搜索策略的起始点，提高正式运动估计的搜索效率。

以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，因此，凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种H.264码率控制方法，其特征在于，包括以下步骤：

步骤1：通过执行预运动估计计算图像宏块MB运动复杂度SAD和视觉感知权重；

步骤2：综合所述的图像目标码率，目标帧率和码流缓冲区的填充度计算所述的图像帧级目标比特数；

步骤3：对所述的图像进行帧级码率控制，即通过帧、条带一级的码率控制算法计算出一个量化步长基准值，将它作为每帧、条带TMN8模型量化步长的初始值；

步骤4：对所述的图像进行宏块级码率控制，其码率控制模型根据上述过程获得的宏块MB运动复杂度和帧级目标比特数，为每个宏块MB分配合适的量化参数QP；

步骤5：对所述的图像进行正式运动估计，即将预运动估计阶段产生的运动矢量作为正式运动估计菱形搜索策略的起始点，提高正式运动估计的搜索效率。

2.根据权利要求1所述的H.264码率控制方法，其特征在于：步骤1中所述的计算图像宏块MB运动复杂度SAD，其具体实现过程为：通过执行预运动估计获得宏块图像MB的运动复杂度SAD，对于第k个宏块MB，其运动复杂度指标

其中，SAD_k为预运动估计得到的运动复杂度SAD值。

3.根据权利要求2所述的H.264码率控制方法，其特征在于：所述的通过执行预运动估计获得宏块图像MB的运动复杂度SAD，其预运动估计阶段计算率失真优化RDO代价的量化参数QP取上一帧的平均量化参数QP。

4.根据权利要求2所述的H.264码率控制方法，其特征在于：所述的通过执行预运动估计获得宏块图像MB的运动复杂度SAD，只执行16x16的帧间运动搜索和16x16的帧内预测，所述的帧间运动搜索在当前输入帧和前一重建帧之间进行，帧内预测在当前输入帧中进行。

5.根据权利要求1所述的H.264码率控制方法，其特征在于：步骤1中所述的计算图像宏块MB视觉感知权重，其具体实现过程为：通过引入金字塔视觉感知加权，即加权系数的权值从图像中心到四周满足金字塔型分布，计算第k个宏块MB的视觉感知权重为：

$w_k=A_1(1-\frac{|r-R|}{R})(1-\frac{|c-C|}{C})+A_2$

其中A₁为常数1.5，A₂为常数0.1，R为图像行宏块数的一半，C为图像列宏块数的一半，r为第k个宏块MB的行号，c为第k个宏块MB的列号。

第k个宏块MB的失真权重参数 ${\mathrm{\&alpha;}}_k=\left\{\begin{array}{cc}2\frac{B}{{16}^{2}N}(1-{\mathrm{\&sigma;}}_k)+{\mathrm{\&sigma;}}_k,& \frac{B}{{16}^{2}N}<0.5\\ 1,& \mathrm{otherwise}\end{array}\right.,$ 其中N为宏块MB的总数目，σ_k为第k个宏块MB的运动复杂度指标，B是帧级目标比特数，进一步结合金字塔感知加权模型，将α_k修正为α_k=α_kw_k，且令

S是编码复杂度。

6.根据权利要求1所述的H.264码率控制方法，其特征在于：步骤2中所述的计算所述的图像帧级目标比特数，设目标码率为R、目标帧率为F、码流缓冲区填充度为W，M为跳帧门限，默认为M=2R/F，D为延迟门限，默认为D=0.5R/F，码流缓冲区填充度W初始化为0，则其具体实现包括以下步骤：

步骤2.1：根据目标码率R和网络传输模块前后两次读取缓冲区的时间间隔计算发送的比特数，即B_t＝RT，其中B_t为比特数，R为目标码率，T为时间间隔；

步骤2.2：码流缓冲区更新；每编码一帧，根据W=max(W+B′-B_t,U)更新编码缓冲区，其中B′为上一帧编码的实际比特数，U为下溢门限，默认为帧平均比特数的负值；

步骤2.3：图像帧级目标比特数计算；在对当前帧编码时，首先检查W，如果W>M，则跳过当前帧的编码，同时W=W-B_t；否则每帧的目标比特数为B=(R/F)-Δ，其中

$\mathrm{\&Delta;}=\left\{\begin{array}{cc}W/F,& W>D\\ W-D,& \mathrm{Otherwise}\end{array}\right..$

7.根据权利要求1所述的H.264码率控制方法，其特征在于：步骤3中所述的帧、条带一级的码率控制算法为可伸缩码率控制算法SRC，所述的可伸缩码率控制算法SRC机制假定编码器的失真函数由以下模型表示：

B=X₁×S×Q^-1+X₂×S×Q^-2

其中，B是目标比特数；S是编码复杂度，即帧或条带内全部MB复杂度之和，Q是量化步长，X₁和X₂是模型参数。

8.根据权利要求1所述的H.264码率控制方法，其特征在于：步骤4中所述的为每个宏块MB分配合适的量化参数QP，其具体实现包括以下子步骤：

步骤4.1：根据TMN8模型，计算宏块的量化步长其中K,L,S均为模型参数，σ_k为第k个宏块MB的运动复杂度指标，α_k为第k个宏块MB的失真权重参数，每编码一个宏块MB，模型参数更新一次；在得到Qstep后，根据公式QP=6logQstep/log2+4将Qstep转化为量化参数QP；

步骤4.2：将量化参数QP限制在上一帧平均量化参数的±2范围内，限制后的QP即为该宏块MB最终的量化参数；

步骤4.3：根据公式Qstep=2^(QP-4)/6将限制范围后的量化参数QP重新还原到量化步长Qstep，并用Qstep/2去更新TMN8模型。

9.根据权利要求1所述的H.264码率控制方法，其特征在于：步骤5中所述的正式运动估计，其具体实现过程为：利用上述步骤给出的宏块MB真实的量化参数QP，计算率失真优化RDO的拉格朗日参数

执行率失真优化RDO运动估计和帧内帧间编码模式判决，其中运动矢量快速搜索方法选择H.264中的Uneven-crossMulti-Hexagon-grid方法，将预运动估计阶段产生的运动矢量作为正式运动估计菱形搜索策略的起始点，提高正式运动估计的搜索效率。

Images