CN104079933B - 适用于hevc的低延时码率控制方法及比特数分配方法 - Google Patents

Abstract

本发明提供一种适用于HEVC的低延时码率控制方法及比特数分配方法，其中：根据虚拟缓存区的状态，引入一个来源于缓存区的比特反馈增量，给每一帧预先分配一定量的比特数，这是实现低延时的基础。然后根据与剩余平均比特数进行加权求和，得到每一帧的预分配比特数。然后根据比特数与拉格朗日乘子的关系得到拉格朗日乘子，再根据拉格朗日乘子与量化参数的关系得到量化参数。最终根据拉格朗日乘子和量化参数调控编码，使得实际编码的比特数与预估计比特数相同或者相近。本发明综合考虑了虚拟缓存区的状态和宏块的复杂度来分配比特数，调整拉格朗日乘子和量化参数，使得能够获得更高好的低延时特性。

Description

适用于HEVC的低延时码率控制方法及比特数分配方法

技术领域

本发明涉及一种图像处理技术领域的方法，具体是一种适用于HEVC视频编码的低延时码率控制方法，比特数分配方法以及根据预先分配比特数确定拉格朗日因子和量化参数的方法。

背景技术

随着视频编码技术的发展，各项视频业务的广泛应用给人们的生产和生活带来了极大的便利。为了实现对视频流码流大小的控制，在每个视频编码标准中，码率控制都是非常重要的一部分。码率控制技术就是在尽量保证视频质量的前提下，动态调整编码参数，使输出码率与传输信道的带宽相适应。根据传输信道的码率是否恒定，码率控制可以分为VBR和CBR两种模式。

传统的视频编码标准中的码率控制方法主要是通过改变量化参数来实现对视频码流大小的控制。但是，Li Houqiang等人在2013年Journal of Selected Topics inSignal Processing(IEEE信号处理的选题杂志)上发表的“Rate Control for HEVCTemporal Scalability using R-λModel(针对HEVC时域可扩展采用R-λ模型的码率控制)”一文中，就提出了一种根据改变量化参数和拉格朗日乘子共同控制视频码流大小的方法。

以前的码率控制方法都是在先前的编码标准H.263，H.264上实现的，在当前的HEVC编码标准也有一些码率控制方法，但是都没有针对于低延时的方法。在现在的电视会议等视频业务中，低延时是一个非常重要的指标。因此，适用于低延时的码率控制方法有着非常重要的作用。

发明内容

本发明针对现有视频编码(HEVC)中码率控制技术的不足，提供一种适用于HEVC的低延时码率控制方法及比特数分配方法。

为实现上述目的，本发明通过缓存区状态和宏块复杂度权重因子预先估计帧和宏块的目标比特数。再根据比特数与拉格朗日乘子的关系公式和拉格朗日乘子与量化参数的关系公式确定拉格朗日乘子和量化参数，然后去控制帧和宏块的编码使得编码的比特数与目标分配的比特数相同或者相近，从而实现低延时码率控制。

根据本发明的一方面，提供一种确定拉格朗日因子和量化参数的方法，所述方法根据预先分配的比特数，按照比特数(R)与拉格朗日乘子(λ)的关系公式，得到拉格朗日乘子：

R＝α×λ^β

其中，α和β是两个模型参数。

在得到拉格朗日乘子以后，为了简化量化参数值QP的计算方法，减少复杂度，根据拉格朗日乘子λ与量化参数QP的经验公式，得到量化参数值：

QP＝a·ln(λ)+b

其中，a和b都是通过大量的训练得到的常量参数。

根据本发明的另一个方面，提供一种适用于低延时码率控制的比特数分配方法，该方法步骤如下：

①根据预设的目标缓存级和缓存满度，获得基于虚拟缓存的目标比特数；

②根据GOP剩余比特数和剩余帧数得到当前帧的平均可用比特数，根据当前宏块的复杂度权重因子以及当前帧剩余比特数，得到宏块基于复杂度权重因子的目标比特数；

③将①和②中的目标比特数进行加权平均，得到当前帧或宏块的预分配比特数。

优选地，为了满足低延时的要求，预先给当前帧或宏块分配的比特数与缓存区状态有关，基于缓存区的比特数为计算公式为：

其中，R是目标码率，f是帧率，L是目标缓存级，V是虚拟缓存的满度，γ是一个常数；根据虚拟缓存区的状态，预先分配基于缓存区的比特数。

更优选地，为了使得比特分配更加精确，在CTU级码率控制引入了一种数值解法，根据权重因子w_m和帧剩余比特数B给当前宏块分配比特数：

其中的w_m根据下面的数值解法得到：

其中的α_m和β_m是第m个宏块的R-λ模型参数,λ表示帧级码率控制得到的拉格朗日乘子，表示第m个CTU使用帧级λ时根据R-λ模型得出的比特数。N_CTU是当前帧所有的宏块数目；

最终的目标分配比特数，就是预分配码率的加权平均值：

θ是加权因子,本实施例中设为0.9。

根据本发明的第三方面，提供一种适用于HEVC的低延时码率控制方法。该方法在HEVC中码率控制中应用上述比特数分配方法以及确定拉格朗日因子和量化参数的方法，通过修改拉格朗日乘子和量化参数控制编码。该方法步骤如下：

第一步，根据缓存区的状态和目标码率帧率，得到当前帧(宏块)预先分配的比特数；

第二步，根据比特数与拉格朗日乘子的关系公式获得拉格朗日乘子，再根据拉格朗日乘子与量化参数的经验公式获得量化参数。

第三步，根据优化的拉格朗日乘子和量化参数对每个宏块进行编码，从而实现低延时的码率控制。

与现有技术相比，本发明具有如下的有益效果：

本发明考虑了缓存区的状态和宏块的复杂度，因而能够更精准的分配比特，更好地适应低延时的视频应用，能够获得比较平稳的码流。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明一实施例的适用于HEVC低延时码率控制的流程图；

图2是比特数R和拉格朗日乘子λ的双曲线关系验证图；

图3是本发明一实施例的实施例中缓存区满度的比较图；

图4是本发明一实施例的实际帧比特抖动的比较图；

图5是本发明一实施例的中帧PSNR抖动的比较图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，本发明根据虚拟缓存区的状态，引入一个来源于缓存区的比特反馈增量，给每一帧预先分配一定量的比特数，这是实现低延时的基础。接着根据与剩余平均比特数进行加权求和，得到每一帧的预分配比特数。然后根据比特数与拉格朗日乘子的关系得到拉格朗日乘子，再根据拉格朗日乘子与量化参数的关系得到量化参数。最终根据拉格朗日乘子和量化参数调控编码，使得实际编码的比特数与预估计比特数相同或者相近。在宏块级，采用了一种数值解法使得预先分配给每个宏块的比特数更加精确，提高了该方法的低延迟特性。

把本发明应用到HEVC视频编码框架中。该框架通过修改拉格朗日乘子和量化参数控制码流大小。下面首先介绍拉格朗日乘子与量化参数实现对输出码流的控制。然后在此基础上详细介绍适用于低延时的目标比特数的分配方法。

1.HEVC编码框架的拉格朗日乘子和量化参数的调整

对视频通信而言，由于通信信道带宽有限，需要对视频编码码率进行控制，来保证编码码流的顺利传输和信道带宽的充分利用。码率控制方法就是动态调整编码参数，使得输出码率接近目标码率。它为视频序列中的图像组，帧或者宏块分配一定的比特数，通过调整量化过程中的QP值以尽量与分配的比特数相匹配。QP值与输出码率成反比的关系。

HEVC标准采用标量量化。对于第n个块的第(i,j)个子带，在理论上量化可以表示为

l_n,i,j＝round(w_n,i,j·PF_i,j/Q_step)， (1)

其中w_n,i,j和l_n,i,j分别表示量化前后的变换系数，PF_i,j是后缩放因子，Q_step是量化步长。为了方便计算，一般情况下量化的实现方式为

|l_n,i,j|＝(w_n,i,j|·MF_i,j+f)>>qbits， (2)

sign(l_n,i,j)＝sign(w_n,i,j)， (3)

此处f是偏移量，MF_i,j和qbits分别是与量化参数相关的乘因子和右移次数。

在传统的基于量化的编码方法下。基于量化失真模型，可以得到HEVC编码的最优拉格朗日乘子为

其中c是一个常数，Q_step是量化步长，QP(Q_step)是依赖于量化步长的量化参数。由于拉格朗日乘子会影响编码模式和运动选择。因此通过调整拉格朗日乘子也可以实现对码流的控制。

2.拉格朗日乘子和编码参数的计算

在以前的编码标准中，有好几种R-D模型被提出来建立码率R和失真D的关系。在HEVC编码标准中，一种典型的R-D模型是指数模型：

D(R)＝CR^-K (5)

其中，C和K是与视频源特征有关的模型参数。而拉格朗日乘子就是R-D曲线的斜率，表示如下：

其中，α₁和β₁是与视频源有关的模型参数，其基准值是通过大量的训练得到的λ-R拟合曲线的参数值。(6)也可以表示为：

(7)显示了R决定于拉格朗日乘子λ，图2中的实验都证明了这一点。与R-Q模型相比，拉格朗日乘子更能决定整个的R，因为拉格朗日乘子不仅影响残差的比特数还影响非残差的比特数目。RDO过程中模式和运动的选择都会受到拉格朗日乘子的影响。因此可以通过建立这个R-λ的模型来得到拉格朗日乘子，α和β是两个模型参数，初始的α和β是由大量的训练得到的经验的初始值，而后在码率控制中会及时地更新。

为了减少码率控制的复杂度，通过训练拉格朗日乘子与量化参数的关系，得到一个简单的关系式：

QP＝a·ln(λ)+b (8)

其中，a和b都是常量。训练结果分别为4.2005和13.7122.

3.适用于低延时的比特分配方法

要想得到上述拉格朗日乘子和量化参数来控制编码，首先得预先为编码单元分配目标比特数。为了实现低延时的目标。为编码单元分配的比特数主要基于两个部分，第一部分是基于缓存区的状态，第二部分是基于目标码率和剩余比特数。在本发明中，对于宏块级的码率控制方法，第二部分的比特分配采取了一种数值解法，根据复杂度权重因子实现比特数的分配。下面推导下帧级和宏块级的比特分配方法。

(I)帧级比特数分配

在帧级比特数分配方法中，为了解决缓存区溢出和下溢的问题，采用了基于缓存区状态的比特数分配方案。因此，设置一个虚拟缓存器，在第i个GOP的第j帧的满度为V_i(j)，每编码一帧后，虚拟缓存器更新。V_i(j)的更新方法为：

其中，b_i(j-1)表示第i个GOP第j帧实际编码的比特数，R为目标码率，f为帧率。因此基于缓存区状态的比特数可以由如下公式得到

其中，L是目标缓存级，本发明中设置为一个常量值0.5B_s，B_s是虚拟缓存器的最大容量。V_i(j)是虚拟缓存的满度，γ是一个常数，在低延时码率控制中一般取0.5。

为了更加精确的分配比特数，帧的目标比特数不仅与缓存区状态有关，还与当前GOP剩余比特数目有关。第i个GOP第j帧编码之前该GOP剩余的比特数可以如下表示。

其中，N_GOP是一个GOP的帧数，σ是控制收敛速度的因子。每编码一帧后，剩余比特数都会减少。因此基于剩余比特数的目标比特数可以如下得到：

其中的N_left表示当前GOP中剩余的帧数。在这两个目标比特数求出来后，最终分配给第i个GOP第j帧的目标比特数T_i(j)是这两部分的加权平均：

其中的θ是个加权因子，在本实施例中设置为0.9。

实施例中按H.264/AVC标准获得各种编码模式下的预测残差，并按前文所述的方式调整预测残差。

(II)宏块级比特数分配

为了更加精确的控制码率，码率控制方案在比帧级更小的宏块级加以应用，因此对于每一个宏块，同样也得分配相应的比特，然后再得到应用于宏块编码的拉格朗日乘子和量化参数。宏块级的比特数分配方案引入了一种数值解法来得到相应的复杂度权重因子，用来得到目标比特数。

为了克服由于糟糕的MAD预测导致的不精确的宏块级比特数分配方法，一个用于分配比特数目的权重因子w_m由以下数值解法得到

其中的α_m和β_m是第m个宏块的R-λ模型参数,λ表示帧级码率控制得到的拉格朗日乘子，表示第m个CTU使用帧级λ时根据R-λ模型得出的比特数。N_CTU是当前帧所有的宏块数目。

而当前帧在编码第m个宏块前剩余的比特数B_i(j,m)可以根据下面的公式得到

其中，b_i(j,m-1)为编码第m-1个宏块实际产生的比特数，B_i(j,m-1)为第i个GOP中第j帧的m-1个宏块前剩余的比特数。同样，基于剩余比特数的目标比特数可以如下得到：

其中的w_m和w_k即为上述所描述的宏块的比特分配权重因子。宏块分配的目标比特数不仅仅与剩余比特数有关，同样与缓存区状态有关。因此，设置帧级别的虚拟缓存器。用V_i(j,m)表示编码第i个GOP第j帧第m个宏块之前的缓存区的满度，则V_i(j,m-1)表示第i个GOP第j帧第m-1个宏块之前的缓存区的满度。V_i(j,m)更新方法如下

因此，基于缓存区的目标比特数可以如下得到

其中，N_{CTU_left}表示当前帧剩余的宏块数目。最后，最终分配给第m个宏块的比特数目就是两部分的加权平均值：

其中θ是与(13)中相同的加权因子，同样设置为0.9。

4.模式选择与编码

在由2中得到相应的拉格朗日乘子和量化参数后，应用到量化和编码模式中。按所选的编码模式和相应的调整后的量化参数进行编码。

5.实施条件与结果

基于HM10.0实现应用本发明方法的实施例中的HEVC编码框架，并用了标准测试序列4个组(不同分辨率)共15个序列进行测试。编码采用了lowdelay B的编码结构。采用上下文自适应的二进制算术编码(Context-based Adaptive Binary Arithmetic Coding，CABAC)。目标码率为HM10.0编码器中不采用码率控制方法得到的实际码率。

在上述实施条件下，得到了表1的实验结果。其中的“传统方法”指的是用于对比的在HM10.0中采用的码率控制方法。而“目前方法”指的是应用了本发明的实施例的码率控制方法。经过对比发现，两种方法具有相似的编码效率。但是本发明中的实施例中的方法具有更小的延时和更平稳的帧比特情况，也就是码流更加的平稳。图3是缓存区的满度状态，显示出本发明中的方法有更平稳的缓存区状态，且不会导致溢出和下溢。图4是每一帧的编码比特数目，显示出本发明中的方法有更平稳的码流。图5是每一帧的PSNR，显示两种方法没太大的差别。

表1 实施例的编码结果

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (2)

1.一种适用于低延时码率控制的比特数分配方法，其特征在于该方法步骤如下：

①根据预设的目标缓存级和缓存满度，获得基于虚拟缓存的目标比特数；

②根据GOP剩余比特数和剩余帧数得到当前帧的平均可用比特数，根据当前宏块的复杂度权重因子以及当前帧剩余比特数，得到宏块基于复杂度权重因子的目标比特数；

③将①和②中的目标比特数进行加权平均，得到当前帧或宏块的预分配比特数；

根据预先分配的目标码率R，按照R与拉格朗日乘子λ的关系公式，得到拉格朗日乘子：

R＝α×λ^β

其中，α和β是两个模型参数；

在得到拉格朗日乘子以后，根据拉格朗日乘子λ与量化参数QP的经验公式，得到量化参数值：

QP＝a·ln(λ)+b

其中，a和b都是常量参数；

为了使得比特分配更加精确，在宏块级码率控制中引入了一种数值解法，根据权重因子w_m和帧剩余比特数B给当前宏块分配比特数：

其中的w_m根据下面的数值解法得到：

其中的α_m和β_m是第m个宏块的R-λ模型参数,λ表示拉格朗日乘子，表示第m个CTU使用帧级λ时R-λ模型得出的比特数；N_CTU是当前帧所有的宏块数目；

最终的目标分配比特数，就是预分配比特的加权平均值：

θ是加权因子；

为了满足低延时的要求，预先给当前帧或宏块分配的比特数与缓存区状态有关，基于缓存区的比特数为计算公式为：

其中，R是目标码率，f是帧率，L是目标缓存级，V是虚拟缓存的满度，γ是一个常数；根据虚拟缓存区的状态，预先分配基于缓存区的比特数。

2.一种采用权利要求1所述方法的适用于HEVC低延时的码率控制的方法，其特征在于：包括以下步骤：

第一步，根据缓存区的状态和目标码率帧率，得到当前帧或宏块预先分配的比特数；

第二步，根据比特数与拉格朗日乘子的关系公式获得拉格朗日乘子，再根据拉格朗日乘子与量化参数的经验公式获得量化参数；

在得到拉格朗日乘子以后，根据拉格朗日乘子λ与量化参数QP的经验公式，得到量化参数值：

QP＝a·ln(λ)+b

其中，a和b都是常量参数；

第三步，根据优化的拉格朗日乘子和量化参数对每个宏块进行编码，使得实际编码的比特数与预估计比特数相同或者相近。