CN101562497A - 一种分级b帧的帧层速率控制方法及装置 - Google Patents

Abstract

一种分级B帧的帧层速率控制方法及装置，其为包含分级B帧的图像组的所有B帧中具有相同时间等级的B帧确定对应的同时间等级B帧的目标比特数；并根据所述同时间等级B帧的目标比特数对该同时间等级B帧包含的至少一个B帧进行帧层速率控制。可见，由于其采用了基于时间等级的分级B帧的速率控制策略，以将同一时间等级的B帧作为一个整体进行相应的速率控制，因而，通过该速率控制方案可以实现针对分级B帧的准确的速率控制，有效提高相应的编码性能。

Description

一种分级B帧的帧层速率控制方法及装置

技术领域

本发明涉及编码技术领域，尤其涉及一种分级B帧的帧层速率控制技术。

背景技术

为了在信道带宽和传输时延有限制的情况下有效传输视频数据，以保证网络视频业务的播放质量，通常需要对视频编码进行速率控制。速率控制是指通过适当设置一系列编码参数，使得视频编码后的比特率较准确的达到所希望得到的速率。以实现根据信道限制调整视频编码器的输出比特率，以及可以在给定的速率限制下使得编码失真达到最小。

目前，在编码过程中，采用了计算复杂度较低的闭环分级B帧编码器进行编码操作。以分级B帧的二重分级编码结构为例，相应的分级B帧的二重分级编码结构如图1所示，分级B帧具有不同的时间等级，不同的时间等级是指B帧的参考帧与当前B帧的时间距离不同。在分级B帧编码结构中，将I帧或P帧作为关键帧，且当前关键帧及其与前一个关键帧之间的所有B帧组成一个GOP(图像组)。

目前可以采用相应的的速率控制模式实现针对分级B帧的速率控制，相应的实现针对分级B帧的速率控制的过程包括：

(1)计算分级B帧的时间等级总数H_levels，例如，若相邻关键帧之间插入的B帧数为3，则使用全二重分级编码结构时的时间等级总数为2。

(2)计算B帧的编码顺序B_order，例如，解码顺序为I0、b1、B2、b3、P4的五帧(大写字母B表示该B帧用作参考帧，小写字母b表示该B帧不用作参考帧)，其编码顺序为I0、P4、B2、b1、b3，b1和b3的时间等级序号为0，按照编码顺序各B帧的B_order值依次为0、1、2。

(3)计算分级B帧的量化参数QP，即量化器的量化步长的索引序号；

假设当前B帧所在GOP中的关键帧的QP为QP₂，前一个GOP中的关键帧的QP为QP₁，则分级B帧的QP为：

${Q\tilde{B}}_{B_{\mathrm{order}}}=\left\{\begin{array}{cc}{\mathrm{QP}}_{\mathrm{prev}}& B_{\mathrm{order}}=0\\ {\mathrm{QP}}_{\mathrm{prev}}+[H_{\mathrm{levels}}-L\left(B_{\mathrm{order}}\right)]& \mathrm{else}\end{array}\right.;$

其中，QP_prev＝max(QP₁，QP₂)，L(n)表示编码顺序序号为n的B帧的时间等级序号。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

在上述方案中，针对分级B帧的QP使用的是根据前后关键帧的QP的最大值和B帧的时间等级序号计算得到当前B帧的QP，因而，分级B帧结构中插入B帧数数量较多的情况，P帧之间的时间相关性较差，使得无法针对分级B帧实现准确的速率控制。

发明内容

本发明的实施例提供了一种分级B帧的帧层速率控制方法及装置，以实现准确可靠的针对分级B帧的速率控制。

一种分级B帧的帧层速率控制方法，包括：

为包含分级B帧的图像组的所有B帧中具有相同时间等级的B帧确定对应的同时间等级B帧的目标比特数；

根据所述同时间等级B帧的目标比特数对该同时间等级B帧包含的至少一个B帧进行帧层速率控制。

一种分级B帧的帧层速率控制装置，包括：

目标比特数确定单元，用于为包含分级B帧的图像组的所有B帧中具有相同时间等级的B帧确定对应的同时间等级B帧的目标比特数；

速率控制单元，用于根据所述目标比特数确定单元确定的同时间等级B帧的目标比特数对该同时间等级B帧包含的至少一个B帧进行帧层速率控制。

由上述本发明的实施例提供的技术方案可以看出，由于其采用了基于时间等级的分级B帧的速率控制策略，以将同一时间等级的B帧作为一个整体进行相应的速率控制，因而，通过该速率控制方案可以实现针对分级B帧的准确的速率控制，有效提高相应的编码性能。

附图说明

图1为现有技术中分级B帧的二重分级编码结构示意图；

图2为本发明实施例提供的分级B帧的速率控制过程示意图；

图3为本发明实施例提供的装置的结构示意图。

具体实施方式

在编码过程中，不同时间等级B帧对于GOP(图像组)以及整个序列的编码质量的影响不同，例如，低时间等级上的B帧对整个GOP编码质量的影响大于高时间等级上的B帧。为此，本发明实施例引入基于时间等级层的分级B帧的速率控制策略，以将同一个时间等级B帧作为一个整体进行控制，实现相应的时间等级层速率控制操作，提高编码性能。

相应的可以为包含分级B帧的图像组的所有B帧中具有相同时间等级的B帧确定对应的同时间等级B帧的目标比特数(即对该同时间等级B帧进行编码过程中可以使用的编码比特数)；并根据相应的同时间等级B帧的目标比特数对该同时间等级B帧包含的至少一个B帧进行相应的帧层速率控制。

确定同时间等级B帧的目标比特数的过程可以为在根据信道带宽和缓冲区的状态计算当前图像组的目标比特数后，根据前一个图像组中各个不同时间等级的B帧的编码复杂程度及当前图像组的目标比特数计算当前图像组中的各个不同时间等级的B帧的目标比特数。

进一步地，由于不同时间等级B帧的编码率失真性能要求也各不相同，在同编码质量的要求下，低时间等级B帧与其前向、后向参考帧之间的时间间隔要大于高时间等级B帧，因而低时间等级B帧编码过程中需要更多的编码比特数；即传输低时间等级B帧的编码比特可能需要大于一个帧间隔的时长，而传输高时间等级B帧的编码比特可能需要少于一个帧间隔的时长；因而，可以在计算帧层目标比特数的过程中引入目标比特数加权因子，以便于在计算该B帧的目标比特数的过程中可以根据已编码GOP中各时间等级的实际编码情况，充分考虑各时间等级B帧编码比特数之间的差异计算各时间等级B帧的目标比特数，从而进一步提高相应的速率控制的性能。

在引入目标比特数加权因子后，相应的计算B帧的目标比特数的方式进一步可以包括以下过程：

(1)根据当前B帧所在时间等级的可用目标比特数、前一个图像组中各时间等级B帧的编码比特数及序列中各时间等级B帧的已编码比特数计算目标比特数加权因子；并根据该目标比特数加权因子、信道带宽及虚拟缓冲区的状态计算第一帧层目标比特数；以及，根据当前B帧所在时间等级的可用目标比特数计算第二帧层目标比特数；

(2)再将所述第一帧层目标比特数和所述第二帧层目标比特数的加权和作为该B帧的目标比特数。

本发明实施例中，进行帧层速率控制的过程具体可以包括：根据当前B帧在编码过程中的编码比特数，以及当前B帧所在时间等级中的可用目标比特数与缓冲区的状态(缓冲区的充满程度或缓冲区中的可用空间等)计算该B帧的目标比特数，其中，所述当前B帧所在时间等级中的可用目标比特数为根据该时间等级的B帧的目标比特数及相应图像组中已经编码的B帧使用的比特数确定；并根据该B帧的目标比特数计算B帧的量化索引参数，并根据该量化索引参数实现对该B帧的速率控制。

本发明实施例中，还可以引入相应的自适应量化索引参数调整策略，以便于能够根据B帧所在的时间等级、时间等级层目标比特数的使用情况及GOP层目标比特数的使用情况，限制量化索引参数的波动范围，进一步调整当前B帧对可用比特的使用，进而改善速率控制的准确性。

具体地，调整量化索引参数的方式包括：若确定所述量化索引参数大于预定的上限值，则将量化索引参数设置为该预定的上限值，若确定所述量化索引参数小于预定的下限值，则将量化索引参数设置为该预定的下限值，若确定所述量化索引参数不大于预定的上限值且不小于预定的下限值，则保持量化索引参数不变。

上述限制帧层QP的波动范围的自适应QP调整策略通过对帧层QP的进一步调整，使实际编码比特数更加接近于目标比特数，同时保证对整体编码质量影响较大的关键帧以及低时间等级B帧的编码质量。

在上述量化索引参数调整过程中，涉及的预定的上限值及预定的下限值可以为基于B帧的关键帧的量化索引参数或前一时间等级中的B帧的量化索引参数确定，或者，也可以为通过其他方式确定。

在采用上述实施例进行B帧的速率控制过程中，在完成当前时间等级包含的所有B帧的编码操作后，还可以将当前时间等级剩余的可用目标比特数分配给其他未编码的时间等级，以便于准确地对其他时间等级的B帧进行有效的速率控制处理。

本发明实施例可以应用于各种使用分级B帧预测结构的视频编码器中。下面将基于主流视频编码标准H.264/AVC的参考测试模型JM10.2，对本发明实施例的具体实现过程进行描述。

在本发明实施例提供的速率控制方案中，首先，需要根据目标比特速率、虚拟缓冲区充满程度和前帧的编码信息确定GOP的目标比特速率和起始QP；然后，再根据前一个GOP中各时间等级的编码复杂度，计算当前GOP中各时间等级的目标比特数；最后，便可以根据GOP层目标比特数、时间等级层目标比特数、目标比特速率、虚拟缓冲区的状态、先前编码帧的统计信息等因素计算当前B帧的帧层目标比特数，使用各时间等级的二次模型计算B帧的帧层QP，并在编码后更新速率控制过程中所使用的统计参数和二次模型、MAD(最小平均差)线性预测模型的参数。

本发明实施例提供的分级B帧帧层速率控制的实现流程如图2所示，具体可以包括以下处理过程：

(一)GOP层速率控制的处理过程

相应的GOP层速率控制的目的是根据目标比特速率和虚拟缓冲区的充满程度，为当前GOP计算目标比特数，并结合已有的编码信息确定当前GOP的起始QP，即关键帧的QP。

步骤1，根据信道带宽和虚拟缓冲区的状态计算GOP的目标比特数(即在编码该GOP层可以使用的编码比特数)，具体的计算方式如下：

$T_{\mathrm{GOP}}(i,0)=\frac{C}{F}\·N_{\mathrm{GOP}}+({\mathrm{TBF}}_{\mathrm{GOP}}-B(i,0))---\left(1\right)$

其中，T_GOP(i，0)表示编码第i个GOP的第一帧(即关键帧)之前GOP的剩余可用目标比特数，即为第i个GOP的目标比特数；C表示所设定的目标比特速率；F表示编码帧率；N_GOP表示GOP的长度，即GOP中所包含的帧数；TBF_GOP表示GOP层虚拟缓冲区的目标缓冲区充满程度；B(i，0)表示编码第i个GOP的第0帧之前虚拟缓冲区的充满程度，即第(i-1)个GOP中第(N_GOP-1)帧编码结束后虚拟缓冲区的充满程度。

步骤2，根据前一个GOP中除最高时间等级B帧外其他帧的QP计算当前GOP中关键帧的QP；

进一步地，将序列首帧作为一个特殊的GOP，其GOP序号为0，称为第0个GOP；第0个GOP和第1个GOP中的关键帧使用配置文件中设定的速率控制起始QP，记为QP₀，QP₀可以是预先设定的值，也可以根据目标比特速率和视频内容确定。对于其它的GOP，则使用前一个GOP中除最高时间等级B帧之外所有帧(包括关键帧)的QP的平均值作为当前GOP的起始QP；其中，去除最高时间等级B帧的原因为最高时间等级B帧中大量使用到skip(跳过模式)模式；对于某个QP，若MB(宏块)选择skip作为其最佳编码模式，则该MB的实际编码比特数与编码失真将不再由QP的值确定。而且，在引入了时间等级层速率控制的概念后，最高时间等级的目标比特数会被其它低时间等级所使用，最高时间等级上的B帧的QP值通常较大。

具体地，在计算GOP的起始QP的过程中，不使用最高时间等级B帧的QP，相应的计算公式如下：

$\mathrm{QP}(i,0)=\frac{1}{N_{\mathrm{GOP}}-N_{\mathrm{TL}}\left({\mathrm{TL}}_{\mathrm{MAX}}\right)}\·\underset{j=0}{\overset{N_{\mathrm{GOP}}-N_{\mathrm{TL}}\left({\mathrm{TL}}_{\max }\right)-1}{\mathrm{\Σ}}}\mathrm{QP}(i-1,j),i\≥2---\left(2\right)$

其中，QP(i，0)表示第i个GOP中第0帧的QP，即关键帧的QP；N_TL(k)表示GOP中(第0个GOP除外)第k个时间等级上所包含的B帧数；TL_MAX表示GOP中B帧的时间等级总数。

在GOP中，将关键帧所在的时间等级记为时间等级0；按照编码顺序，第一个B帧所在的时间等级记为时间等级1，然后依次类推。时间等级序号为k的时间等级上包含的B帧数可用下式计算：

N_TL(k)＝2^k-1，k＝1，2，...，TL_MAX                  (3)

通过上述步骤1、2便可以计算获得相应的GOP层的目标比特数，以及当前GOP中关键帧的QP。

(二)时间等级层速率控制

由于不同时间等级上的B帧的率失真性能不同，因而需要采用相应的时间等级层速率控制，以将GOP中同时间等级上的B帧作为一个整体进行目标比特分配；即通过时间等级层速率控制可以为GOP中各时间等级确定相应的目标比特速率，以实现相应的分时间等级的目标比特速率控制。

步骤3，将GOP中同时间等级上的B帧作为一个整体，根据前一个GOP中的各时间等级的编码复杂度，以及步骤1计算确定的GOP层的目标比特数，计算当前GOP中各时间等级的目标比特数(即时间等级层的目标比特数，或者称为在对时间等级层进行编码过程中可以使用的编码比特数)；

在GOP中的关键帧编码结束后，首先，通过下式计算确定GOP层的剩余可用目标比特数为：

T_GOP(i，1)＝T_GOP(i，0)-Bits(i，0)               (4)

其中，Bits(i，j)表示第i个GOP中第j帧的实际编码比特数；

之后，再根据前一个GOP中各时间等级的编码复杂度，计算当前GOP中各时间等级的目标比特数为：

$T_{\mathrm{TL}}(i,k,0)=\frac{X_{\mathrm{TL}}(i-1,k)}{\underset{m=1}{\overset{{\mathrm{TL}}_{\mathrm{MAX}}}{\mathrm{\Σ}}}{X}_{\mathrm{TL}}(i-1,m)}\·T_{\mathrm{GOP}}(i,1)---\left(5\right)$

其中，T_TL(i，k，0)表示编码第i个GOP中序号为k的时间等级上的第0帧时，该时间等级层的剩余可用目标比特数；X_TL(i，k)表示第i个GOP中序号为k的时间等级的编码复杂度，其值使用下式计算：

$X_{\mathrm{TL}}(i,k)=\underset{l=0}{\overset{N_{\mathrm{TL}}\left(k\right)-1}{\mathrm{\Σ}}}{X}_{\mathrm{Frame}}(i,k,l)=\underset{l=0}{\overset{N_{\mathrm{TL}}\left(k\right)-1}{\mathrm{\Σ}}}(Q_{\mathrm{step}}(i,k,l)\·\mathrm{Bits}(i,k,l))---\left(6\right)$

其中，X_Frame(i，k，l)表示第i个GOP中序号为k的时间等级中的第I帧的编码复杂度，其值等于该帧所使用的量化步长Q_step(i，k，l)与该帧的实际编码比特数Bits(i，k，l)的乘积。而且，第i个GOP中的第j帧(使用f_n(i，j)表示)，同时也是第i个GOP中序号为k的时间等级中的第I帧(使用f_n(i，k，l)表示)。

对于第一个GOP，其前一个GOP(即第0个GOP)中仅包含一个帧，故不能获得各时间等级的编码复杂度信息。因此，使用各时间等级编码复杂度的初始值X′(1，k)代替式(5)中的X_TL(1，k)计算各时间等级层目标比特数。

通过上述步骤3的处理便可以计算获得相应的当前GOP中各时间等级的目标比特数。

(三)帧层速率控制

本发明实施例中的帧层速率控制可以包括编码前处理和编码后处理两个阶段进行，相应的编码前处理的任务是计算帧层目标比特数，并使用二次模型计算帧层QP；编码后处理的任务是根据当前帧的实际编码数据，更新速率控制过程中统计量以及二次模型、MAD线性预测模型的模型参数。

下面将分别对帧层速率控制过程中的两阶段的处理进行描述。

1、编码前处理过程

假设当前编码帧是第i个GOP中的第j帧，同时也可以标记为第i个GOP中序号为k的时间等级上的第I帧。

首先，根据当前时间等级层的可分配比特数，目标比特速率、编码帧率和虚拟缓冲区的充满程度，计算序号为k的时间等级的帧层目标比特数(即第一帧层目标比特数T_Frame1)为：

${\tilde{T}}_{\mathrm{Frame}}(i,j)=\mathrm{\μ}(i,k)\·\frac{C}{F}+\mathrm{\γ}\·(\mathrm{TBF}(i,j)-B(i,j))---\left(7\right)$

其中，μ(i，k)是第i个GOP中序号为k的时间等级的目标比特数加权因子；TBF(i，j)表示当前帧的目标缓冲区充满程度；γ为加权因子。

μ(i，k)的含义为传输该时间等级上B帧的实际编码比特数所需的平均帧间隔个数，相应的帧间隔是指按照播放顺序相邻两帧之间的间隔时长；

参照图2所示，在步骤4中，相应的μ(i，k)可根据当前帧中各时间等级的目标比特数、前一个GOP中各时间等级的实际编码比特数以及序列中已编码的各时间等级的实际编码比特数计算确定；具体可以为根据当前B帧所在时间等级对应的目标比特数及图像组中已经编码B帧使用的编码比特数确定当前B帧所在时间等级的剩余可用目标比特数，进而根据该当前B帧所在时间等级的剩余可用目标比特数，以及前一个GOP中各时间等级的B帧的实际编码比特数计算确定相应的μ(i，k)；

该μ(i，k)参数可以反映各时间等级上B帧率失真性能的差异，使得通过式(7)引入μ(i，k)参数后，可以在帧层目标比特数的计算过程中反映出各时间等级B帧编码率失真性能的差异。导致各时间等级B帧编码率失真性能的差异的原因为各时间等级上B帧的编码比特数差异很大，即在同编码质量的情况下，低时间等级B帧的编码比特数要多于高时间等级B帧的编码比特数，使得传输低时间等级B帧的编码比特所需的时长可能大于一个帧间隔的时长，而传输高时间等级B帧的编码比特所需的时长可能小于一个帧间隔的时长。

进一步地，μ(i，k)的计算方方式可以包括：

对于第一个GOP，根据关键帧编码后GOP的剩余目标比特数计算各时间等级的目标比特数加权因子，如下式所示：

$\mathrm{\μ}(1,k)=\frac{X^{\′}(1,k)}{\underset{m=1}{\overset{{\mathrm{TL}}_{\mathrm{MAX}}}{\mathrm{\Σ}}}{X}^{\′}(1,m)}\·\frac{T_{\mathrm{GOP}}\left(\mathrm{1,0}\right)-\mathrm{Bits}\left(\mathrm{1,0}\right)}{N_{\mathrm{TL}}\left(k\right)}\·{\left(\frac{C}{F}\right)}^{-1}---\left(8\right)$

其中，X′(1，k)表示为第一个GOP中各时间等级所设定的编码复杂度的初始值。

对于其他的GOP，计算时间等级的目标比特数加权因子的过程包括：

(1)根据关键帧编码结束后当前GOP的剩余目标比特数(即可用的目标比特数)计算

也就是将GOP的剩余可用目标比特数作为GOP中未编码B帧的总的编码比特数的一个估计值，相应的计算式如下：

$\widetilde{\mathrm{\μ}}(i,k)=\frac{X(i-1,k)}{\underset{m=1}{\overset{{\mathrm{TL}}_{\mathrm{MAX}}}{\mathrm{\Σ}}}X(1-1,m)}\·\frac{T_{\mathrm{GOP}}(i,0)-\mathrm{Bits}(i,0)}{N_{\mathrm{TL}}\left(k\right)}\·{\left(\frac{C}{F}\right)}^{-1}---\left(9\right)$

(2)根据前一个GOP中各时间等级的实际编码比特数计算

也就是根据前后GOP之间的时间相关性，使用前帧的实际编码比特数来预测当前GOP中各时间等级的B帧实际编码比特数的平均值来预测当前GOP中同时间等级B帧的编码比特数，相应的计算式如下：

$\widehat{\mathrm{\μ}}(i,k)=\frac{\underset{m=0}{\overset{N_{\mathrm{TL}}\left(k\right)-1}{\mathrm{\Σ}}}\mathrm{Bits}(i-1,k,m)}{N_{\mathrm{TL}}\left(k\right)}\·{\left(\frac{C}{F}\right)}^{-1}---\left(10\right)$

其中，Bits(i，k，l)表示第i个GOP中序号为k的时间等级上的第I帧的实际编码比特数。

(3)根据序列中各时间等级的实际编码比特数计算μ(i，k)，即从整个序列来看，将各时间等级B帧的平均编码比特数作为当前GOP中同时间等级B帧的编码比特数的估计值，相应的计算式如下：

$\stackrel{\‾}{\mathrm{\μ}}(i,k)=\frac{\stackrel{\‾}{\mathrm{\μ}}(i-1,k)\·(i-2)+\widehat{\mathrm{\μ}}(i,k)}{i-1}\·{\left(\frac{C}{F}\right)}^{-1}---\left(11\right)$

(4)计算时间等级加权因子的估计值μ_Estimate(i，k)，即计算步骤(2)和步骤(3)的估计值的加权和，相应的计算式如下：

${\mathrm{\μ}}_{\mathrm{Estiamte}}(i,k)=a\·\stackrel{\‾}{\mathrm{\μ}}(i,k)+(1-a)\·\widehat{\mathrm{\μ}}(i,k)---\left(12\right)$

其中，a是一个加权因子，其经验值可以但不限为0.35。

(5)计算时间等级的目标比特数加权因子μ(i，k)；

具体是计算上述各步骤所确定的对当前GOP中的B帧的编码比特数的预测值的加权和，使得计算得到的B帧编码比特数的预测值综合考虑了各种可供参考的已有编码信息，相应的计算式如下：

$\mathrm{\μ}(i,k)=b\·\widetilde{\mathrm{\μ}}(i,k)+(1-b)\·{\mathrm{\μ}}_{\mathrm{Estimate}}(i,k)---\left(13\right)$

其中，b是一个加权因子，其经验值可以但不限为0.25。

在(7)式中，还需要计算确定相应的虚拟缓冲区的目标缓冲区充满程度TBF(i，j)，具体可以采用下式计算确定：

$\mathrm{TBF}(i,j)=\mathrm{TBL}(i,j-1)-\frac{B(i,1)-{\mathrm{TBF}}_{\mathrm{GOP}}}{N_{\mathrm{GOP}}-1}---\left(14\right)$

通过式(13)和(14)计算获得的时间等级诉目标比特数加权因子μ(i，k)和虚拟缓冲区的目标缓冲区充满程度TBF(i，j)，便可以计算获得相应的当前时间等级的帧层目标比特数。

步骤5，根据计算获得的目标比特数加权因子、信道带宽和虚拟缓冲区的状态(即虚拟缓冲区的目标缓冲区充满程度TBF(i，j))，通过式(7)计算确定相应的帧层目标比特数，即第一帧层目标比特数T_Frame1；

步骤6，根据当前B帧所在时间等级的剩余可用目标比特数确定的帧层目标比特数(即第二帧层目标比特数T_Frame2)，具体可以为：

${\hat{T}}_{\mathrm{Frame}}(i,j)={\hat{T}}_{\mathrm{Frame}}(i,k,l)=\frac{T_{\mathrm{TL}}(i,k,l)}{{\tilde{N}}_{\mathrm{TL}}(i,k,l)}---\left(15\right)$

其中，

和

表示同一帧的帧层目标比特数；T_TL(i，k，l)表示编码当前帧之前，时间等级层的剩余可用目标比特数；表示编码当前帧之前，该时间等级剩余待编码帧数。

需要说明的是，上述步骤4、5描述的处理过程与步骤6描述的处理过程的的执行顺序无先后限制，即可以以任意时序执行。

步骤7，根据之前计算获得的

和

进一步计算当前待编码B帧的帧层目标比特数T_Frame(i，j)；

具体地，该实际的帧层目标比特数T_Frame(i，j)为

和

的加权和，即如下式所示：

$T_{\mathrm{Frame}}(i,j)=\mathrm{\β}\·{\hat{T}}_{\mathrm{Frame}}(i,j)+(1-\mathrm{\β})\·{\tilde{T}}_{\mathrm{Frame}}(i,j)---\left(16\right)$

其中，β是一个加权因子。

其次，在计算得到了帧层目标比特速率之后，如图2所示，需要执行相应的步骤8，以便根据当前B帧所在时间等级的二次模型：

$\frac{R_i-H_i}{{\mathrm{MAD}}_i}=\frac{a_1}{Q_{\mathrm{step}}}+\frac{a_2}{Q_{\mathrm{step}}^2}---\left(17\right)$

计算B帧的帧层QP，具体可以根据式(17)中的α₁、α₂计算确定QP，在计算该B帧的帧层QP的过程中需要获知运动预测后当前帧的预测差的MAD值以及头信息编码比特数H_i，其中R_i为预测比特数。其中，当前帧的MAD值可使用现有技术中的MAD线性预测模型，并根据当前时间等级层的前一个B帧(按照编码顺序)的实际MAD值计算确定；对于相应的头信息编码比特数则可以使用同时间等级前一个B帧的实际头信息开销作为当前B帧头信息开销的预测值，若当前B帧是GOP中其所在时间等级上的第一个B帧，则使用前一个GOP中同时间等级B帧头信息开销的平均值作为当前B帧头信息开销的预测值。

在该步骤8中，由于不同时间等级B帧的编码性能不同，因此对于不同时间等级使用参数不同的二次模型进行B帧的帧层QP的计算；即根据计算得到的目标比特数T_Frame(i，j)、MAD和头信息开销，使用该时间等级对应的二次模型计算当前B帧的帧层QP。

本发明实施例中，在计算得到帧层QP之后，还可以执行图2中的步骤9，根据GOP及当前时间等级的目标比特数的使用情况，以及当前B帧所在的时间等级对计算确定的QP的取值范围进行限制调整，以保证相邻帧之间编码质量的平滑性，并且使得编码比特数接近于目标比特数。具体地，可以通过下式对相应的QP的取值范围进行：

$\mathrm{clipQP}(\mathrm{QP},\mathrm{refQP},\mathrm{upper},\mathrm{lower})$

$=\left\{\begin{array}{cc}\mathrm{refQP}+\mathrm{upper},& \mathrm{QP}>\mathrm{refQP}+\mathrm{upper}\\ \mathrm{QP},& \mathrm{refQP}-\mathrm{lower}\&le;\mathrm{QP}\&le;\mathrm{refQP}+\mathrm{upper}\\ \mathrm{refQP}-\mathrm{lower},& \mathrm{QP}<\mathrm{refQP}-\mathrm{lower}\end{array}\right.---\left(18\right)$

其中，refQP为clipping过程中所使用的参考QP，根据当前比特预算的使用情况以及B帧所在的时间等级，refQP的取值可能是关键帧的QP、同GOP的前一个时间等级中第一个B的QP与最后一个B帧的QP中的最大值、或者同GOP的前一个时间等级中第一个B的QP与最后一个B帧的QP的加权和；upper为容许波动范围的上限值，lower为容许波动范围的下限值，相应的upper和lower的取值可以不同；该三个参数的取值可以根据B帧所在的时间等级、时间等级层目标比特数的使用情况和GOP层目标比特数的使用情况自适应地确定。

在处理过程中，如果计算得到的当前帧的目标比特数小于0，则说明当前时间等级层的目标比特数或当前GOP的目标比特数已经耗尽，此时根据refQP设定当前B帧的QP。相应的refQP的计算方式与clipping过程类似，即在考虑当前B帧所在的时间等级、时间等级层目标比特数的使用情况和GOP层目标比特数的使用情况的前提下限制QP的波动范围，例如，可以将帧层QP限制在范围[1，51]内。

2、编码后处理阶段

在编码后处理阶段中，参照图2中的步骤10所示，对当前帧进行编码，并根据当前帧的实际编码数据，更新速率控制过程中所使用的统计量(邪气缓冲区的充满程序)以及二次模型、MAD线性预测模型的模型参数，其中：

更新虚拟缓冲区的充满程度的方式如下式所示：

$B(i,j+1)=B(i,j)+\mathrm{Bits}(i,j)-\frac{C}{F}---\left(19\right)$

相应的在二次模型更新过程中，滑动窗口中所包含的是与当前编码B帧同时间等级的已编码B帧的实际编码数据点(即可以通过相邻帧的MAD和比特数来预测当前帧的MAD和比特数)，并且在不同时间等级的二次模型的更新过程中，使用各时间等级各自的滑动窗口进行编码数据点的选择。

相应的MAD线性预测模型更新过程中，所使用滑动窗口中包含不同时间等级B帧的实际编码数据点。

参照图2中的步骤11、12，在对当前B帧的编码操作结束后，还使用下式更新时间等级层的目标比特数和GOP层的目标比特数，分别可以为：

T_TL(i，k，l+1)＝T_TL(i，k，l)-Bits(i，k，l)          (20)

T_GOP(i，j+1)＝T_GOP(i，j)-Bits(i，j)                 (21)

若当前时间等级B帧已经全部完成编码，则重新计算GOP的剩余目标比特数，并使用与计算时间等级层目标比特数相同的方法，将当前时间等级层的剩余可用目标比特数在各时间等级之间重新进行分配。

步骤13，在完成步骤11、12的更新操作后，判断当前GOP中所有帧是否已经完成编码，若是，则继续执行步骤14，否则，重新执行步骤4，继续对当前GOP中的其他帧进行编码；

步骤14，判断序列中的所有GOP是否均已经完成编码操作，若是，则编码过程结束，否则，重新执行步骤1，继续对其他GOP中的各帧进行编码。

可见，通过上述处理过程，是在充分考虑分级B帧的编码特性(即在速率控制框架中添加时间等级层速率控制策略)的情况下，将GOP中同时间等级的B帧作为一个整体进行控制。而且，在确定帧层目标比特数时，还考虑不同时间等级B帧编码性能的差异，并且在QP的设定及波动范围的限定上考虑了B帧所在的时间等级以及时间等级层、GOP层可用目标比特数的状态等参考信息，从而进一步提高针对分级B帧的速率控制的性能。

本发明实施例还提供了一种分级B帧的帧层速率控制装置，其具体实现结构如图3所示，具体可以包括以下处理单元：

(1)目标比特数确定单元，用于为包含分级B帧的图像组的所有B帧中具有相同时间等级的B帧确定对应的同时间等级B帧的目标比特数；

进一步地，该目标比特数确定单元具体可以包括：

图像组目标比特数确定单元，用于根据信道带宽和缓冲区的状态计算当前图像组的目标比特数；

同时间等级目标比特数确定单元，用于根据前一个图像组中各个不同时间等级的B帧的编码复杂程度，以及所述图像组目标比特数确定单元计算获得的当前图像组的目标比特数，计算当前图像组中的各个不同时间等级的B帧的目标比特数；

相应的同时间等级B帧的目标比特数的具体计算方式前面已经有详细举例描述，故在此不再重复描述。

(2)速率控制单元，用于根据所述目标比特数确定单元确定的同时间等级B帧的目标比特数对该同时间等级B帧包含的至少一个B帧进行帧层速率控制，以实现相应的分级B帧的层层速率控制；

进一步地，该速率控制单元具体可以包括以下两单元：

B帧目标比特数确定单元，用于根据当前B帧在编码过程中的编码比特速率，以及当前B帧所在时间等级中的可用目标比特数与缓冲区的状态计算该B帧的目标比特数，所述当前B帧所在时间等级中的可用目标比特数为根据该时间等级的B帧的目标比特数及图像组中已经编码的B帧使用的比特数确定；

速率控制操作单元，用于根据所述B帧目标比特数确定单元确定的该B帧的目标比特数计算B帧的量化索引参数，并根据该量化索引参数实现对该B帧的速率控制。

可选地，上述速率控制单元中的B帧目标比特数确定单元具体可以包括第一帧层目标比特数确定单元、第二帧层目标比特数确定单元及B帧目标比特数计算单元，其中：

所述第一帧层目标比特数确定单元，用于根据当前B帧所在时间等级的可用目标比特数、前一个图像组中各时间等级B帧的编码比特数及序列中各时间等级B帧的已编码比特数计算目标比特数加权因子；并根据该目标比特数加权因子、信道带宽及虚拟缓冲区的状态计算第一帧层目标比特数；

所述第二帧层目标比特数确定单元，用于根据当前B帧所在时间等级的可用目标比特数计算第二帧层目标比特数；

所述B帧目标比特数计算单元，用于将所述第一帧层目标比特数确定单元确定的第一帧层目标比特数和所述第二帧层目标比特数确定单元确定的第二帧层目标比特数的加权和作为该B帧的目标比特数。

在该装置中，还可以包括量化索引参数调整单元，用于在确定所述速率控制操作单元获得的量化索引参数大于预定的上限值时，将量化索引参数设置为该预定的上限值，在确定所述量化索引参数小于预定的下限值时，将量化索引参数设置为该预定的下限值，在确定所述量化索引参数不大于预定的上限值且不小于预定的下限值时，保持量化索引参数不变。

进一步地，在该装置中还可以包括目标比特数更新单元，用于在完成当前时间等级包含的所有B帧的编码操作后，将当前时间等级B帧编码后剩余的可用目标比特数分配给其他未编码的时间等级。

综上所述，本发明实施例中，考虑了不同时间等级B帧编码性能的差异，并将各个相同时间等级上的B帧作为一个整体进行目标比特分配，以有效地反映不同时间等级B帧的不同编码特性以及关键帧和各时间等级B帧对整体编码性能的影响。

进一步地，本发明实施例中还可以在帧层目标比特数的计算过程中引入目标比特数加权因子μ(i，k)，以便于在帧层目标比特分配过程中能够考虑到不同时间等级B帧的实际编码比特数所需要的时长各不相同的情况。

本发明实施例还综合考虑B帧所在的时间等级以及时间等级层、GOP层目标比特数的使用情况，限制QP的波动范围，即通过限制帧层QP的波动范围的自适应QP调整策略对计算获得的帧层QP的进一步调整，使实际编码比特数更加接近于目标比特数，同时保证对整体编码质量影响较大的关键帧以及低时间等级B帧的编码质量。

总之，本发明实施例提供的速率控制方案可以准确地适配目标比特速率，并保证了编码器的编码质量，提高编码性能。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (13)

1、一种分级B帧的帧层速率控制方法，其特征在于，包括：

为包含分级B帧的图像组的所有B帧中具有相同时间等级的B帧确定对应的同时间等级B帧的目标比特数；

根据所述同时间等级B帧的目标比特数对该同时间等级B帧包含的至少一个B帧进行帧层速率控制。

2、根据权利要求1所述的方法，其特征在于，确定同时间等级B帧的目标比特数的过程包括：

根据信道带宽和缓冲区的状态计算当前图像组的目标比特数；

根据前一个图像组中各个不同时间等级的B帧的编码复杂程度，以及计算获得的当前图像组的目标比特数，计算当前图像组中的各个不同时间等级的B帧的目标比特数。

3、根据权利要求1或2所述的方法，其特征在于，所述进行帧层速率控制的过程包括：

根据当前B帧在编码过程中的编码比特速率，以及当前B帧所在时间等级中的可用目标比特数与缓冲区的状态计算该B帧的目标比特数，所述当前B帧所在时间等级中的可用目标比特数为根据该时间等级的B帧的目标比特数及图像组中已经编码的B帧使用的比特数确定；

根据该B帧的目标比特数计算B帧的量化索引参数，并根据该量化索引参数实现对该B帧的速率控制。

4、根据权利要求3所述的方法，其特征在于，所述计算该B帧的目标比特数的过程包括：

根据当前B帧所在时间等级的可用目标比特数、前一个图像组中各时间等级B帧的编码比特数及序列中各时间等级B帧的已编码比特数计算目标比特数加权因子；并根据该目标比特数加权因子、信道带宽及虚拟缓冲区的状态计算第一帧层目标比特数；

根据当前B帧所在时间等级的可用目标比特数计算第二帧层目标比特数；

将所述第一帧层目标比特数和所述第二帧层目标比特数的加权和作为该B帧的目标比特数。

5、根据权利要求3所述的方法，其特征在于，该方法还包括：

若确定所述量化索引参数大于预定的上限值，则将量化索引参数设置为该预定的上限值，若确定所述量化索引参数小于预定的下限值，则将量化索引参数设置为该预定的下限值，若确定所述量化索引参数不大于预定的上限值且不小于预定的下限值，则保持量化索引参数不变。

6、根据权利要求5所述的方法，其特征在于，所述的预定的上限值及预定的下限值为基于B帧的关键帧的量化索引参数或前一时间等级中的B帧的量化索引参数确定。

7、根据权利要求3所述的方法，其特征在于，该方法还包括：

在完成当前时间等级包含的所有B帧的编码操作后，将当前时间等级剩余的可用目标比特数分配给其他未编码的时间等级。

8、一种分级B帧的帧层速率控制装置，其特征在于，包括：

目标比特数确定单元，用于为包含分级B帧的图像组的所有B帧中具有相同时间等级的B帧确定对应的同时间等级B帧的目标比特数；

速率控制单元，用于根据所述目标比特数确定单元确定的同时间等级B帧的目标比特数对该同时间等级B帧包含的至少一个B帧进行帧层速率控制。

9、根据权利要求8所述的装置，其特征在于，所述的目标比特数确定单元包括：

图像组目标比特数确定单元，用于根据信道带宽和缓冲区的状态计算当前图像组的目标比特数；

同时间等级目标比特数确定单元，用于根据前一个图像组中各个不同时间等级的B帧的编码复杂程度，以及所述图像组目标比特数确定单元计算获得的当前图像组的目标比特数，计算当前图像组中的各个不同时间等级的B帧的目标比特数。

10、根据权利要求8或9所述的装置，其特征在于，所述的速率控制单元包括：

B帧目标比特数确定单元，用于根据当前B帧在编码过程中的编码比特速率，以及当前B帧所在时间等级中的可用目标比特数与缓冲区的状态计算该B帧的目标比特数，所述当前B帧所在时间等级中的可用目标比特数为根据该时间等级的B帧的目标比特数及图像组中已经编码的B帧使用的比特数确定；

速率控制操作单元，用于根据所述B帧目标比特数确定单元确定的该B帧的目标比特数计算B帧的量化索引参数，并根据该量化索引参数实现对该B帧的速率控制。

11、根据权利要求10所述的装置，其特征在于，所述的B帧目标比特数确定单元包括：

第一帧层目标比特数确定单元，用于根据当前B帧所在时间等级的可用目标比特数、前一个图像组中各时间等级B帧的编码比特数及序列中各时间等级B帧的已编码比特数计算目标比特数加权因子；并根据该目标比特数加权因子、信道带宽及虚拟缓冲区的状态计算第一帧层目标比特数；

第二帧层目标比特数确定单元，用于根据当前B帧所在时间等级的可用目标比特数计算第二帧层目标比特数；

B帧目标比特数计算单元，用于将所述第一帧层目标比特数确定单元确定的第一帧层目标比特数和所述第二帧层目标比特数确定单元确定的第二帧层目标比特数的加权和作为该B帧的目标比特数。

12、根据权利要求10所述的装置，其特征在于，该装置还包括：

量化索引参数调整单元，用于在确定所述速率控制操作单元获得的量化索引参数大于预定的上限值时，将量化索引参数设置为该预定的上限值，在确定所述量化索引参数小于预定的下限值时，将量化索引参数设置为该预定的下限值，在确定所述量化索引参数不大于预定的上限值且不小于预定的下限值时，保持量化索引参数不变。

13、根据权利要求10所述的装置，其特征在于，该装置还包括：

目标比特数更新单元，用于在完成当前时间等级包含的所有B帧的编码操作后，将当前时间等级B帧编码后剩余的可用目标比特数分配给其他未编码的时间等级。

Images