CN102647586A - 用在视频编码系统中的码率控制方法和装置 - Google Patents

Abstract

公开了一种用在视频编码系统中的码率控制方法和装置。该码率控制方法包括：计算将要编码的当前帧所在画面组中编码模式与当前帧的编码模式相同、且最接近当前帧的已经完成编码的编码帧的复杂度；选择根据编码帧的复杂度得出的第一目标比特数和根据预先确定的目标码率和目标帧率得出的第二目标比特数中较小的一个作为将分配给当前帧的目标比特数；以及根据将分配给当前帧的目标比特数，计算当前帧中各宏块的量化参数。根据本发明能保证一定的画面质量，又能将码率的变化控制在缓存器能够接受的范围内。

Description

用在视频编码系统中的码率控制方法和装置

技术领域

本发明涉及图像处理领域，更具体地涉及一种用在视频编码系统中的码率控制方法和装置。

背景技术

在目前的视频编码技术中，虽然可以通过对原始的视频码流进行压缩编码来得到较高的压缩比，但是压缩编码产生的码流的码率并不是恒定的而是不断变化的。目前的通信信道和网络一般只能传输恒定码率的码流。为了能够在恒定码率的通信信道和网络中传输码率不断变化的码流，通常需要在码率不断变化的码流进入通信信道和网络以前，先将其输入到一个缓冲器中，然后再从缓冲器将码率不断变化的码流以固定码率输出到通信信道和网络中进行传输。

缓冲器的容量越大，其所能够承受的码率波动也越大。问题是太大的缓冲器会造成过大的缓冲延时，而且硬件开销上也不适宜。所以，需要把经过压缩编码的码流的码率波动控制在缓冲器所能承受的范围内。即，在任何时刻都要尽量保证缓冲器中的数据既不“溢出”(上溢)，也不能由于数据供应不足而出现“断档”(下溢)。这就是码率控制所要完成的任务。码率控制机制主要包括目标比特数的预分配和量化参数的决定两个方面。

现有的码率控制方法一般通过调整用于对离散余弦变换(DCT)系数进行量化所用的量化参数(QP)的大小来实现码率控制。量化参数反映了空间细节的压缩情况。当QP较小时，大部分的图像细节都会被保留，还原出的画面质量比较高，同时码率也比较高；当QP增大时，一些图像细节会丢失，还原出的画面质量会下降，同时码率也会随之降低。因此，需要一种既能保证一定的画面质量又能将码率的变化控制在缓存器能够接受的范围内的码率控制方法。

发明内容

鉴于以上所述的问题，本发明提供了一种新颖的用在视频编码系统中的码率控制方法和装置。

根据本发明一个方面的用在视频编码系统中的码率控制方法包括：计算将要编码的当前帧所在画面组中编码模式与当前帧的编码模式相同、且最接近当前帧的已经完成编码的编码帧的复杂度；选择根据编码帧的复杂度得出的第一目标比特数和根据预先确定的目标码率和目标帧率得出的第二目标比特数中较小的一个作为将分配给当前帧的目标比特数；以及根据将分配给当前帧的目标比特数，计算当前帧中各宏块的量化参数。

根据本发明另一方面的用在视频编码系统中的码率控制装置包括：复杂度计算单元，用于计算将要编码的当前帧所在画面组中编码模式与当前帧的编码模式相同、且最接近当前帧的已经完成编码的编码帧的复杂度；目标比特数获取单元，用于选择根据编码帧的复杂度得出的第一目标比特数和根据预先确定的目标码率和目标帧率得出的第二目标比特数中较小的一个作为将分配给当前帧的目标比特数；以及量化参数计算单元，用于根据将分配给当前帧的目标比特数，计算当前帧中各宏块的量化参数。

根据本发明的码率控制方法和装置既能保证一定的画面质量，又能将码率的变化控制在缓存器能够接受的范围内。

附图说明

从下面结合附图对本发明的具体实施方式的描述中可以更好地理解本发明，其中：

图1示出函数

的曲线图；

图2示出根据本发明一个实施例的码率控制装置的框图；以及

图3示出根据本发明一个实施例的码率控制方法的框图。

具体实施方式

下面将详细描述本发明各个方面的特征和示例性实施例。下面的描述涵盖了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域技术人员来说显而易见的是，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更清楚的理解。本发明绝不限于下面所提出的任何具体配置和算法，而是在不脱离本发明的精神的前提下覆盖了相关元素、部件和算法的任何修改、替换和改进。

如上所述，现有的码率控制方法一般通过调整用于对DCT系数进行量化所用的量化参数的大小来实现的码率控制。而量化参数的选取与图像复杂度、实际编码产生的比特数、以及缓冲器的占用情况有关。下面对现有的码率控制方法进行简要描述。

具体地，现有的码率控制方法通常包括以下三个步骤：

1)为需要编码的当前帧分配目标比特数。其中，当前帧可以是将要进行帧内编码的图像帧、将要进行双向预测编码的图像帧、或者将要进行前向预测编码的图像帧。通过对未编码的图像帧进行帧内编码处理可以得到帧内编码帧(I帧)；通过对未编码的图像帧进行双向预测编码处理可以得到双向预测编码帧(B帧)；通过对未编码的图像前帧进行前向预测编码处理可以得到前向预测编码帧(P帧)。具体地，可以通过以下两个分步骤来计算将分配给当前帧的目标比特数：

a.根据以下等式(1)，计算当前帧所在画面组(GOP)中的编码模式与当前帧的编码模式相同、且在时间上最接近当前帧的已经完成编码的编码帧(为了方便，下面简称为编码帧t)的复杂度Xt：

Xt＝St×Qt                                        (1)

其中，St是编码帧t所占用的比特数，Qt是编码帧t的平均QP。具体地，如果将对当前帧进行帧内编码，则编码帧t是当前帧所在GOP中在时间上最接近当前帧的I帧(其复杂度用X_I表示)；如果将对当前帧进行双向预测编码，则编码帧t是当前帧所在GOP中在时间上最接近当前帧的B帧(其复杂度用X_B表示)；如果将对当前帧进行前向预测编码，则编码帧t是当前帧所在GOP中在时间上最接近当前帧的P帧(其复杂度用X_P表示)。

b.根据以下等式(2)至(4)，计算将分配给当前帧的目标比特数。

其中：

在将对当前帧进行帧内编码的情况下，根据等式(2)计算将分配给当前帧的目标比特数T_I：

$T_I=\max \{\frac{R}{1+\frac{N_P\×X_P}{X_I\×K_P}+\frac{N_B\×X_B}{X_I\×K_B}},\frac{{\mathrm{bit}}_{\mathrm{rate}}}{8\×{\mathrm{picture}}_{\mathrm{rate}}}\}---\left(2\right)$

在将对当前帧进行前向预测编码的情况下，根据等式(3)计算将分配给当前帧的目标比特数T_P：

$T_P=\max \{\frac{R}{N_P+\frac{N_B\×K_P\×X_B}{K_B\×X_P}},\frac{{\mathrm{bit}}_{\mathrm{rate}}}{8\×{\mathrm{picture}}_{\mathrm{rate}}}\}---\left(3\right)$

在将对当前帧进行双向预测编码的情况下，根据等式(4)计算将分配给当前帧的目标比特数T_B：

$T_B=\max \{\frac{R}{N_B+\frac{N_P\×K_B\×X_P}{K_p\×X_B}},\frac{{\mathrm{bit}}_{\mathrm{rate}}}{8\×{\mathrm{picture}}_{\mathrm{rate}}}\}---\left(4\right)$

其中，max{}是取最大值函数，K_P和K_B是常数，R是缓存器中能够供当前帧所在GOP使用的剩余比特数，N_P是当前帧所在GOP中将要进行前向预测编码的图像帧的数目，N_B是当前帧所在GOP中将要进行双向预测编码的图像帧的数目，X_I是当前帧所在GOP中在时间上最接近当前帧的I帧的复杂度，X_P是当前帧所在GOP中在时间上最接近当前帧的P帧的复杂度，X_B是当前帧所在GOP中在时间上最接近当前帧的B帧的复杂度，bit_rate是预先设定的目标码率，Picture_rate是预先设定的目标帧率。

一个GOP中的第一个I帧的复杂度X_i、第一个B帧的复杂度X_b、以及第一个P帧的复杂度X_p是预定的：

$X_i=\frac{160\×{\mathrm{bit}}_{\mathrm{rate}}}{115}---\left(5\right)$

$X_p=\frac{60\×{\mathrm{bit}}_{\mathrm{rate}}}{115}---\left(6\right)$

$X_b=\frac{42\×{\mathrm{bit}}_{\mathrm{rate}}}{115}---\left(7\right)$

2)计算当前帧中各宏块(MB)的量化参数。这里，假设当前帧中的存在MB₀～MB_cn-1总共cn个宏块。具体地，可以通过以下两个分步骤来计算当前帧中任意一个宏块(例如，第j个宏块MB_j)的QP：

a.根据以下等式(8)，计算在对第j个宏块进行编码之前缓冲器的满度d_j：

$d_j=d_0+B_{j-1}-\frac{T_t\×(j-1)}{\mathrm{cn}}---\left(8\right)$

其中，d₀是在对当前帧中的第0个宏块MB₀进行编码之前缓冲器的满度(其是预定的)，B_j-1是对当前帧中的第0个宏块MB₀至第j-1个宏块MB_j-1进行编码得出的编码结果所占用的总比特数，T_t是将要分配给当前帧的目标比特数。

b.根据以下等式(9)，计算第j个宏块MB_j的QP(由Q_j表示)：

$Q_j=\frac{d_j\×\mathrm{MAX}\_\mathrm{QP}\_\mathrm{VALUE}}{r}---\left(9\right)$

其中，MAX_QP_VALUE是所适用的视频标准规定的最大量化参数值，r是目标码率与帧率之比的两倍，即为

3)对当前帧中各宏块的QP进行修正。具体地，可以通过以下三个分步骤来修正当前帧中任意一个宏块(例如，第j个宏块MB_j)的QP：

a.根据以下等式(10)至(12)，计算第j个宏块MB_j的活动性：

act_j＝1+min(vblk₁，vblk₂，…，vblk₈)                (10)

${\mathrm{vblk}}_n=\frac{1}{64}\×\left(\underset{k=1}{\overset{64}{\mathrm{\Σ}}}{(P_k^n-P_{{\mathrm{mean}}_n})}^2\right)---\left(11\right)$

${P\_\mathrm{mean}}_n=\frac{1}{64}\×\underset{k=1}{\overset{64}{\mathrm{\Σ}}}{P}_k^n---\left(12\right)$

在对宏块MB_j进行帧编码的情况下可以将宏块MB_j分成4个8×8块进行处理，在对宏块MB_j进行场编码的情况下可以将宏块MB_j分成2个16×8块，进而分成4个8×8块进行处理，所以总共存在对应于宏块MB_j的8个8×8块(记做sub-MB₁至sub-MB₈)。在等式(12)中，计算对应于宏块MB_j的第n个8×8块中像素的像素值之和的平均值。在等式(11)中，计算对应于宏块MB_j的第n个8×8块中的各像素的像素值与等式(12)计算得出的平均值之间的差的平方之和的平均值。然后，利用等式(11)和(12)计算得出的结果，根据等式(10)计算宏块MB_j的活动性。其中，min()是求最小值函数。

b.根据以下等式(13)，对宏块MB_j的活动性进行归一化处理(

表示宏块MB_j的归一化后的活动性)。

$N_{{\mathrm{act}}_j}=\frac{2\×{\mathrm{act}}_j+{\mathrm{avg}}_{\mathrm{act}}}{{\mathrm{act}}_j+2\×{\mathrm{avg}}_{\mathrm{act}}}---\left(13\right)$

其中，avg_act是当前帧所在GOP中的编码模式与当前帧的编码模式相同、且在时间上最接近当前帧的已经完成编码的编码帧(即，上述编码帧t)中所有宏块的平均活动性。

c.根据以下等式(14)，计算宏块MB_j的修正后的量化参数mquant_j。

${\mathrm{mquant}}_j=Q_j\×N_{{\mathrm{act}}_j}---\left(14\right)$

现有的码率控制方法存在以下问题(这些问题主要由步骤3)导致)：计算宏块的活动性的复杂性过高；avg_act要求额外的存储器来存储编码帧t中使用的所有QP；以及等式(13)可以被写为以下等式(15)：

$N_{{\mathrm{act}}_j}=\frac{2\×\frac{{\mathrm{act}}_j}{{\mathrm{avg}}_{\mathrm{act}}}+1}{\frac{{\mathrm{act}}_j}{{\mathrm{avg}}_{\mathrm{act}}}+2}---\left(15\right)$

而以上等式(15)还可以写为等式(16)：

$y=\frac{2x+1}{x+2}---\left(16\right)$

对应于等式(13)所表示函数的曲线图在图1中示出。如图1所示，在大多数情况下从等式(15)所表示的归一化过程得出的结果都大于1，所以在将该结果代入等式(14)后会放大宏块MB_j的QP，从而会使得宏块MB_j的画面质量下降。

本发明试图提出一种既能保证一定的画面质量，又能将码率的变化控制在缓存器能够接受的范围内的码率控制方法和装置。图2示出了根据本发明一个实施例的码率控制装置的框图。图3示出了根据本发明一个实施例的码率控制方法的流程图。

如图2所示，根据本发明一个实施例的码率控制装置包括复杂度计算单元202、目标比特数获取单元204、以及量化参数计算单元206。其中，复杂度计算单元202计算将要编码的当前帧所在画面组中编码模式与当前帧的编码模式相同、且最接近当前帧的已经完成编码的编码帧的复杂度(即，执行步骤S302)。目标比特数获取单元204选择根据编码帧的复杂度得出的第一目标比特数和根据预先确定的目标码率和目标帧率得出的第二目标比特数中较小的一个作为将分配给当前帧的目标比特数(即，执行步骤S304)。量化参数计算单元206根据将分配给当前帧的目标比特数，计算当前帧中各宏块的量化参数(即，执行步骤S306)。下面对根据本发明一个实施例的码率控制装置中的各功能单元进行详细介绍。

复杂度计算单元202可以根据等式(1)利用当前帧所在GOP中编码模式与当前帧的编码模式相同、并且最接近当前帧的编码帧t所占用的比特数、以及编码帧t中所有宏块的量化参数的平均值(也称为编码帧t的平均量化参数)，计算编码帧t的复杂度。

目标比特数获取单元204可以从由其他相关功能单元(未示出)计算得出的第一和第二目标比特数中选择一个较小的作为将分配给当前帧的目标比特数，也可以通过自身计算得出第一和第二目标比特数，并选择它们中较小的一个作为将分配给当前帧的目标比特数。具体地，可以根据等式(2)至(4)，利用以下多项信息中的一项或多项计算得出的第一目标比特数：编码帧t的复杂度、目标码率和目标帧率、当前帧所在画面组中将要进行前向预测编码的图像帧的数目和将要进行双向预测编码的图像帧的数目、缓存器中能够供当前帧所在画面组使用的剩余比特数、当前帧所在画面组中最接近当前帧的帧内编码帧的复杂度、前向预测编码帧的复杂度、以及双向预测编码帧的复杂度。

量化参数计算单元206可以包括满度计算模块2062和参数计算模块2064两部分。其中，满度计算模块2062可以根据等式(8)，利用将分配给当前帧的目标比特数、在对当前帧进行编码之前缓冲器的满度、以及当前帧中已经完成编码的宏块的编码结果所占用的总比特数，计算在对当前帧中任意一个宏块MB_j进行编码之前缓冲器的满度。参数计算模块2064可以根据等式(9)，利用在对宏块MB_j进行编码之前缓冲器的满度、目标码率与目标帧率的比值、以及预先确定的最大量化参数值，计算宏块MB_j的量化参数。

根据本发明一个实施例的码率控制方法和装置不再需要通过以上步骤3)对当前帧中各宏块的QP进行修正，而只需要对以上步骤1)中计算将分配给当前帧的目标比特数T_I、T_P、以及T_B的处理进行以下改进(即，从max()变为了min()，其他保持不变)，并保持以上步骤2)中所示的处理不变：

$T_I=\min \{\frac{R}{1+\frac{N_P\×X_P}{X_I\×K_P}+\frac{N_B\×X_B}{X_I\×K_B}},\frac{{\mathrm{bit}}_{\mathrm{rate}}}{8\×{\mathrm{picture}}_{\mathrm{rate}}}\}---\left(17\right)$

$T_P=\min \{\frac{R}{N_P+\frac{N_B\×K_P\×X_B}{K_B\×X_P}},\frac{{\mathrm{bit}}_{\mathrm{rate}}}{8\×{\mathrm{picture}}_{\mathrm{rate}}}\}---\left(18\right)$

$T_B=\min \{\frac{R}{N_B+\frac{N_P\×K_B\×X_P}{K_p\×X_B}},\frac{{\mathrm{bit}}_{\mathrm{rate}}}{8\×{\mathrm{picture}}_{\mathrm{rate}}}\}---\left(19\right)$

根据本发明实施例的码率控制方法和系统通过在步骤1)中对将分配给当前帧的目标比特数进行限制，可以得到相对较小的量化参数，从而可以在保持一定画面质量的同时，将码率的波动控制在缓冲器能够接受的范围之内。由于对QP进行自适应变化部分的省却意味着QP的取值相对较小，此举意味着可能会得到较大的码率。为了避免缓冲器的溢出，可以在最开始的码率分配时就设定较小的目标码率，从一定程度上对输出码率进行控制。

以上已经参考本发明的具体实施例来描述了本发明，但是本领域技术人员均了解，可以对这些具体实施例进行各种修改、组合和变更，而不会脱离由所附权利要求或其等同物限定的本发明的精神和范围。

根据需要可以用硬件或软件来执行步骤。注意，在不脱离本发明范围的前提下，可向本说明书中给出的流程图添加步骤、从中去除步骤或修改其中的步骤。一般来说，流程图只是用来指示用于实现功能的基本操作的一种可能的序列。

本发明的实施例可利用编程的通用数字计算机、利用专用集成电路、可编程逻辑器件、现场可编程门阵列、光的、化学的、生物的、量子的或纳米工程的系统、组件和机构来实现。一般来说，本发明的功能可由本领域已知的任何手段来实现。可以使用分布式或联网系统、组件和电路。数据的通信或传送可以是有线的、无线的或者通过任何其他手段。

还将意识到，根据特定应用的需要，附图中示出的要素中的一个或多个可以按更分离或更集成的方式来实现，或者甚至在某些情况下被去除或被停用。实现可存储在机器可读介质中的程序或代码以允许计算机执行上述任何方法，也在本发明的精神和范围之内。

此外，附图中的任何信号箭头应当被认为仅是示例性的，而不是限制性的，除非另有具体指示。当术语被预见为使分离或组合的能力不清楚时，组件或者步骤的组合也将被认为是已经记载了。

Claims (8)

1.一种用在视频编码系统中的码率控制方法，包括：

计算将要编码的当前帧所在画面组中编码模式与所述当前帧的编码模式相同、且最接近所述当前帧的已经完成编码的编码帧的复杂度；

选择根据所述编码帧的复杂度得出的第一目标比特数和根据预先确定的目标码率和目标帧率得出的第二目标比特数中较小的一个作为将分配给所述当前帧的目标比特数；以及

根据将分配给所述当前帧的目标比特数，计算所述当前帧中各宏块的量化参数。

2.根据权利要求1所述的码率控制方法，其特征在于，所述第一目标比特数是根据以下多项信息中的一项或多项计算得出的：所述编码帧的复杂度、所述目标码率和所述目标帧率、所述当前帧所在画面组中将要进行前向预测编码的图像帧的数目和将要进行双向预测编码的图像帧的数目、缓存器中能够供所述当前帧所在画面组使用的剩余比特数、所述当前帧所在画面组中最接近所述当前帧的帧内编码帧的复杂度、前向预测编码帧的复杂度、以及双向预测编码帧的复杂度。

3.根据权利要求1或2所述的码率控制方法，其特征在于，计算所述当前帧中任意一个宏块MB_j的量化参数的处理包括：

根据将分配给所述当前帧的目标比特数、在对所述当前帧进行编码之前缓冲器的满度、以及所述当前帧中已经完成编码的宏块的编码结果所占用的总比特数，计算在对所述宏块MB_j进行编码之前所述缓冲器的满度；

根据在对所述宏块MB_j进行编码之前所述缓冲器的满度、所述目标码率与所述目标帧率的比值、以及预先确定的最大量化参数值，计算所述宏块MB_j的量化参数，其中j为不小于0的整数。

4.根据权利要求3所述的码率控制方法，其特征在于，根据所述编码帧所占用的比特数以及所述编码帧的平均量化参数，计算所述编码帧的复杂度。

5.一种用在视频编码系统中的码率控制装置，包括：

复杂度计算单元，用于计算将要编码的当前帧所在画面组中编码模式与所述当前帧的编码模式相同、且最接近所述当前帧的已经完成编码的编码帧的复杂度；

目标比特数获取单元，用于选择根据所述编码帧的复杂度得出的第一目标比特数和根据预先确定的目标码率和目标帧率得出的第二目标比特数中较小的一个作为将分配给所述当前帧的目标比特数；以及

量化参数计算单元，用于根据将分配给所述当前帧的目标比特数，计算所述当前帧中各宏块的量化参数。

6.根据权利要求5所述的码率控制装置，其特征在于，所述第一目标比特数是根据以下多项信息中的一项或多项计算得出的：所述编码帧的复杂度、所述目标码率和所述目标帧率、所述当前帧所在画面组中将要进行前向预测编码的图像帧的数目和将要进行双向预测编码的图像帧的数目、缓存器中能够供所述当前帧所在画面组使用的剩余比特数、所述当前帧所在画面组中最接近所述当前帧的帧内编码帧的复杂度、前向预测编码帧的复杂度、以及双向预测编码帧的复杂度。

7.根据权利要求5或6所述的码率控制装置，其特征在于，所述量化参数计算单元包括：

满度计算模块，用于根据将分配给所述当前帧的目标比特数、在对所述当前帧进行编码之前缓冲器的满度、以及所述当前帧中已经完成编码的宏块的编码结果所占用的总比特数，计算在对所述当前帧中任意一个宏块MB_j进行编码之前所述缓冲器的满度；

参数计算模块，用于根据在对所述宏块MB_j进行编码之前所述缓冲器的满度、所述目标码率与所述目标帧率的比值、以及预先确定的最大量化参数值，计算所述宏块MB_j的量化参数，其中j为不小于0的整数。

8.根据权利要求7所述的码率控制装置，其特征在于，所述复杂度计算单元根据所述编码帧所占用的比特数以及所述编码帧的平均量化参数，计算所述编码帧的复杂度。

Images