CN100425079C - 基于低内存消耗查询表的视频压缩码率控制方法 - Google Patents

Abstract

本发明公开了一种基于低内存消耗查询表的视频压缩码率控制方法。首先执行码率控制方法的预处理过程；然后对每个P帧分配比特数；接下来给P帧中每一宏块分配比特数，其中使用了低内存消耗查询表；在完成当前宏块编码后，需要记录更新值。该方法可用于H.263，MPEG-4和H.264等多种视频压缩标准，并且结合码率控制中不同的帧目标比特数分配方式，可以适用于各种应用场景，如视频会议、视频电话等低时延应用，网络电视、视频监控等对图像质量要求较高的应用。比起传统的基于率失真数学模型构建的码率控制方法，基于低内存消耗查询表的方法有效地提高了视频质量，对码率和跳帧现象的发生也进行了更好的控制。

Description

基于低内存消耗查询表的视频压缩码率控制方法

技术领域

本发明涉及视频传输控制相关的多媒体技术领域，特别是涉及一种基于低内存消耗查询表的视频压缩码率控制方法。

背景技术

在视频的实时通信中，压缩后的视频码流需要在一个复杂且有不同带宽要求的网络上进行传输。为了在任何时候都能最高效地利用网络资源，并且保证相对较高的视频图像质量，就需要对视频流的码率进行控制。如果视频编码后产生的码流码率过高，则会加重网络的传输压力，造成网络阻塞；另一方面，如果码流在产生的过程中码率发生降低，则会降低视频图像的质量，并造成对网络带宽的不充分利用。因此，需要在视频压缩过程中引入码率控制，用来在视频网络传输时控制和调整编码端输出的码流，满足网络带宽的要求，同时保证一定的视频质量。

目前最简单有效的码率控制方法是基于调节量化参数值QP来进行的，这一类的经典方法主要是通过构建出一个率失真数学模型来确定QP值。然而，这些方法存在以下几个问题：

1)率失真模型建立在对离散余弦变换的系数等原始信息概率学假设的基础上，该种假设会导致码率控制的偏差。

2)率失真模型一般都和残差宏块的方差有关。然而，在视频编码过程中，为了降低计算复杂度，被使用的常常是绝对误差和SAD而不是方差。因此，基于方差的率失真模型就必须得修改，这是一种启发式的修改，通常依赖于图像特征，效果不一定会好。

3)在率失真模型中，QP值的确定一般是通过最优化方法，例如拉格朗日乘数法来计算得到的。但是，在H.263、MPEG-4等标准中，相邻块的QP值之差会被限定在[-2，2]之中，以防相邻块之间大的质量波动，这样的限制削弱了最优化方法所带来的优势，因而模型对比特数的估计会带来偏差，视频质量也会随之下降。

4)率失真模型引入了大量复杂的浮点运算，计算复杂度急剧上升，也增大了硬件实现的代价。

如果能针对上述问题发掘一些改进的码率控制方法，将能降低计算复杂度，提高码率估计精确度，并且增强对图像特征变化的适应性。

发明内容

本发明的目的在于提供一种基于低内存消耗查询表的视频压缩码率控制方法。

本发明解决其技术问题所采用的技术方案如下：

一种基于低内存消耗查询表的视频压缩码率控制方法：

应用对象为前向预测帧P帧，本方法首先执行码率控制方法的预处理过程；然后对每个P帧分配比特数；接下来给P帧中每一宏块分配比特数，其中使用了低内存消耗查询表；在完成当前宏块编码后，需要记录更新值。

1)在码率控制方法的预处理过程中，根据宏块的量化参数值QP、绝对误差和、以及编码宏块纹理信息所用的比特数，简称为纹理比特数，来构建一张低内存消耗查询表，并标记为b[QP][SAD_SEG_NO]；

绝对误差和的计算如公式(1)所示：

$\mathrm{SAD}=\underset{i=0}{\overset{15}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}|f(i,j)-g(i,j)|---\left(1\right)$

其中

SAD是绝对误差和，

f是当前帧的像素函数，

g为前一帧的像素函数；

b[QP][SAD_SEG_NO]中的SAD_SEG_NO表示SAD段的序号；根据一个QP值和SAD_SEG_NO值，就可查表求得纹理比特数b；

低内存消耗查询表的具体构建方式如下：

对于每一个特定的QP值，通常从1到31，利用所用的视频编码器来编码大量的视频序列；对于有相同SAD的宏块，计算出宏块的平均纹理比特数；在执行完这些之后，SAD和纹理比特数的关系就建立起来了，根据结果可以发现，SAD和纹理比特数的关系可以通过分段线性函数来模拟；因此，为了减少查询表的存储消耗，采用间隔选取SAD值的方法，间隔值表示为SAD_STEP；查询表二维数组中第二个参数SAD_SEG_NO即表示SAD段的序号

表示取小于该数的最大整数)，b[QP][SAD_SEG_NO]表示SAD等于SAD_SEG_NO×SAD_STEP的宏块的平均纹理比特数；在每个SAD段内，SAD和纹理比特数的关系由一个线性函数来模拟，因此记录下SAD段的两个端点的值就足够了；此外，SAD的取值范围设定为0至4000；

2)在对每个P帧分配比特数过程中，假设所分配到当前P帧的目标比特数为B_{tar_p}，具体分配方法可参照H.263参考模型TMN8或是MPEG-4参考模型VM7所采用的帧目标比特数分配方法来做；

接着将当前P帧做完运动估计之后的残差宏块分成两大类：非零宏块，即SAD大于某个预先设定的阀值，量化后极有可能存在非零系数的宏块；全零宏块，即SAD小于该阀值的，量化后极有可能是系数全零的宏块；后者无需进行编码；

在本发明的描述中，默认情况下，宏块均指代非零宏块；

考虑当前P帧中的第k个宏块，所要分配给第k个宏块的目标纹理比特数b_{tar_k}按公式(2)计算：

$b_{\mathrm{tar}\_k}=B_{\mathrm{tex}\_\mathrm{rem}}\×{\mathrm{SAD}}_k/\underset{i=k}{\overset{N}{\mathrm{\Σ}}}{\mathrm{SAD}}_i---\left(2\right)$

其中

B_{tex_rem}表示当前剩余的用来编码剩余宏块纹理信息的比特数，

SAD_k表示第k个宏块的SAD值，

N表示当前帧中所有非零宏块个数，

B_{tex_rem}通过公式(3)计算：

B_{tex_rem}＝B_rem-B_uncode-B_header-b_h-int ra×N_int ra-b_h-int er×N_int er    (3)

其中

B_rem表示当前剩余的用于编码剩余宏块所有信息的比特数，初始值设为当前P帧的目标比特数B_{tar_p}，

B_uncode表示用于编码全零宏块中非纹理信息的比特数，

B_header表示用于编码帧的头信息的比特数，

b_h-int ra表示用于编码采用帧内编码模式(intra)的宏块头信息的平均比特数，根据当前帧中已编码的intra宏块所花的平均头信息比特数来估计，

b_h-inter表示用于编码采用帧间编码模式(inter)的宏块头信息的平均比特数，根据当前帧中已编码的inter宏块所花的平均头信息比特数来估计，

N_int ra表示当前帧中剩余intra宏块的数量，

N_int er表示当前帧中剩余inter宏块的数量；

3)在给P帧中每一宏块分配比特数过程中，分配好第k个宏块目标纹理比特数b_{tar_k}后，假设第k个宏块通过运动估计所得到的SAD值为SAD_k，可根据低内存消耗查询表来计算出合适的QP值，使得宏块在用该QP值编码后产生的实际纹理比特数最接近b_{tar_k}；详细步骤如下所示：

第一步：确定QP的搜索范围

为了减少相邻帧之间的质量波动，QP的搜索范围需要被限制；假设编码前一个P帧所有宏块的平均QP值为QP_prev，则当前帧宏块QP的搜索范围被限制在[max{QP_prev-2，1}，min{QP_prev+2，31}]；需要注意的是，如果当前帧为视频序列中的第一个P帧，则当前帧的搜索范围仍然为[1，31]；

第二步：确定SAD段

宏块的SAD_k落在SAD段[SAD_m，SAD_n]内，其中SAD_m等于

SAD_n等于SAD_m+SAD_STEP；

第三步：对于每个QP值，估计出纹理比特数

对于搜索范围内的每个QP值，需要估计出纹理比特数b_QP；b_QP通过查表并插值获得；插值计算如公式(4)所示：

b_QP＝(b_n-b_m)×(SAD_k-SAD_m)/SAD_STEP+b_m    (4)

其中

b_m表示b[QP][SAD_m/SAD_STEP]，

b_n表示b[QP][SAD_n/SAD_STEP]；

第四步：选择合适的QP值

在计算出每个QP的b_QP值后，要选择一个合适的QP值；所选择出的QP值所对应的b_QP和宏块目标纹理比特数b_{tar_k}之差最小(min{|b_QP-b_{ar_k}|})；

第五步：调整QP值

上面选择出的QP需要进一步调整；例如，在MPEG-4和H.263中，水平相邻宏块的QP值之差被限制在[-2，2]；

4)在完成当前宏块编码后，需要记录更新值；但对低内存消耗查询表的真正更新是在编完整帧之后做，以便降低计算复杂度，并保证较高准确度的更新；整个过程如下：

首先额外构建两张表，一张是更新表，定义为Δb[QP][SAD_SEG_NO]，用来记录更新值；一张是计数表，定义为C[QP][SAD_SEG_NO]，用来计数；更新表和计数表均初始化为0(实际应用中，两张表的尺寸可以减小；考虑最大可能的更新范围，每张表的尺寸可减小为

其中，5代表QP搜索范围内所有QP值的个数；SAD_max和SAD_min分别表示当前帧中所有宏块SAD的最大值和最小值；

表示对于某个QP值所有可能更新值的个数)；

对于SAD值为SAD_k的第k个宏块，在用选择出的QP值编码完后，实际产生的纹理比特数是b_{act_k}；通过对低内存消耗查询表插值估计得到的纹理比特数为b_QP；则更新值被定义为u＝(b_{act_k}-b_QP)/2；在编码完每个宏块后，都需按以下操作记录更新值，假设SAD_k落在SAD段[SAD_m，SAD_n]内：

如果SAD_k-SAD_m＜SAD_STEP/4，则按公式(5)和(6)进行记录：

Δb[QP][SAD_m/SAD_STEP]＝Δb[QP][SAD_m/SAD_STEP]+u    (5)

C[QP][SAD_m/SAD_STEP]＝C[QP][SAD_m/SAD_STEP]+1    (6)

如果SAD_n-SAD_k＜SAD_STEP/4，则按公式(7)和(8)进行记录：

Δb[QP][SAD_n/SAD_STEP]＝Δb[QP][SAD_n/SAD_STEP]+u    (7)

C[QP][SAD_n/SAD_STEP]＝C[QP][SAD_n/SAD_STEP]+1    (8)

其他情况下，则将公式(5)至公式(8)均执行一遍进行记录；

在编码完整帧后，对于在更新表中已改变的值(即相应的C[QP][SAD_SEG_NO]为非零)，Δb[QP][SAD_SEG_NO]要被重新计算，如公式(9)所示：

Δb[QP][SAD_SEG_NO]＝Δb[QP][SAD_SEG_NO]/C[QP][SAD_SEG_NO]  (9)

在做完公式(9)的操作后就得到了最终的更新表，该更新表就被用来更新低内存消耗查询表中相对应位置的元素，具体按公式(10)进行更新：

b[QP][SAD_SEG_NO]＝b[QP][SAD_SEG_NO]+Δb[QP][SAD_SEG_NO]  (10)

在编码下一帧之前，更新表和计数表需要重新清零。

发明与背景技术相比，具有的有益的效果是：

本发明是一种内存消耗低、码率估计精确度高的码率控制方法。该方法可用于H.263，MPEG-4和H.264等多种视频压缩标准，并且结合码率控制中不同的帧目标比特数分配方式，可以适用于各种应用场景，如视频会议、视频电话等低时延应用，网络电视、视频监控等对图像质量要求较高的应用。比起传统的基于率失真数学模型构建的码率控制方法，基于低内存消耗查询表的方法有效地提高了视频质量，对码率和跳帧现象的发生也进行了更好的控制。

具体实施方式

本发明提出的基于低内存消耗查询表的视频压缩码率控制方法是对传统基于率失真模型方法的一种改进。主要按如下步骤进行：

1.码率控制的预处理过程：

构建出低内存消耗查询表。

2.码率控制实际执行过程：

对于每个P帧：

1)参照H.263参考模型TMN8或是MPEG-4参考模型VM7所采用的跳帧控制方法，进行跳帧控制，如果当前帧未被跳过，则进入第2步；否则进入下一帧编码；

2)对当前P帧中所有宏块进行运动估计和运动补偿。记录下每个宏块的运动矢量信息和SAD值，并将宏块分成非零宏块和全零宏块两种，非零宏块被进一步分成intra和inter编码模式的宏块；

3)参照H.263参考模型TMN8或是MPEG-4参考模型VM7所采用的帧目标比特数分配方法，分配给当前P帧一个目标比特数B_{tar_p}；

4)完成对每个宏块进行目标比特数分配的前期准备工作：计算B_uncode，B_header，N_intra和N_int er；设置B_rem＝B_{tar_p}，b_h-int ra＝0，b_h-int er＝0；

5)对于每一个非零宏块(假设当前是第k个宏块)：

a)利用公式(3)计算B_{tex_rem}，

b)利用公式(2)计算宏块的目标纹理比特数b_{tar_k}，

c)根据低内存消耗查询表计算出宏块的QP值，

d)对宏块进行实际编码，

e)计算出宏块实际的纹理比特数b_{act_k}，并记录更新值u，

f)计算出实际编码宏块头信息的比特数b_{hd_k}，宏块如果采用intra编码模式，则更新b_h-int ra，如果采用inter编码模式，则更新b_h-inter，

g)宏块如果采用intra编码模式，则将N_int ra减1，如果采用inter编码模式，则将N_int er减1，

h)更新B_rem，更新公式为B_rem＝B_rem-(b_{act_k}+b_{hd_k})；

6)更新低内存消耗查询表。

本发明已在目前通用的H.263编码器上测试通过，该编码器采用了H.263中如下技术：

1)参考帧个数：1个；

2)视频序列编码类型：头一帧为I帧，后续帧均为P帧；

3)整像素运动估计范围：[-16，+16]像素范围；

4)运动估计模式：16×16像素块模式、8×8像素块模式；

5)运动矢量整像素全搜索方式，支持非限制运动矢量搜索；

6)编码帧率为10帧每秒；

7)头一个I帧以QP值13进行编码。

本发明方法的试验结果表明：用foreman，mthr dotr，news，suzie等一系列176×144像素格式的视频序列进行测试，结果显示，本发明方法在码率控制、视频质量的提高等方面均表现出良好的效果，同时有效控制了跳帧现象的发生。

Claims (1)

1. 一种基于低内存消耗查询表的视频压缩码率控制方法，其特征在于：

应用对象为前向预测帧P帧，本方法首先执行码率控制方法的预处理过程；然后对每个P帧分配比特数；接下来给P帧中每一宏块分配比特数，其中使用了低内存消耗查询表；在完成当前宏块编码后，需要记录更新值；

1)在码率控制方法的预处理过程中，根据宏块的量化参数值QP、绝对误差和、以及编码宏块纹理信息所用的比特数，简称为纹理比特数，来构建一张低内存消耗查询表，并标记为b[QP][SAD_SEG_NO]；

绝对误差和的计算如公式(1)所示：

$\mathrm{SAD}=\underset{i=0}{\overset{15}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}|f(i,j)-g(i,j)|---\left(1\right)$

其中

SAD是绝对误差和，

f是当前帧的像素函数，

g为前一帧的像素函数；

b[QP][SAD_SEG_NO]中的SAD_SEG_NO表示SAD段的序号；根据一个QP值和SAD_SEG_NO值，就可查表求得纹理比特数b；

低内存消耗查询表的具体构建方式如下：

对于每一个特定的QP值，通常从1到31，利用所用的视频编码器来编码大量的视频序列；对于有相同SAD的宏块，计算出宏块的平均纹理比特数；SAD和纹理比特数的关系可以通过分段线性函数来模拟，并采用间隔选取SAD值的方法，间隔值表示为SAD_STEP；低内存消耗查询表二维数组中第二个参数SAD_SEG_NO即表示SAD段的序号，

表示取小于该数的最大整数，b[QP][SAD_SEG_NO]表示SAD等于SAD_SEG_NO×SAD_STEP的宏块的平均纹理比特数；在每个SAD段内，SAD和纹理比特数的关系由一个线性函数来模拟，因此记录下SAD段的两个端点的值就足够了；此外，SAD的取值范围设定为0至4000；

2)在对每个P帧分配比特数过程中，假设所分配到当前P帧的目标比特数为B_{tar_p}，具体分配方法可参照H.263参考模型TMN8或是MPEG-4参考模型VM7所采用的帧目标比特数分配方法来做；

接着将当前P帧做完运动估计之后的残差宏块分成两大类：非零宏块，即SAD大于某个预先设定的阀值，量化后极有可能存在非零系数的宏块；全零宏块，即SAD小于该阀值的，量化后极有可能是系数全零的宏块；后者无需进行编码；

在默认情况下，宏块均指代非零宏块；

考虑当前P帧中的第k个宏块，所要分配给第k个宏块的目标纹理比特数b_{tar_k}按公式(2)计算：

$b_{\mathrm{tar}\_k}=B_{\mathrm{tex}\_\mathrm{rem}}\×{\mathrm{SAD}}_k/\underset{i=k}{\overset{N}{\mathrm{\Σ}}}{\mathrm{SAD}}_i---\left(2\right)$

其中

B_{tex_rem}表示当前剩余的用来编码剩余宏块纹理信息的比特数，

SAD_k表示第k个宏块的SAD值，

N表示当前帧中所有非零宏块个数，

B_{tex_rem}通过公式(3)计算：

B_{tex_rem}＝B_rem-B_uncode-B_header-b_h-intra×N_intra-b_h-inter×N_inter    (3)

其中

B_rem表示当前剩余的用于编码剩余宏块所有信息的比特数，初始值设为当前P帧的目标比特数B_{tar_p}，

B_uncode表示用于编码全零宏块中非纹理信息的比特数，

B_header表示用于编码帧的头信息的比特数，

b_h-intra表示用于编码采用帧内编码模式的宏块头信息的平均比特数，根据当前帧中已编码的intra宏块所花的平均头信息比特数来估计，

b_h-inter表示用于编码采用帧间编码模式的宏块头信息的平均比特数，根据当前帧中已编码的inter宏块所花的平均头信息比特数来估计，

N_intra表示当前帧中剩余intra宏块的数量，

N_inter表示当前帧中剩余inter宏块的数量；

3)在给P帧中每一宏块分配比特数过程中，分配好第k个宏块目标纹理比特数b_{tar_k}后，假设第k个宏块通过运动估计所得到的SAD值为SAD_k，可根据低内存消耗查询表来计算出合适的QP值，使得宏块在用该QP值编码后产生的实际纹理比特数最接近b_{tar_k}；详细步骤如下所示：

第一步：确定QP的搜索范围

为了减少相邻帧之间的质量波动，QP的搜索范围需要被限制；假设编码前一个P帧所有宏块的平均QP值为QP_prev，则当前帧宏块QP的搜索范围被限制在[max{QP_prev-2，1}，min{QP_prev+2，31}]；如果当前帧为视频序列中的第一个P帧，则当前帧的搜索范围仍然为[1，31]；

第二步：确定SAD段

宏块的SAD_k落在SAD段[SAD_m，SAD_n]内，其中SAD_m等于SAD_n等于SAD_m+SAD_STEP；

第三步：对于每个QP值，估计出纹理比特数

对于搜索范围内的每个QP值，需要估计出纹理比特数b_QP；b_QP通过查表并插值获得；插值计算如公式(4)所示：

b_QP＝(b_n-b_m)×(SAD_k-SAD_m)/SAD_STEP+b_m    (4)

其中

b_m表示b[QP][SAD_m/SAD_STEP]，

b_n表示b[QP][SAD_n/SAD_STEP]；

第四步：选择合适的QP值

在计算出每个QP的b_QP值后，要选择一个合适的QP值；所选择出的QP值所对应的b_QP和宏块目标纹理比特数b_{tar_k}之差最小(min{|b_QP-b_{tar_k}|})；

第五步：调整QP值

上面选择出的QP需要进一步调整；例如，在MPEG-4和H.263中，水平相邻宏块的QP值之差被限制在[-2，2]；

4)在完成当前宏块编码后，需要记录更新值；但对低内存消耗查询表的更新是在编完整帧之后做；整个过程如下：

首先额外构建两张表，一张是更新表，定义为Δb[QP][SAD_SEG_NO]，用来记录更新值；一张是计数表，定义为C[QP][SAD_SEG_NO]，用来计数；更新表和计数表均初始化为0；实际应用中，两张表的尺寸可以减小；考虑最大可能的更新范围，每张表的尺寸可减小为

其中，5代表QP搜索范围内所有QP值的个数；SAD_max和SAD_min分别表示当前帧中所有宏块SAD的最大值和最小值；

表示对于某个QP值所有可能更新值的个数；

对于SAD值为SAD_k的第k个宏块，在用选择出的QP值编码完后，实际产生的纹理比特数是b_{act_k}；通过对低内存消耗查询表插值估计得到的纹理比特数为b_QP；则更新值被定义为u＝(b_{act_k}-b_QP)/2；在编码完每个宏块后，都需按以下操作记录更新值，假设SAD_k落在SAD段[SAD_m，SAD_n]内：

如果SAD_k-SAD_m＜SAD_STEP/4，则按公式(5)和(6)进行记录：

Δb[QP][SAD_m/SAD_STEP]＝Δb[QP][SAD_m/SAD_STEP]+u           (5)

C[QP][SAD_m/SAD_STEP]＝C[QP][SAD_m/SAD_STEP]+1               (6)

如果SAD_n-SAD_k＜SAD_STEP/4，则按公式(7)和(8)进行记录：

Δb[QP][SAD_n/SAD_STEP]＝Δb[QP][SAD_n/SAD_STEP]+u           (7)

C[QP][SAD_n/SAD_STEP]＝C[QP][SAD_n/SAD_STEP]+1               (8)

其他情况下，则将公式(5)至公式(8)均执行一遍进行记录；

在编码完整帧后，对于在更新表中已改变的值，即相应的C[QP][SAD_SEG_NO]为非零，Δb[QP][SAD_SEG_NO]要被重新计算，如公式(9)所示：

Δb[QP][SAD_SEG_NO]＝Δb[QP][SAD_SEG_NO]/C[QP][SAD_SEG_NO] (9)

在做完公式(9)的操作后就得到了最终的更新表，该更新表就被用来更新低内存消耗查询表中相对应位置的元素，具体按公式(10)进行更新：

b[QP][SAD_SEG_NO]＝b[QP][SAD_SEG_NO]+Δb[QP][SAD_SEG_NO]  (10)

在编码下一帧之前，更新表和计数表需要重新清零。