CN101854524A - 甚低码率视频编码器码率控制方法 - Google Patents

Abstract

本发明公开了一种甚低码率视频编码器视频控制方法，它包括I帧码率控制方法和P帧码率控制方法，所述的I帧码率控制方法包括以下步骤：①建立二阶率失真模型；②求取初始量化值；③对目标位数进行分配；④求取量化值。本发明提出一种甚低码率视频编码器码率控制策略，该策略引入二阶码率控制模型实现I帧码率控制，以及引入二阶率失真模型，对I帧码率控制算法中的初始量化值选取、目标位数分配和量化值求取进行了改进。同时改进了原有算法量化值调整策略，使码率控制算法在场景变化时分配合适的量化值。本发明与VMx相比明显提高了码率控制的精度、降低了输出缓冲区延迟、提高了重建图像的整体质量，并且改进了P帧的码率控制算法。

Description

甚低码率视频编码器码率控制方法

技术领域

本发明属于视频编码中的码率控制领域，具体地说是涉及一种甚低码率视频编码器的码率控制方法。

背景技术

有效的码率控制策略是低带宽下传输低延迟、高质量视频的关键。适于甚低带宽码率控制的算法有H.26x的TMNx和MPEG-4中的VMx。TMNx、VMx中的码率控制算法是基于二阶率失真模型的控制算法，同时实现了帧级、对象级和宏块级的码率控制，但仅提出对P帧的码率控制没有I帧的码率控制，在甚低带宽下使用存在一些问题，例如PSTN、GPRS网络等。

码率控制有帧一级和宏块一级的码率控制。帧一级码率控制对帧内所有宏块使用同一个量化值，宏块一级的码率控制对帧内宏块使用不同的量化值。在低带宽下不适宜使用宏块一级的码率控制，因为宏块的量化信息要占用相对较多的编码位数。另外，由于低带宽下编码帧率一般比较低，如编码使用CIF格式图像，帧率一般为1-5帧/秒，帧之间的相关性比较差，使用B帧并不能够提高图像的质量，而且还会增加编码的复杂度和延迟，所以在低带宽下一般不使用B帧。

而现有视频编码标准中的码率控制算法仅提出了P和B帧的码率控制模型，没有I帧的码率控制模型，原因是算法假设编码的第一帧为I帧，其余帧均为P或B帧。但在实际应用中为了适应传输容错和信息检索的需求编码中必须有一定数目的I帧。

发明内容

本发明的目的是提供一种能够降低编码缓冲区延迟，同时提高重建图像质量、码率控制精度高的甚低码率视频编码器码率控制方法。

为实现上述目的，本发明采用以下技术方案：

本发明包括I帧码率控制方法和P帧码率控制方法，上述的I帧码率控制方法包括以下步骤：

①建立二阶率失真模型：

其中，Q_t为t时刻待计算的量化值，a₁，a₂分别是一阶和二阶系数，

B_t为当前帧目标编码位数、H_t为t时刻编码使用的头信息位数、M_t为t时刻图像的绝对平均差函数值；

②初始量化值的求取：当a₂＝0时，二阶率失真模型退化为一阶模型，则初始量化值Q_t＝0＝a₁×M_t/(B_t-H_t)；

③目标位数的分配：在一个视频序列内图像质量保持不变的情况下，有 $B_t^I=\frac{T\·r_t}{N^I+\frac{M_t^P\·a_1^P}{M_t^I\·a_1^I}\·N^P},$ $B_t^P=\frac{T\·r_t}{N^P+\frac{M_t^I\·a_1^I}{M_t^P\·a_1^P}\·N^I},$

其中，T为视频序列持续的周期，r₁为序列的输出位率，N^P是序列中P帧数目，N^I是序列中I帧数目，

和

分别使用前一个同类型帧的绝对平均差函数值，再根据二阶率失真模型

利用线性回归技术得出a₁ ^I、a₂ ^I和a₁ ^P、a₂ ^P；

④量化值求取：

每编码完一帧都要对a₁、a₂进行更新。

当序列中只有一个I帧，其余均为P帧时，P帧码率控制方法中的目标位数其中，A^I _t为I帧的实际编码位数；

本发明对P帧码率控制方法中得到的P帧量化值进行调整如下：

1)、如果Q_t＜0.75Q_t-1时，令Q_t＝0.75Q_t-1；

2)、如果Q_t＞1.25Q_t-1时，采用以下三种进行处理：

(a)、首先令Q_t＝0.25Q_t-1，

(b)、如果B_t＞2R_p，其中R_p为编码一帧从缓冲区中删除的位数，则令B_t＝2R_p，然后转到(c)，否则，令Q_t＝1.25Q_t-1，直接结束处理；

(c)、根据B_t利用二阶率失真模型：

求取新的Q_t作为当前帧的量化值。

采用上述技术方案的本发明，根据基于非常低带宽线路，如PSTN的远程视频传输需求，提出一种甚低码率视频编码器码率控制策略，该策略引入二阶码率控制模型实现I帧码率控制，以及引入二阶率失真模型，对I帧码率控制算法中的初始量化值选取、目标位数分配和量化值求取进行了改进。同时改进了原有算法量化值调整策略，使码率控制算法在场景变化时分配合适的量化值。此外对低带宽下码率控制中滑动窗口的大小和GOP长度的动态调整进行了分析。本发明与VMx相比明显提高了码率控制的精度、降低了输出缓冲区延迟、提高了重建图像的整体质量，并且改进了P帧的码率控制算法，总之，在甚低码率网络应用中，有效提高了视频编码器码率控制的精度和传输图像的质量。

附图说明

图1为本发明与原VM8码率控制方法的R-D曲线对比图。

具体实施方式

实施例1

VMx的码率控制算法仅提出了P帧的码率控制模型，没有I帧的码率控制模型，原因是算法假设编码的第一帧为I帧，其余帧均为P帧。但在实际应用中为了适应传输容错和信息检索的需求编码中必须有一定数目的I帧。在远程视频监控应用中，为了获得优化的输出码流，本发明增加了I帧码率控制。

本发明包括P帧码率控制方法和I帧码率控制方法，上述的I帧码率控制方法包括以下步骤：

①建立二阶率失真模型：

$Q_t^2+a_{1}r{Q}_t+a_{2}r=0---\left(1\right)$

其中，Q_t为t时刻待计算的量化值，a₁，a₂分别是一阶和二阶系数，r与当前帧目标编码位数、基本信息占用位数以及图像的绝对差有关，由下式给出

$r=\frac{M_t}{H_t-B_t}---\left(2\right)$

其中，B_t为当前帧目标编码位数、H_t为t时刻编码使用的头信息位数、M_t为t时刻图像的绝对平均差函数值，即MAD值。

码率控制主要是通过不断调整Q_t值实现的，核心则是量化参数的求取和模型更新，当上述二次方程有解时，Q_t通过下述公式计算得到

$Q_t=\frac{M_t\·a_1+\sqrt{{(M_t\·a_1)}^2+4\·(B_t-H_t)\·M_t\·a_2}}{2\·(B_t-H_t)}---\left(3\right)$

上述a₁和a₂根据已编码帧的实际量化值和编码位数，使用线性回归技术获得，每编码完一帧都要对a₁和a₂进行更新。另外在编码第一帧时a₁和a₂未知，不能利用公式(3)计算Q_t，这时通常令Q_t为一定值，其典型值为15，然后根据编码后的实际量化值和编码位数，利用线性回归技术计算a₁和a₂。

②初始量化值的求取：由公式(1)可知，当a₂＝0时，二阶率失真模型退化为一阶模型，这时模型仅有一个参数a₁，可以令a₁取一经验值，典型值130，然后利用公式(3)求取初始量化值Q_t＝0＝a₁×M_t/(B_t-H_t)。

而对于I帧后面的第一个P帧的量化值Q_t+1可以使用和其前面I帧相同的量化值Q_t。

③目标位数的分配：简化公式(1)，对于I、P帧分别有

$\frac{B_t^I}{M_t^I}=\frac{a_1^I}{Q_t^I}---\left(4\right)$

$\frac{B_t^P}{M_t^P}=\frac{a_1^P}{Q_1^P}---\left(5\right)$

上述二公式中的每个变量右上角符号I、P仅用于区别是属于I帧还是P帧的参数。在一个视频序列中有

$B_t^I\·N^I+B_t^I\·N^P=T\·r_t---\left(6\right)$

其中，N^I是序列中I帧数目，N^P是序列中P帧数目，T是视频序列持续的周期，以秒为单位，r_t是序列的输出位率，以位/秒为单位。

假定在一个视频序列内图像质量保持不变，即I、P帧量化值相同，则有

$Q_t^I=Q_t^P---\left(7\right)$

联合公式(4)、(5)、(6)、(7)解得：

$B_t^I=\frac{T\·r_t}{N^I+\frac{M_t^P\·a_1^P}{M_t^I\·a_1^I}\·N^P}---\left(8\right)$

$B_t^P=\frac{T\·r_t}{N^P+\frac{M_t^I\·a_1^I}{M_t^P\·a_1^P}\·N^I}---\left(9\right)$

利用公式(8)可以计算出I帧的目标位数

其中和

分别使用前一个同类型帧的MAD值，再根据公式(1)利用线性回归技术计算出a₁ ^I、a₂ ^I和a₁ ^P、a₂ ^P。

④量化值求取：根据公式(3)求出Q_t，且每编码完一帧都要对a₁、a₂进行更新。

为了使实验视频序列具有代表性，试验使用的测试序列由A、B和C三类序列组合得到复合序列，共100帧。其中Mother序列A类25帧、Coastguard序列B类25帧、Basket序列C类25帧和DancerA类序列25帧。复合序列不仅包含了不同复杂度的图像，而且还存在不同复杂度图像之间的切换，与视频监控中的实际图像特点比较吻合，具有代表意义。

本文对复合序列分别测试了五种码率，即9.6kbps、28.8kbps、33.6kbps、44.8kbps、56kbps，测试条件为：GOP长度为15、帧率3fps，其中9.6kbps下GOP长度为30、帧率1fps。本发明与MPEG-4的VM8算法的对比测试结果如表1，对比曲线如图1所示，其中，图1中曲线A代表原VM8算法，曲线B代表本发明。显然，本发明在低码率线路上具有明显优势。

表1

从表1和图1中可以看出，从延迟角度来看，由于本发明使用了合理的I帧量化值分配算法、对P帧量化值调整幅度的处理和GOP长度的动态调整等一系列措施大大降低了最大缓冲延迟，避免了缓冲区上溢。从重建图像质量来看，本发明在不同带宽下的PSNR值均高于原VM8控制方法的PSNR值。而且从图1可以看出在同一带宽下，本发明的重建图像的PSNR值比原VM8控制方法的高；在重建图像质量相同的情况下，本发明比原VM8控制方法使用的编码位数更少。从输出码流偏差D_b来看，本发明的输出码率平均偏差更小。

其中A_i是第i帧图像的实际码率。该值表示平均每帧实际码率与输出码率的偏差，偏差越小表明输出码流越适合在给定的带宽下传输，同时编码缓冲区的延迟也越小。

实施例2

本实施例与实施例1不同的是，本实施例在实施例1的基础上，对P帧码率控制进行了改进。

P帧的目标位数分配可以使用公式(9)，当序列中只有一个I帧，其余均为P帧时，由公式(6)可得简化计算公式：

其中，A^I _t是I帧的实际编码位数。

同时，由于VM8控制方法为了保持图像质量的稳定，对当前帧量化值Q_t的调整幅度进行了限制，即调整的最大幅度不超过前一帧Q_t-1的0.25倍。这样，在前一帧量化值较小而计算出的当前帧量化值较大时，经过调整后的当前帧量化值也较小，导致当前帧实际编码位数过大，增加传输延迟，所以对量化值变化较大的情况要进行合理处理。本发明对P帧码率控制方法中得到的P帧量化值进行调整如下：

1)、如果Q_t＜0.75Q_t-1时，令Q_t＝0.75Q_t-1；

2)、如果Q_t＞1.25Q_t-1时，采用以下三种进行处理：

(a)、首先令Q_t＝0.25Q_t-1，

(b)、如果B_t＞2R_p，其中R_p为编码一帧从缓冲区中删除的位数，则令B_t＝2R_p，然后转到c，否则，令Q_t＝1.25Q_t-1，直接结束处理；

(c)、根据B_t利用二阶率失真模型：

求取新的Q_t作为当前帧的量化值。

其他技术特征与实施例1相同。

实施例3

本实施例与实施例1不同的是，在本实施例中，对于P帧运动向量所占的位数H_t，VM8码率控制模型使用的是其前一帧运动向量占的位数。这假设前后两帧的运动向量占的位数差别不大，但在实际中前后两帧运动向量差别比较大，使用前一帧的运动向量并不合适。本发明通过统计当前帧运动估计后运动向量占的位数作为模型中的参数。由于对运动向量为零并且量化系数为零的宏块不进行编码，通过统计运动估计后运动向量占的位数比实际编码中运动向量占位数略多，但这之间的偏差相对较小而且比采用上一帧运动向量占的位数更为精确。

另外，滑动窗口用于选取回归二阶模型中的a₁、a₂的数据个数，滑动窗口的大小对a₁、a₂有很大的影响，从而影响量化值的求取。在甚低带宽下，编码帧率比较低，帧之间的相关性较差，几秒前的数据可能已经不能反映当前图像的特点，在模型更新时应尽量选取距离当前帧较近的数据，因此滑动窗口不应过大，否则滑动窗口内的数据不能及时反应图像的变化。实验表明，在低带宽下滑动窗口大小为10较为合适。

码率控制算法一般在一个图像组GOP内进行控制，本发明的GOP是由一个I帧和一定数目的P帧的组成。一般情况下GOP的长度为定值，典型值30。在P帧运动估计过程中，如果采用帧内编码方式的宏块数目大于一个阈值，如0.5倍总宏块数时，则将此帧编码为I帧。对于这种动态产生I帧的情况，可以将I帧作为一个新的GOP的开始，同时更新码率控制算法中GOP可分配位数，但不应将上一个GOP剩余的可分配位数累加到当前GOP的可分配位数上。

其他技术特征与实施例1相同。

Claims (3)

1.一种甚低码率视频编码器视频控制方法，其特征在于，它包括I帧码率控制方法和P帧码率控制方法，所述的I帧码率控制方法包括以下步骤：

①建立二阶率失真模型：

其中，Q_t为t时刻待计算的量化值，a₁，a₂分别是一阶和二阶系数，

B_t为当前帧目标编码位数、H_t为t时刻编码使用的头信息位数、M_t为t时刻图像的绝对平均差函数值；

②初始量化值的求取：当a₂＝0时，二阶率失真模型退化为一阶模型，则初始量化值Q_t＝0＝a₁×M_t/(B_t-H_t)；

③目标位数的分配：在一个视频序列内图像质量保持不变的情况下，有 $B_t^I=\frac{T\·r_t}{N^I+\frac{M_t^P\·a_1^P}{M_t^I\·a_1^I}\·N^P},$ $B_t^P=\frac{T\·r_t}{N^P+\frac{M_t^I\·a_1^I}{M_t^P\·a_1^P}\·N^I},$

其中，T为视频序列持续的周期，r_t为序列的输出位率，N^P是序列中P帧数目，N^I是序列中I帧数目，

和

分别为前一个同类型帧的绝对平均差函数值，再根据二阶率失真模型

利用线性回归技术得出a₁ ^I、a₂ ^I和a₁ ^P、a₂ ^P；

④量化值求取：

每编码完一帧都要对a₁、a₂进行更新。

2.根据权利要求1所述的甚低码率视频编码器视频控制方法，其特征在于：当序列中只有一个I帧，其余均为P帧时，P帧码率控制方法中的目标位数

其中，A^I _t为I帧的实际编码位数。

3.根据权利要求2所述的甚低码率视频编码器视频控制方法，其特征在于：对P帧码率控制方法中得到的P帧量化值进行调整如下：

1)、如果Q_t＜0.75Q_t-1时，令Q_t＝0.75Q_t-1；

2)、如果Q_t＞1.25Q_t-1时，采用以下三种进行处理：

(a)、首先令Q_t＝0.25Q_t-1，

(b)、如果B_t＞2R_p，其中R_p为编码一帧从缓冲区中删除的位数，则令B_t＝2R_p，然后转到(c)，否则，令Q_t＝1.25Q_t-1，直接结束处理；

(c)、根据B_t利用二阶率失真模型：求取新的Q_t作为当前帧的量化值。

Images