CN101335891B - 视频速率控制方法及视频速率控制器 - Google Patents

Abstract

本发明公开了一种视频速率控制方法及视频速率控制器，具体公开了用于编码视频信号的视频编码系统的视频速率控制的方法和装置，包括确定(12)在视频信号的时间t上的像素值的方差，并使用时间t的像素方差和输出比特数以及用于紧接着的前一时间t-1的量化参数、像素方差和输出比特数，计算(13)用于时间t的量化参数。

Description

视频速率控制方法及视频速率控制器

技术领域

本发明涉及视频速率控制且尤其涉及统计自适应视频速率控制。 

背景技术

速率控制方法以及用于实现该方法的体系结构是任意视频编码方案的基本组成，以确保编码处理满足在应用的编码方案下设置的比特速率和质量限制条件。具体而言，该方法通过自适应编码参数寻求匹配输出比特速率，使得适当数目的比特被放置在缓冲存储器中，所述缓冲存储器用于帮助平滑图像统计的变化需求以匹配通常所需的固定输出比特速率。 

通常需要在源于编码处理的图像质量和比特速率之间的折衷；过低的比特速率导致图像质量的不期望的降低。通过将用于给定应用的编码参数的优化组合作为对象(其中一些参数通过设备的算子(operator)适当地定义)，同时作为整体地最小化用于实现该处理的硬件和软件计算资源上的负载(更具体而言，速率控制机制)，速率控制方法可以获得这种折衷。此外，对算子通常需要设置所需的输出比特速率，且算子还可以通过例如过滤或下采样信号到较低的分辨率来调节输入的视频信号。给出诸如比特速率之类的参数的算子选择，取决于测量编码的困难程度，预处理阶段可以自动地进行这种过滤。一旦通过算子外部地设置了这些参数，编码算法试图调节其他主要参数以满足设置的限制条件，且编码算法主要通过对平滑缓冲存储器的填充状态的周期监控，将产生的编码比特的数目与所需的输出比特速率相匹配，其中平滑缓冲器的大小由算法本身定义。如果填充状态增加，算法通过增加量化的程度来减小输入的比特数目；反之，如果填充状态减小则减小量化的程度。量化程度中的这种变化受由算法定义的量化参数Qp影响。 

实际上算法的实现可以通过最佳系统效率获得，即，最小硬件和软件资源与所需性能标准的获得相一致。考虑在长或短时间段上的图像行为，判定Qp值的装置管理，即速率控制，并不由算法说明定义，而是提供装置以频繁地发送Qp的值，其值将考虑在若干时间尺度上的输入图像统计行为，并由此将避免由于欠考虑的简单速率控制导致的异常。过于简单的速率控制的一种这样的异常在这样的情况下发生：其中，Qp的值在太短的时间段被判定，使得活动图像的上部以根本不同于下部的Qp编码，结果是在解码之后图像的上下半部分的图像质量中的不期望的差异。为了避免这种差异，对Qp的较长期平均的一些测量也是必须的。因此要求提供在操作中也稳定且不违反使用的特定算法规则的生效的和有效的速率控制。 

作为具有这种有效的速率控制方法的需要的结果，采用了在诸如宏块、片(slice)和图片(picture)之类的在若干周期上操作的若干控制级别，它们直接对应于所选编码算法的详细结构设计且与图像结构具有直接的联系。例如，图像的结构通常根据组成视频信号的每个单独图片的运动图像和单个图片元素或像素的序列的自然顺序分层地组织。典型地，图像的最重要的这些结构元素为：图片、片和宏块，它们每一个还是H264和其他视频编码方案的定义元素。“图片”是来自电视序列的一个完整图像；图片还已知为“帧”。根据产业实践，每个图片或帧还可以被分割成其中图像被隔行扫描的两个区域。 

发明内容

根据本发明的第一方面，提供了一种用于编码视频信号的视频编码系统的视频速率控制的方法，包括：在视频信号的时间t上确定像素值的方差；以及使用像素方差和时间t上的输出比特数以及用于紧接着的前一时间t-1的量化参数和该时间t-1上的像素方差和输出比特数，计算对于时间t的量化参数。 

有利地，所述方差是修正方差，该修正方差是在时间t上计算的方差与紧接着的前一时间t-1上的类似的修正方差的函数。 

便利地，修正方差V(t)被定义为：V(t)＝(1-α)V_a(t)+αV(t-1)，其中V_a(t)是在时间t上计算的方差，V(t-1)是在紧接着的前一时间t-1上 的修正方差且α是常数，使得0＜α＜1。 

有利地，时间t的量化参数由QP(t)＝(1-β)Δqp+βQP(t-1)给出，其中Δqp＝(ε(V(t)-V(t-1))+R(t-1)V(t-1)-R(t)V(t))/η，其中QP(t-1)是紧接着的前一时间t-1上的量化参数，β是常数，使得0＞β＞1，R(t)是时间t的输出比特的数目，R(t-1)是紧接着的前一时间t-1上的输出比特的数目且ε和η是常数。 

可选地，时间t上的量化参数由QP(t)＝(1-β)Δqp+βQP(t-1)给出，其中：Δqp＝(ε(V(t)-V(t-1))+R(t-1)V(t-1)-R(t)V(t))/η，其中QP(t-1)是紧接着的前一时间t-1的量化参数，β是常数，使得0＞β＞1，R(t)是在时间t上的输出比特数，R(t-1)是在紧接着的前一时间t-1上的输出比特数，并且 $\mathrm{\η}=\frac{R(t-1)-R\left(t\right)}{\frac{\mathrm{QP}\left(t\right)}{V\left(t\right)}-\frac{\mathrm{QP}(t-1)}{V(t-1)}},$ 且 $\mathrm{\ϵ}=R\left(t\right)+\frac{R(t-1)-R\left(t\right)}{1-\frac{V\left(t\right)\·\mathrm{QP}(t-1)}{V(t-1)\·\mathrm{QP}\left(t\right)}}.$

有利地，量化参数进一步取决于输出缓冲器的当前填充率。 

便利地，如果速率超过对应于输出缓冲器的上溢(overfilling)的上阈值，则增加量化参数，且如果速率低于对应于输出缓冲器的下溢(underfilling)的下阈值，则减少量化参数。 

有利地，时间t对应于宏块、片、图片和图片组中的一个。 

便利地，所述方法进一步包括为视频信号计算取决于运动向量的当前平均值的量化参数。 

便利地，量化参数由下面的公式调整：QP_m＝QP_s+ΔQP，其中ΔQP＝

(V_m-V_s)/V_s+τ|MV|²，其中

和τ是被选择以提供自适应(adaptation)的选择度的参数，且QP_m和QP_s分别是用于当前宏块和当前片的量化参数的值，且V_m和V_s分别是当前宏块和当前片的方差且MV是运动向量的N个最近的值的平均，使得 ${\left|\mathrm{MV}\right|}^2=\frac{1}{N}\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}(x_i^2+y_i^2),$  其中x_i和y_i分别是运动向量的水平和垂直分量。 

根据本发明的第二方面，提供了一种用于编码视频信号的视频编码系统的视频速率控制器，包括：用于确定视频信号的在时间t上的像素值的方差的装置；以及用于使用像素方差和时间t上的输出比特数以及用于紧接着的前一时间t-1的量化参数及该时间t-1上的像素方差和 输出比特数，来计算用于时间t的量化参数的装置。 

根据本发明的第三方面，提供了一种包含存储的计算机可执行软件代码的计算机可读介质，所述代码是用于编码视频信号的视频编码系统的视频速率控制的方法，所述方法包括：确定在视频信号的时间t上的像素值的方差；以及使用像素方差和时间t上的输出比特数以及用于紧接着的前一时间t-1的量化参数及该时间t-1上的像素方差和输出比特数，计算用于时间t的量化参数。 

当本领域普通技术人员结合附图检视本发明的特定实施例的以下描述时，本发明的其他方面和特征将变得显而易见。 

附图说明

参考附图，现在将仅通过示例方式详细地描述本发明的实施例，附图中： 

图1是根据本发明的设置量化参数值的方法的流程图； 

图2是如本发明中所用的调整量化参数的值以维持上阈值和下阈值之间的速率的方法的流程图；以及 

图3是具有根据本发明的一个方面的视频速率控制器的视频编码器的示意图。 

具体实施方式

贯穿本说明书，相同的参考数字将用于表示相同的部分。 

视频信号是复杂的、高结构化的实体，具有显著统计动态的丰富特征。这种复杂性要求编码算法也是复杂的，并且为了有效，必须具有多层，匹配图像本身的多层属性。使用下面的统计特征和描述图像的信息用于编码控制： 

●时空行为，尤其是在这些维度中像素值的可预测性， 

●运动向量的运动及其估计以及后续计算； 

●视频场景改变、切割和消退， 

●长期和短期的信号均值， 

●长期和短期的信号方差， 

●长期和短期的信号自相关，以及 

●长期和短期的信号互相关。 

速率控制处理基于自适应过程的这种信息做出编码决定和选择。这些统计测量应用于空间域中的每个图像的大的和小的区域，即，诸如MPEG/H264块、宏块和片之类的不同大小的像素集合，但也可以应用于时间域中的图像序列。 

量化控制 

如通过上面列出的参数所表达，根据本发明的速率控制方法通过将定义的输出速率与输入图像统计数据相匹配来进行操作。这典型地通过集合在定义的矩阵中的空间像素值或逐图片地获取的连续值之间的差，并使用诸如离散余弦变换[DCT]之类的合适的数学处理变换这些值，来获得。这本身不减小比特速率，但是通过转换的像素值的系数的明智的丢弃和量化，描述图像的信息量明显减小。通过图像的统计的知识告知和引导量化处理。本方法在输入的统计计算、数据预测和基于数据统计的量化级别的自适应方面引入了创新的处理。 

速率控制过程和公式 

本发明中使用的统计变量是基于宏块的。为简单起见，还能够对宏块、片、图片和图片组顺序地更新变量，使得每个宏块使用的合成Qp值是在多种周期上获得的方差的函数。 

因而在下面的步骤描述速率控制过程，下面的步骤应用于完整的图片，但是它还可以用在图像结构的其他级别，例如，片和宏块。 

步骤1：建立视频输入源统计

每一个宏块中的像素的当前平均值P_a被计算为： 

                 P_a＝∑P_(I，J)＞＞8 

其中P_(I，J)是指数为I、J(即宏块阵列的第I行和第J列)的宏块中的像素值。每个像素的亮度值通常用于执行这种计算，不过，也可以考虑色度值。算子“＞＞x”代表二进制点x向左的位移，结果是算子前的 值被2^x除。8的位移表示被256除，256是16×16宏块的像素数。 

参考图1，在步骤12，宏块像素的方差V_a也被如下计算： 

               V_a＝(∑(P_(I，J)-P_a)²)＞＞8 

且修正方差被定义为： 

              V(t)＝(1-α)V_a(t)+αV(t-1)       (1) 

其中α是适当选择的常数，使得0＜α＜1，且V(t)是在任意时间段t上获取的修正方差，它被方便地选择以与诸如图片或片或甚至是图片组(GoP)之类的图像的主要结构特征相一致。在此，t代表当前图片、片或GoP且(t-1)代表相应的前一个图片、片或GoP。 

步骤2：量化步长估计

当前视频编码算法的主要参数之一是量化参数Qp。可以为每个图片或片定义该值，不过其值也可以以已知方式通过缓冲存储器的当前填充状态限制。 

在根据本发明的实施例计算每个新的Qp值时，下面的自适应等式用于确定每次迭代中的量化参数值的改变或差分量化，其取决于方差和输出比特速率中的改变： 

Δqp＝(ε(V(t)-V(t-1))+R(t-1)V(t-1)-R(t)V(t))/η     (2) 

其中V(t)是如上计算的宏块像素的方差，R(t)是每宏块的平均输出比特数的当前值，且ε和η是速率估计系数，它们或是常数或是根据下面的等式(4)和(5)更新的变量。 

为了平滑量化参数的方差中的改变，在步骤13，用于当前时间间隔的值可以相称地从在前的时间段的值和差分量化确定： 

             QP(t)＝(1-β)Δqp+βQP(t-1)        (3) 

其中β是常数，使得0＜β＜1，且它被选择以提供与在前值的依赖性的预定程度并由此提供量化参数值的平滑过渡。 

另外，运动向量[MV]信息可用于贡献量化因子选择，如下： 

QP_m＝QP_s+ΔQP                    (6) 

其中，ΔQP＝

(V_m-V_s)/V_s+τ|MV|²        (7) 

其中

和τ是选择的参数且QP_m和QP_s是用于宏块和片的量化因子 的值，且V_m和V_s分别是宏块和片的方差。参数MV允许通过在最近的N个值上平均的运动向量的模的平方值，即， ${\left|\mathrm{MV}\right|}^2=\frac{1}{N}\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}(x_i^2+y_i^2),$ 来考虑运动信息。值x_i和y_i是运动向量的水平和垂直分量。 

使用为当前时间期间得出的量化参数实施编码转换和量化。 

然后在步骤15，基于当前速率、量化参数和修正方差重新计算速率估计系数。用于图片、片或宏块的平均输出比特数的当前值R(t)被适当地获得以更新速率估计的系数： 

$\mathrm{\η}=\frac{R(t-1)-R\left(t\right)}{\frac{\mathrm{QP}\left(t\right)}{V\left(t\right)}-\frac{\mathrm{QP}(t-1)}{V(t-1)}},---\left(4\right)$

并且 

$\mathrm{\ϵ}=R\left(t\right)+\frac{R(t-1)-R\left(t\right)}{1-\frac{V\left(t\right)\·\mathrm{QP}(t-1)}{V(t-1)\·\mathrm{QP}\left(t\right)}}---\left(5\right)$

通过在步骤14确定诸如图片结尾的时间段的结尾何时到达，可以以每个图片、图片组等的频率更新系数和参数。 

以这种方式，比特速率能够被维持在上阈值M和下阈值L之间，以提供量化收敛更新和输出缓冲更新，其中基于诸如所需的比特速率和输出缓冲器大小之类的应用要求来选择M和L。 

如图2所示，对于帧/域： 

如果R(t)＞M，则QP(t)＝QP(t-1)-STEP； 

如果R(t)＜L，则QP(t)＝QP(t-1)+STEP； 

否则，QP(t)＝QP(t-1)； 

阈值本身可以如下调整： 

如果M＞f1*Target，则M＝M*c1且 

如果L＜f2*Target，则L＝L*c2 

其中，f1、f2、c1、c2、M和L被选择为如上所述的常数，且f1＞1，c1＜1，f2＜1且c2＞1，且Target是输出缓冲器的优选填充状态。 

然后可以使用修订的值编码下一帧(或子帧)。 

本发明提供了用于视频编码和转码的速率控制方法、结构和系统。尽管本速率控制方案不限于H.264，当前处理具有优化的H.264编码的 应用对象。 

提出的速率控制包括在帧/域、片和宏块级别的用于视频编码和转码的比特流速率、缓冲器建模和管理、速度以及资源分配的优化。本速率控制方法是用于优化的速率失真性能的快速的一次通过法且它基于输入视频的语境，且速率控制的系统处理和控制被组织为预测性过程。该速率控制方法能够在统计复用和网络带宽管理算法中用在恒定比特速率(CBR)和可变比特速率(VBR)应用中。 

本方法利用比在现有实施平台上实现的现有速率控制方法少得多的计算复杂性改善了编码性能和视频质量。提出的速率控制方案的模拟和实际实施就主观和客观测量而言已经显示了H.264编码的压缩质量改善。例如，与使用工业标准视频测试的序列的现有速率控制相比，获得了约2dB PSNR的改善。利用用于实时比特分配和编码/转码过程的分段式自适应构建输入和输出缓冲器模型。具体而言，在具有预测性比特分配和平滑机制的速率控制中使用给定资源的输出缓冲器占用率和应用要求。因而，对于给定缓冲器尺寸和速率的输出缓冲器占用率为速率控制过程所用。如果缓冲器占用率、缓冲器大小或比特速率改变，速率控制将相应地改变。 

参考图3，在根据本发明的装置中，待编码的视频信号被输入到方差计算器31以计算例如宏块、片或图片上的时间t的像素方差V(t)。方差V(t)被输出到量化参数计算器34并输出到第一延时器311。用于紧接着的前一时间段t-1的方差V(t-1)也被从第一延时器311输出到量化参数计算器34。视频信号还被输入到用于计算比特速率R(t)的输出比特计算器，例如，当视频信号在时间t被编码时，待输出的每宏块输出比特数，R(t)被输入到量化参数计算器34。比特速率还被输出到第二延时器321，该第二延时器321输出用于紧接着的前一时间段t-1的比特速率R(t-1)到量化参数计算器34。最后，视频信号还经由第三延时器33被输出到视频编码器35。 

量化参数计算器34输出量化参数值到第四延时器341，该第四延时器反馈用于紧接着的前一时间段t-1的量化参数QP(t-1)的值到量化参数计算器34，该计算器然后基于当前时间段t上的方差V(t)、紧接 着的前一时间段上的方差V(t-1)、当前时间段t的比特速率R(t)、紧接着的前一时间段t-1的比特速率R(t-1)以及用于紧接着的前一时间段的量化参数QP(t-1)，来计算当前时间段t的量化参数QP(t)。量化参数QP(t)用于在对应于时间t时对输入到编码器35的延迟的视频信号进行编码。 

本发明提供下面的优点： 

●基于以前的量化级别以及以前和当前的输入数据统计，自适应地预测当前量化级别； 

●通过用于量化自适应和更新的公式(2)、(3)、(4)、(5)和(7)描述的改善的过程； 

●改善的速率控制自适应过程。 

本发明的可选实施例能够被实现为与计算机系统一起使用的计算机程序产品，所述计算机程序产品例如是存储在诸如磁盘、CD-ROM、ROM或硬盘之类的有形数据记录介质中或包含在计算机数据信号中的一系列计算机指令，所述信号在有形介质或无线介质(例如微波或红外)上传输。该一系列计算机指令能够组成上述功能性的全部或一部分，且还能够被存储在任意的诸如半导体、磁、光或其他存储设备之类的易失性或非易失性存储设备中。 

尽管已经参考优选实施例描述了本发明，本领域技术人员应当意识到可以在不偏离本发明的精神和范围的条件下在形式和细节上做出修改。 

Claims (14)

1.一种用于编码视频信号的视频编码系统的视频速率控制方法，包括：

a)确定在所述视频信号的时间t上的像素值的方差；以及

b)使用该像素方差和所述时间t上的输出比特数以及用于紧接着的前一时间t-1的量化参数和该时间t-1上的像素方差和输出比特数，计算用于所述时间t的量化参数，

其中，所述方差是修正方差，所述修正方差V(t)被定义为：V(t)＝(1-α)V_a(t)+αV(t-1)，其中V_a(t)是所述确定的在时间t上的方差，V(t-1)是在紧接着的前一时间t-1上的修正方差且α是常数，使得0＜α＜1。

2.如权利要求1所述的方法，其中，所述时间t的量化参数由QP(t)＝1-β)Δqp+βQP(t-1)给出，

其中：

Δqp＝(ε(V(t)-V(t-1))+R(t-1)V(t-1)-R(t)V(t))/η，

其中QP(t-1)是所述紧接着的前一时间t-1上的量化参数，β是常数，使得0＞β＞1，R(t)是所述时间t上的输出比特数，R(t-1)是所述紧接着的前一时间t-1上的输出比特数且ε和η是常数。

3.如权利要求1所述的方法，其中，所述时间t上的量化参数由QP(t)＝(1-β)Δqp+βQP(t-1)给出，

其中：

Δqp＝(ε(V(t)-V(t-1))+R(t-1)V(t-1)-R(t)V(t))/η，

其中QP(t-1)是所述紧接着的前一时间t-1的量化参数，β是常数，使得0＞β＞1，R(t)是在所述时间t上的输出比特数，R(t-1)是在所述紧接着的前一时间t-1上的输出比特数，其中：

$\mathrm{\η}=\frac{R(t-1)-R\left(t\right)}{\frac{\mathrm{QP}\left(t\right)}{V\left(t\right)}-\frac{\mathrm{QP}(t-1)}{V(t-1)}},$ 且 $\mathrm{\ϵ}=R\left(t\right)+\frac{R(t-1)-R\left(t\right)}{1-\frac{V\left(t\right)\·\mathrm{QP}(t-1)}{V(t-1)\·\mathrm{QP}\left(t\right)}}.$

4.如权利要求1所述的方法，其中，所述量化参数进一步取决于输出缓冲器的当前填充率。

5.如权利要求4所述的方法，其中，如果速率超过与所述输出缓冲器的上溢对应的上阈值，则增加所述量化参数，且如果速率低于与所述输出缓冲器的下溢对应的下阈值，则减小所述量化参数。

6.如权利要求1所述的方法，进一步包括为所述视频信号计算取决于运动向量的当前平均值的所述量化参数。

7.如权利要求6所述的方法，其中，所述量化参数通过下面的等式调整：QP_m＝QP_s+ΔQP，其中

其中

和τ是被选择以提供自适应的选择程度的参数，且QP_m和QP_s分别是用于当前宏块和当前片的量化参数的值，且V_m和V_s分别是所述当前宏块和当前片的方差，且MV是所述运动向量的最近的N个值的平均，使得

其中x_i和y_i分别是所述运动向量的水平和垂直分量。

8.一种用于编码视频信号的视频编码系统的视频速率控制器，包括：

a)用于确定所述视频信号的在时间t上的像素值的方差的装置；以及

b)用于使用该像素方差和所述时间t上的输出比特数以及用于紧接着的前一时间t-1的量化参数及该时间t-1上的像素方差和输出比特数，来计算用于所述时间t的量化参数的装置，

其中，所述方差是修正方差，所述修正方差V(t)被定义为：V(t)＝(1-α)V_a(t)+αV(t-1)，其中V_a(t)是所述确定的在时间t上的方差，V(t-1)是在紧接着的前一时间t-1上的修正方差且α是常数，使得0＜α＜1。

9.如权利要求8所述的视频速率控制器，其中，所述时间t的量化参数由QP(t)＝(1-β)Δqp+βQP(t-1)给出，

其中：

Δqp＝(ε(V(t)-V(t-1))+R(t-1)V(t-1)-R(t)V(t))/η，

其中QP(t-1)是所述紧接着的前一时间t-1上的量化参数，β是常数，使得0＞β＞1，R(t)是所述时间t上的输出比特数，R(t-1)是所述紧接着的前一时间t-1上的输出比特数且ε和η是常数。

10.如权利要求8所述的视频速率控制器，其中，所述时间t上的量化参数由QP(t)＝(1-β)Δqp+βQP(t-1)给出，

其中：

Δqp＝(ε(V(t)-V(t-1))+R(t-1)V(t-1)-R(t)V(t))/η，

其中QP(t-1)是所述紧接着的前一时间t-1的量化参数，β是常数，使得0＞β＞1，R(t)是在所述时间t上的输出比特数，R(t-1)是紧接着的前一时间t-1的输出比特数，其中： $\mathrm{\η}=\frac{R(t-1)-R\left(t\right)}{\frac{\mathrm{QP}\left(t\right)}{V\left(t\right)}-\frac{\mathrm{QP}(t-1)}{V(t-1)}},$ 且 $\mathrm{\ϵ}=R\left(t\right)+\frac{R(t-1)-R\left(t\right)}{1-\frac{V\left(t\right)\·\mathrm{QP}(t-1)}{V(t-1)\·\mathrm{QP}\left(t\right)}}.$

11.如权利要求8所述的视频速率控制器，其中，所述量化参数进一步取决于输出缓冲器的当前填充率。

12.如权利要求11所述的视频速率控制器，其中，如果速率超过与所述输出缓冲器的上溢对应的上阈值，则增加所述量化参数，且如果速率低于与所述输出缓冲器的下溢对应的下阈值，则减少所述量化参数。

13.如权利要求8所述的视频速率控制器，进一步被配置来为所述视频信号计算取决于运动向量的当前平均值的量化参数。

14.如权利要求13所述的视频速率控制器，其中，所述量化参数由下面的等式调整：QP_m＝QP_s+ΔQP，其中其中和τ是被选择以提供自适应的选择度的参数，且QP_m和QP_s分别是用于当前宏块和当前片的量化参数的值，且V_m和V_s分别是所述当前宏块和当前片的方差，且MV是所述运动向量的最近的N个值的平均，使得其中x_i和y_i分别是所述运动向量的水平和垂直分量。

Images