CN102868884A - 针对码率-量化或者失真-量化模型函数的模型参数估计 - Google Patents

Abstract

本发明公开针对码率-量化或者失真-量化模型函数的模型参数估计。通过使用卡尔曼滤波器实现更精确模型参数估计，该滤波器用于离散估计帧序列连续帧之间模型参数及针对每帧两次执行时间离散卡尔曼滤波器校正步骤，即首先使用取决于当前帧复杂性度量测量值以获得时间离散卡尔曼滤波器的初次校正状态，其次使用取决于在使用预定量化编码当前帧中视频编码器实际编码率或者失真度的测量值，预定量化反过来可能已经通过使用根据初次校正状态的实际码率-量化或者失真-量化函数估计来确定。本发明提供码率-量化模型函数，使视频编码器量化与视频编码器编码率相关联并且分段定义以在较精细量化区间中呈现二次函数以及在较粗略量化区间中呈现指数函数。

Description

针对码率-量化或者失真-量化模型函数的模型参数估计

技术领域

本发明涉及针对码率-量化或者失真-量化模型函数的模型参数估计，以逼近用于帧序列（例如，诸如用于实时视频编码）的视频编码器的实际码率-量化或失真-量化函数。

背景技术

若已知当前帧的码率-量化特性R(QP)，即，哪个量化器产生哪个码率，则视频编码中码率控制任务可得到极大增强。例如，显然认为，对于低时延码率控制重要的是极其匹配给定目标比特率。然而，在实时应用中，通常不可能精确确定R(QP)，这是因为这将需要利用所有可能量化参数来编码帧。因此，试图预测码率和量化之间关系的模型被引入。即，码率-量化函数R(QP)被建模为

R(QP)≈model(QP,β)    （1）

式中β为含有模型参数的向量。

足够精确的模型已经可用于失真-量化函数（参见[21]）。

然而，码率-量化关系建模任务要困难得多。

文献中已经出现旨在代表H.264/AVC编码视频帧的R-Q特性的数个不同模型。最常见模型（例如，[11]中使用）为由[5]提出的二次模型。它有两个可调参数，并且通常使用MAD（平均绝对差）来预测新帧复杂度[22]。它被定义为

$R\left(\mathrm{QP}\right)\≈{\mathrm{\β}}_1\frac{\mathrm{MAD}}{Q_{\mathrm{Step}}\left(\mathrm{QP}\right)}+{\mathrm{\β}}_2\frac{\mathrm{MAD}}{Q_{\mathrm{Step}}{\left(\mathrm{QP}\right)}^2}---\left(2\right)$

式中，量化参数和量化步长大小（Q_Step）之间的关系在H.264/AVC标准[14]中定义。不同复杂度的一些深层建议为线性模型[12]、[24]中的指数模型、基于非零系数数目的ρ域模型[8]或者由[7]给出的分段定义模型。

比R-Q模型的潜在精度更重要的是其参数的可靠估计[6]。除了使用统计测量（比如先前提到的MAD），通常借助于线性回归来确定这些模型的参数，例如[5]、[10]。此外，有几个使用卡尔曼（Kalman）滤波器的方法，例如[23]、[4]。

然而，先前提到的模型全部都存在着模型精确度、复杂度、平滑度或者凸度的不足。同样，用于确定模型参数的已公布算法都未提供足够精确且简单的估计。

因此，本发明目的是提供一种针对码率-量化或者失真-量化模型函数的模型参数估计方案，其使得更精确估计以及因此更高效视频编码成为可能。

发明内容

所述目的通过独立权利要求的主题得以实现。

根据第一方面，本发明是基于以下发现：若卡尔曼滤波器被用于离散估计帧序列的连续帧之间的模型参数以及若每帧两次地执行时间离散卡尔曼滤波器校正步骤，则可实现更精确模型参数估计，即，首先使用取决于当前帧的复杂性度量（一个或者一个以上）的测量值，以获得时间离散卡尔曼滤波器的初次校正状态，以及其次使用取决于在使用预定量化编码当前帧中视频编码器的实际编码率或者失真度的测量值，所述预定量化反过来可能已经通过使用根据初次校正状态的实际码率-量化或者失真-量化函数估计来确定。

根据本发明另一个方面，本发明是基于以下发现：若使用码率-量化模型函数，码率-量化模型函数使视频编码器的量化与视频编码器的编码率相关，并且分段定义以在较精细量化区间中呈现二次函数以及在较粗略量化区间中呈现指数函数，则在过于复杂码率-量化模型函数（其导致不稳定的模型参数估计）与过于简单码率-量化模型函数（其导致稳定但不精确码率-量化函数逼近）之间达成更佳妥协。

可单独利用这两个方面的想法和优点。可替换地，本发明实施方式利用这两个方面。

附图说明

以下关于附图来描述本申请的优选实施方式，其中：

图1示出根据实施方式用于估计码率-量化模型函数的模型参数以逼近用于帧序列的视频编码器实际码率-量化函数的装置的方块图以及与视频编码器一起整合在系统中的可行整合；

图2示出移动序列一个帧的码率-量化曲线的形状；

图3示出利用H.264/AVC编码的视频帧的码率-量化曲线，从而图示曲线对于不同序列可能差别很大，使得所选模型应当为相当自适应的；

图4示出根据实施方式的二次码率-量化模型和分段定义码率-量化模型的逼近质量的比较；

图5示出根据实施方式的二次码率-量化模型和分段定义码率-量化模型的绝对逼近误差；

图6示出根据实施方式使用分段定义码率-量化模型和逼近技术的不同序列的帧的R-Q关系的逼近，其中，相应的相对逼近误差在底部图中描绘；

图7图示基于复杂性度量的预测中的误差通常为序列相关的事实；

图8示出可在图1装置上执行的基于卡尔曼滤波器的算法的一个周期设计，其中，在针对每帧k重复的三个步骤中估计R-Q模型参数；

图9示出根据实施方式的定义的码率-量化模型和逼近技术的一个周期的呈现；

图10示出在恒定比特率（500kb/帧）目标的场景改变情况下的模型估计实例；以及

图11示出当500kb/帧（在720p情况下≈0.54比特/像素）恒定比特率应达到时在200帧时期内基于模型的QP和码率选择。

具体实施方式

图1示出用于估计码率-量化模型函数的模型参数以逼近对于帧序列14的视频编码器12的实际码率-量化函数的装置10。编码器12和装置10一起形成用于编码帧序列14的系统。可选地，系统16还可包括码率控制器18，码率控制器18的功能将在下文中更详细概述。

帧序列14可为场景的任何视频或者任何其它空域-时域采样。帧序列14的帧采样值可为亮度或者亮度值、颜色值、深度值等，或者甚至为它们的组合。

视频编码器12可为任何类型，诸如例如使用以帧区块为基础具有选择运动参数的运动补偿预测的时间预测编码器。具体地，视频编码器12可为混合编码器，以逐区块为基础决定是否使用基于先前编码帧的时间预测以及/或者基于当前帧的先前编码相邻区块的空间预测来预测帧序列14的帧细分的区块。根据下文概述的实施方式更详细描述，例如，编码器12为被配置为产生H.264兼容数据流的视频编码器。然而，编码器12可根据JPEG2000标准或者根据即将到来的H.265视频标准交替操作。

视频编码器12在编码帧序列（诸如帧序列14）中具有某个特性。由于视频编码器12在编码进站帧序列中必须服从的数据流规定，视频编码器12呈现在由视频编码器12用于编码帧序列14的量化与编码率（即，编码所需比特数）之间的特性关系，其中，所述特性曲线又取决于帧序列本身的复杂度。确切地说，视频编码器12被配置为通过使用量化（诸如量化采样值以及/或者变化系数，诸如表示待编码帧的采样值以及/或者变化系数，或者其预测残差）以有损方式编码帧序列14。当然，当增加量化量时，编码质量下降，即，量化越粗略，编码质量越低。然而，另一方面，视频编码器12能够在使用较低编码率的较粗略量化处实现降低的编码质量，以及相应地，使编码率R与量化q相关联（反之亦然）的实际码率-量化函数R（q）通常为量化q的单调递减函数。然而，如上文已经提到，所述关系还取决于待编码材料的复杂度。不用说，帧序列内帧的复杂度往往为非恒定。因此，针对帧序列14的编码器12的码率-量化函数还受到时间变化影响。为了说明，图1的公共图24中在参考符号20处示出了对于帧序列14的帧k的编码器12的示例性码率-量化函数（即R_k（q））以及在参考符号22处示出了针对前一帧k–1的码率-量化函数R_k-1（q），图中横轴跨量化q，以及图中纵轴跨编码率R。作为小注释，提到量化q可为由编码器12使用的量化量的任何测量。因此，q=0可指编码器12不使用任何量化或者某个最小量化（诸如比特级操作）。此外，虽然图1表明，编码器12将能够连续改变量化q，但是编码器12只允许量化q的离散设定也是可能的。就编码率R而言同样适用。可使用任何测量以测量编码率R，诸如用于编码相应帧的比特数。

由于码率-量化函数20对帧序列14内容的依赖性，码率-量化函数20事先未知。当然，编码器12在设定可用编码选项中可执行许多试验，包括量化量，以针对帧序列14的各帧采样码率-量化函数20，以基于如此采样的R-Q曲线来最终选择最佳量化量，但是这对于编码器12而言将是繁重任务，并且根据应用，编码器12没有足够时间这样做。这是事实，例如，在编码器12用于实时编码帧序列14的实时应用情况下，诸如在摄像机等情况下。在该情况下，有利地是能够预测针对当前帧的编码器12的码率-量化函数以尽量减少试验次数，或者甚至简化由编码器12对当前帧的编码，以至于编码器12采用例如由码率控制器18基于所估计码率-量化函数确定的最佳量化。例如，码率控制器18必须保证由编码器12产生的数据流服从强加于系统16的一些码率约束，这是归因于例如一些传送容量，数据流必须经由所述容量来传送，诸如一些非易失性存储器的存储速率，或者无线或者有线通信路径传送，数据流将经由所述通信路径来传送。根据所估计码率-量化函数实际导致具有服从编码率约束的实际编码率的数据流，码率-量化函数20估计越佳，量化服从规定编码率的概率越高。

如上文已经描述，装置10的任务是估计码率-量化模型函数的模型参数，使得码率-量化模型函数尽可能逼近视频编码器12实际码率-量化函数。即，由装置10执行的逼近受到装置10所代表码率-量化模型函数的可参数化状态限制。在下文更详细描述的实施方式中，码率-量化模型函数为分段函数，包括较精细量化区间内的二次函数部分/段以及较粗略量化区间内的指数函数部分/段，以及其中，模型参数流形具有五维，即，五个独立可选模型参数。然而，图1实施方式并不受限于任何码率-量化模型函数，并且也可结合其它码率-量化模型函数使用。一般来说，由装置10使用的码率-量化模型函数为逼近实际码率-量化函数20的模型，即，R（q）≈f（q,X），其中，X表示码率-量化模型函数f的模型参数。优选地，双射函数将模型参数X映射到可行/可用码率-量化模型函数实例集上，反之亦然。为了说明，图1示出用于逼近当前帧k的实际码率-量化函数20的某些模型参数的码率-量化模型函数26。下文概述装置10确定或者估计相应模型参数的方式。

装置10包括更新器28、第一校正器30和第二校正器32。如下文将更详细概述，更新器28、第一校正器30和第二校正器32一起形成扩展时间离散卡尔曼滤波器，并且为此依次连接至回路中。

装置10具有输入端34，用于接收帧序列14。从图1可以看出，第一校正器30具有连接至所述输入端34的输入端。更新器28和第二校正器32可选地可具有也连接至输入端34的输入端。此外，如下文将更详细概述，装置10直接或者经由可选的码率控制器18以交互方式连接至编码器12，从而将模型参数估计提供给编码器12或者码率控制器18，并且从编码器12接收通过实际编码当前帧获得的实际编码率。

具体地，更新器28被配置为执行时间离散卡尔曼滤波器的预测步骤，时间离散卡尔曼滤波器的内部状态定义模型参数的参数估计，以从帧序列14前一帧k-1的时间离散卡尔曼滤波器的状态

获得帧序列14的当前帧k的时间离散卡尔曼滤波器的预测状态

即，更新器28结合与当前帧k有关的时间离散卡尔曼滤波器迭代步骤来执行第一步骤，并且为此，在与前一帧k-1有关的在先迭代结束时接收最后状态，即，

如下文将更详细概述，更新器28可被配置为在执行时间离散卡尔曼滤波器预测步骤中使用单位矩阵作为状态转移矩阵，使得预测状态

采用由前一帧k–1最后状态

定义的参数估计。同时，更新器28相对于最后状态增加了预测状态的不确定性。协方差矩阵可被用作对于不确定性的测量。具体地，更新器28可被配置为确定当前帧k与前一帧k-1之间相似性度量，以及使预测状态

的不确定性增加了取决于相似性度量的量。在连续帧k-1和k之间突然场景改变的情况下，例如，这些帧将几乎不具有相似度，以及因从前一状态预测当前卡尔曼状态

而增加的不确定性量将为极高。相反，在静态场景情况下，因更新器28预测而增加的不确定性将很可能接近零。更新器28可使用任何描述性统计测量，以测量连续帧之间的相似度。可在当前帧k和前一帧k-1之间确定相似性度量，使得这些帧之间的运动增加相似性度量，以及/或者消除/无视这些帧之间的运动。例如，更新器28可使用从前一帧k-1预测的预测帧，以确定当前帧k和预测帧之间的相似度。预测帧可来自编码器12，如图1中虚线箭头36示出。编码器12可能通过使用运动补偿预测但是例如以比编码当前帧最后使用的运动分辨率更低的运动分辨率已经确定预测帧。即，所述预测帧所代表的运动向量可能已经由编码器12以比编码当前帧k最后使用的运动向量更低的分辨率来确定，并且作为边信息与量化预测残差一起引入至数据流中。作为替代，序列14中除了k-1以外另一帧可作为参考帧，其中，在表示时间（presentation time）t中接近帧k的帧为优选。另外，在无运动补偿情况下帧k和帧k-1之间相似度可被用于获得相似性度量。

如对于时间离散卡尔曼滤波器已知，在由更新器28执行的预测步骤之后，各迭代步骤具有校正步骤。在装置10的情况下，针对每个迭代执行两次所述校正步骤。第一校正器30是用于在与当前帧k有关的迭代期间第一次执行校正步骤。具体地，第一校正器30被配置为确定当前帧的复杂性度量，并且使用取决于所确定复杂性度量的测量值来执行时间离散卡尔曼滤波器校正步骤，以从预测状态

获得时间离散卡尔曼滤波器的初次校正状态

第一校正器30可被配置为在确定复杂性度量中确定通过运动补偿预测确定的临时预测帧与当前帧之间的偏差度量以及/或者在当前帧的集中分布趋势周围其采样值分布的分散度测量。因此，如由虚线箭头38示出，第一校正器30可从视频编码器12接收临时预测帧。事实上，所述临时预测帧可为与视情况由更新器28根据36接收的帧相同。下文将更详细概述提到的对应测量实例。原则上，偏差度量可为范围、平均偏差、方差等。就当前帧而言同样适用于分散度测量。所有这些统计测量都可局部确定，诸如以逐区块为基础，其中，采用集中趋势平均或者一些其它测量作为所关注复杂性度量的最后示意。

更具体地，第一校正器30被配置为只基于复杂性度量（即，在不使用时间离散卡尔曼滤波器的在先状态中任何一个的情况下，即，也独立于当前状态

）来试图粗略预测针对码率-量化模型函数26的模型参数，以尽可能逼近实际码率-量化函数20。当然，所述预测非常粗略，但是第一校正器30可使用与如此粗略预测的模型参数与由第一校正器30基于针对前一帧k-1所确定的复杂性度量获得的针对前一帧k-1的模型参数预测结果之间差相等的测量值来执行时间离散卡尔曼滤波器的校正步骤，前一帧k-1的模型参数应用于相关矩阵。换言之，在先前迭代步骤中，第一校正器30已经基于针对前一帧k-1所确定的对应复杂性度量来执行前一帧k-1的码率-量化模型函数的模型参数粗略预测。为了获得针对校正步骤的测量值，第一校正器30可将前一帧k-1的这些粗略预测的模型参数应用于相关矩阵，并且确定所述应用结果与当前帧k粗略预测模型参数之间的差。通过所述测量，第一校正器30考虑粗略预测的噪声序列相关，以获得较佳测量值。因此，第一校正器30可使用与单位矩阵减去所使用相关矩阵相等的测量矩阵。相关矩阵可为单位矩阵乘以标量ψ_k，以及第一校正器30可被配置为根据当前帧k和前一帧k-1之间相似度来设定所述标量。如之前就箭头36而言提到，第一校正器30可按照更新器28确定相似度。

最后，第二校正器32被配置为使用取决于在使用预定量化编码当前帧k中视频编码器12实际编码率的测量值来第二次执行时间离散卡尔曼滤波器的校正步骤。换言之，第二校正器32对由第一校正器30输出的初次校正状态

再次执行校正。为了获得视频编码器12将当前帧k编码为在输出端40处由编码器12输出的数据流所需的实际编码率，第二校正器32自身可检验数据流，或者作为替代，从视频编码器12单独接收实际编码率，如图1中由箭头42示出。视频编码器12用于以实际编码率42编码当前帧k的预定量化可能使用由初次校正状态

的模型参数定义的码率-量化模型函数已经被确定。视频编码器12自身可执行预定量化确定。作为替代，可选的码率控制器18确定预定量化，以及通过使用如此确定的预定量化44来在外部控制视频编码器12。例如，码率控制器18可能必须服从一些编码率约束，并且基于由初次校正状态

模型参数确定的码率-量化模型函数来试图找到最佳预定量化44。可通过根据编码率和编码质量两者尽可能降低编码率或者一些成本函数来定义最佳效果。第二校正器32使用取决于实际编码率42的测量值，以及使用根据在初次校正状态

处线性化的根据预定量化码率-量化模型函数的模型参数X与视频编码器12编码率之间关系的线性形式的测量矩阵，来执行时间离散卡尔曼滤波器校正步骤。换言之，第二校正器32将在以实际编码率42编码当前帧中由编码器12使用的预定量化处的f（q,X）与模型参数线性化，并且所述线性关系在时间离散卡尔曼滤波器校正步骤中被第二校正器32用作测量矩阵。由第二校正器32执行的第二校正步骤结果表示时间离散卡尔曼滤波器的二次校正状态，以及因此表示更佳逼近当前帧的实际码率-量化函数20的模型参数更佳估计：第二校正器32通过更新器28将所述二次校正状态作为就下一帧k+1而言预测步骤性能的参考状态传递下去。

在比较粗略描述图1实施方式之后，在下文中，通过使用针对码率-量化模型函数的明确实例来更详细描述图1实施方式的可行实施。不用说，下文概述的细节也可容易转移到其它码率-量化模型函数，以及因此，下文概述的细节还应表示上述实施方式的详细实施，直至涉及其它码率-量化模型函数。相似地，下文概述的讨论通常假设视频编码器12为H.264编码器。然而，下文概述的讨论并不限于所述类型编码器，以及事实上，从以下讨论很容易得到所述细节全部也可容易转移到其它视频编码器。

然而，为了便于下文概述的细节的数学描述，首先，引入针对R-Q模型的特定实施方式，并且示出所述R-Q模型的模型参数可如何被解释为动态系统（即，时间离散卡尔曼滤波器在其上操作的动态系统）的状态。此后，呈现卡尔曼滤波器基础。之后，可用于确定R-Q模型的信息在以下节中描述。在IV节中，解释所述信息如何由变形卡尔曼滤波器处理，以获得模型参数的精确估计。然后在V节中呈现一些值得注意的言论。在VI节中，呈现与估计算法结合表明呈现模型质量的结果。穿插在所述详细描述中，参考图1以使上文呈现的细节相关联为图1所示并且迄今为止所述的可行实施细节。应当指出，下文呈现的细节个别涉及图1元件。

I.R-Q模型

利用所有可行量化编码帧以获得实际R-Q函数，这通常是不可能的。代替地，模型被用于提供量化参数与码率控制比特率之间关系的逼近知晓。

由于在运动补偿视频编码中的时间预测，帧的码率-量化特性在很大程度上取决于针对参考帧所使用的量化参数。然而，这将使找到合适模型更加困难，这是因为R-Q曲线将更加可变。为了避免所述复杂度，假设模型对于恒定量化值有效。这意味着，假定利用相同量化参数QP编码参考帧，R_k(QP)为利用QP量化的帧k码率。

许多模型在纹理/源位与头位之间分离（参见例如【9】）。纹理位为用于建模实际图像数据的位。头位提供必要边信息，如运动向量、预测模式和量化参数。然而，通常没必要有这种区别，也不简化建模问题。因此，现在呈现的码率-量化模型考虑总码率（纹理位+头位）。

在H.264/AVC中，可选择量化参数取决于所选位深度。现在在下文中呈现的模型能够逼近所有可行位深度的R-Q函数。因此，量化参数QP定义为

QP∈{-BDO,…,51}（3）

式中，位深度偏移（BDO）定义为BDO=6·(bit_depth_luma-8)。

A.R-Q模型函数

H.264/AVC编码视频帧的码率-量化曲线R(QP)针对不同帧可能看起来完全不同。针对较高位深度和较高量化步长大小尤其如此。为了能够足够良好地逼近所有这些曲线，通常使用的二次函数（方程（2））是不够的。因此，提出如【7】中更复杂模型。

这里导出的模型是基于以下观察：R(QP)-曲线在低量化参数处类似于线性或者二次函数。相反在较高QP值处，它们通常具有指数形状。这在图2中可以看到。

因此，以下试探性确定的分段函数可被用作图1中模型函数26：

$f(q,\mathrm{\β})=\left\{\begin{array}{cc}{f}_1(q,\mathrm{\β}),& 0\≤q\≤m\\ f_2(q,\mathrm{\β}),& m\≤q\≤N\end{array}\right.---\left(4\right)$

式中，第一区间由二次函数覆盖

f₁(q,β)=a₁+b₁(q-m)+c₁(q-m)²    （5）

以及第二区间由指数函数建模

f₂(q,β)=exp(a₂+b₂(q-m)+c₂(q-m)²)    （6）

参数向量β定义为β=[a₁,b₁,c₁,m,a₂,b₂,c₂]和N=51+BDO。由于记法简单而引入的实际量化参数QP与模型参数q之间关系为：

q＝QP+BDO    （7）

这意味着，q只表示偏移了BDO的实际量化参数QP。

应当指出，模型f(q,β)总是以位/像素表示码率。为了获得预期实际位数，f(q,β)简单地必须被乘以帧或者片内像素数（NP）。因此，R-Q函数被建模为

R(QP)≈NP·f(q,β)=NP·f(QP+BDO,β)    （8）

参数a₁,b₁,c₁,a₂,b₂,c₂和m被用于使函数拟合码率-量化曲线。应当指出，第一区间结束并且第二区间开始处的位置m（量化参数）本身为可调。如图3表明，针对不同序列，二次模型和指数模型之间过渡点位置可能完全不同（使用（10）中拟合的曲线来确定过渡点），这是有利的。

因为f(q,β)应为平滑的，所以要求为连续可微分。因此，只有β值被允许，其中

f₁(m,β)=f₂(m,β)和f₁'(m,β)=f₂'(m,β)    （9）

保持。根据a₁=exp(a₂)和b₁=b₂·a₁，这意味着实际上只有5个自由可选择参数，所述参数可被用于使由方程（4）给定的函数拟合帧实际码率-量化曲线。

图4中比较二次模型与针对移动序列帧的示例性R-Q曲线刚刚呈现的模型的逼近质量。应当指出，使用最小二乘法来确定二次模型和刚刚呈现的模型的参数。可以看出，刚刚呈现的模型能够非常良好地逼近码率-量化关系。虽然并不完美，二次模型也看起来合理。然而，我们在图5中可以看到，相对应绝对误差为相当大。刚刚呈现的模型的潜在精确度具有的缺点在于其相当复杂。这也意味着，可靠估计其参数更加困难。事实上，可快速且可靠预测简单模型的参数[6]。然而，模型应该对于整个量化值范围有效。以及我们将在下节中示出，仍有可能以高质量估计参数。此外，因为所述模型通常只对帧（以及或许片）层感兴趣，所以所需的另外计算微不足道。

B.逼近

由（4）给出的模型函数应适当逼近实际R(QP)关系。为了具有整个QP范围的合适模型，发明者发现，具有小相对逼近误差比小绝对逼近误差更重要。通过首先作出对数变换，然后使用最小二乘法，可接受相对误差得以实现。因此，最佳参数向量

定义为：

$\widehat{\mathrm{\β}}=\underset{\mathrm{\β}}{\arg \min }\underset{q=0}{\overset{N}{\mathrm{\Σ}}}{(\log \left(f(q,\mathrm{\β})\right)-\log (R\left(\mathrm{QP}\right)/\mathrm{NP}))}^2---\left(10\right)$

式中，假设，只考虑根据（9）的有效向量。应用对数变换来考虑相对误差更重要。

事实上，由

给出的模型被发现为实际R-Q函数R(QP)的非常精确逼近。通过图6中所示实例还证实，根据前述方法来确定模型参数。它还示出，相对误差针对所有QP保持相似，即，在整个域上逼近质量好。

虽然模型非常良好地逼近实际R-Q函数，但是仍有一些误差。这可表达为

$\log (R\left(\mathrm{QP}\right)/\mathrm{NP})=\log \left(f(q,\widehat{\mathrm{\β}})\right)+{\tilde{u}}_q---\left(11\right)$

式中，逼近误差

为具有零均值和方差

的正态分布，即

$E\left[{\tilde{u}}_q\right]=0$ $E\left[{\tilde{u}}_q{\tilde{u}}_q^T\right]=\tilde{U}---\left(12\right)$

C.状态公式化

根据（10），针对每个帧k可找到合适的参数向量

使用

模型近似描述相对应帧的码率-量化特性R_k(QP)。现在，假设，

可由向量x_k表示。然后，我们可以将所述向量x_k解释为帧k的R-Q模型状态。我们选择以下x_k定义：

$x_k=\left[\begin{array}{c}{x}_{k1}\\ x_{k2}\\ x_{k3}\\ x_{k4}\\ x_{k5}\end{array}\right]=\left[\begin{array}{c}\log \left(f(0,{\widehat{\mathrm{\β}}}_k)\right)\\ \log \left(f({\hat{m}}_k,{\widehat{\mathrm{\β}}}_k)\right)\\ f^{\′}({\hat{m}}_k,{\widehat{\mathrm{\β}}}_k)/f({\hat{m}}_k,{\widehat{\mathrm{\β}}}_k)\\ {\hat{m}}_k\\ \log \left(f(N,{\widehat{\mathrm{\β}}}_k)\right)\end{array}\right]---\left(13\right)$

实际上，我们可采用

作为状态。这样选择的原因是，当所使用模型函数只具有5个独立参数时，x_k只有5×1大小。此外，这给出强结果，并且还使参数a₁,b₁,c₁和a₂,b₂,c₂相对容易计算成为可能。采用对数

f(m_k,β_k)和

确保模型函数具有正范围（f(q,x)≥0）。

为了记法简单，在本节其余部分中的时间下标k省略，即，x₁为向量x的第一元素。从状态向量x的元素确定函数参数为

a₁=exp(x₂)    b₁=x₃·exp(x₂)

$c_1=(\exp \left(x_1\right)-\exp \left(x_2\right)+x_3\·\exp \left(x_2\right)\·x_4)/x_4^2$

a₂=x₂    b₂=x₃

c₂=(x₅-x₂-x₃·(N-x₄))/(N-x₄)²    （14）

因此，R-Q模型26在状态方面可改写为

$f(q,x)=\left\{\begin{array}{cc}{f}_1(q,x),& 0\≤q\≤x_4\\ f_2(q,x),& x_4\≤q\≤N\end{array}\right.---\left(15\right)$

其中

$f_1(q,x)=e^{x_2}+x_3{e}^{x_2}(q-x_4)+\frac{(e^{x_1}-e^{x_2}+x_3{e}^{x_2}{x}_4)}{x_4^2}{(q-x_4)}^2---\left(16\right)$

以及

$f_2(q,x)=\exp (x_1+x_1(q-x_4)+\frac{x_5-x_2-x_3(N-x_4)}{{(N-x_4)}^2}{(q-x_4)}^2)---\left(17\right)$

D.模型约束

显然，码率-量化模型在量化参数整个范围内应为正。此外，随着QP增加，它应单调递减。以及最后，虽然实际上并不完美，但是码率-失真函数应为凸的。这对于视频编码一些算法是必要的（参见例如[15]），以及此外符合码率失真理论[1]。因此，x要求满足

f(q,x)≥0     0≤q≤N

f′(q,x)≤0   0≤q≤N

f″(q,x) ≥0   0≤q≤N    （18）

由于（16）、（17）中涉及指数，并且假定f′(q,x)≤0，实际上保证f(q,x)≥0。剩余约束可给定为

x₃≤0

$(x_4{x}_3-1)e^{x_2}+e^{x_1}\≥0$

2x₅-(N-x₄)x₃-2x₂≤0

${(N-x_4)}^2{x}_3^2+2x_5-2(N-x_4)x_3-2x_2\≥0---\left(19\right)$

式中，前两个不等式确保f′(q,x)≤0，以及后两个不等式确保f"(q,x)≥0。

II.卡尔曼滤波器

如在后面节中将描述，找到R-Q模型最佳参数的问题可视为确定动态系统状态的问题。使用卡尔曼滤波器可找到线性动态系统的最佳状态。因此，卡尔曼滤波器也是IV节中呈现的模型参数估计算法的基础。这反过来是为什么一些卡尔曼滤波器原理在本节其余部分中解释的原因。

线性离散时间系统可定义为

x_k=Φ_k-1x_k-1+w_k-1    （20）

其中，测量方程

y_k=H_kx_k+v_k          （21）

式中，w_k为处理噪声，以及v_k为测量噪声，两者都为白色、零均值、未相关，以及其中，协方差分别为

或者

向量x_k表示系统状态，Φ_k-1为状态转移矩阵，以及H_k使状态与测量y_k相关。对于所述系统，通过应用离散时间卡尔曼滤波器算法来找到最佳状态

A.离散时间卡尔曼滤波器

离散时间卡尔曼滤波器（针对偏差，参见[17]）可被用于解决前述形式的线性离散时间系统。它包括以下计算，针对每个时间步长或者迭代k：

1）预测（状态和协方差传播）

${\hat{x}}_k^{-}={\mathrm{\Φ}}_{k-1}{\hat{x}}_{k-1}^{+}---\left(22\right)$

$P_k^{-}={\mathrm{\Φ}}_{k-1}{P}_{k-1}^{+}{\mathrm{\Φ}}_{k-1}^T+Q_{k-1}---\left(23\right)$

2）校正（状态和协方差更新）

$K_k=P_k^{-}{H}_k^T{(H_k{P}_k^{-}{H}_k^T+V_k)}^{-1}---\left(24\right)$

${\hat{x}}_k^{+}={\hat{x}}_k^{-}+K_k(y_k-H_k{\hat{x}}_k^{-})---\left(25\right)$

$P_k^{+}=(I-K_k{H}_k)P_k^{-}---\left(26\right)$

B.序列卡尔曼滤波

卡尔曼滤波器假设，在时间k处有r个单独测量。即，有r×1个测量向量y_k，所述向量y_k被用于（25）中校正。然而，无需立即处理所有测量。相反，也有可能一个又一个地处理测量-这是图1序列卡尔曼滤波器的想法。这意味着首先处理y_0k，然后y_1k等，直至所有r个测量都被考虑。虽然这需要使卡尔曼滤波器校正方程计算r次，但是当（24）中逆简单地变为除法时，即，无需矩阵求逆，这仍可非常有用。

如果测量噪声协方差矩阵V_k为对数，那么序列卡尔曼滤波器可能尤其有益。对于其它类型V_k，耗时的计算可能是必要的。在该情况下，经典批处理算法通常更佳。序列卡尔曼滤波器的更详细描述可在[17]中找到。

C.彩色测量噪声

有时，破坏测量的噪声为序列相关，即

v_k=Ψ_kv_k-1+ζ_k    （27）

式中，ζ_k为具有协方差的零均值白噪声

$E\left[{\mathrm{\ζ}}_k{\mathrm{\ζ}}_k^T\right]=Z_k---\left(28\right)$

如先前提到，标准卡尔曼滤波器假设v_k为白色。有通过扩大状态或者通过测量差分来解决所述问题的两个通用方法（参见[2,3]）。如下文将描述，这里考虑的问题的优选方法为测量差分方法（由Petovello等人在[13]中提出）的稍作修改的形式。

由Bryson和Henrikson[3]提出的测量差分方法定义新测量y'_k

y'_k=y_k-Ψ_ky_k-1    （29）

将（21）代入（29），得到

y'_k=H_kx_k+v_k-Ψ_k(H_k-1x_k-1+v_k-1)    （30）

根据[13]，我们将（20）重新排列如下

$x_{k-1}={\mathrm{\Φ}}_{k-1}^{-1}(x_k-w_{k-1})---\left(31\right)$

以及将它加入（30）：

${y^{\′}}_k=H_k{x}_k+v_k-{\mathrm{\Ψ}}_k(H_{k-1}\left({\mathrm{\Φ}}_{k-1}^{-1}(x_k-w_{k-1})\right)+v_{k-1})---\left(32\right)$

使用（27），我们可将它改写为

y'_k=H_k′x_k+v'_k（33）

式中

${H^{\′}}_k=(H_k-{\mathrm{\Ψ}}_k{H}_{k-1}{\mathrm{\Φ}}_{k-1}^{-1})---\left(34\right)$

${v^{\′}}_k={\mathrm{\Ψ}}_k{H}_{k-1}{\mathrm{\Φ}}_{k-1}^{-1}{w}_{k-1}+{\mathrm{\ζ}}_k---\left(35\right)$

辅助测量y'_k的噪声v'_k不再为序列相关，即

$E\left[{v^{\′}}_k{v^{\′}}_j^T\right]={v^{\′}}_k{\mathrm{\δ}}_{\mathrm{kj}}---\left(36\right)$

式中，δ_kj为克罗内克符号（Kronecker-Delta），定义为

以及

${V^{\′}}_k={\mathrm{\Ψ}}_k{H}_{k-1}{\mathrm{\Φ}}_{k-1}^{-1}{Q}_{k-1}{\mathrm{\Φ}}_{k-1}^{-T}{H}_{k-1}^T{\mathrm{\Ψ}}_k^T+Z_k---\left(38\right)$

新测量噪声v'_k和处理噪声w_k-1之间的引入相关为

$M_k=E\left[w_{k-1}{v^{\′}}_k^T\right]=Q_{k-1}{\mathrm{\Φ}}_{k-1}^{-T}{H}_{k-1}^T{\mathrm{\Ψ}}_k^T---\left(39\right)$

所述相关可由通用离散卡尔曼滤波器处理，其考虑干扰输入和测量噪声之间的互相关（参见[17]、[20]）。

D.扩展卡尔曼滤波器

若测量和状态以非线性方式相关，则可使用扩展卡尔曼滤波器，即

y_k=h_k(x_k,v_k)    （40）

扩展卡尔曼滤波器的想法是将当前状态

周围的测量方程线性化：

$y_k=h_k({\hat{x}}_k^{-},0)+\frac{{\∂h}_k}{\∂x}{|}_{{\hat{x}}_k^{-}}(x_k-{\hat{x}}_k^{-})+\frac{{\∂h}_k}{\∂v}{|}_{{\hat{x}}_k^{-}}{v}_k---\left(41\right)$

设定

${\tilde{H}}_k=\frac{{\∂h}_k}{\∂x}{|}_{{\hat{x}}_k^{-}}$ ${\tilde{M}}_k=\frac{{\∂h}_k}{\∂v}{|}_{{\hat{x}}_k^{-}}---\left(42\right)$

我们得到

$(y_k-[h_k({\hat{x}}_k^{-},0)-{\tilde{H}}_k{\hat{x}}_k^{-}\left]\right)={\tilde{H}}_k{x}_k+{\tilde{M}}_k{v}_k---\left(43\right)$

所述线性逼近为以可由卡尔曼滤波器处理的形式。

III.测量

这里，描述在下节中用于确定R-Q模型参数的测量。首先，有所谓复杂性度量，其可给出编码帧如何复杂的指示。通过校正器30确定和使用复杂性度量。其次，我们具有在编码之后获得的比特率，其揭示当前模型的估计误差。通过校正器32确定和使用比特率。

A.复杂性度量

有各种统计测量，在帧编码之前可由校正器30计算。这包括均值、协方差（σ²）以及在预测帧和实际帧之间的平均平方差（Δ）。后者只有在至少诸如在编码器12中已经完成粗略运动估计的情况下可用。作为替代，用在多个码率-失真模型估计方法中的常用MAD（平均绝对差）可被用作差值。

此外，可使用这些测量的方差，即，平均对数方差

和平均对数差（Δ_log）。后两者优势是单一边界值（例如，不可正确预测的宏块）对最终值无多大影响。

与类方差测量不同，预测差测量明显取决于最后帧编码。即，如果最后帧被编码非常差，那么即使两个原始帧之间无改变，也有预测误差。为了克服所述依赖性，由于参考帧失真导致的恶化必须从所测量预测差去除。通过考虑参考帧的QP和失真以及方差，这几乎可行。结果只是预测差测量的估计，如果原始帧已经被用作参考，那么将获得所述估计。

所述复杂性度量可指示相对应帧的编码特性。这意味着，这些测量和码率-量化模型参数之间有关系。因此，校正器30有可能分别将码率-量化模型的状态或参数估计为

通过计算各种序列的码率-量化关系，实证获得关系h_i,h_p。应当指出，在当前帧为新场景的第一帧时，即，Δ和Δ_log为非常差时，h_p也产生合理估计。

使用状态估计

我们可以用公式表示以下帧k的测量方程：

$x_k=H_k{\tilde{x}}_k+v_k---\left(45\right)$

式中，5×1向量v_k可视为预测误差或者噪声。根据（44）的实证推导，可假设

因为

为状态估计，所以矩阵H_k只是为单位矩阵，即

H_k=I    （46）

通常，预测误差v_k在时间上为高度相关。原因是，如码率-量化特性一样，复杂性度量对于后续帧而言是相似的。这意味着，例如，如果预测状态低估帧k的复杂度，那么针对帧k+1预测的状态

很有可能也低估复杂度。因此，v_k实际上为彩色噪声（比较II-C节），即

v_k=Ψ_kv_k-1+ζ_k    （47）

其中，ζ_k为时间未相关，并且为具有零均值和协方差Z_k的正态分布。即

E[ζ_k]=0 $E\left[{\mathrm{\ζ}}_k{\mathrm{\ζ}}_j^T\right]=Z_k{\mathrm{\δ}}_{\mathrm{kj}}---\left(48\right)$

式中，实证确定Z_k。为了简化，我们将5×5相关矩阵Y_k定义为

Ψ_k=I·ψ_k    （49）

式中，标量0≤ψ_k≤1。即，假设针对每个参数i＝1,…,5为相同相关ψ_k。这是合理的，因为相关性取决于最后帧和当前帧之间R-Q特性改变量（对于每个参数都相同）。在场景改变情况下，例如ψ_k=0。

对于图7中参数x₁（状态向量x的第一参数）可以看到预测误差序列相关。可以看到，预测

恒定高估实际值。误差因此为序列相关。使用（47），有可能摆脱相关，以及提取其余白噪声。

虽然不完全正确（因为所有状态参数都从相同复杂性度量预测），但是假设预测参数之间有互相关，即，Z_k为对数矩阵。这给出了以下好处：通过依次处理各测量，可在计算上高效（无矩阵求逆）计算卡尔曼滤波器方程。

B.编码比特率

视频序列的后续帧一般为非常相似。因此，相邻帧的R-Q特性为高度相关。这意味着，在帧k处模型更精确，人们可更精确估计帧k+1模型。因此，图1中易于理解，即使帧已经被编码，第二校正器也更新帧k模型。

因此，在利用量化参数QPk编码帧k之后测量的比特率B_k被用作反馈以校正R-Q模型。不幸的是，如果利用不同量化参数编码参考帧，那么所述码率可能偏离R_k（QP_k）（在也利用QP_k编码参考帧的情况下测量的码率，回顾I节）。然而，作为模型，应逼近实际R-Q曲线R_k（QP_k），新比特率

定义为

式中，函数γ_k的目的是从实际测量的码率B_k尽可能好地估计R_k（QP_k），即，γ_k（B_k,QP_k）≈R_k（QP_k）。简单选择将为γ_k（B_k,QP_k）=B_k，即，忽略时间依赖性并且只是用测量码率。然而，基于统计测量以及主要参考帧的量化参数，也有可能计算

其更接近R_k（QP_k）。码率

然后可被用于校正模型。根据（11），以下关系存在于比特率和状态之间

$\log ({\tilde{B}}_k/\mathrm{NP})=\log \left(f(q_k,x_k)\right)+(u_k+t_k)$

${\tilde{y}}_k=\log \left(f(q_k,x_k)\right)+{\tilde{v}}_k---\left(50b\right)$

应当指出，所述方程考虑针对帧序列的模型和实际R-Q函数之间的误差（每帧一个特定QP），而（11）考虑针对各种QP（但是只有一个帧）的模型和实际R-Q函数之间的误差。

如先前提到，误差u_k表示模型不能理想地表示R-Q曲线。由于参考帧不同量化导致的误差通过t_k来建模。显然，如果参考帧也利用QP_k来编码，那么所述误差为零。实际上适当地将u_k和t_k合并为

以及将它视为具有零均值和方差

的随机白噪声，即

$E\left[{\tilde{v}}_k\right]=0$ $E\left[{\tilde{v}}_k{\tilde{v}}_j^T\right]={\tilde{V}}_k{\mathrm{\δ}}_{\mathrm{kj}}---\left(51\right)$

IV.模型参数估计

在大多数论文中，二次R-Q模型参数似乎通过线性最小二乘法来确定。然而，虽然在某种程度上与（回归）线性最小二乘法【19】相似，但是卡尔曼滤波器针对所述特定问题具有决定性优势。这些主要是与生俱来的能力以适应变化、不确定性（噪声）考虑以及整合多个测量的可能性。

如先前提到，除了场景改变，视频帧的码率-量化特性在时间上为高度相关。这意味着，一个帧的R-Q函数通常与后一帧的R-Q函数相似。因此，所述相关可被用于增强模型精确度。当然，然而，视频及其码率-量化特性为动态。这意味着，它随着时间通常缓慢改变。当然，模型必须适应改变的R-Q关系。

因此，估计R-Q模型的问题被视为估计以下动态离散时间系统状态的问题

x_k=Φ_k-1x_k-1+w_k-1    （52）

状态向量x_k表示R-Q模型的参数，如I-C节中定义。因为从一个帧到下一帧R-Q特性没有确定性改变，所以状态转移矩阵Φ_k为单位矩阵，即

Φ_k=I    （53）

处理噪声w_k定义为

E[w_k]=0 $E\left[w_k{w}_j^T\right]=Q_k{\mathrm{\δ}}_{\mathrm{kj}}---\left(54\right)$

其中，干扰噪声协方差矩阵Q_k，其建模最后状态针对当前帧也保持的不确定性。

为了找到由（52）给出利用测量（45）和（50）的动态系统状态的最佳估计，装置10实施离散卡尔曼滤波器的变形形式。所述变形卡尔曼滤波器的工作原理以及所涉及数据在图8中针对帧k可视化。单独算法步骤的详细描述在下文中给出。

即，图8示出根据下文进一步概述的具体实现方式可由图1的元件执行的步骤。根据所述实现方式，元件28、30和32实现扩展卡尔曼滤波器。

A.预测

例如，图8中所示与当前帧k有关的算法周期中第一步骤为由更新器28执行的预测步骤50。

在预测步骤50中，最后帧的已校正状态和协方差矩阵被用于及时预测当前帧的状态和协方差矩阵，即，针对当前帧k。在（22）和（23）中使用（53），我们得到

${\hat{x}}_k^{-}={\hat{x}}_{k-1}^{+}---\left(55\right)$

$P_k^{-}=P_{k-1}^{+}+Q_{k-1}---\left(56\right)$

可以看出，在无更多信息情况下，针对当前帧k的状态的最佳估计正好为最后帧k-1的后验状态估计。然而，状态不确定性已经增加了Q_k-1。

这些计算55和56在预测步骤50内由更新器28执行。

B.校正

如上文已经概述，图8的变形卡尔曼滤波器算法的校正被分割成分别由第一校正器30和第二校正器32执行的两个校正步骤52和54。

在所述阶段52、54中，测量被用于校正状态。如III节中所述，我们有两个类型测量。从复杂性度量预测状态，以及在编码之后获得比特率。通常，所有测量被封装为测量向量，然后被用于更新状态。然而，在该情况下，从复杂性度量预测的状态在实际编码帧之前为可用，而比特率只有在之后才可用。然而，在编码之前有良好码率-量化模型很重要，这是因为它可通过码率控制（诸如，控制器18）用于确定量化参数。显然，模型和码率控制将不会与在我们只有在编码之后考虑复杂性度量的情况下的模型和码率控制同样好。因此，与经典卡尔曼滤波器不同，校正阶段被分成两个步骤。在第一步骤52中复杂性度量以及在第二步骤54中比特率被用于更新状态。

根据II-B中描述的序列卡尔曼滤波器，所述分法事实上可行。此外，当假设预测状态vk元素误差和测量比特率

误差之间无相关时，可容易利用二步校正，即

$E\left[v_{\mathrm{ik}}{\tilde{v}}_k^T\right]=0,i=1,...,5---\left(57\right)$

当两个类型误差源于完全不同缺点时，这个假设是可受理的。预测状态误差是由于复杂性度量预测的限制，而测量码率误差是由于模型不能完全匹配实际R-Q函数。这意味着，这两个类型测量之间的相关性为非常不可能。事实上，实验表明，预测状态和测量比特率之间没有明显相关性。

1）校正步骤1：由第一校正器30执行的第一校正步骤52包括步骤56：由第一校正器30确定复杂性度量

如上文提到，最佳确定可包括：编码器12执行粗略时间预测58，诸如执行全像素运动估计，以从前一帧k-1预测当前帧k。应当指出，编码器12不必使用紧接先前编码的帧作为参考帧。在呈现时间序列方面，参考也不限于紧接后续帧。编码器12自由选择参考索引，即，自由索引任何先前编码的帧作为参考帧。然后，在第一步骤52中，从如（44）中定义的复杂性度量

预测的状态被用于改善当前帧R-Q模型的估计质量。为了解决预测误差的序列相关，可使用II-C节中描述的测量差分方法。根据（29），辅助测量y'_k定义为

${y^{\′}}_k={\tilde{x}}_k-{\mathrm{\Ψ}}_k{\tilde{x}}_{k-1}---\left(58\right)$

将（53）、（46）加入方程（34），新测量矩阵H'_k变为

H'_k=I-Ψ_kI    （59）

所述步骤的卡尔曼增益K'_k为

${K^{\′}}_k=(P_k^{-}{H^{\′}}_k^T+M_k){({H^{\′}}_k{P}_k^{-}{H^{\′}}_k^T+{H^{\′}}_k{M}_k+M_k^T{H^{\′}}_k^T+{V^{\′}}_k)}^{-1}---\left(60\right)$

式中，

${V^{\′}}_k={\mathrm{\Ψ}}_k{Q}_{k-1}{\mathrm{\Ψ}}_k^T+Z_k$ $M_k=Q_{k-1}{\mathrm{\Ψ}}_k^T---\left(61\right)$

这分别通过在（38）和（39）中使用（46）和（53）获得。应当指出，（60）只是在如[17]或者[20]中给出的互相关干扰和测量输入情况下的卡尔曼增益公式。使用卡尔曼增益K'_k，我们可以通过更新状态来得到中间状态估计

如下

${\hat{x}}_k^0={\hat{x}}_k^{-}+{K^{\′}}_k({y^{\′}}_k-{H^{\′}}_k{\hat{x}}_k^{-})---\left(62\right)$

同样，所述步骤的处理噪声协方差更新变为

$P_k^0=P_k^{-}-{K^{\′}}_k({H^{\′}}_k{P}_k^{-}+M_k^T)---\left(63\right)$

即，第一校正器30可计算（58）以获得测量值y′_k，以及通过根据（59）设定测量矩阵以及根据（60）和（61）设定卡尔曼增益，可根据（62）以及根据（63）的相关联不确定性来校正卡尔曼状态。

2）校正步骤2：第一校正步骤52的结果为初次校正状态

以及如上所述，所述模型参数估计可被用于控制编码器的编码率，例如通过码率控制器18或者编码器12自身的一些内部实体（图1中未示出所述替代）。图8中利用参考符号60示出码率控制步骤。具体地，步骤60包括：基于由

确定的码率-量化模型函数来选择用于编码当前帧k的预定量化QP_k。在步骤62中由编码器12使用所述确定量化来执行实际编码。因此，由于使用所选确定量化QP_k导致的实际编码率B_k为已知，并且可被用在第二校正步骤54中。在所述步骤54中，编码之后获得的比特率被用作R-Q模型26的反馈。这意味着，根据关系（50b）来校正状态。当所述关系为非线性（由于log(f(q,x))）时，使用扩展卡尔曼滤波器（参见II-D节），根据扩展卡尔曼滤波器，当前状态

周围的测量方程根据以下被线性化：

${\tilde{y}}_k=\log \left(f(q_k,{\hat{x}}_k^0)\right)+\frac{\∂\log \left(f\right)}{\∂x}{|}_{q_k,{\hat{x}}_k^0}(x_k-{\hat{x}}_k^0)+{\tilde{v}}_k---\left(64\right)$

现在，我们将

定义为

处f(q_k,x)梯度

${\tilde{H}}_k=\frac{\∂\log \left(f\right)}{\∂x}{|}_{q_k,{\hat{x}}_k^0}---\left(65\right)$

然后，我们可以将（64）改写为

${\tilde{y}}_k-[\log \left(f(q_k,{\hat{x}}_k^0)\right)-{\tilde{H}}_k{\hat{x}}_k^0]={\tilde{H}}_k{x}_k+{\tilde{v}}_k---\left(66\right)$

使用左边作为（25）中的测量，所述步骤的测量更新变为

${\hat{x}}_k^{+}={\hat{x}}_k^0+{\tilde{K}}_k({\tilde{y}}_k-[\log \left(f(q_k,{\hat{x}}_k^0)\right)-{\tilde{H}}_k{\hat{x}}_k^0]-{\tilde{H}}_k{\hat{x}}_k^0)$

$={\hat{x}}_k^0+{\tilde{K}}_k({\tilde{y}}_k-\log \left(f(q_k,{\hat{x}}_k^0)\right))---\left(67\right)$

根据通用公式（24）和（26），计算卡尔曼增益

以及已更新协方差矩阵

即

${\tilde{K}}_k=P_k^0{\tilde{H}}_k^T{({\tilde{H}}_k{P}_k^0{\tilde{H}}_k^T+{\tilde{V}}_k)}^{-1}---\left(68\right)$

$P_k^{+}=(I-{\tilde{K}}_k{\tilde{H}}_k)P_k^0---\left(69\right)$

即，第二校正器32根据（65）将所使用量化q_k处的码率-量化模型函数与模型参数

初次预测状态线性化，以获得测量矩阵，以及计算（67）以更新卡尔曼状态，以及计算（69）以根据（64）、（66）和（68）更新相对应不确定性。

如上文关于（50a）和（50b）提到，第二校正器32可被配置为使得测量值以依赖于用在编码当前帧k中的预定量化q_k与由视频编码器12用在编码先前编码的参考帧的另一量化之间关系的方式来依赖于视频编码器12的测量编码率42，从所述参考帧的重构形式，视频编码器12通过运动补偿预测来预测当前帧。

在图8以上讨论中，已经忽略更新器28必须以某种方式预测干扰噪声协方差矩阵Q_k，以及针对第一校正器30同样适用，第一校正器30必须另外选择测量噪声协方差矩阵Z_k和

在以下C节中，与相关矩阵Ψ_k的可行选择一起讨论可行选择。

C.控制估计

不同可用信息的适当融合通过Q_k、Z_k,

和ψ_k来控制。矩阵建模确定测量和状态不确定性。通过适当选择它们，可获得状态和码率-量化模型的合理估计。由于视频帧R-Q特性的可变性，它们可有利地适应每个帧。

矩阵Q_k-1表示也为帧k良好估计的不确定性。所述不确定性是由于从一个帧到另一帧的编码特性改变。这意味着，如果两个后续帧（以及相对应R-Q函数）为非常不同，那么不确定性增加应为高。另一方面，如果两个帧几乎相同，那么最后帧状态很有可能也适用于当前帧。同样，参数估计

和

以及适当选择ψ_k和Z_k之间的相关性也可视为取决于从一个帧到另一帧的R-Q关系改变。

假设帧k-1和帧k之间的场景改变实例。在该情况下，处理噪声协方差Q_k-1的主对角线元素应变为无限，使得不再有状态确定性。这是必要的，因为除了场景改变的帧的码率-失真特性不为相关。由于类似原因，我们可以排除相关参数ψ_k应变为零，以及在该情况下Z_k=V_k。因此，如果有场景改变，那么忽略所有时间信息，以及从复杂性度量预测的状态

变为最可行状态估计。

值不直接取决于R-Q模型改变。如果它仅是模型，那么模型函数与实际R-Q关系

之间的误差可保持恒定。然而，当它也必须建模

与R_k(QP_k)的可行偏差时，在利用其它QP编码参考帧的情况下，它可被有利地增加。

V.备注

如图8所示，码率控制器60基于在第一校正步骤52之后获得的状态估计来使用码率-量化模型。这意味着，码率控制假设表示量化参数与帧k码率之间的关系。

假设，后续帧（方程（51））逼近误差中无相关性实际上处理一些显著后果。如果总是选择相似QP用于编码，那么模型在所使用量化参数范围内将变得更加精确。这意味着，模型在整个QP范围内可能不再为最佳，但是在当前使用的QP值周围有可能为较佳。这是非常有用的行为，因为通常只有QP值小范围被码率控制考虑。另一方面，如果使用来自整个可行范围[-BDO,51]的QP，那么从（10）意义上说，模型将变为全局最佳，即，模型针对所有量化参数具有相同估计质量。这意味着，模型精确度自动调整QP选择行为。

估计模型的校正和预测两者都假设，当前帧编码不取决于前一帧编码。如I节中所述，然而这是不正确的。实际操作码率-量化曲线与所估计码率-量化模型之间的偏差可再次被建模。即，然而，唯一重要的是必须知道确切比特率。如果比特率只有在长期中拟合，那么原码率-量化模型实际上是足够的，或者甚至给出较佳信息。

除了II-C节中提出的方法，有其它处理序列相关测量的方法，例如，状态增加或者经典测量差分方法。而状态增加方法将包括10×10矩阵计算，以及在数值上可为不稳定，经典测量差分方法难以适用序列。所使用方法的缺点是通常需要状态转移矩阵Φ的求逆。如在该情况下，然而，Φ^-1=I^-1=I，这是没有问题的。

同样，扩展卡尔曼滤波器不是处理非线性系统的唯一方法。例如，[17]中描述更多方法。然而，针对本文中所考虑的具体问题，扩展卡尔曼滤波器被认为是足够的。这是由于其计算简单以及它不管线性误差而提供合适结果的事实。

虽然很少见，但是可能发生，由卡尔曼滤波器返回的已更新状态违反约束（19）中一个或者多个。在该情况下，可通过使用[16]中所述约束卡尔曼滤波器的方法之一来获得有效状态。

应当指出，测量可依次处理，避免需要矩阵求逆。此外，许多矩阵为稀疏或者对称。这可被用于减少处理时间。

I图像的码率-失真特性不同于P或者B图像的码率-失真特性。因此，I图像的测量不应用于更新时间预测图像的码率-量化模型。

帧的码率-量化特性还取决于图像类型以及至参考帧的时间距离。例如，如果使用帧预测结构IbBbPbBbP，那么P帧R-Q关系与b帧R-Q关系极其不同。在该情况下，针对每个图像类型应该有一个算法实例（前面实例为4个）。实例包括状态估计

和相对应误差协方差矩阵P。当然，索引k-1在该情况下是指相同类型的先前编码帧。换言之，图1装置10可被配置为使得它在其上操作的帧序列为视频序列14的真子集，原因在于，所述帧序列只包括特定预测类型帧，以及排除序列14的相异预测类型帧。多个装置10将并行提供，每个装置针对不同预测类型，或者所述装置将管理不同卡尔曼状态以及相关联不确定性，即，每个预测类型一对。

VI.结果

为了证明提出模型的潜在精确度，我们计算各种序列帧的实际码率-量化曲线R(QP)。之后，我们使二次以及刚刚呈现的模型适用于测量R-Q函数。根据（10）完成两个模型的适用以得到可比较图。平均逼近误差测量为如下：

$\stackrel{\‾}{\mathrm{\ξ}}\left(\mathrm{mode}l\right)=\frac{100\%}{\mathrm{MN}}\underset{k=0}{\overset{M}{\mathrm{\Σ}}}\underset{\mathrm{QP}=-\mathrm{BDO}}{\overset{51}{\mathrm{\Σ}}}\frac{|\mathrm{mode}l(\mathrm{QP},{\widehat{\mathrm{\β}}}_k)-R_k\left(\mathrm{QP}\right)|}{\min (\mathrm{mode}l(\mathrm{QP},{\widehat{\mathrm{\β}}}_k),R_k\left(\mathrm{QP}\right))}$

其中，M为所考虑帧数。针对二次模型（二次模型通常只针对8位情况而定义。针对12位情况，我们使用为我们认为是直接扩展的模型）（方程（1））以及针对所提出模型（方程（4））的各种序列结果总结在表1中。

表1：二次模型和所提出模型的平均逼近误差比较

在表中可以看出，刚刚提出的模型明显优于二次模型，尤其针对12位采样深度的情况。

为了加深所提出估计算法，图9中示出实例步骤。应当指出，两个连续帧的码率-量化特性之间的大差异相当不寻常。然而，用于演示目的，它是好实例。可以看出，校正步骤1已经识别当前帧比最后帧编码更复杂。然而，测量码率指示

仍低估真实码率-量化特性。因此，校正步骤2将模型函数拖动更高。应当指出，已校正R-Q曲线不通过用于精确校正的采样。这是因为我们使用

的事实，其防止模型振荡（比特率从帧到帧通常振荡）。

在图10和图11中，我们从另一角度来看估计。我们看到在低时延情况下R-Q模型的示例性使用。码率控制试图找到导致给定目标码率（在该情况下为500kb/帧）的QP。这是最佳的，QP将为

$\underset{-\mathrm{BDO}\≤\mathrm{QP}\≤51}{\arg \min }|R_k\left(\mathrm{QP}\right)-t\arg \mathrm{et}\_\mathrm{rate}|---\left(70\right)$

当 $R_k\left(\mathrm{QP}\right)\≈\mathrm{NP}\·f(q,\hat{x})$ 时，码率控制使用

最小化的量化参数。在这些图中，我们比较最佳QP选择与根据R-Q模型选择的QP以及在只考虑从复杂性度量预测的状态情况下（只有Cor1）或者在只有编码之后测量的码率被用于校正模型情况下（只有Cor2）的QP。

从图10我们看到，在场景改变情况下，我们可只依赖从复杂性度量预测的状态。使用测量码率的校正对去除预测状态中偏差很重要。这在图11中示出，其中，所选QP以及相对应码率被显示达较长时间。通过合并两个校正，可找到相当接近最佳的解决方案（参见图10和图11）。

VII.结论

因此，上述模型能够逼近通过利用H.264/AVC非常精确编码形成的各种可行码率-量化曲线。这对于整个量化值范围都是如此。与常用二次模型的比较示出，它提供相当良好的质量。估计所述以及其它模型参数的问题可通过使用变形形式卡尔曼滤波器来解决。这允许考虑时间相关以及可用复杂性度量。结果是复杂而简单的算法，其经由噪声协方差矩阵和相关参数为完全可控。所述模型及其估计的优秀质量可通过各种模拟和试验来证实。

因此，换言之，上述实施方式以分段定义H.264/AVC码率-量化模型的基于卡尔曼滤波器的估计的形式合并两个方面。另一方面，针对H.264/AVC视频编码标准的有利帧层码率-量化（R-Q）模型已经被使用。具体地，有利模型函数以及有利参数估计算法两者都被用在上述实施方式中。分段定义模型函数能够非常好地表示码率-量化曲线的各种不同形状。为了模型参数估计，已经使用基于变形形式卡尔曼滤波器的算法。通过所述算法，连续帧的时间相关可被利用，以及同时可考虑复杂性度量以及从编码获得的比特率。使用所述模型和参数估计算法，可高精确度地预测实际码率-量化曲线。针对各种一通码率控制问题（比如，低时延码率控制）以及针对码率-失真优化问题，高质量R-Q模型可为非常有益。换言之，模型能够精确表示H.264/AVC编码帧的码率-量化关系。此外，所述算法能够正确估计所述模型的参数。与许多其它方法不同，以上实施方式严格分离码率控制和R-Q模型。码率-量化模型以及参数估计允许码率控制决定使用哪个量化值。显然，这具有以下优点：不同码率控制类型可使用相同R-Q模型。

然而，即使从其它分离利用，两个方面（即，模型函数以及基于卡尔曼滤波器的参数估计）也为有利的。即，上述分段模型函数可被用在用于估计模型参数的装置中，所述装置不使用或者实施基于卡尔曼的参数估计，所述装置包括如上所述的第一校正器和第二校正器。优点是在使得估计模型参数中稳定性将受到威胁的太多数目模型参数与使得逼近为差的太少数目模型参数之间的良好定义妥协的结果。另一方面，包括如上所述第一校正器和第二校正器的基于卡尔曼的模型参数估计还可结合除了上述分段模型函数以外其它码率-量化模型函数使用，以及优点是将校正过程分成两个步骤以在各个校正步骤中尽可能精确利用测量值的结果。基于卡尔曼的模型参数甚至可被用于估计失真-量化模型函数的模型参数以逼近视频编码器的实际失真-量化函数。在该情况下，例如通过初次校正卡尔曼滤波器状态获得的预定量化处的实际编码失真将被用于二次校正步骤。然而，通过使用失真-量化模型函数或者码率-量化和失真-量化模型函数两者，码率控制仍将控制编码率。

上述码率-量化模型函数以分段定义函数形式逼近R-Q关系。它由至少两个段组成或者包括至少两个段。第一（即，较精细量化段）为包括低量化值范围的二次函数。第二较粗略量化段为指数函数，其表示高QP的R-Q关系。试探性确定所述函数。然而，它一直出于实际R-Q关系特性。二次函数和指数函数之间的过渡点本身为可变。通过所述函数，模型变为非常适应。这是有利的，因为实际R-Q函数形状可为完全不同。这也是由于以下事实：模型函数可被用于例如8位、10位和12位位深的情况。通过对参数限制，确保函数为连续可微（C¹）。其余五个参数可被用于使模型高精确度适用于实际R-Q函数。

另一方面，上述R-Q模型参数估计将估计模型参数的问题视为估计动态离散时间系统状态的问题。当后续帧的R-Q特性为高度相关时，这是有效的，然而可略微改变。

因此，变形卡尔曼滤波器被用于确定系统最佳状态以及对应R-Q模型最佳参数。上述基于卡尔曼滤波器的算法包括三个主要步骤，所述步骤针对每个帧执行，并且在这里再次简要总结。

1）时间更新：从一帧到其它另一帧R-Q特性没有确定性改变。因此，最后帧状态被用作当前帧的第一估计。然而，状态不确定性增加。

2）第一校正：例如，复杂性度量为方差和预测误差。这些测量在编码之前为可用，并且可被用于直接预测当前帧模型参数。不幸的是，所述预测本身非常不精确（由于复杂性度量限制）。因此，预测参数被用作卡尔曼滤波器算法中的测量。因此，它们被用作校正当前状态。由于预测参数噪声的序列校正，有利地使用测量差分法。

3）第二校正：在当前帧编码之后，编码所需位数可被用于校正状态。由于测量和状态之间的非线性关系，当前状态周围的测量方程被线性化（扩展卡尔曼滤波器方法）。虽然帧已经被编码，但是所述校正具有意义。原因在于连续帧之间的高相关性，即，当前帧模型越佳，后一帧模型越佳。当然，还可结合上述实施方式使用线性R-Q模型（模型参数线性）。在该情况下，线性化只导致基于标准卡尔曼滤波器的算法，以及虽然不改变任何东西，但是无需线性化。换言之，以上实施方式可扩展为利用标准卡尔曼滤波器而不是扩展卡尔曼滤波器来操作。未执行第二校正器处的线性化。相反，根据针对初次校正状态处试验或者所选量化的码率-量化或者失真-量化模型函数26的模型参数和编码率之间的关系将已经为线性。

码率-控制基于步骤2之后得到的状态来使用模型。将所述模型用于帧和片层通常具有意义。对于低时延情况，精确模型尤其有用。如果帧QP已经为最佳，那么只有很少改变必须以宏块级完成，这避免R-D性能明显下降。这也证明相比较简单模型的计算开销。

通常，卡尔曼滤波器由两个步骤组成。然而，由于步骤1可在编码之前完成但是步骤2只有在编码之后完成的事实，我们将校正阶段分成两个步骤，以提供可码率-控制的最精确模型。根据序列卡尔曼滤波器以及步骤1测量与步骤2测量之间无互相关的事实，这是可行的。

状态不确定性可通过卡尔曼滤波器的噪声协方差矩阵来精确建模。这使得适应状态，以及通过所述状态使模型适应不同R-Q特性。例如，人们可以通过只增加当前状态不确定性对场景改变作出反应。应当指出，在该情况下，人们只能依赖步骤2中提到的预测参数。

人们已经发现，具有小相对误差比小绝对误差更重要。这在算法中视为通过使用对数变换。通过所述变换，形成整个QP范围内的精确模型。

由于步骤3中使用的比特率因白噪声而恶化的假设，模型精确度自动自适应码率控制的QP选择行为。这意味着，如果总是使用相似QP，那么模型将变为局域精确，而如果使用随机QP，那么模型将变为全局最佳。

虽然在装置上下文中已经描述一些方面，但是很明显，这些方面也表示相对应方法的描述，其中，方块或者器件对应于方法步骤或者方法步骤特征。类似地，方法步骤上下文中描述的方法也表示相对应方块或者项目或者相对应装置特征的描述。方法步骤一些或者全部可通过（或者使用）硬件装置来执行，比如，微处理器、可编程电脑或者电子电路。在一些实施方式中，最重要方法步骤中一个或者一个以上步骤可通过所述装置来执行。

根据某些实施要求，本发明实施方式可以硬件或者以软件实施。可使用其上存储电气可读控制信号的数字存储介质来执行所述实施，例如，软盘、DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或者快闪内存，所述控制信号与可编程电脑系统一起协作（或者能够协作），使得执行对应方法。因此，数字存储介质可为电脑可读。

根据本发明的一些实施方式包括具有电气可读控制信号的数据载体，所述控制信号能够与可编程电脑系统一起协作，使得执行本文所述方法之

一般地，本发明实施方式可实施为具有程序代码的电脑程序产品，当所述电脑程序产品在电脑上运行时，所述程序代码操作为执行所述方法之一。例如，程序代码可存储在机器可读载体上。

其它实施方式包括存储在机器可读载体上用于执行本文所述方法之一的电脑程序。

换言之，创新方法实施方式因此为具有程序代码的电脑程序，当所述电脑程序在电脑上运行时，所述程序代码用于执行本文所述方法之一。

创新方法的又一实施方式因此为数据载体（或者数字存储介质，或者电脑可读介质），包括存储在数据载体上用于执行本文所述方法之一的电脑程序。数据载体、数字存储介质或者记录介质通常为有形以及/或者非转换。

创新方法的又一实施方式因此为数据流或者信号序列，表示用于执行本文所述方法之一的电脑程序。例如，所述数据流或者信号序列可被配置为经由数据通信连接（例如，经由互联网）传递。

又一实施方式包括处理构件，例如，电脑或者可编程逻辑器件，配置为自适应执行本文所述方法之一。

又一实施方式包括电脑，具有安装在其上用于执行本文所述方法之一的电脑程序。

根据本发明的又一实施方式包括配置为将用于执行本文所述方法之一的电脑程序传递（例如，电气或者光学）至接收器的装置或者系统。例如，接收器可为电脑、移动器件、内存器件等。例如，所述装置或者系统包括文件服务器，用于将电脑程序传递至接收器。

在一些实施方式中，可编程逻辑器件（例如，现场可编程门阵列）可被用于执行本文所述方法功能的一些或者全部。在一些实施方式中，现场可编程门阵列可与微处理器协作，以执行本文所述方法之一。一般地，优选通过任何硬件装置来执行所述方法。

上述实施方式仅仅是为了说明本发明原理。应当理解，本文所述配置和细节的修改和变动对于所属领域技术者而言将显而易见。因此，意图是只通过即将来临的专利权利要求范围而不是通过以本文实施方式描述和解释的方式呈现的特定细节来限制。

参考文献

[1]Toby Berger.Rate Distortion Theory(Prentice-Hall series ininformation and system sciences).Prentice Hall,1971

[2]Jr.Arthur E.Bryson and Yu-Chi Ho.Applied Optimal Control:Optimization,Estimation and Control.Ginn and Company,1969

[3]Bryson,A.E.,Jr.and Henrikson,L.J.Estimation usingsampled-data containing sequentially correlated noise.Journal of Spacecraftand Rockets,5(6):662-665,1967

[4]Din-Yuen Chan and Shou-Jen Lin and Chun-Yuan Chang.A ratecontrol scheme using Kalman filtering for H.263.Journal of VisualCommunication and Image Representation,16(6):734-748,2005

[5]Tihao Chiang and Ya-Qin Zhang.A new rate control scheme usingquadratic rate distortion model.IEEE Transactions on Circuits and Systemsfor Video Technology,7(1):246-250,1997

[6]Jianpeng Dong and Nam Ling.On Model Parameter Estimationfor H.264/AVC Rate Control.IEEE International Symposium on Circuits andSystems,:289-292,2007

[7]Thomasz Grajek and Marek Doma n′ski.New Model of MPEG-4AVC/H.264 Video Encoders.International Conference on Image Processing,pages 961-964,Honk Kong,2010

[8]Zhihai He and Mitra,S.K.ρ-domain bit allocation and rate controlfor real time video coding.International Conference on Image Processing,3:546-549,2001

[9]Do-Kyoung Kwon and Mei-Yin Shen and Kuo,C.-C.J.RateControl for H.264 Video With Enhanced Rate and Distortion Models.IEEETransactions on Circuits and Systems for Video Technology,17(5):517-529,2007

[10]Hung-Ju Lee and Tihao Chiang and Ya-Qin Zhang.Scalable ratecontrol for MPEG-4 video.IEEE Transactions on Circuits and Systems forVideo Technology,10(6):878-894,2000

[11]Zhengguo Li and Feng Pan and Keng Pang Lim and Genan Fengand Xiao Lin and Susanto Rahardja.Adaptive Basic Unit Layer Rate Controlfor JVT.Joint Video Team(JVT)of ISO/IEC MPEG&ITU-T VCEG,2003.JVT-G012

[12]Ma,S.and Wen Gao and Yan Lu.Rate-distortion analysis forH.264/AVC video coding and its application to ratecontrol.IEEETransactions on Circuits and Systems for Video Technology，15(12):1533-1544,2005

[13]Petovello,M.andK.and Lachapelle,G.and Cannon,M.Consideration of time-correlated errors in a Kalman filter applicable to GNSS.Journal of Geodesy,83:51-56,2009

[14]Rec.ITU-T H.264 and ISO/IEC 14496-10(MPEG4-AVC).Advanced video coding for generic audiovisual services.2010

[15]Sermadevi,Y.and Hemami,S.S.and Masry,M.ConvexProgramming Formulations for Rate Allocation in Video Coding.IEEETransactions on Circuits and Systems for Video Technology,16(8):947-959,2006

[16]Simon,D.and Tien Li Chia.Kalman filtering with state equalityconstraints.IEEE Transactionson Aerospaceand ElectronicSystems,38(1):128-136,2002

[17]Dan Simon.Optimal State Estimation:Kalman,H Infinity,andNonlinear Approaches.Wiley-Interscience,2006

[18]Devinderjit Sivia and John Skilling.Data Analysis:A BayesianTutorial.Oxford University Press,USA,2edition,2006

[19]H.W.Sorenson.Least-squares estimation:from Gauss toKalman.IEEE Spectrum,7:63-68,1970

[20]Robert F.Stengel.Optimal Control and Estimation(DoverBooks on Advanced Mathematics).Dover Publications,1994

[21]Koichi Takagi and Yasuhiro Takishima and Yasuyuki Nakajima.A study on rate distortion optimization scheme for JVT coder.Proc.SPIE，5150:914-923,2003

[22]Vetro,A.and Huifang Sun and Yao Wang.MPEG-4 rate controlfor multiple video objects.IEEE Transactions on Circuits and Systems forVideo Technology,9(1):186-199,1999

[23]Webb,J.L.H.and Oehler,K.A simple rate-distortion model,parameter estimation,and application to real-time rate controlfor DCT-basedcoders.International Conference on Image Processing.Proceedings.,2:13-16,1997

[24]Yimin Zhou and Yu Sun and Zhidan Feng and Shixin Sun.Newrate-distortion modeling and efficient rate control for H.264/AVC video coding.Signal Processing:Image Communication,24(5):345-356,2009。

Claims (22)

1.一种用于估计码率-量化或者失真-量化模型函数（26）的模型参数以逼近针对帧序列（14）的视频编码器（12）的实际码率-量化或者失真-量化函数（20）的装置，所述装置包括：

更新器（28），被配置为执行时间离散卡尔曼滤波器的预测步骤（50），以从所述帧序列（14）的前一帧（k–1）的时间离散卡尔曼滤波器状态获得所述帧序列（14）的当前帧（k）的时间离散卡尔曼滤波器的预测状态所述时间离散卡尔曼滤波器的状态定义所述模型参数的参数估计；

第一校正器（30），被配置为确定所述当前帧k的复杂性度量，并且使用取决于所确定的复杂性度量的测量值来执行所述时间离散卡尔曼滤波器的校正步骤（52），以从所述预测状态

获得所述时间离散卡尔曼滤波器的初次校正状态以及

第二校正器（32），被配置为使用取决于在使用预定量化来编码所述当前帧（k）中所述视频编码器（12）的实际编码率或者失真度（42）的测量值来执行所述时间离散卡尔曼滤波器的校正步骤（54）。

2.根据权利要求1所述的装置，其中，所述更新器（28）被配置为在执行所述时间离散卡尔曼滤波器的所述预测步骤中使用单位矩阵作为状态转移矩阵，使得所述预测状态采用由针对前一帧的所述时间离散卡尔曼滤波器的状态所定义的参数估计，并且被配置为相对于所述前一帧的所述时间离散卡尔曼滤波器的所述状态增加所述预测状态的不确定性。

3.根据权利要求2所述的装置，其中，所述更新器（28）被配置为确定所述当前帧（k）和所述前一帧（k–1）之间的相似性度量，以及使所述预测状态的不确定性增加取决于所述相似性度量的量。

4.根据权利要求1至3中任一项所述的装置，其中，所述第一校正器（30）被配置为在确定所述复杂性度量中确定通过运动补偿预测确定的临时预测帧与所述当前帧之间的偏差度量以及/或者在所述当前帧的采样值的分布的集中趋势周围该分布的分散度测量。

5.根据权利要求1至4中任一项所述的装置，其中，所述第一校正器（30）被配置为基于所确定的所述复杂性度量来预测所述当前帧（k）的码率-量化或者失真-量化模型函数的模型参数，以及使用取决于所预测的模型参数与基于针对所述前一帧确定的复杂性度量而预测的所述前一帧的模型参数的预测结果之差的测量值和等于所述单位矩阵减去一相关矩阵的测量矩阵来执行所述校正步骤，所述前一帧的模型参数被应用于所述相关矩阵。

6.根据权利要求5所述的装置，其中，所述第一校正器（30）被配置为根据所述当前帧和所述前一帧之间的相似度来设定所述相关矩阵。

7.根据权利要求1至6中任一项所述的装置，其中，所述第二校正器被配置为使用使用了测量矩阵的测量值来执行所述时间离散卡尔曼滤波器的所述校正步骤，所述测量矩阵取决于在初次校正状态

处根据所述预定量化的码率-量化或者失真-量化模型函数（26）的模型参数与所述编码率或者失真度之间线性关系的线性形式。

8.根据权利要求1至6中任一项所述的装置，其中，所述第二校正器被配置为使用使用了测量矩阵的测量值来执行所述时间离散卡尔曼滤波器的所述校正步骤，所述测量矩阵取决于在初次校正状态

处线性化的根据所述预定量化的码率-量化或者失真-量化模型函数（26）的所述模型参数与编码率或者失真度之间关系的线性形式。

9.根据权利要求8所述的装置，其中，所述码率-量化或者失真-量化模型函数为码率-量化模型函数，以及所述第一校正器被配置为基于所确定的所述复杂性度量来预测所述当前帧k的码率-量化模型函数的模型参数，并且根据所预测的模型参数来确定所述校正步骤的测量值，以及所述第二校正器被配置为根据码率-量化模型函数来确定取决于所述模型参数与所述编码率之间关系的线性形式的测量矩阵，两者都使得使所述视频编码器的所述量化q与所述视频编码器的所述编码率相关联的码率-量化模型函数f为分段函数，包括在较精细量化区间内的二次函数段以及在较粗略量化区间内的指数函数段。

10.根据权利要求8和9中任一项所述的装置，其中，所述第一校正器被配置为基于所确定的所述复杂性度量来预测所述当前帧k的码率-量化模型函数的模型参数，并且根据所预测的模型参数来确定所述校正步骤的测量值，以及第二校正器被配置为根据所述码率-量化模型函数来确定取决于所述模型参数与所述编码率之间关系的线性形式的测量矩阵，两者都使得使所述视频编码器的量化q与所述视频编码器的编码率相关联的码率-量化模型函数f为

$f(q,\mathrm{\β})=\left\{\begin{array}{cc}{f}_1(q,\mathrm{\β}),& 0\≤q\≤m\\ f_2(q,\mathrm{\β}),& m\≤q\≤N\end{array}\right.$

f₁(q,β)=a₁+b₁(q-m)+c₁(q-m)²

f₂(q,β)=exp(a₂+b₂(q-m)+c₂(q-m)²)

其中，β=[a₁,b₁,c₁.m,a₂,b₂,c₂]，以及N定义量化q的范围，使得0≤q≤N，

以及

$x=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\\ x_4\\ x_5\end{array}\right]=\left[\begin{array}{c}\log \left(f(0,\mathrm{\β})\right)\\ \log \left(f(m,\mathrm{\β})\right)\\ f^{\′}(m,\mathrm{\β})/f(m,\mathrm{\β})\\ m\\ \log \left(f(N,\mathrm{\β})\right)\end{array}\right]$

定义模型参数x₁、x₂、x₃、x₄和x₅。

11.根据权利要求1至10中任一项所述的装置，其中，所述更新器被配置为在执行所述预测步骤中计算

${\hat{x}}_k^{-}={\mathrm{\Φ}}_{k-1}{\hat{x}}_{k-1}^{+}$

$P_k^{-}={\mathrm{\Φ}}_{k-1}{P}_{k-1}^{+}{\mathrm{\Φ}}_{k-1}^T+Q_{k-1}$

式中，为针对所述前一帧k–1的所述时间离散卡尔曼滤波器的状态，

为针对所述当前帧的所述时间离散卡尔曼滤波器的预测状态，

为测量针对所述前一帧k–1的所述时间离散卡尔曼滤波器的状态不确定性的协方差矩阵，

为测量针对所述当前帧的所述时间离散卡尔曼滤波器的预测状态不确定性的协方差矩阵，以及

Q_k-1为干扰噪声协方差矩阵，

其中，所述第一校正器被配置为根据所述当前帧与所述前一帧之间相似度来设定Q_k-1，

其中，所述第一校正器被配置为计算

${\hat{x}}_k^0={\hat{x}}_k^{-}+{K^{\′}}_k({y^{\′}}_k-{H^{\′}}_k{\hat{x}}_k^{-})$

$P_k^0=P_k^{-}-{K^{\′}}_k({H^{\′}}_k{P}_k^{-}+M_k^T)$

其中

${y^{\′}}_k={\tilde{x}}_k-{\mathrm{\Ψ}}_k{\tilde{x}}_{k-1}$

H'_k=I-Ψ_kI

${K^{\′}}_k=(P_k^{-}{H}_{k^{\′}}^T+M_k){({H^{\′}}_k{P}_k^{-}{H}_{k^{\′}}^T+{H^{\′}}_k{M}_k+M_k^T{H}_{k^{\′}}^T+{V^{\′}}_k)}^{-1}$

${V^{\′}}_k={\mathrm{\Ψ}}_k{Q}_{k-1}{\mathrm{\Ψ}}_k^T+Z_k$ $M_k=Q_{k-1}{\mathrm{\Ψ}}_k^T$

其中

为针对所述当前帧的所述时间离散卡尔曼滤波器的初次校正状态，

为测量初次校正状态的不确定性的协方差矩阵，

定义从所确定的所述当前帧k的复杂性度量而预测的模型参数，

定义从所确定的所述前一帧k–1的复杂性度量而预测的模型参数，

Ψ_k为根据所述当前帧与所述前一帧之间相似度来设定的相关矩阵，

I为单位矩阵，

Z_k为测量噪声协方差矩阵，

其中，所述第二校正器被配置为计算

${\hat{x}}_k^{+}={\hat{x}}_k^0+{\tilde{K}}_k({\tilde{y}}_k-\log \left(f(q_k,{\hat{x}}_k^0)\right))$

$P_k^{+}=(I-{\tilde{K}}_k{\tilde{H}}_k)P_k^0$

其中

${\tilde{H}}_k=\frac{\∂\log \left(f\right)}{\∂x}{|}_{q_k,{\hat{x}}_k^0}$

${\tilde{K}}_k=P_k^0{\tilde{H}}_k^T{({\tilde{H}}_k{P}_k^0{\tilde{H}}_k^T+{\tilde{V}}_k)}^{-1}$

其中

f为能够由所述模型参数x参数化并且表示编码率-量化或者失真-量化函数的码率-量化或者失真-量化模型函数，

为针对所述当前帧的所述时间离散卡尔曼滤波器的二次校正状态，

为测量所述二次校正状态的不确定性的协方差矩阵，

q_k为所述预定量化，

为另一测量噪声协方差矩阵，以及

为在使用所述预定量化编码所述当前帧中所述视频编码器的实际编码率或者失真度的度量。

12.根据权利要求1至11中任一项所述的装置，其中，所述第二校正器被配置为使得所述测量值以取决于在编码所述当前帧（k）中使用的预定量化与在编码先前编码的参考帧中由所述视频编码器（12）使用的另一量化之间关系的方式来取决于所述视频编码器的实际编码率或者失真度（42），所述视频编码器在编码所述当前帧中在运动补偿预测内从所述参考帧的重构形式预测所述当前帧。

13.根据权利要求1至12中任一项所述的装置，其中，所述装置被配置为使得所述帧序列为视频序列真子集，原因在于，所述帧序列只包括特定预测类型帧并且排除相异预测类型帧。

14.一种系统，包括：

视频编码器（12）；以及

根据前述权利要求中任一项所述的用于估计码率-量化或者失真-量化模型函数（26）的模型参数以逼近针对帧序列（14）的所述视频编码器（12）的实际码率-量化或者失真-量化函数（20）的装置。

15.根据权利要求14所述的系统，还包括码率控制器（18），所述码率控制器（18）被配置为使用由初次校正状态确定的所述码率-量化或者失真-量化模型函数来确定所述预定量化，以及所述视频编码器被配置为使用所述预定量化将所述当前帧编码为数据流。

16.根据权利要求15所述的系统，其中，所述视频编码器被配置为使用运动补偿预测来预测第一运动分辨率的所述当前帧，以获得临时预测帧，其中，所述第一校正器被配置为使用所述临时预测帧来确定复杂性度量，以及其中，所述视频编码器被配置为通过运动补偿预测来预测比所述第一运动分辨率更高的第二运动分辨率的所述当前帧，以获得最后预测帧，并且使用所述最后预测帧来编码所述当前帧。

17.一种用于估计码率-量化模型函数（26）的模型参数以逼近针对帧序列（14）的视频编码器（12）的实际码率-量化函数（20）的装置，其中，所述装置被配置为使得所述码率-量化模型函数为分段函数，包括在较精细量化区间内的二次函数段以及在较粗略量化区间内的指数函数段。

18.根据权利要求17所述的装置，其中，所述装置被配置为使得沿量化轴所述二次函数段与所述指数函数段之间的过渡点位置可经由所述模型参数来调整。

19.根据权利要求17或者18所述的装置，其中，所述装置被配置为通过使用扩展卡尔曼滤波器来估计所述模型参数，所述扩展卡尔曼滤波器的状态定义所述模型参数的参数估计。

20.一种用于估计码率-量化或者失真-量化模型函数（26）的模型参数以逼近针对帧序列（14）的视频编码器（12）的实际码率-量化或者失真-量化函数（20）的方法，所述方法包括以下步骤：

执行时间离散卡尔曼滤波器的预测步骤（50），以从针对所述帧序列（14）的前一帧（k–1）的所述时间离散卡尔曼滤波器的状态获得所述帧序列（14）的当前帧（k）的所述时间离散卡尔曼滤波器的预测状态

所述时间离散卡尔曼滤波器的状态定义所述模型参数的参数估计；

确定所述当前帧k的复杂性度量，以及使用取决于所确定的所述复杂性度量的测量值来执行所述时间离散卡尔曼滤波器的校正步骤（52），以从所述预测状态

获得所述时间离散卡尔曼滤波器的初次校正状态

以及

使用取决于在使用预定量化来编码所述当前帧（k）中所述视频编码器（12）的实际编码率或者失真度（42）的测量值，以及使用取决于在所述初次校正状态

处线性化的根据所述预定量化的码率-量化或者失真-量化模型函数（26）的模型参数与编码率或者失真度之间关系的线性形式的测量矩阵，来执行所述时间离散卡尔曼滤波器的校正步骤（54）。

21.一种用于估计码率-量化模型函数（26）的模型参数以逼近针对帧序列（14）的视频编码器（12）的实际码率-量化函数（20）的方法，其中，所述码率-量化模型函数为分段函数，包括在较精细量化区间内的二次函数段以及在较粗略量化区间内的指数函数段。

22.一种计算机程序，具有程序代码，所述程序代码用于当在计算机上运行时执行根据权利要求20或者21所述的方法。

Images