CN1656815A - 用于增强来自无漂移的可缩放比特流的视频的系统和方法 - Google Patents

Abstract

一种具有一个解码器重建系统(18)的可缩放解码器系统(10)，其中该解码器重建系统(18)包括：用于估算一个丢失的离散余弦变换(DCT)系数的估计算法，其将先前增强层数据的量化噪声合并到期望值当中，其中该估计算法包括一个取决于至少一个未知参数的密度分布；以及用于根据等式估算的参数估计算法，其中b₁表示一组量化器判决级别1中的每一个，且₁是数据被量化到每个量化器判决级别1，2，…，1的一组标准化的发生频率的总和。

Description

用于增强来自无漂移的可缩放比特流的视频的系统和方法

技术领域

本发明总体上涉及可缩放(scalable)解码器，并且更加具体地讲，涉及通过分析来自当前和参考帧的增强层信息的统计特性来提高解码质量的系统和方法。

背景技术

随着采用诸如MPEG、H.26x等等这样的压缩数据标准的系统的流行度的持续提高，有效地处理和传输被压缩数据的能力仍然是一个形成中的挑战。传送压缩数据的挑战之一包括对网络损伤的敏感度。因为压缩视频使用预测编码算法和可变长编码，所以传输信道问题能够造成错误传播或“漂移(drift)”。尤其是，得到广泛使用的运动补偿使得错误能够在时间上和空间上都进行传播。由于这个原因，需要新的技术来限制错误传播的范围。

近年来，可缩放视频编码器的研发一直集中在通过提供仅从基本层(BL)预测基本层的系统来消除偏移上。这种策略已经在MPEG-4精细粒度可缩放(FGS)系统中迈进了一步，在FGS系统中增强层(EL)也是仅从BL预测的。不过，虽然近来可缩放视频编码算法在压缩视频方面正变得更加有效，但是由于它们在预测BL的时候忽略了所有的EL信息，所以它们损失了压缩效率。

借助在编码过程期间对DCT系数的演进进行建模，可以通过对BL和EL的量化器信息进行最佳组合来提高编码效率。虽然这种方法改善了整个编码器的速率失真性能，但是它仍然易于在可变带宽信道中偏移，因为EL分组可能会取决于业务量条件而被无规律地丢弃。

而且，早先的改善无偏移可缩放视频编码器的尝试需要对编码器结构进行重大修改。这样的修改对改进现有的无偏移可缩放视频编解码器，比如MPEG-4精细粒度可缩放(FGS)，并不总是可行的。

发明内容

本发明通过提供一个具有参数估计和最佳重建(PEOR)系统和方法用来选择去量化器的最佳重建点的可缩放解码器，而解决至少一个上述问题。在第一方面，本发明提供了一个具有解码器重建系统的可缩放解码器系统。其中该解码器重建系统包括：一个用于估算一个丢失的离散余弦变换(DCT)系数的估计算法，其中该估计算法包括一个取决于至少一个未知参数

的密度分布；以及一个用于根据等式： ${\widehat{\mathrm{\α}}}_l=-\frac{\log (1-{\hat{P}}_l)}{b_l}$ 估计

的参数估计算法，在等式中，b₁表示一组量化结果级别1中的每一个， 是被量化到每个量化器判决级别1，2，...，1的一组数据发生的标准化频率的总和。估计算法由下面的等式给出： ${\tilde{x}}_{i,n}^e=a_{i,n}+E_z\left\{d_{i,n}(\mathrm{\ρ};{\tilde{x}}_{i,n-1}^e+Z)\right\},$ 其中Z是一个量化噪声，E_Z是关于量化噪声Z的一个期望值， $d_{i,n}(\mathrm{\ρ};{\tilde{x}}_{i,n-1}^e+Z)$ 表示重建偏移，

是前一帧的DCT系数的一个期望值，ρ等于-1和1之间的一个预定值，以及a_i，n是量化间隔的开始。

在第二方面，本发明提供了一种在一个可缩放解码器中使用的参数估计和最佳重建(PEOR)方法，该方法包括：确定该组量化发生；估计参数α，其中根据等式 ${\widehat{\mathrm{\α}}}_l=-\frac{\log (1-{\hat{P}}_l)}{b_l}$ 来估计α，其中b₁表示一组量化器判决级别1中的每一个，以及

是数据被量化到每个量化器判决级别1，2，...，1的一组标准化的发生频率的总和。根据等式 ${\tilde{x}}_{l,n}^e=a_{i,n}+d_{i,n}(\mathrm{\ρ};{\tilde{x}}_{i,n-1}^e)$ 产生初步(preliminary)的重建点；并且平滑该初步的重建点，从而生成一个最佳重建点。

在第三方面，本发明提供一种在一个可缩放解码器中使用的一个参数估计和最佳重建(PEOR)系统，包括：一个重建系统，用于根据等式 ${\tilde{x}}_{i,n}^e=a_{i,n}+E_z\{d_{i,n}(\mathrm{\ρ};{\tilde{x}}_{i,n-1}^e+Z)$ 确定一个最佳重建，其中Z是一个量化噪声，E_Z是一个有关量化噪声Z的期望值， $d_{i,n}(\mathrm{\ρ};{\tilde{x}}_{i,n-1}^e+Z)$ 表示一个重建偏移， 是前一帧的离散余弦变换(DCT)系数的期望值，ρ等于-1和1之间的一个预定值，a_i，n是一个量化间隔的开始。

附图说明

通过下面结合附图对本发明的各个方面的详细描述，更容易理解本发明的这些和其他特征，其中：

附图1表明了根据本发明的一个可缩放解码器系统。

附图2描述了根据本发明的一个参数估计和最佳重建系统。

附图3描述了一个重建点。

附图4描述了根据本发明确定的一个最佳重建点。

具体实施方式

与传统的方法不同，本发明提供了一种在空间和时间方向上利用编码比特流的冗余信息来提高解码器的效率的解码器系统。本发明并不需要对现有的无漂移可缩放编码器或比特流语法进行改变。这样，对于给定的比特流，本发明在总信号噪声比(PSNR)方面，相对于现有的解码器而言，提供了始终提高的解码视频质量。

本发明还发展了在题为《可缩放视频编码中用于错误消除的最佳估测(Optimal Estimation for Error Concealment in Scalable VideoCoding)》(作者为R.Zhang、S.L.Regunathan和K.Rose，2000年第34届关于信号、系统和计算机的Asilomar会议的会议记录(Conference Record of the Thirty-Forth Asilomar Conference onSignals，Systems and Computer，2000)，第2卷，2000年)(下文中称为“Zhang参考文献”)的论文中提出的概念，该论文介绍了一种用于可缩放视频编码的错误消除的算法，并且该论文以引用的方式并入本文。不过，本发明将Zhang参考文献的概念扩展并改进为提供在PSNR方面始终较好的视频质量。而且，如下面所给出的，本发明并不要求参数的训练，因此在很多视频应用中更加实用。此外，与该提及的参考文献不同，在没有传输错误发生时，可以应用本发明来改善解码器的性能。

Zhang参考文献提供了一种通过减轻增强层的分组丢失造成的损害来隐藏可缩放视频编码的错误的机制。该参考文献充分利用能够在解码器处从当前的基本层和先前的增强层帧获得的DCT域的信息。其应用了一个统计模型来评估帧与帧之间的变换系数，并且执行重建系数的最佳估计。

更特别的是，时间上的(帧到帧的)DCT系数的评估可以通过一阶马尔可夫过程来模型化：

x_i，n＝ρx_i，n-1+w_i，n，    (1)

其中x_i，n是帧n的第i个DCT系数，x_i，n-1是通过运动补偿映射到它的先前帧中的DCT系数，w_i，n表示一个独立的修正(innovation)产生过程，以及ρ是具有一个小于1的绝对值的AR系数。

考虑这样的一个场景，其中已经丢失了一个增强层分组，并且需要重建一个块。它们首先使用由(没有错误的)基本层所提供的信息，该信息(通过其量化间隔)确定一个相应的间隔，原始的DCT系数值必须位于该间隔之内：

x_i，n∈(a_i，n，b_i，n).(2)

而且，令

为先前的增强层帧中相应DCT系数的解码器重建(其可以被破坏，因此与编码器重建不同)。考虑所有可用的信息，下式给出了重建丢失的DCT系数的最佳估计：

${\tilde{x}}_{i,n}^e=E\left\{x_{i,n}\right|{\tilde{x}}_{i,n-1}^e,x_{i,n}\∈(a_{i,n},b_{i,n})\}.---\left(3\right)$

等式(3)中的估计可以通过重建来方便地近似：

${\tilde{x}}_{i,n}^e\≅\mathrm{\ρ}{\tilde{x}}_{i,n-1}^e+E\left\{w_{i,n}\right|w_{i,n}\∈(s,t)\}---\left(4\right)$

其中 $s=a_{i,n}-\mathrm{\ρ}{\tilde{x}}_{i,n-1}^e$ 以及 $t=b_{i,n}-\mathrm{\ρ}{\tilde{x}}_{i,n-1}^e.$ 为了评估该期望值，假设w_i，n的密度为：

$p\left(w\right)={\mathrm{\ρ}}^2\mathrm{\δ}\left(w\right)+\frac{(1-{\mathrm{\ρ}}^2)}{2}\frac{1}{\mathrm{\α}}\exp \{-|w|/\mathrm{\α}\}.---\left(5\right)$

等式(5)能够根据等式(1)中过程x_i，n的拉普拉斯-马尔可夫(Laplace-Markov)假设推导。使用等式(5)，可以容易的计算出等式(4)的值(这里总地称为“Zhang算法”)。

尽管Zhang参考文献联合地使用来自当前的基本层数据和先前的增强层数据的信息，但是该参考文献仍然存在一些缺点。首先，为了运行Zhang算法，必须使用训练，即从一个训练组，来离线地获得参数ρ和α。而且，对于整个序列来说，选定的参数是固定的，这使得基于场景的适配变得困难。其次，在等式(4)的近似当中，没有合并先前增强层数据的量化噪声。因此，等式(4)过度地强调了 的重要性。

本发明通过保持Zhang算法的最优性来克服Zhang参考文献的上述缺点。而且，本发明中的系统和方法可以应用于没有错误的场景从而改进解码的视频。

首先参照附图1，表明了一个动态地选择去量化器25的最佳重建点的可缩放解码器10。解码器10接收一个增强比特流20和一个基本层比特流22，并且输出一个增强层视频24。解码器10包括一个比特平面VLD26，一个比特平面偏移27，一个运动补偿28，以及一个帧存储器29。与传统的无漂移可缩放解码器不同，新的解码器10包括一个附加的帧存储器12，用于存储先前的增强视频帧。而且还包括一个附加运动补偿14和离散余弦变换(DCT)16。使用该附加运动补偿14和离散余弦变换(DCT)16，来自于先前增强帧的信息被合并，从而最佳地去量化当前帧的增强DCT系数。

特别是，解码器10包括一个参数估计和最佳重建(PEOR)系统18。PEOR利用一种自适应估计技术来确定等式(5)中的未知参数，以及结合等式(4)中的量化误差 来确定一个改进的重建公式。

附图2更详细地表明了参数估计和最佳重建(PEOR)系统18。PEOR系统18接收该增强层DCT26和基本层DCT28信息之间的残余，并且输出一个最佳重建

如图2所示，PEOR系统18包括：(1)一个用于确定该组量化发生 的系统30，其是通过对具有量化器索引为j的DCT系数进行计数，然后使结果除以DCT系数的总数而确定的；(2)一个用于计算α的参数估计系统32；(3)一个用于生成初步重建点的系统34；以及(4)用于生成最佳重建点

的噪声分布系统36。下面将详细描述这些系统中的每一个系统。

已经表明Zhang算法对于等式(5)中的参数ρ是健壮的。这样，对于低频DCT系数(例如0.99)，参数ρ可以手工选择(hand-picked)为ρ≈1，对于高频DCT系数(例如0.3)，ρ＜1。在没有传输误差的情况下，ρ的值被设定为零。

但是，Zhang算法对于等式(5)中的参数α非常敏感。因此本发明提供了一种估算α的自适应方法。由于等式(5)中的拉普拉斯-马尔可夫模型表明，x_i，n对于参数α具有拉普拉斯概率密度函数(pdf)，因此估算的问题可以简化为一个拉普拉斯分布的参数估算问题。因此，可以使用下面的公式，在参数估计系统22中，根据其量化实现来健壮地估算参数α：

${\widehat{\mathrm{\α}}}_l=-\frac{\log (1-{\hat{P}}_l)}{b_l}$

其中0＜b₁＜...＜b_L＝∞表示量化器判决级别， ${\hat{P}}_l=\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{\hat{p}}_j$ 是数据被量化到级别1，2，...1的标准化的发生频率。然后1通常被选择为使得 ${\hat{P}}_l\≅1,$ 但不是恒等于一。

使用等式(5)的拉普拉斯-马尔可夫模型，可以示出：重建等式(4)可以简化为：

${\tilde{x}}_{i,n}^e=a_{i,n}+d_{i,n}(\mathrm{\ρ};{\tilde{x}}_{i,n-1}^e)---\left(7\right)$

其中 $d_{i,n}(\mathrm{\ρ};{\tilde{x}}_{i,n-1}^e)$ 表示一个重建偏移。系统34可以使用该公式生成一个初步重建点。根据等式(5)，能够产生如图3所示的重建点34的典型形状。

如图3所示，重建点34在量化间隔的边界具有不连续性，这与直觉相反。这个现象是由于假设

没有量化噪声造成的。

根据这一观察，本发明的优化重建公式是直接从公式(3)推导，而不需近似。通过实现噪声分布系统36来平滑该不连续性，可以使用下面的等式来实现没有近似的最佳重建点：

${\tilde{x}}_{i,n}^e=a_{i,n}+E_2\left\{d_{i,n}(\mathrm{\ρ};{\tilde{x}}_{i,n-1}^e+Z)\right\}---\left(8\right)$

其中Z是一个量化噪声。在附图4中给出了使用等式(8)的所提出的最佳重建点的典型形状38。结果是，在边界处没有不连续性。

量化误差的分布(如噪声分布系统36所执行的)能够以任何已知的方式建模(例如，零均值高斯或者拉普拉斯算子)。如果假设误差为具有参数β的拉普拉斯算子，则等式(8)中的期望值运算可如图2所示执行，并且参数β可被选择为

能够理解，这里描述的系统、功能模块、机制、方法、算法和模块能够用硬件、软件或者软硬件的结合来实现。它们可以以任何形式的计算机系统或者其他适于执行此处所描述的方法的设备来执行。硬件与软件的典型结合可以是具有计算机程序的通用计算机系统，当计算机程序被装载并且被执行时，能够控制该计算机系统使其执行这里所描述的方法。或者，也可以使用包含执行本发明的一个或者多个功能任务的专用硬件的专用计算机。本发明也能够被嵌入在一个计算机程序产品当中，该计算机程序产品包括能够执行这里所描述的功能和方法的全部特征，并且当装载到一个计算机系统中时，其能够执行这些方法和功能。在本上下文中的计算机程序、软件程序、程序、程序产品或者软件是指以任何语言、代码或者符号来表示的一组指令，用于使具有信息处理能力的系统直接地执行一个特定功能，或者在下列过程的一个或者两个之后执行一个特定的功能，即：(a)转换到另一种语言、代码或者符号；和/或(b)以不同的材料形式再生。

前述对本发明的优选实施例的描述是为了解释和说明的目的而给出的。它们并不是穷举的，或者并不打算来将本发明限制到所公开的准确形式，并且很显然，在上述教导下，可能存在多种改变和变形。对于本领域的技术人员来说，很明显，这种改变和变形要被包含在所附的权利要求定义的本发明的范围内。

Claims (9)

1.一种具有一个解码器重建系统(18)的可缩放解码器(10)，其中该解码器重建系统(18)包括：

用于估算一个丢失的离散余弦变换(DCT)系数的估计算法，其中该估计算法包括取决于至少一个未知参数_l的一个密度分布；以及

用于根据等式： ${\hat{a}}_l=-\frac{\log (1-{\hat{P}}_l)}{b_1}$ 来估算_l的参数估计算法，其中b₁表示一组量化器判决级别1中的每一个， 是数据被量化到每个量化器判决级别1，2，…，1的一组标准化的发生频率的总和。

2.根据权利要求1所述的可缩放解码器(10)，其中

被选择为近似等于1。

3.根据权利要求1所述的可缩放解码器(10)，其中估计算法被给出为： ${\tilde{x}}_{i,n}^e=a_{i,n}+E_Z\left\{d_{i,n}(\mathrm{\ρ};{\tilde{x}}_{i,n-1}^e+Z)\right\},$ 其中Z是一个量化噪声，E_Z是有关量化噪声的一个期望值， $d_{i,n}(\mathrm{\ρ};{\tilde{x}}_{i,n-1}^e+Z)$ 表示重建偏移，

是前一帧的DCT系数的一个期望值，ρ等于-1和1之间的一个预定值，以及a_i，n是量化间隔的开始。

4.根据权利要求3所述的可缩放解码器(10)，其中对于低频的DCT系数，ρ近似等于1，而对于高频的DCT系数，ρ小于1。

5.一种在一个可缩放解码器(10)中使用的参数估计和最佳重建(PEOR)方法，该方法包括：

确定该组量化发生(30)；

估算参数α(32)，其中α根据等式 ${\hat{a}}_l=-\frac{\log (1-{\hat{P}}_l)}{b_1}$ 估算，其中b₁表示一组量化器判决级别1中的每一个，以及 是数据被量化到每个量化器判决级别1，2，…，1的一组标准化的发生频率的总和；

根据等式 ${\tilde{x}}_{i,n}^e=a_{i,n}+d_{i,n}(\mathrm{\ρ};{\tilde{x}}_{i,n-1}^e)$ 来产生初步重建点(34)；以及

平滑该初步重建点(36)，从而生成一个最佳重建点(38)。

6.根据权利要求5所述的方法，其中通过对具有量化索引为j的DCT系数进行计数，并且将结果除以DCT系数的总数来确定该组量化发生(30)。

7.根据权利要求5所述的方法，其中平滑该初步重建点(36)的步骤是根据下面的等式完成的：

${\tilde{x}}_{i,n}^e=a_{i,n}+E_Z\left\{d_{i,n}(\mathrm{\ρ};{\tilde{x}}_{i,n-1}^e+Z)\right\},$ 其中Z是一个量化噪声，E_Z是有关该量化噪声Z的一个期望值， $d_{i,n}(\mathrm{\ρ};{\tilde{x}}_{i,n-1}^e+Z)$ 表示重建偏移，

是前一帧的DCT系数的一个期望值，ρ等于-1和1之间的一个预定值，以及a_i，n是量化间隔的开始。

8.一种在一个可缩放解码器(10)中使用的参数估算和最佳重建(PEOR)系统(18)，包括：

用于根据等式： ${\tilde{x}}_{i,n}^e=a_{i,n}+E_Z\left\{d_{i,n}(\mathrm{\ρ};{\tilde{x}}_{i,n-1}^e+Z)\right\}$ 来确定一个最佳重建的重建系统，其中Z是一个量化噪声，E_Z是有关量化噪声Z的一个期望值， $d_{i,n}(\mathrm{\ρ};{\tilde{x}}_{i,n-1}^e+Z)$ 表示重建偏移， 是前一帧的离散余弦变换(DCT)系数的一个期望值，ρ等于-1和1之间的一个预定值，以及a_i，n是量化间隔的开始。

9.根据权利要求8所述的PEOR系统(18)，其中根据等式 ${\hat{a}}_l=-\frac{\log (1-{\hat{P}}_l)}{b_1}$ 来计算参数α，其中b₁表示一组量化器判决级别1中的每一个，以及

是数据被量化到每个量化器判决级别1，2，…，1的一组标准化的发生频率的总和。

Images