CN1579096A - 比特率指导的频率加权矩阵选择 - Google Patents

Abstract

一种系统(10)和方法，用于生成一个频率加权(FW)矩阵(22)，以在细粒度可分级(FGS)视频编码系统中使用，该系统包括：一个系统(16)用于为一个既编码在预定的基本层比特率还编码在接近3倍的预定基本层比特率的抽样视频帧绘制与Z字形的DCT扫描线位置相对的平均离散余弦变换(DCT)残余曲线；一个系统(18)，用于为一个既编码在预定的基本层比特率还编码在接近3倍的预定基本层比特率的抽样视频帧生成与Z字形的DCT扫描线位置相对的DCT残余的差值曲线；和一个系统(20)，用于将一个阶梯曲线匹配并规格化到平均差值曲线，其中阶梯曲线值可以进一步地映射到FW矩阵的加权中。

Description

比特率指导的频率加权矩阵选择

本发明一般地涉及编码视频的缩放，特别地涉及到为一个使用细粒度可分级(Fine-Granularity-Scalability)(FGS)技术的系统选择频率加权(FW)矩阵的系统和方法。

细粒度可分级(FGS)编码协议概要作为2001年3月的MPEG-4标准的一部分被采用。MPEG-4 FGS协议概要将-个视频序列编码成两个具有不同的传输优先权的比特流：基本层(BL)视频流和增强层(EL)视频流，这可以适应一个宽范围的比特速率。BL使用MPEG-4非升级编码方案编码，MPEG-4非升级编码方案使用运动补偿和基于块的DCT(离散余弦变换)编码。BL被编码到一个可接受的最小比特率(基本层比特率)，以便于在时变网络上的可用带宽高于基本层比特率。EL在DCT域中使用位平面编码对原始信号和BL信号之间的差值进行编码。

在增强层的编码器方，这些DCT-残余的位平面以一种改进的(精细)方式被压缩。接着在传输时，取决于通过网络的可用带宽和解码器容量，只有部分的EL可被发送。FGS技术对于在网络上具有可变带宽的视频流特别有用，比如因特网视频流、因特网广播、蜂窝网络或室内网络的无线视频通信、等等。

FGS包括大量的支持各种可升级的结构并提高了输出的视觉质量的视频编码工具。频率加权(FW)就是一种这样的工具，它对提高低比特率的编码的视觉质量特别有用。例如，公知的基本层DCT系数常规地沿着从DCT块的左上到右下的Z字形扫描线分布它们的能量。相应地，增强层DCT残余块继承了一个相似的Z字形能量分布模式。因此，为了确保在较低带宽限制下的较好编码质量，需要以优先的方式发送较高的能量残余。FW方法允许对所选定的ELDCT残余的位平面移位。因此，和DCT残余块同样大小的一个“频率加权”矩阵，M_fw被定义，其中矩阵的每个元素M_fw(I)表示了第I个DCT系数应当被移位的位平面的数目。

图3图示了FW在低比特率时的好处。在左侧，示出在不使用FW情况下EL块的DCT残余(用虚线描述)，并且在右侧示出在使用FW的情况下，EL块的DCT残余。正如可见的，每个EL块包括几个位平面，MSB位于顶部。在平面中，DCT系数残余向上扩展指向MSB。在左边的情况下，在低比特率，如果在MSB之下的所有的位平面在服务器被截断，解码器将不接收在EL块的第一象限的DCT系数残余。对于大多数的视频序列，DC的较低精确度以及第一AC的EL残余在解码器方转化为视觉质量的降低。换言之，如果一个FW矩阵被使用，其中在DCT方块中的第一象限具有M_fw(i)＝2，如右侧所示的，该DC和第一AC的EL残余将成功地编码到MSB，因此即便在低比特率时也保证了它们(至少部分地)的传输。

和其它的视频编码标准相似，MPEG-4只为解码器标准化了语法以及和它相关的语义含义。因此，定义创新的算法是系统设计者的任务，该创新的算法以这样的方式使用FW语法，即FGS编码的视觉质量可以被显著地提高。为FGS编码完成FW，一个关键步骤在于FW矩阵选择。能够基于Z字形能量分布特征通过给较低的频率系数较高的加权，选择一个普通的FW矩阵，反之亦然。然而，普通的能量损耗准则不能为确定FW矩阵的精确数量值提供线索。因此，需要有效地选择一个FW矩阵。

本发明解决了上述的问题，还有其它的问题，通过提供一个新颖的FW矩阵选择方法，该方法在一个临界质量比特率使用BL DCT残余差值。在第一方面，本发明提供了一种生成频率加权(FW)矩阵以在细粒度可分级(FGS)视频编码系统中使用的系统，包括：一个系统，用于为一个既编码在预定的基本层比特率还编码在接近3倍的预定基本层比特率的抽样视频帧生成平均离散余弦变换(DCT)残余；一个系统，用于绘制生成的平均DCT残余的差值曲线，其中该差值曲线通过相应于一个DCT Z字形扫描线的DCT系数位置来绘制；以及一个系统，用于将一个阶梯曲线匹配到差值曲线。

第二方面，本发明提供了一种生成频率加权(FW)矩阵以在细粒度可分级(FGS)视频编码系统中使用的方法，包括步骤：为编码在第一比特率的抽样视频帧生成相对于DCT Z字形扫描线位置的平均离散余弦变换(DCT)残余的第一曲线；为编码在多倍第一比特率的抽样视频帧生成相对于DCT Z字形扫描线位置的平均离散余弦变换(DCT)残余的第二曲线；从第一和第二曲线生成差值曲线；将一个阶梯曲线匹配到差值曲线；并映射阶梯曲线的加权以填充FW矩阵。

第三个方面，本发明提供了一种细粒度可分级(FGS)视频编码系统，该系统利用频率加权(FW)矩阵以编码视频数据，它包括：一个系统，用于确定视频数据的场景特征；和一个系统，用于从大量的FW矩阵中基于确定的视频数据场景特征来选择一个FW矩阵。

第四个方面，本发明提供了一种存储在可记录媒体中的程序产品，用于生成频率加权(FW)矩阵以在细粒度可分级(FGS)视频编码系统中使用，该程序产品包括：为编码在第一比特率的抽样视频帧生成相对于DCT Z字形扫描线位置的平均离散余弦变换(DCT)残余的第一曲线的装置；为编码在多倍第一比特率的抽样视频帧生成相对于DCT Z字形扫描线位置的平均离散余弦变换(DCT)残余的第二曲线的装置；从第一和第二曲线生成差值曲线的装置；将一个阶梯曲线匹配到差值曲线的装置；并映射阶梯曲线的加权以填充FW矩阵的装置。

第五方面，本发明提供了一种细粒度可分级(FGS)视频解码系统，该系统利用频率加权(FW)矩阵来解码编码的视频数据，其中FW矩阵的加权是从平均离散余弦变换(DCT)残余的差值曲线的阶梯曲线匹配得出的，其中平均离散余弦变换(DCT)残余差值是在一个抽样视频帧的基本层比特率和接近3倍基本层比特率计算出来的。

此后将结合附图对本发明的一个典型的的实施例进行说明，其中相同的标号代表相同的部件，和：

图1描述了根据本发明的实施例的FW矩阵生成系统的方框图。

图2描述了根据本发明的实施例的FGS编码器和FGS解码器的方框图。

图3描述了一个典型的的频率加权位平面。

图4描述了一个使用FGS+BL和单层转换编码的(SLS)Foreman视频序列的图形化的比较。

图5描述对于Foreman视频序列、编码在100kbps和300kbps的BL的DCT残余差值。

图6分别为Foreman视频序列、编码在100kbps和300kbps的单个视频帧的DCT残余幅度的一个曲线。

图7描述了图6的曲线的平均残余差值以及匹配阶梯曲线。

图8描述了两个不同的视频序列的平均残余差值和匹配阶梯曲线。

现在参见附图，图1描述了一个频率加权(FW)矩阵生成系统10，它接收一个或多个抽样视频序列12和一个基本层(BL)比特率14，并输出一组FW矩阵22。每个抽样视频序列12包括一个可以典型地被细粒度可分级系统FGS系统处理的独特的场景类型或特征，如示于图2中的。因此，例如“抽样视频序列A”包含一个高活动性的场景，“抽样视频序列B”包含一个中等活动性的场景，并且“抽样视频序列C”包含一个低活动性的场景。

FW矩阵生成系统10为每个输入的抽样视频序列生成一个独特的FW矩阵，以便于每个FW矩阵和一个预定的场景类型相关。因此，举例来说，FW矩阵A将对应于一个高活动性场景，FW矩阵B将对应于一个中等活动性场景，FW矩阵C将对应于一个低活动性场景。所生成的FW矩阵22的数目可根据期望的FGS应用而改变。简单的应用(比如视频电话)可以只要求从低活动性、低运动的抽样视频序列导出的单个矩阵。其它比较复杂的应用要求一个矩阵数据库，以处理许多不同的场景类型。另外，在一个场景中的任何的标准(如，活动性，运动，亮度等等)可以用于将一个抽样视频序列(因而，FW矩阵)同其它的相区别。

在图1的实施例中，FW矩阵生成系统10利用DCT残余生成系统16，一个残余差值绘图系统18，一个阶梯曲线填充系统20和一个加权调整系统21，以生成FW矩阵22。这些系统的运行在下面详细地描述。

FW矩阵生成系统10从在一个临界质量比特率计算的抽样视频帧的离散余弦变换(DCT)残余的差值阶梯曲线匹配，来为每个矩阵确定加权，通常包括：(1)选定的比特率，和(2)选定的比特率的多倍。临界比特率可被选择作为任意值，其取决于例如，特定的应用、分辨率/大小、帧率，等等。

在一个典型的的实施例中，临界比特率包括基本层的编码比特率(R_BL)14，和三倍于基本层比特率的编码比特率(即，3*R_BL)。各种实验已经示出在SLS和FGS之间的最大质量差距出现在接近3倍的FGS BL比特率。举例来说，下面的关于“Foreman”序列的分析示出R_BL和3*R_BL为临界比特率。图4示出了用一个非可分级(non-scalable)编码器(即，SLS-单层转接)和用一个具有100kbps的基本层比特率的FGS编码器编码的峰值信噪比(PSNR)。如同所能见到的，在100kbps-1Mbps的比特率范围之内，在FGS和非可分级编码器之间的最大的PSNR质量恶化差距在300kbps附近。因此，FGS和SLS在3*R_BL具有临界质量差距。因此，在该实施例中，FW矩阵选择是基于在临界质量比特率3*R_BL和R_BL的平均DCT残余值，并且使用在这些比特率的DCT残余的FW矩阵选择比在其它的比特率上的选择具有更好的效果。应当明白其它的临界质量比特率和/或R_BL的多倍(例如，2.5，3.5，4，4.5等等)也可用于限定临界质量差距，而不会脱离本发明的范围。

图5示出了在100kbps和300kbps比特率的“Foreman”序列平均残余的基于帧的差值的一个3-D网孔。在此情况下，对于“Foreman”序列这里有两种场景类型。很显然，对于某个特定的场景特征，残余特征对于该场景中的所有帧都是相似的。因此，来自抽样视频序列的单个的帧可用来为所有的具有相似的场景特征的帧生成FW矩阵。

回来参见图1，FW矩阵生成系统10的运行如下描述。DCT残余生成系统16为在临界质量比特率(在此情况下，为R_BL和3*R_BL)的输入视频序列的一个选定的帧生成(并绘制)平均DCT残余。每个的平均DCT残余被绘制为它们在DCT数据方块中的位置的函数。优选地，残余从自左上至右下的Z字形线(即，“DCT”Z字形扫描线)中提取出来以跟随能量消耗的趋势。在此处示出的例子中，系数号1-64为在一个8*8 DCT方块中的每个残余提供了Z字形位置。

    1  2  6  7 |15 16 28 29

    3  5  8  14|17 27 30 43

    4  9  13 18|26 31 42 44

    10 12 19 25|32 41 45 54

      ---------+----------

    11 20 24 33|40 46 53 55

    21 23 34 39|47 52 56 61

    22 35 38 48|51 57 60 62

    36 37 49 50|58 59 63 64

该64残余值之后将如图6所示的被绘制。图6示出了图5的用一个MPEG-4非可分级编码器编码在100kbps和300kbps比特率的“Foreman”序列的第50帧的一个典型的的曲线。从图6中，可以看出在两个比特率的DCT系数残余的轮廓对于低频的残余尤其不同。如果SLS在100kbps的残余被编码在FGS增强层，在300kbps比较FGS和SLS，明显地在FGS残余在传输侧的位平面断开点导致了FGS和SLS编码之间的质量差距。然而，如果通过FW低频率的残余得到了位平面编码中较高的优先权，则在传输侧的同一位平面断开点将导致在接收侧的较小的低频率残余衰落，这将为FGS层带来较好的输出质量。FGS数量被这两个比特率之间的残余差值支配。较低的频率残余得到的补偿越多，则在300kbps的FGS和SLS之间的质量差距越小。

接下来，差值绘图系统18(图1)绘制两个DCT残余曲线的平均残余差值曲线。图7描述了一个典型的的曲线，它示出了图6的两个曲线的平均残余曲线的差值曲线60(即，在100kbps的曲线减去在300kbps的曲线)。差值曲线60根据相应于DCT Z字形扫描线的DCT系数位置绘制，如上所示。阶梯曲线填充系统20接着将一阶梯曲线62匹配到差值曲线60。

用基于两个不同的比特率(例如，100kbps和300kbps比特率)的平均DCT残余的残余差值作为指导，FW矩阵加权使用匹配到残余差值之形状的阶梯曲线62进行选择。每个DCT系数的匹配阶梯值则以如上所述的相同的Z形配置映射到FW矩阵。例如，在一个由64个元素组成的、以从左上到右下以遵循能量消耗的Z字形线中的四象限矩阵中，来自阶梯曲线的DCT系数将被设置在FW矩阵中，如下所示：

    1  2  6  7 |15 16 28 29

    3  5  8  14|17 27 30 43

    4  9  13 18|26 31 42 44

    10 12 19 25|32 41 45 54

      ---------+---------

    11 20 24 33|40 46 53 55

    21 23 34 39|47 52 56 61

    22 35 38 48|51 57 60 62

    36 37 49 50|58 59 63 64

一个典型的的FW矩阵包含了实际系数值，看起如下：

$\left[\begin{array}{cccccccc}4& 4& 3& 3& 2& 1& 1& 0\\ 4& 3& 3& 2& 1& 1& 0& 0\\ 3& 3& 2& 1& 1& 0& 0& 0\\ 3& 2& 1& 1& 0& 0& 0& 0\\ 2& 1& 1& 0& 0& 0& 0& 0\\ 1& 1& 0& 0& 0& 0& 0& 0\\ 1& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\end{array}\right]$

应当注意到在系统实现中所采用的位平面的总数会限制FW矩阵的加权。特别地，当一个或多个由阶梯匹配所选定的加权大于位平面总数的上限时，该加权应当被加权调整系统21规格化。举例来说，在图6中，第一DCT系数有一个7的加权。然而，如果位平面的数目限制到6，第一系数的加权将超过上限。在此情况下，加权调整系统21将通过必要地向左移位直到第一系数的加权等于可用的位平面的总数的上限，来修改生成的阶梯曲线。照此，该规格化的阶梯曲线保持并行于原始的阶梯曲线。可以理解，其它的调整算法同样可被使用而不脱离本发明的范围。

用于“Foreman”序列(即一个室外场景和一个荧光屏(face))的两个不同场景的两个典型的的阶梯曲线匹配的FW矩阵示于图8中。

参见图2，一个FGS增强层编码系统50被示出，它包括：(1)一个FGS编码器32，用于编码视频数据30，和(2)一个FGS增强层解码器40，用于解码所编码的增强层视频数据38和生成解码的视频数据46。FGS编码器32包括一个序列分析系统34，一个矩阵选择系统36，和如上所述的从FW矩阵生成系统10中生成的一组FW矩阵22。序列分析系统34检查进来的视频数据30以确定一个或多个场景特征(例如，高活动性，低亮度，等等)。矩阵选择系统36接着从相应于该场景特征的一组FW矩阵22中选择一个矩阵44。接着所选择的FW矩阵44被用于编码视频数据30，所选择的FW矩阵44也被包括在编码的增强层视频数据38的输出序列的报头中。当场景特征变化时，一个新的FW矩阵44能被更新并被重传。

为每种类型的场景选择一个FW矩阵。因此，如果一个场景的改变没有被检测到，FW矩阵选择只需要实施一次。当场景改变(或残余特征改变)发生时，FW矩阵需要被重新选择并发射。

场景改变可以通过分析场景特征来识别，场景特征比如为在EL数据中的亮度、运动、活动性等等。一个鲁棒场景改变检测算法可用来在序列特征上适应FW，例如，通过使用运动矢量，复杂性测量XI，时间相关计算或者这些的组合。这些场景特征参数不加入显著的复杂性，因为已经在基本层编码/率-控制中计算过的参数可以被重新使用。

再参见图2，FGS增强层解码器40被描述为接收并解码编码的增强层视频数据38。正如提到的，选择的FW矩阵44在序列的报头中和编码的增强层视频数据38一起被发射，并被FGS解码器40用来处理和解码所编码的增强层视频数据38。当一个新的FW矩阵被接收并被解码，适配系统41替换旧的FW矩阵，并且新的FW矩阵被用来解码后面的视频比特流。

应当懂得在此描述的系统、功能、机构、方法和模块可以在硬件、软件、或者在硬件和软件的混合中实现。它们可以由任何类型的计算机系统或其它的适于完成在此描述的方法的装置来实现。硬件和软件的一个典型的混合可以为一个公用的计算机系统，程序的装载和执行时，控制该计算机系统，以完成在此描述的方法。可选择地，可以使用一个特定用途的计算机，该计算机包含特定的硬件以完成发明的一个或多个功能的任务。本发明也可以嵌入在一个计算机程序产品中，该计算机程序产品包括了能实现在此描述的方法和功能的所有的特征，并且在装载到一个计算机系统时，能完成这些方法和功能。计算机程序、软件程序、程序、程序产品、或软件，在现有的上下文中意指指令集的任何的表达、以任意的语言、码和符号，指令集使该系统具有信息处理能力以执行某个特定的功能，或者直接地或者在经过下列两种处理之后：(a)转换到另一种语言、码或符号；和/或(b)以不同的物质形式再现。

为了图示和说明的目的，前面已经给出了对本发明的优选实施例的描述。这些描述不是作为对发明的穷举，也不是将发明局限在公开的精确的形式，并且明显地，在上述的教导下可能做出许多的修改及变形。这样的对本领域技术人员来说是显而易见的修改及变形被包括在本发明的范围之内，如同本发明所附的权利要求所限定的一样。

Claims (22)

1.一个系统[10]，用于生成一个频率加权(FW)矩阵[22]，以在细粒度可分级(FGS)视频编码系统[50]中使用的，该系统包括：

一个系统[16]，用于为既编码在预定的基本层比特率[14]还编码在接近3倍的预定基本层比特率的一个抽样视频帧[12]生成平均离散余弦变换(DCT)残余；

一个系统[18]，用于绘制所生成的平均DCT残余的差值曲线，其中该差值曲线通过相应于一个DCT Z字形扫描线的DCT系数位置来绘制；和

一个系统[20]，用于将一个阶梯曲线匹配到差值曲线。

2.权利要求1所述的系统[10]，其中在阶梯曲线上处于每个DCT系数位置上的值在相应于DCT Z字形扫描线的位置上被映射到FW矩阵。

3.权利要求2所述的系统[10]，还包括一个加权调整系统[21]，用于在当从阶梯曲线确定的加权大于在FGS视频编码系统[50]中的位平面数目的上限时，变更阶梯曲线。

4.权利要求1所述的系统[10]，其中抽样视频帧[12]从一个具有预定的场景特征的抽样视频序列中选择。

5.权利要求4所述的系统[10]，其中预定的场景特征包括从一个组中选出的一个标准，该组包括：亮度级、运动级和一个活动性级。

6.权利要求1所述的系统[10]，其中预定的基本层比特率[14]取决于应用、分辨率和帧率。

7.一种方法，用于生成频率加权(FW)矩阵[22]以在细粒度可分级(FGS)视频编码系统[50]中使用，该方法包括步骤：

为编码在第一比特率的抽样视频帧生成相对于DCT Z字形扫描线位置的平均离散余弦变换(DCT)残余的第一曲线；

为编码在多倍第一比特率的抽样视频帧生成相对于DCT Z字形扫描线位置的平均离散余弦变换(DCT)残余的第二曲线；

生成第一和第二曲线的差值曲线；

将一个阶梯曲线匹配到差值曲线；以及

从阶梯曲线映射加权以填充FW矩阵。

8.权利要求7的方法，其中第一比特率包括一个基本层比特率[14]。

9.权利要求8的方法，其中的多倍包括基本层比特率[14]的3倍。

10.权利要求7的方法，进一步地包括步骤：当从阶梯曲线确定的加权大于在FGS视频编码系统[50]中的位平面数目的上限时，规格化阶梯曲线。

11.权利要求7的方法，其中的视频帧从一个具有预定场景特征的抽样视频序列[12]中选择。

12.一种细粒度可分级(FGS)视频编码系统[50]，该系统利用频率加权(FW)矩阵[44]来编码视频数据[30]，它包括：

一个系统[34]，用于确定视频数据的场景特征；以及

一个系统[36]，用于从多个FW矩阵[22]中基于确定的视频数据场景特征来选择一个FW矩阵[44]。

13.权利要求12所述的FGS视频编码系统[50]，其中多个FW矩阵[22]中的每一个和多个的预定的场景特征中的一个特征相关。

14.权利要求13所述的FGS视频编码系统[50]，其中每个矩阵的加权是从为一个抽样视频帧在第一和第二临界质量比特率计算出的一个平均离散余弦变换(DCT)残余的阶梯曲线匹配中确定的。

15.权利要求14所述的FGS视频编码系统[50]，其中第一和第二临界质量比特率包括基本层比特率[14]和3倍的基本层比特率。

16.权利要求14所述的FGS视频编码系统[50]，其中抽样视频帧是从一个具有多个预定的场景特征之一的视频序列中导出的。

17.权利要求12所述的FGS视频编码系统[50]，其中所确定的场景特征包括从以下组中选出一个标准，该组包括：亮度级、运动级和一个活动级。

18.一种存储在可记录介质中的程序产品，用于生成频率加权(FW)矩阵以在细粒度可分级(FGS)视频编码系统[50]中使用，该程序产品包括：

装置[16]，用于为编码在第一比特率的抽样视频帧生成相对于DCT Z字形扫描线位置的平均离散余弦变换(DCT)残余的第一曲线；

装置[16]，用于为编码在多倍第一比特率的抽样视频帧生成相对于DCT Z字形扫描线位置的平均离散余弦变换(DCT)残余的第二曲线；

装置[18]，用于生成第一和第二曲线的差值曲线；

装置[20]，用将一个阶梯曲线匹配到差值曲线；

用于将从阶梯曲线映射的加权填充到FW矩阵的装置。

19.权利要求18的程序产品，其中第一比特率包括一个基本层比特率[14]，并且其中的多倍包括基本层比特率[14]的3倍。

20.权利要求18的程序产品，进一步包括装置[21]，用于在从阶梯曲线确定的加权大于在FGS视频编码系统[50]中的位平面数目的上限时，规格化阶梯曲线。

21.一种细粒度可分级(FGS)视频解码系统[40]，该系统利用频率加权(FW)矩阵[44]以解码编码的视频数据[38]，其中对FW矩阵[44]的加权是从平均离散余弦变换(DCT)残余的差值的阶梯曲线匹配确定的，其中平均离散余弦变换(DCT)残余的差值是在一个抽样视频帧的基本层比特率和接近3倍基本层比特率计算出来的。

22.权利要求21所述的FGS视频解码系统[40]，进一步包括系统[41]，用于当一个场景特征改变时自适应地改变FW矩阵[44]。

Images