CN1258923C

CN1258923C - 建立多优先级流的系统和方法

Info

Publication number: CN1258923C
Application number: CNB028114876A
Authority: CN
Inventors: S·克里斯纳马查里
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Pendragon wireless limited liability company
Priority date: 2001-06-08
Filing date: 2002-06-06
Publication date: 2006-06-07
Anticipated expiration: 2022-06-06
Also published as: KR100895270B1; EP1405520A1; JP2004529596A; KR20030027011A; WO2002102083A1; US20030009764A1; CN1515119A; US7123658B2

Abstract

一种为压缩视频数据建立多优先级流的系统和方法，所包括的是一种为压缩视频数据流分配优先级的方法，包括以下步骤：根据各宏块作为参考宏块的次数来确定视频帧中每个宏块的相对重要性；以及根据所述相对重要性为视频帧中的各宏块分配优先级。

Description

建立多优先级流的系统和方法

发明背景

1.技术领域

本发明一般涉及处理压缩视频数据的系统。更具体地说，本发明涉及将MPEG视频数据分为不同优先级的多个流的系统和方法。

2.相关技术

由于视频应用在线传送的要求持续增长，而传输带宽仍然非常宝贵，因此提供高效率传输方案的能力变得必不可少。一个这样方案包括将MPEG编码的视频数据分为多个流，每个流有不同的优先级。这种类型的方案在本文中称为“多优先级流”，它允许根据特定部分的重要性，使视频数据的不同部分占用不同的带宽量。

多优先级流有用的一个特定情况涉及利用亦受差错影响的传输信道的应用。在这些情况下，有必要用附加的差错保护比特来保护数据，例如，这些差错保护比特可以提供一定量的冗余。但是，在带宽消耗方面，差错保护比特的加入会产生额外的开销。通过将MPEG数据分为多个流，每个流具有不同优先级，各个流可以被分配不同级别的差错保护。相应地，高优先级流能够比低优先级流得到更大量的差错保护。这样，可以根据流的相应优先级平衡开销。

多优先级流有用的另一情况涉及提供多种业务质量(QoS)选项的网络。在这种情况下，基础传输使得发送数据的业务质量可以有不同级别。这样，为了有效地利用这种系统，有必要将视频数据分为不同优先级的多个流，然后通过提供适当QoS的连接发送每个流。

但是，现有的建立MPEG视频的多优先级流的方法是受限的。例如，一种方法是将比特流根据帧类型分为不同的优先级。具体地说，因为对于图像质量而言，I帧通常比P帧更重要，而P帧通常比B帧更重要，所以I帧得到最高优先级，P帧得到中等优先级，而B帧得到最低优先级。但是，因为典型I帧或P帧的实际大小可以是成百或成千比特，由于只能够实现三种优先级级别，所以这种类型的优先级区分只提供勉强够格的结果。而且，两个I帧之间或两个P帧之间的重要性可以有大量变化，而且这种变化在以上方案中并没有考虑。因此，需要建立一种两帧和多帧中更精细的优先级区分方法。

建立MPEG视频的多优先级流的第二种方法是建立包括一个基本层和一个或多个增强层的可调整视频。为基本层分配比增强层更高的优先级。此方法的弊端是编码和解码要求更高的复杂性，而且需要将已经编码的非可调整的比特流译码为可调整的比特流。

因此，需要这样一个系统：(1)它能够提供比I、P和B帧优先级区分更精细的优先级区分能力；以及(2)它能够直接处理编码比特流，并不导致采用可调整视频的系统的复杂性。

发明概述

本发明通过提供一种为压缩视频数据流分配优先级，适合通过多优先级传输信道传输的系统和方法，从而克服上述问题和其它一些问题。在第一方面，本发明提供一种为压缩视频数据流分配优先级的方法，它包括以下步骤：根据各宏块作为参考宏块的次数来确定视频帧中每个宏块的相对重要性；以及根据所述相对重要性为视频帧中的各宏块分配优先级。

在第二方面，本发明包含一种为压缩视频数据流分配优先级的方法，它包括以下步骤：根据各宏块作为参考宏块的次数来确定多个视频帧中每个宏块的重要性值；将宏块分组为宏块组，并组合各组中宏块的重要性值；以及根据组合的重要性值为每个宏块组分配优先级。

在第三方面，本发明提供一种为压缩视频数据流分配优先级的系统，所述系统包括：用于根据各宏块作为参考宏块的次数来确定视频帧中每个宏块的重要性值的系统；以及根据为各宏块确定的重要性值为视频帧中的各宏块分配优先级的系统。

在第四方面，本发明提供一种为压缩视频数据流分配优先级的系统，所述系统包括：用于根据各宏块作为参考宏块的次数来确定多个视频帧中每个宏块的重要性值的系统；用于将宏块分组为宏块组并组合各组中宏块的重要性值的系统；以及根据组合的重要性值为宏块组分配优先级的系统。

在第五方面，本发明提供一种为多优先级的压缩视频数据进行解码的解码系统，所述解码系统包括：使差错保护方案与多个数据流中的每个数据流相关的系统；以及根据差错保护方案翻译各数据流的系统；其中差错保护方案由优先级分配系统确定，该优先级分配系统根据宏块作为参考宏块的次数来对每个数据流分配优先级。

在第六方面，本发明提供一种程序产品，该产品存储在可记录媒体上，当执行该程序产品时，会为压缩视频数据流分配优先级，所述程序产品包括：根据多个宏块中的各个宏块作为参考宏块的次数来确定视频帧中宏块数据的重要性值的部件；以及根据所确定的重要性值为宏块数据分配优先级的部件。

在另一方面，上述每个优先级分配系统和方法还包括一种系统，用于对不同优先级流分配不同差错保护方案。

附图说明

本发明的最佳例示实施例将在下文中结合附图介绍，其中相同的标号表示相同的单元，附图中：

图1示意了根据本发明的最佳实施例的多优先级编码系统的方框图；

图2示意了根据本发明的P帧分析；

图3示意了根据本发明的I帧分析；

图4示意了根据本发明的间接分析；

图5示意了根据本发明的部分参考块分析。

本发明的详细说明

现在参考图1，示意了多优先级编码系统10。系统10包括编码器12，用于将MPEG数据的比特流18转换为一组多优先级流16，以及用于翻译若干流构成的组16的解码器14。编码器12可以被直接合并到MPEG编码器中，或者替代地，对已经编码的MPEG数据操作。类似地，解码器14可以被合并到MPEG解码器中，或者独立于MPEG解码器存在。编码器12产生的多优先级流16中的各个流用不同的差错保护方案编码。这样，例如，当数据通过一个易受差错影响的信道(例如因特网)传输时，可以给予更重要的数据更大量的带宽以允许更大量的差错保护。在接收端，解码器14对这组多优先级流16进行解码，并输出解码视频数据20。尽管此最佳实施例描述的是处理MPEG数据，应该理解，本发明可适用于任何采用预测编码的数据压缩方案。

编码器12包括重要性分析系统22，用于检查宏块数据并确定每个宏块或每组宏块的相对重要性。然后，流优先级分配系统24根据以上分析对每个宏块或宏块组分配相对优先级。然后差错保护系统25用适当的差错保护方案对宏块数据进行编码，以作为多个多优先级流16中的一个来传输。

重要性分析系统22包括P帧分析系统26；I帧分析系统28；部分宏块分析系统27；间接分析系统29；以及残差分析系统19。P帧分析系统26和I帧分析系统28分别检查P帧和I帧中的宏块，并确定宏块数据的相对重要性。具体地说，当分析P或I帧时，系统26或28系统地检查每个宏块，且当检查每个宏块(即“当前宏块”)时计算相对重要性值。重要性以当前宏块作为参考宏块或部分参考块的次数为基础。(注意：在本发明中，术语“参考宏块”可包括完整的或部分的参考块。)

因为P和I帧用于前向和后向预测，所以P帧分析系统26和I帧分析系统28分析之前和之后的B帧以及之后的P帧(如果适用)的运动矢量，以确定P或I帧中当前宏块作为参考宏块的次数。重要性值根据参考P或I帧中当前宏块的目标宏块的数量(即，预测数量)来确定。此过程的例示在下面参照图2和3进行描述。(注意：某些P帧后面跟随I帧，因此不会有之后的P帧来分析。)

应该理解，重要性分析系统22可以分析各个宏块的相对优先级或宏块组的的相对优先级(如整个帧或者甚至一组帧，比如一组图像)。在分析宏块组的的重要性时，重要性分析系统22将首先根据预定方案将宏块组聚在一起。然后，通过组合组中各宏块的重要性值(例如求和、加权等)来确定该组的重要性值。因此，例如根据各组中宏块的累积重要性来决定优先级。

重要性分析系统22还包括部分宏块分析系统27，在参考宏块并非与被分析的当前宏块完全符合时(例如当当前宏块作为部分参考块时)，该系统27分析宏块重要性。具体地说，当当前宏块只有部分用作参考宏块时，部分宏块分析系统27计算当前宏块和参考宏块之间的重叠(用像素计算)。这样，例如，如果256像素中有128个像素重叠，则重要性值就要乘以50％的比例。下面将参考图5描述这种情况的例示。

计算P帧中宏块的重要性值的例示算法如下所示：

读当前宏块；

设置(当前宏块的)重要性_值＝0；

识别B帧和后续P帧中参考当前宏块的目标宏块；

对每个识别的目标宏块：

检查相应的参考宏块；

如果参考宏块与当前宏块完全一致，

则重要性_值＝重要性_值+1；

否则计算像素重叠(最大为16×16＝256)；

重要性_值＝重要性_值+(重叠像素/256)；

结束。

作为备选实施例，重要性分析系统22还可包括间接分析系统29，它在确定重要性时检查后续的间接预测。间接分析系统29尽管其计算更昂贵，但它提供更准确的评估方案。例如，在MPEG编码中，I帧中的宏块用于“直接”预测P帧宏块，而P帧宏块又用于“间接”预测后续的P帧宏块和B帧宏块，如此等等。所以在计算I或P帧宏块的重要性时，重要性分析系统22可以不仅用于检查直接预测，而且检查后面的间接预测。这样，如果I宏块作为P帧中宏块的运动预测参考(直接预测)，并且接着P帧宏块作为后续P和B图像的其它宏块的参考(直接预测)，那么就会增加间接预测的重要性值，否则作为直接预测的重要性值的一个因子。因此，I和P帧中宏块之间的相对重要性能够被计算出来，而且可以基于此结果分配优先级。

作为另一备选实施例，重要性值可以基于离散余弦变换(DCT)的残差(residual)值计算(或进一步计算)。残差是目标宏块和参考宏块之差。这样，残差越小，目标宏块就与参考宏块越匹配，重要性就越高。因此，残差分析系统19能够检查每个识别目标宏块的残差，并计算各残差的函数(例如，系数的绝对或加权和)。然后，当前宏块的重要性值可以基于例如根据各目标宏块的残差计算的累积值来进行计算。应该理解，此实施例可以与本文描述的其它实施例结合使用或单独使用。

一旦获得重要性值，流优先级分配系统24会为那些单个宏块或宏块组分配优先级。通常来说，当前宏块被目标宏块所参考的预测次数越大，它的优先级就越高，这是因为该宏块对解码视频流的可视质量具有相对更高的重要性。

在最佳实施例中，由于在预测编码中没有采用B帧作为参考帧，所以B帧中的宏块被分配最低的优先级。接着P帧中的宏块被分配相对高的优先级，其中各个P帧宏块数据以上述方式分配优先级。最后，I帧中的宏块被分配最高的优先级，通过根据上述方法进一步对宏块数据分配优先级。

解码器14包括流解码系统30，此流解码系统包括相关系统21和翻译系统23。相关系统21将多优先级流16中的每个流与特定差错保护方案相关，而翻译系统23相应的翻译数据和分组。

现在参看图2，它显示了怎样为P帧宏块计算重要性值的例子。所示MPEG视频数据流32由帧序列(P，B，B，P，B，B，P)组成。根据以上所述方法，分析P帧33中的宏块数据的重要性。具体地说，检查当前宏块31(如图中箭头所示)以确定当前宏块31作为之前和之后的B帧70的目标宏块、以及后续P帧34的目标宏块的参考宏块的次数。可以看到，当前宏块31作为9个目标宏块的参考宏块(如所示有对角线的正方形)。目标宏块可以是邻近帧70和34中的16×16块(未示出)中的任何一个。假定当前宏块31和相应的参考宏块完全一致，则宏块的重要性值被分配为9。因此，与P帧33中其它宏块比较，将基于这个值对宏块31分配相对的优先级。注意，在这种情况下，后续P帧34跟随P帧33。在其它情况下(这里未示出)，P帧33可以后面跟随I帧，在这种情况下，就不会为目标宏块分析后续的I帧。

现在参看图3，显示了一个类似的怎样为I帧宏块计算重要性值的例子。在这种情况下，所示为帧流38(P，B，B，I，B，B，P)，并分析I帧36的宏块数据来确定I帧36中各宏块的相对优先级。同样，通过检查后续P帧和相邻B帧中的运动矢量来识别目标宏块。在这种情况下，有9个由当前宏块预测的目标宏块。假定当前宏块35和相应的参考宏块完全一致，则当前宏块35的重要性值被分配为9。

现在参看图4，显示了如何采用间接分析系统29的替代实施例计算重要性值的例子。具体地说，所示帧流40(P，B，B，P，B，B，P)，其中分析P帧42中的宏块数据来确定相对优先级。可以看到，当前宏块41作为B帧44和P帧46中总共5个目标宏块的参考宏块。而且，P帧46中的目标宏块43还作为B帧48和P帧50中总共6个间接目标宏块的“间接”参考宏块。假定在P帧46中没有其它目标宏块作为参考宏块，则P帧42中当前宏块41的重要性值被分配为11。这里未示出，但还可以利用更复杂的间接计算链。例如，可以进一步检查P帧50的目标宏块来确定他们作为参考宏块的次数，等等。

现在参看图5，显示了部分宏块分析系统27怎样考虑部分参考块的例示。具体地说，帧52(例如I或者P)包括正被分析重要性的当前宏块54、与当前宏块54不完全一政的参考宏块56以及代表宏块54与参考宏块56吻合部分的重叠部分60。在此例中，当前宏块54中仅有25％的像素被用作其它帧中目标宏块的参考宏块。因此，这个特定宏块的重要性值将被缩放(例如用25％缩放)以考虑这种重叠。

应该理解，本文所述的系统、功能、方法和模块可以用硬件、软件、或软硬件组合来实现。他们可以实现为任何类型的计算机系统或其它适合执行本文所述方法的装置。典型的软硬件组合可以是带有计算机程序的通用计算机系统，当被加载并执行时，该计算机程序控制计算机系统执行本文所述方法。或者，可以利用专用计算机，它包含执行一个或者多个本发明的功能任务的专用硬件。本发明还可嵌入到计算机程序产品中，该计算机程序产品包括允许实现这里所描述的方法和功能的所有特性，并且在加载到计算机系统之后能够执行这些方法和功能。本上下文中的计算机程序、软件程序、程序、程序产品或者软件意指旨在使具有信息处理能力的系统直接或者在以下两个步骤之后执行特定功能的指令集的任何语言、代码或符号的任何表现形式：(a)转换到另一种语言、代码和符号；和/或(b)以不同的具体形式再现。出于说明和描述的目的，已经对前面有关本发明的最佳实施例进行了描述。它们不是为了穷举，或将本发明限制为公开的精确形式，显然，根据上述论述，很多修改和变化都是可能的，这样的修改和变化对于本技术领域的技术人员而言是显然的，旨在将其包括在所附权利要求确定的本发明的范围之内。

Claims

1.一种为压缩视频数据流[16]分配优先级的方法，所述方法包括以下步骤：

根据每个宏块作为参考宏块的次数确定视频帧中每个宏块的相对重要性；以及

根据所述相对重要性为所述视频帧中所述各宏块分配优先级。

2.如权利要求1所述的方法，其特征在于所述确定步骤包括以下步骤：

读当前P帧[33]；以及

检查之前和之后B帧[70]的运动矢量，并且如果有后续P帧[34]存在，也检查该后续P帧[34]的运动矢量，以确定所述当前P帧中每个宏块作为所述B和P帧中目标宏块的参考宏块的次数。

3.如权利要求2所述的方法，其特征在于所述确定视频帧中每个宏块的相对重要性的步骤还包括：确定所述后续P帧中的目标宏块作为参考宏块的次数的子步骤。

4.如权利要求1所述的方法，其特征在于所述确定步骤包括以下步骤：

读当前I帧[36]；以及

检查之前和之后B帧的运动矢量，以及后续P帧的运动矢量，以确定所述当前I帧中每个宏块作为所述B和P帧中目标宏块的参考宏块的次数。

5.如权利要求4所述的方法，其特征在于所述确定视频帧中每个宏块的相对重要性的步骤还包括：确定所述后续P帧中的目标宏块作为参考宏块的次数的子步骤。

6.如权利要求1所述的方法，其特征在于还包括以下步骤：

为B帧数据分配最低的相对优先级；

为P帧数据分配比B帧数据相对更高的优先级；以及

为I帧数据分配比P帧数据相对更高的优先级。

7.如权利要求1所述的方法，其特征在于如果当前宏块作为部分参考块，则执行以下步骤：

确定所述当前宏块[54]和相应参考宏块[56]之间的像素重叠量[60]；以及

根据所述像素重叠量缩放所述当前宏块[54]的相对重要性。

8.如权利要求1所述的方法，其特征在于还包括以下步骤：基于所述优先级分配步骤将每个宏块分配到多个流之一中。

9.如权利要求1所述的方法，其特征在于所述确定每个宏块的相对重要性的步骤包括确定目标宏块的多个残余离散余弦变换(DCT)系数的值的子步骤，所述目标宏块参考要确定重要性值的所述宏块，在确定所述宏块的所述相对重要性时考虑所述值。

10.一种为压缩视频数据流[16]分配优先级的方法，所述方法包括步骤：

根据每个宏块作为参考宏块的次数确定多个视频帧中每个宏块的相对重要性；

将宏块分组为宏块组，并组合每个组中宏块的重要性值；以及

根据所述组合的重要性值为各组宏块分配优先级。

11.如权利要求10所述的方法，其特征在于各组宏块包括一个完整的视频数据帧。

12.如权利要求10所述的方法，其特征在于所述确定步骤包括以下步骤：

读当前P帧[33]；以及

检查之前和之后B帧[70]的运动矢量，并且如果有后续P帧[34]存在，也检查该后续P帧[34]的运动矢量，以确定所述当前P帧[33]中每个宏块作为参考宏块的次数。

13.如权利要求10所述的方法，其特征在于所述确定步骤包括以下步骤：

读当前I帧[36]；以及

检查之前和之后B帧的运动矢量，以及后续P帧的运动矢量，以确定所述当前I帧[36]中每个宏块作为参考宏块的次数。

14.如权利要求10所述的方法，其特征在于每组宏块包括一组图像。

15.如权利要求10所述的方法，其特征在于，如果当前宏块作为部分参考块，则执行以下步骤：

根据所述像素重叠量[60]缩放所述当前宏块[54]的相对重要性。

16.如权利要求10所述的方法，其特征在于所述确定每个宏块的重要性值的步骤包括确定目标宏块的多个残余离散余弦变换(DCT)系数的值的子步骤，所述目标宏块参考要确定重要性值的所述宏块，在确定所述宏块的所述相对重要性时考虑所述值。

17.一种系统[12]，用于对压缩视频数据流进行编码，所述系统包括：

重要性分析系统[22]，用于根据每个宏块作为参考宏块的次数来确定视频帧中每个宏块的重要性值；以及

优先级分配系统[24]，根据确定的每个宏块的所述重要性值来为所述视频帧中所述每个宏块分配优先级。

18.如权利要求17所述的系统[12]，其特征在于所述重要性分析系统[22]包括P帧分析系统[26]，该系统检查之前和之后B帧的运动矢量，并且如果有后续P帧存在，也检查该后续P帧的运动矢量，以确定当前P帧中每个宏块作为参考宏块的次数。

19.如权利要求18所述的系统[12]，其特征在于所述重要性分析系统[22]还包括间接分析系统[29]，该系统[29]确定所述后续P帧中的宏块被其它视频帧参考的次数。

20.如权利要求17所述的系统[12]，其特征在于所述重要性分析系统[22]包括I帧分析系统[28]，该系统[28]检查之前和之后B帧的运动矢量以及后续P帧的运动矢量，以确定当前I帧中每个宏块作为参考宏块的次数。

21.如权利要求20所述的系统[12]，其特征在于所述重要性分析系统[22]还包括间接分析系统[29]，该系统[29]确定所述后续P帧中的目标宏块作为参考宏块的次数。

22.如权利要求17所述的系统[12]，其特征在于还包括差错保护系统[25]，该系统[25]根据每个宏块被分配的优先级对宏块数据流增加差错保护。

23.如权利要求17所述的系统[12]，其特征在于还包括部分宏块分析系统[27]，该系统计算当前宏块[54]和参考宏块[56]之间的重叠[60]，并根据所述重叠缩放所述重要性值。

24.如权利要求17所述的系统[12]，其特征在于所述重要性分析系统[22]包括残差分析系统[19]，所述残差分析系统[19]确定目标宏块的多个残余离散余弦变换(DCT)系数的值，所述目标宏块参考所述宏块，所述重要性分析系统[22]为所述宏块确定所述重要性值，在确定所述重要性值时所述重要性分析系统[22]考虑所述值。

25.一种系统[10]，用于为压缩视频数据流分配优先级，所述系统包括：

系统[22]，用于根据每个宏块作为参考宏块的次数来确定多个视频帧中每个宏块的重要性值；

将宏块分组为宏块组并组合每个组中宏块的重要性值的系统；以及

系统[24]，用于根据所述组合的重要性值为宏块组分配优先级。

26.如权利要求25所述的系统[10]，其特征在于每组宏块包括一个完整的视频数据帧。

27.如权利要求25所述的系统[10]，其特征在于每组宏块包括一组图像。

28.如权利要求25所述的系统[10]，其特征在于还包括部分宏块分析系统[27]，该系统计算当前宏块[54]和参考宏块[56]之间的重叠[60]，并根据所述重叠缩放所述重要性值。

29.如权利要求25所述的系统[10]，其特征在于所述重要性分析系统[22]包括残差分析系统[19]，所述残差分析系统[19]确定目标宏块的多个残余离散余弦变换(DCT)系数的值，所述目标宏块参考所述宏块，所述系统[22]为所述宏块确定所述重要性值，所述系统[22]在确定所述重要性值时考虑所述值。