CN1943245A

CN1943245A - 一种用于降低多媒体数据编码比特率的方法

Info

Publication number: CN1943245A
Application number: CNA2006800000217A
Authority: CN
Inventors: 火焰; 区子廉; 雷志斌
Original assignee: Hong Kong Applied Science and Technology Research Institute ASTRI
Current assignee: Hong Kong Applied Science and Technology Research Institute ASTRI
Priority date: 2005-02-08
Filing date: 2006-02-08
Publication date: 2007-04-04
Anticipated expiration: 2026-02-08
Also published as: US7706440B2; WO2006084419A1; US20060176961A1; CN100499819C

Abstract

一些典型的实施例是关于压缩数据组的系统和方法。在一个实施例中，一种方法包括：接收要编码的数据帧，产生代表接收的帧和一个或几个参考帧之间的差的剩余帧，执行剩余帧内每个块的绝对差之和(SAD)的计算，将变换函数应用到剩余帧内的每个数据值，其中该变换函数至少是为包含各数据值的块计算出的SAD值的函数。

Description

一种用于降低多媒体数据编码比特率的方法

技术领域

本发明总的来说涉及压缩数据的系统和方法。

背景技术

多种应用中使用的多媒体数据(视频、音频、文本和它们的结合)具有很大程度的复杂性。在许多应用中，主要通过数据压缩来克服这种复杂性，以便实现有效率的处理、传送、呈现和涉及多媒体数据的其它重要功能。

数据压缩算法取决于数据组的冗余度，以便获得编码效率。通常地，使用数据组特征的先验知识来选择该数据组的编码算法实现数据压缩。例如，图象压缩算法取决于图象数据的空间相关性。具体来说，我们知道各象素的等级(level)与相邻象素的等级(level)紧密相关。类似地，各视频帧内一个象素的等级与先前视频帧内的同一象素和/或相邻象素的等级紧密相关。相应地，很多图象和视频压缩算法产生“剩余”或“差别”信号，他们使用行程编码(run lengths)和其它技术来利用空间和/或时间相关性编码。例如，运动图象专家组标准(MPEG standards)定义的压缩算法就使用这些技术。

压缩算法的性能取决于用来产生剩余信号的参考机制或函数(functionality)的选择。在视频压缩算法中，通过假定存在相对严格的时间相关性来进行参考帧的选择。基于这样的假定，典型地通过检查正在编码的帧之前一定限量的先前帧来选择参考帧。如果该视频数据具有相对紧密的时间相关性，压缩性能就是可接受的。但是，多媒体数据不是必需总遵循这样的假定。因此，已知的压缩算法可能不能有效地利用存在于多媒体数据中的冗余。

发明内容

一些典型的实施例通常是关于这样的算法，即通过利用数据的一个或几个参考帧来计算和编码剩余数据来压缩当前数据帧的算法。此外，一些典型的实施例通过产生最佳剩余数据使得可实现更大程度的数据压缩。在一些典型的实施例中，最佳剩余数据是多个因子的函数，诸如当前帧，一个或几个参考帧，绝对差之和(SAD)，运动矢量值，块能量，和/或其它系统变量。例如，传统剩余数据块中的一个值可以通过与该块相关的SAD值的函数来变换或标度(scale)。变换后的值然后用于编码该特定数据元素的该剩余值。优选地，这样选择该变换函数，以区分可以丢弃的信息(例如，噪声、假象等)和对于图象的感知质量很重要的信息。通过能够进行这样的区分，一些典型的实施例使得可进行更大数量的数据压缩。

前面已经广义地概括了本发明的特点和技术优越性，以便可以更好地理解后续的本发明的详细说明。本发明的其它特点和技术优越性将在此后说明，他们构成本发明的权利要求的主题。应该理解，这里公开的概念和具体实施例可以很容易地用于修正或设计实现本发明的相同目的的构造的基础。还应认识到，这样的等同结构不脱离所附权利要求定义的本发明范围。本发明的特征的创新点，即指其结构也包括操作方法，以及其它的目的和优点，这些将在后面结合附图的说明中更好地理解。但是还应理解，每个附图是用于说明的目的，不用来限定本发明的范围。

附图说明

为了更全面地理解本发明，请参考结合附图的下面的说明。其中：

图1是根据本发明的一个典型实施例的压缩视频帧的流程图；

图2-4是根据本发明的一些典型实施例的用于标度剩余值的SAD值的变换函数；

图5是根据本发明的一个典型实施例的执行数据压缩的系统。

具体实施方式

为了说明根据本发明的一个典型性实施例的视频帧的压缩，请参考图1。图1的处理流程从步骤101开始。在步骤101，定义一组非重叠象素宏块。宏块可以多个块尺寸运动估计公开的方式，再分成尺寸为16×16，16×8，8×16，8×8，4×8，4×4和/或等尺寸的子宏块。子宏块分割的不同模式可以应用于各宏块。再有，这种再分可以逐个帧地变化。每个宏块可以包括多于一个成分或通道(例如，RGB，YIQ，YUV，YCbCr等)。

在步骤102，对于当前帧中的每个块，获得最佳匹配块。每个最佳匹配块可以从参考帧中的相同尺寸的块确定。或者，最佳匹配块可以与重叠运动估计类似的方式从更大块中产生。再有，每个最佳匹配块可以与子象素运动估计或重叠运动估计/补偿算法类似的方式从相邻块的加权线性组合中确定。用于该多个块以产生最佳匹配块的权重可以逐象素地改变。还有，最佳匹配块可以从预定距离的先前帧和预定距离的后续帧的组合中确定。在一个实施例中，搜索帧i中的块中的最佳匹配块的过程可以跨越帧i-2，i-1，i+1，i+2以及其中的任何块。最佳匹配块的确定也可以使用当前帧。此外，各最佳匹配块可以与扩展的运动估计类似的方式利用所选象素的重复来形成。例如，步骤101和102可以利用标准视频处理算法来执行，诸如各种MPEG压缩标准定义的算法。

在步骤103，对于当前帧内的每个块，分析其相应的最佳匹配块。这种分析可以包括计算通常的剩余帧。这种分析也可以包括执行每个剩余块的的绝对差之和的计算，确定每个剩余块的能量，分析与每个剩余块相关的运动矢量，检查这些特征的过去帧的历史，等等。

在步骤104，最佳剩余帧作为一个或几个变量(例如最佳剩余＝函数F(通常剩余，一个或几个其它参数))的函数来计算。在一个实施例中，使用了与通常剩余帧的每个块相关的所选参数的变换函数。该变换函数为通常剩余帧中的每个数据元素进行估计，剩余帧的每个数据元素根据结果值进行标度。每个数据元素标度之后，通常剩余帧就被变换成最佳剩余帧。也可以使用多个函数来产生单一的最佳剩余帧。这些函数可以是线性或非线性的。

选择每个函数来区分对图象数据的感知质量有用的信号信息和不重要的信号信息(诸如误差、噪声、假象等)。再有，这些函数可以有多种形式和/或格式。例如，假定压缩算法应用于根据摄象机的慢速运动“拖曳”取得的视频。可以使用较低复杂度的函数。或者，当一个场景具有更复杂摄象机运动和目标运动时，可以使用更复杂的函数，以决定可以丢弃剩余帧的哪些信息(或者等同地，在给定计算量、资源和时间限制条件下可以产生的最佳剩余帧是什么)。最佳参考帧不同于已知的剩余帧，不同之处在于最佳参考帧不编码全部不同点。具体来说，应用变换函数除去了对于数据感知质量不重要的信息。因此实现更大数量的数据压缩。

在步骤105，可以进行典型的剩余处理，诸如采用离散余弦变换(DCT)，或者其它变换、量化、熵编码(例如霍夫曼编码，算术编码等)、运动矢量相关，等等。MPEG标准定义的典型处理也可以使用。

压缩之后，可以利用传统的处理方法恢复数据。例如，传统的MPEG解码器可以用于恢复被压缩的数据。由于应用了变换函数，可能不能恢复特定帧的准确的视频数据(即该压缩是有损压缩)。但是，优选地，变换函数的选择最好是使得有错的或不太重要的信息从剩余数据删除。因此，解压缩视频数据的观看者不会体验到图象质量的不适当的降低。

虽然图1描述了视频数据的压缩，但是本发明不限于此。对于可以接受有损压缩的任何类型的数据，可以采用其它的典型实施例。

图2表示根据本发明一个典型实施例的用于剩余数据的函数200。函数200是SAD值的分段线性函数。函数200分成几个区域，每个区域具有其自己的参数值(在简化的线性情况下，即直线的斜度)。对于小SAD值来说，直线是陡的，以便减少最佳剩余数据(来反映这样的事实，即差值可能是噪声或误差)。或者，对于大的SAD值来说，直线变得平缓，以便可以编码全部剩余值。可以经训练或先前的统计来获得各区域。

图3和4分别表示根据本发明的其它典型实施例的函数300和400。函数300压缩与小SAD值有关的差，同时强调与大SAD值(例如重要的新的视频特征)有关的差。函数400具有“带通”形状。与小SAD值和大SAD值有关的差被压缩。当先验知识表明大的差值可能不可靠因此应该被压缩，可以使用函数400。在其它实施例中，类似地，变换函数可以是能量、熵和/或运动矢量的函数。

图5表示根据本发明的一个典型实施例的压缩视频数据的系统500。系统500可以利用包括合适的计算资源(如处理器501，显示器502和非可变存储器503)的计算机平台实施。非可变存储器503可以用于存储执行视频数据504的压缩的代码或软件指令。例如，当前视频帧可以由最佳匹配块模块505处理。在从一个或几个参考帧中确定了当前帧数据的最佳匹配块之后，传统的剩余计算模块506产生一剩余帧。变换函数模块507利用一个或几个变量来标度传统剩余帧的数据值，以产生一个最佳剩余帧。变量可以包括SAD值、能量值、运动矢量值等等。变换函数模块507从剩余帧除去对图象质量来说不重要的信息或者可能代表噪声或误差的信息。MPEG编码模块508处理最佳剩余帧，以产生压缩的视频数据509。压缩的视频数据509可以利用传统MPEG解码器/浏览器510来取得。

虽然为某些典型性实施例讨论了MPEG编码，但是根据其它的典型性实施例任何合适的编码方案都可以使用。此外，虽然某些典型性实施例在此以软件形式加以讨论，但是可以利用任何其它合适的逻辑元素，诸如集成电路。

虽然已经详细说明了本发明及其优越性，但应理解，在不脱离所附权利要求定义的本发明的条件下可以做出各种改变，替换和变化。此外，本申请的范围不限定到此处说明书中描述的处理方法，机器，制造，物质构成，手段，方法和步骤等的特定实施例。从说明书可以容易理解，可以利用实质上执行了与这里说明的相应实施例相同功能或实现了相同结果的目前已有的或者将来会开发出的处理方法，机器，制造，物质构成，手段，方法和步骤。因此，所附的权利要求书旨在包括这些处理方法，机器，制造，物质构成，手段，方法或步骤。

Claims

1.一种方法，包括：

接收要编码的数据帧；

产生剩余帧，该剩余帧代表接收的帧和一个或几个参考帧之间的差；

执行所述剩余帧内每个块的绝对差之和(SAD)的计算；及

将变换函数应用到所述剩余帧内的每个数据值，其中该变换函数至少是为包含各数据值的块计算出的SAD值的函数。

2.如权利要求1的方法，其中所述的变换函数是分段函数。

3.如权利要求2的方法，其中所述的变换函数是对于各SAD值区域具有不同斜度的线性函数。

4.如权利要求1的方法，其中所述变换函数对于较低SAD值具有相对陡的斜度，对于较高SAD值具有相对平缓的斜度。

5.如权利要求1的方法，其中所述变换函数是与包含各数据值的块有关的运动矢量的函数。

6.如权利要求1的方法，其中所述变换函数是与包含各数据值的块有关的计算的能量的函数。

7.如权利要求1的方法，还包括：

在所述的变换函数应用到剩余帧之后，编码所述的剩余帧。

8.如权利要求1的方法，其中所述的数据帧是视频序列帧。

9.一种用于压缩视频数据的系统，包括：

用于接收要编码的数据帧的装置；

用于从所述的接收数据帧和一个或几个参考帧中产生剩余帧的装置；

用于为所述的剩余帧的每个块计算各量度的装置，其中所述的量度表示所述的接收帧的一个块和所述的剩余帧内相应块之间的差；

用于利用变换函数标度所述剩余帧的每个数据元素的装置，其中与包含各数据元素的剩余块有关的计算出的量度提供到所述变换函数作为函数自变量。

10.如权利要求9的系统，其中所述量度是绝对差量度之和。

11.如权利要求9的系统，其中所述的变换函数是分段函数。

12.如权利要求11的系统，其中所述的变换函数是对于各SAD值区域具有不同斜度的线性函数。

13.如权利要求12的系统，其中所述变换函数对于较低SAD值具有相对陡的斜度，对于较高SAD值具有相对平缓的斜度。

14.如权利要求9的系统，其中所述变换函数是与包含各数据值的块有关的运动矢量的函数。

15.如权利要求9的系统，其中所述变换函数是与包含各数据值的块有关的计算的能量的函数。

16.如权利要求9的系统，还包括在所述的变换函数应用到剩余帧之后编码所述的剩余帧的装置。

17.如权利要求9的系统，其中所述的数据帧是视频序列帧。