CN1810040A

CN1810040A - 帧间小波视频编码方法

Info

Publication number: CN1810040A
Application number: CNA2004800170007A
Authority: CN
Inventors: 任昶勋; 河昊振; 李培根; 韩宇镇
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2003-07-18
Filing date: 2004-07-07
Publication date: 2006-07-26
Also published as: WO2005009046A1; KR20050009639A

Abstract

提供一种帧间小波视频编码(IWVC)方法，通过其，平均时间距离(ATD)被最小化。该IWVC方法包括：接收帧组并在第一向前的时间方向上和在第一向后的时间方向上将该帧组分解为帧之间的第一差帧和第一平均帧；对所述第一差帧和第一平均帧进行小波分解；和对小波分解产生的系数进行量化以产生比特流。该IWVC方法提供提高的视频编码性能。

Description

帧间小波视频编码方法

技术领域

本发明涉及一种小波视频编码方法，更具体地说，涉及一种帧间小波视频编码方法(IWVC)，在该方法中通过改变时间滤波方向来减少平均时间距离。

背景技术

随着包括互联网的信息通信技术的发展，视频通信以及文本和语音通信已增加。传统的文本通信不能满足用户的各种需求，因此能够提供诸如文本、图片、和音乐的各种类型信息的多媒体服务已增加。由于多媒体数据的量通常较大，所以多媒体数据需要大容量存储介质和用于传输的宽带宽。例如，具有640×480的分别率的24位真彩色图像需要640×480×24比特的容量，即，每帧大约7.37Mbits的数据。当该图像以每秒30帧的速度发送时，需要221Mbits的带宽。当存储基于这样的图像的90分钟的电影时，需要大约1200Gbits的存储空间。因此，对于发送包括文本、视频、和音频的多媒体数据，压缩编码方法是必不可少的。

数据压缩的基本原理是去除数据冗余。通过去除在其中相同的色彩或物体在图像中重复的空间冗余、在其中在运动图像中的相邻帧之间几乎没有改变或者相同的声音被在音频中重复的时间冗余、或者考虑到人的视觉和对高频的有限感知的精神视觉冗余，数据可被压缩。数据压缩根据源数据是否丢失可被分为有损/无损压缩，根据单个帧是否被单独压缩可被分为帧内/帧间压缩，根据压缩所需要的时间是否与恢复所需要的时间相同可被分为对称/非对称压缩。当压缩/恢复时间延迟不超过50ms时数据压缩被定义为实时压缩，当帧具有不同的分辨率时数据压缩被定义为可缩放压缩。对于文本或医疗数据，通常使用无损压缩。对于多媒体数据，通常使用有损压缩。同时，帧内压缩通常被用于去除空间冗余，帧间压缩通常被用于去除时间冗余。

用于多媒体的不同类型的传输介质具有不同的性能。目前使用的传输介质具有不同的传输率。例如，超高速通信网络可每秒传输几十兆比特的数据，而移动通信网络具有每秒384千比特的传输率。在诸如运动图像专家组(MPEG)-1、MPEG-2、H.263、和H.264的传统视频编码方法中，时间冗余通过基于运动估计和补偿的运动补偿被去除，空间冗余通过变换编码被去除。这些方法具有令人满意的压缩率，但是它们没有真正可缩放的比特流的灵活性。因此，为了支持具有各种速度的传输介质或者为了以适合于传输环境的数据速率发送多媒体，具有可缩放性的数据编码方法，诸如小波视频编码和子带视频编码，可以适合于多媒体环境。例如，帧间小波视频编码(IWVC)可提供非常灵活、可缩放的比特流。

发明内容

技术问题

然而，传统的IWVC具有比诸如H.264编码方法更低的性能。由于此较低的性能，所以尽管IWVC具有非常出色的可缩放性，但是它仅被用于有限的应用。因此，提高具有可缩放性的数据编码方法的性能已成为问题。

技术解决方案

本发明提供一种通过减少运动估计的总计时间距离来提供提高的性能的可缩放数据编码方法。

根据本发明的一方面，提供一种帧间小波视频编码方法，包括：接收帧组并在第一向前的时间方向上和在第一向后的时间方向上将该帧组分解为帧之间的第一差帧和第一平均帧；对所述第一差帧和第一平均帧进行小波分解；和对小波分解产生的系数进行量化以产生比特流。最好，该帧间小波视频编码方法还可包括：在将帧组分解为第一差帧和第一平均帧之前，获得帧之间的运动矢量并使用该运动矢量来补偿时间运动。此外，第一向前的时间方向和第一向后的时间方向最好被组合以使在帧组中的帧之间的平均时间距离被最小化。

将帧组分解成第一差帧和第一平均帧的步骤可包括：(a)在第一向前的时间方向上将帧组分解为两个帧之间的第一差帧和第一平均帧；和(b)在第一向后的时间方向上将帧组分解为另两个帧之间的另一第一差帧和另一第一平均帧。可对于帧组中的帧交替执行步骤(a)和(b)。同时，将帧组分解为第一差帧和第一平均帧的步骤还可包括在第二向前的时间方向和第二向后的时间方向中的任一方向上将第一平均帧分解为两个第一平均帧之间的第二差帧和第二平均帧。这里，将第一平均帧分解为第二差帧和第二平均帧可被重复多次。第二向前的时间方向和第二向后的时间方向可被组合以使在帧组中的帧之间的平均时间距离被最小化。

将第一平均帧分解为第二差帧和第二平均帧的步骤可包括：(c)在第二向前的时间方向上将第一平均帧分解为两个第一平均帧之间的第二差帧和第二平均帧；和(d)在第二向后的时间方向上将帧组分解为另两个第一平均帧之间的另一第二差帧和另一第二平均帧。可对于第一平均帧交替执行步骤(c)和(d)。

附图说明

通过参照附图对其优选实施例进行的详细描述，本发明的以上和其它特点和优点将会变得更加清楚，其中：

图1是执行帧间小波视频编码(IWVC)方法的编码器的框图；

图2示出传统IWVC中的运动估计的方向；

图3和图4示出在根据本发明的第一实施例的IWVC中的运动估计的方向；

图5和图6示出在根据本发明的第二实施例的IWVC中的运动估计的方向；

图7示出在根据本发明的第三实施例的IWVC中的运动估计的方向；

图8示出在根据本发明的第四实施例的IWVC中的运动估计的方向；

图9是比较关于传统IWVC和本发明的实施例之间的‘独木舟(Canoe)’序列的峰值信噪比(PSNR)的图表；

图10是比较关于传统IWVC方法和本发明的实施例之间的‘公车(Bus)’序列的PSNR的图表；和

图11是比较关于传统IWVC方法和本发明的实施例之间的‘独木舟’序列的PSNR的变化的图表。

本发明的实施方式

现在将参照附图详细描述本发明的优选实施例。

图1是执行帧间小波视频编码(IWVC)方法的编码器的框图。

执行IWVC方法的编码器包括：运动估计块10，获得运动矢量；运动补偿时间滤波块40，使用所述运动矢量去除时间冗余；空间小波分解块50，去除空间冗余；运动矢量编码块20，使用预定算法对运动矢量编码；量化块60，对由空间小波分解块50产生的各个分量的小波系数进行量化；和缓冲器30，临时存储从量化块60接收的编码的比特流。

运动估计块10使用诸如分级可变大小块匹配(HVSBM)的分级方法获得由运动补偿时间滤波块40使用的运动矢量。

运动补偿时间滤波块40使用由运动估计单元10获得的运动矢量将帧在时间方向上分解为低频帧和高频帧。更具体地，两个帧的平均值被定义为低频分量，两个帧之间的差的一半被定义为高频分量。帧被分解为帧组(GOF)单元。通过这样的分解，时间冗余被去除。可仅使用一对帧而不使用运动矢量来执行分解成高频帧和低频帧。然而，使用运动矢量的分解显示出比仅使用一对帧分解更好的性能。例如，在第一帧的一部分移动到第二帧的情况下，运动的量可由运动矢量表示。第一帧的该部分和在与第一帧的所述部分相同的位置上的、第二帧的一部分按运动矢量被移动至其的部分进行比较，时间运动被补偿。其后，第一和第二帧被分解成低频帧和高频帧。

空间小波分解块50对已经被运动补偿时间滤波块40在时间方向上分解为低频分量和高频分量的帧进行小波分解，从而去除空间冗余。

运动矢量编码块20使用率失真算法对由运动估计块10分级获得的运动矢量进行编码以使该运动矢量具有最佳的位数，并随后将编码的运动矢量发送到缓冲器30。量化块60对由空间小波分解块50产生的分量的小波系数进行量化并编码。编码的比特流表现为可缩放。缓冲器30在发送前存储编码的比特流并且由速率控制算法控制。

图2示出传统IWVC中的运动估计的方向。

在图2中，单个GOF包括16帧。在一对中的两个相邻帧被高频帧和低频帧替换。在传统IWVC中，运动估计仅在单个方向上执行，即，在向前的方向上执行。

例如，在等级0，帧1和帧2之间的运动估计在从帧1到帧2的方向上执行。其后，时间高频子带帧H1被置于帧1，时间低频子带帧L2被置于帧2。在此情况下，在等级1的时间低频子带帧L2类似于在等级0的帧2，时间高频子带H1类似于在等级0的帧1的边缘图像。同样地，在等级0的帧对1和2、3和4、5和6、7和8、9和10、11和12、13和14、以及15和16被在等级1形成帧的子带帧对H1和L2、H3和L4、H5和L6、H7和L8、H9和L10、H11和L12、H13和L14、以及H15和L16所替换。

在等级1的时间低频子带帧被分解为在等级2的时间低频子带帧和时间高频子带帧。例如，对于时间分解，运动估计在从帧L2到帧L4的方向上执行。结果，在等级2，时间高频子带帧LH2被置于帧L2的位置，时间低频子带帧LL4被置于帧L4的位置。类似地，帧LH2类似于帧L2的边缘图像，帧LL4类似于帧L4。同样地，在等级1的帧：L2、L4、L6、L8、L10、L12、L14、和L16被在等级2的帧LH2、LL4、LH6、LL8、LH10、LL12、LH14、和LL16所替换。

以与上述相同的方式，在等级2的时间低频子带帧LL4、LL8、LL12和LL16被在等级3的时间高频和时间低频子带帧LLH4、LLL6、LLH12、和LLL16所替换。在等级3的时间低频子带帧LLL6和LLL16最终被在等级4的时间高频和时间低频子带帧LLLH8和LLLL16所替换。

在图2中，带阴影的方形表示时间高频子带帧，无阴影的方形表示时间低频子带帧。因此，在等级0的帧1至16通过从等级0到等级4的时间滤波被分解为五种类型的时间子带。该分解导致：

一个LLLL帧：LLLL16；

一个LLLH帧：LLLH8；

两个LLH帧：LLH4和LLH12；

四个LH帧：LH2、LH6、LH10、和LH14；和

八个H帧：H1、H3、H5、H7、H9、H11、H13、H15。

在单个GOF包括八个帧的情况下，这八个帧通过从等级0到等级3的时间滤波被最终分解为四种类型的时间子带。在单个GOF包括32个帧的情况下，这32个帧通过从等级0到等级5的时间滤波被最终分解为六种类型的时间子带。

本发明提供一种可缩放数据编码方法，在该方法中通过减少运动估计的总计时间距离来提高性能。为了在数量上计算总计时间距离，定义了平均时间距离(ATD)。为了计算ATD，首先计算时间距离。时间距离被定义为两帧之间的位置差。例如，帧1和帧2之间的时间距离被定义为1，帧L2和帧L4之间的时间距离被定义为2。通过将经过了运动估计操作的成对的帧之间的时间距离之和除以帧的对的数量来获得ATD。

参照图2，运动估计的时间距离随着等级的增加而增加。在运动估计在等级1的帧1和帧2之间被执行的情况下，时间距离被计算为2-1＝1。类似地，在等级1的运动估计的时间距离是2，在等级3的运动估计的时间距离是8。在图2中，在等级0、1、2、和3分别存在运动估计的8对、4对、2对、和1对帧。因此，用于运动估计的帧对的总计数量是15。这被排列在表1中。

表1：传统IWVC中在每一等级的运动估计的帧对的数量和时间距离。

	运动估计的帧对的数量	运动估计的时间距离
	运动估计的帧对的数量	运动估计的时间距离	等级0	8	1
等级1	4	2	等级0	8	1
等级1	4	2	等级2	2	3
等级3	1	8	等级2	2	3

随着时间距离增加，运动矢量的大小也增加。具体地说，该现象在具有快速运动的视频序列中迅速出现。在图2显示的传统IWVC中，随着等级增加，时间距离也增加。在高等级的大的时间距离可引起传统IWVC的编码效率降低。ATD在传统IWVC中被如下计算：

ATD = \frac{8 \times 1 + 4 \times 2 + 2 \times 4 + 1 \times 8}{15} = 2.13

图3至8示出在根据本发明的不同实施例的IWVC中的运动估计的不同方向。在下文中，具有图3和图4所示的运动估计的方向的IWVC方法被称为方法1。具有图5和图6所示的运动估计的方向的IWVC方法被称为方法2。具有图7所示的运动估计的方向的IWVC方法被称为方法3，具有图8所示的运动估计的方向的IWVC方法被称为方法4。由于方法1和方法2提供最小ATD，所以通过根据在等级3的运动估计的方向是向前方向还是向后方向而将每个方法分为两种模式来更详细地描述方法1和方法2。换句话说，方法1被分为方法1-a和方法1-b，方法2被分为方法2-a和方法2-b。在图3至8中，实线指示向前的运动估计，虚线指示向后的运动估计。

参照图3和图4，在方法1中，向前的运动估计和向后的运动估计都在等级0中出现。在帧1和帧2之间的运动估计在从帧1到帧2的向前方向上被执行。时间高频子带帧H1被置于帧1，时间低频子带帧L2被置于帧2。然而，对随后的两帧的运动估计是不同的。在帧3和帧4之间的运动估计在从帧4到帧3的向后方向上被执行。时间高频子带帧H4被置于帧4，时间低频子带帧L3被置于帧3。

在等级1，在帧L2和L3之间执行运动补偿。从而，尽管在传统1WVC方法中，在等级1的运动估计的时间距离是2，但是在图3和图4所示的方法1中，在等级1的运动估计的时间距离为1。换句话说，当在等级0运动估计在向前方向和向后方向两者上都执行时，在等级1的运动估计的时间距离被减小为1。除了在等级3的方向之外，方法1-a和方法1-b所有运动补偿的方向都相同。如图3和图4所示，LLLL帧在方法1-a和方法1-b中分别被置于帧10和帧7的位置。

方法1和方法2在等级0的运动估计的方向相同，但是方法1和方法2在等级1的运动估计的方向不同。在方法1中，向前的运动估计在帧L6和L7之间执行并且向后的运动估计在帧L10和L11之间执行。相反地，在方法2中，向后的运动估计在帧L6和L7之间执行并且向前的运动估计在帧L10和L11之间执行。除了在等级3的方向之外，方法2-a和方法2-b中所有运动补偿的方向都相同。如图5和图6所示，LLLL帧在方法2-a和方法2-b中分别被置于帧11和帧6的位置。

在方法1和方法2中用于运动估计的帧对的数量和时间距离如表2和表3所示。

表3：方法2中在每个等级的运动估计的帧对的数量和时间距离。

	运动估计的帧对的数量	运动估计的时间距离
	运动估计的帧对的数量	运动估计的时间距离	等级0	8	1
等级1	4	1	等级0	8	1
等级1	4	1	等级2	2	3
等级3	1	5	等级2	2	3

在方法1中，ATD如下计算：

ATD = \frac{8 \times 1 + 4 \times 1 + 2 \times 4 + 1 \times 3}{15} = 1.53

在方法2中，ATD如下计算：

ATD = \frac{8 \times 1 + 4 \times 1 + 2 \times 3 + 1 \times 5}{15} = 1.53

在图7和图8显示的方法3和方法4中，LLLL帧被置于中心帧，即帧8的位置。与方法1和方法2相比，方法3和方法4提供较大的ATD并被排列在表4和表5中。

表4：方法3中在每个等级的运动估计的帧对的数量和时间距离。

	运动估计的帧对的数量	运动估计的时间距离
	运动估计的帧对的数量	运动估计的时间距离	等级0	8	1
等级1	4	2	等级0	8	1
等级1	4	2	等级2	2	4
等级3	1	2	等级2	2	4

表5：方法4中在每个等级的运动估计的帧对的数量和时间距离。

	运动估计的帧对的数量	运动估计的时间距离
	运动估计的帧对的数量	运动估计的时间距离	等级0	8	1
等级1	4	2	等级0	8	1
等级1	4	2	等级2	2	4
等级3	1	1	等级2	2	4

在方法3中，ATD如下计算：

ATD = \frac{8 \times 1 + 4 \times 2 + 2 \times 4 + 1 \times 2}{15} = 1.73

在方法4中，ATD如下计算：

ATD = \frac{8 \times 1 + 4 \times 1 + 2 \times 4 + 1 \times 1}{15} = 1.67

在方法1至方法4中获得的ATD分别为1.53、1.53、1.73、和1.67；而在传统IWVC中获得的ATD为2.13。在图3至图8所示的方法1至方法4之中，方法1和方法2提供最小的ATD。

ATD对应于运动估计的总计时间距离。当运动估计的总计时间距离减小时，总计运动矢量也减小。这样的特点给出了比传统IWVC更高的编码效率。

图9是比较关于传统IWVC和本发明的实施例之间的‘独木舟(Canoe)’序列的峰值信噪比(PSNR)的图表。方法1-a和方法1-b提供几乎相同的性能并给出比传统IWVC高出1.0至1.5dB的PSNR。

图10是比较关于传统IWVC和本发明的实施例之间的‘公车(Bus)’序列的PSNR的图表。方法1-a和方法2-a分别给出比传统IWVC高出1.0dB和1.5dB的PSNR。方法3和方法4提供比方法1-a和方法2-a低的性能，但是提供比传统IWVC高的性能。

图11是比较关于传统IWVC和本发明的实施例之间的‘独木舟’序列的PSNR的变化的图表。

可以从图11推断出在所有的方法中在GOF中在LLLL帧的位置上的PSNR最高。

产业上的可利用性

根据本发明，运动估计的总计帧间时间距离在使用小波的可缩放视频编码方法中被减少，从而视频编码的性能可被提高。

尽管参照附图只显示和描述了本发明的一些实施例，但是本领域的技术人员应该理解，在不脱离本发明的特征和精神的情况下，可对这些部件进行改变。例如，在上述本发明的实施例中，单个GOF包括16个帧。然而，本发明不限于此。此外，本发明的实施例已基于IWVC被描述和测试。然而，本发明可被应用于其它编码技术。因此，应该理解，上述实施例仅仅是在描述意义上被提供并且将不被解释为对本发明的范围施加任何限制。

Claims

1、一种帧间小波视频编码方法，包括：

接收帧组并在第一向前的时间方向上和在第一向后的时间方向上将该帧组分解为帧之间的第一差帧和第一平均帧；

对所述第一差帧和第一平均帧进行小波分解；和

对小波分解产生的系数进行量化以产生比特流。

2、如权利要求1所述的帧间小波视频编码方法，还包括在将帧组分解为第一差帧和第一平均帧之前，获得帧之间的运动矢量并使用该运动矢量来补偿时间运动。

3、如权利要求1所述的帧间小波视频编码方法，其中，第一向前的时间方向和第一向后的时间方向被组合以使在帧组中的帧之间的平均时间距离被最小化。

4、如权利要求1所述的帧间小波视频编码方法，其中，将帧组分解成第一差帧和第一平均帧的步骤包括：

(a)在第一向前的时间方向上将帧组分解为两个帧之间的第一差帧和第一平均帧；和

(b)在第一向后的时间方向上将帧组分解为另两个帧之间的另一第一差帧和另一第一平均帧。

5、如权利要求4所述的帧间小波视频编码方法，其中，对于帧组中的帧交替执行步骤(a)和(b)。

6、如权利要求5所述的帧间小波视频编码方法，其中，将帧组分解为第一差帧和第一平均帧的步骤还包括在第二向前的时间方向和第二向后的时间方向中的任一方向上将第一平均帧分解为两个第一平均帧之间的第二差帧和第二平均帧。

7、如权利要求6所述的帧间小波视频编码方法，其中，将第一平均帧分解为第二差帧和第二平均帧被重复多次。

8、如权利要求7所述的帧间小波视频编码方法，其中，第二向前的时间方向和第二向后的时间方向可被组合以使在帧组中的帧之间的平均时间距离被最小化。

9、如权利要求6所述的帧间小波视频编码方法，其中，将第一平均帧分解为第二差帧和第二平均帧的步骤可包括：

(c)在第二向前的时间方向上将第一平均帧分解为两个第一平均帧之间的第二差帧和第二平均帧；和

(d)在第二向后的时间方向上将帧组分解为另两个第一平均帧之间的另一第二差帧和另一第二平均帧。

10、如权利要求9所述的帧间小波视频编码方法，其中，可对于第一平均帧交替执行步骤(c)和(d)。

11、如权利要求4所述的帧间小波视频编码方法，其中，对于帧组中的帧交替并顺序地执行步骤(a)和(b)。

12、如权利要求4所述的帧间小波视频编码方法，其中，对于帧组中所有的帧的时间上的前一半执行步骤(a)，对于帧组中所有的帧的时间上的后一半执行步骤(b)。

13、如权利要求9所述的帧间小波视频编码方法，其中，对于帧组中的帧交替并顺序地执行步骤(a)和(b)。

14、如权利要求9所述的帧间小波视频编码方法，其中，对于帧组中所有的帧的时间上的前一半执行步骤(a)，对于帧组中所有的帧的时间上的后一半执行步骤(b)。

15、如权利要求6所述的帧间小波视频编码方法，其中，将第一平均帧分解为第二差帧和第二平均帧的步骤被重复至少一次。