CN101223780A - 减少编码器和解码器之间的不匹配的视频编码方法和设备 - Google Patents

Abstract

一种在运动补偿时域滤波处理中减少编码器和解码器之间的不匹配的视频编码方法，以及使用该方法的视频编码方法和设备。所述视频编码方法包括以下步骤：通过运动补偿时域滤波将输入帧划分为一个最终低通帧和至少一个高通帧；对最终低通帧编码并随后对编码的最终低通帧进行解码；通过使用解码的最终低通帧重估所述至少一个高通帧；以及对重估的高通帧编码。

Description

减少编码器和解码器之间的不匹配的视频编码方法和设备

技术领域

符合本发明的设备和方法涉及一种视频编码技术，更具体地说，涉及在运动补偿时域滤波(MCTF)处理中减少编码器和解码器之间的不匹配。

背景技术

最近，随着包括互联网的信息和通信技术的发展，多媒体通信的广泛使用与文本和语音通信一起迅速增多。由于现有基于文本的通信系统不足以满足消费者的多种需求，因此能够发送包括文本、图像、音乐和其他的各种类型的信息的多媒体业务正在增多。这些多媒体业务通常需要具有大容量的存储介质以存储海量多媒体数据。另外，还需要较宽的带宽以传输多媒体数据。为此，当发送包括文本、图像和音频数据的多媒体数据时，必须实施压缩编码方案。

通常，数据压缩指的是从数据移除冗余元素的处理。也就是说，可通过从数据移除空间冗余元素(例如，在图像中的相同颜色或对象的接收)、时域冗余元素(例如，在运动图像帧中的相邻帧之间的细微变化或无变化，或者相同音频声音的接收)和感知冗余元素(例如，远离人类视觉和感知能力的可察觉范围的高频)来压缩数据。一般来说，通过运动补偿时域滤波技术来移除时域冗余元素，通过空间变换技术来移除空间冗余元素。

在移除了冗余元素之后，需要传输介质传输多媒体数据。这里，根据传输介质的类型，介质可以具有不同传输速率。目前，具有不同传输速率的各种类型的传输介质(诸如，能够以几十Mbit/sec的传输速率传输数据的高速通信网络或能够以384kbit/sec的传输速率传输数据的移动通信网络)被用于传输多媒体数据。在这种情况下，由于可分级的视频编码方案在允许以适合于传输环境的传输速率传输多媒体数据的同时支持具有不同传输速率的各种传输介质，因此其更适合于多媒体环境。

可分级视频编码方案指的是能够通过根据传输环境的变化情况(诸如传输比特率、传输误差率或系统资源)部分截取压缩比特流来调整视频信号的分辨率、帧速率和SNR(信号噪声比)的编码方案。

在用于支持时域可分级性的可分级视频编码方案(诸如，H.264 SE(可分级扩展))中已经广泛使用了MCTF技术。具体地说，使用左右相邻帧的5/3 MCTF技术高效率地压缩数据并可应用于时域可分级性和SNR可分级性，从而在运动图像专家组(MPEG)准备的H.264 SE的标准草案中已经采用了5/3 MCTF技术。

图1是示出用于对一个GOP(图像组)按顺序执行预测步骤和更新步骤的5/3 MCTF结构的示图。

如图1所示，根据时域级的顺序在MCTF结构中按顺序地重复预测步骤和更新步骤。这里，通过预测步骤获得的帧被称为高通帧(H)，通过更新步骤获得的帧被称为低通帧(L)。可重复预测步骤和更新步骤直到获得最后一个低通帧(L)。

图2是详细示出预测步骤和更新步骤的示图。在图2中，下标(t和t+1)表示时域级，下标(2、1、0、-1和-2)表示时域顺序。另外，常数(a和b)表示在预测步骤或更新步骤中的每个帧的权重比。

在预测步骤中，基于当前帧(L_t ⁰)与从左右相邻参考帧(L_t ^-1和L_t ¹)预测的预测帧之间的差来获得高通帧(H_t+1 ⁰)。在更新步骤中，通过使用在预测步骤中获得的高通帧(H_t+1 ⁰)来变换已经在先前预测步骤中使用过的左右相邻参考帧(L_t ^-1和L_t ¹)。执行更新步骤以便移除高通元素，也就是说，从参考帧移除高通帧(H_t+1 ⁰)，因此更新步骤与低通滤波处理相似。由于变换的左右相邻参考帧(L_t+1 ^-1和L_t+1 ¹)不具有高通元素，因此可以提高编码性能。

根据MCTF技术，按照与GOP的时域级对应的顺序排列GOP的帧，通过在每个时域级执行预测步骤获得一个H帧(高通帧)，并通过使用H帧(更新帧)来变换在预测步骤中使用的两个参考帧。如果对位于一个时域级的N个帧执行上述处理，则可获得N/2个H帧和N/2个L帧。因此，假设GOP具有M个帧，如果重复该处理直到只剩下一个L帧，则可形成M-1个H帧和一个L帧。其后，剩余的帧被量化，并且MCTF处理结束。

详细地说，根据预测步骤，通过对如图2所示的左右相邻帧执行运动估计获得最优块，并通过使用所述最优块获得最优预测块。另外，可通过计算最优预测块与原始块之间的差来获得包括在H帧中的块。由于图2表示双向预测，常数a为-1/2。然而，如果使用左参考帧或右参考帧执行单次的单向预测，则常数a可以是-1。

更新步骤可通过使用通过预测步骤获得的差分图像来用于移除左右参考帧的高通元素，即H帧值。如图2所示，通过更新步骤，左右相邻帧(L_t ^-1和L_t ¹)被变换为不具有高通元素的参考帧(L_t+1 ^-1和L_t+1 ¹)。

上面的MCTF结构与传统的数据压缩方案(诸如MPEG-4或H.264)的差别在于：MCTF结构包括具有开环结构的视频编解码器并使用更新步骤以便减少移位误差。开环结构使用未量化的左右参考帧以便获得差分帧(高通帧)。相反地，传统视频编解码器主要使用闭环结构，先对参考帧编码和量化，然后将参考帧解码。

如果应用SNR可分级性，即，当在解码器方使用的参考帧的质量低于在编码器方的参考帧的质量时，则这样的MCTF开环编解码器优于闭环编解码器。另一方面，开环结构具有从编码器和解码器之间的参考帧的不匹配而产生的误差移位问题。为了解决上述问题，MCTF技术通过更新步骤从下一时域级的L帧移除差分图像的高通元素，从而提高了数据压缩效率并减少了从开环结构产生的误差移位的数量。然而，虽然通过更新步骤减少了误差移位的数量，但是在开环结构中仍然存在编码器和解码器之间的不匹配，从而必然降低性能。

发明内容

技术问题

在MCTF编解码器中的编码器和解码器之间存在两种类型的不匹配。第一种是预测步骤中的不匹配。参照图2中示出的预测步骤，左右参考帧用于获得H帧。然而，由于左右参考帧未被量化，因此从左右参考帧获得的H帧可能不是在解码器方的最优信号。然而，由于左右参考帧必须通过更新步骤被变换，并在下一时域级中被变换为H帧以被量化，因此，如果MCTF结构具有开环结构而不是闭环结构，则难以预先量化参考帧。

第二种类型的不匹配是在更新步骤中的不匹配。参考在图2中示出的更新步骤，高通帧(H_t+1 ⁰)用于改变左右相邻参考帧(L_t ^-1和L_t ¹)。然而，由于高通帧还没有被量化，因此在编码器和解码器之间可能发生不匹配。

技术方案

因此，本发明的一方面在于提供一种能够通过减少MCTF视频编解码器中的编码器与解码器之间的移位误差来提高视频压缩效率的设备和方法。

本发明的另一方面在于提供一种能够在MCTF视频编解码器中有效地重估高通帧的设备和方法。

本发明不限于上述方面，并且本领域的技术人员应通过下面的描述理解本发明的其他方面。

根据本发明的一方面，提供一种视频编码方法，包括步骤：(a)通过运动补偿时域滤波将输入帧划分为一个最终低通帧和至少一个高通帧；(b)对最终低通帧编码并随后对编码的最终低通帧解码；(c)通过使用解码的最终低通帧来重估高通帧；以及(d)对重估的高通帧进行编码。

根据本发明的另一方面，提供一种视频解码方法，包括步骤：(a)从包括在输入流中的结构数据恢复最终低通帧和至少一个高通帧；(b)从最终低通帧和至少一个高通帧中恢复位于最低时域级的低通帧，其中步骤(b)包括：子步骤(b1)通过将位于预定时域级的第一低通帧用作参考帧来反预测高通帧，从而恢复与高通帧对应的第二低通帧；以及(b2)使用恢复的高通帧来反更新第一低通帧。

根据本发明的另一方面，提供一种视频编码器，包括：通过运动补偿时域滤波将输入帧划分为一个最终低通帧和至少一个高通帧的装置、对最终低通帧编码并随后对编码的最终低通帧解码的装置、通过使用解码的最终低通帧来重估高通帧的装置、以及对重估的高通帧编码的装置。

根据本发明的另一方面，提供一种视频解码器，包括：第一装置，用于从包括在输入流中的结构数据恢复最终低通帧和至少一个高通帧；第二装置，用于从最终低通帧和至少一个高通帧中恢复位于最低时域级的低通帧，其中，第二装置包括：将位于预定时域级的第一低通帧用作参考帧来反预测高通帧，从而恢复与高通帧对应的第二低通帧的装置和使用恢复的高通帧来反更新第一低通帧的装置。

附图说明

通过下面结合附图的详细描述，本发明的上述和其他方面将会更清楚，其中：

图1是示出传统MCTF处理的示图；

图2是详细示出在图1中示出的预测步骤和更新步骤的示图；

图3是示出根据本发明的第一示例性实施例的MCTF处理的示图；

图4是示出根据本发明的第一示例性实施例的重估处理的示图；

图5是示出根据本发明的第一示例性实施例的反MCTF处理的示图；

图6是示出根据本发明的第二示例性实施例的重估处理的示图；

图7是示出根据本发明的第二示例性实施例的反MCTF处理的示图；

图8是示出根据本发明的第三示例性实施例的反MCTF处理的示图；

图9是示出根据本发明一示例性实施例的视频编码器的结构的框图；

图10是示出根据本发明一示例性实施例的视频解码器的结构的框图；以及

图11是示出用于实现图9中示出的视频编码器或图10中示出的视频解码器的操作的系统的结构的框图。

具体实施方式

以下，将参照附图描述本发明的示例性实施例。在描述中定义的内容(诸如详细结构和部件)被提供以用于帮助对本发明进行全面的理解。因此，很明显，可不使用定义的内容来实现本发明。在对本发明的以下描述和附图中，相同的标号用于相同的部件。此外，将省略对在此引入的已知功能和配置的详细描述。

本发明提供一种在MCTF处理(以下，该处理将被称为“帧重估处理”)之后的编码/解码处理期间，通过重估H帧来减少预测步骤中的不匹配的方法。另外，将参照示例性实施例来描述本发明，其中，每个实施例可包括MCTF处理、重估处理和反MCTF处理。在视频编码器方执行MCTF处理和重估处理，在视频解码器方执行反MCTF处理。

图3是示出根据本发明的第一示例性实施例的5/3MCTF处理的示图。本发明的第一示例性实施例可实现传统MCTF方案。一般来说，通过包括预测步骤和更新步骤的提升方案(lifting scheme)来执行MCTF处理。根据提升方案，将输入帧划分为将经过低通滤波的低通帧(以下，称为L位置帧)和将经过高通滤波的高通帧(以下称为H位置帧)。通过使用相邻帧对H位置帧应用预测步骤，从而获得H帧。另外，通过使用经过预测步骤获得的H帧对L位置帧应用更新步骤，从而获得L帧。

在下面的描述中，下标表示时域级，位于括号中的字符代表分配给特定时域级中的H帧和L帧的指数。例如，参照图3，四个L帧L₀(1)、L₀(2)、L₀(3)和L₀(4)可存在于时域级0中，两个H帧H₁(1)和H₁(2)以及两个L帧L₁(1)和L₁(2)可存在于下一时域级1中。考虑到帧的时域顺序，四个L帧L₀(1)、L₀(2)、L₀(3)和L₀(4)分别与H帧和L帧H₁(1)、L₁(1)、H₁(2)和L₁(2)对应。

预测步骤和更新步骤可表达为等式1：

等式1

H_t+1(k)＝L_t(2k-1)-P

L_t+1(k)＝L_t(2k)+U

在等式1中，L_t()表示在时域级t获得的L帧。这里，L₀()(t＝0)表示原始输入帧。H_t+1()表示在时域级t+1获得的H帧，L_t+1()表示在时域级t+1获得L帧，在括号中的常数表示指数。如果在MCTF处理中使用Haar滤波器，则等式1中的P和U可表达为等式2：

等式2

P＝L_t(2k)

$U=\frac{1}{2}{H}_{t+1}\left(k\right)$

另外，如果在MCTF处理中使用能够利用左右参考帧两者的5/3滤波器，则在等式1中的P和U可表达为等式3：

等式3

$P=\frac{1}{2}(L_t(2k-2)+L_t\left(2k\right))$

$U=\frac{1}{4}(H_{t+1}\left(k\right)+H_{t+1}(k+1))$

可重复预测步骤和更新步骤直到最终只剩余一个L帧。结果，在图3中示出的情况下，可获得一个L帧L₂(1)和三个H帧，H₁(1)、H₁(2)和H₂(1)。

图4是示出根据本发明的第一示例性实施例的重估处理的示图。

首先，最终L帧L₂(1)被编码并随后被解码。编码处理可包括变换处理和量化处理，解码处理可包括反量化处理和反变换处理。在以下的描述中，编码和解码处理将被称为“恢复处理”。最终恢复的L帧被表示为L′₂(1)。在以下的描述中，以撇号表示的帧指的是经过恢复处理的帧。为了通过使用帧L′₂(1)重估帧H₂(1)，通过MCTF处理获得的帧L₁(1)是必要的。也可以使用原始的L₀(2)来代替帧L₁(1)。

然后，通过使用参考帧L′₂(1)来重估帧L₁(1)的高通帧H₂(1)。如图4所示，参考帧还可包括先前GOP的帧。另外，可以在对当前GOP的重估处理中使用先前恢复的先前GOP的帧。如果H帧或L帧的括号中的指数具有负值，则表示先前GOP的帧。

使用参考字符R₂(1)表示重估帧。除了恢复了用于重估的参考帧之外，重新估计的计算处理可以与MCTF处理中的预测步骤的计算处理相同。因此，包括重估帧R₂(1)的一般重估R_t+1(k)可表达为等式4：

等式4

R_t+1(k)＝L_t(2k-1)-P′

其中，当使用5/3滤波器时， $P^{\′}=\frac{1}{2}({L^{\′}}_t(2k-2)+{L^{\′}}_t\left(2k\right)).$

其后，重估帧R₂(1)被编码并随后被解码，从而获得帧R′₂(1)。此外，通过使用帧R′₂(1)反更新帧L′₂(1)。结果，获得了帧L′₁(2)。以与MCTF处理中的更新步骤的顺序相反的顺序执行反更新步骤。通过变换等式1，反更新步骤可被表达为等式5。

等式5

L_t(2k)＝L_t+1(k)-U′

其中，当使用5/3滤波器时， $U^{\′}=\frac{1}{4}({R^{\′}}_{t+1}\left(k\right)+{R^{\′}}_{t+1}\left(k\right)+1).$

然后，通过使用参考帧L′₁(2)和L′₁(0)来反预测帧R′₂(1)(其中，L′₁(0)(未示出)是先前GOP的帧)，从而获得帧L′₁(1)。反预测步骤可表达为等式6：

等式6

L_t(2k-1)＝R′_t+1(k)-P′

其中，当使用5/3滤波器时， $P^{\′}=\frac{1}{2}({L^{\′}}_t(2k-2)+{L^{\′}}_t\left(2k\right)).$

因此，通过使用获得的帧L′₁(1)和L′₁(2)重估帧L₀(3)的高通帧来获得帧R₁(2)。另外，可通过使用帧L′₁(1)和L′₁(0)重估帧L₀(1)的高通帧来获得帧R₁(1)，其中，L′₁(0)(未示出)是先前GOP的帧。

尽管图4示出了包括四个帧的GOP，但是如果GOP包括的帧多于四个，则必须将上述步骤重复与帧的数量对应的次数。

视频编码器对重估的帧R₁(1)、R₁(2)和R₂(1)以及最终低通帧L₂(1)进行量化并将其发送到视频解码器。因此，视频解码器对重估的帧R₁(1)、R₁(2)和R₂(1)以及最终低通帧L₂(1)进行反量化，并随后执行反MCTF处理，从而恢复时域级0中的低通帧。以下，将参照图5描述在视频解码器方执行的反MCTF处理。

除了使用重新估计帧代替高通帧之外，根据本发明的第一示例性实施例的反MCTF处理与传统的反MCTF处理基本相同。

首先，使用恢复的重估帧R′₂(1)来反更新最终低通帧L′₂(1)(反更新步骤1)。结果，获得帧L′₁(2)。然后，通过使用参考帧L′₁(2)和L′₁(0)来反预测重估帧R′₂(1)(其中，通过反更新步骤来获得参考帧L′₁(2)，参考帧L′₁(0)(未示出)是先前GOP的帧)，从而恢复低通帧L′₁(1)(反预测步骤1)。

以相同的方式，执行反更新步骤2和反预测步骤2，从而恢复时域级0中的四个低通帧L′₀(1)、L′₀(2)、L′₀(3)和L′₀(4)。

根据本发明的第一示例性实施例，采用帧重估方案以便将闭环结构应用于包括预测步骤和更新步骤的MCTF技术。以这种方式，可将开环类型的MCTF改变为闭环类型的MCTF，从而可减少编码器与解码器之间的不匹配。

另外，根据本发明的第一示例性实施例，编码器中的重估处理和解码器中的反MCTF处理可按顺序执行反更新步骤和反预测步骤。然而，由于设计用于开环编解码器的更新步骤与闭环预测步骤一起使用，因此在编码器与解码器之间仍然存在不匹配。

参照图4中示出的重估处理，通过使用参考帧L′₂(1)来获得重估帧R₂(1)。然而，用于从重估帧R′₂(1)反预测帧L′₁(1)的参考帧不是帧L′₂(1)，而是从帧L′₂(1)反更新的帧L′₁(2)。在图5中示出在反MCTF处理中表示相同的情况。也就是说，参照图5，从帧L′₂(1)反更新的帧L′₁(2)用于从重估帧R′₂(1)反预测帧L′₁(1)。因此，参考帧L′₂(1)用于从低通帧L₁(1)预测重估帧R₂(1)，参考帧L′₁(2)用于从重估帧R′₂(1)恢复低通帧L′₁(1)。

因此，虽然因为根据本发明的第一示例性实施例的MCTF方案具有闭环结构从而能够减少移位误差，但是由于在MCTF处理中的预测步骤之后执行更新步骤，并在反MCTF处理中的更新步骤之后执行预测步骤，因此在编码器与解码器之间仍存在不匹配。

本发明的第二示例性实施例提供一种解决在本发明的第一示例性实施例中出现的不匹配问题的方法。

首先，执行在图3中示出的传统MCTF处理，从而获得至少一个高通帧H₁(1)、H₁(2)或H₂(1)以及最终低通帧L₂(1)。另外，最终低通帧L₂(1)被编码并随后被解码。

随后，如图6所示，通过使用解码的最终低通帧L′₂(1)执行处理重估。

也就是说，使用参考帧L′₂(1)来重估低通帧L₁(1)的高通帧H₂(1)。如图6所示，参考帧还可包括先前GOP的帧。另外，可以在对当前GOP的重估处理中使用先前GOP的先前恢复帧。使用标号R₂(1)来表示重估帧。可以在满足等式4的同时执行重估步骤。

然后，重估帧R₂(1)被编码并随后被解码，从而获得帧R′₂(1)。另外，通过使用参考帧L′₂(1)来反估重估帧R′₂(1)，从而获得在等式6中表达的低通帧L′₁(1)。然后，通过使用帧R′₂(1)反更新帧L′₂(1)。在等式5中表达了该反更新步骤。

这里，分开地执行获得低通帧L′₁(2)的步骤与获得低通帧L′₁(1)的步骤。也就是说，一个步骤的结果可不被另一步骤使用。因此，还可以交换上述两个步骤的顺序。为此，在更新最终低通帧L′₂(1)之前必须将其存储在缓冲器中。

根据本发明的第二示例性实施例与本发明的第一示例性实施例的区别在于：用于通过反预测重估帧来获得低通帧的参考帧没有经过反更新步骤。

因此，可通过使用获得的帧L′₁(1)和L′₁(2)重估帧L₀(3)的高通帧来获得帧R₁(2)。另外，可通过使用帧L′₁(1)和L′₁(0)重估帧L₀(1)的高通帧来获得帧R₁(1)，其中，L′₁(0)(未示出)是先前GOP的帧。如果GOP包括多个帧，则必须将上述步骤重复与帧的数量对应的次数。

在视频解码器方执行与在视频编码器方执行的MCTF处理和重估处理对应的反MCTF处理。与重估处理相似，根据本发明的第二示例性实施例的反MCTF处理使用未被反更新的参考帧，以便通过反预测重估帧来创建低通帧。

详细地说，参照图7，通过使用参考帧L′₂(2)和L′₂(0)来反预测重估帧R′₂(1)(其中参考帧L′₂(2)是最终低通帧，参考帧L′₂(0)(未示出)是先前GOP的帧)，从而恢复低通帧L′₁(1)(反预测步骤1)。然后，通过使用重估帧R′₂(1)来反更新最终低通帧L′₂(2)(反更新步骤1)。结果，获得低通帧L′₁(2)。

这里，可以分开执行获得低通帧L′₁(1)的步骤和获得低通帧L′₁(2)的步骤。也就是说，一个步骤的结果可以不在另一步骤中使用。因此，还可以交换上述两个步骤的顺序。

以相同的方式，执行反预测步骤2和反更新步骤2，从而恢复时域级0中的四个低通帧L′₀(1)、L′₀(2)、L′₀(3)和L′₀(4)。

虽然更新步骤在支持时域可分级的结构中是有用的，但是由于其需要附加的运动补偿处理，因此操作的次数可能大幅度增加。与传统MCTF处理不同，本发明的第一和第二示例性实施例采用闭环预测，从而可以不考虑更新步骤在不引起不匹配的情况下重估所有高通帧和高通残余。因此，即使省略对低通帧(其位于存在高通帧的时域级中)的反更新步骤，性能也不会降低。

因此，根据本发明的第三示例性实施例，可通过对所有低通帧执行与传统MCTF处理相似的更新步骤来实现在编码器方执行的MCTF处理。然而，在省略对低通帧(其位于存在高通帧的时域级中)的更新步骤同时执行在解码器方的重估处理和反MCTF处理，从而大幅度减少了操作次数。

通常，必须对应于位于一个时域级的高通帧的数量来执行反更新步骤。然而，根据本发明的第三示例性实施例，仅对每个时域级的一个低通帧执行反更新步骤就已经足够。如果将此特征应用于本发明的第二示例性实施例，则可能不发生由闭环预测引起的不匹配。

例如，根据传统MCTF处理，必须对所有高通帧执行反更新步骤，也就是说，当GOP具有N个帧时，可执行N-1次反更新步骤。相反，根据本发明的第三示例性实施例，仅执行log₂N次反更新步骤就已经足够。也就是说，可通过log₂N级操作来代替N级操作，从而更加简化了操作。该优点从根据本发明的帧重估技术产生。

通常，根据本发明的第三示例性实施例的减少的反更新步骤的操作次数(C)可表达为等式7：

等式7

C＝(N-1)-log₂N

图8是示出根据本发明的第三示例性实施例的反MCTF处理的示图。

当将图8与图7进行比较时，位于不具有高通帧R′₁(1)、R′₂(1)和R′₁(2)的时域级的低通帧L′₂(1)和L′₁(2)被反更新。然而，位于其他时域级的低通帧未被反更新。因此，低通帧L′₁(1)变成没有被反更新的位于时域级0的低通帧L′₀(2)。在图8的情况下，帧的数量为4(N＝4)，因此减少的操作次数(C)是1。然而，如果帧的数量为32(N＝32)，则减少的操作次数(C)是26。

在反MCTF处理期间执行的对于位于GOP的最后的时域位置的帧的反更新方案可以应用于如图6所示的重估处理。

图9是示出根据本发明一示例性实施例的视频编码器100的结构的框图。

视频编码器100包括：MCTF单元110、重估单元199、变换单元120、量化单元130、去量化(反量化)单元150、反变换单元160和熵编码单元140。

首先，将进行关于MCTF单元110的操作的描述。输入帧被输入到L帧缓冲器117中。这里，输入帧是L帧(低通帧)的一部分。存储在L帧缓冲器117中的L帧被提供给划分单元111。

当接收到L帧时，划分单元111将L帧划分为L位置帧(低通帧)和H位置帧(高通帧)。一般来说，高通帧位于奇数位置(2i-1)，低通帧位于偶数位置(2i)。这里，“i”是表示帧编号的整数指数。通过预测步骤将H位置帧变换为H帧，通过更新步骤将L位置帧变换为适用于下一时域级的低通帧。

将H位置帧输入到运动估计单元115和求差单元118。

运动估计单元115基于外围帧(位于相同时域级的不同时域位置的帧)对H位置帧(以下，称为当前帧)执行运动估计，从而获得运动矢量(MV)。外围帧被称为“参考帧”。

一般来说，块匹配算法可扩展用于运动估计。也就是说，在像素单元或亚像素单元(例如1/4像素)中的参考帧的特定搜索区域之内移动预定的块，与最小误差对应的替代块被估计为运动矢量。虽然固定矢量可用于运动估计，但是优选的是将HVSBM(分级可变大小块匹配)用于运动估计。

通过运动估计单元115获得的运动矢量(MV)被传送到运动补偿单元112。然后，运动补偿单元112通过使用运动矢量(MV)对参考帧执行运动补偿，从而获得当前帧的预测帧。预测帧被表达为等式1中示出的“P”。

求差单元118计算当前帧与预测帧之间的差以创建高通帧(H帧)。高通帧被临时地存储在H帧缓冲器117中。

同时，更新单元116通过使用获得的高通帧更新L位置帧，从而获得低通帧。在5/3MCTF处理的情况下，可通过使用时域上与L位置帧相邻的两个高通帧来更新预定的L位置帧。如果使用单个参考帧(也就是说，在HaarMCTF的情况下)，则可在单方向上执行更新处理。更新处理可表达为等式1的第二等式。由更新单元116的装置获得的低通帧被临时存储在L帧缓冲器118中。L帧缓冲器118将低通帧传送到划分单元111以执行下一时域级中的预测步骤和更新步骤。

同时，由于在最终低通帧(L_f)的情况下可能不存在下一时域级，因此将最终低通帧(L_f)传送到变换单元120。

变换单元120对最终低通帧(L_f)执行空间变换，并产生变换系数。空间变换可包括DCT(离散余弦变换)或小波变换。在DCT的情况下，变换系数是DCT系数。另外，在小波变换的情况下，变换系数是小波系数。

提供量化单元130来量化变换系数。术语“量化”的意思是用于以离散值的形式表示以实数表达的变换系数的过程。例如，量化单元130通过预定量化步骤划分实数变换系数并将结果值四舍五入为整数值来执行量化过程，这个过程被称为“分级量化”。在预定的量化表中提供所述量化步骤。

通过量化单元130的量化过程获得的量化结果(即，低通帧L_f的量化系数)被发送到熵编码单元140和去量化单元150。

去量化单元150对低通帧L_f的量化系数进行去量化。术语“去量化”的意思是通过使用用于量化过程的预定量化表恢复与经过量化过程获得的指数匹配的值的过程。

反变换单元160接收去量化的结果，并对去量化结果执行反变换。可通过反DCT变换或反小波变换与变换处理相反地进行反变换处理。结果，恢复最终低通帧L′_f并将恢复的最终低通帧L′_f发送到反更新单元190。

以下，将描述重估单元199的操作。重估单元199使用恢复的最终低通帧L′_f重估高通帧。在图4和图6中分别示出了重估处理的示例。重估单元199包括反更新单元190、帧重估单元180和反预测单元170。

首先，根据本发明的第二示例性实施例，帧重估单元180通过使用恢复的最终低通帧L′_f作为参考帧来重估位于与恢复的最终低通帧L′_f相同的时域级的高通帧。在等式4中表达了重估步骤。

可通过变换单元120、量化单元130、去量化单元150和反变换单元160对重估高通帧R解码。

反预测单元170通过使用恢复的最终低通帧L′_f作为参考帧来反预测解码的高通帧，从而恢复与解码的高通帧对应的低通帧。在等式6中表达了反预测步骤。可将恢复的低通帧发送回到帧重估单元180。以相同的方式，反预测单元170可通过使用预定的参考帧在下一时域级(低级时域级)中执行反预测。

反更新单元190通过使用解码的高通帧反更新恢复的最终低通帧L′_f。在等式5中表达了反更新步骤。以这种方式，将反更新的低通帧发送回到帧重估单元180。以相同的方式，反更新单元190可通过使用从反变换单元160提供的解码的高通帧在下一时域级(低级时域级)中执行反更新处理。

因此，帧重估单元180可通过使用从反预测单元170和反更新单元190提供的低通帧以及存储在L帧缓冲器中的预定低通帧，在下一时域级中再次执行重估处理。

同时，在重估步骤、反预测步骤和反更新步骤期间，通过使用由运动估计单元115计算的运动矢量(MV)执行运动补偿。

可重复重估单元199的上述操作，直到对所有高通帧的重估已经完成。

同时，当关于反预测步骤将第一示例性实施例与第二示例性实施例进行比较时，仅有的差别在于用作参考帧的低通帧是否经过反更新步骤。

根据本发明的第三示例性实施例，反更新单元190还执行确定输入的低通帧是否位于具有高通帧的位置的步骤。如果输入的低通帧位于具有高通帧的位置，则可省略对于相应的低通帧的反更新步骤。否则，对相应的低通帧执行反更新步骤。

在帧重估单元180中重估的高通帧R分别通过变换单元120和量化单元130的装置按顺序经过变换和量化处理。然而，可不将上述的处理应用于已经经过了上述处理的重估帧(诸如帧R′₂)。

熵编码单元140接收由量化单元130获得的最终低通帧L_f的量化系数和重估高通帧R的量化系数，并通过无损编码方案对量化系数进行编码，从而获得比特流。所述无损编码方案包括Huffman编码、算术编码、可变长度编码等。

图10是示出根据本发明一示例性实施例的视频解码器200的结构的框图。

熵解码单元210执行无损解码处理，从而从输入其中的比特流提取每个帧的结构数据(texture data)和运动矢量数据。提取的结构数据被发送到去量化单元220，提取的运动矢量数据被发送到反更新单元240和反预测单元250。

提供去量化单元220以对从熵解码单元210输出的结构数据进行去量化。术语“去量化”的意思是通过使用用于量化过程的量化表恢复与经过量化过程获得的指数匹配的值的过程。

反变换单元230对去量化的结果执行反变换。可与视频编码器100的变换单元120中执行的变换处理相反地执行反变换处理。这里，反变换包括反DCT变换或反小波变换。结果，恢复了最终低通帧和重估高通帧。

恢复的最终低通帧L′_f被发送到反预测单元250，恢复的重估高通帧R′被发送到反更新单元240和反预测单元250。反MCTF单元245可通过使用反预测单元250和反更新单元240重复反预测步骤和反更新步骤，从而获得最终恢复的低通帧L′₀。可继续所述预测步骤和更新步骤的重复直到能够恢复位于时域级0的帧(即，编码器100的输入帧)。

以下，将描述根据本发明的第二示例性实施例的反更新单元240和反预测单元250的操作。

反预测单元250通过使用最终低通帧L′_f作为参考帧来反预测重估高通帧R′，从而恢复与高通帧R′对应的低通帧。为此，反预测单元250通过使用从熵解码单元210提供的运动矢量(MV)对外围低通帧执行运动补偿，从而获得当前低通帧的预测帧。另外，反预测单元250将重估高通帧R′添加到预测帧。在等式6中表达了该反预测步骤。

由反预测单元250获得的低通帧被发送到反更新单元240。当接收到低通帧时，反更新单元240通过使用位于与低通帧相同的时域级的高通帧R′来反更新低通帧。此时，使用通过改变从熵解码单元210提供的运动矢量的标志而获得的运动矢量对高通帧R′执行运动补偿。反更新单元240可通过使用从反预测单元250提供的低通帧重复反更新步骤。

如果通过反更新处理已经恢复了位于时域级0中的输入帧，则反更新单元240输出恢复的低通帧L′₀。

同时，可与第二示例性实施例的反更新步骤和反预测步骤相反地执行第一示例性实施例的反更新步骤和反预测步骤。也就是说，根据本发明的第一示例性实施例，在反更新步骤之后执行反预测步骤。因此，除了用于输入的高通帧的数据与重估高通帧相关之外，根据本发明的第一示例性实施例的视频解码处理与传统反MCTF处理基本相同。

根据本发明的第三示例性实施例，反更新单元240还执行确定输入的低通帧是否位于具有高通帧的位置的步骤。如果输入的低通帧位于具有高通帧的位置，则可省略对于相应的低通帧的反更新步骤。否则，对相应的低通帧执行反更新步骤。

图11是示出实现视频编码器100或视频解码器200的操作的系统的结构的框图。所述系统可包括：TV、机顶盒、桌上型计算机、膝上型计算机、掌上计算机、PDA(个人数字助理)、视频或图像存储装置(例如，VCR(盒式录像机)或DVR(数字录像机))。另外，系统可包括上述装置或作为其他装备的一部分提供的装置的组合。所述系统具有至少一个视频源910、至少一个输入/输出单元920、处理器940、存储器950和显示单元930。

视频源910可包括TV接收器、VCR或视频存储单元。另外，视频源910可以是通过互联网、WAN(广域网)、LAN(局域网)、地面广播系统、有线网络、卫星通信网络、无线网络或电话网络，从服务器接收视频信号的至少一个网络连接。此外，视频源910可包括上述网络或作为其他网络的一部分而提供的网络的组合。

输入/输出单元920、处理器940和存储器950通过通信介质960互相通信。通信介质960包括：通信总线、通信网络或至少一个内部连接电路。从视频源910输入的视频数据可根据存储在存储器950中的至少一个软件程序通过处理器940处理，或者可通过处理器940执行以便产生发送到显示单元930的输出视频信号。

具体地说，存储在存储器950中的软件程序可包括执行本发明的示例性实施例的方法的可分级视频编解码器。编码器或可分级视频编解码器可被存储在诸如CD-ROM或软盘的存储器950或存储介质中。也可以通过各种网络从预定服务器下载编码器或可分级视频编解码器。另外，可通过软件程序使用硬件电路代替编码器或可分级视频编解码器，或者可使用软件和硬件电路的组合代替编码器或可分级视频编解码器。

工业可用性

如上所述，根据本发明的示例性实施例，可在不削弱传统MCTF的预测步骤和更新步骤的优点的情况下有效地减少编码器与解码器之间的移位误差，从而可显著提高数据压缩效率。

此外，根据本发明的示例性实施例，可将闭环预测步骤应用于不能有效实现传统MCTF处理的快速运动图像(这是由于快速运动图像引起了大量残余能量)，从而提高了性能。另外，可在不引起不匹配的情况下将更新步骤应用于慢速运动图像，从而提高了性能。

尽管作为示例性目的已经描述了本发明的示例性实施例，但是本领域的技术人员将理解，在不脱离权利要求公开的本发明的范围和精神的情况下，可以做出各种修改、添加和替换。

Claims (20)

1.一种视频编码方法，包括：

通过运动补偿时域滤波将输入帧划分为最终低通帧和至少一个高通帧；

对最终低通帧编码并随后对编码的最终低通帧解码；

通过使用解码的最终低通帧重估所述至少一个高通帧；以及

对重估的高通帧编码。

2.如权利要求1所述的视频编码方法，其中，重估高通帧的步骤包括：

通过使用第一低通帧作为参考帧来重估已经恢复的位于与第一低通帧的预定时域级相同的时域级的高通帧；

对重估的高通帧编码，并随后对编码的重估高通帧解码；

通过使用第一低通帧作为参考帧来反预测解码的重估高通帧，从而恢复与解码的高通帧对应的第二低通帧；以及

通过使用解码的高通帧反更新第一低通帧。

3.如权利要求1所述的视频编码方法，还包括从所述编码的最终低通帧和编码的所述至少一个高通帧获得比特流。

4.如权利要求1所述的视频编码方法，其中，划分输入帧的步骤包括：参考位于不同时域位置的帧获得当前帧的高通帧，并通过使用获得的高通帧来更新所述位于不同时域位置的帧。

5.如权利要求1所述的视频编码方法，其中，对最终低通帧编码的步骤包括：

通过变换低通帧获得变换系数；

量化变换系数；

对量化的量化结果进行去量化；以及

对去量化的去量化结果进行反变换。

6.如权利要求2所述的视频编码方法，其中，仅在第一低通帧位于不存在划分输入帧的步骤中获得的所述至少一个高通帧的时域位置的情况下执行反更新第一低通帧的步骤。

7.一种视频解码方法，包括：

从包括在输入流的结构数据恢复最终低通帧和至少一个高通帧；以及

从最终低通帧和所述至少一个高通帧中恢复位于最低时域级的低通帧，

其中，恢复低通帧的步骤包括：

通过使用位于预定时域级的第一低通帧作为参考帧反预测所述至少一个高通帧，从而恢复具有与所述至少一个高通帧相同的时域位置的第二低通帧；以及

使用所述至少一个高通帧反更新第一低通帧。

8.如权利要求7所述的视频解码方法，其中，恢复最终低通帧的步骤包括：

对输入比特流无损解码；

从无损解码的结果中对结构数据进行去量化；以及

对去量化的去量化结果进行反变换。

9.如权利要求7所述的视频解码方法，其中，仅在第一低通帧位于不存在所述至少一个高通帧的时域位置的情况下执行反更新第一低通帧的步骤。

10.一种视频编码器，包括：

通过运动补偿时域滤波将输入帧划分为一个最终低通帧和至少一个高通帧的装置；

对最终低通帧编码的装置；

对编码的最终低通帧解码的装置；

通过使用解码的最终低通帧重估所述至少一个高通帧的装置；以及

对重估的至少一个高通帧编码的装置。

11.如权利要求10所述的视频编码器，其中，重估装置包括：

通过使用第一低通帧作为参考帧来重估已经恢复的位于与第一低通帧的预定时域级相同的时域级的高通帧的装置；

对重估的高通帧编码并随后对编码的重估高通帧解码的装置；

通过使用第一低通帧作为参考帧来反预测解码的重估高通帧，从而恢复与解码的高通帧对应的第二低通帧的装置；以及

通过使用解码的高通帧反更新第一低通帧的装置。

12.如权利要求10所述的视频编码器，还包括从所述编码的最终低通帧和编码的至少一个高通帧获得比特流的装置。

13.如权利要求10所述的视频编码器，其中，划分输入帧的划分装置包括参考位于不同时域位置的帧获得当前帧的高通帧，以及通过使用获得的高通帧来更新所述位于不同时域位置的帧的装置。

14.如权利要求10所述的视频编码器，其中，用于解码的装置包括：

通过变换低通帧获得变换系数的装置；

量化变换系数的装置；

对量化的量化结果进行去量化的装置；以及

对去量化的去量化结果进行反变换的装置。

15.如权利要求11所述的视频编码器，其中，用于反更新的装置仅在第一低通帧位于不存在所述至少一个高通帧的时域位置的情况下反更新第一低通帧。

16.一种视频解码器，包括：

第一装置，从包括在输入流的结构数据恢复最终低通帧和至少一个高通帧；以及

第二装置，从最终低通帧和所述至少一个高通帧中恢复位于最低时域级的低通帧，

其中，用于恢复的第二装置包括：

通过使用位于预定时域级的第一低通帧作为参考帧反预测所述至少一个高通帧，从而恢复具有与所述至少一个高通帧相同的时域位置的第二低通帧的装置；以及

使用所述至少一个高通帧反更新第一低通帧的装置。

17.如权利要求16所述的视频解码器，其中，用于恢复的第一装置包括：

无损解码输入比特流的装置；

从无损解码的结果中对结构数据进行去量化的装置；以及

对去量化的去量化结果进行反变换的装置。

18.如权利要求16所述的视频编码方法，其中，用于反更新的装置仅在第一低通帧位于不存在所述至少一个高通帧的时域位置的情况下反更新第一低通帧。

19.一种由计算机读取的记录介质，所述记录介质具有能够执行视频编码方法的计算机代码，所述方法包括：

通过运动补偿时域滤波将输入帧划分为最终低通帧和至少一个高通帧；

对最终低通帧编码并随后对编码的最终低通帧解码；

通过使用解码的最终低通帧重估所述至少一个高通帧；以及

对重估的至少一个高通帧编码。

20.一种由计算机读取的记录介质，所述记录介质具有能够执行视频解码方法的计算机代码，所述方法包括：

从包括在输入流的结构数据恢复最终低通帧和至少一个高通帧；以及

从最终低通帧和所述至少一个高通帧中恢复位于最低时域级的低通帧，

其中，恢复低通帧的步骤包括：

通过使用位于预定时域级的第一低通帧作为参考帧反预测所述至少一个高通帧，从而恢复具有与所述至少一个高通帧相同的时域位置的第二低通帧；以及

使用所述至少一个高通帧反更新第一低通帧。

Images