CN1842820A

CN1842820A - 用于视频帧的空间放大的方法

Info

Publication number: CN1842820A
Application number: CNA2004800247329A
Authority: CN
Inventors: I·基伦科; T·特尔于克
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2003-08-28
Filing date: 2004-08-19
Publication date: 2006-10-04
Also published as: JP2007504523A; EP1661086A1; US20060284891A1; WO2005022463A1; KR20060121851A

Abstract

本发明涉及用于空间放大包括p行和q列像素的原始视频帧的方法，其中p和q是整数。所述放大的方法包括这一步骤：把被看作为在水平、垂直、或同时在这两个方向上的低－低空间子频带(LL)的原始视频帧进行高通滤波，以便构建分别包括p行和q列像素的高－低(HL)、低－高(LH)、和高－高(HH)虚拟空间子频带的步骤。所述放大的方法还包括这一步骤：对构建的子频带和原始视频帧施加逆小波变换(IWT)，以得到原始图像的放大的版本的步骤。

Description

用于视频帧的空间放大的方法

发明领域

本发明涉及用于空间放大(up-scaling)一个包括p行和q列像素的原始视频帧的方法和设备，其中p和q是整数。

本发明涉及包括用于实施所述放大方法的程序指令的计算机程序产品。

本发明例如与必须能够以不同的尺度显示静止图像或图像序列的电视接收机或个人计算机有关。

发明背景

高清晰度显示器的开发需要使用有效的用于空间放大静止图像或图像序列的方法。传统的放大的方法包括加倍像素和行、利用双线性内插或其它平均技术。然而，这些技术由于粗糙的轮廓的外貌造成放大的图像的质量不佳。即使使用分开的多阶段上变换滤波器，锯齿形的行的问题仍旧存在。

其它的放大方法使用离散小波变换，类似于基于小波的压缩算法。它的概念是基于这样的事实，原始图像的前向小波变换导致低-低LL子频带，它包括在水平和垂直方向上的低频信息以及它是所述原始图像的缩小一半的版本。相反，如果原始图像被看作为在前向小波变换以后接收的低-低子频带，则所述原始图像可以通过施加逆小波变换被放大。但为了施加逆小波变换必须构建相应于低-低子频带LL(即原始图像)的高频子频带(即高-低HL、低-高LH、和高-高HH子频带)。

美国专利No.6,377,280提出包括构建这些虚拟高频子频带HL、LH、和HH的步骤的放大方法。按照所述方法，原始图像要进行前向小波变换，以得到第一分解水平的HL1、LH1、HH1子频带。然后，来自子频带HL1和LH1的小波系数的数值分别被送到虚拟子频带HL和LH。因为在子频带HL1或LH1中的小波系数的数目是虚拟子频带HL或LH中的数目的四分之一，在HL和LH子频带中的其余的系数按照预定的图案被设置为零。这个现有技术的方法是基于这样的假设，不同的分解水平的小波系数在幅度和正负号上都是非常类似的。然而，这不是总是正确的，并且把来自预定水平的一个子频带(例如HL1)的系数再放置在比起所述预定水平更低的水平的另一个子频带(例如HL)中并不总会提供高的图像质量。而且，这种放大方法是相当复杂的，并需要相当大的计算资源。

发明概要

本发明的目的是提出一种比起现有技术的方法更简单的放大的方法。

为此，按照本发明的放大的方法的特征在于，它包括以下的步骤：

-把被认为在水平、垂直、或同时在这两个方向上的低-低空间子频带的原始视频帧进行高通滤波，以便构建分别包括p行和q列像素的高-低、低-高、和高-高虚拟空间子频带，

-对构建的子频带和原始视频帧施加逆小波变换，以得到原始图像的放大的版本。

结果，生成的虚拟空间子频带具有与原始视频相同的尺寸。因此，按照本发明的放大的方法对于得到包括p行和q列的数据的虚拟空间子频带，不需要如在现有技术方法中进行的附加步骤，即把具有尺寸(p/2)*(q/2)的第一分解水平的虚拟空间子频带与零系数相组合。

而且，通过适当地选择高通滤波器，画面质量得以改进。例如，如果高通滤波器是从与逆小波变换所使用的滤波器相同的小波滤波器族中间选择的，就是这种情形。

参考此后描述的实施例，将明白和阐述本发明的这些和其它方面。

附图简述

作为例子，参考附图更详细地描述本发明，其中：

图1是按照本发明的放大的方法的框图，

图2是传统的二维逆小波变换的框图，

图3A是传统的提升方案的框图，以及

图3B是简化的提升方案的框图。

发明详细说明

本发明涉及用于空间放大静止图像或视频图像序列的方法和设备。

本发明是基于把逆离散小波变换(IWT)施加到原始图像，所述图像被看作为低-低LL子频带，以及施加到相应的高频子频带，后者根据原始图像信息被有效地预测。离散小波变换执行图像的边缘特性的高质量近似的能力使得它对于上采样的应用是理想的。

图1显示按照本发明的放大的方法的一般原理。

在所述方法的第一步骤，包括p行和q列像素的原始图像ORI被看作为在虚拟放大的图像经离散前向小波变换后接收的虚拟的低-低LL子频带。

此后，从被看作为低-低LL子频带的原始图像通过使用高通滤波HF构建了高频空间子频带(即低-高LH、高-低HL、和高-高HH)。低-高LH子频带包含有关原始图像的水平边缘的信息，高-低HL子频带包含有关垂直边缘的信息，以及高-高HH子频带包含有关对角线边缘的信息。

在最后一级，提出的放大的方法包括二维离散逆小波变换IWT，它被应用到原始图像和所构建的高频子频带，以便得到和发送具有原始图像两倍大的行数和列数的像素，即2p行和2q列的像素的放大的图像UPI。

图2显示所述二维逆小波变换。所述逆小波变换包括沿垂直y方向对不同的子频带LL、LH、HL和HH进行2倍上采样的第一步骤UP2v。然后，它包括通过使用低通滤波器LP在垂直方向上对被上采样的LL和HL子频带进行低通滤波的步骤LPv。它还包括通过使用高通滤波器HP在垂直方向上对被上采样的LH和HH子频带进行高通滤波的步骤HPv。然后，把经低通滤波的和上采样的LL子频带与经高通滤波的和上采样的LH子频带相加，得到包括2p*q像素的中间的低频帧IL。把经低通滤波的和上采样的HL子频带与经高通滤波的和上采样的HH子频带相加，得到包括2p*q像素的中间的高频帧IH。

逆小波变换包括沿水平x方向对中间帧IL和IH进行2倍上采样的第二步骤UP2h。然后，它包括通过使用低通滤波器LP在水平方向上对被上采样的IL帧进行低通滤波的步骤LPh。它还包括通过使用高通滤波器HP在水平方向上对被上采样的IH帧进行高通滤波的步骤HPh。然后，把经低通滤波的和上采样的IL帧与经高通滤波的和上采样的IH帧相加，得到包括2p*2q像素的放大的图像。

作为例子，低通滤波器是LP1＝1/2[1，1]以及高通滤波器是HP1＝1/2[1，-1]。换句话说，当把低通滤波器LP在水平x方向上应用到像素m时，我们有：

LP1(m)＝(x(m)+x(m+1))/2，

以及当在垂直y方向上应用到像素n时，我们有：

LP1(n)＝(y(n)+y(n+1))/2.

同样地，当把高通滤波器HP在水平x方向上应用到像素m时，我们有：

HP1(m)＝(x(m)-x(m+1))/2

以及当在垂直y方向上应用到像素n时，我们有：

HP1(n)＝(y(n)-y(n+1))/2.

本领域技术人员将会看到，本发明不限于这对滤波器，而是可以应用其它的滤波器对，诸如，例如，在Antonini等在题目为“ImageCoding Using Wavelet Transform”(使用小波变换的图像编码)，IEEETrans.Image Processing，vol.1，no.2，pp.205-220，April 1992的文章中提出的：

LP2＝[0.02674875967204570800；-0.01686411909759044600；-0.07822325080633163500；0.26686409115791321000；0.60294902324676514000；0.26686409115791321000；-0.07822325080633163500；-0.01686411909759044600；0.02674875967204570800]和

HP2＝[0.045635882765054703，-0.028771763667464256，-0.2956358790397644，0.5574351615905762，-0.2956358790397644，-0.028771763667464256，0.045635882765054703]

本发明提出通过使用高通滤波器从低-低LL子频带构建虚拟高频子频带HL、LH和HH的系数。所述高通滤波器HP在水平方向、垂直方向和两个方向上被应用到原始帧，即LL子频带，以便分别得到HL、LH和HH子频带。

按照本发明的实施例，高通滤波器从与对于逆小波变换所使用的滤波器相同的小波滤波器族中间进行选择。这提供几乎最佳的与逆小波变换的组合。

作为例子，对于在构建步骤中所使用的高通滤波器HP是与相应于在按照本发明的放大的方法中使用的逆小波变换的前向小波变换的高通滤波器HPf相同的。更精确地，如果LPf和HPf是前向小波变换的低通和高通滤波器以及LPi和HPi是逆小波变换的低通和高通滤波器，则在频域中它们的关系如下：

LPi(ω)＝HPf(ω+π)

HPi(ω)＝-LPf(ω+π)，其中ω是频率。

在空间域中它们的关系如下：

HPf(k)＝-(-1)^k.LPi(k)

HPi(k)＝(-1)^k.LPf(k)其中k是在-K与K之间的整数，K具有预定的数值。

例如，如果逆小波变换滤波器是LPi＝1/4[1，2，1]和HPi＝1/4[1，-6，2，1]，则对于构建HL、LH和HH子频带所使用的高通滤波器是HP＝HPf＝1/4[1，-2，1]。

因此，提出的方法不需要完全的前向小波变换，而只需要所述小波变换的简化的版本。同时，它允许更好地反映原始图像的高频信息，因为它不利用对前向小波变换所需要的下采样的操作，或不把来自预定水平的子频带的信息复制到其水平低于所述预定水平的子频带。子频带预测所使用的简化的小波信息只涉及到在一个或两个方向上的高通滤波，而不涉及低通滤波和小波系数的下采样，这些否则是传统的前向小波变换所需要的。

每个高频子频带是通过把高通滤波器在水平方向、垂直方向、或在两个方向上应用到低-低LL子频带(即原始图像)而被构建的。为了接收低-高LH子频带，原始图像在垂直方向上进行高通滤波；因此水平边缘被保留。高-低HL子频带是通过在水平方向上对原始图像进行高通滤波而被构建的。高-高HH子频带是通过在水平方向和垂直方向上都应用高通滤波器而被构建的。替换地，高-高HH子频带是通过把零值滤波器应用到原始图像而被构建的导致HH子频带被填充以零值。这样的替换的解决方案能节省计算资源。高通滤波的结果在于，所构建的子频带的大小等于原始图像的大小。

按照本发明的实施例，构建LH、HL和HH子频带的步骤通过使用简化的提升方案而被实施。一维前向小波变换的传统的提升方案示于图3A。按照所述方案，包含在原始图像中的输入信号x被分割成偶数样本xe[n]和奇数样本xo[n]。在预测阶段期间，高频小波系数d[n]被计算如下：

d[n]＝xo[n]-P(xe[n])，其中P()是预测函数。

在更新阶段期间，低频小波系数c[n]被计算如下：

c[n]＝xe[n]+U(d[n])，其中U()是更新函数。由于奇数/偶数分割的操作，c[n]和d[n]的分辨率是x[n]的分辨率的二分之一。

因为放大的方法没有实施完全的前向小波变换以及输入信号x[n]已代表低频系数d[n]，所述放大的方法适配于计算高频小波系数d[n]，和使得低频小波系数c[n]归一化。所以，不需要更新U()的操作。此外，放大不应当把输入信号分割成偶数和奇数样本序列，因为高频小波系数d[n]以与输入信号相同的分辨率被传送。提议的简化提升方案示于图3B。按照所述方案，输入样本x[n]被移位，导致移位的样本xs(n)。高频小波系数d[n]根据输入的和移位的样本按如下的预测函数进行计算：d[n]＝ko.(xs[n]-P(x[n]))，而低频小波系数c[n]从输入的样本如下地得出：c[n]＝ke.x[n]，其中ke和ko是归一化因子。

本领域技术人员将会看到，构建步骤的高通滤波器可以按照其它不同的方式从逆小波变换的滤波器得出。

按照本发明的实施例，原始图像的像素值通过归一化因子被归一化，所述归一化因子取决于为子频带的预测和为逆小波变换IWT而选择的高通滤波器的系数(或抽头)。

因为前向小波变换导致与自然图像相比有不同强度值范围的系数的低-低LL子频带，所以需要这种归一化。这个强度值范围差值取决于所使用的小波滤波器的类型。因此，归一化因子必须根据逆小波变换所使用的小波滤波器来规定。例如，如果使用9/7双正交小波变换，则归一化因子的数值等于低通滤波器系数的和值的平方。被看作为LL子频带的输入帧的所有的像素必须乘以这个归一化因子。

按照本发明的另一个实施例，构建步骤和逆小波变换步骤重复地进行，直至达到预定的放大因子为止。所述放大因子因此可以从2变化到2^N，其中N是严格地大于1的整数。

这样构建的子频带低-高LH、高-低HL和高-高HH包含与方向有关的高频信息，它被预测用于放大原始图像。具备这个信息将减小在放大的图像中的阶梯形伪像，即所谓的锯齿形的线条，所述伪像对于传统的放大技术是常有的。

提出的发明对通过基于小波的译码器译码的静止图像或视频帧序列进行空间放大中找到它的应用。例如，经基于小波编码器压缩的可空间缩放的比特流可被划分成几个层，每个层提供不同的分辨率水平。这些层可包括基本层，该基本层包含图像的缩小版本，即LL子频带，而增强层提供在以更高的分辨率重建图像时所需要的数据，即HL、LH、HH子频带。如果增强层在译码器一侧是不可得到的，即译码器只收到基本层，则可以通过使用实施按照本发明的放大方法的放大设备从基本层译码的图像的缩小版本重建原始图像。

按照本发明的实施例，提出的空间放大设备被合并到基于小波的译码器中。因此，它不需要任何附加的专用结构块，因为逆小波变换已被利用于图像译码。所以，可以实施高频子频带的预测而不用附加开销。

本领域技术人员将会看到，放大的设备也可被合并到接收经译码的视频帧的显示设备中。显示设备例如是电视接收机或个人计算机。

上述的应用不应当限于本发明的范围。提出的放大的方法也可以与基于小波的编码/译码系统无关地被使用。

按照本发明的放大的方法可以由硬件或软件产品或同时用二者来实施。所述硬件或软件产品可以以几种方式，诸如分别由连线的电子电路或由适当地编程的集成电路来实施。集成电路例如可被包含在译码器、个人计算机或电视接收机中。包含在例如存储器中的指令组可以使得集成电路实行放大方法的不同步骤。指令组可以通过读出诸如盘这样的数据载体被装载到存储器。服务供应商也可以使得指令组经由诸如像因特网这样的通信网而可得到。

在以下的权利要求中的任何标号不应当看作为限制权利要求。将会看到，动词“包括”和它的变形的使用不排除除了在任何权利要求中规定的那些以外的任何其它步骤或单元的存在。在单元或步骤前面的单字“一个”不排除多个这样的单元或步骤的存在。

Claims

1.一种用于空间放大包括p行和q列像素的原始视频帧的方法，其中p和q是整数，所述放大方法包括以下的步骤：

-把被认为在水平、垂直、或同时在这两个方向上的低-低空间子频带(LL)的原始视频帧进行高通滤波，以构建分别包括p行和q列像素的高-低(HL)、低-高(LH)、和高-高(HH)虚拟空间子频带，

-对构建的子频带和原始视频帧施加逆小波变换(IWT)，以得到原始图像的放大的版本。

2.如权利要求1中要求的方法，其中在构建步骤中所使用的高通滤波器是从用于逆小波变换的低通滤波器得出的。

3.如权利要求1中要求的方法，包括在构建步骤之前用归一化因子把原始视频帧的像素数值归一化的步骤，所述归一化因子是从逆小波变换滤波器的系数得出的。

4.如权利要求1中要求的方法，其中构建高频子频带的步骤包括：将原始视频帧的输入样本移位的子步骤；通过使用预测功能从输入样本预测样本的子步骤；和根据经移位的样本和预测的样本计算子频带的高频系数的子步骤。

5.如权利要求1中要求的方法，其中构建高频子频带的步骤适配于使用零值滤波器，以使得子频带被填充以零值。

6.如权利要求1中要求的方法，其中构建步骤和逆小波变换步骤重复地进行直至达到预定的放大因子为止。

7.一种用于空间放大包括p行和q列像素的原始视频帧的设备，其中p和q是整数，所述放大的设备包括：

-用于把被认为在水平、垂直、或同时在这两个方向上的低-低空间子频带(LL)的原始视频帧进行高通滤波以便构建分别包括p行和q列像素的高-低(HL)、低-高(LH)、和高-高(HH)虚拟空间子频带的装置，

-用于对构建的子频带和对于原始视频帧执行逆小波变换(IWT)，以得到原始图像的放大的版本的装置。

8.用于显示视频帧的设备，所述设备包括如权利要求7中要求的放大的设备，该设备适配于从所述设备收到的输入的视频帧提供放大的视频帧。

9.用于从包括编码的视频帧的输入流产生包括经译码的视频帧的输出流的视频译码设备，所述译码设备包括如权利要求7中要求的放大设备，该设备适配于从经译码的视频帧提供放大的视频帧。

10.包括程序指令的计算机程序产品，当所述程序被处理器执行时该程序指令执行如权利要求1中要求的方法。