CN101175211B - 用于变换和逆变换图像的方法和设备 - Google Patents

Abstract

提供一种变换和逆变换图像的方法和设备，其中根据输入图像的频率特性、通过选择性地使用多个频率变换算法而将输入图像变换为频域。该方法包括：根据通过对与当前块相邻的外围块的频率进行变换而获得的结果，从多个频率变换算法中选择将用于当前块的频率变换算法；以及通过使用所选择的频率变换算法而将当前块变换为频域。

Description

用于变换和逆变换图像的方法和设备

相关专利申请的交叉引用

本申请要求于2006年8月24日在韩国知识产权局提交的申请号为10-2006-0080644的韩国专利申请的优先权，在此引入其全文以供参考。

技术领域

符合本发明的设备和方法涉及视频编码和解码，并更具体地，涉及变换和逆变换图像，其中可选择性地使用多个频率变换算法。

背景技术

已经提出了用于图像和视频压缩的各种变换算法。最广泛使用的变换算法之一可是基于块的变换算法或基于图像的变换算法。基于块的变换算法的示例包括Karhuhen-Loeve(KLT)算法、奇异值分解(SVD)算法、以及离散余弦(DCT)算法。基于块的变换算法用于变换N×N图像块或错误样本块。

根据DCT算法，将输入图像信号划分为低频分量和高频分量。作为DCT算法的结果，能量集中于低频分量。因此，在量化处理中可以轻易去除高频分量。人类视觉系统对低频分量损失的敏感，而对高频分量损失不敏感。因此，即使去除高频分量，仍能压缩图像而不会显著降低图像质量。

图1是用于解释相关技术DCT算法的原理的示意图。

参见图1，根据相关技术DCT算法，N×N输入块10经受列方向(colmn-wise)变换20和行方向(row-wise)变换30以形成N×N系数块40。前向DCT定义为Y＝AxA^T，其中x表示N×N输入块10，A表示N×NDCT矩阵，以及Y表示N×N系数块40。为了执行第一矩阵乘法Ax，x(即，N×N输入块10)的每列经受一维DCT。为了将Ax乘以转置矩阵A^T，x的每行都经受一维DCT。

α_ik是N×N DCT矩阵A的(i，k)分量，并由等式1表示。

[等式1]

${\mathrm{\α}}_{\mathrm{ik}}={\mathrm{\α}}_i\cos \frac{\mathrm{\π}(2k+1)i}{2N}$

$(i,k=0,\·\·\·\·\·\·,N-1,{\mathrm{\α}}_0=\sqrt{\frac{1}{N}},{\mathrm{\α}}_i=\sqrt{\frac{2}{N}})$

图2表示8×8DCT的标准基础图案。当N×N输入块进行DCT时，创建由DCT系数组成的N×N系数块。DCT系数与如图2所示的标准基础图案集的权重因子相关联。参考图2，标准基础图案被配置为水平余弦函数和垂直余弦函数的组合。在乘以与各个图案对应的DCT系数之后，可通过组合在标准基础图案中包括的各个图案来重新配置图像块。

在相关技术方案中，使用相同DCT而不考虑图像信号特性。因此，需要通过合适地根据图像信号特性执行DCT而增加压缩效率。

发明内容

本发明的示例性实施例克服了上述缺点和上面没有描述的其它缺点。此外，本发明不需要克服上述的缺点，以及本发明的示例性实施例可能没有克服上述的任何问题。

本发明提供一种用于变换和逆变换图像的方法和设备，其中可以通过根据输入图像的频率特性来对各个块适当地使用不同的频率变换算法来改进编码效率。

根据本发明一方面，提供一种变换图像的方法，包括：根据通过对与当前块相邻的外围块的频率进行变换而获得的结果，从多个频率变换算法中选择将用于当前块的频率变换算法；以及通过使用所选择的频率变换算法而将当前块变换为频域。

根据本发明又一方面，提供一种变换图像的设备，包括：频率变换算法选择器，其根据通过对与当前块相邻的外围块的频率进行变换而获得的结果，来从多个频率变换算法中选择要用于当前块的频率变换算法；以及频率变换器，其使用所选择的频率变换算法而将当前块变换为频域。

根据本发明又一方面，提供一种逆变换图像的方法，包括：通过对已编码的位流进行熵解码来提取频率变换系数；从其中频带是非均匀划分的多个频率变换算法中选择用于变换所提取的频率变换系数的频率变换算法，以便进一步细微地变换特定的频带分量；以及使用所选择的频率变换算法来逆变换频率变换系数。

根据本发明又一方面，提供一种逆变换图像的设备，包括：频率变换算法选择器，从其中频带是非均匀划分的多个频率变换算法选择用于变换从位流提取的频率变换系数的频率变换算法，以便进一步细微地变换特定的频带分量；以及逆变换器，使用所选择的频率变换算法来逆变换频率变换系数。

附图说明

通过参考附图而详细描述示例性实施例，本发明的上述和其它特征将变得更加明显，其中：

图1是用于解释相关技术DCT算法的原理的示意图；

图2表示8×8DCT的标准基础图案；

图3是表示根据本发明示例性实施例的变换图像的设备的结构的框图；

图4A至图4F是用于解释根据本发明示例性实施例的多个频率变换算法的频率选择特性的图示；

图5是用于解释在根据本发明示例性实施例的变换图像的设备中确定输入块的频率特性的过程的图示；

图6是用于解释已频率变换的块的频率特性的图示；

图7是根据本发明示例性实施例的用于变换图像的方法的流程图；

图8是表示根据本发明的示例性实施例的、采用用于变换图像的设备的图像编码系统的结构的框图；

图9是表示根据本发明示例性实施例的用于逆变换图像的设备的结构的框图；

图10是根据本发明示例性实施例的用于逆变换图像的方法的流程图；以及

图11是根据本发明示例性实施例的、采用用于逆变换图像的设备的图像解码系统的结构的框图。

具体实施方式

下文，将参考附图详细描述本发明的示例性实施例。

为了便于理解，将首先描述图像的频率。示出帧内微小变化的图像在屏幕内具有极高的相关性。关于频率，示出微小变化的图像具有低空间频率分量。相反，示出帧内较大变化的图像，例如，交替显示黑白颜色的棋盘形图像，具有极低的帧内相关性。关于频率，示出较大变化的图像具有高空间频率分量。

在诸如DCT的相关技术频率变换方案中，通过使用相同算法将图像变换为频域。如果根据图像特性而将图像的能量集中在特定频带，则优选进一步精确变换所述特定频带。例如，对于其能量集中于低频带的图像的情形，诸如在帧内示出微小变化的图像，当通过进一步细分低频带来执行变换时，可以改善图像编码效率。

因此，根据本发明的示例性实施例，当根据输入图像的特性、通过进一步细分其中集中了输入图像的频率分量的频带来执行变换时，可以改进图像编码效率。

为了简便，本发明的示例性实施例的如下描述将集中于作为代表性频率变换方案的DCT上。然而，本发明并不限制于此，并可以应用于其它频率变换方案。

图3是图示了根据本发明示例性实施例的用于变换图像的设备的结构的框图。

参考图3，用于变换图像的设备300包括频率变换算法选择器310和频率变换器320。

考虑到当前块的频率特性，频率变换算法选择器310从多个频率变换算法中选择当前块要使用的频率变换算法。如下所述，多个频率变换算法的每一个都具有不同的频率选择特性。根据这些算法，在进一步细分之后提取属于特定带宽的频率分量。如果当前块是帧间预测块，则频率变换算法选择器310可以考虑参考帧的对应块的频率特性来预测当前块的频率特性。此外，如果通过使用可缩放的编码方案执行层级编码，则频率变换算法选择器310可以考虑对应的低层级块来预测当前块的频率特性。

通过使用由频率变换算法选择器310选择的频率变换算法，频率变换器320将当前块变换为频域。

图4A至4F是用于解释根据本发明示例性实施例的多个频率变换算法的频率选择特性的图示。

如图4A所示，在相关技术频率变换方案中，通过使用固定的频率选择特性来执行频率变换。另一方面，如图4B至4E所示，在本发明的用于变换图像的设备中，通过从具有互相不同的频率选择特性的多个频率变换算法中选择频率变换算法而将输入块变换为频域，其中在进一步细分之后提取当前块的频率分量相对密集集中的频带。

具体地，本发明的多个频率变换算法可具有多个频率特性，其中，如图4B所示的，可在比那些其它频带进一步细分之后提取低频带420的频率分量f₀至f₈。进一步，如图4C所示，可在比其它频带进一步细分之后提取中间频带430的频率分量f₃₁至f₃₇。而且，如图4D所示，可在比其它频带进一步细分之后提取高频带440的频率分量f₅₈至f₆₃。而且，如图4E所示，在以非线性增加的频率为单元从输入块提取频率分量。此外，如图4F所示，可以以非线性降低的频率为单元从输入块提取频率分量。由于本发明并不限于此，因此多个频率变换算法可具有多种频率选择特性。可以通过使用类似于DCT的余弦函数来设计具有图4A至图4F的频率选择特性的频率变换算法。

图5是用于解释根据本发明示例性实施例、在用于变换图像的设备中确定输入块的频率特性的过程的图示。

如上所述，频率变换算法选择器310可使用有关外围块的频率特性的信息来确定要变换的当前块的频率特性。参考图5，可以使用通过对先前经历频率变换的外围块510至530的频率进行变换而获得的结果来预测当前块E550的频率特性。这是因为空间上彼此相邻的块更有可能具有相似的频率特性。例如，频率变换算法选择器310可以使用通过变换向上与当前块E 550相邻的块B 520的频率、或向左与当前块E 550相邻的块D 540的频率而获得的结果，来确定当前块E 550的频率特性。

图6是用于解释已频率变换的块的频率特性的图示。在图6中，a₁至a₆₄表示频率变换块的频率变换系数。

参考图6，在已频率变换的块的系数中，位于左上部分的频率变换系数610是输入块中包括的低频分量。位于中间部分的频率变换系数620是输入块中包括的中间频率分量。位于右下部分的频率变换系数630是输入块中包括的高频分量。

通过使用对外围块的频率进行变换而获得的结果，频率变换算法选择器310将外围块的低频分量之和、外围块的中间频率分量之和、以及外围块的高频分量之和与特定阈值进行比较，从而确定外围块的频率特性。所确定的外围块的频率特性用于选择当前块使用的频率变换算法。例如，如果确定外围块相对集中于低频带，如图4B所示，则频率变换算法选择器310选择具有在进一步细分之后提取低频带的频率特性的频率变换算法。

图7是根据本发明示例性实施例的用于变换图像的方法的流程图。

参考图7，根据通过变换与当前块相邻的外围块的频率而获得的结果来预测当前块的频率特性，然后从多个频率变换算法中选择当前块所使用的频率变换算法(操作710)。

所选择的频率变换算法用于将当前块变换为频域(操作720)。

图8是表示根据本发明的示例性实施例的、采用用于变换图像的设备的图像编码系统的结构的框图。在图8中，用于变换图像的设备对应频率变换器810。

参考图8，预测单元850通过执行帧内预测或帧间预测来创建输入块的预测块。作为输入块和预测块之间的差异的残余块被输入到频率变换器810。通过使用先前处理的外围块的频率特性，频率变换器810选择输入残余块所使用的频率变换算法。然后，根据所选择的频率变换算法，频率变换器810将输入残余块变换为频域。已变换的残余块由量化器820量化然后由熵编码器860进行可变长度编码。结果，以位流的形式输出已变换的残余块。为了用作下一个块的参考数据，分别由去量化器830和频率逆变换器840对量化的残余块进行去量化和逆变换，然后输入到预测单元850。

图9是图示了根据本发明的示例性实施例、用于逆变换图像的设备的结构的框图。

参考图9，用于逆变换图像的设备900包括频率变换算法选择器910和频率逆变换器920。

频率变换算法选择器910从前述的多个频率变换算法中选择用于变换从位流提取的频率变换系数的频率变换算法。频率变换算法选择器910可以选择先前用于变换已解码的外围块的频率变换算法，作为用于变换所提取的频率变换系数的频率变换算法。替换地，如果当前块是帧间预测块，则频率变换算法选择器910可以选择当前块所参考的参考帧的对应块所使用的频率变换算法，作为用于变换所提取的频率变换系数的频率变换算法。此外，如果使用可缩放编码方案来编码位流，则频率变换算法选择器910可以选择与当前块相关联的对应低层级块所使用的频率变换算法。

频率逆变换器920使用所选择的频率变换算法来逆变换所提取的频率变换系数。

图10是根据本发明的示例性实施例、用于逆变换图像的方法的流程图。

参考图10，从输入位流中提取频率变换系数(操作1010)。

接下来，从多个频率变换算法中选择用于变换从位流提取的频率变换系数的频率变换算法(操作1020)。

使用所选择的频率变换算法来逆变换所提取的频率变换系数，从而获得恢复的图像(操作1030)。

图11是根据本发明的示例性实施例、采用用于逆变换图像的设备的图像解码系统的结构的框图。

参考图11，图像解码系统1100包括熵解码器1110、去量化器1120、逆变换器1130、加法器1160、帧内预测单元1140、运动补偿单元1150、以及滤波器1170。用于逆变换图像的设备对应逆变换器1130。

对于位流的接收，熵解码器1110熵解码位流，并然后提取已量化的频率变换系数。去量化器1120对已量化的频率变换系数进行去量化以便创建频率变换系数。类似于图9的频率逆变换器900，逆变换器1130选择在编码处理中所使用的频率变换算法，然后通过使用所选择的频率变换算法而逆变换频率变换系数。例如，如果在编码所提取的频率变换系数时所使用的频率变换算法被定义为函数B(.)，以及输入块被定义为X，那么逆变换器1130计算逆变换的B¹(B(X))，其中B(X)是频率变换系数，而B^-1是所选频率变换算法的逆函数。

作为逆变换的结果，如果已经编码了残余分量则恢复残余分量。所恢复的残余分量添加到由帧内预测单元1140或运动补偿单元1150预测的预测图像，因此获取恢复的图像。

根据本发明，分析输入图像的频率分量，从而根据特定频率的出现次数进一步细微地或粗略地划分频带。因此，可以提高图像编码效率。

本发明同样可以实施为计算机可读记录介质上的计算机可读编码。计算机可读记录介质可以是可存储此后可由计算机系统读取的数据的任何存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、和光学数据存储装置。计算机可读记录介质也可以分布在网络耦接的计算机系统上，以便以分布式形式存储并执行计算机可读编码。

尽管已参考本发明的示例性实施例具体示出并描述了本发明，但本领域技术人员将理解，在不脱离附加权利要求所限定的本发明的精神和范围的情况下，可以对形式和细节作出各种改变。示例性实施例应该理解为用于描述而不用于限制。因此，本发明的范围不是由本发明的详细描述来限定，而是由所附的权利要求来限定，并且在该范围内的所有差别都应理解为包括在本发明之中。

Claims (15)

1.一种用于变换图像的方法，该方法包括：

根据通过对与当前块相邻的外围块的频率进行变换而获得的结果，从多个频率变换算法中选择将用于当前块的频率变换算法；以及

通过使用所选择的频率变换算法而将当前块变换为频域，

其中所述选择包括：

根据通过对外围块的频率进行变换而获得的结果，来确定其中集中了外围块的频率分量的频带；以及

从多个频率变换算法之中选择频率变换算法，以便提取属于所确定的频带的频率分量。

2.根据权利要求1的方法，其中所述多个频率变换算法的每一个以非均匀划分的频率为单元执行变换，以便提取彼此不同的特定频带分量。

3.根据权利要求1的方法，其中各个频率变换算法基于离散余弦变换。

4.根据权利要求1的方法，其中，在所述选择步骤中，如果当前块是帧间预测块，则选择用于当前块所参考的参考帧的对应块的频率变换算法。

5.根据权利要求1的方法，其中，在所述选择中，如果以可缩放方式编码图像，则选择由与当前块相关联的低层级的对应块或由该对应块的外围块使用的频率变换算法。

6.一种用于变换图像的设备，该设备包括：

频率变换算法选择器，其根据通过对与当前块相邻的外围块的频率进行变换而获得的结果，来从多个频率变换算法中选择要用于当前块的频率变换算法；以及

频率变换器，其使用所选择的频率变换算法而将当前块变换为频域，

其中该频率变换算法选择器根据通过对外围块的频率进行变换而获得的结果来确定其中集中了外围块的频率分量的频带，并从多个频率变换算法之中选择频率变换算法，以提取属于所确定的频带的频率分量。

7.根据权利要求6的设备，其中所述多个频率变换算法的每一个以非均匀划分的频率为单元执行变换，以便提取彼此不同的特定频带分量。

8.根据权利要求6的设备，其中，如果当前块是帧间预测块，则该频率变换算法选择器选择用于当前块所参考的参考帧的对应块的频率变换算法。

9.根据权利要求6的设备，其中，如果以可缩放方式编码图像，则频率变换算法选择器选择由与当前块相关联的低层级的对应块、或由该对应块的外围块使用的频率变换算法。

10.一种用于逆变换图像的方法，该方法包括：

通过对已编码的位流进行熵解码，来提取频率变换系数；

从其中频带是非均匀划分的多个频率变换算法中选择用于变换所提取的频率变换系数的频率变换算法，以便变换特定的频带分量；以及

使用所选择的频率变换算法来逆变换频率变换系数，

其中，在所述选择步骤中，选择用于变换先前已解码外围块的频率变换算法，作为用于变换所提取的频率变换系数的频率算法。

11.根据权利要求10的方法，其中，在所述选择步骤中，如果当前块是帧间预测块，则选择用于当前块所参考的参考帧的对应块的频率变换算法，作为用于变换所提取的频率变换系数的频率变换算法。

12.根据权利要求10的方法，其中，在所述选择步骤中，如果以可缩放方式编码图像，则选择由与当前块相关联的低层级的对应块使用的频率变换算法。

13.一种用于逆变换图像的设备，该设备包括：

频率变换算法选择器，从其中频带是非均匀划分的多个频率变换算法中选择用于变换从位流提取的频率变换系数的频率变换算法，以便变换特定的频带分量；以及

逆变换器，使用所选择的频率变换算法来逆变换频率变换系数，

其中频率变换算法选择器选择用于变换先前解码的外围块的频率变换算法，作为用于变换所提取的频率变换系数的频率算法。

14.根据权利要求13的设备，其中，如果当前块是帧间预测块，则频率变换算法选择器选择用于当前块所参考的参考帧的对应块的频率变换算法，作为用于变换所提取的频率变换系数的频率变换算法。

15.根据权利要求13的设备，其中，如果以可缩放方式编码图像，则频率变换算法选择器选择由与当前块相关联的低层级的对应块所使用的频率变换算法。

Images