CN1773553A - 采用基于动态缓冲器容量水平压缩调节的图像编码 - Google Patents

Abstract

本发明描述了多种用于对图像进行编码的方法、系统和计算机程序。在一个方面，从图像的一连串块中依序产生量化频率域向量。每一量化频率域向量包括从一相应图像块中导出的一组量化前向变换系数。针对每一连续的量化频率域向量，确定一缓冲器的当前输入容量水平，并在确定所述当前输入容量水平低于一规定阈值时修改量化频率域向量以增加可压缩性。将修改的和未修改的量化频率域向量编码成一连串编码图像块。将所述一连串编码图像块存储在缓冲器中。

Description

采用基于动态缓冲器容量水平压缩调节的图像编码

技术领域

本发明描述了多种用于对图像进行编码的方法、系统和计算机程序。在一个方面，从所述图像的一连串块中依序产生量化频率域向量。每一量化频率域向量包括从一相应图像块中导出的一组量化前向变换系数。针对每一连续的量化频率域向量，确定一缓冲器的当前输入容量水平并在确定所述当前输入容量水平低于一规定阈值时修改量化频率域向量以增加可压缩性。将修改的和未修改的量化频率域向量编码成一连串编码图像块。将所述一连串编码图像块存储在缓冲器中。

背景技术

将成像装置合并在诸如数码相机、蜂窝式电话和便携式数码助理等便携式电子装置中特别具有挑战性，因为这些装置通常只具有有限的存储器资源、处理资源和电力资源量可供用于图像处理。为适应存储器的限制，用于便携式电子装置的成像装置通常包含在存储图像之前对其进行压缩(例如：以JPEG压缩格式)的图像处理器。在大多数图像压缩方法中，选择性地丢弃一部分图像数据以在避免图像外观实质性退化的同时减少再现图像所需要的数据量。一般来说，一图像压缩过程的压缩水平随图像内容而变化。例如，有较少细节的图像的压缩程度可大于有较多细节的图像。同样地，一个图像的某些区域的压缩程度可大于其它区域。

如JPEG图像压缩方法所例示，变换编码包括通过一组变换系数再现一图像。单独量化这些变换系数以减少再现图像所需要的数据量。原始图像的再现通过给变换系数施加一逆变换来产生。块变换编码是常见的一种变换编码方法。在一典型的块编码过程中，一个图像被分成多个经过前向变换、量化和编码操作的小的矩形区域(或“块”)。很多种不同的块变换可用于对块进行编码。在常见的块变换类型中有余弦变换(这是最常见的)、傅立叶变换、哈德迈德变换和哈尔小波变换。这些变换从一个M×N图像数据块中产生一个M×N变换系数阵列，其中M和N都是最小值为1的整数值。

除了以一压缩格式存储捕获的图像外，有些数码相机还存储对应于所捕获图像的分辨率降低版本的经压缩的缩略图像。大多数此类数码相机都对这些经压缩的缩略图像施加一种比特预算限制。为适应这些比特预算限制，一些数码相机系统将缩略图像的某些所选择的非0离散余弦变换(DCT)系数设定为0而不论其数值如何。选择DCT系数的过程从高频率系数开始，并向下继续至较低的频率系数，直到压缩图像的大小低于最大比特预算。在这一方法中，经过DCT系数数据的次数取决于比特预算、原始压缩图像的大小及图像内容。

在另一方法中，通过将其值低于一阈值且在一截止序数之后出现的所有DCT系数都设定为0来降低一现有JPEG文件(或一组DCT系数)的大小以满足比特预算。在这一方法中，通过跟踪因截止序数的每一增量减少而保存的比特数并比较现有文件的大小与所需的比特预算来确定截止序数。该方法需要两次经过DCT系数数据。第一次经过是确定比特数的存量，第二次经过是将某些系数设定为零。

在某些应用环境(例如：装备有相机的蜂窝式电话)中，成本的限制不允许包含充足的存储器资源、处理资源和电力资源来实施对图像数据的多次经过。因此，上述用于降低压缩图像大小的方法不能最佳地适用于这类应用环境。

发明内容

一方面，本发明的特征是一种图像处理方法。根据本发明的方法，从所述图像的一连串块中依序产生量化频率域向量。每一个量化频率领域向量包括从一相应图像块中导出的一组量化前向变换系数。针对每一连续的量化频率域向量，确定一缓冲器的当前输入容量水平并在确定所述当前输入容量水平低于一预定阈值时，修改所述量化频率域向量以提高可压缩性。将修改的和未修改的频率域向量编码成一连串编码图像块。将所述一连串编码图像块存储在缓冲器中。

本发明的另一特征是用于实施上述图像处理方法的一种系统和一种计算机程序。

通过下面包括图式和权利要求的描述，本发明的其它特征和优点将显而易见。

附图说明

图1是一现有技术的JPEG图像压缩过程的流程图。

图2是一图像处理系统的一实施例的框图。

图3显示了一矩阵，其包含根据JPEG图像压缩格式的用于一图像块的64DCT系数的典型的锯齿形次序。

图4是由图2图像处理系统实施的一图像处理方法的一实施例的流程图。

图5是一以存储于缓冲器中的图像块数量的函数形式绘制的所用缓冲器空间的目标水平的曲线图。

图6是循环FIFO缓冲器的概略视图。

图7是将一缓冲器的当前输入容量水平与一阈值之间的差映射至一截止系数指数的曲线图。

图8显示一个包含图3所示64个DCT系数排列的矩阵，其中突出显示一组截止系数指数。

图9是包含有图2所示图像处理系统的一照相机模块的一实施例的框图。

具体实施方式

在下文说明中，使用相同的编号来识别相同的元件。另外，所述图式旨在以图解方式说明示例性实施例的主要特征。所述图式既不意欲描绘实际实施例的每一特征，也不意欲描绘所描绘元件的相对尺寸，且所述图式不是按比例尺绘制的。

图1显示了根据JPEG压缩格式的一种压缩一图像10的现有技术方法。根据此方法，如果尚未在一预先选定的色彩空间中规定原始图像10，则将原始图像10转换成预先选定的基于亮度的色彩空间(例如：YCrCb色彩空间)(框12)。预先选定的色彩空间中的每一个色彩平面对应于一进行如下单独处理的相应的图像(即：一像素值阵列)。对色彩分量(如：Cr和Cb色彩分量)进行下取样(框14)。将每一色彩平面分割成多个像素块(例如：8×8像素块)(框16)。将一DCT块变换单独施加于每一像素块(框18)。量化所产生的DCT系数(框20)。使用一无损耗的编码技术对量化变换系数进行编码以产生一压缩图像22(框24)。

如上文“背景技术”部分中所述，一些现有技术图像压缩方法将某些DCT系数值设定为0以适应一比特预算的限制。但是，这些方法需要多次经过变换系数数据，且因此并不最佳地适用于存储器和处理资源受到严格限制的应用。另一方面，下文详细描述的实施例根据用来存储压缩图像数据的缓冲器的当前输入容量水平对编码过程的压缩水平进行动态调节。这样，一需要减少的存储器资源、处理资源和电力资源的有效的串行图像处理流水线即能够实施这些实施例。另外，这些实施例的实施方案动态地改变一图像的不同区域的压缩水平。这就允许这些实施方案在额外资源可用时有利地对其加以使用。例如，当缓冲器的当前输入容量大于一规定目标水平时(例如：在已处理一图像的一个或多个充分压缩的区域并将其存储在缓冲器中后)，这些实施方案可在多个图像区域中使用较少的压缩(即较少的数据丢失)。

图2显示了一图像处理系统30的实施例，其被配置成将一输入图像34的一连串块32转换成存储于缓冲器38中的一连串编码图像块36。输入图像34可以是一二进制图像(例如：黑白点模式)、多级单色图像(例如：灰阶图像)或多级多色图像。一般来说，图像处理系统30单独处理输入图像34的每一色彩平面。

图像处理系统30包括一前向变换模块40、一量化模块42、一动态压缩调节模块44和一编码器模块46。一般来说，图像处理系统30的模块40-46不限于任何特定的硬件或软件配置，相反，可以在包括数字电子电路或计算机硬件、固件、装置驱动器或软件在内的任何计算或处理环境中构建这些模块。例如，在某些实施方案中，这些模块40-46可嵌入种类繁多的任何一种数字和模拟电子装置的硬件中，此类装置包括：台式计算机和工作站计算机、数码相机、数码摄像机、打印机、扫描仪和便携式电子装置(例如：移动电话、膝上型和笔记本型电脑以及个人数字助理)。

图9显示了一个有助于将图像处理系统30合并在电子设备内的一照相机模块90的示例性实施例。照相机模块90包括一包含一镜头组合件94、一图像传感器96(例如：一CCD图像传感器或一CMOS图像传感器)及所述图像处理系统30的机壳92。

再参考图2，在操作中，将输入图像34分割成由N个图像块组成的序列32，其中N具有一正整数。在某些实施方案中，一光栅-块转换器将输入图像34分割成多个8×8像素的图像块，所述转换器可合并或不合并在图像处理系统30中。

前向变换模块40依据所述一连串图像块32计算出一连串频率域向量48。每一频率域向量包含从N个图像块32的相应的一个块中导出的相应的一组变换系数。通过按以下公式将一频率-域变换D应用于所述图像块来计算出所述频率域向量的系数。

                          B＝D×D^T                       (1)

其中，X对应于一图像块32，D^T对应于变换D的转置，B对应于形成频率域向量48的图像块X的变换系数。

任何类型的块变换都可应用于图像块32。块变换的示例性类型包括：余弦变换、傅立叶变换、哈德迈德变换和哈尔小波变换。在某些实施中，D是一基于块的线性变换，例如离散余弦变换(DCT)。在一个维中，通过下面的8×8矩阵赋予DCT四个小数位。

0.3536   0.3536   0.3536   0.3536   0.3536   0.3536   0.3536   0.3536

0.4904   0.4157   0.2778   0.0975  -0.0975  -0.2778  -0.4157  -0.4904

0.4619   0.1913  -0.1913  -0.4619  -0.4619  -0.1913   0.1913   0.4619

    D＝ -0.0975  -0.4904  -0.2778   0.2778   0.4904   0.0975  -0.4157 (2)

0.4157

0.3536  -0.3536  -0.3536   0.3536   0.3536  -0.3536  -0.3536   0.3536

0.2778  -0.4904   0.0975   0.4157  -0.4157  -0.0975   0.4904  -0.2778

0.1913  -0.4619   0.4619  -0.1913  -0.1913   0.4619  -0.4619   0.1913

0.0975  -0.2778   0.4157  -0.4904   0.4904  -0.4157   0.2778  -0.0975

在某些其他实施方案中，D是一基于小波的分解变换。例如，在这些实施方案的其中一个中，D是一前向离散小波变换(DWT)，其将一个一维(1-D)序列(例如：一图像的线)分解成各具有半数样本的两个序列(称作子波带)。在该实施方案中，可按照以下步骤分解一维序列：一分析滤波库对一维序列单独进行低通和高通滤波；及以一两倍的因数对经滤波的信号进行下取样，以形成低通和高通子波带。

量化器模块42量化由前向变换模块40产生的频率域向量48的系数，以产生一连串量化频率域向量50。在这一过程中，通过按照方程3使用步长(qi)均一量化一相应频率域向量48的对应变换系数(yi)产生包含一组量化前向变换系数(ci)的一量化频率域向量50。

                       ci＝round(yi/qi)                     (3)

步长qi存储在一与压缩图像数据存储在一起的量化表或矩阵中。在某些实施方案中，频率域向量48的每一个和量化频率域向量50的每一个包含组织成图3所示锯齿形序列的64个系数(i＝0，1，…，63)，其中每个方框中的数字对应于所述系数的指数(i-值)。在这些实施例中，指数0对应于DC(直流)系数，而其余的指数(1-63)对应于从最低AC频率(i＝1)到最高AC频率(i＝63)排序的AC(交流)系数。

图4显示了一种由图像处理系统30实施的图像处理方法的实施例。如上(框51)所述，在这一方法中，前向变换模块40和量化器模块42从输入图像34的一连串块中依序产生量化频率域向量。

如果存在一个可用于处理的量化频率域向量50(框52)，则动态压缩调节模块44确定缓冲器38的一当前输入容量水平(框54)。如果已处理所有的量化频率域向量(框52)，则该过程终止(框55)。

在某些实施方案中，缓冲器38被设计成可容纳图像处理系统20产生的所有压缩图像数据。缓冲器38的固定存储容量给组合空间设定了一上限，该组合空间是存储图像处理系统30针对一给定输入图像所产生的所有编码图像块36所必需的。在这些实施方案中，动态压缩调节模块44跟踪正用于存储编码器模块46所产生的编码图像块36的缓冲器空间的累积量并将所跟踪的累积缓冲器空间量与一目标累积缓冲器空间水平(其随已处理的图像块数量增加)进行比较。动态压缩调节模块44可通过监视编码器模块46输出的每个编码数据块36的大小或通过查询缓冲器38的已用空间的当前量来跟踪累积缓冲器空间量。

如图5中所示，在某些实施方案中，目标累积缓冲器空间随着当前存储在缓冲器38中的编码图像块36的数量线性增加。缓冲器38的当前输入容量水平对应于目标累积缓冲器空间水平56与实际累积缓冲器空间量之间的差。如果已用缓冲器空间的实际量低于目标累积缓冲器空间水平56(例如，在图5所示的示例中已处理L个块后)，则当前输入容量水平是正值。如果已用缓冲器空间的实际量大于目标累积缓冲器空间水平56(例如，在图5所示示例中已处理M个块后)，则当前输入容量水平是负值。

参考图6，在某些其它实施方案中，由一循环缓冲器57(例如，一FIFO缓冲器)构建缓冲器38。在一循环缓冲器中，当在先前的数据样本上面写入新的数据样本时，指针被移动经过所述数据。新的数据样本被写入由一填充指针58所指示的位置中。在写入每个新的数据样本后，填充指针58递增。从一空闲指针60所指示的位置读取数据样本。在读取每个数据样本后，空闲指针60递增。当填充指针58回绕并到达空闲指针60时，一缓冲器溢出错误出现而且数据样本采集通常会停止。为了避免这些实施例中的缓冲器溢出错误，动态压缩调节模块44跟踪循环缓冲器57中的自由存储的当前量。自由存储的当前量对应于循环缓冲器57的当前输入容量水平。在某些实施方案中，动态压缩调节模块44通过计算循环缓冲器57的全部存储容量与已用空间的当前量之间的差来计算出当前输入容量水平。可通过计算当前空闲指针地址与当前填充指针地址之间的差确定已用空间的当前量。

再参考图4，在已确定缓冲器38的当前输入容量(框54)后，动态压缩调节模块44将缓冲器38的当前输入容量水平与一规定阈值进行比较(框62)。一般来说，可以根据经验确定所述规定阈值。在将缓冲器38设计成可存储图像处理系统20所产生的所有压缩图像数据的实施方案中，所述规定阈值可以是0。也就是说，在这些实施方案中，在实际累积缓冲器空间量大于当前目标累积缓冲器空间水平时，动态压缩调节模块44仅修改当前量化频率域向量50。在由一循环缓冲器构建缓冲器38的实施方案中，所述规定阈值可对应于根据实验确定的循环缓冲器的总存储容量的一个比例。

如果当前输入容量水平达到或超过了规定阈值(框62)，则动态压缩调节模块44不修改当前量化频率域向量50。相反，动态压缩调节模块44仅将未修改的当前量化频率域向量50传递给编码器模块46以用于编码(框68)。

如果当前输入容量水平低于规定阈值(框62)，则动态压缩调节模块44修改当前量化频率域向量50以提高可压缩性(框64)。尤其是，动态压缩调节模块44降低所选择的一组系数中的系数的值，所述系数对应于超过一频率截止系数的量化频率域向量的所有系数(即，其指数超过截止系数的指数的系数)。

再参考图2，动态压缩调节模块44咨询一查询表66来识别所述截止系数。查询表66将当前输入容量水平与规定阈值之间的差映射至截止频率系数的系数值。一般来说，可根据实验确定将当前输入容量水平与截止系数之间的差映射至截止频率系数的所述特定查询表。

图7显示了一个示范性映射，其中其值将要被减小的系数的值增加了一随当前输入容量水平低于所述规定阈值的程度而增加的量。这样，当前量化频率域向量50的可压缩性增加了一随当前输入容量水平低于规定阈值的程度而增加的量。在某些实施方案中，将查询表66设计成使当前量化频率系数向量50的可压缩性增加一选择的量，以便在已编码当前量化频率域向量并将其存储在缓冲器38中之后，缓冲器38的预期当前输入容量水平达到或低于规定阈值水平。

参考图8，在某些实施方案中，查询表66将当前输入容量水平与规定阈值之间的差映射至以灰色突出显示的一组有限的截止系数(即系数0、2、5、9、14、20、27、35、42、48、53、57、60、62和63)。这些截止系数的每一个都分别与一连串相对于输入图像34的正交空间轴(例如：X轴和Y轴)对称分布的相应按频率排序的量化前向变换系数相关联。

动态压缩调节模块44通过减小超过截止频率系数的系数的值并由此提高编码器模块46的能力来提高当前量化频率域向量50的可压缩性以压缩所述量化频率域向量。系数值可降低到0或通过一比例因数降低到一非0值。所述比例因数对于所有系数可具有相同的值，或其可对于较高的频率系数具有一较大的值而对于较低的频率系数具有一较小的值。

再参考图4，编码器模块46将动态压缩调节模块44输出的当前(修改的或未修改的)量化频率域向量编码成一编码图像块36(框68)。在某些实施方案中，编码器模块46使用一种无损耗编码技术对当前量化频率域向量进行编码。在某些实施方案中，编码器模块46使用微分预测法对DC(直流)系数进行编码，并使用游程长度编码法对AC(交流)系数进行编码。编码器模块46另外使用熵值编码法(例如：霍夫曼编码法或数学编码法)对量化DC和AC系数进行编码。

在已将当前量化频率域向量的量化前向变换系数编码成一图像块36(框68)后，将编码图像块36存储在缓冲器38中(框70)。然后对下面连续的量化频率域向量50重复该过程(框52、54、62、64、68、70)。

其它实施例也在本权利要求的范围内。

本文所描述的系统和方法并不局限于任何特定的硬件或软件配置，相反，可以在包括数字电路或计算机硬件、固件或软件在内的任何计算和处理环境中构建所述系统和方法。一般来说，可将所述系统部分地构建在一计算机程序产品中，所述产品可有形地被包含在一机器可读存储装置中供一计算机处理器执行。在某些实施例中，优选使用一高级程序式或面向对象的处理语言来构建这些系统；但是，如果需要，可使用汇编语言或机器语言构建算法。在任何情况下，处理语言可以是编译语言或解释语言。本文所述的方法可由一执行指令的计算机处理器来实施，这些指令被组织成(例如)多个程序模块以通过对输入数据进行处理并产生输出来实施这些方法。

Claims (27)

1、一种处理一图像的方法，其包括：

从所述图像的一连串块中依序产生量化频率领域向量，其中每一个量化频率域向量包括从一相应图像块中导出的一组量化前向变换系数；

对于每一连续的量化频率域向量，确定一缓冲器的当前输入容量水平，并在确定所述当前输入容量水平低于一规定阈值时修改所述量化频率域向量以增加可压缩性；

将修改的和未修改的量化频率域向量编码成一连串编码图像块；及

将所述一连串编码图像块存储在缓冲器中。

2、如权利要求1所述的方法，其中所述确定所述当前输入容量水平的步骤包括确定所述缓冲器中相对于所用存储的一目标水平的所用存储的一当前量。

3、如权利要求2所述的方法，其中在确定所述当前输入容量水平时，所用存储的所述目标水平随着存储在所述缓冲器中的编码图像块的数量增加。

4、如权利要求2所述的方法，其中所述输入容量水平等于所用存储的所述目标水平减去所用存储的所述当前量。

5、如权利要求4所述的方法，其中所述规定阈值是零。

6、如权利要求1所述的方法，其中所述确定所述当前输入容量水平的步骤包括确定所述缓冲器中自由存储的一当前量。

7、如权利要求6所述的方法，其中所述规定阈值对应于自由存储的一目标量。

8、如权利要求1所述的方法，其中所述修改所述量化频率域向量的步骤包括将所述量化频率域向量的可压缩性增加一量，该量会随着所述当前输入容量水平与所述规定阈值之间的分离程度而增加。

9、如权利要求1所述的方法，其中所述修改所述量化频率域向量的步骤包括识别高于一频率截止系数的一组量化前向变换系数。

10、如权利要求9所述的方法，其中所述经识别组中的所述系数相对于两个正交空间轴对称分布。

11、如权利要求9所述的方法，其中识别所述系数包括将所述当前输入容量水平映射至所述截止系数。

12、如权利要求9所述的方法，其中所述修改所述量化当前输入容量水平的步骤包括减小所述经识别系数组中的所述系数的值。

13、如权利要求12所述的方法，其中所述减小系数值的步骤包括将所述经识别组中的所述系数的每一个设定为0值。

14、一种用于处理一图像的系统，其包括：

一前向变换模块，其经配置以从所述图像的一连串块中依序产生频率域向量，其中每一频率域向量包括从一相应图像块中导出的一组前向变换系数；

一量化器模块，其经配置以从所述前向变换模块产生的所述频率域向量中依序产生量化频率域向量；

一动态压缩调节模块，其经配置以：针对每一连续的量化频率域向量，确定一缓冲器的一当前输入容量水平并在确定所述当前输入容量水平低于一规定阈值时修改所述量化频率域向量以增加可压缩性；

一编码器模块，其经配置以将修改的和未修改的量化频率域向量编码成一连串编码图像块并将所述一连串编码图像块存储在所述缓冲器中。

15、如权利要求14所述的系统，其中所述动态压缩调节模块经配置以确定所述缓冲器中相对于所用存储的一目标水平的所用存储的一当前量。

16、如权利要求15所述的系统，其中在确定所述当前输入容量水平时，所用存储的所述目标水平随着存储在所述缓冲器中的编码图像块的数量增加。

17、如权利要求15所述的系统，其中所述输入容量水平等于所用存储的所述目标水平减去所用存储的所述当前量。

18、如权利要求17所述的系统，其中所述规定阈值是零。

19、如权利要求14所述的系统，其中所述动态压缩调节模块经配置以确定所述缓冲器中自由存储的一当前量。

20、如权利要求19所述的系统，其中所述规定阈值对应于自由存储的一目标量。

21、如权利要求14所述的系统，其中所述动态压缩调节模块经配置以将所述量化频率域向量的可压缩性增加一量，该量随着所述当前输入容量水平与所述规定阈值之间的分离程度而增加。

22、如权利要求14所述的系统，其中所述动态压缩调节模块经配置以识别高于一频率截止系数的一组量化前向变换系数。

23、如权利要求22所述的系统，其中所述经识别组中的所述系数相对于两个正交空间轴对称分布。

24、如权利要求22所述的系统，其中所述动态压缩调节模块经配置以将所述当前输入容量水平映射至所述截止系数。

25、如权利要求22所述的系统，其中所述动态压缩调节模块经配置以减小所述经识别系数组中的所述系数的值。

26、如权利要求25所述的系统，其中所述动态压缩调节模块经配置以将所述经识别组中的所述系数的每一个设定为0值。

27、一种用于处理一图像的计算机程序，所述计算机程序常驻于一计算机可读媒体上并包括用于使计算机执行下述操作的计算机可读指令：

从所述图像的一连串块中依序产生量化频率域向量，其中每一量化频率域向量包括从一相应图像块导出的一组量化前向变换系数；

针对每一连续的量化频率域向量，确定一缓冲器的一当前输入容量水平并在确定所述当前输入容量水平低于一规定阈值时修改所述量化频率域向量以增加可压缩性；

将修改的和未修改的量化频率域向量编码成一连串编码图像块；及

将所述一连串编码图像块存储在所述缓冲器中。

Images