CN101309416B - 信息处理设备和方法 - Google Patents

Abstract

提供一种信息处理设备，该信息处理设备包括：被配置为对图像数据进行用于分级地将图像数据的频率分量划分成高频带分量和低频带分量的分解滤波并对被划分成多个频率分量的图像数据的频率分量进行用于合成相互处于同一划分层次的频带的频率分量的合成滤波的合成滤波器处理单元；被配置为保持通过由合成滤波器处理装置执行的所述合成滤波处理而产生的低一阶的划分层次的频率分量；和被配置为使得合成滤波器处理单元一次多行地以从图像的顶部起依次复原图像数据的次序，对在频率分量保持单元中保持的各频率分量递归地执行合成滤波处理的控制单元。

Description

信息处理设备和方法

(对相关申请的交叉引用)

本发明包含与于2007年5月17日在日本专利局提交的日本专利申请JP 2007-131287有关的主题，在此通过引用并入其全部内容。

技术领域

本发明涉及信息处理设备和方法，具体地说，涉及一种可减少小波变换处理的延迟时间的信息处理设备和方法。

背景技术

代表已知方法的图像压缩方法是已被ISO(国际标准化组织)标准化的JPEG(联合图像专家组)方法。已知该方法在使用DCT(离散余弦变换)并且相当大的量的位被占用的情况下提供优异的编码图像和解码图像。

近年来，对于利用称为滤波器组(其中组合了高通滤波器和低通滤波器)的滤波器将图像分成多个带(子带)并对各个带执行编码的方法进行了许多研究。具体地说，小波变换编码由于没有DCT所具有的问题，即高压缩率下的明显块失真，因而被视为作为替代DCT的可能候选项的新技术。

在2001年1月完成了JPEG 2000的国际标准化。JPEG 2000将小波变换和高效率熵编码(基于位面的位建模和算术编码)，并就编码效率实现了相对于JPEG的明显改善。

小波变换处理(例如，参见日本未审查专利申请公报No.10-283342)使用了如下技术，其中基本上图像数据被当作要经受水平方向滤波和垂直方向滤波的输入，其中低频带分量被分级划分。

用于将通过小波变换处理从图像数据变换而来的系数数据(频率分量)变换成原始图像数据的小波逆变换处理，执行用于最终复原图像的处理，同时对高频带分量和低频带分量进行从最高划分层次到最低划分层次的合成滤波。

使用相关的技术，已在几乎所有的情况下对于静态图像数据的压缩/解压缩使用小波变换处理，因此，可以以整个图片为处理增量执行小波变换处理。

发明内容

但是，在将该小波变换处理技术应用于运动图像数据的压缩/解压缩的情况下，按图片的增量执行小波逆变换处理会导致对于各个划分层次从最高阶到最低阶对图片内的所有系数都执行合成滤波器处理，因此，在视频信号的水平同步信号的时间内，难以一次一行地输出基带图像数据，也就是说，所谓的图像数据的实时(即时)输出是十分困难的。

根据现有技术，如果希望在维持视频信号的数据格式的同时输出基带图像数据，那么需要在一个水平同步信号周期内执行一张图片的合成滤波器处理，或者在缓冲存储器内暂时保持通过合成滤波器处理产生的基带图像数据。

在前一种情况下，必须在达到会被认为不现实的程度的极高的速度下执行合成滤波器处理。在后一种情况下，不仅会由于增加存储器容量而增加制造成本，而且从系数的输入到图像数据的输出的延迟时间会增加。

例如，对于电话会议、视频游戏系统等，希望以较短的延迟执行图像数据的传输，并且延迟时间的这种增加会大大影响操作，因此，需要尽可能地缩短延迟时间。

因此，需要通过使得合成滤波器处理的处理次序变得非常高效来缩短小波逆变换处理的延迟时间。

一种根据本发明实施例的信息处理设备，包括：合成滤波器处理单元，被配置为使得图像数据经受用于分级地将所述图像数据的频率分量划分成高频带分量和低频带分量的分解滤波处理，并使得被划分成多个频带分量的所述图像数据的频率分量经受用于合成相互处于同一划分层次的频带的频率分量的合成滤波处理；频率分量保持单元，被配置为保持通过由所述合成滤波器处理单元执行的所述合成滤波处理而产生的低一阶的划分层次的频率分量；和控制单元，被配置为使得所述合成滤波器处理单元一次多行地以从所述图像的顶部起依次复原所述图像数据的次序，对在所述频率分量保持单元中保持的各频率分量递归地执行所述合成滤波处理。

所述控制单元可以使得所述合成滤波器处理单元一次两行地以从所述图像的顶部起依次复原所述图像数据的次序，对在所述频率分量保持单元中保持的各频率分量递归地执行所述合成滤波处理。

所述频率分量保持单元可以按对于所述频率分量的各划分层次来说相互独立的方式保持所述频率分量。

所述控制单元可以使得所述合成滤波器处理单元对于在所述频率分量保持单元中保持的频率分量中的较低层次的频率分量优先执行所述合成滤波处理。

所述合成滤波器处理单元对相互处于相同的划分层次的频带的频率分量逐行地进行合成，以产生多行处于低一阶的划分层次的频率分量，其中所述控制单元使得所述频率分量保持单元一次一行地保持由所述滤波器处理单元产生的所述多行。

所述合成滤波器处理单元对相互处于相同的划分层次的频带的频率分量逐行地进行合成，以产生两行处于低一阶的划分层次的频率分量；并且，其中所述控制单元使得所述频率分量保持单元一次一行地保持由所述滤波器处理单元产生的所述两行。

所述信息处理设备还可以包括：图像数据保持单元，被配置为保持通过递归执行所述合成滤波处理而复原的所述图像数据，其中，所述控制单元使得所述频率分量保持单元保持由所述合成滤波器处理单元产生的所述两行中的一行，并使得所述频率分量保持单元在另一行已被所述图像数据保持单元暂时保持之后保持所述另一行，而在所述频率分量保持单元中一次保持一行。

所述控制单元将复原的图像数据的所述两行中的一行输出到外部，并在所述图像数据保持单元中保持另一行，直到下一输出定时。

在所述图像数据不被保持的时段期间，所述控制单元在所述图像数据保持单元中保持由所述合成滤波器处理单元产生的频率分量的所述另一行，进而在保持由所述合成滤波器处理单元产生的所述图像数据的所述另一行的定时，读出此时保持的所述频率分量并将其移动到所述频率分量保持单元。

一种根据本发明实施例的信息处理方法，包括以下步骤：合成滤波器处理，用于使得图像数据经受用于分级地将所述图像数据的频率分量划分成高频带分量和低频带分量的分解滤波处理，并使得被划分成多个频带分量的所述图像数据的频率分量经受用于合成相互处于同一划分层次的频带的频率分量的合成滤波处理；频率分量保持，用于保持在所述合成滤波处理中产生的低一阶的划分层次的频率分量；和一次多行地以从所述图像的顶部起依次复原所述图像数据的次序，对保持的各频率分量递归地执行所述合成滤波处理。

根据本发明的实施例，可以执行小波逆变换处理，并且，具体地说，可以缩短小波逆变换处理的延迟时间。

附图说明

图1是用于说明小波变换的示意图；

图2是用于说明小波变换的示意图；

图3是用于说明具有9×7分解滤波器的提升方案的示例的示图；

图4是用于说明小波变换和小波逆变换的示意图；

图5是示出应用了本发明实施例的小波逆变换设备的配置示例的框图；

图6是用于说明合成滤波的示意图；

图7是用于说明具有9×7分解滤波器的提升方案的示例的示图；

图8是用于说明垂直分解滤波的示例的示图；

图9是用于说明水平分解滤波的示例的示图；

图10是示出图1所示的中途计算缓冲器单元的详细配置示例的框图；

图11A和图11B是示出共用1端口SRAM和2端口SRAM的输入/输出端子的配置示例的示图；

图12A和图12B是示出具有共用1端口SRAM和2端口SRAM的数据输入/输出的定时示例的示图；

图13是示出图10所示的具有1端口SRAM的数据输入/输出的定时示例的示图；

图14是示出图27所示的输出缓冲器单元的详细配置示例的框图；

图15是示出图9所示的具有1端口SRAM的数据输入/输出的定时示例的示图；

图16是用于说明小波逆变换处理的流程示例的流程图。

图17是用于说明行增量小波逆变换处理的流程示例的流程图；

图18是上接图35的流程图，用于说明行增量小波逆变换处理的流程示例；

图19是用于说明垂直分解滤波的流程示例的流程图；

图20是用于说明缓冲器输入/输出处理的示例的流程图；

图21是用于说明行增量小波逆变换处理的流程示例的模型图；

图22是用于说明一个子区的行增量小波逆变换处理的流程示例的模型图；

图23是上接图22的模型图，用于说明一个子区的行增量小波逆变换处理的流程示例；

图24是上接图23的模型图，用于说明一个子区的行增量小波逆变换处理的流程示例；

图25是示出具有HDTV标准的亮度和色差信号的数据阵列的示例的示图；

图26是示出应用了本发明实施例的图像传输系统的示例的配置的框图；

图27是用于说明解码处理的流程示例的流程图；

图28是用于说明处理执行定时的示例的模型图；

图29是示出应用了本发明实施例的计算机的实施例的配置示例的示图。

具体实施方式

首先说明小波变换处理。小波变换处理是使用分解滤波器(Analysis filter)以将图像数据分成具有高空间频率和低空间频率的带的处理。分解滤波器包含沿图像的水平方向对图像数据进行分解滤波器处理的水平分解滤波器，和沿图像的垂直方向对图像数据进行分解滤波器处理的垂直分解滤波器，使得通过沿各方向执行一次分解滤波器处理将图像数据分成四个带(子带)。根据小波变换处理，沿分解滤波器处理结果的水平方向和垂直方向在空间频率的最低带中递归地重复以上水平方向和垂直方向分解滤波器处理，也就是说，以分级的方式重复该处理。

图1是示意地解释重复分解滤波四次的情况下的示例的示图。根据图1所示的示例，递归地重复水平方向和垂直方向分解滤波四次，由此将一张图片的图像数据的频率分量分成13个分级的子带。

在图1中，实线正方形和具有圆角的虚线正方形中的每一个都代表通过分解滤波产生的子带，并且在各个子带中描述的标号表示其子带的分级层次，即，表示基带的图像数据经受多少次分解滤波而获得其子带。并且，在各子带中说明的“L”和“H”分别代表低频带分量和高频带分量，左侧表示水平方向分解滤波结果，右侧表示垂直方向分解滤波结果。

对于图1所示的示例，基带图像数据经受第一分解滤波，以产生划分层次1的四个子带(1LL、1LH、1HL和1HH)。在这些子带中，对于水平和垂直方向均为低频带分量的子带“1LL”经受第二分解滤波，以产生划分层次2的四个子带(2LL、2LH、2HL和2HH)。对于水平和垂直方向均为低频带分量的子带“2LL”经受第三分解滤波，以产生划分层次3的四个子带(3LL、3LH、3HL和3HH)。对于水平和垂直方向均为低频带分量的子带“3LL”经受第四分解滤波，以产生划分层次4的四个子带(4LL、4LH、4HL和4HH)。

因此，低频带分量经受重复变换和重复划分的原因是因为(低频带分量)的子带的阶次越高，则集中于低频带分量上的图像能量越多。如此递归地执行分解滤波以产生分级的子带，并且，具有较低的空间频率的带数据被划分成较小的区域，由此使得能够在执行熵编码时进行有效的压缩编码。

注意，在下面，在通过分解滤波器处理产生的四个子带中，在水平方向和垂直方向上均为低频带分量的其中被再次执行分解滤波器处理的子带“LL”将被称为“低频带子带”，其中不执行进一步的分析处理的其他子带“LH”、“HL”和“HH”将被称为“高频带子带”。

存在整个图片共同地经受小波变换处理的方法，还存在在几行的增量中划分一张图片的图像数据按相互独立的方式针对其中每一个执行小波变换处理的方法。使用后一种方法，与前一种方法相比，在一次小波变换处理中处理的图像数据的数据量较小，因此，可以更早地执行小波变换处理的处理结果的输出开始定时。换句话说，可以缩短由小波变换处理导致的延迟时间。

注意，在这种情况下，用作小波变换处理的处理增量的行数基于小波变换处理的用于在预定划分层次下获得一行最高阶层次子带系数所需要的行数。

通过分解滤波将数据分成四段，因此，诸如图2所示，行的数量减半。也就是说，与图2所示的示例类似，在划分层次3的小波变换处理的情况下，为了获得一行最高阶层次子带(3LL、3LH、3HL和3HH)，需要八行基带图像数据。因此，在这种情况下，以八行或更多行的基带图像数据作为处理增量执行小波变换处理。在与图1所示的示例类似划分层次为4的情况下，需要16行基带图像数据。

因此，产生一行最高阶层次低频带子带“LL”系数数据所需要的一组基带像素数据将被称为子区(precinct)(或行块)。注意，子区有时表示通过使一个子区的像素数据经受小波变换而获得的一组总体子带系数数据，该组基本上与产生一行最高阶层次低频带子带“LL”系数数据所需要的一组基带像素数据相同。注意，在图片内的子区之间，一个子区的行数不会彼此相同。

例如，这种小波变换处理分解滤波器的示例包括与JPEG 2000一起使用的5×3滤波器和9×7滤波器。使用这些滤波器的分解滤波计算方法中的最常见的计算方法是称为卷积计算的方法。该卷积计算是实现数字滤波器的最基本的方式，它对滤波器抽头(filter tap)系数上的实际输入数据执行卷积乘法。但是，使用卷积计算，如果抽头长度(tap length)较大，那么存在计算负荷相应增加的情况。

在文章“W.Swelden，‘The lifting scheme：A custom-designconstruction of biorthogonal wavelets’，Appl.Comput.Harmon.Anal.，Vol 3，No.2，pp，186-200，1996”中介绍的小波变换提升(lifting)是用于处理这一点的已知技术。

图3示出9×7滤波器的提升方案。在图3所示的示例中，第一层(最高层)示出输入图像(像素行)的采样组，第二和第三层分别表示在步骤A1和步骤A2中产生的分量(系数)。并且，第四层表示在步骤A3中的处理中产生的高频带分量输出，并且第五层表示在步骤A4中的处理中产生的低频带分量输出。顶层不限于输入图像的采样组，并且可以是通过以前的分解滤波获得的系数。这里注意，顶层是输入图像的采样组，实心正方形代表偶数采样或行，实心圆代表奇数采样或行。

也就是说，在这种情况下，通过步骤A3中的处理获得高频带分量，并且通过步骤S4中的处理获得低频带分量。步骤A1～A4的处理可由下式(1)～(4)表示：

步骤A1：d_i ¹＝d_i ⁰+α(s_i ⁰+s_i+1⁰)...(1)

步骤A2：s_i ¹＝s_i ⁰+β(d_i-1 ¹+d_i ¹)...(2)

步骤A3：d_i ²＝d_i ¹+γ(s_i ¹+s_i+1 ¹)...(3)

步骤A4：s_i ^s＝s_i ¹+δ(d_i-1 ²+s_i ²)...(4)

其中，α＝-1.586134342，β＝-0.05298011857，γ＝0.8829110755，δ＝0.4435068520。

因此，通过应用提升技术的分解滤波，执行步骤A1和步骤A2的处理，在步骤A3中产生高频带分量系数，然后在步骤A4中产生低频带分量系数。从式(1)～(4)可以看出，仅仅利用加法和移位计算就可以实现此时使用的滤波器组。因此，可以明显减少计算量。

通过经受这种小波变换处理获得的系数数据经受例如熵编码，并被转换成编码数据。该编码数据在使用该数据时经受熵解码，由此通过与上述小波变换处理对应的小波逆变换处理复原原始基带图像数据。

也就是说，如图4所示，小波逆变换处理是小波变换处理的逆变换处理，其中，将通过经小波变换处理被变换的基带图像数据而获得的小波系数变换(逆变换)成原始的基带图像数据。因此，如图4所示，在执行划分层次4的小波变换处理的情况下，还在划分层次4上执行小波逆变换处理。而且，如图4所示，例如，在16行输入基带图像数据被视为一个子区并且对于其各个子区执行小波变换处理的情况下，还对于其各个子区执行小波逆变换处理，并且，从一个子区的系数数据复原16行基带图像数据。

下面说明用该小波逆变换处理减少所需要的缓冲存储器量的方法。

图5是示出应用了本发明实施例的小波逆变换设备的配置示例的框图。如图5所示，小波逆变换设备100是一种频带合成装置，其用于输入在划分层次4上经受小波变换的系数数据，并执行用于合成该数据的合成滤波。图5所示的小波逆变换设备100包含控制单元101、选择器111、垂直合成滤波器单元112、中途计算缓冲器单元113、水平合成滤波器单元114、选择器115、输出缓冲器单元116、选择器117和层次无关缓冲器单元120。

控制单元101通过层次无关缓冲器单元120对选择器111的各单元的操作进行控制。选择器111由控制单元101控制以选择外部输入(D10)或层次无关缓冲器单元120内的各划分层次的缓冲器的输出(D19、D22和D25)中的一个。垂直合成滤波器单元112由控制单元101控制以基本上一次一行地从由选择器111选择的缓冲器或外部输入(D11)获得要被处理的划分层次的四个子带的系数数据。

垂直合成滤波器单元112由控制单元101控制，以利用从中途计算缓冲器单元113读出的中途计算系数，针对基带图像数据的图像垂直方向上的频率分量，使所获得的系数数据经受合成滤波。

垂直合成滤波器单元112在中途计算缓冲器单元113中写入通过作为合成滤波执行的合成滤波器计算而产生的系数(D12)，同时，在从中途计算缓冲器单元113读出下一次合成滤波器计算所需要的系数的同时，通过重复合成滤波器计算来执行合成滤波(D13)，将在后面说明这一点。根据该垂直方向合成滤波，合成沿垂直方向的低频带分量和高频带分量，并且一次两行地产生沿水平方向的低频带分量和高频带分量。

当完成针对输入系数数据的合成滤波时，垂直合成单元112以预定的次序(例如对于各行从画面的左到右的次序)交替地、一次一个地读出中途计算缓冲器单元113中保持的水平方向上的低频带分量和高频带分量，以将其供给到水平合成滤波器单元114(D14)。

水平合成单元114由控制单元101控制，以针对沿基带图像数据的图像水平方向的频率分量，使从垂直合成滤波器单元112供给的系数数据经受合成滤波。

根据该水平方向合成滤波，沿一个较低层次的垂直和水平方向产生两行作为低频带分量子带的低频带子带系数数据(或基带图像数据)。水平合成滤波器单元114将两行低频带子带系数数据(或基带图像数据)输出到选择器115(D15)。

如上所述，垂直合成滤波器单元112和水平合成滤波器单元114基本上在将要通过一次垂直方向和水平方向合成滤波处理的划分层次的各子带的相同位置上相互合成一行系数数据，以产生两行较低层次的低频带子带系数数据或基带图像数据。

也就是说，如图6所示，当假定一个子区由N行图像数据构成时，垂直合成滤波器单元112和水平合成滤波器单元114基本上合成例如N/4行划分层次2的四个子带系数数据，以产生N/2行划分层次1的低频带子带系数数据。

垂直合成滤波器单元112和水平合成滤波器单元114重复这种合成滤波，同进适当改变要被处理的划分层次，由此将按子区的增量经受小波变换的所有系数数据变换成基带图像数据。随后，垂直合成滤波器单元112和水平合成滤波器单元114以相同的方式重复针对所有子区和所有图片的合成处理。与整个图像经受合成滤波的情况相比，通过如此按子区的增量执行合成滤波，减小了一次处理的数据量，由此，小波逆变换设备100可减少由于小波逆变换导致的延迟时间。此外，如上所述，按行的增量执行合成滤波使得能够更详细地执行控制，由此，小波逆变换设备100可进一步优化小波逆变换处理，并进一步缩短延迟时间。

现在，返回到图5，其中，选择器115由控制单元101控制，以选择水平合成滤波器单元114对通过合成滤波产生的系数数据的数据输出目的地，将系数数据的一部分供给到层次无关缓冲器单元120以对其进行保持，并将系数数据的另一部分供给到输出缓冲器单元116以对其进行保持。例如，在从水平合成滤波器单元114供给的两个低频带子带系数数据中，选择器115将这两行中的一行供给到输出缓冲器单元116以对其进行保持(D16)，并且，将另一行供给到层次无关缓冲器单元120，以在层次无关缓冲器单元120中的用于其划分层次的系数数据的缓冲器中保持它(D17、D320和D323)。

注意，在从水平合成滤波器单元114供给的数据是基带图像数据的情况下，选择器115将两行其图像数据供给到输出缓冲器单元116(D16)以保持这两行中的一行，并且将另一行输出到外部。

输出缓冲器单元116由控制单元101控制，以根据需要保持从选择器115供给的系数数据或图像数据、根据需要读出所保持的数据，并将其输出到选择器117。例如，在从选择器115供给一行子带系数数据的情况下，输出缓冲器单元116保持其系数数据。并且，例如，从选择器115供给通过合成滤波最终产生的两行基带图像数据，输出缓冲器单元116将其一行输出到外部(D26)，并且还保持另一行，直到下一个输出定时。当保持该基带图像数据时，输出缓冲器单元116将基带图像数据写入内部存储器，同时读出保持在内部存储器中的系数数据，以将其输出到选择器117(D26)。

选择器117由控制单元101控制，以控制输出缓冲器单元116的数据输出目的地。例如，在从输出缓冲器单元116供给系数数据的情况下，选择器117将其系数数据供给到层次无关缓冲器单元120(D28、D329和D330)，以将其保持在层次无关缓冲器单元120中的用于其划分层次的系数数据的缓冲器中。并且，例如，在从输出缓冲器单元116供给基带图像数据的情况下，选择器117将其基带图像数据输出到外部(D27)。

层次无关缓冲器单元120由控制单元101控制，以在用于其划分层次的系数数据的缓冲器中保持从选择器115或选择器117供给的系数数据和从外部供给的可再次经受合成滤波的系数数据，直到执行合成滤波。层次无关缓冲器单元120将所保持的系数数据供给到选择器111。

层次无关缓冲器单元120包含层次1缓冲器121、层次2缓冲器122和层次1缓冲器123。

层次1缓冲器121由控制单元101控制，以控制对划分层次1的系数数据到选择器111(经由选择器111到垂直合成滤波器单元112)的供给。例如，层次1缓冲器121在内部存储器中保持从选择器115或选择器117供给(D17和D328)的划分层次1低频带子带系数数据(3LL)或从外部供给(D18)的划分层次1高频带子带系数数据(3LH、1HL和1HH)。随后，层次1缓冲器121在预定定时对内部存储器中保持的划分层次1的各子带的系数数据进行复用，并经由选择器111将其供给到垂直合成滤波器单元112(D19)。

层次2缓冲器122由控制单元101控制，以控制对划分层次2的系数数据到选择器111(经由选择器111到垂直合成滤波器单元112)的供给。例如，层次2缓冲器122在内部存储器中保持从选择器115或选择器117供给(D17和D328)的划分层次2低频带子带系数数据(2LL)或从外部供给(D21)的划分层次2高频带子带系数数据(2LH、2HL和2HH)。随后，层次2缓冲器122在预定定时对内部存储器中保持的划分层次2的各子带的系数数据进行复用，并经由选择器111将其供给到垂直合成滤波器单元112(D22)。

层次1缓冲器123由控制单元101控制，以控制对划分层次1的系数数据到选择器111(经由选择器111到垂直合成滤波器单元112)的供给。例如，层次1缓冲器123在内部存储器中保持从选择器115或选择器117供给(D23和D330)的划分层次1低频带子带系数数据(1LL)或从外部供给(D24)的划分层次1高频带子带系数数据(1LH、1HL和1HH)。随后，层次1缓冲器123在预定定时对内部存储器中保持的划分层次1的各子带的系数数据进行复用，并经由选择器111将其供给到垂直合成滤波器单元112(D25)。

注意，图5所示的层次无关缓冲器单元120的配置是用小波逆变换设备100执行划分层次4小波逆变换处理的情况的示例。根据由小波逆变换设备100执行的小波逆变换处理的划分层次来设定层次无关缓冲器单元120的配置，以相互独立地保持最高阶层次以外的划分层次的系数数据。也就是说，层次无关缓冲器单元120包含针对最高阶层次以外的各划分层次的诸如层次1缓冲器121～层次1缓冲器123的专用缓冲器。

并且，在图5中，垂直合成滤波器单元112、中途计算缓冲器单元113、水平合成滤波器单元114、选择器115是与合成滤波器处理有关的处理单元，并且它们也被统称为滤波器单元131。并且，输出缓冲器单元116和选择器117是基本上与图像数据输出有关的处理单元，并且它们也被统称为输出控制单元132。

下面说明由垂直合成滤波器单元112和水平合成滤波器单元114执行的合成滤波的计算方法。以与上面参照图3说明的合成滤波的情况相同的方式，可以有效地执行滤波，因此也希望以与小波逆变换合成滤波相同的方式使用提升技术。

图7还示出与JPEG 2000标准一起使用的9×7合成滤波器的提升方案。与通常的卷积计算不同，使用根据提升技术的方法，通过步骤B1～B4的以下四个步骤计算偶数号分量和奇数号分量。

使用图7所示的示例，第一层(最高层)表示通过小波变换产生的系数，其中，实心圆代表高频带分量系数，实心正方形代表低频带分量系数。第二和第三层分别表示通过步骤B1中的处理和步骤B2中的处理产生的分量(系数)。并且，第四层表示通过步骤B3中的处理产生的偶数号分量输出，第五层表示通过步骤B4中的处理产生的奇数号分量输出。

根据9×7合成滤波，通过步骤B3中的处理获得偶数号分量，并且通过步骤B4中的处理获得奇数号分量。步骤B1～B4的处理可由下式(5)～(8)表示：

步骤B1：s_i ¹＝s_i ²-δ(d_i-1 ²+d_i ²)...(5)

步骤B2：d_i ²＝d_i ²-γ(s_i ¹+s_i+1 ¹)...(6)

步骤B3：s_i ⁰＝s_i ¹-β(d_i-1 ¹+d_i ¹)...(7)

步骤B4：d_i ⁰＝d_i ¹-α(s_i ⁰+s_i+1 ⁰)...(8)

其中，α＝-1.586134342，β＝-0.05298011857，γ＝0.8829110755，以及δ＝0.4435068520。

因此，根据应用提升技术的合成滤波，执行步骤B1和步骤B2的处理，在步骤B3中产生偶数号分量系数，然后在步骤B4中产生奇数号分量系数。从式(5)～(8)可以看出，仅仅用减法和移位计算就可以实现此时使用的滤波器组。因此，可以明显减少计算量。

将详细说明由垂直合成滤波器单元112执行的垂直合成滤波。图8示出用图7所示的提升方案针对沿垂直方向的系数组执行垂直合成滤波的示例。

图8所示的示例示出了针对垂直方向系数数据通过上面参照图7说明的四个步骤(步骤B1～B4)的处理产生偶数号系数数据(以下，也称为偶数号系数)和奇数号系数数据(以下，也称为奇数号系数)的情况的示例，并且，提升步骤的方向在图中从左向右进行。

并且，在垂直方向系数数据的左侧表示的数字代表行号，左起第一列中的带阴影的圆和正方形分别代表作为沿画面垂直方向的高频带分量的输入的高频带输入和沿画面垂直方向的低频带分量的输入的低频带输入。此外，随后的层中的圆和正方形分别代表在提升计算的过程中产生的高频带系数和低频带系数，并且，具体地说，实心圆和实心正方形分别代表作为行号为奇数行的系数数据的奇数号系数和作为行号为偶数行的系数数据的偶数号系数，它们是提升计算的结果。

以下按从左开始的次序对操作进行说明。图8的左侧表示输入三行系数(沿垂直方向的第4～6行)并执行使用沿垂直方向的提升方案的计算(即，水平提升计算)的示例。注意，在这种情况下，最高层上的偶数号系数与奇数号系数不相耦合，因此将省略对其的说明。

为了在垂直提升计算的步骤B3中获得第一偶数号系数并在步骤B4中获得第一奇数号系数，需要输入第0行～第5行这6行的系数。

随后，为了获得第二偶数号系数和奇数号系数，需要由粗实线表示的三个系数和由带圆圈的数字表示的第6和第7两行的系数，此外，为了在步骤B2中计算由Q1表示的系数，由带圆圈的数字表示的第5行的系数也是必需的。

由粗实线表示的三个系数是在用于获得第一偶数号系数和奇数号系数的垂直提升计算(以下也称为“第一垂直提升计算”)的过程中产生的系数中的一部分。

因此，为了获得第二偶数号系数和奇数号系数，最终需要输入第5行～第7行这3行的系数。但应注意，第5行的系数是要被再次输入的系数，因此基本上该输入变为两行(第6行和第7行)的系数的附加输入。对于各个层次，从与图5所示的层次无关缓冲器单元120对应的层次的缓冲器读出沿垂直方向的三行系数数据(基本上是两行系数数据)。也就是说，在当前小波变换划分层次是2时，从层次2缓冲器122读出系数数据。

此外，为了第二偶数号系数和奇数号系数，需要输入在用于获得第一偶数号系数和奇数号系数的垂直提升计算的过程中产生的由粗实线表示的三个系数。在获得了第二偶数号系数和奇数号系数之后，将这些系数保持在中途计算缓冲器单元113中，因此从中途计算缓冲器单元113中读出这些系数。

也就是说，使用在第一垂直提升计算中存储在中途计算缓冲器单元113中的由粗实线表示的三个系数和从相应的水平缓冲器读出和输入的第5行～第7行这3行系数，执行垂直提升计算，由此获得包含第二偶数号系数和奇数号系数的四个系数(由粗虚线表示)。以与第一垂直提升计算的情况相同的方式，将这些系数存储在中途计算缓冲器单元113中。此时，在写入这些系数的同时，从中途计算缓冲器单元113中读出对下一垂直提升计算使用的系数。在图8的左侧的示例的情况下，在存储在中途计算缓冲器单元113中的系数中，由单点虚线表示的三个系数是用于获得第三偶数号系数和奇数号系数所必需的系数，因此从中途计算缓冲器单元113中读出这些系数。

在图8的右侧示出了在读出第7行的系数之后要额外地读出两行系数(即，输入沿垂直方向的第7行～第9行的三行系数)并执行垂直提升计算的情况的示例。

以与第二种情况相同的方式，为了获得第三偶数号系数和奇数号系数，需要由粗实线表示的三个系数和由带圆圈的数字表示的第8和第9这两行的系数，此外，为了在步骤B2中计算由Q2表示的系数，由带圆圈的数字表示的第7行的系数也是必需的。

注意，如图左侧的单点虚线所示，在第二水平提升计算中已将由右侧的粗实线表示的三个系数存储在中途计算缓冲器单元113中。

因此，通过使用在第二垂直提升计算中已存储的由粗实线表示的三个系数和从相应的层次缓冲器读出和输入的第7行～第9行的三行的系数执行垂直提升计算，获得包含第三偶数号系数和奇数号系数的四个系数(由粗虚线表示)。这些系数被存储在中途计算缓冲器单元113中。此时，在写入这些系数的同时，从中途计算缓冲器单元113中读出下一垂直提升计算必需的系数。在图8的右侧的情况下，在存储在中途计算缓冲器单元113中的系数中，由单点虚线表示的三个系数是用于获得第四偶数号系数和奇数号系数所必需的系数，因此从中途计算缓冲器单元113中读出这些系数。

因此，使用所输入的系数数据和保持在中途计算缓冲器单元113中的系数执行垂直提升计算，直到画面的最下面一行，由此完成垂直方向合成滤波。

下面详细说明通过水平合成滤波器单元114执行的水平合成滤波。图9例示了沿水平方向排列通过垂直方向合成滤波获得的系数并根据图7所示的提升方案执行水平合成滤波的示例。

图9所示的示例示出了按照在图中从上向下进行的提升步骤的方向，水平方向系数经受上面参照图7说明的四个步骤(步骤B1～B4)的处理由此产生奇数号分量系数和偶数号分量系数的示例。

此外，沿水平方向在系数的上方示出的数字表示列号，从上起第一层的带阴影的圆和正方形分别表示高频带输入和低频带输入，并且，随后的层中的圆和正方形分别表示在提升计算的过程中产生的高频带系数和低频带系数。具体地说，实心圆和实心正方形分别表示作为提升计算的结果的奇数号系数和偶数号系数。

以下按从上开始的顺序对操作进行描述。图9的上侧例示了输入沿水平方向的第5～7列的系数并执行采用沿水平方向的提升方案的计算(以下，称为“水平提升计算”)的示例。注意，在这种情况下，最左边的偶数号系数与奇数号系数不配对，因此将省略其说明。

为了在水平提升计算的步骤B3中获得第一偶数号系数并在步骤B4中获得第一奇数号系数，需要输入第0列～第5列这6列的系数。

随后，为了获得第二偶数号系数和奇数号系数，需要由粗实线表示的三个系数和由带圆圈的数字表示的第6和第7这两列的系数，此外，为了在步骤B2中计算由Q1表示的系数，由带圆圈的数字表示的第5列的系数也是必需的。

由粗实线表示的三个系数是在用于获得第一奇数号系数和偶数号系数的水平提升计算(以下也称为“第一水平提升计算”)的过程中产生的系数中的一部分。

也就是说，为了获得第二奇数号系数和偶数号系数，最终需要输入由带圆圈的数字表示的第5列～第7列这3列的系数，进而锁存在第一水平提升计算的过程中产生的由粗实线表示的三个系数。实际上，由于不多于三个系数，因此可将常用作锁存器的触发器构建成水平分解滤波器单元114。

因此，使用在第一水平提升计算中已锁存的由粗实线表示的三个系数和已被输入的第5列～第7列这3列的系数，执行水平提升计算，会在其计算过程结束的点上产生包含第二奇数号系数和偶数号系数的四个系数(由粗虚线表示)。其中，由单点虚线表示的三个系数是用于获得第三奇数号系数和偶数号系数所必需的系数，因此被锁存在内置的触发器中。

在图9的下一半示出了在输入第7列系数之后要额外输入沿水平方向的两列系数(即，输入沿水平方向的第7列～第9列的三列的系数)并执行水平提升计算的情况的示例。

以与第二种情况相同的方式，为了获得第三奇数号系数和偶数号系数，需要由粗实线表示的三个系数和由带圆圈的数字表示的第8和第9这两列的系数，此外，为了在步骤B2中计算由Q2表示的系数，由带圆圈的数字表示的第7列的系数也是必需的。

注意，如图的上面一半的单点虚线所示，由下面一半的粗实线表示的三个系数已在第二水平提升计算中被锁存。

因此，使用在第二水平提升计算中已锁存的由粗实线表示的三个系数和新输入的第7列～第9列的三列的系数，执行水平提升计算，会产生包含第三奇数号系数和偶数号系数的四个系数(由粗虚线表示)。其中，由单点虚线表示的三个系数是用于获得第四奇数号系数和偶数号系数所必需的系数，因此被锁存在内置的触发器中。

因此，在顺序地输入三列系数并保持三个中间计算系数的同时执行水平提升计算，直到画面的最右面的列，由此完成水平方向分解滤波。

虽然对于上述中途计算缓冲器单元113可使用任何种类的存储器，但应记住保持在中途计算缓冲器单元113中的系数中的一部分将被再次读出以供随后的提升计算使用。也就是说，系数频繁地被写入中途计算缓冲器单元113并从其中被读出。

因此，希望使得中途计算缓冲器单元113能够并行地执行系数读取和系数写入，以缩短由于系数读取和系数写入而导致的延迟时间。

图10是示出中途计算缓冲器单元113的配置示例的框图。如图10所示，中途计算缓冲器单元113包含数据链接单元141、1端口SRAM(静态随机存取存储器)142和数据划分单元143。

数据链接单元141对连续地从垂直分解滤波器单元112供给的两条16位数据进行链接以产生32位数据，并将其供给到1端口SRAM142。数据链接单元141包含选择器151、延迟单元152和封装单元153。

选择器151将连续供给的两条16位数据视为一对，并对它们进行分配，以将先前供给的一个供给到延迟单元152并将后来供给的另一个供给到封装单元153。延迟单元152将供给的16位数据的定时延迟一个周期(至下一数据供给定时)，然后将其供给到封装单元153。也就是说，两条数据同时被供给到封装单元153。封装单元153对两条16位数据进行链接以产生32位数据，并将其32位数据供给到1端口SRAM 142以保持它。

数据划分单元143从1端口SRAM 142读出32位数据，将一条32位数据划分成两条16位数据，并输出它们。数据划分单元143包含16位分离单元154、延迟单元155和选择器156。

16位分离单元154将从1端口SRAM 142读出的32位数据分成上16位和下16位以产生两条16位数据，并将作为上16位的16位数据供给到选择器156，并将作为下16位的16位数据供给到延迟单元155。延迟单元155将作为下16位的16位数据的定时延迟一个周期，并将其供给到选择器156。选择器156对于每一个周期交替地将输入切换到16位分离单元154或延迟单元155。因此，这两条16位数据依次地被连续输出。

1端口SRAM 142是用于使用一个系统执行数据的写入和读取的记录介质，并且被控制器单元120控制以存储从数据链接单元141的封装单元153供给的32位数据，并将存储的32位数据输出到数据划分单元143的16位分离单元154。

在对于数据存储使用的存储器中，RAM(随机存取存储器)以电的方式执行数据的写入和读取，因此其操作速度较高，但每增量面积的价格较为昂贵，导致难以大量地使用它的问题。作为一种类型的RAM，存在使用触发器电路作为存储元件的SRAM。SRAM具有高速操作的优点，由此不需要执行用于存储和保持数据的操作，但具有复杂的电路，因此集成度会受影响。也就是说，为了促进集成，可减小多大容量的SRAM是至关紧要的。

一般来说，对于SRAM，存在不能同时执行数据的输入和输出的1端口SRAM和可同时执行数据的输入和输出的2端口SRAM，并且每一种SRAM都具有诸如图11A或图11B所示的输入和输出端子。

也就是说，如图11A所示，1端口SRAM一般具有以下端子：输入时钟信号“CLK”的端子；输入芯片启用信号“CEN”的端子；输入启用信号“EN”的端子，该端子控制数据的输入/输出；输入地址信息“ADR”的端子，该端子规定用于写入32位数据的地址或用于读出32位数据的地址；输入32位写入数据“WD”的端子；和输出32位读出数据“RD”的端子。

另一方面，如图11B所示，2端口SRAM一般具有以下端子：输入写入时钟信号“WCLK”的端子；输入写入控制启用信号“WEN”的端子；输入写入地址信息“WADR”的端子，该端子规定用于写入32位数据的地址；输入32位写入数据“WD”的端子；输入读出时钟信号“RCLK”的端子；输入读出控制启用信号“REN”的端子；输入读出地址信息“RADR”的端子，该端子规定用于读出32位数据的地址；和输出32位读出数据“RD”的端子。

在图11A所示的1端口SRAM的情况下，芯片启用信号“CEN”是用于对读出操作和写入操作进行切换的信号，与读出操作和写入操作共享启用信号“EN”和地址信息“ADR”这两个信号。例如，在芯片启用信号“CEN”规定读出操作的情况下，启用信号“EN”变为用于控制读出操作定时的信号，并且地址信息“ADR”变为用于规定要被读出的数据的地址的信号。相反，在芯片启用信号“CEN”规定写入操作的情况下，启用信号“EN”变为用于控制写入操作定时的信号，并且地址信息“ADR”变为用于规定要被写入的数据的地址的信号。也就是说，1端口SRAM不能同时执行读出操作和写入操作。

另一方面，在图11B所示的2端口SRAM的情况下，用于控制写入操作的信号和用于控制读出操作的信号是相互完全独立的。也就是说，2端口SRAM可在任意的定时执行读出操作和写入操作，因此可并行执行读出操作和写入操作。

图12A和图12B是示出将四条数据写入这种1端口SRAM和2端口SRAM进而立即从中读出这些数据的情况下的时序图的示意图。图12A示出1端口SRAM的情况下的时序图示例，并且图12B示出2端口SRAM的情况下的时序图示例。

如图12A所示，在1端口SRAM的情况下，根据启用信号“EN”连续写入四条数据(四个周期)，并且，根据SRAM的等待时间在经过一个周期之后，连续读出写入的四条数据(四个周期)。因此，1端口SRAM需要共9个周期的时间用于四条数据的写入和读出处理。注意，“周期”指的是处理的同步定时，即用作分时的增量的时间。例如，这里表示数据的写入或读出定时(或其周期)。

另一方面，如图12B所示，在2端口SRAM的情况下，存在控制启用信号“WEN”和读出控制启用信号“REN”，由此可以使所述四条数据的读出操作和写入操作并行化。因此，如图12B所示，使用2端口SRAM，可用四个周期执行读出操作和写入操作，并且，可以用包含一个周期的等待时间的总共五个周期完成处理。

在HDTV(高清晰度电视)的情况下，一行的水平尺寸为1920个像素，因此，当其一行的系数被写入1端口SRAM中进而被读出时，需要1920×2＝3840个周期。也就是说，使用合成滤波，当应用1端口SRAM作为中途计算缓冲器单元113时，延迟时间会增加。

为了减少该周期数，需要使用2端口SRAM来代替1端口SRAM，但2端口SRAM一般等同于在内部具有两个1端口SRAM的配置，制造成本较为昂贵，并且电路面积一般达到1端口SRAM的两倍。在通常的情况下，对于存储器的电路规模，在LSI(大规模集成)芯片中占有率较高，并且存储器面积的增加会导致芯片面积的增加。

因此，这里制成应用1端口SRAM作为如图10所示的中途计算缓冲器单元113的布置，使用数据链接单元141对要被写入1端口SRAM 142的数据进行链接以产生32位数据，使用1端口SRAM 142按32位的增量读出数据，使用数据划分单元143将其32位数据划分成两条16位数据，由此，可以并行操作关于1端口SRAM 142的数据的读出和写入。

将参照图13所示的时序图说明图10所示的中途计算缓冲器单元113的各单元的操作流程。

如从图13的顶部起第四层所示，当在第一个周期中供给16位写入数据(WD16bit)“0”时，数据链接单元141的选择器151通过延迟单元152将数据“0”延迟一个周期，并将其供给到封装单元153。随后，当在第二周期中供给16位写入数据“1”时，数据链接单元141的选择器151将数据“1”供给到封装单元153。在第二个周期中，封装单元153对其数据“0”和“1”进行链接，以产生32位写入数据(WD32bit)“0、1”，并根据由图13的从顶部起第一层到第三层表示的写入指令将数据“0、1”写入地址“0”。

并且，如从图13顶部起第四层所示，当在第三个周期中供给16位写入数据(WD16bit)“2”时，数据链接单元141的选择器151通过延迟单元152将数据“2”延迟一个周期，并将其供给到封装单元153。也就是说，在该第三个周期中，不执行对1端口SRAM 142的写入。

因此，在其第三个周期中，数据划分单元143的16位分离单元154根据由图13的从顶部起第一层到第三层表示的读出指令读出写入地址“0”中的32位数据，并将该读出数据(RD32bit)“0、1”分成两条16位数据(数据“0”和数据“1”)。16位分离单元154将分离的数据中的一个“0”供给到选择器156，并通过延迟单元155将另一数据“1”延迟一个周期以将其供给到选择器156。选择器156顺序地输出数据“0”和数据“1”(RD16bit)。

如上所述，在第四个周期中，将在第三个周期中被延迟并被供给到封装单元153的数据“2”链接到在第四个周期中不经过延迟单元152的情况下从数据链接单元141的选择器151供给到封装单元153的16位写入数据“3”，以产生32位写入数据(WD32bit)“2、3”。在第四个周期中，封装单元153根据由图13的从顶部起第一层到第三层表示的写入指令将数据“2、3”写入地址“1”中。

如第三个周期那样，在第五个周期中，数据划分单元143的16位分离单元154根据由图13的从顶部起第一层到第三层表示的读出指令读出地址“1”中写有的32位数据，并将该读出数据(RD32bit)“2、3”分离成两条16位数据(数据“2”和数据“3”)。16位分离单元154将分离的数据中的一个“2”供给到选择器156，并通过延迟单元155将另一数据“3”延迟一个周期，以将其供给到选择器156。选择器156顺序地输出数据“2”和数据“3”  (RD16bit)。

如上所述，将两条16位数据作为32位数据读出并写入1端口SRAM，由此，中途计算缓冲器单元113可按照分时并行地同时执行根据数据链接单元141的写入和根据数据划分单元143的读出，因此，可以在1端口SRAM 142中写入进而从中读出总共五个周期中的四条数据。注意，“周期”指的是处理的同步定时，即用作分时的增量的时间。例如，这里表示数据的写入或读出定时(或其周期)。

因此，小波逆变换设备100可抑制中途计算缓冲器单元113的电路规模的增加，以较高的速度操作中途计算缓冲器单元113，由此可以抑制根据小波逆变换的时间延迟的增加。

注意，至此已说明了1端口SRAM 142以32位的增量执行数据的输入/输出，但是关于1端口SRAM 142的数据的输入/输出的数据增量是任意的。并且，已对以16位的增量执行关于中途计算缓冲器单元113的数据的输入/输出进行了说明，但关于中途计算缓冲器单元113的数据的输入/输出的数据增量也是任意的。也就是说，图11所示的数据链接单元141和数据划分单元143的配置是示例，并且实际上是由关于1端口SRAM 142的数据的输入/输出的数据增量和关于中途计算缓冲器单元113的数据的输入/输出的数据增量来确定的。

但是，基本配置与图10所示的示例类似。也就是说，数据链接单元141对输入到中途计算缓冲器单元113的预定数据增量的多条数据进行链接，以1端口SRAM 142的数据输入增量产生一条或多条数据，并将该数据供给到1端口SRAM 142以被保持。并且，数据划分单元143从1端口SRAM 142以1端口SRAM 142的数据输出增量读出一条或多条数据，以中途计算缓冲器单元113的数据输出增量将读出数据分离成多条数据，并从中途计算缓冲器单元113中输出它们。1端口SRAM 142交替地以数据输入/输出增量执行数据的读出和写入。

并且，对于图5中的输出缓冲器单元116也以相同的方式使用1端口SRAM。因此，控制单元101可在输出缓冲器单元116中存储从水平合成滤波器单元114输出的基带图像数据，并且，与此同时，将在输出缓冲器单元116中保持的系数数据供给到层次无关缓冲器单元120。

图14是示出图5所示的输出缓冲器单元116的内部配置示例的框图。如图14所示，输出缓冲器单元116包含控制单元171、选择器172、数据链接单元173、1端口SRAM 174和数据划分单元175。

控制单元171对选择器172到数据划分单元175的各单元的操作进行控制。例如，选择器172将从水平合成滤波器单元114供给的子带系数数据供给到数据链接单元173。并且，在从水平合成滤波器单元1 14供给的两行基带图像数据中，选择器172将一行供给到选择器117(图25)，并将另一行供给到数据链接单元173。

数据链接单元173与图10所示的数据链接单元131相对应，具有与数据链接单元131相同的配置，并以相同的方式操作。1端口SRAM174具有与1端口SRAM 132的配置相同的配置，并以相同的方式操作。数据划分单元175与图10中的数据划分单元133相对应，并具有与数据划分单元133的配置相同的配置，并以相同的方式操作。

也就是说，数据链接单元173包含与选择器151类似的选择器181、与延迟单元152类似的延迟单元182、与封装单元153类似的封装单元183，并且，如图15所示，通过花费两个周期对从选择器172供给的两条16位数据进行链接来生成12位数据，并在一个周期中将其存储在1端口SRAM 174中以保持它。

并且，数据划分单元175包含与16位分离单元154类似的16位分离单元184、与延迟单元155类似的延迟单元185和与选择器156类似的选择器186，并且，如图15所示，从1端口SRAM读出12位数据，分离其12位数据以产生两条16位数据，并通过花费两个周期将它们输出到外部。因此，诸如图15所示，对于每个周期交替重复关于输出缓冲器单元116的1端口SRAM 174的数据的读出和写入，由此读取和写入12位数据。因此，并行地同时执行读出和写入。也就是说，图14中的用虚线包围的部分是与图10所示的中途计算缓冲器单元113相同的配置。

根据这些配置，输出缓冲器单元116在1端口SRAM 174中存储基带图像数据，同时，可并行地读出存储在1端口SRAM 174中的系数数据以将其供给到层次无关缓冲器单元120。

下面说明各处理流程。将参照图16所示的流程图通过图25所示的小波逆变换设备100说明小波逆变换处理的流程示例。当小波逆变换处理被启动时，在步骤S101中，控制单元101初始化要被处理的子区。在步骤S102中，控制单元101确定当前的定时是否是预定的定时，然后等待，直到确定当前的定时是预定的定时。在步骤102中确定当前的定时是预定的定时的情况下，本处理进行到步骤S103。在步骤S103中，垂直合成滤波器单元112和水平合成滤波器单元114执行行增量小波逆变换处理，以产生一行较低划分层次的系数数据或一行基带图像数据。稍后将说明该行增量小波逆变换处理的细节。

当完成行增量小波逆变换处理时，本处理进行到步骤S104。在步骤S104中，控制单元101确定是否已处理子区内的所有系数数据。在确定尚未处理子区内的所有系数数据的情况下，本处理返回步骤S102，这里，重复随后的处理。并且，在确定已处理子区内的所有系数数据的情况下，本处理进行到步骤S105。

在步骤S105中，控制单元101确定是否已处理图片内的所有子区。在确定存在未处理的子区的情况下，本处理进行到步骤S106。在步骤S106中，控制单元101更新要被处理的子区，以将下一子区视为要被处理的子区。当完成了步骤S106中的处理时，本处理返回步骤S102，这里，重复随后的处理。

并且，在步骤S105中确定已处理图片内的所有子区时，小波逆变换处理结束。注意，对于各个图片执行该小波逆变换处理。

下面参照图17和图18的流程图说明在图16中的步骤S103中执行的行增量小波逆变换的流程的示例。

当开始行增量小波逆变换时，在步骤S121中，控制单元101确定在输出缓冲器单元116中是否存在基带图像数据。如稍后要描述的，每当执行行增量小波逆变换时，产生两行基带图像数据。一次一行地输出所产生的基带图像数据，另一行被累积在输出缓冲器单元116中，并在下一预定的定时(图16中的步骤S102中的确定处理的定时)(即在执行下一行增量小波逆变换的时间)被输出。

也就是说，步骤S121中的处理确定是否已在输出缓冲器单元116中累积基带图像数据。

在确定还没有在输出缓冲器单元116中累积基带图像数据的情况下，本流程进行到步骤S122。

在步骤S122中，控制单元101确定在层次无关缓冲器单元120中是否存在系数数据。根据小波逆变换处理，在重复执行的合成滤波处理中的每一个中，对四个子带的系数逐行地进行合成，然后产生两行低一阶层次的低频带子带系数，通过输出缓冲器单元116将其中一个保持在层次无关缓冲器单元120中。在行增量小波逆变换处理中，从图片的顶部起依次一次两行地产生基带图像数据，因此，在层次无关缓冲器单元120中存在系数的情况下，那些系数首先被处理，将在后面详细说明这一点。

在步骤S122中确定在层次无关缓冲器单元120中不存在系数的情况下，本流程进行到步骤S123。在步骤S123中，控制单元101将要被处理的划分层次设为最高层次。一旦步骤S123中的处理结束，本处理就进行到图18中的步骤S131。

并且，在图17中的步骤S122中确定在层次无关缓冲器单元120中存在系数的情况下，本流程进行到步骤S124。在步骤S124中，控制单元101将要被处理的划分层次设为最低层次。一旦步骤S124中的处理结束，本处理就进行到图18中的步骤S131。

在图18中的步骤S131中，控制单元101确定要被处理的划分层次是否是最高层次。在确定要被处理的划分层次是最高层次的情况下，本流程进行到步骤S132。在步骤S132中，垂直合成滤波器单元112通过选择器111从外部获得要被处理的子区的最高层次的所有子带的系数数据。一旦获得系数数据，本流程进行到步骤S135。并且，在步骤S131中确定要被处理的划分层次不是最高层次的情况下，本流程进行到步骤S133。在步骤S133中，垂直合成滤波器单元112通过选择器111获得要被处理的划分层次的低频带子带的系数数据。并且，在步骤S134中，垂直合成滤波器单元112通过选择器111从外部获得要被处理的划分层次的高频带子带的系数数据。一旦步骤S134中的处理结束，本流程进行到步骤S135。

在步骤S135中，垂直合成滤波器单元112执行垂直合成滤波器处理(垂直合成滤波)。将在后面说明垂直合成滤波器处理的细节。一旦垂直合成滤波器处理结束，水平合成滤波器单元114就执行水平合成滤波器处理(水平合成滤波)。

在步骤S137中，控制单元101确定是否已通过步骤S136中的水平合成滤波器处理产生基带图像数据。在确定产生的系数数据是中间层次系数数据的情况下，本流程进行到步骤S138。在步骤S138中，在两行比所产生的低一级的层次的低频带子带系数数据中，水平合成滤波器单元114在输出缓冲器单元116中保存后一行。

在步骤S139中，在两行比所产生的低一级的层次的低频带子带系数数据中，水平合成滤波器单元114以低一阶的层次在层次无关缓冲器单元120中保存第一行。在步骤S140中，控制单元101将要被处理的划分层次更新为低一阶的划分层次。一旦步骤S140的处理结束，本流程就返回步骤S131，然后重复随后的处理。

也就是说，小波逆变换设备100重复步骤S131～S140的处理，直到产生两行基带图像数据，并且在每一个层次上执行合成滤波器处理，同时一次一阶地将要被处理的划分层次转变成更低的阶。

在划分层次1中执行合成滤波器处理，并且，在步骤S137中确定已产生基带图像数据的情况下，本流程进行到步骤S141。在步骤S141中，输出缓冲器单元116获得在水平合成滤波器单元114中产生的两行图像数据，执行后面说明的缓冲器输入/输出处理，然后将后一行写入内置的1端口SRAM 174中，同时，读出在1端口SRAM 174中存储的系数数据。

在步骤S142中，输出缓冲器单元116通过选择器117将已被读出到相应的划分层次的缓冲器单元的系数数据写入层次无关缓冲器单元120。在步骤S143中，在水平合成滤波器单元114中产生的两行图像数据中，输出缓冲器单元116通过选择器117向外部输出第一行。一旦步骤S143的处理结束，行增量小波逆变换处理就结束，本流程返回图16的步骤S103中的处理，然后执行自步骤S104起的处理。

并且，在图17中的步骤S121中确定在输出缓冲器单元116中存在一行基带图像数据的情况下，本流程进行到步骤S125。输出缓冲器单元116从内置的1端口SRAM 174读出一行基带图像数据，并通过选择器117将其输出到外部。一旦图像数据被输出，行增量小波逆变换处理就结束，本流程返回图16中的步骤S103，并且，执行自步骤S104起的处理。

因此，通过合成滤波器处理一次产生两行，因此，将一行累积在输出缓冲器单元116中，并且，在输出缓冲器单元116中存在基带图像数据的情况下，输出该图像数据；否则，通过合成滤波器处理产生图像数据。因此，每当执行行增量小波逆变换处理时，小波逆变换设备100可在预定的定时逐行地输出基带图像数据。

下面参照图19中的流程图说明在图18中的步骤S135中执行的垂直合成滤波器处理的详细示例。

在垂直滤波器处理开始时，在步骤S161中，垂直合成滤波器单元112执行诸如参照图7和图8说明的垂直方向合成提升计算(垂直合成提升计算)。在步骤S162中，执行缓冲器输入/输出处理，然后将通过步骤S161中的垂直合成提升计算算出的系数写入中途计算缓冲器单元113，同时读出下一计算所必需的系数。将在后面说明用于同时并行执行该数据输入和输出的缓冲器输入/输出处理的细节。

当缓冲器输入/输出处理结束时，在步骤S163中，垂直合成滤波器单元112确定是否要结束垂直合成滤波器处理。在针对此时获得的所有系数数据确定垂直提升计算还没有结束并且仍存在未处理的系数时，本流程返回步骤S161，然后重复随后的处理。也就是说，重复步骤S361和S362的处理会对已获得的所有系数执行垂直提升计算。在步骤S163中确定要结束处理的情况下，即，在针对此时获得的所有系数数据确定垂直提升计算已结束的情况下，垂直合成滤波器处理结束。

下面参照图20中的流程图说明由图10所示的中途计算缓冲器单元113在图19中的步骤S162中执行的缓冲器输入/输出处理的流程的详细示例。

在缓冲器输入/输出处理开始时，在步骤S181中，数据划分单元143从缓冲器(即，从1端口SRAM 142)读出由垂直合成滤波器单元112规定的32位数据，然后，在步骤S182中将已读出的32位数据划分成16位数据并输出到外部，即，输出到垂直合成滤波器单元112。在步骤S183中，数据链接单元141将从外部(即，从垂直合成滤波器单元112)供给的两条写入16位数据链接成一条32位数据，然后，在步骤S184中，将写入32位数据写入缓冲器，即，写入1端口SRAM142。

在步骤S185中，数据链接单元141和数据划分单元143确定是否所有数据的读取和写入都已结束，然后，在确定存在还没有读取的数据或还没有写入的数据的情况下，本流程返回步骤S181并执行随后的处理。在步骤S185中确定所有数据的读取和写入都已结束的情况下，缓冲器输入/输出处理结束。

通过执行这种处理，中途计算缓冲器单元113可如图13所示的那样交替地执行读取和写入处理，并且作为整体同时并且并行地执行这两个处理。

注意，如参照图14说明的那样，输出缓冲器单元116具有与图10所示的中途计算缓冲器单元113类似的配置，并且，可以同时并且并行地执行一行基带图像数据的写入和系数数据的读取。也就是说，还以与参照图20中的流程图说明的中途计算缓冲器单元113相同的方式执行在图18中的步骤S141中执行的缓冲器输入/输出处理。因此，通过图20中的流程图进行的说明也适用于在图18中的步骤S141中执行的缓冲器输入/输出处理。但应注意，通过选择器115从水平合成滤波器单元114供给被写入1端口SRAM 174的基带图像数据，并且，将从1端口SRAM 174读出的各划分层次的系数数据经由选择器117供给到层次无关缓冲器单元120。

在图21中示意地示出了这种行增量小波逆变换处理的流程的具体示例。针对各划分层次上的处理和各缓冲器上的输入/输出，图21示出了系数数据发生转变的方式。这里注意，我们说系数数据的划分层次为4，即，最高层次是4。

如图21的左上侧所示，在开始行增量小波逆变换处理时，要被处理的划分层次被设为最高层次，因此，首先，将划分层次4的由一行子带HH系数和一行子带LH系数构成的数据4HH/LH和由一行子带HL系数和一行子带LL系数构成的数据4HL/LL从外部(即，从小波逆变换设备100的存储单元等的上游处理单元(图中均未示出))供给到垂直合成滤波器单元112(数据201和数据202)。也就是说，垂直合成滤波器单元112逐行地取得划分层次4的子带中的每一个的系数的输入。

垂直合成滤波器单元112和水平合成滤波器单元114对这些系数执行合成滤波器处理，并产生作为低一阶的划分层次的一行低频带子带系数的数据1LL-1(数据203)和数据1LL-2(数据204)。也就是说，垂直合成滤波器单元112和水平合成滤波器单元114通过合成滤波器处理产生低一阶的划分层次(划分层次3)的两行低频带子带系数。

其中的一个数据3LL-1(数据203)通过选择器115被供给到层次无关缓冲器单元120的层次3缓冲器单元121并被存储(数据205)，并且，作为另一个的数据3LL-2(数据204)被写入输出缓冲器单元116并被保持(数据206)。

这里，要被处理的层次被设为低一阶的层次3。垂直合成滤波器单元112逐行地从外部获得划分层次3的高频带子带系数，并且还读出和获得在层次3缓冲器单元121中保持的数据3LL-1(数据208)。也就是说，垂直合成滤波器单元112逐行地取得划分层次3的子带系数的输入，诸如数据3HH/LH(数据207)和数据3HL/LL(数据209)。数据1HH/LH代表划分层次3的一行子带HH系数和一行子带LH系数，数据1HL/LL代表划分层次3的一行子带HL系数和一行子带LL系数。

垂直合成滤波器单元112和水平合成滤波器单元114对这些系数执行合成滤波器处理，并产生作为低一阶的划分层次的一行低频带子带系数的数据2LL-1(数据210)和数据2LL-2(数据211)。也就是说，垂直合成滤波器单元112和水平合成滤波器单元114通过合成滤波器处理产生低一阶的划分层次(划分层次2)的两行低频带子带系数。

其中的一个数据2LL-1(数据210)通过选择器115被供给到层次无关缓冲器单元120的层次2缓冲器单元122并被存储(数据212)，并且，作为另一个的数据2LL-2(数据211)被写入输出缓冲器单元116并被保持(数据213)。

这里，同样，要被处理的层次被设为低一阶的层次2。垂直合成滤波器单元112逐行地从外部获得划分层次2的高频带子带系数，并且还读出和获得在层次2缓冲器单元122中保持的数据2LL-1(数据222)。也就是说，垂直合成滤波器单元112逐行地取得划分层次2的子带系数的输入，诸如数据2HH/LH(数据221)和数据2HL/LL(数据223)。数据2HH/LH代表划分层次2的一行子带HH系数和一行子带LH系数，数据2LL代表划分层次2的一行子带HL系数和一行子带LL系数。

垂直合成滤波器单元112和水平合成滤波器单元114对这些系数执行合成滤波器处理，并产生作为低一阶的划分层次的一行低频带子带系数的数据1LL-1(数据224)和数据1LL-2(数据225)。也就是说，垂直合成滤波器单元112和水平合成滤波器单元114通过合成滤波器处理产生低一阶的划分层次(划分层次1)的两行低频带子带系数。

其中的一个数据1LL-1(数据224)通过选择器115被供给到层次无关缓冲器单元120的层次1缓冲器单元123并被存储(226)，并且，作为另一个的数据1LL-2(数据225)被写入输出缓冲器单元116并被保持(数据227)。

这里，同样，要被处理的层次被设为低一阶的层次1。垂直合成滤波器单元112逐行地从外部获得划分层次1的高频带子带系数，并且还读出和获得在层次1缓冲器单元123中保持的数据1LL-1(数据232)。也就是说，垂直合成滤波器单元112逐行地取得划分层次1的子带系数的输入，诸如数据1HH/LH(数据231)和数据1HL/LL(数据233)。数据1HH/LH代表划分层次1的一行子带HH系数和一行子带LH系数，数据1LL代表划分层次1的一行子带HL系数和一行子带LL系数。

垂直合成滤波器单元112和水平合成滤波器单元114对这些系数执行合成滤波器处理，并产生代表一行基带图像数据的基带图像数据-1(数据234)和基带图像数据-2(数据235)。也就是说，垂直合成滤波器单元112和水平合成滤波器单元114通过合成滤波器处理产生两行基带图像数据。

其中的一个基带图像数据-1(数据234)被原样输出(数据236)，而作为另一个的基带图像数据-2(数据235)被写入输出缓冲器单元116并被保持(数据237)。同时并且与该写入并行地，存储在输出缓冲器单元116中的作为划分层次3低频带子带系数的数据3LL-2(数据238)被读出并被供给和存储在层次无关缓冲器单元120的层次3缓冲器单元121中(数据239)，作为划分层次2低频带子带系数的数据2LL-2(数据240)被读出并被供给和存储在层次无关缓冲器单元120的层次2缓冲器单元122中(数据241)，并且作为划分层次1低频带子带系数的数据1LL-2(数据242)被读出并被供给和存储在层次无关缓冲器单元120的层次1缓冲器单元123中(数据243)。

每当执行参照图17和图18中的流程图说明的行增量小波逆变换处理时，就如图21所示的那样处理数据。存储在输出缓冲器单元116中的基带图像数据-2(数据237)在下一行增量小波逆变换处理中被输出到外部。在层次无关缓冲器单元120的各缓冲器中累积的系数在下一次和随后的次数中被处理。

如上所述，各划分层次上的合成滤波器处理每次产生两行较低阶划分层次系数，但在合成滤波器处理中每次仅处理一行。也就是说，在产生的两行系数中，仅有一行被用于下一合成滤波器处理，而另一行在下一或随后的行增量小波逆变换处理之前是不必要的。也就是说，不需要同时将所产生的两行累积在层次无关缓冲器单元120中。因此，小波逆变换设备100相互偏移两行系数的累积，以一次一行地将其累积在层次无关缓冲器单元120中。因此，可以缩短层次无关缓冲器单元120所必需的容量。

层次无关缓冲器单元120需要频繁地通过选择器111将保持在其中的系数供给到垂直合成滤波器单元112，因此，用只能低速访问的存储器(诸如必须通过共享的总线进行数据读/写的外部存储器)实现的布置会大大降低合成滤波器处理的处理速度，增加由于小波逆变换处理导致的延迟时间。因此，优选的是，通过用可在不通过共享的总线的情况下被高速访问并被设置在包含执行合成滤波器处理的CPU的LSI芯片内的存储器的实施方式，来实现层次无关缓冲器单元120，该存储器例如为所谓的高速缓存存储器。

但是，高速缓存存储器的存储容量的增加会增大电路的规模，导致LSI芯片具有更大的芯片尺寸。也就是说，高速缓存存储器容量的增加会导致器件的制造成本的增加。这意味着在现实世界适用性上对于高速缓存存储器容量存在上限，并且，从降低成本的观点看，容量越小越好。

因此，在已使用小容量高速缓存存储器的情况下，层次无关缓冲器单元120中存储的数据量的增加会导致容量不足。在这种情况下，需要将操作较慢的外部存储器用作缓冲存储器，但是，如上所述，这会导致由于小波逆变换处理而导致的延迟时间的增加。并且，在这种情况下，由于在高速缓存存储器中出现的误击(mishit)和数据备份等，延迟时间会进一步增加。

因此，如上所述，通过对通过合成滤波器处理产生的要被累积在层次无关缓冲器单元120中的系数逐行地进行布置，以减少层次无关缓冲器单元120所需要的容量，可以减少这种延迟时间的增加和制造成本的增加。

并且，如上所述，小波逆变换设备100在输出缓冲器单元116中累积通过合成滤波器处理产生的不立即在层次无关缓冲器单元120中累积的两行系数中的一行。

为了一次一行地输出基带图像数据，输出缓冲器单元116最初是用于累积产生的两行基带图像数据中的一行的缓冲器。换句话说，在产生基带图像数据之前不使用该数据，因此，如上所述，不立即在层次无关缓冲器单元120中累积的系数被暂时存储在输出缓冲器单元116中，直到对层次无关缓冲器单元120中累积的系数的合成滤波器处理结束。也就是说，使用输出缓冲器单元116对层次无关缓冲器单元120的累积的定时进行偏移。

虽然如同层次无关缓冲器单元120那样优选地采用可高速操作的高速缓存存储器来实现输出缓冲器单元116，但是，为了缩短由于小波逆变换处理导致的延迟时间，利用这种空闲时间(其间不保持基带图像数据的周期)存储系数会使得能够在不增加高速缓存存储器(输出缓冲器单元116)的容量的条件下在层次无关缓冲器单元120中累积通过合成滤波器处理产生的系数。

也就是说，小波逆变换设备100更新用于对系数数据和图像数据进行缓冲的高速缓存存储器的使用效率，由此减少作为用于在小波逆变换处理中保持数据所需的存储器容量。

虽然可以构想用于将不立即在层次无关缓冲器单元120中累积的系数备份到外部存储器中的布置，但这会导致为了防止延迟时间的增加而需要复杂的定时控制。如上面所述的那样使用输出缓冲器单元116会使得可以一次一行地很容易地在层次无关缓冲器单元120中累积通过合成滤波器处理产生的系数。

并且，如参照图14的框图和图20的流程图说明的那样，输出缓冲器单元116被布置成能够同时并且并行地写入基带图像数据和读出系数。因此，可以在不增加成本的情况下抑制由于从输出缓冲器单元116向层次无关缓冲器单元120移动系数而导致的延迟时间的增加。

下面参照图22～24说明用于一个子区的小波逆变换处理的流程的更具体的示例。在图22～24中，在圆中示出的数字是子区内的行的标识号；在本说明书中省略了附图中的数字周围示出的圆。注意，这里给出的说明是关于对经受层次4小波变换的系数执行的小波逆变换处理的说明。

如图22所示，在第一小波逆变换处理开始时，首先，使划分层次4子带(4LL/HL/LH/HH)逐行地经受合成滤波器处理(箭头S1)。该合成滤波器处理产生用于划分层次3的低频带子带的第一行系数3LL1和第二行系数3LL2(箭头S2)。接着，对第一行系数3LL1并逐行地对新输入的划分层次3高频带子带系数(3HL/LH/HH)执行合成滤波器处理(箭头3)，产生用于划分层次2的低频带子带的第一行系数2LL1和第二行系数2LL2(箭头S4)。进而，对第一行系数2LL1并逐行地对新输入的划分层次2高频带子带系数(2HL/LH/HH)执行合成滤波器处理(箭头5)，产生用于划分层次1的低频带子带的第一行系数1LL1和第二行系数1LL2(箭头S6)。进而，对第一行系数1LL1并逐行地对新输入的划分层次1高频带子带系数(1HL/LH/HH)执行合成滤波器处理(箭头7)，产生用于基带的第一行基带图像数据Base 1和第二行基带图像数据Base 2(箭头S8)。

图像数据Base 1的第一行被立即输出到外部，并且，图像数据Base 2的第二行被暂时保持在输出缓冲器单元116并在下一输出定时(第二行增量小波逆变换处理)被输出。

在第三行增量小波逆变换处理开始时，在层次无关缓冲器单元120中累积在第一行增量小波逆变换处理中产生的划分层次3低频带子带的第二行系数3LL2、划分层次2低频带子带的第二行系数2LL2和划分层次1低频带子带的第二行系数1LL2。因此，通过第三行增量小波逆变换处理，在这些系数中，划分层次1低频带子带的第二行系数1LL2被处理，其为最低阶系数。也就是说，对第二行系数1LL2并逐行地对新输入的划分层次1高频带子带系数(1HL/LH/HH)执行合成滤波器处理(箭头S9)，产生用于基带的第三行基带图像数据Base 3和第四行基带图像数据Base 4(箭头S10)。

图像数据Base 3的第三行被立即输出到外部，并且，图像数据Base 4的第四行被暂时保持在输出缓冲器单元116中，然后在下一输出定时(第四行增量小波逆变换处理)被输出。

在第五行增量小波逆变换处理开始时，划分层次1低频带子带的第二行系数1LL2已被处理，因此在层次无关缓冲器单元120中累积划分层次3低频带子带的第二行系数3LL2和划分层次2低频带子带的第二行系数2LL2。因此，通过第五行增量小波逆变换处理，在这些系数中，划分层次2低频带子带的第二行系数2LL2被处理，其为最低阶系数。即，如图23所示，对第二行系数2LL2并逐行地对新输入的划分层次2高频带子带系数(2HL/LH/HH)执行合成滤波器处理(箭头S11)，产生用于划分层次1的低频带子带的第三行系数1LL3和第四行系数1LL4(箭头S12)。进而，对划分层次1第三行系数1LL3并逐行地对新输入的划分层次1高频带子带系数(1HL/LH/HH)执行合成滤波器处理(箭头S13)，产生用于基带的第五行基带图像数据Base 5和第六行基带图像数据Base 6(箭头S14)。

图像数据Base 5的第五行被立即输出到外部，并且，图像数据Base 6的第六行被暂时保持在输出缓冲器单元116中，然后在下一输出定时(第六行增量小波逆变换处理)被输出。

在第七行增量小波逆变换处理开始时，在层次无关缓冲器单元120中累积在第一行增量小波逆变换处理中产生的划分层次3低频带子带的第二行系数3LL2和在第五行增量小波逆变换处理中产生的划分层次1低频带子带的第四行系数1LL4。因此，通过第七行增量小波逆变换处理，在这些系数中，划分层次1低频带子带的第四行系数1LL4被处理，其为最低阶系数。也就是说，对第四行系数1LL4并逐行地对新输入的划分层次1高频带子带系数(1HL/LH/HH)执行合成滤波器处理(箭头S15)，产生用于基带的第七行基带图像数据Base 7和第八行基带图像数据Base 8(箭头S16)。

图像数据Base 7的第七行被立即输出到外部，并且，图像数据Base 8的第八行被暂时保持在输出缓冲器单元116中，然后在下一输出定时(第八行增量小波逆变换处理)被输出。

在第九行增量小波逆变换处理开始时，在层次无关缓冲器单元120中只累积在第一行增量小波逆变换处理中产生的划分层次3低频带子带的第二行系数3LL2。因此，通过第九行增量小波逆变换处理，划分层次3低频带子带的第二行系数3LL2被处理。即，对第二行系数3LL2并逐行地对新输入的划分层次3高频带子带系数(3HL/LH/HH)执行合成滤波器处理(箭头S17)，产生用于划分层次2的低频带子带的第三行系数2LL3和第四行系数2LL4(箭头S18)。进而，对划分层次2第三行系数2LL3并逐行地对新输入的划分层次2高频带子带系数(2HL/LH/HH)执行合成滤波器处理(箭头S19)，产生用于划分层次1的低频带子带的第五行系数1LL5和第六行系数1LL6(箭头S20)。进而，对划分层次1第五行系数1LL5并逐行地对新输入的划分层次1高频带子带系数(1HL/LH/HH)执行合成滤波器处理(箭头S21)，产生用于基带的第九行基带图像数据Base 9和第十行基带图像数据Base 10(箭头S22)。

图像数据Base 9的第九行被立即输出到外部，并且，图像数据Base 10的第十行被暂时保持在输出缓冲器单元116中，然后在下一输出定时(第十行增量小波逆变换处理)被输出。

在第十一行增量小波逆变换处理开始时，在层次无关缓冲器单元120中累积在第九行增量小波逆变换处理中产生的划分层次2低频带子带的第四行系数2LL4和划分层次1低频带子带的第六行系数1LL6。因此，通过第十一行增量小波逆变换处理，在这些系数中，划分层次1低频带子带的第六行系数1LL6被处理，其为最低阶系数。也就是说，对第六行系数1LL6并逐行地对新输入的划分层次1高频带子带系数(1HL/LH/HH)执行合成滤波器处理(箭头S23)，产生用于基带的第十一行基带图像数据Base 11和第十二行基带图像数据Base 12(箭头S24)。

图像数据Base 11的第十一行被立即输出到外部，并且，图像数据Base 12的第十二行被暂时保持在输出缓冲器单元116中，然后在下一输出定时(第十二行增量小波逆变换处理)被输出。

在第十三行增量小波逆变换处理开始时，划分层次1低频带子带的第六行系数1LL6已被处理，因此在层次无关缓冲器单元120中累积划分层次4低频带子带的第四行系数2LL4。因此，通过第十三行增量小波逆变换处理时，划分层次2低频带子带的第四行系数2LL4被处理。也就是说，对第四行系数2LL4并逐行地对新输入的划分层次2高频带子带系数(2HL/LH/HH)执行合成滤波器处理(箭头S25)，产生用于划分层次1的低频带子带的第七行系数1LL7和第八行系数1LL8(箭头S26)。进而，对划分层次1第七行系数1LL7并逐行地对新输入的划分层次1高频带子带系数(1HL/LH/HH)执行合成滤波器处理(箭头S27)，产生用于基带的第十三行基带图像数据Base 13和第十四行基带图像数据Base 14(箭头S28)。

图像数据Base 13的第十三行被立即输出到外部，并且，图像数据Base 14的第十四行被暂时保持在输出缓冲器单元116中，然后在下一输出定时(第十四行增量小波逆变换处理)被输出。

在第十五行增量小波逆变换处理开始时，在层次无关缓冲器单元120中只累积在第十三行增量小波逆变换处理中产生的划分层次1低频带子带的第八行系数1LL8。因此，通过第十五行增量小波逆变换处理，划分层次1低频带子带的第八行系数1LL8被处理。即，对第八行系数1LL8并逐行地对新输入的划分层次1高频带子带系数(1HL/LH/HH)执行合成滤波器处理(箭头S29)，产生用于基带的第十五行基带图像数据Base 15和第十六行基带图像数据Base 16(箭头S30)。

图像数据Base 15的第十五行被立即输出到外部，并且，图像数据Base 16的第十六行被暂时保持在输出缓冲器单元116中，然后在下一输出定时(第十六行增量小波逆变换处理)被输出。

因此，重复行增量小波逆变换处理十六次会产生并输出一个子区的基带图像数据(16行)。对于下一子区重复与以上的处理相同的处理(箭头S31)。

因此，小波逆变换设备100重复执行行增量小波逆变换处理，从基带图像数据的顶部起一次产生两行，并且选择一行进行处理，使得一次输出一行，然后重复合成滤波器处理。因此，小波逆变换设备100可在每个预定的定时输出基带图像数据。

并且，小波逆变换设备100每次产生两行基带图像数据，并且，在其时间上，仅执行产生这两行所需要的合成滤波器处理。也就是说，在通过合成滤波器处理产生的两行系数中，小波逆变换设备100在输出缓冲器中保持一行，并且在层次无关缓冲器单元120中保持另一行，以优先对在层次无关缓冲器单元120中保持的一行再次执行合成滤波器处理，以产生两行系数。小波逆变换设备100重复该过程，直到产生两行基带图像数据。一旦产生基带图像数据并且处理了层次无关缓冲器单元120中保持的所有系数，小波逆变换设备100就读出在输出缓冲器单元116中保持的系数，并将它们保持在层次无关缓冲器单元120中，然后优先从较低阶划分层次的系数起执行合成滤波器处理。此时，小波逆变换设备100也如上面说明的那样重复合成滤波器处理。

因此，小波逆变换设备100不仅可从顶部起每次产生两行基带图像数据，而且可以减轻用于产生两行基带图像数据中的每一行的负荷，并且，进一步减少需要被保持的数据的数据量(诸如例如通过合成滤波器处理产生的系数数据、基带图像数据，等等)，由此可以减小缓冲器所需要的存储器容量。这也使得能够降低制造成本。

此外，在产生两行基带图像数据时，小波逆变换设备100仅执行产生两行所需要的合成滤波器处理，因此，可以缩短产生两行基带图像数据的间隔。也就是说，小波逆变换设备100可按更短的间隔输出各行基带图像数据。

小波逆变换设备100处理的图像数据是例如电视信号等。如上所述，小波逆变换设备100一次一行地输出基带图像数据，但是，将其间隔与电视信号的水平同步定时相匹配会使得小波逆变换设备100能够实时(即时地)产生电视信号。也就是说，在这种情况下，小波逆变换设备100可实时执行输入系数数据的小波逆变换处理，使得例如可以在没有缓冲的情况下在监视器上显示输出的图像数据。应当注意，这里使用的术语“实时”是指可以一次一行地输出基带图像数据，从而使其间隔与电视信号的水平同步定时相匹配，而不是指由于小波逆变换处理导致的延迟时间为零。

图25是示出10位采样的复用数据格式的示意图，该10位采样具有由SMPTE(运动图片和电视工程师协会)292M HD-SDI(高清晰度串行数字接口)信号(1.5Gbps)规定的1920×1080、YCbCr 4:2:2格式。使用该数据格式，被复用成Y(亮度)和Cb、Cr(色差)的1920个像素的基带数据位于SAV(有效视频开始)和EAV(有效视频结束)之间。代表水平消隐周期的行消隐位于EAV与下一SAV之间。

为了用这种数据格式实时产生基带图像数据，小波逆变换设备100需要在一个SAV与下一SAV之间产生基带图像数据。如上所述，在产生两行基带图像数据时，小波逆变换设备100仅执行产生两行所需要的合成滤波器处理，因此，可以按更短的间隔输出各行基带图像数据，并且，可以很容易地对于各个SAV一次一行地输出基带图像数据。

现在，在实际中，诸如小波变换处理和小波逆变换处理的上述处理被应用于例如图像数据传送系统和记录/播放系统，并且常常与诸如熵编码和熵解码等的其他处理一起使用。

以下说明小波逆变换设备100的应用示例。图26是示出使用应用了本发明的小波逆变换设备100的图像传输系统的配置的框图。

图26所示的图像传输系统300是用于对图25所示的数据格式的图像数据进行编码和传输的系统，它包括用作传输源的编码器件301和用作传输目的地的解码器件302。

编码器件301使从外部输入的图像数据经受小波变换并对数据进行编码，并将编码后的数据传输到解码器件302。编码器件301具有小波变换单元311、系数重新配置缓冲器单元313、系数重新配置单元314、量化单元315和熵编码单元316。

采用与参照图1～4说明的小波逆变换设备100中的小波逆变换处理对应的方法，在小波变换单元311中将从外部输入编码器件301的图像数据变换成小波系数，并将其存储在系数重新配置缓冲器单元313中。存储在系数重新配置缓冲器单元313中的系数数据以要执行小波逆变换处理的次序被系数重新配置单元314依次读出，在量化单元315中被量化，然后在熵编码单元316中被编码，以被转换成编码数据。在熵编码单元316中产生的编码数据被供给到解码器件302。

具有熵解码单元321、逆量化单元322、小波逆变换单元323的解码器件302对从编码器件301传输的编码数据进行解码，并执行小波逆变换处理，由此复原和输出基带图像数据。也就是说，从编码器件301供给的编码数据在熵解码单元321中被解码，在逆量化单元322中经受逆量化，在小波逆变换单元323中经受小波逆变换，以被变换成基带图像数据并从解码器件302中被输出。

小波逆变换单元323与上述的小波逆变换设备100相对应，具有基本上相同的配置，并执行相同的处理。因此，小波逆变换单元323可执行小波逆变换处理，以在与水平同步定时匹配的时间一次一行地输出图像数据。

熵解码单元321具有控制单元331、码输入单元341、解码单元342和系数输出单元343。供给到熵解码单元321的编码数据在码输入单元341上被接收，在解码单元342上被解码，以被变换成系数数据。所产生的系数数据通过系数输出单元343被输出到逆量化单元322。控制单元331对解码单元342上的输入/输出进行控制，即控制码输入单元341和系数输出单元343，由此控制由解码单元342执行的解码处理的执行定时。并且，控制单元331将表示图像数据的水平同步定时的时钟信号供给到逆量化单元322和小波逆变换单元323。

解码单元342、逆量化单元322和小波逆变换单元323在控制器件331的控制下执行各处理，对输入的编码数据进行解码、逆量化和小波逆变换，使得与水平同步定时相匹配地一次一行地输出图像数据。

将参照图27所示的流程图说明通过这种解码器件302执行的解码处理的流程示例。对于各个图片重复执行该解码处理。

在解码处理开始时，在步骤S201中，控制单元331将要处理的子区初始化，并且，在步骤S202中确定定时是否是与水平消隐定时(水平同步定时)对应的预定定时，并进行等待，直到预定的定时。

在步骤S202中确定定时是预定的定时的情况下，本流程进行到步骤S203。

在步骤S203中，确定在小波逆变换单元323的输出缓冲器单元中是否存在基带图像数据。在确定在输出缓冲器单元中存在基带图像数据的情况下，本流程进行到步骤S204。在步骤S204中，解码单元342通过由控制单元331控制的码输入单元341获得编码数据，并且使该编码数据经受熵解码，以将其变换成系数数据。解码单元342将所产生的系数数据供给到由控制单元331控制的逆量化单元322。在步骤S205中，逆量化单元322执行系数数据的逆量化，并且将经受逆量化的系数数据供给到小波逆变换单元323。

一旦步骤S205中的处理结束，本流程就进行到步骤S206。并且，在步骤S203中确定在输出缓冲器单元中存在基带图像数据的情况下，对输出缓冲器单元中的图像数据的处理赋予优先权，跳过步骤S204和S205中的处理，然后本流程进行到步骤S206。

在步骤S206中，根据从控制单元331供给的控制定时，小波逆变换单元323执行参照图17和图18中的流程图说明的行增量小波逆变换处理，以产生并输出两行基带图像数据。

在步骤S207中，控制单元331确定是否已处理了子区内的所有系数数据，然后，在确定存在未处理的数据的情况下，本流程返回步骤S202并重复随后的处理。另一方面，在步骤S207中确定已处理了子区内的所有系数数据的情况下，本流程进行到步骤S208。

在步骤S208中，控制单元331确定是否已处理了图片内的所有子区。在确定存在未处理的子区的情况下，本流程进行到步骤S209。在步骤S209中，控制单元331将要被处理的子区更新为下一子区，然后本流程返回步骤S202。在步骤S208中，在确定已处理了图片内的所有子区的情况下，控制单元331结束对于该图片的解码处理。

如上所述，解码器件302在预定的定时(即，与水平同步定时对应的定时)在控制单元331的控制下重复执行行增量小波逆变换处理。

因此，解码器件302可根据水平同步定时一次一行地进行输出。也就是说，解码器件302可实时地将编码数据解码并复原基带图像数据。

图28是示出在这种情况下输出基带图像数据的方式的示意图。如图28所示，每个水平同步定时(H-Sync)逐行地输出基带图像数据(基带图像数据-1和基带图像数据-2)。但应注意，如图28所示，每次产生两行基带图像数据(基带图像数据-1和基带图像数据-2)。也就是说，在这两个产生的行中，一行在产生时在水平同步定时被直接输出，如(A)所示；并且，另一行被写入输出缓冲器116，如(B)所示，然后在下一水平同步定时从输出缓冲器116被读出和输出，如(C)所示。

因此，如图28所示，需要在水平同步定时周期之间匹配熵解码处理(VLD)、逆量化(IQ)和小波逆变换处理(IDWT)。小波逆变换单元323(小波逆变换设备100)以上述次序执行同步滤波器处理，由此使得能够在基带图像数据的产生之间存在间隔，因此，可以很容易地实现按如图28所示的定时的实时解码处理。

虽然上面说明了图像数据传输系统，但应用了本发明的小波逆变换设备100也可被应用于其他系统。但是，可以说，延迟时间增加的缺点越大，即，系统需要减少的延迟时间越多，则本发明的应用的优点就越大。

上面说明了小波逆变换设备100，其使得在没有累积的基带图像数据时在输出缓冲器单元116中保持通过合成滤波器处理产生的系数数据中的一部分。因此，可以在不立即增加存储在输出缓冲器单元116中的数据量的情况下立即减少存储在层次无关缓冲器单元120中的数据量。也就是说，通过提高用于对系数数据和图像数据进行缓冲的高速缓存存储器的使用效率，小波逆变换设备100可减少作为用于保持小波逆变换中的数据的缓冲存储器所需要的存储器容量。并且，利用小波逆变换设备100，还可以抑制系数数据和图像数据从高速缓存存储器的溢出(不希望地将系数数据和图像数据备份在外部存储器中的情况)，因此，可以很容易地在不增加制造成本的情况下执行更快的小波逆变换处理。

也就是说，为了获得这些优点，所有必需的是将输出缓冲器单元116设置于小波逆变换设备100，使得在没有累积的基带图像数据时在输出缓冲器单元116中保持通过合成滤波器处理产生的系数数据中的一部分；配置和过程等的所有其他应用均是可选的。例如，可作出可对各个划分层次从最高层次到最低层次执行合成滤波器处理的布置。但是，执行合成滤波器处理以便每次产生两行基带图像数据的布置可以更多地减少要被保持的数据量。

并且，虽然上面针对按子区的增量执行小波变换、编码、解码和小波逆变换的布置进行了说明，但是，不用说，可以按整个图片的增量执行小波变换、编码、解码和小波逆变换。但是，可以说，按子区的增量执行它们使得可以缩短小波逆变换的延迟时间，并且，可以减少用于保持系数所必需的缓冲存储器的量。同样，应用上述的其他的配置和处理，诸如如图14例示的那样配置输出缓冲器单元116，会使得可以获得针对各配置和处理所描述的优点。

并且，上面针对这样一种布置进行了说明，即，在通过合成滤波器处理获得的两行系数数据中，小波逆变换设备100从最高阶层次到最低阶层次重复合成滤波器处理，其中，一行被保持，并且，针对另一行进一步执行合成滤波器处理，进而按照从较低阶层次系数数据起的优先级使得所保持的系数数据经受合成滤波器处理，从而每次产生两行基带图像数据。

这使得可以获得各种优点，诸如减少要被保持的系数数据的数据量、以很小的延迟高速执行小波逆变换、以较短的间隔一次一行地输出基带图像数据、抑制成本的增加，等等。

也就是说，为了获得这些优点，所有必需的是小波逆变换设备100从最高阶层次到最低阶层次重复合成滤波器处理，其中，保持通过合成滤波器处理获得的两行系数数据中的一行，然后针对另一行进一步执行合成滤波器处理，进而，按照从较低阶层次系数数据起的优先级使得所保持的系数数据经受合成滤波器处理，从而每次产生两行基带图像数据；配置和过程等的所有其他应用均是可选的。

例如，可作出不在输出缓冲器单元116中保持系数数据的布置。但是，在输出缓冲器单元116中保持系数数据会使得能够增加高速缓存存储器的存储量，并且，可以抑制系数数据和图像数据从高速缓存存储器的溢出，由此在不增加制造成本的情况下以很小的延迟高速执行小波逆变换。同样，应用上述的其他配置和处理，诸如如图14例示的那样配置输出缓冲器单元116，会使得可以获得针对各配置和处理所描述的优点。

可以通过硬件或通过软件实现上述系列处理。在这种情况下，可以作出诸如图29所示的个人计算机的配置。

在图29中，CPU(中央处理器)401遵循存储在ROM(只读存储器)402中或从存储单元413加载到RAM(随机存取存储器)403中的程序来执行各种类型的处理。RAM 403还根据需要存储CPU 401执行各种类型的处理所必需的任何数据。CPU 401、ROM 402、RAM403通过总线404相互连接。总线404还与输入/输出接口410连接。

与输入/输出接口410连接的是由键盘、鼠标等构成的输入单元411、由诸如CRT(阴极射线管)或LCD(液晶显示器)等的显示器和扬声器等构成的输出单元412、由硬盘等构成的存储单元413和由调制解调器等构成的通信单元414。通信单元414通过以因特网为代表的网络执行通信处理。

驱动器415根据需要与输入/输出接口410连接，使得适当地安装诸如磁盘、光盘、磁光盘、半导体存储器等的可移动介质421，根据需要将从中读出的计算机程序安装在存储单元413中。

在通过软件执行上述系列处理的情况下，从网络或记录介质安装构成软件的程序。

如图29所示，记录介质可以例如由可移动介质421构成，如磁盘(包含软盘)、光盘(包含CD-ROM(光盘只读存储器)和DVD(数字多媒体盘))、磁光盘(包含MD(Mini-Disk(注册商标)))或半导体存储器等的，该可移动介质421与设备主单元分开地被发布，以向用户发布程序，但是记录介质并不限于这种可移动介质421，而是可由记录有程序的ROM 402或存储单元413来构成，该ROM 402或存储单元413被内置于设备主单元内，以按该状态向用户发布程序。

注意，对于本说明书，说明在记录介质中记录的程序的步骤当然可以包括以遵循所述次序的时间顺序执行的处理，但并不限于按照时间顺序的处理，而是可以包括并行或单独地执行的处理。并且，在本说明书中，术语“系统”指的是由多个设备构成的整个装备。并且，可以对以上的说明中被描述为单个设备的配置进行划分，以由多个设备来构成该单个设备，或者，相反，被描述为多个设备的配置可被集成，以被配置为单个设备。当然，可以向设备的配置添加除上面说明的配置以外的其他配置。此外，只要整个系统的配置和操作基本上是相同的，那么可以在一个设备的配置中包含另一设备的配置的一部分。

本领域技术人员应当理解，只要在所附的权利要求或其等同物的范围内，那么可根据设计要求和其他因素提出各种修改、组合、子组合和变更方式。

Claims (10)

1.一种信息处理设备，包括：

合成滤波器处理装置，被配置为使得图像数据经受用于分级地将所述图像数据的频率分量划分成高频带分量和低频带分量的分解滤波处理，并使得被划分成多个频带分量的所述图像数据的频率分量经受用于合成相互处于同一划分层次的频带的频率分量的合成滤波处理；

频率分量保持装置，被配置为保持通过由所述合成滤波器处理装置执行的所述合成滤波处理而产生的低一阶的划分层次的频率分量；和

控制装置，被配置为使得所述合成滤波器处理装置一次多行地以从所述图像的顶部起依次复原所述图像数据的次序，对在所述频率分量保持装置中保持的各频率分量递归地执行所述合成滤波处理。

2.根据权利要求1所述的信息处理设备，其中，所述控制装置使得所述合成滤波器处理装置一次两行地以从所述图像的顶部起依次复原所述图像数据的次序，对在所述频率分量保持装置中保持的各频率分量递归地执行所述合成滤波处理。

3.根据权利要求1所述的信息处理设备，其中，所述频率分量保持装置以对于所述频率分量的各划分层次来说相互独立的方式保持所述频率分量。

4.根据权利要求1所述的信息处理设备，其中，所述控制装置使得所述合成滤波器处理装置对于在所述频率分量保持装置中保持的频率分量中的较低层次的频率分量优先执行所述合成滤波处理。

5.根据权利要求1所述的信息处理设备，其中，所述合成滤波器处理装置对相互处于相同的划分层次的频带的频率分量逐行地进行合成，以产生多行处于低一阶的划分层次的频率分量；

并且，其中所述控制装置使得所述频率分量保持装置一次一行地保持由所述滤波器处理装置产生的所述多行。

6.根据权利要求5所述的信息处理设备，其中，所述合成滤波器处理装置对相互处于相同的划分层次的频带的频率分量逐行地进行合成，以产生两行处于低一阶的划分层次的频率分量；

并且，其中所述控制装置使得所述频率分量保持装置一次一行地保持由所述滤波器处理装置产生的所述两行。

7.根据权利要求6所述的信息处理设备，还包括：

图像数据保持装置，被配置为保持通过递归执行所述合成滤波处理而复原的所述图像数据；

其中，所述控制装置使得所述频率分量保持装置保持由所述合成滤波器处理装置产生的所述两行中的一行，并使得所述频率分量保持装置在另一行已被所述图像数据保持装置暂时保持之后保持所述另一行，使得在所述频率分量保持装置中一次保持一行。

8.根据权利要求7所述的信息处理设备，其中，所述控制装置将复原的图像数据的所述两行中的一行输出到外部，并在所述图像数据保持装置中保持另一行，直到下一输出定时。

9.根据权利要求8所述的信息处理设备，其中，在所述图像数据不被保持的时段期间，所述控制装置在所述图像数据保持装置中保持由所述合成滤波器处理装置产生的频率分量的所述另一行，进而在保持由所述合成滤波器处理装置产生的所述图像数据的所述另一行的定时，读出此时保持的所述频率分量并将其移动到所述频率分量保持装置。

10.一种信息处理方法，包括以下步骤：

合成滤波器处理，用于使得图像数据经受用于分级地将所述图像数据的频率分量划分成高频带分量和低频带分量的分解滤波处理，并使得被划分成多个频带分量的所述图像数据的频率分量经受用于合成相互处于同一划分层次的频带的频率分量的合成滤波处理；

频率分量保持，用于保持在所述合成滤波处理中产生的低一阶的划分层次的频率分量；和

一次多行地以从所述图像的顶部起依次复原所述图像数据的次序对保持的各频率分量递归地执行所述合成滤波处理。

Images