CN101166275A - 信息处理设备、方法和程序 - Google Patents

Abstract

本发明涉及信息处理设备、方法和程序，其中具体公开了一种被配置成处理运动图像数据的信息处理设备，包括多个计算单元，其被配置成通过对两条帧数据进行加法和减法，来变换帧速率；和控制单元，其被配置成控制所述多个计算单元，使运动图像数据的每条帧数据进行对把运动图像数据的帧速率变换成所希望的速率来说必需次数的所述加法和所述减法中的至少之一。

Description

信息处理设备、方法和程序

技术领域

本发明涉及信息处理设备、方法和程序，并且尤其涉及能够容易地可变重放具有高帧速率的运动图像的信息处理设备、方法和程序。

背景技术

现有的典型图像压缩系统包括已由ISO(国际标准组织)标准化的MPEG(运动图像专家组)系统，JPEG(联合图像专家组)系统等等。

在MPEG系统中，称为MPEG-2的系统已被用于在日本公众已习惯的BS(广播卫星)数字广播中压缩HDTV(高清晰度电视)隔行扫描运动图像。另外，将被记录在DVD(数字通用光盘)介质中并销售的内容也由该MPEG-2系统压缩和编码。

TV(电视)信号由每秒30帧(60场)的图像构成，但是已指出对于这种水平的图像数目来说，高速运动图像的再现性较差。于是，近年来，对于帧速率为其数倍的运动图像，例如具有120帧/秒-240帧/秒的高帧速率的运动图像的处理的需要一直在增大。

但是，把帧速率增大几倍会成比例地增大数据速率，从而难以即时(实时地)无延迟地进行编码处理，特别地，由于诸如成本之类的问题，可能无法实现借助利用帧间压缩的MPEG系统，能够进行实时编码的硬件。

为了避免这种问题，公开了一种方法，其中排列帧内编码系统的多个编解码器，并借助分时进行压缩编码(例如，未经审查的日本专利申请公开No.2004-104694)。

就未经审查的日本专利申请公开No.2004-104694来说，为了高效地编码运动图像，例如525/60p(水平分辨率为525行，帧速率为60帧/秒的逐行扫描图像)，1080/60p(水平分辨率为1080行，帧速率为60帧/秒的逐行扫描图像)等等，公开了一种技术，其中每两帧提取帧间图像信号的和信号和差信号，对每个所提取的信号进行编码，从而控制和信号的编码比特率与差信号的编码比特率之间的比值。

发明内容

但是，对于在未经审查的日本专利申请公开No.2004-104694中公开的技术，基本上没有考虑高于普通帧速率(例如60帧/秒)的帧速率的应用，从而如同利用一个编码器进行编码的情况一样，内容的帧速率越高，实时编码可能变得困难的可能性就越大。

另外，即使在解码和播放具有高帧速率的压缩和编码内容的情况下，所能做的只是恢复压缩之前的帧速率，在进行重放速率或重放速度的控制的情况下，必须再次进行这些控制处理，这不便于容易地进行所述处理。

希望使具有高帧速率的运动图像数据能够容易地进行变速重放。

根据本发明的一个实施例的信息处理设备是一种被配置成处理运动图像数据的信息处理设备，包括多个计算单元，所述多个计算单元被配置成通过对两条帧数据进行加法和减法，来变换帧速率，和控制单元，所述控制单元被配置成控制多个计算单元，使运动图像数据的每条帧数据进行对把运动图像数据的帧速率变换成所希望的速率来说必需次数的加法和减法中的至少之一。

所述多个计算单元可被相互串联连接，第二级和之后的计算单元被配置成向或从前一级的计算单元的计算结果加入或减去。控制单元可控制串联连接的多个计算单元中，从第一级的计算单元到获得所希望帧速率的运动图像数据的那一级的计算单元执行加法和减法中的至少之一。

在串联连接的多个计算单元中，第一级的计算单元可被配置成对由于加法和减法而使帧速率被降低的运动图像数据进行加法和减法运算中的至少之一。每个计算单元可执行加法和减法中的至少之一，从而帧速率可被变换成两倍。

计算单元可并行地多次进行加法和减法中的至少之一，从而能够同时产生多个计算结果。

按照本发明的一个实施例的信息处理设备还包括：解码单元，所述解码单元被配置成对码流解码，所述码流是编码的运动图像数据。所述多个计算单元可对通过由控制单元控制，并由解码单元解码而获得的运动图像数据的每个帧数据进行加法和减法中的至少之一。

解码单元可以与通过多个计算单元的计算而获得的运动图像数据的帧速率对应的速度对码流解码。

解码单元可包括熵解码单元，所述熵解码单元被配置成根据码流产生量化系数，逆量化单元，所述逆量化单元被配置成变换量化系数，以产生预定的滤波因子，和逆滤波单元，所述逆滤波单元被配置成对滤波因子进行逆滤波，以产生解码图像。

熵解码单元可按照例如从最高有效位位置到低位方向产生量化系数的顺序，相互独立地解码相加图像的码流和相减图像的码流中的每一个。

熵解码单元可集成相加图像的码流和相减图像的码流，并按照例如从最高有效位位置到低位方向产生量化系数的顺序，对整个集成的码流解码。

熵解码单元可按照从最低级的子带到最高级的子带的顺序，对码流解码，以便产生相同位位置的量化系数。

熵解码单元可按照从亮度分量到色差分量的顺序对码流解码，以便产生相同位位置的量化系数。

按照本发明的一个实施例的信息处理方法是一种用于处理运动图像数据的信息处理方法，包括下述步骤：利用多次计算，通过对两条帧数据进行加法和减法，变换帧速率；和控制所述多次变换，使运动图像数据的每条帧数据经历对把运动图像数据的帧速率变换成所希望的速率来说必需次数的加法和减法中的至少之一。

按照本发明的一个实施例，信息可被处理。特别地，能够容易地对具有高帧速率的运动图像进行变速重放。

附图说明

图1是图解说明应用本发明的实施例的图像处理系统的结构例子的方框图；

图2是图解说明图1中的记录速率控制单元的详细结构例子的方框图；

图3是图解说明图1中的编码单元的详细结构例子的方框图；

图4是图解说明图3中的第一帧内编码单元的详细结构例子的方框图；

图5是图解说明子带的结构例子的示意图；

图6是图解说明能量分布的例子的示意图；

图7是说明编码顺序的例子的示图；

图8是说明编码顺序的另一例子的示图；

图9是图解说明图1中的解码单元的详细结构例子的方框图；

图10是图解说明图9中的第一帧内解码单元的详细结构例子的方框图；

图11是图解说明图1中的重放速率控制单元的详细结构例子的方框图；

图12是说明控制重放速率的情况的例子的示意图；

图13是说明按照重放速率的解码方法的例子的示图；

图14是说明按照重放速率的解码方法的另一例子的示图；

图15是说明按照重放速率的解码方法的又一例子的示图；

图16是说明编码处理的流程的例子的流程图；

图17是说明解码处理的流程的例子的流程图；

图18是图解说明编码单元的另一结构例子的方框图；

图19是图解说明第一帧内编码单元的另一结构例子的方框图；

图20是说明位平面的概念的示图；

图21是说明编码顺序的一个例子的示意图；

图22是说明编码顺序的另一例子的示意图；

图23是说明编码顺序的又一例子的示意图；

图24是说明编码顺序的又一例子的示意图；

图25是图解说明解码单元的另一结构例子的方框图；

图26是图解说明图像处理系统的另一结构例子的方框图；以及

图27是图解说明应用本发明的实施例的个人计算机的结构例子的方框图。

具体实施方式

下面说明本发明的实施例。

图1是图解说明应用本发明的这样一个系统，实施例的图像处理系统的结构例子的方框图。在图1中，图像处理系统1是其中即时(实时地)压缩和编码运动图像数据而不存在极大延迟，并记录所述运动图像数据，以及根据需要即时(实时地)读出其运动图像数据而不存在极大延迟，并播放读出的运动图像数据。图像处理系统1包括编码设备11、记录单元12和解码设备13。

编码设备11是对实时输入的运动图像数据进行实时压缩和编码的设备。即，编码设备11包括快于运动图像数据的输入速度(即，作为数据的帧速率)的压缩编码处理能力，以本质上快于运动图像数据的输入速度的处理速度压缩和编码运动图像数据，并把码流输出给记录单元12。

现在，在表示作为数据的大小和密度的情况下的数据量将被称为“速率”，在表示诸如处理之类的速度的情况下的数据量将被称为“速度”。例如，表示作为运动图像数据的重放运动图像由每秒多少帧构成的值将被称为帧速率，每一秒重放时间的运动图像数据的数据量(比特)将被称为比特率。另一方面，例如，在运动图像数据中，一秒钟将输入的帧数被称为输入速度，一秒钟将压缩和编码的帧数将被称为压缩编码速度。另外，在比特流中，一秒钟将输出的帧数(当转换成对应的运动图像数据时的帧数)将被称为输出速度。

顺便提及，在图1的编码设备11的情况下，输入速度等于待输入的运动图像数据的帧速率，输出速度等于压缩编码速度。

另外，“极大延迟”意味着由于压缩编码速度(即，输出速度)慢于运动图像数据的输入速度而引起的延迟。例如，当从开始输入运动图像数据到结束输入运动图像数据的时间为10秒的时候，在从开始输出码流到结束输出码流的时间为15秒的情况下，输入和输出之间的时间差5秒将被称为“极大延迟”。

另一方面，较短的时间，例如压缩编码的处理执行时间或者归因于其处理方案而产生的较短时间，比如从开始输入运动图像数据到开始输出码流的较短时间并不包括在“极大延迟”中。即，对于所有实际应用，我们将认为在当输入运动图像数据的时候进行编码，而不产生溢流、数据遗失等，并且能够输出码流的情况下的微小的时间延迟并不包含在“极大延迟”中。

编码设备11包括记录速率控制单元21和编码单元22，当在记录单元12把运动图像数据记录到记录介质中时，记录速率控制单元21被配置为控制(即，压缩输入的运动图像数据)运动图像数据的速率(记录速率)，编码单元22被配置为压缩和编码运动图像数据。

更具体地说，记录速率控制单元21对运动图像数据进行帧间相加和相减，编码单元22包括多个帧内编码器，并行地对同时获得的多个计算结果中的每一个进行帧内编码。

从而，记录速率控制单元21能够容易并且充分获得在播放运动图像数据时的帧速率(重放速率)的灵活性，还能够降低记录速率，通过利用具有能够实时地编码普通帧速率的处理速度的廉价帧内编码器，编码单元22能够实时地编码帧速率大于普通帧速率(高帧速率)的运动图像数据。

因此，编码设备11能够对具有高帧速率的运动图像数据进行压缩编码，而不会增大缓冲存储器的容量和成本(廉价并且容易)，以便当重放时容易并且充分获得重放速率的灵活性，而不会导致诸如溢流、帧遗失、极大延迟等问题(实时地)。

记录单元12以足够的速度(比编码设备11的输出速度快的写入速度)，把从编码设备11提供的码流写入(记录)到置于其中的预定记录介质(未示出)中。另外，根据需要，记录单元12以足够的速度读出记录在其记录介质中的码流，并把所读出的码流提供给解码设备13。即，记录单元12以足以即时(实时地)解码和解压缩码流，而不存在重放速度的极大延迟的读出速度读出码流，并把所读出的码流提供给解码设备13。

解码设备13包括解码单元23和重放速率控制单元24，解码单元23被配置成利用和编码单元23对应的方法，即时(实时地)解码和解压缩从记录单元12提供的码流，而不存在重放速度的极大延迟，重放速率控制单元24被配置成控制当重放运动图像数据时的帧速率。

更具体地说，包括多个帧内解码器的解码单元23被配置成对在编码单元22并行编码得到的码流的多个帧内编码结果中的每一个进行帧内解码。重放速率控制单元24对在解码单元23经历帧内解码的数据进行解压缩，并以预定的重放速率输出解压缩的数据。

从而，通过利用具有能够实时地解码普通帧速率的处理速度的廉价帧内解码器，解码单元23能够实时解码具有高帧速率的运动图像数据，并且重放速率控制单元24能够容易地控制重放速率。

因此，解码设备13能够对其中压缩和编码了具有高帧速率的运动图像数据的码流进行解码，而不会增大缓冲存储器的容量和成本(廉价和容易)，不会导致诸如溢流、帧遗失、极大延迟等问题(实时地)，进一步能够控制具有高帧速率的运动图像数据的重放速率。

下面说明图1中所示的每个单元的细节。注意在下面，将在假定作为基准的帧速率为60p(每秒60帧的逐行扫描方法)，高帧速率为所述基准值的四倍的240p(每秒240帧的逐行扫描方法)的情况下进行说明。

图2是图解说明图1中的记录速率控制单元21的详细结构例子的方框图。在图2中，记录速率控制单元21包括分发单元51、存储器52-1～存储器52-4，第一计算单元53和第二计算单元54。

分发单元51由开关电路构成，所述开关电路包括一个输入侧端子60和四个输出侧端子(输出侧端子61-输出侧端子64)。通过切换所述开关，分发单元51顺序地把提供给输入侧端子60的具有高帧速率的运动图像数据101的每帧数据(帧数据)分发给输出侧端子61-输出侧端子64中的每一个。例如，分发单元51首先连接输入侧端子60和输出侧端子61，以把运动图像数据101的第一帧数据提供给输出侧端子61，并使输出侧端子61输出所述第一帧数据作为帧数据111。随后，分发单元51切换所述开关，以连接输入侧端子60和输出侧端子62，把运动图像数据101的下一帧数据提供给输出侧端子62，并使输出侧端子62输出所述下一帧数据作为帧数据112。类似地，分发单元51切换所述开关，连接输入侧端子60和输出侧端子63，并使输出侧端子63输出运动图像数据101的下一帧数据作为帧数据113，并进一步切换开关，以连接输入侧端子60和输出侧端子64，并使输出侧端子64输出运动图像数据101的下一帧数据作为帧数据114。分发单元51如上所示重复所述开关的切换，使输出侧端子61-输出侧端子64中的任意一个顺序地输出每帧数据。

注意这种开关的切换(输出侧端子的连接顺序)是任意的，不过下面为了简化说明，将说明其中按照输出侧端子61、输出侧端子62、输出侧端子63、输出侧端子64、输出侧端子61、输出侧端子62等等的顺序反复切换输入侧端子60的连接目的地的情况。即，在时间上，帧数据按照帧数据111、帧数据112、帧数据113和帧数据114的顺序变旧(帧数据111最旧，帧数据114最新)。

从分发单元51的输出侧端子61输出的帧数据111被提供给存储器52-1，并被临时保存。类似地，从输出侧端子62输出的帧数据112被提供给存储器52-2，从输出侧端子63输出的帧数据113被提供给存储器52-3，从输出侧端子64输出的帧数据114被提供给存储器52-4，并被临时保存在每个存储器中。

存储器52-1～存储器52-4中的每一个均为临时保存帧数据的缓冲存储器。当在所有存储器中都累积了帧数据时，所保存的每个帧数据被同时输出(帧数据121-帧数据124)。即，借助存储器52-1～存储器52-4，在分发单元51分发的一组帧数据(就图2来说，4条帧数据)的第一计算单元53的提供定时被配置成相互匹配。现在，在不需要区分存储器52-1～存储器52-4中的每一个的情况下，该组存储器将被称为存储器52。

其定时受控的帧数据121-124中的每一条被提供给第一计算单元53。现在，勿庸置疑，这些帧数据121-124都是还未经历如后所述的两条帧数据之间的加法和减法的帧数据(原始帧数据)。

第一计算单元53包括将两个原始帧数据相加的加法器71和加法器73，和将两个原始帧数据相减的减法器72和减法器74，并产生第一级的相加图像和第一级的相减图像。加法器71将帧数据121-帧数据124中时间最早的帧数据121和次早的帧数据122相加(将帧内相同位置的像素值相加)，并输出其相加结果作为第一级的相加图像131。减法器72从帧数据121-帧数据124中，时间上最早的帧数据121中减去次早的帧数据122(将帧内相同位置的像素值相减)，并输出其相减结果作为第一级的相减图像132。加法器73将帧数据121-帧数据124中时间上第三早的帧数据123和最新的帧数据124相加，并输出其相加结果作为第一级的相加图像133。减法器74从帧数据121-帧数据124中，时间上第三早的帧数据123中减去最新的帧数据124，并输出其相减结果作为第一级的相减图像134。

即，如果我们假定帧数据121作为帧(1)，帧数据122作为帧(2)，帧数据123作为帧(3)，帧数据124作为帧(4)，第一级的相加图像131作为加法(1)，第一级的相减图像132作为减法(1)，第一级的相加图像133作为加法(2)，第一级的相减图像134作为减法(2)，那么可用下面的表达式(1)-表达式(4)表示第一计算单元53的输入/输出关系。

加法(1)＝帧(1)+帧(2)    (1)

减法(1)＝帧(1)-帧(2)    (2)

加法(2)＝帧(3)+帧(4)    (3)

减法(2)＝帧(3)-帧(4)    (4)

例如，如同上面提及的表达式(1)和表达式(3)，两帧被相加，并将每个相加得到的像素值除以2，从而计算这两帧的平均值(改变的中间值)。即，第一级的相加图像131和第一级的相加图像133由帧数据的低频分量构成。从而，相加图像由两个帧数据的总值构成，因此其速率不变。

另外，如同上面提及的表达式(2)和表达式(4)，将两帧相减，从而计算这两帧之间的差(变化速率)。即，第一级的相减图像132和第一级的相减图像134由帧数据的高频分量构成。例如，在连续的帧(1)的图像和帧(2)的图像相同的情况下，它们的差值变成零，从而，减法(1)的像素值(高频分量)变成零。

对于相同的运动图像，帧速率越高，帧之间的差异就越小。即，一般来说，与普通帧速率的情况相比，在高帧速率的情况下，相减图像的数据量降低，从而帧速率越高，可以期望编码效率的提高就越大。

如上所述进行计算，并且从第一计算单元53输出的第一级的相加图像131，第一级的相减图像132，第一级的相加图像133和第一级的相减图像134都被提供给第二计算单元54。

第二计算单元54包括加法器81、减法器82、加法器83和减法器84，并将第一级的相加图像或相减图像相加或相减，从而产生第二级的相加图像或相减图像。加法器81把第一级的相加图像131和第一级的相加图像133相加(将帧内相同位置的像素值相加)，并输出其相加结果作为第二级的相加图像141。减法器82从第一级的相加图像131中减去第一级的相加图像133(将帧内相同位置的像素值相减)，并输出其相减结果作为第二级的相减图像142。加法器83把第一级的相减图像132和第一级的相减图像134相加，并输出其相加结果作为第二级的相加图像143。减法器84从第一级的相减图像132中减去第一级的相减图像134，并输出其相减结果作为第二级的相减图像144。

即，如果我们假定第二级的相加图像141作为加法(3)，第二级的相减图像142作为减法(3)，第二级的相加图像143作为加法(4)，第二级的相减图像144作为减法(4)，那么可用下面的表达式(5)-表达式(8)表示第二计算单元54的输入/输出关系。

加法(3)＝加法(1)+加法(2)

    ＝{帧(1)+帧(2)}+{帧(3)+帧(4)}    (5)

减法(3)＝加法(1)-加法(2)

    ＝{帧(1)+帧(2)}-{帧(3)+帧(4)}    (6)

加法(4)＝减法(1)+减法(2)

    ＝{帧(1)-帧(2)}+{帧(3)-帧(4)}    (7)

减法(4)＝减法(1)-减法(2)

    ＝{帧(1)-帧(2)}-{帧(3)-帧(4)}    (8)

从而，在第一计算单元53进行了相邻两帧之间的加法和减法的时候，第二计算单元54进行相邻四帧之间的加法和减法，从而能够获得与和第一计算单元53的情况相比，更长的时间范围(宽度)的相关性。

因此，帧数据经历多次加法和减法，从而记录速率控制单元21能够进一步提高编码效率。在图2中，说明了在第一计算单元53和第二计算单元54中的每一个均进行一次(即，总共两次)加法和减法计算的情况，但是，加法和减法的次数(步骤数目)可以是任意次数，只要所述次数大于1次即可，例如，可以是3次或更多次。另外，虽然关于图2中的四帧的情况进行了说明，但是将同时进行加法和减法的帧数也可以是任意帧数。但是，帧的加法和减法的结构需要在编码单元22、解码单元23和重放速率控制单元24处理(必须具有预先设置的，或者通过相互共享信息来处理的可变结构)。

为了降低记录速率，对于记录速率控制单元21来说，希望仅仅反复地单独进行减法计算，但是为了便于重放时的重放速率控制，对于记录速率控制单元21来说，希望不仅进行减法计算，而且进行加法计算，以便获得便于重放速率控制时的计算的计算结果。记录速率控制单元21的这种处理仅仅由帧数据的简单加法和减法构成，从而基本上能够容易地进行，而不会增大负荷，但是运算次数增加越多，负荷和处理时间增加越多，因此希望根据编码效率和重放速率的灵活性之间的折衷等，来确定如何进行加法和减法。

注意如上所述，相加图像和相减图像是使两条帧数据进行相加和相减的结果。即，通过使两条帧数据进行相加和相减，读取速率控制单元21能够把运动图像数据的帧速率变换成任意速率。

将如上所述计算的并从第二计算单元54输出的第二级的相加图像141、第二级的相减图像142、第二级的相加图像143和第二级的相减图像144提供给编码单元22。

下面将关于图1中的编码单元22进行说明。图3是图解说明图1中的编码单元22的详细结构例子的方框图。在图3中，编码单元22包括配置为对所输入的图像数据进行帧内编码的帧内编码单元151，配置为合成编码码流的码流合成单元152，和配置为控制帧内编码处理时的编码比特率的速率控制单元153。

帧内编码单元151包括第一帧内编码单元161-第四帧内编码单元164，每个帧内编码单元具有60p的编码能力。第一帧内编码单元161-第四帧内编码单元164相互同时地工作(并行地)，分别对所提供的第二级的相加图像141，第二级的相减图像142，第二级的相加图像143和第二级的相减图像144编码，并把码流提供给码流合成单元152。第一帧内编码单元161-第四帧内编码单元164相互由相同的编码器构成，可利用相同的方法相互进行编码，或者可通过充分利用第一帧内编码单元161-第四帧内编码单元164中的每一个分别处理的每个图像(第二级的相加图像141，第二级的相减图像142，第二级的相加图像143和第二级的相减图像144)的特征，利用不同的方法相互进行编码。

码流合成单元152按照预定的顺序集成同时从第一帧内编码单元161-第四帧内编码单元164输出的每个码流(例如，第一帧内编码单元161的输出，第二帧内编码单元162的输出，第三帧内编码单元163的输出和第四帧内编码单元164的输出)，并将其输出作为一个码流。

速率控制单元153控制第一帧内编码单元161-第四帧内编码单元164中的每一个执行编码比特率的确定，量化控制等等。例如就从记录速率控制单元21提供的数据来说，主要地，由图像的低频分量构成的相加图像包括值都不为零的多个像素分量，由图像的高频分量构成的相减图像包括值都为零的多个像素分量。因此，就总的编码效率的提高而论，希望向包括多个相加图像的数据分配更多的代码位，相反地，向包括多个相减图像的数据分配很少的代码位。

如上所述，编码单元22包括具有60p的编码能力的四个帧内编码器(第一帧内编码单元161-第四帧内编码单元164)，并且并行地操作这些帧内编码器，从而可将具有等于60p帧速率的四倍的240p的高帧速率的运动图像数据(实际上，四帧的加/减结果)进行编码。注意编码单元22的帧内编码器的数目可以是任意数，只要它对应于记录速率控制单元21的输出的数目即可。另外，用待处理的图像数据的帧速率、帧内编码器的数目等确定其帧内编码器所必需的处理能力。

下面说明关于图3中的帧内编码器(第一帧内编码单元161-第四帧内编码单元)的结构例子。图4是图解说明第一帧内编码单元161的详细结构例子的方框图。在图4中，第一帧内编码单元161包括小波变换单元201，量化单元202，熵编码单元203，码率加法单元204和控制单元205。

小波变换单元201对输入数据(第二级的相加图像141)进行小波变换(滤波)，以产生充当预定滤波因子的小波变换系数，并将其输出给量化单元202。小波变换单元201通常用由一个低通滤波器和一个高通滤波器构成的滤波器组实现。注意数字滤波器通常具有多个抽头长度的脉冲响应(滤波因子)，从而只需要预先缓存可被滤波的输入图像或系数。类似地，在同样分多步进行小波变换的情况下，只需要缓存在前级产生的可被滤波的小波变换系数。

通常反复进行该小波变换，以便进一步变换通过变换获得的低频分量(子带)。图5图解说明在重复小波变换三次(分级3)的情况下获得的子带的结构例子。在图5中，L表示低频分量，H表示高频分量。例如，3LH表示其水平方向为低频，垂直方向为高频的子带。通过第一小波变换获得3HH、3LH、3HL和3LL子带(未示出)，通过第二小波变换获得2HH、2LH、2LH和2LL子带(未示出)，通过第三小波变换获得1HH、1LH、1HL和1LL子带。

对于小波变换来说，低频分量被重复变换的原因在于图像的多数能量集中在低频分量中。图6A和6B中表示了经过小波变换的图像的情况的例子。图6A图解说明利用分级1的小波变换获得的各个子带的例子，图6B图解说明利用分级3的小波变换获得的各个子带的例子。在图6A或图6B中，可发现对于低频分量来说，频率分量越低，图像就越接近于原始图像，频率分量越高，图像就越浅，并且具有很少的能量。

量化单元202利用用于例如JPEG2000的标量量化等，量化从小波变换单元201输出的小波变换系数，并输出量化的系数。在标量量化的情况下，如果我们假定待计算的量化系数值为q，如下面的表达式(9)中所示，通过把小波变换系数W除以量化步长Δ，可获得量化系数值q。

q＝W/Δ    (9)

量化单元202把这样计算的量化系数提供给熵编码单元203。熵编码单元203是例如用于MPEG和JPEG的单元，它利用Huffman编码压缩和编码所提供的量化系数，并把编码结果作为码流输出，在Huffman编码中，通过参考预先按照出现频率，或者用于H.264或JPEG2000的算术编码等创建的Huffman编码表，产生代码。

如上所述，在小波变换单元201通过小波变换形成多个子带，但是如同参考图6所述，从图像特性的角度来看，能量主要集中在最低的频率，诸如图像的轮廓之类的分量主要存在于高频中。因此，在熵编码单元203进行熵编码时，例如，如图7中的用箭头所示，按照从最低频率子带到最高频率子带的顺序进行编码，并且更多的码率被分配给低频分量而不是高频分量，从而可以预期提高主观图像质量。

对于这种编码顺序的控制方法，可以采用任意的方法，例如可做出其中小波变换单元201按照图7中的箭头的顺序输出小波系数，量化单元202和熵编码单元203中的每一个按照顺序处理所提供的数据的设置。

另外，实际的运动图像是比如通常被分成亮度信号和色差信号的电视信号。即，上面提及的相加图像和相减图像中的每一个还包括亮度信号和色差信号。下面将进行说明，假定亮度信号作为Y，蓝色的色差分量作为Cb，红色的色差分量作为Cr。

相加图像的动态范围为相减图像的动态范围两倍，不过一般来说，动态范围变得越大，相应地编码比特率越大。从而，如果我们假定相加图像的Y、Cb和Cr分别作为Y(加法)，Cb(加法)和Cr(加法)，相减图像的Y、Cb和Cr分别作为Y(减法)，Cb(减法)和Cr(减法)，那么通过按照如下面的表达式(10)中所示的优先顺序进行编码，熵编码单元203能够提高编码效率。

Y(加法)＞Cb(加法)＞Cr(加法)＞Y(减法)＞Cb(减法)＞Cr(减法)

                                                    (10)

注意在表达式(10)中，“＞”表示其左项和右项的优先权之间的比较，这种情况表示左项的优先权高于右项的优先权。即，表达式(10)的每一项的优先权朝左较高，相反朝右较低。

另外，与其色差分量相比，图像的亮度分量包括更多的信息速率，另外与对图像的色差分量的可视性相比，人类对图像的亮度分量的可视性更敏感(即，与色差分量的劣化相比，对人眼来说亮度分量的劣化更明显)，从而把亮度分量的编码数据视为提高图像质量的重要因素。因此，熵编码单元203可根据如下面的表达式(11)中所示的优先顺序进行编码。

Y(加法)＞Y(减法)＞Cb(加法)＞Cb(减法)＞Cr(加法)＞Cr(减法)

                                                    (11)

此外，如同参考图7所述那样，从图像特性的角度来看，能量主要集中在最低的频率，诸如图像的轮廓等分量主要存在于高频中，从而为了进一步提高主观图像质量，熵编码单元203可按照如图8中用箭头所示的顺序进行编码。

这种情况下，熵编码单元203首先从低频到高频对Y编码，其次从低频到高频对Cb编码，最后从低频到高频对Cr编码。

从熵编码单元203输出的码流通过码率加法单元204输出到第一帧内编码单元161外部。在码率加法单元204计数(累计)通过该单元本身输出的一帧码流内的码率的时候，码率加法单元204把其码率通知给控制单元205。

控制单元205根据从码率加法单元204提供的码率的信息，控制熵编码单元203的操作。当码率达到目标值时，控制单元205输出停止熵编码单元203的操作的控制信号。

注意第二帧内编码单元162-第四帧内编码单元164也具有和第一帧内编码单元161相同的结构，并执行和第一帧内编码单元161相同的处理，从而省略对它们的说明。

下面说明解码设备13的细节。图9是图解说明图1中的解码单元23详细结构例子的方框图。在图9中，解码单元23包括码流分解单元301和帧内解码单元302。

解码设备13是被配置为利用与编码设备11对应的方法，对由编码设备11编码的位流进行解码的设备。即，码流分解单元301对应于图3中的码流合成单元152，帧内解码单元302对应于图3中的帧内编码单元151。

即，码流分解单元301分解从记录单元12提供的、并在码流合成单元152被集成为一体的码流，以便恢复到由码流合成单元152进行合成之前的状态。在图9中的例子的情况下，码流分解单元301工作，从而对应于图3中的例子，把码流分解成第二级的相加图像141的码流，第二级的相减图像142的码流，第二级的相加图像143的码流，和第二级的相减图像144的码流，并且独立地把每个码流提供给帧内解码单元302。

帧内解码单元302包括第一帧内解码单元311-第四帧内解码单元314，从而对应于图3中的帧内编码单元151。第一帧内解码单元311利用和在图3中的第一帧内编码单元161进行的帧内编码对应的方法，对从码流分解单元301提供的第二级的相加图像141的码流进行帧内解码，并输出充当基带的第二级的相加图像321。类似地，第二帧内解码单元312利用和在图3中的第二帧内编码单元162进行的帧内编码对应的方法，对从码流分解单元301提供的第二级的相减图像142的码流进行帧内解码，并输出充当基带的第二级的相减图像322，第三帧内解码单元313利用和在图3中的第三帧内编码单元163进行的帧内编码对应的方法，对从码流分解单元301提供给的第二级的相加图像143的码流进行帧内解码，并输出充当基带的第二级的相加图像323，第四帧内解码单元314利用和在图3中的第四帧内编码单元164进行的帧内编码对应的方法，对从码流分解单元301提供的第二级的相减图像144的码流进行帧内解码，并输出充当基带的第二级的相减图像324。

第一帧内解码单元311-第四帧内解码单元314中的每一个需要对应于第一帧内编码单元161-第四帧内编码单元164中的每一个，并且可由相互不同的解码器构成，但是下面将在假定这些解码单元由彼此相同的解码器构成的情况下进行说明。即，下面将进行的对第一帧内解码单元311的结构的说明可被应用于第二帧内解码单元312-第四帧内解码单元314，从而省略关于第二帧内解码单元312-第四帧内解码单元314的说明。

图10是图解说明第一帧内解码单元311的详细结构例子的方框图。如图10中所示，第一帧内解码单元311包括熵编码单元351、逆量化单元352和小波逆变换单元353。

当输入码流时，熵解码单元351利用与图4中的熵编码单元203的熵编码对应的方法对其码流进行解码，并产生量化系数。

例如，如上所述，在图4中的熵编码单元203按照如图7中箭头所示的从最低频率子带到最高频率子带的顺序进行编码的情况下，熵解码单元351也按照如图7的箭头所示的从最低频率子带到最高频率子带的顺序进行解码。

另外，在熵编码单元203按照如表达式(10)中所示的优先顺序进行编码的情况下，熵解码单元351也类似地按照如表达式(10)中所示的优先顺序进行解码。

此外，在熵编码单元203按照如表达式(11)中所示的优先顺序进行编码的情况下，熵解码单元351也类似地按照如表达式(11)中所示的优先顺序进行解码。

此外，在熵编码单元203按照如图8中的箭头所示的顺序进行编码的情况下，熵解码单元351也如图8中的箭头所示那样，首先从低频到高频解码Y，其次从低频到高频解码Cb，最后从低频到高频解码Cr。

熵解码单元351把通过熵解码获得的量化系数提供给逆量化单元352。

逆量化单元352执行与图4中的量化单元202的量化相反的操作，把量化系数变换成充当预定滤波因子的小波变换系数。例如，如上所述，在图4中的量化单元202通过进行表达式(9)的计算来进行量化的情况下，如下面的表达式(12)逆量化单元352通过把量化系数q乘以量化步长Δ，能够获得小波变换系数W。

W＝q×Δ    (12)

逆量化单元352把通过逆量化获得的小波变换系数提供给小波逆变换单元353。小波逆变换单元353利用与图4中的小波变换单元201进行的小波变换对应的方法进行小波逆变换(逆滤波)，根据小波变换系数产生与第二级的相加图像141对应的充当基带的第二级的相加图像321(解码图像)，并将其输出。

从帧内解码单元302输出的第二级的相加图像321、第二级的相减图像322、第二级的相加图像323和第二级的相减图像324被提供给重放速率控制单元24(图1)。

图11是图解说明图1中的重放速率控制单元24的详细结构例子的方框图。在图11中，重放速率控制单元24包括存储器401-1～存储器401-4，第一计算单元402、第二计算单元403、集成单元404和输出控制单元405。

从帧内解码单元302输出的第二级的相加图像321、第二级的相减图像322、第二级的相加图像323和第二级的相减图像324被分别提供给存储器401-1～存储器401-4。

存储器401-1～存储器401-4中的每一个都是被配置为临时保存帧数据(实际上，第二级的相加图像或相减图像)，以便对准相对于第一计算单元402的提供定时的缓冲存储器。当在所有存储器中累积了帧数据时，存储器401-1～存储器401-4彼此同时地输出所保存的每一个帧数据(第二级的相加图像451、第二级的相减图像452、第二级的相加图像453和第二级的相减图像454)。

现在，在不需要通过区分存储器401-1～存储器401-4中的每一个来进行说明的情况下，将该组存储器称为存储器401。

第一计算单元402包括将帧相加的加法器411和413，将帧相减的减法器412和414。加法器411将第二级的相加图像451和第二级的相减图像452相加(将帧内相同位置的像素值相加)，并输出其相加结果作为相加图像461。减法器412从第二级的相加图像451中减去第二级的相减图像452(将帧内相同位置的像素值相减)，并输出相减结果作为相减图像462。加法器413将第二级的相加图像453和第二级的相减图像454相加，并输出其相加结果作为相加图像463。减法器414从第二级的相加图像453中减去第二级的相减图像454，并输出相减结果作为相减图像464。

即，第一计算单元402在同时(作为相同的一组)并行地进行多个计算，同时产生多个计算结果(相加图像461、相减图像462、相加图像463和相减图像464)，并将其输出。

如下所述，这些相加图像461、相减图像462、相加图像463和相减图像464变成通过将运动图像数据的两条帧数据相加或相减而产生的第一级的相加图像或相减图像。

即，如果我们假定第二级的相加图像451作为加法(3)，第二级的相减图像452作为减法(3)，第二级的相加图像453作为加法(4)，第二级的相减图像454作为减法(4)，相加图像461作为加法(5)，相减图像462作为减法(5)，相加图像463作为加法(6)，相减图像464作为减法(6)，那么第一计算单元402的输入/输出关系可用下面的表达式(13)-表达式(16)来表示。

加法(5)＝加法(3)+减法(3)

  ＝加法(1)+加法(2)+加法(1)-加法(2)

  ＝2×加法(1)

  ＝2×{帧(1)+帧(2)}                    (13)

减法(5)＝加法(3)-减法(3)

  ＝加法(1)+加法(2)-加法(1)+加法(2)

  ＝2×加法(2)

  ＝2×{帧(3)+帧(4)}                    (14)

加法(6)＝加法(4)+减法(4)

  ＝减法(1)+减法(2)+减法(1)-减法(2)

  ＝2×减法(1)

  ＝2×{帧(1)-帧(2)}                    (15)

减法(6)＝加法(4)-减法(4)

  ＝减法(1)+减法(2)-减法(1)+减法(2)

  ＝2×减法(2)

  ＝2×{帧(3)-帧(4)}                    (16)

从而，尽管实际上需要除以2，不过就像素值的分量来说，加法(5)等于加法(1)，减法(5)等于加法(2)，加法(6)等于减法(1)，减法(6)等于减法(2)。即，从第一计算单元402输出的相加图像461、相减图像462、相加图像463和相减图像464等于第一级的相加图像或相减图像。换句话说，仅仅通过进行加法或减法，第一计算单元402就能够容易地根据第二级的相加图像和相减图像产生第一级的相加图像或相减图像。

这样产生的第一级的相加图像461、第一级的相减图像462、第一级的相加图像463和第一级的相减图像464都被提供给第二计算单元403。

第二计算单元403包括加法器421、减法器422、加法器423和减法器424。加法器421将第一级的相加图像461和第一级的相加图像463相加，并输出其相加结果作为相加图像471。减法器422从第一级的相加图像461中减去第一级的相加图像463，并输出其相减结果作为相减图像472。加法器423将第一级的相减图像462和第一级的相减图像464相加，并输出其相加结果作为相加图像473。减法器424从第一级的相减图像462中减去第一级的相加图像464，并输出其相减结果作为相减图像474。

即，第二计算单元403在同时(作为相同的一组)并行地进行多个计算，并同时产生多个计算结果(相加图像471、相减图像472、相加图像473和相减图像474)，并将其输出。

如下所述，这些相加图像471、相减图像472、相加图像473和相减图像474变成运动图像数据的原始帧数据。

即，如果我们假定相加图像471作为加法(7)，相减图像472作为减法(7)，相加图像473作为加法(8)，相减图像474作为减法(8)，那么第二计算单元403的输入/输出关系可用下面的表达式(17)-表达式(20)来表示。

加法(7)＝加法(5)+加法(6)

  ＝2×{加法(1)+减法(1)}

  ＝4×帧(1)                               (17)

减法(7)＝加法(5)-加法(6)

  ＝2×{加法(1)-减法(1)}

  ＝4×帧(2)                               (18)

加法(8)＝减法(5)+减法(6)

  ＝2×{加法(2)+减法(2)}

  ＝4×帧(3)                               (19)

减法(8)＝减法(5)-加法(6)

  ＝2×{加法(2)-减法(2)}

  ＝4×帧(4)                               (20)

从而，尽管实际上需要除以4，不过就像素值的分量来说，加法(7)等于帧(1)，减法(7)等于帧(2)，加法(8)等于帧(3)，减法(8)等于帧(4)。即，从第二计算单元403输出的相加图像471、相减图像472、相加图像473和相减图像474等于既未经过加法运算又未经过减法运算的原始帧图像。换句话说，仅仅通过进行加法或减法，第二计算单元403就能够容易地根据第一级的相加图像和相减图像产生原始帧数据。

注意可在每个计算单元和之后的任意处理中进行上面提及的像素值的除法，并省略对其的描述。

这样计算和从第二计算单元403输出的相加图像471、相减图像472、相加图像473和相减图像474都被提供给集成单元404。

集成单元404由包括四个输入侧端子(输入侧端子431-输入侧端子434)和一个输出侧端子435的开关电路构成。通过切换该开关，集成电路404按照帧编号的顺序排列提供给输入侧端子431到输入侧端子434中的每一个的帧数据(相加图像471、相减图像472、相加图像473和相减图像474)，来集成它们，并使集成结果作为运动图像数据481从输出侧端子435输出。例如，集成单元404按照从输入侧端子431到输入侧端子434的顺序，将输入侧端子431-输入侧端子434与输出侧端子435连接，按照从相加图像471到相减图像474的顺序排列帧数据，并集成所述帧数据，使集成的帧数据作为运动图像数据481输出。通过如上所述反复切换开关，集成单元404按照预定的顺序排列每条帧数据，以集成所述帧数据，从而产生运动图像数据481。所述顺序可以是任意的顺序，只要它对应于在图2中的记录速率控制单元21的分发单元51分发的顺序即可，其可被预先确定，或者可和分发单元51一起确定。

注意第一计算单元402、第二计算单元403和集成单元404在输出控制单元405的控制下工作。输出控制单元405控制第一计算单元402、第二计算单元403和集成单元404中每个单元的操作，以便以指定的帧速率(重放速率)输出运动图像数据481。

另外，重放速率控制单元24被配置成把从存储器401-1输出的第二级的相加图像451提供给集成单元404(的输入侧端子431)，把从第一计算单元402的加法器411输出的第一级的相加图像461提供给集成单元404(的输入侧端子431)，另外把从第一计算单元402的减法器412输出的第一级的相减图像462提供给集成单元404(的输入侧端子432)。

即，例如，输出控制单元405能够控制第一计算单元402和第二计算单元403以停止它们的工作，控制将第二级的相加图像451提供给集成单元404的输入侧端子431，控制输入侧端子431和输出侧端子435以固定地与集成单元404连接，还能够控制输出相加图像451作为运动图像数据481。这种情况下，只有第二级的相加图像451被提供给集成单元404，相加图像471、相减图像472、相加图像473和相减图像474都不被提供给集成单元404。

另外，例如，输出控制单元405能够控制第二计算单元403以停止其操作，控制将第一级的相加图像461被提供给集成单元404的输出侧端子431，控制将第一级的相减图像462提供给集成单元404的输入侧端子432，控制输入侧端子431和输出侧端子435之间的连接以及输入侧端子432和输出侧端子435之间的连接的切换，从而集成相加图像461和相减图像462，并输出集成结果作为运动图像数据481。这种情况下，只有第一级的相加图像461和第一级的相减图像462被提供给集成单元404，而相加图像471、相减图像472、相加图像473、相减图像474以及第二级的相加图像451都不提供给集成单元404。

即，借助重放速率控制单元24，第一计算单元402和第二计算单元403根据输出控制单元405的控制，利用所提供的相加图像和所提供的相减图像进行加法和减法运算。集成单元404根据输出控制单元405的控制，按照帧编号的顺序将所产生的帧数据集成，并将其作为运动图像数据481输出。

注意如上所述，通过将两条帧数据相加和相减获得相加图像和相减图像，因此这些相加图像和相减图像也是帧数据(以帧为单位的数据)。即，通过将两条帧数据相加或相减，重放速率控制单元24能够把运动图像数据的帧速率变换成任意的速率。从而，通过控制每个单元，输出控制单元405能够控制待输出的运动图像数据的帧速率，即，重放时的帧速率(重放速率)。

注意对于上面的说明，将由存储器401、第一计算单元402、第二计算单元403和集成单元404中的每个单元处理的数据的数目可以是任意的数目，不过实际上，数据的数目必须对应于解码单元23、解码设备13等等的输入/输出。

另外，对于第一计算单元402和第二计算单元403，例如哪个数据将被加入到哪个数据中，以及从哪个数据中减去哪个数据是可选择的。此外，将多少帧的数据作为一组相加或相减也是可选择的。另外，进行多少次如上所述的加法和减法(提供多少个计算单元)也是可选择的。

例如，如果我们假定M和N作为任意的自然数(M≤N)，那么可做出一种设置，其中N个计算单位被互相串联连接，第一级的计算单元对从重放速率控制单元24的外部输入的运动图像数据进行加法和减法运算，第二级和之后的计算单元对从前一级的计算单元输出的相加图像和相减图像(前一级的计算结果)进行加法和减法运算，另外，输出控制单元405操作从第一级到第M级的M个计算单元405，从而执行用于获得所希望的重放速率所必需次数的加法和减法运算，并通过集成单元404向重放速率控制单元24的外部输出第M级的计算单元的输出。

此时，将被输入重放速率控制单元24的运动图像数据可以由未经历两条帧数据之间的相加和相减的原始帧构成，或者例如如上所述，可由将两条帧数据相加得到的相加图像，和将两条帧数据相减得到的相减图像中的至少任意之一构成。

例如，在如上所述将N个计算单元相互串联连接的情况下，可做出一种设置，其中利用加法或减法降低帧速率的运动图像数据被输入重放速率控制单元24，每次在重放速率控制单元24的每个计算单元进行加法和减法运算时，将获得的运动图像数据的帧速率变为其两倍。例如，如果我们假定K是任意自然数，可做出一种设置，其中将由从末级开始的第K级的计算单元输出的运动图像数据的帧速率设置成变为既未经历加法运算，又未经历减法运算的原始运动图像数据的帧速率的1/2000，并且K＝0，即，当输出控制单元405操作所有的计算单元时，将从重放速率控制单元24输出的运动图像数据的帧速率变成原始运动图像数据的帧速率。按照这样的设置，输出控制单元405能够控制每个单元，以便容易地获得目标帧速率的运动图像数据。

因此，重放速率控制单元24需要包括被配置为通过将两条帧数据相加和相减来变换帧速率的多个计算单元，另外，重放速率控制单元24需要包括输出控制单元，其被配置为使运动图像数据的每条帧数据经历必需次数的两条帧数据间的加法和减法运算中的至少之一，以便把运动图像数据的帧速率变换成所希望的速率。但是，需要这样的速率变换方法对应于编码设备11和解码单元23。

下面说明关于在重放速率控制单元24进行的帧控制的具体例子。

图12是图解说明每个帧速率的比较例的示意图。在图11中，当输出控制单元405操作第一计算单元402、第二计算单元403和集成单元404中的全部，并复原所有的帧图像以便集成这些帧图像时，如图12中头一行中所示，每秒60帧的相加图像471、相减图像472、相加图像473和相减图像474被集成，因此将输出的运动图像数据481的帧速率变成60×4，即每秒240帧。

当不是以240p而是以60p播放和显示每秒240帧的该运动图像数据时，能够实现1/4慢动作重放。在这样的慢动作重放的情况下，不进行通常进行的帧图像的重复，从而能够实现非常平滑的慢动作。通常在例如昂贵的可携式摄像机和电影摄影机中实现这种功能。特别地，在很慢地观看高速被摄体图像的情况下，慢动作重放是必不可少的。

另外，在图11中，当输出控制单元405使第二计算单元403停止它自己的操作，并且集成和输出第一级的相加图像461和第一级的相减图像462时，例如在图12的从顶部开始的第二行中所示，2×{帧(1)+帧(2)}和2×{帧(3)+帧(4)}被集成和输出。即，运动图像数据481的帧速率变成60×2，即每秒120帧。另外，当不是以120p而是以60p播放和显示这种每秒120帧的运动图像数据时，能够实现1/2慢动作重放。

此外，在图11中，当输出控制单元405使第一计算单元402和第二计算单元403停止它们自己的操作，控制存储器401-1的输出提供给集成单元404的输入侧端子431，控制其输出侧端子431固定地与输出侧端子435连接以输出第二级的相加图像451时，例如在图12的从顶部开始的第三行中所示，4×帧(1)被输出。即，运动图像数据481的帧速率变成60×1，即每秒60帧。另外，当以60p显示这种每秒60帧的运动图像数据时，照常实现普通的重放。从而，重放速率控制单元24能够控制容易地输出的运动图像数据481的帧速率，即重放速率。

注意解码单元23所必需的解码能力(解压缩解码速度)随重放时的帧速率而不同。就上面提及的例子来说，进行了如下的说明，其中解码单元23的帧内解码单元302包括四个帧内解码器(第一帧内解码单元311-第四帧内解码单元314)，并利用所有这些帧内解码器对码流解码，但是实际上，在重放时的帧速率(重放速率)较低的情况下，所必需的解码能力(解压缩解码速度)被降低。因此，帧内解码单元302可以仅使必需的帧内解码器运转，并停止不必要的帧内解码器的运转。从而，解码单元23能够降低其能耗。

例如，如图13中所示，当输入240p的运动图像数据时，编码设备1利用四个编码器进行压缩编码，产生四个码流(压缩+记录码流)，并把它们记录在记录单元12中(实际上，这四个码流被合成为一个码流，并被记录，但是其数据结构基本上和在合成之前的四个码流的数据结构相同)。

在该码流被解压缩和解码，以60p进行普通重放(1×重放)，并且其图像被显示在监视器上的情况下，解码单元23只需要以60p(解压缩解码速度)的解码能力，解压缩和解码图13中的四个码流(压缩+记录码流)中从顶部开始的第二个码流，重放速率控制单元24需要输出第二级的相加图像451作为运动图像数据481。这种情况下，运动图像数据481由60p的帧组成，其中将240p的四帧相加，从而通过以60p播放，运动图像数据481进行普通重放。

即，解码单元23的帧内解码单元302可以仅使具有60p的解码能力的第一帧内解码单元311运转，并停止第二帧内解码单元312-第四帧内解码单元314的运转。从而，能够降低解码单元23的能耗。

另外，在该码流被解压缩和解码，以60p进行1/2慢动作重放(1/2×重放)，并且其图像被显示在监视器上的情况下，如图14中所示，解码单元23需要交替地解压缩和解码四个压缩+记录流中从顶部开始的两个第一和第二码流，并且重放速率控制单元24需要交替地输出利用第一计算单元402相加或相减并获得的第一级的相加图像461和第一级的相减图像462作为运动图像数据481。这种情况下，运动图像数据481由120p的帧构成，其中将240p的两帧相加，不过通过以60p播放，来进行1/2慢动作重放。

同样在这种情况下，重放速率为60p，因此解码单元23的解码能力可以是60p。即，解码单元23的帧内解码单元302可以仅使具有60p的解码能力的第一帧内解码单元311运转，并停止第二帧内解码单元312-第四帧内解码单元314的运转。但是，这种情况下，第一帧内解码单元311需要交替地解码从图14的顶部开始的两个第一和第二压缩+记录码流。

注意在以120p对这种情况的运动图像数据481进行普通重放的情况下，解码单元23必需的解码能力变成120p，从而解码单元23的帧内解码单元302需要操作具有60p的解码能力的第一帧内解码单元311和第二帧内解码单元312。

此外，在该码流被解压缩和解码，以60p进行1/4慢动作重放(1/4×重放)，并且其图像被显示在监视器上的情况下，解码单元23需要按照如图15中所示的从顶部开始的顺序解压缩和解码四个压缩+记录码流，并且重放速率控制单元24需要利用集成单元404顺序地排列和集成帧数据，其中通过利用第一计算单元402和第二计算单元403，所述帧数据被相加或相减和获得，并被输出作为运动图像数据481。这种情况下，运动图像数据481由240p的帧构成，不过通过以60p播放，进行1/4慢动作重放。

同样在这种情况下，重放速率为60p，从而解码单元23的解码能力可以是60p。即，解码单元23的帧内解码单元302可以仅使具有60p的解码能力的第一帧内解码单元311运转，并停止第二帧内解码单元312-第四帧内解码单元314的运转。但是，这种情况下，如图15中所示，第一帧内解码单元311需要从顶部开始顺序解码四个压缩+记录码流。

如上所述，按照重放速率减少要运转的帧内解码器的数目，从而解码设备13能够降低解码单元23的能耗。另外，重放速率控制单元24能够容易地进行高帧速率的运动图像的变速重放。

下面，说明关于由如上所述的编码设备11和解码设备13执行的处理的流程的例子。首先，说明关于由编码设备11执行的编码处理的流程的例子。

在步骤S1，编码设备11的记录速率控制单元21获得画面，并将其保存在存储器52中。在步骤S2，记录速率控制单元21判断所需数目的画面的数据是否被保存在存储器52中，并重复步骤S1和步骤S2中的处理，直到确定保存了所需数目的画面的数据为止。在步骤S2中确定保存了所需数目的画面的数据的情况下，在步骤S3，第一计算单元53利用在存储器52中累积的帧数据，产生第一级的相加图像和相减图像。

在步骤S4，记录速率控制单元21判断是否产生下一级的相加图像和相减图像，在确定要产生这些图像的情况下，处理进入步骤S5。这种情况下，“下一级”表示从当前级别加1的级别。在步骤S5，下一个计算单元(在紧接于步骤S3中的处理之后的情况下，第二计算单元54)产生下一级(在紧接于步骤S3中的处理之后的情况下，第二级)的相加图像和相减图像，随后处理返回步骤S4。即，将步骤S4和步骤S5中的处理重复计算单元的数目的次数(直到预先指定的级别为止)。在步骤S4中获得了所希望的级别的相加图像和相减图像，并确定不产生下一级的相加图像和相减图像的情况下，记录速率控制单元21使处理进入步骤S6。

在步骤S6，编码单元22的帧内编码单元151通过按照目标码率对所获得的相加图像和相减图像进行编码，产生码流。在步骤S7，码流合成单元152多路复用和输出通过编码所获得的码流。

在步骤S8，编码设备11判断所有的画面(或者帧)是否都已被编码，在确定存在未处理的画面(或帧)的情况下，处理返回步骤S1，重复步骤S1之后的处理。另外，在步骤S8中确定所有的画面(或帧)已被编码的情况下，编码设备11结束编码处理。

下面说明关于解码设备13执行的解码处理的流程。

在步骤S21中，解码设备13的解码单元23的码流分解单元301分解所获得的码流。在步骤S22中，帧内解码单元302对码流解码，并把所产生的解码图像保存在重放速率控制单元24的存储器中。

在步骤S23，重放速率控制单元24判断所需数目的画面的数据是否已被保存在存储器401中，并重复步骤S22和S23中的处理，直到确定所需数目的画面的数据已被保存在存储器401中为止。在步骤S23中确定所需数目的画面的数据已被保存在存储器401中的情况下，在步骤S24中，输出控制单元405判断是否产生下一级的相加图像和相减图像，在确定要产生所述图像的情况下，处理进入步骤S25。这种情况下，“下一级”表示从当前级别加1的级别。在步骤S25中，下一个计算单元(在紧接在步骤S23中的处理之后的情况下，第一计算单元402)产生下一级(在紧接在于步骤S23中在存储器401中保存第二级的相加图像和相减图像之后的情况下为第一级)的相加图像和相减图像，随后处理返回步骤S24。即，将步骤S24和步骤S25中的处理重复由输出控制单元405操作的计算单元的数目的次数(直到预先指定的级别为止)。在步骤S24中获得了所希望的级别的相加图像和相减图像，并且确定不产生下一级的相加图像和相减图像的情况下，输出控制单元405使处理进入步骤S26。

在步骤S26，在输出控制单元405的控制下，集成单元404按照时间顺序输出图像。在步骤S27，解码设备13判断所有码流是否都已被解码，在确定存在未处理的码流的情况下，处理返回步骤S21，重复步骤S21之后的处理。另外，在步骤S27中确定所有码流都已被解码的情况下，解码设备13结束解码处理。

注意在图3中，进行了以下的说明：帧内编码单元151包括具有60p的编码能力的帧内编码器(就图3中的例子来说，第一帧内编码单元161-第四帧内编码单元164)，但是即使不同于此，例如如图18中所示，帧内编码单元151可由具有240p或更高的编码能力的一个帧内编码单元501构成。但是，这种情况下，与图3中的例子的情况相比，必须准备以高速进行处理(编码能力高)的编码器，因此，存在开发成本和制造成本等等可能增大的可能性。

另外，可做出这样一种设置，其中量化系数在帧内编码单元151的每个帧内编码器被分解成位平面。图19是图解说明这种情况下的第一帧内编码单元161的详细结构图的方框图。图19是对应于图4的方框图，因此和图4中的组件相同的组件用相同的附图标记表示。

在图19的情况下，除了图4中的组件，第一帧内编码单元161还包括位平面分解单元511。位平面分解单元511把在量化单元202产生的量化系数分解成位平面。

图20A和20B是说明位平面的概念的示图。例如，就量化单元202来说，如果我们假定垂直4像素×水平4像素的16个像素作为一个块，那么获得如图20A中所示的量化系数。例如，在这16个量化系数中，最大绝对值为“+13”，其通过二进制表达“1101”表示。借助位平面，为每个等级总结每个块的这种量化系数的二进制表达和符号。即，图20A中所示的量化系数由如图20B中所示的5个位平面构成(一个位平面用于系数的符号，四个位平面用于系数的绝对值)。

位平面分解单元511把这样分解成位平面的量化系数提供给熵编码单元203。

熵编码单元203利用信息源压缩方法进行，用于压缩分解成位平面的量化系数的操作。因此，编码所获得的码流也被分成位平面单位。

图21是说明在对每个位平面进行编码的情况下的编码顺序的例子的示意图。在图21中，水平轴方向的块0、块1到块n表示块编号。这种情况下，对每个块的每个位平面进行熵编码。例如，熵编码单元203按照从MSB(最高有效位)到LSB(最低有效位)的顺序为每个位平面选择一个代码，累计码率，并且当达到目标码率时停止编码。

例如，在以块为单位进行编码，而不把量化系数分解成位平面的情况下，存在在到达块n之前累计的码率可能达到目标码率的可能性。即，在这种情况下，出现根本未进行编码的块。但是，在MSB和LSB中，作为LSB的高阶位的MSB比LSB更重要，与对LSB采用有限码率相比，对MSB采用有限码率有助于改进图像质量。

因此，如图21中的箭头和编号所示，对于多个块来说，在排除所有系数都为零的零位平面的情况下，熵编码单元203从接近MSB的位平面开始按照顺序(编号顺序)进行编码，当累计的码率达到目标码率时，结束编码。就图21中的例子来说，在编号“9”的位平面的编码结束的时候，累计的码率已达到目标码率，此时熵编码单元203结束编码。因此，熵编码单元203能够优先对每个块的高阶位进行编码，这不仅有助于提高图像质量，而且有助于减少对集中在高阶位的不必要的零位平面的码率分配，从而能够提高编码效率。

虽然上面表示了其中块的形状为矩形的情况，不过块的形状可以是该图像的水平方向的一行或多行。

另外，在对相加图像和相减图像编码的情况下，可做出这样的设置，其中每个量化系数被分解成位平面，并被编码。这种情况下，还设置每个目标码率。这种情况下，熵编码单元203关于每个相加图像和相减图像，如上所述对每个位平面进行编码。图22A图解说明相加图像的编码流程的例子，图22B图解说明相减图像的编码流程的例子。因此，就相加图像和相减图像来说，两者的位平面结构彼此不同，从而关于每个相加图像和相减图像相互独立地进行编码，由此，熵编码单元203能够提高编码效率。勿庸置疑，相加图像的这种编码和相减图像的这种编码可在不同的编码器相互进行。

注意为了便于描述，上面关于两个图像，即相加图像和相减图像的编码情况进行了说明，但是如上所述，显然可对第二级的四个图像进行相同的编码。

另外，勿庸置疑，熵编码单元203可被配置成以集成的方式对相加图像和相减图像进行编码。

例如，图18中的帧内编码单元501通过同时输入多个图像进行编码操作，从而能够在相加图像和相减图像作为一个处理单位的情况下进行位平面的编码，如图23中所示。即，当在排除零位平面的情况下，按照截面(cross-sectional)方式从高阶位平面到低阶方向对相加图像和相减图像的矩形块进行熵编码的时候，在累计的码率达到目标码率时，这种情况下的熵编码单元203结束熵编码。

从而，熵编码单元203能够恰当地进行码率的分配，而不必预先设置将被分配给每个相加图像和相减图像的码率，从而能够更优先地编码大大影响图像质量的量化系数。

注意至此为了便于描述，仅说明了关于编码两个图像，即一个相加图像和一个相减图像的情况，不过如上所述，显然可对第二级的四个图像进行相同的编码。

另外，用于按照参考图7说明的顺序对每个位平面进行编码的方法可被应用于从低频子带到高频子带进行编码的情况。这种情况下，熵编码单元203例如按照如图7中所示的子带顺序排列各个块，并如参考图21所述从高阶位平面开始顺序地对所有块进行编码。即，熵编码单元203按照从能量较高的低频到能量较低的高频的顺序对每个位平面编码。因此，与参考图21说明的情况相比，熵编码单元203能够提高编码效率。另外，换句话说，在排除零位平面的情况下，熵编码单元203按照从高阶到低阶的顺序对每个频率的位平面编码。因此，与参考图7说明的情况相比，熵编码单元203能够提高编码效率，还能够进一步提高图像质量。

从而，在对每个位平面进行编码的情况下，如何排列各个块是任意的，因此可按照其它顺序排列各个块。例如，可做出一种设置，其中熵编码单元203按照如表达式(10)中所示的优先顺序排列量化系数块，并如参考图21所述从高阶位平面开始顺序地对所有块编码。按照这样的设置，熵编码单元203能够提高编码效率。另一方面，可做出一种设置，其中熵编码单元203按照如表达式(11)中所示的优先顺序排列量化系数块，并如参考图21所述从高阶位平面开始顺序地对所有块编码。按照这样的设置，熵编码单元203能够提高主观图像质量。

为了进一步提高主观图像质量，可做出一种设置，其中熵编码单元203按照如图12中箭头所示的顺序排列各个块，并进行编码。

即，这种情况下，如图24中所示，熵编码单元203按照如图12中所示的子带顺序，即，按照从作为亮度分量Y的子带的Y-OLL到作为色差Cr的子带的Cr-3HH的顺序排列关于亮度分量Y、色差分量Cb和色差分量Cr中的每一个的块，在排除零位平面的情况下，按照从高阶位平面到低阶位平面的顺序对每个位平面进行熵编码，当累计的码率达到目标码率时，结束编码。按照这样的设置，熵编码单元203能够进一步提高主观图像质量。

即使在熵编码单元203按照如图21-图24中所示的任意顺序对每个位平面进行编码的情况下，熵解码单元351都按照和该顺序相同的顺序进行解码。即，熵解码单元351按照比如在排除零位平面的情况下，从高阶位平面到低阶位平面顺序产生位平面的顺序，进行码流的解码。

如同编码单元22的情况一样，即使就解码单元23来说，例如图25中所示的解码单元23，帧内解码单元302可由包括240p或更高的解码能力的一个帧内解码单元551构成。但是，这种情况下，与图9中的例子的情况相比，必须准备配置为以高速进行处理(高解码能力)的解码器，从而存在开发成本、制造成本等等可能增大的可能性。

另外，例如，如图26中所示，图1中所示的图像处理系统1可具有不同于图1中的例子的结构。即，本发明并不局限于上面提及的实施例，勿庸置疑，在不脱离本发明的范围的情况下，可做出各种修改。

例如，如图26A中所示，记录速率控制单元21、编码单元22、记录单元12、解码单元23和重放速率控制单元24中的每个单元都可被配置成相互独立的设备。在图26A中，图像处理系统1由记录速率控制设备601、编码设备602、记录设备603、解码设备604和重放速率控制设备605构成。每个设备的结构和操作分别与图1中的对应处理单元相同，因此省略对其的说明。

另外，例如，如图26B中所示，可做出一种设置，其中运动图像数据只进行两条帧数据之间的相加或相减，并且未经压缩和编码地记录在记录介质中。这种情况下，图像处理系统1由配置为把运动图像数据记录在记录介质612中的记录设备611，在其中记录运动图像数据的记录介质612，和配置为读出并播放记录在记录介质612中的运动图像数据的重放设备613构成。

记录设备611具有和记录速率控制单元21相同的结构，它包括配置为按照和记录速率控制单元21相同的方式工作的记录速率控制单元621，和配置为把从记录速率控制单元621输出的相加图像和相减图像写入记录介质612中的写入单元622。另外，重放设备613包括配置为读出记录在记录介质612中的相加图像和相减图像的读取单元631，和重放速率控制单元632，重放速率控制单元632具有和重放速率控制单元24相同的结构并被配置为按照和重放速率控制单元24的情况相同的方式对从读取单元631读出的相加图像和相减图像进行相加和相减，并以任意的帧速率输出运动图像数据。

即，这种情况下，未压缩的相加图像和相减图像被记录在记录介质612中。

另外，就图1中的例子来说，对编码码流被记录在记录介质中进行了说明，但是如图26C中所示，可通过传输介质传送码流。

在图26C中，图像处理系统1由被配置为压缩和编码运动图像数据并将其传给另一设备的发送设备641，码流传送到的传输介质642，和被配置为接收通过传输介质642传送的码流的接收设备643构成。

发送设备641对应于图1中的编码设备11，包括与记录速率控制单元21对应的传输速率控制单元651，和与编码单元22对应的编码单元652。传输速率控制单元651具有和记录速率控制单元21的相同的结构，并按照和记录速率控制单元21相同的方式运转。但是，传输速率控制单元651不控制记录速率，而是控制传输时的帧速率(传输速率)。编码单元652具有和编码单元22相同的结构，并按照和编码单元22相同的方式运转。

就图26C来说，从发送设备641的编码单元652输出的码流通过传输介质642被提供给接收设备643。

接收设备643对应于图1中的解码设备13，包括和解码单元23对应的解码单元661，以及与重放速率控制单元24对应的重放速率控制单元662。解码单元661具有和解码单元23相同的结构，并按照与解码单元23相同的方式运转。但是，解码单元661对通过传输介质642传送的码流进行解码。重放速率控制单元662具有和重放速率控制单元24相同的结构，并按照和重放速率控制单元24相同的方式运转。

上面提及的一系列处理不仅可由硬件执行，而且可由软件执行。这种情况下，例如硬件可被配置成如图27中所示的个人计算机。

在图27中，个人计算机700的CPU(中央处理单元)701按照保存在ROM(只读存储器)702中的程序，或者从存储单元713载入RAM(随机存取存储器)703中的程序，执行各种处理。RAM703还适当地保存有CPU701执行各种处理所必需的数据等。

CPU701、ROM702和RAM703通过总线704相互连接。总线704还与输入/输出接口710连接。

输入/输出接口710与由键盘、鼠标等构成的输入单元711，由包括CRT、LCD等显示器、扬声器等构成的输出单元712，由硬盘等构成的存储单元713，和由调制解调器等构成的通信单元714连接。通信单元714通过包括因特网的网络执行通信处理。

根据需要，输入/输出接口710还与驱动器715连接，诸如磁盘、光盘、磁光盘、半导体存储器等的可移动介质721被适当地安装在所述驱动器715上，从可移动介质721读出的计算机程序根据需要被安装在存储单元713中。

在利用软件执行上面提及的一系列处理的情况下，从网络或记录介质安装构成其软件的程序。

该记录介质并不局限于由可移动介质721构成，所述可移动介质721由磁盘(包括软盘)、光盘(包括CD-ROM和DVD)、磁光盘(包括MD)、半导体存储器等构成，如图27中所示，例如，其中将要分发给用户的程序独立于设备主单元保存，不过所述可移动介质721也可由ROM702、包含在存储单元713中的硬盘等构成，在其中在被预先内置于设备主单元中的状态下，安装要分发给用户的程序。

注意就本说明书来说，描述将被记录在记录介质中的程序的步骤不仅包括将按照所描述的次序，按时间顺序执行的处理，而且包括在不必按照时间顺序处理的情况下并行地或者单独地执行的处理。

另外，就本说明书来说，术语“系统”意味多个设备(或装置)的整体。

注意就上面的说明来说，描述成一个设备的结构可被分割并配置成多个设备。相反，就上面的说明来说，描述成多个设备的结构可被集成和配置成一个设备。另外，勿庸置疑，除上面提及的结构之外的结构可配有每个上述设备的结构。此外，只要整个系统的结构和操作基本相同，那么某一设备的一部分结构可被包括在其它设备的结构中。

另外，对于上面提及的实施例，利用JPEG2000系统作为图像压缩系统进行了说明，不过本发明并不局限于此，例如，本发明可应用于诸如JPEG、MPEG(运动图像专家组)等的其它图像压缩系统的情况。

本领域的技术人员应明白，根据设计要求和其它因素，可发生各种修改、组合、子组合和变更，只要它们在附加权利要求或其等同物的范围之内即可。

对相关申请的交叉引用

本发明包含涉及2006年10月16日在日本专利局提交的日本专利申请JP2006-281302的主题，其全部内容通过引用，包含于此。

Claims (13)

1.一种被配置成处理运动图像数据的信息处理设备，所述信息处理设备包括：

多个计算装置，其被配置成通过对两条帧数据进行加法和减法，来变换帧速率；和

控制装置，其被配置成控制所述多个计算装置，使所述运动图像数据的每条帧数据进行对把所述运动图像数据的帧速率变换成所希望速率来说必需次数的所述加法和所述减法中的至少之一。

2.按照权利要求1所述的信息处理设备，其中所述多个计算装置被相互串联连接，第二级和之后的所述计算装置被配置成向或从前一级的计算装置的计算结果中加入或减去；

并且其中所述控制装置控制串联连接的所述多个计算装置中，从第一级的计算装置到获得所希望的帧速率的所述运动图像数据的那一级的计算装置执行所述加法和所述减法中的至少之一。

3.按照权利要求2所述的信息处理设备，其中在串联连接的所述多个计算装置中，第一级的计算装置被配置成对由于所述加法和所述减法运算而使帧速率降低的运动图像数据进行所述加法和所述减法中的至少之一；

并且其中每个计算装置执行所述加法和所述减法中的至少之一，从而把所述帧速率变换成两倍。

4.按照权利要求1所述的信息处理设备，其中所述计算装置并行地多次进行所述加法和所述减法中的至少之一，从而同时产生多个计算结果。

5.按照权利要求1所述的信息处理设备，还包括：

解码装置，所述解码装置被配置成对码流解码，所述码流是所述编码的运动图像数据；

其中所述多个计算装置被配置成对通过由所述控制装置控制，并由所述解码装置解码而获得的所述运动图像数据的每个帧数据进行所述加法和所述减法中的至少之一。

6.按照权利要求5所述的信息处理设备，其中所述解码装置以和通过所述多个计算装置的计算而获得的运动图像数据的帧速率对应的速度对所述码流解码。

7.按照权利要求5所述的信息处理设备，所述解码装置包括：

熵解码装置，其被配置成根据所述码流产生量化系数；

逆量化装置，其被配置成变换所述量化系数，以产生预定的滤波因子；和

逆滤波装置，其被配置成对所述滤波因子进行逆滤波，以产生解码图像。

8.按照权利要求7所述的信息处理设备，其中所述熵解码装置按照例如从最高有效位位置到低位方向产生量化系数的顺序，相互独立地解码相加图像的码流和相减图像的码流中的每一个。

9.按照权利要求7所述的信息处理设备，其中所述熵解码装置集成相加图像的码流和相减图像的码流，并按照例如从最高有效位位置到低位方向产生量化系数的顺序，对整个集成的码流解码。

10.按照权利要求7所述的信息处理设备，其中所述熵解码装置按照从最低级的子带到最高级的子带的顺序，对所述码流解码，以便产生相同位位置的量化系数。

11.按照权利要求7所述的信息处理设备，其中所述熵解码装置按照从亮度分量到色差分量的顺序对所述码流解码，以便产生相同位位置的量化系数。

12.一种用于处理运动图像数据的信息处理方法，包括下述步骤：

利用多次计算，通过对两条帧数据进行加法和减法，来变换帧速率；和

控制所述多次变换，使所述运动图像数据的每条帧数据进行对把所述运动图像数据的帧速率变换成所希望速率来说必需次数的所述加法和所述减法中的至少之一。

13.一种被配置为处理运动图像数据的信息处理设备，所述信息处理设备包括：

多个计算单元，其被配置成通过对两条帧数据进行加法和减法，来变换帧速率；和

控制单元，其被配置成控制所述多个计算单元，使所述运动图像数据的每条帧数据进行对把所述运动图像数据的帧速率变换成所希望速率来说必需次数的所述加法和所述减法中的至少之一。

Images