CN102196265A - 图像编码装置和方法、图像解码装置和方法、以及程序 - Google Patents

Abstract

本发明涉及图像编码装置和方法、图像解码装置和方法、以及程序。该图像编码装置包括：带分割单元，被配置为执行用于从块单位的图像数据产生多个频带中的每个频带的系数数据的频带分割，并且对于该频带分割，在针对通过频带分割获得的低频带分量的系数数据重新排列空间位置后执行该低频带分量的系数数据的频带分割；和编码单元，被配置为执行所述多个频带中的每个频带的系数数据的编码。

Description

图像编码装置和方法、图像解码装置和方法、以及程序

技术领域

本发明涉及一种能够减少块失真并提高编码效率的图像编码装置和方法、图像解码装置和方法、以及程序。

背景技术

近年来，由于图像数据的具有更高分辨率或更高帧频的趋势，越来越难以在图像处理系统中使用单位时间内的有限资源来处理众多数据。例如，如图1所示，当在使用图像处理系统80执行图像处理的过程中使用存储器85的情况下，因为要确保数据传输所需的高容量存储器和宽总线带宽，所以难以使系统小型化且难以降低成本。例如，在日本专利No.3918263中，如图2所示，在图像处理系统80和存储器85之间设置了图像编码单元81，图像数据在存储在存储器中之前被编码以减少数据量。另外，在图像处理系统80和存储器85之间设置了图像解码单元82，存储在存储器85中的编码数据在被读出时被进行解码，从而获得图像数据。

在日本专利No.3918263中，在存储器存储时的编码方法中使用具有相对较低处理量的差分脉冲编码调制(在下文中称为DPCM)。例如，在对应于5个像素(40比特，1个像素具有8比特)的数据中，通过获得邻近像素之间的差并执行量化，第一像素被设置为8比特，第二至第五像素中的每个被设置为6比特。因此，在DPCM后，按5个像素获得32比特，从而实现了4/5压缩。另外，在日本专利No.3918263中，通过按照小的块单位或者总线传输单位来实现DPCM单位，可以实现随机访问，并且可以在保持图像处理系统的原存储器访问效率的同时减少存储器容量和总线带宽。

发明内容

然而，因为在日本专利No.3918263中描述的编码方法是简单DPCM，所以容易保持存储器访问效率。但是，从存储器读出并被解码的图像数据会大幅劣化。

在现有技术的一般图像编码方法中，有一种具有较高编码效率的方法(例如，H.264/AVC(先进视频编码)或JPEG(联合图像专家组)2000)。然而，在这种图像编码方法中，在诸如如上所述的简单小的块单位或总线传输单位的条件下，难以高效地执行编码。

在现有技术的一般图像编码方法中，从编码效率的视角看，由于与固定长度编码相比可变长度编码使用得更频繁，所以可能无法如在日本专利No.3918263中描述的DPCM一样获得期望的位长度。因此，执行编码以获得预定位长度或更短位长度，并且用无效位填充剩余位以适合总线传输单位。然而，在小的总线传输单位中，包括这种无效位是低效的。

在现有技术的一般图像编码方法中，如果图像在被分割为块的状态下进行编码，则在块之间的边界上会发生块失真。为了降低该块失真，在解码时一般使用解块滤波器，但是编码时的块失真并未减轻。

期望提供一种即使当以块单位执行图像编码时也能够获得具有低块失真的解码图像的图像编码装置和图像编码方法、一种能够对编码图像进行解码的图像解码装置和图像解码方法以及程序。

根据本发明的一个实施例，提供了一种图像编码装置，包括：带分割单元，被配置为执行用于从块单位的图像数据产生多个频带中的每个频带的系数数据的频带分割，并且对于该频带分割，在针对通过频带分割获得的低频带分量的系数数据重新排列空间位置后执行该低频带分量的系数数据的频带分割；和编码单元，被配置为执行所述多个频带中的每个频带的系数数据的编码。

在本发明中，执行块单位的图像数据的频带分割。在频带分割中，在针对通过频带分割获得的低频带分量的系数数据重新排列空间位置之后，执行低频带分量的系数数据的频带分割，并产生所述多个频带中的每个频带的系数数据。在频带分割中，例如，执行提升运算和去交织。在提升运算中，在块的端部执行图像数据的扩展，使用扩展的图像数据产生系数数据。通过去交织针对每个频带划分通过提升运算产生的系数数据。在低频带分量的系数数据中，执行空间位置的重新排列以使得使用扩展的图像数据产生的系数数据的位置移动。例如，反转系数数据的位置。每预定数目的系数数据被划分为子块，估计当针对每个子块截断系数数据的位平面时图像的失真量的变化。针对估计结果进行加权以使位于所述块的端部的子块与其它位置的子块相比不容易被截断。基于加权后的估计结果，执行截断以使图像失真量低且代码量在目标代码量以内，并且执行编码。

根据本发明的另一实施例，提供了一种图像编码方法，包括以下步骤：在带分割单元中，执行用于从块单位的图像数据产生多个频带中的每个频带的系数数据的频带分割，并且对于该频带分割，在针对通过频带分割获得的低频带分量的系数数据重新排列空间位置后执行该低频带分量的系数数据的频带分割；以及在编码单元中，执行所述多个频带中的每个频带的系数数据的编码。

根据本发明的另一实施例，提供了一种在计算机中执行处理的程序，该处理包括以下步骤：执行用于从块单位的图像数据产生多个频带中的每个频带的系数数据的频带分割，并且对于该频带分割，在针对通过频带分割获得的低频带分量的系数数据重新排列空间位置后执行该低频带分量的系数数据的频带分割；以及执行所述多个频带中的每个频带的系数数据的编码。

根据本发明的另一实施例，提供了一种图像编码装置，包括：带分割单元，被配置为执行块单位的图像数据的频带分割并产生多个频带中的每个频带的系数数据；编码单元，被配置为执行所述多个频带中的每个频带的系数数据的编码；失真特性估计单元，被配置为针对通过对每预定数目的系数数据进行划分而获得的每个子块，估计当所述系数数据的位平面被截断时图像的失真量的变化并针对估计结果进行加权；和截断单元，被配置为基于加权的估计结果检测图像失真低且代码量在目标代码量以内的截断位置并执行所述位平面的截断。

根据本发明的另一实施例，提供了一种图像编码方法，包括以下步骤：在带分割单元中，执行块单位的图像数据的频带分割并产生多个频带中的每个频带的系数数据；在编码单元中，执行所述多个频带中的每个频带的系数数据的编码；在失真特性估计单元中，针对通过对每预定数目的系数数据进行划分而获得的每个子块，估计当所述系数数据的位平面被截断时图像的失真量的变化并针对估计结果进行加权；以及在截断单元中，基于加权的估计结果检测图像失真低且代码量在目标代码量以内的截断位置并执行所述位平面的截断。

根据本发明的另一实施例，提供了一种在计算机中执行处理的程序，该处理包括以下步骤：执行块单位的图像数据的频带分割并产生多个频带中的每个频带的系数数据；执行所述多个频带中的每个频带的系数数据的编码；针对通过对每预定数目的系数数据进行划分而获得的每个子块，估计当所述系数数据的位平面被截断时图像的失真量的变化并针对估计结果进行加权；以及基于加权的估计结果检测图像失真低且代码量在目标代码量以内的截断位置并执行所述位平面的截断。

根据本发明的另一实施例，提供了一种图像解码装置，包括：解码单元，被配置为对其中编码了通过执行块单位的图像数据的频带分割而获得的系数数据的编码数据进行解码；和带合成单元，被配置为在使通过所述解码获得的系数数据返回到重新排列前的顺序之后，执行多个频带中的每个频带的系数数据的频带合成并产生块单位的图像数据。

根据本发明的另一实施例，提供了一种图像解码方法，包括以下步骤：在解码单元中，对其中编码了通过执行块单位的图像数据的频带分割而获得的系数数据的编码数据进行解码；以及在带合成单元中，在使通过所述解码获得的系数数据返回到重新排列前的顺序之后，执行多个频带中的每个频带的系数数据的频带合成并产生块单位的图像数据。

根据本发明的另一实施例，提供了一种在计算机中执行处理的程序，该处理包括以下步骤：对其中编码了通过执行块单位的图像数据的频带分割而获得的系数数据的编码数据进行解码；以及在使通过所述解码获得的系数数据返回到重新排列前的顺序之后，执行多个频带中的每个频带的系数数据的频带合成并产生块单位的图像数据。

本发明的程序是可以通过以计算机可读格式提供的存储介质或者通信介质提供给例如用于执行各种程序代码的通用计算机系统的程序，例如，存储介质诸如为光盘、磁盘和半导体存储器，通信介质诸如为网络。通过以计算机可读格式提供这种程序，实现了在计算机系统上与程序对应的处理。

根据本发明，在用于从块单位的图像数据产生多个频带中的每个频带的系数数据的频带分割中，针对通过频带分割获得的低频带分量的系数数据重新排列空间位置，并执行低频带分量的系数数据的频带分割。另外，执行产生的所述多个频带中的每个频带的系数数据的编码。为此，即使当在块的端部扩展图像数据以重复频带分割时，使用扩展的图像数据产生的低频带分量的系数数据的位置也是不固定的。因此，由于使用扩展的图像数据而导致的频带分割精度降低的影响不会反复施加。即使当以块单位执行图像编码时，也可以获得具有低块失真的解码图像。

附图说明

图1是示出现有技术的图像处理系统的图；

图2是示出现有技术的另一图像处理系统的图；

图3是示出图像处理装置的结构的图；

图4是示出图像处理装置的操作的流程图；

图5是示出根据第一实施例的图像编码单元的结构的图；

图6是示出根据第一实施例的图像编码单元的操作的流程图；

图7A至7F是示出当使用5×3提升运算时带分割单元的操作的图；

图8是示出图像数据的扩展的图；

图9A和9B是示出二维带分割的图；

图10是示出改进离散小波变换(MDWT)的绝对值在位深度方向上的分解的图；

图11是示出零位平面(ZBP)的变换表的图；

图12是示出执行ZBP的索引IDXzbp的熵编码方法的情况的操作的流程图；

图13是示出执行ZBP的索引IDXzbp的熵编码方法的情况的另一操作的流程图；

图14是示出截断点(TP)的变换表的图；

图15是示出执行TP的索引IDXtp的熵编码方法的情况的操作的流程图；

图16是示出执行TP的索引IDXtp的熵编码方法的情况的另一操作的流程图；

图17是示出有效位(SB)_flag的图；

图18是示出执行位平面的熵编码方法的情况的操作的流程图；

图19是示出R-D曲线的图；

图20A至20C是示出截断单元的操作的(第一)图；

图21A至21B是示出截断单元的操作的(第二)图；

图22是示出截断单元的操作的流程图；

图23是示出格式的例子的图；

图24是示出根据第一实施例的图像解码单元的结构的图；

图25是示出根据第一实施例的图像解码单元的操作的流程图；

图26是示出ZBP的索引IDXzbp的解码操作的流程图；

图27是示出TP的索引IDXtp的解码操作的流程图；

图28是示出解码ZBP的索引IDXzbp和TP的索引IDXtp的结果的图；

图29是示出表示系数数据的绝对值的位流的解码操作的流程图；

图30是示出估计数据的图；

图31A至31F是示出带合成单元的操作的图；

图32是示出图像解码单元的简单结构的图；

图33是示出图像编码单元的简单结构的图；

图34是示出根据第二实施例的图像解码单元的结构的图；

图35是示出根据第二实施例的图像解码单元的操作的流程图；

图36A至36D是示出哈尔(Haar)变换的变换过程的图；

图37是示出ZBP正交变换结果DTtzbp、索引IDXtzbp和符号之间的关系的变换表；

图38是示出上下文(context)、索引IDXtzbp和符号之间的关系的变换表；

图39是示出根据第三实施例的图像解码单元的结构的图；

图40是示出根据第三实施例的图像解码单元的操作的流程图；

图41A至41D是示出逆哈尔变换的变换过程的图；

图42是示出根据第四实施例的图像编码单元的结构的图；

图43是示出根据第四实施例的图像解码单元的结构的图；

图44是示出计算机的硬件结构的图。

具体实施方式

下面，将描述实施本发明的实施例。如果图像数据包括多个分量信号(例如，图像数据是RGB信号、YUV信号等)，则针对每个分量信号执行编码或解码。然而，为了简化说明，将仅仅描述一个分量信号的编码和解码。将按照下面的顺序给出说明：

1.图像处理装置的结构和操作

2.第一实施例

3.第二实施例

4.第三实施例

5.第四实施例

6.通过计算机执行编码和解码的情况

<1.图像处理装置的结构和操作>

图3是示出了图像处理装置10的结构的图。图像处理装置10包括图像编码单元20和图像解码单元30。图像编码单元20具有对从图像设备、图像处理系统单元12等输出的图像数据以M×N像素的块单位进行编码并输出编码数据的功能。编码数据例如通过诸如存储器、硬盘或网络的介质14被发送到图像解码单元30。图像解码单元30执行编码数据的解码并输出M×N像素的块单位的图像数据。

图4是示出了图像处理装置10的操作的流程图。在步骤ST1，图像编码单元20执行图像数据的编码。图像编码单元20以M×N像素的块单位对图像数据进行编码，产生编码数据，并前进到步骤ST2。在步骤ST2，图像编码单元20通过存储器、介质或网络将编码数据发送到图像解码单元30。在步骤ST3，图像解码单元30执行编码数据的解码。图像解码单元30执行发送的编码数据的解码，并获得M×N像素的块单位的图像数据。

图像编码单元20执行M×N像素的块单位的图像数据的编码。另外，图像解码单元30执行由图像编码单元20产生的编码数据的解码并获得M×N像素的块单位的图像数据。这样，可以以块单位执行处理并且容易执行随机访问等。因为针对不必要的图像部分的块不必执行编码或解码，所以可以在保持存储器访问效率的同时减少存储器容量和总线带宽。

图像编码单元20执行图像数据的编码，使得即使当以块单位执行图像数据的编码时也减轻块失真。

<2.第一实施例>

[2-1.第一实施例的图像编码单元的结构]

图5是示出了根据第一实施例的图像编码单元的结构的图。图像编码单元20-1包括DC电平位移单元21、带分割单元22、有效位(SB)/零位平面(ZBP)检测单元23、熵编码单元24、失真特性估计单元25、截断单元26以及打包单元27。

DC电平位移单元21执行图像数据的DC分量的电平位移，以由带分割单元22高效执行频带分割。DC电平位移单元21例如从M×N像素的块单位的输入图像数据DVa减去一DC值，并将相减值输出到带分割单元22。DC电平位移单元21例如使用M×N像素的块内的图像数据DVa的平均值或者图像数据DVa的动态范围的一半的值作为DC值。另外，该DC值可由图像编码单元20-1和下面描述的图像解码单元30-1预先设置为相同值，或者可作为附加信息附加到编码数据并被提供给图像解码单元30-1。

带分割单元22执行从DC电平位移单元21输出的图像数据DVb的频带分割。带分割单元22在针对通过频带分割获得的低频带分量的系数数据重新排列空间位置之后再次执行频带分割，并产生M×N像素的块内的图像数据的多个频带的每个频带的系数数据。带分割单元22例如使用改进离散小波变换(MDWT)执行频带分割。在MDWT中，除了离散小波变换(DWT)之外，为了减轻易于在M×N像素的块边界作为失真出现的、带分割精度降低的影响，针对低频带分量的系数数据重新排列空间位置。稍后将描述MDWT的细节。带分割单元22将通过执行MDWT获得的MDWT系数数据的绝对值CEa输出到SB/ZBP检测单元23、熵编码单元24和失真特性估计单元25。此外，带分割单元22将通过执行MDWT获得的MDWT系数数据的代码CEs输出到截断单元26。

SB/ZBP检测单元23从MDWT系数数据的绝对值检测有效位(SB)和零位平面(ZBP)。SB/ZBP检测单元23将SB检测结果DTsb输出到熵编码单元24和失真特性估计单元25。此外，SB/ZBP检测单元23将ZBP检测结果DTzbp提供给熵编码单元24、失真特性估计单元25和截断单元26。

熵编码单元24使用MDWT系数数据的绝对值CEa、SB检测结果DTsb和ZBP检测结果DTzbp，对MDWT系数数据的绝对值CEa的位平面、ZBP和截断点(TP)进行熵编码。熵编码单元24将通过执行熵编码获得的位流BSa输出到截断单元26。另外，熵编码单元24将通过执行熵编码获得的位流长度DTbs输出到失真特性估计单元25和截断单元26。另外，熵编码单元24将通过执行熵编码获得的模式标志MF输出到打包单元27。

失真特性估计单元25基于MDWT系数数据的绝对值CEa、SB检测结果DTsb、ZBP检测结果DTzbp和位流长度DTbs执行失真特性估计，并将失真特性估计结果Erd输出到截断单元26。具体地，当执行MDWT系数数据的截断时代码量的变化与图像的失真量的变化之间的关系被估计为失真特性。

截断单元26使用位流BSa、位流长度DTbs、ZBP检测结果DTzbp、代码CEs和失真特性估计结果Erd，决定使得代码量在预定目标代码量以内的编码对称的位流和代码。也就是说，截断单元26执行位流和代码的截断以使得图像失真低并且代码量在目标代码量以内，并且将截断的位流(包括代码)BSb输出到打包单元27。

打包单元27将截断的位流BSb和模式标志MF转换成预定格式并制备可由图像解码单元30-1解码的编码数据Dpd。打包单元27将制备的编码数据Dpd从图像编码单元20-1输出。

[2-2.第一实施例的图像编码单元的操作]

图6是示出了根据第一实施例的图像编码单元的操作的流程图。在步骤ST11，图像编码单元20-1执行DC电平位移。图像编码单元20-1通过DC电平位移单元21对输入图像数据DVa执行DC电平位移，然后前进到步骤ST12。

在步骤ST12，图像编码单元20-1执行MDWT。图像编码单元20-1通过带分割单元22对进行了DC电平位移的图像数据DVb执行MDWT，获得MDWT系数数据的绝对值CEa和代码CEs，然后前进到步骤ST13。

在步骤ST13，图像编码单元20-1执行SB和ZBP检测。图像编码单元20-1通过SB/ZBP检测单元23从MDWT系数数据的绝对值CEa检测SB和ZBP，然后前进到步骤ST14。

在步骤ST14，图像编码单元20-1执行熵编码。图像编码单元20-1通过熵编码单元24针对MDWT系数数据的绝对值CEa的位平面、SB检测结果DTsb和ZBP检测结果DTzbp执行熵编码，获得位流BSa、位流长度DTbs和模式标志MF，然后前进到步骤ST15。

在步骤ST15，图像编码单元20-1执行失真特性估计。图像编码单元20-1通过失真特性估计单元25基于MDWT系数数据的绝对值CEa、SB检测结果DTsb、ZBP检测结果DTzbp和位流长度DTbs执行失真特性估计，然后前进到步骤ST16。

在步骤ST16，图像编码单元20-1执行截断。图像编码单元20-1通过截断单元26基于位流BSa、位流长度DTbs、ZBP检测结果DTzbp、代码CEs和失真特性估计结果Erd，根据需要执行截断。当位流长度不适合目标代码长度时，图像编码单元20-1执行位流和代码的截断，并且当位流BSb的代码长度等于或小于目标代码长度时前进到步骤ST17。

在步骤ST17，图像编码单元20-1执行到预定格式的转换。图像编码单元20-1使用打包单元27将包括模式标志MF的附加信息和截断的位流BSb转换成预定格式，产生编码数据Dpd，从而完成编码处理。

[2-3.图像编码单元的各单元的操作]

接下来，将描述图像编码单元的主要部分的操作。

[2-3-1.带分割单元的操作]

带分割单元22例如除了离散小波变换(DWT)以外还针对低频带分量的系数数据重新排列空间位置，并且减轻易于在M×N像素的块边界作为失真出现的、带分割精度降低的影响。带分割单元22可以使用诸如DWT的任何带分割滤波器。

图7A至7F是示出了当使用5×3提升(lifting)配置(其中例如甚至采用JPEG20-100标准)时带分割单元22的操作的图。图7A示出了从DC电平位移单元21输出的块单位的图像数据DVb并且示出了一个块单位例如包括8个像素的情况。

带分割单元22通过针对块单位的图像数据DVb，返回基于块的端部的使得图像的边界具有对称性从而获得相同像素的输出的信号，来执行图像数据的扩展。例如，当图像数据DVb在像素位置P(0)至P(N-1)如图8所示时，带分割单元22执行图像数据的扩展使得图像的边界具有对称性。也就是说，像素位置P(1)的信号被扩展到像素位置P(-1)的信号，像素位置P(2)的信号被扩展到像素位置P(-2)的信号，像素位置P(N-2)的信号被扩展到像素位置P(N)的信号。另外，执行图像数据的扩展使得当执行DWT时获得相同像素的输出。

带分割单元22执行图像数据DVb的扩展，并产生图7B所示的扩展图像数据。另外，如图7C所示，带分割单元22使用该扩展图像数据进行运算并产生高通分量的系数数据CE-h。另外，用右向上升斜线表示高通分量的系数数据CE-h。

接下来，如图7D所示，带分割单元22使用扩展图像数据和高通分量的系数数据CE-h进行运算，并产生低频带分量的系数数据CE-l。另外，用左向上升斜线表示低频带分量的系数数据CE-l。

另外，带分割单元22执行高通分量的系数数据CE-h和低频带分量的系数数据CE-l的去交织，以产生如图7E所示的包括低频带分量的系数数据CE-l的子带和包括高通分量的系数数据CE-h的子带。子带是指针对每个频带分类的系数数据的集合。另外，将使用两个扩展信号计算的高通分量的系数数据CE-h(-1)从高通分量的子带中排除。

这样，如果执行提升运算或去交织，则使用扩展图像数据的两端的带分割精度降低。特别地，在低频带分量的系数数据的情况下，从使用用与两个扩展像素对应的图像数据计算的高通分量的系数数据CE-h(-1)来计算低频带分量的系数数据CE-l(0)的观点看，左端对于带分割精度降低的影响敏感。

如果通过将低频带分量的子带视为原始图像通过重复的DWT执行带分割，则带分割精度降低的影响被重复地施加于低频带分量的左侧。为此，如果通过以M×N像素的块单位对图像数据进行编码来执行系统的带压缩或存储器的削减，则左端的带分割精度降低的影响易于作为失真出现在M×N像素的块边界上。

因此，带分割单元22减轻了易于在M×N像素的块边界上出现的带分割精度降低的影响，使得即使在块尺寸小的情况下也不会引起视觉上显著的劣化。具体地说，对于通过执行去交织获得的低频带分量的子带，执行空间位置的重新排列使得下一频带分割不与两个扩展信号一起使用用两个扩展信号计算的低频带分量的系数数据。例如，带分割单元22反转低频带分量的子带的系数数据的顺序，如图7F所示。在此情况下，对于下一频带分割的低频带分量的系数数据的计算，不与两个扩展信号一起使用用两个扩展信号计算的低频带分量的系数数据CE-l(0)。因此，带分割单元22能够在重复带分割时将带分割精度降低的影响分散，并且防止易于作为失真出现在M×N像素的块边界上的带分割精度降低的影响。

低频带分量的子带的系数数据的顺序不限于图7F所示的顺序，可以使用任何顺序，只要可由图像解码单元30-1执行恢复即可。可以由图像编码单元20-1和图像解码单元30-1预先设置该顺序。如果将用于识别重新排列顺序的信息附加到编码数据，则图像解码单元30-1可准确地执行恢复。

另外，与现有技术的DWT相似，带分割单元22不仅可针对一维块，而且可针对如图9A或9B所示的二维M×N像素块执行各种带分割。另外，在水平方向和垂直方向上可使用不同的滤波器。在带分割滤波器中，可使用除了DWT以外的滤波器。在图9A中，频率的高低为“1HH＞1HL＝1LH＞2HH＞2HL＝2LH＞3HH＞3HL＝3LH＞3LL”。在图9B中，频率的高低为“1HH＞1HL＝1LH＞2HL＞3HL＞3LL”。

[2-3-2.SB/ZBP检测单元的操作]

将说明SB/ZBP检测单元23的操作。图10示出了从带分割单元22输出的MDWT系数数据的绝对值在位深度方向上的展开。另外，每个位深度平面被称为位平面。在图10中，例如，子带3L的系数数据是“74，9”，子带3H的系数数据是“21，19”，子带2H的系数数据是“10，54，59，21”，子带1H的系数数据是“13，9，25，20-1，5，1，0，0”。如果MDWT系数数据是“74(十进制数)”，则使用9比特的位流在位深度方向上由“001001010”表示系数数据。另外，频率的高低为“1H＞2H＞3H＞3L”。

SB是当从最高有效位(MSB)侧到最低有效位(LSB)侧观看每个系数数据的绝对值时最初变为“1”的位。在图10中，被圆形围绕的位对应于SB。ZBP指示当把MDWT系数数据的绝对值划分为包括J个系数数据的子块时子块内MSB侧的SB的上一层所处位平面。在图10中，当子块尺寸为J＝2时，由斜线表示的位平面是ZBP。

在位平面中，SB、ZBP和下述的TP索引设置在位深度方向上。在图10中，MSB的位平面的索引IDXbp、MSB的位平面位置的SB的索引IDXsb以及TP的索引IDXtp被设置为“0”。另外，LSB的位平面的索引IDXbp、LSB的位平面的SB的索引IDXsb以及TP的索引IDXtp被设置为“8”。因为ZBP表示位于SB的上一层的位平面，所以ZBP的索引IDXzbp被设置为通过将“1”与SB的索引IDXsb相加而获得的值，如图10所示。

SB/ZBP检测单元23执行用于获得SB的索引IDXsb和ZBP的索引IDXzbp的操作。即，如图10所示，SB/ZBP检测单元23针对每个MDWT系数数据获得SB的索引IDXsb，作为SB检测结果DTsb。另外，针对包括J个系数数据的每个子块获得ZBP的索引IDXzbp，并且ZBP检测结果被设置为DTzbp。尽管图10示出了一维MDWT系数数据的绝对值，但是位精度或带分割可以不同，或者可以使用二维数据。也就是说，ZBP的子块尺寸可以是J×K。尽管在图10中位平面的子块尺寸等于ZBP的尺寸，但是可以使用不同的尺寸，例如E×F。

[2-3-3.熵编码单元的操作]

将说明熵编码单元24的操作。熵编码单元24对作为ZBP检测结果DTzbp的索引IDXzbp、TP的索引IDXtp和位平面这三种类型进行熵编码。

首先，将说明ZBP的索引IDXzbp的熵编码方法。在每个子块中存在一个ZBP。由于当属于低频带分量时ZBP在统计学上有具有小索引的倾向，所以使用ZBP所属于的频带(子带)作为上下文，索引IDXzbp被变为作为编码数据的符号。具体地，使用图11所示的变换表，选择ZBP的索引IDXzbp与ZBP所属于的子带的组合所对应的符号作为编码结果。

图11所示的变换表使用例如哈夫曼表等，该表是基于统计数据准备的。如果当属于低频带分量时ZBP在统计学上有具有小索引的倾向，则例如在子带3L中，索引IDXzbp的值小的符号00被设置为短位流。另外，索引IDXzbp的值大的符号09等被设置为比符号00长的位流。另外，例如，在子带1H中，索引IDXzbp的值大的符号09被设置为短位流。另外，索引IDXzbp的值小的符号00等被设置为比符号09长的位流。通过基于索引IDXzbp的统计数据设置符号的位长度，可以提高ZBP的编码效率。

另外，变换表不限于使用一个变换表的情况，可以从多个变换表中选择用于编码的变换表。例如，使用两种类型的表，包括适用于相对符合统计数据的ZBP的索引IDXzbp(编码简单)的ZBP_Easy_table和适用于偏离统计数据的ZBP的索引IDXzbp(编码困难)的ZBP_Hard_table。

图12是示出了使用两种类型的变换表执行ZBP的索引IDXzbp的熵编码方法的情况下的操作的流程图。

在步骤ST21，熵编码单元24执行ZBP_Hard_table的编码。熵编码单元24从ZBP_Hard_table选择ZBP所属于的频带和与ZBP的索引IDXzbp对应的符号，以执行索引IDXzbp的编码。另外，熵编码单元24将对子块的索引IDXzbp进行编码的结果的位长度相加，获得M×N像素的块单位的位流长度LBSh，然后前进到步骤ST22。

在步骤ST22，熵编码单元24使用ZBP_Easy_table执行编码。熵编码单元24从ZBP_Easy_table选择ZBP所属于的频带和与ZBP的索引IDXzbp对应的符号，以执行索引IDXzbp的编码。另外，熵编码单元24将对子块的索引IDXzbp进行编码的结果的位长度相加，获得M×N像素的块单位的位流长度LBSe，然后前进到步骤ST23。

在步骤ST23，熵编码单元24确定位流长度LBSh是否短于位流长度LBSe。当位流长度LBSh短于位流长度LBSe时，熵编码单元24前进到步骤ST24，当位流长度LBSh不短于位流长度LBSe时，熵编码单元24前进到步骤ST25。

在步骤ST24，熵编码单元24输出使用ZBP_Hard_table的编码结果。另外，在步骤ST25，熵编码单元24输出使用ZBP_Easy_table的编码结果。

这样，如果使用多个变换表，则通过使用所有变换表执行编码并采用具有最小位流长度的变换表来作出使用哪个变换表的决定。

图13是示出了使用两种类型的变换表执行ZBP的索引IDXzbp的熵编码方法的情况下的另一操作的流程图。

在步骤ST26，熵编码单元24执行ZBP平均值计算。熵编码单元24计算M×N像素的块单位的ZBP的索引IDXzbp的平均值WZavg，然后前进到步骤ST27。

在步骤ST27，熵编码单元24确定平均值WZavg是否小于阈值WZth。当确定ZBP的索引IDXzbp的平均值WZavg小于阈值WZth时，熵编码单元24前进到步骤ST28，当确定ZBP的索引IDXzbp的平均值WZavg不小于阈值WZth时，熵编码单元24前进到步骤ST29。

在步骤ST28，熵编码单元24输出使用ZBP_Hard_table的编码结果。熵编码单元24从ZBP_Hard_table选择ZBP所属于的频带和与ZBP的索引IDXzbp对应的符号，并输出所选择的符号作为编码结果。

在步骤ST29，熵编码单元24输出使用ZBP_Easy_table的编码结果。熵编码单元24从ZBP_Easy_table选择ZBP所属于的频带和与ZBP的索引IDXzbp对应的符号，并输出所选择的符号作为编码结果。

这样，如果使用多个变换表，则基于ZBP的索引IDXzbp的平均值WZavg作出使用哪个变换表的决定。

另外，如果使用多个变换表，为了使图像解码单元30-1可以确定使用了哪个变换表进行编码，设置模式标志以能够确定编码所用的变换表。

接下来，将说明TP的索引IDXtp的熵编码方法。与ZBP相似，例如，针对图14所示的每个子块使用哈夫曼表对TP的索引IDXtp进行编码以产生位流。因为TP由截断单元26决定，所以当执行熵编码时，TP的索引IDXtp尚未决定。因此，可变成TP的索引IDXtp的所有东西都被熵编码。具体地，位于ZBP的下一层的位平面的所有位置的TP的索引IDXtp被熵编码，使得在位于图10的ZBP之下的位平面的任何位置处设置TP。另外，与ZBP的情况相似，可以使用多个变换表。例如，使用两种类型的表，包括适用于相对符合统计数据的TP的索引(编码简单)的TP_Easy_table和适用于偏离统计数据的TP的索引(编码困难)的TP_Hard_table。

图15是示出了使用两种类型的变换表执行TP的索引IDXtp的熵编码方法的情况下的操作的流程图。在步骤ST31，熵编码单元24确定是否选择了ZBP_Hard_table。当选择了ZBP_Hard_table时，熵编码单元24前进到步骤ST32，当未选择ZBP_Hard_table时，熵编码单元24前进到步骤ST33。

在步骤ST32，熵编码单元24输出使用TP_Hard_table的编码结果。熵编码单元24从TP_Hard_table选择TP所属于的频带和与TP的索引IDXtp对应的符号以执行索引IDXtp的编码，并输出选择的符号作为编码结果。

在步骤ST33，熵编码单元24输出使用TP_Easy_table的编码结果。熵编码单元24从TP_Easy_table选择TP所属于的频带和与TP的索引IDXtp对应的符号以执行索引IDXtp的编码，并输出选择的符号作为编码结果。

这样，如果使用多个变换表，通过采用趋于与ZBP所采用的变换表相似的变换表，作出使用哪个变换表的决定。

图16是示出了使用两种类型的变换表执行TP的索引IDXtp的熵编码方法的情况下的另一操作的流程图。

在步骤ST36，熵编码单元24确定平均值WZavg是否小于阈值WZth。当确定了ZBP的索引IDXzbp的平均值WZavg小于阈值WZth时，熵编码单元24前进到步骤ST37，当ZBP的索引IDXzbp的平均值WZavg不小于阈值WZth时，熵编码单元24前进到步骤ST38。

在步骤ST37，熵编码单元24输出使用TP_Hard_table的编码结果。熵编码单元24从TP_Hard_table选择TP所属于的频带和与TP的索引IDXtp对应的符号以执行索引IDXtp的编码，并输出选择的符号作为编码结果。

在步骤ST38，熵编码单元24输出使用TP_Easy_table的编码结果。熵编码单元24从TP_Easy_table选择TP所属于的频带和与TP的索引IDXtp对应的符号以执行索引IDXtp的编码，并输出选择的符号作为编码结果。

这样，如果使用多个变换表，则通过使用ZBP的索引IDXzbp的平均值WZavg，作出使用哪个变换表的决定。

如图15和16所示，使用ZBP的索引IDXzbp的原因是因为当获得SB的索引IDXsb和ZBP的索引IDXzbp时没有决定TP，因而TP的索引自身未被用作上下文。另外，这是因为使用ZBP的索引IDXzbp和TP的索引IDXtp之间的相关性执行高效编码。

另外，如果使用多个变换表，为了使图像解码单元30-1可以确定使用了哪个变换表进行编码，设置模式标志以确定编码所用的变换表。

接下来，将说明位平面的编码方法。在位平面中，如图10所示，在位深度方向分解MDWT系数数据的绝对值。另外，位平面被划分成子块。例如，在图10中，最左侧子带3L的子块(索引IDXbk为“0”的子块)的索引IDXbp为“2”的位平面为“1，0”。使用下面的方法对该值“1，0”进行编码。

即使在位平面的熵编码中，类似地，通过例如参照一个或多个哈夫曼表产生位流。在位平面的熵编码中，与ZBP或TP不同，对位平面的系数位(例如，值“1，0”)进行编码。作为变换表的上下文，使用位平面的索引IDXbp、位平面所属于的子带、下述的SB_flag等。

如果将位平面的索引IDXbp用作上下文，则可以使用位平面的“1”和“0”的分布的统计。也就是说，如果位平面的位深度浅(索引小)，则位平面的值倾向于变为“0”。如果位平面的位深度深(索引大)，则作为位平面的值，“1”和“0”倾向于具有相同的分布。使用这种分布的统计，可以提高编码效率。

如果将位平面所属于的子带用作上下文，则因为存在MDWT系数数据的绝对值在较低频带中较大的倾向，所以可以使用该倾向与位平面的“0”和“1”的倾向之间的相关性。SB_flag是使用SB状态的上下文，具体地说，是表示在对待编码位平面进行编码的情况下在比该待编码位平面高的位处是否存在SB的标志。SB_flag是基于作为SB检测结果DTsb的索引IDXsb而产生的。例如，在图17中，被圆形围绕的位是由索引IDXsb表示的SB。如果对索引IDXbp为“4”的位平面进行编码，则SB_flag为“1，0”。如果SB_flag包括“0”，则位平面的值也倾向于为“0”。因此，通过使用SB_flag例如作为哈夫曼表的上下文，可以提高编码效率。即使在位平面的编码中，也可以使用多个变换表。

图18是示出使用两种类型的变换表执行位平面的熵编码方法的情况下的操作的流程图

在步骤ST41，熵编码单元24执行使用BitPlane_Hard_table的编码。熵编码单元24使用BitPlane_Hard_table执行位平面的编码，获得位流长度LBSPh，然后前进到步骤ST42。

在步骤ST42，熵编码单元24执行使用BitPlane_Easy_table的编码。熵编码单元24使用BitPlane_Easy_table执行位平面的编码，获得位流长度LBSPe，然后前进到步骤ST43。

在步骤ST43，熵编码单元24确定位流长度LBSPh是否短于位流长度LBSPe。如果位流长度LBSPh短于位流长度LBSPe，则熵编码单元24前进至步骤ST44，如果位流长度LBSPh不短于位流长度LBSPe，则熵编码单元24前进至步骤ST45。

在步骤ST44，熵编码单元24输出通过使用BitPlane_Hard_table执行位平面的编码而获得的编码结果。另外，在步骤ST45，熵编码单元24输出通过使用BitPlane_Easy_table执行位平面的编码而获得的编码结果。

这样，如果使用多个变换表，则通过按所有变换表执行编码并采用具有最小位流长度的变换表，作出使用哪个变换表的决定。

另外，如果使用多个变换表，为了使图像解码单元30-1可以确定使用了哪个变换表进行编码，设置模式标志以确定编码所用的变换表。

在ZBP、TP和位平面的各个熵编码中，当产生位流时，熵编码单元24记录位流长度。它们在后段的失真特性估计单元25中是必要的。特别地，在每个位平面和每个子块中，有必要记录TP和位平面的位流长度，以执行截断。

[2-3-4.失真特性估计单元的操作]

将说明失真特性估计单元25的操作。截断单元26执行截断以使得作为熵编码结果获得的位流BSa和代码CEs适合目标代码长度。截断单元26确定使用哪个位平面的哪个位流以及截断哪个位平面的哪个位流，从而在目标代码长度内获得最佳图像质量。为此，失真特性估计单元25估计表示代码量和失真之间的关系的失真特性，以确定由截断单元26截断哪个位平面。

失真特性估计单元25是用于估计表示代码量和失真之间的关系的失真特性的算法，并使用例如在“David Taubman，Michael Marcellin，JPEG2000：Image Compression Fundamentals，Standards and Practice(The Springer International Series in Engineering and Computer Science)″，paragraph 8.3.5″DISTORTION COMPUTATION”中公开的方法。

失真特性估计单元25从子块尺寸的每个位平面的代码长度(ΔRi(p))和当截断子块的位平面时产生的编码失真(ΔDi(p))，计算表示代码长度的编码失真的变化的斜率(ΔDi(p)/ΔRi(p))。式(1)示出了编码失真(ΔD_i ^(p))的计算式。

${\mathrm{\&Delta;D}}_i^{\left(p\right)}=G_{\mathrm{bi}}{\mathrm{\&Delta;}}_i^2{2}^{2p}(\underset{j,v_i^{\left(p\right)}\left[j\right]=1}{\mathrm{\&Sigma;}}{T}_s\left({\tilde{v}}_i^{(p+1)}\right[j\left]\right)+\underset{j,v_i^{\left(p\right)}\left[j\right]>1}{\mathrm{\&Sigma;}}{T}_m\left(2{\tilde{v}}_i^{(p+1)}\right[j\left]\right))---\left(1\right)$

在式(1)中，“p”表示位平面的索引IDXbp，“i”表示在图10的水平方向上分配的子块的索引IDXbk，“j”表示作为矢量的子块内的MDWT系数数据的集合。另外，“Gb”表示第b个子带(频率)的权重，Δ表示量化步幅。式(1)中的Ts等由式(2)至(5)表示。

${\tilde{v}}_i^{\left(p\right)}\left[j\right]=\frac{\left|y_i\right[j\left]\right|}{2^p\mathrm{\&Delta;}}-v^{\left(P\right)}\left[j\right]---\left(2\right)$

$T_s\left(\tilde{v}\right)={\left(2\tilde{v}\right)}^2-{(2\tilde{v}-\frac{3}{2})}^2---\left(4\right)$

在式(2)和(3)中，y_i[j]表示MDWT系数数据。

另外，失真特性估计单元25在以块为单位执行编码时提高块的端部的子块的位平面的权重，从而减轻块失真。具体地，执行式(6)的运算，并将指示子块是否属于块之间的边界的权重追加到编码失真(ΔD_i ^(p))。

E CΔD_i ^(p)＝Wi×ΔD_i ^(p)...(6)

在式(6)中，“Wi”表示根据第i个子块(索引IDXbk为“i”的子块)是否属于块之间的边界而确定的权重，并且如果该子块属于块之间的边界，则增大ECΔD_i ^(p)的值。也就是说，属于块之间的边界的子块使得该子块被截断时的失真与被加权之前相比被进一步增大，并且使得与其它位置的子块相比截断变得更难。

失真特性估计单元25计算ECΔD_i ^(p)并将斜率(ECΔD_i ^(p)/ΔRi(p))输出到截断单元26，作为失真特性估计结果Erd。

失真特性估计单元25可以针对每个子块和每个位平面计算ECΔD_i ^(p)，或者可以通过预先计算并将具有倾向的部分存储为表而按照必要的部分计算ECΔD_i ^(p)。另外，基于计算的ECΔD_i ^(p)，例如，可以针对每个子块获得并存储图19示出的R(频)-D(失真)曲线，并且可从该R-D曲线估计删除子块的位平面时的编码失真的变化。另外，在图19中，实线表示属于块之间的边界的子块的曲线，虚线表示不属于块之间的边界的子块的曲线。

[2-3-5.截断单元的操作]

截断单元26基于从失真特性估计单元25输出的失真特性估计结果Erd，执行用于获得目标代码长度内的最佳图像质量的位平面的拣选(sorting)。图20A至21B是示出截断单元26的操作的图。

截断单元26将TP初始化在ZBP的位置。图20A示出了ZBP和TP彼此重叠的状态。另外，右向上升斜线表示ZBP，左向上升斜线表示TP。

在图20A的状态下，截断单元26比较位于每个TP的下一层的位平面的斜率(ECΔD_i ^(p)/ΔRi(p))的值。截断单元26将TP移动到具有最大值(ECΔD_i ^(p)/ΔRi(p))的位平面。例如，当子块“0”的值(ECΔD_i ^(p)/ΔRi(p))最大时，如图20B所示，在子块“0”中，截断单元26将TP从位平面“1”移动到位平面“2”。也就是说，截断单元26执行处理以使得对于被确定为当执行截断时编码失真增加最多的位平面不执行截断。

类似地，截断单元26在更新TP的位置后再次比较位于每个TP的下一层的位平面的值(ECΔD_i ^(p)/ΔRi(p))，并将TP移动到具有最大值(ECΔD_i ^(p)/ΔRi(p))的位平面。例如，当子块“2”的值(ECΔD_i ^(p)/ΔRi(p))最大时，如图20C所示，在子块“2”中，截断单元26将TP从位平面“2”移动到位平面“3”。

截断单元26比较位于TP的下一层的位平面的值(ECΔD_i ^(p)/ΔRii(p))，并且基于比较结果重复移动TP的处理，直到位流的总代码长度达到目标代码长度或者直到完成了所有比较。另外，图21B示出了位流的总代码长度达到目标代码长度的状态。

位流的总代码长度是所有ZBP的索引IDXzbp、从位于ZBP的下一层的位置到TP的位平面、当前位置的所有TP的索引IDXtp以及MDWT系数数据的代码的各编码结果的位长度之和。在MDWT系数数据的代码的编码中，MDWT系数数据被编码直至TP的当前位置，当针对位于当前位置之下的位置执行截断时，仅对与有意义的系数数据(0以外)对应的代码进行编码。该编码方法例如包括在代码为正时附加“0”并在代码为负时附加“1”的方法、或者熵编码方法。

图22是示出了截断单元26的操作的流程图。在步骤ST51，截断单元26执行TP的初始化。在TP被设置到ZBP的位置的状态下，截断单元26前进到步骤ST52。

在步骤ST52，截断单元26确定扫描是否完成。当所有位平面和代码的扫描完成时，截断单元26完成处理，当扫描未完成时，截断单元26前进到步骤ST53。

在步骤ST53，截断单元26指定位于TP的下一层的具有最大值的位平面。截断单元26比较位于TP的下一层的位平面的值(ECΔD_i ^(p)/ΔRi(p))，指定具有最大值的位平面，然后前进到步骤ST54。

在步骤ST54，截断单元26确定总代码长度是否达到目标代码长度。当TP前进至步骤ST53中的指定位平面时，截断单元26在位流的总代码长度不是等于或小于目标代码长度时前进到步骤ST55，在位流的总代码长度等于或小于目标代码长度时完成处理。

在步骤ST55中，截断单元26执行使TP前进到指定位平面的处理。截断单元26执行使TP前进到在ST53中指定的位平面，然后返回到步骤ST52。

截断单元26执行使得位流的总代码长度等于或小于目标代码长度的处理。另外，在截断时，在对所有位平面进行编码的情况下，执行无损编码。另外，在总代码长度短于目标代码长度的情况下，可以使用相同的算法执行无损编码，由此与日本专利No.3918263的DPCM相比提高了图像质量。即使在不执行无损编码的情况下，由于重复进行截断直到总代码长度变得近乎于目标代码长度，所以可以减少编码数据内的无效位的数量。

[2-3-6.打包单元的操作]

打包单元27将模式标志MF和截断后的位流(ZBP、TP、位平面、代码)Bsb转换成预定格式，并产生可由图像解码单元30-1解码的编码数据Dpd。模式标志MF可根据需要被熵编码，或者位流可以被不加改变地编码。另外，根据需要，可以收集用于解码/图像质量提高功能的附加信息、评论或DC值并将其编码。可以任意选择编码数据的格式，只要该格式是可由图像解码单元30-1解码的格式即可。存在下面的限制。

-在解码每个位流之前，解码与之对应的模式标志。

-在解码位平面之前，解码ZBP和TP。

-在解码代码之前，解码位平面。

图23示出了格式的例子。例如，首先，提供附加信息的位流，接着提供表示ZBP的索引IDXzbp的编码结果的位流。之后，依次提供表示TP的索引IDXtp的编码结果的位流、MDWT系数数据的绝对值的编码结果的位流、代码的编码结果的位流，并将它们输出到图像解码单元30-1等。另外，打包单元27可以具有收集多个分量信号的编码数据作为一个编码数据的功能。

[2-4.第一实施例的图像解码单元的结构]

在图24中示出了第一实施例的图像解码单元的结构。图像解码单元30-1包括解包单元31、熵解码单元32、舍入位附加单元33、带合成单元34、IDC电平位移单元35等。

解包单元31接收由图像编码单元30-1产生的具有预定格式的编码数据Dpd，执行分析，并获取由熵解码单元32解码位流所需的附加信息。解包单元31例如从具有图23所示的格式的编码数据中将位流和解码该位流所需的信息(包括模式标志)分离。另外，如果多个分量信号的编码数据被收集为一个编码数据，则解包单元31执行这种分离并将可解码的位流BSb输出到熵解码单元32。

熵解码单元32执行从解包单元31输出的位流BSb的熵解码，获得ZBP和TP的索引IDXzbp和IDXtp，并使用这些索引执行MDWT系数数据的绝对值的解码。熵解码单元32将解码的MDWT系数数据的绝对值CEb和TP的索引IDXtp输出到舍入位附加单元33。熵解码单元32将代码CEs输出到带合成单元34。

舍入位附加单元33基于MDWT系数数据的绝对值CEb和TP的索引IDXtp，估计被图像编码单元20-1截断的位平面的位流并执行MDWT系数数据的绝对值的恢复。舍入位附加单元33将恢复的MDWT系数数据的绝对值CEc输出到带合成单元34。

带合成单元34使用恢复的MDWT系数数据的绝对值CEc和代码CEs执行逆改进离散变换。该逆改进离散变换是使图像编码单元20-1的带分割单元22获得的系数数据返回到变换前的图像数据的处理。带合成单元34将通过逆改进离散变换获得的解码的DC电平位移数据DVc输出到IDC电平位移单元35。

IDC电平位移单元35将一DC值与解码的DC电平位移数据DVc相加，并将块单位的图像数据DVd输出到图像解码单元30-1的外部。该DC值等于在图像编码单元20-1的DC电平位移单元21中使用的DC值。

在截断单元中，当在不执行截断的情况下执行无损编码时，解码的DC电平位移数据DVc等于图像数据DVb，并且图像数据DVd等于图像数据DVa。

[2-5.第一实施例的图像解码单元的操作]

将使用图25的流程图说明第一实施例的图像解码单元的操作。在步骤ST61，图像解码单元30-1执行可解码位流的获取。图像解码单元30-1使用解包单元31分析具有预定格式的编码数据，从该编码数据获取可解码位流，然后前进到步骤ST62。

在步骤ST62，图像解码单元30-1执行位流的解码。图像解码单元30-1的熵解码单元32对表示ZBP和TP的索引IDXzbp和IDXtp进行解码，然后使用这些索引对MDWT系数数据的绝对值进行解码。另外，熵解码单元32执行代码的解码，然后前进到步骤ST63。

在步骤ST63，图像解码单元30-1执行舍入位的附加。图像解码单元30-1在舍入位附加单元33中将由图像编码单元20-1截断的位平面的位流估计并设置为舍入位。另外，舍入位附加单元33将估计的舍入位与解码的MDWT系数数据的绝对值相加，执行MDWT系数数据的绝对值的恢复，然后前进到步骤ST64。

在步骤ST64，图像解码单元30-1执行逆改进离散小波变换(IMDWT)。图像解码单元30-1的带合成单元34使用恢复的MDWT系数数据的绝对值和解码的代码执行IMDWT，获得解码的DC电平位移信号，然后前进到步骤ST65。

在步骤ST65，图像解码单元30-1执行IDC电平位移。图像解码单元30-1在IDC电平位移单元35中将DC电平与解码的DC电平位移信号相加，获得解码的图像数据，从而完成处理。

[2-6.图像解码单元的各单元的操作]

[2-6-1.熵解码单元的操作]

接下来，将说明熵解码单元32的操作。熵解码单元32接收从解包单元31提供的位流和解码所需的附加信息(包括表示用于位流的编码的变换表的模式标志)作为输入。

熵解码单元32对ZBP的索引IDXzbp和TP的索引IDXtp进行解码。使用如在图像编码单元20-1的熵编码单元24的操作中说明的例如一个或多个哈夫曼表，对ZBP的索引IDXzbp和TP的索引IDXtp进行了编码。因此，熵解码单元32通过模式标志确定进行编码使用了哪个变换表。

图26是示出了ZBP的索引IDXzbp的解码操作的流程图。在步骤ST71，熵解码单元32确定编码是否是使用ZBP_Hard_table执行的。熵解码单元32基于附加信息中的模式标志确定ZBP的索引IDXzbp的编码所用的变换表。当确定使用了ZBP_Hard_table时，熵解码单元32前进到步骤ST72，当确定使用了ZBP_Easy_table时，熵解码单元32前进到步骤ST73。

在步骤ST72，熵解码单元32使用ZBP_Hard_table执行解码。熵解码单元32使用ZBP_Hard_table执行解码，获取ZBP的索引IDXzbp，从而完成解码操作。

在步骤ST73，熵解码单元32使用ZBP_Easy_table执行解码。熵解码单元32使用ZBP_Easy_table执行解码，获取ZBP的索引IDXzbp，从而完成解码操作。

图27是示出了TP的索引的解码操作的流程图。在步骤ST76，熵解码单元32确定编码是否是使用TP_Hard_table执行的。熵解码单元32基于附加信息确定TP的索引IDXtp的编码所用的变换表。当确定使用了TP_Hard_table时，熵解码单元32前进到步骤ST77，当确定使用了TP_Easy_table时，熵解码单元32前进到步骤ST78。

在步骤ST77，熵解码单元32使用TP_Hard_table执行解码。熵解码单元32使用TP_Hard_table执行解码，获取TP的索引IDXtp，从而完成解码操作。

在步骤ST78，熵解码单元32使用TP_Easy_table执行解码。熵解码单元32使用TP_Easy_table执行解码，获取TP的索引IDXtp，从而完成解码操作。

作为解码ZBP的索引IDXzbp和TP的索引IDXtp的结果，确定编码了位平面的哪个部分。例如，在图28中，通过解码获得的ZBP的索引IDXzbp所表示的位置由右向上升斜线表示。通过解码获得的TP的索引IDXtp所表示的位置由左向上升斜线表示。如果获得了ZBP的索引IDXzbp和TP的索引IDXtp，则可将从位于ZBP之下的位平面到由TP的索引IDXtp表示的位平面的范围确定为编码范围。另外，从编码范围变明显的观点看，确定了通过解码位流而获得的数据属于哪个位平面的哪个子块。

在图28中，位于由TP的索引IDXtp表示的位平面之下的填充位平面是由图像编码单元20-1截断的位平面。

表示MDWT系数数据的绝对值的位流使用如在图像编码单元20-1的熵编码单元24的操作中说明的例如一个或多个哈夫曼表进行了编码。熵解码单元32根据附加信息中的模式标志确定使用哪个变换表执行了编码。

图29是示出了表示MDWT系数数据的绝对值的位流的解码操作的流程图。在步骤ST81，熵解码单元32确定编码是否是使用Coef_Hard_table执行的。熵解码单元32基于附加信息确定MDWT系数数据的绝对值的编码所用的变换表。当确定使用了Coef_Hard_table时，熵解码单元32前进到步骤ST82，当确定使用了Coef_Easy_table时，熵解码单元32前进到步骤ST83。在步骤ST82，熵解码单元32使用Coef_Hard_table执行解码。熵解码单元32使用Coef_Hard_table执行解码，获取表示MDWT系数数据的绝对值的数据，从而完成解码操作。在步骤ST83，熵解码单元32使用Coef_Easy_table执行解码。熵解码单元32使用Coef_Easy_table执行解码，获取表示MDWT系数数据的绝对值的数据，从而完成解码操作。另外，变换表或上下文的例子与如图像编码单元20-1的熵编码单元24的操作所说明的变换表或上下文的例子相同。

[2-6-2.舍入位附加单元的操作]

舍入位附加单元33估计被图像编码单元20-1截去的低次位，并恢复MDWT系数数据的绝对值。舍入位附加单元33基于TP的索引IDXtp确定被图像编码单元20-1截去的低次位的位置，并估计所确定的位置的数据。例如，在图28所示的情况下，舍入位附加单元33估计位于由TP的索引IDXtp指示的位平面之下的填充位平面的数据。

有几种估计方法，但是作为简单方法的例子，通过参考基于统计预先准备的表来获取估计数据。例如，如图30所示，舍入位附加单元33使用TP的索引IDXtp作为上下文，将对应于TP的索引IDXtp的值设置为估计数据。将TP的索引IDXtp用作上下文的原因是因为按照截断位平面的位置适当地附加该值。舍入位附加单元33将该估计数据与表示系数数据的绝对值的数据相加，并将相加的数据输出到带合成单元34。

[2-6-3.带合成单元的操作]

带合成单元34执行逆改进离散小波变换(IMDWT)，IMDWT是图像编码单元20-1执行的MDWT的逆改进离散变换。如在图像编码单元20-1中所述，MDWT基本等同于DWT，但是为了提高信号端的带分割精度，每当执行带分割时执行低频带信号的空间位置的替换。因此，带合成单元34通过编码时执行的操作的逆操作，使输入的MDWT系数数据中的低频带信号的空间位置返回到原始位置。之后，与IDWT相似，执行去交织、对象周期扩展和两级提升运算以执行带合成。另外，在重复带合成的情况下，首先执行使低频带信号返回到原始空间位置的操作。带合成单元34执行这种处理并产生解码的DC电平位移信号。

图31A至31F是示出了带合成单元34的操作的图。图31A示出了MDWT系数数据。如图31B所示，带合成单元34执行通过编码时执行的操作的逆操作使低频带信号的空间位置返回到原始位置的处理。接下来，带合成单元34执行如图31C所示的去交织，并执行如如31D所示的对象周期扩展。之后，带合成单元34执行两级提升运算以执行如图31E和31F所示的带合成，并产生图31F所示的解码的DC电平位移信号。

另外，与现有技术的IDWT相似，IMDWT不仅可以重构一维信号，而且可以重构针对二维块进行了带分割的各种信号。另外，在水平方向和垂直方向可以使用不同的滤波器。在信号重构滤波器中，可以使用IDWT以外的滤波器。

这样，当图像编码单元20-1和图像解码单元30-1执行图像数据的编码或解码时，由于针对通过频带分割获得的低频带分量的系数数据重新排列空间位置，所以对低频带分量的系数数据重复频带分割。即使当产生了多个频带的各频带的系数数据时，例如，因为使用扩展的图像数据产生的低频带分量的系数数据的位置不固定，所以由于使用扩展的图像数据而导致的频带分割精度降低的影响不会反复施加。因此，即使当以块单位执行图像编码时，也能获得具有低块失真的解码图像。

每预定数目的系数数据被划分为一个子块，估计当针对每个子块截断系数数据的位平面时图像的失真量的变化。对于估计结果，位于块的端部的子块被加权，使得与其它位置的子块相比不容易被截断。基于加权后的估计结果，检测图像失真低并且代码量在目标代码量之内的截断位置，并执行系数数据等的截断。因此，因为可以降低截断块的端部的系数数据的风险，所以可以减轻块之间的边界的失真。

<3.第二实施例>

[3-1.第二实施例的图像编码单元的结构]

图像编码单元和图像解码单元的结构不限于图5或图24的结构。图32示出了第二实施例的图像编码单元的结构。

图像编码单元20-2具有如下结构：从图5示出的图像编码单元20-1省去了DC电平位移单元21、失真特性估计单元25和打包单元27。

在此情况下，带分割单元22针对输入图像数据而不是DC电平位移的信号执行MDWT。另外，如果省去了作为执行截断的标准的失真特性估计单元25，例如，由失真特性估计单元25预先计算编码失真ECΔD_i ^(p)或斜率(ECΔD_i ^(p)/ΔRi(p))，并将其存储在失真特性表29中。失真特性表被输入到截断单元26，截断单元26基于失真特性表执行截断。另外，在熵编码单元24中，如果在ZBP、TP和位平面中使用的编码表的数量是1并且截断的位流没有附加信息，则可以从图像编码单元20-2输出截断的位流作为编码数据。在此情况下，打包单元27也可省去。

[3-2.第二实施例的图像解码单元的结构]

图33示出了第二实施例的图像解码单元的结构。图像解码单元30-2具有如下结构：从图24所示的图像解码单元30-1省去解包单元31、舍入位附加单元33和IDC电平位移单元35。

如果图32中所示的图像编码单元20-2产生的编码数据仅包括位流而不包括附加信息，则在图像解码单元30-2中可以不设置解包单元31。另外，因为舍入位附加单元33不是解码必需的部件并且是为了提高解码信号的图像质量而设置的，所以可以省去舍入位附加单元。当在图像编码单元20-2中不执行DC电平位移的情况下，可以不设置IDC电平位移单元35。因此，如果使用图33所示的结构的图像解码单元30-2，则可以解码从图像编码单元20-2输出的位流。

<4.第三实施例>

[4-1.第三实施例的图像编码单元的结构]

接下来，将说明与第一和第二实施例相比可以进一步个编码效率的第三实施例。图34示出了第三实施例的图像编码单元的结构。

与第一实施例相似，图像编码单元20-3包括DC电平位移单元21、带分割单元22、有效位(SB)/零位平面(ZBP)检测单元23、熵编码单元24、失真特性估计单元25、截断单元26和打包单元27。另外，在图像编码单元20-3中设置了ZBP正交变换单元28。

与第一实施例相似，DC电平位移单元21执行图像数据的DC分量的电平位移，以由带分割单元22高效执行频带分割。DC电平位移单元21例如从M×N像素的块单位的输入图像数据DVa减去一DC值，并将相减值输出到带分割单元22。带分割单元22执行从DC电平位移单元21输出的图像数据DVb的频带分割。带分割单元22在针对通过频带分割获得的低频带分量的系数数据重新排列空间位置之后再次执行频带分割，并从M×N像素的块内的图像数据产生多个频带的每个频带的系数数据。带分割单元22例如使用改进离散小波变换(MDWT)执行频带分割。带分割单元22将通过执行MDWT获得的MDWT系数数据的绝对值CEa输出到SB/ZBP检测单元23、熵编码单元24和失真特性估计单元25。此外，带分割单元22将通过执行MDWT获得的MDWT系数数据的代码CEs输出到截断单元26。SB/ZBP检测单元23从MDWT系数数据的绝对值检测有效位(SB)和零位平面(ZBP)。SB/ZBP检测单元23将SB检测结果DTsb输出到熵编码单元24和失真特性估计单元25。此外，SB/ZBP检测单元23将ZBP检测结果DTzbp提供给失真特性估计单元25、截断单元26和ZBP正交变换单元28。

第三实施例中提供的ZBP正交变换单元28执行ZBP检测结果DTzbp的正交变换。ZBP正交变换单元28使用ZBP检测结果DTzbp作为数值串执行正交变换并将作为变换后的数值串的ZBP正交变换结果DTtzbp提供给熵编码单元24。

熵编码单元24使用MDWT系数数据的绝对值CEa、SB检测结果DTsb和ZBP正交变换结果DTtzbp，对MDWT系数数据的绝对值CEa的位平面、ZBP和截断点(TP)进行熵编码。熵编码单元24将通过执行熵编码获得的位流BSa输出到截断单元26。另外，熵编码单元24将通过执行熵编码获得的位流长度DTbs输出到失真特性估计单元25和截断单元26。另外，熵编码单元24将通过执行熵编码获得的模式标志MF输出到打包单元27。

与第一实施例相似，失真特性估计单元25基于MDWT系数数据的绝对值CEa、SB检测结果DTsb、ZBP检测结果DTzbp和位流长度DTbs执行失真特性估计，并将失真特性估计结果Erd输出到截断单元26。截断单元26使用位流BSa、位流长度DTbs、ZBP检测结果DTzbp、代码CEs和失真特性估计结果Erd，决定使得代码量在预定目标代码量以内的编码对称的位流和代码。打包单元27将截断的位流BSb和模式标志MF转换成预定格式并制备可由图像解码单元30-3解码的编码数据Dpd。打包单元27将制备的编码数据Dpd从图像编码单元20-3输出。

[4-2.第三实施例的图像编码单元的操作]

图35是示出了根据第三实施例的图像编码单元的操作的流程图。在图35中，与第一实施例的图像编码单元对应的处理用相同的附图标记表示。

在步骤ST11，图像编码单元20-3执行DC电平位移。图像编码单元20-3通过DC电平位移单元21对输入图像数据DVa执行DC电平位移，然后前进到步骤ST12。

在步骤ST12，图像编码单元20-3执行MDWT。图像编码单元20-3通过带分割单元22对进行了DC电平位移的图像数据DVb执行MDWT，获得MDWT系数数据的绝对值CEa和代码CEs，然后前进到步骤ST13。

在步骤ST13，图像编码单元20-3执行SB和ZBP检测。图像编码单元20-3通过SB/ZBP检测单元23从MDWT系数数据的绝对值CEa检测SB和ZBP，然后前进到步骤ST13a。

在步骤ST13a，图像编码单元20-3执行ZBP检测结果的正交变换。图像编码单元20-3执行由SB/ZBP检测单元23获得的ZBP检测结果DTzbp的正交变换，计算ZBP正交变换结果DTtzbp，然后前进到步骤ST14。

在步骤ST14，图像编码单元20-3执行熵编码。图像编码单元20-3通过熵编码单元24针对MDWT系数数据的绝对值CEa的位平面、SB检测结果DTsb和ZBP正交变换结果DTtzbp执行熵编码，获得位流BSa、位流长度DTbs和模式标志MF，然后前进到步骤ST15。

在步骤ST15，图像编码单元20-3执行失真特性估计。图像编码单元20-3通过失真特性估计单元25基于MDWT系数数据的绝对值CEa、SB检测结果DTsb、ZBP检测结果DTzbp和位流长度DTbs执行失真特性估计，然后前进到步骤ST16。

在步骤ST16，图像编码单元20-3执行截断。图像编码单元20-3通过截断单元26基于位流BSa、位流长度DTbs、ZBP检测结果DTzbp、代码CEs和失真特性估计结果Erd，根据需要执行截断。当位流长度不适合目标代码长度时，图像编码单元20-3执行位流和代码的截断，并且当位流BSb的代码长度等于或小于目标代码长度时前进到步骤ST17。

在步骤ST17，图像编码单元20-3执行到预定格式的转换。图像编码单元20-3使用打包单元27将包括模式标志MF的附加信息和截断的位流BSb转换成预定格式，产生编码数据Dpd，从而完成编码处理。

[4-3.图像编码单元的各单元的操作]

接下来，将说明第三实施例的图像编码单元的各单元的操作。如以上的[2-3-1.带分割单元的操作]所述，带分割单元22除了离散小波变换(DWT)以外还针对低频带分量的系数数据重新排列空间位置，并且产生MDWT系数数据。

如以上的[2-3-2.SB/ZBP检测单元的操作]所述，SB/ZBP检测单元23获得从带分割单元22输出的每个MDWT系数数据的SB的索引IDXsb并将其设置为SB检测结果DTsb。对于包括J个系数数据的每个子块，获得ZBP的索引IDXzbp并将其设置为ZBP检测结果DTzbp。

ZBP正交变换单元28执行ZBP检测结果DTzbp的正交变换。ZBP正交变换单元28使用ZBP检测结果DTzbp作为数值串执行正交变换，并计算ZBP正交变换结果DTtzbp。ZBP正交变换单元28例如使用哈尔(Haar)变换作为正交变换。

式(7)和(8)示出了哈尔变换，“X(n)”表示输入的数值串，“Y(n)”表示输出的数值串，“N”表示数值串的元素的数目，“n”表示数值串的索引。另外，“n”为“0≤n＜N/2”。

Y(n+N/2)＝X(2n+1)-X(2n)...(7)

Y(n)＝X(2n)+(Y(n+N/2)＞＞1)...(8)

图36A至36D示出了哈尔变换的变换过程。图36A示出了当检测结果DTzbp是数值串且该数值串是“1，2，4，3，5，7，6，7”时的情况。ZBP正交变换单元28从包括8个数字的该数值串开始，执行“N＝8”的哈尔变换。如果执行式(7)的运算，则计算出图36B的左起第5到第8个值“1，-1，2，1”。如果使用用式(7)计算出的值和图36A的值执行式(8)的运算，则计算出图36B的左起第1到第4个值“1，4，6，6”。在式(8)中，(Y(n+N/2)＞＞1)是将“Y(n+N/2)”的数据向右移动一位以将数据减半的处理。

接下来，使用“N＝4”，针对图36B所示的数值串执行式(7)和(8)的运算。如果执行式(7)的运算，则计算出图36C的左起第3到第4个值“3，3”。如果使用用式(7)计算出的值和图36B的值执行式(8)的运算，则计算出图36C的左起第1到第2个值“2，6”。

接下来，使用“N＝2”，针对图36C所示的数值串执行式(7)和(8)的运算。如果执行式(7)的运算，则计算出图36D的左起第2个值“4”。如果使用用式(7)计算出的值和图36C的值执行式(8)的运算，则计算出图36D的左端的值“4”。因此，如果针对数值串“1，2，4，3，5，7，6，7”执行哈尔变换，则变换结果是“4，4，3，0，1，-1，2，1”。

这样，ZBP正交变换单元28执行表示ZBP检测结果DTzbp的数值串的正交变换并产生其中数值产生分布有偏倚的ZBP正交变换结果DTtzbp。

熵编码单元24使用ZBP正交变换结果DTtzbp代替[2-3-3.熵编码单元的操作]的说明中的ZBP检测结果DTzbp，对代表ZBP正交变换结果DTtzbp的索引IDXtzbp、TP的索引IDXtp以及位平面这三种类型进行熵编码。

图37示出了ZBP正交变换结果DTtzbp和索引IDXtzbp之间的关系。当如图10所示设置索引IDXtzbp时，代表ZBP正交变换结果DTtzbp的数值串变为“0至9”中的几个值。另外，如果代表ZBP正交变换结果DTtzbp的数值串变为“0至9”中的几个值，则ZBP正交变换结果DTtzbp的数值串变为“-9至9”的范围内的数值。因此，熵编码单元24设置与ZBP  交变换结果DTtzbp的正交变换值对应的索引IDXtzbp。

熵编码单元24使用变换表，对于每个索引，用索引IDXtzbp代替符号。变换表例如使用基于统计数据准备的哈夫曼表。如果如上所述执行ZBP检测结果DTzbp的正交变换，则产生IDXtzbp的各索引的概率会有偏倚。因此，如果使用其中数值产生分布有偏倚的ZBP正交变换结果DTtzbp执行熵编码，则与使用ZBP检测结果DTzbp执行熵编码的情况相比会减少代码量。具体地，使用图38所示的变换表，选择与ZBP的索引IDXtzbp和上下文的组合相对应的符号作为编码结果。图38所示的变换表使用基于统计数据准备的哈夫曼表等。

在使用哈尔变换的ZBP正交变换的情况下，每个索引所属于的哈尔变换的频带(子带)被用作上下文。这是因为由于哈尔变换的性质，索引的出现概率的统计性对于每个子带不同。

另外，变换表不限于使用一个变换表的情况，可从多个变换表中选择编码所用的变换表。例如，使用两种类型的表，包括适用于相对符合统计数据的ZBP的索引IDXzbp(编码简单)的ZBP_Easy_table和适用于偏离统计数据的ZBP的索引IDXzbp(编码困难)的ZBP_Hard_table。

在使用这两种类型的变换表执行索引IDXtzbp的熵编码方法的情况下，与图12的情况相似，执行使用ZBP_Hard_table的编码和使用ZBP_Easy_table的编码，获得M×N像素的块单位的位流长度。另外，比较获得的位流长度，选择并输出具有短位流长度的编码结果。使用索引IDXtzbp的平均值代替图13的情况的索引IDXzbp的平均值，根据该平均值和阈值的比较结果，可以输出使用ZBP_Hard_table或ZBP_Easy_table中的任一个的编码结果。

如以上的[2-3-3.熵编码单元的操作]中所述，熵编码单元24执行TP的索引IDXtp的熵编码或位平面的编码，并产生位流。在位平面的熵编码中，与ZBP正交变换结果或TP的编码不同，对位平面的系数位(例如，“1，0”的值)进行编码。作为变换表的上下文，使用位平面的索引IDXbp、位平面所属于的子带、SB_flag等。

熵编码单元24在ZBP正交变换结果、TP和位平面的熵编码中，当产生位流时记录各个位流长度。它们在后段的失真特性估计单元25中是必要的。特别地，在每个位平面和每个子块中，有必要记录TP和位平面的位流长度，以执行截断。

失真特性估计单元25估计表示代码量和失真之间的关系的失真特性，以确定哪个位平面由截断单元26截断，如以上的[2-3-4.失真特性估计单元的操作]中所述。

截断单元26基于从失真特性估计单元25输出的失真特性估计结果Erd，执行用于获得目标代码长度内的最佳图像质量的位平面的拣选，如以上的[2-3-5.截断单元的操作]中所述。打包单元27将截断后的位流(ZBP、TP、位平面、代码)BSb和模式标志MF转换成预定格式并产生可由图像解码单元30-3解码的编码数据Dpd，如以上的[2-3-6.打包单元的操作]中所述。

[4-4.第三实施例的图像解码单元的结构]

图39示出了第三实施例的图像解码单元的结构。与第一实施例相似，图像解码单元30-3包括解包单元31、熵解码单元32、舍入位附加单元33、带合成单元34、IDC电平位移单元35等。在图像解码单元30-3中设置了ZBP解码单元37和ZBP逆正交变换单元38。

解包单元31接收由图像编码单元20-3产生的具有预定格式的编码数据Dpd，执行分析，并获取由熵解码单元32解码位流所需的附加信息。解包单元31例如从具有图23所示的格式的编码数据中将位流和解码该位流所需的信息(包括模式标志)分离。另外，如果多个分量信号的编码数据被收集为一个编码数据，则解包单元31执行这种分离并将可解码的位流BSb与解码该位流所需的附加信息一起输出到熵解码单元32和ZBP解码单元37。

ZBP解码单元37使用解码ZBP所需的附加信息(例如，表示编码时的变换表的标志)执行位流的解码。ZBP解码单元37使用与编码期间相同的变换表执行位流的熵解码并产生索引IDXtzbp。另外，ZBP解码单元37根据与编码期间相同的规则，将索引IDXtzbp替换为ZBP正交变换结果DTtzbp，并将替换结果输出到ZBP逆正交变换单元38。

ZBP逆正交变换单元38执行从ZBP解码单元37提供的ZBP正交变换结果DTtzbp的逆正交变换，产生ZBP检测结果DTzbp并将其输出到熵解码单元32。

熵解码单元32执行从解包单元31输出的位流BSb的熵解码，获得TP的索引IDXtp，并使用索引IDXtp和ZBP检测结果DTzbp执行MDWT系数数据的绝对值的解码。熵解码单元32将解码的MDWT系数数据的绝对值CEb和通过执行位流BSb的熵解码而获得的TP的索引IDXtp输出到舍入位附加单元33。熵解码单元32将代码CEs输出到带合成单元34。

舍入位附加单元33基于MDWT系数数据的绝对值CEb和TP的索引IDXtp，估计被图像编码单元20-3截断的位平面的位流并执行MDWT系数数据的绝对值的恢复。舍入位附加单元33将恢复的MDWT系数数据的绝对值CEc输出到带合成单元34。

带合成单元34使用恢复的MDWT系数数据的绝对值CEc和代码CEs执行逆改进离散变换。该逆改进离散变换是使图像编码单元20-3的带分割单元22获得的系数数据返回到变换前的图像数据的处理。带合成单元34将通过逆改进离散变换获得的解码的DC电平位移数据DVc输出到IDC电平位移单元35。

IDC电平位移单元35将一DC值与解码的DC电平位移数据DVc相加，并将块单位的图像数据DVd输出到图像解码单元30-3的外部。该DC值等于在图像编码单元20-3的DC电平位移单元21中使用的DC值。

[4-5.第三实施例的图像解码单元的操作]

接下来，将使用图40的流程图说明第三实施例的图像解码单元的操作。在图40中，与第一实施例的图像解码单元对应的处理用相同的附图标记表示。

在步骤ST61，图像解码单元30-3执行可解码位流的获取。图像解码单元30-3使用解包单元31分析具有预定格式的编码数据，从该编码数据获取可解码位流，然后前进到步骤ST61a。

在步骤ST61a，图像解码单元30-3执行ZBP解码。图像解码单元30-3使用由解包单元31获得的位流执行ZBP解码，获取ZBP正交变换结果DTtzbp，然后前进到步骤ST61b。

在步骤ST61b，图像解码单元30-3执行ZBP逆正交变换。图像解码单元30-3执行ZBP正交变换结果DTtzbp的逆正交变换，产生ZBP检测结果DTzbp，然后前进到步骤ST62。

在步骤ST62，图像解码单元30-3执行位流的解码。图像解码单元30-3在熵解码单元中对表示TP的索引IDXtp进行解码，然后使用该索引IDXtp和在步骤ST61b中产生的ZBP检测结果DTzbp对MDWT系数数据的绝对值进行解码。另外，图像解码单元30-3在熵解码单元32中执行代码的解码，然后前进到步骤ST63。

在步骤ST63，图像解码单元30-3执行舍入位的附加。图像解码单元30-3在舍入位附加单元33中将由图像编码单元20-3截断的位平面的位流估计并设置为舍入位。另外，图像解码单元30-3在舍入位附加单元33中将估计的舍入位与解码的MDWT系数数据的绝对值相加，执行MDWT系数数据的绝对值的恢复，然后前进到步骤ST64。

在步骤ST64，图像解码单元30-3执行逆改进离散小波变换(IMDWT)。图像解码单元30-3在带合成单元34中使用恢复的MDWT系数数据的绝对值和解码的代码执行IMDWT，获得解码的DC电平位移信号，然后前进到步骤ST65。

在步骤ST65，图像解码单元30-3执行IDC电平位移。图像解码单元30-3在IDC电平位移单元35中将DC值与解码的DC电平位移信号相加，从而完成处理。

[4-6.第三实施例的图像解码单元的各单元的操作]

熵解码单元32接收从解包单元31提供的位流和解码所需的附加信息(包括表示用于位流的编码的变换表的模式标志)作为输入，如以上的[2-6-1.熵解码单元的操作]中所述。

ZBP解码单元37使用解码ZBP所需的附加信息(例如，表示编码时的变换表的标志)执行位流的解码。ZBP解码单元37使用与编码时相同的变换表执行位流的熵解码并产生索引IDXtzbp。另外，ZBP解码单元37根据与编码期间相同的规则，将索引IDXtzbp替换为ZBP正交变换结果DTtzbp，并将替换结果DTtzbp输出到ZBP逆正交变换单元38。

ZBP解码单元37确定对索引IDXtzbp进行编码使用了ZBP_Hard_table和ZBP_Easy_table中的哪一个，使用确定的表执行解码，从而获取索引IDXtzbp。ZBP解码单元37基于图37所示的表将获取的索引IDXtzbp变换成ZBP正交变换结果DTtzbp的数值。

ZBP逆正交变换单元38执行从ZBP解码单元37提供的ZBP交变换结果DTtzbp的逆正交变换，产生ZBP检测结果DTzbp并将其输出到熵解码单元32。ZBP逆正交变换单元38执行与图像编码单元20-3的ZBP正交变换单元28执行的正交变换对应的逆正交变换。

例如，如果ZBP正交变换单元28执行了哈尔变换，则ZBP逆正交变换单元38执行逆哈尔变换。

式(9)和(10)示出了逆哈尔变换，“Y(n)”表示进行了正交变换(逆正交变换前)的数值串，“X(n)”表示正交变换前(逆正交变换后)的数值串，“N”表示数值串的元素的数目，“n”表示数值串的索引。另外，“n”为“0≤n＜N/2”。

X(2n)＝Y(n)-(Y(n+N/2)＞＞1)...(9)

X(2n+1)＝X(2n)+Y(n+N/2)...(10)

图41A至41D示出了逆哈尔变换的变换过程。图41A示出了当ZBP正交变换结果DTtzbp是数值串“4，4，3，0，1，-1，2，1”时的情况。ZBP逆正交变换单元38执行“N＝2”时式(9)和(10)的运算。如果执行式(9)的运算，则计算出图41B的左端的值“2”。在式(9)中，(Y(n+N/2)＞＞1)是将“Y(n+N/2)”的数据向右移动1位以使数据减半的处理。

接下来，如果使用用式(9)计算出的值和图41A的值执行式(10)的运算，则计算出图41B的左起第二个值“6”。

接下来，使用“N＝4”，针对图41B所示的数值串执行式(9)和(10)的运算。如果执行式(9)的运算，则计算出图41C的左起第一和第二个值“1，4”。另外，如果使用用式(9)计算出的值和图41B的值执行式(10)的运算，则计算出图41C的左起第三和第四个值“6，6”。

接下来，使用“N＝8”，针对图41C所示的数值串执行式(9)和(10)的运算。如果执行式(9)的运算，则计算出图41D的左起第一至第四个值“1，2，4，3”。如果使用用式(9)计算出的值和图41C的值执行式(10)的运算，则计算出图41D的左起第五至第八个值“5，7，6，7”。因此，如果针对数值串“4，4，3，0，1，-1，2，1”执行逆哈尔变换，则变换结果为“1，2，4，3，5，7，6，7”并且等于图36A。

ZBP逆正交变换单元38执行表示ZBP正交变换结果DTtzbp的数值串的逆正交变换，并再现正交变换前的ZBP检测结果DTzbp。

熵解码单元32解码TP的索引IDXtp。TP的索引IDXtp使用如在图像编码单元20-1的熵编码单元24的上述操作中说明的例如一个或多个哈夫曼表进行了编码。因此，熵解码单元32通过模式标志确定进行编码使用了哪个变换表。当确定编码是使用TP_Hard_table执行的时候，熵解码单元32执行使用TP_Hard_table的解码，当确定编码是使用TP_Easy_table执行的时候，熵解码单元32执行使用TP_Easy_table的解码。

熵解码单元32可以从ZBP检测结果DTzbp和TP的索引IDXtp的解码结果确定编码了位平面的哪个部分。从编码范围变明显的观点看，确定了通过解码位流而获得的数据属于哪个位平面的哪个子块。

熵解码单元32执行表示MDWT系数数据的绝对值的位流的解码。当确定编码是使用Coef_Hard_table执行的时候，熵解码单元32执行使用Coef_Hard_table的解码，当确定编码是使用Coef_Easy_table执行的时候，熵解码单元32执行使用Coef_Easy_table的解码。熵解码单元32通过模式标志确定附加信息的编码使用了哪个变换表。

熵解码单元32使用该变换表执行解码，获取表示MDWT系数数据的绝对值的数据，从而完成解码操作。

舍入位附加单元33估计被图像编码单元20-3截去的低次位并恢复MDWT系数数据的绝对值。舍入位附加单元33基于TP的索引IDXtp确定被图像编码单元20-3截去的低次位的位置，并估计所确定的位置的数据。作为估计方法，如上所述，通过参考基于统计预先准备的表来获取估计数据，将该估计数据与表示系数数据的绝对值的数据相加，并将相加的数据输出到带合成单元34。

带合成单元34执行逆改进离散小波变换(IMDWT)，IMDWT是图像编码单元20-3执行的MDWT的逆改进离散变换。如在图像编码单元20-3中所述，MDWT基本等同于DWT，但是为了提高信号端的带分割精度，每当执行带分割时执行低频带信号的空间位置的替换。因此，带合成单元34通过编码期间执行的操作的逆操作，使输入的MDWT系数数据中的低频带信号的空间位置返回到原始位置。之后，与IDWT相似，执行去交织、对象周期扩展和两级提升运算以执行带合成。另外，在重复带合成的情况下，首先执行使低频带信号返回到原始空间位置的操作。带合成单元34执行这种处理并产生解码的DC电平位移信号。

这样，当图像编码单元20-3和图像解码单元30-3执行图像数据的编码或解码时，由于针对通过频带分割获得的低频带分量的系数数据重新排列空间位置，所以可以对低频带分量的系数数据重复频带分割。即使当产生了多个频带的各频带的系数数据时，例如，因为使用扩展的图像数据产生的低频带分量的系数数据的位置不固定，所以由于使用扩展的图像数据而导致的频带分割精度降低的影响不会反复施加。因此，即使当以块单位执行图像编码时，也能获得具有低块失真的解码图像。

每预定数目的系数数据被划分为一个子块，估计当针对每个子块截断系数数据的位平面时图像的失真量的变化。对于估计结果，位于块的端部的子块被加权，使得与其它位置的子块相比不容易被截断。基于加权后的估计结果，检测图像失真低并且代码量在目标代码量之内的截断位置，并执行系数数据等的截断。因此，因为可以降低截断块的端部的系数数据的风险，所以可以减轻块之间的边界的失真。

因为执行ZBP检测结果DTzbp的正交变换使得数值产生频率有偏倚，所以可以通过根据该偏倚(bias)执行熵编码处理而进一步减少产生代码的量。

<5.第四实施例>

[5-1.第四实施例的图像编码单元的结构]

图42示出了作为第四实施例的通过简化第三实施例的图像编码单元而获得的结构。

图像编码单元20-4具有如下结构：从图34示出的图像编码单元20-3中省去了DC电平位移单元21、失真特性估计单元25和打包单元27。

在此情况下，带分割单元22针对输入图像数据而不是DC电平位移的信号执行MDWT。另外，如果省去了作为执行截断的标准的失真特性估计单元25，例如，由失真特性估计单元25预先计算编码失真ECΔD_i ^(p)或斜率(ECΔD_i ^(p)/ΔRi(p))，并将其存储在失真特性表29中。失真特性表被输入到截断单元26，截断单元26基于失真特性表执行截断。另外，在熵编码单元24中，如果在ZBP正交变换结果、TP和位平面中使用的编码表的数量是1并且截断的位流没有附加信息，则可以从图像编码单元20-4输出截断的位流作为编码数据。在此情况下，打包单元27也可省去。

[5-2.第四实施例的图像解码单元的结构]

图43示出了作为第四实施例的通过简化第三实施例的图像编码单元而获得的结构。

图像解码单元30-4具有如下结构：从图39所示的图像解码单元30-3中省去解包单元31、舍入位附加单元33和IDC电平位移单元35。

如果图42中所示的图像编码单元20-4产生的编码数据仅包括位流而不包括附加信息，则在图像解码单元30-4中可以不设置解包单元31。另外，因为舍入位附加单元33不是解码必需的部件并且是为了提高解码信号的图像质量而设置的，所以可以省去舍入位附加单元。当在图像编码单元20-4中不执行DC电平位移的情况下，可以不设置IDC电平位移单元35。因此，如果使用图43所示的结构的图像解码单元30-4，则可以解码从图像编码单元20-4输出的位流。

<6.通过计算机执行编码和解码的情况>

可通过硬件或软件执行上述一系列处理。如果通过软件执行这一系列处理，则使用其中在专用硬件中组装了构成该软件的程序的计算机。或者，通过安装各种类型的程序，使用例如能够执行各种功能的通用个人计算机等从程序记录介质安装软件。

图44是示出了用于通过程序执行上述一系列处理的计算机的硬件结构的图。

在计算机60中，中央处理单元(CPU)61、只读存储器(ROM)62和随机存取存储器(RAM)63通过总线64彼此连接。

输入/输出接口65连接到总线64。包括键盘、鼠标等的用户接口66、用于输入图像数据的输入单元67、包括显示器等的输出单元68以及包括硬盘、非易失性存储器等的记录单元69连接到输入/输出接口65。包括网络接口等的通信单元70和用于驱动可移动介质80(诸如磁盘、光盘、磁光盘和半导体存储器)的驱动器71连接到输入/输出接口65。

在具有以上结构的计算机中，CPU 61通过输入/输出接口65和总线64将例如记录在记录单元69上的程序加载到RAM 63并执行，从而执行上述一系列处理。

计算机(CPU 61)执行的程序例如记录在可移动介质80上，可移动介质80是诸如磁盘(包括软盘)、光盘(压缩盘-只读存储器(CD-ROM)、数字通用盘(DVD)等)、磁光盘、半导体存储器等的封装介质，或者计算机(CPU 61)执行的程序通过诸如局域网、互联网或数字卫星广播的有线或无线传输介质提供。

可以通过将可移动介质80装入驱动器71中，通过输入/输出接口65将程序安装在记录单元69中。可以通过有线或无线传输介质由通信单元70接收程序并将其安装在记录单元69中。可以预先将程序安装在ROM 62或记录单元69中。

计算机执行的程序可以是用于按照本说明书描述的顺序的时间序列执行处理的程序，或者是用于在必要定时(诸如调用时)或者并行地执行处理的程序。

本发明的实施例不限于上述的实施例，在不脱离本发明的范围的情况下，可以作出各种修改。例如，尽管在上述实施例中描述了5×3提升结构，但是9×7提升结构等也是可以的。本发明的范围由权利要求限定。

本申请包含与在2010年3月16日提交到日本专利局的日本在先专利申请JP2010-059117以及在2010年11月4日提交到日本专利局的日本在先专利申请JP2010-247587中描述的主题相关的主题，通过引用将它们的全部内容并入本文。

本领域技术人员应该理解，根据设计要求和其它因素可以想到各种变型、组合、子组合和变更，只要它们落在所附权利要求或其等同物的范围内即可。

Claims (17)

1.一种图像编码装置，包括：

带分割单元，被配置为执行用于从块单位的图像数据产生多个频带中的每个频带的系数数据的频带分割，并且对于该频带分割，在针对通过频带分割获得的低频带分量的系数数据重新排列空间位置后执行该低频带分量的系数数据的频带分割；和

编码单元，被配置为执行所述多个频带中的每个频带的系数数据的编码。

2.根据权利要求1所述的图像编码装置，其中，带分割单元在所述块的端部扩展图像数据以执行频带分割并移动利用扩展的图像数据产生的系数数据。

3.根据权利要求2所述的图像编码装置，其中，带分割单元在所述低频带分量的系数数据中反转系数数据的位置，以移动使用所述扩展的图像数据产生的系数数据。

4.根据权利要求2所述的图像编码装置，其中，带分割单元执行提升运算和去交织，产生所述多个频带中的每个频带的系数数据。

5.根据权利要求1所述的图像编码装置，还包括：

失真特性估计单元，被配置为针对通过对每预定数目的系数数据进行划分而获得的每个子块，估计当所述系数数据的位平面被截断时图像的失真量的变化；和

截断单元，被配置为基于估计结果检测图像失真低且代码量在目标代码量以内的截断位置并执行所述位平面的截断，

其中，失真特性估计单元针对所述估计结果进行加权，并且所述截断单元基于加权的估计结果执行所述位平面的截断。

6.根据权利要求5所述的图像编码装置，其中，失真特性估计单元针对所述估计结果进行加权，以使得位于所述块的端部的子块与其它位置的子块相比不容易被截断。

7.根据权利要求6所述的图像编码装置，还包括检测单元，该检测单元被配置为检测所述系数数据的最高有效位平面和每个子块的零位平面，

其中，编码单元根据一个或多个上下文对检测单元和截断单元的检测结果和所述系数数据进行编码。

8.根据权利要求7所述的图像编码装置，还包括：零位平面正交变换单元，被配置为执行表示由检测单元检测的零位平面的数值串的正交变换，

其中，编码单元使用由零位平面正交变换单元获得的变换结果来代替检测单元的零位平面的检测结果。

9.一种图像编码方法，包括以下步骤：

在带分割单元中，执行用于从块单位的图像数据产生多个频带中的每个频带的系数数据的频带分割，并且在该频带分割中，在针对通过频带分割获得的低频带分量的系数数据重新排列空间位置后执行该低频带分量的系数数据的频带分割；以及

在编码单元中，执行所述多个频带中的每个频带的系数数据的编码。

10.一种在计算机上执行处理的程序，该处理包括以下步骤：

执行用于从块单位的图像数据产生多个频带中的每个频带的系数数据的频带分割，并且对于该频带分割，在针对通过频带分割获得的低频带分量的系数数据重新排列空间位置后执行该低频带分量的系数数据的频带分割；以及

执行所述多个频带中的每个频带的系数数据的编码。

11.一种图像编码装置，包括：

带分割单元，被配置为执行块单位的图像数据的频带分割并产生多个频带中的每个频带的系数数据；

编码单元，被配置为执行所述多个频带中的每个频带的系数数据的编码；

失真特性估计单元，被配置为针对通过对每预定数目的系数数据进行划分而获得的每个子块，估计当所述系数数据的位平面被截断时图像的失真量的变化并针对估计结果进行加权；和

截断单元，被配置为基于加权的估计结果检测图像失真低且代码量在目标代码量以内的截断位置并执行所述位平面的截断。

12.根据权利要求10所述的图像编码装置，其中，失真特性估计单元针对所述估计结果进行加权，以使得位于所述块的端部的子块与其它位置的子块相比不容易被截断。

13.一种图像编码方法，包括以下步骤：

在带分割单元中，执行块单位的图像数据的频带分割并产生多个频带中的每个频带的系数数据；

在编码单元中，执行所述多个频带中的每个频带的系数数据的编码；

在失真特性估计单元中，针对通过对每预定数目的系数数据进行划分而获得的每个子块，估计当所述系数数据的位平面被截断时图像的失真量的变化并针对估计结果进行加权；以及

在截断单元中，基于加权的估计结果检测图像失真低且代码量在目标代码量以内的截断位置并执行所述位平面的截断。

14.一种在计算机上执行处理的程序，该处理包括以下步骤：

执行块单位的图像数据的频带分割并产生多个频带中的每个频带的系数数据；

执行所述多个频带中的每个频带的系数数据的编码；

针对通过对每预定数目的系数数据进行划分而获得的每个子块，估计当所述系数数据的位平面被截断时图像的失真量的变化并针对估计结果进行加权；以及

基于加权的估计结果检测图像失真低且代码量在目标代码量以内的截断位置并执行所述位平面的截断。

15.一种图像解码装置，包括：

解码单元，被配置为对编码数据进行解码，在该编码数据中通过执行块单位的图像数据的频带分割而获得的系数数据被编码；和

带合成单元，被配置为在使通过所述解码获得的系数数据返回到重新排列前的顺序之后，执行多个频带中的每个频带的系数数据的频带合成并产生块单位的图像数据。

16.一种图像解码方法，包括以下步骤：

在解码单元中，对编码数据进行解码，在该编码数据中通过执行块单位的图像数据的频带分割而获得的系数数据被编码；以及

在带合成单元中，在使通过所述解码获得的系数数据返回到重新排列前的顺序之后，执行多个频带中的每个频带的系数数据的频带合成并产生块单位的图像数据。

17.一种在计算机上执行处理的程序，该处理包括以下步骤：

对编码数据进行解码，在该编码数据中通过执行块单位的图像数据的频带分割而获得的系数数据被编码；以及

在使通过所述解码获得的系数数据返回到重新排列前的顺序之后，执行多个频带中的每个频带的系数数据的频带合成并产生块单位的图像数据。

Images