CN1287584C - 图像编码装置、图像编码方法及图像处理装置 - Google Patents

Abstract

当对输入图像进行片分割后再编码时，可以根据各片的性质进行细致的图像质量调整。输入图象信号经片分割部(102)、小波变换部(103)、熵编码部(106)等变成编码数据再存储在代码存储器(107)中。与此并行，利用失真计算部(108)以各代码块的的各编码路径为单位计算失真，并存储在失真存储器(109)中，另一方面，复杂片判定部(111)判定该片是否是复杂片，并将该判定输出存储在片种类存储器(112)中。从失真存储器(109)输出的失真数据输出给乘法器(110)，在乘法器(110)中使该失真数据乘以由加权系数选择部(113)选择的加权系数。这样，每一个加权了的编码路径的失真输出给比率控制部(114)，在比例控制部(114)中进行编码数据的代码量的控制。

Description

图像编码装置、图像编码方法及图像处理装置

技术领域

本发明涉及将输入图像分割成规定大小的片，将包含在各片中的图像信号变换成频率成分，量化所得到的变换系数，并对该量化系数进行熵编码，同时，计算其量化失真，并使用该量化失真去控制上述熵编码了的编码数据的代码量的图像编码装置、图像编码方法及图像处理装置。

背景技术

现在，以因特网为中心，静止图像编码算法JPEG已得到广泛普及，但另一方面，从1997年开始，由ISO和ITU的联合机构开始了新的JPEG 2000计划，该计划是在下一代编码方式要求进一步改善性能和增加功能的背景下提出来的。2000年12月，对决定JPEG 2000算法的基本方式的第1部分确定了其主要的技术内容。

在该JPEG2000的编码算法中，因对输入图像信号进行色坐标变换并在片分割后进行小波变换，故编码比率低，这一来就会在各片的边界部产生线状失真(图像质量变差)，使图像的平滑度受到损害。

因此，例如，在以往的图像处理装置中，为了抑制这样的在片的边界产生的失真，通过在小波变换处理中，在扩展片边界部的不足的数据时，除了由JPEG2000定义的对象扩展方法之外，还同时使用点对象扩展方法，去抑制片边界部存在的线状失真。

但是，在该现有的图像处理装置中，为了切换控制2个扩展方法，有必要将使用那哪一种扩展方法的代码埋入编码数据中。这不仅带来编码数据量增加的问题，还存在因超出JPEG2000标准的范围而不能保证互换性的问题。

此外，这样的片边界的失真在背景区域等无物体的区域或结构少的区域特别明显。作为结构(称作起伏结构)，背景区原本只包含一点点接近噪声水平的小的起伏信号，但是与存在物体的复杂的区域相比，小波变换时的高频带成分极少。因该背景区域的高频带成分通过形成最终代码数据的比率控制功能几乎全部被除去，故失真更加明显。因此，通过找出与该起伏结构对应的次频带，利用频率加权处理对该次频带设定高的权重，再现仅有一点点的结构，可以利用抖动效果去抑制片的边界效应。但是，因该方法对所有的片都进行同样的处理，故对本来可以不设定高权重的片也设定高权重。相反，却对至今在视觉上都很重要的区域设定相对低的权重，使该部分的图像质量降低。即，若为了抑制片边界产生的失真而对所有的片施加同一频率加权处理，或许能抑制片的边界效应，但却存在其他视觉上重要的区域图像质量变差的问题。

当通过实际实验来确认这一点时，可知在设小波变换次数为‘n’时，对背景区的结构来说，分辨级别‘n-1’的次频带对图像质量有很大的贡献。这里，分辨级别n表示最高分辨率的次频带。这时，当利用频率加权处理进行分辨级别‘n-1’的次频带的强化处理时，通过再现该结构去产生类似抖动的效果，可以抑制片的边界产生的失真，但是，另一方面，在分辨率特别高且具有斜的方向性的边缘部分，则会出现明显的参差不齐的现象。这除了通过使分辨级别‘n-1’的次频带优先来削减具有高分辨率的分辨级别n的信息之外，别无选择。

此外，JPEG2000备有比率控制功能，将最终的代码数据量控制在一定的范围内，且在该范围内提供以均方误差为基准的最高的图像质量。但是，当观看实际的再生图像时，虽然说误差小，但从视觉上讲，不一定能再现良好的图像。例如，当想要对人的面孔的图像编码时，皮肤的细部结构没有了，使图像变得呆板而不精细。这是因为小波变换系数的高频带成分与低频带成分相比，难以影响图像质量，比率控制功能优先将该部分信息削减了的缘故。对付这样的问题，刚才说明的频率加权处理是有效的。例如，为了再现人的皮肤的结构，找出与该结构对应的小波变换区的次频带，通过将该次频带的权重设定的高一些，可以良好地再现该结构。但是，因对所有的片都进行同样的处理，故对本来可以不设定高权重的片也设定高权重。相反，却对至今在视觉上都很重要的区域设定相对低的权重，使该部分的图像质量降低。即，为了提高象人的皮肤那样的精细结构的再现性能，对所有的片进行统一的频率加权处理，或许能提高人的皮肤部分的图像质量，但却存在其他视觉上重要的区域图像质量变差的问题。

当通过实际实验来确认这一点时，可知在设小波变换次数为‘n’时，对人物皮肤的结构来说，分辨级别‘n-1’的次频带对图像质量有很大的贡献。因此，当利用频率加权处理进行分辨级别‘n-1’的次频带的强化处理时，皮肤的再现性能固然好，但存在具有斜的方向性的毛发部分明显参差不齐的问题。这除了通过使分辨级别‘n-1’的次频带优先来削减毛发等具有高分辨率的分辨级别n的信息之外，别无选择。

因此，本发明是为了解决上述问题而提出的，其目的在于提供一种图像编码装置、图像编码方法及图像处理装置，即使将输入图像分割成片来编码时，通过与片对应灵活控制图像信号的编码比率，也可以与各片的性质对应去细致地调整图像质量，从整体上得到良好的再生图像。

发明内容

为了达到上述目的，本发明是一种图像编码装置，包括：将输入图像分割成规定大小的片的片分割部；将包含在各片中的图像信号变换成频率成分并得到变换系数的变换部；将所得到的变换系数进行量化并将其作为量化系数的量化部，对该量化系数进行熵编码的熵编码部；以及计算变换系数量化时的量化失真的失真计算部，其特征在于，具有参照上述变换系数将各片按性质分成多个种类并输出分类结果的片分类部；根据该片分类部的输出对上述量化失真加权的加权部；以及根据利用上述加权部加权了的量化失真控制上述由熵编码得到的编码数据的代码量的比率控制部，片分类部参照上述变换系数，判定各片是由复杂结构构成的片还是不存在复杂结构的片，并将各片分类为由复杂结构构成的片种类和不存在复杂结构的片种类中的一种。

此外，本发明是一种图像编码方法，将输入图像分割成规定大小的片，将包含在各片中的图像信号变换成频率成分得到变换系数，将所得到的变换系数进行量化并将其作为量化系数，并对该量化系数进行熵编码，同时，计算变换系数量化时的量化失真，并使用该量化失真去控制上述由熵编码得到的编码数据的代码量，其特征在于：参照上述变换系数将各片按性质分成多个种类，同时，按该多个种类的每个种类对上述量化失真添加加权系数，根据带有上述加权系数的量化失真控制上述由熵编码得到的编码数据的代码量，在上述片分类中，参照上述变换系数，判定各片是由复杂结构构成的片还是不存在复杂结构的片，并将各片分类为由复杂结构构成的片种类和不存在复杂结构的片种类中的一种。

此外，本发明是一种图像处理装置，具有上述图像编码装置，利用该编码装置处理已对代码量进行控制的编码数据。

附图说明

图1是表示实施形态1的图像编码装置的方框构成图。

图2是表示小波变换部103的构成和动作的概略例子的图。

图3是表示图1所示的加权系数选择部113的详细构成的图。

图4是表示将数据存储在失真存储器109、片种类存储器112和加权系数选择部113中的一个例子的图。

图5是表示实施形态2的图像编码装置的方框构成图。

图6是表示实施形态2的片分类部301的详细构成的图。

图7是表示实施形态2的斜片判定部401的详细构成的图。

图8是表示一例自相关运算部501中的自相关系数的图。

图9是为了便于理解sum1和sum2分别取哪些自相关系数的和的说明图。

图10是表示实施形态3的片判定部301的详细构成的图。

图11是表示在实施形态4中检测斜方向时的参照象素的图。

图12是表示实施形态5的斜片判定部401的详细构成的图。

图13是表示实施形态5中的预先存储在斜图案存储部1002中的一例斜方向2值图案的图。

图14是表示实施形态6中的预先存储在斜图案存储部1002中的一例斜方向2值图案的图。

具体实施方式

实施形态1.

图1是表示实施形态1的图像编码装置的方框构成图。在图1中，101是必要时从RGB信号向YCbCr等进行色空间坐标变换的色坐标变换部，102是将各色成分信号分割成称之为片的多个矩形的片分割部，103是进行2维小波变换的小波变换部，104是用设定的量化步长对小波变换部生成的变换系数进行量化的量化处理部，105是为了进行2值算术编码而对已量化的小波变换系数建模的系数建模部，106是利用算术编码进行熵编码的熵编码部，107是存储熵编码了的编码数据的代码存储器，108是按熵编码部106进行熵编码时的各代码块的各编码路径单位计算失真的失真计算部，109是存储该失真计算部108计算的失真数据的失真存储器，110是将从失真存储器109输出的失真数据乘以所要的加权系数的乘法器，111是根据各片的小波变换系数判定该片是不是包含很多复杂结构的片的复杂片判定部，112是存储该复杂片判定部111的输出的片种类存储器，113是接收该片种类存储器112的输出再从预先存储的多个加权系数中选择对应的加权系数的加权系数选择部，114是考虑从乘法器110输出的被加权了的失真数据再从代码存储器107存储的编码数据中选择必要的数据以进行比率控制从而将代码量控制在设定的目标代码量上的比率控制部，301是具有复杂片判定部111的片分类部。再有，在图1的构成中，由加权系数选择部113和乘法器110构成本发明的加权部。

其次，说明动作。

从未图示的例如图形扫描仪、数字照相机、网络或存储媒体等图像输入装置输入的图像信号必要时在色坐标变换部101中进行色空间坐标的变换。一般，当输入的是彩色RGB信号时，对于不可逆压缩的情况，进行向辉度信号(Y)和色差信号(Cb、Cr)的变换，对于可逆压缩的情况进行无损失的RCT变换。此外，若输入的是单色图象信号，则跳过该色坐标变换部。

在片分割部102中，将从色坐标变换部101输入的各色成分信号分割成称之为片的多个矩形区域。在后面的处理中，对于该片恰好象1个图像那样来对待。

在小波变换部103中，将1个片作为1个图像进行2维小波变换，分割成多个次频带。这里，二维小波变换是通过一维小波变换的组合来实现的。即，对每一根线按顺序进行水平方向的1维小波变换的处理和对每一列按顺序进行垂直方向的一维小波变换的处理。

图2是表示小波变换部103的构成和动作的概略例子的图。图2(a)示出小波变换部103中的1维小波变换部分的构成例，一维小波变换由具有规定的特性的低通滤波器、高通滤波器和下降采样器构成，二维小波变换通过一维小波变换的组合来实现。这些滤波器处理的系数的个数，对不可逆压缩低通滤波器是9，对高通滤波器是7，对可逆压缩低通滤波器是5，对高通滤波器是3，所以，在图像的端部或片的端部出现数据不足，有必要进行扩展处理来弥补该数据不足。因此，在JPEG2000中，采用象图2(b)所示的镜子那样重影的扩展方法(对象扩展)。这样生成的二维小波变换系数，设低频带成分为L，高频带成分为H，通过用第1个字表示主扫描方向，用第2个字表示副扫描方向，可以如图2(c)那样表示为LL、HL、LH、HH。将这些频带分割后的成分称之为次频带。在此，对水平、垂直方向的低频带成分(LL成分)施加回归小波变换。将利用各回归小波变换生成的各次频带称作分辨级别，图中LL、HL、LH、HH之前记载的数字就是分辨级别。即，最低分辨率的LL成分其分辨级别始终是0，相反，最高分辨率的高频带成分HL、LH、HH的分辩级别和小波变换的次数是同一值。在该图的例子中，因小波变换执行2次，故最高分辨率成分的分辨级别是2。

在量化处理部104中，使用对每一个次频带设定的量化步长量化小波变换系数。

在系数建模部105中，在将各次频带的小波变换系数分割成称之为代码块的固定大小的区域之后，将各代码块的多值数据变换成2值的位平面，进而，将各位平面分割成3路编码路径(有效路径、精细路径、清除路径)，对每一个编码路径进行用于熵编码的上下文环境建模。

从3个编码路径输出的2值信号利用熵编码部106进行算术编码。

由熵编码部106生成的编码数据暂时存储在代码存储器107中。

与这些编码处理平行，在失真计算部108中对各代码块的各编码路径单位计算失真。算出的失真数据在添加了能指定色成分、片号、次频带、代码块、编码路径的指数之后，存储在失真存储器109中。

在片分离部301的复杂片判定部111中，作为表示复杂度的指标，使用下面的(式1)对辉度成分中的各片的HH成分计算平均功率Pt。

$\mathrm{Pt}=\underset{i=0}{\overset{I\max -1}{\mathrm{\Σ}}}\underset{j=o}{\overset{J\max -1}{\mathrm{\Σ}}}C{(i,j)}^2/(I\max \·J\max )$ …(式1)

这里，t表示片号，C(i，j)表示位置(i，j)的HH成分的变换系数，Jmax表示HH成分的主扫描方向的样本数，Imax表示副扫描方向的样本数。

其次，设定某一阈值Tp，根据下面的判定式判定该片的种类是复杂片还是单纯片。

If(Pt＞Tp)            …复杂片

Else                  …单纯片

复杂片判定部111的输出暂时存储在片种类存储器112中。

通过以上处理，对所有的片进行存储，代码数据存储在代码存储器107中，失真数据存储在失真存储器109中，片种类存储在片种类存储器112中。在比率控制部114中利用这些信息进行比率控制。

在此，说明比率控制方法。

在同时满足从失真存储器109读出的失真的总和最小且总代码量在目标代码量以下这样2个条件的同时，对每一个编码路径抽出代码数据。利用拉格朗目的未定乘数法，可以解决同时满足这2个条件的最优化运算的问题。现在，当设每一个编码路径的失真为Di，每一个编码路径的代码量为Ri时，对某值λ计算

∑(Ri+λDi)                       (式2)

为最小时的编码路径的位置i。反复调整λ，使这时的总代码量R变成目标代码量

R＝∑Ri                            (式3)

再有，这里的i是编码路径，表示所有的色成分、所有的片和所有的分辩级别的代码路径。

回到图1，与从比率控制部114输出的编码路径、次频带、片号、色成分的指数对应，从失真存储器109输出各编码路径单位的失真数据Di，在乘法器110中，将由加权系数选择部113选择的加权系数乘以各编码路径单位的失真数据Di。

这里，使用图3详细说明加权系数选择部113。

图3是表示图1所示的加权系数选择部113的详细构成的图。在图3中，201是表示分别存储多个加权系数的多个寄存器的加权系数寄存器组，202是根据选择信号从加权系数寄存器组201输出的多个加权系数中选择所要的加权系数的选择部。下面说明动作。

在加权系数寄存器组201的各寄存器中，对每2个刚才已说过的片种类设定各次频带的加权系数。因此，当色成分3、分辨级别3的情况，设定的加权系数变成3色成分×(3分辨级别×3次频带+1次频带)×2片种类＝60。首先，当输入现在要处理的编码路径所属的片号时，从比率控制部114向片种类存储器112输出该片号的片种类信号，再输入到加权系数选择部113。因向加权系数选择部113的选择部202输入作为选择信号的从片种类存储器112来的片种类和从比率控制部114来的表示现在要处理的编码路径所属的色成分、次频带的指数，故在选择部202中，根据这些输入选择信号选择相应的加权系数，并输出给乘法器110。在乘法器110中，象上述那样，将由加权系数选择部113选择的加权系数乘以各编码路径单位的失真数据Di，再输出。再有，在图4(a)、(b)、(c)中，分别示出失真存储器109、片种类存储器112和加权系数寄存器组201中的一例数据存储方法。

这一来，从图1的乘法器110向比率控制部114输出每一个已加权的编码路径的失真Di，在比率控制部114中，根据从乘法器110输入的每一个已加权的编码路径的失真Di，调整编码数据的比率控制、即代码量，使从代码存储器107来的编码数据的数据在目标代码量以下，并提供能在该目标代码量之内再现的最高的图像质量。

即，在本实施形态中，如上所述，与熵编码部106中的熵编码处理并行，利用失真计算部108计算失真，即以编码路径为单位计算量化时的均方误差，而且，因该失真乘上每一个片种类的加权系数，故在比率控制部114中，有选择地对编码路径单位取得编码数据以便使乘上该加权系数后的失真最小，并使总的代码量控制在目标代码量之内，由此，在目标代码量之内提供最高的图像质量。再有，为了同时满足该失真最小和在目标代码量之下这样2个条件，有必要进行最优化运算，如上所述，这一点可以利用拉格朗日的未定乘数法等来实现。

如上所述，在实施形态1中，根据其性质，可以将各片分成复杂片、单纯片这样2个种类，为了适应各种片的情况对每一个次频带设定权重。由此，与对所有的片都均匀地设定权重的现有方式相比，通过扩展图像质量设定的自由度，可以得到能进行更细致的图像质量调整的效果。

结果，例如，当想要抑制在片的边界发生的线状失真时，为了保留存在于背景区的细小的起伏结构，对被识别为背景区的单纯片，将与起伏结构相应的次频带成分设定高的权重。另一方面，因对没有被识别为背景区的复杂片分配超过必要的信息量的可能性高，故对复杂片，将重要性较低的高频带成分设定低的权重。这样，通过将从复杂片得到的信息量分配给与单纯片的起伏结构相当的次频带，可以得到能抑制片边界的效果。

实施形态2.

图5示出本实施形态2的图像编码装置的方框构成图。在图5中，存在和图1的符号相同的方框，它们的动作和在实施形态1中已说明的动作完全相同。图5和图1的不同点在于片分类部301和加权系数选择部302。该片分类部301根据各片的性质分成3个种类，加权系数选择部302从与3个种类对应的加权系数中选择所要的加权系数。

在此，使用图6详细说明片分类部301。

图6是表示片分类部301的详细构成的图。在该图中，111和图1所示的复杂片判定部111完全相同，是判定该片是不是复杂片的复杂片判定部，401是判定该片是不是斜片的斜片判定部，402是接收复杂片判定部111和斜片判定部401的输出，判定该片的种类是复杂片、单纯片还是斜片的综合判定部。

其次，说明动作。

复杂片判定部111进行和在实施形态1中已说明的动作完全相同的动作。

其次，使用图7说明斜片判定部401。

图7是表示斜片判定部401的详细构成的图。在图7中，501是计算所要的次频带的自相关系数的自相关运算部，502是根据从自相关运算部501输出的自相关系数判定该片是不是斜片的判定部。

其次说明动作。在自相关运算部501中，使用下面的式(4)，对各片中的最高分辨率的分辨级别n(最高分辨率)的HH成分计算自相关系数At。

$\mathrm{At}(x,y)=\underset{i=0}{\overset{I\max -1}{\mathrm{\Σ}}}\underset{j=0}{\overset{J\max -1}{\mathrm{\Σ}}}C(i,j)\·C(i+x,j+y)/(I\max \·J\max )$ …(式4)

这里，x，y表示自相关系数的位置，分别是满足-2≤x≤2、-2≤y≤2的整数。具体地说，At(x，y)表示图8所示位置上的自相关系数。

在判定部502中，利用自相关系数At(x，y)判定该片是不是在斜方向上相关性强的斜片。对最初的25个自相关系数At(x，y)，将具有负值的自相关系数改正为0。对已改正的系数At(x，y)，利用下面的判定式(5)、(6)分别求出sum1和sum2。

Sum1＝At(-2，-2)+At(-1，-2)+At(-2，-1)+At(-1，-1)+At(0，-1)+At(-1，0)+At(0，0)+At(1，0)+At(0，1)+At(1，1)+At(2，1)+At(1，2)+At(2，2)；…(式5)

Sum2＝At(2，-2)+At(1，-2)+At(2，-1)+At(1，-1)+At(0，-1)+At(1，0)+At(0，0)+

At(-1，0)+At(0，1)+At(-1，1)+At(-2，1)+At(-1，2)+At(-2，2)：…(式6)

象下面那样，将sum1和sum2的比值与从实验或仿真等经验求出的阈值Ta进行比较，例如，当如以下所示那样，sum1和sum2的比值比阈值Ta大时，判定该片是斜片，当um1和sum2的比值比阈值Ta小时，判定该片不是斜片。

If(sum1/sum2＞Ta)or(sum2/sum1＞Ta)       …斜片

Else                                     …非斜片

图9是为了便于理解sum1和sum2分别取哪些自相关系数的和的说明图。将图9(a)的画出阴影线的向右下降的自相关系数的和记作sum1，将图9(b)的画出阴影线的向右上升的自相关系数的和记作sum2。在本判定中，当偏离sum1和sum2中的任何一方时，判定为斜片。

这里，回到图6，在综合判定部402中，接收复杂片判定部111和斜片判定部401的判定输出，判定该片的种类是复杂片、单纯片，还是斜片，例如，如以下所示那样，若没有复杂片的判定输出的输入，则判定是单纯片这一类，若有复杂片的判定输出的输入，则根据有无斜片的判定输出的输入进行判定，若没有，则判定是复杂片这一类，若有，则判定是斜片这一类。

if(复杂片)      {

if(斜片)             …斜片

else                 …复杂片

}

else                 …单纯片

在这里，可以知道HH成分的平均功率高变成最后判定是斜片的条件。

根据以上的构成，当将受注目的片分类为复杂片、单纯片和斜片中的任何一种之后，其信号暂时存储在片种类存储器112中。

本实施形态2的加权系数选择部302预先存储与复杂片、单纯片和斜片对应的每一个次频带的加权系数，将从片种类存储器112来的受注目的片的种类或表示从比率控制部114来的当前要处理的编码路径所属的色成分和次频带的指数作为选择信号，根据这些选择信号选择每一个次频带的加权系数。

这一来，与从存储器109输出的失真数据对应的加权系数被加权系数选择部302选出来再输出给乘法器110，在乘法器110中使失真数据和与其对应的加权系数相乘之后，在比率控制部114中，和上述实施形态1的情况一样，进行编码数据的代码量控制、即比率控制。

如上所述，在本实施形态2中，将各片根据其性质分成复杂片、单纯片和斜片这样3个种类，为了适应各种片的情况，可以对每一个次频带设定权重。由此，和实施形态1的情况一样，与对整个片设定均一的权重的先有的方式相比，通过进一步拓宽图像质量设定的自由度，具有能进行更细致的图像质量调整的效果。

特别是与实施形态1相比，通过使片的种类增加为复杂片、单纯片和斜片这样3个种类，具有能拓宽图像质量设定的自由度，进行更细致的图像质量调整的效果。例如，当将原图像存在许多斜线或斜边的图像分割成片进行编码时，例如，对于单纯片，对相当于背景区的起伏结构的次频带设定高的权重，对于复杂片，则对关连的次频带设定低的权重，对于斜片，则对斜的成分、即以HH成分为中心的成分设定高的权重。这样一来，不仅能抑制片边界部发生的线状失真，而且即使是存在许多斜边的片也不会产生锯齿边缘，具有能很好地再现图像的效果。

实施形态3.

基本方框构成图和在实施形态2中说明了的图5相同。在本实施形态3中，图5中的片分类部301的构成不同，具体地说，新附加了肤色片的检测处理。下面，使用图10说明本实施形态3的片分类部的构成和动作。

图10示出本实施形态3的片判定部301的详细构成。在图10中，111是和图1或图6所示的方框相同的复杂片判定部，401是和图6所示的方框相同的斜片判定部。801是检测该片是不是肤色多的片的肤色片判定部，802是综合判定部，接收复杂片判定部111和斜片判定部401及肤色片判定部801的输出，判定该片属于后述的4种片中的哪一种。

其次说明动作。

首先，在肤色判定部801中，检测各系数是不是肤色。具体地说，利用色坐标变换部101将RGB信号变换成HSL色坐标系统的信号，当其小波变换后的OLL成分相对H(色调)、S(色度)、L(亮度)所有的色成分在某一阈值的范围内时，判定为肤色。若将各色成分的上限和下限的阈值用后缀max、min表示，则该判定可以表示如下。

if((Hmin＜H(i，j)＜Hmax)and(Smin＜S(i，j)＜Smax)and(Lmin＜L(i，j)＜Lmax))                             …肤色

else

                                        …非肤色

肤色片判定部801对这样检测出的肤色的系数进行计数，若其计数值比规定的阈值大，则判定为肤色片并输出。

再有，复杂片判定部111和斜片判定部401和上述实施形态1或实施形态2同样动作。

综合判定部802输入复杂片判定部111、斜片判定部401和肤色片判定部801的判定输出，例如，如以下所示那样，判定该片是属于复杂片、单纯片、斜片和肤色片这4种片中的哪一种。即，若输入肤色片的判定输出，则判定是肤色片，若没有输入肤色片的判定输出，则根据有无复杂片的判定输出的输入进行判定，若没有，则判定是单纯片这一类，若有复杂片的判定输出的输入，则根据有无斜片的判定输出的输入进行判定，若没有，则判定是复杂片这一类，若有，则判定是斜片这一类。

if(肤色片)                          …肤色片

else if(复杂片)         {

if(斜片)               …斜片

else                   …复杂片

}

else                   …单纯片

根据以上的构成，当将受注目的片分类为复杂片、单纯片、斜片和肤色片中的任何一种之后，其信号暂时存储在片种类存储器112中。

本实施形态3的加权系数选择部302预先存储与复杂片、单纯片、斜片和肤色片对应的各次频带的加权系数，和实施形态1、2等情况一样，利用表示片种类或次频带的选择信号进行选择。再有，在上述实施形态2的加权系数选择部302中，存储与复杂片、单纯片和斜片这3种片对应的加权系数，但在本实施形态3中，存储的是与复杂片、单纯片、斜片和肤色片这4种片对应的加权系数。

这一来，与从存储器109输出的失真数据对应的加权系数被加权系数选择部302选出来再输出给乘法器110，在乘法器110中使失真数据和与其对应的加权系数相乘之后，在比率控制部114中进行比率控制。

如上所述，在本实施形态3中，将各片根据其性质分成复杂片、单纯片、斜片和肤色片这样4个种类，为了适应各种片的情况，可以对每一个次频带设定权重。由此，和实施形态1、2的情况一样，与对整个片设定均一的权重的先有的方式相比，通过进一步拓宽图像质量设定的自由度，具有能进行更细致的图像质量调整的效果。

特别是与实施形态2相比，通过使片的种类增加为复杂片、单纯片、斜片和肤色片这样4种类，具有能拓宽图像质量设定的自由度，进行更细致的图像质量调整的效果。例如，若是人物图像，在以往的方式中，对于人物图像，因存在于人的皮肤(特别是面部)的微细的结构和斜方向的毛发在小波变换之时其不同的次频带表现出各自不同的特征，所以要同时满足两者的图像质量很困难，而在本实施形态3中，首先，对于肤色片，对与那里存在的结构对应的次频带设定高的权重，对于与斜的毛发对应的斜片，对关连的次频带同样设定高的权重，对于识别为背景区的单纯片或识别不是背景区的复杂片，则和实施形态1、2说明过的情况一样设定权重。这样一来，可以同时满足肤色的结构和斜的毛发两者的图像质量，而且具有能能抑制片边界部发生的线状失真的效果。

实施形态4.

在实施形态2叙述的斜片判定部401中，如图8所示，采用参照周围24象素的构成，但在本实施形态4中，例如如图11所示，其特征是参照周围8象素来检测斜的方向。这时，斜片判定部401的判定部502的判定处理和实施形态2一样，首先对9个自相关系数At(x，y)进行改正，将具有负值的系数变成0，对改正后的系数At(x，y)，利用下面的判定式(式7)、(式8)分别求出sum1和sum2，将sum1和sum2的比与利用实验或仿真等经验求出的阈值Ta比较，例如，如下面所示那样，当sum1和sum2的比比阈值Ta大时，判定该片为斜片，当sum1和sum2的比比阈值Ta小时，判定该片为非斜片。

sum1＝At(-1，-1)+(At(1，1))；                 …(式7)

sum2＝At(1，-1)+(At(1，-1))；                 …(式8)

If(sum1/sum2＞Ta)or(sum2/sum1＞Ta)            …斜片

Else                         …非斜片

由图11可知，在本实施形态4中，因只检测45°的斜方向，故斜片的检测精度低一些，但能起到和实施形态2大致同样的效果。进而，通过减少参照的小波变换系数，可以使计算自相关系数(式4)的计算量减少，所以，具有能削减电路的规模，提高判定处理的速度的效果。

实施形态5.

本实施形态5使用和实施形态2叙述的斜片判定方法不同的方法检测斜片。下面，使用图12说明本实施形态5的斜片判定部401。

图12是表示实施形态5的斜片判定部401的详细构成的图。在图12中，1001是对输入的小波变换系数进行2值化处理的2值化部，1002是存储预先确定的斜方向的2值图案的斜图案存储部，1003是校对该2值化部1001和斜图案存储部1002的输出再识别受注目的系数是否具有斜的方向性的匹配部，1004是对斜方向的2值图案和匹配系数的个数进行计数的计数器部，1005是根据最终的斜图案的系数的个数判定该片是不是斜片的判定部。

其次说明具体的动作。

在2值化部1001中，将各片中的例如最高分辨率的分辩级别n(最高分辨率)的HH成分Ct(x，y)与下面所示的某阈值Tc比较，再进行2值化处理。

If(Ct(x，y)＞Tc)                    Bt(x，y)＝1；

Else                                Bt(x，y)＝0；

在匹配部1003中，对于该2值化处理结果Bt(x，y)，进行与预先存储在斜图案存储部1002的斜方向的2值图案的匹配，若相符则输出1，若不符则输出0。

图13示出几个预先存储在斜图案存储部1002中的斜方向2值图案的例子。在图13所示的各斜方向2值图案的例子中，“x”表示不参照的2值化结果(Don’t  care)。

在计数部1004中，当该匹配部1003的输出为1时，则计数值Nt+1，若不是，则不加1。这一来，对斜图案和匹配系数的个数Nt以片为单位进行计数，在判定部1005中，如下面所示那样，通过将最终的计数值Nt和阈值Tn比较，判定该片是不是斜片。

If(Nt＞Tn)                            …斜片

Else                                  …非斜片

如上所述，若按照实施形态5，进行各片中的最高分辨率的分辩级别n(最高分辨率)的HH成分的2值化处理，通过与事前登录的斜方向2值图案匹配，可以检测出斜片，可以起到和实施形态2同样的效果。

特别是，在实施形态2中，为了计算自相关系数必须进行25次乘法运算，若按照本实施形态5中说明的构成，将预先确定的斜图案存储起来，只要进行与该图案的匹配处理，就可以判定斜片，所以，与实施形态2比较，可以以小的H/W规模安装，而且具有能高速判定的效果。

实施形态6.

在实施形态5叙述的斜片判定部401中，如图13所示，采用参照周围24象素的构成，但在本实施形态6中，其特征和实施形态4一样，是参照周围8象素来检测斜的方向。

这样一来，和实施形态4一样，由图可知，在本实施形态6中，因只检测45°的斜方向，故斜片的检测精度低一些，但能起到和实施形态5大致同样的效果。进而，通过减少参照象素，可以减小未图示的行存储器的容量或存储斜图案的容量等，同时，还具有高速判定的效果。

再有，在上述实施形态1～6中，说明了将复杂片判定部111的复杂度的计算作为HH成分的平均功率的情况，但也不限于此。参照的次频带不限于HH成分，也可以利用HL、LH、HH所有的高频带成分。此外，复杂度也可以不使用平均功率，而使用例如系数的绝对值或分散等进行计算。特别是若使用绝对值，因不用进行平方计算，故H/W的规模也可以小一些。

此外，在上述实施形态2～6等中，说明了在斜片判定部401中参照最高分辨率的分辨级别的HH成分进行计算的情况，但并不限于此，也可以参照其它HL、LH等次频带进行斜片检测。

此外，在上述实施形态5、6等说明了的图13、14所示的斜图案是一个例子，并不限于此。特别在该图中是1位线宽的斜线(或斜边)，但也可以检测出例如2位线宽的斜线。

此外，在上述实施形态1～6中，作为控制图像质量的方法，说明了利用频率加权技术(Frequency Weighting)使对每一个次频带设定的权重乘以失真，但并不限于此，也可以通过使对每一个次频带设定的权重乘以小波变换部103输出的小波变换系数来进行强调所要的次频带的图像质量控制。这样一来，只要构成为将失真存储器109的输出直接输入到比率控制部114，从加权系数选择部113来的加权系数输入到新设在小波变换部103和量化部104之间的从去向片分类部301的分支点到量化部104一侧的乘法器中即可。由此，例如，对于必须离开某一距离来观看再生图像的环境，因不需要很高的分辨率，故可以将小波变换系数的最高分辨率成分设定低的权重，对其它低分辨率的变换系数有效地分配信息量。

此外，在上述实施形态1～6中，对于将图象信号向频率成分变换的变换部，将JPEG2000等标准化的小波变换部103作为一个例子进行了说明，但在本发明中，并不限于小波变换部103，只要是能将图象信号向频率成分变换的变换方式，什么都可以。

此外，将在上述实施形态1～6中说明了的图像编码装置作为LSI和将该图像编码方法作为软件装入将静止图像作为输入图像来处理的数字照相机或监视照相机、图像扫描仪等图像处理装置中，这是当然的事。在这样的图像处理装置中，可以对通过该图像编码装置控制了代码量的编码数据进行各种图像处理，或者进而经通信处理部进行数据的收发。

如上所述，若按照本发明，因参照变换系数将各片按其性质分成多个种类，同时，对每一个种类的上述量化失真加权，根据附加了加权系数的量化失真控制熵编码化了的编码数据的代码量，所以，当对输入图像进行片分割后再编码时，可以根据片的情况灵活地控制图象信号的编码率。

结果，若与对整个片设定均一的权重的先有方式相比，通过扩大图像质量设定的自由度，可以根据各片的性质进行更细致的图像质量调整，即使图像整体的编码率有所下降，但能得到很好的再生图像。例如，但想要抑制片边境产生的线状失真时，为了保留背景区存在的细小的起伏结构，对识别是背景区的单纯片，将与该起伏结构对应的次频带成分设定高的权重。另一方面，因对没有被识别为背景区的复杂片分配不必要的信息量的可能性很高，故对复杂片将比较不重要的高频带成分设定低的权重。这样，通过把复杂片获得的信息量分配给与单纯片的起伏结构相当的次频带，具有能抑制片边界的效果。

Claims (7)

1、一种图像编码装置，包括：将输入图像分割成规定大小的片的片分割部；将包含在各片中的图像信号变换成频率成分并得到变换系数的变换部；将所得到的变换系数进行量化并将其作为量化系数的量化部；对该量化系数进行熵编码的熵编码部；以及，计算变换系数量化时的量化失真的失真计算部，其特征在于，

具有：

参照上述变换系数将各片按性质分成多个种类并输出分类结果的片分类部；

根据该片分类部的输出对上述量化失真加权的加权部；以及

根据利用上述加权部加权了的量化失真控制上述由熵编码得到的编码数据的代码量的比率控制部，

片分类部参照上述变换系数，判定各片是由复杂结构构成的片还是不存在复杂结构的片，并将各片分类为由复杂结构构成的片种类和不存在复杂结构的片种类中的一种。

2、如权利要求1所述的图像编码装置，其特征在于：

片分类部判定各片是由复杂结构构成的片还是不存在复杂结构的片，同时，判定各片是不是在斜方向相关强的片，并将各片分类为由复杂结构构成的片种类、不存在复杂结构的片种类和斜方向相关强的片种类中的一种。

3、如权利要求1所述的图像编码装置，其特征在于：

片分类部进行各片是由复杂结构构成的片还是不存在复杂结构的片的判定、各片是不是在斜方向相关强的片的判定和各片是否包含肤色多的片的判定，

将各片分类为由复杂结构构成的片种类、不存在复杂结构的片种类、斜方向相关强的片种类和含肤色多的片种类中的一种。

4、如权利要求2所述的图像编码装置，其特征在于：

片分类部在判定斜方向相关强的片时，判定该片是不是45°或135°的斜方向相关强的片。

5、如权利要求1所述的图像编码装置，其特征在于：

加权部在对量化失真加权时，

将每一个相对各片种类的次频带的加权系数预先存储起来，与该片种类和次频带对应选择所要的加权系数，通过使选择的加权系数乘以量化失真来对量化失真加权。

6、一种图像编码方法，将输入图像分割成规定大小的片，将包含在各片中的图像信号变换成频率成分得到变换系数，将所得到的变换系数进行量化并将其作为量化系数，并对该量化系数进行熵编码，同时，计算变换系数量化时的量化失真，并使用该量化失真去控制上述由熵编码得到的编码数据的代码量，其特征在于：

参照上述变换系数将各片按性质分成多个种类，同时，按该多个种类的每个种类对上述量化失真添加加权系数，

根据带有上述加权系数的量化失真控制上述由熵编码得到的编码数据的代码量，

在上述片分类中，参照上述变换系数，判定各片是由复杂结构构成的片还是不存在复杂结构的片，并将各片分类为由复杂结构构成的片种类和不存在复杂结构的片种类中的一种。

7、一种图像处理装置，具有权利要求1记载的图像编码装置，利用该图像编码装置处理已对代码量进行控制的编码数据。

Images