CN102124741A - 图像编码方法及图像编码装置 - Google Patents

Abstract

一种图像编码方法及图像编码装置，对非压缩的原图像进行编码，包括如下步骤：将原图像分割为多个块(S110)；决定作为多个块之一的对象块的编码条件(S120)；按照所决定的编码条件，对对象块进行编码(S130)，在对象块的编码条件的决定(S120)中，计算作为表示对象块的至少一部分区域的复杂度的值的第1空间活动值(S210)，对所计算的第1空间活动值和预先确定的第1阈值进行比较(S220)，在第1空间活动值小于第1阈值的情况下，将小分割用的第1编码条件决定为对象块的编码条件(S230)，在第1空间活动值为第1阈值以上的情况下，将大分割用的第2编码条件决定为对象块的编码条件(S240)。

Description

图像编码方法及图像编码装置

技术领域

本发明涉及图像编码方法及图像编码装置，特别涉及按每个块决定编码条件、并按照所决定的编码条件对对象块进行编码的图像编码方法及图像编码装置。

背景技术

一般来说，ISO/IEC14496-2的第10部分的国际标准规格等大多数图像/动态图像编码算法应用块分割方法(参照非专利文献1)。在块分割方法中，非压缩原图图片(picture)被分割为多个M×N的编码单位。在此，M表示宽度上的样本数，N表示高度上的样本数。M及N的值，例如分别为16。

将所得到的编码单位一个接一个地依次进行编码。例如，在如ISO/IEC14496-2的第10部分的国际标准规格那样的大多数动态图像编码算法中，编码单位通常被称作“宏块”(macroblock)。为了便于说明，作为表示图像/动态图像编码算法中的M×N的编码单位的用语，下文中使用“宏块”。

各宏块进一步被分割为多个K×L的子宏块(sub macroblock)。在此，K表示在宽度上的样本数，L表示在高度上的样本数。K及L的值，例如分别为8。对于所得到的子宏块，一个接一个地依次执行编码处理，但是有时也独立执行编码。在用于以子宏块单位进行编码的子宏块的分割例中，有变换块尺寸、帧内预测块尺寸、运动补偿块尺寸等。在对宏块进行编码时，有时分割为不同尺寸的子宏块来分别进行不同的编码。

大多数动态图像编码算法提供能够切换多个子宏块编码工具的灵活性。例如，ISO/IEC14496-2的第10部分的国际标准规格的高级规范(high profile)，能够在4×4的变换块尺寸和8×8的变换块尺寸之间切换宏块级别(参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2007-110568号公报

非专利文献

非专利文献1：ISO/IEC14496-2第10部分

发明概要

发明要解决的问题

但是，在上述现有技术中，存在不能充分抑制运算量的增加和画质的劣化的问题。

例如，为了选择最佳的子宏块编码工具，在某些现有技术中，执行能够考虑到的所有子宏块编码处理，来执行计算某种编码成本的网罗性的选择处理。之后，编码成本为最小的子宏块编码工具能够作为最佳的子宏块编码工具而被选择并使用。在该现有技术中，编码成本包括编码率(rate)成分(为保存编码信息所需的比特量)和失真成分(重建样本和非压缩原图样本之间的差分量)。

但是，在该方法中，通常存在产生如振铃效应(ringing artifact)或块效应(blocking artifact)那样的编码效应(coding artifact)，但未能反映到编码成本中的问题。因此，有时即使使用所选择的子宏块编码工具也不能够得到最高的画质。

所谓振铃效应及块效应是在压缩图像/动态图像中明显的效应(artifact)。特别是在用于实现较高的压缩率的ISO/IEC14496-2的第10部分的国际标准规格那样的图像/动态图像编码算法中较显著。

为了改善压缩动态图像的画质，在进行动态图像的编码之前、编码中以及在解码后的某个定时，需要削减这些效应。为了在动态图像的编码时减少这种效应，选择在视觉上最适合的子宏块编码工具较有益。

但是，在现有技术的利用网罗性的选择处理——该网罗性的选择处理以基于编码率和失真之间的关系的编码成本为基础——来选择所执行的子宏块编码工具的技术中，存在有在不考虑或不预测对人的视觉系统的编码效果的情况下计算出编码成本的问题。因此，所决定的子宏块编码工具不是高效削减振铃效应或块效应的编码工具。并且，现有技术的网罗性的选择处理需要使编码器进行大量的运算。

发明内容

因此，本发明的目的在于，提供一种能够抑制画质的劣化的图像编码方法及图像编码装置。

用于解决技术问题的手段

为了解决上述技术问题，本发明的一方式的图像编码方法，对原图像进行编码，其特征在于，该图像编码方法包括如下步骤：将上述原图像分割为多个块；决定作为上述多个块之一的对象块的编码条件；以及按照所决定的编码条件，对上述对象块进行编码，在上述对象块的编码条件的决定中，根据作为表示上述对象块的复杂度的空间活动值，决定上述对象块的编码条件，在基于上述空间活动值的编码条件的决定中，计算第一空间活动值，该第一空间活动值是表示上述对象块的至少一部分区域的复杂度的值，对所计算的第一空间活动值和预先确定的第一阈值进行比较，在上述第一空间活动值小于上述第一阈值的情况下，将第一编码条件决定为上述对象块的编码条件，该第一编码条件表示将上述对象块按第一分割尺寸的每个子块进行编码，在上述第一空间活动值为上述第一阈值以上的情况下，将第二编码条件决定为上述对象块的编码条件，该第二编码条件表示将上述对象块按比上述第一分割尺寸大的第二分割尺寸的每个子块进行编码。

由此，在对象块的一部分为平坦的图像的情况下，由于将编码条件(小分割用的编码条件)决定为将对象块按小分割尺寸的每个子块进行编码，所以能够抑制在平坦的图像上产生振铃效应或块效应。因此，能够抑制画质的劣化。此外，在为复杂的图像的情况下，即使产生失真也不明显，所以在对象块为复杂的图像的情况下，通过将编码条件(大分割用的编码条件)决定为将对象块按大的分割尺寸的每个子块进行编码，由此在不降低主观性的画质的情况下，就能够提高编码效率。

此外，也可以是，在上述第一空间活动值的计算中，根据至少包含上述对象块的扩展块，形成分别包含上述对象块的至少一部分区域的多个小块簇，计算作为表示上述多个小块簇的各个小块簇的复杂度的值的小块簇空间活动值，将所计算的多个小块簇空间活动值中的最小值计算为上述第一空间活动值。

由此，计算对象块内的多个区域的空间活动，并对所计算的多个空间活动值中最小值和阈值进行比较，即能够判断对象块内的多个区域中最平坦的区域的失真是否容易明显。并且，在包含失真容易明显的区域的情况下，选择小分割用的编码条件，所以能够抑制画质的劣化。

此外，也可以是，在上述编码条件的决定中，进一步将上述对象块分割为多个大块，计算作为表示上述多个大块的各个大块的复杂度的值的大块空间活动值，并将所计算的多个大块空间活动值中的最大值计算为第二空间活动值，对所计算的第二空间活动值和预先确定的第二阈值进行比较，在上述第二空间活动值为上述第二阈值以下的情况下，将上述第二编码条件决定为上述对象块的编码条件，在上述第二空间活动值大于上述第二阈值的情况下，通过进行上述第一空间活动值的上述计算及上述比较，决定上述对象块的编码条件。

由此，在对象块为平坦、且信息量少的块的情况下，决定为大分割用的编码条件，所以能提高编码效率。

此外，也可以是，上述扩展块比上述对象块大。

由此，不仅使用对象块，还使用对象块的周围的图像信息，来判断在对象块上是否包含平坦的区域，所以能够适当实现画质的劣化的抑制和编码效率的提高。

此外，也可以是，表示上述对象块的复杂度的值，是表示上述对象块中包含的多个样本的样本值的变动的值。

由此，通过采用了样本值的计算方法，能够容易计算出块的空间活动值。

此外，也可以是，在上述编码条件的决定中，进一步根据上述对象块的运动，决定上述对象块的编码条件，在基于上述运动的编码条件的决定中，计算上述对象块的运动矢量，对所计算的运动矢量的绝对值和预先确定的第3阈值进行比较，在上述运动矢量的绝对值大于上述第3阈值的情况下，将上述第二编码条件决定为上述对象块的编码条件，在上述运动矢量的绝对值为上述第3阈值以下的情况下，按照基于上述空间活动值的编码条件的决定结果，决定上述对象块的编码条件。

由此，在运动较大的情况下，即使失真扩大也很难明显，所以在运动较大的情况下通过决定为大分割用的编码条件，能够在抑制主观性的画质的劣化的同时，提高编码效率。

此外，也可以是，在基于上述运动的编码条件的决定中，进一步利用所计算的运动矢量来进行运动补偿，由此生成上述对象块的预测块，利用上述对象块、上述预测块、上述运动矢量，计算表示上述对象块的编码效率的成本值，在上述运动矢量的绝对值为上述第3阈值以下的情况下，对上述成本值和预先确定的第4阈值进行比较，在上述成本值小于上述第4阈值的情况下，将上述第二编码条件决定为上述对象块的编码条件，在上述成本值为上述第4阈值以上的情况下，按照基于上述空间活动值的编码条件的决定结果，决定上述对象块的编码条件。

由此，在成本较小的情况下，通过决定大分割用的编码条件，能够提高编码效率。

此外，也可以是，根据上述对象块和上述预测块之间的差分绝对值之和，来计算上述成本值。

由此，通过采用了样本值的计算方法，能够容易计算成本值。

此外，也可以是，上述第一分割尺寸或上述第二分割尺寸的子块，是执行帧内预测、运动补偿、频率变换中的至少一个处理的处理单位。

此外，本发明的一方式的图像编码方法，对原图像进行编码，其特征在于，该图像编码方法包括如下步骤：将上述原图像分割为多个块；决定作为上述多个块之一的对象块的编码条件；以及按照所决定的编码条件，对上述对象块进行编码，在上述对象块的编码条件的决定中，计算上述对象块的运动矢量，对所计算的运动矢量的绝对值和预先确定的阈值进行比较，在上述运动矢量的绝对值为上述阈值以下的情况下，将第一编码条件决定为上述对象块的编码条件，该第一编码条件表示将上述对象块按第一分割尺寸的每个子块进行编码，在上述运动矢量的绝对值大于上述阈值的情况下，将第二编码条件决定为上述对象块的编码条件，该第二编码条件表示将上述对象块按比上述第一分割尺寸大的第二分割尺寸的每个子块进行编码。

由此，在运动较大的情况下，即使失真扩大也不容易明显，所以通过在运动较大的情况下决定为大分割用的编码条件，能够在抑制主观性的画质的劣化的同时提高编码效率。此外，在运动较小的情况下，失真容易明显，所以通过决定为小分割用的编码条件，能够抑制画质的劣化。

此外，本发明不仅能够实现为图像编码方法，还能够作为具备用于实现该图像编码方法中所包含的处理的处理部的图像编码装置来实现。此外，也可以实现为使计算机执行图像编码方法中所包含的处理的程序。并且，也可以实现为记录了该程序的计算机能够读取的CD-ROM(Compact Disc-Read Only Memory：紧致盘只读存储器)等的记录介质，以及表示该程序的信息、数据或信号。并且，这些程序、信息、数据及信号也可以经由因特网等的通信网络进行分发。

此外，构成上述图像编码装置的构成要素的一部分或全部，也可以由1个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是将多个构成部集成到1个芯片上来制造的超多功能LSI，具体而言是包含微处理器、ROM及RAM(Random Access Memory：随机存取存储器)等来构成的计算机系统。

发明效果：

根据本发明，能够在抑制运算量增加的同时，充分抑制画质的劣化。

附图说明

图1是本发明的实施方式1的图像编码装置的结构的一例的框图。

图2是本发明的实施方式1的编码条件决定部的结构的一例的框图。

图3是用于说明本发明的实施方式1的图像编码装置的振铃效应的削减效果的模式图。

图4是用于说明本发明的实施方式1的压缩动态图像比特流中的能够考虑编码工具指示符信号的位置的模式图。

图5是示出本发明的实施方式1的图像编码装置的动作的一例的流程图。

图6是示出本发明的实施方式1的编码条件决定部的动作的一例的流程图。

图7是示出本发明的实施方式2的图像编码装置的结构的一例的框图。

图8是示出本发明的实施方式2的图片样本的形成例的模式图。

图9是示出本发明的实施方式2的图像编码装置的空间活动条件评价部的结构的一例的框图。

图10是示出本发明的实施方式2的图像编码装置的运动活动条件评价部的结构的一例的框图。

图11是示出本发明的实施方式2的图像编码装置的动作的一例的流程图。

图12是示出本发明的实施方式2的空间活动条件评价部的动作的一例的流程图。

图13是示出本发明的实施方式2的空间活动条件评价部的详细的一例的流程图。

图14是示出本发明的实施方式2的运动活动条件评价部的动作的一例的流程图。

图15是示出本发明的实施方式的变形例的编码条件决定部的动作的一例的流程图。

图16是示出用于实现内容分发服务的内容提供系统的整体结构的一例的模式图。

图17是示出便携式电话机的外观的图。

图18是示出便携式电话机的结构例的框图。

图19是示出数字广播用系统的整体结构的一例的模式图。

图20是示出电视机的结构例的框图。

图21是示出向作为光盘的记录介质进行信息的读写的信息再现记录部的结构例的框图。

图22是示出作为光盘的记录介质的结构例的图。

图23是示出用于实现各实施方式的图像编码方法及图像解码方法的集成电路的结构例的框图。

具体实施方式

下面，使用附图，对本发明的图像编码方法及图像编码装置的实施方式进行详细说明。

(实施方式1)

本发明的实施方式1的图像编码方法是对原图像进行编码的编码方法，将原图像分割为多个块，决定作为多个块中之一的对象块的编码条件，并按照所决定的编码条件，对对象块进行编码。并且，在对象块的编码条件的决定中，根据表示对象块的复杂度的值即空间活动值，来决定对象块的编码条件。

具体而言，计算出表示对象块的至少一部分区域的复杂度的值即第一空间活动值，并比较第一空间活动值和预定的第一阈值。并且，在第一空间活动值小于第一阈值的情况下，将第一编码条件决定为对象块的编码条件，该第一编码条件表示将对象块编码为第一分割尺寸的各个子块。在第一空间活动值为第一阈值以上的情况下，将第二编码条件决定为上述对象块的编码条件，该第二编码条件表示将对象块编码为比第一分割尺寸大的第二分割尺寸的各个子块。

下面，首先对执行本发明的实施方式1的图像编码方法的图像编码装置进行说明。

图1是示出本发明的实施方式1的图像编码装置100的结构的一例的框图。图像编码装置100通过对非压缩的原图像201进行编码，生成编码图像205。

如图1所示，图像编码装置100具备：分割部110、编码条件决定部120、以及编码部130。此外，图像编码装置100将原图像201按块单位进行编码。

分割部110将所输入的原图像201分割为多个块。例如，原图像201是表示包含在动态图像中的1幅图片或者1幅静止图像。多个块例如是多个宏块。具体而言，宏块作为一例而包含16×16的亮度值样本，并按每个颜色成分包含8×8的色度值样本。

作为所分割的多个块之一的对象块203被输出到编码部130。此外，至少包含对象块203的扩展块202被输出到编码条件决定部120。

此外，扩展块202也可以具有与对象块203相同的尺寸，即，扩展块202也可以是对象块203。如后所述，扩展块202优选是包含对象块203、且尺寸比对象块203大的块。

例如，扩展块202是至少包含对象宏块的扩展宏块，包含24×24的亮度值样本，并且每个颜色成分包含12×12的色度值样本。

编码条件决定部120决定作为多个块之一的对象块的编码条件204。换言之，编码条件决定部120按每个块决定编码条件(编码工具)。关于编码条件决定部120的详细结构，将在后面使用图2进行说明。

编码部130按照由编码条件决定部120决定的编码条件204，对对象块203进行编码。具体而言，编码部130对依次从分割部110输入的对象块203进行编码，由此生成编码图像205。

图2是示出本发明的实施方式1的编码条件决定部120的结构的一例的框图。编码条件决定部120根据作为表示对象块203的复杂度的空间活动(active)值，决定对象块203的编码条件。

此外，作为表示对象块203的复杂度的值的空间活动值，是表示对象块203的样本值的变动的值。换言之，空间活动值是表示作为多个样本值的集合的块的复杂度的值，是表示包含在该块中的多个样本值的变动的值。

例如，空间活动值是多个样本值的方差。或者，空间活动值可以是多个样本值的平均值和各样本值之间的差分绝对值之和，或者，也可以是相邻接的样本之间的差分绝对值之和。

所谓某个块的空间活动值小，意味着该块为平坦的图像，例如，亮度值一定的图像(计算机图形图像等)。反之，所谓某个块的空间活动值大意味着该块为复杂的图像，例如，用摄像机等拍摄的自然图像。

如图2所示，编码条件决定部120具备：空间活动值计算部121、比较部122、以及决定部123。

空间活动值计算部121计算出第一空间活动值211，该第一空间活动值211是表示对象块203的至少一部分区域的复杂度的值。例如，空间活动值计算部121根据包含对象块203的扩展块202，形成多个小块簇(cluster)。多个小块簇的各个小块簇包含对象块203的一部分区域。

空间活动值计算部121计算小块簇空间活动值，该小块簇空间活动值表示多个小块簇的各个小块簇的复杂度。并且，空间活动值计算部121将所计算的多个小块簇空间活动值中的最小的值，计算为第一空间活动值211。

比较部122对由空间活动值计算部121计算的第一空间活动值211和预先确定的第一阈值进行比较。并且，比较部122将表示第一空间活动值211和第一阈值中的某个小的比较结果212向决定部123输出。

决定部123根据比较结果212，决定对象块203的编码条件。具体而言，在第一空间活动值211比第一阈值小的情况下，将第一编码条件决定为对象块203的编码条件，该第一编码条件表示将对象块203按第一分割尺寸的每个子块进行编码。

第一编码条件的子块是执行帧内预测、运动补偿及频率变换中的至少一个处理的处理单位。例如，第一编码条件的子块由4×4的样本值或8×8的样本值构成。在将第一编码条件决定为对象块的编码条件的情况下，编码部130将对象块分割为第一编码条件所表示的分割尺寸的子块，按所分割的每个子块进行帧内预测等处理，由此对对象块进行编码。

此外，决定部123在第一空间活动值211为第一阈值以上的情况下，将第二编码条件决定为对象块203的编码条件，该第二编码条件表示将对象块203按比第一分割尺寸大的第二分割尺寸的每个子块进行编码。第二编码条件的子块是执行帧内预测、运动补偿及频率变换中至少一个处理的处理单位。例如，第二编码条件的子块由16×16的样本值构成。在将第二编码条件决定为对象块的编码条件的情况下，编码部130将对象块分割为第二编码条件所表示的分割尺寸的子块，按所分割的每个子块进行帧内预测等处理，由此对对象块进行编码。此外，第二编码条件的子块的尺寸也可以与对象块的尺寸相同。

如以上的结构所示，在第一空间活动值比第一阈值小的情况下，本发明的实施方式1的图像编码装置100决定将对象块按小的分割尺寸的每个子块进行编码的编码条件。此外，在第一空间活动值为第一阈值以上的情况下，图像编码装置100决定将对象块按大的分割尺寸的每个子块进行编码的编码条件。

即，图像编码装置100决定编码条件，以使得在对象块的一部分为平坦的图像的情况下，将对象块分割为小的分割尺寸的子块，而在对象块为复杂的图像的情况下，将对象块分割为大的分割尺寸的子块。由此，能够抑制在平坦的图像上产生振铃效应或块效应。

图3是用于说明基于本发明的实施方式1的图像编码装置100的、振铃效应的削減效果的模式图。

如图3的(a)所示，在8×8的块的左角发生了失真时，在以8×8的分割尺寸进行了编码处理的情况下，如图3(b)所示，块整体发生失真扩大。在对8×8的块进行编码的情况下，以8×8的分割尺寸进行编码的方式的编码效率较好，所以根据现有技术，选择8×8的分割尺寸。因此，在现有技术中，不能够抑制块整体发生失真扩大、画质劣化。

相对于此，在以4×4的分割尺寸进行了编码处理的情况下，如图3(c)所示，失真扩大的范围限于左下的4×4的块。因此，与图3(b)相比，能够抑制画质的劣化。

本发明的实施方式1的图像编码装置100，在作为表示对象块的至少一部分区域的复杂度的值的第一空间活动值小于第一阈值的情况下，选择较小尺寸的分割尺寸，例如，4×4的分割尺寸。换言之，图像编码装置100在对象块的一部分包含平坦的区域的情况下，选择较小尺寸的分割尺寸。因此，根据本发明的实施方式1的图像编码装置100，如图3(c)所示，能够抑制画质的劣化。

此外，编码条件决定部120所决定的编码条件，如图4所示，也可以用图片单位、切片(slice)单位以及宏块单位中的任何一种来进行管理。图4是用于说明压缩图像/动态图像比特流中的、能够考虑编码工具指示符的位置的图。

所选择的编码工具也可以针对每个宏块组统一示于指示符中。作为ISO/IEC14496-2的第10部分国际标准规格的情况的统一指示符的例子，可以列举图片头(header)或切片头。另一方面，例如，也可以在ISO/IEC14496-2的第10部分国际标准规格的情况下的宏块头上，表示选用于各宏块的编码工具。

接着，使用图5及图6，对本发明的实施方式1的图像编码装置100所执行的图像编码方法进行说明。

图5是示出本发明的实施方式1的图像编码装置100的动作的一例的流程图。

首先，若向图像编码装置100输入原图像，则分割部110将所输入的原图像分割为多个块(S110)。

接着，编码条件决定部120决定对象块的编码条件(S120)。关于具体的处理，使用图6来在后面进行说明。

最后，编码部130按照所决定的编码条件，对对象块进行编码(S130)。

此外，在有处理对象的块的情况下，重复进行对象块的编码条件的决定(S120)和对象块的编码(S130)。即，以通过分割原图像来生成的多个块中的没有结束编码处理的块作为新的对象块，重复进行编码条件的决定和编码。

图6是示出本发明的实施方式1的编码条件决定部120的动作的一例的流程图。

首先，空间活动值计算部121计算第一空间活动值，该第一空间活动值是表示对象块的至少一部分区域的复杂度的值(S210)。具体而言，首先，空间活动值计算部121根据包含对象块的扩展块，形成多个小块簇。并且，空间活动值计算部121计算小块簇空间活动值，该小块簇空间活动值是对于多个小块簇中的各个小块簇的空间活动值。空间活动值计算部121将所计算的多个小块簇空间活动值中的、最小的空间活动值，计算为第一空间活动值。

接着，比较部122比较第一空间活动值和第一阈值(S220)。具体而言，比较部122判断第一空间活动值是否小于第一阈值。

在第一空间活动值小于第一阈值的情况下(S220：是)，决定部123决定小分割用的第一编码条件，作为对象块的编码条件(S230)。即，决定部123决定第一编码条件，该第一编码条件表示将对象块按第一分割尺寸的每个子块进行编码。

此外，第一空间活动值为第一阈值以上的情况下(S220：否)，决定部123决定大分割用的第二编码条件，作为对象块的编码条件(S240)。即，决定部123决定第二编码条件，该第二编码条件表示将对象块按第二分割尺寸的每个子块进行编码。

如上所述，根据本发明的实施方式1的图像编码方法，以如下方式决定编码条件，即：在对象块的一部分为平坦的图像的情况下，将对象块分割为小分割尺寸的子块，而在对象块为复杂的图像的情况下，将对象块分割为大分割尺寸的子块。由此，能够抑制在平坦的图像上产生振铃效应或块效应。由此，在失真不明显的情况下，通过决定大的分割尺寸的编码条件，能够提高压缩率，并且在失真明显的情况下，通过决定小的分割尺寸的编码条件，能够抑制画质的劣化。

(实施方式2)

本发明的实施方式2的图像编码方法的特征在于，不仅进行实施方式1所示的空间活动条件的评价，还进行运动活动条件的评价，并根据评价结果，决定对象块的编码条件。此外，关于空间活动条件的评价，对对象块中所含的多个大块的空间活动和包含对象块的扩展块中所含的多个小块簇的空间活动进行评价。

下面，首先，对执行本发明的实施方式2的图像编码方法的图像编码装置进行说明。

图7是示出本发明的实施方式2的图像编码装置300的结构的一例的框图。图像编码装置300具备：样本提取部310、编码条件决定部320、以及编码部330。

样本提取部310是本发明的分割部的一例，将原图像分割为多个块。具体而言，样本提取部310取得处理对象的原图图片402，作为输入图像Vin，并将所取得的原图图片402分割为多个块。并且，样本提取部310输出M×N排列的原图样本404，作为对象块——该对象块是多个块之一。并且，样本提取部310提取并输出O×P排列的原图样本403，作为包含对象块的扩展块。

例如，O及P的值分别为24，M及N的值分别为16。如图8所示，O×P排列的原图样本403包围对象宏块，并且包含对象宏块内的M×N样本的全部。在O为与M相同的数，并且P为与N相同的数时，原图样本403与原图样本404相同。即，扩展块也可以与对象宏块相同。

编码条件决定部320具备：空间活动条件评价部321、预测类型评价部322、切换部323、运动活动条件评价部324、以及OR门控(gate)部325。

空间活动条件评价部321根据空间活动值来决定对象块的编码条件，该空间活动值是表示对象块的复杂度的值。具体而言，空间活动条件评价部321取得所提取的O×P排列的原图样本403，对输入原图样本的空间活动值进行评价。并且，空间活动条件评价部321输出编码工具决定信号405，该编码工具决定信号405表示：为了对对象宏块进行编码，“小分割用编码工具”和“大分割用编码工具”中的某一个应该被编码部330所使用。

编码工具决定信号405例如是二进制数值，0表示“小分割用编码工具”，1表示“大分割用编码工具”。此外，“小分割用编码工具”是按照第一编码条件的编码工具的一例，是将对象宏块分割为第一分割尺寸的子块的编码工具。此外，“大分割用编码工具”是按照第二编码条件的编码工具的一例，是将对象宏块分割为第二分割尺寸的子块的编码工具。

在图9中，进一步对空间活动条件评价部321进行说明。图9是示出本发明的实施方式2的空间活动条件评价部321的结构的一例的框图。如图7中也示出，空间活动条件评价部321中被输入作为扩展宏块的原图样本403，并输出编码工具决定信号405。

如图9所示，空间活动条件评价部321具备：大块分割部501、大块空间活动值计算部502、最大值计算部503、空间活动值比较部504、小块簇形成部505、小块簇空间活动值计算部506、最小值计算部507、空间活动值比较部508、以及编码工具决定部509。

大块分割部501取得由样本提取部310提取的O×P排列的原图样本403，作为输入样本Oin。并且，大块分割部501将作为与对象宏块相当的部分的M×N部分排列分割为多个G×H的大块，并输出这些大块样本601。

图8示出大块样本601的例。在图8所示的例中，G及H为8，16×16的对象宏块被分割为4个8×8的大块样本601。

大块空间活动值计算部502接收多个大块样本601，并计算所接收的多个大块样本601的各个大块样本601的空间活动值。此外，此时所计算的空间活动值是作为表示本发明的大块的复杂度的值的大块空间活动值的一例。

并且，大块空间活动值计算部502输出包含与M×N排列的原图样本(对象宏块)对应的所有大块空间活动值602的组。例如，在图8的例中，大块空间活动值计算部502计算并输出4个大块空间活动值602。

最大值计算部503在多个大块空间活动值602的组中确定最大值，并输出所确定的最大值，作为最大空间活动值603。最大空间活动值603是第二空间活动值的一例。

空间活动值比较部504取得最大空间活动值603，并与空间活动值的预先确定的第二阈值进行比较。并且，空间活动值比较部504向编码工具决定部509输出表示比较结果的控制信号604。在最大空间活动值603大于第二阈值的情况下，控制信号604设定为1。在最大空间活动值603为第二阈值以下的情况下，控制信号604设定为0。

小块簇形成部505取得由样本提取部310提取的O×P排列的原图样本403，作为输入样本Oin。并且，小块簇形成部505将该O×P排列的原图样本403分割为多个E×F的小块，并将这些小块分组为多个小块簇。

图8示出小块簇样本605的例。在图8所示的例中，E及F为4，24×24的扩展块被分割为36个4×4的小块。

并且，小块簇形成部505根据36个小块，形成尺寸不同的I×J的多个小块簇。在图8所示的例中，形成25个8×8的小块簇、12个4×16的小块簇、以及12个16×4的小块簇。小块簇形成部505将所形成的小块簇样本605输出到小块簇空间活动值计算部506。

小块簇空间活动值计算部506接收小块簇样本605，并计算所接收的多个小块簇样本605的各个小块簇样本的空间活动值。此外，此时所计算的空间活动值是小块簇空间活动值的一例，该小块簇空间活动值是表示本发明的小块簇的复杂度的值。

并且，小块簇空间活动值计算部506输出与O×P排列的原图样本(扩展块)对应的所有小块簇空间活动值606的组。例如，在图8的例中，小块簇空间活动值计算部506计算并输出全部49个小块簇空间活动值606。

最小值计算部507在小块簇空间活动值606的组中确定最小值，并输出所确定的最小值，作为最小空间活动值607。最小空间活动值607是第一空间活动值的一例。

空间活动值比较部508取得最小空间活动值607，并与空间活动值的预先确定的第一阈值进行比较。并且，空间活动值比较部508向编码工具决定部509输出表示比较结果的控制信号608。在最小空间活动值607小于第一阈值的情况下，控制信号608设定为1。在最小空间活动值607为第一阈值以上的情况下，控制信号608设定为0。

编码工具决定部509取得控制信号604及608，并输出表示决定为“小分割用编码工具”和“大分割用编码工具”中的某一个的编码工具决定信号405。具体而言，在控制信号604及608的双方为1时，编码工具决定部509将编码工具决定信号405决定为“小分割用编码工具”。否则(若控制信号604及608中的某一个或双方不是1)，编码工具决定部509将编码工具决定信号405设定为“大分割用编码工具”。

在上述的信号表现的例中，通过将编码工具决定信号405的值设为1，能够表示“小分割用编码工具”。此外，通过将编码工具决定信号405的值设为0，能够表示“大分割用编码工具”。之后，编码工具决定信号405作为输出信号Dout而被发送。

返回图7，预测类型评价部322取得可利用预测类型信息401，并评价是否能够将帧间预测模式用作对象宏块用的预测类型候选。并且，预测类型评价部322向切换部323输出表示评价结果的控制信号406。

在能够利用帧间预测类型的情况下，控制信号406设定为1。在不能利用帧间预测类型的情况下，控制信号406设定为0。例如，可利用预测类型信息401是表示对象的原图图片402是否是应作为I图片进行编码的图片的信息。在原图图片402为应作为I图片进行编码的图片的情况下，不能利用帧间预测类型，所以预测类型评价部322将控制信号406设定为0。

切换部323根据控制信号406，决定将编码工具决定信号405输出到运动活动条件评价部324及OR门控部325中的某一个。具体而言，在能够利用帧间预测类型的情况下，将编码工具决定信号向运动活动条件评价部324输出。

即，在控制信号406为1时，切换部323将编码工具决定信号405输出到运动活动条件评价部324，作为编码工具决定信号407。在控制信号406为0时，将编码工具决定信号405输出到OR门控部325，作为编码工具决定信号408。

运动活动条件评价部324根据对象块的运动，决定对象块的编码条件。具体而言，运动活动条件评价部324取得编码工具决定信号407、可利用预测类型信息401、所提取的M×N排列的原图样本404以及重建图片414，作为输入。运动活动条件评价部324对运动活动条件进行评价，并输出编码工具决定信号409和M×N排列的帧间预测样本410。

在图10中，进一步对运动活动条件评价部324进行详细说明。此外，图10是示出本发明的实施方式2的运动活动条件评价部324的结构的一例的框图。

如图10所示，运动活动条件评价部324具备：参照图片选择部701、运动预测部702、运动补偿部703、成本计算部704、成本比较部705、运动矢量比较部706、编码工具决定初始化部707、2个切换部708及709。

参照图片选择部701接受重建图片414和可利用预测类型信息401来作为输入，并输出所选择的1个以上的参照图片801的组，以便用于运动预测处理。

运动预测部702计算对象块的运动矢量。具体而言，运动预测部702取得参照图片801的组，利用这些参照图片801进行运动预测，并输出参照图片索引802的组和运动矢量803的组。

运动矢量比较部706取得运动矢量803的组，并与预先确定的第3阈值进行比较。并且，运动矢量比较部706输出表示比较结果的控制信号804。

在运动矢量的绝对值大于第3阈值的情况下，具体而言，运动矢量的各成分的绝对值大于所有预先确定的运动矢量阈值的情况下，运动矢量比较部706将控制信号804设为1。在运动矢量的绝对值为第3阈值以下的情况下，运动矢量比较部706将控制信号804设为0。

运动补偿部703取得参照图片索引802的组、运动矢量803的组和重建图片414的组。运动补偿部703输出对象宏块的预测图像，具体而言输出M×N排列的帧间预测样本410。

成本计算部704取得M×N排列的帧间预测样本410、M×N排列的原图样本404和运动矢量803的组。成本计算部704向成本比较部705输出成本值807。关于成本值807的例，将在后面进行说明。

成本比较部705取得成本值807，并比较所取得的成本值807和预先确定的第4阈值。并且，成本比较部705向切换部709输出表示比较结果的控制信号808。

在所计算的成本值小于第4阈值的情况下，成本比较部705将控制信号808设定为1。在成本值为第4阈值以上的情况下，成本比较部705将控制信号808设定为0。

编码工具决定初始化部707生成表示“大分割用编码工具”的初始化信号805。如上所述，表示“大分割用编码工具”的信号由二进制数值的1表示(例如，编码工具决定信号405等)，所以与初始化信号805同样，能够由二进制数值1表现。

切换部708根据控制信号804，来控制将编码工具决定信号407和初始化信号805中的哪一个作为编码工具决定信号806予以输出。具体而言，在运动矢量的绝对值大于第3阈值的情况下，即，控制信号804为1的情况下，切换部708输出初始化信号805，作为编码工具决定信号806。换言之，在运动矢量的绝对值大于第3阈值的情况下，选择“大分割用编码工具”，作为编码工具决定信号806所表示的编码工具。

在运动矢量的绝对值为第3阈值以下的情况下，即，控制信号804为0的情况下，切换部708输出编码工具决定信号407，作为编码工具决定信号806。换言之，在运动矢量的绝对值为第3阈值以下的情况下，选择由空间活动条件评价部321决定的编码工具，作为编码工具决定信号806所表示的编码工具。

切换部709根据控制信号808，来控制将编码工具决定信号806和初始化信号805中的哪一个作为编码工具决定信号409予以输出。具体而言，在成本值小于第4阈值的情况下，即，控制信号808为1的情况下，切换部709输出初始化信号805，作为编码工具决定信号409。换言之，在成本值小于第4阈值的情况下，选择“大分割用编码工具”，作为编码工具决定信号409所表示的编码工具。

在成本值为第4阈值以上的情况下，即，控制信号808为0的情况下，切换部709输出编码工具决定信号806，作为编码工具决定信号409。编码工具决定信号806作为输出信号Dout而被发送。

返回图7，OR门控部325根据是否能够使用编码工具决定信号408及409，来输出最终编码工具决定信号411。最终编码工具决定信号411包含最终决定的编码工具信息。

具体而言，若编码工具决定信号408及409的至少一方为1，则OR门控部325输出表示1的最终编码工具决定信号411。换言之，在空间活动条件评价部321及运动活动条件评价部324的至少一方选择了“大分割用编码工具”的情况下，OR门控部325将最终编码工具决定信号411设定为1，以便表示选择了“大分割用编码工具”。

此外，若编码工具决定信号408及409的双方为0，则OR门控部325输出表示0的最终编码工具决定信号411。换言之，在空间活动条件评价部321及运动活动条件评价部324双方选择了“小分割用编码工具”的情况下，OR门控部325将最终编码工具决定信号411设定为0，以便表示选择了“小分割用编码工具”。

编码部330具备：图像编码部331、图像解码部332、图片存储器部333、以及熵(entropy)编码部334。

图像编码部331将最终编码工具决定信号411、可利用预测类型信息401和M×N排列的原图样本404作为输入来使用。此外，在本实施方式中，图像编码部331取得M×N排列的帧间预测样本410，作为用于对M×N排列的对象宏块进行编码的追加性的输入。

图像编码部331使用由最终编码工具决定信号411选择的2组预先确定的编码工具中的1组，对对象宏块实施图像编码处理。

具体而言，图像编码部331通过进行帧内预测、与预测样本之间的差分运算、频率变换以及量化等处理，生成M×N排列的量化残差412。并且，图像编码部331向熵编码部334和图像解码部332输出M×N排列的量化残差412。

熵编码部334通过对M×N排列的量化残差412进行熵编码，生成压缩比特流415。并且，熵编码部334输出所生成的压缩比特流415，作为输出信号Vout。此外，熵编码部334不限于熵编码，还可以进行其他的可变长编码。

图像解码部332对量化残差412进行解码并重建。在本实施方式的例中，图像解码部332也可以取得用于重建M×N排列的对象宏块样本的M×N排列的帧间预测样本410。图像解码部332最终输出M×N排列的重建样本413，并向图片存储器部333保存重建样本413。

图片存储器部333是用于保存重建样本413、所谓的本地解码图像的存储器。图片存储器部333中所保存的重建样本413通过运动活动条件评价部324作为参照图像而被参照。

如以上的结构所示，本发明的实施方式2的图像编码装置300具备：进行空间活动条件的评价的空间活动条件评价部321；以及进行运动活动条件的评价的运动活动条件评价部324。并且，图像编码装置300根据评价结果决定对象块的编码条件，按照所决定的编码条件，对对象块进行编码。

由此，利用空间活动条件及运动活动条件等图像的特征来选择编码条件，所以能够抑制画质的劣化。

接着，对本发明的实施方式2的图像编码装置300的动作的一例进行说明。图11是表示本发明的实施方式2的图像编码装置300的动作的一例的流程图。

首先，样本提取部310从对象非压缩原图图片提取O×P排列的原图样本(S310)。在此，O表示宽度上的样本数，O比M大或相同。此外，P表示高度上的样本数，P比N大或相同。O及P的值例如分别为24。O×P排列的原图样本包含对象宏块，如图8所示，包含对象宏块内的所有M×N样本。

为了便于说明，在上述及后面的说明中，将“扩展宏块”用作表示包围对象宏块的O×P排列的原图样本的用语。此外，样本提取部310除了输出O×P排列的原图样本(即，扩展宏块)之外，还输出构成对象宏块的M×N排列的原图样本。

接着，空间活动条件评价部321评价空间活动条件，作为第一条件(S320)，该第一条件用于选择最适合对对象宏块进行编码的编码工具。在图12中，进一步对空间活动条件评价部321的具体动作进行详细说明。图12是表示本发明的实施方式2的空间活动条件评价部321的动作的一例的流程图。

如图12所示，空间活动条件评价部321通过按大块单位进行处理，计算第二空间活动值(S410)。如上所述，第二空间活动值是按每个大块计算的空间活动值中的最大的值。关于具体的处理，将在后面使用图13进行说明。

接着，空间活动值比较部504比较第二空间活动值和第二阈值(S420)。在第二空间活动值为第二阈值以下的情况下(S420：否)，编码工具决定部509决定大分割用的第二编码条件，作为用于对象宏块的编码条件(S460)。

换言之，在上述的处理(S410，S420)中，首先，空间活动条件评价部321按大块单位计算对象宏块的空间活动值。即，空间活动条件评价部321按大块单位计算对象宏块的复杂度(或，平坦度)。

并且，空间活动条件评价部321判断每个大块的空间活动值的最大值是否大于阈值。即，空间活动条件评价部321判断构成对象宏块的多个大块中的最复杂的块的复杂度是否大于阈值。在最复杂的块的复杂度为阈值以下的情况下，选择大分割用的编码工具。

所谓最复杂的块的复杂度为阈值以下是指对象宏块的平坦度较高。即，表示对象宏块的信息量较少，通过使用大分割用的编码工具来提高压缩率，能够节约编码量。此外，由于图像复杂，即使失真不明显、使用了大分割用的编码工具，也能够抑制主观性的画质的劣化。

在第二空间活动值大于第二阈值的情况下(S420：是)，空间活动条件评价部321通过按小块簇单位进行处理，来计算第一空间活动值(S430)。如上所述，第一空间活动值是按每个小块簇计算的空间活动值中的最小的值。关于具体的处理，将在后面使用图13进行说明。

接着，空间活动值比较部508比较第一空间活动值和第一阈值(S440)。在第一空间活动值小于第一阈值的情况下(S440：是)，编码工具决定部509决定小分割用的第一编码条件(S450)，作为用于对象宏块的编码条件。

换言之，在上述的处理(S430，S440)中，空间活动条件评价部321按小块簇单位计算对象宏块的空间活动值。换言之，空间活动条件评价部321按小块簇单位计算对象宏块的复杂度(或，平坦度)。

并且，空间活动条件评价部321判断每个小块簇的空间活动值的最小值是否小于阈值。即，空间活动条件评价部321判断分别包含对象宏块的一部分的多个小块簇中的最平坦的小块簇的复杂度是否小于阈值。在最平坦的小块簇的复杂度小于阈值的情况下，选择小分割用的编码工具。

所谓最平坦的小块簇的复杂度小于阈值是指，在对象宏块的一部分中包含平坦度高的区域。即，在平坦的区域失真扩大的情况下，表示对象宏块包含主观性的画质的劣化变明显的区域。

因此，在最平坦的小块簇的复杂度小于阈值的情况下，通过使用小分割用的编码工具，如图3所示，能够抑制失真扩大。因此，能够抑制主观性的画质的劣化。

在第一空间活动值为第一阈值以上的情况下(S440：否)，编码工具决定部509决定大分割用的第二编码条件，作为用于对象宏块的编码条件(S460)。所谓第一空间活动值为第一阈值以上是指，在对象宏块中不包含平坦度高的区域。因此，即使在对象宏块内失真扩大，主观性的画质的劣化也不明显。因此，通过选择大分割用的第二编码条件，能够削减代码量。

接着，用图13，对图12所示的流程图的更详细的动作进行说明。图13是示出本发明的实施方式2的空间活动条件评价部321的详细的动作的一例的流程图。此外，对于与图12所示的动作相同的动作，标注相同的参照标记。

首先，大块分割部501将M×N的对象宏块分割为多个G×H的大块(S411)。在此，G表示宽度上的样本数，能够用该G整除M。此外，H表示高度上的样本数，能够用该H整除N。G及H的值，例如分别是8。在图8中，示出了将M×N的宏块分割为多个G×H的大块的例子。

接着，大块空间活动值计算部502计算多个大块的各个大块的空间活动值(大块空间活动值)(S412)。空间活动值表示大块内的样本值的变动量。空间活动值是0以上。大块的空间活动值(LargeBlockSpatialAct)的计算方法例如以下的(式1)所示。

数学式1

(式1)

$L\arg \mathrm{eBlockSpatialAct}=\mathrm{variance}\left(L\arg \mathrm{eBlock}\right)$

$=\frac{\underset{h=0}{\overset{H-1}{\mathrm{\Σ}}}\underset{g=0}{\overset{G-1}{\mathrm{\Σ}}}\left(x{(h,g)}^2\right)}{G\×H}-{\left(\frac{\underset{h=0}{\overset{H-1}{\mathrm{\Σ}}}\underset{g=0}{\overset{G-1}{\mathrm{\Σ}}}x(h,g)}{G\×H}\right)}^2$

在此，大块的空间活动值作为大块内的样本值的统计方差而求出。在此，x(h，g)表示大块内的位置(h，g)的样本值。

此外，大块的空间活动值的其他计算方法，例如，以下的(式2)及(式3)所示。

数学式2

(式2)

$L\arg \mathrm{eBlockSpatialAct}=\frac{\underset{b=0}{\overset{B-1}{\mathrm{\Σ}}}(\mathrm{SmallBlockSpatialAct}-\underset{b=0}{\overset{B-1}{\min }}\left(\mathrm{SmallBlockSpatialAct}\right))}{B}$

数学式3

(式3)

$\mathrm{SmallBlockSpatialAct}=\mathrm{variance}\left(\mathrm{SmallBlock}\right)$

$=\frac{\underset{f=0}{\overset{F-1}{\mathrm{\Σ}}}\underset{e=0}{\overset{E-1}{\mathrm{\Σ}}}\left(x{(f,e)}^2\right)}{E\×F}-{\left(\frac{\underset{f=0}{\overset{F-1}{\mathrm{\Σ}}}\underset{e=0}{\overset{E-1}{\mathrm{\Σ}}}x(f,e)}{E\×F}\right)}^2$

在此，SmallBlock表示E×F样本的小块。E表示宽度上的样本数，能够用该E整除G(大块的宽度)。此外，F表示高度上的样本数，能够用F整除H(大块的高度)。E及F的值例如分别为4。

SmallBlockSpatialAct表示作为小块内的样本值的统计方差而求出的小块的空间活动值。在此，B表示对象大块内的小块的数，x(f，e)表示小块内的位置(f，e)的样本值，min(·)表示最小限的值/最小值。在图8中示出将O×P的扩展块分割为多个E×F的小块的例。

此外，大块的空间活动值的其他计算方法例如以下的(式4)所示。

数学式4

(式4)

$L\arg \mathrm{eBlockSpatialAct}=\underset{b=0}{\overset{B-1}{\max \mathrm{\Σ}}}\left(\mathrm{SmallBlockSpatialAct}\right)-\underset{b=0}{\overset{B-1}{\min }}\left(\mathrm{SmallBlockSpatialAct}\right)$

SmallBlockSpatialAct与(式3)同样，表示作为小块内的样本值的统计方差而求出的小块的空间活动值。在此，B表示对象大块内的小块的数，min(·)表示最小限的值/最小值，max(·)表示最大限的值/最大值。

在计算大块的空间活动值之后，最大值计算部503求出对象宏块中的所有大块中的、作为最大的空间活动值的第二空间活动值(S413)。

接着，空间活动值比较部504比较在大块内最大的空间活动值和与空间活动值有关的预先确定的第二阈值(S414)。预先确定的第二阈值例如为整数值。

在大块内最大的空间活动值为第二阈值以下的情况下(S420：否)，编码工具决定部509将“大分割用编码工具”决定并设定为编码工具(S460)。

在大块内最大的空间活动值大于第二阈值的情况下(S420：是)，继续空间活动条件的评价。

小块簇形成部505根据包含M×N的对象宏块的O×P的扩展块，形成I×J的多个小块簇(S431)。在此，I表示宽度上的样本数，该I能够用E(小块的宽度)进行整除。此外，J表示高度上的样本数，该J能够用F(小块的高度)进行整除。

若小块簇不同，则有时I及J的值也不同。(I，J)的值例如是(8，8)、(16，4)、(4，16)、(4，12)、(12，4)。各小块簇包含位于M×N的宏块内的1个以上的小块。在图8中，示出了将O×P的扩展块分割为多个E×F的小块、并根据这些E×F的小块形成多个尺寸不同的I×J的小块簇的例子。

接着，小块簇空间活动值计算部506计算多个小块簇的各个小块簇的空间活动值(小块簇空间活动值)(S432)。该空间活动值表示小块簇内的样本值的变动量。小块簇的空间活动值的计算方法例如以下的(式5)所示。

数学式5

(式5)

$\mathrm{ClusterSpatialAct}=\mathrm{variance}\left(\mathrm{SmallBlockCluster}\right)$

$=\frac{\underset{i=0}{\overset{I-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{J-1}{\mathrm{\Σ}}}\left(x{(i,j)}^2\right)}{I\×J}-{\left(\frac{\underset{i=0}{\overset{I-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{J-1}{\mathrm{\Σ}}}x(i,j)}{I\×J}\right)}^2$

此外，小块簇的空间活动值的他的计算方法例如以下的(式6)所示。

数学式6

(式6)

$\mathrm{ClusterSpatialAct}=\frac{\underset{b=0}{\overset{B-1}{\mathrm{\Σ}}}\left(\mathrm{SmallBlockSpatialAct}\right)}{B}$

在此，SmallBlockSpatialAct与(式3)同样，表示作为小块内的样本值的统计方差而求出的小块的空间活动值。在此，B表示对象小块簇内的小块的数。

在计算小块簇内的空间活动值之后，最小值计算部507在对象扩展宏块内的所有小块簇中求出作为最小空间活动值的第一空间活动值(S433)。

并且，空间活动值比较部508将小块簇中的最小空间活动值与有关空间活动值的预先确定的第一阈值进行比较(S434)。第二阈值例如是整数值。

在小块簇中的最小空间活动值小于第一阈值的情况下(S440：是)，编码工具决定部509将“小分割用编码工具”决定并设定为编码工具(S450)。

在小块簇中的最小空间活动值小于第一阈值的情况下(S440：否)，编码工具决定部509将“大分割用编码工具”决定并设定为编码工具。

如上所述，空间活动条件评价部321根据对象宏块的空间活动值，决定对象宏块的编码工具。

此外，在本发明的实施方式2，也可以如上说明，按大块单位进行空间活动值的比较，仅在第二空间活动值为第二阈值以下的情况下，进行小块簇单位的空间活动值的比较。或者，并列处理大块单位下的空间活动值的比较和小块簇单位的空间活动值的比较。

返回图11，接着，预测类型评价部322判断是否能够将帧间预测模式应用于对象宏块(S330)。具体而言，预测类型评价部322检查包含对象宏块的对象图片是否进行帧间编码。进行帧间编码的图片，用从已编码的参照图片得到的(通常进行了运动补偿的)预测结果进行编码。

在对象图片不进行帧间编码的情况下(S330：否)，编码部330利用通过评价空间活动条件来决定的编码工具，对对象宏块进行编码(S350)。

在对象图片进行帧间编码的情况下(S330：是)，运动活动条件评价部324评价运动活动条件，作为第二条件，该第二条件用于选择最适合对对象宏块进行编码的编码工具(S340)。此外，有时如图14中详细示出，由运动活动条件评价部324变更由空间活动条件评价部321决定的编码工具。

在下面，在图14中，对运动活动条件评价部324的具体动作进行说明。图14是示出本发明的实施方式2的运动活动条件评价部324的动作的一例的流程图。

首先，参照图片选择部701从保存在图片存储器部414中的重建图片组，选择多个参照图片候选(S501)。此时的图片能够被作为帧图片或场图片来参照。

接着，运动预测部702通过对参照图片候选进行运动预测，导出多个运动矢量的集(set)，该多个运动矢量的集用于M×N样本的非压缩原图宏块(S502)。所导出的多个运动矢量中的各个运动矢量与参照目的地的参照图片关联。

接着，运动补偿部703使用所导出的多个运动矢量的集，对所关联的参照图片进行运动补偿，由此导出M×N样本的预测块(S503)。

接着，成本计算部704根据所导出的M×N样本的预测块和M×N样本的原图块之间的样本值的差分，计算成本值(S504)。求出成本值的式，例如，如以下的(式7)所示。

数学式7

(式7)

Cost＝DiffCost+Lambda*MVCost

在此，DiffCost是根据预测样本和原图样本之间的差分来求出的成本成分。作为DiffCost的计算结果的一例，有预测样本和原图样本之间的差分绝对值之和。Lambda是固定的值。MVCost表示对应于所导出的运动矢量来求出的成本值。Lambda也可以是0值，在该情况下，也可以忽视MVCost成分。

通过实施上述的处理(S501～S504)，求出对象原图图片和前面的解码图片之间的相关。如(式7)所示，成本值越小，相关越高。

接着，运动矢量比较部706比较由运动预测部702导出的运动矢量的绝对值和运动矢量的预先确定的第3阈值(S505)。运动矢量的预先确定的第3阈值例如为整数值。

在运动矢量的各成分的绝对值大于运动矢量的预先确定的第3阈值的情况下(S506：是)，初始化部707将编码工具决定并设定为“大分割用编码工具”(S509)。之后，运动活动条件评价处理结束。

此外，所谓运动矢量大于第3阈值表示图片之间的运动较大、连续性较小。因此，即使在对象宏块上产生了失真，由于图片之间的运动较大，所以主观性的画质的劣化得到抑制。因此，在运动较大的情况下，通过选择“大分割用编码工具”，能够提高编码效率。

在运动矢量的1个以上的成分的绝对值为运动矢量的预先确定的第3阈值以下的情况下(S506：否)，成本比较部705比较由成本计算部704计算的成本值和成本值的预先确定的第4阈值(S507)。第4阈值例如为整数值。

在所计算的成本值小于第4阈值的情况下(S508：是)，由编码工具决定初始化部707将编码工具决定并设定为“大分割用编码工具”(S509)。并且，运动活动条件评价处理结束。

此外，如上所述，成本值是基于差分绝对值之和等来计算的值，表示成本值越小编码效率就越好。即，所谓成本值小于第4阈值表示编码效率足够优良，所以通过选择“大分割用编码工具”，能够充分提高编码效率。

在所计算的成本值为第4阈值以上的情况下(S508：否)，由空间活动条件评价部321决定的编码工具不发生变更，而结束运动活动条件评价处理。即，根据空间活动条件评价部321的编码条件的决定结果，决定编码条件。

返回到图11，编码部330利用如上所述选择的编码工具，对对象宏块的图像进行编码(S350)。

如以上所述，本发明的实施方式2的图像编码装置300对空间活动条件和运动活动条件进行评价，并根据评价结果，决定对对象块进行编码时的编码条件。

具体而言，在运动矢量的绝对值大于第3阈值的情况下，图像编码装置300决定将对象块按大分割尺寸的每个子块进行编码的编码条件(大分割用的编码条件)。由此，通过选择大分割用的编码条件，在运动较大的情况下，图像(图片)之间的连续性较小，所以最好优先考虑压缩率。

此外，在运动矢量的绝对值为第3阈值以下、且成本值小于第4阈值的情况下，图像编码装置300决定大分割用的编码条件。由此，所谓成本值小于第4阈值表示能够对对象块高效地进行编码，所以通过决定大分割用的编码条件，能够提高编码效率。

此外，在运动矢量的绝对值为第3阈值以下、且成本值大于第4阈值的情况下，图像编码装置300按照对象块及扩展块的空间活动条件的评价结果，决定对象块的编码条件。

具体而言，图像编码装置300计算包含在对象块中的多个大块的空间活动值，并在所计算的空间活动值的最大值——即第二空间活动值为第二阈值以下的情况下，决定大分割用的编码条件。由此，在第二空间活动值为第二阈值以下的情况下，对象块是信息量较少的块，所以通过利用大分割用的编码条件，能够高效地提高编码效率。

此外，在第二空间活动值大于第二阈值的情况下，图像编码装置300计算包含在扩展块中的多个小块簇的空间活动值。并且，在所计算的空间活动值的最小值——即第一空间活动值小于第一阈值的情况下，图像编码装置300决定将对象块按小分割尺寸的每个子块进行编码的编码条件(小分割用的编码条件)。

在第二空间活动值大于第二阈值的情况下，对象块的信息量较多，所以即使决定了大分割用的编码条件，也不能够得到第二空间活动值为第二阈值以下的情况那样的效果。因此，进行第一空间活动值和第一阈值的比较，在第一空间活动值小于第一阈值的情况下，选择小分割用的编码条件。

即，在对象块的至少一部分包含平坦的区域的情况下，图像编码装置300选择小分割用的编码条件。由此，能够抑制在平坦的图像上产生振铃效应或块效应，能够抑制画质的劣化。

此外，在计算小块簇的空间活动值时，根据包含对象块的、尺寸比对象块大的扩展块来生成小块簇，所以不仅能够利用对象块，还能够利用周围的图像信息。例如，在对象块的一部分区域的复杂度较低的情况下，即，该区域平坦的情况下，能够根据在周围的块中所包含的区域是否平坦，来决定编码条件。

在对象块的一部分区域(对象区域)是平坦的、且周围的块也是平坦的情况下，在对象区域中失真扩大的情况下，该失真明显、画质劣化。反之，在对象区域平坦、且周围的块复杂的情况下，由于周围复杂，所以即使在对象区域失真扩大，该失真也不明显，所以能够抑制画质的劣化。

因此，如本发明的实施方式2所示，通过利用包含对象区域和周围的块的区域的小块簇的空间活动值，能够根据周围的块的图像信息来选择编码条件。具体而言，如上所述，在小块簇的空间活动值的最小值为第一阈值以下的情况下，将小分割用的第一编码条件选择为对象块的编码条件。由此，在周围的图像也平坦的情况下，能够以较小的分割尺寸进行编码，所以在对象块内能够使得失真不发生扩大，能够抑制画质的劣化。

此外，在图14所示的流程图中，也可以不进行成本值的比较。具体而言，也可以不进行成本值的计算(S504)、成本值的比较(S507及S508)。

即，也可以在运动矢量的绝对值大于第3阈值的情况下，选择大分割用编码工具，并在运动矢量的绝对值为第3阈值以下的情况下，根据基于空间活动条件的评价的编码条件的决定结果，选择编码条件。

此外，上述的实施方式1的图像编码装置100在图5所示的流程图中，根据图6所示的空间活动条件来决定编码条件，但是也可以仅根据运动活动条件来决定编码条件。具体而言，如图15所示，也可以根据运动矢量的大小，决定编码条件。

首先，编码条件决定部计算对象块的运动矢量(S610)。具体而言，编码条件决定部进行参照图片的选择及运动预测，由于计算对象块的运动矢量。

接着，编码条件决定部比较所计算的运动矢量和预先确定的第3阈值(S620)。在运动矢量为第3阈值以下的情况下(S620：否)，将小分割用的第一编码条件(“小分割用编码工具”)决定为对象块的编码条件(S630)。在运动矢量大于第3阈值的情况下(S620：是)，将大分割用的第二编码条件(“大分割用编码工具”)决定为对象块的编码条件(S640)。

如以上所述，也可以仅根据运动矢量来决定编码条件。如上所述，通过在运动较大的情况下选择“大分割用编码工具”，能够提高编码效率。在该情况下，与选择了“小分割用编码工具”的情况相比，在对象宏块中失真容易扩大，但是由于图片之间的运动较大，所以主观性的画质的劣化得到抑制。

(实施方式3)

通过将上述实施方式所示的图像编码方法或用于实现图像解码方法的结构的程序记录到存储介质中，能够在独立的计算机系统中简单地实施上述实施方式所示的处理。存储介质只要是磁盘、光盘、光磁盘、IC卡、半导体存储器等能够记录程序的介质就可以。

并且，在此，对上述实施方式所示的图像编码方法及图像解码方法的应用例以及使用了它们的系统进行说明。

图16是表示用于实现内容分发服务的内容提供系统ex100的整体结构的图。将通信服务的提供区域分割为所希望的大小，并在各小区(cell)内分别设置了作为固定无线站的基站ex106～ex110。

在该内容提供系统ex100中，经由因特网服务供应商ex102及电话网ex104及基站ex106～ex110，计算机ex111、PDA(Personal Digital Assistant：个人数字助理)ex112、摄像机ex113、便携式电话机ex114、游戏机ex115等各设备连接到因特网ex101上。

但是，内容提供系统ex100不限定于如图16所示的结构，可以将任何要素组合连接。此外，各设备也可以不经由作为固定无线站的基站ex106～ex110，而直接连接到电话网ex104上。此外，各设备也可以经由近距离无线等而直接相互连接。

摄像机ex113是数字视频摄像机等的能够进行动态图像摄影的设备，摄像机ex116是数码相机等的能够进行静止图像摄影、动态图像摄影的设备。此外，便携式电话机ex114是GSM(Global System for Mobile Communications：全球无线通信系统)方式、CDMA(Code Division Multiple Access：码分多址)方式、W-CDMA(Wideband-Code Division Multiple Access：宽带码分多址)方式、或者LTE(Long Term Evolution：长期演进)方式、HSPA(High Speed Packet Access：高速分组接入)的便携式电话机，或者PHS(Personal Handyphone System：个人手提电话系统)等，任何一种都可以。

在内容提供系统ex100中，摄像机ex113等能够通过基站ex109、电话网ex104而与流服务器ex103连接，由此能够进行实时分发(live distribution)等。在实时分发中，对由用户利用摄像机ex113拍摄的内容(例如，音乐现场的影像等)如在本实施方式中说明的那样进行编码处理，并向流服务器ex103发送。另一方面，流服务器ex103将向有请求的客户端发送的内容数据进行流分发。作为客户端，有能够对上述编码处理后的数据进行解码的计算机ex111、PDAex112、摄像机ex113、便携式电话机ex114、游戏机ex115等。在接收到所分发的数据的各设备中，将所接收的数据进行解码处理之后进行再现。

此外，所拍摄的数据的编码处理，可以在摄像机ex113进行，也可以在进行数据的发送处理的流服务器ex103中进行，也可以由摄像机ex113和流服务器ex103相互分担来进行。同样，所分发的数据的解码处理可以在客户端进行，也可以在流服务器ex103进行，也可以由客户端和流服务器ex103相互分担来进行。此外，不限定于摄像机ex113，也可以将用摄像机ex116拍摄的静止图像及/或动态图像数据经由计算机ex111向流服务器ex103发送。这种情况下的编码处理可以在摄像机ex116、计算机ex111、流服务器ex103中的任何一个上进行，也可以由相互分担来进行。

此外，这些编码处理及解码处理一般是在计算机ex111及各设备所具有的LSI(Large Scale Integration：大规模集成电路)ex500进行处理。LSIex500可以是单芯片，也可以由多个芯片构成。此外，也可以将图像编码用及图像解码用的软件组装到能够由计算机ex111等读取的任何一种记录介质(CD-ROM，软盘，硬盘等)中，并用该软件进行编码处理及解码处理。并且，在便携式电话机ex114带有摄像机的情况下，也可以发送由该摄像机取得的动态图像数据。此时的动态图像数据是用便携式电话机ex114所具有的LSI ex500进行了编码处理的数据。

此外，流服务器ex103也可以是多个服务器或多个计算机，用于对数据分散来进行处理、记录或分发。

如上所述，在内容提供系统ex100中，能够由客户端接收所编码的数据，并进行再现。这样，在内容提供系统ex100中，由客户端实时地接收用户所发送的信息之后进行解码，并予以再现，即使是不具有特别的权利或设备的用户也能够实现个人广播。

对于构成该内容提供系统的各设备的编码、解码，只要采用上述实施方式所示的图像编码方法或者图像解码方法就可以。

作为其一例，对便携式电话机ex114进行说明。

图17是示出使用了在上述实施方式说明的图像编码方法和图像解码方法的便携式电话机ex114的图。便携式电话机ex114具有：天线ex601，用于在与基站ex110之间收发电波；摄像机部ex603，能够拍摄CCD摄像机等的影像、静止图像；液晶显示器等显示部ex602，显示由摄像机部ex603拍摄的影像、将天线ex601接收的影像等解码之后的数据；由操作键ex604群构成的主体部；扬声器等声音输出部ex608，用于输出声音；麦克风等声音输入部ex605，用于输入声音；记录介质ex607，用于保存所拍摄的动态图像或静止图像的数据、所接收的邮件的数据、动态图像的数据或者静止图像的数据等编码了的数据或解码了的数据；槽部ex606，用于能够向便携式电话机ex114安装记录介质ex607。记录介质ex607是SD卡等在塑料壳内保存了闪存元件的记录介质，该闪存元件是能够进行电重写或擦除的非易失性存储器即EEPROM的一种。

并且，用图18，对便携式电话机ex114进行说明。便携式电话机ex114，对于对具备显示部ex602及操作键ex604的主体部的各部进行综合控制的主控制部ex711，经由同步总线ex713，相互连接了电源电路部ex710、操作输入控制部ex704、图像编码部ex712、摄像机接口部ex703、LCD(Liquid Crystal Display：液晶显示器)控制部ex702、图像解码部ex709、解复用部ex708、记录再现部ex707、调制解调电路部ex706及声音处理部ex705。

当通过用户的操作，结束通话及电源键成为接通状态时，电源电路部ex710从电池部向各部供电，从而将带摄像机的数字便携式电话机ex114启动为能够动作状态。

便携式电话机ex114，根据由CPU、ROM及RAM等构成的主控制部ex711的控制，将在语音通話模式时由声音输入部ex605收集的声音信号通过声音处理部ex705变换为数字声音数据，并在调制解调电路部ex706对对该数字声音数据进行波谱扩散处理，并在收发电路部ex701进行了数字模拟变换处理及频率变换处理之后，经由天线ex601发送。此外，便携式电话机ex114将在语音通話模式时由天线ex601接收的接收数据进行放大之后实施频率变换处理及模拟数字变换处理，并在调制解调电路部ex706进行波谱逆扩散处理，并利用声音处理部ex705变换为模拟声音数据之后，经由声音输出部ex608输出该模拟声音数据。

并且，在数据通信模式时发送电子邮件的情况下，通过主体部的操作键ex604的操作而输入的电子邮件的文本数据通过操作输入控制部ex704发送到主控制部ex711。主控制部ex711在调制解调电路部ex706对文本数据进行波谱扩散处理，并在收发电路部ex701实施了数字模拟变换处理及频率变换处理之后，经由天线ex601向基站ex110发送。

在数据通信模式时发送图像数据的情况下，经由摄像机接口部ex703，将由摄像机部ex603拍摄的图像数据提供给图像编码部ex712。此外，在不发送图像数据的情况下，经由摄像机接口部ex703及LCD控制部ex702，能够将由摄像机部ex603拍摄的图像数据直接显示于显示部ex602。

图像编码部ex712具备在本申请的发明中说明的图像编码装置，通过上述实施方式所示的图像编码装置中所采用的编码方法，将由摄像机部ex603提供的图像数据进行压缩编码来变换为编码图像数据，并将其送出到解复用部ex708。此外，此时，同时地，便携式电话机ex114将在摄像机部ex603拍摄的过程中由声音输入部ex605收集的声音，经由声音处理部ex705，作为数字声音数据而输出到解复用部ex708。

解复用部ex708将由图像编码部ex712提供的编码图像数据和由声音处理部ex705提供的声音数据按规定方式进行复用，将其结果得到的复用数据在调制解调电路部ex706进行波谱扩散处理，并在收发电路部ex701实施数字模拟变换处理及频率变换处理之后，经由天线ex601发送。

在数据通信模式时接收到链接到主页等上的动态图像文件的数据的情况下，将经由天线ex601从基站ex110接收到的接收数据用调制解调电路部ex706进行波谱逆扩散处理，并将其结果得到的复用数据发送到解复用部ex708。

此外，为了对经由天线ex601接收到的复用数据进行解码，解复用部ex708对复用数据进行解复用来分成图像数据的比特流和声音数据的比特流，并经由同步总线ex713将相应的编码图像数据提供给图像解码部ex709，并将相应的声音数据提供给声音处理部ex705。

接着，图像解码部ex709具备在本申请中说明的图像解码装置，将图像数据的比特流用与上述实施方式所示的编码方法对应的解码方法进行解码来生成再现动态图像数据，并经由LCD控制部ex702将该再现动态图像数据提供给显示部ex602，由此，例如显示链接到主页上的动态图像文件中所包含的动态图像数据。与此同时，声音处理部ex705在将声音数据变换为模拟声音数据之后，将其提供给声音输出部ex608，由此，例如再现链接到主页上的动态图像文件中所包含的声音数据。

此外，不限定于上述系统的例，最近卫星、地面波的数字广播成为话题，如图19所示，对于数字广播用系统也可以组装上述实施方式的至少图像编码装置或图像解码装置。具体而言，在广播站ex201，将声音数据、影像数据或复用了这些数据的比特流经由电波传送到通信或广播卫星ex202。接收到这些数据的广播卫星ex202发送广播用的电波，具有卫星广播接收设备的家庭的天线ex204接收该电波，电视机(接收机)ex300或机顶盒(STB)ex217等的装置将比特流进行解码之后将其予以再现。此外，对于读取器/记录器ex218也能够安装上述实施方式所示的图像解码装置，该读取器/记录器ex218将记录在作为记录介质的CD及DVD等记录介质ex215、ex216中的复用了图像数据和声音数据的比特流进行读取和解码。此时，所再现的影像信号显示于监视器ex219中。此外，还考虑如下的结构：在连接到有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装图像解码装置，并在电视机的监视器ex219进行再现。此时，可以不是在机顶盒内，而是在电视机内组装图像解码装置。此外，在具有天线ex205的车ex210，从卫星ex202或基站等接收信号，并能够在车ex210所具有的导航系统ex211等的显示装置上再现动态图像。

此外，还能够在读取器/记录器ex218上也安装上述实施方式所示的图像解码装置或图像编码装置，该读取器/记录器ex218对记录在DVD、BD等记录介质ex215上的声音数据、影像数据或复用了这些数据的编码比特流进行读取和解码，或者，将声音数据、影像数据或将这些数据进行编码之后作为复用数据来记录到记录介质ex215中。在该情况下，将所再现的影像信号显示于监视器ex219上。此外，其他装置和系统等，能够从记录有编码比特流的记录介质ex215再现影像信号。例如，其他再现装置ex212能够利用拷贝了编码比特流的记录介质ex214，在监视器ex213上再现影像信号。

此外，也可以在与有线电视用的线缆ex203或卫星/地面波广播的天线ex204连接的机顶盒ex217内安装图像解码装置，并将其显示于电视机的监视器ex219中。此时，也可以不是机顶盒中，而是向电视机内组装图像解码装置。

图20是示出使用了在上述实施方式中说明的图像解码方法及图像编码方法的电视机(接收机)ex300的图。电视机ex300具备：调谐器ex301，经由接收上述广播的天线ex204或线缆ex203等，取得或输出影像信息的比特流；调制/解调部ex302，将所接收的编码数据进行解调，或者将所生成的编码数据进行调制以便发送到外部；以及复用/解复用部ex303，将解调之后的影像数据和声音数据进行解复用，或者将编码了的影像数据和声音数据进行复用。此外，电视机ex300具有：信号处理部ex306，具备分别对声音数据、影像数据进行解码，或对各个数据的信息进行编码的声音信号处理部ex304、影像信号处理部ex305；输出部ex309，具备输出已经解码的声音信号的扬声器ex307、显示所解码了的影像信号的显示器等的显示部ex308。并且，电视机ex300具有接口部ex317，该接口部ex317具有用于接受用户操作的输入的操作输入部ex312等る。并且，电视机ex300具有：用于综合控制各部分的控制部ex310；以及向各部分供电的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，具有：与读取器/记录器ex218等的外部设备连接的桥接器(bridge)ex313，用于能够安装SD卡等的记录介质ex216的槽部ex314，用于与硬盘等的外部记录介质连接的驱动器ex315，与电话网连接的调制解调器ex316等。此外，记录介质ex216能够用所保存的非易失性/易失性半导体存储器元件利用电进行信息的记录。电视机ex300的各部分经由同步总线相互连接。

首先，说明电视机ex300对利用天线ex204等从外部取得的数据进行解码并予以再现的结构。电视机ex300接受来自遥控器ex220等的用户操作，根据具有CPU等的控制部ex310的控制，在复用/解复用部ex303，对在调制/解调部ex302进行了解调的影像数据、声音数据进行解复用。并且，电视机ex300在声音信号处理部ex304对解复用后的声音数据进行解码，并在影像信号处理部ex305，利用在上述实施方式说明的解码方法，对解复用后的影像数据进行解码。所解码的声音信号、影像信号分别从输出部ex309向外部输出。在输出时，也可以在缓冲器ex318、ex319等中暂时存储声音信号和影像信号，以便同步再现信号声音信号和影像信号。此外，电视机ex300也可以不是从广播等读取，而是从磁/光盘、SD卡等的记录介质ex215、ex216读取编码了的编码比特流。接着，说明如下结构：电视机ex300对声音信号及影像信号进行编码，向外部发送或写入记录介质等中。电视机ex300接受来自遥控器ex220等的用户操作，并根据控制部ex310的控制，在声音信号处理部ex304对声音信号进行编码，并在影像信号处理部ex305，利用在上述实施方式说明的编码方法对影像信号进行编码。进行了编码的声音信号、影像信号在复用/解复用部ex303进行复用，被输出到外部。在进行复用时，也可以在缓冲器ex320、ex321等中暂时存储这些信号，以便使声音信号和影像信号同步。此外，也可以如图所示，具备多个缓冲器ex318～ex321，也可以共享1个以上的缓冲器。并且，除了图示的以外，例如，在调制/解调部ex302和复用/解复用部ex303之间等，也可以在作为用于避免系统的上溢及下溢的缓冲构件的缓冲器中存储数据。

此外，电视机ex300具备除了从广播及记录介质等取得声音数据及影像数据之外、还接受麦克风及摄像机的AV输入的结构，也可以对从它们取得的数据进行编码处理。此外，在此，说明了电视机ex300能够进行上述的编码处理、复用及外部输出的结构，但是也可以不进行所有这些处理，而只进行上述接收、解码处理及外部输出中的任何一种的结构。

此外，在通过读取器/记录器ex218从记录介质读取编码比特流，或写入编码比特流的情况下，上述解码处理或编码处理也可以在电视机ex300及读取器/记录器ex218中的任何一个中进行，也可以由电视机ex300和读取器/记录器ex218相互分担来进行。

作为一例，从光盘进行数据的读取或写入的情况下的信息再现/记录部ex400的结构示于图21。信息再现/记录部ex400具备下面说明的要素ex401～ex407。光头ex401向作为光盘的记录介质ex215的记录面照射激光点来写入信息，并检测来自记录介质ex215的记录面的反射光来读取信息。调制记录部ex402对内置于光头ex401中的半导体激光器进行电驱动，并根据记录数据来调制激光。再现解调部ex403利用内置于光头ex401中的光电检测器，对电检测了来自记录面的反射光后的再现信号进行放大，并对记录在记录介质ex215中的信号成分进行解复用来进行解调，再现所需的信息。缓冲器ex404暂时保持用于记录到记录介质ex215中的信息及从记录介质ex215再现的信息。盘马达ex405旋转记录介质ex215。伺服控制部ex406控制盘马达ex405的旋转驱动的同时使光头ex401移动到规定的信息轨道，来进行激光点的追踪处理。系统控制部ex407进行信息再现/记录部ex400全体的控制。系统控制部ex407利用保持在缓冲器ex404中的各种信息，根据需要进行新的信息的生成及追加，并且使调制记录部ex402、再现解调部ex403及伺服控制部ex406进行协调动作的同时，通过光头ex401来进行信息的记录再现，由此实现上述的读取及写入处理。系统控制部ex407例如由微处理器构成，通过执行读取写入程序，执行这些处理。

以上，说明了光头ex401照射激光点，但是也可以是利用近场光来进行高密度的记录的结构。

图22示出作为光盘的记录介质ex215的模式图。在记录介质ex215的记录面上以螺旋状形成引导槽(沟槽：groove)，在信息轨道ex230上预先通过沟槽形状的变化记录有表示盘上的绝对位置的地址信息。该地址信息包含用于确定作为记录数据的单位的记录块ex231的位置的信息，进行记录及再现的装置再现信息轨道ex230，并读取地址信息，由此能够确定记录块。此外，记录介质ex215包含数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在数据记录区域ex233的内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233，进行编码后的声音数据、影像数据或复用了这些数据的编码数据的读写。

上面以1层的DVD、BD等的光盘为例进行了说明，但是不限定于此，也可以是作为多层结构在表面以外也能够记录的光盘。此外，也可以是在光盘相同的部位，利用各种不同波长的颜色的光来记录信息，或者从各种角度记录不同信息的层等进行多维的记录/再现的结构的光盘。

此外，还可以是，在数字广播用系统ex200中，在具有天线ex205的车ex210从卫星ex202等接收数据，使车ex210所具有的导航系统ex211等的显示装置再现动态图像。此外，导航系统ex211的结构，例如可以考虑在图20所示的结构中加上GPS接收部的结构，在计算机ex111及便携式电话机ex114等中也可以考虑相同的结构。此外，上述便携式电话机ex114等的终端与电视机ex300同样，除了是具有编码器及解码器的双方的收发型终端之外，还可考虑只具有编码器的发送终端、只具有解码器的接收终端的三种安装方式。

如上所述，通过将上述实施方式所示的图像编码方法或者图像解码方法用于上述的任何一种设备及系统中，能够得到在上述实施方式中所说明的效果。

此外，本发明不限定于上述实施方式，能够在不脱离本发明的范围的情况下进行各种变形或修正。

(实施方式4)

上述各实施方式所示的图像编码方法及装置、图像解码方法及装置，典型地由作为集成电路的LSI实现。作为一例，图23中示出了单芯片的LSI ex500的结构。LSI ex500具备以下说明的要素ex501～ex509，各要素经由总线ex510连接。电源电路部ex505在电源处于接通状态时，通过向各部供电而启动为能够动作的状态。

例如，在进行编码处理的情况下，LSI ex500根据具有CPU ex502、存储器控制器ex503及流控制器ex504等的控制部ex501的控制，通过AV I/Oex509，从麦克风ex117及摄像机ex113等接受AV信号的输入。所输入的AV信号暂时存储到SDRAM等的外部的存储器ex511中。根据控制部ex501的控制，所存储的数据按照处理量及处理速度，适当分多次发送给信号处理部ex507。信号处理部ex507进行声音信号的编码及/或影像信号的编码。在此，影像信号的编码处理是在上述实施方式说明的编码处理。在信号处理部ex507中，进一步根据情况，进行将所编码的声音数据和所编码的影像数据复用等的处理，并从流I/O ex506输出到外部。该输出的比特流被发送到基站ex107，或写入到记录介质ex215。此外，为了在复用时同步，也可以将数据暂时存储到缓冲器ex508中。

此外，例如，在进行解码处理的情况下，LSI ex500根据控制部ex501的控制，将由流I/O ex506经由基站ex107得到的编码数据或从记录介质ex215读取得到的编码数据暂时存储到存储器ex511等中。根据控制部ex501的控制，所存储的数据按照处理量及处理速度，适当分多次发送给信号处理部ex507。信号处理部ex507进行声音数据的解码及/或影像数据的解码。在此，影像信号的解码处理是在上述实施方式说明的解码处理。并且，根据情况，为了将所解码的声音信号和所解码的影像信号同步地进行再现，可以将各个信号暂时存储到缓冲器ex508等中。所解码的输出信号适当经由存储器ex511等，从便携式电话机ex114、游戏机ex115及电视机ex300等的各输出部输出。

此外，在上述中，将存储器ex511作为LSI ex500的外部结构进行了说明，但是也可以是包含在LSI ex500的内部的结构。缓冲器ex508也不限定于1个，可以具备多个缓冲器。此外，LSI ex500可以是单芯片，也可以是多个芯片。

此外，在此采用了LSI，但是根据集成度的不同，还有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI。

此外，集成电路化的方法不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在制造LSI之后能够进行编程的FPGA或能够重构LSI内部的电路单元的连接及设定的可重构处理器。

并且，若随着半导体技术的进步或派生的其他技术而出现了能够替换LSI的集成电路技术，则当然能够利用该技术进行功能模块的集成化。还能够应用生物技术等。

以上，根据实施方式，对本发明的编码方法、编码装置、错误检测方法、错误检测装置、解码方法及解码装置进行了说明，但是本发明不限定于这些实施方式。在不脱离本发明的宗旨的情况下，将本领域的技术人员能够想到的各种变形实施于该实施方式中的方式，以及组合不同的实施方式中的构成要素和步骤等来构成的其他方式均包含在本发明的范围内。

产业上的可利用性

本发明具有抑制运算量的增加、充分抑制画质的劣化的效果，能够应用于对静止图像及动态图像进行编码的图像编码装置中。例如，本发明能够应用于便携式电话机、数字摄像机、BD记录器、数字电视机等的各种AV设备中。

符号的説明

100，300图像编码装置

110分割部

120，320编码条件决定部

121空间活动值计算部

122比较部

123决定部

130，330编码部

201原图像

202扩展块

203对象块

204编码条件

205编码图像

211空间活动值

212比较结果

310样本提取部

321空间活动条件评价部

322预测类型评价部

323，708，709切换部

324运动活动条件评价部

325OR门控部

331图像编码部

332图像解码部

333图片存储器部

334熵编码部

401可利用预测类型信息

402原图图片

403，404原图样本

405，806编码工具决定信号

406，604，608控制信号

407，408，409编码工具决定信号

410帧间预测样本

411最终编码工具决定信号

412量化残差

413重建样本

414重建图片

415压缩比特流

501大块分割部

502大块空间活动值计算部

503最大值计算部

504，508空间活动值比较部

505小块簇形成部

506小块簇空间活动值计算部

507最小值计算部

509编码工具决定部

601大块样本

602大块空间活动值

603最大空间活动值

605小块簇样本

606小块簇空间活动值

607最小空间活动值

701参照图片选择部

702运动预测部

703运动补偿部

704成本计算部

705成本比较部

706运动矢量比较部

707编码工具决定初始化部

801参照图片

802参照图片索引

803运动矢量

804，808控制信号

805初始化信号

807成本值

ex100内容提供系统

ex101因特网

ex102因特网服务供应商

ex103流服务器

ex104电话网

ex106，ex107，ex108，ex109，ex110基站

ex111计算机

ex112PDA

ex113，ex116摄像机

ex114带摄像机的数字便携式电话机(便携式电话机)

ex115游戏机

ex117麦克风

ex200数字广播用系统

ex201广播站

ex202广播卫星(卫星)

ex203线缆

ex204，ex205，ex601天线

ex210车

ex211汽车导航(导航仪)

ex212再现装置

ex213，ex219监视器

ex214，ex215，ex216，ex607记录介质

ex217机顶盒(STB)

ex218读取器/记录器

ex220遥控器

ex230信息轨道

ex231记录块

ex232内周区域

ex233数据记录区域

ex234外周区域

ex300电视机

ex301调谐器

ex302调制/解调部

ex303复用/解复用部

ex304声音信号处理部

ex305影像信号处理部

ex306，ex507信号处理部

ex307扬声器

ex308，ex602显示部

ex309输出部

ex310，ex501控制部

ex311，ex505，ex710电源电路部

ex312操作输入部

ex313桥接器

ex314，ex606槽部

ex315驱动器

ex316调制解调器

ex317接口部

ex318，ex319，ex320，ex321，ex404，ex508缓冲器

ex400信息再现/记录部

ex401光头

ex402调制记录部

ex403再现解调部

ex405盘马达

ex406伺服控制部

ex407系统控制部

ex500LSI

ex502CPU

ex503存储器控制器

ex504流控制器

ex506流I/O

ex509AV I/O

ex510总线

ex511存储器

ex603摄像机部

ex604操作键

ex605声音输入部

ex608声音输出部

ex701收发电路部

ex702LCD控制部

ex703摄像机接口部(摄像机I/F部)

ex704操作输入控制部

ex705声音处理部

ex706调制解调电路部

ex707记录再现部

ex708解复用部

ex709图像解码部

ex711主控制部

ex712图像编码部

ex713同步总线

Claims (13)

1.一种图像编码方法，对原图像进行编码，其特征在于，

该图像编码方法包括如下步骤：

将上述原图像分割为多个块；

决定作为上述多个块之一的对象块的编码条件；以及

按照所决定的编码条件，对上述对象块进行编码，

在上述对象块的编码条件的决定中，

根据作为表示上述对象块的复杂度的值的空间活动值，决定上述对象块的编码条件，

在基于上述空间活动值的编码条件的决定中，

计算第一空间活动值，该第一空间活动值是表示上述对象块的至少一部分区域的复杂度的值，

对所计算的第一空间活动值和预先确定的第一阈值进行比较，

在上述第一空间活动值小于上述第一阈值的情况下，将第一编码条件决定为上述对象块的编码条件，该第一编码条件表示将上述对象块按第一分割尺寸的每个子块进行编码，

在上述第一空间活动值为上述第一阈值以上的情况下，将第二编码条件决定为上述对象块的编码条件，该第二编码条件表示将上述对象块按比上述第一分割尺寸大的第二分割尺寸的每个子块进行编码。

2.根据权利要求1所述的图像编码方法，其特征在于，

在上述第一空间活动值的计算中，

根据至少包含上述对象块的扩展块，形成分别包含上述对象块的至少一部分区域的多个小块簇，

计算作为表示上述多个小块簇的各个小块簇的复杂度的值的小块簇空间活动值，将所计算的多个小块簇空间活动值中的最小值计算为上述第一空间活动值。

3.根据权利要求2所述的图像编码方法，其特征在于，

在上述编码条件的决定中，进一步

将上述对象块分割为多个大块，

计算作为表示上述多个大块的各个大块的复杂度的值的大块空间活动值，并将所计算的多个大块空间活动值中的最大值计算为第二空间活动值，

对所计算的第二空间活动值和预先确定的第二阈值进行比较，

在上述第二空间活动值为上述第二阈值以下的情况下，将上述第二编码条件决定为上述对象块的编码条件，

在上述第二空间活动值大于上述第二阈值的情况下，通过进行上述第一空间活动值的上述计算及上述比较，决定上述对象块的编码条件。

4.根据权利要求2所述的图像编码方法，其特征在于，

上述扩展块比上述对象块大。

5.根据权利要求1所述的图像编码方法，其特征在于，

表示上述对象块的复杂度的值，是表示上述对象块中包含的多个样本的样本值的变动的值。

6.根据权利要求1所述的图像编码方法，其特征在于，

在上述编码条件的决定中，进一步

根据上述对象块的运动，决定上述对象块的编码条件，

在基于上述运动的编码条件的决定中，

计算上述对象块的运动矢量，

对所计算的运动矢量的绝对值和预先确定的第3阈值进行比较，

在上述运动矢量的绝对值大于上述第3阈值的情况下，将上述第二编码条件决定为上述对象块的编码条件，

在上述运动矢量的绝对值为上述第3阈值以下的情况下，按照基于上述空间活动值的编码条件的决定结果，决定上述对象块的编码条件。

7.根据权利要求6所述的图像编码方法，其特征在于，

在基于上述运动的编码条件的决定中，进一步

利用所计算的运动矢量来进行运动补偿，由此生成上述对象块的预测块，

利用上述对象块、上述预测块、上述运动矢量，计算表示上述对象块的编码效率的成本值，

在上述运动矢量的绝对值为上述第3阈值以下的情况下，对上述成本值和预先确定的第4阈值进行比较，

在上述成本值小于上述第4阈值的情况下，将上述第二编码条件决定为上述对象块的编码条件，

在上述成本值为上述第4阈值以上的情况下，按照基于上述空间活动值的编码条件的决定结果，决定上述对象块的编码条件。

8.根据权利要求6所述的图像编码方法，其特征在于，

根据上述对象块和上述预测块之间的差分绝对值之和，来计算上述成本值。

9.根据权利要求1所述的图像编码方法，其特征在于，

上述第一分割尺寸或上述第二分割尺寸的子块，是执行帧内预测、运动补偿、频率变换中的至少一个处理的处理单位。

10.一种图像编码方法，对原图像进行编码，其特征在于，

该图像编码方法包括如下步骤：

将上述原图像分割为多个块；

决定作为上述多个块之一的对象块的编码条件；以及

按照所决定的编码条件，对上述对象块进行编码，

在上述对象块的编码条件的决定中，

计算上述对象块的运动矢量，

对所计算的运动矢量的绝对值和预先确定的阈值进行比较，

在上述运动矢量的绝对值为上述阈值以下的情况下，将第一编码条件决定为上述对象块的编码条件，该第一编码条件表示将上述对象块按第一分割尺寸的每个子块进行编码，

在上述运动矢量的绝对值大于上述阈值的情况下，将第二编码条件决定为上述对象块的编码条件，该第二编码条件表示将上述对象块按比上述第一分割尺寸大的第二分割尺寸的每个子块进行编码。

11.一种图像编码装置，对原图像进行编码，其特征在于，

具备：

分割部，将上述原图像分割为多个块；

编码条件决定部，决定作为上述多个块之一的对象块的编码条件；以及

编码部，按照由上述编码条件决定部决定的编码条件，对上述对象块进行编码，

上述编码条件决定部具备：

空间活动值计算部，计算空间活动值，该空间活动值是表示上述对象块的至少一部分区域的复杂度的值；

比较部，对由上述空间活动值计算部计算的空间活动值和预先确定的阈值进行比较；以及

决定部，在上述空间活动值小于上述阈值的情况下，将第一编码条件决定为上述对象块的编码条件，该第一编码条件表示将上述对象块按第一分割尺寸的每个子块进行编码，在上述空间活动值为上述阈值以上的情况下，将第二编码条件决定为上述对象块的编码条件，该第二编码条件表示将上述对象块按比上述第一分割尺寸大的第二分割尺寸的每个子块进行编码。

12.一种程序，用于使计算机执行图像编码方法，该图像编码方法对原图像进行编码，其特征在于，

在上述图像编码方法中，包括如下步骤：

将上述原图像分割为多个块；

决定作为上述多个块之一的对象块的编码条件；以及

按照所决定的编码条件，对上述对象块进行编码，

在上述对象块的编码条件的决定中，

计算空间活动值，该空间活动值是表示上述对象块的至少一部分区域的复杂度的值，

对所计算的空间活动值和预先确定的阈值进行比较，

在上述空间活动值小于上述阈值的情况下，将第一编码条件决定为上述对象块的编码条件，该第一编码条件表示将上述对象块按第一分割尺寸的每个子块进行编码，

在上述空间活动值为上述阈值以上的情况下，将第二编码条件决定为上述对象块的编码条件，该第二编码条件表示将上述对象块按比上述第一分割尺寸大的第二分割尺寸的每个子块进行编码。

13.一种集成电路，对原图像进行编码，其特征在于，具备：

分割部，将上述原图像分割为多个块；

编码条件决定部，决定作为上述多个块之一的对象块的编码条件；以及

编码部，按照由上述编码条件决定部决定的编码条件，对上述对象块进行编码，

上述编码条件决定部具备：

空间活动值计算部，计算空间活动值，该空间活动值是表示上述对象块的至少一部分区域的复杂度的值；

比较部，对由上述空间活动值计算部计算的空间活动值和预先确定的阈值进行比较；以及

决定部，在上述空间活动值小于上述阈值的情况下，将第一编码条件决定为上述对象块的编码条件，该第一编码条件表示将上述对象块按第一分割尺寸的每个子块进行编码，在上述空间活动值为上述阈值以上的情况下，将第二编码条件决定为上述对象块的编码条件，该第二编码条件表示将上述对象块按比上述第一分割尺寸大的第二分割尺寸的每个子块进行编码。

Images