CN103125117B - 图像解码方法、图像编码方法、图像解码装置、图像编码装置、程序及集成电路 - Google Patents

Abstract

能够同时实现画质的提高和编码效率的提高的图像解码方法是，对将运动图像编码而生成的、包含多个处理单位和针对该多个处理单位的头部的编码流进行解码的图像解码方法，该多个处理单位之中的至少一个处理单位，以被分割为多个更小的处理单位的方式而被层次化，在图像解码方法中，通过分析头部中存放的层次深度信息，从而确定存放有解码所需要的参数的处理单位存在的层次(S101)，利用位于确定的层次的处理单位中存放的参数，对该处理单位进行解码(S102)。

Description

图像解码方法、图像编码方法、图像解码装置、图像编码装置、 程序及集成电路

技术领域

本发明涉及，对多媒体数据中包含的图像或运动图像进行编码的图像编码方法、以及对编码后的图像或运动图像进行解码的图像解码方法等。

背景技术

在MPEG－1、MPEG－2、MPEG－4或MPEG－4AVC等的运动图像压缩标准中，通常，压缩后的图片被分割为称为宏块的矩形单位。通常，宏块，被定义为作为多个图像采样的二维块。该多个图像采样，对于亮度采样，由宽16像素以及高16像素构成。宏块的压缩率，在宏块的每一个中，由量化尺度参数控制。该量化尺度参数，规定对所有的频率系数适用的量化的级别。通常，该量化尺度参数，被编码为与在编码顺序上紧前的宏块的量化尺度参数的差分值，被存放到压缩后的宏块的头部。

例如，在由MPEG标准团体的高效率运动图像编码(HEVC)标准等的正在开发的新的运动图像标准中提出了，通过将图片分割为大的单位，能够提高压缩运动图像的编码效率(例如，参照非专利文献1)。也就是说，能够将图片分割为编码单位(CU：Coding Unit)，能够将该编码单位设为比宏块大的尺寸。例如，编码单位，对于亮度采样，由128×128像素构成，比宏块大64倍。

并且，为了提高编码效率，能够将大的编码单位，分割为更小的单位(子编码单位)。编码单位或子编码单位具有三个主成分。这样的主成分是，编码单位头、预测单位(PU：Prediction Unit)以及变换单位(TU：Transform Unit)。

图1是示出具有编码单位的压缩后的图片的结构的图。

如该图1示出，图片D100由头部(以下，称为图片头)和主体构成。图片头包含，有关图片的参数(图片参数)，主体包含，图片的多个压缩采样。并且，主体由编码单位D102、D104等的多个编码单位构成，这样的编码单位之中的几个被分割为子编码单位。例如，编码单位D102被分割为多个子编码单位D106，进一步，子编码单位D106被分割为更小的多个子编码单位D108。编码单位D104或子编码单位D108，具有三个主成分。具体而言，编码单位D104具有，编码单位头D116、预测单位D118以及变换单位D120，以作为三个主成分。子编码单位D108具有，子编码单位头D110、预测单位D112以及变换单位D114，以作为三个主成分。如图1示出，变换单位D120被分割为多个小的子变换单位D122，子变换单位D122被分割为多个更小的子变换单位D124。最小的变换单位(子变换单位)D114、D124具有块的量化后的系数，对这样的被量化后的系数的逆量化，需要量化尺度参数。

(现有技术文献)

(非专利文献)

非专利文献1：“Test Model under Consideration”Joint Collaborative Teamon Video Coding(JCT－VC)of ITU－T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,2ndMeeting:Geneva,CH,21－28July,2010,Document:JCTVC－B205

发明概要

发明要解决的问题

然而，在所述非专利文献1的图像解码方法及图像编码方法中，存在不能同时实现画质的提高和编码效率的提高的问题。也就是说，解码或解码所需要的量化尺度参数等的参数被存放到图片头，以针对图片D100的主体整体适用该参数。其结果为，不能按照子编码单位、预测单位、子预测单位、变换单位、或子变换单位等小的每个处理单位调整画质。并且，若以总是按最小的每个处理单位适用参数的方式，按照各个处理单位存放参数，则代码量增多。

发明内容

于是，鉴于所述的问题，本发明的目的在于，提供能够同时实现画质的提高和编码效率的提高的图像解码方法及图像编码方法。

用于解决问题的手段

为了实现所述目的，本发明的实施方案之一涉及的图像解码方法，对将运动图像编码而生成的编码流进行解码，该编码流包含多个处理单位和针对所述多个处理单位的头部，所述多个处理单位之中的至少一个处理单位，以被分割为多个更小的处理单位的方式而被层次化，在所述图像解码方法中，通过分析所述头部中存放的层次深度信息，从而确定存放有解码所需要的参数的处理单位存在的层次，利用位于确定的层次的所述处理单位中存放的所述参数，对所述处理单位进行解码。

据此，在处理单位被层次化，位于下层的层次的小的处理单位中存放参数的情况下，按小的每个处理单位适用不同的参数来能够解码这样的处理单位。其结果为，能够提高画质。并且，通过分析层次深度信息，从而确定存放有解码所需要的参数的处理单位存在的层次，因此，该层次不仅限于最下层的层次，而可以设定为任意的层次。因此，与按位于最下层的层次的最小的每个处理单位存放参数的情况相比，能够抑制编码流中包含的所有的参数的代码量，能够提高编码效率。据此，能够同时实现画质的提高和编码效率的提高。并且，通过分析层次深度信息，从而确定存放有参数的处理单位存在的层次，因此能够减轻检索存放有参数的处理单位的处理负担。

并且，也可以是，所述编码流是通过伴随正交变换以及量化的编码而生成的，所述处理单位，以从上层向下层处理单位逐渐变小的方式而被层次化，在最上层的层次存在作为最大的处理单位的编码单位，在比所述最上层的层次深的下层的层次存在作为比所述编码单位小的处理单位的变换单位，所述参数是适用于所述变换单位的量化参数，所述层次深度信息示出，比所述最上层的层次深的下层的层次，在确定存放有所述量化参数的处理单位存在的层次时，确定所述层次深度信息所示的层次、或者比该层次上层的层次且所述最上层的层次以外的层次。

据此，能够同时实现基于量化参数的量化中的画质的提高、和量化参数的编码效率的提高。

并且，也可以是，所述头部是针对由所述多个处理单位构成的图片的图片头，所述层次深度信息被存放在所述图片头中。

据此，能够将存放有解码所需要的参数的处理单位存在的层次，确定为针对图片整体共同的层次。

并且，也可以是，在对所述处理单位进行解码时，利用所述处理单位内的被配置在通过所述正交变换以及量化而生成的变换系数之后的所述量化参数。

据此，仅在变换系数存在的情况下存放量化参数，因此，在没有变换系数的情况下不存放量化参数，能够提高编码效率。

并且，为了实现所述目的，本发明的实施方案之一涉及的图像编码方法，通过对运动图像进行编码，从而生成包含多个处理单位和针对所述多个处理单位的头部的编码流，所述多个处理单位之中的至少一个处理单位，以被分割为多个更小的处理单位的方式而被层次化，在所述图像编码方法中，对所述运动图像进行编码，将用于确定存放有解码所需要的参数的处理单位存在的层次的层次深度信息，写入到所述头部，向位于由所述层次深度信息确定的层次的所述处理单位写入所述参数。

据此，在处理单位被层次化的情况下，按位于下层的层次的小的每个处理单位能够写入不同的参数。其结果为，图像解码装置，按小的每个处理单位适用不同的参数来能够解码处理单位，其结果为，能够提高画质。并且，用于确定存放有解码所需要的参数的处理单位存在的层次的层次深度信息被写入到头部，因此，能够向图像解码装置通知该层次。因此，该层次不仅限于最下层的层次，而可以设定为任意的层次。因此，与按位于最下层的层次的最小的每个处理单位存放参数的情况相比，能够抑制编码流中包含的所有的参数的代码量，能够提高编码效率。据此，能够同时实现画质的提高和编码效率的提高。

并且，也可以是，在对所述运动图像进行编码时，对所述运动图像进行正交变换以及量化，所述处理单位，以从上层向下层处理单位逐渐变小的方式而被层次化，在最上层的层次存在作为最大的处理单位的编码单位，在比所述最上层的层次深的下层的层次存在作为比所述编码单位小的处理单位的变换单位，所述参数是适用于所述变换单位的量化参数，所述层次深度信息示出，比所述最上层的层次下层的层次，在写入所述量化参数时，向位于所述层次深度信息所示的层次、或者比该层次上层的层次且所述最上层的层次以外的层次的处理单位，写入所述参数。

据此，能够同时实现基于量化参数的量化中的画质的提高、和量化参数的编码效率的提高。

并且，也可以是，所述头部是针对由所述多个处理单位构成的图片的图片头，在写入所述层次深度信息时，将所述层次深度信息写入到所述图片头。

据此，针对图片整体共同设定存放有解码所需要的参数的处理单位存在的层次。

并且，也可以是，在写入所述量化参数时，将所述量化参数写入到所述处理单位内的通过所述正交变换以及量化而生成的变化系数之后。

据此，能够仅在变换系数存在的情况下写入量化参数，能够提高编码效率。

而且，本发明，除了可以作为这样的图像解码方法及图像编码方法来实现以外，还可以作为通过这样的方法解码或编码图像的装置、集成电路、通过这样的方法解码或编码图像的程序、存放该程序的记录介质来实现。

发明效果

本发明的图像解码方法及图像编码方法，能够同时实现画质的提高和编码效率的提高。

附图说明

图1是示出以往的编码流的结构的图。

图2是示出本发明的实施例1的图像编码装置的结构的方框图。

图3是示出本发明的实施例1的图像解码装置的结构的方框图。

图4是用于说明多层次块构造的说明图。

图5是示出由TMuC的软件生成的编码流的结构的图。

图6A是示出本发明的实施例1的编码流的结构的图。

图6B是示出本发明的实施例1的编码流的结构的图。

图6C是示出本发明的实施例1的编码流的结构的图。

图7是示出本发明的实施例1的其他的编码流的结构的图。

图8A是示出本发明的实施例1的还其他的编码流的结构的图。

图8B是示出本发明的实施例1的还其他的编码流的结构的图。

图9A是示出本发明的实施例1的Max_quantization_unit_hierarchy_depth的存放位置的图。

图9B是示出本发明的实施例1的Max_quantization_unit_hierarchy_depth的存放位置的图。

图10A是示出本发明的实施例1的德尔塔(delta)量化尺度参数的图。

图10B是示出本发明的实施例1的量化死区偏移参数的图。

图10C是示出本发明的实施例1的索引的图。

图10D是示出本发明的实施例1的量化偏移参数的图。

图11是示出本发明的实施例1的由图像解码装置的德尔塔QP的解码的流程图。

图12是示出本发明的实施例1的由图像解码装置的QP的计算的流程图。

图13是示出本发明的实施例1的变形例1涉及的由图像解码装置的解码的流程图。

图14是示出本发明的实施例1的变形例1涉及的由图像编码装置的编码的流程图。

图15A是示出本发明的实施例1的变形例2涉及的由图像解码装置的解码的流程图。

图15B是示出本发明的实施例1的变形例2涉及的由图像解码装置的解码的流程图。

图16A是示出本发明的实施例1的变形例2涉及的由图像编码装置的编码的流程图。

图16B是示出本发明的实施例1的变形例2涉及的由图像编码装置的编码的流程图。

图17A是示出本发明的图像解码方法的流程图。

图17B是示出本发明的图像编码方法的流程图。

图18A是示出本发明的实施例1的序列头的语法的图。

图18B是示出本发明的实施例1的图片头的语法的图。

图18C是示出本发明的实施例1的片头的语法的图。

图19A是示出本发明的实施例1的编码单位(CU)的语法的图。

图19B是示出本发明的实施例1的预测单位(PU)的语法的图。

图19C是示出本发明的实施例1的变换单位(TU)的语法的图。

图20是实现内容分发服务的内容提供系统的整体结构图。

图21是数字广播用系统的整体结构图。

图22是示出电视机的结构例的方框图。

图23是示出对作为光盘的记录介质进行信息的读写的信息再生/记录部的结构例的方框图。

图24是示出作为光盘的记录介质的构造例的图。

图25A是示出移动电话的一个例子的图。

图25B是示出移动电话的结构例的方框图。

图26是示出多路复用数据的结构的图。

图27是示出各个流在多路复用数据中如何被多路复用的模式图。

图28是更详细示出在PES数据包串中如何存放视频流的图。

图29是示出多路复用数据中的TS数据包和源数据包的构造的图。

图30是示出PMT的数据结构的图。

图31是示出多路复用数据信息的内部结构的图。

图32是示出流属性信息的内部结构的图。

图33是示出识别影像数据的步骤的图。

图34是示出各个实施例涉及的实现运动图像编码方法以及运动图像解码方法的集成电路的结构例的方框图。

图35是示出切换驱动频率的结构的图。

图36是示出识别影像数据，切换驱动频率的步骤的图。

图37是示出影像数据的标准与驱动频率对应的查找表的一个例子的图。

图38A是示出共享信号处理部的模块的结构的一个例子的图。

图38B是示出共享信号处理部的模块的结构的另一个例子的图。

具体实施方式

以下，利用附图说明本发明的实施例。

(实施例1)

图2是示出本实施例的图像编码装置的结构的方框图。

图像编码装置1000具备，编码处理部1100以及编码控制部1200。

编码处理部1100，通过按每个块对运动图像进行编码，从而生成编码流。这样的编码处理部1100具备，减法器1101、正交变换部1102、量化部1103、熵编码部1104、逆量化部1105、逆正交变换部1106、加法器1107、去块滤波器1108、存储器1109、面内预测部1110、运动补偿部1111、运动检测部1112、以及开关1113。

减法器1101，获得运动图像，并且，从开关1113获得预测图像。而且，减法器1101，从该运动图像中包含的编码对象块中减去预测图像，从而生成差分图像。

正交变换部1102，对由减法器1101生成的差分图像进行例如离散余弦变换等的正交变换，从而将该差分图像变换为由多个频率系数构成的系数块。量化部1103，对该系数块中包含的各个频率系数进行量化，从而生成量化后的系数块。

熵编码部1104，对由量化部1103量化的系数块、和由运动检测部1112检测的运动矢量进行熵编码(可变长编码)，从而生成编码流。

逆量化部1105，对由量化部1103量化的系数块进行逆量化。逆正交变换部1106，对该逆量化后的系数块中包含的各个频率系数进行逆离散余弦变换等的逆正交变换，从而生成解码差分图像。

加法器1107，从开关1113获得预测图像，将该预测图像、和由逆正交变换部1106生成的解码差分图像相加，从而生成局部解码图像。

去块滤波器1108，除去由量化加法器1107生成的局部解码图像的块失真，将该局部解码图像存放到存储器1109。

面内预测部1110，利用由加法器1107生成的局部解码图像，对编码对象块进行面内预测，从而生成预测图像。

运动检测部1112，针对运动图像中包含的编码对象块，检测运动矢量，将该检测出的运动矢量输出到运动补偿部1111和熵编码部1104。

运动补偿部1111，参考存储器1109所存放的图像，以作为参考图像，并且，利用由运动检测部1112检测的运动矢量，从而对编码对象块进行运动补偿。运动补偿部1111，通过这样的运动补偿，生成针对编码对象块的预测图像。

开关1113，在编码对象块被进行面内预测编码的情况下，将由面内预测部1110生成的预测图像输出到减法器1101以及加法器1107。另一方面，开关1113，在编码对象块被进行画面间预测编码的情况下，将由运动补偿部1111生成的预测图像输出到减法器1101以及加法器1107。

编码控制部1200，控制编码处理部1100。具体而言，编码控制部1200，决定存放量化参数的处理单位、以及用于确定该处理单位存在的场所的层次深度信息。量化参数是，用于由量化部1103的量化、以及由逆量化部1105的逆量化的参数。本实施例的处理单位被层次化，某个层次的处理单位相当于所述的块。层次深度信息是，例如，用于确定存放有量化参数的处理单位存在的层次的参数。编码控制部1200，向熵编码部1104，指示将量化参数存放到所述的决定的处理单位，并且，指示将层次深度信息存放到编码流的头部(例如序列头或图片头)。

图3是示出本实施例的图像解码装置的结构的方框图。

图像解码装置2000具备，解码处理部2100以及解码控制部2200。

解码处理部2100，按每个块对编码流进行解码，从而生成解码图像。这样的解码处理部2100具备，熵解码部2101、逆量化部2102、逆正交变换部2103、加法器2104、去块滤波器2105、存储器2106、面内预测部2107、运动补偿部2108、以及开关2109。

熵解码部2101，获得编码流，对该编码流进行熵解码(可变长解码)。

逆量化部2102，对由熵解码部2101的熵解码生成的、量化后的系数块进行逆量化。逆正交变换部2103，对该逆量化后的系数块中包含的各个频率系数进行逆离散余弦变换等的逆正交变换，从而生成解码差分图像。

加法器2104，从开关2109获得预测图像，将该预测图像、和由逆正交变换部2103生成的解码差分图像相加，从而生成解码图像。

去块滤波器2105，除去由加法器2104生成的解码图像的块失真，将该解码图像存放到存储器2106，并且，输出该解码图像。

面内预测部1110，利用由加法器2104生成的解码图像，对解码对象块进行面内预测，从而生成预测图像。

运动补偿部2108，参考存储器2106所存放的图像以作为参考图像参照，并且，利用由熵解码部2101的熵解码生成的运动矢量，从而对解码对象块进行运动补偿。运动补偿部2108，通过这样的运动补偿生成针对解码对象块的预测图像。

开关2109，在解码对象块被进行面内预测编码的情况下，将由面内预测部2107生成的预测图像输出到加法器2104。另一方面，开关2109，在解码对象块被进行画面间预测编码的情况下，将由运动补偿部2108生成的预测图像输出到加法器2104。

解码控制部2200，控制解码处理部2100。具体而言，解码控制部2200，根据由熵解码部2101的熵解码的结果，分析编码流的头部(例如序列头或图片头)中存放的层次深度信息。而且，解码控制部2200，根据该层次深度信息，确定存放有量化参数的处理单位的层次，分析位于该层次的处理单位中包含的量化参数。解码控制部2200，指示逆量化部2102，进行利用了该分析后的量化参数的逆量化。

图4是用于说明被层次化的处理单位(多层次块构造)的说明图。

编码处理部1100，按每个处理单位对运动图像进行编码，解码处理部2100，按每个处理单位对编码流进行解码。该处理单位被层次化，从而被分割为多个小的处理单位，该小的处理单位还被分割为更小的处理单位。而且，处理单位越小，该处理单位存在的层次越深，越位于下层，示出该层次的值越大。反而，处理单位越大，该处理单位存在的层次越浅，越位于上层，示出该层次的值越小。

处理单位有，编码单位(CU)和预测单位(PU)和变换单位(TU)。CU是，由最大128×128像素构成的块，也是相当于以往的宏块的单位。PU是，画面间预测的基本单位。TU是，正交变换的基本单位，该TU的尺寸是，与PU相同、或比PU小一层次的尺寸。CU，例如被分割为四个子CU，其中一个子CU，包含与该子CU相同的尺寸的PU以及TU(此时，PU和TU处于彼此重叠了的状态)。例如，该PU还被分割为四个子PU，TU也还被分割为四个子TU。而且，在处理单位被分割为多个小的处理单位的情况下，将该小的处理单位称为子处理单位。例如，在处理单位是CU的情况下，子处理单位是子CU，在处理单位是PU的情况下，子处理单位是子PU，在处理单位是TU的情况下，子处理单位是子TU。

具体而言，如下。

图片被分割为片。片是最大编码单位的序列。最大编码单位的位置，由最大编码单位地址lcuAddr示出。

包含最大编码单位的各个编码单位，被分割为四个编码单位。其结果为，构成编码单位的大小的四叉树分割。编码单位的位置，由以最大编码单位的左上端的采样(像素或系数)为起点的编码单位索引cuIdx示出。

在编码单位的分割没有被允许的情况下，该编码单位被处理为预测单位。与编码单位同样，预测单位的位置，由以最大编码单位的左上端的采样为起点的预测单位索引puIdx示出。

预测单位可以包含多个分区(预测单位分区或子PU)。预测单位分区，由以预测单位的左上端的采样为起点的预测单位分区索引puPartIdx示出。

预测单位可以包含多个变换单位。与编码单位同样，变换单位可以被分割为四个小的尺寸的变换单位(子变换单位)。据此，允许残差信号的四叉树分割。变换单位的位置，由以预测单位的左上端的采样为起点的变换单位索引tuIdx示出。

在此，如下示出各个处理单位的定义。

CTB(coding tree block)：用于确定正方形区域的四叉树分割的基本单位。CTB具有正方形的多种多样的尺寸。

LCTB(largest coding tree block)：片中允许的最大尺寸的CTB。片由不重复的多个LCTB构成。

SCTB(smallest coding tree block)：片中允许的最小尺寸的CTB。不允许将SCTB分割为更小的CTB。

PU(prediction unit)：用于确定预测处理的基本单位。PU的尺寸，与不允许分割的CU的尺寸相同。对于CU，允许将CU分割为四个正方形区域，对此，对于PU，能够将PU分割为任意的形状的多个分区。

TU(transform unit)：用于确定变换以及量化的基本单位。

CU(coding unit)：与CTB相同。

LCU(largest coding unit)：与最大的CTB相同。

SCU(smallest coding unit)：与最小的CTB相同。

并且，量化参数包含，德尔塔量化尺度参数(delta QP或QP delta)、量化偏移参数、索引(Qmatrix select idc)、以及量化死区偏移参数之中的至少一个。而且，索引，用于从多个量化尺度矩阵中选择一个。

德尔塔量化尺度参数(delta QP or QP delta)是指，要适用于变换系数的量化尺度参数、与序列头或片头所指定的量化尺度参数(或者，在Z扫描顺序上紧前的量化尺度参数)的差分。

量化偏移参数，也被称为量化偏移，也是进行量化时的信号的舍入方法的调整值(偏移值)。因此，图像编码装置1000，在进行量化时，对该量化偏移进行编码，图像解码装置2000，对该编码后的量化偏移进行解码。而且，图像解码装置2000，在对变换系数进行逆量化时，进行利用了该量化偏移的校正。

索引(Qmatrix select idc)，也被称为自适应量化矩阵，也是示出使用多个量化定标矩阵中的哪个量化标度矩阵的索引。并且，Qmatrix select idc，在只有一个量化标度矩阵的情况下，示出是否使用该量化标度矩阵。而且，自适应量化矩阵是，以块单位(处理单位)能够控制的。

量化死区偏移参数，也被称为自适应死区，是用于按每个块自适应地变更死区的控制信息。死区是，通过量化而频率系数成为0的宽度(即将量化后成为+1或－1之前的宽度)。

图5是示出由TMuC的软件生成的编码流的结构的图。

在由Test Model Under Consideration(TMuC)的软件生成的编码流中，德尔塔QP被存放到LCU。也就是说，在该编码流中，针对作为大的处理单位的LCU中包含的所有的系数，适用德尔塔QP等的同一的量化参数。其结果为，针对图像的细部，不能调整量化参数，导致画质降低。

于是，在由本实施例的图像编码装置1000生成、且由图像解码装置2000解码的编码流中，在位于比LCU深的下层的层次的处理单位中存放量化参数。

图6A、图6B以及图6C是示出本实施例的编码流的结构的图。

如图6A示出，在本实施例的编码流中，LCU被分割为四个子CU，按每个子CU，适用于该子CU的德尔塔QP被存放到该子CU。也就是说，若LCU为第一层次，在从LCU开始第二层次的下层的CU中存放德尔塔QP。并且，在子CU内，德尔塔QP被配置在该子CU中包含的所有的变换系数之后。

进而，在本实施例的编码流中，示出存放有德尔塔QP的最下层的处理单位的层次的层次深度信息(Max_quantization_unit_hierarchy_depth)，被存放到序列头。例如，Max_quantization_unit_hierarchy_depth＝2。

图像编码装置1000，生成并输出这样的编码流。另一方面，图像解码装置2000，通过分析编码流的序列头中存放的层次深度信息(Max_quantization_unit_hierarchy_depth)，从而确定存放有德尔塔QP的处理单位(位于第二层次的子CU)，分析该处理单位中存放的德尔塔QP。而且，图像解码装置2000，通过将该德尔塔QP，适用于存放有该德尔塔QP的子CU的各个变换系数，从而进行逆量化。

并且，如图6B示出，也可以代替德尔塔QP而存放Qmatrix select idc。进而，如图6C示出，也可以存放包含德尔塔QP以及Qmatrix select idc等的量化参数。

图7是示出本实施例的其他的编码流的结构的图。

在图6A至图6C示出的编码流中，量化参数被存放到位于第二层次的子CU，但也可以是，如图7示出，在位于更深的第三层次(Max_quantization_unit_hierarchy_depth＝3)的子CU或子TU中存放量化参数。

图8A以及图8B是示出本实施例的还其他的编码流的结构的图。

在图8A示出的编码流中，在TU或子TU中，存放适用于该TU或子TU的德尔塔QP。并且，在TU或子TU内，德尔塔QP被配置在该TU或子TU中包含的所有的变换系数之后。

并且，如图8B示出，也可以德尔塔QP以外的量化参数、以及包含德尔塔QP及Qmatrix select idc等的量化参数被存放为量化单元。

图9A以及图9B是示出Max_quantization_unit_hierarchy_depth的存放位置的图。

Max_quantization_unit_hierarchy_depth D300，如图9A示出，被存放到序列头。或者，Max_quantization_unit_hierarchy_depth D302，如图9B示出，被存放到图片头。也就是说，图像编码装置1000，向针对由多个处理单位构成的图片的图片头写入层次深度信息。其结果为，层次深度信息被存放到该图片头。

图10A至图10D是用于说明量化参数的种类的说明图。

在量化参数或量化单元D600中包含，如图10A至图10D示出，德尔塔量化尺度参数D602、量化死区偏移参数D604、索引D606、以及量化偏移参数D608之中的至少一个。而且，德尔塔量化尺度参数D602是德尔塔QP，索引D606是Qmatrix select idc(自适应量化矩阵)。

图11是示出由图像解码装置2000的德尔塔QP的解码的流程图。

首先，图像解码装置2000，对头部中存放的层次深度信息(Max_quantization_unit_hierarchy_depth)进行解码(步骤S1)，决定最小的量化的处理单位(minimumquantization unit)的尺寸(步骤S2)。接着，图像解码装置2000，判别解码对象的CU是否为该尺寸(步骤S3)。在此，在判别解码对象的CU是minimum quantization unit的尺寸的情况下(步骤S3的“是”)，图像解码装置2000，对该CU中存放的德尔塔QP进行解码(步骤S4)。另一方面，在判别解码对象的CU不是minimum quantization unit的尺寸的情况下(步骤S3的“否”)，图像解码装置2000，进一步，判别是否解码对象的CU的标志(split_coding_unitflag)为0、且解码对象的CU的尺寸比minimum quantization unit的尺寸大(步骤S5)。而且，若所述的split_coding_unit flag为0，则该标志示出不能将CU更分割，若split_coding_unit flag为1，则该标志示出能够将CU更分割。也就是说，图像解码装置2000，在步骤S5中，判别是否不能将解码对象的CU更分割、且解码对象的CU是否位于比层次深度信息所示的层次上层。在此，在判别标志为0、解码对象的CU的尺寸大的情况下(步骤S5的“是”)，图像解码装置2000，对该解码对象的CU中存放的德尔塔QP进行解码(步骤S6)。

图12是示出由图像解码装置2000的QP(量化尺度参数)的计算的流程图。

首先，图像解码装置2000，通过将四分割后的处理单位的各个TU的coded_block_flag(CBF)相加，从而决定针对解码对象的CU中包含的亮度和色差的TU是否被编码(步骤S11以及S12)。而且，在各个TU中，存放有作为示出是否有变换系数的标志的所述的coded_block_flag。在此，在判别为被编码的情况下(步骤S12的“是”)，图像解码装置2000，对TU中包含的德尔塔QP进行解码(步骤S14)。另一方面，在判别为没有被编码的情况下(步骤S12的“否”)，图像解码装置2000，在德尔塔QP中设定0(步骤S13)。进而，图像解码装置2000，决定在Z扫描顺序上紧前的CU的QP(步骤S15)，计算解码对象的CU的QP(步骤S16)。

如此，在本实施例的图像编码装置1000中，在处理单位被层次化的情况下，能够按照位于下层的层次的小的每个处理单位写入不同的参数(例如，量化参数)。其结果为，图像解码装置2000，能够按照小的每个处理单位适用不同的参数来对这样的处理单位进行解码，其结果为，能够提高画质。并且，用于确定存放有解码所需要的参数的处理单位存在的层次的层次深度信息被写入到头部，从而能够向图像解码装置2000通知该层次。因此，不将该层次限定为最下层的层次，而能够设定为任意的层次。因此，与按位于最下层的层次的最小的每个处理单位存放参数的情况相比，能够更抑制编码流中包含的所有的参数的代码量，能够提高编码效率。据此，能够同时实现画质的提高以及编码效率的提高。并且，图像解码装置2000，由于分析层次深度信息，来确定存放有参数的处理单位存在的层次，因此，能够减轻检索存放有参数的处理单位的处理负担，并且，能够对由图像编码装置1000生成的编码流适当地进行解码。而且，在本实施例中，对于参数的一个例子举出了量化参数，但也可以是任何参数。

(变形例1)

图13是示出本实施例的变形例1涉及的由图像解码装置2000的解码的流程图。

图像解码装置2000，首先，分析图片头中存放的层次深度信息(Max_quantization_unit_hierarchy_depth)(步骤S700)，分析CU的标志(步骤S702)。接着，图像解码装置2000，根据该分析后的标志将CU分割为更小的多个子CU(步骤S704)。而且，图像解码装置2000，决定该子CU的层次(步骤S706)，判别该决定后的层次、与Max_quantization_unit_hierarchy_depth所示的层次是否一致(步骤S708)。

在此，在判别为一致的情况下(步骤S708的“是”)，图像解码装置2000，分析该子CU中存放的量化参数(步骤S710)，进行基于该分析后的量化参数的逆量化，从而对该子CU进行解码(步骤S712)。

另一方面，在步骤S708中判别为不一致的情况下(步骤S708的“否”)，图像解码装置2000，根据所述的分析后的标志，判别是否不能将该子CU更分割为四个更小的子CU(步骤S714)。在此，在判别为不能的情况下(步骤S714的“是”)，图像解码装置2000，对该子CU执行所述的步骤S710以及S712的处理。另一方面，在判别为能够的情况下(步骤S714的“否”)，图像解码装置2000，从这样的四个更小的子CU中选择任一个子CU(步骤S716)，对该选择出的子CU执行从步骤S706开始的处理。

图14是示出本实施例的变形例1涉及的由图像编码装置1000的编码的流程图。

图像编码装置1000，首先，将层次深度信息(Max_quantization_unit_hierarchy_depth)写入到图片头(步骤S800)，决定用于分割CU的最佳的尺寸(步骤S802)。接着，图像编码装置1000，将用于将CU分割为该决定后的尺寸的处理单位的标志写入到该CU(步骤S804)。而且，图像编码装置1000，决定编码对象的处理单位(CU或子CU)的层次(步骤S806)，判别该决定后的层次、与预先写入的Max_quantization_unit_hierarchy_depth所示的层次是否一致(步骤S808)。

在此，在判别为一致的情况下(步骤S808的“是”)，图像编码装置1000，向该处理单位(CU或子CU)写入量化参数(步骤S810)，进行基于该写入后的量化参数的量化，从而对该处理单位进行编码(步骤S812)。进而，图像编码装置1000，进行基于该写入后的量化参数的逆量化，从而对该编码后的处理单位进行解码(步骤S814)。

另一方面，在步骤S808中判别为不一致的情况下(步骤S808的“否”)，图像编码装置1000，根据所述的标志，判别是否不能将该处理单位更分割为四个更小的子CU(步骤S816)。在此，在判别为不能的情况下(步骤S816的“是”)，图像编码装置1000，对该处理单位执行从所述的步骤S810开始的处理。另一方面，在判别为能够的情况下(步骤S816的“否”)，图像编码装置1000，从这样的四个更小的子CU中选择任一个子CU(步骤S818)，对该选择出的子CU执行从步骤S806开始的处理。

(变形例2)

图15A及图15B是示出本实施例的变形例2涉及的由图像解码装置2000的解码的流程图。

图像解码装置2000，首先，分析图片头中存放的层次深度信息(Max_quantization_unit_hierarchy_depth)(步骤S900)，分析CU的标志(步骤S902)。接着，图像解码装置2000，根据该分析后的标志，将CU分割为更小的多个子CU(步骤S904)。而且，图像解码装置2000，决定该子CU的层次(步骤S906)，判别该决定后的层次、与Max_quantization_unit_hierarchy_depth所示的层次是否一致(步骤S908)。

在此，在判别为一致的情况下(步骤S908的“是”)，图像解码装置2000，分析该子CU(处理单位)中存放的量化参数(步骤S910)，进行基于该分析后的量化参数的逆量化，从而对该子CU(处理单位)进行解码(步骤S912)。

另一方面，在步骤S908中判别为不一致的情况下(步骤S908的“否”)，图像解码装置2000，根据所述的分析后的标志，判别是否不能将该子CU更分割为四个更小的子CU(步骤S914)。在此，在判别为能够的情况下(步骤S914的“否”)，图像解码装置2000，从这样的四个更小的子CU中选择任一个子CU(步骤S928)，对该选择出的子CU执行从步骤S906开始的处理。

另一方面，在步骤S914中判别为不能的情况下(步骤S914的“是”)，图像解码装置2000，分析位于子CU内的TU的变换分割标志(步骤S916)，根据该分析后的变换分割标志，将TU分割为作为更小的处理单位的多个子TU(步骤S918)。进而，图像解码装置2000，针对该子TU决定从LCU开始的层次(步骤S920)，判别该决定后的层次、与Max_quantization_unit_hierarchy_depth所示的层次是否一致(步骤S922)。

在此，在判别为一致的情况下(步骤S922的“是”)，图像解码装置2000，对该子TU执行从步骤S910开始的处理。另一方面，在步骤S922中判别为不一致的情况下(步骤S922的“否”)，图像解码装置2000，根据所述的分析后的变换分割标志，判别是否不能将该子TU更分割为四个更小的子TU(步骤S926)。在此，在判别为能够的情况下(步骤S926的“否”)，图像解码装置2000，从这样的四个更小的子TU中选择任一个子TU(步骤S924)，对该选择出的子TU执行从步骤S920开始的处理。另一方面，在判别为不能的情况下(步骤S926的“是”)，图像解码装置2000，执行从步骤S910开始的处理。

图16A以及图16B是示出本实施例的变形例2涉及的由图像编码装置1000的编码的流程图。

图像编码装置1000，首先，将层次深度信息(Max_quantization_unit_hierarchy_depth)写入到图片头(步骤S1000)，决定用于分割CU的最佳的尺寸(步骤S1002)。接着，图像编码装置1000，将用于将CU分割为该决定后的尺寸的处理单位的标志写入到该CU(步骤S1004)。而且，图像编码装置1000，决定编码对象的处理单位(CU或子CU)的层次(步骤S1006)，判别该决定后的层次、与预先写入的Max_quantization_unit_hierarchy_depth所示的层次是否一致(步骤S1008)。

在此，在判别为一致的情况下(步骤S1008的“是”)，图像编码装置1000，向该处理单位(CU或子CU)写入量化参数(步骤S1010)，进行基于该写入后的量化参数的量化，从而对该处理单位进行编码(步骤S1030)。进而，图像编码装置1000，进行基于该写入后的量化参数的逆量化，从而对该编码后的处理单位进行解码(步骤S1012)。

另一方面，在步骤S1008中判别为不一致的情况下(步骤S1008的“否”)，图像编码装置1000，根据所述的标志，判别是否不能将该处理单位更分割为四个更小的子CU(步骤S1014)。在此，在判别为能够的情况下(步骤S1014的“否”)，图像编码装置1000，从这样的四个更小的子CU中选择任一个子CU(步骤S1028)，对该选择出的子CU执行从步骤S1006开始的处理。

另一方面，在步骤S1014中判别为不能的情况下(步骤S1014的“是”)，图像编码装置1000，决定用于分割处理单位(CU或子CU)内的TU的最佳的尺寸(步骤S1016)，将用于将TU分割为该决定后的尺寸的处理单位的标志(变换分割标志)写入到该TU(步骤S1018)。接着，图像编码装置1000，针对编码对象的处理单位(TU或子TU)，决定从LCU开始的层次(步骤S1020)，判别该决定后的层次、与预先写入的Max_quantization_unit_hierarchy_depth所示的层次是否一致(步骤S10022)。

在此，在判别为一致的情况下(步骤S1022的“是”)，图像编码装置1000，针对该处理单位(TU或子TU)，执行从步骤S1010开始的处理(步骤S1010)。另一方面，在步骤S1022中判别为不一致的情况下(步骤S1022的“否”)，图像编码装置1000，根据所述的变换分割标志，判别是否不能将该处理单位(TU或子TU)更分割为四个更小的子TU(步骤S1026)。在此，在判别为能够的情况下(步骤S1026的“否”)，图像编码装置1000，从这样的四个更小的子TU中选择任一个子TU(步骤S1024)，对该选择出的子TU执行从步骤S1020开始的处理。另一方面，在步骤S1026中，在判别为不能的情况下(步骤S1026的“是”)，图像编码装置1000，执行从步骤S1010开始的处理。也就是说，图像编码装置1000，向该处理单位(TU或子TU)写入量化参数(步骤S1010)，进行基于该写入后的量化参数的量化，从而对该处理单位进行编码(步骤S1030)。进而，图像编码装置1000，进行基于该写入后的量化参数的逆量化，从而对该编码后的处理单位进行解码(步骤S1012)。

在此，也可以说，在本发明的问题以及解决手段为如下内容。

也就是说，通过将图片分割为大的编码单位，从而能够提高编码效率。但是，若针对大的编码单位设定量化参数，由于该编码单位为大的尺寸，因此，在图像编码装置中，丢失对图片的尺寸的调整的灵活性。量化参数包含，量化尺度参数、量化偏移参数、以及索引之中的至少一个。而且，索引，用于从多个量化尺度矩阵中选择一个量化尺度矩阵。

例如，对于电视会议以及安防摄像机等的需要低延迟的录像设备，能够调整一个图片的最大尺寸是，运动图像的编码以及解码所需要的重要的特征。据此，需要以图片的最小的单位调整量化参数。另一方面，对于其他的录像设备，不需要如上所述的特征，通过减少用于发送这样的量化参数的开销，从而能够提高编码效率。

在此，编码单位、预测单位以及变换单位是HEVC标准的基本单位。作为量化尺度参数的QP是，用于差分值(德尔塔值)的逆标度处理的参数，以编码单位的级别被发送。对于HEVC的TMuC(Test Model Under Consideration)规格，该德尔塔量化尺度参数不被发送。但是，对于软件，德尔塔量化尺度参数在最大的编码单位的量化的最后被发送。但是，若作为预测单位的PU被跳越，则作为编码单位的CU的深度为0，Y块、U块以及V块不被编码。

也就是说，存在如下两个问题(问题1以及2)。

问题1：编码德尔塔量化尺度参数，仅被限制为最大编码单位的级别。对于低延迟或低比特率的录像设备，有可能难以按每个编码单位调整比特。换而言之，对于TMuC规格及软件，对信息的存放位置的限制严格，只能以最大CU单位传输量化参数。其结果为，不能以更小的单位(处理单位)控制量化参数。

问题2：在作为变换单位的TU不被编码时，不需要量化参数。但是，在现在的技术中，仅检查TU和PU被跳越的情况。由于TU与PU分离，因此，QP德尔塔的发送仅依赖于TU。并且，即使在没有变换系数(空间区域的图像被正交变换以及量子化而生成的系数)的情况下，也需要传输对该变换系数不需要的量化参数。其结果为，示出编码后的图像的编码流成为冗余。

为了解决所述问题，提供按每个最大编码单位发送量化参数这新的方法。根据该发送方法，在图像编码装置中，同时实现块的细小的率控制的功能性、和高编码效率，因此，能够以编码单位选择量化参数被包含并发送的级别。

该发明的新的发明点是，为了数据率的更好的控制，而决定图片的最大编码单位中的量化参数的位置，这样的图像编码装置的更高的灵活性或功能性。以往没有该功能性，通过结合最大编码单位以及量化参数的利用，能够提高编码运动图像的画质。该发明的新的发明点是，编码单位中的量化参数的位置。特别是，以往，例如宏块等的编码单位的头部中包含量化参数。然而，在本发明中，量化参数，在与块有关的预测以及差分信息被编码之后，编码单位的最后被编码。

也就是说，针对所述的问题1以及问题2，可以考虑如下的解决手段(解决手段1以及解决手段2)。

解决手段1：为了以小的CU级别发送德尔塔QP，向头部(序列参数集/图片参数集/片头)插入层次深度信息。也就是说，图像编码装置，在位于比最大CU深的层次的小的单位(处理单位)存放量化参数，将用于确定该处理单位存在的层次(层次的深度)的层次深度信息，存放到序列头或图片头等的头部。图像解码装置，分析位于该头部的层次深度信息来确定层次(层次的深度)，分析位于该确定后的层次的处理单位中存放的量化参数。在此，层次深度信息，也可以示出存放有量化参数的处理单位可存在的最深(位于最下层)的层次。在此情况下，图像解码装置，确定该层次深度信息所示的最下层的层次、或作为比该层次上层的层次且最上层的层次以外的层次。并且，层次深度信息也可以是，示出预先决定的层次的CU(例如，位于最下层的层次的CU)中是否存放量化参数的标志。

解决手段2：为了跳越德尔塔QP的发送，导入检查TU编码块标志或模式的新的条件。并且，图像编码装置，在传输量化参数时，在TU内的最后配置量化参数。据此，图像解码装置，能够判断不需要量化参数的情况(例如，没有变换系数的情况)。其结果为，图像编码装置，不必要传输无用的量化参数，能够削减代码量。

以上，对于本发明涉及的图像解码方法以及图像编码方法，利用所述实施例以及其变形例进行了说明，但是，本发明不仅限于它们。

例如，在所述实施例1以及其变形例的图像解码方法中，包含图11的步骤S3以及S5等的处理，但是，即使没有这样的处理，本发明也能够得到所述的效果。

图17A是示出本发明的图像解码方法的流程图。

本发明的图像解码方法是，对将运动图像编码而生成的、包含多个处理单位和针对该多个处理单位的头部的编码流进行解码的图像解码方法。在此，该多个处理单位中的至少一个处理单位，以被分割为多个更小的处理单位的方式而被层次化。在该图像解码方法中，首先，通过分析头部中存放的层次深度信息，从而确定存放有解码所需要的参数的处理单位存在的层次(步骤S101)。接着，利用位于确定后的层次的处理单位中存放的参数，对该处理单位进行解码(步骤S102)。

如此，通过进行步骤S101以及S102的处理，能够得到与实施例1同样的效果，在本发明中，其他的处理不是必须的处理。并且，本发明的图像解码装置，通过具备执行步骤S101以及S102的各个处理的构成要素，能够得到与实施例1同样的效果，在本发明中，其他的构成要素不是必须的构成要素。而且，在实施例1的图像解码装置2000中，解码控制部2200执行步骤S101的处理，解码处理部2100执行步骤S102的处理。

并且，在所述实施例1以及其变形例的图像编码方法中，包含图14的步骤S804等的处理，但是，即使没有这样的处理，本发明也能够得到所述的效果。

图17B是示出本发明的图像编码方法的流程图。

本发明的图像编码方法是，通过对运动图像进行编码，从而生成包含多个处理单位和针对该多个处理单位的头部的编码流的图像编码方法。在此，该多个处理单位中的至少一个处理单位，以被分割为多个更小的处理单位的方式而被层次化。在该图像编码方法中，首先，对运动图像进行编码(步骤S111)。接着，将用于确定存放有解码所需要的参数的处理单位存在的层次的层次深度信息写入到头部(步骤S112)。进而，向位于由层次深度信息确定的层次的处理单位，写入该参数(步骤S113)。

如此，通过进行步骤S111至S113的处理，能够得到与实施例1同样的效果，在本发明中，其他的处理不是必须的处理。并且，本发明的图像编码装置，通过具备执行步骤S111至S113的各个处理的构成要素，能够得到与实施例1同样的效果，在本发明中，其他的构成要素不是必须的构成要素。而且，在实施例1的图像编码装置1000中，根据由编码控制部1200的控制，熵编码部1104执行步骤S111至S113的处理。

而且，与本发明有关的头部的语法，由图18A至图18C所示，与本发明有关的处理单位(CU、PU以及TU)的语法，由图19A至图19C所示。

图18A是示出序列头的语法的图。在该序列头中，例如，规定有可参考的最大的参考帧数(max_num_ref_frames)、以及图片的尺寸(pic_widht_in_luma_samples,pic_height_in_luma_samples)等。

图18B是示出图片头的语法的图。在该图片头中，如语法的一部分d1示出，规定有按每个参考方向(前方向以及后方向)能够保持参考索引的数量，并且，规定有初始QP(从初始QP中减去了26的数量)。

图18C是示出片头的语法的图。该片头被构成为，如语法的一部分d2示出，按每个片能够改写所述的参考索引的能够保持的数量。并且，在该片头中，如语法的其他的部分d3示出，规定有从在所述的图片头中规定的初始QP的QP的差分值。

图19A是示出CU的语法的图。在该CU中，如语法的一部分d4以及d5示出，规定有针对该CU的PU以及TU。

图19B是示出PU的语法的图。该PU，如语法的一部分d6以及d8示出，按每个参考方向具有参考索引，进一步，如语法的其他的部分d7以及d9示出，按每个参考方向具有自适应运动矢量分辩率切换标志(mvres)。

图19C是示出TU的语法的图。该TU，如语法的一部分d10示出，具有差分图像被正交变换并量化后的系数(变换系数)。

(实施例2)

通过将用于实现在上述的各个实施例所示的图像编码方法或图像解码方法的结构的程序记录到记录介质，从而可以将上述的各个实施例所示的处理在独立的计算机系统简单地实施。记录介质可以是磁盘、光盘、磁光盘、IC卡、半导体存储器等，只要能够记录程序就可以。

并且，在此对在上述的各个实施例所示的图像编码方法以及图像解码方法的应用实例以及利用这些应用实例的系统进行说明。

图20是示出实现内容分发服务的内容提供系统ex100的全体构成图。将通信服务的提供区域分割为所希望的大小，在各单元内分别设置有作为固定无线局的基站ex106至ex110。

在该内容提供系统ex100中，计算机ex111、PDA(个人数字助理：personal digitalassistant)ex112、摄像机ex113、移动电话ex114、游戏机ex115等各种设备通过互联网服务提供商ex102和电话网ex104、以及基站ex106至ex110，与互联网ex101上相连接。

然而，内容提供系统ex100并非局限于图20所示的构成，也可以对任意的要素进行组合接续。并且，可以不通过作为固定无线局的基站ex106至ex110，而是各个设备直接与电话网ex104相连接。并且，也可以是各个设备通过近距离无线等而彼此直接连接。

摄像机ex113是数字摄像机等能够拍摄运动图像的设备，摄像机ex116是数字照相机等能够拍摄静止图像以及运动图像的设备。并且，移动电话ex114可以是GSM(注册商标)(Global System for Mobile Communications：全球移动通讯系统)方式、CDMA(CodeDivision Multiple Access：码分多址访问)方式、W-CDMA(Wideband-Code DivisionMultiple Access：宽带码分多址访问)方式、或LTE(Long Term Evolution：长期演进)方式、HSPA(High Speed Packet Access：高速分组访问)的移动电话，或PHS(PersonalHandyphone System：个人手持式电话系统)等任一个。

在内容提供系统ex100中，摄像机ex113等通过基站ex109、电话网ex104与流播放服务器ex103连接，从而能够进行实况分发等。在实况分发中，针对用户利用摄像机ex113拍摄的内容(例如音乐实况的影像等)进行在上述的实施例所说明的编码处理，并发送到流播放服务器ex103。另外，流播放服务器ex103针对提出请求的客户端，对被发送的内容数据进行流的分发。作为客户端，包括可以解码上述的被编码处理的数据的计算机ex111、PDAex112、摄像机ex113、移动电话ex114、以及游戏机ex115等。在接收了被分发的数据的各个设备，对接收的数据进行解码处理并再生。

并且，拍摄的数据的编码处理可以在摄像机ex113进行，也可以在进行数据的发送处理的流播放服务器ex103进行，也可以相互分担进行。同样，被分发的数据的解码处理可以由客户端进行，也可以在流播放服务器ex103进行，也可以相互分担进行。并且，不仅限于摄像机ex113，由摄像机ex116拍摄的静止图像数据以及/或者运动图像数据，也可以通过计算机ex111而被发送到流播放服务器ex103。此时的编码处理可以在摄像机ex116、计算机ex111、流播放服务器ex103的任一个中进行，也可以相互分担进行。

并且，这样的编码处理以及解码处理，由一般的计算机ex111以及各个设备有的LSIex500处理。LSIex500可以由一个芯片构成，也可以由多个芯片构成。另外，也可以将图像编码用以及图像解码用的软件安装到能够计算机ex111等读取的某种记录介质(CD-ROM、软盘、硬盘等)中，并利用该软件来进行编码处理以及解码处理。而且，在移动电话ex114是附带有相机的情况下，也可以发送该相机所获得的运动图像数据。在这种情况下的运动图像数据是由移动电话ex114所具有的LSIex500进行编码处理后的数据。

并且，流播放服务器ex103是多个服务器或多个计算机，也可以是对数据进行分散地处理、记录、分发的装置。

如以上所述，在内容提供系统ex100中，客户端能够接收并再生被编码的数据。在这样的内容提供系统ex100中，在客户端能够实时地接收并解码由用户发送的信息并且能够再生，这样，即使是没有特殊权利或设备的用户也能够实现个人播放。

而且，不仅限于内容提供系统ex100的例子，如图21示出，也可以在数字广播用系统ex200中，组装所述的各个实施例的至少运动图像编码装置或运动图像解码装置的某个。具体而言，在广播电台ex201，影像数据与音乐数据等多路复用后的多路复用数据通过电波进行通信，或被传送到卫星ex202。该影像数据是，由所述的各个实施例中说明的运动图像编码方法编码后的数据。接受它的播放卫星ex202，发出广播用的电波，该电波由能够接收卫星广播的家庭的天线ex204接收。接收的多路复用数据，由电视机(接收机)ex300或机顶盒(STB)ex217等的装置解码并再生。

并且，在阅读器/记录器ex218中也可以安装在上述的各个实施例中所示的运动图像解码装置或运动图像编码装置，该阅读器/记录器ex218对DVD、BD等记录介质ex215中所记录的多路复用数据进行读取并解码，或者将影像信号编码还根据情况与音乐信号多路复用并写入到记录介质ex215中。在此情况下，被再生的影像信号被显示在监视器ex219，通过记录有编码比特流的记录介质ex215，其他的装置以及系统能够再生影像信号。并且，也可以将图像解码装置安装到与有线电视用的电缆ex203或卫星/地波广播的天线ex204连接的机顶盒ex217内，并在电视机的监视器ex219上显示。此时，可以不组装机顶盒，而是将图像解码装置组装到电视机内。

图22示出了利用了上述的各个实施例所说明的图像解码方法以及图像编码方法的电视机(接收机)ex300。电视机ex300包括：调谐器ex301，通过接收上述广播的天线ex204或电缆ex203等获得或者输出影像数据与声音数据多路复用后的多路复用数据；调制/解调部ex302，解调接收的多路复用数据，或者调制为了要发送到外部的多路复用数据；以及多路复用/分离部ex303，将解调的多路复用数据分离为声音数据和声音数据，或者对由信号处理部ex306编码的影像数据和声音数据进行多路复用。

并且，电视机ex300具有信号处理部ex306和输出部ex309，所述信号处理部ex306具有分别对声音信号和影像信号进行解码或者对各个信息分别进行编码的声音信号处理部ex304和影像信号处理部ex305；所述输出部ex309具有对被解码的声音信号进行输出的扬声器ex307，以及对被解码的影像信号进行显示的显示器等显示部ex308。进而，电视机ex300具有接口部ex317，该接口部ex317具有接受用户的操作输入的操作输入部ex312等。进而，电视机ex300具有统括控制各个部的控制部ex310，以及向各个部提供电力的电源电路部ex311。接口部ex317除可以具有操作输入部ex312以外，还可以具有与阅读器/记录器ex218等外部设备连接的电桥ex313、用于安装SD卡等记录介质ex216的插槽部ex314、用于与硬盘等外部记录介质连接的驱动器ex315、以及与电话网连接的调制解调器ex316等。并且，记录介质ex216能够通过存储的非易失性/易失性的半导体存储器元件进行信息的电记录。电视机ex300的各个部通过同步总线相互连接。

首先，对电视机ex300通过天线ex204等从外部获得的多路复用数据进行解码并再生的构成进行说明。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据具有CPU等的控制部ex310的控制，将在调制/解调部ex302解调的多路复用数据，在多路复用/分离部ex303进行分离。进而，电视机ex300将分离的声音数据在声音信号处理部ex304进行解码，利用上述的各个实施例中说明的解码方法，将分离的影像数据在影像信号处理部ex305进行解码。解码的声音信号和影像信号分别从输出部ex309被输出到外部。在进行输出时，为了使声音信号和影像信号同步再生，而可以在缓冲器ex318、ex319等暂时蓄积这些信号。并且，电视机ex300可以不从广播等读出被编码的多路复用数据，而是从磁性/光盘、SD卡等记录介质ex215、ex216中读出被编码的多路复用数据。以下将要说明的构成是，电视机ex300对声音信号以及影像信号进行编码，并发送到外部或写入到记录介质等。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据控制部ex310的控制，在声音信号处理部ex304对声音信号进行编码，并利用在上述的各个实施例中说明的编码方法，在影像信号处理部ex305对影像信号进行编码。被编码的声音信号和影像信号在多路复用/分离部ex303被多路复用，并被输出到外部。在进行多路复用时，为了使声音信号和影像信号同步，而可以将这些信号暂时蓄积到缓冲器ex320、ex321等。另外，关于缓冲器ex318至ex321，可以如图中所示那样具备多个，也可以共享一个以上的缓冲器。而且，除图中所示以外，例如可以在调制/解调部ex302以及多路复用/分离部ex303之间等，作为回避系统的上溢和下溢的缓冲材料，可以在缓冲器中蓄积数据。

并且，电视机ex300除具有获得广播等以及来自记录介质等的声音数据以及影像数据的构成以外，还可以具有接受麦克风以及摄像机的AV输入的构成，并且也可以对从这些获得的数据进行编码处理。并且，在此虽然对电视机ex300能够进行上述的编码处理、多路复用以及外部输出的构成进行了说明，不过也可以不能进行上述的处理，而只能进行上述的接收、解码处理、外部输出的构成。

并且，在阅读器/记录器ex218从记录介质中读出或写入多路复用数据的情况下，上述的解码处理或编码处理也可以在电视机ex300以及阅读器/记录器ex218的某一个中进行，也可以是电视机ex300和阅读器/记录器ex218彼此分担进行。

作为一个例子，图23示出从光盘进行数据的读取或写入的情况下的信息再生/记录部ex400的构成。信息再生/记录部ex400包括，以下说明的要素ex401至ex407。光学头ex401将激光照射到作为光盘的记录介质ex215的记录面并写入信息，并且检测来自记录介质ex215的记录面的反射光并读取信息。调制记录部ex402对被内藏于光学头ex401的半导体激光进行电驱动，并按照记录数据来进行激光的调制。再生解调部ex403对由被内藏于光学头ex401的光电探测器对来自记录面的反射光进行电检测而得到的再生信号进行放大，对被记录在记录介质ex215的信号成分进行分离、解调，并再生必要的信息。缓冲器ex404对用于在记录介质ex215进行记录的信息以及从记录介质ex215再生的信息进行暂时保持。盘式电机ex405使记录介质ex215旋转。伺服控制部ex406在对盘式电机ex405的旋转驱动进行控制的同时，将光学头ex401移动到规定的信息光道，进行激光的光点的追踪处理。系统控制部ex407对信息再生/记录部ex400进行整体控制。上述的读出以及写入处理可以通过以下的方法来实现，即：系统控制部ex407利用被保持在缓冲器ex404的各种信息，并且按照需要在进行新的信息的生成以及追加的同时，一边使调制记录部ex402、再生解调部ex403以及伺服控制部ex406协调工作，一边通过光学头ex401来进行信息的记录再生。系统控制部ex407例如以微处理器构成，通过执行读出以及写入的程序来执行这些处理。

以上，以光学头ex401照射激光光点为例进行了说明，不过也可以是利用近场光学来进行高密度的记录的构成。

图24是作为光盘的记录介质ex215的模式图。在记录介质ex215的记录面上，导槽(槽)被形成为螺旋状，在信息光道ex230上预先被记录有按照槽的形状的变化示出盘上的绝对位置的地址信息。该地址信息包括用于确定记录块ex231的位置的信息，该记录块ex231是记录数据的单位，进行记录以及再生的装置能够通过再生信息光道ex230以及读取地址信息，来确定记录块。并且，记录介质ex215包括：数据记录区域ex233、内周区域ex232、以及外周区域ex234。用于记录用户数据的区域为数据记录区域ex233，被配置在数据记录区域ex233的内周或外周的内周区域ex232和外周区域ex234被用于用户数据的记录以外的特殊用途。信息再生/记录部ex400针对这种记录介质ex215的数据记录区域ex233，进行被编码的声音数据、影像数据或对这些数据进行多路复用后的多路复用数据的读写。

以上以具有一层结构的DVD、BD等光盘为例进行了说明，但并非受此所限，也可以是多层结构的能够在表面以外进行记录的光盘。并且，也可以在盘的同一位置上利用各种不同波长的颜色的光记录信息，或者从各种角度记录不同的信息的层等，进行多维的记录/再生的构造的光盘。

并且，在数字广播用系统ex200，能够在具有天线ex205的车辆ex210从卫星ex202等接收数据，并且能够在车辆ex210所具有的车辆导航系统ex211等显示装置再生运动图像。并且，关于车辆导航系统ex211的构成可以考虑到在图22所示的构成中添加GPS接收部，同样也可以考虑到添加计算机ex111以及移动电话ex114等。

图25A是示出了利用了在上述的实施例所说明的图像编码方法和图像解码方法的移动电话ex114的图。移动电话ex114具有：天线ex350，用于在与基站ex110之间进行电波的收发；摄像机部ex365，能够拍摄影像和静止图像；显示部ex358，是用于显示在摄像机部ex365拍摄的影像以及由天线ex350接收的影像等被解码后的数据的液晶显示器等。移动电话ex114还具有：具有操作键部ex366的主体部；声音输出部ex357，是用于输出声音的扬声器等；声音输入部ex356，是用于输入声音的麦克风等；存储器部ex367，用于保存拍摄的影像、静止图像、录音的声音、或者接收的影像、静止图像、邮件等被编码或被解码的数据；或者同样是保存数据的记录介质之间的接口部的插槽部ex364。

进一步利用图25B对移动电话ex114的构成例进行说明。在移动电话ex114中，针对用于统括控制具有显示部ex358以及操作键部ex366的主体部的各个部的主控制部ex360，电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、摄像机接口部ex363、LCD(Liquid Crystal Display：液晶显示器)控制部ex359、调制/解调部ex352、多路复用/分离部ex353、声音信号处理部ex354、插槽部ex364、以及存储器部ex367经由总线ex370相互连接。

电源电路部ex361在通过用户的操作而成为通话结束以及电源键成为导通状态下，通过从电池组向各个部提供电力，从而启动移动电话ex114，使其成为能够工作的状态。

移动电话ex114根据由CPU、ROM以及RAM等构成的主控制部ex360的控制，在声音通话模式时，由声音信号处理部ex354将在声音输入部ex356收集的声音信号转换为数字声音信号，并在调制/解调部ex352进行扩频(Spread Spectrum)处理，在发送/接收部ex351进行数模转换处理以及频率转换处理之后，经由天线ex350发送。并且，移动电话ex114在声音通话模式时，对通过天线ex350接收的接收数据进行放大并进行频率转换处理以及模数转换处理，在调制/解调部ex352进行扩频处理的逆处理，在由声音信号处理部ex354转换为模拟声音信号之后，从声音输出部ex357输出。

并且，在数据通信模式时发送电子邮件的情况下，通过主体部的操作键部ex366等的操作被输入的电子邮件的文本数据经由操作输入控制部ex362被发送到主控制部ex360。主控制部ex360，由调制/解调部ex352对文本数据进行扩频处理，在发送/接收部ex351进行数模转换处理以及频率转换处理之后，经由天线ex350发送到基站ex110。在接收电子邮件的情况下、针对接收的数据进行与上述几乎相反的处理，发送到显示部ex358。

在数据通信模式时发送影像、静止图像、或影像和声音的情况下，影像信号处理部ex355，将从摄像机部ex365提供的影像信号，按照所述各实施例表示的运动图像编码方法来进行压缩编码，并将编码的影像数据发送到多路复用/分离部ex353。此外，声音信号处理部ex354，对摄像机部ex365拍摄影像、静止图像等中，由声音输入部ex356收集的声音信号进行编码，并将被编码的声音数据发送到多路复用/分离部ex353。

多路复用/分离部ex353以规定的方式，对从影像信号处理部ex355提供来的被编码的影像数据和从声音信号处理部ex354提供来的被编码的声音数据进行多路复用，将通过多路复用而得到的多路复用数据在调制/解调电路部ex352进行扩频处理，并在发送/接收部ex351进行数模转换处理以及频率转换处理之后，经由天线ex350发送。

在数据通信模式时，接收被链接在主页等的运动图像文件的数据的情况下，或者接收被添加了影像及/或声音的电子邮件的情况下，为了经由天线ex350解码被接收的多路复用数据，多路复用/分离部ex353，通过分割多路复用数据来分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将被编码的影像数据提供给影像信号处理部ex355，并且将被编码的声音数据提供给声音信号处理部ex354。影像信号处理部ex355根据与所述各实施例示出的运动图像编码方法对应的运动图像解码方法进行解码来解码影像信号，通过LCD控制部ex359在显示部ex358显示例如被链接在主页的运动图像文件中包含的影像、静止图像。并且,声音信号处理部ex354解码声音信号，从声音输出部ex357输出声音。

并且，上述移动电话ex114等终端与电视机ex300同样，除可以考虑到是具有编码器以及解码器双方的收发信型终端的形式以外，还可以考虑到是仅具有编码器的发送终端，以及仅具有解码器的接收终端的共三种形式。进而，上述说明了在数字广播用系统ex200，接收以及发送在影像数据上多路复用了音乐数据等的多路复用数据，不过可以是除了声音数据以外多路复用了有关影像的文字数据等的数据，也可以是影像数据本身，而不是多路复用数据。

如此，可以将所述各个实施例所示的图像编码方法或图像解码方法用于所述的任何机器、系统上，据此可以获得所述各个实施例所说明的效果。

而且，本发明不仅限于这些所述实施例，而可以在不脱离本发明的范围的情况下进行各种变形或修改。

(实施例3)

可以按照需要适宜地切换上述的各个实施例所示的图像编码方法或装置与依照MPEG-2、MPEG4-AVC、VC-1等不同的标准的运动图像编码方法或装置，来生成影像数据。

在这里，在根据各自不同的标准生成了多个影像数据的情况下，需要在解码时选择与各自的标准对应的解码方法。然而，不能识别要解码的影像数据是依据了哪个标准的数据，所以产生不能选择恰当的解码方法这样的问题。

为了解决这个问题可以是在影像数据上多路复用了声音数据等的多路复用数据包含识别信息的构成，该识别信息表示影像数据是依据了哪个标准。下面说明包含由上述的各个实施例所示的图像编码方法或装置生成的影像数据的多路复用数据的具体构成。多路复用数据是MPEG－2传输流形式的数字流。

图26是示出多路复用数据的结构的图。如图26所示多路复用数据是，将视频流、音频流、演示图形流(PG)、以及交互式图形流中的一个以上多路复用而得到的。视频流示出电影的主影像及副影像，音频流(IG)示出电影的主声音部分以及与其主声音混合的副声音，演示图形流示出电影的字幕。在此，主影像示出画面中显示的通常的影像，副影像是主影像中以小的画面显示的影像。并且，交互式图形流示出，画面上配置GUI部件而制作的对话画面。视频流，由所述各个实施例中示出的图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等不同标准的运动图像编码方法或装置编码。音频流，由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。

多路复用数据中包含的各个流由PID识别。例如，对用于电影的影像的视频流分配0x1011，对音频流分配0x1100至0x111F，对演示图形分配0x1200至0x121F，对交互式图形流分配0x1400至0x141F，对用于电影的副影像的视频流分配0x1B00至0x1B1F，对用于与主声音混合的副声音的音频流分配0x1A00至0x1A1F。

图27是示出多路复用数据如何被多路复用的模式图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238，分别变换为PES数据包串ex236及ex239、变换为TS数据包ex237及ex240。同样，将演示图形流ex241以及交互式图形ex244的数据，分别变换为PES数据包串ex242及ex245，还变换为TS数据包ex243及ex246。通过将这样的TS数据包多路复用为一条流，从而构成多路复用数据ex247。

在图28中，更详细示出PES数据包串中如何存储视频流。在图28中，第一段示出，视频流的视频帧串。第二段示出，PES数据包串。如图26的箭头线yy1、yy2、yy3、yy4示出，作为视频流中的多个Video Presentation Unit的I图片、B图片、P图片，按每个图片而分割，存储到PES数据包的有效负载。各个PES数据包具有PES头，PES头中存储有，作为图片的显示时刻的PTS(Presentation Time－Stamp：显示时间戳)以及作为图片的解码时刻的DTS(Decoding Time－Stamp：解码时间戳)。

图29示出最终写入到多路复用数据中的TS数据包的形式。TS数据包是，由具有识别流的PID等的信息的4Byte的TS头、和存储数据的184Byte的TS有效负载构成的188Byte固定长度的数据包，上述PES数据包被分割后存储到TS有效负载中。在BD－ROM的情况下，在TS数据包中，赋予4Byte的TP_Extra_Header，构成192Byte的源数据包，被写入到多路复用数据中。在TP_Extra_Header中记载ATS(Arrival_Time_Stamp)等的信息。ATS示出该TS数据包的向解码器的PID滤波器的传输开始时刻。在多路复用数据中，如图29下段示出排列源数据包，从多路复用数据的开头开始增量的号码被称为SPN(源数据包号码)。

并且，对于多路复用数据中包含的TS数据包，除了影像、声音、字幕等的各个流以外，还有PAT(Program Association Table：节目关联表)、PMT(Program Map Table：节目映射表)、PCR(Program Clock Reference：节目时钟参考)等。PAT示出多路复用数据中利用的PMT的PID是什么，PAT本身的PID被登记为0。PMT具有，多路复用数据中包含的影像、声音、字幕等的各个流的PID以及与各个PID对应的流的属性信息，并且具有与多路复用数据有关的各种描述符。描述符有，指示多路复用数据的复制的允许、不允许的复制控制信息等。PCR，为了得到作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS、DTS的时间轴的STC(System Time Clock)的同步，而具有与该PCR数据包被传输到解码器的ATS对应的STC时间的信息。

图30是详细说明PMT的数据构造的图。在PMT的开头，配置描述了该PMT中包含的数据的长度等的PMT头。在其后面，配置与多路复用数据有关的多个描述符。上述复制控制信息等，被记载为描述符。在描述符的后面，配置与多路复用数据中包含的各个流有关的多个流信息。流信息，由用于识别流的压缩编解码等的流类型、流的PID、记载有流的属性信息(帧率，宽高比等)的流描述符构成。按照多路复用数据中存在的流的数量，存在流描述符。

在记录到记录介质等的情况下，上述多路复用数据，与多路复用数据信息文件一起被记录。

多路复用数据信息文件是，如图31所示多路复用数据的管理信息，与多路复用数据一一对应，由多路复用数据信息、流属性信息以及项目图构成。

多路复用数据信息，如图31示出，由系统率(systemrate)、再生开始时刻、再生结束时刻构成。系统率示出，多路复用数据的、向后述的系统目标解码器的PID滤波器的最大传输率。多路复用数据中包含的ATS的间隔被设定为系统率以下。再生开始时刻是多路复用数据的开头的视频帧的PTS，再生结束时刻被设定为多路复用数据的末端的视频帧的PTS与一个帧的再生间隔相加。

对于流属性信息，如图32示出，多路复用数据中包含的各个流的属性信息，按每个PID被登记。属性信息，按每个视频流、音频流、演示图形流、交互式图形流具有不同的信息。视频流属性信息具有，该视频流以哪种压缩编解码而被压缩、构成视频流的各个图片数据的分辩率为多少、宽高比为多少、帧率为多少等的信息。音频流属性信息具有，该音频流以哪种压缩编解码而被压缩、该音频流中包含的通道数是什么、与哪种语言对应、采样频率为多少等的信息。这样的信息，利用于播放器再生之前的解码器的初始化等。

在本实施例中，利用上述多路复用数据中的、PMT中包含的流类型。并且，在记录介质记录有多路复用数据的情况下，利用多路复用数据信息中包含的、视频流属性信息。具体而言，在所述各个实施例中示出的图像编码方法或装置中，针对PMT中包含的流类型、或视频流属性信息，设置用于设定示出由所述各个实施例中示出的图像编码方法或装置生成的影像数据的情况的固有的信息的步骤或单元。根据该结构，能够识别由所述各个实施例中示出的图像编码方法或装置生成的影像数据、和依据其他的标准的影像数据。

并且，图33示出本实施例的运动图像解码方法的步骤。在步骤exS100中，从多路复用数据获得PMT中包含的流类型、或多路复用数据信息中包含的视频流属性信息。接着，在步骤exS101中，判断是否示出流类型、或视频流属性信息为由所述各个实施例中示出的图像编码方法或装置生成的多路复用数据。而且，在判断为流类型、或视频流属性信息由所述各个实施例中示出的图像编码方法或装置生成的情况下，在步骤exS102中，根据所述各个实施例中示出的图像解码方法进行解码。并且，在示出流类型、或视频流属性信息依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的情况下，在步骤exS103中，根据依据以往的标准的运动图像解码方法进行解码。

如此，通过对流类型、或视频流属性信息设定新的固定值，在进行解码时，能够判断是否由所述各个实施例中示出的图像解码方法或装置能够进行解码。因此，即使在依据不同的标准的多路复用数据输入的情况下，也能够选择适当的解码方法或装置，因此，不产生错误而能够进行解码。并且，能够将本实施例中示出的图像编码方法或装置、或者、图像解码方法或装置，用于所述的某个设备、系统。

(实施例4)

上述的各个实施例所示的图像编码方法以及装置、图像解码方法以及装置典型的可以以作为集成电路的LSI来实现。作为一个例子，图34示出了被单芯片化的LSIex500的构成。LSIex500包括以下将要说明的要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各个要素通过总线ex510连接。电源电路部ex505在电源为导通状态的情况下，通过向各个部提供电力，从而启动为能够工作的状态。

例如在进行编码处理的情况下，LSIex500根据具有CPUex502、存储控制器ex503、流控制器ex504以及驱动频率控制部ex512等的控制部ex501的控制，通过AV输入/输出ex509从麦克风ex117以及摄像机ex113等输入AV信号。被输入的AV信号被暂时蓄积到SDRAM等的外部的存储器ex511。根据控制部ex501的控制，蓄积的数据按照处理量以及处理速度被适当地分为多次等，并被发送到信号处理部ex507，信号处理部ex507进行声音数据的编码以及/或影像信号的编码。在此，影像信号的编码处理是在上述的实施例中所说明的编码处理。在信号处理部ex507还根据情况对被编码的声音数据以及被编码的影像数据进行多路复用等处理，从流输入/输出ex506输出到外部。该被输出的多路复用数据被发送到基站ex107，或者被写入到记录介质ex215。而且，为在进行多路复用时能够同步进行，而可以将数据暂时蓄积到缓冲器ex508。

另外，以上虽然对存储器ex511作为LSIex500的外部构成进行了说明，不过也可以被包括在LSIex500的内部。缓冲器ex508也不限于一个，可以具备多个缓冲器。并且，LSIex500可以被单芯片，也可以是多个芯片。

并且，所述中，控制部ex510具有，CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但是，控制部ex510的结构，不仅限于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。在信号处理部ex507的内部也设置CPU，从而能够更提高处理速度。并且，作为其他的例子，也可以是CPUex502具备，信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，成为控制部ex501具备，信号处理部ex507、或具有其一部分的CPUex502的结构。

而且，在此，被称为LSI，但是，根据集成度不同，会有被称为IC、系统LSI、超LSI、特大LSI的情况。

并且，对于集成电路化的方法，不仅限于LSI，也可以以专用电路或通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA(Field Programmable Gate Array∶现场可编程门阵列)、以及可重构LSI内部的电路单元的连接以及设定的可重构处理器。

进而，当然，若因半导体技术的进步或导出的其它的技术而出现代替LSI的集成电路化的技术，则可以利用其技术对功能框进行集成化。存在生物技术的应用等的可能性。

(实施例5)

在对由上述的各个实施例所示的图像编码方法或装置生成的影像数据进行解码的情况下可以考虑为，与对依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据进行解码的情况相比，处理量会增加。因此，在LSIex500中，需要设定为比对依据以往的标准的影像数据进行解码时的CPUex502的驱动频率高的驱动频率。但是，若提高驱动频率，则产生消耗电力变高的问题。

为了解决该问题设想，电视机ex300、LSIex500等的运动图像解码装置被构成为，识别影像数据依据哪个标准，按照标准切换驱动频率。图35示出本实施例的结构ex800。驱动频率切换部ex803，在影像数据由上述的各个实施例所示的图像编码方法或装置生成的情况下，将驱动频率设定为高。而且，对执行上述的各个实施例所示的图像解码方法的解码处理部ex801，指示对影像数据进行解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据由上述的各个实施例所示的图像编码方法或装置生成的情况相比，将驱动频率设定为低。而且，对依据以往的标准的解码处理部ex802，指示对影像数据进行解码。

更具体地说，驱动频率切换部ex803，由图34的CPUex502和驱动频率控制部ex512构成。并且，执行上述的各个实施例所示的图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802，相当于图34的信号处理部ex507。CPUex502，识别影像数据依据哪个标准。而且，根据来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。并且，根据来自CPUex502的信号，信号处理部ex507，进行影像数据的解码。在此，对于影像数据的识别可以考虑，例如，利用实施例3记载的识别信息。对于识别信息，不仅限于实施例3记载的信息，能够识别影像数据依据哪个标准的信息即可。例如，在根据识别影像数据是用于电视机、还是用于盘等的外部信号，能够识别影像数据依据哪个标准的情况下，可以根据这样的外部信号进行识别。并且，对于CPUex502中的驱动频率的选择可以考虑，例如，根据如图37的将影像数据的标准、与驱动频率对应起来的查找表进行的情况。将查找表，存储到缓冲器ex508、以及LSI的内部存储器，CPUex502参照该查找表，从而能够选择驱动频率。

图36示出执行本实施例的方法的步骤。首先，在步骤exS200中，在信号处理部ex507，从多路复用数据获得识别信息。接着，步骤exS201中，在CPUex502，根据识别信息，识别影像数据是否由上述的各个实施例所示的编码方法或装置生成。在影像数据由上述的各个实施例所示的编码方法或装置生成的情况下，在步骤exS202中，将用于使驱动频率设定为高的信号，从CPUex502向驱动频率控制部ex512发送。而且，在驱动频率控制部ex512中，驱动频率被设定为高。另一方面，在示出依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，将用于使驱动频率设定为低的信号，从CPUex502向驱动频率控制部ex512发送。而且，在驱动频率控制部ex512中，与影像数据由上述的各个实施例所示的编码方法或装置生成的情况相比，驱动频率被设定为低。

进而，与驱动频率的切换联动，变更向LSIex500或包含LSIex500的装置提供的电压，从而能够更提高省电效果。例如，可以考虑为，在将驱动频率设定为低的情况下，据此，与将驱动频率设定为高的情况相比，将向LSIex500或包含LSIex500的装置提供的电压设定为低。

并且，对于驱动频率的设定方法，在解码时的处理量大的情况下，将驱动频率设定为高，在解码时的处理量小的情况下，将驱动频率设定为低即可，不仅限于上述的设定方法。例如，可以考虑为，在对依据MPEG4－AVC标准的影像数据进行解码的处理量，比对由上述的各个实施例所示的图像编码方法或装置生成的影像数据进行解码的处理量大的情况下，使驱动频率的设定与上述的情况相反。

进而，驱动频率的设定方法，不仅限于使驱动频率变低的结构。例如，可以考虑为，在识别信息示出由上述的各个实施例所示的图像编码方法或装置生成的影像数据的情况下，将向LSIex500或包含LSIex500的装置提供的电压设定为高，在示出依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，将向LSIex500或包含LSIex500的装置提供的电压设定为低。并且，作为其他的例子，可以考虑为，在识别信息示出由上述的各个实施例所示的图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在示出依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于处理有富余，因此使CPUex502的驱动暂时停止。即使在识别信息示出由上述的各个实施例所示的图像编码方法或装置生成的影像数据的情况下，也可以考虑为，若处理有富余，则使CPUex502的驱动暂时停止。在此情况下，可以考虑为，与示出依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定为短。

如此，按照影像数据依据的标准，切换驱动频率，从而能够试图省电化。并且，在利用电池驱动LSIex500或包含LSIex500的装置的情况下，能够随着省电化，将电池的寿命变长。

(实施例6)

对于电视机、移动电话等的上述的设备、系统，会有输入依据不同标准的多个影像数据的情况。为了在如此输入依据不同标准的多个影像数据的情况下也能够进行解码，LSIex500的信号处理部ex507需要与多个标准对应。但是，若个别地利用与各个标准对应的LSIex500，则产生LSIex500的电路规模变大、并且成本增加的问题。

为了解决该问题，构成为共享用于执行上述的各个实施例所示的图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部的一部分。图38A的ex900示出该结构例。例如，上述的各个实施例所示的图像解码方法、与依据MPEG4－AVC标准的运动图像解码方法是，在熵编码、逆量化、去块滤波、运动补偿等的处理中，处理内容的一部分是共同的。可以考虑构成为，对于共同的处理内容，共享与MPEG4－AVC标准对应的解码处理部ex902，对于不与MPEG4－AVC标准对应的本发明固有的其他的处理内容，利用专用的解码处理部ex901。关于解码处理部的共享化，可以构成为，对于共同的处理内容，共享用于执行上述的各个实施例所示的图像解码方法的解码处理部，对于MPEG4－AVC标准固有的其他的处理内容，利用专用的解码处理部。

并且，图38B的ex1000示出共享处理的一部分的例子。在该例子中构成为，利用与本发明固有的处理内容对应的专用的解码处理部ex1001、与其他的以往标准固有的处理内容对应的专用的解码处理部ex1002、以及与本发明的图像解码方法和其他的以往标准的运动图像解码方法之间共同的处理内容对应的共享的解码处理部ex1003。在此，对于专用的解码处理部ex1001、ex1002，并不是专用于本发明、或者其他的以往标准固有的处理内容，而可以是能够执行其他的通用处理的处理部。并且，本实施例的结构，可以由LSIex500安装。

如此，对于本发明的图像解码方法与以往的标准的运动图像解码方法共同的处理内容，通过共享解码处理部，从而能够使LSI的电路规模变小、且降低成本。

工业实用性

本发明涉及的图像解码方法及图像编码方法，得到能够同时实现画质的提高和编码效率的提高的效果，例如，能够适用于摄像机、具有运动图像的拍摄及再生功能的移动电话、个人电脑、或者、录像再生装置等。

符号说明

1000 图像编码装置

1100 编码处理部

1101 减法器

1102 正交变换部

1103 量化部

1104 熵编码部

1105 逆量化部

1106 逆正交变换部

1107 加法器

1108 去块滤波器

1109 存储器

1110 面内预测部

1111 运动补偿部

1112 运动检测部

1113 开关

1200 编码控制部

2000 图像解码装置

2100 解码处理部

2101 熵解码部

2102 逆量化部

2103 逆正交变换部

2104 加法器

2105 去块滤波器

2106 存储器

2107 面内预测部

2108 运动补偿部

2109 开关

2200 解码控制部

Claims (4)

1.一种解码方法，从比特流，将图像以块单位进行解码，

所述图像所包含的对象块被层次化为一个以上的层次，该一个以上的层次分别包括尺寸比所述对象块小的多个子块；

所述解码方法包括：

发送步骤，向外部装置请求所述比特流；

接收步骤，从所述外部装置接收所述比特流；以及

解码步骤，该解码步骤中：

从接收到的所述比特流的头部，将用于确定第一子块所属的第一层次的深度的深度信息进行解码，所述第一子块是传送量化参数的单位；

基于所述深度信息，将被编码到所述第一子块中的所述量化参数进行解码；

利用所述量化参数，将属于所述第一层次或比所述第一层次更深的层次的第二子块进行解码。

2.如权利要求1所述的解码方法，

所述比特流的头部是针对由多个所述块构成的图片的图片头。

3.如权利要求1或2所述的解码方法，

在所述解码步骤中，在对所述第二子块进行解码时，利用在所述比特流中配置在所述第二子块的系数之后的所述量化参数。

4.一种解码装置，从比特流，将图像以块单位进行解码，

所述图像所包含的对象块被层次化为一个以上的层次，该一个以上的层次分别包括尺寸比所述对象块小的多个子块；

所述解码装置具备：

发送部，向外部装置请求所述比特流；

接收部，从所述外部装置接收所述比特流；以及

解码部，该解码部进行如下处理：

从接收到的所述比特流的头部，将用于确定第一子块所属的第一层次的深度的深度信息进行解码，所述第一子块是传送量化参数的单位；

基于所述深度信息，将被编码到所述第一子块中的所述量化参数进行解码；

利用所述量化参数，将属于所述第一层次或比所述第一层次更深的层次的第二子块进行解码。