CN107087182A - 图像解码方法及图像解码装置 - Google Patents

Abstract

图像编码方法包括：减法步骤，通过按照编码单位(CU)从输入图像信号(101)减去预测信号(181)，生成预测误差信号(111)；变换量化步骤，通过按照变换单位(TU)将预测误差信号(111)正交变换及量化，生成量化系数(131)；编码步骤，将表示多个变换单位(TU)的结构的管理信息及量化系数(131)用一个树构造编码；多个变换单位(TU)分别对应于树构造的各个树叶节点；在编码步骤中，按照树叶节点将与该树叶节点对应的管理信息及量化系数(131)编码，生成将编码后的管理信息及编码后的量化系数配置在一个集合中的编码信号(191)。

Description

图像解码方法及图像解码装置

本申请是申请日为2012年12月7日、申请号为201280007824.0、名称为“图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码解码装置”的中国专利申请的分案申请。

技术领域

本发明涉及图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码解码装置。

背景技术

为了将声音数据及运动图像数据压缩，开发了多个声音编码规格及运动图像编码规格。作为运动图像编码规格的例子，可以举出称作H.26x的ITU－T规格及称作MPEG－x的ISO/IEC规格(例如，参照非专利文献1)。最新的运动图像编码规格是称作H.264/MPEG－4AVC的规格。此外，近年来正在研究称作HEVC(High Efficiency Video Coding)的下一代的编码规格。

现有技术

非专利文献1：ISO/IEC14496－10“MPEG－4 Part10 Advanced Video Coding”

发明内容

发明要解决的课题

在这样的图像编码方法及图像解码方法中，希望减少用来将在编码或解码中使用的数据临时保存的存储器的容量。

所以，本发明的目的是提供一种能够减少用来将在编码或解码中使用的数据临时保存的存储器的容量的图像编码方法及图像解码方法。

解决课题的手段

为了达到上述目的，有关本发明的一技术方案的图像解码方法，其特征在于，包括：解码步骤，通过将编码信号解码，生成表示是否将与树构造的节点对应的变换单位进一步分割的分割信息、表示与上述节点对应的亮度的量化系数的有无的第2标志、表示与上述节点对应的色差的量化系数的有无的第3标志、上述亮度的量化系数、上述色差的量化系数；逆量化逆变换步骤，通过按照每个上述变换单位对上述亮度的量化系数、上述色差的量化系数进行逆量化及逆变换，生成预测误差信号；以及加法步骤，通过按照包括多个变换单位的每个编码单位将上述预测误差信号与预测信号相加，生成解码信号；在上述编码信号中，编码后的第2标志配置为比编码后的第3标志靠后；在上述解码步骤中，在上述至少一个节点中，将以一个集合配置的编码后的分割信息、编码后的第2标志、编码后的第3标志、编码后的亮度的量化系数、编码后的色差的量化系数按照每个上述节点进行解码，并且将上述编码后的第2标志比上述编码后的第3标志靠后解码。

另外，有关本发明的一技术方案的图像解码装置，其特征在于，具备：解码部，通过将编码信号解码，生成表示是否将与树构造的节点对应的变换单位进一步分割的分割信息、表示与上述节点对应的亮度的量化系数的有无的第2标志、表示与上述节点对应的色差的量化系数的有无的第3标志、上述亮度的量化系数、上述色差的量化系数；逆量化逆变换部，通过按照每个上述变换单位对上述亮度的量化系数、上述色差的量化系数进行逆量化及逆变换，生成预测误差信号；以及加法部，通过按照包括多个变换单位的每个编码单位将上述预测误差信号与预测信号相加，生成解码信号；在上述编码信号中，编码后的第2标志配置为比编码后的第3标志靠后；上述解码部，在上述至少一个节点中，将以一个集合配置的编码后的分割信息、编码后的第2标志、编码后的第3标志、编码后的亮度的量化系数、编码后的色差的量化系数按照每个上述节点进行解码，并且将上述编码后的第2标志比上述编码后的第3标志靠后解码。

另外，有关本发明的一技术方案的图像编码方法包括：减法步骤，将输入图像信号分割为多个编码单位，通过按照上述编码单位从上述输入图像信号减去预测信号，生成预测误差信号；变换量化步骤，将上述编码单位分割为多个变换单位，通过按照上述变换单位将上述预测误差信号正交变换及量化，生成量化系数；编码步骤，将表示上述多个变换单位的结构的管理信息及上述量化系数用一个树构造编码；上述多个变换单位分别对应于上述树构造的各个树叶节点；在上述编码步骤中，按照上述树叶节点，将与该树叶节点对应的上述管理信息及上述量化系数编码，生成将编码后的管理信息及编码后的量化系数配置在一个集合中的编码信号。

另外，这些普遍性或具体的形态也可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的记录媒体实现，也可以通过系统、方法、集成电路、计算机程序及记录媒体的任意的组合来实现。

本发明能够提供一种能够减少用来将在编码或解码中使用的数据临时保存的存储器的容量的图像编码方法及图像解码方法。

附图说明

图1是有关比较例的编码处理的流程图。

图2是有关实施方式1的图像编码装置的块图。

图3是有关实施方式1的图像解码装置的块图。

图4A是表示有关实施方式1的TU的一例的图。

图4B是表示有关实施方式1的TU的一例的图。

图5是表示有关实施方式1的树构造的一例的图。

图6是有关实施方式1的编码处理的流程图。

图7是有关实施方式1的分割信息树的编码处理的流程图。

图8是有关实施方式1的变换系数树的编码处理的流程图。

图9是有关实施方式1的熵解码部的块图。

图10A是表示有关实施方式1的编码信号的一例的图。

图10B是表示有关实施方式2的编码信号的一例的图。

图11是有关实施方式2的编码处理的流程图。

图12A是表示有关实施方式2的编码处理的一部分的流程图。

图12B是表示有关实施方式2的编码处理的一部分的流程图。

图13是有关实施方式2的熵解码部的块图。

图14A是用来说明有关实施方式2的cbf的编码的图。

图14B是用来说明有关实施方式2的cbf的编码的图。

图14C是用来说明有关实施方式2的cbf的编码的图。

图14D是用来说明有关实施方式2的cbf的编码的图。

图15是有关实施方式3的编码处理的流程图。

图16是有关实施方式4的编码处理的流程图。

图17是有关实施方式4的另一例的编码处理的流程图。

图18A是表示有关实施方式5的cbf及变换系数的编码顺序的一例的图。

图18B是表示有关实施方式5的cbf及变换系数的编码顺序的一例的图。

图18C是表示有关实施方式5的cbf及变换系数的编码顺序的一例的图。

图19A是表示有关实施方式5的cbf及变换系数的编码顺序的一例的图。

图19B是表示有关实施方式5的，cbf及变换系数的编码顺序的一例的图。

图20是有关实施方式5的编码处理的流程图。

图21A是表示有关实施方式5的cbf及变换系数的编码顺序的一例的图。

图21B是表示有关实施方式5的cbf及变换系数的编码顺序的一例的图。

图22A是有关实施方式6的编码处理的流程图。

图22B是有关实施方式6的编码处理的流程图。

图23是表示有关实施方式6的句法的一例的图。

图24A是表示有关实施方式6的句法的一例的图。

图24B是表示有关实施方式6的句法的一例的图。

图24C是表示有关实施方式6的句法的一例的图。

图25A是有关实施方式7的编码处理的流程图。

图25B是有关实施方式7的统一变换处理的流程图。

图26是实现内容分发服务的内容供给系统的整体结构图。

图27是数字广播用系统的整体结构图。

图28是表示电视机的结构例的模块图。

图29是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。

图30是表示作为光盘的记录介质的构造例的图。

图31A是表示便携电话的一例的图。

图31B是表示便携电话的结构例的模块图。

图32是表示复用数据的结构的图。

图33是示意地表示各流在复用数据中怎样被复用的图。

图34是更详细地表示在PES包序列中视频流怎样被保存的图。

图35是表示复用数据的TS包和源包的构造的图。

图36是表示PMT的数据结构的图。

图37是表示复用数据信息的内部结构的图。

图38是表示流属性信息的内部结构的图。

图39是表示识别影像数据的步骤的图。

图40是表示实现各实施方式的动态图像编码方法及动态图像解码方法的集成电路的结构例的模块图。

图41是表示切换驱动频率的结构的图。

图42是表示识别影像数据、切换驱动频率的步骤的图。

图43是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。

图44A是表示将信号处理部的模块共用的结构的一例的图。

图44B是表示将信号处理部的模块共用的结构的另一例的图。

具体实施方式

(作为本发明的基础的认识)

本发明者发现，在以往技术中会发生以下的问题。

以下，对有关本发明的比较例的编码方法及解码方法进行说明。

图1是表示有关本比较例的编码方法的流程图。

图片或帧被分割为16×16的相同的大小的多个宏块。将多个宏块例如以光栅扫描顺序编码。图1表示对于一个宏块的编码处理。

首先，对于处理对象的宏块，作为是正交变换的尺寸的变换尺寸，选择多个变换尺寸中的某个。该变换尺寸比宏块小，例如是4×4或8×8。以下，将该变换单位称作TransformUnit(TU)。并且，将表示所选择的变换尺寸的信息编码(S101)。表示该变换尺寸的标志例如是transform_size_flag。

接着，将cbf编码(S102)。这里，cbf是表示TU中的变换系数(量化系数)的有无的标志信息。

接着，选择TU。例如，将多个TU以Z扫描顺序依次选择，对所选择的TU进行以下的处理。

在cbf为真的情况下(S104中是)，将处理对象的TU的变换系数编码(S105)。另一方面，在cbf为假的情况下(S104中否)，不将处理对象的TU的变换系数编码。此外，将该S103～S105的处理对包含在宏块中的全部的TU执行(S106)。

另外，在解码处理时也以与图1同样的顺序进行处理。即，在解码处理时，只要将上述说明中的“编码”置换为“解码”就可以。

这里，为了将图片高效率地编码，能够灵活地进行变换尺寸的选择是重要的。但是，本发明者发现，在提高了该变换尺寸的选择的自由度的情况下，表示该变换尺寸的信息的数据量增加。

为了解决这样的问题，有关本发明的一技术方案的图像编码方法包括：减法步骤，将输入图像信号分割为多个编码单位，通过按照上述编码单位从上述输入图像信号减去预测信号，生成预测误差信号；变换量化步骤，将上述编码单位分割为多个变换单位，通过按照上述变换单位将上述预测误差信号正交变换及量化，生成量化系数；编码步骤，将表示上述多个变换单位的结构的管理信息及上述量化系数用一个树构造编码；上述多个变换单位分别对应于上述树构造的各个树叶节点；在上述编码步骤中，按照上述树叶节点，将与该树叶节点对应的上述管理信息及上述量化系数编码，生成将编码后的管理信息及编码后的量化系数配置在一个集合中的编码信号。

据此，将各变换单位的管理信息和量化系数编码在一个集合中。由此，在图像编码装置或图像解码装置中，不需要将其他变换单位的管理信息保持在存储器中。这样，该图像编码方法能够减少用来临时保存在编码或解码中使用的数据的存储器的容量。

例如，也可以是，上述管理信息包含对应于上述树构造的各节点、并且表示是否将与该节点对应的变换单位进一步分割的分割信息。

例如，也可以是，上述管理信息包含对应于上述树构造的至少一个节点、并且表示与该节点对应的量化系数的有无的第1标志。

例如，也可以是，在上述编码步骤中，判断使用上位等级的第1标志及相同等级的其他节点的第1标志的至少一个，是否能够唯一地决定处理对象的节点的第1标志的值；在能够唯一地决定上述处理对象的节点的上述第1标志的值的情况下，不将该第1标志编码。

据此，该图像编码方法能够削减编码信号的代码量。

例如，也可以是，在上述编码步骤中，将差量化幅度在上述树构造的树叶节点中编码，将编码后的差量化幅度配置到上述编码信号的对应于该树叶节点的位置上；上述差量化幅度在上述变换量化步骤中，表示之前使用的量化幅度与在处理对象的变换单位中使用的量化幅度的差。

据此，该图像编码方法能够在编码信号中使配置差量化幅度和变换系数的位置变近。由此，该图像编码方法能够减少在图像解码装置中用来临时保存数据的存储器的容量。

例如，也可以是，在上述编码步骤中，将差量化幅度在上述树构造的根中编码，将编码后的差量化幅度配置到上述编码信号的与该根对应的位置上；上述差量化幅度在上述变换量化步骤中，表示之前使用的量化幅度与在处理对象的变换单位中使用的量化幅度的差。

据此，该图像编码方法能够削减编码信号的代码量。

例如，也可以是，上述量化系数包括亮度的量化系数及色差的量化系数；上述第1标志包括表示上述亮度的量化系数的有无的第2标志、和表示上述色差的量化系数的有无的第3标志；在上述编码步骤中，在上述至少一个树叶节点的各自中，将上述第2标志比上述第3标志靠后编码，生成编码后的第2标志配置在比编码后的第3标志靠后的上述编码信号。

例如，也可以是，上述量化系数包括亮度、色差Cb及色差Cr的量化系数；上述第1标志包括表示上述亮度的量化系数的有无的第2标志、表示上述色差Cb的量化系数的有无的第3标志、和表示上述色差Cr的量化系数的有无的第4标志；在上述编码步骤中，在上述至少一个树叶节点的各自中，将上述第3标志、上述第4标志、上述第2标志、上述亮度的量化系数、上述色差Cb的量化系数及上述色差Cr的量化系数依次编码，生成依次配置有编码后的第3标志、编码后的第4标志、编码后的第2标志、编码后的亮度的量化系数、编码后的色差Cb的量化系数及编码后的色差Cr的量化系数的上述编码信号。

此外，有关本发明的一技术方案的图像解码方法包括：解码步骤，通过将编码信号解码，生成多个变换单位的各自的量化系数、和表示上述多个变换单位的结构的管理信息；逆量化逆变换步骤，通过按照上述变换单位将上述量化系数逆量化及逆变换，生成预测误差信号；加法步骤，通过按照包括多个变换单位的编码单位将上述预测误差信号与预测信号相加，生成解码信号；上述管理信息及上述量化系数具有一个树构造；上述多个变换单位分别对应于上述树构造的树叶节点的各个节点；在上述解码步骤中，将在上述编码信号中按照上述树叶节点以一个集合配置的编码后的管理信息及编码后的量化系数按照该树叶节点解码。

据此，由于将各变换单位的管理信息和量化系数编码在一个集合中，所以在图像解码装置中不再需要将其他变换单位的管理信息保持在存储器中。这样，该图像解码方法能够减少用来将在解码中使用的数据临时保存的存储器的容量。

例如，也可以是，上述管理信息包含对应于上述树构造的各节点、并且表示是否将与该节点对应的变换单位进一步分割的分割信息。

例如，也可以是，上述管理信息包含对应于上述树构造的至少一个节点、并且表示与该节点对应的量化系数的有无的第1标志。

例如，也可以是，在上述解码步骤中，判断使用上位等级的第1标志及相同等级的其他节点的第1标志的至少一个是否能够唯一地决定处理对象的节点的第1标志的值；在能够唯一地决定上述处理对象的节点的上述第1标志的值的情况下，不通过解码生成该第1标志。

据此，能够削减编码信号的代码量。

例如，也可以是，在上述解码步骤中，将上述编码信号的配置在与上述树构造的树叶节点对应的位置上的编码后的差量化幅度在该树叶节点中解码；上述差量化幅度在上述逆量化逆变换步骤中，表示之前使用的量化幅度与在处理对象的变换单位中使用的量化幅度的差。

据此，在编码信号中将差量化幅和变换系数接近地配置。由此，该图像编码解码能够削减在图像解码装置中用来将数据临时保存的存储器的容量。

例如，也可以是，在上述解码步骤中，将上述编码信号的配置在与上述树构造的根对应的位置上的编码后的差量化幅度在上述根中解码；上述差量化幅度在上述逆量化逆变换步骤中，表示之前使用的量化幅度与在处理对象的变换单位中使用的量化幅度的差。

据此，能够削减编码信号的代码量。

例如，也可以是，上述量化系数包括亮度的量化系数及色差的量化系数；上述第1标志包括表示上述亮度的量化系数的有无的第2标志、和表示上述色差的量化系数的有无的第3标志；在上述编码信号中，编码后的第2标志配置在比编码后的第3标志靠后；在上述解码步骤中，在上述至少一个节点的各自中，将上述编码后的第2标志比上述编码后的第3标志靠后解码。

例如，也可以是，上述量化系数包括亮度、色差Cb及色差Cr的量化系数；上述第1标志包括表示上述亮度的量化系数的有无的第2标志、表示上述色差Cb的量化系数的有无的第3标志、和表示上述色差Cr的量化系数的有无的第4标志；在上述编码信号中，依次配置有编码后的第3标志、编码后的第4标志、编码后的第2标志、编码后的亮度的量化系数、编码后的色差Cb的量化系数、以及编码后的色差Cr的量化系数；在上述解码步骤中，在上述至少一个节点的各自中，将上述编码后的第3标志、上述编码后的第4标志、上述编码后的第2标志、上述编码后的亮度的量化系数、上述编码后的色差Cb的量化系数及上述编码后的色差Cr的量化系数依次解码。

此外，有关本发明的一技术方案的图像编码装置具备：减法部，将输入图像信号分割为多个编码单位，通过按照上述编码单位从上述输入图像信号减去预测信号，生成预测误差信号；变换量化部，将上述编码单位分割为多个变换单位，通过按照上述变换单位将上述预测误差信号正交变换及量化，生成量化系数；编码部，将表示上述多个变换单位的结构的管理信息及上述量化系数用一个树构造编码；上述多个变换单位分别对应于上述树构造的各个树叶节点；上述编码部按照上述树叶节点，将与该树叶节点对应的上述管理信息及上述量化系数编码，生成将编码后的管理信息及编码后的量化系数配置在一个集合中的编码信号。

据此，将各变换单位的管理信息和量化系数编码在一个集合中。由此，在图像编码装置或图像解码装置中不再需要将其他变换单位的管理信息保持在存储器中。这样，该图像编码装置能够削减用来将在编码或解码中使用的数据临时保存的存储器的容量。

此外，有关本发明的一技术方案的图像解码装置具备：解码部，通过将编码信号解码，生成多个变换单位的各自的量化系数、和表示上述多个变换单位的结构的管理信息；逆量化逆变换部，通过按照上述变换单位将上述量化系数逆量化及逆变换，生成预测误差信号；加法部，通过按照包括多个变换单位的编码单位将上述预测误差信号与预测信号相加，生成解码信号；上述管理信息及上述量化系数具有树构造；上述多个变换单位分别对应于上述树构造的树叶节点的各个节点；上述解码部将在上述编码信号中按照上述树叶节点以一个集合配置的编码后的管理信息及编码后的量化系数按照该树叶节点解码。

据此，由于将各变换单位的管理信息和量化系数编码在一个集合中，所以在图像解码装置中不再需要将其他变换单位的管理信息保持在存储器中。这样，该图像解码装置能够减少用来将在解码中使用的数据临时保存的存储器的容量。

此外，有关本发明的一技术方案的图像编码解码装置具备上述图像编码装置和上述图像解码装置。

另外，这些包含性或具体的形态也可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的记录媒体实现，也可以通过系统、方法、集成电路、计算机程序及记录媒体的任意的组合来实现。

以下，参照附图对本发明的实施方式进行说明。

另外，以下说明的实施方式都是表示包含性或具体的例子的。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，并不是限定本发明的意思。此外，关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素，作为任意的构成要素进行说明。

(实施方式1)

有关本实施方式的图像编码装置将编码单位的块分层级地分割为多个变换单位，并将表示该多个变换单位的结构的管理信息及变换系数以树构造编码。由此，该图像编码装置能够在抑制表示多个变换单位的结构的信息的增加的同时提高变换尺寸的选择的自由度。

首先，说明图像编码装置及图像解码装置的结构。

图2是有关本实施方式的图像编码装置100的块图。该图像编码装置100例如将声音数据及运动图像数据以低位速率编码。

图2所示的图像编码装置100通过将输入图像信号101编码而生成编码信号191。该图像编码装置100具备减法部110、变换部120、量化部130、逆量化部140、逆变换部150、加法部160、存储器170、预测部180和熵编码部190。

这里，一个图片或帧被按照作为编码的单位的多个编码单位(CU：Coding Unit)分割，按照CU编码。此外，一个CU被分割为1个以上的变换单位(TU)。

减法部110将输入图像信号101分割为多个CU。并且，减法部110通过按照CU从输入图像信号101减去预测信号181而生成预测误差信号111(变换输入信号)，将所生成的预测误差信号111向变换部120输出。

变换部120将CU分割为1个以上的TU。并且，变换部120通过按照TU将预测误差信号111进行频率变换，生成变换输出信号121。具体而言，变换部120通过将预测误差信号111、或对预测误差信号111加以某种处理后的变换输入信号从时空域向频率域变换，生成减轻了相关的变换输出信号121。

量化部130通过按照TU将变换输出信号121量化，生成总数据量较少的量化系数131。

熵编码部190通过将量化系数131使用熵编码算法编码，生成将冗余性进一步压缩的编码信号191。

逆量化部140通过按照TU将量化系数131逆量化，生成解码变换输出信号141。逆变换部150通过按照TU将解码变换输出信号141逆变换，生成解码变换输入信号151。

加法部160通过按照CU将解码变换输入信号151与预测信号181相加，生成解码信号161。存储器170将解码信号161保存。

预测部180按照CU，基于帧内预测或帧间预测等的预测方法，从存储器170取得规定的信号，基于该预测方法，用规定的方法生成预测信号181。具体而言，预测部180决定编码效率为最大的预测方法，使用所决定的预测方法生成预测信号181。此外，将表示该预测方法的信息根据需要而在熵编码部190中进行熵编码。

这里，逆量化部140、逆变换部150、加法部160、存储器170及预测部180是在图像解码装置中也具备的结构，解码信号161相当于在图像解码装置中得到的再现图像信号(解码信号261)。

图3是图像解码装置的块图。图3所示的图像解码装置200通过将编码信号191解码而生成解码信号261。该图像解码装置200具备逆量化部240、逆变换部250、加法部260、存储器270、预测部280和熵解码部290。

熵解码部290通过将编码信号191熵解码，生成量化系数231和预测方法291。

逆量化部240通过按照TU将量化系数231逆量化，生成解码变换输出信号241。逆变换部250通过将解码变换输出信号241逆变换，生成解码变换输入信号251。

加法部260通过按照CU将解码变换输入信号251与预测信号281相加，生成解码信号261。该解码信号261是由图像解码装置200得到的再现图像，作为图像解码装置200的输出信号输出，并向存储器270保存。

预测部280按照CU，基于预测方法291从存储器270取得规定的信号，基于预测方法291，用规定的方法生成预测信号281。

另外，将量化系数131及231也称作变换系数(块变换系数)。

在本实施方式中，为了能够灵活地选择从较大的变换尺寸到较小的变换尺寸，用树构造表现变换单位(TU)的分割。在树构造中，为了定义到末端的节点(树叶节点)，将作为表示是否进行TU的分割的标志信息的变换单位分割信息(TUS：split_transform_flag)编码。

图4A及图4B是表示TU的一例的图。例如，如图4A所示，一个CU(TU0)能够分割为4个TU1～4。此外，各TU1～4还能够分割为4个TU。例如，在图4B所示的例子中，图4A所示的TU1被分割为4个TU5～8。这样，将TU的分割分层级地执行。

图5是表示图4B所示的TU的树构造的图。如图5所示，树构造的起点(根)对应于CU(TU0)。此外，树构造的末端的节点分别对应于分割后的最终的TU。

树构造的各节点包含分割信息(TUS)。即，TUS对应于树构造的各节点，并且表示是否将与该节点对应的TU进一步分割。在TUS是“1”的情况下，与该节点对应的TU被进一步分割。在TUS是“0”的情况下，与该节点对应的TU不被分割。

此外，TUS是“0”的末端的节点还包括表示是否存在与该节点对应的变换系数(coeff)的cbf。在cbf是“1”的情况下，在该节点存在变换系数，在cbf是“0”的情况下，在该节点不存在变换系数。另外，详细后述，但cbf也可以包含在末端以外的节点中。即，cbf对应于树构造的至少一个节点，并且是表示与该节点对应的量化系数131的有无的第1标志。

图6是表示有关本实施方式的图像编码方法的流程图。图6表示对于一个CU的编码处理。

首先，图像编码装置100(熵编码部190)作为表示对CU使用怎样的尺寸的变换的信息而将TUS的树构造(分割信息树：transform_split_tree)编码(S111)。具体而言，图像编码装置100将表示多个变换单位的结构的管理信息(TUS及cbf)以树构造编码。

接着，图像编码装置100按照由分割信息树表现的变换尺寸、位置信息及cbf，将包括各TU的变换系数的变换系数的树构造(变换系数树：transform coeff tree)编码(S112)。将这一连串的处理按照CU进行。

通过使用这样的树构造的表现，能够根据图像的特征等在CU中空间性或部分性地设定变换尺寸的大小以使编码效率为最大。另外，cbf也可以不是步骤S111而在S112中编码。

以下，对分割信息树的编码处理(S111)进行说明。图7是表示分割信息树的编码处理(S111)的详细的动作的流程图。

将分割信息树的编码处理递归地定义。该树构造的递归等级(层级)称作TransformDepth(TrD)。

首先，图像编码装置100在某个TrD中将TUS编码(S121)。接着，图像编码装置100根据预测信号的生成方法切换动作(S122)。例如，在使用帧间预测(图片间预测)的情况下，色差信号的变换系数的数据量有成为零的倾向。由此，图像编码装置100在使用帧间预测的情况下(S122中是)，将作为表示色差信号的块的变换系数的有无的第3标志的cbf_chroma编码(S123)。

另外，TUS和cbf_chroma的编码顺序也可以替换。如果将cbf_chroma比TUS先编码，则图像解码装置200能够使到从编码流(编码信号191)得到TUS信息、参照该TUS进行是否进行接着的分割的判断(S124)为止的等待时间最小化。由此，通过将TUS保存到高速的高速缓存存储器等中，能够实现存储器量的削减及处理速度的提高。

继续图7的说明。接着，图像编码装置100参照TUS判断是否将该TU进一步分割(S124)。在将TU分割的情况下(S124中是)，图像编码装置100将TU在空间上4分割，对各个区域递归地进行分割信息树的编码处理(S129)。即，图像编码装置100对分割后的4个TU分别进行图7所示的处理(S111)。

另一方面，在不将TU分割的情况下(S124中否)，图像编码装置100将作为表示该TU的亮度信号的变换系数的有无的第2标志的cbf_luma编码(S125)。

接着，图像编码装置100判断对TU(CU)使用的预测方法是否是帧间预测(S126)。在使用帧间预测的情况下(S126是)，图像编码装置100结束该节点处的分割信息树的编码处理(S111)。另一方面，在不使用帧间预测的情况下(例如，使用帧内预测(面内预测)的情况下)(S126否)，图像编码装置100将cbf_chroma编码(S127)，结束该节点处的分割信息树的编码处理(S111)。另外，在上述处理是下位层级中的递归性的处理的情况下，处理向递归性的调用的上位(树构造中的处理对象的节点的父节点)迁移。

并且，如果对CU内的全部的区域表现了变换尺寸及cbf等，则分割信息树的编码处理(S111)完成。

接着，对变换系数树的编码处理(S112)进行说明。图8是变换系数树的编码处理(S112)的流程图。

将变换系数树的编码处理递归性地定义。某个递归等级的变换系数树的编码处理的动作因预先编码的TUS的真假而变化(S131)。在TUS是真的情况下(S131中是)，图像编码装置100将TU空间性地4分割，对各个区域递归性地进行变换系数树的编码处理(S136)。

另一方面，在不将TU分割的情况下(S131中否)，根据预先编码的cbf_luma的真假而动作变化(S132)。在cbf_luma是真的情况下(S132中是)，图像编码装置100将该TU的亮度信号的变换系数编码(S133)。另一方面，在cbf_luma是假的情况下(S132中否)，图像编码装置100不将该TU的亮度信号的变换系数编码。

接着，根据预先编码的cbf_chroma而动作变化(S134)。在cbf_chroma是真的情况下(S134中是)，图像编码装置100将该TU的色差信号的变换系数编码(S135)。另一方面，在cbf_chroma是假的情况下(S134中否)，图像编码装置100不将该TU的色差信号的变换系数编码。

通过以上，某个末端的处理结束。另外，在上述处理是下位层级中的递归性的处理的情况下，处理向递归性的调用的上位(树构造中的处理对象的节点的父节点)迁移。

并且，如果对CU内的全部的区域结束TUS的树构造的遍历(探索或巡视)、cbf是真的TU的变换系数的编码结束，则变换系数树的编码处理(S112)完成。

另外，在图6、图7及图8中说明的动作流程中，通过将编码改称作解码，能够得到由图像解码装置200(熵解码部290)进行的解码处理的动作流程。

此外，上述处理次序不是仅表示编码及解码处理的次序的，还表示编码信号191中的数据的排列顺序。即，在编码信号191中，以与上述处理次序相同的顺序，配置编码后的数据(TUS、cbf及变换系数)。另外，这在以后的实施方式中也同样。

图9是作为图像解码装置200中包含的熵解码部290的一例的熵解码部290A的块图。熵解码部290A具备分叉部311、分割信息树解码部312、TUS存储器313、CBF存储器314、变换系数树解码部315和变换系数解码部316。

分叉部311(DeMux部)根据编码信号191的种类，有选择地输出信号。具体而言，分叉部311将编码信号191中包含的编码管理信息321向分割信息树解码部312输出。该编码管理信息321包括编码后的TUS及编码后的cbf。

分割信息树解码部312通过将编码管理信息321解码而生成TUS及cbf。TUS被保存到作为临时存储器的TUS存储器313中。具体而言，处理对象的一个CU内的全部的TUS被临时保存到TUS存储器313中。此外，cbf被保存到作为临时存储器的CBF存储器314中。具体而言，处理对象的一个CU内的全部的cbf被保存到CBF存储器314中。

如果TUS及CBF的解码完成，则接着分叉部311将编码信号191中包含的编码后的变换系数322向变换系数树解码部315输出。

变换系数树解码部315将TUS从TUS存储器313读出，按照TUS探索树构造的节点。并且，变换系数树解码部315从CBF存储器314将对应的节点的cbf读出，将编码后的变换系数与cbf是真的变换单位建立对应。

变换系数解码部316通过按照TU将编码后的变换系数322进行熵解码，生成变换系数(量化系数231)。

根据以上，有关本实施方式的图像编码装置100及图像解码装置200通过使用具有树构造的管理信息，能够削减该管理信息的开销。即，图像编码装置100及图像解码装置200能够在抑制表示多个变换单位的结构的信息的增加的同时，提高变换尺寸的选择的自由度。

进而，该图像编码装置100及图像解码装置200使用分割信息树和变换系数树的两个树构造。由此，能够对各个树构造分别进行动作速度的最优化等。

(实施方式2)

在上述实施方式1中，叙述了使用两个树构造的例子。在本实施方式中，说明使用一个树构造将管理信息及变换系数编码的例子。

以下，使用图10A及图10B，说明上述实施方式1与本实施方式的差异。图10A是表示实施方式1的编码信号191中包含的编码后的管理信息及编码后的变换系数的排列顺序的图。图10B是表示实施方式2的编码信号191中包含的编码后的管理信息及编码后的变换系数的排列顺序的图。此外，图10A及图10B所示的数据对应于图5所示的树构造。

如图10A所示，在实施方式1中，分割信息树中包含的多个管理信息配置在一个集合中，变换系数树中包含的多个变换系数配置在一个集合中。即，某个TU的管理信息和变换系数配置在离开的位置上。由此，需要将先解码的管理信息临时保持在存储器中。

另一方面，在本实施方式中，通过使用单一的树构造，按照树构造的末端的节点，将管理信息和变换系数配置在一个集合中。由此，能够削减临时保持在存储器中的信息量。

以下，说明有关本实施方式的编码方法。另外，以下主要说明与实施方式1的不同点，省略重复的说明。此外，在各图中，对于相同的要素或处理赋予相同的标号。

图11是由有关本实施方式的图像编码装置100进行的编码处理的流程图。图像编码装置100将管理信息(TUS及cbf)和变换系数使用一个变换统一树编码。

首先，图像编码装置100在某个TrD中将TUS编码(S121)。接着，基于TUS而动作变化(S131)。在TUS为真的情况下(S131中是)，图像编码装置100将TU空间性地分割为4个区域，对其分别递归性地进行变换统一树的编码处理(S141)。

另一方面，在TUS为假的情况下(S131中否)，图像编码装置100不进行该TU的分割。即，该节点是末端的节点。此时，根据在变换统一树内编码的cbf_luma的真假而动作变化(S132)。

在cbf_luma是真的情况下(S132中是)，图像编码装置100将该TU的亮度信号的变换系数编码(S133)。另一方面，在cbf_luma是假的情况下(S132中否)，图像编码装置100不将该TU的亮度信号的变换系数编码。

接着，根据在变换统一树内编码的cbf_chroma的真假而动作变化(S134)。在cbf_chroma是真的情况下(S134中是)，图像编码装置100将该TU的色差信号的变换系数编码(S135)。另一方面，在cbf_chroma是假的情况下(S134中否)，图像编码装置100不将该TU的色差信号的变换系数编码。

通过以上，某个末端的处理结束。另外，在上述处理是下位层级中的递归性的处理的情况下，处理向递归性的调用的上位(树构造中的处理对象的节点的父节点)迁移。

并且，如果对CU内的全部的区域表现变换尺寸及cbf等并将变换系数编码，则变换统一树的编码处理完成。

与实施方式1的差异是树构造在其末端包含管理信息和变换系数这一点。在实施方式1中，需要分割信息树及变换系数树的两个树构造的编码及树构造的遍历这样的有关树构造的两个处理。另一方面，在有关本实施方式的编码方法中，有关树构造的动作成为一个。由此，能够减少在图像编码装置、图像解码装置、图像编码方法及图像解码方法中包含的处理步骤。

如以上这样，在本实施方式中，图像编码装置100将表示多个TU的结构的管理信息及量化系数131用一个树构造编码。这里，多个TU分别对应于树构造的各个树叶节点。此外，图像编码装置100按照树叶节点，将与该树叶节点对应的管理信息及量化系数131编码，生成在一个集合中配置了编码后的管理信息及编码后的量化系数的编码信号191。

此外，图像解码装置200通过将编码信号191解码，生成多个TU的各自的量化系数231、和表示多个TU的结构的管理信息(TUS及cbf)。这里，管理信息及量化系数231具有一个树构造。此外，多个TU分别与树构造的树叶节点的各个节点对应。并且，图像解码装置200将在编码信号191中按照树叶节点以一个集合配置的编码后的管理信息及编码后的量化系数按照该树叶节点解码。

图12A及图12B是对于有关色差信号的cbf及变换系数的处理的流程图。另外，图12A及图12B所示的处理包含在图11所示的流程图中。

图像编码装置100在变换统一树内的某处将cbf_chroma编码(S123)。然后，在cbf_chroma是真的情况下(S134中是)，图像编码装置100将该TU的色差的变换系数编码(S135)。

另外，在图12A中，为了说明的简略，不将色差的Cb与Cr区别。实际上，如在图12B中表示那样，将Cb与Cr区别。

如图12B所示，图像编码装置100在变换统一树内的某处将作为表示色差Cb的变换系数的有无的第3标志的cbf_cb编码(S123A)。此外，图像编码装置100在变换统一树内的某处将作为表示色差Cr的变换系数的有无的第4标志的cbf_cr编码(S123B)。然后，在cbf_cb是真的情况下(S134A中是)，图像编码装置100将该TU的色差Cb的变换系数编码(S135A)。此外，在cbf_cr是真的情况下(S134B中是)，图像编码装置100将该TU的色差Cr的变换系数编码(S135B)。

图13是作为在实施方式2的图像解码装置200中包含的熵解码部290的一例的熵解码部290B的块图。熵解码部290B具备变换统一树解码部317和变换系数解码部316。

将编码信号191中的、编码后的TUS、cbf及变换系数、即在变换统一树中包含的编码信号向变换统一树解码部317输出。变换统一树解码部317按照TUS树构造将TU变换单位的尺寸及位置解码。此外，变换统一树解码部317适当将cbf解码，对于cbf是真的TU输出编码后的变换系数。

变换系数解码部316通过将从变换统一树解码部317输出的、编码后的变换系数进行熵解码，生成变换系数(量化系数231)。

图13所示的熵解码部290B与图9所示的熵解码部290A不同，不需要TUS存储器313及CBF存储器314。这样，有关本实施方式的图像解码装置200能够减小存储器尺寸。

另外，图像编码装置100也可以将cbf_chroma、cbf_luma、cbf_cb、cbf_cr等的标志的编码在某种条件下省略。由此，能够削减编码信号191的数据量。以下，使用图14A～图14D说明该动作。

图14A是表示对于某个4分割后的区域将cbf标志分别编码的通常的情况的图。图14B是表示将编码省略的情况下的一例的图。这里，可知该4块的某个具有变换系数。此时，如果左上、右上、左下的cbf全部是“0”，则最后的右下的块的cbf必须是“1”。这也可知可以不参照右下的cbf标志，所以能够将右下的cbf标志的编码省略。

图14C是表示另一例的图，表示某个TrD＝d的4个块、和其上位的TrD＝d－1的块。在上位的TrD＝d－1中cbf是“1”的情况下，将该块分割后的下级的TrD＝d的某个块具有变换系数。即，在此情况下，下级的TrD＝d的块的某个是cbf＝1。此时，与上面同样可知，如果作为TrD＝d的左上、右上、左下的块的cbf是“0”，则右下的块的cbf是“1”。由此，能够将右下的块的cbf的编码省略。

同样，图14D是表示将cbf_chroma先编码、使cbf_luma依存的例子的图。关于TrD＝d的4个块的cbf_luma，可知在左上、右上、左下的cbf_luma是“0”、并且上位的两个cbf_chroma(cbf_cb及cbf_cr)都是“0”的情况下，最后的块的cbf_luma是“1”。由此，能够将该块的cbf_luma的编码省略。

这样，有cbf标志能够省略的情况。在本实施方式中，也可以在进行cbf标志的编码或解码时将这样的带有条件的省略组合。

这样，图像编码装置100使用上位等级的cbf标志及相同等级的其他节点的cbf标志的至少一个，判断是否能够唯一地决定处理对象的节点的cbf标志的值，在能够唯一地决定处理对象的节点的cbf标志的值的情况下，不将cbf标志编码。此外，图像解码装置200使用上位等级的cbf及相同等级的其他节点的cbf的至少一个，判断是否能够唯一地决定处理对象的节点的cbf的值，在能够唯一地决定处理对象的节点的cbf的值的情况下，不将该cbf通过解码生成。

根据以上，有关本实施方式的图像编码装置100将表示变换单位的尺寸及位置等的管理信息和变换系数用单一的树构造编码。由此，图像编码装置100及图像解码装置200能够将使用的存储器容量及处理步骤削减。

另外，在图11、图12A及图12B中说明的动作流程中，通过将编码改称作解码，能够得到由图像解码装置200(熵解码部290B)进行的解码处理的动作流程。

(实施方式3)

在本实施方式中，说明上述实施方式2的变形例。

图15是有关本实施方式的编码处理的流程图。另外，对于与图11同样的处理赋予相同的标号，以下主要说明与图11的不同点。

在步骤S121之后，图像编码装置100根据预测信号的生成方法切换动作(S122)。具体而言，在使用帧间预测的情况下(S122中是)，图像编码装置100将cbf_chroma编码(S123)。

接着，图像编码装置100参照TUS判断是否将该TU进一步分割(S124)。在将TU分割的情况下(S124中是)，图像编码装置100将TU空间性地4分割，对各个区域递归性地进行变换统一树的编码处理(S141)。

另一方面，在不将TU分割的情况下(S124中否)，图像编码装置100将cbf_luma编码(S125)。接着，图像编码装置100判断对TU(CU)使用的预测方法是否是帧间预测(S126)。在不使用帧间预测的情况下(例如使用帧内预测的情况下)(S126否)，图像编码装置100将cbf_chroma编码(S127)。另外，步骤S132以后的处理与图11同样。

如以上这样，在有关本实施方式的图像编码方法中，在对CU使用了帧间预测的情况下，在最上位的层级将cbf_chroma编码，在使用了帧内预测的情况下，在末端的节点将cbf_chroma编码。

这里，在帧间预测中，有不发生变换系数的趋向，特别是，有不发生色差信号的变换系数的趋向。由此，在使用了帧间预测的情况下，与将cbf_chroma在TU的分割后在末端编码相比，在TU的分割前编码更有效率。另一方面，在帧内预测中，由于也有容易发生变换系数的趋向，所以即使在TU的分割前编码，编码效率的改善也很小。由此，图像编码装置100在TU的分割后的末端将cbf_chroma编码。

这样，有关本实施方式的图像编码装置100能够减少cbf的数据量。

另外，在图15中说明的动作流程中，通过将编码改称作解码，能够得到由图像解码装置200进行的解码处理的动作流程。

(实施方式4)

在本实施方式中，说明上述实施方式3的变形例。

图16是有关本实施方式的编码处理的流程图。另外，对于与图15同样的处理赋予相同的标号，以下主要说明与图15的不同点。

如在实施方式3中说明那样，变换系数的有无等的趋向根据预测方法是帧间预测还是非帧间预测(帧内预测)而较大地不同。此外，特别在使用了帧内预测的情况下，需要进行多次通过较小的块的帧内预测及变换，所以帧内预测时的处理步骤的削减特别重要。因此，在本实施方式中，通过根据是帧间预测还是帧内预测(非帧间预测)而在上位进行动作的切换，将帧间预测的情况和帧内预测的情况下的处理分离。由此，容易进行安装的最优化。

具体如图16所示那样。在末端，在是帧间预测还是非帧间预测的判断(S126)之后，将cbf_luma编码。更具体地讲，在不使用帧间预测的情况下(126中否)，图像编码装置100将cbf_luma编码(S125B)，将cbf_chroma编码(S127)。另一方面，在使用帧间预测的情况下(S127中是)，图像编码装置100将cbf_luma编码(S125A)。另外，步骤S132以后的动作与实施方式3同样。

关于cbf的处理有如果也包含标志被省略的情况下的动作则变得复杂的趋向。相对于此，通过如上述那样将关于cbf的处理在帧间预测和帧内预测间切换，特别能够得到上述效果。

另外，如图17所示，在使用了帧内预测的情况下(S126中否)，图像编码装置100也可以在将cbf_chroma编码(S127)后将cbf_luma编码(S125B)。由此，cbf_chroma及cbf_luma的编码顺序在使用了帧间预测的情况(S123、S125A)和使用了帧间预测的情况(S127、S125B)中成为相同。这样，通过使处理顺序共通化，能够削减动作程序的数据量。

另外，在图16及图17中说明的动作流程中，通过将编码改称作解码，能够得到由图像解码装置200进行的解码处理的动作流程。

(实施方式5)

在本实施方式中，说明cbf及变换系数的编码顺序。

图18A～图18C是表示cbf及变换系数(BlockCoeff)的编码顺序的图。换言之，图18A～图18C是表示编码信号191中的cbf及变换系数的排列顺序的图。另外，在图18A～图18C中，数值表示编码顺序。此外，在图18A～图18C中，luma(亮度信号)的变换块的个数与chroma(色差信号)的变换块的个数相同。

图18A所示的编码顺序例如是实施方式1的编码顺序的一例。在图18A中，将cbf_luma(Blk＝0)，cbf_cb(Blk＝0)，cbf_cr(Blk＝0)依次编码，接着将cbf_luma(Blk＝1)，cbf_cb(Blk＝1)，cbf_cr(Blk＝1)，cbf_luma(Blk＝2)，cbf_cb(Blk＝2)，cbf_cr(Blk＝2)，cbf_luma(Blk＝3)，cbf_cb(Blk＝3)，cbf_cr(Blk＝3)依次编码。这里，Blk的数值以Z顺序表示块的空间上的位置。Blk＝0表示左上的块，Blk＝1表示右上的块，Blk＝2表示左下的块，Blk＝3表示右下的块。

接着全部的cbf的编码，将BlockCoeff(luma，Blk＝0)，BlockCoeff(cb，Blk＝0)，BlockCoeff(cr，Blk＝0)依次编码。接着，将BlockCoeff(luma，Blk＝1)，BlockCoeff(cb，Blk＝1)，BlockCoeff(cr，Blk＝1)依次编码。

图18B所示的编码顺序例如是实施方式2～4中的编码顺序的一例。cbf及变换系数在相同的树构造中被编码，所以某个位置的变换系数在对应的cbf之后且比较紧接着被编码。

例如，在将cbf_luma(blk＝0)，cbf_cb(blk＝0)，cbf_cr(blk＝0)依次编码后，将与该3块对应的BlockCoeff(luma，Blk＝0)，BlockCoeff(cb，Blk＝0)，BlockCoeff(cr，Blk＝0)依次编码。由此，图像解码装置200能够削减临时保存cbf标志的存储器尺寸。此外，在图像编码装置100中，如果不确定全部的块的cbf，就不能将BlockCoeff保存到流中。由此，有用来将在块顺序上靠前的BlockCoeff全部保存的存储器的尺寸变大的问题。通过使用图18B所示的处理顺序，能够减轻该问题。

在图18C中，在cbf标志的紧接着之后，将对应的变换系数编码。在该例中，能够将用来临时保存cbf及变换系数的存储器的尺寸比图18B所示的情况进一步减小。具体而言，将cbf_luma(blk＝0)，BlockCoeff(luma，Blk＝0)，cbf_cb(blk＝0)，BlockCoeff(cb，Blk＝0)，cbf_cr(blk＝0)，BlockCoeff(cr，Blk＝0)，…依次编码。

接着，说明chroma的变换块的个数比luma的变换块的个数少的情况下的编码顺序。图19A及图19B是表示该情况下的编码顺序的一例的图。

例如在4：2：0格式中，色差信号的像素数是亮度信号的像素数的纵及横的一半。在变换及逆变换的尺寸(TransformSize)中，定义了最小的尺寸(MinTrafoSize)。即，在最小的尺寸(TransformSize＝MinTrafoSize)中，有在luma中能使用4个TU而在chroma中只能使用1个TU的情况。

在图19A中，在cbf的紧接着之后将变换系数编码。此外，以BlkIdx较新的顺序将块编码。该编码顺序的好处是，由于cbf与变换系数的编码位置接近，所以能够减小临时存储器的尺寸。

在图19B中，在将luma的cbf及变换系数编码后，将chroma的cbf及变换系数编码。该编码方法的好处是能够使luma与chroma之间的处理及数据输入输出指针的切换成为最小限度。在luma和chroma中，有预测处理及数据的保存目标较大地不同的情况，所以luma的处理和chroma的处理最好分别继续进行。另外，这里将chroma在全部的luma的编码后编码，但如果将chroma在全部的luma的编码之前编码，也能够得到同样的效果。

在图19B中，将cbf_luma左上、BlockCoeff_luma左上、cbf_luma右上、BlockCoeff_luma右上、cbf_luma左下、BlockCoeff_luma左下、cbf_luma右下、BlockCoeff_luma右下、cbf_cb、BlockCoeff_cb、cbf_cr、BlockCoeff_cr依次编码。

图20是有关本实施方式的编码处理的流程图。另外，图20仅表示作为该编码处理的一部分的、关于cbf及变换系数的处理。此外，将分割后的4个块以Z顺序与BlkIdx建立了对应。

图20所示的步骤S125～S152是关于cbf的编码的处理。此外，将步骤S125～S123B的处理对分割后的4个块分别执行。

在某个块中，图像编码装置100将cbf_luma编码(S125)。接着，图像编码装置100判断亮度及色差的块的数量是否相同。此外，图像编码装置100判断是否Blkidx＝3(S151)。即，判断是否是处理对象的TU被4分割后的TU中的、在编码顺序上为最后的TU。在亮度及色差的块的数量相同、或Blkidx＝3的情况下(S151中是)，图像编码装置100将cbf_cb及cbf_cr编码(S123A及S123B)。例如，在当前的TrD中的作为luma的尺寸的TrafoSize达不到最小尺寸MinTrafoSize的(TrafoSize>MinTrafoSize)情况下，能够判断为亮度及色差的块的数量相同。另外，图像编码装置100也可以用其他方法判断亮度及色差的块的数量是否相同。

此外，在chroma的块比luma的块少的情况下，图像编码装置100也在全部的cbf_luma的编码后进行cbf_chroma的编码。即，在4分割的情况下，4个块的cbf_luma的编码结束是Blkidx＝3时。由此，图像编码装置100在Blkidx＝3时判断为进行cbf_chroma的编码。

如果总结，则图像编码装置100在(Trafosize>MinTrafoSize)||(Blkidx＝＝3)时，在cbf_luma后将cbf_chroma编码。

此外，在不是Blkidx＝3的情况下(S152中否)，选择下个块，执行步骤S125以后的处理。

图20所示的步骤S132～S154的处理是关于变换系数的编码的处理。此外，步骤S132～S135B的处理与cbf的编码处理同样，对4分割后的块分别进行。

图像编码装置100判断cbf_luma是否是真(S132)。在cbf_luma是真的情况下(S132中是)，图像编码装置100将该TU的亮度的变换系数编码(S133)。接着，图像编码装置100进行与步骤S151同样的判断(S153)。

在该判断是真的情况下(S153中是)，图像编码装置100判断cbf_cb是否是真(S134A)。图像编码装置100在cbf_cb是真的情况下(S134中是)，将色差Cb的变换系数编码(S135A)。此外，图像编码装置100判断cbf_cr是否是真(S134B)。图像编码装置100在cbf_cr是真的情况下(S134B中是)，将色差Cr的变换系数编码(S135B)。

另外，在图20中说明的动作流程中，通过将编码改称作解码，能够得到由图像解码装置200进行的解码处理的动作流程。此外，在图18A～图18C、图19A及图19B中说明的编码顺序通过将编码改读作解码，能够得到编码数据的解码顺序。

图21A及图21B是表示将chroma的cbf及变换系数比luma的cbf及变换系数先编码的例子的图。如上述那样，在帧间预测的情况下，有将cbf_chroma比cbf_luma靠前编码的情况。由此，通过将chroma先处理，在帧间预测的情况和帧内预测的情况中，能够使cbf_chroma与cbf_luma的处理顺序相同，所以能够使图像编码装置100及图像解码装置200的动作流程简略化。

(实施方式6)

在本实施方式中，说明上述实施方式3的变形例。在有关本实施方式的图像编码方法中，还将差量化参数(ΔQP)编码。所谓ΔQP，是表示在之前的量化处理中使用的量化幅度与在处理对象的变换单位的量化处理中使用的量化幅度的差的信息。

图22A及图22B是有关本实施方式的编码处理的流程图。另外，以下主要说明与图15所示的处理的不同点。

将ΔQP在全部的cbf的编码后编码。具体而言，图像编码装置100在cbf_chroma的编码(S123或S127)及cbf_luma的编码(S125)后、且变换系数的编码(S133及S135)前，将ΔQP编码(S161)。

这样，图像编码装置100将ΔQP在树构造的树叶节点中编码，将编码后的ΔQP配置到编码信号191的与该树叶节点对应的位置。此外，图像解码装置200将配置在编码信号191的与树构造的树叶节点对应的位置上的编码后的ΔQP在该树叶节点中解码。

另外，在图像解码装置200中，也可以通过在将变换系数解码的同时进行管线并行等而直接进行逆量化。在此情况下，将用来决定量化参数的ΔQP以上述编码顺序编码由于不带来不需要的延迟及存储器增加，所以是有效的。

另外，ΔQP只要在某个编码单位CU中、在cbf_luma、cbf_chroma最初成为真的TU中编码一次就足够。如果以其以上的频度更新，则代码量增加过多。

图22B是将ΔQP在TU的树构造的开头(根)编码的情况下的编码方法的流程图。如图22B所示，图像编码装置100在TU的树构造的开头编码(S161)。

这样，图像编码装置100将ΔQP在树构造的根中编码，将编码后的差量化幅度配置到编码信号191的与该根对应的位置上。此外，图像解码装置200将编码信号191的配置在与树构造的根对应的位置上的编码后的差量化幅度在该根中解码。

在此情况下，图像解码装置200能够较早地决定逆量化部240需要的量化参数，所以能够有富余地进行逆量化部240的起动处理。此外，图像编码装置100不是将ΔQP总是编码，而通过在编码单位CU中、仅在否_reisidual_data是真的情况下将ΔQP编码，能够减少数据量。否_residual_data是意味着在该CU内变换系数一个都不存在的标志。该否_residual_data在比该CU内的最初的TUS靠前被编码。

另外，在图22A及图22B中说明的动作流程中，通过将编码改称作解码，能够得到由图像解码装置200进行的解码处理的动作流程。

此外，在图23及图24A～图24C中，表示相当于实施方式6的HEVC的Syntax例子。

(实施方式7)

在本实施方式中，说明上述实施方式3的变形例。

图25A及图25B是由有关本实施方式的图像编码装置100进行的编码处理的流程图。

在图25A及图25B所示的编码处理中，提取图15所示的变换系数的编码处理(S132～S135)作为是一个子程序的统一变换处理(transform_unified_unit)(S171)。在此情况下，也与上述实施方式同样，能够得到临时保持cbf及TUS的信息的存储器量的减少、处理步骤的简略化及遍历的次数的减少的效果。另外，步骤S125～S127的处理也可以包含在统一变换处理中。在此情况下，该子程序对应于TU的树构造的末端的处理。此外，ΔQP也可以在统一变换处理中编码。通过该子程序化，能够在得到实质上相同的效果的同时，期待因将处理分离带来的设计的省力化及测试工序数的减少。

以上，对有关本发明的实施方式的图像编码装置及图像解码装置进行了说明，但本发明并不限定于该实施方式。

此外，包含在有关上述实施方式的图像编码装置及图像解码装置中的各处理部典型地作为集成电路即LSI实现。它们既可以单独地1芯片化，也可以包含一部分或全部而1芯片化。

此外，集成电路化并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)或能够再构成LSI内部的电路单元的连接及设定的可重构处理器。

在上述各实施方式中，各构成要素也可以由专用的硬件构成、或者通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录媒体中的软件程序并执行来实现。

进而，本发明也可以是上述软件程序，也可以是记录有上述程序的非暂时性的计算机可读取的记录媒体。此外，上述程序当然能够经由因特网等的传送媒体流通。

此外，在上述中使用的数字全部是为了具体地说明本发明而例示的，本发明并不限制于例示的数字。

此外，块图中的功能块的分割是一例，也可以将多个功能块作为一个功能块实现、或将一个功能块分割为多个、或将一部分的功能转移到其他功能块中。此外，也可以是单一的硬件或软件将具有类似的功能的多个功能块的功能并行或时间划分处理。

此外，执行上述图像编码方法或图像解码方法中包含的步骤的顺序是为了具体地说明本发明而用来例示的，也可以是上述以外的顺序。此外，上述步骤的一部分也可以与其他步骤同时(并行)执行。

以上，基于实施方式对有关本发明的一个或多个技术方案的图像编码装置及图像解码装置进行了说明，但本发明并不限定于该实施方式。只要不脱离本发明的主旨，对本实施方式实施了本领域的技术人员想到的各种变形后的形态、或将不同的实施方式的构成要素组合而构建的形态也可以包含在本发明的一个或多个技术方案的范围内。

(实施方式8)

通过将用来实现上述各实施方式所示的动态图像编码方法或动态图像解码方法的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。

进而，这里说明在上述各实施方式中示出的动态图像编码方法(图像编码方法)及动态图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。

图26是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。

该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex107～ex110连接着计算机ex111、PDA(Personal Digital Assistant)ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。

但是，内容供给系统ex100并不限定于图26那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex107～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。

照相机ex113是能够进行数字摄像机等的动态图像摄影的设备，照相机ex116是能够进行数字照相机等的静止图像摄影、动态图像摄影的设备。此外，便携电话ex114是GSM(Global System for Mobile Communications)方式、CDMA(Code Division MultipleAccess)方式、W－CDMA(Wideband－Code Division Multiple Access)方式、或LTE(LongTerm Evolution)方式、HSPA(High Speed Packet Access)的便携电话机、或PHS(PersonalHandyphone System)等，是哪种都可以。

在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场分发等。在现场分发中，对用户使用照相机ex113摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即，作为本发明的一个方式的图像编码装置发挥作用)，向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现(即，作为本发明的一个方式的图像解码装置发挥作用)。

另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或动态图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。

此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将动态图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质(CD－ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的动态图像数据发送。此时的动态图像数据是由便携电话ex114具有的LSIex500编码处理的数据。

此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。

如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。

另外，并不限定于内容供给系统ex100的例子，如图27所示，在数字广播用系统ex200中也能够装入上述实施方式的至少动态图像编码装置(图像编码装置)或动态图像解码装置(图像解码装置)的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的动态图像编码方法编码后的数据(即，通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB)ex217等的装置将接收到的复用数据解码并将其再现(即，作为本发明的一个方式的图像解码装置发挥作用)。

此外，可以在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的动态图像解码装置或动态图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装动态图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入动态图像解码装置。

图28是表示使用在上述各实施方式中说明的动态图像解码方法及动态图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理不ex306中编码的影像数据、声音数据复用的复用/分离部ex303。

此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。

首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。

此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。

此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。

作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图29中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。

以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用接近场光进行高密度的记录的结构。

在图30中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。

以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。

此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现动态图像。另外，车载导航仪ex211的结构可以考虑例如在图17所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。

图31A是表示使用在上述实施方式中说明的动态图像解码方法和动态图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。

进而，使用图31B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD(LiquidCrystal Display：液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。

电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作的状态。

便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。

进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex350。

在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的动态图像编码方法进行压缩编码(即，作为本发明的一个方式的图像编码装置发挥作用)，将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。

复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。

在数据通信模式时接收到链接到主页等的动态图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的动态图像编码方法相对应的动态图像解码方法进行解码，由此对影像信号进行解码(即，作为本发明的一个方式的图像解码装置发挥作用)，经由LCD控制部ex359从显示部ex358显示例如链接到主页的动态图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。

此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。

这样，将在上述各实施方式中表示的动态图像编码方法或动态图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。

此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。

(实施方式9)

也可以通过将在上述各实施方式中示出的动态图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的标准的动态图像编码方法或装置根据需要而适当切换，来生成影像数据。

这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。

为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。

图32是表示复用数据的结构的图。如图32所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的动态图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的动态图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。

包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。

图33是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。

图34更详细地表示在PES包序列中怎样保存视频流。图34的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图34的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS(Presentation Time-Stamp)及作为图片的解码时刻的DTS(Decoding Time-Stamp)。

图35表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS(Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图35下段所示排列，从复用数据的开头起递增的号码被称作SPN(源包号)。

此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program ClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS及DTS的时间轴的STC(System Time Clock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。

图36是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。

在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。

复用数据信息文件如图37所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。

复用数据信息如图37所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。

流属性信息如图38所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。

在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的动态图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。

此外，在图39中表示本实施方式的动态图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的动态图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的动态图像解码方法进行解码。

这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的动态图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的动态图像编码方法或装置、或者动态图像解码方法或装置用在上述任何设备、系统中。

(实施方式10)

在上述各实施方式中示出的动态图像编码方法及装置、动态图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图40中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。

例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。

另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。

此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex510的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。

另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。

此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。

进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。

(实施方式11)

在将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。

为了解决该问题，电视机ex300、LSIex500等的动态图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图41表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。

更具体地讲，驱动频率切换部ex803由图40的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图40的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式9中记载的识别信息。关于识别信息，并不限定于在实施方式9中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图43所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。

图42表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。

进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。

此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。

进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定得短。

这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。

(实施方式12)

在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。

为了解决该问题，采用将用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部一部分共用的结构。图44A的ex900表示该结构例。例如，在上述各实施方式中示出的动态图像解码方法和依据MPEG4－AVC标准的动态图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC标准的解码处理部ex902，关于不对应于MPEG4－AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。特别是，本发明在滤波处理(解块/滤波)方面具有特征，因此可以考虑例如对于滤波处理(解块/滤波)使用专用的解码处理部ex901，对于除此之外的熵解码、逆量化、运动补偿中的某一个或者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部，关于MPEG4－AVC标准所特有的处理内容，使用专用的解码处理部。

此外，用图44B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的动态图像解码方法和其他的以往标准的动态图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。

这样，对于在本发明的一个方式的动态图像解码方法和以往的标准的动态图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。

产业上的可利用性

本发明能够在图像编码方法、图像解码方法、图像编码装置及图像解码装置中采用。例如，本发明能够在具备图像编码装置的电视机、数字录像机、车载导航仪、便携电话、数字照相机及数字摄像机等的高分辨率的信息显示设备或摄像设备中使用。

标号说明

100 图像编码装置

101 输入图像信号

110 减法部

111 预测误差信号

120 变换部

121 变换输出信号

130 量化部

131、231 量化系数

140、240 逆量化部

141、241 解码变换输出信号

150、250 逆变换部

151、251 解码变换输入信号

160、260 加法部

161、261 解码信号

170、270 存储器

180、280 预测部

181、281 预测信号

190 熵编码部

191 编码信号

200 图像解码装置

290、290A、290B 熵解码部

291 预测方法

311 分叉部

312 分割信息树解码部

313 TUS存储器

314 CBF存储器

315 变换系数树解码部

316 变换系数解码部

317 变换统一树解码部

321 编码管理信息

322 变换系数

Claims (2)

1.一种图像解码方法，其特征在于，

包括：

解码步骤，通过将编码信号解码，生成表示是否将与树构造的节点对应的变换单位进一步分割的分割信息、表示与上述节点对应的亮度的量化系数的有无的第2标志、表示与上述节点对应的色差的量化系数的有无的第3标志、上述亮度的量化系数、上述色差的量化系数；

逆量化逆变换步骤，通过按照每个上述变换单位对上述亮度的量化系数、上述色差的量化系数进行逆量化及逆变换，生成预测误差信号；以及

加法步骤，通过按照包括多个变换单位的每个编码单位将上述预测误差信号与预测信号相加，生成解码信号；

在上述编码信号中，编码后的第2标志配置为比编码后的第3标志靠后；

在上述解码步骤中，在上述至少一个节点中，将以一个集合配置的编码后的分割信息、编码后的第2标志、编码后的第3标志、编码后的亮度的量化系数、编码后的色差的量化系数按照每个上述节点进行解码，并且将上述编码后的第2标志比上述编码后的第3标志靠后解码。

2.一种图像解码装置，其特征在于，

具备：

解码部，通过将编码信号解码，生成表示是否将与树构造的节点对应的变换单位进一步分割的分割信息、表示与上述节点对应的亮度的量化系数的有无的第2标志、表示与上述节点对应的色差的量化系数的有无的第3标志、上述亮度的量化系数、上述色差的量化系数；

逆量化逆变换部，通过按照每个上述变换单位对上述亮度的量化系数、上述色差的量化系数进行逆量化及逆变换，生成预测误差信号；以及

加法部，通过按照包括多个变换单位的每个编码单位将上述预测误差信号与预测信号相加，生成解码信号；

在上述编码信号中，编码后的第2标志配置为比编码后的第3标志靠后；

上述解码部，在上述至少一个节点中，将以一个集合配置的编码后的分割信息、编码后的第2标志、编码后的第3标志、编码后的亮度的量化系数、编码后的色差的量化系数按照每个上述节点进行解码，并且将上述编码后的第2标志比上述编码后的第3标志靠后解码。