CN103718553A - 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置 - Google Patents

Abstract

有关本发明的一技术方案的图像编码方法包括：分割步骤（S201），将图片分割为多个瓦片；编码步骤（S202），通过将上述多个瓦片分别编码，生成多个编码数据；比特流生成步骤（S203），生成包含上述多个编码数据的比特流；上述编码步骤（S202）包括：编码序列生成步骤（S211），通过将作为上述多个瓦片之一的第1瓦片不参照在其他瓦片的编码中已使用的编码信息而编码，生成第1编码序列；对齐步骤（S213），通过在上述第1编码序列之后追加比特序列，使作为上述多个编码数据之一的第1编码数据的比特长度成为预先设定的N比特的倍数，其中N是2以上的整数。

Description

图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置

技术领域

本发明涉及图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置。

背景技术

作为已经标准化的图像编码方式，已知有H.264。在这样的图像编码方式中，作为将图片(picture)分割编码的技术而使用切片(slice)。通过使用切片，图像解码装置能够将图片中包含的各切片独立地解码。

此外，近年来，作为将图片分割编码的新的技术，提出了称作瓦片(tile)的编码技术（例如，参照非专利文献1）。

现有技术文献

非专利文献

非专利文献1：“Tiles”（JCTVC－F335）Joint Collaborative Team on VideoCoding（JCT－VC）of ITU－T SG16WP3and ISO/IEC JTC1/SC29/WG116thMeeting：Torino，IT，14－22July，2011

非专利文献2：“New results for parallel decoding for Tiles”（JCTVC－F594）Joint Collaborative Team on Video Coding（JCT－VC）of ITU－T SG16WP3and ISO/IEC JTC1/SC29/WG116th Meeting：Torino，IT，14－22July，2011

发明概要

发明要解决的问题

在这样的图像编码方法及图像解码方法中，要求处理负荷的降低及编码效率的提高。

发明内容

所以，本发明的目的是提供一种能够降低处理负荷或提高编码效率的图像编码方法或图像解码方法。

用于解决问题的手段

有关本发明的一技术方案的图像编码方法包括：分割步骤，将图片分割为多个瓦片；编码步骤，通过将上述多个瓦片分别编码，生成分别与上述多个瓦片中的各个瓦片对应的多个编码数据；以及比特流生成步骤，生成包含上述多个编码数据的比特流；上述编码步骤包括：编码序列生成步骤，通过将作为上述多个瓦片之一的第1瓦片不参照在其他瓦片的编码中已使用的编码信息而编码，生成第1编码序列；以及对齐步骤，通过在上述第1编码序列之后追加比特序列，使作为上述多个编码数据之一的第1编码数据的比特长度成为预先设定的N比特的倍数，其中N是2以上的整数。

另外，这些包含性或具体的形态也可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。

发明效果

本发明能够提供能降低处理负荷或提高编码效率的图像编码方法或图像解码方法。

附图说明

图1是本发明的有关实施方式1的图像编码装置的框图。

图2是本发明的有关实施方式1的图片分割处理的流程图。

图3A是表示本发明的有关实施方式1的瓦片分割模式的一例的图。

图3B是表示本发明的有关实施方式1的瓦片分割模式的一例的图。

图3C是表示本发明的有关实施方式1的瓦片分割模式的一例的图。

图4A是表示本发明的有关实施方式1的瓦片边界独立信息的一例的图。

图4B是表示本发明的有关实施方式1的瓦片边界独立信息的一例的图。

图5是本发明的有关实施方式1的图像解码装置的框图。

图6是本发明的有关实施方式2的图像编码装置的框图。

图7A是表示本发明的有关实施方式2的瓦片的扫描顺序的一例的图。

图7B是表示本发明的有关实施方式2的瓦片的扫描顺序的一例的图。

图7C是表示本发明的有关实施方式2的瓦片的扫描顺序的一例的图。

图7D是表示本发明的有关实施方式2的瓦片的扫描顺序的一例的图。

图8是本发明的有关实施方式2的图像解码装置的框图。

图9是本发明的有关实施方式3的图像编码装置的框图。

图10是本发明的有关实施方式3的标记插入处理的流程图。

图11是本发明的有关实施方式3的图像解码装置的框图。

图12是本发明的有关实施方式4的图像编码装置的框图。

图13A是本发明的有关实施方式4的图像编码方法的流程图。

图13B是本发明的有关实施方式4的编码处理的流程图。

图14是表示本发明的有关实施方式4的字节对齐处理的图。

图15是本发明的有关实施方式4的图像解码装置的框图。

图16A是本发明的有关实施方式4的图像解码方法的流程图。

图16B是本发明的有关实施方式4的解码处理的流程图。

图17A是表示瓦片分割模式的一例的图。

图17B是瓦片中包含的块的处理顺序的图。

图18是实现内容分发服务的内容供给系统的整体结构图。

图19是数字广播用系统的整体结构图。

图20是表示电视机的结构例的模块图。

图21是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。

图22是表示作为光盘的记录介质的构造例的图。

图23A是表示便携电话的一例的图。

图23B是表示便携电话的结构例的模块图。

图24是表示复用数据的结构的图。

图25是示意地表示各流在复用数据中怎样被复用的图。

图26是更详细地表示在PES包序列中视频流怎样被保存的图。

图27是表示复用数据的TS包和源包的构造的图。

图28是表示PMT的数据结构的图。

图29是表示复用数据信息的内部结构的图。

图30是表示流属性信息的内部结构的图。

图31是表示识别影像数据的步骤的图。

图32是表示实现各实施方式的动态图像编码方法及动态图像解码方法的集成电路的结构例的模块图。

图33是表示切换驱动频率的结构的图。

图34是表示识别影像数据、切换驱动频率的步骤的图。

图35是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。

图36A是表示将信号处理部的模块共用的结构的一例的图。

图36B是表示将信号处理部的模块共用的结构的另一例的图。

具体实施方式

（作为本发明的基础的见解）

首先，使用图17A及图17B对瓦片进行说明。

图片被分割为任意的数量的列（Column）和行（Row）。并且，将用边界线包围的各区域称作瓦片。

图17A表示图片被分割为3个列和3个行的例子。分割的结果是，在图片内存在T1到T9的9个瓦片。列的宽度可以以LCU（Largest CodingUnit：最大编码单位）为单位，按照每个列设定为不同的值。此外，也可以设定为，使全部列的宽度相同。同样，行的高度（瓦片的垂直方向的宽度）可以以LCU为单位，按照每个行设定为不同的值。此外，也可以设定为，使全部行的高度相同。

当将图片编码时，将瓦片在图片内以光栅扫描顺序处理。即，从左上的瓦片T1起以T2、T3处理，按顺序处理到右下的T9。

图17B表示各瓦片中包含的LCU的例子。各个瓦片包含一个以上的LCU。例如，瓦片T1包含1号到15号的16个LCU。在将图片编码时，将LCU在瓦片内以光栅扫描顺序处理。如上述那样，将瓦片在图片内以光栅扫描顺序处理，所以将多个LCU以图17B所示的从1号到53号那样的顺序处理。

在这样将图片分割为多个瓦片的情况下，有时相对于不将图片分割的情况LCU的处理顺序发生变化。另一方面，在将图片分割为多个切片的情况下，相对于不将图片分割的情况，LCU的处理顺序不变化。这样，通过使用瓦片，能够进行任意的分割，并且能够最优地设定处理顺序，所以与使用切片的情况相比能够改善编码效率。

此外，在将处理对象的LCU编码时，通常利用位于处理对象的LCU的周边的LCU的编码信息。例如，在帧内(intra)预测或运动矢量预测中，参照位于处理对象的LCU的周边的LCU的信息，将该信息用在处理对象的LCU的编码中。即，处理对象的LCU依存于周边的LCU。一般而言，能够在参照中使用的LCU越多，预测的精度越高。由此，编码效率提高。但是，依存于其他LCU的LCU不能与被依存LCU切离而解码。

此外，设有表示瓦片边界处的编码的依存关系的标志(flag)（瓦片边界独立标志：tile_boundary_independence_idc）。对于该瓦片边界独立标志分配了1比特。并且，将该瓦片边界独立标志以包含在序列参数集（SPS）或图片参数集（PPS）中的状态向图像解码装置发送。

当瓦片边界独立标志为开启时，各瓦片独立。即，在将瓦片内的某个LCU编码时，不能参照超过瓦片边界的LCU的编码信息，而仅将瓦片内的LCU的编码信息用于预测。相反，当瓦片边界独立标志为关闭时，各瓦片具有依存关系。即，能够将包含处理对象的LCU的瓦片、以及包含在其他瓦片中的、处于能够利用的关系的全部的LCU的信息用于编码。

另外，瓦片也可以包含1个以上的切片，切片也可以包含1个以上的瓦片。但是，在切片包含1个以上的瓦片的情况下，属于同一个切片的LCU跨越多个瓦片而存在。结果，不能保持瓦片间的编码的独立性，瓦片边界独立标志必须设定为关闭。

在这样的图像编码方法及图像解码方法中，要求处理负荷的降低及编码效率的提高。

所以，在本实施方式中，对能够降低处理负荷或提高编码效率的图像编码方法、图像解码方法、图像编码装置及图像解码装置进行说明。

为了解决这样的问题，有关本发明的一技术方案的图像编码方法包括：分割步骤，将图片分割为多个瓦片；编码步骤，通过将上述多个瓦片分别编码，生成分别与上述多个瓦片中的各个瓦片对应的多个编码数据；以及比特流生成步骤，生成包含上述多个编码数据的比特流；上述编码步骤包括：编码序列生成步骤，通过将作为上述多个瓦片之一的第1瓦片不参照在其他瓦片的编码中已使用的编码信息而编码，生成第1编码序列；以及对齐步骤，通过在上述第1编码序列之后追加比特序列，使作为上述多个编码数据之一的第1编码数据的比特长度成为预先设定的N比特的倍数，其中N是2以上的整数。

由此，各瓦片的编码数据成为预先设定的比特数的倍数。由此，图像解码装置中的编码数据的处置变得容易。此外，图像解码装置能够容易地确定瓦片的编码数据的开头位置。这样，该图像编码方法能够减轻图像解码装置的处理负荷。

例如，也可以是，上述编码序列生成步骤包括通过算术编码生成上述第1编码序列的算术编码步骤；在上述算术编码步骤中，进行使上述第1编码序列完结的终止处理。

由此，图像解码装置能够将各瓦片的编码数据独立地处置。

例如，也可以是，在上述分割步骤中，还将上述多个瓦片的瓦片间的边界分别分类为第1边界和第2边界；在上述编码步骤中，对于上述多个瓦片中的各个瓦片，分别参照与该瓦片邻接的已编码的瓦片中的、跨越上述第1边界的瓦片的编码信息，并且不参照与该瓦片邻接的已编码的瓦片中的、跨越上述第2边界的瓦片的编码信息，将该瓦片编码；在上述比特流生成步骤中，生成包含表示上述多个瓦片的瓦片间的边界分别是第1边界还是第2边界的瓦片边界独立信息的上述比特流。

由此，按照每个瓦片边界设定瓦片间的依存关系。由此，与例如以图片单位设定瓦片间的依存关系的情况相比，能改善编码效率。

例如，也可以是，上述瓦片边界独立信息包含在包含于上述比特流中的图片参数集或序列参数集中。

例如，也可以是，在上述分割步骤中，还决定上述多个瓦片的编码顺序；在上述编码步骤中，将上述多个瓦片以所决定的编码顺序进行编码；在上述比特流生成步骤中，生成包含表示上述编码顺序的瓦片处理顺序信息的上述比特流。

由此，能够任意地设定图像解码装置中的瓦片的解码处理顺序。由此，例如能够将包含在图片中的多个区域的图像中的、优先级较高的区域的图像在图像解码装置中先解码。

例如，也可以是，上述瓦片处理顺序信息包含在包含于上述比特流中的图片参数集或序列参数集中。

例如，也可以是，在上述比特流生成步骤中，仅对上述多个编码数据的数据边界中的、与夹着该数据边界的两个编码数据相对应的两个瓦片间的边界为第2边界的数据边界，插入用来确定该数据边界的标记。

由此，该图像编码方法与对全部的瓦片边界插入标记的情况相比，能够改善编码效率。

此外，有关本发明的一技术方案的图像解码方法包括：取得步骤，取得包含在比特流中的、通过将分割图片而得到的多个瓦片中的各个瓦片编码而生成的多个编码数据；以及解码步骤，通过将上述多个编码数据分别解码，生成上述多个瓦片的图像数据；上述解码步骤包括：第1图像数据生成步骤，通过将在作为上述多个编码数据之一的第1编码数据中包含的第1编码序列不参照在其他瓦片的解码中已使用的解码信息而解码，生成作为上述多个瓦片之一的第1瓦片的图像数据；以及跳过步骤，将包含在上述第1编码数据中的、位于上述第1编码序列之后的预先设定的比特序列跳过。

由此，该图像解码方法能够容易地确定瓦片的编码数据的开头位置。这样，该图像解码方法能够减轻图像解码装置的处理负荷。

例如，也可以是，上述第1图像数据生成步骤包括将上述第1编码序列算术解码的算术解码步骤；上述算术解码步骤包括在上述跳过步骤之前进行将对于上述第1编码序列的算术解码处理完结的终止处理的终止处理步骤。

由此，图像解码装置能够将各瓦片的编码数据独立地处置。

例如，也可以是，上述解码步骤还包括：第2图像数据生成步骤，通过将包含在上述多个编码数据中的、包含在位于上述第1编码数据之后的第2编码数据中的第2编码序列解码，生成作为上述多个瓦片之一的第2瓦片图像数据。

此外，有关本发明的一技术方案的图像编码装置具备：分割部，将图片分割为多个瓦片；编码部，通过将上述多个瓦片分别编码，生成分别与上述多个瓦片中的各个瓦片对应的多个编码数据；以及比特流生成部，生成包含上述多个编码数据的比特流；上述编码部通过将作为上述多个瓦片之一的第1瓦片不参照在其他瓦片的编码中已使用的编码信息而编码，生成第1编码序列；以及通过在上述第1编码序列之后追加比特序列，使作为上述多个编码数据之一的第1编码数据的比特长度成为预先设定的N比特的倍数，其中N是2以上的整数。

由此，各瓦片的编码数据成为预先设定的比特数的倍数。由此，图像解码装置中的编码数据的处置变得容易。此外，图像解码装置能够容易地确定瓦片的编码数据的开头位置。这样，该图像编码装置能够减轻图像解码装置的处理负荷。

此外，有关本发明的一技术方案的具备：取得部，取得包含在比特流中的、通过将分割图片而得到的多个瓦片中的各个瓦片编码而生成的多个编码数据；以及解码部，通过将上述多个编码数据分别解码，生成上述多个瓦片的图像数据；上述解码部通过将在作为上述多个编码数据之一的第1编码数据中包含的第1编码序列不参照在其他瓦片的解码中已使用的解码信息而解码，生成作为上述多个瓦片之一的第1瓦片的图像数据；以及将包含在上述第1编码数据中的、位于上述第1编码序列之后的预先设定的比特序列跳过。

由此，该图像解码装置能够容易地确定瓦片的编码数据的开头位置。这样，该图像解码装置能够减轻图像解码装置的处理负荷。

此外，有关本发明的一技术方案的图像编码解码装置具备上述图像编码装置和上述图像解码装置。

另外，这些包含性或具体的形态也可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。

以下，参照附图对本发明的实施方式进行说明。

另外，以下说明的实施方式都是表示包含性或具体的例子的。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，并不是限定本发明的意思。此外，关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素，作为任意的构成要素进行说明。

（实施方式1）

如上述那样，在以图片单位设定瓦片间的依存关系的情况下，根据该设定，将图片内的全部的瓦片间的依存关系断绝。由此，本发明者发现有编码效率下降的问题。

对此，有关本实施方式的图像编码装置将瓦片间的依存关系以瓦片边界单位设定。由此，该图像编码装置与将瓦片间的依存关系以图片单位设定的情况相比能够提高编码效率。

图1是表示使用有关本实施方式的图像编码方法的图像编码装置100的结构的框图。

图1所示的图像编码装置100通过将输入图像信号120编码而生成比特流134。该图像编码装置100具备编码部115、图片分割控制部112和复用部114。此外，编码部115具备减法器101、正交变换部102、量化部103、逆量化部104、逆正交变换部105、加法器106、块存储器107、帧存储器108、帧内预测部109、帧间预测部110、图片类型决定部111和可变长编码部113。

图片分割控制部112是分割部的一例，将图片分割为1个以上的瓦片，并决定各瓦片边界处的瓦片间的依存关系。并且，图片分割控制部112将作为关于该瓦片的分割的信息的图片分割信息135向复用部114发送。具体而言，图片分割信息135表示图片的分割模式(pattern)及瓦片间的依存关系。

此外，图片分割控制部112将该图片分割信息135作为序列参数集（SPS：Sequence Parameter Set）或图片参数集（PPS：Picture Parameter Set）的一部分向复用部114发送。图片参数集是相当于图片的头(header)的参数集。序列参数集是相当于能够在1张以上的图片中共同使用的头的参数集。图片参数集包括可变长编码的类型、量化步长的初始值及参照图片数等。在序列参数集中，包括能够参照的最大的图片数、图像尺寸及视频显示信息（VUI：Video Usability Information）等。

此外，图片分割控制部112基于图片的分割模式及瓦片间的依存关系，生成用来控制帧内预测部109、帧间预测部110及可变长编码部113的分割控制信号132。

编码部115通过将输入图像信号120编码，生成编码数据133。

减法器101通过计算由后述的处理部生成的预测图像数据131与输入图像信号120的差，生成预测误差数据121。正交变换部102通过将预测误差数据121从图像域向频率域变换，生成变换系数122。量化部103通过将变换系数122量化，生成量化系数123。

逆量化部104通过将量化系数123逆量化，生成变换系数124。逆正交变换部105通过将变换系数124从频率域向图像域变换，生成预测误差数据125。加法器106通过将预测图像数据131与预测误差数据125相加，生成解码图像数据126。块存储器107将解码图像数据126以块单位作为解码图像数据127保存。帧存储器108将解码图像数据126以帧单位作为解码图像数据128保存。

帧内预测部109通过使用保存在块存储器107中的块单位的解码图像数据127进行帧内预测，生成编码对象块的预测图像数据129。此外，帧内预测部109基于从图片分割控制部112送来的分割控制信号132，检测瓦片间的依存关系。并且，帧内预测部109不使用在与处理对象的瓦片断绝了依存关系的瓦片中包含的块的像素信息进行帧内预测。

帧间预测部110通过使用保存在帧存储器108中的帧单位的解码图像数据128进行帧间(inter)预测，生成编码对象块的预测图像数据130。此外，帧间预测部110基于从图片分割控制部112送来的分割控制信号132，检测瓦片间的依存关系。并且，帧间预测部110不使用在与处理对象的瓦片断绝了依存关系的瓦片中包含的块的运动矢量信息进行运动矢量预测。

可变长编码部113通过将量化系数123可变长编码，生成编码数据133。此外，可变长编码部113基于从图片分割控制部112送来的分割控制信号132，检测瓦片间的依存关系。并且，可变长编码部113在断绝了依存关系的瓦片边界将熵编码处理复位。

复用部114是比特流生成部的一例，通过取得包含图片分割信息135的图片参数集或序列参数集、将这些参数复用到编码数据133中，生成比特流134。

以下，对将由图片分割控制部112进行的将图片分割为多个瓦片的处理进行说明。图2是由有关本实施方式的图片分割控制部112进行的图片分割处理的流程图。

首先，图片分割控制部112决定作为多个瓦片的列的数量的列数（S101）。接着，图片分割控制部112决定作为多个瓦片的行的数量的行数（S102）。接着，图片分割控制部112判断是否所决定的列数和行数两者都是1（S103）。即，图片分割控制部112判断是否图片被分割为多个瓦片。在列数及行数都是1的情况下（S103中“是”），即在图片没有被分割为多个瓦片的情况下，图片分割控制部112结束处理。

另一方面，在列数及行数的至少其一是2以上的情况下（S103中“否”），即，在图片被分割为多个瓦片的情况下，图片分割控制部112决定瓦片边界处的编码的依存关系，生成表示所决定的依存关系的瓦片边界独立信息（S104）。

接着，图片分割控制部112使用LCU（Largest Coding Unit：最大编码单位）作为单位，决定各列的宽度（瓦片的水平方向的宽度）。具体而言，首先，图片分割控制部112决定是否使图片中包含的全部的列的宽度相同（S105）。在全部的列的宽度相同的情况下（S105中“是”），图片分割控制部112将列宽均等标志设定为“1”（S106）。另一方面，在多个列的宽度在图片内不同的情况下（S105中“否”），图片分割控制部112将列宽均等标志设定为“0”（S107），决定各列的宽度（S108）。

接着，图片分割控制部112以LCU为单位，决定行的高度。具体而言，首先，图片分割控制部112决定是否使图片中包含的全部的行的高度相同（S109）。在全部的行的高度相同的情况下（S109中“是”），图片分割控制部112将行高度均等标志设定为“1”（S110）。另一方面，在多个行的高度在图片内不同的情况下（S109中“否”），图片分割控制部112将行高度均等标志设定为“0”（S111），决定各行的高度（S112）。

如以上这样，图片分割控制部112将图片分割为多个瓦片。并且，图片分割控制部112生成包括表示图片的分割模式的信息和瓦片边界独立信息的图片分割信息135，将所生成的图片分割信息135作为序列参数集（SPS）或图片参数集（PPS）的一部分向复用部114发送。这里，表示图片的分割模式的信息例如包括列数、行数、列宽均等标志及行高度均等标志。此外，该信息根据需要而包括列的宽度及行的高度。

图3A～图3C是表示将图片向瓦片分割的模式的一例的图。图3A～图3C所示的虚线表示该边界的两端的瓦片处于依存关系，实线表示该边界的两端的瓦片相互独立，即断绝了依存关系。具体而言，在两个瓦片处于依存关系的情况下，图像编码装置100将一方的瓦片参照另一方的瓦片的编码信息编码。此外，在两个瓦片相互独立的情况下，图像编码装置100将一方的瓦片不参照另一方的瓦片的编码信息而编码。这里，所谓编码信息，是在编码中使用的信息，具体而言，是帧内预测中的像素信息（像素值）、以及帧间预测中的运动矢量信息。另外，在以后的说明中，将两个瓦片处于依存关系的情况称作两个瓦片（瓦片间）依存，将两个瓦片的依存关系被断绝的情况称作两个瓦片（瓦片间）独立。此外，在该边界的两端的瓦片依存的情况下，称作该边界依存，在该边界的两端的瓦片独立的情况下，称作该边界独立。

在图3A中，在垂直方向的瓦片间（例如T1与T4之间）瓦片依存，在水平方向的瓦片间（例如T1与T2之间）瓦片独立。此外，通过被分配了2比特的瓦片边界独立信息表示瓦片边界处的瓦片的依存关系。例如，第1比特表示水平方向的瓦片间的依存关系，第2比特表示垂直方向的瓦片间的依存关系。在瓦片独立情况下，将比特设定为“1”，在瓦片依存的情况下将比特设定为“0”。在此情况下，图3A中的瓦片边界独立信息是“0b10”。

在图3B中，在水平方向的瓦片间瓦片依存，在垂直方向的瓦片间瓦片独立。因而，瓦片边界独立信息是“0b01”。另外，在全部的瓦片间是独立的情况下，瓦片边界独立信息是“0x11”，在全部的瓦片间依存的情况下，瓦片边界独立信息是“0b00”。

在图3C中，瓦片间的依存关系按照每个瓦片边界而不同。虽然是垂直方向的瓦片间，但瓦片T1与瓦片T4是独立的，瓦片T2与瓦片T5依存。另外，图3C是一例，也可以按照相邻接的瓦片的每个边界任意地设定编码或解码处理中的瓦片间的依存关系。

图4A及图4B是表示按照每个瓦片边界设定瓦片间的依存关系的情况下的瓦片边界独立信息的图。图4A所示的瓦片边界独立信息140包括表示全体的瓦片间的依存关系的1比特的全体依存信息141、表示水平方向的瓦片间的依存关系的多个比特（（列数－1）×行数）的水平依存信息142、和表示垂直方向的瓦片间的依存关系的多个比特（列数×（行数－1））的垂直依存信息143。此外，图4A及图4B是图3C所示的依存关系的情况下的瓦片边界独立信息的例子。

水平依存信息142中包含的各个比特从开头起依次表示T1与T2之间的依存关系、T2与T3之间的依存关系、T4与T5之间的依存关系、T5与T6之间的依存关系、T7与T8之间的依存关系、T8与T9之间的依存关系。此外，垂直依存信息143中包含的各个比特从开头起依次表示T1与T4之间的依存关系、T2与T5之间的依存关系、T3与T6之间的依存关系、T4与T7之间的依存关系、T5与T8之间的依存关系、T6与T9之间的依存关系。

在图3C所示的例子中，由于T2与T5、以及T5与T8依存，所以在图4A所示的瓦片边界独立信息140中，将从垂直依存信息143的开头起第2比特及第5比特设定为“0”。另外，在全部的瓦片间是独立的情况下，将开头的1比特的全体依存信息141设定为“1”，将水平依存信息142及垂直依存信息143省略。

图4B是表示瓦片边界独立信息的另一例的图。图4B所示的瓦片边界独立信息145包括表示瓦片间的依存关系的2比特的全体依存信息146、表示水平方向的瓦片间的依存关系的多个比特（（列数－1）×行数）的水平依存信息142（在图4B中被省略）、和表示垂直方向的瓦片间的依存关系的多个比特（列数×（行数－1））的垂直依存信息143。这里，开头的2比特的全体依存信息146是在图3A及图3B中使用的瓦片边界独立信息本身。即，全体依存信息146的第1比特表示水平方向的瓦片间的依存关系，第2比特表示垂直方向的瓦片间的依存关系。另外，水平依存信息142及垂直依存信息143与在图4A中说明的信息相同。在图3C的例子中，在水平方向的瓦片间，瓦片独立。因而，全体依存信息146是“0b10”。此外，在水平方向的瓦片间，瓦片独立，所以水平依存信息142被省略。即，在图4B所示的瓦片边界独立信息145中，在水平方向的全部的瓦片间的依存关系是独立的情况下，将水平依存信息142省略。此外，在垂直方向的全部的瓦片间的依存关系是独立的情况下，将垂直依存信息143省略。由此，能够削减瓦片边界独立信息145的比特数。

这里，将图片分割的好处之一是能够进行并行处理。例如，在图3A～图3C中，图片被分割为9个瓦片，如果全部的瓦片独立，则图像编码装置及图像解码装置能够将9个瓦片并行编码或解码。超过高清的分辨率的称作超高清（Super Hi－Vision）及UHDTV（Ultra High Definition Television）的高分辨率的图像的编码及解码处理的运算负荷较高，难以进行实时处理。所以，在将高分辨率的图像编码及解码时，并行处理的需要特别高。另一方面，在编码时，如果瓦片间的依存关系被断绝，则预测精度相应地下降。由此，编码效率下降。因而，将瓦片间的依存关系断绝到所需以上的程度从编码效率这一点上是不希望的。

例如，假设图像编码装置及图像解码装置能够用到3个处理器，能够进行3个并行的处理。在该状况下，在如图3A～图3C所示那样将瓦片分割为9份的情况下，独立的瓦片群（将包括1个以上的瓦片的组称作瓦片群）只要是相当于能够并行处理的处理器的数量的3就足够。将图片分割以使独立的瓦片群变得比3个多，带来使编码效率下降到所需以上的程度的情况。即，在按照每个图片设定瓦片间的依存关系（使瓦片间依存还是独立）的情况下，即使是图像编码装置或图像解码装置仅能够进行3个并行的处理的情况，在图片内的全部的瓦片间也将依存关系断绝。由此，导致编码效率的下降。

另一方面，根据本实施方式，能够将瓦片间的依存关系按照每个边界设定。由此，例如能够匹配于图像编码装置或图像解码装置能够并行处理的并行数而生成独立的瓦片群。由此，有关本实施方式的图像编码装置100能够抑制编码效率的下降并进行任意的并行数的并行处理。这样，有关本实施方式的图像编码装置100能够提高编码效率。

如以上这样，在有关本实施方式的图像编码装置100中，图片分割控制部112将图片分割为多个瓦片。编码部115通过将多个瓦片分别编码，生成分别对应于多个瓦片的多个编码数据133。复用部114生成包含多个编码数据133的比特流。

进而，图片分割控制部112将多个瓦片的瓦片间的边界分别分类为第1边界（依存）和第2边界（独立）。编码部115对于多个瓦片，分别参照与该瓦片相邻接的已编码的瓦片中的、跨越第1边界的瓦片的编码信息，并且不参照跨越第2边界的瓦片的编码信息，将该瓦片编码。此外，复用部114生成包含表示多个瓦片的瓦片间的边界分别是第1边界还是第2边界的瓦片边界独立信息的比特流134。

由此，按照瓦片间的每个边界设定瓦片的依存关系。由此，与例如以图片单位设定瓦片的依存关系的情况相比，能够改善编码效率。

以下，对有关本实施方式的图像解码装置进行说明。

图5是使用有关本实施方式的图像解码方法的图像解码装置200的框图。

图5所示的图像解码装置200通过将比特流234解码而生成解码图像数据226。该图像解码装置200具备解码部215、解析部201和图片分割控制部212。此外，解码部215具备逆量化部204、逆正交变换部205、加法器206、块存储器207、帧存储器208、帧内预测部209、帧间预测部210、图片类型决定部211和可变长解码部213。

这里，比特流234对应于由上述图像编码装置100生成的比特流134。

解析部201通过将比特流234解析，取得编码数据233、和在比特流234的序列参数集或图片参数集中包含的图片分割信息235。图片分割信息235对应于上述图片分割信息135，表示图片的分割模式及瓦片的依存关系。

图片分割控制部212基于由图片分割信息235表示的图片的分割模式及瓦片间的依存关系，生成用来控制帧内预测部209、帧间预测部210及可变长解码部213的分割控制信号232。

解码部215通过将编码数据233解码，生成解码图像数据226。

可变长解码部213通过将编码数据233可变长解码，生成量化系数223。

逆量化部204通过将量化系数223逆量化，生成变换系数224。逆正交变换部205通过将变换系数224从频率域向图像域变换，生成预测误差数据225。加法器206通过将预测图像数据231与预测误差数据225相加，生成解码图像数据226。块存储器207将解码图像数据226以块单位作为解码图像数据227保存。帧存储器208将解码图像数据226以帧单位作为解码图像数据228保存。

帧内预测部209通过使用保存在块存储器207中的块单位的解码图像数据227进行帧内预测，生成解码对象块的预测图像数据229。此外，帧内预测部209基于从图片分割控制部212送来的分割控制信号232，检测瓦片间的依存关系。并且，帧内预测部209不使用在断绝了依存关系的瓦片中包含的块的像素信息而进行帧内预测。

帧间预测部210通过使用保存在帧存储器208中的帧单位的解码图像数据228进行帧间预测，生成解码对象块的预测图像数据230。此外，帧间预测部210基于从图片分割控制部212送来的分割控制信号232，检测瓦片间的依存关系。并且，帧间预测部210不使用在断绝了依存关系的瓦片中包含的块的运动矢量信息而进行运动矢量预测。

通过以上的结构，有关本实施方式的图像解码装置200能够将由上述图像编码装置100生成的比特流解码。

（实施方式2）

在本实施方式中，对上述有关实施方式1的图像编码装置100的变形例进行说明。另外，以下主要说明与实施方式1的不同点，重复的说明省略。

图6是表示使用有关本实施方式的图像编码方法的图像编码装置的结构的框图。另外，对于与图1同样的要素赋予相同的标号。

图6所示的图像编码装置100A除了图1所示的图像编码装置100的结构以外，还具备输入图像控制部150。此外，图片分割控制部112A的功能与图片分割控制部112不同。

具体而言，图片分割控制部112A是分割部的一例，除了如在实施方式1中说明那样将图片分割为瓦片的功能以外，还决定将瓦片编码及解码处理的顺序，生成包含表示所决定的顺序的瓦片处理顺序信息的图片分割信息135A。此外，图片分割控制部112A将包含瓦片处理顺序信息的图片分割信息135A作为序列参数集（SPS）或图片参数集（PPS）的一部分向复用部114发送。

此外，图片分割控制部112A基于图片的分割模式、瓦片间的依存关系及编码处理的顺序，生成用来控制帧内预测部109、帧间预测部110、可变长编码部113、帧存储器108及输入图像控制部150的分割控制信号132A。另外，基于图片分割信息135A的帧内预测部109、帧间预测部110及可变长编码部113的动作与实施方式1是同样的。

输入图像控制部150将输入图像信号120以块单位排序为规定的顺序，将排序后的图像信号160向编码部输入。在图片被分割为瓦片的情况下，输入图像控制部150按照由从图片分割控制部112发送的分割控制信号132A表示的编码处理的顺序决定块的顺序。

帧存储器108基于分割控制信号132A识别瓦片被处理的顺序，将解码图像数据128保存到适当的存储器区域中。

接着，对表示将瓦片处理（扫描）的顺序的瓦片处理顺序信息进行说明。通过使用瓦片处理顺序信息，图像编码装置及图像解码装置确定瓦片的扫描方向、列或行的扫描的顺序，能够唯一地确定图片内的瓦片的编码或解码处理的顺序。

图7A～图7D是表示在被分割为9个瓦片的图片中将瓦片处理（扫描）的顺序的图。另外，将瓦片以T1～T9的顺序处理。

图7A表示光栅扫描的情况。即，选择上方的行（row），在所选择的行中，从左方的瓦片起在水平方向（右方向）上依次选择瓦片。如果选择了一个行的全部的瓦片，则选择一个下方的行，同样，在所选择的行中从左的瓦片向右方向依次选择瓦片。

在图7B中，选择左方的列，在所选择的列（column）中，从上方的瓦片起在垂直方向（下方向）上依次选择瓦片。如果选择了一个列的全部的瓦片，则选择一个左方的列，同样，在所选择的列中，从上方的瓦片向下方向依次选择瓦片。即，将瓦片在垂直方向上扫描。

这样，扫描方向被大致分为水平方向和垂直方向。接着，对行的扫描的顺序进行说明。在图7A中，将瓦片在水平方向上扫描，将行从上向下（以第1行、第2行、第3行的顺序）扫描。相对于此，在图7C中，将瓦片在水平方向上扫描与图7A是相同的，但将行以中央、上、下（第2行、第1行、第3行）的顺序扫描。另外，虽然没有图示，但也可以将行以中央、下、上（第2行、第3行、第1行）、或从下向上（第3行、第2行、第1行）的顺序扫描。

此外，对于行的扫描的顺序预先分配了规定的ID，图像编码装置和图像解码装置共享该信息。例如，对于图7A的顺序，作为行扫描ID而分配“1”，对于图7C的扫描顺序，作为行扫描ID而分配“2”。并且，将该行扫描ID从图像符号装置向图像解码装置发送。由此，图像解码装置能够使用行扫描ID确定行的扫描顺序。

关于列的扫描的顺序也与行的扫描的顺序是同样的。在图7B中，将瓦片在垂直方向上扫描，将列从左向右（以第1列、第2列、第3列的顺序）扫描。相对于此，在图7D中，将瓦片在垂直方向上扫描与图7B是相同的，但将列以中央、左、右（第2列、第1列、第3列）的顺序扫描。另外，虽然没有图示，但也可以将列以中央、右、左（第2列、第3列、第1列）、或从右向左（第3列、第2列、第1列）的顺序扫描。对于列的扫描的顺序也预先分配了规定的ID，图像编码装置和图像解码装置共享该信息。

瓦片处理顺序信息包括瓦片的扫描方向（水平方向或垂直方向）、列或行的扫描ID。通过使用该瓦片处理顺序信息，图像解码装置能够在图片内唯一地确定瓦片的解码处理的顺序。另外，在图7A～图7D中，表示了将图片分割为9个瓦片的例子，但瓦片的分割的方式（列数及行数）也可以是除此以外的情况。

这样，有关本实施方式的图像编码装置100A能够变更图片内的瓦片的处理的顺序。通过这样控制瓦片的处理的顺序，能够根据通信状况及应用而仅发送开头的瓦片群。例如，在电视会议等中，能够将拍摄有人物的中央的列的瓦片群最先编码。

如以上这样，在有关本实施方式的图像编码装置100A中，图片分割控制部112A决定多个瓦片的编码顺序。编码部115将多个瓦片以由图片分割控制部112A决定的编码顺序编码。复用部114生成包含表示所决定的编码顺序的瓦片处理顺序信息的比特流134。

由此，能够任意地设定图像解码装置中的瓦片的解码处理顺序。由此，例如能够将图片中包含的多个区域的图像中的、优先级较高的区域的图像在图像解码装置先解码。

以下，对有关本实施方式的图像解码装置进行说明。

图8是表示使用有关本实施方式的图像解码方法的图像解码装置的结构的框图。另外，对于与图5同样的要素赋予相同的标号。

这里，比特流234对应于由上述图像编码装置100A生成的比特流134。

图8所示的图像解码装置200A除了图5所示的图像解码装置200的结构以外，还具备输出图像控制部250。此外，解析部201A及图片分割控制部212A的功能与解析部201及图片分割控制部212不同。

具体而言，解析部201A通过将比特流234解析，取得编码数据233和图片分割信息235A。图片分割信息235A对应于上述图片分割信息135A，包括表示将瓦片解码的顺序的瓦片处理顺序信息。

图片分割控制部212A基于由图片分割信息235A表示的图片的分割模式、瓦片间的依存关系及解码处理的顺序，生成用来控制帧内预测部209、帧间预测部210、可变长解码部213、帧存储器208及输出图像控制部250的分割控制信号232A。另外，基于图片分割信息135A的帧内预测部209、帧间预测部210及可变长解码部213的动作与实施方式1是同样的。

输出图像控制部250将解码图像数据226以块单位排序为规定的顺序，将排列后的图像信号260向外部输出。在图片被分割为瓦片的情况下，输出图像控制部250按照由从图片分割控制部212发送的分割控制信号232A表示的解码处理的顺序，决定块的顺序。

帧存储器208基于分割控制信号232A识别将瓦片处理的顺序，将解码图像数据228保存到适当的存储器区域中。

通过以上的结构，有关本实施方式的图像解码装置200A能够将由上述图像编码装置100A生成的比特流解码。

（实施方式3）

在本实施方式中，对上述有关实施方式1的图像编码装置100的变形例进行说明。另外，以下主要说明与实施方式1的不同点，重复的说明省略。

如在实施方式1中叙述那样，超过高清的分辨率的称作超高清及UHDTV的高分辨率的图像的解码处理的运算负荷较高，难以进行实时处理。所以，在将高分辨率的图像解码时，图像解码装置需要将比特流并行处理。通过将瓦片间的依存关系断绝，图像解码装置能够与其他瓦片独立地将瓦片解码。

但是，图像解码装置在解码时，如果不能在比特流内检测到瓦片的开头位置（entry point：入口点），就不能实现并行处理。已知有解决该问题的方法（例如，参照非专利文献2）。根据该方法，图像编码装置将瓦片标记(marker)插入到比特流内的瓦片的开头位置。图像解码装置通过将比特流扫描而检测瓦片标记，能够知道比特流内的瓦片的开头位置（entry point）。

但是，在比特流内的全部的瓦片的开头位置（瓦片边界）插入瓦片标记导致编码效率的下降。在瓦片边界，可变长编码部输出的比特流没有被进行字节对齐(byte alignment)处理。因而，为了在瓦片的开头位置插入瓦片标记，必须将由可变长编码部进行的熵编码（例如，CABAC）处理复位。并且，将熵处理复位带来编码效率的下降。

相对于此，有关本实施方式的图像编码装置判断是否对比特流的各瓦片边界插入瓦片标记，仅在一部分的瓦片边界插入瓦片标记。由此，该图像编码装置能够减少熵处理的复位次数，所以能够提高编码效率。

图9是表示使用有关本实施方式的图像编码方法的图像编码装置100B的结构的框图。另外，对于与图1同样的要素赋予相同的标号。

图9所示的图像编码装置100B除了图1所示的图像编码装置100的结构以外，还具备标记插入部151。此外，可变长编码部113B及复用部114B的功能与可变长编码部113及复用部114不同。

标记插入部151基于从图片分割控制部112发送的分割控制信号132，在多个编码数据133的瓦片边界插入用来识别瓦片边界的瓦片标记161。具体而言，标记插入部151通过将独立的瓦片边界向可变长编码部113B通知，控制可变长编码部113B，以在独立的瓦片边界将熵编码（CABAC）处理复位。此外，标记插入部151在独立的瓦片边界，向复用部114B发送瓦片标记161。

可变长编码部113B按照来自标记插入部151的通知，在被指示的瓦片边界将熵编码（CABAC）处理复位。

复用部114B通过将由标记插入部151发送的瓦片标记161插入到多个编码数据133的指定的瓦片边界中，生成比特流134。

图10是由有关本实施方式的标记插入部151进行的标记插入处理的流程图。

首先，标记插入部151从图片分割控制部112接收分割控制信号132（S121）。该分割控制信号132表示有关瓦片的分割的信息。另外，标记插入部151也可以代替分割控制信号132而接收图片分割信息135。另外，不需要将有关图片内的全部的瓦片的分割的信息一次接收，也可以在由图像编码装置100B处理某个瓦片的定时，仅接收有关该瓦片的信息。

接着，标记插入部151取得分割控制信号132中包含的、当前正处理的瓦片与接着要处理的瓦片的边界的依存关系（S122），判断当前正处理的瓦片与接着要处理的瓦片的瓦片边界的依存关系（S123）。

在瓦片依存的情况下（S123中“是”），标记插入部151结束处理。另一方面，在瓦片不依存、即独立的情况下（S123中“否”），标记插入部151控制可变长编码部113B，以将熵编码（CABAC）处理复位（S124）。由此，可变长编码部113B在当前正处理的瓦片的最后将熵编码（CABAC）处理复位，并进行字节对齐。并且，可变长编码部113B将当前正处理的瓦片的编码数据133向复用部114B发送。

接着，标记插入部151向复用部114B发送瓦片标记161。复用部114B在紧接着当前正处理的瓦片的比特流之后、即此后要处理的瓦片的比特流的开头，插入瓦片标记161（S125）。

如以上那样，标记插入部151根据瓦片边界的依存关系，切换是否向比特流的瓦片边界插入瓦片标记161。

另外，在由在步骤S121中接收到的分割控制信号132表示图片内的全部的瓦片边界依存的情况下，标记插入部151也可以对该图片将步骤S122～S125的处理省略。

这样，有关本实施方式的图像编码装置100B通过控制向比特流的各瓦片边界的瓦片标记的插入，能够减少熵编码（CABAC）处理的复位次数。由此，图像编码装置100B能够提高编码效率。

如以上这样，在有关本实施方式的图像编码装置100B中，标记插入部151仅在多个编码数据133的数据边界中的、与夹着该数据边界的两个编码数据对应的两个瓦片间的边界是第2边界（独立）的数据边界中，插入用来确定该数据边界。

由此，该图像编码装置100B与在全部的瓦片边界插入标记的情况相比能够改善编码效率。

以下，对有关本实施方式的图像解码装置进行说明。

图11是表示使用有关本实施方式的图像解码方法的图像解码装置的结构的框图。另外，对于与图5同样的要素赋予相同的标号。

这里，比特流234对应于由上述图像编码装置100B生成的比特流134。

图11所示的图像解码装置200A中，解析部201B的功能与解析部201不同。

具体而言，解析部201B通过将比特流234解析，取得编码数据233和图片分割信息235。此外，解析部201B检测插入在瓦片边界的瓦片标记161，将检测出的位置识别为瓦片边界。此外，解析部201B将检测出的瓦片边界向可变长解码部213通知。

此外，在解码部215进行并行处理的情况下，解析部201B根据瓦片边界，将与各瓦片对应的编码数据233从比特流234提取，向解码部215发送。

通过以上的结构，有关本实施方式的图像解码装置200B能够将由上述图像编码装置100B生成的比特流解码。

（实施方式4）

在本实施方式中，对在瓦片边界进行字节对齐处理的图像编码装置及图像解码装置进行说明。

图12是表示有关本实施方式的图像编码装置100C的结构的框图。另外，对于与图1同样的要素赋予相同的标号。

图12所示的图像编码装置100C相对于图1所示的图像编码装置100的结构，图片分割控制部112C及可变长编码部113C的功能与图片分割控制部112及可变长编码部113不同。

图片分割控制部112C是分割部的一例，将图片分割为多个瓦片。此外，在上述实施方式1中，图片分割控制部112按照每个瓦片边界切换瓦片的依存关系，但图片分割控制部112C处理为全部的瓦片独立。此外，图片分割控制部112C生成表示图片的分割模式的图片分割信息135C。这里，表示图片的分割模式的信息例如包括上述列数、行数、列宽均等标志、行高度均等标志、列的宽度及行的高度。

另外，以下说明图片分割控制部112C将全部的瓦片处理为独立的例子，但与上述实施方式1同样，图片分割控制部112C按照每个瓦片边界切换瓦片的依存关系。

并且，图片分割控制部112C将所生成的图片分割信息135C作为序列参数集或图片参数集的一部分向复用部114发送。

此外，图片分割控制部112C基于图片的分割模式，生成用来控制帧内预测部109、帧间预测部110及可变长编码部113C的分割控制信号132C。另外，基于图片分割信息135C的帧内预测部109及帧间预测部110的动作在实施方式1中与瓦片独立情况下的动作是同样的。

可变长编码部113C在瓦片边界进行将熵编码复位的处理和字节对齐处理。

以下，说明有关本实施方式的图像编码装置100C的动作的流程。

图13A是由有关本实施方式的图像编码装置100C进行的图像编码方法的流程图。

首先，图片分割控制部112C将图片分割为多个瓦片（S201）。此外，图片分割控制部112C生成表示图片的分割模式的图片分割信息135C。

接着，编码部115通过将多个瓦片分别编码，生成分别与多个瓦片对应的多个编码数据133（S202）。

接着，复用部114生成包括多个编码数据133及图片分割信息135C的比特流134（S203）。

图13B是由编码部115进行的编码处理（S202）的流程图。

首先，编码部115通过将作为多个瓦片之一的处理对象的瓦片编码，生成编码序列（S211）。另外，由编码部115进行的编码处理的具体的方法例如与上述实施方式1是同样的。此外，编码部115将处理对象的瓦片不参照在其他瓦片的编码中使用的编码信息而编码。

这里，该编码处理包括可变长编码部113C通过熵编码（算术编码）生成编码序列的处理。

此外，可变长编码部113C在处理对象的瓦片的编码处理结束后，将熵编码（算术编码）复位（S212）。这里，所谓复位，包括算术编码中的终止(terminate)处理（也称作清洗(flush)处理）。所谓终止处理，是使处理对象的瓦片的编码序列与其他瓦片的编码序列独立的处理。换言之，所谓终止处理，是使处理对象的瓦片的编码序列完结的处理。具体而言，通过终止处理，将处理中途的编码序列的全部以能够独立解码的状态输出。

接着，可变长编码部113C对处理对象的编码序列进行字节对齐处理（S213）。这里，所谓字节对齐处理，是通过在处理对象的编码序列之后追加预先设定的比特序列、生成字节单位的编码数据133的处理。换言之，所谓字节对齐处理，是调整处理对象的编码序列的比特数、以使编码数据133成为字节单位的处理。

图14是表示字节对齐处理的一例的图。如图14所示，可变长编码部113C通过在处理对象的编码序列281之后追加比特序列282，生成字节单位的编码数据133。例如，比特序列282是最初为“1”、然后接着“0”的比特序列。

另外，这里叙述了可变长编码部113C进行对齐处理以使编码数据133成为字节单位的例子，但该对齐处理只要是将编码数据133调整为预先设定的N（N是2以上的整数）比特的倍数的处理就可以。例如，可变长编码部113C也可以进行对齐处理编码数据133成为字(word)单位。

此外，这里叙述了在作为熵编码而进行算术编码（例如，CABAC）的情况下进行对齐处理的例子，但在进行算术编码以外的熵编码的情况下也可以同样进行对齐处理。

此外，图片分割控制部112C也可以生成包含表示编码数据133的开头位置的信息的图片分割信息135C。进而，表示该开头位置的信息也可以是用字节单位（或与对齐处理相同的单位）表示位置的信息。

通过以上，有关本实施方式的图像编码装置100C在瓦片边界进行字节对齐处理。由此，各瓦片的编码数据133成为字节单位。由此，图像解码装置中的编码数据的处置变得容易。此外，图像解码装置能够容易地确定瓦片的编码数据的开头位置。这样，该图像编码装置100C能够减轻图像解码装置的处理负荷。

此外，该图像编码装置100C在瓦片边界将熵编码复位。由此，图像解码装置能够将各瓦片的编码数据133独立地处置。

以下，对有关本实施方式的图像解码装置进行说明。

图15是表示使用有关本实施方式的图像解码方法的图像解码装置的结构的框图。另外，对于与图5同样的要素赋予相同的标号。

这里，比特流234对应于由上述图像编码装置100C生成的比特流134。

图15所示的图像解码装置200C相对于图5所示的图像解码装置200，解析部201C、图片分割控制部212C及可变长解码部213C的功能与解析部201、图片分割控制部212及可变长解码部213不同。

具体而言，解析部201C通过将比特流234解析，取得编码数据233和图片分割信息235C。图片分割信息235C对应于上述图片分割信息135C，表示图片的分割模式。

图片分割控制部212C基于由图片分割信息235C表示的图片的分割模式，生成用来控制帧内预测部209、帧间预测部210及可变长解码部213C的分割控制信号232C。另外，基于图片分割信息135C的帧内预测部209及帧间预测部210的动作在实施方式1中与瓦片独立情况下的动作是同样的。

可变长解码部213C将包含在编码数据233中、位于编码序列之后的预先设定的比特序列跳过(skip)。即，可变长解码部213C将在瓦片边界通过对齐处理而插入的比特序列跳过。

以下，说明有关本实施方式的图像解码装置200C的动作的流程。

图16A是由有关本实施方式的图像解码装置200C进行的图像解码方法的流程图。

首先，解析部201C取得通过将包含在比特流234中的多个瓦片分别编码而生成的多个编码数据233、和图片分割信息235C（S221）。

接着，解码部215通过将多个编码数据233分别解码，生成作为多个瓦片的图像数据的解码图像数据226（S222）。

图16B是由解码部215进行的解码处理（S222）的流程图。此外，图16B表示对于一个处理对象的编码数据233的解码处理。

首先，解码部215通过将在作为多个瓦片中之一的处理对象的编码数据233中包含的编码序列解码，生成处理对象的解码图像数据226（S231）。另外，由解码部215进行的解码处理的具体的方法例如与上述实施方式1是同样的。此外，解码部215将处理对象的瓦片不参照在其他瓦片的解码中使用的解码信息而解码。

这里，该解码处理包括可变长解码部213C通过熵解码（算术解码）生成编码序列（量化系数223）的处理。

此外，可变长解码部213C在处理对象的瓦片的解码处理结束后，将熵解码（算术解码）复位（S232）。这里，所谓复位，是算术解码中的终止处理（也称作清洗处理）。所谓终止处理，是将对于处理对象的编码序列的算术解码处理完结的处理。

接着，可变长解码部213C将包含在处理对象的编码数据233中、位于处理对象的编码序列之后的预先设定的比特序列跳过（S233）。该比特序列对应于在由图像编码装置100C进行的字节对齐处理中插入的比特序列282。

将以上的处理按照与各瓦片对应的每个编码数据233进行。即，可变长解码部213C通过将在作为多个编码数据233之一的第1编码数据中包含的第1编码序列解码，生成第1瓦片的图像数据，通过将包含在第1编码数据中、位于第1编码序列之后的预先设定的比特序列跳过，将在位于第1编码数据之后的第2编码数据中包含的第2编码序列解码，生成第2瓦片的图像数据。

通过上述处理，可变长解码部213C能够将在由图像编码装置100C进行的字节对齐处理中插入在位边界中的比特序列忽视而仅将需要的数据解码。换言之，可变长解码部213C能够将上述比特序列跳过而从下个编码数据233的开头进行解码处理。

通过以上的结构，有关本实施方式的图像解码装置200C能够将通过上述图像编码装置100C生成的比特流解码。

另外，在上述说明中，叙述了图像解码装置200C将与各瓦片对应的编码数据233以时间序列解码的例子，但图像解码装置200C也可以将多个编码数据233并行地解码。在此情况下，图像解码装置200C通过参照图片分割信息235C中包含的表示编码数据233的开头位置的信息，掌握各编码数据233的开头位置。此外，也可以是将表示该开头位置的信息用字节单位表示位置的信息。

以上，对有关本发明的实施方式的图像编码装置及图像解码装置进行了说明，但本发明并不限定于该实施方式。

此外，有关上述实施方式的图像编码装置及图像解码装置中包含的各处理部典型地作为集成电路即LSI实现。它们既可以单独地1芯片化，也可以包括一部分或全部而1芯片化。

此外，集成电路化并不限定于LSI，也可以通过专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA（Field Programmable GateArray：现场可编程门阵列）、或能够再构成LSI内部的电路单元的连接及设定的可重构处理器。

另外，在上述各实施方式中，各构成要素也可以由专用的硬件构成、或者通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序并执行来实现。

进而，本发明也可以是上述软件程序，也可以是记录有上述程序的非暂时性的计算机可读取的记录介质。此外，上述程序当然能够经由因特网等的传送媒体流通。

此外，在上述中使用的数字全部是为了具体地说明本发明而例示的，本发明并不限制于例示的数字。

此外，框图中的功能块的分割是一例，也可以将多个功能块作为一个功能块实现，或将一个功能块分割为多个，或将一部分的功能转移到其他功能块中。此外，也可以将具有类似的功能的多个功能块的功能用单一的硬件或软件并行或时间划分处理。

此外，将上述图像编码方法或图像解码方法中包含的步骤执行的顺序是为了具体地说明本发明而用来例示的，也可以是上述以外的顺序。此外，也可以将上述步骤的一部分与其他步骤同时（并行）执行。

（实施方式5）

通过将用来实现上述各实施方式所示的动态图像编码方法（图像编码方法）或动态图像解码方法（图像解码方法）的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。

进而，这里说明在上述各实施方式中示出的动态图像编码方法（图像编码方法）及动态图像解码方法（图像解码方法）的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。

图18是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。

该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex107～ex110连接着计算机ex111、PDA（PersonalDigital Assistant）ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。

但是，内容供给系统ex100并不限定于图18那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex107～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。

照相机ex113是能够进行数字摄像机等的动态图像摄影的设备，照相机ex116是能够进行数字照相机等的静止图像摄影、动态图像摄影的设备。此外，便携电话ex114是GSM（Global System for Mobile Communications）方式、CDMA（Code Division Multiple Access）方式、W－CDMA（Wideband－Code Division Multiple Access）方式、或LTE（Long Term Evolution）方式、HSPA（High Speed Packet Access）的便携电话机、或PHS（PersonalHandyphone System）等，是哪种都可以。

在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场分发等。在现场分发中，对用户使用照相机ex113摄影的内容（例如音乐会现场的影像等）如在上述各实施方式中说明那样进行编码处理（即，作为本发明的一个方式的图像编码装置发挥作用），向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现（即，作为本发明的一个方式的图像解码装置发挥作用）。

另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或动态图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。

此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将动态图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质（CD－ROM、软盘、硬盘等）中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的动态图像数据发送。此时的动态图像数据是由便携电话ex114具有的LSIex500编码处理的数据。

此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。

如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。

另外，并不限定于内容供给系统ex100的例子，如图19所示，在数字广播用系统ex200中也能够装入上述实施方式的至少动态图像编码装置（图像编码装置）或动态图像解码装置（图像解码装置）的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的动态图像编码方法编码后的数据（即，通过本发明的一个方式的图像编码装置编码后的数据）。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机（接收机）ex300或机顶盒（STB）ex217等的装置将接收到的复用数据解码并将其再现（即，作为本发明的一个方式的图像解码装置发挥作用）。

此外，可以在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的动态图像解码装置或动态图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装动态图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入动态图像解码装置。

图20是表示使用在上述各实施方式中说明的动态图像解码方法及动态图像编码方法的电视机（接收机）ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。

此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305（即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用）的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。

首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。

此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。

此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。

作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图21中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。

以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用接近场光进行高密度的记录的结构。

在图22中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽（沟），在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。

以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。

此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现动态图像。另外，车载导航仪ex211的结构可以考虑例如在图20所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。

图23A是表示使用在上述实施方式中说明的动态图像解码方法和动态图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。

进而，使用图23B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD（Liquid Crystal Display：液晶显示器）控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。

电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作的状态。

便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。

进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex350。

在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的动态图像编码方法进行压缩编码（即，作为本发明的一个方式的图像编码装置发挥作用），将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。

复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部（调制/解调电路部）ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。

在数据通信模式时接收到链接到主页等的动态图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的动态图像编码方法相对应的动态图像解码方法进行解码，由此对影像信号进行解码（即，作为本发明的一个方式的图像解码装置发挥作用），经由LCD控制部ex359从显示部ex358显示例如链接到主页的动态图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。

此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。

这样，将在上述各实施方式中表示的动态图像编码方法或动态图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。

此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。

（实施方式6）

也可以通过将在上述各实施方式中示出的动态图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的标准的动态图像编码方法或装置根据需要而适当切换，来生成影像数据。

这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。

为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。

图24是表示复用数据的结构的图。如图24所示，复用数据通过将视频流、音频流、演示图形流（PG）、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流（IG）表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的动态图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的动态图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。

包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。

图25是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。

图26更详细地表示在PES包序列中怎样保存视频流。图26的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图26的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS（PresentationTime-Stamp）及作为图片的解码时刻的DTS（Decoding Time-Stamp）。

图27表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS（Arrival_Time_Stamp）等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图27下段所示排列，从复用数据的开头起递增的号码被称作SPN（源包号）。

此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT（Program Association Table）、PMT（Program Map Table）、PCR（Program Clock Reference）等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC（Arrival Time Clock）与作为PTS及DTS的时间轴的STC（System TimeClock）的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。

图28是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息（帧速率、纵横比等）的流描述符构成。流描述符存在复用数据中存在的流的数量。

在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。

复用数据信息文件如图29所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。

复用数据信息如图29所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。

流属性信息如图30所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。

在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的动态图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。

此外，在图31中表示本实施方式的动态图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的动态图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的动态图像解码方法进行解码。

这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的动态图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的动态图像编码方法或装置、或者动态图像解码方法或装置用在上述任何设备、系统中。

（实施方式7）

在上述各实施方式中示出的动态图像编码方法及装置、动态图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图32中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。

例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。

另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。

此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex510的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。

另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。

此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA（Field ProgrammableGate Array）、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。

进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。

（实施方式8）

在将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。

为了解决该问题，电视机ex300、LSIex500等的动态图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图33表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。

更具体地讲，驱动频率切换部ex803由图32的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图32的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式6中记载的识别信息。关于识别信息，并不限定于在实施方式6中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图35所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。

图34表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。

进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。

此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。

进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定得短。

这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。

（实施方式9）

在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。

为了解决该问题，采用将用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部一部分共用的结构。图36A的ex900表示该结构例。例如，在上述各实施方式中示出的动态图像解码方法和依据MPEG4－AVC标准的动态图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC标准的解码处理部ex902，关于不对应于MPEG4－AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。特别是，本发明的一个方式在熵解码方面具有特征，因此可以考虑例如对于熵解码使用专用的解码处理部ex901，对于除此之外的逆量化、解块过滤、运动补偿中的某一个或者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部，关于MPEG4－AVC标准所特有的处理内容，使用专用的解码处理部。

此外，用图36B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的动态图像解码方法和其他的以往标准的动态图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。

这样，对于在本发明的一个方式的动态图像解码方法和以往的标准的动态图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。

以上，基于实施方式对有关多个方式的图像编码装置及图像解码装置进行了说明，但本发明并不限定于该实施方式。只要不脱离本发明的主旨，对本实施方式实施了本领域的技术人员想到的各种变形后的形态、或将不同的实施方式的构成要素组合而构建的形态也可以包含在一个或多个方式的范围内。

产业上的可利用性

本发明能够应用到图像编码方法、图像解码方法、图像编码装置及图像解码装置中。此外，本发明能够在具备图像编码装置的电视机、数字录像机、车载导航仪、便携电话、数字照相机及数字摄像机等的高分辨率的信息显示设备或摄像设备中使用。

标号说明

100、100A、100B、100C  图像编码装置

101  减法器

102  正交变换部

103  量化部

104、204  逆量化部

105、205  逆正交变换部

106、206  加法器

107、207  块存储器

108、208  帧存储器

109、209  帧内预测部

110、210  帧间预测部

111、211  图片类型决定部

112、112A、112C、212、212A、212C  图片分割控制部

113、113B、113C  可变长编码部

114、114B  复用部

115  编码部

120  输入图像信号

121、125、225  预测误差数据

122、124、224  变换系数

123、223  量化系数

126、127、128、226、227、228  解码图像数据

129、130、131、229、230、231  预测图像数据

132、132A、132C、232、232A、232C  分割控制信号

133、233  编码数据

134、234  比特流

135、135A、135C、235、235A、235C  图片分割信息

140、145  瓦片边界独立信息

141、146  全体依存信息

142  水平依存信息

143  垂直依存信息

150  输入图像控制部

151  标记插入部

160、260  图像信号

161  瓦片标记

200、200A、200B、200C  图像解码装置

201、201A、201B、201C  解析部

213、213C  可变长解码部

215  解码部

250  输出图像控制部

281  编码序列

282  比特序列

Claims (13)

1.一种图像编码方法，其特征在于，

包括：

分割步骤，将图片分割为多个瓦片；

编码步骤，通过将上述多个瓦片分别编码，生成分别与上述多个瓦片中的各个瓦片对应的多个编码数据；以及

比特流生成步骤，生成包含上述多个编码数据的比特流；

上述编码步骤包括：

编码序列生成步骤，通过将作为上述多个瓦片之一的第1瓦片不参照在其他瓦片的编码中已使用的编码信息而编码，生成第1编码序列；以及

对齐步骤，通过在上述第1编码序列之后追加比特序列，使作为上述多个编码数据之一的第1编码数据的比特长度成为预先设定的N比特的倍数，其中N是2以上的整数。

2.如权利要求1所述的图像编码方法，其特征在于，

上述编码序列生成步骤包括通过算术编码生成上述第1编码序列的算术编码步骤；

在上述算术编码步骤中，进行使上述第1编码序列完结的终止处理。

3.如权利要求1或2所述的图像编码方法，其特征在于，

在上述分割步骤中，还将上述多个瓦片的瓦片间的边界分别分类为第1边界和第2边界；

在上述编码步骤中，对于上述多个瓦片中的各个瓦片，分别参照与该瓦片邻接的已编码的瓦片中的、跨越上述第1边界的瓦片的编码信息，并且不参照与该瓦片邻接的已编码的瓦片中的、跨越上述第2边界的瓦片的编码信息，将该瓦片编码；

在上述比特流生成步骤中，生成包含表示上述多个瓦片的瓦片间的边界分别是第1边界还是第2边界的瓦片边界独立信息的上述比特流。

4.如权利要求3所述的图像编码方法，其特征在于，

上述瓦片边界独立信息包含在包含于上述比特流中的图片参数集或序列参数集中。

5.如权利要求1～4中任一项所述的图像编码方法，其特征在于，

在上述分割步骤中，还决定上述多个瓦片的编码顺序；

在上述编码步骤中，将上述多个瓦片以所决定的编码顺序进行编码；

在上述比特流生成步骤中，生成包含表示上述编码顺序的瓦片处理顺序信息的上述比特流。

6.如权利要求5所述的图像编码方法，其特征在于，

上述瓦片处理顺序信息包含在包含于上述比特流中的图片参数集或序列参数集中。

7.如权利要求3或4所述的图像编码方法，其特征在于，

在上述比特流生成步骤中，仅对上述多个编码数据的数据边界中的、与夹着该数据边界的两个编码数据相对应的两个瓦片间的边界为第2边界的数据边界，插入用来确定该数据边界的标记。

8.一种图像解码方法，其特征在于，

包括：

取得步骤，取得包含在比特流中的、通过将分割图片而得到的多个瓦片中的各个瓦片编码而生成的多个编码数据；以及

解码步骤，通过将上述多个编码数据分别解码，生成上述多个瓦片的图像数据；

上述解码步骤包括：

第1图像数据生成步骤，通过将在作为上述多个编码数据之一的第1编码数据中包含的第1编码序列不参照在其他瓦片的解码中已使用的解码信息而解码，生成作为上述多个瓦片之一的第1瓦片的图像数据；以及

跳过步骤，将包含在上述第1编码数据中的、位于上述第1编码序列之后的预先设定的比特序列跳过。

9.如权利要求8所述的图像解码方法，其特征在于，

上述第1图像数据生成步骤包括将上述第1编码序列算术解码的算术解码步骤；

上述算术解码步骤包括在上述跳过步骤之前进行将对于上述第1编码序列的算术解码处理完结的终止处理的终止处理步骤。

10.如权利要求8或9所述的图像解码方法，其特征在于，

上述解码步骤还包括：

第2图像数据生成步骤，通过将包含在上述多个编码数据中的、包含在位于上述第1编码数据之后的第2编码数据中的第2编码序列解码，生成作为上述多个瓦片之一的第2瓦片图像数据。

11.一种图像编码装置，其特征在于，

具备：

分割部，将图片分割为多个瓦片；

编码部，通过将上述多个瓦片分别编码，生成分别与上述多个瓦片中的各个瓦片对应的多个编码数据；以及

比特流生成部，生成包含上述多个编码数据的比特流；

上述编码部，

通过将作为上述多个瓦片之一的第1瓦片不参照在其他瓦片的编码中已使用的编码信息而编码，生成第1编码序列；以及

通过在上述第1编码序列之后追加比特序列，使作为上述多个编码数据之一的第1编码数据的比特长度成为预先设定的N比特的倍数，其中N是2以上的整数。

12.一种图像解码装置，其特征在于，

具备：

解析部，取得包含在比特流中的、通过将分割图片而得到的多个瓦片中的各个瓦片编码而生成的多个编码数据；以及

解码部，通过将上述多个编码数据分别解码，生成上述多个瓦片的图像数据；

上述解码部，

通过将在作为上述多个编码数据之一的第1编码数据中包含的第1编码序列不参照在其他瓦片的解码中已使用的解码信息而解码，生成作为上述多个瓦片之一的第1瓦片的图像数据；以及

将包含在上述第1编码数据中的、位于上述第1编码序列之后的预先设定的比特序列跳过。

13.一种图像编码解码装置，其特征在于，具备：

权利要求11所述的图像编码装置；以及

权利要求12所述的图像解码装置。

Images