CN104584554A - 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编解码装置 - Google Patents

Abstract

一种图像解码方法，对包含编码信号的比特流进行解码，所述编码信号是将图像分割为多个切片而编码后的信号，该多个切片的各个切片包含多个编码单位，所述图像解码方法包括将上述编码信号解码的解码步骤，上述多个切片分别是通常切片和依存切片中的某个，所述通常切片是该切片的切片头中包含的信息被用在另外的切片中的切片，所述依存切片是在解码中使用包含在另外的切片的切片头中的信息的切片，上述图像包括多个行，该多个行的各个行包含多个编码单位，在通常切片从第1行的开头以外开始的情况下，该第1行的接着的第2行不从依存切片开始。

Description

图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编解码装置

技术领域

本发明涉及图像编码方法及图像解码方法。

背景技术

目前的标准影像编码算法大部分是基于混合影像编码的。在混合影像编码方法中，为了达到希望的压缩增益，使用一些不同的可逆压缩方式和不可逆压缩方式。混合影像编码与ISO/IEC标准标准(MPEG－1、MPEG－2及MPEG－4等的MPEG－X标准标准)同样，是ITU－T标准标准(H.261及H.263等的H.26x标准标准)的基础。

最新的影像编码标准标准被称作H.264/MPEG－4Advanced Video Coding(AVC)。该标准由JVT(Joint CoVedeo Team)和ITU－T及ISO/IECMPEG小组的合作组进行了标准化。

此外，以高分辨率的影像编码的效率改善为目的，由JCT－VC(JointCollaborative Team on Video Coding)研究了称作HEVC(High－Efficiency Video Coding)的影像编码标准标准。

现有技术文献

非专利文献

非专利文献1：“Wavefront Parallel Processing for HEVC Encoding and Decoding”by C.Gordonetal.，no.JCTVC－F274－v2，from the Meeting in Torino，July 2011

非专利文献2：“Tiles”by A.Fuldsethetal.，no.JCTVC－F355－v1，from the Meeting in Torino，July2011

非专利文献3：JCTVC－J1003_d7，“High efficiency video coding(HEVC)text specification draft 8”of July 2012

发明内容

发明所要解决的问题

在这样的图像编码方法及图像解码方法中，希望在共同利用并行处理及依存切片(slice)的状况下能够提高效率性。

所以，本发明的目的是提供一种能够改善共同利用并行处理及依存切片时的效率性的图像编码方法或图像解码方法。

用于解决课题的手段

有关本发明的一方式的图像解码方法，对包含编码信号的比特流进行解码，所述编码信号是将图像分割为多个切片而编码后的信号，该多个切片的各个切片包含多个编码单位，所述图像解码方法包括将所述编码信号解码的解码步骤，所述多个切片分别是通常切片和依存切片中的某个，所述通常切片是该切片的切片头中包含的信息被用在另外的切片中的切片，所述依存切片是在解码中使用包含在另外的切片的切片头中的信息的切片，所述图像包括多个行，该多个行的各个行包含多个编码单位，在通常切片从第1行的开头以外开始的情况下，该第1行的接着的第2行不从依存切片开始。

另外，这些概括性或具体的方式也可以由系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的记录媒体实现，也可以通过系统、方法、集成电路、计算机程序及记录媒体的任意的组合来实现。

发明效果

本发明能够提供一种能够改善共同利用并行处理及依存切片时的效率性的图像编码方法或图像解码方法。

附图说明

图1是有关实施方式的图像编码装置的块图。

图2是有关实施方式的图像解码装置的块图。

图3A是用来说明有关实施方式的WPP的概略图。

图3B是用来说明有关实施方式的WPP内的依存切片的概略图。

图4A是用来说明不使用有关实施方式的WPP的情况下的依存切片的概略图。

图4B是用来说明使用有关实施方式的WPP的情况下的依存切片的概略图。

图5是表示有关实施方式的熵切片或依存切片的切片头的图。

图6是表示有关实施方式的使用WPP的情况下的不被许可的切片构造的例子的图。

图7是表示有关实施方式的、使用WPP的情况下的被许可的切片构造的例子的图。

图8是表示有关实施方式的、CABAC的初始化过程的概略图。

图9是有关实施方式的、与先行切片的特征对应的依存切片的CABAC初始化方法的决定处理的流程图。

图10是表示有关实施方式的切片构造的一例的图。

图11是表示有关实施方式的切片构造的一例的图。

图12是表示有关实施方式1的切片头的语法例的图。

图13是表示有关实施方式1的依存切片的CABAC初始化方法的决定处理的流程图。

图14是表示有关实施方式2的、被分割为切片的图片的一例的图。

图15是表示有关实施方式2的CABAC初始化方法的决定处理的流程图。

图16是表示有关实施方式2的、被分割为切片的图片的一例的图。

图17A是表示有关实施方式2的不被许可的切片构造的例子的图。

图17B是表示有关实施方式2的被许可的切片构造的例子的图。

图17C是表示有关实施方式2的被许可的切片构造的例子的图。

图17D是表示有关实施方式2的被许可的切片构造的例子的图。

图18是表示有关实施方式2的被分割为切片的图片的一例的图。

图19是表示有关实施方式3的被分割为切片的图片的一例的图。

图20是实现内容分发服务的内容供给系统的整体结构图。

图21是数字广播用系统的整体结构图。

图22是表示电视机的结构例的模块图。

图23是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。

图24是表示作为光盘的记录介质的构造例的图。

图25A是表示便携电话的一例的图。

图25B是表示便携电话的结构例的模块图。

图26是表示复用数据的结构的图。

图27是示意地表示各流在复用数据中怎样被复用的图。

图28是更详细地表示在PES包序列中视频流怎样被保存的图。

图29是表示复用数据的TS包和源包的构造的图。

图30是表示PMT的数据结构的图。

图31是表示复用数据信息的内部结构的图。

图32是表示流属性信息的内部结构的图。

图33是表示识别影像数据的步骤的图。

图34是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的模块图。

图35是表示切换驱动频率的结构的图。

图36是表示识别影像数据、切换驱动频率的步骤的图。

图37是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。

图38A是表示将信号处理部的模块共用的结构的一例的图。

图38B是表示将信号处理部的模块共用的结构的另一例的图。

具体实施方式

(作为本发明的基础的认识)

关于在“背景技术”栏中记载的图像编码方法及图像解码方法，本发明者发现会发生以下的问题。

首先，对HEVC的图像编码装置及图像解码装置进行说明。

向图像编码装置输入的影像信号包括多个分别被称作帧(图片)的图像。各帧包括被配置为二维阵列状的多个像素。在基于混合影像编码的上述全部的标准标准中，各个影像帧被分割为多个分别包含多个像素的块。该块的尺寸例如根据图像的内容而变更。此外，可以按照每个块而使用不同的编码方法。例如，在HEVC中，该块的最大尺寸是64×64像素。该最大尺寸被称作最大编码单位(LCU)。LCU归纳地可以分割为4个编码单位(CU)。

在H.264/MPEG－4AVC中，以宏块(通常16×16像素的块)单位进行编码。该宏块有时也被分割为子块。

典型地，在混合影像编码的编码步骤中，包括空间及/或时间预测。即，使用在空间上相邻的块或在时间上相邻的块，即，使用已编码影像帧预测各编码对象块。接着，计算编码对象块与预测结果的差分即残差块。接着，将残差块从空间(像素)域向频率域变换。该变换的目的是使输入块的相关性下降。

接着，将通过变换得到的变换系数量化。该量化是不可逆压缩。此外，将得到的量化系数通过熵编码可逆压缩。此外，将为了将编码影像信号重构所需要的辅助信息编码，与编码影像信号一起输出。该信息例如是关于空间预测、时间预测或/及量化的信息。

图1是表示依据H.264/MPEG－4AVC及/或HEVC的图像编码装置100的一例的图。

减法器105计算作为输入图像信号101的编码对象块与对应的预测信号181(预测块)的差分的残差信号106(残差块)。该预测信号181通过预测部180的时间预测或空间预测而生成。在预测中使用的预测类型有可能按照每个帧或按照每个块而变更。将使用时间预测预测的块及/或帧称作帧间编码，将使用空间预测预测的块及/或帧称作帧内编码。

使用时间预测的预测信号是使用保存在存储器中的已编码及已解码的图像而导出的。使用空间预测的预测信号是使用保存在存储器中的已编码及已解码的相邻块的边界像素值而导出的。此外，帧内预测方向的数量根据编码单位的尺寸而决定。

残差信号106也被称作预测误差或预测残差。变换部110通过将该残差信号106变换而生成变换系数111。量化部120通过将变换系数111量化而生成量化系数121。熵编码部190为了将保存的数据量进一步削减且可逆地发送，而将量化系数121熵编码。例如，熵编码是可变长编码。此外，代码字的长度基于发生概率而决定。

通过以上的处理生成编码信号191(编码比特流)。

此外，图像编码装置100具有用来得到解码图像信号(重构图像信号)的解码部。具体而言，逆变部130通过将量化系数121逆量化及逆变换而生成残差信号131。该残差信号131通过也称作量化噪声的量化误差的影响，与原来的残差信号106严格地不同。

接着，加法器140通过将残差信号131与预测信号181相加而生成解码图像信号141。这样，为了保持图像编码装置与图像解码装置的互换性，在图像编码装置和图像解码装置的两者中，使用被编码、被解码后的图像信号生成预测信号181。

此外，通过量化，将量化噪声叠加到解码图像信号141中。由于进行块单位下的编码，所以叠加的噪声按照每个块而不同的情况较多。由此，特别是进行了较强的量化的情况下，解码图像信号的块边界变得醒目。这样的成块噪声在人的视觉识别中画质看起来劣化。为了将该成块噪声削减，解块滤波器150对解码图像信号141进行解块滤波处理。

例如，在H.264/MPEG－4AVC的解块滤波处理中，按照每个区域选择适合于该区域的滤波处理。例如，在成块噪声较大的情况下，使用较强的(窄频带)低通滤波器，在成块噪声较小的情况下，使用较弱的(宽频带)低通滤波器。该低通滤波器的强度根据预测信号181及残差信号131决定。通过该解块滤波处理将块的边缘平滑化。由此，解码图像信号的主观的画质改善。此外，将已滤波处理的图像用于下个图像的运动补偿预测。由此，通过该滤波处理将预测误差也削减，所以能够改善编码效率。

自适应的循环滤波器160通过对解块滤波处理后的解码图像信号151进行样本自适应偏移处理及/或自适应的循环滤波处理而生成解码图像信号161。如上述那样，解块滤波处理将主观的画质改善。另一方面，样本自适应偏移(Sample Adaptive Offset：SAO)处理及自适应的循环滤波器(Adaptive loop filter：ALF)处理以像素单位的可靠性(客观的品质)的改善为目的。

SAO是根据接近像素对像素添加偏移值的处理。ALF用于补偿通过压缩产生的图像的畸变。例如，ALF是具有如下滤波系数的维纳滤波器，该滤波系数被决定为使解码图像信号151与输入图像信号101的均方差(MSE)最小化。例如，将ALF的系数以帧单位计算及发送。此外，ALF也可以对帧整体(图像)或局部区域(块)应用。此外，也可以将表示进行滤波处理的区域的辅助信息以块单位、帧单位或四叉树单位发送。

为了将帧间编码块解码，需要将被编码、被解码后的图像的一部分预先保存到参照帧缓冲器170中。参照帧缓冲器170保持解码图像信号161作为解码图像信号171。预测部180使用运动补偿预测进行帧间预测。具体而言，首先，运动推测器探索在已编码及已解码的影像帧中包含的块中与对象块最类似的块。使用该类似块作为预测信号181。将对象块与类似块之间的相对性的偏移(运动)作为运动数据向图像解码装置发送。该运动数据例如是在与编码影像数据一起提供的辅助信息中包含的三维的运动矢量。这里，所谓三维包括空间二维和时间一维。

另外，为了使预测精度最优化，也可以使用1/2像素分辨率或1/4像素分辨率等的空间子像素分辨率的运动矢量。空间子像素分辨率的运动矢量表示不存在实际存在的像素值的、解码帧内的空间的位置，即子像素的位置。由此，为了进行运动补偿预测，需要像素值的空间插补。该插补处理例如由插补滤波器(包含在图1所示的预测部180中)实现。

在帧内编码模式及帧间编码模式的两者中，通过将作为输入图像信号101与预测信号181的差分的残差信号106变换及量化，生成量化系数121。一般而言，变换部110在该变换中使用二维离散余弦变换(DCT)或其整数版等的正交变换。由此能够有效率地削减自然影像的相关。此外，一般低频成分比高频成分对画质而言更重要，所以与高频成分相比，由低频成分使用更多的位。

熵编码部190将二维矩阵的量化系数121变换为一维矩阵。典型地，使用所谓的锯齿形扫描。在锯齿形扫描中，从处于二维矩阵的左上角的DC系数到处于右下角的AC系数，以规定的顺序将二维矩阵扫描。通常，能量集中在与低频相应的二维阵列的系数的左上部分，所以如果进行锯齿形扫描，则后半的值有成为零的趋势。由此，通过作为熵编码的一部分或其前处理而使用行程编码，能够实现有效率的编码。

在H.264/MPEG－4AVC及HEVC中，使用多个种类的熵编码。在语法要素中也有以固定长编码的要素，但几乎全部的语法要素被可变长编码。特别是，在预测残差的编码中使用上下文自适应可变长代码，在其他语法要素的编码中使用其他各种各样的整数代码。此外，也有使用上下文自适应算术编码(CABAC)的情况。

通过可变长代码，能够将已编码比特流可逆压缩。但是，由于代码字是可变长，所以必须将代码字连续解码。即，不将熵编码重启动(初始化)、或不将解码时的最初的代码字(开始点)的位置单独表示，在将先行的代码字编码或解码之前不能将之后的代码字编码或解码。

通过基于规定的概率模型的算术编码，将比特串编码为1个代码字。规定的概率模型根据CABAC的情况下的影像序列的内容决定。由此，编码对象的比特流的长度越长，越有效率地进行算术编码及CABAC。即，对比特串使用的CABAC可以说在更大的块中更有效率。在各序列的开头将CABAC重启动。即，在各影像序列的开头将概率模型用既定值或规定值初始化。

H.264/MPEG－4、H.264/MPEG－4AVC及HEVC具有视频编码层(VCL)及网络抽象化层(NAL)的两个功能层。通过视频编码层提供编码功能。NAL根据跨越通道的发送及向存储装置的保存等的用途而将信息要素封装(capsale)为称作NAL单元的标准单位。该信息要素例如是编码预测误差信号及影像信号的解码所需要的信息。影像信号的解码所需要的信息，是预测类型、量化参数及运动矢量等。

在NAL单元中，有包含压缩影像数据和关联信息的VCL NAL单元、将与影像序列整体关联的参数集等的追加数据封装的non－VCL单元、和用来提供能够用于改善解码精度的追加信息的附加扩展信息(SEI)。

例如，在non－VCL单元中包含参数集。所谓参数集，是关于一定的影像序列的编码及解码的多个参数的集合。例如，在参数集中，有包含与影像序列(图片序列)整体的编码及解码关联的参数的序列参数集(SPS)。

序列参数集具有包含语法要素的语法构造。通过作为包含在各个切片头中的语法要素的pic_parameter_set_id，指定参照目标的图片参数集(PPS)。此外，通过作为包含在PPS中的语法要素的seq_parameter_set_id，指定参照目标的SPS。这样，将包含在SPS中的语法要素对编码影像序列整体采用。

PPS是定义了在包含在影像序列中的1张图片的编码及解码中使用的参数的参数集。PPS具有包含语法要素的语法构造。通过作为包含在各个切片头中的语法要素的pic_parameter_set_id，指定参照目标的图片参数集(PPS)。这样，将包含在SPS中的语法要素对编码图片整体应用。

由此，相比PPS，继续SPS的跟踪更容易。这是因为，PPS对于各图片变化，相对于此，SPS对于有可能达到几分钟或几小时的影像序列整体是一定的。

VPS是最上位层级的参数，包含关于多个影像序列的信息。包含在VPS中的信息是比特率及影像序列的temporal_layering构造等。此外，VPS包含关于层间的依存性(不同影像序列间的依存性)的信息。由此，VPS能够看作关于多个影像序列的信息，通过VPS，知道各影像序列的概要。

图2是表示依据H.264/MPEG－4AVC或HEVC影像编码标准的图像解码装置200的一例的块图。

将输入到图像解码装置200中的编码信号201(比特流)向熵解码部290发送。熵解码部290通过将编码信号201解码，取得量化系数和运动数据及预测模式等的解码所需要的信息要素。此外，熵解码部290通过将得到的量化系数以得到二维阵列的目的进行逆扫描而生成量化系数291，将量化系数291向逆变部230输出。

逆变部230通过将量化系数291逆量化及逆变换而生成残差信号231。残差信号231相当于从没有量化噪声、不发生误差的输入到图像编码装置中的输入图像信号减去预测信号而得到的差分。

预测部280使用时间预测或空间预测生成预测信号281。通常，已解码信息要素还在帧内预测的情况下包括预测类型等预测所需要的信息，此外，在运动补偿预测的情况下包括运动数据等的预测所需要的信息。

加法器240通过将空间域的残差信号231与由预测部280生成的预测信号281相加而生成解码图像信号241。解块滤波器250通过对解码图像信号241进行解块滤波处理而生成解码图像信号251。自适应的循环滤波器260通过对解码图像信号251进行样本自适应偏移处理及自适应的循环滤波处理而生成解码图像信号261。该解码图像信号261被作为显示图像输出并作为解码图像信号271向参照帧缓冲器270保存。解码图像信号271被用于后续的块或图像的时间或空间预测。

与H.264/MPEG－4AVC相比，HEVC具有辅助编码及解码的高度的并行处理的功能。与H.264/MPEG－4AVC同样，在HEVC中能够将帧分割为多个切片。这里，各个切片包括以扫描顺序连续的多个LCU。在H.264/MPEG－4AVC中，切片能够分别单独地解码，不进行跨切片的空间预测。由此，能够以切片单位进行并行处理。

但是，由于切片具有相当大的头，此外在切片间没有依存性，所以压缩的效率下降。此外，CABAC编码在对较小的数据块进行的情况下效率性受损。

对此，为了能够进行更有效率的并行处理，提出了波面并行处理(WPP)。在WPP中，作为在图片的各LCU行(以下，也单称作“行”)的第1个LCU(开头的LCU)的复位中使用的CABAC概率模型，使用前行的第2个LCU的处理后的概率模型。由此，维持块间的依存性。由此，能够进行多个LCU行的并行解码。此外，各行的处理相对于前行延迟了两个LCU。

此外，将表示作为开始LCU行的解码的位置的开始点的信息包含在切片头中而进行信号传递。另外，关于WPP的详细情况，记载在非专利文献1中。

作为用于并行化改善的其他方法，有使用瓦片(tile)的方法。帧(图片)被分割为多个瓦片。各瓦片是长方形，包含多个LCU。瓦片间的边界设定为，以阵列状将图片分割。此外，将多个瓦片以光栅扫描顺序进行处理。

此外，在各瓦片的边界丧失了全部的依存性。CABAC等的熵编码也在各瓦片的开头被复位。另外，仅解块滤波处理和样本自适应偏移处理跨越瓦片间的边界而被采用。由此，能够将多个瓦片并行地编码或解码。另外，关于瓦片的详细情况，记载在非专利文献2及非专利文献3中。

此外，为了使切片的概念成为比H.264/MPEG－4AVC中的切片的本来的目的即错误耐受性更适合于并行化的概念，提出了依存切片及熵切片的概念。即，在HEVC中，使用通常切片、依存切片及熵切片的3个切片。

通常切片是根据H.264/MPEG－4AVC已经知道的切片。在通常切片间不能进行空间预测。即，不能进行跨越切片间的边界的预测。换言之，不参照另外的切片而将通常切片编码。CABAC在各个切片的开头重启动，以便能够分别进行这样的切片的解码。

此外，在帧的开头中使用通常切片。即，各帧必须从通常切片开始。通常切片具有包含参数的头，该参数是切片数据的解码所需要的参数。

熵切片是能够在母切片与熵切片之间进行空间预测的切片。这里，所谓母切片，例如是紧挨着熵切片之前的通常切片。母切片及熵切片的解析独立地进行。

此外，切片数据的解析除了切片头的语法要素以外，在母切片和熵切片中独立地进行。即，在熵切片的CABAC解码处理中，需要包含在母切片的切片头中的语法要素。例如，该语法要素包括表示切片数据是否包含滤波参数的切换信息。在切片数据中存在滤波参数的情况下，CABAC解码部提取该信息。在不存在的情况下，CABAC解码部不设想滤波数据。即，在将通常切片的切片头解析后，CABAC解码部能够将母切片和熵切片并行处理。

但是，母切片例如也可以是通常切片，在熵切片的像素值的重构中需要。此外，在切片的开头将CABAC也重启动，以便能够将熵切片独立解析。

在熵切片中，可以使用比通常切片的切片头短的切片头。在切片头中，包括与在通常切片的头内发送的信息有关的编码参数子集。没有包含在熵切片的头中的信息从母切片的头复制。

依存切片与没有将CABAC重启动的熵切片类似。CABAC的重启动，包括将上下文表(概率表)初始化为默认值的处理、和算术编码处理或算术解码处理中的终端处理(终结处理)。

母切片的头被用于依存切片的解析及/或解码。由此，不能将母切片或依存切片解析，所以在没有取得母切片的情况下，不能将依存切片解码。母切片通常在编码顺序中是依存切片的先行切片，是包括完全的切片头的切片。这在熵切片的母切片中也相同。

一般而言，熵切片可以看作依存于其他切片的头参数，所以能够对依存切片及熵切片的两者采用本发明。

如以上这样，依存切片及熵切片使用切片的编码顺序中的紧挨着之前的切片的切片头(不包含在依存切片的头中的信息)。将该规则归纳性地使用。认识到对象依存切片依存的母切片是能够参照的。在参照中，包括切片间的空间预测及共用CABAC状态等的利用。依存切片使用在紧挨着之前的切片的终端生成的CABAC上下文表。这样，依存切片不将CABAC表初始化为默认值而持续使用已制作的表。此外，关于熵切片及依存切片，记载在非专利文献3中(例如，参照第73页的“dependent_slice_flag”等)。

在使用WPP的情况下，如果依存切片在LCU行的开头开始、并且包含该开头的LCU的右上的LCU的切片表示能够参照，则依存切片使用右上的LCU的CABAC上下文表。

HEVC提示一些属性(profile)。属性包括对特定的应用使用的图像编码装置及图像解码装置的设定。例如，“主要属性”仅包括通常切片及依存切片，不包括熵切片。

如上述那样，将编码切片封装为NAL单元，再封装为例如实时协议(RTP)，最终封装为因特网协议(IP)包。通过该协议栈或另外的协议栈，能够在因特网或固有网络等的包指向型网络中进行编码影像的发送。

典型地，网络包含至少1个以上的路由器，路由器由以超高速动作的专用硬件构成。路由器具有接收IP包并将IP包的头解析、将适当IP包向各个目的地转送的功能。路由器由于需要将来自许多来源的通信处理，所以控制逻辑的包必须尽可能简单。路由器由于至少决定将IP包转送的路径，所以需要确认IP头中包含的目的地地址字段。为了还提供对于服务品质(QoS)的支持，智能(媒体感知)路由器追加地确认IP头、RTP头及NALU头等的网络协议头中的专用字段。

根据关于影像编码的上述记载可知，依存切片及熵切片等为了并行处理而定义的不同类型的切片对于数据缺失的情况下的画质的下降的重要性不同。不能没有母切片而将依存切片解析及解码。这是因为，在依存切片的开头不能将熵编码部或熵解码部重启动。由此，可以说在将图像或影像重构方面，母切片更重要。

在HEVC中，作为依存性的补充性的侧面，依存切片及熵切片取入切片间的依存性(帧内的依存性)。该依存性不是帧内的唯一的依存性。

此外，由于按照每个瓦片进行切片的并行处理，所以算术编码部及算术解码部的上下文通过默认的设定、或基于已编码或已解码切片来决定。但是，由于头的依存性与算术编码初始化的依存性不同，所以有可能违背并行处理及依存切片的机理的目的而发生延迟或复杂度增加。

依存切片能够与WPP或瓦片等的并行处理工具一起使用。此外，通过使用依存切片，能够不引起编码损失而生成能够削减传送延迟的波前(wavefront)(子流)。

此外，由于在依存切片中不将CABAC重启动，所以能够使用依存切片作为CABAC子流的开始点。此外，由于表示独立的解析的开始点，所以也可以将表示该开始点的信息包含在比特流中而传递。特别是，在将两个以上的CABAC子流封装为通常切片或依存切片的情况下，使用每个子流的字节数明示地将开始点进行信号传递。这里，子流表示通过开始点能够分别解析的流的一部分。进而，由于各依存切片需要NAL单元的头，所以作为开始点的“标记”可以使用依存切片。即，能够将这样的对于标记的开始点进行信号传递。

通过信号明示地通知开始点的方法和经由依存切片将开始点标记的方法可以同时使用。这里，需要能够确定各NAL单元的开始点(各NAL头的开头)。另外，关于确定方法，可以使用任意的方法。例如可以使用以下的两个方法。

第一个方法是对各NAL头的开头插入例如3字节的开始代码的方法。第二个方法是将各NAL单元打包到不同的包中的方法。此外，由于切片的依存性，也可以将切片头的尺寸缩小。

通过这些方法，能够对熵切片并行进行CABAC解析。这是因为，在熵切片的开头必定将CABAC重启动。在CABAC的并行处理中，通过连续的像素构建处理后的并行CABAC解析能够克服障碍。具体而言，可以通过WPP并行化工具将各LCU行的解码处理通过1个处理核心实现。另外，向各核心的LCU行的分配也可以不同。例如，也可以对1个核心分配两行，也可以对两个核心分配1行。

图3A是表示分配给多个行的图片300的图。各行包括多个最大编码单位(LCU)。行301(Wavefront1)及行302(Wavefront2)是被并行处理的对象。如图3A的CABAC状态(CABACstates)的箭头所示，在行301中将最初的两个LCU解码后，行302的处理开始。此外，将行301的最初的两个LCU编码或解码后的CABAC状态在行302的CABAC初始化时使用。由此，行302的处理可以在行301的最初的两个LCU的处理结束后开始。即，在两个处理核心之间存在两个LCU的量的延迟。

图3B是表示使用WPP的依存切片的使用例的图。图3B所示的图片310包括行311～314。这里，行311(Wavefront1)、行312(Wavefront2)及行313(Wavefront3)以不同的核心予以处理。

依存切片形成能够改善延迟的WPP。在依存切片中没有完全的切片头。此外，如果知道开始点(或以上述那样的规则知道的依存切片的开始点)，则能够与其他切片独立地将依存切片解码。此外，依存切片能够不发生编码损失而形成也适合于低延迟应用的WPP。

在将子流(LCU行)封装为切片的通常的情形中，为了可靠地并行进行熵编码及解码，需要将明确的开始点插入到切片头中。因此，在切片的最后的子流完全被编码后，才做好切片的传送的准备。此外，在切片中的全部的子流的编码完成后，切片头才完成。即，在切片整体的处理结束之前，不能经由RTP/IP层的包碎片开始切片的开头的传送。

但是，在使用依存切片的情况下，由于能够利用依存切片作为开始点标记，所以不需要基于开始点的明示信号的通知。因而，能够没有编码损失而将通常切片分割为许多依存切片。此外，可以在封装后的子流的编码完成后立即(或者在包碎片的情况下比其早地)传送依存切片。

此外，依存切片不减弱空间预测的依存性。进而，依存切片也不减弱解析依存性。这是因为，在对象依存切片的解析中通常需要先行切片的CABAC状态。

在不被许可依存切片的情况下，能够将各LCU行作为切片。这样的结构将改善传送延迟，但同时如上述那样导致发生较大的编码损失。

设想将帧(图片)整体封装为1个切片的情况。在此情况下，为了能够进行并行解析，需要向切片头通过信号来传递子流(LCU行)的开始点。由此，在帧级别上发生传送延迟。即，需要在将帧整体编码后将头修正。将图片整体封装为1个切片这件事情本身不使传送延迟恶化。例如，也可以在编码完全结束之前开始切片的一部分的传送。但是，在使用WPP的情况下，为了记述开始点而需要将切片头在之后修正。因而，需要使切片整体的传送延迟。

这样，通过依存切片的使用，能够削减延迟。如图3B所示，图片310被分割为作为通常切片的行311、作为依存切片的行312、313及314。在各行是1个依存切片的情况下，能够没有编码损失而使1个行的传送延迟。这是因为，依存切片不将空间依存减弱并且不将CABAC引擎重启动。

图4A及图4B是表示CABAC初始化的另一例的图。图4A表示不使用WPP的情况下的CABAC的初始化。此外，不使用WPP及瓦片这两者。此外，认可将通常切片及依存切片一起使用。

依存切片(3)从通常切片(2)复制头。即，通常切片(2)是依存切片(3)的母切片。依存切片(3)使用在通常切片(2)的终端生成的上下文表。依存切片(3)不是通常切片(1)而依存于通常切片(2)。即，在通常切片(1)与依存切片(3)之间不存在空间预测。

图4B是表示使用WPP的情况下的CABAC的初始化的图。认可将通常切片、依存切片及WPP一起使用。

依存切片(3)将通常切片(2)的头复制。依存切片(3)预想是使用在通常切片(1)的第2个LCU的终端生成的上下文表。但是，由于切片(2)是通常切片，所以表示切片(1)的第2个LCU不能参照。即，切片(1)由于不是在编码顺序上为紧挨着依存切片之前的先行切片，所以不被参照。

但是，切片(2)被作为切片(3)及(4)的参照切片使用。即，在开始切片(3)的解码时，CABAC状态需要被初始化为默认值(在图4B中用点线的箭头表示)。依存切片(4)使用遵循上述那样的WPP的条件的右上的第2LCU之后的CABAC状态(实线的箭头)。

图5是表示依据当前的HEVC参照模型(HM8.0)的切片头的语法例的图。切片头320包括表示对象切片是依存切片还是通常切片的语法要素dependent_slice_flag。

根据图5的行321可知，在dependent_slice_flag与0等同的情况下，头包含切片头信息。即，切片具有完全的头。在不是这样的情况下，头不包含切片头信息。即，如上述那样，依存切片及熵切片不具有完全的切片头，参照先行的通常切片的头。

为了支持并行处理，随后用信号传递开始点。即使是不将熵编码部或熵解码部重启动的情况，也能够使用该开始点对开始点间的影像流(子流)的一部分独立进行并行解码。如上述那样，对于依存切片、通常切片及熵切片也标记开始点。

在HEVC中，有一些并行处理工具。如上述那样，该工具是WPP、依存切片、熵切片及瓦片。但是，由于这些工具有时没有互换性，所以在将它们组合的利用中存在限制。一般而言，认可将瓦片和切片一起使用。

但是，在主要属性中，有必须将1个切片分割为1以上的整数个瓦片、此外必须将1个瓦片分割为1以上的整数个切片的限制。典型地，将该限制对特定的属性(或属性的特定级别)应用。该限制的目的是降低硬件执行的复杂度。

在PPS的entropy_coding_sync_enabled_flag与1等同(即，使用WPP)、切片中包含的第1个编码块不是由瓦片的编码树块构成的行的第1个编码树块的第1个编码块的情况下，比特流适合于标准的条件是，切片的最后的编码块属于与切片的第1个编码块相同的编码树块行。编码树表示将LCU的构造及LCU分别再向4块归纳性地分割。即，在能够进行WPP的情况下，并且在切片不从对象LCU行的开头开始的情况下，切片必须在对象LCU行的终端或其之前结束。此外，不仅是并行处理手段、关于HEVC语法的详细情况也记载在非专利文献3中。

使用图6说明该限制。图6所示的图片330包括作为通常切片的切片331、332及333。切片331及332包含在1个LCU行中。切片333横跨多个LCU行(在该例中是3行)，所以是不被许可的切片。按照上述限制，切片333必须在第1LCU行的终端结束。

图7是表示使用WPP的情况下的具有被许可的切片构造的图片340的图。图片340包括作为通常切片的切片341、342及343、和作为依存切片的切片344。这些切片341、342及343包含在第1行的LCU行中。切片344包含以下的两行。

由于切片344是依存切片，所以对于切片344的CABAC初始化依存于其他切片341、342及/或343。在切片342及343的某个如图7所示那样是通常切片的情况下，将切片344初始化为默认的CABAC状态。在不是那样的情况下使用WPP表。即，将对象行之上的LCU行的第2个LCU的处理后的CABAC状态用于初始化。

在该例中，如在图4B及上述CABAC初始化的关联记载中叙述那样，将对于依存切片344的CABAC使用预先设定的默认的CABAC状态来初始化。

这样，CABAC初始化基于多个先行切片。由此，关于对象切片的处理、特别是解析，依存于多个其他切片。具体而言，根据对象切片的先行切片的种类，决定将CABAC上下文用默认值及WPP值的哪个值来初始化。这样，确认是否能够利用先行切片，决定对对象切片使用的初始化方法。即，需要相当复杂的顺序的处理。以下，对其详细地说明。

由于第1切片341至少具有两个LCU，所以能够参照将最初的两个LCU编码或解码后的CABAC状态。

此外，在切片342或切片343丢失的情况下，不能将切片344正确地解码。这是因为，由于不知道切片342或切片343的种类，所以不能进行CABAC初始化。即，即使在仅关于两个先行切片的信息缺失、正确地取得了切片344的情况下，由于不能进行对于切片344的CABAC的初始化，所以也将正确取得的切片344的数据丢弃。由此，对于切片344需要进行错误隠蔽。由此，有可能因为不完全的错误隠蔽所带来的畸变而使画质下降。

这里，在切片头中，语法要素的几乎全部(它们主要是特定的滤波操作等的控制的切换)都需要针对帧中包含的全部的切片决定。此外，其中也有能够按照每个切片变更的语法要素，但在由图像编码装置进行的几乎全部的处理中，对帧整体决定的控制参数被全部维持。由此，作为错误隠蔽的方法可以使用以下的方法。在该方法中，仅需要有关丢失的切片是依存切片还是通常切片的信息。

此外，在包顺序混乱着到达的情况下，解码延迟恶化。即，在预想包的重新排列的情况下，解码延迟有可能恶化。这与作为WPP的基本目的的、通过依存切片提供超低延迟是矛盾的。

图8是表示CABAC初始化处理的另一例的图。在图8中，设想了图7所示的切片的构造。图8所示的图片350包括切片351和切片354。切片351是通常切片，是帧中的第1个切片，包括4个LCU。在帧的开头、即在切片351的开头，将CABAC初始化为默认状态值(零状态)。另外，也可以存在多个默认状态，在此情况下，从多个默认状态中选择一个默认状态。另外，所谓默认状态，是算术编码的概率模型的规定值。

即使取得属于依存切片354的数据，在通过缺失或错误而没有切片342及切片343(参照图7)的数据的情况下，也不能将切片354解码。这是因为，如上述那样，没有切片342及343的信息就不能将CABAC引擎初始化。

图9是在取得了依存切片354时进行的初始化方法的决定处理的流程图。换言之，该流程图表示CABAC初始化的向两个以上的切片的依存的方式。

设想对切片(4)(依存切片354)设定以下的条件。能够进行WPP。SPS的dependent_slice_enabled_flag被设定为1。切片(4)的位置满足(式1)。

slice_address％numLCUinRow＝0···(式1)

这里，“％”是模运算(整除的余数)。参数numLCUinRow表示图片350的每1行的LCU的数量。由此，(式1)的条件在行的开头满足。参数numLCUinRow可以根据SPS的设定导出。

首先，判定切片(4)是否是依存切片(S101)。在切片(4)不是依存切片的情况下(S101中的“否”)，进行默认的初始化。

如图8所示，在切片(4)是依存切片的情况下(S101中的“是”)，将i设定为3(S102)。即，将紧挨着切片(4)之前的切片(3)设定为切片i。

接着，判定切片i是否从切片(4)的上一行开始(S103)。这里，由于i被设定为3，所以切片i是紧挨着作为处理对象的依存切片(切片(4))之前的切片(3)。

在切片i不从切片(4)的上一行开始的情况下(S103中的“否”)，进行WPP的初始化(使用WPP表的初始化)(S107)。

另一方面，在切片i从切片(4)的上一行开始的情况下(S103中的“是”)，即图8所示的情形的情况下，判定切片i是否是依存切片(S104)。

在切片i不是依存切片的情况下(S104的“否”)，接着分析切片i的开始位置。具体而言，判定slice_address％numLCUinRow是否比2小(S106)。即，判定切片i的开始位置是否是行开头或第2个LCU。

在slice_address％numLCUinRow比2小的情况下(S106中的“是”)，进行WPP的初始化(S107)。另一方面，在slice_address％numLCUinRow是2以上的情况下(S106中的“否”)，进行默认的初始化(S108)。

此外，在切片i是依存切片的情况下(S104中的“是”)，分析切片i的开始位置。具体而言，判定slice_address％numLCUinRow是否比3小(S105)。即，判定切片i的开始位置是否是行开头、第2或第3个LCU。

在slice_address％numLCUinRow比3小的情况下(S105中的“是”)，进行WPP的初始化(S107)。另一方面，在slice_address％numLCUinRow是3以上的情况下(S105中的“否”)，不进行初始化，索引i减小1(S109)。即，在该例中，将对象切片(切片(4))的两个之前的切片(2)设定为切片i。并且，对切片(2)进行步骤S103以后的处理。此外，在对切片(2)也进行了同样的判定的情况下，接着，将切片(1)设定为切片i。

图10是表示图片360的图。图片360包括5个切片361～365。切片361是通常切片，包含第1行整体。切片362是依存切片，包括第2行整体。第3行包括依存切片363及切片364。切片365是依存切片，包括第4行整体。

以下，在切片364丢失的情况、或切片364延迟的情况下，对切片364是依存切片的情况及切片364是通常切片的情况下的各情形进行讨论。此外，这里切片363至少具有两个LCU。

在切片364丢失的情况下，图像解码装置不能判别切片364的类别。在丢失的切片364是依存切片的情况下，在重构处理中，能够以些许的误差继续切片365及其以后的切片的解码。这是因为，如使用图8及图9说明的那样，切片365使用切片363的第2个LCU的CABAC状态。由此，在CABAC初始化处理中不发生错误。但是，由于切片365使用根据切片364的空间预测，所以在像素重构处理中有可能发生错误。

另一方面，在丢失的切片364是通常切片的情况下，不能将切片365解码。这是因为，在语法要素中，有可能有使用丢失的切片364的切片头的信息的情况。即，是因为通常切片364是依存切片365的母切片，在依存切片365的解析及解码中需要母切片的信息。

在不知道丢失的切片364的切片的类别的情况下，为了避免在丢失的切片364是通常切片的情况下可能发生的错误的解码，图像解码装置将可解码的切片365丢弃。即使在能够正确地取得了切片365的数据的情况下也将切片365丢弃，这是无效率的。进而，需要将接着切片365的依存切片也全部丢弃。

在切片364是通常切片的情况下，为了切片365的解码，将CABAC引擎初始化为默认的CABAC值(参照图9的S101中No的情况)。由此，切片365不依存于切片363。此外，也不进行切片363与切片365之间的空间预测。这样，在切片365的开始位置将CABAC初始化为默认值，所以依存切片365与通常切片类似。

但是，通常切片具有完全的切片头。另一方面，切片365仅具有较短的切片头，依存于由先行的通常切片的切片头设定的参数。即，在切片365是依存切片的情况下，虽然有能够使头的尺寸变小的优点，但该优点不那么大。另一方面，在切片365是通常切片的情况下，能够将切片365解码。这样，在上述情形下，与将切片365设定为依存切片相比，可以认为设定为通常切片时优点更大。

但是，在WPP中，依存切片不是以使对于损失的鲁棒性变可靠为目的，而是以能够进行超低延迟下的WPP操作为目的的。另一方面，在实时的应用等跨越网络的超低延迟应用的情况下，预想到包损失及包的重新排列。在这样的情况下，只要最终能够取得切片364，就能够将切片365解码。但是，至少会引起延迟的恶化及包的损失。由此，在损失较多的环境中，WPP将在不是最优的状态下进行。

图11是用来表示使用WPP的情况下的与CABAC初始化关联的其他课题的图，是表示图片370的图。图片370包括4个切片371～374。

切片371是通常切片，切片372是依存切片。这里，切片371至少具有两个LCU。图片370的第1行包括切片371及372。图片370的第2行包括作为依存切片的切片373及374。

在此情况下，设想图像编码装置至少利用两个处理器核心。即，在使用WPP的情况下，图像编码装置将两个LCU行并行地编码及解析。由此，在切片372成为能够利用之前很久，切片373成为能够利用。

但是，由于对于切片373的CABAC初始化依存于切片372，所以不能开始切片373的解码。由此，不能使行间的编码或解码的开始延迟比1个LCU行整体小。这与使延迟变小到两个LCU以内的WPP的目的相矛盾。

以下对图11所示那样的切片的编码及传送的并行处理进行说明。处理器核心或处理器等的两个处理部将各行的第1个切片(切片371及切片373)同时编码。当编码结束时，已编码切片371及373被封装为包号码(packet_id)分别为0和4的包。这里，为了对切片372及可能的另外的NALU确保较小的号码，选择包号码4。

当切片372的编码完成时，将切片372封装为包号码1的包而传送。此外，生成具有对应的包号码2和3、以及具有伪(填充)数据的两个NAL单元，以使缺失包号码2及3不被判定为包的缺失。

在HEVC中，这通过使用filler_data SEI消息或确保为填充数据用的规定的NAL单元类型来实现。这样，在包ID需要按照每个NAL单元一个一个增加的情况下，为了填补其差而使用填充型NALU。

对象行的初始化依存于其上一行的第2个LCU。此外，在第2个LCU之后插入了切片的情况下，由于给CABAC初始化的决定带来影响，所以成为问题。基于该分析及问题，本发明提供一种用来导出WPP及依存切片的利用的更有效率的关系的方法。为了维持WPP的效率性，应避免对于1行的CABAC初始化依存于另外的行的状况。

有关本发明的一方式的图像解码方法，对包含编码信号的比特流进行解码，所述编码信号是将图像分割为多个切片而编码后的信号，该多个切片的各个切片包含多个编码单位，所述图像解码方法包括将所述编码信号解码的解码步骤，所述多个切片分别是通常切片和依存切片中的某个，所述通常切片是该切片的切片头中包含的信息被用在另外的切片中的切片，所述依存切片是在解码中使用包含在另外的切片的切片头中的信息的切片，所述图像包括多个行，该多个行的各个行包含多个编码单位，在通常切片从第1行的开头以外开始的情况下，该第1行的接着的第2行不从依存切片开始。

据此，能够排除第2行的开头的切片参照第1行的开头以外的切片的情形的发生，所以能够将共同利用并行处理及依存切片时的效率性改善。

例如也可以是，在所述解码步骤中，将所述第1行及所述第2行并行解码，在开始所述第2行的解码时，不参照表示所述第1行中的切片构造的分割信息而将所述第2行解码。

例如也可以是，在所述解码步骤中，将所述第2行的算术解码使用所述第1行的第2个编码单位被算术解码后的上下文来初始化。

例如也可以是，所述图像解码方法还包括从切片头取得表示切片是通常切片还是依存切片的信息的步骤。

例如也可以是，所述图像的开头切片是通常切片，其他全部的切片是依存切片。

例如也可以是，各个切片包括1个以上的行的全部。

例如也可以是，将所述依存切片的算术解码使用切片头被用在该依存切片中的母切片的上下文来初始化。

例如也可以是，所述图像解码方法还包括在所述依存切片是有效的情况下从所述比特流取得表示图片的分割被限制的限制指示符的步骤。

此外，有关本发明的一方式的图像编码方法，通过将图像分割为多个切片并编码而生成比特流，该多个切片的各个切片包含多个编码单位，所述图像编码方法包括：分割步骤，将所述图像分割为多个切片；以及编码步骤，将分割后的多个切片编码，所述多个切片分别是通常切片和依存切片中的某个，所述通常切片是该切片的切片头中包含的信息被用在另外的切片中的切片，所述依存切片是在解码中使用包含在另外的切片的切片头中的信息的切片，所述图像包括多个行，该多个行的各个行包含多个编码单位，在所述分割步骤中，将所述图像分割为多个切片，以使得在通常切片从第1行的开头以外开始的情况下，该第1行的接着的第2行不从依存切片开始。

据此，能够排除第2行的开头的切片参照第1行的开头以外的切片的情形的发生，所以能够将共同利用并行处理及依存切片时的效率性改善。

例如也可以是，在所述分割步骤中，将所述图像分割为所述多个切片，以使得在图像解码装置中将所述第1行及所述第2行并行解码的情况下，当该图像解码装置开始所述第2行的解码时能够不参照表示所述第1行的切片构造的分割信息而将所述第2行解码。

例如也可以是，在所述编码步骤中，将所述第2行的算术编码使用所述第1行的第2个编码单位被算术编码后的上下文来初始化。

例如也可以是，所述图像编码方法还包括将表示切片是通常切片还是依存切片的信息埋入到切片头中的步骤。

例如也可以是，所述图像的开头切片是通常切片，其他全部的切片是依存切片。

例如也可以是，各个切片包括1个以上的行的全部。

例如也可以是，将所述依存切片的算术编码使用切片头被用在该依存切片中的母切片的上下文来初始化。

例如也可以是，所述图像编码方法还包括在所述依存切片是有效的情况下将表示图片的分割被限制的限制指示符埋入到所述比特流中的步骤。

此外，有关本发明的一方式的图像解码装置，对包含编码信号的比特流进行解码，所述编码信号是将图像分割为多个切片而编码后的信号，该多个切片的各个切片包含多个编码单位，所述图像解码装置具备将所述编码信号解码的解码部，所述多个切片分别是通常切片和依存切片中的某个，所述通常切片是该切片的切片头中包含的信息被用在另外的切片中的切片，所述依存切片是在解码中使用包含在另外的切片的切片头中的信息的切片，所述图像包括多个行，该多个行的各个行包含多个编码单位，在通常切片从第1行的开头以外开始的情况下，该第1行的接着的第2行不从依存切片开始。

据此，能够排除第2行的开头的切片参照第1行的开头以外的切片的情形的发生，所以能够将共同利用并行处理及依存切片时的效率性。

此外，有关本发明的一方式的图像编码装置，通过将图像分割为多个切片并编码而生成比特流，该多个切片的各个切片包含多个编码单位，所述图像编码装置具备：分割部，将所述图像分割为多个切片；以及编码部，将分割后的多个切片编码，所述多个切片分别是通常切片和依存切片中的某个，所述通常切片是该切片的切片头中包含的信息被用在另外的切片中的切片，所述依存切片是在解码中使用包含在另外的切片的切片头中的信息的切片，所述图像包括多个行，该多个行的各个行包含多个编码单位，所述分割部将所述图像分割为多个切片，以使得在通常切片从第1行的开头以外开始的情况下，接着该第1行之后被编码的第2行不从依存切片开始。

据此，能够排除第2行的开头的切片参照第1行的开头以外的切片的情形的发生，所以能够将共同利用并行处理及依存切片时的效率性改善。

此外，有关本发明的一方式的图像编解码装置具备所述图像编码装置和所述图像解码装置。

另外，以下说明的实施方式都是表示本发明的一具体例的。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等是一例，不是限定发明范围的意思。此外，关于以下的实施方式的构成要素中的在表示最上位概念的独立请求项中没有记载的构成要素，设为任意的构成要素进行说明。

(实施方式1)

在有关本实施方式1的图像编码方法及图像解码方法中，追加明示CABAC初始化的指示符。

图12是表示有关实施方式1的切片头的语法的图。切片头380包括具有新的语法要素“entropy_default_initialization_flag”的新的行381。

该entropy_default_initialization_flag在被设定为规定值的情况下，是表示切片的CABAC以CABAC默认(规定)值被初始化的指示符。该标志是1位的指示符，具有表示切片被用默认CABAC值初始化的“1”等的第1值、以及表示通过另外的方法(different method)进行初始化的“0”等的第2值。另外，“1”及“0”的值的分配也可以替换。

初始化决定的“另外的方法”也可以是基于先行切片的值的初始化等规定的方法。但是，“另外的方法”也可以包含与图9所示的流程类似的另外的决定流程，由此，有可能也导出由默认CABAC值进行的初始化方法。

有关本实施方式的图像解码装置将包含至少部分地被用算术编码编码的图像切片的编码影像序列的比特流解码。该图像解码装置具备：解析部，从上述切片的比特流数据中提取表示是否将切片的算术解码的概率模型用规定值初始化的初始化指示符；控制部，按照上述初始化指示符，控制是否用上述规定值将算术解码用的上述概率模型初始化；以及算术解码部，通过进行算术解码，将上述切片解码。

例如，算术编码也可以是由HEVC定义那样的上下文自适应算术编码。但是，本发明并不限定于此。

所谓规定值，是被图像编码装置及图像解码装置知晓的默认值，不会由于被编码的内容而变化。

该初始化指示符优选的是指1位标志，在1位标志中，“1”表示将算术解码的概率模型用规定值初始化，“0”表示将算术解码的概率模型用另外的方法初始化。

仅在对象切片是依存切片的情况下，需要该指示符的存在。这是因为，在通常切片的情况下，CABAC默认值被用在初始化中(参照图9的S101中No的情况)。由此，通过确认条件dependent_slice_flag＝＝1，首先分析对象切片是否是依存切片。

此外，在进行切片和其他切片的并行处理的情况下，初始化指示符(标志)是有利的。例如，并行处理也可以是WPP。由此，仅在条件entropy_coding_sync_enabled_flag＝＝1是真的情况下，图12所示的切片头的语法包括初始化指示符entropy_default_initialization_flag。

此外，仅在切片在LCU行的开头开始的情况下，初始化指示符是适当的。这是因为，仅在此时能够进行并行处理，所以需要CABAC的即时的初始化。这在图12所示的语法中用条件slice_address％PicWidthInCtbsY＝＝0表示。

如上述那样，语法要素“slice_address”通过比特流中包含的偏移量表示切片的开始。“PicWidthInCtbsY”用编码树块的单位(LCU)的数量表示帧的宽度。

如行381所示，在判定中使用上述3个条件的逻辑积。即，仅在以下的(式2)是真的情况下，为了将初始化方法明确地用信号传递，传递entropy_default_initialization_flag。

dependent_slice_flag＝＝1&&entropy_coding_sync_enabled_flag＝＝1&&slice_address％PicWidthInCtbsY＝＝0···(式2)

在(式2)不是真的情况下，基于通常的方法，即，基于WPP规则进行初始化。

即，有关本实施方式的图像编码方法及图像解码方法将图像的切片分割为与图像的像素块对应的编码单位，解析部仅在切片是依存切片的情况下提取头数据中包含的初始化指示符。依存切片的算术解码部基于与各依存切片对应的母切片的算术解码部的上下文而被初始化。

此外，也可以仅在能够进行由编码单位构成的行的并行解码的情况下，解析部提取头数据的初始化指示符。

即，按照本实施方式，将图像的切片分割为与图像的像素块对应的编码单位，解析部仅在切片从由图像的编码单位块构成的行的开头开始的情况下，提取头数据的初始化指示符。

图13是有关本实施方式的切片的CABAC初始化的决定方法的流程图。图13设想了图8所示的图片350的情况。如果设想将切片(4)(切片354)与切片(1)(切片351)并行地解析，则进行以下的决定。

首先，判定切片(4)是否是依存切片(S111)。在切片(4)是依存切片、并且满足其他条件(进行行的并行处理并且切片在LCU行的开头开始)的情况下(S111中的“是”)，为了决定初始化的执行方法，确定初始化指示符“entropy_default_initialization_flag”(S112)。

在由entropy_default_initialization_flag表示使用默认的初始化的情况下(S112中的“否”)，使用默认的初始化(S114)。另一方面，在由entropy_default_initialization_flag表示不使用默认的初始化的情况下(S112中的“是”)，使用参照先行切片的WPP的初始化(S113)。

另外，本实施方式并不限定于在切片头内将初始化指示符进行信号传递。也可以在另外的数据构造例如附加扩展信息消息中埋入相同的指示符。

(实施方式2)

通过实施方式1，能够实现WPP及依存切片等的并行LCU行处理的有效率的处理。另一方面，新的语法要素被装入到切片头中。对此，为了避免新的语法要素的追加，也可以通过将初始化规则修正来达到对于并行处理中的切片的CABAC初始化的独立性。

在本实施方式中，对依存切片的定义、以及对于依存切片的图像编码装置及图像解码装置的动作进行修正。这可以通过对比特流的标准加以限制来实现。

即，有关本实施方式的图像解码装置将包含被分割为多个编码单位且至少部分地被用算术编码编码的多个图像切片的编码影像序列的比特流解码。该图像解码装置具备从比特流中提取由编码单位构成的第1行及第2行的解析部；将第1行及第2行的编码单位分配给切片，以使得在将针对第2行的第2切片的算术解码部初始化时、也可以不参照第1行的第1切片的分割信息。第1行的第1切片的开始位置比第2行的第2切片靠后规定的编码单位数。该图像解码装置还具备通过将上述第1切片及上述第2切片至少部分地并行算术解码而将上述各个切片解码的算术解码部。

图14是用来表示本实施方式的功能的图，表示被分割为多个切片的图片390。图片390包括作为4个切片的通常切片391、通常切片392、依存切片393和通常切片394。

3个切片391、392及393包含在由编码单位(LCU)构成的第1行中。切片394包括第2行及第3行整体。

对切片化及行单位的并行处理的使用应用的限制的第1例是，“在entropy_code_sync_enabled_flag与1等同、dependent_slice_enabled_flag与1等同的情况下，通常切片可以仅在编码树块行的开头开始”。此外，entropy_code_sync_enabled_flag及dependent_slice_enabled_flag的两者的标志包含在图片参数集中。另外，编码树块(CTB)及最大编码单位(LCU)是相同的单位。在标准文本(参照非专利文献3)中，使用CTB。此外，在标准文本的前版本中使用LCU，而当前是使用CTB。

在通常切片仅在编码单位行(LCU行)的开头开始的情况下，其他行的接着该通常切片的依存切片也可以总是参照通常切片的CABAC状态。这里，所谓CABAC状态，是由WPP执行那样的最初的LCU或最初的两个LCU的处理后的CABAC状态。此外，由于依存切片的头依存于先行于它们的通常切片的头，所以在通常切片394丢失的情况下，需要将依存切片丢弃。

这样，在第1例的限制中，通常切片总是在LCU行的开头开始。换言之，LCU行的开头切片是通常切片，其他切片是依存切片。即，通常切片仅被识别为LCU的开头切片。此外，LCU行的开头以外的切片总是依存切片。

上述第1例的限制不需要是严格的。为了能够进行WPP的初始化的应用，只要使前行的通常切片的至少1个或两个LCU能够由依存切片利用就可以。

或者，作为另外的限制(规则)也可以应用第2例。在第2例中，在编码树块行中的第2个编码树块之后，不开始通常切片。由于通常切片必须在LCU行的开头开始，所以例如如图14所示，不认可将第2个切片392设定为通常切片。

另外，上述第1切片只要是开始位置在第1行的第2个编码单位之前就可以。此外，也可以第1切片是通常切片，第2切片是使用通常切片的切片头的依存切片。此外，第1切片的开始位置也可以是第1行的开头。

图15是设置了上述规则的情况下的CABAC初始化方法的决定处理的流程图。这里，使用图8所示的例子进行说明。

首先，判定切片(4)是否是依存切片(S111)。在切片(4)是依存切片的情况下(S111中的“是”)，进行WPP的初始化(S113)。另一方面，在切片(4)不是依存切片的情况下(S111中的“否”)，进行默认的初始化(S114)。

这样，有关本实施方式的图像编码方法使用上下文适应熵编码部。将该图像编码方法对至少被分割为两个部分的图片帧应用。至少两个部分分别是至少能够部分地并行编码及解码的第1部分及第2部分。

根据本实施方式，当将子流的第1部分向切片分割时，用不依存于第1部分的分割的方法决定流的第2部分的上下文表的初始化。例如由于将WPP按照每行(按照每LCU行)进行，所以流的一部分也可以对应于LCU行。

另外，本发明并不限定于上面例示的限制。或者，也可以将上述限制用不同的方法公式化。以下，说明限制的另一例。

在通常切片满足以下的(式3)的条件的情况下，在后续LCU行的开头开始的切片不是依存切片。

slice_adress％PicWidthInCtbsY>1···(式3)

为了简略化，也可以将上述条件用以下的(式4)表示。

slice_adress％PicWidthInCtbsY！＝0···(式4)

这里，“！＝”表示不等同。在entropy_coding_sync_enabled_flag与1等同的情况下，即，在能够进行LCU行的并行处理的情况下，能够应用这些限制。此外，“slice_adress”表示在比特流内开始的切片的位置，参数“PicWidthInCtbsY”表示LCU(编码树块)中的图片(帧)的宽度。

即，在通常切片不在行的开头开始的情况下，在紧挨着其之后的行中开始的切片不是依存切片(第3例)。通过该条件，不再需要在将第1行的某个位置的通常切片解析(解码)之前等待第2行的切片的解码。

即，在通常切片从第1行的开头以外开始的情况下，该第1行的接着的第2行不从依存切片开始。换言之，在第1行的第2个或其以后的切片中的至少一个是通常切片的情况下，第2行的开头切片是通常切片。

使用图16说明由上述第3例的限制产生的影响。图16所示的图片400包括第1行中包含的3个切片401～403。这3个切片中的最初的两个切片401及402是通常切片，第3个切片403是依存切片。

根据上述条件，不能将第4个切片404设定为依存切片。在图16中，通过对切片404赋予叉记号来表示该情况。

由此，比特流也可以包含通常切片及依存切片，这些解码基于在通常切片的切片头中进行信号传递的参数。在通常切片在比LCU行的开头靠后的位置开始的情况下，下个LCU行不以依存切片开始。

此外，使用图17A～图17D说明具体例。例如，如图17A所示，在第1行中存在通常切片(3)的情况下，不能将第2行的开头切片(4)设定为依存切片。此外，在切片(2)及切片(3)的至少一方是通常切片的情况下，不能将切片(4)设定为依存切片。由此，如图17B所示，需要将切片(4)设定为通常切片。此外，在第3例中，还认可图17C及图17D所示那样的图片。

另外，在上述第1例中，虽然不能认可图17A、图17B及图17D所示的图片，但认可图17C所示的图片。此外，在第2例中，虽然不能认可图17A及图17B所示的图片，但认可图17C及图17D所示的图片。

使用图18说明第4例的限制。在entropy_coding_sync_enabled_flag与1等同并且dependent_slice_enabled_flag与1等同的情况下，除了帧中的最初的切片以外，不认可通常切片(第4例)。

即，在能够并行处理且依存切片有效的情况下，仅将通常切片认可为帧中的最初的切片。即，除了最初的切片以外，帧中的全部的切片是依存切片。换言之，图像的开头切片是通常切片，其他全部的切片是依存切片。

图18所示的图片410包括5个切片411～415。切片411、412及415是通常切片，切片413及414是依存切片。按照上述第4例的限制，不认可除了第1个通常切片411以外的通常切片412及415。即，切片412及415必须是依存切片。此外，在第4例中，仅看到图17A～图17D所示的图片中的图17D所示的图片。

另外，在使用该第4例的限制的情况下，针对包损失的鲁棒性具有缺点。为了降低依存性，并为了减少损失较多的环境中的错误传播，所以一般使用通常切片。此外，在仅第1个切片为通常切片的帧中，承担着在不能将第1个切片解码的情况下不能将全部的切片解码的风险。

此外，作为另外的限制，也可以使用以下的限制。在切片(通常或依存切片)在LCU行的正中间(即，与行的开始位置不同的位置)开始的情况下，下个编码单位行不在依存切片开始(第5例)。

另外，如该技术领域的技术人员知道的那样，可以将这里记载的多个限制任意地组合。即，也可以将上述第1例～第5例组合而应用。

进而，以下举出限制的另外的例子。在entropy_coding_sync_enabled_flag与1等同的情况下，不能将1个LCU行分割为切片(第6例)。在应用了该限制的情况下，在图18所示的切片构造中，不认可切片412及413。即，在能够进行编码单位行的并行处理的情况下，切片仅被认可包含1个编码单位行整体或多个编码单位行整体。

这样，比特流包含通常切片及依存切片。通常切片及依存切片的解码基于由通常切片的切片头进行信号传递的参数。在仅将图像中的第1个切片作为通常切片、将其余的切片作为依存切片后，将图像分割为切片。

此外，各个切片包括m行的编码单位行的全部。这里，m是1以上的整数。即，各个切片包括1以上的行的全部。

此外，除了上述限制的应用以外或者取而代之，在依存切片有效、WPP及瓦片的某个有效的情况下，也可以将表示上述限制的指示符埋入到比特流中。例如，将该指示符埋入到SPS或PPS中。另外，该指示符也可以埋入到SEI消息等的另外的消息或任意的视频可用性信息(VUI)消息中。

基于该指示符，图像解码装置掌握应用的限制。例如，该限制是仅在LCU行(WPP)的开头或瓦片的开头认可通常切片的限制。另外，这不过是限制的一例，也可以应用上述限制的某种或这些限制的组合、或没有明示地记载的追加的限制。

例如，该指示符也可以是对规定的限制表示是否应用该限制的1位的标志。此外，也可以有可选择的多个限制，将表示所选择的限制的信息包含在比特流中而向图像解码装置进行信号传递。即，也可以不是如上述例子那样明示地限制使用，而是对图像解码装置通知图像编码装置使用这样的限制。因而，应用与限制关联的上述例子的哪个都可以。

这样，有关本发明的一方式的图像解码方法包括在依存切片有效的情况下从比特流取得表示图片的分割被限制的限制指示符的步骤。此外，有关本发明的一方式的图像编码方法包括在依存切片有效的情况下将表示图片的分割被限制的限制指示符向比特流埋入的步骤。

另外，也可以不根据WPP、瓦片或依存切片是否有效化来决定是否追加指示符。

此外，有关本发明的一方式的图像解码方法是对包含编码信号的比特流进行解码的图像解码方法，该编码信号是将图像分割为分别包含多个编码单位(LCU)的多个切片而编码后的信号，包括将上述编码信号解码的解码步骤。此外，有关本发明的一方式的图像编码方法是通过将图像分割为分别包含多个编码单位(LCU)的多个切片并编码而生成比特流的图像编码方法，包括将图像分割为多个切片的分割步骤、和将分割后的多个切片编码的编码步骤。

此外，多个切片分别是通常切片和依存切片的某个。通常切片是包含在该切片的切片头中的信息有可能被用在另外的切片中的切片。依存切片是在解码使用包含在另外的切片的切片头中的信息的切片。这里，所谓另外的切片，例如是位于依存切片之前且最近的通常切片。

此外，在解码步骤中，将依存切片的算术解码使用切片头被用在该依存切片中的母切片的上下文来初始化。此外，在编码步骤中，将依存切片的算术编码使用切片头被用在该依存切片中的母切片的上下文来初始化。

此外，图像包括多个行，该多个行的每个行包含多个编码单位。

此外，在分割步骤中，将图像分割为多个瓦片并分割为多个切片，以满足上述限制的1个或多个。

此外，在解码步骤中，也可以将第1行及第2行并行解码，在开始第2行的解码时，不参照表示第1行的切片构造的分割信息而将第2行解码。此外，在分割步骤中，也可以将图像分割为多个切片，以使得在图像解码装置中将第1行及第2行并行解码的情况下，当该图像解码装置开始第2行的解码时，能够不参照表示第1行的切片构造的分割信息而将第2行解码。

这里，所谓分割信息，例如是表示切片位置(开头位置)或切片头的位置的信息。图像解码装置仅通过参照该分割信息来决定上述CABAC初始化方法的处理。

此外，所谓并行解码，例如是上述WPP。即，在解码步骤中，将第2行的算术解码使用第1行的第2个编码单位被算术解码后的上下文来初始化。此外，在编码步骤中，将第2行的算术编码使用第1行的第2个编码单位被算术编码后的上下文来初始化。

此外，如上述那样，在切片头中包含表示该切片是通常切片还是依存切片的信息(dependent_slice_flag)。即，图像解码方法包括从切片头中取得表示切片是通常切片还是依存切片的信息的步骤。此外，图像编码方法包括将表示切片是通常切片还是依存切片的信息埋入到切片头中的步骤。

如以上这样，本实施方式在并行处理中通过考虑到先行切片的CABAC初始化，能够防止依存切片处理延迟2以上或3以上的编码单位量。由此，能够将行的编码、解码及解析有效率地并行处理。

另外，本发明并不限定于限制切片化的方法的实施方式。此外，上述限制也可以与能得到CABAC上下文的切片关联。

(实施方式3)

在本实施方式中，将WPP处理时的对于依存切片的CABAC初始化方法变更。具体而言，将对于依存切片的母切片的分配规则变更。

例如，设定如下规则，即，不论向切片的LCU行的分割(及/或后续切片的类别)如何，依存切片都总是从同一切片取得切片头及CABAC上下文。

图19所示的图片420包括切片421～424。在当前的HEVC中，依存切片424的母切片是切片422。即，依存切片424的切片头从作为先行的最近的通常切片的切片422取得。

如使用图9说明的那样，依存切片也有使用处于先行的LCU行的开头的通常切片进行CABAC初始化的情况。但是，在切片422丢失的情况下，能够进行切片424的CABAC的初始化，但由于切片头信息缺失，所以不能将切片424解码。

相对于此，在本实施方式中，依存切片具有从与包含依存切片的行相同或前面的行开始的最近的通常切片来作为母切片。按照该规则，在本实施方式中，如图19所示，将切片424的母切片设定为切片421。并且，依存切片424使用切片421的切片头并使用切片421的CABAC状态来进行CABAC初始化。

此外，设定切片的依存性，以将各依存切片的算术解码部基于母切片的算术解码部的上下文来初始化。

另外，表示在切片的初始化中使用的CABAC上下文表的信息也可以在SEI消息内明示地进行信号传递。即，也可以将认为会在CABAC引擎的初始化中使用的全部的初始值明示地在SEI消息内进行信号传递。

另外，在上述说明中使用的“切片(通常切片或依存切片)”也有被称作“切片区段(通常切片区段或依存切片区段)”的情况。在此情况下，将包含1个以上连续的切片区段的单位称作“切片”。具体而言，一个切片包括一个通常切片区段、和在该通常切片区段之后连续的1个以上的依存切片区段。即，在紧挨着某个通常切片区段之后的是通常切片区段的情况下，切片仅包含该通常切片区段。此外，在紧挨着某个通常切片区段之后的1个以上的依存切片区段连续的情况下，切片包括该通常切片区段和该1个以上的依存切片区段。即，从通常切片区段到紧挨着下个通常切片区段之前的依存切片区段为止是包含在一个切片中的。

此外，在使用这样的定义的情况下，上述LCU行和切片的限制的第3例可以说对应于以下的定义。

在entropy_coding_sync_enabled_flag与1相等、并且在切片中包含的最初的编码树块(LCU)不是编码树块行的最初的编码树块的情况下，对比特流的标准要求上述切片中包含的最后的编码树块属于与该切片中包含的最初的编码树块相同的编码树块行。

这里，切片中包含的最初的编码树块不是编码树块行的最初的编码树块的情况，是指通常切片区段从编码树块行的开头以外开始的情况。此外，所谓上述切片中包含的最后的编码树块属于与该切片中包含的最初的编码树块相同的编码树块行，与下一行不从依存切片开始的情况对应。

例如，在图17B所示的例子中，由切片区段(1)及(2)(在图17B中记载为切片(1)及切片(2)。以下使用同样的记载)构成一个切片，由切片区段(3)构成一个切片，由切片区段(4)及(5)构成一个切片。其中，切片的最初的编码树块不是编码树块行的最初的编码树块的切片仅是由切片区段(3)构成的切片。该切片的最后的编码树块属于与该切片的最初的编码树块相同的编码树块行(第1行)。由此，认可图17B所示的结构。

另一方面，在图17A所示的例子中，由切片区段(3)～(5)构成一个切片。该切片的最初的编码树块(切片区段(3)的最初的编码树块)和该切片的最后的编码树块(切片区段(5)的最后的编码树块)属于不同的编码树块行。由此，不认可图17A所示的结构。

此外，在图17C中，由切片区段(1)～(3)构成一个切片，由切片区段(4)～(5)构成一个切片。此外，在图17D中，由切片区段(1)～(5)构成一个切片。即，在图17C及图17D中，不存在切片的最初的编码树块不是编码树块行的最初的编码树块的切片、即不存在从行的中途开始的切片。由此，认可图17C及图17D所示的结构。

此外，在entropy_coding_sync_enabled_flag与1相等、并且切片区段中包含的最初的编码树块(LCU)不是编码树块行的最初的编码树块的情况下，对比特流的标准要求上述切片区段中包含的最后的编码树块属于与该切片区段中包含的最初的编码树块相同的编码树块行。

以上，对有关实施方式的图像编码方法及图像解码方法进行了说明，但本发明并不限定于该实施方式。

上述图像编码方法及图像解码方法由图像编码装置及图像解码装置实现。此外，图像编码装置及图像解码装置的结构例如与图1及图2所示的结构是同样的，上述图像编码方法及图像解码方法中包含的特征性的步骤由图1及图2所图示的某个处理部或未图示的处理部执行。

此外，上述有关实施方式的图像编码装置及图像解码装置中包含的各处理部典型地作为集成电路即LSI实现。它们既可以单个地一芯片化，也可以包含一部分或全部而一芯片化。

此外，集成电路化并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)或能够重构LSI内部的电路单元的连接及设定的可重构处理器。

在上述各实施方式中，各构成要素也可以由专用的硬件构成、或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录媒体中的软件程序读出并执行来实现。

换言之，图像编码装置及图像解码装置具备控制电路(control circuitry)和电气地连接在该控制电路上的(能够从该控制电路访问的)存储装置(storage)。控制电路包括专用的硬件及程序执行部的至少一方。此外，存储装置在控制电路包含程序执行部的情况下，存储由该程序执行部执行的软件程序。

进而，本发明也可以是上述软件程序，也可以是记录有上述程序的非暂时性的计算机可读取的记录媒体。此外，上述程序当然可以经由因特网等的传送媒体流通。

此外，在上述中使用的数字全部是为了具体地说明本发明而例示的，本发明并不限制于例示的数字。

此外，块图中的功能块的分割是一例，也可以将多个功能块作为一个功能块实现，或将一个功能块分割为多个，或将一部分的功能转移到其他功能块中。此外，也可以是单一的硬件或软件将具有类似的功能的多个功能块的功能并行或分时地处理。

此外，上述的图像编码方法或图像解码方法中包含的步骤被执行的顺序是为了具体地说明本发明而用来例示的，也可以是上述以外的顺序。此外，也可以将上述步骤的一部分与其他步骤同时(并行)执行。

以上，关于有关本发明的一个或多个方式的图像编码装置及图像解码装置基于实施方式进行了说明，但本发明并不限定于该实施方式。只要不脱离本发明的主旨，对本实施方式实施了本领域技术人员想到的各种变形后的方式、或将不同的实施方式的构成要素组合而构建的方式也可以包含在本发明的一个或多个方式的范围内。

(实施方式4)

通过将用来实现上述各实施方式所示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。

进而，这里说明在上述各实施方式中示出的运动图像编码方法(图像编码方法)及运动图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。

图20是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。

该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex107～ex110连接着计算机ex111、PDA(PersonalDigital Assistant)ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。

但是，内容供给系统ex100并不限定于图20那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex107～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。

照相机ex113是能够进行数字摄像机等的运动图像摄影的设备，照相机ex116是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外，便携电话ex114是GSM(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W－CDMA(Wideband－Code Division Multiple Access)方式、或LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)的便携电话机、或PHS(PersonalHandyphone System)等，是哪种都可以。

在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场转播等。在现场转播中，对用户使用照相机ex113摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即，作为本发明的一个方式的图像编码装置发挥作用)，向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现(即，作为本发明的一个方式的图像解码装置发挥作用)。

另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或运动图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。

此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质(CD－ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话ex114具有的LSIex500编码处理的数据。

此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。

如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特另外的权利或设备的用户也能够实现个人广播。

另外，并不限定于内容供给系统ex100的例子，如图21所示，在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据(即，通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB)ex217等的装置将接收到的复用数据解码并将其再现(即，作为本发明的一个方式的图像解码装置发挥作用)。

此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。

图22是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。

此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。

首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以是，在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。

此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。

此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。

作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图23中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。

以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近场光进行高密度的记录的结构。

在图24中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。

以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。

此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另外，车载导航仪ex211的结构可以考虑例如在图22所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。

图25A是表示使用在上述实施方式中说明的运动图像解码方法和运动图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。

进而，使用图25B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD(Liquid Crystal Display：液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。

电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作的状态。

便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。

进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex358。

在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码(即，作为本发明的一个方式的图像编码装置发挥作用)，将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。

复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。

在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由此对影像信号进行解码(即，作为本发明的一个方式的图像解码装置发挥作用)，经由LCD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。

此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。

这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。

此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。

(实施方式5)

也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的标准的运动图像编码方法或装置根据需要而适当切换，来生成影像数据。

这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。

为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。

图26是表示复用数据的结构的图。如图26所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的运动图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。

包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。

图27是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。

图28更详细地表示在PES包序列中怎样保存视频流。图28的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图28的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS(PresentationTime-Stamp)及作为图片的解码时刻的DTS(Decoding Time-Stamp)。

图29表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS(Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图29下段所示排列，从复用数据的开头起递增的号码被称作SPN(源包号)。

此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS及DTS的时间轴的STC(System TimeClock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。

图30是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。

在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。

复用数据信息文件如图31所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。

复用数据信息如图31所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的终端的视频帧的PTS加上1帧量的再现间隔的值。

流属性信息如图32所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。

在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。

此外，在图33中表示本实施方式的运动图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的运动图像解码方法进行解码。

这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述任何设备、系统中。

(实施方式6)

在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图34中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。

例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。

另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。

此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex510的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。

另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。

此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field ProgrammableGate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。这样的可编程逻辑设备典型地是通过将构成软件或固件的程序下载或从存储器等读入来执行上述各实施方式表示的运动图像编码方法或运动图像解码方法。

进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。

(实施方式7)

在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。

为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图35表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。

更具体地讲，驱动频率切换部ex803由图34的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图34的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式5中记载的识别信息。关于识别信息，并不限定于在实施方式5中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图37所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。

图36表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。

进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。

此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。

进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定得短。

这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。

(实施方式8)

在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。

为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部一部分共用的结构。图38A的ex900表示该结构例。例如，在上述各实施方式中示出的运动图像解码方法和依据MPEG4－AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC标准的解码处理部ex902，关于不对应于MPEG4－AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。特别是，本发明在图片的分割处理方面具有特征，因此可以考虑例如对于图片的分割处理使用专用的解码处理部ex901，对于除此之外的逆量化、熵解码、解块滤波器、运动补偿中的某一个或者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4－AVC标准所特有的处理内容，使用专用的解码处理部。

此外，用图38B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。

这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。

产业上的可利用性

本发明能够应用到图像编码方法、图像解码方法、图像编码装置及图像解码装置中。此外，本发明能够在具备图像编码装置的电视机、数字视频记录机、汽车导航仪、便携电话、数字照相机及数字摄像机等的高分辨率的信息显示设备或摄像设备中利用。

标号说明

100图像编码装置、101输入图像信号、105减法器、106残差信号、110变换部、111变换系数、120量化部、121、291量化系数、130、230逆变部、131、231残差信号、140、240加法器、141、151、161、171、241、251、261、271解码图像信号、150、250解块滤波器、160、260自适应的循环滤波器、170、270参照帧缓冲器、180、280预测部、181、281预测信号、190熵编码部、191、201编码信号、200图像解码装置、290熵解码部、300、310、330、340、350、360、370、390、400、410、420图片、301、302、311、312、313、314、321、381行、320、380切片头、331、332、333、341、342、343、344、351、354、361、362、363、364、365、371、372、373、374、391、392、393、394、401、402、403、404、411、412、413、414、415、421、422、423、424切片

Claims (19)

1.一种图像解码方法，对包含编码信号的比特流进行解码，所述编码信号是将图像分割为多个切片而编码后的信号，该多个切片的各个切片包含多个编码单位，所述图像解码方法的特征在于，

包括将上述编码信号解码的解码步骤，

上述多个切片分别是通常切片和依存切片中的某个，所述通常切片是该切片的切片头中包含的信息被用在另外的切片中的切片，所述依存切片是在解码中使用包含在另外的切片的切片头中的信息的切片，

上述图像包括多个行，该多个行的各个行包含多个编码单位，

在通常切片从第1行的开头以外开始的情况下，该第1行的接着的第2行不从依存切片开始。

2.如权利要求1所述的图像解码方法，其特征在于，

在上述解码步骤中，

将上述第1行及上述第2行并行解码，

在开始上述第2行的解码时，不参照表示上述第1行中的切片构造的分割信息而将上述第2行解码。

3.如权利要求1或2所述的图像解码方法，其特征在于，

在上述解码步骤中，

将上述第2行的算术解码使用上述第1行的第2个编码单位被算术解码后的上下文来初始化。

4.如权利要求1～3中任一项所述的图像解码方法，其特征在于，

上述图像解码方法还包括从切片头取得表示切片是通常切片还是依存切片的信息的步骤。

5.如权利要求1～4中任一项所述的图像解码方法，其特征在于，

上述图像的开头切片是通常切片，其他全部的切片是依存切片。

6.如权利要求1～5中任一项所述的图像解码方法，其特征在于，

各个切片包括1个以上的行的全部。

7.如权利要求1～6中任一项所述的图像解码方法，其特征在于，

将上述依存切片的算术解码使用切片头被用在该依存切片中的母切片的上下文来初始化。

8.如权利要求1～7中任一项所述的图像解码方法，其特征在于，

上述图像解码方法还包括在上述依存切片是有效的情况下从上述比特流取得表示图片的分割被限制的限制指示符的步骤。

9.一种图像编码方法，通过将图像分割为多个切片并编码而生成比特流，该多个切片的各个切片包含多个编码单位，所述图像编码方法的特征在于，

包括：

分割步骤，将上述图像分割为多个切片；以及

编码步骤，将分割后的多个切片编码，

上述多个切片分别是通常切片和依存切片中的某个，所述通常切片是该切片的切片头中包含的信息被用在另外的切片中的切片，所述依存切片是在解码中使用包含在另外的切片的切片头中的信息的切片，

上述图像包括多个行，该多个行的各个行包含多个编码单位，

在上述分割步骤中，将上述图像分割为多个切片，以使得在通常切片从第1行的开头以外开始的情况下，该第1行的接着的第2行不从依存切片开始。

10.如权利要求9所述的图像编码方法，其特征在于，

在上述分割步骤中，将上述图像分割为上述多个切片，以使得在图像解码装置中将上述第1行及上述第2行并行解码的情况下，当该图像解码装置开始上述第2行的解码时能够不参照表示上述第1行的切片构造的分割信息而将上述第2行解码。

11.如权利要求9或10所述的图像编码方法，其特征在于，

在上述编码步骤中，将上述第2行的算术编码使用上述第1行的第2个编码单位被算术编码后的上下文来初始化。

12.如权利要求9～11中任一项所述的图像编码方法，其特征在于，

上述图像编码方法还包括将表示切片是通常切片还是依存切片的信息埋入到切片头中的步骤。

13.如权利要求9～12中任一项所述的图像编码方法，其特征在于，

上述图像的开头切片是通常切片，其他全部的切片是依存切片。

14.如权利要求9～13中任一项所述的图像编码方法，其特征在于，

各个切片包括1个以上的行的全部。

15.如权利要求9～14中任一项所述的图像编码方法，其特征在于，

将上述依存切片的算术编码使用切片头被用在该依存切片中的母切片的上下文来初始化。

16.如权利要求9～15中任一项所述的图像编码方法，其特征在于，

上述图像编码方法还包括在上述依存切片是有效的情况下将表示图片的分割被限制的限制指示符埋入到上述比特流中的步骤。

17.一种图像解码装置，对包含编码信号的比特流进行解码，所述编码信号是将图像分割为多个切片而编码后的信号，该多个切片的各个切片包含多个编码单位，所述图像解码装置的特征在于，

具备将上述编码信号解码的解码部，

上述多个切片分别是通常切片和依存切片中的某个，所述通常切片是该切片的切片头中包含的信息被用在另外的切片中的切片，所述依存切片是在解码中使用包含在另外的切片的切片头中的信息的切片，

上述图像包括多个行，该多个行的各个行包含多个编码单位，

在通常切片从第1行的开头以外开始的情况下，该第1行的接着的第2行不从依存切片开始。

18.一种图像编码装置，通过将图像分割为多个切片并编码而生成比特流，该多个切片的各个切片包含多个编码单位，所述图像编码装置的特征在于，

具备：

分割部，将上述图像分割为多个切片；以及

编码部，将分割后的多个切片编码，

上述多个切片分别是通常切片和依存切片中的某个，所述通常切片是该切片的切片头中包含的信息被用在另外的切片中的切片，所述依存切片是在解码中使用包含在另外的切片的切片头中的信息的切片，

上述图像包括多个行，该多个行的各个行包含多个编码单位，

上述分割部将上述图像分割为多个切片，以使得在通常切片从第1行的开头以外开始的情况下，接着该第1行之后被编码的第2行不从依存切片开始。

19.一种图像编解码装置，其特征在于，具备：

权利要求18所述的图像编码装置；以及

权利要求17所述的图像解码装置。