CN103609110A - 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置 - Google Patents

Abstract

一种图像解码方法，将编码流中包含的图像数据按每个块进行解码，其特征在于，包括以下步骤：导出步骤，导出在解码对象块的画面内预测中使用的帧内预测模式的候选，该帧内预测模式的候选始终为2以上的数量；取得步骤，从上述编码流取得用来从导出的上述帧内预测模式的候选中确定1个候选的索引；以及决定步骤，基于所取得的上述索引，将导出的上述帧内预测模式的候选中的1个候选决定为在上述解码对象块的画面内预测中使用的上述帧内预测模式。

Description

图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置

技术领域

本发明涉及运动图像的图像解码方法及图像编码方法等。特别是涉及包含在预测像素的生成中使用的帧内预测模式号码的模式信息的解码方法及编码方法等。

背景技术

在作为下一代图像编码标准规格的HEVC（High Efficiency VideoCoding）标准中，为了提高编码效率而进行了各种研究（参照非专利文献1）。

在编码中，有通过帧间预测进行压缩的帧间编码、以及通过帧内预测进行压缩的帧内编码，帧间预测参照前面的帧的像素信息生成预测图像，帧内预测参照相同画面内的像素信息生成预测图像。

在帧内编码中，为了区别用于生成帧内预测像素的方向等，准备了与进行编码的编码对象块的规定尺寸（例如，log2TrafoSize的值和PredictionUnit的种类）对应的数量（intraPredModeNum）的模式。

例如，正在研究对于尺寸log2TrafoSize的值为3以上5以下的编码对象块准备34个（intraPredModeNum的值为34）模式（图15）。

该模式被称为帧内预测模式（IntraPredMode）。帧内预测模式的值（帧内预测模式号码）是代表预测的方向的值。作为帧内预测模式，例如有34个模式或17个模式。例如，帧内预测模式号码（或者标签）“0”表示垂直（方向），帧内预测模式号码“1”表示水平（方向），帧内预测模式号码“2”表示称作DC模式预测的无方向，关于帧内预测模式号码是3以上的值（关于规定的尺寸的块是3以上33以下的值）的情况，表示分别建立了对应的规定的角度的方向。

以下，在说明书中，将与编码对象块建立对应的帧内预测模式号码称作“对象模式号码”。在与该“对象模式号码”进行区别的基础上，将由通过规定的编码方式将“对象模式号码”编码后的代码列表示的值称作“编码模式号码”。

在解码对象块（作为例子是亮度块）的解码中，使用作为“用来确定使用多个帧内预测模式中的哪个帧内预测模式的信息”的模式信息。模式信息按预测单位（Prediction unit，以下适当称作“PU”）生成。

目前，正在研究在模式信息中包含以下的3个信息。

（I1）“预测模式使用标志”（prev_intra_luma_pred_flag），是决定是否使用在以前被解码的邻接的PU的帧内预测模式的值的标志。

（I2）“预测模式候选号码”（mpm_idx），是表示在有两个以上的帧内预测模式的候选的情况下使用哪个帧内预测模式的候选的索引。例如，默认将表示帧内预测模式的候选的第1个的索引设为值“0”。

（I3）“编码模式号码”（rem_intra_luma_pred_mode），在不使用以前被解码的邻接的PU的帧内预测模式号码的情况下，是与“对象模式号码”建立了对应的代码（值）。在解码过程中，（1）首先，从模式信息中包含的代码列中通过规定的可变长解码方式等（算术解码方法等）提取该“编码模式号码”，（2）接着，使用所提取的值导出“对象模式号码”（上述的0以上33以下的34个模式的某个等）（或者导出用来进行导出的信息）。

现有技术文献

非专利文献

非专利文献1：Joint Collaborative Team on Video Coding（JCT-VC）ofITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting：Geneva，CH，-6-23 March，2011 JCTVC-E603 Title：WD3：Working Draft 3 ofHigh-Efficiency Video Coding ver.5

http://phenix.int-evry.fr/jct/doc_end_user/documents/5_Geneva/wg11/JCTVC-E603-v5.zip

发明概要

发明要解决的问题

但是，在以往的帧内编码中，有模式信息的压缩效率不充分的问题。

发明内容

所以，本发明是为了解决上述以往的问题而做出的，目的是提供一种能够实现模式信息的压缩效率的提高的图像编码方法、图像编码装置、图像解码方法、图像解码装置及图像编码解码装置。

解决问题所采用的手段

为了解决上述问题，有关本发明的一技术方案的图像解码方法，将编码流中包含的图像数据按每个块进行解码，其特征在于，包括以下步骤：导出步骤，导出在解码对象块的画面内预测中使用的帧内预测模式的候选，该帧内预测模式的候选始终为2以上的数量；取得步骤，从上述编码流取得用来从导出的上述帧内预测模式的候选中确定1个候选的索引；以及决定步骤，基于所取得的上述索引，将导出的上述帧内预测模式的候选中的1个候选决定为在上述解码对象块的画面内预测中使用的上述帧内预测模式。

为了解决上述问题，有关本发明的一技术方案的图像编码方法，通过将图像数据按每个块进行编码而生成编码流，其特征在于，包括以下步骤：导出步骤，导出在与编码对象块对应的解码对象块的画面内预测中使用的帧内预测模式的候选，该帧内预测模式的候选始终为2以上的数量；决定步骤，将导出的上述帧内预测模式的候选中的1个候选决定为在上述解码对象块的画面内预测中使用的帧内预测模式；以及附加步骤，对上述编码流附加用来从导出的上述帧内预测模式的候选中确定所决定的上述1个候选的索引。

为了解决上述问题，有关本发明的一技术方案的图像解码装置，将编码流中包含的图像数据按每个块进行解码，其特征在于，具备：导出部，导出在解码对象块的画面内预测中使用的帧内预测模式的候选，该帧内预测模式的候选始终为2以上的数量；取得部，从上述编码流取得用来从导出的上述帧内预测模式的候选中确定1个候选的索引；以及决定部，基于所取得的上述索引，将导出的上述帧内预测模式的候选中的1个候选决定为在上述解码对象块的画面内预测中使用的上述帧内预测模式。

为了解决上述问题，有关本发明的一技术方案的图像编码装置，通过将图像数据按每个块进行编码而生成编码流，其特征在于，具备：导出部，导出在与编码对象块对应的解码对象块的画面内预测中使用的帧内预测模式的候选，该帧内预测模式的候选始终为2以上的数量；决定部，将导出的上述帧内预测模式的候选中的1个候选决定为在上述解码对象块的画面内预测中使用的帧内预测模式；以及附加部，对上述编码流附加用来从导出的上述帧内预测模式的候选中确定所决定的上述1个候选的索引。

为了解决上述问题，有关本发明的一技术方案的图像编码解码装置具备上述图像解码装置和上述图像编码装置。

另外，这些全局性或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或记录介质实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合实现。

发明效果

根据本发明，能够在维持编码效率的同时实现处理量的削减。

附图说明

图1是表示有关实施方式1的图像编码装置的结构例的模块图。

图2是表示有关实施方式1的图像编码方法的模式信息的生成方法的流程图。

图3是详细地说明图2的步骤S215的流程图。

图4是表示第1实施方式的预测模式决定方法的流程图。

图5是说明基于CABAC方式的编码模式号码的编码方法（步骤S217）的一例的流程图。

图6A是表示现有技术的语法结构的一例的概念图。

图6B是表示实施方式1的语法结构的一例的概念图。

图7是表示第1实施方式的预测模式决定方法的变形例的流程图。

图8是说明编码模式号码的其他编码方法（步骤S217）的例子的流程图。

图9A是表示在编码模式号码的其他编码方法（步骤S217）中使用的编码表的一例的表。

图9B是表示在编码模式号码的其他编码方法（步骤S217）中使用的编码表的一例的表。

图10是表示第2实施方式的解码装置的结构的模块图。

图11是表示第2实施方式的解码方法的流程图。

图12A是表示比特序列是通过CABAC输出的情况下的算术解码处理的处理顺序的流程图。

图12B是表示比特序列是通过CAVLC输出的情况下的算术解码处理的处理顺序的流程图。

图13是详细地说明步骤S1117的第1例的流程图。

图14是详细地说明步骤S1115的流程图。

图15是表示解码预测模式的一例的概念图。

图16是实现内容分发服务的内容供给系统的整体结构图。

图17是数字广播用系统的整体结构图。

图18是表示电视机的结构例的模块图。

图19是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。

图20是表示作为光盘的记录介质的构造例的图。

图21A是表示便携电话的一例的图。

图21B是表示便携电话的结构例的模块图。

图22是表示复用数据的结构的图。

图23是示意地表示各流在复用数据中怎样被复用的图。

图24是更详细地表示在PES包序列中视频流怎样被保存的图。

图25是表示复用数据的TS包和源包的构造的图。

图26是表示PMT的数据结构的图。

图27是表示复用数据信息的内部结构的图。

图28是表示流属性信息的内部结构的图。

图29是表示识别影像数据的步骤的图。

图30是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的模块图。

图31是表示切换驱动频率的结构的图。

图32是表示识别影像数据、切换驱动频率的步骤的图。

图33是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。

图34A是表示将信号处理部的模块共用的结构的一例的图。

图34B是表示将信号处理部的模块共用的结构的另一例的图。

具体实施方式

为了解决上述问题，有关本发明的一技术方案的图像解码方法，将编码流中包含的图像数据按每个块进行解码，其特征在于，包括以下步骤：导出步骤，导出在解码对象块的画面内预测中使用的帧内预测模式的候选，该帧内预测模式的候选始终为2以上的数量；取得步骤，从上述编码流取得用来从导出的上述帧内预测模式的候选中确定1个候选的索引；以及决定步骤，基于所取得的上述索引，将导出的上述帧内预测模式的候选中的1个候选决定为在上述解码对象块的画面内预测中使用的上述帧内预测模式。

这里，作为以往的模式信息的结构，可以考虑以下的3个。

（M1）在使用帧内预测模式的候选的某1个、并且帧内预测模式的候选数（NumMPMCand的值）是多个的情况下，模式信息中包含的信息为（I1）“预测模式使用标志”及（I2）“预测模式候选号码”。

（M2）在使用帧内预测模式的候选、并且帧内预测模式的候选是1个的情况下，模式信息中包含的信息仅为（I1）“预测模式使用标志”。这是因为，在帧内预测模式的候选是1个的情况下，由于对象模式号码被唯一地确定，所以不需要包含（I2）“预测模式候选号码”。以往，为了模式信息的信息量的削减，在帧内预测模式的候选为1个的情况下，采用不包含“预测模式候选号码”的结构。

（M3）在不使用帧内预测模式的候选的情况下，模式信息中包含的信息为将（I1）“预测模式使用标志”及（I3）将对象模式号码编码的“编码模式号码”。另外，“编码模式号码”的信息量与（I2）“预测模式候选号码”等相比非常多。

在上述结构的图像解码方法中，由于始终导出两个以上的数量的候选，所以利用帧内预测模式的候选的PU的比例变高。即，由于信息量比较少的模式信息（M2）的比例增加，信息量多的模式信息（M3）的比例减少，所以能够降低信息量。另外，在与以往的模式信息（M1）相当的情况下，也需要与模式信息（M2）相同的信息量，所以对于与以往的模式信息（M1）相当的情况，信息量增大。但是，由于（I2）“预测模式候选号码”的信息量与（I3）“编码模式号码”的信息量相比非常少，所以在帧整体或编码对象块整体中，削减量超过信息的增大量，能够实现模式信息的信息量的削减。

此外，例如上述2以上的数量也可以是固定的数量。

根据上述结构的图像解码方法，由于将导出的帧内预测模式的候选的数量固定为2以上的数量，所以在使用帧内预测模式的候选的情况下，不再需要进行判断帧内预测模式的候选的数量的处理。

判断帧内预测模式的候选的数量的处理例如是判断由图6A的条件式901“if（NumMPMCand>1）”表示的帧内预测模式的候选的数量是否是1个的处理。在该处理中，例如需要求出参照的多个PU的帧内预测模式号码、求出多个PU中的帧内预测模式号码是否一致的处理。

这里，导出参照的多个PU的帧内预测模式号码的处理、和求出在解码对象块中使用的帧内预测模式的处理，为了高速化而有并行运算的情况。以往，在（I1）“预测模式使用标志”表示使用帧内预测模式的候选的情况下，为了判断在编码流中是否包含索引，需要得到将参照的多个PU的帧内预测模式号码导出的处理的结果，所以在该处理的结果出来之前，不能进行求出在解码对象块中使用的帧内预测模式的处理，高速化不充分。

另一方面，在上述结构的图像解码方法中，由于始终生成2以上的固定数的预测模式的候选，所以不再需要判断帧内预测模式的候选的数量的处理，能够不依存于预测模式数（候选数）而在解码侧将参数解码。由此，能够不等待将参照的多个PU的帧内预测模式号码导出的处理的结果，而进行求出在解码对象块中使用的帧内预测模式的处理。由此，能够实现执行上述图像解码方法的装置的高速化。

此外，例如也可以构成为，上述导出步骤包括以下步骤：第1导出步骤，从在与上述解码对象块邻接的各邻接块的画面内预测中使用的帧内预测模式，导出上述帧内预测模式的第1候选；判断步骤，判断所导出的上述第1候选的数量是否比上述2以上的数量小；以及第2导出步骤，在判断为上述第1候选的数量比上述2以上的数量小的情况下，进一步导出上述帧内预测模式的第2候选。

此外，例如也可以是，在上述第1导出步骤中，取得在画面内预测中使用的帧内预测模式的上述邻接块的数量是与上述2以上的数量相同的数量。

此外，例如也可以是，在上述第2导出步骤中，以上述第1候选的数量与上述第2候选的数量的合计始终为上述2以上的数量的方式，导出上述第2候选。

此外，例如也可以构成为，在上述第2导出步骤中，导出与在邻接于上述解码对象块的各邻接块的画面内预测中使用的帧内预测模式不同的帧内预测模式，作为上述第2候选。

此外，例如也可以构成为，在上述第2导出步骤中，将表示使用上述解码对象块的像素值的平均值进行预测的帧内预测模式、表示平面预测的帧内预测模式和表示纵向预测的帧内预测模式中的至少某1个作为上述第2候选来导出。

此外，例如也可以构成为，上述导出步骤，在有与上述解码对象块邻接的邻接块的情况下，导出在上述邻接块的画面内预测中使用的帧内预测模式以外的帧内预测模式，作为上述帧内预测模式的候选，在没有与上述解码对象块邻接的邻接块的情况下，基于预先决定的条件，导出上述帧内预测模式的候选。

此外，例如也可以是，在上述导出步骤中，还使用上述帧内预测模式的候选来制作候选列表；上述索引是用来识别在上述候选列表中包含的上述帧内预测模式的候选的号码。

为了解决上述问题，有关本发明的一技术方案的图像编码方法，通过将图像数据按每个块进行编码而生成编码流，其特征在于，包括以下步骤导出步骤，导出在与编码对象块对应的解码对象块的画面内预测中使用的帧内预测模式的候选，该帧内预测模式的候选始终为2以上的数量；决定步骤，将导出的上述帧内预测模式的候选中的1个候选决定为在上述解码对象块的画面内预测中使用的帧内预测模式；以及附加步骤，对上述编码流附加用来从导出的上述帧内预测模式的候选中确定所决定的上述1个候选的索引。

此外，例如上述2以上的数量也可以是固定的数量。

为了解决上述问题，有关本发明的一技术方案的图像解码装置，将编码流中包含的图像数据按每个块进行解码，其特征在于，具备：导出部，导出在解码对象块的画面内预测中使用的帧内预测模式的候选，该帧内预测模式的候选始终为2以上的数量；取得部，从上述编码流取得用来从导出的上述帧内预测模式的候选中确定1个候选的索引；以及决定部，基于所取得的上述索引，将导出的上述帧内预测模式的候选中的1个候选决定为在上述解码对象块的画面内预测中使用的上述帧内预测模式。

为了解决上述问题，有关本发明的一技术方案的图像编码装置，通过将图像数据按每个块进行编码而生成编码流，其特征在于，具备：导出部，导出在与编码对象块对应的解码对象块的画面内预测中使用的帧内预测模式的候选，该帧内预测模式的候选始终为2以上的数量；决定部，将导出的上述帧内预测模式的候选中的1个候选决定为在上述解码对象块的画面内预测中使用的帧内预测模式；以及附加部，对上述编码流附加用来从导出的上述帧内预测模式的候选中确定所决定的上述1个候选的索引。

为了解决上述问题，有关本发明的一技术方案的图像编码解码装置具备上述图像解码装置和上述图像编码装置。

此外，构成上述图像编码装置及图像解码装置的构成要素的一部分或全部也可以由1个系统LSI（Large Scale Integration：大规模集成电路）构成。系统LSI是将多个结构部集成在1个芯片上而制造的超多功能LSI，具体而言是包含微处理器、ROM及RAM（Random Access Memory）等而构成的计算机系统。

以下，参照附图对本发明的实施方式进行说明。另外，以下说明的实施方式都是表示本发明的优选的一具体例的。在以下的实施方式中表示的构成要素、构成要素的配置位置及连接形态、处理、处理的顺序等是一例，并不意欲限定本发明。此外，关于以下的实施方式的构成要素中的、在表示本发明的最上位概念的独立权利要求中没有记载的构成要素，作为构成更优选的形态的任意的构成要素进行说明。

（实施方式1）

基于图1～图6B，对本发明的有关实施方式1的图像编码方法、以及执行该图像编码方法的图像编码装置进行说明。

图像编码装置具备对于各PU进行表示在帧内预测中使用的帧内预测模式的模式信息的生成的功能。另外，在本实施方式中，为了说明，以帧内预测模式的候选的数量被预先固定为2（始终导出2以上的固定数的帧内预测模式的候选）的情况为例进行说明。另外，在固定为3以上的情况、或以2以上的数量可变地构成的情况下，也能够通过同样的方法实现。

［1－1.图像编码装置的结构］

基于图1对有关本实施方式的图像编码装置的结构进行说明。图1是表示图像编码装置100的结构的模块图。

图像编码装置100是如果被输入图像信号则进行对图像信号的编码、将从后述的可变长编码部120输出的比特流（bitStr）向图像解码装置（在图1中没有图示）输出的装置。

图像编码装置100如图1所示，包含：差分部101，将图像信号所表示的图像与预测图像之间的差分图像输出；变换部102，对差分图像进行DCT变换（Discrete Cosine Transform，离散余弦变换）等；对DCT变换后的差分图像进行量化的量化部103；进行逆量化的逆量化部104；进行逆DCT变换等的逆变换部105；加法部106，将前次的预测图像和来自逆变换部105的复原后的差分图像合成并输出前次的图像；通过帧间预测生成预测图像的画面间预测部107；通过帧内预测生成预测图像的画面内预测部108；将来自画面间预测部107的预测图像和来自画面内预测部108的预测图像有选择地输出的切换部109；控制图像编码装置100的各功能的编码控制部110；以及将来自量化部103的数据进行可变长编码的可变长编码部120等。

编码控制部110保持通过规定的评价基准决定的、应该对编码对象块（PU或包含在PU中的块等，以下相同）应用的“对象模式号码”和“可变长编码方式”。评价基准例如被决定为，使得以满足规定预测精度的条件输出的代码列的比特数削减。

画面内预测部108按照编码控制部110指定的“对象模式号码”，对当前的编码对象块，利用在对象模式号码表示的帧内预测模式指定的方向上存在的预测像素，预测当前的编码对象块的像素值。此外，将“对象模式号码”编码，生成“编码模式号码”。

可变长编码部120将在画面内预测部108中生成的“编码模式号码”按照编码控制部110指定的“可变长编码方式”进行算术编码等熵编码，将比特流（bitStr）输出。

［1－2.图像编码方法的处理顺序］

基于图2，对有关本实施方式的图像编码方法的处理顺序进行说明。图2是表示由图1的图像编码装置执行的模式信息的生成方法的流程图。

首先，编码控制部110取得关于生成模式信息的编码对象块的“对象模式号码”（步骤S201）。

接着，编码控制部110通过求出关于编码对象块的帧内预测模式的候选，取得“预测模式排列”（candModeList）（步骤S203）。在本实施方式中，由于帧内预测模式的候选的数量被固定为2，所以预测模式排列的要素数为2。在帧内预测模式的候选的数量被固定为3以上的情况下，预测模式排列的要素数设为帧内预测模式的候选的数量。另外，在帧内预测模式的候选的数量被设定为可变的情况下，预测模式排列的要素数设为帧内预测模式的候选的数量的最大值。

该预测模式排列是将后述的“预测模式候选号码”设为预测模式排列的要素的索引值（0开始）的排列。关于该步骤中的帧内预测模式的候选的导出方法的详细情况，使用图4在后面叙述。

接着，判断对象模式号码是否与预测模式排列的某个要素的值一致（步骤S205）。

<对象模式号码与预测模式排列的某个要素的值一致的情况>

编码控制部110在步骤S205的判断的结果表示“对象模式号码与某个预测模式排列的要素的值一致”的情况下（步骤S205的结果为“是”），将预测模式使用标志的值决定为“1”（步骤S207）。

编码控制部110为了确定使用了在由步骤S203取得的帧内预测模式的候选中的哪个预测模式，将预测模式候选号码（预测模式排列的索引值）以指定的方式进行可变长编码（步骤S209）。

<对象模式号码与预测模式排列的哪个要素的值都不一致的情况>

编码控制部110在步骤S205的判断的结果表示“对象模式号码与哪个预测模式排列的值都不一致”的情况下（步骤S205的结果为“否”），将“预测模式使用标志”决定为0（步骤S213）。

接着，编码控制部110基于对象模式号码和帧内预测模式的候选的数量，生成“编码模式号码”（rem_intra_luma_pred_mode的值）（步骤S215）。该步骤是基于对象模式号码、即便是相同的对象模式号码也根据帧内预测模式的候选的数量而生成不同的编码模式号码的步骤。关于该步骤，使用图3在后面叙述。

最后，编码控制部110将编码模式号码用指定的可变长编码方法编码（步骤S217）。关于该步骤，使用图5（CABAC方式）、图8（CAVLC方式）在后面叙述。

［1－2－1.编码模式号码的生成的一例］

对步骤S215的生成编码模式号码的步骤的一例进行说明。图3是表示步骤S215的生成编码模式号码的步骤的处理顺序的一例的流程图。另外，编码模式号码也可以通过其他方法生成。

首先，编码控制部110取得帧内预测模式的总数（帧内预测模式的种类数，在本实施方式中是34）、和帧内预测模式的候选的数量（步骤S301）。在本实施方式中，如上述那样，帧内预测模式的候选的数量是固定数2。

编码控制部110将由步骤S302到步骤S307表示的循环的处理重复用帧内预测模式的候选的数量指定的次数。在本实施方式中，由于帧内预测模式的候选的数量是2，因此将步骤S303（以及根据步骤S303的判断的步骤S305）执行两次，即索引（i）的值为1和0的两次。另外，在预测模式的候选的数量是N的情况下，执行N次步骤S303（以及根据步骤S303的判断的步骤S305）。

在步骤302中，将i设定为0。

在步骤S303中，判断当前时刻的对象模式号码的值是否大于用索引（i）指定的预测模式排列的要素的值。在判断的结果表示当前时刻的对象模式号码的值大于预测模式排列的要素的值的情况下，将当前时刻的对象模式号码的值减少1（步骤S305）。

将其重复上述帧内预测模式的候选的数量的值的次数，最后将反映了步骤S305的减少等的结果后的当前的对象模式号码决定为“编码模式号码”（步骤S309）。

该步骤S215的处理与例如根据能够取帧内预测模式的总数0…33的34个值的某个的“对象模式号码”的值而与“编码模式号码”建立对应来决定是等价的。

表1是表示“预测模式的候选的数量”是2（存在索引0和1）的情况下的（a）对象模式号码与（b）“编码模式号码”的对应的表。（c）表示i=0时的步骤S305的处理（从当前的对象模式号码的变更值），（d）表示i=1时的步骤S305的处理（从当前的对象模式号码的变更值）。在表1中，candModeList［0］表示预测模式排列的第1个要素，candModeList［1］表示预测模式排列的第2个要素。

［表1］

（a）对象模式号码0…33	0	1	2	…	candModeList［0］	…	candModeList［1］	…	33
										（c）S305（i=0）	0	0	0	0	是（S205）	－1	－1	－1	－1
（d）S305（i=1）	0	0	0	0	0	0	是（S205）	－1	－1
										（b）编码模式号码0…31	0	1	2	…	不需要（S205）	…	不需要（S205）	…	31

根据表1，编码模式号码能够根据对象模式号码的值如以下这样导出。

（1）在0≦对象模式号码<预测模式排列的第1个要素的值（0≦对象模式号码<candModeList［0］）的情况下，对象模式号码与编码模式号码一致。

（2）预测模式排列的第1个要素的值<对象模式号码<预测模式排列的第2个要素的值（candModeList［0］<对象模式号码<candModeList［1］）的情况下，编码模式号码成为比对象模式号码少1的数。

（3）在预测模式排列的第2个要素的值<对象模式号码（candModeList［1］<对象模式号码）的情况下，编码模式号码成为比对象模式号码少要素数2的数。

即，在预测模式排列中存在k个要素的情况下（帧内预测模式的候选的数量是k个的情况下），通过预测模式排列的值进行排序（sort），比较到预测模式排列的第几个的值为止对象模式号码大于该值，从而能够如以下这样一般化。

（k）在预测模式排列的第k－1个要素的值<对象模式号码<第k个要素的值（candModeList［k－1］<对象模式号码<candModeList［k］）的情况下，编码模式号码成为比对象模式号码少k－1的数。

［1－2－2.预测模式排列的生成方法］

使用图4对决定“预测模式排列”（candModeList）的方法进行说明。图4是表示图2所示的预测模式排列取得步骤（步骤S203）的详细处理顺序的流程图。这里，对帧内预测模式的候选的数量被固定为2的情况下的、决定编码对象块的“预测模式排列”（candModeList）的情况进行说明。

另外，在本实施方式中，作为“预测模式排列”（candModeList）的要素，使用已编码的邻接块的对象模式号码。在邻接块的对象模式号码一致的情况（一致的对象模式号码作为1个帧内预测模式的候选）等已编码的邻接块的对象模式号码的数量小于预测模式排列的要素数的情况下，根据DC预测模式、平面预测（intra planar）、纵向预测（intra angular）等不是邻接块的对象模式号码的其他帧内预测模式，决定帧内预测模式的候选。

编码控制部110将在编码对象块的左侧邻接的已编码的左侧邻接块的对象模式号码设置在intraPredModeLeft中（步骤S401）。

更详细地讲，在intraPredModeLeft中，例如在左侧邻接块通过帧内预测被编码了的情况下，设置在该编码（解码）中使用的对象模式号码，在通过不是帧内预测的编码方法被编码了的情况下（例如使用帧间编码被编码了的情况下），设置表示DC预测模式（在图4中表述为DC预测）的帧内预测模式号码（例如“2”）。此外，在判断为不存在左侧邻接块的情况下（例如在切片（slice）边界、画面端的情况下等），在intraPredModeLeft中设置Not Available。

同样，编码控制部110将在编码对象块的上侧邻接的已编码的上侧邻接块的对象模式号码设置在intraPredModeAbove中（步骤S402）。作为intraPredModeAbove的设置方法，除了块位置以外，与对于左侧邻接块的处理（步骤S401）相同。

编码控制部110当设置intraPredModeLeft及intraPredModeAbove时，判断是否不存在左侧邻接块及上侧邻接块的对象模式号码（intraPredModeLeft及intraPredModeAbove双方为Not Available）（步骤S403）。

这里，在步骤S403中为“是”的情况下（左侧邻接块和上侧邻接块都不存在的情况下），编码控制部110在编码对象块的“预测模式排列”（candModeList）的第1个要素即列表0（candModeList［0］）中设置帧内预测模式号码“0”，在第2个要素即列表1（candModeList［1］）中设置表示DC预测模式的帧内预测模式号码（例如“2”）（步骤S404）。

另一方面，在步骤S403中为“否”的情况下，编码控制部110判断是否没有intraPredModeLeft及intraPredModeAbove的一方、或者intraPredModeLeft及intraPredModeAbove是否一致（步骤S405）。

在步骤S405为“否”的情况下（存在左侧邻接块及上侧邻接块这双方的对象模式号码、并且双方的对象模式号码不一致的情况下），编码控制部110在编码对象块的“预测模式排列”（candModeList）的列表0（candModeList［0］）中，设置左侧邻接块的对象模式号码及上侧邻接块的对象模式号码中的较小的对象模式号码。并且，在列表1（candModeList［1］）中，设置左侧邻接块的对象模式号码及上侧邻接块的对象模式号码中的较大的对象模式号码（步骤S406）。

另一方面，在步骤S405中为“是”的情况下（仅存在左侧邻接块及上侧邻接块的某一方的对象模式号码的情况下，或者左侧邻接块的对象模式号码及上侧邻接块的对象模式号码一致的情况下），编码控制部110判断一致或存在的对象模式号码（以下，称作“邻接模式号码”）是否是表示DC预测模式的帧内预测模式号码（例如“2”）（步骤S407）。

在步骤S407中为“是”的情况下（邻接模式号码是表示DC预测模式的帧内预测模式号码的情况下），编码控制部110在编码对象块的“预测模式排列”（candModeList）的列表0（candModeList［0］）中，设置邻接模式号码（一致或存在的对象模式号码）及表示DC预测模式的帧内预测模式号码中的较小的帧内预测模式号码。并且，编码控制部110在列表1（candModeList［1］）中，设置邻接模式号码（一致或存在的对象模式号码）及表示DC预测模式的帧内预测模式号码中的较大的帧内预测模式号码（步骤S408）。

另一方面，在步骤S407中为“否”的情况下（邻接模式号码不是表示DC预测模式的帧内预测模式号码（例如“2”）的情况下），编码控制部110判断邻接模式号码是否是“0”（步骤S409）。

在步骤S409中为“否”的情况下（邻接模式号码不是“0”的情况下），编码控制部110在编码对象块的“预测模式排列”（candModeList）的列表0（candModeList［0］）中设置帧内预测模式号码“0”，在列表1（candModeList［1］）中设置邻接模式号码（步骤S410）。

另一方面，在步骤S409中为“是”的情况下（邻接模式号码是“0”的情况下），在编码对象块的“预测模式排列”（candModeList）的列表0（candModeList［0］）中设置邻接模式号码“0”，在列表1（candModeList［1］）中设置帧内预测模式号码“1”（步骤S411）。

在步骤S408～步骤S411中，通过在预测模式排列的各要素中优先地配置DC预测模式的号码及帧内预测模式号码“0”、“1”，如上述表1所示那样，能够使编码模式号码的大小变小，所以能够使编码效率提高。

另外，这里的优先例（DC预测模式的号码、帧内预测模式号码“0”、“1”）是一例，只要使小的号码的帧内预测模式优先，则即使降低DC预测模式的优先级，也能够提高编码效率。

［1－2－3.编码模式号码的编码］

基于图5对步骤S217的将编码模式号码编码的步骤的一例进行说明。这里的编码是被指定的可变长编码，以下，以CABAC方式的情况为例进行说明。图5是表示CABAC方式的编码方法的流程图。

编码控制部110例如通过图3所示的方法，取得编码模式号码（步骤S701、步骤S215），对所取得的编码模式号码，通过与帧内预测模式的总数（最大模式数）对应的二值化方法进行二值化处理（步骤S702）。这意味着，在例如根据帧内预测模式的编码单位而最大模式数变化的情况下（例如，在编码单位为4x4尺寸的情况下是17模式，在8x8以上的尺寸的情况下是34模式等），进行与其长度对应的二值化处理。

编码控制部110对将编码模式号码二值化后的信号进行二值算术编码处理（步骤S703）。由此，能够将编码模式号码记录到流中。

使用图6A及图6B说明表示具体的数据构造的语法的例子。图6A是从非专利文献1摘录的表示记录有对象模式号码的数据构造的语法结构的一例的概念图。此外，图6B是表示本实施方式的语法结构的一例的概念图。

这里，关于没有特别说明的部分，设为如非专利文献1所记载的那样地进行动作。在以往的语法结构中，首先将预测模式使用标志（prev_intra_luma_pred_flag）编码。

在预测模式使用标志是1的情况下，判断帧内预测模式的候选的数量（NumMPMCand）是否比1大（901），在帧内预测模式的候选的数量（NumMPMCand）比1大（是2以上）的情况下，进行预测模式候选号码（mpm_idx）的编码。

另一方面，在预测模式使用标志是0的情况下，将编码模式号码（rem_intra_luma_pred_mode）编码。

在本发明的结构中，由于将帧内预测模式的候选的数量固定为至少2以上，因此不需要图6A的条件式901“if（NumMPMCand>1）”，生成图6B所示的语法构造的比特流。即，在预测模式使用标志是1的情况下，必定进行预测模式候选号码（mpm_idx）的编码。由此，条件分支变少，能够生成能够削减解码时的处理量的比特流。另外，以往虽然没有图示，但在图2的步骤S207后，进行判断左侧邻接块的对象模式号码及上侧邻接块的对象模式号码是否一致的处理，在一致的情况下执行步骤S209。

（实施方式1的变形例）

（变形例1：预测模式决定方法的变形例）

另外，在图4中说明的预测模式排列的决定方法也可以如以下这样变形。

在该变形例中，与在邻接块中使用的对象模式号码另外地，对编码对象块选出发生概率最高的帧内预测模式号码作为最大频度模式号码，将该最大频度模式号码与在图4中举出的“DC预测模式2”、“模式号码0”、“模式号码1”的某个替换。

作为最大频度模式号码的选择方法，例如可以根据在图5的步骤S703的算术编码中使用的上下文的状态，选择代码长变得最短的帧内预测模式号码。此外，例如也可以将通过在后述的图8的步骤S502、步骤S503中使用的可变长表分配给最短比特长的帧内预测模式号码作为最大频度模式号码，也可以通过完全不同的最大频度模式选择步骤（例如在统计上通过邻接模式号码和累积的对象模式号码的发展经过来进行导出的方法）进行选择。通过这样，在前者两个步骤中，通过共用已有的步骤，能够在抑制处理量的增加的同时提高编码效率，在最后的步骤中，虽然处理量稍稍增加，但能够期待大幅的编码效率的提高。

对于使用该最大频度模式号码决定预测模式排列的方法，使用图7进行说明。图7是表示预测模式排列的决定步骤（步骤S203）的处理顺序的一例的流程图。另外，图7的流程图中表示的处理顺序是图4的流程图中表示的处理顺序的变形例，步骤S404（步骤S804）、步骤S409（步骤S809）、步骤S410（步骤S810）、步骤S411（步骤S811）以外的步骤（步骤S401～步骤S403、步骤S405～步骤S408）是相同的。因此，关于重复的步骤适当省略说明。

这里，对帧内预测模式的候选的数量被固定为2的情况下的、决定编码对象块的“预测模式排列”（candModeList）的情况进行说明。

编码控制部110将在编码对象块的左侧邻接的已编码的左侧邻接块的对象模式号码设置在intraPredModeLeft中（步骤S401），将在上侧邻接的上侧邻接块的对象模式号码设置在intraPredModeAbove中（步骤S402）。

编码控制部110当设置intraPredModeLeft及intraPredModeAbove时，判断是否不存在左侧邻接块及上侧邻接块的对象模式号码（intraPredModeLeft及intraPredModeAbove双方为Not Available）（步骤S403）。

在步骤S403中为“是”的情况下（左侧邻接块和上侧邻接块都不存在的情况下），编码控制部110在编码对象块的“预测模式排列”（candModeList）的列表0（candModeList［0］）中，设置最大频度模式号码及表示DC预测模式的帧内预测模式号码（例如“2”）中的较小的帧内预测模式号码。并且，在列表1（candModeList［1］）中，设置最大频度模式号码及表示DC预测模式的帧内预测模式号码（例如“2”）中的较大的帧内预测模式号码（步骤S804）。

另一方面，在步骤S403中为“否”的情况下，编码控制部110判断是否没有intraPredModeLeft及intraPredModeAbove的一方，或者intraPredModeLeft及intraPredModeAbove是否一致（步骤S405）。

在步骤S405中为“否”的情况下（左侧邻接块及上侧邻接块双方的对象模式号码存在、并且双方的对象模式号码不一致的情况下），编码控制部110在编码对象块的“预测模式排列”（candModeList）的列表0（candModeList［0］）中，设置左侧邻接块的对象模式号码及上侧邻接块的对象模式号码中的较小的对象模式号码，在列表1（candModeList［1］）中设置左侧邻接块的对象模式号码及上侧邻接块的对象模式号码中的较大的对象模式号码（步骤S406）。

另一方面，在步骤S405中为“是”的情况下（仅存在左侧邻接块及上侧邻接块中的某一方的对象模式号码的情况下，或者左侧邻接块及上侧邻接块的对象模式号码一致的情况下），编码控制部110判断一致或存在的对象模式号码（邻接模式号码）是否是表示DC预测模式的帧内预测模式号码（例如“2”）（步骤S407）。

在步骤S407中为“是”的情况下（在邻接模式号码是表示DC预测模式的帧内预测模式号码的情况下），编码控制部110在编码对象块的“预测模式排列”（candModeList）的列表0（candModeList［0］）中，设置邻接模式号码（一致或存在的对象模式号码）及表示DC预测模式的帧内预测模式号码中的较小的帧内预测模式号码。并且，编码控制部110在列表1（candModeList［1］）中，设置邻接模式号码（一致或存在的对象模式号码）及表示DC预测模式的帧内预测模式号码中的较大的帧内预测模式号码（步骤S408）。

另一方面，在步骤S407中为“否”的情况下（邻接模式号码不是表示DC预测模式的帧内预测模式号码（例如“2”）的情况下），编码控制部110判断邻接模式号码是否是最大频度模式号码（步骤S809）。

在步骤S809中为“否”的情况下（邻接模式号码不是最大频度模式号码的情况下），编码控制部110在编码对象块的“预测模式排列”（candModeList）的列表0（candModeList［0］）中，设置最大频度模式号码及邻接模式号码中的较小的帧内预测模式号码，在列表1（candModeList［1］）中，设置最大频度模式号码及邻接模式号码中的较大的帧内预测模式号码（步骤S810）。

另一方面，在步骤S809中为“是”的情况下（邻接模式号码是最大频度模式号码的情况下），编码控制部110在编码对象块的“预测模式排列”（candModeList）的列表0（candModeList［0］）中，设置邻接模式号码（=最大频度模式号码）及表示DC预测模式的帧内预测模式号码中的较小的帧内预测模式号码，在列表1（candModeList［1］）中，设置邻接模式号码（=最大频度模式号码）及表示DC预测模式的帧内预测模式号码中的较大的号码（步骤S811）。

在步骤S809～步骤S811中，如上述那样，通过在预测模式排列的各要素中优先地配置最大频度模式号码和DC预测模式，能够提高向帧内预测模式的适合率。此外，如在上述表1中表示的那样，由于能够使编码模式号码的大小减小，所以能够使编码效率提高。

另外，这里的优先顺序的例子（DC预测模式号码、最大频度模式号码以及帧内预测模式号码“0”的优先顺序）是一例，也可以基于统计性的信息来切换优先顺序。此外，帧内预测模式号码“0”例如是平面预测（intraplanar）、纵向预测（intra angular）等。

（变形例2：编码模式号码的编码的变形例）

另外，编码模式号码的编码并不限定于上述CABAC方式，也可以使用CAVLC方式。以下，使用图8、图9A及图9B对CAVLC方式下的编码方法进行说明。图8是表示CAVLC方式下的编码方法的流程图。图9A是表示最大模式数（帧内预测模式的总数）为17的情况下的编码表的表，图9B是表示最大模式数为34的情况下的编码表的一例的表。

编码控制部110例如通过图3所示的方法取得编码模式号码（步骤S501），选择与最大模式数对应的可变长表（未图示）（步骤S502）。这意味着，例如在按照编码单位的尺寸而最大模式数变化的情况下（例如，在编码单位为4x4尺寸的情况下是17模式，在8x8以上的尺寸的情况下是34模式等），选择与编码单位的尺寸对应的可变长表。

另外，根据本实施方式，由于只要对编码单位利用1种可变长表就可以，所以能够削减编码装置所需要的存储器数。

编码控制部110使用所选择的可变长表，根据编码模式号码导出编码索引号码（步骤S503）。另外，将该可变长表以块单位或大块单位、切片单位更新，以使编码模式号码的频度越高则编码索引越小。因此，以使得编码索引号码越小则成为越短的代码长的方式，进行后述的可变长编码处理。

最后，对于导出的编码索引号码，使用预先决定的编码表编码（步骤S504）。

这里，在CAVLC方式中，不是如图2的说明那样将预测模式使用标志（步骤S207）的设定和编码模式号码的编码（步骤S209）分开，而是以包含预测模式使用标志而将编码模式号码编码的情况为例进行说明。

在图9A及图9B中，MPM1表示预测模式使用标志=1、预测模式候选号码0的情况，该情况下的代码是“10”。MPM2表示预测模式使用标志=1、预测模式候选号码0的情况，该情况下的代码是“11”。以后的左侧的号码0～14（由于是帧内预测模式的候选的数量=2的情况下的例子，所以对应于从17模式中去除了2模式后的15模式）、或0～31（由于是帧内预测模式的候选的数量=2的情况下的例子，所以对应于从34模式中去除了2模式后的32模式）表示（步骤S503）所导出的编码模式号码，右侧的代码表示向比特流写入的代码列。

在该方法中，能够将模式信息全部用相同的机制编码，能够削减需要的存储器数。

另外，也可以与在图2中表示的流程同样地，将预测模式使用标志和编码模式号码分别编码。在此情况下，设与MPM1对应的代码为1，作为预测模式使用标志=1进行处理，预测模式号码只要将1比特的索引编码就可以。

另外，在CAVCL方式的编码的情况下，也可以参照在预测模式使用标志（prev_intra_luma_pred_flag）、预测模式候选号码（mpm_idx）和编码模式号码（rem_intra_luma_pred_mode）中共用的vlc表。

（实施方式2）

基于图10～图15，对本发明的实施方式2的图像解码方法、以及执行该图像解码方法的图像解码装置进行说明。

本实施方式的图像解码方法在算术解码时，仅使用对解码对象块的比特流进行算术解码处理后的结果实施解码。另外，在算术解码处理中，由于有从1比特将几个比特的信息量复原的情况，所以难以实现缓存量的确保及实时处理，但在本实施方式的图像解码方法中，由于不利用其他解码对象块的信息，所以能够削减运算处理所需要的内部存储器量并缩短处理时间。

［2－1.图像复合装置的结构］

基于图10对有关本实施方式的图像解码装置的结构进行说明。图10是表示图像解码装置200的结构的模块图。

图像解码装置200是如果被输入比特流（bitStr）则输出图像信号的装置。在本发明中，特别是，作为被输入的比特流，以通过实施方式1的图像编码方法生成的比特流（bitStr）为例进行说明。将被写入了图9A或图9B所示的代码列的比特流，在数据构造的意义上一边按照沿着图9A或图9B的从左向右的Prediction Unit Syntax的定义，一边执行右边的可变长解码处理（步骤S1117）、“编码模式号码”（rem_intra_luma_pred_mode）的取得（步骤S1115），将“对象模式号码”再现。

图像解码装置200包含：可变长解码部220、逆量化部201、逆变换部202、将前次的预测图像与差分图像合成的加法部203、通过帧间预测生成预测图像的画面间预测部204、通过帧内预测生成预测图像的画面内预测部205、将来自画面间预测部204的预测图像和来自画面内预测部205的预测图像有选择地输出的切换部206、控制部210等。

可变长解码部220进行与可变长编码部120相反的动作。即，如果被输入比特流，则根据帧内预测模式的候选的数量（NumMPMCand），从比特流取得“编码模式号码”等。进而，进行从“编码模式号码”得到“对象模式号码”的处理。

画面内预测部205与图1的画面内预测部108动作大致相同。按照得到的“对象模式号码”，对于当前的解码对象块，利用存在于与对象模式号码对应的帧内预测模式所指定的方向上的预测像素，预测当前的解码对象块的像素值。

控制部210对可变长解码部220给出取得对象模式号码所需要的信息。本发明的解码方法中的需要的信息只要是“用来从通过实施例1的编码而输出的比特流将“对象模式号码”再现的信息”就可以。例如，在可变长解码部220没有保持的情况下，给出关于解码对象块的预测模式排列（candModeList）（或者该列表的初始值）。此外，按照与该当前的解码对象块建立了对应的每个规定单位，给出熵解码模式（以CAVLC方式输出的比特序列、使用CABAC输出的比特序列等）。

［2－2.图像解码方法的处理顺序］

基于图11对有关本实施方式的图像解码方法的处理顺序进行说明。图11是表示由图10的图像解码装置执行的“对象模式号码”（图15所示的34个帧内预测模式）的解码方法的流程图。另外，在本实施方式中，各步骤以由可变长解码部220执行的情况为例进行说明，但也可以由控制部210执行等。

首先，从用实施方式1的编码方法编码得到的比特流（bitStr），提取与解码对象块的模式信息对应的部分。所谓对应部分，是将按照用图6A及图6B说明的语法（Prediction unit syntax）构造化的（1）“预测模式使用标志”（prev_intra_luma_pred_flag）、（2）“预测模式候选号码”（mpm_idx）或（3）“编码模式号码”（rem_intra_luma_pred_mode）熵编码而得到的比特序列。

可变长解码部220如果取得比特序列，则按照图6A及图6B中说明的语法进行解码，取得“对象模式号码”（步骤S1103～步骤S1115）。

可变长解码部220首先通过规定的熵解码方法将“预测模式使用标志”（prev_intra_luma_pred_flag）的值复原（步骤S1103）。以下，在没有特别说明的情况下，以下的说明和图中的用语以及值的意义，与在关于实施方式1的编码方法及图6A及图6B的语法的说明中说明的意义相同。

可变长解码部220判断解码后的预测模式使用标志是否是1（步骤S1105）。

在步骤S1105中为“是”的情况下（“预测模式使用标志”的值是1的情况下），可变长解码部220将“预测模式候选号码”（mpm_idx）解码（步骤S1109）。

详细地讲，可变长解码部220生成预测模式排列（candModeList），决定预测模式排列（candModeList）的要素号码（mpm_idx）的要素的值（candModeList［mpm_idx］）作为“对象模式号码”（步骤S1111）。另外，这里的预测模式排列的生成方法能够使用在实施方式1的图4或图7中说明的方法。预测模式排列的生成方法在编码装置和解码装置中使用相同的方法。

在步骤S1105中为“否”的情况下（“预测模式使用标志”的值不是1的情况下），可变长解码部220将编码模式号码进行熵解码。详细地讲，首先，根据帧内预测模式的总数（最大模式数），从比特序列取得编码模式号码（步骤S1117）。该取得处理是与图2的步骤S217相反的处理。作为熵编码方式，根据对应的比特序列是（1）由CABAC输出的（图5）还是（2）由CAVLC输出的（图8），进行不同的处理。熵编码方式的判断例如通过与和解码对象块建立对应的预测单位（PU）对应的规定单位的熵编码模式标志表示的值来区别。另外，该标志还可以由上位的序列单位指定。

首先，基于图12A对比特序列是（1）由CABAC输出的情况进行说明。图12A是表示与图11的步骤S1117对应的算术解码时的处理的流程的流程图。

可变长解码部220首先将所取得的比特流进行算术解码处理（步骤S1401，步骤S703的相反）。可变长解码部220对通过算术解码处理取得的二值信息进行多值化处理，将编码模式号码复原（步骤S1402）。

接着，使用图13对表示比特序列是（2）由CAVLC输出的情况进行说明。图13是表示比特序列是（2）由CAVLC输出的情况下的步骤S1117的“编码模式号码”的取得方法的流程图。

可变长解码部220首先使用解码对象块（PU）的“编码模式号码”的解码所需要的信息（上下文），从比特序列取得编码索引号码（步骤S1201）。该解码处理对应于进行与图8的步骤S504的编码处理相反的处理的情况。更具体地讲，根据最大模式数（例如通过在实施例1中说明的预测信息的传送单位，对应于17模式或34模式数），选择在图9A或图9B中表示的可变长编码（可变长解码）表。从所选择的可变长编码表的比特序列，检索与输入的比特流（在图9A或图9B的右侧表示的比特序列）对应的比特序列，取得与该比特序列建立了对应的编码索引号码（与在图9A或图9B的左侧表示的号码对应）。

接着，可变长解码部220与上述同样地按每个最大模式数来选择不同的可变长表（与步骤S1202、步骤S502相同，未图示），使用所选择的可变长表，导出与所取得的编码索引号码建立了对应的编码模式号码（步骤S1203，步骤S503的相反的处理）。另外，将该可变长表以块单位或大块单位、切片单位更新，以使得编码模式号码的频度越高则编码索引号码越小。由于该更新在编码装置侧和解码装置侧通过预先决定的方法更新，所以在与作为对象的编码对象块对应的编码以及对解码对象块的解码中使用的可变长表被设计得相同。通过该处理，将编码模式号码复原。

接着，从编码模式号码将对象模式号码复原（步骤S1115，与图2的步骤215相反的处理）。图14是表示从编码模式号码将对象模式号码复原的处理顺序的流程图。

如图14所示，可变长解码部220从在步骤S1117中取得的“编码模式号码”取得“对象模式号码”。图14的各步骤与将图3的从“对象模式号码”得到“编码模式号码”的步骤相反地执行是相等的。

可变长解码部220首先取得帧内预测模式的候选的数量（NumMPMCand）（步骤S1301）。在本实施方式中，与实施方式1同样，帧内预测模式的候选的数量是固定数2。

接着，可变长解码部220将从步骤S1302到步骤S1307表示的循环的处理重复执行由帧内预测模式的候选的数量（NumMPMCand）指定的次数。在本实施方式中，由于帧内预测模式的候选的数量（NumMPMCand）是2，所以将步骤S1303（及步骤S1305）执行两次，即索引的值是0和1这两次。另外，在预测模式的候选的数量是N的情况下，将步骤S1303（以及根据步骤S1303的判断的步骤S1305）执行N次。

在步骤S1302中，将候选索引candIdx（在图14中对应于Index）设定为0。

在步骤S1303中，比较当前时刻的编码模式号码、与由预测模式排列（CandModeList）的候选索引candIdx的值指定的要素的值（candModeList［candIdx］的值）的大小。另外，在Index=0时，编码模式号码成为在步骤S1117中取得的时刻的编码模式号码。

在步骤S1303中为“是”的情况下（编码模式号码≧candModeList［candIdx］的值的情况下），将编码模式号码增加1（步骤S1305）。另外，在当前时刻的编码模式号码和预测模式排列candModeList［candIdx］的值是相同的值的情况下也增加1。一边将候选索引号码candIdx增加1，一边重复步骤S1302到步骤S1307的循环，直到关于全部的候选索引的比较结束。

通过该处理，根据帧内预测模式的候选的数量，将编码模式号码复原为对象模式号码。另外，根据该帧内预测模式的候选的数量的从“编码模式号码”的“对象模式号码”的复原，与将表1的处理从下方的行朝向上方的行读取是等价的。

例如，在帧内预测模式的候选的数量（NumMPMCand的值）是2的情况下，编码模式号码与对象模式号码的对应如表2那样。在该表的例子中，以设第1个（索引为0的）预测模式排列的要素的值是“i”、设第2个（索引为1的）预测模式排列的要素的值是“j”的情况进行说明。

［表2］

这样，根据本实施方式的解码装置及解码方法，与帧内预测模式的候选的数量相应地（或基于帧内预测模式的候选的数量），在CAVLD方式下切换CodeNum与“编码模式号码”的对应，在CABAC方式下从2值排列切换“编码模式号码”的对应方法（步骤S1117）。进而，与帧内预测模式的候选的数量相应地，切换编码模式号码与对象模式号码的对应（步骤S1115）。

通过上述结构，能够从通过将对象模式号码的编码根据帧内预测模式的候选的数量进行切换而提高编码效率地生成的实施方式1的比特流，将原来的“对象模式号码”再现。

如上述那样，在本发明的图像解码装置及图像解码方法中，由于将帧内预测模式的候选的数量固定为2以上，所以在算术解码处理中，能够没有判断帧内预测模式的候选的数量是否是1的条件分支而进行处理。

另外，图12B是表示图像解码装置内的算术解码处理的处理顺序的一例的概念图。如上述那样，在算术解码中，对于取得的比特长的解码后的信号（解码参数）的信息量被算术地决定，所以是不定的，为了实现实时处理而需要高速的运算。所以，如图12B所示，作为解码处理，将取得的比特流通过预先决定的方法（CABAC或CAVLC）算术解码（步骤S1411）、取得解码参数（步骤S1412）的熵解码步骤S1410，和基于解码参数生成预测图像并取得解码图像信号的解码处理步骤（步骤S1413）能够作为不同的步骤分开并行运算的情况较多。这里，算术解码步骤S1411所需要的解码信息通过来自步骤S1413的反馈而取得。

此时，熵解码步骤S1410需要等待解码处理步骤S1413的处理结果，无法进行高速运算，所以减少该反馈对于高速化而言特别重要。

因此，在本实施方式的图像解码装置中，如图11所示，如果预测模式使用标志成为1（在熵解码步骤中解码的信号）（步骤S1105中的“是”），则必定调用预测模式候选号码的解码步骤（步骤S1109），所以不需要在此期间中等待解码处理步骤（步骤S1413）的处理。

另一方面，在图6A所示的现有技术的语法结构中，需要判断预测模式数（NumMPMCand），在该判断中，如上述那样，需要利用上侧邻接块、左侧邻接块的对象模式号码，所以需要等待解码处理步骤S1413的处理。由此，根据本发明的结构，能够实现解码装置的高速化。

（实施方式1及实施方式2的变形例）

（1）另外，关于图1的编码控制部110、图10的控制部210，仅图示了与说明所需要的处理部之间的输入输出，但也可以通过未图示的信号线进行各处理部所需要的信息的输入输出。编码控制部或控制部也可以认为是进行各处理部的处理的控制的控制器。

（2）此外，以图15所示的33方向和1个无方向的34个模式为例对34个对象模式号码的编码进行了说明，但即使模式的数量对应于图15所示的等级（level）（L0～L3）的深度是可变的，也不损害本发明的效果。

例如，在帧内预测模式的候选的数量是2的n次幂+k个的情况下，编码模式号码（rem_intra_luma_pred_mode）能够用n比特或n+1比特表现。

通过采取上述解码装置的结构，能够将图6A及图6B所示的语法构造正确地解码。此外，如图12B所示，在算术解码时，通过仅单纯地执行解码处理，判定如以往那样帧内预测模式的候选的数量是1的情况，因此不需要取得、比较邻接的对象模式号码，存储器量较小，能够高速而正确地执行解码处理。

（实施方式3）

通过将用来实现上述各实施方式所示的运动图像编码方法（图像编码方法）或运动图像解码方法（图像解码方法）的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。

进而，这里说明在上述各实施方式中示出的运动图像编码方法（图像编码方法）及运动图像解码方法（图像解码方法）的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。

图16是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。

该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex106～ex110连接着计算机ex111、PDA（PersonalDigital Assistant）ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。

但是，内容供给系统ex100并不限定于图16那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex106～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。

照相机ex113是能够进行数字摄像机等的运动图像摄影的设备，照相机ex116是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外，便携电话ex114是GSM（注册商标）（Global System for MobileCommunications）方式、CDMA（Code Division Multiple Access）方式、W－CDMA（Wideband－Code Division Multiple Access）方式、或LTE（LongTerm Evolution）方式、HSPA（High Speed Packet Access）的便携电话机、或PHS（Personal Handyphone System）等，是哪种都可以。

在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场转播等。在现场转播中，对用户使用照相机ex113摄影的内容（例如音乐会现场的影像等）如在上述各实施方式中说明那样进行编码处理（即，作为本发明的一个方式的图像编码装置发挥作用），向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现（即，作为本发明的一个方式的图像解码装置发挥作用）。

另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或运动图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。

此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质（CD－ROM、软盘、硬盘等）中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话ex114具有的LSIex500编码处理的数据。

此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。

如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。

另外，并不限定于内容供给系统ex100的例子，如图17所示，在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置（图像编码装置）或运动图像解码装置（图像解码装置）的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据（即，通过本发明的一个方式的图像编码装置编码后的数据）。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机（接收机）ex300或机顶盒（STB）ex217等的装置将接收到的复用数据解码并将其再现（即，作为本发明的一个方式的图像解码装置发挥作用）。

此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。

图18是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机（接收机）ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的复用数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。

此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305（作为本发明的一个方式的图像编码装置或图像解码装置发挥作用）的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。

首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以是，在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。

此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。

此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。

作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图19中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。

以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近场光进行高密度的记录的结构。

在图20中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽（沟），在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的复用数据的读写。

以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。

此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另外，车载导航仪ex211的结构可以考虑例如在图18所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。

图21A是表示使用在上述实施方式中说明的运动图像解码方法和运动图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。

进而，使用图21B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD（Liquid Crystal Display：液晶显示器）控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。

电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作的状态。

便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。

进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex358。

在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码（即，作为本发明的一个方式的图像编码装置发挥作用），将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。

复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部（调制/解调电路部）ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。

在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由此对影像信号进行解码（即，作为本发明的一个方式的图像解码装置发挥作用），经由LCD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。

此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。

这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。

此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。

（实施方式4）

也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的标准的运动图像编码方法或装置根据需要而适当切换，来生成影像数据。

这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。

为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。

图22是表示复用数据的结构的图。如图22所示，复用数据通过将视频流、音频流、演示图形流（PG）、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流（IG）表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的运动图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。

包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。

图23是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。

图24更详细地表示在PES包序列中怎样保存视频流。图24的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图24的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS（PresentationTime-Stamp）及作为图片的解码时刻的DTS（Decoding Time-Stamp）。

图25表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS（Arrival_Time_Stamp）等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图25下段所示排列，从复用数据的开头起递增的号码被称作SPN（源包号）。

此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT（Program Association Table）、PMT（Program Map Table）、PCR（Program Clock Reference）等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC（Arrival Time Clock）与作为PTS及DTS的时间轴的STC（System TimeClock）的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。

图26是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器等的流类型、流的PID、流的属性信息（帧速率、纵横比等）的流描述符构成。流描述符存在复用数据中存在的流的数量。

在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。

复用数据信息文件如图27所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。

复用数据信息如图27所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。

流属性信息如图28所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。

在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。

此外，在图29中表示本实施方式的运动图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的运动图像解码方法进行解码。

这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述任何设备、系统中。

（实施方式5）

在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图30中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。

例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。

另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。

此外，在上述中，假设控制部ex501具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex501的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。

另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。

此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA（Field ProgrammableGate Array）、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。

进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。

（实施方式6）

在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据解码的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。

为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图31表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。

更具体地讲，驱动频率切换部ex803由图30的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图30的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式4中记载的识别信息。关于识别信息，并不限定于在实施方式4中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图33所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。

图32表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。

进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。

此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。

进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定得短。

这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。

（实施方式7）

在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。

为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部一部分共用的结构。图34A的ex900表示该结构例。例如，在上述各实施方式中示出的运动图像解码方法和依据MPEG4－AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC标准的解码处理部ex902，关于不对应于MPEG4－AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4－AVC标准所特有的处理内容，使用专用的解码处理部。

此外，用图34B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。

这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。

产业上的可利用性

关于运动图像的编码方法、解码方法。关于将画面内编码中的帧内预测像素的生成方法进行区别的模式号码的编码、解码方法。

标号说明

100 图像编码装置

101 差分部

102 变换部

103 量化部

104 逆量化部

105 逆变换部

106 加法部

107 画面间预测部

108 画面内预测部

109 切换部

110 编码控制部

120 可变长编码部

200 图像解码装置

201 逆量化部

202 逆变换部

203 加法部

204 画面间预测部

205 画面内预测部

206 切换部

210 控制部

220 可变长解码部

Claims (16)

1.一种图像解码方法，将编码流中包含的图像数据按每个块进行解码，其特征在于，包括以下步骤：

导出步骤，导出在解码对象块的画面内预测中使用的帧内预测模式的候选，该帧内预测模式的候选始终为2以上的数量；

取得步骤，从上述编码流取得用来从导出的上述帧内预测模式的候选中确定1个候选的索引；以及

决定步骤，基于所取得的上述索引，将导出的上述帧内预测模式的候选中的1个候选决定为在上述解码对象块的画面内预测中使用的上述帧内预测模式。

2.如权利要求1所述的图像解码方法，其特征在于，

上述2以上的数量是固定的数量。

3.如权利要求1或2所述的图像解码方法，其特征在于，

上述导出步骤包括以下步骤：

第1导出步骤，从在与上述解码对象块邻接的各邻接块的画面内预测中使用的帧内预测模式，导出上述帧内预测模式的第1候选；

判断步骤，判断所导出的上述第1候选的数量是否比上述2以上的数量小；以及

第2导出步骤，在判断为上述第1候选的数量比上述2以上的数量小的情况下，进一步导出上述帧内预测模式的第2候选。

4.如权利要求3所述的图像解码方法，其特征在于，

在上述第1导出步骤中，取得在画面内预测中使用的帧内预测模式的上述邻接块的数量是与上述2以上的数量相同的数量。

5.如权利要求3或4所述的图像解码方法，其特征在于，

在上述第2导出步骤中，以上述第1候选的数量与上述第2候选的数量的合计始终为上述2以上的数量的方式，导出上述第2候选。

6.如权利要求3～5中任一项所述的图像解码方法，其特征在于，

在上述第2导出步骤中，导出与在邻接于上述解码对象块的各邻接块的画面内预测中使用的帧内预测模式不同的帧内预测模式，作为上述第2候选。

7.如权利要求3～6中任一项所述的图像解码方法，其特征在于，

在上述第2导出步骤中，将表示使用上述解码对象块的像素值的平均值进行预测的帧内预测模式、表示平面预测的帧内预测模式和表示纵向预测的帧内预测模式中的至少某1个作为上述第2候选来导出。

8.如权利要求1～7中任一项所述的图像解码方法，其特征在于，

在上述取得步骤中，从上述编码流取得表示在上述解码对象块的画面内预测中使用的帧内预测模式的模式号码；

在上述决定步骤中，基于所取得的上述模式号码，决定在上述解码对象块的画面内预测中使用的上述帧内预测模式。

9.如权利要求1或2所述的图像解码方法，其特征在于，

上述导出步骤，

在有与上述解码对象块邻接的邻接块的情况下，导出在上述邻接块的画面内预测中使用的帧内预测模式以外的帧内预测模式，作为上述帧内预测模式的候选；

在没有与上述解码对象块邻接的邻接块的情况下，基于预先决定的条件，导出上述帧内预测模式的候选。

10.如权利要求1～9中任一项所述的图像解码方法，其特征在于，

在上述导出步骤中，还使用上述帧内预测模式的候选来制作候选列表；

上述索引是用来识别在上述候选列表中包含的上述帧内预测模式的候选的号码。

11.一种图像编码方法，通过将图像数据按每个块进行编码而生成编码流，其特征在于，包括以下步骤：

导出步骤，导出在与编码对象块对应的解码对象块的画面内预测中使用的帧内预测模式的候选，该帧内预测模式的候选始终为2以上的数量；

决定步骤，将导出的上述帧内预测模式的候选中的1个候选决定为在上述解码对象块的画面内预测中使用的帧内预测模式；以及

附加步骤，对上述编码流附加用来从导出的上述帧内预测模式的候选中确定所决定的上述1个候选的索引。

12.如权利要求11所述的图像编码方法，其特征在于，

上述2以上的数量是固定的数量。

13.如权利要求11或12所述的图像编码方法，其特征在于，

在上述决定步骤中，将导出的上述帧内预测模式的候选中的、与在上述编码对象块的画面内预测中使用的帧内预测模式一致的候选决定为上述1个候选。

14.一种图像解码装置，将编码流中包含的图像数据按每个块进行解码，其特征在于，具备：

导出部，导出在解码对象块的画面内预测中使用的帧内预测模式的候选，该帧内预测模式的候选始终为2以上的数量；

取得部，从上述编码流取得用来从导出的上述帧内预测模式的候选中确定1个候选的索引；以及

决定部，基于所取得的上述索引，将导出的上述帧内预测模式的候选中的1个候选决定为在上述解码对象块的画面内预测中使用的上述帧内预测模式。

15.一种图像编码装置，通过将图像数据按每个块进行编码而生成编码流，其特征在于，具备：

导出部，导出在与编码对象块对应的解码对象块的画面内预测中使用的帧内预测模式的候选，该帧内预测模式的候选始终为2以上的数量；

决定部，将导出的上述帧内预测模式的候选中的1个候选决定为在上述解码对象块的画面内预测中使用的帧内预测模式；以及

附加部，对上述编码流附加用来从导出的上述帧内预测模式的候选中确定所决定的上述1个候选的索引。

16.一种图像编码解码装置，其特征在于，具备：

权利要求14所述的图像解码装置；以及

权利要求15所述的图像编码装置。

Images