CN107682702A - 图像解码方法、图像解码装置 - Google Patents

Abstract

提供图像解码方法及图像解码装置。该方法包括：恢复步骤，基于模式信息恢复编码时的预测中使用的选择预测模式，模式信息表示将对象块编码时执行的预测模式的选择结果；及解码步骤，使用选择预测模式将对象块解码而生成解码块，恢复步骤中，包括：第一预测模式估计步骤，基于已解码的多个相邻块的预测中使用的选择预测模式，从三个以上预测模式中决定一个第一估计预测模式；及第二预测模式估计步骤，从三个以上预测模式中决定第二估计预测模式；基于模式信息、第一、第二估计预测模式，恢复选择预测模式，第二预测模式估计步骤中判断第一估计预测模式是否是三个以上预测模式中预先确定的优先模式，若不是则将优先模式决定为第二估计预测模式。

Description

图像解码方法、图像解码装置

本申请是申请日为2011年9月28日、申请号为201180037651.2、发明名称为“图像解码方法、图像编码方法、图像解码装置、图像编码装置、程序、以及集成电路”的发明专利申请的分案。

技术领域

本发明涉及，以更好的编码效率将图像及影像数据压缩编码的图像编码方法、将压缩编码后的图像及影像数据解码的图像解码方法、对应的图像编码装置、图像解码装置、程序、以及集成电路。

背景技术

用于经由互联网的视频会议、数字视频广播、以及包含影像内容的流媒体的、例如视频点播型的服务的应用的数量越来越多，这些应用依存于影像信息的发送。影像数据被发送或被记录时，许多量的数据，通过带宽有限的以往的传输路被发送，或者，被存储到数据容量有限的以往的存储介质。为了向以往的传输通道及存储介质发送及存储影像信息，压缩或削减数字数据的量是不可缺少的。

于是，为了影像数据的压缩，开发了多个影像编码标准。这样的影像编码标准是，例如，H.26x所示的ITU－T标准，以及MPEG－x所示的ISO/IEC标准。目前，最新且最先进的影像编码标准是，H.264/MPEG－4AVC所示的标准(参照非专利文献1)。

成为这样的标准的大部分的基础的编码方法，基于包含以下的(a)至(d)所示的主要阶段的预测编码。

(a)为了以块级对影像帧各自进行数据压缩，将影像帧划分为像素的块。

(b)通过根据预先编码的影像数据预测各个块，从而确定时间上以及空间上的冗余性。

(c)通过从影像数据中减去预测数据，从而除去确定的冗余性。

(d)根据傅立叶转换、量化、以及熵编码，压缩剩余的数据。

根据现在的影像编码标准，用于各个宏块的预测的预测模式，按每个块不同。大部分的影像编码标准，为了根据以前编码及解码的帧预测影像数据，而利用运动检测及运动补偿(帧间预测)。或者，也可以根据相同的帧的相邻的块预测块数据(帧内预测)。H.264/AVC标准，对例如用于预测的参考像素，或者，对像素被外插的方向，定义几个不同的帧内预测模式。

图1A是示出基于以往的H.264/AVC标准的帧内预测估计被适用的对象块与参考像素的关系的一个例子的图。并且，图1B是示出基于以往的H.264/AVC标准的帧内预测模式集所包含的预测方向的图。

如图1A示出，外插位于被预测的对象块10的上和左的13个参考像素20，从而预测4×4像素的对象块10。通过该预测，生成与对象块10对应的预测块。此时，为了执行外插，从图1B所示的可取的8个外插方向(帧内预测方向)中选择1个。也就是说，从8个外插方向各自示出的8个方向预测模式中选择1个方向预测模式。或者，可以选择DC(直流)预测模式。在DC预测模式中，为了预测对象块10，利用参考像素20的平均值。

如此，按每个宏块选择，利用多个预测模式中的哪个预测模式来进行预测，编码后的对象块与关于被选择的预测模式的信息一起，通过熵编码而被压缩、并被传输。在现在的影像编码标准中，作为关于被选择的预测模式的信息，按照由标准预先决定的规则预测估计值。例如，在示出由H.264/AVC标准决定的帧内预测模式的信息的情况下，帧内预测模式的估计值，被决定为已经编码的周围的块的帧内预测模式中的、表示预测的方法的号码的小的号码。

而且，在被预测的估计值和编码对象的信息相同的情况下，仅传输示出相同的情况的标志。另一方面，在估计值和编码对象的信息不同的情况下，传输编码对象的信息。例如，在帧内预测模式的估计值、和编码时实际被选择的预测模式相同的情况下，仅传输标志。另一方面，在不同的情况下，传输用于恢复被选择的预测模式的信息。

图2是示出基于以往的H.264/AVC标准的图像编码装置的结构中的、估计预测模式、设定预测模式的编码值的设定部510的详细结构的一个例子的图。并且，图3是示出基于以往的H.264/AVC标准的图像解码装置的结构中的、恢复预测模式的恢复部620的详细结构的一个例子的图。

如图2示出，在设定部510，输入示出编码模式(帧内预测模式或帧间预测模式)的编码模式信息SMD。例如，在帧内预测编码被选择为编码模式的情况下，编码模式信息SMD是，示出帧内预测模式的信息IPM。另一方面，在帧间预测编码被选择为编码模式的情况下，编码模式信息SMD是，位置信息(运动矢量)MV。

预测模式存储器511是，存储输入的编码模式信息SMD的存储器。预测模式估计部512，从由预测模式存储器511输入的、已经编码的编码模式信息中，以预先决定的手段获得预测模式估计值候选。

利用图1A说明，针对4×4像素的块尺寸的基于H.264/AVC标准的预测模式估计部512、624中的预测模式估计值MPM的估计方法，以作为一个例子。

预测模式估计部512、624，在编码及解码步骤中，针对4×4像素的对象块10，获得已经编码(或解码)完毕的周围块30的帧内预测模式IPM_A、以及周围块40的帧内预测模式IPM_B。而且，如下述的式1，将IPM_A和IPM_B的值小的一方的模式设定为预测模式估计值MPM。

MPM＝Min(PredModeA，PredModeB)···(式1)

在此，式1的PredModeA及PredModeB各自示出，表示相邻块所利用的预测模式的索引的号码，Min()是，输出小的任一方的索引的函数。

预测模式估计部512，从预测模式估计值候选中决定预测模式估计值MPM，输出决定的预测模式估计值MPM。

模式信息生成部515，对编码的对象块的编码模式IPM与预测模式估计值MPM进行比较。而且，在两者相同的情况下，将示出与预测模式估计值MPM相同的情况的标志设定为编码预测模式关联信号SSMD。另一方面，在两者不同的情况下，将符合的号码以外的模式信号的索引作为编码预测模式关联信号SSMD来输出。式2示出，模式信息生成部515的设定方法。

【算式1】

如式2示出，首先，对作为对象块的编码模式的索引的编码模式IPM与由式1计算出的预测模式估计值MPM进行比较。而且，在两者相同的情况下，将示出是否与预测模式估计值MPM相同的标志Prev_Intra_Pred_Mode_Flag设定为1，将该标志作为编码预测模式关联信号SSMD来输出。另一方面，在作为对象块的编码模式的索引的编码模式IPM与由式1计算出的预测模式估计值MPM不同的情况下，将Prev_Intra_Pred_Mode_Flag设定为0，比较索引的大小。而且，在对象块的编码模式的索引比预测模式估计值MPM小的情况下，在示出对象块的编码模式的信息Rem_Intra_Pred_Mode中设定编码模式IPM的值。另一方面，在对象块的编码模式的索引比预测模式估计值MPM大的情况下，在示出对象块的编码模式的信息Rem_Intra_Pred_Mode中设定从IPM的值中减去1的值。而且，将Prev_Intra_Pred_Mode_Flag和Rem_Intra_Pred_Mode作为SSMD来输出。

可变长编码部520，对编码预测模式关联信号SSMD进行熵编码，作为比特流来输出。

并且，如图3示出，可变长解码部610，通过对输入的比特流进行解码，从而输出量化频率变换系数QT、和编码预测模式关联信息SSMD。

在恢复部620，输入编码预测模式关联信号SSMD，输出编码模式信息SMD(用于解码的、编码模式MD、和示出帧内预测模式IPM的信息或位置信息(运动矢量)MV)。具体而言，在信号判断部621，输入编码预测模式关联信号SSMD，若编码预测模式关联信号SSMD中的示出与预测模式估计值MPM相同的情况的标志示出相同的情况，则将帧内预测模式IPM作为预测模式估计值MPM来输出。并且，在其他的情况下，根据编码预测模式关联信号SSMD中还包含的索引信息，设定帧内预测模式IPM，并输出。式3示出，信号判断部621的设定方法。

【算式2】

如式3示出，读出示出是否与预测模式估计值MPM相同的标志Prev_Intra_Pred_Mode_Flag，在该标志为0的情况下，进一步，读出Prev_Intra_Pred_Mode_Flag，从而恢复帧内预测模式IPM。

预测模式存储器623是，存储输入的示出编码模式MD、和帧内预测模式IPM的信息(帧内预测块尺寸，帧内预测方向等)或位置信息(运动矢量)MV的存储器。预测模式估计部624，从预测模式存储器623中，从示出已经解码的编码模式MD、和帧内预测模式IPM的信息或位置信息(运动矢量)MV中，如式1所示以预先决定的手段获得多个预测模式估计值候选。

预测模式估计部624，从多个预测模式估计值候选中，决定预测模式估计值MPM，输出决定的预测模式估计值MPM。

另一方面，也提出了利用了边缘检测的、用于影像数据的压缩的影像编码方法，会有边缘检测被包含在编码装置及解码装置中的情况(非专利文献2)。

在该方法中，通过除了基于H.264/AVC标准的帧内方向预测以外，还根据由边缘检测得到的角度，外插参考像素20来预测的方法，生成与对象块10对应的预测块。并且，在非专利文献2中，将边缘检测的使用的有无，置换为利用参考像素20的平均值的DC预测模式。也就是说，将示出DC预测和边缘预测的帧内预测模式IPM的索引设为相同，根据边缘检测的结果，在满足一定的条件的情况下，根据由边缘检测得到的角度生成预测块。另一方面，在不满足一定的条件的情况下，利用平均值生成预测块。在此，对于一定的条件，利用边缘检测后的矢量的大小是否超过一定值。

(现有技术文献)

(非专利文献)

非专利文献1：ISO/IEC 14496－10“MPEG－4Part 10Advanced Video Coding”

非专利文献2：2008IEEE International Conference on Image Processing“HIGH PRECISION EDGE PREDICTION FOR INTRA CODING”

然而，在所述以往技术中，存在如下问题。

在所述以往技术中，由于方向预测模式和DC预测模式的索引固定，在如非专利文献2以一个代码表示边缘预测模式和DC预测模式的情况下，存在代码量增多、或编码图像内产生失真的问题。具体而言，如下的内容。

根据由以往的H.264/AVC标准所定的帧内预测模式估计，成为候选的预测模式是，用于对象块的周围块的编码的预测模式。在预测模式估计部512、624中，对于预测模式估计值，预测模式候选的模式号码(图1B示出的号码、以及示出平均值预测(DC预测模式)的号码2)的小的号码被选择。

因此，对象块10的估计预测模式，与周围块30、40的某个预测模式一致。但是，在如非专利文献2以一个代码表示边缘预测模式和DC预测模式的情况下，不能表现周围的块30、40的预测模式，被用作DC预测、还是被用作边缘预测，在对象块10的预测模式为边缘预测模式的情况下，难以与估计预测模式一致。也就是说，需要向解码器侧发送的、示出预测模式的信息的代码量增大。

发明内容

于是，为了解决所述的问题，本发明的目的在于提供，用于实现更高的编码效率且不需要大的处理量的、对图像数据及影像数据进行编码的图像编码方法、以及对编码后的图像及影像数据进行解码的图像解码方法。

本发明的实施方案之一涉及的图像解码方法是一种方法，对依据基于预测模式的预测按每个块对图像数据进行编码而生成的编码图像数据进行解码。具体而言，图像解码方法包括：恢复步骤，基于模式信息，恢复在编码时的预测中使用的选择预测模式，所述模式信息表示在对对象块进行编码时所执行的预测模式的选择结果；以及解码步骤，使用所述选择预测模式对所述图像数据的对象块进行解码，从而生成解码块，所述恢复步骤包括：一预测模式估计步骤，基于已经完成解码、并且与所述对象块相邻的多个相邻块各自的预测中使用的选择预测模式，从三个以上的预测模式中，决定一个预测模式作为第一估计预测模式；以及第二预测模式估计步骤，从所述三个以上的预测模式中，决定与所述第一估计预测模式不同的一个预测模式作为第二估计预测模式；在所述恢复步骤中基于所述模式信息、所述第一估计预测模式和所述第二估计预测模式，恢复所述选择预测模式，在所述第二预测模式估计步骤中，判断所述第一估计预测模式是否是在所述三个以上的预测模式中预先确定了的优先模式，在所述第一估计预测模式不是所述优先模式的情况下，将所述优先模式决定为所述第二估计预测模式。

据此，在恢复选择预测模式时，能够以少的代码量传输模式信息。据此，能够提高编码效率，能够抑制编码失真。

并且，也可以是，所述模式信息至少包含，示出所述选择预测模式与所述第一估计预测模式以及所述第二估计预测模式的比较结果的标志信息。在所述预测模式恢复步骤中也可以，在所述标志信息示出所述选择预测模式与所述第一估计预测模式一致的情况下，将所述第一估计预测模式决定为所述选择预测模式，在所述标志信息示出所述选择预测模式与所述第二估计预测模式一致的情况下，将所述第二估计预测模式决定为所述选择预测模式，在所述标志信息示出所述选择预测模式与所述第一估计预测模式以及所述第二估计预测模式不一致的情况下，根据所述模式信息中还包含的确定所述选择预测模式的信息，恢复所述选择预测模式。

并且，也可以是，所述模式信息是，示出编码时用于预测的预测模式与编码时估计的预测模式一致的标志信息，或是，示出所述标志信息、和编码时用于预测的预测模式的信息，所述预测模式恢复步骤，首先对与第一估计预测模式对应的第一标志信息进行解码，在所述第一标志信息示出编码时用于预测的预测模式与编码时估计的预测模式一致的情况下，将所述第一估计预测模式决定为所述选择预测模式，在所述第一标志信息示出编码时用于预测的预测模式与编码时估计的预测模式不一致的情况下，对与第二估计预测模式对应的第二标志信息进行解码，在所述第二标志信息示出编码时用于预测的预测模式与编码时估计的预测模式一致的情况下，将所述第二估计预测模式决定为所述选择预测模式，在所述第二标志信息示出编码时用于预测的预测模式与编码时估计的预测模式不一致的情况下，对选择模式编码信息进行解码，对所述选择模式编码信息、与所述估计预测模式的大小进行比较，从而恢复所述选择预测模式。

并且，也可以是，所述第一估计预测模式和所述第二估计预测模式的任一方是，示出DC及边缘预测的模式。

并且，也可以是，在所述第一预测模式估计步骤中，将与所述对象块相邻、且已经解码的多个块的选择预测模式中的、索引号码最小的预测模式决定为所述第一预测模式。

并且，也可以是，在所述第二预测模式估计步骤中，在所述第一估计预测模式为平面模式的情况下，将所述第二估计预测模式决定为DC预测模式，在所述第一估计预测模式不是平面模式的情况下，将所述第二估计预测模式决定为平面模式。

进而，也可以是，所述恢复步骤包括：边缘检测步骤，检测已经生成的解码块内的边缘；DC及边缘预测判断步骤，根据在所述边缘检测步骤中检测出的边缘，判断DC及边缘预测模式示出DC预测，还是示出边缘预测。

并且，也可以是，所述第一估计预测模式和所述第二估计预测模式的某一方，由在所述边缘检测步骤中检测出的的边缘方向估计。

本发明的实施方案之一涉及的图像编码方法是，按每个块对图像数据进行编码的方法。具体而言，图像编码方法包括∶编码步骤，依据基于从预先决定的多个预测模式候选中选择出的选择预测模式的预测，对所述图像数据的对象块进行编码；解码步骤，对被编码的对象块进行解码，从而生成解码块；第一预测模式估计步骤，从多个预测模式中，将一个预测模式决定为第一估计预测模式；第二预测模式估计步骤，从多个预测模式中，将与所述第一估计预测模式不同的一个预测模式决定为第二估计预测模式；以及输出步骤，将用于所述选择预测模式的恢复的模式信息，与所述被编码的对象块一起输出。而且，所述输出步骤包括模式信息生成步骤，在所述模式信息生成步骤中，根据所述第一估计预测模式和所述第二估计预测模式和所述选择预测模式，生成所述模式信息。

并且，也可以是，在所述模式信息生成步骤中，在所述选择预测模式与所述第一估计预测模式以及所述第二估计预测模式的任一方一致的情况下，生成示出与哪一方一致的标志信息，以作为所述模式信息，在所述选择预测模式与所述第一估计预测模式以及所述第二估计预测模式的双方都不一致的情况下，生成示出与双方都不一致的标志信息、以及确定所述选择预测模式的信息，以作为所述模式信息。

并且，也可以是，在所述模式信息生成步骤中，首先，对所述第一估计预测模式与所述选择预测模式进行比较，生成示出是否一致的第一标志信息，以作为所述模式信息，在所述第一估计预测模式与所述选择预测模式不一致的情况下，进一步，对所述第二估计预测模式与所述选择预测模式进行比较，生成示出是否一致的第二标志信息，以作为所述模式信息，在所述第二估计预测模式与所述选择预测模式不一致的情况下，根据所述选择预测模式、和所述估计预测模式，生成选择预测模式信息，以作为所述模式信息。

并且，也可以是，所述第一估计预测模式和所述第二估计预测模式的任一方是，示出DC及边缘预测的模式。

并且，也可以是，在所述第一预测模式估计步骤中，将与所述对象块相邻、且已经编码的多个块的选择预测模式中的、索引号码最小的预测模式决定为所述第一预测模式。

并且，也可以是，在所述第二预测模式估计步骤中，在所述第一估计预测模式为平面模式的情况下，将所述第二估计预测模式决定为DC预测模式，在所述第一估计预测模式不是平面模式的情况下，将所述第二估计预测模式决定为平面模式。

进而，也可以是，所述模式信息生成步骤包括：边缘检测步骤，检测已经生成的解码块内的边缘；DC及边缘预测判断步骤，根据在所述边缘检测步骤中检测出的边缘，判断DC及边缘预测模式示出DC预测，还是示出边缘预测。

并且，也可以是，所述第一估计预测模式和所述第二估计预测模式的某一方，由在所述边缘检测步骤中检测出的的边缘方向估计。

本发明的实施方案之一涉及的图像解码装置，对依据基于预测模式的预测按每个块对图像数据进行编码而生成的编码图像数据进行解码。具体而言，图像解码装置具备：恢复部，根据示出编码时所执行的预测模式的估计结果的模式信息，恢复选择预测模式，该选择预测模式是，编码时用于预测的预测模式；以及解码部，依据基于所述选择预测模式的预测，对所述编码图像数据的对象块进行解码，从而生成解码块。而且，所述恢复部具备：第一预测模式估计部，从多个预测模式中，将一个预测模式决定为第一估计预测模式；第二预测模式估计部，从多个预测模式中，将与所述第一估计预测模式不同的一个预测模式决定为第二估计预测模式；以及预测模式恢复部，根据所述模式信息和所述第一估计预测模式和所述第二估计预测模式，恢复所述选择预测模式。

本发明的实施方案之一涉及的图像编码装置，按每个块对图像数据进行编码。具体而言，图像编码装置具备：编码部，依据基于从预先决定的多个预测模式候选中选择出的选择预测模式的预测，对所述图像数据的对象块进行编码；解码部，对被编码的对象块进行解码，从而生成解码块；第一预测模式估计部，从多个预测模式中，将一个预测模式决定为第一估计预测模式；第二预测模式估计部，从多个预测模式中，将与所述第一估计预测模式不同的一个预测模式决定为第二估计预测模式；以及输出部，将用于所述选择预测模式的恢复的模式信息，与所述被编码的对象块一起输出。而且，所述输出部具备模式信息生成部，所述模式信息生成部，根据所述第一估计预测模式和所述第二估计预测模式和所述选择预测模式，生成所述模式信息。

本发明的实施方案之一涉及的程序，使计算机，对依据基于预测模式的预测按每个块对图像数据进行编码而生成的编码图像数据进行解码。具体而言，程序使用计算机执行以下的步骤：恢复步骤，根据示出编码时所执行的预测模式的估计结果的模式信息，恢复选择预测模式，该选择预测模式是，编码时用于预测的预测模式；以及解码步骤，依据基于所述选择预测模式的预测，对所述编码图像数据的对象块进行解码，从而生成解码块。而且，所述恢复步骤包括：第一预测模式估计步骤，从多个预测模式中，将一个预测模式决定为第一估计预测模式；第二预测模式估计步骤，从多个预测模式中，将与所述第一估计预测模式不同的一个预测模式决定为第二估计预测模式；以及预测模式恢复步骤，根据所述模式信息和所述第一估计预测模式和所述第二估计预测模式，恢复所述选择预测模式。

本发明的其他的实施方案涉及的程序，使计算机，按每个块对图像数据进行编码。具体而言，程序使用计算机执行以下的步骤：编码步骤，依据基于从预先决定的多个预测模式候选中选择出的选择预测模式的预测，对所述图像数据的对象块进行编码；解码步骤，对被编码的对象块进行解码，从而生成解码块；第一预测模式估计步骤，从多个预测模式中，将一个预测模式决定为第一估计预测模式；第二预测模式估计步骤，从多个预测模式中，将与所述第一估计预测模式不同的一个预测模式决定为第二估计预测模式；以及输出步骤，将用于所述选择预测模式的恢复的模式信息，与所述被编码的对象块一起输出。而且，所述输出步骤包括模式信息生成步骤，在所述模式信息生成步骤中，根据所述第一估计预测模式和所述第二估计预测模式和所述选择预测模式，生成所述模式信息。

本发明的实施方案之一涉及的集成电路，对依据基于预测模式的预测按每个块对图像数据进行编码而生成的编码图像数据进行解码。具体而言，集成电路具备：恢复部，根据示出编码时所执行的预测模式的估计结果的模式信息，恢复选择预测模式，该选择预测模式是，编码时用于预测的预测模式；以及解码部，依据基于所述选择预测模式的预测，对所述编码图像数据的对象块进行解码，从而生成解码块。而且，所述恢复部具备：第一预测模式估计部，从多个预测模式中，将一个预测模式决定为第一估计预测模式；第二预测模式估计部，从多个预测模式中，将与所述第一估计预测模式不同的一个预测模式决定为第二估计预测模式；以及预测模式恢复部，根据所述模式信息和所述第一估计预测模式和所述第二估计预测模式，恢复所述选择预测模式。

本发明的其他的实施方案涉及的形态的集成电路，按每个块对图像数据进行编码。具体而言，集成电路具备：编码部，依据基于从预先决定的多个预测模式候选中选择出的选择预测模式的预测，对所述图像数据的对象块进行编码；解码部，对被编码的对象块进行解码，从而生成解码块；第一预测模式估计部，从多个预测模式中，将一个预测模式决定为第一估计预测模式；第二预测模式估计部，从多个预测模式中，将与所述第一估计预测模式不同的一个预测模式决定为第二估计预测模式；以及输出部，将用于所述选择预测模式的恢复的模式信息，与所述被编码的对象块一起输出。而且，所述输出部具备模式信息生成部，所述模式信息生成部，根据所述第一估计预测模式和所述第二估计预测模式和所述选择预测模式，生成所述模式信息。

而且，本发明，除了可以作为图像编码方法以及图像解码方法来实现以外，还可以将图像编码方法以及图像解码方法中包含的特征步骤作为处理部的图像编码装置以及图像解码装置来实现。并且，也可以作为使计算机执行这样的步骤的程序来实现。进而，也可以作为记录了该程序的计算机可读取的CD－ROM(Compact Disc－Read Only Memory)等的记录介质、以及示出该程序的信息、数据或信号来实现。而且，也可以将这些程序、信息、数据以及信号，通过互联网等通信网络分发。

并且，构成所述的图像编码装置以及图像解码装置的构成要素的一部分或全部也可以，由一个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是，将多个构成部集成在一个芯片上而制造的超多功能LSI，具体而言，由微处理器、ROM以及RAM(Random Access Memory)等构成的计算机系统。

根据本发明，能够更准确地预测预测模式估计值，因此，能够削减预测模式的代码量，提高编码效率。

附图说明

图1A是示出基于以往的H.264/AVC标准的帧内预测估计被适用的对象块与参考像素的关系的一个例子的图。

图1B是示出基于以往的H.264/AVC标准的帧内预测模式集所包含的预测方向的图。

图2是示出基于以往的H.264/AVC标准的图像编码装置的结构中的估计部的详细结构的一个例子的图。

图3是示出基于以往的H.264/AVC标准的图像解码装置的结构中的恢复部的详细结构的一个例子的图。

图4是示出实施例1的图像编码装置的结构的一个例子的方框图。

图5是示出实施例1的进行混合编码的图像编码装置的详细结构的一个例子的方框图。

图6A是示出实施例1的图像编码装置具备的设定部的详细结构的一个例子的方框图。

图6B是示出实施例1的图像编码装置具备的设定部的详细结构的其他例子的方框图。

图7A是示出实施例1的图像编码装置具备的设定部的工作的一个例子的流程图。

图7B是示出实施例1的图像编码装置具备的设定部的工作的其他例子的流程图。

图8是示出实施例1的图像编码装置具备的设定部的工作的还其他例子的流程图。

图9是示出实施例2的图像解码装置的结构的一个例子的方框图。

图10是示出实施例2的图像解码装置的详细结构的一个例子的方框图。

图11A是示出实施例2的图像解码装置具备的恢复部的详细结构的一个例子的方框图。

图11B是示出实施例2的图像解码装置具备的恢复部的详细结构的其他例子的方框图。

图12A是示出实施例2的图像解码装置具备的恢复部的工作的一个例子的流程图。

图12B是示出实施例2的图像解码装置具备的恢复部的工作的其他例子的流程图。

图13是示出实施例2的图像解码装置具备的恢复部的工作的还其他例子的流程图。

图14是示出实施例3的图像编码装置具备的设定部的详细结构的一个例子的方框图。

图15是示出实施例3的图像解码装置具备的恢复部的详细结构的一个例子的方框图。

图16是示出实施例3的图像编码装置具备的设定部的工作的一个例子的流程图。

图17是示出实施例3的图像解码装置具备的恢复部的工作的一个例子的流程图。

图18是示出本实施例的边缘的检测对象的一个例子的概略图。

图19是实现内容分发服务的内容提供系统的整体结构图。

图20是数字广播用系统的整体结构图。

图21是示出电视机的结构例的方框图。

图22是示出对作为光盘的记录介质进行信息的读写的信息再生/记录部的结构例的方框图。

图23是示出作为光盘的记录介质的构造例的图。

图24是示出多路复用数据的结构的图。

图25是示出各个流在多路复用数据中如何被多路复用的模式图。

图26是更详细示出PES数据包串中如何存储视频流的图。

图27是示出多路复用数据中的TS数据包和源数据包的构造的图。

图28是示出PMT的数据结构的图。

图29是示出多路复用数据信息的内部结构的图。

图30是示出流属性信息的内部结构的图。

图31是示出识别影像数据的步骤的图。

图32是示出各个实施例的实现运动图像编码方法以及运动图像解码方法的集成电路的结构例的方框图。

图33是示出切换驱动频率的结构的图。

图34是示出识别影像数据、切换驱动频率的步骤的图。

图35是示出影像数据的标准与驱动频率对应的查找表的一个例子的图。

图36(a)是示出信号处理部的模块的共享化的结构的一个例子的图，图36(b)是示出信号处理部的模块的共享化的结构的其他例子的图。

具体实施方式

(实施例1)

本实施例的图像编码装置，其中，在对图像及影像数据进行编码时，检测位于对象块的周围的周围块中包含的边缘，在以相同的信号(DC及边缘预测模式)表现根据检测出的边缘进行帧内预测的边缘预测模式、和根据位于周围的像素的平均值进行帧内预测的DC预测模式的情况下，决定多个估计预测模式，对模式信号进行编码。

也就是说，在本实施例中，决定多个估计预测模式，在进行编码时，以短的代码表现DC及边缘预测模式，从而能够抑制对DC及边缘预测模式的代码量。

首先，说明本实施例的图像编码装置的结构。

图4是示出本实施例的图像编码装置100的结构的一个例子的方框图。

图像编码装置100，按每个块，对输入的图像及影像数据进行编码。如图4示出，图像编码装置100具备，编码部110、解码部120、输出部130、以及设定部140。

编码部110，根据利用了从多个预测模式候选中选择的选择预测模式的预测，对作为构成图像及影像数据的多个块之一的对象块进行编码。

多个预测模式候选是，进行预测时可选择的所有的预测模式，例如，包含预先定义的8个方向预测模式(参照图1B)、利用参考像素的平均值的DC预测模式、示出周围块内检测出的边缘的方向的边缘预测模式等。预测模式是，示出用于参考预测图像的图像的参考目的的信息。

而且，多个预测模式候选不仅限于所述的例子。例如，可以包含最大33个方向预测模式、DC预测模式、以及平面模式。而且，可以按照对象块的块尺寸，将方向预测模式的数量设为可变。例如，也可以是，在对象块为4像素×4像素的情况下设为18方向，在8像素×8像素至32像素×32像素的情况下设为33方向，在64像素×64像素的情况下设为2方向。

并且，平面模式是指，周边像素的各个像素值乘以按照到预测像素为止的距离的权重并进行加法运算，从而预测对象块的各个像素的模式。例如，在图1A中，在以块30的右上的像素、和块40的右下的像素来预测块10的右上的像素的像素值的情况下，使对块40的右下的像素的像素值相乘的权重，比对块30的右上的像素的像素值相乘的权重大。

解码部120，通过对由编码部110编码的对象块进行解码，从而生成解码块。

输出部130，将用于恢复编码部110所利用的选择预测模式的模式信息，与由编码部110编码的对象块一起，作为比特流来输出。

设定部140，决定多个估计预测模式，利用决定的多个估计预测模式，生成对作为用于对象块的编码的预测模式的选择预测模式的模式信息。在此，说明根据两个估计预测模式生成模式信息的情况。如图4示出，设定部140具备，第一预测模式估计部141、第二预测模式估计部142、以及模式信息生成部143。

第一预测模式估计部141，根据已经编码的周围块的预测模式决定估计预测模式。例如，可以利用式1示出的方法。

第二预测模式估计部142，决定由第一预测模式估计部141决定的模式以外的估计预测模式。

模式信息生成部143，根据由第一预测模式估计部141及第二预测模式估计部142设定的估计预测模式、和由编码部110选择的选择预测模式，生成模式信息。根据以上的结构，本实施例的图像编码装置100，其中，决定估计预测模式，在进行编码时，由估计预测模式，更新为以短的代码表现DC及边缘预测模式。

以下，说明本实施例的图像编码装置100具备的各个处理部的详细结构及工作。

图5是示出本实施例的图像编码装置100的详细结构的一个例子的方框图。图像编码装置100是进行混合编码的图像编码装置。

如图5示出，图像编码装置100具备，编码部110、解码部120、输出部130、设定部140、帧存储器150、参考图片存储器160、以及控制部170。而且，对于与图4相同的结构，附上相同的参照符号。

并且，如图5示出，编码部110具备，减法部111、频率变换部112、量化部113、帧内预测模式决定部114、运动检测部115、帧内预测部116、运动补偿部117、以及开关118、119。解码部120具备，逆量化部121、逆频率变换部122、以及加法部123。输出部130具备，可变长编码部131。

而且，对于设定部140的详细结构，在后面利用图6A和图6B进行说明。

以下，沿着图像编码装置100对由多个帧构成的输入影像数据进行编码时的工作，说明各个处理部的处理。

输入影像数据的各个图片，被存储到帧存储器150。各个图片，被划分为多个块，从帧存储器150以块为单位(例如，以水平16像素、垂直16像素的宏块为单位)输出。而且，输入影像数据，可以是逐行形式以及隔行形式的任一方。

各个宏块，以帧内预测模式或帧间预测模式的任一方被编码。首先，说明对象宏块以帧内预测模式被编码的情况。

在帧内预测模式(帧内预测)的情况下，从帧存储器150输出的宏块，输入到帧内预测模式决定部114(此时，开关118由控制部170与端子“a”连接)。帧内预测模式决定部114，决定对输入的宏块如何执行帧内预测。

具体而言，帧内预测模式决定部114，作为帧内预测模式(IPM：Intra－PredictionMode)，需要决定帧内预测块尺寸(以下的尺寸之一：水平4像素×垂直4像素，水平8像素×垂直8像素，水平16像素×垂直16像素)、和帧内预测方向。例如，帧内预测模式决定部114，决定使因对象块的编码而发生的代码量比规定的阈值小的帧内预测块尺寸及帧内预测方向。更优选的是，帧内预测模式决定部114，决定使发生的代码量最小的帧内预测块尺寸及帧内预测方向。

例如，图1A示出的对象块10(水平4像素×垂直4像素)也可以是，利用参考像素20，根据8个预先定义的帧内预测方向的任一个而被预测。在此，用于帧内预测的参考像素20(图1A中的对角方向的阴影的四角形)，已经被编码及解码，存储在参考图片存储器160中。示出决定的帧内预测模式IPM的信息，被输出到帧内预测部116和设定部140。

帧内预测部116，根据由帧内预测模式决定部114决定的帧内预测模式IPM，从参考图片存储器160获得用于帧内预测的参考像素(帧内参考像素)。而且，帧内预测部116，根据参考像素的像素值生成被帧内预测的图像IP，将生成的帧内预测图像IP输出到减法部111(此时，开关119由控制部170与端子“a”连接)。

减法部111，从帧存储器150接受输入影像数据中包含的图片的宏块(对象宏块)、和由帧内预测部116生成的帧内预测图像IP。而且，减法部111，通过计算对象宏块和帧内预测图像IP的差分(也记载为预测残差)，生成差分图像，将生成的差分图像输出到频率变换部112。

频率变换部112，对由减法部111生成的差分图像，执行离散余弦变换等的频率变换，生成频率变换系数，输出生成的频率变换系数。

量化部113，对由频率变换部112生成的频率变换系数进行量化，输出量化后的频率变换系数QT。在此，量化是，频率变换系数除以预先规定的值(量化幅度)的处理。设想，该量化步长，由控制部170提供(量化步长，也可以被包含在输入到控制部170的控制信号CTL中)。量化频率变换系数QT，被输出到可变长编码部131和逆量化部121。

逆量化部121，对量化频率变换系数QT进行逆量化，将逆量化后的频率变换系数输出到逆频率变换部122。此时，与由量化部113的量化时利用的量化步长相同的量化步长，从控制部170输入到逆量化部121。

逆频率变换部122，通过对逆量化后的频率变换系数进行逆频率变换，生成解码后的差分图像LDD。逆频率变换部122，将生成的解码差分图像LDD输出到加法部123。

加法部123，通过将解码差分图像LDD与帧内预测图像IP(或，帧间预测模式时，后述的帧间预测图像MP)相加，生成解码图像LD。加法部123，将生成的解码图像LD存储到参考图片存储器160。存储到参考图片存储器160的解码图像LD，在以后的编码中，作为参考图像被利用。

可变长编码部131，对从量化部113输入的量化频率变换系数QT执行可变长编码，并且，对从帧内预测模式决定部114经由设定部140输入的示出帧内预测模式IPM的信息进行同样处理，输出也被参考为编码序列的比特流。如上所述，对于设定部140的详细结构，在后面利用图6A和图6B进行说明。

在此，可变长编码部131利用的可变长编码方法的一个方法有，对运动图像进行编码的国际标准H.264中采用的上下文自适应算术编码方法。上下文自适应算术编码方法是，根据可变长编码的对象数据、和已经执行可变长编码(上下文自适应)的数据，将用于算术编码的概率表切换的方法。在此情况下，可变长编码部131具备保持概率表的存储器。

而且，可变长编码部131也可以，利用上下文自适应可变长编码方法，对量化频率变换系数QT进行可变长编码。

接着，说明对象宏块以帧间预测模式被编码的情况。

在帧间预测模式(帧间预测)的情况下，从帧存储器150输出的宏块，输入到运动检测部115(此时，开关118由控制部170与端子“b”连接)。运动检测部115，检测输入的宏块的、对参考图片(参考图片存储器160所保持的重新构成的图片，且与编码的图片不同的图片)的运动信息(位置信息(运动矢量))。

而且，一般而言，在运动检测中，检测以下示出的位置信息(运动矢量)以作为运动信息。也就是说，是具有编码的对象块与预测图像的最小差分值、以及位置信息(运动矢量)的代码量的权重的最小和的位置信息(运动矢量)。检测出的位置信息(运动矢量)，作为对对象块的运动信息，被输出到运动补偿部117和设定部140。

运动补偿部117，根据由运动检测部115检测出的运动信息(位置信息(运动矢量))，将用于帧间预测的参考像素(帧间参考像素)从参考图片存储器160获得。而且，运动补偿部117，生成帧间预测图像MP，将生成的帧间预测图像MP输出到减法部111(此时，开关119由控制部170与端子“b”连接)。

由减法部111、频率变换部112、量化部113、逆量化部121、逆频率变换部122、以及加法部123执行的处理，与帧内预测的情况中说明的处理相同。因此，在此省略说明这样的处理。

可变长编码部131，对从量化部113输入的量化频率变换系数QT执行可变长编码，并且，对包含示出从设定部140输出的编码模式MD的信息以及示出帧内预测模式IPM或运动信息(位置信息(运动矢量)MV)的信息的模式信息执行可变长编码，输出比特流。如上所述，对于设定部140的详细结构，在后面利用图6A和图6B进行说明。

在此，在可变长编码部131，利用上下文自适应算术编码对运动信息(位置信息(运动矢量))MV进行编码的情况下，可变长编码部131具备用于保持概率表的存储器。

模式信息，为了将在影像数据的编码处理中在编码器(图像编码装置100)侧执行的预测在解码器(例如，后述的图像解码装置300(参照图9))侧再现，而包含解码器所需要的信息的全集。因此，模式信息，按每个宏块定义编码模式、即适用了帧内预测以及帧间预测的哪一方。进而，模式信息包含，关于宏块如何被子划分的信息。根据H.264/AVC也可以，由16×16像素构成的宏块，例如，在帧内预测的情况下，还被子划分为8×8或4×4像素的块。

依赖于编码模式，模式信息还包含，用于运动补偿的位置信息(位置信息(运动矢量))的集、或用于确定为了对对象块进行帧内预测而适用了的帧内预测模式的信息。

而且，编码模式(帧内预测模式或帧间预测模式)的选择，由控制部170进行。

例如，控制部170，对根据帧内预测模式IPM和解码图像LD生成的帧内预测图像IP、或者根据位置信息(运动矢量)MV和解码图像LD生成的帧间预测图像MP、对象块图像IMG分别进行比较，从而选择编码模式。控制部170，一般而言，选择具有生成的比特量和编码失真的权重和最小的值的编码模式。

例如，控制部170也可以，将利用了H.264标准的比特率和编码失真的成本函数，用于决定为了将对象块编码而最佳的预测模式。针对各个预测模式，差分图像，被正交变换适用了被量化适用了被可变长编码。而且，针对各个预测模式，计算比特率和编码失真。而且，作为成本函数，例如，利用式4所示的拉格朗日成本函数J。

J＝D+λ·R·····(式4)

在式4中，R是，用于对差分图像(也记载为预测残差)和预测模式信息进行编码的比特率。D是编码失真。λ是，按照为了编码而选择的量化参数QP计算的拉格朗日乘数。控制部170，将成本函数J最低的预测模式，作为预测对象块时的预测模式来选择。

而且，控制部170具备，为了选择最佳的预测模式而暂时存储成本函数J的存储器。

图6A及图6B是示出本实施例的设定部140的详细结构的一个例子的图。如该图示出，设定部140具备，第一预测模式估计部141、第二预测模式估计部142、以及模式信息生成部143。而且，对于与图4相同的结构，附上相同的参照符号。

图6A所示的第一预测模式估计部141具备，预测模式存储器211、以及第一预测模式估计导出部212。

而且，在设定部140，输入示出由控制部170选择的编码模式(帧内预测模式或帧间预测模式)的编码模式信息SMD。例如，在帧内预测编码被选择为编码模式的情况下，编码模式信息SMD是，示出帧内预测模式IPM的信息(帧内预测块尺寸，帧内预测方向等)。另一方面，在帧间预测编码被选择为编码模式的情况下，编码模式信息SMD是，位置信息(运动矢量)MV。

预测模式存储器211是，用于存储输入的编码模式信息SMD的存储器。第一预测模式估计导出部212，从预测模式存储器211中，从已经编码的编码模式信息中，导出作为以预先决定的手段估计预测模式的结果的第一估计预测模式MPM，并输出到模式信息生成部143。

在此，对于第一估计预测模式MPM的导出方法，例如，如所述的式1示出，也可以将与编码对象块的上部相邻的已经编码的块的预测模式、和与编码对象块的左部相邻的已经编码的块的预测模式之中的、与预测模式对应的索引号码小的一方作为第一估计预测模式MPM来利用。并且，也可以还参考与编码对象块的左上及右上相邻的块的预测模式，将出现频度高的预测模式作为第一估计预测模式MPM来导出。对于第一估计预测模式MPM的导出，若是可估计为最发生的预测模式的导出方法，则不仅限于所述的方法。

而且，在按照块尺寸，方向预测模式的模式数不同的情况下，将以编码对象块可选择的方向预测模式之中的、与由所述的方法选择出的估计预测模式最近的方向预测模式设为第一估计预测模式MPM即可。

第二预测模式估计部142，从模式信息生成部143获得控制信号，将作为以预先决定的方法设定的第二预测模式的估计值的第二估计预测模式SPM，输出到模式信息生成部143。

在此，通过将第二估计预测模式SPM设为DC及边缘预测，从而能够对意味着多个预测模式的一个模式信息高效率地进行编码并解码。

模式信息生成部143，根据第一估计预测模式MPM、第二估计预测模式SPM、以及由编码部110选择的选择预测模式SMD，生成模式信息，作为编码预测模式关联信号SSMD，输出到可变长编码部131。可变长编码部131，对编码预测模式关联信号SSMD进行可变长编码处理，作为比特流输出。

图7A是示出，图6A所示的第一预测模式估计部141、第二预测模式估计部142、以及模式信息生成部143的工作的一个例子的流程图。对于模式信息生成部143的模式信息的生成，利用图7A进行更详细说明。

首先，模式信息生成部143，获得由第一预测模式估计部141导出的第一估计预测模式MPM(步骤S701)。在选择预测模式SMD与第一估计预测模式MPM一致的情况下(步骤S702的“是”)，第一估计预测模式指定标志中设定“1(示出一致的情况)”(步骤S703)，由可变长编码部131对第一估计预测模式指定标志进行编码，以作为编码预测模式关联信号SSMD(步骤S704)。

另一方面，在选择预测模式SMD与第一估计预测模式MPM不一致的情况下(步骤S702的“否”)，第一估计预测模式指定标志中设定“0(示出不一致的情况)”(步骤S705)，由可变长编码部131对第一估计预测模式指定标志进行编码，以作为编码预测模式关联信号SSMD(步骤S706)。

接着，在第一估计预测模式MPM为DC及边缘预测模式的情况下(步骤S707的“是”)，将选择预测模式SMD设定为选择模式编码信息，除了标志信息以外，由可变长编码部131还进行编码，以作为编码预测模式关联信号SSMD(步骤S708)。

并且，在第一估计预测模式MPM不是DC及边缘预测模式的情况下(步骤S707的“否”)，模式信息生成部143，将控制信号输出到第二预测模式估计部142。据此，第二预测模式估计部142，将DC及边缘预测模式设定为第二估计预测模式SPM，输出到模式信息生成部143(步骤S709)。

接着，在选择预测模式SMD与第二估计预测模式SPM一致的情况下(步骤S710的“是”)，第二估计预测模式指定标志中设定“1(示出一致的情况)”(步骤S711)，由可变长编码部131对第二估计预测模式指定标志进行编码，以作为编码预测模式关联信号SSMD(步骤S712)。

另一方面，在选择预测模式SMD与第二估计预测模式SPM不一致的情况下(步骤S710的“否”)，第二估计预测模式指定标志中设定“0(示出不一致的情况)”(步骤S713)，由可变长编码部131对第二估计预测模式指定标志进行编码，以作为编码预测模式关联信号SSMD(步骤S714)。

并且，将选择预测模式SMD设定为选择模式编码信息，除了标志信息以外，由可变长编码部131还进行编码，以作为编码预测模式关联信号SSMD(步骤S715)。

而且，在此，说明了在与第一估计预测模式MPM及第二估计预测模式SPM不一致的情况下，将选择预测模式SMD照原样作为选择模式编码信息进行编码，但是不仅限于此。例如，如式2示出，在由于没有与估计预测模式一致的号码，因此选择预测模式SMD的索引号码超过估计预测模式的索引号码的情况下，可以将减去了估计预测模式的数量(图6A及图7A的例子中，最大2)的值作为选择模式编码信息进行编码。据此，能够更削减代码量。

在将第一估计预测模式MPM的索引号码设为MPM、将选择预测模式SMD的索引号码设为SMD、将第一估计预测模式指定标志设为MPMF、将第二估计预测模式指定标志设为SPMF、将DC及边缘预测模式的索引号码设为DCEDGE、将选择模式编码信息设为REM的情况下，例如，由式5能够表示所述的流程。

【算式3】

而且，可以将与DC及预测模式对应的索引号码设为“0”。在此情况下，由于第二估计预测模式SPM的索引号码总是成为“0”，因此，在对选择预测模式SMD的索引号码进行编码时，对最低也减去了1的值进行编码即可，能够更削减代码量。式6示出，与式5同样记载的例子。

【算式4】

并且，与图6A不同，也可以采用将第一预测模式估计部141和第二预测模式估计部142的功能替换的结构。图6B示出该结构。

图6B所示的第二预测模式估计部142具备，预测模式存储器211、以及第二预测模式估计导出部213。

而且，对于没有特别的说明的部分，设想与图6A相同工作。

第一预测模式估计部141，将作为以预先决定的方法设定的第一预测模式的估计值的第一估计预测模式MPM，输出到模式信息生成部143。

在此，通过将第一估计预测模式MPM设为DC及边缘预测，从而能够对意味着多个预测模式的一个模式信息高效率地进行编码并解码。

第二预测模式估计部142，从模式信息生成部143接受控制信号，从预测模式存储器211中，从已经编码的编码模式信息中，导出作为以预先决定的手段估计预测模式的结果的第二估计预测模式SPM，并输出到模式信息生成部143。

在此，对于第二估计预测模式SPM的导出方法，与图6A的第一估计预测模式MPM的导出方法相同，但是，也可以获得第一估计预测模式MPM，决定为第二估计预测模式SPM和第一估计预测模式MPM不重复。例如，从作为候选的模式中除外第一估计模式MPM之后，以预先决定的方法决定第二估计预测模式SPM，从而能够对第一及第二估计预测模式设定不同的候选，能够削减代码量。

模式信息生成部143，根据第一估计预测模式MPM、第二估计预测模式SPM、以及由编码部110选择的选择预测模式SMD，生成模式信息，作为编码预测模式关联信号SSMD输出到可变长编码部131。可变长编码部131，对编码预测模式关联信号SSMD进行可变长编码处理，作为比特流输出。

图7B是示出，图6B所示的第一预测模式估计部141、第二预测模式估计部142、以及模式信息生成部143的工作的一个例子的流程图。

首先，模式信息生成部143，在第一预测模式估计部141中将DC及边缘预测模式设定为第一估计预测模式MPM，获得设定的第一估计预测模式MPM(步骤S801)。在选择预测模式SMD与第一估计预测模式MPM一致的情况下(步骤S802的“是”)，第一估计预测模式指定标志中设定“1(示出一致的情况)”(步骤S803)，由可变长编码部131对第一估计预测模式指定标志进行编码，以作为编码预测模式关联信号SSMD(步骤S804)。

另一方面，在选择预测模式SMD与第一估计预测模式MPM不一致的情况下(步骤S802的“否”)，第一估计预测模式指定标志中设定“0(示出不一致的情况)”(步骤S805)，由可变长编码部131对第一估计预测模式指定标志进行编码，以作为编码预测模式关联信号SSMD(步骤S806)。

接着，模式信息生成部143，将控制信号输出到第二预测模式估计部142。据此，第二预测模式估计部142，以预先决定的方法导出第二估计预测模式SPM，输出到模式信息生成部143(步骤S807)。

接着，在选择预测模式SMD与第二估计预测模式SPM一致的情况下(步骤S808的“是”)，第二估计预测模式指定标志中设定“1(示出一致的情况)”(步骤S7809)，由可变长编码部131对第二估计预测模式指定标志进行编码，以作为编码预测模式关联信号SSMD(步骤S810)。

另一方面，在选择预测模式SMD与第二估计预测模式SPM不一致的情况下(步骤S808的“否”)，第二估计预测模式指定标志中设定“0(示出不一致的情况)”(步骤S811)，由可变长编码部131对第二估计预测模式指定标志进行编码，以作为编码预测模式关联信号SSMD(步骤S812)。

并且，将选择预测模式SMD设定为选择模式编码信息，除了标志信息以外，由可变长编码部131还进行编码，以作为编码预测模式关联信号SSMD(步骤S813)。

而且，在此，说明了在与第一估计预测模式MPM及第二估计预测模式SPM不一致的情况下，将选择预测模式SMD照原样作为选择模式编码信息进行编码，但是不仅限于此。例如，如式2示出，在由于没有与估计预测模式一致的号码，因此选择预测模式SMD的索引号码超过估计预测模式的索引号码的情况下，可以将减去了估计预测模式的数量(图6A及图7B的例子中，最大2)的值作为选择模式编码信息进行编码。据此，能够更削减代码量。式7示出，与式5、6同样记载的例子。

【算式5】

而且，与图7A的情况同样，可以将与DC及预测模式对应的索引号码设为“0”。在此情况下，由于第一估计预测模式SPM的索引号码总是成为“0”，因此，在对选择预测模式SMD的索引号码进行编码时，对最低也减去了1的值进行编码即可，能够更削减代码量。式8示出，与式7同样记载的例子。

【算式6】

根据所述的结构，能够高效率地进行作为平坦的部分的预测模式的DC模式与作为包含边缘的部分的预测模式的边缘预测模式的模式信息的编码。其结果为，除了预测模式代码量的削减以外，还根据预测性能的提高，从而能够提高画质。

其次，参照图8说明图7A及图7B的变形例。图8是实施例1的变形例涉及的流程图。而且，以后的说明是图6A示出的设定部140执行图8的处理的例子，但是，不仅限于此。

而且，图8的流程图中出现的“模式一致标志”是指，示出选择预测模式与第一及第二估计预测模式的任一方一致(设定“1”)的情况、或与双方不一致(设定“0”)的情况的1比特的标志。并且，“预测模式确定标志”是指，示出选择预测模式与第一估计预测模式一致(设定“0”)的情况、或选择预测模式与第二估计预测模式一致(设定“1”)的情况的1比特的标志。而且，模式一致标志及预测模式确定标志被编码，以作为编码预测模式关联信号SSMD。

首先，第一预测模式估计部141，决定第一估计预测模式(S901)。对于第一估计预测模式的决定方法，能够利用已经说明的方法。在此设想，将与编码对象块相邻、且已经编码的多个块的预测模式中的索引号码最小的预测模式，决定为第一预测模式。

接着，第二预测模式估计部142，决定第二估计预测模式(S902)。如上所述，第二估计预测模式和第一估计预测模式不同。并且，对于第二估计预测模式的决定方法没有特别的限定，但是，例如，可以以如下方法决定。

首先，第二预测模式估计部142，判断第一估计预测模式是否为平面模式。而且，在第一估计预测模式是平面模式的情况下，第二预测模式估计部142，将第二估计预测模式决定为DC模式。另一方面，在第一估计预测模式不是平面模式的情况下，第二预测模式估计部142，将第二估计预测模式决定为平面模式。

接着，模式信息生成部143，判断选择预测模式与第一及第二估计预测模式的任一方是否一致(S903)。而且，在与任一方一致的情况下(S903的“是”)，模式信息生成部143，在模式一致标志中设定“1(示出与任一方一致的情况)”(S904)。

接着，模式信息生成部143，判断选择预测模式与第一估计预测模式是否一致(S905)。而且，在步骤S905中，当然也可以判断选择预测模式与第二估计预测模式是否一致。

而且，在择预测模式与第一估计预测模式一致的情况下(S905的“是”)，模式信息生成部143，在预测模式确定标志中设定“0(示出与第一估计预测模式一致的情况)”(S906)。另一方面，在不一致的情况下(S905的“否”)，模式信息生成部143，在预测模式确定标志中设定“1(示出与第二估计预测模式一致的情况)”(S907)。

而且，在步骤S904至步骤907中设定的模式一致标志及预测模式确定标志，由可变长编码部131编码，以作为编码预测模式关联信号SSMD(S908)。

另一方面，在步骤S903中，在选择预测模式与第一及第二估计预测模式的双方不一致的情况下(S903的“否”)，模式信息生成部143，在预测模式确定标志中设定“0(示出与双方不一致的情况)”(S909)。而且，在S909中设定的确定模式一致标志及选择预测模式的信息，由可变长编码部131编码，以作为编码预测模式关联信号SSMD(S910)。

而且，确定选择预测模式的信息，例如，相当于以式5可决定的选择模式编码信息，但是，若是在解码侧能够确定选择预测模式的信息，则不仅限于此。

图8所示的流程图，与图7A和图7B所示的流程图相比，各个标志示出的含义内容以及比较处理等的处理顺序不同，但是，使用两个估计预测模式来削减模式信息的代码量这点是共同的。

也就是说，在图7A、图7B、以及图8所示的处理中均为，在选择预测模式与第一及第二估计预测模式的任一方一致的情况下，生成示出与哪一方一致的标志信息，以作为模式信息。另一方面，在选择预测模式与第一及第二估计预测模式的双方不一致的情况下，生成示出与双方不一致的情况的标志信息、和确定选择预测模式的信息，以作为模式信息。

以上，根据实施例说明了本发明的图像编码装置、图像解码装置以及对应的方法，但是，本发明不仅限于这些实施例。进行了在不脱离本发明的宗旨的范围内本领域的技术人员想到的对该实施例的各种变形的形态也包含在本发明的范围内。

例如，在选择预测模式SMD的索引号码的编码中也可以，不是按照索引号码的顺序进行编码，而是从与第一估计预测模式MPM或第二估计预测模式SPM近的方向矢量开始，按照顺序赋予小的号码来进行编码。据此，能够对更小的号码进行编码，能够削减代码量。并且，也可以按照预测模式的出现频度，动态地变更向各个预测模式分配的模式号码。具体而言，也可以预测模式的出现频度越高，就越分配小的模式号码。

并且，本发明，不仅限于H.264影像编码标准，不仅限于非专利文献2的利用了边缘方向的帧内预测模式(边缘预测模式)等、所述的以往的帧内预测模式预测值、位置信息(运动矢量)预测值。实际上，发明的预测模式估计方法，可以用于任何以块为基础的影像编码器。

并且，本发明的预测模式估计方法中的边缘检测部，也可以与影像编码方式的一部分的功能共享。例如，对包含边缘预测模式的影像编码方式，适用本发明，从而能够共同利用边缘检测部，能够有效利用资源。

并且，本发明，不仅限于影像编码应用，也可以用于以块为基础的静止画像编码。

而且，本发明，可以以如上所述的图像编码装置以及其方法来实现，也可以以用于使计算机执行本实施例的图像编码方法的程序来实现。并且，也可以以记录该程序的、计算机可读取的CD－ROM等记录介质来实现。进而，也可以以示出该程序的信息、数据或信号来实现。而且，也可以将这些程序、信息、数据以及信号，经由互联网等通信网络分发。

以上，根据实施例说明了本发明的图像编码装置以及对应的方法，但是，本发明不仅限于这些实施例。进行了在不脱离本发明的宗旨的范围内本领域的技术人员想到的对该实施例的各种变形的形态也包含在本发明的范围内。

例如，根据本实施例，举了以相同的预测索引号码来处理DC预测和边缘预测的例子。然而，本发明，不仅限于这点。代替，即使在将以与边缘预测、和逐次生成预测像素的方向预测不同的方法来生成预测像素的预测和边缘预测作为相同的预测索引来处理的情况下，也通过进行同样的处理，从而能够对预测模式高效率地进行编码及解码。

(实施例2)

接着，说明本实施例的图像解码装置300的结构。

图9是示出本实施例的图像解码装置300的结构的一个例子的方框图。

图像解码装置300，对根据利用了预测模式的预测按每个块对图像数据进行编码而生成的编码图像数据进行解码。如图9示出，图像解码装置300具备，解码部310、以及恢复部320。

解码部310，根据利用了由恢复部320恢复的选择预测模式的预测，对作为构成编码图像数据的多个块之一的对象块进行解码，从而生成解码块。生成的解码块被输出，以作为图像及影像数据。而且，多个预测模式候选是，与编码器侧同样，进行预测时可选择的所有的预测模式，例如，包含8个方向预测模式、DC预测模式及边缘预测模式等。或者，也可以包含已经说明的最大33个方向预测模式、DC预测模式、以及平面模式。

恢复部320，根据用于恢复编码时选择的预测模式的模式信息，从多个预测模式候选中恢复选择预测模式。而且，模式信息是示出，编码时执行的预测模式的选择结果的信息。如图9示出，恢复部320具备，第一预测模式估计部321、第二预测模式估计部322、以及信号判断部323。

第一预测模式估计部321及第二预测模式估计部322是，本发明涉及的预测模式恢复部的一个例子，某一方将DC及边缘预测模式设定为估计预测模式，能够恢复削减了对DC及边缘预测模式的代码量的比特流。

根据以上的结构，本实施例的图像解码装置300，其中，估计多个预测模式，来解码预测模式的代码量少的比特流。也就是说，本实施例的图像解码装置300，其中，估计两个以上的预测模式，来恢复预测模式。

以下，说明本实施例的图像解码装置300具备的各个处理部的详细结构及工作。

图10是示出本实施例的图像解码装置300的详细结构的一个例子的方框图。如该图示出，图像解码装置300具备，解码部310、恢复部320、可变长解码部330、以及控制部340。

并且，如图10示出，解码部310具备，逆量化部311、逆频率变换部312、加法部313、帧存储器314、开关315、帧内预测部316、运动补偿部317、以及开关318。而且，对于恢复部320的详细结构，在后面利用图11A及图11B进行说明。

以下，沿着图像解码装置300对比特流(编码后的影像数据)进行解码时的工作，说明各个处理部的处理。本实施例的图像解码装置300，将包含预测残差的编码影像数据按每个块作为帧内或帧间预测编码块的任一方进行解码，作为影像数据或图像数据输出。

可变长解码部330，根据预先决定的手段对比特流进行可变长解码，输出量化频率变换系数QT、以及编码预测模式关联信号SSMD。在恢复部320，输入编码预测模式关联信号SSMD和已经解码的图像信号LD，输出示出编码模式MD、以及帧内预测模式IPM或位置信息(运动矢量)MV的信息。而且，如上所述，对于恢复部320的详细结构，在后面利用图11A及图11B进行说明。

编码模式MD，输入到控制部340。示出帧内预测模式IPM或位置信息(运动矢量)MV的信息，输入到开关315。量化频率变换系数QT，输入到逆量化部311。

控制部340，根据编码模式MD控制开关315、318。在编码模式MD示出帧内预测编码的情况下，开关315，与端子“a”连接，示出帧内预测模式IPM的信息输入到帧内预测部316。在编码模式MD示出帧间预测编码的情况下，开关315，与端子“b”连接，位置信息(运动矢量)MV输入到运动补偿部317。

在对象块为帧内预测编码块的情况下，开关315、318，与端子“a”连接。而且，示出帧内预测模式IPM的信息，输入到帧内预测部316，量化频率变换系数QT，输入到逆量化部311。而且，量化频率变换系数QT，相当于由编码器(例如，图像编码装置100)编码的预测残差。

帧内预测部316，根据输入的帧内预测模式，从帧存储器314获得帧内预测参考像素，生成帧内预测后的图像(预测块)，向加法部313输出帧内预测图像。

逆量化部311，对量化频率变换系数QT进行逆量化，将逆量化后的频率变换系数输出到逆频率变换部312。而且，逆频率变换部312，对逆量化后的频率变换系数进行逆频率变换，从而生成解码后的解码差分图像LDD。逆频率变换部312，将生成后的解码差分图像LDD输出到加法部313。

加法部313，将解码差分图像LDD与帧内预测图像IP相加，从而生成解码图像LD。生成后的解码图像LD，被存储到帧存储器314。而且，帧存储器314所存储的解码图像LD，在后面的解码中，作为参考图片被利用。并且，解码图像LD被输出，以形成解码影像数据。

在对象块为帧间预测块的情况下，开关315、316，与端子“b”连接。而且，示出位置信息(运动矢量)MV的信息输入到运动补偿部317，量化频率变换系数QT输入到逆量化部311。

运动补偿部317，根据输入的位置信息(运动矢量)MV，从帧存储器314获得参考像素，生成预测后的图片，向加法部313输出预测图片。

逆量化部311、逆频率变换部312及加法部313的处理，与帧内预测块的情况中说明的处理相同。解码图像LD，被存储到帧存储器314。帧存储器314所存储的解码图像LD，在后面的解码中，作为参考图片被利用。并且，解码图像LD被输出，以形成解码影像数据。

接着，对于本实施例的恢复部320的详细结构，利用图11A及图11B进行说明。

图11A是示出本实施例的恢复部320的详细结构的一个例子的图。如该图及图9示出，恢复部320具备，第一预测模式估计部321、第二预测模式估计部322、以及信号判断部323。

并且，第一预测模式估计部321具备，预测模式存储器411、以及第一预测模式估计导出部412。

在恢复部320，输入编码预测模式关联信号SSMD，将示出编码模式MD、以及帧内预测模式IPM或位置信息(运动矢量)MV的信息，作为编码模式信息SMD输出。

预测模式存储器411是，存储输入的已经解码的编码模式信息SMD的存储器。第一预测模式估计导出部412，从预测模式存储器411，从已经解码的编码模式信息SMD中，导出作为以预先决定的手段估计了预测模式的结果的第一估计预测模式MPM，并输出到信号判断部323。

在此，对于第一估计预测模式MPM的导出方法，例如，如所述的式1示出，也可以将与解码对象块的上部相邻的已经解码的块的预测模式、和与解码对象块的左部相邻的已经解码的块的预测模式之中的、与预测模式对应的索引号码小的一方作为第一估计预测模式MPM来利用。并且，也可以还参考与解码对象块的左上及右上相邻的块的预测模式，将出现频度高的预测模式作为第一估计预测模式MPM来导出。对于第一估计预测模式MPM的导出，若是可估计为最发生的预测模式的导出方法，则不仅限于所述的方法。并且设想，对于该估计方法，利用与比特流的编码时相同的方式。

而且，在按照块尺寸，方向预测模式的模式数不同的情况下，将以解码对象块可选择的方向预测模式之中的、与由所述的方法选择出的估计预测模式最近的方向预测模式，作为第一估计预测模式MPM即可。

第二预测模式估计部322，从信号判断部323获得控制信号，将作为以预先决定的方法设定的第二预测模式的估计值的第二估计预测模式SPM，输出到信号判断部323。

信号判断部323，根据第一估计预测模式MPM、第二估计预测模式SPM、以及从可变长解码部330对比特流进行可变长解码而得到的编码预测模式关联信号SSMD，生成编码模式信息SMD，并输出。

在此，通过将第二估计预测模式SPM设为DC及边缘预测，从而能够对意味着多个预测模式的一个模式信息高效率地进行编码并解码。

图12A是示出图11A所示的第一预测模式估计部321、第二预测模式估计部322、以及信号判断部323的工作的一个例子的流程图。对于信号判断部323的编码模式信息的解码，利用图12A进行更详细说明。

首先，信号判断部323，获得由第一预测模式估计部321导出的第一估计预测模式MPM(步骤S1201)。接着，信号判断部323，获得编码预测模式关联信息SSMD，对第一估计预测模式指定标志进行解码(步骤S1202)。在第一估计预测模式指定标志为“1”的情况下(步骤S1203的“是”)，将选择预测模式SMD设定为第一估计预测模式MPM(步骤S1204)，并输出。

另一方面，在第一估计预测模式指定标志为“0”的情况下(步骤S1203的“否”)，且在第一估计预测模式MPM为DC及边缘预测模式的情况下(步骤S1205的“是”)，接着对选择预测模式编码信息进行解码(步骤S1206)。将解码而得到的选择预测模式号码所示的模式设定为选择预测模式SMD(步骤S1207)，并输出。

并且，在第一估计预测模式MPM不是DC及边缘预测模式的情况下(步骤S1205的“否”)，对第二估计预测模式指定标志进行解码(步骤S1208)。在第二估计预测模式指定标志为“1”的情况下(步骤S1209的“是”)，将选择预测模式SMD设定为第二估计预测模式SPM(步骤S1210)，并输出。在第二估计预测模式指定标志为“0”的情况下(步骤S1209的“否”)，对选择预测模式编码信息进行解码(步骤S1211)。将解码而得到的选择预测模式号码所示的模式设定为选择预测模式SMD(步骤S1212)，并输出。

而且，在此，说明了在与第一估计预测模式MPM及第二估计预测模式SPM不一致的情况下，将选择预测模式SMD照原样作为选择模式编码信息进行编码，但是不仅限于此。例如，如式3示出，在由于没有与估计预测模式一致的号码，因此选择预测模式SMD的索引号码超过估计预测模式的索引号码的情况下，可以减去估计预测模式的数量(图6A及图7A的例子中，最大2)进行编码。因此，在解码时，将加上了估计预测模式的数量(图11A及图12A最大2)的值作为选择模式编码信息来进行解码。据此，能够对更削减了代码量的比特流进行解码。

parse()示出，根据编码预测模式关联信号SSMD解码()内的数据的情况，在将第一估计预测模式MPM的索引号码设为MPM、将选择预测模式SMD的索引号码设为SMD、将第一估计预测模式指定标志设为MPMF、将第二估计预测模式指定标志设为SPMF、将DC及边缘预测模式的索引号码设为DCEDGE、将选择模式编码信息设为REM的情况下，例如，由式9能够表示所述的流程。

【算式7】

而且，可以将与DC及预测模式对应的索引号码设为“0”。在此情况下，由于第二估计预测模式SPM的索引号码总是成为“0”，因此，在对选择预测模式SMD的索引号码进行编码时，对最低也减去了1的值进行编码即可。而且，在解码时，作为最低也加上了1的值进行解码，从而能够对更削减了代码量的比特流进行解码。式10示出，与式9同样记载的例子。

【算式8】

并且，与图11A不同，也可以采用将第一预测模式估计部321和第二预测模式估计部322的功能替换的结构。图11B示出该结构。如图11B示出，第二预测模式估计部322具备，预测模式存储器411、以及第二预测模式估计导出部413。

在恢复部320，输入编码预测模式关联信号SSMD，将示出编码模式MD、以及帧内预测模式IPM或位置信息(运动矢量)MV的信息，作为编码模式信息SMD输出。

预测模式存储器411是，存储输入的已经解码的编码模式信息SMD的存储器。第二预测模式估计导出部413，从预测模式存储器411，从已经解码的编码模式信息SMD中，导出作为以预先决定的手段估计了预测模式的结果的第二估计预测模式SPM，并输出到信号判断部323。

在此，对于第二估计预测模式SPM的导出方法，与图11A的第一估计预测模式MPM的导出方法相同，但是，也可以获得第一估计预测模式MPM，决定为第二估计预测模式SPM和第一估计预测模式MPM不重复。例如，从作为候选的模式中除外第一估计模式MPM之后，以预先决定的方法决定第二估计预测模式SPM，从而能够对第一及第二估计预测模式设定不同的候选，能够对削减了代码量的比特流进行解码。并且设想，对于该估计方法，利用与比特流的编码时相同的方式。

第一预测模式估计部321，针对信号判断部323，将作为以预先决定的方法设定的第一预测模式的估计值的第一估计预测模式MPM，输出到信号判断部323。

在此，通过将第一估计预测模式MPM设为DC及边缘预测，从而能够对意味着多个预测模式的一个模式信息高效率地进行编码并解码。

信号判断部323，根据第一估计预测模式MPM、第二估计预测模式SPM、以及从可变长解码部330对比特流进行可变长解码而得到的编码预测模式关联信号SSMD，生成编码模式信息SMD，并输出。

图12B是示出图11B所示的第一预测模式估计部321、第二预测模式估计部322、以及信号判断部323的工作的一个例子的流程图。对于信号判断部323的编码模式信息SMD的解码，利用图12B进行更详细说明。

首先，信号判断部323，获得编码预测模式关联信息SSMD，对第一估计预测模式指定标志进行解码(步骤S1301)。在第一估计预测模式指定标志为1的情况下(步骤S1302的“是”)，将选择预测模式SMD设定为第一估计预测模式MPM(步骤S1303)，并输出。

另一方面，在第一估计预测模式指定标志为0的情况下(步骤S1302的“否”)，信号判断部323，获得由第二预测模式估计部322导出的第二估计预测模式SPM(步骤S1304)。接着，信号判断部323，从编码预测模式关联信息SSMD，对第二估计预测模式指定标志进行解码(步骤S1305)。

在第二估计预测模式指定标志为“1”的情况下(步骤S1306的“是”)，将选择预测模式SMD设定为第二估计预测模式SPM(步骤S1307)，并输出。在第二估计预测模式指定标志为“0”的情况下(步骤S1306的“否”)，对选择预测模式编码信息进行解码(步骤S1308)。将解码而得到的选择预测模式号码所示的模式设定为选择预测模式SMD(步骤S1309)，并输出。

而且，在此，说明了在与第一估计预测模式MPM及第二估计预测模式SPM不一致的情况下，将选择预测模式SMD照原样作为选择模式编码信息进行编码，但是不仅限于此。例如，如式3示出，在因没有与估计预测模式一致的号码，而选择预测模式SMD的索引号码超过估计预测模式的索引号码的情况下，可以将减去估计预测模式的数量(图6B及图7B的例子中，最大2)进行编码，因此，在解码时，将加上了估计预测模式的数量(图11B及图12B的例子中，最大2)的值作为选择模式编码信息来进行解码。据此，能够对更削减了代码量的比特流进行解码。式11示出，与式9、10同样记载的例子。

【算式9】

而且，与图12A的情况同样，可以将与DC及预测模式对应的索引号码设为“0”。在此情况下，由于第二估计预测模式SPM的索引号码总是成为“0”，因此，在对选择预测模式SMD的索引号码进行编码时，对最低也减去了1的值进行编码即可。而且，在解码时，作为最低也加上了1的值进行解码，从而能够对更削减了代码量的比特流进行解码。式12示出，与式11同样记载的例子。

【算式10】

根据所述的结构，能够实现高效率地进行作为平坦的部分的预测模式的DC模式与作为包含边缘的部分的预测模式的边缘预测模式的模式信息的编码的比特流的解码。其结果为，除了预测模式代码量的削减以外，还根据预测性能的提高，从而能够提高画质。

接着，参照图13，说明图12A及图12B的变形例。图13是实施例2的变形例涉及的流程图。而且，以后的说明是，图11A所示的恢复部320执行图13的处理的例子，但是，不仅限于此。并且，图13所示的流程图，典型而言，用于由图8的方法编码的比特流的解码。

首先，第一预测模式估计部321，决定第一估计预测模式(S1401)。对于第一估计预测模式的决定方法，可以利用已经说明的方法。在此设想，将与解码对象块相邻、且已经解码的多个块的预测模式中的、索引号码最小的预测模式，决定为第一预测模式。

接着，第二预测模式估计部322，决定第二估计预测模式(S1402)。如上所述，第二估计预测模式和第一估计预测模式不同。并且，对于第二估计预测模式的决定方法，没有特别的限定，但是，例如，能够以如下的方法决定。

首先，第二预测模式估计部322，判断第一估计预测模式是否为平面模式。而且，在第一估计预测模式是平面模式的情况下，第二预测模式估计部322，将第二估计预测模式决定为DC模式。另一方面，在第一估计预测模式不是平面模式的情况下，第二预测模式估计部322，将第二估计预测模式决定为平面模式。

接着，信号判断部323，判断从可变长解码部330获得的编码预测模式关联信号SSMD中包含的模式一致标志中设定的值(S1403)。而且，在模式一致标志中设定“1”的情况下(步骤S1403的“是”)，信号判断部323，判断编码预测模式关联信号SSMD中包含的预测模式确定标志中设定的值(S1404)。

在预测模式确定标志中设定“0”的情况下(步骤S1404的“是”)，信号判断部323，将选择预测模式设定为第一估计预测模式(S1405)。另一方面，在预测模式确定标志中设定“1”的情况下(步骤S1404的“否”)，信号判断部323，将选择预测模式设定为第二估计预测模式(S1406)。

另一方面，在步骤S1403中，在模式一致标志中设定“0”的情况下(步骤S1403的“否”)，信号判断部323，对选择预测模式编码信息进行解码(S1407)。而且，信号判断部323，将解码而得到的选择预测模式号码所示的预测模式设定为选择预测模式SMD(步骤S1408)。

图13所示的流程图，与图12A和图12B所示的流程图相比，各个标志示出的含义内容以及比较处理等的处理顺序不同，但是，使用两个估计预测模式来恢复选择预测模式这点是共同的。

也就是说，在图12A、图12B、以及图13所示的处理中均为，在标志信息示出选择预测模式与第一估计预测模式一致的情况下，将第一估计预测模式决定为选择预测模式。并且，在标志信息示出选择预测模式与第二估计预测模式一致的情况下，将第二估计预测模式决定为所述选择预测模式。而且，在标志信息示出选择预测模式与第一及第二估计预测模式不一致的情况下，根据模式信息中还包含的确定选择预测模式的信息，恢复选择预测模式。

以上，根据实施例说明了本发明的图像解码装置以及对应的方法，但是，本发明不仅限于这些实施例。进行了在不脱离本发明的宗旨的范围内本领域的技术人员想到的对该实施例的各种变形的形态也包含在本发明的范围内。

例如，在选择预测模式SMD的索引号码的编码中也可以，设想不是按照索引号码的顺序进行编码，而是从与第一估计预测模式MPM或第二估计预测模式SPM近的方向矢量开始，按照顺序赋予小的号码来进行编码，并进行解码。据此，能够对将更小的号码编码的比特流进行解码，能够削减代码量。

并且，本发明，不仅限于H.264影像编码标准，不仅限于非专利文献2的利用了边缘方向的帧内预测模式(边缘预测模式)等、所述的以往的帧内预测模式预测值、位置信息(运动矢量)预测值。实际上，发明的预测模式估计方法，可以用于任何以块为基础的影像编码器。

并且，本发明的预测模式估计方法中的边缘检测部，也可以与影像编码方式的一部分的功能共享。例如，对包含边缘预测模式的影像编码方式，适用本发明，从而能够共同利用边缘检测部，能够有效利用资源。

并且，本发明，不仅限于影像编码应用，也可以用于以块为基础的静止画像编码。

而且，本发明，可以以如上所述的图像解码装置以及其方法来实现，也可以以用于使计算机执行本实施例的图像编码方法的程序来实现。并且，也可以以记录该程序的、计算机可读取的CD－ROM等记录介质来实现。进而，也可以以示出该程序的信息、数据或信号来实现。而且，也可以将这些程序、信息、数据以及信号，经由互联网等通信网络分发。

以上，根据实施例说明了本发明的图像解码装置以及对应的方法，但是，本发明不仅限于这些实施例。进行了在不脱离本发明的宗旨的范围内本领域的技术人员想到的对该实施例的各种变形的形态也包含在本发明的范围内。

例如，根据本实施例，举了以相同的预测索引号码来处理DC预测和边缘预测的例子。然而，本发明，不仅限于这点。代替，即使在将以与边缘预测、和逐次生成预测像素的方向预测不同的方法来生成预测像素的预测和边缘预测作为相同的预测索引来处理的情况下，也通过进行同样的处理，从而能够对预测模式高效率地进行编码及解码。

(实施例3)

在此，说明所述的图像编码装置100所具备的设定部140、图像解码装置300所具备的恢复部320分别具备，具有边缘检测器的边缘矢量判断部1401、1501的情况。

图14是示出作为实施例1中说明的图像编码装置100的一部分的设定部140包括边缘矢量判断部1401的结构的一个例子的图。如该图示出，设定部140具备，第一预测模式估计部141、第二预测模式估计部142、模式信息生成部143、以及边缘矢量判断部1401。而且，对于与图4、图6A及图6B相同的结构，附上相同的参照符号。

设定部140，获得选择预测模式SMD、和已经编码并解码的图像信号LD，作为对对象块的选择预测模式的编码信号，将编码预测模式关联信号SSMD输出到可变长编码部131。

边缘矢量判断部1401，获得所述的已经编码并解码的位于周围的图像信号LD，执行边缘检测处理，判断在周围是否存在边缘。对于该工作，利用图18进行详细说明。图18是示出边缘的检测对象的一个例子的概略图。作为一个例子，示出进行对作为编码对象的4×4像素的处理对象块1801的边缘检测的例子。该处理单位是一个例子，若是预测块的单位，则不仅限于此。对处理对象块1801的周围的编码、解码完毕的区域(作为对象块的左、左上、上、右上的相邻区域)中的以斜线示出的区域1802，进行边缘检测处理。一个方格示出1像素，针对以斜线示出的区域的1像素，对包含相邻的8像素的9像素进行处理。对于边缘检测处理，利用式13示出的索贝尔(Sobel)算子。利用索贝尔算子，得到对水平、垂直方向的边缘的强度。将示出该强度和方向的矢量称为边缘矢量。

【算式11】

例如，检测具有一定以上的强度的矢量1803、1804，将其中的强度最大的矢量作为边缘矢量来检测。

在此，边缘矢量判断部1401，根据所述的检测出的边缘矢量，判断在DC及边缘预测模式中进行DC预测还是进行边缘预测，并向模式信息生成部143输出。在此，对于判断的条件，在利用最大强度的矢量的大小，例如在具有一定以上的大小的情况下，可以利用边缘预测。

对于该结构的设定部140的工作，利用图16进行更详细说明。图16是示出设定部140的工作的一个例子的图。

模式信息生成部143，从边缘矢量判断部1401获得进行DC预测还是进行边缘预测的判断的信息(步骤S1601)。在使用边缘预测的条件的情况下(步骤S1602的“是”)，将DC及边缘预测模式设定为第一估计预测模式MPM(步骤S1603)，以后以与图7B相同的流程(步骤S801至S813)决定编码信息，将决定的编码预测模式关联信号SSMD输出到可变长编码部131(步骤S1604)。

另一方面，在不使用边缘预测的条件的情况下(步骤S1602的“否”)，获得由第一预测模式估计部141导出的第一估计预测模式MPM(步骤S1605)。以后，例如以非专利文献1示出的方法，决定编码信息，将决定的编码预测模式关联信号SSMD输出到可变长编码部131(步骤S1606)。

而且，所述的工作是一个例子，本发明不仅限于此。例如在步骤S1606中根据以往的方式进行编码，但是，可以利用第二估计预测模式SPM进行编码。对于此时的第二估计预测模式SPM的导出方法，可以设定与第一估计预测模式MPM不重复的、已经编码的块的使用频度高的模式。据此，能够更提高编码效率。

而且，说明了在步骤S1604中进行与图7B相同的工作的例子，但是，可以将此时的第二估计预测模式SPM，根据由边缘检测而检测出的边缘的方向导出。在此情况下，边缘矢量判断部1401，将检测出的边缘矢量的方向的信息输出到第二预测模式估计部142。

对于根据边缘矢量的方向决定第二估计预测模式SPM的例子，在预测模式候选为，8个方向预测模式与示出DC预测模式和边缘预测模式的哪一方的DC及边缘预测模式的总共9个的情况下，也可以将9个预测模式候选中的、与检测出的边缘的方向近的方向预测模式设为第二估计预测模式SPM。

据此，与根据在周围选择出的预测模式的分布决定时相比，能够导出更符合图像的特征的预测模式，能够更削减代码量。

图15是示出，作为实施例2中说明的图像解码装置300的一部分的恢复部320具备边缘矢量判断部1501的结构的一个例子的图。如该图示出，恢复部320具备，第一预测模式估计部321、第二预测模式估计部322、信号判断部323、以及边缘矢量判断部1501。而且，对于与图9、图11A及图11B相同的结构，附上相同的参照符号。

恢复部320，获得可变长解码后的编码预测模式关联信号SSMD、以及已经编码并解码的图像信号LD，作为对对象块的选择预测模式的编码信号，输出选择预测模式SMD。

边缘矢量判断部1501，获得所述的已经编码并解码的位于周围的图像信号LD，执行边缘检测处理，判断在周围是否存在边缘。对于工作设想，进行与编码时的工作相同的工作。

对于该结构的恢复部320的工作，利用图17进行更详细说明。图17是示出恢复部320的工作的一个例子的图。

信号判断部323，从边缘矢量判断部1501获得进行DC预测还是进行边缘预测的判断的信息(步骤S1701)。在使用边缘预测的条件的情况下(步骤S1702的“是”)，将第一估计预测模式MPM设定为DC及边缘预测模式(步骤S1703)，以后以与图12B相同的流程(步骤S1301至S1309)进行解码处理，输出选择预测模式SMD(步骤S1704)。

另一方面，在不使用边缘预测的条件的情况下(步骤S1702的“否”)，获得由第一预测模式估计部321导出的第一估计预测模式MPM(步骤S1705)。以后，例如以非专利文献1示出的方法，输出选择预测模式SMD(步骤S1706)。

而且，所述的工作是一个例子，本发明不仅限于此，能够进行与编码方法相同的变更。例如在步骤S1706中根据以往的方式进行编码，但是，在利用第二估计预测模式SPM进行编码的情况下，在解码侧也能够进行同样的处理。对于此时的第二估计预测模式SPM的导出方法，可以设定与第一估计预测模式MPM不重复的、已经编码的块的使用频度高的模式。据此，能够更提高编码效率。

而且，说明了在步骤S1704中进行与图12B相同的工作的例子，但是，可以将此时的第二估计预测模式SPM，根据由边缘检测而检测出的边缘的方向导出。在此情况下，边缘矢量判断部1501，将检测出的边缘矢量的方向的信息输出到第二预测模式估计部322。

对于根据边缘矢量的方向决定第二估计预测模式SPM的例子，在预测模式候选为，8个方向预测模式与示出DC预测模式和边缘预测模式的哪一方的DC及边缘预测模式的总共9个的情况下，也可以将9个预测模式候选中的、与检测出的边缘的方向近的方向预测模式设为第二估计预测模式SPM。

据此，与根据在周围选择出的预测模式的分布决定时相比，能够导出更符合图像的特征的预测模式，能够对更削减了代码量的比特流进行解码。

而且，例如，在选择预测模式SMD的索引号码的编码中也可以是，设想不是按照索引号码的顺序进行编码，而是从与检测出的边缘矢量近的方向矢量开始，按照顺序赋予小的号码来进行编码并解码。据此，能够对更小的号码进行编码并解码，能够削减代码量。

例如，根据本实施例，利用索贝尔算子计算梯度，进行了边缘的检测。但是，本发明不仅限于这点。代替，若能够计算检测出的边缘的方向性，则可以利用任何边缘检测工具。索贝尔算子，仅是能够利用的边缘检测技术的一个例子。例如，可以利用式14示出的Prewitt算子。

【算式12】

而且，在本实施例的图像编码装置100及图像解码装置300中，为了进行边缘检测处理，除了图1A示出的参考像素20以外，还需要将包含参考像素20的块中包含的全像素的数据，存储到参考图片存储器160及帧存储器314。对此，也可以是，在对周围的块进行解码的同时，即，在得到梯度的计算所需要的参考像素的像素值的同时，进行梯度的计算处理，仅将梯度的计算处理结果存储到参考图片存储器160及帧存储器314或其他的存储器。

此时，例如，通过仅存储超过阈值的范数(或，梯度值)，能够更节省存储器资源。或者，也可以仅存储各个块的最大的范数和其像素位置。在此情况下，将计算出的范数(或，梯度值)存储到参考图片存储器160及帧存储器314等。

据此，能够有效利用图像编码装置100及图像解码装置300具备的存储器资源。

并且，本发明，不仅限于H.264影像编码标准，不仅限于非专利文献2的利用了边缘方向的帧内预测模式(边缘预测模式)等、所述的以往的帧内预测模式预测值、位置信息(运动矢量)预测值。实际上，发明的预测模式估计方法，可以用于任何以块为基础的影像编码器。

并且，本发明的预测模式估计方法中的边缘检测部，也可以与影像编码方式的一部分的功能共享。例如，对包含边缘预测模式的影像编码方式，适用本发明，从而能够共同利用边缘检测部，能够有效利用资源。

并且，本发明，不仅限于影像编码应用，也可以用于以块为基础的静止画像编码。

而且，本发明，可以以如上所述的图像编码装置、图像解码装置以及其方法来实现，也可以以用于使计算机执行本实施例的图像编码方法的程序来实现。并且，也可以以记录该程序的、计算机可读取的CD－ROM等记录介质来实现。进而，也可以以示出该程序的信息、数据或信号来实现。而且，也可以将这些程序、信息、数据以及信号，经由互联网等通信网络分发。

(实施例4)

通过将用于实现在上述的各个实施例所示的运动图像编码方法或运动图像解码方法的的结构的程序记录到存储介质，从而可以将上述的各个实施例所示的处理在独立的计算机系统简单地实施。记录介质可以是磁盘、光盘、磁光盘、IC卡、半导体存储器等，只要能够记录程序就可以。

进而，在此对在上述的各个实施例所示的运动图像编码方法以及运动图像解码方法的应用实例以及利用这些应用实例的系统进行说明。

图19是示出实现内容分发服务的内容提供系统ex100的全体构成的图。将通信服务的提供区域划分为所希望的大小，在各单元内分别设置有作为固定无线局的基站ex106、ex107、ex108、ex109、ex110。

在该内容提供系统ex100中，计算机ex111、PDA(个人数字助理：Personal DigitalAssistant)ex112、摄像机ex113、移动电话ex114、游戏机ex115等各种设备通过互联网服务提供商ex102和电话网ex104、以及基站ex106至ex110，与互联网ex101上相连接。

然而，内容提供系统ex100并非局限于图19所示的构成，也可以对任意的要素进行组合接续。并且，可以不通过作为固定无线局的基站ex106至ex110，而是各个设备直接与电话网ex104相连接。并且，也可以是各个设备通过近距离无线等而彼此直接连接。

摄像机ex113是数字摄像机等能够拍摄运动图像的设备，摄像机ex116是数字照相机等能够拍摄静止图像以及运动图像的设备。并且，移动电话ex114可以是GSM(注册商标)(Global System for Mobile Communications：全球移动通讯系统)方式、CDMA(CodeDivision Multiple Access：码分多址访问)方式、W-CDMA(Wideband-Code DivisionMultiple Access：宽带码分多址访问)方式、或LTE(Long Term Evolution：长期演进)方式、HSPA(High-Speed Packet Access：高速分组访问)的移动电话，或PHS(PersonalHandy-phone System：个人手持式电话系统)等任一个。

在内容提供系统ex100中，摄像机ex113等通过基站ex109、电话网ex104与流播放服务器ex103连接，从而能够进行实况分发等。在实况分发中，针对用户利用摄像机ex113拍摄的内容(例如音乐实况的影像等)进行在上述的实施例所说明的编码处理，并发送到流播放服务器ex103。另外，流播放服务器ex103针对提出请求的客户端，对被发送的内容数据进行流的分发。作为客户端，包括可以解码上述的被编码处理的数据的计算机ex111、PDAex112、摄像机ex113、移动电话ex114、以及游戏机ex115等。在接收了被分发的数据的各个设备，对接收的数据进行解码处理并再生。

并且，拍摄的数据的编码处理可以在摄像机ex113进行，也可以在进行数据的发送处理的流播放服务器ex103进行，也可以相互分担进行。同样，被分发的数据的解码处理可以由客户端进行，也可以在流播放服务器ex103进行，也可以相互分担进行。并且，不仅限于摄像机ex113，由摄像机ex116拍摄的静止图像数据以及/或者运动图像数据，也可以通过计算机ex111而被发送到流播放服务器ex103。此时的编码处理可以在摄像机ex116、计算机ex111、流播放服务器ex103的任一个中进行，也可以相互分担进行。

并且，这样的编码处理以及解码处理，由一般的计算机ex111以及各个设备有的LSIex500处理。LSIex500可以由一个芯片构成，也可以由多个芯片构成。另外，也可以将运动图像编码用以及运动图像解码用的软件安装到能够计算机ex111等读取的某种记录介质(CD-ROM、软盘、硬盘等)中，并利用该软件来进行编码处理以及解码处理。而且，在移动电话ex114是附带有相机的情况下，也可以发送该相机所获得的运动图像数据。在这种情况下的运动图像数据是由移动电话ex114所具有的LSIex500进行编码处理后的数据。

并且，流播放服务器ex103是多个服务器或多个计算机，也可以是对数据进行分散地处理、记录、分发的装置。

如以上所述，在内容提供系统ex100中，客户端能够接收并再生被编码的数据。在这样的内容提供系统ex100中，在客户端能够实时地接收并解码由用户发送的信息并且能够再生，这样，即使是没有特殊权利或设备的用户也能够实现个人播放。

而且，不仅限于内容提供系统ex100的例子，如图20示出，也可以在数字广播用系统ex200中，组装所述的各个实施例的至少运动图像编码装置或运动图像解码装置的某个。具体而言，在广播电台ex201中在影像数据中多路复用了音乐数据等的多路复用数据通过电波通信或传输到卫星ex202。该影像数据是，由所述的各个实施例中说明的运动图像编码方法编码后的数据。接受它的播放卫星ex202，发出广播用的电波，该电波由能够接收卫星广播的家庭的天线ex204接收。接收的多路复用数据，由电视机(接收机)ex300或机顶盒(STB)ex217等的装置解码或再生。

并且，在阅读器/记录器ex218中也可以安装在上述的实施例中所示的运动图像解码装置或运动图像编码装置，该阅读器/记录器ex218对DVD、BD等记录介质ex215中所记录的多路复用数据进行读取或解码，或者将影像信号编码、还根据情况与的不同与音乐信号多路复用并写入到记录介质ex215中。在此情况下，被再生的影像信号被显示在监视器ex219，通过记录有多路复用数据的记录介质ex215，其他的装置以及系统能够再生影像信号。并且，也可以将运动图像解码装置安装到与有线电视用的电缆ex203或卫星/地波广播的天线ex204连接的机顶盒ex217内，并在电视机的监视器ex219上显示。此时，可以不组装到机顶盒，而是将运动图像解码装置组装到电视机内。

图21示出了利用了上述的各个实施例所说明的运动图像解码方法以及运动图像编码方法的电视机(接收机)ex300。电视机ex300包括：调谐器ex301，通过接收上述广播的天线ex204或电缆ex203等获得或者输出影像数据中多路复用了声音数据的多路复用数据；调制/解调部ex302，解调接收的多路复用数据，或者调制为要发送到外部的多路复用数据；以及多路复用/分离部ex303，将解调的多路复用数据分离为影像数据和声音数据，或者对由信号处理部ex306编码的影像数据和声音数据进行多路复用。

并且，电视机ex300具有信号处理部ex306和输出部ex309，所述信号处理部ex306具有分别对声音信号、影像信号进行解码或者对各个信息进行编码的声音信号处理部ex304、影像信号处理部ex305；所述输出部ex309具有对被解码的声音信号进行输出的扬声器ex307，以及对被解码的影像信号进行显示的显示器等显示部ex308。进而，电视机ex300具有接口部ex317，该接口部ex317具有接受用户的操作输入的操作输入部ex312等。进而，电视机ex300具有统括控制各个部的控制部ex310，以及向各个部提供电力的电源电路部ex311。接口部ex317除可以具有操作输入部ex312以外，还可以具有与阅读器/记录器ex218等外部设备连接的电桥ex313、用于安装SD卡等记录介质ex216的插槽部ex314、用于与硬盘等外部记录介质连接的驱动器ex315、以及与电话网连接的调制解调器ex316等。并且，记录介质ex216能够通过存储的非易失性/易失性的半导体存储器元件进行信息的电记录。电视机ex300的各个部通过同步总线相互连接。

首先，对电视机ex300通过天线ex204等从外部获得的多路复用数据进行解码并再生的构成进行说明。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据具有CPU等的控制部ex310的控制，将在调制/解调部ex302解调的多路复用数据，在多路复用/分离部ex303进行分离。进而，电视机ex300将分离的声音数据在声音信号处理部ex304进行解码，利用上述的各个实施例中说明的解码方法，将分离的影像数据在影像信号处理部ex305进行解码。解码的声音信号、影像信号分别从输出部ex309被输出到外部。在进行输出时，为了使声音信号和影像信号同步再生，而可以在缓冲器ex318、ex319等暂时蓄积这些信号。并且，电视机ex300可以不从广播等读出被多路复用数据，而是从磁性/光盘、SD卡等记录介质ex215、ex216中读出多路复用数据。以下将要说明的构成是，电视机ex300对声音信号以及影像信号进行编码，并发送到外部或写入到记录介质等。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据控制部ex310的控制，在声音信号处理部ex304对声音信号进行编码，并利用在上述的各个实施例中说明的编码方法，在影像信号处理部ex305对影像信号进行编码。被编码的声音信号和影像信号在多路复用/分离部ex303被多路复用，并被输出到外部。在进行多路复用时，为了使声音信号和影像信号同步，而可以将这些信号暂时蓄积到缓冲器ex320、ex321等。另外，关于缓冲器ex318、ex319、ex320、ex321，可以如图中所示那样具备多个，也可以共享一个以上的缓冲器。而且，除图中所示以外，例如可以在调制/解调部ex302以及多路复用/分离部ex303之间等，作为回避系统的上溢和下溢的缓冲材料，可以在缓冲器中蓄积数据。

并且，电视机ex300除具有获得广播等以及来自记录介质等的声音数据以及影像数据的构成以外，还可以具有接受麦克风以及摄像机的AV输入的构成，并且也可以对从这些获得的数据进行编码处理。并且，在此虽然对电视机ex300能够进行上述的编码处理、多路复用以及外部输出的构成进行了说明，不过也可以不能进行上述的处理，而只能进行上述的接收、解码处理、外部输出的构成。

并且，在阅读器/记录器ex218从记录介质中读出或写入多路复用数据的情况下，上述的解码处理或编码处理也可以在电视机ex300、阅读器/记录器ex218的某一个中进行，也可以是电视机ex300和阅读器/记录器ex218彼此分担进行。

作为一个例子，图22示出从光盘进行数据的读取或写入的情况下的信息再生/记录部ex400的构成。信息再生/记录部ex400具备，以下说明的要素ex401、ex402、ex403、ex404、ex405、ex406、ex407。光学头ex401将激光照射到作为光盘的记录介质ex215的记录面并写入信息，并且检测来自记录介质ex215的记录面的反射光并读取信息。调制记录部ex402对被内藏于光学头ex401的半导体激光进行电驱动，并按照记录数据来进行激光的调制。再生解调部ex403对由被内藏于光学头ex401的光电探测器对来自记录面的反射光进行电检测而得到的再生信号进行放大，对被记录在记录介质ex215的信号成分进行分离、解调，并再生必要的信息。缓冲器ex404对用于在记录介质ex215进行记录的信息以及从记录介质ex215再生的信息进行暂时保持。盘式电机ex405使记录介质ex215旋转。伺服控制部ex406在对盘式电机ex405的旋转驱动进行控制的同时，将光学头ex401移动到规定的信息光道，进行激光的光点的追踪处理。系统控制部ex407对信息再生/记录部ex400进行整体控制。上述的读出以及写入处理可以通过以下的方法来实现，即：系统控制部ex407利用被保持在缓冲器ex404的各种信息，并且按照需要在进行新的信息的生成以及追加的同时，一边使调制记录部ex402、再生解调部ex403以及伺服控制部ex406协调工作，一边通过光学头ex401来进行信息的记录再生。系统控制部ex407例如以微处理器构成，通过执行读出以及写入的程序来执行这些处理。

以上，以光学头ex401照射激光光点为例进行了说明，不过也可以是利用近场光学来进行高密度的记录的构成。

图23是作为光盘的记录介质ex215的模式图。在记录介质ex215的记录面上，导槽(槽)被形成为螺旋状，在信息光道ex230上预先被记录有按照槽的形状的变化示出盘上的绝对位置的地址信息。该地址信息包括用于确定记录块ex231的位置的信息，该记录块ex231是记录数据的单位，进行记录以及再生的装置能够通过再生信息光道ex230以及读取地址信息，来确定记录块。并且，记录介质ex215包括：数据记录区域ex233、内周区域ex232、以及外周区域ex234。用于记录用户数据的区域为数据记录区域ex233，被配置在数据记录区域ex233的内周或外周的内周区域ex232和外周区域ex234被用于用户数据的记录以外的特殊用途。信息再生/记录部ex400针对这种记录介质ex215的数据记录区域ex233，进行被编码的声音数据、影像数据或对这些数据进行多路复用后的多路复用数据的读写。

以上以具有一层结构的DVD、BD等光盘为例进行了说明，但并非受此所限，也可以是多层结构的能够在表面以外进行记录的光盘。并且，也可以在盘的同一位置上利用各种不同波长的颜色的光记录信息，或者从各种角度记录不同的信息的层等，进行多维的记录/再生的构造的光盘。

并且，在数字广播用系统ex200，能够在具有天线ex205的车辆ex210从卫星ex202等接收数据，并且能够在车辆ex210所具有的车辆导航系统ex211等显示装置再生运动图像。并且，关于车辆导航系统ex211的构成可以考虑到在图21所示的构成中添加GPS接收部，同样也可以考虑到添加计算机ex111以及移动电话ex114等。并且，上述移动电话ex114等终端与电视机ex300同样，除可以考虑到是具有编码器以及解码器双方的收发信型终端的形式以外，还可以考虑到是仅具有编码器的发送终端，仅具有解码器的接收终端的共三种安装形式。进而，说明了，在数字广播用系统ex200中，收发在影像数据中多路复用了音乐数据等的多路复用数据，但是，可以是声音数据以外的与影像关联的文字数据等被多路复用的数据，也可以是，不是多路复用数据而是影像数据本身。

如此，可以将所述各个实施例所示的运动图像编码方法或运动图像解码方法用于所述的任何机器、系统上，据此可以获得所述各个实施例所说明的效果。

而且，本发明不仅限于这些所述实施例，而可以在不脱离本发明的范围的情况下进行各种变形或修改。

(实施例5)

根据需要适当地切换所述各个实施例中示出的运动图像编码方法或装置、和依据MPEG－2、MPEG4－AVC、VC－1等不同标准的运动图像编码方法或装置，从而也能够生成影像数据。

在此，在生成了依据分别不同的标准的多个影像数据的情况下，在进行解码时，需要选择与各个标准对应的解码方法。然而，由于不能识别要解码的影像数据依据哪个标准，因此产生不能选择适当的解码方法的问题。

为了解决该问题设想，将影像数据与声音数据等多路复用的多路复用数据被构成为，包含示出影像数据依据哪个标准的识别信息。以下说明包含由所述各个实施例示出的运动图像编码方法或装置生成的影像数据的多路复用数据的具体结构。多路复用数据是，MPEG－2传输流形式的数字流。

图24是示出多路复用数据的结构的图。如图24所示多路复用数据是，将视频流、音频流、演示图形流(PG)、以及交互式图形流中的一个以上多路复用而得到的。视频流示出电影的主影像及副影像，音频流(IG)示出电影的主声音部分以及与其主声音混合的副声音，演示图形流示出电影的字幕。在此，主影像示出画面中显示的通常的影像，副影像是主影像中以小的画面显示的影像。并且，交互式图形流示出，画面上配置GUI部件而制作的对话画面。视频流，由所述各个实施例中示出的运动图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等不同标准的运动图像编码方法或装置编码。音频流，由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。

多路复用数据中包含的各个流由PID识别。例如，对用于电影的影像的视频流分配0x1011，对音频流分配0x1100至0x111F，对演示图形分配0x1200至0x121F，对交互式图形流分配0x1400至0x141F，对用于电影的副影像的视频流分配0x1B00至0x1B1F，对用于与主声音混合的副声音的音频流分配0x1A00至0x1A1F。

图25是示出多路复用数据如何被多路复用的模式图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238，分别变换为PES数据包串ex236及ex239、变换为TS数据包ex237及ex240。同样，将演示图形流ex241以及交互式图形ex244的数据，分别变换为PES数据包串ex242及ex245，还变换为TS数据包ex243及ex246。通过将这样的TS数据包多路复用为一条流，从而构成多路复用数据ex247。

在图26中，更详细示出PES数据包串中如何存储视频流。在图26中，第一段示出，视频流的视频帧串。第二段示出，PES数据包串。如图26的箭头线yy1、yy2、yy3、yy4示出，作为视频流中的多个VideoPresentation Unit的I图片、B图片、P图片，按每个图片而划分，存储到PES数据包的有效负载。各个PES数据包具有PES头，PES头中存储有，作为图片的显示时刻的PTS(Presentation Time－Stamp：显示时间戳)以及作为图片的解码时刻的DTS(Decoding Time－Stamp：解码时间戳)。

图27示出最终写入到多路复用数据中的TS数据包的形式。TS数据包是，由具有识别流的PID等的信息的4Byte的TS头、和存储数据的184Byte的TS有效负载构成的188Byte固定长度的数据包，上述PES数据包被划分后存储到TS有效负载中。在BD－ROM的情况下，在TS数据包中，赋予4Byte的TP_Extra_Header，构成192Byte的源数据包，被写入到多路复用数据中。在TP_Extra_Header中记载ATS(Arrival_Time_Stamp)等的信息。ATS示出该TS数据包的向解码器的PID滤波器的传输开始时刻。在多路复用数据中，如图27下段示出排列源数据包，从多路复用数据的开头开始增量的号码被称为SPN(源数据包号码)。

并且，对于多路复用数据中包含的TS数据包，除了影像、声音、字幕等的各个流以外，还有PAT(Program Association Table：节目关联表)、PMT(Program Map Table：节目映射表)、PCR(Program Clock Reference：节目时钟参考)等。PAT示出多路复用数据中利用的PMT的PID是什么，PAT本身的PID被登记为0。PMT具有，多路复用数据中包含的影像、声音、字幕等的各个流的PID以及与各个PID对应的流的属性信息，并且具有与多路复用数据有关的各种描述符。描述符有，指示多路复用数据的复制的允许、不允许的复制控制信息等。PCR，为了得到作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS、DTS的时间轴的STC(System Time Clock)的同步，而具有与该PCR数据包被传输到解码器的ATS对应的STC时间的信息。

图28是详细说明PMT的数据构造的图。在PMT的开头，配置描述了该PMT中包含的数据的长度等的PMT头。在其后面，配置与多路复用数据有关的多个描述符。上述复制控制信息等，被记载为描述符。在描述符的后面，配置与多路复用数据中包含的各个流有关的多个流信息。流信息，由用于识别流的压缩编解码等的流类型、流的PID、记载有流的属性信息(帧率，宽高比等)的流描述符构成。按照多路复用数据中存在的流的数量，存在流描述符。

在记录到记录介质等的情况下，上述多路复用数据，与多路复用数据信息文件一起被记录。

多路复用数据信息文件是，如图29所示多路复用数据的管理信息，与多路复用数据一一对应，由多路复用数据信息、流属性信息以及项目图构成。

多路复用数据信息，如图29示出，由系统率(systemrate)、再生开始时刻、再生结束时刻构成。系统率示出，多路复用数据的、向后述的系统目标解码器的PID滤波器的最大传输率。多路复用数据中包含的ATS的间隔被设定为系统率以下。再生开始时刻是多路复用数据的开头的视频帧的PTS，再生结束时刻被设定为多路复用数据的末端的视频帧的PTS与一个帧的再生间隔相加。

对于流属性信息，如图30示出，多路复用数据中包含的各个流的属性信息，按每个PID被登记。属性信息，按每个视频流、音频流、演示图形流、交互式图形流具有不同的信息。视频流属性信息具有，该视频流以哪种压缩编解码而被压缩、构成视频流的各个图片数据的分辩率为多少、宽高比为多少、帧率为多少等的信息。音频流属性信息具有，该音频流以哪种压缩编解码而被压缩、该音频流中包含的通道数是什么、与哪种语言对应、采样频率为多少等的信息。这样的信息，利用于播放器再生之前的解码器的初始化等。

在本实施例中，利用上述多路复用数据中的、PMT中包含的流类型。并且，在记录介质记录有多路复用数据的情况下，利用多路复用数据信息中包含的、视频流属性信息。具体而言，在所述各个实施例中示出的运动图像编码方法或装置中，针对PMT中包含的流类型、或视频流属性信息，设置用于设定示出由所述各个实施例中示出的运动图像编码方法或装置生成的影像数据的情况的固有的信息的步骤或单元。根据该结构，能够识别由所述各个实施例中示出的运动图像编码方法或装置生成的影像数据、和依据其他的标准的影像数据。

并且，图31示出本实施例的运动图像解码方法的步骤。在步骤exS100中，从多路复用数据获得PMT中包含的流类型、或多路复用数据信息中包含的视频流属性信息。接着，在步骤exS101中，判断是否示出流类型、或视频流属性信息为由所述各个实施例中示出的运动图像编码方法或装置生成的多路复用数据。而且，在判断为流类型、或视频流属性信息由所述各个实施例中示出的运动图像编码方法或装置生成的情况下，在步骤exS102中，根据所述各个实施例中示出的运动图像解码方法进行解码。并且，在示出流类型、或视频流属性信息依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的情况下，在步骤exS103中，根据依据以往的标准的运动图像解码方法进行解码。

如此，通过对流类型、或视频流属性信息设定新的固定值，在进行解码时，能够判断是否由所述各个实施例中示出的运动图像解码方法或装置能够进行解码。因此，即使在依据不同的标准的多路复用数据输入的情况下，也能够选择适当的解码方法或装置，因此，不产生错误而能够进行解码。并且，能够将本实施例中示出的运动图像编码方法或装置、或者、运动图像解码方法或装置，用于所述的某个设备、系统。

(实施例6)

上述的各个实施例所示的运动图像编码方法以及装置、运动图像解码方法以及装置典型的可以以作为集成电路的LSI来实现。作为一个例子，图32示出了被单芯片化的LSIex500的构成。LSIex500包括以下将要说明的要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各个要素通过总线ex510连接。电源电路部ex505在电源为导通状态的情况下，通过向各个部提供电力，从而启动为能够工作的状态。

例如在进行编码处理的情况下，LSIex500根据具有CPUex502、存储控制器ex503、流控制器ex504以及驱动频率控制部ex512等的控制部ex501的控制，通过AV输入/输出ex509从麦克风ex117以及摄像机ex113等输入AV信号。被输入的AV信号被暂时蓄积到SDRAM等的外部的存储器ex511。根据控制部ex501的控制，蓄积的数据按照处理量以及处理速度被适当地分为多次等，并被发送到信号处理部ex507，信号处理部ex507进行声音数据的编码以及/或影像信号的编码。在此，影像信号的编码处理是在上述的实施例中所说明的编码处理。在信号处理部ex507还根据情况对被编码的声音数据以及被编码的影像数据进行多路复用等处理，从流输入/输出ex506输出到外部。该被输出的多路复用数据被发送到基站ex107，或者被写入到记录介质ex215。而且，为在进行多路复用时能够同步进行，而可以将数据暂时蓄积到缓冲器ex508。

另外，以上虽然将存储器ex511作为LSIex500的外部的结构进行了说明，不过也可以被包括在LSIex500的内部。缓冲器ex508也不限于一个，可以具备多个缓冲器。并且，LSIex500可以被单芯片，也可以是多个芯片。

并且，所述中，控制部ex510具有，CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但是，控制部ex510的结构，不仅限于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。在信号处理部ex507的内部也设置CPU，从而能够更提高处理速度。并且，作为其他的例子，也可以是CPUex502具备，信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，成为控制部ex501具备，信号处理部ex507、或具有其一部分的CPUex502的结构。

而且，在此，被称为LSI，但是，根据集成度不同，会有被称为IC、系统LSI、超LSI、特大LSI的情况。

并且，对于集成电路化的方法，不仅限于LSI，也可以以专用电路或通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA(Field Programmable Gate Array∶现场可编程门阵列)、以及可重构LSI内部的电路单元的连接以及设定的可重构处理器。

进而，当然，若因半导体技术的进步或导出的其它的技术而出现代替LSI的集成电路化的技术，则可以利用其技术对功能框进行集成化。存在生物技术的应用等的可能性。

(实施例7)

在对由上述的各个实施例所示的运动图像编码方法或装置生成的影像数据进行解码的情况下可以考虑为，与对依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据进行解码的情况相比，处理量会增加。因此，在LSIex500中，需要设定为比对依据以往的标准的影像数据进行解码时的CPUex502的驱动频率高的驱动频率。但是，若提高驱动频率，则产生消耗电力变高的问题。

为了解决该问题设想，电视机ex300、LSIex500等的运动图像解码装置被构成为，识别影像数据依据哪个标准，按照标准切换驱动频率。图33示出本实施例的结构ex800。驱动频率切换部ex803，在影像数据由上述的各个实施例所示的运动图像编码方法或装置生成的情况下，将驱动频率设定为高。而且，对执行上述的各个实施例所示的运动图像解码方法的解码处理部ex801，指示对影像数据进行解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据由上述的各个实施例所示的运动图像编码方法或装置生成的情况相比，将驱动频率设定为低。而且，对依据以往的标准的解码处理部ex802，指示对影像数据进行解码。

更具体地说，驱动频率切换部ex803，由图32的CPUex502和驱动频率控制部ex512构成。并且，执行上述的各个实施例所示的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802，相当于图32的信号处理部ex507。CPUex502，识别影像数据依据哪个标准。而且，根据来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。并且，根据来自CPUex502的信号，信号处理部ex507，进行影像数据的解码。在此，对于影像数据的识别可以考虑，例如，利用实施例5记载的识别信息。对于识别信息，不仅限于实施例5记载的信息，能够识别影像数据依据哪个标准的信息即可。例如，在根据识别影像数据是用于电视机、还是用于盘等的外部信号，能够识别影像数据依据哪个标准的情况下，可以根据这样的外部信号进行识别。并且，对于CPUex502中的驱动频率的选择可以考虑，例如，根据如图35的将影像数据的标准、与驱动频率对应起来的查找表进行的情况。将查找表，存储到缓冲器ex508、以及LSI的内部存储器，CPUex502参照该查找表，从而能够选择驱动频率。

图34示出执行本实施例的方法的步骤。首先，在步骤exS200中，在信号处理部ex507，从多路复用数据获得识别信息。接着，步骤exS201中，在CPUex502，根据识别信息，识别影像数据是否由上述的各个实施例所示的编码方法或装置生成。在影像数据由上述的各个实施例所示的编码方法或装置生成的情况下，在步骤exS202中，将用于使驱动频率设定为高的信号，从CPUex502向驱动频率控制部ex512发送。而且，在驱动频率控制部ex512中，驱动频率被设定为高。另一方面，在示出依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，将用于使驱动频率设定为低的信号，从CPUex502向驱动频率控制部ex512发送。而且，在驱动频率控制部ex512中，与影像数据由上述的各个实施例所示的编码方法或装置生成的情况相比，驱动频率被设定为低。

进而，与驱动频率的切换联动，变更向LSIex500或包含LSIex500的装置提供的电压，从而能够更提高省电效果。例如，可以考虑为，在将驱动频率设定为低的情况下，据此，与将驱动频率设定为高的情况相比，将向LSIex500或包含LSIex500的装置提供的电压设定为低。

并且，对于驱动频率的设定方法，在解码时的处理量大的情况下，将驱动频率设定为高，在解码时的处理量小的情况下，将驱动频率设定为低即可，不仅限于上述的设定方法。例如，可以考虑为，在对依据MPEG4－AVC标准的影像数据进行解码的处理量，比对由上述的各个实施例所示的运动图像编码方法或装置生成的影像数据进行解码的处理量大的情况下，使驱动频率的设定与上述的情况相反。

进而，驱动频率的设定方法，不仅限于使驱动频率变低的结构。例如，可以考虑为，在识别信息示出由上述的各个实施例所示的运动图像编码方法或装置生成的影像数据的情况下，将向LSIex500或包含LSIex500的装置提供的电压设定为高，在示出依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，将向LSIex500或包含LSIex500的装置提供的电压设定为低。并且，作为其他的例子，可以考虑为，在识别信息示出由上述的各个实施例所示的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在示出依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于处理有富余，因此使CPUex502的驱动暂时停止。即使在识别信息示出由上述的各个实施例所示的运动图像编码方法或装置生成的影像数据的情况下，也可以考虑为，若处理有富余，则使CPUex502的驱动暂时停止。在此情况下，可以考虑为，与示出依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定为短。

如此，按照影像数据依据的标准，切换驱动频率，从而能够试图省电化。并且，在利用电池驱动LSIex500或包含LSIex500的装置的情况下，能够随着省电化，将电池的寿命变长。

(实施例8)

对于电视机、移动电话等的上述的设备、系统，会有输入依据不同标准的多个影像数据的情况。为了在如此输入依据不同标准的多个影像数据的情况下也能够进行解码，LSIex500的信号处理部ex507需要与多个标准对应。但是，若个别地利用与各个标准对应的LSIex500，则产生LSIex500的电路规模变大、并且成本增加的问题。

为了解决该问题，构成为共享用于执行上述的各个实施例所示的运动图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部的一部分。图36(a)的ex900示出该结构例。例如，上述的各个实施例所示的运动图像解码方法、与依据MPEG4－AVC标准的运动图像解码方法是，在熵编码、逆量化、去块滤波、运动补偿等的处理中，处理内容的一部分是共同的。可以考虑构成为，对于共同的处理内容，共享与MPEG4－AVC标准对应的解码处理部ex902，对于不与MPEG4－AVC标准对应的本发明固有的其他的处理内容，利用专用的解码处理部ex901。特别是，本发明具有的特征是，划分区域的边界的滤波处理，因此可以考虑为，对于划分区域的边界的滤波处理，利用专用的解码处理部ex901，对于其他的熵编码、去块滤波、运动补偿的某个或所有的处理，共享解码处理部。关于解码处理部的共享化，可以构成为，对于共同的处理内容，共享用于执行上述的各个实施例所示的运动图像解码方法的解码处理部，对于MPEG4－AVC标准固有的其他的处理内容，利用专用的解码处理部。

并且，图36(b)的ex1000示出共享处理的一部分的例子。在该例子中构成为，利用与本发明固有的处理内容对应的专用的解码处理部ex1001、与其他的以往标准固有的处理内容对应的专用的解码处理部ex1002、以及与本发明的运动图像解码方法和其他的以往标准的运动图像解码方法之间共同的处理内容对应的共享的解码处理部ex1003。在此，对于专用的解码处理部ex1001、ex1002，并不是专用于本发明、或者其他的以往标准固有的处理内容，而可以是能够执行其他的通用处理的处理部。并且，本实施例的结构，可以由LSIex500安装。

如此，对于本发明的运动图像解码方法与以往的标准的运动图像解码方法共同的处理内容，通过共享解码处理部，从而能够使LSI的电路规模变小、且降低成本。

本发明的图像编码方法及图像解码方法，具有能够更提高编码效率的效果，例如，能够用于数字摄像机、数字电视机、BD(Blu－ray Disc)录像机等。

符号说明

10 对象块

20 参考像素

30、40 周围块

100 图像编码装置

110 编码部

111 减法部

112 频率变换部

113 量化部

114 帧内预测模式决定部

115 运动检测部

116、316 帧内预测部

117、317 运动补偿部

118、119、315、318 开关

120 解码部

121、311 逆量化部

122、312 逆频率变换部

123、313 加法部

130 输出部

131、520 可变长编码部

140、510 设定部

141、321 第一预测模式估计部

142、322 第二预测模式估计部

143、515 模式信息生成部

150、314 帧存储器

160 参考图片存储器

170、340 控制部

211、411、511、623 预测模式存储器

212、412 第一预测模式估计导出部

213、413 第二预测模式估计导出部

300 图像解码装置

310 解码部

320、620 恢复部

323、621 信号判断部

330、610 可变长解码部

1401、1501 边缘矢量判断部

1803、1804 边缘

Claims (2)

1.一种图像解码方法，按每个块对编码后的图像数据进行解码，所述图像解码方法包括：

恢复步骤，基于模式信息，恢复在编码时的预测中使用的选择预测模式，所述模式信息表示在对对象块进行编码时所执行的预测模式的选择结果；以及

解码步骤，使用所述选择预测模式对所述图像数据的对象块进行解码，从而生成解码块，

所述恢复步骤包括：

第一预测模式估计步骤，基于已经完成解码、并且与所述对象块相邻的多个相邻块各自的预测中使用的选择预测模式，从三个以上的预测模式中，决定一个预测模式作为第一估计预测模式；以及

第二预测模式估计步骤，从所述三个以上的预测模式中，决定与所述第一估计预测模式不同的一个预测模式作为第二估计预测模式；

在所述恢复步骤中，基于所述模式信息、所述第一估计预测模式和所述第二估计预测模式，恢复所述选择预测模式，

在所述第二预测模式估计步骤中，判断所述第一估计预测模式是否是在所述三个以上的预测模式中预先确定了的优先模式，在所述第一估计预测模式不是所述优先模式的情况下，将所述优先模式决定为所述第二估计预测模式。

2.一种图像解码装置，按每个块对编码后的图像数据进行解码，所述图像解码装置包括：

恢复部，基于模式信息，恢复在编码时的预测中使用的选择预测模式，所述模式信息表示在对对象块进行编码时所执行的预测模式的选择结果；以及

解码部，使用所述选择预测模式对所述图像数据的对象块进行解码，从而生成解码块，

所述恢复部包括：

第一预测模式估计部，基于已经完成解码、并且与所述对象块相邻的多个相邻块各自的预测中使用的选择预测模式，从三个以上的预测模式中，决定一个预测模式作为第一估计预测模式；以及

第二预测模式估计部，从所述三个以上的预测模式中，决定与所述第一估计预测模式不同的一个预测模式作为第二估计预测模式；

所述恢复部基于所述模式信息、所述第一估计预测模式和所述第二估计预测模式，恢复所述选择预测模式，

所述第二预测模式估计部判断所述第一估计预测模式是否是在所述三个以上的预测模式中预先确定了的优先模式，在所述第一估计预测模式不是所述优先模式的情况下，将所述优先模式决定为所述第二估计预测模式。