CN104429073A - 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编解码装置 - Google Patents

Abstract

图像编码方法包括：对系数信息、示出是否利用多个量化矩阵对一个以上的块进行量化的第一标志、示出多个量化矩阵是否包含在序列参数集中的第二标志、以及第三标志示出多个量化矩阵是否包含在图片参数集中的第三标志进行编码的编码步骤(S911)；以及对多个系数进行量化的量化步骤(S912)，利用多个默认矩阵对一个以上的块进行量化的情况下，在编码步骤中，对示出利用多个量化矩阵进行量化的第一标志、示出多个量化矩阵不包含在序列参数集中的第二标志、以及示出多个量化矩阵不包含在图片参数集中的第三标志进行编码。

Description

图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编解码装置

技术领域

本发明涉及，对图像进行编码的图像编码方法、或对图像进行解码的图像解码方法。

背景技术

对图像(包含运动图像)进行编码的图像编码方法、或对图像进行解码的图像解码方法的技术有，非专利文献1所记载的技术。

(现有技术文献)

(非专利文献)

非专利文献1：ISO/IEC 14496-10“MPEG-4Part10AdvancedVideo Coding”

然而，在图像编码方法或图像解码方法中，会有利用非效率的处理的情况。

发明内容

于是，本发明提供，高效率地对图像进行编码的图像编码方法，或高效率地对图像进行解码的图像解码方法。

本发明的实施方案之一涉及的图像编码方法，对图像进行编码，所述图像编码方法包括：编码步骤，对系数信息、第一标志、第二标志以及第三标志进行编码，(i)所述系数信息示出，构成所述图像的一个以上的块中包含的多个系数，(ii)所述第一标志示出，是否利用具有与所述多个系数分别对应的个别的系数的多个量化矩阵对所述一个以上的块进行量化，(iii)所述第二标志示出，所述多个量化矩阵是否包含在序列参数集中，(iv)所述第三标志示出，所述多个量化矩阵是否包含在图片参数集中；以及量化步骤，对所述多个系数进行量化，在所述量化步骤中，作为所述多个量化矩阵利用多个默认矩阵对所述一个以上的块进行量化的情况下，在所述编码步骤中，将(i)示出利用所述多个量化矩阵进行量化的所述第一标志、(ii)示出所述多个量化矩阵不包含在所述序列参数集中的所述第二标志、以及(iii)示出所述多个量化矩阵不包含在所述图片参数集中的所述第三标志编码。

而且，它们的整体或具体的形态，可以由系统、装置、集成电路、计算机程序或计算机可读取的CD－ROM等的非一时的记录介质实现，也可以由系统、装置、集成电路、计算机程序及记录介质的任意的组合实现。

本发明涉及的图像编码方法及图像解码方法，能够高效率地对图像进行编码或解码。

附图说明

图1是示出实施例1涉及的图像编码装置的结构的图。

图2是示出实施例1涉及的编码整体的流程的图。

图3是示出实施例1涉及的量化矩阵编码部的内部结构的图。

图4A是示出实施例1涉及的SPS量化矩阵的编码流程的图。

图4B是示出实施例1涉及的SPS量化矩阵的编码流程(继续)的图。

图5A是示出实施例1涉及的PPS量化矩阵的编码流程的图。

图5B是示出实施例1涉及的PPS量化矩阵的编码流程(继续)的图。

图6A是示出实施例1涉及的矩阵数据的编码流程的图。

图6B是示出实施例1涉及的矩阵数据的编码流程(继续)的图。

图7是示出实施例1涉及的特征性的工作流程的图。

图8是示出实施例2涉及的图像解码装置的结构的图。

图9是示出实施例2涉及的解码整体的流程的图。

图10是示出实施例2涉及的量化矩阵解码部的内部结构的图。

图11是示出实施例2涉及的SPS量化矩阵的解码流程的图。

图12是示出实施例2涉及的PPS量化矩阵的解码流程的图。

图13是示出实施例2涉及的矩阵数据的解码流程的图。

图14是示出实施例2涉及的特征性的工作流程的图。

图15是实现内容分发服务的内容提供系统的整体结构图。

图16是数字广播用系统的整体结构图。

图17是示出电视机的结构例的方框图。

图18是示出对作为光盘的记录介质进行信息的读写的信息再生/记录部的结构例的方框图。

图19是示出作为光盘的记录介质的构造例的图。

图20A是示出表示移动电话的一个例子的图。

图20B是示出移动电话的结构例的方框图。

图21是示出多路复用数据的结构的图。

图22是示出在多路复用数据中各个流如何被多路复用的模式图。

图23是更详细示出PES数据包列中如何存储视频流的图。

图24是示出多路复用数据的TS数据包和源数据包的构造的图。

图25是示出PMT的数据结构的图。

图26是示出多路复用数据信息的内部结构的图。

图27是示出流属性信息的内部结构的图。

图28是示出识别影像数据的步骤的图。

图29是示出实现各个实施例的运动图像编码方法及运动图像解码方法的集成电路的结构例的方框图。

图30是示出切换驱动频率的结构的图。

图31是示出识别影像数据，切换驱动频率的步骤的图。

图32是示出影像数据的标准与驱动频率对应起来的查找表的一个例子的图。

图33A是示出共享信号处理部的模块的结构的一个例子的图。

图33B是示出共享信号处理部的模块的结构的其他的一个例子的图。

具体实施方式

(成为本发明的基础的知识)

本发明人，对于“背景技术”的栏中所记载的、对图像进行编码的图像编码装置、或对图像进行解码的图像解码装置，看出了问题。以下，进行具体说明。

近几年，数字影像设备的技术进步显著，对从摄像机或电视机调谐器输入的影像信号(按时间序列顺序排列的多个图片)进行压缩编码，来记录到DVD或硬盘等的记录介质的机会逐渐增多。

影像信号的编码包括：预测图像的步骤；求出预测图像和编码对象图像的差分的步骤；将差分图像变换成频率系数的步骤；对频率系数进行量化的步骤，；以及对量化结果及预测信息等进行可变长编码的步骤。

对于量化，会有使用量化矩阵的情况。而且，视觉上劣化不明显的高频成分的系数被粗量化，反而，视觉上劣化明显的低频成分的系数被细量化，从而编码效率提高。并且，与4x4及8x8等的频率变换尺寸、画面内预测及画面间预测等的预测模式、以及亮度及色差等的像素成分对应，来使用几种量化矩阵。而且，量化是指，将以预先决定的间隔取样的值与预先决定的程度对应起来进行数字化，在该技术领域中，也会有利用舍入、四舍五入、缩放那样的表现的情况。

使用量化矩阵的方法有，使用由图像编码装置直接设定的量化矩阵的方法、以及使用默认的量化矩阵(默认矩阵)的方法。图像编码装置，直接设定量化矩阵，从而能够设定与图像的特征对应的量化矩阵。但是，在此情况下存在的缺点是，图像编码装置，对量化矩阵进行编码，因此导致代码量增加。

另一方面，也有以下的方法，即，不使用量化矩阵，而对高频成分的系数也进行与低频成分的系数相同的量化。而且，该方法，与利用系数全部为相同的值的量化矩阵(平坦的矩阵)的方法相等。

在被称为H.264/AVC或MPEG-4AVC的运动图像编码标准(参照非专利文献1)中，量化矩阵，由SPS(序列参数集：Sequence Parameter Set)或PPS(图片参数集：Picture Parameter Set)指定。SPS，包含对序列利用的参数，PPS，包含对图片利用的参数。会有将SPS和PPS，简单地称为参数集的情况。

根据SPS及PPS的每一个的MatrixPresentFlag和ListPresentFlag设定量化矩阵。在SPS的MatrixPresentFlag为0的情况下，不使用量化矩阵，对高频成分的系数和低频成分的系数进行相同的量化。反而，在1的情况下，利用ListPresentFlag设定对象序列所使用的量化矩阵。

与频率变换尺寸、预测模式及像素成分对应存在多个量化矩阵。对于ListPresentFlag，按每个量化矩阵存在，各自示出是否使用默认的量化矩阵。在不使用默认的量化矩阵的情况下，利用其他的语法(syntax)对所使用的量化矩阵进行编码。

并且，在PPS的MatrixPresentFlag为0的情况下，利用由SPS设定的量化矩阵的信息。在1的情况下，利用ListPresentFlag设定对象图片所使用的量化矩阵。PPS的ListPresentFlag，也与SPS的ListPresentFlag同样，各自示出是否使用默认的量化矩阵。

在此，例如，在全部利用默认的量化矩阵的情况下，SPS及PPS之中至少一方的MatrixPresentFlag被设定为1。而且，与所有的量化矩阵对应的所有的ListPresentFlag被设定为0，被编码。也就是说，即使在通过使用默认的量化矩阵而量化矩阵的代码量被削减的情况下，也产生某种程度的标志的代码量。因此，难以提高编码效率。

于是，本发明的实施方案之一涉及的图像编码方法，对图像进行编码，所述图像编码方法包括：编码步骤，对系数信息、第一标志、第二标志以及第三标志进行编码，(i)所述系数信息示出，构成所述图像的一个以上的块中包含的多个系数，(ii)所述第一标志示出，是否利用具有与所述多个系数分别对应的个别的系数的多个量化矩阵对所述一个以上的块进行量化，(iii)所述第二标志示出，所述多个量化矩阵是否包含在序列参数集中，(iv)所述第三标志示出，所述多个量化矩阵是否包含在图片参数集中；以及量化步骤，对所述多个系数进行量化，在所述量化步骤中，作为所述多个量化矩阵利用多个默认矩阵对所述一个以上的块进行量化的情况下，在所述编码步骤中，将(i)示出利用所述多个量化矩阵进行量化的所述第一标志、(ii)示出所述多个量化矩阵不包含在所述序列参数集中的所述第二标志、以及(iii)示出所述多个量化矩阵不包含在所述图片参数集中的所述第三标志编码。

据此，对于是否利用多个默认矩阵，由三个标志进行控制。因此，能够提高编码效率。并且，若量化矩阵不包含在序列参数集中也不包含在图片参数集中，则示出默认矩阵的使用。因此，容错性提高。

例如，也可以是，在所述量化步骤，代替所述多个量化矩阵而利用具有相同的多个系数的平坦的多个矩阵对所述一个以上的块进行量化的情况下，在所述编码步骤中，对示出不利用所述多个量化矩阵进行量化的所述第一标志进行编码。

据此，能够将具有相同的多个系数的平坦的矩阵利用于量化处理。

并且，例如，也可以是，在所述编码步骤中，在所述量化步骤中，利用所述多个量化矩阵对所述一个以上的块进行量化的情况下，对(i)示出利用所述多个量化矩阵进行量化的所述第一标志、以及(ii)示出所述多个量化矩阵包含在所述序列参数集中的所述第二标志、或者示出所述多个量化矩阵包含在所述图片参数集中的所述第三标志进行编码，在对示出所述多个量化矩阵包含在所述序列参数集中的所述第二标志进行编码的情况下，将所述多个量化矩阵包含在所述序列参数集中，在对示出所述多个量化矩阵包含在所述图片参数集中的所述第三标志进行编码的情况下，将所述多个量化矩阵包含在所述图片参数集中。

据此，即使在不利用默认矩阵的情况下，图像编码装置及图像解码装置，也能够利用相同的量化矩阵。

并且，例如，也可以是，在所述编码步骤中，在作为所述序列参数集或所述图片参数集的参数集中所包含的所述多个量化矩阵包含第一量化矩阵和第二量化矩阵、且所述第一量化矩阵与所述第二量化矩阵相等的情况下，将示出所述第二量化矩阵的标识符，作为示出复制到所述第一量化矩阵的矩阵的复制矩阵标识符来包含在所述参数集中，在所述参数集中所包含的所述多个量化矩阵包含所述第一量化矩阵、且所述第一量化矩阵与默认矩阵相等的情况下，将示出所述默认矩阵的标识符，作为所述复制矩阵标识符来包含在所述参数集中。

据此，在利用参数集中包含的多个量化矩阵的情况下，能够适应性地利用默认矩阵。并且，能够提高编码效率。

并且，例如，也可以是，所述图像编码方法还包括设定步骤，在所述设定步骤中，针对包含图片的序列设定多个序列量化矩阵，针对所述图片设定多个图片量化矩阵，在所述编码步骤中，在将针对所述图片设定的所述多个图片量化矩阵作为所述多个量化矩阵来利用，并对所述图片的所述一个以上的块进行量化的情况下，对示出利用所述多个量化矩阵进行量化的所述第一标志进行编码，在针对所述序列将所述多个默认矩阵作为所述多个序列量化矩阵来设定的情况下，对示出所述多个量化矩阵不包含在所述序列参数集中的所述第二标志进行编码，在针对所述图片将针对所述序列设定的所述多个序列量化矩阵作为所述多个图片量化矩阵来设定的情况下，对示出所述多个量化矩阵不包含在所述图片参数集中的所述第三标志进行编码。

据此，能够将默认矩阵挪用于序列量化矩阵，能够将序列量化矩阵挪用于图片量化矩阵。

并且，例如，也可以是，在所述编码步骤中，在针对不进行变换的块，利用具有相同的多个系数的平坦的矩阵进行量化，并且，针对进行变换的块，利用默认矩阵进行量化的情况下，对(i)示出利用所述多个量化矩阵进行量化的所述第一标志、(ii)示出所述多个量化矩阵不包含在所述序列参数集中的所述第二标志、以及(iii)示出所述多个量化矩阵不包含在所述图片参数集中的所述第三标志进行编码。

据此，即使在利用多个默认矩阵的情况下，针对不进行变换的块，也代替默认矩阵，而利用平坦的矩阵。因此，适当地进行量化处理。

并且，本发明的实施方案之一涉及的图像解码方法，也可以是，对编码比特流进行解码，并对图像进行解码，所述图像解码方法包括：解码步骤，从所述编码比特流，对系数信息、第一标志、第二标志以及第三标志进行解码，(i)所述系数信息示出，构成所述图像的一个以上的块中包含的多个系数，(ii)所述第一标志示出，是否利用具有与所述多个系数分别对应的个别的系数的多个量化矩阵对所述一个以上的块进行逆量化，(iii)所述第二标志示出，所述多个量化矩阵是否包含在序列参数集中，(iv)所述第三标志示出，所述多个量化矩阵是否包含在图片参数集中；以及逆量化步骤，对所述系数信息进行逆量化，在所述逆量化步骤中，在(i)示出利用所述多个量化矩阵进行逆量化的所述第一标志、(ii)示出所述多个量化矩阵不包含在所述序列参数集中的所述第二标志、以及(iii)示出所述多个量化矩阵不包含在所述图片参数集中的所述第三标志被解码的情况下，作为所述多个量化矩阵利用多个默认矩阵对所述系数信息进行逆量化。

据此，对于是否利用多个默认矩阵，由三个标志进行控制。因此，能够提高编码效率。并且，若量化矩阵不包含在序列参数集中也不包含在图片参数集中，则示出默认矩阵的使用。因此，容错性提高。

并且，例如，也可以是，在所述逆量化步骤中，在示出不进行利用所述多个量化矩阵的逆量化的所述第一标志被解码的情况下，代替所述多个量化矩阵而利用具有相同的多个系数的平坦的多个矩阵对所述系数信息进行逆量化。

据此，能够将具有相同的多个系数的平坦的矩阵利用于逆量化处理。

并且，例如，也可以是，在所述逆量化步骤中，在示出利用所述多个量化矩阵进行逆量化的所述第一标志、和示出所述多个量化矩阵包含在所述序列参数集中的所述第二标志被解码的情况下，利用所述序列参数集中包含的所述多个量化矩阵对所述系数信息进行逆量化，在示出利用所述多个量化矩阵进行逆量化的所述第一标志、和示出所述多个量化矩阵包含在所述图片参数集中的所述第三标志被解码的情况下，利用所述图片参数集中包含的所述多个量化矩阵对所述系数信息进行逆量化。

据此，即使在不利用默认矩阵的情况下，图像编码装置及图像解码装置，也能够利用相同的量化矩阵。

并且，例如，也可以是，在所述逆量化步骤中，在包含第一量化矩阵和第二量化矩阵的所述多个量化矩阵被包含在作为所述序列参数集或所述图片参数集的参数集中、且作为复制矩阵标识符的示出所述第二量化矩阵的标识符被包含在所述参数集中的情况下，利用包含复制了所述第二量化矩阵的所述第一量化矩阵的所述多个量化矩阵，来对所述系数信息进行逆量化，所述复制矩阵标识符示出复制到所述第一量化矩阵的矩阵，在包含所述第一量化矩阵的所述多个量化矩阵被包含在所述参数集中、且作为所述复制矩阵标识符的示出默认矩阵的标识符被包含在所述参数集中的情况下，利用包含复制了所述默认矩阵的所述第一量化矩阵的所述多个量化矩阵，来对所述系数信息进行逆量化。

据此，在利用参数集中包含的多个量化矩阵的情况下，能够适应性地利用默认矩阵。并且，能够提高编码效率。

并且，例如，也可以是，所述图像解码方法包括设定步骤，在所述设定步骤中，针对包含图片的序列设定多个序列量化矩阵，针对所述图片设定多个图片量化矩阵，在所述逆量化步骤中，在示出利用所述多个量化矩阵进行逆量化的所述第一标志被解码的情况下，将针对所述图片设定的所述多个图片量化矩阵作为所述多个量化矩阵来利用，并对所述图片的所述系数信息进行逆量化，在所述设定步骤中，在示出所述多个量化矩阵不包含在所述序列参数集中的所述第二标志被解码的情况下，针对所述序列将所述多个默认矩阵作为所述多个序列量化矩阵来设定，在示出所述多个量化矩阵不包含在所述图片参数集中的所述第三标志被解码的情况下，针对所述图片将针对所述序列设定的所述多个序列量化矩阵作为所述多个图片量化矩阵来设定。

据此，能够将默认矩阵挪用于序列量化矩阵，能够将序列量化矩阵挪用于图片量化矩阵。

并且，例如，也可以是，在所述逆量化步骤中，在(i)示出利用所述多个量化矩阵进行逆量化的所述第一标志、(ii)示出所述多个量化矩阵不包含在所述序列参数集中的所述第二标志、以及(iii)示出所述多个量化矩阵不包含在所述图片参数集中的所述第三标志被解码的情况下，针对不进行变换的块的所述系数信息，利用具有相同的多个系数的平坦的矩阵进行逆量化，针对进行变换的块的所述系数信息，利用默认矩阵进行逆量化。

据此，即使在利用多个默认矩阵的情况下，针对不进行变换的块，也代替默认矩阵，而利用平坦的矩阵。因此，适当地进行逆量化处理。

而且，它们的整体或具体的形态，可以由系统、装置、集成电路、计算机程序或计算机可读取的CD－ROM等的非一时的记录介质实现，也可以由系统、装置、集成电路、计算机程序及记录介质的任意的组合实现。

以下，对于实施例，参照附图进行具体说明。而且，以下说明的实施例，都示出整体或具体具体的例子。以下的实施例示出的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一个例子而不是限定本发明的宗旨。因此，对于以下的实施例的构成要素中的、示出最上位概念的独立权利要求中没有记载的构成要素，作为任意的构成要素而被说明。

并且，在下述中，也会有将coding作为encoding的意思来使用的情况。

(实施例1)

<整体结构>

图1示出本实施例的图像编码装置的结构。如图1，本实施例的图像编码装置具备，量化矩阵设定部101、量化矩阵编码部102、块分割部103、减法部104、变换部105、量化部106、系数编码部107、加法部108、逆变换部109、逆量化部110、预测部111、以及帧存储器112。

<工作(整体)>

接着，参照图2，说明编码整体的流程。首先，量化矩阵设定部101，设定作为处理对象的序列所使用的量化矩阵的SPS量化矩阵(序列量化矩阵)(S101)。

SPS量化矩阵，按照来自外部的输入、图像的特征、或变换跳跃允许标志(TransformSkipEnableFlag)等被设定。变换跳跃允许标志是，示出是否允许跳跃将像素数据变换成频率系数的处理的标志。通过跳跃变换处理，会有编码效率提高的情况。变换跳跃允许标志，在0的情况下，示出禁止跳跃变换处理，在1的情况下，示出允许跳跃变换处理。

接着，量化矩阵编码部102，对SPS量化矩阵进行编码(S102)。在后面进行详细说明。而且，对图片的以后的处理(S103至S115)是，对序列内的全图片执行的。因此，按照序列内的图片数，反复进行以后的处理。

接着，量化矩阵设定部101，设定作为处理对象的图片所使用的量化矩阵的PPS量化矩阵(S103)。PPS量化矩阵，按照来自外部的输入、图像的特征、或变换跳跃允许标志等被设定。接着，量化矩阵编码部102，对PPS量化矩阵进行编码(S104)。在后面进行详细说明。

接着，块分割部103，将输入图像分割为块(Coding Unit)，依次将块输出到减法部104和预测部111(S105)。块具有可变尺寸。块分割部103，利用图像的特征分割图像。块的最小尺寸为横8像素×纵8像素，最大尺寸为横64像素×纵64像素。

而且，针对块的以后的处理(S106至S114)是，针对一张图片内的全块执行的。因此，按照图片内的块的个数，反复进行以后的处理。

接着，预测部111，根据块、以及帧存储器112所存储的解码图像，生成预测块(S106)。减法部104，根据输入图像和预测块，生成差分块(S107)。

接着，变换部105，将差分块变换成频率系数(S108)。此时，输入变换跳跃允许标志。在变换跳跃允许标志为1(允许跳跃)的情况下，变换部105，按照差分块的特征(尺寸等)切换执行/不执行变换处理。而且，变换部105，在不执行变换处理的情况下，将差分块照原样输出到量化部106。变换部105，在执行变换处理的情况下，进行频率变换处理，将频率系数输出到量化部106。

另一方面，在变换跳跃允许标志为0(禁止跳跃)的情况下，变换部105，与差分块的特征无关，而进行频率变换处理，将频率系数输出到量化部106。

而且，变换处理的跳跃是，仅在变换尺寸为4x4的情况下执行的。而且，在4x4以外的情况下，与变换跳跃允许标志无关，而进行变换处理，变换尺寸是，4x4以上的可变尺寸，也可以比块(Coding Unit)的尺寸小。

接着，量化部106，对来自变换部105的输出数据进行量化(S109)。此时，利用步骤S103中设定的PPS量化矩阵，对输出数据进行量化。对于来自变换部105的输出数据，按照变换跳跃允许标志、和差分块的特征，会有作为差分块本身的情况、和作为频率系数的情况。接着，系数编码部107，对量化结果进行编码(S110)。对于编码，利用算术编码等的可变长编码。

接着，逆量化部110，对量化结果进行逆量化，复原频率系数或差分块(S111)。此时，逆量化部110，利用步骤S103中设定的PPS量化矩阵，对量化结果进行逆量化。逆量化示出，复原量化后的信号，但是，更准确而言，成为将通过量化处理而成为粗的精度的数据，利用量化矩阵回复为细的精度的处理。因此，与量化处理同样会有表现为缩放的情况。

接着，逆变换部109，将频率系数变换成像素数据，复原差分块(S112)。此时，从变换部105，对象块的频率变换是否被跳跃的信息输入到逆变换部109。而且，在频率变换被跳跃的情况下，逆频率变换也被跳跃。

而且，在该技术领域中，一般而言，为了减少乘法处理，同时进行逆量化和逆变换的处理。

接着，加法部108，对复原后的差分块、和预测块进行加法运算来生成解码块，并存储到帧存储器112(S113)。以后，对量化矩阵编码部102进行详细说明。量化矩阵编码部102，对SPS量化矩阵和PPS量化矩阵进行编码。

<量化矩阵编码部的结构>

图3示出图1所示的量化矩阵编码部102的内部结构。如图3，量化矩阵编码部102具备，QMatrixFlag设定部201、QMatrixFlag编码部202、SPS_QMatrix_PresentFlag设定部203、SPS_QMatrix_PresentFlag编码部204、PPS_QMatrix_PresentFlag设定部205、PPS_QMatrix_PresentFlag编码部206、以及矩阵数据编码部220。

矩阵数据编码部220具备，CopyMatrixFlag设定部207、CopyMatrixFlag编码部208、CopyMatrixID设定部209、CopyMatrixID编码部210、以及矩阵系数编码部211。

<工作(SPS量化矩阵的编码)>

接着，参照图4A及图4B，说明SPS量化矩阵的编码流程。首先，在使用量化矩阵的情况下(S201的“是”)，QMatrixFlag设定部201，将QMatrixFlag设定为1(S203)。在不使用量化矩阵的情况下(S201的“否”)，QMatrixFlag设定部201，将QMatrixFlag设定为0(S202)。

QMatrixFlag(量化矩阵标志)是，示出是否使用量化矩阵的标志。更具体而言，QMatrixFlag是，示出对量化处理或逆量化处理，是否使用按每个频率具有个别的系数的多个量化矩阵的标志。QMatrixFlag，在1的情况下，示出使用量化矩阵，在0的情况下，示出不使用量化矩阵。

接着，在使用量化矩阵的情况下(S201的“是”)，SPS_QMatrix_PresentFlag设定部203，按照变换跳跃允许标志和SPS量化矩阵，设定SPS_QMatrix_PresentFlag(S204至S210)。

SPS_QMatrix_PresentFlag(SPS量化矩阵存在标志)是，示出是否对SPS量化矩阵进行编码的标志。换句话说，SPS_QMatrix_PresentFlag，示出用于量化处理或逆量化处理的多个量化矩阵是否包含在SPS中。SPS_QMatrix_PresentFlag，在1的情况下，示出对SPS量化矩阵进行编码，在0的情况下，示出不对SPS量化矩阵进行编码。

在图4A的编码流程中，在变换跳跃允许标志为0(禁止跳跃)的情况下(S204的“否”)，判定是否SPS量化矩阵和默认矩阵全部相同(S205)。

而且，与4x4及8x8等的频率变换尺寸(矩阵尺寸)、画面内预测及画面间预测等的预测模式、以及亮度及色差等的像素成分对应，存在几种SPS量化矩阵。并且，与SPS量化矩阵同样，存在几种默认矩阵。默认矩阵是，预先决定的量化矩阵，基本上，也不包含在SPS和PPS中。

在SPS量化矩阵和默认矩阵全部相同的情况下(S205的“是”)，SPS_QMatrix_PresentFlag被设定为0(SPS中不包含量化矩阵)(S206)。只要在一个不同的情况下(S205的“否”)，SPS_QMatrix_PresentFlag1就被设定为1(SPS中包含量化矩阵)(S207)。

并且，在变换跳跃允许标志为1(允许跳跃)的情况下，判定是否4x4的SPS量化矩阵的全系数为16、且4x4以外的SPS量化矩阵全部与默认矩阵相同(S208)。

在所述的判定结果为真的情况下(以S208“是”)，SPS_QMatrix_PresentFlag被设定为0(SPS中不包含量化矩阵)(S209)。在定结果为假的情况下(S208的“否”)，SPS_QMatrix_PresentFlag被设定为1(SPS中包含量化矩阵)(S210)。

接着，QMatrixFlag编码部202、SPS_QMatrix_PresentFlag编码部204、以及矩阵数据编码部220，对QMatrixFlag、SPS_QMatrix_PresentFlag、以及SPS量化矩阵的矩阵数据进行编码，并输出代码串(S211至S215)。

更详细而言，QMatrixFlag编码部202，对QMatrixFlag进行编码(S211)。而且，在QMatrixFlag为1的情况下(S212的“是”)，SPS_QMatrix_PresentFlag编码部204，对QMatrix_PresentFlag进行编码(S213)。进而，在QMatrix_PresentFlag为1的情况下(S214的“是”)，矩阵数据编码部220，对SPS量化矩阵的矩阵数据进行编码(S215)。

也就是说，SPS_QMatrix_PresentFlag，仅在QMatrixFlag为1(的量化矩阵)的情况下，被编码。SPS量化矩阵的矩阵数据，仅在QMatrixFlag为1(使用量化矩阵)、且SPS_QMatrix_PresentFlag为1(SPS中包含量化矩阵)的情况下，被编码。对于矩阵数据的编码，在后面进行详细说明。通过编码而输出的所述的代码串包含在SPS中。

<工作(PPS量化矩阵的编码)>

接着，参照图5A及图5B，说明PPS量化矩阵的编码流程。首先，PPS_QMatrix_PresentFlag设定部205，按照QMatrixFlag、SPS_QMatrix_PresentFlag、变换跳跃允许标志、及PPS量化矩阵，设定PPS_QMatrix_PresentFlag(S301至S312)。

PPS_QMatrix_PresentFlag(PPS量化矩阵存在标志)是，示出是否对PPS量化矩阵进行编码的标志。换句话说，PPS_QMatrix_PresentFlag，示出用于量化处理或逆量化处理的多个量化矩阵是否包含在PPS中。PPS_QMatrix_PresentFlag，在1的情况下，示出对PPS量化矩阵进行编码，在0的情况下，示出不对PPS量化矩阵进行编码。

在图5A及图5B的编码流程中，在QMatrixFlag为0(不使用量化矩阵)的情况下(S301的“否”)，PPS_QMatrix_PresentFlag被设定为0(S312)。在QMatrixFlag为1(使用量化矩阵)的情况下(S301的“是”)，按照SPS_QMatrix_PresentFlag分支处理(S302)。

在SPS_QMatrix_PresentFlag为1(SPS中包含量化矩阵)的情况下(S302的“是”)，判定是否PPS量化矩阵和SPS量化矩阵全部相同(S310)。而且，与SPS量化矩阵同样，与4x4及8x8等的频率变换尺寸(矩阵尺寸)、画面内预测及画面间预测等的预测模式、以及亮度及色差等的像素成分对应，存在几种PPS量化矩阵。

在全部相同的情况下(S310的“是”)，PPS_QMatrix_PresentFlag被设定0(PPS中不包含量化矩阵)(S312)。只要在任一个不同的情况下(S310的“否”)，PPS_QMatrix_PresentFlag就被设定为1(PPS中不包含量化矩阵)(S311)。

并且，在SPS_QMatrix_PresentFlag为0(SPS中不包量化矩阵)的情况下(S302的“否”)，判定变换跳跃允许标志是否为1(允许跳跃)(S303)。

在变换跳跃允许标志为0(禁止跳跃)的情况下(S303的“否”)，判定是否PPS量化矩阵和默认矩阵全部相同(S304)。在全部相同的情况下(S304的“是”)，PPS_QMatrix_PresentFlag被设定为0(PPS中不包含量化矩阵)(S305)。只要在一个不同的情况下(S304的“否”)，PPS_QMatrix_PresentFlag就被设定为1(PPS中包含量化矩阵)(S306)。

并且，在变换跳跃允许标志为1(允许跳跃)的情况下(S303的“是”)，判定是否4x4的PPS量化矩阵的全系数为16、且4x4以外的PPS量化矩阵全部与默认矩阵相同(S307)。

在判定结果为真的情况下(S307的“是”)，PPS_QMatrix_PresentFlag被设定为0(PPS中不包含量化矩阵)(S308)。在判定结果为假的情况下(S307的“否”)，PPS_QMatrix_PresentFlag被设定为1(PPS中包含量化矩阵)(S309)。

接着，PPS_QMatrix_PresentFlag编码部206、以及矩阵数据编码部220，对PPS_QMatrix_PresentFlag、以及PPS量化矩阵的矩阵数据进行编码，并输出代码串(S313至S315)。

更详细而言，PPS_QMatrix_PresentFlag编码部206，对PPS_QMatrix_PresentFlag进行编码(S313)。在PPS_QMatrix_PresentFlag为1(PPS中包含量化矩阵)的情况下(S314的“是”)，矩阵数据编码部220，对PPS量化矩阵的矩阵数据进行编码(S315)。

也就是说，PPS量化矩阵的矩阵数据，仅在PPS_QMatrix_PresentFlag为1(PPS中包含量化矩阵)的情况下，被编码。对于矩阵数据的编码，在后面进行详细说明。通过编码而输出的所述的代码串包含在PPS中。

<工作(矩阵数据的编码)>

接着，参照图6A及图6B，说明矩阵数据的编码流程。而且，针对矩阵数据的处理(S402至S416)是，针对所有的量化矩阵执行的，因此，按照量化矩阵的个数，反复进行这些处理。

如上所述，与4x4及8x8等的频率变换尺寸(矩阵尺寸)、画面内预测及画面间预测等的预测模式、以及亮度及色差等的像素成分对应存在几种量化矩阵。图6A的步骤S401及图6B的步骤S415是用于向各个量化矩阵分配ID的处理。在步骤S401中ID被初始化为1，在步骤S415中ID依次增加1。而且，ID被分配到各个量化矩阵。

在矩阵数据的编码中，首先，CopyMatrixFlag设定部207，按照对象矩阵和变换跳跃允许标志，设定CopyMatrixFlag。并且，CopyMatrixID设定部209，按照对象矩阵和变换跳跃允许标志，设定CopyMatrixID(S402至S410)。

更详细而言，在对象矩阵为4x4、且变换跳跃允许标志为1(允许跳跃)的情况下(S402的“是”)，比较对象矩阵的全系数和16(S404)。在对象矩阵不是4x4、或变换跳跃允许标志为0(禁止跳跃)的情况下(S402的“否”)，比较对象矩阵和默认矩阵(S403)。

在比较的结果为，相同的情况下(S404的“是”或S403的“是”)，CopyMatrixFlag被设定为1(复制矩阵)(S409)，CopyMatrixID被设定为0(默认矩阵的ID)(S410)。在比较的结果为，不同的情况下(S404的“否”或S403的“否”)，还比较对象矩阵和已经编码完毕的矩阵(ID比对象矩阵小的矩阵)(S405)。

在存在相同的矩阵的情况下(S405的“是”)，CopyMatrixFlag被设定为1(复制矩阵)(S407)。而且，CopyMatrixID被设定为存在的相同的矩阵的ID(S408)。在不存在相同的矩阵的情况下(S405的“否”)，CopyMatrixFlag被设定为0(不复制矩阵)(S406)。

接着，CopyMatrixFlag编码部208、CopyMatrixID编码部210、及矩阵系数编码部211，对CopyMatrixFlag、CopyMatrixID、及矩阵系数进行编码(S411至S414)。

更详细而言，CopyMatrixFlag编码部208，对CopyMatrixFlag进行编码(S411)。在CopyMatrixFlag为1(复制矩阵)的情况下(S412的“是”)，CopyMatrixID编码部210，对CopyMatrixID进行编码(S414)。在CopyMatrixFlag为0(不复制矩阵)的情况下(S412的“否”)，矩阵系数编码部211对矩阵系数进行编码(S413)。

也就是说，CopyMatrixID(被复制的矩阵的ID)，仅在CopyMatrixFlag为1(复制矩阵)的情况下，被编码。矩阵系数，仅在CopyMatrixFlag为0(不复制矩阵)的情况下，被编码。而且，4x4矩阵中存在16个矩阵系数，8x8矩阵中存在64个矩阵系数。

<效果>

以上，本实施例的图像编码装置，能够以少的代码量使用默认矩阵，能够提高编码效率。

更具体而言，在对所有的量化矩阵使用默认矩阵的情况下，QMatrixFlag被设定为1(使用量化矩阵)，SPS_QMatrix_PresentFlag被设定为0(SPS中不含量化矩阵)，PPS_QMatrix_PresentFlag被设定为0(PPS中不含量化矩阵)。据此，以三个标志表现对所有的量化矩阵使用默认矩阵的情况。

并且，按照变换跳跃允许标志变更SPS/PPS_QMatrix_PresentFlag、及CopyMatrixFlag的设定，从而能够适应性切换不对量化矩阵进行编码的条件。

在变换跳跃允许标志为1(允许跳跃)的情况下，若不使用量化矩阵，则成为高画质的可能性更高。例如，在变换处理被跳跃的情况下，不进行频率变换，因此，不对频率系数进行量化，而对差分块进行量化。在此情况下，图像编码装置，不利用量化矩阵，而以块整体利用相同的系数，从而能够对块进行更自然的量化。

因此，在允许变换处理的跳跃的情况下，量化矩阵设定部101，也可以将矩阵系数全部设定为相同的值。因此，图像编码装置，根据变换跳跃允许标志，切换编码条件，从而能够抑制量化矩阵的编码。而且，图像解码装置也能够，利用变换跳跃允许标志，以相同的规则来复原矩阵系数。因此，削减代码量。

而且，在所述的例子中，按照变换跳跃允许标志切换SPS/PPS_QMatrix_PresentFlag、及CopyMatrixFlag的设定。但是，也可以不进行利用变换跳跃允许标志的切换。也可以仅根据SPS/PPS的量化矩阵的值设定SPS/PPS_QMatrix_PresentFlag、及CopyMatrixFlag。

例如，在SPS量化矩阵的编码流程(图4A及图4B)中，由变换跳跃允许标志，切换步骤S205至S207，和步骤S208至S210。但是，不仅变换跳跃允许标志，也可以仅由步骤S205至S207，设定SPS_QMatrix_PresentFlag。

并且，在所述的例子中，PPS_QMatrix_PresentFlag，总是按每个图片被编码。但是，在不使用量化矩阵的情况(QMatrixFlag为0的情况)下，PPS_QMatrix_PresentFlag可以不被编码。

并且，在所述的例子中，QMatrixFlag(是否使用量化矩阵的标志)，在SPS量化矩阵的编码处理内被编码。但是，QMatrixFlag也可以，在PPS量化矩阵的编码处理内被编码。在此情况下，SPS_QMatrix_PresentFlag，与QMatrixFlag的值无关，而被编码。

并且，在所述的例子中，量化矩阵，从外部输入。但是，也可以按照输入图像的特征决定量化矩阵。并且，量化矩阵，也可以从多个种类中被选择。并且，也可以利用固定的量化矩阵。

并且，在所述的例子中，变换跳跃允许标志，从外部输入。但是，也可以按照输入图像的特征，决定变换跳跃允许标志。并且，变换跳跃允许标志，也可以是固定值。

并且，在所述的例子中，在矩阵数据编码部220中，利用CopyMatrixFlag及CopyMatrixID，实现复制已经编码完毕的矩阵的结构。但是，不仅限于该例子，也可以是，矩阵不被复制，总是，矩阵系数编码部211对矩阵数据进行编码。

并且，在所述的例子中，变换处理的跳跃是，仅在只变换尺寸是4x4的情况下执行的。而且，在4x4以外的情况下，不进行跳跃，而进行变换处理。但是，不仅限于所述的例子，可以在8x8以下的情况下，执行变换处理的跳跃，也可以以所有的尺寸执行变换处理的跳跃。

在此情况下，在SPS/PPS_QMatrix_PresentFlag、及CopyMatrixFlag的设定中，不仅对4x4量化矩阵系数和16进行比较，也对8x8及其他的量化矩阵系数和16进行比较。

并且，在所述的例子中，在变换跳跃允许标志为1(允许跳跃)的情况下，判定4x4量化矩阵系数全部是否为16。但是，也可以利用16以外的数值，判定量化矩阵系数全部是否为相同的数值。

并且，在所述的例子中，块的尺寸被设定为，最大64x64、及最小8x8。但是，块的尺寸，可以为其以上，也可以为其以下。并且，块也可以是固定尺寸。并且，变换尺寸，也不仅限于所述的例子。

图7示出所述的例子涉及的图像编码装置的特征性的工作。所述的例子，可以如下汇总。

量化矩阵编码部102，对第一标志、第二标志及第三标志进行编码(S911)。第一标志示出，按每个频率具有个别的系数的多个量化矩阵是否(选择性地)利用于量化处理。第二标志示出，多个量化矩阵是否包含在SPS中。第三标志，多个量化矩阵是否包含在PPS中。而且，量化部106，进行量化处理(S912)。

在作为多个量化矩阵的多个默认矩阵利用于量化处理的情况下，量化矩阵编码部102，对示出多个量化矩阵利用于量化处理的第一标志进行编码。并且，在此情况下，量化矩阵编码部102，对示出多个量化矩阵不包含在SPS中的第二标志、和示出多个量化矩阵不包含在PPS中的第三标志进行编码。

据此，对于是否利用多个默认矩阵，由三个标志进行控制。因此，能够提高编码效率。并且，若量化矩阵不包含在SPS中也不包含在PPS中，则示出默认矩阵的使用。因此，容错性提高。

而且，更具体而言，对示出多个量化矩阵利用于量化处理的第一标志的编码意味着，将示出多个量化矩阵利用于量化处理的值作为第一标志的值进行编码。该关系是，对于其他的标志的编码，也同样的。

并且，其他的处理，也可以由其他的装置执行。图像编码装置也可以不具备，其他的处理涉及的构成要素。或者，图像编码装置也可以，任意进行与所述的例子对应的以下的工作。

例如，图像编码装置，在代替量化矩阵而将具有相同的系数的平坦的矩阵利用于量化处理的情况下，对示出量化矩阵不利用于量化处理的第一标志进行编码。

并且，例如，图像编码装置，在量化矩阵利用于量化处理的情况下，对示出量化矩阵利用于量化处理的第一标志进行编码。而且，在此情况下，图像编码装置，对示出量化矩阵包含在SPS中的第二标志、或者示出量化矩阵包含在PPS中的第三标志进行编码。

而且，图像编码装置，在对示出量化矩阵包含在SPS中的第二标志进行编码的情况下，将量化矩阵包含在SPS中。而且，图像编码装置，在示出量化矩阵包含在PPS中的第三标志进行编码，将量化矩阵包含在PPS中。

并且，例如，在第一量化矩阵相等于第二量化矩阵的情况下，图像编码装置，将示出第二量化矩阵的标识符包含在参数集包中，以作为示出复制到第一量化矩阵的矩阵的复制标识符。而且，在第一量化矩阵相等于默认矩阵的情况下，图像编码装置，将示出默认矩阵的标识符包含在参数集包中，以作为复制标识符。

并且，例如，图像编码装置，针对序列设定序列量化矩阵，针对图片设定图片量化矩阵。而且，图像编码装置，在图片量化矩阵利用于针对图片的量化处理的情况下，对示出量化矩阵利用于量化处理的第一标志进行编码。

而且，在默认矩阵被设定为序列量化矩阵的情况下，图像编码装置，对示出量化矩阵不包含在SPS中的第二标志进行编码。而且，在序列量化矩阵被设定为图片量化矩阵的情况下，图像编码装置，对示出量化矩阵不包含在PPS中的第三标志进行编码。

并且，例如，图像编码装置，进行量化处理来生成量化数据，对生成的量化数据进行编码。

并且，例如，图像编码装置，在针对不进行频率变换的块的量化处理中，利用具有相同的系数的平坦的矩阵，在针对进行频率变换的块的量化处理中，利用默认矩阵。

在此情况下，图像编码装置，对示出量化矩阵利用于量化处理的第一标志进行编码。而且，图像编码装置，对示出量化矩阵不包含在SPS中的第二标志进行编码。而且，图像编码装置，对示出量化矩阵不包含在PPS中的第三标志进行编码。

也可以任意组合以上的工作。并且，也可以根据本实施例的所述的例子，加以各种变形。

进而，本实施例的处理，可以由软件实现。而且，该软件可以通过下载等分发。并且，该软件可以纪录在CD-ROM等的记录介质中来分发。而且，它们，在其他的实施例中也能够实现。

(实施例2)

在本实施例中，示出与实施例1所示的图像编码装置对应的图像解码装置。在本实施例的图像解码装置，进行与实施例1所示的图像编码装置对应的工作。据此，本实施例的图像解码装置能够，对由实施例1的图像编码装置编码的图像进行解码。而且，在本实施例中会有，利用与实施例1相同的用语等，来省略实施例1所示的说明的情况。

<整体结构>

图8示出本实施例的图像解码装置的结构。如图8，本实施例的图像解码装置具备，系数解码部301、量化矩阵解码部302、逆量化部303、逆变换部304、加法部305、及帧存储器306。

<工作(整体)>

接着，参照图9，说明解码整体的流程。首先，量化矩阵解码部302，对作为处理对象的序列所使用的量化矩阵的SPS量化矩阵进行解码(S501)。在后面进行详细说明。而且，对于针对图片的以后的处理(S502至S508)，由于针对序列内的全图片执行，因此，按照序列内的图片数，反复进行处理。

接着，量化矩阵解码部302，对作为处理对象的图片所使用的量化矩阵的PPS量化矩阵进行解码(S502)。在后面进行详细说明。而且，对于针对块的以后的处理(S503至S507)由于针对一张图片内的全块执行，因此，按照图片内的块的个数，反复进行处理。

接着，系数解码部301，从代码串对量化结果进行解码(S503)。逆量化部303，对量化结果进行逆量化，将频率系数或差分块复原(S504)。此时，利用步骤S502中解码的PPS量化矩阵进行逆量化。

接着，逆变换部304，将像素数据变换成频率系数，复原差分块(S505)。此时，从代码串获得是否跳跃了对象块的频率变换的标志。而且，在跳跃频率变换的情况下，也跳跃逆频率变换。而且，仅在变换尺寸为4x4的情况下执行变换处理的跳跃，在4x4以外的情况下，与标志无关，而进行变换处理。

接着，加法部305，对帧存储器306中存储的解码图像(预测图像)和差分块进行加法运算来生成解码块，将解码块重新存储到帧存储器306(S506)。块(Coding Unit)的尺寸为可变尺寸。例如，最小尺寸为横8像素×纵8像素，最大尺寸为横64像素×纵64像素。

以后，详细说明量化矩阵解码部302。量化矩阵解码部302，对SPS量化矩阵和PPS量化矩阵进行解码。

<量化矩阵解码部的结构>

图10示出量化矩阵解码部302的内部结构。如图10，量化矩阵解码部302具备，QMatrixFlag解码部401、SPS_QMatrix_PresentFlag解码部402、PPS_QMatrix_PresentFlag解码部403、量化矩阵设定部404、及矩阵数据解码部420。

矩阵数据解码部420具备，CopyMatrixFlag解码部405、CopyMatrixID解码部406、及矩阵系数解码部407。

<工作(SPS量化矩阵的解码)>

接着，参照图11，说明SPS量化矩阵的解码流程。

首先，QMatrixFlag解码部401，从代码串对QMatrixFlag进行解码(S601)。而且，在QMatrixFlag为0(不使用量化矩阵)的情况下(S602的“否”)，量化矩阵设定部404，将SPS量化矩阵的全系数设定为16(S603)。在QMatrixFlag为1(使用量化矩阵)的情况下(S602的“是”)，进行以后的步骤S604至S610的处理。

具体而言，SPS_QMatrix_PresentFlag解码部402，从代码串对SPS_QMatrix_PresentFlag进行解码(S604)。在SPS_QMatrix_PresentFlag为1(SPS中包含量化矩阵)的情况下(S605的“是”)，矩阵数据解码部420，对SPS量化矩阵的矩阵数据进行解码(S606)。对于矩阵数据的解码，在后面进行详细说明。

在SPS_QMatrix_PresentFlag为0(SPS中不包含量化矩阵)的情况下(S605的“否”)，量化矩阵设定部404，按照代码串内的变换跳跃允许标志设定SPS量化矩阵(S607至S610)。

更详细而言，在变换跳跃允许标志为0(禁止跳跃)的情况下(S607的“否”)，SPS量化矩阵被设定为默认矩阵(S610)。也就是说，默认矩阵的系数被复制到SPS量化矩阵。

在变换跳跃允许标志是为1(允许跳跃)的情况下(S607的“是”)，4x4的SPS量化矩阵的全系数被设定为16(S608)，4x4以外的SPS量化矩阵被设定为默认矩阵(S609)。

<工作(PPS量化矩阵的解码)>

接着，参照图12，说明PPS量化矩阵的解码流程。首先，PPS_QMatrix_PresentFlag解码部403，从代码串对PPS_QMatrix_PresentFlag进行解码(S701)。

接着，在由QMatrixFlag解码部401解码的QMatrixFlag为0(不使用量化矩阵)的情况下(S702的“否”)，量化矩阵设定部404，将PPS量化矩阵的全系数设定为16(S703)。在QMatrixFlag为1(使用量化矩阵)的情况下(S702的“是”)，进行以后的步骤S704至S711的处理。

具体而言，在PPS_QMatrix_PresentFlag为1(PPS中包含量化矩阵)的情况下(S704的“是”)，矩阵数据解码部420对PPS量化矩阵的矩阵数据进行解码(S705)。对于矩阵数据的解码，在后面进行详细说明。在PPS_QMatrix_PresentFlag为0(PPS中不包含量化矩阵)的情况下，进行以后的步骤S706至S711的处理。

具体而言，在SPS_QMatrix_PresentFlag为1(SPS中包含量化矩阵)的情况下(S706的“是”)，量化矩阵设定部404，PPS量化矩阵被设定为SPS量化矩阵(S707)。也就是说，SPS量化矩阵的系数被复制到PPS量化矩阵。

在SPS_QMatrix_PresentFlag为0(SPS中不包含量化矩阵)的情况下(S706的“否”)，量化矩阵设定部404，按照代码串内的变换跳跃允许标志设定PPS量化矩阵(S708至S711)。

更详细而言，在变换跳跃允许标志为0(禁止跳跃)的情况下(S708的“否”)，PPS量化矩阵被设定为默认矩阵(S711)。也就是说，默认矩阵的系数被复制到PPS量化矩阵。在变换跳跃允许标志为1(允许跳跃)的情况下(S708的“是”)，4x4的PPS量化矩阵的全系数被设定为16(S709)，4x4以外的PPS量化矩阵被设定为默认矩阵(S710)。

<工作(矩阵数据的解码)>

接着，参照图13，说明矩阵数据的解码流程。而且，针对矩阵数据的处理(S802至S812)是，针对所有的量化矩阵执行的。因此，按照量化矩阵的个数，反复进行处理。如上所述，与4x4及8x8等的频率变换尺寸(矩阵尺寸)、画面内预测及画面间预测等的预测模式、以及亮度及色差等的像素成分对应，存在几种量化矩阵。

步骤S801及S811是，用于向各个量化矩阵分配ID的处理。在步骤S801中ID被初始化为1在步骤S811中ID依次增加1。而且，ID被分配到各个量化矩阵。

在矩阵数据的解码中，首先，CopyMatrixFlag解码部405，对CopyMatrixFlag进行解码(S802)。在CopyMatrixFlag为0(不复制矩阵)的情况下(S803的“否”)，矩阵系数解码部407进行矩阵系数的解码(S804)。而且，在4x4矩阵的情况下，存在16个矩阵系数，在8x8矩阵的情况下，存在64个矩阵系数。

在CopyMatrixFlag为1(复制矩阵)的情况下(S803的“是”)，进行以后的步骤S805至S810的处理。

具体而言，CopyMatrixID解码部406，对CopyMatrixID进行解码(S805)。在CopyMatrixID为0以外(已经解码完毕的矩阵的ID)的情况下(S806的“否”)，量化矩阵设定部404，将CopyMatrixID示出的矩阵的系数复制到对象矩阵(S810)。

在CopyMatrixID为0(默认矩阵的ID)的情况下(S806的“是”)，量化矩阵设定部404，按照代码串内的变换跳跃允许标志和对象矩阵的尺寸设定矩阵的值(S807至S809)。

更详细而言，在变换跳跃允许标志为1(允许跳跃)、且对象矩阵的尺寸为4x4的情况下(S807的“是”)，对象矩阵的全系数被设定为16(S808)。在变换跳跃允许标志为0(禁止跳跃)、或者对象矩阵的尺寸为4x4以外的情况下(S807的“否”)，对象矩阵被设定为默认矩阵(S809)。也就是说，默认矩阵的系数被复制到对象矩阵。

<效果>

以上，本实施例的图像解码装置，能够以少的代码量使用默认矩阵，能够对编码效率提高的代码串进行解码。

更具体而言，在QMatrixFlag为1(使用量化矩阵)、SPS_QMatrix_PresentFlag为0(SPS中不含量化矩阵)、PPS_QMatrix_PresentFlag为0(PPS不含量化矩阵)的情况下，对所有的量化矩阵使用默认矩阵。图像解码装置能够，根据三个标志，对所有的量化矩阵利用默认矩阵。

并且，按照变换跳跃允许标志，不是默认矩阵，而全系数被设定为相同的值。据此，实现高画质化。

在变换跳跃允许标志为1(允许跳跃)的情况下，若不使用量化矩阵，则成为高画质的可能性更高。例如，在变换处理被跳跃的情况下，不进行频率变换(逆频率变换)，因此，不对频率系数进行量化(逆量化)，而对差分块进行量化(逆量化)。在此情况下，不利用量化矩阵，而以相同的系数对块整体进行量化(逆量化)，从而能够对块进行更自然的量化(逆量化)。

因此，在变换跳跃允许标志为1(允许跳跃)的情况下，会有不使用量化矩阵的情况。因此，在变换跳跃允许标志为1、SPS/PPS中不包含量化矩阵的情况下，不是默认矩阵，而将矩阵的全系数设定为相同的值，从而能够实现代码量的削减和画质的提高。

而且，在所述的例子中，按照变换跳跃允许标志，切换对量化矩阵的设定值。但是，设定值，也可以不由变换跳跃允许标志切换。在QMatrixFlag为1(使用量化矩阵)、且SPS/PPS_QMatrix_PresentFlag为0(SPS/PPS中不包含量化矩阵)的情况下，也可以与变换跳跃允许标志无关，而使用默认矩阵。

例如，在SPS量化矩阵的解码流程(图12)中，由变换跳跃允许标志，切换步骤S709至S710、和步骤S711。但也可以是，不切换它们，而仅利用步骤S711，设定PPS量化矩阵。

并且，在所述的例子中，PPS_QMatrix_PresentFlag，总是按每个图片被解码。但是，在不使用量化矩阵的情况(QMatrixFlag为0的情况)下，PPS_QMatrix_PresentFlag可以不被解码。

并且，在所述的例子中，QMatrixFlag(是否使用量化矩阵的标志)，在SPS量化矩阵的解码处理内被解码。但是，QMatrixFlag也可以，在PPS量化矩阵的解码处理内被解码。在此情况下，SPS_QMatrix_PresentFlag，与QMatrixFlag的值无关，而被解码。

并且，在所述的例子中，在矩阵数据解码部420中，利用CopyMatrixFlag及CopyMatrixID，实现复制已经解码完毕的矩阵的结构。但是，不仅限于该例子，也可以是，矩阵不被复制，总是，矩阵系数解码部407对矩阵数据进行解码。

并且，在所述的例子中，变换处理的跳跃是，仅在变换尺寸为4x4的情况下执行的。而且，在4x4以外的情况下，不进行跳跃，而进行变换处理。但是，不仅限于所述的例子，可以在8x8以下的情况下，执行变换处理的跳跃，也可以以所有的尺寸执行变换处理的跳跃。

在此情况下，在量化矩阵的设定中，不仅4x4的量化矩阵系数被设定为16，8x8及其他的量化矩阵也以相同的条件被设定为16。

并且，在所述的例子中，在变换跳跃允许标志为1的情况下，4x4的量化矩阵的全系数被设定为16。但是，量化矩阵的全系数，也可以被设定为16以外的相同的数值。

并且，在所述的例子中，块的尺寸被设定为，最大64x64、及最小8x8。但是，块的尺寸，可以为其以上，也可以为其以下。并且，块也可以是固定尺寸。并且，变换尺寸，也不仅限于所述的例子。

图14示出所述的例子的图像解码装置的特征性的工作。所述的例子，可以如下汇总。

量化矩阵解码部302，对第一标志、第二标志及第三标志进行解码(S921)。第一标志示出，按每个频率具有个别的系数的多个量化矩阵是否(选择性地)利用于逆量化处理。第二标志示出，多个量化矩阵是否包含在SPS中。第三标志，多个量化矩阵是否包含在PPS中。

而且，逆量化部303，进行逆量化处理(S922)。在此，逆量化部303，在(i)示出多个量化矩阵利用于逆量化处理的第一标志、(ii)示出多个量化矩阵不包含在SPS中的第二标志、以及(iii)示出多个量化矩阵不包含在PPS中的第三标志被解码的情况下，作为多个量化矩阵利用多个默认矩阵进行逆量化处理。

据此，对于是否利用多个默认矩阵，由三个标志进行控制。因此，能够提高编码效率。并且，若量化矩阵不包含在SPS中也不包含在PPS中，则示出默认矩阵的使用。因此，容错性提高。

而且，更具体而言，对示出多个量化矩阵利用于逆量化处理的第一标志的解码意味着，将示出多个量化矩阵利用于逆量化处理的值作为第一标志的值进行解码。该关系是，对于其他的标志的解码，也同样的。

并且，其他的处理，也可以由其他的装置执行。图像解码装置也可以不具备，其他的处理涉及的构成要素。或者，图像解码装置也可以，任意进行与所述的例子对应的以下的工作。

例如，图像解码装置，在示出量化矩阵不利用于逆量化处理的第一标志被解码的情况下，代替量化矩阵而利用具有相同的系数的平坦的矩阵，进行逆量化处理。

并且，例如，图像解码装置，对示出量化矩阵利用于逆量化处理的第一标志、和示出量化矩阵不包含在SPS中的第二标志进行解码。而且，在此情况下，图像解码装置，利用SPS中包含的量化矩阵进行逆量化处理。

并且，例如，图像解码装置，对示出量化矩阵利用于逆量化处理的第一标志、和示出量化矩阵不包含在PPS中的第三标志进行解码。而且，在此情况下，图像解码装置，利用PPS中包含的量化矩阵进行逆量化处理。

并且，例如，在参数集包含作为复制标识符的示出第二量化矩阵的标识符的情况下，图像解码装置，利用包含第二量化矩阵被复制的第一量化矩阵的多个量化矩阵进行逆量化处理。

并且，例如，在参数集包含作为复制标识符的示出默认矩阵的标识符的情况下，利用包含默认矩阵被复制的第一量化矩阵的多个量化矩阵进行逆量化处理。

并且，例如，图像解码装置，针对序列设定序列量化矩阵，针对图片设定图片量化矩阵。而且，图像解码装置，在对示出量化矩阵利用于逆量化处理的第一标志进行解码的情况下，利用图片量化矩阵对图片进行逆量化处理。

而且，在序列量化矩阵的设定中，在对示出量化矩阵不包含在SPS中的第二标志进行解码的情况下，图像解码装置，将默认矩阵设定为序列量化矩阵。并且，在图片量化矩阵的设定中，在对示出量化矩阵不包含在PPS中的第三标志进行解码的情况下，图像解码装置，将序列量化矩阵设定为图片量化矩阵。

并且，例如，图像解码装置，对量化数据进行解码，对解码后的量化数据进行逆量化处理。

并且，例如，在(i)示出量化矩阵利用于逆量化处理的第一标志、(ii)示出量化矩阵不包含在SPS中的第二标志、以及(iii)示出量化矩阵不包含在PPS中的第三标志被解码的情况下，图像解码装置，进行以下的工作。

也就是说，图像解码装置，针对不进行逆频率变换的块，利用具有相同的系数的平坦的矩阵进行逆量化处理。而且，图像解码装置，对进行逆频率变换的块，利用默认矩阵进行逆量化处理。

也可以任意组合以上的工作。并且，也可以根据本实施例的所述的例子，加以各种变形。

在以上的各个实施例中，功能框的每一个，也可以由MPU及存储器等实现。并且，功能框的每一个的处理，可以由软件(程序)实现，该软件也可以记录在ROM等的记录介质。而且，这样的软件，可以通过下载等来分发，记录在CD-ROM等的记录介质来分发。而且，各功能框，也可以由硬件(专用电路)实现。

也就是说，在所述各个实施例中，各个构成要素，可以由专用的硬件构成，也可以执行适于各个构成要素的软件程序来实现。各个构成要素也可以，通过CPU或处理器等的程序执行部，读出并执行硬盘或半导体存储器等的记录介质中纪录的软件程序来实现。

换而言之，图像编码装置及图像解码装置具备，处理电路(ProcessingCircuitry)、以及与该处理电路电连接的(从该处理电路可访问的)存储装置(Storage)。处理电路，包括专用的硬件及程序执行部的至少一方，利用存储装置执行处理。并且，存储装置，在处理电路包括程序执行部的情况下，存储由该程序执行部执行的软件程序。

在此，实现所述各个实施例的图像编码装置等的软件是，如下的程序。

也就是说，该程序，使计算机执行对图像进行编码的图像编码方法，所述图像编码方法包括：编码步骤，对系数信息、第一标志、第二标志以及第三标志进行编码，(i)所述系数信息示出，构成所述图像的一个以上的块中包含的多个系数，(ii)所述第一标志示出，是否利用按每个频率具有个别的系数的多个量化矩阵对所述一个以上的块进行量化，(iii)所述第二标志示出，所述多个量化矩阵是否包含在序列参数集中，(iv)所述第三标志示出，所述多个量化矩阵是否包含在图片参数集中；以及量化步骤，对所述多个系数进行量化，在所述量化步骤中，作为所述多个量化矩阵利用多个默认矩阵对所述一个以上的块进行量化的情况下，在所述编码步骤中，将(i)示出利用所述多个量化矩阵进行量化的所述第一标志、(ii)示出所述多个量化矩阵不包含在所述序列参数集中的所述第二标志、以及(iii)示出所述多个量化矩阵不包含在所述图片参数集中的所述第三标志编码。

并且，也可以是，该程序，使计算机执行对编码比特流进行解码，并对图像进行解码的图像解码方法，所述图像解码方法包括：解码步骤，从所述编码比特流，对系数信息、第一标志、第二标志以及第三标志进行解码，(i)所述系数信息示出，构成所述图像的一个以上的块中包含的多个系数，(ii)所述第一标志示出，是否利用按每个频率具有个别的系数的多个量化矩阵对所述一个以上的块进行逆量化，(iii)所述第二标志示出，所述多个量化矩阵是否包含在序列参数集中，(iv)所述第三标志示出，所述多个量化矩阵是否包含在图片参数集中；以及逆量化步骤，对所述系数信息进行逆量化，在所述逆量化步骤中，在(i)示出利用所述多个量化矩阵进行逆量化的所述第一标志、(ii)示出所述多个量化矩阵不包含在所述序列参数集中的所述第二标志、以及(iii)示出所述多个量化矩阵不包含在所述图片参数集中的所述第三标志被解码的情况下，作为所述多个量化矩阵利用多个默认矩阵对所述系数信息进行逆量化。

并且，各个构成要素，也可以是电路。这样的电路，可以以整体构成一个电路，也可以是分别不同的电路。并且，各个构成要素，可以由通用的处理器实现，也可以由专用的处理器实现。

并且，特定的处理部执行的处理可以由其他的处理部执行。并且，可以变更执行处理的顺序，也可以并行执行多个处理。并且，图像编解码装置可以具备，图像编码装置及图像解码装置。

并且，在各个实施例中说明的处理，可以由利用单一的装置(系统)的集中处理实现，或者，也可以由利用多个装置的分散处理实现。并且，执行所述程序的计算机，可以是一个，也可以是多个。也就是说，执行所述程序的计算机，可以进行集中处理，或者，也可以进行分散处理。

以上，针对一个或多个方案涉及的图像编码装置等，根据实施例来进行了说明，不过，本发明不是被该实施例所限制的。只要不超出本发明的宗旨，则本领域技术人员想出的各种变形例实施在被实施例的例子，对不同实施例中的构成要素进行组合而构筑的例子也都包括在本发明的一个或者多个方案的范围内。

(实施例3)

将用于实现所述各个实施例示出的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的构成的程序记录到存储媒体，从而所述各个实施例示出的处理，能够在独立的计算机系统简单地实施。记录介质可以是磁盘、光盘、磁光盘、IC卡、半导体存储器等，只要能够记录程序就可以。

加之在这里说明，所述各个实施例示出的运动图像编码方法(图像编码方法)和运动图像解码方法(图像解码方法)的应用例以及使用那些的系统。该系统的特征是具有图像编解码装置，该图像编解码装置由利用图像编码方法的图像编码装置以及利用图像解码方法的图像解码装置组成。关于系统中的其外构成，按照情况能够恰当地变更。

图15是示出实现内容分发服务的内容提供系统ex100的全体构成图。将通信服务的提供区域划分为所希望的大小，在各个单元内分别设置有作为固定无线局的基站ex106、ex107、ex108、ex109、ex110。

在该内容提供系统ex100中，计算机ex111、PDA(个人数字助理：personal digital assistant)ex112、摄像机ex113、便携式电话ex114、游戏机ex115等各种设备通过互联网服务提供商ex102和电话网ex104、以及基站ex106至ex110，与互联网ex101相连接。

然而，内容提供系统ex100并非局限于图15所示的构成，也可以对任意的要素进行组合后连接。并且，可以不通过作为固定无线局的基站ex106至ex110，而是各个设备直接与电话网ex104相连接。并且，也可以是各个设备通过近场无线等而彼此直接连接。

摄像机ex113是数字摄像机等能够拍摄运动图像的设备，摄像机ex116是数字照相机等能够拍摄静止图像以及运动图像的设备。并且便携式电话ex114是GSM(注册商标)(Global System for Mobile Communications：全球移动通讯系统)方式、CDMA(Code Division Multiple Access：码分多址)方式、W－CDMA(Wideband－Code Division Multiple Access：宽带码分多址)方式、LTE(Long Term Evolution：长期演进)方式、HSPA(High－Speed Packet Access：高速分组接入)的便携式电话，或PHS(PersonalHandy－phone System：个人手持式电话系统)等，可以是其中任一个。

在内容提供系统ex100中，摄像机ex113等通过基站ex109、电话网ex104与流播放服务器ex103连接，从而进行实况分发等。在实况分发中，针对用户利用摄像机ex113拍摄的内容(例如音乐实况的影像等)进行在上述的各个实施例所说明的编码处理(即作为本发明的图像编码装置来发挥作用)，并发送到流播放服务器ex103。另外，流播放服务器ex103针对提出请求的客户端，对被发送的内容数据进行流的分发。作为客户端，包括可以解码上述的被编码处理的数据的计算机ex111、PDAex112、摄像机ex113、便携式电话ex114、以及游戏机ex115等。在接收了被分发的数据的各个设备，对接收的数据进行解码处理并再生(即作为本发明的图像解码装置来发挥作用)。

并且，拍摄的数据的编码处理可以在摄像机ex113进行，也可以在进行数据的发送处理的流播放服务器ex103进行，也可以相互分担进行。同样，被分发的数据的解码处理可以由客户端进行，也可以在流播放服务器ex103进行，也可以相互分担进行。并且，不仅限于摄像机ex113，由摄像机ex116拍摄的静止图像数据以及/或者运动图像数据，也可以通过计算机ex111而发送到流播放服务器ex103。此时的编码处理可以在摄像机ex116、计算机ex111、流播放服务器ex103的任一个中进行，也可以相互分担进行。

并且，这些编码处理以及解码处理通常在计算机ex111以及各个设备所具有的LSI(Large Scale Integration：大规模集成电路)ex500中处理。LSIex500可以由一个芯片构成，也可以由多个芯片构成。另外，也可以将运动图像编码用以及运动图像解码用的软件安装到能够由计算机ex111等读取的某种记录介质(CD－ROM、软盘、硬盘等)中，并利用该软件来进行编码处理以及解码处理。而且，在便携式电话ex114是附带有相机的情况下，也可以发送由该相机获得的运动图像数据。在这种情况下的运动图像数据是由便携式电话ex114所具有的LSIex500进行编码处理后的数据。

并且，流播放服务器ex103是多个服务器或多个计算机，也可以是对数据进行分散地处理、记录、分发的装置。

如以上所述，在内容提供系统ex100中，客户端能够接收并再生被编码的数据。在这样的内容提供系统ex100中，在客户端能够实时地接收并解码由用户发送的信息并且能够再生，这样，即使是没有特殊权利或设备的用户也能够实现个人播放。

并且，不仅限于内容供给系统ex100的例子，如图16所示，在数字广播用系统ex200上也能够组装上述各个实施例所示的运动图像编码装置(图像编码装置)以及运动图像解码装置(图像解码装置)中的任一个。具体而言，在广播电台ex201，影像数据上多路复用了音乐数据的多路复用数据通过电波来通信或被传输到卫星ex202。这个影像数据是根据所述各个实施例说明的运动图像编码方法被编码的数据(即根据本发明的图像编码装置被编码的数据)。接收了这些的广播卫星ex202发送用于广播的电波，这些电波由能够进行卫星广播接收的家庭的天线ex204来接收。接收的多路复用数据由电视机(接收机)ex300或机顶盒(STB)ex217等装置进行解码并再生(即作为本发明的一个方案涉及的图像解码装置发挥作用)。

并且，在用于读取并解码DVD、BD等记录介质ex215中所记录的多路复用数据、或者将影像信号编码、进而有时与音乐信号多路复用后进行写入的阅读器/记录器ex218上，也能够安装上述各个实施例所示的运动图像解码装置或运动图像编码装置。在这种情况下，被再生的影像信号能够被显示在监视器ex219，并且能够由记录了多路复用数据的记录介质ex215在其他的装置或系统中再生影像信号。并且，也可以将运动图像解码装置安装到与有线电视用的电缆ex203或卫星/地波广播的天线ex204连接的机顶盒ex217内，并在电视机的监视器ex219上显示。此时，可以不组装到机顶盒，而将运动图像解码装置组装到电视机内。

图17示出了利用了在上述的各个实施例中说明的运动图像解码方法以及运动图像编码方法的电视机(接收机)ex300。电视机ex300包括：调谐器ex301，通过接收上述广播的天线ex204或电缆ex203等获得或者输出影像数据上多路复用了声音数据的多路复用数据；调制/解调部ex302，解调接收的多路复用数据，或者为了将多路复用数据发送到外部而进行调制；以及多路复用/分离部ex303，对解调的多路复用数据分为影像数据和声音数据，或者在信号处理部ex306进行了编码的影像数据和声音数据进行多路复用。

并且，电视机ex300具有信号处理部ex306和输出部ex309，所述信号处理部ex306具有分别对声音信号和影像信号进行解码或者对各个信息分别进行编码的声音信号处理部ex304和影像信号处理部ex305(作为本发明的图像编码装置或者图像解码装置发挥作用)；所述输出部ex309具有对被解码的声音信号进行输出的扬声器ex307，以及对被解码的影像信号进行显示的显示器等显示部ex308。进而，电视机ex300具有接口部ex317，该接口部ex317具有接受用户的操作输入的操作输入部ex312等。进而，电视机ex300具有统括控制各个部的控制部ex310，以及向各个部提供电力的电源电路部ex311。接口部ex317除可以具有操作输入部ex312以外，还可以具有与阅读器/记录器ex218等外部设备连接的电桥ex313、用于安装SD卡等记录介质ex216的插槽部ex314、用于与硬盘等外部记录介质连接的驱动器ex315、以及与电话网连接的调制解调器ex316等。并且，记录介质ex216能够通过存储的非易失性/易失性的半导体存储器元件进行信息的电记录。电视机ex300的各个部通过同步总线相互连接。

首先，对电视机ex300通过天线ex204等从外部获得的多路复用数据进行解码并再生的构成进行说明。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据具有CPU等的控制部ex310的控制，将在调制/解调部ex302解调的多路复用数据，在多路复用/分离部ex303进行分离。并且，电视机ex300将分离的声音数据在声音信号处理部ex304进行解码，利用上述的实施例中说明的解码方法，将分离的影像数据在影像信号处理部ex305进行解码。解码的声音信号和影像信号分别从输出部ex309被输出到外部。在进行输出时，为了使声音信号和影像信号同步再生，而可以在缓冲器ex318、ex319等暂时蓄积这些信号。并且，电视机ex300可以不从广播等读出多路复用数据，而是从磁性/光盘、SD卡等记录介质ex215、ex216中读出多路复用数据。以下将要说明的构成是，电视机ex300对声音信号以及影像信号进行编码，并发送到外部或写入到记录介质等的构成。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据控制部ex310的控制，利用在上述的实施例中说明的编码方法，在声音信号处理部ex304对声音信号进行编码，并在影像信号处理部ex305对影像信号进行编码。被编码的声音信号和影像信号在多路复用/分离部ex303被多路复用，并被输出到外部。在进行多路复用时，为了使声音信号和影像信号同步，而可以将这些信号暂时蓄积到缓冲器ex320、ex321等。另外，关于缓冲器ex318至ex321，可以如图中所示那样具备多个，也可以是共享一个以上的缓冲器的构成。而且，除图中所示以外，例如可以在调制/解调部ex302与多路复用/分离部ex303之间等，作为回避系统的上溢和下溢的缓冲部分，在缓冲器中蓄积数据。

并且，电视机ex300除具有获得来自广播以及记录介质等的声音数据以及影像数据的构成以外，还可以具有接受麦克风以及摄像机的AV输入的构成，并且也可以对从这些获得的数据进行编码处理。并且，在此虽然对电视机ex300能够进行上述的编码处理、多路复用以及外部输出的构成进行了说明，不过也可以是不进行上述的全部的处理，而仅进行上述的接收、解码处理以及外部输出的构成。

并且，在阅读器/记录器ex218从记录介质中读出或写入多路复用数据的情况下，上述的解码处理或编码处理也可以在电视机ex300以及阅读器/记录器ex218的某一个中进行，也可以是电视机ex300和阅读器/记录器ex218彼此分担进行。

作为一个例子，图18示出了从光盘进行数据的读取或写入的情况下的信息再生/记录部ex400的构成。信息再生/记录部ex400包括以下将要说明的要素ex401、ex402、ex403、ex404、ex405、ex406、ex407。光学头ex401将激光照射到作为光盘的记录介质ex215的记录面并写入信息，并且检测来自记录介质ex215的记录面的反射光并读取信息。调制记录部ex402对被内藏于光学头ex401的半导体激光进行电驱动，并按照记录数据来进行激光的调制。再生解调部ex403对由被内藏于光学头ex401的光电探测器对来自记录面的反射光进行电检测而得到的再生信号进行放大，对被记录在记录介质ex215的信号成分进行分离、解调，并再生必要的信息。缓冲器ex404对用于在记录介质ex215进行记录的信息以及从记录介质ex215再生的信息进行暂时保持。盘式电机ex405使记录介质ex215旋转。伺服控制部ex406在对盘式电机ex405的旋转驱动进行控制的同时，将光学头ex401移动到规定的代码道，进行激光的光点的追踪处理。系统控制部ex407对信息再生/记录部ex400进行整体控制。上述的读出以及写入处理可以通过以下的方法来实现，即：系统控制部ex407利用被保持在缓冲器ex404的各种信息，并且按照需要在进行新的信息的生成以及追加的同时，一边使调制记录部ex402、再生解调部ex403以及伺服控制部ex406协调工作，一边通过光学头ex401来进行信息的记录再生。系统控制部ex407例如以微处理器构成，通过执行读出以及写入的程序来执行这些处理。

以上，以光学头ex401照射激光光点为例进行了说明，不过也可以利用近场光学来进行高密度的记录。

图19是作为光盘的记录介质ex215的模式图。在记录介质ex215的记录面上，导槽(槽)被形成为螺旋状，在代码道ex230上预先被记录有按照槽的形状的变化示出盘上的绝对位置的地址信息。该地址信息包括用于确定记录块ex231的位置的信息，该记录块ex231是记录数据的单位，在进行记录以及再生的装置能够通过再生代码道ex230以及读取地址信息，来确定记录块。并且，记录介质ex215包括：数据记录区域ex233、内周区域ex232、以及外周区域ex234。用于记录用户数据的区域为数据记录区域ex233，被配置在数据记录区域ex233的内周或外周的内周区域ex232和外周区域ex234被用于用户数据的记录以外的特殊用途。信息再生/记录部ex400针对这种记录介质ex215的数据记录区域ex233，进行被编码的声音数据、影像数据或对这些数据进行多路复用后的多路复用数据的读写。

以上以具有一层结构的DVD、BD等光盘为例进行了说明，但并非受此所限，也可以是多层结构的能够在表面以外进行记录的光盘。并且，也可以在盘的同一位置上记录利用了各种不同波长的颜色的光的信息，或者可以是从各种角度记录不同的信息的层等的具有进行多维的记录/再生的构成的光盘。

此外，在数字广播用系统ex200，能够在具有天线ex205的车辆ex210从卫星ex202等接收数据，并在车辆ex210具有的车辆导航系统211等的显示装置再生运动图像。另外，关于车辆导航系统ex211的构成可以考虑成在图17示出的构成中添加GPS接收部，同样也可以考虑在计算机ex111和便携式电话ex114等上。

图20A是示出了利用了在上述的实施例所说明的运动图像编码方法和运动图像解码方法的便携式电话ex114的图。便携式电话ex114具有：天线ex350，用于在与基站ex110之间进行电波的收发；摄像机部ex365，能够拍摄影像和静止图像；显示部ex358，是用于显示在摄像机部ex365拍摄的影像以及由天线ex350接收的影像等被解码后的数据的液晶显示器等。便携式电话ex114还具有：具有操作键部ex366的主体部、声音输出部ex357，是用于输出声音的扬声器等；声音输入部ex356，是用于输入声音的麦克风等；存储器部ex367，用于保存拍摄的影像、静止图像、录音的声音、或者接收的影像、静止图像、邮件等被编码或被解码的数据；或者同样是保存数据的记录介质之间的接口的插槽部ex364。

进一步利用图20B对便携式电话ex114的构成例进行说明。在便携式电话ex114中，针对用于统括控制具有显示部ex358以及操作键部ex366的主体部的各个部的主控制部ex360，电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、摄像机接口部ex363、LCD(LiquidCrystal Display：液晶显示器)控制部ex359、调制/解调部ex352、多路复用/分离部ex353、声音信号处理部ex354、插槽部ex364、以及存储器部ex367经由总线ex370相互连接。

源电路部ex361在通过用户的操作而成为通话结束以及电源键成为导通状态下，通过从电池组向各个部提供电力，从而启动便携式电话ex114，使其成为能够工作的状态。

便携式电话ex114根据由CPU、ROM以及RAM等构成的主控制部ex360的控制，在声音通话模式时，由声音信号处理部ex354将在声音输入部ex356收集的声音信号转换为数字声音信号，并在调制/解调部ex352进行扩频(Spread Spectrum)处理，在发送/接收部ex351进行数模转换处理以及频率转换处理之后，经由天线ex350发送。并且，便携式电话ex114在声音通话模式时，对通过天线ex350接收的接收数据进行放大并进行频率转换处理以及模数转换处理，在调制/解调部ex352进行扩频处理的逆处理，在由声音信号处理部ex354转换为模拟声音信号之后，将其从声音输出部ex356输出。

并且，在数据通信模式时发送电子邮件的情况下，通过主体部的操作键部ex366等的操作被输入的电子邮件的文本数据经由操作输入控制部ex362被发送到主控制部ex360。主控制部ex360，由调制/解调部ex352对文本数据进行扩频处理，在发送/接收部ex351进行数模转换处理以及频率转换处理之后，经由天线ex350发送到基站ex110。在接收电子邮件的情况下、针对接收的数据进行与上述几乎相反的处理，发送到显示部ex358。

在数据通信模式时发送影像、静止图像、或影像和声音的情况下，影像信号处理部ex355，将从摄像机部ex365提供的影像信号，按照所述各个实施例表示的运动图像编码方法来进行压缩编码(即，作为本发明的一个方式涉及的图像编码装置来发挥作用)，并将被编码的影像数据发送到多路复用/分离部ex353。此外，声音信号处理部ex354，对摄像机部ex365拍摄影像、静止图像等中，由声音输入部ex356收集的声音信号进行编码，并将被编码的声音数据发送到多路复用/分离部ex353。

多路复用/分离部ex353以规定的方式，对从影像信号处理部ex355提供来的被编码的影像数据和从声音信号处理部ex354提供来的被编码的声音数据进行多路复用，将通过多路复用而得到的多路复用数据在调制/解调部(调制/解调电路部)ex352进行扩频处理，并在发送/接收部ex351进行数模转换处理以及频率转换处理之后，经由天线ex350发送。

在数据通信模式时，接收被链接在主页等的运动图像文件的数据的情况下，或者接收被添加了影像及/或声音的电子邮件的情况下，为了经由天线ex350解码被接收的多路复用数据，多路复用/分离部ex353，通过分割多路复用数据来分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将被编码的影像数据提供给影像信号处理部ex355，并且将被编码的声音数据提供给声音信号处理部ex354。影像信号处理部ex355根据与所述各个实施例示出的运动图像编码方法对应的运动图像解码方法进行解码来解码影像信号(即，作为本发明的图像解码装置来发挥作用)，通过LCD控制部ex359在显示部ex358显示例如被链接在主页的运动图像文件中包含的影像、静止图像。此外，声音信号处理部ex354解码声音信号，从声音输出部ex357输出声音。

并且，上述便携式电话ex114等终端与电视机ex300同样，除可以考虑到是具有编码器以及解码器双方的收发信型终端的形式以外，还可以考虑到是仅具有编码器的发送终端，以及仅具有解码器的接收终端的共三种形式。并且，上述说明了在数字广播用系统ex200，接收以及发送在影像数据上多路复用了音乐数据等的多路复用数据，不过可以是除了声音数据以外多路复用了有关影像的文字数据等的数据，也可以是影像数据本身，而不是多路复用数据。

这样，在上述的实施例所示的图像编码方法或图像解码方法能够适用于上述的任一个设备以及系统，这样，能够得到在上述的实施例中说明的效果。

此外，本发明不仅限于所述的实施例，可以不脱离本发明的范围而进行各种变形或修改。

(实施例4)

可以按照需要适宜地切换上述的各个实施例所示的运动图像编码方法或装置与依照MPEG－2、MPEG4－AVC、VC－1等不同的标准的运动图像编码方法或装置，来生成影像数据。

在这里，在根据各自不同的标准生成了多个影像数据的情况下，需要在解码时选择与各自的标准对应的解码方法。然而，不能识别要解码的影像数据是依据了哪个标准的数据，所以产生不能选择恰当的解码方法这样的课题。

为了解决这个课题可以是在影像数据上多路复用了声音数据等的多路复用数据包含识别信息的构成，该识别信息表示影像数据是依据了哪个标准。下面说明包含由上述的各个实施例所示的运动图像编码方法或装置生成的影像数据的多路复用数据的具体构成。多路复用数据是MPEG－2传输流形式的数字流。

图21是表示多路复用数据的构成的图。如图21所示多路复用数据是通过对如下流中的一个以上进行多路复用而得到的数据：视频流，音频流，字幕流(presentation graphics：PG)，交互式图形流(interactive graphicsstream)。视频流表示电影的主影像以及副影像，音频流(IG)表示电影的主声音部分和与主声音混合的副声音，字幕流表示电影的字幕。在这里，主影像表示在画面显示的通常的影像，副影像是指在主影像中以小画面显示的影像。还有，交互式图形流示出通过在画面上配置图形用户界面元件而作成的对话画面。视频流，根据上述的各个实施例所示的运动图像编码方法或装置，以及以往的MPEG－2、MPEG4－AVC、VC－1等标准的运动图像编码方法或装置被编码。音频流，根据杜比AC－3、Dolby DigitalPlus、MLP、DTS、DTS－HD、或线性PCM等方式被编码。

多路复用数据中包含的各个流由PID被识别。例如，针对用于电影的影像的视频流分配0x1011，针对音频流分配从0x1100到0x111F，针对字幕流分配从0x1200到0x121F，针对交互式图形流分配从0x1400到0x141F，针对用于电影的副影像的视频流分配从0x1B00到0x1B1F，针对用于与主声音混合的副声音的音频流分配从0x1A00到0x1A1F。

图22是表示多路复用数据怎样被多路复用的模式图。首先，由多个视频帧组成的视频流ex235、由多个音频帧组成的音频流ex238，分别变换为PES数据包列ex236以及ex239，变换为TS数据包ex237以及ex240。同样地将字幕流ex241及交互式图形ex244的数据，分别变换为PES数据包列ex242以及ex245，进一步变换为TS数据包ex243以及ex246。多路复用数据ex247，将这些TS数据包多路复用在1个流上而被构成。

图23是更加详细地表示在PES数据包列中视频流怎样被存储的图。在图23的第一段示出视频流的视频帧列。第二段示出PES数据包列。如图23的箭头yy1,yy2,yy3,yy4所示，作为视频流中的多个VideoPresentation Unit的I图片，B图片，P图片，按每个图片被分割，存储到PES数据包的有效负载中。各个PES数据包拥有PES头，PES头中存储了作为图片的显示时刻的PTS(Presentation Time－Stamp：显示时间戳)、作为图片的解码时刻的DTS(Decoding Time－Stamp：解码时间戳)。

图24示出最终被写入到多路复用数据中的TS数据包的形式。TS数据包是具有识别流的PID等的信息的4Byte的TS头以及存储数据的184Byte的TS有效负载所构成的188Byte定长的数据包，所述PES数据包被分割被存储到TS有效负载。在是BD－ROM的情况下，TS数据包被赋予4Byte的TP_Extra_Header，构成192Byte的源数据包，被写入到多路复用数据。在TP_Extra_Header上记载了ATS(Arrival_Time_Stamp)等的信息。ATS表示该TS数据包向解码器的PID滤波器的传输开始时刻。在多路复用数据中如图28的下段所示排列了源数据包，从多路复用数据的开头增加的编号被称为SPN(源数据包编号)。

此外，多路复用数据中包含的TS数据包中除了影像、声音、字幕等各个流以外，还有PAT(Program Association Table：节目关联表)、PMT(Program Map Table：节目映射表)、PCR(Program Clock Reference：节目时钟基准)等。PAT表示多路复用数据中所利用的PMT的PID是什么，PAT自身的PID登记为0。PMT具有多路复用数据中包含的影像、声音、字幕等的各个流的PID以及与各个PID对应的流的属性信息，并且具有与多路复用数据有关的各种描述符。描述符具有复制控制信息等，该复制控制信息指示多路复用数据的复制许可、不许可。PCR为了使作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS、DTS的时间轴的STC(System Time Clock)同步，具有与该PCR数据包传输到解码器的ATS对应的STC时间的信息。

图25是详细地说明PMT的数据构成的图。PMT的开头设置了PMT头，用于记载该PMT中包含的数据的长度等。在其之后设置了多个与多路复用数据有关的描述符。上述复制控制信息等作为描述符被记载。在描述符之后设置了多个与多路复用数据中包含的各个流有关的流信息。流信息，为了识别流的压缩编解码等，由记载了流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符所构成。流描述符的数量与在多路复用数据中存在的流的数量相同。

在记录介质等记录的情况下，上述多路复用数据与多路复用数据信息文件一起被记录。

如图26所示多路复用数据信息文件是多路复用数据的管理信息，与多路复用数据1对1地对应，其由多路复用数据信息、流属性信息以及项映射(entry map)所构成。

多路复用数据信息如图26所示，由系统速率、再生开始时刻、再生结束时刻所构成。系统速率表示多路复用数据向着后述的系统目标解码器的PID滤波器的最大传输速率。多路复用数据中包含的ATS的间隔，被设定为是系统速率以下。再生开始时刻是多路复用数据的开头的视频帧的PTS，再生结束时刻被设定为，在多路复用数据的尾端的视频帧的PTS加上1帧的再生间隔。

流属性信息如图27所示，按每个PID登记包含在多路复用数据中的各个流的属性信息。属性信息按照每个视频流、音频流、字幕流、交互式图形流，具有不同的信息。视频流属性信息具有如下信息：该视频流以怎样的压缩编解码被压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等信息。音频流属性信息，具有如下信息：该音频流以怎样的压缩编解码被压缩、该音频流中包含的频道数是多少、与什么语言对应、采样频率是多少等信息。这些信息，用于在播放器再生之前的解码器的初始化等。

在本实施例，利用所述多路复用数据中的PMT中包含的流类型。此外，在记录介质中记录了多路复用数据的情况下，利用多路复用数据信息中包含的视频流属性信息。具体而言，在上述各个实施例表示的运动图像编码方法或装置中，针对PMT中包含的流类型、或视频流属性信息，设置设定固有的信息的步骤或单元，该固有的信息表示由上述各个实施例示出的运动图像编码方法或装置所生成的影像数据。根据该构成，能够识别由所述各个实施例表示的运动图像编码方法或装置所生成的影像数据与依据其他的标准的影像数据。

此外，图28表示在本实施例的运动图像解码方法的步骤。在步骤exS100，从多路复用数据中获得PMT中包含的流类型、或者多路复用数据信息中包含的视频流属性信息。接着，在步骤exS101，判断流类型或视频流属性信息是否表示是由所述各个实施例表示的运动图像编码方法或装置所生成的多路复用数据。而且，在判断为流类型或视频流属性信息表示是由所述各个实施例表示的运动图像编码方法或装置所生成的数据的情况下，在步骤exS102，所述各个实施例表示的运动图像解码方法进行解码。此外，流类型或视频流属性信息表示是以往的MPEG－2、MPEG4－AVC、VC－1等的标准的数据的情况下，在步骤exS103，根据所依据的以往的标准的运动图像解码方法来进行解码。

这样，通过在流类型或视频流属性信息设定新的固有值，从而在解码时，能够判断根据所述各个实施例表示的运动图像解码方法或装置是否能够解码。从而，即时被输入了依据不同的标准的多路复用数据时，也能够选择恰当的解码方法或装置，因此能够不产生错误地进行解码。此外，本实施例表示的运动图像编码方法或装置，或者运动图像解码方法或装置，能够用在上述的任一个设备以及系统。

(实施例5)

上述的各个实施例所示的运动图像编码方法以及装置、运动图像解码方法以及装置，典型的能够以作为集成电路的LSI来实现。作为一个例子，图29示出了被制成一个芯片的LSIex500的构成。LSIex500包括以下将要说明的要素ex501至ex509，各个要素通过总线ex510连接。电源电路部ex505在电源为打开状态的情况下，通过向各个部提供电力，从而启动为能够工作的状态。

例如，在进行编码处理的情况下，LSIex500，根据具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，根据AV输入输出ex509从麦克风ex117和摄像机ex113等输入AV信号。被输入的AV信号被暂时蓄积到SDRAM等的外部的存储器ex511。根据控制部ex501的控制，存储的数据按照处理量和处理速度适当地分为多个被发送到信号处理部ex507，在信号处理部ex507被进行声音信号的编码及/或影像信号的编码。在这里，影像信号的编码处理是所述各个实施例说明的编码处理。在信号处理部ex507还根据情况对被编码的声音数据以及被编码的影像数据进行多路复用等处理，从流输入输出ex506输出到外部。该被输出的多路复用数据被发送到基站ex107，或者被写入到记录介质ex215。并且，为了在多路复用时能够同步进行，而可以将数据暂时蓄积到缓冲器ex508。

另外，以上虽然对存储器ex511作为LSIex500的外部构成进行了说明，不过也可以被包括在LSIex500的内部。缓冲器ex508也可以不限于一个，可以具备多个缓冲器。并且，LSIex500可以被制成一个芯片，也可以是多个芯片。

此外，在上述说明中，控制部ex501具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，不过，控制部ex501的构成，不限于这个构成。例如，可以是信号处理部ex507还具备CPU的构成。通过在信号处理部ex507的内部也设置CPU，可以使处理速度提高。此外，作为其他的例子，可以是CPUex502具备信号处理部ex507、或者具备信号处理部ex507的一部分例如声音信号处理部的构成。在这样的情况下，控制部ex501是具备信号处理部ex507或具有其一部分的CPUex502的构成。

在此，虽然例示了LSI，不过根据集成度的不同，也可以称为IC、系统LSI、超级LSI、极超级LSI。

还有，集成电路化的方法不局限于LSI，也可以用专用电路或者通用处理器来实现。也可以利用在LSI制造之后可编程的现场可编程门阵列(FPGA∶Field Programmable Gate Array)或可动态地重构LSI内部的电路单元的连接和设定的可重构处理器。这样的可编程逻辑装置，典型的是加载或者从存储器等读入构成软件或者固件的程序，从而能够执行所述各个实施例示出的运动图像编码方法、或运动图像解码方法。

而且，随着半导体技术的进步或派生出的其他的技术，若出现了能够取代LSI的集成电路化的技术，当然也可以利用这些技术来对功能块进行集成化。有可能适用生物技术等。

(实施例6)

在对根据所述各个实施例表示的运动图像编码方法或装置所生成的影像数据进行解码的情况下，可以想到与对依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据进行解码的情况相比，处理量增加。因此，在LSIex500中需要设定比解码依据以往的标准的影像数据时的CPUex502的驱动频率高的驱动频率。但是驱动频率高，则产生电力消耗高这样的课题。

为了解决这个课题，设电视ex300、LSIex500等运动图像解码装置为如下构成，识别影像数据依据了哪个标准，按照标准切换驱动频率的构成。图30表示在本实施例的构成ex800。驱动频率切换部ex803，在影像数据是由所述各个实施例表示的运动图像编码方法或装置所生成的情况下，设定高的驱动频率。而且，对执行所述各个实施例表示的运动图像解码方法的解码处理部ex801进行指示，以解码影像数据。另一方面，在影像数据是依据以往的标准的影像数据的情况的情况下，与影像数据由所述各个实施例示出的运动图像编码方法或装置所生成的情况相比，设定低的驱动频率。而且，指示依据以往的标准的解码处理部ex802，对影像数据进行解码。

更具体而言，驱动频率切换部ex803由图29的CPUex502与驱动频率控制部ex512所构成。此外，执行所述各个实施例示出的运动图像解码方法的解码处理部ex801，以及依据以往的标准的解码处理部ex802，相当于图29的信号处理部ex507。CPUex502识别影像数据依据哪个标准。而且，根据来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，根据来自CPUex502的信号，信号处理部ex507进行影像数据的解码。在这里，可以考虑在影像数据的识别中利用例如在实施例8记载的识别信息。有关识别信息，不仅限于在实施例8记载的信息，只要是能够识别影像数据是依据哪个标准的信息就可以。例如，在根据识别影像数据是否用于电视，是否用于盘等的外部信号，能够识别影像数据是依据哪个标准的情况下，可以根据这样的外部信号进行识别。此外，在CPUex502的驱动频率的选择，可以考虑根据例如如图32一样的使影像数据的标准和驱动频率对应的一览表来进行。将一览表预先存储在缓冲器ex508和LSI的内存储器中，通过CPUex502参考这个一览表，能够选择驱动频率。

图31示出了实施本实施例的方法的步骤。首先，在步骤exS200中，由信号处理部ex507从多路复用数据中获得识别信息。接着，在步骤exS201中，CPUex502根据识别信息，识别影像数据是不是由所述各个实施例示出的编码方法或装置所生成的数据。在影像数据是由所述各个实施例示出的编码方法或装置所生成的数据情况下，在步骤exS202中，将设定高的驱动频率的信号，由CPUex502发送到驱动频率控制部ex512。而且，在驱动频率控制部ex512设定高的驱动频率。另一方面，在示出了是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，将设定低的驱动频率的信号，由CPUex502发送到驱动频率控制部ex512。而且，在驱动频率控制部ex512，设定与影像数据由所述各个实施例示出的编码方法或装置所生成的情况相比低的驱动频率。

加之，与驱动频率的切换联动，通过变更对LSIex500或包含LSIex500的装置施加的电压，可以提高省电效果。例如，在设定低驱动频率的情况下，随之与设定高驱动频率的情况相比，可以考虑使对LSIex500或包含LSIex500的装置施加的电压设定为低电压。

此外，关于驱动频率的设定方法，只要在解码时的处理量大的情况下，设定高的驱动频率，在解码时的处理量小的情况下，设定低的驱动频率就可以，不限于上述的设定方法。例如对依据MPEG4－AVC标准的影像数据进行解码的处理量，大于对由所述各个实施例示出的运动图像编码方法或装置所生成的影像数据进行解码的处理量的情况下，可以考虑将驱动频率的设定与上述的情况相反地进行。

加之，驱动频率的设定方法不限于使驱动频率设为低的构成。例如，可以考虑在识别信息示出是由所述各个实施例示出的运动图像编码方法或装置所生成的影像数据的情况下，对LSIex500或包含LSIex500的装置施加的电压设定为高的电压，在示出是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，对LSIex500或包含LSIex500的装置施加的电压设定为低的电压。此外，作为其他的例子，可以考虑在识别信息示出是由所述各个实施例示出的运动图像编码方法或装置所生成的影像数据的情况下，不停止CPUex502的驱动，在示出是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，因为处理有余量，可以暂时停止CPUex502的驱动。即使在识别信息示出是由所述各个实施例示出的运动图像编码方法或装置所生成的影像数据的情况下，如果处理有余量，也可以考虑暂时停止CPUex502的驱动。这个情况下，可以考虑与识别信息示出是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，停止时间设定地较短。

这样，按照影像数据依据的标准来切换驱动频率，从而能够达到省电化。此外，在利用电池驱动LSIex500或包含LSIex500的装置的情况下，随着省电化还可以延长电池的寿命。

(实施例7)

电视和便携式电话等上述的设备以及系统，有时被输入依据不同标准的多个影像数据。这样，即使在被输入了依据不同标准的多个影像数据的情况下也能进行解码，从而LSIex500的信号处理部ex507需要与多个标准对应。但是，与各个标准对应的信号处理部ex507个别利用时，使LSIex500的电路规模变大，还产生成本增加这样的课题。

为了解决上述课题可以是如下的构成，将用于执行所述各个实施例示出的运动图像解码方法的解码处理部与依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部，进行一部分共享。图33A的ex900示出该构成例。例如，所述各个实施例示出的运动图像解码方法和依据MPEG4－AVC标准的运动图像解码方法，在熵编码、逆量化、解块及滤波器、运动补偿等处理中，一部分处理内容是共同的。关于共同的处理内容，可以考虑共享与MPEG4－AVC标准对应的解码处理部ex902，关于与MPEG4－AVC标准不对应的本发明特有的其他处理内容，使用专用的解码处理部ex901这样的构成。尤其是本发明的一个方案中，熵解码具有特征，从而可以考虑如下，例如熵解码中利用专用的解码处理部ex901，除此之外的逆量化、解块滤波器、运动补偿的任一个或全部的处理中共用解码处理部。对于解码处理部的共享化，关于共同的处理内容，共享用于执行所述各个实施例示出的运动图像解码方法的解码处理部，关于MPEG4－AVC标准特有的处理内容，使用专用的解码处理部。

此外，图33B的ex1000示出了处理的部分共享化的其他例子。在这个例子的构成是，使用与本发明特有的处理内容对应的专用的解码处理部ex1001、与其他的以往标准特有的处理内容对应的专用的解码处理部ex1002、与本发明的运动图像解码方法及其他的以往标准的运动图像解码方法共同的处理内容相对应的共用的解码处理部ex1003。在这里，专用的解码处理部ex1001、ex1002，不一定是本发明或其他以往标准特有的处理内容所特有的，可以是能够执行其他通用处理的部。此外，也可以是在LSIex500安装本实施例的构成。

这样，关于本发明的一个方案涉及地运动图像解码方法与以往的标准的运动图像解码方法共同的处理内容，通过共享解码处理部，可以使LSI的电路规模变小，并且能够减少成本。

本发明，例如，能够利用于电视接收机、数字视频记录器、汽车导航、移动电话、数字摄像机、或数字视频照相机等。

符号说明

101、404 量化矩阵设定部

102  量化矩阵编码部

103  块分割部

104  减法部

105  变换部

106  量化部

107  系数编码部

108、305  加法部

109、304  逆变换部

110、303  逆量化部

111 预测部

112、306  帧存储器

201  QMatrixFlag设定部

202  QMatrixFlag编码部

203  SPS_QMatrix_PresentFlag设定部

204  SPS_QMatrix_PresentFlag编码部

205  PPS_QMatrix_PresentFlag设定部

206  PPS_QMatrix_PresentFlag编码部

207  CopyMatrixFlag设定部

208  CopyMatrixFlag编码部

209  CopyMatrixID设定部

210  CopyMatrixID编码部

211  矩阵系数编码部

220  矩阵数据编码部

301  系数解码部

302  量化矩阵解码部

401  QMatrixFlag解码部

402  SPS_QMatrix_PresentFlag解码部

403  PPS_QMatrix_PresentFlag解码部

405  CopyMatrixFlag解码部

406  CopyMatrixID解码部

407  矩阵系数解码部

420  矩阵数据解码部

Claims (15)

1.一种图像编码方法，对图像进行编码，所述图像编码方法包括：

编码步骤，对系数信息、第一标志、第二标志以及第三标志进行编码，(i)所述系数信息示出，构成所述图像的一个以上的块中包含的多个系数，(ii)所述第一标志示出，是否利用具有与所述多个系数分别对应的个别的系数的多个量化矩阵对所述一个以上的块进行量化，(iii)所述第二标志示出，所述多个量化矩阵是否包含在序列参数集中，(iv)所述第三标志示出，所述多个量化矩阵是否包含在图片参数集中；以及

量化步骤，对所述多个系数进行量化，

在所述量化步骤中，作为所述多个量化矩阵利用多个默认矩阵对所述一个以上的块进行量化的情况下，在所述编码步骤中，将(i)示出利用所述多个量化矩阵进行量化的所述第一标志、(ii)示出所述多个量化矩阵不包含在所述序列参数集中的所述第二标志、以及(iii)示出所述多个量化矩阵不包含在所述图片参数集中的所述第三标志编码。

2.如权利要求1所述的图像编码方法，

在所述量化步骤，代替所述多个量化矩阵而利用具有相同的多个系数的平坦的多个矩阵对所述一个以上的块进行量化的情况下，在所述编码步骤中，对示出不利用所述多个量化矩阵进行量化的所述第一标志进行编码。

3.如权利要求1或2所述的图像编码方法，

在所述编码步骤中，

在所述量化步骤中，利用所述多个量化矩阵对所述一个以上的块进行量化的情况下，对(i)示出利用所述多个量化矩阵进行量化的所述第一标志、以及(ii)示出所述多个量化矩阵包含在所述序列参数集中的所述第二标志、或者示出所述多个量化矩阵包含在所述图片参数集中的所述第三标志进行编码，

在对示出所述多个量化矩阵包含在所述序列参数集中的所述第二标志进行编码的情况下，将所述多个量化矩阵包含在所述序列参数集中，

在对示出所述多个量化矩阵包含在所述图片参数集中的所述第三标志进行编码的情况下，将所述多个量化矩阵包含在所述图片参数集中。

4.如权利要求3所述的图像编码方法，

在所述编码步骤中，

在作为所述序列参数集或所述图片参数集的参数集中所包含的所述多个量化矩阵包含第一量化矩阵和第二量化矩阵、且所述第一量化矩阵与所述第二量化矩阵相等的情况下，将示出所述第二量化矩阵的标识符，作为示出复制到所述第一量化矩阵的矩阵的复制矩阵标识符来包含在所述参数集中，

在所述参数集中所包含的所述多个量化矩阵包含所述第一量化矩阵、且所述第一量化矩阵与默认矩阵相等的情况下，将示出所述默认矩阵的标识符，作为所述复制矩阵标识符来包含在所述参数集中。

5.如权利要求1至4的任一项所述的图像编码方法，

所述图像编码方法还包括设定步骤，在所述设定步骤中，针对包含图片的序列设定多个序列量化矩阵，针对所述图片设定多个图片量化矩阵，

在所述编码步骤中，

在将针对所述图片设定的所述多个图片量化矩阵作为所述多个量化矩阵来利用，并对所述图片的所述一个以上的块进行量化的情况下，对示出利用所述多个量化矩阵进行量化的所述第一标志进行编码，

在针对所述序列将所述多个默认矩阵作为所述多个序列量化矩阵来设定的情况下，对示出所述多个量化矩阵不包含在所述序列参数集中的所述第二标志进行编码，

在针对所述图片将针对所述序列设定的所述多个序列量化矩阵作为所述多个图片量化矩阵来设定的情况下，对示出所述多个量化矩阵不包含在所述图片参数集中的所述第三标志进行编码。

6.如权利要求1至5的任一项所述的图像编码方法，

在所述编码步骤中，

在针对不进行变换的块，利用具有相同的多个系数的平坦的矩阵进行量化，并且，针对进行变换的块，利用默认矩阵进行量化的情况下，

对(i)示出利用所述多个量化矩阵进行量化的所述第一标志、(ii)示出所述多个量化矩阵不包含在所述序列参数集中的所述第二标志、以及(iii)示出所述多个量化矩阵不包含在所述图片参数集中的所述第三标志进行编码。

7.一种图像解码方法，对编码比特流进行解码，并对图像进行解码，所述图像解码方法包括：

解码步骤，从所述编码比特流，对系数信息、第一标志、第二标志以及第三标志进行解码，(i)所述系数信息示出，构成所述图像的一个以上的块中包含的多个系数，(ii)所述第一标志示出，是否利用具有与所述多个系数分别对应的个别的系数的多个量化矩阵对所述一个以上的块进行逆量化，(iii)所述第二标志示出，所述多个量化矩阵是否包含在序列参数集中，(iv)所述第三标志示出，所述多个量化矩阵是否包含在图片参数集中；以及

逆量化步骤，对所述系数信息进行逆量化，

在所述逆量化步骤中，在(i)示出利用所述多个量化矩阵进行逆量化的所述第一标志、(ii)示出所述多个量化矩阵不包含在所述序列参数集中的所述第二标志、以及(iii)示出所述多个量化矩阵不包含在所述图片参数集中的所述第三标志被解码的情况下，作为所述多个量化矩阵利用多个默认矩阵对所述系数信息进行逆量化。

8.如权利要求7所述图像解码方法，

在所述逆量化步骤中，在示出不进行利用所述多个量化矩阵的逆量化的所述第一标志被解码的情况下，代替所述多个量化矩阵而利用具有相同的多个系数的平坦的多个矩阵对所述系数信息进行逆量化。

9.如权利要求7或8所述图像解码方法，

在所述逆量化步骤中，

在示出利用所述多个量化矩阵进行逆量化的所述第一标志、和示出所述多个量化矩阵包含在所述序列参数集中的所述第二标志被解码的情况下，利用所述序列参数集中包含的所述多个量化矩阵对所述系数信息进行逆量化，

在示出利用所述多个量化矩阵进行逆量化的所述第一标志、和示出所述多个量化矩阵包含在所述图片参数集中的所述第三标志被解码的情况下，利用所述图片参数集中包含的所述多个量化矩阵对所述系数信息进行逆量化。

10.如权利要求9所述图像解码方法，

在所述逆量化步骤中，

在包含第一量化矩阵和第二量化矩阵的所述多个量化矩阵被包含在作为所述序列参数集或所述图片参数集的参数集中、且作为复制矩阵标识符的示出所述第二量化矩阵的标识符被包含在所述参数集中的情况下，利用包含复制了所述第二量化矩阵的所述第一量化矩阵的所述多个量化矩阵，来对所述系数信息进行逆量化，所述复制矩阵标识符示出复制到所述第一量化矩阵的矩阵，

在包含所述第一量化矩阵的所述多个量化矩阵被包含在所述参数集中、且作为所述复制矩阵标识符的示出默认矩阵的标识符被包含在所述参数集中的情况下，利用包含复制了所述默认矩阵的所述第一量化矩阵的所述多个量化矩阵，来对所述系数信息进行逆量化。

11.如权利要求7至10的任一项所述的图像解码方法，

所述图像解码方法包括设定步骤，在所述设定步骤中，针对包含图片的序列设定多个序列量化矩阵，针对所述图片设定多个图片量化矩阵，

在所述逆量化步骤中，在示出利用所述多个量化矩阵进行逆量化的所述第一标志被解码的情况下，将针对所述图片设定的所述多个图片量化矩阵作为所述多个量化矩阵来利用，并对所述图片的所述系数信息进行逆量化，

在所述设定步骤中，

在示出所述多个量化矩阵不包含在所述序列参数集中的所述第二标志被解码的情况下，针对所述序列将所述多个默认矩阵作为所述多个序列量化矩阵来设定，

在示出所述多个量化矩阵不包含在所述图片参数集中的所述第三标志被解码的情况下，针对所述图片将针对所述序列设定的所述多个序列量化矩阵作为所述多个图片量化矩阵来设定。

12.如权利要求7至11的任一项所述的图像解码方法，

在所述逆量化步骤中，

在(i)示出利用所述多个量化矩阵进行逆量化的所述第一标志、(ii)示出所述多个量化矩阵不包含在所述序列参数集中的所述第二标志、以及(iii)示出所述多个量化矩阵不包含在所述图片参数集中的所述第三标志被解码的情况下，

针对不进行变换的块的所述系数信息，利用具有相同的多个系数的平坦的矩阵进行逆量化，针对进行变换的块的所述系数信息，利用默认矩阵进行逆量化。

13.一种图像编码装置，对图像进行编码，所述图像编码装置具备：

处理电路；以及

从所述处理电路能够访问的存储装置，

所述处理电路，利用所述存储装置执行如下的步骤：

编码步骤，对系数信息、第一标志、第二标志以及第三标志进行编码，(i)所述系数信息示出，构成所述图像的一个以上的块中包含的多个系数，(ii)所述第一标志示出，是否利用具有与所述多个系数分别对应的个别的系数的多个量化矩阵对所述一个以上的块进行量化，(iii)所述第二标志示出，所述多个量化矩阵是否包含在序列参数集中，(iv)所述第三标志示出，所述多个量化矩阵是否包含在图片参数集中；以及

量化步骤，对所述多个系数进行量化，

在所述量化步骤中，作为所述多个量化矩阵利用多个默认矩阵对所述一个以上的块进行量化的情况下，在所述编码步骤中，将(i)示出利用所述多个量化矩阵进行量化的所述第一标志、(ii)示出所述多个量化矩阵不包含在所述序列参数集中的所述第二标志、以及(iii)示出所述多个量化矩阵不包含在所述图片参数集中的所述第三标志编码。

14.一种图像解码装置，对编码比特流进行解码，并对图像进行解码，所述图像解码装置具备：

处理电路；以及

从所述处理电路能够访问的存储装置，

所述处理电路，利用所述存储装置执行如下的步骤：

解码步骤，从所述编码比特流，对系数信息、第一标志、第二标志以及第三标志进行解码，(i)所述系数信息示出，构成所述图像的一个以上的块中包含的多个系数，(ii)所述第一标志示出，是否利用具有与所述多个系数分别对应的个别的系数的多个量化矩阵对所述一个以上的块进行逆量化，(iii)所述第二标志示出，所述多个量化矩阵是否包含在序列参数集中，(iv)所述第三标志示出，所述多个量化矩阵是否包含在图片参数集中；以及

逆量化步骤，对所述系数信息进行逆量化，

在所述逆量化步骤中，在(i)示出利用所述多个量化矩阵进行逆量化的所述第一标志、(ii)示出所述多个量化矩阵不包含在所述序列参数集中的所述第二标志、以及(iii)示出所述多个量化矩阵不包含在所述图片参数集中的所述第三标志被解码的情况下，作为所述多个量化矩阵利用多个默认矩阵对所述系数信息进行逆量化。

15.一种图像编解码装置，所述图像编解码装置具备：

权利要求13所述的图像编码装置；以及

对编码比特流进行解码，并对图像进行解码的图像解码装置，

所述图像解码装置具备：

处理电路；以及

从所述处理电路能够访问的存储装置，

所述处理电路，利用所述存储装置执行如下的步骤：

解码步骤，从所述编码比特流，对系数信息、第一标志、第二标志以及第三标志进行解码，(i)所述系数信息示出，构成所述图像的一个以上的块中包含的多个系数，(ii)所述第一标志示出，是否利用具有与所述多个系数分别对应的个别的系数的多个量化矩阵对所述一个以上的块进行逆量化，(iii)所述第二标志示出，所述多个量化矩阵是否包含在序列参数集中，(iv)所述第三标志示出，所述多个量化矩阵是否包含在图片参数集中；以及

逆量化步骤，对所述系数信息进行逆量化，

在所述逆量化步骤中，在(i)示出利用所述多个量化矩阵进行逆量化的所述第一标志、(ii)示出所述多个量化矩阵不包含在所述序列参数集中的所述第二标志、以及(iii)示出所述多个量化矩阵不包含在所述图片参数集中的所述第三标志被解码的情况下，作为所述多个量化矩阵利用多个默认矩阵对所述系数信息进行逆量化。