CN109905710A - 动态图像编码方法及装置、动态图像解码方法及装置 - Google Patents

Abstract

本发明提供动态图像编码方法及装置、动态图像解码方法及装置。动态图像编码方法包括：预测残差生成步骤，利用参照块生成编码对象块的预测图像，并生成预测残差；判定步骤，判定是否对预测残差应用正交变换；正交变换系数算出步骤，根据判定结果，算出多个正交变换系数；量化步骤，通过对多个正交变换系数进行量化，算出多个量化系数；标志编码步骤，对表示判定结果的正交变换跳跃标志进行可变长编码；和系数编码步骤，在判定结果表示应用时按照第一扫描顺序，在表示不应用时按照与第一扫描顺序不同的第二扫描顺序，对多个量化系数进行可变长编码；判定步骤中，仅在预测图像通过帧内预测而被生成且尺寸为4×4时，判定为不应用正交变换。

Description

动态图像编码方法及装置、动态图像解码方法及装置

本申请是申请日为2013年6月12日、申请号为201380023879.5、发明名称为“动态图像编码方法、动态图像解码方法、动态图像编码装置以及动态图像解码装置”的发明专利申请的分案。

技术领域

本发明涉及动态图像编码方法以及动态图像解码方法等。

背景技术

在动态图像编码处理中，一般利用动态图像的空间方向以及时间方向的冗余性来压缩信息量。在此，一般而言，作为利用空间方向冗余性的方法采用频域变换，作为利用时间方向冗余性的方法采用图片间预测(以下称之为帧间预测)编码处理。在帧间预测编码处理中，在对某图片进行编码时，作为参照图片，利用在显示时间顺序上位于对象图片的前方或者后方的已编码图片。并且，通过检测编码对象图片相对于该参照图片的运动，来导出运动矢量，并通过取得依据运动矢量进行运动补偿而获得的预测图像数据与编码对象图片的图像数据的差值，来消除时间方向的冗余性。在此，在运动检测中，算出编码图片内的编码对象块与参照图片内的块的差值，并将差值最小的参照图片内的块作为参照块。然后，利用编码对象块和参照块，来检测运动矢量。另外，在帧内预测编码处理中，在对某编码对象块进行编码时，作为参照像素，利用位于编码对象块周围的已编码的块内的像素。然后，通过取得利用该参照像素算出的预测图像数据和编码对象块的图像数据的差值，来消除空间方向的冗余性。作为这种动态图像编码方法，现已有标准化的动态图像编码方式，通称为H.264(参照非专利文献1)。

现有技术文献

非专利文献

非专利文献1：ITU-T Recommendation H.264“Advanced video coding forgeneric audiovisual services”，2010年3月

发明内容

发明要解决的问题

但是，近年来随着研究迈向了高精图像(4K×2K)的广播、内容数据分发，因此要求比目前被作为标准的动态图像编码方式更高的编码效率。

对此，本发明提供能够提高编码效率的动态图像编码方法以及动态图像解码方法。

用于解决问题的手段

为了解决上述课题，本发明的一形态的动态图像编码方法是按每个块对动态图像进行编码的动态图像编码方法，其包括：预测残差生成步骤，利用与编码对象块邻接的参照块，或者与编码对象图片不同的参照图片内的参照块，生成上述编码对象块的预测图像，并生成作为上述编码对象块和上述预测图像的差值的预测残差；判定步骤，判定是否对上述预测残差应用正交变换；正交变换系数算出步骤，在上述判定步骤中的判定结果表示应用上述正交变换的情况下，对上述预测残差进行上述正交变换而算出多个正交变换系数，在上述判定结果表示不应用上述正交变换的情况下，不对上述预测残差进行上述正交变换就算出多个正交变换系数；量化步骤，通过对由上述正交变换系数算出步骤算出的多个正交变换系数进行量化，算出多个量化系数；标志编码步骤，对表示上述判定结果的正交变换跳跃标志进行可变长编码；以及系数编码步骤，在上述判定结果表示应用上述正交变换的情况下，按照第一扫描顺序，在上述判定结果表示不应用上述正交变换的情况下，按照与上述第一扫描顺序不同的第二扫描顺序，来对上述多个量化系数进行可变长编码；在上述判定步骤中，仅在上述预测图像通过帧内预测而被生成、并且尺寸为4×4的情况下，判定为不应用上述正交变换。

在此，这些总括性或者具体性的形态可由系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质实现，亦可由系统、方法、集成电路、计算机程序以及记录介质的任意组合实现。

发明效果

根据本发明的动态图像编码方法以及动态图像解码方法，能够提高编码效率。

附图说明

图1是表示采用了实施方式1的动态图像编码方法的动态图像编码装置的结构的方框图。

图2是表示实施方式1的动态图像编码方法的处理概要的流程图。

图3是表示实施方式1的图2的步骤S103的详细处理的流程图。

图4是表示实施方式1的图2的步骤S104的详细处理的流程图。

图5是表示实施方式1的图2的步骤S105的详细处理的流程图。

图6是表示实施方式1的图2的步骤S106的详细处理的流程图。

图7是表示实施方式1的图2的步骤S108的详细处理的流程图。

图8是表示实施方式1的图2的步骤S109的详细处理的流程图。

图9是表示采用了实施方式2的动态图像解码方法的动态图像解码装置的结构的方框图。

图10是表示实施方式2的动态图像解码方法的处理概要的流程图。

图11是表示实施方式2的图10的步骤S201的详细处理的流程图。

图12是表示采用了实施方式3的动态图像编码方法的动态图像编码装置的结构的方框图。

图13是表示实施方式3的动态图像编码方法的处理概要的流程图。

图14是表示实施方式3的图13的步骤S307的详细处理的流程图。

图15是表示实施方式3的图14的步骤S321的详细处理的流程图。

图16是表示实施方式3的帧内预测模式的预测方向的图。

图17是表示实施方式3的量化系数的扫描顺序的图。

图18是表示实施方式3的图14的步骤S323的详细处理的流程图。

图19是表示采用了实施方式4的动态图像解码方法的动态图像解码装置的结构的方框图。

图20是表示实施方式4的动态图像解码方法的处理概要的流程图。

图21是表示实施方式4的图20的步骤S402的详细处理的流程图。

图22A是表示本发明的一形态的动态图像编码方法的流程图。

图22B是表示本发明的一形态的动态图像编码装置的方框图。

图22C是表示本发明的一形态的动态图像解码方法的流程图。

图22D是表示本发明的一形态的动态图像解码装置的方框图。

图23是实现内容数据分发服务的内容数据提供系统的整体结构图。

图24是数字广播系统的整体结构图。

图25是表示电视机的结构例的方框图。

图26是表示针对作为光盘的记录介质进行信息读写的信息再生/记录部的结构例的方框图。

图27是表示作为光盘的记录介质的结构例的图。

图28A是表示便携式电话的一个例子的图。

图28B是表示便携式电话的结构例的方框图。

图29是表示多路复用数据的结构的图。

图30是表示各流在多路复用数据中是怎样被多路复用的示意图。

图31是详细表示视频流是如何被存放在PES数据包列中的图。

图32是表示多路复用数据中的TS包和源数据包的结构的图。

图33是表示PMT的数据结构的图。

图34是表示多路复用数据信息的内部结构的图。

图35是表示流属性信息的内部结构的图。

图36是表示识别影像数据的步骤的图。

图37是表示实现各实施方式的动态图像编码方法以及动态图像解码方法的集成电路的结构例的方框图。

图38是表示切换驱动频率的结构的图。

图39是表示识别影像数据，切换驱动频率的步骤的图。

图40是表示将影像数据的规格和驱动频率对应起来的查找表的一个例子的图。

图41A是表示信号处理部的模块共享结构的一个例子的图。

图41B是表示信号处理部的模块共享结构的其他例子的图。

具体实施方式

(本发明的基础知识)

在通称为H.264的动态图像编码方式的标准中，为了压缩信息量，采用I图片、P图片和B图片等3种图片类型。I图片是不进行帧间预测编码处理，即，进行图片内预测(以下，称之为帧内预测)编码处理的图片。P图片是通过参照在显示时间顺序上位于编码对象图片的前方或者后方的一个已编码图片来进行帧间预测编码的图片。B图片是通过参照在显示时间顺序上位于编码对象图片的前方或者后方的两个已编码的图片来进行帧间预测编码的图片。

在帧内预测编码中，对某编码对象块进行编码时，作为参照像素，利用位于编码对象块周围的已编码的块内的像素。在此，取得利用该参照像素算出的预测图像数据与编码对照块的图像数据的差值，来消除空间方向的冗余性。然后，通过对算出的差值进行正交变换，使信号集中于特定的频率成分，然后通过量化来删除不必要的成分，从而提高编码效率。

但是，根据算出的差值(预测残差)的不同，在正交变换后进行量化将会导致编码效率下降的问题。对此，本发明提供一种不进行正交变换就能够选择量化模式的动态图像编码方法。

即，本发明的一形态的动态图像编码方法，按每个块对动态图像进行编码，该动态图像编码方法包括：预测残差生成步骤，利用与编码对象块邻接的参照块，或者与编码对象图片不同的参照图片内的参照块，生成上述编码对象块的预测图像，并生成作为上述编码对象块和上述预测图像的差值的预测残差；判定步骤，通过判定是否对上述预测残差应用正交变换，算出正交变换跳跃标志的值；正交变换步骤，根据上述正交变换跳跃标志的值，对上述预测残差进行上述正交变换，从而算出至少一个正交变换系数；量化步骤，通过对上述至少一个正交变换系数进行量化，算出至少一个量化系数；标志编码步骤，对上述正交变换跳跃标志进行可变长编码；系数编码步骤，根据上述正交变换跳跃标志的值，对上述至少一个量化系数的扫描顺序进行切换，并按照切换后的扫描顺序来对上述至少一个量化系数进行可变长编码。

根据以上，由于根据正交变换跳跃标志的值来进行正交变换，因此能够切换是否应用正交变换，并且，由于根据正交变换跳跃标志的值来切换量化系数的扫描顺序，因此能够对量化系数进行适当的可变长编码。其结果，能够提高编码效率。

另外可以是，在上述判定步骤，在判定为对上述预测残差不应用上述正交变换的情况下，作为上述正交变换跳跃标志的值算出1，在上述系数编码步骤，在上述正交变换跳跃标志的值为1的情况下，并且，在通过帧内预测生成上述预测图像并且上述帧内预测的预测方向是水平方向的情况下，将上述扫描顺序切换成沿着水平方向的顺序。

另外可以是，在上述判定步骤，在判定为对上述预测残差不应用上述正交变换的情况下，作为上述正交变换跳跃标志的值算出1，在上述系数编码步骤，在上述正交变换跳跃标志的值为1的情况下，并且，在通过帧内预测生成上述预测图像并且上述帧内预测的预测方向是垂直方向的情况下，将上述扫描顺序切换成沿着垂直方向的顺序。

另外可以是，在上述正交变换步骤，在上述正交变换跳跃标志的值为1的情况下，不进行上述正交变换。

另外可以是，在上述标志编码步骤，只在通过帧内预测生成上述预测图像，并且上述正交变换的尺寸为4×4的情况下，对上述正交变换跳跃标志进行可变长编码。

另外可以是，在上述量化步骤，根据上述正交变换跳跃标志的值，对上述至少一个正交变换系数进行量化。

另外可以是，在上述判定步骤，在判定为对上述预测残差不应用上述正交变换的情况下，作为上述正交变换跳跃标志的值算出1，在上述量化步骤，在上述正交变换跳跃标志的值为1的情况下，不利用量化矩阵就对上述至少一个正交变换系数进行量化。

本发明的一形态的动态图像解码方法，按每个块对已编码动态图像进行解码，该动态图像解码方法包括：标志解码步骤，对表示是否对解码对象块应用逆正交变换的正交变换跳跃标志进行可变长解码；系数解码步骤，根据上述正交变换跳跃标志的值，对上述解码对象块中包含的至少一个量化系数的扫描顺序进行切换，并按照切换后的扫描顺序对上述至少一个量化系数进行可变长解码；逆量化步骤，通过对可变长解码后的上述至少一个量化系数进行逆量化，算出至少一个逆量化系数；逆正交变换步骤，通过根据上述正交变换跳跃标志的值，来对上述至少一个逆量化系数进行逆正交变换，从而算出上述解码对象块的预测残差；重构图像生成步骤，利用与上述解码对象块邻接的参照块，或者与解码对象图片不同的参照图片内的参照块，生成上述解码对象块的预测图像，并通过对上述预测残差和上述预测图像进行加法运算而生成重构图像。

根据以上，由于根据正交变换跳跃标志的值来进行逆正交变换，因此能够切换是否应用逆正交变换，并且，由于根据正交变换跳跃标志的值来切换量化系数的扫描顺序，因此能够对量化系数进行适当的可变长解码。其结果，能够对作为编码效率提高之后的编码动态图像的比特流进行适当的解码。

另外可以是，在上述系数解码步骤，在上述正交变换跳跃标志的值为1的情况下，并且，在通过帧内预测生成上述预测图像并且上述帧内预测的预测方向是水平方向的情况下，将上述扫描顺序切换成沿着水平方向的顺序。

另外可以是，在上述系数解码步骤，在上述正交变换跳跃标志的值为1的情况下，并且，在通过帧内预测生成上述预测图像并且上述帧内预测的预测方向是垂直方向的情况下，将上述扫描顺序切换成沿着垂直方向的顺序。

另外可以是，在上述逆正交变换步骤，在上述正交变换跳跃标志的值为1的情况下，不进行上述逆正交变换。

另外可以是，在上述标志解码步骤，只在通过帧内预测生成上述预测图像，并且上述逆正交变换的尺寸为4×4的情况下，对上述正交变换跳跃标志进行可变长解码。

另外可以是，在上述逆量化步骤，根据上述正交变换跳跃标志的值，对可变长解码后的上述至少一个量化系数进行逆量化。

另外可以是，在上述逆量化步骤，在上述正交变换跳跃标志的值为1的情况下，不利用量化矩阵就对上述至少一个量化系数进行逆量化。

在此，这些总括性或者具体性的形态可由系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质实现，亦可由系统、方法、集成电路、计算机程序或者记录介质的任意组合实现。

以下，参照附图来说明实施方式。

以下说明的实施方式均表示总括性或者具体性的例子。以下的实施方式中给出的数值、形状、材料、结构要素、结构要素的配置位置以及连接形态、步骤、步骤的顺序等也仅为例示，并不表示本发明限定于此。另外，关于以下的实施方式的结构要素中的未被记载于表示最上位概念的独立权利要求项中的结构要素，作为任意的结构要素对其进行说明。另外，在以下的例子中，编码(coding)有时也表示encoding的意思。

(实施方式1)

图1是表示采用了本实施方式的动态图像编码方法的动态图像编码装置的结构的方框图。

动态图像编码装置100，如图1所示，具备正交变换跳跃判定部117、减法运算器101、正交变换部102、量化部103、逆量化部105、逆正交变换部106、加法运算器107、块存储器108、帧存储器109、帧内预测部110、帧间预测部111、切换器112、帧间预测控制部113、图片类型决定部116、融合块候选算出部115、colPic存储器114以及可变长编码部104。

减法运算器101，从输入图像列所包含的输入图像中减去预测图像，从而生成预测残差。

正交变换跳跃判定部117，通过后述方法，判定是否对利用编码对象块算出的预测残差应用正交变换，在应用正交变换的情况下，将正交变换跳跃标志设定为0，在不应用正交变换的情况下，将正交变换跳跃标志设定为1。

正交变换部102，根据正交变换跳跃标志的值，对预测残差进行从图像区域变换成频域的变换。量化部103，根据正交变换跳跃标志的值，对作为被变换成频域的预测残差的系数数据，进行量化处理。逆量化部105，根据正交变换跳跃标志的值，对由量化部103进行了量化处理的系数数据，进行逆量化处理。逆正交变换部106，根据正交变换跳跃标志的值，通过对逆量化处理后的系数数据进行从频域变换成图像区域的变换，而生成解码预测残差。加法运算器107，通过将预测图像加到解码预测残差上，生成重构图像。

块存储器108将重构图像作为参照图像，以块单位进行保存，帧存储器109将重构图像作为参照图像，以帧单位进行保存。图片类型决定部116决定以I图片、B图片以及P图片的哪个图片类型来对输入图像进行编码，并生成图片类型信息。帧内预测部110，通过利用被保存在块存储器108中的块单位的参照图像，对编码对象块进行帧内预测，从而生成预测图像。帧间预测部111，通过利用被保存在帧存储器109中的帧单位的参照图像和通过运动检测等导出的运动矢量，对编码对象块进行帧间预测，从而生成预测图像。

切换器112根据由图片类型决定部116生成的图片类型信息，将输出给减法运算器101以及加法运算器107的预测图像，切换成由帧内预测部110生成的预测图像或者由帧间预测部111生成的预测图像。

融合块候选算出部115，利用与编码对象块邻接的块和被存放在colPic存储器114中的co-located块的运动矢量等的colPic信息，导出融合模式以及跳跃模式的融合块候选，并算出融合块候选列表尺寸。另外，融合块候选算出部115，对导出的融合块候选，分配融合块索引的值。并且，融合块候选算出部115，将融合块候选和融合块索引发送到帧间预测控制部113。

帧间预测控制部113控制是否对编码对象块采用运动矢量编码模式或者融合模式来进行编码，运动矢量编码模式利用通过运动检测导出的运动矢量。并且，帧间预测控制部113将包含编码对象块的运动矢量等的colPic信息转送到colPic存储器114。

可变长编码部104，通过后述方法，对正交变换跳跃标志和量化处理后的系数数据进行可变长编码处理，从而生成比特流。另外，可变长编码部104对图片类型信息进行可变长编码。并且，可变长编码部104对用于编码的融合块索引，分配与融合块候选列表尺寸相应的比特列，并对该比特列进行可变长编码。

图2是表示本实施方式的动态图像编码方法的处理概要的流程图。

在步骤S101，算出编码对象块的预测图像。例如，在以帧内预测模式对编码对象块进行编码的情况下，利用位置与编码对象块邻接的参照像素，生成预测图像。另外，在帧间预测模式的情况下，利用作为与编码对象图片不同的已编码图片的参照图片内的、通过运动检测等被确定的参照块的像素值，生成预测图像。

在步骤S102，通过取得编码对象块与通过步骤S101算出的预测图像的差值，算出预测残差(预测差值)。在步骤S103，通过后述方法，判定是否对预测残差应用正交变换，并算出正交变换跳跃标志的值。

在步骤S104，通过后述方法，进行正交变换处理，并算出包含正交变换系数的上述系数数据。在步骤S105，通过后述方法，根据正交变换跳跃标志的值，判定是否进行利用量化矩阵的量化，如果判定为进行，就利用量化矩阵来进行量化处理，从而算出包含量化系数的量化后的系数数据。在步骤S106，通过后述方法，对正交变换跳跃标志进行可变长编码。在步骤S107，对量化系数进行可变长编码。

在步骤S108，通过后述方法，对量化系数进行逆量化处理，并算出包含逆量化系数的系数数据。在步骤S109，通过后述方法，根据正交变换跳跃标志，对逆量化系数应用逆正交变换处理，从而算出包含逆正交变换系数的上述解码预测残差。在步骤S110，通过对在步骤S101算出的预测图像和包含在步骤S109算出的逆正交变换系数的解码预测残差进行加法运算，算出重构图像。

图3是表示图2的步骤S103的详细处理的流程图。具体是，该图3是表示判定对编码对象块的预测残差是否应用正交变换，并算出正交变换跳跃标志的值的处理的一个例子的流程图。以下，对图3进行说明。

在步骤S121，判定是否是编码对象块为帧内预测模式，并且正交变换尺寸为4×4，如果判定结果为正(是)，在步骤S122，算出对预测残差应用正交变换来进行编码的情况下的成本CostNonSkip。然后，在步骤S123，算出对预测残差不应用正交变换就进行编码的情况下的成本CostSkip。在此，例如通过R-D最优化模式的以下式1来算出成本。

(式1)

Cost＝D+λR

在式1中，D表示编码失真。例如，利用在某帧内预测模式下生成的预测图像来对编码对象块进行编码以及解码而获得的像素值和编码对象块的原来的像素值的差值绝对值和等，被用作D。另外，R表示发生的编码量。生成预测图像时所用的帧内预测模式的标志、对量化系数等进行编码时所必须的编码量等，被用作R。另外，λ是拉格朗日的未定乘数。

在步骤S124，判定CostSkip的值是否比CostNonSkip的值小，如果判定结果为正(是)，在步骤S125，将正交变换跳跃标志设定为1(有效)，并判定为对预测残差不应用正交变换。另一方面，在步骤S121或者步骤S124的判定结果为负(否)，在步骤S126，将正交变换跳跃标志设定为0(无效)，并决定对预测残差应用正交变换。

通过这样，在某预测模式或者正交变换尺寸的情况下，对应用正交变换的情况和不应用的情况下的成本进行比较，并在不应用正交变换时的成本变小的情况下，将正交变换跳跃标志设定为1，以使得不应用正交变换，从而能够提高编码效率。

另外，在本实施方式中，在步骤S121，只在帧内预测模式并且正交变换尺寸为4×4的情况下，判定是否应用正交变换，但并非仅限于此。例如，在帧间预测模式下，也可以判定是否应用正交变换。另外，在正交变换尺寸是比4×4大的尺寸的情况下，也可以判定是否应用正交变换。由此，能够进一步提高编码效率。另外，还可以根据帧内预测或者帧间预测的预测方向等，强制性地决定正交变换跳跃标志的值。例如，在帧内预测模下，并且是DC预测或者Planar预测的情况下，可以将正交变换跳跃标志始终设定为0，并始终应用正交变换。由此，能够削减为了进行判定所需的成本算出等的处理量，从而能够提高编码效率。

图4是表示图2的步骤S104的详细处理的流程图。具体是，图4是表示根据正交变换跳跃标志的值，算出正交变换系数的方法的流程图。以下，对图4进行说明。

在步骤S141，判定正交变换跳跃标志是否有效，即，该标志的值是否为1，如果判定结果为正(是)，在步骤S142，通过将预测残差复制到正交变换系数中，可以不应用正交变换，就算出正交变换系数。另一方面，如果步骤S141的判定结果为负(否)，在步骤S143，对预测残差应用正交变换，算出正交变换系数。

通过这样，在正交变换跳跃标志为1的情况下，通过将预测残差直接复制到正交变换系数中，能够不应用正交变换，就算出正交变换系数。另外，在本实施方式中，在步骤S142，通过将预测残差复制到正交变换系数中，不应用正交变换就算出正交变换系数，但并不限定于此，只要是对预测残差不应用正交变换就能算出正交变换系数的方法，可以采用任何方法。

图5是表示图2的步骤S105的详细处理的流程图。具体是，图5是表示根据正交变换跳跃标志的值，算出量化系数的方法的流程图。以下，对图5进行说明。

在步骤S151，判定scaling_list_present_flag是否为0，或者正交变换跳跃标志是否有效，即，判定该标志的值是否为1。如果该判定结果为正(步骤S151为“是”)，在步骤S152，不使用量化矩阵，就对正交变换系数进行量化处理，算出量化系数。

在此，scaling_list_present_flag是表示是否利用量化矩阵来进行量化处理的标志，被作为SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)、APS(Adaptation Parameter Set)，或者片头等的帧头信息被附加于比特流。scaling_list_present_flag的值是1的情况，表示利用量化矩阵来进行量化处理。另外，在本实施方式中举出了根据scaling_list_present_flag来判定是否利用量化矩阵进行量化处理的例子。但并非仅限定于此，只要是表示是否利用量化矩阵来进行量化的SPS、PPS、APS或者片头等所包含的标志或者参数，可以采用任何形式的信息。

在步骤S151的判定结果为负(否)的情况下，即，在scaling_list_present_flag的值为1，并且正交变换跳跃标志的值为0的情况下，在步骤S153，利用正交变换系数来进行量化处理，并算出量化系数。

如上所述，在scaling_list_present_flag的值为0，或者正交变换跳跃标志的值为1的情况下，不利用量化矩阵就对正交变换系数进行量化而算出量化系数，从而，在不应用正交变换的情况下，能够进行控制而使得不应用量化矩阵。量化矩阵是用于在正交变换后，维持重要的频率成分的同时删除不必要的频率成分，并进行量化的参数，通过在正交变换后利用量化矩阵，能够有效提高编码效率。因此，通过控制，使得只在正交变换跳跃标志的值为0，即，应用正交变换的情况下，应用量化矩阵，而在正交变换跳跃标志的值为1，即，不应用正交变换的情况下，不应用量化矩阵。通过这样，能够适当地应用量化矩阵，从而能够提高编码效率。

图6是表示图2的步骤S106的详细处理的流程图。具体是，图6是表示对正交变换跳跃标志进行可变长编码的方法的流程图。以下，对图6进行说明。

在步骤S161，判定是否是编码对象块为帧内预测模式并且正交变换尺寸为4×4。如果该判定结果为正(S161为“是”)，在步骤S162，对正交变换跳跃标志进行可变长编码，并附加于比特流。

如上所述，与图3的步骤S121的条件同步地，通过只在某个预测模式或者某个正交变换尺寸的情况下，对正交变换跳跃标志进行可变长编码，从而能够提高编码效率。另外，在本实施方式，在步骤S161，只在帧内预测模式，并且正交变换尺寸为4×4的情况下，对正交变换跳跃标志进行编码，但并不限定于此。例如，即使在帧间预测模式的情况下，也可以对正交变换跳跃标志进行编码。另外，即使在正交变换尺寸是比4×4大的尺寸的情况下，也可以对正交变换跳跃标志进行编码。由此，能够进一步提高编码效率。另外，可以根据帧内预测或者帧间预测的预测方向等，来切换是否对正交变换跳跃标志进行编码。例如，在帧内预测模式下，在DC预测或者Planar预测的情况下，可以不对正交变换跳跃标志进行编码。由此，能够削减帧头信息开销的同时提高编码效率。

图7是表示图2的步骤S108的详细处理的流程图。具体是，图7是表示根据正交变换跳跃标志的值，算出逆量化系数的方法的流程图。以下，对图进7行说明。

在步骤S171，判定scaling_list_present_flag是否为0，或者正交变换跳跃标志是否有效，即，该标志的值是否为1。如果该判定结果为正(S171为“是”)，在步骤S172，不利用量化矩阵就对量化系数进行逆量化处理，算出逆量化系数。另一方面，在步骤S171的判定结果为负(否)的情况下，即，scaling_list_present_flag的值为1，并且，正交变换跳跃标志的值为0的情况下，在步骤S173，利用量化矩阵来对量化系数进行逆量化处理，算出逆量化系数。

如上所述，在scaling_list_present_flag的值为0，或者正交变换跳跃标志的值为1的情况下，不利用量化矩阵就对量化系数进行逆量化而算出逆量化系数，从而，在不应用正交变换的情况下，能够通过控制而使得不应用量化矩阵。量化矩阵是应用在正交变换后，维持重要的频率成分的同时删除不必要的频率成分，并进行量化的参数，通过在正交变换后利用量化矩阵，能够有效提高编码效率。因此，通过控制，使得只在正交变换跳跃标志的值为0，即，应用正交变换的情况下，应用量化矩阵，而在正交变换跳跃标志的值为1，即，不应用正交变换的情况下，不应用量化矩阵，从而能够适当地应用量化矩阵，并能够提高编码效率。

图8是表示图2的步骤S109的详细处理的流程图。具体是，图8是表示根据正交变换跳跃标志的值来算出逆正交变换系数的方法的流程图。

以下，对图8进行说明。

在步骤S181，判定正交变换跳跃标志是否有效，即，该标志的值是否为1，如果判定结果为正(是)，在步骤S182，通过将逆量化系数复制到逆正交变换系数，从而不应用逆正交变换就算出逆正交变换系数。另一方面，如果步骤S181的判定结果为负(否)，在步骤S183，通过对逆量化系数应用逆正交变换，算出逆正交变换系数。

如上所述，在正交变换跳跃标志为1的情况下，通过将逆量化系数直接复制到逆正交变换系数，能够不应用逆正交变换，算就出逆正交变换系数。另外，在本实施方式中，在步骤S182，通过将逆量化系数复制到逆正交变换系数，而不应用逆正交变换就算出逆正交变换系数，但并不限定于此，只要是对逆量化系数不应用逆正交变换就能够算出逆正交变换系数的方法，可以是任何方法。

如上所述，根据本实施方式，能够选择不进行正交变换就进行量化的模式，从而能够提高编码效率。更具体是，导入表示是否要应用正交变换的正交变换跳跃标志，并在某预测模式或者某正交变换尺寸的情况下，对应用正交变换的情况和不应用的情况的成本进行比较。然后，如果不应用正交变换的情况下的成本较小，就将正交变换跳跃标志设定为1，以使得不应用正交变换，从而能够提高编码效率。另外，通过控制，从而只在正交变换跳跃标志的值为0，即，应用正交变换的情况下，应用量化矩阵，而在正交变换跳跃标志的值为1，即，不应用正交变换的情况下，不应用量化矩阵。通过这样，能够适当地应用量化矩阵，从而能够提高编码效率。

(实施方式2)

图9是表示采用了本实施方式的动态图像解码方法的动态图像解码装置的结构的方框图。

动态图像解码装置200，如图9所示，具备可变长解码部209、逆量化部201、逆正交变换部202、加法运算器203、块存储器204、帧存储器205、帧内预测部206、帧间预测部207、切换部208、帧间预测控制部210、融合块候选算出部211以及colPic存储器212。

可变长解码部209对被输入的比特流进行可变长解码处理，从而生成正交变换跳跃标志、图片类型信息以及量化系数。另外，可变长解码部209算出融合块候选列表尺寸，并进行融合块索引的可变长解码处理。

逆量化部201，根据正交变换跳跃标志的值，对通过可变长解码处理而获得的量化系数，进行逆量化处理。即，对量化处理后的系数数据中包含的量化系数，进行逆量化处理。逆正交变换部202，根据正交变换跳跃标志的值，对包含进行完逆量化处理的量化系数的系数数据，进行从频域变换成图像区域的变换，从而生成包含逆正交变换系数的解码预测残差。加法运算器203通过对解码预测残差和预测图像进行加法运算，生成重构图像。该重构图像被作为解码图像列从动态图像解码装置200输出。

块存储器204将重构图像作为参照图像，以块单位进行保存，帧存储器205将重构图像作为参照图像，以帧单位进行保存。帧内预测部206，利用被保存在块存储器204中的块单位的参照图像，通过进行帧内预测，生成解码对象块的预测图像。帧间预测部207，利用被保存在帧存储器205中的帧单位的参照图像，通过进行帧间预测，生成解码对象块的预测图像。

切换部208，根据由可变长解码部209生成的图片类型信息，对被输出给加法运算器203的预测图像进行切换，切换成由帧内预测部206生成的预测图像，或者由帧间预测部207生成的预测图像。

融合块候选算出部211，利用与解码对象块邻接的块和被存放在colPic存储器212中的co-located块的运动矢量等colPic信息，导出融合模式的融合块候选。另外，融合块候选算出部211，针对导出的各融合块候选，分配融合块索引的值，并将融合块候选发送给帧间预测控制部210。

帧间预测控制部210，对运动矢量检测模式或者融合模式的信息进行解码，并使帧间预测部207生成预测图像。另外，帧间预测控制部210向colPic存储器212转送包含解码对象块的运动矢量等的colPic信息。

图10是表示本实施方式的动态图像解码方法的处理概要的流程图。

在步骤S201，通过后述的方法，对正交变换跳跃标志进行可变长解码。在步骤S202，对量化系数进行可变长解码。在步骤S203，通过与图2的步骤S108相同的方法，根据正交变换跳跃标志的值，对量化系数进行逆量化处理，从而算出逆量化系数。在步骤S204，通过与图2的步骤S109相同的方法，根据正交变换跳跃标志，对逆量化系数应用逆正交变换处理，从而算出逆正交变换系数。在步骤S205，通过与图2的步骤S101相同的方法，算出解码对象块的预测图像。例如，在以帧内预测模式对解码对象块进行解码的情况下，利用与解码对象块邻接的位置的参照像素，生成预测图像。另外，在帧间预测模式的情况下，利用作为与解码对象图片不同的已解码图片的参照图片内的、根据已解码运动矢量而被确定的参照块的像素值，来生成预测图像。在步骤S206，通过对在步骤S205算出的预测图像和包含在步骤S204算出的逆正交变换系数的解码预测残差进行加法运算，算出重构图像。

图11是表示图10的步骤S201的详细处理的流程图。具体是，图11是表示对正交变换跳跃标志进行可变长解码的方法的流程图。以下，对图11进行说明。

在步骤S221，判定是否是解码对象块为帧内预测模式并且正交变换尺寸为4×4。如果该判定结果为正(S221为“是”)，在步骤S222，从比特流对正交变换跳跃标志进行可变长解码。

根据以上，只在某预测模式或者某正交变换尺寸的情况下，对正交变换跳跃标志进行可变长编码，从而能够对编码效率提高后的比特流进行适当的解码。另外，在本实施方式中，在步骤S221，只在帧内预测模式并且正交变换尺寸为4×4的情况下，对正交变换跳跃标志进行解码，但并不限定于此。例如，在帧间预测模式的情况下，也可以对正交变换跳跃标志进行解码。另外，在正交变换尺寸是比4×4大的尺寸的情况下，也可以对正交变换跳跃标志进行解码。由此，能够对编码效率进一步提高的比特流进行适当的解码。另外，还可以根据帧内预测或者帧间预测的预测方向等，来切换是否对正交变换跳跃标志进行解码。例如，在帧内预测模式下，在DC预测或者Planar预测的情况下，可以不对正交变换跳跃标志进行解码。由此，能够在削减头信息开销的同时，对编码效率提高后的比特流进行适当的解码。

如上所述，根据本实施方式，能够选择不进行正交变换就进行量化的模式，从而能够对编码效率提高后的比特流进行适当的解码。更具体是，导入表示是否应用正交变换的正交变换跳跃标志，在某预测模式或者某正交变换尺寸的情况下，对应用正交变换的情况和不应用的情况下的成本进行比较。然后，如果不应用正交变换的情况下的成本较小，就将正交变换跳跃标志设定为1，以使得不应用正交变换，从而能够对编码效率提高后的比特流进行适当的解码。另外，通过控制，以使得只在正交变换跳跃标志的值为0，即，应用正交变换的情况下，应用量化矩阵，而在正交变换跳跃标志的值为1，即，不应用正交变换的情况下，不应用量化矩阵。通过这样，能够适当地应用量化矩阵，从而能够对编码效率提高后的比特流适当地进行解码。

(实施方式3)

在本实施方式中，根据正交变换跳跃标志的值，适当地应用量化矩阵，并对正交变换跳跃时的量化系数的扫描顺序进行适当的控制。由此，能够提高编码效率。以下，参照附图来说明本实施方式。

图12是表示采用了本实施方式的动态图像编码方法的动态图像编码装置的结构的方框图。

动态图像编码装置100a，如图12所示，具备正交变换跳跃判定部117a、减法运算器101a、正交变换部102a、量化部103a、逆量化部105a、逆正交变换部106a、加法运算器107a、块存储器108a、帧存储器109a、帧内预测部110a、帧间预测部111a、切换部112a、帧间预测控制部113a、图片类型决定部116a、融合块候选算出部115a、colPic存储器114a以及可变长编码部104a。

减法运算器101a，通过从输入图像列所包含的输入图像中减去预测图像，来生成预测残差。

正交变换跳跃判定部117a，通过后述方法，判定是否对利用编码对象块算出的预测残差应用正交变换，在应用正交变换的情况下，将正交变换跳跃标志设定为0，而在不应用正交变换的情况下，将正交变换跳跃标志设定为1。

正交变换部102a，根据正交变换跳跃标志的值，对预测残差进行从图像区域变换成频域的变换。量化部103a，根据正交变换跳跃标志的值，对作为被变换成频域的预测残差的系数数据，进行量化处理。逆量化部105a，根据正交变换跳跃标志的值，对由量化部103a进行了量化处理的系数数据，进行逆量化处理。逆正交变换部106a，根据正交变换跳跃标志的值，对逆量化处理后的系数数据，进行从频域变换成图像区域的变换，从而生成解码预测残差。加法运算器107a，通过将预测残差加到解码预测图像，从而生成重构图像。

块存储器108a将重构图像作为参照图像，以块单位进行保存，帧存储器109a将重构图像作为参照图像，以帧单位进行保存。图片类型决定部116a决定以I图片、B图片以及P图片的哪个图片类型来对输入图像进行编码，并生成图片类型信息。帧内预测部110a利用被保存在块存储器108a中的块单位的参照图像，对编码对象块进行帧内预测，而生成预测图像。帧间预测部111a利用被保存在帧存储器109中的帧单位的参照图像和通过运动检测等导出的运动矢量，通过对编码对象块进行帧间预测，而生成预测图像。

切换部112a根据由图片类型决定部116a生成的图片类型信息，将输出给减法运算器101a以及加法运算器107a的预测图像，切换成由帧内预测部110a生成的预测图像，或者由帧间预测部111a生成的预测图像。

融合块候选算出部115a利用与编码对象块邻接的块和被存放在colPic存储器114a中的co-located块的运动矢量等colPic信息，导出融合模式以及跳跃模式的融合块候选，并算出融合块候选列表尺寸。另外，融合块候选算出部115a对导出的融合块候选，分配融合块索引的值。并且，融合块候选算出部115a将融合块候选和融合块索引发送给帧间预测控制部113a。

帧间预测控制部113a对于是否利用运动矢量编码模式或者融合模式来对编码对象块进行编码进行控制，该运动矢量编码模式利用通过运动检测导出的运动矢量。并且，帧间预测控制部113a将包含编码对象块的运动矢量等的colPic信息转送给colPic存储器114a。

可变长编码部104a通过后述方法，对正交变换跳跃标志进行可变长编码，并且，根据正交变换跳跃标志的值，对量化处理后的系数数据，进行可变长编码处理，从而生成比特流。另外，可变长编码部104a对图片类型信息进行可变长编码。并且，可变长编码部104a，对用于编码的融合块索引，分配与融合块候选列表尺寸相应的比特串，进行该比特串的可变长编码。

图13是表示本实施方式的动态图像编码方法的处理概要的流程图。

在步骤S301，算出编码对象块的预测图像。例如，在以帧内预测模式对编码对象块进行编码的情况下，利用与编码对象块邻接的位置的参照像素，生成预测图像。另外，在帧间预测模式的情况下，利用作为与编码对象图片不同的已编码图片的参照图片内的、通过运动检测等而确定的参照块的像素值，生成预测图像。

在步骤S302，通过取得编码对象块与在步骤S301算出的预测图像的差值，来算出预测残差(预测差值)。在步骤S303，通过与图2的步骤S103相同的方法，判定是否对预测残差应用正交变换，并算出正交变换跳跃标志的值。

在步骤S304，通过与图2的步骤S104相同的方法，进行正交变换处理，并算出包含正交变换系数的系数数据。在步骤S305，通过与图2的步骤S105相同的方法，根据正交变换跳跃标志的值，判定是否进行利用量化矩阵的量化，如果判定为进行量化，就进行利用量化矩阵的量化处理，算出包含量化系数的量化后系数数据。在步骤S306，通过与图2的步骤S106相同的方法，对正交变换跳跃标志进行可变长编码。在步骤S307，通过后述的方法，根据正交变换跳跃标志的值，一边适当地切换量化系数的扫描顺序，一边对量化系数进行可变长编码。

在步骤S308，通过与图2的步骤S108相同的方法，通过对量化系数进行逆量化处理，算出包含逆量化系数的系数数据。在步骤S309，通过与图2的步骤S109相同的方法，根据正交变换跳跃标志的值，对逆量化系数应用逆正交变换处理，从而算出包含逆正交变换系数的解码预测残差。在步骤S310，通过对在步骤S301算出的预测图像与包含在步骤S309算出的逆正交变换系数的解码预测残差进行加法运算，算出重构图像。

图14是表示图13的步骤S307的详细处理的流程图。具体是，图14是表示根据正交变换跳跃标志来对量化系数进行可变长编码的方法的流程图。以下，对图14进行说明。

在步骤S321，通过后述方法，决定对编码对象块的量化系数进行可变长编码时的扫描顺序。在此，扫描顺序表示对编码对象块的量化系数进行可变长编码时的顺序。在步骤S322，判定正交变换跳跃标志是否有效，即，该标志的值是否为1，如果判定结果为正(是)，在步骤S323，通过后述方法，将在步骤S321决定的扫描顺序，变更成正交变换跳跃用的跳跃顺序。在步骤S324，根据所决定的扫描顺序，对量化系数进行可变长编码。

另外，在本实施方式中，在步骤S321决定了一次扫描顺序之后，在正交变换跳跃标志有效的情况下，通过步骤S323变更成正交变换跳跃用的扫描顺序，但并不限定于该顺序。例如，在步骤S321决定扫描顺序时，在正交变换跳跃标志有效的情况下，可以直接应用正交变换跳跃用的扫描顺序。通过这样，在正交变换跳跃标志有效，即，该标志的值为1的情况下，通过应用正交变换跳跃用的扫描顺序，能够提高编码效率。

图15是表示图14的步骤S321的详细处理的流程图。具体是，图15是表示决定量化系数的扫描顺序的一个例子的流程图。以下，对图15进行说明。

在步骤S331，判定帧内预测模式的预测方向是否包含于垂直预测模式群中，如果判定结果为正(是)，在步骤S332，作为扫描顺序选择水平扫描。

在此，垂直预测模式群例如表示，图16所示的帧内预测模式的预测方向中由22至30的各值所示的预测方向。另外，在本实施方式中，将由22至30的各值所示的预测方向作为垂直预测模式群，但并不限定于此，例如，可以将由18至34的各值所示的预测方向作为垂直预测模式群。另外，在此，水平扫描表示例如图17的(a)所示的扫描顺序。在图17的(a)的水平扫描中，从右下的量化系数(数值0所示的量化系数)开始在水平方向上，按图中分配的数值的顺序，进行对各量化系数的扫描，并进行这些量化系数的可变长编码。

在步骤S331的判定结果为负(否)的情况下，在步骤S333，判定帧内预测模式的预测方向是否被包含在水平预测模式群中，如果判定结果为正(是)，在步骤S334，作为扫描顺序选择垂直扫描。

在此，水平预测模式群表示，例如，图16所示的帧内预测模式的预测方向中的，由6至14的各值表示的预测方向。另外，在本实施方式中，将由6至14的各值所表示的预测方向作为了水平预测模式群，但并不限定于此，例如，还可以将2至17的各值所表示的预测方向作为水平预测模式群。另外，在此，垂直扫描表示，例如，图17的(b)所示的扫描顺序。在图17的(b)的垂直扫描中，从右下的量化系数(由数值0所示的量化系数)在垂直方向上，按照图中分配的数值的顺序，进行对各量化系数的扫描，并进行这些量化系数的可变长编码。

在步骤S333的判定结果为负(否)的情况下，在步骤S335，作为扫描顺序选择斜向扫描。在此，斜向扫描表示，例如图17的(c)所示的扫描顺序。在图17的(c)的斜向扫描中，从右下的量化系数(由数值0表示的量化系数)开始在斜方向上，按照图中分配的数值的顺序，对各量化系数进行扫描，并对这些量化系数进行可变长编码。如上所述，通过根据编码对象块的预测模式，来适当地切换扫描顺序，从而能够提高编码效率。

图18是表示图14的步骤S323详细处理的流程图。具体是，图18是表示决定正交变换跳跃用的量化系数的扫描顺序的一个例子的流程图。以下，对图18进行说明。

在步骤S341，判定在图14的步骤S321决定的扫描顺序是不是水平扫描，如果判定结束为正(是)，在步骤S342将扫描顺序变更为垂直扫描。另一方面，在步骤S341的判定结果如果为负(否)，在步骤S343判定通过图14的步骤S321决定的扫描顺序是不是垂直扫描。如果该判定结果为正(步骤S343是“是”)，在步骤S344将扫描顺序变更为水平扫描。

如上所述，在正交变换跳跃标志有效的情况下，通过采用正交变换跳跃用的扫描顺序，能够提高编码效率。更具体是，如果在图14的步骤S321决定的扫描顺序是水平扫描，即，帧内预测的预测方向被包含在垂直预测模式群中的情况下，作为正交变换跳跃用的扫描顺序，变更为使用垂直扫描。另外，在图14的步骤S321决定的扫描顺序是垂直扫描，即，帧内预测的预测方向被包含在水平预测模式群中的情况下，作为正交变换跳跃用的扫描顺序，变更为使用水平扫描。由此，能够提高编码效率。

一般情况下，在作为帧内预测的预测方向选择了垂直预测模式群中包含的预测模式的情况下，如果应用正交变换以及利用量化矩阵的量化的话，容易发生多个水平方向的频率成分，在水平方向连续出现0值系数的可能性提高。因此，通过应用水平扫描，可提高编码效率。但是，在不应用正交变换以及利用量化矩阵的量化的情况下，由于在垂直方向连续出现0值系数的可能性提高，因此，选择垂直扫描的情况更能够有效率地对量化系数进行编码。另外，在作为帧内预测的预测方向选择了水平预测模式群中包含的预测方法的情况下，如果应用正交变换以及利用量化矩阵的量化的话，容易发生多个垂直方向的频率成分，在垂直方向连续出现0值系数的可能性提高。因此，通过应用垂直扫描，可提高编码效率。但是，在不应用正交变换以及利用量化矩阵的量化的情况下，在水平方向连续出现0值系数的可能性提高，因此，选择水平扫描的情况更能够有效率地对量化系数进行编码。

如上所述，在正交变换跳跃标志有效，并且不应用利用量化矩阵的量化的情况下，通过将扫描顺序变更成正交变换跳跃用的扫描顺序，能够提高编码效率。

另外，在本实施方式中，在图14的步骤S321决定的扫描顺序是水平扫描，即，帧内预测的预测方向被包含在垂直预测模式群中的预测方法的情况下，作为正交变换跳跃用的扫描顺序，变更为使用垂直扫描，但并不限定于此。例如，如图17的(d)所示，也可以变更水平扫描的开始位置。在图17的(d)，以块的右面位置作为水平扫描的开始位置，按照被分配的数值，朝向左下位置进行水平扫描。另外，在作为帧内预测的预测方向选择了被包含在垂直预测模式群中的预测方向的情况下，如果不应用正交变换以及利用量化矩阵的量化的话，越是块的上侧位置越容易出现连续的0系数。因此，通过应用图17的(d)所示的扫描顺序，能够提高编码效率。

另外，在本实施方式中，在图14的步骤S321决定的扫描顺序是垂直扫描，即，帧内预测的预测方向是被包含在水平预测模式群中的预测方向的情况下，作为正交变换跳跃用的扫描顺序，变更为使用水平扫描，但并不一定限定于此。例如，如图17的(e)所示，也可以变更垂直扫描的开始位置。在图17的(e)中，以块的左下位置作为垂直扫描的开始位置，按照被分配的数值，朝向右上位置进行垂直扫描。另外，在作为帧内预测的预测方向选择了水平预测模式群中包含的预测方向的情况下，如果不应用正交变换以及利用量化矩阵的量化，越是块的左侧位置越容易连续出现0系数。因此，通过应用如图17的(e)所示的扫描顺序，能够提高编码效率。另外，在不应用正交变换以及利用量化矩阵的量化的情况下，通过将扫描方法固定为某个扫描顺序，能够削减进行切换的处理量，从而能够提高编码效率。

如上所述，根据本实施方式，在正交变换跳跃标志有效，并且不应用利用量化矩阵的量化的情况下，通过将扫描顺序变更成正交变换跳跃用的扫描按顺序，能够提高编码效率。更具体是，在正交变换跳跃标志有效，并且不应用利用量化矩阵的量化的情况下，在图14的步骤S321决定的扫描顺序是水平扫描，即，帧内预测的预测方向是被包含在垂直预测模式群中的预测方向的情况下，作为正交变换跳跃用的扫描顺序，变更为使用垂直扫描。另一方面，在图14的步骤S321决定的扫描顺序是垂直扫描，即，帧内预测的预测方向是被包含在水平预测模式群中的预测方向的情况下，作为正交变换跳跃用的扫描顺序，变更为使用水平扫描。由此，能够提高编码效率。

(实施方式4)

图19是表示采用了本实施方式的动态图像解码方法的动态图像解码装置的结构的方框图。

动态图像解码装置200a，如图19所示，具备可变长解码部209a、逆量化部201a、逆正交变换部202a、加法运算器203a、块存储器204a、帧存储器205a、帧内预测部206a、帧间预测部207a、切换部208a、帧间预测控制部210a、融合块候选算出部211a以及colPic存储器212a。

可变长解码部209a对被输入的比特流进行可变长解码处理，并生成正交变换跳跃标志、图片类型信息以及量化系数。另外，可变长解码部209a算出融合块候选列表尺寸，进行融合块索引的可变长解码处理。

逆量化部201a根据正交变换跳跃标志的值，对通过可变长解码处理而获得的量化系数，进行逆量化处理。即，对量化处理之后的系数数据中包含的量化系数进行逆量化处理。逆正交变换部202a根据正交变换跳跃标志的值，对包含进行了逆量化处理之后的量化系数的系数数据，进行从频域变换成图像区域的变换，生成包含逆正交变换系数的解码预测残差。加法运算器203a通过对解码预测残差和预测图像进行加法运算，生成重构图像。该重构图像被作为解码图像列由动态图像解码装置200a输出。

块存储器204a将重构图像作为参照图像，以块单位进行保存，帧存储器205a将重构图像作为参照图像，以帧单位进行保存。帧内预测部206a，利用以块单位被保存在块存储器204a中的参照图像，通过帧内预测，生成解码对象块的预测图像。帧间预测部207a利用以帧单位被保存在帧存储器205a中的参照图像，通过帧间预测，生成解码对象块的预测图像。

切换部208a，根据由可变长解码部209a生成的图片类型信息，将输出给加法运算器203a的预测图像，切换成由帧内预测部206a生成的预测图像，或者由帧间预测部207a生成的预测图像。

融合块候选算出部211a，利用与解码对象块邻接的块和被存放在colPic存储器212a中的co-located块的运动矢量等的colPic信息，导出融合模式的融合块候选。另外，融合块候选算出部211a，对导出的各融合块候选，分配融合块索引的值，并向帧间预测控制部210a发送融合块候选。

帧间预测控制部210a对运动矢量检测模式或者融合模式的信息进行解码，使帧间预测部207a生成预测图像。另外，帧间预测控制部210a，将包含解码对象块的运动矢量等的colPic信息转送到colPic存储器212a。

图20是表示本实施方式的动态图像解码方法的处理概要的流程图。

在步骤S401，通过与图10的步骤S201相同的方法，对正交变换跳跃标志进行可变长解码。在步骤S402，通过后述方法，根据正交变换跳跃标志，一边适当地切换量化系数的扫描顺序，一边对量化系数进行可变长解码。在步骤S403，通过与图13的步骤S308相同的方法，根据正交变换跳跃标志的值，对量化系数进行逆量化处理，从而算出逆量化系数。在步骤S404，通过与图13的步骤S309相同的方法，根据正交变换跳跃标志，对逆量化系数应用逆正交变换处理，从而算出逆正交变换系数。在步骤S405，通过与图13的步骤S301相同的方法，算出解码对象块的预测图像。例如，在以帧内预测模式对解码对象块进行解码的情况下，利用与解码对象块邻接的位置的参照像素，生成预测图像。另外，在帧间预测模式的情况下，利用作为与解码对象图片不同的已解码图片的参照图片内的、根据已解码的运动矢量而被确定的参照块的像素值，来生成预测图像。在步骤S406，通过对在步骤S405算出的预测图像和在步骤S404算出的逆正交变换系数的解码预测残差进行加法运算，算出重构图像。

图21是表示图20的步骤S402的详细处理的流程图。具体是，图21是表示根据正交变换跳跃标志来对量化系数进行可变长解码的方法的流程图。以下，对图21进行说明。

在步骤S421，通过与图14的步骤S321相同的方法，决定对解码对象块的量化系数进行可变长解码时的扫描顺序。在此，扫描顺序表示对解码对象块的量化系数进行可变长解码时的顺序。在步骤S422，判定正交变换跳跃标志是否有效，即，该标志的值是否是1，如果判定结果为正(是)，在步骤S423就采用与图14的步骤S323相同的方法，将在步骤S421决定的扫描顺序变换成正交变换跳跃用的扫描顺序。在步骤S424，根据所决定的扫描顺序，对量化系数进行可变长解码。

另外，在本实施方式中，通过步骤S421决定了一次扫描顺序之后，在正交变换跳跃标志有效的情况下，通过步骤S423变更成正交变换跳跃用的扫描顺序，但并非仅限于该顺序。例如，在步骤S421决定扫描顺序时，在正交变换跳跃标志有效的情况下，也可以直接应用正交变换跳跃用的扫描顺序。如上所述，在正交变换跳跃标志有效，即，该标志的值是1的情况下，通过应用正交变换跳跃用的扫描顺序，能够对编码效率被提高后的比特流进行适当的解码。

如上所述，在本实施方式中，在正交变换跳跃标志有效，并且，不应用利用量化矩阵的量化的情况下，通过将扫描顺序变更成正交变换跳跃用的扫描顺序，能够对编码效率被提高后的比特流进行适当的解码。更具体是，在正交变换跳跃标志有效并且不应用利用量化矩阵的量化的情况下，并且，在通过图21的步骤S421决定的扫描顺序是水平扫描，即，帧内预测的预测方向被包含在垂直预测模式群中的情况下，作为正交变换跳跃用的扫描顺序，变更为使用垂直扫描。另一方面，在通过图21的步骤S421决定的扫描顺序是垂直扫描，即，帧内预测的预测方向被包含在水平预测模式群中的情况下，作为正交变换跳跃用的扫描顺序，变更为使用水平扫描。由此，能够对编码效率被提高后的比特流进行适当的解码。

以上，关于一个或者多个形态所涉及的动态图像编码方法以及动态图像解码方法，根据各实施方式进行了说明，但本发明并不限定于这些实施方式。只要不超出本发明的宗旨，将本领域技术人员想出的各种变形方式实施于本实施方式的形态，对不同的实施方式的结构要素进行组合而成的形态，也属于一个或者多个形态的范围内。

图22A是表示本发明的一形态的动态图像编码方法的流程图。

本发明的一形态的动态图像编码方法是按每个块对动态图像进行编码的动态图像编码方法，其包括步骤S11至S16。即，该动态图像编码方法包括：步骤S11，利用与编码对象块邻接的参照块，或者与编码对象图片不同的参照图片内的参照块，生成上述编码对象块的预测图像，并生成作为上述编码对象块和上述预测图像的差值的预测残差；步骤S12，通过判定是否对上述预测残差应用正交变换，算出正交变换跳跃标志的值；步骤S13，根据上述正交变换跳跃标志的值，对上述预测残差进行上述正交变换，从而算出至少一个正交变换系数；步骤S14，通过对上述至少一个正交变换系数进行量化，算出至少一个量化系数；步骤S15，对上述正交变换跳跃标志进行可变长编码；步骤S16，根据上述正交变换跳跃标志的值，对上述至少一个量化系数的扫描顺序进行切换，并按照切换后的扫描顺序来对上述至少一个量化系数进行可变长编码。

图22B是表示本发明的一形态的动态图像编码装置的方框图。

本发明的一形态的动态图像编码装置是按每个块对动态图像进行编码的动态图像编码装置10，其包括结构要素11至16。即，该动态图像编码装置10包括：预测残差生成部11，利用与编码对象块邻接的参照块，或者与编码对象图片不同的参照图片内的参照块，生成上述编码对象块的预测图像，并生成作为上述编码对象块和上述预测图像的差值的预测残差；标志算出部12，通过判定是否对上述预测残差应用正交变换，算出正交变换跳跃标志的值；正交变换部13，根据上述正交变换跳跃标志的值，对上述预测残差进行上述正交变换，从而算出至少一个正交变换系数；量化部14，通过对上述至少一个正交变换系数进行量化，算出至少一个量化系数；标志编码部15，对上述正交变换跳跃标志进行可变长编码；系数编码部16，根据上述正交变换跳跃标志的值，对上述至少一个量化系数的扫描顺序进行切换，并按照切换后的扫描顺序来对上述至少一个量化系数进行可变长编码。

根据以上，在本发明的一形态的动态图像编码方法以及及动态图像编码装置中，由于根据正交变换跳跃标志的值来进行正交变换，因此能够切换是否应用正交变换，并且，由于根据正交变换跳跃标志的值来切换量化系数的扫描顺序，因此能够对量化系数进行适当的可变长编码。其结果，能够提高编码效率。

另外，在上述各实施方式中，根据正交变换跳跃标志的值来进行了量化或者逆量化，此外，也可以是无论正交变换跳跃标志的值如何都进行量化或者逆量化。在此情况下，也能够获得与上述效果相同的效果。

图22C是表示本发明的一形态的动态图像解码方法的流程图。

本发明的一形态的动态图像解码方法是按每个块对已编码动态图像进行解码的动态图像解码方法，其包括步骤S21至S25。即，该动态图像解码方法包括：步骤S21，对表示是否对解码对象块应用逆正交变换的正交变换跳跃标志进行可变长解码；步骤S22，根据上述正交变换跳跃标志的值，对上述解码对象块中包含的至少一个量化系数的扫描顺序进行切换，并按照切换后的扫描顺序对上述至少一个量化系数进行可变长解码；步骤S23，通过对可变长解码后的上述至少一个量化系数进行逆量化，算出至少一个逆量化系数；步骤S24，通过根据上述正交变换跳跃标志的值，来对上述至少一个逆量化系数进行逆正交变换，从而算出上述解码对象块的预测残差；步骤S25，利用与上述解码对象块邻接的参照块，或者与解码对象图片不同的参照图片内的参照块，生成上述解码对象块的预测图像，并通过对上述预测残差和上述预测图像进行加法运算而生成重构图像。

图22D是表示本发明的一形态的动态图像解码装置的方框图。

本发明的一形态的动态图像解码装置是按每个块对已编码动态图像进行解码的动态图像解码装置20，其具备结构要素21至25。即，该动态图像解码装置20具备：标志解码部21，对表示是否对解码对象块应用逆正交变换的正交变换跳跃标志进行可变长解码；系数解码部22，根据上述正交变换跳跃标志的值，对上述解码对象块中包含的至少一个量化系数的扫描顺序进行切换，并按照切换后的扫描顺序对上述至少一个量化系数进行可变长解码；逆量化部23，通过对可变长解码后的上述至少一个量化系数进行逆量化，算出至少一个逆量化系数；逆正交变换部24，通过根据上述正交变换跳跃标志的值，来对上述至少一个逆量化系数进行逆正交变换，从而算出上述解码对象块的预测残差；重构图像生成部25，利用与上述解码对象块邻接的参照块，或者与解码对象图片不同的参照图片内的参照块，生成上述解码对象块的预测图像，并通过对上述预测残差和上述预测图像进行加法运算而生成重构图像。

根据以上，在本发明的一形态的动态图像解码方法以及动态图像解码装置中，由于是根据正交变换跳跃标志的值来进行逆正交变换被，因此能够对是否应用逆正交变换进行切换，并且，能够根据正交变换跳跃标志的值来切换量化系数的扫描顺序，因此能够对量化系数进行恰当的可变长解码。其结果，能够对作为编码效率被提高后的编码动态图像的比特流进行适当的解码。

另外，在上述各实施方式中，根据正交变换跳跃标志的值进行了逆量化，此外，还可以是无论正交变换跳跃标志的值如何都进行逆量化。在此情况下，也能够获得与上述效果相同的效果。

另外，在上述各实施方式中，各结构要素可由专用的硬件结构，或者可通过执行适合于各结构要素的软件程序来实现。各结构要素，可通过由CPU或者处理器等程序执行部，读出并执行被存储在硬盘或半导体存储器等记录介质中的软件程序来实现。

换言之，动态图像编码装置以及动态图像解码装置，具有控制电路(controlcircuitry)以及与该控制电路电连接的(可通过该控制电路访问的)存储装置(storage)。控制电路至少包含专用的硬件以及程序执行部的至少一方。另外，存储装置，在控制电路包含程序执行部的情况下，存储由该程序执行部执行的软件程序。在此，实现上述各实施方式的动态图像编码装置的软件，是使计算机执行图22A的流程图所示的各步骤S11至S16的程序。另外，实现上述各实施方式的动态图像解码装置的软件，是使计算机执行图22C的流程图所示的各步骤S21至S25的程序。

(实施方式5)

将用于实现上述各个实施方式的动态图像编码方法(图像编码方法)或动态图像解码方法(图像解码方法)的结构的程序记录在存储媒体，从而能够在独立的计算机系统中简单地实施上述各个实施方式的处理。记录介质可以是磁盘、光盘、磁光盘、IC卡、半导体存储器等，只要能够记录程序就可以。

另外在此将说明上述各个实施方式的动态图像编码方法(图像编码方法)和动态图像解码方法(图像解码方法)的应用例以及使用这些方法的系统。该系统的特征在于具有图像编解码装置，该图像编解码装置由使用图像编码方法的图像编码装置和使用图像解码方法的图像解码装置组成。关于系统中的其他结构，能够根据情况适当变更。

图23是表示实现内容分发服务的内容提供系统ex100的整体结构的图。将通信服务的提供区域划分为所希望的大小，在各单元内分别设置有作为固定无线局的基站ex106、ex107、ex108、ex109、ex110。

在该内容提供系统ex100中，计算机ex111、PDA(个人数字助理：personal digitalassistant)ex112、摄像机ex113、便携式电话ex114、游戏机ex115等各种设备通过互联网服务提供者ex102和电话网ex104以及基站ex106至ex110，与互联网ex101相连接。

然而，内容提供系统ex100并非局限于图23所示的结构，也可以对任意的要素进行组合和连接。并且，可以不通过作为固定无线局的基站ex106至ex110，而是将各个设备直接与电话网ex104相连接。并且，也可以是各个设备通过近场无线通信等彼此直接连接。

摄像机ex113是数字摄像机等能够拍摄动态图像的设备，摄像机ex116是数字照相机等能够拍摄静止图像以及动态图像的设备。并且便携式电话ex114是GSM(注册商标)(Global System for Mobile Communications：全球移动通讯系统)方式、CDMA(CodeDivision Multiple Access：码分多址)方式、W-CDMA(Wideband-Code Division MultipleAccess：宽带码分多址)方式、LTE(Long Term Evolution：长期演进)方式、HSPA(High-Speed Packet Access：高速分组接入)的便携式电话，或PHS(PersonalHandy-phoneSystem：个人手提式电话系统)等，可以是其中任一个。

在内容提供系统ex100中，摄像机ex113等通过基站ex109、电话网ex104与流播放服务器ex103连接，从而进行实况分发等。在实况分发中，针对用户利用摄像机ex113拍摄的内容(例如音乐实况的影像等)进行在上述各实施方式所说明的编码处理(即，作为本发明的一形态的图像编码装置来发挥作用)，并发送到流播放服务器ex103。另外，流播放服务器ex103针对提出请求的客户端，对被发送的内容数据进行流的分发。作为客户端，包括可以解码上述被编码处理的数据的计算机ex111、PDAex112、摄像机ex113、便携式电话ex114、以及游戏机ex115等。在接收了被分发的数据的各个设备，对接收的数据进行解码处理并再生(即，作为本发明的一形态的图像解码装置来发挥作用)。

并且，拍摄的数据的编码处理可以在摄像机ex113进行，也可以在进行数据的发送处理的流播放服务器ex103进行，也可以相互分担进行。同样，被分发的数据的解码处理可以由客户端进行，也可以在流播放服务器ex103进行，也可以相互分担进行。并且，不仅限于摄像机ex113，由摄像机ex116拍摄的静止图像数据以及/或者动态图像数据，也可以通过计算机ex111而发送到流播放服务器ex103。此时的编码处理可以在摄像机ex116、计算机ex111、流播放服务器ex103的任一个中进行，也可以相互分担进行。

并且，这些编码解码处理通常在计算机ex111以及各个设备所具有的LSIex500中处理。LSIex500可以由一个芯片构成，也可以由多个芯片构成。另外，也可以将动态图像编码用以及动态图像解码用的软件安装到能够由计算机ex111等读取的某种记录介质(CD-ROM、软盘、硬盘等)中，并利用该软件来进行编码处理以及解码处理。而且，在便携式电话ex114是附带有相机的情况下，也可以发送由该相机获得的动态图像数据。在这种情况下的动态图像数据是由便携式电话ex114所具有的LSIex500进行编码处理后的数据。

并且，流播放服务器ex103是多个服务器或多个计算机，也可以是对数据进行分散地处理、记录、分发的装置。

如上所述，在内容提供系统ex100中，客户端能够接收并再生被编码的数据。在这样的内容提供系统ex100中，在客户端能够实时地接收并解码由用户发送的信息并且能够再生，这样，即使是没有特殊权利或设备的用户也能够实现个人播放。

并且，不仅限于内容提供系统ex100的例子，如图24所示，在数字广播用系统ex200中也能够组装上述各个实施方式所示的动态图像编码装置(图像编码装置)或者动态图像解码装置(图像解码装置)的任一个。具体而言，在广播局ex201，影像数据上多路复用了音乐数据的多路复用数据通过电波来通信或被传输到卫星ex202。这个影像数据是通过上述各个实施方式例中说明的动态图像编码方法被编码的数据(即，根据本发明的一形态的图像编码装置被编码的数据)。接收了这些数据的广播卫星ex202发送用于广播的电波，这些电波被能够进行卫星广播接收的家庭的天线ex204所接收。接收的多路复用数据被电视机(接收机)ex300或机顶盒(STB)ex217等装置进行解码并再生(即，作为本发明的一形态的图像解码装置发挥作用)。

并且，在用于读取并解码DVD、BD(Blu-ray Disc)等记录介质ex215中记录的多路复用数据，或者在记录介质ex215中编码影像信号，进而有时与音乐信号多路复用后进行写入的阅读器/记录器ex218上，也能够安装上述各个实施方式所示的动态图像解码装置或动态图像编码装置。在这种情况下，被再生的影像信号能够被显示在显示器ex219，并且能够由记录了多路复用数据的记录介质ex215在其他的装置或系统中再生影像信号。并且，也可以将动态图像解码装置安装到与有线电视用的电缆ex203或卫星/地波广播的天线ex204连接的机顶盒ex217内，并在电视机的显示器ex219上显示。此时，可以不组装到机顶盒，而将动态图像解码装置组装到电视机内。

图25表示了利用上述各个实施方式中说明的动态图像解码方法以及动态图像编码方法的电视机(接收机)ex300。电视机ex300包括：调谐器ex301，通过接收上述广播的天线ex204或电缆ex203等获得或者输出影像数据上多路复用了声音数据的多路复用数据；调制/解调部ex302，解调接收的多路复用数据，或者为了将多路复用数据发送到外部而进行调制；以及多路复用/分离部ex303，对解调的多路复用数据分为影像数据和声音数据，或者在信号处理部ex306进行了编码的影像数据和声音数据进行多路复用。

并且，电视机ex300具有信号处理部ex306和输出部ex309，上述信号处理部ex306具有分别对声音信号和影像信号进行解码或者对各个信息分别进行编码的声音信号处理部ex304和影像信号处理部ex305(作为本发明的一个形态所涉及的图像编码装置或者图像解码装置发挥作用)；上述输出部ex309具有对被解码的声音信号进行输出的扬声器ex307，以及对被解码的影像信号进行显示的显示器等显示部ex308。进而，电视机ex300具有接口部ex317，该接口部ex317具有接受用户的操作输入的操作输入部ex312等。进而，电视机ex300具有统括控制各部的控制部ex310，以及向各部提供电力的电源电路部ex311。接口部ex317除了可以具有操作输入部ex312以外，还可以具有与阅读器/记录器ex218等外部设备连接的桥ex313、用于安装SD卡等记录介质ex216的插槽部ex314、用于与硬盘等外部记录介质连接的驱动器ex315、以及与电话网连接的调制解调器ex316等。并且，记录介质ex216能够通过存储的非易失性/易失性的半导体存储器元件进行信息的电记录。电视机ex300的各部通过同步总线相互连接。

首先，对电视机ex300通过天线ex204等从外部获得的多路复用数据进行解码并再生的结构进行说明。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据具有CPU等的控制部ex310的控制，将在调制/解调部ex302解调的多路复用数据，在多路复用/分离部ex303进行分离。并且，电视机ex300将分离的声音数据在声音信号处理部ex304进行解码，利用上述的实施方式中说明的解码方法，将分离的影像数据在影像信号处理部ex305进行解码。解码的声音信号和影像信号分别从输出部ex309被输出到外部。在进行输出时，为了使声音信号和影像信号同步再生，而可以在缓存器ex318、ex319等暂时蓄积这些信号。并且，电视机ex300可以不从广播等读出多路复用数据，而是从磁性/光盘、SD卡等记录介质ex215、ex216中读出多路复用数据。以下将要说明的结构是，电视机ex300对声音信号以及影像信号进行编码，并发送到外部或写入到记录介质等的结构。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据控制部ex310的控制，利用在上述的实施方式中说明的编码方法，在声音信号处理部ex304对声音信号进行编码，并在影像信号处理部ex305对影像信号进行编码。被编码的声音信号和影像信号在多路复用/分离部ex303被多路复用，并被输出到外部。在进行多路复用时，为了使声音信号和影像信号同步，而可以将这些信号暂时蓄积到缓存器ex320、ex321等。另外，关于缓存器ex318至ex321，可以如图中所示那样具备多个，也可以是共享一个以上的缓存器的结构。而且，除图中所示以外，例如可以在调制/解调部ex302与多路复用/分离部ex303之间等，作为回避系统的上溢和下溢的缓冲部分，在缓存器中蓄积数据。

并且，电视机ex300除具有获得来自广播以及记录介质等的声音数据以及影像数据的结构以外，还可以具有接受麦克风以及摄像机的AV输入的结构，并且也可以对从这些获得的数据进行编码处理。并且，在此虽然对电视机ex300能够进行上述的编码处理、多路复用以及外部输出的结构进行了说明，不过也可以是不进行上述的全部的处理，而仅进行上述的接收、解码处理以及外部输出的结构。

并且，在阅读器/记录器ex218从记录介质中读出或写入多路复用数据的情况下，上述的解码处理或编码处理也可以在电视机ex300以及阅读器/记录器ex218的某一个中进行，也可以是电视机ex300和阅读器/记录器ex218彼此分担进行。

作为一个例子，图26表示了从光盘进行数据的读取或写入的情况下的信息再生/记录部ex400的结构。信息再生/记录部ex400包括以下将要说明的要素ex401、ex402、ex403、ex404、ex405、ex406、ex407。光学头ex401将激光照射到作为光盘的记录介质ex215的记录面并写入信息，并且检测来自记录介质ex215的记录面的反射光并读取信息。调制记录部ex402对被内藏于光学头ex401的半导体激光进行电驱动，并按照记录数据来进行激光的调制。再生解调部ex403对由被内藏于光学头ex401的光电探测器对来自记录面的反射光进行电检测而得到的再生信号进行放大，对被记录在记录介质ex215的信号成分进行分离、解调，并再生必要的信息。缓存器ex404对用于在记录介质ex215进行记录的信息以及从记录介质ex215再生的信息进行暂时保持。盘式电机ex405使记录介质ex215旋转。伺服控制部ex406在对盘式电机ex405的旋转驱动进行控制的同时，将光学头ex401移动到规定的代码道，进行激光的光点的追踪处理。系统控制部ex407对信息再生/记录部ex400进行整体控制。上述的读出以及写入处理可以通过以下的方法来实现，即：系统控制部ex407利用被保持在缓存器ex404的各种信息，并且按照需要在进行新的信息的生成以及追加的同时，一边使调制记录部ex402、再生解调部ex403以及伺服控制部ex406协调工作，一边通过光学头ex401来进行信息的记录再生。系统控制部ex407例如以微处理器构成，通过执行读出以及写入的程序来执行这些处理。

以上，以光学头ex401照射激光光点为例进行了说明，不过也可以利用近场光学(near-field optical)来进行高密度的记录。

图27是作为光盘的记录介质ex215的模式图。在记录介质ex215的记录面上，导槽(槽)被形成为螺旋状，在代码道ex230上预先被记录有按照槽的形状的变化表示盘上的绝对位置的地址信息。该地址信息包括用于确定记录块ex231的位置的信息，该记录块ex231是记录数据的单位，在进行记录以及再生的装置能够通过再生代码道ex230以及读取地址信息，来确定记录块。并且，记录介质ex215包括：数据记录区域ex233、内周区域ex232、以及外周区域ex234。用于记录用户数据的区域为数据记录区域ex233，被配置在数据记录区域ex233的内周或外周的内周区域ex232和外周区域ex234被用于用户数据的记录以外的特殊用途。信息再生/记录部ex400针对这种记录介质ex215的数据记录区域ex233，进行被编码的声音数据、影像数据或对这些数据进行多路复用后的多路复用数据的读写。

以上以具有一层结构的DVD、BD等光盘为例进行了说明，但并非受此所限，也可以是多层结构的能够在表面以外进行记录的光盘。并且，也可以在盘的同一位置上记录利用了各种不同波长的颜色的光的信息，或者可以是从各种角度记录不同的信息的层等的具有进行多维的记录/再生的结构的光盘。

此外，在数字广播用系统ex200，能够在具有天线ex205的车辆ex210从卫星ex202等接收数据，并在车辆ex210具有的车辆导航系统211等的显示装置再生动态图像。另外，关于车辆导航系统ex211的结构可以考虑成在图25表示的结构中添加GPS接收部，同样也可以考虑在计算机ex111和便携式电话ex114等上。

图28A是表示利用了在上述的实施方式所说明的动态图像编码方法和动态图像解码方法的便携式电话ex114的图。便携式电话ex114具有：天线ex350，用于在与基站ex110之间进行电波的收发；摄像机部ex365，能够拍摄影像和静止图像；显示部ex358，是用于显示在摄像机部ex365拍摄的影像以及由天线ex350接收的影像等被解码后的数据的液晶显示器等。便携式电话ex114还具有：具有操作键部ex366的主体部、声音输出部ex357，是用于输出声音的扬声器等；声音输入部ex356，是用于输入声音的麦克风等；存储器部ex367，用于保存拍摄的影像、静止图像、录音的声音、或者接收的影像、静止图像、邮件等被编码或被解码的数据；或者同样是保存数据的记录介质之间的接口的插槽部ex364。

进一步利用图28B对便携式电话ex114的结构例进行说明。在便携式电话ex114中，针对用于统括控制具有显示部ex358以及操作键部ex366的主体部的各部的主控制部ex360，电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、摄像机I/F部ex363、LCD(Liquid Crystal Display：液晶显示器)控制部ex359、调制/解调部ex352、多路复用/分离部ex353、声音信号处理部ex354、插槽部ex364、以及存储器部ex367经由总线ex370相互连接。

电源电路部ex361在通过用户的操作而成为通话结束以及电源键成为导通状态下，通过从电池组向各部提供电力，从而启动便携式电话ex114，使其成为能够工作的状态。

便携式电话ex114根据由CPU、ROM以及RAM等构成的主控制部ex360的控制，在声音通话模式时，由声音信号处理部ex354将在声音输入部ex356收集的声音信号转换为数字声音信号，并在调制/解调部ex352进行扩频(Spread Spectrum)处理，在发送/接收部ex351进行数模转换处理以及频率转换处理之后，经由天线ex350发送。并且，便携式电话ex114在声音通话模式时，对通过天线ex350接收的接收数据进行放大并进行频率转换处理以及模数转换处理，在调制/解调部ex352进行扩频处理的逆处理，在由声音信号处理部ex354转换为模拟声音信号之后，将其从声音输出部ex357输出。

并且，在数据通信模式时发送电子邮件的情况下，通过主体部的操作键部ex366等的操作被输入的电子邮件的文本数据经由操作输入控制部ex362被发送到主控制部ex360。主控制部ex360，由调制/解调部ex352对文本数据进行扩频处理，在发送/接收部ex351进行数模转换处理以及频率转换处理之后，经由天线ex350发送到基站ex110。在接收电子邮件的情况下、针对接收的数据进行与上述几乎相反的处理，发送到显示部ex358。

在数据通信模式时发送影像、静止图像、或影像和声音的情况下，影像信号处理部ex355，将从摄像机部ex365提供的影像信号，按照上述各实施方式表示的动态图像编码方法来进行压缩编码(即，作为本发明的一个方式涉及的图像编码装置来发挥作用)，并将被编码的影像数据发送到多路复用/分离部ex353。此外，声音信号处理部ex354，对摄像机部ex365拍摄影像、静止图像等中，由声音输入部ex356收集的声音信号进行编码，并将被编码的声音数据发送到多路复用/分离部ex353。

多路复用/分离部ex353以规定的方式，对从影像信号处理部ex355提供来的被编码的影像数据和从声音信号处理部ex354提供来的被编码的声音数据进行多路复用，将通过多路复用而得到的多路复用数据在调制/解调部(调制/解调电路部)ex352进行扩频处理，并在发送/接收部ex351进行数模转换处理以及频率转换处理之后，经由天线ex350发送。

在数据通信模式时，接收被链接在主页等的动态图像文件的数据的情况下，或者接收被添加了影像及/或声音的电子邮件的情况下，为了经由天线ex350解码被接收的多路复用数据，多路复用/分离部ex353，通过分割多路复用数据来分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将被编码的影像数据提供给影像信号处理部ex355，并且将被编码的声音数据提供给声音信号处理部ex354。影像信号处理部ex355根据与上述各实施方式表示的动态图像编码方法对应的动态图像解码方法进行解码来解码影像信号(即，作为本发明的图像解码装置来发挥作用)，通过LCD控制部ex359在显示部ex358显示例如被链接在主页的动态图像文件中包含的影像、静止图像。此外，声音信号处理部ex354解码声音信号，从声音输出部ex357输出声音。

并且，上述便携式电话ex114等终端与电视机ex300同样，除了可以考虑到是具有编码器以及解码器双方的收发信型终端的形式以外，还可以考虑到是仅具有编码器的发送终端，以及仅具有解码器的接收终端的共三种形式。并且，上述说明了在数字广播用系统ex200，接收以及发送在影像数据上多路复用了音乐数据等的多路复用数据，不过可以是除了声音数据以外多路复用了有关影像的文字数据等的数据，也可以是影像数据本身，而不是多路复用数据。

这样，在上述的实施方式所示的图像编码方法或图像解码方法能够适用于上述的任一个设备以及系统，这样，能够得到在上述的实施方式中说明的效果。

此外，本发明并不限定于上述的实施方式，可以不脱离本发明的范围而进行各种变形或修改。

(实施方式6)

可以按照需要适宜地切换上述的各个实施方式所示的动态图像编码方法或装置与依照MPEG-2、MPEG4-AVC、VC-1等不同的标准的动态图像编码方法或装置，来生成影像数据。

在此，在根据各自不同的标准生成了多个影像数据的情况下，需要在解码时选择与各自的标准对应的解码方法。然而，不能识别要解码的影像数据是依据了哪个标准的数据，所以产生不能选择恰当的解码方法这样的课题。

为了解决这个课题可以是在影像数据上多路复用了声音数据等的多路复用数据包含识别信息的结构，该识别信息表示影像数据是依据了哪个标准。下面说明包含由上述的各个实施方式所示的动态图像编码方法或装置生成的影像数据的多路复用数据的具体结构。多路复用数据是MPEG-2传输流形式的数字流。

图29是表示多路复用数据的结构的图。如图29所示多路复用数据是通过对如下流中的一个以上进行多路复用而得到的数据：视频流，音频流，字幕流(PG)，交互式图形流。视频流表示电影的主影像以及副影像，音频流(IG)表示电影的主声音部分和与主声音混合的副声音，字幕流表示电影的字幕。在此，主影像表示在画面显示的通常的影像，副影像是指在主影像中以小画面显示的影像。还有，交互式图形流表示通过在画面上配置图形用户界面元件而作成的对话画面。视频流，根据上述的各个实施方式所示的动态图像编码方法或装置，以及现有的MPEG-2、MPEG4-AVC、VC-1等标准的动态图像编码方法或装置被编码。音频流，根据杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、或线性PCM等方式被编码。

多路复用数据中包含的各个流由PID被识别。例如，针对用于电影的影像的视频流分配0x1011，针对音频流分配从0x1100到0x111F，针对字幕流分配从0x1200到0x121F，针对交互式图形流分配从0x1400到0x141F，针对用于电影的副影像的视频流分配从0x1B00到0x1B1F，针对用于与主声音混合的副声音的音频流分配从0x1A00到0x1A1F。

图30是表示多路复用数据怎样被多路复用的模式图。首先，由多个视频帧组成的视频流ex235、由多个音频帧组成的音频流ex238，分别变换为PES数据包列ex236以及ex239，变换为TS数据包ex237以及ex240。同样地将字幕流ex241及交互式图形流ex244的数据，分别变换为PES数据包列ex242以及ex245，进一步变换为TS数据包ex243以及ex246。多路复用数据ex247，将这些TS数据包多路复用在1个流上而被构成。

图31是更加详细地表示在PES数据包列中视频流怎样被存储的图。在图31的第一段表示视频流的视频帧列。第二段表示PES数据包列。如图31的箭头yy1、yy2、yy3、yy4所示，作为视频流中的多个Video Presentation Unit的I图片、B图片、P图片，按每个图片被分割，存储到PES数据包的有效负载中。各个PES数据包拥有PES头，PES头中存储了作为图片的显示时刻的PTS(Presentation Time-Stamp：显示时间戳)、作为图片的解码时刻的DTS(Decoding Time-Stamp：解码时间戳)。

图32表示最终被写入到多路复用数据中的TS数据包的形式。TS数据包是具有识别流的PID等的信息的4Byte的TS头以及存储数据的184Byte的TS有效负载所构成的188Byte定长的数据包，上述PES数据包被分割被存储到TS有效负载。在是BD-ROM的情况下，TS数据包被赋予4Byte的TP_Extra_Header，构成192Byte的源数据包，被写入到多路复用数据。在TP_Extra_Header上记载了ATS(Arrival_Time_Stamp)等的信息。ATS表示该TS数据包向解码器的PID滤波器的传输开始时刻。在多路复用数据中如图32的下段所示排列了源数据包，从多路复用数据的开头增加的编号被称为SPN(源数据包编号)。

此外，多路复用数据中包含的TS数据包中除了影像、声音、字幕等各个流以外，还有PAT(Program Association Table：节目关联表)、PMT(Program Map Table：节目映射表)、PCR(Program Clock Reference：节目时钟基准)等。PAT表示多路复用数据中所利用的PMT的PID是什么，PAT自身的PID登记为0。PMT具有多路复用数据中包含的影像、声音、字幕等的各个流的PID以及与各个PID对应的流的属性信息，并且具有与多路复用数据有关的各种描述符。描述符具有复制控制信息等，该复制控制信息指示多路复用数据的复制许可、不许可。PCR为了使作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS、DTS的时间轴的STC(System Time Clock)同步，具有与该PCR数据包传输到解码器的ATS对应的STC时间的信息。

图33是详细地说明PMT的数据结构的图。PMT的开头设置了PMT帧头，用于记载该PMT中包含的数据的长度等。在其之后设置了多个与多路复用数据有关的描述符。上述复制控制信息等作为描述符被记载。在描述符之后设置了多个与多路复用数据中包含的各个流有关的流信息。流信息，为了识别流的压缩编解码等，由记载了流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符所构成。流描述符的数量与在多路复用数据中存在的流的数量相同。

在记录介质等记录的情况下，上述多路复用数据与多路复用数据信息文件一起被记录。

如图34所示多路复用数据信息文件是多路复用数据的管理信息，与多路复用数据1对1地对应，其由多路复用数据信息、流属性信息以及项映射所构成。

多路复用数据信息如图34所示，由系统速率、再生开始时刻、再生结束时刻所构成。系统速率表示多路复用数据向着后述的系统目标解码器的PID滤波器的最大传输速率。多路复用数据中包含的ATS的间隔，被设定为是系统速率以下。再生开始时刻是多路复用数据的开头的视频帧的PTS，再生结束时刻被设定为，在多路复用数据的尾端的视频帧的PTS加上1帧的再生间隔。

流属性信息如图35所示，按每个PID登记包含在多路复用数据中的各个流的属性信息。属性信息按照每个视频流、音频流、字幕流、交互式图形流，具有不同的信息。视频流属性信息具有如下信息：该视频流以怎样的压缩编解码被压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等信息。音频流属性信息，具有如下信息：该音频流以怎样的压缩编解码被压缩、该音频流中包含的频道数是多少、与什么语言对应、采样频率是多少等信息。这些信息，用于在播放器再生之前的解码器的初始化等。

在本实施方式，利用上述多路复用数据中的PMT中包含的流类型。此外，在记录介质中记录了多路复用数据的情况下，利用多路复用数据信息中包含的视频流属性信息。具体而言，在上述各个实施方式表示的动态图像编码方法或装置中，针对PMT中包含的流类型、或视频流属性信息，设置设定固有的信息的步骤或单元，该固有的信息表示由上述各个实施方式表示的动态图像编码方法或装置所生成的影像数据。根据该结构，能够识别由上述各个实施方式表示的动态图像编码方法或装置所生成的影像数据与依据其他的标准的影像数据。

此外，图36表示在本实施方式的动态图像解码方法的步骤。在步骤exS100，从多路复用数据中获得PMT中包含的流类型、或者多路复用数据信息中包含的视频流属性信息。接着，在步骤exS101，判断流类型或视频流属性信息是否表示是由上述各个实施方式表示的动态图像编码方法或装置所生成的多路复用数据。而且，在判断为流类型或视频流属性信息表示是由上述各个实施方式表示的动态图像编码方法或装置所生成的数据的情况下，在步骤exS102，上述各实施方式表示的动态图像解码方法进行解码。此外，流类型或视频流属性信息表示是现有的MPEG-2、MPEG4-AVC、VC-1等的标准的数据的情况下，在步骤exS103，根据所依据的现有的标准的动态图像解码方法来进行解码。

这样，通过在流类型或视频流属性信息设定新的固有值，从而在解码时，能够判断根据上述各个实施方式表示的动态图像解码方法或装置是否能够解码。从而，即使被输入了依据不同的标准的多路复用数据时，也能够选择恰当的解码方法或装置，因此能够不产生错误地进行解码。此外，本实施方式表示的动态图像编码方法或装置，或者动态图像解码方法或装置，能够用于上述的任一个设备以及系统。

(实施方式7)

上述的各个实施方式所示的动态图像编码方法以及装置、动态图像解码方法以及装置，典型的能够以作为集成电路的LSI来实现。作为一个例子，图37表示了被制成一个芯片的LSIex500的结构。LSIex500包括以下将要说明的要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508，ex509，各个要素通过总线ex510连接。电源电路部ex505在电源为接通状态的情况下，通过向各部提供电力，从而启动为能够工作的状态。

例如，在进行编码处理的情况下，LSIex500，根据具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，根据AVI/Oex509从麦克风ex117和摄像机ex113等输入AV信号。被输入的AV信号被暂时蓄积到SDRAM等的外部的存储器ex511。根据控制部ex501的控制，存储的数据按照处理量和处理速度适当地分为多个被发送到信号处理部ex507，在信号处理部ex507被进行声音信号的编码及/或影像信号的编码。在此，影像信号的编码处理是上述各个实施方式说明的编码处理。在信号处理部ex507还根据情况对被编码的声音数据以及被编码的影像数据进行多路复用等处理，从流I/Oex506输出到外部。该被输出的多路复用数据被发送到基站ex107，或者被写入到记录介质ex215。并且，为了在多路复用时能够同步进行，而可以将数据暂时蓄积到缓存器ex508。

另外，以上虽然对存储器ex511作为LSIex500的外部结构进行了说明，不过也可以被包括在LSIex500的内部。缓存器ex508也可以不限于一个，可以具备多个缓存器。并且，LSIex500可以被制成一个芯片，也可以是多个芯片。

此外，在上述说明中，控制部ex501具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，不过，控制部ex501的结构，不限于这个结构。例如，可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部也设置CPU，可以使处理速度提高。此外，作为其他的例子，可以是CPUex502具备信号处理部ex507、或者具备信号处理部ex507的一部分例如声音信号处理部的结构。在这样的情况下，控制部ex501是具备信号处理部ex507或具有其一部分的CPUex502的结构。

在此，虽然例示了LSI，不过根据集成度的不同，也可以称为IC、系统LSI、超级LSI、极超级LSI。

还有，集成电路化的方法不局限于LSI，也可以用专用电路或者通用处理器来实现。也可以利用在LSI制造之后可编程的现场可编程门阵列(FPGA∶Field ProgrammableGate Array)或可动态地重构LSI内部的电路单元的连接和设定的可重构处理器。这样的可编程逻辑装置，典型的是加载或者从存储器等读入构成软件或者固件的程序，从而能够执行上述各个实施方式的动态图像编码方法、或动态图像解码方法。

而且，随着半导体技术的进步或派生出的其他的技术，若出现了能够取代LSI的集成电路化的技术，当然也可以利用这些技术来对功能块进行集成化。有可能适用生物技术等。

(实施方式8)

在对根据上述各个实施方式表示的动态图像编码方法或装置所生成的影像数据进行解码的情况下，可以想到与对依据现有的MPEG-2、MPEG4-AVC、VC-1等标准的影像数据进行解码的情况相比，处理量增加。因此，在LSIex500中需要设定比解码依据现有的标准的影像数据时的CPUex502的驱动频率高的驱动频率。但是驱动频率高，则产生电力消耗高这样的课题。

为了解决这个课题，设电视机ex300、LSIex500等动态图像解码装置为如下结构，识别影像数据依据了哪个标准，按照标准切换驱动频率的结构。图38表示了本实施方式的结构ex800。驱动频率切换部ex803，在影像数据是由上述各个实施方式表示的动态图像编码方法或装置所生成的情况下，设定高的驱动频率。而且，对执行上述各个实施方式表示的动态图像解码方法的解码处理部ex801进行指示，以解码影像数据。另一方面，在影像数据是依据现有的标准的影像数据的情况的情况下，与影像数据由上述各实施方式的动态图像编码方法或装置所生成的情况相比，设定低的驱动频率。而且，指示依据现有的标准的解码处理部ex802，对影像数据进行解码。

更具体而言，驱动频率切换部ex803由图37的CPUex502与驱动频率控制部ex512所构成。此外，执行上述各个实施方式的动态图像解码方法的解码处理部ex801，以及依据现有的标准的解码处理部ex802，相当于图37的信号处理部ex507。CPUex502识别影像数据依据哪个标准。而且，根据来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，根据来自CPUex502的信号，信号处理部ex507进行影像数据的解码。在此，可以考虑在影像数据的识别中利用例如在实施方式6记载的识别信息。有关识别信息，不仅限于在实施方式6记载的信息，只要是能够识别影像数据是依据哪个标准的信息就可以。例如，在根据识别影像数据是否用于电视机，是否用于存储盘等的外部信号，能够识别影像数据是依据哪个标准的情况下，可以根据这样的外部信号进行识别。此外，在CPUex502的驱动频率的选择，可以考虑根据例如如图40那样的使影像数据的标准和驱动频率对应的查找表来进行。将查找表预先存储在缓存器ex508和LSI的内存储器中，通过CPUex502参考这个查找表，能够选择驱动频率。

图39表示了实施本实施方式的方法的步骤。首先，在步骤exS200中，由信号处理部ex507从多路复用数据中获得识别信息。接着，在步骤exS201中，CPUex502根据识别信息，识别影像数据是不是由上述各个实施方式的编码方法或装置所生成的数据。在影像数据是由上述各个实施方式的编码方法或装置所生成的数据的情况下，在步骤exS202中，将设定高的驱动频率的信号，由CPUex502发送到驱动频率控制部ex512。而且，在驱动频率控制部ex512设定高的驱动频率。另一方面，在表示了是依据现有的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况下，在步骤exS203中，将设定低的驱动频率的信号，由CPUex502发送到驱动频率控制部ex512。而且，在驱动频率控制部ex512，设定与影像数据由上述各个实施方式的编码方法或装置所生成的情况相比低的驱动频率。

并且，与驱动频率的切换联动地，通过变更对LSIex500或包含LSIex500的装置施加的电压，可以提高省电效果。例如，在设定低驱动频率的情况下，随之与设定高驱动频率的情况相比，可以考虑使对LSIex500或包含LSIex500的装置施加的电压设定为低电压。

此外，关于驱动频率的设定方法，只要在解码时的处理量大的情况下，设定高的驱动频率，在解码时的处理量小的情况下，设定低的驱动频率就可以，不限于上述的设定方法。例如对依据MPEG4-AVC标准的影像数据进行解码的处理量，大于对由上述各个实施方式的动态图像编码方法或装置所生成的影像数据进行解码的处理量的情况下，可以考虑将驱动频率的设定与上述的情况相反地进行。

并且，驱动频率的设定方法不限于设定低的驱动频率的结构。例如，可以考虑在识别信息表示是由上述各个实施方式的动态图像编码方法或装置所生成的影像数据的情况下，将对LSIex500或包含LSIex500的装置施加的电压设定为高的电压，在表示是依据现有的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况下，将对LSIex500或包含LSIex500的装置施加的电压设定为低的电压。此外，作为其他的例子，可以考虑在识别信息表示是由上述各个实施方式的动态图像编码方法或装置所生成的影像数据的情况下，不停止CPUex502的驱动，在表示是依据现有的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况下，因为处理有余量，可以暂时停止CPUex502的驱动。即使在识别信息表示是由上述各个实施方式的动态图像编码方法或装置所生成的影像数据的情况下，如果处理有余量，也可以考虑暂时停止CPUex502的驱动。这个情况下，可以考虑与识别信息表示是依据现有的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况相比，停止时间设定地较短。

这样，根据影像数据依据的标准来切换驱动频率，从而能够达到省电化。此外，在利用电池驱动LSIex500或包含LSIex500的装置的情况下，随着省电化还可以延长电池的寿命。

(实施方式9)

电视机和便携式电话等上述的设备以及系统，有时被输入依据不同标准的多个影像数据。这样，即使在被输入了依据不同标准的多个影像数据的情况下也能进行解码，从而LSIex500的信号处理部ex507需要与多个标准对应。但是，与各个标准对应的信号处理部ex507个别利用时，使LSIex500的电路规模变大，还产生成本增加这样的课题。

为了解决上述课题可以是如下结构，将用于执行上述各个实施方式的动态图像解码方法的解码处理部与依据现有的MPEG-2、MPEG4-AVC、VC-1等的标准的解码处理部，进行一部分共享。图41A的ex900表示该结构例。例如，上述各个实施方式的动态图像解码方法和依据MPEG4-AVC标准的动态图像解码方法，在熵编码、逆量化、解块及滤波器、运动补偿等处理中，一部分处理内容是共同的。关于共同的处理内容，可以考虑共享与MPEG4-AVC标准对应的解码处理部ex902，关于与MPEG4-AVC标准不对应的本发明特有的其他处理内容，使用专用的解码处理部ex901这样的结构。尤其是本发明的一个形态中，特征在于逆量化，从而可以考虑如下，例如逆量化中利用专用的解码处理部ex901，除此之外的熵解码、解块滤波器、运动补偿的任一个或全部的处理中共用解码处理部。对于解码处理部的共享化，关于共同的处理内容，共享用于执行上述各个实施方式的动态图像解码方法的解码处理部，关于MPEG4-AVC标准特有的处理内容，使用专用的解码处理部。

此外，图41B的ex1000表示了处理的部分共享化的其他例子。在这个例子的结构是，使用与本发明特有的处理内容对应的专用的解码处理部ex1001、与其他的现有标准特有的处理内容对应的专用的解码处理部ex1002、与本发明的一形态的动态图像解码方法及其他的现有标准的动态图像解码方法共同的处理内容相对应的共用的解码处理部ex1003。在此，专用的解码处理部ex1001、ex1002，不一定是本发明或其他现有标准特有的处理内容所特有的，可以是能够执行其他通用处理的部。此外，也可以是在LSIex500安装本实施方式的结构。

这样，本发明的一形态所涉及的动态图像解码方法和现有规格的动态图像解码方法相同的处理内容，通过共用解码处理部，能够使LSI的电路规模变小，并且降低成本。

工业实用性

本发明的动态图像编码方法以及动态图像解码方法，能够应用于所有的多媒体数据，可提高动态图像编码以及解码的防错性，例如能够用于以便携式电话、DVD装置以及个人计算机等进行蓄积、传输、通信等时的动态图像编码方法以及动态图像解码方法。

符号说明

10 动态图像编码装置

11 预测残差生成部

12 标志算出部

13 正交变换部

14 量化部

15 标志编码部

16 系数编码部

20 动态图像解码装置

21 标志解码部

22 系数解码部

23 逆量化部

24 逆正交变换部

25 重构图像生成部

100、100a 动态图像编码装置

101、101a 减法运算器

102、102a 正交变换部

103、103a 量化部

104、104a 可变长编码部

105、105a、201、201a 逆量化部

106、106a、202、202a 逆正交变换部

107、107a、203、203a 加法运算器

108、108a、204、204a 块存储器

109、109a、205、205a 帧存储器

110、110a、206、206a 帧内预测部

111、111a、207、207a 帧间预测部

112、112a、208、208a 切换部

113、113a、210、210a 帧间预测控制部

114、114a、212、212a colPic存储器

115、115a、211、211a 融合块候选算出部

116、116a 图片类型决定部

200、200a 动态图像解码装置

209、209a 可变长解码部

Claims (4)

1.一种动态图像编码方法，按每个块对动态图像进行编码，该动态图像编码方法包括：

预测残差生成步骤，利用与编码对象块邻接的参照块，或者与编码对象图片不同的参照图片内的参照块，生成上述编码对象块的预测图像，并生成作为上述编码对象块和上述预测图像的差值的预测残差；

判定步骤，判定是否对上述预测残差应用正交变换；

正交变换系数算出步骤，在上述判定步骤中的判定结果表示应用上述正交变换的情况下，对上述预测残差进行上述正交变换而算出多个正交变换系数，在上述判定结果表示不应用上述正交变换的情况下，不对上述预测残差进行上述正交变换就算出多个正交变换系数；

量化步骤，通过对由上述正交变换系数算出步骤算出的多个正交变换系数进行量化，算出多个量化系数；

标志编码步骤，对表示上述判定结果的正交变换跳跃标志进行可变长编码；以及

系数编码步骤，在上述判定结果表示应用上述正交变换的情况下，按照第一扫描顺序，在上述判定结果表示不应用上述正交变换的情况下，按照与上述第一扫描顺序不同的第二扫描顺序，来对上述多个量化系数进行可变长编码，

在上述判定步骤中，仅在上述预测图像通过帧内预测而被生成、并且尺寸为4×4的情况下，判定为不应用上述正交变换。

2.一种动态图像解码方法，从编码比特流，按每个块对动态图像进行解码，该动态图像解码方法包括：

标志解码步骤，对表示是否对解码对象块应用逆正交变换的正交变换跳跃标志进行可变长解码；

系数解码步骤，在上述正交变换跳跃标志表示应用上述逆正交变换的情况下，按照第一扫描顺序，在上述正交变换跳跃标志表示不应用上述逆正交变换的情况下，按照与上述第一扫描顺序不同的第二扫描顺序，来对上述解码对象块中包含的多个量化系数进行可变长解码；

逆量化步骤，通过对可变长解码后的上述多个量化系数进行逆量化，算出多个逆量化系数；

预测残差获得步骤，在上述正交变换跳跃标志的值表示应用上述逆正交变换的情况下，对上述多个逆量化系数进行逆正交变换而获得上述解码对象块的预测残差，在上述正交变换跳跃标志的值表示不应用上述逆正交变换的情况下，不对上述逆量化系数进行逆正交变换就获得上述解码对象块的预测残差；以及

重构图像生成步骤，利用与上述解码对象块邻接的参照块，或者与解码对象图片不同的参照图片内的参照块，生成上述解码对象块的预测图像，并通过对上述预测残差和上述预测图像进行加法运算而生成重构图像，

在上述标志解码步骤中，仅在上述预测图像通过帧内预测而被生成、并且尺寸为4×4的情况下，对上述正交变换跳跃标志进行解码。

3.一种动态图像编码装置，具备处理电路以及与该处理电路连接的存储部，该动态图像编码装置按每个块对动态图像进行编码，

上述处理电路通过执行以下步骤，按每个块对上述动态图像进行编码，上述步骤包括：

预测残差生成步骤，利用由上述存储部所保持的、与编码对象块邻接的参照块，或者与编码对象图片不同的参照图片内的参照块，生成上述编码对象块的预测图像，并生成作为上述编码对象块和上述预测图像的差值的预测残差；

判定步骤，判定是否对上述预测残差应用正交变换；

正交变换系数算出步骤，在上述判定步骤中的判定结果表示应用上述正交变换的情况下，对上述预测残差进行上述正交变换而算出多个正交变换系数，在上述判定结果表示不应用上述正交变换的情况下，不对上述预测残差进行上述正交变换就算出多个正交变换系数；

量化步骤，通过对由上述正交变换系数算出步骤算出的多个正交变换系数进行量化，从而算出多个量化系数；

标志编码步骤，对表示上述判定结果的正交变换跳跃标志进行可变长编码；以及

系数编码步骤，在上述判定结果表示应用上述正交变换的情况下，按照第一扫描顺序，在上述判定结果表示不应用上述正交变换的情况下，按照与上述第一扫描顺序不同的第二扫描顺序，来对上述多个量化系数进行可变长编码，

在上述判定步骤中，仅在上述预测图像通过帧内预测而被生成、并且尺寸为4×4的情况下，判定为不应用上述正交变换。

4.一种动态图像解码装置，具备处理电路以及与该处理电路连接的存储部，该动态图像解码装置从编码比特流，按每个块对动态图像进行解码，

上述处理电路通过执行以下步骤，对上述动态图像进行解码，上述步骤包括：

标志解码步骤，对表示是否对解码对象块应用逆正交变换的正交变换跳跃标志进行可变长解码；

系数解码步骤，在上述正交变换跳跃标志表示应用上述逆正交变换的情况下，按照第一扫描顺序，在上述正交变换跳跃标志表示不应用上述逆正交变换的情况下，按照与上述第一扫描顺序不同的第二扫描顺序，来对上述解码对象块中包含的多个量化系数进行可变长解码；

逆量化步骤，通过对可变长解码后的上述多个量化系数进行逆量化，算出多个逆量化系数；

预测残差获得步骤，在上述正交变换跳跃标志的值表示应用上述逆正交变换的情况下，对上述多个逆量化系数进行逆正交变换而获得上述解码对象块的预测残差，在上述正交变换跳跃标志的值表示不应用上述逆正交变换的情况下，不对上述逆量化系数进行逆正交变换就获得上述解码对象块的预测残差；以及

重构图像生成步骤，利用由上述存储部所保持的、与上述解码对象块邻接的参照块或者与解码对象图片不同的参照图片内的参照块，生成上述解码对象块的预测图像，并通过对上述预测残差和上述预测图像进行加法运算而生成重构图像，

在上述标志解码步骤中，仅在上述预测图像通过帧内预测而被生成、并且尺寸为4×4的情况下，对上述正交变换跳跃标志进行解码。