CN103636226A - 图像编码方法、图像解码方法、图像编码装置、图像解码装置和图像编码解码装置 - Google Patents

Abstract

图像编码方法按照每个编码单元对图像进行编码，该图像编码方法包括以下步骤：频率变换步骤（S501），对包含分别相当于1个以上的变换单元的多个规定块的编码单元中的多个变换单元的亮度数据和色差数据进行频率变换；以及编码步骤（S502），对频率变换后的亮度数据和频率变换后的色差数据进行编码，输出按照每个规定块一起汇集亮度数据和色差数据而得到的码列。

Description

图像编码方法、图像解码方法、图像编码装置、图像解码装置和图像编码解码装置

技术领域

本发明涉及按照每个块对图像进行编码的图像编码方法或按照每个块对图像进行解码的图像解码方法。

背景技术

作为涉及按照每个块对图像（包含运动图像）进行编码的图像编码方法或按照每个块对图像进行解码的图像解码方法的技术，存在非专利文献1所记载的技术。

现有技术文献

非专利文献

非专利文献1：ISO/IEC14496-10“MPEG-4Part10Advanced VideoCoding”

发明内容

发明要解决的课题

但是，在现有技术的图像编码方法或图像解码方法中，有时使用低效的处理。

因此，本发明提供高效地对图像进行编码的图像编码方法或高效地对图像进行解码的图像解码方法。

用于解决课题的手段

本发明的一个方式的图像编码方法按照每个编码单元对图像进行编码，其中，该图像编码方法包括以下步骤：频率变换步骤，对包含分别相当于1个以上的变换单元的多个规定块的编码单元中的多个变换单元的亮度数据和色差数据进行频率变换；以及编码步骤，对频率变换后的所述亮度数据和频率变换后的所述色差数据进行编码，输出按照每个所述规定块一起汇集所述亮度数据和所述色差数据而得到的码列。

另外，这些全部或具体的方式可以通过系统、装置、集成电路、计算机程序或计算机可读取的CD-ROM等非临时的记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序和记录介质的任意组合来实现。

发明效果

本发明的图像编码方法和图像解码方法能够高效地对图像进行编码或解码。

附图说明

图1是用于说明现有例的码列的图。

图2是表示实施方式1的图像编码装置的结构的框图。

图3是用于说明实施方式1的码列的图。

图4是用于说明实施方式1的编码的动作的流程图。

图5是用于说明实施方式1的变形例的码列的图。

图6是用于说明实施方式1的变形例的编码的动作的流程图。

图7是表示实施方式2的图像编码装置的结构的框图。

图8是用于说明实施方式2的码列的图。

图9是用于说明实施方式2的编码的动作的流程图。

图10是用于说明实施方式2的针对多个运算器的处理分配的图。

图11是表示实施方式3的图像解码装置的结构的框图。

图12是用于说明实施方式3的解码的动作的流程图。

图13是表示实施方式4的图像解码装置的结构的框图。

图14是用于说明实施方式4的解码的动作的流程图。

图15A是表示实施方式5的图像编码装置的结构的框图。

图15B是用于说明实施方式5的编码的动作的流程图。

图16A是表示实施方式5的图像解码装置的结构的框图。

图16B是用于说明实施方式5的解码的动作的流程图。

图17是实现内容分发服务的内容供给系统的整体结构图。

图18是数字广播用系统的整体结构图。

图19是表示电视机的结构例的模块图。

图20是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。

图21是表示作为光盘的记录介质的构造例的图。

图22A是表示便携电话的一例的图。

图22B是表示便携电话的结构例的模块图。

图23是表示复用数据的结构的图。

图24是示意地表示各流在复用数据中怎样被复用的图。

图25是更详细地表示在PES包序列中视频流怎样被保存的图。

图26是表示复用数据的TS包和源包的构造的图。

图27是表示PMT的数据结构的图。

图28是表示复用数据信息的内部结构的图。

图29是表示流属性信息的内部结构的图。

图30是表示识别影像数据的步骤的图。

图31是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的模块图。

图32是表示切换驱动频率的结构的图。

图33是表示识别影像数据、切换驱动频率的步骤的图。

图34是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。

图35A是表示将信号处理部的模块共用的结构的一例的图。

图35B是表示将信号处理部的模块共用的结构的另一例的图。

具体实施方式

（作为本发明的基础的知识和见解）

本发明人发现“背景技术”一栏中记载的按照每个块对图像进行编码的图像编码装置或按照每个块对图像进行解码的图像解码装置产生以下问题。

近年来，数字影像设备的技术显著进步，对从摄像机或电视调谐器输入的影像信号（时间序列排列的多个图片）进行压缩编码并将其记录在DVD或硬盘等记录介质中的机会增加。

在对影像信号进行编码时，一般将图像数据分离为亮度信息（Y）、第1色差信息（U）和第2色差信息（V），分别对它们实施频率变换，使用可变长度编码或算术编码等编码技术对作为其结果的系数值进行编码。

更详细地讲，将1张图像分割为规定编码单元（Coding Unit（以下为CU）），进一步将该CU内分割为变换单元（Transform Unit（以下为TU）），分别对TU的Y、U和V实施频率变换。然后，连结Y、U和V的编码结果而生成码列。并且，在解码中，根据码列对Y、U和V各自的系数值进行解码，通过逆变换而从系数值取得Y、U和V各自的图像信息。

另外，CU是用于对图像进行编码的数据单位，对应于被称为H.264/AVC或MPEG-4AVC的运动图像编码标准（参照非专利文献1）的宏块。CU包含在图片或图片内的切片中。最大编码单元（Largest Coding Unit（以下为LCU））是规定的固定尺寸的正方形。CU是规定的固定尺寸以下的正方形。相同图片或相同切片内的2个CU也可以是相互不同尺寸的正方形。

例如，可以将通过对图片或切片内的规定的固定尺寸的正方形进行四分割而定义的4个块分别分配给CU。并且，例如，也可以将通过以多个阶段对规定的固定尺寸的正方形进行四分割而层次地定义的多个块中的最下层的块分配给CU。在未对规定的固定尺寸的正方形进行四分割的情况下，也可以将LCU分配给CU。基于这种分配，按照每个CU对图像进行编码，生成码列。

在现有例中，如图1所示，按照每个CU分别连续配置Y、U和V，生成码列。在图1中，Yn表示TUn的Y信息，Un表示TUn的U信息，Vn表示TUn的V信息。并且，图1是4：2：0格式的例子，U和V的像素数分别为Y的四分之一。

但是，在现有的码列的结构中，如果不对CU内的全部Y进行编码并输出码列，则无法输出U和V的码列，所以，即使成为在CU内的一部分Y之前能够输出U或V的码列的状态也无法进行输出，需要进行缓冲。使用图1的（C）进行说明时，在输出Y9的码列之前无法输出U0的码列，需要在缓冲用的存储器或寄存器中放置U0的信息。因此，存在需要较多的缓冲用的存储器或寄存器的课题。

并且，在解码中，在对Y、U和V进行解码之前也无法进行输出，但是，如果不对CU内的全部Y进行解码则无法对U和V进行解码，需要对Y的解码结果进行缓冲。使用图1的（C）进行说明时，如果不对V0进行解码则无法输出T0的块，所以，需要在缓冲用的存储器或寄存器中放置Y0～Y9和U0～U9。

为了解决这种问题，本发明的一个方式的图像编码方法按照每个编码单元对图像进行编码，其中，该图像编码方法包括以下步骤：频率变换步骤，对包含分别相当于1个以上的变换单元的多个规定块的编码单元中的多个变换单元的亮度数据和色差数据进行频率变换；以及编码步骤，对频率变换后的所述亮度数据和频率变换后的所述色差数据进行编码，输出按照每个所述规定块一起汇集所述亮度数据和所述色差数据而得到的码列。

根据该结构，不在输出CU内的Y的全部码列之后，也能够输出U和V的码列，不需要对U和V进行缓冲，能够削减缓冲用的存储器或寄存器。

例如，也可以是，所述多个规定块分别相当于规定尺寸的块中的多个变换单元或规定尺寸以上的变换单元，在所述编码步骤中，对所述亮度数据和所述色差数据进行编码，输出按照每个所述规定块一起汇集所述亮度数据和所述色差数据而得到的所述码列。

根据该结构，Y、U和V以适当的数据单位配置在码列中。因此，处理效率提高。

并且，例如，也可以是，在所述频率变换步骤中，按照每个变换单元对所述亮度数据进行频率变换，在所述色差数据的像素数与所述亮度数据的像素数相等的情况下，按照每个变换单元对所述色差数据进行频率变换，在所述色差数据的像素数比所述亮度数据的像素数少的情况下，按照每个所述规定块对所述色差数据进行频率变换。

根据该结构，以与像素数对应的适当的数据单位对Y、U和V进行频率变换。因此，处理效率提高。

并且，例如，也可以是，在所述频率变换步骤中，对所述编码单元中的所述多个变换单元的所述色差数据中的、规定尺寸以下的块中的多个变换单元的色差数据进行结合，对结合后的所述色差数据进行一次频率变换。

根据该结构，避免了变换用的数据单位过小。因此，可以不设置较小的变换电路。并且，当考虑为了使U或V不小于最小TU而无法使Y成为最小TU尺寸的情况时，根据该结构，能够使Y成为最小TU尺寸，涉及编码效率的提高。

并且，例如，也可以是，在所述频率变换步骤中，在变换单元的尺寸为预定的最小尺寸、且所述变换单元的色差数据的像素数比所述变换单元的亮度数据的像素数少的情况下，对所述编码单元中的所述多个变换单元的所述色差数据中的、包含所述变换单元的块中的多个变换单元的色差数据进行结合，对结合后的所述色差数据进行一次频率变换。

根据该结构，在TU尺寸为最小的TU尺寸、并且如4：2：0或4：2：2格式等那样U或V的像素数比Y少的情况下，也能够进行使U和V分别不小于最小的TU尺寸的控制。因此，可以不设置比最小TU更小的变换电路。并且，当考虑为了使U或V不小于最小TU而无法使Y成为最小TU尺寸的情况时，根据该结构，能够使Y成为最小TU尺寸，涉及编码效率的提高。

并且，例如，也可以是，在所述编码步骤中，对规定块中的多个变换单元的亮度数据和色差数据进行编码，输出在所述规定块中的所述多个变换单元的全部所述亮度数据之后配置所述规定块中的所述多个变换单元的全部所述色差数据而得到的所述码列。

根据该结构，U和V接着Y之后，维持该顺序。因此，不需要考虑颠倒该顺序。由此，能够降低图像处理的复杂度。

并且，例如，也可以是，所述多个规定块分别相当于规定尺寸的块中的多个变换单元或规定尺寸以上的变换单元，在所述频率变换步骤中，按照每个变换单元对所述亮度数据和所述色差数据进行频率变换，在所述编码步骤中，对所述亮度数据和所述色差数据进行编码，输出按照每个所述规定块一起汇集所述亮度数据和所述色差数据而得到的所述码列。

根据该结构，能够分别将Y、U和V汇集为数个块进行处理，能够以某种程度统一输入Y、U和V各自的输入图像。由此，实现数据转送效率的提高。并且，在利用多个运算器并行处理YUV的数据单位的情况下，能够抑制YUV1集的像素数的偏差，实现运算器的工作率的提高。

并且，例如，也可以是，所述多个规定块分别相当于变换单元，在所述频率变换步骤中，按照每个变换单元对所述亮度数据和所述色差数据进行频率变换，在所述编码步骤中，对所述亮度数据和所述色差数据进行编码，输出按照每个变换单元一起汇集所述亮度数据和所述色差数据而得到的所述码列。

根据该结构，Y、U和V以简洁且适当的数据单位配置在码列中。因此，处理效率提高。

并且，本发明的一个方式的图像解码方法按照每个编码单元对图像进行解码，其中，该图像解码方法包括以下步骤：解码步骤，取得对包含分别相当于1个以上的变换单元的多个规定块的编码单元中的多个变换单元的亮度数据和色差数据进行频率变换并进行编码、且按照每个所述规定块一起汇集而得到的码列，对所述亮度数据和所述色差数据进行解码；以及逆频率变换步骤，对解码后的所述亮度数据和解码后的所述色差数据进行逆频率变换。

根据该结构，不对CU内的全部Y进行解码，也能够对U和V进行解码，不需要对Y和U的解码结果进行缓冲，能够削减缓冲用的存储器或寄存器。

例如，也可以是，所述多个规定块分别相当于规定尺寸的块中的多个变换单元或规定尺寸以上的变换单元，在所述解码步骤中，取得按照每个所述规定块一起汇集所述亮度数据和所述色差数据而得到的所述码列，对所述亮度数据和所述色差数据进行解码。

根据该结构，使用以适当的数据单位配置Y、U和V的码列。因此，处理效率提高。

并且，例如，也可以是，在所述逆频率变换步骤中，按照每个变换单元对所述亮度数据进行逆频率变换，在所述色差数据的像素数与所述亮度数据的像素数相等的情况下，按照每个变换单元对所述色差数据进行逆频率变换，在所述色差数据的像素数比所述亮度数据的像素数少的情况下，按照每个所述规定块对所述色差数据进行逆频率变换。

根据该结构，以与像素数对应的适当的数据单位对Y、U和V进行逆频率变换。因此，处理效率提高。

并且，例如，也可以是，在所述逆频率变换步骤中，对所述编码单元中的所述多个变换单元的所述色差数据中的、规定尺寸以下的块中的多个变换单元的色差数据进行一次逆频率变换。

根据该结构，避免了变换用的数据单位过小。因此，可以不设置较小的逆变换电路。并且，当考虑为了使U或V不小于最小TU而无法使Y成为最小TU尺寸的情况时，根据该结构，能够使Y成为最小TU尺寸，涉及编码效率的提高。

并且，例如，也可以是，在所述逆频率变换步骤中，在变换单元的尺寸为预定的最小尺寸、且所述变换单元的色差数据的像素数比所述变换单元的亮度数据的像素数少的情况下，对所述编码单元中的所述多个变换单元的所述色差数据中的、包含所述变换单元的块中的多个变换单元的色差数据进行一次逆频率变换。

根据该结构，在TU尺寸为最小的TU尺寸、并且如4：2：0或4：2：2格式等那样U或V的像素数比Y少的情况下，也能够进行使U和V分别不小于最小的TU尺寸的控制。因此，可以不设置比最小TU更小的逆变换电路。并且，当考虑为了使U或V不小于最小TU而无法使Y成为最小TU尺寸的情况时，根据该结构，能够使Y成为最小TU尺寸，涉及编码效率的提高。

并且，例如，也可以是，在所述解码步骤中，取得在规定块中的多个变换单元的全部亮度数据之后配置所述规定块中的所述多个变换单元的全部色差数据而得到的所述码列，对所述规定块中的所述多个变换单元的所述亮度数据和所述色差数据进行解码。

根据该结构，U和V接着Y之后，维持该顺序。因此，不需要考虑颠倒该顺序。由此，能够降低图像处理的复杂度。

并且，例如，也可以是，所述多个规定块分别相当于规定尺寸的块中的多个变换单元或规定尺寸以上的变换单元，在所述解码步骤中，取得按照每个所述规定块一起汇集所述亮度数据和所述色差数据而得到的所述码列，对所述亮度数据和所述色差数据进行解码，在所述逆频率变换步骤中，按照每个变换单元对所述亮度数据和所述色差数据进行逆频率变换。

根据该结构，能够分别将Y、U和V汇集为数个块进行处理，能够以某种程度统一输出Y、U和V各自的输出图像。由此，实现数据转送效率的提高。并且，在利用多个运算器并行处理YUV的数据单位的情况下，能够抑制YUV1集的像素数的偏差，实现运算器的工作率的提高。

并且，例如，也可以是，所述多个规定块分别相当于变换单元，在所述解码步骤中，取得按照每个变换单元一起汇集所述亮度数据和所述色差数据而得到的所述码列，对所述亮度数据和所述色差数据进行解码，在所述逆频率变换步骤中，按照每个变换单元对所述亮度数据和所述色差数据进行逆频率变换。

根据该结构，使用以简洁且适当的数据单位配置Y、U和V的码列。因此，处理效率提高。

另外，这些全部或具体的方式可以通过系统、装置、集成电路、计算机程序或计算机可读取的CD-ROM等非临时的记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序或记录介质的任意组合来实现。

下面，参照附图对实施方式进行具体说明。另外，以下说明的实施方式均示出全部或具体的例子。以下实施方式所示的数值、形状、材料、结构要素、结构要素的配置位置和连接方式、步骤、步骤的顺序等是一例，并不是限定本发明的意思。并且，关于以下实施方式的结构要素中的、在示出最上位概念的独立权利要求中没有记载的结构要素，作为任意的结构要素进行说明。

（实施方式1）

<结构>

图2示出本实施方式的图像编码装置的结构。该图像编码装置将输入图像分割为CU和TU，分别对YUV实施变换处理和编码，输出码列。该图像编码装置具有CU分割部101、TU分割部102、YUV分离部103、相邻块结合部104、Y变换部105、U变换部106、V变换部107、编码部108和YUV切换部109。

CU分割部101输入图像，按照指定的CU尺寸对图像进行分割。TU分割部102按照指定的TU尺寸对CU进行分割。YUV分离部103将TU分离为Y成分、U成分和V成分。在本实施方式中，图像格式为4：2：0格式，U成分和V成分的尺寸分别为Y成分的四分之一的尺寸。

相邻块结合部104分别针对U和V，根据TU尺寸和最小TU尺寸结合相邻块。Y变换部105、U变换部106和V变换部107分别对Y、U和V实施变换处理。编码部108对变换后的数据实施编码，输出码列。YUV切换部109根据TU尺寸来切换针对编码部108的输入。

图3示出码列的例子。如（A）那样，在CU尺寸和TU尺寸相同的情况下，与图1的现有例相同，但是，如（B）那样，在TU尺寸小于CU的情况下，与现有例不同，首先对TU0的Y0、U0和V0进行编码后，接着对TU1的Y1、U1和V1进行编码。并且，如（C）的TU0那样，在TU尺寸为最小TU尺寸的情况下，由于是4：2：0格式，所以，U和V块小于最小TU尺寸。该情况下，分别对U块和V块结合TU0、TU1、TU2和TU3，对结合后的块实施变换和编码，生成码列。

<动作>

接着，参照图4对编码流程进行说明。首先，CU分割部101按照指定的CU尺寸对输入图像进行分割而生成CU，将其输出到TU分割部102（S101）。接着，TU分割部102按照指定的TU尺寸对CU进行分割，将其输出到YUV分离部103（S102）。另外，由于图像编码装置对1张图像内的全部CU实施针对CU的处理（S102～S116），所以，反复进行图像内的CU个数的处理。

接着，YUV分离部103将TU分离为Y成分、U成分和V成分（S103）。在本实施方式中，图像格式为4：2：0格式，U成分和V成分的尺寸分别为Y成分的四分之一的尺寸。分离后的Y成分被输出到Y变换部105，U成分和V成分被输出到相邻块结合部104。另外，由于图像编码装置对1个CU内的全部TU实施针对TU的处理（S103～S116），所以，反复进行CU内的TU个数的处理。

接着，YUV切换部109进行切换，以使得Y变换部105的输出成为编码部108的输入（S104）。Y变换部105对Y实施变换处理，将变换后的结果输出到编码部108（S105）。编码部108对变换后的Y进行编码，输出码列（S106）。

接着，相邻块结合部104判定当前要变换和编码的U块是否已经与其他U块结合（S107）。然后，在U块与其他U块结合的情况下（S107：是），跳过针对U块和V块的处理（S108～S116）。在U块未与其他U块结合的情况下（S107：否），进行下一个处理（S108）。

具体而言，在U块未与其他U块结合的情况下（S107：否），相邻块结合部104判定TU内的U尺寸是否小于最小TU尺寸（S108）。然后，在U尺寸较小的情况下（S108：是），进行U块的结合处理（S109）。在U尺寸不小的情况下（S108：否），相邻块结合部104将当前要变换和编码的U块输出到U变换部106，将V块输出到V变换部107。然后，进行YUV切换的处理（S111）。

在U尺寸较小的情况下（S108：是），相邻块结合部104对当前要变换和编码的U块和右、下、右下的3个U块进行结合，生成4块的结合U块，将其输出到U变换部106（S109）。然后，相邻块结合部104对当前要变换和编码的V块和右、下、右下的3个V块进行结合，生成4块的结合V块，将其输出到V变换部107（S110）。

然后，YUV切换部109进行切换，以使得U变换部106的输出成为编码部108的输入（S111）。U变换部106对U实施变换处理，将变换后的结果输出到编码部108（S112）。编码部108对变换后的U进行编码，输出码列（S113）。

然后，YUV切换部109进行切换，以使得V变换部107的输出成为编码部108的输入（S114）。V变换部107对V实施变换处理，将变换后的结果输出到编码部108（S115）。编码部108对变换后的V进行编码，输出码列（S116）。

<效果>

以上，根据本实施方式，不在输出CU内的Y的全部码列之后，也能够输出U和V的码列，不需要对U和V进行缓冲，能够削减缓冲用的存储器或寄存器。

并且，在TU尺寸为最小的TU尺寸、并且如4：2：0或4：2：2格式等那样U或V的像素数比Y少的情况下，由于不小于最小的TU尺寸，所以，可以不设置比最小TU更小的变换电路。并且，当考虑为了使U或V不小于最小TU而无法使Y成为最小TU尺寸的情况时，根据该结构，能够使Y成为最小TU尺寸，涉及编码效率的提高。

另外，在本实施方式中，使用4：2：0格式，但是，也可以使用4：2：2或4：4：4等其他格式。

并且，在本实施方式中，从外部输入CU尺寸和TU尺寸。但是，也可以在装置内部针对数个图案或全部图案的尺寸计算编码效率，使用最佳的尺寸。

并且，在本实施方式中，如图3那样，结合后的U和V的块配置在结合后的TU内的左上TU的Y码列之后。但是，结合后的U和V的块也可以如图5那样配置在结合后的TU内的右下TU的Y码列之后。例如，该情况下，图4所示的动作如图6那样变形。

具体而言，如图6那样，在TU内的U尺寸为最小TU尺寸以上的情况下（S108：否），直接对U块和V块进行处理（S111～S116）。

然后，在TU内的U尺寸小于最小TU尺寸（S108：是）、并且处理对象的TU为第4个TU的情况下（S120：是），进行U块的结合处理（S109）和V块的结合处理（S110）。这里，第4个TU如图5的TU3或TU9那样，相当于最小TU尺寸的4个TU中的第4个进行处理的TU。

在U块的结合处理（S109）中，相邻块结合部104对处理对象的U块和左、上、左上的3个U块进行结合，生成4块的结合U块。并且，在V块的结合处理（S110）中，相邻块结合部104对处理对象的V块和左、上、左上的3个V块进行结合，生成4块的结合V块。然后，对U块和V块进行处理（S111～S116）。

在TU内的U尺寸小于最小TU尺寸（S108：是）、并且处理对象的TU不是第4个的情况下（S120：否），跳过针对U块和V块的处理（S111～S116）。其他动作与图4相同。这样，通过对动作进行变形，输出图5的码列。

在图5中，U和V接着Y之后，维持该顺序。因此，不需要考虑颠倒Y、U和V。由此，能够降低图像处理的复杂度。在图6中，判定处理对象的TU是否是第4个，但是，也可以判定处理对象的TU是否是结合对象的最后的TU。然后，在处理对象的TU是结合对象的最后的TU的情况下，进行结合处理（S109和S110）。

并且，在本实施方式中，对4个块进行结合，但是，在4：2：2格式中，也可以对2个块进行结合。例如，可以对水平方向上相邻的2个块进行结合。而且，可以利用2个块中的第1个进行处理的块进行结合处理，也可以利用第2个进行处理的块进行结合处理。

进而，本实施方式中的处理可以通过软件实现。而且，可以通过下载等发布该软件。并且，可以将该软件记录在CD-ROM等记录介质中进行流传。另外，在本说明书中的其他实施方式中也同样。

（实施方式2）

<结构>

图7示出本实施方式的图像编码装置的结构。由于YUV切换部109与上述实施方式1不同，所以，仅对YUV切换部109进行说明。

YUV切换部109根据TU尺寸和指定的最小块尺寸来切换针对编码部108的输入。具体而言，按照TU尺寸和最小块尺寸中的任意较大一方的数据单位进行切换，以使得针对编码部108的输入成为Y、U和V中的任意一方。在本实施方式中，最小块尺寸是比最小TU尺寸大的尺寸，是预定的固定尺寸。

图8示出码列的例子。如（A）、（B）样，在TU尺寸不小于最小块尺寸的情况下，码列与实施方式1相同。但是，如（C）那样，在TU小于最小块尺寸的情况下，码列与实施方式1不同。首先对TU0～TU3的Y0～Y3进行编码后，对U0～U3和V0～V3进行编码，接着对TU4的Y4、U4和V4进行编码。

<动作>

接着，参照图9对编码流程进行说明。首先，CU分割部101按照指定的CU尺寸对输入图像进行分割而生成CU，将其输出到TU分割部102（S201）。接着，TU分割部102按照指定的TU尺寸对CU进行分割，将其输出到YUV分离部103（S202）。另外，由于图像编码装置对1张图像内的全部CU实施针对CU的处理（S202～S222），所以，反复进行图像内的CU个数的处理。

接着，YUV切换部109判定TU尺寸是否小于最小块尺寸（S203）。然后，在TU尺寸较小的情况下（S203：是），进行编码的判定处理（S213）。在TU尺寸不小的情况下（S203：否），进行YUV的切换处理（S204）。另外，由于图像编码装置对1个CU内的全部TU实施针对TU的处理（S203～S222），所以，反复进行CU内的TU个数的处理。

在TU尺寸不小的情况下（S203：否），YUV切换部109进行切换，以使得Y变换部105的输出成为编码部108的输入（S204）。Y变换部105对Y实施变换处理，将变换后的结果输出到编码部108（S205）。编码部108对变换后的Y进行编码，输出码列（S206）。

接着，YUV切换部109进行切换，以使得U变换部106的输出成为编码部108的输入（S208）。U变换部106对U实施变换处理，将变换后的结果输出到编码部108（S208）。编码部108对变换后的U进行编码，输出码列（S209）。

接着，YUV切换部109进行切换，以使得V变换部107的输出成为编码部108的输入（S210）。V变换部107对V实施变换处理，将变换后的结果输出到编码部108（S211）。编码部108对变换后的V进行编码，输出码列（S212）。

在TU尺寸较小的情况下（S203：是），YUV切换部109判定当前要变换和编码的Y块、U块和V块是否已经编码（S213）。然后，在它们已经编码的情况下（S213：是），跳过针对TU的处理（S214～S222）。在它们未编码的情况下（S213：否），进行YUV的切换处理（S214）。

具体而言，在Y块、U块和V块未编码的情况下（S213：否），YUV切换部109进行切换，以使得Y变换部105的输出成为编码部108的输入（S214）。Y变换部105对Y实施变换处理，将变换后的结果输出到编码部108（S215）。另外，由于图像编码装置对最小块内的全部TU实施针对Y的处理（S215～S216），所以，反复进行最小块内的TU个数的处理。编码部108对变换后的Y进行编码，输出码列（S216）。

接着，YUV切换部109进行切换，以使得U变换部106的输出成为编码部108的输入（S217）。U变换部106对U实施变换处理，将变换后的结果输出到编码部108（S218）。另外，由于图像编码装置对最小块内的全部TU实施针对U的处理（S218～S219），所以，反复进行最小块内的TU个数的处理。编码部108对变换后的U进行编码，输出码列（S219）。

接着，YUV切换部109进行切换，以使得V变换部107的输出成为编码部108的输入（S220）。V变换部107对V实施变换处理，将变换后的结果输出到编码部108（S221）。另外，由于图像编码装置对最小块内的全部TU实施针对V的处理（S221～S222），所以，反复进行最小块内的TU个数的处理。编码部108对变换后的V进行编码，输出码列（S222）。

<效果>

以上，根据本实施方式，能够分别将Y、U和V汇集为数个块进行处理，能够以某种程度统一输入Y、U和V各自的输入图像。由此，实现数据转送效率的提高。这在使用闪存等高速存储器的系统中特别有效，能够持续对Y、U或V进行处理，由此，涉及闪存的比特率提高。并且，在利用多个运算器并行处理YUV的数据单位的情况下，能够抑制YUV的合计像素数的偏差，实现运算器的工作率的提高。使用图10对具体例进行说明。

图10假设存在4个对YUV1集进行处理的运算器的系统，从开头起依次对运算器A～运算器D分配YUV1集。在如（A）那样始终以TU尺寸配置YUV的情况下，与运算器A、运算器B相比，运算器C和运算器D的处理量较小，其结果，运算器C和运算器D的工作率变低。但是，如本实施方式那样，通过以最小块尺寸和TU尺寸中的任意较大一方的数据单位配置YUV，运算器A～运算器D的处理量相同，运算器C、运算器D的工作率提高。

（实施方式3）

<结构>

图11示出本实施方式的图像解码装置的结构。在对由实施方式1所示的图像编码装置编码的码列进行解码时，使用该图像解码装置。该图像解码装置具有解码部301、Y逆变换部302、U逆变换部303、V逆变换部304、YUV结合部305、TU结合部306、CU结合部307、YUV切换部308和相邻块分割部309。

解码部301对码列实施解码，输出变换后的YUV数据。Y逆变换部302、U逆变换部303和V逆变换部304分别对Y、U和V实施逆变换处理。YUV结合部305对Y成分、U成分和V成分进行结合。在本实施方式中，图像格式为4：2：0格式，U成分和V成分的尺寸分别为Y成分的四分之一的尺寸。

TU结合部306根据指定的TU尺寸对CU内的TU进行结合，生成CU。CU结合部307根据指定的CU尺寸对图像内的CU进行结合，生成图像。YUV切换部308根据TU尺寸来切换解码部301的输出目的地。相邻块分割部309根据TU尺寸和最小TU尺寸对U和V各自的逆变换结果进行四分割。

<动作>

接着，参照图12对解码流程进行说明。首先，YUV切换部308进行切换，以使得解码部301的输出目的地成为Y逆变换部302（S301）。另外，由于图像解码装置对1个CU内的全部TU实施针对TU的处理（S301～S314），所以，反复进行CU内的TU个数的处理。并且，由于图像解码装置对1张图像内的全部CU实施针对CU的处理（S301～S315），所以，反复进行图像内的CU个数的处理。

接着，解码部301对码列进行解码，将其输出到Y逆变换部302（S302）。Y逆变换部302对Y实施逆变换处理，将逆变换后的结果输出到YUV结合部305（S303）。

接着，相邻块分割部309判定当前要解码的U块是否已经解码（S304）。然后，在U块已经解码的情况下（S304：是），跳过针对U块和V块的处理（S305～S313）。在U块未解码的情况下（S304：否），进行YUV的切换处理（S305）。

具体而言，在U块未解码的情况下（S304：否），YUV切换部308进行切换，以使得解码部301的输出被输入到U逆变换部303（S305）。解码部301对码列进行解码，将其输出到U逆变换部303（S306）。U逆变换部303对U实施逆变换处理，将逆变换后的结果输出到相邻块分割部309（S307）。

接着，YUV切换部308进行切换，以使得解码部301的输出被输入到V逆变换部304（S308）。解码部301对码列进行解码，将其输出到V逆变换部304（S309）。V逆变换部304对V实施逆变换处理，将逆变换后的结果输出到相邻块分割部309（S310）。

接着，相邻块分割部309判定TU内的U尺寸是否小于最小TU尺寸（S311）。然后，在U尺寸较小的情况下（S311：是），进行U块的分割处理（S312）。在U尺寸不小的情况下（S311：否），直接将作为输入的U和V的逆变换结果输出到YUV结合部305，进行YUV的结合处理（S314）。

在U尺寸较小的情况下（S311：是），相邻块分割部309将逆变换后的U块四分割为纵半部分和横半部分，将其输出到YUV结合部305（S312）。相邻块分割部309将逆变换后的V块四分割为纵半部分和横半部分，将其输出到YUV结合部305（S313）。

YUV结合部305对Y成分、U成分和V成分进行结合，生成TU的像素值（S314）。TU结合部306对CU内的TU进行结合，生成CU（S315）。CU结合部307对图像内的CU进行结合，生成图像（S316）。

<效果>

以上，根据本实施方式，不对CU内的全部Y进行解码，也能够对U和V进行解码，不需要对Y和U的解码结果进行缓冲，能够削减缓冲用的存储器或寄存器。

并且，在TU尺寸为最小的TU尺寸、并且如4：2：0或4：2：2格式等那样U或V的像素数比Y少的情况下，由于不小于最小的TU尺寸，所以，可以不设置比最小TU更小的逆变换电路。并且，当考虑为了使U或V不小于最小TU而无法使Y成为最小TU尺寸的情况时，根据该结构，能够使Y成为最小TU尺寸，涉及编码效率的提高。

另外，在本实施方式中，使用4：2：0格式，但是，也可以使用4：2：2或4：4：4等其他格式。在使用4：2：2格式的情况下，代替对U块和V块进行四分割的处理（图12的S312和S313），相邻块分割部309可以将U块和V块二分割为左右部分。

并且，在本实施方式中，从外部输入CU尺寸和TU尺寸。但是，CU尺寸和TU尺寸也可以存在于码列内。而且，解码部301也可以对CU尺寸和TU尺寸进行解码并取得。

并且，在使用图5的码列的情况下，代替U块是否已经解码的判定（图12的S304），相邻块分割部309也可以判定是否存在处理对象的U块。然后，在不存在处理对象的U块的情况下，图像解码装置可以跳过针对U和V的处理（图12的S305～S314）。由此，与图3的码列同样，图像解码装置能够对图5的码列进行解码。

（实施方式4）

<结构>

图13示出本实施方式的图像解码装置的结构。在对由实施方式2所示的图像编码装置编码的码列进行解码时，使用该图像解码装置。由于YUV切换部308与上述实施方式3不同，所以，仅对YUV切换部308进行说明。

YUV切换部308根据TU尺寸和指定的最小块尺寸来切换解码部301的输出目的地。具体而言，按照TU尺寸和最小块尺寸中的任意较大一方的数据单位，将解码部301的输出目的地切换为Y逆变换部302、U逆变换部303和V逆变换部304中的任意一方。

<动作>

接着，参照图14对解码流程进行说明。首先，YUV切换部308判定TU尺寸是否小于最小块尺寸（S401）。然后，在TU尺寸较小的情况下（S401：是），进行解码的判定处理（S411）。在TU尺寸不小的情况下（S401：否），进行YUV的切换处理（S402）。

另外，由于图像解码装置对1个CU内的全部TU实施针对TU的处理（S401～S421），所以，反复进行CU内的TU个数的处理。并且，由于图像解码装置对1张图像内的全部CU实施针对CU的处理（S401～S422），所以，反复进行图像内的CU个数的处理。

在判定后，在TU尺寸不小的情况下（S401：否），YUV切换部308进行切换，以使得解码部301的输出目的地成为Y逆变换部302（S402）。解码部301对码列进行解码，将其输出到Y逆变换部302（S403）。Y逆变换部302对Y实施逆变换处理，将逆变换后的结果输出到YUV结合部305（S404）。

接着，YUV切换部308进行切换，以使得解码部301的输出目的地成为U逆变换部303（S405）。解码部301对码列进行解码，将其输出到U逆变换部303（S406）。U逆变换部303对U实施逆变换处理，将逆变换后的结果输出到YUV结合部305（S407）。

接着，YUV切换部308进行切换，以使得解码部301的输出目的地成为V逆变换部304（S408）。解码部301对码列进行解码，将其输出到V逆变换部304（S409）。V逆变换部304对V实施逆变换处理，将逆变换后的结果输出到YUV结合部305（S410）。

在TU尺寸较小的情况下（S401：是），YUV切换部308判定当前要解码的块是否已经解码（S411）。然后，在块已经解码的情况下（S411：是），进行YUV的结合处理（S421）。在块未解码的情况下（S411：否），进行YUV的切换处理（S412）。

具体而言，在块未解码的情况下（S411：否），YUV切换部308进行切换，以使得解码部301的输出目的地成为Y逆变换部302（S412）。解码部301对码列进行解码，将其输出到Y逆变换部302（S413）。另外，由于图像解码装置对最小块内的全部TU实施针对Y的处理（S413～S414），所以，反复进行最小块内的TU个数的处理。Y逆变换部302对Y实施逆变换处理，将逆变换后的结果输出到YUV结合部305（S414）。

接着，YUV切换部308进行切换，以使得解码部301的输出目的地成为U逆变换部303（S415）。解码部301对码列进行解码，将其输出到U逆变换部303（S416）。另外，由于图像解码装置对最小块内的全部TU实施针对U的处理（S416～S417），所以，反复进行最小块内的TU个数的处理。U逆变换部303对U实施逆变换处理，将逆变换后的结果输出到YUV结合部305（S417）。

接着，YUV切换部308进行切换，以使得解码部301的输出目的地成为V逆变换部304（S418）。解码部301对码列进行解码，将其输出到V逆变换部304（S419）。另外，由于图像解码装置对最小块内的全部TU实施针对V的处理（S419～S420），所以，反复进行最小块内的TU个数的处理。V逆变换部304对V实施逆变换处理，将逆变换后的结果输出到YUV结合部305（S420）。

在分别对Y、U和V进行处理后，YUV结合部305对Y成分、U成分和V成分进行结合，生成TU的像素值（S421）。TU结合部306对CU内的TU进行结合，生成CU（S422）。CU结合部307对图像内的CU进行结合，生成图像（S423）。

<效果>

以上，根据本实施方式，能够分别将Y、U和V汇集为数个块进行处理，能够以某种程度统一输出Y、U和V各自的输出图像。由此，实现数据转送效率的提高。并且，在利用多个运算器并行处理YUV的数据单位的情况下，能够抑制YUV的合计像素数的偏差，实现运算器的工作率的提高。

（实施方式5）

在本实施方式中，确认示出实施方式1～4中包含的特征性的结构和顺序。本实施方式的结构和顺序对应于实施方式1～4所示的结构和顺序。即，实施方式1～4所示的概念包含本实施方式的结构和顺序。

图15A是表示本实施方式的图像编码装置的结构的框图。图15A所示的图像编码装置500按照每个编码单元对图像进行编码。并且，图像编码装置500具有频率变换部501和编码部502。频率变换部501对应于实施方式1或实施方式2所示的Y变换部105、U变换部106和V变换部107等。编码部502对应于实施方式1或实施方式2所示的编码部108等。

图15B是用于说明图15A所示的图像编码装置500的动作的流程图。

首先，频率变换部501对编码单元中的多个变换单元的亮度数据和色差数据进行频率变换（S501）。该编码单元包含多个规定块。多个规定块分别相当于1个以上的变换单元。

接着，编码部502对频率变换后的亮度数据和频率变换后的色差数据进行编码，输出码列（S502）。该码列是按照每个规定块一起汇集亮度数据和色差数据而得到的码列。

由此，能够削减用于对多个变换单元的数据进行缓冲的存储器或寄存器。即，高效地对图像进行编码。

图16A是表示本实施方式的图像解码装置的结构的框图。图16A所示的图像解码装置600按照每个编码单元对图像进行解码。并且，图像解码装置600具有解码部601和逆频率变换部602。解码部601对应于实施方式3或实施方式4所示的解码部301等。逆频率变换部602对应于实施方式3或实施方式4所示的Y逆变换部302、U逆变换部303和V逆变换部304等。

图16B是用于说明图16A所示的图像解码装置600的动作的流程图。

首先，解码部601取得码列，对亮度数据和色差数据进行解码（S601）。该码列是对编码单元中的多个变换单元的亮度数据和色差数据进行频率变换并进行编码、且按照每个规定块一起汇集而得到的码列。并且，该编码单元包含多个规定块。多个规定块分别相当于1个以上的变换单元。

接着，逆频率变换部602对解码后的亮度数据和解码后的色差数据进行逆频率变换（S602）。

由此，能够削减用于对多个变换单元的数据进行缓冲的存储器或寄存器。即，高效地对图像进行解码。

另外，例如，也可以是，多个规定块分别相当于变换单元。并且，例如，也可以是，多个规定块分别相当于规定尺寸的块中的多个变换单元或规定尺寸以上的变换单元。规定尺寸可以是变换单元的规定最小尺寸的2倍，也可以是4倍。规定尺寸也可以根据图像格式来切换。

并且，例如，也可以是，在码列中，连续地一起汇集多个规定块中的每一个规定块的亮度数据和色差数据。并且，例如，也可以是，在码列中，规定块中的多个变换单元的全部色差数据配置在规定块中的多个变换单元的全部亮度数据之后。并且，例如，也可以是，在码列中，在第1规定块的亮度数据和色差数据之后配置第2规定块的亮度数据和色差数据。

并且，例如，也可以是，频率变换部501按照每个变换单元对亮度数据和色差数据进行频率变换，逆频率变换部602按照每个变换单元对亮度数据和色差数据进行逆频率变换。并且，例如，也可以是，在色差数据的像素数比亮度数据的像素数少的情况下，频率变换部501按照每个规定块对色差数据进行频率变换，逆频率变换部602按照每个规定块对色差数据进行逆频率变换。

并且，例如，也可以是，频率变换部501对规定尺寸以下的块中的多个变换单元的色差数据进行结合，对结合后的色差数据进行一次频率变换。频率变换部501也可以在变换单元的尺寸为预定的最小尺寸、且变换单元的色差数据的像素数比变换单元的亮度数据的像素数少的情况下进行这种处理。图像编码装置500也可以具有对多个变换单元的色差数据进行结合的结合部。

并且，例如，也可以是，逆频率变换部602对规定尺寸以下的块中的多个变换单元的色差数据进行一次逆频率变换。逆频率变换部602也可以在变换单元的尺寸为预定的最小尺寸、且变换单元的色差数据的像素数比变换单元的亮度数据的像素数少的情况下进行这种处理。图像解码装置600也可以具有对色差数据进行分割的分割部。

并且，例如，也可以是，图像编码解码装置具有图像编码装置500和图像解码装置600。并且，也可以将其他实施方式所示的结构要素追加在图像编码装置500或图像解码装置600中。

在以上的各实施方式中，各个功能块通常可以由MPU或存储器等实现。并且，各个功能块的处理通常可以由软件（程序）实现，该软件记录在ROM等记录介质中。而且，可以通过下载等发布这种软件，也可以将其记录在CD-ROM等记录介质中进行发布。另外，各功能块当然也可以由硬件（专用电路）实现。

并且，各实施方式中说明的处理可以通过使用单一装置（系统）进行集中处理而实现，或者，也可以通过使用多个装置进行分散处理而实现。并且，执行上述程序的计算机可以是单个，也可以是多个。即，可以进行集中处理，或者也可以进行分散处理。

本发明不限于以上实施方式，能够进行各种变更，它们当然也包含在本发明的范围内。例如，特定处理部执行的处理可以由其他处理部执行。并且，可以对执行处理的顺序进行变更，也可以并行执行多个处理。

并且，如上所述，在上述各实施方式中，各结构要素可以由专用的硬件构成，或者，可以通过执行适于各结构要素的软件程序来实现。通过由CPU或处理器等程序执行部读出记录在硬盘或半导体存储器等记录介质中的软件程序并执行，可以实现各结构要素。这里，实现上述各实施方式的图像编码装置等的软件是如下的程序。

即，该程序使计算机执行按照每个编码单元对图像进行编码的图像编码方法，其中，该图像编码方法包括以下步骤：频率变换步骤，对包含分别相当于1个以上的变换单元的多个规定块的编码单元中的多个变换单元的亮度数据和色差数据进行频率变换；以及编码步骤，对频率变换后的所述亮度数据和频率变换后的所述色差数据进行编码，输出按照每个所述规定块一起汇集所述亮度数据和所述色差数据而得到的码列。

并且，该程序使计算机执行按照每个编码单元对图像进行解码的图像解码方法，其中，该图像解码方法包括以下步骤：解码步骤，取得对包含分别相当于1个以上的变换单元的多个规定块的编码单元中的多个变换单元的亮度数据和色差数据进行频率变换并进行编码、且按照每个所述规定块一起汇集而得到的码列，对所述亮度数据和所述色差数据进行解码；以及逆频率变换步骤，对解码后的所述亮度数据和解码后的所述色差数据进行逆频率变换。

以上根据实施方式说明了一个或多个方式的图像编码方法和图像解码方法，但是，本发明不限于该实施方式。只要不脱离本发明的主旨，则对本实施方式施加本领域技术人员想到的各种变形而得到的方式、组合不同实施方式中的结构要素而构筑的方式也可以包含在一个或多个方式的范围内。

（实施方式6）

通过将用来实现上述各实施方式所示的运动图像编码方法（图像编码方法）或运动图像解码方法（图像解码方法）的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。

进而，这里说明在上述各实施方式中示出的运动图像编码方法（图像编码方法）及运动图像解码方法（图像解码方法）的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。

图17是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。

该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex107～ex110连接着计算机ex111、PDA（PersonalDigital Assistant）ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。

但是，内容供给系统ex100并不限定于图17那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex107～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。

照相机ex113是能够进行数字摄像机等的运动图像摄影的设备，照相机ex116是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外，便携电话ex114是GSM（Global System for Mobile Communications）方式、CDMA（Code Division Multiple Access）方式、W－CDMA（Wideband－Code Division Multiple Access）方式、或LTE（Long Term Evolution）方式、HSPA（High Speed Packet Access）的便携电话机、或PHS（PersonalHandyphone System）等，是哪种都可以。

在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场转播等。在现场转播中，对用户使用照相机ex113摄影的内容（例如音乐会现场的影像等）如在上述各实施方式中说明那样进行编码处理（即，作为本发明的一个方式的图像编码装置发挥作用），向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现（即，作为本发明的一个方式的图像解码装置发挥作用）。

另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或运动图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。

此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质（CD－ROM、软盘、硬盘等）中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话ex114具有的LSIex500编码处理的数据。

此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。

如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。

另外，并不限定于内容供给系统ex100的例子，如图18所示，在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置（图像编码装置）或运动图像解码装置（图像解码装置）的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据（即，通过本发明的一个方式的图像编码装置编码后的数据）。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机（接收机）ex300或机顶盒（STB）ex217等的装置将接收到的复用数据解码并将其再现（即，作为本发明的一个方式的图像解码装置发挥作用）。

此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。

图19是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机（接收机）ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。

此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305（即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用）的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。

首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以是，在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。

此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。

此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。

作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图20中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。

以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近场光进行高密度的记录的结构。

在图21中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽（沟），在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。

以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。

此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另外，车载导航仪ex211的结构可以考虑例如在图19所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。

图22A是表示使用在上述实施方式中说明的运动图像解码方法和运动图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。

进而，使用图22B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD（Liquid Crystal Display：液晶显示器）控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。

电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作的状态。

便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。

进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex350。

在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码（即，作为本发明的一个方式的图像编码装置发挥作用），将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。

复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部（调制/解调电路部）ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。

在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由此对影像信号进行解码（即，作为本发明的一个方式的图像解码装置发挥作用），经由LCD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。

此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。

这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。

此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。

（实施方式7）

也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的标准的运动图像编码方法或装置根据需要而适当切换，来生成影像数据。

这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。

为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。

图23是表示复用数据的结构的图。如图23所示，复用数据通过将视频流、音频流、演示图形流（PG）、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流（IG）表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的运动图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。

包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。

图24是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。

图25更详细地表示在PES包序列中怎样保存视频流。图25的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图25的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS（PresentationTime-Stamp）及作为图片的解码时刻的DTS（Decoding Time-Stamp）。

图26表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS（Arrival_Time_Stamp）等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图26下段所示排列，从复用数据的开头起递增的号码被称作SPN（源包号）。

此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT（Program Association Table）、PMT（Program Map Table）、PCR（Program Clock Reference）等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC（Arrival Time Clock）与作为PTS及DTS的时间轴的STC（System TimeClock）的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。

图27是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息（帧速率、纵横比等）的流描述符构成。流描述符存在复用数据中存在的流的数量。

在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。

复用数据信息文件如图28所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。

复用数据信息如图28所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。

流属性信息如图29所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。

在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。

此外，在图30中表示本实施方式的运动图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的运动图像解码方法进行解码。

这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述任何设备、系统中。

（实施方式8）

在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图31中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。

例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。

另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。

此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex510的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。

另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。

此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA（Field ProgrammableGate Array）、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。

进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。

（实施方式9）

在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。

为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图32表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。

更具体地讲，驱动频率切换部ex803由图31的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图31的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式7中记载的识别信息。关于识别信息，并不限定于在实施方式7中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图34所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。

图33表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。

进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。

此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。

进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定得短。

这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。

（实施方式10）

在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。

为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部一部分共用的结构。图35A的ex900表示该结构例。例如，在上述各实施方式中示出的运动图像解码方法和依据MPEG4－AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC标准的解码处理部ex902，关于不对应于MPEG4－AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。特别是，本发明的一个方式在熵解码方面具有特征，因此可以考虑例如对于熵解码使用专用的解码处理部ex901，对于除此之外的逆量化、解块滤波器、运动补偿中的某一个或者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4－AVC标准所特有的处理内容，使用专用的解码处理部。

此外，用图35B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。

这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。

产业上的可利用性

本发明的图像编码方法和图像解码方法在摄像机、带照相机的便携电话、DVD记录器或电视机等各种图像编码装置和图像解码装置中是有用的。

标号说明

101：CU分割部；102：TU分割部；103：YUV分离部；104：相邻块结合部；105：Y变换部；106：U变换部；107：V变换部；108、502：编码部；109、308：YUV切换部；301、601：解码部；302：Y逆变换部；303：U逆变换部；304：V逆变换部；305：YUV结合部；306：TU结合部；307：CU结合部；309：相邻块分割部；500：图像编码装置；501：频率变换部；600：图像解码装置；602：逆频率变换部。

Claims (19)

1.一种图像编码方法，按照每个编码单元对图像进行编码，其中，该图像编码方法包括以下步骤：

频率变换步骤，对包含分别相当于1个以上的变换单元的多个规定块的编码单元中的多个变换单元的亮度数据和色差数据进行频率变换；以及

编码步骤，对频率变换后的所述亮度数据和频率变换后的所述色差数据进行编码，输出按照每个所述规定块一起汇集所述亮度数据和所述色差数据而得到的码列。

2.如权利要求1所述的图像编码方法，其中，

所述多个规定块分别相当于规定尺寸的块中的多个变换单元或规定尺寸以上的变换单元，

在所述编码步骤中，对所述亮度数据和所述色差数据进行编码，输出按照每个所述规定块一起汇集所述亮度数据和所述色差数据而得到的所述码列。

3.如权利要求1或2所述的图像编码方法，其中，

在所述频率变换步骤中，

按照每个变换单元对所述亮度数据进行频率变换，

在所述色差数据的像素数与所述亮度数据的像素数相等的情况下，按照每个变换单元对所述色差数据进行频率变换，

在所述色差数据的像素数比所述亮度数据的像素数少的情况下，按照每个所述规定块对所述色差数据进行频率变换。

4.如权利要求1～3中的任意一项所述的图像编码方法，其中，

在所述频率变换步骤中，对所述编码单元中的所述多个变换单元的所述色差数据中的、规定尺寸以下的块中的多个变换单元的色差数据进行结合，对结合后的所述色差数据进行一次频率变换。

5.如权利要求1～4中的任意一项所述的图像编码方法，其中，

在所述频率变换步骤中，在变换单元的尺寸为预定的最小尺寸、且所述变换单元的色差数据的像素数比所述变换单元的亮度数据的像素数少的情况下，对所述编码单元中的所述多个变换单元的所述色差数据中的、包含所述变换单元的块中的多个变换单元的色差数据进行结合，对结合后的所述色差数据进行一次频率变换。

6.如权利要求1～5中的任意一项所述的图像编码方法，其中，

在所述编码步骤中，对规定块中的多个变换单元的亮度数据和色差数据进行编码，输出在所述规定块中的所述多个变换单元的全部所述亮度数据之后配置所述规定块中的所述多个变换单元的全部所述色差数据而得到的所述码列。

7.如权利要求1或2所述的图像编码方法，其中，

所述多个规定块分别相当于规定尺寸的块中的多个变换单元或规定尺寸以上的变换单元，

在所述频率变换步骤中，按照每个变换单元对所述亮度数据和所述色差数据进行频率变换，

在所述编码步骤中，对所述亮度数据和所述色差数据进行编码，输出按照每个所述规定块一起汇集所述亮度数据和所述色差数据而得到的所述码列。

8.如权利要求1所述的图像编码方法，其中，

所述多个规定块分别相当于变换单元，

在所述频率变换步骤中，按照每个变换单元对所述亮度数据和所述色差数据进行频率变换，

在所述编码步骤中，对所述亮度数据和所述色差数据进行编码，输出按照每个变换单元一起汇集所述亮度数据和所述色差数据而得到的所述码列。

9.一种图像解码方法，按照每个编码单元对图像进行解码，其中，该图像解码方法包括以下步骤：

解码步骤，取得对包含分别相当于1个以上的变换单元的多个规定块的编码单元中的多个变换单元的亮度数据和色差数据进行频率变换并进行编码、且按照每个所述规定块一起汇集而得到的码列，对所述亮度数据和所述色差数据进行解码；以及

逆频率变换步骤，对解码后的所述亮度数据和解码后的所述色差数据进行逆频率变换。

10.如权利要求9所述的图像解码方法，其中，

所述多个规定块分别相当于规定尺寸的块中的多个变换单元或规定尺寸以上的变换单元，

在所述解码步骤中，取得按照每个所述规定块一起汇集所述亮度数据和所述色差数据而得到的所述码列，对所述亮度数据和所述色差数据进行解码。

11.如权利要求9或10所述的图像解码方法，其中，

在所述逆频率变换步骤中，

按照每个变换单元对所述亮度数据进行逆频率变换，

在所述色差数据的像素数与所述亮度数据的像素数相等的情况下，按照每个变换单元对所述色差数据进行逆频率变换，

在所述色差数据的像素数比所述亮度数据的像素数少的情况下，按照每个所述规定块对所述色差数据进行逆频率变换。

12.如权利要求9～11中的任意一项所述的图像解码方法，其中，

在所述逆频率变换步骤中，对所述编码单元中的所述多个变换单元的所述色差数据中的、规定尺寸以下的块中的多个变换单元的色差数据进行一次逆频率变换。

13.如权利要求9～12中的任意一项所述的图像解码方法，其中，

在所述逆频率变换步骤中，在变换单元的尺寸为预定的最小尺寸、且所述变换单元的色差数据的像素数比所述变换单元的亮度数据的像素数少的情况下，对所述编码单元中的所述多个变换单元的所述色差数据中的、包含所述变换单元的块中的多个变换单元的色差数据进行一次逆频率变换。

14.如权利要求9～13中的任意一项所述的图像解码方法，其中，

在所述解码步骤中，取得在规定块中的多个变换单元的全部亮度数据之后配置所述规定块中的所述多个变换单元的全部色差数据而得到的所述码列，对所述规定块中的所述多个变换单元的所述亮度数据和所述色差数据进行解码。

15.如权利要求9或10所述的图像解码方法，其中，

所述多个规定块分别相当于规定尺寸的块中的多个变换单元或规定尺寸以上的变换单元，

在所述解码步骤中，取得按照每个所述规定块一起汇集所述亮度数据和所述色差数据而得到的所述码列，对所述亮度数据和所述色差数据进行解码，

在所述逆频率变换步骤中，按照每个变换单元对所述亮度数据和所述色差数据进行逆频率变换。

16.如权利要求9所述的图像解码方法，其中，

所述多个规定块分别相当于变换单元，

在所述解码步骤中，取得按照每个变换单元一起汇集所述亮度数据和所述色差数据而得到的所述码列，对所述亮度数据和所述色差数据进行解码，

在所述逆频率变换步骤中，按照每个变换单元对所述亮度数据和所述色差数据进行逆频率变换。

17.一种图像编码装置，按照每个编码单元对图像进行编码，其中，该图像编码装置具有：

频率变换部，对包含分别相当于1个以上的变换单元的多个规定块的编码单元中的多个变换单元的亮度数据和色差数据进行频率变换；以及

编码部，对频率变换后的所述亮度数据和频率变换后的所述色差数据进行编码，输出按照每个所述规定块一起汇集所述亮度数据和所述色差数据而得到的码列。

18.一种图像解码装置，按照每个编码单元对图像进行解码，其中，该图像解码装置具有：

解码部，取得对包含分别相当于1个以上的变换单元的多个规定块的编码单元中的多个变换单元的亮度数据和色差数据进行频率变换并进行编码、且按照每个所述规定块一起汇集而得到的码列，对所述亮度数据和所述色差数据进行解码；以及

逆频率变换部，对解码后的所述亮度数据和解码后的所述色差数据进行逆频率变换。

19.一种图像编码解码装置，其中，该图像编码解码装置具有：

图像编码装置，按照每个编码单元对图像进行编码；以及

图像解码装置，按照每个编码单元对图像进行解码，

所述图像编码装置具有：

频率变换部，对包含分别相当于1个以上的变换单元的多个规定块的编码单元中的多个变换单元的亮度数据和色差数据进行频率变换；以及

编码部，对频率变换后的所述亮度数据和频率变换后的所述色差数据进行编码，输出按照每个所述规定块一起汇集所述亮度数据和所述色差数据而得到的码列，

所述图像解码装置具有：

解码部，取得对包含分别相当于1个以上的变换单元的多个规定块的编码单元中的多个变换单元的亮度数据和色差数据进行频率变换并进行编码、且按照每个所述规定块一起汇集而得到的码列，对所述亮度数据和所述色差数据进行解码；以及

逆频率变换部，对解码后的所述亮度数据和解码后的所述色差数据进行逆频率变换。

Images