CN103404139B - 图像信号处理装置以及图像信号处理方法 - Google Patents

Abstract

能够减小存储元件的容量的图像处理装置具备：第一可变长解码部(504)，通过对编码流进行第一处理，从而按每个第一处理单位，依次输出该第一处理单位中包含的至少1个成分；顺序调换部(601)，通过调换从第一可变长解码部(504)输出的多个成分的顺序，按每个与第一处理单位不同的第二处理单位，依次输出该第二处理单位中包含的至少1个成分；以及第二逆量化部(602)，针对从顺序调换部(601)输出的多个成分，按每个第二处理单位进行第二处理。

Description

图像信号处理装置以及图像信号处理方法

技术领域

本发明涉及对编码流进行图像处理的图像处理装置，该编码流通过按每个编码单位块对图像进行编码而得到。

背景技术

对运动图像进行编码的图像编码装置，将构成运动图像的各个图片分割为多个块。而且，图像编码装置，按光栅扫描顺序对各块进行编码。图像编码装置通过对运动图像进行编码并压缩，生成编码流（比特流）。图像解码装置，针对该编码流以光栅扫描顺序按每个块进行解码，再生原来的运动图像的各个图片。

作为以往的图像编码方式之一有ITU-T H.264标准（例如参考非专利文献1）。图像解码装置为了解码以H.264标准进行了编码的图像，首先读入编码流。而且，图像解码装置，在对各种头信息进行解码之后，进行可变长解码。图像解码装置，对通过可变长解码而得到的系数信息进行逆量化，进行逆频率变换。这样，生成差分图像。

接着，图像解码装置，按照通过可变长解码而得到的块类型，进行帧内预测（也被称为Intra-frame预测）或帧间预测（也被称为Inter-frame预测）。这样，图像解码装置生成预测图像。之后，图像解码装置通过将预测图像与差分图像相加，从而进行图像重构处理。而且，图像解码装置对通过图像重构处理得到的重构图像进行解块滤波处理，从而对解码对象图像（被编码的图像）进行解码。

在该H.264标准中，各块的尺寸经常以16x16像素构成，进行解码的各处理通常也以该16x16像素的块单位来进行。

近几年，如4k2k（3840x2160像素）等一样地超高精细显示器的开发一直在进行。因此，可以预想进行处理的图像的像素数会越来越多。因此，在持续以16x16像素单位进行编码以及解码的H.264标准涉及的图像编码装置中，需要的块数增加，导致编码效率下降。

另一方面，作为下一代图像编码标准而提出的技术中，有这样的解决课题的技术（例如参考非专利文献2）。该技术中与以往的H.264标准对应的编码单位块的尺寸是能够变的。而且，这个技术涉及的图像编码装置，能够以比以往的16x16像素大的块来编码图像，能够提高编码效率。

此外，还存在这样的技术，将用于对编码流进行解码的各个处理并行地进行，从而提高解码效率的流水线处理技术（例如参考专利文献1）。另外，下面将图像编码装置以及图像解码装置一样地处理编码流的装置称为图像处理装置。

(现有技术文献)

(专利文献)

专利文献1∶日本特开2005-295526号公报

(非专利文献)

非专利文献1：ITU-T H.264标准书Advanced video coding for genericaudiovisual services，2005年3月发行

非专利文献2：“Working Draft4of High-Efficiency Video Coding”，[online]，Joint Collaborative Team on Video Coding(JCT-VC)，2011年11月20日，[2011年12月6日检索]，互联网＜URL∶http∶//phenix.int-evry.fr/jct/doc_end_user/documents/6_Torino/wg11/JCTVC-F803-v8.zip＞

然而，所述非专利文献2以及专利文献1的图像处理装置中存在这样的课题，随着构成图像的块的尺寸的大型化，为了对该图像进行处理而使用的存储元件需要很多的容量。

发明内容

于是，本发明是解决所述课题的发明，其目的在于提供一种能够减小为了对图像进行处理而使用的存储元件的容量的图像处理装置。

本发明的一个方案涉及的图像处理装置，对编码流进行规定的处理，所述编码流是通过对图像进行编码而生成的编码流，所述图像处理装置具备：第一处理部，通过对所述编码流进行第一处理，从而按每个第一处理单位，依次输出该第一处理单位中包含的至少一个成分；调换部，通过调换从所述第一处理部输出的多个成分的顺序，从而按每个第二处理单位，依次输出该第二处理单位中包含的至少一个成分，所述第二处理单位是与所述第一处理单位不同的处理单位；以及第二处理部，针对从所述调换部输出的多个成分，按每个所述第二处理单位进行第二处理。

另外，这些全体或具体的实施例，可以用系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以任意组合系统、方法、集成电路、计算机程序以及记录介质来实现。

本发明的图像处理装置能够减小为了对图像进行处理而使用的存储元件的容量。

附图说明

图1A是示出针对规定的尺寸的CU和TU的系数信息的存放顺序的图。

图1B是示出针对其他尺寸的CU和TU的系数信息的存放顺序的图。

图2是示出以往的图像处理装置的构成的方框图。

图3是示出设想的图像处理装置的构成的方框图。

图4是示出设想的其他图像处理装置的构成的方框图。

图5是示出实施例1的图像解码装置的构成的方框图。

图6是从其他观点示出实施例1的图像解码装置的构成的方框图。

图7A是示出流的构成的构成图。

图7B是示出图片的构成的构成图。

图7C是示出流内的数据数组的图。

图8是示出实施例1的图像解码装置的解码工作的流程图。

图9是示出由实施例1的图像解码装置进行的编码单元(CU)的解码工作的流程图。

图10是用于说明在实施例1的系数信息的调换的图。

图11是示出实施例1中的顺序调换部的处理工作的流程图。

图12是示出实施例1的多个系数信息写入到存储器的写入顺序的流程图。

图13是示出在实施例1的多个系数信息写入到存储器的写入顺序以及读出的顺序的图。

图14是示出实施例2的图像处理装置的构成的方框图。

图15是示出实施例2的流变换部的构成的方框图。

图16是表示实施例2的流变换部的处理动作的流程图。

图17是示出实施例2的图像解码装置的构成的方框图。

图18是示出实施例3的图像处理装置的构成的方框图。

图19是示出实施例3的流变换部的构成的方框图。

图20是示出实施例3的分割部的处理动作的流程图。

图21是示出实施例3的分割部进行的编码信息处理的流程图。

图22是用于说明在实施例3的可变长编码的并行处理的时间图。

图23是示出实施例4的图像处理装置的构成的方框图。

图24是示出实施例4的流变换部的构成的方框图。

图25是示出实施例4的标记插入部的处理动作的流程图。

图26是示出实施例4的标记插入部的系数信息标记插入处理的流程图。

图27是用于说明实施例4的针对可变长解码流插入标记的图。

图28是示出实施例5的图像处理装置的构成的方框图。

图29是表示实施例5的流变换部的构成的方框图。

图30是示出实施例5的图像解码装置的可变长解码部、逆量化部、逆频率变换部、运动矢量算出部以及运动补偿部的构成的方框图。

图31是示出本发明的实施例5的图像解码装置的帧内预测部的构成的方框图。

图32是实现内容分发服务的内容供给系统的全体构成图。

图33是数字广播用系统的全体构成图。

图34是示出电视机的构成例的方框图。

图35是示出针对作为激光盘的记录介质进行信息的读写的信息再生/记录部的构成例的方框图。

图36是示出作为激光盘的记录介质的构成例的图。

图37是示出实现图像解码处理以及图像编码处理的集成电路的构成例的构成图。

图38是示出实现图像解码处理以及图像编码处理的集成电路的构成例的构成图。

图39A是示出图像处理装置的构成的方框图。

图39B是示出图像处理方法的流程图。

具体实施方式

（成为本发明的基础的见解）

本发明者关于在背景技术部分中记载的以往的图像处理装置，发现了会产生如下问题。

具体而言，在非专利文献2中作为编码的数据单位，定义了编码单元（以下称为CU∶Coding Unit）。该CU相当于所述编码单位块。并且，与以往的编码标准的宏块（以下称为MB）一样，该CU是能够将预测方法切换为帧内预测以及帧间预测的数据单位(最小单位)，被规定为编码的最基本的块尺寸。该CU的尺寸中，亮度是8x8像素、16x16像素、32x32像素、以及64x64像素中的任一个。CU的尺寸是64x64像素的情况下，该尺寸是H.264的MB的16倍。换言之，与H.264相比较，在非专利文献2中需要最多16倍的数据量。将该CU作为频率变换单位，被定义为频率变换单元（以下称为TU∶transform Unit）。该TU相当于所述频率变换单位块。并且，该TU的尺寸中，亮度是4x4像素、8x8像素、16x16像素、32x32像素、4x16像素、16x4像素、8x32像素、以及32x8像素中的任一个。

图1A以及图1B是示出按照非专利文献2的标准被编码的比特流（编码流）的例子的图。图像以CU单位被编码，在CU内，成为解码对象的各个系数信息以亮度的至少1个系数信息(亮度信息)、色差的至少1个系数信息(色差信息)的顺序配置。此外，TU的尺寸等于CU的尺寸或者小于CU的尺寸。因此，在CU内，该CU内包含的TU的数量与亮度信息(Y)和色差信息（Cb/Cr）的数量相同。将该例子作为表现64x64像素的编码流的例子，用图1A以及图1B来说明。另外，编码流中的Y0、Cb0以及Cr0，分别表示TU0的亮度Y、色差Cb以及色差Cr的系数信息。换言之，Yn、Cbn以及Crn，分别表示TUn的亮度Y、色差Cb以及色差Cr的系数信息（n=0，1，2或3）。此外，在以下的说明中，亮度Y(或Y)、色差Cb（或Cb）以及色差Cr（或Cr），分别意味着与其对应的种类的系数信息(颜色成分)。

如图1A所示，在CU尺寸是64x64像素，TU尺寸是32x32像素的情况下，分别由32x32像素组成的4个亮度Y、分别由16x16像素组成的4个色差Cb、分别由16x16像素组成的4个色差Cr，按照Y0，Y1，Y2，Y3，Cb0，Cb1，Cb2，Cb3，Cr0，Cr1，Cr2，Cr3的顺序被存放。另一方面，如图1B所示，CU尺寸是32x32像素，TU尺寸是32x32像素的情况下，在1个TU或CU内，Y（32x32像素）、Cb（16x16像素）、Cr（16x16像素）按照该顺序被存放。在64x64像素内，CU或TU以图1B示出的顺序排列4个，在编码流中，4个亮度Y、4个色差Cb以及4个色差Cr分别以Y0，Cb0，Cr0，Y1，Cb1，Cr1，Y2，Cb2，Cr2，Y3，Cb3，Cr3的顺序被存放。

以往的H.264的流构成（非专利文献1）中，亮度信息以及色差信息的尺寸分别是16x16像素以及8x8像素。加之，亮度信息以及色差信息以8x8像素单位被存放，其存放顺序(配置)是固定的。但是，按照非专利文献2的标准的编码流，如上所述，亮度信息以及色差信息的尺寸是可调的（最大32x32像素，最小4x4像素），并且有如下特征，按照这些尺寸，亮度信息以及色差信息的存放顺序(配置)会不同。

如上所述，在非专利文献2中，将作为编码单位块的编码单元(CU)的尺寸设为可调，将最大尺寸设为H.264的16倍的64x64像素，从而能够提高编码效率。

此外，如上所述，在专利文献1中记载了使用了流水线处理技术的图像处理装置(图像解码装置)，该流水线处理技术是通过并行地进行用于解码这样的编码流的各个处理，从而提高解码处理的效率的技术。

图2是示出专利文献1的图像处理装置的构成的方框图。

该图像处理装置的流水线处理技术中，如图2所示，例如，逆量化部602从存储器705读出数据，将该结果写入到存储器706。同时，逆频率变换部506从存储器706读出数据，将该结果写入到存储器707。逆量化部602与逆频率变换部506之间的存储器706，需要保持各自的处理同时需要的数据。其他的处理部之间（可变长解码部504与逆量化部602之间等）也同样。

图3是示出根据非专利文献1以及专利文献1设想的图像处理装置的构成的方框图。

在针对H.264标准适用了专利文献1的情况下，如图3所示，例如存储器730～733分别需要保持至少768像素的数据(系数信息)。换言之，存储器731需要保持两套384像素的数据，该每一个384像素的数据包含16x16=256像素组成亮度信息、以及分别由8x8=64像素组成的两个色差信息。

图4是示出根据非专利文献2以及专利文献1设想的图像处理装置的构成的方框图。

将该专利文献1的技术适用于非专利文献2的情况下，存在这样的问题，如图4所示，存储器734～737需要存储器731的容量的16倍，换句话说需要保持12,288像素的数据的大的空间。这样的存储器非常大，导致成本增加。此外，存储器大，功耗也增大。另外，在此存储器是指能够存储数据的存储元件。

在这里，为了减少流水线各处理部之间的存储元件的容量，有将进行处理的数据的尺寸缩小的方法，不过，在非专利文献2中，因为根据编码单元(CU)的尺寸，数据的存放顺序以及尺寸不同，所以不能够单纯地缩小数据的尺寸。

图1A以及图1B示出的编码流中，频率变换单元(TU)是尺寸均为32x32像素的块，不过，CU尺寸不同。亮度Y、色差Cb、色差Cr在CU内按这个顺序被存放，所以即使是相同尺寸的TU，流中出现TU的顺序在各个编码流都不同。

这个例子中，开头的32x32像素都是与左上侧的TU0对应的亮度Y0，不过，接着出现的像素为图1A示出的编码流的情况下，属于与右上侧的TU1对应的32x32像素的亮度Y1。另一方面，在图1B示出的编码流的情况下，接着出现的像素属于与左上侧的TU0对应的16x16像素的色差Cb0。这样根据CU以及TU尺寸，在互相不同的2个编码流之间，不仅Y，Cb以及Cr的尺寸不同，而且互相对应的TU的位置也不同。因此，将原来的编码流单纯地分割为小尺寸的块并进行处理是不可能的。

于是，发明了如下的图像处理装置及图像处理方法，通过在编码流中的系数信息进行调换，从而能够以每个更小的块单位来进行处理，能够减小存储元件的容量。换言之，本发明能够提供如下的图像处理装置，既能控制处理效率（编码效率或解码效率）的降低，又能减小对图像进行处理而使用的存储元件的容量。

为了解决上述课题，本发明的一个方案涉及的图像处理装置，对编码流进行规定的处理，所述编码流是通过对图像进行编码而生成的编码流，所述图像处理装置具备：第一处理部，通过对所述编码流进行第一处理，从而按每个第一处理单位，依次输出该第一处理单位中包含的至少一个成分；调换部，通过调换从所述第一处理部输出的多个成分的顺序，从而按每个第二处理单位，依次输出该第二处理单位中包含的至少一个成分，所述第二处理单位是与所述第一处理单位不同的处理单位；以及第二处理部，针对从所述调换部输出的多个成分，按每个所述第二处理单位进行第二处理。

在这里，所述调换部可以按每个所述第二处理单位，依次输出该第二处理单位中包含的至少1个成分，所述第二处理单位是尺寸比所述第一处理单位小的处理单位。

这样，即使通过第一处理多个成分按每个第一处理单位输出的情况下，该多个成分的顺序也被调换，多个成分按每个第二处理单位输出。而且，针对多个成分的第二处理，按每个第二处理单位进行，能够将被进行了第二处理的多个成分，按每个第二处理单位存放在存储元件。因此，在第二处理单位比第一处理单位小的情况下，能够减小存储元件的容量，该存储元件用于存放被进行了第二处理的多个成分。换言之，能够抑制例如用于进行流水线处理的存储元件的容量。加之，能够减小存储元件的容量，从而能够抑制成本以及功耗。加之，第一处理单位大，从而能够避免第一处理的处理效率降低。

另外，在第二处理单位比第一处理单位大的情况下，按每个大的处理单位进行第二处理，从而能够提高对编码流的处理效率。

在这里，例如所述第一处理单位是在所述图像的编码中使用的编码单元。此时，所述第二处理单位可以是所述编码单元的频率变换中使用的频率变换单元或者尺寸小于所述频率变换单元的处理单位。此外，所述第一处理部可以按每个所述第一处理单位，依次输出该第一处理单位中包含的至少一个成分，所述第一处理单位是尺寸能够按照所述编码流的构成而变的处理单位。同样，所述调换部可以按每个所述第二处理单位，依次输出该第二处理单位中包含的至少一个成分，所述第二处理单位是尺寸能够按照所述编码流的构成而变的处理单位。此外，所述图像处理装置还可以具备第三处理部，该第三处理部通过对由所述第二处理所生成的流进行第三处理，从而对所述编码流进行解码。所述第一处理单位可以是能够将所述图像的编码中使用的预测方法切换成帧内预测和帧间预测的最小单位。

这样，在第一处理单位是编码单元的情况下，即使是大的尺寸的编码单元，也能抑制为了解码由该编码单元构成的编码流（例如根据，流水线处理）而使用的存储元件的容量。加之，不需要减小编码单元，就能避免用于生成该编码流的图像编码装置的编码效率的降低。加之，能够对可变尺寸的第一处理单位以及第二处理单位进行恰当的处理。

此外，所述第一处理部，依次输出作为所述第一处理单位中包含的多个成分的多个颜色成分的每一个，所述调换部，通过调换从所述第一处理部输出的多个颜色成分的顺序，从而依次输出所述第二处理单位中包含的多个颜色成分。

这样，不仅能够减小存储元件的容量，而且能够同时处理画面中表现相同坐标的多个颜色成分，能够提高工作效率。

此外，可以是所述第一处理部，通过依次输出所述多个颜色成分的每一个，从而将所述多个颜色成分的每一个依次存放到存储部，所述调换部，以与存放在所述存储部的所述多个颜色成分的顺序不同的顺序，依次读出所述多个颜色成分的每一个，从而调换所述多个颜色成分的顺序。或者，可以是所述调换部，以与从所述第一处理部输出的多个颜色成分的顺序不同的顺序，将所述多个颜色成分的每一个依次写入到存储部，从而调换所述多个颜色成分的顺序，所述第二处理部，按照存放在所述存储部的所述多个颜色成分的顺序，依次读出所述多个颜色成分的每一个。

这样，不仅能够减小存储元件的容量，而且例如使用存储器等存储部，能够同时处理画面中表现相同坐标的多个颜色成分，能够提高工作效率。

此外，所述第二处理部可以将重构处理作为所述第二处理中包含的处理来进行，所述重构处理是使用所述第二处理单位中包含的多个颜色成分，重新构成与该第二处理单位对应的图像的处理。

这样，不仅能够减小存储元件的容量，能够提高图像重构处理的工作效率，该图像是需要对画面中表现相同坐标的多个颜色成分同时进行处理的图像。

此外，可以是所述第一处理部，将可变长解码作为所述第一处理来进行，所述第二处理部，将逆量化作为所述第二处理中包含的处理来进行。

这样，能够减小在流水线处理中逆量化以后的处理所使用的处理部之间需要的存储元件的容量。

此外，可以是所述第一处理部，将可变长解码作为所述第一处理来进行，并且依次输出颜色成分，以作为所述第一处理单位中包含的至少一个成分，所述调换部，对从所述第一处理部输出的多个颜色成分的顺序进行调换，所述第二处理部，将可变长编码作为所述第二处理中包含的处理来进行。

这样，编码流被进行可变长解码，以多个成分被调换的状态，再次进行可变长编码。其结果能够将编码流转码。此外，能够在第二处理中使用比在编码流的生成中使用的可变长编码的方式简单地进行可变长解码的可变长编码的方式。其结果，能够将由第二处理被输出的多个颜色成分组成的转码后的编码流的解码中需要的负担小于转码前的编码流的解码中需要的负担。换言之，不仅能够减轻编码流的解码中需要的图像解码装置的处理负担，而且能够容易地保证该装置的性能。

此外，可以是所述第一处理部，将可变长解码作为所述第一处理来进行，并且依次输出颜色成分，以作为所述第一处理单位中包含的至少一个成分，所述调换部具备：分割部，将从所述第一处理部输出的多个颜色成分的每一个，按每个颜色成分的种类进行分类；可变长编码部，按每个颜色成分的种类，对属于该种类的多个颜色成分进行可变长编码，将通过所述可变长编码而生成的流存放到存储部；以及流重构部，从存放在所述存储部的按每个颜色成分的种类而生成的流中，以与从所述第一处理部输出的多个颜色成分的顺序不同的顺序，依次读出所述多个颜色成分的每一个，从而生成被调换了所述多个颜色成分的顺序的调换完毕编码流，所述可变长编码部，对颜色成分的种类的每一个并行地进行可变长编码，所述调换完毕编码流，包含尺寸与所述第二处理单位的尺寸相同的编码单元。此外，可以是所述第一处理部，将可变长解码作为所述第一处理来进行，并且依次输出颜色成分，以作为所述第一处理单位中包含的至少一个成分，所述调换部具备：标记插入部，针对从所述第一处理部输出的多个颜色成分的每一个，附加用于识别该颜色成分的种类的标记；可变长编码部，根据由所述标记插入部附加的标记，识别从所述第一处理部输出的多个颜色成分的各自的种类，按每个颜色成分的种类，对属于该种类的多个颜色成分进行可变长编码，将通过所述可变长编码所生成的流存放到存储部；以及流重构部，从存放在所述存储部的按每个颜色成分的种类而生成的流中，以与从所述第一处理部输出的多个颜色成分的顺序不同的顺序，依次读出所述多个颜色成分，从而生成被调换了所述多个颜色成分的顺序的调换完毕编码流，所述可变长编码部，对颜色成分的种类的每一个并行地进行可变长编码。

这样，并行地进行例如对亮度的颜色成分的可变长编码与对色差的颜色成分的可变长编码。从而，能够将可变长编码高速化，能够提高工作效率。

此外，所述流重构部，通过将对所述多个颜色成分的每一个附加的标记与所述多个颜色成分一起依次读出，从而生成对所述多个颜色成分的每一个附加了标记的所述调换完毕编码流，所述第二处理部具备：可变长解码部，根据所述调换完毕编码流中包含的多个所述标记，按每个所述颜色成分的种类，对属于该种类的多个颜色成分进行可变长解码；逆量化部，按每个所述颜色成分的种类，对属于该种类的被进行了可变长解码的所述多个颜色成分进行逆量化；逆频率变换部，按每个所述颜色成分的种类，对属于该种类的被进行了逆量化的所述多个颜色成分进行逆频率变换，从而生成包含多个所述标记的颜色成分数据；以及成分重构部，针对按每个所述颜色成分的种类而生成的颜色成分数据，根据所述颜色成分数据中包含的多个所述标记来进行识别，以按照由所述调换部进行了调换的顺序来排列被进行了逆频率变换的所述多个颜色成分的方式，重新构成所述多个颜色成分，所述可变长解码部、所述逆量化部、以及所述逆频率变换部分别并行地进行对所述颜色成分的种类的每一个的处理。

这样，针对调换完毕编码流的可变长解码、逆量化以及逆频率变换的每一个处理，例如对亮度的颜色成分的处理和对色差的颜色成分的处理并行地进行，所以能够使可变长解码、逆量化以及逆频率变换高速化，从而提高工作效率。

在这里，具体而言，第一处理部，按每个第一处理单位，将该第一处理单位中包含的多个成分，以4个亮度成分、4个第一色差成分(Cb)、4个第二色差成分(Cr)的顺序进行输出，所述调换部，通过调换所述多个成分的顺序，按每个第二处理单位，将该第二处理单位中包含的多个成分，以1个亮度成分、1个第一色差成分、1个第二色差成分的顺序进行输出。

下面，参考附图来说明实施例的图像处理装置。

另外，下面说明的实施例都是示出总括的或者具体的例子。以下的实施例中示出的数值、形状、材料、构成要素、构成要素的配置位置以及连接形式、步骤、步骤的顺序等，都是本发明的一个例子，主旨不是限制本发明。并且，以下的实施例的构成要素中，示出本发明的最上位概念的独立权利要求中没有记载的构成要素，可以说明是任意的构成要素。

此外，64x64像素以及32x32像素等的表现，分别意味着64像素x64像素以及32像素x32像素等的尺寸。

此外，以下说明的块、数据单位以及编码单元(CU)等的表现，分别意味着成一体的区域。有时那些也分别意味着图像区域。或者，有时那些也分别意味着编码流中的数据区域。

此外，图像可以是运动图像、静止图像，构成运动图像的多个图片、1个图片、以及图片的一部分等中的任一个。

(实施例1)

本实施例中作为图像处理装置的图像解码装置的特征是在逆量化部中具有顺序调换部，该顺序调换部调换编码流中的系数信息(成分)。

（1-1.概要）

首先，说明本实施例的图像解码装置的概要。本实施例中的图像解码装置，对编码流进行可变长解码之后，将以编码单元(CU)单位存放的系数信息，由顺序调换部重新排列，从而以比CU单位小的尺寸，进行位于可变长解码的后段的处理。具体而言，图像解码装置对编码流64x64像素的CU单位进行可变长解码之后，以32x32像素的TU单位（由32x32像素的亮度Y、16x16像素的色差Cb、以及16x16像素的色差Cr组成的单位），进行逆量化之后的处理。

（1-2.构成）

下面说明本实施例的图像解码装置的构成。

图5是示出本实施例的图像解码装置的构成的方框图。本实施例的图像解码装置513具备：控制部501、比特流缓冲器502、帧存储器503、可变长解码部504、调换逆量化部505、逆频率变换部506、帧内预测部507、运动矢量算出部508、运动补偿部509、开关510、重构部511、以及解块滤波部512。另外，虽然图5中没有示出，不过，图像解码装置513具备存储器701、存储器702、存储器703以及存储器704(参见图6)。

图6是从其他观点示出本实施例的图像解码装置513的构成的方框图。换言之，图像解码装置513具备：可变长解码部504、调换逆量化部505、逆频率变换部506、图像重构部603、解块滤波部512、以及4个存储器701～704。在这里，调换逆量化部505具备顺序调换部601以及逆量化部602。另外，在图6为了方便说明，省略了控制部501、比特流缓冲器502以及帧存储器503。加之，图像重构部603由帧内预测部507、运动矢量算出部508、运动补偿部509、开关510、以及重构部511构成。

控制部501控制图像解码装置513的全体。比特流缓冲器502存放被输入的编码流。帧存储器503存放被解码的图像数据。

可变长解码部504从比特流缓冲器502读出编码流，对该编码流进行可变长解码，从而生成多个量化值，输出到调换逆量化部505。调换逆量化部505调换该多个量化值（多个系数信息）中的至少一部分的顺序。加之，调换逆量化部505，以被调换的顺序针对多个量化值的每一个进行逆量化，从而生成多个频率系数，输出到逆频率变换部506。逆频率变换部506，通过针对该多个频率系数进行逆频率变换，从而生成差分图像。帧内预测部507，通过对解码对象图像进行帧内预测（也称Intra-frame预测），从而生成预测图像。运动矢量算出部508算出运动矢量，输出到运动补偿部509。运动补偿部509利用该运动矢量，对解码对象图像进行运动补偿，从而生成预测图像。开关510将预测图像的获得处切换为帧内预测部507以及运动补偿部509中的任一个，从该获得处获得的预测图像，向重构部511输出。重构部511进行根据由逆频率变换所生成的差分图像、以及预测图像来生成解码图像的图像重构处理（图像的重构处理）。解块滤波部512，通过消除由图像重构处理所生成的解码图像的马赛克，从而实现该解码图像的高画质化。

（1-3.工作）

下面，说明图5示出的图像解码装置513的工作。

图7A以及图7B是示出编码流的层次的构成的图。将多个图片归结为一体称为序列。各个图片被分割为片。加之，片被分割为编码单元(CU)。加之，CU由频率变换单元(TU)以及预测单元(PU)构成。另外，图片也有不分割为片的情况。编码单元(CU)以64x64像素～8x8像素的尺寸而设定。CU是能够将用于图像编码的预测方法切换为帧内预测以及帧间预测的数据单位(最小单位)。频率变换单元(TU)在编码单元(CU)的内部被设定为32x32像素～4x4像素的尺寸。预测单元(PU)在编码单元(CU)的内部被设定为64x64像素～4x4像素的尺寸。PU具有帧内预测的模式，或者帧间预测的运动矢量。

图7C是示出编码流内的各数据配置的图。

如图7C所示，编码流以有层次的编码图像来构成，该编码流由用于控制序列的序列头，用于控制图片的图片头，用于控制片的片头，以及编码单元(CU)来构成。另外，在H.264标准中，将序列头称为SPS（Sequence Parameter Set），将图片头称为PPS（pictureparameter Set）。

图8是示出图像解码装置513进行的编码流的1序列的解码工作的流程图。如图8所示，图像解码装置513首先解码序列头(S901)。在控制部501的控制下，由可变长解码部504对存储在比特流缓冲器502的编码流进行解码来进行序列头的解码(S901)。接着，图像解码装置513同样地对图片头进行解码(S902)，对片头进行解码(S903)。

下面，图像解码装置513对CU进行解码(S904)。关于该CU的解码在后面详细说明。在1个CU的解码结束时，图像解码装置513判断其是不是片的最后的CU(S905)。在不是片的最后的CU的情况下，图像解码装置513，再次进行S904的处理，进行下面的CU的解码。在是片的最后的CU的情况下，图像解码装置513进行S906的处理。

换言之，图像解码装置513，在S906中判断先被解码的片是不是图片的最后的片。在不是图片的最后的片的情况下，图像解码装置513再次进行从S903开始的处理，进行下面的片头的解码。在是图片的最后的片的情况下，图像解码装置513进行S907的处理。

换言之，图像解码装置513，在S907中判断先被解码的图片是不是序列的最后的图片。在不是序列的最后的图片的情况下，图像解码装置513再次进行从S902开始的处理，进行下面的图片头的解码。图像解码装置513，在序列的所有的图片的解码结束时，结束一连串的解码工作。

图9是示出由图像解码装置513对1个CU进行的解码工作的流程图。换言之，图9示出对图8示出的S904的编码单元进行解码的处理。首先，图像解码装置513，根据可变长解码部504对被输入的编码流进行可变长解码(S101)。可变长解码部504输出编码信息（CU类别、帧内预测模式、运动矢量信息、量化参数等）、以及与各像素数据对应的系数信息（亮度Y、色差Cb以及色差Cr的各自的量化值）。

接着，运动矢量算出部508，判断解码对象的CU是利用运动补偿被编码的帧间CU，还是利用帧内预测被编码的帧内CU(S102)。在此，在是帧间CU的情况下，运动矢量算出部508利用编码信息算出运动矢量(S103)。换言之，运动矢量算出部508算出预测运动矢量，将该预测运动矢量和编码流中包含的运动矢量信息（运动矢量的差分值）相加，从而算出运动矢量。另外，编码信息从可变长解码部504输出到控制部501，之后，被输入到各处理部（图像解码装置513的各构成要素）。系数信息被输出到调换逆量化部505。接着，调换逆量化部505进行逆量化处理(S104)。另外，可变长解码部504以及调换逆量化部505的工作以后详细地说明。接着，逆频率变换部506进行逆频率变换(S105)。

接着，控制部501判断解码对象的CU是帧内CU还是帧间CU(S106)。在是帧间CU的情况下，控制部501，使由运动矢量算出部508算出的运动矢量输入到运动补偿部509。而且，控制部501，使该运动矢量示出的参考图像从帧存储器503传输到运动补偿部509(S107)。运动补偿部509，利用被传输的参考图像，生成1/2像素精度和1/4像素精度的预测图像(S108)。换言之，运动补偿部509进行运动补偿。

另一方面，在不是帧间CU的情况下(S106)，即是帧内CU的情况下，控制部501，使帧内预测部507进行帧间预测的处理，生成预测图像(S109)。控制部501按照步骤S106的判断结果控制开关510，从而将输出到重构部511的预测图像，切换为由运动补偿部509生成的预测图像，以及由帧内预测部507生成的预测图像中的任一个。

重构部511，将所得到的预测图像和从逆频率变换部506输出的差分图像相加，从而生成解码图像(S110)。换言之，重构部511进行图像重构处理（重新构成图像）。接着，解块滤波部512对通过该图像重构处理而得到的解码图像，进行减少马赛克的解块滤波处理(S111)。这样，被进行解块滤波处理的解码图像存放到帧存储器503。以上述结束1个CU的解码工作。

下面用图6来详细说明本实施例的特征的可变长解码部504、顺序调换部601以及逆量化部602的工作。在这里，考虑对64x64像素的编码单元进行解码的情况。

可变长解码部504，对被输入的编码流进行可变长解码。其结果，可变长解码部504输出编码信息（CU类别、帧内预测模式、运动矢量信息、量化参数等）、以及与各像素数据对应的系数信息。

在这里对系数信息的处理流程进行说明。从可变长解码部504输出的系数信息，经由存储器701，递交到顺序调换部601。顺序调换部601调换在编码流内的多个系数信息的顺序(配置)，顺序被调换的多个系数信息被输出到逆量化部602。逆量化部602对那些系数信息进行逆量化。

在这里，关于顺序调换部601的工作，利用图10以及图11详细地说明。另外，在编码流中，如图1A所示，作为帧间预测以及帧内预测的切换单位的CU的尺寸是64x64像素。此外作为频率变换单元的TU的尺寸是32x32像素。

图10是用于说明多个系数信息的顺序的调换的图。此外，图11是示出顺序调换部601的处理工作的流程图。另外，根据该调换，从可变长解码部504输出的多个系数信息的顺序被调换。

在可变长解码后的多个系数信息，以图10的(a)示出的顺序存放或者配置在存储器701中，。顺序调换部601根据图11示出的流程，首先读出32x32像素的左上TU0对应的Y0（32x32像素）、Cb0（16x16像素）、以及Cr0（32x32像素），将这些的系数信息（1,536像素）输出到逆量化部602(S201)。接着，顺序调换部601，读出与右上TU1对应的Y1（32x32像素）、Cb1（16x16像素）、以及Cr1（16x16像素），将这些的系数信息（1,536像素）输出到逆量化部602(S202)。接着，顺序调换部601，读出与左下TU2对应的Y2（32x32像素）、Cb2（16x16像素）、以及Cr2（16x16像素），将这些的系数信息（1,536像素）输出到逆量化部602(S203)。接着，顺序调换部601，读出与右下TU3对应的Y3（32x32像素）、Cb3（16x16像素）、以及Cr3（16x16像素），将这些的系数信息（1,536像素）输出到逆量化部602(S204)。

这样，顺序调换部601按每个块按顺序读出并输出与在CU内位于相同的坐标的块(TU)对应的亮度及色差的系数信息。通过依次重复这样的读出和输出，亮度Y、色差Cb以及色差Cr的各自的多个系数信息的顺序，如图10所示地被调换。换言之，图10的(a)示出的顺序被调换为(b)示出的顺序。其结果，逆量化部602以32x32像素单位(TU单位)接受系数信息，以该像素单位进行逆量化。此外，逆量化之后的处理，同样也以32x32像素单位(TU)进行。

通过以上的系数信息的顺序的调换，能够将Y（4个32x32像素）、Cb（4个16x16像素）、以及Cr（4个16x16像素）合起来的总计6,144像素单位（CU尺寸的单位），以1,536像素单位（TU尺寸的单位）分为4次来输出。

接着，逆量化部602从顺序调换部601，获得被调换了多个系数信息的编码流，对该编码流，按由Y（32x32像素）、Cb（16x16像素）、以及Cr（16x16像素）组成的1,536像素单位来进行逆量化。而且，逆量化部602，将通过该逆量化所生成的多个频率系数存放到存储器702。逆频率变换部506从存储器702读出多个频率系数，对该多个频率系数，按上述的1,536像素单位进行逆频率变换。而且，逆频率变换部506，将通过该逆频率变换生成的差分图像存放到存储器703。图像重构部603从存储器703读出差分图像，对该差分图像，按上述的1,536像素单位进行图像重构处理等的处理。而且，图像重构部603，将通过该处理生成的解码图像存放到存储器704。解块滤波部512从存储器704读出解码图像，对该解码图像，按上述的1,536像素单位进行解块滤波处理。另外，上述的量化值、频率系数以及像素的各自的状态不同，但是意味着规定的系数信息或成分。

总结上述本实施例如下。

图像解码装置513是对通过对图像进行编码而生成的编码流进行规定的处理的图像处理装置，具备：例如作为可变长解码部504的第一处理部、例如作为顺序调换部601的调换部、例如作为逆量化部602的第二处理部。

第一处理部通过对编码流进行第一处理，从而按每个第一处理单位，依次输出该第一处理单位中包含的至少1个成分。例如，第一处理单位是CU。此外，第一处理单位，按每个第一处理单位(CU)，依次输出该第一处理单位中包含的至少1个成分，该第一处理单位(CU)是尺寸能够按照编码流的构成而变的处理单位。

调换部，通过调换从第一处理部输出的多个成分的顺序，从而按每个第二处理单位，依次输出该第二处理单位中包含的至少1个成分，该第二处理单位是与第一处理单位不同的处理单位。例如，第二处理单位是TU，或者是尺寸比TU小的处理单位。此外，调换部，按每个第二处理单位，依次输出第二处理单位中包含的至少1个成分，该第二处理单位是尺寸能够按照编码流的构成而变的处理单位。此外，调换部，按每个第二处理单位，依次输出该第二处理单位中包含的至少1个成分，该第二处理单位是尺寸比第一处理单位小的处理单位。

此外，第一处理部，依次输出多个颜色成分的每一个，以作为第一处理单位中包含的多个成分。这时，调换部，通过调换从第一处理部输出的多个颜色成分的顺序，从而依次输出第二处理单位中包含的多个颜色成分。该多个颜色成分，例如是亮度Y的系数信息、色差Cb的系数信息以及色差Cr的系数信息等。

此外，第一处理部通过依次输出多个颜色成分的每一个，将多个颜色成分的每一个依次存放到存储部。存储部是例如存储器701。在这里，如图11所示，调换部，以与存放在存储部的多个颜色成分的顺序不同的顺序，依次读出多个颜色成分的每一个，从而调换多个颜色成分的顺序。

加之，第二处理部，利用第二处理单位中包含的多个颜色成分进行重构处理，以作为所述第二处理中包含的处理，该重构处理是重新构成与该第二处理单位对应的图像的处理。换言之，第二处理部也可以具备作为图像重构部603或重构部511的功能。此外，第一处理部可以将可变长解码作为第一处理来进行，第二处理部可以将逆量化作为第二处理中包含的处理来进行。

另外，所述成分可以是颜色成分，也可以是其他的成分（例如，编码信息等）。

（1-4.作用）

这样，在本实施例中，由可变长解码部504输出被存放到存储器701的多个系数信息的顺序，由位于逆量化部602前面的顺序调换部601进行调换。这样，逆量化部602以后的存储器702、存储器703以及存储器704的容量，从两组64x64像素（亮度Y、色差Cb以及色差Cr的各自的像素的总和即12,288像素）能够减少到两组32x32像素（亮度Y、色差Cb以及色差Cr的各自的像素的总和即3,072像素）。换言之，连接逆量化部602以后的各处理部之间的存储器的容量分别减少到1/4。这样，能够减少存储器的成本，同时又能起到降低功耗的作用。

(补充)

另外，在本实施例中，使用了可变长编码，不过，如哈夫曼编码和扫描宽度编码、算术编码或者定长编码一样地，使用任何编码方式都可以。

此外，各处理部的构成可以将一部分或者全部由专用硬件组成的电路来实现，也可以由处理器上的程序来实现。

此外，帧存储器503、存储器701、存储器702、存储器703、存储器704是存储器，不过，只要是能够存储数据的存储元件，即使是触发器等其他构成也可以使用。加之，也可以是使用处理器的存储器区域的一部分、或者高速缓冲存储器的一部分的构成。

此外，在顺序调换部601使用的由亮度Y、色差Cb以及色差Cr组成的处理单位（第二处理单位）的尺寸，不被限定为32x32像素（亮度Y、色差Cb以及色差Cr的总和1,536像素）的尺寸，也可以是小于上述的尺寸或者大于上述的尺寸。例如，也可以是16x16像素（亮度Y、色差Cb以及色差Cr的总和384像素）的尺寸。换言之，编码流中包含的由亮度Y、色差Cb以及色差Cr组成的调换前的处理单位（第一处理单位或CU），由亮度Y（32x32像素）、色差Cb（16x16像素）以及色差Cr（16x16像素）组成的32x32像素单位构成的情况下，顺序调换部601，可以将该编码流的多个系数信息的顺序，调换为按照16x16像素单位的顺序。

此外，作为例子顺序调换部601配置在逆量化部602之前，不过不被这个所限定。可以是逆频率变换部506的紧之前，也可以是图像重构部603的紧之前。

此外，作为例子示出了从存储器读出时进行顺序的调换，不过，不被这个所限定。例如，按照图12示出的流程，也可以是如下的方法，如图13所示向存储器进行写入时，进行系数信息的顺序的调换之后，在读出时按顺序读出的方法。

图12是示出多个系数信息写入到存储器的写入顺序的流程图。图13是示出多个系数信息写入到存储器的顺序以及读出的顺序的图。

如图12所示，顺序调换部601，从可变长解码部504接受多个系数信息时，将亮度Y0写入到存储器的Y0区域(S301)，将亮度Y1写入到存储器的Y1区域(S302)，将亮度Y2写入到存储器的Y2区域(S303)，将亮度Y3写入到存储器的Y3区域(S304)。加之，顺序调换部601，将色差Cb0写入到存储器的Cb0区域(S305)，将色差Cb1写入到存储器的Cb1区域(S306)，将色差Cb2写入到存储器的Cb2区域(S307)，将色差Cb3写入到存储器的Cb3区域(S308)。加之，顺序调换部601，将色差Cr0写入到存储器的Cr0区域(S309)，将色差Cr1写入到存储器的Cr1区域(S310)，将色差Cr2写入到存储器的Cr2区域(S311)，将色差Cr3写入到存储器的Cr3区域(S312)。

其结果，存储器701的各区域中存放了图13所示的系数信息。这个情况下，逆量化部602，按照存放在存储器701的各个区域的多个系数信息的布置，读出那些系数信息，对那些系数信息进行逆量化。

换言之，在本实施例中，调换部（顺序调换部601），以与从第一处理部（可变长解码部504）输出的多个颜色成分的顺序不同的顺序，向存储部（存储器701）依次写入所述多个颜色成分的每一个，从而调换多个颜色成分的顺序，第二处理部（逆量化部602），按照存放在该存储部的多个颜色成分的顺序，依次读出多个颜色成分的每一个。

此外，顺序调换部601可以是可变长解码部504的紧之后，也可以是逆量化部602的紧之后，也可以是逆频率变换部506的紧之后，也可以是图像重构部603的紧之后。这样，顺序调换部601可以配置在接收系数信息的处理部的任意一个或者多个部中。

(实施例2)

（2-1.概要）

下面关于本实施例的图像处理装置的概要进行说明。实施例1的图像处理装置，作为图像解码装置513而构成，在图6示出的可变长解码部504的处理之后，对多个系数信息的顺序进行调换。对于此，本实施例的图像处理装置，在CU的解码之前进行被输入的编码流中包含的多个系数信息的顺序的调换，对其结果被生成的调换完毕编码流，进行包含CU的解码的解码处理。

（2-2.构成）

下面关于本实施例的图像处理装置的构成进行说明。

图14是示出本实施例的图像处理装置的构成的方框图。本实施例的图像处理装置具备：比特流缓冲器604、流变换部605、以及图像解码装置513a。比特流缓冲器604是用于保持编码流的存储器。流变换部605，通过从比特流缓冲器604读出编码流，调换该编码流中包含的多个系数信息的顺序，从而生成调换完毕编码流。而且，流变换部605，将该调换完毕编码流输出到图像解码装置513a的比特流缓冲器502。图像解码装置513具备在实施例1的图像解码装置513中包含的构成要素中的除去调换逆量化部505的所有的构成要素，并且代替调换逆量化部505具备逆量化部602。另外，在本实施例中，与所述实施例1的构成要素相同的构成要素附上相同的编号，省略详细说明。

图15是示出流变换部605的构成的方框图。

流变换部605，如图15所示，具备可变长解码部606、存储器708、顺序调换部601、可变长编码部607。

（2-3.工作）

下面说明流变换部605的工作。

图16是表示流变换部605的处理动作的流程图。在这里，说明如图10所示调换多个系数信息的顺序的例子。

可变长解码部606从比特流缓冲器604读出编码流，对该编码流进行可变长解码(S401)。而且，可变长解码部606，将进行了可变长解码的编码流，作为可变长解码流存放到存储器708。顺序调换部601从存储器708读出可变长解码流，判断对该可变长解码流是否需要调换系数信息的顺序(S402)。即，在可变长解码流中包含的64x64像素的图像数据由64x64像素的CU与分别为32x32像素的4个TU构成的情况下，顺序调换部601判断为需要调换。而且，顺序调换部601，在判断为需要调换的时候（S402中的“是”），按照图11示出流程图来调换多个系数信息的顺序(S403)。顺序调换部601，通过该调换而生成调换完毕可变长解码流，输出到可变长编码部607。可变长编码部607，对调换完毕可变长解码流进行可变长编码(S404)。可变长解码部606，判断该图像数据是不是编码流的末端的图像数据(S405)，在判断为不是编码流的末端时（S405中的“否”），重复执行S401的处理。

通过重复执行这样的S401～S405的处理，流变换部605生成上述的调换完毕编码流，输出到图像解码装置513a的比特流缓冲器502。另外，顺序调换部601，在可变长解码流中包含的信息中，对系数信息以外的信息，换言之对上述的编码信息不进行顺序的调换，将该编码信息包含在调换完毕可变长解码流中的状态下进行输出。

图17是从其他观点示出图像解码装置513a的构成的方框图。换言之，图像解码装置513a具备可变长解码部504、逆量化部602、逆频率变换部506、图像重构部603、解块滤波部512、以及4个存储器702～704、709。另外，图像解码装置513a具备存储器709，以代替实施例1的图像解码装置513的存储器701。存储器709存放从可变长解码部504输出的数据。

通过由流变换部605进行的上述的处理，被输入到图像解码装置513a的编码流是被调换了系数信息的顺序的流。因此，在图像解码装置513a，如图17所示，能够减小各处理部之间需要的存储器702～704，709的容量。

加之，可变长编码部607，可以将调换完毕可变长解码流，以与原来的编码方式不同的编码方式来进行可变长编码。例如，原来的可变长编码的编码方式，换言之编码流的编码方式是在非专利文献1或者非专利文献2公开的CABAC（Context-based Adaptive BinaryArithmetic Coding）。该编码方式与在非专利文献1或者非专利文献2公开的CAVLC（Context Adaptive Variable Length Coding）比较，编码效率高，但是处理复杂。于是，流变换部605中的可变长编码部607，对调换完毕可变长解码流进行编码的方式采用处理简单的编码方式（CAVLC），从而能够减轻图像解码装置513a的可变长解码处理的负担。

加之，在使用了所述方法的情况下，流变换部605根据处理复杂的CABAC方式，对已被编码的编码流快速地进行可变长解码以及编码，将调换完毕编码流的数据充分地储存到比特流缓冲器502。之后，图像解码装置513进行减轻处理的解码。这样，能够简单地进行性能保证。另外，图像解码装置513a是从实施例1的图像解码装置513中除去了顺序调换部601的装置，因为进行与以往同样的流水线处理，在这里省略其处理工作的说明。

在这样的本实施例中，第一处理部例如是可变长解码部606，调换部例如是顺序调换部601，第二处理部例如是可变长编码部607。换言之，在本实施例中，第一处理部，作为第一处理进行可变长解码，依次输出颜色成分，以作为第一处理单位中包含的至少1个成分，调换部调换从第一处理部输出的多个颜色成分的顺序。而且，第二处理部将可变长编码作为第二处理中包含的处理来进行。另外，在本实施例的流变换部605可以称为本发明的一个方案涉及的图像处理装置。

此外，本实施例中，图像处理装置还具备第三处理部，该第三处理部对通过第二处理生成的流进行第三处理，从而对编码流进行解码。该第三处理部例如是图像解码装置513a。

（2-4.作用）

在本实施例中，与实施例1相同，在可变长解码之后使用存储器进行系数信息的顺序调换，从而能够减小图像解码装置513a的存储器702～704的容量。此外，是使用了如CABAC一样复杂的可变长编码的编码方式而生成的编码流的情况下，图像解码装置对该编码流进行按照CABAC的解码时，解码的处理时间变长，图像解码装置的性能有可能降低。然而，在本实施例中，根据输入到图像解码装置513a之前的编码流（可变长解码流）的状态，调换系数信息的顺序，并且还将编码流，变换为更容易进行可变长解码的编码方式的调换完毕编码流。这样，能够实现图像解码装置513a的高性能化，并且能够减小图像解码装置513a的存储器（尤其是存储器709）的容量。

(补充)

另外，本实施例中使用了可变长编码，不过，可以使用如哈夫曼编码和扫描宽度编码，算术编码或者定长编码一样的任一编码方式。

此外，各处理部的构成可以由一部分或者全部是专用硬件的电路来实现，也可以由处理器上的程序来实现。

此外，上述说明中帧存储器503，存储器708，存储器709，存储器702，存储器703，存储器704是作为存储器，不过，只要是能够存储数据的存储元件，也可以是触发器等其他的构成。加之，可以是利用处理器的存储器区域的一部分、高速缓冲存储器的一部分的构成。

此外，在顺序调换部601使用的由亮度Y、色差Cb以及色差Cr组成的处理单位（第二处理单位）的尺寸，不限定为32x32像素（亮度Y、色差Cb以及色差Cr的总和1,536像素）的尺寸，可以是比其小的尺寸或大的尺寸。例如可以是16x16像素（亮度Y、色差Cb以及色差Cr的总和384像素）的尺寸。换言之，编码流中包含的由亮度Y、色差Cb以及色差Cr组成的调换前的处理单位（第一处理单位或CU），以由亮度Y（32x32像素）、色差Cb（16x16像素）以及色差Cr（16x16像素）组成的32x32像素单位构成的情况下，顺序调换部601，可以将该编码流的多个系数信息的顺序，调换为按照16x16像素单位的顺序。

此外，示出的例子中顺序的调换是在从存储器读出时进行的，不过不被这个所限定。例如，按照图12示出的流程，如图13所示，在向存储器写入时，进行系数信息的顺序调换之后，读出时按顺序读出的方法也可以。

(实施例3)

（3-1.概要）

下面关于在本实施例的图像处理装置的概要进行说明。实施例2中的图像处理装置，在CU的解码之前进行被输入的编码流中包含的多个系数信息的调换，针对其结果生成的调换完毕编码流进行包含CU的解码的解码处理。在这里，实施例2的图像处理装置，在调换完毕编码流的生成时，依次对被调换了顺序的多个系数信息的每一个执行可变长编码。对于此，在本实施例中，对该多个系数信息的每一个并行地执行可变长编码。

（3-2.构成）

下面说明本实施例的图像处理装置的构成。

图18是示出本实施例的图像处理装置的构成的方框图。本实施例的图像处理装置，具备比特流缓冲器604、流变换部608、图像解码装置513a。另外，在本实施例中，与实施例1或2的构成要素相同的构成要素附上相同的编号，省略其说明。

换言之，本实施例的图像处理装置，具备实施例2的图像处理装置中包含的构成要素中的除了流变换部605的所有的构成要素，代替该流变换部605具备其他的流变换部608。这个流变换部608，与流变换部605相同的是从比特流缓冲器604读出编码流，调换该编码流中包含的多个系数信息的顺序，从而生成调换完毕编码流。而且，流变换部608将该调换完毕编码流输出到图像解码装置513a的比特流缓冲器502。

图19是示出本实施例的流变换部608的构成的方框图。流变换部608，如图19所示，具备可变长解码部606、分割部609、亮度Y用存储器710、色差Cb用存储器711、色差Cr用存储器712、编码信息用存储器713、亮度Y用可变长编码部611、色差Cb用可变长编码部612、色差Cr用可变长编码部613、编码信息用可变长编码部614、亮度Y流用存储器714、色差Cb流用存储器715、色差Cr流用存储器716、编码信息流用存储器717、流重构部610。

（3-3.工作）

下面说明流变换部608的工作。

可变长解码部606，对被输入的编码流进行可变长解码。接着，分割部609，将根据该可变长解码而生成的可变长解码流，分割为亮度Y的系数信息、色差Cb的系数信息、色差Cr的系数信息、以及其他的编码信息。其他的编码信息是CU类别、帧内预测模式、运动矢量信息、或者量化参数等。

图20是表示分割部609的处理动作的流程图。首先，分割部609获得解码完毕数据，该解码完毕数据是可变长解码流中的一部分的信息(S501)。接着，在分割部609判断该解码完毕数据是不是系数信息(S502)。在这里，在分割部609判断为不是系数信息时（S502中的“否”），进行后述的编码信息处理(S503)。另一方面，在分割部609判断为是系数信息时（S502中的“是”），还判断该系数信息是不是亮度Y的系数信息(S505)。在这里，在分割部609判断为是亮度Y的系数信息时（S505中的“是”），向亮度Y用存储器710输出作为该亮度Y的系数信息的解码完毕数据(S508)。另一方面，在分割部609判断为不是亮度Y的系数信息时（S505中的“否”），还判断该系数信息是不是色差Cb的系数信息(S506)。

在这里，在分割部609判断为是色差Cb的系数信息时（S506中的“是”），向色差Cb用存储器711输出作为该色差Cb的系数信息的解码完毕数据(S509)。另一方面，在分割部609判断为不是色差Cb的系数信息时（S506中的“否”），因为该系数信息是色差Cr的系数信息，所以向色差Cr用存储器712输出作为该色差Cr的系数信息的解码完毕数据(S507)。

此外，分割部609在进行S503的处理之后，判断在S501获得的解码完毕数据是不是可变长解码流的末端的数据(S504)。而且，在分割部609判断为不是末端的数据时（S504中的“否”），或者，进行S507～S509的任一个处理时，再次执行S501的处理。换言之，分割部609从可变长解码流获得下一个解码完毕数据，针对该解码完毕数据执行S502～S509的处理。

接着，用图21的流程图来说明在解码完毕数据不是系数信息的情况下，即是编码信息的情况下的工作。

图21是示出由分割部609进行的编码信息处理(S503)的流程图。编码信息被分类成亮度Y、色差Cb以及色差Cr中至少1个进行编码中需要的信息与在逆量化以后进行的解码中需要的信息。于是，分割部609首先判断上述的解码完毕数据是不是亮度Y、色差Cb以及色差Cr的所有的编码中需要的编码信息(S601)。在这里，在分割部609判断为是亮度Y、色差Cb以及色差Cr的所有的编码中需要的编码信息时（S601中的“是”），向亮度Y用存储器710、色差Cb用存储器711、色差Cr用存储器712，输出作为该编码信息的解码完毕数据(S605)。

另一方面，在分割部609判断为不是亮度Y、色差Cb以及色差Cr的所有的编码中需要的编码信息时（S601中的“否”），还判断所述的解码完毕数据是不是只在亮度Y的编码中需要的编码信息(S602)。在这里，在分割部609判断为是只在亮度Y的编码中需要的编码信息时（S602中的“是”），向亮度Y用存储器710输出作为该编码信息的解码完毕数据(S606)。

另一方面，在分割部609判断为不是只在亮度Y的编码中需要的编码信息时（S602中的“否”），还判断所述的解码完毕数据是不是只在色差Cb和色差Cr的编码中需要的编码信息(S603)。在这里，在分割部609判断为是只在色差Cb和色差Cr的编码中需要的编码信息时（S603中的“是”），分别向色差Cb用存储器711和色差Cr用存储器712输出作为该编码信息的解码完毕数据(S607)。

另一方面，在分割部609判断为不是只在色差Cb和色差Cr的编码中需要的编码信息时（S603中的“否”），即，该编码信息是在逆量化以后的解码中需要的信息的情况下，向编码信息用存储器713输出作为该编码信息的解码完毕数据(S604)。

这样，从分割部609被输出的多个解码完毕数据，分别分配到亮度Y用存储器710、色差Cb用存储器711、色差Cr用存储器712、编码信息用存储器713中的至少1个存储器。以后的处理中使用各自的存储器上的信息来进行可变长编码。

亮度Y用可变长编码部611，从亮度Y用存储器710读出解码完毕数据，针对该解码完毕数据进行可变长编码，从而生成亮度Y流。亮度Y用可变长编码部611，向亮度Y流用存储器714输出该亮度Y流。

此外，色差Cb用可变长编码部612，从色差Cb用存储器711读出解码完毕数据，对该解码完毕数据进行可变长编码，从而生成色差Cb流。色差Cb用可变长编码部612，向色差Cb流用存储器715输出该色差Cb流。

此外，色差Cr用可变长编码部613，从色差Cr用存储器712读出解码完毕数据，针对该解码完毕数据进行可变长编码，从而生成色差Cr流。色差Cr用可变长编码部613，向色差Cr流用存储器716输出该色差Cr流。

此外，编码信息用可变长编码部614，从编码信息用存储器713读出解码完毕数据，对该解码完毕数据进行可变长编码，从而生成编码信息流。编码信息用可变长编码部614，向编码信息流用存储器717输出该编码信息流。

以上示出的可变长编码，能够分别独立动作。换言之，在本实施例的流变换部608，能够并行地进行在实施例2依次进行的可变长编码。

图22是用于说明可变长编码的并行处理的时间图。该时间图示出确认了亮度Y、色差Cb以及色差Cr，以及该编码中需要的编码信息分别存放在各存储器之后的工作。实施例2的流变换部605，如图22的(a)所示，对各系数信息依次执行可变长编码。换言之，流变换部605的可变长编码部607，依次执行可变长编码，所以按顺序从存储器708读出亮度Y、色差Cb以及色差Cr进行可变长编码。另一方面，在本实施例的流变换部608，如图22的(b)所示，针对各系数信息并行执行可变长编码。换言之，在本实施例中，亮度Y用可变长编码部611、色差Cb用可变长编码部612、以及色差Cr用可变长编码部613分别独立地进行可变长编码，从而实现可变长编码的并行处理。其结果，在本实施例中如图22的(a)以及(b)所示，与实施例2的依次处理相比较，能够大幅度减小可变长编码的整体的处理时间。

流重构部610，分别从亮度Y流用存储器714、色差Cb流用存储器715、色差Cr流用存储器716、以及编码信息流用存储器717取出亮度Y流、色差Cb流、色差Cr流、以及编码信息流。另外，亮度Y流由被进行了可变长编码的亮度Y的多个系数信息组成，色差Cb流由被进行了可变长编码的色差Cb的多个系数信息组成，色差Cr流由被进行了可变长编码的色差Cr的多个系数信息组成。加之，编码信息流由被进行了可变长编码的多个编码信息组成。

换言之，流重构部610从所述各存储器取出各流时，分别依次选择并取出各个流中包含的信息（系数信息或编码信息）。而且，流重构部610，每当信息被取出的时候，将取出的系数信息或编码信息与紧之前被取出的系数信息或编码信息连接，从而生成调换完毕编码流。此时，流重构部610，以使调换完毕编码流中的编码信息的位置与原来的编码流中的位置相同的方式，换言之，按照原来的编码流中的顺序取出编码信息。此外，流重构部610，按照如图11示出的流程取出上述的各个流中包含的系数信息。通过进行这样的取出方法，从而生成所述的调换完毕编码流。

在这样的本实施例中，第一处理部是例如可变长解码部606。此外，调换部，例如，由流变换部608中的可变长解码部606以外的构成要素群，换言之，分割部609、各可变长编码部611～614、各存储器710～717、以及流重构部610组成。此外，第二处理部是例如图像解码装置513a。

换言之，第一处理部将可变长解码作为第一处理来进行，依次输出颜色成分，以作为第一处理单位中包含的至少1个成分。调换部具备分割部609、可变长编码部、流重构部610。分割部，按照每个颜色成分的种类，对从第一处理部输出的多个颜色成分的每一个进行分类。可变长编码部，例如由所述各可变长编码部611～614组成，按每个颜色成分的种类，对属于其种类的多个颜色成分进行可变长编码，通过该可变长编码而生成的流存放到存储部。存储部是例如所述各存储器714～717。流重构部610从存放在存储部中的按每个颜色成分的种类而生成的流，以与从第一处理部输出的多个颜色成分的顺序不同的顺序，依次读出多个颜色成分的每一个，从而生成被调换了多个颜色成分的顺序的调换完毕编码流。在这里，所述可变长编码部，针对颜色成分的种类的每一个并行地进行可变长编码。此外，所述调换完毕编码流，包含尺寸与所述第二处理单位的尺寸相同的编码单元。

（3-4.作用）

本实施例中，与实施例2相同，对向图像解码装置513a输入之前的编码流中包含的系数信息的顺序进行调换，还根据比原来的编码方式容易解码的编码方式的可变长编码来生成调换完毕编码流。这样，能够实现图像解码装置513a的高性能化，并且能够减小图像解码装置513a的存储器的容量。加之，在本实施例中，并行执行可变长编码，从而能够缩短在调换完毕编码流的生成所需要的处理时间。

(补充)

另外，本实施例中使用了可变长编码，不过，可以使用如哈夫曼编码和扫描宽度编码，算术编码或者定长编码一样的任一编码方式。

此外，各处理部的构成可以由一部分或者全部是专用硬件的电路来实现，也可以由处理器上的程序来实现。

此外，帧存储器503、亮度Y用存储器710、色差Cb用存储器711、色差Cr用存储器712、编码信息用存储器713、亮度Y流用存储器714、色差Cb流用存储器715、色差Cr流用存储器716、以及编码信息流用存储器717是存储器，不过，只要是能够存储数据的存储元件，可以是触发器等其他的构成。加之，可以是利用处理器的存储器区域的一部分、高速缓冲存储器的一部分的构成。

此外，在流变换部608使用的由亮度Y、色差Cb以及色差Cr组成的处理单位（第二处理单位）的尺寸，不限定为32x32像素（亮度Y、色差Cb以及色差Cr的总和1,536像素）的尺寸，可以是比其小的尺寸或大的尺寸。例如可以是16x16像素（亮度Y、色差Cb以及色差Cr的总和384像素）的尺寸。换言之，编码流中包含的由亮度Y、色差Cb以及色差Cr组成的调换前的处理单位（第一处理单位或CU），以由亮度Y（32x32像素）、色差Cb（16x16像素）以及色差Cr（16x16像素）组成的32x32像素单位构成的情况下，流变换部608可以将该编码流的多个系数信息的顺序调换为按照16x16像素单位的顺序。

此外，分割部609的处理不限定为图20以及图21所示的处理。

此外，在本实施例中，分割部609将该多个解码完毕数据的各自存放到亮度Y用存储器710、色差Cb用存储器711、色差Cr用存储器712、以及编码信息用存储器713中的按照该解码完毕数据的存储器中，不过，可以不受该限定，可以存放到共用的存储器。

此外，在本实施例中可以不是并行地进行3个可变长编码（对亮度Y的可变长编码、对色差Cb的可变长编码、对色差Cr的可变长编码），而是并行地进行2个可变长编码（对亮度Y的可变长编码和对，色差Cb及色差Cr的可变长编码）。这个情况下，流变换部608具备共用的一个存储器，以代替色差Cb用存储器711和色差Cr用存储器613，共用的存储器兼备这些存储器的功能。而且，分割部609，将多个解码完毕数据中的色差Cb以及色差Cr的各自的系数信息存储到该共用的1个存储器。

此外，在本实施例中，将编码信息分类成在亮度Y、色差Cb以及色差Cr中的至少一个编码中需要的信息与在逆量化以后的解码中需要的信息，向亮度Y用存储器710、色差Cb用存储器711、以及色差Cr用存储器712中的按照该分类结果的存储器输出。但是，可以不进行分类，而是将编码信息向所有的亮度Y用存储器710、色差Cb用存储器711、色差Cr用存储器712输出。这个情况下，各可变长编码部611～613，从存储器中选择需要的编码信息，在可变长编码中利用就可以。

此外，本实施例中将多个解码完毕数据，亮度Y、色差Cb以及

(实施例4)

（4-1.概要）

接着对本实施例的图像处理装置的概要进行说明。在实施例3的图像处理装置中，分割部609将可变长解码流分割为亮度Y、色差Cb、色差Cr以及编码信息，将那些解码完毕数据存放到各存储器。对于此，本实施例中不进行分割，向可变长解码流附加(插入)用于分别识别亮度Y、色差Cb、色差Cr以及编码信息的标记。这样，能够简单地实现存储器的共用化。

（4-2.构成）

下面对本实施例的图像处理装置的构成进行说明。

图23是示出本实施例的图像处理装置的构成的方框图。本实施例的图像处理装置具备比特流缓冲器604、流变换部615、图像解码装置513a。另外，在本实施例中，与实施例1、2或者3的构成要素相同的构成要素附上相同的编号，省略其说明。

换言之，本实施例的图像处理装置具备实施例3的图像处理装置中包含的构成要素中的除去流变换部608的所有的构成要素，并且代替流变换部608具备其他的流变换部615。该流变换部615，与变换部608相同，通过从比特流缓冲器604读出编码流，调换该编码流中包含的多个系数信息的顺序，从而生成调换完毕编码流。而且，流变换部615，将该调换完毕编码流输出到图像解码装置513a的比特流缓冲器502。

图24是示出本实施例的流变换部615的构成的方框图。流变换部615，如图24所示，具备可变长解码部606、标记插入部616、标记插入完毕流存储器722、亮度Y用可变长编码部617、色差Cb用可变长编码部618、色差Cr用可变长编码部619、编码信息用可变长编码部620、亮度Y流用存储器718、色差Cb流用存储器719、色差Cr流用存储器720、编码信息流用存储器721、流重构部621。

（4-3.工作）

接着说明流变换部615的工作。

可变长解码部606，对被输入的编码流进行可变长解码。下面，标记插入部616，从通过该可变长解码而生成的可变长解码流中，识别亮度Y的系数信息、色差Cb的系数信息、色差Cr的系数信息、以及其他的编码信息，插入针对各自的标记。

图25是示出标记插入部616的处理动作的流程图。首先，标记插入部616获得解码完毕数据，该解码完毕数据是可变长解码流中的一部分的信息(S701)。接着，标记插入部616判断该解码完毕数据是不是系数信息(S702)。在这里，在标记插入部616判断为不是系数信息时（S702中的“否”），该解码完毕数据是编码信息，所以在可变长解码流中的该编码信息的紧之前插入编码信息标记(S705)。另一方面，在标记插入部616判断为是系数信息时（S702中的“是”），执行后述的系数信息标记插入处理(S703)。

此外，标记插入部616在进行S703或S705的处理之后，判断在S701获得的解码完毕数据是不是可变长解码流的末端的数据(S704)。而且，在标记插入部616判断为不是末端的数据时（S704中的“否”），再次执行S701的处理。换言之，标记插入部616从可变长解码流获得下一个解码完毕数据，针对该解码完毕数据执行S702～S705的处理。

图26是示出标记插入部616的系数信息标记插入处理(S703)的流程图。另外，编码流（可变长解码流），如图27的(a)所示，多个系数信息，按照亮度Y0，亮度Y1，亮度Y2，亮度Y3，色差Cb0，色差Cb1，色差Cb2，色差Cb3，色差Cr0，色差Cr1，色差Cr2，色差Cr3的顺序而配置。

标记插入部616，首先从可变长解码流读出亮度Y0的系数信息，在该可变长解码流中的该系数信息的紧之前，插入示出亮度Y0的标记(S801)。接着，标记插入部616，从可变长解码流读出亮度Y1的系数信息，在该可变长解码流中的该系数信息的紧之前，插入示出亮度Y1的标记(S802)。以下也相同，针对各系数信息，按顺序插入能够识别的标记（S803～S812）。

图27是用于说明针对可变长解码流插入标记的图。

标记插入部616，对图27的(a)所示的可变长解码流进行上述的处理工作，其结果生成如图27的(b)示出的标记插入完毕流，该标记插入完毕流是被插入了标记的可变长解码流。在该标记插入完毕流中，按每个系数信息，在该系数信息紧之前插入识别该系数信息的标记。而且，标记插入部616，将该标记插入完毕流存放到标记插入完毕流存储器722。

下面，亮度Y用可变长编码部617，按照标记从标记插入完毕流中取出在亮度Y的编码中需要的解码完毕数据，对该解码完毕数据进行可变长编码。亮度Y用可变长编码部617，通过重复这样的可变长编码从而生成亮度Y流，向亮度Y流用存储器718输出该亮度Y流。

此外，色差Cb用可变长编码部618从标记插入完毕流中，按照标记，取出在色差Cb的编码中需要的解码完毕数据，对该解码完毕数据进行可变长编码。色差Cb用可变长编码部618，通过重复这样的可变长编码而生成色差Cb流，向色差Cb流用存储器719输出该色差Cb流。同样，色差Cr用可变长编码部619从标记插入完毕流中，按照标记取出在色差Cr的编码中需要的解码完毕数据，对该解码完毕数据进行可变长编码。色差Cr用可变长编码部619，通过重复这样的可变长编码而生成色差Cr流，向色差Cr流用存储器720输出该色差Cr流。

此外，编码信息用可变长编码部620，从标记插入完毕流中，按照标记取出在编码信息的编码中需要的解码完毕数据，对该解码完毕数据进行可变长编码。编码信息用可变长编码部620，通过重复这样的可变长编码，生成编码信息流，向编码信息流用存储器721输出该编码信息流。

以上示出的可变长编码与实施例3相同，能够各自独立地执行。但是，本实施例中，各流（亮度Y流、色差Cb流、色差Cr流以及编码信息流）中留有标记。

接着，流重构部621，根据标记，分别从亮度Y流用存储器718、色差Cb流用存储器719、色差Cr流用存储器720、以及编码信息流用存储器721中取出亮度Y流、色差Cb流、色差Cr流、以及编码信息流。另外，亮度Y流由被进行了可变长编码的亮度Y的多个系数信息和针对这些的标记组成，色差Cb流由被进行了可变长编码的色差Cb的多个系数信息和针对这些的标记组成，色差Cr流由被进行了可变长编码的色差Cr的多个系数信息和针对这些的标记组成。另外，编码信息流由被进行了可变长编码的多个编码信息和针对这些的标记组成。

换言之，流重构部621从所述各存储器取出各流时，针对各个流中包含的信息（系数信息或编码信息），根据对这些的信息插入的标记，分别依次选择并取出。而且，流重构部621，每当信息被取出的时候，将取出的系数信息或编码信息与紧之前被取出的系数信息或编码信息连接，从而生成调换完毕编码流。此时，流重构部621，以使调换完毕编码流中的编码信息的位置与原来的编码流中的位置相同的方式，换言之，按照原来的编码流中的顺序取出编码信息。此外，流重构部621，按照如图11示出的流程取出上述的各个流中包含的系数信息。通过进行这样的取出方法，从而生成所述的调换完毕编码流。在本实施例中，这时标记被去除。

在这样的本实施例中，第一处理部是例如可变长解码部606。此外，调换部，例如由流变换部615中的可变长解码部606以外的构成要素群，换言之标记插入部616、各可变长编码部617～620、各存储器718～722、以及流重构部621组成。此外，第二处理部是例如图像解码装置513a。

换言之，第一处理部将可变长解码作为第一处理来进行，并且依次输出颜色成分，以作为第一处理单位中包含的至少1个成分。调换部具备标记插入部616、可变长编码部、流重构部621。标记插入部616，针对从第一处理部输出的多个颜色成分的每一个，附加用于识别该颜色成分的种类的标记。可变长编码部，例如由所述各可变长编码部617～620组成，根据由标记插入部616附加的标记，识别从第一处理部输出的多个颜色成分的各自的种类，按每个颜色成分的种类，对属于该种类的多个颜色成分进行可变长编码，由可变长编码而生成的流存放到存储部。存储部是例如所述各存储器718～721。流重构部621从存放在存储部中的按每个颜色成分的种类而生成的流，以与从第一处理部输出的多个颜色成分的顺序不同的顺序，依次读出多个颜色成分的每一个，从而生成被调换了多个颜色成分的顺序的调换完毕编码流。在这里，所述可变长编码部，并行地进行针对颜色成分的种类的每一个的可变长编码。

（4-4.作用）

本实施例中，与实施例3相同，对向图像解码装置513a输入之前的编码流中包含的系数信息的顺序进行调换，还根据比原来的编码方式容易解码的编码方式的可变长编码来生成调换完毕编码流。这样，能够实现图像解码装置513a的高性能化，并且能够减小图像解码装置513a的存储器的容量。加之，在本实施例中，与实施例3相同，并行执行可变长编码，从而能够缩短在调换完毕编码流的生成所需要的处理时间。

加之，在本实施例中，通过插入用于识别亮度Y、色差Cb、色差Cr以及编码信息的标记，能够将这些作为一连串的数据来存放到存储器。此外，能够实现存储器资源的共用化。这样比亮度Y、色差Cb、色差Cr以及编码信息个别存放到存储器的情况，更能简化存储器的管理以及控制，能够提高可变长编码涉及的处理并行执行时的性能。这样，能够进一步缩短调换完毕编码流的生成所需要的处理时间，能够实现图像处理装置的高性能化，能够减小图像处理装置的存储器的容量。

(补充)

另外，本实施例中使用了可变长编码，不过，可以使用如哈夫曼编码和扫描宽度编码，算术编码或者定长编码一样的任一编码方式。

此外，各处理部的构成可以由一部分或者全部是专用硬件的电路来实现，也可以由处理器上的程序来实现。

此外，帧存储器503、亮度Y流用存储器718、色差Cb流用存储器719、色差Cr流用存储器720、编码信息流用存储器721以及标记插入完毕流存储器722是存储器，不过，只要是能够存储数据的存储元件，也可以是触发器等其他的构成。加之，可以是利用处理器的存储器区域的一部分、高速缓冲存储器的一部分的构成。

此外，在顺序调换部615使用的由亮度Y、色差Cb以及色差Cr组成的处理单位（第二处理单位）的尺寸，不限定为32x32像素（亮度Y、色差Cb以及色差Cr的总和1,536像素）的尺寸，可以是比其小的尺寸或大的尺寸。例如可以是16x16像素（亮度Y、色差Cb以及色差Cr的总和384像素）的尺寸。换言之，编码流中包含的由亮度Y、色差Cb以及色差Cr组成的调换前的处理单位（第一处理单位或CU），以由亮度Y（32x32像素）、色差Cb（16x16像素）以及色差Cr（16x16像素）组成的32x32像素单位被构成的情况下，顺序调换部615，可以将该编码流的多个系数信息的顺序，调换为按照16x16像素单位的顺序。

此外，在标记插入部616的处理不被限定为图25和图26示出的处理。

此外，可以将编码信息分类成亮度Y、色差Cb、以及色差Cr中至少1个编码中需要的信息和在逆量化之后的解码中需要的信息，并插入标记。

此外，上述的各标记只要是各个信息能够识别的值就可以，也可以是标准没有利用的数值串、表示信息的比特宽度等。

此外，在本实施例中，可以不并行地进行3个可变长编码（对亮度Y的可变长编码、对色差Cb的可变长编码、对色差Cr的可变长编码），而是并行地进行2个可变长编码（对亮度Y的可变长编码、对色差Cb及色差Cr的可变长编码）。这个情况下，标记插入部616，可以在多个解码完毕数据中，对色差Cb及色差Cr的各自的系数信息（解码完毕数据）插入共用的标记。

(实施例5)

（5-1.概要）

下面对本实施例的图像处理装置的概要进行说明。在实施例4的图像处理装置中，各可变长编码部按照由标记插入部616插入的标记，并行地动作。而且，标记由流重构部621被删除，图像解码装置513a，对标记没被插入的调换完毕编码流，依次执行解码处理。对于此，在本实施例中，标记不被流重构部删除，图像解码装置对标记被插入的调换完毕编码流并行地进行解码处理。

（5-2.构成）

下面在本实施例的图像处理装置的构成进行说明。

图28是示出本实施例的图像处理装置的构成的方框图。本实施例的图像处理装置具备比特流缓冲器604、流变换部622、图像解码装置650，该流变换部622针对被输入的编码流插入用于识别亮度Y、色差Cb、色差Cr以及编码信息的标记。另外，在本实施例中，与实施例1～4的构成要素相同的构成要素附上相同的编号，省略其说明。

图29是表示本实施例的流变换部622的构成的方框图。如图29所示，流变换部622具备可变长解码部606、标记插入部616、标记插入完毕流存储器722、亮度Y用可变长编码部617、色差Cb用可变长编码部618、色差Cr用可变长编码部619、编码信息用可变长编码部620、亮度Y流用存储器718、色差Cb流用存储器719、色差Cr流用存储器720、编码信息流用存储器721、流重构部623。

换言之，在本实施例的流变换部622，具备实施例4的流变换部615中包含的构成要素中的除去流重构部621的所有的构成要素，并且代替流重构部621具备其他的流重构部623。这个流重构部623与流重构部621相同，从各存储器718～721取出信息（系数信息或编码信息），不过，不仅是该信息，还取出与该信息对应的标记。而且，流重构部623，例如生成如图27的(b)所示的包含多个标记和多个信息的标记插入完毕编码流。

图像解码装置650具备比特流缓冲器520、可变长解码部640、逆量化部641、运动矢量算出部642、运动补偿部643、逆频率变换部644、帧内预测部645、控制部501、帧存储器503、重构部511、解块滤波部512。

比特流缓冲器520保持从流变换部622输出的标记插入完毕编码流。可变长解码部640从比特流缓冲器520读出标记插入完毕编码流，针对该标记插入完毕编码流中包含的亮度Y、色差Cb及色差Cr并行地进行可变长解码。逆量化部641，针对亮度Y的可变长解码结果(量化值)、色差Cb及色差Cr的可变长解码结果并行地进行逆量化。逆频率变换部644，针对亮度Y的逆量化结果（频率系数）、色差Cb及色差Cr的逆量化结果并行地进行逆频率变换。

运动矢量算出部642，针对标记插入完毕编码流中包含的亮度Y、色差Cb及色差Cr并行地进行运动矢量的算出。运动补偿部643针对亮度Y、色差Cb及色差Cr并行地进行运动补偿。帧内预测部645针对亮度Y、色差Cb及色差Cr依次进行帧内预测。

换言之，本实施例的图像解码装置650与实施例2～4的图像解码装置513a不同之处是可变长解码部640、逆量化部641、逆频率变换部644、运动矢量算出部642以及运动补偿部643的各自针对亮度Y、色差Cb及色差Cr并行地执行处理的点。

图30是示出图像解码装置650的可变长解码部640、逆量化部641、逆频率变换部644、运动矢量算出部642以及运动补偿部643的构成的图。可变长解码部640具备亮度可变长解码部624和色差可变长解码部625。逆量化部641具备亮度逆量化部626和色差逆量化部627。逆频率变换部644具备亮度逆频率变换部628、色差逆频率变换部629、亮度用存储器727、色差用存储器728、系数重构部630。运动矢量算出部642具备亮度运动矢量算出部631和色差运动矢量算出部632。运动补偿部643具备亮度运动补偿部633、色差运动补偿部634、运动补偿重构部635。

图31是示出图像解码装置650的帧内预测部645的构成的图。如图31所示，帧内预测部645具备亮度帧内预测部636、帧内预测图像存储器729、色差帧内预测部637。

另外，各处理部之间分别经由存储器连接。换言之，可变长解码部640与逆量化部641，经由亮度用存储器723及色差用存储器724被连接。加之，逆量化部641与逆频率变换部644，经由亮度用存储器725及色差用存储器726被连接，另外，这些的存储器723～726由图像解码装置650具备。

（5-3.工作）

下面说明图28示出的图像处理装置的工作。另外，如图27的(a)所示，编码流（可变长解码流）中多个系数信息，按照亮度Y0，亮度Y1，亮度Y2，亮度Y3，色差Cb0，色差Cb1，色差Cb2，色差Cb3，色差Cr0，色差Cr1，色差Cr2，色差Cr3的顺序配置。

首先用图29来说明流变换部622的工作。与实施例4同样，流变换部622的标记插入部616，识别亮度Y的系数信息、色差Cb的系数信息、色差Cr的系数信息以及其他的编码信息，对这些分别插入标记。加之，可变长编码部617～620分别对上述的各信息并行地进行可变长编码。其结果，针对那些信息进行可变长编码而生成的流，分别输出到亮度Y流用存储器718、色差Cb流用存储器719、色差Cr流用存储器720、编码信息流用存储器721中的与该流对应的存储器。

接着，流重构部623，根据标记，分别从亮度Y流用存储器718、色差Cb流用存储器719、色差Cr流用存储器720、以及编码信息流用存储器721中取出亮度Y流、色差Cb流、色差Cr流、以及编码信息流。换言之，流重构部623从所述各存储器取出各流时，针对各个流中包含的信息（系数信息或编码信息），根据对这些的信息插入的标记，分别依次选择并取出。而且，流重构部621，每当信息被取出的时候，将取出的系数信息或编码信息与紧之前取出的系数信息或编码信息连接，从而生成标记插入完毕编码流。此时，流重构部623，以使标记插入完毕编码流中的编码信息的位置与原来的编码流中的位置相同的方式，换言之，按照原来的编码流中的顺序取出编码信息。此外，流重构部623，按照如图11示出的流程取出上述的各个流中包含的系数信息。通过进行这样的取出方法，从而生成所述的标记插入完毕编码流。

但是，本实施例的流重构部623，在取出信息（系数信息或编码信息）时，将针对该信息插入的标记与该信息一起取出。换言之，在实施例4中，从流重构部输出的流，标记被去除，不过，本实施例中有标记。

这样，标记插入完毕编码流中多个标记和多个系数信息按照以下顺序配置，亮度Y0的标记、亮度Y0、色差Cb0的标记、色差Cb0、色差Cr0的标记、色差Cr0、亮度Y1的标记、亮度Y1、色差Cb1的标记、色差Cb1、色差Cr1的标记、色差Cr1、亮度Y2的标记、亮度Y2、色差Cb2的标记、色差Cb2、色差Cr2的标记、色差Cr2、亮度Y3的标记、亮度Y3、色差Cb3的标记、色差Cb3、色差Cr3的标记、色差Cr3的顺序。而且，这样的标记插入完毕编码流被输出到比特流缓冲器520。

下面说明图像解码装置650的工作。首先，利用图30来说明可变长解码部640、逆量化部641、逆频率变换部644、运动矢量算出部642、运动补偿部643的工作。可变长解码部640、逆量化部641、逆频率变换部644具有分别针对亮度以及色差的处理部。亮度用的处理部分别对亮度执行实施例1示出的可变长解码、逆量化以及逆频率变换，色差用的处理部分别对色差执行实施例1示出的可变长解码、逆量化以及逆频率变换。而且，亮度用的处理部与色差用的处理部并行地执行处理。

具体而言，在可变长解码部640中，亮度可变长解码部624对标记插入完毕编码流内的亮度的系数信息进行可变长编码，并将该被进行了可变长编码的系数信息（亮度的量化值）存放到亮度用存储器723。而且色差可变长解码部625与由亮度可变长解码部624的处理并行地对标记插入完毕编码流内的色差的系数信息进行可变长编码，并将该被进行了可变长编码的系数信息（色差的量化值）存放到色差用存储器724。

在逆量化部641中，亮度逆量化部626从亮度用存储器723获得作为亮度的量化值的系数信息进行逆量化，将该逆被量化的系数信息（亮度的频率系数）存放到亮度用存储器725。而且，色差逆量化部627与由亮度逆量化部626的处理并行地从色差用存储器724获得作为色差的量化值的系数信息进行逆量化，将该逆被量化的系数信息（色差的频率系数）存放到色差用存储器726。

在逆频率变换部644中，亮度逆频率变换部628，从亮度用存储器725获得作为亮度的频率系数的系数信息进行逆频率变换，将该被进行了逆频率变换的系数信息（亮度的像素值）存放到亮度用存储器727。而且，色差逆频率变换部629与由亮度逆频率变换部628进行的处理并行地从色差用存储器726获得作为色差的频率系数的系数信息进行逆频率变换，将被进行了该逆频率变换的系数信息（色差的像素值）存放到色差用存储器728。

下面，系数重构部630按照图11的流程，从亮度用存储器727以及色差用存储器728，取出作为亮度以及色差的像素值的系数信息。此时，系数重构部630删除在流变换部622被插入的标记。这样，以后的处理以图10的(b)示出的单位来执行。

在运动矢量算出部642中，与实施例1同样，亮度运动矢量算出部631对亮度的系数信息算出运动矢量。而且，与实施例1同样，色差运动矢量算出部632与由亮度运动矢量算出部631进行的处理并行地对色差的系数信息算出运动矢量。

与实施例1同样，在运动补偿部643中，亮度运动补偿部633对亮度的系数信息进行运动补偿。而且，与实施例1同样，色差运动补偿部634与由亮度运动补偿部633进行的处理并行地对色差的系数信息进行运动补偿。运动补偿重构部635按照与图10的(b)示出的系数信息的顺序对应的顺序，重新排列根据亮度运动补偿部633以及色差运动补偿部634的运动补偿而生成的信息（运动补偿信息）。

下面用图31说明帧内预测部645的工作。亮度帧内预测部636利用从重构部511输出的解码图像和帧内预测所需要的参数，进行亮度图像的帧内预测，将作为该预测结果的帧内预测图像输出到帧内预测图像存储器729。接着，色差帧内预测部637参考在帧内预测图像存储器729存放的亮度的帧内预测图像，进行色差图像的帧内预测。

在这样的本实施例中，第一处理部例如是可变长解码部606。此外，调换部，由例如流变换部622中的可变长解码部606以外的构成要素群，换言之标记插入部616、各可变长编码部617～620、各存储器718～722、以及流重构部623组成。此外，第二处理部是例如图像解码装置650。

就是说，在本实施例中，流重构部623依次读出对多个颜色成分的每一个附加的标记与多个颜色成分，生成对多个颜色成分的每一个附加了标记的调换完毕编码流。而且，作为第二处理部的图像解码装置636具备可变长解码部640、逆量化部641、逆频率变换部、成分重构部。可变长解码部640根据调换完毕编码流中包含的多个所述标记，按每个颜色成分的种类，对属于该种类的多个颜色成分进行可变长解码。逆量化部641，按每个颜色成分的种类，对属于该种类的被进行了可变长解码的多个颜色成分进行逆量化。逆频率变换部，例如由亮度逆频率变换部628以及色差逆频率变换部629组成，按每个颜色成分的种类，对属于该种类的被进行了逆量化的多个颜色成分进行逆频率变换，从而生成包含多个标记的颜色成分数据。此外，成分重构部是例如系数重构部630，将按每个颜色成分的种类而生成的颜色成分数据，根据颜色成分数据中包含的多个标记来进行识别，以按照由调换部进行了调换的顺序来排列被进行了逆频率变换的多个颜色成分的方式，重新构成多个颜色成分。在这里，上述的可变长解码部640、逆量化部641、以及逆频率变换部628、629，分别并行地进行针对颜色成分的种类的每一个的处理。

（5-4.作用）

在本实施例中，与实施例4相同，根据用于识别编码信息、亮度Y的系数信息、色差Cb的系数信息、色差Cr的系数信息的标记，并行地执行流变换部的可变长编码处理，从而能够减小存储器容量，能够实现流变换部以及图像处理装置的高性能化。加之，在本实施例中，在图像解码装置650的可变长解码、逆量化、逆频率变换、运动矢量的算出以及运动补偿的各个处理，并行执行对亮度的处理和对色差的处理，从而能够提高处理效率以及性能。此外，到重构部511为止，取得亮度的系数信息和色差的系数信息的同步，从而将与亮度和色差的处理有依存关系的帧内预测恰当地处理。

(补充)

另外，本实施例中使用了可变长编码，不过，可以使用如哈夫曼编码和扫描宽度编码，算术编码或者定长编码一样的任一编码方式。

此外，帧存储器503、亮度Y流用存储器718、色差Cb流用存储器719、色差Cr流用存储器720、编码信息流用存储器721、标记插入完毕流存储器722、亮度用存储器723、色差用存储器724、亮度用存储器725，色差用存储器726，亮度用存储器727，色差用存储器728，以及帧内预测图像存储器729是存储器，不过，只要是能够存储数据的存储元件，也可以是触发器等其他的构成。加之，也可以是利用处理器的存储器区域的一部分、高速缓冲存储器的一部分的构成。

此外，在流变换部622使用的由亮度Y、色差Cb以及色差Cr组成的处理单位（第二处理单位）的尺寸，不限定为32x32像素（亮度Y、色差Cb以及色差Cr的总和1,536像素）的尺寸，可以是比其小的尺寸或大的尺寸。例如可以是16x16像素（亮度Y、色差Cb以及色差Cr的总和384像素）的尺寸。换言之，编码流中包含的由亮度Y、色差Cb以及色差Cr组成的调换前的处理单位（第一处理单位或CU），以由亮度Y（32x32像素）、色差Cb（16x16像素）以及色差Cr（16x16像素）组成的32x32像素单位被构成的情况下，流变换部622，可以将该编码流的多个系数信息的顺序，调换为按照16x16像素单位的顺序。

此外，可以将编码信息分类成亮度Y、色差Cb、以及色差Cr中至少1个编码中需要的信息和在逆量化之后的解码中需要的信息，并插入标记。

此外，上述的各标记只要是各个信息能够识别的值就可以，也可以是标准没有利用的数值串、表示信息的比特宽度等。

此外，将对亮度的处理和对色差的处理分开来并行地执行，不过不被此限定。例如，可以将亮度Y、色差Cb以及色差Cr分开来并行地执行。或者也可以将亮度Y0、亮度Y1、亮度Y2、亮度Y3、色差Cb0、色差Cb1、色差Cb2、色差Cb3、色差Cr0、色差Cr1、色差Cr2、以及色差Cr3分开来并行地执行。

此外，在本实施例中不是并行地进行3个可变长编码（对亮度Y的可变长编码和对色差Cb的可变长编码和对色差Cr的可变长编码），可以并行地进行2个可变长编码（对亮度Y的可变长编码和对色差Cb以及色差Cr的可变长编码）。这个情况下，标记插入部616，可以在多个解码完毕数据中，对色差Cb及色差Cr的各自的系数信息（解码完毕数据）插入共用的标记。

另外，所述实施例2～5中，将包含图像解码装置、流变换部以及比特流缓冲器的装置称为图像处理装置，不过也可以将该图像处理装置称为图像解码装置来处理。

此外，在所述实施例1～5中，图1A或图10的(a)所示，针对在64x64像素大小的CU内，排列了连续的4个32x32像素大小的亮度Y，连续的4个16x16像素大小的色差Cb，连续的4个16x16像素大小的色差Cr的编码流进行如上述一样的系数信息的调换。但是成为调换的对象的编码流，不只限于这样的构成。例如即使是64x64像素大小的CU内，如图10的(b)所示，包含32x32像素大小的亮度Y、16x16像素大小的色差Cb以及16x16像素大小的色差Cr的处理单位(TU)的连续排列了4个的编码流，也可以如上述一样调换系数信息。在这个情况下，上述的处理单位(TU)内进行系数信息的调换。这样的调换，例如在图6示出的逆频率变换部506的处理与图像重构部603的处理之间进行。

(实施例6)

通过将用于实现在上述的实施例所示的图像编码方法以及图像解码方法的结构的程序记录到记录介质，从而可以将上述各实施例所示的处理在独立的计算机系统简单地实施。记录介质可以是磁盘、光盘、磁光盘、IC卡、半导体存储器等，只要能够记录程序就可以。

并且，在此对在上述的实施例所示的图像处理方法以及图像解码方法的应用实例以及利用这些的系统进行说明。

图32是示出实现内容分发服务的内容提供系统ex100的全体构成的图。将通信服务的提供区域划分为所希望的大小，在各单元内分别设置有作为固定无线局的基站ex107至ex110。

这个内容服务系统ex100中，经由电话网ex104以及基站ex107～ex110，计算机ex111、个人数字助理（Personal Digital Assistant）ex112、摄像机ex113、便携式电话ex114等各种设备相连接。此外，各种设备经由互联网服务提供商ex102与互联网ex101连接。

然而，内容提供系统ex100并非局限于图32所示的构成，也可以对任意的要素进行组合连接。并且，可以不通过作为固定无线局的基站ex107至ex110，而是各个设备直接与电话网ex104相连接。并且，也可以是各个设备通过近场无线等而彼此直接连接。

摄像机ex113是数字摄像机等能够拍摄运动图像的设备，摄像机ex116是数字照相机等能够拍摄静止图像以及运动图像的设备。并且，移动电话ex114可以以GSM(GlobalSystem for Mobile Communications：全球移动通讯系统)方式、CDMA(Code DivisionMultiple Access：码分多址)方式、W-CDMA(Wideband-Code Division Multiple Access：宽带码分多址)方式、LTE(Long Term Evolution：长期演进)方式、HSPA(High-SpeedPacket Access：高速分组接入)的移动电话，或PHS(Personal Handy-phone System：个人手持式电话系统)等任一个来构成。

在内容提供系统ex100中，摄像机ex113等通过基站ex109、电话网ex104与流播放服务器ex103连接，从而进行实况分发等。在实况分发中，针对用户利用摄像机ex113拍摄的内容（例如音乐实况的影像等）进行在上述的实施例所说明的编码处理，并发送到流播放服务器ex103。另外，流播放服务器ex103针对提出请求的客户端，对被发送的内容数据进行流的分发。作为客户端，包括能够解码上述的被编码处理的数据的计算机ex111、PDAex112、摄像机ex113、便携式电话ex114等。在接收了被分发的数据的各个设备，对接收的数据进行解码处理并再生。

并且，拍摄的数据的编码处理可以在摄像机ex113进行，也可以在进行数据的发送处理的流播放服务器ex103进行，也可以相互分担进行。同样，被分发的数据的解码处理可以由客户端进行，也可以在流播放服务器ex103进行，也可以相互分担进行。并且，不仅限于摄像机ex113，由摄像机ex116拍摄的静止图像数据以及／或者运动图像数据，也可以通过计算机ex111而被发送到流播放服务器ex103。此时的编码处理可以在摄像机ex116、计算机ex111、以及流播放服务器ex103的任一个中进行，也可以相互分担进行。

并且，这些编码处理以及解码处理可以在一般的计算机ex111以及各个设备所具有的LSI(Large Scale Integration：大规模集成电路)ex500中执行。LSIex500可以由一个芯片构成，也可以由多个芯片构成。另外，也可以将图像处理用的软件以及图像解码用的软件安装到计算机ex111等能够读取的某种记录介质（CD-ROM、软盘、硬盘等）中，并利用该软件来进行编码处理以及解码处理。而且，在移动电话ex114是附带有相机的情况下，也可以发送该相机所获得的运动图像数据。在这种情况下的运动图像数据是由移动电话ex114所具有的LSIex500进行编码处理后的数据。

并且，流播放服务器ex103是多个服务器或多个计算机，也可以是对数据进行分散地处理、记录、分发的装置。

如以上所述，在内容提供系统ex100中，客户端能够接收并再生被编码的数据。在这样的内容提供系统ex100中，在客户端能够实时地接收并解码由用户发送的信息并且能够再生，这样，即使是没有特殊权利或设备的用户也能够实现个人播放。

并且，不仅限于内容供给系统ex100的例子，如图33所示，在数字广播用系统ex200上也能够组装上述各个实施例所示的图像处理装置以及图像解码装置中的任一个。具体而言，在广播电台ex201，影像信息的比特流通过电波进行通信或被传送到广播卫星ex202。这个比特流是通过所述各个实施例说明的图像处理方法所处理的编码比特流。接收了这些的广播卫星ex202发送用于广播的电波，这些电波由能够进行卫星广播接收的家庭的天线ex204来接收。接收的比特流由电视机（接收机）ex300或机顶盒（STB）ex217等装置进行解码并再生。

此外，针对作为记录介质的CD以及DVD等记录介质ex214记录的比特流进行读出并解码的再生装置ex212也可以安装所述实施例示出的图像解码装置或图像处理装置。在此情况下，被再生的影像信号被显示在显示器ex213。

并且，在用于读取并解码DVD、BD（Blu-ray Disc）等记录介质ex215中所记录的编码比特流、或者在记录介质ex215编码影像信号并进行写入的阅读器／记录器ex218上，也能够安装上述各个实施例所示的图像解码装置或图像处理装置。在这种情况下，被再生的影像信号能够被显示在显示器ex219，并且能够由记录了编码比特流的记录介质ex215在其他的装置或系统中再生影像信号。并且，也可以将图像解码装置安装到与有线电视用的电缆ex203或卫星／地波广播的天线ex204连接的机顶盒ex217内，并在电视机的显示器ex219上显示。此时，可以不组装机顶盒，而是将图像解码装置组装到电视机内。

图34是示出利用了上述的实施例所说明的图像解码方法的电视机（接收机）ex300的图。电视机ex300包括：调谐器ex301，通过接收上述广播的天线ex204或电缆ex203等获得或者输出影像信息的比特流；调制／解调部ex302，解调接收的编码数据，或者为了将生成的编码数据发送到外部而进行调制；以及多路复用／分离部ex303，对解调的影像数据和声音数据进行分离，或者对被编码的影像数据和声音数据进行多路复用。

并且，电视机ex300具有信号处理部ex306和输出部ex309，所述信号处理部ex306具有分别对声音信号和影像信号进行解码或者对各个信息分别进行编码的声音信号处理部ex304和影像信号处理部ex305；所述输出部ex309具有对被解码的声音信号进行输出的扬声器ex307，以及对被解码的影像信号进行显示的显示器等显示部ex308。进而，电视机ex300具有接口部ex317，该接口部ex317具有接受用户的操作输入的操作输入部ex312等。进而，电视机ex300具有统括控制各个部的控制部ex310，以及向各个部提供电力的电源电路部ex311。

接口部ex317除可以具有操作输入部ex312以外，还可以具有与阅读器／记录器ex218等外部设备连接的电桥ex313、用于安装SD卡等记录介质ex216的插槽部ex314、用于与硬盘等外部记录介质连接的驱动器ex315、以及与电话网连接的调制解调器ex316等。并且，记录介质ex216能够通过存储的非易失性／易失性的半导体存储器元件进行信息的电记录。

电视机ex300的各个部通过同步总线相互连接。

首先，对电视机ex300通过天线ex204等从外部获得的数据进行解码并再生的构成进行说明。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据具有CPU等的控制部ex310的控制，将在调制／解调部ex302解调的影像数据和声音数据，在多路复用／分离部ex303进行分离。进而，电视机ex300将分离的声音数据在声音信号处理部ex304进行解码，利用上述的实施例中说明的解码方法，将分离的影像数据在影像信号处理部ex305进行解码。解码的声音信号和影像信号分别从输出部ex309被输出到外部。在进行输出时，为了使声音信号和影像信号同步再生，而可以在缓冲器ex318、ex319等暂时蓄积这些信号。并且，电视机ex300可以不从广播等读出被编码的编码比特流，而是从磁性／光盘、SD卡等记录介质ex215、ex216中读出被编码的编码比特流。

以下将要说明的构成是，电视机ex300对声音信号以及影像信号进行编码，并发送到外部或写入到记录介质。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据控制部ex310的控制，在声音信号处理部ex304对声音信号进行编码，并利用在上述的实施例中说明的编码方法，在影像信号处理部ex305对影像信号进行编码。被编码的声音信号和影像信号在多路复用／分离部ex303被多路复用，并被输出到外部。在进行多路复用时，为了使声音信号和影像信号同步，而可以将这些信号暂时蓄积到缓冲器ex320、ex321等。另外，关于缓冲器ex318至ex321，可以如图中所示那样具备多个，也可以共享一个以上的缓冲器。而且，除图中所示以外，例如可以在调制／解调部ex302与多路复用／分离部ex303之间等，作为回避系统的上溢和下溢的缓冲材料，可以在缓冲器中蓄积数据。

并且，电视机ex300除具有获得广播以及来自记录介质等的声音数据以及影像数据的构成以外，还可以具有接受麦克风以及摄像机的AV输入的构成，并且也可以对从这些获得的数据进行编码处理。并且，在此虽然对电视机ex300能够进行上述的编码处理、多路复用以及外部输出的构成进行了说明，不过也可以是不进行上述的全部的处理，而仅进行上述的接收、解码处理以及外部输出的构成。

并且，在阅读器／记录器ex218从记录介质中读出或写入编码比特流的情况下，上述的解码处理或编码处理也可以在电视机ex300以及阅读器／记录器ex218的某一个中进行，也可以是电视机ex300和阅读器／记录器ex218彼此分担进行。

作为一个例子，图35示出从光盘进行数据的读取或写入的情况下的信息再生／记录部ex400的构成。信息再生／记录部ex400包括以下将要说明的要素ex401至ex407。光学头ex401将激光照射到作为光盘的记录介质ex215的记录面并写入信息，并且检测来自记录介质ex215的记录面的反射光并读取信息。调制记录部ex402对被内藏于光学头ex401的半导体激光进行电驱动，并按照记录数据来进行激光的调制。再生解调部ex403对由被内藏于光学头ex401的光电探测器对来自记录面的反射光进行电检测而得到的再生信号进行放大，对被记录在记录介质ex215的信号成分进行分离、解调，并再生必要的信息。缓冲器ex404对用于在记录介质ex215进行记录的信息以及从记录介质ex215再生的信息进行暂时保持。盘式电机ex405使记录介质ex215旋转。伺服控制部ex406在对盘式电机ex405的旋转驱动进行控制的同时，将光学头ex401移动到规定的信息光道，进行激光的光点的追踪处理。

系统控制部ex407对信息再生／记录部ex400进行整体控制。上述的读出以及写入处理可以通过以下的方法来实现，即：系统控制部ex407利用被保持在缓冲器ex404的各种信息，并且按照需要在进行新的信息的生成以及追加的同时，一边使调制记录部ex402、再生解调部ex403以及伺服控制部ex406协调工作，一边通过光学头ex401来进行信息的记录再生。系统控制部ex407例如以微处理器构成，通过执行读出以及写入的程序来执行这些处理。

以上，以光学头ex401照射激光光点为例进行了说明，不过也可以是利用近场光学（near-field optical）来进行高密度的记录的构成。

图36是作为光盘的记录介质ex215的模式图。在记录介质ex215的记录面上，导槽（槽）被形成为螺旋状，在信息光道ex230上预先被记录有按照槽的形状的变化示出盘上的绝对位置的地址信息。该地址信息包括用于确定记录块ex231的位置的信息，该记录块ex231是记录数据的单位，进行记录以及再生的装置能够通过再生信息光道ex230以及读取地址信息，来确定记录块。并且，记录介质ex215包括：数据记录区域ex233、内周区域ex232、以及外周区域ex234。用于记录用户数据的区域为数据记录区域ex233，被配置在数据记录区域ex233的内周或外周的内周区域ex232和外周区域ex234被用于用户数据的记录以外的特殊用途。

信息再生／记录部ex400针对这种记录介质ex215的数据记录区域ex233，进行被编码的声音数据、影像数据或对这些数据进行多路复用后的编码数据的读写。

以上以具有一层结构的DVD、BD等光盘为例进行了说明，但并非受此所限，也可以是多层结构的能够在表面以外进行记录的光盘。并且，也可以在盘的同一位置上利用各种不同波长的颜色的光记录信息，或者从各种角度记录不同的信息的层等，具有进行多维的记录／再生的结构的光盘。

并且，在数字广播用系统ex200，能够在具有天线ex205的车辆ex210从卫星ex202等接收数据，并且能够在车辆ex210所具有的车辆导航系统ex211等显示装置再生运动图像。并且，关于车辆导航系统ex211的构成可以考虑到在图34所示的构成中添加GPS接收部，同样也可以考虑到添加计算机ex111以及移动电话ex114等。并且，上述移动电话ex114等终端与电视机ex300同样，除可以考虑到是具有编码器以及解码器双方的收发信型终端的形式以外，还可以考虑到是仅具有编码器的发送终端，以及仅具有解码器的接收终端的共三种形式。

这样，在上述的实施例所示的图像处理方法或图像解码方法能够适用于上述的任一个设备以及系统，这样，能够得到在上述的实施例中说明的效果。

此外，本发明不被以上所述的实施例所限定，可以不脱离本发明的范围而进行各种变形或修改。

(实施例7)

在本实施例中，将实施例1示出的图像解码装置，作为半导体集成电路为典型的LSI来实现。在图37示出实现的形式。在动态随机存储器上实现比特流缓冲器502以及帧存储器503，在LSI上构成其他的电路和存储器。

这些可以将每一个制成一个芯片，也可以将一部分或者全部制成一个芯片。在此，虽然例示了LSI，不过根据集成度的不同，也可以称为IC、系统LSI、超级LSI、极超级LSI。

还有，集成电路化的方法不局限于LSI，也可以用专用电路或者通用处理器来实现。也可以利用在LSI制造之后可编程的现场可编程门阵列(FPGA∶Field ProgrammableGate Array)或可动态地重构LSI内部的电路单元的连接和设定的可重构处理器。

而且，随着半导体技术的进步或派生出的其他的技术，若出现了能够取代LSI的集成电路化的技术，当然也可以利用这些技术来对功能块进行集成化。有可能适用生物技术等。

加之，组合对本实施例的图像解码装置进行集成化的半导体芯片和用于描绘图像的显示器，能够构成对应各种用途的描绘设备。能够作为便携式电话、电视、数字录像机、数字摄像机以及车辆导航器等中的信息描绘单元来利用本发明。作为显示器，除了电子束管(CRT)之外，还可以组合液晶、等离子显示板（等离子显示板）以及有机电致发光等平板显示器，以投影仪为代表的投射型显示器等。

此外，本实施例的LSI，系统LSI与动态随机存储器(Dynamic Random AccessMemory)联合，从而可以进行编码处理或解码处理。此外，本实施例的LSI，可以不与动态随机存储器，而是与eDRAM（embeded动态随机存储器），静态随机存取存储器（Static RandomAccess Memory），或者硬盘等其他记忆装置联合。

(实施例8)

上述的各个实施例所示的图像处理装置、图像解码装置、图像处理方法以及图像解码方法，可以作为典型的是集成电路的LSI来实现。作为一个例子，图38示出了被制成一个芯片的LSIex500的构成。LSIex500包括以下将要说明的要素ex502至ex509，各个要素通过总线ex510连接。电源电路部ex505在电源为打开状态的情况下，通过向各个部提供电力，从而启动为能够工作的状态。

例如，在进行编码处理的情况下，LSIex500根据AV I/Oex509从麦克风ex117以及摄像机ex113等接受AV信号的输入。被输入的AV信号被暂时蓄积到SDRAM等的外部的存储器ex511。蓄积的数据按照处理量以及处理速度被适当地分为多次等，并被发送到信号处理部ex507。信号处理部ex507进行声音信号的编码以及／或影像信号的编码。在此，影像信号的编码处理是在上述的实施例中所说明的编码处理。在信号处理部ex507还根据情况对被编码的声音数据以及被编码的影像数据进行多路复用等处理，从流I/Oex504输出到外部。该被输出的比特流被发送到基站ex107，或者被写入到记录介质ex215。

并且，例如在进行解码处理的情况下，LSIex500根据微电脑（微型计算机）ex502的控制，将通过流I/Oex504经由基站ex107得到的编码数据或从记录介质ex215读出而得到的编码数据被暂时蓄积到存储器ex511。根据微电脑ex502的控制，存储的数据按照处理量和处理速度适当地分为多个被发送到信号处理部ex507，在信号处理部ex507被进行声音信号的编码及/或影像信号的编码。在此，影像信号的解码处理是在上述的各个实施例中所说明的解码处理。并且，为了使被解码的声音信号和被解码的影像信号同步再生，可以根据情况将各个信号暂时蓄积到存储器ex511等。被解码的输出信号适当地经由存储器ex511等，并从AVI/Oex509输出到显示器ex219等。是对存储器ex511进行存取的时候经由存储器控制器ex503的构成。

另外，以上虽然对存储器ex511作为LSIex500的外部构成进行了说明，不过也可以被包括在LSIex500的内部。并且，LSIex500可以被制成一个芯片，也可以是多个芯片。

在此，虽然例示了LSI，不过根据集成度的不同，也可以称为IC、系统LSI、超级LSI、极超级LSI。

还有，集成电路化的方法不局限于LSI，也可以用专用电路或者通用处理器来实现。在LSI制造后，也可以利用能够编程的FPGA（Field Programmable Gate Array：现场可编程门阵列）、或能够重构LSI内部的电路单元的连接或设定的可重装处理器。而且，随着半导体技术的进步或派生出的其他的技术，若出现了能够取代LSI的集成电路化的技术，当然也可以利用这些技术来对功能块进行集成化。有可能适用生物技术等。

另外，本发明的一个方式涉及的图像处理装置，利用所述各个实施例进行了说明，不过，该图像处理装置不被这些所限定。

图39A是示出本发明一个方案涉及的图像处理装置的构成的方框图。

换言之，本发明的一个方案涉及的图像处理装置10是对编码流进行规定的处理的装置，所述编码流是通过对图像进行编码而生成的编码流，该图像处理装置1具备：第一处理部1，通过对编码流进行第一处理，从而按每个第一处理单位，依次输出该第一处理单位中包含的至少一个成分；调换部2，通过调换从第一处理部输出的多个成分的顺序，从而按每个第二处理单位，依次输出该第二处理单位中包含的至少一个成分，所述第二处理单位是与第一处理单位不同的处理单位；以及第二处理部3，针对从调换部2输出的多个成分，按每个第二处理单位进行第二处理。

图39B是示出图像处理10进行的图像处理方法的流程图。

对编码流进行规定的处理的图像处理方法，所述编码流是通过对图像进行编码而生成的编码流，所述图像处理方法包括：第一处理步骤(S1)，通过对所述编码流进行第一处理，从而按每个第一处理单位，依次输出该第一处理单位中包含的至少一个成分；调换步骤，通过调换在第一处理步骤(S1)中输出的多个成分的顺序，从而按每个第二处理单位，依次输出该第二处理单位中包含的至少一个成分，所述第二处理单位是与第一处理单位不同的处理单位；以及第二处理步骤(S3)，针对在调换步骤(S2)中输出的多个成分，按每个第二处理单位进行第二处理。

即使是这样的构成或处理顺序，因多个成分的顺序被调换，能够起到与所述各个实施例同样的效果。

另外，所述各个实施例中，各构成要素是以专用的硬件而构成，或者以执行适合各构成要素的软件程序来实现。各构成要素，可以由CPU或处理器等程序执行部读出并执行记录在硬盘或半导体存储器等记录介质的软件程序来实现。在这里实现所述各个实施例的图像处理装置等的软件是如下的程序。

即，该程序使计算机执行以下步骤：第一处理步骤(S1)，通过对编码流进行第一处理，从而按每个第一处理单位，依次输出该第一处理单位中包含的至少一个成分；调换步骤(S2)，通过调换在第一处理步骤(S1)中输出的多个成分的顺序，从而按每个第二处理单位，依次输出该第二处理单位中包含的至少一个成分，所述第二处理单位是与第一处理单位不同的处理单位；以及第二处理步骤(S3)，针对在调换步骤(S2)中输出的多个成分，按每个所述第二处理单位进行第二处理。

本发明的图像处理装置能够起到减小存储元件的容量这样的作用，可以在例如电视、数字录像机、车辆导航器、便携式电话、数字照相机、数字摄像机等高分辨率的信息显示设备和摄像设备中使用，使用价值高。

符号说明

1 第一处理部

2 调换部

3 第二处理部

10 图像处理装置

501 控制部

502、520、604 比特流缓冲器

503 帧存储器

504、606、640 可变长解码部

505 调换逆量化部

506、644 逆频率变换部

507、645 帧内预测部

508、642 运动矢量算出部

509、643 运动补偿部

510 开关

511 重构部

512 解块滤波部

513、513a、650 图像解码装置

601 顺序调换部

602、641 逆量化部

603 图像重构部

605、608、615、622 流变换部

607 可变长编码部

609 分割部

610、621、623 流重构部

611、617 亮度Y用可变长编码部

612、618 色差Cb用可变长编码部

613、619 色差Cr用可变长编码部

614、620 编码信息用可变长编码部

616 标记插入部

624 亮度可变长解码部

625 色差可变长解码部

626 亮度逆量化部

627 色差逆量化部

628 亮度逆频率变换部

629 色差逆频率变换部

630 系数重构部

631 亮度运动矢量算出部

632 色差运动矢量算出部

633 亮度运动补偿部

634 色差运动补偿部

635 运动补偿重构部

636 亮度帧内预测部

637 色差帧内预测部

701～709 存储器

710 亮度Y用存储器

711 色差Cb用存储器

712 色差Cr用存储器

713 编码信息用存储器

714、718 亮度Y流用存储器

715、719 色差Cb流用存储器

716、720 色差Cr流用存储器

717、721 编码信息流用存储器

722 标记插入完毕流存储器

723、725、727 亮度用存储器

724、726、728 色差用存储器

729 帧内预测图像存储器

730～737 存储器

ex100 内容供给系统

ex101 互联网

ex102 互联网服务提供商

ex103 流式内容服务器

ex104 电话网

ex107、ex108、ex109、ex110 基站

ex111 计算机

ex112 个人数字助理（Personal Digital Assistant）

ex113、ex116 摄像机

ex114 便携式电话

ex117 麦克风

ex200 数字广播用系统

ex201 广播局

ex202 广播卫星(卫星)

ex203 电缆

ex204、ex205 天线

ex210 车辆

ex211 车辆导航器

ex212 再生装置

ex213、ex219 显示器

ex215、ex216 记录介质

ex217 机顶盒(STB)

ex218 阅读器／记录器

ex220 远程控制器

ex230 代码道

ex231 记录块

ex232 内周区域

ex233 数据记录区域

ex234 外周区域

ex300 电视(接收机)

ex301 调谐器

ex302 调制/解调部

ex303 多路复用/分离部

ex304 声音信号处理部

ex305 影像信号处理部

ex306、ex507 信号处理部

ex307 扬声器

ex308 显示部

ex309 输出部

ex310 控制部

ex311、ex505 电源电路部

ex312 操作输入部

ex313 电桥

ex314 插槽部

ex315 驱动器

ex316 调制解调器

ex317 接口部

ex318、ex319、ex320、ex321 缓冲器

ex400 信息再生/记录部

ex401 光学头

ex402 调制记录部

ex403 再生解调部

ex404 缓冲器

ex405 盘电动机

ex406 伺服控制部

ex407 系统控制部

ex500LSI

ex502 微电脑（微型计算机）

ex503 存储器控制器

ex504 流I/O

ex509AV I/O

ex510 总线

ex511 存储器

Claims (19)

1.一种图像处理装置，对编码流进行规定的处理，所述编码流是通过对图像进行编码而生成的编码流，所述图像处理装置具备：

第一处理部，通过对所述编码流进行第一处理，从而按每个第一处理单位，按第1顺序依次输出该第一处理单位中包含的多个颜色成分即亮度和色差；

调换部，通过调换从所述第一处理部按所述第1顺序输出的多个颜色成分即亮度和色差的顺序，从而按每个第二处理单位，按与所述第1顺序不同的第2顺序依次输出该第二处理单位中包含的多个颜色成分即亮度和色差，所述第二处理单位是与所述第一处理单位不同的处理单位；以及

第二处理部，针对从所述调换部按所述第2顺序输出的多个颜色成分即亮度和色差，按每个所述第二处理单位进行第二处理，

所述调换部按每个块按顺序读出并输出与在所述第一处理单位内位于相同的坐标的所述第二处理单位对应的亮度及色差的系数信息，通过依次重复进行读出和输出，所述系数信息的顺序被调换，

所述第二处理单位中包含的所述亮度和所述色差，在所述第1顺序中是不连续配置的，

按所述第2顺序，所述第二处理单位中包含的所述亮度和所述色差连续地配置，

所述调换部进行的顺序的调换中，将按所述第1顺序不连续配置的亮度和色差，变换为按所述第2顺序连续配置的亮度和色差。

2.如权利要求1所述的图像处理装置，

所述第一处理单位是在所述图像的编码中使用的编码单元。

3.如权利要求2所述的图像处理装置，

所述第二处理单位是所述编码单元的频率变换中使用的频率变换单元或者尺寸小于所述频率变换单元的处理单位。

4.如权利要求1所述的图像处理装置，

所述第一处理部，按每个所述第一处理单位，依次输出该第一处理单位中包含的至少一个颜色成分，所述第一处理单位是尺寸能够按照所述编码流的构成而变的处理单位。

5.如权利要求1所述的图像处理装置，

所述调换部，按每个所述第二处理单位，依次输出该第二处理单位中包含的至少一个颜色成分，所述第二处理单位是尺寸能够按照所述编码流的构成而变的处理单位。

6.如权利要求1所述的图像处理装置，

所述调换部，按每个所述第二处理单位，依次输出该第二处理单位中包含的至少一个颜色成分，所述第二处理单位是尺寸比所述第一处理单位小的处理单位。

7.如权利要求1所述的图像处理装置，

所述图像处理装置还具备第三处理部，该第三处理部通过对由所述第二处理所生成的流进行第三处理，从而对所述编码流进行解码。

8.如权利要求1所述的图像处理装置，

所述第一处理单位是能够将所述图像的编码中使用的预测方法切换成帧内预测和帧间预测的最小单位。

9.如权利要求1所述的图像处理装置，

所述第一处理部，依次输出所述第一处理单位中包含的多个颜色成分的每一个，

所述调换部，通过调换从所述第一处理部输出的多个颜色成分的顺序，从而依次输出所述第二处理单位中包含的多个颜色成分。

10.如权利要求9所述的图像处理装置，

所述第一处理部，通过依次输出所述多个颜色成分的每一个，从而将所述多个颜色成分的每一个依次存放到存储部，

所述调换部，以与存放在所述存储部的所述多个颜色成分的顺序不同的顺序，依次读出所述多个颜色成分的每一个，从而调换所述多个颜色成分的顺序。

11.如权利要求9所述的图像处理装置，

所述调换部，以与从所述第一处理部输出的多个颜色成分的顺序不同的顺序，将所述多个颜色成分的每一个依次写入到存储部，从而调换所述多个颜色成分的顺序，

所述第二处理部，按照存放在所述存储部的所述多个颜色成分的顺序，依次读出所述多个颜色成分的每一个。

12.如权利要求9所述的图像处理装置，

所述第二处理部，将重构处理作为所述第二处理中包含的处理来进行，所述重构处理是使用所述第二处理单位中包含的多个颜色成分，重新构成与该第二处理单位对应的图像的处理。

13.如权利要求12所述的图像处理装置，

所述第一处理部，将可变长解码作为所述第一处理来进行，

所述第二处理部，将逆量化作为所述第二处理中包含的处理来进行。

14.如权利要求1所述的图像处理装置，

所述第一处理部，将可变长解码作为所述第一处理来进行，

所述第二处理部，将可变长编码作为所述第二处理中包含的处理来进行。

15.如权利要求1所述的图像处理装置，

所述第一处理部，将可变长解码作为所述第一处理来进行，

所述调换部具备：

分割部，将从所述第一处理部输出的多个颜色成分的每一个，按每个颜色成分的种类进行分类；

可变长编码部，按每个颜色成分的种类，对属于该种类的多个颜色成分进行可变长编码，将通过所述可变长编码而生成的流存放到存储部；以及

流重构部，从存放在所述存储部的按每个颜色成分的种类而生成的流中，以与从所述第一处理部输出的多个颜色成分的顺序不同的顺序，依次读出所述多个颜色成分的每一个，从而生成被调换了所述多个颜色成分的顺序的调换完毕编码流，

所述可变长编码部，对颜色成分的种类的每一个并行地进行可变长编码，

所述调换完毕编码流，包含尺寸与所述第二处理单位的尺寸相同的编码单元。

16.如权利要求1所述的图像处理装置，

所述第一处理部，将可变长解码作为所述第一处理来进行，

所述调换部具备：

标记插入部，针对从所述第一处理部输出的多个颜色成分的每一个，附加用于识别该颜色成分的种类的标记；

可变长编码部，根据由所述标记插入部附加的标记，识别从所述第一处理部输出的多个颜色成分的各自的种类，按每个颜色成分的种类，对属于该种类的多个颜色成分进行可变长编码，将通过所述可变长编码所生成的流存放到存储部；以及

流重构部，从存放在所述存储部的按每个颜色成分的种类而生成的流中，以与从所述第一处理部输出的多个颜色成分的顺序不同的顺序，依次读出所述多个颜色成分，从而生成被调换了所述多个颜色成分的顺序的调换完毕编码流，

所述可变长编码部，对颜色成分的种类的每一个并行地进行可变长编码。

17.如权利要求16所述的图像处理装置，

所述流重构部，通过将对所述多个颜色成分的每一个附加的标记与所述多个颜色成分一起依次读出，从而生成对所述多个颜色成分的每一个附加了标记的所述调换完毕编码流，

所述第二处理部具备：

可变长解码部，根据所述调换完毕编码流中包含的多个所述标记，按每个所述颜色成分的种类，对属于该种类的多个颜色成分进行可变长解码；

逆量化部，按每个所述颜色成分的种类，对属于该种类的被进行了可变长解码的所述多个颜色成分进行逆量化；

逆频率变换部，按每个所述颜色成分的种类，对属于该种类的被进行了逆量化的所述多个颜色成分进行逆频率变换，从而生成包含多个所述标记的颜色成分数据；以及

成分重构部，针对按每个所述颜色成分的种类而生成的颜色成分数据，根据所述颜色成分数据中包含的多个所述标记来进行识别，以按照由所述调换部进行了调换的顺序来排列被进行了逆频率变换的所述多个颜色成分的方式，重新构成所述多个颜色成分，

所述可变长解码部、所述逆量化部、以及所述逆频率变换部分别并行地进行对所述颜色成分的种类的每一个的处理。

18.一种图像处理方法，对编码流进行规定的处理，所述编码流是通过对图像进行编码而生成的编码流，所述图像处理方法包括：

第一处理步骤，通过对所述编码流进行第一处理，从而按每个第一处理单位，按第1顺序依次输出该第一处理单位中包含的多个颜色成分即亮度和色差；

调换步骤，通过调换在所述第一处理步骤中按所述第1顺序输出的多个颜色成分即亮度和色差的顺序，从而按每个第二处理单位，按与所述第1顺序不同的第2顺序依次输出该第二处理单位中包含的多个颜色成分即亮度和色差，所述第二处理单位是与所述第一处理单位不同的处理单位；以及

第二处理步骤，针对在所述调换步骤中按所述第2顺序输出的多个颜色成分即亮度和色差，按每个所述第二处理单位进行第二处理，

所述调换步骤中，按每个块按顺序读出并输出与在所述第一处理单位内位于相同的坐标的所述第二处理单位对应的亮度及色差的系数信息，通过依次重复进行读出和输出，所述系数信息的顺序被调换，

所述第二处理单位中包含的所述亮度和所述色差，在所述第1顺序中是不连续配置的，

按所述第2顺序，所述第二处理单位中包含的所述亮度和所述色差连续地配置，

所述调换步骤进行的顺序的调换中，将按所述第1顺序不连续配置的亮度和色差，变换为按所述第2顺序连续配置的亮度和色差。

19.一种集成电路，对编码流进行规定的处理，所述编码流是通过对图像进行编码而生成的编码流，所述集成电路具备：

第一处理部，通过对所述编码流进行第一处理，从而按每个第一处理单位，按第1顺序依次输出该第一处理单位中包含的多个颜色成分即亮度和色差；

调换部，通过调换从所述第一处理部按所述第1顺序输出的多个颜色成分即亮度和色差的顺序，从而按每个第二处理单位，按与所述第1顺序不同的第2顺序依次输出该第二处理单位中包含的多个颜色成分即亮度和色差，所述第二处理单位是与所述第一处理单位不同的处理单位；以及

第二处理部，针对从所述调换部按所述第2顺序输出的多个颜色成分即亮度和色差，按每个所述第二处理单位进行第二处理，

所述调换部按每个块按顺序读出并输出与在所述第一处理单位内位于相同的坐标的所述第二处理单位对应的亮度及色差的系数信息，通过依次重复进行读出和输出，所述系数信息的顺序被调换，

所述第二处理单位中包含的所述亮度和所述色差，在所述第1顺序中是不连续配置的，

按所述第2顺序，所述第二处理单位中包含的所述亮度和所述色差连续地配置，

所述调换部进行的顺序的调换中，将按所述第1顺序不连续配置的亮度和色差，变换为按所述第2顺序连续配置的亮度和色差。