CN103222266B - 图像处理装置以及图像处理方法 - Google Patents

Abstract

本公开涉及的图像处理装置(3100)是，执行用于对通过包含针对一个以上的预测单元的预测处理、以及针对被包含在包含一个以上的预测单元的区域中的多个变换单元的频率变换处理的编码处理而编码的图像进行解码的处理的图像处理装置，具备：处理部(3101)，依赖于针对多个变换单元预先规定的变换顺序，执行与一个以上的预测单元的预测图像有关的图像处理。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及，执行用于对通过包含预测处理的编码处理而编码的图像进行解码的处理的图像处理装置。

背景技术

用于对通过包含预测处理的编码处理而编码后的图像进行解码的技术有，专利文献1、非专利文献1及非专利文献2所记载的技术。

(现有技术文献)

(专利文献)

专利文献1：日本特开2006－311526号公报

(非专利文献)

非专利文献1：Thomas Wiegand et al，“Overview of the H.264／AVC VideoCoding Standard”，IEEETRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEOTECHNOLOGY，JULY2003，PP.560－576.

非专利文献2：“Working Draft3of High－Efficiency Video Coding”，[online]，Joint Collaborative Team on Video Coding(JCT－VC)，2011年9月8日，[2011年9月22日检索]，互联网<URL:http:／／phenix.it－sudparis.eu／jct／doc_end_user／documents／6_Torino／wg11／JCTVC－F803－v3.zip>

然而，在用于对编码后的图像进行解码的处理中，会有发生延迟的情况。

发明内容

于是，本发明提供，能够将在用于对编码后的图像进行解码的处理中发生的延迟变小的图像处理装置。

本发明的实施方案之一涉及的图像处理装置，执行用于对通过编码处理而编码的图像进行解码的处理，所述编码处理包含针对一个以上的预测单元的预测处理、以及针对多个变换单元的频率变换处理，所述多个变换单元被包含在包含所述一个以上的预测单元的区域中，所述图像处理装置具备处理部，所述处理部，依赖于针对所述多个变换单元预先规定的变换顺序，执行与所述一个以上的预测单元的预测图像有关的图像处理。

而且，这样的总括性或具体的形态，可以由系统、方法、集成电路、计算机程序或计算可读取的CD－ROM等的非暂时的记录介质实现，也可以由系统、方法、集成电路、计算机程序以及记录介质的任意的组合实现。

本发明的图像处理装置，能够将在用于对编码后的图像进行解码的处理中发生的延迟变小。

附图说明

图1是示出宏块的分割的图。

图2是示出实施例1涉及的图像处理装置的结构的图。

图3是示出实施例1涉及的与运动补偿有关的结构的图。

图4A是示出实施例1涉及的序列的例子的图。

图4B是示出实施例1涉及的图片的例子的图。

图4C是示出实施例1涉及的编码流的例子的图。

图5A是示出实施例1涉及的编码单元和编码单元层数据的结构例的图。

图5B是示出实施例1涉及的编码单元数据的结构例的图。

图6A是示出实施例1涉及的预测单元的尺寸的例子的图。

图6B是示出实施例1涉及的变换单元的尺寸的例子的图。

图7是示出实施例1涉及的图像处理装置的工作的流程图。

图8是示出实施例1涉及的对编码单元进行解码的处理的流程图。

图9是示出实施例1涉及的运动补偿的工作的图。

图10A是示出实施例1涉及的预测单元和运动矢量的图。

图10B是示出实施例1涉及的预测单元的分割的图。

图11是示出实施例1涉及的运动补偿的工作的流程图。

图12A是示出实施例1涉及的编码单元的结构例的图。

图12B是示出实施例1涉及的预测单元的结构例的图。

图12C是示出实施例1涉及的变换单元的结构例的图。

图12D是示出实施例1涉及的预测单元的分割后的块的结构例的图。

图12E是示出实施例1涉及的编码单元的分割后的块的结构例的图。

图13A是示出实施例1涉及的流水线处理的第一例的时间图。

图13B是示出实施例1涉及的流水线处理的第二例的时间图。

图14A是示出实施例2涉及的预测单元和运动矢量的图。

图14B是示出实施例2涉及的预测单元的分割的图。

图15是示出实施例2涉及的运动补偿的工作的流程图。

图16A是示出实施例2涉及的编码单元的结构例的图。

图16B是示出实施例2涉及的预测单元的结构例的图。

图16C是示出实施例2涉及的变换单元的结构例的图。

图16D是示出实施例2涉及的预测单元的分割后的块的结构例的图。

图16E是示出实施例2涉及的编码单元的分割后的块的结构例的图。

图17A是示出实施例2涉及的流水线处理的第一例的时间图。

图17B是示出实施例2涉及的流水线处理的第二例的时间图。

图18是示出实施例3涉及的预测单元和运动矢量的图。

图19是示出实施例3涉及的运动补偿的工作的流程图。

图20A是示出实施例3涉及的编码单元的结构例的图。

图20B是示出实施例3的预测单元的结构例的图。

图20C是示出实施例3涉及的变换单元的结构例的图。

图20D是示出实施例3涉及的预测顺序的图。

图20E是示出实施例3涉及的编码单元的分割后的块的结构例的图。

图21A是示出实施例3涉及的流水线处理的第一例的时间图。

图21B是示出实施例3涉及的流水线处理的第二例的时间图。

图22是示出实施例4涉及的与帧内预测有关的结构的图。

图23是示出实施例4涉及的帧内预测的工作的流程图。

图24是示出实施例4涉及的帧内预测的预测单元的图。

图25A是示出实施例5涉及的图像处理装置的结构的图。

图25B是示出实施例5涉及的图像处理装置的工作的流程图。

图26A是示出实施例6涉及的图像处理装置的结构的图。

图26B是示出实施例6涉及的图像处理装置的工作的流程图。

图27A是示出实施例7涉及的图像处理装置的结构的图。

图27B是示出实施例7涉及的图像处理装置的工作的流程图。

图28A是示出实施例7涉及的预测顺序的第一例的图。

图28B是示出实施例7涉及的预测顺序的第二例的图。

图28C是示出实施例7涉及的预测顺序的第三例的图。

图28D是示出实施例7涉及的预测顺序的第四例的图。

图29A是示出实施例8涉及的图像处理装置的结构的图。

图29B是示出实施例8涉及的图像处理装置的工作的流程图。

图30A是示出实施例9涉及的图像处理装置的结构的图。

图30B是示出实施例9涉及的图像处理装置的工作的流程图。

图31A是示出实施例10涉及的图像处理装置的结构的图。

图31B是示出实施例10涉及的图像处理装置的工作的流程图。

图32A是示出实施例11涉及的图像处理装置的结构的图。

图32B是示出实施例11涉及的图像处理装置的工作的流程图。

图33A是示出实施例12涉及的图像处理装置的结构的图。

图33B是示出实施例12涉及的图像处理装置的工作的流程图。

图34是实现内容分发服务的内容提供系统的整体结构图。

图35是数字广播用系统的整体结构图。

图36是示出电视机的结构例的方框图。

图37是示出对作为光盘的记录介质进行信息的读写的信息再生／记录部的结构例的方框图。

图38是示出作为光盘的记录介质的构造例的图。

图39是示出实现图像解码处理的集成电路的结构例的结构图。

图40是示出实现图像解码处理及图像编码处理的集成电路的结构例的结构图。

具体实施方式

(成为本发明的基础的见解)

对图像进行编码的图像编码装置，将构成图像的各个图片分割为分别由16x16像素构成的多个宏块(Macroblock，也简称为MB)。而且，图像编码装置，以光栅扫描顺序，对各个宏块进行编码。图像编码装置，编码并压缩图像，从而生成编码流。对图像进行解码的图像处理装置，以光栅扫描顺序，按每个宏块，对该编码流进行解码，再生原来的图像的各个图片。

以往的图像编码方式之一有ITU－T H.264标准(例如，参照非专利文献1)。图像处理装置，为了对以H.264标准编码后的图像进行解码，首先，读入编码流。而且，图像处理装置，各种头信息的解码后，进行可变长解码。图像处理装置，将通过可变长解码而得到的系数信息逆量化，来进行逆频率变换。据此，生成差分图像。

接着，图像处理装置，按照通过可变长解码而得到的宏块类型，进行帧内预测或运动补偿。在此，运动补偿是对最大16x16像素进行的。据此，图像处理装置，生成预测图像。然后，图像处理装置，将预测图像与差分图像相加，从而进行重构处理。而且，图像处理装置，对重构图像进行内环(inloop)滤波处理，从而对解码对象图像进行解码。

内环滤波器是，在重构图像作为参考图像被存放到帧存储器之前适用的滤波器。对于内环滤波器，会有利用去块滤波器、取样自适应偏置滤波器、以及有源环路滤波器的情况。另一方面，显示时适用的滤波器，被称为外环(outloop)滤波器。

H.264标准涉及的图像编码装置，如上所述，以由16x16像素构成的宏块为单位，对图像进行编码。但是，作为编码的单位的16x16像素，并不一 定是最佳的。一般，图像的分辩率越高，相邻块间的相关性就越高。因此，在图像的分辩率高的情况下，图像编码装置，通过将编码的单位变大，来能够更提高压缩效率。

近几年，进行4k2k(3840x2160像素)等那样的、超高精细的显示器的开发。因此，可以预测为图像的分辩率越来越高。H.264标准涉及的图像编码装置，随着图像的高分辨率化进展，越来越难以高效率地编码高分辨率的图像。

另一方面，在提出了的作为下一代的图像编码标准的技术中，有解决这样的问题的技术(非专利文献2)。根据该技术，与以往的H.264标准对应的编码单位块的尺寸成为可变。而且，该技术涉及的图像编码装置，也能够以比以往的16x16像素大的块来对图像进行编码，能够适当地对超高精细图像进行编码。

具体而言，在非专利文献2中，定义了作为编码的数据单位的编码单元(CU：CodingUnit)。该编码单元是，与以往的编码标准的宏块同样，能够切换进行帧内预测的intra预测、和进行运动补偿的帧间预测的数据单位，被规定为编码的最基本的块。

该编码单元的尺寸是，8x8像素、16x16像素、32x32像素、64x64像素之中的任一个。最大的编码单元，被称为最大编码单元(LCU：Largest Coding Unit)。

进而，定义了作为频率变换的数据单位的变换单元(TU：Transform Unit，也被称为频率变换单元)。该变换单元被设定为，4x4像素、8x8像素、16x16像素、16x12像素、32x32像素等的4x4像素以上的各种矩形的尺寸。

并且，进一步，定义了作为帧内预测或帧间预测的数据单位的预测单元(PU：Prediction Unit)。预测单元，在编码单元的内部被设定为，64x64像 素、64x32像素、32x64像素、32x32像素、32x16像素、16像素x32像素、16x12像素等的4x4像素以上各种矩形的尺寸。

另一方面，H.264标准涉及的图像解码装置有，专利文献1所记载的图像解码装置。专利文献1涉及的图像解码装置，将宏块分割为以预先规定的尺寸分别构成的多个子块，对多个子块分别执行运动补偿。

图1是示出宏块的分割的图。例如，专利文献1涉及的图像解码装置，将16x16像素的宏块分割为分别以4x4像素构成的多个子块。而且，图像解码装置，对多个子块分别进行运动补偿处理。据此，与宏块的尺寸无关，运动补偿的数据尺寸成为预先规定的尺寸。因此，运动补偿的运算处理被简化。

然而，如非专利文献2，在编码单元、预测单元及变换单元分别以各种尺寸构成的情况下，根据包含逆频率变换处理、运动补偿处理及重构处理等的、例如编码单元、预测单元及变换单元的尺寸或形状的不同，在逆频率变换处理、运动补偿处理及重构处理等的每一个中需要的处理时间变动。据此，存在发生无用的等待时间的可能性。

在此，根据专利文献1的技术，能够以预先规定的尺寸执行运动补偿。但是，另一方面，例如，变换单元的尺寸，以各种尺寸构成。在以各种尺寸执行频率变换的情况下，以预先规定的尺寸执行逆频率变换是困难的。因此，根据专利文献1的技术，也不能统一数据单位的尺寸及形状。

因此，非专利文献2涉及的无用的等待时间的发生是，根据专利文献1的技术也不能解决的。因该无用的等待时间，而整体的处理中发生的延迟变大。

于是，本发明的实施方案之一涉及的图像处理装置，执行用于对通过编码处理而编码的图像进行解码的处理，所述编码处理包含针对一个以上的预测单元的预测处理、以及针对多个变换单元的频率变换处理，所述多个变换单元被 包含在包含所述一个以上的预测单元的区域中，所述图像处理装置具备处理部，所述处理部，依赖于针对所述多个变换单元预先规定的变换顺序，执行与所述一个以上的预测单元的预测图像有关的图像处理。

据此，按照获得的变换顺序，适当地执行与预测图像有关的图像处理。因此，解决无用的等待时间，整体的处理中发生的延迟变小。

例如，也可以是，所述处理部，获得所述变换顺序，按照获得的所述变换顺序，执行所述图像处理。

据此，按照获得的变换顺序，适当地执行与预测图像有关的图像处理。

并且，例如，也可以是，所述处理部，按与变换单元相等的每个块，或者，按比变换单元小的每个块，按照所述变换顺序执行所述图像处理。

据此，以按照变换顺序的方式，按每个变换单位执行与预测图像有关的图像处理。或者，以按照变换顺序的方式，按比变换单位小的每个块执行与预测图像有关的图像处理。因此，按照变换顺序，适当地执行与预测图像有关的图像处理。

并且，例如，也可以是，所述处理部，按照所述变换顺序执行输出所述预测图像的处理，以作为所述图像处理。

据此，按照变换顺序，执行输出预测图像的处理。因此，顺利执行流水线处理，整体的处理中发生的延迟变小。

并且，例如，也可以是，所述处理部，在针对所述一个以上的预测单元预先规定的预测顺序不按照所述变换顺序的情况下，按照所述变换顺序执行所述图像处理。

据此，在预先规定的预测顺序不按照变换顺序的情况下，针对与预测图像有关的图像处理，不利用预先规定的预测顺序，而利用变换顺序。因此，顺利 执行流水线处理，整体的处理中发生的延迟变小。

并且，例如，也可以是，所述图像处理装置还具备分割部，所述分割部，按照所述多个变换单元的边缘，将所述一个以上的预测单元分割为多个块，所述处理部，按通过将所述一个以上的预测单元分割而得到的每个块，按照所述变换顺序执行所述图像处理。

据此，大的预测单元，按照变换单元的边缘被分割。因此，按照变换顺序，适当地执行与大的预测单元的预测图像有关的图像处理。

并且，例如，也可以是，所述分割部，按照所述多个变换单元的所述边缘，将所述一个以上的预测单元之中的一个预测单元分割为所述多个块，所述处理部，按通过将所述一个预测单元分割而得到的每个块，按照所述变换顺序执行所述图像处理。

据此，由多个变换单元的区域构成的预测单元，也按照这样的变换单元的边缘被分割。因此，按照变换顺序，也适当地执行与这样的预测单元的预测图像有关的图像处理。

并且，例如，也可以是，所述分割部，将包含所述多个变换单元的编码单元中包含的多个预测单元作为所述一个以上的预测单元，按照所述多个变换单元的所述边缘，将所述多个预测单元分割为所述多个块，所述处理部，按通过将所述多个预测单元分割而得到的每个块，按照所述变换顺序执行所述图像处理。

据此，编码单元中的多个预测单元，按照多个变换单元被分割。因此，适当地执行与对应于编码单元的预测图像有关的图像处理。

并且，例如，也可以是，所述处理部，按照所述变换顺序执行生成所述预测图像的处理、以及输出生成后的所述预测图像的处理，以作为所述图像处理。

据此，按照变换顺序执行，生成预测图像的处理、以及输出预测图像的处理。因此，顺利执行流水线处理，整体的处理中发生的延迟变小。

并且，例如，也可以是，所述处理部，按照所述变换顺序执行获得用于生成所述预测图像的信息的处理、利用获得的所述信息生成所述预测图像的处理、以及输出生成后的所述预测图像的处理，以作为所述图像处理。

据此，按照变换顺序执行，获得用于生成预测图像的信息的处理、生成预测图像的处理、以及输出预测图像的处理。因此，顺利执行流水线处理，整体的处理中发生的延迟变小。

并且，例如，也可以是，所述处理部，按照所述变换顺序执行输出通过运动补偿处理而生成的所述预测图像的处理，以作为所述图像处理。

据此，按照变换顺序执行，输出通过运动补偿而生成的预测图像的处理。因此，顺利执行流水线处理，整体的处理中发生的延迟变小。

并且，例如，也可以是，所述处理部，按照所述变换顺序执行通过执行运动补偿处理来生成所述预测图像的处理、以及输出所述预测图像的处理，以作为所述图像处理。

据此，按照变换顺序执行，通过运动补偿来生成预测图像的处理、以及输出通过运动补偿而生成的预测图像的处理。因此，顺利执行流水线处理，整体的处理中发生的延迟变小。

并且，例如，也可以是，所述处理部，按照所述变换顺序执行获得用于执行运动补偿处理的信息的处理、通过利用获得的所述信息执行所述运动补偿处理来生成所述预测图像的处理、以及输出生成后的所述预测图像的处理，以作为所述图像处理。

据此，按照变换顺序执行，获得用于运动补偿的信息的处理、通过运动补 偿来生成预测图像的处理、以及输出通过运动补偿而生成的预测图像的处理。因此，顺利执行流水线处理，整体的处理中发生的延迟变小。

并且，例如，也可以是，所述处理部，按照所述变换顺序执行输出通过帧内预测处理而生成的所述预测图像的处理，以作为所述图像处理。

据此，按照变换顺序执行，输出通过帧内预测而生成的预测图像的处理。因此，顺利执行流水线处理，整体的处理中发生的延迟变小。

并且，例如，也可以是，所述处理部，按照所述变换顺序执行通过执行帧内预测处理来生成所述预测图像的处理、以及输出生成后的所述预测图像的处理，以作为所述图像处理。

据此，按照变换顺序执行，通过帧内预测来生成的预测图像的处理、以及输出通过帧内预测而生成的预测图像的处理。因此，顺利执行流水线处理，整体的处理中发生的延迟变小。

并且，例如，也可以是，所述处理部，按照所述变换顺序执行获得用于执行帧内预测处理的信息的处理、通过利用获得的所述信息执行所述帧内预测处理来生成所述预测图像的处理、以及输出生成后的所述预测图像的处理，以作为所述图像处理。

据此，按照变换顺序执行，获得用于帧内预测的信息的处理、通过帧内预测来生成预测图像的处理、以及输出通过帧内预测而生成的预测图像的处理。因此，顺利执行流水线处理，整体的处理中发生的延迟变小。

并且，例如，也可以是，所述处理部，按照所述变换顺序执行利用所述预测图像重新构成所述图像的处理，以作为所述图像处理。

据此，按照变换顺序执行，利用预测图像重新构成图像的处理。因此，顺利执行流水线处理，整体的处理中发生的延迟变小。

并且，例如，也可以是，所述处理部，进一步，按照所述变换顺序执行内环滤波处理，该内环滤波处理是针对重新构成后的所述图像的滤波处理。

据此，按照变换顺序执行内环滤波处理。因此，顺利执行流水线处理，整体的处理中发生的延迟变小。

并且，例如，也可以是，所述处理部，进一步，按照所述变换顺序执行，将执行所述内环滤波处理后的所述图像存放到帧存储器的处理。

据此，按照变换顺序执行，将图像存放到帧存储器的处理。因此，顺利执行流水线处理，整体的处理中发生的延迟变小。

并且，例如，本发明的实施方案之一涉及的图像处理装置也可以，执行用于对通过编码处理而编码的图像进行解码的处理，所述编码处理包含根据预测单元的预测模式生成所述预测单元的预测图像的帧内预测处理，所述图像处理装置具备：分割部，将所述预测单元分割为多个块；以及处理部，针对所述多个块，分别根据所述预测单元的所述预测模式执行帧内预测。

据此，图像处理装置能够，以小的数据单位执行帧内预测。因此，图像处理装置能够，以更小的数据单位顺利执行流水线处理。因此，图像处理装置能够，使整体的处理中发生的延迟变小。

而且，这样的总括性或具体的形态，可以由系统、方法、集成电路、计算机程序或计算可读取的CD－ROM等的非暂时的记录介质实现，也可以由系统、方法、集成电路、计算机程序或记录介质的任意的组合实现。

以下，对于实施例，利用附图进行详细说明。而且，以下说明的实施例，都示出总括性或具体的例子。以下的实施例所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等，是一个例子，而不是限定本发明的宗旨。并且，对于以下的实施例的构成要素中的、示出最 上位概念的独立请求项中没有记载的构成要素，作为任意的构成要素进行说明。

并且，64x64像素、以及32x32像素等的表现分别意味着，64像素x64像素、以及32像素x32像素等的尺寸。

并且，以下，块、数据单位及编码单元(CU)等的表现分别意味着，汇集的区域。会有他们分别意味着图像区域的情况。或者，会有他们分别意味着编码流中的数据区域的情况。

并且，图像也可以是，构成静止画像或运动图像的多个图片、一个图片、以及图片的一部分等的任一个。

(实施例1)

(1－1.概要)

首先，说明本实施例涉及的图像处理装置的概要。本实施例涉及的图像处理装置，对通过包含运动补偿的编码处理而生成的编码流进行解码。在编码中，运动补偿的尺寸、即预测单元的尺寸是可变的，最大为64x64像素。

图像处理装置，在运动补偿被执行的预测单元的矩形内包含变换单元的边缘的情况下，以变换单元的边缘将预测单元分割为多个块(分割块)。而且，图像处理装置，对通过分割而得到的多个块，以变换单元的处理顺序(变换顺序)，进行参考图像的传输处理、运动补偿处理、以及预测图像的输出处理。并且，图像处理装置，对于以后的重构处理及内环滤波处理，也以变换单元的处理顺序进行处理。

例如，图像处理装置，即使在预测单元的尺寸大的情况下，也分割预测单元，以变换单元的处理顺序，执行运动补偿。据此，需要的存储容量减少。

进而，图像处理装置，以流水线状进行参考图像的传输处理、和运动补偿 的处理。据此，处理的延迟减少。并且，图像处理装置，能够早期开始重构处理及内环滤波处理。因此，图像处理装置，能够使解码处理整体成为高速化。

(1－2.结构)

接着，说明本实施例涉及的图像处理装置的结构。

图2是本实施例涉及的图像处理装置的结构图。本实施例涉及的图像处理装置具备，控制部501、帧存储器502、重构图像存储器509、可变长解码部503、逆量化部504、逆频率变换部505、运动补偿部506、帧内预测部507、重构部508、内环滤波器部510及运动矢量运算部511。

控制部501，控制图像处理装置整体。帧存储器502是，用于存储解码后的图像数据的存储器。重构图像存储器509是，用于存储生成后的重构图像的一部分的存储器。可变长解码部503，读入编码流，对可变长码进行解码。逆量化部504，进行逆量化。逆频率变换部505，进行逆频率变换。

运动矢量运算部511，根据预测运动矢量及差分运动矢量等，计算运动矢量，将运动矢量输出到运动补偿部506。运动补偿部506，从帧存储器502读出参考图像，进行运动补偿，生成预测图像。帧内预测部507，从重构图像存储器509读出参考图像，进行帧内预测(也称为intra预测)，生成预测图像。

重构部508，将差分图像和预测图像相加来生成重构图像，将重构图像的一部分存放到重构图像存储器509。内环滤波器部510，除去重构图像的噪声，使重构图像成为高画质化。

图3是本实施例涉及的运动补偿部506的周边的结构图。对于与图2同样的构成要素分配相同的符号，省略说明。在图3中，除了图2所示的构成要素以外，还示出DMA(DirectMemory Access)控制部512、参考图像存储部513及预测图像存储部514。他们，也可以被包含在运动补偿部506中。

DMA控制部512，根据由运动矢量运算部511计算出的运动矢量，从帧存储器502向参考图像存储部513传输参考图像。在参考图像存储部513中，存储由DMA控制部512传输的参考图像。并且，在预测图像存储部514中，存储由运动补偿部506生成的预测图像。

运动补偿部506，根据运动矢量，执行运动补偿。此时，运动补偿部506，从可变长解码部503获得关于变换单元的处理顺序的信息。而且，运动补偿部506，根据变换单元的处理顺序，执行运动补偿，生成预测图像。然后，运动补偿部506，将预测图像存放到预测图像存储部514。重构部508，利用由预测图像存储部514存放的预测图像，执行重构处理。

以上，说明了本实施例涉及的图像处理装置的结构。

(1－3.工作)

接着，说明本实施例涉及的图像处理装置的工作。本实施例涉及的图像处理装置解码的编码流，由编码单元(CU)、变换单元(TU)、和预测单元(PU)构成。

编码单元是，以64x64像素至8x8像素的尺寸设定的、能够切换帧内预测和帧间预测的数据单位。变换单元，在编码单元的内部的区域中，以64x64像素至4x4像素的尺寸设定。预测单元，在编码单元的内部的区域中，以64x64像素至4x4像素的尺寸设定，具有用于帧内预测的预测模式、或者用于帧间预测的运动矢量。以下，利用图4A至图6B说明编码流的结构。

图4A及图4B示出，本实施例涉及的图像处理装置解码的图像的层次结构。如图4A示出，多个图片的集合，被称为序列。并且，如图4B示出，各个图片被分割为片，各个片还被分割为编码单元。而且，会有图片不被分割为片的情况。

在本实施例中，最大编码单元(LCU)的尺寸为，64x64像素。

图4C是示出本实施例涉及的编码流的图。图4A以及图4B所示的数据分层地被编码，从而得到图4C所示的编码流。

图4C所示的编码流，由控制序列的序列头、控制图片的图片头、控制片的片头、以及编码单元层数据(CU层数据)构成。在H.264标准中，序列头，也被称为SPS(SequenceParameter Set：序列参数集)，图片头，也被称为PPS(Picture Parameter Set：图片参数集)。

图5A是示出本实施例涉及的编码单元和编码单元层数据的结构例的图。与编码单元对应的编码单元层数据，由CU分割标志、以及CU数据(编码单元数据)构成。该CU分割标志，在“1”的情况下，示出将编码单元4分割，在“0”的情况下，示出不将编码单元4分割。在图5A中，64x64像素的编码单元，不被分割。也就是说，CU分割标志是“0”。

图5B是示出本实施例涉及的CU数据的结构例的图。CU数据包含，CU类型、运动矢量或帧内预测模式、以及系数。根据CU类型，决定预测单元的尺寸。

图6A是示出能够选择的预测单元的尺寸的例子的图。具体而言，示出64x64像素、32x64像素、64x32像素、32x32像素、16x32像素、32x16像素、16x16像素、16x8像素、8x16像素、8x8像素、8x4像素、4x8像素、以及4x4像素等的预测单元。预测单元的尺寸是，从4x4像素以上的尺寸中能够选择的。并且，预测单元的形状也可以是长方形。

而且，按每个预测单元，指定运动矢量或帧内预测模式。在本实施例中，由于仅利用运动矢量，因此，在图5B中仅示出运动矢量。并且，如图6A，会有将正方形分割为1:3而得到的16x64像素的预测单元及48x64像素的预测单元被选择的情况。

图6B是示出能够选择的变换单元的尺寸的例子的图。具体而言，示出32x32像素、16x32像素、32x16像素、16x16像素、16x8像素、8x16像素、8x8像素、8x4像素、4x8像素、以及4x4像素等的变换单元。如图6B，会有将正方形分割为1:3而得到的8x32像素的变换单元及24x32像素的变换单元被选择的情况。

图7是示出编码流中包含的1序列的解码工作的流程图。利用图7示出的流程图，说明图2示出的图像处理装置的工作。如图7，图像处理装置，首先，对序列头进行解码(S901)。此时，可变长解码部503，根据控制部501的控制，对编码流进行解码。接着，图像处理装置，同样，对图片头进行解码(S902)，对片头进行解码(S903)。

接着，图像处理装置，对编码单元进行解码(S904)。对于编码单元的解码，在后面进行详细说明。图像处理装置，在编码单元的解码后，判断解码后的编码单元是否为片的最后的编码单元(S905)。而且，在解码后的编码单元不是片的最后的情况下(S905的“否”)，再次，图像处理装置，对下一个编码单元进行解码(S904)。

进而，图像处理装置，判断包含解码后的编码单元的片是否为图片的最后的片(S906)。而且，在片不是图片的最后的情况下(S906的“否”)，图像处理装置，再次，对片头进行解码(S903)。

进而，图像处理装置，判断包含解码后的编码单元的图片是否为序列的最后的图片(S907)。而且，在图片不是序列的最后的情况下(S907的“否”)，图像处理装置，再次，对图片头进行解码(S902)。图像处理装置，在序列的所有的图片的解码后，结束一连串的解码工作。

图8是示出一个编码单元的解码工作的流程图。利用图8示出的流程图， 说明图7的编码单元的解码(S904)的工作。

首先，可变长解码部503，针对输入的编码流中包含的处理对象的编码单元，进行可变长解码(S1001)。

在可变长解码处理(S1001)中，可变长解码部503，输出编码单元类型、帧内预测(intra预测)模式、运动矢量信息及量化参数等的编码信息。在本实施例中，被输出的编码信息中包含，编码单元的尺寸、编码单元的处理顺序、预测单元的尺寸、变换单元的尺寸、以及变换单元的处理顺序等。并且，可变长解码部503，输出与各个像素数据对应的系数信息。

编码信息，被输出到控制部501，然后，被输入到各个处理部。系数信息，被输出到下一个逆量化部504。接着，逆量化部504，进行逆量化处理(S1002)。然后，逆频率变换部505，进行逆频率变换来生成差分图像(S1003)。

接着，控制部501，判断对处理对象的编码单元利用帧间预测还是利用帧内预测(S1004)。

在利用帧间预测的情况下(S1004的“是”)，控制部501，启动运动矢量运算部511。运动矢量运算部511，进行运动矢量的计算(S1005)。而且，运动矢量运算部511，从帧存储器502传输运动矢量所指示的参考图像。接着，控制部501，启动运动补偿部506。而且，运动补偿部506，生成1／2像素精度或1／4像素精度等的预测图像(S1006)。

另一方面，在不利用帧间预测的情况下(S1004的“否”)，即，在利用帧内预测的情况下，控制部501，启动帧内预测部507。帧内预测部507，进行帧内预测的处理，生成预测图像(S1007)。

重构部508，将由运动补偿部506或帧内预测部507输出的预测图像、与由逆频率变换部505输出的差分图像相加，从而生成重构图像(S1008)。

生成后的重构图像，被输入到内环滤波器部510。同时，用于帧内预测的部分，被存放到重构图像存储器509。最后，内环滤波器部510，对得到的重构图像，进行用于减少噪声的内环滤波处理。而且，内环滤波器部510，向帧存储器502存放结果(S1009)。以上，图像处理装置，结束编码单元的解码工作。

在图8的例子中，所述的多个处理被分割为多个阶段。而且，这样的多个处理，构成流水线处理。

接着，对于运动矢量运算部511及运动补偿部506的工作，进行详细说明。

图9是示出运动补偿处理的概略的说明图。如图9，运动补偿处理是指，从编码流中提取解码后的运动矢量v(vx，vy)所指示的、过去解码的图片的一部分，进行滤波运算，从而生成预测图像的处理。

例如，在被预测的预测单元的尺寸为64x64像素的情况下，并且，在利用8TAP滤波器的情况下，在垂直方向及水平方向上向64x64像素附加7像素。具体而言，左边附加3像素，右边附加4像素，上方附加3像素，以及下方附加4像素。因此，从参考图片中提取的参考图像为，71x71像素。在预测单元的左上的坐标为(x，y)的情况下，参考图像是，左上的坐标为(x＋vx－3，y＋vy－3)的71x71像素的矩形。

图10A是示出本实施例涉及的预测单元和运动矢量的图。图10A所示的64x64像素的预测单元PU0具有，一个运动矢量v。

图10B是示出图10A所示的预测单元PU0的分割的图。在图10B的例子中，64x64像素的预测单元PU0被分割为，16x16像素的16个块PU0a至PU0p。

针对图10A所示的64x64像素的预测单元PU0的一个运动矢量v是，对该预测单元PU0的哪个像素，都相同的。也就是说，如图10B，即使在预测单元PU0被分割为16个块的情况下，各个块的运动矢量，都是相同的运动矢量v。因此，64x64像素的预测单元PU0，被处理为具有相同的运动矢量v的16个块。

此时，会有根据16个块的处理顺序、即对于各个块的参考图像的传输处理、运动补偿处理、以及预测图像的输出处理的顺序(预测顺序)，重构处理的开始延迟的情况。

本实施例的图像处理装置，分割预测单元，以变换单元的处理顺序，进行各个块的参考图像的传输处理、运动补偿处理、以及预测图像的输出处理。在此，变换单元的处理顺序也可以是，例如，编码流中的多个变换单元的存放顺序。

图11是示出本实施例涉及的运动补偿的工作的流程图。对于图3所示的运动矢量运算部511及运动补偿部506的工作，利用图11进行说明。

首先，运动矢量运算部511，根据由标准所规定的方法计算预测单元(PU)的运动矢量(S1100)。接着，运动矢量运算部511，根据对于编码单元(CU)内的预测单元及变换单元(TU)的画面内坐标及尺寸，判断在预测单元的矩形内是否包含变换单元的边缘(也称为边或TU边界)(S1101)。

在预测单元的矩形内没有包含变换单元的边缘的情况下(S1101的“否”)，运动矢量运算部511，根据运动矢量、预测单元的坐标、以及预测单元的大小，计算参考图像位置及参考图像尺寸(S1102)。运动矢量运算部511，将得到的参考图像位置及参考图像尺寸设定到DMA控制部512。DMA控制部512，将参考图像从帧存储器502传输到参考图像存储部513(S1103)。

接着，运动补偿部506，利用传输到参考图像存储部513的参考图像，进行运动补偿的运算(S1104)。而且，运动补偿部506，将得到的作为运动补偿的结果的预测图像写入到预测图像存储部514(S1110)。

在预测单元的矩形内包含变换单元的边缘的情况下(S1101的“是”)，运动矢量运算部511，以变换单元的边缘分割预测单元(S1105)。运动矢量运算部511，针对通过分割而得到的多个块，分别计算运动补偿处理所需要的参考图像位置及参考图像尺寸(S1106)。接着，运动矢量运算部511，将得到的参考图像位置及参考图像尺寸设定到DMA控制部512。DMA控制部512，从帧存储器502向参考图像存储部513传输参考图像(S1107)。

接着，运动补偿部506，利用传输到参考图像存储部513的参考图像，进行运动补偿的运算(S1108)。而且，运动补偿部506，将得到的作为运动补偿的结果的预测图像写入到预测图像存储部514(S1111)。

进而，运动矢量运算部511，判断原来的预测单元中是否有未处理的块(S1109)。在有未处理的块的情况下(S1109的“是”)，运动矢量运算部511，计算对于该块的参考图像位置及参考图像尺寸(S1106)。在没有未处理的块的情况下(S1109的“否”)，运动补偿处理结束。

图像处理装置，以变换单元的处理顺序进行所述的处理(S1106，S1107，S1108，S1111，S1109)。

图12A是示出本实施例涉及的编码单元的结构例的图。图12A所示的编码单元CU0，具有64x64像素的尺寸。

图12B是示出图12A所示的编码单元CU0中的预测单元的结构例的图。图12B所示的预测单元PU0，被构成在编码单元CU0的全区域。

图12C是示出图12A所示的编码单元CU0中的变换单元的结构例的图。 图12C中示出，16个变换单元TU0至TU15。而且，16个变换单元TU0至TU15，以TU0、TU1、TU2、···、TU15的顺序被处理。针对16个变换单元TU0至TU15的处理有，频率变换、逆频率变换、量化及逆量化等。

图12D是示出图12A所示的编码单元CU0中的预测单元的分割后的块的结构例的图。图12D中示出，16个块PU0a至PU0p。而且，16个块PU0a至PU0p，以PU0a、PU0b、PU0c、···、PU0p的顺序被处理。针对16个块PU0a至PU0p的处理有，参考图像的传输处理、运动补偿处理、以及预测图像的输出处理等。

图12D所示的16个块PU0a至PU0p的处理顺序，根据作为图12C所示的16个变换单元TU0至TU15的处理顺序的变换顺序。也就是说，预测单元PU0，根据变换顺序被处理。

图12E是示出图12A所示的编码单元CU0的分割后的块的结构例的图。图12E中示出，16个块BK0至BK15。而且，16个块BK0至BK15，以BK0、BK1、BK2、···、BK15的顺序被处理。针对16个块BK0至BK15的处理有，重构处理、内环滤波处理、以及向帧存储器502的存放处理等。

图13A是示出图11的次序没有被适用的情况的流水线处理的例子的时序图。

在图13A的例子中，首先，对编码单元CU0执行可变长解码处理。然后，对变换单元TU0至TU15，以TU0、TU1、TU2、···、TU15的顺序执行逆量化处理及逆频率变换处理。同时，对预测单元PU0执行运动补偿处理。然后，对编码单元CU0执行重构处理。然后，对编码单元CU0执行内环滤波处理。

在图13A的例子中，不能开始重构处理，直到针对预测单元PU0的运动 补偿处理结束、且针对变换单元TU0至TU15的逆量化处理及逆频率变换处理结束为止。

图13B是示出图11的次序被适用的情况的流水线处理的例子的时序图。

在图13B的例子中，首先，对编码单元CU0执行可变长解码处理。然后，对变换单元TU0至TU15，以TU0、TU1、TU2、···、TU15的顺序执行逆量化处理及逆频率变换处理。同时，对块PU0a至PU0p，以PU0a、PU0b、PU0c、···、PU0p的顺序执行运动补偿处理。

并且，对块BK0至BK15，以BK0、BK1、BK2、···、BK15的顺序执行重构处理。在此，在变换单元TU0的逆量化处理及逆频率变换处理结束、块PU0a的运动补偿处理结束之后，块BK0的重构处理开始。同样，在变换单元TU1至TU15的逆量化处理及逆频率变换处理依次结束、块PU0b至PU0p的运动补偿处理依次结束的定时，块BK1至BK15的重构处理依次开始。

并且，对块BK0至BK15，以BK0、BK1、BK2、···、BK15的顺序执行内环滤波处理。在此，在块BK0的重构处理结束之后，块BK0的内环滤波处理开始。同样，在块BK1至BK15的重构处理依次结束的定时，块BK1至BK15的内环滤波处理依次开始。

在图13B的例子中，分割后的块的预测图像，以与变换单元相同的顺序被输出。因此，与图13A的情况相比，早期得到重构处理所需要的、差分图像、以及与差分图像相同的区域的预测图像这双方。因此，重构处理及内环滤波处理的开始的延迟变小。因此，解码处理成为高速化。

并且，以小的数据单位进行参考图像的数据传输，以小的数据单位执行运动补偿处理。因此，用于保持参考图像的参考图像存储部513所需要的容量变小。并且，图像处理装置，根据预测单元的分割，能够通过流水线处理，并 行地执行参考图像的传输处理、运动补偿处理、以及预测图像的输出处理。因此，图像处理装置，能够缩短运动补偿所需要的处理时间。

而且，在图13B的例子中，变换单元TU0至TU15的处理、与块PU0a至PU0p的处理，在相同的定时开始。但是，这样的处理也可以，不是在相同的定时开始，而是在得到必要的信息的定时，能够彼此独立开始。

(1－4.效果)

如此，图像处理装置，即使在预测单元的尺寸大的情况下，也分割预测单元，并以变换单元的处理顺序进行处理，从而能够将存储容量变小。进而，图像处理装置，以流水线状进行参考图像的传输处理、和运动补偿的处理，从而能够将处理的延迟变小。并且，图像处理装置，能够早期开始重构处理及内环滤波处理。因此，解码处理整体成为高速化。

(1－5.补充)

而且，本实施例涉及的图像处理装置，针对预测单元的分割后的多个块，以变换单元的处理顺序，按每一个，进行参考图像位置计算、参考图像尺寸计算、参考图像传输、运动补偿运算、以及预测图像输出。但是，图像处理装置也可以，将针对多个块的处理，按每两个进行、按每三个进行、按相当于256像素的每个块进行。

并且，本实施例涉及的图像处理装置，在运动矢量计算之后，分割预测单元。但是，图像处理装置也可以，在参考图像位置计算、参考图像尺寸计算及参考图像传输之后，将运动补偿处理所需要的参考图像，以变换单元的边缘分割为多个块。而且，图像处理装置也可以，针对参考图像的分割后的多个块，以变换单元的处理顺序，按每一个，进行运动补偿运算及预测图像输出。

在此情况下，参考图像存储部513所需要的容量，与不分割的情况同样。 但是，预测图像存储部514所需要的容量变小。并且，图像处理装置，能够早期开始重构处理及内环滤波处理。因此，解码处理整体成为高速化。并且，向帧存储器502的访问频度减少。

并且，图像处理装置也可以，在参考图像位置计算、参考图像尺寸计算、参考图像传输、以及运动补偿处理之后，将重构处理所需要的预测图像，以变换单元的边缘分割为多个块。而且，图像处理装置也可以，针对预测图像的分割后的多个块，以变换单元的处理顺序，按每一个，进行预测图像输出、重构处理及内环滤波处理。

在此情况下，参考图像存储部513所需要的容量不会变小。但是，预测图像存储部514所需要的容量变小。并且，图像处理装置，能够早期开始重构处理及内环滤波处理。因此，解码处理整体成为高速化。并且，向帧存储器502的访问频度减少。

并且，对于各个处理部的结构，其一部分或者全部，可以以由专用硬件的电路来实现，也可以以由处理器执行的程序来实现。

并且，在本实施例中，帧存储器502、参考图像存储部513及预测图像存储部514被示出为，存储器或存储部。但是，他们，只要是能够存储数据的存储元件，就可以是触发器或寄存器等的任何结构。进而，也可以将处理器的存储区域的一部分、或高速缓存的一部分，作为帧存储器502、参考图像存储部513及预测图像存储部514来利用。

并且，在本实施例中示出，作为图像解码装置的图像处理装置。但是，图像处理装置，不仅限于图像解码装置。以相反的次序执行解码处理的图像编码装置，同样，也能够分割预测单元，进行运动补偿处理。例如，图像编码装置，也会有为了生成参考图像，执行运动补偿处理的情况。在这样的情况下，图像 编码装置可以，分割预测单元，执行运动补偿处理。

并且，本实施例，记载了运动补偿的例子。但是，图像处理装置，即使在帧内预测的情况下，也通过执行同样的处理，能够得到同样的效果。

并且，本实施例所示的编码单元、预测单元及变换单元的尺寸及形状是例子，他们的尺寸及形状，可以是任何尺寸及形状。

(实施例2)

(2－1.概要)

首先，说明本实施例涉及的图像处理装置的概要。本实施例涉及的图像处理装置，对通过包含运动补偿的编码处理而生成的编码流进行解码。在编码中，运动补偿的尺寸、即预测单元的尺寸是可变的，最大为64x64像素。

图像处理装置，针对编码单元中包含的所有的预测单元的每一个，在预测单元的矩形内包含变换单元的边缘的情况下，以变换单元的边缘将预测单元分割为多个块。而且，图像处理装置，针对通过分割而得到的多个块，以变换单元的处理顺序，进行参考图像的传输处理、运动补偿处理、以及预测图像的输出处理。在本实施例中，利用intra预测以及帧间预测之中的帧间预测。

并且，图像处理装置，对于以后的重构处理及内环滤波处理，也以变换单元的处理顺序进行处理。

据此，图像处理装置能够，针对编码单元中包含的所有的预测单元，以与变换单元的处理顺序相同的处理顺序进行处理。因此，图像处理装置，与实施例1的情况相比，存在能够使解码处理成为高速化的可能性。

以上是，对于本实施例涉及的图像处理装置的概要的说明。

(2－2.结构)

图2是本实施例涉及的图像处理装置的结构图。图3是本实施例涉及的运 动补偿部506的周边的结构图。对于本实施例涉及的图像处理装置的结构，由于与实施例1同样，因此省略说明。

(2－3.工作)

在本实施例中，与实施例1同样，利用图4A至图6B所示的编码流的构造。对于本实施例涉及的图像处理装置的工作流程，由于与图7及图8所示的实施例1的工作流程同样，因此省略说明。

图14A是示出本实施例涉及的预测单元和运动矢量的图。在图14A的例子中，一个编码单元包含，两个预测单元PU0、PU1。预测单元PU0具有，一个运动矢量v0，预测单元PU1具有，一个运动矢量v1。

图14B是示出图14A所示的两个预测单元PU0、PU1的分割的图。在图14B的例子中，预测单元PU0，被分割为两个块PU0a、PU0b，预测单元PU1，被分割为两个块PU1a、PU1b。

图14A所示的针对预测单元PU0的一个运动矢量v0是，针对该预测单元的哪个像素都相同的。也就是说，如图14B，在预测单元PU0被分割为两个块PU0a、PU0b的情况下，两个块PU0a、PU0b也分别具有相同的运动矢量v0。同样，两个块PU1a、PU1b分别具有相同的运动矢量v1。

如图14A以及图14B，本实施例的图像处理装置，将编码单元中包含的多个预测单元分割为多个块。而且，图像处理装置，以变换单元的处理顺序，对各个块，进行参考图像的传输处理、运动补偿处理、以及预测图像的输出处理。

图15是示出本实施例涉及的运动补偿的工作的流程图。对于本实施例的运动矢量运算部511及运动补偿部506的工作，利用图15进行说明。图15示出针对一个编码单元的运动补偿的工作。

首先，运动矢量运算部511，根据由标准规定的方法，计算编码单元中包含的预测单元的运动矢量(S1400)。接着，运动矢量运算部511，根据相同的编码单元中包含的变换单元的画面内坐标及尺寸，判断在预测单元的矩形内是否包含变换单元的边缘(S1401)。

在预测单元的矩形内没有包含变换单元的边缘的情况下(S1401的“否”)，运动矢量运算部511，根据运动矢量、预测单元的坐标、以及预测单元的大小，计算参考图像位置及参考图像尺寸(S1402)。

在预测单元的矩形内包含变换单元的边缘的情况下(S1401的“是”)，以变换单元的边缘分割预测单元(S1405)。运动矢量运算部511，针对通过分割而得到的多个块，计算运动补偿处理所需要的参考图像位置及参考图像尺寸(S1406)。

接着，运动矢量运算部511，判断是否对编码单元内的所有的预测单元，进行了参考图像位置及参考图像尺寸的计算的一连串的处理(S1400，S1401，S1402，S1405，S1406)(S1408)。在有未处理的预测单元的情况下(S1408的“否”)，运动矢量运算部511，对该预测单元进行运动矢量计算(S1400)。

接着，运动矢量运算部511，将得到的参考图像位置及参考图像尺寸设定到DMA控制部512。DMA控制部512，从帧存储器502向参考图像存储部513传输参考图像(S1403)。接着，运动补偿部506，利用传输到参考图像存储部513的参考图像，进行运动补偿的运算(S1404)，向预测图像存储部514写入结果(S1407)。

接着，运动矢量运算部511，判断是否对编码单元内的所有的预测单元，进行了参考图像位置及参考图像尺寸的计算的一连串的处理(S1403，S1404，S1407)(S1409)。在有未处理的块的情况下(S1409的“否”)，运动矢量运算 部511，进行针对该块的参考图像传输(S1403)。在没有未处理的块的情况下(S1409的“是”)，处理结束。

运动矢量运算部511、DMA控制部512及运动补偿部506，以变换单元的处理顺序进行所述的处理(S1403，S1404，S1407)。

图16A是示出本实施例涉及的编码单元的结构例的图。图16A所示的编码单元CU0具有，64x64像素的尺寸。

图16B是示出图16A所示的编码单元CU0中的预测单元的结构例的图。编码单元CU0包含，两个预测单元PU0、PU1。

图16C是示出图16A所示的编码单元CU0中的变换单元的结构例的图。图16C中示出，两个变换单元TU0、TU1。而且，两个变换单元TU0、TU1，以TU0、TU1的顺序被处理。

图16D是示出图16A所示的编码单元CU0中的两个预测单元PU0、PU1的分割后的块的结构例的图。图16D中示出，四个块PU0a、PU0b、PU1a、PU1b。而且，四个块PU0a、PU0b、PU1a、PU1b，以PU0a、PU1a、PU0b、PU1b的顺序被处理。

图16D所示的四个块PU0a、PU0b、PU1a、PU1b的处理顺序，根据作为图16C所示的两个变换单元TU0、TU1的处理顺序的变换顺序。也就是说，两个预测单元PU0、PU1，根据变换顺序被处理。

图16E是示出图16A所示的编码单元CU0的分割后的块的结构例的图。图16E中示出，两个块BK0、BK1。而且，两个块BK0、BK1，以BK0、BK1的顺序被处理。

图17A是示出图15的次序没有被适用的情况的流水线处理的例子的时序图。

在图17A的例子中，首先，对编码单元CU0执行可变长解码处理。然后，对变换单元TU0、TU1，以TU0、TU1的顺序执行逆量化处理及逆频率变换处理。同时，对预测单元PU0、PU1执行运动补偿处理。然后，对编码单元CU0执行重构处理。然后，对编码单元CU0执行内环滤波处理。

在图17A的例子中，不能开始重构处理，直到针对预测单元PU0、PU1的运动补偿处理结束、且针对变换单元TU0、TU1的逆量化处理及逆频率变换处理结束为止。

图17B是示出图15的次序被适用的情况的流水线处理的例子的时序图。

在图17B的例子中，首先，对编码单元CU0执行可变长解码处理。然后，对变换单元TU0、TU1，以TU0、TU1的顺序执行逆量化处理及逆频率变换处理。同时，对块PU0a、PU0b、PU1a、PU1b，以PU0a、PU1a、PU0b、PU1b的顺序执行运动补偿处理。

并且，对块BK0、BK1，以BK0、BK1的顺序执行重构处理。在此，在变换单元TU0的逆量化处理及逆频率变换处理结束、块PU0a、PU1a的运动补偿处理结束之后，块BK0的重构处理开始。同样，在变换单元TU1的逆量化处理及逆频率变换处理结束、块PU0b、PU1b的运动补偿处理结束的定时，块BK1的重构处理开始。

并且，对块BK0、BK1，以BK0、BK1的顺序执行内环滤波处理。在此，在块BK0的重构处理结束之后，块BK0的内环滤波处理开始。同样，在块BK1的重构处理结束的定时，块BK1的内环滤波处理开始。

在图17B的例子中，分割后的块的预测图像，以与变换单元相同的顺序被输出。因此，与图17A的情况相比，早期得到重构处理所需要的、差分图像、以及与差分图像相同的区域的预测图像这双方。因此，重构处理及内环滤 波处理的开始的延迟变小。因此，解码处理成为高速化。

并且，以小的数据单位进行参考图像的数据传输，以小的数据单位执行运动补偿处理。因此，用于保持参考图像的参考图像存储部513所需要的容量变小。并且，图像处理装置，根据预测单元的分割，能够通过流水线处理，并行地执行参考图像的传输处理、运动补偿处理、以及预测图像的输出处理。因此，图像处理装置，能够缩短运动补偿所需要的处理时间。

(2－4.效果)

据此，本实施例涉及的图像处理装置能够，针对编码单元中包含的所有的预测单元，以与变换单元的处理顺序相同的处理顺序进行处理。因此，本实施例涉及的图像处理装置，与实施例1的情况相比，存在能够使解码处理成为高速化的可能性。

(2－5.补充)

而且，本实施例涉及的图像处理装置，针对编码单元中包含的所有的预测单元的分割后的多个块，以变换单元的处理顺序，按每一个，进行参考图像传输、运动补偿运算、以及预测图像输出。但是，图像处理装置也可以，将针对多个块的处理，按每两个进行、按每三个进行、按相当于256像素的每个块进行。

并且，本实施例涉及的图像处理装置，在运动矢量计算之后，分割预测单元。但是，图像处理装置也可以，在对编码单元中包含的所有的预测单元进行参考图像位置计算、参考图像尺寸计算及参考图像传输之后，将运动补偿处理所需要的参考图像分割为多个块。而且，也可以针对预测图像的分割后的多个块，以变换单元的处理顺序，按每一个，进行运动补偿运算及预测图像输出。

在此情况下，参考图像存储部513所需要的容量，与不分割的情况同样。 但是，预测图像存储部514所需要的容量变小。并且，图像处理装置，能够早期开始重构处理及内环滤波处理。因此，解码处理整体成为高速化。并且，向帧存储器502的访问频度减少。

并且，图像处理装置也可以，在对编码单元中包含的所有的预测单元进行参考图像位置计算、参考图像尺寸计算、参考图像传输及运动补偿处理之后，将重构处理所需要的预测图像分割为多个块。而且，图像处理装置也可以，针对预测图像的分割后的多个块，以变换单元的处理顺序，按每一个，进行预测图像输出、进行重构处理及内环滤波处理。

在此情况下，参考图像存储部513所需要的容量不会变小。但是，预测图像存储部514所需要的容量变小。并且，图像处理装置，能够早期开始重构处理及内环滤波处理。因此，解码处理整体成为高速化。并且，向帧存储器502的访问频度减少。

并且，对于各个处理部的结构，其一部分或者全部，可以以由专用硬件的电路来实现，也可以以由处理器执行的程序来实现。

并且，在本实施例中，帧存储器502、参考图像存储部513及预测图像存储部514被示出为，存储器或存储部。但是，他们，只要是能够存储数据的存储元件，就可以是触发器或寄存器等的任何结构。进而，也可以将处理器的存储区域的一部分、或高速缓存的一部分，作为帧存储器502、参考图像存储部513及预测图像存储部514来利用。

并且，在本实施例中示出，作为图像解码装置的图像处理装置。但是，图像处理装置，不仅限于图像解码装置。以相反的次序执行解码处理的图像编码装置，同样，也能够分割预测单元，进行运动补偿处理。

并且，本实施例，记载了运动补偿的例子。但是，图像处理装置，即使在 帧内预测的情况下，也通过执行同样的处理，能够得到同样的效果。

并且，本实施例所示的编码单元、预测单元及变换单元的尺寸及形状是例子，他们的尺寸及形状，可以是任何尺寸及形状。

(实施例3)

(3－1.概要)

首先，说明本实施例涉及的图像处理装置的概要。本实施例涉及的图像处理装置，对通过包含运动补偿的编码处理而生成的编码流进行解码。在编码中，运动补偿的尺寸、即预测单元的尺寸是可变的，最大为64x64像素。

图像处理装置，在预测单元的矩形内没有包含变换单元的边缘的情况下，并且，在变换单元的处理顺序和预测单元的处理顺序不同的情况下，以变换单元的处理顺序，进行参考图像的传输处理、运动补偿处理、以及预测图像的输出处理。在本实施例中，利用intra预测以及帧间预测之中的帧间预测。

并且，图像处理装置，对于以后的重构处理及内环滤波处理，也以变换单元的处理顺序进行处理。

据此，图像处理装置能够，不分割预测单元，而以与变换单元相同的处理顺序，进行预测单元的处理。因此，解码处理成为高速化。

以上是，对于本实施例涉及的图像处理装置的概要的说明。

(3－2.结构)

图2是本实施例涉及的图像处理装置的结构图。图3是本实施例涉及的运动补偿部506的周边的结构图。对于本实施例涉及的图像处理装置的结构，由于与实施例1同样，因此省略说明。

(3－3.工作)

在本实施例中，与实施例1同样，利用图4A至图6B所示的编码流的构 造。对于本实施例涉及的图像处理装置的工作流程，由于与图7及图8所示的实施例1的工作流程同样，因此省略说明。

图18是示出本实施例涉及的预测单元和运动矢量的图。在图18的例子中，一个编码单元包含，四个预测单元PU0至PU3。预测单元PU0具有，一个运动矢量v0。同样，预测单元PU1至PU3具有，运动矢量v1至v3。

本实施例的图像处理装置，不分割编码单元中包含的多个预测单元，而以变换单元的处理顺序，对多个预测单元，进行参考图像的传输处理、运动补偿处理、以及预测图像的输出处理。

图19是示出本实施例涉及的运动补偿的工作的流程图。对于本实施例的运动矢量运算部511及运动补偿部506的工作，利用图19进行说明。图19示出对一个编码单元的运动补偿的工作。

首先，运动矢量运算部511，根据由标准规定的方法，计算编码单元中包含的预测单元的运动矢量(S1800)。接着，运动矢量运算部511，根据运动矢量、预测单元的坐标、以及预测单元的大小，计算参考图像位置及参考图像尺寸(S1802)。

接着，运动矢量运算部511，判断是否对编码单元内的所有的预测单元，进行了参考图像位置及参考图像尺寸的计算的一连串的处理(S1800，S1802)(S1808)。在有未处理的预测单元的情况下(S1808的“否”)，运动矢量运算部511，对该预测单元进行运动矢量计算(S1800)。

接着，运动矢量运算部511，将得到的参考图像位置及参考图像尺寸设定到DMA控制部512。DMA控制部512，从帧存储器502向参考图像存储部513传输参考图像(S1803)。接着，运动补偿部506，利用传输到参考图像存储部513的参考图像，进行运动补偿的运算(S1804)，向预测图像存储部514 写入结果(S1807)。

接着，运动矢量运算部511，判断是否对编码单元内的所有的预测单元，进行了参考图像位置及参考图像尺寸的计算的一连串的处理(S1803，S1804，S1807)(S1809)。在有未处理的块的情况下(S1809的“否”)，运动矢量运算部511，进行针对该块的参考图像传输(S1803)。在没有未处理的块的情况下(S1809的“是”)，处理结束。

运动矢量运算部511、DMA控制部512及运动补偿部506，以变换单元的处理顺序进行所述的处理(S1803，S1804，S1807)。

图20A是示出本实施例涉及的编码单元的结构例的图。图20A所示的编码单元CU0具有，64x64像素的尺寸。

图20B是示出图20A所示的编码单元CU0中的预测单元的结构例的图。编码单元CU0包含，四个预测单元PU0至PU3。

图20C是示出图20A所示的编码单元CU0中的变换单元的结构例的图。图20C中示出，两个变换单元TU0、TU1。而且，两个变换单元TU0、TU1，以TU0、TU1的顺序被处理。

图20D是示出图20A所示的编码单元CU0中的四个预测单元PU0至PU3的处理顺序的图。四个预测单元PU0至PU3，以PU0、PU2、PU1、PU3的顺序被处理。

图20D所示的四个预测单元PU0至PU3的处理顺序，根据作为图20C所示的两个变换单元TU0、TU1的处理顺序的变换顺序。也就是说，四个预测单元PU0至PU3，根据变换顺序被处理。

图20E是示出图20A所示的编码单元CU0的分割后的块的结构例的图。图20E中示出，两个块BK0、BK1。而且，两个块BK0、BK1，以BK0、BK1 的顺序被处理。

图21A是示出图19的次序没有被适用的情况的流水线处理的例子的时序图。

在图21A的例子中，首先，对编码单元CU0执行可变长解码处理。然后，对变换单元TU0、TU1，以TU0、TU1的顺序执行逆量化处理及逆频率变换处理。同时，对预测单元PU0至PU3执行运动补偿处理。然后，对编码单元CU0执行重构处理。然后，对编码单元CU0执行内环滤波处理。

在图21A的例子中，不能开始重构处理，直到针对预测单元PU0至PU3的运动补偿处理结束、且针对变换单元TU0、TU1的逆量化处理及逆频率变换处理结束为止。

图21B是示出图19的次序被适用的情况的流水线处理的例子的时序图。

在图21B的例子中，首先，对编码单元CU0执行可变长解码处理。然后，对变换单元TU0、TU1，以TU0、TU1的顺序执行逆量化处理及逆频率变换处理。同时，对块PU0至PU3，以PU0、PU2、PU1、PU3的顺序执行运动补偿处理。

并且，对块BK0、BK1，以BK0、BK1的顺序执行重构处理。在此，在变换单元TU0的逆量化处理及逆频率变换处理结束、块PU0、PU2的运动补偿处理结束之后，块BK0的重构处理开始。同样，在变换单元TU1的逆量化处理及逆频率变换处理结束、块PU1、PU3的运动补偿处理结束的定时，块BK1的重构处理开始。

并且，对块BK0、BK1，以BK0、BK1的顺序执行内环滤波处理。在此，在块BK0的重构处理结束之后，块BK0的内环滤波处理开始。同样，在块BK1的重构处理结束的定时，块BK1的内环滤波处理开始。

在图21B的例子中，预测图像，以与变换单元相同的顺序被输出。因此，与图21A的情况相比，早期得到重构处理所需要的、差分图像、以及与差分图像相同的区域的预测图像这双方。因此，重构处理及内环滤波处理的开始的延迟变小。因此，解码处理成为高速化。

(3－4.效果)

如此，图像处理装置，不分割预测单元，而与变换单元相同的处理顺序，进行预测单元的处理。因此，解码处理成为高速化。

(3－5.补充)

而且，本实施例涉及的图像处理装置，针对编码单元中包含的所有的预测单元，以变换单元的处理顺序，按每一个，进行参考图像传输、运动补偿运算、以及预测图像输出。但是，图像处理装置也可以，将针对多个预测单元的处理，按每两个进行、按每三个进行、按相当于256像素的每个块进行。

并且，对于各个处理部的结构，其一部分或者全部，可以以由专用硬件的电路来实现，也可以以由处理器执行的程序来实现。

并且，在本实施例中，帧存储器502、参考图像存储部513及预测图像存储部514被示出为，存储器或存储部。但是，他们，只要是能够存储数据的存储元件，就可以是触发器或寄存器等的任何结构。进而，也可以将处理器的存储区域的一部分、或高速缓存的一部分，作为帧存储器502、参考图像存储部513及预测图像存储部514来利用。

并且，在本实施例中示出，作为图像解码装置的图像处理装置。但是，图像处理装置，不仅限于图像解码装置。以相反的次序执行解码处理的图像编码装置，同样，也能够进行运动补偿处理。

并且，本实施例，记载了运动补偿的例子。但是，图像处理装置，即使在 帧内预测的情况下，也通过执行同样的处理，能够得到同样的效果。

并且，本实施例所示的编码单元、预测单元及变换单元的尺寸及形状是例子，他们的尺寸及形状，可以是任何尺寸及形状。

(实施例4)

(4－1.概要)

首先，说明本实施例涉及的图像处理装置的概要。本实施例涉及的图像处理装置，对通过包含运动补偿的编码处理而生成的编码流进行解码。在编码中，帧内预测的尺寸、即预测单元的尺寸是可变的，最大为64x64像素。

图像处理装置，在预测单元的矩形内包含变换单元的边缘的情况下，以变换单元的边缘分割预测单元。而且，图像处理装置，对通过分割而得到的多个块，以变换单元的处理顺序，进行帧内预测、以及预测图像的输出。并且，图像处理装置，对于以后的重构处理及内环滤波处理，也以变换单元的处理顺序进行处理。

如此，图像处理装置，即使在预测单元的尺寸大的情况下，分割预测单元，并以变换单元的处理顺序进行帧内预测。据此，预测图像的存储所需要的存储容量减少。进而，图像处理装置，能够早期开始重构处理及内环滤波处理。因此，解码处理整体成为高速化。

(4－2.结构)

接着，说明本实施例涉及的图像处理装置的结构。图2是本实施例涉及的图像处理装置的结构图。对于本实施例涉及的图像处理装置的整体结构，由于与实施例1同样，因此省略说明。

图22是本实施例涉及的帧内预测部507的周边的结构图。对于与图2同样的构成要素分配相同的符号，省略说明。在图22中示出，可变长解码部503、 预测模式运算部515、帧内预测部507、重构图像存储器509、重构部508及预测图像存储部514。预测模式运算部515及预测图像存储部514，也可以被包含在帧内预测部507中。

预测模式运算部515，根据由可变长解码部503解码的解码信息，计算帧内预测的帧内预测模式。帧内预测部507，根据帧内预测模式，执行帧内预测。此时，帧内预测部507也可以，从可变长解码部503获得对于变换单元的变换顺序。

以上是，对于本实施例涉及的图像处理装置的结构的说明。

(4－3.工作)

图23是示出本实施例涉及的帧内预测的工作的流程图。对于图22所示的预测模式运算部515及帧内预测部507的工作，利用图23进行说明。

首先，预测模式运算部515，根据由标准规定的方法，计算预测单元的帧内预测模式(S2200)。接着，帧内预测部507，根据变换单元的画面内坐标及尺寸，判断预测单元的矩形内是否包含变换单元的边缘(S2201)。

在预测单元的矩形内没有包含变换单元的边缘的情况下(S2201的“否”)，帧内预测部507，根据帧内预测模式、预测单元的坐标、以及预测单元的大小，计算参考周边像素位置(S2202)。帧内预测部507，利用得到的参考周边像素位置的参考像素、以及帧内预测模式，进行帧内预测(S2204)。而且，帧内预测部507，将帧内预测的结果写入到预测图像存储部514(S2210)。

在预测单元的矩形内包含变换单元的边缘的情况下(S2201的“是”)，帧内预测部507，以变换单元的边缘分割预测单元(S2205)。而且，帧内预测部507，针对通过分割而生成的多个块，根据帧内预测模式、块的坐标、以及块的大小，计算块的参考周边像素位置(S2206)。

帧内预测部507，利用得到的参考周边像素位置的参考像素、以及帧内预测模式，进行帧内预测(S2208)。而且，帧内预测部507，将帧内预测的结果写入到预测图像存储部514(S2211)。

进而，判断预测单元中是否有未处理的块(S2209)。在有未处理的块的情况下(S2209的“是”)，帧内预测部507，计算该块的参考周边像素位置(S2206)。在没有未处理的块的情况下(S2209的“否”)，处理结束。

帧内预测部507，以变换单元的处理顺序进行所述的处理(S2206，S2208，S2211，S2209)。

图像处理装置，根据以上的处理，对于帧内预测，也能够得到与实施例1的情况同样的效果。也就是说，如图13B，预测图像，以与变换单元相同的顺序被输出。因此，早期得到重构处理所需要的、差分图像、以及与差分图像相同的区域的预测图像。因此，与图13A的情况相比，重构处理及内环滤波处理的开始的延迟变小。因此，解码处理成为高速化。

并且，以小的数据单位进行帧内预测处理、重构处理及内环滤波处理。因此，用于保持预测图像的预测图像存储部514所需要的容量变小，用于重构处理及内环滤波处理的存储器所需要的容量变小。

图24是示出预测单元、以及预测单元的帧内预测处理所需要的参考周边像素的例子的图。对于预测单元的帧内预测处理，利用位于预测单元的周边的参考周边像素2302、2303。例如，根据以下的式1，执行帧内预测。

【算式1】

predSamples[x，y]=DCVal···(式1)

withx,y=0..nS一1

Wherek=log₂(nS)

而且，式1的nS表示，预测单元的尺寸。在图24的情况下，nS是64。并且，p[x'，－1]示出，参考周边像素2302，x'示出，预测单元的左端为原点、右方向为正的方向时的坐标轴的值(x坐标值)。并且，p[－1，y']示出，参考周边像素2303，y'示出，预测单元的上端为原点、下方向为正的方向时的坐标轴的值(y坐标值)。

k是，能够根据参考周边像素导出的变量。并且，式1的predSamples[x，y]示出，进行帧内预测的结果的预测像素值。

在式1中，在预测单元内的任意的位置，预测像素值相同。因此，即使在预测单元被分割为任意的矩形的情况下，也能够按每个块进行帧内预测处理。并且，帧内预测的处理后，能够以任意的顺序，进行预测图像的输出。

(4－4.效果)

本实施例涉及的图像处理装置，即使在预测单元的尺寸大的情况下，也分割预测单元，并以变换单元的处理顺序进行帧内预测处理。据此，所需要的存储容量变小。并且，能够更早期开始重构处理及内环滤波处理。因此，解码处理整体成为高速化。

(4－5.补充)

而且，本实施例涉及的图像处理装置，针对预测单元的分割后的多个块，以变换单元的处理顺序，按每一个，进行参考周边像素位置计算、帧内预测运算以及预测图像输出。但是，图像处理装置也可以，将针对多个块的处理，按 每两个进行、按每三个进行、按相当于256像素的每个块进行。

并且，本实施例涉及的图像处理装置，在帧内预测模式计算后分割预测单元。但是，图像处理装置也可以，在参考周边图像位置计算、以及预测单元的帧内预测处理后，以变换单元的边缘分割预测图像，根据变换单元的处理顺序，进行预测图像输出。

在此情况下，重构处理用的存储容量、以及内环滤波处理用的存储容量被削减。并且，能够更早期开始重构处理及内环滤波处理。因此，解码处理整体成为高速化。

并且，对于各个处理部的结构，其一部分或者全部，可以以由专用硬件的电路来实现，也可以以由处理器执行的程序来实现。

并且，在本实施例中，帧存储器502、参考图像存储部513及预测图像存储部514被示出为，存储器或存储部。但是，他们，只要是能够存储数据的存储元件，就可以是触发器或寄存器等的任何结构。进而，也可以将处理器的存储区域的一部分、或高速缓存的一部分，作为帧存储器502、参考图像存储部513及预测图像存储部514来利用。

并且，在本实施例中示出，作为图像解码装置的图像处理装置。但是，图像处理装置，不仅限于图像解码装置。以相反的次序执行解码处理的图像编码装置，同样，也能够分割预测单元，进行帧内预测处理。

并且，本实施例所示的编码单元、预测单元及变换单元的尺寸及形状是例子，他们的尺寸及形状，可以是任何尺寸及形状。

并且，在本实施例中，利用被称为DC(Direct Current)预测或平均值预测的帧内预测模式，但是，也可以利用其他的帧内预测模式。例如，可以利用被称为垂直预测的帧内预测模式，也可以利用被称为水平预测的帧内预测模 式，还可以利用非专利文献2所记载的其他的帧内预测模式。

(实施例5)

以下，在实施例5至12中示出，具备所述的多个实施例所示的具有特征性的构成要素的图像处理装置。

图25A是示出实施例5涉及的图像处理装置的结构的图。图25A所示的图像处理装置2400，对通过编码处理而编码的图像进行解码。该编码处理包含，针对一个以上的预测单元的预测处理、以及针对包含该一个以上的预测单元的区域中包含的多个变换单元的频率变换处理。

图像处理装置2400具备预测部2401。预测部2401，与实施例1所示的运动补偿部506及帧内预测部507等对应。

图25B是示出图25A所示的图像处理装置2400的工作的流程图。预测部2401，在针对一个以上的预测单元预先规定的预测顺序不根据针对多个变换单元预先规定的变换顺序的情况下，按每个块，根据变换顺序输出与一个以上的预测单元对应的预测图像(S2401)。例如，预测部2401，通过针对一个以上的预测单元的预测处理，生成预测图像。而且，预测部2401，根据变换顺序输出预测图像。

在此，对于预先规定的预测顺序，例如，可以是流内的预测单元的顺序，也可以是除此以外的顺序。并且，对于预先规定的变换顺序，例如，可以是流内的变换单元的顺序，也可以是除此以外的顺序。而且，预测部2401控制预测单元的输出，以使变换单元的处理结果被输出的区域、与预测单元的处理结果被输出的区域相同。

据此，预测图像的输出的定时，与通过变换而得到的差分图像的输出的定时接近。因此，能够早期开始后级的重构处理。因而，图像处理装置2400， 能够使图像处理中发生的延迟变小。

而且，也可以在实施例5所示的图像处理装置2400中追加，其他的实施例所示的构成要素。例如，也可以追加针对多个变换单元，根据变换顺序执行逆频率变换的逆频率变换部505。并且，也可以将实施例5所示的图像处理装置2400，安装在其他的实施例所示的结构中。

(实施例6)

实施例6涉及的图像处理装置是，实施例5涉及的图像处理装置2400的具体的结构例。

图26A是示出实施例6涉及的图像处理装置的结构的图。图26A所示的图像处理装置2500，与实施例5涉及的图像处理装置2400同样，对通过编码处理而编码的图像进行解码。该编码处理，与实施例5同样，包含针对一个以上的预测单元的预测处理、以及针对包含该一个以上的预测单元的区域中包含的多个变换单元的频率变换处理。

图像处理装置2500具备预测部2501。预测部2501，与实施例5所示的预测部2401对应。并且，预测部2501具备，信息获得部2511、预测图像生成部2512及预测图像输出部2513。

图26B是示出图26A所示的图像处理装置2500的工作的流程图。首先，信息获得部2511，获得用于生成预测图像的信息(S2501)。例如，用于生成预测图像的信息有，运动矢量、帧内预测模式、参考图像及参考周边像素等。接着，预测图像生成部2512，利用获得的信息，执行预测处理，从而生成预测图像(S2502)。

接着，预测图像输出部2513，输出预测图像(S2503)。此时，预测图像输出部2513，在预测顺序不根据变换顺序的情况下，按每个块，根据变换顺 序输出预测图像。

据此，预测图像的输出的定时，与通过变换而得到的差分图像的输出的定时接近。因此，能够早期开始后级的重构处理。因此，图像处理装置2500，能够使图像处理中发生的延迟变小。

而且，预测图像生成部2512也可以，在预测顺序不根据变换顺序的情况下，按每个块，根据变换顺序生成预测图像。据此，顺利执行生成处理和输出处理。

并且，预测图像生成部2512也可以，在预测顺序不根据变换顺序的情况下，按每个块，根据变换顺序获得用于生成预测图像的信息。据此，顺利执行信息获得处理、生成处理及输出处理。并且，预测所需要的存储容量减少。

预测图像生成部2512，可以通过执行帧内预测，来生成预测图像，也可以通过执行运动补偿，来生成预测图像。

(实施例7)

图27A是示出实施例7涉及的图像处理装置的结构的图。图27A所示的图像处理装置2600，与实施例5涉及的图像处理装置2400同样，对通过编码处理而编码的图像进行解码。该编码处理，与实施例5同样，包含针对一个以上的预测单元的预测处理、以及针对包含该一个以上的预测单元的区域中包含的多个变换单元的频率变换处理。

图像处理装置2600具备，分割部2601及预测部2602。预测部2602，与实施例5所示的预测部2401对应。

图27B是示出图27A所示的图像处理装置2600的工作的流程图。首先，分割部2601，按照多个变换单元的边缘，将一个以上的预测单元分割为多个块(S2601)。接着，预测部2602，在预测顺序不根据变换顺序的情况下，按 通过分割一个以上的预测单元而得到的每个块，根据变换顺序输出预测图像(S2602)。

据此，大的预测单元，也按照变换单元的边缘而被分割。因此，与大的预测单元对应的预测图像，也根据变换顺序而适当地被输出。因此，后级的重构处理所需要的存储容量减少。

图28A至图28D示出，预测顺序是否根据变换顺序，以及，适用于预测单元的预测顺序。图28A至图28D所示的数值示出，顺序。并且，图28A至图28D所示的变换单元及预测单元，分层地被分割。而且，通过分层地分割变换单元而得到的各个块也是变换单元。并且，通过分层地分割预测单元而得到的各个块也是预测单元。

图28A是示出图27A的图像处理装置2600所利用的预测顺序的第一例的图。第四个预测单元的预测顺序，不根据第四个至第七个变换单元的变换顺序。因此，第四个预测单元，被分割，根据变换单元的变换顺序被处理。

图28B是示出图27A的图像处理装置2600所利用的预测顺序的第二例的图。第二个和第三个预测单元，不根据第一个和第二个变换单元的变换顺序。因此，第二个和第三个预测单元，根据第一个和第二个变换单元的变换顺序被处理。

图28C是示出图27A的图像处理装置2600所利用的预测顺序的第三例的图。第一个至第四个变换单元的变换顺序，与第一个至第四个预测单元的预测顺序一致。也就是说，预测顺序，根据变换顺序。因此，不需要变更预测顺序。

图28D是示出图27A的图像处理装置2600所利用的预测顺序的第四例的图。第四个至第七个预测单元的预测顺序，与第四个变换单元的变换顺序不 一致。但是，第四个至第七个预测单元的预测顺序，与通过将第四个变换单元的变换顺序细分化而得到的顺序同等。因此，第四个至第七个预测单元的预测顺序，根据第四个变换单元的变换顺序。因此，不需要变更预测顺序。

如上所述，预测顺序是否根据变换顺序，与预测顺序是否依据变换顺序、或预测顺序是否按照变换顺序同等。

(实施例8)

图29A是示出实施例8涉及的图像处理装置的结构的图。图29A所示的图像处理装置2800，与实施例5涉及的图像处理装置2400同样，对通过编码处理而编码的图像进行解码。该编码处理，与实施例5同样，包含针对一个以上的预测单元的预测处理、以及针对包含该一个以上的预测单元的区域中包含的多个变换单元的频率变换处理。

图像处理装置2800具备，预测部2801及重构处理部2802。预测部2801，与实施例5所示的预测部2401对应。并且，重构处理部2802，与实施例1所示的重构部508对应。

图29B是示出图29A所示的图像处理装置2800的工作的流程图。首先，预测部2801，在预测顺序不根据变换顺序的情况下，按每个块，根据变换顺序输出预测图像(S2801)。接着，重构处理部2802，按每个块，根据变换顺序执行重构处理(S2802)。

据此，图像处理装置2800，能够早期开始重构处理。因此，图像处理装置2800，能够使图像处理中发生的延迟变小。

(实施例9)

图30A是示出实施例9涉及的图像处理装置的结构的图。图30A所示的图像处理装置2900，与实施例5涉及的图像处理装置2400同样，对通过编 码处理而编码的图像进行解码。该编码处理，与实施例5同样，包含针对一个以上的预测单元的预测处理、以及针对包含该一个以上的预测单元的区域中包含的多个变换单元的频率变换处理。

图像处理装置2900具备，预测部2901、重构处理部2902及内环滤波处理部2903。预测部2901，与实施例5所示的预测部2401对应。并且，重构处理部2902，与实施例1所示的重构部508对应。并且，内环滤波处理部2903，与实施例1所示的内环滤波器部510对应。

图30B是示出图30A所示的图像处理装置2900的工作的流程图。首先，预测部2901，在预测顺序不根据变换顺序的情况下，按每个块，根据变换顺序输出预测图像(S2901)。接着，重构处理部2902，按每个块，根据变换顺序执行重构处理(S2902)。接着，内环滤波处理部2903，按每个块，根据变换顺序执行内环滤波处理(S2903)。

据此，图像处理装置2900，能够早期开始内环滤波处理。因此，图像处理装置2900，能够使图像处理中发生的延迟变小。

而且，内环滤波处理部2903也可以，按每个块，根据变换顺序，将通过执行内环滤波处理而得到的图像数据存放到帧存储器。据此，图像处理装置2900，能够早期开始内环滤波处理。因此，图像处理装置2900，能够使一连串的流水线处理成为高速化。

(实施例10)

图31A是示出实施例10涉及的图像处理装置的结构的图。图31A所示的图像处理装置3100，对通过编码处理而编码的图像进行解码。该编码处理，包含针对一个以上的预测单元的预测处理、以及针对包含该一个以上的预测单元的区域中包含的多个变换单元的频率变换处理。

图像处理装置3100具备处理部3101。例如，处理部3101，与实施例1所示的运动补偿部506及帧内预测部507等对应。处理部3101也可以，与实施例1所示的重构部508对应。

图31B是示出图31A所示的图像处理装置3100的工作的流程图。处理部3101，依赖于针对多个变换单元预先规定的变换顺序，执行与一个以上的预测单元的预测图像有关的图像处理(S3101)。

据此，顺利执行流水线处理。也就是说，图像处理装置3100，削减流水线处理中的等待时间，使处理的延迟变小。

而且，与预测图像有关的图像处理，是使用预测图像的处理，例如，获得用于生成预测图像的信息的处理、生成预测图像的处理、输出预测图像的处理、利用预测图像重新构成图像的处理、或这样的处理的组合等。处理部3101，可以通过执行运动补偿来生成预测图像，也可以通过执行帧内预测来生成预测图像。

并且，实施例10所示的处理部3101，也可以执行其他的处理。例如，处理部3101也可以，针对多个变换单元，按照变换顺序执行逆频率变换。并且，图像处理装置3100或处理部3101也可以具有，其他的实施例所示的结构的一部分或全部。并且，图像处理装置3100或处理部3101也可以，安装在其他的实施例所示的结构中。

并且，处理部3101也可以，获得变换顺序，按照获得的变换顺序，执行图像处理。在此情况下，例如，处理部3101，获得示出变换顺序的信息，按照获得的信息所示的变换顺序，执行图像处理。并且，处理部3101也可以，根据变换顺序，决定图像处理的顺序，按照决定的顺序，执行图像处理。并且，处理部3101也可以，按与变换单元相等的每个块，或者，按比变换单元小的 每个块，按照变换顺序执行图像处理。

并且，处理部3101也可以，在针对一个以上的预测单元预先规定的预测顺序不按照变换顺序的情况下，按照变换顺序执行图像处理。并且，处理部3101也可以，在针对一个以上的预测单元没有预先规定预测顺序的情况下，按照变换顺序执行图像处理。并且，处理部3101也可以，在多个变换单元的边缘的形式、与一个以上的预测单元的边缘的形式不同的情况下，按照变换顺序执行图像处理。

并且，处理部3101也可以，按照变换顺序执行作为针对重新构成后的图像的滤波处理的内环滤波处理。并且，处理部3101也可以，按照变换顺序执行将执行内环滤波处理后的图像存放到帧存储器的处理。

(实施例11)

图32A是示出实施例11涉及的图像处理装置的结构的图。图32A所示的图像处理装置3200，与实施例10涉及的图像处理装置3100同样，对通过编码处理而编码的图像进行解码。该编码处理，与实施例10同样，包含针对一个以上的预测单元的预测处理、以及针对包含该一个以上的预测单元的区域中包含的多个变换单元的频率变换处理。

图像处理装置3200具备，分割部3201及处理部3202。处理部3202，与实施例10所示的处理部3101对应。

图32B是示出图32A所示的图像处理装置3200的工作的流程图。首先，分割部3201，按照多个变换单元的边缘，将一个以上的预测单元分割为多个块(S3201)。接着，处理部3202，按通过分割一个以上的预测单元而得到的每个块，按照变换顺序执行与预测图像有关的图像处理(S3202)。

据此，大的预测单元，按照变换单元的边缘被分割。因此，按照变换顺序， 适当地执行与大的预测单元的预测图像有关的图像处理。

而且，分割部3201也可以，按照多个变换单元的边缘，将一个预测单元分割为多个块。分割部3201也可以，按照多个变换单元的边缘，将编码单元中包含的多个预测单元分割为多个块。

(实施例12)

图33A是示出实施例12涉及的图像处理装置的结构的图。图33A所示的图像处理装置3000，对通过编码处理而编码的图像进行解码。该编码处理包含，根据预测单元的预测模式生成与预测单元对应的预测图像的帧内预测处理。

图像处理装置3000具备，分割部3001及处理部3002。处理部3002，与实施例1所示的帧内预测部507等对应。

图33B是示出图33A所示的图像处理装置3000的工作的流程图。首先，分割部3001，将预测单元分割为多个块(S3001)。而且，处理部3002，针对多个块各自，根据预测单元的预测模式执行帧内预测(S3002)。

据此，图像处理装置3000，能够以小的数据单位执行帧内预测。因此，图像处理装置3000，能够以更小的数据单位顺利执行流水线处理。因此，图像处理装置3000，能够使图像处理中发生的延迟变小。

而且，在实施例12所示的图像处理装置3000中可以追加，其他的实施例所示的构成要素。并且，实施例12所示的图像处理装置3000也可以，安装在其他的实施例所示的结构中。

并且，在所述各个实施例中，各个构成要素也可以，由专用的硬件构成，或者，通过执行适于各个构成要素的软件程序来实现。各个构成要素也可以，CPU或处理器等的程序执行部，读出并执行硬盘或半导体存储器等的记录介质 中记录的软件程序来实现。在此，实现所述各个实施例的图像处理装置等的软件是，如下的程序。

也就是说，该程序，使计算机执行图像处理方法，执行用于对通过编码处理而编码的图像进行解码的处理，所述编码处理包含针对一个以上的预测单元的预测处理、以及针对多个变换单元的频率变换处理，所述多个变换单元被包含在包含所述一个以上的预测单元的区域中，所述图像处理方法，依赖于针对所述多个变换单元预先规定的变换顺序，执行与所述一个以上的预测单元的预测图像有关的图像处理。

以上，对于一个或多个实施方案涉及的图像处理装置，根据实施例进行了说明，但是，本发明，不仅限于该实施例。只要不脱离本发明的宗旨，对本实施例施行本领域的技术人员想到的各种变形的形态、或组合不同的实施例中的构成要素而构成的形态，也包含在一个或多个实施方案的范围内。

例如，特定的处理部执行的处理，也可以由其他的处理部执行。并且，可以变更执行处理的顺序，也可以并行执行多个处理。

并且，本发明，除了能够以图像处理装置来实现以外，还能够以将构成图像处理装置的处理单元作为步骤的方法来实现。例如，这样的步骤，由计算机执行。而且，本发明，能够以用于使计算机执行这样的方法中包含的步骤的程序来实现。进而，本发明，能够以记录有该程序的CD－ROM等的计算机可读取的记录介质来实现。

并且，本发明涉及的图像处理装置及图像处理方法，也能够适用于图像编码装置、图像解码装置、图像编码方法及图像解码方法。

并且，图像处理装置中包含的多个构成要素也可以，以作为集成电路的LSI(LargeScale Integration：大规模集成电路)来实现。可以将这样的构成要 素个别单芯片化，也可以将它们单芯片化，使得包含一部分或全部。例如，也可以将存储器以外的构成要素单芯片化。在此，称为LSI，但是根据集成度的不同，有时被称为IC(Integrated Circuit∶集成电路)、系统LSI、超LSI或特大LSI。

并且，对于集成电路化的方法，不仅限于LSI，也可以以专用电路或通用处理器来实现。也可以利用能够编程的FPGA(Field Programmable Gate Array∶现场可编程门阵列)、或可重构LSI内部的电路单元的连接或设定的可重构处理器。

进而，当然，若因半导体技术的进步或导出的其它的技术而出现代替LSI的集成电路化的技术，则可以利用其技术对图像处理装置中包含的构成要素进行集成电路化。

(实施例13)

通过将用于实现在上述的各个实施例所示的图像编码方法以及图像解码方法的结构的程序记录到记录介质，从而可以将上述的各个实施例所示的处理在独立的计算机系统简单地实施。记录介质可以是磁盘、光盘、磁光盘、IC卡、半导体存储器等，只要能够记录程序就可以。

并且，在此对在上述的各个实施例所示的图像编码方法以及图像解码方法的应用实例以及利用这些应用实例的系统进行说明。

图34是示出实现内容分发服务的内容提供系统ex100的全体构成图。将通信服务的提供区域划分为所希望的大小，在各单元内分别设置有作为固定无线局的基站ex106至ex110。

在该内容提供系统ex100中，计算机ex111、PDA（个人数字助理：Personal DigitalAssistant）ex112、摄像机ex113、移动电话ex114、游 戏机ex115等各种设备，通过电话网ex104、以及基站ex106～ex110相连接。并且，各个设备，通过互联网服务提供商ex102，与互联网ex101相连接。

然而，内容提供系统ex100并非局限于图34所示的构成，也可以对任意的要素进行组合接续。并且，可以不通过作为固定无线局的基站ex106至ex110，而是各个设备直接与电话网ex104相连接。并且，也可以是各个设备通过近距离无线等而彼此直接连接。

摄像机ex113是数字摄像机等能够拍摄运动图像的设备，摄像机ex116是数字照相机等能够拍摄静止图像以及运动图像的设备。并且，移动电话ex114可以以GSM(注册商标)(Global System for Mobile Communications：全球移动通讯系统)方式、CDMA(CodeDivision Multiple Access：码分多址)方式、W－CDMA(Wideband－Code DivisionMultiple Access：宽带码分多址)方式、LTE(Long Term Evolution：长期演进)方式、HSPA(High Speed Packet Access：高速分组接入)的移动电话，或PHS(Personal HandyphoneSystem：个人手持式电话系统)等任一个来构成。

在内容提供系统ex100中，摄像机ex113等通过基站ex109、电话网ex104与流播放服务器ex103连接，从而进行实况分发等。在实况分发中，针对用户利用摄像机ex113拍摄的内容（例如音乐实况的影像等）进行在上述各个实施例所说明的编码处理，并发送到流播放服务器ex103。另外，流播放服务器ex103针对提出请求的客户端，对被发送的内容数据进行流的分发。作为客户端，包括可以解码上述的被编码处理的数据的计算机ex111、PDAex112、摄像机ex113、移动电话ex114、以及游戏机ex115等。在接 收了被分发的数据的各个设备，对接收的数据进行解码处理并再生。

并且，拍摄的数据的编码处理可以在摄像机ex113进行，也可以在进行数据的发送处理的流播放服务器ex103进行，也可以彼此分担进行。同样，被分发的数据的解码处理可以由客户端进行，也可以在流播放服务器ex103进行，也可以彼此分担进行。并且，不仅限于摄像机ex113，由摄像机ex116拍摄的静止图像以及／或者运动图像数据，也可以通过计算机ex111而发送到流播放服务器ex103。此时的编码处理可以在摄像机ex116、计算机ex111以及流播放服务器ex103的任一个中进行，也可以彼此分担进行。

并且，这些编码处理以及解码处理可以在一般的计算机ex111以及各个设备所具有的LSI(Large Scale Integration：大规模集成电路)ex500中执行。LSIex500可以由一个芯片构成，也可以由多个芯片构成。另外，也可以将图像编码用的软件或图像解码用的软件安装到能够计算机ex111等读取的某种记录介质（CD－ROM、软盘、硬盘等）中，并利用该软件来进行编码处理以及解码处理。而且，在移动电话ex114是附带有相机的情况下，也可以发送该相机所获得的运动图像数据。此时的运动图像数据是由移动电话ex114所具有的LSIex500进行编码处理后的数据。

并且，流播放服务器ex103是多个服务器或多个计算机，也可以是对数据进行分散地处理、记录、分发的装置。

如以上所述，在内容提供系统ex100中，客户能够端接收并再生被编码的数据。在这样的内容提供系统ex100中，在客户端能够实时地接收并解码由用户发送的信息并且能够再生，这样，即使是没有特殊权利以及设备的用户也能够实现个人播放。

而且，不仅限于内容提供系统ex100的例子，如图35示出，也可以在数 字广播用系统ex200中，组装所述的各个实施例的至少图像编码装置或图像处理装置的某个。具体而言，在广播电台ex201，影像数据的比特流通过电波进行通信，或被传送到卫星ex202。该比特流是，由所述的各个实施例中说明的图像编码方法编码后的编码比特流。接受它的播放卫星ex202，发出广播用的电波，该电波由能够接收卫星广播的家庭的天线ex204接收。接收的比特流，由电视机(接收机)ex300或机顶盒(STB)ex217等的装置解码并再生。

并且，在再生装置ex212中也可以安装所述的实施例中所示的图像处理装置，该再生装置ex212对作为记录介质的CD以及DVD等记录介质ex214中所记录的编码比特流进行读取并解码。在此情况下，被再生的影像信号被显示在监视器ex213。

并且，在阅读器／记录器ex218中也可以安装在上述的各个实施例中所示的图像处理装置或图像编码装置，该阅读器／记录器ex218对DVD、BD等记录介质ex215中所记录的编码比特流进行读取并解码，或者将影像信号编码并写入到记录介质ex215中。在此情况下，被再生的影像信号被显示在监视器ex219，通过记录有编码比特流的记录介质ex215，其他的装置以及系统能够再生影像信号。并且，也可以将图像处理装置安装到与有线电视用的电缆ex203或卫星／地波广播的天线ex204连接的机顶盒ex217内，并在电视机的监视器ex219上显示。此时，可以不组装到机顶盒，而是将图像处理装置组装到电视机内。

图36示出了利用了上述的各个实施例所说明的图像解码方法的电视机（接收机）ex300。电视机ex300包括：调谐器ex301，通过接收上述广播的天线ex204或电缆ex203等获得或者输出影像信息的比特流；调制／解调部ex302，解调接收的编码数据，或者调制为要发送到外部的编码数据；以及 多路复用／分离部ex303，对解调的影像数据和声音数据进行分离，或者对被编码的影像数据和声音数据进行多路复用。

并且，电视机ex300具有信号处理部ex306和输出部ex309，所述信号处理部ex306具有分别对声音信号和影像信号进行解码或者对各个信息分别进行编码的声音信号处理部ex304和影像信号处理部ex305；所述输出部ex309具有对被解码的声音信号进行输出的扬声器ex307，以及对被解码的影像信号进行显示的显示器等显示部ex308。进而，电视机ex300具有接口部ex317，该接口部ex317具有接受用户操作的输入的操作输入部ex312等。进而，电视机ex300具有统括控制各个部的控制部ex310，以及向各个部提供电力的电源电路部ex311。

接口部ex317除可以具有操作输入部ex312以外，还可以具有与阅读器／记录器ex218等外部设备连接的电桥ex313、用于安装SD卡等记录介质ex216的插槽部ex314、用于与硬盘等外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。并且，记录介质ex216能够通过存放的非易失性／易失性的半导体存储器元件进行信息的电记录。

电视机ex300的各个部通过同步总线相互连接。

首先，对电视机ex300通过天线ex204等从外部获得的数据进行解码并再生的构成进行说明。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据具有CPU等的控制部ex310的控制，将在调制／解调部ex302解调的影像数据和声音数据，在多路复用／分离部ex303进行分离。进而，电视机ex300将分离的声音数据在声音信号处理部ex304进行解码，利用上述的各个实施例中说明的解码方法，将分离的影像数据在影像信号处理部ex305进行解码。解码的声音信号和影像信号分别从输出部ex309被输出到 外部。在进行输出时，为了使声音信号和影像信号同步再生，而可以在缓冲器ex318、ex319等暂时蓄积这些信号。并且，电视机ex300可以不从广播等读出被编码的编码比特流，而是从磁性／光盘、SD卡等记录介质ex215、ex216中读出被编码的编码比特流。

接着，将要说明的构成是，电视机ex300对声音信号以及影像信号进行编码，并发送到外部或写入到记录介质等。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据控制部ex310的控制，在声音信号处理部ex304对声音信号进行编码，并利用在上述的各个实施例中说明的编码方法，在影像信号处理部ex305对影像信号进行编码。被编码的声音信号和影像信号在多路复用／分离部ex303被多路复用，并被输出到外部。在进行多路复用时，为了使声音信号和影像信号同步，而可以将这些信号暂时蓄积到缓冲器ex320、ex321等。

另外，关于缓冲器ex318至ex321，可以如图中所示那样具备多个，也可以共享一个以上的缓冲器。而且，除图中所示以外，例如可以在调制／解调部ex302以及多路复用／分离部ex303之间等，作为回避系统的上溢和下溢的缓冲材料，可以在缓冲器中蓄积数据。

并且，电视机ex300除具有获得广播以及来自记录介质等的声音数据以及影像数据的构成以外，还可以具有接受麦克风以及摄像机的AV输入的构成，对从这些获得的数据进行编码处理。并且，在此虽然对电视机ex300能够进行上述的编码处理、多路复用以及外部输出的构成进行了说明，不过也可以不能进行这样的处理，而只能进行上述的接收、解码处理、外部输出的构成。

并且，在阅读器／记录器ex218从记录介质中读出或写入编码比特流的情况下，上述的解码处理或编码处理也可以在电视机ex300以及阅读器／记 录器ex218的某一个中进行，也可以是电视机ex300和阅读器／记录器ex218彼此分担进行。

作为一个例子，图37示出从光盘进行数据的读取或写入的情况下的信息再生／记录部ex400的构成。信息再生／记录部ex400包括以下将要说明的要素ex401至ex407。

光学头ex401将激光照射到作为光盘的记录介质ex215的记录面并写入信息，并且检测来自记录介质ex215的记录面的反射光并读取信息。调制记录部ex402对被内藏于光学头ex401的半导体激光进行电驱动，并按照记录数据来进行激光的调制。再生解调部ex403对由被内藏于光学头ex401的光电探测器对来自记录面的反射光进行电检测而得到的再生信号进行放大，对被记录在记录介质ex215的信号成分进行分离、解调，并再生必要的信息。缓冲器ex404对用于在记录介质ex215进行记录的信息以及从记录介质ex215再生的信息进行暂时保持。盘式电机ex405使记录介质ex215旋转。伺服控制部ex406在对盘式电机ex405的旋转驱动进行控制的同时，将光学头ex401移动到规定的信息光道，进行激光的光点的追踪处理。

系统控制部ex407对信息再生／记录部ex400进行整体控制。上述的读出以及写入处理可以通过以下的方法来实现，即：系统控制部ex407利用被保持在缓冲器ex404的各种信息，并且按照需要在进行新的信息的生成以及追加的同时，一边使调制记录部ex402、再生解调部ex403、伺服控制部ex406协调工作，一边通过光学头ex401来进行信息的记录再生。系统控制部ex407例如以微处理器构成，通过执行读出以及写入的程序来执行这些处理。

以上，以光学头ex401照射激光光点为例进行了说明，不过也可以是利用近场光学（near－field optical）来进行高密度的记录的构成。

图38是作为光盘的记录介质ex215的模式图。在记录介质ex215的记录面上，导槽（槽）被形成为螺旋状，在信息光道ex230上预先被记录有按照槽的形状的变化示出盘上的绝对位置的地址信息。该地址信息包括用于确定记录块ex231的位置的信息，该记录块ex231是记录数据的单位，进行记录以及再生的装置能够通过再生信息光道ex230以及读取地址信息，来确定记录块。并且，记录介质ex215包括：数据记录区域ex233、内周区域ex232、以及外周区域ex234。用于记录用户数据的区域为数据记录区域ex233，被配置在数据记录区域ex233的内周或外周的内周区域ex232和外周区域ex234被用于用户数据的记录以外的特殊用途。

信息再生／记录部ex400针对这种记录介质ex215的数据记录区域ex233，进行被编码的声音数据、影像数据或对这些数据进行多路复用后的编码数据的读写。

以上以具有一层结构的DVD、BD等光盘为例进行了说明，但并非受此所限，也可以是多层结构的能够在表面以外进行记录的光盘。并且，也可以在盘的同一位置上利用各种不同波长的颜色的光记录信息，或者从各种角度记录不同的信息的层等，具有进行多维的记录／再生的结构的光盘。

并且，在数字广播用系统ex200，能够在具有天线ex205的车辆ex210从卫星ex202等接收数据，并且能够在车辆ex210所具有的汽车导航系统ex211等显示装置再生运动图像。并且，关于汽车导航系统ex211的构成可以考虑到在图36所示的构成中添加GPS接收部，同样也可以考虑到添加计算机ex111以及移动电话ex114等。并且，上述移动电话ex114等终端与电视机ex300同样，除可以考虑到是具有编码器以及解码器双方的收发信型终端的形式以外，还可以考虑到是仅具有编码器的发送终端，以及仅具有解码器的 接收终端的共三种安装形式。

这样，在上述的各个实施例所示的图像编码方法或图像解码方法能够适用于上述的任一个设备或系统，这样，能够得到在上述的各个实施例中说明的效果。

而且，本发明不仅限于这些所述实施例，而可以在不脱离本发明的范围的情况下进行各种变形或修改。

(实施例14)

在本实施例中，将实施例1所示的图像处理装置，实现为作为典型的半导体集成电路的LSI。图39示出实现了的形态。在DRAM上实现帧存储器502，在LSI上构成其他的电路以及存储器。也可以在DRAM上实现存放编码流的比特流缓冲器。

可以将它们个别单芯片化，也可以将它们单芯片化，使得包含一部分或全部。在此，作为LSI，但也可以根据集成度不同被称为IC、系统LSI、超LSI、特大LSI等。

并且，对于集成电路化的方法，不仅限于LSI，也可以以专用电路或通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA(Field Programmable Gate Array∶现场可编程门阵列)、或可重构LSI内部的电路单元的连接以及设定的可重构处理器。

进而，当然，若因半导体技术的进步或导出的其它的技术而出现代替LSI的集成电路化的技术，则可以利用其技术对功能框进行集成化。存在生物技术的应用等的可能性。

进而，将对本实施例的图像处理装置集成化后的半导体芯片与用于描绘图像的显示器组合，从而能够构成适于各种用途的描绘设备。作为移动电话、电 视机、数字录像机、数字摄像机以及汽车导航等的信息描绘机构，能够利用本发明。作为显示器，除电子束管（CRT）以外，还有液晶显示器、PDP（等离子显示板）以及有机EL等平面显示器，并且也可以与以投影仪为代表的投射型显示器等相组合。

并且，本实施例的LSI也可以，与具备蓄积编码流的比特流缓冲器、以及蓄积图像的帧存储器等的DRAM(Dynamic Random Access Memory：动态随机存储器)协调，来进行编码处理或解码处理。并且，本实施例的LSI也可以，不与DRAM协调，而与eDRAM(embededDRAM)、SRAM(Static Random Access Memory：静态随机存储器)、或硬盘等其他的存储装置协调。

(实施例15)

将所述各个实施例所示的图像编码装置、图像处理装置、图像编码方法及图像解码方法，实现为作为典型的半导体集成电路的LSI。作为一个例子，图40示出了被制成一个芯片的LSIex500的构成。LSIex500包括以下将要说明的要素ex502至ex509，各个要素通过总线ex510连接。电源电路部ex505在电源为打开状态的情况下，通过向各个部提供电力，从而启动为能够工作的状态。

例如，在进行编码处理的情况下，LSIex500，由AV输入／输出ex509从麦克风ex117及摄像机ex113等接受AV信号的输入。被输入的AV信号被暂时蓄积到SDRAM等的外部的存储器ex511。蓄积的数据按照处理量以及处理速度被适当地分为多次等，并被发送到信号处理部ex507。信号处理部ex507进行声音信号的编码以及／或影像信号的编码。在此，影像信号的编码处理是在上述的实施例中所说明的编码处理。在信号处理部ex507还根据情况对被编码的声音数据以及被编码的影像数据进行多路复用等处理，从流输入 ／输出ex504输出到外部。该被输出的比特流被发送到基站ex107，或者被写入到记录介质ex215。

并且，例如在进行解码处理的情况下，LSIex500根据微型计算机(微电脑)ex502的控制，将通过流输入／输出ex504从基站ex107得到的编码数据或从记录介质ex215读出而得到的编码数据暂时蓄积到存储器ex511。根据微型计算机ex502的控制，蓄积的数据按照处理量以及处理速度被适当地分为多次等，并被发送到信号处理部ex507，信号处理部ex507进行声音数据的解码以及／或影像数据的解码。在此，影像信号的解码处理是在上述的各个实施例中所说明的解码处理。进而，为了使被解码的声音信号和被解码的影像信号同步再生，根据情况将各个信号暂时蓄积到存储器ex511等即可。被解码的输出信号适当地经由存储器ex511等，从AV输入／输出ex509输出到监视器ex219等。被构成为在访问存储器ex511时经由存储器控制器ex503。

另外，以上虽然对存储器ex511作为LSIex500的外部构成进行了说明，不过也可以被包括在LSIex500的内部。并且，LSIex500可以被制成一个芯片，也可以是多个芯片。

而且，在此，作为LSI，但也可以根据集成度不同被称为IC、系统LSI、超LSI、特大LSI等。

并且，对于集成电路化的方法，不仅限于LSI，也可以以专用电路或通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA(Field Programmable Gate Array∶现场可编程门阵列)、或可重构LSI内部的电路单元的连接以及设定的可重构处理器。

进而，当然，若因半导体技术的进步或导出的其它的技术而出现代替LSI 的集成电路化的技术，则可以利用其技术对功能框进行集成化。存在生物技术的应用等的可能性。

本发明，能够利用在各种各样的用途上。例如，能够利用于电视机、数字录像机、汽车导航、移动电话、数字照相机、数字摄像机等的高分辨率的信息显示设备或摄像设备，利用价值高。

符号说明

501、ex310控制部

502帧存储器

503可变长解码部

504逆量化部

505逆频率变换部

506运动补偿部

507帧内预测部

508重构部

509重构图像存储器

510内环滤波器部

511运动矢量运算部

512DMA控制部

513参考图像存储部

514预测图像存储部

515预测模式运算部

2302、2303参考周边像素

2400、2500、2600、2800、2900、3000、3100、3200图像处理装置

2401、2501、2602、2801、2901预测部

2511信息获得部

2512预测图像生成部

2513预测图像输出部

2601、3001、3201分割部

2802、2902重构处理部

2903内环滤波处理部

3002、3101、3202处理部

ex100内容提供系统

ex101互联网

ex102互联网服务提供商

ex103流播放服务器

ex104电话网

ex106、ex107、ex108、ex109、ex110基站

ex111计算机

ex112PDA(Personal Digital Assistant)

ex113、ex116摄像机

ex114移动电话

ex115游戏机

ex117麦克风

ex200数字广播用系统

ex201广播电台

ex202播放卫星(卫星)

ex203电缆

ex204、ex205天线

ex210车辆

ex211汽车导航系统(汽车导航)

ex212再生装置

ex213、ex219监视器

ex214、ex215、ex216记录介质

ex217机顶盒(STB)

ex218阅读器／记录器

ex220远程控制器

ex230信息光道

ex231记录块

ex232内周区域

ex233数据记录区域

ex234外周区域

ex300电视机(接收机)

ex301调谐器

ex302调制／解调部

ex303多路复用／分离部

ex304声音信号处理部

ex305影像信号处理部

ex306、ex507信号处理部

ex307扬声器

ex308显示部

ex309输出部

ex311、ex505电源电路部

ex312操作输入部

ex313电桥

ex314插槽部

ex315驱动器

ex316调制解调器

ex317接口部

ex318、ex319、ex320、ex321、ex404缓冲器

ex400信息再生／记录部

ex401光学头

ex402调制记录部

ex403再生解调部

ex405盘式电机

ex406伺服控制部

ex407系统控制部

ex500LSI

ex502微型计算机(微电脑)

ex503存储器控制器

ex504流输入／输出

ex509AV输入／输出

ex510总线

ex511存储器

Claims (16)

1.一种图像处理装置，执行用于对通过编码处理而编码的图像进行解码的解码处理，所述编码处理包含针对一个以上的预测单元的预测处理、以及针对多个变换单元的频率变换处理，所述多个变换单元被包含在包含所述一个以上的预测单元的区域中，所述图像处理装置具备分割部以及处理部，

所述分割部，在所述解码处理中，按照所述多个变换单元的边缘，将在所述编码处理中用于所述预测处理的所述一个以上的预测单元分割为多个块，

所述处理部，按通过将所述一个以上的预测单元分割而得到的每个块，按照变换顺序执行与所述一个以上的预测单元的预测图像有关的图像处理，

所述一个以上的预测单元中的每个预测单元，是编码单元中的帧内预测或者帧间预测的数据单位，

所述一个以上的预测单元中的每个预测单元的尺寸是可变的，

所述多个变换单元中的每个变换单元，是编码单元中的频率变换处理的数据单位，

所述编码单元是编码的数据单位，

所述变换顺序是对于所述多个变换单元的频率变换处理的处理顺序。

2.如权利要求1所述的图像处理装置，

所述分割部，按照所述多个变换单元的所述边缘，将所述一个以上的预测单元之中的一个预测单元分割为所述多个块，

所述处理部，按通过将所述一个预测单元分割而得到的每个块，按照所述变换顺序执行所述图像处理。

3.如权利要求1所述的图像处理装置，

所述分割部，将包含所述多个变换单元的编码单元中包含的多个预测单元作为所述一个以上的预测单元，按照所述多个变换单元的所述边缘，将所述多个预测单元分割为所述多个块，

所述处理部，按通过将所述多个预测单元分割而得到的每个块，按照所述变换顺序执行所述图像处理。

4.如权利要求1～3的任一项所述的图像处理装置，

所述处理部，按照所述变换顺序执行生成所述预测图像的处理、以及输出生成后的所述预测图像的处理，以作为所述图像处理。

5.如权利要求1～3的任一项所述的图像处理装置，

所述处理部，按照所述变换顺序执行获得用于生成所述预测图像的信息的处理、利用获得的所述信息生成所述预测图像的处理、以及输出生成后的所述预测图像的处理，以作为所述图像处理。

6.如权利要求1～3的任一项所述的图像处理装置，

所述处理部，按照所述变换顺序执行输出通过运动补偿处理而生成的所述预测图像的处理，以作为所述图像处理。

7.如权利要求1～3的任一项所述的图像处理装置，

所述处理部，按照所述变换顺序执行通过执行运动补偿处理来生成所述预测图像的处理、以及输出所述预测图像的处理，以作为所述图像处理。

8.如权利要求1～3的任一项所述的图像处理装置，

所述处理部，按照所述变换顺序执行获得用于执行运动补偿处理的信息的处理、通过利用获得的所述信息执行所述运动补偿处理来生成所述预测图像的处理、以及输出生成后的所述预测图像的处理，以作为所述图像处理。

9.如权利要求1～3的任一项所述的图像处理装置，

所述处理部，按照所述变换顺序执行输出通过帧内预测处理而生成的所述预测图像的处理，以作为所述图像处理。

10.如权利要求1～3的任一项所述的图像处理装置，

所述处理部，按照所述变换顺序执行通过执行帧内预测处理来生成所述预测图像的处理、以及输出生成后的所述预测图像的处理，以作为所述图像处理。

11.如权利要求1～3的任一项所述的图像处理装置，

所述处理部，按照所述变换顺序执行获得用于执行帧内预测处理的信息的处理、通过利用获得的所述信息执行所述帧内预测处理来生成所述预测图像的处理、以及输出生成后的所述预测图像的处理，以作为所述图像处理。

12.如权利要求1～3的任一项所述的图像处理装置，

所述处理部，按照所述变换顺序执行利用所述预测图像重新构成所述图像的处理，以作为所述图像处理。

13.如权利要求12所述的图像处理装置，

所述处理部，进一步，按照所述变换顺序执行内环滤波处理，该内环滤波处理是针对重新构成后的所述图像的滤波处理。

14.如权利要求13所述的图像处理装置，

所述处理部，进一步，按照所述变换顺序执行，将执行所述内环滤波处理后的所述图像存放到帧存储器的处理。

15.一种图像处理方法，执行用于对通过编码处理而编码的图像进行解码的解码处理，所述编码处理包含针对一个以上的预测单元的预测处理、以及针对多个变换单元的频率变换处理，所述多个变换单元被包含在包含所述一个以上的预测单元的区域中，所述图像处理方法，

在所述解码处理中，按照所述多个变换单元的边缘，将在所述编码处理中用于所述预测处理的所述一个以上的预测单元分割为多个块，

按通过将所述一个以上的预测单元分割而得到的每个块，按照变换顺序执行与所述一个以上的预测单元的预测图像有关的图像处理，

所述一个以上的预测单元中的每个预测单元，是编码单元中的帧内预测或者帧间预测的数据单位，

所述一个以上的预测单元中的每个预测单元的尺寸是可变的，

所述多个变换单元中的每个变换单元，是编码单元中的频率变换处理的数据单位，

所述编码单元是编码的数据单位，

所述变换顺序是对于所述多个变换单元的频率变换处理的处理顺序。

16.一种集成电路，执行用于对通过编码处理而编码的图像进行解码的解码处理，所述编码处理包含针对一个以上的预测单元的预测处理、以及针对多个变换单元的频率变换处理，所述多个变换单元被包含在包含所述一个以上的预测单元的区域中，所述集成电路具备分割部以及处理部，

所述分割部，在所述解码处理中，按照所述多个变换单元的边缘，将在所述编码处理中用于所述预测处理的所述一个以上的预测单元分割为多个块，

所述处理部，按通过将所述一个以上的预测单元分割而得到的每个块，按照变换顺序执行与所述一个以上的预测单元的预测图像有关的图像处理，

所述一个以上的预测单元中的每个预测单元，是编码单元中的帧内预测或者帧间预测的数据单位，

所述一个以上的预测单元中的每个预测单元的尺寸是可变的，

所述多个变换单元中的每个变换单元，是编码单元中的频率变换处理的数据单位，

所述编码单元是编码的数据单位，

所述变换顺序是对于所述多个变换单元的频率变换处理的处理顺序。