CN102918841A - 图像处理装置和方法 - Google Patents

Abstract

公开了一种能够在抑制负荷增加的同时提高编码效率的图像处理设备和方法。该设备配备有：区域设定单元，其将对图像编码时作为处理单位的部分在竖直方向上的尺寸设定为固定值，并且根据前述图像的参数值设定在水平方向上的尺寸；预测图像生成单元，其利用由前述区域设定单元设定为处理单位的前述部分来生成预测图像；以及编码单元，其使用前述预测图像生成单元生成的预测图像来对前述图像编码。本技术可以例如应用于图像处理设备。

Description

图像处理装置和方法

技术领域

本公开涉及一种图像处理装置和方法，具体地，涉及一种能够在抑制负荷增加的同时提高编码效率的图像处理装置和方法。

背景技术

近年来，在来自广播站的信息分送和普通家庭处的信息接收两者中，如下的符合诸如MPEG（移动图像专家组）的方案的装置变得普遍：该装置数字地处置图像信息，并且在此时出于高效信息传送和存储的目的，通过诸如离散余弦变换的正交变换以及使用图像信息特有的冗余的运动补偿来压缩信息。

特别地，MPEG2（ISO（国际标准化组织）/IEC（国际电工委员会）13818-2）被定义为通用图像编码方案，并且是涵盖隔行扫描图像和逐行扫描图像、以及标准分辨率图像和高分辨率图像两者的标准，该标准当前广泛地用于专业用途和消费者用途的广泛的应用范围中。使用MPEG2压缩方案，例如通过将4至8Mbps的码量（位率）分配给具有720×480个像素的标准分辨率的隔行扫描图像，并且将18至22Mbps的码量分配给具有1920×1088个像素的高分辨率的隔行扫描图像，使得可以实现高压缩率和出色的图像质量。

MPEG2主要以适于广播的高质量编码为目标，但是不符合较之MPEG1具有较低码量（位率），即具有较高压缩率的编码方案。随着移动终端的普及，预测未来对这种编码方案的需求会增加，并且为了对此进行处置，已实现了MPEG4编码方案的标准化。在1998年12月图像编码方案的规范作为ISO/IEC 14496-2被批准成为国际标准。

此外，近年来，被称为H.26L（ITU-T（国际电信联盟电信标准部）Q6/16VCEG（视频编码专家组））的标准正在被标准化，其最初旨在用于电视会议的图像编码。较之诸如MPEG2或MPEG4的传统的编码方案，已知H.26L需要较大的计算量用于编码和解码，但是实现了较高的编码效率。此外，作为MPEG4活动的一部分，基于H.26L，当前正在进行增强压缩视频编码的联合模型的标准化，以引入H.26L不支持的功能并且实现更高的编码效率。

根据标准化进度，在2003年3月以上方案以H.264和MPEG4Part10（高级视频编码，以下称为AVC）为名称成为国际标准。

此外，作为以上方案的扩展，在2005年2月完成了FRExt（保真度范围扩展）的标准化，其也包括诸如RGB、4:2:2和4:4:4的商用所需的编码工具，在MPEG2中规定的8×8DCT以及量化矩阵，并且因此，通过使用AVC甚至出色地表达电影中包括的影片噪声的编码方案变得可能，并且该方案用于广泛的多种应用，诸如蓝光盘。

然而，近来对具有更高压缩率的编码的需求日益增加，诸如期望压缩是高清晰度图像的像素的四倍的约4096×2048个像素的图像，或者期望在诸如互联网的具有有限的传送容量的环境中分送高清晰度图像。因此，在上述ITU-T VCEG中，编码效率的提高仍在讨论中。

在作为先前的图像编码方案的MPEG1、MPEG2、ITU-T H.264和MPEG-AVC中进行图像编码时，作为图像的划分单位的宏块的所有像素尺寸是16×16个像素。另一方面，根据非专利文献1，作为下一代图像编码规定的组成技术，提出了在宏块的水平和竖直方向上扩展像素数目。根据该提议，除了MPEG1、MPEG2、ITU-T H.264和MPEG-AVC等中规定的16×16个像素的宏块的像素尺寸之外，还提出了由32×32个像素和64×64个像素构成的宏块的使用。其目的在于，作为针对待编码图像的水平和竖直方向上的像素尺寸在未来增加的预测的措施，通过以较大的区域为单位对其中大部分运动相同的区域执行运动补偿和正交变换，来提高编码效率。

图1图示了对由32×32个像素构成的宏块执行运动补偿处理的块的像素尺寸。可以从在宏块的像素尺寸处执行运动补偿处理，在水平和竖直方向上划分成两个区域以利用不同的运动向量分别执行运动补偿处理，以及将块划分成四个16×16个像素构成的区域以利用不同的运动向量分别执行运动补偿处理中进行选择。

此外，还可以在与AVC相似的划分方法中进一步将16×16个像素的内部划分成更小的区域以利用不同的运动向量执行运动补偿。根据以上提议，可以根据运动区域自适应地改变划分宏块的方法。

图2图示了在MPEG1、MPEG2、ITU-T H.264和MPEG-AVC等中在逐行扫描图像（逐行图像）中的由16×16个像素构成的宏块的处理顺序。在这些编码方案的情况下，在帧内按光栅扫描顺序以16×16个像素为单位来执行处理。

相反，在使用非专利文献1中提出的32×32个像素或64×64个像素的宏块尺寸的情况下，将成为解量化和逆变换处理的单位的变换系数的16×16个小时的块的扫描顺序改变。

图3是在选择32×32个像素的宏块尺寸的情况下的16×16个像素的块的扫描顺序。此外，如果选择64×64个像素的宏块尺寸，则扫描顺序如图4中所示。

引用文献列表

非专利文献

非专利文献1：Peisong Chenn,Yan Ye,Marta Karczewicz,"VideoCoding Using Extended Block Sizes",COM16-C 123-E,Qualcomm Inc

发明内容

本发明要解决的问题

然而，在非专利文献1中描述的提议的情况下，由于宏块在水平和竖直方向上的像素数目均增加，因此处理所需的宏块处理的复杂度以及存储器区域和缓冲器尺寸增加。

例如，如果选择64×64个像素的宏块尺寸，则用于缓冲等同于一个宏块的图像数据或变换系数数据的存储器区域需要是16×16个像素的情况下的存储器区域的16倍。例如，在8位视频信号的4:2:0色度格式的情况下，如果宏块尺寸是16×16个像素，则等同于像素数据的一个宏块的缓冲器尺寸是384个字节；然而，64×64个像素的情况导致了6144个字节。

在MPEG4-AVC中的帧内预测（intra-prediction）的情况下，对于后继宏块的帧内预测处理，对于处于执行解块滤波器处理之前的状态的像素值，还需要保留当前宏块的像素中的最右侧的一个像素列和最下面的一个像素行。

宏块的最下面的一个像素行需要等同于整个帧在水平方向上的像素尺寸的缓冲器而与宏块在水平方向上的尺寸无关；然而，用于保存宏块的最右侧的一个像素列的寄存器或存储器区域与宏块在竖直方向上的像素尺寸成比例。

简言之，较之其中块尺寸是16×16个像素的情况，对于64×64个像素，需要四倍的寄存器或存储器区域。

此外，考虑以宏块为单位在MPEG4-AVC中执行解块滤波器处理，由于遍布宏块的滤波器处理，有必要保留当前宏块的像素中的最右侧的四个像素列和最下面的四个像素行。

与帧内预测（intra-prediction）相似，需要等同于整个帧在水平方向上的像素尺寸的缓冲器来保存等同于宏块中的最下面的四个像素行的数据；然而，用于保存宏块的最右侧四个像素列的寄存器或存储器区域与宏块在竖直方向上的像素尺寸成比例。

简言之，较之其中宏块尺寸是16×16个像素的情况，对于64×64个像素，需要四倍的寄存器或存储器区域。

作为出自另一观点的问题，如果在MPEG1、MPEG2、ITU-TH.264/MPEG-AVC等中在帧间预测（inter-prediction）中扩展宏块尺寸，则图像的解码处理单位不以16×16个像素为单位并且因此实现变得复杂。

例如，在MPEG1、MPEG2、ITU-T H.264/MPEG-AVC等中的以16×16个像素为单位的变换系数的情况下，扫描顺序是光栅扫描顺序；然而，如果宏块在水平和竖直方向上的显示尺寸被扩展，则扫描顺序是如图3和4中所示的锯齿形扫描，并且因此需要诸如根据宏块尺寸改变扫描顺序的复杂控制。

本公开考虑了这些环境，并且本公开的目的在于通过防止处理顺序根据宏块尺寸改变，使得可以较容易地提高编码效率。

对问题的解决方案

本公开的一个方面是一种图像处理装置，其包括：区域设定单元，用于将对图像编码时作为处理单位的部分区域在竖直方向上的尺寸设定为固定值，并且根据图像的参数值设定该部分区域在水平方向上的尺寸；预测图像生成单元，用于使用由区域设定单元设定为处理单位的部分区域来生成预测图像；以及编码单元，用于使用预测图像生成单元生成的预测图像来对图像编码。

图像的参数是图像的尺寸，并且图像的尺寸越大，则区域设定单元可以设定的部分区域在水平方向上的尺寸就越大。

图像的参数是对图像编码时的位率，并且位率越低，则区域设定单元可以设定的部分区域在水平方向上的尺寸就越大。

图像的参数是图像的运动，并且图像的运动越小，则区域设定单元可以设定的部分区域在水平方向上的尺寸就越大。

图像的参数是图像中的同一纹理的范围，并且图像中的同一纹理的范围越大，则区域设定单元可以设定的部分区域在水平方向上的尺寸就越大。

区域设定单元可以将编码标准中指定的尺寸设定为固定值。

编码标准是AVC（高级视频编码）/H.264标准，并且区域设定单元可以将部分区域在竖直方向上的尺寸设定为16个像素的固定值。

还可以进一步包括划分数目设定单元，用于设定其中水平方向上的尺寸由区域设定单元设定的部分区域的划分数目。

进一步包括特征值提取单元，用于从图像提取特征值，并且区域可以设定单元根据图像的特征值中包括的参数值来设定部分区域在水平方向上的尺寸，特征值由特征值提取单元提取。

预测图像生成单元可以执行帧间预测和运动补偿以生成预测图像，并且编码单元可以使用由区域设定单元设定为处理单位的部分区域来对图像和由预测图像生成单元生成的预测图像之间的差值进行编码以生成位流。

编码单元可以传送位流以及示出区域设定单元设定的部分区域在水平方向上的尺寸的信息。

进一步包括重复信息生成单元，用于生成重复信息，重复信息示出作为在水平方向上排列的部分区域集合的部分区域行中的每个部分区域在水平方向上的尺寸，即由区域设定单元设定的尺寸，是否与紧邻部分区域行上方的部分区域行中的每个部分区域在水平方向上的尺寸相同，并且编码单元可以传送位流以及由重复信息生成单元生成的重复信息。

进一步包括固定信息生成单元，用于生成固定信息，固定信息示出作为在水平方向上排列的部分区域集合的部分区域行中的每个部分区域在水平方向上的尺寸，即由区域设定单元设定的尺寸，是否彼此相同，编码单元可以传送位流以及由固定信息生成单元生成的固定信息。

此外，本公开的一个方面是一种图像处理装置的图像处理方法，并且是一种如下的图像处理方法，其包括：区域设定单元将对图像编码时作为处理单位的部分区域在竖直方向上的尺寸设定为固定值，并且根据图像的参数值设定部分区域在水平方向上的尺寸；预测图像生成单元使用设定为处理单位的部分区域来生成预测图像；以及编码单元使用所生成的预测图像来对图像编码。

本公开的另一方面是一种图像处理装置，其包括：解码单元，用于对其中编码有图像的位流进行解码；区域设定单元，用于基于由解码单元获得的信息，将作为图像的处理单位的部分区域在竖直方向上的尺寸设定为固定值，并且根据图像的参数值设定该部分区域在水平方向上的尺寸；以及预测图像生成单元，用于使用由区域设定单元设定为处理单位的部分区域来生成预测图像。

解码单元可以通过对位流解码，获得图像和根据图像生成的预测图像之间的差图像，图像将部分区域用作处理单位，并且预测图像生成单元可以通过执行帧间预测和运动补偿来生成预测图像并且使预测图像与差图像相加。

解码单元可以获取位流以及示出部分区域在水平方向上的尺寸的信息，并且区域设定单元可以基于信息设定部分区域在水平方向上的尺寸。

解码单元可以获取位流以及重复信息，重复信息示出作为在水平方向上排列的部分区域集合的部分区域行中的每个部分区域在水平方向上的尺寸是否与紧邻部分区域行上方的部分区域行中的每个部分区域在水平方向上的尺寸相同，并且当在部分区域行和紧邻部分区域行上方的部分区域行中的每个部分区域在水平方向上的尺寸相同时，基于重复信息，区域设定单元可以将部分区域在水平方向上的尺寸设定为与紧邻其上方的部分区域在水平方向上的尺寸相同。

解码单元可以获取位流以及固定信息，固定信息示出作为在水平方向上排列的部分区域集合的部分区域行中的每个部分区域在水平方向上的尺寸是否彼此相同，并且当在部分区域行中的部分区域行中的每个部分区域在水平方向上的尺寸相同时，基于固定信息，区域设定单元可以将部分区域行中的每个部分区域在水平方向上的尺寸设定为共同值。

此外，本公开的另一方面是一种图像处理装置的图像处理方法，并且是一种如下的图像处理方法，其包括：解码单元对其中编码有图像的位流进行解码；区域设定单元基于所获得的信息，将作为图像的处理单位的部分区域在竖直方向上的尺寸设定为固定值，并且根据图像的参数值设定部分区域在水平方向上的尺寸；以及预测图像生成单元使用设定为处理单位的部分区域来生成预测图像。

在本公开的一个方面，将对图像编码时作为处理单位的部分区域在竖直方向上的尺寸设定为固定值，根据图像的参数值设定该部分区域在水平方向上的尺寸，使用设定为处理单位的部分区域来生成预测图像，并且使用所生成的预测图像来对图像编码。

在本公开的另一方面，对其中编码有图像的位流进行解码，基于所获得的信息，将作为图像的处理单位的部分区域在竖直方向上的尺寸设定为固定值，并且根据图像的参数值设定该部分区域在水平方向上的尺寸，使用设定为处理单位的部分区域来生成预测图像。

本发明的效果

根据本公开，可以对图像数据编码或者对编码的图像数据解码。特别地，可以在抑制负荷增加的同时提高编码效率。

附图说明

图1是说明宏块的示例的视图。

图2是说明16×16个像素的宏块的处理顺序的示例的视图。

图3是说明32×32个像素的宏块的处理顺序的示例的视图。

图4是说明64×64个像素的宏块的处理顺序的示例的视图。

图5是图示图像编码装置的主要配置示例的框图。

图6是图示宏块的示例的视图。

图7是说明宏块的划分示例的视图。

图8是图示宏块的尺寸改变示例的视图。

图9是图示宏块的处理顺序的示例的视图。

图10A和10B是图示宏块的处理顺序的更详细示例的视图。

图11是图示图像编码装置100的详细配置示例的框图。

图12是说明编码处理流程的示例的流程图。

图13是说明预测处理流程的示例的流程图。

图14是说明帧间运动预测处理流程的示例的流程图。

图15是说明宏块设定处理流程的示例的流程图。

图16是说明标志生成处理流程的示例的流程图。

图17是图示图像解码装置的主要配置示例的框图。

图18是图示图像解码装置200的详细配置示例的框图。

图19是说明解码处理流程的示例的流程图。

图20是说明预测处理流程的示例的流程图。

图21是说明帧间运动预测处理流程的示例的流程图。

图22是说明宏块设定处理流程的示例的流程图。

图22是说明宏块设定处理流程的示例的流程图。

图23是图示个人计算机的主要配置示例的框图。

图24是图示电视接收器的主要配置示例的框图。

图25是图示移动电话的主要配置示例的框图。

图26是图示硬盘记录器的主要配置示例的框图。

图27是图示摄像装置的主要配置示例的框图。

具体实施方式

下文将给出用于实现本技术的方式（以下称为实施例）的描述。将以如下顺序给出描述：

1.第一实施例（图像编码装置），

2.第二实施例（图像解码装置），

3.第三实施例（个人计算机），

4.第四实施例（电视接收器），

5.第五实施例（移动电话），

6.第六实施例（硬盘记录器），以及

7.第七实施例（摄像装置）。

<1.第一实施例>

[图像编码装置]

图5图示了作为图像处理装置的图像编码装置的实施例的配置。

图5中所示的图像编码装置100是在例如H.264和MPEG（移动图像专家组）4Part 10（AVC（高级视频编码））（以下称为H.264/AVC）方案中对图像进行压缩和编码的编码装置。然而，图像编码装置100可以在执行帧间编码时通过改变宏块在水平方向上的尺寸来改变宏块尺寸。宏块在竖直方向上的尺寸被设为固定的。

在图5中的示例中，图像编码装置100包括A/D（模拟/数字）转换单元101、帧重排缓冲器102、计算单元103、正交变换单元104、量化单元105、无损编码单元106和存储缓冲器107。此外，图像编码装置100包括解量化单元108、逆正交变换单元109和计算单元110。此外，图像解码装置100包括解块滤波器111和帧存储器112。此外，图像编码装置100包括选择单元113、帧内预测单元114、运动预测/补偿单元115和选择单元116。此外，图像编码装置100包括速率控制单元117。此外，图像编码装置100包括特征值提取单元121、宏块设定单元122和标志生成单元123。

A/D转换单元101对输入图像数据执行A/D转换以将数据输出到并且存储在帧重排缓冲器102中。帧重排缓冲器102根据GOP（图片组）结构将以显示顺序存储的帧的图像重新排序成用于编码的帧顺序。帧重排缓冲器102将其中帧顺序已被重新排序的图像提供给计算单元103、帧内预测单元114和运动预测/补偿单元115。

计算单元103在从帧重排缓冲器102读出的图像中减去从选择单元116提供的预测图像，并且将差信息输出到正交变换单元104。例如，在被执行帧内编码的图像的情况下，计算单元103使从帧内预测单元114提供的预测图像与从帧重排缓冲器102读出的图像相加。此外，例如，在被执行帧间编码的图像的情况下，计算单元103使从运动预测/补偿单元115提供的预测图像与帧重排缓冲器102读出的图像相加。

正交变换单元104对来自计算单元103的差信息执行诸如离散余弦变换或Karhunen-Loeve变换的正交变换，并且将变换系数提供给量化单元105。量化单元105对从正交变换单元104输出的变换系数进行量化。量化单元105将经量化的变换系数提供给无损编码单元106。

无损编码单元106对经量化的变换系数执行诸如可变长度编码或算术编码的无损编码。

无损编码单元106从帧内预测单元114获取示出帧内预测的信息等，并且从运动预测/补偿单元115获取示出帧间预测模式的信息。示出帧内预测的信息在下文中还将被称为帧内预测模式信息。此外，呈现示出帧间预测（inter-prediction）的信息模式的信息在下文中还将被称为帧间预测模式信息。

无损编码单元106对经量化的变换系数进行编码并且将滤波器系数、帧内预测模式信息、帧间预测模式信息、量化参数等并入（复用）到编码数据的报头信息中。无损编码单元106将通过编码获得的编码数据提供给存储缓冲器107并且存储在其中。

例如，在无损编码单元106中，执行诸如可变长度编码或算术编码的无损编码处理。可变长度编码包括在H.264/AVC方案中规定的CAVLC（上下文自适应可变长度编码）。算术编码包括CABAC（上下文自适应二进制算术编码）。

存储缓冲器107临时保存从无损编码单元106提供的编码数据以作为按H.264/AVC方案编码的编码图像，例如在预定定时输出到未示出的后继级中的记录装置或传送路径。

此外，在量化单元105中量化的变换系数还被提供给解量化单元108。解量化单元108按照与量化单元105的量化对应的方法对经量化的变换系数进行解量化，并且将获得的变换系数提供给逆正交变换单元109。

逆正交变换单元109按照与正交变换单元104的正交变换处理对应的方法，对所提供的变换系数执行逆正交变换。已被执行逆正交变换的输出被提供给计算单元110。

计算单元110使从选择单元116提供的预测图像与从逆正交变换单元109提供的逆正交变换的结果相加，换言之，与重建的差信息相加，并且获得局部解码图像（解码图像）。例如，如果差信息对应于被执行帧内编码的图像，则计算单元110使从帧内预测单元114提供的预测图像与差信息相加。此外，例如，如果差信息对应于被执行帧间编码的图像，则计算单元110使从运动预测/补偿单元115提供的预测图像与差信息相加。

相加的结果被提供给解块滤波器111或帧存储器112。

解块滤波器111通过适当地执行解块滤波处理来去除解码图像的块失真，并且通过使用例如Wiener滤波器（Wiener Filter）适当地执行环路滤波处理来提高图像质量。解块滤波器111对每个像素进行分类，并且按类执行适当的滤波器处理。解块滤波器111将滤波器处理的结果提供给帧存储器112。

在预定的定时，帧存储器112经由选择单元113将存储的参考图像输出到帧内预测单元114或运动预测/补偿单元115。

例如，在被执行帧内编码的图像的情况下，帧存储器112经由选择单元113将参考图像提供给帧内预测单元114。此外，例如，在被帧间编码的图像的情况下，帧存储器112经由选择单元113将参考图像提供给运动预测/补偿单元115。

在图像编码装置100中，例如，来自帧重排缓冲器102的I图片、B图片和P图片作为被执行帧内预测（还被称为帧内处理）的图像被提供给帧内预测单元114。此外，从帧重排缓冲器102读出的B图片和P图片作为被执行帧间预测（还被称为帧间处理）的图像被提供给运动预测/补偿单元115。

在被执行帧内编码的图像的情况下，选择单元113将从帧存储器112提供的参考图像提供给帧内预测单元114，并且在被执行帧间编码的图像的情况下，则选择单元113将从帧存储器112提供的参考图像提供给运动预测/补偿单元115。

帧内预测单元114通过使用帧中的像素值来执行帧内预测（帧内预测）以生成预测图像。帧内预测单元114在多个模式（帧内预测模式）中执行帧内预测。

帧内预测单元114在所有帧内预测模式中生成预测图像，并且评估预测图像以选择最优模式。帧内预测单元114选择最优帧内预测模式，并且随后经由选择单元116将在最优模式中生成的预测图像提供给计算单元103。

此外，如上文所述，帧内预测单元114适当地向无损编码单元106提供诸如示出所采用的帧内预测模式的帧内预测模式信息的信息。

对于被执行帧间编码的图像，运动预测/补偿单元115通过使用从帧重排缓冲器102提供的输入图像以及经由选择单元113从帧存储器112提供的、作为参考帧的解码图像，来计算运动向量。运动预测/补偿单元115根据所计算的运动向量执行运动补偿处理以生成预测图像（帧间预测图像信息）。

此时，运动预测/补偿单元115通过使用尺寸已被宏块设定单元122设定的宏块来执行帧间预测。

运动预测/补偿单元115对所有作为候选者的帧间预测模式执行帧间预测处理以生成预测图像。运动预测/补偿单元115经由选择单元116将所生成的预测图像提供给计算单元103。

此外，运动预测/补偿单元115向无损编码单元106提供示出所采用的帧间预测模式的帧间预测模式信息以及示出所计算的运动向量的运动向量信息。

在被执行帧内编码的图像的情况下，选择单元116将帧内预测单元114的输出提供给计算单元103，并且在被执行帧间编码的图像的情况下，选择单元116将运动预测/补偿单元115的输出提供给计算单元103。

速率控制单元117基于存储缓冲器107中存储的压缩图像，控制量化单元105的量化操作的速率以防止出现上溢或下溢。

特征值提取单元121从A/D转换单元101输出的数字化图像数据提取图像的特征值。图像的特征值包括例如相同纹理的范围、图像尺寸和位率。无疑地，特征值提取单元121可以提取不同于这些参数的参数作为特征值，或者可以仅提取上述参数的一部分作为特征值。

特征值提取单元121将所提取的特征值提供给宏块设定单元122。

宏块设定单元122基于从特征值提取单元121提供的图像的特征值来设定宏块尺寸。此外，宏块设定单元122可以根据从运动预测/补偿单元115提供的图像的运动量，即运动预测/补偿单元115已检测到的量来设定宏块尺寸。

宏块设定单元122向运动预测/补偿单元115和标志生成单元123通知所设定的宏块尺寸。运动预测/补偿单元115按宏块设定单元122设定的宏块尺寸执行运动预测补偿。

标志生成单元123基于示出宏块尺寸的信息，即从宏块设定单元122提供的信息来生成关于当前处理目标的宏块行（图像的水平方向上的宏块阵列）的标志信息。例如，标志生成单元123设定重复标志和固定标志。

重复标志是示出当前处理目标的宏块行的每个宏块的尺寸与紧邻上方的宏块行的每个宏块的尺寸相同的标志信息。此外，固定标志是示出当前处理目标的宏块行的每个宏块的尺寸全部相同的标志信息。

无疑地，标志生成单元123可以生成具有任意内容的标志信息。简言之，标志生成单元123可以生成除这些以外的标志信息。标志生成单元123向无损编码单元106提供所生成的标志信息以添加到码流。

[宏块]

图6图示了可由宏块设定单元122设定的宏块尺寸的示例。图6中所示的宏块131的尺寸是16×16个像素。此外，宏块132的尺寸是水平方向上的32×纵向方向上的16个像素。此外，宏块133的尺寸是水平方向上的64×纵向方向上的16个像素。此外，宏块134的尺寸是水平方向上的128×纵向方向上的16个像素。此外，宏块135的尺寸是水平方向上的256×纵向方向上的16个像素。

宏块设定单元122例如从这些尺寸中选择一个最优尺寸作为针对运动预测/补偿单元115中执行的帧间预测处理的宏块的尺寸。无疑地，宏块设定单元122设定的宏块尺寸是任意的，并且可以是不同于图6中所示的尺寸的尺寸。

然而，如图6中所示，宏块设定单元122不改变宏块在竖直方向上的尺寸（将该尺寸固定在预定尺寸）。简言之，如果宏块尺寸增加，则宏块设定单元122在水平方向上扩展尺寸。

通过该方式，宏块设定单元122将宏块在水平方向上的尺寸设定为固定值以获得如下文将描述的效果。

首先，由于可以改变宏块尺寸，因此可以根据诸如图像的内容（包括相同纹理的范围和边缘的位置）、图像尺寸、图像的运动量和位率的各种参数来选择适当的尺寸，并且较之宏块尺寸固定的情况提高编码效率。

接下来，即使宏块设定单元122增加宏块尺寸，仍可以抑制在帧内预测中需要作为相邻像素保存的数据量的增加。例如，在帧内预测中宏块的最右侧的一个像素列需要被存储为相邻像素；然而，在该情况下，即使宏块尺寸改变，宏块在竖直方向上的尺寸恒定并且因此宏块的最右侧的一个像素列处的像素数目是恒定的并且数据量基本上不变。

此外，可以抑制宏块划分的复杂度。图7图示了用于划分图6中所示的宏块的方法。如果宏块在水平方向上的像素尺寸等于或大于32个像素，则在每个像素尺寸的宏块中，可以在按照与宏块尺寸相同的像素尺寸执行运动补偿处理和按照将水平像素尺寸划分成两个的尺寸执行运动补偿处理之中进行选择。如果运动补偿处理的划分块尺寸等于或大于32个像素，则可以进一步按照将水平像素尺寸划分成两个的尺寸对每个块执行运动补偿处理。如图7中所示，如果宏块在水平方向上的像素尺寸或者划分块在水平方向上的尺寸是16个像素，则假设后继划分与ITU-T H.264和MPEG4-AVC中规定的划分方法相同。

通过该方式，如果宏块尺寸等于或小于16×16个像素，则可以按传统方法划分宏块，并且如果宏块尺寸大于16×16个像素，则可以将宏块仅分成左和右两个。简言之，较之传统扩展宏块，划分宏块更加容易。

此外，例如，如图8中所示，可以在16个像素、32个像素、64个像素、128个像素和256个像素之间自适应地切换帧在水平方向上的宏块尺寸。由于宏块在竖直方向上的尺寸是固定的，因此如图8中所示的宏块141至145中的那样，可以任意改变同一宏块行上的宏块（在水平方向上的）尺寸。因此，较之已知的扩展宏块的情况，可以进一步提高编码效率。

通过该方式，可以任意改变宏块尺寸，并且因此还可以省略每个宏块的划分。在该情况下，向每个宏块分配一个运动向量。如宏块141中所示，可以与ITU-T H.264和MPEG4-AVC中规定的划分方法相似地划分在水平方向上的尺寸是16个像素的宏块。

在人类视觉中，存在如下特性：对竖直方向上的改变的灵敏度高，而对水平方向上的改变的灵敏度低。因此，如图8的示例中的那样，宏块在竖直方向上的尺寸全部相同，并且仅改变在水平方向上的尺寸并且因此可以减少由帧中的宏块尺寸改变给出的视觉影响。

此外，由于在竖直方向上的尺寸是固定的，因此不需要根据宏块尺寸改变扫描顺序，并且控制是容易的。图9图示了图6的宏块尺寸处的扫描顺序的示例。

如图9中所示，在宏块131至135的任何尺寸下，该处理以16×16个像素为单位按光栅扫描顺序进行。图9中所示的正方形均表示16×16个像素并且其内部的编号表示处理顺序。

通过该方式，即使宏块尺寸增加，该处理仍简单地以16×16个像素为单位从左向右进行，并且因此处理顺序与其中处理移动到相邻宏块的情况相似。简言之，过程是相同的而与宏块尺寸无关，并且因此控制变得容易。

按16×16个像素的变换系数的块划分以及解码顺序如ITU-T H.264和MPEG4-AVC中规定的那样。图10A和10B图示了在4:2:0色度格式中按ITU-T H.264和MPEG4-AVC中规定的16×16个像素的变换系数的块划分以及每个划分区域的处理顺序。

例如，如果色度分量按4×4个像素的单位进行编码，则按图10A中示出的号数顺序处理亮度分量Y的宏块151的4×4区域、色度分量Cb的宏块152的2×2区域以及色度分量Cr的宏块153的2×2区域。

此外，例如，如果亮度分量以8×8个像素为单位进行编码，则按图10B中示出的号数顺序处理亮度分量Y的宏块151的2×2区域、色度分量Cb的宏块152的2×2区域以及色度分量Cr的宏块153的2×2区域。

如果宏块在竖直方向上的尺寸是固定的，并且其尺寸是任意的，则这是足够的。然而，如上文所述，宏块在竖直方向上的尺寸被设定为16个像素；因此可以提高与现有的编码标准的亲和性（例如，ITU-T H.264和MPEG4-AVC或MPEG2）。

例如，在诸如ITU-T H.264和MPEG4-AVC或MPEG2的编码标准中，16×16个像素被规定为块尺寸。这种现有编码标准中规定的块尺寸在竖直方向上的尺寸（例如，16个像素）被用作宏块在竖直方向上的尺寸，并且因此可以执行例如上文所述的编码标准中规定的16×16个像素或更低的处理。以该方式提高了与现有编码标准的亲和性，并且因此，不仅可以提高与编码标准的兼容性，而且还可以使开发是容易的。

[图像编码装置的细节]

图11是图示图5的图像编码装置100中的运动预测/补偿单元115、宏块设定单元122和标志生成单元123的配置示例的框图。

如图11中所示，运动预测/补偿单元115包括运动预测单元161和运动补偿单元162。

运动预测单元161通过使用从帧重排缓冲器102提供的输入图像和从帧存储器112提供的参考图像，按宏块设定单元122设定的宏块尺寸和划分数目执行运动检测。运动预测单元161反馈诸如运动向量的参数。宏块设定单元122基于反馈的参数、从特征值提取单元121提供的参数等设定宏块尺寸和划分数目，并且向运动预测单元161和运动补偿单元162提供通知。运动预测单元161利用这些设定执行运动检测以生成运动向量信息。运动预测单元161将运动向量信息提供给运动补偿单元162和无损编码单元106。

运动补偿单元162通过使用从运动预测单元161提供的运动向量信息和从帧存储器112提供的参考图像，按宏块设定单元122已设定的宏块尺寸和划分数目执行运动补偿，以生成预测图像。

运动补偿单元162经由选择单元116将预测图像提供给计算单元103和计算单元110。此外，运动补偿单元162将帧间预测模式信息提供给无损编码单元106。

宏块设定单元122包括参数确定单元171、尺寸决定单元172和划分数目决定单元173。

参数确定单元171确定从特征值提取单元121、运动预测单元161等提供的参数。尺寸决定单元172基于参数确定单元171的参数确定结果来决定宏块在水平方向上的尺寸（在竖直方向上的尺寸是固定值）。划分数目决定单元173根据参数确定单元171的参数确定结果和宏块尺寸来确定宏块的划分数目。

宏块设定单元122向运动预测单元161提供以该方式确定的示出宏块尺寸的宏块尺寸信息和示出划分数目的宏块划分信息。此外，宏块设定单元122还将宏块尺寸信息和宏块划分信息提供给标志生成单元123。

标志生成单元123包括重复标志生成单元181和固定标志生成单元182。重复标志生成单元181按照需要通过使用从宏块设定单元122提供的宏块尺寸信息和宏块划分信息来设定重复标志。简言之，如果在当前处理目标的宏块行和紧邻上方的宏块行中宏块尺寸的配置（可以包括划分数目）相同，则重复标志生成单元181设定重复标志。

固定标志生成单元182按照需要通过使用从宏块设定单元122提供的宏块尺寸信息和宏块划分信息来设定固定标志。简言之，如果当前处理目标的宏块行的所有宏块的尺寸彼此相同，则固定标志生成单元182设定固定标志。

标志生成单元123生成这些标志信息以将这些标志信息连同宏块尺寸信息和宏块划分信息一起提供给无损编码单元106。无损编码单元106将这些标志信息以及宏块尺寸信息和宏块划分信息添加到码流。简言之，这些标志信息被提供给解码侧。

[编码处理]

接下来，将给出对上述图像编码装置100执行的每个处理流程的描述。首先，将参照图12的流程图给出对编码处理流程的示例的描述。

在步骤S101中，A/D转换单元101对输入图像执行A/D转换。在步骤S102中，特征值提取单元121从已被执行A/D转换的输入图像提取特征值。在步骤S103中，帧重排缓冲器102存储从A/D转换单元101提供的图像并且执行从显示图片的顺序到编码顺序的重新排序。

在步骤S104中，帧内预测单元114和运动预测/补偿单元115分别对图像执行预测处理。换言之，在步骤S104中，帧内预测单元114在帧内预测模式中执行帧内预测处理。运动预测/补偿单元115在帧间预测模式中执行运动预测补偿处理。

在步骤S105中，选择单元116基于从帧内预测单元114和运动预测/补偿单元115输出的成本函数值来决定最优预测模式。简言之，选择单元116选择帧内预测单元114生成的预测图像和运动预测/补偿单元115生成的预测图像中的一个。

此外，预测图像的选择信息被提供给帧内预测单元114或运动预测/补偿单元115。如果选择了最优帧内预测模式中的预测图像，则帧内预测单元114将示出最优帧内预测模式的信息（即，帧内预测模式信息）提供给无损编码单元106。

如果选择了最优帧间预测模式中的预测图像，则运动预测/补偿单元115向无损编码单元106输出示出最优帧间预测模式的信息，并且按照需要，输出与最优帧间预测模式对应的信息。与最优帧间预测模式对应的信息包括运动向量信息、标志信息和参考帧信息。

此外，在该情况下，标志生成单元123适当地向无损编码单元106提供标志信息、宏块尺寸信息、宏块划分信息等。

在步骤S106中，计算单元103计算在步骤S103中重新排序的图像和在步骤S104中通过预测处理获得的预测图像之间的差。分别地，在帧间预测的情况下从运动预测/补偿单元115经由选择单元116向计算单元103提供预测图像，并且在帧内预测的情况下从帧内预测单元114经由选择单元116向计算单元103提供预测图像。

较之原始图像数据，差数据的数据量减少。因此，较之按原样对图像编码的情况，可以压缩数据量。

在步骤S107中，正交变换单元104对从计算单元103提供的差信息执行正交变换。具体地，执行诸如离散余弦变换或Karhunen-Loeve变换的正交变换以输出变换系数。在步骤S108中，量化单元105对变换系数进行量化。

在步骤S109中，无损编码单元106对从量化单元105输出的量化的变换系数进行编码。换言之，对不同的图像执行诸如可变长度编码或算术编码的无损编码（在帧间的情况下是二次差图像）。

无损编码单元106对关于在步骤S105的处理中选择的预测图像的预测模式的信息进行编码，并且将信息添加到通过对差图像编码而获得的编码数据的报头信息。

简言之，无损编码单元106对用于添加到报头信息的，从帧内预测单元114提供的帧内预测模式信息、从运动预测/补偿单元115提供的对应于最优帧间预测模式的信息等进行编码。此外，无损编码单元106还将从标志生成单元123提供的各种信息添加到编码数据的报头信息等。

在步骤S110中，存储缓冲器107存储从无损编码单元106输出的编码数据。存储缓冲器107中存储的编码数据被适当地读出以经由传送路径传送到解码侧。

在步骤S1111中，速率控制单元117基于存储缓冲器107中存储的压缩图像来控制量化单元105的量化操作的速率以防止出现上溢或下溢。

此外，如下文所示对步骤S108的处理量化的差信息进行局部解码。换言之，在步骤S112中，解量化单元108利用与量化单元105的特性对应的特性对量化单元105量化的变换系数进行解量化。在步骤S113中，逆正交变换单元109利用与正交变换单元104的特性对应的特性对解量化单元108解量化的变换系数执行逆正交变换。

在步骤S114中，计算单元110使经由选择单元116输入的预测图像与局部解码的差信息相加以生成局部解码图像（与针对计算单元103的输入对应的图像）。在步骤S115中，解块滤波器111对从计算单元110输出的图像进行滤波。因此，去除块失真。在步骤S116中，帧存储器112存储经滤波的图像。未被解块滤波器111执行滤波器处理的图像也从计算单元110提供给帧存储器112并且存储在其中。

[预测处理]

接下来，将参照图13的流程图给出对在图12的步骤S104中执行的预测处理流程的示例的描述。

在步骤S131中，帧内预测单元114在所有作为候选者的帧内预测模式中对处理目标块的像素执行帧内预测。

如果从帧重排缓冲器102提供的处理目标图像是被执行帧间处理的图像，则从帧存储器112读出将参考的图像以经由选择单元113提供给运动预测补偿单元115。在步骤S132中，运动预测补偿单元115基于这些图像执行帧间运动预测处理。换言之，运动预测补偿单元115参照从帧存储器112提供的图像以在所有作为候选者的帧间预测模式中执行运动预测处理。

在步骤S133中，运动预测补偿单元115将在步骤S132中计算的帧间预测模式的成本函数值中给出最小值的预测模式决定为最优帧间预测模式。随后运动预测补偿单元115向选择单元116提供被执行帧间处理的图像和在最优帧间预测模式中生成的二次差信息之间的差以及最优帧间预测模式中的成本函数值。

[帧内预测处理]

图14是说明在图13的步骤S132中执行的帧间运动预测处理流程的示例的流程图。

如果帧间运动预测处理开始，则宏块设定单元122在步骤S151中设定宏块在水平方向上的尺寸和宏块的划分数目等。在步骤S152中，运动预测补偿单元115决定运动向量和参考图像。在步骤S153中，运动预测补偿单元115执行运动补偿。在步骤S154中，标志生成单元123生成标志。如果步骤S154的处理结束，则图像编码装置100使处理返回图13的步骤S132，并且使处理前进到步骤S133。

[宏块设定处理]

接下来，将参照图15的流程图给出对在图14的步骤S151中执行的宏块设定处理流程的示例的描述。

如果宏块设定处理开始，则宏块设定单元122在步骤S171中获取输入图像的图像尺寸。在步骤S172中，参数确定单元171确定图像尺寸。

在步骤S173中，尺寸决定单元172根据所确定的图像尺寸决定宏块在水平方向上的尺寸。此外，划分数目决定单元173在步骤S174中决定宏块的划分数目。

如果步骤S174的处理结束，则宏块设定单元122使处理返回图14的步骤S151，并且使处理前进到步骤S152。

上文已给出了如下描述：将输入图像的图像尺寸用作用于确定宏块在水平方向上的尺寸和宏块的划分数目的参数；然而，该参数是任意的，并且如上文所述，可以是例如图像内容、运动量、位率等，或者可以是这些参数以外的参数。此外，可以将多个参数用于决定。

[标志生成处理]

接下来，将参照图16的流程图给出对在图14的步骤S154中执行的标志生成处理流程的示例的描述。

如果标志生成处理开始，则重复标志生成单元181在步骤S191中确定宏块尺寸的式样是否与紧邻上方的宏块行的宏块尺寸相同。

如果确定是相同的，则重复标志生成单元181使处理前进到步骤S192，设定重复标志，并且使处理前进到步骤S193。如果在步骤S191中确定不是相同的，则重复标志生成单元181使处理前进到步骤S193。

在步骤S193中，固定标志生成单元182确定宏块行的所有宏块尺寸是否相同。

如果确定它们是相同的，则固定标志生成单元182使处理前进到步骤S194，设定固定标志，结束标志生成处理，使处理返回图14的步骤S154，进一步结束帧间运动预测处理，使处理返回图13的步骤S132，并且使处理前进到步骤S133。

此外，如果在步骤S193中确定它们不相同，则固定标志生成单元182结束标志生成处理，使处理返回图14的步骤S154，进一步结束帧间运动预测处理，使处理返回图13的步骤S132，并且使处理前进到步骤S133。

如上文所述，仅使得宏块在水平方向上的尺寸是可变的，并且因此图像编码装置100可以在抑制负荷增加的同时进一步提高编码效率。

此外，如上文所述传送关于宏块尺寸的标志信息，并且因此，如后面将描述的，使得可以在解码侧更容易地设定宏块尺寸。

上文已描述的每个块的尺寸是示例，并且可以是除了上述尺寸以外的尺寸。此外，在上文中，已给出了对如下方法的描述：该方法用于向解码侧传送宏块尺寸信息、宏块划分信息、标志信息等，其中无损编码单元106将这些信息复用到编码数据的报头信息；然而，这些信息的存储位置是任意的。例如，无损编码单元106可以在位流中将这些信息描述为语法。此外，无损编码单元106可以将这些信息作为补充信息存储在预定区域中用于传送。例如，这些信息可以被存储在诸如SEI（补充增强信息）的参数集合（例如，图片序列的报头）中。

此外，除编码数据之外，无损编码单元106可以将这些信息（作为另一文件）从图像编码装置传送到图像解码装置。在该情况下，有必要澄清这些信息和编码数据之间的关系（使得可以在解码侧理解）；然而，其方法是任意的。例如，可以分离地生成示出对应关系的表格信息，或者可以将示出配对方的数据的链接信息嵌入在相互数据中。

<2.第二实施例>

[图像解码装置]

由在第一实施例中描述的图像编码装置100编码的编码数据经由预定的传送路径传送到与图像编码装置100对应的图像解码装置以进行解码。

下文将给出对图像解码装置的描述。图17是图示图像解码装置的主要配置示例的框图。

如图17中所示，图像解码装置200包括存储缓冲器201、无损解码单元202、解量化单元203、逆正交变换单元204、计算单元205、解块滤波器206、帧重排缓冲器207和D/A转换单元208。此外，图像解码装置200包括帧存储器209、选择单元210、帧内预测单元211、运动预测/补偿单元212和选择单元213。此外，图像解码装置200包括宏块设定单元221。

存储缓冲器201存储所传送的编码数据。该编码数据已被图像编码装置100编码。无损解码单元202按照与图5的可逆编码单元106的编码方案对应的方案，在预定的定时对从存储缓冲器201读出的编码数据进行解码。

解量化单元203按照与图5的量化单元105的量化方案对应的方案，对通过无损解码单元202的解码而获得的系数数据进行解量化。解量化单元203将经解量化的系数数据提供给逆正交变换单元204。逆正交变换单元204按照与图5的正交变换单元104的正交变换方案对应的方案，对系数数据执行逆正交变换，以获得与在图像编码装置100中被执行正交变换之前的残差数据对应的经解码的残差数据。

通过被执行逆正交变换获得的经解码的残差数据被提供给计算单元205。此外，还从帧内预测单元211或运动预测/补偿单元212经由选择单元213向计算单元205提供预测图像。

计算单元205使经解码的残差数据与预测图像相加，并且获得与图像编码装置100的计算单元103减去预测图像之前的图像数据对应的经解码的图像数据。计算单元205将经解码的图像数据提供给解块滤波器206。

解块滤波器206从解码图像去除块失真以将该图像提供给帧存储器209用于存储，并且还提供给帧重排缓冲器207。

帧重排缓冲器207对图像重新排序。换言之，被图5的帧重排缓冲器102重新排序成编码顺序的帧的顺序被重新排序成原始显示顺序。D/A转换单元208对从帧重排缓冲器207提供的图像执行D/A转换，以将图像输出到未示出的显示器并且在其上显示图像。

选择单元210从帧存储器209读出将被执行帧间处理的图像和将参考的图像，以提供给运动预测/补偿单元212。此外，选择单元210从帧存储器209读出将用于帧内预测的图像，以提供给帧内预测单元211。

从无损解码单元202适当地向帧内预测单元211提供示出帧内预测模式的信息、通过对报头信息进行解码而获得的信息等。帧内预测单元211基于这些信息生成预测图像，并且将所生成的预测图像提供给选择单元213。

运动预测/补偿单元212从无损解码单元202获取通过对报头信息进行解码而获得的信息（预测模式信息、运动向量信息、参考帧信息）。此外，宏块设定单元221向运动预测/补偿单元212提供宏块尺寸和划分数目的规定。如果被提供了示出帧间预测模式的信息，则运动预测/补偿单元212基于从无损解码单元202和宏块设定单元221提供的信息来生成预测图像，并且将所生成的预测图像提供给选择单元213。

选择单元213选择由运动预测/补偿单元212或帧内预测单元211生成的预测图像以提供给计算单元205。

无损解码单元202向宏块设定单元221提供被添加到码流的诸如标志信息、宏块尺寸信息和宏块划分信息的各种信息。

宏块设定单元221基于已从图像解码装置100提供的、从无损解码单元202提供的信息，设定宏块尺寸及其划分数目，并且将这些设定提供给运动预测/补偿单元212。

[图像解码装置的细节]

图18是图示图17的图像解码装置200中的运动预测/补偿单元212和宏块设定单元221的配置示例的框图。

如图18中所示，运动预测/补偿单元212包括运动预测单元261和运动补偿单元262。

运动预测单元261基本上具有与图像编码装置100的运动预测单元161（图11）的配置相似的配置，并且执行与运动预测单元161的处理相似的处理。运动补偿单元262基本上具有与图像编码装置100的运动补偿单元162的配置相似的配置，并且执行与运动补偿单元162的处理相似的处理。

此外，宏块设定单元221包括标志确定单元271、尺寸决定单元272和划分数目决定单元273。

尺寸决定单元272基本上具有与图像编码装置100的尺寸决定单元172（图11）的配置相似的配置，并且执行与尺寸决定单元172的处理相似的处理。划分数目决定单元273基本上具有与图像编码装置100的划分数目决定单元173（图11）的配置相似的配置，并且执行与划分数目决定单元173的处理相似的处理。

简言之，运动预测/补偿单元212基本上执行与运动预测/补偿单元115（图11）的处理相似的处理，并且宏块设定单元221基本上执行与宏块设定单元122（图11）的处理相似的处理。

然而，宏块设定单元221基于从无损解码单元202提供的标志信息、宏块尺寸信息、宏块划分信息等，设定宏块在水平方向上的尺寸和宏块的划分数目。

因此，宏块设定单元221包括标志确定单元271而非参数确定单元171。标志确定单元271确定重复标志、固定标志等的标志信息，即从无损解码单元202提供的信息。

尺寸决定单元272基于从无损解码单元202提供的宏块尺寸信息和宏块划分信息以及标志确定单元271的确定结果，来决定宏块在水平方向上的块尺寸。

例如，如果标志确定单元271确定已设定重复标志，则尺寸决定单元272将处理目标的宏块行的每个宏块在水平方向上的尺寸设定为与紧邻处理目标的宏块行上方的宏块行上的每个宏块在水平方向上的尺寸相同。

此外，例如，如果标志确定单元271确定已设定固定标志，则尺寸决定单元272将处理目标的宏块行的所有宏块在水平方向上的尺寸设定为相同。简言之，尺寸决定单元272根据宏块尺寸信息仅决定处理目标的宏块行的最左侧的宏块在水平方向上的尺寸，并且使从处理目标的宏块行左起的第二宏块以及后面的宏块与最左侧的宏块一致。

如果未设定任一标志，则尺寸决定单元272基于宏块尺寸信息逐个决定每个宏块的尺寸。简言之，尺寸决定单元272逐个检查图像编码装置100的每个宏块的尺寸，并且将处理目标的宏块尺寸调整到该尺寸。

另一方面，如果已设定任一标志，则可以如上文所述以宏块行为单位一次决定所有宏块在水平方向上的尺寸。简言之，使用从图像编码装置100提供的标志信息使得宏块设定单元221能够容易地决定宏块尺寸。

与图像编码装置100的情况相似，划分数目决定单元273基于从图像编码装置100提供的宏块划分信息来设定每个宏块的划分数目。与宏块尺寸的情况相似，划分数目决定单元273可以基于标志信息以宏块行为单位一次决定所有宏块的划分数目。

在图像解码装置200中，未生成重复标志和固定标志。

此外，与运动预测/补偿单元115相似，运动预测/补偿单元212按宏块设定单元221设定的宏块尺寸执行运动预测和运动补偿，但是未输出帧间预测模式信息和运动向量信息。

[解码处理]

接下来，将给出对上述图像解码装置200执行的每个处理流程的描述。首先，将参照图19的流程图给出对解码处理流程的示例的描述。

如果解码处理开始，则存储缓冲器201在步骤S201中存储所传送的数据。在步骤S202中，无损解码单元202对从存储缓冲器201提供的编码数据进行解码。简言之，对图5的无损编码单元106编码的I图片、P图片和B图片进行解码。

此时，还对运动向量信息、参考帧信息、预测模式信息（帧内预测模式或帧间预测模式）、宏块尺寸信息、宏块划分信息、标志信息等进行解码。

换言之，如果预测模式信息是帧内预测模式信息，则将预测模式信息提供给帧内预测单元211。如果预测模式信息是帧间预测模式信息，则预测模式信息和相应的运动向量信息被提供给运动预测/补偿单元212。

此外，如果存在宏块尺寸信息、宏块划分信息、标志信息等，则将这些信息提供给宏块设定单元211。

在步骤S203中，解量化单元203利用与图5的量化单元105的特性对应的特性对无损解码单元202解码的变换系数进行解量化。在步骤S204中，逆正交变换单元204利用与图5的正交变换单元104的特性对应的特性对解量化单元203解量化的变换系数执行逆正交变换。因此，与图5的正交变换单元104的输入对应的差信息（计算单元103的输出）已被编码。

在步骤S205中，帧内预测单元211或运动预测/补偿单元212分别根据从无损解码单元202提供的预测模式信息执行图像的预测处理。

换言之，如果从无损解码单元202提供帧内预测模式信息，则帧内预测单元211在帧内预测模式中执行帧内预测处理。此外，如果从无损解码单元202提供帧间预测模式信息，则运动预测/补偿单元212在帧间预测模式中执行运动预测处理。

在步骤S206中，选择单元213选择预测图像。换言之，向选择单元213提供帧内预测单元211生成的预测图像或者运动预测/补偿单元212生成的预测图像。选择单元213选择它们中的一个。所选择的预测图像被提供给计算单元205。

在步骤S207中，计算单元205使通过步骤S206的处理选择的预测图像与通过步骤S204的处理获得的差信息相加。因此，对原始图像数据解码。

在步骤S208中，解块滤波器206对从计算单元205提供的解码图像数据进行滤波。因此，去除了块失真。

在步骤S209中，帧存储器209存储经滤波的解码图像数据。

在步骤S210中，帧重排缓冲器207对解码图像数据的帧重新排序。换言之，解码图像数据的帧顺序，即已被图像编码装置100的帧重排缓冲器102（图5）重新排序用于编码的帧，被重新排序成原始显示顺序。

在步骤S211中，D/A转换单元208对解码图像数据执行D/A转换，其中帧已在帧重排缓冲器207中被重新排序。解码图像数据被输出到未示出的显示器以显示图像。

[预测处理]

接下来，将参照图20的流程图给出对在图19的步骤S205中执行的预测处理流程的示例的描述。

如果预测处理开始，则无损解码单元202基于帧内预测模式信息确定是否已执行帧内编码。在确定已执行帧内编码的情况下，无损解码单元202将帧内预测模式信息提供给帧内预测单元211并且使处理前进到步骤S232。

在步骤S232中，帧内预测单元211执行帧内预测处理。如果帧内预测处理结束，则图像解码装置200使处理返回图19，并且使步骤S206之后的处理被执行。

此外，在步骤S231中，在确定已执行帧间编码的情况下，无损解码单元202将帧间预测模式信息提供给运动预测/补偿单元212，将宏块尺寸信息、宏块划分信息、标志信息等提供给宏块设定单元211，并且使处理前进到步骤S233。

在步骤S233中，运动预测/补偿单元212执行帧间运动预测补偿处理。如果帧间运动预测补偿处理结束，则图像解码装置200使处理返回图19，并且使步骤S206之后的处理被执行。

接下来，将参照图21的流程图给出对在图20的步骤S233中执行的帧间运动预测处理流程的示例的描述。

如果帧间运动预测处理开始，则宏块设定单元221在步骤S251中设定宏块。在步骤S252中，运动预测单元261基于运动向量信息决定参考图像的位置（区域）。在步骤S256中，运动补偿单元262生成预测图像。如果生成了预测图像，则帧间运动预测处理结束。运动预测/补偿单元212使处理返回图20的步骤S233，结束预测处理，进一步使处理返回图19的步骤S205，并且使后继处理被执行。

接下来，将参照图22的流程图给出对在图21的步骤S251中执行的宏块设定处理流程的描述。

如果宏块设定处理开始，则标志确定单元271在步骤S271中确定是否已设定重复标志。在确定已设定重复标志的情况下，标志确定单元271使处理前进到步骤S272。

在步骤S272中，尺寸决定单元272将宏块尺寸和划分数目设定为与紧邻上方的宏块行的宏块尺寸和划分数目相同。划分数目能够被分离地设定。如果步骤S272的处理结束，则宏块设定单元211结束宏块设定处理，使处理返回图21的步骤S251，并且使处理前进到步骤S252。

在步骤S271中确定未设定重复标志的情况下，标志确定单元271使处理前进到步骤S273。

在步骤S273中，标志确定单元271确定是否已设定固定标志。在确定已设定固定标志的情况下，标志确定单元271使处理前进到步骤S274。

在步骤S274中，尺寸决定单元272使宏块行中的宏块尺寸和划分数目是共同的。划分数目能够被分离地设定。如果步骤S274的处理结束，则宏块设定单元211结束宏块设定处理，使处理返回图21的步骤S251，并且使处理前进到步骤S252。

在步骤S273中确定未设定固定标志的情况下，标志确定单元271使处理前进到步骤S275。

在步骤S275中，尺寸决定单元272基于宏块尺寸信息决定宏块尺寸。在步骤S276中，划分数目决定单元273基于宏块划分信息决定划分数目。

如果步骤S276的处理结束，则宏块设定单元221结束宏块设定处理，使处理返回图21的步骤S251，并且使处理前进到步骤S252。

如上文所述，与图像编码装置100的情况相似，图像解码装置200可以基于从图像编码装置100提供的宏块尺寸信息、宏块划分信息等，固定宏块在竖直方向上的尺寸并且仅改变宏块在水平方向上的尺寸。因此，与图像编码装置100的情况相似，图像解码装置200可以在抑制负荷增加的同时提高编码效率。

此外，图像解码装置200可以基于从图像编码装置100提供的重复标志、固定标志等，一次设定多个宏块的尺寸。通过该方式，使用标志信息使得图像解码装置200能够更容易地提高编码效率。

<3.第三实施例>

[个人计算机]

上述系列处理可以通过硬件或软件执行。在该情况下，例如，可以配置图23中所示的个人计算机。

在图23中，个人计算机500的CPU 501根据ROM（只读存储器）502中存储的程序或者从存储单元513加载到RAM（随机存取存储器）503中的程序来执行各种处理。RAM 503中还适当地存储CPU 501执行各种处理所需的数据。

CPU 501、ROM 502和RAM 503经由总线504彼此连接。此外，输入/输出接口510也连接到总线504。

输入/输出接口510连接到由键盘、鼠标等构成的输入单元511；由CRT（阴极射线管）、LCD（液晶显示器）等构成的显示器以及扬声器构成的输出单元512；由硬盘等构成的存储单元513；以及由调制解调器等构成的通信单元514。通信单元514经由包括互联网的网络执行通信处理。

此外，输入/输出接口510还按照需要连接到驱动器515，以适当地安装诸如磁盘、光盘、磁-光盘或半导体存储器的可移除介质521，并且从这些介质读出的计算机程序按照需要安装在存储单元513中。

如果前述系列处理由软件执行，则从网络或记录介质安装构成该软件的程序。

如图23中所示，例如，记录介质不仅由其中记录程序的可移除介质521构成，而且由其中记录程序的ROM 502或存储单元513中包括的硬盘等形成，其中可移除介质521由磁盘（包括软盘）、光盘（包括（CD-ROM致密盘只读存储器）和DVD（数字多用途盘））、磁-光盘（包括MD（小型盘））、半导体存储器等构成，其中可移除介质521中记录的程序与装置的主体分离地分送以将程序分送到用户，并且ROM 502、存储单元513等中记录的程序等以预先并入到装置主体的状态分送到用户。

将由计算机执行的程序可以是其中根据本说明书中说明的顺序按时间顺序执行处理的程序，或者可以是其中并行地执行处理或在诸如调用时在所需定时处执行处理的程序。

此外，在本说明书中，描述将记录在记录介质中的程序的步骤无疑包括根据所描述的顺序按时间顺序执行的处理，而且还包括不必按时间顺序执行的、并行地或单独地执行的处理。

此外，在本说明书中，系统指的是由多个设备（装置）构成的整体装置。

此外，在上文中被描述为一个设备（或处理单元）的配置可以被划分以构成多个设备（或处理单元）。相反地，在上文中被描述为多个设备（或处理单元）的配置可以被配置为一个设备（或处理单元）。此外，可以将上述配置以外的配置添加到每个设备（或处理单元）的配置。此外，如果作为整体系统的配置和操作基本上相同，则特定设备（或处理单元）的配置的一部分可以包括在另一设备（或处理单元）的配置中。简言之，本技术的实施例不限于上述实施例，而是可以在不偏离本技术的精神的情况下进行各种修改。

例如，上述图像编码装置100和图像解码装置200可以应用于任意电子设备。后面将给出对示例的描述。

<4.第四实施例>

[电视接收器]

图24是图示使用图像解码装置200的电视接收器的主要配置示例的框图。

图24中所示的电视接收器1000包括地面调谐器1013、视频解码器1015、视频信号处理电路1018、图形生成电路1019、面板驱动电路1020和显示面板1021。

地面调谐器1013在经由天线接收之后对模拟地面广播的广播波信号进行解调，获取视频信号，并且将视频信号提供给视频解码器1015。视频解码器1015对从地面调谐器1013提供的视频信号执行解码处理，并且将获得的数字分量信号提供给视频信号处理电路1018。

视频信号处理电路1018对从视频解码器1015提供的视频数据执行诸如噪声去除的预定处理，并且将获得的视频数据提供给图形生成电路1019。

图形生成电路1019生成将显示在显示面板1021上的节目的视频数据，经由网络提供的、由基于应用的处理得到的图像数据等，并且将生成的视频数据和图像数据提供给面板驱动电路1020。此外，图形生成电路1019适当地执行如下处理：诸如生成用于显示用户选择项目使用的屏幕的视频数据（图形），并且将通过使所生成的视频数据叠加在节目的视频数据上而获得的视频数据提供给面板驱动电路1020等。

面板驱动电路1020基于从图形生成电路1019提供的数据来驱动显示面板1021，并且在显示面板1021上显示节目的视频以及上述各种屏幕。

显示面板1021由LCD（液晶显示器）等形成，并且根据面板驱动电路1020的控制显示节目的视频等。

此外，电视接收器1000还包括音频A/D（模拟/数字）转换电路1014、音频信号处理电路1022、回声消除/音频合成电路1023、音频放大电路1024和扬声器1025。

地面调谐器1013通过接收到的广播波信号解调，不仅获取视频信号，还获取音频信号。地面调谐器1013将获取的音频信号提供给音频A/D转换电路1014。

音频A/D转换电路1014对从地面调谐器1013提供的音频信号执行A/D转换处理，并且将获得的数字音频信号提供给音频信号处理电路1022。

音频信号处理电路1022对从音频A/D转换电路1014提供的音频数据执行诸如噪声去除的预定处理，并且将获得的音频数据提供给回声消除/音频合成电路1023。

回声消除/音频合成电路1023将从音频信号处理电路1022提供的音频数据提供给音频放大电路1024。

音频放大电路1024对从回声消除/音频合成电路1023提供的音频数据执行D/A转换处理和放大处理，并且在将音频调整到预定音量之后从扬声器1025输出音频。

此外，电视接收器1000还包括数字调谐器1016和MPEG解码器1017。

数字调谐器1016在经由天线接收之后对数字广播（数字地面广播和BS（广播卫星）/CS（通信卫星）数字广播）的广播波信号进行解调，获取MPEG-TS（运动图片专家组-输送流），并且将其提供给MPEG解码器1017。

MPEG解码器1017对从数字调谐器1016提供的MPEG-TS进行解扰，并且提取包含作为播放目标（观看目标）的节目的数据的流。MPEG解码器1017对构成所提取的流的音频分组进行解码以将获得的音频数据提供给音频信号处理电路1022，并且还对构成流的视频分组进行解码以将获得的视频数据提供给视频信号处理电路1018。此外，MPEG解码器1017经由未示出的路径将从MPEG-TS提取的EPG（电子节目指南）数据提供给CPU 1032。

电视接收器1000使用上述图像解码装置200作为以该方式对视频分组进行解码的MPEG解码器1017。从广播站等传送的MPEG-TS被图像编码装置100编码。

与图像解码装置200的情况相似，MPEG解码器1017通过使用从广播站（图像编码装置100）提供的编码数据提取的宏块尺寸信息、标志信息等来决定宏块在水平方向上的尺寸，并且通过使用该设定执行帧间编码。因此，MPEG解码器能够进一步在抑制负荷增加的同时提高编码效率。

与从视频解码器1015提供的视频数据的情况相似，在视频信号处理电路1018中对从MPEG解码器1017提供的视频数据执行预定处理，并且所生成的视频数据等在图形生成电路1019中被适当地叠加以经由面板驱动电路1020提供给显示面板1021用于图像显示。

与从音频A/D转换电路1014提供的音频数据的情况相似，在音频信号处理电路1022中对从MPEG解码器1017提供的音频数据执行预定处理，该音频数据经由回声消除/音频合成电路1023被提供给音频放大电路1024用于D/A转换处理和放大处理。作为结果，从扬声器1025输出被调整到预定音量的。

此外，电视接收器1000还包括麦克风1026和A/D转换电路1027。

A/D转换电路1027接收由提供给电视接收器1000的麦克风1026捕获的用于语音交谈的用户语音，对接收到的音频信号执行A/D转换处理，并且将获得的数字音频数据提供给回声消除/音频合成电路1023。

如果从A/D转换电路1027提供了电视接收器1000的用户（用户A）的语音数据，则回声消除/音频合成电路1023经由音频放大电路1024从扬声器1025输出通过对用户A的音频数据进行回声消除以与另外的音频数据合成而获得的音频数据等。

此外，电视接收器1000还包括音频编解码器1028、内部总线1029、SDRAM（同步动态随机存取存储器）1030、闪速存储器1031、CPU 1032、USB（通用串行总线）I/F 1033和网络I/F 1034。

A/D转换电路1027接收由提供给电视接收器1000的麦克风1026捕获的用于语音交谈的用户语音，对接收到的音频信号执行A/D转换处理，并且将获得的数字音频数据提供给音频编解码器1028。

音频编解码器1028将从A/D转换电路1027提供的音频数据转换成用于经由网络传送的预定格式的数据，以经由内部总线1029将该数据提供给网络I/F 1034。

网络I/F 1034经由安装在网络端子1035上的线缆连接到网络。例如，网络I/F 1034将从音频编解码器1028提供的音频数据传送到例如连接到网络的另一设备。此外，网络I/F 1034例如经由网络端子1035接收从经由网络连接的另一设备传送的音频数据，并且经由内部总线1029将该数据提供给音频编解码器1028。

音频编解码器1028将从网络I/F 1034提供的音频数据转换成预定格式的数据，并且将该数据提供给回声消除/音频合成电路1023。

回声消除/音频合成电路1023经由音频放大电路1024从扬声器1025输出通过对从音频编解码器1028提供的音频数据进行回声消除以与另外的音频数据合成而获得的音频数据等。

SDRAM 1030存储CPU 1032执行处理所需的各种数据。

闪速存储器1031存储由CPU 1032执行的程序。CPU 1032在诸如电视接收器1000启动时的预定的定时，读出闪速存储器1031中存储的程序。闪速存储器1031还存储经由数字广播获取的EPG数据、经由网络从预定服务器获取的数据等。

例如，在闪速存储器1031中存储包括通过CPU 1032的控制经由网络从预定服务器获取的内容数据的MPEG-TS。例如，闪速存储器1031通过CPU 1032的控制经由内部总线1029将MPEG-TS提供给MPEG解码器1017。

与从数字调谐器1016提供的MPEG-TS的情况相似，MPEG解码器1017对MPEG-TS进行处理。通过该方式，电视接收器1000可以在经由网络接收包括视频和音频的内容数据之后，通过使用MPEG解码器1017对该内容数据进行解码，并且显示视频并且输出音频。

此外，电视接收器1000还包括光接收单元1037，其接收从遥控器1051传送的红外信号。

光接收单元1037从遥控器1051接收红外辐射，并且向CPU 1032输出通过解调获得的表示用户操作的内容的控制码。

CPU 1032执行闪速存储器1031中存储的程序，并且根据从光接收单元1037提供的控制码等控制电视接收器1000的整体操作。CPU 1032经由未示出的路径连接到电视接收器1000的各部件。

USB I/F 1033向经由安装在USB端子1036上的USB线缆连接的电视接收器1000的外部设备传送数据并且从其接收数据。网络I/F 1034经由安装在网络端子1035上的线缆连接到网络，并且向连接到网络的各种设备传送除音频数据以外的数据并且从其接收除音频数据以外的数据。

电视接收器1000使用图像解码装置200作为MPEG解码器1017，使得可以在抑制负荷增加的同时提高将经由天线接收的广播波信号和将经由网络获取的内容数据的编码效率，并且以较低的成本实现实时处理。

<5.第五实施例>

[移动电话]

图25是图示使用图像编码装置100和图像解码装置200的移动电话的主要配置示例的框图。

图25中所示的移动电话1100包括总体上控制每个单元的主控制单元1150、电源电路单元1151、操作输入控制单元1152、图像编码器1153、摄像装置I/F单元1154、LCD控制单元1155、图像解码器1156、复用/解复用单元1157、记录/播放单元1162、调制/解调电路单元1158和音频编解码器1159。这些部件经由总线1160彼此连接。

此外，移动电话1100包括操作键1119、CCD（电荷耦合器件）摄像装置1116、液晶显示器1118、存储单元1123、传送/接收电路单元1163、天线1114、麦克风（mic）1121和扬声器1117。

如果呼叫结束并且通过用户操作接通电源键，则电源电路单元1151从电池组向各部件供电，以使移动电话1100开始操作状态。

移动电话1100基于由CPU、ROM、RAM等构成的主控制单元1150的控制，在诸如语音通信模式和数据通信模式的各种模式中，执行诸如音频信号的传送/接收、电子邮件和图像数据的传送/接收、图像拍摄、或者数据记录的各种操作。

例如，在语音通信模式中，移动电话1100通过音频编解码器1159将麦克风（mic）1121收集的音频信号转换成数字音频数据，在调制/解调电路单元1158中对该数据执行扩频处理，并且在传送/接收电路单元1163处对其执行数字-模拟转换处理和频率转换处理。移动电话1100经由天线1114将通过转换处理获得的传送信号传送到未示出的基站。传输到基站的传送信号（音频信号）经由公共交换电话网络被提供给在线路的另一端的对方的移动电话。

此外，例如，在语音通信模式中，移动电话1100对在传送/接收电路单元1163处通过天线1114接收到的信号进行放大，进一步执行频率转换处理和模拟-数字转换处理，在调制/解调电路单元1158处执行逆扩频处理，并且通过音频编解码器1159将信号转换成模拟音频信号。移动电话1100从扬声器1117输出通过转换处理获得的模拟音频信号。

此外，例如，如果在数据通信模式中传送电子邮件，则移动电话1100接受在操作输入控制单元1152处通过操作键1119的操作而输入的电子邮件的文本数据。移动电话1100在主控制单元1150处处理文本数据，并且经由LCD控制单元1155将文本数据作为图像显示在液晶显示器1118上。

此外，移动电话1100基于操作输入控制单元1152接受的文本数据、用户指令等，在主控制单元1150处生成电子邮件数据。移动电话1100在调制/解调电路单元1158处对电子邮件数据执行扩频处理，并且在传送/接收电路单元1163处执行数字-模拟转换处理和频率转换处理。移动电话1100经由天线1114将通过转换处理获得的传送信号传送到未示出的基站。传送到基站的传送信号（电子邮件）经由网络、邮件服务器等被提供给预定目标。

此外，例如，如果在数据通信模式中接收电子邮件，则移动电话1100在经由天线1114在传送/接收电路单元1163处接收之后，对从基站传送的信号进行放大，以进一步对其执行频率转换处理和模拟-数字转换处理。移动电话1100在调制/解调电路单元1158处对接收信号执行逆扩频处理以重建原始电子邮件数据。移动电话1100经由LCD控制单元1155在液晶显示器1118上显示重建的电子邮件数据。

移动电话1100还可以经由记录/播放单元1162将接收到的电子邮件数据记录（存储）在存储单元1123中。

该存储单元1123是任意的可重写存储介质。存储单元1123可以是例如，诸如RAM或内部闪速存储器的半导体存储器，硬盘，或者诸如磁盘、磁-光盘、光盘、USB存储器或存储器卡的可移除介质，并且无疑地存储单元1123可以是这些介质以外的介质。

此外，例如，如果在数据通信模式中传送图像数据，则移动电话1100利用CCD摄像装置1116通过拍摄来生成图像数据。CCD摄像装置1116包括诸如透镜和光圈的光学器件，以及作为光电转换元件的CCD，并且对物体进行拍摄，将接收到的光的强度转换成电信号，并且生成物体的图像的图像数据。CCD摄像装置1116经由摄像装置I/F单元1154通过图像编码器1153对图像数据进行编码以转换成编码图像数据。

移动电话1100使用上述图像编码装置100作为执行该处理的图像编码器1153。与图像编码装置100的情况相似，在固定宏块在竖直方向上的尺寸时，图像编码器1153根据各种参数设定宏块在水平方向上的尺寸。通过利用使用以该方式设定的宏块而生成的预测图像来对图像数据进行编码，使图像编码器1153能够进一步在抑制负荷增加的同时提高编码效率。

同时，在利用CCD摄像装置1116进行拍摄时，移动电话1100在音频编解码器1159处对麦克风1121收集的音频执行模拟-数字转换用于进一步编码。

移动电话1100按预定方案在复用/解复用单元1157处复用从图像编码器1153提供的编码图像数据以及从音频编解码器1159提供的数字音频数据。移动电话1100在调制/解调电路单元1158处对作为结果而获得的复用数据执行扩频处理，并且在传送/接收电路单元1163处执行数字-模拟转换处理和频率转换处理。移动电话1100经由天线1114将通过转换处理获得的传送信号传送到未示出的基站。传输到基站的传送信号（图像数据）经由网络等被提供给在线路的另一端的对方。

如果未传送图像数据，则移动电话1100可以经由LCD控制单元1155而非经由图像编码器1153在液晶显示器1118上显示由CCD摄像装置1116生成的图像数据。

此外，例如，如果在数据通信模式中接收链接到简化主页等的运动图像文件的数据，则移动电话1100在经由天线1114在传送/接收电路单元1163处接收之后，对从基站传送的信号进行放大，以进一步对其执行频率转换处理和模拟-数字转换处理。移动电话1100在调制/解调电路单元1158处对接收到的信号执行历逆扩频处理以重建原始复用数据。移动电话1100在复用/解复用单元1157处对复用数据进行解复用以将数据划分成编码图像数据和音频数据。

移动电话1100在图像解码器1156处对编码图像数据进行解码以生成播放运动图像数据，并且经由LCD控制单元1155将该数据显示在液晶显示器1118上。因此，例如。链接到简化主页的运动图像文件中包括的运动图像数据被显示在液晶显示器1118上。

移动电话1100使用上述图像解码装置200作为执行该处理的图像解码器1156。简言之，与图像解码装置200的情况相似，图像解码器1156通过使用已在从另一设备的图像编码器1153提供的编码数据中提取的宏块尺寸信息、标志信息等，决定宏块在水平方向上的尺寸，并且通过使用该设定来执行帧间编码。因此，图像解码器1156能够进一步在抑制负荷增加的同时提高编码效率。

此时，移动电话1100同时在音频编解码器1159处将数字音频数据转换成模拟音频信号并且从扬声器1117输出该信号。因此，例如，播放链接到简化主页的运动图像文件中包括的音频数据。

此外，与电子邮件的情况相似，移动电话1100还可以经由记录/播放单元1162将接收到的链接到简化主页等的数据记录（存储）在存储单元1123中。

此外，移动电话1100可以在主控制单元1150处分析通过CCD摄像装置1116拍摄并获得的二维码以获取二维码中记录的信息。

此外，移动电话1100可以利用红外通信单元1181通过红外线与外部设备通信。

移动电话1100使用图像编码装置100作为图像编码器1153使得移动电话1100能够在抑制负荷增加的同时提高例如当编码并传送CCD摄像装置1116中生成的图像数据时的编码效率，并且以较低的成本实现实时处理。

此外，移动电话1100使用图像解码装置200作为图像解码器1156使得移动电话110能够在抑制负荷增加的同时提高例如链接到简化主页的运动图像文件等的数据（编码数据）的编码效率，从而以较低的成本实现实时处理。

在上文中移动电话1100被描述为使用CCD摄像装置1116，但是移动电话1100可以采用使用CMOS（互补金属氧化物半导体）的图像传感器（CMOS图像传感器）替代CCD摄像装置1116。再者，在该情况下，与使用CCD摄像装置1116的情况相似，移动电话1100可以对物体进行拍摄并且生成物体的图像的图像数据。

此外，在上文中给出了关于移动电话1100的描述；然而，与移动电话1100的情况相似，图像编码装置100和图像解码装置200可以应用于任何设备，只要这些设备具有与移动电话1100相似的拍摄功能和通信功能即可，例如PDA（个人数字助理）、智能电话、UMPC（超级移动个人计算机）、上网本和笔记型个人计算机。

<6.第六实施例>

[硬盘记录器]

图26是图示使用图像编码装置100和图像解码装置200的硬盘记录器的主要配置示例的框图。

图26中所示的硬盘记录器（HDD记录器）1200是如下设备：其在集成硬盘中保存作为由调谐器接收的信号的、从卫星、地面天线等传送的广播波信号（电视信号）中包括的广播节目的音频数据和视频数据，并且在根据用户指令的定时处向用户提高所保存的数据。

例如，硬盘记录器1200从广播波信号提取音频数据和视频数据，并且适当地对数据进行解码以将数据存储在集成硬盘中。此外，例如，硬盘记录器1200还可以经由网络从其他装置获取音频数据和视频数据，适当地对数据进行解码，并且将数据存储在集成硬盘中。

此外，例如，硬盘记录器1200可以对集成硬盘中记录的音频数据和视频数据进行解码以将数据提供给监视器1260，在监视器1260的屏幕上显示图像，并且从监视器1260的扬声器输出音频。此外，例如，硬盘记录器1200还可以对从经由调谐器获取的广播波信号提取的音频数据和视频数据，或者经由网络从其他设备获取的音频数据和视频数据进行解码，以将数据提供给监视器1260，在监视器1260的屏幕上显示图像并且从监视器1260的扬声器输出音频。

无疑地，除这些操作以外的其他操作也是可能的。

如图26中所示，硬盘记录器1200包括接收单元1221、解调单元1222、解复用器1223、音频解码器1224、视频解码器1225和记录器控制单元1226。硬盘记录器1200进一步包括EPG数据存储器1227、程序存储器1228、工作存储器1229、显示转换器1230、OSD（屏幕上显示）控制单元1231、显示控制单元1232、记录/播放单元1233、D/A转换器1234和通信单元1235。

此外，显示转换器1230包括视频编码器1241。记录/播放单元1233包括编码器1251和解码器1252。

接收单元1221从遥控器（未示出）接收红外信号并且将红外信号转换成电信号以输出到记录器控制单元1226。记录器控制单元1226由例如微处理器等构成，并且根据程序存储器1228中存储的程序执行各种处理。此时，记录器控制单元1226按照需要使用工作存储器1229。

通信单元1235连接到网络并且经由网络执行与另外的设备的通信处理。例如，通信单元1235由记录器控制单元1226控制，与调谐器（未示出）通信，并且主要向调谐器输出台选择控制信号。

解调单元1222对从调谐器提供的信号进行解调以将信号输出到解复用器1223。解复用器1223将从解调单元1222提供的数据解复用成音频数据、视频数据和EPG数据以将音频数据、视频数据和EPG数据分别输出到音频解码器1224、视频解码器1225和记录器控制单元1226。

音频解码器1224对输入的音频数据进行解码以将音频数据输出到记录/播放单元1233。视频解码器1225对输入的视频数据进行解码以将视频数据输出到显示转换器1230。记录器控制单元1226将输入的EPG数据提供给EPG数据存储器1227并且存储在其中。

显示转换器1230通过视频编码器1241将从视频解码器1225或记录器控制单元1226提供的视频数据编码成例如NTSC（美国电视标准委员会）格式的视频数据以将数据输出到记录/播放单元1233。此外，显示转换器1230将从视频解码器1225或记录器控制单元1226提供的视频数据的显示尺寸转换成与监视器1260的尺寸对应的尺寸，并且通过视频编码器1241将视频数据转换成NTSC格式的视频数据以将其转换成模拟信号，并且将其输出到显示控制单元1232。

显示控制单元1232在记录器控制单元1226的控制下，将从OSD（屏幕上显示）控制单元1231输出的OSD信号叠加在从显示转换器1230输入的视频信号上以将信号输出到监视器1260的显示器用于显示。

还向监视器1260提供D/A转换器1234从音频解码器1224输出的音频数据转换的模拟信号。监视器1260从扬声器输出该音频信号。

记录/播放单元1233包括作为记录视频数据、音频数据等的记录介质的硬盘。

例如，记录/播放单元1233通过编码器1251对从音频解码器1224提供的音频数据进行编码。此外，记录/播放单元1233还通过编码器1251对从显示转换器1230的视频编码器1241提供的视频数据进行编码。记录/播放单元1233通过复用器来合成音频数据的编码数据和视频数据的编码数据。记录/播放单元1233通过信道编码对合成数据进行放大，并且经由记录头将数据写在硬盘上。

记录/播放单元1233经由播放头播放硬盘中记录的数据，并且对数据进行放大以通过解复用器将数据解复用成音频数据和视频数据。记录/播放单元1233通过解码器1252对音频数据和视频数据进行解码。记录/播放单元1233对解码的音频数据执行D/A转换以将数据输出到监视器1260的扬声器。此外，记录/播放单元1233对解码的视频数据执行D/A转换以将数据输出到监视器1260的显示器。

记录器控制单元1226基于经由接收单元1221接收的、来自遥控器的红外信号所表示的用户指令，从EPG数据存储器1227读出最新的EPG数据，并且将EPG数据提供给OSD控制单元1231。OSD控制单元1231创建与输入EPG数据对应的图像数据以将数据输出到显示控制单元1232。显示控制单元1232将OSD控制单元1231输入的视频数据输出到监视器1260的显示器用于显示。因此，EPG（电子节目指南）显示在监视器1260的显示器上。

此外，硬盘记录器1200可以经由诸如互联网的网络，获取从另外的设备提供的诸如视频数据、音频数据或EPG数据的各种数据。

通信单元1235由记录器控制单元1226控制，经由网络获取从另外的设备传送的诸如视频数据、音频数据、EPG数据等的编码数据，以提供给记录器控制单元1226。记录器控制单元1226将例如获取的视频数据和音频数据的编码数据提供给记录/播放单元1233以存储在硬盘中。此时，记录器控制单元1226和记录/播放单元1233可以按照需要执行诸如重新编码的处理。

此外，记录器控制单元1226对获取的视频数据和音频数据的编码数据进行解码，并且将获得的视频数据提供给显示转换器1230。与从视频解码器1225提供的视频数据相似，显示转换器1230处理从记录器控制单元1226提供的视频数据以经由显示控制单元1232将其提供给监视器1260，并且显示图像。

此外，与图像显示相符，记录器控制单元1226可以经由D/A转换器1234向监视器1260提供解码的音频数据以从扬声器输出音频。

此外，记录器控制单元1226对获取的EPG数据的编码数据进行解码，并且将解码的EPG数据提供给EPG数据存储器1227。

上述硬盘记录器1200使用图像解码装置200作为集成在视频解码器1225、解码器1252以及记录器控制单元1226中的解码器。简言之，与图像解码装置200的情况相似，集成在视频解码器1225、解码器1252以及记录器控制单元1226中的解码器通过使用从图像编码装置100提供的编码数据中提取的宏块尺寸信息、标志信息等来决定宏块在水平方向上的尺寸，并且通过使用该设定执行帧间编码。因此，集成在视频解码器1225、解码器1252以及记录器控制单元1226中的解码器可以进一步在抑制负荷增加的同时提高编码效率。

因此，硬盘记录器1200可以在抑制负荷增加的同时提高例如调谐器和通信单元1235接收的视频数据（编码数据）以及记录/播放单元1233播放的视频数据（编码数据）的编码效率，并且以较低的成本实现实时处理。

此外，硬盘记录器1200使用图像编码装置100作为编码器1251。因此，与图像编码装置100的情况相似，在固定宏块在竖直方向上的尺寸时，编码器1251根据各种参数设定宏块在水平方向上的尺寸。通过采用使用以该方式设定的宏块而生成的预测图像的图像数据编码使得编码器1251能够进一步在抑制负荷增加的同时提高编码效率。

因此，硬盘记录器1200可以进一步在抑制负荷增加的同时提高例如记录在硬盘中的编码数据的编码效率，并且以较低的成本实现实时处理。

在上文中给出了对将视频数据和音频数据记录在硬盘中的硬盘记录器1200的描述；然而，无疑地，记录介质可以是任何类型。与上述硬盘记录器1200的情况相似，图像编码装置100和图像解码装置200甚至可以应用于使用除了硬盘以外的记录介质，诸如闪速存储器、光盘或录像带的记录介质的记录器。

<7.第七实施例>

[摄像装置]

图25是图示使用图像编码装置100和图像解码装置200的摄像装置的主要配置示例的框图。

图25中所示的摄像装置1300对物体进行拍摄，将物体的图像显示在LCD 1316上，并且将图像作为图像数据记录在记录介质1333中。

透镜模块1311使光（换言之，物体的照片）入射在CCD/CMOS 1312上。CCD/CMOS 1312是使用CCD或CMOS的图像传感器，将接收到的光的强度转换成电信号以将其提供给摄像装置信号处理单元1313。

摄像装置信号处理单元1313将从CCD/CMOS 1312提供的电信号转换成Y、Cr和Cb的色度信号以将其提供给图像信号处理单元1314。在控制器1321的控制下，图像信号处理单元1314对从摄像装置信号处理单元1313提供的图像信号执行预定的图像处理并且通过编码器1341对图像信号进行编码。图像信号处理单元1314将通过对图像信号进行编码生成的编码数据提供给解码器1315。此外，图像信号处理单元1314获取在屏幕上显示（OSD）1320中生成的显示数据，并且将该数据提供给解码器1315。

在以上处理中，摄像装置信号处理单元1313适当地使用经由总线1317连接的DRAM（动态随机存取存储器）1318，并且按照需要使DRAM1318保存图像数据、其中图像数据被编码的编码数据等。

解码器1315对从图像信号处理单元1314提供的编码数据进行解码，并且将获得的图像数据（解码的图像数据）提供给LCD 1316。此外，解码器1315将从图像信号处理单元1314提供的显示数据提供给LCD 1316。LCD 1316适当地合成从解码器1315提供的解码的图像数据的图像以及显示数据的图像，并且显示合成图像。

屏幕上显示1320在控制器1321的控制下，经由总线1317向图像信号处理单元1314输出关于诸如由符号、字符或图形以及图标形成的菜单屏幕的显示数据。

控制器1321基于指示用户使用操作单元1222给出的命令的内容的信号，执行各种处理，并且经由总线1317控制图像信号处理单元1314、DRAM 1318、外部接口1319、屏幕上显示1320、介质驱动器1323等。闪速ROM 1324中存储控制器1321执行各种操作所需的程序、数据等。

例如，控制器1321可以对DRAM 1318中存储的图像数据进行编码并且对DRAM 1318中存储的编码数据进行解码，而不是由图像信号处理单元1314和解码器1315进行这些操作。此时，控制器1321可以根据与图像信号处理单元1314和解码器1315的编码和解码方案相似的方案来执行编码和解码处理，或者可以根据图像信号处理单元1314和解码器1315不遵从的方案来执行编码和解码处理。

此外，例如，如果从操作单元1322给出开始打印图像的指令，则控制器1321从DRAM 1318读出图像数据，并且经由总线1317将图像数据提供给连接到外部接口1319的打印机1334用于打印。

此外，例如，如果从操作单元1322给出记录图像的指令，则控制器1321从DRAM 1318读出编码数据，并且经由总线1317将编码数据提供给安装在介质驱动器1323上的记录介质1333用于存储。

记录介质1333是任意的可读和可写的可移除介质，诸如磁盘、磁-光盘、光盘或半导体存储器。无疑地，作为可移除介质的记录介质1333的类型也是任意的，并且可以是磁带设备、盘片或存储器卡，并且无疑地，记录介质1333可以是非接触IC卡等。

此外，介质驱动器1323和记录介质1333可以彼此集成以由诸如集成的硬盘驱动器或SSD（固态驱动器）的不可运输的记录介质形成。

外部接口1319由例如USB输入/输出端子构成，并且在将打印图像的情况下连接到打印机1334。此外，外部接口1319按照需要连接到驱动器1331以适当地安装诸如磁盘、光盘或磁-光盘的可移除介质1332，并且从中读出的计算机程序按照需要安装在闪速ROM 1324中。

此外，外部接口1319包括连接到诸如LAN或互联网的预定网络的网络接口。例如，控制器1321根据操作单元1322的指令，从DRAM 1318读出编码数据，以将数据提供给从外部接口1319经由网络连接的另外的设备。此外，控制器1321可以经由外部接口1319获取从另外的设备经由网络提供的编码数据和图像数据，以使DRAM 1318保存该数据或者将该数据提供给图像信号处理单元1314。

上述摄像装置1300使用图像解码装置200作为解码器1315。简言之，与图像解码装置200的情况相似，解码器1315通过使用从图像编码装置100提供的编码数据中提取的宏块尺寸信息、标志信息等来决定宏块在水平方向上的尺寸，并且通过使用该设定来执行帧间编码。因此，解码器1315可以进一步在抑制负荷增加的同时提高编码效率。

因此，摄像装置1300可以进一步在抑制负荷增加的同时提高例如在CCD/CMOS 1312中生成的图像数据、从DRAM 1318或记录介质1333读出的视频数据的编码数据以及经由网络获取的视频数据的编码数据的编码效率，从而以较低的成本实现实时处理。

此外，摄像装置1300使用图像编码装置100作为编码器1341。与图像编码装置100的情况相似，在固定宏块在竖直方向上的尺寸时，编码器1341根据各种参数使得宏块在竖直方向上的尺寸。通过利用使用以该方式设定的宏块而生成的预测图像来对图像数据进行编码，使编码器1341能够进一步在抑制负荷增加的同时提高编码效率。

因此，摄像装置1300可以进一步在抑制负荷增加的同时提高例如DRAM 1318和记录介质1333中存储的编码数据以及提供给另外的设备的编码数据的编码效率，从而以较低的成本实现实时处理。

图像解码装置200的解码方法可以应用于控制器1321执行的解码处理。相似地，图像编码装置100的编码方法可以应用于控制器1321执行的编码处理。

此外，摄像装置1300拍摄的图像数据可以是运动图像或者静止图像。

无疑地，图像编码装置100和图像解码装置200可以应用于除上述设备以外的设备和系统。

本技术可以采取如下配置：

（1）一种图像处理装置，包括：

区域设定单元，用于将对图像编码时作为处理单位的部分区域在竖直方向上的尺寸设定为固定值，并且根据所述图像的参数值设定所述部分区域在水平方向上的尺寸；

预测图像生成单元，用于使用由所述区域设定单元设定为处理单位的所述部分区域来生成预测图像；以及

编码单元，用于使用所述预测图像生成单元生成的预测图像来对所述图像编码。

（2）根据（1）所述的图像处理装置，其中

所述图像的参数是所述图像的尺寸，以及

所述图像的尺寸越大，则所述区域设定单元所设定的所述部分区域在水平方向上的尺寸就越大。

（3）根据（1）和（2）中任一项所述的图像处理装置，其中

所述图像的参数是对所述图像编码时的位率，以及

所述位率越低，则所述区域设定单元所设定的所述部分区域在水平方向上的尺寸就越大。

（4）根据（1）至（3）中任一项所述的图像处理装置，其中

所述图像的参数是所述图像的运动，以及

所述图像的运动越小，则所述区域设定单元所设定的所述部分区域在水平方向上的尺寸就越大。

（5）根据（1）至（4）中任一项所述的图像处理装置，其中

所述图像的参数是所述图像中的同一纹理的范围，以及

所述图像中的同一纹理的范围越大，则所述区域设定单元所设定的所述部分区域在水平方向上的尺寸就越大。

（6）根据（1）至（5）中任一项所述的图像处理装置，其中所述区域设定单元将编码标准中指定的尺寸设定为所述固定值。

（7）根据（6）所述的图像处理装置，其中

所述编码标准是AVC（高级视频编码）/H.264标准，并且

所述区域设定单元将所述部分区域在竖直方向上的尺寸设定为16个像素的固定值。

（8）根据（1）至（7）中任一项所述的图像处理装置，进一步包括划分数目设定单元，用于设定其中水平方向上的尺寸由所述区域设定单元设定的所述部分区域的划分数目。

（9）根据（1）至（8）中任一项所述的图像处理装置，进一步包括特征值提取单元，用于从所述图像提取特征值，

其中所述区域设定单元根据所述图像的特征值中包括的参数值来设定所述部分区域在水平方向上的尺寸，所述特征值由所述特征值提取单元提取。

（10）根据（1）至（9）中任一项所述的图像处理装置，其中

所述预测图像生成单元执行帧间预测和运动补偿以生成所述预测图像，以及

所述编码单元使用由所述区域设定单元设定为处理单位的所述部分区域来对所述图像和由所述预测图像生成单元生成的预测图像之间的差值进行编码以生成位流。

（11）根据（1）至（10）中任一项所述的图像处理装置，其中所述编码单元传送所述位流以及示出所述区域设定单元设定的所述部分区域在水平方向上的尺寸的信息。

（12）根据（1）至（11）中任一项所述的图像处理装置，进一步包括重复信息生成单元，用于生成重复信息，所述重复信息示出作为在水平方向上排列的部分区域集合的部分区域行中的每个部分区域在水平方向上的尺寸，即由所述区域设定单元设定的尺寸，是否与紧邻所述部分区域行上方的部分区域行中的每个部分区域在水平方向上的尺寸相同，

其中所述编码单元传送所述位流以及由所述重复信息生成单元生成的所述重复信息。

（13）根据（1）至（12）中任一项所述的图像处理装置，进一步包括固定信息生成单元，用于生成固定信息，所述固定信息示出作为在水平方向上排列的部分区域集合的部分区域行中的每个部分区域在水平方向上的尺寸，即由所述区域设定单元设定的尺寸，是否彼此相同，

其中所述编码单元传送所述位流以及由所述固定信息生成单元生成的所述固定信息。

（14）一种图像处理装置的图像处理方法，包括：

区域设定单元将对图像编码时作为处理单位的部分区域在竖直方向上的尺寸设定为固定值，并且根据所述图像的参数值设定所述部分区域在水平方向上的尺寸；

预测图像生成单元使用设定为处理单位的所述部分区域来生成预测图像；以及

编码单元使用所生成的预测图像来对所述图像编码。

（15）一种图像处理装置，包括：

解码单元，用于对其中编码有图像的位流进行解码；

区域设定单元，用于基于由所述解码单元获得的信息，将作为所述图像的处理单位的部分区域在竖直方向上的尺寸设定为固定值，并且根据所述图像的参数值设定所述部分区域在水平方向上的尺寸；以及

预测图像生成单元，用于使用由所述区域设定单元设定为处理单位的所述部分区域来生成预测图像。

（16）根据（15）所述的图像处理装置，其中

所述解码单元通过对所述位流解码，获得所述图像和根据所述图像生成的预测图像之间的差图像，所述图像将所述部分区域用作处理单位，以及

所述预测图像生成单元通过执行帧间预测和运动补偿来生成所述预测图像并且使所述预测图像与所述差图像相加。

（17）根据（15）和（16）中任一项所述的图像处理装置，其中

所述解码单元获取所述位流以及示出所述部分区域在水平方向上的尺寸的信息，以及

所述区域设定单元基于所述信息设定所述部分区域在水平方向上的尺寸。

（18）根据（15）至（17）中任一项所述的图像处理装置，其中

所述解码单元获取所述位流以及重复信息，所述重复信息示出作为在水平方向上排列的部分区域集合的部分区域行中的每个部分区域在水平方向上的尺寸是否与紧邻所述部分区域行上方的部分区域行中的每个部分区域在水平方向上的尺寸相同，以及

当在所述部分区域行和紧邻所述部分区域行上方的部分区域行中的每个部分区域在水平方向上的尺寸相同时，基于所述重复信息，所述区域设定单元将所述部分区域在水平方向上的尺寸设定为与紧邻其上方的部分区域在水平方向上的尺寸相同。

（19）根据（15）至（18）中任一项所述的图像处理装置，其中

所述解码单元获取所述位流以及固定信息，所述固定信息示出作为在水平方向上排列的部分区域集合的部分区域行中的每个部分区域在水平方向上的尺寸是否彼此相同，以及

当在所述部分区域行中的部分区域行中的每个部分区域在水平方向上的尺寸相同时，基于所述固定信息，所述区域设定单元将所述部分区域行中的每个部分区域在水平方向上的尺寸设定为共同值。

（20）一种图像处理装置的图像处理方法，包括：

解码单元对其中编码有图像的位流进行解码；

区域设定单元基于所获得的信息，将作为所述图像的处理单位的部分区域在竖直方向上的尺寸设定为固定值，并且根据所述图像的参数值设定所述部分区域在水平方向上的尺寸；以及

预测图像生成单元使用设定为处理单位的所述部分区域来生成预测图像。

附图标记列表

100图像编码装置

115运动预测/补偿单元

121特征值提取单元

122宏块设定单元

123标志生成单元

161运动预测单元

162运动补偿单元

171参数确定单元

172尺寸决定单元

173划分数目决定单元

181重复标志生成单元

182固定标志生成单元

200图像解码装置

202无损解码单元

212运动预测/补偿单元

221宏块设定单元

261运动预测单元

262运动补偿单元

271标志确定单元

272尺寸决定单元

273划分数目决定单元

Claims (20)

1.一种图像处理装置，包括：

区域设定单元，用于将对图像编码时作为处理单位的部分区域在竖直方向上的尺寸设定为固定值，并且根据所述图像的参数值设定所述部分区域在水平方向上的尺寸；

预测图像生成单元，用于使用由所述区域设定单元设定为处理单位的所述部分区域来生成预测图像；以及

编码单元，用于使用所述预测图像生成单元生成的预测图像来对所述图像编码。

2.根据权利要求1所述的图像处理装置，其中

所述图像的参数是所述图像的尺寸，以及

所述图像的尺寸越大，则所述区域设定单元所设定的所述部分区域在水平方向上的尺寸就越大。

3.根据权利要求1所述的图像处理装置，其中

所述图像的参数是对所述图像编码时的位率，以及

所述位率越低，则所述区域设定单元所设定的所述部分区域在水平方向上的尺寸就越大。

4.根据权利要求1所述的图像处理装置，其中

所述图像的参数是所述图像的运动，以及

所述图像的运动越小，则所述区域设定单元所设定的所述部分区域在水平方向上的尺寸就越大。

5.根据权利要求1所述的图像处理装置，其中

所述图像的参数是所述图像中的同一纹理的范围，以及

所述图像中的同一纹理的范围越大，则所述区域设定单元所设定的所述部分区域在水平方向上的尺寸就越大。

6.根据权利要求1所述的图像处理装置，其中所述区域设定单元将编码标准中指定的尺寸设定为所述固定值。

7.根据权利要求6所述的图像处理装置，其中

所述编码标准是高级视频编码AVC/H.264标准，并且

所述区域设定单元将所述部分区域在竖直方向上的尺寸设定为16个像素的固定值。

8.根据权利要求1所述的图像处理装置，进一步包括划分数目设定单元，用于设定其中水平方向上的尺寸由所述区域设定单元设定的所述部分区域的划分数目。

9.根据权利要求1所述的图像处理装置，进一步包括特征值提取单元，用于从所述图像提取特征值，

其中所述区域设定单元根据所述图像的特征值中包括的参数值来设定所述部分区域在水平方向上的尺寸，所述特征值由所述特征值提取单元提取。

10.根据权利要求1所述的图像处理装置，其中

所述预测图像生成单元执行帧间预测和运动补偿以生成所述预测图像，以及

所述编码单元使用由所述区域设定单元设定为处理单位的所述部分区域来对所述图像和由所述预测图像生成单元生成的预测图像之间的差值进行编码以生成位流。

11.根据权利要求1所述的图像处理装置，其中所述编码单元传送所述位流以及示出所述区域设定单元设定的所述部分区域在水平方向上的尺寸的信息。

12.根据权利要求1所述的图像处理装置，进一步包括重复信息生成单元，用于生成重复信息，所述重复信息示出作为在水平方向上排列的部分区域集合的部分区域行中的每个部分区域在水平方向上的尺寸，即由所述区域设定单元设定的尺寸，是否与紧邻所述部分区域行上方的部分区域行中的每个部分区域在水平方向上的尺寸相同，

其中所述编码单元传送所述位流以及由所述重复信息生成单元生成的所述重复信息。

13.根据权利要求1所述的图像处理装置，进一步包括固定信息生成单元，用于生成固定信息，所述固定信息示出作为在水平方向上排列的部分区域集合的部分区域行中的每个部分区域在水平方向上的尺寸，即由所述区域设定单元设定的尺寸，是否彼此相同，

其中所述编码单元传送所述位流以及由所述固定信息生成单元生成的所述固定信息。

14.一种图像处理装置的图像处理方法，包括：

区域设定单元将对图像编码时作为处理单位的部分区域在竖直方向上的尺寸设定为固定值，并且根据所述图像的参数值设定所述部分区域在水平方向上的尺寸；

预测图像生成单元使用设定为处理单位的所述部分区域来生成预测图像；以及

编码单元使用所生成的预测图像来对所述图像编码。

15.一种图像处理装置，包括：

解码单元，用于对其中编码有图像的位流进行解码；

区域设定单元，用于基于由所述解码单元获得的信息，将作为所述图像的处理单位的部分区域在竖直方向上的尺寸设定为固定值，并且根据所述图像的参数值设定所述部分区域在水平方向上的尺寸；以及

预测图像生成单元，用于使用由所述区域设定单元设定为处理单位的所述部分区域来生成预测图像。

16.根据权利要求15所述的图像处理装置，其中

所述解码单元通过对所述位流解码，获得所述图像和根据所述图像生成的预测图像之间的差图像，所述图像将所述部分区域用作处理单位，以及

所述预测图像生成单元通过执行帧间预测和运动补偿来生成所述预测图像并且使所述预测图像与所述差图像相加。

17.根据权利要求15所述的图像处理装置，其中

所述解码单元获取所述位流以及示出所述部分区域在水平方向上的尺寸的信息，以及

所述区域设定单元基于所述信息设定所述部分区域在水平方向上的尺寸。

18.根据权利要求15所述的图像处理装置，其中

所述解码单元获取所述位流以及重复信息，所述重复信息示出作为在水平方向上排列的部分区域集合的部分区域行中的每个部分区域在水平方向上的尺寸是否与紧邻所述部分区域行上方的部分区域行中的每个部分区域在水平方向上的尺寸相同，以及

当在所述部分区域行和紧邻所述部分区域行上方的部分区域行中的每个部分区域在水平方向上的尺寸相同时，基于所述重复信息，所述区域设定单元将所述部分区域在水平方向上的尺寸设定为与紧邻其上方的部分区域在水平方向上的尺寸相同。

19.根据权利要求15所述的图像处理装置，其中

所述解码单元获取所述位流以及固定信息，所述固定信息示出作为在水平方向上排列的部分区域集合的部分区域行中的每个部分区域在水平方向上的尺寸是否彼此相同，以及

当在所述部分区域行中的部分区域行中的每个部分区域在水平方向上的尺寸相同时，基于所述固定信息，所述区域设定单元将所述部分区域行中的每个部分区域在水平方向上的尺寸设定为共同值。

20.一种图像处理装置的图像处理方法，包括：

解码单元对其中编码有图像的位流进行解码；

区域设定单元基于所获得的信息，将作为所述图像的处理单位的部分区域在竖直方向上的尺寸设定为固定值，并且根据所述图像的参数值设定所述部分区域在水平方向上的尺寸；以及

预测图像生成单元使用设定为处理单位的所述部分区域来生成预测图像。

Images