CN103314589A

CN103314589A - 图像处理装置和方法

Info

Publication number: CN103314589A
Application number: CN2012800047774A
Authority: CN
Inventors: 佐藤数史
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-01-13
Filing date: 2012-01-06
Publication date: 2013-09-18
Also published as: JP2012147331A; WO2012096228A1; US20130301733A1

Abstract

本技术涉及使得能够提高编码效率的图像处理装置和方法。本发明设置有：预测器预测单元，根据用在位于要经受编码处理的当前块周边的周边块中的预测器的信息来预测用在当前块中的预测器；预测图像生成单元，使用预测器预测单元预测的当前块的预测器来生成当前块的预测图像；以及解码单元，使用预测图像生成单元生成的预测图像来对作为编码图像的编码数据进行解码。本技术例如可以应用于图像处理装置。

Description

图像处理装置和方法

技术领域

本公开涉及图像处理装置和方法，更具体地，涉及能够提高编码效率的图像处理装置和方法。

背景技术

近年来，与诸如MPEG（运动图片专家组）的方法兼容的装置已在信息分发（诸如，广播站）和信息接收（诸如，在普通家庭中）方面得到广泛使用，其中这些方法以数字方式处理图像信息、在这种情况下具有高效信息传输和存储的目标、使用图像信息的特性冗余以及通过诸如离散余弦变换的正交变换以及运动补偿来压缩信息。

具体地，MPEG2（ISO（国际标准化组织）/IEC（国际电工委员会）13818-2）被定义为通用图像编码方法，是涵盖隔行扫描图像和顺序扫描图像连同标准分辨率图像和高清晰度图像的标准，并且当前广泛用在专业用途和消费者用途的大范围应用中。通过MPEG2压缩方法，通过为具有720×480像素的标准分辨率的隔行扫描图像分配4Mbps至8Mbps的编码率（比特率）以及为具有1920×1088像素的高分辨率的隔行扫描图像分配18Mbps至22Mbps的编码率（比特率），能够实现高压缩率和良好的画质。

MPEG2主要以适用于广播的高图像质量编码为目标；然而，不对应于具有比MPEG1低的编码量（比特率）的编码方法，即具有更高压缩率。由于便携式终端的普及使用，认为对这样的编码方法的需要在未来将增加，并且与其对应地执行MPEG4编码方法的标准化。关于图像编码方法，其规范在1998年12月作为ISO/IEC14496-2被批准为国际标准。

另外，近年来，以用于电话会议的图像编码为目标，被称为H.26L（ITU-T（国际电信联盟电信标准化部门）Q6/16VCEG（视频编码专家组））的标准的标准化已得到发展。尽管与现有技术的MPEG2或MPEG4编码方法相比，H.26L要求用于编码和解码的更大计算量，但是实现了更高编码效率。此外，当前，作为MPEG4的活动的一部分，以H.26L为基础，作为增强压缩视频编码的联合模型而正执行包括H.26L中不支持的功能并且实现更高编码效率的标准化。

作为标准化进度，H.264和MPEG-4Part10（高级视频编码，下文中称为AVC）于2003年3月以这些命名成为国际标准。

顺便提及，为了在AVC中改进使用中值预测对运动矢量的编码，提出了适当地使用添加到AVC中定义的并且进行中值预测所需要的“空间预测器”的“时间预测器”和“时空预测器”中的任一个作为预测运动矢量信息（例如，参考NPL1）。

在图像信息编码装置中，在使用关于各个块的各预测运动矢量信息的情况下计算成本函数，并且选择最优预测运动矢量信息。在图像压缩信息中，传送表示与对于各个块所使用的预测运动矢量信息相关的信息的标记信息。

顺便提及，还涉及将宏块大小设置为16像素×16像素对于作为下一代编码方法的目标的UHD（超高清晰度；4000像素×2000像素）的大图像帧可能不是最优的。

因此，目前，作为相对于AVC进一步提高编码效率的目的，作为ITU-T和ISO/IEC的联合标准化团体的JCTVC（视频编码联合协作小组）对被称为HEVC（高效率视频编码）的编码方法的标准化正在发展（例如，参考NPL2）

在HEVC编码方法中，定义了与AVC中的宏块类似的作为处理单位的编码单位（CU（编码单位））。CU在各个序列中在图像压缩信息中被指定，并且不是如在AVC宏块中一样被固定为16×16像素的大小。

CU由最大LCU（最大编码单位）到最小SCU（最小编码单位）以层级方式构成。也就是说，一般地，LCU对应于AVC宏块，层级比LCU低的CU（比LCU小的CU）可认为对应于AVC中的子宏块。

顺便提及，作为对运动信息进行编码的一种方法，提出了被称为运动分区合并（Motion Partition Merging）的技术（例如，参考NPL3）。在该技术中，传送被称为Merge_Flag和Merge_Left_Flag的两个标记。

当Merge_Flag=1时，当前块X的运动信息与块T或块L的运动信息相同，并且此时，Merge_Left_Flag在输出的图像压缩信息中被传送。

当该值为0时，当前块X的运动信息不同于块T和块L的运动信息，并且与块X相关的运动信息以图像压缩信息传送。

在Merge_Flag=1且Merge_Left_Flag=1的情况下，当前块X的运动信息变为与块L的运动信息相同。

在Merge_Flag=1且Merge_Left_Flag=0的情况下，当前块X的运动信息变为与块L的运动信息相同。

提出了上述运动分区合并作为AVC中的Skip（跳过）的替换。

引用列表

非专利文献

NPL1:Joel Jung,Guillaume Laroche,"Competition-BasedScheme for Motion Vector Selection and Coding",VCEG-AC06,ITU-Telecommunications Standardization Sector STUDY GROUP16Question6Video Coding Experts Group(VCEG)第29届会议:克拉根福,奥地利,2006年7月17日至18日

NPL2:"Test Model under Consideration",JCTVC-B205,JointCollaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3andISO/IEC JT C1/SC29/WG11第2届会议:日内瓦,瑞士,2010年7月21日至28日

NPL3:Martin Winken,Sebastian Bosse,Benjamin Bross,PhilippHelle,Tobias Hinz,Heiner Kirchhoffer,Haricharan Lakshman,DetlevMarpe,Simon Oudin,Matthias Preiss,Heiko Schwarz,Mischa Siekmann,Karsten Suehring,and Thomas Wiegand,"Description of video codingtechnology proposed by Fraunhofer HHI",JCTVC-A116,2010年4月

发明内容

技术问题

然而，如在引用文献1中，当使用多种预测模式（预测器）来对运动矢量信息执行编码处理时，与对于每个块要使用哪个预测模式（预测器）相关的信息量增加，并且涉及编码效率的降低。

考虑到上述状况，本公开使得能够在使用运动矢量竞争（motionvector competition）来对运动矢量信息执行编码处理的情况下，通过使用当前块与周边块之间的相关性来获知哪种预测模式（预测器）用于当前块来提高编码效率。

针对问题的解决方案

本发明的一个方面是一种图像处理装置，其包括：预测器预测单元，根据用在位于作为编码处理目标的当前块周边的周边块中的预测器的信息来预测用在当前块中的预测器；预测图像生成单元，使用预测器预测单元预测的当前块的预测器来生成当前块的预测图像；以及解码单元，使用预测图像生成单元生成的预测图像来对图像被编码后的编码数据进行解码。

周边块可包括与当前块相邻的相邻块。

相邻块可包括与当前块的上部相邻的上部相邻块以及与当前块的左部相邻的左部相邻块。

相邻块还可包括与当前块的左上部相邻的左上部相邻块或者与当前块的右上部相邻的右上部相邻块。

周边块还可包括与当前块位于同一位置的同位块。

预测器预测单元可将周边块的预测器中具有最小索引的预测器设置为当前块的预测器的预测结果。

预测器预测单元在周边块的一部分不存在的情况下，可仅使用存在的周边块的预测器来预测当前块的预测器，而在全部周边块都不存在的情况下，可跳过当前块的预测器的预测。

预测器预测单元可仅使用大小与当前块匹配或近似的周边块的预测器来预测当前块的预测器，并且可在全部周边块的大小都与当前块不匹配和近似的情况下跳过当前块的预测器的预测。

预测器预测单元在使用MergeFlag来对周边块的一部分进行编码的情况下，可使用表示与合并的周边块不同的周边块的运动信息的索引来预测当前块的预测器。

预测器预测单元在对周边块进行帧内编码的情况下，可通过使关于周边块的预测器的代码号为0来预测当前块的预测器。

本公开的另一方面是一种图像处理装置的图像处理方法，该方法包括：使得预测器预测单元根据用在位于作为编码处理目标的当前块周边的周边块中的预测器的信息来预测用在当前块中的预测器；使得预测图像生成单元使用所预测的当前块的预测器来生成当前块的预测图像；以及使得解码单元使用所生成的预测图像来对图像被编码后的编码数据进行解码。

本公开的另一方面是一种图像处理装置，其包括：预测器预测单元，根据用在位于作为编码处理目标的当前块周边的周边块中的预测器的信息来预测用在当前块中的预测器；预测图像生成单元，使用预测器预测单元预测的当前块的预测器来生成当前块的预测图像；以及编码单元，使用预测图像生成单元生成的预测图像来对图像进行编码。

周边块可包括与当前块相邻的相邻块。

周边块还可包括与当前块位于同一位置的同位块。

图像处理装置还可包括：比较单元，对关于当前块的预测器与预测器预测单元预测的预测器进行比较；以及标记信息生成单元，生成表示比较单元的比较结果的标记信息。

编码单元可对标记信息生成单元生成的标记信息连同与预测器预测单元预测的预测器相关的信息、或者预测器预测单元预测的预测器与关于当前块的预测器之间的差进行编码。

本公开的另一方面是一种图像处理装置的图像处理方法，该方法包括：使得预测器预测单元根据用在位于作为编码处理目标的当前块周边的周边块中的预测器的信息来预测用在当前块中的预测器；使得预测图像生成单元使用所预测的当前块的预测器来生成当前块的预测图像；以及使得编码单元使用所生成的预测图像来对图像进行编码。

根据本发明的一方面，根据用在位于作为编码处理目标的当前块周边的周边块中的预测器的信息来预测用在当前块中的预测器；使用所预测的当前块的预测器来生成当前块的预测图像；以及可使用所生成的预测图像来对图像被编码后的编码数据进行解码。

在本公开的一方面，根据用在位于作为编码处理目标的当前块周边的周边块中的预测器的信息来预测用在当前块中的预测器；使用所预测的当前块的预测器来生成当前块的预测图像；以及使用所生成的预测图像来对图像进行编码。

本发明的有益效果

根据本公开，可对图像进行处理。特别地，可提高编码效率。

附图说明

图1是示出基于AVC编码方法的输出图像压缩信息的图像编码装置的框图。

图2是示出基于AVC编码方法的输入图像压缩信息的图像解码装置的框图。

图3是示出具有小数点像素精度的运动预测和补偿处理的示例的图。

图4是示出宏块的示例的图。

图5是描述中值运算的条件的示例的图。

图6是描述多参考帧的示例的图。

图7是描述时间直接模式的条件的示例的图。

图8是描述NPL1中所提出的运动矢量编码方法的条件的示例的图。

图9是描述编码单元的配置示例的图。

图10是描述NPL3中所提出的运动分区合并的条件的示例的图。

图11是示出图像编码装置的主要配置示例的框图。

图12是示出图11的运动预测和补偿单元以及运动信息预测单元的主要配置示例的框图。

图13是描述运动信息预测单元的操作原理的图。

图14是描述预测相邻块之间的相关性的方法的示例的图。

图15是描述编码处理的流程的示例的流程图。

图16是描述帧间运动预测处理的流程的示例的流程图。

图17是示出图像解码装置的主要配置示例的框图。

图18是示出图17的运动预测和补偿单元以及运动信息预测单元的主要配置示例的框图。

图19是描述解码处理的流程的示例的流程图。

图20是描述预测处理的流程的示例的流程图。

图21是描述帧间预测处理的流程的示例的流程图。

图22是示出个人计算机的主要配置示例的框图。

图23是示出电视接收机的主要配置示例的框图。

图24是示出便携式电话的主要配置示例的框图。

图25是示出硬盘记录器的主要配置示例的框图。

图26是示出摄像装置的主要配置示例的框图。

具体实施方式

下文中，将描述用于实现本技术的实施例（以下称为“实施例”）。另外，将按以下顺序给出描述。

1.第一实施例（图像编码装置）

2.第二实施例（图像解码装置）

3.第三实施例（个人计算机）

4.第四实施例（电视接收机）

5.第五实施例（便携式电话）

6.第六实施例（硬盘记录器）

7.第七实施例（摄像装置）

<1.第一实施例>

[AVC编码方法的图像编码装置]

图1示出使用H.264和MPEG（运动图像专家组）4Part10（AVC（高级视频编码））编码方法对图像进行编码的图像编码装置的第一实施例的配置。

图1所示的图像编码装置100是使用基于AVC标准的编码方法来对图像进行编码并输出的装置。如图1所示，图像编码装置100包括A/D转换器101、画面排列缓冲器102、计算单元103、正交变换单元104、量化单元105、无损编码器106和存储缓冲器107。另外，图像编码单元100包括逆量化单元108、逆正交变换单元109、计算单元110、解块滤波器110、帧存储器112、选择单元113、帧内预测单元114、运动预测和补偿单元115、选择单元116和速率控制器117。

A/D转换器101对输入的图像数据执行A/D转换，并且将数据存储至画面排列缓冲器102。画面排列缓冲器102将具有按显示顺序的帧的存储图像排列为用于根据GOP（图片组）结构进行编码的帧顺序。画面排列缓冲器102将具有所排列的帧顺序的图像提供给计算单元103。另外，画面排列缓冲器102还将具有所排列的帧顺序的图像提供至帧内预测单元114和运动预测和补偿单元115。

计算单元103从自画面排列缓冲器102读出的图像中减去经由选择单元116从帧内预测单元114或运动预测和补偿单元115提供的预测图像，并且将其差分信息输出到正交变换单元104。

例如，在执行了帧内编码的图像的情况下，计算单元103从自画面排列缓冲器102读出的图像中减去从帧内预测单元114提供的预测图像。另外，例如，在执行了帧间编码的图像的情况下，计算单元103从自画面排列缓冲器102读出的图像中减去从运动预测和补偿单元115提供的预测图像。

正交变换单元104对于从计算单元103提供的差分信息执行诸如离散余弦变换和卡洛南洛伊变换的正交变换，并且将其变换系数提供到量化单元105。

量化单元105对正交变换单元104输出的变换系数进行量化。量化单元105基于与从速率控制器117提供的编码率的目标值相关的信息来设置量化参数，并且执行量化。量化单元105将量化后的变换系数提供到无损编码器106。

无损编码器106对于量化后的变换系数执行诸如可变长字符编码和算术编码的无损编码。由于在速率控制器117的控制下对系数数据进行量化，因此编码率变为速率控制器117设置的目标值（或者接近目标值）。

无损编码器106从帧内预测单元114获取表示帧内预测的信息等，并且从运动预测和补偿单元115获取表示帧间预测模式的信息或运动矢量信息。此外，表示帧内预测（画面内的预测）的信息以下也被称为帧内预测模式信息。另外，表示指示帧间预测（画面间的预测）的信息模式的信息以下也被称为帧间预测模式信息。

无损编码器106将各种类型的信息（诸如，滤波器系数、帧内预测模式信息、帧间预测模式信息和量化参数）设置作为编码数据的报头信息的一部分（执行复用），并且对量化后的变换系数进行编码。无损编码器106提供通过编码而获得的编码数据并将其存储在存储缓冲器107中。

例如，在无损编码器106中执行诸如可变长编码或算术编码的无损编码处理。可变长编码的示例包括在H.264/AVC方法中所规定的CAVLC（上下文自适应可变长编码）等。算术编码的示例包括CABAC（上下文自适应二进制算术编码）等。

存储缓冲器107暂时保存从无损编码器106提供的编码数据，并且在预定定时将该数据作为使用H.264/AVC编码后的编码图像输出到图中未示出的后级记录装置或传输路径等。

另外，在量化单元105中所量化的变换系数还被提供到逆量化单元108。逆量化单元108使用对应于量化单元105的量化的方法来执行量化后的变换系数的逆量化。逆量化单元108将所获得的变换系数提供到逆正交变换单元109。

逆正交变换单元109使用对应于正交变换单元104进行的正交变换处理的方法来对所提供的变换系数执行逆正交变换。逆正交变换后的输出（所恢复的差分信息）被提供到计算单元110。

计算单元110将经由选择单元116从帧内预测单元114或运动预测和补偿单元115提供的预测图像与逆正交变换单元109提供的逆正交变换结果（即，所恢复的差分信息）相加，并且获得局部解码图像（解码后图像）。

例如，在差分信息对应于被执行了帧内编码的图像的情况下，计算单元110将从帧内预测单元114提供的预测图像与差分信息相加。另外，例如，在差分信息对应于被执行了帧间编码的图像的情况下，计算单元110将从运动预测和补偿单元115提供的预测图像与差分信息相加。

相加结果被提供到解块滤波器111或帧存储器112。

解块滤波器111通过执行适当的解块滤波处理来去除解码图像的块化效果。解块滤波器111将滤波处理结果提供到帧存储器112。此外，从计算单元110输出的解码后图像可被提供到帧存储器112而无需通过解块滤波器111。也就是说，可以不执行解块滤波器111的解块滤波处理。

帧存储器112存储所提供的解码图像，并且在预定定时将所存储的解码图像作为参考图像经由选择单元113输出到帧内预测单元114或运动预测和补偿单元115。

例如，在被执行了帧内编码的图像的情况下，帧存储器112将参考图像经由选择单元113提供到帧内预测单元114。另外，例如，在执行帧间编码的情况下，帧存储器112将参考图像经由选择单元113提供到运动预测和补偿单元115。

在从帧存储器112提供的参考图像是被执行了帧内编码的图像的情况下，选择单元113将参考图像提供到帧内预测单元114。另外，在从帧存储器112提供的参考图像是被执行了帧间编码的图像的情况下，选择单元113将参考图像提供到运动预测和补偿单元115。

帧内预测单元114使用经由选择单元113从帧存储器112提供的处理目标图片内的像素值来执行生成预测图像的帧内预测（画面内的预测）。帧内预测单元114使用预先准备的多种模式（帧内预测模式）来执行帧内预测。

在H.264图像信息编码方法中，对于亮度信号，定义了帧内4×4预测模式、帧内8×8预测模式以及帧内16×16预测模式，另外，对于色差信号，可针对各个宏块中的每个宏块定义独立于亮度信号的预测模式。关于帧内4×4预测模式，对于各个4×4亮度块定义了一种帧内预测模式；关于帧内8×8测模式，对于各个8×8亮度块定义了一种帧内预测模式。关于帧内16×16模式和色差信号，对于一个宏块定义一种预测模式。

帧内预测单元114使用用作候选的全部帧内预测模式来生成预测图像，使用从画面排列缓冲器102提供的输入图像来评估每个预测图像的成本相关值，并且选择最优模式。帧内预测单元114选择最优帧内预测模式，并且将以最优模式生成的图像经由选择单元116提供到计算单元103或计算单元110。

另外，如上所述，帧内预测单元114将诸如表示所采用的帧内预测模式的帧内预测模式信息的信息提供到适当的无损编码器106。

对于被执行了帧间编码的图像，运动预测和补偿单元115使用从画面排列缓冲器102提供的输入图像和经由选择单元113从帧存储器112提供的参考图像来执行运动预测（帧间预测），根据检测到的运动矢量来执行运动补偿处理，并且生成预测图像（帧间预测图像信息）。运动预测和补偿单元115使用预先准备的多种模式（帧间预测模式）来执行这样的帧间预测。

运动预测和补偿单元115使用作为候选的全部帧间预测模式来生成预测图像，评估每个预测图像的成本相关值，并且选择最优模式。运动预测和补偿单元115将所生成的预测图像经由选择单元116提供到计算单元103或计算单元110。

另外，运动预测和补偿单元115将表示所采用的帧间预测模式的帧间预测模式信息或表示所算出的运动矢量的运动矢量信息提供到无损编码器106。

选择单元116在被执行了帧内编码的图像的情况下将帧内预测单元114的输出提供到计算单元103或计算单元110，而在被执行了帧间编码的图像的情况下，将运动预测和补偿单元115的输出提供到计算单元103或计算单元110。

关于存储在存储缓冲器107中的压缩图像，速率控制器117控制量化单元105的量化操作的速率以使下溢或上溢不会发生。

[AVC编码方法的图像解码装置]

图2是示出通过正交变换（诸如，离散余弦变换或卡洛南洛伊变换）和运动补偿实现图像压缩的图像解码装置的主要配置示例的框图。图2所示的图像解码装置200是对应于图1的图像编码装置100的解码装置。

图像编码装置100编码的编码数据经由例如任意路线（诸如传输路径或记录介质）被提供到对应于图像编码装置100的图像解码装置200，并且被解码。

如图2所示，图像解码装置200包括存储缓冲器201、无损解码器202、逆量化单元203、逆正交变换单元204、计算单元205、解块滤波器206和画面排列缓冲器207和D/A转换器208。另外，图像解码装置200包括帧存储器209、选择单元210、帧内预测单元211、运动预测和补偿单元212和选择单元213。

存储缓冲器201存储所传送的编码数据。图像编码装置100对编码数据进行编码。无损解码器202使用对应于图1的无损编码器106的编码方法的方法来对在预定定时从存储缓冲器201读出的数据进行解码。

另外，在对当前帧进行帧内编码的情况下，帧内预测模式信息容纳于编码数据的报头部分中。无损解码器202还对帧内预测模式信息进行解码并将信息提供到帧内预测单元211。相反，在对当前帧进行帧间编码的情况下，运动矢量信息容纳于编码数据的报头部分中。无损解码器202对运动矢量信息进行解码并将该信息提供到运动预测和补偿单元212。

逆量化单元203使用与图1的量化单元105的量化方法对应的方法来对通过无损解码器202进行解码而获得的系数数据（量化系数）执行逆量化。换言之，逆量化单元203使用类似于图1的逆量化单元108的方法来执行量化系数的逆量化。

逆量化单元203将经受了逆量化的系数数据（即，正交变换系数）提供到逆正交变换单元204。逆正交变换单元204使用与图1的正交变换单元104的正交变换方法对应的方法（与图1的逆正交变换单元109相同的方法）来执行正交变换系数的逆正交变换，并且获得与在图像编码装置100中执行正交变换之前的残差数据相对应的解码后残差数据。例如，执行四阶逆正交变换。

通过执行逆正交变换而获得的解码后残差数据被提供到计算单元205。另外，在计算单元205中，经由选择单元213从帧内预测单元211或运动预测和补偿单元212提供预测图像。

计算单元205将解码后残差数据与预测图像相加，并且获得与在图像编码装置100的计算单元103减去预测图像之前的图像数据相对应的解码后图像数据。计算单元205将解码后图像数据提供到解块滤波器206。

解块滤波器206在去除所提供的解码图像的块化效果之后将数据提供到画面排列缓冲器207。

画面排列缓冲器207执行图像的排列。换言之，以原始显示顺序排列图1的画面排列缓冲器102排列成编码顺序的帧顺序。D/A转换器208对从画面排列缓冲器207提供的图像执行D/A转换，并且在图中未示出的显示器上输出并显示图像。

解块滤波器206的输出还被提供到帧存储器209。

帧存储器209、选择单元210、帧内预测单元211、运动预测和补偿单元212和选择单元213分别对应于图像编码装置100的帧存储器112、选择单元113、帧内预测单元114、运动预测和补偿单元115和选择单元116。

选择单元210从帧存储器209读出被执行了帧间处理的图像和参考图像，并且将这些提供到运动预测和补偿单元212。另外，选择单元210从帧存储器209读出用在帧内预测中的图像，并将其提供到帧内预测单元211。

在帧内预测单元211中，适当地从无损解码器202提供通过对报头信息进行解码而获得的表示帧内预测模式的信息等。帧内预测单元211基于该信息而根据从帧存储器209获取的参考图像生成预测图像，并将所生成的预测图像提供到选择单元213。

运动预测和补偿单元212从无损解码器202获取通过对报头信息进行解码而获得的信息（诸如，预测模式信息、运动矢量信息、参考帧信息、标记和各种参数）。

运动预测和补偿单元212基于从无损解码器202提供的信息来根据从帧存储器209获取的参考图像生成预测图像，并且将所生成的预测图像提供到选择单元213。

选择单元213选择运动预测和补偿单元212或帧内预测单元211生成的预测图像，并且将图像提供到计算单元205。

[运动预测和补偿处理的小数像素精度]

顺便提及，在诸如MPEG2的编码方法中，通过线性插值处理来执行具有1/2像素精度的运动预测和补偿处理；然而，在AVC编码方法中，使用6抽头FIR滤波器来执行具有1/4像素精度的运动预测和补偿处理，由此，提高了编码效率。

图3是描述在AVC编码方法中所规定的1/4像素精度的条件的示例的图。在图3中，每个正方形表示像素。在该图中，A表示具有容纳于帧存储器112中的整数精度像素的位置，b、c和d表示具有1/2像素精度的位置，以及e₁、e₂和e₃表示具有1/4像素精度的位置。

以下，如以下表达式（1）定义函数Clip（）。

[等式1]

Clip 1 (a) = \{\begin{matrix} 0; if (a < 0) \\ a; otherwise \\ \max_pix; if (a > \max_pix) \end{matrix} - - - (1)

例如，在具有8位精度的输入图像的情况下，表达式（1）中的max_pix的值变为255。

使用6抽头FIR滤波器、如以下表达式（2）和表达式（3）生成位置b和d的像素值。

[等式2]

F=A_-2-5·A_-1+20·A₀+20·A₁-5·A₂+A₃...(2)

[等式3]

b,d=Clip1((F+16)>>5)...(3)

如在以下表达式（4）至表达式（6）中一样，在水平方向和垂直方向上应用6抽头FIR滤波器来生成位置c的像素值。

[等式4]

F=b_-2-5·b_-1+20·b₀+20·b₁-5·b₂+b₃...(4)，或者

[等式5]

F=d_-2-5·d_-1+20·d₀+20·d₁-5·d₂+d₃...(5)

[等式6]

c=Clip1((F+512)>>10)...(6)

此外，Clip处理在水平方向和垂直方向两者上均执行了乘积和处理之后最终仅执行一次。

如以下表达式（7）至表达式（9）一样通过线性插值生成e₁至e₃。

[等式7]

e₁=(A+b+1)>>1...(7)

[等式8]

e₂=(b+d+1)>>1...(8)

[等式9]

e₃=(b+c+1)>>1...(9)

[运动预测和补偿处理]

另外，在MPEG2中，运动预测和补偿处理的单位在帧运动补偿模式的情况下为16×16像素，并且在场运动补偿模式的情况下，对于第一场和第二场，以16×8像素为单位执行运动预测和补偿处理。

相反，在AVC中，如图4所示，由16×16像素构成的一个宏块被划分成16×16、16×8、8×16或8×8中任一个的分区，并且可以具有对于每个子宏块相互独立的运动矢量信息。此外，如图4所示，8×8分区可被划分成8×8、8×4、4×8或4×4中任一个的子宏块，并且可以具有相互独立的运动矢量信息。

然而，在AVC图像编码方法中，类似于MPEG2的情况，当执行这样的运动预测和补偿处理时，涉及生成扩展运动矢量信息。而且，涉及在按原样对所生成的运动矢量信息进行编码时会降低编码效率。

[运动矢量的中值预测]

作为解决这样的问题的方法，在AVC图像编码中，使用以下方法来实现运动矢量的编码信息的减少。

图5中所示的每条直线表示运动补偿块的边界。另外，在图5中，E表示此后要编码的当前运动补偿块，A至D分别表示已完成编码的与E相邻的运动补偿块。

这里，对于X，运动矢量信息被设置为mv_X，X=A、B、C、D和E。

首先，如在以下表达式（10）中，通过中值运算，使用关于运动补偿块A、B和C的运动矢量信息来生成关于运动补偿块E的预测运动矢量信息pmv_E。

[等式10]

pmv_E=med(mv_A,mv_B,mv_C)...(10)

在关于运动补偿块C的信息由于处于图像帧的边缘处等原因而“不可用”的情况下，可替代关于运动补偿块D的信息。

在图像压缩信息中，如在以下表达式（11）中一样，使用pmv_E来生成被编码为关于运动补偿块E的运动矢量信息的数据mvd_E。

[等式11]

mvd_E=mv_E-pmv_E...(11)

此外，对于实际处理，针对运动矢量信息的各水平方向分量和垂直方向分量来独立地执行处理。

[多参考帧]

另外，在AVC中规定在诸如MPEG2或H.263的相关技术的图像编码系统中未规定的被称为Multi-Reference Frame（多（多个）参考帧）的方法。

使用图6，将描述在AVC中所规定的多参考帧（Multi-ReferenceFrame）。

即，在MPEG-2或H.263中，通过在P图片的情况下参考帧存储器中所容纳的仅一个参考帧来执行运动预测和补偿；然而，在AVC中，如图5所示，多个参考帧容纳于存储器中，并且可以对于每个宏块参考不同的存储器。

[直接模式]

顺便提及，B图片中的运动矢量信息的信息量是庞大的；然而，在AVC中，准备了被称为Direct Mode（直接模式）的模式。

在该直接模式（Direct Mode）下，运动矢量信息未容纳于图像压缩信息中。在图像解码装置中，根据周边块或同位块的运动矢量信息计算当前块的运动矢量信息，该同位块是位置与参考帧中的处理目标块相同的块。

在直接模式（Direct Mode）下，存在Spatial Direct Mode（空间直接模式）和Temporal Direct Mode（时间直接模式）这两种类型，并且可针对每个切片切换这两种类型的模式。

在空间直接模式（Spatial Direct Mode）下，如在以下表达式（12）中所示那样计算处理目标移动补偿块E的运动矢量信息mv_E。

mv_E=pmv_E...(12)

也就是说，通过Median（中值）预测而生成的运动矢量信息被应用于当前块。

以下，将使用图7描述时间直接模式（Temporal Direct Mode）。

在图7中，在L0参考图片中，空间地址与当前块相同的块被设置为同位块，并且同位块中的运动矢量信息被设置为mv_col。另外，当前图片与L0参考图片之间在时间轴上的距离被设置为TD_B，并且L0参考图片与L1参考图片之间在时间轴上的距离被设置为TD_D。

此时，在当前图片中，如在以下表达式（13）和表达式（14）中一样计算L0的运动矢量信息mv_L0和L1的运动矢量信息mv_L1。

[等式12]

{mv}_{L 0} = \frac{{TD}_{B}}{{TD}_{D}} {mv}_{col} - - - (13)

[等式13]

{mv}_{L 1} = \frac{{TD}_{D} - {TD}_{B}}{{TD}_{D}} {mv}_{col} - - - (14)

此外，在AVC图像压缩信息中，由于不存在表示时间轴上的距离的信息TD，因此使用POC（图片顺序计数）来执行上述表达式（12）和表达式（13）的计算。

另外，在AVC图像压缩信息中，直接模式（Direct Mode）可定义16×16像素宏块单位或8×8像素宏块单位。

[预测模式的选择]

顺便提及，在AVC编码方法中，适当预测模式的选择在实现更高编码效率时很重要。

选择方法的示例可包括在H.264/MPEG-4AVC参考软件（在http://iphome.hhi.de/suehring/tml/index.htm所公开）中所实现的被称为JM（联合模型）的方法。

在以下描述的JM中，可以选择高复杂度模式和低复杂度模式这两种模式确定方法。无论选择哪一个，都计算与每种预测模式相关的成本相关值，并且选择成本相关值最小的预测模式作为关于当前子宏块或当前宏块的最优模式。

如在以下表达式（15）中那样表示高复杂度模式下的成本相关值。

Cost(Mode∈Ω)=D+λ*R...(15)

这里，Ω是用于对块和宏块进行编码的候选模式的整体集合；以及D是在使用当前预测模式进行编码的情况下解码图像与输入图像的差分能量。λ是根据量化参数而提供的拉格朗日未定乘数。R是在以当前模式进行编码的情况下的总编码率，包括正交变换系数。

即，在以高复杂度模式执行编码时，需要使用全部候选模式执行临时编码处理一次以便计算参数D和R，并且需要较高计算量。

如在以下表达式（16）中一样表示低复杂度模式下的成本函数。

Cost(Mode∈Ω)=D+QP2Quant(QP)×HeaderBit...(16)

这里，不同于高复杂度模式的情况，D是预测图像与输入图像之间的差分能量。QP2Quant(QP)是根据量化参数QP而提供的；以及HeaderBit是与属于报头的信息（诸如，运动矢量或模式）相关的编码率，并且不包括正交变换系数。

即，在低复杂度模式下，需要执行关于各个候选模式的预测处理；然而，由于不需要解码图像，因此不需要执行编码处理。因此，可以通过高复杂度模式实现较低计算量。

[运动矢量竞争]顺便提及，如参照图5所述，为了改进使用中值预测对运动矢量的编码，在NPL1中提出了以下所述的方法。

也就是说，除了通过在AVC中所定义的中值预测而获得的“空间预测器（空间预测）”外，可以适当地使用以下描述的“时间预测器（时间预测）”和“时空预测器（时间和空间预测）”作为预测运动矢量信息。

即，在图8中，通过以下表达式（17）至表达式（19）定义各预测运动矢量信息（预测器），其中，关于相对于当前块的同位块（在参考图像中，具有与当前块相同的xy坐标的块）的运动矢量信息为“mvcol”，以及周边块的运动矢量信息为mvtk（k=0至8）。

时间预测器：

[等式14]

mv_tm5=median{mv_col,mv_t0,...,mv_t3}...(17)

[等式15]

mv_tm9=median{mv_col,mv_t0,...,mv_t8}...(18)

时空预测器：

[等式16]

mv_spt=median{mv_col,mv_col,mv_a,mv_b,mv_c}...(19)

在图像信息编码装置100中，在使用关于各个块的各预测运动矢量信息的情况下计算成本函数，并且选择最优预测运动矢量信息。在图像压缩信息中，传送表示与针对各个块所使用的预测运动矢量信息相关的信息的标记。

[编码单元]

顺便提及，将宏块大小设置为16像素×16像素对于以作为下一代编码方法的目标的UHD（超高清晰度；4000像素×2000像素）的大图像帧不是最优的。

这里，在AVC中，如图4所示，由宏块和子宏块规定了层级结构；然而，例如，在HEVC（高效视频编码）中，规定编码单位（CU（编码单位）），如图9所示。

CU也被称为编码树块（CTB），并且是起到与AVC中的宏块相同作用的图片单位的图像的部分区域。AVC中的宏块固定为16×16像素的大小，而CU的大小是固定的并且在各个序列中在图像压缩信息中被指定。

例如，在作为输出的编码数据中所包括的序列参数集（SPS（序列参数集））中，规定了CU的最大大小（LCU（最大编码单位））和最小大小（SCU（最小编码单位））。

在各个LCU内，通过在没有下降到SCU大小以下的范围内设置split_flag（分裂标记）=1，可以划分成更小大小的CU。在图9的示例中，LCU的大小是128，并且最大层级深度为5。大小为2N×2N的CU被划分成大小为N×N的CU，并且在split_flag的值为“1”时层级变为低一级。

此外，CU被划分成作为成为帧内或帧间预测的处理单位的区域（图像的图片单位的部分区域）的预测单位（预测单位（PU）），并且另外，被划分成作为成为正交变换的处理单位的区域（图像的图片单位的部分区域）的变换单位（变换单位（TU））。目前，在HEVC中，除了4×4和8×8之外，可以使用16×16和32×32正交变换。

如在上述HEVC中一样，定义CU，并且在以CU作为单位执行各种处理（诸如，编码方法）的情况下，可认为AVC中的宏块对应于LCU。然而，由于如图9所示CU包括层级结构，因此最高层级的LCU的大小一般被设置为大于AVC中的宏块，诸如，例如128×128像素。

[运动分区的合并]

顺便提及，作为运动信息的一种编码方法，在NPL3中提出了诸如图10所示的被称为运动分区合并的方法。在该技术中，传送被称为Merge_Flag和Merge_Left_Flag的两个标记。

当Merge_Flag=1时，当前块X的运动信息与块T或块L的运动信息相同，并且此时，在成为输出的图像压缩信息中传送Merge_Left_Flag。当该值为0时，当前块X的运动信息与块T和块L不同，并且与块X相关的运动信息以图像压缩信息传送。

在Merge_Flag=1和Merge_Left_Flag=1的情况下，当前块X的运动信息变为与块L的运动信息相同。在Merge_Flag=1和Merge_Left_Flag=0的情况下，当前块X的运动信息变为与块L的运动信息相同。

作为AVC中的Skip的替代，提出了上述运动分区合并。

[关于实施例]

然而，准备了如上所述的多个预测器（预测器），当通过从其中选择最优预测器来对运动矢量信息执行编码处理时，需要为每个块提供与使用哪个预测装置（预测器）相关的信息；然而，涉及信息量增加以及编码效率降低。

这里，在实施例中，可以减少传送至解码侧的信息量，并且可以通过设置为使用当前区域与周边区域之间的相关性来预测当前区域的预测器（预测器）来抑制编码效率的降低。

[图像编码装置]

图11是示出图像编码装置的主要配置示例的框图。

图11所示的图像编码装置300是与图1的图像编码装置100基本上相同的装置，并且对图像数据进行编码。如图11所示，图像编码装置300包括A/D转换器301、画面排列缓冲器302、计算单元303、正交变换单元304、量化单元305、无损编码器306和存储缓冲器307。另外，图像编码装置300包括逆量化单元308、逆正交变换单元309、计算单元310、环路滤波器311、帧存储器312、选择单元313、帧内预测单元314、运动预测和补偿单元315、选择单元316和速率控制器317。

图像编码装置300还包括运动信息预测单元321。

A/D转换器301对输入的图像数据执行A/D转换。A/D转换器301将转换后的图像数据（数字数据）提供到画面排列缓冲器302并使得数据被存储。画面排列缓冲器302将具有按显示顺序的帧的存储图像排列为用于根据GOP进行编码的帧顺序。画面排列缓冲器302将具有所排列的帧顺序的图像提供到计算单元303。另外，画面排列缓冲器302还将具有所排列的帧顺序的图像提供到帧内预测单元314以及运动预测和补偿单元315。

计算单元303从自画面排列缓冲器302读出的图像中减去经由选择单元316从帧内预测单元314或运动预测和补偿单元315提供的预测图像。计算单元303将其差分信息输出到正交变换单元304。

例如，在被执行了帧内编码的图像的情况下，计算单元303从自画面排列缓冲器302读出的图像中减去从帧内预测单元314提供的预测图像。另外，例如，在被执行了帧间编码的图像的情况下，计算单元303从自画面排列缓冲器302读出的图像中减去从运动预测和补偿单元315提供的预测图像。

正交变换单元304对于从计算单元303提供的差分信息执行诸如离散余弦变换或卡洛南洛伊变换的正交变换。此外，正交变换方法是任意的。正交变换单元304将变换系数提供到量化单元305。

量化单元305对从正交变换单元304提供的变换系数进行量化。量化单元305基于与从速率控制器317提供的编码率的目标值相关的信息来设置量化参数，并且执行其量化。此外，量化方法是任意的。量化单元305将量化后的变换系数提供到无损编码器306。

无损编码器306利用任意编码方法对在量化单元305中所量化的变换系数进行编码。由于在速率控制器317的控制下对系数数据进行量化，因此编码率变为速率控制器317所设置的目标值（或接近目标值）。

无损编码器306从帧内预测单元314获取表示帧内预测模式的信息等，并且从运动预测和补偿单元315获取表示帧间预测模式的信息或运动矢量信息。另外，无损编码器306获取在环路滤波器311中所使用的滤波器系数等。

无损编码器306使用任意编码方法对这些各种类型的信息进行编码，并且将其设置为编码数据的报头信息的一部分（执行复用）。无损编码器306提供通过编码所获得的编码数据并将其存储在存储缓冲器307中。

无损编码器306的编码方法的示例包括例如可变长字符编码或算术编码。可变长编码的示例包括例如在H.264/AVC方法中所指定的CAVLC（上下文自适应可变长编码）等。算术编码的示例包括例如CABAC（上下文自适应二进制算术编码）等。

存储缓冲器307临时保存从无损编码器306提供的编码数据。存储缓冲器307在预定定时将所保存的编码数据输出到图中未示出的后级记录装置（记录介质）或传输路径。

另外，在量化单元305中所量化的变换系数还被提供到逆量化单元308。逆量化单元308使用与量化单元305进行的量化相对应的方法来对量化后的变换系数执行逆量化。如果逆量化方法对应于量化单元305进行的量化处理，则该逆量化方法可以是任何方法。逆量化单元308将所获得的变换系数提供到逆正交变换单元309。

逆正交变换单元309使用与正交变换单元304进行的正交变换处理相对应的方法来对从逆量化单元308提供的变换系数执行逆正交变换。如果逆正交变换方法对应于正交变换单元304进行的正交变换处理，则逆正交变换方法可以是任意方法。逆正交变换后的输出（所恢复的差分信息）被提供到计算单元310。

计算单元310将经由选择单元316从帧内预测单元314或运动预测和补偿单元315提供的预测图像与逆正交变换单元309提供的逆正交变换结果（即，所恢复的差分信息）相加，并且获得局部解码图像（解码后图像）。

例如，在差分信息对应于被执行了帧内编码的图像的情况下，计算单元310将从帧内预测单元314提供的预测图像与差分信息相加。另外，例如，在差分信息对应于被执行了帧间编码的图像的情况下，计算单元310将从运动预测和补偿单元315提供的预测图像与差分信息相加。

相加结果（解码后图像）被提供到环路滤波器311或帧存储器312。

环路滤波器311对从计算单元310提供的解码后图像执行适当的滤波处理，包括解块滤波或自适应环路滤波等。例如，环路滤波器311通过对于解码后图像执行与解块滤波器111的处理相同的解块滤波处理来去除解码后图像的块化效果。另外，例如，环路滤波器311通过对于解块滤波处理结果（被执行了块化效果去除的解码后图像）执行使用维纳滤波器（Weiner Filter）的环路滤波处理，来执行图像质量改进。

此外，环路滤波器311可对于解码后图像执行任意滤波处理。另外，环路滤波器311按照需要将诸如滤波处理中所使用的滤波器系数的信息提供到无损编码器306，并且可使得该信息被编码。

环路滤波器311将滤波器处理结果（滤波处理之后的解码后图像）提供到帧存储器312。此外，如上所述，从计算单元310输出的解码后图像可被提供到帧存储器312而不通过环路滤波器311。也就是说，可以不执行使用环路滤波器311的滤波处理。

帧存储器312存储所提供的解码后图像并将所存储的解码后图像在预定定时作为参考图像提供到选择单元313。

选择单元313选择从帧存储器312提供的参考图像的提供目的地。例如，在帧内预测的情况下，选择单元313将从帧存储器312提供的参考图像提供到帧内预测单元314。另外，在帧间预测的情况下，选择单元313将从帧存储器312提供的参考图像提供到运动预测和补偿单元315。

帧内预测单元314基本上使用作为经由选择单元313从帧存储器312提供的参考图像的处理目标图片内的像素值、以PU作为处理单位来执行生成预测图像的帧内预测（画面内的预测）。帧内预测单元314使用预先准备的多种模式（帧内预测模式）执行帧内预测。帧内预测单元314还能够使用除了仅在AVC编码方法中所规定的模式外的任意方法来执行帧内预测。

帧内预测单元314使用用作候选的全部帧内预测模式来生成预测图像，并且使用从画面排列缓冲器102提供的输入图像来评估每个预测图像的成本相关值，并且选择最优模式。帧内预测单元314在选择最优帧内预测模式时将以最优模式所生成的预测图像提供到选择单元316。

另外，如上所述，帧内预测单元314将诸如表示所采用的帧内预测模式的帧内预测模式信息的信息提供到适当的无损编码器306，并且使得信息被编码。

运动预测和补偿单元315使用从画面排列缓冲器302提供的输入图像和经由选择单元313从帧存储器312提供的参考图像，基本上以PU为处理单位来执行运动预测（帧间预测），根据检测到的运动矢量执行运动补偿处理，并且生成预测图像（帧间预测图像信息）。运动预测和补偿单元315使用预先准备的多种模式（帧间预测模式）来执行这样的帧间预测。运动预测和补偿单元315还能够使用除了仅在AVC编码方法中所规定的模式外的任意方法来执行帧间预测。

运动预测和补偿单元315使用用作候选的全部帧间预测模式来生成预测图像，评估每个预测图像的成本相关值，并且选择最优模式。运动预测和补偿单元315在选择最优帧间预测模式时将以最优模式所生成的预测图像提供到选择单元316。

另外，在对表示所采用的帧间预测模式的信息或编码数据进行解码时，运动预测和补偿单元315将使用帧间预测模式执行处理所需的信息提供到无损编码器306并使得信息被编码。

选择单元316选择提供到计算单元303或计算单元310的预测图像的提供源。例如，在帧内编码的情况下，选择单元316选择帧内预测单元314作为预测图像的提供源，并且将从帧内预测单元314提供的预测图像提供到计算单元303或计算单元310。另外，在帧间编码的情况下，选择单元316选择运动预测和补偿单元315作为预测图像的提供源，并且将从运动预测和补偿单元315提供的预测图像提供到计算单元303或计算单元310。

关于存储在存储缓冲器307中的编码数据的编码率，速率控制器317控制量化单元305的量化操作的速率以使上溢或下溢不会发生。

运动信息预测单元321使用作为当前PU周边（与当前块PU相邻或在当前PU附近）的PU的周边PU的信息来执行预测在运动预测和补偿单元315的帧间预测内的、作为处理目标的当前PU的运动矢量的处理。

预测方法（即，预测器（预测器））是任意的，并且可以是在AVC中所规定的模式或在上述NPL中所提出的模式，或者可以是除了这些外的任意方法。

[运动预测和补偿单元以及运动信息预测单元]

图12是示出图11的运动预测和补偿单元315以及运动信息预测单元321的主要配置示例的框图。

如图12所示，运动预测和补偿单元315包括运动搜索单元331、成本函数计算单元332、模式确定单元333、运动补偿单元334和运动信息缓冲器335。

另外，运动信息预测单元321包括运动预测单元341、预测器预测单元342、比较确定单元343和标记生成单元344。

运动搜索单元331执行根据输入图像与参考图像的差获得当前PU的运动矢量的处理。因此，运动搜索单元331从画面排列缓冲器302获取作为处理目标的当前PU的输入图像像素值，并且经由选择单元313从帧存储器312获取对应于当前PU的参考图像像素值。运动搜索单元331获得输入图像像素值与参考图像像素值的差（差分像素值），使用差分像素值执行运动搜索，并且获得当前PU的运动矢量。

运动搜索单元331生成包括以此方式所获得的当前PU的运动矢量的运动信息。除了当前PU的运动矢量之外，与当前PU的大小等或者当前PU的运动预测相关的任意信息也包括在运动矢量中。

运动搜索单元331将运动信息和差分像素值提供到成本函数计算单元332。运动搜索单元331使用多种模式执行这样的处理。

在该方法的情况下，当对编码数据进行解码时，需要当前PU的运动矢量。即，运动搜索单元331的预测处理需要仅针对所采用的PU的数量来对运动矢量进行编码，并且由于编码率增加了相同的量，因此涉及编码效率降低。

相反，运动信息预测单元321的运动预测单元341执行使用周边PU的运动矢量来预测当前PU的运动矢量的处理。在该方法的情况下，在解码侧，由于能够以相同方式根据周边PU预测当前PU的运动矢量，因此不需要对运动矢量进行编码，并且能够将编码效率提高相同的量。

运动预测单元341从运动信息缓冲器335获取过去处理的PU的运动信息（周边运动信息）。

如果PU的运动信息通过过去被处理而存储在运动信息缓冲器335中，则周边运动信息的PU可以是任何PU。然而，通常，PU在距离或时间上距当前PU越近，与当前PU的相关性就越高。相应地，期望运动预测单元341获取位于当前PU附近的PU或者与当前PU相邻的PU（周边PU）的运动信息作为周边运动信息。

此外，运动预测单元341能够获取任意数量的PU的运动信息作为周边运动信息。与PU的运动矢量或大小等以及PU的运动预测相关的任意信息包括在周边运动信息的每项中。

运动预测单元341使用所获取的周边运动信息来预测当前PU的运动矢量（预测运动矢量）。运动搜索单元341使用多种模式执行这样的处理。可以使用除了仅在AVC编码方法中所规定的模式或在上述引用文献中所提出的模式之外的任意模式来执行预测。

即，运动预测单元341包括使用相互不同的方法来预测运动矢量的多个预测器（预测器（预测器）），并且使用每个预测器预测当前PU的运动矢量。

另外，运动预测单元341从运动搜索单元331获取运动信息。运动预测单元341针对使用每个预测器所预测的当前PU的每个预测运动矢量来获得与运动搜索单元331获得的当前PU的运动矢量的差，并且选择具有最小差的预测矢量作为最优预测结果。

运动预测单元341将包括与被选择作为最优预测结果的预测运动矢量相对应的差的差分运动信息以及表示在生成被选择作为最优预测结果的预测运动矢量时所使用的预测器的预测器信息提供到比较确定单元343。

在该方法的情况下，当对编码数据进行解码时，需要表示在编码期间哪个预测器用于预测当前PU的运动矢量的预测器信息。即，需要运动搜索单元341的预测处理以仅针对所采用的PU的数量对预测器信息进行编码，并且由于编码率增加了相同的量，因此涉及编码效率降低。

相反，运动信息预测单元321的预测器预测单元342执行使用在周边PU中所采用的预测器（预测器）来预测在当前PU中所采用的预测器的处理。在该方法的情况下，在解码侧，由于可以以相同方式根据周边PU预测当前PU的预测器，因此不需要对预测器信息进行编码，并且能够将编码效率提高相同的量。此外，“周边”包括“与…相邻”和“在…附近”。也就是说，周边PU包括与当前PU相邻的相邻PU以及位于当前PU附近的邻近PU。在表示指定的PU的情况下，可表示相邻PU和邻近PU中的任一个。

预测器预测单元342从运动信息缓冲器335获取过去处理的PU的预测器信息（周边预测器信息）。

如果PU的预测器信息通过在过去被处理而存储在运动信息缓冲器335中，则周边预测器信息的PU可以是任意PU。然而，通常，PU在距离或时间上距当前PU越近，与当前PU的相关性就越高。相应地，期望运动预测单元341获取位于当前PU附近的PU（或与当前PU相邻的PU）的预测器信息作为周边预测器信息。

此外，预测器预测单元342能够获取任意数量的PU的预测器信息作为周边预测器信息。

预测器预测单元342使用所获取的周边预测器信息来预测当前PU的预测器。稍后将描述预测器的具体预测方法。

预测器预测单元342将表示所预测的当前PU的预测器的预测预测器信息提供到比较确定单元343。

在预测器预测单元342的方法的情况下，能够通过运动预测单元341的基本方法提高编码效率；然而，优选地，预测运动矢量的预测精度低于运动预测单元341的预测精度。

例如，在周边PU与当前PU之间，还可根据图像的内容认为预测器的相关性低。在这样的情况下，涉及使用预测器预测单元342预测的预测器而预测的预测运动矢量的预测精度低于运动预测单元341预测的预测运动矢量的预测精度。

这里，比较确定单元343仅在预测器预测单元342预测的预测器与运动预测单元341中所采用的预测器匹配的情况下，采用预测器预测单元342生成的预测预测器信息，而在不匹配的情况下，采用运动预测单元341的预测结果。

更具体地，比较确定单元343将从运动预测单元341提供的预测器信息与从预测器预测单元342提供的预测预测器信息进行比较，并且确定两个预测器是否匹配。

标记生成单元344生成表示比较确定单元343的确定结果的标记信息，并将该信息提供到比较确定单元343。

在预测器信息与预测预测器信息不匹配的情况下，比较确定单元343使得标记生成单元344生成表示采用了预测器信息的标记信息，并获取该标记。比较确定单元343将从标记生成单元344获取的标记信息、从运动预测单元341提供的差分运动信息和预测器信息提供到运动预测和补偿单元315的成本函数计算单元332。

另外，在预测器信息与预测预测器信息匹配的情况下，比较确定单元343使得标记生成单元344生成表示采用预测预测器信息的标记信息，并且获取该标记。比较确定单元343将从标记生成单元344获取的标记信息和从运动预测单元341提供的差分运动信息提供到运动预测和补偿单元315的成本函数计算单元332。即，在这种情况下，由于采用了使用预测器预测单元342来预测预测器的方法，因此可以不执行预测器信息的提供（编码）。相应地，在这种情况下，图像编码装置300的编码效率可提高该量。

成本函数计算单元332计算使用如上述的每种模式下所生成的预测结果进行编码的结果的成本函数值。成本函数的计算方法是任意的。例如，成本函数计算单元332使用上述表达式（15）和表达式（16）来计算每种模式的成本函数值。成本函数计算单元332将所算出的每种模式的成本函数值以及作为与每种模式相关的信息的、包括运动信息或标记信息等的候选模式信息提供到模式确定单元333。

模式确定单元333基于从成本函数计算单元332提供的每种模式的成本函数值来选择最优模式。最优模式的选择方法是任意的；然而，例如，模式确定单元333选择其成本函数值最小的模式作为最优模式。模式确定单元333将与最优模式相关的信息（例如，运动信息或标记信息）作为最优模式信息提供到运动补偿单元334。

运动补偿单元334使用经由选择单元313从帧存储器312读出的参考图像像素值、使用由最优模式信息表示的模式来生成预测图像，并且将该预测图像像素值经由选择单元316提供到计算单元303和计算单元310。

运动补偿单元334还将最优模式信息提供到无损编码器306并对该信息进行编码。最优模式信息的内容根据所选的模式而不同。例如，在使用运动搜索单元331获得的运动矢量的模式的情况下，当前PU的运动信息包括在最优模式信息中。另外，在使用运动预测单元341预测的预测运动矢量的模式的情况下，当前PU的标记信息、差分运动信息和预测器信息包括在最优模式信息中。此外，例如，在使用预测器预测单元342预测的预测器的模式的情况下，当前PU的标记信息和差分运动信息包括在最优模式信息中。

此外，运动补偿单元334将当前PU的运动信息或预测器信息提供到运动信息缓冲器335，并且存储该信息。

运动信息缓冲器335存储从运动补偿单元334提供的当前PU的运动信息以及预测器信息。运动信息缓冲器335在预定定时或基于来自外部（诸如运动预测单元341或预测器预测单元342）的请求，将该信息作为在对于不同于当前PU的另一PU的处理中的周边运动信息或周边预测器提供到运动预测单元341或预测器预测单元342。

[预测器的预测]

图13是描述预测器预测单元342对预测器的预测方法的图。在图13中，C是当前PU，T和L是与当前PU（C）的上部和左部相邻的PU（周边PU）。在预测当前PU（C）中的预测运动矢量时所使用的预测器被设置为p_C。另外，在预测周边PU（T）的预测运动矢量时所使用的预测器被设置为p_T。此外，在预测周边PU（L）的预测运动矢量时所使用的预测器被设置为p_L。

预测器预测单元342根据p_T和p_L来预测p_C。比较确定单元343仅在p_C的预测值（predp_C）和运动预测单元341获得的p_C的实际值不同的情况下，使得p_C的值被编码（与图像编码装置300输出的编码数据相加）。

此外，在预测预测器时所使用的周边PU不限于此，并且可以是诸如左上部和右上部的其他相邻PU。另外，可使用在时间方向上相邻以在同一位置的PU的预测器信息来执行对当前PU的预测器的预测。

例如，预测器预测单元342如在以下表达式（20）中一样，根据p_T和p_L来计算p_C的预测值predp_C。

predp_C=min(p_T,p_L)...(20)

在predp_C和p_C的值彼此相等的情况下，表示该事实的标记信息（标记）由标记生成单元344生成，并且被编码（与图像编码装置300输出的编码数据相加）。在这种情况下，不对p_C的实际值进行编码（不与图像编码装置300输出的编码数据相加）。

在predp_C和p_C的值彼此不相等的情况下，表示该事实的标记信息（标记）由标记生成单元344生成，并且被编码（与图像编码装置300输出的编码数据相加）。在这种情况下，还对p_C的实际值（或者p_C与predp_C的差分值）进行编码（与图像编码装置300输出的编码数据相加）。

此外，在对周边PU进行帧内编码的情况下，预测器预测单元342在将代码号设置为“0”的情况下执行对于预测器的处理。

另外，在周边PU（L）由于例如处于图像边缘或切片边界等处而不存在的情况下，预测器预测单元342如在以下表达式（21）中一样使用p_T来计算预测值predp_C。

predp_C=p_T...(21)

相反，在周边PU（T）不存在的情况下，预测器预测单元342如在以下表达式（22）中一样使用pL来计算预测值predp_C。

predp_C=p_L...(22)

在周边PU都不存在的情况下，预测器预测单元342不执行对预测器的预测。在这种情况下，比较确定单元343采用运动预测单元341的预测结果。即，以与不匹配的情况相同的方式处理上述预测器信息和预测预测器信息。

通常，在运动信息中当前PU与周边PU之间存在相关性；相应地，预测器也可被认为具有相关性。预测器预测单元342能够基于在例如NPL1中所提出的运动矢量竞争处理，通过使用预测器的相关性执行编码处理来实现运动矢量信息的编码效率的提高。

此外，可在确定当前PU与周边PU之间的相关性的量级时使用PU的大小关系。通常，在例如两个给定PU之间的运动信息的相关性高的情况下，两个PU的大小的相关性也增大的可能性高。例如，在具有大量运动的图像的情况下，纹理变化变得严重的可能性高，并且可容易地将PU的大小设置得小。相反，在具有少量运动的图像的情况下，例如，如在天空等的背景中，简单纹理广泛扩展的可能性高，并且可容易地将PU的大小设置得大。

也就是说，在PU的大小彼此大不相同（诸如，移动对象和静止对象）的情况下，图像的特性大不相同的可能性高，并且在这样的PU之间，运动矢量或预测器的相关性低的可能性高。

预测器预测单元342可使用这样的特性、根据PU的大小的关系来估计PU之间的运动矢量或预测器的相关性。

例如，如图14所示，当前PU（C）的大小为64×64，周边PU（L）的大小为64×64，以及周边PU（T）的大小为4×4。在这样的情况下，预测器预测单元342在当前PU（C）与周边PU（L）之间相关；然而，认为与周边PU（T）的相关性低。

即，例如，可将当前PU（C）的大小设置为N×N。在这种情况下，预测器预测单元342在周边PU（L）和周边PU（T）的大小为2N×2N、N×N或N/2×N/2的情况下，使用上述表达式（20）计算predp_C。

另外，在周边PU（T）的大小为2N×2N、N×N或N/2×N/2但周边PU（L）具有另一大小的情况下，预测器预测单元342使用上述表达式（21）来计算predp_C。

此外，在周边PU（L）的大小为2N×2N、N×N或N/2×N/2但周边PU（T）具有另一大小的情况下，预测器预测单元342使用上述表达式（22）来计算predp_C。

另外，在周边PU（L）和周边PU（T）具有除了2N×2N、N×N或N/2×N/2外的另一大小的情况下，预测器预测单元342可不执行预测器的预测。

此外，存在使用NPL3中所提出的MergeFlag来对周边PU（L）和周边PU（T）执行编码处理的可能性。在这种情况下，在使用MergeFlag合并周边PU（T）的运动信息的情况下，可使用表示周边PU（T）的运动信息的索引作为p_T和p_L。相反，在使用MergeFlag合并周边PU（L）的运动信息的情况下，可使用表示周边PU（L）的运动信息的索引作为p_T和p_L。

[编码处理的流程]

接下来，将描述如上所述的图像编码装置300执行的每种处理的流程。首先，将参照图15的流程图描述编码处理的流程的示例。

在步骤S301中，A/D转换器301对输入图像执行A/D转换。在步骤S302中，画面排列缓冲器302存储A/D转换后的图像并对其执行从每个图片的显示顺序到编码顺序的排列。

在步骤S303中，帧内预测单元314执行帧内预测模式的帧内预测处理。在步骤S304中，运动预测和补偿单元315执行在帧间预测模式中执行运动预测或运动补偿的帧间运动预测处理。

在步骤S305中，选择单元316基于从帧内预测单元314以及运动预测和补偿单元315输出的每个成本函数值而确定最优模式。即，选择单元316选择由帧内预测单元314生成的预测图像和由运动预测和补偿单元315生成的预测图像中的任一个。

另外，表示选择了哪个预测图像的选择信息被提供到帧内预测单元314以及运动预测和补偿单元315中选择了该预测图像的一个。在选择了最优帧内预测模式的预测图像的情况下，帧内预测单元314将表示最优帧内预测模式的帧内预测模式信息等提供到无损编码器306。在选择了最优帧间预测模式的预测图像的情况下，运动预测和补偿单元315将表示最优帧间预测模式的信息提供到无损编码器306，并且当需要时将根据最优帧间预测模式的信息提供到无损编码器306。

在步骤S306中，计算单元303计算通过步骤S302中的处理排列的图像与通过步骤S305中的处理选择的预测图像之间的差。预测图像经由选择单元316在帧间预测的情况下从运动预测和补偿单元315被提供到计算单元303，并且在帧内预测的情况下从帧内预测单元314被提供到计算单元303。

与原始图像数据相比，差分数据具有减少的数据量。因此，与按原样对图像进行编码的情况相比，可以压缩数据量。

在步骤S307中，正交变换单元304对通过步骤S306中的处理而生成的差分信息执行正交变换。具体地，执行诸如离散余弦变换或卡洛南洛伊变换的正交变换，并且输出变换系数。

在步骤S308中，量化单元305对通过步骤S307中的处理而获得的正交变换系数执行量化。

通过步骤S308中的处理而量化的差分信息如下被局部解码。即，在步骤S309中，逆量化单元308使用与量化单元305的特性对应的特性对通过步骤S308中的处理而生成的量化后正交变换系数（也称为量化系数）执行逆量化。在步骤S310中，逆正交变换单元309对通过步骤S307中的处理而获得的正交变换系数执行与正交变换单元304的特性对应的逆正交变换。

在步骤S311中，计算单元310将预测图像与局部解码的差分信息相加，并且生成局部解码图像（与计算单元303的输入对应的图像）。在步骤S312中，环路滤波器311对通过步骤S311中的处理而获得的局部解码图像执行包括解块滤波处理或自适应环路滤波处理等的环路滤波处理。

在步骤S313中，帧存储器312存储通过步骤S312中的处理而经受了环路滤波处理的解码图像。另外，还从计算单元310提供没有经受环路滤波器311执行的滤波处理的图像，并且该图像被存储在帧存储器312中。

在步骤S314中，无损编码器306对通过步骤S308中的处理而量化的变换系数进行编码。即，对差分图像执行诸如可变长编码或算术编码的无损编码。

另外，无损编码器306对在步骤S308中算出的量化参数进行编码，并且与编码数据相加。另外，无损编码器306对与通过步骤S305中的处理而选择的预测图像的模式有关的信息进行编码，并且与通过对差分图像进行编码而获得的编码数据相加。即，无损编码器306还对根据从帧内预测单元314提供的最优帧内预测模式信息或从运动预测和补偿单元315提供的最优帧间预测模式的信息等进行编码，并且与编码数据相加。

在步骤S315中，存储缓冲器307存储从无损编码器306输出的编码数据。存储在存储缓冲器307中的编码数据被适当地读出，并且经由传输路径或记录介质而被传送到解码侧。

在步骤S316中，速率控制器317基于通过步骤S315中的处理而存储在存储缓冲器307中的编码数据的编码率（所生成的编码率）而控制量化单元305的量化操作的速率，以使得不会发生上溢或下溢。

当步骤S316中的处理结束时，编码处理结束。

[帧间运动预测处理的流程]

接下来，将参照图16中的流程图说明在图15的步骤S304中执行的帧间运动预测处理的流程。

当帧间运动预测处理开始时，在步骤S331中，运动搜索单元331执行运动搜索并且生成运动信息。

在步骤S332中，运动预测单元341使用周边运动信息而预测当前PU的运动矢量，获得与运动搜索结果的运动矢量的差，使用该差获得最优预测结果，并且使用最优预测结果生成差分运动信息。另外，运动预测单元341生成指示用于获得最优预测结果的预测器的预测器信息。

在步骤S333中，预测器预测单元342使用周边预测器信息来预测当前PU的预测器（获得预测预测器）。

在步骤S334中，比较确定单元343将在步骤S332中生成的预测器信息与在步骤S333中预测的预测预测器信息进行比较，并且确定二者是否匹配。

在步骤S335中，标记生成单元344生成表示步骤S332的比较确定结果的标记信息。

在步骤S336中，成本函数计算单元332计算关于每种帧间预测模式的编码结果的成本函数值。在步骤S337中，模式确定单元333基于在步骤S336中算出的成本函数值而确定最优帧间预测模式。

在步骤S338中，运动补偿单元334使用从帧存储器312获取的参考图像，使用在步骤S337中确定的最优帧间预测模式执行运动补偿。

在步骤S339中，运动补偿单元334通过将通过步骤S338中的运动补偿处理而生成的预测图像像素值经由选择单元316提供到计算单元303来生成差分图像信息，并且通过将该信息提供到计算单元310来生成解码图像。

在步骤S340中，运动补偿单元334将通过步骤S338中的运动补偿处理而生成的最优模式信息提供到无损编码器306，并且对该信息进行编码。

在步骤S341中，运动信息缓冲器335获取步骤S338中的运动补偿处理所使用的运动信息或预测器信息，并且存储该信息。这些信息用作此后按时间顺序对其他PU执行的编码处理中的周边PU的信息。

当步骤S341的处理结束时，运动信息缓冲器335结束帧间运动预测处理并且将处理返回到图15中的步骤S304，并且执行步骤S305之后的处理。

如上所述，通过执行各个处理，图像编码装置300在帧间预测中通过周边PU的预测器而预测当前PU的预测器，并且能够使用该预测预测器而执行运动预测。通过使用这样的预测预测器，在基于周边PU的运动信息而预测当前PU的运动矢量的情况下，可以不执行预测器信息的编码，并且图像编码装置300能够提高编码效率。

<2.第二实施例>

[图像解码装置]

图17是示出图像解码装置的主要配置示例的框图。图17所示的图像解码装置400是与图11的图像编码装置300对应的解码装置。由图像编码装置300编码的编码数据经由任意路线（诸如，例如传输路径或记录介质）而被提供到图像解码装置400，并且被解码。

如图17所示，图像解码装置400包括存储缓冲器401、无损解码器402、逆量化单元403、逆正交变换单元404、计算单元405、环路滤波器406以及画面排列缓冲器407和D/A转换器408。另外，图像解码装置400包括帧存储器409、选择单元410、帧内预测单元411、运动预测和补偿单元412以及选择单元413。

图像解码装置400还包括运动信息预测单元421。

存储缓冲器401存储被传送至此的编码数据。编码数据是由图像编码装置300编码的。无损解码器402在预定定时从存储缓冲器401读出编码数据，并且利用与图11中的无损编码器306的编码方法对应的方法对数据进行解码。

另外，在当前帧被帧内编码的情况下，帧内预测模式信息容纳在编码数据的报头部分中。无损解码器402还对帧内预测模式信息进行解码，并且将该信息提供到帧内预测单元411。相比之下，在帧被帧间编码的情况下，运动矢量信息或帧间预测模式信息容纳在编码数据的报头部分中。无损解码器402还对该运动矢量信息或帧间预测模式信息进行解码，并且将该信息提供到运动预测和补偿单元412。

逆量化单元403使用与图11的量化单元305的量化方法对应的方法，对通过由无损解码器402进行解码而获得的系数数据（量化系数）执行逆量化。换言之，逆量化单元403使用与图11的逆量化单元308类似的方法对量化系数执行逆量化。

逆量化单元403将经受了逆量化的系数数据（即，正交变换系数）提供到逆正交变换单元404。逆正交变换单元404使用与图11中的正交变换单元304的正交变换方法对应的方法（与图11中的逆正交变换单元309类似的方法）对该正交变换系数执行逆正交变换。逆正交变换单元404通过逆正交变换处理获得与在图像编码装置300中执行正交变换之前的残差数据对应的残差数据。例如，执行四阶逆正交变换。

通过执行逆正交变换而获得的解码后残差数据被提供到计算单元405。另外，在计算单元405中，预测图像经由选择单元413而从帧内预测单元411或运动预测和补偿单元412提供。

计算单元405将解码后残差数据和预测图像相加，并且获得与图像编码装置300的计算单元303减去预测图像之前的图像数据对应的解码后图像数据。计算单元405将解码后图像数据提供到解块滤波器406。

环路滤波器406适当地对所提供的解码后图像执行包括解块滤波处理或自适应环路滤波处理的环路滤波处理，并且将其提供到画面排列缓冲器407。

环路滤波器406对从计算单元405提供的解码后图像执行适当的滤波处理，包括解块滤波或自适应环路滤波等。例如，环路滤波器406通过对解码图像执行解块滤波处理而去除解码后图像的块化效果。另外，例如，环路滤波器406通过对解块滤波处理结果（对其执行了块化效果去除的解码后图像）执行使用维纳滤波器的环路滤波处理来执行图像质量提高。

另外，环路滤波器406可对解码图像执行任意滤波处理。另外，环路滤波器406可使用从图11中的图像编码装置300提供的滤波器系数来执行滤波处理。

环路滤波器406将滤波处理结果（滤波处理之后的解码后图像）提供到画面排列缓冲器407和帧存储器409。另外，从计算单元405输出的解码后图像可被提供到画面排列缓冲器407或帧存储器409而无需通过环路滤波器406。换言之，可以不执行使用环路滤波器406的滤波处理。

画面排列缓冲器407执行图像的排列。换言之，按原始显示顺序排列由图11的画面排列缓冲器302针对编码顺序而排列的帧顺序。D/A转换器408对从画面排列缓冲器407提供的图像执行D/A转换，并且将该图像输出并显示在图中未示出的显示器上。

帧存储器409存储所提供的解码后图像并且在预定定时或基于来自外部（诸如帧内预测单元411或运动预测和补偿单元412等）的请求而将所存储的解码后图像作为参考图像提供到选择单元410。

选择单元410选择从帧存储器409提供的参考图像的提供目的地。在对帧内编码图像进行解码的情况下，选择单元410将从帧存储器409提供的参考图像提供到帧内预测单元411。另外，在对帧间编码图像进行解码的情况下，选择单元410将从帧存储器409提供的参考图像提供到运动预测和补偿单元412。

在帧内预测单元411中，适当地从无损解码器402提供表示通过对报头信息进行解码而获得的帧内预测模式的信息等。帧内预测单元411以帧内预测单元314所使用的帧内预测模式、使用从帧存储器409获取的参考图像来执行帧内预测，并且生成预测图像。即，与帧内预测单元314类似，帧内预测单元411能够使用除在AVC编码方法中规定的模式之外的任意模式来执行帧内预测。

帧内预测单元411将所生成的预测图像提供到选择单元413。

运动预测和补偿单元412从无损解码器402获取通过对报头信息进行解码而获得的信息（诸如预测模式信息、运动矢量信息、参考帧信息、标记和各种参数）。

运动预测和补偿单元412使用在运动预测和补偿单元315中所使用的帧间预测模式，使用从帧存储器409获取的参考图像执行帧间预测，并且生成预测图像。即，与运动预测和补偿单元315类似，运动预测和补偿单元412能够使用除在AVC编码方法中规定的模式之外的任意模式来执行帧间预测。

与运动预测和补偿单元212的情况类似，运动预测和补偿单元412将所生成的预测图像提供到选择单元413。

选择单元413选择被提供到计算单元405的预测图像的提供目的地。即，选择单元413将由运动预测和补偿单元412或帧内预测单元411生成的预测图像提供到计算单元405。

运动信息预测单元421生成在运动预测和补偿单元412的处理中使用的预测运动信息。

[运动预测和补偿单元以及运动信息预测单元]

图18是示出图17的运动预测和补偿单元412以及运动信息预测单元421的主要配置示例的框图。

如图18所示，运动预测和补偿单元412包括最优模式信息缓冲器431、模式确定单元432、运动信息重构单元433、运动补偿单元434和运动信息缓冲器435。

另外，如图18所示，运动信息预测单元421包括预测预测器信息重构单元441、预测运动信息重构单元442和预测器信息缓冲器443。

在帧间编码的情况下，运动预测和补偿单元412的最优模式信息缓冲器431获取在无损解码器402中从编码数据提取的最优模式信息，并且存储该信息。最优模式信息缓冲器431在预定定时或者基于来自外部（诸如，例如模式确定单元432）的请求而将包括在当前PU的最优模式信息中的、当前PU的表示在图像编码装置300中采用的帧间预测模式的模式信息、与参照图12描述的预测器（Predictor）的预测有关的标记信息和预测器信息等提供到模式确定单元432。

模式确定单元432基于这些信息确定图像编码装置300中所采用的帧间预测模式。

在图像编码装置300中，在确定采用由根据输入图像与参考图像之间的差的运动矢量确定的模式的情况下，模式确定单元432将确定结果提供到最优模式信息缓冲器431。

最优模式信息缓冲器431基于确定结果而将最优模式信息中包括的当前PU的运动信息提供到运动补偿单元434。

运动补偿单元434从最优模式信息缓冲器431获取从图像编码装置300提供的当前PU的运动信息，并且经由选择单元410从帧存储器409获取与该运动信息对应的参考图像。运动补偿单元434使用从帧存储器409读出的参考图像像素值而生成预测图像，并且经由选择单元413将该预测图像像素值提供到计算单元405。

另外，运动补偿单元434将在运动补偿中使用的当前PU的运动信息提供到运动信息缓冲器435并且存储该信息。存储在运动信息缓冲器435中的运动信息在此后按时间顺序处理的其他PU的处理中用作位于当前PU周边的周边PU的运动信息（周边运动信息）。另外，“周边”包括“与…相邻”和“在…附近”。换言之，周边PU包括与当前PU相邻的相邻PU和位于当前PU附近的邻近PU。在表示指定PU的情况下，可表示相邻PU和邻近PU中的任一个。

另外，在图像编码装置300中，在确定采用根据周边PU的运动矢量来预测当前PU的运动矢量的模式的情况下，模式确定单元432将当前PU的预测器信息提供到运动信息预测单元421的预测运动信息重构单元442，同时将确定结果提供到最优模式信息缓冲器431。

预测运动信息重构单元442从运动预测和补偿单元412的运动信息缓冲器435获取当前PU的预测器信息并且获取在过去处理的周边PU的运动信息（周边运动信息）。预测运动信息重构单元442使用由当前PU的预测器信息表示的预测器（预测器（Predictor））来根据周边运动信息预测当前PU的运动信息（重构预测运动信息）。预测运动信息重构单元442将重构的预测运动信息提供到运动预测和补偿单元412的运动信息重构单元433。

从模式确定单元432获取了确定结果的最优模式信息缓冲器431将当前PU的最优模式信息中包括的当前PU的差分运动信息提供到运动信息重构单元433。

运动信息重构单元433从预测运动信息重构单元442获取预测运动信息，从最优模式信息缓冲器431获取差分运动信息，将运动预测信息与差分运动信息相加，并且重构当前PU的运动信息。运动信息重构单元433将重构的PU的运动信息提供到运动补偿单元434。

与上述情况类似，运动补偿单元434从帧存储器409读出与从运动信息重构单元433提供的当前PU的运动信息对应的参考图像，生成预测图像，并且经由选择单元413将该预测图像像素值提供到计算单元405。

另外，与上述情况类似，运动补偿单元434将在运动补偿中使用的当前PU的运动信息提供到运动信息缓冲器435并且存储该信息。此外，预测运动信息重构单元442将当前PU的预测器信息提供到预测器信息缓冲器443，并且存储该信息。存储在预测器信息缓冲器443中的预测器信息用作在此后按时间顺序处理的其他PU的处理中的周边PU的预测器信息（周边预测器信息）。

此外，在图像编码装置300中，在确定采用根据周边PU的预测器来预测当前PU的预测器的模式的情况下，模式确定单元432将指示对预测预测器信息的重构的预测指令提供到运动信息预测单元421的预测预测器信息重构单元441，同时将确定结果提供到最优模式信息缓冲器431。

预测预测器信息重构单元441遵照预测指令执行预测器预测信息的重构。预测预测器信息重构单元441从预测器信息缓冲器443获取周边PU的预测器信息（周边预测器信息），并且利用与参照图13和图14描述的预测器预测单元342相同的方法、使用周边预测器信息来预测当前PU的预测器（predpC）（重构预测预测器信息）。

预测预测器信息重构单元441将重构的预测预测器信息提供到预测运动信息重构单元442。

与上述情况类似，预测运动信息重构单元442使用表示预测预测器信息的预测器而从运动信息缓冲器435获取周边运动信息，并且根据周边运动信息预测当前PU的运动信息（重构预测运动信息）。预测运动信息重构单元442将重构的预测运动信息提供到运动信息重构单元433。

与上述情况类似，最优模式信息缓冲器431将当前PU的差分运动信息提供到运动信息重构单元433。与上述情况类似，运动信息重构单元433通过将预测运动信息与差分运动信息相加来重构当前PU的运动信息。运动信息重构单元433将重构的PU的运动信息提供到运动补偿单元434。

另外，与上述情况类似，运动补偿单元434将用在运动补偿中的当前PU的运动信息提供到运动信息缓冲器435并且存储该信息。此外，与上述情况类似，预测运动信息重构单元442将当前PU的预测器信息提供到预测器信息缓冲器443，并且存储该信息。

如上所述，运动预测和补偿单元412和运动信息预测单元421基于从图像编码装置300提供的信息，通过重构预测预测器信息、重构预测运动信息或重构运动信息来适当地执行运动预测和运动补偿，并且能够生成帧间编码预测图像。因此，图像解码装置400能够适当地对由图像编码装置300获得的编码数据进行解码。换言之，图像解码装置400能够实现对从图像编码装置300输出的编码数据的编码效率的提高。

[解码处理的流程]

接下来，将描述由如上所述的图像解码装置400执行的各个处理的流程。首先，将参照图19中的流程图描述解码处理的流程的示例。

当解码处理开始时，在步骤S401中，存储缓冲器401存储被传送至此的编码数据。在步骤S402中，无损解码器402对从存储缓冲器401提供的编码数据（通过由图像编码装置300对图像数据进行编码而提供的编码数据）进行解码。

在步骤S403中，逆量化单元403使用与图11的量化单元305的量化处理对应的方法，对通过无损解码器402进行解码而获得的量化后正交变换系数执行逆量化。在步骤S404中，逆正交变换单元404使用与图11的正交变换单元304的正交变换处理对应的方法，对通过由逆量化单元403进行逆量化而获得的正交变换系数执行逆正交变换。这样，对与图11中的正交变换单元304的输入（计算单元303的输出）对应的差分信息进行解码。

在步骤S405中，帧内预测单元411以及运动预测和补偿单元412执行预测处理，并且生成预测图像。

在步骤S406中，选择单元413选择通过步骤S405中的处理生成的预测图像。换言之，在选择单元413中，提供由帧内预测单元411生成的预测图像或由运动预测和补偿单元412生成的预测图像。选择单元413选择向其提供预测图像的一方并且将预测图像提供到计算单元405。

在步骤S407中，计算单元405将在步骤S406中选择的预测图像与通过步骤S404中的处理获得的差分信息相加。这样，对原始图像数据进行解码。

在步骤S408中，环路滤波器406对通过步骤S407中的处理获得的解码后图像执行适当滤波。

在步骤S409中，画面排列缓冲器407对在步骤S408中适当滤波后的解码图像的帧执行排列。换言之，将由图像编码装置300的画面排列缓冲器302（图11）排列用于编码的帧顺序排列为原始显示顺序。

在步骤S410中，D/A转换器408对在步骤S409中排列了其帧的解码后图像执行D/A转换。解码后图像数据被输出到图中未示出的显示器，并且显示该图像。

在步骤S411中，帧存储器409存储在步骤S408中适当滤波后的解码后图像。

当步骤S411的处理结束时，帧存储器409结束解码处理。

[预测处理的流程]

接下来，将参照图20中的流程图说明在图19的步骤S405中执行的预测处理的流程。

当预测处理开始时，在步骤S431中，无损解码器402确定当前PU是否被帧内编码。在确定当前PU被帧内编码的情况下，无损编码器402的处理前进到步骤S432。

在步骤S432中，帧内预测单元411从无损解码器402获取帧内预测模式信息。在步骤S433中，帧内预测单元411执行帧内预测并且生成预测图像。当步骤S433的处理结束时，帧内预测单元411结束预测处理，处理返回到图19中的步骤S405，并且执行步骤S406之后的处理。

另外，在图20的步骤S431中，在确定帧间编码的情况下，无损解码器402的处理前进到步骤S434。在步骤S434中，运动预测和补偿单元412执行帧间预测处理，并且使用帧间预测来生成预测图像。当步骤S434的处理结束时，运动预测和补偿单元412结束预测处理，处理返回到图19中的步骤S405，并且执行步骤S406之后的处理。

[帧间预测处理的流程]

接下来，将参照图21中的流程图说明在图20的步骤S434中执行的帧间预测处理的流程。

当帧间预测处理开始时，在步骤S451中，最优模式信息缓冲器431获取由无损解码器402从编码数据提取的并且从编码装置300提供的最优模式信息，并且存储该信息。

在步骤S452中，模式确定单元432基于在步骤S451中存储在最优模式信息缓冲器431中的最优模式信息，确定在图像编码装置300中采用的运动预测的模式。

在步骤S453中，模式确定单元432基于步骤S452的确定结果，确定模式是否是当前PU的运动信息包括在当前PU的最优模式信息中的模式。在确定不是这样的模式的情况下，模式确定单元432的处理前进到步骤S454。

在步骤S454中，模式确定单元432基于步骤S452的确定结果，确定模式是否是当前PU的预测器信息包括在当前PU的最优模式信息中的模式。在确定不是这样的模式的情况下，模式确定单元432的处理前进到步骤S455。

在该情况下，模式确定单元432确定在图像编码装置300中采用根据周边PU的预测器预测当前PU的预测器的模式。

因此，在步骤S455中，预测预测器信息重构单元441从预测器信息缓冲器443获取周边预测器信息。在步骤S456中，预测预测器信息重构单元441根据在步骤S455中获取的周边预测器信息重构当前PU的预测预测器信息。

在步骤S457中，预测运动信息重构单元442从运动信息缓冲器435获取周边运动信息。在步骤S458中，预测运动信息重构单元442使用在步骤S456中重构的预测预测器信息，根据在步骤S457中获取的周边运动信息重构当前PU的预测运动信息。

在步骤S459中，预测器信息缓冲器443存储在步骤S458中使用的当前PU的预测预测器信息（预测器信息）。

在步骤S460中，运动信息重构单元442根据最优模式信息中包括的差分运动信息和在步骤S458中重构的预测运动信息而重构当前PU的运动信息。

在步骤S461中，运动补偿单元434使用在步骤S460中重构的运动信息对从帧存储器409获取的参考图像执行运动补偿。

在步骤S462中，运动信息缓冲器435存储在步骤S461的运动补偿中使用的当前PU的运动信息。

当步骤S462的处理结束时，运动信息缓冲器435结束帧间运动预测处理，将处理提供到图20中的步骤S434，并且结束预测处理。

另外，在图21的步骤S454中，在确定模式是当前PU的预测器信息包括在当前PU的最优模式信息中的模式的情况下，模式确定单元432的处理进行到步骤S463。

在该情况下，模式确定单元432确定在图像编码装置300中采用根据当前PU的运动矢量预测周边PU的运动矢量的模式。

因此，在步骤S463中，预测运动信息重构单元442从运动信息缓冲器435获取周边运动信息。在步骤S464中，预测运动信息重构单元442使用最优模式信息中包括的预测器信息，根据在步骤S463中获取的周边运动信息重构当前PU的预测运动信息。

当步骤S464的处理结束时，预测运动信息重构单元442将处理返回到步骤S459，并且使用通过步骤S464的处理重构的当前PU的预测运动信息来执行随后处理。

另外，在步骤S453中，在确定模式是当前PU的运动信息包括在当前PU的最优模式信息中的模式的情况下，模式确定单元432的处理进行到步骤S461。

在该情况下，模式确定单元432确定在图像编码装置300中采用根据当前PU的差分输入图像和预测图像来获得当前PU的运动信息的模式。因此，在该情况下，使用最优模式中包括的当前PU的运动信息来执行步骤S461之后的处理。

如上所述，图像解码装置400能够通过执行各种处理而实现对从图像编码装置300输出的编码数据的编码效率的提高。

此外，在以上，预测器预测单元342和预测预测器信息重构单元441被说明为使用表达式（20）来根据周边PU的预测器来预测当前PU的预测器（省略了如表达式（21）或表达式（22）中仅存在一个选择选项的情况的描述）。即，预测器预测单元342和预测预测器信息重构单元441被描述为采用具有最小索引的周边PU的预测器作为当前PU的预测器。

然而，预测器预测单元342和预测预测器信息重构单元441不限于此，并且能够使用任意方法来根据周边PU的预测器生成当前PU的预测器。例如，可采用索引最大的周边PU的预测器作为当前PU的预测器，或者可采用取索引的中间值的预测器作为当前PU的预测器。

另外，在以上，描述是使得最优模式信息包括在编码数据中；然而，最优模式信息可包括任意位置的编码数据。例如，数据可容纳在NAL（网络抽象层）中，诸如序列参数集（SPS（Sequence Parameter Set））或图片参数集（PPS（Picture Parameter Set）），或者可容纳在VCL（视频编码层）中。另外，例如，也可容纳在SEI（补充增强信息）等中。

此外，最优模式信息可与编码数据分开被传送到解码侧。在该情况下，需要阐明最优模式信息与编码数据之间的对应关系（以便能够在解码侧进行确认）；然而，方法可以是任意的。例如，可创建表示对应关系的单独表信息，或者表示对应目的地的链接信息可嵌入在每个数据项中。

另外，在以上，已描述为使得使用PU作为帧内预测或帧间预测（包括以下处理：诸如运动搜索（运动信息的生成）、运动矢量的预测（差分运动信息的生成）、预测器的预测（预测预测器信息的生成）、预测预测器信息的重构、预测运动信息的重构以及运动信息的重构）的处理单位（预测处理单位）；然而，预测处理单位可以是除PU之外的任意单位。例如，单位可以是CU、TU、宏块或子宏块等，或者可以是另一区域（块）。换言之，任意大小的区域（诸如CU、PU、TU、宏块、子宏块等）包括在被设置为预测处理单位的区域（块）中。

因此，例如，作为处理目标的当前PU也被称为当前块。另外，上述周边PU、相邻PU和邻近PU也分别被称为周边块、相邻块和邻近块。此外，与当前PU的上部相邻的PU、与左部相邻的PU、与左上部相邻的PU以及与右上部相邻的PU也分别被称为上部相邻块、左部相邻块、左上部相邻块和右上部相邻块。另外，在时间方向上与当前PU相邻以处于相同位置的PU也称为同位块。

<3.第三实施例>

[个人计算机]

上述系列处理可由硬件来执行或者也可由软件来执行。在该情况下，例如，配置可为如图22所示的个人计算机。

在图22中，个人计算机500的CPU（中央处理单元）501根据存储在ROM（只读存储器）502中的程序或者从存储单元513加载到RAM（随机存取存储器）503的程序而执行各种处理。RAM503或CPU501适当地存储执行各种处理时所需的数据。

CPU501、ROM502和RAM503经由总线504相互连接。输入和输出接口510也连接到总线504。

由键盘、鼠标等构成的输入单元511、由显示器（由CRT（阴极射线管）或LCD（液晶显示器）等构成）和扬声器等构成的输出单元512、由硬盘等构成的存储单元513以及由调制解调器等构成的通信单元514连接到输入输出接口510。通信单元514经由包括互联网的网络执行通信处理。

驱动器515还在需要时连接到输入输出接口510，适当地配备可拆卸介质521（诸如磁盘、光盘、磁光盘或半导体存储器），并且从可拆卸介质521读出的计算机程序在需要时被安装到存储单元513。

在通过软件执行上述系列处理的情况下，构成该软件的程序从网络或存储介质来安装。

如图22所示的记录介质例如不仅由与装置主体分离的、程序记录在其上并且被分发以将程序递送到用户的磁盘（包括软盘）、光盘（包括CD-ROM（光盘-只读存储器）或DVD（数字多功能盘））、磁光盘（包括MD（迷你盘））或由半导体存储器构成的可拆卸介质521构成，并且也可由以被预先合并到装置主体的状态、程序被记录在其上并且被递送到用户的ROM502、包括在存储单元513中的硬盘等构成。

另外，由计算机执行的程序可以是按照说明书中描述的顺序以时间顺序执行处理的程序，或者可以是并行地或者在所需定时（诸如当调用时）执行处理的程序。

另外，在说明书中，描述记录在记录介质上的程序的步骤自然是按照所公开的顺序以时间顺序执行的处理，但是不一定仅是以时间顺序处理的，并且包括并行地或单独地执行的处理。

另外，在说明书中，系统表示由多个装置（单个装置）构成的总体装置。

另外，在以上，被描述为单个装置（或处理单元）的配置可被划分为多个装置（或处理单元）并且可由多个装置（或处理单元）构成。相反，以上被描述为多个装置（或处理单元）的配置可通过集成为单个装置（或处理单元）来构成。另外，除以上之外的配置自然可被添加到每个装置（或每个处理单元）的配置。此外，如果总体系统配置或操作基本相同，则给定装置（或处理单元）的配置的一部分可包括在另一装置（或另一处理单元）的配置中。换言之，本技术的实施例不限于上述实施例，并且可在不背离本技术的主旨的范围内进行各种修改。

例如，图12所示的运动预测和补偿单元315以及运动信息预测单元321可分别被配置为独立的装置。另外，图12所示的运动搜索单元331、成本函数计算单元332、模式确定单元333、运动补偿单元334、运动信息缓冲器335、运动预测单元341、预测器预测单元342、比较确定单元343和标记生成单元344可分别被配置为独立的装置。

另外，这些各种处理单元可被任意组合和配置为独立的装置。自然地，可与图11和图12所示的任意处理单元组合，并且可与图中未示出的处理单元组合。

这同样适用于图像解码装置400。例如，图19所示的运动预测和补偿单元412以及运动信息预测单元421可分别被配置为独立的装置。另外，最优模式信息缓冲器431、模式确定单元432、运动信息重构单元433、运动补偿单元434、运动信息缓冲器435、预测预测器信息重构单元441、预测运动信息重构单元442和预测器信息缓冲器443可分别被配置为独立的装置。

另外，这些各种处理单元可被任意组合和配置为独立的装置。自然地，这些各种处理单元可与图18和图19所示的任意处理单元组合，并且可与图中未示出的处理单元组合。

另外，例如，上述图像编码装置或图像解码装置可被应用于任意电子装置。以下将描述示例。

<4.第四实施例>

[电视接收机]

图23是示出使用图像解码装置400的电视接收机的主要配置示例的框图。

图23所示的电视接收机1000包括地面调谐器1013、视频解码器1015、视频信号处理电路1018、图形生成电路1019、面板驱动电路1020和显示面板1021。

地面调谐器1013经由天线接收地面模拟广播的广播波信号，对信号进行解调，获取视频信号并且将这些提供到视频解码器1015。视频解码器1015对从地面调谐器1013提供的视频信号执行解码处理，并且将所获得的数字分量信号提供到视频信号处理电路1018。

视频信号处理电路1018对从视频解码器1015提供的视频数据执行诸如去噪的预定处理，并且将所获得的视频数据提供到图形生成电路1019。

图形生成电路1019生成显示在显示面板1021上的节目的视频数据或通过基于经由网络提供的应用的处理的图像数据，并且将所生成的视频数据或图像数据提供到面板驱动电路1020。另外，图形生成电路1019生成用于用户对项进行选择等时所使用的画面的显示的视频数据（图形），并且适当地执行处理，诸如将通过将数据叠加在节目的视频数据上而获得的视频数据提供到面板驱动电路1020。

面板驱动电路1020基于从图形生成电路1019提供的数据而驱动显示面板1021，并且使得显示面板1021显示节目的视频或上述各种画面。

显示面板1021由LCD（液晶显示器）等构成，并且根据面板驱动电路1020的控制而显示节目的视频等。

另外，电视接收机1000还包括音频A/D（模拟/数字）转换电路1014、音频信号处理电路1022、回声消除和音频合成电路1023、音频放大电路1024和扬声器1025。

地面调谐器1013通过对所接收的广播波信号进行解调，不仅获取视频信号而且获取音频信号。地面调谐器1013将所获取的音频信号提供到音频A/D转换电路1014。

音频A/D转换电路1014对从地面调谐器1013提供的音频信号执行A/D转换处理，并且将所获得的数字音频信号提供到音频信号处理电路1022。

音频信号处理电路1022对从音频A/D转换电路1014提供的音频数据执行诸如去噪的预定处理，并且将所获得的音频数据提供到回声消除和音频合成电路1023。

回声消除和音频合成电路1023将从音频信号处理电路1022提供的音频数据提供到音频放大电路1024。

音频放大电路1024对从回声消除和音频合成电路1023提供的音频数据执行D/A转换处理和放大处理，并且在调制为预定音量之后从扬声器1025输出音频。

此外，电视接收机1000还包括数字调谐器1016和MPEG解码器1017。

数字调谐器1016经由天线接收数字广播（地面数字广播，BS（广播卫星）/CS（通信卫星）数字广播）的广播波信号，对信号进行解调，获取MPEG-TS（运动图片专家组-传输流），并且将其提供到MPEG解码器1017。

MPEG解码器1017清除对从数字调谐器1016提供的MPEG-TS执行的加扰，并且提取包括作为再现目标（观看目标）的节目的数据的流。MPEG解码器1017对构成所提取的流的音频分组进行解码，同时将所获得的音频数据提供到音频信号处理电路1022，对构成流的视频分组进行解码，并且将所获得的视频数据提供到视频信号处理电路1018。另外，MPEG解码器1017将从MPEG-TS提取的EPG（电子节目指南）数据经由图中未示出的路线提供到CPU1032。

电视接收机1000使用上述图像解码装置400作为对这样的视频分组进行解码的MPEG解码器1017。另外，由广播站等传送的MPEG-TS是由图像编码装置300编码的。

与图像解码装置400的情况类似，MPEG解码器1017根据周边PU的预测器信息重构当前PU的预测预测器信息，使用该重构的预测预测器信息来重构当前PU的预测运动信息，使用该重构的预测运动信息来重构当前PU的运动信息，使用该重构的运动信息来执行运动补偿，并且适当地生成帧间编码预测图像。因此，MPEG解码器1017能够适当地对在编码侧使用根据周边PU的预测器来预测当前PU的预测器的模式而生成的编码后数据进行解码。这样，MPEG解码器1017能够实现对编码效率的提高。

与从视频解码器1015提供的视频数据的情况类似，从MPEG解码器1017提供的视频数据经受视频信号处理电路1018中的预定处理，所生成的视频数据等被适当地叠加在图形生成电路1019中，经由面板驱动电路1020被提供到显示面板1021，并且显示图像。

与从音频A/D转换电路1014提供的音频数据的情况类似，从MPEG解码器1017提供的音频数据经受音频信号处理电路1022中的预定处理，经由回声消除和音频合成电路1023被提供到音频放大电路1024，并且经受D/A转换处理或放大处理。结果，被调制到预定音量的音频从扬声器1025输出。

另外，电视接收机1000还包括麦克风1026和A/D转换电路1027。

A/D转换电路1027接收由电视接收机1000中作为音频会话装置设置的麦克风1026并入的用户音频信号，对所接收的音频信号执行A/D转换处理，并且将所获得的数字音频数据提供到回声消除和音频合成电路1023。

在电视接收机1000的用户（用户A）的音频数据是从A/D转换电路1027提供的情况下，回声消除和音频合成电路1023对作为目标的用户A的音频数据执行回声消除，并且经由音频放大电路1024由扬声器1025输出通过与其他音频数据进行合成等而获得的音频数据。

此外，电视接收机1000包括音频编解码器1028、内部总线1029、SDRAM（同步动态随机存取存储器）1030、闪存1031、CPU1032、USB（通用串行总线）I/F1033和网络I/F1034。

A/D转换电路1027接收由在电视接收机1000中作为音频会话装置设置的麦克风1026并入的用户音频信号，对所接收的音频信号执行A/D转换处理，并且将所获得的数字音频数据提供到音频编解码器1028。

音频编解码器1028将从A/D转换电路1027提供的音频数据转换成具有用于通过网络进行传送的预定格式的数据，并且经由内部总线1029将数据提供到网络I/F1034。

网络I/F1034经由附接到网络端子1035的线缆连接到网络。网络I/F1034将从音频编解码器1028提供的音频数据传送到例如连接到网络的其他装置。另外，网络I/F1034通过例如网络端子1035接收从经由网络连接的其他装置传送的音频数据，并且经由内部总线1029将该数据提供到音频编解码器1028。

音频编解码器1028将从网络I/F1034提供的音频数据转换为预定格式的数据，并且将其提供到回声消除和音频合成电路1023。

回声消除和音频合成电路1023对从音频编解码器1028提供的音频数据执行回声消除，并且经由音频放大电路1024由扬声器1025输出通过与其他音频数据进行合成等而获得的音频数据。

SDRAM1030存储CPU1032在执行处理时所需的各种类型的数据。

闪存1031存储由CPU1032执行的程序。在预定定时（诸如在激活电视接收机1000时）由CPU1032读出存储在闪存1031中的程序。经由数字广播获取的EPG数据、经由网络从预定服务器获取的数据等也存储在闪存1031中。

例如，包括根据CPU1032的控制而经由网络从预定服务器获取的内如数据的MPEG-TS存储在闪存1031中。闪存1031例如根据CPU1032的控制而经由内部总线1029将MPEG-TS提供到MPEG解码器1017。

与从数字调谐器1016提供的MPEG-TS的情况类似，MPEG解码器1017对MPEG-TS进行处理。这样的电视接收机1000经由网络接收由视频和音频等构成的内容数据，使用MPEG解码器1017对数据进行解码，并且能够显示视频或输出音频。

另外，电视接收机1000包括接收从远程控制器1051传送的红外信号的光接收单元1037。

光接收单元1037从远程控制器1051接收红外线，并且将表示通过解调获得的用户操作内容的控制码输出到CPU1032。

CPU1032执行存储在闪存1031中的程序，并且根据从光接收单元1037提供的控制码等而控制电视接收机1000的总体操作。CPU1032和电视接收机1000的各个单元经由图中未示出的路线而连接。

USB I/F1033与经由附接到USB端子1036的USB线缆而连接的电视接收机1000的外部装置执行数据的传送和接收。网络I/F1034经由附接到网络端子1035的线缆连接到网络，并且还与连接到网络的各种装置执行除音频数据之外的数据的传送和接收。

电视接收机1000能够通过使用图像解码装置400作为MPEG解码器1017而实现对经由天线接收的广播波信号或经由网络获取的内容数据的编码效率的提高。

<5.第五实施例>

[便携式电话]

图24是示出使用图像编码装置300和图像解码装置400的便携式电话的主要配置示例的框图。

图24所示的便携式电话1100包括被配置成整体控制各个单元的主控制器1150、电源电路单元1151、操作输入控制器1152、图像编码器1153、摄像装置I/F1154、LCD控制器1155、图像解码器1156、复用和分离单元1157、记录和再现单元1162、调制和解调电路单元1158和音频编解码器1159。这些经由总线1160相互连接。

另外，便携式电话1100包括操作键1119、CCD（电荷耦合器件）摄像装置1116、液晶显示器1118、存储单元1123、传送和接收电路单元1163、天线1114、麦克风（麦克）1121和扬声器1117。

当通过用户的操作结束呼叫并且将电源键设置为开启状态时，电源电路单元1151通过将来自电池组的电力提供到各个单元而激活便携式电话1100进入可操作状态。

便携式电话1100基于由CPU、ROM和RAM等构成的主控制器1150进行的控制而执行各种操作，诸如音频信号的传送和接收、电子邮件或图像数据的传送和接收、各种模式（诸如音频呼叫模式或数据通信模式）下的图像捕获或数据存储。

例如，在音频呼叫模式下，便携式电话1100使用音频编解码器1159将由麦克风（麦克）1121收集的音频信号转换成数字音频数据，利用调制和解调电路单元1158对该数字音频数据执行频谱扩展处理，并且利用传送和接收电路单元1163执行数字模拟转换处理和频率转换处理。便携式电话1100经由天线1114将通过转换处理获得的传送信号传送到图中未示出的基站。传送到基站的传送信号（音频信号）经由公共电话网络被提供到会话对方的便携式电话。

另外，例如，在音频呼叫模式下，便携式电话1100利用传送和接收电路单元1163放大由天线1114接收的接收信号，进一步执行频率转换处理和模拟数字转换处理，使用调制和解调电路单元1158执行频谱扩展处理，并且使用音频编解码器1159转换模拟音频信号。便携式电话1100从扬声器1117输出通过该转换获得的模拟音频信号。

此外，例如，在数据传送模式下传送电子邮件的情况下，便携式电话1100在操作输入控制器1152中接收通过操作键1119的操作而输入的电子邮件的文本数据。便携式电话1100在主控制器1150中处理文本数据，并且经由LCD控制器1155在液晶显示器1118上将数据显示为图像。

另外，便携式电话1100在主控制器1150中基于操作输入控制器1152接收的文本数据或者用户指令等而生成电子邮件数据。便携式电话1100使用调制和解调电路单元1158对电子邮件数据执行频谱扩展处理，并且使用传送和接收电路单元1163执行数字模拟转换处理和频率转换处理。便携式电话1100经由天线1114将通过转换处理获得的传送信号传送到图中未示出的基站。被传送到基站的传送信号（电子邮件）经由网络和邮件服务器等被提供到预定目的地。

另外，例如，在数据通信模式下接收电子邮件的情况下，便携式电话1100经由天线1114使用传送和接收电路单元1163接收从基站传送的信号，放大该信号，并且进一步执行频率转换处理和模拟数字转换处理。便携式电话1100通过使用调制和解调电路单元1158执行接收信号的频谱扩展处理而恢复原始电子邮件数据。便携式电话1100经由LCD控制器1155将恢复的电子邮件数据显示在液晶显示器1118上。

另外，便携式电话1100能够经由记录和再现单元1162将所接收的电子邮件数据记录（存储）在存储单元1123中。

存储单元1123是可重写任意存储介质。存储单元1123例如可以是诸如RAM或内置闪存的半导体存储器，可以是硬盘，或者可以是诸如磁盘、磁光盘、光盘、USB存储器或存储卡的可拆卸介质。自然，可使用除这些之外的存储器。

此外，例如，在数据传送模式下传送图像数据的情况下，便携式电话1100利用CCD摄像装置1116通过图像捕获而生成图像数据。CCD摄像装置1116包括诸如透镜或光圈的光学装置和作为电光转换元件的CCD，捕获主体的图像，将接收光的强度转换为电信号，并且生成主体的图像的图像数据。CCD摄像装置1116经由摄像装置I/F单元1154利用图像编码器1153对该图像数据进行编码，并且将该数据转换为编码图像数据。

便携式电话1100使用上述图像编码装置300作为执行这样的处理的图像编码器1153。与图像编码装置300的情况类似，图像编码器1153在根据周边PU的预测器来预测当前PU的预测器的模式下生成预测图像，并且使用该预测图像生成编码数据。即，图像编码器1153能够不执行对预测器信息的编码。这样，图像编码器1153能够实现编码效率的提高。

另外，同时，便携式电话1100在音频编解码器1159中对在利用CCD摄像装置1116进行图像捕获期间由麦克风（麦克）1121收集的音频执行模拟数字转换，并且进一步对此进行编码。

便携式电话1100在复用和分离单元1157中使用预定方法对从图像编码器1153提供的编码图像数据和从音频编解码器1159提供的数字音频数据进行复用。便携式电话1100利用调制和解调电路单元1158对作为结果而获得的复用数据执行频谱扩展处理，并且使用传送和接收电路单元1163执行数字模拟转换处理和频率转换处理。便携式电话1100经由天线1114将通过转换处理获得的传送信号传送到图中未示出的基站。传送到基站的传送信号（图像数据）经由网络等被提供到通信对方。

另外，在没有传送图像数据的情况下，便携式电话1100能够在不通过图像编码器1153的情况下经由LCD控制器1155在液晶显示器1118上显示由CCD摄像装置1116生成的图像数据。

另外，例如，在数据通信模式下，在接收链接到简单主页的运动图像文件的数据的情况下，便携式电话1100使用传送和接收电路单元1163经由天线1114接收从基站传送的信号，对信号进行放大，并且进一步对其执行频率转换处理以及模拟数字转换处理。便携式电话1100通过使用调制和解调电路单元1158对接收信号执行频谱扩展处理而恢复原始复用数据。便携式电话1100在复用和分离单元1157中分离复用数据并且划分成编码图像数据和音频数据。

便携式电话1100生成再现图像数据，并且通过在图像解码器1156中对编码图像数据进行解码而经由LCD控制器1155在液晶显示器1118上进行显示。这样，例如，在液晶显示器1118上显示链接到简单主页的运动图像文件中包括的运动图像数据。

便携式电话1100使用上述图像解码装置400作为执行这样的处理的图像解码器1156。即，与图像解码装置400的情况类似，图像解码器1156根据周边PU的预测器信息重构当前PU的预测预测器信息，使用该重构的预测预测器信息来重构当前PU的预测运动信息，使用该重构的预测运动信息重构当前PU的运动信息，使用该重构的运动信息执行运动补偿，并且适当地生成帧间编码预测图像。因此，图像解码器1156能够对在编码侧使用根据周边PU的预测器预测当前PU的预测器的模式而生成的编码数据适当进行解码。这样，图像解码器1156能够实现编码效率的提高。

此时，同时，便携式电话1100在音频编解码器1159中将数字音频数据转换为模拟音频数据，并且由扬声器1117输出。这样，例如，再现链接到简单主页的运动图像文件中包括的音频数据。

另外，与电子邮件的情况类似，便携式电话1100能够经由记录和再现单元1162将链接到简单主页等的接收数据记录（存储）在存储单元1123中。

另外，便携式电话1100在主控制器1150中分析由CCD摄像装置1116通过图像捕获而获得的二维码，并且能够获取记录在二维码中的信息。

此外，便携式电话1100能够使用红外通信单元1181通过红外线与外部装置通信。

在通过对在CCD摄像装置1116中生成的图像数据进行编码而进行传送时，便携式电话1100例如能够通过使用图像编码装置300作为图像编码器1153而提高对编码数据的编码效率。

另外，便携式电话1100能够例如通过使用图像解码装置400作为图像解码器1156而实现对链接到简单主页等的运动图像文件的数据（编码数据）的编码效率的提高。

另外，在以上，使用CCD摄像装置1116来描述便携式电话1100；然而，可使用替代CCD摄像装置1116而使用CMOS（互补金属氧化物半导体）的图像传感器（CMOS图像传感器）。同样在该情况下，与使用CCD摄像装置1116的情况类似，便携式电话1100捕获主体的图像并且能够生成主体的图像的图像数据。

另外，以上以便携式电话1100进行描述；然而，任意装置可以以与便携式电话1100的情况相同的方式而应用实施例的图像编码装置300和图像解码装置400，只要该装置具有与便携式电话1100类似的图像捕获功能和通信功能即可，诸如PDA（个人数字助理）、智能电话、UPMC（超级移动个人计算机）、上网本、笔记本个人计算机等。

<6.第六实施例>

[硬盘记录器]

图25是示出使用图像编码装置300和图像解码装置400的硬盘记录器的主要配置示例的框图。

图25所示的硬盘记录器（HDD记录器）1200是如下装置：将由调谐器接收以及由卫星或地面天线传送的广播信号（电视信号）中包括的广播节目的音频数据和视频数据保存在内置硬盘上，并且在根据用户指令的定时将所保存的数据提供给用户。

硬盘记录器1200例如从广播信号提取音频数据和视频数据，适当地对这些数据进行解码，并且能够将数据记录在内置硬盘上。另外，硬盘记录器1200例如经由网络从其他装置获取音频数据和视频数据，适当地对这些数据进行解码，并且能够将数据记录在内置硬盘上。

此外，硬盘记录器1200例如通过解码而将记录在内置硬盘上的音频数据和视频数据提供到监视器1260，在监视器1260的屏幕上显示该图像，并且能够使用监视器1260的扬声器输出音频。另外，硬盘记录器1200例如通过解码将从经由调谐器获取的广播信号提取的音频数据和视频数据以及经由网络从其他装置获取的音频数据和视频数据提供到监视器1260，在监视器1260的屏幕上显示该图像，并且能够使用监视器1260的扬声器输出音频。

自然，其他操作是可能的。

如图25所示，硬盘记录器1200包括接收单元1221、解调单元1222、解复用器1223、音频解码器1224、视频解码器1225和记录器控制器1226。硬盘记录器1200还包括EPG数据存储器1227、程序存储器1228、工作存储器1229、显示转换器1230、OSD（在屏显示）控制器1231、显示控制器1232、记录和再现单元1233、D/A转换器1234和通信单元1235。

另外，显示控制器1230包括视频编码器1241。记录和再现单元1233包括编码器1251和解码器1252。

接收单元1221从远程控制器（未示出）接收红外信号，并且通过转换为电信号而输出到记录器控制器1226。记录器控制器1226例如由微处理器等构成，并且根据记录在程序存储器1228中的程序而执行多种处理。记录器控制器1226此时根据需要使用工作存储器1229。

通信单元1235连接到网络，并且经由网络与其他装置执行通信处理。例如，通信单元1235由记录器控制器1226来控制，与调谐器（未示出）通信，并且主要将信道选择控制信号输出到调谐器。

解调单元1222对由调谐器提供的信号进行解调并且将该信号输出到解复用器1223。解复用器1223将由解调单元1222提供的数据分离成音频数据、视频数据和EPG数据，并且分别将这些数据输出到音频解码器1224、视频解码器1225或记录器控制器1226。

音频解码器1224对所输入的音频数据进行解码并且将该数据输出到记录和再现单元1233。视频解码器1225对所输入的视频数据进行解码并且将该数据输出到显示转换器1230。记录器控制器1226将所输入的EPG数据提供到EPG数据存储器1227并且使得存储该数据。

显示转换器1230例如使用视频编码器1241将由视频解码器1225或记录器控制器1226提供的视频数据编码为NTSC（国家电视标准委员会）格式的视频数据，并且将该数据输出到记录和再现单元1233。另外，显示转换器1230将由视频解码器1225或记录器控制器1226提供的视频数据的画面大小转换为与监视器1260的大小对应的大小，并且通过视频编码器1241将数据转换为NTSC格式的视频数据，将其转换为模拟信号，并且将该信号输出到显示控制器1232。

显示控制器1232与记录器控制器1226的控制一起将由OSD（在屏显示）控制器1231输出的OSD信号叠加在由显示转换器1230输入的视频信号上，将其输出到监视器1260的显示器，并且显示该图像。

由音频解码器1224输出的音频数据通过由D/A转换器1234转换为模拟信号而被进一步提供到监视器1260。监视器1260从内置扬声器输出音频信号。

记录和再现单元1233包括硬盘作为记录视频数据或音频数据等的存储介质。

记录和再现单元1233例如利用编码器1251对由音频解码器1224提供的音频数据进行编码。另外，记录和再现单元1233利用编码器1251对显示转换器1230的视频编码器1241提供的视频数据进行编码。记录和再现单元1233利用复用器来合成音频数据的编码数据和视频数据的编码数据。记录和再现单元1233通过对合成数据进行信道编码而进行放大，并且经由记录头将该数据写入硬盘。

记录和再现单元1233经由再现头再现记录在硬盘上的数据，对数据进行放大，并且利用解复用器将数据分离成音频数据和视频数据。记录和再现单元1233利用解码器1252对音频数据和视频数据进行解码。记录和再现单元1233对解码音频数据执行D/A转换，并且将数据输出到监视器1260的扬声器。另外，记录和再现单元1233对解码视频数据执行D/A转换，并且将数据输出到监视器1260的显示器。

记录器控制器1226基于由经由接收单元1221从远程控制器接收的红外信号表示的用户指令而从EPG数据存储器1227读出最新的EPG数据，并且将该最新的EPG数据提供到OSD控制器1231。OSD控制器1231生成与所输入的EPG数据对应的图像数据，并且将该数据输出到显示控制器1232。显示控制器1232将由OSD控制器1231输入的视频数据输出到监视器1260的显示器并且显示该图像。这样，EPG（电子节目指南）显示在监视器1260的显示器上。

另外，硬盘记录器1200能够获取经由诸如互联网的网络从其他装置提供的多种数据，诸如视频数据、音频数据或EPG数据。

通信单元1235由记录器控制器1226来控制，经由网络获取从其他装置传送的编码数据（诸如视频数据、音频数据和EPG数据），并且将其提供到记录器控制器1226。记录器控制器1226例如将所获取的视频数据或音频数据的编码数据提供到记录和再现单元1233，并且将数据记录在硬盘上。此时，记录器控制器1226以及记录和再现单元1233可在需要时执行诸如再编码的处理。

另外，记录器控制器1226对所获取的视频数据或音频数据的编码数据进行解码，并且将所获得的视频数据提供到显示转换器1230。与从视频解码器1225提供的视频数据类似，显示转换器1230对从记录器控制器1226提供的视频数据进行处理，经由显示控制器1232将数据提供到监视器1260，并且显示图像。

另外，与图像显示匹配，记录器控制器1226可经由D/A转换器1234将解码音频数据提供到监视器1260，并且从扬声器输出该音频。

此外，记录器控制器1226对所获取的EPG数据的编码数据进行解码，并且将解码后的EPG数据提供到EPG存储器1227。

诸如上述的硬盘记录器1200使用图像解码装置400作为被置入视频解码器1225、解码器1252和记录器控制器1226中的解码器。即，与图像解码装置400的情况类似，被置入视频解码器1225、解码器1252和记录器控制器1226中的解码器根据周边PU的预测器信息重构当前PU的预测预测器信息，使用该重构的预测预测器信息重构当前PU的预测运动信息，使用该重构的预测运动信息重构当前PU的运动信息，使用该重构的运动信息执行运动补偿，并且适当地生成帧间编码预测图像。因此，被置入视频解码器1225、解码器1252和记录器控制器1226中的解码器能够适当地对在编码侧使用根据周边PU的预测器来预测当前PU的预测器的模式而生成的编码数据进行解码。这样，被置入视频解码器1225、解码器1252和记录器控制器1226中的解码器能够实现编码效率的提高。

因此，硬盘记录器1200例如能够实现对由调谐器或通信单元1235接收的视频数据（编码数据）或由记录和再现单元1233再现的视频数据（编码数据）的编码效率的提高。

另外，硬盘记录器1200使用图像编码装置300作为编码器1251。因此，与图像编码装置300的情况类似，编码器1251以根据周边PU的预测器来预测当前PU的预测器的模式生成预测图像，并且使用该预测图像生成编码数据。因此，编码器1251能够不执行对预测器信息的编码。这样，编码器1251能够实现编码效率的提高。

因此，硬盘记录器1200例如能够实现对记录在硬盘上的编码数据的编码效率的提高。

另外，在以上，关于将视频数据或音频数据记录在硬盘上的硬盘记录器1200进行了描述；然而，可使用任意类型的记录介质。例如，与上述硬盘记录器1200的情况类似，甚至在应用除硬盘之外的记录介质（诸如闪存、光盘或视频带）的记录器中，也可以应用实施例的图像编码装置300和图像解码装置400。

<7.第七实施例>

[摄像装置]

图26是示出使用图像编码装置300和图像解码装置400的摄像装置的主要配置示例的框图。

图26所示的摄像装置1300捕获主体的图像，在LCD1316上显示主体的图像，并且将该图像作为图像数据记录在记录介质1333上。

透镜组件1311使得光（即，主体的视频）入射在CCD/CMOS1312上。CCD/CMOS1312是使用CCD或CMOS的图像传感器，将接收光的强度转换为电信号，并且将信号提供到摄像装置信号处理单元1313。

摄像装置信号处理单元1313将从CCD/CMOS1312提供的电信号转换为Y、Cr、Cb色差信号，并且将这些信号提供到图像信号处理单元1314。图像信号处理单元1314在控制器1321的控制下对从摄像装置信号处理单元1313提供的图像信号执行预定图像处理，并利用编码器1341对图像信号进行编码。图像信号处理单元1314将通过对图像信号进行编码而生成的编码数据提供到解码器1315。此外，图像信号处理单元1314获取在在屏显示（OSD）1320中生成的显示数据，并且将该数据提供到解码器1315。

在以上处理中，摄像装置信号处理单元1313适当地使用经由总线1317连接的DRAM（动态随机存取存储器）1318，并且在需要时将图像数据或图像数据被编码的编码数据存储在DRAM1318中。

解码器1315对从图像信号处理单元1314提供的编码数据进行解码，并且将所获得的图像数据（解码图像数据）提供到LCD1316。另外，解码器1315将从图像信号处理单元1314提供的显示数据提供到LCD1316。LCD1316适当地合成从解码器1315提供的解码图像数据的图像和显示数据的图像，并且显示合成图像。

在屏显示1320在控制器1321的控制下经由总线1317将显示数据（诸如由符号、文本或图像或图标构成的菜单画面）输出到图像信号处理单元1314。

控制器1321基于表示用户使用操作单元1322而命令的内容的信号，经由总线1317控制图像信号处理单元1314、DRAM1318、外部接口1319、在屏显示1320和介质驱动器1323等连同执行各种处理。控制器1321执行各种处理所需的程序或数据容纳在闪速ROM1324中。

例如，控制器1321对存储在DRAM1318中的图像数据进行编码而不是在图像信号处理单元1314或解码器1315中，并且能够对存储在DRAM1318中的编码数据进行解码。此时，控制器1321可使用与图像信号处理单元1314或解码器1315的编码或解码格式相同的格式而执行编码或解码处理，或者可利用与图像信号处理单元1314或解码器1315不对应的格式而执行编码或解码处理。

另外，例如，在从操作单元1322指示图像打印开始的情况下，控制器1321从DRAM1318读出图像数据，并且通过经由总线1317被提供到与外部接口1319连接的打印机1334来打印数据。

此外，例如，在从操作单元1322指示图像记录的情况下，控制器1321从DRAM1318读出编码数据，并且通过经由总线1317被提供到与介质驱动器1323附接的记录介质1333来存储数据。

记录介质1333是可重写任意可拆卸介质，诸如，例如磁盘、磁光盘、光盘或半导体存储器。记录介质1333自然具有作为可拆卸介质的任意类型，并且可以是磁带装置，可以是盘或者可以是存储卡。自然，可使用无接触IC卡等。

另外，介质驱动器1323和记录介质1333可被集成，并且例如可由诸如内置硬盘驱动器或SSD（固态驱动器）等的不可运输存储介质等构成。

外部接口1319由例如USB输入和输出端子等构成，并且在执行图像打印的情况下连接到打印机1334。另外，驱动器1331在需要时连接到外部接口1319，适当地配备可拆卸介质1332（诸如磁盘、光盘、磁光盘等），并且从其读出的计算机程序在需要时被安装到闪速ROM1324。

此外，外部接口1319包括连接到预定网络（诸如LAN或因特网）的网络接口。控制器1321例如根据来自操作单元1322的指令，从DRAM1318读出编码数据，并且可从外部接口1319将数据提供到连接到网络的其他装置。另外，控制器1321经由外部接口1319获取经由网络从其他装置提供的编码数据或图像数据，并且能够将数据存储在DRAM1318中并将数据提供到图像信号处理单元1314。

诸如上述的摄像装置1300使用图像解码装置400作为解码器1315。即，与图像解码装置400的情况类似，解码器1315根据周边PU的预测器信息重构当前PU的预测预测器信息，使用该重构的预测预测器信息来重构当前PU的预测运动信息，使用该重构的预测运动信息来重构当前PU的运动信息，使用该重构的运动信息执行运动补偿，并且适当地生成帧间编码预测图像。因此，解码器1315能够适当地对在编码侧使用根据周边PU的预测器来预测当前PU的预测器的模式而生成的编码数据进行解码。这样，解码器1315能够实现编码效率的提高。

因此，摄像装置1300能够实现对例如在CCD/CMOS1312中生成的图像数据、从DRAM1318或记录介质1333读出的视频数据的编码数据或者经由网络获取的视频数据的编码效率的提高。

另外，摄像装置1300使用图像编码装置300作为编码器1341。与图像编码装置300的情况类似，编码器1341以根据周边PU的预测器来预测当前PU的预测器的模式而生成预测图像，并且使用该预测图像生成编码数据。因此，编码器1341能够不执行对预测器信息的编码。这样，编码器1341能够实现编码效率的提高。

因此，摄像装置1300例如能够实现对记录在例如DRAM1318或记录介质1333中的编码数据或者被提供到其他装置的编码数据的编码效率的提高。

另外，图像解码装置400的解码方法可被应用于由控制器1321执行的解码处理。类似地，图像编码装置300的编码方法可被应用于由控制器1321执行的编码处理。

另外，摄像装置1300捕获的图像数据可以是运动图像或者可以是静止图像。

自然，图像编码装置300和图像解码装置400可应用于除上述装置之外的装置或系统。

本技术可应用于当经由网络介质（诸如卫星广播、有线电视、互联网或便携式电话）接收如在MPEG、H.26x等中通过诸如离散余弦变换的正交变换和运动补偿而压缩的图像信息（位流）时或对存储介质（诸如光盘或磁盘或闪存）进行处理时所使用的图像编码装置或图像解码装置。

这里，本技术还可采用以下配置。

（1）一种图像处理装置，包括：预测器预测单元，根据用在位于作为编码处理目标的当前块周边的周边块中的预测器的信息来预测用在所述当前块中的预测器；预测图像生成单元，使用所述预测器预测单元预测的所述当前块的预测器来生成所述当前块的预测图像；以及解码单元，使用所述预测图像生成单元生成的预测图像来对图像被编码后的编码数据进行解码。

（2）根据（1）所述的图像处理装置，其中，所述周边块包括与所述当前块相邻的相邻块。

（3）根据（2）所述的图像处理装置，其中，所述相邻块包括与所述当前块的上部相邻的上部相邻块以及与所述当前块的左部相邻的左部相邻块。

（4）根据（3）所述的图像处理装置，其中，所述相邻块还包括与所述当前块的左上部相邻的左上部相邻块或者与所述当前块的右上部相邻的右上部相邻块。

（5）根据（2）至（4）所述的图像处理装置，其中，所述周边块还包括与所述当前块位于同一位置的同位块。

（6）根据（1）至（5）所述的图像处理装置，其中，所述预测器预测单元将所述周边块的预测器中具有最小索引的预测器设置为所述当前块的预测器的预测结果。

（7）根据（1）至（6）所述的图像处理装置，其中，所述预测器预测单元在周边块的一部分不存在的情况下仅使用存在的周边块的预测器来预测所述当前块的预测器，而在全部周边块都不存在的情况下，跳过所述当前块的预测器的预测。

（8）根据（1）至（7）所述的图像处理装置，其中，所述预测器预测单元仅使用大小与所述当前块匹配或近似的周边块的预测器来预测所述当前块的预测器，并且在全部周边块的大小都与所述当前块不匹配和近似的情况下跳过所述当前块的预测器的预测。

（9）根据（1）至（8）所述的图像处理装置，其中，所述预测器预测单元在使用MergeFlag来对所述周边块的一部分进行编码的情况下，使用表示与合并的周边块不同的周边块的运动信息的索引来预测所述当前块的预测器。

（10）根据（1）至（9）所述的图像处理装置，其中，所述预测器预测单元在对所述周边块进行帧内编码的情况下，通过使关于所述周边块的预测器的代码号为0来预测所述当前块的预测器。

（11）一种图像处理装置的图像处理方法，所述方法包括：使得预测器预测单元根据用在位于作为编码处理目标的当前块周边的周边块中的预测器的信息来预测用在所述当前块中的预测器；使得预测图像生成单元使用所预测的当前块的预测器来生成所述当前块的预测图像；以及使得解码单元使用所生成的预测图像来对图像被编码后的编码数据进行解码。

（12）一种图像处理装置，包括：预测器预测单元，根据用在位于作为编码处理目标的当前块周边的周边块中的预测器的信息来预测用在所述当前块中的预测器；预测图像生成单元，使用所述预测器预测单元预测的所述当前块的预测器来生成所述当前块的预测图像；以及编码单元，使用所述预测图像生成单元生成的预测图像来对图像进行编码。

（13）根据（12）所述的图像处理装置，其中，所述周边块包括与所述当前块相邻的相邻块。

（14）根据（13）所述的图像处理装置，其中，所述相邻块包括与所述当前块的上部相邻的上部相邻块以及与所述当前块的左部相邻的左部相邻块。

（15）根据（14）所述的图像处理装置，其中，所述相邻块还包括与所述当前块的左上部相邻的左上部相邻块或者与所述当前块的右上部相邻的右上部相邻块。

（16）根据（12）至（15）所述的图像处理装置，其中，所述周边块还包括与所述当前块位于同一位置的同位块。

（17）根据（12）至（16）所述的图像处理装置，其中，所述预测器预测单元将所述周边块的预测器中具有最小索引的预测器设置为所述当前块的预测器的预测结果。

（18）根据（12）至（17）所述的图像处理装置，其中，所述预测器预测单元在周边块的一部分不存在的情况下仅使用存在的周边块的预测器来预测所述当前块的预测器，而在全部周边块都不存在的情况下，跳过所述当前块的预测器的预测。

（19）根据（12）至（17）所述的图像处理装置，其中，所述预测器预测单元仅使用大小与所述当前块匹配或近似的周边块的预测器来预测所述当前块的预测器，并且在全部周边块的大小都与所述当前块不匹配和近似的情况下跳过所述当前块的预测器的预测。

（20）根据（12）至（19）所述的图像处理装置，其中，所述预测器预测单元在使用MergeFlag来对所述周边块的一部分进行编码的情况下，使用表示与合并的周边块不同的周边块的运动信息的索引来预测所述当前块的预测器。

（21）根据（12）至（20）所述的图像处理装置，还包括：比较单元，对关于所述当前块的预测器与所述预测器预测单元预测的预测器进行比较；以及标记信息生成单元，生成表示所述比较单元的比较结果的标记信息。

（22）根据（21）所述的图像处理装置，其中，所述编码单元对所述标记信息生成单元生成的标记信息连同与所述预测器预测单元预测的预测器相关的信息、或者所述预测器预测单元预测的预测器与关于所述当前块的预测器之间的差进行编码。

（23）根据（12）至（22）所述的图像处理装置，其中，所述预测器预测单元在对所述周边块进行帧内编码的情况下，通过使关于所述周边块的预测器的代码号为0来预测所述当前块的预测器。

（24）一种图像处理装置的图像处理方法，所述方法包括：使得预测器预测单元根据用在位于作为编码处理目标的当前块周边的周边块中的预测器的信息来预测用在所述当前块中的预测器；使得预测图像生成单元使用所预测的当前块的预测器来生成所述当前块的预测图像；以及使得编码单元使用所生成的预测图像来对图像进行编码。

附图标记列表

300图像编码装置

315运动预测和补偿单元

321运动信息预测单元

331运动搜索单元

332成本函数计算单元

333模式确定单元

334运动补偿单元

335运动信息缓冲器

341运动预测单元

342预测器预测单元

343比较确定单元

344标记生成单元344

400图像解码装置

412运动预测和补偿单元

421运动信息预测单元

431最优模式信息缓冲器

432模式确定单元432

433运动信息重构单元

434运动补偿单元

435运动信息缓冲器

441预测预测器信息重构单元

442预测运动信息重构单元

443预测器信息缓冲器

权利要求书(按照条约第19条的修改)

1.一种图像处理装置，包括：

预测器预测单元，根据用在位于当前块周边的周边块中的运动矢量的预测中的运动矢量预测器的信息来预测用在所述当前块中的运动矢量预测器；

预测图像生成单元，使用所述预测器预测单元预测的所述当前块的运动矢量预测器来生成所述当前块的预测图像；以及

解码单元，使用所述预测图像生成单元生成的预测图像来对图像被编码后的编码数据进行解码。

2.根据权利要求1所述的图像处理装置，其中，所述预测图像生成单元在所述预测器预测单元预测的运动矢量预测器的预测值与所述当前块的运动矢量预测器的值不同的情况下，使用所述当前块的运动矢量预测器来生成所述当前块的预测图像。

3.根据权利要求2所述的图像处理装置，

其中，在所述预测器预测单元预测的运动矢量预测器的预测值与所述当前块的运动矢量预测器的值不同的情况下，所述当前块的运动矢量的预测器被作为编码流传送，以及

所述预测图像生成单元使用被传送作为所述编码流的所述当前块的运动矢量预测器来生成所述当前块的预测图像。

4.根据权利要求3所述的图像处理装置，

其中，标识所述预测器预测单元预测的运动矢量预测器的预测值与当前块的运动矢量预测器的值匹配的标识信息被作为编码流传送，以及

所述预测图像生成单元在所述标识信息表示所述预测器预测单元预测的运动矢量预测器的预测值与当前块的运动矢量预测器的值匹配的情况下，使用所述预测器预测单元预测的运动矢量预测器的预测值来生成所述当前块的预测图像。

5.根据权利要求1所述的图像处理装置，其中，所述周边块包括与所述当前块相邻的相邻块。

6.根据权利要求5所述的图像处理装置，其中，所述周边块还包括与所述当前块位于同一位置的同位块。

7.根据权利要求1所述的图像处理装置，其中，所述预测器预测单元将所述周边块的预测器中具有最小索引的预测器设置为所述当前块的预测器的预测结果。

8.根据权利要求1所述的图像处理装置，其中，所述预测器预测单元在周边块的一部分不存在的情况下仅使用存在的周边块的预测器来预测所述当前块的预测器，而在全部周边块都不存在的情况下，跳过所述当前块的预测器的预测。

9.根据权利要求1所述的图像处理装置，其中，所述预测器预测单元仅使用大小与所述当前块匹配或近似的周边块的预测器来预测所述当前块的预测器，并且在全部周边块的大小都与所述当前块不匹配和近似的情况下跳过所述当前块的预测器的预测。

10.根据权利要求1所述的图像处理装置，其中，所述预测器预测单元在使用MergeFlag来对所述周边块的一部分进行编码的情况下，使用表示与合并的周边块不同的周边块的运动信息的索引来预测所述当前块的预测器。

11.一种图像处理装置的图像处理方法，所述方法包括：

使得预测器预测单元根据用在位于当前块周边的周边块中的运动矢量的预测中的运动矢量预测器的信息来预测用在所述当前块中的运动矢量预测器；

使得预测图像生成单元使用所预测的当前块的运动矢量预测器来生成所述当前块的预测图像；以及

使得解码单元使用所生成的预测图像来对图像被编码后的编码数据进行解码。

12.一种图像处理装置，包括：

编码单元，使用所述预测图像生成单元生成的预测图像来对图像进行编码。

13.根据权利要求12所述的图像处理装置，其中，所述预测器预测单元将所述周边块的预测器中具有最小索引的预测器设置为所述当前块的预测器的预测结果。

14.根据权利要求12所述的图像处理装置，其中，所述预测图像预测单元在所述预测器预测单元预测的运动矢量预测器的预测值与所述当前块的运动矢量预测器的值不同的情况下，使用所述当前块的运动矢量预测器来生成所述当前块的预测图像。

15.根据权利要求14所述的图像处理装置，

所述预测图像生成单元使用被作为所述编码流传送的所述当前块的运动矢量预测器来生成所述当前块的预测图像。

16.根据权利要求15所述的图像处理装置，

17.根据权利要求12所述的图像处理装置，还包括：

比较单元，对关于所述当前块的预测器与所述预测器预测单元预测的预测器进行比较；以及

标记信息生成单元，生成表示所述比较单元的比较结果的标记信息。

18.根据权利要求21所述的图像处理装置，其中，所述编码单元对所述标记信息生成单元生成的标记信息连同与所述预测器预测单元预测的预测器相关的信息、或者所述预测器预测单元预测的预测器与关于所述当前块的预测器之间的差进行编码。

19.一种图像处理装置的图像处理方法，所述方法包括：

使得编码单元使用所生成的预测图像来对图像进行编码。

Claims

1.一种图像处理装置，包括：

预测器预测单元，根据用在位于作为编码处理目标的当前块周边的周边块中的预测器的信息来预测用在所述当前块中的预测器；

预测图像生成单元，使用所述预测器预测单元预测的所述当前块的预测器来生成所述当前块的预测图像；以及

2.根据权利要求1所述的图像处理装置，其中，所述周边块包括与所述当前块相邻的相邻块。

3.根据权利要求2所述的图像处理装置，其中，所述相邻块包括与所述当前块的上部相邻的上部相邻块以及与所述当前块的左部相邻的左部相邻块。

4.根据权利要求3所述的图像处理装置，其中，所述相邻块还包括与所述当前块的左上部相邻的左上部相邻块或者与所述当前块的右上部相邻的右上部相邻块。

5.根据权利要求2所述的图像处理装置，其中，所述周边块还包括与所述当前块位于同一位置的同位块。

6.根据权利要求1所述的图像处理装置，其中，所述预测器预测单元将所述周边块的预测器中具有最小索引的预测器设置为所述当前块的预测器的预测结果。

7.根据权利要求1所述的图像处理装置，其中，所述预测器预测单元在周边块的一部分不存在的情况下仅使用存在的周边块的预测器来预测所述当前块的预测器，而在全部周边块都不存在的情况下，跳过所述当前块的预测器的预测。

8.根据权利要求1所述的图像处理装置，其中，所述预测器预测单元仅使用大小与所述当前块匹配或近似的周边块的预测器来预测所述当前块的预测器，并且在全部周边块的大小都与所述当前块不匹配和近似的情况下跳过所述当前块的预测器的预测。

9.根据权利要求1所述的图像处理装置，其中，所述预测器预测单元在使用MergeFlag来对所述周边块的一部分进行编码的情况下，使用表示与合并的周边块不同的周边块的运动信息的索引来预测所述当前块的预测器。

10.根据权利要求1所述的图像处理装置，其中，所述预测器预测单元在对所述周边块进行帧内编码的情况下，通过使关于所述周边块的预测器的代码号为0来预测所述当前块的预测器。

11.一种图像处理装置的图像处理方法，所述方法包括：

使得预测器预测单元根据用在位于作为编码处理目标的当前块周边的周边块中的预测器的信息来预测用在所述当前块中的预测器；

使得预测图像生成单元使用所预测的当前块的预测器来生成所述当前块的预测图像；以及

12.一种图像处理装置，包括：

13.根据权利要求12所述的图像处理装置，其中，所述周边块包括与所述当前块相邻的相邻块。

14.根据权利要求13所述的图像处理装置，其中，所述相邻块包括与所述当前块的上部相邻的上部相邻块以及与所述当前块的左部相邻的左部相邻块。

15.根据权利要求14所述的图像处理装置，其中，所述相邻块还包括与所述当前块的左上部相邻的左上部相邻块或者与所述当前块的右上部相邻的右上部相邻块。

16.根据权利要求12所述的图像处理装置，其中，所述周边块还包括与所述当前块位于同一位置的同位块。

17.根据权利要求12所述的图像处理装置，其中，所述预测器预测单元将所述周边块的预测器中具有最小索引的预测器设置为所述当前块的预测器的预测结果。

18.根据权利要求12所述的图像处理装置，其中，所述预测器预测单元在周边块的一部分不存在的情况下仅使用存在的周边块的预测器来预测所述当前块的预测器，而在全部周边块都不存在的情况下，跳过所述当前块的预测器的预测。

19.根据权利要求12所述的图像处理装置，其中，所述预测器预测单元仅使用大小与所述当前块匹配或近似的周边块的预测器来预测所述当前块的预测器，并且在全部周边块的大小都与所述当前块不匹配和近似的情况下跳过所述当前块的预测器的预测。

20.根据权利要求12所述的图像处理装置，其中，所述预测器预测单元在使用MergeFlag来对所述周边块的一部分进行编码的情况下，使用表示与合并的周边块不同的周边块的运动信息的索引来预测所述当前块的预测器。

21.根据权利要求12所述的图像处理装置，还包括：

22.根据权利要求21所述的图像处理装置，其中，所述编码单元对所述标记信息生成单元生成的标记信息连同与所述预测器预测单元预测的预测器相关的信息、或者所述预测器预测单元预测的预测器与关于所述当前块的预测器之间的差进行编码。

23.根据权利要求12所述的图像处理装置，其中，所述预测器预测单元在对所述周边块进行帧内编码的情况下，通过使关于所述周边块的预测器的代码号为0来预测所述当前块的预测器。

24.一种图像处理装置的图像处理方法，所述方法包括：

使得编码单元使用所生成的预测图像来对图像进行编码。