CN102939757A

CN102939757A - 图像处理装置和方法

Info

Publication number: CN102939757A
Application number: CN2011800263340A
Authority: CN
Inventors: 佐藤数史
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-06-04
Filing date: 2011-05-27
Publication date: 2013-02-20
Also published as: US20130070856A1; WO2011152315A1; JP2011259040A

Abstract

本发明涉及用于降低使用时间方向上的相关性的运动矢量信息编码和解码操作的负荷的图像处理装置和方法。在编码模式中，使用关于参考小区域的运动矢量信息，并且使用运动矢量信息的时间相关性，对关于当前小区域的运动矢量信息进行编码，参考小区域位于参考帧中与当前小区域相同的位置，当前小区域是通过将当前帧图像的当前部分区域划分为小区域而形成的。如果参考小区域是在运动矢量信息存储单元中没有存储其运动矢量信息的小区域，则计算单元使用存储在运动矢量信息存储单元中的运动矢量信息，计算关于参考小区域的运动矢量信息。例如，本发明可以应用于图像处理装置。

Description

图像处理装置和方法

技术领域

本公开涉及图像处理装置和方法，尤其涉及被设计成限制图像编码操作和解码操作的负荷增加的图像处理装置和方法。

背景技术

近年来，为了作为数字信息处置图像信息并且实现高效率的信息传输和累积，符合诸如MPEG(运动图片专家组)（使用图像信息固有的冗余通过诸如离散余弦变换的正交变换和运动补偿来压缩图像信息）的标准的装置在用于分发信息的广播站中以及在接收信息的普通家庭中广泛使用。

具体地，MPEG2(ISO(国际标准化组织)/IEC(国际电工委员会)13818-2)被定义为通用图像编码标准，其适用于隔行扫描图像(interlaced image)和非隔行扫描图像，并且适用于标准分辨率图像和高清晰度图像。目前，MPEG2用于专业人员和普通消费者的广范围应用程序。根据MPEG2压缩标准，例如，对具有720×480像素的标准分辨率的隔行扫描图像分配4到8Mbps的比特率，并且对具有1920×1088像素的高分辨率的隔行扫描图像分配18到22Mbps的比特率，以实现高压缩率和良好的图像质量。

设计MPEG2主要用于用来进行广播的高质量图像编码，但是其与比MPEG1低的比特率或者具有较高压缩率的编码标准不兼容。随着移动终端越来越普及，预计未来对这种编码标准的需求将增加，为了满足这种需求，设立了MPEG4编码标准。而对于图像编码标准，ISO/IEC 14496-2标准于1998年12月被批准为国际标准。

此外，目前正在设立原来旨在用于视频会议的图像编码的称为H.26L(ITU-T(国际电信联盟电信标准化部门)Q6/16VCEG(视频编码专家组))的标准。与诸如MPEG2和MPEG4的传统编码标准相比，H.26L对编码和解码需要更大量的计算，但是已知实现更高的编码效率。此外，作为MPEG4活动的一部分，“联合模型增强型压缩视频编码”现在正在被建立为通过将H.26L不支持的功能合并到基于H.26L的功能中来实现更高编码效率的标准。

在标准化计划表上，该标准于2003年3月被批准为在H.264和MPEG-4部分10(高级视频编码，下文中称为AVC)名下的国际标准。

在AVC图像编码操作中，使用中值预测对运动矢量进行编码。非专利文献1提出除了通过中值预测确定的“空间预测器”之外、自适应地使用“时间预测器”或者“空间-时间预测器”作为预测的运动矢量信息的方法。

同时，16×16像素的传统宏块大小在下一代编码标准针对的诸如UHD(超高清：4000像素×2000像素)帧的大帧中不是最佳的。因此，非专利文献2提出了诸如64×64像素和32×32像素的宏块大小。

具体地，根据非专利文献2，使用分层结构。在16×16像素或者更小的块保持与符合当前AVC的宏块的兼容性时，将更大的块定义为这些块的超集(superset)。

而非专利文献2提出了使用针对片间扩展宏块，非专利文献3提出了使用针对片内的扩展宏块。

引用文献列表

非专利文献

非专利文献1：Jungyoup Yang,Kwanghyun Won,Byeungwoo Jeon,Hayoon Kim,“Motion Vector Coding with Optimal PMV Selection”,VCEG-AI22,2008年7月

非专利文献2：Peisong Chenn,Yan Ye,Marta Karczewicz,“VideoCoding Using Extended Block Sizes”,COM16-C123-E,Qualcomm Inc.

非专利文献3：Sung-Chang Lim,Hahyun Lee,Jinho Lee,Jongho Kim,Haechul Choi,Seyoon Jeong,Jin Soo Choi,“Intra coding using extendedblock size”,VCEG-AL28,2009年7月

发明内容

本发明要解决的问题

为了如在AVC编码标准的“时间直接模式”下并且如在非专利文献1中所提出的那样在时间轴方向上对运动矢量进行编码，需要将关于参考帧的所有运动矢量信息存储在存储器中，在硬件安装的情况或者软件安装的情况下，有可能增加电路尺寸或者负荷。

鉴于上述情形作出了本公开，其目的是减少要存储在存储器中的用于在时间轴方向上对运动矢量进行编码的关于参考帧的运动矢量信息的量，并且限制编码操作和解码操作的负荷增加。

问题的解决方案

本公开的一方面是一种图像处理装置，其在如下编码模式下工作，在所述编码模式中，使用关于参考小区域的运动矢量信息，并且使用运动矢量信息的时间相关性，对关于当前小区域的运动矢量信息进行编码，所述参考小区域位于参考帧中与所述当前小区域相同的位置，所述当前小区域是通过将当前帧图像的当前部分区域划分为小区域而形成的，所述图像处理装置包括：运动矢量信息存储单元，被配置为存储关于所述参考帧中的每个部分区域的小区域中的一部分小区域的运动矢量信息；计算单元，被配置为当所述参考小区域是在所述运动矢量信息存储单元中没有存储其运动矢量信息的小区域时，使用存储在所述运动矢量信息存储单元中的运动矢量信息，来计算关于所述参考小区域的运动矢量信息；以及编码单元，被配置为使用由所述计算单元计算的运动矢量信息，并且使用运动矢量信息的时间相关性，对关于所述当前小区域的运动矢量信息进行编码。

所述运动矢量信息存储单元可以存储关于所述部分区域中的每个的所述小区域中的一个的运动矢量信息。

所述运动矢量信息存储单元可以存储关于位于每个部分区域的最左上部分处的小区域的运动矢量信息。

所述运动矢量信息存储单元可以存储关于所述部分区域中的每个的所述小区域中的多个小区域的运动矢量信息。

所述运动矢量信息存储单元可以存储关于位于每个部分区域的四个角处的小区域的运动矢量信息。

所述计算单元可以使用如下运动矢量信息中的至少一个，来计算关于所述参考小区域的运动矢量信息：与包含所述参考小区域的部分区域相对应并且存储在所述运动矢量信息存储单元中的运动矢量信息，以及与和所述部分区域相邻的另一部分区域相对应并且存储在所述运动矢量信息存储单元中的运动矢量信息。

所述计算单元可以通过使用与包含所述参考小区域的部分区域相对应并且存储在所述运动矢量信息存储单元中的运动矢量信息、以及与和所述部分区域相邻的另一部分区域相对应并且存储在所述运动矢量信息存储单元中的运动矢量信息来进行插值运算，以计算关于所述参考小区域的运动矢量信息。

所述计算单元可以使用依赖于所述参考小区域的代表点与包含所述参考小区域的部分区域和与所述部分区域相邻的所述另一部分区域的各代表点之间的距离的值，所述值被用作所述插值运算中的权重系数。

所述计算单元可以使用依赖于与在所述插值运算中使用的运动矢量信息相对应的小区域的大小、所述小区域中的图像的复杂度或者所述小区域中的像素分布的相似度的值，所述值被用作所述插值运算中的权重系数。

本公开的一方面是一种在与如下编码模式兼容的图像处理装置中实施的图像处理方法，在所述编码模式中，使用关于参考小区域的运动矢量信息，并且使用运动矢量信息的时间相关性，对关于当前小区域的运动矢量信息进行编码，所述参考小区域位于参考帧中与所述当前小区域相同的位置，所述当前小区域是通过将当前帧图像的当前部分区域划分为小区域而形成的，所述图像处理方法包括：存储关于所述参考帧中的每个部分区域的小区域中的一部分小区域的运动矢量信息，所述存储由运动矢量信息存储单元进行；当所述参考小区域是没有存储其运动矢量信息的小区域时，使用所存储的运动矢量信息来计算关于所述参考小区域的运动矢量信息，所述计算由计算单元进行；以及使用所计算的运动矢量信息，并且使用运动矢量信息的时间相关性，对关于所述当前小区域的运动矢量信息进行编码，所述编码由编码单元进行。

本公开的另一方面是一种图像处理装置，其在如下编码模式下工作，在所述编码模式中，使用关于参考小区域的运动矢量信息，并且使用运动矢量信息的时间相关性，对关于当前小区域的运动矢量信息进行编码，所述参考小区域位于参考帧中与所述当前小区域相同的位置，所述当前小区域是通过将当前帧图像的当前部分区域划分为小区域而形成的，所述图像处理装置包括：运动矢量信息存储单元，被配置为存储关于所述参考帧中的每个部分区域的小区域中的一部分小区域的运动矢量信息；计算单元，被配置为当所述参考小区域是在所述运动矢量信息存储单元中没有存储其运动矢量信息的小区域时，使用存储在所述运动矢量信息存储单元中的运动矢量信息来计算关于所述参考小区域的运动矢量信息；以及解码单元，被配置为使用由所述计算单元计算的运动矢量信息，并且使用所述运动矢量信息的时间相关性，对关于所述当前小区域的运动矢量信息进行解码，在所述编码模式下对关于所述当前小区域的运动矢量信息进行了编码。

所述计算单元可以使用如下运动矢量信息中的至少一个来计算关于所述参考小区域的运动矢量信息：与包含所述参考小区域的部分区域相对应并且存储在所述运动矢量信息存储单元中的运动矢量信息，以及与和所述部分区域相邻的另一部分区域相对应并且存储在所述运动矢量信息存储单元中的运动矢量信息。

所述计算单元使用依赖于所述参考小区域的代表点与包含所述参考小区域的部分区域和与所述部分区域相邻的所述另一部分区域的各代表点之间的距离的值，所述值被用作所述插值运算中的权重系数。

所述计算单元使用依赖于与在所述插值运算中使用的运动矢量信息相对应的小区域的大小、所述小区域中的图像的复杂度或者所述小区域中的像素分布的相似度的值，所述值被用作所述插值运算中的权重系数。

本公开的另一方面是一种一种在与如下编码模式兼容的图像处理装置中实施的图像处理方法，在所述编码模式中，使用关于参考小区域的运动矢量信息，并且使用运动矢量信息的时间相关性，对关于当前小区域的运动矢量信息进行编码，所述参考小区域位于参考帧中与所述当前小区域相同的位置，所述当前小区域是通过将当前帧图像的当前部分区域划分为小区域而形成的，所述图像处理方法包括：存储关于所述参考帧中的每个部分区域的小区域中的一部分小区域的运动矢量信息，所述存储由运动矢量信息存储单元进行；当所述参考小区域是没有存储其运动矢量信息的小区域时，使用所存储的运动矢量信息来计算关于所述参考小区域的运动矢量信息，所述计算由计算单元进行；以及使用所计算的运动矢量信息，并且使用所述运动矢量信息的时间相关性，对关于所述当前小区域的运动矢量信息进行解码，在所述编码模式下对关于所述当前小区域的运动矢量信息进行了编码，所述解码由解码单元进行。

根据本公开的一方面，在编码模式中，使用关于参考小区域的运动矢量信息，对关于当前小区域的运动矢量信息进行编码，参考小区域位于参考帧中与当前小区域相同的位置，当前小区域是通过将当前帧图像的当前部分区域划分为小区域而形成的。如果存储了关于参考帧中的每个部分区域的小区域中的小区域的运动矢量信息，并且参考小区域是没有存储其运动矢量信息的小区域，则使用所存储的运动矢量信息，计算关于参考小区域的运动矢量信息，并且通过使用所计算的运动矢量信息，并且使用运动矢量信息时间相关性，对关于当前小区域的运动矢量信息进行编码。

根据本公开的另一方面，在编码模式中，使用关于参考小区域的运动矢量信息，对关于当前小区域的运动矢量信息进行编码，参考小区域位于参考帧中与当前小区域相同的位置，当前小区域是通过将当前帧图像的当前部分区域划分为小区域而形成的。如果存储了关于参考帧中的每个部分区域的小区域中的小区域的运动矢量信息，并且参考小区域是没有存储其运动矢量信息的小区域，则使用所存储的运动矢量信息，计算关于参考小区域的运动矢量信息，并且通过使用所计算的运动矢量信息，并且使用运动矢量信息时间相关性，对在该编码模式下进行了编码的关于当前小区域的运动矢量信息进行解码。

发明效果

根据本公开，可以对图像进行处理。特别地，在使用时间轴方向上的相关性对运动矢量信息进行编码的编码模式中，可以减小编码操作和解码操作的负荷。

附图说明

图1是示出图像编码装置的示例主要结构的框图。

图2是示出具有小数(decimal)像素精度的运动预测/补偿操作的示例的图。

图3是示出宏块的示例的图。

图4是用于说明中值运算的示例的图。

图5是用于说明多参考帧的示例情况的图。

图6是用于说明时间直接模式的示例的图。

图7是用于说明在非专利文献1中提出的运动矢量编码方法的示例的图。

图8是示出宏块的其它示例的图。

图9是用于说明运动矢量编码方法的示例的图。

图10是用于说明运动矢量编码方法的示例的图。

图11是用于说明运动矢量编码方法的示例的图。

图12是示出子宏块的示例结构的图。

图13是示出时间运动矢量编码单元的具体示例结构的框图。

图14是用于说明编码操作中的示例流程的流程图。

图15是用于说明帧间运动预测操作中的示例流程的流程图。

图16是用于说明时间运动矢量编码操作中的示例流程的流程图。

图17是示出图像解码装置的示例主要结构的框图。

图18是用于说明解码操作中的示例流程的流程图。

图19是用于说明预测操作中的示例流程的流程图。

图20是用于说明运动矢量编码方法的另一示例的图。

图21是示出个人计算机的示例主要结构的框图。

图22是示出电视接收器的示例主要结构的框图。

图23是示出便携式电话的示例主要结构的框图。

图24是示出硬盘记录器的示例主要结构的框图。

图25是示出照相机的示例主要结构的框图。

具体实施方式

以下是对本技术的实施方式(下文中称为实施例)的描述。将按照以下顺序进行说明。

1.第一实施例(图像编码装置)

2.第二实施例(图像解码装置)

3.第三实施例(个人计算机)

4.第四实施例(电视接收器)

5.第五实施例(便携式电话)

6.第六实施例(硬盘记录器)

7.第七实施例(照相机)

[1.第一实施例]

[图像编码装置]

图1示出了作为图像处理装置的图像编码装置的实施例的结构。

图1所示的图像编码装置100是以与H.264和MPEG(运动图片专家组)4部分10(AVC(高级视频编码))(下文中称为“H.264/AVC”)标准相同的方式对图像进行编码的编码装置。然而，图像编码装置100仅将与参考帧中的每一个宏块的子宏块相对应的运动矢量值存储到存储器中，并且使用存储在存储器中的运动矢量值通过计算生成包含在宏块中的其它块的运动矢量。通过这样做，图像编码装置100减少要存储在存储器中的用于在时间轴方向上进行运动矢量编码的关于参考帧的运动矢量信息的量。

在图1所示的示例中，图像编码装置100包括A/D(模拟/数字)转换单元101、图片重排缓冲器102、计算单元103、正交变换单元104、量化单元105、无损编码单元106和累积缓冲器107。图像编码装置100还包括逆量化单元108、逆正交变换单元109、计算单元110、去块滤波器111、帧存储器112、选择单元113、帧内预测单元114、运动预测/补偿单元115、选择单元116和速率控制单元117。

图像编码装置100还包括时间运动矢量编码单元121。

A/D转换单元101对输入图像数据进行A/D转换，并且将转换后的图像数据输出并存储到图片重排缓冲器102中。

代替存储的显示顺序，图片重排缓冲器102按照用于根据GOP(图片组)结构进行编码的帧顺序，对图像进行重排。图片重排缓冲器102向计算单元103提供帧顺序重排后的图像。图片重排缓冲器102还向帧内预测单元114和运动预测/补偿单元115提供帧顺序重排后的图像。

计算单元103从自图片重排缓冲器102读取的图像中，减去经由选择单元116从帧内预测单元114或者运动预测/补偿单元115提供的预测图像。计算单元103将差信息输出到正交变换单元104。

例如，在要经受帧内编码的图像的情况下，计算单元103从自图片重排缓冲器102读取的图像中，减去从帧内预测单元114提供的预测图像。例如，在要经受帧间编码的图像的情况下，计算单元103从自图片重排缓冲器102读取的图像中，减去从运动预测/补偿单元115提供的预测图像。

正交变换单元104对从计算单元103提供的差信息进行诸如离散余弦变换或者卡-洛变换(Karhunen-Loeve transform)的正交变换，并将变换系数提供给量化单元105。

量化单元105对从正交变换单元104输出的变换系数进行量化。基于从速率控制单元117提供的信息，量化单元105设置量化参数并且进行量化。量化单元105将量化的变换系数提供给无损编码单元106。

无损编码单元106对量化的变换系数进行诸如可变长度编码或者算术编码的无损编码。

无损编码单元106从帧内预测单元114获得指示帧内预测等的信息，并且从运动预测/补偿单元115获得指示帧间预测模式、运动矢量信息等的信息。下文中也将指示帧内预测(图片内预测)的信息称为帧内预测模式信息。下文中也将指示表示帧间预测(图片间预测)的信息模式的信息称为帧间预测模式信息。

无损编码单元106对量化的变换系数进行编码，并且将诸如滤波器系数、帧内预测模式信息、帧间预测模式信息和量化参数的各种信息合并(复用(multiplex))到编码数据的头信息中。无损编码单元106向累积缓冲器107提供通过编码而获得的编码数据，并且在累积缓冲器107中累积编码数据。

在无损编码单元106处，进行诸如可变长度编码或者算术编码的无损编码操作。无损编码例如可以是在H.264/AVC标准中规定的CAVLC(上下文自适应可变长度编码)。算术编码可以是CABAC(上下文自适应二进制算术编码)等。

累积缓冲器107临时保持从无损编码单元106提供的编码数据，并且在预定时间将作为根据H.264/AVC标准编码的图像的编码图像输出到例如位于稍后阶段中的记录装置或者传输路径(未示出)。

也将由量化单元105量化的变换系数提供给逆量化单元108。逆量化单元108使用与由量化单元105进行的量化兼容的方法，对量化的变换系数进行逆量化。逆量化单元108向逆正交变换单元109提供获得的变换系数。

逆正交变换单元109使用与由正交变换单元104进行的正交变换操作兼容的方法，对提供的变换系数进行逆正交变换。将进行了逆正交变换的输出(解码的差信息)提供给计算单元110。

计算单元110将经由选择单元116从帧内预测单元114或者运动预测/补偿单元115提供的预测图像加到从逆正交变换单元109提供的逆正交变换结果或者解码的差信息。以这种方式，计算单元110获得局部解码的图像(解码图像)。

例如，在差信息对应于要进行帧内编码的图像的情况下，计算单元110将从帧内预测单元114提供的预测图像加到差信息。例如，在差信息对应于要进行帧间编码的图像的情况下，计算单元110将从运动预测/补偿单元115提供的预测图像加到差信息。

向去块滤波器111或者帧存储器112提供相加结果。

去块滤波器111在需要的情况下进行去块滤波操作以从解码图像中去除块失真，并且还在需要的情况下使用例如维纳(Wiener)滤波器进行循环滤波操作，以改善图像质量。去块滤波器111将各个像素划分成类，并且对每个类进行合适的滤波。去块滤波器111向帧存储器112提供滤波结果。

在预定时间，帧存储器112经由选择单元113向帧内预测单元114或者运动预测/补偿单元115输出存储的参考图像。

例如，在要进行帧内编码的图像的情况下，帧存储器112经由选择单元113向帧内预测单元114提供参考图像。例如，在要进行帧间编码的图像的情况下，帧存储器112经由选择单元113向运动预测/补偿单元115提供参考图像。

在从帧存储器112提供的参考图像是要进行帧内编码的图像的情况下，选择单元113向帧内预测单元114提供参考图像。在从帧存储器112提供的参考图像是要进行帧间编码的图像的情况下，选择单元113向运动预测/补偿单元115提供参考图像。

帧内预测单元114使用图片中的像素值进行帧内预测(图片内预测)，以生成预测图像。帧内预测单元114以多于一种的模式(帧内预测模式)进行帧内预测。

帧内预测单元114以所有帧内预测模式生成预测图像，评价各个预测图像，并且选择最佳模式。在选择最佳帧内预测模式之后，帧内预测单元114经由选择单元116向计算单元103和计算单元110提供以最佳模式生成的预测图像。

如上所述，帧内预测单元114在需要的情况下还向无损编码单元106提供诸如指示所选择的帧内预测模式的帧内预测模式信息的信息。

运动预测/补偿单元115使用经由选择单元113从图片重排缓冲器102提供的输入图像和从帧存储器112提供的参考图像，关于要进行帧间编码的图像进行运动预测。运动预测/补偿单元115对检测到的运动矢量进行运动补偿操作，并且生成预测图像(帧间预测图像信息)。

运动预测/补偿单元115以所有可能的帧间预测模式进行帧间预测操作，并且生成预测图像。例如，运动预测/补偿单元115使时间运动矢量编码单元121使用时间轴方向上的相关性进行运动矢量信息编码操作。

运动预测/补偿单元115经由选择单元116向计算单元103和计算单元110提供所生成的预测图像。

运动预测/补偿单元115向无损编码单元106提供指示所选择的帧间预测模式的帧间预测模式信息和指示计算的运动矢量的运动矢量信息。

在要进行帧内编码的图像的情况下，选择单元116向计算单元103和计算单元110提供来自帧内预测单元114的输出。在要进行帧间编码的图像的情况下，选择单元116向计算单元103和计算单元110提供来自运动预测/补偿单元115的输出。

基于在累积缓冲器107中累积的压缩图像，速率控制单元117控制由量化单元105进行的量化的速率，以防止溢出和下溢。

时间运动矢量编码单元121响应于来自运动预测/补偿单元115的请求，使用时间轴方向上的运动矢量信息相关性，对运动矢量信息进行编码。

[具有少数像素精度的运动预测/补偿操作]

在诸如MPEG-2的编码标准中，通过线性插值运算，进行具有1/2像素精度的运动预测/补偿操作。另一方面，在AVC编码标准中，使用6拍FIR滤波器进行具有1/4像素精度的运动预测/补偿操作，通过这些操作获得更高的编码效率。

图2是用于说明在AVC编码标准中规定的具有1/4像素精度的运动预测/补偿操作的示例的图。在图2中，每个正方形表示一个像素。在这些像素中，每个“A”指示存储在帧存储器112中的整数精度像素的位置，b、c和d指示1/2像素精度的位置，且e1、e2和e3指示1/4像素精度的位置。

下面，如在下面的方程式(1)中定义函数Clip1()：

[方程式1]

例如，在输入图像具有8位精度的情况下，方程式(1)中的max_pix的值是255。

如由下面的方程式(2)和(3)所示，使用6拍FIR滤波器，生成位置b和d中的像素值：

[方程式2]

F＝A_-2-5·A_-1+20·A₀+20·A₁-5·A₂+A₃

(2)

[方程式3]

b，d＝clip1((F+16)＞＞5)

(3)

如由下面的方程式(4)到(6)所示，在水平方向和垂直方向上使用6拍FIR滤波器，生成位置c中的像素值：

[方程式4]

F＝b_-2-5·b_-1+20·b₀+20·b₁-5·b₂+b₃

(4)

或者

[方程式5]

F＝d_-2-5·d_-1+20·d₀+20·d₁-5·d₂+d₃

(5)

[方程式6]

c＝clip1((F+512)＞＞10)

(6)

在水平方向和垂直方向两者上进行积和操作之后，最后仅进行一次剪辑操作。

此外，如由下面的方程式(7)到(9)所示，通过线性插值生成e1到e3：

[方程式7]

e₁＝(A+b+1)＞＞1

(7)

[方程式8]

e₂＝(b+d+1)＞＞1

(8)

[方程式9]

e₃＝(b+c+1)＞＞1

(9)

[运动预测/补偿操作]

在MPEG-2中的运动预测/补偿操作中，16×16个像素形成帧运动补偿模式中的一个单位，并且16×8个像素形成在第一场和第二场两者上进行运动预测/补偿操作的场运动补偿模式中的一个单位。

另一方面，在AVC中，如图3所示，将由16×16个像素形成的每个宏块划分为16×16、16×8、8×16或者8×8个区块，并且该子宏块可以具有彼此独立的运动矢量信息。此外，如图3所示，每个8×8的区块可以划分为8×8、8×4、4×8或者4×4个子宏块，并且该子宏块可以具有彼此独立的运动矢量信息。

然而，与在MPEG-2的情况下相同，在AVC图像编码标准中，在就要进行这种运动预测/补偿操作时，有可能生成大量矢量信息。按原样对所生成的运动矢量信息进行编码将导致编码效率降低。

为了解决该问题，在AVC图像编码中通过以下方法来实现编码运动矢量信息的减少。

图4所示的每个直线指示运动补偿块之间的边界。在图4中，E表示要进行编码的运动补偿块，且A到D各自表示与E相邻的已经编码的运动补偿块。

在X是A、B、C、D或E的情况下，将关于X的运动矢量信息设置为mv_x。

首先，使用关于运动补偿块A、B和C的运动矢量信息，通过如下面的方程式(10)所示的中值运算，生成关于运动补偿块E的预测运动矢量信息pmv_E：

[方程式10]

pmv_E＝med(mv_A，mv_B，mv_C)

(10)

例如，在关于运动补偿块C的信息由于其位置位于图像的角落而“不可用”的情况下，使用关于运动补偿块D的信息来代替关于运动补偿块C的信息。

如下面的方程式(11)所示，使用pmv_E生成图像压缩信息中的要编码为关于运动补偿块E的运动矢量信息的数据mvd_E：

[方程式11]

mvd_E＝mv_E-pmv_E

(11)

在实际操作中，彼此独立地对运动矢量信息中的水平分量和垂直分量进行处理。

AVC还规定了在诸如MPEG-2和H.263的传统图像编码标准中未规定的称为多参考帧的标准。

现在参考图5，描述在AVC中规定的多参考帧。

在MPEG-2和H.263中，通过仅参考存储在帧存储器中的一个参考帧，来对P图片进行运动预测/补偿操作。另一方面，在AVC中，在存储器中存储参考帧，并且可以针对每个宏块参考不同的存储器，如图5所示。

关于B图片的运动矢量信息的量是巨大的，但是在AVC中准备了称为“直接模式”的模式。

在直接模式中，不在图像压缩信息中存储运动矢量信息。在图像解码装置中，根据关于相邻块的运动矢量信息，或者根据共同定位块的运动矢量信息来计算关于块的运动矢量信息，该共同定位块是与参考帧中的当前块位于相同位置的块。

有两种类型的直接模式：空间直接模式和时间直接模式。可以针对每个片在这两种模式之间进行切换。

在空间直接模式下，如下面的方程式(12)所示，计算关于当前运动补偿块E的运动矢量信息mv_E：

mv_E=pmv_E

(12)

也就是说，对于该块使用通过中值预测而生成的运动矢量信息。

现在参考图6，描述时间直接模式。

在图6中，在L0参考图片中，位于与该块相同的空间中的地址处的块是共同定位块，用mv_col表示该共同定位块中的运动矢量信息。用TD_B表示在时间轴上图片和L0参考图片之间的距离，并且用TD_D表示在时间轴上L0参考图片和L1参考图片之间的距离。

在该点，如下面的方程式(13)和(14)所示，计算图片中的L0的运动矢量信息mv_L0和L1的运动矢量信息mv_L1：

[方程式12]

{mv}_{L 0} = \frac{{TD}_{B}}{{TD}_{D}} {mv}_{col} - - - (13)

[方程式13]

{mv}_{L 1} = \frac{{TD}_{D} - {TD}_{B}}{{TD}_{D}} {mv}_{col} - - - (14)

由于AVC图像压缩信息不包含指示沿着时间轴的距离的信息TD，因此使用POC(图片顺序计数)来进行由上面的方程式(12)和(13)表示的计算。

此外，在AVC图像压缩信息中，可以针对每个16×16像素的宏块或者每个8×8像素的块，定义直接模式。

[预测模式选择]

在AVC编码标准中，在实现更高的编码效率时选择合适的预测模式非常关键。

选择方法的示例是存储在称为JM(联合模型)的H.264/MPEG-4 AVC参考软件(在“http://iphome.hhi.de/suehring/tml/index.htm”处可获得)中的方法。

在JM中，可以从下面描述的两种模式确定方法中进行选择：高复杂度模式和低复杂度模式。在这些模式中的每一种中，计算关于每种预测模式的成本函数值，并且选择使成本函数值最小化的预测模式作为用于子宏块或者宏块的最佳模式。

由下面的方程式(15)表示高复杂度模式中的成本函数。

Cost(Mode∈Ω)=D+λ*R

(15)

这里，Ω表示用于对块或者宏块进行编码的候选模式的通用集，并且D表示在使用预测模式进行编码的情况下解码图像和输入图像之间的差能量，λ表示作为量化参数函数提供的拉格朗日未定乘数，并且R表示在该模式下进行编码的情况下包括正交变换系数的总编码量。

也就是说，为了在高复杂度模式下进行编码，需要在所有候选模式中进行一次临时编码操作，以计算上述参数D和R，因此，需要较大的计算量。

用下面的方程式(16)表示低复杂度模式下的成本函数：

Cost(Mode∈Ω)=D+QP2Quant(QP)*HeaderBit

(16)

这里，D与在高复杂度模式中不同，其表示预测图像和输入图像之间的差能量。QP2Quant(QP)表示量化参数QP的函数，Header Bit表示与诸如运动矢量和模式的排除正交变换系数并且属于头(Header)的信息相关的编码量。

也就是说，在低复杂度模式下，需要针对每个候选模式进行预测操作，但是不需要解码图像。因此，不需要进行编码操作。

相应地，计算量小于高复杂度模式下的计算量。

为了改进如上面参考图4所描述的通过中值预测进行的运动矢量编码，非专利文献1提出了以下方法。

也就是说，可以自适应地使用下面描述的“时间预测值”或者“空间-时间预测值”以及如在AVC中定义的通过中值预测确定的“空间预测值”，作为预测运动矢量信息。

在图7中，“mvcol”表示关于块的共同定位块(或者具有与参考图像中的块相同的xy坐标的块)的运动矢量信息，并且mvtk(k为0到8)表示关于相邻块的运动矢量信息。如下面的方程式(17)到(19)所示定义关于各个块的预测运动矢量信息(预测值)：

时间预测值：

[方程式14]

mv_tm5＝median{mv_col，mv_t0，...，mv_t3}

(17)

[方程式15]

mv_tm9＝median{mv_col，mv_t0，...，mv_t8}

(18)

空间-时间预测值：

[方程式16]

mv_spt＝median{mv_col，mv_col，mv_a，mv_b，mv_c}

(19)

在图像编码装置100中，针对每个块计算使用关于每个块的预测运动矢量信息的情况下的成本函数，并且选择最佳预测运动矢量信息。在图像压缩信息中，发送指示如下信息的标志，该信息是关于针对各个块使用哪个预测运动矢量信息。

对于诸如作为下一代编码标准的目标的UHD(超高清：4000像素×2000像素)的大图像帧，16像素×16像素的宏块大小不是最佳的。因此，非专利文献2和其它文献提出了宏块大小应为64×64像素或者32像素×32像素，如图8所示。

也就是说，根据非专利文献1，如图7所示使用分层结构，在针对16×16像素或者更小的块保持与根据当前AVC的宏块的兼容性的同时，将较大的块定义为超集。

非专利文献2提出了使用片间扩展宏块，但是非专利文献3提出了使用片内扩展宏块。

[操作的原理]

在图1所示的图像编码装置100中，需要在存储器中存储参考帧中的运动矢量信息，以在对B图片进行编码时使用时间直接模式进行编码操作。如果对于P图片也使用在非专利文献1中公开的运动矢量编码方法，则在对P图片进行编码时，也需要在存储器中存储运动矢量信息。需要在存储器中存储关于所有运动补偿块的运动矢量信息。

现在参考图9到11，描述与上面不同的本技术的操作原理。

通过本技术，仅在存储器中存储关于位于当前宏块130中最左上部分处的运动补偿块(或者子宏块)131(当前小区域)的运动矢量信息131A，如图9所示。

在针对其它帧进行的操作中，使用存储在存储器中的运动矢量信息131A作为参考帧的运动矢量信息。因此，也可以肯定地说，在存储器中存储了参考帧的运动矢量信息。

通过该方法，例如，要使用作为时间直接模式的直接8×8模式，对块141（块141是图10的右边部分所示的帧140中的宏块的子宏块）进行编码。

在这种情况下，在存储器中没有存储关于与块141相对应且存在于参考帧150中的共同定位块151(小参考区域)的运动矢量信息，如图10的左边部分所示。

然后，使用存储在存储器中的相邻运动矢量，生成共同定位块151的运动矢量信息。

图11是包括图10所示的参考帧150的共同定位块151的宏块的放大视图。如上面参考图9所描述的，仅存储了关于位于每个宏块的左上角的子宏块的运动矢量信息。因此，在图11中，在存储器中存储关于位于包括共同定位块151的宏块的左上角的子宏块的运动矢量信息mv_A、关于位于该宏块右侧的宏块的子宏块的运动矢量信息mv_B、关于位于该宏块下面的宏块的子宏块的运动矢量信息mv_C和关于位于该宏块下面的宏块右侧的宏块的子宏块的运动矢量信息mv_D(图10中的运动矢量161到164)。

另一方面，在存储器中没有存储关于共同定位块151的运动矢量信息mv_x。因此，使用存储在存储器中的运动矢量信息mv_A、mv_B、mv_C和mv_D，生成这种情况下关于共同定位块151的运动矢量信息mv_x。

例如，将图11所示的点A、B、C和D(位于各个宏块的左上角的像素)设置为各个宏块的代表点，并且使用运动矢量信息mv_A、mv_B、mv_C和mv_D作为与各个代表点(点A、B、C和D)相对应的运动矢量信息。根据从位于共同定位块151的左上角的像素X(共同定位块151的代表点)到点A、B、C和D的距离，使用存储在存储器中的运动矢量信息mv_A、mv_B、mv_C和mv_D，通过插值运算生成运动矢量信息mv_x。

也就是说，在图11所示的示例中，如下面的方程式(20)所示确定运动矢量信息mv_x：

[方程式17]

{mv}_{X} = \frac{{mv}_{A} + {mv}_{B} + {mv}_{C} + {mv}_{D} + 2}{4} - - - (20)

可以根据存储在存储器中的相邻运动矢量信息，确定关于共同定位块151的运动信息。也就是说，通过进行这种操作，图像编码装置100不需要存储针对每个运动补偿块(子宏块)计算的所有运动矢量信息。相应地，可以限制使用时间轴方向上的运动矢量信息相关性的编码操作的负荷增加，并且可以使电路尺寸更小。

运动矢量信息mv_x通过任意方法来计算，可以使用上述方法之外的方法。例如，如下面的方程式(21)所示，可以使用关于位于包括共同定位块151的宏块的左上角的像素的运动矢量信息mv_A，作为运动矢量信息mv_x：

mv_X=mv_A

(21)

在方程式(21)所示的操作中所需的计算量当然更小，但是在方程式(20)所示的操作中获得的编码效率更高。

在上面的示例中，在存储器中存储了关于位于各个宏块的左上角的运动补偿块(子宏块)的运动矢量信息。然而，操作不限于此，可以在存储器中存储关于位于诸如右上部分、左下部分、右下部分或者中心部分的其它位置处的运动补偿块(子宏块)的运动矢量信息。

然而，有可能位于左上部分之外的位置处的运动补偿块(子宏块)可能根据分割(划分)宏块的方法而改变。

因此，在存储器中存储了关于位于左上部分之外的位置处的运动补偿块(子宏块)的运动矢量信息的情况下，不仅需要存储运动矢量信息，还需要存储指示使用何种方法分割宏块的信息，以确定存储在存储器中的运动矢量信息与哪个运动补偿块(子宏块)相对应。因此，有可能存储在存储器中的信息的量可能增加附加信息的量。

另一方面，不管划分宏块的方法如何，位于每个宏块的最左上部分处的运动补偿区块(子宏块)的位置都是不变的。相应地，只要如在本技术中存储了关于位于最左上部分处的运动补偿区块(子宏块)的运动矢量信息，则不需要存储关于划分宏块的方法的信息。因此，解决了上述问题。

也可以在与如图8所示的扩展的宏块兼容的图像编码装置100和图像解码装置200中使用本技术。

具体地，例如，如在图12所示的扩展宏块170中，可以将扩展宏块划分为大量子宏块。相应地，通过使用本技术以及如上所述仅存储位于最左上部分处的子宏块171的运动矢量信息，可以大大减少用于存储运动矢量信息的存储器容量。

也就是说，使用扩展宏块，可以使通过使用本技术减少存储器容量的效果更大。

[时间运动矢量编码单元]

图13是示出图1所示的时间运动矢量编码单元121的具体示例结构的框图。

如图13所示，时间运动矢量编码单元121包括块位置确定单元181、运动矢量插值单元182和运动矢量缓冲器183。

当时间方向上的运动矢量编码使用的模式是运动预测/补偿单元115处的候选模式时，向块位置确定单元181发送运动补偿块的块地址。

在运动矢量缓冲器183中存储了关于共同定位块(小参考区域)的运动矢量信息（该共同定位块是在参考帧中具有与块地址相同的地址的运动补偿块）情况下，块位置确定单元181将块地址发送到运动矢量缓冲器183。运动矢量缓冲器183将与所提供的块地址相对应的运动矢量信息提供给运动预测/补偿单元115。

在运动矢量缓冲器183中没有存储关于共同定位块(小参考区域)的运动矢量信息的情况下，块位置确定单元181向运动矢量插值单元182发送块地址。

运动矢量插值单元182计算插值运算所需的相邻运动补偿块的地址，以生成关于从块位置确定单元181提供的块地址处的运动补偿块的运动矢量信息。然后，运动矢量插值单元182将该地址提供给运动矢量缓冲器183。也就是说，运动矢量插值单元182将包括参考帧中的共同定位块(小参考区域)的宏块和与该宏块相邻的宏块(下文中将与宏块相邻的宏块统称为相邻宏块)的块地址提供给运动矢量缓冲器183。

运动矢量缓冲器183将与指定的相邻宏块的块地址相对应的运动矢量信息提供给运动矢量插值单元182。使用所提供的运动矢量信息，运动矢量插值单元182进行插值操作，以生成与共同定位块相对应的目标运动矢量信息。

运动矢量插值单元182将生成的运动矢量信息提供给运动预测/补偿单元115。

也就是说，在接收到来自运动预测/补偿单元115的块地址时，块位置确定单元181将块地址提供给运动矢量缓冲器183。在运动矢量缓冲器183保持与该块地址相对应的运动矢量信息的情况下，运动矢量缓冲器183读取该运动矢量信息，并将该运动矢量信息提供给运动预测/补偿单元115。

在没有运动矢量信息与从块位置确定单元181提供的块地址相对应的情况下，运动矢量缓冲器183向块位置确定单元181通知该层意思。

在接收到该通知时，块位置确定单元181向运动矢量插值单元182提供从运动预测/补偿单元115提供的块地址。运动矢量插值单元182向运动矢量缓冲器183提供存储在运动矢量缓冲器183中的相邻宏块的块地址。

运动矢量缓冲器183向运动矢量插值单元182提供与所提供的块地址相对应的运动矢量信息。

以这种方式，运动矢量插值单元182获得生成关于共同定位块的运动矢量信息所需的相邻运动矢量信息。

使用所获得的运动矢量信息，运动矢量插值单元182通过插值运算等生成目标运动矢量信息，并将该运动矢量信息提供给运动预测/补偿单元115。

使用从运动矢量缓冲器183提取的运动矢量信息或者由运动矢量插值单元182生成的运动矢量信息，与在传统时间直接模式中相同，运动预测/补偿单元115使用时间轴方向上的相关性，对运动矢量信息进行编码。

对于每个块，运动预测/补偿单元115向运动矢量缓冲器183发送在最后的编码操作中使用的运动矢量信息，并且将该运动矢量信息存储到运动矢量缓冲器183中，用于下一次编码操作。

使用上述机制，图像编码装置100可以仅通过将仅关于每个宏块的子宏块的运动矢量信息存储到时间运动矢量编码单元121的运动矢量缓冲器183中，使用时间方向上的相关性，对运动矢量信息进行编码。

也就是说，图像编码装置100可以减少在编码操作中所需的存储量，并且降低编码操作的负荷。

[编码操作中的流程]

接下来，描述由上述图像编码装置100进行的每个操作中的流程。首先参考图14中的流程图，描述编码操作中的示例流程。

在步骤S101中，A/D转换单元101对输入图像进行A/D转换。在步骤S102中，图片重排缓冲器102存储A/D转换后的图像，并且以编码顺序、而不是图片显示顺序重排图像。

在步骤S103中，计算单元103计算通过步骤S102的过程重排的图像和预测图像之间的差。在帧间预测的情况下，从运动预测/补偿单元115经由选择单元116向计算单元103提供预测图像，而在帧内预测的情况下，从帧内预测单元114经由选择单元116向计算单元103提供预测图像。

差数据比原始图像数据具有更小的数据量。相应地，与在按原样对图像进行编码的情况下相比，可以使数据量更小。

在步骤S104中，正交变换单元104对通过步骤S103的过程生成的差信息进行正交变换。具体地，进行诸如离散余弦变换或者卡-洛变换的正交变换，以输出变换系数。

在步骤S105中，量化单元105对通过步骤S104的过程而获得的正交变换系数进行量化。

以如下方式对通过步骤S105的过程量化的差信息进行局部解码。也就是说，在步骤S106中，逆量化单元108使用与量化单元105的特征兼容的特征，对通过步骤S105的过程而生成的量化正交变换系数(也称为量化系数)进行逆量化。在步骤S107中，逆正交变换单元109使用与正交变换单元104的特征兼容的特征，对通过步骤S106的过程获得的正交变换系数进行逆正交变换。

在步骤S108中，计算单元110将预测图像与局部解码的差信息相加，以生成局部解码图像(等同于到计算单元103的输入的图像)。在步骤S109中，去块滤波器111对通过步骤S108的过程而生成的图像进行滤波。通过该过程，去除块失真。

在步骤S110中，帧存储器112存储通过步骤S109的过程去除了块失真的图像。还从计算单元110向帧存储器112提供未经去块滤波器111滤波的图像，并且将其存储到帧存储器112中。

在步骤S111中，帧内预测单元114以帧内预测模式进行帧内预测操作。在步骤S112中，运动预测/补偿单元115进行帧间运动预测操作，以进行帧间预测模式下的运动预测和运动补偿。

在步骤S113中，选择单元116基于从帧内预测单元114和运动预测/补偿单元115输出的各个成本函数值，选择最佳预测模式。也就是说，选择单元116选择由帧内预测单元114生成的预测图像，或者由运动预测/补偿单元115生成的预测图像。

将指示选择了哪个预测图像的选择信息提供给生成所选择的预测图像的帧内预测单元114或者运动预测/补偿单元115。在选择了最佳帧内预测模式下的预测图像的情况下，帧内预测单元114将指示最佳帧内预测模式的信息(或者帧内预测模式信息)提供给无损编码单元106。

在选择了最佳帧间预测模式下的预测图像的情况下，运动预测/补偿单元115将指示最佳帧间预测模式的信息且在需要的情况下和根据最佳帧间预测模式的信息输出到无损编码单元106。根据最佳帧间预测模式的信息包括运动矢量信息、标志信息、参考帧信息等。

在步骤S114中，无损编码单元106对通过步骤S105的过程量化的变换系数进行编码。也就是说，对差图像(在帧间预测的情况下为二维差图像)进行诸如可变长度编码或者算术编码的无损编码。

无损编码单元106对在步骤S105中计算的量化参数进行编码，并且将编码的参数加到编码的数据。

无损编码单元106还对关于通过步骤S113的过程选择的预测图像的预测模式的信息进行编码，并且将编码信息加到通过对差图像进行编码而获得的编码数据。也就是说，无损编码单元106还对从帧内预测单元114提供的帧内预测模式信息或者从运动预测/补偿单元115提供的根据最佳帧间预测模式的信息进行编码，并且将编码信息加到编码数据。

在步骤S115中，累积缓冲器107累积从无损编码单元106输出的编码数据。在需要的情况下读出在累积缓冲器107中累积的编码数据，并且将其经由传输路径传输到解码侧。

在步骤S116中，基于通过步骤S115的过程在累积缓冲器107中累积的压缩图像，速率控制单元117控制量化单元105的量化操作的速率，使得不产生溢出和下溢。

当步骤S116的过程结束时，编码操作到达结尾。

[帧间运动预测操作中的流程]

现在参考图15中的流程图，描述在图14的步骤S112中进行的帧间运动预测操作中的示例流程。

当帧间运动预测操作开始时，在步骤S131中，运动预测/补偿单元115确定用于每个块大小的每个帧间预测模式的运动矢量和参考图像。

在步骤S132中，运动预测/补偿单元115基于用于每个块大小的每个帧间预测模式的运动矢量，对参考图像进行补偿操作。

在步骤S133中，运动预测/补偿单元115计算用于每个块大小的每个帧间预测模式的成本函数值。

在步骤S134中，运动预测/补偿单元115基于在步骤S133中计算的成本函数值，确定最佳帧间预测模式。

在确定了最佳帧间预测模式之后，运动预测/补偿单元115结束帧间运动预测操作，并且使操作返回到图14的步骤S112。之后，进行步骤S113和之后步骤的过程。

在这些帧间预测模式中的一个中，运动预测/补偿单元115使时间运动矢量编码单元121进行时间运动矢量编码操作，该操作是使用时间轴方向上的运动矢量信息相关性的编码操作。

[时间运动矢量编码操作中的流程]

现在参考图16中的流程图，描述时间运动矢量编码操作中的示例流程。

当时间运动矢量编码操作开始时，在步骤S151中，块位置确定单元181获得从运动预测/补偿单元115提供的当前块的地址(当前块地址)。

在步骤S152中，块位置确定单元181判断是否在运动矢量缓冲器183中存储了关于共同定位块的运动矢量信息，该共同定位块是位于参考帧中的当前块地址处的运动补偿块(子宏块)。

在块位置确定单元181判断为在运动矢量缓冲器183中存储了关于共同定位块的运动矢量信息的情况下，在步骤S153中，运动矢量缓冲器183读取关于共同定位块的运动矢量信息，并将该运动矢量信息提供给运动预测/补偿单元115。

在步骤S152中块位置确定单元181判断为在运动矢量缓冲器183中未存储关于共同定位块的运动矢量信息的情况下，块位置确定单元181向运动矢量插值单元182提供当前块地址。运动矢量插值单元182从所提供的当前块地址中获得相邻宏块(包括包含共同定位块的宏块以及与该宏块相邻的宏块)的块地址，并且向运动矢量缓冲器183提供所获得的块地址。

在步骤S154中，运动矢量缓冲器183读取与所提供的相邻宏块的块地址相对应的运动矢量信息，并将该运动矢量信息提供给运动矢量插值单元182。

在步骤S155中，运动矢量插值单元182进行插值运算，以生成关于共同定位块的运动矢量信息。

在步骤S156中，使用如上所述从时间运动矢量编码单元121提供的运动矢量信息，运动预测/补偿单元115使用时间轴方向上的相关性对该运动矢量信息进行编码。

在步骤S157中，运动预测/补偿单元115判断应当存储在编码中使用的运动矢量信息，还是关于共同定位块的运动矢量信息。

例如，要在运动矢量缓冲器183中存储关于位于每个宏块的左上角处的运动补偿块(子宏块)的运动矢量信息。如果共同定位块是位于宏块的左上角处的块，则运动预测/补偿单元115判断为应当存储关于共同定位块的运动矢量信息。

在这种情况下，运动预测/补偿单元115使操作移到步骤S158，向运动矢量缓冲器183提供运动矢量信息。运动矢量缓冲器183存储从运动预测/补偿单元115提供的运动矢量信息。

在存储运动矢量信息之后，时间运动矢量编码单元121结束时间运动矢量编码操作。在步骤S157中运动预测/补偿单元115判断为不存储关于共同定位块的运动矢量信息的情况下，时间运动矢量编码单元121跳过步骤S158的过程，并结束时间运动矢量编码操作。

如上所述，通过进行各个操作，图像编码装置100可以减少要存储在运动矢量缓冲器183中的运动矢量信息的量，并且降低编码操作的负荷。

[2.第二实施例]

[图像解码装置]

图17是示出图像解码装置的示例主要结构的框图。图17所示的图像解码装置200是与图像编码装置100兼容的解码装置。

经由预定传输路径将由图像编码装置100编码的数据发送到与图像编码装置100兼容的图像解码装置200，然后进行解码。

如图17所示，图像解码装置200包括累积缓冲器201、无损解码单元202、逆量化单元203、逆正交变换单元204、计算单元205、去块滤波器206、图片重排缓冲器207和D/A转换单元208。图像解码装置200还包括帧存储器209、选择单元210、帧内预测单元211、运动预测/补偿单元212和选择单元213。

图像解码装置200还包括时间运动矢量解码单元221。

累积缓冲器201累积发送的编码数据。编码数据已由图像编码装置100进行了编码。无损解码单元202使用与由图1的无损编码单元106使用的编码方法兼容的方法，在预定时间对从累积缓冲器201读出的编码数据进行解码。

逆量化单元203使用与由图1的量化单元105使用的量化方法兼容的方法，对由无损解码单元202解码并获得的系数数据(量化系数)进行逆量化。

逆量化单元203向逆正交变换单元204提供逆量化的系数数据或者正交变换系数。逆正交变换单元204使用与图1的正交变换单元104使用的正交变换方法兼容的方法，对正交变换系数进行逆正交变换，并且获得与在图像编码装置100中还未经过正交变换的残余数据相对应的解码的残余数据。

向计算单元205提供通过逆正交变换而获得的解码的残余数据。还将预测图像从帧内预测单元211或者运动预测/补偿单元212经由选择单元213提供给计算单元205。

计算单元205将解码的残余数据与预测图像相加，并获得与图像编码装置100中的计算单元103还未从其减去预测图像的图像数据相对应的解码图像数据。计算单元205将解码图像数据提供给去块滤波器206。

去块滤波器206从所提供的解码图像中去除块失真，并将解码图像提供给图片重排缓冲器207。

图片重排缓冲器207进行图片重排。也就是说，按照原始显示顺序重排由图1的图片重排缓冲器102按照编码顺序重排的帧顺序。D/A转换单元208对从图片重排缓冲器207提供的图像进行D/A转换，并将图像输出到显示器(未示出)以显示图像。

还向帧存储器209提供来自去块滤波器206的输出。

帧存储器209、选择单元210、帧内预测单元211、运动预测/补偿单元212和选择单元213等同于图像编码装置100的帧存储器112、选择单元113、帧内预测单元114、运动预测/补偿单元115和选择单元116。

选择单元210从帧存储器209读取要进行帧间处理的图像和要参考的图像，并将该图像提供给运动预测/补偿单元212。选择单元210还从帧存储器209中读取要用于帧内预测的图像，并且向帧内预测单元211提供该图像。

在需要的情况下，从无损解码单元202向帧内预测单元211提供通过解码头信息而获得的指示帧内预测模式的信息等。基于该信息，帧内预测单元211根据从帧存储器209获得的参考图像生成预测图像，并且向选择单元213提供所生成的预测图像。

运动预测/补偿单元212从无损解码单元202获得通过对头信息进行解码而生成的信息(预测模式信息、运动矢量信息、参考帧信息、标志、各种参数等)。

基于从无损解码单元202提供的信息，运动预测/补偿单元212根据从帧存储器209获得的参考图像生成预测图像，并将生成的预测图像提供给选择单元213。

在图像编码装置100中选择了诸如时间直接模式的使用时间轴方向上的运动矢量信息相关性进行编码的模式的情况下，运动预测/补偿单元212使用时间运动矢量解码单元221、以该模式进行运动预测/补偿操作。

选择单元213选择由运动预测/补偿单元212或者帧内预测单元211生成的预测图像，并将预测图像提供给计算单元205。

时间运动矢量解码单元221具有与图像编码装置100的时间运动矢量编码单元121相同的结构，并且进行与其相同的操作。也就是说，时间运动矢量解码单元221具有图13所示的结构，并且进行与参考图16中的流程图描述的时间运动矢量编码操作相同的操作(时间运动矢量解码操作)，以在需要的情况下生成与从运动预测/补偿单元212提供的块地址相对应的运动矢量信息，并将该运动矢量信息提供给运动预测/补偿单元212。

因此，这里不描述时间运动矢量解码单元221的具体结构以及时间运动矢量解码操作中的流程。

[解码操作中的流程]

接下来，描述由上述图像解码装置200进行的每个操作中的流程。首先参考图18中的流程图，描述解码操作中的示例流程。

当解码操作开始时，在步骤S201中，累积缓冲器201累积发送的编码数据。在步骤S202中，无损解码单元202对从累积缓冲器201提供的编码数据进行解码。也就是说，对由图1的无损编码单元106编码的I图片、P图片和B图片进行解码。

在该点处，还对运动矢量信息、参考帧信息、预测模式信息(帧内预测模式或者帧间预测模式)以及关于标志、量化参数的信息等进行解码。

在预测模式信息是帧内预测模式信息的情况下，向帧内预测单元211提供预测模式信息。在预测模式信息是帧间预测模式信息的情况下，向运动预测/补偿单元212提供与预测模式信息相对应的运动矢量信息。

在步骤S203中，逆量化单元203使用与图1的量化单元105进行的量化操作兼容的方法，对由无损解码单元202解码并获得的量化正交变换系数进行逆量化。在步骤S204中，逆正交变换单元204使用与图1的正交变换单元104进行的正交变换操作兼容的方法，对通过由逆量化单元203进行的逆量化获得的正交变换系数，进行逆正交变换。以这种方式，对与到图1的正交变换单元104的输入(或者来自计算单元103的输出)相对应的差信息进行解码。

在步骤S205中，计算单元205将预测图像加到通过步骤S204的过程而获得的差信息。以这种方式，对原始图像数据进行解码。

在步骤S206中，去块滤波器206在需要的情况下对通过步骤S205的过程获得的解码图像进行滤波。以这种方式，在需要的情况下从解码图像中去除了块失真。

在步骤S207中，帧存储器209存储经过滤波的解码图像。

在步骤S208中，帧内预测单元211或者运动预测/补偿单元212根据从无损解码单元202提供的预测模式信息，进行图像预测操作。

也就是说，在从无损解码单元202提供帧内预测模式信息的情况下，帧内预测单元211以帧内预测模式进行帧内预测操作。在从无损解码单元202提供帧间预测模式信息的情况下，运动预测/补偿单元212以帧间预测模式进行运动预测操作。

在步骤S209中，选择单元213选择预测图像。也就是说，向选择单元213提供由帧内预测单元211生成的预测图像或者由运动预测/补偿单元212生成的预测图像。选择单元213选择所提供的预测图像，并将预测图像提供给计算单元205。在步骤S205的过程中，将预测图像加到差信息。

在步骤S210中，图片重排缓冲器207对解码图像数据的帧进行重排。也就是说，在解码图像数据中，按照原始显示顺序对由图像编码装置100的图片重排缓冲器102(图1)针对编码进行了重排的帧顺序进行重排。

在步骤S211中，D/A转换单元208对由图片重排缓冲器207重排了帧的解码图像数据进行D/A转换。将解码图像数据输出到显示器(未示出)，并且显示图像。

[预测操作中的流程]

现在，参考图19中的流程图，描述在图18的步骤S208中进行的预测操作中的具体示例流程。

当预测操作开始时，在步骤S231中，无损解码单元202基于解码的预测模式信息，判断编码数据是否经过了帧内编码。

在无损解码单元202判断为编码数据经过了帧内编码的情况下，无损解码单元202使操作移动到步骤S232。

在步骤S232中，帧内预测单元211从无损解码单元282获得生成预测图像所需的诸如帧内预测模式信息的信息。在步骤S233中，帧内预测单元211从帧存储器209获得参考图像，并且以帧内预测模式进行帧内预测操作，以生成预测图像。

在生成预测图像之后，帧内预测单元211经由选择单元213将生成的预测图像提供给计算单元205，并且结束预测操作。然后，操作返回到图18的步骤S208，进行步骤S209的过程和之后过程。

在图19的步骤S231中无损解码单元202判断为编码数据经过了帧间编码的情况下，无损解码单元202使操作移到步骤S234。

在步骤S234中，运动预测/补偿单元212从无损解码单元282获得生成预测图像所需的信息，例如运动预测模式信息、参考帧信息和差运动矢量信息。

在步骤S235中，运动预测/补偿单元212以指定模式对运动矢量信息进行解码。在图像编码装置100中选择了使用时间轴方向上的运动矢量信息相关性进行编码的模式（诸如时间直接模式的）的情况下，运动预测/补偿单元212使时间运动矢量解码单元221提供想要的运动矢量信息，并使用该运动矢量信息使用时间轴方向上的相关性进行解码操作。以这种方式，对差运动矢量信息进行解码。

在步骤S236中，运动预测/补偿单元212使用解码的运动矢量信息根据参考图像生成预测图像。

在生成预测图像之后，运动预测/补偿单元212经由选择单元213向计算单元205提供所生成的预测图像，并且结束预测操作。然后，操作返回到图18的步骤S208，进行步骤S209的过程和之后的过程。

通过如上所述进行解码操作和预测操作，与在图像编码装置100的情况下相同，图像解码装置200可以减少要存储在时间运动矢量解码单元221的运动矢量缓冲器中的运动矢量信息的量，并且降低使用时间方向上的相关性的运动矢量信息解码操作的负荷。

也就是说，图像解码装置200可以仅通过仅将关于每个宏块的子宏块的运动矢量信息存储到时间运动矢量解码单元221的运动矢量缓冲器中，使用时间方向上的相关性，对运动矢量信息进行解码。

在上面的描述中，当计算关于共同定位块的运动矢量信息时，通过插值运算对相邻运动矢量信息进行根据距离的加权。然而，要对相邻运动矢量信息进行的加权不限于此，可以基于任意种类的信息来执行。例如，可以基于诸如与各个运动矢量信息相对应的运动补偿块(子宏块)的块大小、块中的图像的复杂度(纹理的类型)或者块中的像素分布相似度的任意特征来进行加权。

在上面的描述中，位于各个块的左上部分处的像素是代表块，然而代表块可以位于其它一些位置。

在上面的描述中，时间运动矢量编码单元121和时间运动矢量解码单元221的运动矢量缓冲器保持运动矢量。然而，每一个宏块可以保持多于一个的运动矢量。

例如，如在图20所示的宏块300中，可以在运动矢量缓冲器中存储关于位于四个角的子宏块(子宏块301到304)的运动矢量信息(运动矢量信息301A到304A)。

在以这种方式存储了运动矢量信息时，可以使用运动矢量信息301A到304A通过进行插值运算，来确定关于宏块300中的子宏块的运动矢量信息(例如关于子宏块311的运动矢量信息311A)。

使用这种设置，不需要参考任何其它宏块，而仅应参考包括共同定位块的宏块。相应地，从运动矢量缓冲器中读取运动矢量信息变得更容易。

例如，不将运动矢量信息与关于另一宏块的运动矢量信息组合，因此，可以针对每个宏块统一压缩运动矢量信息，并将其存储在运动矢量缓冲器中。在图20所示的示例中，可以对属于宏块300的运动矢量信息301A到304A统一进行编码。

在如在第一实施例中所描述的、对关于两个或更多个宏块的运动矢量信息的组合进行插值运算的情况下，如果以上述方式针对每个宏块对运动矢量信息统一进行编码，则需要读出不必要的运动矢量信息。这导致更低的效率。另一方面，在仅对关于宏块的运动矢量信息进行插值运算的情况下，可以统一读出关于宏块的运动矢量信息，可以进行高效率的读取。

此外，在编码之后存储运动矢量信息。相应地，可以存储量减少的运动矢量信息，并且可以更高效地使用运动矢量缓冲器的存储区域。

毋庸置疑，要存储在运动矢量缓冲器中的每宏块运动矢量信息的数目可以不是四个，可以存储任意运动补偿块(子宏块)的运动矢量信息。

在上面的描述中，作为示例，描述了使用与AVC兼容的方法进行编码的图像编码装置和使用与AVC兼容的方法进行解码的图像解码装置。然而，本技术的应用范围不限于此，本技术可以在基于如图8所示的具有分层结构的块进行编码操作的任意图像编码装置和任意图像解码装置中使用。

[3.第三实施例]

[个人计算机]

可以通过硬件或者软件进行上述一系列操作。在这种情况下，例如，可以形成图21所示的个人计算机。

在图21中，个人计算机500的CPU(中央处理器)501根据存储在ROM(只读存储器)502中的程序或者从存储单元513加载到RAM(随机存取存储器)503中的程序，进行各种操作。在需要的情况下，CPU 501进行各种操作所需的数据也存储在RAM 503中。

CPU 501、ROM 502和RAM 503经由总线504彼此连接。输入/输出接口510也连接到总线504。

由键盘、鼠标等形成的输入单元511、由用CRT(阴极射线管)、LCD(液晶显示器)等形成的显示器和扬声器等形成的输出单元512、由硬盘等形成的存储单元513以及由调制解调器等形成的通信单元514连接到输入/输出接口510。通信单元514经由包括因特网的网络进行通信操作。

在需要的情况下，驱动515也连接到输入/输出接口510，在适当的情况下，诸如磁盘、光盘、磁光盘、半导体存储器等的可移除介质521安装在驱动515上。在需要的情况下，将从这些介质读出的计算机程序安装在存储单元513中。

在通过软件进行上述一系列操作的情况下，从网络或者记录介质安装形成软件的程序。

如图21所示，可以与装置分离地分发该记录介质，以向用户递送程序。例如，该记录介质可由可移除介质521形成，可移除介质诸如在其上记录有程序的磁盘(或者软盘)、光盘(或者CD-ROM(紧凑盘只读存储器)或者DVD(数字通用盘))、磁光盘(或者MD(微型盘))或者半导体存储器。可选地，可以由在其上记录有程序的ROM 502或者包含在存储单元513中的硬盘等形成该记录介质。事先将ROM 502和硬盘合并到装置中，并且分发给用户。

由计算机执行的程序可以是根据在本说明书中描述的序列按照时间顺序进行操作的程序，或者可以是并行或在进行调用等时进行操作的程序。

在本说明书中，编写要记录在记录介质上的程序的步骤不仅包括根据所公开的序列按照时间顺序进行的操作，还包括在不按照时间顺序的情况下并行或者彼此独立地进行的操作。

在本说明书中，“系统”意为由两个或更多个设备(装置)形成的整个装置。

在上面的描述中，可以将作为一个装置(或者一个处理单元)描述的任意结构划分并且形成为两个或更多个装置(或者处理单元)。可以作为一个装置(或者一个处理单元)形成作为两个或更多个装置(或者处理单元)描述的任意结构。当然可以对每个装置(或者每个处理单元)的结构添加上面未描述的结构。此外，只要整个系统的结构和操作基本不变，则可以将装置(或者处理单元)的结构的一部分合并到另一装置(或者另一处理单元)的结构中。也就是说，本技术的实施例不限于上述实施例，可以对其进行各种变形，而不脱离本技术的范围。

例如，可以将上述图像编码装置和上述图像解码装置应用于任意电子装置。下面，描述这些应用的示例。

[4.第四实施例]

[电视接收器]

图22是示出使用图像解码装置200的电视接收器的示例主要结构的框图。

图22所示的电视接收器1000包括地面调谐器1013、视频解码器1015、视频信号处理器电路1018、图形生成器电路1019、面板驱动器电路1020和显示面板1021。

地面调谐器1013经由天线接收模拟地面广播的广播波信号，对信号进行解调，以获得视频信号。地面调谐器1013向视频解码器1015提供该视频信号。视频解码器1015对从地面调谐器1013提供的视频信号进行解码操作，并且向视频信号处理器电路1018提供获得的数字分量信号。

视频信号处理器电路1018对从视频解码器1015提供的视频数据，进行诸如去噪的预定处理，并且向图形生成器电路1019提供获得的视频数据。

图形生成器电路1019生成要在显示面板1021上显示的节目的视频数据，或者通过基于经由网络提供的应用程序进行操作而生成图像数据。图形生成器电路1019向面板驱动器电路1020提供所生成的视频数据或者图像数据。图形生成器电路1019还生成用于显示用户用来选择项目的屏幕的视频数据(图形)，并且将该视频数据叠加在节目的视频数据上。在适当的情况下，向面板驱动器电路1020提供获得的视频数据。

基于从图形生成器电路1019提供的数据，面板驱动器电路1020驱动显示面板1021，并且使显示面板1021显示上述节目的视频图像和每个屏幕。

显示面板1021由LCD(液晶显示器)等形成，其在面板驱动器电路1020的控制下显示节目的视频图像等。

电视接收器1000还包括音频A/D(模拟/数字)转换器电路1014、音频信号处理器电路1022、回声消除器/音频合成器电路1023、音频放大器电路1024和扬声器1025。

地面调谐器1013通过对接收到的广播波信号进行解调，不仅获得视频信号，还获得音频信号。地面调谐器1013向音频A/D转换器电路1014提供所获得的音频信号。

音频A/D转换器电路1014对从地面调谐器1013提供的音频信号进行A/D转换操作，并且向音频信号处理器电路1022提供获得的数字音频信号。

音频信号处理器电路1022对从音频A/D转换器电路1014提供的音频数据进行诸如去噪的预定处理，并且向回声消除器/音频合成器电路1023提供获得的音频数据。

回声消除器/音频合成器电路1023向音频放大器电路1024提供从音频信号处理器电路1022提供的音频数据。

音频放大器电路1024对从回声消除器/音频合成器电路1023提供的音频数据进行D/A转换操作和放大操作。在调节为预定音量之后，从扬声器1025输出声音。

电视接收器1000还包括数字调谐器1016和MPEG解码器1017。

数字调谐器1016经由天线接收数字广播(数字地面广播或者数字BS(广播卫星)/CS(通信卫星)广播)的广播波信号，并对广播波信号进行解调，以获得MPEG-TS(运动图片专家组-传输流)。向MPEG解码器1017提供MPEG-TS。

MPEG解码器1017对从数字调谐器1016提供的MPEG-TS进行解扰(descramble)，并且提取包含要再现(或者要观看)的节目的数据的流。MPEG解码器1017对形成所提取的流的音频包进行解码，并且向音频信号处理器电路1022提供获得的音频数据。MPEG解码器1017还对形成流的视频包进行解码，并且向视频信号处理器电路1018提供获得的视频数据。MPEG解码器1017还经由路径(未示出)向CPU 1032提供从MPEG-TS提取的EPG(电子节目指南)数据。

电视接收器1000使用图像解码装置200作为MPEG解码器1017，其如上所述对视频包进行解码。由图像编码装置100对从广播站等发送的MPEG-TS进行了编码。

当与在图像解码装置200的情况下相同，使用时间方向上的相关性进行运动矢量信息解码操作时，MPEG解码器1017仅将关于每个宏块的子宏块的运动矢量信息存储在时间运动矢量解码单元221的运动矢量缓冲器中，并且通过使用存储在运动矢量缓冲器中的其它运动矢量信息进行插值运算等，计算关于其它子宏块的运动矢量信息。相应地，MPEG解码器1017可以减少要存储在运动矢量缓冲器中的运动矢量信息的量，并且可以降低使用时间方向上的相关性的运动矢量信息解码操作的负荷。

与在从视频解码器1015提供的视频数据的情况下相同，在视频信号处理器电路1018处，对从MPEG解码器1017提供的视频数据进行预定处理。在适当的情况下，在图形生成器电路1019处，将生成的视频数据等叠加在该视频数据上。经由面板驱动器电路1020向显示面板1021提供获得的视频数据，并且显示图像。

与在从音频A/D转换器电路1014提供的音频数据的情况下相同，在音频信号处理器电路1022处，对从MPEG解码器1017提供的音频数据进行预定处理。经由回声消除器/音频合成器电路1023向音频放大器电路1024提供获得的音频数据，并且对其进行D/A转换操作或者放大操作。其结果是，从扬声器1025输出调节为预定音量的声音。

电视接收器1000还包括麦克风1026和A/D转换器电路1027。

A/D转换器电路1027接收由在电视接收器1000中设置用于语音对话的麦克风1026捕获的用户语音的信号。A/D转换器电路1027对接收到的音频信号进行A/D转换操作，并且向回声消除器/音频合成器电路1023提供获得的数字音频数据。

在从A/D转换器电路1027提供了电视接收器1000的用户(用户A)的音频数据的情况下，回声消除器/音频合成器电路1023对用户A的音频数据进行回声消除，并且将该音频数据与其它音频数据等组合。经由音频放大器电路1024从扬声器1025输出获得的音频数据。

电视接收器1000还包括音频编解码器1028、内部总线1029、SDRAM(同步动态随机存取存储器)1030、闪存1031、CPU 1032、USB(通用串行总线)I/F 1033和网络I/F 1034。

A/D转换器电路1027接收由在电视接收器1000中设置的用于语音对话的麦克风1026捕获的用户语音的信号。A/D转换器电路1027对接收到的音频信号进行A/D转换操作，并且向音频编解码器1028提供获得的数字音频数据。

音频编解码器1028将从A/D转换器电路1027提供的音频数据变换为用于经由网络传输的预定格式的数据，并且经由内部总线1029向网络I/F 1034提供结果。

网络I/F 1034经由附着到网络终端1035的线缆连接到网络。例如，网络I/F 1034向连接到网络的另一装置发送从音频编解码器1028提供的音频数据。网络I/F 1034还经由网络终端1035接收从连接到网络的另一装置发送的音频数据，并且经由内部总线1029向音频编解码器1028提供该音频数据。

音频编解码器1028将从网络I/F 1034提供的音频数据变换为预定格式的数据，并且向回声消除器/音频合成器电路1023提供结果。

回声消除器/音频合成器电路1023对从音频编解码器1028提供的音频数据进行回声消除，并且将该音频数据与其它音频数据等组合。经由音频放大器电路1024从扬声器1025输出获得的音频数据。

SDRAM 1030存储CPU 1032进行处理所需的各种数据。

闪存1031存储要由CPU 1032执行的程序。

CPU 1032在预定时间、例如在电视接收器1000启动时，读取存储在闪存1031中的程序。闪存1031还存储通过数字广播获得的EPG数据、经由网络从预定服务器获得的数据等。

例如，闪存1031在CPU 1032的控制下，存储包含经由网络从预定服务器获得的内容数据的MPEG-TS。例如，闪存1031在CPU 1032的控制下，经由内部总线1029向MPEG解码器1017提供该MPEG-TS。

与在从数字调谐器1016提供的MPEG-TS的情况下相同，MPEG解码器1017对MPEG-TS进行处理。以这种方式，电视接收器1000经由网络接收由视频图像和声音形成的内容数据，并且使用MPEG解码器1017对该内容数据进行解码，以显示视频图像并输出声音。

电视接收器1000还包括光接收单元1037，光接收单元1037接收从遥控器1051发送的红外信号。

光接收单元1037接收来自遥控器1051的红外线，并且向CPU 1032输出指示通过解码获得的用户操作的内容的控制代码。

CPU 1032执行存储在闪存1031中的程序，并且根据从光接收单元1037提供的控制代码等，控制电视接收器1000的总体操作。电视接收器1000的各个部件经由路径(未示出)连接到CPU 1032。

USB I/F 1033与位于电视接收器1000外部的装置交换数据，其经由附着到USB终端1036的USB线缆连接到电视接收器1000。网络I/F 1034经由附着到网络终端1035的线缆连接到网络，并且也与连接到网络的任意种类的装置交换音频数据之外的数据。

在以使用时间方向上的相关性进行运动矢量信息编码操作的模式对经由天线接收到的广播波信号和经由网络获得的内容数据进行编码的情况下，通过使用图像解码装置200作为MPEG解码器1017，电视接收器1000可以减少在解码操作中需要的存储量，并且降低负荷。

[5.第五实施例]

[便携式电话]

图23是示出使用图像编码装置100和图像解码装置200的便携式电话的示例主要结构的框图。

图16所示的便携式电话1100包括被设计成统一控制各个部件的主控制单元1150、电源电路单元1151、操作输入控制单元1152、图像编码器1153、照相机I/F单元1154、LCD控制单元1155、图像解码器1156、复用/分离单元1157、记录/再现单元1162、调制/解调电路单元1158和音频编解码器1159。这些部件经由总线1160彼此连接。

便携式电话1100还包括操作键1119、CCD(电荷耦合器件)照相机1116、液晶显示器1118、存储单元1123、发送/接收电路单元1163、天线1114、麦克风(麦)1121和扬声器1117。

当通话结束，或者通过用户的操作将电源键切换为接通时，电源电路单元1151通过从电池返回向各个部件供电，而将便携式电话1100置于可操作状态。

在由CPU、ROM、RAM等形成的主控制单元1150的控制下，便携式电话1100以诸如音频通信模式和数据通信模式的各种模式进行各种操作，例如音频信号的发送和接收、电子邮件和图像数据的发送和接收、图像捕获和数据记录。

例如，在处于语音通信模式的便携式电话1100中，通过音频编解码器1159将由麦克风(麦克)1121捕获的音频信号变换为数字音频数据，并且在调制/解调电路单元1158处对该数字音频数据进行扩频处理。然后，在发送/接收电路单元1163处，对获得的数据进行数字-模拟转换和频率转换。便携式电话1100经由天线1114向基站(未示出)发送通过转换操作而获得的发送信号。经由公共电话线网络向通信的另一端的便携式电话提供发送到基站的发送信号(音频信号)。

例如，在处于语音通信模式的便携式电话1100中，在发送/接收电路单元1163处对由天线1114接收到的接收信号进行放大，并且进一步对其进行频率转换和模拟-数字转换。在调制/解调电路单元1158处对获得的信号进行逆扩频处理，并且由音频编解码器1159将其变换为模拟音频信号。便携式电话1100从扬声器1117输出变换后的模拟音频信号。

此外，例如，在数据通信模式下发送电子邮件的情况下，便携式电话1100的操作输入控制单元1152接收通过对操作键1119进行操作而输入的电子邮件的文本数据。便携式电话1100在主控制单元1150处对该文本数据进行处理，并且经由LCD控制单元1155在液晶显示器1118上作为图像显示该文本数据。

在便携式电话1100中，主控制单元1150基于由操作输入控制单元1152接收到的文本数据、用户的指令等，生成电子邮件数据。便携式电话1100使电子邮件数据在调制/解调电路单元1158处进行扩频处理，并且在发送/接收电路单元1163处进行数字-模拟转换和频率转换。

便携式电话1100经由天线1114向基站(未示出)发送通过该转换操作获得的发送信号。经由网络、邮件服务器等向预定地址提供发送到基站的发送信号(电子邮件)。

例如，在数据通信模式下接收到电子邮件的情况下，便携式电话1100的发送/接收电路单元1163接收经由天线1114从基站发送的信号，对该信号进行放大，并且进一步对其进行频率转换和模拟-数字转换。便携式电话1100在调制/解调电路单元1158处对接收信号进行逆扩频处理，以恢复原始电子邮件数据。便携式电话1100经由LCD控制单元1155在液晶显示器1118上显示所恢复的电子邮件数据。

便携式电话1100也可以经由记录/再现单元1162，将接收到的电子邮件数据记录(存储)到存储单元1123中。

存储单元1123是可重写存储介质。存储单元1123可以是诸如RAM或内部闪存的半导体存储器、硬盘或者诸如磁盘、磁光盘、光盘、USB存储器或存储卡的可移除介质。当然可以使用上述存储介质之外的存储器。

例如，在数据通信模式下发送图像数据的情况下，便携式电话1100在捕获图像的CCD照相机1116处生成图像数据。CCD照相机1116包括诸如镜头和光圈的光学设备以及作为光电转换元件的CCD。CCD照相机1116捕获被摄体的图像，将接收到的光的强度转换为电信号，并且生成被摄体的图像的图像数据。CCD照相机1116经由照相机I/F单元1154在图像编码器1153处对图像数据进行编码，以获得编码图像数据。

便携式电话1100使用上述图像编码装置100作为进行该操作的图像编码器1153。当与在图像编码装置100的情况下相同，使用时间方向上的相关性进行运动矢量信息编码操作时，图像编码器1153仅将关于每个宏块的子宏块的运动矢量信息存储到时间运动矢量编码单元121的运动矢量缓冲器183中，并且通过使用存储在运动矢量缓冲器183中的其它运动矢量信息进行插值运算等，计算关于其它子宏块的运动矢量信息。相应地，图像编码器1153可以减少要存储在运动矢量缓冲器183中的运动矢量信息的量，并且可以降低使用时间方向上的相关性的运动矢量信息编码操作的负荷。

与上述同时地，在便携式电话1100中，在音频编解码器1159处对在由CCD照相机1116捕获图像期间由麦克风(麦克)1121捕获的声音进行模拟-数字转换，并且进一步对其进行编码。

便携式电话1100的复用/分离单元1157通过预定技术对从图像编码器1153提供的编码图像数据和从音频编解码器1159提供的数字音频数据进行复用。便携式电话1100在调制/解调电路单元1158处对获得的复用数据进行扩频处理，并且在发送/接收电路单元1163处进行数字-模拟转换和频率转换。便携式电话1100经由天线1114向基站(未示出)发送通过该转换操作而获得的发送信号。经由网络等向通信的另一端提供发送到基站的发送信号(图像数据)。

在不发送图像数据的情况下，代替图像编码器1153，便携式电话1100还可以经由LCD控制单元1155在液晶显示器1118上显示在CCD照相机1116处生成的图像数据。

在数据通信模式下接收链接到简化主页的运动图像文件的数据等的情况下，便携式电话1100的发送/接收电路单元1163经由天线1114接收从基站发送的信号。对该信号进行放大，并且进一步对其进行频率转换和模拟-数字转换。便携式电话1100在调制/解调电路单元1158处对接收信号进行逆扩频处理，以恢复原始复用数据。便携式电话1100在复用/分离单元1157处将复用数据分离为编码图像数据和音频数据。

通过在图像解码器1156处对编码图像数据进行解码，便携式电话1100生成再现运动图像数据，并且经由LCD控制单元1155在液晶显示器1118上显示该再现运动图像数据。以这种方式，例如，在液晶显示器1118上显示包含在链接到简化主页的运动图像文件中的运动图像数据。

便携式电话1100使用上述图像解码装置200作为进行该操作的图像解码器1156。也就是说，当与在图像解码装置200的情况下相同，使用时间方向上的相关性进行运动矢量信息解码操作时，图像解码器1156仅将关于每个宏块的子宏块的运动矢量信息存储到时间运动矢量解码单元221的运动矢量缓冲器中，并且通过使用存储在运动矢量缓冲器中的其它运动矢量信息进行插值运算等，计算关于其它子宏块的运动矢量信息。相应地，图像解码器1156可以减少要存储在运动矢量缓冲器中的运动矢量信息的量，并且可以降低使用时间方向上的相关性的运动矢量信息解码操作的负荷。

与上述同时地，便携式电话1100在音频编解码器1159处将数字音频数据变换为模拟音频信号，并且从扬声器1117输出该模拟音频信号。

以这种方式，再现例如包含在链接到简化主页的运动图像文件中的音频数据。

与在电子邮件的情况下相同，便携式电话1100也可以经由记录/再现单元1162将接收到的链接到简化主页的数据等记录(存储)到存储单元1123中。

便携式电话1100的主控制单元1150还可以对由进行图像捕获的CCD照相机1116获得的二维代码进行分析，以获得记录在该二维代码中的信息。

此外，便携式电话1100的红外通信单元1181可以使用红外线与外部装置进行通信。

在进行发送之前，例如以使用时间方向上的相关性进行运动矢量信息编码操作的模式，对由CCD照相机1116生成的图像数据进行编码的情况下，通过使用图像编码装置100作为图像编码器1153，便携式电话1100可以减少在编码操作中需要的存储量，并且降低负荷。

此外，在例如以使用时间方向上的相关性进行运动矢量信息编码操作的模式、对链接到简化主页的运动图像文件的数据(编码数据)进行编码的情况下，通过使用图像解码装置200作为图像解码器1156，便携式电话1100可以减少在解码操作中需要的存储量，并且降低负荷。

在上面的描述中，便携式电话1100使用CCD照相机1116。然而，可以使用利用CMOS(互补金属氧化物半导体)的图像传感器(CMOS图像传感器)，来代替CCD照相机1116。与在使用CCD照相机1116的情况下相同，在这种情况下，便携式电话1100也可以捕获被摄体的图像，并且生成被摄体的图像的图像数据。

虽然上面描述了便携式电话1100，但是也能够以与在便携式电话1100的情况下相同的方式，将图像编码装置100和图像解码装置200应用于任何装置，只要该装置具有与便携式电话1100相同的图像捕获功能和相同的通信功能即可。这种装置例如可以是PDA(个人数字助理)、智能电话、UMPC(Ultra Mobile Personal Computer，超移动个人计算机)、笔记本或者笔记本个人计算机。

[6.第六实施例]

[硬盘记录器]

图24是示出使用图像编码装置100和图像解码装置200的硬盘记录器的示例主要结构的框图。

图24所示的硬盘记录器(HDD记录器)1200是将包含在从卫星或者地面天线等发送的、由调谐器接收到的广播波信号(电视信号)中的广播节目的音频数据和视频数据存储到内部硬盘中，并且在由来自用户的指令指定的时间向用户提供所存储的数据的装置。

硬盘记录器1200例如可以从广播波信号中提取音频数据和视频数据，在适当的情况下对这些数据进行解码，并且将数据存储到内部硬盘中。此外，硬盘记录器1200例如可以经由网络从另一装置获得音频数据和视频数据，在适当的情况下对这些数据进行解码，并且将数据存储到内部硬盘中。

此外，硬盘记录器1200例如可以对记录在内部硬盘上的音频数据和视频数据进行解码，向监视器1260提供这些数据，在监视器1260的屏幕上显示图像，并且从监视器1260的扬声器输出声音。此外，硬盘记录器1200例如可以对从经由调谐器获得的广播波信号中提取的音频数据和视频数据或者经由网络从另一装置获得的音频数据和视频数据进行解码，向监视器1260提供这些数据，在监视器1260的屏幕上显示图像，并且从监视器1260的扬声器输出声音。

硬盘记录器1200当然可以进行上述操作之外的操作。

如图17所示，硬盘记录器1200包括接收单元1221、解调单元1222、解复用器1223、音频解码器1224、视频解码器1225和记录器控制单元1226。硬盘记录器1200还包括EPG数据存储器1227、程序存储器1228、工作存储器1229、显示转换器1230、OSD(屏幕上显示)控制单元1231、显示控制单元1232、记录/再现单元1233、D/A转换器1234和通信单元1235。

显示转换器1230包括视频编码器1241。记录/再现单元1233包括编码器1251和解码器1252。

接收单元1221接收来自遥控器(未示出)的红外信号，将红外信号转换为电信号，并且将电信号输出到记录器控制单元1226。记录器控制单元1226例如由微处理器形成，其根据存储在程序存储器1228中的程序进行各种操作。这时，在需要的情况下，记录器控制单元1226使用工作存储器1229。

通信单元1235连接到网络，并且经由网络与另一装置进行通信操作。例如，在记录器控制单元1226的控制下，通信单元1235与调谐器(未示出)进行通信，并且主要向调谐器输出站选择控制信号。

解调单元1222对从调谐器提供的信号进行解调，并且将信号输出到解复用器1223。解复用器1223将从解调单元1222提供的数据分离为音频数据、视频数据和EPG数据。解调单元1222将音频数据、视频数据和EPG数据分别输出到音频解码器1224、视频解码器1225和记录器控制单元1226。

音频解码器1224对输入的音频数据进行解码，并且将解码的音频数据输出到记录/再现单元1233。视频解码器1225对输入的视频数据进行解码，并且将解码的视频数据输出到显示转换器1230。记录器控制单元1226向EPG数据存储器1227提供输入的EPG数据，并且将其存储到EPG数据存储器1227中。

显示转换器1230例如使用视频编码器1241，将从视频解码器1225或者记录器控制单元1226提供的视频数据编码为与NTSC(美国国家电视标准委员会)标准兼容的视频数据。将编码的视频数据输出到记录/再现单元1233。此外，显示转换器1230将从视频解码器1225或者记录器控制单元1226提供的视频数据的图片大小转换为与监视器1260的大小兼容的大小。视频编码器1241将视频数据转换为与NTSC标准兼容的视频数据。将NTSC视频数据转换为模拟信号，并将其输出到显示控制单元1232。

在记录器控制单元1226的控制下，显示控制单元1232将从OSD(屏幕上显示)控制单元1231输出的OSD信号叠加在从显示转换器1230输入的视频信号上，将获得的信号输出到监视器1260的显示器，以显示图像。

还向监视器1260提供从音频解码器1224输出的、由D/A转换器1234转换为模拟信号的音频数据。监视器1260从内部扬声器输出音频信号。

记录/再现单元1233包括硬盘作为用于记录视频数据、音频数据等的存储介质。

记录/再现单元1233例如使编码器1251对从音频解码器1224提供的音频数据进行编码。记录/再现单元1233还使编码器1251对从显示转换器1230的视频编码器1241提供的视频数据进行编码。记录/再现单元1233使用复用器，将音频数据的编码数据与视频数据的编码数据合成。记录/再现单元1233通过频道编码对合成数据进行放大，并且经由记录头将获得的数据写在硬盘上。

记录/再现单元1233经由再现头再现记录在硬盘上的数据，对该数据进行放大，并且使用解复用器将该数据分离为音频数据和视频数据。

记录/再现单元1233使用解码器1252对音频数据和视频数据进行解码。记录/再现单元1233对解码的音频数据进行D/A转换，并且将结果输出到监视器1260的扬声器。记录/再现单元1233还对解码的视频数据进行D/A转换，并且将结果输出到监视器1260的显示器。

基于由从遥控器发送的、经由接收单元1221接收到的红外信号指示的用户的指令，记录器控制单元1226从EPG数据存储器1227读取最新的EPG数据，并且向OSD控制单元1231提供该EPG数据。OSD控制单元1231生成与输入的EPG数据相对应的图像数据，并且将该图像数据输出到显示控制单元1232。显示控制单元1232将从OSD控制单元1231输入的视频数据输出到监视器1260的显示器，以显示图像。以这种方式，在监视器1260的显示器上显示EPG(电子节目指南)。

硬盘记录器1200还可以获得经由诸如因特网的网络从另一装置提供的诸如视频数据、音频数据和EPG数据的各种数据。

在记录器控制单元1226的控制下，通信单元1235经由网络从另一装置获得视频数据、音频数据、EPG数据等的编码数据，并且向记录器控制单元1226提供这些数据。例如，记录器控制单元1226向记录/再现单元1233提供获得的视频数据和音频数据的编码数据，并且将这些数据存储到硬盘中。这时，在需要的情况下，记录器控制单元1226和记录/再现单元1233可以进行诸如重新编码的操作。

记录器控制单元1226还对获得的视频数据和音频数据的编码数据进行解码，并且向显示转换器1230提供获得的视频数据。

显示转换器1230以与对从视频解码器1225提供的视频数据进行处理相同的方式，对从记录器控制单元1226提供的视频数据进行处理，并且经由显示控制单元1232向监视器1260提供结果，以显示图像。

与图像显示同步地，记录器控制单元1226可以经由D/A转换器1234向监视器1260提供解码的音频数据，并且从扬声器输出声音。

此外，记录器控制单元1226对获得的EPG数据的编码数据进行解码，并且向EPG数据存储器1227提供解码的EPG数据。

上述硬盘记录器1200使用图像解码装置200作为视频解码器1225、解码器1252和内置到记录器控制单元1226中的解码器。也就是说，当与在图像解码装置200的情况下相同，使用时间方向上的相关性进行运动矢量信息解码操作时，视频解码器1225、解码器1252和记录器控制单元1226中的解码器各自仅将关于每个宏块的子宏块的运动矢量信息存储到时间运动矢量解码单元221的运动矢量缓冲器中，并且通过使用存储在运动矢量缓冲器中的其它运动矢量信息进行插值运算等，计算关于其它子宏块的运动矢量信息。因此，视频解码器1225、解码器1252和记录器控制单元1226中的解码器可以减少要存储在运动矢量缓冲器中的运动矢量信息的量，并且可以降低使用时间方向上的相关性的运动矢量信息解码操作的负荷。

相应地，例如，在以使用时间方向上的相关性进行运动矢量信息编码操作的模式，对由调谐器或者通信单元1235接收到的视频数据(编码数据)和要由记录/再现单元1233再现的视频数据(编码数据)进行编码的情况下，硬盘记录器1200可以减少在解码操作中需要的存储量，并且降低负荷。

硬盘记录器1200还使用图像编码装置100作为编码器1251。相应地，当与在图像编码装置100的情况下相同，使用时间方向上的相关性进行运动矢量信息编码操作时，编码器1251仅将关于每个宏块的子宏块的运动矢量信息存储到时间运动矢量编码单元121的运动矢量缓冲器183中，并且通过使用存储在运动矢量缓冲器183中的其它运动矢量信息进行插值运算等，计算关于其它子宏块的运动矢量信息。因此，编码器1251可以减少要存储在运动矢量缓冲器183中的运动矢量信息的量，并且可以降低使用时间方向上的相关性的运动矢量信息编码操作的负荷。

相应地，当生成了要记录在硬盘上的编码数据时，在以使用时间方向上的相关性进行运动矢量信息编码操作的模式，对要记录的图像数据进行编码的情况下，硬盘记录器1200可以减少在编码操作中需要的存储量，并且降低负荷。

在上面的描述中，描述了在硬盘上记录视频数据和音频数据的硬盘记录器1200。然而，可以使用任何其它记录介质。例如，与在上述硬盘记录器1200的情况下相同，图像编码装置100和图像解码装置200可以应用于使用硬盘之外的诸如闪存、光盘或者视频带的记录介质的记录器。

[7.第七实施例]

[照相机]

图25是示出使用图像编码装置100和图像解码装置200的照相机的示例主要结构的框图。

图25所示的照相机1300捕获被摄体的图像，并且在LCD 1316上显示被摄体的图像，或者将被摄体的图像作为图像数据记录在记录介质1333上。

镜头块1311使光(或者被摄体的视频图像)入射在CCD/CMOS 1312上。CCD/CMOS 1312是使用CCD或者CMOS的图像传感器。CCD/CMOS 1312将接收到的光的强度转换为电信号，并且向照相机信号处理单元1313提供该电信号。

照相机信号处理单元1313将从CCD/CMOS 1312提供的电信号变换为YCrCb色度信号，并且向图像信号处理单元1314提供该信号。在控制器1321的控制下，图像信号处理单元1314对从照相机信号处理单元1313提供的图像信号进行预定图像处理，并且使用编码器1341对该图像信号进行编码。图像信号处理单元1314向解码器1315提供通过对图像信号进行编码而生成的编码数据。图像信号处理单元1314还获得在屏幕上显示器(OSD)1320处生成的显示数据，并且向解码器1315提供该显示数据。

在上面的操作中，照相机信号处理单元1313使用经由总线1317连接到其的DRAM(动态随机存取存储器)1318，在需要的情况下，将图像数据、通过对图像数据进行编码而生成的编码数据等存储到DRAM 1318中。

解码器1315对从图像信号处理单元1314提供的编码数据进行解码，并且向LCD 1316提供获得的图像数据(解码图像数据)。解码器1315还向LCD 1316提供从图像信号处理单元1314提供的显示数据。LCD 1316将与从解码器1315提供的解码图像数据相对应的图像，和与显示数据相对应的图像合成，并显示合成图像。

在控制器1321的控制下，屏幕上显示器1320经由总线1317向图像信号处理单元1314输出由符号、字符或者图形形成的图标或者菜单屏幕的显示数据。

基于指示用户使用操作单元1322指定的内容的信号，控制器1321进行各种操作，并且经由总线1317控制图像信号处理单元1314、DRAM1318、外部接口1319、屏幕上显示器1320、介质驱动1323等。闪速ROM1324存储控制器1321进行各种操作所需的程序、数据等。

例如，代替图像信号处理单元1314和解码器1315，控制器1321可以对存储在DRAM 1318中的图像数据进行编码，并且对存储在DRAM1318中的编码数据进行解码。在这样做时，控制器1321可以使用与图像信号处理单元1314和解码器1315使用的编码和解码方法相同的方法，进行编码和解码操作，或者可以使用图像信号处理单元1314和解码器1315不使用的方法，来进行编码和解码操作。

例如，在通过操作单元1322请求了开始图像打印的情况下，控制器1321从DRAM 1318中读取图像数据，并且经由总线1317向连接到外部接口1319的打印机1334提供图像数据，从而进行打印。

此外，例如，在通过操作单元1322请求了图像记录的情况下，控制器1321从DRAM 1318读取编码数据，并且经由总线1317向安装在介质驱动1323上的记录介质1333提供编码数据，并且将编码数据存储到记录介质1333中。

记录介质1333是诸如磁盘、磁光盘、光盘或者半导体存储器的可读和可写可移除介质。记录介质1333可以是任意种类的可移除介质，其可以是带设备、盘或者存储卡。当然可以使用非接触式IC卡等。

可以集成介质驱动1323和记录介质1333，以形成诸如内部硬盘驱动或者SSD(固态驱动)的非便携式存储介质。

外部接口1319由USB输入/输出端子等形成，其在进行图像打印时连接到打印机1334。此外，在需要的情况下，将驱动1331连接到外部接口1319，并且在适当的情况下，将诸如磁盘、光盘或者磁光盘的可移除介质1332安装在驱动1331上。在需要的情况下，在闪速ROM 1324中安装从该盘中读取的计算机程序。

此外，外部接口1319包括连接到诸如LAN或者因特网的预定网络的网络接口。例如，根据来自操作单元1322的指令，控制器1321可以从DRAM 1318中读取编码数据，并且从外部接口1319向经由网络连接到其的另一装置提供该编码数据。此外，控制器1321可以经由外部接口1319获得经由网络从另一装置提供的编码数据和图像数据，并且将数据存储到DRAM 1318中，或者向图像信号处理单元1314提供该数据。

上述照相机1300使用图像解码装置200作为解码器1315。也就是说，当与在图像解码装置200的情况下相同，使用时间方向上的相关性进行运动矢量信息解码操作时，解码器1315仅将关于每个宏块的子宏块的运动矢量信息存储到时间运动矢量解码单元221的运动矢量缓冲器中，并且通过使用存储在运动矢量缓冲器中的其它运动矢量信息进行插值运算等，计算关于其它子宏块的运动矢量信息。因此，解码器1315可以减少要存储在运动矢量缓冲器中的运动矢量信息的量，并且可以降低使用时间方向上的相关性的运动矢量信息解码操作的负荷。

相应地，在例如以使用时间方向上的相关性进行运动矢量信息编码操作的模式，对由CCD/CMOS 1312生成的图像数据、从DRAM 1318或记录介质1333中读取的视频数据的编码数据或者经由网络获得的视频数据的编码数据进行编码的情况下，照相机1300可以减少在解码操作中需要的存储量，并且降低负荷。

此外，照相机1300使用图像编码装置100作为编码器1341。当与在图像编码装置100的情况下相同，使用时间方向上的相关性进行运动矢量信息编码操作时，编码器1341仅将关于每个宏块的子宏块的运动矢量信息存储到时间运动矢量编码单元121的运动矢量缓冲器183中，并且通过使用存储在运动矢量缓冲器183中的其它运动矢量信息进行插值运算等，计算关于其它子宏块的运动矢量信息。因此，编码器1341可以减少要存储在运动矢量缓冲器183中的运动矢量信息的量，并且可以降低使用时间方向上的相关性的运动矢量信息编码操作的负荷。

相应地，例如当生成了要记录在DRAM 1318或记录介质1333上的编码数据或者要向另一装置提供的编码数据时，在以使用时间方向上的相关性进行运动矢量信息编码操作的模式，对要记录或者提供的图像数据进行编码的情况下，照相机1300可以减少在编码操作中需要的存储量，并且降低负荷。

由图像解码装置200使用的解码方法可以应用于由控制器1321进行的解码操作。类似地，由图像编码装置100使用的编码方法可以应用于由控制器1321进行的编码操作。

由照相机1300捕获的图像数据可以是运动图像、或者可以是静止图像的图像数据。

当然可以将图像编码装置100和图像解码装置200应用于上述装置之外的任何装置和系统。

本发明可以应用于如下图像编码装置和图像解码装置，该图像编码装置和图像解码装置用于在经由诸如卫星广播、有线电视广播、因特网或者便携式电话的网络介质接收到如在MPEG和H.26x中通过诸如离散余弦变换的正交变换和运动补偿压缩的图像信息时，在诸如光盘、磁盘或者闪存的存储介质中，对该图像信息(位流)进行处理。

本技术还可以在如下结构中实施：

(1)一种图像处理装置，其在如下编码模式下工作，在所述编码模式中，使用关于参考小区域的运动矢量信息，并且使用运动矢量信息的时间相关性，对关于当前小区域的运动矢量信息进行编码，所述参考小区域位于参考帧中与所述当前小区域相同的位置，所述当前小区域是通过将当前帧图像的当前部分区域划分为小区域而形成的，

所述图像处理装置包括：

运动矢量信息存储单元，存储关于所述参考帧中的每个部分区域的小区域中的一部分小区域的运动矢量信息；

计算单元，当所述参考小区域是在所述运动矢量信息存储单元中没有存储其运动矢量信息的小区域时，使用存储在所述运动矢量信息存储单元中的运动矢量信息，来计算关于所述参考小区域的运动矢量信息；以及

编码单元，使用由所述计算单元计算的运动矢量信息，并且使用运动矢量信息的时间相关性，对关于所述当前小区域的运动矢量信息进行编码。

(2)根据(1)所述的图像处理装置，其中，所述运动矢量信息存储单元存储关于所述部分区域中的每个的所述小区域中的一个的运动矢量信息。

(3)根据(2)所述的图像处理装置，其中，所述运动矢量信息存储单元存储关于位于每个部分区域的最左上部分处的小区域的运动矢量信息。

(4)根据(1)所述的图像处理装置，其中，所述运动矢量信息存储单元存储关于所述部分区域中的每个的两个或更多个小区域的运动矢量信息。

(5)根据(4)所述的图像处理装置，其中，所述运动矢量信息存储单元存储关于位于每个部分区域的四个角处的小区域的运动矢量信息。

(6)根据(1)到(5)中的任一个所述的图像处理装置，其中，所述计算单元使用如下运动矢量信息中的至少一个，来计算关于所述参考小区域的运动矢量信息：与包含所述参考小区域的部分区域相对应并且存储在所述运动矢量信息存储单元中的运动矢量信息，以及与和所述部分区域相邻的另一部分区域相对应并且存储在所述运动矢量信息存储单元中的运动矢量信息。

(7)根据(1)到(5)中的任一个所述的图像处理装置，其中，所述计算单元通过使用与包含所述参考小区域的部分区域相对应并且存储在所述运动矢量信息存储单元中的运动矢量信息、以及与和所述部分区域相邻的另一部分区域相对应并且存储在所述运动矢量信息存储单元中的运动矢量信息来进行插值运算，以计算关于所述参考小区域的运动矢量信息。

(8)根据(7)所述的图像处理装置，其中，所述计算单元使用依赖于所述参考小区域的代表点与包含所述参考小区域的部分区域和与所述部分区域相邻的所述另一部分区域的各代表点之间的距离的值，所述值被用作所述插值运算中的权重系数。

(9)根据(7)所述的图像处理装置，其中，所述计算单元使用依赖于与在所述插值运算中使用的运动矢量信息相对应的小区域的大小、所述小区域中的图像的复杂度或者所述小区域中的像素分布的相似度的值，所述值被用作所述插值运算中的权重系数。

(10)一种在与如下编码模式兼容的图像处理装置中实施的图像处理方法，在所述编码模式中，使用关于参考小区域的运动矢量信息，并且使用运动矢量信息的时间相关性，对关于当前小区域的运动矢量信息进行编码，所述参考小区域位于参考帧中与所述当前小区域相同的位置，所述当前小区域是通过将当前帧图像的当前部分区域划分为小区域而形成的，

所述图像处理方法包括：

存储关于所述参考帧中的每个部分区域的小区域中的一部分小区域的运动矢量信息，所述存储由运动矢量信息存储单元进行；

当所述参考小区域是没有存储其运动矢量信息的小区域时，使用所存储的运动矢量信息来计算关于所述参考小区域的运动矢量信息，所述计算由计算单元进行；以及

使用所计算的运动矢量信息，并且使用运动矢量信息的时间相关性，对关于所述当前小区域的运动矢量信息进行编码，所述编码由编码单元进行。

(11)一种图像处理装置，其在如下编码模式下工作，在所述编码模式中，使用关于参考小区域的运动矢量信息，并且使用运动矢量信息的时间相关性，对关于当前小区域的运动矢量信息进行编码，所述参考小区域位于参考帧中与所述当前小区域相同的位置，所述当前小区域是通过将当前帧图像的当前部分区域划分为小区域而形成的，

所述图像处理装置包括：

计算单元，当所述参考小区域是在所述运动矢量信息存储单元中没有存储其运动矢量信息的小区域时，使用存储在所述运动矢量信息存储单元中的运动矢量信息来计算关于所述参考小区域的运动矢量信息；以及

解码单元，使用由所述计算单元计算的运动矢量信息，并且使用所述运动矢量信息的时间相关性，对关于所述当前小区域的运动矢量信息进行解码，在所述编码模式下对关于所述当前小区域的运动矢量信息进行了编码。

(12)根据(11)所述的图像处理装置，其中，所述运动矢量信息存储单元存储关于所述部分区域中的每个的所述小区域中的一个的运动矢量信息。

(13)根据(12)所述的图像处理装置，其中，所述运动矢量信息存储单元存储关于位于每个部分区域的最左上部分处的小区域的运动矢量信息。

(14)根据(11)所述的图像处理装置，其中，所述运动矢量信息存储单元存储关于所述部分区域中的每个的两个或更多个小区域的运动矢量信息。

(15)根据(14)所述的图像处理装置，其中，所述运动矢量信息存储单元存储关于位于每个部分区域的四个角处的小区域的运动矢量信息。

(16)根据(11)到(15)中的任一个所述的图像处理装置，其中，所述计算单元使用如下运动矢量信息中的至少一个来计算关于所述参考小区域的运动矢量信息：与包含所述参考小区域的部分区域相对应并且存储在所述运动矢量信息存储单元中的运动矢量信息，以及与和所述部分区域相邻的另一部分区域相对应并且存储在所述运动矢量信息存储单元中的运动矢量信息。

(17)根据(11)到(15)中的任一个所述的图像处理装置，其中，所述计算单元通过使用与包含所述参考小区域的部分区域相对应并且存储在所述运动矢量信息存储单元中的运动矢量信息、以及与和所述部分区域相邻的另一部分区域相对应并且存储在所述运动矢量信息存储单元中的运动矢量信息来进行插值运算，以计算关于所述参考小区域的运动矢量信息。

(18)根据(17)所述的图像处理装置，其中，所述计算单元使用依赖于所述参考小区域的代表点与包含所述参考小区域的部分区域和与所述部分区域相邻的所述另一部分区域的各代表点之间的距离的值，所述值被用作所述插值运算中的权重系数。

(19)根据(17)所述的图像处理装置，其中，所述计算单元使用依赖于与在所述插值运算中使用的运动矢量信息相对应的小区域的大小、所述小区域中的图像的复杂度或者所述小区域中的像素分布的相似度的值，所述值被用作所述插值运算中的权重系数。

(20)一种在与如下编码模式兼容的图像处理装置中实施的图像处理方法，在所述编码模式中，使用关于参考小区域的运动矢量信息，并且使用运动矢量信息的时间相关性，对关于当前小区域的运动矢量信息进行编码，所述参考小区域位于参考帧中与所述当前小区域相同的位置，所述当前小区域是通过将当前帧图像的当前部分区域划分为小区域而形成的，

所述图像处理方法包括：

使用所计算的运动矢量信息，并且使用所述运动矢量信息的时间相关性，对关于所述当前小区域的运动矢量信息进行解码，在所述编码模式下对关于所述当前小区域的运动矢量信息进行了编码，所述解码由解码单元进行。

附图标记列表

100图像编码装置

115运动预测/补偿单元

121时间运动矢量编码单元

181块位置确定单元

182运动矢量插值单元

183运动矢量缓冲器

200图像解码装置

212运动预测/补偿单元

221时间运动矢量解码单元

Claims

1.一种图像处理装置，其在如下编码模式下工作，在所述编码模式中，使用关于参考小区域的运动矢量信息，并且使用运动矢量信息的时间相关性，对关于当前小区域的运动矢量信息进行编码，所述参考小区域位于参考帧中与所述当前小区域相同的位置，所述当前小区域是通过将当前帧图像的当前部分区域划分为小区域而形成的，

所述图像处理装置包括：

运动矢量信息存储单元，被配置为存储关于所述参考帧中的每个部分区域的小区域中的一部分小区域的运动矢量信息；

计算单元，被配置为当所述参考小区域是在所述运动矢量信息存储单元中没有存储其运动矢量信息的小区域时，使用存储在所述运动矢量信息存储单元中的运动矢量信息，来计算关于所述参考小区域的运动矢量信息；以及

编码单元，被配置为使用由所述计算单元计算的运动矢量信息，并且使用运动矢量信息的时间相关性，对关于所述当前小区域的运动矢量信息进行编码。

2.根据权利要求1所述的图像处理装置，其中，所述运动矢量信息存储单元存储关于所述部分区域中的每个的所述小区域中的一个的运动矢量信息。

3.根据权利要求2所述的图像处理装置，其中，所述运动矢量信息存储单元存储关于位于每个部分区域的最左上部分处的小区域的运动矢量信息。

4.根据权利要求1所述的图像处理装置，其中，所述运动矢量信息存储单元存储关于所述部分区域中的每个的所述小区域中的多个小区域的运动矢量信息。

5.根据权利要求4所述的图像处理装置，其中，所述运动矢量信息存储单元存储关于位于每个部分区域的四个角处的小区域的运动矢量信息。

6.根据权利要求1所述的图像处理装置，其中，所述计算单元使用如下运动矢量信息中的至少一个，来计算关于所述参考小区域的运动矢量信息：与包含所述参考小区域的部分区域相对应并且存储在所述运动矢量信息存储单元中的运动矢量信息，以及与和所述部分区域相邻的另一部分区域相对应并且存储在所述运动矢量信息存储单元中的运动矢量信息。

7.根据权利要求1所述的图像处理装置，其中，所述计算单元通过使用与包含所述参考小区域的部分区域相对应并且存储在所述运动矢量信息存储单元中的运动矢量信息、以及与和所述部分区域相邻的另一部分区域相对应并且存储在所述运动矢量信息存储单元中的运动矢量信息来进行插值运算，以计算关于所述参考小区域的运动矢量信息。

8.根据权利要求7所述的图像处理装置，其中，所述计算单元使用依赖于所述参考小区域的代表点与包含所述参考小区域的部分区域和与所述部分区域相邻的所述另一部分区域的各代表点之间的距离的值，所述值被用作所述插值运算中的权重系数。

9.根据权利要求7所述的图像处理装置，其中，所述计算单元使用依赖于与在所述插值运算中使用的运动矢量信息相对应的小区域的大小、所述小区域中的图像的复杂度或者所述小区域中的像素分布的相似度的值，所述值被用作所述插值运算中的权重系数。

10.一种在与如下编码模式兼容的图像处理装置中实施的图像处理方法，在所述编码模式中，使用关于参考小区域的运动矢量信息，并且使用运动矢量信息的时间相关性，对关于当前小区域的运动矢量信息进行编码，所述参考小区域位于参考帧中与所述当前小区域相同的位置，所述当前小区域是通过将当前帧图像的当前部分区域划分为小区域而形成的，

所述图像处理方法包括：

11.一种图像处理装置，其在如下编码模式下工作，在所述编码模式中，使用关于参考小区域的运动矢量信息，并且使用运动矢量信息的时间相关性，对关于当前小区域的运动矢量信息进行编码，所述参考小区域位于参考帧中与所述当前小区域相同的位置，所述当前小区域是通过将当前帧图像的当前部分区域划分为小区域而形成的，

所述图像处理装置包括：

计算单元，被配置为当所述参考小区域是在所述运动矢量信息存储单元中没有存储其运动矢量信息的小区域时，使用存储在所述运动矢量信息存储单元中的运动矢量信息来计算关于所述参考小区域的运动矢量信息；以及

解码单元，被配置为使用由所述计算单元计算的运动矢量信息，并且使用所述运动矢量信息的时间相关性，对关于所述当前小区域的运动矢量信息进行解码，在所述编码模式下对关于所述当前小区域的运动矢量信息进行了编码。

12.根据权利要求11所述的图像处理装置，其中，所述运动矢量信息存储单元存储关于所述部分区域中的每个的所述小区域中的一个的运动矢量信息。

13.根据权利要求12所述的图像处理装置，其中，所述运动矢量信息存储单元存储关于位于每个部分区域的最左上部分处的小区域的运动矢量信息。

14.根据权利要求11所述的图像处理装置，其中，所述运动矢量信息存储单元存储关于所述部分区域中的每个的所述小区域中的多个小区域的运动矢量信息。

15.根据权利要求14所述的图像处理装置，其中，所述运动矢量信息存储单元存储关于位于每个部分区域的四个角处的小区域的运动矢量信息。

16.根据权利要求11所述的图像处理装置，其中，所述计算单元使用如下运动矢量信息中的至少一个来计算关于所述参考小区域的运动矢量信息：与包含所述参考小区域的部分区域相对应并且存储在所述运动矢量信息存储单元中的运动矢量信息，以及与和所述部分区域相邻的另一部分区域相对应并且存储在所述运动矢量信息存储单元中的运动矢量信息。

17.根据权利要求11所述的图像处理装置，其中，所述计算单元通过使用与包含所述参考小区域的部分区域相对应并且存储在所述运动矢量信息存储单元中的运动矢量信息、以及与和所述部分区域相邻的另一部分区域相对应并且存储在所述运动矢量信息存储单元中的运动矢量信息来进行插值运算，以计算关于所述参考小区域的运动矢量信息。

18.根据权利要求17所述的图像处理装置，其中，所述计算单元使用依赖于所述参考小区域的代表点与包含所述参考小区域的部分区域和与所述部分区域相邻的所述另一部分区域的各代表点之间的距离的值，所述值被用作所述插值运算中的权重系数。

19.根据权利要求17所述的图像处理装置，其中，所述计算单元使用依赖于与在所述插值运算中使用的运动矢量信息相对应的小区域的大小、所述小区域中的图像的复杂度或者所述小区域中的像素分布的相似度的值，所述值被用作所述插值运算中的权重系数。

20.一种在与如下编码模式兼容的图像处理装置中实施的图像处理方法，在所述编码模式中，使用关于参考小区域的运动矢量信息，并且使用运动矢量信息的时间相关性，对关于当前小区域的运动矢量信息进行编码，所述参考小区域位于参考帧中与所述当前小区域相同的位置，所述当前小区域是通过将当前帧图像的当前部分区域划分为小区域而形成的，

所述图像处理方法包括：