CN102939758A - 图像解码装置、图像编码装置及其方法和程序 - Google Patents

Abstract

第一解码器单元（521）对编码流进行解码以获取差分运动向量。第二解码器单元（522）对编码流进行解码以获取预测运动向量选择信息。运动向量选择单元（525）针对要解码的块设定预测运动向量候选，以及从这些候选中选择由预测运动向量选择信息指示的运动向量作为预测运动向量。相加单元（526）将差分运动向量加上预测运动向量，由此计算要解码的块的运动向量。以此方式，预测运动向量被优化以提高编码效率和图片质量。

Description

图像解码装置、图像编码装置及其方法和程序

技术领域

本发明涉及图像解码装置、图像编码装置及其方法和程序。更具体地，将通过执行预测运动向量的优化来实现编码效率和图像质量的提高。

背景技术

近年来，在广播和一般家用设备中，为了即时执行高效的信息传输和存储，已经开始广泛使用对图像信息进行数字化处理的装置，例如符合诸如MPEG等格式以通过诸如离散余弦变换等正交变换和运动补偿来压缩图像。

特别地，MPEG2（ISO/IEC 13818-2）被定义为通用图像编码格式，因此现在被大范围的应用广泛地用于专业用途和消费用途。通过采用MPEG2压缩格式，例如在具有720×480像素的标准分辨率的隔行扫描图像的情况下分配4至8Mbps的编码量（比特率），由此可实现出色的图像质量。另外，在具有1920×1088像素的高分辨率的隔行扫描图像的情况下分配18至22Mbps的编码量（比特率），由此可实现出色的图像质量。

关于MPEG2，适合于广播用途的高图像质量编码是主要目标，但是不处理比MPEG1的编码量更低的编码量（比特率），即具有更高压缩率的编码格式。由于个人数字助理的流行，已预期今后对这样的编码格式的需求将增加，并且响应于此，已进行了MPEG4编码格式的标准化。关于图像编码格式，其规范在1998年12月被确认为国际标准ISO/IEC14496-2。

另外，近年来，被称为H.26L（ITU-T Q6/16VCEG）的标准的标准化已有进展，其最初旨在用于视频会议用途的图像编码。关于H.26L，已知的是，与诸如MPEG2或MPEG4的传统编码格式相比，尽管其编码和解码需要更多的计算量，但是实现了更高的编码效率。另外，当前，作为MPEG4的活动的一部分，用以实现更高编码效率的基于该H.26L的标准化正被执行为增强压缩视频编码的联合模型。关于标准化的时间表，不晚于2003年3月，这已成为被称为H.264和MPEG-4第10部分（高级视频编码，下文中写作H.264/AVC）的国际标准。

另外，关于H.264/AVC格式，因为在多个块大小的每个中执行运动向量的搜索，计算量巨大，因此处理时间增加并且计算电路需要更高的处理能力。因此，已做出了根据PTL1的发明，从而通过使用相邻块的运动向量的中值作为预测运动向量，在搜索运动向量的时候缩短处理时间并且减少计算量。

引用列表

专利文献

PTL1：日文未审查专利申请公开第2006-025033号

发明内容

技术问题

顺便提及，关于图像数据的编码，通过获取要编码的块的预测运动向量与运动向量之间的差分，以及对其差分运动向量进行编码并且将其包括在流信息中，来进行编码量的减少。这里，在使用例如H.264/AVC格式的相邻块中的运动向量的中间值（中值）作为预测运动向量的情况下，中值不必是最佳的预测运动向量。

图1是图示预测运动向量的传统判定方法的图。注意，在与要编码的块相邻的相邻块中，关于在要编码的块正进行编码处理的时候已经执行了编码处理的编码块，例如左侧上的相邻块的运动向量将被称为运动向量MV_A。另外，上侧和右上侧上的相邻块的运动向量将被分别称为运动向量MV_B和MV_C。

如图1中的（A）所示，在预测块大小（运动补偿块大小）为小的情况下，存在许多这样的情况，其中在要编码的块的运动向量MVob与相邻块的运动向量MV_A、MV_B和MV_C之间存在很小的差分。也就是说，当使用中间值MV_md时，预测精度更高。相反，如图1中的（B）所示，在预测块大小为大的情况下，相邻块包括与要编码的块更远的区域。因此，出现这样的情况，其中在中间值MV_md与要编码的块的运动向量MVob之间存在大的差分。与预测块大小更小的情况相比，这将导致预测精度的劣化。

因此，本发明的目标是提供一种图像解码装置、图像编码装置及其方法和程序，其可通过执行预测运动向量的优化，来实现编码效率和图像质量的提高。

问题的解决方案

本发明的第一方面是一种图像解码装置，包括：第一解码处理单元，被配置为通过执行编码流的解码获得差分运动向量；第二解码处理单元，被配置为通过对所述编码流进行解码获得预测运动向量选择信息；运动向量选择单元，被配置为针对要解码的块设定预测运动向量候选，以及从预测运动向量候选中选择所述预测运动向量选择信息中指示的运动向量作为预测运动向量；以及相加单元，被配置为通过将所述差分运动向量加上所述预测运动向量来计算所述要解码的块的运动向量。

关于本发明，针对要解码的块，使用已解码的并且与所述要解码的块相邻的相邻块的运动向量来设定预测运动向量候选。另外，例如，在根据已解码的相邻块的运动向量的差分执行情况分类的每个情况下，设定预测运动向量候选。这里，在块的大小为大的情况下，与块大小更小的情况相比，设定更多的预测运动向量候选。另外，例如，根据已解码的相邻块的运动向量的差分来执行情况分类，以及在每个情况下设定预测运动向量候选。另外，具有超过阈值的差分出现的运动向量各自被作为预测运动向量候选。从这些候选中选择通过对编码流进行解码获得的预测运动向量选择信息中所指示的运动向量作为预测运动向量。将该预测运动向量和通过对编码流进行解码获得的差分运动向量相加来计算要解码的块的运动向量。

本发明的第二方面是一种图像解码方法，包括：通过对编码流进行解码获得差分运动向量的处理；通过对所述编码流进行解码获得预测运动向量选择信息的处理；针对要解码的块设定预测运动向量候选，以及从预测运动向量候选中选择所述预测运动向量选择信息中指示的运动向量作为预测运动向量的处理；以及通过将所述差分运动向量加上所述预测运动向量来计算所述要解码的块的运动向量的处理。

本发明的第三方面是一种使计算机执行图像解码的程序，所述程序使计算机执行：通过对编码流进行解码获得差分运动向量的过程；通过对所述编码流进行解码获得预测运动向量选择信息的过程；针对要解码的块设定预测运动向量候选，以及从预测运动向量候选中选择所述预测运动向量选择信息中指示的运动向量作为预测运动向量的过程；以及通过将所述差分运动向量加上所述预测运动向量来计算所述要解码的块的运动向量的过程。

本发明的第四方面是一种图像编码装置，包括：运动向量选择单元，被配置为针对要编码的块设定预测运动向量候选，以及从所述候选中选择编码效率最好的运动向量作为预测运动向量；第一编码处理单元，被配置为执行差分运动向量的编码，其中，所述差分运动向量指示由所述运动向量选择单元选择的所述预测运动向量与所述要编码的块的运动向量之间的差分；以及第二编码处理单元，被配置为执行预测运动向量选择信息的编码，其中，所述预测运动向量选择信息指示已从所述预测运动向量候选中选择了哪个运动向量。

关于本发明，针对要编码的块，使用已解码的并且与要解码的块相邻的相邻块的运动向量来设定预测运动向量候选。另外，例如，在根据已解码的相邻块的运动向量的差分执行情况分类的每个情况下，设定预测运动向量候选。这里，在块大小为大的情况下，与块大小更小的情况相比，设定更多的预测运动向量候选。另外，例如，根据相邻块的运动向量的差分来执行情况分类，并且在每个情况下设定预测运动向量候选。另外，具有超过阈值的差分出现的运动向量各自被作为预测运动向量候选。从这些候选中选择预测运动向量，以及对差分运动向量进行编码，其中差分运动向量指示所选择的预测运动向量与要编码的块的运动向量之间的差分。另外，在存在多个预测运动向量候选的情况下，对预测运动向量选择信息进行编码，其中预测运动向量选择信息指示已从多个候选中选择了哪个运动向量。另外，关于从候选中选择预测运动向量，将编码效率最好的运动向量选择为预测运动向量。

本发明的第五方面是一种图像编码方法，包括：针对要编码的块设定预测运动向量候选的处理，以及从所述候选中选择编码效率最好的运动向量作为预测运动向量的处理；执行差分运动向量的编码的处理，其中，所述差分运动向量指示所选择的预测运动向量与要编码的块的运动向量之间的差分；以及执行预测运动向量选择信息的编码的处理，其中，所述预测运动向量选择信息指示已从所述预测运动向量候选中选择了哪个运动向量。

本发明的第六方面是一种使计算机执行图像编码的程序，所述程序使计算机执行：针对要编码的块设定预测运动向量候选的过程，以及从所述候选中选择编码效率最好的运动向量作为预测运动向量的过程；执行差分运动向量的编码的过程，其中，所述差分运动向量指示所选择的预测运动向量与要编码的块的运动向量之间的差分；以及执行预测运动向量选择信息的编码的过程，其中，所述预测运动向量选择信息指示已从所述预测运动向量候选中选择了哪个运动向量。

注意，例如，根据本发明的程序是可由记录介质、通信介质和诸如光盘、磁盘、和半导体存储器的存储介质、或者诸如网络的通信介质提供的程序，其针对可执行各种程序的通用计算机系统以计算机可读形式来提供。以计算机可读形式提供这样的程序使得能够根据计算机系统上的程序来实现处理。

发明的有益效果

根据本发明，在图像解码中，针对要解码的块，使用要解码的块和已解码的相邻块的运动向量来设定预测运动向量候选。另外，从候选中选择通过对编码流执行无损解码获得的预测运动向量选择信息中所指示的运动向量作为预测运动向量。通过将差分运动向量相加来计算要解码的块的运动向量，其中差分运动向量是通过对这些预测运动向量和编码流执行无损解码而获得的。另外，关于图像的编码，针对要编码的块设定预测运动向量候选，以及从该候选中选择编码效率最好的运动向量作为预测运动向量。另外，执行差分运动向量和预测运动向量选择信息的编码，其中，差分运动向量指示预测运动向量与要编码的块的运动向量之间的差分，预测运动向量选择信息指示已从候选中选择了哪个运动向量。因此，从预测运动向量候选中选择和使用编码效率最好的运动向量，从而实现了运动向量的传输所需要的编码量的减少，由此提高了编码效率。另外，随着运动向量的传输所需要的编码量的减少，可以使得能够提高量化数据的比特率，并且可以提高图像质量。

附图说明

图1是图示预测运动向量的传统判断方法的框图。

图2是图示图像编码装置的配置的图。

图3是图示根据预测块大小进行情况分类以及每个情况下的预测运动向量候选的图。

图4是图示无损编码单元的关于运动向量的配置的图。

图5是图示图像编码处理中使用的预测块大小的图。

图6是图示图像编码处理的操作的流程图。

图7是图示预测处理的流程图。

图8是图示帧内预测处理的流程图。

图9是图示帧间预测处理的流程图。

图10是图示由无损编码单元执行的关于运动向量的编码处理的流程图。

图11是图示图像解码装置的配置的图。

图12是图示无损解码单元的关于运动向量的配置的图。

图13是图示图像解码处理的操作的流程图。

图14是图示由无损解码单元执行的关于运动向量的解码处理的流程图。

图15是图示预测处理的流程图。

图16是图示根据相邻块的运动向量的差分进行情况分类以及每个情况下的预测运动向量候选的图。

图17是图示无损编码单元的关于运动向量的另一配置的图。

图18是图示由无损编码单元执行的关于运动向量的其它编码处理的流程图。

图19是图示无损解码单元的关于运动向量的配置的图。

图20是图示由无损解码单元执行的关于运动向量的其它解码处理的流程图。

图21是图示根据发生等同运动的块的连续性进行情况分类的图。

图22是图示每个情况下的预测运动向量候选的图。

图23是图示由无损编码单元执行的关于运动向量的其它编码处理的流程图。

图24是图示由无损解码单元执行的关于运动向量的其它解码处理的流程图。

图25是例示每个预测运动向量候选的发生概率的图。

图26是例示电视接收机的示意性配置的图。

图27是例示蜂窝电话的示意性配置的图。

图28是例示记录/回放装置的示意性配置的图。

图29是例示成像设备的示意性配置的图。

具体实施方式

在下文中，将描述本发明的实施例。注意，将按照下面的顺序进行说明。

1.图像编码装置的配置

2.运动向量的预测方法

3.无损编码单元的配置

4.图像编码装置的操作

5.图像解码装置的配置

6.无损解码单元的配置

7.图像解码装置的操作

8.运动向量的其它预测方法

9.无损编码单元的其它配置

10.其它配置的无损编码单元的操作

11.无损解码单元的其它配置

12.具有其它配置的无损解码单元的操作

13.运动向量的其它预测方法

14.无损编码单元的其它配置和操作

15.无损解码单元的其它配置和操作

16.预测运动向量标识信息的编码处理

17.软件处理的情况

18.应用于电子设备的情况

<1.图像编码装置的配置>

图2图示图像编码装置的配置。图像编码装置10包括模拟/数字转换单元（A/D转换单元）11、屏幕重新排列缓冲器12、相减单元13、正交变换单元14、量化单元15、无损编码单元16、存储缓冲器17、和速率控制单元18。另外，图像编码装置10包括逆量化单元21、逆正交变换单元22、相加单元23、去块滤波器24、帧存储器25、选择器26、帧内预测单元31、运动预测/补偿单元32、和预测图像/最佳模式选择单元33。

A/D转换单元11执行模拟图像信号到数字图像信号的转换，并且输出到屏幕重新排列缓冲器12。

屏幕重新排列缓冲器12针对从A/D转换单元11输出的图像数据执行帧的重新排列。屏幕重新排列缓冲器12根据关于编码处理的GOP（图像组）结构来执行帧的重新排列，并且将重新排列后的图像数据输出到相减单元13、帧内预测单元31和运动预测/补偿单元32。

从屏幕重新排列缓冲器12输出的图像数据和由稍后描述的预测图像/最佳模型选择单元33选择的预测图像数据被供应到相减单元13。相减单元13计算预测误差数据，并且输出到正交变换单元14，其中，预测误差数据为从屏幕重新排列缓冲器12输出的图像数据与从预测图像/最佳模型选择单元33供应的预测图像数据之间的差分。

正交变换单元14针对从相减单元13输出的预测误差数据执行正交变换处理，例如离散余弦变换（DCT：离散余弦变换）、Karhunen-Loéve变换等。正交变换单元14将通过执行正交变换处理获得的变换系数数据输出到量化单元15。

从正交变换单元14输出的变换系数数据和来自稍后描述的速率控制单元18的速率控制信号被供应到量化单元15。量化单元15执行变换系数数据的量化，并且将量化数据输出到无损编码单元16和逆量化单元21。另外，量化单元15根据来自速率控制单元18的速率控制信号来切换量化参数（量化尺度），从而改变量化数据的比特率。

从量化单元15输出的量化数据和来自稍后描述的帧内预测单元31、运动预测/补偿单元32和预测图像/最佳模式选择单元33的预测模式信息被供应到无损编码单元16。注意，根据帧内预测或帧间预测，在预测模式信息中包括有指示预测块大小的宏块类型、预测模式、运动向量信息、参考图像信息等。例如，无损编码单元16使用可变长度编码、算术编码等，针对量化数据执行无损编码处理以生成编码流，编码流然后输出到存储缓冲器17。另外，无损编码单元16对预测模式信息执行无损编码，并且例如加到编码流的头信息上。另外，无损编码单元16设定预测运动向量候选，并且从这些候选中选择编码效率最好的运动向量作为预测运动向量。无损编码单元16执行差分运动向量和预测运动向量选择信息的无损编码，并且加到编码流上，其中，差分运动向量指示该预测运动向量与要编码的块的运动向量之间的差分，预测运动向量选择信息指示已从预测运动向量候选中选择了哪个运动向量。

存储缓冲器17存储来自无损编码单元16的编码流。另外，存储缓冲器17以根据传输路径的传输速度输出所存储的编码流。

速率控制单元18执行存储缓冲器17的可用容量的监控，根据可用容量生成速率控制信号，并且输出到量化单元15。例如，速率控制单元18从存储缓冲器17获得用于指示可用容量的信息。在存在很小的可用容量的情况下，速率控制单元18通过速率控制信号降低量化数据的比特率。另外，在存储缓冲器17上存在很多可用容量的情况下，速率控制单元18通过速率控制信号增加量化数据的比特率。

逆量化单元21执行从量化单元15供应的量化数据的逆量化处理。逆量化单元21将通过执行逆量化处理获得的变换系数数据输出到逆正交变换单元22。

逆正交变换单元22将通过执行从逆量化单元21供应的变换系数数据的逆变换处理获得的数据输出到相加单元23。

相加单元23将从逆正交变换单元22供应的数据与从预测图像/最佳模式选择单元33供应的预测图像数据相加，以生成解码图像数据，并且输出到去块滤波器24和帧存储器25。

去块滤波器24执行滤波处理，以减少在图像编码的时候发生的块失真。去块滤波器24执行滤波处理，以从自相加单元23供应的解码图像数据中去除块失真，并且将滤波处理之后的解码图像数据输出到帧存储器25中。

帧存储器25保持从相加单元23供应的解码图像数据和从去块滤波器24供应的滤波处理之后的解码图像数据。

选择器26将已从帧存储器25读出以执行帧内预测的滤波处理之前的解码图像数据供应到帧内预测单元31。另外，选择器26将已从帧存储器25中读出以执行帧间预测的滤波处理之后的解码图像数据供应到运动预测/补偿单元32。

帧内预测单元31使用从屏幕重新排列缓冲器12输出的要编码图像的图像数据和从帧存储器25读出的滤波处理之前的解码图像数据，来执行所有候选帧内预测模式的帧内预测处理。另外，帧内预测单元31针对每个帧内预测模式计算代价函数值，并且选择所计算的代价函数值最小的帧内预测模式，即编码效率变得最好的帧内预测模式，作为最佳帧内预测模式。帧内预测单元31将在最佳帧内预测模式下生成的预测图像数据、关于最佳帧内预测模式的预测模式信息、和最佳帧内预测模式的代价函数值输出到预测图像/最佳模式选择单元33。另外，为了获得稍后描述的在计算代价函数值的时候使用的生成编码量，帧内预测单元31在每个帧内预测模式的帧内预测处理中，将关于帧内预测模式的预测模式信息输出到无损编码单元16。

运动预测/补偿单元32针对与宏块对应的所有预测块大小（运动补偿块大小）执行运动预测/补偿处理。运动预测/补偿单元32使用从帧存储器25中读出的滤波处理之后的解码图像数据，来检测从屏幕重新排列缓冲器12中读出的要编码图像中的每个预测块大小的每个图像的运动向量。另外，运动预测/补偿单元32根据检测到的运动向量，对解码图像执行运动补偿处理以生成预测图像。另外，运动预测/补偿单元32计算每个预测块大小的代价函数值，并且选择所计算的代价函数值最小的预测块大小，即编码效率最好的预测块大小，作为最佳帧间预测模式。运动预测/补偿单元32将在最佳帧间预测模式下生成的预测图像数据、和关于最佳帧间预测模式的预测模式信息、以及最佳帧间预测模式的代价函数值输出到预测图像/最佳模式选择单元33。另外，为了获得在计算代价函数值的时候使用的生成编码量，运动预测/补偿单元32在每个预测块大小的帧间预测处理中，将关于帧间预测模式的预测模式信息输出到无损编码单元16。注意，运动预测/补偿单元32执行跳过的宏块和直接模式的预测、以及帧间预测模式的预测。

另外，为了在无损编码单元16处从预测运动向量候选中选择编码效率最好的运动向量，运动预测/补偿单元32计算每个预测运动向量候选的代价函数值。运动预测/补偿单元32将所计算的代价函数值通知给无损编码单元16。可在按照每个预测块大小计算代价函数值时，计算每个预测运动向量候选的代价函数值，并且可在所判定的最佳帧间预测模式下计算每个预测运动向量候选的代价函数值。

预测图像/最佳模式选择单元33以宏块为单位将从帧内预测单元31供应的代价函数值与从运动预测/补偿单元32供应的代价函数值进行比较，并且选择代价函数值比其它模式小的模式，作为编码效率将是最好的最佳模式。另外，预测图像/最佳模式选择单元33将在最佳模式下生成的预测图像数据输出到相减单元13和相加单元23。另外，预测图像/最佳模式选择单元33将最佳模式下的预测模式信息输出到无损编码单元16。注意，预测图像/最佳模式选择单元33以片（slice）为单元执行帧内预测或帧间预测。

<2.运动向量的预测方法>

在本申请中，根据预测块大小（运动补偿块大小）执行情况分类，并且预先针对每个情况设定预测运动向量候选。然后，使用候选来执行编码量的计算，并且将编码效率最好的候选，即编码量最小的候选判定为预测运动向量。这里，如使用图1所描述的，在预测块大小为大的情况下，与预测块大小为小的情况相比，运动向量的预测精度会劣化。所以，在情况分类中，当预测块大小为大时，增加预测运动向量候选，从而选择编码效率最好的运动向量。

图3指示根据预测块大小进行的情况分类和每个情况下的预测运动向量候选。例如，在预测块大小等于或小于8×8像素的情况下，这将被称为情况S0（例如图3中的（A）），在预测块大小等于或大于8×8像素并且等于或小于16×16像素的情况下，被称为情况S1（例如图3中的（B）），以及在预测块大小等于或大于16×16像素的情况下，被称为情况S2（例如图3中的（C））。

在情况S0下，将已编码的相邻块中的一个块的运动向量、或者已编码的相邻块的运动向量的中间值作为候选。注意，在图3中，例示了如下情况，其中将左侧上的相邻块的运动向量MV_A、或者左侧、上侧和右上侧上的相邻块的运动向量MV_A、MV_B和MV_C的中间值MV_md作为候选。

在情况S1下，将已编码的相邻块中的任意两个块的运动向量作为候选。这里，在运动向量被作为候选的两个块之间的距离短的情况下，存在的担心是，可能不选择编码效率最好的预测运动向量。例如，在将图3的（B）中所示的运动向量MV_B和MV_C设定为候选的情况下，在要编码的块的运动向量接近运动向量MV_A的情况下，无法选择编码效率最好的预测运动向量。所以，在相邻块的多个运动向量被选择性地使用并且用作预测运动向量候选的情况下，选择已编码的相邻块中相互分开的块的运动向量。例如，举例来说，左侧相邻块的运动向量MV_A是第一候选，并且右上侧上的相邻块的运动向量MV_C是第二候选。

在情况S2下，将比情况S1下的候选更多的候选，即已编码的相邻块的所有运动向量作为候选。例如，举例来说，左侧相邻块的运动向量MV_A是第一候选，并且上侧相邻块的运动向量MV_B是第二候选，并且右上侧上的相邻块的运动向量MV_C是第三候选。而且，将与参考图像中要编码的块相同的块的运动向量MV_Co作为第四候选。

因此，根据预测块大小（运动补偿块大小）来执行情况分类，并且从可应用情况的候选中将编码效率最好的运动向量判定为预测运动向量。

<3.无损编码单元的配置>

图4图示无损编码单元的关于运动向量的配置。无损编码单元16包括运动向量存储单元161、运动向量选择单元165、相减单元166、第一编码处理单元167、和第二编码处理单元168。

运动向量存储单元161使用已编码的并且与要编码的块相邻的相邻块的运动向量，来存储每个块的运动向量以设定预测运动向量候选。注意，运动向量存储单元161可存储与参考图像中要编码的块相同的块的运动向量，以处理直接模式。

运动向量选择单元165根据从运动预测/补偿单元32和预测图像/最佳模式选择单元33供应的预测块大小信息，从存储在运动向量存储单元161中的相邻块的运动向量和与参考图像中要编码的块相同的块的运动向量中，设定预测运动向量候选。另外，运动向量选择单元165根据在运动预测/补偿单元32处计算的代价函数值，从预测运动向量候选中判定预测运动向量。运动向量选择单元165将判定的预测运动向量输出到相减单元166。

相减单元166计算差分运动向量，差分运动向量是在来自运动预测/补偿单元32或预测图像/最佳模式选择单元33的运动向量信息中指示的运动向量与从运动向量选择单元165输出的预测运动向量之间的差分。相减单元166将用于指示差分运动向量的差分运动向量信息输出到第一编码处理单元167。

第一编码处理单元167使用可变长度编码（VLC）表或算术编码，来执行差分运动向量信息的编码。另外，第二编码处理单元168使用VLC表或算术编码，来执行预测块大小信息和预测运动向量选择信息的编码。注意，例如，预测运动向量选择信息是采用所使用的标记来指示已从预测运动向量候选中将哪个运动向量判定为预测运动向量的信息。如上所述，将在第一编码处理单元167和第二编码处理单元168中编码的信息加到编码流的头信息上。

<4.图像编码装置的操作>

接下来，将说明关于图像编码处理的操作。图5图示与图像编码处理一起使用的预测块大小。关于H.264/AVC格式，如图5的（C）和（D）中所示的，规定了16×16像素至4×4像素的预测块大小。另外，在使用比H.264/AVC格式更进一步扩展的宏块的情况下，例如当使用32×32像素的宏块时，规定了例如图5的（B）中所示的预测块大小。另外，例如，当使用64×64像素的宏块时，例如规定了图5的（A）中所示的预测块大小。

注意，在图5中，“跳过/直接”表示当在运动预测/补偿单元32处已选择跳过宏块或直接模式时的预测块大小。另外，“ME”表示它是运动补偿块大小。另外，“P8×8”表示宏块的大小可被进一步分割为更低的子层次级别。

图6是图示图像编码处理的操作的流程图。在步骤ST11，A/D转换单元11对输入图像信号执行A/D转换。

在步骤ST12，屏幕重新排列缓冲器12执行图像重新排列。屏幕重新排列缓冲器12存储从A/D转换单元11供应的图像数据，并且执行从用于显示图像的顺序到用于编码的顺序的重新排列。

在步骤ST13，相减单元13生成预测误差数据。相减单元13计算在步骤ST12中重新排列的图像的图像数据与在预测图像/最佳模式选择单元33处选择的预测图像数据之间的差分，以生成预测误差数据。预测误差数据的数据量小于原始图像数据的数据量。所以，与对图像按照其原来的样子进行编码的情况相比，可以压缩数据量。

在步骤ST14，正交变换单元14执行正交变换处理。正交变换单元14对从相减单元13供应的预测误差数据执行正交变换。具体地，针对预测误差数据执行离散余弦变换、Karhunen-Loéve变换等，以输出变换系数数据。

在步骤ST15，量化单元15执行量化处理。量化单元15将变换系数数据量化。如在稍后描述的步骤ST25的处理中所描述的，在量化的时候执行速率控制。

逆量化单元21在步骤ST16执行逆量化处理。逆量化单元21以与量化单元15的属性对应的属性，对由量化单元15量化的变换系数数据执行逆量化。

在步骤ST17，逆正交变换单元22执行逆正交变换处理。逆正交变换单元22以与正交变换单元14的属性对应的属性，对经过逆量化单元21的逆量化的变换系数数据执行逆正交变换。

在步骤ST18，相加单元23生成解码图像数据。相加单元23将从预测图像/最佳模式选择单元33供应的预测图像数据和对应位置的逆正交变换之后的数据加到该预测图像上，以生成解码图像数据。

在步骤ST19，去块滤波器24执行滤波处理。去块滤波器24对从相加单元23输出的解码图像数据进行滤波，并且去除块失真。

在步骤ST20，帧存储器25存储解码图像数据。帧存储器25存储滤波处理之前的解码图像数据和滤波处理之后的解码图像数据。

在步骤ST21，帧内预测单元31和运动预测/补偿单元32各自执行预测处理。也就是说，帧内预测单元31执行帧内预测模式的帧内预测处理，而运动预测/补偿单元32执行帧间预测模式的运动预测/补偿处理。以下参考图7描述预测处理的细节，其中，各自执行所有候选预测模式下的预测处理，并且通过该处理各自计算所有候选预测模式下的代价函数值。另外，根据计算的代价函数值，选择最佳帧内预测模式和最佳帧间预测模式，并且将在所选择的预测模式下生成的预测图像和代价函数及预测模式信息供应到预测图像/最佳模式选择单元33。

在步骤ST22，预测图像/最佳模式选择单元33选择预测图像数据。预测图像/最佳模式选择单元33根据从帧内预测单元31和运动预测/补偿单元32输出的每个代价函数值，来判定编码效率最好的最佳模式。另外，预测图像/最佳模式选择单元33选择所判定的最佳模式的预测图像数据，并且供应到相减单元13和相加单元23。如上所述，该预测图像用于步骤ST13和步骤ST18中的计算。注意，将对应于所选择的预测图像数据的预测模式信息输出到无损编码单元16。

在步骤ST23，无损编码单元16执行无损编码处理。无损编码单元16对从量化单元15输出的量化数据执行无损编码。即，针对要进行数据压缩的量化数据执行无损编码，例如可变长度编码或算术编码。此时，对在上述步骤ST22中输入到无损编码单元16中的预测模式信息（例如包括宏块类型和预测模式、以及参考图像信息）和关于运动向量的信息等进行无损编码。另外，将诸如预测模式信息的无损编码数据加到通过对量化数据执行无损编码而生成的编码流的头信息上。

在步骤ST24，存储缓冲器17执行存储处理。存储缓冲器17存储从无损编码单元16输出的编码流。存储在该存储缓冲器17中的编码流被适当地读出，并且通过传输路径被传输到解码侧。

在步骤ST25，速率控制单元18执行速率控制。在将编码流存储在存储缓冲器17中的情况下，速率控制单元18控制量化单元15的量化操作的速率，使得在存储缓冲器17中不发生上溢或下溢。

接下来，将参考图7的流程图来描述图6的步骤ST21中的预测处理。

在步骤ST31，帧内预测单元31执行帧内预测处理。帧内预测单元31在所有候选帧内预测模式下对要编码的块的图像执行帧内预测。注意，关于帧内预测中涉及的解码图像的图像数据，使用存储在帧存储器25中的没有经过去块滤波器24的滤波处理的解码图像数据。以下将描述帧内预测处理的细节，其中，由于该处理，在所有候选帧内预测模式下执行帧内预测，并且针对所有候选帧内预测模式计算代价函数值。然后，根据所计算的代价函数值，从所有帧内预测模式中选择编码效率最好的帧内预测模式。

在步骤ST32，运动预测/补偿单元32执行帧间预测处理。运动预测/补偿单元32使用存储在帧存储器25中的滤波处理之后的解码图像数据，来执行所有候选帧间预测模式（所有预测块大小）的帧间预测处理。以下将描述帧间预测处理的细节，其中，由于该处理，在所有候选帧间预测模式下执行预测处理，并且针对候选帧间预测模式计算代价函数值。然后，根据所计算的代价函数值，从所有帧间预测模式中选择编码效率最好的帧间预测模式。

将参考图8的流程图来描述图7的步骤ST31中的帧内预测处理。

在步骤ST41，帧内预测单元31执行每个预测模式的帧内预测。帧内预测单元31使用存储在帧存储器25中的滤波处理之前的解码图像数据，生成每个帧内预测模式下的预测图像数据。

在步骤ST42，帧内预测单元31计算每个预测模式的代价函数值。如在JM（联合模型）中所规定的，根据高复杂度模式或低复杂度模式中的任意技术执行代价函数值的计算，其中JM是H.264/AVC格式的参考软件。

也就是说，在高复杂度模式下，关于步骤ST41中的处理，暂时地直至针对作为候选的所有预测模式执行了无损编码处理，并且针对每个预测模式计算由下面的表达式（1）表示的代价函数值。

Cost(Mode∈Ω)=D+λ·R...(1)

Ω表示用来对块或宏块进行编码的候选预测模式的全体组。D表示在预测模式下已执行了编码的情况下的解码图像与输入图像之间的差分能量（失真）。R是所生成的编码量，包括正交变换系数、预测模式信息等，而λ是作为量化参数QP的函数给出的拉格朗日乘子。

即，在执行高复杂度模式下的编码的时候，计算以上参数D和R，因此需要暂时地使用所有的候选预测模式来一次执行编码处理，因此需要更高的计算量。

另一方面，在低复杂度模式下，关于步骤ST41的处理，直到针对所有候选预测模式执行了预测图像的生成和诸如运动向量信息和预测模式信息的头部比特的计算，并且针对每个预测模式计算由下面的表达式（2）表示的代价函数值。

Cost(Mode∈Ω)=D+QPtoQuant(QP)·Header_Bit...(2)

Ω表示用来对块或宏块进行编码的候选预测模式的全体组。D表示在预测模式下已执行了编码的情况下的解码图像与输入图像之间的差分能量（失真）。Header_bit是预测模式的头部比特，而QPtoQuant是作为量化参数QP的函数给出的函数。

即，在低复杂度模式下，需要关于每个预测模式执行预测处理，然而进行处理直至不需要解码图像，由此实现比高复杂度模式更低的计算量。

在步骤ST43，帧内预测单元31判定最佳帧内预测模式。帧内预测单元31根据步骤ST42中计算的代价函数值，选择代价函数值最小的帧内预测模式，其被判定为最佳帧内预测模式。

接下来，将参考图9中的流程图来描述图7的步骤ST32中的帧间预测处理。

在步骤ST51，运动预测/补偿单元32判定每个预测模式的运动向量和参考图像中的每个。即，运动预测/补偿单元32判定要在每个预测模式下处理的块的运动向量和参考图像中的每个。

在步骤ST52，运动预测/补偿单元32针对每个预测模式执行运动补偿。运动预测/补偿单元32关于每个预测模式（每个预测块大小），根据步骤ST51中判定的运动向量，针对参考图像执行运动补偿，并且生成关于每个预测模式的预测图像数据。

在步骤ST53，运动预测/补偿单元32生成每个预测模式的运动向量信息。运动预测/补偿单元32生成用于指示在每个预测模式下判定的运动向量的运动向量信息。所生成的运动向量信息用于接下来的步骤ST54中的代价函数值的计算，并且在预测图像/最佳模式选择单元33处选择了对应的预测图像的情况下，这被包括在预测信息中并且输出到无损编码单元16。

在步骤ST54，运动预测/补偿单元32计算每个帧间预测模式的代价函数值。运动预测/补偿单元32使用所描述的表达式（1）或（2）来执行代价函数值的计算。关于代价函数值的计算，使用所生成的编码量，包括在第一编码处理单元167和第二编码处理单元168处编码的信息。注意，帧间预测模式的代价函数值的计算包括H.264/AVC格式中规定的跳过模式和直接模式的代价函数值的估计。

在步骤ST55，运动预测/补偿单元32判定最佳帧间预测模式。运动预测/补偿单元32根据步骤ST54中计算的代价函数值选择代价函数值最小的预测模式，并且判定最佳帧间预测模式。

接下来，将使用图10的流程图来描述由无损编码单元16执行的关于运动向量的编码处理。注意，图10图示已执行了如图3所示的情况分类和候选设定的情况。

在步骤ST61，无损编码单元16获取预测块大小信息。

在步骤ST62，无损编码单元16区分这是否对应于情况S0。在预测块大小等于或小于8×8像素的情况下，无损编码单元16区分这对应于情况S0，并且前进到步骤ST63，但是如果预测块大小不是等于或小于8×8像素，则前进到步骤ST64。

无损编码单元16在步骤ST63针对预测运动向量判定情况S0的候选。无损编码单元16针对预测运动向量判定运动向量MV_A（或运动向量MV_md）作为情况S0的候选，并且前进到步骤ST69。

在步骤ST64，无损编码单元16区分这是否对应于情况S1。在预测块大小等于或小于16×16像素的情况下，无损编码单元16区分这对应于情况S1并且前进到步骤ST65，但是如果预测块大小不是等于或小于16×16像素，则前进到步骤ST67。

在步骤ST65，无损编码单元16从情况S1的候选中判定预测运动向量。如图3所示，在无损编码单元16是情况S1的情况下，将运动向量MV_A和运动向量MV_C作为预测运动向量候选。所以，无损编码单元16将在使用作为第一候选的运动向量MV_A时的代价函数值与在使用作为第二候选的运动向量MV_C时的代价函数值进行比较，并且将代价函数值更小的运动向量判定为预测运动向量。

在步骤ST66，无损编码单元16生成预测运动向量选择信息。无损编码单元16生成预测运动向量选择信息，该预测运动向量选择信息指示在步骤ST65中判定的编码效率最好的预测运动向量。例如，无损编码单元6使用标记作为预测运动向量选择信息，并且在运动向量MV_A被判定为预测运动向量时将标记设定为“0”，而在运动向量MV_C被判定为预测运动向量时将标记设定为“1”。

在步骤ST67，无损编码单元16从情况S2的候选中判定预测运动向量。如图3所示，在无损编码单元16是情况S2的情况下，将运动向量MV_A、运动向量MV_B、运动向量MV_C和运动向量MV_co作为候选。所以，无损编码单元16将在各自使用作为第一至第四候选的运动向量MV_A、MV_B、MV_C和MV_co时的代价函数进行比较，并且将代价函数值最小的运动向量判定为预测运动向量。

在步骤ST68，无损编码单元16生成预测运动向量选择信息。无损编码单元16生成预测运动向量选择信息，该预测运动向量选择信息指示在步骤ST67中判定的编码效率最好的预测运动向量。例如，无损编码单元16使用标记作为预测运动向量选择信息，并且在运动向量MV_A被判定为预测运动向量时将标记设定为“0”，而在运动向量MV_B被判定为预测运动向量时将标记设定为“1”。另外，无损编码单元16在运动向量MV_C被判定为预测运动向量时将标记设定为“2”，而在运动向量MV_co被判定为预测运动向量时将标记设定为“3”。

在步骤ST69，无损编码单元16执行无损编码处理。无损编码单元16对这样的信息进行无损编码，该信息指示在步骤ST63、65和67中判定的预测运动向量与要编码的块的运动向量之间的差分运动向量。另外，无损编码单元16还对用于指示预测运动向量选择信息和预测块大小的信息等执行无损编码。

因此，关于根据本发明的图像编码装置和方法，根据预测块尺寸的大小设定预测运动向量候选，并且从候选中将编码效率变为最好的运动向量判定为预测运动向量。所以，可以实现运动向量的传输所需要的编码量的减少，由此提高编码效率。另外，随着运动向量的传输所需要的编码量的减少，可以增加量化数据的比特率，由此提高图像质量。另外，在预测运动向量候选为一个的情况下，例如关于情况S0，不需要预测运动向量选择信息。所以，仅当存在多个预测运动向量候选时，才进行预测运动向量选择信息的传输，这进一步提高了编码效率。

<5.图像解码装置的配置>

经由预定的传输路径、记录介质等将通过对输入图像进行编码而生成的编码流供应到图像解码装置，并且进行解码。

图11示出图像解码装置的配置。图像解码装置50包括存储缓冲器51、无损解码单元52、逆量化单元53、逆正交变换单元54、相加单元55、去块滤波器56、屏幕重新排列缓冲器57、数字/模拟转换单元（D/A转换单元）58。另外，图像解码装置50包括帧存储器61、选择器62和65、帧内预测单元63和运动补偿单元64。

存储缓冲器51存储已传输的编码流。无损解码单元52按照与图2的无损编码单元16的编码格式对应的格式对从存储缓冲器51供应的编码流进行解码。

无损解码单元52将通过对编码流的头部信息进行解码而获得的预测模式信息输出到帧内预测单元63和运动补偿单元64，并且输出到去块滤波器56。另外，无损解码单元52使用要解码的块的运动向量和已解码的相邻块的运动向量来设定预测运动向量候选。无损解码单元52根据通过对编码流进行无损解码而获得的预测运动向量选择信息，从预测运动向量候选中选择运动向量，并且将所选择的运动向量作为预测运动向量。另外，无损解码单元52将预测运动向量加上通过对编码流进行无损解码而获得的差分运动向量，并且计算要解码的块的运动向量，以及输出到运动补偿单元64。

逆量化单元53按照与图2中的量化单元15的量化格式对应的格式，对由无损解码单元52解码的量化数据执行逆量化。逆正交变换单元54按照与图2中的正交变换单元14的正交变换格式对应的格式，对逆量化单元53的输出进行逆正交变换，并且输出到相加单元55。

相加单元55将逆正交变换之后的数据加上要从选择器65供应的预测图像数据以生成解码图像数据，并且输出到去块滤波器56和帧存储器61。

去块滤波器56针对从相加单元55供应的解码图像数据执行滤波处理，去除块失真，然后供应并存储到帧存储器61，以及输出到屏幕重新排列缓冲器57。

屏幕重新排列缓冲器57执行图像的重新排列。即，将为了图2的屏幕重新排列缓冲器12的编码而重新排列的帧顺序重新排列为用于显示的原始顺序，并且输出到D/A转换单元58。

D/A转换单元58对从屏幕重新排列缓冲器57供应的图像数据执行D/A转换，从而通过输出到未示出的显示器来显示图像。

帧存储器61保持从相加单元55供应的滤波处理之前的解码图像数据和从去块滤波器24供应的滤波处理之后的解码图像数据。

当根据从无损解码单元52供应的预测模式信息来执行已执行了帧内预测的预测块的解码时，选择器62将从帧存储器61中读出的滤波处理之前的解码图像数据供应到帧内预测单元63。另外，当根据从无损解码单元52供应的预测模式信息来执行已执行了帧间预测的预测块的解码时，选择器62将从帧存储器61中读出的滤波处理之后的解码图像数据供应到运动补偿单元64。

帧内预测单元63根据从无损编码单元52供应的预测模式信息生成预测图像，并且将所生成的预测图像数据输出到选择器65。

运动补偿单元64根据从无损解码单元52供应的预测模式信息和运动向量来执行运动补偿，以生成预测图像数据，该预测图像数据输出到选择器65。即，运动补偿单元64根据从无损解码单元52供应的运动向量和参考帧信息，针对参考帧信息中所指示的参考图像，根据运动向量来执行运动补偿，并且生成预测块大小的预测图像数据。

选择器65将由帧内预测单元63生成的预测图像数据供应到相加单元55。另外，选择器65将由运动补偿单元64生成的预测图像数据供应到相加单元55。

<6.无损解码单元的配置>

图12图示无损解码单元的关于运动向量的配置。无损解码单元52包括第一解码处理单元521、第二解码处理单元522、运动向量存储单元523、运动向量选择单元525和相加单元526。

第一解码处理单元521执行与第一编码处理单元167中已执行的编码对应的解码处理。第一解码处理单元521使用VLC表或算术编码来执行编码流的无损解码处理，并且生成差分运动向量信息。

第二解码处理单元522执行与第二编码处理单元168中已执行的编码对应的解码处理。第二解码处理单元522使用VLC表或算术编码来执行编码流的无损解码处理，并且生成预测块大小信息、预测运动向量选择信息等。

为了使用与要解码的块相邻的、已解码的相邻块的运动向量来判定预测运动向量，运动向量存储单元523存储每个块的运动向量。注意，在处理直接模式的情况下，运动向量存储单元523存储与参考图像中要编码的块相同的块的运动向量。

运动向量选择单元525根据从第二解码处理单元522输出的预测块大小信息来执行情况分类，并且根据存储在运动向量存储单元161中的相邻块的运动向量和与参考图像中要编码的块相同的块的运动向量，来设定预测运动向量候选。该情况分类和预测运动向量候选的设定等同于编码侧的运动向量选择单元165。另外，运动向量选择单元525根据从第二解码处理单元522输出的预测运动向量选择信息，从预测运动向量候选中选择运动向量，并且输出到相加单元526作为预测运动向量。

相加单元526将从运动向量选择单元525输出的预测运动向量加上在从第一解码处理单元521输出的差分运动向量信息中所指示的差分运动向量，以及相应地计算要解码的块的运动向量并且输出到运动补偿单元64。

<7.图像解码装置的操作>

接下来，将参考图13中的流程图来描述由图像解码装置50执行的图像解码处理的操作。

在步骤ST81，存储缓冲器51存储已传输的编码流。在步骤ST82，无损解码单元52执行无损解码处理。无损解码单元52对从存储缓冲器51供应的编码流进行解码。即，获得由图2中的无损编码单元16编码的每个图像的量化数据。另外，无损解码单元52执行包括在编码流的头部信息中的预测模式信息的无损解码，并且将所获得的预测模式信息供应到去块滤波器56、以及选择器62和65。另外，在预测模式信息是关于帧内预测模式的信息的情况下，无损解码单元52将预测模式信息输出到帧内预测单元63。另外，在预测模式信息是关于帧间预测模式的信息的情况下，无损解码单元52将预测模式信息输出到运动补偿单元64。

在步骤ST83，逆量化单元53执行逆量化处理。逆量化单元53按照与图2中的量化单元15的属性对应的属性，对由逆解码单元52解码的量化数据执行逆量化。

在步骤ST84，逆正交变换单元54执行逆正交变换处理。逆正交变换单元54按照与图2的正交变换单元14的属性对应的属性，对经过逆量化单元53的逆量化的变换系数数据执行逆正交变换。

在步骤ST85，相加单元55生成解码图像数据。相加单元55将通过执行逆正交变换处理而获得的数据加上在稍后描述的步骤ST89中选择的预测图像数据，并且生成解码图像数据。因此，对原始图像进行解码。

在步骤ST86，去块滤波器56执行滤波处理。去块滤波器56执行从相加单元55输出的解码图像数据的滤波处理，并且去除包括在解码图像中的块失真。

在步骤ST87，帧存储器61执行解码图像数据的存储处理。

在步骤ST88，帧内预测单元63和运动补偿单元64执行预测处理。帧内预测单元63和运动补偿单元64各自执行与从无损解码单元52供应的预测模式信息对应的预测处理。

即，当从无损解码单元52供应帧内预测的预测模式信息时，帧内预测单元63根据预测模式信息执行帧内预测处理，并且生成预测图像数据。另外，在从无损解码单元52供应帧间预测的预测模式信息的情况下，运动补偿单元64根据预测模式信息执行运动补偿，并且生成预测图像数据。

在步骤ST89，选择器65选择预测图像数据。即，选择器65选择从帧内预测单元63供应的预测图像和由运动补偿单元54生成的预测图像数据，并且供应到相加单元55，从而执行如上所述的步骤ST85中的逆正交变换单元54的输出和相加。

在步骤ST90，屏幕重新排列缓冲器57执行图像重新排列。也就是说，在屏幕重新排列缓冲器57中，为了图2中的图像编码装置10的屏幕重新排列缓冲器12的编码而重新排列的帧顺序被重新排列为用于显示的原始顺序。

在步骤ST91，D/A转换单元58对从屏幕重新排列缓冲器57到D/A转换单元58的图像数据执行D/A转换。该图像输出到未示出的显示器并且显示图像。

接下来，将使用图14中的流程图来描述在无损解码单元52中执行的关于运动向量的解码处理。注意，，图14还图示如图3所示的执行情况分类和候选的指定的情况。

在步骤ST101，无损解码单元52获取预测块大小信息。无损解码单元52对存储在存储缓冲器51中的编码流进行解码，并且获取关于要解码的块的预测块大小信息。

在步骤ST102，无损解码单元52区分这是否对应于情况S0。在作为要解码的块的大小的预测块大小等于或小于8×8像素的情况下，无损解码单元52区分这对应于情况S0，前进到步骤ST103，而在预测块大小不是等于或小于8×8像素的情况下，前进到步骤ST104。

在步骤ST103，无损解码单元52将情况S0的候选判定为预测运动向量。无损解码单元52将作为情况S0的候选的运动向量MV_A（或运动向量MV_md）判定为预测运动向量，并且前进到步骤ST109。

在步骤ST104，无损解码单元52区分这是否对应于情况S1。在预测块大小等于或小于16×16像素的情况下，无损解码单元52区分这对应于情况S1，前进到步骤ST105，而在预测块大小不是等于或小于16×16像素的情况下，前进到步骤ST107。

在步骤ST105，无损解码单元52获取预测运动向量选择信息。无损解码单元52对存储在存储缓冲器51中的编码流进行解码，并且获取关于要解码的块的预测运动向量选择信息。

在步骤ST106，无损解码单元52从情况S1的候选中判定预测运动向量。无损解码单元52判定在情况S1下的预测运动向量选择信息中所指示的预测运动向量，并且前进到步骤ST109。例如，在预测运动向量信息是标记“0”的情况下，无损解码单元52将运动向量MV_A作为预测运动向量。另外，在预测运动向量信息是标记“1”的情况下，无损解码单元52将运动向量MV_C作为预测运动向量。

在步骤ST107，无损解码单元52获取预测运动向量选择信息。无损解码单元52对存储在存储缓冲器51中的编码流进行解码，并且获取关于要解码的块的预测运动向量选择信息。

在步骤ST108，无损解码单元52从情况S2的候选中判定预测运动向量。无损解码单元52将在情况S2下的预测运动向量选择信息中所指示的候选判定为预测运动向量，并且前进到步骤ST109。例如，在预测运动向量信息是标记“0”的情况下，无损解码单元52将运动向量MV_A作为预测运动向量。在预测运动向量信息是标记“1”的情况下，无损解码单元将运动向量MV_B作为预测运动向量。在预测运动向量信息是标记“2”的情况下，无损解码单元52将运动向量MV_C作为预测运动向量。另外，在预测运动向量信息是标记“3”的情况下，无损解码单元52将运动向量MV_co作为预测运动向量。

在步骤ST109，无损解码单元52执行运动向量计算处理。无损解码单元52将在步骤ST103、106和108中判定的预测运动向量加上通过执行编码流的无损解码而获得的要解码的块的差分运动向量，并且计算要解码的块的运动向量。无损解码单元52将所计算的运动向量输出到运动补偿单元64。

接下来，将参考图15的流程图来描述图13的步骤ST88中的预测处理。

在步骤ST111，无损解码单元52确定是否已对当前块进行了帧内编码。在通过执行无损解码而获得的预测模式信息是帧内预测模式信息的情况下，无损解码单元52将预测模式信息供应到帧内预测单元63，并且前进到步骤ST112。另外，在预测模式信息不是帧内预测模式信息的情况下，无损解码单元52将预测模式信息供应到运动补偿单元64，并且前进到步骤ST113。

在步骤ST112，帧内预测单元63执行帧内预测处理。帧内预测单元63使用经由选择器62供应的预测模式信息和解码图像数据来执行帧内预测，并且生成预测图像数据。

在步骤ST113，运动补偿单元64执行帧间预测处理。运动补偿单元64根据来自无损解码单元52的预测模式信息和运动向量来执行经由选择器62供应的解码图像数据的运动补偿。另外，运动补偿单元64将通过运动补偿生成的预测图像数据输出到选择器65。

因此，关于本发明的图像解码装置和方法，根据预测块尺寸的大小设定预测运动向量候选，并且从候选中将在图像解码装置中选择的运动向量判定为预测运动向量。所以，关于图像解码装置，即使通过最佳运动向量实现了编码效率和图像质量的提高，也可以在图像解码装置处正确地执行编码流的解码，其中，最佳运动向量是从根据预测块尺寸的大小而设定的预测运动向量候选中选择的。

<8.运动向量的其它预测方法>

现在，关于上述运动向量预测方法，预测运动向量候选是根据预测块大小而提供的，并且在候选中，编码效率最好的运动向量被判定为预测运动向量。然而，预测运动向量候选可根据已编码或已解码的相邻块的运动向量的差分来设定，并且该布置不限于预测块大小。另外，预测运动向量候选可根据预测块大小和相邻块的差分来提供。

图16图示根据相邻块的运动向量的差分进行的情况分类和每个情况下的预测运动向量候选。

如图16中的（A）所示，举例来说，情况M0是如下情况，其中，在左侧上的相邻块的运动向量MV_A、上侧上的相邻块的运动向量MV_B和右上侧上的相邻块的运动向量MV_C之间存在很小的差分。另外，如图16中的（B）所示，举例来说，情况M1是如下情况，其中，在运动向量MV_A、运动向量MV_B和运动向量MV_C中，运动向量MV_A与其它运动向量之间的差分大于预先设定的阈值。另外，如图16中的（C）所示，举例来说，情况M2是如下情况，其中，在运动向量MV_A、运动向量MV_B和运动向量MV_C中，运动向量MV_C与其它运动向量之间的差分大于阈值。另外，如图16中的（D）所示，举例来说，关于情况M3，关于运动向量MV_A、运动向量MV_B和运动向量MV_C中的每个，运动向量的差分大于阈值。

因此，根据相邻块的运动向量的差分执行情况分类，并且如图16中的（E）所示，在每个情况下设定预测运动向量候选。关于预测运动向量候选的设定，将其中出现了差分超过预先已设定的阈值的运动向量中的每个作为预测运动向量候选。

在情况M0下，相邻块之间存在运动向量的很小差分，所以将相邻块的运动向量中的任一个作为预测运动向量候选。例如，将上侧上的相邻块的运动向量MV_B作为预测运动向量候选。可替选地，也可将其它相邻块的运动向量作为候选。

在情况M1下，将其中出现了差分超过预先设定的阈值的运动向量，例如左侧相邻块的运动向量MV_A作为第一候选，并且将右上侧相邻块的运动向量MV_C作为第二候选。注意，即使运动向量MV_A与运动向量MV_B之间的差分超过阈值，运动向量MV_B与运动向量MV_C之间的差分为小，所以可将运动向量MV_B和运动向量MV_C中的任一个作为候选。

在情况M2下，例如，将左侧上的相邻块的运动向量MV_A作为第一候选，并且将右上侧上的相邻块的运动向量MV_C作为第二候选。

在情况M3下，例如，每个相邻块之间的运动向量的差分都超过了阈值，所以将左侧上的相邻块的运动向量MV_A作为第一候选，将上侧上的相邻块的运动向量MV_B作为第二候选，并且将右上侧上的相邻块的运动向量MV_C作为第三候选。

<9.无损编码单元的其它配置>

图17图示无损编码单元的关于运动向量的另一配置。无损编码单元16包括运动向量存储单元161、情况分类单元162、运动向量选择单元165a、相减单元166、第一编码处理单元167、和第二编码处理单元168。

运动向量存储单元161存储每个块的运动向量，以使用在要编码的块之前已执行了编码的相邻块的运动向量来判定预测运动向量。注意，当处理直接模式时，运动向量存储单元161存储与参考图像中要编码的块相同的块的运动向量。

情况分类单元162根据相邻块的运动向量的差分执行情况分类，并且将情况分类结果供应到运动向量选择单元165a。

运动向量选择单元165a根据情况分类结果，从存储在运动向量存储单元161中的相邻块的运动向量和与参考图像中要编码的块相同的块的运动向量中设定预测运动向量候选。另外，运动向量选择单元165a根据从预测/补偿单元32供应的代价函数值，从预测运动向量候选中判定预测运动向量。运动向量选择单元165a将判定的预测运动向量输出到相减单元166。另外，还在根据预测块大小执行情况分类的情况下，运动向量选择单元165a根据预测块大小信息和情况分类结果，从存储在运动向量存储单元161中的相邻块的运动向量和与参考图像中要编码的块相同的块的运动向量中设定预测运动向量候选。将由运动向量选择单元165a判定的预测运动向量输出到相减单元166。例如，在预测块大小等于或小于16×16像素的情况下，根据预测块大小执行情况分类，而在预测块大小是16×16像素或更大的情况下，关于在每个情况下设定的预测运动向量候选，根据相邻块的运动向量的差分执行情况分类。因此，在预测块大小更大并且预测精度降低的情况下，可根据运动向量的差分执行情况分类，当相邻块的运动向量的差分为小时，候选的数目减少，因此可有效地判定预测运动向量。

相减单元166计算差分运动向量，该差分运动向量是来自运动预测/补偿单元32或预测图像/最佳模式选择单元33的运动向量信息中所指示的运动向量与从运动向量选择单元165a输出的预测运动向量之间的差分。相减单元166将用于指示所计算的差分运动向量的差分运动向量信息输出到第一编码处理单元167中。

第一编码处理单元167使用VLC表或算术编码来执行差分运动向量信息的编码。另外，第二编码处理单元168使用VLC表或算术编码来执行预测块大小信息和预测运动向量选择信息的编码。将在第一编码处理单元167和第二编码处理单元168中编码的信息加到如上所述的编码流的头部信息上。

<10.无损编码单元的其它配置的操作>

接下来，将参考图18中的流程图来描述由无损编码单元16执行的关于运动向量的其它编码处理。注意，图18图示已执行如图16所示的情况分类和候选的设定的情况。另外，在根据相邻块的运动向量的差分和预测块大小提供预测运动块的候选的情况下，例如在要编码的块的预测块大小大于16×16像素的情况下，可执行图18中的处理。

在步骤ST121，无损编码单元16计算相邻块的运动向量之间的差分。例如，无损编码单元16计算左侧上的相邻块的运动向量MV_A与上侧上的相邻块的运动向量MV_B之间的差分运动向量MVD_AB。另外，无损编码单元16计算上侧上的相邻块的运动向量MV_B与右上侧上的相邻块的运动向量MV_C之间的差分运动向量MVD_BC。

在步骤ST122，无损编码单元16区分差分运动向量MVD_AB是否小于阈值。在差分运动向量MVD_AB的水平分量MVD_ABx小于阈值Thabx并且差分运动向量MVD_AB的垂直分量MVD_ABy小于阈值Thaby的情况下，无损编码单元16前进到步骤ST123。另外，无损编码单元16在其它情况下前进到步骤ST127。

在步骤ST123，无损编码单元16区分差分运动向量MVD_BC是否小于阈值。在差分运动向量MVD_BC的水平分量MVD_BCx小于阈值Thbcx并且差分运动向量MVD_BC的垂直分量MVD_BCy小于阈值Thbcy的情况下，无损编码单元16前进到步骤ST124。另外，无损编码单元16在其它情况下前进到步骤ST125。

在步骤ST124，无损编码单元16将情况M0的候选判定为预测运动向量。当满足步骤ST122和步骤ST123的条件时，这对应于情况M0，因此无损编码单元16将作为情况M0的候选的运动向量MV_B判定为预测运动向量，并且前进到步骤ST132。

在步骤ST125，无损编码单元16从情况M2的候选判定预测运动向量。当满足步骤ST122的条件但是不满足步骤ST123的条件时，这对应于情况M2，因此无损编码单元16从情况M2的候选中判定预测运动向量。关于无损编码单元16，在情况M2时，如图16所示，将运动向量MV_A和运动向量MV_B作为预测运动向量候选。所以，无损编码单元16比较在使用作为第一候选的运动向量MV_A和使用作为第二候选的运动向量MV_C时的代价函数值，以将代价函数值最小的运动向量判定为预测运动向量。

在步骤ST126，无损编码单元16生成预测运动向量选择信息。无损编码单元16生成用于指示在步骤ST125判定的预测运动向量的预测运动向量选择信息。例如，无损编码单元16使用标记作为预测运动向量选择信息。关于无损编码单元16，当运动向量MV_A被判定为预测运动向量时，标记被设定为“0”，而当运动向量MV_C被判定为预测运动向量时，标记被设定为“1”，并且前进到步骤ST132。

从步骤ST122前进到步骤ST127，无损编码单元16区分差分运动向量MVD_BC是否小于阈值。在差分运动向量MVD_BC的水平分量MVD_BCx小于阈值Thbcx并且差分运动向量MVD_BC的垂直分量MVD_BCy小于阈值Thbcy的情况下，无损编码单元16前进到步骤ST128。另外，无损编码单元16在其它情况下前进到步骤ST130。

在步骤ST128，无损编码单元16从情况M1候选中判定预测运动向量。当满足步骤ST127的条件而不满足步骤ST122的条件时，这对应于情况M1，因此无损编码单元16从情况M1的候选中判定预测运动向量。关于无损编码单元16，在情况M1时，如图16所示，将运动向量MV_A和运动向量MV_C作为预测运动向量候选。所以，无损编码单元16比较在使用作为第一候选的运动向量MV_A时的代价函数值与在使用作为第二候选的运动向量MV_C时的代价函数值，并且将代价函数值最小的运动向量判定为预测运动向量。

在步骤ST129，无损编码单元16生成预测运动向量选择信息。无损编码单元16生成用于指示在步骤ST128判定的预测运动向量的预测运动向量选择信息。例如，无损编码单元16使用标记作为预测运动向量选择信息。当运动向量MV_A被判定为预测运动向量时，无损编码单元16将标记设定为“0”，而当运动向量MV_C被判定为预测运动向量时，无损编码单元16将标记设定为“1”，并且前进到步骤ST132。

在步骤ST130，无损编码单元16从情况M3候选中判定预测运动向量。当不满足步骤ST122和步骤ST127的条件时，这对应于情况M3，所以无损编码单元16从情况M3的候选中判定预测运动向量。关于无损编码单元16，在情况M3时，如图16所示，将运动向量MV_A、运动向量MV_B和运动向量MV_C作为预测运动向量候选。所以，无损编码单元比较在使用作为第一候选的运动向量MV_A时的代价函数值、在使用作为第二候选的运动向量MV_B时的代价函数值、和在使用作为第三候选的运动向量MV_C时的代价函数值。无损编码单元16根据比较结果将代价函数值最小的运动向量判定为预测运动向量。

在步骤ST131，无损编码单元16生成预测运动向量选择信息。无损编码单元16生成用于指示在步骤ST130判定的预测运动向量的预测运动向量选择信息。例如，无损编码单元16使用标记作为预测运动向量选择信息。当运动向量MV_A被判定为预测运动向量时，无损编码单元16将标记设定为“0”。另外，当运动向量MV_B被判定为预测运动向量时，无损编码单元16将标记设定为“1”，而当运动向量MV_C被判定为预测运动向量时，无损编码单元16将标记设定为“2”，并且前进到步骤ST132。

在步骤ST132，无损编码单元16执行无损编码处理。无损编码单元16执行预测运动向量与在步骤ST124、125、128和130确定的要编码的块的运动向量之间的差分的无损编码。另外，无损编码单元16对用于指示预测运动向量选择信息和预测块大小的信息执行无损编码。

因此，关于本申请的图像编码装置和方法，在候选中，根据相邻块的运动向量的差分将编码效率最好的运动向量的预测运动向量候选设定和判定为预测运动向量。所以，可以提高编码效率和图像质量。另外，关于情况M0，在存在预测运动向量候选的情况下，不需要预测运动向量选择信息。所以，仅在存在多个预测运动向量候选的情况下，才传输预测运动向量选择信息，由此进一步提高了编码效率。

<11.无损解码单元的其它配置>

图19图示无损解码单元的关于运动向量的另一配置。无损解码单元52包括第一解码处理单元521、第二解码处理单元522、运动向量存储单元523、情况分类单元524、运动向量选择单元525a和相加单元526。

第一解码处理单元521执行与第一编码处理单元167中已执行的编码对应的解码处理。第一解码处理单元521使用VLC表或算术编码来执行编码流的无损解码，并且生成差分运动向量信息。

第二解码处理单元522执行与第二编码处理单元168中已执行的编码对应的解码处理。第二解码处理单元522使用VLC表或算术编码来执行编码流的无损解码处理，并且生成预测块大小信息、预测运动向量选择信息等。

运动向量存储单元523存储每个块的运动向量，以使用在要编码的块之前已执行了编码的相邻块的运动向量来判定预测运动向量。注意，当对应于直接模式时，运动向量存储单元523还存储与参考图像中要编码的块相同的块的运动向量。

情况分类单元524根据相邻块的运动向量的差分执行情况分类，并且该情况分类等同于编码侧的情况分类单元162。该情况分类等同于编码侧的情况分类单元162。

运动向量选择单元525a根据情况分类结果，从存储在运动向量存储单元523中的相邻块的运动向量和与参考图像中要编码的块相同的块的运动向量中设定预测运动向量候选。该预测运动向量候选的设定等同于编码侧的运动向量选择单元165a。另外，运动向量选择单元525a根据从第二解码处理单元522输出的预测运动向量选择信息，从预测运动向量候选中选择运动向量，并且输出到相加单元526作为预测运动向量。另外，在根据预测块大小执行情况分类的情况下，运动向量选择单元525a还根据预测块大小信息、情况分类结果和预测运动向量选择信息，从存储在运动向量存储单元523中的相邻块的运动向量中设定预测运动向量候选。另外，运动向量选择单元525a根据预测运动向量选择信息，从预测运动向量候选中判定预测运动向量，并且输出到相加单元526。因此，例如，在预测块大小大于16×16像素的情况下，即使根据相邻块的运动向量的差分执行情况分类并且设定在每个情况下的预测运动向量候选，以及判定了编码效率最好的预测运动向量，也可在图像解码装置中使用该预测运动向量来实现解码处理。

相加单元526将从运动向量选择单元525a输出的预测运动向量加上在从第一解码处理单元521输出的差分运动向量信息中所指示的差分运动向量。相加单元526通过将差分运动向量加上预测运动向量，来计算要编码的块的运动向量并且输出到运动补偿单元64。

<12.无损解码单元的其它配置的操作>

接下来，将通过图20的流程图来描述由无损解码单元52执行的关于运动向量的解码处理。注意，图20图示执行如图16所示的情况分类和候选的设定的情况。另外，在图像编码中，例如，当在要编码的块的预测块大小大于16×16像素的情况下执行图18中的处理时，如果预测模式信息中所指示的预测块大小大于16×16像素，则执行图20中的处理。

在步骤ST141，无损解码单元52计算已解码的相邻块的运动向量的差分。例如，无损解码单元52计算左侧上的相邻块的运动向量MV_A与上侧上的相邻块的运动相邻MV_B之间的差分运动向量MVD_AB。另外，无损解码单元52计算上侧上的相邻块的运动向量MV_B与右上侧上的相邻块的运动向量的运动向量MV_C之间的差分运动向量MVD_BC。

在步骤ST142，无损解码单元152区分差分运动向量MVD_AB是否小于阈值。在差分运动向量MVD_AB的水平分量MVD_ABx小于阈值Thabx并且差分运动向量MVD_AB的垂直分量MVD_ABy小于阈值Thaby的情况下，无损解码单元52前进到步骤ST143。另外，在其它情况下，无损解码单元52前进到步骤ST147。

在步骤ST143，无损解码单元52区分差分运动向量MVD_BC是否小于阈值。在差分运动向量MVD_BC的水平分量MVD_BCx小于阈值Thbcx并且差分运动向量MVD_BC的垂直分量MVD_BCy小于阈值Thbcy的情况下，无损解码单元52前进到步骤ST144。另外，在其它情况下，无损解码单元52前进到步骤ST145。

在步骤ST144，无损解码单元52将情况M0的候选判定为预测运动向量。当满足步骤ST142和步骤ST143的条件时，这对应于情况M0，因此无损编码单元52将作为情况M0的候选的运动向量MV_B判定为预测运动向量，并且前进到步骤ST152。

在步骤ST145，无损解码单元52获取预测运动向量选择信息。无损解码单元52执行存储在存储缓冲器51中的编码流的解码，并且获取关于要解码的块的预测运动向量选择信息。

在步骤ST146，无损解码单元52从情况M2的候选中判定预测运动向量。当满足步骤ST142的条件而不满足步骤ST143的条件时，这对应于情况M2，因此无损编码单元52将在情况M2下的预测运动向量选择信息中所指示的候选判定为预测运动向量。例如，当预测运动向量选择信息指示标记“0”时，无损解码单元52将运动向量MV_A判定为预测运动向量。另外，当预测运动向量选择信息指示标记“1”时，无损编码单元52将运动向量MV_C判定为预测运动向量。

当从步骤ST142前进到步骤ST147时，无损解码单元52区分差分运动向量MVD_BC是否小于阈值。在差分运动向量MVD_BC的水平分量MVD_BCx小于阈值Thbcx并且差分运动向量MVD_BC的垂直分量MVD_BCy小于阈值Thbcy的情况下，无损解码单元52前进到步骤ST148。另外，无损解码单元52在其它情况下前进到步骤ST150。

在步骤ST148，无损解码单元52获取预测运动向量选择信息。无损解码单元52执行存储在存储缓冲器51中的编码流的解码，并且获取关于要解码的块的预测运动向量选择信息。

在步骤ST149，无损解码单元52从情况M1的候选中判定预测运动向量。当不满足步骤ST142的条件并且满足步骤ST143的条件时，这对应于情况M1，因此无损编码单元52将在情况M1下的预测运动向量选择信息中所指示的候选判定为预测运动向量。例如，在预测运动向量选择信息示出标记“0”的情况下，无损解码单元52将运动向量MV_A判定为预测运动向量。另外，在预测运动向量选择信息指示标记“1”的情况下，无损编码单元52将运动向量MV_C判定为预测运动向量。

在步骤ST150，无损编码单元52获取预测运动向量选择信息。无损编码单元52对存储在存储缓冲器61中的编码流进行解码，并且获取关于用于解码的块的预测运动向量选择信息。

在步骤ST151，无损解码单元52从情况M3的候选中判定预测运动向量。当不满足步骤ST142和步骤ST147的条件时，这对应于情况M3，因此无损解码单元52将在情况M3下的预测运动向量选择信息中所指示的候选判定为预测运动向量。例如，当预测运动向量选择信息指示标记“0”时，无损解码单元52将预测运动向量MV_A判定为预测运动向量，而当预测运动向量选择信息指示标记“1”时，无损解码单元52将预测运动向量MV_B判定为预测运动向量。另外，在预测运动向量选择信息指示标记“2”的情况下，无损解码单元52将运动向量MV_C判定为预测运动向量。

在步骤ST152，无损解码单元52执行运动向量计算处理。无损解码单元52将在步骤ST144、146、149和151判定的预测运动向量与通过执行编码流的无损解码而获得的要解码的块的差分运动向量相加，并且计算要解码的块的运动向量。无损解码单元52将所计算的运动向量输出到运动补偿单元64。

因此，关于本发明的图像解码装置和方法，根据已解码的相邻块的运动向量的差分来设定预测运动向量候选，并且从候选中，将由图像编码装置选择的运动向量判定为预测运动向量。因此，即使通过最佳运动向量实现了编码效率和图像质量的提高，也可以由图像解码装置正确地执行编码流的解码，其中，最佳运动向量是从根据相邻块的运动向量的差分而设定的预测运动向量候选中选择的。另外，根据相邻块的运动向量的差分执行情况分类，因此关于相邻块的信息不需要包括在编码流中。

<13.运动向量的其它预测方法>

接下来，作为运动向量的另一预测方法，将描述如下情况，其中，根据已编码或已解码的相邻块的运动向量，区分发生等同运动的块的连续性，并且根据区分结果提供预测运动向量候选。

图21是描述根据发生等同运动的块的连续性进行的情况分类的图。使用相邻块之间彼此紧邻的块的运动向量的差分，来进行发生等同运动的块的连续性的判定。注意，在连续性的确定中，也可包括位于右上侧的相邻块与位于左侧的相邻块之间的运动向量的差分。在两个块指示等同运动的情况下，所计算的差分运动向量的大小（运动的量）为小。所以，如此进行连续性的区分：当两个块之间的差分运动向量的大小小于阈值时，这些是正发生等同运动的块，而当差分运动向量的大小大于阈值时，这些是正发生不同运动的块。

例如，关于连续性的区分，如图21所示，计算左侧上的相邻块的运动向量MV_A与左上侧上的相邻块的运动向量MV_D之间的差分运动向量MVD_AD。当该差分运动向量MVD_AD等于或小于阈值Tjad时，将确定结果（MoD_AD）作为“0”，而当该差分运动向量MVD_AD是阈值Tjad或更大时，将确定结果（MoD_AD）作为“1”。注意，确定结果“0”指示两个块是发生等同运动的连续块。另外，确定结果“1”指示两个块是发生不同运动的非连续块。

以相同的方式，计算左上侧上的相邻块的运动向量MV_D与上侧上的相邻块的运动向量MV_B之间的差分运动向量MVD_DB，并且根据差分运动向量MVD_DB与阈值Tjdb之间的比较来判定MoD_DB。另外，计算上侧上的相邻块的运动向量MV_B与右上侧上的相邻块的运动向量MV_C之间的差分运动向量MVD_BC，并且根据差分运动向量MVD_BC与阈值Tjbc之间的比较来判定MoD_BC。另外，计算右上侧上的相邻块的运动向量MV_C与左侧上的相邻块的运动向量MV_A之间的差分运动向量MVD_CA，并且根据差分运动向量MVD_CA与阈值Tjca之间的比较来判定MoD_CA。

接下来，使用作为连续性的确定结果的MoD_AD、MoD_DB、MoD_BC和MoD_CA来执行情况分类。另外，根据分类的情况来判定预测运动向量候选。注意，通过预先学习，在每个情况下判定预测运动向量候选。

图22例示了每个情况下的预测运动向量候选。例如，情况m0是MoD_AD=0、MoD_DB=0、MoD_BC=0以及MoD_CA=0的情况，其中将预测运动向量的第一候选作为运动向量MV_A。另外，情况m8是MoD_AD=1、MoD_DB=0、MoD_BC=0以及MoD_CA=0的情况，其中将预测运动向量的第一候选作为运动向量MV_A并且将第二候选作为运动向量MV_C。另外，情况m15是MoD_AD=1、MoD_DB=1、MoD_BC=1以及MoD_CA=1的情况，其中将预测运动向量的第一候选作为运动向量MV_A，将预测运动向量的第二候选作为运动向量MV_B，以及将预测运动向量的第三候选作为运动向量MV_C。

<14.无损编码单元的其它配置和操作>

在根据发生等同运动的块的连续性的区分结果来提供预测运动向量候选的情况下，关于图17作出了根据无损编码单元的关于运动向量的另一配置。注意，图17中的情况分类单元162根据发生等同运动的块的连续性的区分结果来执行情况分类，并且将情况分类结果供应到运动向量选择单元165a。另外，如图22所示，运动向量选择单元165a根据情况分类结果设定预测运动向量候选。

图23是图示由无损编码单元16执行的关于运动向量的其它编码处理的流程图。

在步骤ST161，无损编码单元16计算相邻块的运动向量的差分。无损编码单元16计算相邻块之间彼此紧邻的块的运动向量的差分。另外，无损编码单元16计算位于右上侧的相邻块与位于左侧的相邻块的运动向量的差分。即，无损编码单元16计算差分运动向量MVD_AD、MVD_DB、MVD_BC和MVD_CA，并且前进到步骤ST162。

在步骤ST162，无损编码单元16判定MoD。无损编码单元16将阈值Tjad与差分运动向量MVD_AD进行比较，并且判定MoD_AD。当差分运动向量MVD_AD是阈值Tjad或更小时，无损解码单元16将MoD_AD作为“0”。另外，当差分运动向量MVD_AD大于阈值Tjad时，无损解码单元16将MoD_AD作为“1”。以相同的方式，无损解码单元将阈值Tjdb、Tjbc、Tjca与差分运动向量MVD_DB、MVD_BC、MVD_CA进行比较，判定MoD_DB、MoD_BC和MoD_CA，并且前进到步骤ST163。

在步骤ST163，无损解码单元16执行情况分类。例如，无损解码单元16根据MoD_AD、MoD_DB、MoD_BC和MoD_CA的值执行图22的情况分类，并且前进到步骤ST164。

在步骤ST164，从所区分的情况下的候选中判定预测运动向量。无损编码单元16从在步骤ST163区分的情况下的预测运动向量候选中判定预测运动向量。当预测运动向量候选的数目在区分的情况下为一时，无损编码单元16将该候选判定为预测运动向量。例如，如图22所示，在MoD_AD=0、MoD_DB=0、MoD_BC=0以及MoD_CA=0的情况m0下，预测运动向量候选是一个运动向量MV_A。所以，运动向量MV_A被判定为预测运动向量。

当在区分的情况下存在多个预测运动向量候选时，无损编码单元16计算在使用每个候选时的代价函数值，并且将代价函数值最小的候选判定为预测运动向量。

例如，如图22所示，在MoD_AD=1、MoD_DB=0、MoD_BC=0以及MoD_CA=0的情况m8下，预测运动向量候选是两个运动向量MV A和MV_C。所以，无损编码单元16将在使用作为第一候选的运动向量MV_A时的代价函数值与在使用作为第二候选的运动向量MV_C时的代价函数值进行比较，并且将代价函数值最小的运动向量判定为预测运动向量。

在步骤ST165，无损编码单元16生成预测运动向量选择信息。无损编码单元16生成用于指示在步骤ST164判定的预测运动向量的预测运动向量选择信息。例如，无损编码单元16使用标记作为预测运动向量选择信息。当第一候选已被判定为预测运动向量时，无损编码单元16将标记设定为“0”，而当第二候选已被判定为预测运动向量时，将标记设定为“1”，以及当第三候选被判定为预测运动向量时，将标记设定为“2”，并且前进到步骤ST166。

在步骤ST166，无损编码单元16执行无损编码处理。无损编码单元16执行在步骤ST164判定的预测运动向量与要在步骤ST164进行编码的块的运动向量之间的无损编码。另外，无损编码单元16对用于指示预测运动向量选择信息和预测块大小等的信息执行无损编码。

因此，根据发生等同运动的块的连续性的区分结果，设定预测运动向量候选，并且从候选中将编码效率最好的运动向量判定为预测运动向量。所以，可实现编码效率和图像质量的提高。另外，在存在预测运动向量候选的情况下，不需要预测运动向量选择信息。所以，仅当存在多个预测运动向量候选时才传输预测运动向量选择信息，这可进一步提高编码效率。

<15.无损解码单元的其它配置和操作>

在根据发生等同运动的块的连续性的区分结果提供预测运动向量候选的情况下，无损编码单元中的关于运动向量的另一配置与图19相同。注意，图19中的情况分类单元根据发生等同运动的块的连续性的区分结果执行情况分类，并且将情况分类结果供应到运动向量选择单元525a。另外，运动向量选择单元525a根据情况分类结果设定如图22所示的预测运动向量候选。

图24是指示由无损解码单元52执行的关于运动向量的其它解码处理的流程图。注意，图24还图示如图21和图22所示地执行的情况分类和候选的设定。另外，在图像编码中，例如，当在要编码的块的预测块大小大于16×16像素的情况下执行图23中的处理时，在预测模式信息中所指示的预测块大小大于16×16像素的情况下执行图24中的处理。

在步骤ST171，无损编码单元52计算已解码的相邻块的运动向量的差分。例如，无损解码单元52计算相邻块之间彼此紧邻的块的运动向量的差分。另外，无损解码单元16计算位于右上侧的相邻块与位于左侧的相邻块之间的运动向量的差分。即，无损解码单元16计算差分运动向量MVD_AD、MVD_DB、MVD_BC和MVD_CA，并且前进到步骤ST172。

在步骤ST172，无损解码单元52对MoD进行解码。无损解码单元52将阈值Tjad与差分运动向量MVD_AD进行比较，并且判定MoD_AD。当差分运动向量MVD_AD是阈值Tjad或更小时，无损解码单元52将MoD_AD作为“0”。另外，当差分运动向量MVD_AD大于阈值Tjad时，无损解码单元52将MoD_AD作为“1”。以相同的方式，无损解码单元52比较差分运动向量MVD_DB、MVD_BC、MVD_CA和阈值Tjdb、Tjbc与Tjca，并且判定MoD_DB、MoD_BC、MoD_CA，并且前进到步骤ST173。

在步骤ST173，无损解码单元52执行情况分类。例如，无损解码单元52根据MoD_AD、MoD_DB、MoD_BC和MoD_CA的值来执行例如图21和图22中的情况分类，并且前进到步骤ST174。

在步骤ST174，无损解码单元52获取预测运动向量选择信息。无损解码单元52执行存储在存储缓冲器51中的编码流的解码，并且获取关于要解码的块的预测运动向量选择信息，以及前进到步骤ST175。

在步骤ST175，无损解码单元52从所区分的情况下的候选中判定预测运动向量。无损解码单元52从步骤ST173中判定的情况下的预测运动向量候选中，根据步骤ST174中获取的预测运动向量选择信息来判定预测运动向量。当存在的预测运动向量候选的数目在区分的情况下为一时，无损解码单元52将该候选判定为预测运动向量。例如，在MoD_AD=0、MoD_DB=0、MoD_BC=0和MoD_CA=0的情况m0下，预测运动向量候选是一个运动向量MV_A。所以，运动向量MV_A被判定为预测运动向量。

另外，在所区分的情况下存在多个预测运动向量候选的情况下，无损解码单元52将预测运动向量候选判定为预测运动向量。例如，在MoD_AD=1、MoD_DB=0、MoD_BC=0和MoD_CA=0的情况m8下，预测运动向量候选是两个运动向量MV_A和MV_C。这里，当预测运动向量选择信息指示标记“0”时，将作为第一候选的运动向量MV_A判定为预测运动向量。另外，当预测运动向量选择信息指示标记“1”时，将作为第二候选的运动向量MV_C判定为预测运动向量。

在步骤ST176，无损解码单元52执行运动向量计算处理。无损解码单元52将在步骤ST175判定的预测运动向量和通过执行编码流的无损解码而获得的要编码的块的差分运动向量相加，并且计算要解码的块的运动向量。无损解码单元52将所计算的运动向量输出到运动补偿单元64。

因此，关于本发明的图像解码装置和方法，关于解码的相邻块区分发生等同运动的块的连续性，以及根据区分结果设定预测运动向量候选。另外，从候选中，将由图像编码装置选择的运动向量判定为预测运动向量。所以，关于图像编码装置，即使根据发生等同运动的块的连续性从针对预测运动向量设定的候选中选择了最佳运动向量，并且实现了编码效率和图像质量的提高，也可以由图像解码装置正确地执行编码流的解码。另外，根据相邻块的运动向量的差分来执行分类，因此不需要将关于情况分类的信息包括在编码流中。

<16.预测运动向量标识信息的编码处理>

另外，在根据相邻块的运动向量执行情况分类的情况下，预先针对每个候选计算发生概率，并且可通过根据发生概率执行编码，进一步在第二编码处理单元处减少编码量。图25例示每个预测运动向量候选的发生概率。例如，举例来说，在情况M1下，运动向量MV_A的发生概率是“30%”，而运动向量MV_C的发生概率是“70%”。另外，举例来说，在情况M2下，运动向量MV_A的发生概率是“70%”，而运动向量MV_C的发生概率是“30%”。另外，在情况M3下，运动向量MV_A的发生概率是“35%”，而运动向量MV_B的发生概率是“35%”，而运动向量MV_C的发生概率是“30%”。

在预测运动向量信息的的编码中，当预测运动向量是具有更高发生概率的运动向量时，与具有低发生概率的运动向量的情况相比，第二编码处理单元168缩短比特长度。即，在情况M1的情况下，在预测运动向量是向量MV_C的情况下，与运动向量是MV_A的情况相比，执行编码从而缩短比特长度。另外，在情况M2的情况下，在预测运动向量是向量MV_A的情况下，与运动向量是MV_C的情况相比，执行编码从而缩短比特长度。

因此，预先针对每个预测运动向量候选计算发生概率，并且与用于指示具有低发生概率的运动向量的预测运动向量选择信息相比，用于指示具有高发生概率的运动向量的预测运动向量选择信息减少了所分配的编码量。因此，可提高预测运动向量信息的压缩。

<17.软件处理>

说明书中描述的处理序列可由硬件、软件或两者的组合配置来执行。在执行软件的处理的情况下，其中记录有处理序列的程序安装在内建到专用硬件中的计算机中并且被执行。可替选地，程序可安装在可执行各种处理的通用计算机中。

例如，程序可预先记录在作为记录介质的硬盘或ROM（只读存储器）中。可替选地，程序可暂时或永久地存储（记录）在可移除记录介质上，例如软盘、CD-ROM（紧凑盘只读存储器）、MO（磁光）盘、DVD（数字万用盘）、磁盘和半导体存储器。这样的可移除记录介质可被提供为所谓的套装软件。

注意，除了将程序从上述可移除介质安装到计算机以外，程序也可从下载网站无线地传输到计算机，或者通过诸如LAN（局域网）或/和因特网的网络通过电缆传输到计算机，以及计算机可接收以此方式传输的程序并且可安装在诸如内置硬盘等记录介质上。

不用说，描述程序的步骤包括按照所描述的时间序列顺序执行的处理，并且即使不必以时间序列进行处理，也包括并行地或独自地执行的处理。

<18.应用于电子装置的情况>

另外，以上已将H.264/AVC格式用作编码格式/解码格式，但是本发明也可应用于使用用于执行其它运动预测/补偿处理的编码格式/解码格式的图像编码装置/图像解码装置。

另外，关于MPEG、H.26x等，本发明可应用于在经由诸如卫星广播、有线TV（电视）、因特网、蜂窝电话等网络介质接收通过诸如离散余弦变换的正交变换和运动补偿进行压缩的图像信息（比特流）时使用的、或者在诸如光盘和磁盘、以及闪速存储器上进行处理时使用的图像编码装置和图像解码装置。

上述图像编码装置10和图像解码装置50可应用于任何电子装置。以下描述了示例。

图26例示本发明所应用于的电视设备的示意性配置。电视设备90具有天线901、调谐器902、多路分离器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908和外部接口单元909。另外，电视设备90具有控制单元910、用户接口单元911等。

调谐器902通过从天线901接收到的广播波信号中选择期望的通道来执行解调，并且将所获得的流输出到多路分离器903。

多路分离器903从流中提取要观看的节目的视频和音频的包，并且将所提取的包的数据输出到解码器904。另外，多路分离器903将诸如EPG（电子节目指南）的数据包供应到控制单元910。注意，在已执行了加扰的情况下，由多路分离器等执行去扰。

解码器904执行包的解码处理，并且将经过解码处理而生成的视频信号输出到视频信号处理单元905，并且将音频信号输出到音频信号处理单元907。

视频信号处理单元905根据噪声降低和用户设定，对视频数据执行视频处理。视频信号处理单元905根据基于通过网络供应的应用的处理来生成用于将节目显示在显示单元906上的视频数据和图像数据。另外，视频信号处理单元905生成用于显示菜单屏幕等（例如用于项目的选择）的视频数据，并且将其叠加在节目的视频数据上。视频信号处理单元905根据以此方式生成的视频数据来生成驱动信号，并且驱动显示单元。

显示单元906根据来自视频信号处理单元905的驱动信号来驱动显示装置（例如，液晶显示装置等），从而显示节目的视频。

音频信号处理单元907对音频数据进行诸如噪声降低的预定处理，并且通过执行在处理之后的音频数据的D/A转换处理和放大处理来执行音频输出，并且供应到扬声器908。

外部接口单元909是要连接到外部设备或网络的接口，并且执行例如视频数据或音频数据的数据传输和接收。

用户接口单元911连接到控制单元90。用户接口单元911配置有操作开关或远程控制信号接收器等，并且将根据用户操作的操作信号供应到控制单元910。

使用CPU（中央处理单元）、存储器等来配置控制单元910。存储器存储要由CPU执行的程序、和CPU为执行处理所需要的各种数据、EPG数据、经由网络获得的数据等。以预定的定时，例如在启动电视设备90时由CPU将存储在存储器中的程序读出并且执行。CPU控制每个部分，使得电视设备90通过执行程序，根据用户操作来进行操作。

注意，关于电视设备90，提供了总线912来连接调谐器902、多路分离器903、视频信号处理单元905、语音信号处理单元907、外部接口单元909和控制单元910。

关于如此配置的电视设备，将本申请的图像解码装置（图像解码方法）的功能提供到解码器904。所以，即使提高了编码效率和图像质量，并且通过在广播站侧使用本申请的图像编码装置的功能来执行编码流的生成，也可在电视设备处正确地执行编码流的解码。

图27例示本发明所应用于的蜂窝电话的示意性配置。蜂窝电话92具有通信单元922、音频编解码器923、摄像机单元926、图像处理单元927、复用分离单元928、记录再现单元929、显示单元930和控制单元931。这些通过总线933彼此连接。

另外，天线921连接到通信单元922，并且扬声器924和麦克风925连接到音频编解码器923。另外，操作单元932连接到控制单元931。

蜂窝电话92在诸如音频呼叫模式或数据通信模式的各种模式下执行各种操作，例如音频信号的传输和接收、电子邮件和图像数据的传输和接收、图像拍摄、数据记录等。

在音频呼叫模式下，在麦克风925处生成的音频信号在音频编解码器923处被转换为音频数据和数据压缩，并且供应到通信单元922。通信单元922执行音频数据的解调处理和音频数据的频率转换处理，以生成产生信号。另外，通信单元922将传输信号供应到天线921，从而传输到未示出的基站。另外，通信单元922执行天线921接收到的接收信号的放大、频率转换处理和解调处理，并且将所获得的音频数据供应到音频编解码器923。音频编解码器923执行音频数据的数据解压缩和到模拟音频信号的转换，并且输出到扬声器924。

另外，在数据通信模式下，在执行电子邮件传输的情况下，控制单元931接收通过操作单元932的操作而输入的文本数据，并且将所输入的文本显示到显示单元930。另外，控制单元931根据操作单元932处的用户指令生成电子邮件数据，并且供应到通信单元922。通信单元922执行电子邮件数据的调制处理、频率转换处理等，并且从天线921发送所获得的传输信号。另外，通信单元922执行利用天线921接收到的接收信号的放大、频率转换处理、和解调处理，并且恢复电子邮件数据。将该电子邮件数据供应到显示单元930，以显示电子邮件的内容。

注意，蜂窝电话92可将所接收到的电子邮件数据存储在记录/回放单元929中的存储介质中。存储介质是可读/可写的任意存储介质。例如，存储介质是：半导体存储器，例如RAM或内置闪速存储器；可移除介质，例如硬盘、磁盘、MO盘、光盘、USB存储器、存储卡等。

在数据通信模式下传输图像数据的情况下，将在摄像机单元926处生成的图像数据供应到图像处理单元927。图像处理单元927执行图像数据的编码处理，并且生成编码数据。

多路分离单元928对在图像处理单元927处生成的编码数据和以预定格式从音频编解码923供应的音频数据进行多路复用，并且供应到通信单元922。通信单元922执行多路复用数据的解调处理、频率转换处理等，并且将所获得的传输信号传输到天线921。另外，通信单元922执行天线921接收到的接收信号的放大、频率转换处理、解调处理等，并且恢复多路复用数据。将该多路复用数据供应到多路分离单元928。多路分离单元928执行多路复用数据的分离，并且将音频信号供应到图像处理单元927。图像处理单元927执行编码数据的解码处理，并且生成图像数据。将该图像数据供应到显示单元930，以显示所接收到的图像。音频编解码923将音频数据转换为模拟音频信号，并且供应到扬声器924以输出所接收到的音频。

关于如此配置的蜂窝电话装置，图像处理单元927具有本申请的图像编码装置（图像编码方法）和图像解码装置（图像解码方法）的功能。所以，可在执行图像数据的通信时提高编码效率和图像质量。

图28例示本发明所应用于的记录回放装置的示意性配置。例如，记录/回放装置94将所接收到的广播节目的音频数据和视频数据记录到记录介质，并且以根据用户指令的定时将所记录的数据提供给用户。另外，例如可如此进行布置，使得记录/回放装置94可从其它装置获取音频数据和视频数据，从而记录到记录介质。另外，可如此进行布置，使得记录/回放装置94可通过对记录在记录介质中的音频数据和视频数据进行解码，将音频输出和图像显示输出在监视装置上。

记录/回放装置94具有调谐器941、外部接口单元942、编码器943、HDD（硬盘驱动器）单元944、盘驱动器94、选择器946、解码器947、OSD（屏上显示）单元948、控制单元949和用户接口单元950。

调谐器941从未示出的天线接收到的广播信号中选择期望频道的站。调谐器941将通过对期望频道的接收信号进行解调而获得的编码流输出到选择器946。

外部接口单元942配置有IEEE1394接口、网络接口单元、USB接口、闪速存储器接口等中的至少任一个。外部接口单元942是要连接到外部装置和网络、存储卡等的接口，并且执行要记录的诸如视频数据或音频数据的数据接收。

当从外部接口单元942供应的音频数据未以预定格式进行编码时，编码器943执行编码，并且将编码流输出到选择器946。

将诸如视频或音频的内容数据、各种程序、其它数据等记录在内置硬盘中，并且HDD单元944还在从硬盘进行回放的时候将这些读取出来。

盘驱动器645执行信号到安装的光盘的记录或回放。光盘例如是DVD盘（DVD-视频，DVD-RAM，DVD-R，DVD-RW，DVD+R，DVD+RW等）或蓝光盘等。

在视频和音频的记录的时候，选择器946从调谐器941或编码器943选择任意流，并且供应到HDD单元944和盘驱动器945中的任一个。另外，在视频和音频的回放的时候，选择器946将从HDD单元944或盘驱动器945输出的流供应到解码器947。

解码器947执行流的解码处理。解码器947通过执行解码处理将所生成的视频数据供应到OSD单元948。另外，解码器947通过执行解码处理输出所生成的音频数据。

OSD单元948将视频数据生成到显示菜单屏幕等（例如用于项目的选择），以及将其叠加在从解码器947输出的视频数据上并且输出。

用户接口单元950连接到控制单元949。用户接口单元950配置有操作开关或远程控制信号接收器等，并且将根据用户操作的操作信号供应到控制单元949。

使用CPU或存储器来配置控制单元949。存储器存储由CPU执行的程序和当CPU执行处理时所需的各种数据。以预定的定时，例如在启动记录/回放装置94时读出存储在存储器中的程序，并且由CPU来执行。CPU控制每个部分，使得记录/回放装置94通过执行程序根据用户操作来进行操作。

关于如此配置的记录/回放装置将本申请的图像编码装置（图像编码方法）的功能提供到编码器943，将图像解码装置（图像解码方法）的功能提供到解码器947，因此提高了编码效率和图像质量，由此有效地执行视频的记录和回放。

图29例示本申请所应用于的成像设备的示意性配置。成像设备96对对象进行成像，从而将对象的图像显示在显示单元上，并且将其记录在记录介质中作为图像数据。

成像装置96具有光学块961、成像单元962、摄像机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970。另外，用户接口单元971连接到控制单元970。另外，图像数据处理单元964和外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970等经由总线972进行连接。

光学块961配置有聚焦透镜、光圈机构等。光学块961将对象的光学图像成像在成像单元962的成像表面上。使用CCD或CMOS成像传感器来配置成像单元962，并且通过光电转换来生成对应于光学图像的电子信号，并且供应到摄像机信号处理单元963。

摄像机信号处理单元963对从成像单元962供应的电子信号执行各种摄像机信号处理，例如KNEE校正和伽马校正、颜色校正等。摄像机信号处理单元963将摄像机信号处理之后的图像数据供应到图像数据处理单元964。

图像数据处理单元964执行从摄像机信号处理单元963供应的图像数据的编码处理。图像数据处理单元964通过执行编码处理，将所生成的编码数据供应到外部接口单元966和介质驱动器968。另外，图像数据处理单元964执行从外部接口单元966和介质驱动器968供应的编码数据的解码处理。图像数据处理单元964通过执行解码处理，将所生成的图像数据供应到显示单元965。另外，图像数据处理单元964执行用于将从摄像机信号处理单元963供应的图像数据供应到显示单元963的处理、以及用于将从OSD单元969获取的用于显示的数据叠加到图像数据上并供应到显示单元965的处理。

OSD单元969生成用于显示的数据，例如由符号、文本或形状构成的菜单屏幕或图标，并且输出到图像数据处理单元964。

例如，外部接口单元966配置有USB输入和输出端子，并且在执行图像的打印的情况下，连接到打印机。另外，驱动器根据需要连接到外部接口单元966，并且根据需要安装诸如磁盘、光盘等可移除介质，以及根据需要安装从其读出的计算机程序。另外，外部接口单元969具有网络接口，该网络接口连接到诸如LAN或因特网的预定网络。例如，根据来自用户接口单元971的指令，控制单元970从存储器单元967读出编码数据，从而供应到经由网络从外部接口单元966连接的其它装置。另外，控制单元970通过外部接口单元966获取经由网络从其它装置供应的编码数据和图像数据，从而将其供应到图像数据处理单元964。

例如，关于由介质驱动器968驱动的记录介质，可使用可读和可写的任意可移除介质，例如磁盘、MO盘、光盘和半导体存储器。另外，关于记录介质，可移除介质的种类也是可选的，并且可为带装置、可为盘以及可为存储卡。当然，这可为非接触IC卡等。

另外，例如可进行将介质驱动器968和记录介质相集成的布置，配置有非便携式存储介质，例如内置硬盘驱动器或SSD（固态驱动器）等。

使用CPU、存储器等来配置控制单元970。存储器存储要由CPU执行的程序、以及CPU执行处理所需要的各种数据。由CPU以预定的定时，例如在成像装置96启动时，读出存储在存储器中的程序并且执行。CPU控制每个部分，从而通过执行程序使成像装置96的操作对应于用户操作。

关于如此配置的成像装置，图像数据处理单元964配置有本申请的图像编码装置（图像编码方法）和图像解码装置（图像解码方法）的功能。所以，在将成像图像记录到存储单元967或记录介质时，可实现编码效率和图像质量的提高，并且可有效地执行成像图像的记录/回放。

另外，本发明不应被解释为限于上述实施例。例示性地公开了实施例，并且应清楚地理解，在不偏离本发明的实质的情况下，本领域技术人员可实现实施例的修改和替代。即，应当考虑权利要求来判断本发明的实质。

工业应用

关于本发明中的图像解码装置和图像编码装置及其方法和其程序，在图像的解码中，使用要解码的块和已解码的相邻块的运动向量，针对要解码的块设定预测运动向量候选。另外，从候选中将由预测运动向量选择信息所指示的运动向量选择为预测运动向量，其中，预测运动向量选择信息是通过执行编码流的无损解码而获得的。通过将差分运动向量和编码流相加，来计算要解码的块的运动向量，其中，差分运动向量是通过执行该预测运动向量的无损解码而获得的。另外，关于图像的编码，针对要编码的块设定预测运动向量候选，并且从这些候选中将编码效率最好的运动向量选择为预测运动向量。另外，执行差分运动向量和预测运动向量选择信息的编码，其中，差分运动向量指示预测运动向量与要编码的块的运动向量之间的差分，而预测运动向量选择信息指示已从候选中选择了哪个运动向量。所以，从预测运动向量候选中选择和使用编码效率最好的运动向量，因此使得能够减少运动向量的传输所需要的编码量，由此提高编码效率。另外，连同运动向量的传输所需要的编码量的减少一起，使得能够提高量化数据的比特率，由此实现图像质量的提高。所以，关于MPEG、H.26x等，这适合于在经由诸如卫星广播、有线TV、因特网、蜂窝电话等网络介质传输和接收通过以块为单元进行编码而获得的图像信息（比特流）时、或者在诸如光盘、磁盘和闪速存储器中进行处理时所使用的图像解码装置、图像编码装置等。

附图标记列表

10  图像编码装置

11  A/D转换单元

12，57  屏幕重新排列缓冲器

13，166  相减单元

14  正交变换单元

15  量化单元

16  无损编码单元

17，51  存储缓冲器

18  速率控制单元

21，53  逆量化单元

22，54  逆正交变换单元

23，55，526  相加单元

24，56  去块滤波器

25，61  帧存储器

26，62，65，946  选择器

31，63  帧内预测单元

32  运动预测/补偿单元

33  预测图像/最佳模式选择单元

50  图像解码装置

52  无损解码单元

58  D/A转换单元

64  运动补偿单元

90  电视装置

92  蜂窝电话

94  记录/回放装置

96  成像装置

161，523  运动向量存储单元

162，524  情况分类单元

165，165a，525，525a  运动向量选择单元

167  第一编码处理单元

168  第二编码处理单元

521  第一解码处理单元

522  第二解码处理单元

901，921  天线

902，941  调谐器

903  多路分离器

904，947  解码器

905  视频信号处理单元

906  显示单元

907  音频信号处理单元

908  扬声器

909，942，966  外部I/F

910，931，949，970  控制单元

911，932，971  用户接口单元

912，933，972  总线

922  通信单元

923  音频编解码器

924  扬声器

925  麦克风

926  摄像机单元

927  图像处理单元

928  多路分离单元

929  记录/回放单元

930  显示单元

943  编码器

944  HDD单元

945  盘驱动器

948，969OSD  单元

961  光学块

962  成像单元

963  摄像机信号处理单元

964  图像数据处理单元

965  显示单元

967  存储器单元

968  介质驱动器

权利要求书(按照条约第19条的修改)

1.（修改）一种图像解码装置，包括：

第一解码处理单元，被配置为通过执行编码流的解码获得差分运动向量；

第二解码处理单元，被配置为通过对所述编码流进行解码获得预测运动向量选择信息；

运动向量选择单元，被配置为针对要解码的块设定预测运动向量候选，从预测运动向量候选中选择所述预测运动向量选择信息中指示的运动向量作为预测运动向量，以及在所述要解码的块的大小为大的情况下，与所述块大小为小的情况相比，增加所述预测运动向量候选的数目；以及

相加单元，被配置为通过将所述差分运动向量加上所述预测运动向量来计算所述要解码的块的运动向量。

2.根据权利要求1所述的图像解码装置，其中，所述运动向量选择单元使用已解码的并且与所述要解码的块相邻的相邻块的运动向量来设定所述预测运动向量的候选。

3.根据权利要求2所述的图像解码装置，

其中，所述第二解码处理单元对所述编码流进行解码，并且获得所述要解码的块的大小，

以及其中，所述运动向量选择单元根据所述要解码的块的大小执行情况分类，并且针对每个情况设定所述预测运动向量候选。

4.（删除）

5.根据权利要求2所述的图像解码装置，还包括：

情况分类单元，被配置为根据所述相邻块的运动向量的差分来执行情况分类，

其中，所述运动向量选择单元针对由所述情况分类单元区分的每个情况设定所述预测运动向量候选。

6.根据权利要求5所述的图像解码装置，

其中，所述运动向量选择单元将其中出现差分超过预先设定的阈值的每个运动向量作为所述预测运动向量候选。

7.（修改）一种图像解码方法，包括：

通过对编码流进行解码获得差分运动向量的处理；

通过对所述编码流进行解码获得预测运动向量选择信息的处理；

针对要解码的块设定预测运动向量候选，从预测运动向量候选中选择所述预测运动向量选择信息中指示的运动向量作为预测运动向量，以及在所述要解码的块的大小为大的情况下，与所述块大小为小的情况相比，增加所述预测运动向量候选的数目的处理；以及

通过将所述差分运动向量加上所述预测运动向量来计算所述要解码的块的运动向量的处理。

8.（删除）

9.（修改）一种图像编码装置，包括：

运动向量选择单元，被配置为针对要编码的块设定预测运动向量候选，从所述候选中选择编码效率最好的运动向量作为预测运动向量，以及在所述要解码的块的大小为大的情况下，与所述块大小为小的情况相比，增加所述预测运动向量候选的数目；

第一编码处理单元，被配置为执行差分运动向量的编码，其中，所述差分运动向量指示由所述运动向量选择单元选择的所述预测运动向量与所述要编码的块的运动向量之间的差分；以及

第二编码处理单元，被配置为执行预测运动向量选择信息的编码，其中，所述预测运动向量选择信息指示已从所述预测运动向量候选中选择了哪个运动向量。

10.根据权利要求9所述的图像编码装置，其中，所述运动向量选择单元使用已解码的并且与所述要解码的块相邻的相邻块的运动向量来设定所述预测运动向量候选。

11.根据权利要求10所述的图像编码装置，

其中，所述运动向量选择单元根据所述要解码的块的大小执行情况分类，并且针对每个情况设定所述预测运动向量候选。

12.（删除）

13.（修改）根据权利要求11所述的图像编码装置，其中，所述运动向量选择单元选择性地使用所述相邻块的多个运动向量作为所述预测运动向量候选，以及在用作候选的运动向量的选择中，所述相邻块中彼此分开的块的运动向量被选择。

14.根据权利要求10所述的图像编码装置，还包括：

情况分类单元，被配置为根据相邻块的所述运动向量的差分来执行情况分类，

其中，所述运动向量选择单元针对由所述情况分类单元区分的每个情况设定所述预测运动向量候选。

15.根据权利要求14所述的图像编码装置，其中，所述运动向量选择单元将其中出现差分超过预先设定的阈值的每个运动向量作为所述预测运动向量候选。

16.根据权利要求9所述的图像编码装置，其中，在所述预测运动向量候选的数目为多个的情况下，所述第二编码处理单元执行所述预测运动向量选择信息的编码，其中，所述预测运动向量选择信息指示已从所述候选中选择了哪个运动向量。

17.根据权利要求9所述的图像编码装置，

其中，针对每个预测运动向量候选，预先计算发生概率；

以及其中，与用于指示发生概率较低的运动向量的预测运动向量选择信息相比，所述第二编码处理单元减少要分配给用于指示发生概率较高的运动向量的预测运动向量选择信息的编码量。

18.（修改）一种图像编码方法，包括：

针对要编码的块设定预测运动向量候选，从所述候选中选择编码效率最好的运动向量作为预测运动向量，以及在所述要解码的块的大小为大的情况下，与所述块大小为小的情况相比，增加所述预测运动向量候选的数目的处理；

执行差分运动向量的编码的处理，其中，所述差分运动向量指示所选择的预测运动向量与所述要编码的块的运动向量之间的差分；以及

执行所述预测运动向量选择信息的编码的处理，其中，所述预测运动向量选择信息指示已从所述预测运动向量候选中选择了哪个运动向量。

19.（删除）

Claims (19)

1.一种图像解码装置，包括：

第一解码处理单元，被配置为通过执行编码流的解码获得差分运动向量；

第二解码处理单元，被配置为通过对所述编码流进行解码获得预测运动向量选择信息；

运动向量选择单元，被配置为针对要解码的块设定预测运动向量候选，以及从预测运动向量候选中选择所述预测运动向量选择信息中指示的运动向量作为预测运动向量；以及

相加单元，被配置为通过将所述差分运动向量加上所述预测运动向量来计算所述要解码的块的运动向量。

2.根据权利要求1所述的图像解码装置，其中，所述运动向量选择单元使用已解码的并且与所述要解码的块相邻的相邻块的运动向量来设定所述预测运动向量候选。

3.根据权利要求2所述的图像解码装置，

其中，所述第二解码处理单元对所述编码流进行解码，并且获得所述要解码的块的大小，

以及其中，所述运动向量选择单元根据所述要解码的块的大小执行情况分类，并且针对每个情况设定所述预测运动向量候选。

4.根据权利要求3所述的图像解码装置，

其中，在所述要解码的块的大小较大的情况下，与所述块大小较小的情况相比，所述运动向量选择单元增加所述预测运动向量候选的数目。

5.根据权利要求2所述的图像解码装置，还包括：

情况分类单元，被配置为根据所述相邻块的运动向量的差分来执行情况分类，

其中，所述运动向量选择单元针对由所述情况分类单元区分的每个情况设定所述预测运动向量候选。

6.根据权利要求5所述的图像解码装置，

其中，所述运动向量选择单元将其中出现差分超过预先设定的阈值的每个运动向量作为所述预测运动向量候选。

7.一种图像解码方法，包括：

通过对编码流进行解码获得差分运动向量的处理；

通过对所述编码流进行解码获得预测运动向量选择信息的处理；

针对要解码的块设定预测运动向量候选，以及从预测运动向量候选中选择所述预测运动向量选择信息中指示的运动向量作为预测运动向量的处理；以及

通过将所述差分运动向量加上所述预测运动向量来计算所述要解码的块的运动向量的处理。

8.一种使计算机执行图像解码的程序，所述程序使所述计算机执行：

通过对编码流进行解码获得差分运动向量的过程；

通过对所述编码流进行解码获得预测运动向量选择信息的过程；

针对要解码的块设定预测运动向量候选，以及从预测运动向量候选中选择所述预测运动向量选择信息中指示的运动向量作为预测运动向量的过程；以及

通过将所述差分运动向量加上所述预测运动向量来计算所述要解码的块的运动向量的过程。

9.一种图像编码装置，包括：

运动向量选择单元，被配置为针对要编码的块设定预测运动向量候选，以及从所述候选中选择编码效率最好的运动向量作为预测运动向量；

第一编码处理单元，被配置为执行差分运动向量的编码，其中，所述差分运动向量指示由所述运动向量选择单元选择的所述预测运动向量与所述要编码的块的运动向量之间的差分；以及

第二编码处理单元，被配置为执行预测运动向量选择信息的编码，其中，所述预测运动向量选择信息指示已从所述预测运动向量候选中选择了哪个运动向量。

10.根据权利要求9所述的图像编码装置，其中，所述运动向量选择单元使用已解码的并且与所述要解码的块相邻的相邻块的运动向量来设定所述预测运动向量候选。

11.根据权利要求10所述的图像编码装置，

其中，所述运动向量选择单元根据所述要解码的块的大小执行情况分类，并且针对每个情况设定所述预测运动向量候选。

12.根据权利要求11所述的图像编码装置，

其中，在所述要解码的块的大小较大的情况下，与所述块大小较小的情况相比，所述运动向量选择单元增加所述预测运动向量候选的数目。

13.根据权利要求12所述的图像编码装置，其中，所述运动向量选择单元选择性地使用所述相邻块的多个运动向量作为所述预测运动向量候选，以及在用作候选的运动向量的选择中，所述相邻块中彼此分开的块的运动向量被选择。

14.根据权利要求10所述的图像编码装置，还包括：

情况分类单元，被配置为根据相邻块的所述运动向量的差分来执行情况分类，

其中，所述运动向量选择单元针对由所述情况分类单元区分的每个情况设定所述预测运动向量候选。

15.根据权利要求14所述的图像编码装置，其中，所述运动向量选择单元将其中出现差分超过预先设定的阈值的每个运动向量作为所述预测运动向量候选。

16.根据权利要求9所述的图像编码装置，其中，在所述预测运动向量候选的数目为多个的情况下，所述第二编码处理单元执行所述预测运动向量选择信息的编码，其中，所述预测运动向量选择信息指示已从所述候选中选择了哪个运动向量。

17.根据权利要求9所述的图像编码装置，

其中，针对每个预测运动向量候选，预先计算发生概率；

以及其中，与用于指示发生概率较低的运动向量的预测运动向量选择信息相比，所述第二编码处理单元减少要分配给用于指示发生概率较高的运动向量的预测运动向量选择信息的编码量。

18.一种图像编码方法，包括：

针对要编码的块设定预测运动向量候选，以及从所述候选中选择编码效率最好的运动向量作为预测运动向量的处理；

执行差分运动向量的编码的处理，其中，所述差分运动向量指示所选择的预测运动向量与所述要编码的块的运动向量之间的差分；以及

执行所述预测运动向量选择信息的编码的处理，其中，所述预测运动向量选择信息指示已从所述预测运动向量候选中选择了哪个运动向量。

19.一种使计算机执行图像编码的程序，所述程序使所述计算机执行：

针对要编码的块设定预测运动向量候选，以及从所述候选中选择编码效率最好的运动向量作为预测运动向量的过程；

执行差分运动向量的编码的过程，其中，所述差分运动向量指示所选择的预测运动向量与所述要编码的块的运动向量之间的差分；以及

执行所述预测运动向量选择信息的编码的过程，其中，所述预测运动向量选择信息指示已从所述预测运动向量候选中选择了哪个运动向量。

Images