CN102948150A - 图像解码装置、图像编码装置、及其方法和程序 - Google Patents

Abstract

本发明使得图像解码和图像编码被有效地执行。多个可变长度解码单元（521）根据相互不同的层对编码流执行可变长度解码，该可变长度解码对应于可变长度编码。选择单元（522）基于层次结构信息选择可变长度解码单元的与要被解码的块的层相对应的输出，该层次结构信息包括在流中并且表示要被解码的块的层。预测运动矢量设置单元（523）将较高层上的块的运动矢量设置为预测运动矢量，该较高层上的块包括要被解码的块和比要被解码的块的块尺寸更大的块尺寸。加法单元（525）将设置的预测运动矢量加到从所选可变长度解码单元输出的差异运动矢量，由此计算和输出要被解码的块的运动矢量。

Description

图像解码装置、图像编码装置、及其方法和程序

技术领域

本发明涉及图像解码装置、图像编码装置、图像解码方法、图像编码方法及程序。更具体地，提供了能够有效地对图像进行解码和编码的图像解码装置、图像编码装置、图像解码方法、图像编码方法以及程序。

背景技术

近来，依照例如MPEG等方案的装置已经广泛用于通过广播电台等分发数据以及在家里接收数据。在这样的方案中，将图像信息进行数字式处理，然后利用图像信息所特有的冗余，通过正交变换例如离散余弦变换和运动补偿对图像信息进行压缩，以有效地传输和存储信息。

特别地，MPEG 2（ISO/IEC 13818-2）被定义为通用图像编码方案。MPEG 2为采用隔行扫描图像和逐行扫描图像以及标准分辨率图像和高清晰度图像两者的标准。目前，MPEG 2广泛用于针对专业人员和消费者的广泛应用。使用MPEG 2压缩方案，例如，对具有720×480像素的标准分辨率的隔行扫描图像分配4Mbps至8Mbps的比特数（比特率）可以实现高的压缩率和高的图像质量。此外，例如，对具有1920×1088像素的高清晰度的隔行扫描图像分配18Mbps至22Mbps的比特数可以实现高的压缩率和高的图像质量。

MPEG 2主要用于对适于广播的高质量图像进行编码，但是不接受比MPEG 1的比特数（比特率）更低的比特数（比特率）或即具有更高压缩率的编码方案。由于移动终端的普及，已经料到对上述编码方案的需求在未来会增加。响应于这些需求，已经对MPEG 4编码方案进行了标准化。方案的规范在1998年12月已经被批准为国际标准ISO/IEC 14496-2。

此外，尽管与编码方案例如MPEG 2和MPEG 4的计算相比需要更多的针对编码和解码的计算，但是，最近实现了更高的编码效率。例如，已经实施了标准化，并且标准化已经成为称作H.264和MPEG-4第10部分（先进的视频编码，在下文中称为H.264/AVC）的国际标准。标准化基于H.26L并且还合并不被H.26L支持的功能以实现更高效率的编码。

此外，例如，在专利文献1中公开了一种使用H.264/AVC的更有效的图像数据编码。

引用文献列表

专利文献

专利文献1：日本专利申请早期公开第2008-4984号

发明内容

本发明要解决的问题

顺便说一下，尽管过去的方法试图实现高效率的编码，但是期望提高编码的效率以使效率能够更高。

鉴于上述情况，本发明的一个目的是提供一种能够有效地对图像进行解码和编码的图像解码装置、图像编码装置、图像解码方法、图像编码方法及程序。

问题的解决方案

本发明的第一方面是一种图像解码装置，包括：可变长度解码单元，用于对编码流进行解码以输出差异运动矢量；预测运动矢量设置单元，用于将较高层上的块的运动矢量设置为要被解码的块的预测运动矢量，在较高层处的块包括要被解码的块并且具有比要被解码的块的块尺寸更大的块尺寸；以及加法单元，用于将差异运动矢量加到预测运动矢量以计算要被解码的块的运动矢量。

根据本发明，多个可变长度解码单元根据每个不同的层对编码流执行可变长度解码。可变长度解码对应于可变长度编码。基于包括在流中的并且表示包括要被解码的块的层的层次结构信息，选择来自可变长度解码单元的与包括要被解码的块的层相对应的输出。较高层上的块的运动矢量被设置为预测运动矢量。较高层上的块包括要被解码的块，并且具有比要被解码的块的块尺寸更大的块尺寸。将所设置的预测运动矢量加到从可变长度解码单元输出的所选差异运动矢量，以计算要被解码的块的运动矢量。

本发明的第二方面是图像解码方法，包括：可变长度解码步骤，用于对编码流进行解码以输出差异运动矢量；预测运动矢量设置步骤，用于将较高层上的块的运动矢量设置为要被解码的块的预测运动矢量，在较高层处的块包括要被解码的块并且具有比要被解码的块的块尺寸更大的块尺寸；以及加法步骤，用于将差异运动矢量加到预测运动矢量以计算要被解码的块的运动矢量。

本发明的第三方面是一种程序，该程序用于使计算机执行图像编码以及使计算机执行以下过程：可变长度解码过程，用于对编码流进行解码以输出差异运动矢量；预测运动矢量设置过程，用于将较高层上的块的运动矢量设置为要被解码的块的预测运动矢量，在较高层处的块包括要被解码的块并且具有比要被解码的块的块尺寸更大的块尺寸；以及加法过程，用于将差异运动矢量加到预测运动矢量以计算要被解码的块的运动矢量。

本发明的第四方面是图像编码装置，包括：预测运动矢量设置单元，用于将在较高层上的块处检测的运动矢量设置为要被编码的块的预测运动矢量，在较高层处的块包括要被编码的块并且具有比要被编码的块的块尺寸更大的块尺寸；差异计算单元，用于计算要被编码的块的运动矢量与所设置的预测运动矢量之间的差异；以及可变长度编码单元，用于执行对差异运动矢量的可变长度编码。

根据本发明，在较高层上的块处检测的运动矢量被设置为要被编码的块的预测运动矢量。在较高层上的块包括要被编码的块并且具有比要被编码的块的块尺寸更大的块尺寸。此外，生成差异运动矢量。差异运动矢量表示要被编码的块的运动矢量与所设置的预测运动矢量之间的差异。差异运动矢量在用于执行可变长度编码的多个可变长度编码单元中被编码，该可变长度编码已经被优化以在每个不同的层产生最高效率的编码。然后，来自可变长度编码单元的与包括要被编码的块的层相对应的输出被选择并且被包括在编码流中。层次结构信息在每个具有最高层的块尺寸的宏块处生成，并且被包括在编码流中。层次结构信息表示包括要被编码的块的层，该要被编码的块包括在宏块中。此外，编码的相邻宏块的运动矢量被设置为预测运动矢量的候选。候选中的产生最高效率的编码的运动矢量被设置为最高层的预测运动矢量。

本发明的第五方面是一种图像编码方法，包括：预测运动矢量设置步骤，用于将在较高层上的块处检测的运动矢量设置为要被编码的块的预测运动矢量，在较高层处的块包括要被编码的块并且具有比要被编码的块的块尺寸更大的块尺寸；差异计算步骤，用于计算要被编码的块的运动矢量与所设置的预测运动矢量之间的差异；以及可变长度编码步骤，用于对差异运动矢量进行编码。

本发明的第六方面是一种程序，该程序用于使计算机执行图像编码以及用于使计算机执行以下过程：预测运动矢量设置过程，用于将在较高层上的块处检测的运动矢量设置为要被编码的块的预测运动矢量，在较高层处的块包括要被编码的块并且具有比要被编码的块的块尺寸更大的块尺寸；差异计算过程，用于计算要被编码的块的运动矢量与所设置的预测运动矢量之间的差异；以及可变长度编码过程，用于对差异运动矢量进行编码。

本发明的第七方面是一种图像编码装置，包括：多分辨率分析/重构单元，用于对要被编码的块的图像执行多分辨率分析和重构该图像；多分辨率分析单元，用于对用于计算运动矢量的参考图像执行多分辨率分析；存储器，用于存储来自对参考图像的多分辨率分析的结果；多分辨率重构单元，用于使用存储在存储器中的来自多分辨率分析的结果来重构图像；运动预测单元，用于使用要被编码的低分辨率图像和低分辨率参考图像来粗略地检测运动矢量，以及用于使用要被编码的高分辨率图像和高分辨率选择性参考图像来精确地检测运动矢量，要被编码的低分辨率图像在多分辨率分析/重构单元中生成，低分辨率参考图像在多分辨率重构单元中生成，要被编码的高分辨率图像在多分辨率分析/重构单元中生成，高分辨率选择性参考图像在基于粗略地检测的运动矢量设置的所选区域中，高分辨率选择性参考图像在多分辨率重构单元中生成。

根据本发明，对要被编码的块的图像执行多分辨率分析并且重构该图像。还对用于计算运动矢量的参考图像执行多分辨率分析。来自对参考图像的多分辨率分析的结果按照分辨率从最低到最高的顺序存储在第一存储器中。超出第一存储器的存储器容量的多分辨率分析结果存储在第二存储器中。使用存储在第一存储器中的多分辨率分析结果来重构图像。至于运动矢量的检测，使用要被编码的低分辨率图像和低分辨率参考图像来粗略地检测运动矢量。通过对包括要被编码的块的图像的多分辨率分析和图像的重构生成要被编码的低分辨率图像。使用存储在第一存储器中的多分辨率分析结果重构低分辨率参考图像。此外，使用要被编码的高分辨率图像和基于粗略地检测的运动矢量设置的所选区域中的高分辨率选择性参考图像来精确地检测运动矢量。当重构图像所需的多分辨率分析结果没有存储在第一存储器中时，从第二存储器中读取所需的多分辨率分析结果以生成高分辨率选择性参考图像。

本发明的第八方面是一种图像编码方法，包括：多分辨率分析/重构步骤，用于对要被编码的块的图像执行多分辨率分析和重构；多分辨率分析步骤，用于对用于计算运动矢量的参考图像执行多分辨率分析；存储步骤，用于将来自多分辨率分析的结果存储在存储器中；多分辨率重构步骤，用于使用存储在存储器中的来自多分辨率分析的结果来重构图像；以及运动预测步骤，用于使用要被编码的低分辨率图像和低分辨率参考图像来粗略地检测运动矢量，以及用于使用要被编码的高分辨率图像和高分辨率选择性参考图像来精确地检测运动矢量，要被编码的低分辨率图像在多分辨率分析/重构单元中生成，低分辨率参考图像在多分辨率重构单元中生成，要被编码的高分辨率图像在多分辨率分析/重构单元中生成，高分辨率选择性参考图像在基于粗略地检测的运动矢量设置的所选区域中并且在多分辨率重构单元中生成。

本发明的第九方面是一种程序，该程序用于使计算机执行图像编码以及用于使计算机执行以下过程：多分辨率分析/重构过程，用于对要被编码的块的图像执行多分辨率分析和重构；多分辨率分析过程，用于对用于计算运动矢量的参考图像执行多分辨率分析；存储过程，用于将来自多分辨率分析的结果存储在存储器中；多分辨率重构过程，用于使用存储在存储器中的来自多分辨率分析的结果来重构图像；运动预测过程，用于使用要被编码的低分辨率图像和低分辨率参考图像来粗略地检测运动矢量，以及用于使用要被编码的高分辨率图像和高分辨率选择性参考图像来精确地检测运动矢量，要被编码的低分辨率图像在多分辨率分析/重构单元中生成，低分辨率参考图像在多分辨率重构单元中生成，要被编码的高分辨率图像在多分辨率分析/重构单元中生成，高分辨率选择性参考图像在基于粗略地检测的运动矢量设置的所选区域中并且在多分辨率重构单元中生成。

注意，例如，根据本发明的程序可以通过存储介质来提供，并且该存储介质向能够执行各种程序代码的通用计算机系统提供计算机可读格式的程序。存储介质包括光盘、磁盘、或半导体存储器。通信介质包括网络。提供这样的计算机可读格式的程序可以在计算机系统上实现根据该程序的处理。

发明效果

根据本发明，对编码流进行解码生成差异运动矢量。此外，将较高层上的块的运动矢量设置为预测运动矢量。较高层上的块包括要被解码的块并且具有比要被解码的块的块尺寸更大的块尺寸。将生成的差异运动矢量加到所设置的预测运动矢量以计算要被解码的块的运动矢量。此外，将在较高层上的块处检测的运动矢量设置为要被编码的块的预测运动矢量。较高层上的块包括要被编码的块并且具有比要被编码的块的块尺寸更大的块尺寸。对表示要被编码的块的运动矢量与所设置的预测运动矢量之间的差异的差异运动矢量进行可变长度编码。以这种方式，使用较高层上的运动矢量作为预测运动矢量的预测精确度的提高可有效地对图像进行编码和解码。

此外，对要被编码的块的图像执行多分辨率分析并且重构该图像。还对参考图像执行多分辨率分析。将来自对参考图像的多分辨率分析的结果存储在存储器中。使用存储在存储器中的多分辨率分析结果来重构图像。在对运动矢量的检测中，使用要被编码的低分辨率图像和低分辨率参考图像来粗略地检测运动矢量。通过对包括要被编码的块的图像的多分辨率分析和图像的重构生成要被编码的低分辨率图像。使用存储在存储器中的多分辨率分析结果重构低分辨率参考图像。此外，使用要被编码的高分辨率图像和在基于粗略地检测的运动矢量设置的所选区域中的高分辨率选择性参考图像来精确地检测运动矢量。以这种方式，使用低分辨率图像来粗略地检测运动矢量，然后使用要被编码的高分辨率图像和在通过粗略检测结果设置的所选区域中的高分辨率选择性参考图像来精确地检测运动矢量。因此，从存储器读取用于检测运动矢量的数据量可以很小，并且可以有效地检测运动矢量。这可以有效地对图像进行编码。

附图说明

图1是用于描述用于设置预测矢量的传统方法的视图。

图2是用于示出图像编码装置的结构的视图。

图3是用于示出与无损编码单元中的运动矢量有关的结构的视图。

图4是用于示出差异运动矢量的长度与概率密度之间的示例性关系的视图。

图5是用于示出用于图像编码处理的预测块尺寸的视图。

图6是用于示出图像编码处理的操作的流程图。

图7是用于示出预测处理的流程图。

图8是用于示出帧内预测处理的流程图。

图9是用于示出帧间预测处理的流程图。

图10是用于示出与无损编码单元中的运动矢量有关的编码处理的流程图。

图11是用于示出当执行与运动矢量有关的编码处理时的示例性操作的视图。

图12是用于描述层次结构信息的视图。

图13是用于示出图像解码装置的结构的视图。

图14是用于示出与无损解码单元中的运动矢量有关的结构的视图。

图15是用于示出图像解码处理的操作的流程图。

图16是用于示出与无损解码单元中的运动矢量有关的解码处理的流程图。

图17是用于示出预测处理的流程图。

图18是用于示出图像编码装置的另一结构的视图。

图19是用于说明一维子带分解的视图。

图20是用于示出当执行二维分解时来自子带分解的示例性结果的视图。

图21是用于示出用于检测运动矢量的操作的流程图。

图22是用于示出电视装置的示意性结构的示例性视图。

图23是用于示出移动电话的示意性结构的示例性视图。

图24是用于示出记录和重放装置的示意性结构的示例性视图。

图25是用于示出成像装置的示意性结构的示例性视图。

具体实施方式

下面将描述本发明的实施方式。注意，将按下列顺序提供描述。

1.图像编码装置的结构

2.无损编码单元的结构

3.图像编码装置的操作

4.图像解码装置的结构

5.无损解码单元的结构

6.图像解码装置的操作

7.图像编码装置的另一结构

8.用于检测运动矢量的操作

9.使用软件的处理

10.用于电子设备的应用

<1.图像编码装置的结构>

在对图像数据的编码期间，为了减少比特数，获取要被编码的块的运动矢量与预测运动矢量之间的差异，并且对差异运动矢量进行编码以及将差异运动矢量包括在流中。在这种情况下，如果如H.264/AVC方案中那样将相邻的块的中值（中值）用作预测运动矢量，那么中值并不总是最优预测运动矢量。

图1是用于描述用于设置预测矢量的传统方法的视图。例如，如图1（A）所示，当预测块尺寸（运动补偿块尺寸）很小时，相邻的块的运动矢量MV_A、MV_B、MV_C为与要被编码的块相邻的区域的运动矢量。因此，预测精确度高。换言之，中值MV_md与要被编码的块的运动矢量MVob之间的差异很小。然而，如图1（B）所示，当预测块尺寸很大时，相邻的块包括远离要被编码的块的区域。因此，中值MV_md与要被编码的块的运动矢量MVob之间的差异可能很大。这与预测块的尺寸很小的情况下的预测精度相比很可能降低预测精度。

因为较低层上的块包括在较高层上的块中，所以在包括在较高层上的块中的小尺寸块（较低层上的块）处检测的运动矢量经常与在大尺寸块（较高层上的块）处检测的运动矢量相似。

鉴于上述情况，根据本发明的图像编码装置使用在较高层上的块处检测的运动矢量作为预测运动矢量，使得可以提高预测精度并且可以有效地对图像进行编码。较高层上的块包括要被编码的块并且块尺寸比要被编码的块的块尺寸更大。

图2是用于示出图像编码装置的结构的视图。图像编码装置10包括模拟/数字转换单元（A/D转换单元）11、画面排序缓冲器12、减法单元13、正交变换单元14、量化单元15、无损编码单元16、存储缓冲器17以及速率控制单元18。图像编码装置10还包括逆量化单元21、逆正交变换单元22、加法单元23、去块效应滤波器24、帧存储器27、帧内预测单元31、运动预测/补偿单元32以及预测图像/最优模式选择单元33。

A/D转换单元11将模拟图像信号转换成数字图像数据并且将该数据输出至画面排序缓冲器12。

画面排序缓冲器12对从A/D转换单元11输出的图像数据的帧进行排序。画面排序缓冲器12根据用于编码处理的画面组（GOP）结构来对帧进行排序，以将排序后的图像数据输出至减法单元13、帧内预测单元31和运动预测/补偿单元32。

减法单元13被提供以从画面排序缓冲器12输出的图像数据以及在下面描述的预测图像/最优模式选择单元33中选择的预测图像数据。减法单元13计算预测误差数据并且将该数据输出至正交变换单元14。预测误差数据为从画面排序缓冲器12输出的图像数据与从预测图像/最优模式选择单元33提供的预测图像数据之间的差异。

正交变换单元14使用离散余弦变换（DCT）或Karhunen-Loeve变换对从减法单元13输出的预测误差数据执行正交变换。正交变换单元14将从正交变换处理获得的转换系数数据输出至量化单元15。

量化单元15被提供以从正交变换单元14输出的转换系数数据和来自下面描述的速率控制单元18的速率控制信号。量化单元15对转换系数数据进行量化并且将量化后的数据输出至无损编码单元16和逆量化单元21。量化单元15还基于来自速率控制单元18的速率控制信号切换量化参数（量化尺度）以改变量化数据的比特率。

无损编码单元16被提供以从量化单元15输出的量化数据以及来自下面描述的帧内预测单元31、运动预测/补偿单元32和预测图像/最优模式选择单元33的预测模式信息。注意，根据帧内预测或帧间预测，预测模式信息包括例如表示预测块尺寸的宏块类型、预测模式、以及参考图片信息。无损编码单元16利用可变长度编码、算术编码等对量化数据进行编码，以生成编码流并且将该流输出至存储缓冲器17。无损编码单元16还对预测模式信息进行无损编码，以将该信息加到例如编码流中的头信息。无损编码单元16还将在包括预测块的下一个较高层上的块处检测的运动矢量设置为作为要被编码的图像的块的最优模式下的预测块的预测运动矢量。无损编码单元16对表示要被编码的块的运动矢量与预测运动矢量之间的差异的差异运动矢量进行无损编码，以将差异运动矢量加到编码流。无损编码单元16还根据下面描述的成本函数值的计算对每个预测块处的预测运动矢量进行设置，以对表示与预测块的运动矢量的差异的差异运动矢量进行无损编码，使得可以计算包括差异运动矢量的编码数据的所生成的比特数。

存储缓冲器17存储来自无损编码单元16的编码流。存储缓冲器17还以根据传输信道的传输速率输出所存储的编码流。

速率控制单元18对存储缓冲器17的空间量进行监视，以根据空间量生成速率控制信号并且将该信号输出至量化单元15。例如，速率控制单元18从存储缓冲器17获取表示空间量的信息。当空间量变小时，速率控制单元18使用速率控制信号降低量化数据的比特率。另一方面，当存储缓冲器17中的空间量足够大时，速率控制单元18使用速率控制信号增加量化数据的比特率。

逆量化单元21对从量化单元15提供的量化数据执行逆量化处理。逆量化单元21将从逆量化处理获得的转换系数数据输出至逆正交变换单元22。

逆正交变换单元22将从对由逆量化单元21提供的转换系数数据进行逆正交变换处理所获得的数据输出至加法单元23。

加法单元23通过将从逆正交变换单元22提供的数据加到从预测图像/最优模式选择单元33提供的预测图像数据来生成参考图像数据，以将该参考图像数据输出至去块效应滤波器24和帧内预测单元31。

去块效应滤波器24执行用于减小在图像编码时产生的块失真的滤波处理。去块效应滤波器24执行用于从由加法单元23提供的参考图像数据消除块失真的滤波处理，以将滤波后的参考图像数据输出至帧存储器27。

帧存储器27保存从去块效应滤波器24提供的滤波后的参考图像数据。

帧内预测单元31利用从画面排序缓冲器12输出的要被编码的图像的图像数据和从加法单元23提供的参考图像数据来对每个候选帧内预测模式进行帧内预测处理。帧内预测单元31还计算每个帧内预测模式的成本函数值，以选择具有最小计算成本函数值的帧内预测模式或即产生最高效率编码的帧内预测模式作为最优帧内预测模式。帧内预测单元31将以最优帧内预测模式生成的预测图像数据、关于最优帧内预测模式的预测模式信息和最优帧内预测模式下的成本函数值输出至预测图像/最优模式选择单元33。帧内预测单元31还在每个帧内预测模式的帧内预测处理期间将关于帧内预测模式的预测模式信息输出至无损编码单元16，以获得用于如下面描述地计算成本函数值的所生成的比特数。

运动预测/补偿单元32利用与宏块相对应的每个预测块尺寸（运动补偿块尺寸）来进行运动预测和补偿处理。利用从帧存储器27读取的滤波后的参考图像数据，运动预测/补偿单元32对从画面排序缓冲器12读取的、具有每个预测块尺寸的每个图像的运动矢量进行检测。运动预测/补偿单元32还基于检测的运动矢量对参考图像进行运动补偿以生成预测图像。

运动预测/补偿单元32还计算每个候选预测运动矢量的成本函数值并且将该值通知给无损编码单元16。运动预测/补偿单元32基于计算出的每个预测块尺寸的成本函数值来选择具有最小的成本函数值的预测块尺寸或即产生最高效率的编码的预测块尺寸，作为最优帧间预测模式。运动预测/补偿单元32将以最优帧间预测模式生成的预测图像数据、关于最优帧间预测模式的预测模式信息和最优帧间预测模式下的成本函数值输出至预测图像/最优模式选择单元33。运动预测/补偿单元32还在每个预测块尺寸的帧间预测处理期间将关于帧间预测模式的预测模式信息输出至无损编码单元16，以获得用于成本函数值的计算的所生成的比特数。注意，运动预测/补偿单元32也预测跳过的宏块或直接模式作为帧间预测模式。

预测图像/最优模式选择单元33通过宏块对从帧内预测单元31提供的成本函数值与从运动预测/补偿单元32提供的成本函数值进行比较，以选择较小的成本函数值作为产生最高效率的编码的最优模式。预测图像/最优模式选择单元33还将以最优模式生成的预测图像数据输出至减法单元13和加法单元23。预测图像/最优模式选择单元33还将关于最优模式的预测模式信息输出至无损编码单元16。注意，预测图像/最优模式选择单元33通过切片进行帧内预测或帧间预测。

<2.无损编码单元的结构>

图3示出了与无损编码单元中的运动矢量有关的结构。无损编码单元16包括预测运动矢量设置单元161、差异计算单元163、可变长度编码单元164-1至164-n和选择单元165。预测运动矢量设置单元161包括运动矢量存储单元161a和运动矢量选择单元161b。

在具有最大预测块尺寸的最高层上，当预测块具有最大尺寸时，运动矢量存储单元161a存储与要被编码的块（宏块）相邻的编码块的运动矢量，作为最高层上的预测运动矢量的候选。注意，运动矢量存储单元161a也可以存储参考图片中的与要被编码的块相同的块的运动矢量，以接受直接模式。运动矢量存储单元161a还存储从运动预测/补偿单元32提供的每层上的块的运动矢量。

运动矢量选择单元161b基于从预测图像/最优模式选择单元33提供的关于最优模式的预测模式信息来确定哪个层具有为要被编码的块的最优模式下的预测块。当要被编码的块在最高层上时，运动矢量选择单元161b基于从运动预测/补偿单元32提供的成本函数值从预测运动矢量的候选中设置产生最有效率的编码的预测运动矢量。另一方面，当要被编码的块不在最高层上时，运动矢量选择单元161b将在比所确定的层大一个尺寸的层上的块处检测的运动矢量设置为预测运动矢量。该块也包括要被编码的块。

差异计算单元163计算要被编码的块的运动矢量与由预测运动矢量设置单元161设置的预测运动矢量之间的差异运动矢量。

可变长度编码单元164-1至164-n对由差异计算单元163计算的差异运动矢量执行可变长度编码。可变长度编码单元164-1至164-n对每个不同的层上的差异运动矢量执行被最优化以产生最有效率的编码的可变长度编码。

在这种情况下，如以上参照图1所述，认为：与块尺寸很大时相比，当块尺寸很小时，运动矢量的变化很小。因此，至于差异运动矢量，小的块尺寸比大的块尺寸具有更高的生成短的差异运动矢量的概率。换言之，例如，图4中示出了差异运动矢量的长度与概率密度之间的关系。

因此，因为短的差异运动矢量具有高的生成概率，所以与较高层上的块尺寸处的可变长度编码相比，当差异运动矢量的长度很短时，可变长度编码单元164-1至164-n分配较少的比特数。例如，可变长度编码单元164-1使用已被最优化以对最高层产生最有效率的编码的VLC表（例如，已被最优化以对图4中的凹状线示出的特性产生最有效率的编码的VLC表）来进行可变长度编码。另外，可变长度编码单元164-n使用已被最优化以对最低层产生最有效率的编码的VLC表（例如，已被最优化以对图4中所示的实线示出的特性产生最有效率的编码的VLC表）来进行可变长度编码。如上所述，根据层进行可变长度编码提高了编码的效率。

选择单元165从可变长度编码单元164-1至164-n提供的编码数据中选择与最优模式下的预测块尺寸相对应的编码数据，以将编码数据加到编码流的头信息。

层次结构信息生成单元166基于从预测图像/最优模式选择单元33提供的最优模式下的预测块尺寸，在每个具有最高层的块尺寸的宏块处生成表示包括在宏块中的要被编码的块的层的层次结构信息。层次结构信息生成单元166将所生成的层次结构信息加到编码流中的头信息。

此外，尽管附图中未示出，但是无损编码单元16将预测运动矢量信息加到编码流的头信息，使得可以在图像解码装置中生成预测运动矢量。预测运动矢量信息表示哪个候选已被选择为最高层上的预测运动矢量。注意，至于最高层，取代预测运动矢量信息和差异运动矢量的编码数据，最高层上的块的运动矢量可以被编码并且被添加至编码流。

<3.图像编码装置的操作>

接下来，将描述图像编码处理的操作。图5示出了用于图像编码处理的预测块尺寸。在H.264/AVC方案中，如图5（C）和图5（D）所示，为具有16×16像素的宏块定义具有16×16像素至4×4像素的预测块尺寸。当使用比在H.264/AVC方案中更扩展的宏块时，例如，当使用具有32×32像素的宏块时，例如，定义图5（B）所示的预测块尺寸。此外，例如，当使用具有64×64像素的宏块时，例如，定义图5（A）所示的预测块尺寸。

注意，图5所示的“跳过/直接”表示当在运动预测/补偿单元32中已经选择跳过的宏块或直接模式时，块尺寸为预测块尺寸。此外，“ME”表示运动补偿块尺寸。此外，“P8×8”表示在宏块尺寸被减小的较低层上可以划分块尺寸。

在图像编码装置中，为了对运动矢量进行编码，根据块尺寸进行分层。注意，为了简化描述，以下面的示例描述分层。假定具有32×32像素的块尺寸为最高层（第一层），并且假定具有16×16像素的块为下一个较低层（第二层）上的块。通过将具有32×32像素的块两次划分成右和左以及上和下，获得具有16×16像素的块。此外，例如，假定具有8×8像素的块为下一个较低层（第三层）上的块。通过将具有16×16像素的块两次划分成右和左以及上和下，获得具有8×8像素的块。假定具有4×4像素的块为最低层（第四层）上的块。通过将具有8×8像素的块两次划分成右和左以及上和下，获得具有4×4像素的块。

图6是用于示出图像编码处理的操作的流程图。在步骤ST11中，A/D转换单元11对输入图像信号进行A/D转换。

在步骤ST12中，画面排序缓冲器12对图像进行排序。画面排序缓冲器12存储从A/D转换单元11提供的图像数据，以从显示顺序到编码顺序对图像排序。

在步骤ST13中，减法单元13生成预测误差数据。减法单元13通过计算步骤ST12中排序的图像数据与在预测图像/最优模式选择单元33中选择的预测图像数据之间的差异来生成预测误差数据。预测误差数据的数据量比原始图像数据小。因此，与不经任何改变对原始图像进行编码的情况相比，可以压缩数据量。

在步骤ST14中，正交变换单元14进行正交变换处理。正交变换单元14对从减法单元13提供的预测误差数据进行正交变换处理。具体地，对预测误差数据进行正交变换例如离散余弦变换或Karhunen-Loeve变换，并且正交变换单元14输出转换系数数据。

在步骤ST15中，量化单元15执行量化处理。量化单元15对转换系数数据进行量化。关于量化，如下面提到的步骤ST25中的处理所描述的，进行速率控制。

在步骤ST16中，逆量化单元21执行逆量化处理。逆量化单元21使用与量化单元15的特性相对应的特性对转换系数数据进行逆量化。通过量化单元15对转换系数数据进行量化。

在步骤ST17中，逆正交变换单元22执行逆正交变换处理。逆正交变换单元22使用与正交变换单元14相对应的特性对转换系数数据进行逆正交变换。通过逆量化单元21对转换系数数据进行逆量化。

在步骤ST18中，加法单元23生成参考图像数据。加法单元23通过在与参考图像数据相对应的位置处将从预测图像/最优模式选择单元33提供的预测图像数据加到逆正交变换后的数据来生成参考图像数据。

在步骤ST19中，去块效应滤波器24执行滤波处理。去块效应滤波器24对从加法单元23输出的参考图像数据进行滤波以消除块失真。

在步骤ST20中，帧存储器27存储参考图像数据。帧存储器27存储滤波后的参考图像数据。

在步骤ST21中，帧内预测单元31和运动预测/补偿单元32中的每个执行预测处理。换言之，帧内预测单元31以帧内预测模式执行帧内预测处理。运动预测/补偿单元32以帧间预测模式执行运动预测和补偿处理。下面将参照图7描述详细的预测处理。通过该处理，以所有的候选预测模式中的每个执行预测处理，以便以候选预测模式中的每个计算成本函数值。然后，基于所计算出的成本函数值来选择最优帧内预测模式和最优帧间预测模式。以所选择的预测模式生成的预测图像、预测图像的成本函数值以及预测模式信息被提供给预测图像/最优模式选择单元33。

在步骤ST22中，预测图像/最优模式选择单元33选择预测图像数据。预测图像/最优模式选择单元33基于从帧内预测单元31和运动预测/补偿单元32输出的每个成本函数值来确定产生最有效率的编码的最优模式。预测图像/最优模式选择单元33还以所确定的最优模式选择预测图像数据并且将该数据提供给减法单元13和加法单元23。预测图像如上所述用于步骤ST13和步骤ST18的计算。注意，与所选择的预测图像数据相对应的预测模式信息被输出至无损编码单元16。

在步骤ST23中，无损编码单元16进行无损编码处理。无损编码单元16对从量化单元15输出的量化数据进行无损编码。换言之，对量化数据进行无损编码例如可变长度编码或算术编码以压缩数据。此时，对在上面提到的步骤ST22中输入至无损编码单元16的预测模式信息（包括，例如，宏块类型、预测模式、参考图片信息等）、差异运动矢量等也进行无损编码。此外，将无损编码数据如预测模式信息加到通过量化数据的无损编码所生成的编码流中的头信息。

在步骤ST24中，存储缓冲器17执行存储处理。存储缓冲器17存储从无损编码单元16输出的编码流。存储在存储缓冲器17中的编码流通过传输信道被适当地读出并且传输至解码侧。

在步骤ST25中，速率控制单元18执行速率控制。速率控制单元18控制量化单元15中的量化操作的速率，以防止当存储缓冲器17存储编码流时存储缓冲器17中产生上溢或下溢。

接下来，将参照图7的流程图描述图6中示出的步骤ST21中的预测处理。

在步骤ST31中，帧内预测单元31执行帧内预测处理。帧内预测单元31以所有的帧内预测模式对当前块中的图像进行帧内预测。注意，从加法单元23提供的参考图像数据被用于帧内预测。下面将描述帧内预测的详细处理。通过该处理，以所有的候选帧内预测模式进行帧内预测。计算所有的候选帧内预测模式的成本函数值。然后，基于所计算出的成本函数值从所有的帧内预测模式中选择产生最高效率的编码的帧内预测模式。

在步骤ST32中，运动预测/补偿单元32执行帧间预测处理。运动预测/补偿单元32使用存储在帧存储器27中的滤波后的参考图像数据以所有候选帧间预测模式（在所有的预测块尺寸处）执行帧间预测处理。下面将描述详细的帧间预测处理。通过该处理，以所有的候选帧间预测模式进行帧间预测处理。计算所有的候选帧间预测模式的成本函数值。然后，基于所计算出的成本函数值从所有的帧间预测模式中选择产生最高效率的编码的帧间预测模式。

接下来，将参照图8的流程图描述图7中示出的步骤ST31中的帧内预测处理。

在步骤ST41中，帧内预测单元31以每个预测模式执行帧内预测。帧内预测单元31使用从加法单元23提供的参考图像数据以每个预测模式生成预测图像数据。

在步骤ST42中，帧内预测单元31计算每个预测模式的成本函数值。基于如联合模型（JM）所定义的高复杂度模式或低复杂度模式的技术计算成本函数值，联合模型（JM）为H.264/AVC方案中的参考软件。

换言之，在高复杂度模式下，作为步骤ST42中的处理，对所有的候选预测模式暂时进行无损编码操作。然后，计算如下面的表达式（1）所示的各个预测模式的成本函数值。

成本（模式∈Ω）=D+λ·R    （1）

Ω表示用于将块编码成宏块的候选预测模式的全集。D表示以预测模式编码的参考图像与输入图像之间的差异能量（失真）。R表示包括正交转换系数和预测模式信息的生成比特数。λ表示针对量化参数QP的函数给出的拉格朗日乘数。

换言之，高复杂度模式下的编码需要更大的计算量，因为需要以所有的候选预测模式暂时进行临时编码以计算上述参数D和R。

另一方面，在低复杂度模式下，作为步骤ST42中的处理，对所有的候选预测模式，进行预测图像的生成和作为预测模式信息的头位的计算的操作。然后，计算如下面的表达式（2）所示的各个候选预测模式的成本函数值。

成本（模式∈Ω）=D+QPtoQuant（QP）·Header_Bit  （2）

Ω表示用于将块编码成宏块的候选预测模式的全集。D表示以预测模式编码的参考图像与输入图像之间的差异能量（失真）。Header_Bit表示预测模式的头位。QPtoQuant表示作为针对量化参数QP的函数给出的函数。

换言之，在低复杂度模式下，尽管没有必要以各个预测模式进行预测处理，但是不需要已解码图像。因此，可以以比高复杂度模式下的计算量更少的计算量来实现编码。

在步骤ST43中，帧内预测单元31确定最优帧内预测模式。帧内预测单元31基于成本函数值从在步骤ST42中所计算出的成本函数值中选择具有最低的成本函数值的帧内预测模式，并且确定该帧内预测模式为最优帧内预测模式。

接下来，将参照图9的流程图描述图7中示出的步骤ST32中的帧间预测处理。

在步骤ST51中，运动预测/补偿单元32确定每个预测模式的运动矢量和参考图像。换言之，运动预测/补偿单元32确定各个预测模式下的当前块的运动矢量和参考图像。

在步骤ST52中，运动预测/补偿单元32执行每个预测模式的运动补偿。运动预测/补偿单元32基于在步骤ST51中所确定的运动矢量以每个预测模式（在各个预测块尺寸处）对参考图像进行运动补偿，以生成每个预测模式的预测图像数据。

在步骤ST53中，运动预测/补偿单元32计算每个帧间预测模式的成本函数值。运动预测/补偿单元32使用上述表达式（1）或（2）计算成本函数值。为了计算成本函数值，使用包括选择单元165中所选择的编码信息的生成比特数。注意，帧间预测模式的成本函数值的计算包括在H.264/AVC方案中所定义的跳过模式和直接模式下的成本函数值的估算。

在步骤ST54中，运动预测/补偿单元32确定最优帧间预测模式。运动预测/补偿单元32基于成本函数值从在步骤ST53中所计算出的成本函数值中选择具有最低成本函数值的预测模式，并且确定该预测模式为最优帧间预测模式。

接下来，将参照图10的流程图描述无损编码单元16中的与运动矢量相关的编码处理。注意，图5中的最大块尺寸，例如，具有32×32像素的尺寸被假定为图10中的第一层（最高层）。还假定具有16×16像素的尺寸为第二层，具有8×8像素的尺寸为第三层，最小块尺寸例如具有4×4像素的尺寸为第四层（最低层）。

在步骤ST61中，无损编码单元16从候选中设置在最高层上的块的预测运动矢量。无损编码单元16将预测运动矢量的候选中或即相邻的块的运动矢量MV_A、MV_B、MV_C、MV_co、MV_0中的、具有最小成本函数值的运动矢量设置为第一层上的预测运动矢量。然后，处理进行到步骤ST62。

在步骤ST62中，无损编码单元16计算最高层上的块的差异运动矢量。处理进行到步骤ST63。

在步骤ST63中，无损编码单元16确定预测块是否在第一层上。当最优模式下的预测块在第一层上时，无损编码单元16进行到步骤ST70。当最优模式下的预测块在比第一层低的层上时，无损编码单元16进行到步骤ST64。

在步骤ST64中，无损编码单元16确定预测块是否在第二层上。当预测块在第二层上时，无损编码单元16进行到步骤ST65。当最优模式下的预测块在比第二层低的层上时，无损编码单元16进行到步骤ST66。

在步骤ST65中，无损编码单元16将第一层上的相应的块的运动矢量设置为预测运动矢量，并且进行到步骤ST69。

在步骤ST66中，无损编码单元16确定预测块是否在第三层上。当预测块在第三层上时，无损编码单元16进行到步骤ST67。当最优模式下的预测块在比第三层低的层即最低层上时，无损编码单元16进行到步骤ST68。

在步骤ST67中，无损编码单元16将第二层上的相应的块的运动矢量设置为预测运动矢量，并且进行到步骤ST69。

在步骤ST67中，无损编码单元16将第三层上的相应的块的运动矢量设置为预测运动矢量，并且进行到步骤ST69。

在步骤ST69中，无损编码单元16计算差异运动矢量。无损编码单元16计算表示每个块的运动矢量与预测运动矢量之间的差异的差异运动矢量，并且进行到步骤ST70。

在步骤ST70中，无损编码单元16进行无损编码处理。无损编码单元16使用VLC表或算术编码对差异运动矢量进行无损编码。在无损编码中，例如，使用在每一层处所提供的VLC表进行编码。无损编码单元16还生成下面将描述的层次结构信息。

图11示出了当进行图10中示出的编码处理时的示例性操作。例如，如图11（A）中所示，当预测块为第一层上的具有32×32像素的尺寸的块（宏块）时，从相邻块的运动矢量中选择具有最小的成本函数值的运动矢量作为预测运动矢量。

在图11（B）中示出的并且通过将在第一层上的块BK0两次划分成右和左以及上和下而获得的第二层上，在第一层上的块BK0处检测的运动矢量MV0被设置为预测运动矢量。因此，第二层上的块BK00的差异运动矢量dMV00用“MV00-MV0=dMV00”表示。类似地，在第二层上，块BK01的差异运动矢量dMV01用“MV01-MV0=dMV01”表示，块BK02的差异运动矢量dMV02用“MV02-MV0=dMV02”表示，块BK03的差异运动矢量dMV03用“MV03-MV0=dMV03”表示。

在图11（C）中示出的并且通过将在第二层上的块两次划分成右和左以及上和下而获得的第三层上，在第二层上的块处检测的运动矢量被设置为预测运动矢量。例如，在通过将在第二层上的块BK02两次划分成右和左以及上和下而获得的第三层上的块处，在块BK02处检测的运动矢量MV02被设置为预测运动矢量。因此，第三层上的块BK020的差异运动矢量dMV020用“MV020-MV02=dMV020”表示。类似地，在第三层上，块BK021的差异运动矢量dMV021用“MV021-MV02=dMV021”表示，块BK022的差异运动矢量dMV022用“MV022-MV02=dMV022”表示，块BK023的差异运动矢量dMV023用“MV023-MV02=dMV023”表示。

在图11（D）和图11（E）中示出的并且通过将在第三层上的块两次划分成右和左以及上和下而获得的第四层上，在第三层上的块处检测的运动矢量被设置为预测运动矢量。例如，在通过将在第三层上的块BK021两次划分成右和左以及上和下而获得的第四层上的块处，在块BK021处检测的运动矢量MV021被设置为预测运动矢量。因此，第三层上的块BK0210的差异运动矢量dMV0210用“MV0210-MV021=dMV0210”表示。类似地，在第四层上，块BK0211的差异运动矢量dMV0211用“MV0211-MV021=dMV0211”表示，块BK0212的差异运动矢量dMV0212用“MV0212-MV021=dMV0212”表示，块BK0213的差异运动矢量dMV0213用“MV0213-MV021=dMV0213”表示。

图12是用于说明层次结构信息的视图。层次结构信息生成信息。当块具有通过划分该块而获得的在较低层的块时，该信息表示为“1”。当块不具有在较低层的块时，该信息表示为“0”。

例如，当块如图11和图12中所示被分层时，第一层上的宏块具有在较低层上的块。因此，表示第一层的结构的信息被表示为“1”。在第二层上，左下块具有较低层上的块。因此，假定块的顺序为从左上、右上、左下到右下，则表示第二层的结构的信息被表示为“0010”。在第三层上，右上块具有较低层处的块。因此，假定块的顺序为从左上、右上、左下到右下，则表示第三层的结构的信息被表示为“0100”。另外，由于第四层不具有较低层的块，因此表示第四层的结构的信息被表示为“0000”。如上所述，按照层从最高到最低的顺序布置在每个层处获得的信息可以生成表示图12中示出的层次结构的层次结构信息“1001001000000”。

无损编码单元16对在每个层处所计算的差异运动矢量进行无损编码，并且以与层次结构信息相对应的块的顺序设置所获得的编码数据，以将该数据连同层次结构信息和最高层上的预测运动矢量选择信息包括至流信息。无损编码单元16还使用例如在每层处最优化的VLC表进行无损编码。

如上所述，根据本发明的图像编码装置和图像编码方法，在下一个较高层上的具有更大的块尺寸的块处检测的运动矢量被设置为预测运动矢量。因此，通过划分在较高层处的块所获得的较低层上的块通常具有较小的差异运动矢量。这提高了编码的效率并且能够对图像有效地编码。传输运动矢量所需的减少的比特量可以增加编码数据的比特率，使得可以提高图像质量。

<4.图像解码装置的结构>

接下来，将描述对用于生成再生图像数据的编码流的解码。在图像编码装置10中生成的编码流通过预定的传输信道、记录介质等被提供给图像解码装置以进行解码。

图13示出了图像解码装置的结构。图像解码装置50包括存储缓冲器51、无损解码单元52、逆量化单元53、逆正交变换单元54、加法单元55中、去块效应滤波器56、画面排序缓冲器57以及数字/模拟转换单元（D/A转换单元）58。图像解码装置50还包括帧存储器61、帧内预测单元62、运动补偿单元63以及选择器64。

存储缓冲器51存储所传输的编码流。无损解码单元52使用由与图2中示出的无损编码单元16进行的编码方案相对应的方案对从存储缓冲器51提供的编码流进行解码。

无损解码单元52将通过对编码流中的头信息进行解码而获得的预测模式信息输出至帧内预测单元62、运动补偿单元63和去块效应滤波器56。无损解码单元52使用要被解码的块的运动矢量和解码的相邻的块的运动矢量，以进一步设置预测运动矢量的候选。无损解码单元52基于通过对编码流进行无损解码而获得的预测运动矢量选择信息从预测运动矢量的候选中选择预测运动矢量，以将所选择的运动矢量设置为最高层上的预测运动矢量。无损解码单元52将预测运动矢量加到通过对编码流进行无损解码而获得的差异运动矢量，以计算要被解码的块的运动矢量和进一步将运动矢量输出至运动补偿单元63。可替代地，无损解码单元52使用下一个较高层上的运动矢量作为尺寸比最高层上的尺寸更小的层上的预测运动矢量。

逆量化单元53使用由与图2中示出的量化单元15进行的量化方案相对应的方案对无损解码单元52中解码的量化数据进行逆量化。逆正交变换单元54使用由与图2中示出的正交变换单元14进行的正交变换方案相对应的方案对来自逆量化单元53的输出进行正交变换，以将输出结果输出至加法单元55。

加法单元55将正交变换后的数据加到从选择器64提供的预测图像数据，以生成解码图像数据并且将解码图像数据输出至去块效应滤波器56和帧内预测单元62。

去块效应滤波器56对从加法单元55提供的解码图像数据进行滤波以消除块失真。然后，去块效应滤波器56将该数据提供和存储至帧存储器61中并且将该数据输出至画面排序缓冲器57。

画面排序缓冲器57对图像进行排序。换言之，通过图2中示出的画面排序缓冲器12以用于编码的顺序排序的帧以显示的原始顺序被排序并且被输出至D/A转换单元58。

D/A转换单元58对从画面排序缓冲器57提供的图像数据进行D/A转换，并且将图像数据输出至显示器（附图中未示出）以在显示器上显示图像。

帧存储器61存储从去块效应滤波器24提供的滤波后的解码图像数据。

帧内预测单元62基于从无损解码单元52提供的预测模式信息生成预测图像，以将生成的预测图像数据输出至选择器64。

运动补偿单元63基于从无损解码单元52提供的预测模式信息和运动矢量进行运动补偿，以生成预测图像数据和将该预测图像数据输出至选择器64。换言之，运动补偿单元63基于从无损解码单元52提供的运动矢量和参考帧信息、使用运动矢量来进行对由参考图像信息所表示的参考图像的运动补偿，以生成具有预测块尺寸的预测图像数据。

选择器64将在帧内预测单元62中生成的预测图像数据提供给加法单元55。选择器64还将在运动补偿单元63中生成的预测图像数据提供给加法单元55。

<5.无损解码单元的结构>

图14示出了与无损解码单元中的运动矢量有关的结构。无损解码单元52包括可变长度解码单元521-1至521-n、选择单元522、预测运动矢量设置单元523以及加法单元525。预测运动矢量设置单元523包括运动矢量存储单元523a和运动矢量选择单元523b。

可变长度解码单元521-1进行与在可变长度编码单元164-1中进行的编码相对应的可变长度解码。类似地，可变长度解码单元521-2至521-n进行与在可变长度编码单元164-2至164-n中进行的编码相对应的可变长度解码。可变长度解码单元521-1至521-n使用VLC表或算术编码进行对编码流的无损可变长度解码以生成差异运动矢量。

选择单元522基于层次结构信息选择与该层相对应的解码单元输出的差异运动矢量，以将差异运动矢量输出至加法单元525。

在最高层上，以最大的预测块尺寸，运动矢量存储单元523a将最大预测块尺寸的与要被解码的块相邻的解码块的运动矢量存储为最高层上的运动矢量的候选。注意，为了响应于直接模式，运动矢量存储单元523a也可以存储与参考图片中的要被解码的块相同的块的运动矢量。运动矢量存储单元523a还存储包括要被解码的块的最高层上的运动矢量。

运动矢量选择单元523b基于层次结构信息根据层从运动矢量存储单元523a中读取预测运动矢量，以将该预测运动矢量输出至加法单元525。运动矢量选择单元523b基于预测运动矢量信息进一步从预测运动矢量的候选中选择运动矢量，以将该运动矢量作为用于最高层上的块的预测运动矢量输出至加法单元525。

加法单元525将从预测运动矢量设置单元523输出的预测运动矢量加到在选择单元522中选择的差异运动矢量，以计算要被解码的块的运动矢量并且将该运动矢量输出至运动补偿单元63。加法单元525也将计算出的运动矢量存储于运动矢量存储单元523a中，使得运动矢量可以被用作较低层的预测运动矢量。注意，当编码流包括表示最高层上的块的运动矢量的编码数据时，加法单元525将通过可变长度解码获得的运动矢量存储在运动矢量存储单元523a中，使得运动矢量可以被用作更低层的预测运动矢量。

<6.图像解码装置的操作>

接下来，将参照图15中所示的流程图描述在图像解码装置50中进行的图像解码处理的操作。

在步骤ST81中，存储缓冲器51存储传输的编码流。在步骤ST82中，无损解码单元52进行无损解码处理。无损解码单元52对从存储缓冲器51提供的编码流进行解码。换言之，获取已经由图2中示出的无损编码单元16所编码的每个图片的量化数据。无损解码单元52对包括在编码流的头信息中的预测模式信息进行无损解码，以将所获得的预测模式信息提供给去块效应滤波器56和选择器64。当预测模式信息与帧内预测模式有关时，无损解码单元52还将预测模式信息输出至帧内预测单元62。当预测模式信息与帧间预测模式有关时，可替代地，无损解码单元52将预测模式信息输出至运动补偿单元63。无损解码单元52还将要被解码的块的运动矢量输出至运动补偿单元63。

在步骤ST83中，逆量化单元53进行逆量化处理。逆量化单元53使用与图2中示出的量化单元15的特性相对应的特性对量化数据进行逆量化。通过无损解码单元52对量化数据进行解码。

在步骤ST84中，逆正交变换单元54进行逆正交变换处理。逆正交变换单元54使用与图2中示出的正交变换单元14的特性相对应的特性进行对转换系数数据的逆正交变换。通过逆量化单元53对转换系数数据进行逆量化。

在步骤ST85中，加法单元55生成解码图像数据。加法单元55将从逆正交变换处理获得的数据加到在下面将描述的步骤ST89中选择的预测图像数据以生成解码图像数据。这对原始图像进行解码。

在步骤ST86中，去块效应滤波器56进行滤波处理。去块效应滤波器56对从加法单元55输出的解码图像数据进行滤波以消除包括在解码图像中的块失真。

在步骤ST87中，帧存储器61存储解码图像数据。

在步骤ST88中，帧内预测单元62和运动补偿单元63每个进行预测处理。帧内预测单元62或运动补偿单元63根据从无损解码单元52提供的预测模式信息来进行预测处理。

换言之，当无损解码单元52提供与帧内预测有关的预测模式信息时，帧内预测单元62基于预测模式信息进行帧内预测处理以生成预测图像数据。可替代地，当无损解码单元52提供与帧间预测有关的预测模式信息时，运动补偿单元63基于预测模式信息进行运动补偿以生成预测图像数据。

在步骤ST89中，选择器64选择预测图像数据。换言之，选择器64选择从帧内预测单元62提供的预测图像和在运动补偿单元63中生成的预测图像数据，然后将预测图像和预测图像数据提供给加法单元55，以将预测图像和预测图像数据加到上述的步骤ST85中的逆正交变换单元54的输出。

在步骤ST90中，画面排序缓冲器57将对图像进行排序。换言之，画面排序缓冲器57从用于编码的顺序到用于显示的原始顺序对已经由图2中示出的图像编码装置10的画面排序缓冲器12排序的帧进行排序。

在步骤ST91中，D/A转换单元58对来自画面排序缓冲器57中的图像数据进行D/A转换。图像被被输出至显示器（附图中未示出）以在显示器上显示。

接下来，将参照图16中所示的流程图描述在无损解码单元52中进行的对运动矢量的解码处理。在步骤ST101中，无损解码单元52获取层次结构信息。无损解码单元52从存储缓冲器51中获取层次结构信息，以确定层的块如何形成具有第一层上的块尺寸的块。

在步骤ST102中，无损解码单元52对应于无损编码单元16，以使用与图像编码装置相对应的VLC表等来进行无损解码处理以生成差异运动矢量。

在步骤ST103中，无损解码单元52选择差异运动矢量。无损解码单元52从使用VLC表等生成的差异运动矢量中选择与包括要被编码的块的层相对应的差异运动矢量。

在步骤ST104中，无损解码单元52计算最高层上的运动矢量。无损解码单元52基于包括在编码流中的预测运动矢量选择信息从用于最高层的预测运动矢量的候选中设置预测运动矢量。无损解码单元52还将设置的预测运动矢量加到最高层上的差异运动矢量以计算最高层上的块的运动矢量，无损解码单元52进行到步骤ST105。

在步骤ST105中，无损解码单元52确定要被解码的块是否为第一层上的块。当要被解码的块为第一层上的块时，无损解码单元52终止对要被编码的块的运动矢量的解码处理。当要被解码的块不为第一层上的块时，可替代地，无损解码单元52进行到步骤ST106。无损解码单元52基于层次结构信息确定哪个层包括要被解码的块。当关于第一层的结构的信息被表示为“0”并且表示第一层未被划分时，无损解码单元52终止对要被编码的块的运动矢量的解码处理。当关于第一层的结构的信息被表示为“1”并且表示第一层被划分时，无损解码单元52进行到步骤ST106。

在步骤ST106中，无损解码单元52确定要被解码的块是否为在第二层上的块。当要被解码的块为在第二层上的块时，无损解码单元52进行到步骤ST107。当要被解码的块不为在第二层上的块时，可替代地，无损解码单元52进行到步骤ST108。当关于第二层的结构的信息被表示为“0”并且表示第二层未被划分时，无损解码单元52进行到步骤ST107。当关于第二层的结构的信息被表示为“1”并且表示第二层被划分时，可替代地，无损解码单元52进行到步骤ST108。

在步骤ST107中，无损解码单元52将第一层上的相应的块的运动矢量设置为预测运动矢量，并且进行到步骤ST111。

在步骤ST108中，无损解码单元52确定要被解码的块是否为在第三层上的块。当要被解码的块为在第三层上的块时，无损解码单元52进行到步骤ST109。当要被解码的块不为在第二层上的块时，可替代地，无损解码单元52进行到步骤ST110。当关于第三层的结构的信息被表示为“0”并且表示第三层未被划分时，无损解码单元52进行到步骤ST109。当关于第三层的结构的信息被表示为“1”并且表示第三层被划分时，可替代地，无损解码单元52进行到步骤ST110。

在步骤ST109中，无损解码单元52将第二层上的相应的块的运动矢量设置为预测运动矢量，并且进行到步骤ST111。

在步骤ST110中，无损解码单元52将第三层上的相应的块的运动矢量设置为预测运动矢量，并且进行到步骤ST111。

在步骤ST111中，无损解码单元52将差异运动矢量加到预测运动矢量以计算要被解码的块的运动矢量。

接下来，将参照图17中所示的流程图描述图15中所示的步骤ST88中的预测处理。

在步骤ST121中，无损解码单元52确定当前块是否已被帧内编码。当通过进行无损解码所获得的预测模式信息为帧内预测模式信息时，无损解码单元52将预测模式信息提供给帧内预测单元62，并且进行到步骤ST122。当预测模式信息不为帧内预测模式信息时，无损解码单元52将预测模式信息提供给运动补偿单元63，并且进行到步骤ST123。

在步骤ST122中，帧内预测单元62进行帧内预测处理。帧内预测单元62使用从加法单元55提供的解码图像数据和预测模式信息来进行帧内预测以生成预测图像数据。

在步骤ST123中，运动补偿单元63进行帧间预测处理。运动补偿单元63基于来自无损解码单元52的运动矢量和预测模式信息，对从帧存储器61提供的解码图像数据进行运动补偿。运动补偿单元63还将由运动补偿所生成的预测图像数据输出至选择器64。

如上所述，在根据本发明的图像解码装置和图像解码方法中，在图像编码期间，将在较高层上的块处检测的运动矢量设置为预测运动矢量。因此，即使已经提高了编码效率和改善了图像质量，仍然可以精确地对编码流进行解码。

<7.图像编码装置的另一个结构>

接下来，将描述图像编码装置的另一个结构。当在图像编码期间通过对包括要被编码的块的图像与参考图像进行对比来计算运动矢量时，需要从帧存储器中读取参考图像的图像数据。此外，因为参考图像的图像数据具有大的数据量，所以经常使用动态随机存取存储器（DRAM）作为帧存储器。然而，虽然DRAM具有大的容量，但DRAM在读取或写入中产生显著的延迟。问题在于：在不连续的读取或写入时传输速率变慢。因此，需要时间来计算运动矢量。

鉴于上述情况，图像编码装置的其他结构进行对参考图像的图像数据的多分辨率分析，以将多分辨率分析结果存储在高速缓冲存储器例如静态随机存取存储器（SRAM）中。其他结构还使用存储在高速缓冲存储器中的多分辨率分析结果生成具有小的数据量的低分辨率图像。图像编码装置使用低分辨率图像进行运动预测以粗略地检测运动矢量。图像编码装置还基于来自对运动矢量的粗略检测的结果设置所选区域，以使用所选区域中的高分辨率图像来精确地检测运动矢量。即使从存储器中读取的图像数据的数据量减少，重复这样的运动矢量的检测仍然可以以高精确度检测运动矢量。

图18示出了图像编码装置的其他结构。注意，图18中的与图2中的部件相对应的部件使用相同的附图标记来表示。

图像编码装置10a包括：模拟/数字转换单元（A/D转换单元）11、画面排序缓冲器12、减法单元13、正交变换单元14、量化单元15、无损编码单元16、存储缓冲器17和速率控制单元18。图像编码装置10a还包括逆量化单元21、逆正交变换单元22、加法单元23、去块效应滤波器24、多分辨率分析单元25、高速缓冲存储器26、帧存储器27、多分辨率重构单元28和多分辨率分析/重构单元29。图像编码装置10a还包括帧内预测单元31、运动预测/补偿单元32a和预测图像/最优模式选择单元33。

A/D转换单元11将模拟图像信号转换成数字图像数据，以将该数据输出至画面排序缓冲器12。

画面排序缓冲器12对从A/D转换单元11输出的图像数据的帧进行排序。画面排序缓冲器12根据与编码处理有关的图片组（GOP）结构对帧进行排序。画面排序缓冲器12将排序的图像数据输出至减法单元13、帧内预测单元31和运动预测/补偿单元32a。

减法单元13被提供以从画面排序缓冲器12输出的图像数据和在下面将描述的预测图像/最优模式选择单元33中选择的预测图像数据。减法单元13计算预测误差数据，并且将该预测误差数据输出至正交变换单元14。预测误差数据为从画面排序缓冲器12输出的图像数据与从预测图像/最优模式选择单元33提供的预测图像数据之间的差异。

正交变换单元14使用离散余弦变换（DCT）或Karhunen-Loeve变换对从减法单元13输出的预测误差数据进行正交变换。正交变换单元14将从正交变换处理获得的转换系数数据输出至量化单元15。

量化单元15被提供以从正交变换单元14输出的转换系数数据和来自下面将描述的速率控制单元18的速率控制信号。量化单元15对转换系数数据进行量化，以将量化数据输出至无损编码单元16和逆量化单元21。量化单元15还基于来自速率控制单元18的速度控制信号切换量化参数（量化标度）以改变量化数据的比特率。

无损编码单元16被提供以从量化单元15输出的量化数据和来自下面将描述的帧内预测单元31、运动预测/补偿单元32a和预测图像/最优模式选择单元33的预测模式信息。注意，根据帧内预测还是帧间预测，预测模式信息包括例如表示预测块尺寸的宏块类型、预测模式、参考图片信息。无损编码单元16例如使用可变长度编码或算术编码对量化数据进行编码，以生成编码流并且将该流输出至存储缓冲器17。无损编码单元16还对预测模式信息进行无损编码以将该信息加到例如编码流的头信息。无损编码单元16还将在下一个较高层上的块处检测的运动矢量设置为作为要被编码的图像的块的预测块的最优模式下的预测运动矢量。该块包括预测块。无损编码单元16对表示预测运动矢量与要被编码的块的运动矢量之间的差异的差异运动矢量进行无损编码，以将差异运动矢量加到编码流。无损编码单元16还在下面将描述的成本函数值的计算中设置每个预测块的预测运动矢量并且对表示与预测块的运动矢量的差异的差异运动矢量进行无损编码，使得可以计算包括差异运动矢量的编码数据的生成比特数。

存储缓冲器17存储来自无损编码单元16的编码流。存储缓冲器17还根据传输信道的传输速率输出所存储的编码流。

速率控制单元18对存储缓冲器17的空间量进行监视，以根据空间量生成速率控制信号并且将该信号输出至量化单元15。例如，速率控制单元18从存储缓冲器17获得表示空间量的信息。当空间量变小时，速率控制单元18使用速率控制信号降低量化数据的比特率。另一方面，当存储缓冲器17中的空间量足够大时，速率控制单元18使用速率控制信号增加量化数据的比特率。

逆量化单元21对从量化单元15提供的量化数据进行逆量化处理。逆量化单元21将从逆量化处理获得的转换系数数据输出至逆正交变换单元22。

逆正交变换单元22将从对由逆量化单元21提供的转换系数数据进行逆正交变换处理所获得的数据输出至加法单元23。

加法单元23通过将从逆正交变换单元22提供的数据加到从预测图像/最优模式选择单元33提供的预测图像数据来生成参考图像数据，以将该参考图像数据输出至去块效应滤波器24和帧内预测单元31。

去块效应滤波器24进行用于减小在图像编码时产生的块失真的滤波处理。去块效应滤波器24进行用于从由从加法单元23提供的参考图像数据消除块失真的滤波处理，以将滤波后的参考图像数据输出至多分辨率分析单元25。

多分辨率分析单元25进行对参考图像数据的多分辨率分析，例如，使用离散小波变换的子带分解，以将该多分辨率分析结果输出至高速缓冲存储器26。多分辨率分析单元25例如使用5/3无损滤波器进行对图像的小波变换。

图19是用于描述一维子带分解和重构的视图。在子带分解期间，如图19（A）中所示，要被转换的图像0L通过高通滤波器（HPF）711滤波并且由抽取单元（下采样器）712进行抽取以生成高频分量图像1H。要被转换的图像0L还通过低通滤波器（LPF）713滤波并且由抽取单元714进行抽取以生成低频分量图像1L。低频分量图像1L进一步通过高通滤波器715滤波并且由抽取单元716进行抽取以生成高频分量图像2H。低频分量图像1L进一步通过低通滤波器717滤波并且由抽取单元718进行抽取以生成低频分量图像2L。如上所述，滤波处理和抽取处理可以生成具有不同分辨率的图像。而且，当在水平方向和竖直方向上进行图19（A）中所示的处理时，来自二维子带分解的结果如图20中所示。

高速缓冲存储器26以分辨率从最低到最高的顺序存储多分辨率分析结果。高速缓冲存储器还将超出存储器容量的多分辨率分析结果的量存储在帧存储器27中。

多分辨率重构单元28对具有不同的分辨率的参考图像进行重构并且将该图像输出至运动预测/补偿单元32a。多分辨率重构单元28例如使用5/3无损滤波器进行逆小波变换。多分辨率重构单元28通过将低频分量图像与高频分量图像进行合成来重构图像。在重构图像期间，如图19（B）中所示，分别地，低频分量图像2L通过插值单元（上采样器）721被插值并且通过低通滤波器722进行滤波，高频分量图像2H通过插值单元723被插值并且通过高通滤波器724进行滤波。而且，滤波后的图像在加法单元725中被相加以生成低频分量图像1L。分别地，低频分量图像1L进一步通过插值单元726被插值并且通过低通滤波器727进行滤波，高频分量图像1H通过插值单元728被插值并且通过高通滤波器729进行滤波。而且，滤波后的图像在加法单元730中被相加以生成子带分解前的图像0L。如上所述，插值处理和滤波处理可以用具有不同分辨率的图像重构子带分解前的图像。而且，当在水平方向和竖直方向上进行图19（B）中所示的处理时，图20中所示的子带分解后的图像可以恢复成划分前的图像。例如，合成图像2LL、2HL、2LH和2HH可以生成图20所示的图像1LL。此外，合成图像1LL、1HL、1LH和1HH可以重构图像0LL。

多分辨率分析/重构单元29与多分辨率分析单元25类似地对要被编码的图像进行多分辨率分析，例如，离散小波变换。多分辨率分析/重构单元29还与多分辨率重构单元28类似地选择性地使用多分辨率分析结果重构图像，以生成具有不同的分辨率的要被编码的图像并且将该图像输出至运动预测/补偿单元32a。

帧内预测单元31使用从画面排序缓冲器12输出的要被编码的图像的图像数据和从加法单元23提供的参考图像数据、以所有候选帧内预测模式进行帧内预测处理。帧内预测单元31还计算每个帧内预测模式的成本函数值，以选择具有最小计算成本函数值的帧内预测模式或即产生最有效率的编码的帧内预测模式作为最优帧内预测模式。帧内预测单元31将以最优帧内预测模式生成的预测图像数据、关于最优帧内预测模式的预测模式信息和最优帧内预测模式下的成本函数值输出至预测图像/最优模式选择单元33。为了获得如下文所述的用于成本函数值的计算的生成比特数，帧内预测单元31还将以每个帧内预测模式进行帧内预测处理期间关于帧内预测模式的预测模式信息输出至无损编码单元16。

运动预测/补偿单元32a使用与宏块相对应的所有的预测块尺寸（运动补偿块尺寸）来进行运动预测和补偿处理。使用从多分辨率重构单元28和多分辨率分析/重构单元29提供的图像数据，运动预测/补偿单元32a对于从画面排序缓冲器12读取的宏块的图像的每个预测块尺寸处的每幅图像检测运动矢量。运动预测/补偿单元32a还基于检测的运动矢量对参考图像进行运动补偿处理以生成预测图像。

运动预测/补偿单元32a还计算预测运动矢量的每个候选的成本函数值并且将该值通知给无损编码单元16。运动预测/补偿单元32a基于计算出的每个预测块尺寸的成本函数值，选择具有最小成本函数值的预测块尺寸或即产生最有效率的编码的预测块尺寸作为最优帧间预测模式。运动预测/补偿单元32a将以最优帧间预测模式生成的预测图像、关于最优帧间预测模式的预测模式信息和最优帧间预测模式下的成本函数值输出至预测图像/最优模式选择单元33。运动预测/补偿单元32a还在每个预测块尺寸处的帧间预测处理期间将关于帧间预测模式的预测模式信息输出至无损编码单元16以获得用于成本函数值的计算的生成比特数。注意，运动预测/补偿单元32a也可以预测跳过的宏块或直接模式作为帧间预测模式。

预测图像/最优模式选择单元33通过宏块对从帧内预测单元31提供的成本函数值与从运动预测/补偿单元32a提供的成本函数值进行比较，以选择具有较小的成本函数值的模式作为产生最有效率的编码的最优模式。预测图像/最优模式选择单元33还将以最优模式生成的预测图像数据输出至减法单元13和加法单元23。预测图像/最优模式选择单元33还将关于最优模式的预测模式信息输出至无损编码单元16。注意，预测图像/最优模式选择单元33通过切片进行帧内预测或帧间预测。

<8.用于检测运动矢量的操作>

图21是用于示出用于在运动预测/补偿单元32a中检测运动矢量的操作的流程图。注意，假定已经在多分辨率分析中进行了图20中所示的子带分解。

在步骤ST131中，运动预测/补偿单元32a获得要被编码的低分辨率图像。例如，运动预测/补偿单元32a获得具有与来自多分辨率分析/重构单元29的具有最低分辨率的图像2LL相对应的要被编码的块的图像作为要被编码的低分辨率图像。

在步骤ST132中，运动预测/补偿单元32a获得低分辨率参考图像。例如，运动预测/补偿单元32a从多分辨率重构单元28获得与要被编码的块相对应的图像2LL的参考图像。

在步骤ST133中，运动预测/补偿单元32a检测运动矢量。例如，运动预测/补偿单元32a通过执行要被编码的块的图像与参考图像之间的块匹配来检测要被编码的块的运动矢量。

在步骤ST134中，运动预测/补偿单元32a确定用于检测运动矢量的图像是否为最高分辨率图像。当用于检测运动矢量的图像为最高分辨率图像时，运动预测/补偿单元32a终止用于检测运动矢量的操作。可替代地，当用于检测运动矢量的图像不是最高分辨率图像时，运动预测/补偿单元32a进行到步骤ST135。

在步骤ST135中，运动预测/补偿单元32a获得要被编码的高分辨率图像。运动预测/补偿单元32a从多分辨率分析/重构单元29获得比之前的运动矢量的检测中所使用的图像具有更高的分辨率的要被编码的图像。例如，当图像2LL用于之前的运动矢量的检测中时，运动预测/补偿单元32a获得与比图像2LL具有更高的分辨率的图像1LL相对应的要被编码的块的图像作为要被编码的高分辨率图像。

在步骤ST136中，运动预测/补偿单元32a获得高分辨率选择性参考图像。运动预测/补偿单元32a基于在对运动矢量的之前的检测中检测的运动矢量设置所选区域。运动预测/补偿单元32a获得所选区域中的比在之前的运动矢量的检测中使用的图像具有更高的分辨率的参考图像作为高分辨率选择性参考图像。例如，当图像2LL用于之前的运动矢量的检测时，运动预测/补偿单元32a获得所选区域中的与比图像2LL具有更高的分辨率的图像1LL相对应的参考图像作为高分辨率选择性参考图像，并且返回到步骤ST133以使用高分辨率图像更精确地检测运动矢量。

因为图像1LL不是最高分辨率图像，所以运动预测/补偿单元32a还获得更高分辨率图像或即要被编码的块的图像0LL。运动预测/补偿单元32a还基于使用具有图像1LL的分辨率的图像检测的运动矢量来设置所选区域。运动预测/补偿单元32a还获得所选区域中的比在之前的运动矢量的检测中使用的图像具有更高的分辨率的参考图像。可以使用所获得的图像更精确地检测运动矢量。

如上所述，执行图21中所示的处理可以通过选择性地使用多分辨率分析结果来获得最低分辨率图像和重构所选区域中的高分辨率图像，精确地检测运动矢量。因此，即使从存储器中读取的图像数据的数据量减少，也可以高精度地检测运动矢量。这降低了来自数据读取的延迟或传输速率的延迟的影响，使得可以有效地对图像进行编码。

高速缓冲存储器26还以分辨率从最低到最高的顺序存储多分辨率分析结果，并且将超过存储器容量的多分辨率分析结果存储在帧存储器27中。因此，可以及时获得最低分辨率图像和及时重构所选区域中的高分辨率图像。这可以精确地检测运动矢量。

<9.使用软件的处理>

本文所描述的一系列处理可以通过硬件、软件、或两者的组合来实现。对于通过软件来实现处理，记录处理序列的程序被安装在并入计算机中的专用硬件中的存储器上并且被执行。可替代地，程序可以被安装在能够实现各种处理的通用计算机上并且被执行。

例如，程序可以预先记录在用作记录介质的硬盘或只读存储器（ROM）中。可替代地，程序可以暂时或永久地存储（记录）在可移动记录介质例如软盘、光盘只读存储器（CD-ROM）、磁光（MO）盘、数字多功能盘（DVD）、磁盘或半导体存储器中。这种可移动记录介质可以被设置作为所谓的套装软件。

注意，程序不仅可以从如上所述的可移动记录介质中被安装到计算机上，也可以通过网络例如局域网（LAN）或因特网从下载站点无线传输至计算机或有线传输至计算机，由计算机接收并且被安装在嵌入的记录介质例如硬盘上。

用于描述程序的步骤不仅包括以描述顺序按时间序列进行的处理，也包括不一定以时间顺序并行地或单独地进行的处理。

<10.用于电子设备的应用>

虽然在上文中H.264/AVC方案被用作编码方案/解码方案，然而，本发明可以用于利用进行另外的运动预测和补偿处理的编码方案/解码方案的图像编码装置/图像解码装置。

本发明还可以用于如下图像编码装置和图像解码装置：该图像编码装置和图像解码装置用于通过包括卫星广播、电缆电视（TV）、互联网以及移动电话的网络媒体接收图像信息（比特流）或者用于处理包括光盘或磁盘以及闪速存储器的存储介质上的图像信息。图像信息通过正交变换例如离散余弦变换以及运动补偿如MPEG、H.26x等已经被压缩。

上述图像编码装置10和10a以及图像解码装置50可以用于给定的电子设备。下面将描述示例。

图22是用于示出采用本发明的电视装置的示意性结构的示例性视图。电视装置90包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、语音信号处理单元907、扬声器908和外部接口单元909。电视设备90还包括控制单元910和用户接口单元911。

调谐器902根据通过天线901接收的广播波信号选择期望的信道，并且对该信道进行解调以将所获得的流输出至解复用器903。

解复用器903从流中提取要观看和聆听的节目的视频和音频的数据包，以将所提取的数据包的数据输出至解码器904。解复用器903还将数据的数据包例如电子节目指南（EPG）的数据包提供给控制单元910。注意，当数据被加密编码时，解复用器等对加密编码的数据进行解密。

解码器904对数据包进行解码，以将由解码处理生成的视频数据输出至视频信号处理单元905以及将语音数据输出至语音信号处理单元907。

视频信号处理单元905根据用户的设置对视频数据进行例如噪声抑制或视频处理。视频信号处理单元905基于通过网络提供的应用、通过处理来生成要在显示单元906上显示的节目的视频数据或图像数据。视频信号处理单元905还生成用于显示菜单画面等的视频数据，该菜单画面等例如用于选择项目，以将视频数据叠加到节目的视频数据上。视频信号处理单元905基于以这种方式生成的视频数据来生成驱动信号以驱动显示单元906。

显示单元906基于来自视频信号处理单元905的驱动信号来驱动显示设备（例如，液晶显示元件）以显示例如节目的视频。

语音信号处理单元907对语音数据进行预定的处理例如噪声抑制，以对处理后的语音数据进行D/A转换处理或放大处理并且将该数据提供给扬声器908以输出语音。

外部接口单元909是用于与外部设备或网络连接的接口。外部接口单元909发送/接收数据，例如视频数据或语音数据。

控制单元910连接至用户接口单元911。用户接口单元911包括操作开关和远程控制信号接收部件，以将依赖于用户的操作的操作信号提供给控制单元910。

控制单元910包括中央处理单元（CPU）和存储器。存储器存储例如要由CPU执行的程序、CPU执行处理所需的各种数据、EPG数据和通过网络获得的数据。在预定定时例如电视装置90被启动时，存储在存储器中的程序被CPU读取并且执行。CPU执行该程序以控制每个部件，使得电视装置90以响应于用户的操作而工作。

注意，电视装置90包括用于将调谐器902、解复用器903、视频信号处理单元905、语音信号处理单元907和外部接口单元909连接至控制单元910的总线912。

具有上述结构的电视装置在解码器904处设置有本发明的图像解码装置（图像解码方法）的功能。因此，即使当广播站侧使用本发明的图像编码装置的功能以提高编码效率或改善图像质量、然后生成编码流时，在电视装置上也可以精确地对编码流进行解码。

图23是用于示出采用本发明的移动电话的示意性结构的示例性视图。移动电话92包括通信单元922、语音编解码器923、照相机单元926、图像处理单元927、解复用单元928、记录/再现单元929、显示单元930和控制单元931。这些单元通过总线933彼此连接。

通信单元922连接至天线921。语音编解码器923连接至扬声器924和麦克风925。控制单元931连接至操作单元932。

移动电话92执行各种操作，例如，发送/接收语音信号、发送/接收电子邮件或图像数据、拍摄图像、以包括语言通信模式和数据通信模式的多种模式记录数据。

在语言通信模式下，在麦克风925生成的语音信号被转换成语音数据，该数据在语音编解码器923中被压缩并且被提供给通信单元922。通信单元922对语音数据进行调制并且转换频率以生成发送信号。通信单元922还将发送信号提供给天线921以将该信号发送至基站（在附图中未示出）。通信单元922还对通过天线921接收的接收信号进行放大、转换频率、以及将该信号进行解调，以将所获得的语音数据提供给语音编解码器923。语音编解码器923对语音数据进行解压缩或将数据转换成模拟语音信号以将该信号输出至扬声器924。

在数据通信模式下，当发送电子邮件时，控制单元931接收通过操作单元932的操作输入的字符数据并且在显示单元930上显示输入的字符。例如，控制单元931还基于操作单元932中的用户指令生成邮件数据，并且将该数据提供给通信单元922。通信单元922对邮件数据进行调制和转换频率以从天线921发送所获得的发送信号。例如，通信单元922还对由天线921接收的接收信号进行放大、转换频率、以及对该信号进行解调以恢复电子邮件数据。邮件数据被提供给显示单元930并且邮件的内容被显示。

注意，移动电话92也可以使用记录/再现单元929将接收的邮件数据存储在存储介质中。存储介质为给定的可重写存储介质。例如，该存储介质包括半导体存储器例如RAM或内置闪速存储器、以及包括有硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡的可移动介质。

在数据通信模式下，当图像数据被发送时，由照相机单元926生成的图像数据被提供给图像处理单元927。图像处理单元927对该图像数据进行编码以生成编码数据。

解复用单元928以预定的方案对在图像处理单元927中生成的编码数据和从语音编解码器923提供的语音数据进行复用，以将该复用的数据提供给通信单元922。例如，通信单元922对复用的数据进行调制以及转换频率以从天线921发送所获得的发送信号。此外，例如，通信单元922对通过天线921接收的接收信号进行放大、转换频率以及将该信号进行解调以恢复复用的数据。复用的数据被提供给解复用单元928。解复用单元928将复用的数据分离，以将编码数据提供给图像处理单元927以及将语音数据提供给语音编解码器923。

图像处理单元927对编码数据进行解码以生成图像数据。图像数据被提供给显示单元930并且接收的图像被显示。语音编解码器923将语音数据转换成模拟语音信号并且将该信号提供给扬声器924，使得接收的语音被输出。

具有上述结构的移动电话在图像处理单元927处设置有本发明的图像编码装置（图像编码方法）的功能和图像解码装置（图像解码方法）的功能。因此，当进行图像数据通信时，可以提高编码效率或改善图像质量。

图24是用于示出采用本发明的记录和重放装置的示意性结构的示例性视图。例如，记录和重放装置94将接收的广播节目的音频数据和视频数据记录在记录介质中，并且在依赖于用户的指令的定时将所记录的数据提供给用户。例如，记录和重放装置94也可以从另外的装置获得音频数据和视频数据，并且将该数据记录在记录介质中。记录和重放装置94还对记录在记录介质中的音频数据和视频数据进行解码和输出，使得监视设备等可以显示图像或输出声音。

记录和重放装置94包括调谐器941、外部接口单元942、编码器943、硬盘驱动（HDD）单元944、磁盘驱动器945、选择器946、解码器947、画面显示（OSD）单元948、控制单元949和用户接口单元950。

调谐器941根据通过天线（在附图中未示出）接收的广播信号选择期望的信道。调谐器941对期望的信道的所接收的信号进行解调，以将所获得的编码流输出至选择器946。

外部接口单元942包括IEEE 1394接口、网络接口单元、USB接口、闪速存储器接口等中的至少一个。外部接口单元942用于连接至外部设备、网络、存储卡等。外部接口单元942接收要被记录的数据，例如，视频数据或语音数据。

当从外部接口单元942提供的视频数据和语音数据未被编码时，编码器943以预定的方案对该数据进行编码，以将该编码流输出至选择器946。

HDD单元944将视频、语音等的内容数据、各种程序、另外的数据等记录在内置硬盘中，并且当对数据进行重放时从硬盘中读取该数据。

磁盘驱动器945记录和重放用于所附光盘的信号。光盘例如包括DVD光盘（DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）和蓝光光盘。

当视频或语音被记录时，选择器946选择来自调谐器941或编码器943的流并且将该流提供给HDD单元944或磁盘驱动器945。当视频或语音被重放时，选择器946将从HDD单元944或光盘驱动器945输出的流提供给解码器947。

解码器947对该流进行解码。解码器947将通过解码处理生成的视频数据提供给OSD单元948。解码器947也输出通过解码处理生成的语音数据。

OSD单元948生成用于显示菜单画面等的视频数据，该菜单画面等例如用于选择项目，并且将该数据叠加到从解码器947输出的视频数据以输出叠加后的数据。

控制单元949连接到用户接口单元950。用户接口单元950包括操作开关和远程控制信号接收部件，以将依赖于用户的操作的操作信号提供给控制单元949。

控制单元949包括CPU、存储器等。存储器存储要由CPU执行的程序和CPU执行处理所需的各种数据。在预定定时例如记录和重放装置94被启动时，存储在存储器中的程序被CPU读取并且执行。CPU执行该程序以控制每个部件，件使得记录和重放装置94响应于用户的操作而工作。

具有上述结构的记录和重放装置在编码器943处设置有本发明的图像编码装置（图像编码方法）的功能，在解码器947处设置有本发明的图像解码装置（图像解码方法）的功能。这提高了编码的效率或改善了图像质量，并且可以有效地记录和重放视频。

图25是用于示出采用本发明的成像装置的示意性结构的示例性视图。成像装置96拍摄对象的图像，在显示单元上显示对象的图像并且将该图像作为图像数据录该在记录介质中。

成像装置96包括光学块961、成像单元962、相机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970。控制单元970连接到用户接口单元971。此外，图像数据处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969、控制单元970等通过总线972彼此连接。

光学块961包括聚焦透镜、光圈机构等。光学块961在成像单元962的成像表面上形成对象的光学图像。成像单元962包括CCD或CMOS图像传感器，以通过光电转换根据光学图像来生成电信号并且将该信号提供给相机信号处理单元963。

相机信号处理单元963对从成像单元962提供的电信号执行各种相机信号处理，例如，拐点校正、伽马校正和色彩校正。相机信号处理单元963将相机信号处理后的图像数据提供给图像数据处理单元964。

图像数据处理单元964对从相机信号处理单元963提供的图像数据进行编码。图像数据处理单元964将由编码处理生成的编码数据提供给外部接口单元966和介质驱动器968。图像数据处理单元964还对从外部接口单元966和介质驱动器968提供的编码数据进行解码。图像数据处理单元964将由解码处理生成的图像数据提供给显示单元965。图像数据处理单元964还将从相机信号处理单元963提供的图像数据提供给显示单元965。图像数据处理单元964将从OSD单元969获得的、要显示的数据叠加到图像数据并且将叠加后的数据提供给显示单元965。

OSD单元969生成包括菜单画面和图标的要显示的数据以将该数据输出至图像数据处理单元964，菜单画面包括符号、字符或图形。

外部接口单元966包括例如USB输入/输出端子并且在图像被打印时连接至打印机。当需要时，外部接口单元966连接至驱动器，并且适当地附接有包括磁盘和光盘的可移动介质，以在需要时安装从介质读取的计算机程序。外部接口单元966还包括连接至预定的网络例如LAN或互联网的网络接口。例如，根据来自用户接口单元971的命令，控制单元970从存储器单元967读取编码数据并且将来自外部接口单元966的数据提供给通过网络连接的另外的装置。控制单元970也可以通过外部接口单元966获得通过网络从另外的装置提供的编码数据或图像数据，并且将该数据提供给图像数据处理单元964。

例如，包括磁盘、磁光盘、光盘或半导体存储器的给定的可读、可写、可移动介质被用作在介质驱动器968中被驱动的记录介质。记录介质也可以包括任何类型的可移动介质，可以是磁带设备，光盘和存储卡。当然，记录介质可以是非接触式IC卡。

介质驱动器968可以包括非便携式记录介质，例如，内置硬盘驱动器或固态驱动器（SSD），同时与记录介质结合。

控制单元970包括CPU、存储器等。存储器存储要由CPU执行的程序以及CPU进行处理所需的各种数据。在预定定时例如成像装置96被启动时，存储在存储器中的程序被CPU读取并且执行。CPU执行该程序以控制每个部件，使得成像装置96响应于用户的操作而工作。

具有上述结构的成像装置在图像数据处理单元964处设置有本发明的图像编码装置（图像编码方法）的功能和图像解码装置（图像解码方法）的功能。因此，当所拍摄的图像被记录在存储器单元967、记录介质等时，可以提高编码效率或改善图像质量。因此，所拍摄的图像可以被有效地记录和重放。

另外，本发明不应当被理解为在本发明的上面提到的实施方式的限制范围内。由于本发明的实施方式公开了本发明作为示例，显然，本领域的普通技术人员可以在不偏离本发明的要点的情况下对实施方式进行修改或改变。换言之，为了判断本发明的要点，应当考虑权利要求的范围。

工业应用

根据本发明的图像解码装置、图像编码装置、图像解码方法、图像编码方法以及程序，使用较高层上的运动矢量作为预测运动矢量的预测精度的改善可以对图像有效地解码和编码。至于对运动矢量的检测，使用要被编码的低分辨率图像和低分辨率参考图像粗略地检测运动矢量。通过对包括要被编码的块的图像的多分辨率分析和图像的重构生成要被编码的低分辨率图像。使用从参考图像的多分辨率分析获得的多分辨率分析结果重构低分辨率参考图像。然后，使用在使用粗略的检测结果设置的所选区域中的高分辨率选择性参考图像和要被编码的高分辨率图像精确地检测运动矢量。因此，从存储器读取的用于检测运动矢量的数据量可以很小，并且可以有效地检测运动矢量。这可以对图像有效地编码。

因此，本发明例如适合于如下图像解码装置和图像编码装置，该图像解码装置和图像编码装置用于通过包括卫星广播、电缆电视（TV）、因特网和移动电话的网络媒体来发送和接收图像信息（比特流）或用于处理包括光盘或磁盘和闪速存储器的存储介质上的图像信息。通过块例如MPEG、H.26x等编码获得图像信息。

附图标记列表

10、10a：图像编码装置

11：A/D转换单元

12、57：画面排序缓冲器

13、166：减法单元

14：正交变换单元

15：量化单元

16：无损编码单元

17、51：存储缓冲器

18：速率控制单元

21、53：逆量化单元

22、54：逆正交变换单元

23、55、525：加法单元

24、56：去块效应滤波器

25：多分辨率分析单元

26：高速缓冲存储器

27、61：帧存储器

28：多分辨率重构单元

29：多分辨率分析/重构单元

31、62：帧内预测单元

32、32a：运动预测/补偿单元

33：预测图像/最优模式选择单元

50：图像解码装置

52：无损解码单元

58：D/A转换单元

62：运动补偿单元

64、946：选择器

90：电视装置

92：移动电话

94：记录和重放装置

96：成像装置

161、523：预测运动矢量设置单元

161a、523a：运动矢量存储单元

161b、523b：运动矢量选择单元

164-1至164-n：可变长度编码单元

165、522：选择单元

166：层次结构信息生成单元

521-1至521-n：可变长度解码单元

901、921：天线

902、941：调谐器

903：解复用器

904、947：解码器

905：视频信号处理单元

906：显示单元

907：语音信号处理单元

908：扬声器

909、942、966：外部接口单元

910、931、949、970：控制单元

911、932、971：用户接口单元

912、933、972：总线

922：通信单元

923：语音编解码器

924：扬声器

925：麦克风

926：照相机单元

927：图像处理单元

928：解复用单元

929：记录/再现单元

930：显示单元

943：编码器

944：HDD单元

945：光盘驱动器

948、969：OSD单元

961：光学块

962：成像单元

963：相机信号处理单元

964：图像数据处理单元

965：显示单元

967：存储器单元

968：介质驱动器

Claims (15)

1.一种图像解码装置，包括：

可变长度解码单元，所述可变长度解码单元用于对编码流进行解码以输出差异运动矢量；

预测运动矢量设置单元，所述预测运动矢量设置单元用于将较高层上的块的运动矢量设置为要被解码的块的预测运动矢量，所述较高层处的所述块包括所述要被解码的块并且具有比所述要被解码的块的块尺寸更大的块尺寸；以及

加法单元，所述加法单元用于将所述差异运动矢量加到所述预测运动矢量以计算所述要被解码的块的所述运动矢量。

2.根据权利要求1所述的图像解码装置，还包括：

多个所述可变长度解码单元；以及

选择单元，所述选择单元用于选择从所述可变长度解码单元输出的差异运动矢量；

其中，所述多个可变长度解码单元根据每个不同的层对所述流执行与可变长度编码相对应的可变长度解码，并且

所述选择单元基于表示所述要被解码的块的层的层次结构信息，选择来自所述可变长度解码单元的与所述要被解码的块的所述层相对应的输出。

3.一种图像解码方法，包括：

可变长度解码步骤，所述可变长度解码步骤用于对编码流进行解码以输出差异运动矢量；

预测运动矢量设置步骤，所述预测运动矢量设置步骤用于将较高层上的块的运动矢量设置为要被解码的块的预测运动矢量，所述较高层处的所述块包括所述要被解码的块并且具有比所述要被解码的块的块尺寸更大的块尺寸；以及

加法步骤，所述加法步骤用于将所述差异运动矢量加到所述预测运动矢量以计算所述要被解码的块的所述运动矢量。

4.一种程序，所述程序用于使计算机执行图像编码以及使所述计算机执行以下过程：

可变长度解码过程，所述可变长度解码过程用于对编码流进行解码以输出差异运动矢量；

预测运动矢量设置过程，所述预测运动矢量设置过程用于将较高层上的块的运动矢量设置为要被解码的块的预测运动矢量，所述较高层处的所述块包括所述要被解码的块并且具有比所述要被解码的块的块尺寸更大的块尺寸；以及

加法过程，所述加法过程用于将所述差异运动矢量加到所述预测运动矢量以计算所述要被解码的块的所述运动矢量。

5.一种图像编码装置，包括：

预测运动矢量设置单元，所述预测运动矢量设置单元用于将在较高层上的块处检测的运动矢量设置为要被编码的块的预测运动矢量，所述较高层处的所述块包括所述要被编码的块并且具有比所述要被编码的块的块尺寸更大的块尺寸；

差异计算单元，所述差异计算单元用于计算所述要被编码的块的所述运动矢量与所设置的预测运动矢量之间的差异；以及

可变长度编码单元，所述可变长度编码单元用于执行对差异运动矢量的可变长度编码。

6.根据权利要求5所述的图像编码装置，还包括：

层次结构信息生成单元，所述层次结构信息生成单元用于在每个具有最高层的块尺寸的宏块处生成层次结构信息，所述层次结构信息表示包括在所述宏块中的要被编码的块的层。

7.根据权利要求6所述的图像编码装置，还包括：

多个所述可变长度编码单元；以及

选择单元，所述选择单元用于选择从所述多个可变长度编码单元输出的编码数据，

其中，所述多个可变长度编码单元执行对所述差异运动矢量的可变长度编码，并且所述可变长度编码被最优化以在每个不同的层产生最有效率的编码，并且

所述选择单元选择来自所述可变长度编码单元的与所述要被编码的块的所述层相对应的输出。

8.根据权利要求6所述的图像编码装置，其中，所述预测运动矢量设置单元使用编码的相邻宏块的运动矢量作为所述预测运动矢量的候选，以从所述候选中选择产生最有效率的编码的运动矢量，并且将所述运动矢量设置为所述最高层的所述预测运动矢量。

9.根据权利要求5所述的图像编码装置，还包括：

多分辨率分析/重构单元，所述多分辨率分析/重构单元用于对所述要被编码的块的图像执行多分辨率分析以及对所述图像进行重构；

多分辨率分析单元，所述多分辨率分析单元用于对用于计算所述运动矢量的参考图像执行多分辨率分析；

存储器，所述存储器用于存储来自对所述参考图像的所述多分辨率分析的结果；以及

多分辨率重构单元，所述多分辨率重构单元用于使用存储在所述存储器中的来自所述多分辨率分析的所述结果来重构图像，

其中，用于检测所述运动矢量的运动预测单元使用要被编码的低分辨率图像和低分辨率参考图像粗略地检测运动矢量，所述要被编码的低分辨率图像在所述多分辨率分析/重构单元中生成，并且所述低分辨率参考图像在所述多分辨率重构单元中生成，然后，所述运动预测单元使用要被编码的高分辨率图像和高分辨率选择性参考图像精确地检测所述运动矢量，所述要被编码的高分辨率图像在所述多分辨率分析/重构单元中生成，所述高分辨率选择性参考图像在基于粗略地检测的运动矢量设置的所选区域中并且在所述多分辨率重构单元中生成。

10.一种图像编码方法，包括：

预测运动矢量设置步骤，所述预测运动矢量设置步骤用于将在较高层上的块处检测的运动矢量设置为要被编码的块的预测运动矢量，所述较高层处的所述块包括所述要被编码的块并且具有比所述要被编码的块的块尺寸更大的块尺寸；

差异计算步骤，所述差异计算步骤用于计算所述要被编码的块的所述运动矢量与所设置的预测运动矢量之间的差异；以及

可变长度编码步骤，所述可变长度编码步骤用于对所述差异运动矢量进行编码。

11.一种程序，所述程序用于使计算机执行图像编码以及使所述计算机执行以下过程：

预测运动矢量设置过程，所述预测运动矢量设置过程用于将在较高层上的块处检测的运动矢量设置为要被编码的块的预测运动矢量，所述较高层处的所述块包括所述要被编码的块并且具有比所述要被编码的块的块尺寸更大的块尺寸；

差异计算过程，所述差异计算过程用于计算所述要被编码的块的所述运动矢量与所设置的预测运动矢量之间的差异；以及

可变长度编码过程，所述可变长度编码过程用于对所述差异运动矢量进行编码。

12.一种图像编码装置，包括：

多分辨率分析/重构单元，所述多分辨率分析/重构单元用于对要被编码的块的图像执行多分辨率分析以及对所述图像进行重构；

多分辨率分析单元，所述多分辨率分析单元用于对用于计算运动矢量的参考图像执行多分辨率分析；

存储器，所述存储器用于存储来自对所述参考图像的所述多分辨率分析的结果；

多分辨率重构单元，所述多分辨率重构单元用于使用存储在所述存储器中的来自所述多分辨率分析的所述结果来重构图像；以及

运动预测单元，所述运动预测单元用于使用要被编码的低分辨率图像和低分辨率参考图像粗略地检测运动矢量，并且使用要被编码的高分辨率图像和高分辨率选择性参考图像精确地检测所述运动矢量，所述要被编码的低分辨率图像在所述多分辨率分析/重构单元中生成，所述低分辨率参考图像在所述多分辨率重构单元中生成，所述要被编码的高分辨率图像在所述多分辨率分析/重构单元中生成，所述高分辨率选择性参考图像在基于粗略地检测的运动矢量设置的所选区域中，所述高分辨率选择性参考图像在所述多分辨率重构单元中生成。

13.根据权利要求12所述的图像编码装置，

其中，所述存储器包括第一存储器和第二存储器，

所述第一存储器按照分辨率的升序存储多分辨率分析结果，并且将超出所述第一存储器的存储器容量的多分辨率分析结果存储在所述第二存储器中，以及

所述多分辨率重构单元使用存储在所述第一存储器中的所述多分辨率分析结果来重构图像，并且当必需的多分辨率分析结果没有存储在所述第一存储器中时，从所述第二存储器中读取所述必需的多分辨率分析结果。

14.一种图像编码方法，包括：

多分辨率分析/重构步骤，所述多分辨率分析/重构步骤用于对要被编码的块的图像执行多分辨率分析和重构；

多分辨率分析步骤，所述多分辨率分析步骤用于对用于计算所述运动矢量的参考图像执行多分辨率分析；

存储步骤，所述存储步骤用于将来自所述多分辨率分析的结果存储在存储器中；

多分辨率重构步骤，所述多分辨率重构步骤用于使用存储在所述存储器中的来自所述多分辨率分析的所述结果来重构图像；以及

运动预测步骤，所述运动预测步骤用于使用要被编码的低分辨率图像和低分辨率参考图像粗略地检测运动矢量，并且使用要被编码的高分辨率图像和高分辨率选择性参考图像精确地检测所述运动矢量，所述要被编码的低分辨率图像在所述多分辨率分析/重构单元中生成，所述低分辨率参考图像在所述多分辨率重构单元中生成，所述要被编码的高分辨率图像在所述多分辨率分析/重构单元中生成，所述高分辨率选择性参考图像在基于粗略地检测的运动矢量设置的所选区域中并且在所述多分辨率重构单元中生成。

15.一种程序，所述程序用于使计算机执行图像编码以及使所述计算机执行以下过程：

多分辨率分析/重构过程，所述多分辨率分析/重构过程用于对要被编码的块的图像执行多分辨率分析和重构；

多分辨率分析过程，所述多分辨率分析过程用于对用于计算所述运动矢量的参考图像执行多分辨率分析；

存储过程，所述存储过程用于将来自所述多分辨率分析的结果存储在存储器中；

多分辨率重构过程，所述多分辨率重构过程用于使用存储在所述存储器中的来自所述多分辨率分析的所述结果来重构图像；以及

运动预测过程，所述运动预测过程用于使用要被编码的低分辨率图像和低分辨率参考图像粗略地检测运动矢量，并且使用要被编码的高分辨率图像和高分辨率选择性参考图像精确地检测所述运动矢量，所述要被编码的低分辨率图像在所述多分辨率分析/重构单元中生成，所述低分辨率参考图像在所述多分辨率重构单元中生成，所述要被编码的高分辨率图像在所述多分辨率分析/重构单元中生成，所述高分辨率选择性参考图像在基于粗略地检测的运动矢量设置的所选区域中并且在所述多分辨率重构单元中生成。

Images