CN103238329A - 图像解码装置、运动矢量解码方法、图像编码装置和运动矢量编码方法 - Google Patents

Abstract

在本发明中，可逆解码单元（52）从压缩图像信息中获取预测水平块信息和预测垂直块信息，其中预测水平块信息表示要被解码的块和已经解码的相邻块中将运动矢量信息选择作为预测水平运动矢量信息的块，预测垂直块信息表示将运动矢量信息选择作为预测垂直运动矢量信息的块。预测运动矢量信息设置单元（73）将由预测水平块信息所表示的块的运动矢量信息设置为预测水平运动矢量信息，并且将由预测垂直块信息表示的块的运动矢量信息设置为预测垂直运动矢量。使用所设置的预测水平运动矢量信息和预测垂直运动矢量信息，运动补偿单元（72）的运动矢量信息生成单元生成要解码的块的运动矢量信息。结果，提高了编码效率。

Description

图像解码装置、运动矢量解码方法、图像编码装置和运动矢量编码方法

技术领域

本技术涉及图像解码装置和运动矢量解码方法，以及涉及图像编码装置和运动矢量编码方法。具体地，该技术提高了对运动图像进行编码时的效率。

背景技术

近年来，将图像信息处置为数字信息并且在这样做时实现高效信息传送和累积的设备、或者符合用于通过如离散余弦变换的正交变换和运动补偿进行压缩的标准（诸如MPEG）的设备已在广播站和一般家庭中得以普及。

具体地，MPEG2（ISO/IEC 13818-2）被定义为通用的图像编码标准，并且当前用于针对专业人士和一般消费者的各种应用。根据MPEG2压缩技术，例如，将4Mbps至8Mbps的比特率分配给具有720×480个像素的标准分辨率隔行扫描图像（interlaced image）。以此方式，可以实现高压缩率和极好的图像质量。另外，将18Mbps至22Mbps的比特率分配给具有1920×1088个像素的高分辨率隔行扫描图像，以实现高压缩率和极好的图像质量。

尽管在编码和解码中需要比诸如MPEG2或MPEG4的传统编码方法的计算量大的计算量，但是在增强压缩视频编码的联合模型的名义下进行了用于实现更高编码效率的标准化，其中该联合模型已成为作为H.264和MPEG部分10（下文中称为“H.264/AVC（高级视频编码）”）的国际标准。

如图1（A）所示，在H.264/AVC中，将由16×16个像素形成的宏块分割为16×16、16×8、8×16或8×8像素块，这些像素块可以具有相互独立的运动矢量信息。如图1（B）所示，每个8×8像素子宏块可以进一步被分割成8×8、8×4、4×8或4×4像素的运动补偿块，这些运动补偿块可以具有相互独立的运动矢量信息。在MPEG-2中，运动预测/补偿操作中的每个单位在帧运动补偿模式下为16×16个像素，并且在场运动补偿模式下在第一场和第二场的每个场中均为16×8个像素。对于这样的单位，执行运动预测/补偿操作。

在H.264/AVC中，执行这种运动预测/补偿操作。结果，生成大量的运动矢量信息，并且按原样对运动矢量信息进行编码将导致编码效率的降低。

作为解决这样的问题的手段，在H.264/AVC中使用下述的中值预测，以实现运动矢量信息量的减小。

在图2中，块E是要编码的当前块，并且块A至D是已编码且与当前块E相邻的块。

这里，X是A、B、C、D或E，并且mvX表示与块X有关的运动矢量信息。

通过使用与块A、B和C有关的运动矢量信息，如等式（1）所示，通过中值预测来生成与当前块E有关的预测运动矢量信息pmvE。

pmvE=med(mvA,mvB,mvC)…(1)

如果由于相邻块C位于图像帧的角落等处而无法获得与块C有关的信息，则替代地使用与相邻块D有关的信息。

在压缩图像信息中，如等式（2）所示，通过使用pmvE来生成要被编码为与当前块E有关的运动矢量信息的数据mvdE。

mvdE=mvE-pmvE…(2)

在实际操作中，对相互独立的运动矢量信息的水平分量和垂直分量执行处理。

另外，在H.264/AVC中，指定多参考帧方法。现在参照图3，描述了在H.264/AVC中所指定的多参考帧方法。

在MPEG2等中，在P画面的情况下，通过参考存储在帧存储器中的仅一个参考帧来执行运动预测/补偿操作。然而，在H.264/AVC中，多于一个参考帧被存储在存储器中，以使得对于每个块可以参考不同的存储器，如图3所示。

尽管B画面中的运动矢量信息量非常大，但是在H.264/AVC中存在称为直接模式的预定模式。在直接模式中，运动矢量信息没有被包含在压缩图像信息中，并且解码装置从与周围块或锚点块（同位块）有关的运动矢量信息中提取与块有关的运动矢量信息。锚点块是在参考图像中具有与当前块相同的x-y坐标的块。

直接模式包括空间直接模式和时间直接模式，并且可以针对每个宏块条（slice）来选择这两种模式中的一种。

在空间直接模式下，通过中值预测所生成的运动矢量信息pmvE被用作要用于块的运动矢量信息mvE，如等式（3）所示。

mvE=pmvE…(3)

现在参照图4描述时间直接模式。在图4中，在L0参考画面中位于与块相同的空间地址的块是锚点块，并且与锚点块有关的运动矢量信息是运动“mvcol”。另外，“TDB”表示在时间轴上画面与L0参考画面之间的距离，并且“TDD”表示在时间轴上L0参考画面与L1参考画面之间的距离。在该情况下，根据等式（4）和（5）来计算画面中的L0运动矢量信息mvL0和L1运动矢量信息mvL1。

mvL0=(TDB/TDD)mvcol…(4)

mvL1=((TDD-TDB)/TDD)mvcol…(5)

在压缩图像信息中，不存在表示时间轴上的距离的信息，因此根据等式（4）和（5）的计算使用POC（画面序列号）。

在AVC压缩图像信息中，可以基于16×16像素宏块单位或基于8×8像素子宏块单位来定义直接模式。

同时，非专利文献1已提出了对如图2所示的使用中值预测的运动矢量信息编码的改进。根据非专利文献1，可以自适应地使用时间预测运动矢量信息或时空预测运动矢量信息以及通过中值预测而获得的空间预测运动矢量信息。

即，在图5中，运动矢量信息mvcol是关于当前块相对于锚点块的运动矢量信息。另外，运动矢量信息mvtk（k=0至8）是与周围块有关的运动矢量信息。

时间预测运动矢量信息mvtm是通过使用等式（6）根据五条运动矢量信息而生成的。替选地，可通过使用等式（7）根据九条运动矢量信息来生成时间预测运动矢量信息mvtm。

mvtm5=med(mvcol,mvt0,…mvt3)…(6)

mvtm9=med(mvcol,mvt0,…mvt7)…(7)

时空预测运动矢量信息mvspt是通过使用等式（8）根据五条运动矢量信息而生成的。

mvspt=med(mvcol,mvcol,mvA,mvB,mvC)…(8)

在对图像信息进行编码的图像处理装置中，通过使用与各个块有关的预测运动矢量信息来计算各个块的成本函数值，并且选择最优的预测运动矢量信息。通过压缩图像信息，针对每个块传送用于确定使用了哪个预测运动矢量信息的标记。

在诸如UHD（超高清：4000×2000像素）帧的较大帧中，存在MPEG2或H.264/AVC中所指定的16×16像素的宏块尺寸不是最优尺寸的情况。例如，在较大帧中，存在可以通过使用较大宏块尺寸来提高编码效率的情况。鉴于此，如在非专利文献2中所述的那样，在作为下一代编码方法的HEVC（高效视频编码）中指定编码单位CU。根据非专利文献2，在要作为输出的压缩图像信息的SPS（序列参数集）中指定编码单位CU的最大尺寸（LCU=最大编码单位）和最小尺寸（SCU=最小编码单位）。另外，在每个LCU中，在不小于SCU尺寸的范围内设置split-flag=1，使得每个LCU可以被划分成较小尺寸的编码单位CU。

图6示出了编码单位CU的示例层级结构。在图6所示的示例中，最大的尺寸为128×128个像素，并且层级深度为“5”。例如，在层级深度为“0”的情况下，2N×2N（N=64个像素）是编码单位CU0。在split flag=1的情况下，编码单位CU0被划分成四个独立的N×N块，并且N×N块属于作为一个层级以下的层级。即，层级为“1”，并且每个2N×2N（N=32个像素）块为编码单位CU1。同样，在split flag=1的情况下，每个编码单位被划分成四个独立块。另外，在作为最深层级的深度“4”的情况下，每个2N×2N（N=4个像素）块是编码单位CU4，并且8×8像素是编码单位CU的最小单位。在HEVC中，也通过划分编码单位来定义作为用于预测的基本单位的预测单位（PU）。

引用列表

非专利文献

非专利文献1：“Competition-Based Scheme for Motion VectorSelection and Coding（用于运动矢量选择和编码的基于竞争的方案）”(VCEG-AC06,ITU-Telecommunications Standardization Sector.STUDYGROUP 16 Question 6.Video Coding Experts Group 29th Meeting:Klagenfurt Austria,2006年7月)

非专利文献2：“Test Model under Consideration（所考虑的测试模式）”(JCTVC-B205,2nd JCT-VC Meeting,Geneva,CH,2010年7月)

发明内容

本发明要解决的问题

同时，由于不能为水平方向和垂直方向上的运动矢量分量提供独立预测信息，因此非专利文献1无法实现编码效率的充分提高。例如，在水平方向上存在三个候选以及垂直方向上存在三个候选的情况下，由于存在水平方向和垂直方向上的候选的九（3×3）种组合，因此准备了九种标记，并且执行编码操作。然而，组合数量的增加导致标记的类型数量增加，并且表示标记的信息的比特率变得更大。

鉴于此，该技术旨在提供能够提高编码效率的图像解码装置和运动矢量解码方法、以及图像编码装置和运动矢量编码方法。

针对技术问题的方案

本技术的第一方面在于一种图像解码装置，包括：无损解码单元，被配置为根据压缩图像信息获得预测水平块信息和预测垂直块信息，预测水平块信息表示与当前块相邻的已解码块中具有以下运动矢量信息的块，该运动矢量信息被选择作为预测水平运动矢量信息，预测垂直块信息表示与当前块相邻的已解码块中具有以下运动矢量信息的块，该运动矢量信息被选择作为预测垂直运动矢量信息；预测运动矢量信息设置单元，其将与预测水平块信息所表示的块有关的运动矢量信息设置为预测水平运动矢量信息，并且将与预测垂直块信息所表示的块有关的运动矢量信息设置为预测垂直运动矢量信息；以及运动矢量信息生成单元，其通过使用预测运动矢量信息设置单元所设置的预测水平运动矢量信息和预测垂直运动矢量信息来生成与当前块有关的运动矢量信息。

根据该技术，在对通过将输入图像数据分割成像素块、检测与每个块有关的运动矢量信息并执行运动补偿预测编码而生成的压缩图像信息执行解码操作的图像解码装置中，根据压缩图像信息获得预测水平块信息和预测垂直块信息，其中该预测水平块信息表示根据与当前块相邻的解码块中将运动矢量信息选择作为预测水平运动矢量信息的块，该预测垂直块信息表示运动矢量信息被选择作为预测垂直运动矢量信息的块。与预测水平块信息所表示的块有关的运动矢量信息被设置为预测水平运动矢量信息，并且与预测垂直块信息所表示的块有关的运动矢量信息被设置为预测垂直运动矢量信息。通过使用所设置的预测水平运动矢量信息和预测垂直运动矢量信息来生成与当前块有关的运动矢量信息。

此外，根据压缩图像信息获得标识信息。该标识信息表示使用了预测水平运动矢量信息和预测垂直运动矢量信息、还是使用了预测水平/垂直运动矢量信息。预测水平/垂直运动矢量信息表示针对与当前块有关的运动矢量信息的水平分量和垂直分量而从相邻解码块中选择的运动矢量信息。基于该标识信息，设置预测水平运动矢量信息和预测垂直运动矢量信息、或者预测水平/垂直运动矢量信息，并且生成与当前块有关的运动矢量信息。

本技术的第二方面在于一种运动矢量信息解码方法，包括以下步骤：根据压缩图像信息获得预测水平块信息和预测垂直块信息，预测水平块信息表示与当前块相邻的已解码块中具有以下运动矢量信息的块，该运动矢量信息被选择作为预测水平运动矢量信息，预测垂直块信息表示与当前块相邻的已解码块中具有以下运动矢量信息的块，该运动矢量信息被选择作为预测垂直运动矢量信息；将与预测水平块信息所表示的块有关的运动矢量信息设置为预测水平运动矢量信息，并且将与预测垂直块信息所表示的块有关的运动矢量信息设置为预测垂直运动矢量信息；以及通过使用所设置的预测水平运动矢量信息和预测垂直运动矢量信息来生成与当前块有关的运动矢量信息。

本技术的第三方面在于一种图像编码装置，包括：预测运动矢量信息设置单元，其针对与当前块有关的运动矢量信息的水平分量和垂直分量，分别通过从与当前块相邻的已编码块中选择运动矢量信息来设置预测水平运动矢量信息和预测垂直运动矢量信息，并且生成表示该运动矢量信息被选择的块的预测水平块信息和预测垂直块信息。

根据本技术，在通过将输入图像数据分割成像素块并检测与每个块有关的运动矢量信息来执行运动补偿预测编码的图像编码装置中，针对与当前块有关的运动矢量信息的水平分量和垂直分量，通过从与当前块相邻的已编码块中选择运动矢量信息来设置预测水平运动矢量信息和预测垂直运动矢量信息。例如，对于通过以具有最小成本函数值的最优预测模式进行运动搜索而获得的运动矢量信息的水平分量，与具有最高编码效率的编码相邻块有关的运动矢量信息被选择并设置为预测水平运动矢量信息。此外，对于通过以最优预测模式进行运动搜索而获得的运动矢量信息的垂直分量，与具有最高编码效率的编码相邻块有关的运动矢量信息被选择并设置为预测垂直运动矢量信息。通过使用预测水平运动矢量信息和预测垂直运动矢量信息来压缩与当前块有关的运动矢量信息。此外，生成表示其运动矢量信息被选择的块的预测水平块信息和预测垂直块信息，并且将预测水平块信息和预测垂直块信息包含于压缩图像信息中。

此外，对于与当前块有关的运动矢量信息的水平分量和垂直分量，可以针对每个画面或宏块条而在预测水平/垂直运动矢量信息与预测水平运动矢量信息和预测垂直运动矢量信息之间切换从与当前块相邻的已编码块中选择的运动矢量信息。例如，针对P画面来设置预测水平运动矢量信息和预测垂直运动矢量信息，并且针对B画面来设置预测水平/垂直运动矢量信息。另外，压缩图像信息包含表示使用了预测水平运动矢量信息和预测垂直运动矢量信息还是使用了预测水平/垂直运动矢量信息的标识信息。

此外，例如，将代码分配给预测水平块信息和预测垂直块信息，并且将分配给预测水平块信息和预测垂直块信息的代码包含于压缩图像信息。另外，当对基于由成像设备生成的图像数据而检测到的运动矢量信息执行编码操作时，根据对成像设备执行的运动检测的结果来分配代码。

本技术的第四方面在于一种运动矢量信息编码方法，包括以下步骤：针对与当前块有关的运动矢量信息的水平分量和垂直分量，通过从与当前块相邻的已编码块中选择运动矢量信息来分别设置预测水平运动矢量信息和预测垂直运动矢量信息，并且生成表示运动矢量信息被选择的块的预测水平块信息和预测垂直块信息。

本发明的效果

根据本技术，针对与当前块有关的运动矢量信息的水平分量和垂直分量，通过从与当前块相邻的已编码块中选择运动矢量信息来分别设置预测水平运动矢量信息和预测垂直运动矢量信息，并且通过使用所设置的预测水平运动矢量信息和预测垂直运动矢量信息来压缩与当前块有关的运动矢量信息。此外，生成表示其运动矢量信息被选择的块的预测水平块信息和预测垂直块信息。另外，基于预测水平块信息和预测垂直块信息来对运动矢量信息进行解码。相应地，可以通过使用比等同于预测水平运动矢量信息和预测垂直运动矢量信息的候选的组合的标记的数据量小的预测水平块信息和预测垂直块信息，设置预测水平运动矢量信息和预测垂直运动矢量信息，因此，能够提高编码效率。

附图说明

图1是示出H.264/AVC中的块的图。

图2是用于说明中值预测的图。

图3是用于说明多参考帧方法的图。

图4是用于说明时间直接模式的图。

图5是用于说明时间预测运动矢量信息和时空预测运动矢量信息的图。

图6是示出编码单位CU的示例层级结构的图。

图7是示出图像编码装置的结构的图。

图8是示出运动预测/补偿单元和预测运动矢量信息设置单元的结构的图。

图9是用于说明具有1/4像素精度的运动预测/补偿操作的图。

图10示出了图像编码装置的操作的流程图。

图11是示出预测操作的流程图。

图12是示出帧内预测操作的流程图。

图13是示出帧间预测操作的流程图。

图14是示出预测运动矢量信息设置操作的流程图。

图15是示出图像解码装置的结构的图。

图16是示出运动补偿单元和预测运动矢量信息设置单元的结构的图。

图17是示出图像解码装置的操作的流程图。

图18是示出预测图像生成操作的流程图。

图19是示出帧间预测图像生成操作的流程图。

图20是示出运动矢量信息重构操作的流程图。

图21是示出图像编码装置中所使用的预测运动矢量信息设置单元的另一示例结构的图。

图22是示出图像解码装置中所使用的预测运动矢量信息设置单元的另一示例结构的图。

图23是示意性地示出计算机装置的示例结构的图。

图24是示意性地示出电视机设备的示例结构的图。

图25是示意性地示出便携式电话装置的示例结构的图。

图26是示意性地示出记录/再现设备的示例结构的图。

图27是示意性地示出成像设备的示例结构的图。

具体实施方式

以下是对实现本技术的实施例的描述。将按以下顺序进行说明。

1.图像编码装置的结构

2.图像编码装置的操作

3.图像解码装置的结构

4.图像解码装置的操作

5.预测运动矢量信息设置单元的其他示例结构

6.软件处理

7.对电子设备的应用

[1.图像编码装置的结构]

图7示出了图像编码装置的结构。图像编码装置10包括模拟/数字转换器（A/D转换器）11、屏幕重排缓冲器12、减法单元13、正交变换单元14、量化单元15、无损编码单元16、累积缓冲器17和速率控制单元18。图像编码装置10还包括逆量化单元21、逆正交变换单元22、加法单元23、去块滤波器24、帧存储器25、帧内预测单元31、运动预测/补偿单元32、预测运动矢量信息设置单元33和预测图像/最优模式选择单元35。

A/D转换器11将模拟图像信号转换成数字图像数据，并且将该图像数据输出到屏幕重排缓冲器12。

屏幕重排缓冲器12对从A/D转换器11输出的图像数据的帧进行重排。屏幕重排缓冲器12根据与编码操作有关的GOP（画面组）结构对帧进行重排，并且将重排后的图像数据输出到减法单元13、帧内预测单元31和运动预测/补偿单元32。

减法单元13接收从屏幕重排缓冲器12输出的图像数据和由稍后描述的预测图像/最优模式选择单元35选择的预测图像数据。减法单元13计算作为从屏幕重排缓冲器12输出的图像数据与从预测图像/最优模式选择单元15提供的预测图像数据之间的差的预测误差数据，并且将预测误差数据输出到正交变换单元14。

正交变换单元14对从减法单元13输出的预测误差数据执行诸如离散余弦变换（DCT）或卡洛变换（Karhunen-Loeve transform）的正交变换操作。正交变换单元14将通过执行正交变换操作而获得的变换系数数据输出到量化单元15。

量化单元15接收从正交变换单元14输出的变换系数数据和从稍后描述的速率控制单元18提供的速率控制信号。量化单元15对变换系数数据进行量化，并且将量化数据输出到无损编码单元16和逆量化单元21。基于从速率控制单元18提供的速率控制信号，量化单元15切换量化参数（量化位阶），以改变量化数据的比特率。

无损编码单元16接收从量化单元15输出的量化数据、从稍后描述的帧内预测单元31提供的预测模式信息和从运动预测/补偿单元32提供的预测模式信息等。另外，从预测图像/最优模式选择单元35提供表示最优模式是帧内预测还是帧间预测的信息。根据预测模式是帧内预测还是帧间预测，预测模式信息包含表示预测模式的信息、关于预测单位的块尺寸信息等。无损编码单元16通过可变长编码或算术编码等对量化数据执行无损编码操作，以生成压缩图像信息并将其输出到累积缓冲器17。当最优模式是帧内预测时，无损编码单元16对从帧内预测单元31提供的预测模式信息执行无损编码。当最优模式是帧间预测时，无损编码单元16对从运动预测/补偿单元32提供的预测模式信息、预测块信息、差运动矢量信息等执行无损编码。此外，无损编码单元16将经受了无损编码的信息包含于压缩图像信息中。例如，无损编码单元16将信息添加到作为压缩图像信息的编码流中的报头信息中。

累积缓冲器17存储从无损编码单元16提供的压缩图像信息。累积缓冲器17还以适合于传送路径的传送速率输出所存储的压缩图像信息。

速率控制单元18监视累积缓冲器17中的自由空间，根据自由空间生成速率控制信号，并且将速率控制信号输出到量化单元15。速率控制单元18例如从累积缓冲器17获得表示自由空间的信息。当剩余的自由空间较小时，速率控制单元18通过速率控制信号降低量化数据的比特率。当累积缓冲器17中的剩余自由空间足够大时，速率控制单元18通过速率控制信号增加量化数据的比特率。

逆量化单元21对从量化单元15提供的量化数据进行逆量化。逆量化单元21将通过执行逆量化操作而获得的变换系数数据输出到逆正交变换单元22。

逆正交变换单元22对从逆量化单元21提供的变换系数数据执行逆正交变换操作，并且将所得到的数据输出到加法单元23。

加法单元23将从逆正交变换单元22提供的数据与从预测图像/最优模式选择单元35提供的预测图像数据相加，以生成解码图像数据。然后，加法单元23将解码图像数据输出到去块滤波器24和帧存储器25。解码图像数据被用作参考图像的图像数据。

去块滤波器24执行滤波操作以减少在图像编码时发生的块失真。去块滤波器24执行滤波操作以从由加法单元23提供的解码图像数据去除块失真，并且将滤波后的解码图像数据输出到帧存储器25。

帧存储器25存储从加法单元23提供的且尚未经受滤波操作的解码图像数据以及从去块滤波器24提供的且已经受滤波操作的解码图像数据。存储在帧存储器25中的解码图像数据作为参考图像数据经由选择器26而被提供到帧内预测单元31或运动预测/补偿单元32。

当在帧内预测单元31处执行帧内预测时，选择器26将存储在帧存储器25中的且尚未经受去块滤波操作的解码图像数据作为参考图像数据提供到帧内预测单元31。当在运动预测/补偿单元32处执行帧间预测时，选择器26将存储在帧存储器25中的且已经受去块滤波操作的解码图像数据作为参考图像数据提供到运动预测/补偿单元32。

使用从屏幕重排缓冲器12提供的输入图像数据和从帧存储器25提供的参考图像数据，帧内预测单元31在所有候选帧内预测模式下对当前块执行预测，以确定最优帧内预测模式。帧内预测单元31计算例如每种帧内预测模式下的成本函数值，并且基于所算出的成本函数值来设置作为具有最高编码效率的帧内预测模式的最优帧内预测模式。帧内预测单元31将在最优帧内预测模式下所生成的预测图像数据和在最佳帧内预测模式下的成本函数值输出到预测图像/最优模式选择单元35。帧内预测单元31还将表示最优帧内预测模式的预测模式信息输出到无损编码单元16。

使用从画面重排缓冲器12提供的输入图像数据和从帧存储器25提供的参考图像数据，运动预测/补偿单元32在所有候选帧间预测模式下对当前块执行预测，以确定最优帧间预测模式。运动预测/补偿单元32计算例如每种帧间预测模式下的成本函数值，并且基于所算出的成本函数值，设置作为具有最高编码效率的帧间预测模式的最优帧间预测模式。使用由预测运动矢量信息设置单元33生成的预测块信息和差运动矢量信息，运动预测/补偿单元32计算成本函数值。另外，运动预测/补偿单元32将在最优帧间预测模式下所生成的预测图像数据和最优帧间预测模式下的成本函数值输出到预测图像/最优模式选择单元35。运动预测/补偿单元32也将关于最优帧间预测模式的预测模式信息、预测块信息、差运动矢量信息等输出到无损编码单元16。

预测运动矢量信息设置单元33将与相邻的已编码块有关的水平运动矢量信息设置为与当前块有关的预测水平运动矢量信息的候选。预测运动矢量信息设置单元33也针对每个候选生成差运动矢量信息，其中差运动矢量信息表示候选预测水平运动矢量信息与与当前块有关的水平运动矢量信息之间的差。另外，预测运动矢量信息设置单元33将候选当中的在对差运动矢量信息进行编码时具有最高编码效率的水平运动矢量信息设置为预测水平运动矢量信息。预测运动矢量信息设置单元33生成表示所设置的预测水平运动矢量信息属于哪个相邻块的预测水平块信息。例如，生成作为预测水平块信息的标记（下文中，称为“预测水平块标记”）。

预测运动矢量信息设置单元33将与编码相邻块有关的垂直运动矢量信息设置为与当前块有关的预测垂直运动矢量信息的候选。预测运动矢量信息设置单元33也针对每个候选来生成差运动矢量信息，其中差运动矢量信息表示候选预测垂直运动矢量信息与关于当前块的垂直运动矢量信息之间的差。另外，预测运动矢量信息设置单元33将候选当中的在对差运动矢量信息进行编码时具有最高编码效率的垂直运动矢量信息设置为预测垂直运动矢量信息。预测运动矢量信息设置单元33生成表示所设置的预测垂直运动矢量信息属于哪个相邻块的预测垂直块信息。例如，生成作为预测垂直块信息的标记（下文中，称为“预测垂直块标记”）。

另外，预测运动矢量信息设置单元33使用与预测块标记所表示的块有关的运动矢量信息作为与水平分量和垂直分量有关的预测运动矢量信息。预测运动矢量信息设置单元33也计算差运动矢量信息，并且将所算出的差运动矢量信息输出到运动预测/补偿单元32，其中该差运动矢量信息是关于当前块的运动矢量信息与关于水平分量和垂直分量的预测运动矢量信息之间的差。

图8示出了运动预测/补偿单元32和预测运动矢量信息设置单元33的结构。运动预测/补偿单元32包括运动搜索单元321、成本函数值计算单元322、模式确定单元323、运动补偿处理单元324和运动矢量信息缓冲器325。

从屏幕重排缓冲器12提供的重排后的输入图像数据和从帧存储器25读取的参考图像数据被提供到运动搜索单元321。运动搜索单元321在所有候选帧间预测模式下进行运动搜索，以检测运动矢量。运动搜索单元321将表示所检测的运动矢量的运动矢量信息连同对于已检测到运动矢量的情况的输入图像数据和参考图像数据一起输出到成本函数值计算单元322。

运动矢量信息、输入图像数据和参考图像数据被从运动搜索单元321提供到成本函数值计算单元322，并且预测块信息和差运动矢量信息被从预测运动矢量信息设置单元33提供到成本函数值计算单元322。使用运动矢量信息、输入图像数据、参考图像数据、预测块标记和差运动矢量信息，成本函数值计算单元322计算所有候选帧间预测模式下的成本函数值。

如作为H.264/AVC中的参考软件的JM（联合模型）中所指定的，通过高复杂度模式或低复杂度模式的方法来计算成本函数值。

具体地，在高复杂度模式下，以每种候选预测模式临时执行以无损编码操作结束的操作，以在每种预测模式下计算由以下等式（9）表示的成本函数值：

Cost(Mode∈Ω)=D+λ·R…(9)

这里，Ω表示用于对块的图像进行编码的候选预测模式的全体集合。D表示在以预测模式执行编码的情况下解码图像与输入图像之间的能量差（失真）。R表示包括正交变换系数、预测模式信息、预测块信息、差运动矢量信息等的比特生成率，λ表示作为量化参数QP的函数而给出的拉格朗日乘数。

即，为了在高复杂度模式下执行编码，需要以所有候选预测模式执行临时编码操作以计算以上参数D和R，因此，需要较大计算量。

另一方面，在低复杂度模式下，以所有候选预测模式生成预测图像和包含预测块信息、差运动矢量信息、预测模式信息等的报头比特（headerbit），以计算由以下等式（10）表示的成本函数值：

Cost(Mode∈Ω)=D+QP2Quant(QP)·Header_Bit…(10)

这里，Ω表示用于对块的图像进行编码的候选预测模式的全体集合。D表示在以预测模式执行编码的情况下解码图像与输入图像之间的能量差（失真）。Header_Bit表示与预测模式对应的报头比特，并且QP2Quant是作为量化参数QP的函数而给出的函数。

即，在低复杂度模式下，需要以每种预测模式执行预测操作，但是不需要任何解码图像。因此，计算量可以小于高复杂度模式下所需的计算量。

成本函数值计算单元322将所算出的成本函数值输出到模式确定单元323。

模式确定单元323将具有最小成本函数值的模式确定为最优帧间预测模式。模式确定单元323还将表示所确定的最优帧间预测模式的最优帧间预测模式信息以及与最优帧间预测模式有关的运动矢量信息、预测块标记、差运动矢量信息等输出到运动补偿处理单元324。这里，预测模式信息包含块尺寸信息等。

基于最优帧间预测模式信息和运动矢量信息，运动补偿处理单元324对从帧存储器25读取的参考图像数据执行运动补偿，生成预测图像数据，并且将预测图像数据输出到预测图像/最优模式选择单元35。运动补偿处理单元324还将关于最优帧间预测的预测模式信息、该模式下的差运动矢量信息等输出到无损编码单元16。

运动矢量信息缓冲器325存储关于最优帧间预测模式的运动矢量信息。运动矢量信息缓冲器325还将关于与要被编码的当前块相邻的已编码块的运动矢量信息输出到预测运动矢量信息设置单元33。

运动预测/补偿单元32执行例如在H.264/AVC中指定的具有1/4像素精度的运动预测/补偿操作。图9是用于说明具有1/4像素精度的运动预测/补偿操作的图。在图9中，位置“A”表示存储在帧存储器25中的每个整数精度像素的位置，位置“b”、“c”和“d”表示具有1/2像素精度的位置，位置“e1”、“e2”和“e3”表示具有1/4像素精度的位置。

在下文中，Clip1()如等式（11）中所示的那样来定义。

[数学式1]

在等式（11）中，当输入图像具有8位精度时，max_pix的值是255。

通过使用如等式（12）和（13）所示的6抽头FIR滤波器来生成位置“b”和“d”处的像素值。

F=A_-2-5·A_-1+20·A₀+20·A₁-5·A₂+A₃…(12)

b,d=Clip1((F+16)>>5)…(13)

通过使用如等式（14）或（15）和等式（16）所示的6抽头FIR滤波器来生成位置“c”的像素值。

F=b_-2-5·b_-1+20·b₀+20·b₁-5·b₂+b₃…(14)

F=d_-2-5·d_-1+20·d₀+20·d₁-5·d₂+d₃…(15)

c=Clip1((F+512)>>10)…(16)

在水平方向和垂直方向上均执行了乘积和运算之后，仅在最后执行Clip1处理一次。

位置“e1”至“e3”处的像素值通过如等式（17）至（19）所示的线性插值来生成。

e1=(A+b+1)>>1…(17)

e2=(b+d+1)>>1…(18)

e3=(b+c+1)>>1…(19)

以此方式，运动预测/补偿单元32以1/4像素精度执行运动预测/补偿操作。

预测运动矢量信息设置单元33包括预测水平运动矢量信息生成单元331、预测垂直运动矢量信息生成单元332和标识信息生成单元334。

对于与当前块有关的运动矢量信息的水平分量，预测水平运动矢量信息生成单元331设置编码操作中具有最高编码效率的预测水平运动矢量信息。预测水平运动矢量信息生成单元331设置作为关于从运动预测/补偿单元32提供的相邻已编码块的水平运动矢量信息的候选预测水平运动矢量信息。预测水平运动矢量信息生成单元331也生成水平差运动矢量信息，该水平差运动矢量信息表示关于每个候选的水平运动矢量信息与关于从运动预测/补偿单元32提供的当前块的水平运动矢量信息之间的差。另外，预测水平运动矢量信息生成单元331设置预测水平运动矢量信息，该预测水平运动矢量信息是水平差运动矢量信息中与具有最低比特率的候选有关的水平运动矢量信息。预测水平运动矢量信息生成单元331将预测水平运动矢量信息和通过使用预测水平运动矢量信息所获得的水平差运动矢量信息作为生成预测水平运动矢量信息的结果输出到标识信息生成单元334。

对于与当前块有关的运动矢量信息的垂直分量，预测垂直运动矢量信息生成单元332设置在编码操作中具有最高编码效率的预测垂直运动矢量信息。预测垂直运动矢量信息生成单元332设置候选预测垂直运动矢量信息，该候选预测垂直运动矢量信息是与从运动预测/补偿单元32提供的相邻已编码块有关的垂直运动矢量信息。预测垂直运动矢量信息生成单元332还生成垂直差运动矢量信息，该垂直差运动矢量信息表示关于每个候选的垂直运动矢量信息与关于从运动预测/补偿单元32提供的当前块的垂直运动矢量信息。另外，预测水平运动矢量信息生成单元331设置预测垂直运动矢量信息，该预测垂直运动矢量信息是垂直差运动矢量信息中与具有最低比特率的候选有关的垂直运动矢量信息。预测垂直运动矢量信息生成单元332将预测垂直运动矢量信息和通过使用预测垂直运动矢量信息所获得的垂直差运动矢量信息作为生成预测垂直运动矢量信息的结果输出到标识信息生成单元334。

基于生成预测水平运动矢量信息的结果，标识信息生成单元334例如生成预测水平块信息或预测水平块标记，该预测水平块标记表示运动矢量信息被选择作为预测水平运动矢量信息的块。标识信息生成单元334将所生成的预测水平块标记和水平差运动矢量信息输出到运动预测/补偿单元32的成本函数值计算单元322。基于生成预测垂直运动矢量信息的结果，标识信息生成单元334还生成例如预测垂直块信息或预测垂直块标记，该预测垂直块信息或预测垂直块标记表示运动矢量信息被选择作为预测垂直运动矢量信息的块。标识信息生成单元334将所生成的预测垂直块标记和垂直差运动矢量信息输出到运动预测/补偿单元32的成本函数值计算单元322。

预测运动矢量信息设置单元33可将差运动矢量信息连同表示候选块的信息一起提供到成本函数值计算单元322，其中该差运动矢量信息表示关于当前块的水平（垂直）运动矢量信息与关于每个候选的运动矢量信息之间的差。在这种情况下，关于具有成本函数值计算单元322算出的成本函数值中的最小成本函数值的候选的水平（垂直）运动矢量信息被设置为预测水平（垂直）运动矢量信息。在帧间预测时使用表示具有最小成本函数值的候选块的标识信息。

返回参照图7，预测图像/最优模式选择单元35将从帧内预测单元31提供的成本函数值与从运动预测/补偿单元32提供的成本函数值进行比较，并且选择具有较小的成本函数值的模式作为具有最高编码效率的最优模式。预测图像/最优模式选择单元35还将在最优模式下所生成的预测图像数据输出到减法单元13和加法单元23。此外，预测图像/最优模式选择单元35将表示最优模式是帧内预测模式还是帧间预测模式的信息输出到无损编码单元16。预测图像/最优模式选择单元35针对每个宏块条而切换到帧内预测或帧间预测。

[2.图像编码装置的操作]

图10是示出图像编码装置的操作的流程图。在步骤ST11中，A/D转换器11对输入图像信号执行A/D转换。

在步骤ST12中，屏幕重排缓冲器12执行图像重排。屏幕重排缓冲器12存储从A/D转换器11提供的图像数据，并且替代显示顺序而以编码顺序对各个画面进行重排。

在步骤ST13中，减法单元13生成预测误差数据。减法单元13通过计算在步骤ST12中重排的图像的图像数据与由预测图像/最优模式选择单元35选择的预测图像数据之间的差来生成预测误差数据。预测误差数据具有比原始图像数据小的数据量。因此，可以使得数据量比在直接对图像进行编码的情况下小。

在步骤ST14中，正交变换单元14执行正交变换操作。正交变换单元14对从减法单元13提供的预测误差数据执行正交变换。具体地，对预测误差数据执行诸如离散余弦变换或卡洛变换的正交变换，并且输出变换系数数据。

在步骤ST15中，量化单元15执行量化操作。量化单元15对变换系数数据进行量化。在量化中，如稍后将在步骤ST25的描述中所述的那样执行速率控制。

在步骤ST16中，逆量化单元21执行逆量化操作。逆量化单元21对在量化单元15处所量化的变换系数数据进行逆量化，该逆量化单元21具有与量化单元15的特性兼容的特性。

在步骤ST17中，逆正交变换单元22执行逆正交变换操作。逆正交变换单元22对在逆量化单元21处所逆量化的变换系数数据执行逆正交变换，该逆正交变换单元22具有与正交变换单元14的特性兼容的特性。

在步骤ST18中，加法单元23生成参考图像数据。加法单元23通过将从预测图像/最优模式选择单元35提供的预测图像数据和对应于预测图像并且已经受了逆正交变换的位置的数据相加，生成参考图像数据（解码图像数据）。

在步骤ST19中，去块滤波器24执行滤波操作。去块滤波器24通过对从加法单元23输出的解码图像数据进行滤波来去除块失真。

在步骤ST20中，帧存储器25存储参考图像数据。帧存储器25存储滤波后的参考图像数据（解码图像数据）。

在步骤ST21中，帧内预测单元31和运动预测/补偿单元32均执行预测操作。具体地，帧内预测单元31以帧内预测模式执行帧内预测操作，而运动预测/补偿单元32以帧间预测模式执行运动预测/补偿操作。稍后将参照图11详细描述预测操作。在该步骤中，以所有候选预测模式执行预测操作，并且以所有候选预测模式计算成本函数值。基于所算出的成本函数值，选择最优帧内预测模式和最优帧间预测模式，并且将以所选择的预测模式生成的预测图像、成本函数值和预测模式信息提供到预测图像/最优模式选择单元35。

在步骤ST22中，预测图像/最优模式选择单元35选择预测图像数据。基于从帧内预测单元31和运动预测/补偿单元32输出的各个成本函数值，预测图像/最优模式选择单元35确定最优模式以优化编码效率。预测图像/最优模式选择单元35还选择所确定的最优模式的预测图像数据，并且将所选择的预测图像数据输出到减法单元13和加法单元23。在如上所述的步骤ST13和ST18的操作中使用该预测图像数据。

在步骤ST23中，无损编码单元16执行无损编码操作。无损编码单元16对从量化单元15输出的量化数据执行无损编码。即，对量化数据执行诸如可变长编码或算术编码的无损编码以压缩数据。无损编码单元16还对与在步骤ST22中选择的预测图像数据对应的预测模式信息等执行无损编码，以使得预测模式信息等的无损编码数据被包含于通过对量化数据执行无损编码而生成的压缩图像信息中。

在步骤ST24中，累积缓冲器17执行累积操作。累积缓冲器17存储从无损编码单元16输出的压缩图像信息。存储在累积缓冲器17中的压缩图像信息在需要时被读取并且经由传送路径被传送到解码侧。

在步骤ST25中，速率控制单元18执行速率控制。速率控制单元18控制量化单元15的量化操作速率，以使得当累积缓冲器17存储压缩图像信息时在累积缓冲器17中不会发生上溢或下溢。

现在参照图11中的流程图，描述图10的步骤ST21中的预测操作。

在步骤ST31中，帧内预测单元31执行帧内预测操作。帧内预测单元31以所有候选帧内预测模式对当前块的图像执行帧内预测。在每种帧内预测中要参考的解码图像的图像数据是仍要经受去块滤波器24处的块化滤波操作的解码图像数据。在该帧内预测操作中，以所有候选帧内预测模式执行帧内预测，并且以所有候选帧内预测模式计算成本函数值。基于所算出的成本函数值，从所有帧内预测模式中选择具有最高编码效率的帧内预测模式。

在步骤ST32中，运动预测/补偿单元32执行帧间预测操作。使用存储在帧存储器25中并且已经受了去块滤波操作的解码图像数据，运动预测/补偿单元32以候选帧间预测模式执行帧间预测操作。在该帧间预测操作中，以所有候选帧间预测模式执行预测操作，并且以所有候选帧间预测模式计算成本函数值。基于所算出的成本函数值，从所有帧间预测模式中选择具有最高编码效率的帧间预测模式。

现在参照图12中的流程图，描述图11的步骤ST31中的帧内预测操作。

在步骤ST41中，帧内预测单元31在各个预测模式下执行帧内预测。使用仍要经受块化滤波操作的解码图像数据，帧内预测单元31以各种帧内预测模式生成预测图像数据。

在步骤ST42中，帧内预测单元31在各种预测模式下计算成本函数值。如作为H.264/AVC中的参考软件的JM（联合模型）中所指定的，通过如上所述的高复杂度模式或低复杂度模式的方法来计算成本函数值。具体地，在高复杂度模式下，作为步骤ST42的操作，以所有候选预测模式临时执行以无损编码操作结束的操作，以在各种预测模式下计算由等式（9）表示的成本函数值。在低复杂度模式下，作为步骤ST42的操作，以所有候选预测模式执行预测图像的生成和报头比特（诸如，运动矢量信息和预测模式信息）的计算，并且在各种预测模式下计算由等式（10）表示的成本函数值。

在步骤ST43中，帧内预测单元31确定最优帧内预测模式。基于在步骤ST42中算出的成本函数值，帧内预测单元31选择具有在所算出的成本函数值当中的最小成本函数值的一种帧内预测模式，并且将所选择的帧内预测模式确定为最优帧内预测模式。

现在参照图13中的流程图，描述图11的步骤ST32中的帧间预测操作。

在步骤ST51中，运动预测/补偿单元32执行运动预测操作。运动预测/补偿单元32以每种预测模式执行运动预测，以检测运动矢量，并且移到步骤ST52。

在步骤ST52中，预测运动矢量信息设置单元33执行预测运动矢量信息设置操作。预测运动矢量信息设置单元33生成与当前块有关的差运动矢量信息和预测块标记。

图14是示出预测运动矢量信息设置操作的流程图。在步骤ST61中，预测运动矢量信息设置单元33选择预测水平运动矢量信息的候选。预测运动矢量信息设置单元33选择关于与当前块相邻的已编码块的水平运动矢量信息作为预测水平运动矢量信息的候选，并且移到步骤ST62。

在步骤ST62中，预测运动矢量信息设置单元33执行预测水平运动矢量信息设置操作。基于等式（20），例如，预测运动矢量信息设置单元33检测水平差运动矢量信息中具有最低比特率的第i个水平运动矢量信息。

arg_imin(R(mvx-pmvx(i)))…(20)

这里，“mvx”表示与当前块有关的水平运动矢量信息，以及“pmvx(i)”表示预测水平运动矢量信息的第i个候选。此外，“R(mvx-pmvx(i))”表示在对水平差运动矢量信息进行编码时的比特率，该水平差运动矢量信息表示预测水平运动矢量信息的第i个候选与关于当前块的水平运动矢量信息之间的差。

预测运动矢量信息设置单元33生成预测水平块标记，该预测水平块标记表示具有基于等式（20）检测到的比特率最低的水平运动矢量信息的相邻块。预测运动矢量信息设置单元33还使用水平运动矢量信息来生成水平差运动矢量信息，并且移到步骤ST63。

在步骤ST63中，预测运动矢量信息设置单元33选择预测垂直运动矢量信息的候选。预测运动矢量信息设置单元33选择关于与当前块相邻的已编码块的垂直运动矢量信息作为预测垂直运动矢量信息的候选，并且移到步骤ST64。

在步骤ST64中，预测运动矢量信息设置单元33执行预测垂直运动矢量信息设置操作。例如，基于等式（21），预测运动矢量信息设置单元33检测垂直差信息中具有最低比特率的第j个垂直运动矢量信息。

arg_jmin(R(mvy-pmvy(j)))…(21)

这里，“mvy”表示与当前块有关的垂直运动矢量信息，以及“pmvy(j)”表示预测垂直运动矢量信息的第j个候选。此外，“R(mvy-pmvy(j))”表示在对垂直差运动矢量信息进行编码时的比特率，该垂直差运动矢量信息表示预测垂直运动矢量信息的第j个候选与关于当前块的垂直运动矢量信息之间的差。

预测运动矢量信息设置单元33生成预测垂直块标记，该预测垂直块标记表示具有基于等式（21）检测到的比特率最低的垂直运动矢量信息的相邻块。预测运动矢量信息设置单元33还使用垂直运动矢量信息来生成垂直差运动矢量信息，并且结束预测运动矢量信息设置操作。然后，该操作返回到图13中的步骤ST53。

在步骤ST53中，运动预测/补偿单元32计算每种预测模式下的成本函数值。使用上述等式（9）或（10），运动预测/补偿单元32计算成本函数值。使用差运动矢量信息，运动预测/补偿单元32还计算比特生成率。帧间预测模式下的成本函数值计算涉及在H.264/AVC中所指定的跳过宏块模式或直接模式下评估成本函数值。

在步骤ST54中，运动预测/补偿单元32确定最优帧间预测模式。基于在步骤ST53中所算出的成本函数值，运动预测/补偿单元32选择具有所算出的成本函数值当中的最小成本函数值的一种预测模式，并且将所选的预测模式确定为最优帧间预测模式。

如上所述，图像编码装置10设置彼此独立的当前块的预测水平运动矢量和预测垂直运动矢量。图像编码装置10还对作为关于当前块的水平运动矢量信息与预测水平运动矢量信息之间的差的水平差运动矢量信息执行可变长编码。图像编码装置10还对作为关于当前块的垂直运动矢量信息与预测垂直运动矢量信息之间的差的垂直差运动矢量信息执行可变长编码。预测块标记表示预测水平运动矢量信息和预测垂直运动矢量信息属于相邻已编码块中的哪一个。

因此，可以使得预测块标记的数据量比在使用等式（22）中所示的预测水平/垂直运动矢量信息的情况下小。如等式（22）所示，预测水平/垂直运动矢量信息是与具有最低比特率的相邻块有关的运动矢量信息，该最低比特率是通过将水平差运动矢量信息的比特率与垂直差运动矢量信息的比特率相加而算出的。

arg_kmin(R(mvx-pmvx(k))+R(mvy-pmvy(k)))…(22)

例如，在存在水平运动矢量信息的三个候选以及存在垂直运动矢量信息的三个候选的情况下，应该根据本技术准备六种（3+3）标记。然后，如果基于通过将水平差运动矢量信息的比特率与垂直差运动矢量信息的比特率相加而算出的比特率来确定块，则需要准备九种（3×3）标记。即，可以根据本技术减少要准备的标记的数量，并且相应地，可以提高对运动矢量信息进行编码的效率。

[3.图像解码装置的结构]

接下来，描述图像解码装置。通过对输入图像进行编码而生成的压缩图像信息经由预定传送路径或记录介质等被提供到图像解码装置并且在图像解码装置中被解码。

图15示出了图像解码装置的结构。图像解码装置50包括累积缓冲器51、无损解码单元52、逆量化单元53、逆正交变换单元54、加法单元55、去块滤波器56、屏幕重排缓冲器57和数字/模拟转换器（D/A转换器）58。图像解码装置50还包括帧存储器61、选择器62和75、帧内预测单元71、运动补偿单元72和预测运动矢量信息设置单元73。

累积缓冲器51存储所传送的压缩图像信息。无损解码单元52通过与图7所示的无损编码单元16所使用的编码方法兼容的方法，对从累积缓冲器51提供的压缩图像信息进行解码。

无损解码单元52将通过对压缩图像信息进行解码而获得的预测模式信息输出到帧内预测单元71和运动补偿单元72。无损解码单元52还将通过对压缩图像信息进行解码而获得的差运动矢量信息和预测块信息（预测块标记）输出到运动补偿单元72。

逆量化单元53使用与图7所示的量化单元15使用的量化方法兼容的方法，对经无损解码单元52解码的量化数据进行逆量化。逆正交变换单元54通过与图7所示的正交变换单元14使用的正交变换方法兼容的方法，对来自逆量化单元53的输出执行逆正交变换，并且将结果输出到加法单元55。

加法单元55通过将经受了逆正交变换的数据与从选择器75提供的预测图像数据相加来生成解码图像数据，并且将解码图像数据输出到去块滤波器56和帧存储器61。

去块滤波器56对从加法单元55提供的解码图像数据执行去块滤波操作，并且去除块失真。所得到的数据被提供到帧存储器61并且被存储在帧存储器61中，并且还被输出到屏幕重排缓冲器57。

屏幕重排缓冲器57执行图像重排。具体地，以原始显示顺序对在图7所示的屏幕重排缓冲器12处以编码顺序重排的帧顺序进行重排，并且将其输出到D/A转换器58。

D/A转换器58对从屏幕重排缓冲器57提供的图像数据执行D/A转换，并且将转换后的图像数据输出到显示器（未示出）以显示图像。

帧存储器61存储仍要经受去块滤波器24处的滤波操作的解码图像数据和经受了去块滤波器24处的滤波操作的解码图像数据。

当执行帧内预测图像解码时，基于从无损解码单元52提供的预测模式信息，选择器62将仍要经受滤波操作并且存储在帧存储器61中的解码图像数据提供到帧内预测单元71。当执行帧间预测图像解码时，选择器62将已经受了滤波操作并且存储在帧存储器61中的解码图像数据提供到运动补偿单元72。

基于从无损解码单元52提供的预测模式信息和经由选择器62从帧存储器61提供的解码图像数据，帧内预测单元71生成预测图像数据，并且将所生成的预测图像数据输出到选择器75。

运动补偿单元72将从无损解码单元52提供的差运动矢量信息与从预测运动矢量信息设置单元73提供的预测运动矢量信息相加，以生成与正被解码的块有关的运动矢量信息。基于所生成的运动矢量信息和从无损解码单元52提供的预测模式信息，运动补偿单元72还执行运动补偿以通过使用从帧存储器61提供的解码图像数据来生成预测图像数据，并且将预测图像数据输出到选择器75。

基于从无损解码单元52提供的预测块信息，预测运动矢量信息设置单元73设置预测运动矢量信息。预测运动矢量信息设置单元72设置与当前块有关的预测水平运动矢量信息，并且所设置的预测水平运动矢量信息是与相邻解码块中的预测水平块标记信息所表示的块有关的水平运动矢量信息。此外，与相邻解码块中的预测垂直块标记所表示的块有关的垂直运动矢量信息被设置为预测垂直运动矢量信息。预测运动矢量信息设置单元73将所设置的预测水平运动矢量信息和垂直运动矢量信息输出到运动补偿单元72。

图16示出了运动补偿单元72和预测运动矢量信息设置单元73的结构。

运动补偿单元72包括块尺寸信息缓冲器721、差运动矢量信息缓冲器722、运动矢量信息生成单元723、运动补偿处理单元724和运动矢量信息缓冲器725。

块尺寸信息缓冲器721存储从无损解码单元52提供的预测模式信息中所包含的块尺寸信息。块尺寸信息缓冲器721还将所存储的块尺寸信息输出到运动补偿处理单元724和预测运动矢量信息设置单元73。

差运动矢量信息缓冲器722存储从无损解码单元52提供的差运动矢量信息。差运动矢量信息缓冲器722还将所存储的差运动矢量信息输出到运动矢量信息生成单元723。

运动矢量信息生成单元723将从差运动矢量信息缓冲器722提供的水平差运动矢量信息与预测运动矢量信息设置单元74设置的预测水平运动矢量信息相加。运动矢量信息生成单元723还将从差运动矢量信息缓冲器722提供的垂直差运动矢量信息与预测运动矢量信息设置单元73设置的预测垂直运动矢量信息相加。运动矢量信息生成单元723将运动矢量信息输出到运动补偿处理单元724和运动矢量信息缓冲器725，运动矢量信息是通过将差运动矢量信息与预测运动矢量信息相加而获得的。

基于从无损解码单元52提供的预测模式信息，运动补偿处理单元724从帧存储器61读取参考图像的图像数据。基于参考图像的图像数据、从块尺寸信息缓冲器721提供的块尺寸信息和从运动矢量信息生成单元723提供的运动矢量信息，运动补偿处理单元724执行运动补偿。运动补偿处理单元724将通过运动补偿所生成的预测图像数据输出到选择器75。

运动矢量信息缓冲器725存储从运动矢量信息生成单元723提供的运动矢量信息。运动矢量信息缓冲器725还将所存储的运动矢量信息输出到预测运动矢量信息设置单元73。

预测运动矢量信息设置单元73包括标记缓冲器730、预测水平运动矢量信息生成单元731和预测垂直运动矢量信息生成单元732。

标记缓冲器730存储从无损解码单元52提供的预测块标记。标记缓冲器730还将所存储的预测块标记输出到预测水平运动矢量信息生成单元731和预测垂直运动矢量信息生成单元732。

预测水平运动矢量信息生成单元731从存储在运动补偿单元72的运动矢量信息缓冲器725中的与相邻块有关的水平运动矢量信息中选择由预测水平块标记所表示的运动矢量信息，并且将所选择的运动矢量信息设置为预测水平运动矢量信息。预测水平运动矢量信息生成单元731将所设置的预测水平运动矢量信息输出到运动补偿单元72的运动矢量信息生成单元723。

预测垂直运动矢量信息生成单元732从在运动补偿单元72的运动矢量信息缓冲器725中存储的与相邻块有关的垂直运动信息中选择由预测垂直块标记所表示的运动矢量信息，并且将所选择的运动矢量信息设置为预测垂直运动矢量信息。预测垂直运动矢量信息生成单元732将所设置的预测垂直运动矢量信息输出到运动补偿单元72的运动矢量信息生成单元723。

返回参照图15，基于从无损解码单元52提供的预测模式信息，选择器75在帧内预测的情况下选择帧内预测单元71，并且在帧间预测的情况下选择运动补偿单元72。选择器75将在所选择的帧内预测单元71或运动补偿单元72处所生成的预测图像数据输出到加法单元55。

[4.图像解码装置的操作]

现在参照图17中的流程图，描述由图像解码装置50执行的图像解码操作。

在步骤ST81中，累积缓冲器51存储所传送的压缩图像信息。在步骤ST82中，无损解码单元52执行无损解码操作。无损解码单元52对从累积缓冲器51提供的压缩图像信息进行解码。具体地，获得在图7所示的无损编码单元16处所编码的每幅画面的量化数据。无损解码单元52还对压缩图像信息中所包含的预测模式信息执行无损解码。当所获得的预测模式信息是关于帧内预测模式的信息时，预测模式信息被输出到帧内预测单元71。另一方面，当预测模式信息是关于帧间预测模式的信息时，无损解码单元52将预测模式信息输出到运动补偿单元72。

在步骤ST83中，逆量化单元53执行逆量化操作。逆量化单元53对经无损解码单元52解码的量化数据进行逆量化，该逆量化单元53具有与图7所示的量化单元15的特性兼容的特性。

在步骤ST84中，逆正交变换单元54执行逆正交变换操作。逆正交变换单元54对经逆量化单元53逆量化的变换系数数据执行逆正交变换，该逆正交变换单元54具有与图7所示的正交变换单元14的特性兼容的特性。

在步骤ST85中，加法单元55生成解码图像数据。加法单元55将通过逆正交变换操作所获得的数据与在稍后将描述的步骤ST89中所选择的预测图像数据相加，并且生成解码图像数据。以此方式，对原始图像进行解码。

在步骤ST86中，去块滤波器56执行滤波操作。去块滤波器56对从加法单元55输出的解码图像数据执行去块滤波操作，并且去除解码图像中所包含的块失真。

在步骤ST87中，帧存储器61执行解码图像数据存储操作。

在步骤ST88中，帧内预测单元71和运动补偿单元72执行预测图像生成操作。帧内预测单元71和运动补偿单元72分别根据从无损解码单元52提供的预测模式信息而执行预测图像生成操作。

具体地，当已从无损解码单元52提供了关于帧内预测的预测模式信息时，帧内预测单元71基于预测模式信息生成预测图像数据。另一方面，当已从无损解码单元52提供了关于帧间预测的预测模式信息时，运动补偿单元72基于预测模式信息执行运动补偿以生成预测图像数据。

在步骤ST89中，选择器75选择预测图像数据。选择器75选择从帧内预测单元71提供的预测图像或从运动补偿单元72提供的预测图像数据，并且将所选择的预测图像数据提供到加法单元55，如上所述，在步骤ST85中，加法单元55将所选择的预测图像数据与来自逆正交变换单元54的输出相加。

在步骤ST90中，屏幕重排缓冲器57执行图像重排。具体地，由屏幕重排缓冲器57以原始显示顺序对由图7所示的图像编码装置10的屏幕重排缓冲器12为了进行编码所重排的帧顺序进行重排。

在步骤ST91中，D/A转换器58对从屏幕重排缓冲器57提供的图像数据执行D/A转换。图像被输出到显示器（未示出）并且被显示。

现在参照图18中的流程图，描述图17的步骤ST88中的预测图像生成操作。

在步骤ST101中，无损解码单元52确定是否已对当前块进行了帧内编码。当通过执行无损解码而获得的预测模式信息是关于帧内预测的预测模式信息时，无损解码单元52将预测模式信息提供到帧内预测单元71，并且移到步骤ST102。另一方面，当预测模式信息是关于帧间预测的预测模式信息时，无损解码单元52将预测模式信息提供到运动补偿单元72，并且移到步骤ST103。

在步骤ST102中，帧内预测单元71执行帧内预测图像生成操作。使用预测模式信息和尚未经受去块滤波操作并且存储在帧存储器61中的解码图像数据，帧内预测单元71执行帧内预测，以生成预测图像数据。

在步骤ST103中，运动补偿单元72执行帧间预测图像生成操作。基于从无损解码单元52提供的预测模式信息和差运动矢量信息，运动补偿单元72对从帧存储器61读取的参考图像执行运动补偿，并且生成预测图像数据。

图19是示出步骤ST103的帧间预测图像生成操作的流程图。在步骤ST111中，运动补偿单元72获得预测模式信息。运动补偿单元72从无损解码单元52获得预测模式信息，并且移到步骤ST112。

在步骤ST112中，运动补偿单元72和预测运动矢量信息设置单元73执行运动矢量信息重构操作。图20是示出运动矢量信息重构操作的流程图。

在步骤ST121中，运动补偿单元72和预测运动矢量信息设置单元73获得预测块标记和差运动矢量信息。运动补偿单元72从无损解码单元52获得差运动矢量信息。预测运动矢量信息设置单元73从无损解码单元52获得预测块标记，然后移到步骤ST122。

在步骤ST122中，预测运动矢量信息设置单元73执行预测水平运动矢量信息设置操作。预测水平运动矢量信息生成单元731从运动补偿单元72的运动矢量信息缓冲器725中存储的与相邻块有关的水平运动矢量信息中选择由预测水平块标记所表示的与块有关的水平运动矢量信息。预测水平运动矢量信息生成单元731将所选择的水平运动矢量信息设置为预测水平运动矢量信息。

在步骤ST123中，运动补偿单元72重构水平运动矢量信息。运动补偿单元72通过将水平差运动矢量信息与预测水平运动矢量信息相加来重构水平运动矢量信息，然后移到步骤ST124。

在步骤ST124中，预测运动矢量信息设置单元73执行预测垂直运动矢量信息设置操作。预测垂直运动矢量信息生成单元732从存储在运动补偿单元72的运动矢量信息缓冲器725中的与相邻块有关的垂直运动矢量信息中选择与预测垂直块标记所表示的块有关的垂直运动矢量信息。预测垂直运动矢量信息生成单元732将所选择的垂直运动矢量信息设置为预测垂直运动矢量信息。

在步骤ST125中，运动补偿单元72重构垂直运动矢量信息。运动补偿单元72通过将垂直差运动矢量信息与预测垂直运动矢量信息相加来重构垂直运动矢量信息，然后，移到图19中的步骤ST113。

在步骤ST113中，运动补偿单元72生成预测图像数据。基于在步骤ST111中所获得的预测模式信息和在步骤ST112中所重构的运动矢量信息，运动补偿单元72通过从帧存储器61读取参考图像数据来执行运动补偿，并且生成预测图像数据并将其输出到选择器75。

如上所述，在图像解码装置50中，将与预测水平块标记所表示的相邻块有关的水平运动矢量信息设置为预测水平运动矢量信息，并且将与预测垂直块标记所表示的相邻块有关的垂直运动矢量信息设置为预测垂直运动矢量信息。相应地，即使预测水平运动矢量信息和预测垂直运动矢量信息被设置为彼此独立以提高图像编码装置10的编码效率，也能够正确地重构运动矢量信息。

[5.图像编码装置和图像解码装置的其他示例结构]

在上述图像编码装置和图像解码装置中，预测水平运动矢量信息和预测垂直运动矢量信息被设置为彼此独立，并且运动矢量信息被编码和解码。然而，如果不仅可以将预测水平运动矢量信息和预测垂直运动矢量信息设置为彼此独立，而且可以设置水平/垂直运动矢量信息，则可以实现最优编码效率。在这种情况下，图像编码装置10中所使用的预测运动矢量信息设置单元33a具有图21所示的结构。此外，图像解码装置50中所使用的预测运动矢量信息设置单元73a具有图22所示的结构。

在图21中，预测水平/垂直运动矢量信息生成单元333设置候选预测水平运动矢量信息，该候选预测水平运动矢量信息是与从运动预测/补偿单元32提供的相邻已编码块有关的运动矢量信息。预测水平/垂直运动矢量信息生成单元333还生成差运动矢量信息，该差运动矢量信息表示关于每个候选的运动矢量信息与关于从运动预测/补偿单元32提供的当前块的运动矢量信息之间的差。另外，预测水平/垂直运动矢量信息生成单元333设置预测水平/垂直运动矢量信息，该预测水平/垂直运动矢量信息是基于上述等式（23）所检测到的具有最低比特率的运动矢量信息。预测水平/垂直运动矢量信息生成单元333将预测水平/垂直运动矢量信息和通过使用预测水平/垂直运动矢量信息而获得的差运动矢量信息作为生成预测水平/垂直运动矢量信息的结果而输出到标识信息生成单元334a。

标识信息生成单元334a选择预测水平运动矢量信息和预测垂直运动矢量信息、或者预测水平/垂直运动矢量信息，并且将所选择的预测运动矢量信息连同差运动矢量信息一起输出到成本函数值计算单元322。例如，当将预测水平运动矢量信息和预测垂直运动矢量信息选择为预测运动矢量信息时，标识信息生成单元334a将预测水平块标记和水平差运动矢量信息输出到成本函数值计算单元322，如上所述。标识信息生成单元334a还将预测垂直块标记和垂直差运动矢量信息输出到成本函数值计算单元322。另外，当将预测水平/垂直运动矢量信息选择为预测运动矢量信息时，标识信息生成单元334a生成表示运动矢量信息被选择作为预测水平/垂直运动矢量信息的块的预测水平/垂直块信息。例如，标识信息生成单元334a生成预测水平/垂直块标记作为预测水平/垂直块信息。标识信息生成单元334a将所生成的预测水平/垂直块标记和差运动矢量信息输出到成本函数值计算单元322。

标识信息生成单元334a生成标识信息，该标识信息表示选择了预测水平运动矢量信息和预测垂直运动矢量信息还是选择了预测水平/垂直运动矢量信息。经由运动预测/补偿单元32将该标识信息提供到无损编码单元16，并且将该标识信息包含于画面参数集或者压缩图像信息的宏块条报头。

当选择预测运动矢量信息时，标识信息生成单元334a可针对每个画面或每个宏块条而在预测水平运动矢量和预测垂直运动矢量信息与预测水平/垂直运动矢量信息之间进行切换。替选地，当针对每个画面选择预测水平运动矢量信息和预测垂直运动矢量信息或者预测水平/垂直运动矢量信息时，标识信息生成单元334a可根据例如当前块的画面类型来执行选择。即，在P画面中，即使存在标记信息的开销，也必须将运动矢量编码的效率提高与开销等同的量。因此，在P画面的情况下，预测水平块标记、水平差运动矢量信息、预测垂直块标记和垂直差运动矢量信息被输出到成本函数值计算单元322。在B画面中，分别为List0预测和List1预测提高预测水平块标记和预测垂直块标记不一定实现最优编码效率，尤其以低比特率。因此，如在通常情况下一样，在B画面的情况下，可以通过将预测水平/垂直块标记和差运动矢量信息输出到成本函数值计算单元322来实现最优编码效率。

在图22中，标记缓冲器730a基于压缩图像信息中所包含的标识信息来切换提供预测块标记的目的地。例如，在选择了预测水平运动矢量信息和预测垂直运动矢量信息的情况下，标记缓冲器730a将预测块标记输出到预测水平运动矢量信息生成单元731和预测垂直运动矢量信息生成单元732。在选择了预测水平/垂直运动矢量信息的情况下，标记缓冲器730a将预测块标记输出到预测水平/垂直运动矢量信息生成单元733。当根据例如画面类型来切换预测运动矢量信息时，标记缓冲器730a还切换提供预测块标记的目的地。在例如P画面的情况下，已通过使用预测水平运动矢量信息和预测垂直运动矢量信息来对运动矢量信息进行编码。在B画面的情况下，已通过使用预测水平/垂直运动矢量信息来对运动矢量信息进行编码。在这种情况下，标记缓冲器730a在P画面的情况下将预测块标记提供到预测水平运动矢量信息生成单元731和预测垂直运动矢量信息生成单元731，并且在B画面的情况下将预测块标记提供到预测水平/垂直运动矢量信息生成单元733。

无损编码单元16还可向水平方向和垂直方向分配不同代码。例如，可以将预测空间运动矢量信息和预测时间运动矢量信息用作预测运动矢量信息。在这种情况下，将在生成要编码的运动图像时要执行的成像操作纳入考虑，并且将具有小数据量的代码分配给具有高预测精度的预测运动矢量信息。当通过例如稍后所述的成像设备记录捕获的图像时，通过成像设备执行摇摄，并且成像方向改变为水平方向。结果，关于垂直方向的运动矢量信息几乎变为“0”。此时，预测时间运动矢量信息在垂直方向上通常具有比预测空间运动矢量信息高的预测精度，并且预测空间运动矢量信息通常具有比预测时间运动矢量信息高的预测精度。因此，在预测水平块信息中，代码号“0”被分配给预测空间运动矢量信息的块，以及代码号“1”被分配给预测时间运动矢量信息的块。此外，对于预测垂直块信息，代码号“1”被分配给预测空间矢量信息的块，以及代码号“0”被分配给预测时间运动矢量信息的块。通过以上述方式在预测水平块信息与预测垂直块信息之间分配不同代码，可以使用更多数据量少的代码，相应地，可以实现更高的编码效率。

[6.软件处理]

可以由硬件、软件或硬件和软件的组合来执行本说明书中所描述的这系列操作。当由软件来执行操作时，记录有操作序列的程序被安装在并入计算机的专用硬件中的存储器中。替选地，可以通过将程序安装在可以执行各种操作的通用计算机中来执行操作。

图23是示出根据程序执行上述系列操作的计算机装置的示例结构的图。计算机装置80的CPU 801根据记录在ROM 802或记录单元808上的程序来执行各种操作。

要由CPU 801执行的程序和各种数据被适当地存储在RAM 803中。CPU 801、ROM 802和RAM 803通过总线804相互连接。

输入/输出接口805也经由总线804连接到CPU 801。输入单元806（诸如，触摸板、键盘、鼠标或麦克风）和由显示器等构成的输出单元807连接到输入/输出接口805。CPU 801根据通过输入单元806输入的指令来执行各种操作。CPU 801将操作结果输出到输出单元807。

连接到输入/输出接口805的记录单元808由例如硬盘构成，并且记录要由CPU 801执行的程序和各种数据。通信单元809经由有线或无线通信媒体（诸如，如因特网或局域网的网络或者数字广播）与外部装置通信。替选地，计算机装置80可经由通信单元809获得程序，并且将程序记录在ROM 802或记录单元808上。

当安装了作为磁盘、光盘、磁光盘、半导体存储器等的可移除介质85时，驱动器810驱动该介质以获得记录程序或记录数据。所获得的程序或数据在必要时被传递到ROM 802、RAM 803或记录单元808。

CPU 801读取并执行用于执行上述系列操作的程序，以对记录在记录单元808或可移除介质85上的图像信号或者对经由通信单元809提供的图像信号执行编码操作，并且对压缩图像信息执行解码操作。

[7.对电子设备的应用]

在上述示例中，H.264/AVC用作编码/解码方法。然而，本技术可以应用于使用其它用于执行运动预测/补偿操作的编码/解码方法的图像编码装置和图像解码装置。

此外，当经由网络介质（诸如，卫星广播、有线电视（电视机）、因特网或便携式电话装置）接收到例如通过诸如离散余弦变换的正交变换和运动补偿而压缩的图像信息（比特流）时，可以使用本技术。本技术还可以应用于当对存储介质（诸如，光盘或磁盘或者闪存）上的压缩图像信息进行处理时所使用的图像编码装置和图像解码装置。

上述图像编码装置10和图像解码装置50可以应用于任意电子设备。以下是这样的示例的描述。

图24示意性地示出了应用了本技术的电视机设备的示例结构。电视机设备90包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908和外部接口单元909。电视机设备90还包括控制单元910、用户接口单元911等。

调谐器902从在天线901处接收到的广播波信号中选择期望的频道并且执行解调。所得到的流被输出到解复用器903。

解复用器903从该流提取要观看的节目的视频分组和音频分组，并且将所提取的分组的数据输出到解码器904。解复用器903还将诸如EPG（电子节目指南）的数据分组输出到控制单元910。在执行加扰的情况下，解复用器等取消该加扰。

解码器904执行分组解码操作，并且将通过解码操作而生成的视频数据输出到视频信号处理单元905，并且将音频数据输出到音频信号处理单元907。

视频信号处理单元905根据用户设置而使得视频数据经受去噪和视频处理等。视频信号处理单元905生成要显示在显示单元906上的节目的视频数据，或者通过基于经由网络提供的应用的操作而生成图像数据等。视频信号处理单元905还生成用于显示用于项目选择的菜单屏幕等的视频数据，并且将所生成的视频数据叠加在节目的视频数据上。基于以此方式生成的视频数据，视频信号处理单元905生成用于驱动显示单元906的驱动信号。

基于来自视频信号处理单元905的驱动信号，显示单元906驱动用于显示节目的视频的显示装置（例如，液晶显示元件）。

音频信号处理单元907使得音频数据经受诸如去噪的预定处理，并且对处理后的音频数据执行D/A转换操作和放大操作。所得到的音频数据作为音频输出而被提供到扬声器908。

外部接口单元909是用于与外部装置或网络连接的接口，并且发送和接收诸如视频数据和音频数据的数据。

用户接口单元911连接到控制单元910。用户接口单元911由操作开关、远程控制信号接收单元等构成，并且将根据用户操作的操作信号提供到控制单元910。

控制单元910由CPU（中央处理单元）、存储器等构成。存储器存储要由CPU执行的程序、CPU执行各种操作所需的各种数据、EPG数据、经由网络获得的数据等。在预定时间（诸如，在启动电视机设备90时）在CPU处读取并执行存储在存储器中的程序。CPU执行程序以控制各个部件，使得电视机设备90根据用户操作而工作。

在电视机设备90中，总线912被设置用于将调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909等连接到控制单元910。

在具有这样的结构的电视机设备中，解码器904具有本发明的图像解码装置（图像解码方法）的功能。因此，基于所生成的预测运动矢量信息和所接收的差运动矢量信息，电视机设备可以正确地对关于要解码的当前块的运动矢量信息进行解压缩。因此，即使广播站将预测水平运动矢量信息和预测垂直运动矢量信息设置为彼此独立以提高编码效率时，电视机设备也可以执行正确的解码。

图25示意性地示出了应用了本技术的便携式电话装置的示例结构。便携式电话装置92包括通信单元922、音频编解码器923、摄像单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930和控制单元931。这些部件经由总线933相互连接。

另外，天线921连接到通信单元922，并且扬声器924和麦克风925连接到音频编解码器923。此外，操作单元932连接到控制单元931。

便携式电话装置92以各种模式（诸如，音频通信模式和数据通信模式）执行各种操作，诸如音频信号的发送和接收、电子邮件和图像数据的发送和接收、图像捕获和数据记录。

在音频通信模式下，在麦克风925处所生成的音频信号被转换成音频数据，并且在音频编解码器923处对该数据进行压缩。压缩后的数据被提供到通信单元922。通信单元922对音频数据执行调制操作、频率转换操作等，以生成发送信号。通信单元922还将发送信号提供到天线921，并且发送信号被发送到基站（未示出）。通信单元922还对在天线921处接收到的信号进行放大，并且执行频率转换操作、解调操作等。所得到的音频数据被提供到音频编解码器923。音频编解码器923对音频数据进行解压缩，并且将音频数据转换成模拟音频信号。然后，模拟音频信号被输出到扬声器924。

在以数据通信模式执行邮件发送的情况下，控制单元931接收通过操作单元932进行的操作而输入的文本数据，并且输入文本被显示在显示单元930上。根据通过操作单元932的用户指令等，控制单元931生成邮件数据并且将其提供到通信单元922。通信单元922对邮件数据执行调制操作、频率转换操作等，并且从天线921发送最终得到的发送信号。通信单元922还对在天线921处接收到的信号进行放大，并且执行频率转换操作、解调操作等以对邮件数据解压缩。该邮件数据被提供到显示单元930，并且显示邮件的内容。

便携式电话装置92可以使得记录/再现单元929将所接收到的邮件数据存储到存储介质中。存储介质是可重写存储介质。例如，存储介质可以是半导体存储器（诸如RAM或内部闪存）、硬盘或可移除介质（诸如磁盘、磁光盘、光盘、USB存储器或存储卡）。

在以数据通信模式发送图像数据的情况下，在摄像单元926处所生成的图像数据被提供到图像处理单元927。图像处理单元927对图像数据执行编码操作，以生成压缩图像信息。

复用/分离单元928通过预定方法对在图像处理单元927处所生成的压缩图像信息和从音频编解码器923提供的音频数据进行复用，并且将复用数据提供到通信单元922。通信单元922对复用数据执行调制操作、频率转换操作等，并且从天线921发送最终得到的发送信号。通信单元922还对在天线921处接收到的信号进行放大，并且执行频率转换操作、解调操作等以对复用数据进行解压缩。该复用数据被提供到复用/分离单元928。复用/分离单元928对复用数据进行分离，并且将压缩图像信息提供到图像处理单元927，且将音频数据提供到音频编解码器923。

图像处理单元927对压缩图像信息执行解码操作以生成图像数据。该图像数据被提供到显示单元930以显示所接收到的图像。音频编解码器923将音频数据转换成模拟音频信号并且将模拟音频信号输出到扬声器924，使得输出所接收到的声音。

在具有以上结构的便携式电话装置中，图像处理单元927具有本发明的图像编码装置（图像编码方法）以及图像解码装置（图像解码方法）的功能。因此，当发送图像时，将与当前块的运动矢量信息的水平分量有关的预测水平运动矢量信息和关于垂直分量的预测垂直运动矢量信息设置为彼此独立，从而能够提高编码效率。另外，可以正确地对通过图像编码操作而生成的压缩图像信息进行解码。

图26示意性地示出了应用了本技术的记录/再现设备的示例结构。记录/再现设备94将所接收到的广播节目的音频数据和视频数据记录在记录介质上，并且在根据来自用户的指令的时间将所记录的数据提供给用户。记录/再现设备94还可以从例如其它设备获得音频数据和视频数据，并且将数据记录在记录介质上。此外，记录/再现设备94对记录在记录介质上的音频数据和视频数据进行解码并将其输出，以使得监视器装置等可以显示图像并输出声音。

记录/再现设备94包括调谐器941、外部接口单元942、编码器943、HDD（硬盘驱动器）单元944、盘驱动器945、选择器946、解码器947、OSD（屏幕上显示器）单元948、控制单元949和用户接口单元950。

调谐器941从在天线（未示出）处接收到的广播信号中选择期望频道。调谐器941对所接收到的期望频道的信号进行解调，并且将最终得到的压缩图像信息输出到选择器946。

外部接口单元942由IEEE 1394接口、网络接口单元、USB接口、闪存接口等中的至少一个构成。外部接口单元942是用于与外部装置、网络、存储卡等连接的接口，并且接收要记录的数据（诸如，视频数据和音频数据）等。

编码器943对已从外部接口单元942提供的并且尚未被编码的视频数据和音频数据执行预定编码，并且将压缩图像信息输出到选择器946。

HDD单元944将诸如视频和声音的内容数据、各种程序和其它数据等记录在内部硬盘上，并且在再现等时从硬盘读取数据。

盘驱动器945对所安装的光盘执行信号记录和再现。光盘可以例如是DVD盘（诸如DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW）或蓝光盘。

选择器946在视频和音频记录时从调谐器941或编码器943选择流，并且将该流提供到HDD单元944或盘驱动器945。选择器946还在视频和音频再现时将从HDD单元944或盘驱动器945输出的流提供到解码器947。

解码器947对流执行解码操作。解码器947将通过执行解码而生成的视频数据提供到OSD单元948。解码器947还输出通过执行解码而生成的音频数据。

OSD单元948生成用于显示用于项目选择的菜单屏幕等的视频数据，并且将该视频数据叠加在从解码器947输出的视频数据上。

用户接口单元950连接到控制单元949。用户接口单元950由操作开关、远程控制信号接收单元等构成，并且将根据用户操作的操作信号提供到控制单元949。

控制单元949由CPU、存储器等构成。存储器存储要在CPU处执行的程序和CPU执行操作所需的各种数据。CPU在预定时间（诸如在启动记录/再现设备94时）读取并执行存储在存储器中的程序。CPU执行程序以控制各个部件，使得记录/再现设备94根据用户操作而工作。

在具有以上结构的记录/再现设备中，编码器943具有本发明的图像编码装置（图像编码方法）的功能。此外，解码器947还具有本发明的图像解码装置（图像解码方法）的功能。因此，当图像被记录在记录介质上时，将与当前块的运动矢量信息的水平分量相关的预测水平运动矢量信息和与垂直分量相关的预测垂直运动矢量信息设置为彼此独立，使得能够提高编码效率。另外，可以正确地对通过图像编码操作而生成的压缩图像信息进行解码。

图27示意性地示出了应用了本技术的成像设备的示例结构。成像设备96捕获对象的图像，并且使得显示单元显示对象的图像或者将图像作为图像数据记录在记录介质上。

成像设备96包括光学组件961、成像单元962、摄像装置信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970。用户接口单元971和运动检测传感器单元972连接到控制单元970。此外，图像数据处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969、控制单元970等经由总线972而连接。

光学组件961由聚焦透镜、光圈等构成。光学组件961在成像单元962的成像表面上形成对象的光学图像。由CCD或CMOS图像传感器构成的成像单元962通过光电转换、根据光学图像生成电信号，并且将电信号提供到摄像装置信号处理单元963。

摄像装置信号处理单元963对从成像单元962提供的电信号执行各种摄像装置信号处理，诸如拐点（knee）校正、伽马校正和颜色校正。摄像装置信号处理单元963将经受了摄像装置信号处理的图像数据提供到图像数据处理单元964。

图像数据处理单元964对从摄像装置信号处理单元963提供的图像数据执行编码操作。图像数据处理单元964将通过执行编码操作而生成的压缩图像信息提供到外部接口单元966和介质驱动器968。图像数据处理单元964还对从外部接口单元966和介质驱动器968提供的压缩图像信息执行解码操作。图像数据处理单元964将通过执行解码操作而生成的图像数据提供到显示单元965。图像数据处理单元964还执行操作以将从摄像装置信号处理单元963提供的图像数据提供到显示单元965，或者将从OSD单元969获得的显示数据叠加在图像数据上并将图像数据提供到显示单元965。

OSD单元969生成由符号、字符或数字构成的菜单屏幕或者诸如图标的显示数据，并且将这样的数据提供到图像数据处理单元964。

外部接口单元966由例如USB输入/输出端子等构成，并且当执行图像打印时连接到打印机。驱动器在必要时也连接到外部接口单元966，并且诸如磁盘或光盘的可移除介质被适当地安装在驱动器上。在必要时安装从这样的可移除介质读取的程序。此外，外部接口单元966包括连接到诸如LAN或因特网的预定网络的网络接口。控制单元970根据例如来自用户接口单元971的指令而从存储器单元967读取压缩图像信息，并且可以将压缩图像信息从外部接口单元966提供到经由网络与其连接的其它设备。控制单元970还可以经由外部接口单元966获得经由网络从其它设备提供的压缩图像信息或图像数据，并且将压缩图像信息或图像数据提供到图像数据处理单元964。

要由介质驱动器968驱动的记录介质可以是可读/可重写的可移动盘，诸如磁盘、磁光盘、光盘或半导体存储器。记录介质可以是任意类型的可移除介质，并且可以是磁带装置、盘或存储卡。记录介质当然可以是非接触式IC卡等。

替选地，介质驱动器968和记录介质可被集成，并且可由诸如内部硬盘驱动器或SSD（固态驱动器）的不可移动存储介质构成。

控制单元970由CPU、存储器等构成。存储器存储要在CPU处执行的程序以及CPU执行操作所需的各种数据等。CPU在预定时间（诸如，在启动成像设备96时）读取并执行存储在存储器中的程序。CPU执行程序以控制各个部件，使得成像设备96根据用户操作而工作。

在具有以上结构的成像设备中，图像数据处理单元964具有本发明的图像编码装置（图像编码方法）和图像解码装置（图像解码方法）的功能。因此，当记录所捕获的图像时，将与当前块的运动矢量信息的水平分量相关的预测水平运动矢量信息以及与垂直分量相关的预测垂直运动矢量信息设置为彼此独立，使得能够提高编码效率。另外，可以正确地对通过图像编码操作而生成的压缩图像信息进行解码。

另外，由陀螺仪等构成的运动检测传感器单元972被设置在成像设备96中，并且基于运动（诸如，成像设备96的摇摆或倾斜）的检测结果，数据量小的代码被分配给具有高预测精度的预测运动矢量信息。通过根据以上述方式对成像设备所执行的运动检测结果来动态地分配代码，可以进一步提高编码效率。

应该注意，本技术不应被解释为限于上述实施例。实施例通过示例公开了本技术，但是明显地，本领域技术人员可以在不背离本技术的范围的情况下，以其它实施例来修改或替换这些实施例。即，在理解本技术的主题时，应将权利要求纳入考虑。

工业应用性

对于本技术的图像编码装置和运动矢量编码方法、以及图像解码装置和运动矢量解码方法，针对与当前块有关的运动矢量信息的水平分量和垂直分量，通过从与当前块相邻的已编码块中选择运动矢量信息来设置预测水平运动矢量信息和预测垂直运动矢量信息，并且通过使用所设置的预测水平运动矢量信息和预测垂直运动矢量信息来压缩与当前块有关的运动矢量信息。此外，生成表示其运动矢量信息已被选择的块的预测水平块信息和预测垂直块信息。另外，基于预测水平块信息和预测垂直块信息来对运动矢量信息进行解码。相应地，可以通过使用比与预测水平运动矢量信息和预测垂直运动矢量信息的候选的组合等同的标记的数据量小的预测水平块信息和预测垂直块信息，来设置预测水平运动矢量信息和预测垂直运动矢量信息。因此，可以提高编码效率。相应地，可以实现高编码效率。鉴于此，本技术适合于经由网络介质（诸如，卫星广播、有线电视、因特网或便携式电话）发送和接收压缩图像信息（比特流），或者适合于通过使用存储介质（诸如，光盘、磁盘和闪存）执行图像记录和再现的装置等。

附图标记列表

10…图像编码装置11…A/D转换器12、57…屏幕重排缓冲器13…减法单元14…正交变换单元15…量化单元16…无损编码单元17、51…累积缓冲器18…速率控制单元21、53…逆量化单元22、54…逆正交变换单元23、55…加法单元24、56…去块滤波器25、61…帧存储器26、62、75…选择器31、71…帧内预测单元32…运动预测/补偿单元33、33a、73、73a…预测运动矢量信息设置单元35…预测图像/最优模式选择单元50…图像解码装置52…无损解码单元58…D/A转换器72…运动补偿单元80…计算机装置90…电视机设备92…便携式电话装置94…记录/再现设备96…成像设备321…运动搜索单元322…成本函数值计算单元323…模式确定单元324…运动补偿处理单元325…运动矢量缓冲器331、731…预测水平运动矢量信息生成单元332、732…预测垂直运动矢量信息生成单元333、733…预测水平/垂直运动矢量信息生成单元334、334a…标识信息生成单元721…块尺寸信息缓冲器722…差运动矢量信息缓冲器723…运动矢量信息生成单元724…运动补偿处理单元725…运动矢量信息缓冲器730、730a…标记缓冲器

Claims (16)

1.一种图像解码装置，包括：

无损解码单元，被配置为根据压缩图像信息获得预测水平块信息和预测垂直块信息，所述预测水平块信息表示与当前块相邻的已解码块中具有以下运动矢量信息的块，该运动矢量信息被选择作为预测水平运动矢量信息，所述预测垂直块信息表示与所述当前块相邻的已解码块中具有以下运动矢量信息的块，该运动矢量信息被选择作为预测垂直运动矢量信息；

预测运动矢量信息设置单元，被配置为将与所述预测水平块信息所表示的块有关的运动矢量信息设置为所述预测水平运动矢量信息，并且将与所述预测垂直块信息所表示的块有关的运动矢量信息设置为所述预测垂直运动矢量信息；以及

运动矢量信息生成单元，被配置为通过使用所述预测运动矢量信息设置单元所设置的所述预测水平运动矢量信息和所述预测垂直运动矢量信息来生成与所述当前块有关的运动矢量信息。

2.根据权利要求1所述的图像解码装置，其中，

所述无损解码单元根据所述压缩图像信息来获得标识信息，所述标识信息表示使用了所述预测水平运动矢量信息和所述预测垂直运动矢量信息、还是使用了预测水平/垂直运动矢量信息，所述预测水平/垂直运动矢量信息表示针对与所述当前块有关的运动矢量信息的水平分量和垂直分量而从所述相邻的已解码块中选择的运动矢量信息，

基于所述标识信息，所述预测运动矢量信息设置单元设置所述预测水平运动矢量信息和所述预测垂直运动矢量信息、或者设置所述预测水平/垂直运动矢量信息，并且

所述运动矢量信息生成单元通过使用所述预测水平运动矢量信息和所述预测垂直运动矢量信息、或者使用所述预测水平/垂直运动矢量信息，生成与所述当前块有关的运动矢量信息。

3.根据权利要求1所述的图像解码装置，其中，

所述无损解码单元对所述压缩图像信息中所包含的代码进行解码，以获得所述预测水平块信息和所述预测垂直块信息，并且

基于所述预测水平块信息和所述预测垂直块信息，所述预测运动矢量信息设置单元设置所述预测水平运动矢量信息和所述预测垂直运动矢量信息。

4.一种运动矢量信息解码方法，包括以下步骤：

根据压缩图像信息获得预测水平块信息和预测垂直块信息，所述预测水平块信息表示与当前块相邻的已解码块中具有以下运动矢量信息的块，该运动矢量信息被选择作为预测水平运动矢量信息，所述预测垂直块信息表示与所述当前块相邻的已解码块中具有以下运动矢量信息的块，该运动矢量信息被选择作为预测垂直运动矢量信息；

将与所述预测水平块信息所表示的块有关的运动矢量信息设置为所述预测水平运动矢量信息，并且将与所述预测垂直块信息所表示的块有关的运动矢量信息设置为所述预测垂直运动矢量信息；以及

通过使用所设置的所述预测水平运动矢量信息和所述预测垂直运动矢量信息来生成与所述当前块有关的运动矢量信息。

5.一种图像编码装置，包括：

预测运动矢量信息设置单元，被配置为针对与当前块有关的运动矢量信息的水平分量和垂直分量，分别通过从与所述当前块相邻的已编码块中选择运动矢量信息来设置预测水平运动矢量信息和预测垂直运动矢量信息，并且生成表示该运动矢量信息被选择的块的预测水平块信息和预测垂直块信息。

6.根据权利要求5所述的图像编码装置，其中，所述预测运动矢量信息设置单元选择在对所述水平分量的编码操作中具有最高编码效率的运动矢量信息，并将所选择的运动矢量信息设置为所述预测水平运动矢量信息，并且选择在对所述垂直分量的编码操作中具有最高编码效率的运动矢量信息，并将所选择的运动矢量信息设置为所述预测垂直运动矢量信息。

7.根据权利要求6所述的图像编码装置，还包括：

成本函数值计算单元，被配置为计算每种预测模式下的成本函数值；以及

模式确定单元，被配置为确定最优预测模式，

其中，所述模式确定单元将具有所算出的成本函数值中的最小成本函数值的模式确定为所述最优预测模式。

8.根据权利要求5所述的图像编码装置，其中，所述预测水平块信息和所述预测垂直块信息被包含于压缩图像信息并被传送。

9.根据权利要求5所述的图像编码装置，其中，所述预测运动矢量信息设置单元能够针对每个画面或每个宏块条，针对与所述当前块有关的所述运动矢量信息的水平分量和垂直分量，在以下两者之间切换：将从与所述当前块相邻的已编码块中选择的所述运动矢量信息设置为预测水平/垂直运动矢量信息；以及将所述运动矢量信息设置为所述预测水平运动矢量信息和预测垂直运动矢量信息。

10.根据权利要求9所述的图像编码装置，其中，所述预测运动矢量信息设置单元生成标识信息，所述标识信息表示使用了所述预测水平运动矢量信息和所述预测垂直运动矢量信息、还是使用了所述预测水平/垂直运动矢量信息。

11.根据权利要求10所述的图像编码装置，其中，所生成的标识信息被包含于压缩图像信息的宏块条报头或画面参数集。

12.根据权利要求9所述的图像编码装置，其中，所述预测运动矢量信息设置单元针对P画面来设置所述预测水平运动矢量信息和预测垂直运动矢量信息，而针对B画面来设置所述预测水平/垂直运动矢量信息。

13.根据权利要求5所述的图像编码装置，还包括：

无损编码单元，被配置为对与所述当前块有关的运动矢量信息进行编码，

其中，所述无损编码单元将不同代码分配给所述预测水平块信息和所述预测垂直块信息，并且将分配给所述预测水平块信息和所述预测垂直块信息的代码包含于压缩图像信息中。

14.根据权利要求13所述的图像编码装置，其中，所述无损编码单元将不同代码分配给表示运动矢量信息被选择作为预测空间运动矢量信息的块的预测块信息、以及表示运动矢量信息被选择作为预测时间运动矢量信息的块的预测块信息，所述预测水平块信息的代码与所述预测垂直块信息的代码是不同的。

15.根据权利要求14所述的图像编码装置，其中，当对通过使用成像设备所生成的图像数据所检测到的与所述当前块有关的运动矢量信息执行编码操作时，所述无损编码单元基于对所述成像设备执行的运动检测结果来分配所述代码。

16.一种运动矢量信息编码方法，包括以下步骤：

针对与当前块有关的运动矢量信息的水平分量和垂直分量，分别通过从与所述当前块相邻的已编码块中选择运动矢量信息来设置预测水平运动矢量信息和预测垂直运动矢量信息，并且生成表示具有所选择的该运动矢量信息的块的预测水平块信息和预测垂直块信息。

Images