CN102160382A - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明涉及一种能够防止计算量的增加的图像处理设备和图像处理方法。L1搜索中心计算单元(77)使用在L0参考帧中搜索到的运动向量tmmv_L0、时间轴t上目标帧和L0参考帧之间的距离t_L0以及时间轴t上目标帧和L1参考帧之间的距离t_L1，计算L1参考帧的运动搜索中心。模板运动预测/补偿单元(76)在L1搜索中心计算单元(77)计算出的L1参考帧的搜索中心周围的预定区域E_L1内执行运动搜索，执行补偿处理并且生成预测图像。本发明可应用于使用例如H.264/AVC标准执行编码的图像编码设备。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及一种图像处理设备和图像处理方法，并且特别地，涉及一种防止计算量的增加的图像处理设备和图像处理方法。

背景技术

近年来，广泛地使用了这样的技术：该技术使用诸如MPEG(运动图像专家组)2或H.264和MPEG-4第10部分(高级视频编码)(在下文中称为“H.264/AVC”)的压缩编码方法对图像进行压缩编码，封装并传送图像，以及在接收端对图像进行解码。因此，用户可以观看高质量的运动图像。

另外，在MPEG2标准中，使用线性插值处理执行具有1/2像素精度的运动预测/补偿处理。相比之下，在H.264/AVC标准中，使用6抽头(tap)FIR(有限脉冲响应滤波器)滤波器执行具有1/4像素精度的运动预测/补偿处理。

此外，在MPEG2标准中，在帧运动补偿模式的情况下，以每16×16像素为单位执行运动预测/补偿处理。相比之下，在场运动补偿模式的情况下，针对第一和第二场中的每个场以每16×8像素为单位执行运动预测/补偿处理。

相比之下，在H.264/AVC标准中，能够基于可变的块大小执行运动预测/补偿处理。即，在H.264/AVC标准中，包括16×16像素的宏块被分成16×16分区、16×8分区、8×16分区以及8×8分区之一。分区中的每个能够具有独立的运动向量信息。另外，8×8分区可以被分成8×8子分区、8×4子分区、4×8子分区以及4×4子分区之一。子分区中的每个能够具有独立的运动向量信息。

然而，在H.264/AVC标准中，当基于可变的块大小执行上述具有1/4像素精度的运动预测/补偿处理时，不利地生成大量的运动向量信息项。如果直接编码这些运动向量信息项，则降低编码效率。

因此，提出了这样的技术：该技术在解码图像内搜索与模板区域的解码图像高度相关的图像区域，并且基于搜索到的区域和预定位置关系执行预测，其中该模板区域的解码图像是解码图像的部分并且与要用预定位置关系解码的区域的图像相邻(参考PTL1)。

在该技术中，解码图像用于匹配。因此，通过预先确定搜索区，可以在编码设备和解码设备中执行相同的处理。即，通过甚至在解码设备中执行上述预测/补偿处理，运动向量信息不需要被包括在从编码设备接收的图像压缩信息中。因此，可以防止编码效率的降低。

引用列表

专利文献

PTL1：日本未审查专利申请公布第2007-43651号

发明内容

技术问题

如上所指出的，PTL1中描述的技术不仅在编码设备中而且在解码设备中需要预测/补偿处理。在这样的情况下，为了获得极好的编码效率，需要具有足够大小的搜索区域。然而，如果增大搜索区域，则不仅编码设备中而且解码设备中的计算量增加。

特别地，在B片(slice)中，List0(列表0)和List1(列表1)需要运动搜索。因此，计算量显著增加。

因此，本发明旨在防止计算量的增加。

问题的解决方案

根据本发明的一个方面，图像处理设备包括：运动预测单元，其被配置成使用以预定位置关系与第一目标块相邻并且从解码图像生成的模板来搜索帧的第一目标块的运动向量；以及搜索中心计算单元，其被配置成使用运动预测单元在List0参考帧中搜索到的与第一目标块有关的运动向量信息、该帧与List0参考帧之间的时间距离信息和该帧与List1参考帧之间的时间距离信息，来计算List1参考帧的搜索中心。运动预测单元使用该模板，在搜索中心计算单元计算出的List1参考帧的搜索中心周围的预定搜索区域内，搜索第一目标块的运动向量。

搜索中心计算单元能够通过根据该帧与List0参考帧之间的时间距离信息以及该帧与List1参考帧之间的时间距离信息，对运动预测单元在List0参考帧中搜索到的与第一目标块有关的运动向量信息进行缩放，来计算List1参考帧的搜索中心。

搜索中心计算单元能够通过将关于第一目标块的缩放后的运动向量信息舍入为整数像素精度来计算List1参考帧的搜索中心。

POC(图像序列号)可以用作时间距离信息。

图像处理设备还能够包括：解码单元，其被配置成对编码后的运动向量信息进行解码；以及第二运动预测补偿单元，其被配置成使用由解码单元解码后的帧的第二目标块的运动向量来生成预测图像。

运动预测单元能够使用第二目标块来搜索帧的第二目标块的运动向量，并且图像处理设备还能够包括：图像选择单元，其被配置成选择基于由运动预测单元搜索到的第一目标块的运动向量的预测图像、和基于由运动预测单元搜索到的第二目标块的运动向量的预测图像之一。

根据本发明的一个方面，提供了一种用于在图像处理设备中使用的图像处理方法。该方法包括：运动预测步骤，用于使用以预定位置关系与目标块相邻并且从解码图像生成的模板来搜索帧的目标块的运动向量；以及搜索中心计算步骤，用于使用通过运动预测步骤在List0参考帧中搜索到的与目标块有关的运动向量信息、该帧与List0参考帧之间的时间距离信息和该帧与List1参考帧之间的时间距离信息，来计算List1参考帧的搜索中心。在运动预测步骤中，使用模板在计算出的List1参考帧的搜索中心周围的预定搜索区域内搜索目标块的运动向量。

根据本发明的一个方面，使用以预定位置关系与目标块相邻并且从解码图像生成的模板来搜索帧的目标块的运动向量。另外，使用运动预测单元在List0参考帧中搜索到的与目标块有关的运动向量信息、该帧与List0参考帧之间的时间距离信息和该帧与List1参考帧之间的时间距离信息，计算List1参考帧的搜索中心。此外，使用模板在List1参考帧的搜索中心周围的预定搜索区域内搜索目标块的运动向量。

本发明的有利效果

根据本发明的上述方面，可以对图像进行编码和解码。另外，根据本发明的上述其它方面，能够防止计算量的增加。

附图说明

图1是根据本发明的实施例的图像编码设备的配置的方框图。

图2示出了可变长度块大小运动预测/补偿处理。

图3示出了具有1/4像素精度的运动预测/补偿处理。

图4是示出由图1中示出的图像编码设备执行的编码处理的流程图。

图5是示出在图4示出的步骤S21中执行的预测处理的流程图。

图6是示出在图5示出的步骤S31中执行的帧内预测(intra-prediction)处理的流程图。

图7示出了帧内预测的方向。

图8示出了帧内预测。

图9是示出在图5示出的步骤S32中执行的帧间运动预测(intermotion prediction)处理的流程图。

图10示出了用于生成运动向量信息的方法的示例。

图11是示出在图5示出的步骤S33中执行的帧间模板运动预测(inter-template motion prediction)处理的流程图。

图12示出了帧间模板匹配(inter-template matching)方法。

图13详细示出了在图11示出的步骤S71至步骤S73中执行的处理。

图14是根据本发明的实施例的图像解码设备的配置的框图。

图15是示出由图14中示出的图像解码设备执行的解码处理的流程图。

图16是示出在图15示出的步骤S138中执行的预测处理的流程图。

图17是示出在图16示出的步骤S175中执行的帧间模板运动预测处理的流程图。

图18示出了扩展的宏块大小的示例。

图19是根据本发明的电视接收机的主要配置的示例的方框图。

图20是根据本发明的手机的主要配置的示例的方框图。

图21是根据本发明的硬盘记录器的主要配置的示例的方框图。

图22是根据本发明的摄像机的主要配置的示例的方框图。

具体实施方式

以下参照附图描述本发明的实施例。

图1示出了根据本发明的实施例的图像编码设备的配置。图像编码设备51包括A/D转换单元61、重排序屏幕缓冲器62、计算单元63、正交变换单元64、量化器单元65、无损编码单元66、累积缓冲器67、逆量化器单元68、逆正交变换单元69、计算单元70、去块滤波器(de-blockingfilter)71、帧存储器72、开关73、帧内预测单元74、运动预测/补偿单元75、模板运动预测/补偿单元76、L1(List1)搜索中心计算单元77、预测图像选择单元78以及速率控制单元79。

图像编码设备51使用例如H.264和MPEG-4第10部分(高级视频编码)(在下文中称为“H.264/AVC”)标准对图像进行压缩编码。

在H.264/AVC标准中，使用可变的块大小执行运动预测/补偿。即，如图2所示，在H.264/AVC标准中，包括16×16像素的宏块被分成16×16分区、16×8分区、8×16分区以及8×8分区之一。每个分区能够具有独立的运动向量信息。另外，如图2所示，8×8分区能够被分成8×8子分区、8×4子分区、4×8子分区以及4×4子分区之一。每个子分区能够具有独立的运动向量信息。

另外，在H.264/AVC标准中，使用6抽头FIR(有限脉冲响应滤波器)滤波器执行具有1/4像素精度的运动预测和补偿处理。接下来参照图3描述在H.264/AVC标准中具有亚像素(sub-pixel)精度的预测/补偿处理。

在图3示出的示例中，位置A表示整数精度的像素的位置，位置b、c以及d表示1/2像素精度的像素的位置，并且位置e1、e2以及e3表示1/4像素精度的像素的位置。在以下描述中，首先如下定义Clip()。

[数学式1]

注意，当输入图像是具有8位精度的图像时，max_pix的值是255。

如下使用6抽头FIR滤波器生成位置b和d处的像素值：

[数学式2]

F＝A_-2-5·A_-1+20·A₀+20·A₁-5·A₂+A₃

b，d＝Clip1((F+16)＞＞5)...(2)

如下在水平方向和垂直方向上使用6抽头FIR滤波器生成位置c处的像素值：

[数学式3]

F＝b_-2-5·b_-1+20·b₀+20·b₁-5·b₂+b₃

或者

F＝d_-2-5·d_-1+20·d₀+20·d₁-5·d₂+d₃

c＝Clip1((F+512)＞＞10)...(3)

注意，在执行水平方向上的积和运算(product-sum operation)和垂直方向上的积和运算之后，最终仅执行一次限制函数(Clip)处理。

如下使用线性插值生成位置e1至e3：

[数学式4]

e₁＝(A+b+1)＞＞1

e₂＝(b+d+1)＞＞1

e₃＝(b+c+1)＞＞1...(4)

返回参照图1，A/D转换单元61对输入图像进行A/D转换，并且将转换后的图像输出到存储转换后的图像的重排序屏幕缓冲器62中。此后，重排序屏幕缓冲器62根据GOP(图片组)，对以图像被存储的顺序排列的帧的图像进行重排序，使得以帧要被编码的顺序排列图像。

计算单元63从自重排序屏幕缓冲器62中读取的图像中减去从帧内预测单元74接收的并且由预测图像选择单元78选择的预测图像，或者减去从运动预测/补偿单元75接收的预测图像。此后，计算单元63将差信息输出到正交变换单元64。正交变换单元64对从计算单元63接收的差信息执行诸如离散余弦变换或卡南洛伊夫(Karhunen-loeve)变换的正交变换，并且输出变换系数。量化器单元65对从正交变换单元64输出的变换系数进行量化。

从量化器单元65输出的量化后的变换系数被输入到无损编码单元66。无损编码单元66执行无损编码，例如可变长编码或算术编码。因此，压缩量化后的变换系数。

无损编码单元66从帧内预测单元74获取关于帧内预测的信息，并且从运动预测/补偿单元75获取关于帧间预测和帧间模板预测的信息。无损编码单元66对量化后的变换系数进行编码。另外，无损编码单元66对关于帧内预测的信息和关于帧间预测和帧间模板预测的信息进行编码。编码后的信息用作头信息的部分。无损编码单元66将编码后的数据提供到对编码后的数据进行累积的累积缓冲器67。

例如，在无损编码单元66中，执行无损编码处理，诸如可变长编码(例如，由H.264/AVC标准定义的CAVLC(文本自适应可变长编码))或算术编码(例如，CABAC(文本自适应二进制算术编码))。以下描述CABAC编码方法。

累积缓冲器67将以用H.264/AVC标准编码的压缩图像的形式从无损编码单元66提供的数据输出到例如下游记录设备或下游传输线(均未示出)。

另外，从量化器单元65输出的量化后的变换系数还输入到逆量化器单元68并且被逆量化。此后，变换系数在逆正交变换单元69中进一步进行逆正交变换。计算单元70将逆正交变换的结果与从预测图像选择单元78提供的预测图像相加。以此方式，生成局部解码的图像。去块滤波器71去除解码图像的块失真，并且将解码图像提供到帧存储器72。因此，累积解码图像。另外，在去块滤波器71执行去块滤波处理之前的图像还被提供到帧存储器72并且被累积。

开关73将帧存储器72中累积的参考图像输出到运动预测/补偿单元75或帧内预测单元74。

在图像编码设备51中，例如，将从重排序屏幕缓冲器62接收的I图片、B图片以及P图片作为要进行帧内预测(也被称为“帧内处理”)的图像提供到帧内预测单元74。另外，将从重排序屏幕缓冲器62读取的B图片和P图片作为要进行帧间预测(也被称为“帧间处理”)的图像提供到运动预测/补偿单元75。

帧内预测单元74使用从重排序屏幕缓冲器62读取的并且要进行帧内预测的图像以及从帧存储器72提供的参考图像，在所有候选帧内预测模式下执行帧内预测处理。因此，帧内预测单元74生成预测图像。

此时，帧内预测单元74针对候选帧内预测模式中的每种模式计算成本函数值，并且选择使计算出的成本函数值最小的帧内预测模式作为最优帧内预测模式。

帧内预测单元74将在最优帧内预测模式下生成的预测图像和最优帧内预测模式的成本函数值提供到预测图像选择单元78。当预测图像选择单元78选择在最优帧内预测模式下生成的预测图像时，帧内预测单元74将关于最优帧内预测模式的信息提供到无损编码单元66。无损编码单元66对该信息进行编码并且使用该信息作为头信息的部分。

运动预测/补偿单元75针对候选帧间预测模式中的每种模式执行运动预测/补偿处理。即，运动预测/补偿单元75基于从重排序屏幕缓冲器62读取的并且要进行帧间处理的图像以及经由开关73从帧存储器72提供的参考图像，在候选帧间预测模式中的每种模式下检测运动向量。此后，运动预测/补偿单元75基于运动向量对参考图像执行运动预测/补偿，并且生成预测图像。

另外，运动预测/补偿单元75将从重排序屏幕缓冲器62读取的并且要进行帧间处理的图像以及经由开关73从帧存储器72提供的参考图像提供到模板运动预测/补偿单元76。

此外，运动预测/补偿单元75针对候选帧间预测模式中的每种模式计算成本函数值。运动预测/补偿单元75从针对帧间预测模式计算出的成本函数值以及由模板运动预测/补偿单元76针对帧间模板预测模式计算出的成本函数值中，选择使成本函数值最小的预测模式作为最优帧间预测模式。

运动预测/补偿单元75将在最优帧间预测模式下生成的预测图像和预测图像的成本函数值提供到预测图像选择单元78。当预测图像选择单元78选择在最优帧间预测模式下生成的预测图像时，运动预测/补偿单元75将关于最优帧间预测模式的信息以及与最优帧间预测模式相关联的信息(例如，运动向量信息、标志信息以及参考帧信息)提供到无损编码单元66。无损编码单元66还对从运动预测/补偿单元75接收的信息执行诸如可变长编码或算术编码的无损编码处理，并且将该信息插入到压缩图像的头部。

模板运动预测/补偿单元76基于从重排序屏幕缓冲器62提供的并且要进行帧间处理的图像以及从帧存储器72提供的参考图像来执行运动预测和补偿处理，并且生成预测图像。

模板运动预测/补偿单元76对P片或B片中包括的块执行运动预测和补偿处理。对于B片，模板运动预测/补偿单元76对两个参考帧List0和List1均执行运动预测和补偿处理。注意，在下文中，List0和List1也分别被称为“L0”和“L1”。

此时，对于L0参考帧，模板运动预测/补偿单元76在预定区域内在帧间模板预测模式下执行运动搜索。此后，模板运动预测/补偿单元76执行补偿处理并且生成预测图像。相比之下，对于L1参考帧，模板运动预测/补偿单元76在由L1搜索中心计算单元77计算出的搜索中心周围的预定区域内，在帧间模板预测模式下执行运动搜索。此后，模板运动预测/补偿单元76执行补偿处理并且生成预测图像。

因此，在针对L1参考帧执行运动搜索时，模板运动预测/补偿单元76将从重排序屏幕缓冲器62读取的并且要进行帧间编码的图像以及从帧存储器72提供的参考图像提供到L1搜索中心计算单元77。注意，此时，还将在L0参考帧中搜索到的运动向量信息提供到L1搜索中心计算单元77。

另外，模板运动预测/补偿单元76将针对L0和L1参考帧生成的预测图像的均值视为预测图像，并且针对帧间模板预测模式计算成本函数值。此后，模板运动预测/补偿单元76将计算出的成本函数值和预测图像提供到运动预测/补偿单元75。

仅在要处理的块被包括在B片中时，L1搜索中心计算单元77才工作。L1搜索中心计算单元77使用在L0参考帧中搜索到的运动向量信息，针对L1参考帧计算运动向量的搜索中心。更具体地，L1搜索中心计算单元77通过使用到接下来要编码的目标帧的距离，在时间轴上对在L0参考帧中搜索到的运动向量信息进行缩放(scaling)，来计算L1参考帧中的运动向量搜索中心。

预测图像选择单元78基于从帧内预测单元74或运动预测/补偿单元75输出的成本函数值，从最优帧内预测模式和最优帧间预测模式当中确定最优预测模式。此后，预测图像选择单元78选择所确定的最优预测模式下的预测图像，并且将选择的预测图像提供到计算单元63和计算单元70。此时，预测图像选择单元78将关于预测图像的选择信息提供到帧内预测单元74或运动预测/补偿单元75。

速率控制单元79基于累积缓冲器67中累积的压缩图像，控制由量化器单元65执行的量化操作的速率，使得不发生上溢和下溢。

接下来参照图4中示出的流程图描述由图1中示出的图像编码设备51执行的编码处理。

在步骤S11中，A/D转换单元61对输入图像进行A/D转换。在步骤S12中，重排序屏幕缓冲器62存储从A/D转换单元61提供的图像，并且将显示图片的顺序转换成要对图片进行编码的顺序。

在步骤S13中，计算单元63计算在步骤S12中重排序的图像和预测图像之间的差。在帧间预测的情况下，将预测图像从运动预测/补偿单元75经由预测图像选择单元78提供到计算单元63，而在帧内预测的情况下，将预测图像从帧内预测单元74经由预测图像选择单元78提供到计算单元63。

差数据的数据大小小于原始图像数据的数据大小。因此，与对图像进行直接编码的情况相比，能够减小数据大小。

在步骤S14中，正交变换单元64对从计算单元63提供的差信息执行正交变换。更具体地，执行诸如离散余弦变换或Karhunen-loeve变换的正交变换，并且输出变换系数。在步骤S15中，量化器单元65对变换系数进行量化。如以下参照步骤S25中执行的处理所详细描述的，在该量化处理中控制速率。

如下对以上述方式量化的差信息进行局部解码。即，在步骤S16中，逆量化器单元68使用与量化器单元65的特性相反的特性，对由量化器单元65量化的变换系数进行逆量化。在步骤S17中，逆正交变换单元69使用与正交变换单元64的特性相对应的特性，对由逆量化器单元68逆量化的变换系数执行逆正交变换。

在步骤S18中，计算单元70将经由预测图像选择单元78输入的预测图像与局部解码的差图像相加。因此，计算单元70生成局部解码的图像(与计算单元63的输入相对应的图像)。在步骤S19中，去块滤波器71对从计算单元70输出的图像执行滤波。以此方式，去除了块失真。在步骤S20中，帧存储器72存储滤波后的图像。注意，还将没有进行由去块滤波器71执行的滤波处理的图像提供到帧存储器72并且存储在帧存储器72中。

在步骤S21中，帧内预测单元74、运动预测/补偿单元75以及模板运动预测/补偿单元76中的每个单元执行其自己的图像预测处理。即，在步骤S21中，帧内预测单元74在帧内预测模式下执行帧内预测处理。运动预测/补偿单元75在帧间预测模式下执行运动预测/补偿处理。另外，模板运动预测/补偿单元76在帧间模板预测模式下执行运动预测/补偿处理。

以下参照图5更详细地描述在步骤S21中执行的预测处理。通过在步骤S21中执行的预测处理，在候选预测模式中的每种模式下执行预测处理，并且针对所有候选预测模式计算成本函数值。此后，基于计算出的成本函数值选择最优帧内预测模式，并且将在最优帧内预测模式下使用帧内预测所生成的预测图像和预测图像的成本函数值提供到预测图像选择单元78。另外，使用计算出的成本函数值，从帧间预测模式和帧间模板预测模式当中确定最优帧间预测模式。此后，将在最优帧间预测模式下生成的预测图像和预测图像的成本函数值提供到预测图像选择单元78。

在步骤S22中，预测图像选择单元78使用从帧内预测单元74和运动预测/补偿单元75输出的成本函数值，选择最优帧内预测模式和最优帧间预测模式之一作为最优预测模式。此后，预测图像选择单元78选择所确定的最优预测模式下的预测图像，并且将预测图像提供到计算单元63和计算单元70。如上所述，该预测图像用于在步骤S13和步骤S18中所执行的计算。

注意，将关于预测图像的选择信息提供到帧内预测单元74或运动预测/补偿单元75。当选择最优帧内预测模式下的预测图像时，帧内预测单元74将关于最优帧内预测模式的信息(即，帧内预测模式信息)提供到无损编码单元66。

当选择最优帧间预测模式下的预测图像时，运动预测/补偿单元75将关于最优帧间预测模式的信息和与最优帧间预测模式相关联的信息(例如，运动向量信息、标志信息以及参考帧信息)提供到无损编码单元66。更具体地，当选择帧间预测模式下的预测图像作为最优帧间预测模式时，运动预测/补偿单元75将帧间预测模式信息、运动向量信息以及参考帧信息输出到无损编码单元66。

相比之下，当选择帧间模板预测模式下的预测图像作为最优帧间预测模式时，运动预测/补偿单元75将帧间模板预测模式信息、运动向量信息以及基于亚像素(sub-pixel-based)的运动向量信息提供到无损编码单元66。即，由于不需要将运动向量信息传递到解码侧，因此运动向量信息没有输出到无损编码单元66。因此，可以减少压缩图像中的运动向量信息。

在步骤S23中，无损编码单元66对从量化器单元65输出的量化后的变换系数进行编码。即，对差图像进行无损编码(例如，可变长编码或算术编码)和压缩。此时，在步骤S22中从帧内预测单元74输入到无损编码单元66的上述帧内预测模式信息、或者从运动预测/补偿单元75输入到无损编码单元66的与最优帧间预测模式相关联的上述信息(例如，预测模式信息、运动向量信息以及参考帧信息)也被编码并且也被加入头信息中。

在步骤S24中，累积缓冲器67将差图像累积为压缩图像。在需要时读取累积缓冲器67中累积的压缩图像并且经由传输线将其传输到解码侧。

在步骤S25中，速率控制单元79基于存储在累积缓冲器67中的压缩图像，控制由量化器单元65执行的量化操作的速率，使得不发生上溢和下溢。

接下来参照图5中示出的流程图描述在图4中示出的步骤S21中执行的预测处理。

如果从重排序屏幕缓冲器62提供的并且要被处理的图像中的每个图像是要进行帧内处理的块的图像，则从帧存储器72读取要参考的解码图像，并且经由开关73将其提供到帧内预测单元74。在步骤S31中，帧内预测单元74使用该图像在所有候选帧内预测模式下对要处理的块的像素执行帧内预测。注意，没有进行由去块滤波器71执行的去块滤波的像素用作要参考的解码像素。

以下参照图6描述在步骤S31中执行的帧内预测处理。通过帧内预测处理，在所有候选帧内预测模式下执行帧内预测，并且针对所有候选帧内预测模式来计算成本函数值。此后，基于计算出的成本函数值选择最优帧内预测模式。将在最优帧内预测模式下通过帧内预测所生成的预测图像及其成本函数值提供到预测图像选择单元78。

如果从重排序屏幕缓冲器62提供的并且要被处理的图像中的每个图像是要进行帧间处理的图像，则从帧存储器72读取要参考的图像，并且经由开关73将其提供到运动预测/补偿单元75。在步骤S32中，运动预测/补偿单元75使用该图像执行帧间运动预测处理。即，运动预测/补偿单元75参考从帧存储器72提供的图像，并且在所有候选帧间预测模式下执行运动预测处理。

以下参照图9更详细地描述在步骤S32中执行的帧间运动预测处理。通过帧间运动预测处理，在所有候选帧间预测模式下执行运动预测处理，并且针对所有候选帧间预测模式计算成本函数值。

另外，如果从重排序屏幕缓冲器62提供的并且要被处理的图像中的每个图像是要进行帧间处理的图像，则从帧存储器72读取要参考的图像，并且经由开关73和运动预测/补偿单元75还将其提供到模板运动预测/补偿单元76。在步骤S33中，模板运动预测/补偿单元76使用该图像执行帧间模板运动预测处理。

以下参照图11更详细地描述在步骤S33中执行的帧间模板运动预测处理。通过帧间模板运动预测处理，在帧间模板预测模式下执行运动预测处理，并且针对帧间模板预测模式计算成本函数值。此后，将在帧间模板预测模式下通过运动预测处理所生成的预测图像及其成本函数值提供到运动预测/补偿单元75。注意，如果存在与帧间模板预测模式相关联的信息(例如，预测模式信息)，则还将这样的信息提供到运动预测/补偿单元75。

在步骤S34中，运动预测/补偿单元75将在步骤S32中针对帧间预测模式计算出的成本函数值与在步骤S33中针对帧间模板预测模式计算出的成本函数值进行比较。因此，将提供最小成本函数值的预测模式选择为最优帧间预测模式。此后，运动预测/补偿单元75将在最优帧间预测模式下生成的预测图像及其成本函数值提供到预测图像选择单元78。

接下来参照图6中示出的流程图来描述在图5示出的步骤S31中执行的帧内预测处理。注意，参考亮度信号来描述图6中示出的示例。

在步骤S41中，帧内预测单元74在帧内预测模式下针对4×4像素、8×8像素以及16×16像素执行帧内预测。

亮度信号的帧内预测模式包括基于9种类型的4×4像素块和8×8像素块以及4种类型的16×16像素宏块的预测模式。相比之下，色差信号的帧内预测模式包括基于4种类型的8×8像素块的预测模式。能够与亮度信号的帧内预测模式相独立地设置色差信号的帧内预测模式。对于亮度信号的4×4像素和8×8像素的帧内预测模式，能够为亮度信号的4×4像素块和8×8像素块中的每个定义帧内预测模式。对于亮度信号的16×16像素帧内预测模式和色差信号的帧内预测模式，能够为一个宏块定义帧内预测模式。

预测模式的类型对应于由图7中示出的数字“0”、“1”以及“3”至“8”指示的方向。预测模式“2”表示均值预测。

例如，参照图8描述帧内4×4预测模式。当从重排序屏幕缓冲器62读取的并且要被处理的图像(例如，像素a至p)是要进行帧内处理的块的图像时，从帧存储器72读取要参考的解码图像(像素A至M)。此后，经由开关73将读出的图像提供到帧内预测单元74。

帧内预测单元74使用这些图像对要处理的块的像素执行帧内预测。针对帧内预测模式中的每种模式执行这样的帧内预测处理，并且因此，针对帧内预测模式中的每种模式生成预测图像。注意，将没有进行由去块滤波器71执行的去块滤波的像素用作要参考的解码像素(像素A至M)。

在步骤S42中，帧内预测单元74针对4×4像素帧内预测模式、8×8像素帧内预测模式以及16×16像素帧内预测模式中的每个模式来计算成本函数值。此时，使用在作为H.264/AVC参考软件的JM(联合开发模型)中所定义的高复杂性模式和低复杂性模式的方法之一，执行成本函数值的计算。

即，在高复杂性模式中，针对所有候选预测模式执行直至编码处理的处理，以作为在步骤S41中执行的处理。因此，针对预测模式中的每种模式Mode计算由以下等式(5)定义的成本函数值Cost(mode)，并且此后，将提供最小成本函数值的预测模式选择为最优预测模式。

Cost(Mode)＝D+λ·R    ...(5)

其中，D表示原始图像和解码图像之间的差(失真)，R表示包括直至正交变换系数的所生成的代码的数量，并且λ表示以量化参数QP的函数的形式提供的拉格朗日乘数。

相比之下，在低复杂性模式中，针对所有候选预测模式执行预测图像的生成以及运动向量信息、预测模式信息和标志信息的头比特的计算，以作为在步骤S41中执行的处理。因此，针对预测模式中的每种模式计算在以下等式(6)中表示的成本函数值，并且此后，将提供最小成本函数值的预测模式选择为最优预测模式。

Cost(Mode)＝D+QPtoQuant(QP)·Header_Bit    ...(6)

其中，D表示原始图像和解码图像之间的差(失真)，Header_Bit表示预测模式的头比特，并且QPtoQuant表示以量化参数QP的函数形式提供的函数。

在低复杂性模式中，针对预测模式中的每种模式仅生成预测图像。不需要执行编码处理和解码处理。因此，能够减少计算量。

在步骤S43中，帧内预测单元74确定4×4像素帧内预测模式、8×8像素帧内预测模式以及16×16像素帧内预测模式中的每个模式的最优模式。即，如以上参照图7所描述的，在4×4像素帧内预测模式和8×8像素帧内预测模式的情况下，存在九种类型的预测模式。在16×16像素帧内预测模式的情况下，存在四种类型的预测模式。因此，帧内预测单元74基于在步骤S42中计算出的成本函数值，从这些预测模式中选择最优4×4像素帧内预测模式、最优8×8像素帧内预测模式以及最优16×16像素帧内预测模式。

在步骤S44中，帧内预测单元74基于在步骤S42中计算出的成本函数值，从针对4×4像素帧内预测模式、8×8像素帧内预测模式以及16×16像素帧内预测模式所选择的最优模式当中，选择最优帧内预测模式。即，帧内预测单元74从针对4×4像素帧内预测模式、8×8像素帧内预测模式以及16×16像素帧内预测模式所选择的最优模式当中，将具有最小成本函数值的模式选择为最优帧内预测模式。此后，帧内预测单元74将以最优帧内预测模式生成的预测图像及其成本函数值提供到预测图像选择单元78。

接下来参照图9中示出的流程图来描述在图5示出的步骤S32中执行的帧间运动预测处理。

在步骤S51中，运动预测/补偿单元75针对在图2中示出的八种16×16像素帧间预测模式至4×4像素帧间预测模式中的每个模式来确定运动向量和参考图像。即，针对帧间预测模式中的每个模式为要处理的块确定运动向量和参考图像。

在步骤S52中，运动预测/补偿单元75基于在步骤S51中确定的运动向量，针对八种16×16像素帧间预测模式至4×4像素帧间预测模式中的每个模式，对参考图像执行运动预测和补偿处理。通过运动预测和补偿处理，针对帧间预测模式中的每个模式来生成预测图像。

在步骤S53中，运动预测/补偿单元75为针对八种16×16像素帧间预测模式至4×4像素帧间预测模式中的每个模式所确定的运动向量生成要被加到压缩图像上的运动向量信息。

接下来参照图10描述用于生成H.264/AVC标准中的运动向量信息的方法。在图10示出的示例中，示出了接下来要编码的目标块E(例如，16×16像素)以及已经编码的并且与目标块E相邻的块A至D。

即，块D与目标块E的左上角相邻。块B与目标块E的上端相邻。块C与目标块E的右上角相邻。块A与目标块E的左端相邻。注意，由于块A至D是图2中示出的16×16像素块至4×4像素块之一，因此没有示出块A至D中的每块的全部。

例如，假设mv_x表示X(＝A、B、C、D、E)的运动向量信息。如下使用块A、B以及C的运动向量信息和中间预测来表示目标块E的预测运动向量信息pmv_E。

pmv_E＝med(mv_A，mv_B，mv_C)    ...(7)

如果关于块C的运动向量信息由于例如块C位于图像帧的末端或者块C还没有被编码而不可用，则使用关于块D的运动向量信息来取代关于块C的运动向量信息。

使用pmv_E给出作为关于目标块E的运动向量信息的、要被加入压缩图像的头部的数据mvd_E，如下：

mvd_E＝mv_E-pmv_E    ...(8)

注意，实际上，针对运动向量信息的水平方向分量和垂直方向分量独立地执行处理。

以此方式，生成预测运动向量信息，并且将使用邻近块之间的相关性所生成的预测运动向量信息和运动向量信息之间的差加入压缩图像的头部。因此，能够减少运动向量信息。

以上述方式生成的运动向量信息还用于在随后的步骤S54中执行的成本函数值的计算。如果预测图像选择单元78最终选择与运动向量信息对应的预测图像，则运动向量信息连同预测模式信息和参考帧信息一起输出到无损编码单元66。

返回参照图9，在步骤S54中，运动预测/补偿单元75使用等式(5)或等式(6)计算八种16×16像素帧间预测模式至4×4像素帧间预测模式中的每个模式的成本函数值。此处计算出的成本函数值用于在如上所述的图5示出的步骤S34中选择最优帧间预测模式。

参照图11中示出的流程图来描述在图5示出的步骤S33中执行的帧间模板运动预测处理。

在步骤S71中，模板运动预测/补偿单元76针对List0参考帧在帧间模板预测模式下执行运动预测/补偿处理。即，模板运动预测/补偿单元76使用帧间模板匹配方法针对List0参考帧搜索运动向量。此后，模板运动预测/补偿单元76基于搜索到的运动向量，对参考图像执行运动预测/补偿处理。以此方式，模板运动预测/补偿单元76生成预测图像。

参照图12更详细地描述帧间模板匹配方法。

在图12示出的示例中，示出了要编码的目标帧和当搜索运动向量时所参考的参考帧。在目标帧中，示出了接下来要编码的目标块A和包括与目标块A相邻并且已经被编码的像素的模板区域B。即，如图12所示，当按光栅扫描顺序执行编码处理时，模板区域B位于目标块A的左侧并且位于目标块A的上侧。另外，在帧存储器72中累积模板区域B的解码图像。

模板运动预测/补偿单元76使用例如SAD(绝对差的和)作为成本函数值，在参考帧的预定搜索区域E中执行模板匹配处理。模板运动预测/补偿单元76搜索与模板区域B的像素值具有最高相关性的区域B’。此后，模板运动预测/补偿单元76将与搜索到的区域B’对应的块A’视为目标块A的预测图像，并且针对目标块A搜索运动向量P。

以此方式，在使用帧间模板匹配方法的运动向量搜索处理中，将解码图像用于模板匹配处理。因此，通过预先定义预定搜索区域E，能够在图1示出的图像编码设备51中和在图14示出的图像解码设备101(以下描述)中执行相同的处理。即，通过也在图像解码设备101中设置模板运动预测/补偿单元123，不需要将关于目标块A的运动向量P的信息发送到图像解码设备101。因此，能够减少压缩图像中的运动向量信息。

注意，在帧间模板预测模式中能够采用任何大小的块和模板。即，如在运动预测/补偿单元75中一样，可从图2中示出的八个16×16像素块至4×4像素块大小当中选择一个块大小，并且可始终使用该块大小来执行处理。替选地，可使用作为候选的所有块大小来执行处理。可根据块大小改变模板大小或者可将模板大小固定为一个大小。

返回参照图11，在步骤S72中，模板运动预测/补偿单元76确定当前编码的目标块是否是双向可预测的。如果在步骤S72中确定目标块是双向可预测的，则在步骤S73中，模板运动预测/补偿单元76指示L1搜索中心计算单元77计算L1参考帧中的搜索中心。此后，在步骤S74中，模板运动预测/补偿单元76在由L1搜索中心计算单元77在L1参考帧中计算出的搜索中心周围的预定区域中执行运动搜索。因此，模板运动预测/补偿单元76执行补偿处理并且生成预测图像。

参照图13更详细地描述在步骤S71至步骤S74中执行的上述处理。在图13示出的示例中，时间轴t表示时间的流逝。从左开始，示出了L0(List0)参考帧、接下来要编码的目标帧以及L1(List1)参考帧。目标帧的目标块A被包括在B片中。针对L0参考帧和L1参考帧执行运动预测/补偿。

首先，在步骤S71中，模板运动预测/补偿单元76在B片中所包括的目标块A和L0参考帧之间，在帧间模板预测模式下执行运动预测/补偿处理。

通过在步骤S71中执行的处理，首先，在L0参考帧中的预定搜索区域内，搜索与包括已经编码的像素的模板区域B的像素值具有最高相关性的区域B_L0。结果，使用作为目标块A的预测图像、与搜索到的区域B_L0对应的块A_L0来搜索目标块A的运动向量tmmv_L0。

随后，在步骤S72中，确定当前编码的目标块是否是双向可预测的。如果在步骤S72中确定当前编码的目标块是双向可预测的，则处理前进到步骤S73。仅在当前编码的目标块是双向可预测的时，即仅当目标块被包括在B片中时，L1搜索中心计算单元77才工作。

在步骤S73中，L1搜索中心计算单元77使用在L0参考帧中搜索到的运动向量tmmv_L0、时间轴t上目标帧和L0参考帧之间的距离t_L0以及时间轴t上目标帧和L1参考帧之间的距离t_L1来计算L1参考帧的运动搜索中心。

通过在步骤S73中执行的处理，如图13中示出的虚线箭头所指示的，向量根据时间轴t上目标帧和L0参考帧之间的距离t_L0以及时间轴t上目标帧和L1参考帧之间的距离t_L1朝向L1参考帧延伸(缩放)在L0参考帧中搜索到的运动向量tmmv_L0。因此，计算L1参考帧的搜索中心。注意，实际上，将关于朝向L1侧延伸的运动向量的信息舍入成具有整像素精度的信息，并且将关于朝向L1侧延伸的运动向量的信息用作L1参考帧的搜索中心。

即，使用以下表达式(9)计算搜索中心。

[数学式5]

$(-\frac{t_{L1}}{t_{L0}}\·{\mathrm{tmmv}}_{L0\_h},-\frac{t_{L1}}{t_{L0}}\·{\mathrm{tmmv}}_{L0\_v})\·\·\·\left(9\right)$

注意，表达式(9)需要除法。然而，实际上，通过使t_L1/t_L0近似为N/2^M(M和N是整数)并且执行包括舍入运算的移位运算，能够计算表达式(9)。

另外，在H.264/AVC标准中，压缩图像中不包括与时间轴t上距离t_L0和t_L1对应的、针对目标帧的信息项。因此，将POC(图像序列号)用作实际表示距离t_L0和t_L1的值，其中，POC是指示输出图像的顺序的信息。

注意，在图13示出的示例中，L0参考帧是前向可预测的，而L1参考帧是后向可预测的。然而，本发明不限于图13中示出的示例。即使在L0参考帧和L1参考帧是前向可预测的情况下以及在L0参考帧和L1参考帧是后向可预测的情况下，也能够施加类似的操作。注意，当L0参考帧和L1参考帧具有相同方向时，使用等式(10)取代等式(9)来计算搜索中心。

[数学式6]

$(\frac{t_{L1}}{t_{L0}}\·{\mathrm{tmmv}}_{L0\_h},\frac{t_{L1}}{t_{L0}}\·{\mathrm{tmmv}}_{L0\_v})\·\·\·\left(10\right)$

此后，在步骤S74中，模板运动预测/补偿单元76在步骤S73中计算出的L1参考帧的搜索中心周围包括若干像素的预定区域E_L1内执行运动搜索。因此，模板运动预测/补偿单元76执行补偿处理并且生成预测图像。

通过在步骤S74中执行的处理，在L1参考帧的搜索中心周围的预定区域E_L1内搜索与模板区域B的像素值具有最高相关性的区域B_L1，其中，该模板区域B与目标帧的目标块A相邻并且包括已经编码的像素。因此，使用作为目标块A的预测图像、与搜索到的区域B_L1对应的块A_L1来搜索目标块A的运动向量tmmv_L1。

如上所述，L1参考帧中的运动搜索区域限于通过根据目标帧和L0参考帧之间的时间距离信息以及目标帧和L1参考帧之间的时间距离信息对在L0参考帧中获取的运动向量进行缩放而获得的搜索中心周围的预定区域向量。因此，在L1参考帧中，仅可以搜索若干个邻近像素。以此方式，能够在使编码效率的降低最小的情况下减少计算量。

返回参照图11，在步骤S75中，模板运动预测/补偿单元76使用在步骤S71或步骤S74中计算出的L0参考帧和L1参考帧的预测图像，计算帧间模板模式下的目标块的预测图像。

例如，模板运动预测/补偿单元76将L0参考帧和L1参考帧的预测图像的均值视为帧间模板模式下的目标块的预测图像。

注意，能够使用例如加权预测而不是使用均值来计算目标块的预测图像。在这种情况下，能够通过将L0参考帧和L1参考帧的两个预测图像Y₀和Y₁分别乘以预定权重系数W₀和W₁、并且将系数D与所得到的值相加(＝W₀Y₀+W₁Y₁+D)来计算目标块的预测图像。替选地，能够根据目标帧和L0参考帧之间的时间距离信息以及目标帧和L1参考帧之间的时间距离信息来计算目标块的预测图像。

然而，如果在步骤S72中确定目标块不是双向可预测的，则处理前进到步骤S76。即，在该情况下，将L0参考帧的预测图像视为帧间模板预测模式下的目标块的预测图像。

在步骤S76中，模板运动预测/补偿单元76使用上述等式(5)或(6)计算帧间模板预测模式的成本函数值。将计算出的成本函数值连同预测图像一起提供到运动预测/补偿单元75，并且当如上所述在图5示出的步骤S34中选择最优帧间预测模式时，使用该计算出的成本函数值。

如上所述，当在帧间模板预测模式下对B片执行运动预测/补偿处理时，图像编码设备51使用针对L0参考帧所获得的运动向量信息来计算L1参考帧的搜索中心。此后，图像编码设备51使用L1参考帧的搜索中心来执行运动搜索。以此方式，能够在使编码效率的降低最小的情况下减少计算量。

另外，不仅由图像编码设备51执行这些处理，而且还由图14中示出的图像解码设备101执行这些处理。因此，对于帧间模板预测模式下的目标块，不仅不需要传递运动向量信息，而且不需要传递参考帧信息。因此，能够改进编码效率。

经由预定传输线来传递编码且压缩的图像并且由图像解码设备对编码且压缩的图像进行解码。图14示出了根据本发明的实施例的这种图像解码设备的配置。

图像解码设备101包括累积缓冲器111、无损解码单元112、逆量化器单元113、逆正交变换单元114、计算单元115、去块滤波器116、重排序屏幕缓冲器117、D/A转换单元118、帧存储器119、开关120、帧内预测单元121、运动预测/补偿单元122、模板运动预测/补偿单元123、L1(List1)搜索中心计算单元124以及开关125。

累积缓冲器111累积传输的压缩图像。无损解码单元112使用与无损编码单元66所采用的编码方法相对应的方法，对由图1中示出的无损编码单元66编码的并且从累积缓冲器111提供的信息进行解码。逆量化器单元113使用与图1中示出的量化器单元65所采用的量化方法相对应的方法，对由无损解码单元112解码的图像进行逆量化。逆正交变换单元114使用与图1中示出的正交变换单元64所采用的正交变换方法相对应的方法，对逆量化器单元113的输出进行逆正交变换。

将逆正交变换后的输出与从开关125提供的预测图像相加，并且由计算单元115对逆正交变换后的输出进行解码。去块滤波器116去除解码图像的块失真并且将图像提供到帧存储器119。因此，对图像进行累积。同时，将图像输出到重排序屏幕缓冲器117。

重排序屏幕缓冲器117对图像进行重排序。即，被图1中示出的重排序屏幕缓冲器62改变了的用于编码的帧顺序被改变回到原始的显示顺序。D/A转换单元118对从重排序屏幕缓冲器117提供的图像进行D/A转换，并且将图像输出到显示图像的显示器(未示出)。

开关120从帧存储器119读取要进行帧间处理的图像和要参考的图像。开关120将图像输出到运动预测/补偿单元122。另外，开关120从帧存储器119读取用于帧内预测的图像，并且将图像提供到帧内预测单元121。

帧内预测单元121从无损解码单元112接收通过对头信息进行解码而获得的关于帧内预测模式的信息。帧内预测单元121基于这样的信息生成预测图像，并且将生成的预测图像输出到开关125。

运动预测/补偿单元122从无损解码单元112接收通过对头信息进行解码而获得的关于帧内预测模式的信息(预测模式信息、运动向量信息以及参考帧信息)。在接收到帧间预测模式信息时，运动预测/补偿单元122基于运动向量信息和参考帧信息对图像执行运动预测和补偿处理，并且生成预测图像。相比之下，在接收到帧间模板预测模式信息时，运动预测/补偿单元122将从帧存储器119读取的并且要进行帧间处理的图像以及参考图像提供到模板运动预测/补偿单元123。模板运动预测/补偿单元123在帧间模板预测模式下执行运动预测/补偿处理。

另外，运动预测/补偿单元122根据预测模式信息，将在帧间预测模式下生成的预测图像和在帧间模板预测模式下生成的预测图像之一输出到开关125。

模板运动预测/补偿单元123基于从帧存储器119读取的并且要进行帧间处理的图像以及要参考的图像，在帧间模板预测模式下执行运动预测和补偿处理。因此，模板运动预测/补偿单元123生成预测图像。注意，运动预测/补偿处理与图像编码设备51的模板运动预测/补偿单元76所执行的处理基本上相同。

即，模板运动预测/补偿单元123对P片或B片中所包括的s块执行运动预测和补偿处理。对于B片，模板运动预测/补偿单元123对List0参考帧和List1参考帧两者均执行运动预测和补偿处理。

此时，对于L0参考帧，模板运动预测/补偿单元123在预定区域内在帧间模板预测模式下执行运动搜索，并且执行补偿处理。因此，模板运动预测/补偿单元123生成预测图像。相比之下，对于L1参考帧，模板运动预测/补偿单元123在L1搜索中心计算单元124计算出的搜索中心周围的预定区域内，在帧间模板预测模式下执行运动搜索。此后，L1搜索中心计算单元124执行补偿处理并且生成预测图像。

因此，在执行L1参考帧的运动搜索时，模板运动预测/补偿单元123将从帧存储器119读取的并且要进行帧间处理的图像以及要参考的图像提供到L1搜索中心计算单元124。注意，此时，还将在L0参考帧中搜索到的运动向量信息提供到L1搜索中心计算单元124。

另外，例如，模板运动预测/补偿单元123将针对L0参考帧和L1参考帧生成的预测图像的均值视为预测图像，并且将该预测图像提供到运动预测/补偿单元122。

仅在要处理的块被包括在B片中时，L1搜索中心计算单元124才工作。L1搜索中心计算单元124使用在L0参考帧中搜索到的运动向量信息，计算L1参考帧的运动向量的搜索中心。更具体地，L1搜索中心计算单元124通过使用到接下来要编码的目标帧的距离在时间轴上对在L0参考帧中搜索到的运动向量信息进行缩放，来计算L1参考帧中的运动向量搜索中心。注意，该计算处理与图像处理设备51的L1搜索中心计算单元77所执行的处理基本上相同。

开关125选择运动预测/补偿单元122所生成的预测图像和帧内预测单元121所生成的预测图像之一，并且将选择的预测图像提供到计算单元115。

接下来参照图15中示出的流程图来描述图像解码设备101所执行的解码处理。

在步骤S131中，累积缓冲器111对所传递的图像进行累积。在步骤S132中，无损解码单元112对从累积缓冲器111提供的压缩图像进行解码。即，对由图1中示出的无损编码单元66编码的I图片、P图片以及B图片进行解码。

此时，还对运动向量信息、参考帧信息、预测模式信息(指示帧内预测模式、帧间预测模式以及帧间模板预测模式之一的信息)以及标志信息进行解码。

即，如果预测模式信息是帧内预测模式信息，则将预测模式信息提供到帧内预测单元121。然而，如果预测模式信息是帧间预测模式信息，则将预测模式信息和相关联的运动向量信息提供到运动预测/补偿单元122。如果预测模式信息是帧间模板预测模式信息，则将预测模式信息提供到运动预测/补偿单元122。

在步骤S133中，逆量化器单元113使用与图1中示出的量化器单元65的特性相对应的特性，对由无损解码单元112解码的变换系数进行逆量化。在步骤S134中，逆正交变换单元114使用与图1中示出的正交变换单元64的特性相对应的特性，对由逆量化器单元113逆量化后的变换系数进行逆正交变换。以此方式，对与图1中示出的正交变换单元64的输入(计算单元63的输出)相对应的差信息进行解码。

在步骤S135中，计算单元115将在以下描述的步骤S141中所选择的并且经由开关125输入的预测图像与差图像相加。以此方式，对原始图像进行解码。在步骤S136中，去块滤波器116对从计算单元115输出的图像执行滤波。因此，去除了块失真。在步骤S137中，帧存储器119存储滤波后的图像。

在步骤S138中，帧内预测单元121、运动预测/补偿单元122或者模板运动预测/补偿单元123根据从无损解码单元112提供的预测模式信息来执行图像预测处理。

即，当从无损解码单元112提供帧内预测模式信息时，帧内预测单元112在帧内预测模式下执行帧内预测处理。当从无损解码单元112提供帧间预测模式信息时，运动预测/补偿单元122在帧间预测模式下执行运动预测/补偿处理。然而，当从无损解码单元112提供帧间模板预测模式信息时，模板运动预测/补偿单元123在帧间模板预测模式下执行运动预测/补偿处理。

以下参照图16描述在步骤S138中执行的预测处理。通过该处理，将帧内预测单元121所生成的预测图像、运动预测/补偿单元122所生成的预测图像或者模板运动预测/补偿单元123所生成的预测图像提供到开关125。

在步骤S139中，开关125选择预测图像。即，由于提供了帧内预测单元121所生成的预测图像、运动预测/补偿单元122所生成的预测图像或者模板运动预测/补偿单元123所生成的预测图像，因此选择所提供的预测图像并且将其提供到计算单元115。如上所述，在步骤S134中，将预测图像与逆正交变换单元114的输出相加。

在步骤S140中，重排序屏幕缓冲器117执行重排序处理。即，已经被图像编码设备51的重排序屏幕缓冲器62改变了的、用于编码的帧顺序被改变回到原始的显示顺序。

在步骤S141中，D/A转换单元118对从重排序屏幕缓冲器117提供的图像进行D/A转换。将图像输出到显示图像的显示器(未示出)。

接下来参照图16中示出的流程图来描述在图15示出的步骤S138中执行的预测处理。

在步骤S171中，帧内预测单元121确定目标块是否是帧内编码的。如果将帧内预测模式信息从无损解码单元112提供到帧内预测单元121，则帧内预测单元121在步骤S171中确定目标块已被帧内编码了。因此，处理前进到步骤S172。

在步骤S172中，帧内预测单元121执行帧内预测。即，如果要处理的图像是要进行帧内处理的图像，则从帧存储器119读取需要的图像。经由开关120将读出的图像提供到帧内预测单元121。在步骤S172中，帧内预测单元121根据从无损解码单元112提供的帧内预测模式信息执行帧内预测，并且生成预测图像。将所生成的预测图像输出到开关125。

然而，如果在步骤S171中帧内预测单元121确定目标块未被帧内编码，则处理前进到步骤S173。

如果要处理的图像是要进行帧间处理的图像，则将帧间预测模式信息、参考帧信息以及运动向量信息从无损解码单元112提供到运动预测/补偿单元122。在步骤S173中，运动预测/补偿单元122确定从无损解码单元112提供的预测模式信息是否是帧间预测模式信息。如果运动预测/补偿单元122确定预测模式信息是帧间预测模式信息，则运动预测/补偿单元122在步骤S174中执行帧间运动预测。

如果要处理的图像是要进行帧间预测处理的图像，则从帧存储器119读取需要的图像。经由开关120将读出的图像提供到运动预测/补偿单元122。在步骤S174中，运动预测/补偿单元122基于从无损解码单元112提供的运动向量在帧间预测模式下执行运动预测，并且生成预测图像。将所生成的预测图像输出到开关125。

如果在步骤S173中确定预测模式信息不是帧间预测模式信息，即，如果确定预测模式信息是帧间模板预测模式信息，则处理前进到步骤S175，在步骤S175中，执行帧间模板运动预测处理。

接下来参照图17中示出的流程图来描述在步骤S175中执行的帧间模板运动预测处理。注意，在图17示出的步骤S191至步骤S195中执行的处理与在图11示出的步骤S71至步骤S75中执行的处理基本上相同。因此，不再重复其详细描述。

如果要处理的图像是要进行帧间模板预测处理的图像，则从帧存储器119读取需要的图像。经由开关120和运动预测/补偿单元122将读出的图像提供到模板运动预测/补偿单元123。

在步骤S191中，模板运动预测/补偿单元123针对List0参考帧在帧间模板预测模式下执行运动预测/补偿处理。即，模板运动预测/补偿单元123使用帧间模板匹配方法搜索List0参考帧的运动向量。此后，模板运动预测/补偿单元123基于搜索到的运动向量对参考图像执行运动预测和补偿处理，并且生成预测图像。

在步骤S192中，模板运动预测/补偿单元123确定当前正编码的目标块是否是双向可预测的。如果在步骤S192中确定目标块是双向可预测的，则模板运动预测/补偿单元123在步骤S193中指示L1搜索中心计算单元124计算L1参考帧中的搜索中心。此后，在步骤S194中，模板运动预测/补偿单元123在L1搜索中心计算单元124计算出的L1参考帧的搜索中心周围的预定区域内执行运动搜索，并且执行补偿处理。因此，模板运动预测/补偿单元123生成预测图像。

在步骤S195中，模板运动预测/补偿单元123使用在步骤S191或步骤S194执行的处理中计算出的L0参考帧和L1参考帧的预测图像，在帧间模板模式下计算目标块的预测图像。例如，如以上参照图11所描述的，通过计算L0参考帧和L1参考帧的预测图像的均值或通过使用加权预测能够获得目标块的预测图像。经由运动预测/补偿单元122将预测图像提供到开关125。

然而，如果在步骤S192中确定目标块不是双向可预测的，则完成帧间模板运动预测处理。即，在该情况下，L0参考帧的预测图像被视为帧间模板模式下的目标块的预测图像。经由运动预测/补偿单元122将预测图像提供到开关125。

如上所述，通过基于在图像编码设备和图像解码设备两者中的模板匹配执行上述运动预测，能够显示具有极佳图像质量的图像，而无需传输运动向量信息和参考帧信息。

另外，当在帧间模板预测模式下对B片执行运动预测/补偿处理时，使用针对L0参考帧计算出的运动向量信息来计算L1参考帧中的搜索中心，并且使用该搜索中心来执行运动搜索。以此方式，能够在使编码效率的降低最小的情况下防止计算量的增加。

此外，当执行H.264/AVC运动预测/补偿处理时，还执行基于模板匹配的预测。此后，选择更好的成本函数值，并且执行编码处理。因此，能够提高编码效率。

尽管参考具有16×16像素大小的宏块进行了以上描述，但是本发明能够应用于“Video Coding Using Extended Block Sizes”(VCEG-AD09，ITU-Telecommunications Standardization Sector STUDY GROUPQuestion 16-Contribution 123，2009年1月)中所描述的扩展的宏块大小。

图18示出了扩展的宏块大小的示例。在上述描述中，将宏块大小扩展到32×32像素大小。

在图18的上部，从左边开始，示出了具有32×32像素大小的宏块，并且该宏块被分成具有32×32像素、32×16像素、16×32像素以及16×16像素大小的块(分区)。在图18的中部，从左边开始，示出了具有16×16像素大小的宏块，并且该宏块被分成具有16×16像素、16×8像素、8×16像素以及8×8像素大小的块。在图18的下部，从左边开始，示出了具有8×8像素大小的宏块，并且该宏块被分成具有8×8像素、8×4像素、4×8像素以及4×4像素大小的块。

即，能够使用在图18的上部所示出的具有32×32像素、32×16像素、16×32像素以及16×16像素大小的块来处理具有32×32像素大小的宏块。

另外，如在H.264/AVC标准中一样，能够使用在中部所示出的具有16×16像素、16×8像素、8×16像素以及8×8像素大小的块来处理在上部的左边所示出的具有16×16像素大小的块。

此外，如在H.264/AVC标准中一样，能够使用在下部所示出的具有8×8像素、8×4像素、4×8像素以及4×4像素大小的块来处理在中部的左边所示出的具有8×8像素大小的块。

在扩展的宏块大小方面，通过采用这种层结构，对于具有小于或等于16×16像素的大小的块，能够将具有更大大小的决定义为块的超集，同时保持与H.264/AVC标准兼容。

以此方式，能够将本发明应用于所提出的扩展的宏块大小。

尽管参考作为编码方法的H.264/AVC标准进行了以上描述，但是能够采用另一编码/解码方法。

注意，本发明可应用于如下图像编码设备和图像解码设备：其用于经由诸如卫星广播、有线TV(电视)、互联网或者手机的网络介质，接收如以MPEG或H.26x标准通过正交变换(例如，离散余弦变换)和运动补偿而压缩的图像信息(比特流)，或者处理诸如光盘或磁盘、或者闪存的存储介质中的图像信息。另外，本发明可应用于包括在这种图像编码设备和图像解码设备中的运动预测和补偿设备。

不仅可以通过硬件来执行上述系列处理，而且还可以通过软件来执行上述系列处理。当通过软件来执行上述系列处理时，将软件程序从程序记录介质安装到合并成专用硬件的计算机中，或者将软件程序从程序记录介质安装到通过在其中安装各种程序能够执行各种功能的计算机(例如，通用个人计算机)中。

记录计算机可执行程序的程序记录介质的示例包括磁盘(包括软盘)、光盘(包括CD-ROM(光盘-只读存储器)、DVD(数字多功能盘)以及磁光盘)、作为由半导体存储器构成的封装介质的可移除介质、以及临时地或者永久地存储程序的ROM和硬盘。根据需要，使用诸如局域网、互联网或者数字卫星广播的有线或无线通信介质将程序记录在程序记录介质中。

在本说明书中，描述程序的步骤不但包括按上述时间序列顺序执行的处理，而且包括可并行地或独立地执行的处理。

另外，本发明的实施例不限于上述实施例。在不背离本发明的精神的情况下，能够进行各种修改。

例如，上述图像编码设备51和图像解码设备101可应用于任何电子设备。以下描述应用的示例。

图19是使用根据本发明的图像解码设备的电视接收机的主要配置的示例的方框图。

如图19所示，电视接收机300包括地面广播调谐器313、视频解码器315、视频信号处理电路318、图形生成电路319、面板驱动电路320以及显示面板321。

地面广播调谐器313经由天线接收模拟地面广播的广播信号，对广播信号进行解调，获取视频信号并且将视频信号提供到视频解码器315。视频解码器315对从地面广播调谐器313提供的视频信号执行解码处理，并且将所得到的数字分量信号提供到视频信号处理电路318。

视频信号处理电路318对从视频解码器315提供的视频数据执行诸如去噪的预定处理。此后，视频信号处理电路318将所得到的视频数据提供到图形生成电路319。

图形生成电路319生成例如显示面板321上显示的电视节目的视频数据、以及通过由经由网络提供的应用程序执行的处理而生成的图像数据。此后，图形生成电路319将生成的视频数据和图像数据提供到面板驱动电路320。另外，图形生成电路319生成用于显示由选择菜单项的用户使用的画面的视频数据(图形)。图形生成电路319将该视频数据叠加在电视节目的视频数据上。因此，根据需要，图形生成电路319将所得到的视频数据提供到面板驱动电路320。

面板驱动电路320根据从图形生成电路319提供的数据来驱动显示面板321。因此，面板驱动电路320使显示面板321于其上显示电视节目的视频和各种类型的画面。

显示面板321包括例如LCD(液晶显示器)。显示面板321在面板驱动电路320的控制下显示例如电视节目的视频。

电视接收机300还包括声音A/D(模拟/数字)转换电路314、声音信号处理电路322、回声消除/声音合成电路323、声音放大电路324以及扬声器325。

地面广播调谐器313对所接收的广播信号进行解调。因此，地面广播调谐器313除了获取视频信号之外，还获取声音信号。地面广播调谐器313将获取的声音信号提供到声音A/D转换电路314。

声音A/D转换电路314对从地面广播调谐器313提供的声音信号执行A/D转换处理。此后，声音A/D转换电路314将所得到的数字声音信号提供到声音信号处理电路322。

声音信号处理电路322对从声音A/D转换电路314提供的声音数据执行诸如去噪的预定处理，并且将所得到的声音数据提供到回声消除/声音合成电路323。

回声消除/声音合成电路323将从声音信号处理电路322提供的声音数据提供到声音放大电路324。

声音放大电路324对从回声消除/声音合成电路323提供的声音数据执行D/A转换处理和放大处理。在声音数据具有预定音量之后，声音放大电路324从扬声器325输出声音。

电视接收机300还包括数字调谐器316和MPEG解码器317。

数字调谐器316经由天线接收数字广播(地面数字广播和BS(广播卫星)/CS(通信卫星)数字广播)的广播信号，并且对广播信号进行解调。因此，数字调谐器316获取MPEG-TS(运动图像专家组-传输流)，并且将MPEG-TS提供到MPEG解码器317。

MPEG解码器317对从数字调谐器316提供的MPEG-TS进行解密并且提取包括要再现(观看)的电视节目数据的流。MPEG解码器317对所提取的流的声音分组进行解码，并且将所得到的声音数据提供到声音信号处理电路322。另外，MPEG解码器317对流的视频分组进行解码，并且将所得到的视频数据提供到视频信号处理电路318。此外，MPEG解码器317将从MPEG-TS中提取的EPG(电子节目指南)数据经由路径(未示出)提供到CPU 332。

电视接收机300将上述图像解码设备101用作以此方式对视频分组进行解码的MPEG解码器317。因此，与图像解码设备101一样，在针对B片在帧间模板预测模式下执行运动预测/补偿处理时，MPEG解码器317使用针对L0参考帧所获得的运动向量信息来计算L1参考帧的搜索中心，并且使用该搜索中心执行运动搜索。因此，能够在使编码效率的降低最小的情况下减少计算量。

与从视频解码器315提供的视频数据一样，从MPEG解码器317提供的视频数据在视频信号处理电路318中进行预定处理。此后，根据需要，将进行了预定处理的视频数据叠加在图形生成电路319中所生成的视频数据上。经由面板驱动电路320将视频数据提供到显示面板321并且显示视频数据。

与从声音A/D转换电路314提供的声音数据一样，从MPEG解码器317提供的声音数据在声音信号处理电路322中进行预定处理。此后，经由回声消除/声音合成电路323将进行了预定处理的声音数据提供到声音放大电路324，并且进行D/A转换处理和放大处理。结果，从扬声器325输出被控制成具有预定音量的声音。

电视接收机300还包括麦克风326和A/D转换电路327。

A/D转换电路327接收从为了语音会话而设置在电视接收机300中的麦克风326输入的用户语音信号。A/D转换电路327对接收的语音信号执行A/D转换处理，并且将所得到的数字语音数据提供到回声消除/声音合成电路323。

当从A/D转换电路327提供电视接收机300的用户(用户A)的语音数据时，回声消除/声音合成电路323对用户A的语音数据执行回声消除。在完成回声消除之后，回声消除/声音合成电路323将语音数据与其它声音数据合成。此后，回声消除/声音合成电路323经由声音放大电路324从扬声器325输出所得到的声音数据。

电视接收机300还包括声音编解码器328、内部总线329、SDRAM(同步动态随机存取存储器)330、闪存331、CPU 332、USB(通用串行总线)I/F 333以及网络I/F 334。

A/D转换电路327接收从为了语音会话而设置在电视接收机300中的麦克风326输入的用户语音信号。A/D转换电路327对所接收的语音信号执行A/D转换处理，并且将所得到的数字语音数据提供到声音编解码器328。

声音编解码器328将从A/D转换电路327提供的声音数据转换成具有预定格式的数据，以便经由网络发送声音数据。声音编解码器328经由内部总线329将声音数据提供到网络I/F 334。

网络I/F334经由附连到网络终端335的线缆连接到网络。例如，网络I/F 334将从声音编解码器328提供的声音数据发送到与网络相连接的不同设备。另外，例如，网络I/F 334经由网络终端335接收从连接到网络的不同设备发送的声音数据，并且经由内部总线329将接收到的声音数据提供到声音编解码器328。

声音编解码器328将从网络I/F 334提供的声音数据转换成具有预定格式的数据。声音编解码器328将声音数据提供到回声消除/声音合成电路323。

回声消除/声音合成电路323对从声音编解码器328提供的声音数据执行回声消除。此后，回声消除/声音合成电路323将声音数据与其它声音数据合成，并且经由声音放大电路324将所得到的声音数据从扬声器325输出。

SDRAM 330存储CPU 332执行处理所需的各种类型的数据。

闪存331存储由CPU 332执行的程序。CPU 332在预定定时(例如当启动电视接收机300时)读出存储在闪存331中的程序。闪存331还存储通过数字广播接收的EPG数据和经由网络从预定服务器接收的数据。

例如，闪存331在CPU 332的控制之下，存储经由网络从预定服务器获取的包括内容数据的MPEG-TS。闪存331在例如CPU 332的控制之下，经由内部总线329将MPEG-TS提供到MPEG解码器317。

如在从数字调谐器316提供的MPEG-TS的情况下一样，MPEG解码器317对MPEG-TS进行处理。以此方式，电视接收机300经由网络接收包括视频和声音的内容数据，并且使用MPEG解码器317对内容数据进行解码。此后，电视接收机300能够显示视频并且输出声音。

电视接收机300还包括光接收单元337，该光接收单元337接收从遥控器351传送的红外信号。

光接收单元337接收并解调从遥控器351发射的红外光束。此后，光接收单元337将指示用户操作类型的控制码输出到CPU 332。

CPU 332执行存储在闪存331中的程序，并且根据例如从光接收单元337提供的控制码，执行电视接收机300的总体控制。CPU 332经由路径(未示出)连接到电视接收机300的单元中的每个单元。

USB I/F 333经由附连到USB终端336的USB线缆，与连接到电视接收机300的外部装置进行数据通信。网络I/F 334经由附连到网络终端335的线缆连接到网络，并且与连接到网络的各种类型的装置进行非声音数据通信。

通过将图像解码设备101用作MPEG解码器317，电视接收机300能够在使编码效率的降低最小的情况下减少计算量。因此，电视接收机300能够从经由天线接收的广播信号中或者从以更高速度经由网络接收的内容数据中获取更高分辨率的解码图像，并且显示解码图像。

图20是使用根据本发明的图像编码设备和图像解码设备的手机的主要配置的示例的方框图。

如图20所示，手机400包括执行其单元的总体控制的主控制单元450、电源电路单元451、操作输入控制单元452、图像编码器453、摄像机I/F单元454、LCD控制单元455、图像解码器456、解复用器单元457、记录和再现单元462、调制解调电路单元458以及声音编解码器459。这些单元经由总线460相互连接。

手机400还包括操作键419、CCD(电荷耦合器件)摄像机416、液晶显示器418、存储单元423、传送和接收电路单元463、天线414、麦克风(MIC)421以及扬声器417。

当通过用户操作执行呼叫结束(call-ending)时或当开启电源键时，电源电路单元451将来自电池组的电力提供到各个单元。因此，手机400变得可操作。

在包括CPU、ROM以及RAM的主控制单元450的控制之下，手机400在诸如语音通信模式和数据通信模式的各种模式()中执行各种操作，例如传送和接收语音信号、传送和接收电子邮件和图像数据、以及数据记录。

例如，在语音通信模式中，手机400使用声音编解码器459将麦克风(MIC)421采集的语音信号转换成数字语音数据。此后，手机400使用调制解调电路单元458对数字语音数据执行扩展频谱处理，并且使用传送和接收电路单元463对数字语音数据执行数字模拟转换处理和频率转换处理。手机400将通过转换处理获得的传送信号经由天线414传送到基站(未示出)。经由公共电话网络将传送到基站的传送信号(语音信号)提供到位于接收端的手机。

另外，例如，在语音通信模式中，手机400使用传送和接收电路单元463对天线414接收的接收信号进行放大，并且还对接收信号执行频率转换处理和模拟数字转换处理。手机400还使用调制解调电路单元458对接收信号执行逆扩展频谱处理，并且使用声音编解码器459将接收信号转换成模拟语音信号。此后，手机400从扬声器417输出转换后的模拟语音信号。

此外，例如，当在数据通信模式中发送电子邮件时，手机400使用操作输入控制单元452接收通过操作键419的操作而输入的电子邮件的文本数据。此后，手机400使用主控制单元450对文本数据进行处理，并且经由LCD控制单元455在液晶显示器418上以图像形式显示文本数据。

另外，手机400使用主控制单元450，基于由操作输入控制单元452接收到的文本数据和用户指令，生成电子邮件数据。此后，手机400使用调制解调电路单元458对电子邮件数据执行扩展频谱处理，并且使用传送和接收电路单元463执行数字模拟转换处理和频率转换处理。手机400经由天线414将通过转换处理获得的传送信号传送到基站(未示出)。经由网络和邮件服务器将传送到基站的传送信号(电子邮件)提供到预定地址。

另外，例如，为了在数据通信模式中接收电子邮件，手机400使用传送和接收电路单元463经由天线414接收从基站传送的信号，放大该信号，并且还对该信号执行频率转换处理和模拟数字转化处理。手机400使用调制解调电路单元458对接收信号执行逆扩展频谱处理并且恢复原始电子邮件数据。手机400经由LCD控制单元455在液晶显示器418上显示恢复的电子邮件数据。

此外，手机400能够经由记录和再现单元462将接收到的电子邮件记录(存储)在存储单元423中。

存储单元423由任何可重写存储介质形成。例如，存储单元423可由诸如RAM或内部闪存的半导体存储器形成，或者可由诸如硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡的可移除存储器形成。然而，应意识到，能够采用其它类型的存储介质。

此外，为了在数据通信模式中传送图像数据，手机400通过由CCD摄像机416执行的图像捕获操作而生成图像数据。CCD摄像机416包括诸如透镜和光圈的光学装置以及用作光电转换元件的CCD。CCD摄像机416捕获对象的图像，将所接收到的光的强度转换成电信号，并且生成对象图像的图像数据。CCD摄像机416经由摄像机I/F单元454将图像数据提供到图像编码器453。图像编码器453使用诸如MPEG2或MPEG4的预定编码标准对图像数据进行压缩编码，并且将图像数据转换成编码的图像数据。

手机400采用上述图像编码设备51作为执行这种处理的图像编码器453。因此，与图像编码设备51一样，当针对B片在帧间模板预测模式下执行运动预测/补偿处理时，图像编码器453使用针对L0参考帧而获得的运动向量信息来计算L1参考帧的搜索中心，并且使用该搜索中心执行运动搜索。因此，能够在使编码效率的降低最小的情况下减少计算量。

注意，同时，手机400在由CCD摄像机416执行的图像捕获操作期间使用声音编解码器459对由麦克风(MIC)421采集的声音进行模拟数字转换，并且进一步执行编码处理。

手机400使用解复用器单元457采用预定技术对从图像编码器453提供的编码图像数据与从声音编解码器459提供的数字声音数据进行多路复用。手机400使用调制解调电路单元458对所得到的多路复用数据执行扩展频谱处理，并且使用传送和接收电路单元463执行数字模拟转换处理和频率转换处理。手机400将通过转换处理获得的传送信号经由天线414传送到基站(未示出)。经由例如网络将传送到基站的传送信号(图像数据)提供到通信伙伴。

注意，如果没有传送图像数据，则手机400可以经由LCD控制单元455在液晶显示器418上显示由CCD摄像机416生成的图像数据，而无需使用图像编码器453。

另外，例如，为了在数据通信模式下接收链接到例如简化网页的运动图像文件的数据，手机400使用传送和接收电路单元463经由天线414接收从基站传送的信号，放大该信号，并且还对该信号执行频率转换处理和数字模拟转换处理。手机400使用调制解调电路单元458对接收信号执行逆扩展频谱处理，并且恢复原始的多路复用数据。手机400使用解复用器单元457将多路复用数据解复用成编码的图像数据和声音数据。

通过使用诸如MPEG2或MPEG4的预定编码标准在图像解码器456中对编码图像数据进行解码，手机400可以生成再现图像数据并且经由LCD控制单元455在液晶显示器418上显示再现图像数据。因此，例如，能够将包括在链接到简化网页的运动图像文件中的运动图像数据显示在液晶显示器418上。

手机400采用上述图像解码设备101作为执行这种处理的图像解码器456。因此，与图像解码设备101一样，当针对B片在帧间模板预测模式下执行运动预测/补偿处理时，图像解码器456使用针对L0参考帧而获得的运动向量信息来计算L1参考帧的搜索中心，并且使用该搜索中心执行运动搜索。因此，可以在使编码效率的降低最小的情况下减少计算量。

同时，手机400使用声音编解码器459将数字声音数据转换成模拟声音信号，并且从扬声器417输出模拟声音信号。以此方式，例如，能够再现链接到简化网页的运动图像文件中所包括的声音数据。

注意，如在电子邮件的情况中一样，手机400能够经由记录和再现单元462将链接到例如简化网页的数据记录(存储)在存储单元423中。

另外，手机400能够使用主控制单元450分析通过由CCD摄像机416执行的图像捕获操作而获得的二维码，并且获取作为二维码所记录的信息。

此外，手机400能够使用红外通信单元481和红外光与外部装置通信。

通过将图像编码设备51用作图像编码器453，手机400能够提高用于编码例如由CCD摄像机416生成的图像数据和生成图像数据的处理速度和编码效率。因此，手机400能够将具有极佳编码效率的编码数据(图像数据)提供到另一设备。

另外，通过将图像解码设备101用作图像解码器456，手机400能够提高处理速度并且能够生成高精确预测的图像。因此，手机400能够从链接到简化网页的运动图像文件中获取更高分辨率的解码图像，并且显示该更高分辨率的解码图像。

注意，尽管参考使用CCD摄像机416的手机400进行了以上描述，但是可使用利用CMOS(互补金属氧化物半导体)的图像传感器(即，CMOS图像传感器)来取代CCD摄像机416。即使在这种情况下，如在使用CCD摄像机416的情况中一样，手机400可以捕获对象的图像并且生成对象的图像的图像数据。

另外，尽管参考手机400进行了以上描述，但是图像编码设备51和图像解码设备101能够应用于具有与手机400类似的图像捕获功能和通信功能的任何设备，例如与手机400类似的PDA(个人数字助理)、智能手机、UMPC(超移动个人计算机)、笔记本或者膝上型个人计算机。

图21是使用根据本发明的图像编码设备和图像解码设备的硬盘记录器的主要配置的示例的方框图。

如图21所示，硬盘记录器(HDD记录器)500将从例如卫星或地面天线发射的并且由调谐器接收的广播信号(电视节目)中所包括的广播节目的音频数据和视频数据存储在内部硬盘中。此后，硬盘记录器500在由用户指示的时间将所存储的数据提供给用户。

硬盘记录器500能够从例如广播信号中提取音频数据和视频数据，根据需要对数据进行解码，并且将数据存储在内部硬盘中。另外，硬盘记录器500能够经由例如网络从另一设备获取音频数据和视频数据，根据需要对数据进行解码，并且将数据存储在内部硬盘中。

此外，硬盘记录器500能够对存储在例如内部硬盘中的音频数据和视频数据进行解码，对音频数据和视频数据进行解码，并且将解码后的音频数据和视频数据提供到监视器560。因此，能够将图像显示在监视器560的屏幕上。另外，硬盘记录器500能够从监视器560的扬声器输出声音。

例如，硬盘记录器500能够解码从经由调谐器接收的广播信号中提取的音频数据和视频数据或者经由网络从另一设备获取的音频数据和视频数据。此后，硬盘记录器500将解码后的音频数据和视频数据提供到监视器560，该监视器560在其屏幕上显示音频数据和视频数据。另外，硬盘记录器500能够从监视器560的扬声器输出声音。

应意识到，硬盘记录器500能够执行其它操作。

如图21所示，硬盘记录器500包括接收单元521、解调单元522、解复用器523、音频解码器524、视频解码器525以及记录器控制单元526。硬盘记录器500还包括EPG数据存储器527、程序存储器528、工作存储器529、显示转换器530、OSD(屏幕显示)控制单元531、显示控制单元532、记录和再现单元533、D/A转换器534以及通信单元535。

此外，显示转换器530包括视频编码器541。记录和再现单元533包括编码器551和解码器552。

接收单元521接收从遥控器(未示出)传送的红外信号，并且将该红外信号转换成电信号。此后，接收单元521将电信号输出到记录器控制单元526。记录器控制单元526由例如微处理器形成。记录器控制单元526根据存储在程序存储器528中的程序执行各种处理。此时，记录器控制单元527根据需要使用工作存储器529。

通信单元535连接到网络，并且经由网络执行与连接到该通信单元535的另一设备的通信处理。例如，记录器控制单元526控制通信单元535并且通信单元535与调谐器(未示出)通信。通信单元535主要将信道调谐控制信号输出到调谐器。

解调单元522对从调谐器提供的信号进行解调，并且将信号输出到解复用器523。解复用器523将从解调单元522提供的数据分离成音频数据、视频数据以及EPG数据，并且将这些数据项分别输出到音频解码器524、视频解码器525以及记录器控制单元526。

音频解码器524使用例如MPEG标准对输入的音频数据进行解码，并且将音频数据输出到记录和再现单元523。视频解码器525使用例如MPEG标准对输入的视频数据进行解码，并且将视频数据输出到显示转换器530。记录器控制单元526将输入的EPG数据提供到存储EPG数据的EPG数据存储器527。

显示转换器530使用视频编码器541将从视频解码器525或记录器控制单元526提供的视频数据编码成例如NTSC(国家电视标准委员会)视频数据，并且将视频数据输出到记录和再现单元533。另外，显示转换器530将从视频解码器525或记录器控制单元526提供的视频数据的画面大小转换成与监视器560对应的大小。显示转换器530还使用视频编码器541将具有转换后的画面大小的视频数据转换成NTSC视频数据，并且将视频数据转换成模拟信号。此后，显示转换器530将模拟信号输出到显示控制单元532。

在记录器控制单元526的控制下，显示控制单元532将从OSD(屏幕显示)控制单元531输出的OSD信号叠加在从显示转换器530输入的视频信号上，并且将叠加后的信号输出到显示图像的监视器560。

另外，D/A转换器534将从音频解码器524输出的音频数据转换成模拟信号，并且将从音频解码器524输出的音频数据提供到监视器560。监视器560从合并在监视器560中的扬声器输出音频信号。

记录和再现单元533包括作为用于记录视频数据和音频数据的存储介质的硬盘。

例如，记录和再现单元533使用编码器551对从音频解码器524提供的音频数据进行MPEG编码。另外，记录和再现单元533使用编码器551对从显示转换器530的视频编码器541提供的视频数据进行MPEG编码。记录和再现单元533使用多路复用器将编码后的音频数据与编码后的视频数据进行多路复用以便合成数据。记录和再现单元533通过信道编码对合成的数据进行放大，并且经由记录头将数据写入硬盘中。

记录和再现单元533经由再现头对记录在硬盘中的数据进行再现，放大该数据，并且使用解复用器将该数据分离成音频数据和视频数据。记录和再现单元533使用解码器552对音频数据和视频数据进行MPEG解码。记录和再现单元533对解码后的音频数据进行D/A转换，并且将转换后的音频数据输出到监视器560的扬声器。另外，记录和再现单元533对解码后的视频数据进行D/A转换，并且将转换后的视频数据输出到监视器560的显示器。

记录器控制单元526基于从遥控器发射的并且经由接收单元521接收到的红外信号所指示的用户指令，从EPG数据存储器527读取最新的EPG数据。此后，记录器控制单元526将EPG数据提供到OSD控制单元531。OSD控制单元531生成与输入的EPG数据对应的图像数据，并且将其输出到显示控制单元532。显示控制单元532将从OSD控制单元531输入的视频数据输出到显示视频数据的监视器560的显示器上。以此方式，EPG(电子节目指南)显示在监视器560的显示器上。

另外，硬盘记录器500能够获取经由诸如互联网的网络从不同设备提供的各种类型的数据，例如视频数据、音频数据或者EPG数据。

记录器控制单元526控制通信单元535。通信单元535经由网络获取从不同设备传送的编码数据，例如视频数据、音频数据以及EPG数据，并且将编码数据提供到记录器控制单元526。记录器控制单元526将例如所获取的编码的视频数据和音频数据提供到记录和再现单元533，该记录和再现单元533将数据存储在硬盘中。此时，记录器控制单元526以及记录和再现单元533可根据需要对数据进行重编码。

另外，记录器控制单元526对所获取的编码的视频数据和音频数据进行解码，并且将所得到的视频数据提供到显示转换器530。与从视频解码器525提供的视频数据一样，显示转换器530对从记录器控制单元526提供的视频数据进行处理，并且经由显示控制单元532将视频数据提供到监视器560，以便显示图像。

在显示图像的同时，记录器控制单元526可经由D/A转换器534将解码后的音频数据提供到监视器560，并且从扬声器输出声音。

此外，记录器控制单元526对所获取的编码的EPG数据进行解码，并且将解码后的EPG数据提供到EPG数据存储器527。

上述硬盘记录器500将图像解码设备101用作视频解码器525、解码器552以及记录器控制单元526中所包括的解码器中的每个解码器。因此，与图像解码设备101一样，当针对B片在帧间模板预测模式下执行运动预测/补偿处理时，视频解码器525、解码器552以及记录器控制单元526中所包括的解码器中的每个解码器所包括的解码器使用针对L0参考帧而获得的运动向量信息来计算L1参考帧的搜索中心，并且使用搜索中心执行运动搜索。因此，能够在使编码效率的降低最小的情况下减少计算量。

因此，硬盘记录器500能够提高处理速度并且生成高精确度的预测图像。因此，硬盘记录器500能够从经由调谐器接收的编码视频数据中、从自记录和再现单元533的硬盘中读取的编码视频数据中或者从经由网络获取的编码视频数据中获取更高分辨率的解码图像，并且在监视器560上显示该更高分辨率的解码图像。

另外，硬盘记录器500将图像编码设备51用作编码器551。因此，与图像编码设备51一样，当针对B片在帧间模板预测模式下执行运动预测/补偿处理时，编码器551使用针对L0参考帧而获得的运动向量信息来计算L1参考帧的搜索中心，并且使用该搜索中心执行运动搜索。因此，能够在使编码效率的降低最小的情况下减少计算量。

因此，例如，硬盘记录器500能够提高处理速度并且提高存储在硬盘中的编码数据的编码效率。因此，硬盘记录器500能够更高效地使用硬盘的存储区。

注意，尽管参考将视频数据和音频数据记录在硬盘中的硬盘记录器500进行了以上描述，但是应意识到，能够采用任何记录介质。例如，与上述硬盘记录器500一样，图像编码设备51和图像解码设备101能够甚至应用于使用除硬盘之外的记录介质(例如，闪存、光盘或者录像带)的记录器。

图22是使用根据本发明的图像解码设备和图像编码设备的摄像机的主要配置的示例的方框图。

图22中示出的摄像机600捕获对象的图像，并且指示LCD 616在LCD 616上显示对象的图像，或者以图像数据的形式将图像存储在记录介质633中。

透镜组(lens block)611使光(即，对象的视频)入射到CCD/CMOS612上。CCD/CMOS 612是使用CCD或CMOS的图像传感器。CCD/CMOS 612将所接收到的光的强度转换成电信号，并且将电信号提供到摄像机信号处理单元613。

摄像机信号处理单元613将从CCD/CMOS 612提供的电信号转换成Y、Cr、Cb色差信号，并且将色差信号提供到图像信号处理单元614。在控制器621的控制下，图像信号处理单元614对从摄像机信号处理单元613提供的图像信号执行预定的图像处理，或者使用编码器641和例如MPEG标准对图像信号进行编码。图像信号处理单元614将通过对图像信号进行编码而生成的编码数据提供到解码器615。另外，图像信号处理单元614获取由屏幕显示(OSD)620生成的显示数据，并且将该显示数据提供到解码器615。

在上述处理中，摄像机信号处理单元613根据需要使用经由总线617连接到摄像机信号处理单元613的DRAM(动态随机存取存储器)618，并且根据需要将通过对图像数据进行编码而获得的编码数据存储在DRAM 618中。

解码器615对从图像信号处理单元614提供的编码数据进行解码，并且将所得到的图像数据(解码后的图像数据)提供到LCD 616。另外，解码器615将从图像信号处理单元614提供的显示数据提供到LCD 616。LCD 616根据需要将从解码器615提供的解码图像数据与显示数据相混合，并且显示混合后的图像。

在控制器621的控制下，屏幕显示620经由总线617将诸如包括符号、字符、或图形和图标的菜单画面的显示数据输出到图像信号处理单元614。

控制器621基于指示通过操作单元622输入的用户指令的信号来执行各种类型的处理，并且经由总线617控制图像信号处理单元614、DRAM618、外部接口619、屏幕显示620以及介质驱动器623。闪速ROM 624存储控制器621执行各种类型的处理所需的程序和数据。

例如，控制器621能够取代图像信号处理单元614和解码器615，对存储在DRAM 618中的图像数据进行编码，并且对存储在DRAM 618中的编码数据进行解码。此时，控制器621可使用图像信号处理单元614和解码器615所采用的编码/解码方法来执行编码/解码处理。替选地，控制器621可使用与图像信号处理单元614和解码器615所采用的编码/解码方法不同的编码/解码方法来执行编码/解码处理。

另外，例如，当从操作单元622指示打印图像时，控制器621从DRAM618中读取编码数据，并且经由总线617将编码数据提供给连接到外部接口619的打印机634。因此，打印图像数据。

此外，例如，当从操作单元622指示记录图像时，控制器621从DRAM618中读取编码数据，并且经由总线617将编码数据提供到安装在介质驱动器623中的记录介质633。因此，将图像数据存储在记录介质633中。

记录介质633的示例包括可读和可写可移除介质，例如磁盘、磁光盘、光盘以及半导体存储器。应意识到，记录介质633是任意类型的可移除介质，例如带装置、盘或存储器卡。替选地，记录介质633可以是非接触式IC卡。

替选地，可将介质驱动器623集成到记录介质633中。例如，与内部硬盘或SSD(固态驱动器)一样，能够将不可移除存储介质用作介质驱动器623和记录介质633。

外部接口619由例如USB输入/输出端子形成。当打印图像时，将外部接口619连接到打印机634。另外，根据需要将驱动器631连接到外部接口619。因此，根据需要附连诸如磁盘、光盘或磁光盘的可移除介质632。根据需要将从可移除介质632中读取的计算机程序安装在闪速ROM 624中。

此外，外部接口619包括连接到诸如LAN或互联网的预定网络的网络接口。例如，响应于来自操作单元622的指令，控制器621能够从DRAM618中读取编码数据并且经由网络将编码数据从外部接口619提供给连接到外部接口619的另一设备。另外，控制器621能够使用外部接口619，经由网络获取从另一设备提供的编码数据和图像数据，并且将数据存储在DRAM 618中或者将数据提供到图像信号处理单元614。

上述摄像机600将图像解码设备101用作解码器615。因此，与图像解码设备101一样，当针对B片在帧间模板预测模式下执行运动预测/补偿处理时，解码器615使用针对L0参考帧而获得的运动向量信息计算L1参考帧的搜索中心，并且使用该搜索中心执行运动搜索。因此，能够在使编码效率的降低最小的情况下减少计算量。

因此，上述摄像机600可以提高处理速度并且生成高精度的预测图像。因此，摄像机600可以从例如CCD/CMOS 612生成的图像数据中、从自DRAM 618或记录介质633中读取的视频数据的编码数据中或者从经由网络接收到的视频数据的编码数据中获取更高分辨率的解码图像，并且在LCD 616上显示解码图像。

另外，摄像机600将图像编码设备51用作编码器641。因此，与图像编码设备51一样，当针对B片在帧间模板预测模式下执行运动预测/补偿处理时，编码器641使用针对L0参考帧而获得的运动向量信息计算L1参考帧的搜索中心，并且使用该搜索中心执行运动搜索。因此，能够在使编码效率的降低最小的情况下减少计算量。

因此，例如，摄像机600可以提高处理速度并且提高存储在硬盘中的编码数据的编码效率。因此，摄像机600能够更有效地使用DRAM 618的存储区以及记录介质633的存储区。

注意，可将图像解码设备101所采用的解码技术应用于控制器621所执行的解码处理。类似地，可将图像编码设备51所采用的编码技术应用于控制器621所执行的编码处理。

另外，摄像机600捕获的图像数据可以是运动图像或静止图像。

应意识到，可将图像编码设备51和图像解码设备101应用于除上述设备之外的设备或系统。

附图标记列表

51图像编码设备

66无损编码单元

74帧内预测单元

75运动预测/补偿单元

76模板运动预测/补偿单元

77L1搜索中心计算单元

78预测图像选择单元

101图像解码设备

112无损解码单元

121帧内预测单元

122运动预测/补偿单元

123模板运动预测/补偿单元

124L1搜索中心计算单元

125开关

Claims (7)

1.一种图像处理设备，包括：

运动预测单元，其被配置成使用模板来搜索帧的第一目标块的运动向量，其中，所述模板以预定位置关系与所述第一目标块相邻并且所述模板是从解码图像生成的；以及

搜索中心计算单元，其被配置成使用所述运动预测单元在List0参考帧中搜索到的与所述第一目标块有关的运动向量信息、所述帧与所述List0参考帧之间的时间距离信息、和所述帧与List1参考帧之间的时间距离信息，来计算所述List1参考帧的搜索中心；

其中，所述运动预测单元使用所述模板，在所述搜索中心计算单元计算出的所述List1参考帧的搜索中心周围的预定搜索区域内，搜索所述第一目标块的运动向量。

2.根据权利要求1所述的图像处理设备，其中，所述搜索中心计算单元通过根据所述帧与所述List0参考帧之间的时间距离信息以及所述帧与所述List1参考帧之间的时间距离信息，对所述运动预测单元在所述List0参考帧中搜索到的与所述第一目标块有关的所述运动向量信息进行缩放，来计算所述List1参考帧的搜索中心。

3.根据权利要求2所述的图像处理设备，其中，所述搜索中心计算单元通过将关于所述第一目标块的缩放后的运动向量信息舍入为整数像素精度，来计算所述List1参考帧的搜索中心。

4.根据权利要求2所述的图像处理设备，其中，将图像序列号POC用作所述时间距离信息。

5.根据权利要求2所述的图像处理设备，还包括：

解码单元，其被配置成对编码后的运动向量信息进行解码；以及

第二运动预测补偿单元，其被配置成使用所述解码单元解码的所述帧的第二目标块的运动向量来生成预测图像。

6.根据权利要求2所述的图像处理设备，还包括：

图像选择单元；

其中，所述运动预测单元使用第二目标块搜索所述帧的所述第二目标块的运动向量，并且其中，所述图像选择单元选择基于所述运动预测单元搜索到的所述第一目标块的运动向量的预测图像和基于所述运动预测单元搜索到的所述第二目标块的运动向量的预测图像之一。

7.一种用于在图像处理设备中使用的图像处理方法，所述方法包括：

运动预测步骤，用于使用模板来搜索帧的目标块的运动向量，其中，所述模板以预定位置关系与所述目标块相邻并且是从解码图像生成的；以及

搜索中心计算步骤，用于使用通过所述运动预测步骤在List0参考帧中搜索到的与所述目标块有关的运动向量信息、所述帧与所述List0参考帧之间的时间距离信息和所述帧与List1参考帧之间的时间距离信息，来计算所述List1参考帧的搜索中心；

其中，在所述运动预测步骤中，使用所述模板在计算出的所述List1参考帧的搜索中心周围的预定搜索区域内搜索所述目标块的运动向量。

Images