CN102160379A - 图像处理装置和图像处理方法 - Google Patents

Abstract

提供了能够基于图像的局部特性执行加权预测的图像处理装置和图像处理方法。帧间模板运动预测/补偿单元(76)对帧间模板匹配系统中的将被编码的帧中的图像块执行匹配并且使用根据匹配中的模板区域的像素值计算的加权系数来执行隐性加权预测。加权系数由加权系数计算单元(77)计算。本发明可应用于例如，在H.264/AVC系统中执行编码的图像编码装置。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及图像处理装置和图像处理方法，具体地，涉及能够基于图像的局部特性执行加权预测的图像处理装置和图像处理方法。

背景技术

近年来，已广泛使用了如下的装置：其操纵具有数字格式的图像信息并且此时，为了高效地传输和积累该信息，对图像进行压缩编码。该装置使用对于图像信息而言是特定的冗余并且使用用于基于诸如离散余弦变换的正交变换和运动补偿(例如，MPEG(移动图片专家组)标准)来压缩图像的方法。

具体地，MPEG2(ISO/IEC 13818-2)被定义为通用图像编码方法。MPEG2是针对隔行扫描图像和逐行扫描图像以及针对标准清晰度图像和高清晰度图像定义的标准。MPEG2现今广泛地用于专业应用和消费类应用。通过使用MPEG2压缩标准并且将4至8Mbps的编码量分配给720×480个像素的标准分辨率隔行图像以及将18至22Mbps的编码量分配给1920×1088个像素的高清晰度隔行图像，可以实现高压缩比和出色的图像质量。

MPEG2旨在提供适合广播的高分辨率编码，并且因此，MPEG2不支持编码量低于MPEG1的编码量(即压缩比高于MPEG1的压缩比)的编码方法。然而，随着蜂窝电话正变得更广泛地使用，对这种编码方法的需要日益增加。因此，MPEG4编码方法已被标准化。例如，MPEG4图像编码方法在1998年12月被批准成为国际标准ISO/IEC 14496-2。

此外，近年来，为了对用于电视会议的图像编码，被称为H.26L(ITU-TQ6/16VCEG)的标准的标准化已在发展。在H.26L中，较之现有的诸如MPEG2和MPEG4的编码标准，需要大量的计算用于编码和解码操作。然而，已知H.26L能够实现更高的编码效率。此外，被称为增强压缩视频编码联合模型的标准化以作为MPEG4活动的一部分而被发展。增强压缩视频编码联合模型基于H.26L并且包括H.26L不支持的功能，并且因此，能够实现更高的编码效率。增强压缩视频编码联合模型在2003年3月被批准成为国际标准H.264和MPEG-4Part10(高级视频编码；在下文中被称为“AVC”)。

此外，在诸如MPEG-2的编码方法中，执行使用线性内插处理的具有1/2像素精度的运动预测/补偿处理。相反地，在AVC编码标准中，执行使用6抽头FIR(有限脉冲响应滤波器)滤波器的具有1/4像素精度的运动预测/补偿处理。因此，在AVC编码标准中，可以提高编码效率。然而，生成了大量的运动矢量信息。因此，如果运动矢量信息项被直接编码，则编码效率降低。为了解决该问题，在AVC编码标准中，使用预定方法实现运动矢量编码信息的减少。

该方法的示例是使用关于相邻的和先前编码的运动补偿块的运动矢量信息和中值运算，生成关于接下来将被编码的运动补偿块的预测运动矢量信息。

然而，即使在应用该方法时，运动向量信息与图像压缩信息的比也不小。因此，提出了一种技术，用于在将被参考的帧的解码图像(在下文中被称为“参考图像”)中搜索具有与模板区域的最高相关性的图像区域，其是解码图像的一部分并且以预定位置关系与将编码的帧(在下文中被称为“目标帧”)中的接下来将编码的目标块相邻，并且基于搜索到的区域和预定位置关系来执行预测(参照例如，NPL 1)。

该技术被称为“帧间模板匹配方法”。在该技术中，解码图像被用于匹配。因此，通过预先确定搜索范围，可以在编码装置和解码装置中执行相同的处理。就是说，通过甚至在解码装置中使用帧间模板匹配方法执行运动预测，运动矢量信息不需要包括在从编码装置接收到的图像压缩信息中。因此，可以防止编码效率的降低。

此外，如果例如，使用MPEG-2编码标准对包括褪色的景象进行编码，则编码效率降低。

就是说，如图1中所示，当针对其中亮度因例如褪色而从帧Y₁经由帧Y₀到帧X降低的图像执行运动补偿时，并且如果基于MPEG-2编码标准执行运动补偿方法，不能处理帧之间的亮度变化。例如，当使用先前编码的帧Y₀执行针对将编码的帧X执行运动补偿时，帧Y₀和帧X之间的亮度差不利地呈现为噪声(预测误差)。结果，编码效率降低。

因此，为了防止编码效率的这种降低，在AVC标准中定义了被称为“加权预测”的运动补偿技术。

此外，对于P图片，可以使用加权预测技术中的被称为“显性加权预测”的技术。当使用显性加权预测技术时，预测图像Pred可以由下式(1)给出。

Pred＝w₀×P(L0)+d₀                    (1)

注意，在式(1)中，P(L0)表示从由运动矢量信息指向的List0参考帧提取的预测图像，并且w₀和d₀分别表示图像压缩信息中包括的加权系数和偏移值。

此外，对于B图片，除了加权预测技术中的显性加权预测之外，可以使用隐性加权预测。当使用隐性加权预测和显性加权预测时，并且如果两个参考帧被表示为L0参考帧和L1参考帧，可以使用下式(2)预测图像Pred。

Pred＝w₀×P(L0)+w₀×P(L1)+d₀        (2)

注意，在式(2)中，P(L0)和P(L1)分别表示从List0参考帧提取的预测图像和从List1参考帧提取的预测图像。此外，在式(2)中，w₀和w₁表示用于显性加权预测的图像压缩信息中包括的加权系数。d₀表示图像压缩信息中包括的偏移值。

相反地，对于隐性加权预测，d0＝0。w0和w1表示使用下式(3)计算的加权系数。

w₁＝tb/td

w₀＝1-w₁                (3)

注意，在式(3)中，如图2中所示，tb表示L0参考帧和将被编码的目标帧之间的时间距离。td表示L0参考帧和L1参考帧之间的时间距离。然而，实际上，在AVC标准中，由于对应于tb和td的参数未包括在图像压缩信息中，因此使用POC(图片顺序计数)来替代tb或td。

引用文献列表

非专利文献

NPL1：″Inter Frame Coding with Template Matching Averaging″，Y.Suzuki et al，ICIP2007

发明内容

技术问题

然而，POC在时间轴上不一定是相同的距离。如果基于POC计算隐性加权预测的加权系数，则编码效率可能降低。

此外，在AVC方法中，在同一图片(切片(slice))中使用同一加权系数和同一偏移值用于显性加权预测和隐性加权预测。然而，这些值对于屏幕中的所有块总是最优的。

因此，本发明允许基于图像的局部特性执行加权预测。

对问题的解决方案

根据本发明的一个方面，一种图像处理装置包括：匹配部件，用于使用帧间模板匹配方法对将解码的帧的图像块执行匹配处理；以及预测部件，用于使用匹配部件执行的匹配处理的模板的像素值执行加权预测。

帧的图像可以是P图片，并且加权预测可以是隐性加权预测。

预测部件可以使用根据模板的像素值计算的加权系数来执行加权预测。

图像处理装置可以进一步包括用于使用下式计算加权系数的计算部件：

w₀＝Ave(B′)/Ave(B)

其中Ave(B)表示模板的像素值的平均值，Ave(B′)表示参考模板的像素值的平均值，该参考模板是用作匹配用的参考的参考帧的图像区域并且具有与模板最高的相关性，并且w₀表示加权系数。预测部件可以使用加权系数w₀和下式计算块的预测像素值：

Pred(A)＝w₀×Pix(A′)

其中Perd(A)表示块的预测像素值，并且Pix(A′)表示与参考模板具有同模板和块之间的位置关系一样的位置关系的参考帧的图像区域的像素值。

计算部件可以使加权系数w₀近似为具有X/(2ⁿ)的形式的值。

预测部件可以使用根据模板的像素值计算的偏移来执行加权预测。

图像处理装置可以进一步包括用于使用下式计算偏移的计算部件：

d₀＝Ave(B)-Ave(B′)

其中AVB(B)表示模板的像素值的平均值，Ave(B′)表示参考模板的像素值的平均值，该参考模板是用作匹配用的参考的参考帧的图像区域并且具有与模板最高的相关性，并且d₀表示偏移。预测部件可以使用偏移d₀和下式计算块的预测像素值：

Pred(A)＝Pred(A′)+d₀

其中Pred(A)表示块的预测像素值，并且Pred(A′)表示与参考模板具有同模板和块之间的位置关系一样的位置关系的参考帧的图像区域的预测像素值。

预测部件可以从表示帧的图像的P图片的报头部分提取指示隐性加权预测已作为对块执行编码时的加权预测而被执行的信息。

图像处理装置可以进一步包括用于根据模板的像素值计算用于加权预测的第一和第二加权系数的计算部件。这些计算部件可以使用下式计算第一和第二加权系数：

w0＝|Ave_tmplt_L1-Ave_tmplt_Cur|，和

w1＝|Ave_tmplt_L0-Ave_tmplt_Cur|

其中Ave_tmplt_Cur表示模板的像素值的平均值，Ave_tmplt_L0和Ave_tmplt_L1表示第一参考模板和第二参考模板的像素值的平均值，第一参考模板和第二参考模板分别是用作匹配用的参考的第一和第二参考帧的图像区域并且具有与模板最高的相关性，并且w₀和w₁分别表示第一和第二加权系数。这些计算部件可以使用下式使第一加权系数w₀和第二加权系数w₁归一化：

w₀＝w₀/(w₀+w₁)，和

w₁＝w₁/(w₀+w₁)。

预测部件可以使用归一化的第一加权系数w₀和第二加权系数w₁以及下式计算块的预测像素值：

Pred_Cur＝w₀×Pix_L0+w₁×Pix_L1

其中Pred_Cur表示块的预测像素值，并且Pix_L0和Pix_L1分别表示与第一参考模板具有同模板和块之间的位置关系一样的位置关系的第一参考帧的图像区域的像素值和与第二参考模板具有同模板和块之间的位置关系一样的位置关系的第二参考帧的图像区域的像素值。

计算部件可以使第一加权系数w₀和第二加权系数w₁中的每个近似为具有X/(2ⁿ)的形式的值。

根据本发明的第一方面，一种用在图像处理装置中的图像处理方法包括如下步骤：使用帧间模板匹配方法对将解码的帧的图像块执行匹配处理；以及使用匹配处理的模板的像素值执行加权预测。

根据本发明的第二方面，一种图像处理装置包括：匹配部件，用于使用帧间模板匹配方法对将解码的帧的图像块执行匹配处理；以及预测部件，用于使用匹配部件执行的匹配处理的模板的像素值执行加权预测。

帧的图像可以是P图片，并且加权预测可以是隐性加权预测。

图像处理装置进一步包括插入部件，用于将指示隐性加权预测已作为加权预测而被执行的信息插入表示帧的图像的P图片的报头部分。

根据本发明的第二方面，一种用在图像处理装置中的图像处理方法包括如下步骤：使用帧间模板匹配方法对将解码的帧的图像块执行匹配处理；以及使用匹配处理的模板的像素值执行加权预测。

根据本发明的第一方面，使用帧间模板匹配方法对将解码的帧的图像块执行匹配处理；以及使用匹配处理的模板的像素值执行加权预测。

根据本发明的第二方面，使用帧间模板匹配方法对将编码的帧的图像块执行匹配处理；以及使用匹配处理的模板的像素值执行加权预测。

本发明的有利效果

根据本发明，可以基于图像的局部特性执行加权预测。

附图说明

图1图示了包括褪色的景象的编码。

图2图示了tb和td。

图3是根据本发明的实施例的图像编码装置的配置的框图。

图4图示了可变块尺寸运动预测/补偿处理。

图5图示了具有1/4像素精度的运动预测/补偿处理。

图6是图3中示出的图像编码装置执行的编码处理的流程图。

图7是图6中示出的预测处理的流程图。

图8图示了16×16像素帧内预测模式的情况中的处理过程。

图9图示了关于亮度信号的4×4像素帧内预测模式的类型。

图10图示了关于亮度信号的4×4像素帧内预测模式的类型。

图11图示了4×4像素帧内预测模式的方向。

图12图示了4×4像素帧内预测。

图13图示了关于亮度信号的4×4像素帧内预测模式中的编码。

图14图示了关于亮度信号的16×16像素帧内预测模式的类型。

图15图示了关于亮度信号的16×16像素帧内预测模式的类型。

图16图示了16×16像素帧内预测。

图17图示了关于色差信号的帧内预测模式的类型。

图18是帧内预测处理的流程图。

图19是帧间运动预测处理的流程图。

图20图示了用于生成运动矢量信息的方法的示例。

图21图示了帧间模板匹配方法。

图22图示了关于B图片的帧间模板匹配方法。

图23图示了帧间模板运动预测处理。

图24是图示根据本发明的实施例的图像解码装置的配置的框图。

图25是图24中示出的图像解码装置执行的解码处理的流程图。

图26是图25中示出的预测处理的流程图。

图27图示了扩展块尺寸的示例。

图28是根据本发明的电视接收器的主要配置的示例的框图。

图29是根据本发明的蜂窝电话的主要配置的示例的框图。

图30是根据本发明的硬盘记录器的主要配置的示例的框图。

图31是根据本发明的相机的主要配置的示例的框图。

具体实施方式

图3图示了根据本发明的实施例的图像编码装置的配置。图像编码装置51包括模拟/数字(A/D)转换单元61、重新排序屏幕缓冲器62、计算单元63、正交变换单元64、量化器单元65、无损编码单元66、积累缓冲器67、逆量化器单元68、逆正交变换单元69、计算单元70、解块滤波器71、帧存储器72、开关73、帧内预测单元74、运动预测/补偿单元75、帧间模板运动预测/补偿单元76、加权系数计算单元77、预测图像选择单元78和速率控制单元79。

在下文中，帧间模板运动预测/补偿单元76被称为“帧间TP运动预测/补偿单元76”。

图像编码装置51使用例如H.264和AVC(在下文中被称为“H.264/AVC”)标准对图像进行压缩编码。

在H.264/AVC标准中，使用可变块尺寸执行运动预测/补偿。就是说，如图4中所示，在H.264/AVC标准中，包括16×16个像素的宏块被分为16×16个分区、16×8个分区、8×16个分区和8×8个分区中的一个。每个分区可以具有独立的运动矢量信息。此外，如图4中所示，8×8个分区可以被分为8×8个子分区、8×4个子分区、4×8个子分区和4×4个子分区中的一个。每个子分区可以具有独立的运动矢量信息。

此外，在H.264/AVC标准中，使用6抽头FIR滤波器执行具有1/4像素精度的运动预测和补偿处理。接下来参照图5描述H.264/AVC标准中的具有子像素精度的预测/补偿处理。

在图5中示出的示例中，位置A表示整数精度像素的位置，位置b、c和d表示1/2像素精度像素的位置，并且位置e1、e2和e3表示1/4像素精度像素的位置。在下面的描述中，如下式(4)中所示首先定义Clip()。

[数学式1]

注意，当输入图像是具有8位精度的图像时，max_pix的值是255。使用6抽头FIR滤波器和下式(5)生成位置b和d处的像素值。

[数学式2]

F＝A_-2-5·A_-1+20·A₀+20·A₁-5·A₂+A₃

b，d＝Clip1((F+16)＞＞5)                         (5)

注意，在式(5)中，A_p(p＝-2，-1，0，1，2，3)表示在水平方向或竖直方向上以距离p远离对应于位置b或d的位置A的位置A处的像素值。此外，在式(5)中，b和d分别表示位置b和d处的像素值。

此外，如下在水平方向和竖直方向上使用6抽头FIR滤波器可以获得位置c处的像素值。

[数学式3]

F＝b_-2-5·b_-1+20·b₀+20·b₁-5·b₂+b₃

或者

F＝d_-2-5·d_-1+20·d₀+20·d₁-5·d₂+d₃

c＝Clip1((F+512)＞＞10)                (6)

注意，在式(6)中，b_p和d_p(p＝-2，-1，0，1，2，3)分别表示在水平方向或竖直方向上以距离p远离对应于位置c的位置b和d的位置b和d处的像素值。此外，c表示位置c处的像素值。此外，在式(6)中，在执行式(6)中的用于获得F的计算之后，即在执行水平方向上的积-和运算和竖直方向上的积-和运算之后，最终仅执行一次Clip处理。

此外，如下使用线性内插获得位置e1至e3处的像素值：

[数学式4]

e₁＝(A+b+1)＞＞1

e₂＝(b+d+1)＞＞1

e₃＝(b+c+1)＞＞1            (7)

注意，在式(7)中，A、a至d和e₁至e₃分别表示位置A、a至d和e₁至e₃处的像素值。

回来参照图3，A/D转换单元61对输入图像进行A/D转换并且将经转换的图像输出到重新排序屏幕缓冲器62，其存储经转换的图像。随后，重新排序屏幕缓冲器62根据GOP(图片组)对按照存储顺序排列的帧的图像进行重新排序，使得图像按照帧将被编码的顺序排列。

计算单元63从读取自重新排序屏幕缓冲器62的图像中减去接收自帧内预测单元74并且由预测图像选择单元78选择的预测图像或者接收自运动预测/补偿单元75的预测图像。随后，计算单元63将差信息输出到正交变换单元64。正交变换单元64对于从计算单元63接收到的差信息执行诸如离散余弦变换或者Karhunen-Loeve变换的正交变换并且输出变换系数。量化器单元65对从正交变换单元64输出的变换系数进行量化。

从量化器单元65输出的经量化的变换系数被输入到无损编码单元66。随后，对经量化的变换系数执行诸如可变长度编码(例如，CAVLC(基于上下文自适应可变长度编码))或算术编码(例如，CABAC(基于上下文自适应二进制算术编码))的无损编码处理。因此，变换系数被压缩。注意，在积累缓冲器67中积累之后，从积累缓冲器67输出压缩图像。

此外，从量化器单元65输出的经量化的变换系数还被输入到逆量化器单元68并且被逆量化。随后，变换系数进一步在逆正交变换单元69中经历逆正交变换。逆正交变换的结果由计算单元70加到从预测图像选择单元78提供的预测图像。这样，生成了局部解码图像。解块滤波器71移除解码图像的块失真并且将解码图像提供给帧存储器72。因此，解码图像被积累。此外，由解块滤波器71执行解块滤波处理之前的图像也被提供给帧存储器72并且被积累。

开关73将帧存储器72中积累的图像输出到运动预测/补偿单元75或者帧内预测单元74。

在图像编码装置51中，例如，从重新排序屏幕缓冲器62接收到的I图片、B图片和P图片被提供给帧内预测单元74，作为将经历帧内预测的图像(还被称为“帧内处理”)。此外，从重新排序屏幕缓冲器62读取的B图片和P图片被提供给运动预测/补偿单元75，作为将经历帧间(inter)预测(还被称为“帧间处理”)的图像。

帧内预测单元74使用将经历帧内预测并且从重新排序屏幕缓冲器62读取的图像以及从帧存储器72经由开关73提供的参考图像，执行所有候选的帧内预测模式中的帧内预测处理。因此，帧内预测单元74生成预测图像。

帧内预测单元74计算关于候选的帧内预测模式中的每个的成本函数值。帧内预测单元74选择使计算出的成本函数值最小的帧内预测模式作为最优帧内预测模式。

帧内预测单元74将在最优帧内预测模式中生成的预测图像和最优帧内预测模式的成本函数值提供给预测图像选择单元78。当最优帧内预测模式中生成的预测图像由预测图像选择单元78选择时，帧内预测单元74将关于最优帧内预测模式的信息提供给无损编码单元66。无损编码单元66对信息进行可变长度编码并且使用该信息作为报头信息的一部分。

运动预测/补偿单元75针对候选的帧间预测模式中的每个执行运动预测/补偿处理。就是说，运动预测/补偿单元75基于将经历帧间预测并且从重新排序屏幕缓冲器62读取的图像以及从帧存储器72经由开关73提供的参考图像，检测候选的帧间预测模式中的每个中的运动矢量。随后，运动预测/补偿单元75基于这些运动矢量对参考图像执行运动预测/补偿处理并且生成预测图像。

此外，运动预测/补偿单元75将从帧存储器72经由开关73提供的图像提供给帧间TP运动预测/补偿单元76。

运动预测/补偿单元75计算关于候选的帧间预测模式中的每个的成本函数值。运动预测/补偿单元75从针对帧间预测模式计算的成本函数值以及由帧间TP运动预测/补偿单元76针对帧间模板预测模式计算的成本函数值中选择使成本函数值最小的预测模式作为最优帧间预测模式。

运动预测/补偿单元75将在最优帧间预测模式中生成的预测图像和最优帧间预测模式的成本函数值提供给预测图像选择单元78。当最优帧间预测模式中生成的预测图像由预测图像选择单元78选择时，运动预测/补偿单元75向无损编码单元66输出关于最优帧间预测模式的信息和与最优帧间预测模式关联的信息(例如，运动矢量信息、参考帧信息和模板方法信息(在下文中更详细地描述))。无损编码单元66还对从运动预测/补偿单元75接收到的信息执行诸如可变长度编码处理或者算术编码处理的无损编码处理并且将这些信息插入到压缩图像的报头部分中。

帧间TP运动预测/补偿单元76基于从运动预测/补偿单元75提供的图像使用帧间模板匹配方法或者帧间模板加权预测方法(在下文中更详细地描述)执行帧间模板预测模式中的运动预测和补偿处理。结果，生成了预测图像。

注意，帧间模板加权预测方法是通过使帧间模板匹配方法与加权预测组合而获得的方法。从加权系数计算单元77提供帧间模板加权预测方法中的加权预测中使用的加权系数和偏移值。注意，存在两种类型的加权预测：显性加权预测和隐性加权预测。

此外，帧间TP运动预测/补偿单元76向加权系数计算单元77提供从运动预测/补偿单元75提供的图像。此外，帧间TP运动预测/补偿单元76计算关于帧间模板预测模式的成本函数值并且将计算出的成本函数值、预测图像和模板方法信息提供给运动预测/补偿单元75。

注意，模板方法信息包括指示帧间TP运动预测/补偿单元76使用帧间模板加权预测方法还是帧间模板匹配方法作为运动预测/补偿处理方法的信息。此外，如果帧间TP运动预测/补偿单元76使用帧间模板加权预测方法作为运动预测/补偿处理方法，则模板方法信息进一步包括指示使用隐性加权预测还是显性加权预测作为加权预测的信息。

此外，如果使用显性加权预测作为加权预测，则帧间TP运动预测/补偿单元76将显性加权预测中使用的加权系数和偏移值提供给运动预测/补偿单元75。如果使用这些加权系数和偏移值生成的预测图像由预测图像选择单元78选择，则加权系数和偏移值将被提供给无损编码单元66。在无损编码单元66中，加权系数和偏移值经历无损编码并且被插入压缩图像的报头部分中。

如果使用显性加权预测作为帧间模板加权预测方法中的加权预测，则加权系数计算单元77针对将由帧间TP运动预测/补偿单元76进行帧间预测的图像每个图片地确定加权系数和偏移值。随后，加权系数计算单元77将所确定的加权系数和偏移值提供给帧间TP运动预测/补偿单元76。

然而，如果使用隐性加权预测作为帧间模板加权预测方法中的加权预测，则加权系数计算单元77使用从帧间TP运动预测/补偿单元76提供的图像每个帧间模板匹配块地计算加权系数或偏移值。随后，加权系数计算单元77将计算出的加权系数或偏移值提供给帧间TP运动预测/补偿单元76。注意，下文更详细地描述了加权系数计算单元77执行的处理。

预测图像选择单元78基于从帧内预测单元74或运动预测/补偿单元75输出的成本函数值从最优帧内预测模式和最优帧间预测模式中选择最优预测模式。随后，预测图像选择单元78在所选择的最优预测模式中选择预测图像并且将所选择的预测图像提供给计算单元63和70。此时，预测图像选择单元78将关于预测图像的选择信息提供给帧内预测单元74或运动预测/补偿单元75。

速率控制单元79基于积累缓冲器67中积累的压缩图像来控制量化器单元65执行的量化操作的速率，使得不会发生超溢或下溢。

接下来参照图6中示出的流程图描述图3中示出的图像编码装置51执行的编码处理。

在步骤S11中，A/D转换单元61对输入图像进行A/D转换。在步骤S12中，重新排序屏幕缓冲器62存储从A/D转换单元61提供的图像并且将显示图片的顺序转换为图片将被编码的顺序。

在步骤S13中，计算单元63计算在步骤S12中重新排序的图像和预测图像之间的差。在帧间预测的情况中，从运动预测/补偿单元75，而在帧内预测的情况中，从帧内预测单元74，将预测图像经由预测图像选择单元78提供给计算单元63。

差数据的数据尺寸小于原始图像数据的数据尺寸。因此，较之其中对图像直接编码的情况，可以减小数据尺寸。

在步骤S14中，正交变换单元64对从计算单元63提供的差信息执行正交变换。更具体地，执行诸如离散余弦变换或Karhunen-Loeve变换的正交变换，并且输出变换系数。在步骤S15中，量化器单元65对变换系数进行量化。如下文参照步骤S25中执行的处理而更详细描述的，在该量化处理中控制速率。

以上述方式量化的差信息如下进行局部解码。就是说，在步骤S16中，逆量化器单元68使用作为量化器单元65的特性的逆的特性对由量化器单元65量化的变换系数进行逆量化。在步骤S17中，逆正交变换单元69使用对应于正交变换单元64的特性的特性对由逆量化器单元68逆量化的变换系数执行逆正交变换。

在步骤S18中，计算单元70将经由预测图像选择单元78输入的预测图像加到局部解码的差信息。因此，计算单元70生成局部解码图像(对应于计算单元63的输入的图像)。在步骤S19中，解块滤波器71对从计算单元70输出的图像执行滤波。这样，移除块失真。在步骤S20中，帧存储器72存储经滤波的图像。注意，未经历解块滤波器71执行的滤波处理的图像也被提供给帧存储器72并且存储在帧存储器72中。

在步骤S21中，帧内预测单元74、运动预测/补偿单元75和帧间TP运动预测/补偿单元76中的每个执行其自身的图像预测处理。就是说，在步骤S21中，帧内预测单元74执行帧内预测模式中的帧内预测处理。运动预测/补偿单元75执行帧间预测模式中的运动预测/补偿处理。此外，帧间TP运动预测/补偿单元76执行帧间模板预测模式中的运动预测/补偿处理。

下文参照图7更详细地描述了步骤S21中执行的预测处理。通过步骤S21中执行的预测处理，执行每个候选的预测模式中的预测处理，并且计算关于所有候选的预测模式的成本函数值。随后，基于计算出的成本函数值选择最优帧内预测模式，并且使用最优帧内预测模式中的帧内预测生成的预测图像和最优帧内预测模式的成本函数值被提供给预测图像选择单元78。此外，使用计算出的成本函数值从帧间预测模式和帧间模板预测模式中确定最优帧间预测模式。随后，最优帧间预测模式中生成的预测图像和最优帧间预测模式的成本函数值被提供给预测图像选择单元78。

在步骤S22中，预测图像选择单元78使用从帧内预测单元74和运动预测/补偿单元75输出的成本函数值选择最优帧内预测模式和最优帧间预测模式之一作为最优预测模式。随后，预测图像选择单元78选择所确定的最优预测模式中的预测图像并且将该预测图像提供给计算单元63和70。如上文所述，该预测图像用于在步骤S13和S18中执行的计算。

注意，关于预测图像的选择信息被提供给帧内预测单元74或运动预测/补偿单元75。当最优帧内预测模式中的预测图像被选择时，帧内预测单元74将关于最优帧内预测模式的信息提供给无损编码单元66。

当最优帧间预测模式中的预测图像被选择时，运动预测/补偿单元75将关于最优帧间预测模式的信息和与最优帧间预测模式关联的信息(例如，运动矢量信息、参考帧信息、模板方法信息、加权系数和偏移值)提供给无损编码单元66。

就是说，当帧间预测模式中的预测图像被选择为最优帧间预测模式中的预测图像时，运动预测/补偿单元75向无损编码单元66输出指示帧间预测模式的信息(在下文中按照需要被称为“帧间预测模式信息”)、运动矢量信息和参考帧信息。

相反地，当帧间模板预测模式中的预测图像被选择为最优帧间预测模式中的预测图像时，运动预测/补偿单元75向无损编码单元66提供指示帧间模板预测模式的信息(在下文中按照需要被称为“帧间模板预测模式信息”)和模板方法信息。注意，如果使用显性加权预测作为帧间模板加权预测方法中的加权预测，则运动预测/补偿单元75还向无损编码单元66输出加权系数和偏移值。

在步骤S23中，无损编码单元66对从量化器单元65输出的经量化的变换系数进行编码。就是说，差图像被无损编码(例如，可变长度编码或算术编码)并且被压缩。此时，在步骤S22中从帧内预测单元74输入到无损编码单元66的关于最优帧内预测模式的上述信息或者从运动预测/补偿单元75输入到无损编码单元66的与最优帧间预测模式关联的上述信息(例如，预测模式信息、运动矢量信息、参考帧信息、模板方法信息、加权系数和偏移值)也被编码并且被加到报头信息。

在步骤S24中，积累缓冲器67积累经压缩的差图像作为压缩图像。在积累缓冲器67中积累的压缩图像按照需要被读出并且经由传送线被传输到解码侧。

在步骤S25中，速率控制单元79基于积累缓冲器67中存储的压缩图像来控制由量化器单元65执行的量化操作的速率，使得不会发生超溢或下溢。

接下来参照图7中示出的流程图描述图6中示出的步骤S21中执行的预测处理。

如果从重新排序屏幕缓冲器62提供并且将被处理的图像中的每个是将进行帧内处理的块的图像，则从帧存储器72读取将被参考的解码图像并且其经由开关73被提供给帧内预测单元74。在步骤S31中，帧内预测单元74使用这些图像针对在所有候选的帧内预测模式中将被处理的块的像素执行帧内预测。注意，未经历由解块滤波器71执行的解块滤波的像素被用作将被参考的解码像素。

下文参照图18描述了步骤S31中执行的帧内预测处理。通过帧内预测处理，在所有候选的帧内预测模式中执行帧内预测，并且计算关于所有候选的帧内预测模式的成本函数值。

在步骤S32中，帧内预测单元74彼此比较在步骤S31中计算出的关于所有候选的帧内预测模式的成本函数值。因此，提供最小的成本函数值的预测模式被选择为最优帧内预测模式。随后，帧内预测单元74将在最优帧内预测模式中生成的预测图像及其成本函数值提供给预测图像选择单元78。

如果从重新排序屏幕缓冲器62提供并且将被处理的图像是将经历帧间处理的图像，则从帧存储器72读取将被参考的解码图像并且其经由开关73被提供给运动预测/补偿单元75。在步骤S33中，运动预测/补偿单元75使用这些图像执行帧间运动预测处理。就是说，运动预测/补偿单元75参考从帧存储器72提供的解码图像并且针对所有候选的帧间预测模式执行运动预测处理。

下文参照图19更详细地描述了步骤S33中执行的帧间运动预测处理。通过帧间运动预测处理，在所有候选的帧间预测模式中执行运动预测处理，并且计算关于所有候选的帧间预测模式的成本函数值。

此外，如果从重新排序屏幕缓冲器62提供并且将被处理的图像是将经历帧间处理的图像，则将被参考并且从帧存储器72读取的解码图像还经由开关73和运动预测/补偿单元75被提供给帧间TP运动预测/补偿单元76。在步骤S34中，帧间TP运动预测/补偿单元76和加权系数计算单元77使用这些图像执行帧间模板预测模式中的帧间模板运动预测处理。

下文参照图23更详细地描述了步骤S34中执行的帧间模板运动预测处理。通过帧间模板运动预测处理，执行帧间模板预测模式中的运动预测处理，并且计算关于帧间模板预测模式的成本函数值。随后，在帧间模板预测模式中通过运动预测处理生成的预测图像及其成本函数值被提供给运动预测/补偿单元75。

在步骤S35中，运动预测/补偿单元75将关于在步骤S33中选择的最优帧间预测模式的成本函数值与在步骤S34中计算的关于帧间模板预测模式的成本函数值比较。因此，提供最小的成本函数值的预测模式被选择为最优帧间预测模式。随后，运动预测/补偿单元75向预测图像选择单元78提供在最优帧间预测模式中生成的预测图像及其成本函数值。

接下来描述H.264/AVC中定义的每个帧内预测模式。

首先描述关于亮度信号的帧内预测模式。关于亮度信号的帧内预测模式包括基于每个4×4像素块的九种类型的预测模式和基于每个16×16像素块的四种类型的预测模式。如图8中所示，在16×16像素帧内预测模式的情况中，收集每个块的直流(DC)分量，并且因此，生成4×4矩阵。此外，对该4×4矩阵执行正交变换。

注意，在高画质(high profile)中，针对8次离散余弦变换(DCT)定义基于每个8×8像素块的预测模式。该方法符合下文描述的4×4像素帧内预测模式。

图9和10图示了亮度信号的9种类型的4×4像素帧内预测模式(Intra_4x4_pred_mode)。除了指示平均值(DC)预测的模式2的八种类型的模式对应于由图11中示出的编号“0”、“1”和“3”至“8”指示的方向。

接下来参照图12描述9种类型的Intra_4x4_pred_mode。在图12中示出的示例中，像素a至p表示将进行帧内处理的目标块的像素。像素A至M表示相邻块的像素的像素值。就是说，像素a至p是将被处理的像素并且读取自重新排序屏幕缓冲器62。相反地，像素A至M是解码图像的像素的像素值，该解码图像读取自帧存储器72作为参考图像并且仍未经历解块滤波器执行的处理。

在图9和10中示出的每个帧内预测模式的情况中，按下文描述的方式使用相邻块的像素的像素值A至M生成像素a至p的预测像素值。注意，“可用”像素值指的是由于像素不位于图像帧的末端或者像素已被编码而可用的像素值。相反地，“不可用”像素值指的是由于像素位于图像帧的末端或者像素仍未被编码而不可用的像素值。

模式0指示竖直预测。模式0仅在像素值A至D“可用”时应用。在该情况中，像素a至p的预测像素值由下式(8)给出。

像素a、e、i、m的预测像素值＝A

像素b、f、j、n的预测像素值＝B

像素c、g、k、o的预测像素值＝C

像素d、h、l、p的预测像素值＝D    (8)

模式1指示水平预测。模式1仅在像素值I至L“可用”时应用。在该情况中，像素a至p的预测像素值由下式(9)给出。

像素a、b、c、d的预测像素值＝I

像素e、f、g、h的预测像素值＝J

像素i、j、k、l的预测像素值＝K

像素m、n、o、p的预测像素值＝L    (8)

模式2指示DC预测。当所有像素值A、B、C、D、I、J、K和L“可用”时，预测像素值由如下表达式(10)给出。

(A+B+C+D+i+J+K+L+4)＞＞3            (10)

此外，当所有像素值A、B、C和D“不可用”时，预测像素值由如下表达式(11)给出。

(I+J+K+L+2)＞＞2                    (11)

此外，当所有像素值I、J、K和L“不可用”时，预测像素值由如下表达式(12)给出。

(A+B+C+D+2)＞＞2                        (12)

注意，当所有像素值A、B、C、D、I、J、K和L“不可用”时，预测像素值被设置为128。

模式3指示对角线左下(Diagonal_Down_Left)预测。模式3仅在所有像素值A、B、C、D、I、J、K、L和M“可用”时应用。在该情况中，像素a至p的预测像素值由下式(13)给出。

像素a的预测像素值＝(A+2B+C+2)＞＞2

像素b、e的预测像素值＝(B+2C+D+2)＞＞2

像素c、f、i的预测像素值＝(C+2D+E+2)＞＞2

像素d、g、j、m的预测像素值＝(D+2E+F+2)＞＞2

像素h、k、n的预测像素值＝(E+2F+G+2)＞＞2

像素l、o的预测像素值＝(F+2G+H+2)＞＞2

像素p的预测像素值＝p＝(G+3H+2)＞＞2                (13)

模式4指示对角线右下(Diagonal_Down_Right)预测。模式4仅在所有像素值A、B、C、D、I、J、K、L和M“可用”时应用。在该情况中，像素a至p的预测像素值由下式(14)给出。

像素m的预测像素值＝(J+2K+L+2)＞＞2

像素i、n的预测像素值＝(I+2J+K+2)＞＞2

像素e、j、o的预测像素值＝(M+2I+J+2)＞＞2

像素a、f、k、p的预测像素值＝(A+2M+I+2)＞＞2

像素b、g、l的预测像素值＝(M+2A+B+2)＞＞2

像素c、h的预测像素值＝(A+2B+C+2)＞＞2

像素d的预测像素值＝(B+2C+D+2)＞＞2             (14)

模式5指示对角线竖直右(Diagonal_Vertical_Right)预测。模式5仅在所有像素值A、B、C、D、I、J、K、L和M“可用”时应用。在该情况中，像素a至p的预测像素值由下式(15)给出。

像素a、j的预测像素值＝(M+A+1)＞＞1

像素b、k的预测像素值＝(A+B+1)＞＞1

像素c、l的预测像素值＝(B+C+1)＞＞1

像素d的预测像素值＝(C+D+1)＞＞1

像素e、n的预测像素值＝(I+2M+A+2)＞＞2

像素f、o的预测像素值＝(M+2A+B+2)＞＞2

像素g、p的预测像素值＝(A+2B+C+2)＞＞2

像素h的预测像素值＝(B+2C+D+2)＞＞2

像素i的预测像素值＝(M+2I+J+2)＞＞2

像素m的预测像素值＝(I+2J+K+2)＞＞2(15)

模式6指示水平下(Horizontal_Down)预测。模式6仅在所有像素值A、B、C、D、I、J、K、L和M“可用”时应用。在该情况中，像素a至p的预测像素值由下式(16)给出。

像素a、g的预测像素值＝(M+I+1)＞＞1

像素b、h的预测像素值＝(I+2M+A+2)＞＞2

像素c的预测像素值＝(M+2A+B+2)＞＞2

像素d的预测像素值＝(A+2B+C+2)＞＞2

像素e、k的预测像素值＝(I+J+1)＞＞1

像素f、l的预测像素值＝(M+2I+J+2)＞＞2

像素i、o的预测像素值＝(J+K+1)＞＞1

像素j、p的预测像素值＝(I+2J+K+2)＞＞2

像素m的预测像素值＝(K+L+1)＞＞1

像素n的预测像素值＝(J+2K+L+2)＞＞2(16)

模式7指示竖直左(Vertical_Left)预测。模式7仅在所有像素值A、B、C、D、I、J、K、L和M“可用”时应用。在该情况中，像素a至p的预测像素值由下式(17)给出。

像素a的预测像素值＝(A+B+1)＞＞1

像素b、i的预测像素值＝(B+C+1)＞＞1

像素c、j的预测像素值＝(C+D+1)＞＞1

像素d、k的预测像素值＝(D+E+1)＞＞1

像素l的预测像素值＝(E+F+1)＞＞1

像素e的预测像素值＝(A+2B+C+2)＞＞2

像素f、m的预测像素值＝(B+2C+D+2)＞＞2

像素g、n的预测像素值＝(C+2D+E+2)＞＞2

像素h、o的预测像素值＝(D+2E+F+2)＞＞2

像素p的预测像素值＝(E+2F+G+2)＞＞2(17)

模式8指示水平上(Horizontal Up)预测。模式8仅在所有像素值A、B、C、D、I、J、K、L和M“可用”时应用。在该情况中，像素a至p的预测像素值由下式(18)给出。

像素a的预测像素值＝(I+J+1)＞＞1

像素b的预测像素值＝(I+2J+K+2)＞＞2

像素c、e的预测像素值＝(J+K+1)＞＞1

像素d、f的预测像素值＝(J+2K+L+2)＞＞2

像素g、i的预测像素值＝(K+L+1)＞＞1

像素h、j的预测像素值＝(K+3L+2)＞＞2

像素k、l、m、n、o、p的预测像素值＝L    (18)

接下来参照图13描述亮度信号的4×4像素帧内预测模式(Intra_4x4_pred_mode)中的编码方法。

在图13中示出的示例中，示出了将被编码的4×4像素目标块C。此外，示出了与目标块C相邻的4×4像素块A和B。

在该情况中，关于目标块C的Intra_4x4_pred_mode和关于块A和B的Intra_4x4_pred_mode高度相关。通过使用该高相关性执行如下编码处理，可以实现较高的编码效率。

就是说，在图13中示出的示例中，使Intra_4x4_pred_modeA和Intra_4x4_pred_modeB分别表示关于块A和B的Intra_4x4_pred_mode。随后，如下式(19)中所述定义MostProbableMode。

MostProbableMode＝

Min(Intra_4x4_pred_modeA，Intra_4x4_pred_modeB)   (19)

就是说，被分配较小的模式编号(mode_number)的块A和B之一被定义为MostProbableMode。

在位流中，两个值prev_intra4x4_pred_mode_flag[luma4x4BlkIdx]和rem_intra4x4_pred_mode[luma4x4BlkIdx]：被定义为用于目标块C的参数。通过基于由表达式(20)指示的如下伪代码的处理，执行解码处理。因此，可以获得Intra_4x4_pred_mode和Intra4x4PredMode[luma4x4BlkIdx]的值。

If(prev_intra4x4_pred_mode_flag[luma4x4BlkIdx])

Intra4x4PredMode[luma4x4BlkIdx]＝MostProbableMode

else

if(rem_intra4x4_pred_mode[luma4x4BlkIdx]＜MostProbableMode)

Intra4x4PredMode[luma4x4BlkIdx]

＝rem_intra4x4_pred_mode[luma4x4BlkIdx]

else

Intra4x4PredMode[luma4x4BlkIdx]

＝rem_intra4x4_pred_mode[luma4x4BlkIdx]+1             (20)

接下来描述16×16像素帧内预测模式。图14和15图示了亮度信号的四种类型的16×16像素帧内预测模式(Intra_16×16_pred_mode)。

接下来参照图16描述四种类型的16×16像素帧内预测模式。在图16中示出的示例中，示出了将进行帧内处理的目标宏块A。P(x，y)；x，y＝-1，0，...，15表示与目标宏块A相邻的像素的像素值。

模式0指示竖直预测。模式0仅在P(x，-1)；x，y＝-1，0，...，15“可用”时应用。在该情况中，使用下式(21)生成目标宏块A的每个像素的预测像素值Pred(x，y)。

Pred(x，y)＝P(x，-1)；x，y＝0，...，15                (21)

模式1指示水平预测。模式1仅在P(-1，y)；x，y＝-1，0，...，15“可用”时应用。在该情况中，使用下式(22)生成目标宏块A的每个像素的预测像素值Pred(x，y)。

Pred(x，y)＝P(x，-1)；x，y＝0，...，15                 (22)

模式2指示DC预测。模式2仅在所有P(x，-1)和P(-1，y)；x，y＝-1，0，...，15“可用”时应用。在该情况中，使用下式(23)生成目标宏块A的每个像素的预测像素值Pred(x，y)。

[数学式5]

$\mathrm{Pred}(x,y)=[\underset{x^{\′}=0}{\overset{15}{\mathrm{\Σ}}}P(x^{\′},-1)+\underset{y^{\′}=0}{\overset{15}{\mathrm{\Σ}}}P(-1,y^{\′})+16]>>5$

其中x，y＝0，...，15                    (23)

然而，当P(x，-1)；x，y＝-1，0，...，15“不可用”时，使用下式(24)生成目标宏块A的每个像素的预测像素值Pred(x，y)。

[数学式6]

$\mathrm{Pred}(x,y)=[\underset{y^{\′}=0}{\overset{15}{\mathrm{\Σ}}}P(-1,y^{\′})+8]>>4$

其中x，y＝0，...，15                    (24)

如果P(-1，y)；x，y＝-1，0，...，15“不可用”，则使用下式(25)生成目标宏块A的每个像素的预测像素值Pred(x，y)。

[数学式7]

$\mathrm{Pred}(x,y)=[\underset{y^{\′}=0}{\overset{15}{\mathrm{\Σ}}}P(x^{\′},-1)+8]>>4$

其中x，y＝0，...，15                   (25)

如果所有P(x，-1)和P(-1，y)；x，y＝-1，0，...，15“不可用”，则预测像素值被设置为128。

模式3指示平面(Plane)预测。模式3仅在所有P(x，-1)和P(-1，y)；x，y＝-1，0，...，15“可用”时应用。在该情况中，使用下式(26)生成目标宏块A的每个像素的预测像素值Pred(x，y)。

[数学式8]

Pred(x，y)＝Clip1((a+b·(x-7)+c·(y-7)+16)＞＞5)

a＝16·(P(-1，15)+P(15，-1))

b＝(5·H+32)＞＞6

c＝(5·V+32)＞＞6

$H=\underset{x=1}{\overset{8}{\mathrm{\Σ}}}x\·(P(7+x,-1)-P(7-x,-1))$

$V=\underset{y=1}{\overset{8}{\mathrm{\Σ}}}y\·(P(-\mathrm{1,7}+y)-P(-\mathrm{1,7}-y))---\left(26\right)$

接下来描述关于色差信号的帧内预测模式。图17图示了关于色差信号的四种类型的帧内预测模式(Intra_chroma_pred_mode)。关于色差信号的帧内预测模式可以独立于亮度信号的帧内预测模式进行设置。关于色差信号的帧内预测模式与上述关于亮度信号的16×16像素帧内预测模式基本上相同。

然而，尽管上述关于亮度信号的16×16像素帧内预测模式被应用于16×16像素块，但是关于色差信号的帧内预测模式被应用于8×8像素块。此外，如图14和17所指示的，两个模式的模式编号彼此不对应。

如同上述图16中图示的亮度信号的16×16像素帧内预测模式中的目标宏块A的像素值和相邻像素的像素值的定义，与将进行帧内处理的目标宏块A(关于色差信号的8×8像素)相邻的像素的像素值被定义为P(x，y)；x，y＝-1，0，...，7。

模式0指示DC预测。模式0仅在所有P(x，-1)和P(-1，y)；x，y＝-1，0，...，7“可用”时应用。在该情况中，使用下式(27)生成目标宏块A的每个像素的预测像素值Pred(x，y)。

[数学式9]

$\mathrm{Pred}(x,y)=(\left(\underset{n=0}{\overset{7}{\mathrm{\Σ}}}(P(-1,n)+P(n,-1))\right)+8)>>4$

其中x，y＝0，...，7            (27)

然而，如果P(-1，y)；x，y＝-1，0，...，7“不可用”，则使用下式(28)生成目标宏块A的每个像素的预测像素值Pred(x，y)。

[数学式10]

$\mathrm{Pred}(x,y)=[\left(\underset{n=0}{\overset{7}{\mathrm{\Σ}}}P(n,-1)\right)+4]>>3$

其中x，y＝0，...，7              (28)

可替选地，如果P(x，-1)；x，y＝-1，0，...，7“不可用”，则使用下式(29)生成目标宏块A的每个像素的预测像素值Pred(x，y)。

[数学式11]

$\mathrm{Pred}(x,y)=[\left(\underset{n=0}{\overset{7}{\mathrm{\Σ}}}P(-1,n)\right)+4]>>3$

其中x，y＝0，...，7(29)

模式1指示水平预测。模式1仅在P(-1，y)；x，y＝-1，0，...，7“可用”时应用。在该情况中，使用下式(30)生成目标宏块A的每个像素的预测像素值Pred(x，y)。

Pred(x，y)＝P(-1，y)；x，y＝0，...，7(30)

模式2指示竖直预测。模式2仅在P(x，-1)；x，y＝-1，0，...，7“可用”时应用。在该情况中，使用下式(31)生成目标宏块A的每个像素的预测像素值Pred(x，y)。

Pred(x，y)＝P(x，-1)；x，y＝0，...，7    (31)

模式3指示平面预测。模式3仅在所有P(x，-1)和P(x，-1)；x，y＝-1，0，...，7“可用”时应用。在该情况中，使用下式(32)生成目标宏块A的每个像素的预测像素值Pred(x，y)。

[数学式12]

Pred(x，y)＝Clip1(a+b·(x-3)+c·(y-3)+16)＞＞5；x，y＝0，...，7

a＝16·(P(-1，7)+P(7，-1))

b＝(17·H+16)＞＞5

c＝(17·V+16)＞＞5

$H=\underset{x=1}{\overset{4}{\mathrm{\Σ}}}x\·[P(3+x,-1)-P(3-x,-1)]$

$V=\underset{y=1}{\overset{4}{\mathrm{\Σ}}}y\·[P(-\mathrm{1,3}+y)-P(-\mathrm{1,3}-y)]---\left(32\right)$

如上文所述，关于亮度信号的帧内预测模式包括九种类型的基于每个4×4像素块和基于每个8×8像素块的预测模式以及四种类型的基于每个16×16像素块的预测模式。关于色差信号的帧内预测模式包括四种类型的基于每个8×8像素块的预测模式。关于色差信号的帧内预测模式可以独立于关于亮度信号的帧内预测模式而进行设置。对于关于亮度信号的4×4像素和8×8像素帧内预测模式，针对亮度信号的每个4×4像素块和8×8像素块定义帧内预测模式。对于关于亮度信号的16×16像素帧内预测模式和关于色差信号的帧内预测模式，针对一个宏块定义预测模式。

注意，预测模式的类型对应于图11中示出的由编号“0”、“1”和“3”至“8”指示的方向。预测模式2表示平均值预测。

接下来参照图18中示出的流程图描述图7中示出的步骤S31中的针对这些帧内预测模式执行的帧内预测处理。注意，图18中图示的示例是参照亮度信号描述的。

在步骤S41中，帧内预测单元74针对每个上述4×4像素、8×8像素和16×16像素帧内预测模式执行帧内预测。

例如，接下来参照上述图12描述4×4像素帧内预测模式。当将被处理并且从重新排序屏幕缓冲器62读取的图像(例如，像素a至p)是将进行帧内处理的块的图像时，从帧存储器72读取将被参考的解码图像(由像素值A至M指示的像素)。随后，经由开关73将读出图像提供给帧内预测单元74。

帧内预测单元74使用这些图像针对将被处理的块的像素执行帧内预测。该帧内预测处理是针对每个帧内预测模式执行的，并且因此，关于每个帧内预测模式的预测图像被生成。注意，未经历由解块滤波器71执行的解块滤波的像素被用作将被参考的解码像素(由像素值A至M指示的像素)。

在步骤S42中，帧内预测单元74计算关于每个4×4像素、8×8像素和16×16像素帧内预测模式的成本函数值。此时，使用如JM(联合模型)(其是H.264/AVC参考软件)中定义的高复杂度模式和低复杂度模式的技术之一来执行成本函数值的计算。

就是说，在高复杂度模式中，针对所有候选的预测模式执行直到编码处理的处理，作为步骤S41中执行的处理。因此，针对每个预测模式计算下式(33)定义的成本函数值，并且随后，提供最小成本函数值的预测模式被选择为最优预测模式。

Cost(Mode)＝D+λ·R    (33)

D表示原始图像和解码图像之间的差(失真)，R表示包括直到正交变换系数的生成码量，并且λ表示具有量化参数QP的函数的形式的拉格朗日乘数。

相反地，在低复杂度模式中，针对所有候选的预测模式执行预测图像的生成以及运动矢量信息、预测模式信息和标志信息的报头位的计算，作为步骤S41中执行的处理。因此，针对每个预测模式计算下式(34)中表述的成本函数值，并且随后，提供最小成本函数值的预测模式被选择为最优预测模式。

Cost(Mode)＝D+QPtoQuant(QP)·Header_Bit    (34)

D表示原始图像和解码图像之间的差(失真)，Header_Bit表示关于预测模式的报头位，并且QPtoQuant表示以量化参数QP的函数的形式提供的函数。

在低复杂度模式中，仅针对每个预测模式生成预测图像。不需要执行编码处理和解码处理。因此，可以减少计算量。

在步骤S43中，帧内预测单元74确定关于每个4×4像素、8×8像素和16×16像素帧内预测模式的最优模式。就是说，如上文参照图11所述，在4×4像素和8×8像素帧内预测模式的情况中，存在九种类型的预测模式。在16×16像素帧内预测模式的情况中，存在四种类型的预测模式。因此，从这些预测模式中，帧内预测单元74基于在步骤S42中计算的成本函数值选择最优的4×4帧内预测模式、最优的8×8帧内预测模式和最优的16×16帧内预测模式。

在步骤S44中，从针对4×4像素、8×8像素和16×16像素帧内预测模式选择的最优模式中，帧内预测单元74基于在步骤S42中计算的成本函数值选择一个帧内预测模式。就是说，从针对4×4像素、8×8像素和16×16像素选择的最优模式中，帧内预测单元74选择具有最小成本函数值的模式。

接下来参照图19中示出的流程图描述图7中示出的步骤S33中执行的帧间运动预测处理。

在步骤S51中，运动预测/补偿单元75确定关于图4中图示的八个16×16像素至4×4像素的帧间预测模式中的每个的运动矢量和参考图像。就是说，针对关于每个帧间预测模式的将被处理的块，确定运动矢量和参考图像。

在步骤S52中，运动预测/补偿单元75基于步骤S51中确定的运动矢量对关于八个16×16像素至4×4像素的帧间预测模式中的每个的参考图像执行运动预测和补偿处理。通过运动预测和补偿处理，生成关于每个帧间预测模式的预测图像。

在步骤S53中，针对关于八个16×16像素至4×4像素的帧间预测模式中的每个确定的运动矢量，运动预测/补偿单元75生成将被加到压缩图像的运动矢量信息。

接下来参照图20描述H.264/AVC标准中用于生成运动矢量信息的方法。在图20中示出的示例中，示出了接下来将编码的目标块E(例如，16×16像素)和已被编码并且与目标块E相邻的块A至D。

就是说，块D与目标块E的左上角相邻。块B与目标块E的上端相邻。块C与目标块E的右上角相邻。块A与目标块E的左端相邻。注意，由于块A至D是图4中图示的16×16像素至4×4像素的块中的一个，因此每个块A至D的整体未被示出。

例如，使mvX表示关于X(＝A，B，C，D，E)的运动矢量信息。使用下式(35)使用关于块A、B和C的运动矢量信息和中值运算来表述关于目标块E的预测运动矢量信息(运动矢量的预测值)pmvE。

pmvE＝med(mvA，mvB，mvC)                (35)

如果关于块C的运动矢量信息因为例如，块C位于图像帧末端或者块C仍未被编码而不可用，则使用关于块D的运动矢量信息替代关于块C的运动矢量信息。

使用pmvE和下式(36)给出将作为关于目标块E的运动矢量信息加到压缩图像的报头部分的数据mvdE。

mvdE＝mvE-pmvE    (36)

注意，实际上，该处理是针对运动矢量信息的水平方向分量和竖直方向分量独立执行的。

这样，生成了预测运动矢量信息，并且使用相邻块之间的相关性生成的预测运动矢量信息和运动矢量信息之间的差被加到压缩图像的报头部分。因此，可以减少运动矢量信息。

以上述方式生成的运动矢量信息还用于在后继的步骤S54中执行的成本函数值的计算。如果对应于运动矢量信息的预测图像最终由预测图像选择单元78选择，则运动矢量信息连同帧间预测模式信息和参考帧信息一起被输出到无损编码单元66。

回来参照图19，在步骤S54中，运动预测/补偿单元75使用上述式(33)或(34)计算关于八个16×16像素至4×4像素的帧间预测模式中的每个的成本函数值。这里计算出的成本函数值用于如上文所述在图7中示出的步骤S35中选择最优帧间预测模式。

注意，关于帧间预测模式的成本函数值的计算包括估计H.264/AVC标准中定义的跳跃(Skip)模式和直接(Direct)模式中的成本函数值。

接下来描述帧间模板加权预测方法。

首先参照图21描述帧间模板匹配方法。

在图21中示出的示例中，示出了将被编码的目标帧和在搜索运动矢量时参考的参考帧。在目标帧中，示出了接下来将被编码的目标块A和包括与目标块A相邻并且已被编码的像素的模板区域B。就是说，如图21中所示，当以光栅扫描顺序执行编码处理时，模板区域B位于目标块A的左边和目标块A的上侧。此外，模板区域B的解码图像被存储在帧存储器72中。

帧间TP运动预测/补偿单元76使用例如，SAD(绝对差的和)作为成本函数值执行参考帧的预定搜索范围E中的匹配处理。帧间TP运动预测/补偿单元76搜索具有与模板区域B的像素值的最高相关性的区域B′。随后，帧间TP运动预测/补偿单元76将对应于搜索区域B′的块A′视为关于目标块A的预测图像并且搜索关于目标块A的运动矢量P。就是说，在帧间模板匹配方法中，通过执行表示已编码区域的模板的匹配处理，可以搜索将被编码的目标块的运动矢量，并且可以预测将被编码的目标块的运动。

这样，在使用帧间模板匹配方法的运动矢量搜索处理中，解码图像用于模板匹配处理。因此，通过预先定义预定搜索范围E，可以在图3中示出的图像编码装置51和图像解码装置(下文描述)中执行相同的处理。就是说，通过在图像解码装置中也提供帧间TP运动预测/补偿单元，关于目标块A的运动矢量P的信息不需要被发送到图像解码装置。因此，可以减少压缩图像中包括的运动矢量信息。

注意，预定搜索范围E是其中心处存在例如运动矢量(0，0)的搜索范围。可替选地，如上文参照图20所述，预定搜索范围E可以是其中心处存在使用与相邻块的相关性生成的预测运动矢量信息的搜索范围。

在帧间模板加权预测方法中，如果使用显性加权预测作为加权预测，则使用上述帧间模板匹配方法计算出的预测图像被选择为List0参考帧的预测图像P(L0)。随后，对用作将经历帧间预测的图像的P图片执行上述式(1)指示的计算。

此外，对于用作将经历帧间预测的图像的B图片，使用上述帧间模板匹配方法计算出的两个预测图像被选择为List0参考帧的预测图像P(L0)和List1参考帧的预测图像P(L1)。随后，执行上述式(2)指示的计算。注意，如果使用显性加权预测作为加权预测，则由加权系数计算单元77基于每个图片确定的值被用作加权系数和偏移值。

相反地，在帧间模板加权预测方法中，如果使用隐性加权预测作为加权预测，则如下获得预测图像。

首先，描述其中将经历帧间预测的图像是P图片的情况。

在该情况中，为了计算预测图像，可以使用用于基于加权系数计算预测图像的方法和用于基于偏移值计算预测图像的方法。

在用于基于加权系数计算预测图像的方法中，加权系数计算单元77计算帧间模板匹配方法的模板区域B中的像素值的平均值和区域B′(图21)中的像素值的平均值。这些平均值被表示为Ave(B)和Ave(B′)。随后，加权系数计算单元77使用平均值Ave(B)和Ave(B′)以及下式(37)计算加权系数w₀。

[数学式13]

$w_0=\frac{\mathrm{Ave}\left(B^{\′}\right)}{\mathrm{Ave}\left(B\right)}---\left(37\right)$

因此，即使在同一P图片中，对于单独的模板匹配块，加权系数w₀仍具有不同的值。

帧间TP运动预测/补偿单元76使用加权系数w0、块A′的像素值Pix(A′)和下式(38)计算块A的预测像素值Pred(A)。

Pred(A)＝w₀×Pix(A′)    (38)

如上文所述，帧间TP运动预测/补偿单元76使用针对每个模板匹配块获得的加权系数w₀来生成预测图像。因此，可以生成适用于屏幕中的局部像素值的特性的预测图像。

注意，使用式(37)获得的加权系数w₀可以近似为具有X/(2ⁿ)的形式的值。在该情况中，可以使用移位操作来实现除法。因此，可以减少所需用于加权预测的计算量。

相反地，在用于基于偏移值计算预测图像的方法中，加权系数计算单元77使用平均值Ave(B)和Ave(B′)以及下式(39)计算偏移值d₀。

d₀＝Ave(B)-Ave(B′)                    (39)

因此，即使在同一P图片中，对于单独的模板匹配块，偏移值d₀仍变为不同的值。

帧间TP运动预测/补偿单元76使用偏移值d₀、块A′的像素值Pix(A′)和下式(40)计算块A的预测像素值Pred(A)。

Pred(A)＝Pred(A′)+d₀                (40)

如上文所述，帧间TP运动预测/补偿单元76使用针对每个模板匹配块获得的偏移值d₀来生成预测图像。因此，可以生成适用于屏幕中的局部像素值的特性的预测图像。

接下来描述其中将经历帧间预测的图像是B图片的情况。

在该情况中，如图22中所示，在帧间模板匹配方法中，使用将被编码的目标帧。此外，使用L0参考帧和L1参考帧作为在搜索运动矢量时参考的参考帧。随后，在L0参考帧的预定搜索范围中，执行与图21中图示的匹配处理相同的匹配处理。因此，对应于搜索区域b₁的块a₁被选择为预测图像。此外，针对L1参考帧执行相似的匹配处理，并且对应于搜索区域b₂的块a₂被选择为预测图像。

加权系数计算单元77分别计算模板区域B、区域b₁和区域b₂中的像素值的平均值，它们被定义为Ave_tmplt_Cur、Ave_tmplt_L0和Ave_tmplt_L1。随后，加权系数计算单元77使用平均值Ave_tmplt_Cur、Ave_tmplt_L0和Ave_tmplt_L1和下式(41)计算加权系数w₀和w₁。

w₀＝|Ave_tmplt_L1-Ave_tmplt_Cur|

w₁＝|Ave_tmplt_L0-Ave_tmplt_Cur|(41)

此外，加权系数计算单元77使用下式(42)对使用式(41)计算的加权系数w₀和w₁进行归一化。

[数学式14]

$w_0=\frac{W_0}{W_0+W_1};$ $w_1=\frac{W_1}{W_0+W_1}---\left(42\right)$

因此，即使在同一B图片中，对于单独的模板匹配块，加权系数w₀和w₁仍具有不同的值。

帧间TP运动预测/补偿单元76使用加权系数w₀和w₁、块a₁的像素值Pix_L0、块a₂的像素值Pix_L1和下式(43)计算块A的预测像素值Pred(A)。

Pred(A)＝w₀×Pix_L0+w₁×Pix_L1    (43)

如上文所述，帧间TP运动预测/补偿单元76使用针对每个模板匹配块获得的加权系数w₀和w₁来生成预测图像。因此，可以生成适用于屏幕中的局部像素值的特性的预测图像。

注意，使用式(42)获得的加权系数w₀和w₁可以近似为具有X/(2ⁿ)的形式的值。在该情况中，可以使用移位操作来实现除法。因此，可以减少所需用于加权预测的计算量。

这样，在图像编码装置51中，计算了用于隐性加权预测的加权系数。因此，即使当POC不基于相等的间隔时，仍可以在不受POC影响的情况下计算适当的加权系数。结果，可以防止编码效率的降低。此外，由于加权系数是针对每个模板匹配块独立计算的，因此可以基于图像的局部特性执行加权预测。

接下来参照图23中示出的流程图更详细地描述图7中示出的步骤S34中执行的帧间模板运动预测处理。

在步骤S71中，帧间TP运动预测/补偿单元76使用帧间模板匹配方法搜索运动矢量。在步骤S72中，帧间TP运动预测/补偿单元76确定帧间模板加权预测方法是否被用作用于运动预测/补偿处理的方法。

如果在步骤S72中，确定帧间模板加权预测方法被用作用于运动预测/补偿处理的方法，则在步骤S73中，帧间TP运动预测/补偿单元76确定显性加权预测是否被用作加权预测。

如果在步骤S73中，确定显性加权预测被用作加权预测，则在步骤S74中，帧间TP运动预测/补偿单元76使用由加权系数计算单元77针对每个图片确定的加权系数和偏移值、由步骤S71中的运动矢量搜索指示的参考帧的块A或者块a1和a2，并且使用上述式(1)或(2)，生成预测图像。

然而，如果在步骤S73中，确定显性加权预测未被用作加权预测，就是说，如果确定隐性加权预测被用作加权预测，则处理前往步骤S75。在步骤S75中，加权系数计算单元77使用从帧间TP运动预测/补偿单元76提供的图像计算加权系数。

更具体地，如果将进行帧间预测的图像是P图片，则加权系数计算单元77使用模板区域B和区域B′的解码图像以及上述式(37)来计算加权系数。然而，如果将进行帧间预测的图像是B图片，则加权系数计算单元77使用模板区域B、区域b₁和区域b₂的解码图像以及上述式(41)和(42)来计算加权系数。注意，如果将进行帧间预测的图像是P图片，则加权系数计算单元77可以使用模板区域B和区域B′的解码图像以及上述式(39)来计算偏移值。

在步骤S76中，帧间TP运动预测/补偿单元76使用步骤S75中计算的加权系数以及上述式(38)或(43)生成预测图像。注意，当加权系数计算单元77计算出偏移值时，帧间TP运动预测/补偿单元76使用上述式(40)生成预测图像。

然而，如果在步骤S72中，确定帧间模板加权预测方法未被用作用于运动预测/补偿处理的方法，就是说，如果帧间模板方法被用作用于运动预测/补偿处理的方法，则处理前往步骤S77。

在步骤S77中，帧间TP运动预测/补偿单元76基于在步骤S71中搜索的运动矢量生成预测图像。例如，帧间TP运动预测/补偿单元76直接基于运动矢量P将区域A′的图像选择为预测图像。

在步骤S74、S76或S77中执行的处理完成时，在步骤S78中，帧间TP运动预测/补偿单元76计算关于帧间模板预测模式的成本函数值。

这样，执行了帧间模板运动预测处理。

此外，由图像编码装置51编码和压缩的图像经由预定的传送路径传输并且由图像解码装置解码。图24图示了根据本发明的实施例的这种图像解码装置的配置。

图像解码装置101包括积累缓冲器111、无损解码单元112、逆量化器单元113、逆正交变换单元114、计算单元115、解块滤波器116、重新排序屏幕缓冲器117、D/A转换单元118、帧存储器119、开关120、帧内预测单元121、运动预测/补偿单元122、帧间模板运动预测/补偿单元123、加权系数计算单元124和开关125。

注意，在下文中，帧间模板运动预测/补偿单元123被称为“帧间TP运动预测/补偿单元123”。

积累缓冲器111积累所传送的压缩图像。无损解码单元112使用对应于图3中示出的无损编码单元66使用的编码方法的方法对由无损编码单元66编码并且从积累缓冲器111提供的信息解码。逆量化器单元113使用对应于图3中示出的量化器单元65使用的量化方法的方法对由无损解码单元112解码的图像进行逆量化。逆正交变换单元114使用对应于图3中示出的正交变换单元64使用的正交变换方法的方法对逆量化器单元113的输出进行逆正交变换。

经逆正交变换的输出被加到从开关125提供的预测图像并且由计算单元115解码。解块滤波器116移除解码图像的块失真并且将这些图像提供给帧存储器119。因此，图像被积累。同时，图像被输出到重新排序屏幕缓冲器117。

重新排序屏幕缓冲器117对图像进行重新排序。就是说，已被图3中示出的重新排序屏幕缓冲器62改变的用于编码的帧顺序被改变回原始的显示顺序。D/A转换单元118对从重新排序屏幕缓冲器117提供的图像进行D/A转换，并且将这些图像输出到显示图像的显示器(未示出)。

开关120从帧存储器119读取将进行帧间编码的图像和将被参考的图像。开关120将这些图像输出到运动预测/补偿单元122。此外，开关120从帧存储器119读取用于帧内预测的图像并且将读出的图像提供给帧内预测单元121。

帧内预测单元121从无损解码单元112接收关于通过对报头信息解码获得的帧内预测模式的信息。当关于帧内预测模式的信息被提供时，帧内预测单元121基于该信息生成预测图像。帧内预测单元121将生成的预测图像输出到开关125。

运动预测/补偿单元122从无损解码单元112接收通过对报头信息解码获得的信息(例如，预测模式信息、运动矢量信息、模板方法信息、加权系数和偏移值)。在接收到作为预测模式信息的帧间预测模式信息之后，运动预测/补偿单元122基于运动矢量信息和参考帧信息对图像执行运动预测和补偿处理并且生成预测图像。

相反地，在接收到作为预测模式信息的帧间模板预测模式信息之后，运动预测/补偿单元122向帧间TP运动预测/补偿单元123提供从帧存储器119读取的将进行帧间编码的图像和参考图像。帧间TP运动预测/补偿单元123执行帧间模板预测模式中的运动预测/补偿处理。注意，此时，从无损解码单元112提供的模板方法信息也被提供给帧间TP运动预测/补偿单元123。此外，如果从无损解码单元112提供了加权系数和偏移值，则加权系数和偏移值也被提供给帧间TP运动预测/补偿单元123。

此外，运动预测/补偿单元122根据预测模式信息向开关125输出在帧间预测模式中生成的预测图像和在帧间模板预测模式中生成的预测图像中的一个。

如同图3中示出的帧间TP运动预测/补偿单元76，帧间TP运动预测/补偿单元123根据从运动预测/补偿单元122提供的模板方法信息执行帧间模板预测模式中的运动预测和补偿处理。就是说，帧间TP运动预测/补偿单元123使用帧间模板加权预测方法或帧间模板匹配方法基于从帧存储器119读取的将进行帧间编码的图像和参考图像执行帧间模板预测模式中的运动预测和补偿处理。

注意，当使用帧间模板加权预测方法执行运动预测和补偿处理时，并且如果模板方法信息指示显性加权预测被用作加权预测，则如同图3中示出的帧间TP运动预测/补偿单元76，帧间TP运动预测/补偿单元123使用从运动预测/补偿单元122提供的加权系数和偏移值生成预测图像。

然而，如果模板方法信息指示隐性加权预测被用作加权预测，则帧间TP运动预测/补偿单元123向加权系数计算单元124提供帧间模板匹配方法中使用的目标帧的模板区域和具有与该模板区域的高相关性的参考帧的区域的图像。随后，如同图3中示出的帧间TP运动预测/补偿单元76，帧间TP运动预测/补偿单元123使用从加权系数计算单元124提供的加权系数或偏移值来生成预测图像。

如同图3中示出的加权系数计算单元77，加权系数计算单元124使用模板区域和具有与从帧间TP运动预测/补偿单元123提供的模板区域的高相关性的参考帧的区域的图像来计算加权系数或偏移值。

通过帧间模板预测模式中的运动预测/补偿处理生成的预测图像被提供给运动预测/补偿单元122。

开关125选择由运动预测/补偿单元122生成的预测图像和由帧内预测单元121生成的预测图像中的一个并且将所选择的预测图像提供给计算单元115。

接下来参照图25中示出的流程图描述图像解码装置101执行的解码处理。

在步骤S131中，积累缓冲器111积累所传输的图像。在步骤S132中，无损解码单元112对从积累缓冲器111提供的压缩图像解码。就是说，由图3中所示出的无损编码单元66编码的I图片、P图片和B图片被解码。

此时，运动矢量信息和预测模式信息(指示帧内预测模式、帧间预测模式和帧间模板预测模式中的一个的信息)也被解码。就是说，如果预测模式信息指示帧内预测模式，则预测模式信息被提供给帧内预测单元121。如果预测模式信息指示帧间预测模式或帧间模板预测模式，则预测模式信息被提供给运动预测/补偿单元122。此时，如果关联的运动矢量信息、参考帧信息、模板方法信息、加权系数或偏移值存在，则这些信息也被提供给运动预测/补偿单元122。

在步骤S133中，逆量化器单元113使用对应于图3中示出的量化器单元65的特性的特性对由无损解码单元112解码的变换系数进行逆量化。在步骤S134中，逆正交变换单元114使用对应于图3中示出的正交变换单元64的特性的特性对由逆量化器单元113逆量化的变换系数进行逆正交变换。这样，对应于图3中示出的正交变换单元64的输入的差信息(计算单元63的输出)被解码。

在步骤S135中，计算单元115将在下文描述的步骤S139中选择的并且经由开关125输入的预测图像加到差信息。这样，原始图像被解码。在步骤S136中，解块滤波器116对从计算单元115输出的图像执行滤波。因此，块失真被移除。在步骤S137中，帧存储器119存储经滤波的图像。

在步骤S138中，帧内预测单元121、运动预测/补偿单元122或者帧间TP运动预测/补偿单元123根据从无损解码单元112提供的预测模式信息执行图像预测处理。

就是说，当从无损解码单元112提供指示帧内预测模式的信息(在下文中被称为“帧内预测模式信息”)时，帧内预测单元121执行帧内预测模式中的帧内预测处理。然而，当从无损解码单元112提供帧间预测模式信息时，运动预测/补偿单元122执行帧间预测模式中的运动预测/补偿处理。当从无损解码单元112提供帧间模板预测模式信息时，帧间TP运动预测/补偿单元123执行帧间模板预测模式中的运动预测/补偿处理。

下文参照图26描述了步骤S138中执行的预测处理。通过该处理，帧内预测单元121生成的预测图像、运动预测/补偿单元122生成的预测图像或者帧间TP运动预测/补偿单元123生成的预测图像被提供给开关125。

在步骤S139中，开关125选择预测图像。就是说，由于提供了帧内预测单元121生成的预测图像、运动预测/补偿单元122生成的预测图像或者帧间TP运动预测/补偿单元123生成的预测图像，因此所提供的预测图像被选择并且提供给计算单元115。如上文所述，在步骤S134中，预测图像被加到逆正交变换单元114的输出。

在步骤S140中，重新排序屏幕缓冲器117执行重新排序处理。就是说，已被图像编码装置51的重新排序屏幕缓冲器62改变的用于编码的帧顺序被改变回原始的显示顺序。

在步骤S141中，D/A转换单元118对从重新排序屏幕缓冲器117提供的图像进行D/A转换。这些图像被输出到显示图像的显示器(未示出)。

接下来参照图26中示出的流程图描述图25中示出的步骤S138中执行的预测处理。

在步骤S171中，帧内预测单元121确定目标块是否被帧内编码。如果从无损解码单元112将帧内预测模式信息提供给帧内预测单元121，则在步骤S171中，帧内预测单元121确定目标块已被帧内编码。因此，处理前往步骤S172。

在步骤S172中，帧内预测单元121获取帧内预测模式信息。

在步骤S173中，从帧存储器119读取所需用于处理的图像。此外，帧内预测单元121根据在步骤S172中获取的帧内预测模式信息执行帧内预测并且生成预测图像。随后，处理完成。

然而，如果在步骤S171中，确定目标块仍未被帧内编码，则处理前往步骤S174。在该情况中，由于将被处理的图像是将进行帧间处理的图像，因此从帧存储器119读取必要的图像并且经由开关120将其提供给运动预测/补偿单元122。

在步骤S174中，运动预测/补偿单元122确定目标块是否已使用帧间模板匹配方法编码。如果从无损解码单元112将帧间模板预测模式信息提供给运动预测/补偿单元122，则在步骤S174中运动预测/补偿单元122确定目标块已使用帧间模板匹配方法编码，并且处理前往步骤S175。

在步骤S175中，运动预测/补偿单元122从无损解码单元112获取模板方法信息并且将模板方法信息提供给帧间TP运动预测/补偿单元123。在步骤S176中，帧间TP运动预测/补偿单元123使用帧间模板匹配方法搜索运动矢量。

在步骤S177中，帧间TP运动预测/补偿单元123确定目标块是否已使用帧间模板加权预测方法编码。如果从无损解码单元112获取的模板方法信息指示帧间模板加权预测方法被用作运动预测/补偿方法，则在步骤S177中，帧间TP运动预测/补偿单元123确定目标块已使用帧间模板加权预测方法编码。因此，处理前往步骤S178。

在步骤S178中，帧间TP运动预测/补偿单元123确定显性加权预测是否被用作帧间模板加权预测方法中的加权预测。如果从无损解码单元112获取的模板方法信息指示显性加权预测是否被用作加权预测，则在步骤S178中确定显性加权预测被用作加权预测。因此，处理前往步骤S179。

在步骤S179中，帧间TP运动预测/补偿单元123获取从无损解码单元112经由运动预测/补偿单元122提供的加权系数和偏移值。在步骤S180中，帧间TP运动预测/补偿单元123使用在步骤S179中获取的加权系数和偏移值、对应于在步骤S176中搜索的运动矢量的图像以及上述式(1)或(2)来生成预测图像。随后，处理完成。

然而，如果从无损解码单元112获取的模板方法信息指示隐性加权预测被用作加权预测，则在步骤S178中确定显性加权预测未被用作加权预测。因此，处理前往步骤S181。

在步骤S181中，加权系数计算单元124使用上述式(37)或者式(41)和(42)计算加权系数。注意，如果将进行帧间预测的图像是P图片，则加权系数计算单元77可以使用上述式(39)计算偏移值。

在步骤S182中，帧间TP运动预测/补偿单元123使用步骤S181中计算出的加权系数和上述式(38)或(43)来生成预测图像。注意，如果加权系数计算单元77计算了偏移值，则帧间TP运动预测/补偿单元123使用上述式(40)生成预测图像。随后，处理完成。

然而，如果从无损解码单元112获取的模板方法信息指示帧间模板方法被用作运动预测/补偿方法，则在步骤S177中确定目标块仍未使用帧间模板加权预测方法编码。因此，处理前往步骤S183。

在步骤S183中，帧间TP运动预测/补偿单元123基于在步骤S176中搜索的运动矢量来生成预测图像。

此外，如果从无损解码单元112将帧间预测模式信息提供给运动预测/补偿单元122，则在步骤S174中确定目标块仍未使用帧间模板匹配方法编码。因此处理前往步骤S184。

在步骤S184中，运动预测/补偿单元122从无损解码单元112获取帧间预测模式信息、参考帧信息和运动矢量信息。

在步骤S185中，运动预测/补偿单元122基于在步骤S184中获取的帧间预测模式信息、参考帧信息和运动矢量信息执行帧间预测模式中的运动预测。

这样，执行了预测处理。

如上文所述，根据本发明，在图像编码装置和图像解码装置中，使用帧间模板匹配方法对将进行帧间预测的图像执行运动预测，其中使用解码图像执行运动搜索。因此，可以在不发送运动矢量信息的情况下显示具有出色的图像质量的图像。

尽管参照具有16×16个像素的尺寸的宏块进行了以上描述，但是本发明可以被应用于在″Video Coding Using Extended Block Sizes″，VCEG-AD09，ITU-Telecommunications Standardization Sector STUDY GROUP Question 16-Contribution 123，Jan 2009中描述的扩展宏块尺寸。

图27图示了扩展宏块尺寸的示例。在以上描述中，宏块尺寸可以被扩展为32×32个像素的尺寸。

在图27的上部分中，从左起示出了具有32×32个像素的尺寸并且被分为具有32×32个像素、32×16个像素、16×32个像素和16×16个像素的尺寸的块(分区)的宏块。在图27的中间部分中，从左起示出了具有16×16个像素的尺寸并且被分为具有16×16个像素、16×8个像素、8×16个像素和8×8个像素的尺寸的块的宏块。在图27的下部分中，从左起示出了具有8×8个像素的尺寸并且被分为具有8×8个像素、8×4个像素、4×8个像素和4×4个像素的尺寸的块的宏块。

就是说，可以使用图27的上部分中示出的具有32×32个像素、32×16个像素、16×32个像素和16×16个像素的尺寸的块来处理具有32×32个像素的尺寸的宏块。

此外，如H.264/AVC标准中的那样，可以使用中间部分中示出的具有16×16个像素、16×8个像素、8×16个像素和8×8个像素的尺寸的块来处理上部分中的右边示出的具有16×16个像素的尺寸的块。

此外，如H.264/AVC标准中的那样，可以使用下部分中示出的具有8×8个像素、8×4个像素、4×8个像素和4×4个像素的尺寸的块来处理中间部分中的右边示出的具有8×8个像素的尺寸的块。

在扩展宏块尺寸方面，通过使用这种层结构，对于具有小于或等于16×16个像素的尺寸的块，具有较大尺寸的块可以被定义为块的超集，同时维持与H.264/AVC标准的兼容性。

这样，本发明可以应用于所提出的扩展宏块尺寸。

尽管参照H.264/AVC标准作为编码/解码方法进行了以上描述，但是本发明可应用于使用另一编码/解码方法的图像编码装置和图像解码装置，其中基于另一块尺寸执行运动预测/补偿处理。

此外，本发明可应用于如下图像编码装置和图像解码装置：用于经由诸如卫星广播、有线TV(电视)、互联网或蜂窝电话的网络介质接收通过正交变换(例如，离散余弦变换)和如MPEG或H.26x标准中的运动补偿而压缩的图像信息(位流)或者在诸如光盘或磁盘或者闪速存储器的存储介质中处理图像信息。

上述系列处理不仅可由硬件执行而且还可由软件执行。当上述系列处理由软件执行时，将软件程序从程序记录介质安装到被并入专用硬件的计算机或者可以通过在其中安装多种程序来执行多种功能的计算机(例如，通用个人计算机)中。

记录将安装在计算机中的计算机可执行程序的程序记录介质的示例包括磁盘(包括软盘)、光盘(包括CD-ROM(致密盘-只读存储器)、DVD(数字多用途光谱)和磁光盘)、作为由半导体存储器形成的成套介质的可拆卸介质、以及临时或永久存储程序的ROM和硬盘。按照需要使用诸如局域网、互联网或数字卫星广播的有线或无线通信介质将程序记录在程序记录介质中。

在本说明书中，描述程序的步骤不仅包括以上述时间系列顺序执行的处理，而且还包括可以并行地或独立地执行的处理。

此外，本发明的实施例不限于上述实施例。在不偏离本发明的精神的情况下可以进行各种修改。

例如，上述图像编码装置51和图像解码装置101可应用于任何电子装置。下文描述了应用的示例。

图28是使用根据本发明的图像解码装置的电视接收器的主要配置的示例的框图。

如图28中所示，电视接收器300包括地面广播调谐器313、视频解码器315、视频信号处理电路318、图形生成电路319、面板驱动电路320和显示面板321。

地面广播调谐器313经由天线接收模拟地面广播的广播信号，对广播信号解调，获取视频信号，并且将视频信号提供给视频解码器315。视频解码器315对从地面广播调谐器313提供的视频信号执行解码处理并且将得到的数字分量信号提供给视频信号处理电路318。

视频信号处理电路318对从视频解码器315提供的视频数据执行诸如噪声移除的预定处理。随后，视频信号处理电路318将得到的视频数据提供给图形生成电路319。

图形生成电路319生成例如，关于显示在显示面板321上的电视节目的视频数据以及通过经由网络提供的应用所执行的处理生成的图像数据。随后，图形生成电路319将生成的视频数据和图像数据提供给面板驱动电路320。此外，图形生成电路319生成用于显示由选择菜单项目的用户使用的屏幕的视频数据(图形)。图形生成电路319使视频数据覆盖电视节目的视频数据。因此，图形生成电路319按照需要将得到的视频数据提供给面板驱动电路320。

面板驱动电路320基于从图形生成电路319提供的数据驱动显示面板321。因此，面板驱动电路320使显示面板321在其上显示电视节目的视频和多种类型的屏幕。

显示面板321包括例如LCD(液晶显示器)。显示面板321在面板驱动电路320的控制下显示例如电视节目的视频。

电视接收器300进一步包括声音A/D(模拟/数字)转换电路314、声音信号处理电路322、回声消除/声音合成电路323、声音放大电路324和扬声器325。

地面广播调谐器313对接收到的广播信号解调。因此，除了视频信号，地面广播调谐器313还获取声音信号。地面广播调谐器313将获取的声音信号提供给声音A/D转换电路314。

声音A/D转换电路314对从地面广播调谐器313提供的声音信号执行A/D转换处理。随后，声音A/D转换电路314将得到的数字声音信号提供给声音信号处理电路322。

声音信号处理电路322对从声音A/D转换电路314提供的声音数据执行诸如噪声移除的预定处理并且将得到的声音数据提供给回声消除/声音合成电路323。

回声消除/声音合成电路323将从声音信号处理电路322提供的声音数据提供给声音放大电路324。

声音放大电路324对从回声消除/声音合成电路323提供的声音数据执行D/A转换处理和放大处理。在声音数据具有预定音量之后，声音放大电路324从扬声器325输出声音。

电视接收器300进一步包括数字调谐器316和MPEG解码器317。

数字调谐器316经由天线接收数字广播(地面数字广播和BS(广播卫星)/CS(通信卫星)数字广播)的广播信号并且对广播信号解调。因此，数字调谐器316获取MPEG-TS(移动图片专家组-输送流)并且将MPEG-TS提供给MPEG解码器317。

MPEG解码器317对从数字调谐器316提供的MPEG-TS解扰并且提取包括将被重现(观看)的电视节目数据的流。MPEG解码器317对所提取的流的声音分组解码并且将得到的声音数据提供给声音信号处理电路322。此外，MPEG解码器317对流的视频分组解码并且将得到的视频数据提供给视频信号处理电路318。此外，MPEG解码器317将从MPEG-TS提取的EPG(电子节目指南)数据经由路径(未示出)提供给中央处理单元(CPU)332。

电视接收器300使用上述图像解码装置101作为以该方式对视频分组解码的MPEG解码器317。因此，如同图像解码装置101，MPEG解码器317计算隐性加权预测的加权系数。因此，即使当POC不基于相等的间隔时，仍可以在不受POC影响的情况下计算适当的加权系数。结果，可以防止编码效率的降低。此外，由于加权系数是针对每个模板匹配块独立计算的，因此可以基于图像的局部特性执行加权预测。

如同从视频解码器315提供的视频数据，从MPEG解码器317提供的视频数据经历视频信号处理电路318中的预定处理。随后，按照需要使经历预定处理的视频数据覆盖在图形生成电路319中生成的视频数据上。经由面板驱动电路320将视频数据提供给显示面板321，并且显示基于视频数据的图像。

如同从声音A/D转换电路314提供的声音数据，从MPEG解码器317提供的声音数据经历声音信号处理电路322中的预定处理。随后，经历预定处理的声音数据被经由回声消除/声音合成电路323提供给声音放大电路324并且经历D/A转换处理和放大处理。结果，从扬声器325输出被控制为具有预定音量的声音。

电视接收器300进一步包括麦克风326和A/D转换电路327。

A/D转换电路327从在电视接收器300中提供的麦克风326接收用于语音会话的用户语音信号输入。A/D转换电路327对接收到的语音信号执行A/D转换处理并且将得到的数字语音数据提供给回声消除/声音合成电路323。

当从A/D转换电路327提供电视接收器300的用户(用户A)的语音数据时，回声消除/声音合成电路323对用户A的语音数据执行回声消除。在回声消除完成之后，回声消除/声音合成电路323使语音数据与其他声音数据合成。随后，回声消除/声音合成电路323经由声音放大电路324从扬声器325输出得到的声音数据。

电视接收器300仍进一步包括声音编解码器328、内部总线329、SDRAM(同步动态随机存取存储器)330、闪速存储器331、CPU 332、USB(通用串行总线)接口(I/F)333和网络I/F 334。

A/D转换电路327从在电视接收器300中提供的麦克风326接收用于语音会话的用户语音信号输入。A/D转换电路327对接收到的语音信号执行A/D转换处理并且将得到的数字语音数据提供给声音编解码器328。

声音编解码器328将从A/D转换电路327提供的声音数据转换为具有预定格式的数据以便于经由网络发送声音数据。声音编解码器328经由内部总线329将声音数据提供给网络I/F 334。

网络I/F 334经由附着到网络端子335的线缆连接到网络。例如，网络I/F 334将从声音编解码器328提供的声音数据发送到连接到网络的不同装置。此外，例如，网络I/F 334经由网络端子335接收从连接到网络的不同装置发送的声音数据并且经由内部总线329将接收到的声音数据提供给声音编解码器328。

声音编解码器328将从网络I/F 334提供的声音数据转换为具有预定格式的数据。声音编解码器328将声音数据提供给回声消除/声音合成电路323。

回声消除/声音合成电路323对从声音编解码器328提供的声音数据执行回声消除。随后，回声消除/声音合成电路323使声音数据与其他声音数据合成并且经由声音放大电路324从扬声器325输出得到的声音数据。

SDRAM 330尺寸CPU 332执行处理所需要的多种类型的数据。

闪速存储器331存储由CPU 332执行的程序。闪速存储器331中存储的程序由CPU 332按预定的时序(诸如在电视接收器300开机时)读出。闪速存储器331进一步存储通过数字广播接收到的EPG数据和经由网络从预定的服务器接收到的数据。

例如，闪速存储器331存储包括在CPU 332的控制下经由网络从预定的服务器获取的内容数据的MPEG-TS。闪速存储器在例如CPU 332的控制下经由内部总线329将MPEG-TS提供给MPEG解码器317。

如在从数字调谐器316提供的MPEG-TS的情况中的那样，MPEG解码器317处理MPEG-TS。这样，电视接收器300经由网络接收包括视频和声音的内容数据并且使用MPEG解码器317对内容数据解码。随后，电视接收器300可以显示视频并且输出声音。

电视接收器300仍进一步包括光接收单元337，其接收从远程控制器351传送的红外信号。

光接收单元337接收从远程控制器351发射的红外光束并且对该红外光束解调。随后，光接收单元337向CPU 332输出控制码，该控制码通过解调接收并且指示用户操作的类型。

CPU 332执行闪速存储器331中存储的程序并且根据例如，从光接收单元337提供的控制码执行电视接收器300的整体控制。CPU 332经由路径(未示出)连接到电视接收器300的每个单元。

USB I/F 333经由附着到USB端子336的USB线缆与连接到电视接收器300的外部设备传递数据。网络I/F 334经由附着到网络端子335的线缆连接到网络并且还与连接到网络的多种类型的设备传递非声音数据。

通过使用图像解码装置101作为MPEG解码器317，电视接收器300可以基于图像的局部特性执行加权预测。结果，电视接收器300可以从经由天线接收到的广播信号或者经由网络接收到的内容数据获取较高分辨率的解码图像并且显示该解码图像。

图29是使用根据本发明的图像编码装置和图像解码装置的蜂窝电话的主要配置的示例的框图。

如图29中所示，蜂窝电话400包括执行蜂窝电话400的各单元的整体控制的主控制单元450、电源电路单元451、操作输入控制单元452、图像编码器453、相机I/F单元454、LCD控制单元455、图像解码器456、复用器/解复用器单元457、记录和重现单元462、调制和解调电路单元458和声音编解码器459。这些单元经由总线460彼此连接。

蜂窝电话400进一步包括操作按键419、CCD(电荷耦合器件)相机416、液晶显示器418、存储单元423、传送和接收电路单元463、天线414、麦克风(MIC)421和扬声器417。

当通过用户操作执行呼叫结束或者打开电源按键时，电源电路单元451从电池组向每个单元提供电力。因此，蜂窝电话400变得可操作。

在包括CPU、ROM和RAM的主控制单元450的控制下，蜂窝电话400执行诸如语音通信模式和数据通信模式的多种模式中的多种操作，诸如传送和接收语音信号、传送和接收电子邮件和图像数据、图像拍摄和数据记录。

例如，在语音通信模式中，蜂窝电话400使用声音编解码器459将由麦克风(MIC)421收集的语音信号转换为数字语音数据。随后，蜂窝电话400使用调制和解调电路单元458对数字语音数据执行扩谱处理并且使用传送和接收电路单元463对数字语音数据执行数模转换处理和频率转换处理。蜂窝电话400经由天线414将通过转换处理获得的传送信号传送到基站(未示出)。经由公共电话网络将传送到基站的传送信号(语音信号)提供给通信对方的蜂窝电话。

此外，例如，在语音通信模式中，蜂窝电话400使用传送和接收电路单元463放大由天线414接收到的接收信号并且对接收信号进一步执行频率转换处理和模数转换处理。蜂窝电话400进一步使用调制和解调电路单元458对接收信号执行逆扩谱处理并且使用声音编解码器459将接收信号转换为模拟语音信号。随后，蜂窝电话400从扬声器417输出经转换的模拟语音信号。

此外，例如，在数据通信模式中发送电子邮件时，蜂窝电话400接收通过使用操作输入控制单元452的操作按键419的操作而输入的电子邮件的文本数据。随后，蜂窝电话400使用主控制单元450处理文本数据并且经由LCD控制单元455以图像形式将文本数据显示在液晶显示器418上。

此外，蜂窝电话400基于操作输入控制单元452接收到的文本数据和用户指令使用主控制单元450生成电子邮件数据。随后，蜂窝电话400使用调制和解调电路单元458对电子邮件数据执行扩谱处理并且使用传送和接收电路单元463执行数模转换处理和频率转换处理。蜂窝电话400经由天线414将通过转换处理获得的传送信号传送到基站(未示出)。经由网络和邮件服务器将传送到基站的传送信号(电子邮件)提供给预定地址。

此外，例如，为了在数据通信模式中接收电子邮件，蜂窝电话400使用传送和接收电路单元463经由天线414接收从基站传送的信号，放大该信号，并且进一步对该信号执行频率转换处理和模数转换处理。蜂窝电话400对接收信号执行逆扩谱处理并且使用调制和解调电路单元458恢复原始电子邮件数据。蜂窝电话400经由LCD控制单元455使恢复的电子邮件数据显示在液晶显示器418上。

此外，蜂窝电话400可以经由记录和重现单元462将接收到的电子邮件数据记录(存储)在存储单元423中。

存储单元423可以由任何可重写存储介质形成。例如，存储单元423可以由诸如随机存取存储器(RAM)或内部闪速存储器的半导体存储器、硬盘或者诸如磁盘、磁光盘、光盘、USB存储器或存储器卡的可拆卸存储器形成。然而，应认识到，可以使用另一类型的存储介质。

此外，为了在数据通信模式中传送图像数据，蜂窝电话400通过CCD相机416执行的图像拍摄操作生成图像数据。CCD相机416包括光学设备，诸如透镜和光圈，以及用作光电转换元件的CCD。CCD相机416拍摄物体的图像，将接收到的光强度转换为电信号，并且生成物体图像的图像数据。CCD相机416经由相机I/F单元454将图像数据提供给图像编码器453。图像编码器453使用诸如MPEG2或MPEG4的预定编码标准对图像数据进行压缩编码，并且将图像数据转换为编码图像数据。

蜂窝电话400使用上述图像编码装置51作为执行该处理的图像编码器453。因此，如同图像编码装置51，图像编码器453计算隐性加权预测的加权系数。因此，即使当POC不基于相等的间隔时，仍可以在不受POC影响的情况下计算适当的加权系数。结果，可以防止编码效率的降低。此外，由于加权系数是针对每个模板匹配块独立计算的，因此可以基于图像的局部特性执行加权预测。

注意，同时，蜂窝电话400使用声音编解码器459对在CCD1416执行的图像拍摄操作期间由麦克风(MIC)421收集的声音进行模数转换并且进一步执行编码处理。

蜂窝电话400使用复用器/解复用器单元457，使用预定技术使从图像编码器453提供的编码图像数据与从声音编解码器459提供的数字声音数据复用。蜂窝电话400使用调制和解调电路单元458对得到的复用数据执行扩谱处理并且使用传送和接收电路单元463执行数模转换处理和频率转换处理。蜂窝电话400经由天线414将通过转换处理获得的传送信号传送到基站(未示出)。传送到基站的传送信号(图像数据)经由例如网络被提供给通信对方。

注意，如果图像数据未被传送，则蜂窝电话400可以在不使用图像编码器453的情况下经由LCD控制单元455在液晶显示器418上显示由CCD相机416生成的图像数据。

此外，例如，为了在数据通信模式中接收链接到例如简化Web页面的移动图像文件的数据，蜂窝电话400使用传送和接收电路单元463经由天线414接收从基站传送的信号，放大该信号，并且进一步对该信号执行频率转换处理和数模转换处理。蜂窝电话400使用调制和解调电路单元458对接收信号执行逆扩谱处理并且恢复原始复用数据。蜂窝电话400使用复用器/解复用器单元457将复用数据解复用为编码图像数据和声音数据。

通过使用对应于诸如MPEG2或MPEG4的预定编码标准的解码技术在图像解码器456中对编码图像数据解码，蜂窝电话400可以生成重现图像数据并且经由LCD控制单元455将重现图像数据显示在液晶显示器418上。因此，例如，链接到简化Web页面的移动图像文件中包括的移动图像数据可以显示在液晶显示器418上。

蜂窝电话400使用上述图像解码装置101作为执行该处理的图像解码器456。因此，如同图像解码装置101，图像解码器456计算隐性加权预测的加权系数。因此，即使当POC不基于相等的间隔时，仍可以在不受POC影响的情况下计算适当的加权系数。结果，可以防止编码效率的降低。此外，由于加权系数是针对每个模板匹配块独立计算的，因此可以基于图像的局部特性执行加权预测。

同时，蜂窝电话400使用声音编解码器459将数字声音数据转换为模拟声音信号并且从扬声器417输出模拟声音信号。这样，例如，可以重现链接到简化Web页面的移动图像文件中包括的声音数据。

应当注意，如在电子邮件的情况中的那样，蜂窝电话400可以经由记录和重现单元462将链接到例如简化Web页面的数据记录(存储)在存储单元423中。

此外，蜂窝电话400可以使用主控制单元450分析通过CCD相机416执行的图像拍摄操作获得的二维码并且获取被记录为二维码的信息。

此外，蜂窝电话400可以使用红外通信单元481和红外光与外部设备通信。

通过使用图像编码装置51作为图像编码器453，蜂窝电话400可以提高用于对例如CCD相机416生成的图像数据编码和生成编码数据的编码效率。结果，蜂窝电话400可以向另一装置提供具有出色的编码效率的编码数据(图像数据)。

此外，通过使用图像解码装置101作为图像解码器456，蜂窝电话400可以生成高精度预测图像。结果，蜂窝电话400可以从链接到简化Web页面的移动图像文件获取较高分辨率的解码图像并且显示较高分辨率的解码图像。

注意，尽管参照使用CCD相机416的蜂窝电话400进行了以上描述，但是使用CMOS(互补金属氧化物半导体)的图像传感器(即CMOS图像传感器)可以用于替代CCD相机416。即使在该情况中，如在使用CCD相机416的情况中的那样，蜂窝电话400可以拍摄物体图像并且生成物体图像的图像数据。

此外，尽管参照蜂窝电话400进行了以上描述，但是对于蜂窝电话400，图像编码装置51和图像解码装置101可以应用于具有与蜂窝电话400相似的图像拍摄功能和通信功能的任何装置，诸如PDA(个人数字助理)、智能电话、UMPC(超级移动个人计算机)、上网本或膝上型个人计算机。

图30是使用根据本发明的图像编码装置和图像解码装置的硬盘记录器的主要配置的示例的框图。

如图30中所示，硬盘记录器(HDD记录器)500在内部硬盘中存储从例如卫星或地面天线发射的并且由调谐器接收的广播信号中包括的广播节目(电视节目)的音频数据和视频数据。随后，硬盘记录器500按用户指令的时序将存储的数据提供给用户。

硬盘记录器500可以从例如广播信号提取音频数据和视频数据，按照需要对数据解码，并且将数据存储在内部硬盘中。此外，硬盘记录器500可以经由例如网络从另一装置获取音频数据和视频数据，按照需要对数据解码，并且将数据存储在内部硬盘中。

此外，硬盘记录器500可以对存储在例如内部硬盘中的音频数据和视频数据解码并且将解码的音频数据和视频数据提供给监视器560。因此，图像可以显示在监视器560的屏幕上。此外，硬盘记录器500可以从监视器560的扬声器输出声音。

例如，硬盘记录器500对从经由调谐器接收到的广播信号中提取的音频数据和视频数据或者经由网络从另一装置获取的音频数据和视频数据进行解码。随后，硬盘记录器500将解码的音频数据和视频数据提供给监视器560，监视器560将视频数据的图像显示在监视器560的屏幕上。此外，硬盘记录器500可以从监视器560的扬声器输出声音。

应认识到，硬盘记录器500可以执行其他操作。

如图30中所示，硬盘记录器500包括接收单元521、解调单元522、解复用器523、音频解码器524、视频解码器525和记录器控制单元526。硬盘记录器500进一步包括EPG数据存储器527、程序存储器528、工作存储器529、显示转换器530、OSD(屏幕上显示)控制单元531、显示控制单元532、记录和重现单元533、D/A转换器534和通信单元535。

此外，显示转换器530包括视频编码器541。记录和重现单元533包括编码器551和解码器552。

接收单元521接收从远程控制器(未示出)传送的红外信号并且将红外信号转换为电信号。随后，接收单元521将电信号输出到记录器控制单元526。记录器控制单元526由例如微处理器形成。记录器控制单元526根据程序存储器528中存储的程序执行多种处理。此时，记录器控制单元526按照需要使用工作存储器529。

通信单元535连接到网络并且经由网络执行与其连接的另一装置的通信处理。例如，通信单元535由记录器控制单元526控制并且与调谐器(未示出)通信。通信单元535主要向调谐器输出频道选择控制信号。

解调单元522对从调谐器提供的信号解调并且将解调信号输出到解复用器523。解复用器523将从解调单元522提供的数据解复用为音频数据、视频数据和EPG数据并且将这些数据项分别输出到音频解码器524、视频解码器525和记录器控制单元526。

音频解码器524使用例如MPEG标准对输入的音频数据解码并且将解码的音频数据输出到记录和重现单元533。视频解码器525使用例如MPEG标准对输入的视频数据解码并且将解码的视频数据输出到显示转换器530。记录器控制单元526将输入EPG数据提供给EPG数据存储器527，其存储EPG数据。

显示转换器530使用视频编码器541将从视频解码器525或记录器控制单元526提供的视频数据编码为例如NTSC(全国电视标准委员会)视频数据，并且将编码的视频数据输出到记录和重现单元533。此外，显示转换器530将关于从视频解码器525或记录器控制单元526提供的视频数据的屏幕尺寸转换为对应于监视器560的尺寸的尺寸。显示转换器530进一步使用视频编码器541将具有经转换的屏幕尺寸的视频数据转换为NTSC视频数据并且将视频数据转换为模拟信号。随后，显示转换器530将模拟信号输出到显示控制单元532。

在记录器控制单元526的控制下，显示控制单元532使从OSD(屏幕上显示)控制单元531输出的OSD信号覆盖在从显示转换器530输入的视频信号上并且将覆盖的信号输出到显示图像的监视器560。

此外，从音频解码器524输出的音频数据由D/A转换器534转换为模拟信号并且被提供给监视器560。监视器560从并入其中的扬声器输出音频信号。

记录和重现单元533包括用于记录视频数据和音频数据的用作存储介质的硬盘。

例如，记录和重现单元533使用编码器551对从音频解码器524提供的音频数据进行MPEG编码。此外，记录和重现单元533使用编码器551对从显示转换器530的视频编码器541提供的视频数据进行MPEG编码。记录和重现单元533使用复用器使编码音频数据与编码视频数据复用以便于合成数据。记录和重现单元533通过频道编码来放大合成数据并且经由记录头将该数据写到硬盘中。

记录和重现单元533经由重现头重现硬盘中记录的数据，放大该数据，并且使用解复用器将该数据分离为音频数据和视频数据。记录和重现单元533使用解码器552对音频数据和视频数据进行MPEG解码。记录和重现单元533对解码的音频数据进行D/A转换并且将经转换的音频数据输出到监视器560的扬声器。此外，记录和重现单元533对解码的视频数据进行D/A转换并且将经转换的视频数据输出到监视器560的显示器。

记录器控制单元526响应于由从远程控制器发射的红外信号指示的并且经由接收单元521接收的用户指令来从EPG数据存储器527读取最近的EPG数据。随后，记录器控制单元526将EPG数据提供给OSD控制单元531。OSD控制单元531生成对应于输入EPG数据的图像数据并且将该图像数据输出到显示控制单元532。显示控制单元532将从OSD控制单元531输入的视频数据输出到显示视频数据的监视器560的显示器。这样，EPG(电子节目指南)被显示在监视器560的显示器上。

此外，硬盘记录器500可以经由诸如互联网的网络获取从不同装置提供的诸如视频数据、音频数据或EPG数据的多种类型的数据。

通信单元535由记录器控制单元526控制。通信单元535经由网络获取从不同装置传送的诸如视频数据、音频数据和EPG数据的编码数据并且将这些编码数据提供给记录器控制单元526。记录器控制单元526将例如所获取的编码的视频数据和音频数据提供给记录和重现单元533，其将这些数据存储在硬盘中。此时，记录器控制单元526以及记录和重现单元533可以按照需要对数据重新编码。

此外，记录器控制单元526对所获取的编码的视频数据和音频数据解码并且将得到的视频数据提供给显示转换器530。按照与从视频解码器525提供的视频数据相同的方式，显示转换器530处理从记录器控制单元526提供的视频数据并且经由显示控制单元532将该视频数据提供给监视器560，从而图像被显示。

此外，在显示图像的同时，记录器控制单元526可以经由D/A转换器534将解码的音频数据提供给监视器560并且从扬声器输出声音。

此外，记录器控制单元526对所获取的编码的EPG数据解码并且将解码的EPG数据提供给EPG数据存储器527。

上述硬盘记录器500使用图像解码装置101作为视频解码器525、解码器552和记录器控制单元526中包括的每个解码器。因此，如同图像解码装置101，视频解码器525、解码器552和记录器控制单元526中的每个中包括的解码器计算隐性加权预测的加权系数。因此，即使当POC不基于相等的间隔时，仍可以在不受POC影响的情况下计算适当的加权系数。结果，可以防止编码效率的降低。此外，由于加权系数是针对每个模板匹配块独立计算的，因此可以基于图像的局部特性执行加权预测。

因此，硬盘记录器500可以生成高精度预测图像。结果，硬盘记录器500可以从经由调谐器接收的编码视频数据、从记录和重现单元533的硬盘读取的编码视频数据、或者经由网络获取的编码视频数据中获取较高分辨率的解码图像，并且将较高分辨率的解码图像显示在监视器560上。

此外，硬盘记录器500使用图像编码装置51作为编码器551。因此，如同图像编码装置51，编码器551计算隐性加权预测的加权系数。因此，即使当POC不基于相等的间隔时，仍可以在不受POC影响的情况下计算适当的加权系数。结果，可以防止编码效率的降低。此外，由于加权系数是针对每个模板匹配块独立计算的，因此可以基于图像的局部特性执行加权预测。

因此，例如，硬盘记录器500可以提高硬盘中存储的编码数据的编码效率。结果，硬盘记录器500可以更高效地使用硬盘的存储区域。

注意，尽管参照将视频数据和音频数据记录在硬盘中的硬盘记录器500进行了以上描述，但是应认识到，可以使用任何记录介质。例如，如同上述硬盘记录器500，图像编码装置51和图像解码装置101甚至可以被应用于使用除了硬盘以外的记录介质(例如，闪速存储器、光盘或视频带)的记录器。

图31是使用根据本发明的图像解码装置和图像编码装置的相机的主要配置的示例的框图。

图31中示出的相机600拍摄物体的图像并且指令LCD 616在其上显示物体的图像或者将图像以图像数据的形式存储在记录介质633中。

透镜块611使光(即物体的视频)入射在CCD/CMOS 612上。CCD/CMOS 612是使用CCD或CMOS的图像传感器。CCD/CMOS 612将接收到的光强度转换为电信号并且将电信号提供给相机信号处理单元613。

相机信号处理单元613将从CCD/CMOS 612提供的电信号转换为Y、Cr、Cb色差信号并且将这些色差信号提供给图像信号处理单元614。在控制器621的控制下，图像信号处理单元614对从相机信号处理单元613提供的图像信号执行预定的图像处理或者使用编码器641和例如MPEG标准对图像信号编码。图像信号处理单元614将通过对图像信号编码生成的编码数据提供给解码器615。此外，图像信号处理单元614获取由屏幕上显示(OSD)620生成的显示数据并且将显示数据提供给解码器615。

在上述处理中，相机信号处理单元613按照需要使用经由总线617与其连接的DRAM(动态随机存取存储器)618并且按照需要在DRAM618中存储通过对图像数据编码获得的编码数据。

解码器615对从图像信号处理单元614提供的编码数据解码并且将得到的图像数据(解码图像数据)提供给LCD 616。此外，解码器615将从图像信号处理单元614提供的显示数据提供给LCD 616。LCD 616按照需要使从解码器615提供的解码图像数据的图像与显示数据的图像组合并且显示组合图像。

在控制器621的控制下，屏幕上显示620经由总线617向图像信号处理单元614输出显示数据，诸如包括符号、字符或者图形和图标的菜单屏幕。

控制器621基于指示通过操作单元622输入的用户指令的信号执行多种类型的处理并且经由总线617控制图像信号处理单元614、DRAM 618、外部接口619、屏幕上显示620和介质驱动器623。闪速ROM 624存储控制器621执行多种类型的处理所需的程序和数据。

例如，控制器621可以替代图像信号处理单元614和解码器615对DRAM 618中存储的图像数据编码并且对DRAM 618中存储的编码数据解码。此时，控制器621可以使用图像信号处理单元614和解码器615使用的编码/解码方法来执行编码/解码处理。可替选地，控制器621可以使用与图像信号处理单元614和解码器615使用的编码/解码方法不同的编码/解码方法来执行编码/解码处理。

此外，例如，当从操作单元622指令打印图像时，控制器621从DRAM618读取编码数据并且经由总线617将编码数据提供给连接到外部接口619的打印机634。因此，图像数据被打印。

此外，例如，当从操作单元622指令记录图像时，控制器621从DRAM618读取编码数据并且经由总线617将编码数据提供给安装在介质驱动器623中的记录介质633。因此，图像数据被存储在记录介质633中。

记录介质633的示例包括可读和可写的可拆卸介质，诸如磁盘、磁光盘、光盘和半导体存储器。应认识到，记录介质633具有任何可拆卸介质类型，诸如带设备、盘或者存储器卡。可替选地，记录介质633可以是非接触(集成电路)IC卡。

可替选地，介质驱动器623可以集成到记录介质633中。例如，如同内部硬盘驱动器或者SSD(固态驱动器)，不可拆卸存储介质可以用作介质驱动器623和记录介质633。

外部接口619由例如USB输入/输出端子形成。当打印图像时，外部接口619连接到打印机634。此外，驱动器631按照需要连接到外部接口619。因此，按照需要安装诸如磁盘、光盘或磁光盘的可拆卸介质632。从可拆卸介质632读取的计算机程序按照需要被安装在闪速ROM 624中。

此外，外部接口619包括连接到诸如局域网(LAN)或互联网的预定网络的网络接口。例如，响应于从操作单元622接收到的指令，控制器621可以从DRAM 618读取编码数据并且将编码数据从外部接口619提供给经由网络与其连接到的另一装置。此外，控制器621可以使用外部接口619经由网络获取从另一装置提供的编码数据和图像数据并且将数据存储在DRAM 618中或者将数据提供给图像信号处理单元614。

上述相机600使用图像解码装置101作为解码器615，因此，如同图像解码装置101，解码器615计算隐性加权预测的加权系数。因此，即使当POC不基于相等的间隔时，仍可以在不受POC影响的情况下计算适当的加权系数。结果，可以防止编码效率的降低。此外，由于加权系数是针对每个模板匹配块独立计算的，因此可以基于图像的局部特性执行加权预测。

因此，相机600可以生成高精度预测图像。结果，相机600可以从例如CCD/CMOS 612生成的图像数据、从DRAM 618读取的视频数据的编码数据、或者经由网络接收的视频数据的编码数据获取较高分辨率的解码图像，并且将解码图像显示在LCD 616上。

此外，相机600使用图像编码装置51作为编码器641，因此，如同图像编码装置51，编码器641计算隐性加权预测的加权系数。因此，即使当POC不基于相等的间隔时，仍可以在不受POC影响的情况下计算适当的加权系数。结果，可以防止编码效率的降低。此外，由于加权系数是针对每个模板匹配块独立计算的，因此可以基于图像的局部特性执行加权预测。

因此，例如，相机600可以提高硬盘中存储的编码数据的编码效率。结果，相机600可以更高效地使用DRAM 618的存储区域和记录介质633的存储区域。

注意，图像解码装置101使用的解码技术可以应用于控制器621执行的解码处理。相似地，图像编码装置51使用的编码技术可以应用于控制器621执行的编码处理。

此外，相机600拍摄的图像数据可以是移动图像或静止图像。

应认识到，图像编码装置51和图像解码装置101可应用于不同于上述装置的装置或系统。

附图标记列表

51图像编码装置

76帧间模板运动预测/补偿单元

77加权系数计算单元

101图像解码装置

123帧间模板运动预测/补偿单元

124加权系数计算单元

Claims (15)

1.一种图像处理装置包括：

匹配部件，用于使用帧间模板匹配方法对将解码的帧的图像块执行匹配处理；以及

预测部件，用于使用所述匹配部件执行的所述匹配处理的模板的像素值执行加权预测。

2.根据权利要求1所述的图像处理装置，其中所述帧的图像是P图片，并且其中所述加权预测是隐性加权预测。

3.根据权利要求2所述的图像处理装置，其中所述预测部件使用根据所述模板的像素值计算的加权系数来执行所述加权预测。

4.根据权利要求3所述的图像处理装置，进一步包括：

计算部件，用于使用下式计算所述加权系数：

w₀＝Ave(B′)/Ave(B)

其中Ave(B)表示所述模板的像素值的平均值，Ave(B′)表示参考模板的像素值的平均值，所述参考模板是用作匹配用的参考的参考帧的图像区域并且具有与所述模板最高的相关性，并且w₀表示所述加权系数；

其中所述预测部件使用所述加权系数w₀和下式计算所述块的预测像素值：

Pred(A)＝w₀×Pix(A′)

其中Perd(A)表示所述块的预测像素值，并且Pix(A′)表示与所述参考模板具有同所述模板和所述块之间的位置关系一样的位置关系的所述参考帧的图像区域的像素值。

5.根据权利要求4所述的图像处理装置，其中所述计算部件使所述加权系数w₀近似为具有X/(2ⁿ)的形式的值。

6.根据权利要求2所述的图像处理装置，其中所述预测部件使用根据所述模板的像素值计算的偏移来执行所述加权预测。

7.根据权利要求6所述的图像处理装置，进一步包括：

计算部件，用于使用下式计算所述偏移：

d₀＝Ave(B)-Ave(B′)

其中Ave(B)表示所述模板的像素值的平均值，Ave(B′)表示参考模板的像素值的平均值，所述参考模板是用作匹配用的参考的参考帧的图像区域并且具有与所述模板最高的相关性，并且d₀表示所述偏移；

其中所述预测部件使用所述偏移d₀和下式计算所述块的预测像素值：

Pred(A)＝Pred(A′)+d₀

其中Pred(A)表示所述块的预测像素值，并且Pred(A′)表示与所述参考模板具有同所述模板和所述块之间的位置关系一样的位置关系的所述参考帧的图像区域的预测像素值。

8.根据权利要求2所述的图像处理装置，其中所述预测部件从表示所述帧的图像的P图片的报头部分提取指示隐性加权预测已作为对所述块执行编码时的所述加权预测而被执行的信息，并根据该信息执行隐性加权预测作为所述加权预测。

9.根据权利要求1所述的图像处理装置，进一步包括：

计算部件，用于根据所述模板的像素值计算用于所述加权预测的第一和第二加权系数；

其中所述计算部件使用下式计算所述第一和第二加权系数：

w₀＝|Ave_tmplt_L1-Ave_tmplt_Cur|，和

w₁＝|Ave_tmplt_L0-Ave_tmplt_Cur|

其中Ave_tmplt_Cur表示所述模板的像素值的平均值，和Ave_tmplt_L1表示第一参考模板和第二参考模板的像素值的平均值，所述第一参考模板和所述第二参考模板分别是用作匹配用的参考的第一和第二参考帧的图像区域并且具有与所述模板最高的相关性，并且w₀和w₁分别表示所述第一和第二加权系数，并且其中所述计算部件使用下式使所述第一加权系数w₀和所述第二加权系数w₁归一化：

w₀＝w₀/(w₀+w₁)，和

w₁＝w₁/(w₀+w₁)

并且其中所述预测部件使用归一化的第一加权系数w₀和第二加权系数w₁以及下式计算所述块的预测像素值：

Pred_Cur＝w₀×Pix_L0+w₁×Pix_L1

其中Pred_Cur表示所述块的预测像素值，并且Pix_L0和Pix_L1分别表示与所述第一参考模板具有同所述模板和所述块之间的位置关系一样的位置关系的所述第一参考帧的图像区域的像素值和与所述第二参考模板具有同所述模板和所述块之间的位置关系一样的位置关系的所述第二参考帧的图像区域的像素值。

10.根据权利要求9所述的图像处理装置，其中所述计算部件使所述第一加权系数w₀和所述第二加权系数w₁中的每个近似为具有X/(2ⁿ)的形式的值。

11.一种用在图像处理装置中的图像处理方法，包括如下步骤：

使用帧间模板匹配方法对将解码的帧的图像块执行匹配处理；以及

使用所述匹配处理的模板的像素值执行加权预测。

12.一种图像处理装置包括：

匹配部件，用于使用帧间模板匹配方法对将编码的帧的图像块执行匹配处理；以及

预测部件，用于使用所述匹配部件执行的所述匹配处理的模板的像素值执行加权预测。

13.根据权利要求12所述的图像处理装置，其中所述帧的图像是P图片，并且其中所述加权预测是隐性加权预测。

14.根据权利要求13所述的图像处理装置，进一步包括：

插入部件，用于针对所述块，将指示隐性加权预测已作为所述加权预测而被执行的信息插入表示所述帧的图像的P图片的报头部分。

15.一种用在图像处理装置中的图像处理方法，包括如下步骤：

使用帧间模板匹配方法对将编码的帧的图像块执行匹配处理；以及

使用所述匹配处理的模板的像素值执行加权预测。

Images