CN102077594A - 图像处理设备和方法及程序 - Google Patents

Abstract

本发明公开了一种能够改善压缩效率的图像处理设备、方法及程序。对于4×4像素的亮度块(A_Y)，由编码像素构成并且接近亮度块(A_Y)的模板区域(B_Y)用来对亮度信号执行运动预测和补偿，从而获得运动矢量信息(V_Y)。对于2×2像素的色差块(A_C)，色差帧内-TP运动预测/补偿单元以周围范围(E)作为搜索范围，使用模板区域(B_C)对色差信号(Cb)和(Cr)执行运动预测，所述模板区域(B_C)由编码的像素构成，并且接近色差块(A_C)，所述范围(E)以通过缩放运动矢量信息(V_Y)而产生的运动矢量信息(V_Y’)为中心。所述图像处理设备和方法以及所述程序可应用于例如以H.264/AVC格式编码图像的图像编码设备。

Description

图像处理设备和方法及程序

技术领域

本发明涉及一种图像处理设备和方法及程序，并且具体涉及一种其中压缩效率的劣化得到抑制的图像处理设备和方法及程序。

背景技术

近些年来，下述技术已经变得常见，其中，对图像使用诸如MPEG(运动画面专家组)2、H.264和MPEG-4第10部分(高级视频编码)(下文称为H.264/AVC)等的格式进行压缩编码、分组化和发送以及在接收侧的解码。相应地，用户可以观看高质量的运动图像。

现在，对于MPEG2格式，通过线性插值处理来执行半像素精度运动预测/补偿，但是对于H.264/AVC格式，使用6抽头FIR(有限脉冲响应滤波器)来执行四分之一像素精度运动预测/补偿。

此外，对于MPEG2格式，在帧运动补偿模式的情况下，以16×16像素增量来执行运动预测/补偿处理，并且在场运动补偿模式的情况下，对于第一场和第二场的每一个以16×8像素增量来执行运动预测/补偿处理。

另一方面，对于H.264/AVC格式，可以使用可变块大小来执行运动预测/补偿处理。即，对于H.264/AVC格式，由16×16像素配置的宏块可以被划分为16×16、16×8、8×16或8×8的任何一个的分区，每一个分区具有独立的运动矢量信息。此外，8×8的分区可以被划分为8×8、8×4、4×8或4×4的任何一个的子分区，每一个分区具有独立的运动矢量信息。

然而，对于H.264/AVC格式，使用如上所述的四分之一像素精度和可变块来执行运动预测/补偿处理，产生大量运动矢量信息，如果按原样编码则导致编码效率的劣化。

相应地，已经提出了一种方法，其中，从解码图像搜索图像区域，该图像区域以预定位置关系接近要编码的图像区域，并且也与作为解码图像的一部分的模板区域的解码图像高度相关，并且，基于与搜索到的图像的位置关系来执行预测(参见PTL1)。

这种方法使用解码图像来用于匹配，因此可以通过预定搜索范围来在编码装置和解码装置执行相同的处理。即，通过也在解码装置执行上述的运动预测/补偿处理，编码效率的劣化可得以抑制，因为不必在来自编码装置的图像压缩信息中具有运动矢量信息。

引用列表

专利文献

PTL 1：日本未审查专利申请公布No.2007-43651

发明内容

技术问题

然而，使用PTL 1中的技术，在对于亮度分量获得的运动矢量信息被应用到色差分量的情况下，关于色差分量(残差)的预测能力劣化，导致编码效率的劣化，即使不必具有运动矢量。

已经根据这种情况做出本发明，并且本发明的目的是对压缩效率的劣化进行抑制。

问题的解决方案

根据本发明的第一方面的图像处理设备包括：亮度运动预测补偿装置，用于使用第一模板来搜索作为帧的亮度信号的块的亮度块的运动矢量，所述第一模板以预定的位置关系接近所述亮度块，并且也是从解码图像产生的；色差运动预测补偿装置，用于使用由所述亮度运动预测补偿装置搜索的亮度块的运动矢量信息来获得搜索范围，并且在已经获得的所述搜索范围内使用第二模板来搜索与所述亮度块对应的、作为所述帧的色差信号的块的色差块的运动矢量，所述第二模板以预定的位置关系接近所述色差块，并且也是从所述解码图像产生的；以及，编码装置，用于对所述亮度块和所述色差块的图像进行编码。

所述色差运动预测补偿装置可根据输入图像信号的色度格式来执行由所述亮度运动预测补偿装置搜索到的所述亮度块的运动矢量信息的缩放，并且获得以已经缩放的所述亮度块的运动矢量信息为中心的所述搜索范围。

在所述亮度块和所述色差块具有一对一的相关关系的情况下，所述亮度块的运动矢量信息是(MVTM_h，MVTM_v)，r_h和r_v被定义为：

[数学表达式1]

所述色差运动预测补偿装置可获得以(MVTM_h/r_h，MVTM_v/r_v)为中心的所述搜索范围。

在单个所述色差块对应于多个所述亮度块的情况下，所述色差运动预测补偿装置可合成多个所述亮度块的运动矢量信息，根据所述色度格式来执行缩放，并且获得以已经缩放的所述亮度块的运动矢量信息为中心的所述搜索范围。

所述色差运动预测补偿装置可使用所述多个所述亮度块的运动矢量信息的平均值来执行合成。

所述色差运动预测补偿装置可获得仅关于所述亮度块的参考帧的所述搜索范围，并且使用所述第二模板在已经获得的所述搜索范围中搜索所述色差块的运动矢量。

所述色差运动预测补偿装置可获得仅关于在所述亮度块的参考帧中具有最小索引的参考帧的所述搜索范围，并且使用所述第二模板在已经获得的所述搜索范围中搜索所述色差块的运动矢量。

所述亮度块的大小和所述色差块的大小不同，并且所述第一模板的大小和所述第二模板的大小不同。

所述图像处理设备还可包括正交变换控制装置，用于在要执行的运动预测是所述色差块而不是宏块的情况下，对于所述运动预测块的直流分量禁止正交变换。

根据本发明的第一方面的图像处理方法包括图像处理设备的步骤：使用第一模板来搜索作为帧的亮度信号的块的亮度块的运动矢量，所述第一模板以预定的位置关系接近所述亮度块，并且也是从解码图像产生的；使用由所述亮度运动预测补偿装置搜索到的所述亮度块的运动矢量信息来获得搜索范围，并且在已经获得的所述搜索范围内使用第二模板来搜索与所述亮度块对应的、作为所述帧的色差信号的块的色差块的运动矢量，所述第二模板以预定的位置关系接近所述色差块，并且也是从所述解码图像产生的；以及，对所述亮度块和所述色差块的图像进行编码。

根据本发明的第二方面的图像处理设备包括：解码装置，用于对编码帧的图像进行解码，所述图像是作为亮度信号的块的亮度块和作为色差信号的块并且对应于所述亮度块的色差块；亮度运动预测补偿装置，用于使用第一模板来搜索所述亮度块的运动矢量，所述第一模板以预定的位置关系接近所述亮度块，并且也是从解码图像产生的；以及，色差运动预测补偿装置，用于使用由所述亮度运动预测补偿装置搜索到的所述亮度块的运动矢量信息来获得搜索范围，并且在已经获得的所述搜索范围内使用第二模板来搜索所述色差块的运动矢量，所述第二模板以预定的位置关系接近所述色差块，并且也是从所述解码图像产生的。

所述色差运动预测补偿装置可根据输入图像信号的色度格式来执行由所述亮度运动预测补偿装置搜索到的所述亮度块的运动矢量信息的缩放，并且获得以已经缩放的所述亮度块的运动矢量信息为中心的所述搜索范围。

在所述亮度块和所述色差块具有一对一的相关关系的情况下，所述亮度块的运动矢量信息是(MVTM_h，MVTM_v)，r_h和r_v被定义为：

[数学表达式2]

所述色差运动预测补偿装置可获得以(MVTM_h/r_h，MVTM_v/r_v)为中心的所述搜索范围。

在单个所述色差块对应于多个所述亮度块的情况下，所述色差运动预测补偿装置可合成多个所述亮度块的运动矢量信息，根据所述色度格式来执行缩放，并且获得以已经缩放的所述亮度块的运动矢量信息为中心的所述搜索范围。

所述色差运动预测补偿装置可使用所述多个所述亮度块的运动矢量信息的平均值来执行合成。

所述色差运动预测补偿装置可获得仅关于所述亮度块的参考帧的所述搜索范围，并且使用所述第二模板在已经获得的所述搜索范围中搜索所述色差块的运动矢量。

所述色差运动预测补偿装置可获得仅关于在所述亮度块的参考帧中具有最小索引的参考帧的所述搜索范围，并且使用所述第二模板在已经获得的所述搜索范围中搜索所述色差块的运动矢量。

所述亮度块的大小和所述色差块的大小不同，并且所述第一模板的大小和所述第二模板的大小不同。

所述图像处理设备还可包括正交变换控制装置，用于在要执行的运动预测是所述色差块而不是宏块的情况下，对于所述运动预测块的直流分量禁止正交变换。

根据本发明的第二方面的图像处理方法包括图像处理设备的步骤：对编码帧的图像进行解码，所述图像是作为亮度信号的块的亮度块和作为色差信号的块并且对应于所述亮度块的色差块；使用第一模板来搜索所述亮度块的运动矢量，所述第一模板以预定的位置关系接近所述亮度块，并且也是从解码图像产生的；以及，使用由所述亮度运动预测补偿装置搜索到的所述亮度块的运动矢量信息来获得搜索范围，并且在已经获得的所述搜索范围内使用第二模板来搜索所述色差块的运动矢量，所述第二模板以预定的位置关系接近所述色差块，并且也是从所述解码图像产生的。

根据本发明的第一方面，使用第一模板来搜索作为帧的亮度信号的块的亮度块的运动矢量，所述第一模板以预定的位置关系接近所述亮度块，并且也是从解码图像产生的；使用由所述亮度运动预测补偿装置搜索到的所述亮度块的运动矢量信息来获得搜索范围，并且在已经获得的所述搜索范围内使用第二模板来搜索与所述亮度块对应的、作为所述帧的色差信号的块的色差块的运动矢量，所述第二模板以预定的位置关系接近所述色差块，并且也是从所述解码图像产生的。然后，对所述亮度块和所述色差块的图像进行编码。

根据本发明的第二方面，对编码帧的图像进行解码，所述图像是作为亮度信号的块的亮度块和作为色差信号的块并且对应于所述亮度块的色差块；使用第一模板来搜索作为帧的亮度信号的块的亮度块的运动矢量，所述第一模板以预定的位置关系接近所述亮度块，并且也是从解码图像产生的；以及，使用由所述亮度运动预测补偿装置搜索到的所述亮度块的运动矢量信息来获得搜索范围，并且在已经获得的所述搜索范围内使用第二模板来搜索所述色差块的运动矢量，所述第二模板以预定的位置关系接近所述色差块，并且也是从所述解码图像产生的。

本发明的有益效果

如上所述，根据本发明的第一方面，可以对图像进行编码。此外，根据本发明的第一方面，可以抑制压缩效率的劣化。

如上所述，根据本发明的第二方面，可以对图像进行解码。此外，根据本发明的第二方面，可以抑制压缩效率的劣化。

附图说明

图1是图示已经应用了本发明的图像编码设备的实施例的框图。

图2是描述可变块大小运动预测/补偿处理的图。

图3是描述四分之一像素精度运动预测/补偿处理的图。

图4是描述图1中的图像编码设备的编码处理的流程图。

图5是描述在图4中的步骤S21的预测处理的流程图。

图6是描述在16×16像素帧内预测模式的情况下的处理顺序的图。

图7是图示亮度信号的4×4像素帧内预测模式的类型的图。

图8是图示亮度信号的4×4像素帧内预测模式的类型的图。

图9是描述4×4像素帧内预测的方向的图。

图10是描述4×4像素帧内预测的图。

图11是描述使用亮度信号的4×4像素帧内预测模式的编码的图。

图12是图示亮度信号的8×8像素帧内预测模式的类型的图。

图13是图示亮度信号的8×8像素帧内预测模式的类型的图。

图14是图示亮度信号的16×16像素帧内预测模式的类型的图。

图15是图示亮度信号的16×16像素帧内预测模式的类型的图。

图16是描述16×16像素帧内预测的图。

图17是图示色差信号的像素帧内预测模式的类型的图。

图18是描述在图5中的步骤S31的帧内预测处理的流程图。

图19是描述在图5中的步骤S32的帧间运动预测处理的流程图。

图20是描述用于产生运动矢量信息的方法的流程图。

图21是描述在图5的步骤S33的帧间模板运动预测处理的流程图。

图22是描述帧内模板匹配方法的图。

图23是描述用于在帧内模板预测模式中的色差信号的运动预测/补偿处理的示例的图。

图24是描述用于在帧内模板预测模式中的色差信号的运动预测/补偿处理的另一个示例的图。

图25是描述在图5的步骤S35中的帧内模板运动预测处理的流程图。

图26是描述帧内模板匹配方法的图。

图27是描述多参考帧运动预测/补偿处理方法的图。

图28是图示已经应用了本发明的图像解码设备的实施例的框图。

图29是描述在图28中所示的图像解码设备的解码处理的流程图。

图30是描述在图29中的步骤S138中的预测处理的流程图。

图31是图示已经应用了本发明的图像编码设备的另一个实施例的框图。

图32是图示正交变换控制单元的配置示例的框图。

图33是描述在图31中的图像编码设备的正交变换控制处理的流程图。

图34是图示已经应用了本发明的图像解码设备的另一个实施例的框图。

图35是描述在图34中的图像解码设备的正交变换控制处理的流程图。

具体实施方式

将参考附图描述本发明的实施例。

图1图示作为已经应用了本发明的图像处理设备的图像编码设备的实施例的配置。这个图像编码设备51包括A/D转换器61(模数变换器61)、画面重排缓冲器62、计算单元63、正交变换单元64、量化单元65、无损编码单元66、累积缓冲器67、逆量化单元68、逆正交变换单元69、计算单元70、去块滤波器71、帧存储器72、开关73、帧内预测单元74、亮度帧内模板运动预测/补偿单元75、色差帧内模板运动预测/补偿单元76、运动预测/补偿单元77、亮度帧间模板运动预测/补偿单元78、色差帧间模板运动预测/补偿单元79、预测图像选择单元80和速率控制单元81。

注意在下面，亮度帧内模板运动预测/补偿单元75和色差帧内模板运动预测/补偿单元76的每一个将被称为亮度帧内TP运动预测/补偿单元75和色差帧内TP运动预测/补偿单元76。此外，亮度帧间模板运动预测/补偿单元78和色差帧间模板运动预测/补偿单元79的每一个将被称为亮度帧间TP运动预测/补偿单元78和色差帧间TP运动预测/补偿单元79。

这个图像编码设备51使用H.264和MPBG-4第10部分(高级视频编码)(以下称为H.264/AVC)执行图像的压缩编码。

对于H.264/AVC格式，使用可变块大小来执行运动预测/补偿处理。即，对于H.264/AVC格式，由16×16像素配置的宏块可被划分为16×16、16×8、8×16或8×8的任何一个的分区，每一个分区具有独立的运动矢量信息，如图2中所示。此外，8×8的分区可被划分为8×8、8×4、4×8或4×4的任何一个的子分区，每一个子分区具有独立的运动矢量信息，如图2中所示。

此外，对于H.264/AVC格式，使用6抽头FIR(有限脉冲响应滤波器)来执行四分之一像素精度运动预测/补偿。将参考图3来描述在H.264/AVC格式中的子像素精度运动预测/补偿处理。

在图3中的示例中，位置A指示整数精度像素位置，位置b、c和d指示半像素精度位置，并且位置e1、e2和e3指示四分之一像素精度位置。首先，在下面，象在下面的表达式(1)中那样定义Clip()。

[数学表达式3]

注意，在输入图像的8比特精度的情况下，max_pix的值是255。

使用6抽头FIR滤波器，如下面的表达式(2)那样产生在位置b和d的像素值。

[数学表达式4]

F＝A_-2-5·A_-1+20·A₀+20·A₁-5·A₂+A₃

b，d＝Clip1((F+16)＞＞5)             …(2)

在水平方向和垂直方向上使用6抽头FIR滤波器，如下面的表达式(3)那样产生在位置c的像素值。

[数学表达式5]

F＝b_-2-5·b_-1+20·b₀+20·b₁-5·b₂+b₃或

F＝d_-2-5·d_-1+20·d₀+20·d₁-5·d₂+d₃

c＝Clip1((F+512)＞＞10)               …(3)

注意，在已经在水平方向和垂直方向上执行了乘积和处理之后，仅在最后执行一次Clip处理。

如下面的表达式(4)那样，通过线性插值来产生位置e1至e3。

[数学表达式6]

e₁＝(A+b+1)＞＞1

e₂＝(b+d+1)＞＞1

e₃＝(b+c+1)＞＞1           …(4)

返回图1，A/D转换器61执行输入图像的A/D转换(模数转换)，并且输出到画面重排缓冲器62以被存储。画面重排缓冲器62以用于根据GOP(画面组)来编码的帧的顺序来对存储的显示顺序的帧的图像进行重新排序。

计算单元63从自画面重排缓冲器62读出的图像减去由预测图像选择单元80选择的、来自帧内预测单元74的预测图像或来自运动预测/补偿单元77的预测图像，并将其差信息输出到正交变换单元64。正交变换单元64对于来自计算单元63的差信息执行诸如离散余弦变换或Karhunen-Loève变换等的正交变换，并且输出其变换系数。量化单元65量化正交变换单元64输出的变换系数。

从量化单元65输出的量化的变换系数被输入到无损编码单元66，在无损编码单元66，从量化单元65输出的量化的变换系数进行诸如可变长编码、算术编码等的无损编码，并被压缩。注意，压缩图像被累积在累积缓冲器67中，然后被输出。速率控制单元81基于在累积缓冲器67中累积的压缩图像来控制量化单元65的量化操作。

此外，从量化单元65输出的量化变换系数也被输入到逆量化单元68并且被逆量化，并且在逆正交变换单元69进行逆正交变换。已经进行逆正交变换的输出被计算单元70加上从预测图像选择单元80提供的预测图像，变为本地解码图像。去块滤波器71去除在解码图像中的块噪声，该解码图像然后被提供到帧存储器72并且被累积。帧存储器72也接收在由去块滤波器71进行的去块滤波器处理之前的图像的提供，该图像被累积。

开关73向运动预测/补偿单元77或帧内预测单元74输出在帧存储器72中累积的参考图像。

对于图像编码设备51，例如，来自画面重排缓冲器62的I画面、B画面和P画面被提供到帧内预测单元74来作为用于帧内预测的图像。此外，从画面重排缓冲器62读出的B画面和P画面被提供到运动预测/补偿单元77来作为用于帧间预测的图像。

帧内预测单元74基于从画面重排缓冲器62读出的用于帧内预测的图像和从帧存储器72提供的参考图像来执行用于所有的候选帧内预测模式的帧内预测处理，并且产生预测图像。

此外，帧内预测单元74向亮度帧内TP运动预测/补偿单元75提供从画面重排缓冲器62读出来用于帧内预测的图像和经由开关73从帧存储器72提供的参考图像。

帧内预测单元74计算所有的候选帧内预测模式的成本函数值。帧内预测单元74将下述的预测模式确定为最佳帧内预测模式，该预测模式给出所计算的成本函数值和由亮度帧内TP运动预测/补偿单元75计算的用于帧内模板预测模式的成本函数值的最小值。

帧内预测单元74向预测图像选择单元80提供在最佳帧内预测模式中产生的预测图像及其成本函数值。在预测图像选择单元80选择在最佳帧内预测模式中产生的预测图像的情况下，帧内预测单元74向无损编码单元66提供与最佳帧内预测模式相关的信息。无损编码单元66编码这个信息，以作为在压缩图像中的首标信息的一部分。

亮度帧内TP运动预测/补偿单元75基于从画面重排缓冲器62读出的用于帧内预测的图像和从帧存储器72提供的参考图像来执行在帧内模板预测模式中的亮度信号的运动预测和补偿处理，并产生亮度信号的预测图像。亮度帧内TP运动预测/补偿单元75向色差帧内TP运动预测/补偿单元76提供从画面重排缓冲器62读出的用于帧内预测的图像、从帧存储器72提供的参考图像以及在亮度信号的运动预测和补偿处理中搜索到的运动矢量信息。

此外，亮度帧内TP运动预测/补偿单元75计算用于帧内模板预测模式的成本函数值，并且将所计算的成本函数值和预测图像(亮度信号和色差信号)提供到帧内预测单元74。

色差帧内TP运动预测/补偿单元76基于从画面重排缓冲器62读出的用于帧内预测的图像和从帧存储器72提供的参考图像来执行在帧内模板预测模式中的色差信号的运动预测和补偿处理，并产生色差信号的预测图像。

此时，色差帧内TP运动预测/补偿单元76使用由亮度帧内TP运动预测/补偿单元75搜索到的运动矢量信息来获得搜索范围，并且在所获得的预定搜索范围内执行运动预测。即，色差帧内TP运动预测/补偿单元76仅搜索在由亮度帧内TP运动预测/补偿单元75搜索到的运动矢量信息周围的像素。

色差帧内TP运动预测/补偿单元76向亮度帧内TP运动预测/补偿单元75提供所产生的色差信号的预测图像。

运动预测/补偿单元77执行所有候选帧内预测模式的运动预测/补偿处理。即，运动预测/补偿单元77基于从画面重排缓冲器62读出的用于帧间预测的图像和从帧存储器72经由开关73提供的参考图像来检测所有候选帧内预测模式的运动矢量，基于运动矢量来对参考图像进行运动预测和补偿处理，并产生预测图像。

此外，运动预测/补偿单元77向亮度帧间TP运动预测/补偿单元78提供从画面重排缓冲器62读出的用于帧间预测的图像和从帧存储器72经由开关73提供的参考图像。

运动预测/补偿单元77计算所有候选帧间预测模式的成本函数值。运动预测/补偿单元77将下面的预测模式确定为最佳帧内预测模式，该预测模式给出所计算的关于帧间预测模式的成本函数值和由亮度帧间TP运动预测/补偿单元78计算的帧间模板预测模式的成本函数值的最小值。

运动预测/补偿单元77向预测图像选择单元80提供由最佳帧间预测模式产生的预测图像及其成本函数值。在预测图像选择单元80选择最佳帧间预测模式中产生的预测图像的情况下，运动预测/补偿单元77向无损编码单元66输出与最佳帧间预测模式相关的信息和对应于最佳帧间预测模式的信息(运动矢量信息、参考帧信息等)。无损编码单元66也对来自运动预测/补偿单元77的信息进行诸如可变长编码、算术编码等的无损编码，并将其插入到压缩图像的首标部分。

亮度帧间TP运动预测/补偿单元78基于从画面重排缓冲器62输出的用于帧间预测的图像和从帧存储器72提供的参考图像来执行在帧间模板预测模式中的亮度信号的运动预测和补偿处理，并产生亮度信号的预测图像。亮度帧间TP运动预测/补偿单元78向色差帧间TP运动预测/补偿单元79提供从画面重排缓冲器62读出的用于帧间预测的图像、从帧存储器72提供的参考图像以及在亮度信号运动预测和补偿处理中搜索到的运动矢量信息。

此外，亮度帧间TP运动预测/补偿单元78计算关于帧间模板预测模式的成本函数值，并且将所计算的成本函数值和预测图像(亮度信号和色差信号)提供到运动预测/补偿单元77。

色差帧间TP运动预测/补偿单元79基于从画面重排缓冲器62读出的用于帧间预测的图像和从帧存储器72提供的参考图像来执行帧间模板预测模式的色差信号的运动预测和补偿处理，并产生色差信号的预测图像。

此时，色差帧间TP运动预测/补偿单元79使用由亮度帧间TP运动预测/补偿单元78搜索到的运动矢量信息来获得搜索范围，并且在已经获得的预定搜索范围内执行运动预测。即，色差帧间TP运动预测/补偿单元79仅搜索在由亮度帧间TP运动预测/补偿单元78搜索到的运动矢量信息周围的像素。

色差帧间TP运动预测/补偿单元79向亮度帧间TP运动预测/补偿单元78提供所产生的色差信号预测图像。

预测图像选择单元80基于从帧内预测单元74或运动预测/补偿单元77输出的成本函数值来从最佳帧内预测模式和最佳帧间预测模式确定最佳模式，选择已经确定的最佳预测模式的预测图像，并且将其提供到计算单元63和70。此时，预测图像选择单元80向帧内预测单元74或运动预测/补偿单元77提供预测图像的选择信息。

速率控制单元81基于在累积缓冲器67中累积的压缩图像来控制量化单元65的量化操作的速率，以使得不发生上溢或下溢。

接下来，将参考图4中的流程图来描述在图1中的图像编码设备51的编码处理。

在步骤S11中，A/D转换器61执行输入图像的A/D转换。在步骤S12中，画面重排缓冲器62存储从A/D转换器61提供的图像，并且执行将画面从显示顺序向编码顺序的重排。

在步骤S13中，计算单元63计算在步骤S12中重排的图像和预测图像之间的差。在执行帧间预测的情况下，从运动预测/补偿单元77经由预测图像选择单元80向计算单元63提供预测图像，并且在执行帧内预测的情况下，从帧内预测单元74经由预测图像选择单元80向计算单元63提供预测图像。

所述差数据的数据量比原始图像数据的数据量小。相应地，与原样地执行图像的编码的情况相比，可压缩数据量。

在步骤S14中，正交变换单元64执行从计算单元63提供的差信息的正交变换。具体地说，执行诸如离散余弦变换或Karhunen-Loève变换等的正交变换，并输出变换系数。在步骤S15中，量化单元65执行变换系数的量化。如对于在下述的步骤S25中的处理所述的那样，对于这个量化控制速率。

如上所述量化的差信息被本地解码如下。即，在步骤S16中，逆量化单元68使用与量化单元65的属性对应的属性执行由量化单元65量化的变换系数的逆量化。在步骤S17中，逆正交变换单元69使用与正交变换单元64的属性对应的属性来对在逆量化单元68进行了逆量化的变换系数执行逆正交变换。

在步骤S18中，计算单元70将经由预测图像选择单元80输入的预测图像加到本地解码的差信息，并产生本地解码图像(与计算单元63的输入对应的图像)。在步骤S19中，去块滤波器71对从计算单元70输出的图像执行滤波。相应地，去除了块噪声。在步骤S20中，帧存储器72存储滤波的图像。注意，未由去块滤波器71进行滤波处理的图像也被从计算单元70提供到帧存储器72，并被存储。

在步骤S21中，帧内预测单元74、亮度帧内TP运动预测/补偿单元75、色差帧内TP运动预测/补偿单元76、运动预测/补偿单元77、亮度帧间TP运动预测/补偿单元78和色差帧间TP运动预测/补偿单元79执行它们各自的图像预测处理。即，在步骤S21中，帧内预测单元74执行在帧内预测模式中的帧内预测处理，亮度帧内TP运动预测/补偿单元75和色差帧内TP运动预测/补偿单元76执行在帧内模板预测模式中的运动预测/补偿处理。此外，运动预测/补偿单元77执行在帧间预测模式中的运动预测和补偿处理，亮度帧间TP运动预测/补偿单元78和色差帧间TP运动预测/补偿单元79执行在帧间模板预测模式中的运动预测/补偿处理。

虽然下面将参考图5详细描述在步骤S21中的预测处理的细节，但是对于这个处理，在所有候选预测模式的每一个中执行预测处理，并在所有候选预测模式中计算成本函数值的每一个。基于所选择的成本函数值来选择最佳帧内预测模式，并且由在最佳帧内预测模式中的帧内预测产生的预测图像和成本函数值被提供到预测图像选择单元80。此外，基于所计算的成本函数值来从帧间预测模式和帧间模板预测模式确定最佳帧间预测模式，并且使用最佳帧间预测模式产生的预测图像及其成本函数值被提供到预测图像选择单元80。

在步骤S22中，预测图像选择单元80基于从帧内预测单元74和运动预测/补偿单元77输出的相应成本函数值来将最佳帧内预测模式和最佳帧间预测模式之一确定为最佳预测模式，选择所确定的最佳预测模式的预测图像，并将其提供到计算单元63和70。预测图像用于在步骤S13和S18中的计算，如上所述。

注意预测图像的选择信息被提供到帧内预测单元74或运动预测/补偿单元77。在选择了最佳帧内预测模式的预测图像的情况下，帧内预测单元74向无损编码单元66提供与最佳帧内预测模式相关的信息(即帧内模式信息或帧内模板预测模式信息)。

在选择了最佳帧间预测模式的预测图像的情况下，运动预测/补偿单元77向无损编码单元66输出与最佳帧间预测模式相关的信息和与最佳帧间预测模式对应的信息(运动矢量信息、参考帧信息等)。即，在将帧间预测模式的预测图像选择为最佳帧间预测模式的情况下，运动预测/补偿单元77向无损编码单元66输出帧间预测模式信息、运动矢量信息和参考帧信息。另一方面，在选择帧间模板预测模式的预测图像的情况下，运动预测/补偿单元77向无损编码单元66输出帧间模板预测模式信息。

在步骤S23中，无损编码单元66对从量化单元65输出的量化的变换系数进行编码。即，差图像进行诸如可变长编码、算术编码等的无损编码，并被压缩。此时，来自帧内预测单元74的与最佳帧内预测模式相关的信息或来自运动预测/补偿单元77的与最佳帧间预测模式相关的信息(预测模式信息、运动矢量信息、参考帧信息等)等也被编码并加到首标信息上。

在步骤S24中，累积缓冲器67累积作为压缩图像的差图像。在累积缓冲器67中累积的压缩图像在适当时被读出，并且经由发送路径被发送到解码侧。

在步骤S25中，速率控制单元81基于在累积缓冲器67中累积的压缩图像来控制量化单元65的量化操作的速率，使得不发生上溢或下溢。

接下来，将参考在图5中的流程图来描述图4的步骤S21中的预测处理。

在从画面重排缓冲器62提供的要处理的图像是用于帧内处理的块图像的情况下，要参考的解码图像被从帧存储器72读出，并且经由开关73被提供到帧内预测单元74。基于这些图像，在步骤S31中，帧内预测单元74对于所有的候选预测模式执行要处理的块的像素的帧内预测。注意，对于要参考的解码像素，使用未通过去块滤波器71进行去块滤波的像素。

虽然下面参考图18来描述在图31中的帧内预测处理的细节，但是由于这个处理，在所有的候选帧内预测模式中执行帧内预测，并且对于所有的候选帧内预测模式计算成本函数值。然后，基于所计算的成本函数值从所有的帧内预测模式选择一个帧内预测模式来作为最佳者。

在从画面重排缓冲器62提供的要处理的图像是用于帧间处理的图像的情况下，要参考的图像被从帧存储器72读出，并经由开关73被提供到运动预测/补偿单元77。在步骤S32中，运动预测/补偿单元77基于这些图像来执行运动预测/补偿处理。即，运动预测/补偿单元77参考从帧存储器72提供的图像，并且对于所有的候选帧间预测模式执行运动预测处理。

虽然下面将参考图19来描述在步骤S32中的帧间运动预测处理的细节，但是由于这个处理，对于所有的候选帧间预测模式执行预测处理，并且对于所有的候选帧间预测模式计算成本函数值。

此外，在从画面重排缓冲器62提供的要处理的图像是用于帧间处理的块图像的情况下，要参考的图像被从帧存储器72读出，并且还经由帧内预测单元74被提供到亮度帧内TP运动预测/补偿单元75。在步骤S33中，亮度帧内TP运动预测/补偿单元75和色差帧内TP运动预测/补偿单元76执行在帧内模板预测模式中的帧内模板运动预测处理。

虽然下面将参考图21描述在步骤S33中的帧内模板运动预测处理的细节，但是由于这个处理，在帧内模板预测模式中执行运动预测处理，并且对于帧内模板预测模式计算成本函数值成本函数值。由用于帧内模板预测模式的运动预测处理产生的预测图像及其成本函数值被提供到帧内预测单元74。

在步骤S34中，帧内预测单元74将在步骤S31中选择的关于帧内预测模式的成本函数值和在步骤S33中选择的关于帧内模板预测模式的成本函数值作比较，并将给出最小值的预测模式确定为最佳帧内预测模式。帧内预测单元74然后向预测图像选择单元80提供在最佳帧内预测模式中产生的预测图像及其成本函数值。

此外，在从画面重排缓冲器62提供的要处理的图像是用于帧间处理的图像的情况下，要参考的图像被从帧存储器72读出，并经由开关73和运动预测/补偿单元77被提供到亮度帧间TP运动预测/补偿单元78。基于这些图像，亮度帧间TP运动预测/补偿单元78和色差帧间TP运动预测/补偿单元79在步骤S35中执行在帧间模板预测模式中的帧间模板运动预测处理。

虽然下面将参考图25描述在步骤S35中的帧间模板运动预测处理的细节，但是由于这个处理，在帧间模板预测模式中执行运动预测处理，并计算关于帧间模板预测模式的成本函数值。由在帧间模板预测模式中的运动预测处理产生的预测图像及其成本函数值被提供到运动预测/补偿单元77。

在步骤S36中，运动预测/补偿单元77将在步骤S32选择的关于最佳帧间预测模式的成本函数值与关于帧间模板预测模式计算的成本函数值作比较，并且将给出最小值的预测模式确定为最佳帧间预测模式。运动预测/补偿单元77然后向预测图像选择单元80提供在最佳帧间预测模式中产生的预测图像及其成本函数值。

接下来，将描述在H.264/AVC格式中规定的用于帧内预测的模式。

首先，将描述关于亮度信号的帧内预测模式。亮度信号帧内预测模式包括4×4像素的增量的9种预测模式和16×16像素的宏块增量的4种预测模式。在图6中的示例中，向每一个块提供的数字-1至25表示在比特流中的每一个块的顺序(在解码侧的处理顺序)。关于亮度信号，宏块被划分为4×4像素，对于4×4像素执行DCT(离散余弦变换)。另外，在16×16像素的帧内预测模式的情况下，每一个块的直流分量聚集，并产生4×4矩阵，其进一步进行正交变换，如对于块-1所示。

另一方面，对于色差信号，将宏块划分为4×4像素，并且对于4×4像素执行DCT，其后，每一个块的直流分量聚集，并产生2×2矩阵，其进一步进行正交变换，如对于块16和17所示。

对于高简档(High Profile)，对于第八阶DCT块规定8×8像素块增量的预测模式，这种方法按照如下所述的4×4像素帧内预测模式方法。即，8×8像素块增量的预测模式可仅在执行8×8像素正交变换的情况下被应用到具有高简档或较高简档的对象宏块。

图7和图8是图示9种亮度信号4×4像素帧内预测模式(Intra_4x4_pred_mode)的图。除了指示平均值(DC)预测的模式2之外的8种模式每一个对应于在图9中由0、1和3至8指示的方向。

将参考图10来描述9种Intra_4x4_pred_mode。在图10中的示例中，像素a至p表示要进行帧内处理的对象块，像素值A至M表示属于相邻块的像素的像素值。即，像素a至p是已经从画面重排缓冲器62读出的要处理的图像，像素值A至M是已经从帧存储器72读出的要参考的解码图像的像素值。

在图7和图8的每一个帧内预测模式的情况下，使用属于相邻块的像素的像素值A至M来如下产生像素a至p的预测像素值。注意“可获得”该像素值的情况表示没有诸如在图像帧边缘或仍在被编码的原因地可获得该像素，“不可获得”该像素值的情况表示由于诸如在图像帧边缘或仍在被编码的原因而不可获得该像素。

模式0是垂直预测模式，并仅在“可获得”像素值A至D的情况下应用。在该情况下，如在下面的表达式(5)产生像素a至p的预测值。

像素a、e、i、m的预测像素值＝A

像素b、f、j、n的预测像素值＝B

像素c、g、k、o的预测像素值＝C

像素d、h、l、p的预测像素值＝D    …(5)

模式1是水平预测模式，并且仅在“可获得”像素值I至于L的情况下应用。在该情况下，如在下面的表达式(6)产生像素a至p的预测值。

像素a、b、c、d的预测像素值＝I

像素e、f、g、h的预测像素值＝J

像素i、j、k、l的预测像素值＝K

像素m、n、o、p的预测像素值＝L    …(6)

模式2是DC预测模式，并且在像素值A、B、C、D、I、J、K、L全部“可获得”的情况下如在下面的表达式(7)产生预测像素值。

(A+B+C+D+I+J+K+L+4)3      …(7)

在像素值A、B、C、D全部“不可获得”的情况下，如在下面的表达式(8)产生预测像素值。

(I+J+K+L)2      …(8)

此外，在像素值I、J、K、L全部“不可获得”的情况下，如在下面的表达式(9)产生预测像素值。

(A+B+C+D)2       …(9)

此外，在像素值A、B、C、D、I、J、K、L全部“不可获得”的情况下，产生128作为预测像素值。

模式3是对角下左预测模式，并且仅在像素值A、B、C、D、I、J、K、L、M是“可获得”的情况下产生预测像素值。在该情况下，如在下面的表达式(10)产生像素a至p的像素值。

像素a的预测像素值＝(A+2B+C+2)2

像素b、e的预测像素值＝(B+2C+D+2)2

像素c、f、i的预测像素值＝(C+2D+E+2)

2

像素d、g、j、m的预测像素值＝(D+2E+F+2)

2

像素h、k、n的预测像素值＝(E+2F+G+2)

2

像素l、o的预测像素值＝(F+2G+H+2)

2

像素p的预测像素值＝(G+3H+2)

2

…(10)

模式4是对角下右预测模式，并且仅在像素值A、B、C、D、I、J、K、L、M是“可获得”的情况下产生预测像素值。在该情况下，如在下面的表达式(11)产生像素a至p的像素值。

像素m的预测像素值＝(J+2K+L+2)

2

像素i、n的预测像素值＝(I+2J+K+2)

2

像素e、j、o的预测像素值＝(M+2I+J+2)

2

像素a、f、k、p的预测像素值＝(A+2M+I+2)

2

像素b、g、l的预测像素值＝(M+2A+B+2)

2

像素c、h的预测像素值＝(A+2B+C+2)2

像素d的预测像素值＝(B+2C+D+2)

2

…(11)

模式5是对角垂直右预测模式，并且仅在像素值A、B、C、D、I、J、K、L、M是“可获得”的情况下产生预测像素值。在该情况下，如在下面的表达式(12)产生像素a至p的像素值。

像素a、j的预测像素值＝(M+A+1)

1

像素b、k的预测像素值＝(A+B+1)

1

像素c、l的预测像素值＝(B+C+1)

1

像素d的预测像素值＝(C+D+1)1

像素e、n的预测像素值＝(I+2M+A+2)

2

像素f、o的预测像素值＝(M+2A+B+2)

2

像素g、p的预测像素值＝(A+2B+C+2)

2

像素h的预测像素值＝(B+2C+D+2)

2

像素i的预测像素值＝(M+2I+J+2)2

像素m的预测像素值＝(I+2J+K+2)

2

…(12)

模式6是垂直下预测模式，并且仅在像素值A、B、C、D、I、J、K、L、M是“可获得”的情况下产生预测像素值。在该情况下，如在下面的表达式(13)产生像素a至p的像素值。

像素a、g的预测像素值＝(M+I+1)

1

像素b、h的预测像素值＝(I+2M+A+2)

2

像素c的预测像素值＝(M+2A+B+2)

2

像素d的预测像素值＝(A+2B+C+2)

2

像素e、k的预测像素值＝(I+J+1)

1

像素f、l的预测像素值＝(M+2I+J+2)

2

像素i、o的预测像素值＝(J+K+1)

1

像素j、p的预测像素值＝(I+2J+K+2)

2

像素m的预测像素值＝(K+L+1)

1

像素n的预测像素值＝(J+2K+L+2)

2

…(13)

模式7是垂直左预测模式，并且仅在像素值A、B、C、D、I、J、K、L、M是“可获得”的情况下产生预测像素值。在该情况下，如在下面的表达式(14)产生像素a至p的像素值。

像素a的预测像素值＝(A+B+1)

1

像素b、i的预测像素值＝(B+C+1)

1

像素c、j的预测像素值＝(C+D+1)

1

像素d、k的预测像素值＝(D+E+1)

1

像素l的预测像素值＝(E+F+1)

1

像素e的预测像素值＝(A+2B+C+2)

2

像素f、m的预测像素值＝(B+2C+D+2)

2

像素g、n的预测像素值＝(C+2D+B+2)

2

像素h、o的预测像素值＝(D+2E+F+2)2

像素p的预测像素值＝(E+2F+G+2)2

…(14)

模式8是水平上预测模式，并且仅在像素值A、B、C、D、I、J、K、L、M是“可获得”的情况下产生预测像素值。在该情况下，如在下面的表达式(15)产生像素a至p的像素值。

像素a的预测像素值＝(I+J+1)

1

像素b的预测像素值＝(I+2J+K+2)

2

像素c、e的预测像素值＝(J+K+1)

1

像素d、f的预测像素值＝(J+2K+L+2)

2

像素g、i的预测像素值＝(K+L+1)

1

像素h、j的预测像素值＝(K+3L+2)2

像素k、l、m、n、o、p的预测像素值＝L

…(15)

接下来，将参考图11来描述4×4像素亮度信号的帧内预测模式(Intra_4x4_pred_mode)编码方法。

在图11中的示例中，示出由4×4像素构成的要编码的对象块C，并且示出由4×4像素构成并且接近对象块C的块A和块B。

在该情况下，在对象块C中的Intra_4x4_pred_mode与在块A和块B中的Intra_4x4_pred_mode高度相关。使用该相关来执行下面的编码处理允许实现较高的编码效率。

即，在图11中的示例中，对于分别作为Intra_4x4_pred_modeA和Intra_4x4_pred_modeB的在块A和块B中的Intra_4x4_pred_mode，如在下面的表达式(16)中定义MostProbableMode(最可能的模式)。

MostProbableMode＝Min(Intra_4x4_pred_modeA，Intra_4x4_pred_modeB)

…(16)

即，在块A和块B中，具有向其分配的较小模式编号mode_number的块被作为MostProbableMode(最可能的模式)。

存在被定义为关于在比特流中的对象块C的参数的prev_intra4x4_pred_mode_flag[luma4x4BlkIdx]和rem_intra4x4_pred_mode[luma4x4BlkIdx]的两个值，通过基于在下面的表达式(17)中所示的伪代码的处理来执行解码处理，因此可以获得关于对象块C的Intra_4x4_pred_mode、Intra4x4PredMode[luma4x4BlkIdx]的值。

if(prev_intra4x4_pred_mode_flag[luma4x4BlkIdx])

            Intra4x4PredMode[luma4x4BlkIdx]＝MostProbableMode

else

  if(rem_intra4x4_pred_mode[luma4x4BlkIdx]＜MostProbableMode)

      Intra4x4PredMode[luma4x4BlkIdx]＝rem_intra4x4_pred_mde[luma4x4B

lkIdx]

  else

    Intra4x4PredMode[luma4x4BlkIdx]＝rem_intra4x4_pred_mode[luma4x4B

lkIdx]+1

…(17)

接下来，将描述8×8像素帧内预测模式。图12和图13是图示9种8×8像素亮度信号帧内预测模式(Intra_8x8_pred_mode)的图。

我们说，在对象8×8块中的像素值是p[x，y](0≤x≤7；0≤y≤7)，并且，相邻块的像素值被表达为p[-1，-1]，…，p[-1，15]，p[-1，0]，…，[p-1，7]

对于8×8像素帧内预测模式，在产生预测值之前，向相邻像素应用低通滤波处理。现在，我们说在低通滤波处理之前的像素值被表达为p[-1，-1]，…，p[-1，15]，p[-1，0]，…p[-1，7]，而在低通滤波处理之后的像素值被表达为p′[-1，-1]，…，p′[-1，15]，p′[-1，0]，…p′[-1，7]

首先，在“可获得”p[-1，-1]的情况下，如在下面的表达式(18)中计算p′[0，-1]，并且在“不可获得”p[-1，-1]的情况下，如在下面的表达式(19)中计算p′[0，-1]。

p′[0，-1]＝(p[-1，-1]+2*p[0，-1]+p[1，-1]+2)

2

…(18)

p′[0，-1]＝(3*p[0，-1]+p[1，-1]+2)

2    …(19)

如在下面的表达式(20)中计算p′[x，-1](x ＝0，…，7)

p′[x，-1]＝(p[x-1，-1]+2*p[x，-1]+p[x+1，-1]+2)

2

…(20)

在“可获得”p[x，-1](x＝8，…，15)的情况下，如在下面的表达式(21)中计算p′[x，-1](x＝8，…，15)。

p′[x，-1]＝(p[x-1，-1]+2*p[x，-1]+p[x+1，-1]+2)

2

p′[15，-1]＝(p[14，-1]+3*p[15，-1]+2)2   …(21)

在“可获得”p[-1，-1]的情况下，如在下面计算p′[-1，-1]。

即，在可获得p[0，-1]和p[-1，0]的情况下，如在表达式(22)中计算p′[-1，-1]，并且在“不可获得”p[-1，0]的情况下，如在表达式(23)中计算p′[-1，-1]。此外，在“不可获得”p [0，-1]的情况下，如在表达式(24)中计算p′[-1，-1]。

p′[-1，-1]＝(p[0，-1]+2*p[-1，-1]+p[-1，0]+2)

2

…(22)

p′[-1，-1]＝(3*p[-1，-1]+p[0，-1]+2)

2   …(23)

p′[-1，-1]＝(3*p[-1，-1]+p[-1，0]+2)

2    …(24)

在“可获得”p[-1，y](y＝0，…，7)的情况下，计算p′[-1，y](y＝0，…，7)如下。即，首先，在“可获得”p[-1，-1]的情况下，如在表达式(25)中计算p′[-1，0]，并且在“不可获得”p[-1，-1]的情况下，如在表达式(26)中计算p′[-1，0]。

p′[-1，0]＝(p[-1，-1]+2*p[-1，0]+p[-1，1]+2)

2

…(25)

p′[-1，0]＝(3*p[-1，0]+p[-1，1]+2)

2    …(26)

此外，如在下面的表达式(27)中计算p′[-1，y](y＝1，…，6)，并且如在表达式(28)中计算p′[-1，7]。

p[-1，y]＝(p[-1，y-1]+2*p[-1，y]+p[-1，y+1]+2)

2

…(27)

p′[-1，7]＝(p[-1，6]+3*p[-1，7]+2)2     …(28)

使用如此计算的p′来如下产生在图12和图13中所示的每一个帧内预测模式中的预测值。

模式0是垂直预测模式，并且仅应用于“可获得”p[x，-1](x＝0，…，7)的情况下。如在下面的表达式(29)产生预测值pred8x8_L[x，y]。

pred8x8_L[x，y]＝p′[x，-1]x，y＝0，…，7   …(29)

模式1是水平预测模式，并且仅应用于在“可获得”p[-1，y](y＝0，…，7)的情况下。如在下面的表达式(30)产生预测值pred8x8_L[x，y]。

pred8x8_L[x，y]＝p′[-1，y]x，y＝0，…，7    …(30)

模式2是DC预测模式，预测值pred8x8_L[x，y]被如下产生。即，在“可获得”p[x，-1](x＝0，…，7)和p[-1，y](y＝0，…，7)的两种情况下，如在下面的表达式(31)产生预测值pred8x8_L[x，y]。

[数学表达式7]

${\mathrm{Pred}8x8}_L[x,y]=\left(\underset{x^{\′}=0}{\overset{7}{\mathrm{\Σ}}}{P}^{\′}\right[x^{\′},-1]+\underset{y^{\′}=0}{\overset{7}{\mathrm{\Σ}}}{P}^{\′}[-1,y]+8)>>4...\left(31\right)$

在“可获得”p[x，-1](x ＝0，…，7)但是“不可获得”p[-1，y](y＝0，…，7)的情况下，如在下面的表达式(32)产生预测值pred8x8_L[x，y]。

[数学表达式8]

${\mathrm{Pred}8x8}_L[x,y]=\left(\underset{x^{\′}=0}{\overset{7}{\mathrm{\Σ}}}{P}^{\′}\right[x^{\′},-1]+4)>>3...\left(32\right)$

在“不可获得”p[x，-1](x＝0，…，7)但是“可获得”p[-1，y](y＝0，…，7)的情况下，如在下面的表达式(33)产生预测值pred8x8_L[x，y]。

[数学表达式9]

${\mathrm{Pred}8x8}_L[x,y]=\left(\underset{y^{\′}=0}{\overset{7}{\mathrm{\Σ}}}{P}^{\′}\right[-1,y]+4)>>3...\left(33\right)$

在“不可获得”p[x，-1](x＝0，…，7)和p[-1，y](y＝0，…，7)的情况下，如在下面的表达式(34)产生预测值pred8x8_L[x，y]。

pred8x8_L[x，y]＝128    …(34)

其中，表达式(34)示出8比特输入的情况。

模式3是对角下左预测模式，并且产生预测值pred8x8_L[x，y]如下。即，对角下左预测模式仅应用于在“可获得”p[x，-1]，x＝0，…，15的情况下，如下面的表达式(35)产生x＝7和y＝7的预测图像像素，并且，如下面的表达式(36)产生所有其他的预测图像像素。

pred8x8_L[x，y]＝(p′[14，-1]+3*p[15，-1]+2)

2          …(35)

red8x8_L[x，y]＝(p′[x+y，-1]+2*p′[x+y+1，-1]+p′[x+y+2，-1]+2)

2       …(36)

模式4是对角下右预测模式，并且产生预测值pred8x8_L[x，y]如下。即，对角下右预测模式仅应用于在“可获得”p[x，-1]，x＝0，…，7和p[-1，y]，y＝0，…，7的情况下，如下面的表达式(37)产生x＞y的预测图像像素，如下面的表达式(38)产生x＜y的预测图像像素。此外，如下面的表达式(39)产生x＝y的预测图像像素。

pred8x8_L[x，y]＝(p′[x-y-2，-1]+2*p′[x-y-1，-1]+p′[x-y，-1]+2)

2

…(37)

pred8x8_L[x，y]＝(p′[-1，y-x-2]+2*p′[-1，y-x-1]+p′[-1，y-x]+2)

2

…(38)

pred8x8_L[x，y]＝(p′[0，-1]+2*p′[-1，-1]+p′[-1，0]+2)

2

…(39)

模式5是垂直右预测模式，并且产生预测值pred8x8_L[x，y]如下。即，垂直右预测模式仅应用于在“可获得”p[x，-1]，x＝0，…，7和p[-1，y]，y＝-1，…，7的情况下。让我们如在下面的表达式(40)中那样定义zVR。

zVR＝2*x-y

…(40)

此时，在zVR是0、2、4、6、8、10、12、14的情况下，如下面的表达式(41)产生像素预测值，并且在zVR是1、3、5、7、9、11、13的情况下，如下面的表达式(42)产生像素预测值。

pred8x8_L[x，y]＝(p′[x-(y1)-1，-1]+p′[x-(y

1)，-1]+1)

1

…(41)

pred8x8_L[x，y]

＝(p′[x-(y

1)-2，-1]+2*p′[x-(y

1)-1，-1]+p′[x-(y

1)，-1]+2)

2

…(42)

此外，在zVR是-1的情况下，如下面的表达式(43)产生像素预测值，否则，即在zVR是-2、-3、-4、-5、-6、-7的情况下，如在下面的表达式(44)产生像素预测值。

pred8x8_L[x，y]＝(p′[-1，0]+2*p′[-1，-1]+p′[0，-1]+2)

2

…(43)

pred8x8_L[x，y]＝(p′[-1，y-2*x-1]+2*p′[-1，y-2*x-2]+p′[-1，y-2*x-3]+2)

2

…(44)

模式6是水平下预测模式，并且产生预测值pred8x8_L[x，y]如下。即，水平下预测模式仅应用于在“可获得”p[x，-1]，x＝0，…，7和p[-1，y]，y＝-1，…，7的情况下。让我们如在下面的表达式(45)中那样定义zVR。

zHD＝2*y-x

…(45)

此时，在zHD是0、2、4、6、8、10、12、14的情况下，如下面的表达式(46)产生像素预测值，并且在zHD是1、3、5、7、9、11、13的情况下，如下面的表达式(47)产生预测像素值。

pred8x8_L[x，y]＝(p′[-1，y-(x

1)-1]+p′[-1，y-(x

1)+1]

1

…(46)

pred8x8_L[x，y]

＝(p′[-1，y-(x

1)-2]+2*p′[-1，y-(x

1)-1]+p′[-1，y-(x1)]+2)

2

…(47)

此外，在zHD是-1的情况下，如下面的表达式(48)产生预测像素值，并且在zHD是任何其他值的情况下，即，在zHD是-2、-3、-4、-5、-6、-7的情况下，如在下面的表达式(49)产生预测像素值。

pred8x8_L[x，y]＝(p′[-1，0]+2*p[-1，-1]+p′[0，-1]+2)

2

…(48)

pred8x8_L[x，y]＝(p′[x-2*y-1，-1]+2*p′[x-2*y-2，-1]+p′[x-2*y-3，-1]+2)

2

…(49)

模式7是垂直左预测模式，并且产生预测值pred8x8_L[x，y]如下。即，垂直左预测模式仅应用于在“可获得”p[x，-1]，x＝0，…，15的情况下，并且在y＝0、2、4、6的情况下，如向下面的表达式(50)产生预测像素值，否则，即在y＝1、3、5、7的情况下，如在下面的表达式(51)内那样产生预测像素值。

pred8x8_L[x，y]＝(p′[x+(y

1)，-1]+p′[x+(y

1)+1，-1]+1)

1

…(50)

pred8x8_L[x，y]

＝(p′[x+(y

1)，-1]+2*p′[x+(y1)+1，-1]+p′[x+(y

1)+2，-1]+2)2

…(51)

模式8是水平上预测模式，并且产生预测值pred8x8_L[x，y]如下。即，水平上预测模式仅应用于在“可获得”p[-1，y]，y＝0，…，7的情况下。下面，我们将如在下面的表达式(52)中定义zHU。

zHU＝x+2*y              …(52)

在zHU的值是0、2、4、6、8、10、12的情况下，如下面的表达式(53)产生预测像素值，在zHU的值是1、3、5、7、9、11的情况下，如下面的表达式(54)产生预测像素值。

pred8x8_L[x，y]＝(p′[-1，y+(x1)]+p′[-1，y+(x

1)+1]+1)

1

…(53)

pred8x8_L[x，y]＝(p′[-1，y+(x

1)]          …(54)

此外，在zHU的值是13的情况下，如在下面的表达式(55)产生预测像素值，并且在zHU的值大于13的情况下，如在下面的表达式(56)产生预测像素值。

pred8x8_L[x，y]＝(p′[-1，6]+3*p′[-1，7]+2)

2

…(55)

pred8x8_L[x，y]＝p′[-1，7]      …(56)

接下来，将描述16×16像素帧内预测模式。图14和图15是图示四种类型的16×16像素亮度信号帧内预测模式(Intra_16x16_pred_mode)的图。

将参考图16来描述该四种帧内预测模式。在图16的示例中，示出要进行帧内处理的对象宏块A，并且，P(x，y)；x，y＝-1，0，…，15表示接近对象宏块A的像素的像素值。

模式0是垂直预测模式，并且仅应用于“可获得”P(x，-1)；x，y＝-1，0，…，15的情况下。在该情况下，如在下面的表达式(57)产生对象宏块A的每一个像素的预测值Pred(x，y)。

Pred(x，y)＝P(x，-1)；x，y ＝0，…，15

…(57)

模式1是水平预测模式，并且仅应用于“可获得”P(-1，y)；x，y ＝-1，0，…，15的情况下。在该情况下，如在下面的表达式(58)产生对象宏块A的每一个像素的预测值Pred(x，y)。

Pred(x，y)＝P(-1，y)；x，y ＝0，…，15

…(58)

模式2是DC预测模式，并且在全部“可获得”P(x，-1)和P(-1，y)；x，y＝-1，0，…，15的情况下，如在下面的表达式(59)产生对象宏块A的每一个像素的预测值Pred(x，y)。

[数学表达式10]

$\mathrm{Pred}(x,y)=[\underset{x^{\′}=0}{\overset{15}{\mathrm{\Σ}}}P(x^{\′},-1)+\underset{y^{\′}=0}{\overset{15}{\mathrm{\Σ}}}P(-1,y^{\′})+16]>>5$

其中x，y＝0，…，15    …(59)

此外，在“不可获得”P(x，-1)；x，y＝-1，0，…，15的情况下，如在下面的表达式(60)产生对象宏块A的每一个像素的预测值Pred(x，y)。

[数学表达式11]

$\mathrm{Pred}(x,y)=[\underset{y^{\′}=0}{\overset{15}{\mathrm{\Σ}}}P(-1,y^{\′})+8]>>4$

其中x，y＝0，…，15         …

(60)

在“不可获得”P(-1，y)；x，y＝-1，0，…，15的情况下，如在下面的表达式(61)产生对象宏块A的每一个像素的预测值Pred(x，y)。

[数学表达式12]

$\mathrm{Pred}(x,y)=[\underset{y^{\′}=0}{\overset{15}{\mathrm{\Σ}}}P(x^{\′},-1)+8]>>4$

其中x，y＝0，…，15       …

(61)

在全部“不可获得”P(x，-1)和P(-1，y)；x，y＝-1，0，…，15的情况下，128被用作预测像素值。

模式3是平面预测模式，并且仅应用于全部“可获得”P(x，-1)和P(-1，y)；x，y＝-1，0，…，15的情况下。在该情况下，如在下面的表达式(62)产生对象宏块A的每一个像素的预测值Pred(x，y)。

[数学表达式13]

Pred(x，y)＝Clip1((a+b·(x-7)+c·(y-7)+16)＞＞5)

a＝16·(P(-1，15)+P(15，-1))

b＝(5·H+32)＞＞6

c＝(5·V+32)＞＞6

$H=\underset{x=1}{\overset{8}{\mathrm{\Σ}}}x\·(P(7+x,-1)-P(7-x,-1))$

$V=\underset{y=1}{\overset{8}{\mathrm{\Σ}}}y\·(P(-\mathrm{1,7}+y)-P(-\mathrm{1,7}-y))...\left(62\right)$

接下来，将描述关于色差信号的帧内预测模式。图17是图示四种类型的色差信号帧内预测模式的图(Intra_chroma_pred_mode)。可以独立于亮度信号帧内预测模式地设置色差信号帧内预测模式。色差信号的帧内预测模式符合上述的亮度信号16×16像素帧内预测模式。

然而，注意，在亮度信号16×16像素帧内预测模式处理16×16像素块的同时，色差信号的帧内预测模式处理8×8像素块。此外，从如上所述的图14和图17中可以看出，节点编号在两者之间并不对应。

参考图16，根据上述亮度信号的16×16像素的帧内预测模式的对象宏块A的像素值和接近的像素值的定义，用于帧内处理的接近宏块A的像素值(在色差信号的情况下的8×8像素)将被用作P(x，y)；x，y＝-1，0，…，7。

模式0是DC预测模式，并且全部“可获得”P(x，-1)和P(-1，y)；x，y  ＝-1，0，…，7的情况下，如在下面的表达式(63)产生对象宏块A的每一个像素的预测像素值Pred(x，y)。

[数学表达式14]

$\mathrm{Pred}(x,y)=(\left(\underset{n=0}{\overset{7}{\mathrm{\Σ}}}(P(-1,n)+P(n,-1))\right)+8)>>4$

其中x，y＝0，…，7         …(63)

此外，在“不可获得”P(-1，y)；x，y＝-1，0，…，7的情况下，如在下面的表达式(64)产生对象宏块A的每一个像素的预测像素值Pred(x，y)。

[数学表达式15]

$\mathrm{Pred}(x,y)=[\left(\underset{n=0}{\overset{7}{\mathrm{\Σ}}}P(n,-1)\right)+4]>>3$

其中x，y＝0，…，7              …(64)

此外，在“不可获得”P(x，-1)；x，y＝-1，0，…，7的情况下，如在下面的表达式(65)产生对象宏块A的每一个像素的预测像素值Pred(x，y)。

[数学表达式16]

$\mathrm{Pred}(x,y)=[\left(\underset{n=0}{\overset{7}{\mathrm{\Σ}}}P(-1,n)\right)+4]>>3$

其中x，y＝0，…，7                  …(65)

模式1是水平预测模式，并且仅应用于“可获得”P(-1，y)；x，y＝-1，0，…，7的情况下。在该情况下，如在下面的表达式(66)产生对象宏块A的每一个像素的预测像素值Pred(x，y)。

Pred(x，y)＝P(-1，y)；x，y＝0，…，7

…(66)

模式2是垂直预测模式，并且仅应用于“可获得”P(x，-1)；x，y＝-1，0，…，7的情况下。在该情况下，如在下面的表达式(67)产生对象宏块A的每一个像素的预测像素值Pred(x，y)。

Pred(x，y)＝P(x，-1)；x，y＝0，…，7

…(67)

模式3是平面预测模式，并且仅应用于“可获得”P(x，-1)和P(-1，y)；x，y＝-1，0，…，7的情况下。在该情况下，如在下面的表达式(68)产生对象宏块A的每一个像素的预测像素值Pred(x，y)。

[数学表达式17]

Pred(x，y)＝Clip1(a+b·(x-3)+c·(y-3)+16)＞＞5；x，y＝0，…，7

a＝16·(P(-1，7)+P(7，-1))

b＝(17·H+16)＞＞5

c＝(17·V+16)＞＞5

$H=\underset{x=1}{\overset{4}{\mathrm{\Σ}}}x\·[P(3+x,-1)-P(3-x,-1)]$

$V=\underset{y=1}{\overset{4}{\mathrm{\Σ}}}y\·[P(-\mathrm{1,3}+y)-P(-\mathrm{1,3}-y)]...\left(68\right)$

如上所述，对于亮度信号帧内预测模式存在9种类型的4×4像素和8×8像素块增量和四种类型的16×16像素宏块增量预测模式，对于色差信号帧内预测模式存在四种8×8像素块增量预测模式。可以与亮度信号帧内预测模式分离地设置色差帧内预测模式。对于亮度信号4×4像素和8×8像素帧内预测模式，对于每一个4×4像素和8×8像素亮度信号块定义一种帧内预测模式。对于亮度信号16×16像素帧内预测模式和色差帧内预测模式，对于每一个宏块定义一个预测模式。

注意，预测模式的类型对应于如上所述在图9中由编号0、1、3至8指示的方向。预测模式2是平均值预测。

接下来，将参考在图18中的流程图来描述在图5的步骤S31中的帧内预测处理，该帧内预测处理是对于这些帧内预测模式执行的处理。注意，在图18中的示例中，将亮度信号的情况描述为示例。

在步骤S41中，如上所述，对于亮度信号，帧内预测单元74对于4×4像素、8×8像素和16×16像素的每一个帧内预测模式执行帧内预测。

例如，将参考如上所述的图10来描述4×4像素帧内预测模式。在已经从画面重排缓冲器62读出的要处理的图像(例如，像素a至p)是要进行帧内处理的块图像的情况下，要参考的解码图像(由像素值A至M指示的像素)被从帧存储器72读出，并且经由开关73被提供到帧内预测单元74。

基于这些图像，帧内预测单元74执行要处理的块的像素的帧内预测。在每一个帧内预测模式中执行这个帧内预测处理导致在每一个帧内预测模式中产生的预测图像。注意，未通过去块滤波器71进行去块滤波的像素被用作要参考的解码信号(由像素值A至M指示的像素)。

在步骤S42中，帧内预测单元74计算4×4像素、8×8像素和16×16像素的每一个帧内预测模式的成本函数值。现在，高复杂度模式或低复杂度模式的一种技术用于计算成本函数值，如作为在H.264/AVC格式中的参考软件的JM(联合模型)中规定那样。

即，对于高复杂度模式，只要像步骤S41的处理那样对于所有的候选预测模式执行临时的编码处理，如在下面的表达式(69)中所示，对于每一个预测模式计算成本函数值，并且，产生最小值的预测模式被选择为最佳预测模式。

Cost(Mode)＝D+λR    …(69)

D是原始图像和解码图像之间的差(噪声)，R是包括正交变换系数的产生的代码量，λ是根据量化参数QP给出的拉格朗日乘数。

另一方面，在低复杂度模式中，对于步骤S41的处理，产生预测图像，并对于所有候选预测模式的诸如运动矢量信息和预测模式信息的首标比特执行计算，对于每一个预测模式计算在下面的表达式(70)中所示的成本函数值，将产生最小值的预测模式选择为最佳预测模式。

Cost(Mode)＝D+QPtoQuant(QP)    Header_Bit    …(70)

D是原始图像和解码图像之间的差(噪声)，Header_Bit是预测模式的首标比特，QPtoQuant是根据量化参数QP给出的函数。

在低复杂度模式中，对于所有的预测模式仅产生预测图像，并且不必执行编码处理和解码处理，所以必须执行的计算量小。

在步骤S43中，帧内预测单元74确定4×4像素、8×8像素和16×16像素的每一个帧内预测模式的最佳模式。即，如上参考图9所述，对于帧内4×4像素预测模式和帧内8×8像素预测模式存在9种类型的预测模式，并且对于帧内16×16像素预测模式存在4种类型的预测模式。相应地，帧内预测单元74从这些预测模式中确定最佳帧内4×4像素预测模式、最佳帧内8×8像素预测模式和最佳帧内16×16像素预测模式。

在步骤S44中，帧内预测单元74基于在步骤S42中计算的成本函数值从对于4×4像素、8×8像素和16×16像素的每一个帧内预测模式选择的最佳模式中选择一种帧内预测模式。即，从对于4×4像素、8×8像素和16×16像素的每一个帧内预测模式确定的最佳模式中选择其成本函数值最小的帧内预测模式。

接下来，将参考在图19中的流程图来描述在图5的步骤S32中的帧间运动预测处理。

在步骤S51中，运动预测/补偿单元77确定如上参考图2所述的、由16×16像素到4×4像素构成的8种类型的帧间预测模式的每一个的运动矢量和参考信息。即，对于每一个帧间预测模式的要处理的块确定运动矢量和参考图像。

在步骤S52中，对于由16×16像素到4×4像素构成的8种类型的帧间预测模式的每一个，运动预测/补偿单元77基于在步骤S51中确定的运动矢量来执行参考图像的运动预测和补偿处理。作为这种运动预测和补偿处理的结果，在每一个帧间预测模式中产生预测图像。

在步骤S53中，运动预测/补偿单元77基于对于由16×16像素到4×4像素构成的8种类型的帧间预测模式确定的运动矢量来产生要加到压缩图像上的运动矢量图像。

现在，将参考图20来描述对于H.264/AVC格式的运动矢量产生方法。在图20中的示例示出要编码的对象块E(例如，16×16像素)和已经编码并且接近对象块E的块A至D。

即，块D位于对象块E的左上，块B位于对象块E之上，块C位于对象块E右上，并且块A位于对象块E的左面。注意，不分割块A至D的原因是表达它们是16×16像素到4×4像素的配置之一的块，如上参考图2所述。

例如，我们将关于X(＝A，B，C，D，E)的运动矢量信息表达为mv_X。首先，使用与块A、B和C相关的运动矢量信息，如在下面的表达式(71)中所示，产生关于块E的预定运动矢量信息(运动矢量的预测值)pmv_E。

pmv_E＝med(mv_A，mv_B，mv_C)       …(71)

在由于诸如在图像帧的边缘或还没有被编码的原因而不可获得与块C相关的运动矢量信息的情况下，用与块D相关的运动矢量信息替换与块C相关的运动矢量信息。

使用，如在下面的表达式(72)中所示，产生作为关于对象块E的运动矢量信息的、要加到压缩图像的首标部分的数据mvd_E。

mvd_E＝mv_E-pmv_E    …(72)

注意在实际的实施中，对于运动矢量信息的水平方向和垂直方向的每一个分量独立地执行处理。

这样，可以通过下述方式来减小运动矢量信息：产生预测运动矢量信息，并将在从与相邻块的相关产生的预测运动矢量信息和运动矢量信息之间的差加到压缩图像的首标部分。

以这种方式产生的运动矢量信息也用于在下面的步骤S54中计算成本函数值，并且在预测图像选择单元80最终选择对应的预测图像的情况下，这与模式信息和参考帧信息一起输出到无损编码单元66。

参见图19，在步骤S54中，运动预测/补偿单元77对于由16×16像素至4×4像素构成的8种帧间预测模式的每一个帧间预测模式，计算在如上所述的表达式(69)或表达式(70)中所示的成本函数值。在如上所述的图5中的步骤S36中确定最佳帧间预测模式时使用在此计算的成本函数值。

注意，关于帧间预测模式的成本函数值的计算包括在H.264/AVC格式中规定的跳越模式和直接模式中的成本函数值的评价。

接下来，将参考在图21中的流程图来描述在图5的步骤S33中的帧内模板预测处理。

在步骤S61中，亮度帧内TP运动预测/补偿单元75执行在帧内模板预测模式中的亮度信号的运动预测/补偿处理，即，基于帧内模板匹配方法，亮度帧内TP运动预测/补偿单元75搜索关于亮度信号的运动矢量，并基于该运动矢量产生预测图像。此时，搜索到的亮度信号的运动矢量信息与从画面重排缓冲器62已经读出的用于帧内预测的图像和从帧存储器72提供的参考图像一起被提供到色差帧内TP运动预测/补偿单元76。

现在，将参考图22来详细描述帧内模板匹配方法。

在图22中的示例中，在要编码的未示出对象帧上示出了4×4像素的块A以及在由X×Y(＝垂直×水平)像素构成的范围内的已经编码的像素所配置的预定搜索范围。

在块A中示出从现在起要编码的对象子块a。这个对象子块a是在构成块A的2×2像素子块的左上处的子块。由已经编码的像素构成的模板区域b接近对象子块a。即，在以光栅扫描顺序执行编码处理的情况下，模板区域b是位于如图22中所示的对象子块a的左上侧处的区域，并且是在帧存储器72中累积关于其的解码图像的区域。

亮度帧内TP运动预测/补偿单元75在对象帧的预定搜索范围E内利用例如作为成本函数值的SAD(绝对差的和)等执行模板匹配，并搜索与模板区域b的像素值的相关是最高的区域b’。亮度帧内TP运动预测/补偿单元75然后将找到的区域b’所对应的块a’作为关于对象子块a的预测图像，并搜索对象块a所对应的运动矢量。

如此处所述，对于使用帧内模板匹配方法的运动矢量搜索处理，解码图像用于模板匹配处理，因此通过预先设置预定的搜索范围E，可以对于图1中的图像编码设备51和在图28中的后面描述的图像解码设备101执行相同的处理。即，也对于图像解码设备101，配置亮度帧内TP运动预测/补偿单元122消除了向图像解码设备101发送关于对象子块的运动矢量信息的必要，因此可以减少在压缩图像中的运动矢量信息。虽然将省略描述，但是这对于色差信号得情况也是同样的。

虽然已经在图22中描述了2×2像素的对象子块，但是这不是限制性的，而是可以应用可选大小的子块，并且在帧内模板预测模式中的块和模板的大小是可选的。即，与帧内预测单元74的情况相同，可以使用作为候选的每一个帧内预测模式的块大小执行帧内模板预测模式，或可以固定到一个预测模式块大小来执行帧内模板预测模式。相对于对象块大小，模板大小可以是可变的或可以是固定的。

在步骤S62，色差帧内TP运动预测/补偿单元76执行在帧内模板预测模式中的色差信号的运动预测/补偿处理。即，色差帧内TP运动预测/补偿单元76基于帧内模板匹配方法来搜索关于色差信号的运动矢量，并基于该运动矢量来产生预测图像。此时，色差帧内TP运动预测/补偿单元76使用由亮度帧内TP运动预测/补偿单元75搜索到的运动矢量信息来获得搜索的中心，并在以其为中心的预定搜索范围内执行运动预测。

注意，关于色差信号的用于处理的块大小和模板大小与亮度信号的块大小和模板大小可以是相同的，或可以是不同的。

此外，对于帧内模板匹配方法，对于如上参考图3所述的亮度信号执行使用6抽头FIR的四分之一像素精度运动预测/补偿处理，但是使用用于色差信号的线性插值来执行1/8像素精度运动预测/补偿处理。

然而，对于所有的候选像素值执行1/8像素精度运动预测/补偿处理需要大量的计算量。相应地，在色差帧内TP运动预测/补偿单元76，首先，执行整数像素精度运动预测/补偿处理，并且在由此获得的最佳运动矢量信息周围进行半像素精度运动预测/补偿处理。还在通过半像素精度运动预测/补偿处理获得的最佳运动矢量信息周围进行四分之一像素精度运动预测/补偿处理，并且进一步，在由此获得的最佳运动矢量信息周围进行1/8像素精度运动预测/补偿处理。

然而，注意，独立于色差信号来执行帧内模板匹配方法运动预测/补偿处理导致提高了在图1中的图像编码设备51处和在图28中的图像解码设备101处的计算量。

相应地，在执行帧内模板匹配方法运动预测/补偿处理时，色差帧内TP运动预测/补偿单元76使用由亮度帧内TP运动预测/补偿单元75搜索到的运动矢量信息来获得搜索的中心，并执行在以其为搜索中心的预定搜索范围内运动预测。

详细而言，首先，我们说在亮度帧内TP运动预测/补偿单元75处对于(2n，2m)像素大小的块执行用于亮度信号的帧内模板预测模式运动预测/补偿处理，从而获得运动矢量信息(MVTM_h，MVTM_V)。

现在，我们将根据图像信号的色度格式如在下面的表达式(73)中那样定义r_h和r_v。

[数学表达式18]

此时，色差帧内TP运动预测/补偿单元76将搜索中心作为具有(2n/r_h，2m/r_v)像素大小的块的增量的(MVTM_h/r_h，MVTM_v/r_v)，搜索其周围的若干像素，并且执行运动预测。这样，在将在编码效率上的劣化保持得最小的同时，可以实现计算量的减小。

注意相除得到的分数被四舍五入，使得搜索中心具有在色差信号中的整数像素精度。此外，此时模板大小对于亮度信号和色差信号可以是相同的，或可以是通过(r_h，r_v)转换的值。此外，可以执行使用对于亮度信号和色差信号分别确定的模板大小的模板匹配处理。

此外，可以对于Cb/Cr的每一个执行帧内模板预测模式运动预测/补偿处理，或基于诸如差信号等的成本函数值对Cb和Cr一起来执行帧内模板预测模式运动预测/补偿处理。

图23是用于描述如上所述的帧内模板预测模式中色差信号的运动预测/补偿处理的图。我们说，输入图像信号是4:2:0格式的。在图23中示出的示例从左起示出亮度信号Y、色差信号Cb和色差信号Cr的每一个的帧内模板预测模式运动预测/补偿处理。

例如，对于亮度帧内TP运动预测/补偿单元75，我们说，对于亮度块A_Y，使用与4×4像素的亮度块A_Y相邻并且由编码像素构成的模板区域B_Y，由此，对于亮度信号执行帧内模板预测模式运动预测/补偿处理，从而获得运动矢量信息V_Y。

此时，色差帧内TP运动预测/补偿单元76获得其中已经缩放了运动矢量信息V_Y的运动矢量信息V_Y’，并且将以此为中心的周围像素的范围E作为搜索范围。色差帧内TP运动预测/补偿单元76使用模板区域B_C对2×2像素的色差块A_C执行从范围E的关于色差信号Cb和Cr的运动预测，所述模板区域B_C由编码的像素构成，并且接近色差块A_C。相应地，可以在将编码效率的劣化保持得最小的同时，实现计算量的减小。

图24是描述上述的帧内模板预测模式运动预测/补偿处理的另一个示例的图。我们说，输入图像信号具有4:2:0格式。在图24中所示的示例从左起示出亮度信号Y和色差信号Cb/Cr的每一个的帧内模板预测模式运动预测/补偿处理。

例如，对于亮度帧内TP运动预测/补偿单元75，我们说，对于4×4像素的四个亮度块A_Y1、A_Y2、A_Y3和A_Y4的每一个执行亮度信号的帧内模板预测模式运动预测/补偿处理，从而分别获得运动矢量信息tmmv₁、tmmv₂、tmmv₃和tmmv₄。

此时，色差帧内TP运动预测/补偿单元76从运动矢量信息tmmv₁、tmmv₂、tmmv₃和tmmv₄获得代表值tmmv_C，并且将来自以此为中心的周围像素的范围E作为搜索范围。色差帧内TP运动预测/补偿单元76使用模板区域(未示出)对于4×4像素的色差块A_C执行从范围E的关于色差信号Cb和Cr的运动预测，所述模板区域由编码的像素构成，并且接近色差块A_C。

注意，通过诸如平均值的处理来获得代表值tmmv_c，例如如在表达式(74)中所示。

[数学表达式19]

tmmv_C＝f(tmmv₁，tmmv₂，tmmv₃，tmmv₄)      …(74)

注意代表值不限于平均值，并且可以通过诸如中值的其它处理获得，只要它是从运动矢量信息tmmv₁、tmmv₂、tmmv₃和tmmv₄获得的代表值。

返回图21，在步骤S62中产生的色差信号的预测图像被提供到亮度帧内TP运动预测/补偿单元75。由亮度和色差帧内模板预测模式运动预测/补偿处理产生的预测图像被提供到帧内预测单元121。

在步骤S63，亮度帧内TP运动预测/补偿单元75对于帧内模板预测模式计算在如上所述的表达式(69)或表达式(70)中所示的成本函数值。在此计算的成本函数值用于确定在如上所述的图5中的步骤S34中的最佳帧内预测模式。

接下来，将参考在图25中的流程图来描述在图5中的步骤S35中的帧间模板预测处理。

在步骤S71中，亮度帧间TP运动预测/补偿单元78执行在帧间模板预测模式中的亮度信号的运动预测/补偿处理。即，亮度帧间TP运动预测/补偿单元78基于帧间模板匹配方法来搜索亮度信号的运动矢量，并基于该运动矢量来产生预测图像。此时，已经找到的亮度信号运动矢量信息与已经从画面重排缓冲器62读出的用于帧间预测的图像和从帧存储器72提供的参考图像一起被提供到色差帧间TP运动预测/补偿单元79。

现在，将参考图26来详细描述帧间模板匹配方法。

在图26中的示例中，示出要编码的对象帧以及在搜索运动矢量时参考的参考帧。在对象帧中示出从现在起要编码的对象块A和接近对象块A并且由已经编码的像素构成的模板区域B。即，模板区域B是当以光栅扫描顺序执行编码时在对象块A的左上侧的区域，如图26中所示，并且是在帧存储器72中累积解码图像的区域。

亮度帧间TP运动预测/补偿单元78在对象帧上的预定搜索范围E内使用作为成本函数值的例如SAD(绝对差的和)等来对亮度信号执行模板匹配，并搜索其中与模板区域B的像素值的相关最高的区域B’。亮度帧间TP运动预测/补偿单元78然后将与找到的区域B’对应的块A’作为关于对象块A的预测图像，并搜索与对象块A对应的运动矢量P。

如此处所述，对于使用帧间模板匹配方法的运动矢量搜索处理，解码图像用于模板匹配处理，因此通过预先设置预定的搜索范围E，可以对图1中的图像编码设备51和在图28中的后述图像解码设备101执行相同的处理。即，也对于图像解码设备101，配置亮度帧间TP运动预测/补偿单元125消除了向图像解码设备101发送关于对象子块的运动矢量信息的必要，因此可以减少在压缩图像中的运动矢量信息。虽然将省略描述，但是这对于色差信号的情况也是同样的。

注意，在帧间模板预测模式中的块和模板的大小是可选的。即，与运动预测/补偿单元77的情况相同，可以使用从如上使用图2所述的16×16至4×4像素的固定的一个块大小来执行帧间模板预测模式，或可以将所有的块大小用作候选。相对于块大小，模板大小可以是固定的，或可以是可变的。

在步骤S72中，色差帧间TP运动预测/补偿单元79执行帧间模板预测模式色差信号运动预测/补偿处理。即，色差帧间TP运动预测/补偿单元79基于帧间模板匹配方法搜索色差信号的运动矢量，并基于该运动矢量来产生预测图像。

由在色差帧间模板预测模式中的运动预测/补偿处理产生的预测图像被提供到亮度帧间TP运动预测/补偿单元78。由在亮度和色差帧间模板预测模式中的运动预测/补偿处理产生的预测图像被提供到运动预测/补偿单元77。

注意，在步骤S72的运动预测时，色差帧间TP运动预测/补偿单元79使用由亮度帧间TP运动预测/补偿单元78找到的运动矢量信息来获得搜索的中心，并以与上面参考图23和图24所述的帧内模板预测模式相同的方式，执行在以所述中心为搜索中心的预定搜索范围内的运动预测。

然而，注意，在帧间模板匹配的情况下，需要考虑多参考帧的处理。

现在，将参考图27来描述在H.264/AVC格式中规定的多参考帧的运动预测/补偿方法。

在图27中的示例中，示出要从现在起编码的对象帧F_n和已经编码的帧F_n-5，…，F_n-1。帧F_n-1是在对象帧F_n之前一个的帧，帧F_n-2是在对象帧F_n之前两个的帧，帧F_n-3是在对象帧F_n之前三个的帧。此外，帧F_n-4是对象帧F_n之前四个的帧，并且F_n-4是在对象帧F_n之前五个的帧。帧越接近对象帧，则帧的索引(也称为参考帧编号)越小。即，索引以F_n-1，…，F_n-5的顺序变小。

在对象帧F_n中显示块A₁和块A₂，并且由于与在之前两个的帧F_n-2中的块A₁′的相关，已经找到运动矢量V₁。此外，由于与在之前四个的帧F_n-4中的块A₁′的相关，已经找到运动矢量V₂。

即，对于MPEG2，可以被引用的唯一P画面是紧前的帧F_n-1，但是，对于H.264/AVC格式，可以具有多个参考帧，并且可以具有对于每一个块独立的参考帧信息，诸如块A₁参考F_n-2而块A₂参考F_n-4。

然而，对于所有的参考帧使用帧间模板匹配方法执行运动预测将导致提高计算量，所述所有的参考帧是关于与亮度信号分离的色差信号的多参考帧的候选。

相应地，我们说，在使用与色差信号相关的帧间模板匹配方法的运动预测处理中，仅搜索通过使用关于对应的亮度信号块的帧间模板匹配方法的运动预测处理所找到的参考帧。

然而，注意，如图24中所示，在对于与多个亮度块对应的单个色差块使用模板匹配来执行运动预测处理的情况下，具有最小索引的对应亮度块被用作色差块的参考帧。

注意，色差信号的块大小和模板大小可以与亮度信号的块大小和模板大小相同，或可以不同。

如上所述，可以使用关于与亮度信号分离的色差信号的模板匹配方法来执行运动预测/补偿处理，由此可以改善编码效率。

此外，在关于色差信号的模板预测模式中执行运动预测的情况下，在通过使用关于亮度信号的模板预测模式的运动预测搜索到的运动矢量信息周围的预定搜索范围内执行运动矢量搜索，因此可以减小计算量。

解码的压缩图像经由预定的传输路径发送，并且被图像解码设备解码。

图28图示作为已经应用了本发明的图像处理设备的图像解码设备的一个实施例的配置。

图像解码设备101由累积缓冲器111、无损解码单元112、量化单元113、逆正交变换单元114、计算单元115、去块滤波器116、画面重排缓冲器117、D/A转换器118(数模转换器118)、帧存储器119、开关120、帧内预测单元121、亮度帧内模板运动预测/补偿单元122、色差帧内模板运动预测/补偿单元123、运动预测/补偿单元124、亮度帧间模板运动预测/补偿单元125、色差帧间模板运动预测/补偿单元126和开关127构成。

注意在下面，亮度帧内模板运动预测/补偿单元122和色差帧内模板运动预测/补偿单元123将分别被称为亮度帧内TP运动预测/补偿单元122和色差帧内TP运动预测/补偿单元123。此外，亮度帧间模板运动预测/补偿单元125和色差帧间模板运动预测/补偿单元126将分别被称为亮度帧间TP运动预测/补偿单元125和色差帧间TP运动预测/补偿单元126。

累积缓冲器111累积向其发送的压缩图像。无损解码单元112使用与无损编码单元66的编码格式对应的格式来对已经从累积缓冲器111提供的由无损编码单元66编码的信息进行解码。逆量化单元113使用与在图1中的量化单元65的量化格式对应的格式来对由无损解码单元112解码的图像执行逆量化。逆正交变换单元114使用与在图1中的正交变换单元64的正交变换格式对应的格式来对逆量化单元113的输出执行逆正交变换。

逆正交变换的输出被计算单元115加上从开关127提供的预测图像。去块滤波器116去除在解码图像中的块噪声，提供到帧存储器119以被累积，并且输出到画面重排缓冲器117。

画面重排缓冲器117执行图像的重排。即，由在图1中的画面重排缓冲器62以编码顺序重排的帧的顺序被重排为原始的显示顺序。D/A转换器118执行从画面重排缓冲器117输出的图像的D/A转换(数模转换)，并输出到未示出的显示器以显示。

开关120从帧存储器119读出要进行帧间编码的图像和要参考的图像，并输出到运动预测/补偿单元124，还读出用于帧内预测的图像，并提供到帧内预测单元121。

与由解码首标信息获得的帧内预测模式相关的信息被从无损解码单元112提供到帧内预测单元121。在提供的信息是关于帧内预测模式的情况下，帧内预测单元121基于这个信息产生预测图像。在提供的信息是关于帧内模板预测模式的情况下，帧内预测单元121向亮度帧内TP运动预测/补偿单元122提供用于帧内预测的图像，以在帧内模板预测模式中执行运动预测/补偿处理。

帧内预测单元121向开关127输出产生的预测图像或由亮度帧内TP运动预测/补偿单元122产生的预测图像。

与在图1中的亮度帧内TP运动预测/补偿单元75相同，亮度帧内TP运动预测/补偿单元122执行帧内模板预测模式的运动预测/补偿处理。即，亮度帧内TP运动预测/补偿单元122基于从帧存储器119读出的用于帧内预测的图像来执行在帧内模板预测模式中的亮度信号的运动预测/补偿处理，并且产生亮度信号的预测图像。由亮度帧内模板预测模式运动预测/补偿处理产生的预测图像被提供到帧内预测单元121。

亮度帧内TP运动预测/补偿单元122向色差帧内TP运动预测/补偿单元123提供从帧存储器119读出的用于帧内预测的图像和在亮度信号的运动预测/补偿处理中搜索到的运动矢量信息。

与在图1中的色差帧内TP运动预测/补偿单元76相同，色差帧内TP运动预测/补偿单元123执行在帧内模板预测模式中的亮度信号的运动预测/补偿处理。即，色差帧内TP运动预测/补偿单元123基于从帧存储器119读出用于帧内预测的图像来执行在帧内模板预测模式中的色差信号的运动预测/补偿处理，并产生色差信号的预测图像。此时，色差帧内TP运动预测/补偿单元123使用由亮度帧内TP运动预测/补偿单元122搜索到的运动矢量信息来获得搜索的中心，并执行在以此为搜索中心的预定搜索范围内的运动预测。

色差帧内TP运动预测/补偿单元123向亮度帧内TP运动预测/补偿单元122提供所产生的预测图像。

从无损解码单元112向运动预测/补偿单元124提供通过解码首标信息(预测模式、运动矢量信息、参考帧信息)而获得的信息。在提供作为帧间预测模式的信息的情况下，运动预测/补偿单元124基于运动矢量信息和参考帧信息来将图像进行运动预测和补偿处理，并产生预测图像。在提供作为帧间模板预测模式的信息的情况下，运动预测/补偿单元124向亮度帧间TP运动预测/补偿单元125提供已经从帧存储器119读出的要执行帧间编码的图像和要参考的图像，使得在帧间模板预测模式中执行运动预测/补偿处理。

此外，运动预测/补偿单元124向开关127输出使用帧间预测模式产生的预测图像或使用帧间模板预测模式产生的预测图像之一。

与在图1中的亮度帧间TP运动预测/补偿单元78相同，亮度帧间TP运动预测/补偿单元125执行在帧间模板预测模式中的亮度信号的运动预测和补偿处理。即，亮度帧间TP运动预测/补偿单元125基于已经从帧存储器119读出的要执行帧间编码的图像和要参考的图像来执行在帧间模板预测模式中的运动预测和补偿处理，并且产生亮度信号预测图像。通过帧间模板预测模式运动预测/补偿处理产生的预测图像被提供到运动预测/补偿单元124。

亮度帧间TP运动预测/补偿单元125向色差帧间TP运动预测/补偿单元126提供已经从帧存储器119读出的要执行帧间编码的图像和在亮度信号的运动预测和补偿处理中找到的矢量信息。

与在图1中的色差帧间TP运动预测/补偿单元79相同，色差帧间TP运动预测/补偿单元126执行在帧间模板预测模式中的色差信号的运动预测和补偿处理。即，色差帧间TP运动预测/补偿单元126基于从帧存储器119提供的图像来执行在帧间模板预测模式中的色差信号的运动预测和补偿处理，并产生色差信号的预测图像。此时，色差帧间TP运动预测/补偿单元126使用由亮度帧间TP运动预测/补偿单元125找到的运动矢量信息来获得搜索的中心，并执行在以其为搜索中心的预定搜索范围内的运动预测。

色差帧间TP运动预测/补偿单元126向亮度帧间TP运动预测/补偿单元125提供所产生的预测图像。

开关127选择由运动预测/补偿单元124或帧内预测单元121产生的预测图像，并将其提供到计算单元115。

接下来，将参考在图29中的流程图来描述图像解码设备101执行的解码处理。

在步骤S131中，累积缓冲器111累积向其发送的图像。在步骤S132中，无损解码单元112解码从累积缓冲器111提供的压缩图像。即，对无损编码单元66编码的I画面、P画面和B画面进行解码。

此时，也解码运动矢量信息和预测模式信息(用于表示帧内预测模式、帧内模板预测模式、帧间预测模式或帧间模板预测模式的信息)。即，在预测模式信息是帧内预测模式或帧内模板预测模式的情况下，向帧内预测单元121提供预测模式信息。在预测模式信息是帧间预测模式或帧间模板预测模式的情况下，向运动预测/补偿单元124提供预测模式信息。此时，在存在对应的运动矢量信息或参考帧信息的情况下，其也被提供到运动预测/补偿单元124。

在步骤S133中，逆量化单元142使用与在图1中的量化单元65的属性对应的属性来对在无损解码单元112解码的变换系数执行逆量化。在步骤S134，逆正交变换单元114使用与在图1中的正交变换单元64的属性对应的属性来对在逆量化单元142进行逆量化的变换系数执行逆正交变换。相应地，已经解码了与在图1中的正交变换单元64的输入(计算单元63的输出)对应的差信息。

在步骤S135，计算单元115对该差信息加上在下面描述的步骤S139的处理中选择并且经由开关127输入的预测图像。这样，解码了原始图像。在步骤S136中，去块滤波器116对从计算单元115输出的图像执行滤波。这样，消除了块噪声。在步骤S137中，帧存储器119存储滤波的图像。

在步骤S138中，帧内预测单元121、亮度帧内TP运动预测/补偿单元122和色差帧内TP运动预测/补偿单元123、运动预测/补偿单元124或亮度帧间TP运动预测/补偿单元125和色差帧间TP运动预测/补偿单元126的每一个根据从无损解码单元112提供的预测模式信息来执行图像预测处理。

即，在从无损解码单元112提供帧内预测模式信息的情况下，无损解码单元112执行在帧内预测模式中的帧内预测处理。在从无损解码单元112提供帧内模板预测模式信息的情况下，亮度帧内TP运动预测/补偿单元122和色差帧内TP运动预测/补偿单元123执行在帧内模板预测模式中的运动预测/补偿处理。此外，在从无损解码单元112提供帧间预测模式信息的情况下，运动预测/补偿单元124执行在帧间预测模式中的运动预测/补偿处理。在从无损解码单元112提供帧间模板预测模式信息的情况下，亮度帧间TP运动预测/补偿单元125和色差帧间TP运动预测/补偿单元126执行在帧间模板预测模式中的运动预测/补偿处理。

虽然下面将描述在步骤S138中的预测处理的细节，但是由于这个处理，由帧内预测单元121产生的预测图像、由亮度帧内TP运动预测/补偿单元122和色差帧内TP运动预测/补偿单元123产生的预测图像、由运动预测/补偿单元124产生的预测图像或由亮度帧间TP运动预测/补偿单元125和色差帧间TP运动预测/补偿单元126产生的预测图像被提供到开关127。

在步骤S139中，开关127选择预测图像。即，由帧内预测单元121产生的预测图像、由亮度帧内TP运动预测/补偿单元122和色差帧内TP运动预测/补偿单元123产生的预测图像、由运动预测/补偿单元124产生的预测图像或由亮度帧间TP运动预测/补偿单元125和色差帧间TP运动预测/补偿单元126产生的预测图像被提供到开关127。所提供的预测图像被选择和提供到计算单元115，并且被加到在如上所述的步骤S134中逆正交变换单元114的输出上。

在步骤S140中，画面重排缓冲器117执行重排。即，以原始显示顺序来重排由在图1中的图像编码设备51的画面重排缓冲器62为编码而重排的帧的顺序。

在步骤S141中，D/A转换器118执行来自画面重排缓冲器117的图像的D/A转换。这个图像被输出到未示出的显示器，并被显示。

接下来，将参考图30来描述在图29中的步骤S138的预测处理。

在步骤S171中，帧内预测单元121确定对象块是否已经进行了帧内编码。在从无损解码单元112向帧内预测单元121提供了帧内预测模式信息或帧内模板预测模式信息的情况下，帧内预测单元121在步骤S171中确定对象块已经进行了帧内编码，并且在步骤S172确定来自无损解码单元112的预测模式信息是否是帧内预测模式信息。

在步骤S172中，在帧内预测单元121确定这是帧内预测模式信息的情况下，在步骤S173中执行帧内预测。

即，在要处理的图像是要进行帧内处理的图像的情况下，必要的图像被从帧存储器119读出并且经由开关120被提供到帧内预测单元121。在步骤S173中，帧内预测单元121根据从无损解码单元112提供的帧内预测模式信息来执行帧内预测，并产生预测图像。

在步骤S172中确定这不是帧内预测模式信息的情况下，流程进行到步骤S174，并且，执行帧内模板预测模式处理。

在要处理的图像是要进行帧间模板预测处理的图像的情况下，必要的图像被从帧存储器119读出，并且经由开关120和帧内预测单元121被提供到亮度帧内TP运动预测/补偿单元122。在步骤S174中，亮度帧内TP运动预测/补偿单元122基于从帧存储器119读出的图像来执行在帧内模板预测模式中的亮度信号的帧内模板运动预测处理。

即，在步骤S174中，亮度帧内TP运动预测/补偿单元122基于帧内模板匹配方法来搜索亮度信号的帧内运动矢量，并基于该运动矢量来产生亮度信号的预测图像。

亮度帧内TP运动预测/补偿单元122向色差帧内TP运动预测/补偿单元123提供已经从帧存储器119读出的用于帧内预测的图像以及在亮度信号的运动预测和补偿处理中找到的运动矢量信息。

相应地，在步骤S175中，色差帧内TP运动预测/补偿单元123基于已经从帧存储器119读出的用于帧内预测的图像来执行在帧内模板预测模式中的色差信号的运动预测和补偿处理，并产生色差信号的预测图像。此时，色差帧内TP运动预测/补偿单元123使用由亮度帧内TP运动预测/补偿单元122找到的运动矢量信息来获得搜索中心，并在以其为搜索中心的预定搜索范围中执行运动预测。

由色差信号帧内模板预测模式运动预测/补偿处理产生的预测图像被提供到亮度帧内TP运动预测/补偿单元122。由亮度和色差帧内模板预测模式运动预测/补偿处理产生的预测图像被提供到帧内预测单元121。

注意，步骤S174和S175的处理一般执行与如上所述在图21中的步骤S61和S62中相同的处理，因此将省略其详细描述。

另一方面，在步骤S171中确定对象块还没有进行帧内编码的情况下，处理进行到步骤S176。

在要处理的图像是要进行帧间处理的图像的情况下，向帧内预测单元121提供帧间预测模式信息、参考帧信息和运动矢量信息。在步骤S176中，运动预测/补偿单元124确定来自无损解码单元112的预测模式信息是否是帧间预测模式信息，并且在确定这是帧间预测模式信息的情况下，在步骤S177中，执行帧间运动预测。

在要处理的图像是要进行帧间预测处理的图像的情况下，必要的图像被从帧存储器119读出，并且经由开关120被提供到运动预测/补偿单元124。在步骤S174中，运动预测/补偿单元124基于从无损解码单元112提供的运动矢量来执行帧间预测模式运动预测，并产生预测图像。

在步骤S176中确定这不是帧间预测模式信息的情况下，即在这是帧间模板预测模式信息的情况下，处理进行到步骤S178，并且执行帧间模板预测模式处理。

在要处理的图像是要进行帧间模板预测处理的图像的情况下，必要的图像被从帧存储器119读出，并且经由开关120和运动预测/补偿单元124被提供到亮度帧间TP运动预测/补偿单元125。在步骤S178中，亮度帧间TP运动预测/补偿单元125基于从帧存储器119读出的图像来执行在帧间模板预测模式中的亮度信号帧间模板运动预测处理。

即，在步骤S178中，亮度帧间TP运动预测/补偿单元125基于帧间模板匹配方法来搜索亮度信号帧间运动矢量，并基于该运动矢量来产生亮度信号的预测图像。

亮度帧间TP运动预测/补偿单元125向色差帧间TP运动预测/补偿单元126提供从帧存储器119读出的用于帧间预测的图像以及在亮度信号运动预测和补偿处理中找到的运动矢量信息。

相应地，色差帧间TP运动预测/补偿单元126基于从帧存储器119读出的用于帧间预测的图像来执行在帧间模板预测模式中的色差信号运动预测和补偿处理，并产生色差信号预测图像。此时，色差帧间TP运动预测/补偿单元126使用由亮度帧间TP运动预测/补偿单元125找到的运动矢量信息来获得搜索中心，并在以其为搜索中心的预定搜索范围中执行运动预测。

由在色差帧间模板预测模式中的运动预测/补偿处理产生的预测图像被提供到亮度帧间TP运动预测/补偿单元125。由亮度和色差帧间模板预测模式运动预测/补偿处理产生的预测图像被提供到运动预测/补偿单元124。

注意，在这些步骤S178和S179中的处理一般执行与如上所述在图25中的步骤S71和S72相同的处理，因此将省略其详细描述。

如上所述，对于图像编码设备和图像解码设备，基于其中使用解码图像来执行运动搜索的模板匹配来执行运动预测，因此可以不发送运动矢量信息而显示良好的图像质量。

此外，此时，与亮度信号的运动预测分离地执行色差信号的运动预测，所以可以改善压缩效率。

此外，在执行色差信号的运动预测时，在通过亮度信号的运动预测找到的运动矢量信息周围执行搜索，因此可以减小用于运动矢量搜索所需的计算量。

此外，在执行使用H.264/AVC格式的运动预测/补偿处理时，也执行基于模板匹配的预测，并且选择具有较好的成本函数值的那个来使用其执行编码处理，由此可以改善编码效率。

现在，我们考虑向在4×4像素增量块中的色差信号应用上述的帧内或帧间模板匹配。

如上参考图6所述，对于色差信号，将宏块划分为4×4像素，并执行4×4像素DCT。在执行4×4像素DCT后，聚集每一个块的直流分量，并且像块16和17那样产生2×2像素块，该2×2像素块进一步进行正交变换。

即，由于在块16中所示的直流分量的正交变换，当处理块19时未识别关于块18的解码图像的像素值。相应地，在实际实施中，在处理在4×4像素增量块中的色差信号时，不能执行使用相邻像素的模板匹配处理。

相应地，对于在图31中所示的图像编码设备，在执行模板匹配时控制关于直流分量的正交变换。注意在下面，适当时直流分量也被称为DC分量。

图31表示作为已经应用了本发明的图像处理设备的图像编码设备的另一个实施例的配置。

在图31中的图像编码设备151由A/D转换器61、画面重排缓冲器62、计算单元63、正交变换单元64、量化单元65、无损编码单元66、累积缓冲器67、逆量化单元68、逆正交变换单元69、计算单元70、去块滤波器71、帧存储器72、开关73、帧内预测单元74、运动预测/补偿单元77、预测图像选择单元80、速率控制单元81、帧内模板运动预测/补偿单元161、帧间模板运动预测/补偿单元162和正交变换控制单元163构成。

虽然从附图中省略，但是帧内模板运动预测/补偿单元161由图1中所示的亮度帧内TP运动预测/补偿单元75和色差帧内TP运动预测/补偿单元76构成。此外，帧间模板运动预测/补偿单元162由在图1中的亮度帧间TP运动预测/补偿单元78和色差帧间TP运动预测/补偿单元79构成。

即，在图31中的图像编码设备151与在图1中的图像编码设备51不同在于，已经增加了正交变换控制单元163，但是其它点基本上是与在图1中的图像编码设备51相同的配置。

帧内模板运动预测/补偿单元161以与在图1中的亮度帧内TP运动预测/补偿单元75和色差帧内TP运动预测/补偿单元76相同的方式，执行在帧内模板预测模式中的亮度信号和色差信号的运动预测/补偿处理。此时，帧内模板运动预测/补偿单元161向正交变换控制单元163输出要对于其执行模板匹配的对象块的信息。

帧间模板运动预测/补偿单元162使用与在图1中的亮度帧间TP运动预测/补偿单元78和色差帧间TP运动预测/补偿单元79相同的方式，执行在帧间模板预测模式中的亮度信号和色差信号的运动预测和补偿处理。此时，帧间模板运动预测/补偿单元162向正交变换控制单元163输出要对于其执行模板匹配的对象块的信息。

要对于其执行模板匹配的对象块的信息被从帧内模板运动预测/补偿单元161或帧间模板运动预测/补偿单元162输入到正交变换控制单元163。

正交变换控制单元163执行在模板预测模式中的正交变换控制处理。即，正交变换控制单元163执行关于要对于其执行模板匹配的对象块是否与色差信号相关的第一确定，并且执行关于要对于其执行模板匹配的对象块是否是宏块的第二确定。正交变换控制单元163然后根据第一确定结果和第二确定结果来控制正交变换单元64和逆正交变换单元69。

例如，在对象块与色差信号相关并且不是宏块的情况下，正交变换单元64和逆正交变换单元69被控制使得禁止对于每一个块的直流分量的正交变换和逆正交变换。

在对象块与色差信号相关并且是宏块的情况下，正交变换单元64和逆正交变换单元69被控制使得执行对于每一个块的直流分量的正交变换和逆正交变换。

图32图示正交变换控制单元的配置示例。

在图32中，正交变换控制单元163由亮度/色差区分单元171、块大小区分单元172和DC正交变换控制单元173构成。

要对于其执行模板匹配的对象块的信息被从帧内模板运动预测/补偿单元161或帧间模板运动预测/补偿单元162提供到亮度/色差区分单元171。例如，用于指示对象块与亮度信号或色差信号相关的信息、对象块的块大小信息和对象块的直流分量信息等被提供为对象块信息。

基于这些信息，亮度/色差区分单元171确定要对于其执行模板匹配的块是否与色差信号相关。仅在要对于其执行模板匹配的块与色差信号相关的情况下，亮度/色差区分单元171才向块大小区分单元172提供对象块信息。

即，在要对于其执行模板匹配的块与亮度信号相关的情况下，不执行通过DC正交变换控制单元173的正交变换控制。

块大小区分单元172确定要对于其执行模板匹配的对象块是否是宏块。在要对于其执行模板匹配的对象块是宏块的情况下，块大小区分单元172向DC正交变换控制单元173提供对象块信息。

相应地，DC正交变换控制单元173向正交变换单元64和逆正交变换单元69发送对象块的直流(DC)分量的信息，使得对于每一个块的直流分量执行正交变换和逆正交变换的每一个。

在要对于其执行模板匹配的对象块不是宏块的情况下，块大小区分单元172不向DC正交变换控制单元173提供对象块信息，以便禁止正交变换单元64和逆正交变换单元69对于直流分量的处理。

相应地，在正交变换单元64和逆正交变换单元69不对于每一个块的直流分量执行处理。

接下来，将参考图33中的流程图来描述在模板预测模式中的正交变换控制处理。这个处理是在图21中的步骤S61的帧内模板预测模式亮度信号处理和在步骤S62的色差信号处理时在正交变换控制单元163执行的处理。此外，这个处理是在图25中的步骤S61的帧间模板预测模式亮度信号处理和在步骤S62的色差信号处理时在正交变换控制单元163执行的处理。

要对于其执行模板匹配的对象块的信息被从帧内模板运动预测/补偿单元161或帧间模板运动预测/补偿单元162输入到亮度/色差区分单元171。在步骤S201中，亮度/色差区分单元171基于所提供的对象块信息来确定要对于其执行模板匹配的对象块是否与色差信号相关。

在步骤S201中确定要对于其执行模板匹配的对象块与色差信号相关的情况下，处理进行到步骤S202。此时，亮度/色差区分单元171向块大小区分单元172提供对象块信息。

在步骤S202中，块大小区分单元172确定要对于其执行模板匹配的对象块是否是宏块。在步骤S202中确定要对于其执行模板匹配的对象块不是宏块的情况下，处理进行到步骤S203。

块大小区分单元172不向DC正交变换控制单元173提供对象块信息，并且在步骤S203中，正交变换单元64和逆正交变换单元69每一个被禁止对于每一个块的直流分量执行正交变换和逆正交变换。

相应地，在如上所述的图4中的步骤S14中，正交变换单元64不对对象块的直流分量执行正交变换，并且在步骤S17中，逆正交变换单元69不对对象块的直流分量执行逆正交变换。

相应地，即使在是色差信号并且对象块不是宏块的情况下，帧内模板运动预测/补偿单元161或帧间模板运动预测/补偿单元162可以使用临近像素来执行模板预测模式处理。

此外，在步骤S202中，在确定要对于其执行模板匹配的对象块是宏块的情况下，处理进行到步骤S204。此时，块大小区分单元172向DC正交变换控制单元173提供对象块信息。在步骤S204中，DC正交变换控制单元173向正交变换单元64和逆正交变换单元69发送对象块的直流(DC)分量信息，使得对于每一个块的直流分量执行正交变换和逆正交变换。

相应地，在如上所述的图4中的步骤S14中，正交变换单元64对于对象块的直流分量执行正交变换，并且在步骤S17中，逆正交变换单元69对于对象块的直流分量执行逆正交变换。

在步骤S201中确定要对于其执行模板匹配的对象块与亮度信号相关的情况下，在模板预测模式中的正交变换控制处理结束。即，在对象块也与亮度信号相关的情况下，不对于每一个块的直流分量执行正交变换和逆正交变换。

然而，在亮度信号的情况下，与这个处理分离地，正交变换单元64和逆正交变换单元69每一个仅当在如上参考图6所述的16×16像素帧内预测模式时对于每一个块的直流分量执行正交变换。

也在图32中的图像解码设备处执行在模板预测模式中的正交变换控制处理。

图32示出作为已经应用了本发明的图像处理设备的图像解码设备的另一个实施例。

在图32中的图像解码设备201由累积缓冲器111、无损解码单元112、逆量化单元113、逆正交变换单元114、计算单元115、去块滤波器116、画面重排缓冲器117、D/A转换器118、帧存储器119、开关120、帧内预测单元121、运动预测/补偿单元124、开关127、帧内模板运动预测/补偿单元211、帧间模板运动预测/补偿单元212和正交变换控制单元213构成。

虽然从附图省略，但是帧内模板运动预测/补偿单元211由在图28中的亮度帧内TP运动预测/补偿单元122和色差帧内TP运动预测/补偿单元123构成。此外，帧间模板运动预测/补偿单元212由在图28中的亮度帧间TP运动预测/补偿单元125和色差帧间TP运动预测/补偿单元126构成。

即，在图34中的图像解码设备201与在图28中的图像解码设备101不同在于已经增加了正交变换控制单元213这一点，但是其它点基本上具有与在图28中的图像解码设备相同的配置。

帧内模板运动预测/补偿单元211以与在图28中的亮度帧内TP运动预测/补偿单元122和色差帧内TP运动预测/补偿单元123的方式相同的方式，执行在帧内模板预测模式中的亮度信号和色差信号的运动预测和补偿处理。此时，帧内模板运动预测/补偿单元211向正交变换控制单元213输出要对于其执行模板匹配的对象块的信息。

帧间模板运动预测/补偿单元212以与在图28中的亮度帧间TP运动预测/补偿单元125和色差帧间TP运动预测/补偿单元126的方式相同的方式，执行在帧间模板预测模式中的亮度信号和色差信号的运动预测和补偿处理。此时，帧间模板运动预测/补偿单元212向正交变换控制单元213输出要对于其执行模板匹配的对象块的信息。

从帧内模板运动预测/补偿单元211或帧间模板运动预测/补偿单元212向正交变换控制单元213提供要对于其执行模板匹配的对象块的信息。

以与在图31中的正交变换控制单元163相同的方式，正交变换控制单元213执行在模板预测模式中的正交变换控制处理。即，正交变换控制单元213执行关于要对于其执行模板匹配的对象块是否与色差信号相关的第一确定，并且执行关于要对于其执行模板匹配的对象块是否是宏块的第二确定。正交变换控制单元213然后根据第一确定结果和第二确定结果来控制逆正交变换单元114。

例如，在对象块与色差信号相关并且不是宏块的情况下，逆正交变换单元114被控制使得禁止对每一个块的直流分量的逆正交变换。

在对象块与色差信号相关并且是宏块的情况下，逆正交变换单元114被控制使得对每一个块的直流分量执行逆正交变换。

在正交变换控制单元213基本上与在图31中的正交变换控制单元163相同地配置，因此在图32中的正交变换控制单元163的配置示例也用于正交变换控制单元213的下面的描述。

接下来，将参考在图35中的流程图来描述在模板预测模式中的正交变换控制处理。这个处理是在图30中的步骤S174中的帧内模板预测模式中的亮度信号的处理和在步骤S175中的帧内模板预测模式中的色差信号的处理时在正交变换控制单元213处执行的处理。此外，这个处理是在图30的步骤S178中的帧间模板预测模式中的亮度信号的处理和在步骤S179中的色差信号的处理时在正交变换控制单元213处执行的处理。

要对于其执行模板匹配的对象块的信息被从帧内模板运动预测/补偿单元211或帧间模板运动预测/补偿单元212输入到亮度/色差区分单元171。在步骤S221中，亮度/色差区分单元171基于所提供的对象块信息来确定要对于其执行模板匹配的对象块是否与色差信号相关。

在步骤S221中确定要对于其执行模板匹配的对象块与色差信号相关的情况下，处理进行到步骤S222。此时，亮度/色差区分单元171向块大小区分单元172提供对象块信息。

在步骤S222中，块大小区分单元172确定要对于其执行模板匹配的对象块是否是宏块。在步骤S222中确定要对于其执行模板匹配的对象块不是宏块的情况下，处理进行到步骤S223。

块大小区分单元172不向DC正交变换控制单元173提供对象块信息，并且在步骤S223中，逆正交变换单元114被禁止对于每一个块的直流分量执行逆正交变换。

相应地，在如上所述的图29中的步骤S134中，逆正交变换单元114不对于对象块的直流分量执行逆正交变换。

相应地，即使在是色差信号并且对象块不是宏块的情况下，帧内模板运动预测/补偿单元211或帧间模板运动预测/补偿单元212可以使用邻近像素来执行模板预测模式处理。

此外，在步骤S222中，在确定要对于其执行模板匹配的对象块是宏块的情况下，处理进行到步骤S224。此时，块大小区分单元172向DC正交变换控制单元173提供对象块信息。在步骤S224中，DC正交变换控制单元173向逆正交变换单元114发送对象块的直流(DC)分量信息，使得对于每一个块的直流分量执行逆正交变换。

相应地，在如上所述的图29中的步骤S134中，逆正交变换单元114对于对象块的直流分量执行逆正交变换。

另一方面，在步骤S221中确定要对于其执行模板匹配的对象块与亮度信号相关时，在模板预测模式中的正交变换控制处理结束。

然而，也对于图像解码设备，在亮度信号的情况下，与这个处理相分离地，逆正交变换单元114仅当在16×16像素帧内预测模式中时对于每一个块的直流分量执行逆正交变换，如之前参考图6所述。

在是色差信号并且对象块不是宏块的情况下，不对于直流分量执行正交变换和逆正交变换，因此可以执行使用邻近像素的模板预测模式处理。

注意，在上面对于色度格式4:2:0的示例来进行描述的同时，本发明也可以应用于4:2:2或4:4:4的情况。

此外，在使用H.264/AVC格式作为编码格式来进行描述的同时，可以使用其它编码格式/解码格式。

注意，本发明可以在下述时间应用到图像编码设备和图像解码设备：像例如对于MPEG、H.26x等那样，在经由诸如卫星广播、有线TV(电视)、因特网和蜂窝电话等的网络媒介来，接收通过诸如离散余弦变换等的正交变换和运动补偿来压缩的图像信息(比特流)时；或在诸如光盘或磁盘和快闪存储器等的存储介质上的处理时。

上述的系列处理可以通过硬件来执行，或可以通过软件来执行。在通过软件来执行所述系列处理的情况下，从程序记录介质向例如内置到专用硬件内的计算机或通用个人计算机安装构成软件的程序，所述通用个人计算机能够例如通过安装各种类型的程序来执行各种类型的功能。

用于存储要安装到计算机以便处于计算机可执行状态的程序的程序记录介质由可装卸介质构成，所述可装卸介质是：封装介质，诸如磁盘(包括软盘)、光盘(包括CD-ROM(致密盘-只读存储器)、DVD(数字通用盘)和磁光盘)或半导体存储器等；或其中暂时或永久存储程序的ROM或硬盘等。在必要时，经由诸如路由器和调制解调器等的接口，使用诸如局域网、因特网和数字卫星广播等的有线或无线通信介质来向记录介质执行程序的存储。

应注意，在本说明书中描述程序的步骤自然包括以描述的次序的时间顺序执行的处理，但是也包括并行或单独地执行的处理，而不必然是以时间顺序的。

也应注意，本发明的实施例不限于上述实施例，并且，可以在不偏离本发明的实质的情况下进行各种修改。

附图标记列表

51图像编码设备

66无损编码单元

74帧内预测单元

75亮度帧内TP运动预测/补偿单元

76色差帧内TP运动预测/补偿单元

77运动预测/补偿单元

78亮度帧间TP运动预测/补偿单元

79色差帧间TP运动预测/补偿单元

80预测图像选择单元

101图像解码设备

112无损解码单元

121帧内预测单元

122亮度帧内TP运动预测/补偿单元

123色差帧内TP运动预测/补偿单元

124运动预测/补偿单元

125亮度帧间TP运动预测/补偿单元

126色差帧间TP运动预测/补偿单元

127开关

151图像编码设备

161帧内模板运动预测/补偿单元

162帧间模板运动预测/补偿单元

163正交变换控制单元

201图像解码设备

211帧内模板运动预测/补偿单元

212帧间模板运动预测/补偿单元

213正交变换控制单元

Claims (20)

1.一种图像处理设备，包括：

亮度运动预测补偿装置，用于使用第一模板来搜索作为帧的亮度信号的块的亮度块的运动矢量，所述第一模板以预定的位置关系接近所述亮度块，并且所述第一模板也是从解码图像产生的；

色差运动预测补偿装置，用于使用由所述亮度运动预测补偿装置搜索到的所述亮度块的运动矢量信息来获得搜索范围，并且在已经获得的所述搜索范围内使用第二模板来搜索与所述亮度块对应的、作为所述帧的色差信号的块的色差块的运动矢量，所述第二模板以预定的位置关系接近所述色差块，并且也是从所述解码图像产生的；以及，

编码装置，用于对所述亮度块和所述色差块的图像进行编码。

2.根据权利要求1所述的图像处理设备，其中，所述色差运动预测补偿装置根据输入图像信号的色度格式来执行由所述亮度运动预测补偿装置搜索到的所述亮度块的运动矢量信息的缩放，并且获得以已经缩放的所述亮度块的运动矢量信息为中心的所述搜索范围。

3.根据权利要求2所述的图像处理设备，其中，在所述亮度块和所述色差块具有一对一的相关关系的情况下，所述亮度块的运动矢量信息是(MTM_h，MVTM_v)，r_h和r_v被定义为：

[数学表达式20]

所述色差运动预测补偿装置获得以(MVTM_h/r_h，MVTM_v/r_v)为中心的所述搜索范围。

4.根据权利要求2所述的图像处理设备，其中，在单个所述色差块对应于多个所述亮度块的情况下，所述色差运动预测补偿装置合成多个所述亮度块的运动矢量信息，根据所述色度格式来执行缩放，并且获得以已经缩放的所述亮度块的所述运动矢量信息为中心的所述搜索范围。

5.根据权利要求4所述的图像处理设备，其中，所述色差运动预测补偿装置使用所述多个所述亮度块的运动矢量信息的平均值来执行合成。

6.根据权利要求2所述的图像处理设备，其中，所述色差运动预测补偿装置获得仅关于所述亮度块的参考帧的所述搜索范围，并且使用所述第二模板在已经获得的所述搜索范围中搜索所述色差块的运动矢量。

7.根据权利要求2所述的图像处理设备，其中，所述色差运动预测补偿装置获得仅关于在所述亮度块的参考帧中具有最小索引的参考帧的所述搜索范围，并且使用所述第二模板在已经获得的所述搜索范围中搜索所述色差块的运动矢量。

8.根据权利要求2所述的图像处理设备，其中，所述亮度块的大小和所述色差块的大小不同，

并且其中，所述第一模板的大小和所述第二模板的大小不同。

9.根据权利要求2所述的图像处理设备，还包括正交变换控制装置，用于在所述帧中要执行运动预测的运动预测块是所述色差块而不是宏块的情况下，对于所述运动预测块的直流分量禁止正交变换。

10.一种图像处理方法，包括图像处理设备的如下步骤：

使用第一模板来搜索作为帧的亮度信号的块的亮度块的运动矢量，所述第一模板以预定的位置关系接近所述亮度块，并且也是从解码图像产生的；

使用搜索到的所述亮度块的运动矢量信息来获得搜索范围，并且在已经获得的所述搜索范围内使用第二模板来搜索与所述亮度块对应的、作为所述帧的色差信号的块的色差块的运动矢量，所述第二模板以预定的位置关系接近所述色差块，并且也是从所述解码图像产生的；以及，

对所述亮度块和所述色差块的图像进行编码。

11.一种图像处理设备，包括：

解码装置，用于对编码帧的图像进行解码，所述图像是作为亮度信号的块的亮度块和作为色差信号的块的、与所述亮度块对应的色差块；

亮度运动预测补偿装置，用于使用第一模板来搜索所述亮度块的运动矢量，所述第一模板以预定的位置关系接近所述亮度块，并且也是从解码图像产生的；以及，

色差运动预测补偿装置，用于使用由所述亮度运动预测补偿装置搜索到的所述亮度块的运动矢量信息来获得搜索范围，并且在已经获得的所述搜索范围内使用第二模板来搜索所述色差块的运动矢量，所述第二模板以预定的位置关系接近所述色差块，并且也是从所述解码图像产生的。

12.根据权利要求11所述的图像处理设备，其中，所述色差运动预测补偿装置根据输入图像信号的色度格式来执行由所述亮度运动预测补偿装置搜索到的所述亮度块的运动矢量信息的缩放，并且获得以已经缩放的所述亮度块的运动矢量信息为中心的所述搜索范围。

13.根据权利要求12所述的图像处理设备，其中，在所述亮度块和所述色差块具有一对一的相关关系的情况下，所述亮度块的运动矢量信息是(MVTM_h，MVTM_v)，r_h和r_v被定义为：

[数学表达式21]

所述色差运动预测补偿装置获得以(MVTM_h/r_h，MVTM_v/r_v)为中心的所述搜索范围。

14.根据权利要求12所述的图像处理设备，其中，在单个所述色差块对应于多个所述亮度块的情况下，所述色差运动预测补偿装置合成多个所述亮度块的运动矢量信息，根据所述色度格式来执行缩放，并且获得以已经缩放的所述亮度块的运动矢量信息为中心的所述搜索范围。

15.根据权利要求14所述的图像处理设备，其中，所述色差运动预测补偿装置使用所述多个所述亮度块的运动矢量信息的平均值来执行合成。

16.根据权利要求12所述的图像处理设备，其中，所述色差运动预测补偿装置获得仅关于所述亮度块的参考帧的所述搜索范围，并且使用所述第二模板在已经获得的所述搜索范围中搜索所述色差块的运动矢量。

17.根据权利要求12所述的图像处理设备，其中，所述色差运动预测补偿装置获得仅关于在所述亮度块的参考帧中具有最小索引的参考帧的所述搜索范围，并且使用所述第二模板在已经获得的所述搜索范围中搜索所述色差块的运动矢量。

18.根据权利要求12所述的图像处理设备，其中，所述亮度块的大小和所述色差块的大小不同，

并且其中，所述第一模板的大小和所述第二模板的大小不同。

19.根据权利要求12所述的图像处理设备，还包括正交变换控制装置，用于在所述帧中要执行运动预测的运动预测块是所述色差块而不是宏块的情况下，对于所述运动预测块的直流分量禁止正交变换。

20.一种图像处理方法，包括图像处理设备的步骤：

对编码帧的图像进行解码，所述图像是作为亮度信号的块的亮度块和作为色差信号的块的、与所述亮度块对应的色差块；

使用第一模板来搜索所述亮度块的运动矢量，所述第一模板以预定的位置关系接近所述亮度块，并且也是从解码图像产生的；以及，

使用搜索到的所述亮度块的运动矢量信息来获得搜索范围，并且在已经获得的所述搜索范围内使用第二模板来搜索所述色差块的运动矢量，所述第二模板以预定的位置关系接近所述色差块，并且也是从所述解码图像产生的。

Images