CN102224735A

CN102224735A - 图像处理设备和方法

Info

Publication number: CN102224735A
Application number: CN2009801469432A
Authority: CN
Inventors: 近藤健治; 田中润一
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-10-03
Filing date: 2009-10-02
Publication date: 2011-10-19
Also published as: EP2334081A1; WO2010038858A1; US20110235711A1; EP2334081A4; JPWO2010038858A1

Abstract

提供了图像处理设备和方法，其可以在AIF用于运动补偿时通过限制运动矢量计算的数量来降低编码时的处理负担。在步骤S11中，运动矢量计算单元选择已经计算并保持在存储器中的一个滤波系数。在步骤S12，运动矢量计算单元通过使用采用所选和所计算的滤波系数的AIR的分数精度的内插像素，来计算要编码的图像的每个宏块的运动矢量。在步骤S13，运动矢量计算单元使用所计算的运动矢量计算与要编码的图像对应的滤波系数，并使得预测的误差变得最小。所计算的滤波系数被提供到存储器并且保持在其中，从而用于下一图像和之后图像的运动矢量计算。本发明可以应用于图像编码设备。

Description

图像处理设备和方法

技术领域

本发明涉及图像处理设备和方法，更具体地，涉及当适应性内插滤波器用于图像压缩编码处理中的运动补偿时可以降低处理量的图像处理设备和方法。

背景技术

通常地，作为用于压缩编码运动图像的技术，使用正交变换(诸如离散余弦变换)和运动补偿的MPEG、H.26x等是公知的。

MPEG2被定义为通用图像编码方法。作为可以支持隔行(interlaced)扫描图像以及逐行(progressive)扫描图像并且支持标准清晰度图像和高清晰度图像以及标准规定的技术，MPEG2现在广泛用于专业使用和消费者使用的大范围应用。

通过使用MPEG2，4至8Mbps的编码量(比特速率)应用于例如具有720×480像素的标准清晰度的隔行扫描图像，并且18至22Mbps的编码量(比特速率)应用于例如具有1920×1088的高清晰度的隔行扫描图像，因此使得可以实现高压缩率和好的图像质量。

另一方面，H.26x最初作为用于视频会议的图像编码技术开发。例如，H26L比MPEG2或MPEG4需要更大量的计算用于执行编码和解码。然而，公知H.26L获得更高的编码效率。

同样，作为MPEG4中的活动的一部分，基于H.26L并且还通过并入H.26L不支撑的功能来执行用于实现更高编码效率的技术的标准化。这样的技术被标准化为H.264或MPEG-4(部分10)(高级视频编码)。该标准化以下被称为“AVC标准”。

图1示出了图像编码设备的配置示例，该图像编码设备基于AVC标准对输入运动图像执行压缩编码并且输出作为压缩编码的结果而获得的图像压缩信息(已编码信号)。

图像压缩设备10包括模拟-数字转换器(A/D)11、图像重排(rearrangement)缓冲器12、加法器13、正交变换器14、量化单元15、无损编码器16、存储缓冲器17和速率控制器25。图像压缩设备10还包括反量化单元18、反正交变换器19、加法器20、解组块滤波器21、帧存储器22、内预测(intra-prediction)单元23和运动预测/补偿单元24。

在图像压缩设备10中，作为编码目标输入的运动图像(以下被称为“输入图像”)由A/D 11转换为数字信号，并且被输入到图像重排缓冲器12。在图像重排缓冲器12中，画面的顺序按照当输出图像时所使用的GOP(Group of Pictures：画面组)结构重排，并且产生的图像提供到后续块。

如果对从图像重排缓冲器12输出的图像进行内编码(intra-coding)，则编码目标图像的像素值和在内预测单元23中经过内预测的预测图像的像素值提供到加法器13，并且计算在这些像素值之间的差值并输出到正交变换器14。

在正交变换器14中，来自加法器13的输出经历正交变换(离散余弦变换、Karhunen-Loeve变换等)，并且作为正交变换结果获得的变换系数由量化单元15量化。注意，在量化单元15中使用的量化速率由速率控制器25根据存储缓冲器17的存储容量控制。已量化的变换系数提供到无损编码器16和反量化单元18。

在无损编码器16中，已量化的变换系数经历无损编码(可变长度编码、算术编码等)，并且结果存储在存储缓冲器17中并且然后作为图像压缩信息输出到后续的块。

同时，在反量化单元18中，已量化的变换系数经历反量化(该反量化对应于由量化单元15执行的量化)，并且输出到反正交变换器19。在反正交变换器19中，对作为反量化结果获得的变换系数进行反正交变换，该反正交变换对应于由正交变换器14执行的正交量化，结果输出到加法器20。

在加法器20中，将反正交变换结果和编码目标图像相加，从而产生已解码图像，该已解码图像是通过对编码目标图像进行编码并解码而获得的。解组块(deblocking)滤波器21从产生的已解码图像中移除组块失真(blocking distortions)，并且然后将产生的图像存储在帧存储器22中。

在内预测单元23中，指示内预测模式应用于编码目标图像的每个宏块的信息输出到无损编码器16。该指示内预测模式的信息作为在图像压缩信息的头部中描述的信息的一部分由无损编码器16编码。

注意到在H.264的情况下，作为内预测模式，对于亮度信号定义了内4×4预测模式、内8×8预测模式和内16×16预测模式。对于色差信号，可以对于每个宏块定义独立于用于亮度信号的预测模式的预测模式。例如，关于内4×4预测模式，对于每个4×4亮度块定义一个内预测模式。关于内8×8预测模式，对于每个8×8亮度块定义一个内预测模式。关于内16×16预测模式，对于每个宏块定义一个内预测模式。同样，对于色差信号，对于每个宏块定义一个预测模式。

如果从图像重排缓冲器12输出的图像经历内编码，则编码目标图像输入到运动预测/补偿单元24中。同时，从帧存储器22中输出的解码图像作为参考图像读出到运动预测/补偿单元24。然后，对编码目标图像和参考图像执行运动预测/补偿，并且作为运动预测/补偿的结果获得的预测图像提供到加法器13。在加法器13中，预测图像被转换为在编码目标图像和预测图像之间的差信号，并且差信号输出到正交变换器14。由正交变换器14之后的块执行的操作类似于用于内编码的操作，并且因此省略其解释。

在运动预测/补偿单元24中，与产生上述预测图像同时地检测每个宏块的运动矢量并且输出到无损编码器16。该运动矢量作为在图像压缩信息的报头中描述的信息的一部分由无损编码器16编码。

在此，描述了在运动预测/补偿单元24中执行的运动补偿。运动补偿是通过将存储在帧存储器22中的重建的图像的一部分分配给编码目标图像的一部分而执行的处理。由运动预测/补偿单元24检测的运动矢量表示重建的图像的哪个部分用于参考。

为了改进预测精度，在大多情况下，以使用小于整数的分数(例如1/2像素、1/4像素等)的精度计算运动矢量。以这种方式，为了以分数精度执行运动补偿，有必要在图像的实际像素之间，即，在像素不存在的位置处通过内插处理来新设置像素。

以下参考图2描述通过内插增加像素数量的情况的例子。图2示出了像素数量在垂直方向和水平方向上分别增加到像素的原始数量的四倍的情况的示例。在图2中，白色圆圈表示实际像素的位置，并且白色方块表示内插像素的位置。

通过多个实际像素、所计算的内插像素和预定的滤波系数的线性组合对每个内插像素进行内插计算，如通过例如以下内插等式表达的：

b＝(E-5F+20G+20H-5I+J)/32

h＝(A-5C+20G+20M-5R+T)/32

j＝(aa-5bb+20b+20s-5gg+hh)/32

a＝(G+b)/2

d＝(G+h)/2

f＝(b+j)/2

r＝(m+s)/2

内插像素aa、bb、s、gg和hh通过类似于上述用于计算内插像素b的等式计算。内插像素cc、dd、m、ee和ff通过类似于上述用于计算内插像素h的等式计算。内插像素c通过类似于上述用于计算内插像素a的等式计算。内插像素i、k和q通过类似于上述用于计算内插像素d的等式计算。内插像素e、g和o通过类似于上述用于计算内插像素r的等式计算。

注意，上述内插等式例如在H.264和AVC标准中采用。这些内插等式由具有偶数分接头(tap)的FIR(Finite Impulse Response：有限脉冲响应)滤波器实现。

顺便提到，提出了以下技术(例如参见NPL 1和NPL 2)。代替FIR滤波器，可以对于每一帧在内插等式中适应性地改变滤波系数的适应性内插滤波器(以下被称为“AIF”)用于执行内插处理。这使得可以降低假频(aliasing)影响或编码失真，因此降低运动补偿误差。

引文列表

非专利文献

NPL 1：“Motion-and Aliasing-Compensated Prediction for Hybrid Video Coding”Thomas Wedi和Hans Georg Musmann，IEEE Transactions on circuits and systems for video technology，Vol.13，No.7，2003年7月

NPL 2：“Prediction of P-and B-Frames Using a Two-dimensional Non-separable Adaptive Wiener Interpolation Filter for H.264/AVC”Yuri Vatis，Joern Ostermann，ITU-T SG16 VCEG 30^th Meeting，Hangzhou China，2006年10月

发明内容

技术问题

由于使用用于运动补偿的上述AIF可能产生的问题是处理量的增加。即，为了计算帧内每个宏块的运动矢量，要求通过使用利用适于帧的滤波系数的AIF而获得的内插结果，并且对于计算AIF的滤波系数要求运动矢量。

以这种方式，因为存在运动矢量与AIF的滤波系数之间的相关，所以例如通常确定运动矢量和AIF的滤波系数，如图3所示。图3是示出用于确定帧内每个宏块的运动矢量和适于帧的AIF的滤波系数的处理的流程图。

在步骤S1，通过使用利用预定的滤波系数初始值的AIF，以分数精度执行像素的内插。通过使用该内插结果，计算每个宏块的运动矢量。然后，在步骤S2，通过使用在步骤S1获得的运动矢量计算滤波系数使得预测误差变得最小。在步骤S3，通过使用利用在步骤S2获得的滤波系数的AIF，以分数精度执行像素的内插。通过使用该内插结果，再次计算每个宏块的运动矢量。

在步骤S4，确定指示当使用在步骤S2获得的滤波系数和在步骤S3获得的运动矢量时的改进的图像质量的值是否等于或高于预定阈值。重复步骤S2和以下步骤直到上述值变得等于或高于预定阈值为止。然后，如果在步骤S4确定指示改进的图像质量的值等于或高于预定阈值，则使用紧接在步骤S4之后获得的、在步骤S2获得的滤波系数和在步骤S3获得的运动矢量。注意，在步骤S4中的处理可以省略。

如所讨论的，在用于确定运动矢量和AIF的滤波系数的公知处理中，有必要执行用于计算运动矢量的处理至少两次(步骤S1和步骤S3)。如上所述，如果以分数精度计算运动矢量，则计算量显著增加。因此，如果以分数精度执行用于计算运动矢量的处理两次或更多次，则编码处理的负担变大。

考虑到上述背景而作出本发明，并且使得当AIF用于运动补偿中时可以通过限制运动矢量的计算数量来降低编码处理负担。

技术方案

按照本发明的一个方面的图像处理设备是用于对编码目标图像执行互预测处理的图像处理设备。图像处理设备包括：选择装置，用于选择基于运动矢量计算的内插滤波器的滤波系数，该运动矢量是通过使用由内插滤波器执行的内插的结果而计算获得的，该内插滤波器以分数精度内插编码目标图像的像素和用于互预测处理的预测图像的像素；运动矢量计算装置，用于通过使用由内插滤波器使用由选择装置选择的滤波系数而执行的内插的结果计算编码目标图像的运动矢量；和系数计算装置，用于通过使用由运动矢量计算装置计算的运动矢量，对于编码目标图像计算内插滤波器的滤波系数。

选择装置可以按照在编码目标图像和预测图像之间的位置关系来选择滤波系数。

选择装置可以对于暂时位置最靠近编码目标图像的图像来选择滤波系数。

选择装置可以按照编码目标图像或预测图像的画面类型来选择滤波系数。

图像处理设备还可以包括存储装置，用于存储基于运动矢量计算的内插滤波器的滤波系数，该运动矢量是通过使用内插滤波器的内插结果而计算获得的，该内插滤波器内插编码目标图像的像素和通过互预测处理获得的预测图像的像素。选择装置可以选择存储在存储装置中的滤波系数。

按照本发明的一个方面的图像处理方法是用于对编码目标图像执行互预测处理的图像处理设备的图像处理方法。图像处理方法包括：选择根据运动矢量计算的内插滤波器的滤波系数，该运动矢量是通过使用由内插滤波器执行的内插的结果而计算获得的，该内插滤波器以分数精度内插编码目标图像的像素和用于互预测处理的预测图像的像素；通过使用由内插滤波器使用所选的滤波系数执行的内插的结果来计算编码目标图像的运动矢量；和通过使用所计算的运动矢量对于编码目标图像来计算内插滤波器的滤波系数。

在本发明的一个方面中，选择根据运动矢量计算的内插滤波器的滤波系数，该运动矢量是通过使用由内插滤波器执行的内插的结果而计算获得的，该内插滤波器以分数精度内插编码目标图像的像素和用于互预测处理的预测图像的像素。通过使用由内插滤波器使用所选的滤波系数执行的内插的结果来计算编码目标图像的运动矢量。通过使用所计算的运动矢量对于编码目标图像计算内插滤波器的滤波系数。

按照本发明的一个方面，在AIF用于运动补偿的情况下，限制用于运动矢量的计算数量，由此可以降低编码处理的负担。

附图说明

图1是示出公知的图像编码设备的配置示例的框图。

图2示出了像素的内插。

图3是示出用于计算运动矢量和滤波系数的公知处理的流程图。

图4是示出应用了本发明的图像编码设备的配置示例的框图。

图5是示出用于由应用了本发明的图像编码设备计算运动矢量和滤波系数的处理的流程图。

图6是示出应用了本发明的电视接收器的主要配置示例的框图。

图7是示出应用了本发明的蜂窝电话的主要配置示例的框图。

图8是示出应用了本发明的硬盘记录器的主要配置示例的框图。

图9是示出应用了本发明的相机的主要配置示例的框图。

图10示出了宏块的大小示例。

具体实施方式

以下参考附图详细描述应用了本发明的特定实施例。

图4示出了作为本发明实施例的图像编码设备的配置示例。图像编码设备40对待输入的运动图像(以下被称为“输入图像”)执行压缩编码，并且将作为压缩编码的结果获得的图像压缩信息输出。同样，由于对运动补偿采用AIF，所以AIF的滤波系数包含在输出图像压缩信息中。

图像编码设备40与图1中所示的图像编码设备10的不同在于，提供了运动预测/补偿单元41而不是图1中所示的图像编码设备10的运动预测/补偿单元24，并且提供了用于存储在运动预测/补偿单元24中计算的AIF的滤波系数的滤波系数存储器45。运动预测/补偿单元41之外的其他元件与图1中所示的图像编码设备10的元件相同，并且用相同的附图标记表示。因此，如无必要则省略对其的解释。

运动预测/补偿单元41包含AIF 42、运动矢量计算器43和系数计算器44。在运动补偿处理中，运动矢量计算器43基于AIF的滤波系数计算每个宏块的运动矢量。系数计算器44基于对每个宏块计算的运动矢量对于编码目标图像计算AIF的滤波系数。由系数计算器44计算的AIF的滤波系数提供到滤波系数存储器45中并且存储在其中，并且用于对后续的帧计算运动矢量。注意，滤波系数存储器45可以被包含在运动预测/补偿单元41中。

接下来，描述图像编码设备40的操作。

在图像编码设备40中，输入图像由A/D 11转换为数字信号，并且输入到图像重排缓冲器12中。在图像重排缓冲器12中，画面的顺序按照当输出图像时的GOP结构重排，并且然后，产生的图像被提供到后续的块。

如果从图像重排缓冲器12中输出的图像经历内编码，则编码目标图像的像素值和在内预测单元23中经历了内预测的预测图像的像素值提供到加法器13，并且计算在这些像素值之间的差值并输出到正交转换器14。

由正交转换器14对从加法器13的输出进行正交变换(离散变换、Karhunen-Loeve变换等)，并且作为正交变换的结果获得的变换系数由量化单元15量化。所量化的变换系数被提供到无损编码器16和反量化单元18中。

在无损编码器16中，量化的变换系数经历无损编码(可变长度编码、算术编码等)，并且结果被存储在存储缓冲器17中并且然后作为图像压缩信息输出到后续的块。

同时，在反量化单元18中，量化的变换系数经历反量化(该反量化对应于由量化单元15执行的量化)，并且被输出到反正交变换器19。在反正交变换器19中，对作为反量化的结果获得的变换系数执行反正交变换，该反正交变换对应于由正交转换器14执行的正交变换。然后结果输出到加法器20。

在加法器20中，将反正交变换结果和编码目标图像相加，使得产生已编码图像，该已编码图像是通过对编码目标图像编码并且通过对其解码而获得的图像。解组块滤波器21从产生的已解码图像中去除组块失真，并且然后将产生的图像存储在帧存储器22中。

在内预测单元23中，指示内预测模式应用于编码目标图像的每个宏块的信息输出到无损编码器16。该指示内预测模式的信息作为在图像压缩信息的报头中描述的信息的一部分由无损编码器16编码。

如果从图像重排缓冲器12输出的图像经历内编码，则编码目标图像输入到运动预测/补偿单元41中。同时，从帧存储器22中输出的解码的图像作为参考图像被读入运动预测/补偿单元41中。然后，对编码目标图像和参考图像执行运动预测/补偿，并且作为运动预测/补偿的结果获得的预测图像提供到加法器13。在加法器13中，预测图像被转换为在编码目标图像和预测图像之间的差信号，并且差信号被输出到正交变换器14。由正交变换器14之后的块执行的操作类似于用于内编码的操作，因此省略其解释。

在运动预测/补偿单元41中，当产生上述预测图像时，由运动矢量计算器43以分数精度计算编码目标图像的每个宏块的运动矢量，并且同样，由系数计算器44计算用于编码目标图像的AIF的滤波系数，并且运动矢量和滤波系数输出到无损编码器16。这些运动矢量和AIF的滤波系数作为在图像压缩信息的报头中描述的信息的一部分而由无损编码器16编码。由系数计算器44计算的AIF的滤波系数也提供到滤波系数存储器45并且存储在其中。

在此，以下参考图5的流程图描述用于由运动预测/补偿单元41计算运动矢量和AIF的滤波系数的处理。

在步骤S11，运动矢量计算器43选择存储在滤波系数存储器34中的所计算的滤波系数中的一个。在该选择中，选择对于暂时最靠近编码目标图像的图像计算的滤波系数。即，该选择是基于如下假定，用于编码目标图像的最优滤波系数类似于对于暂时最靠近编码目标图像的图像计算的滤波系数。

然而，如果没有在滤波系数存储器45中存储所计算的滤波系数，或者如果在编码目标图像和对于其已经计算了滤波系数并存储在滤波系数存储器45中的图像之间有大的差别，则因为例如在两个图像之间具有场景改变，所以选择滤波系数的预设的初始值。

替代地，在该选择中，可以选择对于暂时最靠近编码目标图像并且其画面类型也与编码目标图像的画面类型相同的图像所计算的滤波系数。

在步骤S12，运动矢量计算器43通过使用由AIF 42使用在步骤S11选择的滤波系数以分数精度内插的内插像素，计算编码目标图像的每个宏块的运动矢量。

在步骤S13，运动矢量计算器43通过使用在步骤S12计算的运动矢量计算编码目标图像的滤波系数，以使得预测误差变得最小。所计算的滤波系数与运动矢量一起输出到无损编码器16。同样，所计算的滤波系数被提供到滤波系数存储器45并且存储在其中，并且用于计算后续图像的运动矢量。

如上所述，通过用于由本发明的图像编码设备40的运动预测/补偿单元41计算运动矢量和AIF的滤波系数的处理，用于以分数精度(其要求相对大量的计算)对运动矢量的计算的次数被限制为一次，由此使得可以降低编码处理的负担。

在本发明中，通过关注如下事实：对于在时间轴上位置互相靠近的帧计算的滤波系数类似(具有高的相关性)，当执行互预测(inter-prediction)时，存储对于具有靠近的位置关系的滤波器在过去所计算的滤波系数(第一通路(pass))，并且重新使用存储的滤波系数(第二通路)。这使得可以省略在第一通路中滤波系数的计算(滤波系数可以仅由第二通路计算)。

注意，对于位置关系可以提供阈值，并且仅对于其时间轴距离在阈值之内的帧重新使用滤波系数。替代地，可以按照编码目标图像或上述预测图像的画面类型适应性地确定是否重新使用滤波系数。

同样，关于要选择的滤波系数，选择对于暂时最靠近编码目标图像的图像所计算的滤波系数。相应地，可以预期计算适当的运动矢量。

顺便提到，上述图像编码设备40可以由硬件或软件执行。如果由软件执行，则形成该软件的程序从程序记录介质安装到在专门硬件中内置的计算机中或计算机、例如通用目的计算机中，该计算机通过将各种程序安装到通用目的计算机中而可以执行各种功能。

要由计算机执行的程序可以是按时间顺序(如该说明书中描述的顺序)执行的程序，或者可以是并行执行的程序或当必要时(例如，当调用程序时)执行的程序。

此外，程序可以由单个计算机处理，或者可以由通过使用多个计算机的分布处理执行。此外，程序可以被传送到远程计算机并且执行。

本发明的实施例不限于上述实施例，并且在不脱离本发明的要旨的情况下可以进行各种修改。

例如，上述图像编码设备40可以应用于某些电子设备。以下描述这样的应用的例子。

图6是示出电视接收器的配置示例的框图。

图6所示的电视接收器1000包括地面电视调谐器1013、视频解码器1015、视频信号处理电路1018、图形产生电路1019、面板驱动电路1020和显示面板1021、

地面电视调谐器1013经由天线接收模拟地面广播波信号并且解调该信号以获得视频信号。地面电视调谐器1013将视频信号提供到视频解码器1015。视频解码器1015对从地面电视调谐器1013提供的视频信号执行解码处理以获得数字分量信号。视频解码器1015然后将数字分量信号提供到视频信号处理电路1018。

视频信号处理电路1018对从视频解码器1015提供的视频数据执行预定的处理，诸如噪声消除，并且将获得的视频数据提供到图形产生电路1019。

图形产生电路1019产生要在显示面板1021上显示的节目的视频数据或者通过基于经由网络提供的应用执行处理来产生图像数据，并且将产生的视频数据或图像数据提供到面板驱动电路1020。图形产生电路1019在必要时执行处理。例如，图形产生电路1019对于要由用户使用来选择项目的显示屏产生视频数据(图形)，并且将产生的视频数据叠加在节目视频数据上，并且然后将作为叠加的结果获得的视频数据提供到面板驱动电路1020。

面板驱动电路1020基于从图形产生电路1019提供的数据驱动显示面板1021，并且在显示面板1021上显示节目图像或上述各种屏幕。

显示面板1021例如由LCD(液晶显示器)形成并且在面板驱动电路1020的控制下显示节目图像。

电视接收器1000还包括音频A/D(模拟/数字)转换电路1014、音频信号处理电路1022、回声消除/音频合成电路1023、音频放大器电路1024和扬声器1025。

地面电视调谐器1013通过解调所接收的广播波信号来获得音频信号以及视频信号。地面电视调谐器1013将获得的音频信号提供到音频A/D转换电路1014。

音频A/D转换电路1014对从地面电视调谐器1013提供的音频信号执行A/D转换处理，并且将获得的数字音频信号提供到音频信号处理电路1022。

音频信号处理电路1022对从音频A/D转换电路1014提供的音频数据执行预定的处理，诸如噪声消除，并且将获得的音频信号提供到回声消除/音频合成电路1023。

回声消除/音频合成电路1023将从音频信号处理电路1022提供的音频数据提供到音频放大器电路1024。

音频放大器电路1024对从回声消除/音频合成电路1023提供的音频数据执行D/A转换处理和放大处理以将音频数据的音量调整到预定的音量。然后音频放大电路1024从扬声器1025输出音频数据。

电视接收器1000还包括数字调谐器1016和MPEG解码器1017。

数字调谐器1016经由天线接收数字广播(数字地面广播、BS(广播卫星)/CS(通信卫星)数字广播)信号并且解调数字广播信号以获得MPEG-TS(运动图像专家组-传输流)。数字调谐器1016将MPEG-TS提供到MPEG解码器1017。

MPEG解码器1017解码从数字调谐器1016提供的MPEG-TS，并且提取包含要回放(观看)的节目数据的流。MPEG解码器1017对形成提取的流的音频分组进行解码并且将获得的音频数据提供到音频信号处理电路1022。MPEG解码器1017还对形成流的视频分组进行解码并且将获得的视频数据提供到视频信号处理电路1018。此外，MPEG解码器1017将从MPEG-TS提取的EPG(Electronic Program Guide：电子节目指南)数据经由(未示出的)路径提供到CPU 1032。

如在从视频解码器1015提供的视频数据中，从MPEG解码器1017提供的视频数据在视频信号处理电路1018中经历预定的处理，并且在需要时将在图形产生电路1019中产生的视频数据等叠加在从视频信号处理电路1018提供的视频数据上。然后将产生的视频数据经由面板驱动电路1020提供到显示面板1021，并且在显示面板1021上显示视频数据的图像。

如在从音频A/D转换电路1014提供的音频数据中，从MPEG解码器1017提供的音频数据在音频信号处理电路1022中经历预定的处理，并且经由回声消除/音频合成电路1023提供到音频放大器电路1024。在音频放大器电路1024中，对音频数据执行D/A转换处理和放大处理。作为结果，从扬声器1025输出其音量被调整到预定音量的声音。

电视接收器1000还包括麦克风1026和A/D转换电路1027。

A/D转换电路1027接收表示由对电视接收器1000提供的、用于语音交谈的麦克风1026合并的用户声音的音频信号，并且对接收的音频信号执行A/D转换处理。然后，A/D转换电路1027将获得的数字音频数据提供到回声消除/音频合成电路1023。

一旦使用电视接收器1000从A/D转换电路1027接收用户(用户A)的音频数据，则回声消除/音频合成电路1023对用户A的音频数据执行回声消除，并且将音频数据与另一音频数据合成。回声消除/音频合成电路1023经由音频放大器电路1024将产生的音频数据输出到扬声器1025。

此外，电视接收器1000包括音频编解码器1028、内部总线1029、SDRAM(同步动态随机存取存储器)1030、闪存1031、CPU 1032、USB(通用串行总线)I/F 1033和网络I/F 1034。

A/D转换电路1027接收表示由对电视接收器1000提供的、用于语音交谈的麦克风1026合并的用户声音的信号，并且对接收的音频信号执行A/D转换处理，并且将获得的数字音频数据提供到音频编解码器1028。

音频编解码器1028将从A/D转换电路1027提供的音频数据转换为具有要经由网络发送的预定格式的数据，并且将数据经由内部总线1029提供到网络I/F1034。

网络I/F 1034通过附加到网络终端1035的电缆连接到网络。网络I/F 1034将从音频编解码器1028提供的音频数据例如发送到连接到该网络的另一设备。此外，网络I/F 1034经由网络终端1035接收例如从连接到网络I/F 1034的另一设备经由网络发送的音频数据，并且将所接收的音频数据经由内部总线1029提供到音频编解码器1028。

音频编解码器1028将从网络I/F 1034提供的音频数据转换为具有预定格式的数据，并且将音频数据提供到回声消除/音频合成电路1023。

回声消除/音频合成电路1023对从音频编解码器1028提供的音频数据执行回声消除，并且将音频数据与另一音频数据合成。然后回声消除/音频合成电路1023将产生的音频数据经由音频放大器电路1024输出到扬声器1025。

SDRAM 1030存储CPU 1032执行处理所需的各种数据。

闪存1031存储由CPU 1032执行的程序。存储在闪存1031中的程序由CPU1032在预定时间(例如当电视接收器1000启动时)读出。在闪存1031中也存储经由数字广播获得的EPG数据和经由网络从预定的服务器获得的数据。

在闪存1031中存储了例如包含在CPU 1032的控制下经由网络从预定的服务器获得的内容数据的MPEG-TS。闪存1031例如在CPU 1032的控制下经由内部总线1029将MPEG-TS提供到MPEG解码器1017。

电视接收器1000还包括接收从遥控器1051发出的红外信号的光接收单元1037。

光接收单元1037从遥控器1051接收红外线，并且将作为解调的结果获得的、表示用户操作的内容的控制代码输出到CPU 1032。

CPU 1032按照例如从光接收单元1037提供的控制代码来执行存储在闪存1031中的程序以控制电视接收器1000的整个操作。CPU 1032和电视接收器1000的元件经由未示出的路径互相连接。

USB I/F 1033向通过附加到USB终端1036的USB电缆连接到电视接收器1000的外部设备发送数据和从其接收数据。网络I/F 1034通过附加到网络终端1035的电缆连接到网络以向连接到网络的各种设备发送不同于音频数据的数据并从连接到网络的各种设备接收不同于音频数据的数据。

从广播站等发送的对应于电视接收器1000的MPEG-TS由图像编码设备40编码。这可以降低编码处理的负担。

图7是示出使用应用了本发明的图像编码设备的蜂窝电话的主要配置示例的框图。

图7所示的蜂窝电话1100包括控制单个元件的主控制器1150、电源电路单元1151、操作输入控制器1152、图像编码器1153、相机I/F 1154、LCD控制器1155、图像解码器1156、多路复用器/解多路复用器1157、记录/回放单元1162、调制解调器电路单元1158和音频编解码器1159。这些元件经由总线1160互相连接。

蜂窝电话1100还包括操作键1119、CCD(电荷耦合器件)相机1116、液晶显示器1118、存储单元1123、发送器/接收器电路单元1163、天线1114、麦克风1121和扬声器1117。

当交谈结束或电源键由用户操作开启时，电源电路单元1151从电池组向单个元件提供电源，由此导致蜂窝电话1100可操作。

蜂窝电话1100在由CPU、ROM、RAM等形成的主控制器1150的控制下，以各种模式(诸如语音交谈模式和数据通信模式)执行各种操作，诸如发送和接收音频信号、发送和接收电子邮件或图像数据、图像捕获和数据记录。

例如，在语音交谈模式中，蜂窝电话1100通过使用音频编解码器1159将由麦克风1121收集的声音的音频信号转换为数字音频数据。蜂窝电话1100通过使用调制解调器电路单元1158对数字音频信号执行扩频处理，并且通过使用发送器/接收器电路单元1163对数字音频信号执行数字-模拟转换处理和频率转换处理。蜂窝电话1100将通过上述转换处理获得的发送信号经由天线1114传输到未示出的基站。被传输到基站的发送信号(音频信号)经由公共交换电话网络提供到其它通信方的蜂窝电话。

并且，例如在语音交谈模式中，蜂窝电话1100放大通过天线1114接收的接收信号并且通过使用发送器/接收器电路单元1163对接收的信号进一步执行频率转换处理和模拟-数字转换处理。蜂窝电话1100通过使用调制解调器电路单元1158执行反扩频处理，并且通过使用音频编解码器1159将接收的信号转换为模拟音频信号。蜂窝电话1100从扬声器1117输出作为上述转换的结果获得的模拟音频信号。

此外，例如，当在数据通信模式发送电子邮件时，蜂窝电话1100由操作输入控制器1152接收通过操作键1119的操作输入的电子邮件文本数据。蜂窝电话1110通过使用主控制器1150处理文本数据，并且经由LCD控制器1115将文本数据作为图像显示在液晶显示器1118上。

蜂窝电话1100还基于文本数据或由操作输入控制器1152接收的用户指令、通过使用主控制器1150来产生电子邮件数据。蜂窝电话1100通过使用调制解调器电路单元1158对电子邮件数据执行扩谱处理，并且通过使用发送器/接收器电路单元1163执行数字-模拟转换处理和频率转换处理。蜂窝电话1100将通过上述转换处理获得的发送信号经由天线1114传输到未示出的基站。被传输到基站的发送信号(电子邮件)经由网络、邮件服务器等提供到预定的地址。

此外，例如当在数据通信模式中接收电子邮件时，蜂窝电话1100通过使用发送器/接收器电路单元1163经由天线1114接收从基站传输的信号、放大信号、并且通过使用发送器/接收器电路单元1163对信号执行频率转换处理和模拟-数字转换处理。蜂窝电话1100通过使用调制解调器电路单元1158对接收的信号执行反扩谱处理以重建原始的电子邮件数据。蜂窝电话1100经由LCD控制器1155在液晶显示器1118上显示重建的电子邮件数据。

蜂窝电话1100可以经由记录/回放单元1162在存储单元1123中记录(存储)接收的电子邮件数据。

该存储单元1123是某种可重写存储介质。存储单元1123可以是半导体存储器，诸如RAM或内置闪存、硬盘、磁盘、磁光盘、光盘、USB存储器或可拆卸介质，诸如存储卡。当然，存储单元1123可以是不同于上述存储介质的存储介质。

此外，例如，当在数据通信模式中发送数据时，蜂窝电话1100通过使用CCD相机1116执行图像捕获来产生图像数据。CCD相机1116具有光学装置，诸如镜头和光圈，和用作光电转换设备的CCD。CCD相机1116捕获对象的图像并且将接收的光的强度转换为电信号以产生对象图像的图像数据。CCD相机1116通过经由相机I/F 1154使用图像编码器1153编码图像数据以将图像数据转换为已编码的图像数据。

蜂窝电话1100使用上述图像编码设备40作为执行上述处理的图像编码器1153。如在图像编码设备40的情况下，通过关注如下事实：对于在时间轴上位置互相靠近的帧所计算的滤波系数类似(具有高的相关性)，当执行互预测时，图像编码器1053对于具有靠近的位置关系的滤波器存储在过去计算的滤波系数(第一通路)，并且重新使用存储的滤波系数(第二通路)。这使得可以对于图像编码器1053省略在第一通路中对滤波系数的计算(滤波系数可以仅由第二通路计算)。

蜂窝电话1100通过使用音频编解码器1159对当通过使用CCD相机1116捕获图像时通过麦克风1121收集的声音执行模拟-数字转换，并且进一步编码声音。

蜂窝电话1100按照预定的方法通过使用多路复用器/解多路复用器1157将从图像编码器1153提供的已编码的图像数据与从音频编解码器1159提供的数字音频数据组合。蜂窝电话1100通过使用调制解调器电路单元1158对产生的多路复用的数据执行扩频处理，并且通过使用发送器/接收器电路单元1163对多路复用的数据执行数字-模拟转换处理和频率转换处理。蜂窝电话1100将作为上述转换处理的结果获得的发送信号经由天线1114传输到未示出的基站。传输到基站的发送信号(图像数据)例如经由网络提供到其它通信方。

如果没有发送图像数据，则蜂窝电话1100可以经由LCD控制器1155在液晶显示器1118上显示由CCD相机1116产生的图像数据而无需使用图像编码器1153。

同样，例如在数据通信模式中，当接收链接到简单主页等的移动图像文件的数据时，蜂窝电话1100通过经由天线1114使用发送器/接收器电路单元1163接收从基站传输的信号、放大接收的信号、并且通过使用发送器/接收器电路单元1163执行频率转换处理和模拟-数字转换处理。蜂窝电话1100通过使用调制解调器电路单元1158对接收的信号执行反扩频以重建原始的多路复用的数据。蜂窝电话1100通过使用多路复用器/解多路复用器1157将多路复用的数据分离为已编码的图像数据和音频数据。

蜂窝电话1100通过使用图像解码器1156解码已编码的图像数据以产生回放运动图像数据，并且经由LCD控制器1155在液晶显示器1118上显示回放运动图像数据。通过该操作，包含在链接到简单主页等的运动图像文件中的运动图像数据显示在液晶显示器1118上。

同时，蜂窝电话1100通过使用音频编解码器1159将数字音频数据转换为模拟音频信号、并且从扬声器1117输出模拟音频信号。通过该操作，回放包含在链接到简单主页等的运动图像文件中的音频数据。

如在电子邮件的情况下，蜂窝电话1100可以经由记录/回放单元1162在存储单元1123上记录(存储)链接到简单主页等的接收的数据。

同样，蜂窝电话1100可以通过使用主控制器1150分析作为CCD相机1116的图像捕获结果而获得的二维代码以获得记录在二维代码上的信息。

此外，蜂窝电话1100可以通过使用红外通信单元1181通过红外与外部装置通信。

蜂窝电话1100使用图像编码设备40作为图像编码器1153，其中以要求相对大量计算的分数精度来对于运动矢量的计算的次数被限制为仅一次。作为结果，例如，当编码和传输在CCD相机1116中产生的图像数据时，蜂窝电话1100可以降低编码处理的负担。

在前面的描述中，蜂窝电话1100使用CCD相机1116。然而，替代该CCD相机1116，可以使用采用CMOS(互补金属氧化物半导体)的图像传感器(CMOS图像传感器)。在这种情况下，蜂窝电话1100也可以捕获对象的图像以产生对象图像的图像数据，如在CCD相机1116的情况下那样。

在前面的描述中，作为使用本发明的示例描述了蜂窝电话1100。然而，如在蜂窝电话1100的情况下，图像编码设备40可以应用于具有类似于蜂窝电话1100的图像捕获功能和通信功能的任何设备，诸如PDA(个人数字助理)、智能电话、UMPC(超移动个人计算机)、网络或笔记本个人电脑。

图8是示出使用应用了本发明的图像编码设备的硬盘记录器的主要配置的示例的框图。

图8所示的硬盘记录器(HDD记录器)是这样的设备：在内置硬盘中存储由卫星或地面天线传输的广播信号(电视信号)中包含的并且通过调谐器接收的广播节目的音频数据和视频数据，并且按照来自用户的指令在某时将存储的数据提供到用户。

硬盘记录器1200可以从广播信号中提取例如音频数据和视频数据以当需要时解码音频数据和视频数据，并且将音频数据和视频数据存储在内置硬盘中。硬盘记录器1200还可以从其他设备经由例如网络获得音频数据和视频数据以当需要时解码音频数据和视频数据，并且将音频数据和视频数据存储在内置硬盘中。

此外，硬盘记录器1200可以解码存储在例如内置硬盘中的音频数据和视频数据，并且将音频数据和视频数据提供到监视器1260。硬盘记录器1200将视频数据的图像显示在监视器1260的屏幕上，并且将音频数据的声音从监视器1260的扬声器输出。同样，硬盘记录器1200可以解码从经由调谐器获得的广播信号中提取的音频数据和视频数据，或者解码从其他设备经由网络获得的音频数据和视频数据，并且将音频数据和视频数据提供到监视器1260。硬盘记录器1200将视频数据的图像显示在监视器1260的屏幕上并且将音频数据的声音从监视器1260的扬声器输出。

当然，可以执行不同于上述操作的操作。

如图8所示，硬盘记录器1200包括接收器1221、解调器1222、解多路复用器1223、音频解码器1224、视频解码器1225和记录器控制器1226。硬盘记录器1200还包括EPG数据存储器1227、程序存储器1228、工作存储器1229、显示转换器1230、OSD(On Screen Display：在屏显示)控制器1231、显示控制器1232、记录/回放单元1233、D/A转换器1234和通信单元1235。

同样，显示转换器1230包括视频编码器1241。记录/回放单元1233包括编码器1251和解码器1252。

接收器1221从(未示出的)遥控器接收红外信号并且将红外信号转换为电信号以将电信号输出到记录器控制器1226。记录器控制器1226例如由微处理器形成，并且按照存储在程序存储器1228中的程序执行各种操作。在这种情况下，记录控制器1229在需要时使用工作存储器1229。

通信单元1235连接到网络以经由网络与其他装置通信。例如，在记录器控制器1226的控制下，通信单元1235与(未示出的)调谐器通信并且主要将频道选择控制信号输出到调谐器。

解调器1222解调从调谐器提供的信号并且将信号输出到解多路复用器1223。解多路复用器1223将从解调器1222提供的数据分离为音频数据、视频数据和EPG数据，并且将音频数据、视频数据和EPG数据分别输出到音频解码器1224、视频解码器1225和记录器控制器1226。

音频解码器1224解码输入的音频数据并且将数据输出到记录/回放单元1233。视频解码器1225解码输入的视频数据并且将数据输出到显示转换器1230。记录器控制器1226将输入的EPG数据提供到EPG数据存储器1227并且允许EPG存储器1227将EPG数据存储在其中。

显示转换器1230通过使用视频编码器1241，将从视频解码器1225或者记录器控制器1226提供的视频数据编码为例如NTSC(全国电视标准委员会)视频数据，并且将视频数据输出到记录/回放单元1233。显示转换器1230还将从视频解码器1225或记录器控制器1226提供视频数据的大小转换为与接收器1260的大小匹配的监视器大小。显示转换器1230然后通过使用视频编码器1241将视频数据转换为NTSC视频数据并且将数据转换为模拟信号，并且将模拟信号输出到显示控制器1232。

显示控制器1232在记录控制器1226的控制下将从OSD(在屏显示)控制器1231输出的OSD信号叠加在从显示转换器1230接收的视频信号上。显示控制器1232将叠加的信号输出到监视器1260的显示器并且在显示器上显示叠加的信号。

从音频解码器1224输出的音频数据通过D/A转换器1234转换的模拟信号也提供到监视器1260。监视器1260从内置扬声器输出该音频信号。

记录/回放单元1233具有硬盘作为将视频数据、音频数据等记录在其中的存储介质。

记录/回放单元1233通过使用编码器1251编码例如从音频解码器1224提供的音频数据。记录/回放单元1233还通过使用编码器1251编码从显示转换器1230的视频编码器1241提供的视频数据。记录/回放单元1233通过使用多路复用器将音频数据的已编码数据与视频数据的已编码数据组合。记录/回放单元1233对多路复用的数据执行频道编码以放大数据，并且将多路复用的数据经由记录头写入硬盘中。

记录/回放单元1233经由回放头回放记录在硬盘上的数据，放大数据并且通过使用解多路复用器将数据分离为音频数据和视频数据。记录/回放单元1233通过使用解码器1252解码音频数据和视频数据。记录/回放单元1233对解码的音频数据执行D/A转换并且将音频数据输出到监视器1260的扬声器。记录/回放单元1233还对解码的视频信号执行D/A转换并且将视频数据输出到监视器1260的显示器。

记录器控制器1226基于由通过接收器1221从遥控器接收的红外信号所表示的用户指令，从EPG数据存储器1227读出最近的EPG数据并且将最近的EPG数据提供到OSD控制器1231。OSD控制器1231产生对应于输入的EPG数据的图像数据并且将图像数据输出到显示控制器1232。显示控制器1232将从OSD控制器1231接收的视频数据输出到监视器1260的显示器，并且将视频数据在显示器上显示。利用该操作，EPG(Electronic Program Guide：电子节目指南)显示在监视器1260的显示器上。

硬盘记录器1200还可以获得经由诸如因特网之类的网络从其他装置提供的各种数据，诸如视频数据、音频数据和EPG数据。

在记录器控制器1226的控制下，通信单元1235获得经由网络从其他设备发送的已编码数据，诸如视频数据、音频数据和EPG数据，并且将获得的数据提供到记录器控制器1226。记录器控制器1226将获得的已编码数据，诸如视频数据和音频数据提供到记录/回放单元1233，并且允许记录/回放单元1233将已编码数据存储在硬盘中。在这种情况下，记录器控制器1226和记录/回放单元1233可以在需要时执行处理，诸如重新编码。

记录控制器1226解码获得的已编码数据，诸如视频数据和音频数据，并且将获得的视频数据提供到显示转换器1230。按照与从视频解码器1225提供的视频数据类似的方式，显示转换器1230处理从记录控制器1226提供的视频数据并且将视频数据经由显示控制器1232提供到监视器1260，由此允许监视器1260显示视频数据。

同样，与图像的显示相结合，记录器控制器1226可以将已解码的音频数据经由D/A转换器1234提供到监视器1260，并且可以允许监视器1260从扬声器输出声音。

此外，记录器控制器1226解码所获得的EPG数据的已编码数据并且将已解码的EPG数据提供到EPG数据存储器1227。

上述硬盘记录器1200使用图像编码设备40作为编码器1251。如在图像编码设备40的情况下，通过关注如下事实：对于在时间轴上位置互相靠近的帧所计算的滤波系数类似(具有高的相关性)，当执行互预测时，编码器1251存储对于具有靠近的位置关系的滤波器在过去计算的滤波系数(第一通路)，并且重新使用存储的滤波系数(第二通路)。这使得对于编码器1251可以省略在第一通路中对于滤波系数的计算(滤波系数可以仅由第二通路计算)。

作为结果，硬盘记录器1200例如当在硬盘上记录编码的数据时，可以降低编码处理的负担。

作为使用本发明的示例描述了在硬盘上记录视频数据或音频数据的硬盘记录器1200。然而，当然可以使用任何类型的记录介质。例如，可以使用采用不同于硬盘的记录介质(诸如闪存、光盘或录像带)的记录器。在这种情况下，也如在上述硬盘记录器1200的情况下，图像编码设备40可以应用于这样的记录器。

图9是示出使用应用了本发明的图像编码设备的相机的主要配置的示例的框图。

图9所示的相机1300捕获对象的图像，并且在LCD 1316上显示对象的图像或在记录介质上记录对象的图像作为图像数据。

镜头块1311允许光(即对象的图像)入射在CCD/CMOS 1312上。CCD/CMOS 1312(该CCD/CMOS 1312是使用CCD或CMOS的图像传感器)将所接收的光的强度转换为电信号并且将电信号提供到相机信号处理器1313。

相机信号处理器1313将从CCD/CMOS 1312提供的电信号转换为色差信号Y、Cr、Cb，并且将色差信号提供到图像信号处理器1314。在控制器1321的控制下，图像信号处理器1314对从相机信号处理器1313提供的图像信号执行预定的图像处理并且通过使用编码器1341编码图像信号。图像信号处理器1314将通过编码图像信号获得的已编码数据提供到解码器1315。此外，图像信号处理器1314获得由在屏显示(OSD)1320产生的显示数据并且将显示数据提供到解码器1315。

在上述处理中，如果需要，相机信号处理器1313使用经由总线1317连接到相机信号处理器1313的DRAM(动态随机存取存储器)1318，并且在需要时将图像数据或通过编码该图像数据而获得的已编码数据等存储在DRAM 1318中。

解码器1315解码从图像信号处理器1314提供的已编码数据并且将获得的图像数据(已解码的图像数据)提供到LCD 1316。解码器1315还将从图像信号处理器1314提供的显示数据提供到LCD 1316。LCD 1316将已解码的图像数据的图像与从解码器1315提供的显示数据的图像适当地组合，并且显示合成的图像。

在屏显示1320在控制器1321的控制下经由总线1317将包括符号、字符、图形等的菜单屏幕，或显示数据(诸如图标)输出到图像信号处理器1314。

控制器1321基于表示由用户使用操作单元1322给出的命令的内容的信号执行各种操作，并且还经由总线1317控制图像信号处理器1314、DRAM 1318、外部接口1319、在屏显示1320、介质驱动器1323等。在闪速ROM 1324中，存储了控制器1321执行各种操作所需的程序、数据等。

例如，代替图像信号处理器1314或解码器1315，控制器1321可以编码存储在DRAM 1318中的图像数据或解码存储在DRAM 1318中的已编码数据。在这种情况下，控制器1321可以分别按照与在图像信号处理器1314和解码器1315中采用的编码方法和解码方法类似的方法执行编码和解码处理。替代地，控制器1321可以按照图像信号处理器1314或解码器1315不支持的方法执行编码和解码处理。

同样，例如当从操作单元1322给出了开始打印图像的指令时，控制器1321从DRAM 1318中读取图像数据并且将图像数据提供到经由总线1317连接到外部接口1319的打印机1334，由此允许打印机1334打印图像数据。

此外，例如当从操作单元1322给出了记录图像的指令时，控制器1321从DRAM 1318读取已编码数据并且将已编码数据提供到经由总线1317附加于介质驱动器1323的记录介质1333，由此允许记录介质1333在其中存储已编码数据。

记录介质1333是任意可重写的可拆卸介质，诸如磁盘、磁光盘、光盘、半导体存储器等。当然，任何类型的可拆卸介质可以用作记录介质1333，例如，可以使用磁带装置、盘、或存储卡。当然，例如可以使用非接触IC卡。

替代地，介质驱动器1323和记录介质1333可以集成，并且可以使用非便携式记录介质，例如，内置硬盘驱动器或SSD(Solid State Drive：固态驱动器)。

外部接口1319例如由USB输入/输出端形成，并且当打印图像时连接到打印机1334。驱动器1331在需要时连接到外部接口1319，并且可拆卸介质1332，诸如磁盘、光盘、磁光盘等在需要时附加到驱动器1331。从可拆卸介质1332读取的计算机程序在需要时被安装在闪速ROM 1324中。

此外，外部接口1319具有连接到预定的网络(诸如LAN或因特网)的网络接口。响应于来自操作单元1322的指令，控制器1321从DRAM 1318读取已编码数据并且将已编码数据从外部接口1319提供到经由网络连接到外部接口1319的其他装置。控制器1321还可以经由外部接口1319获得已编码数据或从其他装置经由网络提供的图像数据，并且将数据存储在DRAM 1318中或将数据提供到图像信号处理器1314。

上述相机1300使用图像编码设备40作为编码器1341。如在图像编码设备40的情况下，通过关注如下事实：对于在时间轴上位置互相靠近的帧所计算的滤波系数类似(具有高的相关性)，当执行互预测时，编码器1341存储对于具有靠近的位置关系的滤波器在过去计算的滤波系数(第一通路)，并且重新使用存储的滤波系数(第二通路)。这使得对于编码器1341可以省略在第一通路中对于滤波系数的计算(滤波系数可以仅由第二通路计算)。

因此，当例如在DRAM 1318或记录介质1333上记录已编码数据时或者当例如将已编码数据提供到另一装置时，相机1300能够降低编码处理的负担。

注意，在图像编码设备40中采用的编码方法可以应用于由控制器1321执行的编码处理。

由相机1300捕获的图像数据可以是运动图像或静止图像。

当然，图像编码设备40可以应用于不同于上述设备的设备或系统。

同样，宏块的大小是任意的。本发明可以应用于任何大小的宏块，诸如在图10中所示的那些。例如，本发明不仅可以应用于通常的16×16像素宏块，而且可以应用于扩展的宏块，诸如32×32像素宏块。

在图10中的顶部从左边按次序顺序地示出32×32像素宏块，其被划分为32×32像素、32×16像素、16×32像素和16×16像素的块(区)。同样，在中间部分从左边按次序顺序地示出16×16像素宏块，其被划分为16×16像素、16×8像素、8×16像素和8×8像素的块。此外，在底部从左边按次序顺序地示出8×8像素宏块，其被划分为8×8像素、8×4像素、4×8像素和4×4像素的块。

即，32×32像素宏块可以以在顶部所示的32×32像素、32×16像素、16×32像素和16×16像素的块处理。

在顶部的右边示出的16×16像素宏块可以以中间部分所示的16×16像素、16×8像素、8×16像素和8×8像素的块处理，如在H.264/AVC方法中。

在中间部分的右边示出的8×8像素宏块可以以在底部所示的8×8像素、8×4像素、4×8像素和4×4像素的块处理，如在H.264/AVC方法中。

这些块可以被分类为以下三级。即，在图10的顶部所示的32×32像素、32×16像素和16×32像素的块被称为第一级。在顶部的右边示出的16×16像素的块和在中间部分示出的16×16像素、16×8像素和8×16像素被称为第二级。在中间部分的右边示出的8×8像素的块和底部所示的8×8像素、8×4像素、4×8像素和4×4像素的块被称为第三级。

通过这样的分级结构，对于16×16像素块和具有更小像素的块，具有更大大小的块可以被定义为超集同时保持与H.264/AVC方法的兼容性。

例如，图像编码设备40可以对于每一级计算滤波系数。同样，例如图像编码设备40可以对于第二级设置与第一级相同的滤波系数，该第一级的块大小大于第二级的块大小。此外，例如，图像编码设备40可以对相同级设置在过去使用的相同的滤波系数。

如在第一或第二级中，通过使用相对大的块大小编码的宏块不太可能包含高频分量。相反，如在第三级中，通过使用相对小的块大小编码的宏块更可能包含高频分量。

相应地，对于具有不同块大小的各个级分开地计算滤波系数，因此使得可以改进编码的性能，这对于图像的局部特征是合适的。

滤波器的分接头的数量可以根据级来改变。

附图标记列表

40图像编码设备，41运动预测/补偿单元，42AIF，43运动矢量计算器，44系数计算器，45滤波系数存储器

Claims

1.一种用于对编码目标图像执行互预测处理的图像处理设备，所述图像处理设备包括：

选择装置，用于选择根据运动矢量计算的内插滤波器的滤波系数，所述运动矢量是通过使用由所述内插滤波器执行的内插的结果而计算获得的，所述内插滤波器以分数精度内插所述编码目标图像的像素和用于互预测处理的预测图像的像素；

运动矢量计算装置，用于通过使用由所述内插滤波器使用由所述选择装置选择的滤波系数而执行的内插的结果来计算所述编码目标图像的运动矢量；和

系数计算装置，用于通过使用由所述运动矢量计算装置计算的运动矢量来对于所述编码目标图像计算所述内插滤波器的滤波系数。

2.根据权利要求1所述的图像处理设备，其中，所述选择装置按照在所述编码目标图像和所述预测图像之间的位置关系选择所述滤波系数。

3.根据权利要求2所述的图像处理设备，其中，所述选择装置选择位置暂时最靠近所述编码目标图像的图像的滤波系数。

4.根据权利要求1所述的图像处理设备，其中，所述选择装置按照所述编码目标图像或所述预测图像的画面类型来选择所述滤波系数。

5.根据权利要求1所述的图像处理设备，进一步包括存储装置，用于存储基于运动矢量计算的所述内插滤波器的滤波系数，所述运动矢量是通过使用所述内插滤波器执行的内插的结果而计算获得的，所述内插滤波器以分数精度内插所述编码目标图像的像素和用于互预测处理的预测图像的像素，

其中，所述选择装置选择存储在所述存储装置中的滤波系数。

6.一种用于对编码目标图像执行互预测处理的图像处理设备的图像处理方法，所述图像处理方法包括：

选择根据运动矢量计算的内插滤波器的滤波系数，所述运动矢量是通过使用由所述内插滤波器执行的内插的结果而计算获得的，所述内插滤波器以分数精度内插所述编码目标图像的像素和用于互预测处理的预测图像的像素；

通过使用由所述内插滤波器使用所选的滤波系数而执行的内插的结果来计算所述编码目标图像的运动矢量；和

通过使用所计算的运动矢量计算对于所述编码目标图像计算所述内插滤波器的滤波系数。