CN103238331A

CN103238331A - 图像处理装置、图像处理方法以及程序

Info

Publication number: CN103238331A
Application number: CN2011800580637A
Authority: CN
Inventors: 近藤健治
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-12-07
Filing date: 2011-11-29
Publication date: 2013-08-07
Also published as: US20130195187A1; WO2012077532A1; JP2012124673A

Abstract

本发明涉及一种图像处理装置、图像处理方法以及程序，当在帧间预测中执行具有分数精确度的运动补偿操作时该图像处理装置、图像处理方法以及程序可以在抑制帧间预测精确度降低的同时减少处理负载和延迟。当帧间预测的预测图像的像素在参考图像的水平方向和垂直方向上具有不是1/2像素位置的分数像素位置时，参考图像读取单元41读取包括在彼此正交的两个斜方向上排列的参考像素的预定参考像素。FIR滤波器42通过使用所读取的预定参考像素来计算在参考图像的分数位置的像素作为预测图像的像素。本发明可以被应用到例如通过H.264/AVC来执行压缩编码的编码装置。

Description

图像处理装置、图像处理方法以及程序

技术领域

本发明涉及一种图像处理装置、图像处理方法以及程序，并且更具体地，涉及当在帧间预测中执行具有分数精确度的运动补偿操作时在抑制帧间预测精确度降低的同时可以减少处理负载和延迟的图像处理装置、图像处理方法以及程序。

背景技术

作为用于图像压缩的标准，存在H.264/MPEG（运动图像专家组）-4第10部分先进视频编码（在下文中被称为H.264/AVC）。

根据H.264/AVC，通过利用场或帧之间的相关性来执行帧间预测。在帧间预测中，通过使用已经存储的可参考图像的一部分来执行运动补偿操作，并且生成预测图像。

近年来，已经尝试改进运动补偿操作中的运动向量分辨率，以便实现分数精确度（诸如1/2或1/4等）。

在这种具有分数精确度的运动补偿操作中，在参考图像中的邻近像素之间设置有具有分数位置的虚拟像素（被称为亚像素（sub pel）），并且额外地执行生成亚像素的操作（在下文中被称为插值）（例如，参见专利文献1）。即，在具有分数精确度的运动补偿操作中，最低的运动向量分辨率是像素数量的分数倍，并且因此，执行生成分数位置上的像素的插值。

在插值中所使用的插值滤波器（IF）通常为有限冲激响应（FIR）滤波器。

例如，在传统的插值中，使用6抽头FIR滤波器作为插值滤波器。另外，作为插值滤波器结构，存在不可分离的2D结构和可分离的2D结构。

在使用具有不可分离的2D结构的插值滤波器的情况下，针对每个亚像素，通过对具有整数位置的6×6个像素执行单一计算来生成每个亚像素。在这种情况下，因为通过单一计算来生成每个亚像素，所以延迟量小。但是，因为所需要的执行计算的次数等于抽头数量的平方，所以处理负载大。

另一方面，在使用具有可分离的2D结构的插值滤波器的情况下，与用于生成在垂直方向上具有分数位置的亚像素的计算独立地执行用于生成在水平方向上具有分数位置的亚像素的计算。

例如，通过使用由阴影正方形所表示的并且与亚像素b在水平方向上位于相同位置的整数位置上的六个像素执行计算来生成图1所示的仅在水平方向上具有1/2像素位置的亚像素b。通过使用由阴影正方形所表示的并且与亚像素h在垂直方向上位于相同位置的整数位置上的六个像素执行计算来生成仅在垂直方向上具有1/2像素位置的亚像素h。

此外，通过每次使用在水平线上所排列的六个像素、使用在由阴影正方形所表示的整数位置上的6×6个像素来执行六次计算，以及然后使用作为计算结果所获得的并且与亚像素j在水平方向上具有相同位置的六个像素来执行计算，从而生成在水平方向和垂直方向上均具有1/2像素位置的亚像素j。通过使用像素b、h以及j，或使用由在两侧的阴影正方形所表示的整数位置上的像素来生成1/4像素位置上的像素a、c至g、i以及k至o。

在图1中，不具有分配给其的字母符号的正方形表示整数位置上的像素，并且具有分配给其的字母符号的正方形表示各个字母符号的亚像素。对于稍后描述的图3同样适用。

如图1中所示，在传统的插值中，需要要通过插值生成的亚像素附近的最大6×6个像素。因此，在具有分数精确度的运动补偿操作中，需要比运动补偿操作的目标块大的多的区域中的像素。

如图2中所示，要对4×4个像素的块所执行的分数精确度的运动补偿操作需要与该块相对应的由有点的正方形所表示的4×4个像素，以及包括在该4×4个像素的外侧由阴影正方形所表示的像素的9×9个像素。因此，在帧间预测中执行具有分数精确度的运动补偿操作的情况下，存储参考图像的存储器的带宽用量很大。

在使用具有可分离2D结构的插值滤波器的情况下，并非所有亚像素都需要通过使用整数位置上的6×6个像素来生成。因此，与使用具有不可分离2D结构的插值滤波器的情况相比，处理负载较小，但是执行计算的次数较多。具体地，当生成亚像素j时，通过每次使用在水平线上所排列的六个像素，涉及整数位置上的6×6个像素的计算被执行六次。之后，需要通过使用作为计算的结果所获得的六个像素来执行计算。因此，执行计算的次数多，并且延迟量也大。

有鉴于此，为了减少插值滤波器中的处理负载和延迟，提出了一种方法，如图3中所示该方法通过使用具有整数位置并且在倾斜方向上所排列的像素执行单一计算来生成亚像素e、g、j、m以及o中的每个亚像素。

具体地，根据图3中所示的方法，通过使用由稀疏点正方形所表示的的六个像素而进行的单一计算生成亚像素e和亚像素o。另外，通过使用由密集点正方形所表示的六个像素而进行的单一计算生成亚像素g和亚像素m。此外，通过使用由稀疏点正方形所表示的六个像素和由密集点正方形所表示的六个像素两者而进行的单一计算生成亚像素j。

引用列表

非专利文献1：Dmytro Rusanovskyy,Kemal Ugur,Antti Hallapuro,Jani Lainema,and Moncef Gabbouj,Video Coding With Low-ComplexityDirectional Adaptive Interpolation Filters,IEEE TRANSACTIONS ONCIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY,AUGUST2009,VOL.19,No.8

发明内容

本发明所要解决的问题

根据图3中所示的方法，在关于亚像素e的插值中，使用在倾斜方向上所排列的由稀疏点正方形所表示的六个像素，并且因此，在倾斜方向上亚像素e的特性是优良的。但是，在与排列有由稀疏点正方形所表示的六个像素的方向垂直的方向上，或在与排列有由密集点正方形所表示的六个像素的方向上，亚像素e的特性较差，并且结果，帧间预测精确度变得较低。对于亚像素o、g、以及m同样适用。

另外，在亚像素j的插值中，使用在互相垂直的两个倾斜方向上所排列的、由稀疏点正方形所表示的六个像素和由密集点正方形所表示的六个像素。因此，在倾斜方向上亚像素j的特性是优良的。但是，在水平方向上和在垂直方向上，亚像素e的特性变得较差，并且结果，帧间预测精确度降低。

鉴于这种情况提出了本发明，并且本发明在抑制帧间预测精确度降低的同时减少处理负载和延迟。

问题的解决方案

本发明的一个方面的图像处理装置包括：像素读取部件，用于在帧间预测中从参考图像读取预定像素；以及算术运算部件，用于通过使用由所述像素读取部件读取的所述预定像素，计算在所述参考图像的分数像素位置的像素作为所述帧间预测的预测图像的像素。当所述预测图像的像素在所述参考图像的水平方向和垂直方向上具有不是1/2像素位置的分数像素位置时，所述像素读取部件读取包括在所述参考图像中彼此正交的两个倾斜方向上排列的像素的所述预定像素。

本发明的一个方面的图像处理方法和程序与本发明的一个方面的图像处理装置兼容。

在本发明的一个方面中，在帧间预测过程中从参考图像读取预定像素，并且通过使用读取的所述预测像素，计算在所述参考图像的分数像素位置的像素作为所述帧间预测的预测图像的像素。当预测图像的像素在参考图像的水平方向和垂直方向两者上具有不是1/2像素位置的分数像素位置时，预定像素包括在参考图像中互相垂直的两个倾斜方向上所排列的像素。

本发明的效果

根据本发明，在抑制帧间预测精确度降低的同时可以减少处理负载和延迟。

附图说明

图1是示出在亚像素的生成中要使用的像素的示例的图。

图2是示出在执行具有分数精确度的运动补偿操作的情况下的参考像素范围的图。

图3是示出在亚像素的生成中要使用的像素的另一示例的图。

图4是示出作为应用了本发明的图像处理装置的编码装置的实施例的示例结构的框图。

图5是示出图4中所示的帧间预测单元的示例结构的框图。

图6是示出在为亚像素a、b以及c的预测像素的生成中要使用的参考像素的示例的图。

图7是示出在为亚像素d、h以及l的预测像素的生成中要使用的参考像素的示例的图。

图8是示出在为亚像素e和o的预测像素的生成中要使用的参考像素的示例的图。

图9是示出了在与参考图像中的亚像素e和o的位置相同距离处的参考像素。

图10是示出在为亚像素e和o的预测像素的生成中要使用的参考像素的另一示例的图。

图11是示出在为亚像素e的预测像素的生成中要使用的参考像素的又一示例的图。

图12是示出在为亚像素o的预测像素的生成中要使用的参考像素的又一示例的图。

图13是示出在为亚像素g和m的预测像素的生成中要使用的参考像素的示例的图。

图14是示出了在与参考图像中的亚像素g和m的位置相同距离处的参考像素。

图15是示出在为亚像素g和m的预测像素的生成中要使用的参考像素的另一示例的图。

图16是示出在为亚像素g的预测像素的生成中要使用的参考像素的又一示例的图。

图17是示出在为亚像素m的预测像素的生成中要使用的参考像素的又一示例的图。

图18是示出在为亚像素j的预测像素的生成中要使用的参考像素的示例的图。

图19是示出了在与参考图像中的亚像素j的位置相同距离处的参考像素。

图20是示出在为亚像素j的预测像素的生成中要使用的参考像素的另一示例的图。

图21示出用于任意分数位置上的预测像素的生成所需要的参考像素的示例的图。

图22是示出在为亚像素e的预测像素的生成中要使用的滤波器系数的示例的图。

图23是示出在为亚像素o的预测像素的生成中要使用的滤波器系数的示例的图。

图24是示出在为亚像素g的预测像素的生成中要使用的滤波器系数的示例的图。

图25是示出在为亚像素m的预测像素的生成中要使用的滤波器系数的示例的图。

图26是示出在为诶亚像素j的预测像素的生成中要使用的滤波器系数的示例的图。

图27是示出用于说明由图4中所示的编码装置所进行的编码操作的第一流程图。

图28是示出用于说明由图4中所示的编码装置所进行的编码操作的第二流程图。

图29是用于详细说明帧间预测操作的流程图。

图30是示出作为应用了本发明的图像处理装置的解码装置的示例结构的框图。

图31是示出用于说明由图30中所示的解码装置所进行的解码操作的流程图。

图32是示出计算机的实施例的示例结构的框图。

图33是示出电视接收机的典型示例结构的框图。

图34是示出便携式电话装置的典型示例结构的框图。

图35是示出硬盘记录装置的典型示例结构的框图。

图36是示出摄像机的典型示例结构的框图。

具体实施方式

<第一实施例>

[编码装置的实施例的示例结构]

图4中所示的编码装置10包括A/D转换器11、屏幕重排缓冲器12、算术运算单元13、正交变换单元14、量化单元15、无损编码单元16、累积缓冲器17、逆量化单元18、逆正交变换单元19、加法单元20、去块滤波器21、帧存储器22、帧内预测单元23、帧间预测单元24、运动预测单元25、选择单元26以及速率控制单元27。图4中所示的编码装置10根据H.264/AVC对输入图像执行压缩编码。

具体地，编码装置10的A/D转换器11对作为输入信号所输入的基于帧的图像执行A/D转换，以及将图像输出并且存储到屏幕重排缓冲器器12。屏幕重排缓冲器12按照显示顺序来重排所存储的图像的帧，以使得依照GOP（图片组）结构按照编码顺序排列图像的帧。重排的基于帧的图像被输出至算术运算单元13、帧内预测单元23以及运动预测单元25。

算术运算单元13用作差异计算工具，并且计算选择单元26所供给的预测图像与屏幕重排缓冲器12所输出的编码目标图像之间的差异。具体地，算术运算单元13从屏幕重排缓冲器12所输出的编码目标图像中减去选择单元26所供给的预测图像。算术运算单元13将作为相减结果所获得的图像作为残留（residual）误差信息输出至正交变换单元14。当选择单元26未供给任何预测图像时，算术运算单元13将从屏幕重排缓冲器12所读取的图像作为残留误差信息而输出至正交变换单元14。

正交变换单元14对算术运算单元13所供给的残留误差信息执行正交变换（诸如离散余弦变换或Karhunen-Loeve变换），并且将生成的系数供给至量化单元15。

量化单元15对正交变换单元14所供给的系数进行量化。量化之后的系数被输入至无损编码单元16。

无损编码单元16从帧内预测单元23获取指示最佳帧内预测模式的信息（在下文中被称为帧内预测模式信息），并且从帧间预测单元24获取指示最佳帧间预测模式的信息（在下文中被称为帧间预测模式信息）、运动向量等。

无损编码单元16对量化单元15所供给的量化之后的系数执行诸如可变长度编码（例如，CAVLC（上下文自适应可变长度编码））或算术编码（例如，CABAC（上下文自适应二进制算术编码））等无损编码，并且将生成的信息转变为压缩图像。无损编码单元16还对帧内预测模式信息，或对帧间预测模式信息、运动向量等执行无损编码，并且将生成的信息转变为要被添加至压缩图像的报头信息。无损编码单元16将压缩图像作为压缩图像信息供给并且存储到累积缓冲器17，作为无线编码的结果所获得的报头信息被添加至上述压缩图像。

累积缓冲器17临时地存储无损编码单元16所供给的压缩图像信息，并且在稍后的阶段中将压缩图像信息输出至记录装置、传输路径等（未示出）。

量化单元15所输出的量化之后的系数还被输入至逆量化单元18，并且在逆量化之后被供给至逆正交变换单元19。

逆正交变换单元19对逆量化单元18所供给的系数执行逆正交变换（诸如逆离散余弦变换或逆Karhunen-Loeve变换），并且将生成的残留误差信息供给至加法单元20。

加法单元20用作将逆正交变换单元19所供给的作为解码目标图像的残留误差信息添相加至选择单元26所供给的预测图像并且获得局部解码图像的相加运算工具。如果不存在选择单元26所供给的预测图像，则加法单元20将逆正交变换单元19所供给的残留误差信息设置为局部解码图像。加法单元20将局部解码图像供给至去块滤波器21，并且将局部解码图像作为参考图像供给至帧内预测单元23。

去块滤波器21对加法单元20所供给的局部解码图像执行滤波以移除块失真。去块滤波器21将生成的图像供给至并且存储到帧存储器22。帧存储器22中所存储的图像然后被作为参考图像而输出至帧间预测单元24和运动预测单元25。

基于从屏幕重排缓冲器12所读取的图像和加法单元20所供给的参考图像，帧内预测单元23以所有候选帧内预测模式执行帧内预测，并且生成预测图像。

帧内预测单元23还针对所有候选帧内预测模式计算成本函数值（稍后详细描述）。帧内预测单元23然后将具有最小成本函数值的帧内预测模式确定为最佳帧内预测模式。帧内预测单元23将以最佳帧内预测模式所生成的预测图像和对应的成本函数值供给至选择单元26。当将选择单元26选择以最佳帧内预测模式生成预测图像通知给帧内预测单元23时，帧内预测单元23将该帧内预测模式供给至无损编码单元16。

应当注意成本函数值还被称为RD（速率失真）成本，并且例如通过如在作为H.264/AVC的参考软件的JM（联合模型）中所指定的高复杂度模式或低复杂度模式的技术来计算。

具体地，在使用高复杂度模式作为计算成本函数值的方法的情况下，对所有候选预测模式临时地实施以无损编码结束的操作，并且针对预测模式中的每个计算由下面的公式（1）所表示的成本函数值。

Cost(Mode)=D+λ·R···(1)

D表示原始图像与解码图像之间的差异（失真），R表示包括正交变换系数的比特生成速率，以及λ表示作为量化参数QP的函数而给出的拉格朗日乘子。

另一方面，在使用低复杂度模式作为计算成本函数值的方法的情况下，生成解码图像，并且以所有候选预测模式计算报头比特（诸如指示预测模式的信息）。然后针对预测模式中的每个预测模式计算有下面的公式（2）所表示的成本函数值。

Cost(Mode)=D+QPtoQuant(QP)·Header_Bit···(2)

D表示原始图像与解码图像之间的差异（失真），Header_Bit表示与预测模式相对应的报头比特，以及QPtoQuant是作为量化参数QP的函数而给出的函数。

在低复杂度模式中，以所有预测模式简单地生成解码图像，并且不需要执行无损编码。因此，计算量小。应当注意在此高复杂度模式被用作计算成本函数值的方法。

基于运动预测单元25所供给的帧间预测模式信息和运动向量，帧间预测模式24从帧存储器22读取参考图像。基于从帧存储器22所读取的运动向量和参考图像，帧间预测单元24执行帧间预测操作。具体地，帧间预测单元24基于运动向量对参考图像执行插值处理，以执行具有分数精确度的运动补偿操作。帧间预测单元24将运动预测单元25所供给的生成的预测图像和成本函数值供给至选择单元26。当将选择单元26选择以最佳帧间预测模式生成预测图像通知给帧间预测单元24时，帧间预测单元24将帧间预测模式信息、对应的运动向量等输出至无损编码单元16。

基于屏幕重排缓冲器12所供给的图像和帧存储器22所供给的参考图像，运动预测单元25以所有候选帧间预测模中执行运动预测运算，并且生成具有分数精确度的运动向量。具体地，运动预测单元25按照与帧间预测单元24相同的方式以每个帧间预测模式对参考图像执行插值。在每个帧间预测模式中，运动预测单元25在插值之后的参考图像与屏幕重排缓冲器12所供给的图像之间执行匹配，以生成具有分数精确度的运动向量。在本实施例中，通过插值生成1/2像素位置和1/4像素位置上的亚像素，并且运动向量精确度是1/4像素精确度。

此时，运动预测单元25针对所有候选帧间预测模式来计算成本函数值，并且将具有最小成本函数值的帧间预测模式确定为最佳帧间预测模式。运动预测单元25然后将帧间预测模式信息、对应的运动向量以及对应的成本函数值供给至帧间预测单元24。

应当注意帧间预测模式信息是指示要受到帧间预测的块的尺寸、预测方向以及参考指标的信息。要受到帧间预测的块的尺寸包括诸如4×4个像素、8×8个像素、16×16个像素、32×32个像素以及64×64个像素等正方形块的尺寸，以及诸如4×8个像素、8×4个像素、8×16个像素、16×8个像素、16×32个像素、32×16个像素、32×64个像素以及64×32个像素等矩形块的尺寸。关于预测方向，存在有：向前预测（“L0预测”），每个使用具有比要受到帧间预测的图像早的显示时间的参考图像；以及向后预测（“L1预测”），每个使用具有比要进行帧间预测的图像晚的显示时间的参考图像。参考指标是用于识别参考图像的数字，并且位于越接近于要受到帧间预测的图像的图像具有越小的参考指标数字。

基于帧内预测单元23和帧间预测单元24所供给的成本函数值，选择单元26将最佳帧内预测模式或最佳帧间预测模式确定为最佳预测模式。选择单元26然后将以最佳模式预测的图像供给至算术运算单元13和加法单元20。选择单元26还将选择以最佳预测模式预测图像通知给帧内预测单元23或帧间预测单元24。

基于累积缓冲器17中所存储的压缩图像信息，速率控制单元27控制量化单元15的量化操作速率，以使得不导致上溢或下溢。

[帧间预测单元的示例结构]

图5是示出图4中所示的帧间预测单元24的示例结构的框图。

为了便于说明，图5仅示出了与帧间预测单元24的帧间预测操作有关的块，并且未示出输出成本函数值、帧间预测模式信息、运动向量等的块。

在图5中，帧间预测单元24包括参考图像读取单元41、FIR滤波器42以及滤波器系数存储器43。

基于图4中所示的运动预测单元25所供给的帧间预测模式信息中所包含的参考指标和预测方向，帧间预测单元24的参考图像读取单元41在帧存储器22中所存储的图像之中识别参考图像。基于帧间预测模式信息中所包含的块尺寸和运动向量的整数值，参考图像读取单元41从帧存储器22读取在预测图像的生成中要使用的参考图像的像素（在下文中被称为参考像素），并且临时地存储这些参考像素。

参考图像读取单元41用作像素读取工具。针对预测图像的像素中的每个像素（在下文中被称为预测像素），参考图像读取单元41在临时地存储的参考像素之中读取在预测像素的生成中要使用的参考像素。参考图像读取单元41然后将所读取的参考像素供给至FIR滤波器42。

FIR滤波器42用作算术运算工具，并且通过使用参考图像读取单元41所供给的参考像素和滤波器系数存储器43所供给的滤波器系数来执行计算。具体地，FIR滤波器42将每个参考像素乘以与该参考像素相对应的滤波器系数，并且将相乘结果增加至偏移值。依照参考图像中的预测像素的位置，FIR滤波器42将通过计算所获得的一个像素作为预测像素供给至选择单元26（图4），或对作为计算结果所获得的像素执行预定计算并且将生成的一个像素作为预测像素供给至选择单元26。

滤波器系数存储器43存储用于与运动像素的分数值相关联的各个参考像素的滤波器系数。基于图4中所示的运动预测单元25所供给的运动向量的分数值，滤波器系数存储器43将所存储的并且与分数值相关联的、用于各个参考像素的滤波器系数供给至FIR滤波器42。

[参考像素的说明]

图6至图20是用于说明在预测像素的生成中要使用的参考像素的示例的图。

在图6至图20中，具有分配给其的字母符号的每个正方形表示亚像素，并且不具有分配给其的字母符号的每个正方形表示参考像素。有点的正方形表示在预测像素的生成中要使用的参考像素。此外，实线圆圈围绕在预测像素的生成中要使用的参考像素，并且虚线圆圈指示由圆圈所围绕并且由不具有分配给其的字母符号的正方形所表示的参考像素是在通过图3中所示的传统方法的预测像素生成中要使用的参考像素。

图6是示出在预测像素的生成中要使用的、在垂直方向上具有整数位置并且在水平方向上具有分数位置的参考像素的示例的图。

如图6中所示，在预测像素是在垂直方向上具有整数位置并且在水平方向上具有分数位置的亚像素a、b以及c的情况下，由内侧实线圆圈所围绕的稀疏点正方形所表示的八个参考像素被用于预测像素的生成。具体地，在预测像素的生成中要使用的参考像素是由在亚像素a、b以及c的左侧和右侧的每侧各两个像素构成的四个参考像素，以及在位于将亚像素a、b以及c夹在中间的两条垂直线上的这些参考像素之中除了在亚像素a、b以及c的左侧和右侧的四个参考像素之外最接近亚像素a、b以及c的四个参考像素。

替选地，在亚像素a、b以及c的生成中要使用的参考像素可以是位于亚像素a、b以及c附近、由外侧实线圆圈所围绕的有点的正方形所表示、以及还包括由图6中所示的密集点正方形所表示的四个参考像素的4×3个参考像素。

如上所述，在图4中所示的编码装置10中，当预测像素是在垂直方向上具有整数位置并且在水平方向上具有分数位置的亚像素a、b以及c时，通过不仅使用在水平方向上所排列的参考像素，并且还使用在垂直方向上所排列的参考像素来生成预测像素。因此，可以在水平方向和垂直方向两者上使预测像素的特性优良。

另一方面，根据图3中所示的传统方法要使用的参考像素是由如图6中的虚线所围绕的正方形所指示的在亚像素a、b以及c的左侧和右侧的每侧各三个像素构成的六个参考像素。根据图3中所示的传统方法，未使用在垂直方向上所排列的任何参考像素。因此，在垂直方向上预测像素的特性不是优良的。

另外，在FIR滤波器42执行SIMD（单指令流多数据流）计算的情况下，如果如图6中所示在亚像素a、b以及c的生成中要使用的参考像素的数量为八（其为2的幂），则可以有效地执行计算。

此外，与根据图3中所示的传统方法要使用的并且由图6中的虚线所围绕的正方形所表示的参考像素相比，由图6中的实线所围绕的有点的正方形所表示的参考像素的位置更接近亚像素a、b以及c。

图7是示出在预测像素的生成中要使用的、在水平方向上具有整数位置并且在垂直方向上具有分数位置的参考像素的示例的图。

如图7中所示，在预测像素是在水平方向上具有整数位置并且在垂直方向上具有分数位置的亚像素d、h以及l的情况下，在预测像素的生成中使用由内侧实线圆圈所围绕的稀疏点正方形所表示的八个参考像素。具体地，在预测像素的生成中要使用的参考像素是由在亚像素d、h以及l的上方和下方每侧各两个像素构成的四个参考像素，以及在位于将亚像素d、h以及l夹在中间的两条水平线上的这些参考像素之中除了在亚像素d、h以及l的上方和下方的四个参考像素之外最接近亚像素d、h以及l的四个参考像素。

替选地，在亚像素d、h以及l的生成中要使用的参考像素可以是位于亚像素d、h以及l附近、由外侧实线圆圈所围绕的有点的正方形所表示、以及还包括由图7中所示的密集点正方形所表示的四个参考像素的3×4个参考像素。

如上所述，在编码装置10中，当预测像素是在水平方向上具有整数位置并且在垂直方向上具有分数位置的亚像素d、h以及l时，通过不仅使用在垂直方向上所排列的参考像素，并且还使用在水平方向上所排列的参考像素来生成预测像素。因此，可以在水平方向和垂直方向两者上使预测像素的特性优良。

另一方面，根据图3中所示的传统方法要使用的参考像素是由如图7中的虚线所围绕的正方形所指示的在亚像素d、h以及l的上方和下方的每侧各三个像素构成的六个参考像素。根据图3中所示的传统方法，未使用在水平方向上所排列的任何参考像素。因此，在水平方向上预测像素的特性不是优良的。

另外，在FIR滤波器42执行SIMD计算的情况下，如果如图7中所示在亚像素d、h以及l的生成中要使用的参考像素的数量为八（其为2的幂），则可以有效地执行计算。

此外，与根据图3中所示的传统方法要使用的并且由图7中的虚线所围绕的正方形所表示的参考像素相比，由图7中的实线所围绕的有点的正方形所表示的参考像素的位置更接近亚像素d、h以及l。

图8是示出在水平方向和垂直方向两者上具有1/4像素位置的左上和右下预测像素的生成中要使用的参考像素的示例的图。

如图8中所示，在预测像素是在水平方向和垂直方向两者上具有1/4像素位置的左上和右下亚像素e和o的情况下，在预测像素的生成中使用由实线圆圈所围绕的稀疏点正方形所表示的六个参考像素。具体地，在预测像素的生成中要使用的参考像素是在排列了亚像素e和o的倾斜方向上所排列的这些参考像素之中最接近亚像素e和o的四个参考像素，以及在与该倾斜方向垂直的方向上所排列的这些参考像素之中最接近亚像素e和o的两个参考像素。

如上所述，在编码装置10中，当预测像素是在水平方向和垂直方向两者上具有1/4像素位置的左上和右下亚像素e和o时，通过不仅使用在亚像素e和o所排列的倾斜方向上所排列的参考像素，并且还使用在与该倾斜方向上垂直的方向上所排列的参考像素来生成预测像素。因此，可以在倾斜方向上使预测像素的特性优良。

另一方面，根据图3中所示的传统方法要使用的参考像素是由如图8中的虚线所围绕的正方形所指示的在亚像素e和o所排列的倾斜方向上所排列的将亚像素e和o夹在中间的六个参考像素。根据图3中所示的传统方法，未使用在与倾斜方向垂直的方向上所排列的任何参考像素。因此，与使用具有可分离2D结构的传统插值滤波器的情况中的这些预测像素相比，在与排列了亚像素e和o的倾斜方向垂直的方向上预测像素的特性较差。

另外，如图9中所示，在与亚像素e和o所排列的倾斜方向垂直的方向上所排列的这些参考像素之中最接近亚像素e和o的两个参考像素在与参考图像中的亚像素e和o的位置相同的距离处。因此，由于对称属性，用于这两个参考像素的滤波器系数相同。有鉴于此，图5中所示的滤波器42可以将这两个参考像素相加，并且然后将生成的值乘以滤波器系数。结果，可以减少执行乘法的次数。

图10是示出在水平方向和垂直方向两者上具有1/4像素位置的左上和右下预测像素的生成中要使用的参考像素的另一示例的图。

在图10中所示的示例中，当预测像素是在水平方向和垂直方向两者上具有1/4像素位置的左上和右下亚像素e和o时，在预测像素的生成中要使用的参考像素是由外侧实线圆圈所围绕的有点的正方形所表示的十个参考像素，该十个参考像素由图8中所示的示例中所使用的六个参考像素和由图10中的密集点正方形所表示的四个参考像素构成。具体地，在预测像素的生成中要使用的参考像素是在亚像素e和o所排列的倾斜方向上所排列的这些参考像素之中最接近亚像素e和o的四个参考像素，以及在与倾斜方向垂直的三个方向上所排列的这些参考像素中最接近亚像素e和o的总共六个参考像素（包括在三个方向每个方向上各两个参考像素）。

图11是示出在预测像素是亚像素e的情况下在预测像素的生成中要使用的参考像素的又一示例的图。

在图11中所示的示例中，当预测像素是亚像素e时，在预测像素的生成中要使用的参考像素是由外侧实线圆圈所围绕的有点的正方形所表示的八个参考像素，该八个参考像素由图8中所示的示例中所使用的六个参考像素和由图11中密集点正方形所表示的两个参考像素构成。具体地，在预测像素的生成中要使用的参考像素是在亚像素e和o所排列的倾斜方向上所排列的这些参考像素之中最接近亚像素e的四个参考像素，以及在与倾斜方向垂直的两个方向上所排列的这些参考像素之中最接近亚像素e的总共四个参考像素（包括在两个方向上每个方向上各两个参考像素）。

图12是示出在预测像素是亚像素o的情况下在预测像素的生成中要使用的参考像素的又一示例的图。

在图12中所示的示例中，当预测像素是亚像素o时，在预测像素的生成中要使用的参考像素是由外侧实线圆圈所围绕的有点的正方形所表示的八个参考像素，该八个参考像素由图8中所示的示例中所使用的六个参考像素和由图12中密集点正方形所表示的两个参考像素构成。具体地，在预测像素的生成中要使用的参考像素是在亚像素e和o所排列的倾斜方向上所排列的这些参考像素之中最接近亚像素o的四个参考像素，以及在与倾斜方向垂直的两个方向上所排列的这些参考像素之中最接近亚像素o的总共四个参考像素（包括在两个方向上每个方向上各两个参考像素）。

另外，在FIR滤波器42执行SIMD计算的情况下，如果如图11和图12中所示在亚像素e或o的生成中要使用的参考像素的数量为八（其为2的幂），则可以有效地执行计算。

此外，与根据图3中所示的传统方法要使用的并且由图8以及图10至图12中虚线所围绕的正方形所表示的参考像素相比，由图8以及图10至图12中实线所围绕的有点的正方形所表示的参考像素的位置更接近亚像素e和o。

图13是示出在水平方向和垂直方向两者上具有1/4像素位置的右上和左下预测像素的生成中要使用的参考像素的示例的图。

如在图13中所示，在预测像素是在水平方向和垂直方向两者上具有1/4像素位置的右上和左下亚像素g和m的情况下，在预测像素的生成中使用由实线圆圈所围绕的稀疏点正方形所表示的六个参考像素。具体地，在预测像素的生成中要使用的参考像素是在亚像素g和m所排列的倾斜方向上所排列的这些参考像素之中最接近亚像素g和m的四个参考像素，以及在与倾斜方向垂直的方向上所排列的这些参考像素之中最接近亚像素g和m的两个参考像素。

如上所述，在编码装置10中，当预测像素是在水平方向和垂直方向两者上具有1/4像素位置的右上和左下亚像素g和m时，通过不仅使用在亚像素g和m所排列的倾斜方向上所排列的参考像素，并且还使用在与该倾斜方向垂直的方向上所排列的参考像素来生成预测像素。因此，可以在倾斜方向上使预测像素的特性优良。

另一方面，根据图3中所示的传统方法要使用的参考像素是由如图13中的虚线所围绕的正方形所指示的在亚像素g和m所排列的倾斜方向上所排列的将亚像素g和m夹在中间的六个参考像素。根据图3中所示的传统方法，未使用在与倾斜方向垂直的方向上所排列的任何参考像素。因此，与使用具有可分离2D结构的传统插值滤波器的情况中的这些预测像素相比，在与排列了亚像素g和m的倾斜方向垂直的方向上预测像素的特性较差。

另外，如图14中所示，在与亚像素g和m所排列的倾斜方向垂直的方向上所排列的这些参考像素之中最接近亚像素g和m的两个参考像素在离参考图像中的亚像素g和m的位置相同的距离处。因此，由于对称属性，用于这两个参考像素的滤波器系数相同。有鉴于此，滤波器42可以将这两个参考像素相加，并且然后将生成的值乘以滤波器系数。结果，可以减少执行乘法的次数。

图15是示出在水平方向和垂直方向两者上具有1/4像素位置的右上和左下预测像素生成中要使用的参考像素的另一示例的图。

在图15中所示的示例中，当预测像素是在水平方向和垂直方向两者上具有1/4像素位置的右上和左下亚像素g和m时，在预测像素的生成中要使用的参考像素是由外侧实线圆圈所围绕的有点的正方形所表示的十个参考像素，该十个参考像素由图13中所示的示例中所使用的六个参考像素和由图15中的密集点正方形所表示的四个参考像素构成。具体地，在预测像素的生成中要使用的参考像素是在排列了亚像素g和m的倾斜方向上所排列的这些参考像素之中最接近亚像素g和m的四个参考像素，以及在与倾斜方向垂直的三个方向上所排列的这些参考像素中最接近亚像素g和m的总共六个参考像素（包括在三个方向每个方向上各两个参考像素）。

图16是示出在预测像素是亚像素g的情况下在预测像素的生成中要使用的参考像素的又一示例。

在图16中所示的示例中，当预测像素为亚像素g时，在预测像素的生成中要使用的参考像素是由外侧实线圆圈所围绕的有点的正方形所表示的八个参考像素，该八个参考像素由图13中所示的示例中所使用的六个参考像素和由图16中密集点正方形所表示的两个参考像素构成。具体地，预测像素的生成中要使用的参考像素是在排列了亚像素g和m的倾斜方向上所排列的这些参考像素之中最接近亚像素g的四个参考像素，以及在与倾斜方向垂直的两个方向上所排列的这些参考像素之中最接近亚像素g的总共四个参考像素（包括在两个方向上每个上各两个参考像素）。

图17是示出在预测像素是亚像素m的情况下在预测像素的生成中要使用的参考像素的又一示例的图。

在图17中所示的示例中，当预测像素是亚像素m时，在预测像素的生成中要使用的参考像素是由外侧实线圆圈所围绕的有点的正方形所表示的八个参考像素，该八个参考像素由图13中所示的示例中所使用的六个参考像素和由图17中密集点正方形所表示的两个参考像素构成。具体地，在预测像素的生成中要使用的参考像素是在排列了亚像素g和m的倾斜方向上所排列的这些参考像素之中最接近亚像素m的四个参考像素，以及在与斜方向垂直的两个方向上所排列的这些参考像素之中最接近亚像素m的总共四个像素（包括在两个方向上每个方向上的两个参考像素）。

在FIR滤波器42执行SIMD计算的情况下，如果如图16和图17中所示在亚像素g或m的生成中要使用的参考像素的数量是八（其为2的幂），则可以有效地执行计算。

此外，与根据图3中所示的传统方法要使用的并且由图13以及图15至图17中虚线所围绕的正方形所表示的参考像素相比，由图13以及图15至图17中实线所围绕的有点的正方形所表示的参考像素的位置更接近亚像素g和m。

图18是示出在水平方向和垂直方向两者上具有1/2像素位置的预测像素的生成中要使用的参考像素的示例的图。

如在图18中所示，在预测像素是在水平方向和垂直方向两者上具有1/2像素位置的亚像素j的情况下，在预测像素的生成中使用由实线圆圈所围绕的稀疏点正方形所表示的12个参考像素。具体地，在预测像素的生成中要使用的参考像素是在位于将亚像素j夹在中间的两条水平线上的这些参考像素之中最接近亚像素j的八个参考像素，以及在位于将亚像素j夹在中间的两条垂直线上除了上述八个参考像素之外的这些参考像素之中最接近亚像素j的四个参考像素。

如上所述，在编码装置10中，当预测图像是在水平方向和垂直方向两者上具有1/2像素位置的亚像素j时，通过不仅使用在亚像素j位置处互相交叉的两个倾斜方向上所排列的参考像素，并且还使用在将亚像素j夹在中间的水平线和垂直线上所排列的参考像素来生成预测像素。因此，预测像素的特性是优良的。

另一方面，如图18中虚线所围绕的正方形所指示，根据图3中所示的传统方法要使用的参考像素是由在亚像素j位置处互相交叉的两个倾斜方向中的每个方向上所排列的各六个像素的总共12个参考像素构成。根据图3中所示的传统方法，未使用在水平方向和垂直方向上所排列的任何参考像素。因此，与使用具有可分离2D结构的传统插值滤波器的情况中的这些预测像素相比，在水平方向和垂直方向上预测像素的特性较差。

另外，如图19中所示，最接近亚像素j的2×2个参考像素在与参考图像中的亚像素j的位置相同的距离处。除了2×2个参考像素之外，第二接近亚像素j的八个参考像素也在与参考图像中的亚像素j的位置相同的距离处。因此，由于对称属性，用于2×2个参考像素的滤波器系数相同，并且用于除了2×2个参考像素之外的八个参考像素的滤波器系数相同。有鉴于此，FIR滤波器42可以将2×2个参考像素相加，并且然后将生成的值乘以对应的滤波器系数。FIR滤波器42还可以将除了2×2个参考像素之外的八个参考像素相加，并且然后将生成的值乘以对应的滤波器系数。结果，可以减少执行乘法的次数。

图20是示出在水平方向和垂直方向两者上具有1/2像素位置的预测像素的生成中要使用的参考像素的另一示例的图。

在图20中所示的示例中，在预测像素是在水平方向和垂直方向两者上具有1/2像素位置的亚像素j的情况下，在预测像素的生成中使用由外侧实线圆圈所围绕的有点的正方形所表示的16个参考像素。16个参考像素由图18中所示的示例中所使用的12个参考像素，以及由图20中密集点正方形所表示的四个参考像素构成。具体地，在预测像素的生成中使用在亚像素j附近的4×4个参考像素。

在FIR滤波器42执行SIMD计算的情况下，如果如图20中所示在亚像素j的生成中要使用的参考像素的数量是16（其为2的幂），则可以有效地执行计算。

另外，与根据图3中所示的传统方法要使用的并且由图18以及图20中虚线所围绕的正方形所表示的参考像素相比，由图18以及图20中实线所围绕的有点的正方形所表示的参考像素的位置更接近亚像素j。

图21是示出在帧间预测块的块尺寸是4×4个参考像素的情况下用于在任意分数位置上的预测像素的生成中所需要的参考像素的示例的图。

在图21中每个正方形表示一个参考像素。每个有点的正方形表示在预测像素的生成中要使用的参考像素之中位于帧间预测块的尺寸范围内的参考像素，并且每个阴影正方形表示在帧间预测块的尺寸范围之外的参考像素。

在图21中所示的示例中，通过使用参照图6至图20所描述的参考像素来生成亚像素a至e、g、h、j、l、m以及o，并且通过使用邻近亚像素来生成亚像素f、i、k以及n。

在这种情况下，用于在任意分数位置上的预测像素的生成中所需要的参考像素范围是7×7个参考像素的范围，如图21所示该范围包括作为帧间预测块的尺寸的4×4个像素的范围、在4×4个像素范围的正左侧的一列像素和正上方的一行像素、以及在4×4个像素范围的正右侧的两列像素和正下方的两行像素。

如上所述，与根据图3中所示的传统方法要使用的参考像素相比，参照图6至图20所描述的参考像素位于更接近预测像素。因此，用于在任意分数位置上的预测像素的生成中所需要的参考像素的数量小于在使用图3中所示的传统方法的情况下所使用的参考像素的数量。结果，可以减少帧存储器22中的存储器带宽的用量。

在使用图3中所示的传统方法的情况下，用于在任意分数位置上的预测像素的生成中所需要的参考像素范围是如图2中所示的9×9个像素的范围。此外，实际上，难以逐像素地访问帧存储器，并且因此，存储器带宽的用量大于9×9个像素。

[滤波器系数的示例]

图22至图26是示出图5中所示的FIR滤波器42中所存储的滤波器系数的示例的图。

如图22中所示，按照降序顺序，在作为亚像素e的预测像素的生成中要使用的滤波器系数是：用于最接近参考像素的滤波器系数（在下文中被称为最近参考像素）、用于在最近参考像素的正右侧的参考像素和在最近参考像素的正下方的参考像素的滤波器系数、用于在最近参考像素的右下方的参考像素的滤波器系数、用于在右下参考像素的右下方的参考像素的滤波器系数以及用于最近参考像素的左上方的参考像素的滤波器系数。在图22中所示的示例中，用于最近参考像素的滤波器系数为122，并且用于最近参考像素的正右侧的参考像素和最近参考像素的正下方的参考像素的滤波器系数为64。用于最近参考像素的右下方的参考像素的滤波器系数为17，用于右下像素的右下方的参考像素的滤波器系数为-4，以及用于最近参考像素的左上方的参考像素的滤波器系数为-7。

如图23中所示，按照降序顺序，在为亚像素o的预测像素的生成中要使用的滤波器系数是：用于最近参考像素的滤波器系数、用于在最近参考像素的正左侧的参考像素和在最近参考像素的正上方的参考像素的滤波器系数、用于在最近参考像素的左上方的参考像素的滤波器系数、用于在左上参考像素的左上方的参考像素的滤波器系数以及用于最近参考像素的右下方的参考像素的滤波器系数。在图23中所示的示例中，用于最近参考像素的滤波器系数为122，并且用于最近参考像素的正左侧的参考像素和最近参考像素的正上方的参考像素的滤波器系数为64。用于最近参考像素的左上方的参考像素的滤波器系数为17，用于左上像素的左上方的参考像素的滤波器系数为-4，以及用于最近参考像素的右下方的参考像素的滤波器系数为-7。

如图24中所示，按照降序顺序，在为亚像素g的预测像素的生成中要使用的滤波器系数是：用于最近参考像素的滤波器系数、用于在最近参考像素的正左侧的参考像素和在最近参考像素的正下方的参考像素的滤波器系数、用于在最近参考像素的左下方的参考像素的滤波器系数、用于在左下参考像素的左下方的参考像素的滤波器系数以及用于最近参考像素的右上方的参考像素的滤波器系数。在图24中所示的示例中，用于最近参考像素的滤波器系数为122，并且用于最近参考像素的正左侧的参考像素和最近参考像素的正下方的参考像素的滤波器系数为64。用于最近参考像素的左下方的参考像素的滤波器系数为17，用于左下像素的左下方的参考像素的滤波器系数为-4，以及用于最近参考像素的右上方的参考像素的滤波器系数为-7。

如图25中所示，按照降序顺序，在为亚像素m的预测像素的生成中要使用的滤波器系数是：用于最近参考像素的滤波器系数、用于在最近参考像素的正右侧的参考像素和在最近参考像素的正上方的参考像素的滤波器系数、用于在最近参考像素的右上方的参考像素的滤波器系数、用于在右上参考像素的右上方的参考像素的滤波器系数以及用于最近参考像素的左下方的参考像素的滤波器系数。在图25中所示的示例中，用于最近参考像素的滤波器系数为122，并且用于最近参考像素的正右侧的参考像素和最近参考像素的正上方的参考像素的滤波器系数为64。用于最近参考像素的右上方的参考像素的滤波器系数为17，用于右上像素的右上方的参考像素的滤波器系数为-4，以及用于最近参考像素的左下方的参考像素的滤波器系数为-7。

如在图26中所示，在作为亚像素j的预测像素的生成中，在越接近于亚像素j的位置上要使用的滤波器系数越大。具体地，按照降序顺序这些滤波器系数是：用于最近参考像素的滤波器系数和用于其它参考像素的滤波器系数。在图22中所示的示例中，用于最近参考像素的滤波器系数为48，并用于其它参考像素的滤波器系数为8。

为了简化由FIR滤波器42所执行的计算，图22至图26中所示的滤波器系数为实际滤波器系数的256倍。因此，在图22至图26中所示的滤波器系数被存储在滤波器系数存储器43中的情况下，根据下面的公式（3），FIR滤波器42将用于每个参考像素的滤波器系数乘以该参考像素，将乘法结果相加到偏移值，并且将生成的值除以256。

[数学公式1]

Y = \frac{((Σ_{i = 0}^{5} h_{i} P_{i}) + 128)}{256}

= ((Σ_{i = 0}^{5} h_{i} P_{i}) + 128) > > 8 \cdot \cdot \cdot (3)

在公式（3）中，Y表示预测像素，h_i表示用于第i个参考像素的滤波器系数，以及P_i表示第i个参考像素。同时，128为偏移值。

[编码装置的操作的说明]

图27和图28示出了用于说明由图4中所示的编码装置10所进行的编码操作的流程图。例如，每当基于帧的图像被作为输入信号而输入至编码装置10时执行此编码操作。

在图27的步骤S11中，编码装置10的A/D转换器11对作为输入图像所输入的基于帧的图像执行A/D转换，并且将图像输出至并且存储到屏幕重排缓冲器12。

在步骤S12中，屏幕重排缓冲器12按照显示顺序重排所存储的图像帧，以使得依照GOP（图片组）结构按照编码顺序排列图像的帧。屏幕重排缓冲器12将重排的基于帧的图像供给至算术运算单元13、帧内预测单元23以及运动预测单元25。

应当注意例如针对每个宏块实施以下所描述的步骤S13至步骤S30的处理。但是，当处理第一帧的第一宏块时，不存在参考像素。因此，不实施步骤S13至步骤S20以及步骤S28的处理，并且第一帧的图像被设置为残留误差信息和局部解码图像。

在步骤S13中，基于屏幕重排缓冲器12所供给的图像和加法单元20所供给的参考图像，帧内预测单元23以所有候选帧内预测模式执行帧内预测，并且生成预测图像。帧内预测单元23还计算用于所有候选帧内预测模式的成本函数值。帧内预测单元23然后将具有最小成本函数值的帧内预测模式确定为最佳帧内预测模式。帧内预测单元23将以最佳帧内预测模式生成的预测图像和对应的成本函数值供给至选择单元26。

在步骤S14中，运动预测单元25通过使用帧存储器22所供给的参考图像来以所有候选帧间预测模式对屏幕重排缓冲器12所供给的图像执行运动预测操作，并且生成具有分数精确度的运动向量。运动预测单元25还计算用于所有候选帧间预测模式的成本函数值，并且将具有最小成本函数值的帧间预测模式确定为最佳帧间预测模式。运动预测单元25然后将帧间预测模式信息、对应的运动向量以及对应的成本函数值供给至帧间预测单元24。

在步骤S15中，帧间预测单元24基于运动预测单元25所供给的运动向量和帧间预测模式信息来执行帧间预测操作。参照图29稍后将详细的描述帧间预测操作。帧间预测单元24将作为帧间预测操作的结果所生成的预测图像和运动预测单元25所供给的成本函数值供给至选择单元26。

在步骤S16中，基于帧内预测单元23和帧间预测单元24所供给的成本函数值，选择单元26将具有最小成本函数值的最佳帧内预测模式或最佳帧间预测模式确定为最佳预测模式。选择单元26然后将最佳预测模式的预测图像供给至算术运算单元13和加法单元20。

在步骤S17中，选择单元26确定最佳预测模式是否为最佳帧间预测模式。如果在步骤S17中最佳预测模式被确定为最佳帧间预测模式，则选择单元26将选择以最佳帧间预测模式生成的预测图像通知给帧间预测单元24。帧间预测单元24然后将帧间预测模式信息、对应的运动向量等输出至无损编码单元16。

在步骤S18中，无损编码单元16对帧间预测单元24所供给的帧间预测模式信息、运动向量等执行无损编码，并且将生成的信息设置为要被添加至压缩图像的报头信息。操作然后前进至步骤S20。

另一方面，如果在步骤S17中最佳预测模式被确定为不是最佳帧间预测模式，或如果最佳预测模式被确定为最佳帧内预测模式，则选择单元26将选择以最佳帧内预测模式生成的预测图像通知给帧内预测单元23。因此，帧内预测单元23将帧内预测模式信息供给至无损编码单元16。

在步骤S19中，无损编码单元16对帧内预测单元23所供给的帧内预测模式信息等执行无损编码，并且将生成的信息设置为要被添加至压缩图像的报头信息。操作然后前进至步骤S20。

在步骤S20中，算术运算单元13从屏幕重排缓冲器12所供给的图像中减去选择单元26所供给的预测图像。算术运算单元13将作为相减的结果所获得的图像作为残留误差信息输出至正交变换单元14。

在步骤S21中，正交变换单元14对算术运算单元13所供给的残留误差信息执行正交变换，并且将生成的系数供给至量化单元15。

在步骤S22中，量化单元15对正交变换单元14所供给的系数进行量化。量化之后的系数被输入至无损编码单元16和逆量化单元18。

在步骤S23中，无损编码单元16对量化单元15所供给的量化之后的系数执行无损编码，并且将生成的信息设置为压缩图像。无损编码单元16然后将通过步骤S18或S19的处理所生成的报头信息添加至压缩图像，以生成压缩图像信息。

在图28的步骤S24中，无损编码单元16将压缩图像信息供给至并且存储到累积缓冲器17。

在步骤S25中，例如，在稍后的阶段累积缓冲器17将所存储的压缩图像信息输出至记录装置、传输路径等（未示出）。

在步骤S26中，逆量化单元18对量化单元15所供给的量化之后的系数进行逆量化。

在步骤S27中，逆正交变换单元19对逆量化单元18所供给的系数执行逆正交变换，并且将生成的残留误差信息供给至加法单元20。

在步骤S28中，加法单元20将逆正交变换单元19所供给的残留误差信息添加至选择单元26所供给的预测图像，并且获得局部解码图像。加法单元20将所获得的图像供给至去块滤波器21，并且还将获得的图像作为参考图像供给至帧内预测单元23。

在步骤S29中，去块滤波器21对加法单元20所供给的局部解码图像执行滤波以移除块失真。

在步骤S30中，去块滤波器21将滤波之后的图像供给至并且存储到帧存储器22。帧存储器22中所存储的图像然后被作为参考图像而输出至帧间预测单元24和运动预测单元25。然后操作结束。

图29是用于详细地说明图27的步骤S15的帧间预测操作的流程图。

在图29的步骤S50中，帧间预测单元24的参考图像读取单元41（图5）基于图4中所示的运动预测单元25所供给的帧间预测模式信息中所包含的预测方向和参考指标，来在帧存储器22所存储的图像之中识别参考图像。

在步骤S51中，参考图像读取单元41基于帧间预测模式信息中所包含的帧间预测块尺寸来确定预测图像的尺寸。

在步骤S52中，基于帧间预测模式信息中所包含的运动向量的整数值和预测图像的尺寸，参考图像读取单元41从帧存储器22读取在预测图像的生成中要使用的参考像素，并且临时地存储这些参考像素。

在步骤S53中，参考图像读取单元41在形成预测图像的预测像素中确定生成目标预测像素（generation target predicted pixel）。所确定的生成目标预测像素是在步骤S53的处理中还未被确定为生成目标预测像素的预测像素。

在步骤S54中，基于参考图像中生成目标预测像素的位置，参考图像读取单元41在步骤S52中所读取的参考像素之中读取在预测像素的生成中要使用的参考像素，并且将参考像素供给至FIR滤波器42。

在步骤S55中，基于图4中所示的运动预测单元25所供给的运动向量的分数值，滤波器系数存储器43将所存储的并且与分数值相关联的滤波器系数供给至FIR滤波器42。

在步骤S56中，FIR滤波器42通过使用参考图像读取单元41所供给的参考像素和滤波器系数来执行计算。

在步骤S57中，FIR滤波器42确定生成目标预测像素是否为亚像素f、i、k或n。如果在步骤S57中将生成目标预测像素确定为亚像素f、i、k或n，则操作前进至步骤S58。

在步骤S58中，FIR滤波器42确定生成目标预测像素是或否是可生成的，或在生成目标预测像素的生成中要使用的所有的亚像素是否已经被生成。

如果在步骤S58中将生成目标预测像素确定为是不可生成的，则操作返回至步骤S54，并且重复步骤S54至步骤S58的处理，直到生成目标预测像素变为可生成。

另一方面，如果在步骤S58中将生成目标预测像素确定为可生成的，则FIR滤波器42通过使用作为步骤S56中的计算的结果所获得的像素来执行预定计算，并且生成预测像素。操作然后前进至步骤S59。

如果在步骤S57中生成目标预测像素被确定为不是亚像素f、i、k或n，则操作前进至步骤S59。

在步骤S59中，FIR滤波器42将通过步骤S58的处理所生成的预测像素输出至选择单元26，或将作为步骤S56中的计算的结果所获得的一个像素作为预测像素而输出。

在步骤S60中，参考图像读取单元41确定是否所有预测像素已经被生成，或确定是否形成预测图像的所有预测像素已经在步骤S53中被确定为生成目标预测像素。如果在步骤S60中确定不是所有预测像素已经被生成，则操作返回至步骤S53，并且重复步骤S53至步骤S59的处理直到生成所有预测像素。

另一方面，如果在步骤S60中确定已经生成了所有预测像素，则操作返回至图27的步骤S15，并且然后前进至步骤S16。

如上所述，当在帧间预测的参考图像中，预测像素在水平方向和垂直方向上具有不是1/2像素位置的分数位置时，编码装置10通过使用在互相垂直的两个方向上所排列的参考像素来生成预测像素。例如，编码装置10通过使用在互相垂直的两个倾斜方向上所排列的参考像素来生成为亚像素e、o、g或m的预测像素。

因此，与使用具有传统可分离2D结构的插值滤波器的情况相比，处理负载和延迟较小。此外，与图3中所示的传统方法相比，改进了在互相垂直的两个倾斜方向中的一个方向上的预测像素的特性。即，编码装置10在抑制帧间预测精确度降低的同时可以减少帧间预测中的处理负载和延迟。

[解码装置的示例结构]

图30是示出作为应用了本发明的图像处理装置的解码装置的示例结构的框图。此解码装置对图4中所示的编码装置10所输出的压缩图像信息进行解码。

图30中所示的解码装置100包括累积缓冲器101、无损解码单元102、逆量化单元103、逆正交变换单元104、加法单元105、去块滤波器106、屏幕重排缓冲器107、D\A转换器108、帧存储器109、帧内预测单元110、帧间预测单元111以及转换器112。

解码装置100的累积缓冲器101从图4中所示的编码装置10接收并且累积压缩图像信息。累积缓冲器101将所累积的压缩图像信息供给至无损解码单元102。

无损解码单元102通过对累积缓冲器101所供给的压缩图像信息执行诸如可变长度解码或算术解码等无损解码来获得量化之后的系数和报头。无损解码单元102将量化之后的系数供给至逆量化单元103。无损解码单元102还将报头中所包含的帧内预测模式信息等供给至帧内预测单元110，并且将运动向量、帧间预测模式信息等供给至帧间预测单元111。无损解码单元102还将报头中所包含的帧内预测模式信息或帧间预测模式信息供给至转换器112。

逆量化单元103、逆正交变换单元104、加法单元105、去块滤波器106、帧存储器109、帧内预测单元110以及帧间预测单元111执行与图4中所示的逆量化单元108、逆正交变换单元19、加法单元20、去块滤波器21、帧存储器22、帧内预测单元23以及帧间预测单元24相同的操作，以对图像进行解码。

具体地，逆量化单元103对无损解码单元102所供给的量化之后的系数进行逆量化，并且将生成的系数供给至逆正交变换单元104。

逆正交变换单元104对逆量化单元103所供给的系数执行诸如逆离散余弦变换或逆Karhumen-Loeve变换等逆正交变换，并且将生成的残留误差信息供给至加法单元105。

加法单元105用作相加运算工具，并且将逆正交变换单元104所供给的残留误差信息作为解码目标图像相加至转换器112所供给的预测图像。加法单元105将生成的图像供给至去块滤波器106，并且将生成的图像作为参考图像供给至帧内预测单元110。如果不存在转换器112所供给的预测图像，则加法单元105将为逆正交变换单元104所供给的残留误差信息的图像供给至去块滤波器106，并且还将该图像作为参考图像供给至帧内预测单元110。

去块滤波器106对加法单元105所供给的图像执行滤波以移除块失真。去块滤波器106将生成的图像供给至并且存储到帧存储器109，并且还将生成的图像供给至屏幕重排缓冲器107。帧存储器109中所存储的图像被作为参考图像而供给至帧间预测单元111。

屏幕重排缓冲器107逐帧地存储去块滤波器106所供给的图像。屏幕重排缓冲器107以原始显示顺序代替编码顺序对所存储的图像的帧进行重排，并且将重排的图像供给至D/A转换器108。

D/A转换器108对屏幕重排缓冲器107所供给的基于帧的图像执行D/A转换，并且将输出信号输出。

使用加法单元105所供给的参考图像，帧内预测单元110以由无损解码单元102所供给的帧内预测模式信息所指示的帧内预测模式执行帧内预测，并且生成预测图像。帧内预测单元110将预测图像供给至转换器112。

帧间预测单元111具有与图5中所示的帧间预测单元24相同的结构。基于无损解码单元102所供给的帧间预测模式信息和运动向量，帧间预测单元111从帧存储器109读取参考图像。基于从帧存储器109所读取的运动向量和参考图像，帧间预测单元111执行帧间预测处理。帧间预测单元111将生成的预测图像供给至转换器112。

当从无损解码单元102供给帧内预测模式信息时，转换器112将帧内预测单元110所供给的预测图像供给至加法单元105。另一方面，当从无损解码单元102供给帧间预测模式信息时，转换器112将帧间预测单元111所供给的预测图像供给至加法单元105。

[解码装置的操作的说明]

图31是用于说明由图30中所示的解码装置100所进行的解码操作的流程图。例如，每当基于帧的压缩图像信息被输入至解码装置100时执行此解码操作。

在图31的步骤S101中，解码装置100的累积缓冲器101从图4中所示的编码装置接收并且累积基于帧的压缩图像信息。累积缓冲器101将所累积的压缩图像信息供给至无损解码单元102。应当注意，例如针对每个宏块实施以下描述的步骤S102至步骤S110的处理。

在步骤S102中，无损解码单元102对累积缓冲器101所供给的压缩图像信息执行无损解码以获得量化之后的系数和报头。无损解码单元102将量化之后的系数供给至逆量化单元103。无损解码单元102还将报头中所包含的帧内预测模式信息等供给至帧内预测单元110，并且将运动向量、帧间预测模式信息等供给至帧间预测单元111。无损解码单元102还将报头中所包含的帧内预测模式信息或帧间预测模式信息供给至转换器112。

在步骤S103中，逆量化单元103对无损解码单元102所供给的量化之后的系数进行逆量化，并且将生成的系数供给至逆正交变换单元104。

在步骤S104中，逆正交变换单元104对逆量化单元103所供给的系数执行逆正交变换，并且将生成残留误差信息供给至加法单元105。

在步骤S105中，帧间预测单元111确定是否已经从无损编解码单元102供给了帧间预测模式信息。如果在步骤S105中确定已经供给了帧间预测模式信息，则操作前进至步骤S106。

在步骤S106中，基于无损解码单元102所供给的运动向量和帧间预测模式信息，帧间预测单元111执行参照图29所描述的帧间预测操作。帧间预测单元111经由转换器112将生成的预测图像供给至加法单元105，并且操作然后前进至步骤S108。

如果在步骤S105中确定未供给帧间预测模式信息，或确定帧内预测模式信息已经被供给至帧内预测单元110，则操作前进至步骤S107。

在步骤S107中，使用加法单元105所供给的参考图像，帧内预测单元110以由无损解码单元102所供给的帧内预测模式信息所指示的帧内预测模式执行帧内预测。帧内预测单元110将生成的预测图像经由转换器112供给至加法单元105，并且操作然后前进至步骤S108。

在步骤S108中，加法单元105将逆正交变换单元104所供给的残留误差信息相加至转换器112所供给的预测图像。加法单元105将生成的图像供给至去块滤波器106，并且还将生成的图像作为参考图像供给至帧内预测单元110。当处理第一帧的第一宏块时，不存在参考像素，并且因此，不实施从步骤S105至步骤S108的处理。而是，作为残留误差信息的图像被供给至去块滤波器106，并且还作为参考图像而被供给至帧内预测单元110。

在步骤S109中，去块滤波器106对加法单元105所供给的图像执行滤波以移除块失真。

在步骤S110中，去块滤波器106将滤波之后的图像供给至并且存储到帧存储器109，并且还将滤波之后的图像供给至屏幕重排缓冲器107。帧存储器109中所存储的图像作为参考图像而被供给至帧间预测单元111。

在步骤S111中，屏幕重排缓冲器107逐帧地存储去块滤波器106所供给的图像，代替编码顺序按照原始显示顺序重排所存储的图像的帧，以及将重排的图像供给至D/A转换器108。

在步骤S112中，D/A转换器108对屏幕重排缓冲器107所供给的基于帧的图像执行D/A转换，并且将输出信号输出。

如上所述，当预测像素在帧间预测的参考图像的水平方向和垂直方向上具有不是1/2像素位置的分数位置时，类似于编码装置10，解码装置100通过使用在互相垂直的两个方向上所排列的参考像素来生成预测像素。结果，解码装置100在抑制帧间预测精确度降低的同时可以减少帧间预测中的处理负载和延迟。

应当注意，滤波器系数可以是可变的。在该情况下，FIR滤波器42和滤波器系数存储器43由自适应插值滤波器（AIF）所替代。在下文的文献中公开了这样的AIF的示例：Yuri Vatis,Joern Ostermann,"Prediction of P-and B-Frames Using a Two-dimensional Non-separableAdaptive Wiener Interpolation Filter for H.264/AVC",ITU-T SG16VCEG30th Meeting,Hangzhou China,October2006,Steffen Wittmann,Thomas Wedi,"Separable adaptive interpolation filter",ITU-TSG16COM16-C219-E,June2007,Dmytro Rusanovskyy,et al.,"Improvements on Enhanced Directional Adaptive Filtering(EDAIF-2)",COM16-C125-E,January2009,等。

在本实施例中，编码方法是基于H.264/AVC的。但是，本发明不限于此，并且本发明还可以被应用至使用用于执行其它运动预测/补偿操作的编码方法和解码方法的编码装置和解码装置。

本发明还可以被应用至用于经由网络介质（诸如卫星广播、有线电视广播、因特网等）或便携式电话装置接收图像信息（比特流）的编码装置和解码装置，该图像信息由通过诸如离散余弦等正交变换和运动补偿（类似于MPEG，H.26x等）来压缩图像信息的技术所压缩。本发明还可以被应用至用于对存储介质（诸如光盘、磁盘以及闪速存储器）执行处理的编码装置和解码装置。此外，本发明还可以被应用至安装在这些编码装置和解码装置中的运动预测/补偿装置。

[应用了本发明的计算机的描述]

可以采用硬件执行以上所述的编码操作和解码操作，并且还可以采用软件执行以上所述的编码操作和解码操作。在采用软件执行编码操作和解码操作的情况下，构成软件的程序被安装在通用计算机等中。

有鉴于此，图32示出了其中安装有用于执行以上所述的操作序列的程序的计算机的实施例的示例结构。

程序可以被预先记录在作为记录介质而设置在计算机中的存储单元408或ROM（只读存储器）402中。

替选地，程序可以被存储（记录）在可移除介质411中。这种可移除介质411可以被提供作为所谓的封装软件。在此，可移除介质411例如可以是软盘、CD-ROM（光盘只读存储器）、MO（磁光）盘、DVD（数字通用盘）、磁盘或半导体存储器。

可以经由驱动器410将程序从以上所述的可移除介质411安装到计算机中，但是也可以经由通信网络或广播网络将程序下载到计算机中并且安装在内部存储单元408中。即，可以例如经由用于数字卫星广播的人造卫星将程序从下载站点无线地传输至计算机，或可以经由网络（诸如LAN（局域网）或因特网）通过线缆将程序传输至计算机。

计算机包括CPU（中央处理单元）401，以及经由总线404连接至CPU401的输入/输出接口405。

当通过用户操作输入单元406等而经由输入/输出接口405输入指令时，CPU401相应地执行ROM402中所存储的程序。替选地，CPU401将存储单元408中所存储的程序载入RAM（随机存取存储器）403，并且执行程序。

通过这样做，CPU401根据以上所述的流程图执行操作，或采用以上所述的框图中所示的结构来执行操作。例如，在需要的情况下，CPU401经由输入/输出接口405将操作结果从输出单元407输出，或将操作结果从通信单元409传送，以及进一步将操作结果存储到存储单元408中。

输入单元406由键盘、鼠标、麦克风等构成。输出单元407由LCD（液晶显示器）、扬声器等构成。

在本说明书中，由计算机依照程序所执行的操作不需要按照与流程图中所示的序列兼容的时间顺序执行。即，要由计算机依照程序所执行的操作包括并行地执行的操作或彼此独立地执行的操作（诸如并行操作或基于对象的操作）。

程序可以由一个计算机（处理器）执行，或可以按照分布式方式由多于一个的计算机执行。此外，程序可以被传输至远程计算机，并且可以在其中执行。

[电视接收机的示例结构]

图33是示出使用被应用了本发明的解码装置的电视接收机的典型示例结构的框图。

图33中所示的电视接收机500包括地面广播调谐器513、视频解码器515、视频信号处理电路518、图像生成电路519、面板驱动电路520以及显示面板521。

地面广播调谐器513经由天线接收模拟地面广播的广播波信号（broadcast wave signal），并且对信号进行解调以获得视频信号。地面广播调谐器513将视频信号供给制视频解码器515。视频解码器515对地面广播调谐器513所供给的视频信号执行解码操作，并且将生成的数字分量信号供给至视频信号处理电路518。

视频信号处理电路518对视频解码器515所供给的视频数据执行预定处理（诸如降噪），并且将生成的视频数据供给至图像生成电路519。

图像生成电路519生成要显示在显示面板521上的节目的视频数据，或通过执行基于经由网络所供给的应用程序来生成图像数据。图像生成电路519将所生成的视频数据或图像数据供给至面板驱动电路520。图像生成电路519还生成用于显示要由用户选择项目所使用的屏幕的视频数据（图形），并且将视频数据叠加在节目的视频数据上。在适当的情况下，生成的视频数据被供给至面板驱动电路520。

基于图像生成电路519所供给的数据，面板驱动电路520驱动显示面板521，并且使显示面板521显示节目的视频图像以及以上所述的每个屏幕。

显示面板521由LCD（液晶显示器）等构成，并且在面板驱动电路520的控制之下显示节目等视频图像。

电视接收机500还包括音频A/D（模拟/数字）转换器电路514、音频信号处理电路522、回波消除/音频合成电路523、音频放大器电路524以及扬声器525。

通过对所接收的广播波信号进行解调，地面广播调谐器513不仅获得视频信号而且还获得音频信号。地面广播调谐器513将所获得的音频信号供给至音频A/D转换器电路514。

音频A/D转换器电路514对地面广播调谐器513所供给的音频信号执行A/D转换操作，并且将生成的数字音频信号供给至音频信号处理电路522。

音频信号处理电路522对从音频A/D转换器电路514所供给的音频数据执行预定处理（诸如降噪），并将生成的音频数据供给至回波消除/音频合成电路523。

回波消除/音频合成电路523将音频信号处理电路522所供给的音频数据供给至音频放大器电路524。

音频放大器电路524对回波消除/音频合成电路523所供给的音频数据执行D/A转换操作和放大操作。在被调整到预定声音级别之后，声音被从扬声器525输出。

电视接收机500还包括数字调谐器516和MPEG解码器517。

数字调谐器516经由天线接收数字广播（数字地面广播或数字BS（广播卫星）/CS（通信卫星）广播）的广播波信号，并且对广播波信号进行解调以获得MPEG-TS（运动图像专家组-传输流）。MPEG-TS被供给至MPEG解码器517。

MPEG解码器517对数字调谐器516所供给的MPEG-TS进行解扰，并且提取包含要被再现（要被观看）的节目的数据的流。MPEG解码器517对构成所提取的流的音频包进行解码，并且将生成的音频数据供给至音频信号处理电路522。MPEG解码器517还对构成流的视频包进行解码，并且将生成的视频数据供给至视频信号处理电路518。MPEG解码器517还将从MPEG-TS所提取的EPG（电子节目向导）数据经由路径（未示出）供给至CPU532。

电视接收机500使用以上所述的解码装置100作为MPEG解码器517，其如上所述地对视频包进行解码。因此，类似于解码装置100，MPEG解码器517可以在抑制帧间预测精确度降低的同时减少处理负载和延迟。

如同从视频解码器515供给视频数据的情况，在视频信号处理电路518处对MPEG解码器517所供给的视频数据进行预定处理。在适当的情况下，在图像生成电路519处，所生成的视频数据等被叠加在受到了预定处理的视频数据上。生成的视频数据被经由面板驱动电路520供给至显示面板521，并且显示图像。

如同从音频A/D转换器电路514供给的音频数据的情况，在音频信号处理电路522处对MPEG解码器517所供给的音频数据进行预定处理。受到了预定处理的音频数据被经由回波消除/音频合成电路523供给至音频放大器电路524，并且受到D/A转换操作或放大操作。结果，被调整到预定声音级别的声音被扬声器525输出。

电视接收机500还包括麦克风526和A/D转换器电路527。

A/D转换器电路527接收由电视接收机500中设置用于语音通话的麦克风526所捕获的用户语音信号。A/D转换器电路527对所接收的音频信号执行A/D转换操作，并且将生成的数字音频数据供给至回波消除/音频合成电路523。

当从A/D转换器电路527供给电视接收机500的用户（用户A）的音频数据时，回波消除/音频合成电路523对用户A的音频数据执行回波消除。在回波消除之后，回波消除/音频合成电路523然后将音频数据与其它音频数据等进行组合，并且使扬声器525经由音频放大器电路524输出生成的音频数据。

电视接收机500还包括音频编码解码器528、内部总线529、SDRAM（同步动态随机存取存储器）530、闪速存储器531、CPU532、USB（通用串行总线）I/F533以及网络I/F534.

A/D转换器电路527接收由电视接收机500中设置用于语音通话的麦克风526所捕获的用户语音信号。A/D转换器电路527对所接收的音频信号执行A/D转换操作，并且将生成的数字音频数据供给至音频编码解码器528。

音频编码解码器528将A/D转换器电路527所供给的音频数据变换为用于经由网络传输的预定格式的数据，并且将生成的数据经由内部总线529供给至网络I/F534。

网络I/F534经由附接至网络端子535的电缆连接至网络。例如，网络I/F534将音频编码解码器528所供给的音频数据传送到连接至网络的另一装置。网络I/F534还经由网络端子535接收连接至网络的另一装置所传送的音频数据，并且经由内部总线529将音频数据供给至音频编码解码器528。

音频编码解码器528将网络I/F534所供给的音频数据变换为预定格式的数据，并且将生成的数据供给至回波消除/音频合成电路523。

回波消除/音频合成电路523对音频编码解码器528所供给的音频数据执行回波消除，并且将音频数据与其它音频数据等进行组合。生成的音频数据被经由音频放大器电路524从扬声器525输出。

SDRAM530存储CPU532执行处理所需要的各种数据。

闪速存储器531存储要由CPU532所执行的程序。闪速存储器531中所存储的程序由CPU532在预定的时间（诸如当电视接收机500激活时）读取。闪速存储器531还存储通过数字广播所获得的EPG数据、经由网络从预定服务器所获得的数据，等等。

例如，闪速存储器531在CPU532的控制之下存储包含经由网络从预定服务器所获得的内容数据的MPEG-TS。例如，闪速存储器531在CPU532的控制之下经由内部总线529将MPEG-TS供给至MPEG解码器517。

如同从数字调谐器516供给MPEG-TS的情况，MPEG解码器517处理MPEG-TS。按照这种方式，电视接收机500经由网络接收由视频图像和声音构成的内容数据，并且通过使用MPEG解码器517对内容数据进行解码以显示视频图像并且输出声音。

电视接收机500还包括光接收单元537，光接收单元537接收从远程控制器551所传送的红外信号。

光接收单元537从远程控制器551接收红外射线，并且执行解调。光接收单元537将通过解调所获得的指示用户操作的内容的控制代码输出至CPU532。

CPU532执行闪速存储器531中所存储的程序，并且依照光接收单元537所供给的控制代码等控制电视接收机500的全部操作。电视接收机500的各个组件经由路径（未示出）连接至CPU532。

USB I/F533与位于电视接收机500外部并且经由附接至USB端子536的USB线缆连接至电视接收机500的设备交换数据。网络I/F534经由附接至网络端子535的电缆而连接至网络，并且还与连接至网络的各种装置交换除音频数据之外的数据。

通过使用解码装置100作为MPEG解码器517，电视接收机500可以在抑制帧间预测精确度降低的同时减少处理负载和延迟。

[便携式电话装置的示例结构]

图34是示出使用应用了本发明的编码装置和解码装置的便携式电话装置的典型示例结构的框图。

图34中所示的便携式电话装置600包括被设计成总体地控制各个部件的主控制单元650、电源电路单元651、操作输入控制单元652、图像编码器653、摄像机I/F654、LCD控制单元655、图像解码器656、复用/分离单元657、记录/再现单元662，调制/解调电路单元658以及音频编码解码器659。这些部件经由总线660而彼此连接。

便携式电话装置600还包括操作键619，CCD（电荷耦合装置）摄像机616、液晶显示器618、存储单元623、发送/接收电路单元663、天线614、麦克风（麦克）621以及扬声器617。

当呼叫终止或通过用户操作接通电源键时，电源电路单元651通过将电力从电池组供给至各自组件而使便携式电话装置600进入可操作状态。

在由CPU、ROM、RAM等构成的主控制单元650的控制之下，便携式电话装置600以各种模式（诸如语音通信模式和数据通信模式）执行各种操作（诸如音频信号的发送和接收、电子邮件和图像数据的发送和接收、图像捕获以及数据记录）。

例如，在便携式电话装置600处于语音通信模式时，由麦克风（麦克）621所捕获的音频信号由音频编码解码器659变换为数字音频数据，并且在调制/解调电路单元658处对该数字音频数据进行扩展频谱处理。然后，在发送/接收电路单元663处，对生成的数据进行数字-模拟转换操作和频率转换操作。便携式电话装置600将通过转换操作所获得的传输信号经由天线614传送到基站（未示出）。传送到基站的传输信号（音频数据）还被经由公共电话线网络供给至在通信另一端处的便携式电话装置。

另外，例如在便携式电话装置600处于语音通信模式时，在发送/接收电路单元663处对由天线614所接收的接收信号进行放大，并且进一步对其进行频率转换操作和模拟-数字转换操作。在调制/解调电路单元658处对生成的信号进行逆扩展频谱处理，并且由音频编码解码器659将该信号变换为模拟音频信号。便携式电话装置600将通过转换所获得的模拟音频信号从扬声器617输出。

此外，例如当以数据通信模式传送电子邮件时，便携式电话装置600的操作输入控制单元652接收通过操作操作键619而输入的电子邮件的文本数据。便携式电话装置600在主控制单元650处对文本数据进行处理，并且经由LCD控制单元655将文本数据作为图像显示在液晶显示器618上。

在便携式电话装置600中，主控制单元650基于由操作输入控制单元652所接收的文本数据、用户指令等生成电子邮件数据。便携式电话装置600在调制/解调电路单元658处对电子邮件数据进行扩展频谱处理，并且在发送/接收电路单元663处对电子邮件数据进行数字-模拟转换和频率转换操作。便携式电话装置600将通过转换操作所获得的传输信号经由天线614传送至基站（未示出）。传送到基站的传输信号（电子邮件）被经由网络、邮件服务器等供给至预定地址。

例如，当以数据通信模式接收电子邮件时，便携式电话装置600的发送/接收电路单元663经由天线614接收基站所传送的信号，并且对信号进行放大以及进一步对信号进行频率转换操作和模拟-数字转换操作。便携式电话装置600在调制/解调电路单元658处对所接收的信号进行逆扩展频谱处理以恢复原始电子邮件数据。便携式电话装置600经由LCD控制单元655将所恢复的电子邮件数据显示在液晶显示器618上。

便携式电话接收装置600还可以经由记录/再现单元662将所接收的电子邮件数据记录（存储）在存储单元623中。

存储单元623是可重写存储介质。存储单元623可以是半导体存储器（诸如RAM或内部闪速存储器）、硬盘、或可移除介质（诸如磁盘、磁光盘、光盘、USB存储器或存储卡）。当然可以使用不同于上述存储器的存储器。

此外，例如，当以数据通信模式传送图像数据时，便携式电话装置600在捕获图像的CCD摄像机616处生成图像数据。CCD摄像机616包括光学装置（诸如透镜和光圈），以及作为光电转换装置的CCD。CCD摄像机616捕获对象的图像，将所接收的光的强度转换为电信号，以及生成对象的图像的图像数据。图像编码器653然后通过使用预定编码方法（诸如MPEG2或MPEG4）经由摄像机I/F单元654对图像数据执行压缩编码。因此，图像数据被转换为编码图像数据。

便携式电话装置600使用上述编码装置10作为执行上述操作的图像编码器653。因此，类似于编码装置10，图像编码器653可以在抑制帧间预测精确度降低的同时减少处理负载和延迟。

在如上所述的同时，在便携式电话装置600中，在音频编码解码器659处对在由CCD摄像机616捕获图像期间由麦克风（麦克）621所捕获的声音进行模拟-数字转换，并且进一步地对其进行编码。

便携式电话装置600的复用/分离单元657通过预定方法对图像编码器653所供给的编码图像数据和音频编码解码器659所供给的数字音频数进行复用。便携式电话装置600在调制/解调电路单元658对生成的复用数据进行扩展频谱处理，并且在发送/接收电路单元663处对生成的复用数据进行数字-模拟转换操作和频率转换操作。便携式电话装置600将通过转换操作所获得的传输信号经由天线614传送到基站（未示出）。传送到基站的传输信号（图像数据）经由网络等被提供给通信的另一端。

当图像数据未被传送时，代替图像编码器653，便携式电话装置600还可以经由LCD控制单元655将在CCD摄像机616处所生成的图像数据显示在液晶显示器618上。

例如，当以数据通信模式接收链接到简化的主页等的运动图像文件的数据时，便携式电话装置600的发送/接收电路单元663经由天线614接收从基站传送的信号。对信号进行放大，并且进一步对信号进行频率转换操作和模拟-数字转换操作。便携式电话装置600在调制/解调电路单元658处对所接收的信号进行逆扩展频谱处理以恢复原始复用数据。便携式电话装置600在复用/分离单元657处将复用数据划分成编码图像数据和音频数据。

通过在图像解码器656处使用与预定编码方法（诸如MPEG2或MPEG4）兼容的解码方法来对编码图像数据进行解码，便携式电话装置600生成再现的运动图像数据，并且经由LCD控制单元655将再现的运动图像数据显示在液晶显示器618上。按照这种方式，在例如链接到简化的主页的运动图像文件中所包含的运动图像数据被显示在液晶显示器618上。

便携式电话装置600使用上述解码装置100作为执行上述操作的图像解码器656。因此，类似于解码装置100，图像解码器656可以在抑制帧间预测精确度降低的同时减少处理负载和延迟。

在如上所述的同时，便携式电话装置600在音频编码解码器659处将数字音频数据变换为模拟音频信号，并且将模拟音频信号从扬声器617输出。按照这种方式，例如，对在链接到简化的主页的运动图像文件中所包含的音频数据进行再现。

如同电子邮件的情况，便携式电话装置600还可以经由记录/再现单元662将所接收的链接到简化主页等的数据记录（存储）到存储单元623。

便携式电话装置600的主控制单元650还可以对由执行图像捕获的CCD摄像机616所获得的二维码进行分析，以及获得在二维码中所记录的信息。

此外，便携式电话装置600的红外通信单元681可以通过使用红外射线与外部设备进行通信。

通过使用编码装置10作为图像编码器653，便携式电话装置600可以在抑制帧间预测精确度降低的同时减少处理负载和延迟。

通过使用解码装置100作为图像解码器656，便携式电话装置600还可以在抑制帧间预测精确度降低的同时减少处理负载和延迟。

在以上的描述中，便携式电话装置600使用CCD摄像机616。但是，代替CCD摄像机616，可以使用使用CMOS（补偿金属氧化物半导体）的图像传感器（CMOS图像传感器）。在此情况下，如同使用CCD摄像机616的情况，便携式电话装置600还可以捕获对象的图像，以及生成对象的图像的图像数据。

尽管以上描述了便携式电话装置600，但是编码装置10和解码装置100还可以按照与便携式电话装置600的情况相同的方式被应用到任何装置，只要该装置具有与便携式电话装置600相同的图像捕获功能和相同的通信功能。例如，这样的装置可以是PDA（个人数字助理）、智能电话、UMPC（超级移动个人计算机）、上网本、或笔记本型个人计算机。

[硬盘记录器的示例结构]

图35示出了使用应用了本发明的编码装置和解码装置的硬盘记录器的典型示例性结构的框图。

图35中所示的硬盘记录器（HDD记录器）700是这样的装置：该装置将从卫星或地面广播天线等所传送的并且由调谐器所接收的广播波信号（电视信号）中所包含的广播节目的音频数据和视频数据存储到内部硬盘，并且在由来自用户的指令所指定的时间将所存储的数据提供给用户。

例如，硬盘记录器700可以从广播波信号中提取音频数据和视频数据，在适当的情况下对这些数据进行解码，以及将数据存储到内部硬盘。另外，例如，硬盘记录器700可以经由网络从另外的装置获得音频数据和视频数据，在适当的情况下对这些数据进行解码，以及将数据存储到内部硬盘。

此外，例如，硬盘记录器700可以对内部硬盘上所记录的音频数据和视频数据进行解码，将这些数据供给至监视器760，以及将图像显示在监视器760的屏幕上。硬盘记录器700还可以将声音从监视器760的扬声器输出。

另外，例如，硬盘记录器700可以对从经由调谐器所获得的广播波信号中所提取的音频数据和视频数据进行解码，或对经由网络从另一装置所获得的音频数据和视频数据进行解码，将这些数据供给至监视器760，以及将图像显示在监视器760的屏幕上。硬盘记录器700还可以将声音从监视器760的扬声器输出。

硬盘记录器700当然可以执行除上述操作之外的操作。

如图35中所示，硬盘记录器700包括接收单元721、解调单元722、解复用器723、音频解码器724、视频解码器725以及记录器控制单元726。硬盘记录器760还包括EPG数据存储器727、程序存储器728、工作存储器729、显示转换器730、OSD（屏幕显示）控制单元731、显示控制单元732、记录/再现单元733、D/A转换器734以及通信单元735。

显示转换器730包括视频编码器741。记录/再现单元733包括编码器751和解码器752。

接收单元721从远程控制器（未示出）接收红外信号，将红外信号转换为电信号，以及将电信号输出至记录器控制单元726。例如，记录器控制单元726由微处理器构成，并且依照程序存储器728中所储存的程序来执行各种操作。此时，在需要的情况下，记录器控制单元726使用工作存储器729。

通信单元735连接至网络，并且经由网络与另外的装置执行通信操作。例如，在记录器控制单元726的控制之下，通信单元735与调谐器（未示出）通信，并且主要将站点选择控制信号输出至调谐器。

解调单元722对调谐器所供给的信号进行解调，并且将信号输出至解复用器723。解复用器723将解调单元722所供给的数据划分成音频数据、视频数据以及EPG数据。解复用器723分别地将音频数据、视频数据以及EPG数据输出至音频解码器724、视频解码器725以及记录器控制单元726。

例如音频解码器724通过MPEG方法对输入音频数据进行解码，并且将解码音频数据输出至记录/再现单元733。视频解码器725通过MPEG方法对输入视频数据进行解码，并且将解码视频数据输出至显示转换器730。记录器控制单元726将输入EPG数据供给至并且存储到EPG数据存储器727。

例如，显示转换器730使用视频编码器741将视频解码器725或记录器控制单元726所供给的视频数据编码为与NTSC（国家电视标准委员会）标准兼容的视频数据。编码视频数据被输出至记录/再现单元733。另外，显示转换器730将视频解码器725或记录器控制单元726所供给的视频数据的屏幕尺寸转换为与监视器760的尺寸兼容的尺寸。显示转换器730通过使用视频编码器741进一步将具有转换之后的屏幕尺寸的视频数据转换为与NTSC标准兼容的视频数据。NTSC视频数据然后被转换为模拟信号，并且被输出至显示控制单元732。

在记录器控制单元726的控制之下，显示控制单元732将OSD（在屏显示）控制单元731所输出的OSD信号叠加在显示转换器730所输入的视频信号上，并且将生成的信号输出至监视器760的显示器以显示图像。

音频解码器724所输出的并且由D/A转换器734转换为模拟信号的音频数据也被供给至监视器760。监视器760将音频信号从内部扬声器输出。

记录/再现单元733包括作为用于记录视频数据、音频数据等的存储介质的硬盘。

例如，记录/再现单元733使编码器751通过MPEG方法对音频解码器724所供给的音频数据进行编码。记录/再现单元733还使编码器751通过MPEG方法对从显示转换器730的视频编码器741所供给的视频数据进行编码。记录/再现单元733使用复用器对音频数据的编码数据与视频数据的编码数据进行组合。记录/再现单元733通过信道编码对组合的数据进行放大，并且经由记录头将生成的数据写入到硬盘。

记录/再现单元733经由再现头对硬盘上所记录的数据进行再现，对数据进行放大，以及通过使用解复用器将数据分成音频数据和视频数据。记录/再现单元733通过使用解码器752按照MPEG方法对音频数据和视频数据进行解码。记录/再现单元733对解码音频数据执行D/A转换，并且将生成的数据输出至监视器760的扬声器。记录/再现单元733还对解码视频数据执行D/A转换，并且将生成的数据输出至监视器760的显示器。

基于由从远程控制器所传送的并且经由接收单元721所接收的红外信号所指示的用户指令，记录器控制单元726从EPG数据存储器727读取最新的EPG数据，并且将EPG数据供给至OSD控制单元731。OSD控制单元731生成对应于输入EPG数据的图像数据，并且将图像数据输出至显示控制单元732。显示控制单元732将从OSD控制单元731所输入的视频数据输出至监视器760的显示器以显示图像。按照这样的方式，EPG（电子节目指南）被显示在监视器760的显示器上。

硬盘记录器700还可以获取经由网络（诸如因特网）从另外的装置所供给的各种数据（诸如视频数据、音频数据以及EPG数据）。

在记录器控制单元726的控制之下，通信单元735经由网络从另外的装置获取视频数、音频数据、EPG数据等的编码数据，并且将这些数据供给至记录器控制单元726。例如，记录器控制单元726将所获得的视频数据和音频数据的编码数据供给至记录/再现单元733，并且将这些数据存储在硬盘上。此时，在需要的情况下，记录控制器单元726和记录/再现单元733可以执行诸如再次编码的操作。

记录器控制单元726还对所获得的视频数据和音频数据的编码数据进行解码，并且将生成的视频数据供给至显示转换器730。显示转换器730按照与对从视频解码器725所供给的视频数据进行的处理相同的方式对从记录器控制单元726所供给的视频数据进行处理，并且经由显示控制单元732将生成的数据供给至监视器760以显示图像。

与图像显示同步地，记录器控制单元726可以经由D/A转换器734将解码音频数据供给至监视器760，并且将声音从扬声器输出。

此外，记录器控制单元726对所获得的EPG数据的编码数据进行解码，并且将解码EPG数据供给至EGP数据存储器727。

上述硬盘记录器700使用解码装置100作为视频解码器725、解码器752以及在记录器控制单元726中所设置的解码器。因此，类似于解码装置100，视频解码器725、解码器752以及在记录器控制单元726中所设置的解码器可以在抑制帧间预测精确度降低的同时减少处理负载和延迟。

硬盘记录器700还使用编码装置10作为编码器751。因此，类似于编码装置10，编码器751可以在抑制帧间预测精确度降低的同时减少处理负载和延迟。

在以上描述中，描述了将视频数据和音频数据记录在硬盘上的硬盘记录器700。但是可以使用任何其它记录介质。例如，如同以上描述的硬盘记录器700的情况，编码装置10和解码装置100可以被应用到使用除硬盘之外的记录介质（诸如闪速存储器、光盘、或录像磁带）的记录器。

[摄像机的示例结构]

图36是示出使用应用了本发明的编码装置和解码装置的摄像机的典型示例结构的框图。

图36中所示的摄像机800捕获对象的图像，并且将对象的图像显示在LCD816上，或将对象的图像作为图像数据记录在记录介质833上。

透镜811具有在CCD/CMOS812上入射的光（或对象的视频图像）。CCD/CMOS812是使用CCD或CMOS的图像传感器。CCD/CMOS812将所接收的光的强度转换为电信号，并且将电信号供给至摄像机信号处理单元813。

摄像机信号处理单元813将从CCD/CMOS812所供给的电信号变换为YCrCb色度信号，并且将该信号供给至图像信号处理单元814。在控制器821的控制之下，图像信号处理单元814对从摄像机信号处理单元813所供给的图像信号执行预定图像处理，并且使编码器841通过MPEG方法对图像信号进行编码。图像信号处理单元814将通过对图像信号进行编码所生成的编码数据供给至解码器815。图像信号处理单元814还获得在在幕显示（OSD）820处所生成的显示数据，并且将显示数据供给至解码器815。

在以上操作中，摄像机信号处理单元813使用经由总线817连接至其上的DRAM（动态随机存取存储器）818，以在需要的情况下将图像数据和通过对图像数据进行编码所生成的编码数据等存储到DRAM818。

解码器815对从图像信号处理单元814所供给的编码数据进行解码，并且将生成的图像数据（解码图像数据）供给至LCD816。解码器815还将图像信号处理单元814所供给的显示数据供给至LCD816。LCD816将与解码器815所供给的解码图像数据对应的图像和与显示数据对应的图像进行组合，并且显示所组合的图像。

在控制器821的控制之下，在屏显示820经由总线817将由符号、字符、图像、以及图标构成的菜单屏幕的显示数据输出至图像信号处理单元814。

基于指示由用户使用操作单元822所指定的内容的信号，控制器821执行各种操作以及经由总线817控制图像信号处理单元814、DRAM818、外部接口819、在屏显示820、介质驱动器823等。闪速ROM824存储控制器821执行各种操作所需要的程序、数据等。

例如，取代图像信号处理单元814和解码器815，控制器821可以对DRAM808中所存储的图像数据进行编码，并且对DRAM818所存储的编码数据进行解码。在这样的操作中，控制器821可以通过使用与由图像信号处理单元814和解码器815所使用的编码和解码方法相同的方法来执行编码和解码操作，或可以通过使用与图像信号处理单元814和解码器815不兼容的方法来执行编码和解码操作。

例如，通过操作单元822请求开始图像打印时，控制器821从DRAM818读取图像数据，并且将图像数据供给至经由总线817连接至外部接口819的打印机834，以使得打印被执行。

此外，例如，当通过操作单元822请求图像记录时，控制器821从DRAM818读取编码数据，并且经由总线817将编码数据供给至以及存储到安装在介质驱动器823上的记录介质833。

记录介质833是可读取并且可写入的可移除介质，诸如磁盘、磁光盘、光盘或半导体存储器。记录介质833可以是任何可移除介质，并且可以是磁带装置、盘、或存储卡。当然可以使用非接触式IC卡等。

替选地，介质驱动器823和记录介质833可以被集成，并且可以由固定的存储介质（诸如内部硬盘驱动器或SSD（固态驱动器））构成。

例如，外部接口819由USB输入/输出端子等构成，并且在执行图像打印的情况下连接至打印机834。另外，在需要的情况下，驱动器831连接至外部接口819，并且在适当的情况下可移除介质832（诸如磁盘、光盘或磁光盘）被安装在驱动器831上。在需要的情况下，从这样的盘所读取的计算机程序被安装在闪速ROM824中。

此外，外部接口819包括连接至预定网络（诸如LAN或因特网）的网络接口。例如，依照来自操作单元822的指令，控制器821可以从DRAM818读取编码数据，并且将来自外部接口819的编码数据供给至经由网络连接至其上的另外的装置。另外，控制器821可以经由网络获得另外的装置所供给的编码数据和图像数据，并且将该数据存储在DRAM818中或经由外部接口819将该数据供给至图像信号处理单元814。

以上所述的摄像机800使用解码装置100作为解码器815。因此，类似于解码装置100，解码器815可以在抑制帧间预测精确度降低的同时减少处理负载和延迟。

摄像机800还使用编码装置10作为编码器841。因此，类似于编码装置10，编码器841可以在抑制帧间预测精确度降低的同时减少处理负载和延迟。

由解码装置100所使用的解码方法可以被应用到要由控制器821所执行的解码操作。同样地，由编码装置10所使用的编码方法可以被应用到要由控制器821所执行的编码操作。

由摄像机800所捕获的图像数据可以属于运动图像，或可以属于静态图像。

当然可以将编码装置10和解码装置100应用到除上述装置之外的任何装置和系统。

应当注意，本发明的实施例不限于上述的实施例，并且可以做出各种修改例而不背离本发明的范围。

参考标记列表

10 编码装置、13 算术运算单元、20 加法单元、24 帧间预测单元、41 参考像素读取单元、42FIR 滤波器、100 解码装置、105 加法单元、111 帧间预测单元

Claims

1.一种图像处理装置，包括：

像素读取部件，用于在帧间预测过程中从参考图像读取预定像素；以及

算术运算部件，用于通过使用由所述像素读取部件读取的所述预定像素，计算在所述参考图像的分数像素位置的像素作为所述帧间预测的预测图像的像素，

其中，当所述预测图像的像素在所述参考图像的水平方向和垂直方向上具有分数像素位置，并且所述分数像素位置不是1/2像素位置时，所述像素读取部件读取包括在所述参考图像中彼此正交的两个倾斜方向上排列的像素的所述预定像素。

2.根据权利要求1所述的图像处理装置，其中，所述预定像素包括与所述预测图像的像素在所述参考图像中的位置等距离的像素。

3.根据权利要求1所述的图像处理装置，其中，当所述预测图像的像素在所述参考图像的水平方向和垂直方向上具有分数像素位置，并且所述分数像素位置不是1/2像素位置时，所述像素读取部件从在所述参考图像中彼此正交的两个倾斜方向上排列的像素中，读取包括最接近于所述预测图像的像素在所述参考图像中的位置的预定数量的像素的所述预定像素。

4.根据权利要求1所述的图像处理装置，其中，当所述预测图像的像素在所述参考图像的水平方向和垂直方向上具有1/2像素位置时，所述像素读取部件读取包括在参考图像中的两个彼此正交的方向上以及在另外两个彼此正交的方向上排列的像素的所述预定像素。

5.根据权利要求4所述的图像处理装置，其中，当所述预测图像的像素在所述参考图像的水平方向和垂直方向上具有1/2像素位置时，所述像素读取部件读取包括在所述参考图像中的两个彼此正交的倾斜方向上以及在水平方向和垂直方向上排列的像素的所述预定像素。

6.根据权利要求1所述的图像处理装置，其中，当所述预测图像的像素在所述参考图像中的水平方向和垂直方向中的一个方向上具有分数像素位置，并且在所述水平方向和所述垂直方向中的另一个方向上具有整数像素位置时，所述像素读取部件读取包括在所述参考图像中的两个彼此正交的方向上排列的像素的所述预定像素。

7.根据权利要求6所述的图像处理装置，其中，当所述预测图像的像素在所述参考图像中的水平方向和垂直方向中的一个方向上具有分素像素位置，并且在所述水平方向和所述垂直方向中的另一个方向上具有整数像素位置时，所述像素读取部件读取包括在所述参考图像的水平方向和垂直方向上排列的像素的所述预定像素。

8.根据权利要求1所述的图像处理装置，还包括

差异计算部件，用于计算所述预测图像与编码目标图像之间的差异。

9.根据权利要求1所述的图像处理装置，还包括

加法运算部件，用于将所述预测图像和解码目标图像相加。

10.一种图像处理方法，所述图像处理方法要由图像处理装置执行，所述图像处理方法包括：

在帧间预测过程中从参考图像读取预定像素的像素读取步骤；以及

通过使用在所述像素读取步骤中读取的所述预测像素，计算在所述参考图像的分数像素位置的像素作为所述帧间预测的预测图像的像素的运算操作步骤；

其中，当所述预测图像的像素在所述参考图像的水平方向和垂直方向上具有分数像素位置，并且所述分数像素位置不是1/2像素位置时，所述像素读取步骤包括读取包括在所述参考图像的彼此正交的两个倾斜方向上排列的像素的所述预定像素的步骤。

11.一种程序，所述程序用于使计算机执行如下步骤：