CN102742272A - 用于图像处理的设备和方法以及程序 - Google Patents

Abstract

本发明涉及用于图像处理的设备和方法及用于该设备和方法的程序，通过该设备和方法，可以实现尤其是在屏幕边缘附近的B图片的预测精度的提高。运动补偿器适于使用L0参考图片中的参考区域的屏幕内部分通过根据H.264/AVC标准的加权预测来生成预测图像，并且适于不使用L0参考图片中的参考区域的屏幕外部分而限制性地使用L1参考图片中的参考区域来生成预测图像。具体地，在L0参考图片中，如用于L0参考的参考区域中所描绘的，参考区域是外侧的虚线方框，但是实际上，内侧的虚线方框内的区域被限制性地用于预测。本发明可以应用于基于例如H.264/AVC标准执行编码的图像编码设备。

Description

用于图像处理的设备和方法以及程序

技术领域

本发明涉及用于图像处理的设备和方法以及用于该设备和方法的程序，并且更具体地涉及以下用于图像处理的设备和方法以及用于该设备和方法的程序：其允许尤其是在屏幕边缘附近的B图片的改善的预测精度。

背景技术

用于压缩图像信息的标准包括H.264和MPEG（运动图像专家组）-4第十部分（高级视频编码，下文中被称为“H.264/AVC.”）。

根据H.264/AVC，聚焦于在帧或场之间的相关性上执行帧间预测。在该帧间预测中将要执行的运动压缩处理中，使用已经存储的可参考图像中的部分区域通过帧间预测来生成预测图像（下文中被称为“帧间预测图像”）。

例如，如图1中所描绘的，在参考帧是已经存储的可参考图像的五个帧的情况下，参考五个参考帧中任何一个的图像（下文中被称为“参考图像”）的一部分来构建将要进行帧间预测的帧（原始帧）的帧间预测图像的一部分。通过基于参考帧和原始帧的图像检测到的运动矢量来决定将要成为帧间预测图像的部分的参考图像的部分的位置。

更具体地，如图2中所描绘的，当参考帧中的面部11在原始帧中以右下方向移动且下部大约三分之一的面部被隐藏时，检测到指示与右下方向相反的左上方向的运动矢量。然后，参考参考帧中的面部11的一部分13，在根据该运动矢量指示的运动而移动了原始帧中的面部11的未隐藏部分12的位置处构建该部分12。

此外，根据H.264/AVC，如图3中所描绘的，运动补偿在从16×16像素到4×4像素的块尺寸上是可用的。这使得可以进行更精确的运动补偿，这是由于在（例如16×16像素的）宏块中存在运动限制的情况下，可以根据该限制将块尺寸划分为更小的尺寸。

此外，当下根据H.264/AVC考虑的是在运动补偿处理中运动矢量的分辨率提高到分数精度，诸如一半或四分之一精度。

在这种分数精度的运动补偿处理中，被称为“子像素（Sub pel）”的像素被设置在相邻像素之间的虚拟分数位置处，并额外执行用于生成子像素的处理（下文中被称为“内插”）。更具体地，在分数精度的运动补偿中，运动矢量的最小分辨率以分数位置处的像素为单位，从而执行内插以在分数位置处生成像素。

图4描绘了通过内插在垂直和水平方向像素数目增加了四倍的图像的像素。在图4中，白方块指示了整数位置处的像素（整数像素（Integerpel（Int.pel））），而阴影方框指示了分数位置处的像素（子像素）。方框中的字母指示了由方框代表的像素的像素值。

通过如下等式（1）表示将要通过内插生成的分数位置处的像素的像素值b、h、j、a、d、f以及r：

b=(E-5F+20G+20H-5I+J)/32

h=(A-5C+20G+20M-5R+T)/32

j=(aa-5bb+20b+20s-5gg+hh)/32

a=(G+b)/2

d=(G+h)/2

f=(b+j)/2

r=(m+s)/2

                                         ……（1）

分别地，通过与像素值b相似的方式可以获得像素值aa、bb、s、gg以及hh，通过与像素值h相似的方式可以获得像素值cc、dd、m、ee以及ff，通过与像素值a相似的方式可以获得像素值c，通过与像素值d相似的方式可以获得像素值f、n以及q，并且通过与像素值r相似的方式可以获得像素值e、p以及g。

上述等式（1）是根据例如H.264/AVC的内插中采用的等式，且不同的等式用于不同的标准。然而等式的目的是相同的。可以借助带有偶数抽头的有限脉冲响应（FIR）滤波器来执行这些等式。例如，根据H.264/AVC，使用了具有6个抽头的内插滤波器。

此外，根据H.264/AVC，如图5中所描绘的，在用于对运动矢量进行参考的区域在屏幕的边缘（图片框）之外的情况下，复制屏幕的边缘上的像素值。

在图5的示例中描绘的参考图片中，链线指示了屏幕的边缘（图片框），而链线和外侧的实线之间的区域指示了通过复制屏幕的边缘处的像素而扩展的区域。换句话说，通过屏幕的边缘处的复制扩展了参考图片。

在此要注意，根据H.264/AVC，尤其是针对B图片，如图6中所描绘的，可采用双向预测。在图6中，以显示顺序示出图片，并且以显示顺序在将要编码的图片之前或之后排列了编码的参考图片。在将要编码的图片是B图片的情况下，例如，如针对将要编码的图片中的目标预测块所描绘的，参考了前后（双向）参考图片中的两个块，以便具有用于前向L0预测的运动矢量和用于后向L1预测的运动矢量。

更具体地，对于L0，显示时间基本上早于目标预测块，而对于L1，显示时间基本上晚于目标预测块。可以提供这样区分的参考图片用于根据编码模式而分别使用。如图7中所描绘的，有五种编码模式，即，屏内编码（帧内预测）、L0预测、L1预测、双预报预测以及直接模式。

图7描绘了编码模式和参考图片以及运动矢量之间的关系。要注意，在图7中，参考图像列示出了是否在编码模式中使用参考图片，而运动矢量列示出了编码模式是否涉及运动矢量信息。

屏内编码模式是用于在屏幕中（即，“在内”）执行预测的模式，该模式是不使用L0参考图片和L1参考图片的编码模式，且不涉及用于L0预测的运动矢量和用于L1预测的运动矢量。L0预测模式是限制性地使用L0参考图片来执行预测，该模式是涉及用于L0预测的矢量信息的编码模式。在L1预测模式中，限制性地使用L1参考图片来执行预测，该模式是涉及用于L1预测的运动矢量信息的编码模式。

在双预报预测模式中，使用L0和L1参考图片来执行预测，该模式是涉及用于L0和l1预测的运动矢量信息的编码模式。在直接模式中，使用L0和L1参考图片来执行预测，但是该模编码式不涉及运动矢量信息。换句话说，直接模式是不涉及运动矢量信息的编码模式，但是在该编码模式中，基于参考图片中编码块的矢量信息来预测和使用当前目标预测块中的运动矢量信息。应当注意，在一些情况下在直接模式中使用了L0或L1参考图片中的任一个。

如上所述，在双预报预测模式和直接模式中，在一些情况下使用了L0和L1参考图片二者。在两个参考图片的情况下，如通过如下等式（2）表示的加权预测在双预报预测模式或直接模式中提供了预测信号。

Y_Bi-Pred=W₀Y₀+W₁Y₁+D

                                ……（2）

其中Y_Bi-Pred是具有双预报预测模式或直接模式中的偏差的加权内插信号，W₀和W₁分别是用于L0和L1的加权因子，并且Y₀和Y₁是用于L0和L1的运动补偿预测信号。所使用的W₀、W以及D可以在比特流信息中明确地包含，或者可以通过解码侧的计算隐含地获得。

如果由于参考图片的编码导致的劣化与用于L0和L1的两个参考图片之间的相关性无关，那么加权预测允许抑制由于编码导致的劣化。结果，降低了作为预测信号和输入信号之间的差异的残差信号，实现了残差信号的比特量的削减，并且因此实现了代码效率的提高。

注意，关于直接模式，在非专利文献1中提议在将要参考的区域包括屏幕外区域的情况下，不使用该参考图片而使用参考图片中的其他参考图片。

根据H.264/AVC标准，宏块尺寸是16×16像素。然而针对可以作为下一代编码标准的对象的、诸如UHN（超高清，4000×2000像素）的大图片框，具有16×16像素的宏块尺寸不是最理想的。

因而，例如非专利文献2提议将宏块尺寸扩展至诸如32×32像素的尺寸。

引用列表

非专利文献

非专利文献1：Yusuke ITANI、Yuichi IDEHARA、Shun-ichiSEKIGUCHI、Yoshihisa YAMADA（Mitsubishi Electric Corporation）的“A Study on Improvement of Direct Mode for Video Coding”，IEICESymposium 24th Video Coding material第3-20页，静冈县伊豆市大平，2009年10月7日、8日、9日

非专利文献2：“Video Coding Using Extended Block Sizes”，VCEG-AD09，ITU-Telecommunications Standardization Sector STUDYGROUP Question 16-Contribution 123，2009年1月

发明内容

本发明要解决的问题

如上所述，在使用直接模式或双预报预测的情况下，使用了L0参考图片和L1参考图片中的参考区域。此处，可能出现用于L0参考的参考区域或用于L1参考的参考区域在屏幕外的情形。

图8中描绘的示例按照时间过程的顺序从左示出了L0参考图片、将要编码的图片以及L1参考图片。在这些图片中，链线指示了屏幕的边缘，而实线和链线之间的区域指示了如先前联系图5描述的、通过边缘处的复制而扩展的区域。

此外，图片中以虚线来包围的区域指示了L0参考图片中用于L0参考的参考区域、将要编码的图片中的运动补偿区域以及L1参考图片中用于L1参考的参考区域。在图8的下方部分选取了用于L0参考的参考区域和用于L1参考的参考区域。

图8描绘了一个示例，在该示例中将要编码的图片中的阴影菱形物体P从左上方朝右下方移动，且在L0参考图片中部分物体P超过屏幕的边缘到达外部。

如先前参照图5所描述的一样，根据H.264/AVC标准，定义了当参考区域在屏幕外时，复制屏幕的边缘处的像素值以便使用。结果，在L0参考图片中的参考区域中，复制了屏幕的边缘处的像素值，使得形状不再是菱形。

考虑参照L0和L1参考区域通过加权预测生成预测图像的情形。当屏幕外像素值与图8的用于L0参考的参考区域中的实际像素值不同时，预期在预测图像和源信号之间出现了大的差异。该大的差异显然导致了残差信号的比特量增加，这可能导致降低代码效率。

另一方面，还考虑一种降低用于运动补偿的块尺寸的方法。然而，对块尺寸进行子划分使得宏块的报头信息增加，这导致开销增加。在大的量化参数QR的情况下，或在低的比特率的情况下，用于宏块的报头信息和开销一样在比例上占据了大的处理量。从而，对块尺寸进行子划分的方法也可能导致降低代码效率。

由于直接模式不使用运动矢量信息，所以该模式具有减少用于宏块的报头信息的效果。尤其是在低的比特率的情况下，该模式在代码效率的提高方面做出了贡献。然而，如先前所述，在参照L0和L1参考区域通过加权预测生成预测图像的情况下，屏幕外像素值可能不同于实际像素值，使得在预测图像和源信号之间会发生大的差异；因为这个原因，几乎不选择可能会导致代码效率的降低的直接模式。

另一方面，在如上所述的非专利文献1中，在直接模式中参考区域包含屏幕外部分的情况下，提议不使用该参考图片而采用其他参考图片以便使用，以增加选择直接模式的机会。

然而，在该提议中，由于抛弃了参考图片中的一个参考图片，所以不执行加权预测；因而，不太期望通过加权预测而提高预测性能。换句话说，在根据非专利文献1的提议中，即便在参考区域大部分在屏幕内而小部分在屏幕外的情况下，也整个地抛弃该参考区域。

此外，非专利文献1只提议了直接模式的改善而未提及双预报预测。

鉴于上述背景，作出了本发明，以提高尤其是屏幕的边缘附近用于B图片的预测精度。

问题的解决方案

根据本发明一个方面的图像处理设备包括运动预测补偿装置，该运动预测补偿装置用于在使用了将要处理的图像所要参考的多个不同参考图像的预测中，根据该图像中的块所要参考的像素是否在多个参考图像的屏幕外来执行加权预测。

该运动预测补偿装置可以适于在该图像中的块所要参考的是多个参考图像的屏幕内像素的情况下，通过使用这些像素来执行标准加权预测，且该运动预测补偿装置可以在该图像中的块所要参考的是多个参考图像中任意一个的屏幕外像素并且是其他参考图像的屏幕内像素的情况下，通过使用这些像素来执行加权预测。

和屏幕外像素相比，可以将较大权重赋予屏幕内像素。

用于在加权预测中使用的权重可以是0或1。

图像处理设备还可以包括权重计算装置，该权重计算装置用于基于图像中的块附近的像素之间的不连续性来计算用于加权预测的权重。

图像处理设备还可以包括编码装置，该编码装置用于对将要由权重计算装置计算的关于权重的信息进行编码。

图像处理设备还可以包括解码装置，该解码装置用于对将要基于图像中的块附近的像素之间的不连续性来计算的、且将要被编码的关于权重的信息进行解码，并且运动预测补偿装置可以适于使用将要由解码装置解码的关于权重的信息来执行加权预测。

使用了多个不同参考图像的预测可以是双预报预测或直接模式预测中的至少一个。

用于在包括运动预测补偿装置的图像处理设备中使用的、根据本发明一个方面的处理图像的方法包括：在使用了将要处理的图像所要参考的多个参考图像的预测中，由该运动预测补偿装置根据该图像中的块所要参考的是否在多个参考图像的屏幕外来执行加权预测。

根据本发明一个方面的程序适于使得计算机执行与如下运动预测补偿装置一样的功能，该运动预测补偿装置用于在使用了将要处理的图像所要参考的多个不同参考图像的预测中，根据该图像中的块所要参考的是否在多个参考图像的屏幕外来执行加权预测。

根据本发明的一个方面，在使用了将要处理的图像所要参考的多个参考图像的预测中，根据该图像中的块所要参考的是否在多个参考图像的屏幕外来执行加权预测。

上述图像处理设备可以是独立设备或可以是配置了一个图像编码设备或图像解码设备的内部块。

本发明的效果

本发明实现了尤其是屏幕的边缘附近的B图像的预测精度的提高。因此，可以实现代码效率的提高。

附图说明

图1是相关技术的帧间预测的说明视图。

图2是相关技术的帧间预测的详细说明视图。

图3是块尺寸的说明视图。

图4是内插的说明视图。

图5是在屏幕的边缘处将要执行的处理的说明视图。

图6是双向预测的说明视图。

图7描绘了编码模式和参考图片以及运动矢量之间的关系。

图8是相关技术的加权预测的说明视图。

图9是描绘了应用了本发明的图像编码设备的一个实施例的配置的框图。

图10是图9的图像编码设备的加权预测的说明视图。

图11是运动补偿器的配置示例的框图。

图12是用于描述图9的图像编码设备的编码处理的流程图。

图13是由于描述图9的图像编码设备的预测模式选择处理的流程图。

图14是用于描述图9的图像编码设备的B图片补偿处理的流程图。

图15是预测块的说明视图。

图16描绘了参考像素位置和处理方法之间的对应关系。

图17是图14的示例中可以获得的效果的说明视图。

图18是描绘了应用了本发明的图像解码设备的一个实施例的配置的框图。

图19是描述图18的运动补偿器的配置示例的框图。

图20是用于描述图18的图像解码设备的解码处理的流程图。

图21是扩展块尺寸的说明视图。

图22是计算机硬件的配置示例的框图。

图23是描绘了应用了本发明的电视接收机的主要配置示例的框图。

图24是描绘了应用了本发明的移动电话的主要配置示例的框图。

图25是描绘了应用了本发明的硬盘记录器的主要配置示例的框图。

图26是应用了本发明的照相机的主要配置示例的框图。

具体实施方式

下面将参考附图描述本发明的实施例。

【图像编码设备的配置示例】

图9描绘了应用了本发明的、用作图像处理设备的图像编码设备的一个实施例的配置。

图像编码设备51被配置为基于例如H.264和MPEG-4第十部分(高级视频编码）（下文中被称为“H.264/AVC”）标准来压缩和编码将要输入的图像。

在图9的示例中，图像编码设备51包括A/D变换器61、屏幕整理缓冲器62、算术运算器63、正交变换器64、量化器65、无损编码器66、累积缓冲器67、逆量化器68、逆正交变换器69、算术运算器70、去块滤波器71、帧存储器72、帧内预测器73、运动预测器74、运动补偿器75、预测图像选择器76以及速度控制器77。

A/D变换器61在输入的图像上执行A/D变换以输出至屏幕整理缓冲器62使得在其上存储变换后的图像。屏幕整理缓冲器62根据Gop（图片组）将所存储的显示顺序的帧的图像整理为用于编码的帧的顺序。

算术运算器63在从屏幕整理缓冲器62读取的图像中减去从帧内预测器73或从运动补偿器75已经输出的、且被预测图像选择器76选择的预测图像，以将差异信息输出至正交变换器64。正交变换器64对来自算术运算器63的差异信息执行诸如离散余弦变换或卡亨南-拉维（Karhunen-Loeve）变换的正交变换并输出变换系数。量化器65量化从正交变换器64输出的变换系数。

从量化器65输出的量化变换系数被输入至无损编码器66以便经历诸如可变长度编码或二进制算术编码的无损编码以用于压缩。

无损编码器66从帧内预测器73获得指示了帧内预测的信息并从运动补偿器75获得例如指示了帧间预测模式的信息。指示了帧内预测的信息和指示了帧间预测的信息也被分别称为“帧内预测模式信息”和“帧间预测模式信息”。

无损编码器66对量化变换系数以及例如指示了帧内预测的信息和指示了帧间预测模式的信息进行编码，并将编码信息包括在用于压缩的图像的报头信息中。无损编码器66将编码数据提供至累积缓冲器67以累积。

例如，在无损编码器66处执行诸如可变长度编码或二进制算术编码的无损编码处理。可变长度编码的示例包括由H.264/AVC标准定义的CAVLC（上下文自适应可变长度编码）。二进制算术编码的示例包括CABAC（上下文自适应二进制算术编码）。

累积缓冲器67将无损编码器66提供的数据输出至，例如或后续阶段中的记录设备或通道（未示出），作为编码压缩图像。

从量化器65输出的量化变换系数也被输入至逆量化器68以经历逆量化，接着在逆正交变换器69处经历逆正交变换。由算术运算器70将逆正交变换后的输出添加至将要从预测图像选择器76提供的预测图像，以构成局部解码的图像。

来自算术运算器70的解码图像被输出至帧内预测器73和去块滤波器71作为用于即将要编码的图像的参考图像。去块滤波器71移除解码图像中的块变形以将这些图像提供给帧存储器72以在其上进行累积。帧存储器72将累积的参考图像输出至运动预测器74和运动补偿器75。

在图像编码设备51中，例如来自屏幕整理缓冲器62的I图片、B图片以及P图片被提供给帧内预测器73作为帧内预测（也被称为“帧内处理”）的图像。此外，从屏幕整理缓冲器62读取的B图片和P图片被提供给运动预测器74作为帧间预测（也被称为“帧间处理”）的图像。

帧内预测器73基于从屏幕整理缓冲器62中读取的、将要经历帧内预测的图像和从算术运算器70输出的参考图像，以所有候选帧内预测模式来执行帧内预测处理，以便生成预测图像。

这时，帧内预测器73计算针对所有候选帧内预测模式的成本函数值，并选择由计算赋予了最小成本函数值的帧内预测模式作为最优帧内预测模式。

帧内预测器73将以最优帧内预测模式生成的预测图像和其成本函数值提供至预测图像选择器76。在由预测图像选择器76选择了以最优帧内预测模式生成的预测图像的情况下，帧内预测器73将指示了最优帧内预测模式的信息提供至无损编码器66。无损编码器66对该信息进行编码以将该信息包括在用于压缩图像的报头信息中。

运动预测器74基于将要经历帧间处理的图像和来自帧存储器72的参考图像，以所有候选帧间预测模式来对各块执行运动预测，以便生成这些块的运动矢量。运动补偿器74将生成的运动矢量信息输出至运动补偿器75。

在由预测图像选择器76选择了目标块在最优帧间预测模式中的预测图像的情况下，运动预测器74将诸如指示了最优帧间预测模式的信息（帧间预测模式信息）、运动矢量信息以及参考帧信息的信息输出至无损编码器66。

运动补偿器75对来自帧存储器72的参考图像执行内插滤波。运动补偿器75通过使用基于来自运动预测器74的运动矢量或外围块中的运动矢量获得的运动矢量，以所有候选帧间预测模式针对各块对滤波后的参考图像执行补偿处理。这时，在直接模式或双预报预测模式中的B图片的情况下，即，在使用了多个不同参考图像的预测模式的情况下，运动补偿器75根据目标块所要参考的像素是否在其参考图像的屏幕外来执行加权预测，以生成预测图像。

例如，在运动补偿器75处执行的是加权预测，使得在目标块所要参考的是在第一参考图像的屏幕外而在第二参考图像的屏幕内的情况下，在第一参考图像上赋予较小权重，而在第二参考图像上赋予较大权重。

可以在运动补偿器75处计算这些权重，或可替选地，可以使用固定值。在计算了权重的情况下，这些权重被提供至无损解码器66，以被添加至压缩图像的报头，用于传送到解码侧。

此外，运动补偿器75计算针对所有候选帧间预测模式的将要处理的块的成本函数值，以便决定具有最小成本函数值的最优帧间预测模式。运动补偿器75将以最优帧间预测模式生成的预测图像和其成本函数值提供至预测图像选择器76。

预测图像选择器76基于从帧内预测器73或运动补偿器75输出的成本函数值来从最优帧内预测模式和最优帧间预测模式中决定最优预测模式。然后，预测图像选择器76选择这样决定的最优预测模式中的预测图像以将这些图像提供至算术运算器63和70。这时，如虚线所示，预测图像选择器76将关于对预测图像的选择的信息提供至帧内预测器73或至运动预测器74。

速度控制器77基于累积缓冲器77中累积的压缩图像来控制量化器65的量化操作的速度，以便保护上溢或下溢。

【运动补偿器的特征】

接下来将参照图10给出对运动补偿器75的描述。

在运动补偿器75处，在其中使用了两个参考图片（图像）执行加权预测的双预报预测或直接模式中，当L0和L1参考像素（像素）都在屏幕内时，执行根据H.264/AVC标准的加权预测。另一方面，当L0或L1的参考像素（像素）在屏幕外而另一个的参考像素在屏幕内时，通过使用屏幕内参考像素执行预测。

在图10的示例中，和在图8的示例中一样，按照时间过程的顺序从左边描绘了L0参考图片、将要编码的图片和L1参考图片。在这些图片中，链线指示了屏幕边缘，而实线和链线之间的区域指示了在屏幕边缘处的复制而扩展的区域，如先前联系图5所描述的。

图片中的以虚线包围的区域指示了L0参考图片中用于L0参考的参考区域、将要编码的图片中的运动补偿区域以及L1参考图片中用于L1参考的参考区域。在图10下方选取了用于L0参考的参考区域和用于L1参考的参考区域。

图10描绘了一个示例，在该示例中将要编码的图片中的阴影菱形物体P从左上方朝着右下方移动，且在L0参考图片中物体P的一部分超过屏幕的边缘到达外部。换句话说，L0参考图片中的参考区域具有屏幕外部分，而L1参考图片中的参考区域全部在屏幕内。

因此，运动补偿器75针对L0参考图片中的参考区域的屏幕内部分，通过根据H.264/AVC标准的加权预测来生成预测图像，并且关于L0参考图片中的参考区域的屏幕外部分，不使用该屏幕外部分而使用L1参考图片中的参考区域来生成预测图像。更具体地，在L0参考图片中，如用于L0参考的参考区域中所述，参考区域是外侧的虚线方框，但是实际上预测用的区域限制在内侧的虚线方框区域。

例如，对于L0参考图片中的参考区域，对屏幕外部分执行加权预测，其中L0参考图片中的参考区域上的权重是0而L1参考图片中的参考区域上的权重是1。权重不是必须为0和/或1，并且第一参考区域中的屏幕外部分的权重可以小于第二参考区域中的屏幕内部分的权重。在这种情况下，权重可以是固定的，或可替选地，可以通过计算求得最优权重。

以这种方式，可以实现屏幕的边缘处的预测性能的提高，这是因为不在使用在屏幕外的且作为屏幕内像素值的复制的不精确信息，或降低了其上所赋予的权重。

【运动补偿器的配置示例】

图11描绘了运动补偿器的配置示例。

图11的运动补偿器75包括内插滤波器81、补偿处理器82、选择器83、运动矢量预测器84以及预测模式决定器85。

来自帧存储器72的参考帧（参考图像）信息被输入至内插滤波器81。内插滤波器81在参考帧的像素之间执行内插以在纵向和横向上扩大四倍，并输出扩大的帧信息至补偿处理器82。

补偿处理器82包括L0区域选择器91、L1区域选择器92、算术运算器93、屏幕边缘确定器94以及权重计算器95。在图11中的示例的补偿处理器82中，示例性描述了对B图片的处理。

来自内插滤波器81的扩大的参考帧信息被输入至L0区域选择器91、L1区域选择器92以及屏幕边缘确定器94。

L0区域选择器91根据来自选择器83的预测模式信息和L0运动矢量信息从扩大的L0参考帧信息中选择相应的L0参考区域，并输出参考区域信息至算术运算器93。如同L0预测模式情形下的L0预测信息一样，这样输出的关于参考区域的信息被输入至预测模式决定器85。

L1区域选择器92根据来自选择器83的预测模式信息和L1运动矢量信息从扩大的L1参考帧信息中选择相应的L1参考区域，并输出参考区域信息至算术运算器93。如同L1预测模式情形下的L1预测信息一样，这样输出的关于参考区域的信息被输入至预测模式决定器85。

算术运算器93包括乘法器93A、乘法器93B以及加法器93C。乘法器93A将来自L0区域选择器91的L0参考区域信息乘以来自屏幕边缘确定器94的L0权重信息，以便将结果输出至加法器93C。乘法器93B将来自L1区域选择器92的L1参考区域信息乘以来自屏幕边缘确定器94的L1权重信息，以便将结果输出至加法器93C。加法器93C将已经基于L0和L1权重信息分配了权重的L0参考区域和L1参考区域相加，以便输出结果至预测模式决定器85作为加权预测信息（双预报预测信息）。

来自内插滤波器81的扩大的参考帧信息和来自选择器83的运动矢量信息被提供给屏幕边缘确定器94。屏幕边缘确定器94基于这些信息确定L0参考像素或L1参考像素是否在屏幕外，并根据决定的结果输出要被提供给乘法器93A和乘法器93B的权重因子。例如，在用于L0和L1的像素都在屏幕内或屏幕外的情况下，输出了W=0.5的权重因子。在用于L0或者L1的像素在屏幕外而用于另一个的在屏幕内的情况下，和屏幕内参考像素相比，至少将较小的权重因子赋予屏幕外参考像素。

权重计算器95在L0参考像素或L1参考像素在屏幕外的情况下根据输入图像的特性计算权重因子以便使用，从而将这些因子提供至屏幕边缘确定器94。这样计算的权重因子也被输出至无损编码器66以传送至解码侧。

选择器83根据预测模式选择由运动预测器74搜索的运动矢量信息或由运动矢量预测器84求出的运动矢量信息，并将选择的运动矢量信息输出至屏幕边缘确定器94、L0区域选择器91以及L1区域选择器92。

运动矢量预测器84根据诸如跳跃模式或直接模式的、其中运动矢量未传送至解码侧的模式来预测运动矢量，并将这些运动矢量提供至选择器83。

该预测运动矢量的方法与根据H.264/AVC标准的方法相似，并且诸如基于外围块中的运动矢量借助于中间预测来执行预测的空间预测以及基于共位置的块（co-located block）中的运动矢量来执行预测的时间预测的预测是根据运动矢量预测器84处的模式来执行的。共位置的块是与目标块的图像不同且存在于与目标块对应的位置的图片（位于前向或后向的图片）中的块。

在图11的示例中，尽管没有示出，但是例如，将要求出的外围块中的运动矢量信息可以从选择器83得到。

【对权重因子的描述】

将要根据屏幕边缘确定器94的确定结果而提供的、且将要在算术运算器93处相乘的权重因子信息在用于L0或L1中任一个的参考像素在屏幕外的情况下，是将要与用于另一个的参考像素相乘的权重。其值在0.5至1的范围内，且使得当加到将要与用于L0或L1中其他一方的屏幕外像素相乘的权重时为1。

因此，在L0权重因子信息是W_L0的情况下，L1权重因子信息是W_L1=1-W_L0。结果，图11的算术运算器93处将要执行的计算被表述为如下等式（3）：

Y=W_L0I_L0+(1-W_L0)I_L1

                                            ……（3）

其中Y是加权预测信号，I_L0是L0参考像素而I_L1是L1参考像素。

此外，由权重计算器95计算这些权重因子。在权重计算器95处，例如，基于像素之间的相关性的强度计算权重。在屏幕内的相邻像素之间的相关性较弱的情况下，即，在相邻像素值之间存在大的差异的情况下，由复制屏幕的边缘处的像素产生的像素值具有较低的可靠性，从而权重信息W接近1，然而在像H.264/AVC标准那样的相关性较强的情况下，由复制屏幕的边缘处的像素产生的像素值具有较高的可靠性，从而权重信息W接近0.5。

检验像素之间的相关性强度的程度的方法包括计算相邻像素之间的差异的绝对值的屏幕内平均值的方法、计算像素值的离差大小的方法以及其中例如借助于傅里叶变换求出的高频分量的频谱的检验方法。

作为最简单的示例，在假设屏幕外部分是不可靠的时，权重W可以被固定为1。在这种情况下，权重信息不需要传送至解码侧，从而不是必须包括在流信息中。

此外，由于用于屏幕外部分的权重是0，所以可以去除算术运算器93的乘法器93A、乘法器93B以及加法器93C，作为替代，可以提供更简单的选择电路。

【对图像编码设备处的编码处理的描述】

接下来将参照图12的流程图给出对在图9的图像编码设备51处的编码处理的描述。

在步骤S11中，A/D变换器61对输入图像执行A/D变换。在步骤S12中，屏幕整理缓冲器62保留从A/D变换器61提供的图像并将其图片从显示顺序整理为编码顺序。

在步骤S13中，算术运算器63计算步骤S12中存储的图像和预测图像之间的差异。通过预测图像选择器76，在帧间预测的情况下从运动补偿器75提供预测图像至算术运算器63，而在帧内预测的情况下从帧内预测器73提供预测图像至算术运算器63。

和原始图像数据相比，差异数据具有较小的数据量。从而，与编码图像自身的情况相比，压缩了数据量。

在步骤S14中，正交变换器64对从算术运算器63提供的差异信息执行正交变换。具体地，执行诸如离散余弦变换或卡亨南-拉维变换的正交变换，使得输出变换系数。在步骤S15中，量化器65量化这些变换系数。在量化时，根据随后将要描述的步骤S26中的处理来控制速度。

如下文所描述地局部解码这样量化的差异信息。具体地，在步骤S16中，逆量化器68根据与量化器65的特性对应的特性对量化器65所量化的变换系数执行逆量化。在步骤S17中，逆正交变换器69根据与正交变换器64的特性对应的特性对逆量化器68所逆量化的变换系数执行逆正交变换。

在步骤S18中，算术运算器70将通过预测图像选择器76输入的预测图像添加至局部解码的差别信息并生成局部解码图像（对应于输入到算术运算器63的图像）。在步骤S19中，去块滤波器71滤波从算术运算器70输出的图像，以便移除块变形。在步骤S20中，帧存储器72存储经滤波的图像。

在步骤S21中，帧内预测器73执行帧内预测处理。具体而言，帧内预测器73基于已经从屏幕整理缓冲器62读取的、用于帧内预测的图像和从算术运算器70提供的图像（将要滤波的图像），以所有候选帧内预测模式来执行帧内预测处理，以生成帧内预测图像。

帧内预测器73针对所有候选帧内预测模式来计算成本函数值。帧内预测器73将被赋予了所计算的成本函数值中的最小值的帧内预测模式决定为最优帧内预测模式。然后，帧内预测器73将以最优帧内预测模式生成的预测图像和其成本函数值提供给预测图像选择器76。

在将要从屏幕整理缓冲器62提供的处理目标图像是将要经受帧间处理的图像的情况下，从帧存储器72读取将要参考的图像，且将其通过开关73提供至运动预测器74和运动补偿器75。

在步骤S22中，运动预测器74和运动补偿器75执行运动预测/补偿处理。具体而言，运动预测器74基于将要经历帧间处理的图像和来自帧存储器72的参考图像来以所有候选帧间预测模式对各块执行运动预测，并生成这些块的运动矢量。运动补偿器74将关于生成的运动矢量的信息输出至运动补偿器75。

对来自帧存储器72的参考图像执行内插滤波。运动补偿器75使用基于来自运动预测器74的运动矢量或外围块的运动矢量已经求得的运动矢量，来以所有候选帧间预测模式对用于各块的经滤波的参考图像执行补偿处理，并生成预测图像。

这时，在直接模式或双预报预测模式的B图片的情况下，即，在其中使用了多个不同参考图像的预测模式的情况下，运动补偿器75根据目标块所要参考的像素是否在其参考图像的屏幕外来执行加权预测，以生成预测图像。随后参照图14描述用于B图片的补偿处理。

此外，运动补偿器75针对所有候选帧间预测模式对将要处理的块求出成本函数值，并决定具有最小成本函数值的最优帧间预测模式。运动预测器75将以最优帧间预测模式生成的预测图像和其成本函数值提供至预测图像选择器76。

在步骤S23中，预测图像选择器76基于已经从帧内预测器73和运动补偿器75输出的成本函数值，决定最优帧内预测模式或最优帧间预测模式作为最优预测模式。然后，预测图像选择器76选择所决定的最优预测模式的预测图像，并将这些图像提供至算术运算器63和70。如先前所述，在步骤S13和S18中算术运算使用这些预测图像。

如图9中的虚线所示，关于预测图像的选择信息被提供至帧内预测器73或运动预测器74。在选择了最优帧内预测模式的预测图像的情况下，帧内预测器73将指示了最优帧内预测模式的信息（即，帧内预测模式信息）提供至无损编码器66。

在选择了最优帧间预测模式的预测图像的情况下，运动预测器74将指示了最优帧间预测模式的信息、运动矢量信息以及参考帧信息输出至无损编码器66。在运动补偿器75处计算了权重的情况下，已经选择了帧间预测图像的信息也被提供至运动补偿器75，从而运动补偿器75输出所计算的权重因子信息至无损编码器66。

在步骤S24中，无损编码器66对已从量化器65输出的量化变换系数进行编码。换句话说，差异图像经历了诸如可变长度编码或二进制算术编码的无损编码以压缩。这时，在上述步骤S23中已被输入至无损编码器66的、来自帧内预测器73的帧内预测模式信息或来自运动补偿器75的最优帧间预测模式以及上述的各条信息被编码为包括在报头信息中。

例如，按照宏块来对指示了帧间预测模式的信息进行编码。按照目标块来对运动矢量信息和参考帧信息进行编码。关于权重因子的信息可以基于帧，或可替选地，可以基于序列（拍摄从开始到结束的场景）。

在步骤S25中，累积缓冲器67累积差异图像作为压缩图像。在累积缓冲器67中这样累积的压缩图像被适当地从中读取以通过通道传送给解码侧。

在步骤S26中，速度控制器77基于在累积缓冲器67中累积的压缩图像来控制量化器65的量化操作的速度，以便保护避免发生上溢或下溢。

【预测模式选择处理的描述】

在图9的图像编码设备51中，为了对相关宏块进行编码，必须从多个预测模式中决定最优模式。一种典型的决定方法是基于多路径编码方法，并通过使用如下等式（4）或（5）决定运动矢量、参考图片以及预测模式，以最小化成本（即，成本函数值）：

Cost=SATD+λ_MotionGenBit                        …(4)

Cost=SSD+λ_ModeGenBit                           …(5)

下文中，SATD（变换后差异的绝对值之和）是根据阿达玛（Hadamard）变换来执行的预测误差的绝对值之和。SSD（平方差之和）是平方误差之和，该平方误差是像素的预测误差的平方的总和。GenBit（生成的比特）是以相关候选模式来对相关宏块进行编码的情况下出现的比特量。λ_Motion和λ_Mode是根据量化参数QP以及图片是I/P图片还是B图片来决定的、被称为“拉格朗日乘数”的变量。

参照图13描述了图像编码设备51通过使用上述等式（4）或（5）而进行的预测模式选择处理。预测模式选择处理是聚焦于图12中步骤S21至S23中的预测模式选择而进行处理的。

在步骤S31中，帧内预测器73和运动补偿器75（预测模式决定器85）分别根据量化参数QP和图片类型来计算λ。虽然未示出用于其的指示性箭头，但是从量化器65提供量化参数QP。

在步骤S32中，帧内预测器73决定帧内4×4模式使得成本函数值取较小值。帧内4×4模式包括九种预测模式，且这些模式中具有最小成本函数值的一种模式被确定为帧内4×4模式。

在步骤S33中，帧内预测器73决定帧内16×16模式使得成本函数取较小值。帧内16×16模式包括四种预测模式，这些模式中具有最小成本函数值的一重模式被决定为帧内16×16模式。

然后，在步骤S34中，帧内预测器73决定具有较小成本函数值的帧内4×4模式或帧内16×16模式作为最优帧内模式。帧内预测器73将以所确定的最优帧内模式获得的预测图像和其成本函数值提供至预测图像选择器76。

从上述步骤S32至S34的处理对应于图12中步骤S21的处理。

在步骤S35中，运动预测器74和运动补偿器75决定运动矢量和参考图片，使得针对以下模式，成本函数以图3中的下部中所描绘的8×8宏块子分区为单位而取较小值：这些模式包括8×8、8×4、4×8、4×4，且在B图片的情况下，包括了直接模式。

在步骤S36中，运动预测器74和预定补偿器75确定所处理的图像是否是B图片，当确定图像是B图片时，处理前进到步骤S37。在步骤S37中运动预测器74和预定补偿器75决定运动矢量和参考图片，使得成本函数针对双预报预测也取较小值。

在步骤S36中，当确定图像不是B图片，跳过步骤S37并且处理前进到步骤S38。

在步骤S38中，运动预测器74和预定补偿器75决定运动矢量和参考图片，使得针对如下模式以图3上部所描绘的宏块分区为单位而取较小值：这些模式包括16×16、16×8、8×16、直接模式以及跳跃模式。

在步骤S39中，运动预测器74和预定补偿器75确定所处理的图像是否是B图片，并且当确定图像是B图片时，处理前进到步骤S40。在步骤S40中运动预测器74和预定补偿器75决定运动矢量和参考图片，使得针对双预报预测成本函数也取较小值。

在步骤S39中，当确定图像不是B图片时，跳过步骤S40并且处理前进到步骤S41。

然后，在步骤S41中运动补偿器75（的预测模式决定器85）从上述宏块分区和子宏块分区中决定具有较小成本函数的模式作为最优帧间模式。预测模式决定器85将以所决定的最优帧间模式获得的预测图像和其成本函数值提供至预测图像选择器76。

从上述步骤S35至S41的处理对应于图12中步骤S22的处理。

在步骤S42中，预测图像选择器76从最优帧内模式和最优帧间模式中决定具有最小成本函数值的模式。步骤S42的处理对应于图12中步骤S23的处理。

如上所述，决定了（用于帧间的）参考图片和运动矢量以及预测模式。例如，在图13的步骤S37和S40中的B图片的情况下针对双预报预测和直接模式确定了运动矢量时，使用由如下将要描述的图14中的处理来补偿的预测图像。

图14是用于描述B图片情况下的补偿处理的流程图。换句话说，图14示出了图12中步骤22中的运动预测/补偿处理中用于B图片的具体处理。在图14的示例中，为了容易理解，描述了一种情形，在该情形中权重因子针对屏幕外参考像素是0而权重因子针对屏幕内参考像素是1。

在步骤S51中，选择器83确定处理目标模式是直接模式还是双预报预测模式。在步骤S51中，当模式既不是直接模式也不是双预报模式的情况下，处理前进到步骤S52。

在步骤S52中，补偿处理器82根据模式（L0预测或L1预测）执行针对相关块的预测。

具体地，在L0预测的情况下，选择器83将预测模式信息和L0运动矢量信息限制性地发送至L0区域选择器91。L0区域选择器91根据来自选择器83的预测模式（指示了L0预测）信息和L0运动矢量信息从扩大的L0参考帧信息中选择相应的L0参考区域，以输出至预测模式决定器85。针对L1执行相同的处理。

在步骤S51中，当确定模式是直接模式或双预报预测时，处理前进到步骤S53。在这种情况下，来自选择器83的预测模式信息和运动矢量信息被提供至L0区域选择器91、L1区域选择器92以及屏幕边缘确定器94。

相应地，L0区域选择器91根据来自选择器83的预测模式（指示了直接模式或双预报预测的）信息和L0运动矢量信息从扩大的L0参考帧信息中选择相应的L0参考区域，以输出至算术运算器93。L1区域选择器91根据来自选择器83的预测模式信息和L1运动矢量信息从扩大的L1参考帧信息中选择相应的L1参考区域，以输出至算术运算器93。

然后，屏幕边缘确定器94在接下来的步骤S53至S57和S60中确定参考像素是否在屏幕外。在如下的描述中，参考了图15中描绘的相关预测块中的相关预测像素的坐标。

在图15中，block_size_x指示了在x方向中相关预测块的尺寸，而block_size_y指示了在y方向中相关预测块的尺寸。此外，i指示了相关预测块中的相关预测像素的x坐标，而j指示了相关预测块中的相关预测像素的y坐标。

在图15的情况下，当示例性相关预测块由4×4像素构成时，（block_size x,block_size_y)=(4,4)，0≤i且j≤3。因此，图15中描绘的预测像素具有x=i=2且y=j=0的坐标。

在步骤S53中，屏幕边缘确定器94确定具有从0开始的值的j是否小于block_size_y并当确定了j大于block_size_y时终止处理。同时，在步骤S53中，当确定j小于block_size_y，即，j在0到3的范围内时，处理前进到步骤S54，且重复执行其后的处理。

在步骤S54中，屏幕边缘确定器94确定具有从0开始的值的i是否小于block_size_x并当确定i大于block_size_x时，处理返回步骤S53，且重复执行其后的处理。此外，在步骤S54中，当确定i小于block_size_x时，即，i在0到3的范围内时，处理前进到步骤S55，且重复执行其后的处理。

在步骤S55中，屏幕边缘确定器94使用L0运动矢量信息mvL0x和mvL0y以及L1运动矢量信息mvL1x和mvL1y来求得参考像素。更具体地，通过如下等式（6）给出L0所要参考的像素的y坐标yL0和x坐标xL0以及L1所要参考的像素的y坐标yL1和x坐标xL1。

yL0=mvL0y+j

xL0=mvL0x+i

yL1=mvL1y+j

xL1=mvL1x+i

                                        …（6）

在步骤S56中，屏幕边缘确定器94确定是否L0所要参考的像素的y坐标yL0小于0或大于等于图片框的高度（高度，height：y方向中屏幕的尺寸），或者是否L0所要参考的像素的x坐标xL0小于0或大于等于图片框的宽度（宽度，width：x方向中屏幕的尺寸）。

换句话说，在步骤S56中，做出是否建立如下等式（7）的确定。

【公式1】

yL0<0||yL0>＝height||xL0<0||xL0>＝width

                                         …(7)

在步骤S56中，在确定了建立等式（7）的情况下，处理前进到步骤S57。在步骤S57中，屏幕边缘确定器94确定是否L1所要参考的像素的y坐标yL1小于0或大于等于图片框的高度（高度，height：y方向中屏幕的尺寸），或者是否L1所要参考的像素的x坐标xL1小于0或大于等于图片框的宽度（宽度，width：x方向中屏幕的尺寸）。

换句话说，在步骤S57中，做出是否建立如下等式（8）的确定。

【公式2】

yL1<0||yL1>＝height||xL1<0||xL1>＝width

                                        …(8)

在步骤S57中，在确定了建立等式（8）的情况下，处理前进到步骤S58。在这种情况下，由于L0所要参考的像素和L1所要参考的像素都是屏幕外像素，所以屏幕边缘确定器94针对相关像素将根据H.264/AVC的加权预测的权重因子信息提供至算术运算器93。相应地，在步骤S58中，算术运算器93对相关像素执行根据H.264/AVC的加权预测。

在步骤S57中，在确定了不建立等式（8）的情况下，处理前进到步骤S59。在这种情况下，由于L0所要参考的像素是屏幕外像素而L1所要参考的像素是屏幕内像素，所以屏幕边缘确定器94针对相关像素将L0权重因子信息（0）和L1权重因子信息（1）提供至算术运算器93。相应地，在步骤S59中，算术运算器93限制性地使用L1参考像素来对相关像素执行预测。

在步骤S56中，在确定了不建立等式（7）的情况下，处理前进到步骤S60。在步骤S60中，屏幕边缘确定器94确定是否L1所要参考的像素的y坐标yL1小于0或大于等于图片框的高度（高度，height：y方向中屏幕的尺寸），或者是否L1所要参考的像素的x坐标xL1小于0或大于等于图片框的宽度（宽度，width：x方向中屏幕的尺寸）。

换句话说，在步骤S60中，同样也做出是否建立等式（8）的确定。在步骤S60中，在确定了建立等式（8）的情况下，处理前进到步骤S61。

在这种情况下，由于L1所要参考的像素是屏幕外像素而L0所要参考的像素是屏幕内像素，所以屏幕边缘确定器94针对相关像素将L0权重因子信息（1）和L1权重因子信息（0）提供至算术运算器93。相应地，在步骤S61中，算术运算器93限制性地使用L0参考像素来对相关像素执行预测.

同时，在步骤S60中，在确定了不建立等式（8）的情况下，这意味着二者的像素均是屏幕内像素，处理前进到步骤S58，并且针对相关像素执行根据H.264/AVC标准的加权预测。

在步骤S58、59或61中，算术运算器93处执行的加权预测所得到的加权（Bi-pred）预测信息被输出至预测模式决定器85。

如图16中所示，概述了上述的处理。在图16的示例中，示出了参考像素的位置和用于其的处理方法之间的对应关系。

具体而言，在相关参考像素在L0参考区域中的位置和相关参考像素在L1参考区域中的位置均在屏幕内的情况下，即，在图14中步骤S57中的Yes的情况下，根据H.264/AVC标准的加权预测被用作用于处理相关像素的方法。

在相关参考像素在L0参考区域中的位置在屏幕外而相关参考像素在L1参考区域中的位置在屏幕内的情况下，即，在图14中步骤S57中的No的情况下，用作用于处理相关像素的方法的是在屏幕内的L1参考像素而非屏幕外的L0参考像素上赋予了权重的加权预测。在图14中描绘的示例中，权重因子是0和1，从而使用了限制性地使用L1参考像素的预测。

在相关参考像素在L1参考区域中的位置在屏幕外而相关参考像素在L0参考区域中的位置在屏幕内的情况下，即，在图14中的步骤S60中的Yes的情况下，用作用于处理相关像素的方法的是在屏幕内的L0参考像素而非屏幕外的L1参考像素上赋予了权重的加权预测。在图14的示例中，权重因子是0和1，从而使用了限制性地使用L0参考像素的预测。

在相关参考像素在L0参考区域中的位置和相关参考像素在L1参考区域中的位置均在屏幕外的情况下，即，在图14中步骤S60中的No的情况下，使用根据H.264/AVC标准的加权预测作为用于处理相关像素的方法。

接下来参照图17给出对图14的示例的效果的描述。在图17的示例中，从左依次描绘了L0参考图片、当前图片以及L1参考图片各自的屏幕内部分。L0参考图片中的虚线部分指示了屏幕外部分。

更具体地，由在当前图片中的相关块内已经搜索的运动矢量MV（L0）所指示的L0参考图片中的参考块由屏幕外部分（虚线部分）和屏幕内部分（中空部分）构成，而由在当前图片中的相关块内已经搜索的运动矢量MV（L1）所指示的L1参考图片中的参考块由屏幕内部分（中空部分）构成。

换句话说，根据H.264/AVC标准，两个参考块都均已用于针对相关块的加权预测，该预测使用了权重因子w（L0）和w（L1）而与屏幕外部分的存在无关。

另一方面，根据本发明（尤其是关于图14的例子），使用权重因子w（L0）和w（L1）的针对相关块的加权预测不使用L0参考块中的屏幕外部分。对于L0参考块中的屏幕外部分，在针对相关块的加权预测中所使用的像素被限制为L1参考块。

即，由于没有使用可能是不准确信息的屏幕外部分的像素，所以和根据H.264/AVC标准的加权预测比起来，提高了预测精度。显而易见的是，不仅在其中权重因子是0和1的图14的示例中，而且在其中用于屏幕外部分的权重因子被设置为低于用于屏幕内部分的权重因子的情况下，和根据H.264/AVC标准的加权预测比起来，提高了预测精度。

这样编码的压缩图像通过特定通道被传送以通过图像解码设备解码。

图像解码设备的配置示例

图18描绘了应用了本发明的、用作图像处理设备的图像解码设备的实施例的配置。

图像解码设备101包括累积缓冲器111、无损解码器112、逆量化器113、逆正交变换器114、算术运算器115、去块滤波器116、屏幕整理缓冲器117、D/A转换器118、帧存储器119、帧内预测器120、运动补偿器121以及开关122。

累积缓冲器111对已经发送到其的压缩图像进行累积。无损解码器112根据与图9的无损编码器66采用的编码系统对应的系统，对从聚集缓冲器111提供的且通过无损解码器66编码的信息进行解码。逆量化器113根据与图9的量化器65采用的量化方法对应的方法，对由无损解码器112解码的图像执行逆量化。逆正交变换器114根据与图9的正交变换器64使用的正交变换方法对应的方法，对从来自逆量化器113的输出执行逆正交变换。

由算术运算器115将经逆正交变换的输出添加至将要从开关122提供的预测图像上，将其并解码。在将图像输出至屏幕整理缓冲器117的同时，去块滤波器116移除解码图像中的块变形然后将这些图像提供至帧存储器119用于累积。

屏幕整理缓冲器117整理图像。更具体地，已经被图9的屏幕整理缓冲器62整理为编码顺序的各帧的顺序被整理为原始显示顺序。D/A转换器118对从屏幕整理缓冲器117提供的图像执行D/A转换，并输这些出图像至显示器（未示出），以在其上显示这些图像。

从帧存储器119向运动补偿器121提供将要被参考的图像。来自算术运算器115的将要经历去块滤波的输入图像被提供至帧内预测器120作为用于在帧内预测中使用的图像。

从无损解码器112将指示了通过对报头信息进行解码已经获得的帧内预测模式的信息提供至帧内预测器120。帧内预测器120基于该信息生成预测图像并将生成的预测图像输出至开关122。

在通过对报头信息进行解码而获得的信息中，从无损解码器112将包括帧间预测模式信息的信息、运动矢量信息以及参考帧信息的信息提供至运动补偿器121。按照宏块来接收帧间预测模式信息。按照目标块来接收运动矢量信息和参考帧信息。在图像编码设备5处计算了权重因子的情况下，还按照帧或序列来接收权重因子。

通过使用所提供的运动矢量信息或可以从外围块获得的运动矢量信息，基于来自无损解码器112的帧间预测模式来对参考图像执行补偿，以生成用于各块的预测图像。这时，如同在图9的运动预测补偿器75处一样，在直接模式或双预报预测模式的B图片的情况下，即，在其中使用了多个不同参考图像的预测模式的情况下，运动补偿器121根据目标块所要参考的像素是否在其参考图像的屏幕外来执行加权预测，以生成预测图像。将所生成的预测图像通过开关122输出至算术运算器115。

开关122选择已经由运动补偿器121或帧内预测器120生成的预测图像并将这些图像提供至算术运算器115。

【运动补偿器的配置示例】

图19是描绘了运动补偿器121的细节配置示例的框图。

在图19的示例中，运动补偿器121包括内插滤波器131、补偿处理器132、选择器133以及运动矢量预测器134。

内插滤波器131从帧存储器119接收参考帧（参考图像）信息。内插滤波器131在参考帧的像素之间执行内插，如同在图11的内插滤波器81处一样，以纵向和横向地扩大四倍，并扩大的帧信息输出至补偿处理器132。

补偿处理器132包括L0区域选择器141、L1区域选择器142、算术运算器143以及屏幕边缘确定器144。在图19的示例中针对补偿处理器132示出了用于B图片的示例。

来自内插滤波器131的扩大的参考帧信息被输入至L0区域选择器141、L1区域选择器142以及屏幕边缘确定器144。

L0区域选择器141根据来自选择器133的L0运动矢量信息和预测模式信息，从扩大的L0参考帧信息中选择相应L0参考区域，并输出该信息至算术运算器143。这样输出的关于参考区域的信息被输入至开关122作为L0预测模式情况下的L0预测信息。

L1区域选择器142根据来自选择器133的预测模式信息和L1运动矢量信息，从扩大的L1参考帧信息中选择相应L1参考区域，并输出该信息至算术运算器143。这样输出的关于参考区域的信息被输入至开关122作为L1预测模式情况下的L1预测信息.

和图11的算术运算器93一样，算术运算器143包括乘法器143A、乘法器143B以及加法器143C。乘法器143A将来自L0区域选择器141的L0参考区域信息乘以来自屏幕边缘确定器144的L0权重信息，并将结果输出至加法器143C。乘法器143B将来自L1区域选择器142的L1参考区域信息乘以来自屏幕边缘确定器144的L1权重信息，并将结果输出至加法器143C。加法器143C将已经基于L 0和L1权重信息分配了权重的L0参考区域和L1参考区域相加，以便将结果输出至开关122作为加权预测信息（Bi-pred预测信息）。

将来自无损解码器112的帧间预测模式信息、来自内插滤波器131的扩大的参考帧信息以及来自选择器133的运动矢量信息提供至屏幕边缘确定器144。

屏幕边缘确定器144在双预报预测或直接模式的情况下基于参考帧信息和运动矢量信息确定L0参考像素或L1参考像素是否在屏幕外，以便基于确定结果来输出将要提供给乘法器143A和乘法器143B的权重因子。例如，在L0和L1的像素均在屏幕内或屏幕外的情况下，输出权重因子W=0.5。和屏幕内参考像素相比，至少将较小的权重因子至少赋予屏幕外参考像素。

此外，在由图11的权重计算器95计算权重因子的情况下，也从无损解码器112提供权重因子。从而，屏幕边缘确定器144基于确定结果来输出将要提供给乘法器143A和乘法器143B的权重因子。

如果有的话，则将来自无损解码器112的帧间预测信息和运动矢量信息也提供给选择器133。选择器133根据预测模式来选择来自无损解码器112的运动矢量信息或者已经由运动矢量预测器134求出的运动矢量信息，以将所选择的运动矢量信息提供至屏幕边缘确定器144、L0区域选择器141以及L1区域选择器142。

如同图11的运动矢量预测器84一样，根据诸如其中运动矢量未发送至解码侧的跳跃模式或直接模式的模式，运动矢量预测器134预测运动矢量，并将结果提供至选择器133。在图19的示例中，尽管没有示出，但是例如当需要时外围块的运动矢量信息可从选择器133得到。

【图像解码设备的解码处理的描述】

接下来将参照图20的流程图给出对由图像解码设备101执行的解码处理的描述。

在步骤S131中，累积缓冲器111对传送至其的图像进行累积。在步骤S132中，无损解码器112对将要从累积缓冲器111提供的压缩图像进行解码。具体而言，对已经由图9的无损解码器66编码的I图片、P图片以及B图片进行解码。

这时，同样也按照块来对包括运动矢量信息和参考信息的信息进行解码。另外，也按照宏块来对包括预测模式信息的信息（指示了帧内预测模式或帧间预测模式的信息）进行解码。此外，在图9的解码侧处计算了权重因子的情况下，也对其信息进行解码。

在步骤S133中，逆量化器113根据与图9的量化器65的特性相对应的特性，对由无损解码器112解码的变换系数执行逆量化。在步骤S134中，逆正交变换器114根据与图9的正交变换器64的特性相对应的特性，对由逆量化器113逆量化的变换系数执行逆正交变换。这完成了对与图9的正交变换器64的输入（来自算术运算器63的输出）相对应的差异信息的解码。

在步骤S135中，算术运算器115将在接下来将要描述的步骤S141的处理中将要选择并通过开关122输入的差异信息预测图像相加。通过该处理对原始图像进行解码。在步骤S136中，去块滤波器116滤波从算术运算器115输出的图像。这样移除了块变形。在步骤S137中，帧存储器119存储滤波的图像。

在步骤S138中，基于针对压缩图像的报头部分的无损解码的结果，无损解码器112确定压缩图像是否是帧间预测图像，即，无损解码的结果是否包含指示了最优帧间预测模式的信息。

在步骤S138中，在压缩图像被确定为已经进行了帧间预测的情况下，无损解码器112将包括运动矢量信息、参考帧信息以及指示了最优帧间预测模式的信息的信息提供给运动补偿器121。在已经解码了权重因子的情况下，也将解码的权重因子提供至运动补偿器121。

然后在步骤S139中，运动补偿器121执行运动补偿处理。基于来自无损解码器112的帧间预测模式，运动补偿器121通过使用提供至其的运动矢量信息或从外围块可得的运动矢量信息，对参考图像执行补偿，以便生成块的预测图像。

这时，如同图9的运动预测补偿器75一样，在直接模式或双预报模式的B图片的情况下，即在其中使用了多个不同参考图像的预测模式的情况下，运动补偿器121根据目标块所要参考的像素是否在其参考图像的屏幕外来执行加权预测。这样生成的预测图像通过开关122输出至算术运算器115。B图片的补偿处理与上述参照图14的补偿处理相似，从而不给出其描述。

同时，在步骤S138中做出了压缩图像未经过帧间预测确定的情况下，即，在无损解码的结果包括指示了最优帧内预测模式的信息的情况下，无损解码器112将指示了最优帧内预测模式的信息提供至帧内预测器120。

然后，在步骤S140中，帧内预测器120以来自无损解码器112的信息所指示的最优帧内预测模式，对来自帧存储器119的图像上执行帧内预测处理，以生成帧内预测图像。然后，帧内预测器120输出帧内预测图像至开关122。

在步骤S141中，开关122选择预测图像并输出这些图像至算术运算器115。具体而言，提供由帧内预测器120生成的预测图像或由运动补偿器121生成的预测图像。因此，从提供的预测图像中做出选择以输出至算术运算器115，且如上所述，在步骤S135中将选择的图像与来自逆正交变换器114的输出相加。

在步骤S142中，屏幕整理缓冲器117执行整理。更具体地，已经由图像编码设备51的屏幕整理缓冲器62整理的用于编码的帧顺序被整理为原始显示顺序。

在步骤S143中，D/A转换器118对来自屏幕整理缓冲器117的图像执行D/A转换。这些图像被输出至显示器（未示出），并且在其上显示图像。

如上所述，在图像编码设备51和图像解码设备101中，在其中执行了使用多个不同参考图片的加权预测的双预报预测模式和直接模式中L0或L1参考像素所要参考的是屏幕外部分的情况下，执行加权预测，使得将较大权重赋予具有更高可靠度的其他像素而非可能不准确的屏幕外像素上。

换句话说，根据本发明，利用了属于专利文献1的提议中根本未使用的块的屏幕内像素。

因此，根据本发明，实现了尤其是在屏幕边缘附近的B图片的帧间编码的预测精确性的提高。这允许减少残差信号，且残差信号的比特量的降低实现了代码效率的提高。

在例如便携式终端的较小屏幕中而非较大屏幕中该提高更为显著。另外，在低比特率情形该技术用起来更为有效。

残差信号的减少导致了在正交变换之后其系数降低，并且期望的是许多系数在量化后变为零。根据H.264/AVC标准，在流信息中包括连续零的数目。通常，对于借助于零的数目的表示，编码的数量远低于以预定代码代替0以外的值的表示；从而，根据本发明的取零值的许多系数导致代码的比特量的降低。

此外，根据本发明，实现了以直接模式的预测精度的提高，使得更容易选择直接模式。由于直接模式不涉及运动矢量信息，尤其是在屏幕边缘的附近，用于运动矢量信息的报头信息减少。

即，根据相关技术，即便在L0或L1参考图片中的参考区域在屏幕外的情况下期望选择直接模式，上述的成本函数值也不可避免地增加，这使得难以选择的直接模式。

此外，为了避免上述情形，在双预报预测中选择小的块时，用于块的运动矢量信息增加；然而，因为本发明允许在直接模式中选择较大的块，所以实现了运动矢量信息的减少。此外，定义比特串使得较大的块取较少比特长度；因此，根据本发明的选择较大的块的便利提供了模式信息的比特量的减少。

在较低比特速度时，根据较大量化参数QP执行量化，这意味着预测精度直接影响图像质量。因此，预测精度的提高实现了屏幕边缘附近的图像质量的提高。

在上面的描述中，在双预报预测和直接模式中的运动补偿的L0或L1参考像素中参考了屏幕外部分的情况下，执行加权预测，使得将较大的权重赋予具有更高可靠度的其他像素而非可能是不精确信息的屏幕外像素上；在双预报预测中，加权预测也可以用于运动搜索。通过将本发明的加权预测应用于运动搜索，提高了运动搜索的精确度，且在运动补偿使用了加权预测的情况下也可以实现预测精度的提高。

【扩展宏块尺寸的应用的说明】

图21描述了非专利文献2中提议的示例性块尺寸。在非专利文献2中，宏块尺寸被扩展至32×32像素。

在图21的上排，从左依次描绘了32×32像素构成的宏块，每个宏块被划分为32×32像素、32×16像素、16×32像素以及16×16像素的块（分区）。在图21的中排，从左依次描绘了16×16像素构成的块，每个块被划分为16×16像素、16×8像素、8×16像素以及8×8像素的块。在图21的下排，从左依次描述了8×8像素构成的块，每个块被划分为8×8像素、8×4像素、4×8像素以及4×4像素的块。

换句话说，可以以图21的上排中描绘的32×32像素、32×16像素、16×32像素以及16×16像素的块来处理32×32像素的宏块。

可以以中排中描绘的16×16像素、16×8像素、8×16像素以及8×8像素的块来处理上排右侧描绘的16×16像素的块，如同H.264/AVC标准的情况下一样。

可以以下排中描述的8×8像素、8×4像素、4×8像素以及4×4像素的块来处理中排右侧描绘的8×8像素的块，如同H.264/AVC标准的情况下一样。

根据非专利文献2的提议，采用这样的分层结构保证了与H.264/AVC标准针对16×16像素的或更小的块的可扩展性，同时将更大的块定义为其扩展集。

本发明可以应用于这样提议的扩展的宏块尺寸。

在前面的描述中，H.264/AVC标准被基本上用作编码标准；然而，本发明不限于此，本发明可以应用于使用其他编码标准/解码标准的图像编码设备/图像解码设备以执行运动预测和补偿处理。

注意，本发明也可以适用于通过诸如卫星广播、线缆电视、因特网或移动电话的网络介质根据例如MPEG和H.26x来接收通过诸如离散余弦变换的正交变换和运动补偿而压缩的图像信息（比特流）中所使用的图像编码设备和图像解码设备。此外，本发明适用于在执行诸如光盘、磁盘、闪存存储器的存储介质上的处理中使用的图像编码设备和图像解码设备。此外，本发明也适用于包括在这些图像编码设备和图像解码设备中的运动预测补偿设备。

通过硬件或软件可以执行上述系列处理。在通过软件执行上述系列处理的情况下，在计算机上安装配置该软件的程序。下文中，示例性计算机包括以专用硬件来构建的计算机和被配置为在安装了各种程序时执行各种功能的通用个人计算机。

【个人计算机的配置示例】

图22是用于基于程序描述执行上述系列处理的计算机的硬件的配置示例的框图。

在计算机中，CPU（中央处理单元）251、ROM（只读存储器）252、以及RAM（随机存取存储器）253通过总线254相互耦合。

总线254还连接有输入/输出接口255。输入/输出接口255连接有输入器256、输出器257、存储装置258、通信器259以及驱动器260。

输入器256包括键盘、鼠标以及麦克风。输出器257包括显示器和扬声器。存储装置258包括硬盘和非易失性存储器。通信器259包括网络接口。驱动器260驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质261。

在这样配置的计算机中，CPU 251通过使存储在例如存储装置258上的程序通过输入/输出接口255和总线254上载到RAM 253上来执行程序，使得执行上述系列处理。

将由计算机（CPU 251）执行的程序可以以可移除介质261的形式来提供，例如记录了该程序的封装介质。还可以通过诸如局域网、因特网或数字广播的有线或无线传送介质来提供程序。

在计算机中，可以通过输入/输出接口255在存储装置258上安装程序，其中可移除介质261附接在驱动器260上。也可以在通信器259处通过有线或无线传送介质来接收该程序以用于安装在存储装置258上。另外，也可以预先在ROM 252或存储装置258上安装该程序。

计算机将要执行的程序可以是通过根据本文描述的顺序按照时间次序执行处理的程序，或可替选地，可以是在适当时序处（执行处理的程序，例如并行执行地或者在调用时执行。

本发明的实施例不限于上述实施例，可以做出各种变化和修改而不偏离本发明的范围。

例如，上述图像编码设备51和图像解码设备101可以应用于任何电子装置。下文中描述了其示例。

【电视接收机的配置示例】

图23是描述了使用应用了本发明的图像解码设备的电视接收机的主要配置示例的框图。

图23中描述的电视接收机300包括地面调谐器313、视频解码器315、视频信号处理电路318、图形生成电路319、面板驱动电路320以及显示面板321。

地面调谐器313通过天线接收地面模拟广播的广播波信号，解调它们以获得视频信号，并将这些信号提供至视频解码器315。视频解码器315对地面调谐器313提供的视频信号执行解码处理并将所得到的数字分量信号提供至视频信号处理电路318。

视频信号处理电路318对视频解码器315提供的视频数据执行诸如降噪的预定处理，并将所得到的视频数据提供至图形生成电路319。

图形生成电路319生成例如用于在显示面板321上显示的广播的视频数据以及在处理基于将要通过网络提供的应用时可以获得的图像数据，以便将生成的视频数据和图像数据提供至面板驱动电路320。另外，图形生成电路319适当地执行处理，诸如根据项目的选择，生成用于显示用户用来选择项目的屏幕的视频数据（图形），以及将例如通过在广播的视频数据上的叠加获得的视频数据提供至面板驱动电路320。

面板驱动电路320基于从图形生成电路319提供的数据来驱动显示面板321，并使得显示面板321在其上显示广播的视频和上述的各种屏幕。

显示面板321包括LCD（液晶显示器）并适于在面板驱动电路320的控制下显示广播的视频。

此外，电视接收机300也包括音频A/D（模拟/数字）变换电路314、音频信号处理电路322、回声消除/语音合成电路323、语音增强电路324以及扬声器325。

地面调谐器313解调接收的广播波信号以获得视频信号和音频信号。地面调谐器313将获得的音频信号提供至A/D变换电路314

A/D变换电路314对从地面调谐器313提供的音频信号执行A/D变换处理，并将所得到的数字音频信号提供至音频信号处理电路322。

音频信号处理电路322对从音频A/D变换电路314提供的音频数据执行诸如降噪的预定处理，并将所得到的音频数据提供至回声消除/语音合成电路323。

回声消除/语音合成电路323将从音频信号处理电路322提供的音频数据提供至语音增强电路324。

语音增强电路324对从回声消除/语音合成电路323提供的音频数据执行D/A转换处理和放大处理，然后调整为特定音量使得扬声器325输出该音频。

此外，电视接收机300包括数字调谐器316和MPEG解码器317。

数字调谐器316通过天线接收数字广播（地面数字广播和BS（广播卫星）/CS（通信卫星）数字广播）的广播波信号，解调这些信号并获得MPEG-TS（运动图像专家组-传送流），以提供至MPEG解码器317。

MPEG解码器317对从数字调谐器316提供的MPEG-TS执行解扰，以提取包含将要播放（观看）的广播的数据的流。MPEG解码器317解码构成所提取的流的音频包，并将所得到的音频数据提供至音频信号处理电路322，同时解码构成流的视频包以将所得到的视频数据提供至视频信号处理电路318。此外，MPEG解码器317通过路径（未示出）将从MPEG-TS提取的EGP（电子节目指南）数据提供至CPU 332。

电视接收机300从而使用MPEG解码器317形式的上述图像解码设备101用于解码视频包。因此，如同在图像解码设备101的情况下一样，MPEG解码器317允许尤其是在屏幕边缘附近的B图片的预测精度的提高。以这种方式，可以实现代码效率的提高。

如同在从视频解码器315提供的视频数据的情况中一样，从MPEG解码器317提供的视频数据在视频信号处理电路318处经历预定处理。然后，执行了预定处理的视频数据在图形生成电路319处适当地与例如所生成的视频数据叠加，并通过面板驱动电路320被提供至显示面板321，使得可以在其上显示这些图像。

如同在从音频A/D转换器314提供的音频数据的情况中一样，来自MPEG解码器317的音频数据在音频信号处理电路322处经历预定处理。然后，执行了预定处理的音频数据通过回声消除/语音合成电路323被提供至语音增强电路324以经历D/A转换处理和放大处理。结果，从扬声器325输出调节至特定音量的音频。

电视接收机300也包括麦克风326和A/D变换电路327。

A/D变换电路327接收由电视接收机300中提供的麦克风326所采集的用户的语音信号用于在语音会话中使用。A/D变换电路327对所接收的语音信号执行A/D变换处理，并将所得到的数字语音数据提供至回声消除/语音合成电路323。

回声消除消/语音合成电路323在从A/D变换电路327提供了电视接收机300的用户（用户A）的语音数据的情况下，对用户A的语音数据执行回声消除。然后，回声消除/语音合成电路323通过语音增强电路324使得扬声器325输出回声消除以及随后例如与其他语音数据合成所产生的语音数据。

电视接收机300还包括音频编码解码器328、内部总线329、SDRAM（同步动态随机存取存储器）330、闪存存储器331、CPU 332、USB（通用串联总线）I/F 333以及网络I/F 334。

A/D变换电路327接收由电视接收机300中提供的麦克风326所采集的用户的语音信号用于在语音会话中使用。A/D变换电路327对所接收的语音信号执行A/D变换处理，并将所得到的数字语音数据提供至音频编码解码器328。

音频编码解码器328将从A/D变换电路327提供的语音数据转换为预定格式用于通过网络传送，并通过内部总线329将该数据传送至网络I/F 334。

网络I/F 334借助于附接至网络终端335的线缆连接至网络。网络I/F334将从音频编码解码器328提供的语音数据提供至例如将要连接至网络的其他设备。此外，网络I/F 334通过网络终端335接收从将要通过网络连接的其他设备传送的语音数据，以便通过内部总线329将该数据提供至音频编码解码器328。

音频编码解码器328将从网络I/F 334提供的语音数据转换为预定格式的数据并将该数据提供至回声消除/语音合成电路323。

回声消除/语音合成电路323对将要从音频编码解码器328提供的语音数据执行回声消除并通过语音增强电路324使得扬声器325输出例如与其他语音数据合成而产生的语音数据。

SDRAM 330存储CPU 332将要使用的各种数据用于处理。

闪存存储器331存储CPU 332将要执行的程序。在特定时序例如一旦启动电视接收机300时通过CPU 332读取闪存存储器331上存储的程序。闪存331也存储已经经由数字广播获得的EPG数据和通过网络从特定服务器可以获得的数据。

例如，存储在闪存存储器331上的是在CPU 332的控制下通过网络从特定服务器获得的包含内容数据的MPEG-TS。例如在CPU 332的控制下，闪存存储器331通过内部总线329将MPEG-TS提供至MPEG解码器317。

MPEG解码器317，如同在从数字调谐器316提供的MPEG-TS的情况中一样地处理MPEG-TS。以这种方式，电视接收机300被配置为通过网络接收包括视频、音频和其他信息的内容数据，以通过使用MPEG解码器317执行解码并提供用于显示的视频或用于输出的音频。

电视接收机300还包括用于接收将要从远程控制器351发送的红外信号的光接收器337。

光接收器337从远程控制器351接收红外信号并将指示了已经通过解调而获取的用户操作的代码输出至CPU 332。

CPU 332执行存储在闪存存储器331上的程序并根据例如将要从光接收器337提供的控制代码来对电视接收机300的整个操作进行控制。电视接收机300的构成部分和CPU 332通过路径（未示出）连接。

USB I/F 333通过电视接收机300的外部器件执行数据传送/接收，该器件借助于附接至USB终端336的USB线缆来被连接。网络I/F 334借助于附接至网络终端335的线缆与网络连接，并适于通过将要连接至网络的设备执行除了音频数据以外的数据的传送/接收。

电视接收机300通过使用MPEG解码器317形式的图像解码设备101来允许代码效率的提高。结果，电视接收机300能够基于可以从天线接收的广播波信号和可以通过网络获得的内容数据而获得和呈现更精细的解码图像。

【移动电话的配置示例】

图24是描绘了使用应用了本发明的图像编码设备和图像解码设备的移动电话的主要配置示例。

图24中描绘的移动电话400包括被配置为对各构成部分执行总体控制的主控制器450，电源电路部分451、操作输入控制器452、图像编码器453、照相机I/F部分454、LCD控制器455、图像解码器456、解调器457、记录播放器462、调制/解调电路部分458以及音频编码解码器459。这些部分通过总线460相互耦接。

移动电话400也包括操作键419、CCD（电荷耦合器件）照相机416、液晶显示器418、存储装置423、传送/接收电路部分463、天线414、麦克风（mic）421以及扬声器417。

电源电路部分451当通过用户操作将通话终止-开机键切换为接通时从电池组为各构成部分供电，以便将移动电话400激活为可操作情形。

移动电话400在例如通过CPU、ROM以及RAM配置的主控制器450的控制下，在诸如语音呼叫模式和数据通信模式的各种模式下执行包括语音信号的传送/接收、电子邮件和图像数据的传送/接收、图像拍摄以及数据记录的各种操作。

例如，在语音呼叫模式中，移动电话400将麦克风（mic）421收集的语音信号通过音频编码解码器459变换为数字语音数据，并在调制/解调电路部分458中执行扩展频谱处理用于传送/接收电路部分463处的数字/模拟转换处理和频率转换处理。移动电话400将通过转换处理获得的传送信号通过天线414传送至基站（未示出）。通过公用电信线路将传送至基站的传送信号（语音信号）提供至呼叫方的移动电话。

同样，例如，在语音呼叫模式中，移动电话400在传送/接收电路部分463处放大已经通过天线414接收的接收信号，还执行频率转换处理和模拟/数字转换处理，在调制/解调电路部分458处执行扩展频谱处理，并且通过音频编码解码器459将这些信号变换为模拟语音信号。移动电话400从扬声器417输出通过转换而这样获得的模拟语音信号。

此外，例如，在数据通信模式中传送电子邮件的情况下，移动电话400在操作输入控制器452处接收已经通过对操作键419的操作而输入的电子邮件的文本数据。移动电话400在主控制器450处处理该文本数据以通过LCD控制器455使得液晶显示器418将该数据显示为图像。

移动电话400基于例如在操作输入控制器452处接收的文本数据和用户指令，在主控制器450处生成电子邮件数据。移动电话400在调制/解调电路部分458处对电子邮件数据执行扩展频谱处理，而在传送/接收电路部463处执行数字/模拟转换处理和频率转换处理。移动电话400通过天线414将由转换处理所得到的传送信号传送至基站（未示出）。已经发送至基站的传送信号（电子邮件）被例如通过网络和通过邮件服务器提供至指定地址。

例如，在通信模式中接收电子邮件的情况下，移动电话400通过天线414在传送/接收电路部463处接收已从基站传送的信号，放大这些信号并进一步执行频率转换处理和模拟/数字转换处理。移动电话400在调制/解调电路部458处通过逆扩展频谱处理恢复原始电子邮件。移动电话400通过LCD控制器455使得液晶显示器418显示恢复的电子邮件数据。

注意，移动电话400可以通过记录播放器462使得存储装置423记录（存储）所接收的电子邮件数据。

存储装置423是任何形式的可重写存储介质。存储装置423可以是例如诸如RAM或内置闪存存储器的半导体存储器，硬盘，或诸如磁盘、磁光盘、光盘、USB存储器或存储卡的可移除介质。显而易见，也可以适当地使用其他存储介质。

此外，例如，在数据通信模式中传送图像数据的情况下，移动电话400通过用CCD照相机416拍摄而生成图像数据。CCD照相机416具有诸如透镜和光圈的光学装置和用作光电转换装置并适于对拍摄对象进行拍摄的CCD，以将接收的光的强度转换为电信号，并生成拍摄对象的图像的图像数据。根据诸如MPEG 2或MPEG 4的预定编码标准在图像编码器453处通过照相机I/F部分454来压缩和编码图像数据，以便将数据转换为编码的图像数据。

移动电话400使用图像编码器453形式的上述图像编码设备51用于执行这样的处理。因此，图像编码器453如同在图像编码设备51的情况下一样，实现了尤其是屏幕边缘附近的B图片的精确度的提高。从而可以实现代码效率的提高。

移动电话400在音频编码解码器459处对由麦克风（421）收集的语音执行模拟/数字变换，同时通过CCD照相机416拍摄，并且进一步对其执行编码。

移动电话400在解复用器457处根据预定标准对从图像编码器453提供的编码图像数据和从音频编码解码器459提供的数字语音数据进行复用。移动电话400在调制/解调电路部分458处对所得到的复用数据执行扩展频谱处理，然后使该数据在传送/接收电路部分463处经历数字/模拟转换处理和频率转换处理。移动电话400通过天线414将由转换处理得到的传送信号传送至基站（未示出）。已经被传送至基站的传送信号（图像数据）通过例如网络被提供至呼叫方。

在未传送图像数据的情况下，移动电话400可以不通过图像编码器453而通过LCD控制器454使得液晶显示器418显示CCD照相机416生成的图像数据。

此外，例如，在数据通信模式中接收链接至例如简单网站的动态图片文件的数据的情况下，移动电话400在传送/接收电路部分463处通过天线接收从接站传送的信号，放大这些信号并执行频率转换处理和模拟/数字转换处理。移动电话400在调制/解调电路部分458处对所接收的信号执行逆扩展频谱处理以恢复原始复用的数据。移动电话400在解复用器457处分离复用数据以将数据分成编码的图像数据和语音数据。

移动电话400根据与诸如MPEG 2或MPEG 4的预定编码标准对应的解码标准在图像解码器456处对编码的图像数据进行解码，以生成将要再现的动态图片数据，并通过LCD主控制器455使得液晶显示器418在其上显示数据。以这种方式，例如，在液晶显示器418上显示了链接至简单网站的动态图片文件中包含的移动图片数据。

移动电话400使用图像解码器456形式的上述图像解码设备101执行这样的处理。因此，图像解码器456如同在图像解码设备101的情况中一样，实现了尤其是屏幕边缘附近的Ｂ图片的预测精度的提高。从而可以实现代码效率的提高。

这时，移动电话400在音频编码解码器459处将数字音频数据转换为模拟音频信号，并使得扬声器417输出这些信号。因此，例如，再现了链接至简单网站的动态图片文件中包含的音频数据。

注意，如同在电子邮件的情况中一样，移动电话400可以通过记录播放器462使得存储装置423存储（记录）链接至例如简单网站的接收数据。

移动电话400也可以在主控制器450处分析已经通过拍摄在CCD照相机416处获得的二进制编码并获得二进制编码中记录的信息。

此外，移动电话400可以在红外通信器481处用外部装置执行红外通信。

移动电话400使用图像编码器453形式的图像编码设备51，使得实现了预测进精度的提高。结果，移动电话400能够将具有优秀代码效率的编码图像（图像数据）提供给其他装置。

另外，移动电话400使用图像解码器456形式的图像解码设备101，使得实现了预测精度的提高。结果，移动电话400能够从例如链接到简单网站的动态图片文件中获得和显示更精细的解码图像。

在上述描述中，移动电话400使用CCD照相机416，也可以使用使用了CMOS（互补金属氧化物半导体）的图像传感器（CMOS图像传感器）。同样在这种情况下，移动电话400能够如同在使用CCD照相机416的情形中一样，对拍摄对象进行拍摄并生成拍摄对象的图像的图像数据。

在上述描述中，示例性地示出了移动电话400；然而，如在移动电话400的情况中一样，图像编码设备51和图像解码设备101可以应用于具有摄像功能和/或具有与移动电话400的通信功能相似的通信功能的任何设备，例如，PDA（个人数字助理）、智能电话、UMPC（超移动个人计算机）、上网本以及膝上个人计算机。

【硬盘记录器的配置示例】

图25是描绘了使用应用了本发明的图像编码设备和图像解码设备的硬盘记录器的主要配置示例的框图。

图25中描绘的硬盘记录器（HDD记录器）500是用于在内置硬盘上保存将要从例如卫星或通过地面天线传送并从调谐器接收的广播波信号（电视信号）中包含的广播的音频数据和视频数据的设备，以便响应于用户指令将所保存的数据在一定时刻提供给用户。

例如，硬盘记录器500被配置来从广播波信号中提取音频数据和视频数据，并适当地解码该数据以存储在内置硬盘上。硬盘记录器500也可以从其他装置通过例如网络获取音频数据和视频数据，并适当地解码该数据以存储在内置硬盘上。

此外，例如，硬盘记录器500被配置为将已经存储在内置硬盘上的音频数据和/或视频数据解码并将解码的数据提供给监控器560，以便使得监控器560在其屏幕上显示图像。另外，硬盘记录器500被配置来从监控器560的扬声器输出音频。

例如，硬盘记录器500将从通过调谐器获得的广播波信号中提取的音频数据和视频数据解码，或将通过网络从其他装置获得的音频数据或视频数据解码，并将解码的数据提供给监控器560，以便使得监控器560在其屏幕上显示图像。硬盘记录器500也使得监控器560的扬声器输出音频。

显然，其他操作也是可能的。

如图25所述，硬盘记录器500包括接收器521、解调器522、解复用器523、音频解码器524、视频解码器525以及记录器控制器526。硬盘记录器500还包括EPG数据存储器527、程序存储器528、工作存储器529、显示转换器530以及OSD（屏幕内显示）控制器531、显示控制器532、记录播放器533、D/A转换器534以及通信器535。

另外，显示转换器530包括视频编码器541。记录播放器533包括编码器551和解码器552。

接收器521从远程控制（未示出）接收红外信号并将该信号转换为电信号，以便将该信号输出至记录器控制器526。记录器控制器526例如通过微处理器来配置，且适于根据在程序存储器528上存储的程序来执行各种处理。这时，记录器控制器526在需要时使用工作存储器529。

通信器535连接至网络以通过网络执行与其他装置的通信。例如，通信器535在记录器控制器526的控制下与调谐器（未示出）通信，以便将信道选择控制信号主要发送给调谐器。

解调器522解调从调谐器提供的信号并将该信号输出至解复用器523。解复用器523将从解调器522提供的数据分离为音频数据、视频数据以及EPG数据并分别输出这些条数据到音频解码器524、视频解码器525以及/或记录器控制器526。

音频解码器524根据例如MPEG标准来解码所输入的音频数据并将该数据输出至记录播放器533。视频解码器525根据例如MPEG标准来解码所输入的视频数据并输出该数据至显示转换器530。记录器控制器526将输入的EPG数据提供给EPG数据存储器527并使存储器存储该数据。

显示转换器530根据例如NTSC（国家电视标准委员会）标准通过使用视频编码器541将从视频解码器525或记录器控制器526提供的数据编码为视频数据并将该数据输出至记录播放器533。显示转换器530也将从视频解码器525或记录器控制器526提供的视频数据的屏幕的尺寸转换为与监控器560的尺寸对应的尺寸。显示转换器530通过使用视频编码器541将具有经转换的屏幕尺寸的视频数据进一步转换为根据NTSC标准的视频数据，并将该数据转换为模拟信号以便输出该信号至显示控制器532。

显示控制器532在记录器控制器526的控制下将从OSD（屏幕内显示）控制器531输出的OSD信号叠加于从显示转换器550输入的视频信号上，以便输出这些信号至监控器560的显示器以便显示。

监控器560也被配置为提供有从音频解码器524输出且然后被D/A转换器534转换为模拟信号的音频数据。监控器560从内置扬声器输出音频信号。

记录播放器533包括硬盘作为存储介质用于记录包括视频数据和音频数据的数据。

例如，记录播放器533根据MPEG标准通过使用编码器551来将从音频解码器524提供的音频数据进行编码。记录播放器533也根据MPEG标准通过使用编码器551将从显示控制器530的视频编码器541提供的视频数据进行编码。记录播放器533借助于复用器合成音频数据的编码数据和视频数据的编码数据。记录播放器533使合成的数据经历用于放大的信道编码并将该数据通过使用记录头写在硬盘上。

记录播放器533通过使用播放头来重放硬盘上记录的数据、放大数据并借助于解复用器将该数据分离为音频数据和视频数据。记录播放器533根据MPEG标准使用解码器552解码音频数据和视频数据。记录播放器533对解码的音频数据执行D/A转换并输出该数据至监控器560的扬声器。记录播放器533还对解码的视频数据执行D/A转换并输出该数据至监控器560的显示器。

记录器控制器526响应于从远程控制通过接收器521接收的红外信号所指示的用户指令，从EPG数据存储器527读取最新EPG数据，并将该数据提供至OSD控制器531。OSD控制器531生成对应于输入的EPG数据的图像数据并输出该数据至显示控制器532。显示控制器532将从OSD控制器531输入的视频数据输出至监控器560的显示器以显示。以这种方式，在监控器560的显示器上显示了EPG（电子节目指南）。

硬盘记录器500也可以获得将要通过诸如因特网的网络从其他装置提供的各种数据，诸如视频数据、音频数据或EPG数据。

通信器535在记录器控制器526的控制下通过网络将要从其他装置发送的例如视频数据、音频数据和EPG数据的编码数据，并将该数据提供给记录器控制器526。例如，记录器控制器526将获得的视频数据和音频数据的编码数据提供给记录播放器533以使得硬盘在其上存储该数据。这时，如果需要的话，记录器控制器526和记录播放器533也可以执行诸如重新编码的处理。

记录器控制器526解码所获得的视频数据和音频数据的编码数据并将所得到的视频数据提供给显示转换器530。显示转换器530以与从视频解码器525提供的视频数据相同的方式处理从记录器控制器526提供的视频数据，并通过显示控制器532将该数据提供给监控器560以便在其上显示图像。

此外，可以这样配置，除了图像显示以外，记录器控制器526通过D/A转换器534将解码的音频数据提供给监控器560并使得从扬声器输出音频。

此外，记录器控制器526对所获得的EPG数据的编码数据进行解码，并将解码的EPG数据提供给EPG数据存储器527。

上述硬盘记录器500使用视频解码器525、解码器552以及内置在记录器控制器526中的解码器的形式的图像解码设备101。因此，视频解码器525、解码器552以及内置在记录器控制器526中的解码器实现了如同在图像解码设备101的情况中一样的尤其是屏幕边缘附近的Ｂ图片的预测精度的提高，从而允许代码效率的提高。

因此，硬盘记录器500能够生成更精确预测的图像。结果，硬盘记录器500能够例如从通过调谐器接收的视频数据的编码数据、从记录播放器533的硬盘读取的视频数据的编码数据以及通过网络获得的视频数据的编码数据当中获得更精细的解码图像，使得在监控器560上显示这些图像。

此外，硬盘记录器500使用编码器551形式的图像编码设备51。因此，编码器551实现了，如同在图像编码设备51的情况中一样，尤其是屏幕边缘附近的B图片的预测精度的提高，从而允许代码效率的提高。

因此，硬盘记录器500允许将要记录在硬盘上的编码数据的代码效率提高。结果，硬盘记录器500使得以更高的速度和效率使用硬盘的存储区域。

在上述的描述中，描述了用于在硬盘上记录视频数据和音频数据的情形；然而，记录介质显然可以采用任何形式。例如，图像编码设备51和图像解码设备101，如同在上述硬盘记录器500的情形中一样，可以适用于使用除了硬盘之外的记录介质的记录器，诸如闪存存储器、光盘或视频磁带。

【照相机的配置示例】

图26是描绘使用应用了本发明的图像解码设备和图像编码设备的照相机的主要配置示例。

图26中描绘的照相机600被配置来对拍摄对象进行拍摄，以使得在LCD 616上显示拍摄对象的图像并在记录介质633上将图像记录为图像数据。

透镜块611允许光（即，拍摄对象的视频）入射到CCD/CMOS 612上。CCD/CMOS 612是使用了CCD或CMOS的图像传感器并适于将接收光的强度转换为电信号并将这些信号提供给照相机信号处理器613。

照相机信号处理器613将从CCD/CMOS 612提供的电信号转换为颜色差异信号Y、Gr以及Cb并将这些信号提供给图像信号处理器614。图像信号处理器614在控制器621的控制下，对从照相机信号处理器613提供的图像数据执行规定的图像处理，并根据例如MPEG标准借助于编码器641来编码这些图像信号。图像信号处理器614将通过对这些图像信号进行编码而生成的编码数据提供给解码器615。此外，图像信号处理器614获得在屏幕内显示器（OSD）620处生成的数据并将这些数据提供给解码器615。

在上述处理中，照相机信号处理器613适当地使用通过总线617连接的DRAM（动态随机存取存储器）618，且如果需要的话，使得DRAM 618保持图像数据和通过编码图像数据获得的编码数据以及其他数据。

解码器615解码从图像信号处理器614提供的编码数据，并将所得到的图像数据（解码图像数据）提供给LCD 616。解码器615同样将提供从图像信号处理器614提供的显示数据至LCD 616。LCD 616适当地将从解码器615提供的解码数据与显示数据合成，以便显示合成数据。

屏幕内显示器620在控制器621的控制下，通过总线617将用于例如菜单屏幕和包含符号、字符或数字的图标的显示数据输出至图像信号处理器614。

控制器621基于指示了用户通过使用操作器622而给出的指令的信号来执行各种处理，也通过例总线617对例如图像信号处理器614、DRAM618、外部接口619、屏幕内显示器620以及介质驱动器623执行控制。例如，在FLASH ROM 624上存储将要使用的程序和数据以使得控制器621执行各种处理。

例如，控制器621而非图像信号处理器614和解码器615可以对在DRAM 618上存储的图像数据进行编码，并对在DRAM 618上存储的编码的数据进行解码。通过这样做，控制器621可以根据与图像信号处理器614和解码器615采用的编码和解码标准相同的标准执行编码/解码处理，或可替选地，可以根据图像信号处理器614和解码器615所不支持的标准来执行编码/解码处理。

此外，例如，在通过借助于操作器622指示了图像打印的情况下，控制器621从DRAM 618读取相关图像数据并通过总线617将该数据提供给连接至外部接口619的打印机634以打印。

此外，例如，在通过借助于操作器622指示了图像打印的情况下，控制器621从DRAM 618读取相关图像数据并通过总线617将该数据提供给记录介质633以被上载至介质驱动器623。

记录介质633是可读可写的可移除介质，诸如磁盘、磁光盘、光盘或半导体存储器。记录介质633显然可以是任何类型的可移除介质，例如，可移除介质633可以是磁带装置、磁盘或存储卡。显然，非接触IC（集成电路）卡也可以包括在这些类型中。

此外，介质驱动器623和记录介质633可以是集成的，以便配置为非便携式记录介质，诸如内置硬盘驱动器或SSD（固态驱动器）。

外部接口619可以通过例如USB输入/输出终端来配置，并被连接至打印机634以打印图像。驱动器631如果需要的话将连接至外部接口619，以适当地通过诸如磁盘、光盘或磁光盘的可移除介质632进行载入，使得如果需要的话将从其读取的计算机程序安装在FLASH ROM 624上。

外部接口619还包括将要连接至诸如LAN或因特网的规定网络的网络接口。例如，控制器621被配置为响应于来自操作器622的指令从DRAM 618读取编码数据，以便通过网络接口619将该数据提供给将要通过网络连接至其的其他设备。控制器621也可以通过外部接口619得到从网络上的其他设备提供的编码数据和图像数据，使得DRAM 618保留该数据并将该数据提供给图像信号处理器614。

上述照相机600使用解码器615形式的图像解码设备101。因此解码器615如同在图像解码设备101的情形中一样，实现了尤其是屏幕边缘附近的B图片的预测精度的提高，从而允许代码效率提高。

因此，照相机600能够生成更精确的预测图像。结果，照相机600能够从例如在CCD/CMOS 612处生成的图像数据、从DRAM 618或记录介质633读取的视频数据的编码数据或通过网络获得的视频数据的编码数据中获得更精细的解码图像以在LCD 616上显示。

照相机600使用编码器641形式的图像编码设备51。因此，编码器641如同在图像编码器51的情形中一样，实现了尤其是屏幕边缘附近的B图片的预测精度的提高，从而允许代码效率的提高。

因此，照相机600实现了例如将要在硬盘上记录的编码数据的代码效率的提高。结果，允许照相机以更高的速度和效率使用DRAM 618和记录介质633中的终端记录区域。

注意，图像解码设备101的解码方法可以应用于将由控制器621执行的解码处理。同样，图像编码设备51的编码方法可以应用于将由控制器621执行的编码处理。

此外，照相机600将要摄像的图像数据可以是移动图像或静止图像。

显然，图像编码设备51和图像解码设备101可以应用于除了上述的设备和系统以外的设备和系统。

参考标记列表

51    图像编码设备

66    无损编码器

75    运动预测器/补偿器

81    内插滤波器

82    补偿处理器

83    选择器

84    运动矢量预测器

85    预测模式决定器

91    L0区域选择器

92    L1区域选择器

93    算术运算器

93A、93B  乘法器

93C   加法器

94    屏幕边缘确定器

95    权重计算器

101   图像解码设备

112   无损解码器

121   运动补偿器

131   内插滤波器

132   补偿处理器

133   选择器

134   运动矢量预测器

141   L0区域选择器

142   L1区域选择器

143   算术运算器

143A、143B 乘法器

143C 加法器

144   屏幕边缘确定器

Claims (10)

1.一种图像处理设备，包括：

运动预测补偿装置，用于在使用了将要处理的图像所要参考的多个不同参考图像的预测中，根据所述图像中的块所要参考的像素是否在所述多个参考图像的屏幕外来执行加权预测。

2.根据权利要求1所述的图像处理设备，其中，

所述运动预测补偿装置适于在所述图像中的块所要参考的是所述多个参考图像的屏幕内像素的情况下，通过使用这些像素来执行标准加权预测，并且

所述运动预测补偿装置适于在所述图像中的块所要参考的是所述多个参考图像中任意一个的屏幕外像素并且是其他所述参考图像的屏幕内像素的情况下，通过使用这些像素来执行所述加权预测。

3.根据权利要求2所述的图像处理设备，其中和所述屏幕外像素相比，较大的权重被赋予所述屏幕内像素。

4.根据权利要求3所述的图像处理设备，其中用于在所述加权预测中使用的权重是0或1。

5.根据权利要求3所述的图像处理设备，还包括：

权重计算装置，用于基于所述图像中的块附近的像素之间的不连续性来计算用于所述加权预测的权重。

6.根据权利要求5所述的图像处理设备，还包括：

编码装置，用于对将要由所述权重计算装置计算的关于所述权重的信息进行编码。

7.根据权利要求3所述的图像处理设备，还包括：

解码装置，用于对将要基于所述图像中的块附近的像素之间的不连续性来计算的、且将要被编码的关于权重的信息进行解码，其中

所述运动预测补偿装置适于使用将要由所述解码装置解码的关于权重的信息来执行所述加权预测。

8.根据权利要求2所述的图像处理设备，其中使用了多个不同参考图像的所述预测是双预报预测或直接模式预测中的至少一个。

9.一种用于在包括运动预测补偿装置的图像处理设备中使用的处理图像的方法，所述方法包括在使用了将要处理的图像所要参考的多个不同参考图像的预测中，通过由所述运动预测补偿装置根据所述图像中的块所要参考的是否在所述多个参考图像的屏幕外来执行加权预测。

10.一种用于使得计算机执行与如下运动预测补偿装置一样的功能的程序，所述运动预测补偿装置用于在使用了将要处理的图像所要参考的多个不同参考图像的预测中，根据所述图像中的块所要参考的是否在所述多个参考图像的屏幕外来执行加权预测。

Images