CN1710962A - 移动图像编码装置 - Google Patents

Abstract

一种图像编码装置，确定图像数据的图像图案，并且根据确定的图像图案，通过使用同一帧中的像素值对帧中的像素值进行预测从而选择出一个用于产生预测的像素值的预测模式。可替代地，根据关于输入的图像数据的摄影信息，图像编码装置通过使用同一帧中的像素值对帧中的像素值进行预测从而选择出一个用于生成预测的像素值的预测模式。

Description

移动图像编码装置

技术领域

本发明涉及一种移动图像编码装置，更具体地涉及一种当使用H.264编码标准时用于选择最优帧内预测模式的技术。

背景技术

已经建立各种编码标准，例如Motion-JPEG、MPEG-1和MPEG-2，作为用于对移动图像进行高效编码的技术。制造商已经开发并销售图像捕捉装置，例如数码像机、数码摄像机、DVD(数字多用盘)播放器等，其能够存储使用了这些编码标准的移动图像。因此，允许用户使用这些图像捕捉装置、DVD播放器、个人电脑等容易地对移动图像进行播放。

数字化移动图像携带大量的数据。所以，各种能够进行比上述诸如MPEG-1或MPEG-2的编码标准更有效的高压缩的移动图像编码方法，已经连续地被研究和开发。最近，一种称为H.264/MPEG-4 Part 10AVC的新的编码算法(后面称为H.264标准)已经被ITU-T(国际电信联盟-电信标准化组)和ISO(国际标准化组织)标准化。

H.264标准与诸如MPEG-1和MPEG-2的传统的编码标准相比，要求编码和解码的很大的计算复杂度，但是提供了更高的编码效率。已经披露一种使用H.264标准的计算处理的系统和方法，例如，在日本公开专利申请No.2004-56827中。

H.264标准包括一种称为帧内预测的预测方法，该预测方法通过使用同一帧内的像素值在一个给定的帧内对像素值进行预测。在这种帧内预测中，有许多可选择使用的帧内预测模式。在这种情况下，选择一种适合输入图像的帧内预测模式以形成印使进行高效压缩后仍具有极小劣化的编码数据。

对于帧内预测，H.264标准提供九种帧内预测模式用以改善预测的精度。通常通过试验性地对输入图像执行所有的帧内预测模式并且根据试验性的执行结果找到一种能够获得最优结果的帧内预测模式，从九种帧内预测模式中选择出一种最优帧内预测模式。

下面参照图17说明采用这种选择方法的理由。图17为表示帧的图，其中外部的四边形表示整个画面，而五个内部的四边形表示将进行帧内预测的方块。虽然实际上在整个画面上都设置有方块，但是为了方便描述仅图示了五个代表性的方块。图17中的箭头表示由作为每个方块中的计算结果的被确定为最优帧内预测模式所表示的预测方向。这样，因为甚至在同一幅画面中的各个位置上存在着各种目标，所以针对各个方块可能有不同的帧内预测模式被确定为最优，并且可能会选择出超过一个的具体帧内预测模式。基于这个原因，在执行帧内预测时，对每个方块中所有的帧内预测模式获得预测的精度，并且选择出能执行最优预测的帧内预测模式并指定在每一个方块内。

然而，计算每个方块中的所有的帧内预测模式以便从中选择出一种最优帧内预测模式，这增加了H.264编码处理中计算的复杂度，因此导致了编码处理时间的额外增加或电力的浪费。

发明内容

本发明考虑了上述的情况，且本发明的一个方面是帮助选择对于输入图像的最优帧内预测模式。

本发明的另一方面是通过使用有关输入图像的摄像信息来帮助选择对于输入图像的最优帧内预测模式。

本发明的另一方面是通过减轻使用H.264标准的图像编码装置中的计算复杂度从而实现有效的编码。

在本发明的一个方面中，图像编码装置包括：配置成输入图像数据的输入单元、配置成通过将由输入单元输入的图像数据分割为分别包括多个像素的方块从而生成块的分割单元、配置成确定由分割单元生成的每个块中的图像数据的图像图案的确定单元、配制成根据由确定单元确定的图像图案来选择多个预测模式中的一个的选择单元，以及配置成通过根据由选择单元选择的预测模式使用同一幅画面中的像素值进行画面像素值预测处理以输出预测的像素值的处理单元。

在本发明的另一方面中，图像编码装置包括：配置成输入将要编码的图像数据的输入单元、配置成获得关于图像数据的摄影信息的获取单元、配置成使用所述的摄影信息从n个预测模式中选择出m个预测模式(1≤m≤n)的选择单元，和配置成通过根据所述选择单元选择出的m个预测模式使用同一幅画面中的像素值对该画面中的像素值进行预测处理从而输出预测的像素值的处理单元。

通过阅读下面结合附图对有关实施例的详细描述，本发明的其它特性和优点将对于本领域的技术人员变得明显，其中在整个附图中同样的标号表示同样或类似的部分。

附图说明

与说明书一体的并组成说明书一部分的附图说明本发明的实施例，并且与该描述一起解释本发明的原理。

图1为说明根据本发明的第一实施例的帧内预测处理的方框图。

图2为说明Hadamard变换的示意图。

图3A、3B和3C为说明Hadamard变换中变换示例的示意图。

图4A、4B和4C为说明帧内预测模式的示意图。

图5为说明根据第一实施例的用以选择一个帧内预测模式的处理的流程图。

图6为根据第一实施例的使用H.264标准的图像编码装置的方框图。

图7为说明根据本发明的第三实施例的图像捕捉装置的配置的方框图。

图8为说明镜头摇移过程中获得的图像的帧内预测方向的例子的示意图。

图9为说明根据第三实施例的图像编码装置中镜头摇移或俯仰转动的方向对帧内预测模式进行选择的处理流程图。

图10为表示在变焦过程中获得图像的帧内预测方向的例子的示意图。

图11为说明根据本发明的第四实施例的图像编码装置中的变焦对帧内预测模式进行选择的处理流程图。

图12为说明模糊图像的帧内预测的例子的示意图。

图13为说明根据本发明的第五实施例的图像编码装置中的调焦的帧内预测模式的处理流程图。

图14为根据第三实施例的图像编码装置的方框图。

图15为说明在帧内预测中使用的像素的示意图。

图16为说明九种帧内预测模式的示意图。

图17为表示通常图像的帧内预测的方向的例子的示意图。

图18为说明选择帧内预测模式的通常处理的流程图。

具体实施方式

下面参照附图对本发明的实施例进行详细描述。

第一实施例

图6为表示根据本发明的第一实施例的图像编码装置600的配置的方框图。该图像编码装置600包括：减法器601、整数变换单元602、量子化单元603、熵编码单元604、逆量子化单元605、逆整数变换单元606、加法器607、帧存储器608和611、帧内预测单元609、环形滤波器610、帧间预测单元612、移动检测单元613和开关614。图像编码装置600配置为对输入图像数据进行编码处理以输出编码后的数据。

下面说明图6中所述的图像编码装置600中的编码处理。图像编码装置600根据H.264标准进行编码处理。另外，图像编码装置600将输入的移动图像数据分割成方块并对每个方块进行处理。

首先，减法器601从输入到图像编码装置600的图像数据(输入的图像数据)中减去预测的图像数据以输出差别图像数据。后面将描述预测图像的生成。

整数变换单元602对从减法器601输出的差别图像数据进行正交变换以输出变换系数。然后，量子化单元603使用预定的量子化参数对变换系数进行量子化。

熵编码单元604接收由量子化单元603量化的变换系数并对之进行熵编码，从而输出编码后的数据。

由量子化单元603量子化的变换系数也用作生成用于对后面的方块进行编码的预测图像数据。逆量子化单元605在由量子化单元603量子化的变换系数上进行逆量子化操作。逆整数变换单元606在由逆量子化单元605逆量子化后的变换系数上执行逆整数变换，以输出解码后的差别数据。加法器607将解码后的差别数据和预测的图像数据相加，以输出重建后的图像数据。

重建后的图像数据存储到帧存储器608中并通过环形滤波器610存储到帧存储器611中。重建图像数据中可能涉及后来的预测的数据暂时被存储在帧存储器608或611中。环形滤波器610用于去除阻塞噪声。

帧内预测单元609使用存储在帧存储器608中的重建图像数据进行帧内预测，从而生成预测图像数据。帧间预测单元612根据由移动检测单元613检测到的移动矢量信息进行帧间预测并且使用存储在帧存储器611中的重建图像数据生成预测图像数据。移动检测单元613在输入的图像数据中检测移动矢量信息并将检测到的移动矢量信息输出到帧间预测单元612和熵编码单元604。

开关614作为选择单元而工作为每个宏块选择帧内预测和帧间预测中的任一个。也就是说，开关614从帧内预测单元609的输出和帧间预测单元612的输出中选择出一个并将选择出的预测图像数据输出到减法器601和加法器607。

图1为说明根据第一实施例的帧内预测处理的方框图。图1中所示的配置对应于包括在图像编码装置600中的帧内预测单元609。

参考图1，帧内预测单元609包括图像图案确定单元101、帧内预测模式指定单元102、选择器103、垂直帧内预测单元104、水平帧内预测单元105、直流帧内预测单元106和选择器107。图像图案确定单元101通过在输入图像上进行Hadamard变换从而确定图像图案。帧内预测模式指定单元102根据由图像图案确定单元101确定的图像图案从多个帧内预测模式中指定一个最优的帧内预测模式。选择器103和107从垂直帧内预测单元104、水平帧内预测单元105和直流帧内预测单元106中选择出一个单元，对应于帧内预测模式指定单元102指定的帧内预测模式。垂直帧内预测单元104使用垂直帧内预测模式进行帧内预测。水平帧内预测单元105使用水平帧内预测模式进行帧内预测。直流帧内预测单元106使用直流帧内预测模式进行帧内预测。这样，垂直、水平和直流帧内预测模式中的一个预测模式就被选出并根据选择器103和107的选择得以执行。作为结果，帧内预测单元609输出预测图像。

下面对图1中所示的帧内预测单元609的主要部分进行详细说明。在本实施例中，例如，图像图案确定单元101在被分割成4×4像素块的输入图像上执行Hadamard变换。然而，用于确定图像图案的块的大小和配置并不限于其中的这些描述。

图像图案确定单元101将输入图像的像素数据分割为4×4像素块，在每个块的像素数据上执行Hadamard变换，并且根据由Hadamard变换计算获得的Hadamard变换系数确定每个块的图像图案。

下面参照图2描述Hadamard变换。Hadamard变换是一种正交变换。图2说明在图像图案确定单元101中的4×4 Hadamard变换的方式。在图2中，(a)部分说明由4×4像素组成的输入图像，(b)部分说明由Hadamard变换获得的Hadamard变换系数。假设H₄为Hadamard变换矩阵，X为输入的图像信号，Y为Hadamard变换系数的信号。那么，Hadamard变换用下面的等式表示：

[Y]＝[H₄][X][H₄]                  (1)

这里，使

$H_4=\frac{1}{2}\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& 1& -1& -1\\ 1& -1& -1& 1\\ 1& -1& 1& -1\end{array}\right]---\left(2\right)$

$X=\left[\begin{array}{cccc}{X}_{11}& X_{12}& X_{13}& X_{14}\\ X_{21}& X_{22}& X_{23}& X_{24}\\ X_{31}& X_{32}& X_{33}& X_{34}\\ X_{41}& X_{42}& X_{43}& X_{44}\end{array}\right]---\left(3\right)$

$Y=\left[\begin{array}{cccc}{Y}_{11}& Y_{12}& Y_{13}& Y_{14}\\ Y_{21}& Y_{22}& Y_{23}& Y_{24}\\ Y_{31}& Y_{32}& Y_{33}& Y_{34}\\ Y_{41}& Y_{42}& Y_{43}& Y_{44}\end{array}\right]---\left(4\right)$

那么，Hadamard变换定义为：

$\left[\begin{array}{cccc}{Y}_{11}& Y_{12}& Y_{13}& Y_{14}\\ Y_{21}& Y_{22}& Y_{23}& Y_{24}\\ Y_{31}& Y_{32}& Y_{33}& Y_{34}\\ Y_{41}& Y_{42}& Y_{43}& Y_{44}\end{array}\right]=\frac{1}{4}\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& 1& -1& -1\\ 1& -1& -1& 1\\ 1& -1& 1& -1\end{array}\right]\left[\begin{array}{cccc}{X}_{11}& X_{12}& X_{13}& X_{14}\\ X_{21}& X_{22}& X_{23}& X_{24}\\ X_{31}& X_{32}& X_{33}& X_{34}\\ X_{41}& X_{42}& X_{43}& X_{44}\end{array}\right]\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& 1& -1& -1\\ 1& -1& -1& 1\\ 1& -1& 1& -1\end{array}\right]---\left(5\right)$

这样，Hadamard变换可以仅用一次除法、加法和减法完成。要注意的是，等式(5)的左侧Y₁₁表示输入图像的直流分量的Hadamard变换系数，Y₁₂到Y₄₄表示代表输入图像的交流分量的Hadamard变换系数。

图3A、3B和3C说明输入图像的Hadamard变换的例子，其中每个像素8bit(256灰度级)的图像数据被分割为4×4像素块。在每个图3A、3B和3C中，(a)部分表示输入图像，(b)部分表示Hadamard变换系数。如图3A的(a)部分所示在输入的图像块中存在垂直边的情况下，对应于图2的(b)部分所示的Hadamard变换系数Y₁₄的位置的Hadamard变换系数取一个大值，如图3A的(b)部分所示。如图3B的(a)部分所示在输入的图像块中存在水平边的情况下，对应于图2的(b)部分中所示的Hadamard变换系数Y₄₁的位置的Hadamard变换系数取一个大值，如图3B的(b)部分所示。如图3C的(a)部分中所示在输入的图像块包括平面图像时，对应于图2的(b)部分中所示的Hadamard变换系数Y₁₁的位置的Hadamard变换系数取一个大值，如图3C的(b)部分所示，其它系数取0值。通常，在输入的图像块中存在垂直边的情况下，仅有指示垂直方向上的空间频率为低的Hadamard变换系数取一个大值，如图3A的(b)部分中用椭圆圈起来的Hadamard变换系数所示。在水平边存在于输入的图像块中的情况下，仅有指示水平方向上的空间频率为低的Hadamard变换系数取一个大值，如图3B的(b)部分中用椭圆圈起来的Hadamard变换系数所示。在输入的图像块中包含平面图像的情况下，指示输入图像的交流分量的Hadamard变换系数取一个小值。

使用上述方法使得诸如垂直边、水平边或平面图像的输入图像的图像图案，能够基于通过在输入的图像上执行Hadamard变换获得的Hadamard变换系数而确定。

下面参照图4A、4B和4C对帧内预测进行描述。图4A、4B和4C说明各种帧内预测模式的例子。

在图4A、4B和4C中，a到p表示要预测的输入图像块的像素值。A到M表示属于邻近块的像素值。像素值a到p和A到M位于同一帧中。帧内预测使用像素值A到M生成预测的像素值a’到p’。预测的像素值a’到p’集中在一起构成预测图像。

下面对各种帧内预测模式进行详细描述。

在图4A中所示的垂直帧内预测模式中，在垂直方向上进行预测。通过预测像素值a、e、i和m分别等于像素值A，像素值b、f、j和n分别等于像素值B，像素值c、g、k和o分别等于像素值C，像素值d、h、l和p分别等于像素值D，可以生成预测像素值a’到p’。这样，生成下面的像素值：

a′＝e′＝i′＝m′＝A

b′＝f＝j′＝n′＝B

c′＝g′＝k′＝o′＝C

d′＝h′＝l′＝p′＝D

在图4B中所示的水平帧内预测模式中，在水平方向上进行预测。通过预测像素值a、b、c和d分别等于像素值I，像素值e、f、g和h分别等于像素值J，像素值i、j、k和l分别等于像素值K，以及像素值m、n、o和p分别等于像素值L，从而生成预测像素值a’到p’。这样，生成下面的像素值：

a′＝b′＝c′＝d′＝I

e′＝f′＝g′＝h′＝J

i′＝j′＝k′＝l′＝K

m′＝n′＝o′＝p′＝L

在图4C中所示的直流帧内预测模式中，进行预测以使得所有的像素具有同样的值。通过预测所有的像素值a到p相等从而生成预测像素值a’到p’。这样，生成下面的像素值：

a′＝b′＝c′＝d′＝e′＝f＝g′＝h′＝i′＝j′＝k′＝l′＝m′＝n′＝o′＝p′

输入图像的预测像素值和实际像素值之间的差别越小，预测的精度就会变得越高，这样就能够进行有效的图像压缩。

下面描述根据图像图案指定帧内预测模式的方法。

帧内预测模式指定单元102根据由上面所述的图像图案确定单元101确定的图像图案，从上述的帧内预测模式中指定一种最优的帧内预测模式。例如，如果确定输入图像块中包括垂直边，则帧内预测模式指定单元102指定垂直帧内预测模式。如果确定输入图像块中包括水平边，则帧内预测模式指定单元102指定水平帧内预测模式。如果确定输入图像块中包括平面图像，帧内预测模式指定单元102指定直流帧内预测模式。

更具体地，如果垂直边存在于如图3A中所示的输入图像块中，则可以获得具有下述关系的像素值：

a＝e＝i＝m

b＝f＝j＝n

c＝g＝k＝o

d＝h＝l＝p

对这个输入图像块执行Hadamard变换以获得Hadamard变换系数。如果图像图案确定单元101确定输入图像块具有包括垂直边的图像图案，则帧内预测模式指定单元102指定垂直帧内预测模式，其中预测的精度对于输入图像块为最高。

如果如图3B中所示在输入图像块中存在水平边，则获得具有下述关系的像素值：

a＝b＝c＝d

e＝f＝g＝h

i＝j＝k＝l

m＝n＝o＝p

对这个输入图像块执行Hadamard变换以获得Hadamard变换系数。如果图像图案确定单元101确定输入图像块具有包括水平边的图像图案，则帧内预测模式指定单元102指定水平帧内预测模式，其中预测的精度对于输入图像块为最高。

如果如图3C中所示输入图像块包括平面图像时，则获得具有下述关系的像素值：

a＝b＝c＝d＝e＝f＝g＝h＝i＝j＝k＝l＝m＝n＝o＝p

对这个输入图像块执行Hadamard变换以获得Hadamard变换系数。如果图像图案确定单元101确定输入图像块具有包括平面图像的图像图案，则帧内预测模式指定单元102指定直流帧内预测模式，其中预测的精度对于输入图像块为最高。

然后，选择器103和107从对应于由帧内预测模式指定单元102指定的帧内预测模式的帧内预测单元104到106中选择出一个，这样使得选择出的预测单元在输入图像上进行帧内预测处理。作为结果，可以根据最优帧内预测模式生成预测的像素值。另外，如果图像图案确定单元101不能确实地确定输入图像的图像图案并且帧内预测模式指定单元102不能指定最优帧内预测模式，或者如果因为其它理由帧内预测单元104到107中没有一个被选择器103和107选出，则帧内预测单元609按照原样输出该输入图像。

如果考虑到在确定图像图案的过程中进行Hadamard变换所需的时间，则用于提供预定的延时的诸如存储器的定时调整单元，可以被加入到选择器103之前的级中，或者帧内预测单元自身可以进行定时调整，从而对于图像图案而确定的图像能够在定时上与将进行帧内预测处理的图像相匹配。

下面参照图1的方框图和图5的流程图描述根据第一实施例用于选择一个帧内预测模式的处理顺序。图5的流程图说明对应于控制程序的处理流程，控制器(未示出)执行该控制程序以控制图1中所示的每个单元。

首先，图像图案确定单元101将输入图像分割为4×4像素块，并输入每个像素块(步骤S501)。图像图案确定单元101然后执行Hadamard变换(步骤S502)以确定图像图案，如下所述。

图像图案确定单元101确定输入的4×4像素块是否包括垂直边(步骤S503)、水平边(步骤S504)或平面图像(步骤S505)。

如果图像图案确定单元101确定像素块包括垂直边(步骤S503的“yes”)，则帧内预测模式指定单元102从多个帧内预测模式中指定垂直帧内预测模式，并且选择器103和107选择垂直帧内预测单元104(步骤S506)。

如果图像图案确定单元101确定像素块包括水平边(步骤S503的“no”，以及步骤S504的“yes”)，则帧内预测模式指定单元102从多个帧内预测模式中指定水平帧内预测模式，并且选择器103和107选择水平帧内预测单元105(步骤S507)。

如果图像图案确定单元101确定像素块包括平面图像(步骤S503的“no”，步骤S504的“no”，以及步骤S505的“yes”)，则帧内预测模式指定单元102从多个帧内预测模式中指定直流帧内预测模式，并且选择器103和107选择直流帧内预测单元106(步骤S508)。

如果像素块不具有上述任一图像图案，也就是说，如果图像图案确定单元101不能确定任何图像图案(步骤S503、S504和S505中均为“no”)，则选择器103和107不从帧内预测单元104到107中选择出任何一个，而照原样输出原来的输入图像(步骤S509)。然后，处理流程结束。

另外，如果图像图案确定单元101不能确定任何图像图案，则选择器103和107可以配置为可独立地选择帧内预测单元104、105或106。

在上述的第一实施例中，垂直帧内预测模式、水平帧内预测模式和直流帧内预测模式用作帧内预测模式以被选择。然而，也可以以同样的方式采用上述帧内预测模式以外的帧内预测模式。

另外，在上述的第一实施例中，对垂直边、水平边或平面图像进行确定。然而，也可以确定这些图案的结合从而选择出与之相对应的帧内预测模式。

另外，在上述的第一实施例中，对垂直边、水平边和平面图像中的一个进行确定。然而，也可以这样做确定，即减少将要选择的帧内预测模式。例如，确定输入图像块不包括任何水平边(也就是说，输入图像块有可能包括垂直边或平面图像)。即使在这种配置中，可以有效地选择出最优的帧内预测模式，并且在图像编码装置600中的计算成本也可以降低。

另外，在上述的第一实施例中，图像图案确定单元(Hadamard变换单元)101和帧内预测模式指定单元102包括在图像编码装置600的帧内预测单元609中。然而，图像图案确定单元(Hadamard变换单元)101或帧内预测模式指定单元102可以例如位于图像编码装置600以外或帧内预测单元609之外。例如，图像图案确定单元101或帧内预测模式指定单元102可以直接接收将提供给图6中所示的图像编码装置600的输入图像数据，以便以与上述方式同样的方式确定图像图案或指定帧内预测模式。

第二实施例

本发明的第二实施例涉及在图1所示的第一实施例中所述的图像图案确定单元101的修改的例子。在第二实施例中，图像图案确定单元101被配置为使用对输入图像施行滤波的方法确定图像图案，而不是使用Hadamard变换方法。除了图像图案确定单元101以外的部分的结构和操作与第一实施例中描述的相同，所以这里略去了对它们的描述。

在第二实施例中图像图案确定单元(滤波单元)101确定诸如对于一个边的图像图案，该确定处理是通过对每个块的输入图像应用差分滤波器并且估算获得的边的强度值的大小完成的。对于使用在图像图案确定单元101中的差分滤波器，例如，使用一个算子。该算子是其中存储有加权值的矩阵。然而，滤波并不限于这种配置。

下面对使用算子的边检测方法进行描述。

在使用算子的边检测方法中，各个加权值被加入到输入图像的目标像素和邻近像素的像素值上。然后，将目标像素和邻近像素加权后的像素值加在一起以构成目标像素的边强度值。设置适当的加权值并估算边强度值的大小使得可以确定诸如垂直边、水平边或平面图像的图像图案。

当如上所述使用图像图案确定单元101的配置和操作确定图像图案时，图像图案的最优帧内预测模式可以以与第一实施例中相同的方式的低计算成本被选择。

第三实施例

图14为表示根据本发明的第三实施例的图像编码装置1400的配置的方框图。图像编码装置1400包括减法器601、整数变换单元602、量子化单元603、熵编码单元604、逆量子化单元605、逆整数变换单元606、加法器607、帧存储器608和611、环路滤波器610、帧间预测单元612、移动检测单元613、开关614和帧内预测单元615。图像编码装置1400被配置为对输入图像数据进行编码处理并输出编码后的数据。

下面描述图14中所示的图像编码装置1400的编码处理。图像编码装置1400根据H.264标准执行编码处理。另外，图像编码装置1400将输入图像数据分割成块并对每个块进行处理。

在图14的方框图中，与图6的方框图中具有相同参考标号(601到608，610到614)的单元具有与图6中所描述的单元相同的功能和操作。在下面的讨论中，为了避免对于图6中所描述的单元进行重复说明，仅对与图6中描述不同的点进行描述。

响应于从图像编码装置1400的外部提供的控制信号，在第三实施例中为唯一的帧内预测单元615使用存储在帧存储器608中的重建图像数据进行帧内预测，以生成预测图像数据。开关614用作选择单元，为每个宏块选择帧内预测和帧间预测中的任一个。也就是说，开关614从帧内预测单元615的输出和帧间预测单元612的输出中选择出一个并将选择出的预测图像数据输出到减法器601和加法器607。

下面参照图15和16对帧内预测单元615执行的帧内预测进行补充描述。

在帧内预测中，之前已经被编码的邻近像素的值被用作预测值。如果如图15中所示用于编码的目标块为4×4像素大小(像素a到p)，则使用目标块周围的像素A到M的像素值进行预测。在这种情况下，预测的方向被指定并且仅有需要的像素值被用作预测。因为提供了九种分别具有不同预测方向和不同内容的帧内预测模式，所以选择一个最优的帧内预测模式用作预测。

图16表示用在各个帧内预测模式中的各种预测方向。例如，在垂直帧内预测模式(模式0)的情况下，在垂直方向上邻近目标块的像素(对应于图15中所示的像素A、B、C和D)的值被用作预测值，并预测这些像素值在垂直方向上继续。因此，预测图15中所示的每个像素a、e、i和m的值等于像素A的值。同样，预测每个像素b、f、i和n的值等于像素B的值。同样的预测也用于后面的像素。在上述预测之后，获得诸如a-A、e-A、i-A和m-A的各个像素的不同值，并且然后，对获得的值进行整数变换和量子化等。

除了垂直帧内预测模式(模式0)之外，如图16中所示提供八种帧内预测模式(模式1到8)。直流帧内预测模式(模式2)是使用较高的和左侧像素值的平均值的预测模式。每个帧内预测模式的细节均在H.264相关的标准等中被披露，所以，这里就略去了进一步的描述。在H.264标准中，如上所述总共有九种帧内预测模式，所以能够为将进行编码的目标像素块选择出一种最优的帧内预测模式。因此，可以改善预测的精度，并且可以使差别图像数据的值很小。

另外，在帧内预测单元615中选择最优帧内预测模式的通常处理以如图18的流程图中所示的顺序进行。参照图18，当开始目标块的帧内预测时，提供表示帧内预测模式的计数器i并且计数器i被设置为“0”(步骤S1801)。然后，使用由计数器i的值表示的帧内预测模式进行帧内预测(步骤S1802)。估算帧内预测精度，并且与其它之前已经估算的帧内预测模式相比较选择出指示预测精度最优值的帧内预测模式(步骤S1803)。然后，计数器i增加(步骤S1804)。重复从步骤S1802到步骤S1804的顺序直至计数器i到达“9”，该数字为帧内预测模式的数量(步骤S1805)。作为结果，对每个将进行编码的目标块执行所有的九种帧内预测模式。因此，可以选择出一种最优帧内预测模式。

另外，响应提供的控制信号，帧内预测单元615也可以以与上述的通常选择处理不同的顺序进行选择最优帧内预测模式的处理。这个不同的选择处理将在后面进行描述。

接下来结合与图像捕捉装置700的操作相关的帧内预测单元615的进一步操作，描述包括上述图像编码装置1400的图像捕捉装置700的配置。

图7是表示根据第三实施例的图像捕捉装置700的配置的方框图。图像捕捉装置700包括摄影镜头单元701、图像传感器702、照相摄像机信号处理单元703、编码单元704、照相摄像机控制单元705、焦距检测单元706、调焦电动机707、变焦电动机708、移动传感器709和操作单元710。摄影镜头单元701由多个包括变焦镜头701a和701b以及调焦镜头701c的镜头组组成。图像传感器702为CCD(电荷耦合设备)传感器、CMOS(互补金属氧化物半导体)传感器等。操作单元710对于各种功能是可操作的。图像捕捉装置700将由摄影镜头单元701形成的光学图像转换为图像信号，并且根据H.264标准在图像信号上进行压缩编码，从而输出编码数据。在图像捕捉装置700中，编码单元704对应于上述的图像编码装置1400。这样，图像捕捉装置700包括作为视频压缩的H.264编码器的图像编码装置1400。

下面描述由图7中所示的图像捕捉装置700进行的摄影过程。当开始摄影操作时，由摄影镜头单元701形成的光学图像被图像传感器702转换为电信号。在这种情况下，调焦镜头701c可以被调焦电动机707移动以进行调焦，并且变焦镜头701a和701b可以被变焦电动机708移动以进行光学变焦的调整。另外，光学图像稳定机构(未示出)或者电子图像稳定功能(未示出)可以根据移动传感器709提供的移动信息进行操作以便对图像的移动进行校正(例如，对照相摄像机的颤动进行校正)。

由图像传感器702生成的电信号被作为移动图像信号提供给照相摄像机信号处理单元703。照相摄像机信号处理单元703在移动图像信号上进行亮度信号处理、彩色信号处理等以生成移动图像数据。从照相摄像机信号处理单元703输出的移动图像数据被提供到编码单元704。编码单元704对移动图像数据进行编码以输出编码数据。在编码单元704中，进行上述参照图14所描述的编码过程。编码后的数据为一种可以被记录单元(未示出)记录在诸如磁盘的记录介质上的格式。

照相摄像机控制单元705对图像捕捉装置700的每个单元的操作进行控制。如果用户通过操作单元710给出指令，则照相摄像机控制单元705根据指令控制每个单元。

另外，在自动调焦的过程中，焦距检测单元706根据由图像传感器702生成的电信号检测调焦状态，并将检测到的调焦状态的信息(调焦信息)发送到照相摄像机控制单元705。照相摄像机控制单元705根据调焦信息发送控制信号到调焦电动机707，以便进行焦距调整以获得最优调焦状态。在手工调焦的过程中，照相摄像机控制单元705根据从操作单元710提供的指令发送控制信号到调焦电动机707，以便进行焦距调整以获得所需的调焦状态。

另外，照相摄像机控制单元705根据从操作单元710提供的指令发送控制信号到变焦电动机708，以便进行用以获得所需的变焦位置的变焦控制。

移动传感器709包括加速传感器等，并且除对照相摄像机的颤抖校正进行检测之外还可以对图像捕捉装置700的移动进行检测。更具体地，移动传感器709检测摄影动作，例如摇摄或俯仰，并且将摄影动作的信息发送到照相摄像机控制单元705。

当移动传感器709检测到摇摄或俯仰时，照相摄像机控制单元705进行控制操作，如下面所述。

图8说明在摄影操作的过程中进行摇摄动作时获得的捕捉图像的情况。如果在图8中所示的白箭头(未填充)的方向上对画面进行摇摄，则所捕捉的图像在白箭头方向(水平方向)上表现为整体流动。所以，如果帧内预测在捕捉的图像上由编码单元704进行，则可以估计水平方向为最优预测方向。在这种情况下，还可以估计，如图8中所示，各个块的帧内预测的方向在对应于摇摄方向的规则方向上对准，而在如图17中所示的图像的情况下，画面上各个块的帧内预测的方向是不规则的。所以，选择水平方向的帧内预测(水平帧内预测模式(模式1))导致有效选择出的最优或近似最优的帧内预测模式。如果在垂直方向上俯仰，则应该以类似的方式选择垂直帧内预测模式(模式0)。另外，如果摇摄或俯仰在斜方向上进行，则应当考虑这种斜分量选择出一个对角帧内预测模式。

这样，照相摄像机控制单元705发送控制信号到包括在编码单元704(即，图像编码装置1400)中的帧内预测单元615，用以根据诸如摇摄或俯仰的摄影动作选择出帧内预测模式。另外，响应提供的控制信号，帧内预测单元615进行下面的处理取代前面所述的用以选择最优帧内预测模式的通常处理。也就是说，帧内预测单元615根据摇摄或俯仰的方向唯一地选择出一个帧内预测模式，或者根据摇摄或俯仰的方向在将九种帧内预测模式减少到两种或三种帧内预测模式后选择出一种最优帧内预测模式。这样，可以比试验性地执行所有的帧内预测模式以选择出一种帧内预测模式的情况更为有效地选择最优帧内预测模式。

图9是说明根据上述的摇摄或俯仰的方向选择帧内预测模式的帧内预测单元615的操作顺序的流程图。

如果移动传感器709没有检测到摇摄或俯仰动作(步骤S901的no)，则如图18中所示帧内预测单元615进行用于选择最优帧内预测模式的通常处理，并且使用选择出的帧内预测模式进行帧内预测(步骤S907)。另一方面，如果移动传感器709检测到关于将要进行帧内预测的图像的摇摄或俯仰(步骤S901中的yes)，则帧内预测单元615从照相摄像机控制单元705获得所检测到的摇摄或俯仰动作的方向或速度的信息(步骤S902)。

根据在步骤S902获得的摇摄或俯仰的方向或速度的信息，帧内预测单元615近似相应于摇摄或俯仰的方向自动选择出预测方向(步骤S903)。如果在步骤S903选择出垂直方向，则帧内预测单元615使用垂直帧内预测模式(模式0)进行帧内预测(步骤S904)。如果在步骤S903选择出水平方向，则帧内预测单元615使用水平帧内预测模式(模式1)进行帧内预测(步骤S905)。如果在步骤S903选择出对角下-右方向，则帧内预测单元615使用下-右帧内预测模式(模式4)进行帧内预测(步骤S906)。

至于在对角方向上的预测，可以提高移动传感器709的方向精度以便也可以选择其它的对角帧内预测模式(模式3、5、6、7、8)。这样，预测的精度就可以进一步提高。

另外，在图9中所示的顺序的情况下，当进行摇摄和俯仰时，帧内预测单元615根据摇摄或俯仰的方向选择帧内预测模式。然而，帧内预测单元615可以配置为通过根据摇摄或俯仰的方向或速度将九种帧内预测模式减少到二种或三种帧内预测模式或通过排除确定为在预测方向上明显不合适的帧内预测模式，从而减少帧内预测模式的选项，并且然后，通过从余下的选项中进行计算获得最优帧内预测模式。

根据上述的第三实施例，诸如摇摄或俯仰的摄影动作的信息用来选择帧内预测模式。因此，可以容易地选择出最优的帧内预测模式，并且可以减少编码上的处理负担。

第四实施例

下面参照图10和图11对本发明的第四实施例进行说明。

在第四实施例中，当在第三实施例中所描述的图像捕捉装置700进行变焦动作时，照相摄像机控制单元705和帧内预测单元615进行下面的操作。

当在摄影操作期间进行推镜头或拉镜头的变焦动作时，在变焦期间获得的捕捉图像在从画面中心的射线方向上以流动的方式显示。所以，当编码单元704在捕捉的图像上进行帧内预测时，应当考虑到将要进行编码的目标块位于相对于画面的中心的哪个方向上。如果进行对应于该方向的帧内预测，则可以提高预测的效果。

在这种情况下，可以估算，变焦导致图10的各个块中所示的帧内预测的方向，而在图17中所示的图像的情况下，画面上各个块的帧内预测的方向是不规则的。更具体的，在图10中的画面上的较高的左侧块中，因为图像在对角方向上流向画面的中心，所以认为下-右帧内预测模式(模式4)是最优的。同样的，在画面上的较高的右侧方块中，认为下-左帧内预测模式(模式3)是最优的。在H.264标准的帧内预测的情况下，用于帧内预测的预测采样限于位于目标方块的上面或左侧的邻近方块的值。因此，在画面上的较低左侧方块中，认为下-左帧内预测模式(模式3)是最优的。类似的，在画面上的较低右侧方块中，认为下-右帧内预测模式(模式4)是最优的。

这样，照相摄像机控制单元705发送控制信号到包括在编码单元704(即，图像编码装置1400)中的帧内预测单元615，以便根据变焦动作选择出一个帧内预测模式。另外，响应于提供的控制信号，帧内预测单元615在变焦期间获得的图像上进行下面的处理，取代上述的用于选择最优帧内预测模式的通常处理。也就是说，帧内预测单元615根据将要进行编码的目标方块的位置唯一地选择出一种帧内预测模式，或者根据所述目标方块的位置在将九种帧内预测模式减少到两种或三种帧内预测模式后选择出最优帧内预测模式。这样，能够比试验性地执行所有的帧内预测模式以选择最优预测模式的情况更为有效地选择最优帧内预测模式。

图11为说明用于选择出关于如上面所述在变焦期间获得的图像的帧内预测模式的帧内预测单元615的操作顺序的流程图。

至于将要进行帧内预测的图像，如果没有进行变焦动作(或如果进行了特别低速的变焦动作)(步骤S1101中的no)，则帧内预测单元615进行如图18中所示的用于选择最优帧内预测模式的通常处理，并且使用选择出的帧内预测模式进行帧内预测(步骤S1106)。另一方面，如果响应来自操作单元710的变焦指令进行变焦动作以移动变焦镜头701a和701b(步骤S1101中的yes)，则帧内预测单元615从照相摄像机控制单元705获得指示变焦正在进行的信息和变焦速度的信息(步骤S1102)。

在步骤S1102获得指示变焦正在进行的信息和变焦速度的信息后，帧内预测单元615在画面上确定将要进行编码的目标块所在的区域，并且相应于确定的区域自动选择出一个预测方向(步骤S1103)。更具体地，如果目标块位于画面上的较高左侧区域或较低右侧区域，则帧内预测单元615选择下-右帧内预测模式(模式4)。如果目标块位于较高右侧区域或较低左侧区域，则帧内预测单元615选择下-左帧内预测模式(模式3)。如果目标块位于中心区域或其周围，则帧内预测单元615不能指定帧内预测模式。所以，帧内预测单元615进行用以选择最优帧内预测模式的通常处理并使用选择出的帧内预测模式进行帧内预测(步骤S1106)。如果在步骤S1103中选择下-左帧内预测模式(模式3)，则帧内预测单元615使用下-左帧内预测模式(模式3)进行帧内预测(步骤S1104)。如果在步骤S1103选择下-右帧内预测模式(模式4)，则帧内预测单元615使用下-右帧内预测模式(模式4)进行帧内预测(步骤S1105)。

另外，如果将画面细致地分为多个区域并对获得的区域进行分类，则可以更为有效地进行最优帧内预测模式的选择。例如，如果目标块位于画面中心的正上方或正下方，则帧内预测单元615选择垂直帧内预测模式(模式0)。如果目标块位于画面中心的左侧或右侧，则帧内预测单元615选择水平帧内预测模式(模式1)。另外，如果将画面更细地分割成多个区域使得其它的对角帧内预测模式(模式5、6、7、8)也被选择，则可以进一步提高预测的精度。

另外，在图11中所示的顺序的情况下，当进行变焦时，帧内预测单元615根据将进行编码的目标块的位置选择帧内预测模式，除非当目标块位于中心区域或其周围。然而，帧内预测单元615也可以配置成通过将九种帧内预测模式减少到二种或三种帧内预测模式或通过排除确定为在预测方向上明显不合适的帧内预测模式从而减少帧内预测模式的选择，并且之后，从余下的选择中通过计算获得最优帧内预测模式。

根据上述的第四实施例，诸如变焦的摄影动作信息用来选择帧内预测模式。因此，可以容易地选择出最优帧内预测模式并且也可以减少编码上的处理负担。

第五实施例

下面参照图12和13对本发明的第五实施例进行描述。

在第五实施例中，当第三实施例中描述的图像捕捉装置700进行调焦动作时，照相摄像机控制单元705和帧内预测单元615如下面所述进行工作。

当在摄影操作期间进行调焦动作时，并且当没有获得焦点对准状态时，捕捉的图像的整个画面是模糊的。因此，当编码单元704在模糊的捕捉图像上进行帧内预测时，不能估算预测的具体方向，并且使用像素值均值的直流帧内预测模式被认为是提高预测效率的最优帧内预测模式。

在这种情况下，可以估算，捕捉图像的模糊状态导致如图12中所示的整个画面的直流预测情况，而在图17中所示在焦点对准状态的情况下，画面上的各个方块的帧内预测的方向是不规则的。

这样，照相摄像机控制单元705发送控制信号到包括在编码单元704(即，图像编码装置1400)中的帧内预测单元615用以根据调焦状态选择帧内预测模式。另外，响应提供的控制信号，帧内预测单元615为模糊的捕捉图像唯一地选择直流帧内预测模式，取代为选择最优帧内预测模式而进行上述的通常处理。这样，可以比试验性地执行所有的帧内预测模式从而选择帧内预测模式的情况更为有效地选择最优帧内预测模式。

图13是说明用于选择关于上述模糊的图像的帧内预测模式的帧内预测单元615的操作顺序的流程图，特别地关于在焦点未对准的状态下捕捉的图像。

帧内预测单元615从照相摄像机控制单元705获得指示着将要进行帧内预测的图像是在焦点对准状态还是在焦点未对准状态下被捕获的调焦信息(步骤S1301)。在步骤S1302，如果从所述调焦信息确定图像在焦点对准状态下被捕捉，则帧内预测单元615为选择最优帧内预测模式执行图18中所示的通常处理，并且使用选择的帧内预测模式进行帧内预测(步骤S1304)。

在步骤S1302，如果从所述的调焦信息确定出图像已经在焦点未对准状态下被捕捉，即图像是模糊的，则帧内预测单元615自动地选择直流帧内预测模式并且使用直流帧内预测模式(模式2)进行帧内预测(步骤S1303)。

根据上述的第五实施例，诸如调焦的摄影动作信息用来选择帧内预测模式。因此，可以容易地选择最优帧内预测模式并且还可以减少编码上的处理负担。

第三实施例至第五实施例中所述的操作顺序可以独立地进行或可以结合起来进行。如果这些操作结合起来进行，则可以响应各种摄影条件有效地选择最优帧内预测模式并且也可以减少编码上的处理负担。

每个实施例也可以通过提供带有存储介质的系统或装置实现，该存储介质中存储有用来实现上述实施例的功能的程序代码(软件)，该程序代码促使该系统或装置的计算机(或CPU(中央处理单元)、MPU(微处理单元)等)从存储介质读取程序代码并且然后执行该程序代码。在这种情况下，从存储介质读出的程序代码本身实现所述实施例的功能。另外，除了执行由计算机读取的程序代码以实现上述实施例的功能，本发明包括在根据程序代码的指令完整地或部分地进行实际处理以便实现上述实施例的功能的计算机上运行的操作系统(OS)等。存储程序代码的存储介质的例子包括软盘、硬盘、ROM(只读存储器)、RAM(随机存取存储器)、磁带、非易失性存储卡、CD-ROM(压缩盘-只读存储器)、CD-R(压缩可记录盘)、DVD(数字多用盘)、蓝光光盘、光盘、MO(磁光盘)等。

另外，本发明也包括包含在插入到计算机中的功能扩展卡或连接到计算机上的功能扩展单元中的CPU等，所述的功能扩展卡或功能扩展单元具有在其上写有从存储介质读取的程序代码的内存，所述的CPU等根据程序代码的指令完整地或部分地进行实际处理以便实现上述实施例的功能。

如果本发明应用到上述的存储介质中，则对应于上述流程图的程序代码存储在该存储介质中。

虽然本发明参照示例的实施例进行描述，但是应当理解本发明并不限于所披露的实施例。相反，本发明意在覆盖包括在所附的权利要求的精神和范围中的各种修改和等效配置。下面的权利要求的范围与最宽的解释相一致以便包括所有的这种修改和等同的结构和功能。

Claims (21)

1.一种图像编码装置，包括：

输入单元，配置成输入图像数据；

分割单元，配置成通过将由所述输入单元输入的图像数据分割为分别具有多个像素的块来生成块；

确定单元，配置成确定由所述分割单元生成的各个块中的图像数据的图像图案；

选择单元，配置成根据由所述确定单元确定的图像图案从多个预测模式中选择出一个预测模式；以及

处理单元，配置成根据由所述选择单元选择的预测模式通过使用同一幅画面中的像素值执行画面中像素值的预测处理，输出预测的像素值。

2.根据权利要求1的图像编码装置，其中所述确定单元配置为从垂直边、水平边和平面图像中确定至少一个作为将要确定的图像图案的类型。

3.根据权利要求2的图像编码装置，其中所述选择单元配置为根据由所述确定单元确定的图像图案的类型选择不同的预测模式。

4.根据权利要求1的图像编码装置，其中所述确定单元配置为通过在由所述分割单元生成的各个块中的图像数据上进行正交变换从而确定图像图案。

5.根据权利要求1的图像编码装置，其中所述确定单元配置为通过在由所述分割单元生成的各个块中的图像数据上执行滤波操作从而确定图像图案。

6.根据权利要求1的图像编码装置，其中所述确定单元配置为通过在由所述分割单元生成的各个块中的图像数据上执行Hadamard变换从而确定图像图案。

7.根据权利要求6的图像编码装置，其中所述选择单元配置为从下述处理中选择一个，即，当指示低垂直空间频率的Hadamard变换系数为大数值时选择垂直预测模式的处理，当指示低水平空间频率的Hadamard变换系数为大数值时选择水平预测模式的处理，以及当指示交流分量的Hadamard变换系数为小数值时选择使得所有像素具有相同值的预测模式的处理。

8.一种图像编码方法，包括以下步骤：

输入图像数据；

将所述输入的图像数据分割为分别具有多个像素的块；

确定各个块中的图像数据的图像图案；

根据所确定的图像图案从多个预测模式中选择出一个预测模式；以及

根据所选择的预测模式通过使用同一幅画面中的像素值执行预测画面中像素值的处理，输出预测的像素值。

9.一种图像编码装置，包括：

输入单元，配置为输入将进行编码的图像数据；

获取单元，配置为获得关于所述图像数据的摄影信息；

选择单元，配置为使用所述的摄影信息从n个预测模式中选择出m个预测模式，其中1≤m≤n；以及

处理单元，配置为根据由所述选择单元选择的m个预测模式通过使用同一幅画面中的像素值执行对画面中的像素值的预测的处理，输出预测的像素值。

10.根据权利要求9的图像编码装置，其中所述获取单元配置为获取所述图像数据被捕捉的摄影条件的信息。

11.根据权利要求10的图像编码装置，其中所述摄影条件的信息至少包括由加速传感器获得的信息、变焦动作的信息和调焦动作的信息中的一种信息。

12.根据权利要求10的图像编码装置，其中所述摄影条件的信息包括指示所述图像数据至少在摇摄、俯仰、变焦和影像模糊条件中的一个条件下被捕捉的信息。

13.根据权利要求9的图像编码装置，其中所述获取单元配置为获取当所述图像数据被捕捉时所选择的拍摄方向的移动信息，并且所述选择单元配置为使用拍摄方向的移动信息选择指示与移动方向相关的预测方向的预测模式。

14.根据权利要求9的图像编码装置，其中所述获取单元配置为获得当已经捕捉所述图像数据时所执行的变焦的信息，并且所述选择单元配置为当所述图像数据表示在变焦时所捕捉的图像时使用变焦的信息选择预先确定的预测模式。

15.根据权利要求14的图像编码装置，其中，当所述图像数据表示变焦期间所捕捉的图像时，所述选择单元配置为将画面分割为多个区域，并选择出在每个区域中采用了同一预测方向的预测模式。

16.根据权利要求9的图像编码装置，其中所述的获取单元配置为获得当已经捕捉所述图像数据时所执行的调焦的信息，并且所述选择单元配置为当所述图像数据表示在焦点未对准状态下捕捉的图像时使用调焦信息选择预先确定的预测模式。

17.根据权利要求9的图像编码装置，还包括：

摄影单元，配置成将通过执行摄影操作获得的图像数据提供给所述输入单元；以及

摄影信息生成单元，配置成在所述摄影单元执行摄影操作的同时生成摄影信息，并将摄影信息提供给所述的获取单元。

18.根据权利要求17的图像编码装置，其中所述摄影信息生成单元配置为使用从检测所述摄影单元移动的传感器输出的信息生成摄影信息，并且，根据该摄影信息，所述选择单元配置为当所述图像数据表示用正在移动的摄影单元捕捉的图像时选择表示与所述摄影单元的移动方向相关的预测方向的预测模式。

19.根据权利要求17的图像编码装置，其中，所述摄影信息生成单元配置为根据在所述摄影单元中控制变焦动作的信息生成摄影信息，并且，根据该摄影信息，所述选择单元配置为当所述图像数据表示在变焦动作期间所捕捉的图像时选择预先确定的预测模式。

20.根据权利要求17的图像编码装置，其中，所述摄影信息生成单元配置为根据在所述摄影单元中控制调焦动作的信息生成摄影信息，并且，根据该摄影信息，所述选择单元配置为当所述图像数据表示在焦点未对准状态下捕捉的图像时选择预先确定的预测模式。

21.一种图像编码步骤，包括：

输入将要编码的图像数据；

获取关于所述图像数据的摄影信息；

使用所述摄影信息从n个预测模式中选择m个预测模式，其中1≤m≤n；以及

根据所选择的m个预测模式通过使用同一幅画面中的像素值进行预测画面中的像素值的处理，输出预测的像素值。

Images