CN1925544A - 图像数据处理装置 - Google Patents

Abstract

一种用于放大或缩小输入图像数据并输出输出图像数据的图像数据处理装置，包括：第一图像处理部分，用于将具有第一分辨率的输入图像数据转换成具有第二分辨率的中间图像数据，以及第二图像处理部分，用于将中间图像数据转换成具有第三分辨率的输出图像数据。

Description

图像数据处理装置

技术领域

本发明涉及一种例如可应用到诸如数字照相机和照相机手机之类的静态图像记录和重放装置的其中对图像数据进行编码和解码的图像数据处理装置。

背景技术

由近期的数字照相机和照相机手机所代表的静态图像记录和重放装置迅速变得普及，并且由这些装置所提供的图像质量每年都在得到提高。现在，能够处理远远超过1百万像素的达到5百万或更多像素的静态图像的静态图像记录和重放装置正变得普遍。

一般而言，这种静态图像记录和重放装置采用JPEG压缩技术，以便有效地处理大量数据。例如，通过编码过程对从照相机所输入的图像数据进行数据压缩处理，并将所压缩的数据存储在数字照相机中的记录介质中。并且通过由静态图像记录和重放装置所执行的解码过程，对在诸如存储卡和硬盘之类的记录介质中所存储的静态图像数据进行解压缩处理，然后将所获得的图像显示在液晶监视器或其它显示装置上。

对在记录介质中所存储的JPEG图像进行解码过程，并将所获得的图像以以下方式显示在显示装置上。在所存储的JPEG图像的尺寸大的情形中，将图像尺寸减小为适于显示的尺寸，然后显示尺寸被减小的图像。在显示缩略图像的情形中，在显示图像之前，类似地将在记录介质中所存储的JPEG图像数据的尺寸减小为缩略图像的尺寸。

已有一种公知技术(例如在日本公开出版物No.2000-59612中所公开)，用于从在记录介质中所存储的JPEG图像生成缩略图像并显示所生成的缩略图像。在该公知技术中，在对记录介质中所存储的图像进行JPEG解码处理时，将图像数据的DC分量和AC分量分离，以便只提取DC分量。并且只对所提取的DC分量进行JPEG解码处理并进行反量化处理，此后，将所获得的图像调整成缩略图像的尺寸，且将缩略尺寸的图像输出并显示。

同样，对于所解码和显示的JPEG图像，用户可容易地执行用于将图像的特定区域放大或缩小的变焦(zoom)处理和诸如旋转处理之类的处理。这时，响应于由用户所指定的对变焦处理、旋转处理等的要求，典型的静态图像记录和重放装置对在记录介质中所存储的JPEG图像再次执行解码和处理，并显示所获得的图像。

同样，当将通过照相机所输入的图像存储在记录介质中时，可一起生成并存储缩略图像。在此情形中，执行过滤处理以将由照相机所输入的图像调整(缩小)成要生成的缩略图像的尺寸，然后执行显示处理、用于对所调整的图像进行JPEG编码处理和用于将所编码的图像存储在记录介质中的处理、或其它处理。

然而，传统的静态图像记录和重放装置具有以下问题。

在其中从JPEG图像生成具有约水平160像素和约垂直120线的缩略图像并将其显示的情形中，例如，在JPEG图像解码处理中首先分离DC分量和AC分量，以便只提取DC分量。且只对DC分量进行JPEG解码处理并进行反量化处理，此后，将所获得的数据调整成缩略图像尺寸并显示缩略尺寸的图像。然而，除缩略显示的情形之外，还有这样的情形：其中将从原始JPEG图像所解码的图像调整成适于显示的图像尺寸(例如，720像素×480线等)并显示所调整的图像。在其中将从JPEG图像所解码的图像调整成720像素×480线并显示所调整的图像的情形中，对DC和AC分量都执行JPEG解码处理和反量化处理(与对于缩略显示所执行的解码处理不同)，且然后执行对720像素×480线的调整和对所调整的图像的显示。即，在缩略显示的情形中所执行的JPEG解码处理不同于在调整成720像素×480线并显示所调整的图像的情形中所执行的处理。因此，必需确定将执行哪种JPEG解码处理且然后选择该处理。这使得在装置内部的JPEG解码处理变得复杂。

在其中将JPEG图像解码以生成缩略图像的情形中，如果不执行通过DC分量提取的缩略图像生成，则图像缩小比率(以其将原始JPEG图像在尺寸上减小为缩略图像)变小，使得需要进行与宽调整比率(缩小比率)范围对应的过滤。当对具有百万或更多像素的大尺寸(mega-size)JPEG图像进行解码来生成缩略图像时尤其如此。例如，在其中将具有2048像素×1760线(360万像素)的JPEG图像解码以生成并显示具有136像素×90线的缩略图像的情形中，所需的图像缩小比率(以其将原始JPEG图像的尺寸减小)为水平方向上136/2048＝1/15至1/16且垂直方向上1/19至1/20，并且需要在此范围内的调整(缩小)。而且为了实现对应于此范围的过滤处理(缩小处理)，需要一种相当大尺寸的缩小处理电路，或在执行软件处理时需要相当大量的处理代码。

这不局限于缩小处理，对放大处理也适用。具体而言，当调整处理和缩放处理对应于宽范围时，处理电路的尺寸和处理代码的量与该范围宽度的增加成比例地增加。同样，在其中将调整比率(缩放比率)的范围限制在执行适当调整的范围内的情形中，如果执行调整，例如通过设置控制参数使得在该范围之外执行调整(缩放)，则显示图像的质量显著恶化。这与目前在静态图像显示中需求进一步提高图像质量且在相关方面实际地实现这种图像质量的提高的趋势相违背，因而是不可接受的。

类似地，在将具有百万或更多像素的输入图像在尺寸上减小成缩略图像并记录所获得的图像的情形中，当执行JPEG编码时，也需要进行与宽调整比率范围对应的过滤，且因此需要相当大尺寸的处理电路和相当大量的处理代码。而且在此情形中，如果对调整比率范围加以限制，则将发生与上述相同的情况。

此外，当用户要求对重放图像进行变焦处理、缩放处理、旋转处理和其它图像处理时，再次从记录介质提取JPEG编码的数据(JPEG流)，并执行解码处理以及基于在JPEG流中所包含的流信息的变焦处理、缩放处理、旋转处理和其它图像处理以及根据用户要求的剪辑、调整、旋转处理和其它图像处理，并显示所获得的图像。这导致对用户请求的响应度的恶化。同样，为了满足用户关于重放图像的要求，需要考虑在所编码的流中所包含的有关变焦处理、缩放处理、旋转处理等的图像处理信息和用户对于变焦处理、缩放处理、旋转处理等的要求，来执行最后的变焦处理、缩放处理、旋转处理和其它图像处理。这使得内部处理变得复杂。

特别地，在JPEG解码处理的情形中，因为必需根据在JPEG流中所包含的图像处理信息和在用户要求中的图像处理信息，对具有每一类型的抽样因子的每个输入图像执行处理，然后输出并显示具有预定抽样因子的图像，所以内部处理变得复杂。例如，假设这样的情形：其中具有第一分辨率的图像的抽样因子是H0＝2、V0＝2、H1＝1、V1＝1、H2＝1和V2＝1，将具有第一分辨率的图像向右旋转90°，并且具有第二分辨率的图像的抽样因子是H0＝2、V0＝1、H1＝1、V1＝1、H2＝1和V2＝1。在此情形中，必需考虑旋转来调整图像的色差数据。具体而言，不仅需要执行JPEG解码处理，而且需要执行其中考虑旋转处理等的抽样因子转换。即，在此情形中，必须调整具有第一分辨率的图像的色差数据，使得其尺寸在水平方向上加倍且在垂直方向上保持原样。此外，必需校正由于向右90°旋转而出现的色差数据的相移。在最后产生输出之前，对于具有每种抽样因子的每个输入图像必须考虑诸如上述的处理，以及需要考虑JPEG流中所包含的流信息和用户要求，并且必须执行与流信息和用户要求对应的处理。因此内部处理变得相当复杂。

这里所使用的抽样因子例如是由ISO/IEC10918-1所定义的。

发明内容

为克服上述问题做出了本发明，且因此本发明的目的是提供一种图像数据处理装置，特别地，该装置在具有简单的图像数据处理装置的结构的情况下，能够例如通过高速执行简单处理，从具有百万或更多像素的大尺寸的输入图像数据生成缩略图像，同时能够根据用户的指令等，对所编码的图像等高速地执行剪切(clip)处理、变焦(剪切和缩放)处理、缩放处理、旋转处理和其它处理。

为了实现此目的，本发明的用于放大或缩小输入图像数据并输出输出图像数据的图像数据处理装置包括：第一图像处理部分，用于将具有第一分辨率的输入图像数据转换成具有第二分辨率的中间图像数据，以及第二图像处理部分，用于将中间图像数据转换成具有第三分辨率的输出图像数据。

以此方式，将输入图像数据临时地转换成中间图像数据，由此可以容易地减小每个图像处理部分的尺寸并因此减小整个电路的尺寸、程序大小等。而且还可以容易地提高处理速度。

附图说明

图1是图示根据第一实施例的图像数据处理装置的结构的框图。

图2是图示根据第一实施例的输入图像数据、中间图像数据和输出图像数据的分辨率的说明性视图。

图3是图示根据第一实施例的第二水平垂直过滤器201的详细结构的框图。

图4是图示根据第二实施例的图像数据处理装置的结构的框图。

图5是图示根据第三实施例的图像数据处理装置的结构的框图。

图6是图示根据第三实施例的输入图像数据、中间图像数据和输出图像数据的示例性抽样因子的说明性视图。

具体实施方式

此后将参考附图详细地描述本发明的优选实施例。在以下实施例中，具有相同功能的部件用相同的参考标号来标示，且因此这里将省略其描述。

(第一实施例)

图1是图示根据本发明第一实施例的图像数据处理装置的结构的框图。

图像数据处理装置包括第一图像处理部分100和第二图像处理部分200。第一图像处理部分100包括第一水平垂直过滤器101和第一存储器102，而第二图像处理部分200包括第二水平垂直过滤器201和第二存储器202。具体而言，图像处理部分100和200等可通过硬件来配置或通过使用处理程序以及用于执行该程序的处理器来配置。

如图2中所示，例如，在第一图像处理部分100中的第一水平垂直过滤器101例如通过执行抽取(decimation)处理和/或过滤处理，将具有(Xi×Yi)的分辨率(像素数目)的输入图像数据转换成具有(Xm×Ym)的分辨率的中间图像数据，且将该中间图像数据存储在第一存储器102中。应注意，是否将(Xi×Yi)分辨率的输入图像数据转换成(Xm×Ym)分辨率的中间图像数据可通过主CPU等来设定，或可根据输入图像数据的分辨率和中间图像数据的分辨率等来自动地确定。

在第二图像处理部分200中的第二水平垂直过滤器201例如通过执行抽取处理和/或二维过滤处理来将中间图像数据转换成具有(Xo×Yo)的分辨率的输出图像数据，并将该输出图像数据存储在第二存储器202中。更具体而言，如图3中所示，例如，第二水平垂直过滤器201包括水平过滤器211和垂直过滤器221。水平过滤器211包括水平过滤器存储器211a、水平插值(interpolation)部分211b和水平插值位置计数器211c，而垂直过滤器221包括垂直过滤器存储器221a、垂直插值部分221b和垂直插值位置计数器221c。插值位置计数器211c和221c都保持例如对应于像素的1/256的值(坐标)，该值指示对应于输出图像数据中每个像素的中间图像数据的部分的位置(即，256的值对应于相邻像素之间的距离)。插值部分211b和221b基于由插值位置计数器211c和221c所保持的值以及从过滤器存储器211a和221a所读取的图像数据来执行插值算法，并对于每个像素计算输出图像数据的值。即使例如在其中缩小比率不是整数倍的情形中，这也允许在图像质量维持在高水平的情况下执行转换。

上述输入图像数据不限于具体数据，而可以是从成像照相机所输出的数据、从记录介质所读取的数据等。可替代地，输入图像数据可以是所谓的未加工图像数据、从诸如JPEG数据之类的压缩或编码图像数据解码的数据等。此外，可设计第一图像处理部分100使得具有解码等功能。

在其中输入图像数据是诸如JPEG数据之类的压缩或编码图像数据的情形中，第一图像处理部分可执行解码处理并且还可基于在JPEG流中所包含的诸如调整信息和旋转信息之类的图像信息来执行变焦处理、缩放处理和旋转处理。

同样，可从装置外部供给(Xo×Yo)分辨率的输出图像数据，或可以预先设定固定分辨率。类似地，也可从装置外部供给(Xm×Ym)分辨率的中间图像数据，或可以预先设定固定分辨率。可替代地，可基于输入图像数据和输出图像数据等的分辨率来自动地确定分辨率(Xm×Ym)。

存储器102和202的容量可以通过主CPU等可变地进行设定。

以下将描述由此所构造的图像数据处理装置如何执行示例性操作，其中例如从5120×3840像素的输入图像数据，生成用于正常显示的720×480像素(所谓D1)的输出图像数据以及用于缩略显示的160×120像素或136×90像素的输出图像数据。

首先，使输入到第一图像处理部分100中的输入图像数据经受通过第一水平垂直过滤器101所执行的抽取处理和过滤处理，使得通过抽取处理将垂直方向上的输入图像数据的尺寸减小为二分之一，然后通过过滤处理将其水平方向上的尺寸和其垂直方向上的尺寸分别减小为四分之一和二分之一。结果，将输入图像数据转换成了1280×960像素的中间图像数据，该中间图像数据存储在第一存储器102中。除了以上处理之外，还可以执行用于在输入图像数据中的所需位置剪切图像的处理。

然后通过在第二图像处理部分200中的第二水平垂直过滤器201连续地读取中间图像数据，并且将所读取的数据转换成具有诸如720×480或160×120像素之类的任意图像尺寸或具有预先设定的固定图像尺寸的输出图像数据。将所获得的输出图像数据存储在第二存储器202中并根据在显示装置(未示出)中的显示定时等来读取，然后输出所读取的数据。具体而言，水平过滤器211例如执行以下操作。

首先，初始化水平插值位置计数器211c。通过例如将预定值设定为该初始化值，可以执行其中对在中间图像数据中所需位置的图像进行剪切并进行放大或缩小的所谓的变焦处理。此后，基于水平插值位置计数器211c的值以及根据水平插值位置计数器211c的值从过滤器存储器211a中所读取的图像数据，水平插值部分211b计算输出图像数据中每个像素的值。更具体而言，例如，如果在输出图像数据中的像素的位置对应于在中间图像数据中两个像素之间的中点的位置，则可通过插值获得这两个像素的值的平均数。接着，将256×Xi/Xo加到水平插值位置计数器211c的值，由此将水平插值位置计数器211c的值更新成对应于输出图像数据中下一像素的中间图像数据中的位置。通过对Xo个像素重复相同的过程，执行对于一条线的水平调整(以及水平方向上的剪切)。而且通过对Xi条线重复以上过程，执行对于一个屏幕的水平调整。

随后，垂直过滤器221执行类似操作，由此获得在垂直方向上被进一步调整的图像。

如上所述，当将具有各种分辨率的输入图像数据转换成具有对应于显示装置等的分辨率的输出图像数据时，将输入图像数据临时地转换成具有在输入图像数据和输出图像数据的分辨率之间的中间分辨率的中间图像数据，由此可以减小电路尺寸(和/或处理程序)。具体而言，在通过单一转换将输入图像数据的分辨率转换成输出图像数据的分辨率的情形中，由于大的缩小比率(分辨率转换比率)，可能会增加电路尺寸等。相比之下，当以多个阶段将输入图像数据的分辨率转换成输出图像数据的分辨率时，可以减小每个转换电路的尺寸，由此容易地减小整个电路的尺寸等。另外，可容易地提高处理速度。

由于分布数据等的多样性，输入图像数据的分辨率会各不相同，并且虽然某种程度上依赖于显示装置等的类型而受限，但输出图像数据的分辨率也会各不相同。输出图像数据的分辨率的例子包括所谓的D1(水平720像素×垂直480线)、VGA(水平640像素×垂直480线)、用于缩略显示的分辨率等。考虑到这些输入和输出图像数据分辨率的组合，必需使得可以以相当大量的缩放比率来执行转换。因此，试图使得可以通过单一阶段以所有的缩放比率来执行每个转换，将导致电路尺寸的增加以及因此导致制造成本的增加。相比之下，如果例如将中间图像数据的分辨率设定为一种类型或一些类型，诸如上述D1、SXGA(水平1280像素×垂直960线)等，则可以减少进行转换的缩放比率的数量，由此允许容易地减小电路尺寸。

特别地，在其中将中间图像数据的分辨率和输出图像数据的分辨率都设定为一种类型的情形中，例如，仅仅使第一水平垂直过滤器101的缩放比率可变且使第二水平垂直过滤器201能够执行一种类型的分辨率转换处理就已经足够。因此，例如可通过水平一维线性过滤器和垂直一维线性过滤器的级联来容易地配置第二水平垂直过滤器201。

即使在将分辨率转换过程分成多个阶段的上述情形中，也需要一定数量的缩放比率，在该缩放比率下将输入图像数据转换成中间图像数据。因此，在通过水平垂直二维过滤器或通过水平一维线性过滤器和垂直一维线性过滤器的组合来配置第一水平垂直过滤器101的情况下，也将电路尺寸和处理时间增加到一定程度。然而，与单一阶段转换的情形相比，可易于减小电路尺寸和处理时间。此外，在其中如上所述地采用简单的垂直水平抽取处理的情形中，可更为显著地易于减小第一图像处理部分100的电路尺寸和处理时间。通过由本发明人所执行的主观图像评估证实：如果适当地设定在输入图像数据的分辨率和中间图像数据的分辨率之间的关系，则可以在一定程度上抑制混淆误差(aliasing error)，使得即使在通过简单的抽取处理来执行分辨率转换的情形中，通过人类视觉响应也不能检测出这种混淆误差。具体而言，例如通过在第一阶段中设定简单且高灵活性的处理并在第二阶段中设定高精确性的处理，可以在电路尺寸小的情况下实现灵活的缩放比率。

具体地，例如当将输出图像数据的分辨率设定为上述D1至VGA的分辨率时，适于将中间图像数据的分辨率设定为在D1至SXGA等的范围中变化的分辨率，但是中间图像数据的分辨率不局限于该范围中的分辨率，而是可以根据输入图像数据和输出图像数据的分辨率等设定为各种分辨率。

中间图像数据的分辨率不总是必须在输入图像数据的分辨率和输出图像数据的分辨率之间(即，例如(Xi≥Xm或Yi≥Ym)和(Xm≥Xo或Ym≥Yo))。只要所得到的图像的恶化程度可以接受，就可以显著地缩小且然后放大中间图像数据的分辨率。同样，可以放大且然后缩小中间图像数据的分辨率。此外，在其中缩放比率在预定范围内的情形中，例如可通过图像处理部分100或200单独地进行单一阶段转换。而且，本发明不局限于其中最后缩小输出图像数据的情形，而是可以最后放大输出图像数据。

水平垂直过滤器101和102不局限于如上所述的执行抽取或插值的那些过滤器，而是在水平垂直过滤器101和102进行各种类型的转换的情形中，还可以通过将转换过程分成多个阶段，容易地实现电路尺寸的减小等。

而且，可只在垂直方向或在水平方向上执行抽取和其它处理。

如果在适当时期输入/输出图像数据，就无需必须提供存储器102和202。然而，例如如果将对于缩略显示而生成的中间图像数据存储在第一存储器102中，且然后基于所存储的中间图像数据，第二图像处理部分200生成用于正常显示的输出图像数据或通过根据用户指令等对某一区域进行剪切所获得的输出图像数据，则可以在不需要解码操作等的情况下以更高的速度来容易地显示输出图像数据。

第一存储器102不一定必须存储从第一水平垂直过滤器101所输出的所有的中间图像数据。例如，根据来自在图像数据处理装置外部的主CPU基于第一存储器102的容量所给出的指令，第一存储器102可以只存储中间图像数据的一部分。具体而言，当执行图像剪切或变焦时，可以只存储将用于实际显示的数据等。

(第二实施例)

图4是图示根据本发明第二实施例的图像数据处理装置的结构的框图。

该图像数据处理装置包括第一图像处理部分300，其中将像素平均值计算电路301添加到第一实施例的第一图像处理部分100。应注意，可提供像素平均值计算电路301来代替第一水平垂直过滤器101。

像素平均值计算电路301计算例如在具有8×8＝64像素的每个输入图像数据中的亮度值的平均数和色差值的平均数，并将所获得的平均数用于对应于单个像素的数据，由此将输入图像数据转换成具有(Xi/8×Yi/8)分辨率的图像数据。

在该图像数据处理装置中，在其中所指定的缩小比率等于或小于1/8(Xi/8≥Xo或Yi/8≥Yo)的情形中，像素平均值计算电路301基于平均计算进行转换，且此后，如果需要则第一水平垂直过滤器101进行转换，然后，如果需要则第二水平垂直过滤器201进行转换，由此生成以所指定的缩小比率缩小的输出图像数据。

在其中所指定的缩小比率大于1/8的情形中，像素平均值计算电路301将输入图像数据按原样输出，并且只有第一水平垂直过滤器101和/或第二水平垂直过滤器201按所指定的缩小比率进行转换。

可以根据缩小比率等来操作像素平均值计算电路301或第一水平垂直过滤器101或二者。

本发明不局限于对8×8像素的平均计算，而是可以对不同数目的像素执行平均计算，或可以选择性地改变多个数目的像素并且可以对所选数目的像素执行平均计算。

同样，在将进行DCT转换(离散余弦变换)的图像数据作为输入图像数据输入的情形中，例如，可以使用DCT转换的图像数据的直流分量的DCT系数来代替通过像素平均值计算电路301所执行的平均计算。

(第三实施例)

将对这样的示例性情形进行描述：其中代替缩放处理或与缩放处理一起地以多个阶段来执行抽样因子转换、旋转和其它图像处理。

图5是图示根据本发明第三实施例的图像数据处理装置的结构的框图。

该图像数据处理装置包括第一图像处理部分400和第二图像处理部分500。第一图像处理部分400包括第一水平垂直过滤器401、第一图像处理器402和第一存储器102，而第二图像处理部分500包括第二水平垂直过滤器501、第二图像处理器502和第二存储器202。

水平垂直过滤器401和501都执行抽样因子转换，即调整亮度分量和色差分量。具体而言，如图6中所示，例如，第一水平垂直过滤器401将具有各种抽样因子的输入图像数据转换成具有以下抽样因子的中间图像数据：H0＝2、V0＝1、H1＝1、V1＝1、H2＝1和V2＝1。第二水平垂直过滤器501将该中间图像数据按原样输出，或将该中间图像数据转换成具有以下抽样因子的输出图像数据：H0＝4、V0＝1、H1＝1、V1＝1、H2＝1和V2＝1，并输出所获得的输出图像数据。

图像处理器402和502执行例如从主CPU等所指令的剪切处理和旋转处理(顺时针旋转，逆时针旋转，横向倒置等)。更具体地，例如，第一图像处理器402根据其中生成输入图像数据的流数据中所包含的旋转信息来执行旋转处理，而第二图像处理器502根据用户的指令或操作来执行旋转处理。

在其中图像处理器402和502执行旋转处理的情形中，水平垂直过滤器401和501执行对应于旋转处理的抽样因子转换。即，在执行旋转处理后，水平垂直过滤器401和501执行转换，其中校正色差分量中的相移以便实现预定的抽样因子。

将描述具有上述结构的图像数据处理装置在以下示例性情形中将如何操作：其中例如，当输入图像数据的抽样因子是H0＝2、V0＝2、H1＝1、V1＝1、H2＝1和V2＝1时，基于在流数据中的旋转信息将输入图像数据向右旋转90°(顺时针)，并根据用户的指令或操作进一步地将其向左旋转90°(逆时针)，且然后将其转换成抽样因子为H0＝4、V0＝1、H1＝1、V1＝1、H2＝1和V2＝1的输出图像数据。

首先，第一水平垂直过滤器401在考虑到随后的旋转处理的情况下来调整其抽样因子为H0＝2、V0＝2、H1＝1、V1＝1、H2＝1和V2＝1的输入图像数据中的色差分量，即，第一水平垂直过滤器401执行用于在水平方向上将尺寸加倍且在垂直方向上保持原始尺寸的操作(即，用于将在水平方向上用于颜色分量的像素数目加倍的处理)。接着，第一图像处理器402执行用于将图像数据向右旋转90°的处理。通过该处理，执行根据流数据中的旋转信息的旋转，由此生成其抽样因子为H0＝2、V0＝1、H1＝1、V1＝1、H2＝1和V2＝1的中间图像数据。并将所生成的中间图像数据存储在第一存储器102中。

此后类似地，第二水平垂直过滤器501在考虑到随后的旋转处理的情况下调整中间图像数据中的色差分量，即，第二水平垂直过滤器501执行用于在水平方向上将尺寸加倍且在垂直方向上以因子4来减小尺寸的处理(即，用于将在水平方向上用于颜色分量的像素数目加倍且用于将在垂直方向上用于颜色分量的像素数目以因子4减少的处理)。然后，第二图像处理器502执行用于将图像数据向左旋转90°的处理。通过该处理，执行对应于用户的指令、操作等的旋转，由此输出其抽样因子为：H0＝4、V0＝1、H1＝1、V1＝1、H2＝1和V2＝1的输出图像数据。

如上所述，临时地生成具有一种预定类型的抽样因子或一些预定类型的抽样因子的中间图像数据，由此即使存在输入图像数据和输出图像数据的抽样因子的许多组合，也可以减少转换所需的转换模式的数目。特别地，在还执行诸如图像旋转之类的处理的情形中，进一步需要对应于相应类型的旋转(旋转角度等)的转换模式等。在此情形中，可进一步提高减少模式数目的效果。

而且，如前所述，将进行了抽样因子转换和旋转处理的中间图像数据临时存储在第一存储器102中，且对所存储的中间图像数据进行根据用户指令、操作等的旋转处理，由此容易地实现高响应的显示。特别地，当输入图像数据是从压缩图像数据解码的数据时，解码处理所需的时间是不必要的。另外，当通过图像缩小完成由第一图像处理部分400所执行的处理时，可以减少第一存储器102所需的容量。

应注意，中间图像数据和输出图像数据的抽样因子不局限于上述的那些。此外，虽然在上述示例性情形中，中间图像数据和输出图像数据具有一种或两种类型的抽样因子，但本发明不局限于该示例性情形，且抽样因子的类型的数目可以为一个或三个或更多。

同样，虽然在上述示例性情形中，与抽样因子转换一起执行旋转处理，但本发明不局限于此，而是可以只执行旋转处理或抽样因子转换，且还可以执行图像剪切处理等。

此外，在前述实施例中所描述的部件和功能可以以各种方式进行组合，只要这些组合理论上可行。具体地，例如可以将诸如在第一实施例中所描述的图像缩放处理和诸如在第三实施例中所描述的抽样因子转换和/或旋转或者其它图像处理进行组合并组合地执行。同样，可以将在第二实施例中所描述的使用平均计算的图像缩小方法应用于第三实施例。

应注意，图像缩放处理不局限于诸如上述的使用抽取和插值的处理，而是例如可应用各种其它方法。

如上所述，特别地，本发明的图像数据处理装置能够在具有简单的图像数据处理装置的结构的情况下，例如通过高速执行简单处理，从具有百万或更多像素的所谓大尺寸的输入图像数据生成缩略图像。同样，本发明的图像数据处理装置能够根据用户的指令等，对所解码的图像等高速地执行变焦(剪切)处理、缩放处理、旋转处理和其它处理，且因而有效地用作例如应用于诸如数字照相机和照相机手机之类的静态图像记录和重放装置的其中对图像数据进行编码和解码的图像数据处理装置等。

Claims (19)

1.一种用于放大或缩小输入图像数据并输出输出图像数据的图像数据处理装置，所述装置包括：

第一图像处理部分，用于将具有第一分辨率的所述输入图像数据转换成具有第二分辨率的中间图像数据，以及

第二图像处理部分，用于将所述中间图像数据转换成具有第三分辨率的所述输出图像数据。

2.根据权利要求1所述的图像数据处理装置，其中所述第二和第三分辨率每一个都是预先设定的固定分辨率。

3.根据权利要求1所述的图像数据处理装置，其中所述第一和第二图像处理部分中的每一个至少执行像素抽取处理或垂直水平过滤处理，由此执行所述分辨率的转换。

4.根据权利要求1所述的图像数据处理装置，其中当所述输出图像数据与所述输入图像数据的缩小比率小于预定缩小比率时，所述第一图像处理部分以所述预定缩小比率执行所述分辨率转换。

5.根据权利要求4所述的图像数据处理装置，其中在图像水平方向和图像垂直方向上所述预定缩小比率都是1/8。

6.根据权利要求5所述的图像数据处理装置，其中对于所述输入图像数据中的8×8像素的矩形区域的每一个区域，所述第一图像处理部分计算在所述矩形区域中的像素的值的平均数作为所述中间图像数据中的像素的值。

7.根据权利要求6所述的图像数据处理装置，其中当所述输入图像数据是DCT系数形式的图像数据时，所述第一图像处理部分获得所述DCT系数的直流分量作为所述中间图像数据中的像素的值。

8.根据权利要求1所述的图像数据处理装置，其中所述中间图像数据具有可变地设定的尺寸，所述尺寸的最大值在图像水平方向上是1280像素且在图像垂直方向上是960像素。

9.根据权利要求1所述的图像数据处理装置，其中至少所述第一或第二图像处理部分设计成进一步至少执行用于对某一区域进行剪切的处理或旋转处理。

10.根据权利要求1所述的图像数据处理装置，其中所述输入图像数据是通过将至少包含图像调整信息或图像旋转信息的信息编码图像数据进行解码所获得的数据，

所述第一图像处理部分设计成基于所述图像调整信息或所述图像旋转信息来执行放大或缩小处理或者旋转处理。

11.根据权利要求1所述的图像数据处理装置，其中所述第二图像处理部分设计成基于由用户所指定的图像剪切区域信息、图像调整信息和图像旋转信息中的至少一个来执行剪切处理、放大或缩小处理或者旋转处理。

12.根据权利要求1所述的图像数据处理装置，其中可以从所述图像数据处理装置的外部来控制所述第一图像处理部分是否执行所述分辨率转换。

13.根据权利要求1所述的图像数据处理装置，还包括用于保持所述中间图像数据的存储器。

14.根据权利要求13所述的图像数据处理装置，其中所述存储器具有可根据从所述图像数据处理装置的外部所给出的指令来可变地设定的容量。

15.根据权利要求13所述的图像数据处理装置，其中所述第二图像处理部分设计成能够以多种方式对由所述存储器所保持的所述中间图像数据执行剪切处理、放大或缩小处理或者旋转处理。

16.根据权利要求1所述的图像数据处理装置，其中所述输入图像数据、所述中间图像数据和所述输出图像数据中的每一个是包含预定抽样因子的图像数据，所述预定抽样因子中包含亮度数据和色差数据，

至少所述第一或第二处理部分设计成进一步执行旋转处理并校正由于所述旋转处理而引起的所述色差数据的相移。

17.根据权利要求16所述的图像数据处理装置，其中所述第一和第二图像处理部分设计成以不同的放大或缩小比率对所述亮度数据和所述色差数据执行放大或缩小处理，由此转换所述抽样因子。

18.根据权利要求16所述的图像数据处理装置，其中所述输入图像数据、所述中间图像数据和所述输出图像数据中的每一个是由YCbCr颜色系统所表示的图像数据；

其中用于亮度Y的水平抽样因子是H0，

用于亮度Y的垂直抽样因子是V0，

用于色差Cb的水平抽样因子是H1，

用于色差Cb的垂直抽样因子是V1，

用于色差Cr的水平抽样因子是H2，

用于色差Cr的垂直抽样因子是V2，

所述第一图像处理部分将所述输入图像数据转换成具有H0＝2、V0＝1、H1＝1、V1＝1、H2＝1和V2＝1的抽样因子的所述中间图像数据。

19.根据权利要求16所述的图像数据处理装置，其中所述输入图像数据、所述中间图像数据和所述输出图像数据中的每一个是由YCbCr颜色系统所表示的图像数据；

其中用于亮度Y的水平抽样因子是H0，

用于亮度Y的垂直抽样因子是V0，

用于色差Cb的水平抽样因子是H1，

用于色差Cb的垂直抽样因子是V1，

用于色差Cr的水平抽样因子是H2，

用于色差Cr的垂直抽样因子是V2，

所述第二图像处理部分将所述中间图像数据转换成具有H0＝2、V0＝1、H1＝1、V1＝1、H2＝1和V2＝1或者H0＝4、V0＝1、H1＝1、V1＝1、H2＝1和V2＝1的抽样因子的所述输出图像数据。

Images