CN1933540A - 匹配于数据提供速度调整图像大小的图像处理装置和方法 - Google Patents

Abstract

本发明公开了一种图像处理装置，该装置包括：数据提供节点，用于接收在图像的主扫描方向上被扫描的行数据；耦合到数据提供节点的图像放大单元，用于对行数据应用放大过程以便在输出节点产生经放大的数据，所述放大过程用于以等于整数的放大因子来放大图像；以及耦合到图像放大单元的输出节点的图像缩小单元，用于对经放大的数据应用缩小过程以便在输出节点产生经缩小的数据，所述缩小过程用于以所需缩小因子来缩小经放大的图像。

Description

匹配于数据提供速度调整图像大小的图像处理装置和方法

技术领域

本发明一般地涉及图像处理装置和图像处理方法，并且尤其涉及用于放大和缩小图像的图像处理装置和图像处理方法。

背景技术

数字图像的放大和缩小是重采样过程，所述重采样是将与原始图像的像素位置相对应的采样间隔改变成不同的采样间隔。一般而言，这种过程需要利用新生成的像素值对原始图像的像素值进行插值(即，从原始图像的像素值生成将插入在原始图像的像素之间的新像素值)。这种插值的示例包括最近邻居插值、双线性插值、双三次插值等等。

最近邻居插值使用与需要获得其像素值的感兴趣的像素最接近的像素的值作为该感兴趣的像素的像素值，这是最简单的插值方法。双线性插值通过对位于需要获得其像素值的感兴趣的像素的上方、下方、左侧和右侧的四个相邻像素的值应用线性插值来获得感兴趣的像素的像素值。双三次插值使用插值的三次函数。一般而言，三次多项式是基于围绕需要获得其像素值的感兴趣的像素的16个相邻像素(4像素×4像素)的像素值来计算的，从而获得该感兴趣的像素的像素值。存在其他插值方法，例如使用sinc函数的方法。从计算量和图像质量之间的平衡的角度来看，双三次插值通常被用作产生令人满意的结果的优选方法。

数码相机具有数字缩放功能。在数字缩放处理中，由CCD/CMOS图像传感器捕获的图像数据的一部分被切出，并且该提取出的部分图像被放大或缩小，以变成具有所需图像尺寸的图像。在传统配置中，颜色处理器对图像传感器的输出数据执行图像剪切过程，然后图像数据被暂时存储在帧存储器中，随后使用作为单独的模块提供的缩放器来执行放大或缩小。

颜色处理器是这样的电路，其接收来自图像传感器的图像数据，并执行诸如缺陷像素校正、颜色插值、黑点校正等信号处理，其中所述缺陷像素校正用于通过处理包含在图像信号中的缺陷像素的数据来校正缺陷，所述颜色插值用于基于来自RGB Bayer阵列的颜色信息来获得每个像素的颜色数据，所述黑点校正用于基于颜色数据来校正镜头失真。缩放器是作为与颜色处理器分离的模块来提供的。缩放器用于通过对存储在帧存储器中的图像数据应用双三次插值等来执行图像放大或缩小。

在上述传统配置中，帧存储器是作为介于由颜色处理器执行的剪切过程和由缩放器执行的放大或缩小过程之间的中间元件来提供的。这是因为通过匹配图像传感器的输出速度来以顺序方式来执行任意倍率的放大是很困难的。图像传感器的输出是作为已在主扫描方向上被扫描的扫描行数据而以预定速度来提供的。如果图像数据在未经存储在帧存储器中的情况下被处理以用于放大或缩小，这种处理则需要以与图像数据流作为扫描行数据被提供时相同的速度来执行。

为了通过匹配数据提供速度来处理从图像传感器顺序输出的行数据，需要以恒定间隔重复执行对每个像素或每个图像块的处理。但是，在以任意倍率执行的图像放大中，插值过程需要多于一次地参考同一像素的像素值，以提高采样次数。而且，在以不等于整数的因子进行放大的情况下，同一像素值被参考的次数会依像素而有所不同。

例如，当利用最近邻居插值来执行以1.5为因子的放大时，第(n-1)个像素被参考一次，第n个像素被参考两次，而第(n+1)个像素被参考一次，该过程被重复以用于水平放大。此外，第(n-1)行的每个像素被参考一次，第n行的每个像素被参考两次，而第(n+1)行的每个像素被参考一次，该过程被重复以用于垂直放大。以这种方式，像素值被参考的次数不是恒定的，而且该次数随倍率因子变化。这导致难以相对于任意给定的倍率因子都以恒定的间隔执行顺序处理。

鉴于此，传统的数字缩放处理使用介于图像剪切过程和放大或缩小过程之间的中间帧存储器，从而致使能够在无需不必要地使算法和电路配置复杂化的情况下执行放大/缩小。但是，这样的配置导致在图像剪切过程和放大或缩小过程之间发生存储器访问，从而导致效率低下的处理。此外，由于中间数据被存储在存储器中，因此需要另外设置额外的存储器区域。

专利文献1公开了这样一种技术，其通过消除设置水平和垂直像素尺寸的需求和转换像素数目的需求来提高剪切过程的速度。专利文献2公开了一种用于以下配置的技术：在该配置中，在拍摄照明很差的物体的照片时，通过像素求和来提高感光度。该技术通过以下步骤来产生具有所需尺寸的高感光度图像数据：与在像素求和后将产生并显示的图像尺寸相比，在水平方向上将图像数据尺寸调整n倍，并在垂直方向上将图像数据尺寸调整m倍，然后在重新调整尺寸之后，执行n水平像素×m垂直像素的像素求和。

[专利文献1]日本专利申请公布No.2004-282305

[专利文献2]日本专利申请公布No.2005-115598

因此，存在对这样的图像处理装置的需求，该图像处理装置能够通过如下方式来以任意所需倍率执行图像的放大或缩小：在图像上的行数据在主扫描方向上被扫描时，通过匹配其数据提供速度来顺序处理行数据。

发明内容

本发明的一般目的在于提供一种图像处理装置，该装置基本上消除了由现有技术的限制和缺陷所导致的一个或多个问题。

本发明的特征和优点将在以下描述中呈现，并且部分特征和优点将从描述和附图中变得明显，或通过根据描述中提供的教导实施本发明而获知。本发明的目的以及其他特征和优点将通过说明书中的图像处理装置来实现和达到，在说明书中以全面、清晰、简洁而明确的方式指出该图像处理装置，以使本领域普通技术人员能够实施本发明。

为了根据本发明的目的实现这些和其他优点，本发明提供了一种图像处理装置，其包括：数据提供节点，用于接收在图像的主扫描方向上被扫描的行数据；耦合到数据提供节点的图像放大单元，用于向行数据应用放大过程以在输出节点产生经放大的数据，所述放大过程用于以等于整数的放大因子来放大图像；以及耦合到图像放大单元的输出节点的图像缩小单元，用于对经放大的数据应用缩小过程以在输出节点产生经缩小的数据，所述缩小过程用于以所需缩小因子来缩小经放大的图像。

此外，根据本发明的另一方面，提供了一种图像处理方法，该方法包括以下步骤：以预定数据速度接收在图像的主扫描方向上被扫描的行数据；向行数据应用放大过程以产生经放大的数据，所述放大过程用于以等于整数的放大因子来放大图像；以及向经放大的数据应用缩小过程以产生经缩小的数据，所述缩小过程用于以所需缩小因子缩小经放大的图像，其中以上步骤是作为匹配所述数据速度的一系列过程来执行的。

根据本发明的至少一个实施例，图像缩小在以整数倍率因子执行了放大之后被执行，从而产生具有所需倍率的图像。鉴于此，通过匹配其数据提供速度，可以容易地顺序处理在图像的主扫描方向上被扫描的行数据。这使得能够利用相对简单的电路配置以任意所需倍率执行放大或缩小，而无需使用中间的帧存储器，并且不需要额外的存储空间来存储中间数据。

附图说明

从以下结合附图的详细描述中，本发明的其他目的和特征将变得明显，在附图中：

图1是示出根据本发明的图像处理装置的配置示例的框图；

图2是示出根据本发明的图像放大过程的示意图；

图3是示出图像放大单元和图像缩小单元的配置示例的框图；

图4是示出用作垂直放大的行缓冲器的双缓冲器配置的示例的图；

图5是示出用于垂直低通滤波的行缓冲器的配置示例的图；

图6是示出用于垂直缩小的行缓冲器的配置示例的图；

图7是示出在由图1的图像处理装置执行的图像放大过程的每个过程阶段时图像数据的图；

图8是示出被捕获的图像数据的示意图；

图9是示出被剪切的图像数据的示意图；

图10是示出经水平放大的图像数据的示意图；

图11是示出经垂直放大的图像数据的示意图；

图12是示出在水平低通滤波之后的图像数据的示意图；

图13是示出经水平缩小的图像数据的示意图；

图14是示出在垂直低通滤波之后的图像数据的示意图；

图15是示出经垂直缩小的图像数据的示意图；

图16A和图16B是示出根据本发明的图像剪切和图像放大/缩小过程的程序的流程图；

图17是示出根据本发明的图像处理装置的变体的配置的图；

图18是用于说明图17所示图像处理电路的操作的示意图；

图19是用于说明图17所示图像处理电路的操作的另一示例的示意图；

图20是示出由图17所示图像处理装置执行的图像处理的示例的图；

图21是示出水平缩小单元的电路配置示例的图；以及

图22是用于说明图21所示水平缩小单元的操作的时序图。

具体实施方式

在下文中，将参考附图描述本发明的实施例。

图1是示出根据本发明的图像处理装置的配置示例的框图。图1所示的图像处理装置10包括图像传感器11、图像插值单元12、图像剪切单元13、图像放大单元14、图像缩小单元15、CPU 16、存储器17和系统总线18。

图像传感器11可以是诸如CCD或CMOS之类的固态成像设备，并且具有光检测部分，在光检测部分中有多个光电二极管以矩阵方式排列。这些光电二极管构成用于成像目的的各个像素。入射光逐个像素地经历光电转换。通过光电转换获得的电荷被存储在电荷存储部分中以待读出。然后，读出的图像信号被放大，并被A/D转换为数字图像数据，该数字图像数据被提供到下一级。

与图像数据信号同步的垂直同步信号、水平同步信号和时钟信号与数字图像数据一道被提供。将被输出的数字图像数据是在主扫描方向上被扫描的扫描行数据，并以预定速度被提供(输出)。

图像插值单元12接收来自图像传感器11的数字图像数据，并执行颜色插值，该颜色插值基于来自RGB Bayer阵列的颜色信息来产生每个像素的颜色数据。在适当时候，还可以执行其他信号处理，例如用于通过处理包含在图像信号中的缺陷像素的数据来校正缺陷的缺陷像素校正、用于基于颜色数据校正镜头失真的黑点校正等等。由图像插值单元12处理过的图像数据被提供到图像剪切单元13。该被提供的图像数据是在主扫描方向上被扫描的扫描行数据，并以预定速度被提供。

图像剪切单元13剪切出与所提供的图像数据的指定部分相对应的部分图像数据。通过该剪切过程，只有与原始图像的扫描行数据的指定部分相对应的图像数据作为有效数据被提供到图像放大单元14。该被提供的图像数据是在主扫描方向上被扫描的扫描行数据，并以预定速度被提供。

图像放大单元14以相对于所提供的图像数据的固定倍率执行图像放大。以固定倍率执行的放大指的是等于诸如1、2、4、...、n之类的整数并且不能自由调整的倍率因子。倍率因子例如可固定为等于单个整数(例如4)的因子。可替换地，多个整数倍率因子(例如1、2、4、...、n)被预先提供，并可以从中选出所需倍率因子。

图像放大单元14以等于整数的倍率因子执行放大，而不是以任意给定的倍率因子执行放大。例如，当采用最近邻居插值时，当在水平方向上放大n倍的情况下，针对每个像素，相同的像素数据被输出n次，当在垂直方向上放大n倍的情况下，针对每一行，同一行的数据被输出n次。因此，通过将行数据在行缓冲器中保存恒定时间段以用于图像放大，可将放大作为以恒定间隔重复的过程来执行。因此，可容易地实现匹配数据提供速度的顺序处理。即使在采用不同于最近邻居插值的另一插值方案(例如双线性插值或双三次插值)时，情况也是一样的，因为放大在带有恒定的数据保存时段的情况下可作为以恒定间隔重复的过程来执行。

由图像放大单元14以等于整数的因子放大的图像的图像数据被提供到图像缩小单元15。该被提供的图像数据是在主扫描方向上被扫描的扫描行数据，并以预定速度被提供。

图像缩小单元15例如被配置为以任意所需倍率执行图像缩小。为了重新调整被图像放大单元14暂时放大的图像的图像数据的尺寸以生成具有所需图像尺寸的图像，图像缩小单元15以某个缩小因子执行图像缩小，所述缩小因子被确定为经放大的图像尺寸与所需图像尺寸之比。

为了便于说明，最近邻居插值被用于实现以2/3为因子的缩小，作为一个简单示例。在水平缩小的情况下，三个连续像素中的两个像素被参考一次，而另一剩余像素不被参考。这样的过程被多次重复。在垂直缩小的情况下，三个连续行中的两行的每个像素被参考一次，而另一剩余行中的像素不被参考。这样的过程被多次重复。在此情况下，使行数据被存储在行缓冲器中的时间段保持恒定，并且在跳过某些过程的同时执行恒定时间间隔的过程就足够了。因此，可以容易地实现匹配数据提供速度的顺序过程。即使在采用不同于最近邻居插值的另一插值方案(例如双线性插值或双三次插值)时，情况也是一样的，因为可以通过在跳过某些过程的同时在带有恒定的数据保持时间的情况下执行恒定时间间隔的过程来执行缩小。

在此缩小过程中，图像数据优选地利用双线性插值、双三次插值等来处理。此外，可以优选地在缩小过程之前执行低通滤波过程，从而提高最近邻居插值按原始像素值原样放大的图像的图像质量。应该注意，图像缩小单元15除了用于执行数字缩放过程以外，也可被用于缩小存储在帧存储器(存储器17)中的数据尺寸。在此情况下，倍率因子(缩小因子)被设置为1。

从图像缩小单元15输出的具有所需图像尺寸的图像数据经由系统总线18被存储在存储器17(帧存储器)中。CPU 16控制图像处理装置10的每一部分的操作。

在图1所示的根据本发明的图像处理装置10中，图像缩小在以整数倍率因子执行的放大之后被执行，从而产生具有所需倍率的图像。鉴于此，在图像的主扫描方向上被扫描的行数据可以通过匹配其数据提供速度而被容易地顺序处理。这致使能够在不使用中间帧存储器的情况下，通过使用相对简单的电路配置来执行任意所需倍率的放大或缩小。应该注意，如果所需图像尺寸与原始图像尺寸相比被缩小，则可以不执行放大过程。

图2是示出根据本发明的图像放大过程的示意图。原始图像是SXGA图像(1280×960像素)，其中的一部分被以10为因子切出以用于缩放(放大)。将被存储在帧存储器中的所需图像尺寸是QVGA(320×240像素)。

首先，图像剪切单元13切出128×96像素的区域，作为部分图像，该部分图像在垂直和水平方向上是由图像传感器11捕获的图像的1/10。然后，图像放大单元14放大剪切出的部分图像，以产生尺寸大于QVGA的图像，其中QVGA是所需尺寸。例如，如果倍率因子可从1、2和4中选出，则将倍率因子设置为4就足够了。最后，图像缩小单元15在垂直方上和水平方向上以0.625为因子将已放大到512×384像素的图像缩小，从而产生具有所需尺寸的QVGA图像。

图3是示出图像放大单元14和图像缩小单元15的配置示例的框图。如图3所示，图像放大单元14包括水平放大单元21、行缓冲器22和垂直放大单元23。图像缩小单元15包括水平低通滤波器31、水平缩小单元32、行缓冲器33、垂直低通滤波器34、行缓冲器35和垂直缩小单元36。

水平放大单元21可被配置为利用最近邻居插值按照需要将水平方向(主扫描方向)上的每个像素的像素值重复多次，以实现所需倍率因子。如果需要更高图像质量的图像放大，则可以采用双线性插值或双三次插值。

行缓冲器22用于保存作为水平放大单元21的输出的在水平放大之后的行数据。通过重复参考保存在行缓冲器22中的像素值，垂直放大单元23基于最近邻居插值来执行垂直放大。当使用最近邻居插值时，使用具有与单个水平行相对应的单个级的行缓冲器就足够了。但是，为了提高处理效率，可替换地，可以使用双缓冲器配置，如图4所示。在图4所示的双缓冲器配置中，提供了两个行缓冲器22A和22B。当数据被写入行缓冲器之一时，数据从另一行缓冲器中读出以被处理。

如果使用双线性插值或双三次插值，行缓冲器22则需要包括与各个水平行相对应的多个级。保存在行缓冲器的多个级中的像素值被参考，以根据预定的插值公式(线性函数或三次函数)来计算行与行之间的插值，从而生成用于将被插入到原始图像的水平行之间的新水平行的像素值。

水平低通滤波器31在水平方向上执行低通滤波，以消除可能在图像缩小后导致假信号噪声(alias noise)的高频分量。水平缩小单元32使用诸如双线性插值或双三次插值之类的插值方法来在水平方向上缩小图像数据。垂直低通滤波器34在垂直方向上执行低通滤波，以消除可能在图像缩小后导致假信号噪声的高频分量。

行缓冲器33用于保存作为水平缩小单元32的输出的在水平缩小之后的行数据。行缓冲器33包括多个行缓冲器级，其中级的数目与垂直低通滤波器34的抽头的数目相对应。例如，如果垂直低通滤波器34的抽头的数目为3个以在垂直方向上执行遍及三个像素的低通滤波，行缓冲器33则可以具有如图5所示的配置。

图5中的行缓冲器33具有两级配置，其包括各自对应于一个水平行的行缓冲器33A和行缓冲器33B。在水平缩小之后，一行中的各个像素值被从水平缩小单元32相继提供，并被相继存储在行缓冲器33A中，从而致使行缓冲器33A存储一行的图像数据。此后，水平缩小后的下一行的各个像素值被从水平缩小单元32相继提供，并被相继存储在行缓冲器33A中，而已经存储在行缓冲器33A中的前一行的各个像素值被从中相继输出以被相继存储在行缓冲器33B中。利用这种布置，垂直低通滤波器34接收从水平缩小单元32直接提供的第(n+2)行上给定水平位置处的像素值、从行缓冲器33A提供的第(n+1)行上同样水平位置处的像素值，以及从行缓冲器33B提供的第n行上同样水平位置处的像素值。

垂直缩小单元36使用诸如双线性插值或双三次插值之类的插值方法来在水平方向上缩小从垂直低通滤波器34输出的行数据。在此过程中，行缓冲器35保存从垂直低通滤波器34输出的行数据。通过参考保存在行缓冲器35中的该行数据的像素值，垂直缩小单元36执行缩小。

如果使用双线性插值或双三次插值，行缓冲器35则需要包括与各个水平行相对应的多个级。保存在行缓冲器的多个级中的像素值被参考，以根据预定的插值公式(线性函数或三次函数)来计算行与行之间的插值，从而生成用于位于原始图像的水平行之间的被缩小的图像的水平行的像素值。

在行缓冲器35中提供的级的数目依赖于插值类型。在双三次插值的情况下，4×4像素的像素值被参考。因此，在此情况下，如图6所示的配置可被采用。

图6所示的行缓冲器35具有三级配置，其包括行缓冲器35A、行缓冲器35B和行缓冲器35C，其中每个行缓冲器与一个水平行相对应。一行中的各个像素值被从垂直低通滤波器34相继提供，并被相继存储在行缓冲器35A中，从而致使行缓冲器35A存储一行的图像数据。此后，下一行的各个像素值被从垂直低通滤波器34相继提供，并被相继存储在行缓冲器35A中，而已经存储在行缓冲器35A中的前一行的各个像素值被相继输出以被相继存储在行缓冲器35B中。此后，再下一行的各个像素值被从垂直低通滤波器34相继提供，并被相继存储在行缓冲器35A中，而已经存储在行缓冲器35A中的前一行的各个像素值被相继输出以被相继存储在行缓冲器35B中，而已经存储在行缓冲器35B中的再前一行的各个像素值被相继输出以被相继存储在行缓冲器35C中。

利用这种布置，垂直缩小单元36接收从垂直低通滤波器34直接提供的第(n+3)行上给定水平位置处的像素值、从行缓冲器35A提供的第(n+2)行上同样水平位置处的像素值、从行缓冲器35B提供的第(n+1)行上同样水平位置处的像素值，以及从行缓冲器35C提供的第n行上同样水平位置处的像素值。垂直缩小单元36基于这四个像素值计算预定的三次插值函数以获得位于原始图像的水平行之间的被缩小的图像的水平行的像素值。

图7是示出由图像处理装置10执行的图像放大过程的每个过程阶段时图像数据的图。在图7中，每个信号波形的“高”时段指示数据有效时段，而其“低”时段指示数据无效时段。此外，图7所示示例对应于图2所示示例，并且示出了在从原始图像数据中提取出的部分图像数据被放大四倍，然后再以0.625为因子被缩小的放大和缩小过程中的每个过程阶段时获得的图像数据。

字符指示(a)对应于所捕获的图像数据。如(a)所示，由图像传感器11获得的数字图像数据由与各个水平行相对应的多个图像数据块构成，这些图像数据块被逐个块地相继输出，其中一个水平行的图像数据构成一个块。在相邻的水平行之间，提供未呈现任何图像数据的空白时段，作为空隙(margin)，空隙的时间段被用于光圈调整等目的。

通过切出(a)所示被捕获的图像数据的一部分来获得剪切后的图像数据，如(b)所示。在此示例中，对图像的剪切从垂直方向上的第m水平行开始。在第m水平行之前不存在被剪切的图像数据，并且对于第m到第(m+3)行(例如如果除了所示出的行之外的其他行也被计算在内，则是第m到第(m+95)行)存在某些剪切图像数据。在图7所示的第m到第(m+3)行中的每一行中，一个水平行的数据长度(有效时段的长度)通过剪切过程被缩短。

如(b)所示的图像剪切后的图像数据以等于整数(在图7所示的示例中为4)的因子在水平方向上被放大。(c)所示波形与这种水平放大后的图像数据相对应。一个水平行的数据长度(有效时段的长度)是(b)所示的图像剪切后的图像数据长度的四倍。这代表水平方向上的像素数目变为四倍这一事实。

此后，(c)所示的水平放大之后的图像数据以等于整数(在图7所示的示例中为4)的因子在垂直方向上被放大。(d)所示波形与这种垂直放大后的图像数据相对应。四个水平行的数据是单独针对(c)所示的水平放大后的图像数据的每个水平行生成的。

这之后，(d)示出的这种垂直放大后的图像数据在水平方向上以0.625为因子被缩小。(e)所示波形与这种水平缩小之后的图像数据相对应。一个水平行的数据长度(有效周期的长度)是(d)示出的经垂直放大后的图像数据的0.625倍。这代表水平方向上的像素数目变为0.625倍这一事实。

最后，(e)示出的这种水平缩小后的图像数据在垂直方向上以0.625为因子被缩小。(f)示出的波形与这种垂直缩小之后的图像数据相对应。水平行的数目变为(e)示出的水平缩小后的图像数据的0.625倍。在此过程中，如果采用最近邻居插值，则只需要从n个水平行中选出0.625n行用于输出。如果采用诸如双线性插值或双三次插值之类的另一插值方案，则参考多个水平行的像素值，以根据插值函数(线性函数或三次函数)计算行与行之间的插值，从而生成0.625n个水平行的数据。

图8到图15是示出在由图像处理装置10执行的图像放大过程的每个过程阶段中被捕获作为图像数据的二维阵列格式的图像数据的图。在图8中，A_m，n指示在执行根据本发明的放大之前的图像坐标(m，n)处的像素值。部分图像40被从图8所示的被捕获的图像数据中切出，从而产生图9所示的剪切出的部分图像。剪切出的部分图像由像素值A_m，n、A_m，n+1、A_m+1，n和A_m+1，n+1构成。

例如，利用图3所示的水平放大单元21将图9所示的被剪切出的部分图像在水平方向上放大四倍。当采用最近邻居插值时，四倍放大是通过将同样像素值重复四次来实现的。图10示出了这种水平放大之后的图像。如图10所示，针对水平方向上的每个像素值，同样像素值被重复四次。每个水平行中的数据被相继存储在图3所示的行缓冲器22中。

存储在行缓冲器22中的像素值在垂直方向上被图3所示的垂直放大单元23重复，从而执行垂直放大。图11示出了在这种垂直放大之后的图像。如图11所示，针对垂直方向上的每个像素值，同样的像素值被重复四次。

然后，图3所示的水平低通滤波器31在水平方向上对图11所示的经垂直方向上放大的图像执行低通滤波。图12示出了在这种水平低通滤波之后的图像。由于像素值经低通滤波被修改，因此经修改的像素值如图12中的A′所示。虽然图示从第三行开始被省略，但是在垂直方向上的八行数据都以与图11相同的方式存在。

图12所示的实心圆圈指示将通过对上述水平低通滤波后的图像应用水平缩小而获得的缩小图像的像素位置(像素坐标)。为了获得在与这些实心圆圈相对应的坐标处的像素值B_1，1、B_1，2、...等等，图3所示的水平缩小单元32采用诸如双线性插值或双三次插值之类的插值方案。即，基于布置在水平方向上的像素值计算预定的插值函数，以获得在与给定的实心圆圈相对应的位置上的像素值。

图13是示出从水平缩小单元32输出的水平缩小图像的示意图。每个水平行的数据被相继存储在图3所示的行缓冲器33中。

然后，图3所示的垂直低通滤波器34对存储在行缓冲器33中的像素值在垂直方向上执行低通滤波。图14示出了这种垂直低通滤波后的图像。由于像素值经低通滤波被修改，因此经修改的像素值如图14中的B′所示。虽然图示从第三行开始被省略，但是在垂直方向上的八行数据都以与图11相同的方式存在。图14所示的每个水平行的数据被相继存储在图3所示的行缓冲器35中。

图14所示的实心圆圈指示将通过对上述垂直低通滤波后的图像应用垂直缩小而获得的缩小图像的像素位置(像素坐标)。为了获得在与这些实心圆圈相对应的坐标处的像素值C_1，1、C_1，2、...等等，图3所示的垂直缩小单元36采用诸如双线性插值或双三次插值之类的插值方案。即，基于被存储在行缓冲器35中的被布置在垂直方向上的像素值计算预定的插值函数，以获得在与给定的实心圆圈相对应的位置上的像素值。这样一来，可获得如图15所示的在垂直方向上被缩小的图像。

图16A和图16B是示出根据本发明的图像剪切和图像放大/缩小过程的程序的流程图。在此程序中，由图像传感器11捕获的图像的尺寸被指定为Xs×Ys个像素，存储在存储器17(帧存储器)中的图像的尺寸被指定为Xd×Yd个像素，由图像放大单元14使用的固定放大因子为E，并且由图像缩小单元15使用的所选缩小因子为R。此外，假设图像传感器11具有原色过滤器。对于垂直方向和水平方向，从被捕获的图像中切出的部分不一定由相同比率定义。纵横比可被修改。此外，为了实现各种图像处理效果，固定的放大因子E和所选的缩小因子R可被分解成水平因子Ex和Rx和垂直因子Ey和Ry，以使这些因子可被彼此独立地设置。

在图16A的步骤S1处，由具有原色Bayer阵列的成像设备利用图像传感器11获得的模拟电信号被转换成数字数据。在步骤S2处，图像插值单元12在Bayer阵列数字数据的像素之间执行插值，以将数据转换成颜色数据(YCbCr、RGB等等)。

在步骤S3处，从具有Xs×Ys个像素的被捕获的图像中切出某个区域，以使切出的区域的大小在垂直方向上和水平方向上都为1/Z倍(即1/Z：切出的区域与整个图像之比)。在步骤S4处，检查Xd与Xs/Z相比的相对大小(或检查Yd与Ys/Z相比的相对大小)。

如果Xd小于Xs/Z，则最后将被存储在存储器中的图像的尺寸小于剪切出的图像的尺寸。在此情况下，只需执行缩小过程就足够了。因此，在步骤S5，具有(Xs/Z)×(Ys/Z)个像素的图像以等于Xd(Z/Xs)(即Yd(Z/Ys))的因子R被缩小。在下一步骤S6处，通过步骤S5的缩小过程获得的具有Xd×Yd个像素的图像数据被传输到帧存储器以存储在其中。

如果Xd等于Xs/Z，则最后将被存储在存储器中的图像的尺寸等于剪切出的图像的尺寸。在此情况下，无需调整剪切出的图像的尺寸。因此，程序前进至步骤S6，在该步骤，通过步骤S3的剪切过程获得的具有Xd×Yd个像素的图像数据被传输到帧存储器以存储在其中。

如果Xd大于Xs/Z，则最后将被存储在存储器中的图像的尺寸大于剪切出的图像的尺寸。在此情况下，可能需要使用放大和缩小的组合。因此，在图16B所示的步骤S7处，检查Xd与Xs(E/Z)相比的相对大小(或检查Yd与Ys(E/Z)相比的相对大小)。

如果Xd小于Xs(E/Z)，则最后将被存储在存储器中的图像的尺寸比剪切出的图像的尺寸的E倍(固定倍率)还要小。在此情况下，需要执行图像放大和图像缩小两者。因此，在步骤S8，具有(Xs/Z)×(Ys/Z)个像素的图像以固定的倍率因子E被放大。在下一步骤S9，以等于(XdZ)/(XsE)，即(YdZ)/(YsE)的因子R缩小具有Xs(E/Z)×Ys(E/Z)个像素的图像。在下一步骤S10，通过步骤S9的缩小过程获得的具有Xd×Yd个像素的图像数据被传输到帧存储器以存储在其中。

如果Xd等于Xs(E/Z)，则最后将被存储在存储器中的图像的尺寸等于剪切出的图像的尺寸的E倍(固定倍率)。在此情况下，只需执行放大就足够了。因此，程序前进至步骤S11，在该步骤，具有(Xs/Z)×(Ys/Z)个像素的图像以固定的倍率因子E被放大。此后，在步骤S10，通过步骤S11的放大过程获得的具有Xd×Yd个像素的图像数据被传输到帧存储器以存储在其中。

如果Xd大于Xs(E/Z)，则最后将被存储在存储器中的图像的尺寸大于剪切出的图像的尺寸的E倍(固定倍率)。在此情况下，程序终止，因为没有合适的处理可被执行。在该示例中，假设固定的倍率因子E是唯一一个可获得的倍率因子，并且没有其他整数倍率因子可获得。可替换地，可以假设可获得多个整数倍率因子(例如2、4、8、...等等)，因此可从中选出所需倍率因子以执行合适的放大。

下面，将描述根据本发明的图像处理装置的变体。根据本发明的图像处理装置的变体被配置用于缩小处理所需行存储器(行缓冲器)的尺寸。

在诸如数码相机之类的成像装置中，诸如CCD或CMOS之类固态成像设备中的像素数目已响应于用户对更高清晰度图像的需求而不断增长。但是，随着每个水平行中像素数目的增长，放大/缩小处理所需的行存储器(行缓冲器)的尺寸也有所增长，从而导致电路尺寸的增长。

如背景技术所描述的，相关领域的数字化缩放处理(尺寸调整处理)使用颜色处理器对图像传感器的输出数据执行图像剪切过程，并将图像数据临时存储在帧存储器中，然后通过使用作为单独模块提供的缩放器来执行放大或缩小。如果将在不使用帧存储器作为中间元件的情况下执行放大/缩小过程，则需要顺序处理从图像传感器连续提供的行数据。尤其是在提供所需倍率的放大过程的情况下，需要在图像处理电路中提供大量行存储器作为临时缓冲器。从缩小电路规模的角度来看，提供大量行存储器不是优选的。

在调整尺寸之前将图像数据(中间数据)存储在帧存储器中的配置可以减小电路尺寸，但是引发了需要额外存储空间来存储中间数据的问题。此外，由于在放大/缩小过程期间需要多次访问帧存储器，因此引发了系统总线被长期占用的问题。

另一方面，根据本发明的上述图像处理装置首先以整数倍率执行放大过程，然后再以可以任意设置的放大因子执行缩小过程。使用最近邻居方法以整数倍率执行的放大过程是通过重复多次读取存储在行存储器中的针对一个水平行的数据(即通过多次拷贝数据)来实现的，从而针对一个水平行只需要提供一个行存储器。此外，缩小过程可以通过使用比放大过程中更少的行存储器来实现。上述以整数倍率执行的放大过程和以任意倍率执行的缩小过程的组合可以以所需倍率实现尺寸调整过程(数字化缩放)，同时减小行存储器的尺寸。

但是，即使在本发明的图像处理装置中，当每个水平行的像素数据由于固态成像设备中的像素数目增长而增长时，整数倍率的放大过程所需的用于一个水平行的行存储器的尺寸在考虑电路实现时无法再被忽略。因此，希望提供这样一种配置，该配置可以减小以整数倍率执行的放大过程所需的用于一个水平行的行存储器的尺寸。

图17是根据本发明的图像处理装置的变体的配置的图。在图17中，用相同标号指代与图1相同的元件，并且将省略其描述。

图17所示的图像处理装置100包括照相机模块101、用于执行剪切过程的图像剪切单元13、用于执行1/N水平缩小过程的水平缩小单元110、用于以放大因子M(M：整数)执行简化放大过程的放大单元111、用于以任意倍率执行缩小过程的图像缩小单元15、CPU 16、存储器17和系统总线18。图像剪切单元13、水平缩小单元110、放大单元111和图像缩小单元15一起构成图像处理电路102。

照相机模块101包括图像传感器11和图像插值单元12(参见图1)。从照相机模块101输出的数字图像数据是扫描行数据，该扫描行数据在主扫描方向上被扫描并以预定速度被提供(输出)。

图17所示的图像处理装置100与图1所示图像处理装置10的不同之处主要在于水平缩小单元110被插入在图像剪切单元13和放大单元111之间。此外，放大单元111被配置为使用最近邻居方法按垂直放大因子所指示的次数将垂直方向(副扫描方向)上的每个像素的值重复多次，并使用最近邻居方法按水平放大因子所指示的次数将水平方向(主扫描方向)上的每个像素的值重复多次。这里，垂直放大因子和水平放大因子可以彼此独立，只要它们都是整数即可。

水平缩小单元110执行1/N水平缩小过程，以将水平像素的数目减少到像素数目的1/N，从而使提供到放大单元111的图像的一个水平行中的像素数目减少到原数目的1/N。结果，放大单元111中所需行存储器的电路尺寸变为原来的1/N，从而使得放大单元111的电路尺寸大大减小。

图18是用于说明图像处理电路102的操作的示意图。在图18中，图像处理电路102接收在垂直方向上有V0个像素，并在水平方向上有H0个像素的输入图像，并且产生在垂直方向上有V1个像素，并在水平方向上有H1个像素的输出图像。

当V0×H0的输入图像作为在主扫描方向(水平方向)上扫描的扫描行数据被提供到图像处理电路102时，图像剪切单元13剪切出输入图像的指定部分。由图像剪切单元13剪切出的图像数据作为扫描行数据被提供到水平缩小单元110。被提供到水平缩小单元110的扫描行数据的一个水平行中的像素的最大数目为H0。

水平缩小单元110以预定速率对提供的数据的像素进行子采样或对预定数目个像素的数据取平均，从而产生水平像素数目是原来的1/N的图像数据。从水平缩小单元110输出的扫描行数据的一个水平行中的像素的最大数目为H0/N。

基于从水平缩小单元110提供的扫描行数据，放大单元111利用最近邻居方法以整数倍率执行放大过程。在此过程中，被提供的一个水平行中的每个像素的值按垂直放大因子所指示的次数在垂直方向(副扫描方向)上被重复多次，并且每个像素的值按水平放大因子所指示的次数在水平方向(主扫描方向)上被重复多次，从而执行放大过程。应该注意，垂直放大因子和水平放大因子可以彼此独立，只要它们是整数即可。因此，放大单元111对于输入图像数据的一个水平行只需要一个行存储器，如图18所示。在此示例中，一个水平行中的像素的最大数目为H0/N，因此一个用于H0/N个像素的行存储器就足够了。

经放大单元111放大的图像数据被提供到图像缩小单元15。图像缩小单元15以自由指定的放大因子对提供的图像数据执行图像缩小过程。在此过程中，如果使用诸如双线性方法或双三次方法之类的插值方法，则需要针对多个水平行使用多级行存储器，如图18所示。即，存储在这多级行存储器中的像素值被参考，以便根据线性或三阶预定插值公式计算出行与行之间的插值，从而获得位于原始图像的水平行之间的被缩小的图像的水平行的像素值。一级行存储器(即一个行存储器)中的像素数目可以等于输出图像的一个水平行中的像素数目，在本示例中等于H1。

在图18所示配置的情况下，如上所述，水平缩小单元110的提供使得可以将放大单元111的行存储器的电路尺寸减小到原来的1/N。随后将描述，水平缩小单元110的电路尺寸可以很小。因此，通过将具有数千像素的行存储器的尺寸减小到原来的1/N引起的电路尺寸减小的效果远远超过增加水平缩小单元110引起的电路尺寸增大的效果。

图19是用于说明图17所示图像处理装置100的操作的另一示例的示意图。在图19中，图像处理电路102接收在垂直方向上有V2个像素并在水平方向上有H2(＝H0×N)个像素的输入图像，并且产生在垂直方向上有V1个像素，并在水平方向上有H1个像素的输出图像。

水平缩小单元110以预定速率对从图像剪切单元13提供的数据的像素进行子采样或对预定数目个像素的数据取平均，从而产生水平像素数目是原来的1/N的图像数据。在此示例中，从水平缩小单元110输出的扫描行数据的一个水平行中的像素的最大数目为H0(＝H2/N)。

基于从水平缩小单元110提供的扫描行数据，放大单元111利用最近邻居方法以整数倍率执行放大过程。因此，放大单元111对于输入图像数据的一个水平行只需要一个行存储器，如图19所示。在此示例中，一个水平行中的像素的最大数目为H0，因此一个用于H0个像素的行存储器就足够了。

在图19所示配置的情况下，如上所述，水平缩小单元110是在无需减小放大单元111的行存储器的尺寸的情况下提供的，因此在水平方向上被处理的图像的尺寸可以至少增大到N倍。即，利用现有的图像处理电路，增加充当水平缩小单元110的极小电路使得在水平方向可处理的图像的尺寸是原始图像处理电路可处理的图像尺寸的N倍。

图20是示出由图像处理装置100执行的图像处理的一个示例的图。图20示出在从1开始逐渐增大缩放因子，以便以任意倍率对精密像素尺寸(fine pixel size)数据(大约8百万个像素)执行数字缩放过程时，当缩放因子为1.06时执行的过程。

输入图像121的尺寸为3200×2400个像素，而最终输出图像的尺寸也为3200×2400个像素。首先，执行图像剪切过程以剪切出由3018×2264个像素构成的部分122，该部分对应于在垂直和水平方向上是输入图像121的1/1.06倍的区域。接下来，执行水平缩小过程，以将剪切出的图像122的水平尺寸缩小到原尺寸的1/2，从而产生由1509×2264个像素构成的缩小图像123。然后，在水平方向上缩小了的图像123的行数据被连续存储在放大单元111(参见图17)的行存储器130中，以便以整数倍率执行简化的放大过程。提供上述水平缩小过程使得即使行存储器130具有2百万像素的规格(即存储器在一个水平行中具有1600个像素)也能够传递数据。此后，放大单元111执行放大过程来将图像尺寸在水平方向上增大到4倍并在垂直方向上增大到2倍，从而产生由6036×4528个像素构成的放大图像124。此外，可设置任意放大因子的缩小过程被执行，以缩小放大图像124来生成由3200×2400个像素构成的尺寸缩放了1.06倍的最终图像125。

图21是示出水平缩小单元110的电路配置的示例的图。图21的水平缩小单元110是这样一个电路，其通过对两个相邻像素取平均的子采样来执行1/2缩小过程，并且水平缩小单元110包括触发器141、触发器142、插值电路143、第一组合逻辑电路144、第二组合逻辑电路145、第三组合逻辑电路146和亮度数据计数器147。图像数据一般包括色度数据和亮度数据。在图21中，只示出了针对亮度数据的过程。对于色度数据可以执行类似的过程。图21所示计算两个相邻像素的平均值的配置是非限制性示例，并且可替换地，水平缩小单元110可以通过对N个连续像素取平均来执行子采样，从而执行1/N缩小过程。

亮度数据与输入时钟同步地被提供到触发器141和触发器142。触发器141和142分别响应于第一组合逻辑电路144的输出和第二组合逻辑电路145的输出来加载偶数像素的值(亮度数据)和奇数像素的值(亮度数据)，其中第一组合逻辑电路144的输出和第二组合逻辑电路145的输出是响应于亮度数据计数器147的计数值生成的。

插值电路143计算从触发器141提供的亮度数据的偶数像素的值和从触发器142提供的亮度数据的奇数像素的值的平均值，并将计算出的值作为插值后的亮度数据输出。插值电路143输出平均值的时刻是基于响应于亮度数据计数器147的计数值而生成的第三组合逻辑电路146的输出来控制的，从而使平均值以输入时钟速率的一半的速率输出。

插值电路143可以具有这样的配置，即两个输入值被相加，并将结果向右移动一位。即，插值电路143可以仅利用一个加法器和一个移位电路来实现。水平缩小单元110的电路尺寸从而可变得极小。

图22是用于说明图21所示水平缩小单元110的操作的时序图。图22示出输入时钟A、亮度数据有效信号B、亮度数据C、亮度数据计数器输出D、偶数亮度数据加载使能信号E、偶数亮度数据F、奇数亮度数据加载使能信号G、奇数亮度数据H、插值后亮度数据有效信号I和插值后亮度数据J。这些信号中的每一个都利用图21的电路示出。

输入时钟A、亮度数据有效信号B和亮度数据C被提供到水平缩小单元110，并且插值后亮度数据有效信号I和插值后亮度数据J被从水平缩小单元110输出。所有信号都表现为与输入时钟A的上升沿同步改变。如结合图21所述，水平缩小率是1/2。当亮度数据与指示有效的亮度数据的亮度数据有效信号B一起被提供到水平缩小单元110时，亮度数据计数器147对有效的亮度数据计数。以这种方式获得的计数值在图22中被示为亮度数据计数器输出D。

作为到触发器141的使能输入的偶数亮度数据加载使能信号E在亮度数据计数器输出D指示偶数的时段期间变为高(HIGH)。作为到触发器142的使能输入的奇数亮度数据加载使能信号G在亮度数据计数器输出D指示奇数的时段期间变为高。基于这种规定，偶数数据被存储在触发器141中，奇数数据被存储在触发器142中。触发器141的输出和触发器142的输出在图22中分别被示为偶数亮度数据F和奇数亮度数据H。

插值后亮度数据有效信号I被提供到插值电路143，并在亮度数据计数器输出D指示偶数的时段期间变为高。插值电路143计算偶数亮度数据F和奇数亮度数据H的平均值，以在插值后亮度数据有效信号I为高的时段期间作为输出提供。以这种方式计算出并输出的平均值在图22中被示为插值后亮度数据J。

此外，本发明并不局限于这些实施例，在不脱离本发明的范围的情况下，可以执行各种变化和修改。

本发明基于分别在2005年9月15日和2006年6月30日递交到日本专利局的在先日本专利申请No.2005-268216和No.2006-181692并要求其两者的优先权，这里通过引用并入了这两个专利申请的全部内容。

Claims (14)

1.一种图像处理装置，其特征在于包括：

数据提供节点，用于接收在图像的主扫描方向上被扫描的行数据；

耦合到所述数据提供节点的图像放大单元，用于对所述行数据应用放大过程以在输出节点产生经放大的数据，所述放大过程用于以等于整数的放大因子来放大所述图像；以及

耦合到所述图像放大单元的输出节点的图像缩小单元，用于对所述经放大的数据应用缩小过程以在输出节点产生经缩小的数据，所述缩小过程用于以所需缩小因子来缩小所述经放大的图像。

2.如权利要求1所述的图像处理装置，还包括：

图像传感器，用于向输出节点输出图像数据；以及

耦合在所述图像传感器的输出节点和所述数据提供节点之间的图像剪切单元，用于将与从所述图像数据中剪切出的一部分相对应的数据作为所述行数据提供到所述数据提供节点。

3.如权利要求2所述的图像处理装置，还包括：

耦合到所述图像缩小单元的输出节点的系统总线；以及

耦合到所述系统总线的帧存储器，用于存储所述经缩小的数据。

4.如权利要求2所述的图像处理装置，其中所述图像放大单元被耦合到所述图像剪切单元的输出节点，而不具有中间的帧存储器。

5.如权利要求1所述的图像处理装置，其中由所述图像放大单元执行的放大过程的放大因子是至少一个固定倍率因子，并且由所述图像缩小单元执行的缩小过程的缩小因子是可自由设置的倍率因子。

6.如权利要求1所述的图像处理装置，其中由所述图像放大单元执行的放大过程是基于最近邻居插值的放大，并且其中所述图像缩小单元包括被配置为对所述经放大的数据应用低通滤波的滤波单元。

7.如权利要求6所述的图像处理装置，其中由所述图像缩小单元执行的缩小过程是基于双线性插值或双三次插值的缩小。

8.如权利要求1所述的图像处理装置，其中所述图像缩小单元被耦合到所述图像放大单元的输出节点，而不具有中间的帧存储器。

9.如权利要求1所述的图像处理装置，还包括水平缩小单元，该水平缩小单元被配置为接收图像数据作为输入，并提供通过应用用于在水平方向上缩小所述图像数据的水平缩小过程获得的数据，作为到所述数据提供节点的所述行数据。

10.如权利要求9所述的图像处理装置，其中所述图像放大单元被配置为通过利用最近邻居方法拷贝每个像素值来放大所述图像。

11.如权利要求9所述的图像处理装置，其中所述水平缩小单元被配置为通过子采样来执行所述水平缩小过程，所述子采样对所述图像数据的多个像素取平均。

12.如权利要求11所述的图像处理装置，其中所述水平缩小单元被配置为利用加法器和移位电路来计算所述平均值。

13.一种图像处理方法，其特征在于包括以下步骤：

以预定数据速度接收在图像的主扫描方向上被扫描的行数据；

对所述行数据应用放大过程以产生经放大的数据，所述放大过程用于以等于整数的放大因子来放大所述图像；以及

对所述经放大的数据应用缩小过程以产生经缩小的数据，所述缩小过程用于以所需缩小因子缩小所述经放大的图像，

其中以上步骤是作为与所述数据速度相匹配的一系列过程来执行的。

14.如权利要求13所述的图像处理方法，还包括剪切出原始图像的一部分作为部分图像的步骤，其中所述行数据是所述部分图像的行数据。

Images