CN1906632A

CN1906632A - 图像处理装置和图像处理方法

Info

Publication number: CN1906632A
Application number: CNA2005800019685A
Authority: CN
Inventors: 村木淳
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2004-11-05
Filing date: 2005-11-04
Publication date: 2007-01-31
Anticipated expiration: 2025-11-04
Also published as: JP4442392B2; WO2006049329A1; TWI298464B; US20060098898A1; TW200630901A; JP2006135565A; KR20070039474A; DE602005027654D1; EP1697894B1; KR100827052B1; CN1906632B; EP1697894A1; US7760967B2

Abstract

当第一DMA单元和第二DMA单元将存储器中由多行组成、分为单元的图像数据进行传输时，以已经设置的图像的放大倍数为基础，对各单元控制放大部分的传输的行数量。即使设置任何放大倍数，第二缩小部分输出的行数量可一直与在JPEG编码器中指定的行数量一致。另外，为了行数量互相匹配，不需要在第二缩小部分中设置诸如缓冲存储器的额外电路结构。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及可用于数字照相机的图像处理装置和图像处理方法。

背景技术

按照惯例，例如，在数字照相机中，为了将采集的数字图像数据记录在记录介质中，在记录过程中执行多级图像处理。例如，图像处理执行如下：(i)拜耳插值处理，用于将在采集的时候暂时存储在存储器中的拜耳数据，即由具有颜色信息的像素组成的图像数据，该颜色信息取决于基色拜耳阵列中的滤色片，转换成对于每个像素都包括RGB数据的YUV数据(亮度和色差数据)。(ii)放大倍数改变处理，用于增加或减少转换后的YUV数据的像素的个数，从而实现数字缩放功能等；以及(iii)JPEG编码处理。另外，在此类图像处理中，通过在垂直方向上划分整个屏幕而获得的称作带状带(band-shaped belt)的多行的数据已经在处理单元中定义，而不是在处理单元中的整个图像(拜耳数据或YUV数据)上定义数据，并且数据已经被逐带地从工作存储器读取并顺序地处理。

另一方面，在JPEG编码处理的时候，如果编码格式是例如4:2:2，以8×8像素的块为单位(MCU)执行编码，并且如果上述格式是4:2:0，以16×16像素的块为单元执行编码。因而，为了高速的操作，在通过硬件执行上述各处理的情况中，就需要设置8行或16行的带输入到用于JPEG编码处理的单元中。因此，可在先于JPEG编码处理的放大倍数改变处理中设置的放大倍数局限于与JPEG编码处理可直接处理的行数相对应的数值，即放大倍数局限于8的倍数。

为了解决该问题，Jpn.Pat.Appln.公开出版物申请号2003-18610公开了一种在用于放大倍数改变处理的单元中另外设置缓冲存储器的方法，暂时对放大倍数改变之后的一屏图像的YUV数据进行解压缩和存储；并且当一屏图像的YUV数据存储在缓冲存储器中时，将YUV数据以8行为单位从缓冲存储器向用于JPEG编码处理的单元传输。根据此类方法，可实现可设置多种放大倍数的数字缩放功能，而不会对放大倍数施加限制。

然而，在上述方法中，在放大倍数改变之后暂时解压缩一屏图像的YUV数据，并且将其保存在缓冲存储器中，然后，以8行为单位读取所得到的数据。因此，为该目的需要另外设置电路结构。此外，存在这样的问题，用于存储一屏图像的YUV数据的操作和以8行为单位的读取操作成为了高速图像处理的障碍。

发明内容

本发明的目标是提供一种可由简化电路结构执行多种放大倍数设置的图像处理装置，其包括放大倍数处理单元，用于对以多行为单位的图像数据执行放大倍数改变处理；还包括另一个处理单元，其连接于放大倍数处理单元的后侧，本发明的目的还包括提供一种图像处理方法。

根据本发明的实施例，图像处理装置包括：

传输图像数据单元的传输单元，所述图像数据单元包括多行；

放大倍数改变单元，用于对所述传输单元传输的图像数据各输入单元执行放大倍数改变处理；

放大倍数设置单元，用于设置所述放大倍数改变单元的放大倍数；以及

传输数量设置单元，其基于所述放大倍数设置单元设置的放大倍数，设置包括在所述传输单元传输的输入单元中行的数量。

根据本发明的另一实施例，传输图像数据单元的一种图像处理方法，所述单元包括多行，对各传输的图像数据单元执行放大倍数改变处理，并且输出放大倍数改变后的图像数据单元，所述输出单元包括多行，所述方法包括如下步骤：

设置包括在输出单元中的行的预期的数量；

设置所述放大倍数改变处理的放大倍数；以及

基于设置的放大倍数设置各输入单元的行的数量，以使得包括在所述输出单元中的行的数量等于所需要的行的数量。

根据本发明的另一实施例，用于传输图像数据单元的图像处理装置的一种计算机程序，所述单元包括多行，对各所述传输图像数据的单元执行放大倍数改变处理，并且在放大倍数改变后输出图像数据单元，所述输出单元包括多行，所述程序存储在计算机可读介质中，所述程序包括：

设置包括在输出单元中的行的所需的数量；

设置所述放大倍数改变处理的放大倍数；以及

基于设置的放大倍数设置各输入单元的行的数量，以使得包括在所述输出单元中的行的数量等于所需的行的数量。

本发明另外的目标和优势将在以下的描述中阐明，并且通过本说明书上述目标和优势的一部分是显而易见的，或者可以通过本发明的实施而得知。

本发明的目标和优势可通过以下特别指出的手段和组合实现并获得。

附图说明

引入本说明书并构成本说明书一部分的附图示出了本发明的实施例，并且与以上给出的总体描述和以下给出的实施例的详细描述一起，用于解释本发明的原理，其中

图1是根据本发明描述图像处理装置的总体配置的电路图；

图2A是示出在图像处理单元中定义的带的示意图；

图2B是示出在图像处理单元中定义的带的示意图；

图3是示出传输从存储器读取的数据的方法的视图；

图4A是示出拜耳数据的一个例子的视图；

图4B是当从拜耳数据产生YUV数据时的概念性视图；

图5是示出在放大处理中的源图的像素和插值点之间关系的例子的视图；

图6是示出在缩小处理中的输入侧带和输出侧带之间的行的数量的例子的视图；

图7是示出当JPEG编码格式为4:2:0时，JPEG编码器中的输入和输出数据的示意性视图；

图8是示出与通过控制单元的数据传输相关的处理的流程图；

图9A是示出当关于源图设置各带的输入范围时的例子的视图；

图9B是示出当关于源图设置各带的输入范围时的例子的视图；

图10是示出图9A和图9B中的各带中的放大后的图像的坐标位置和源图的坐标位置之间关系的视图；

图11是示出图像处理装置的各部分中的各带上的数据内容的变化的转换图表；

图12是示出与通过控制单元的放大倍数设置相关的处理的流程图；

图13是示出通过控制单元的用于预览的缩小设置处理的流程图；

图14是示出通过放大倍数设置处理设置的放大倍数和与数据传输一并生成的图像数据的例子的视图；

图15是示出通过控制单元的静态图像编码处理的流程图；以及

图16是描述另一图像处理装置的总体配置的电路图。

具体实施方式

现在将参考附图描述根据本发明的图像处理装置和图像处理方法的实施例。图1是描述根据本发明的实施例的图像处理装置1的配置的方块图。该图像处理装置1包括在具有数字变焦功能的数字照相机中。希望该装置用于执行插值处理和放大倍数改变处理，其中插值处理用于由诸如CCD的图像拾取设备输出的拜耳数据产生YUV数据；放大倍数改变处理用于以设置的放大倍数增加或减少产生的YUV数据的像素的数量。这里使用的放大倍数改变处理被设置为，例如，用于记录其大小小于图像拾取设备的像素数量的图像或通过数字照相机的数字变焦功能放大图像的处理。

控制单元2要用于控制数字照相机的整体操作，并且包括含CPU、程序ROM、RAM、和输入输出接口的外围电路(未示出)。另外，基于存储在程序ROM中的程序，控制图像处理装置1的各部分，从而控制单元2起数目设置装置、放大倍数设置装置、数目控制装置或放大倍数控制装置的作用。

存储器3是DRAM等，其暂时存储从CCD等输出的拜耳数据和YUV数据，并且其还是JPEG编码结果将输出到的传输目的地。存储器3有充足的容量用于暂时存储各项数据。

第一直接存储器存取(DMA)单元4是数据传输单元，其从存储器3以预定的数据单位读取拜耳格式的图像数据，并且响应来自控制单元2的指令向拜耳插值单元5传输所读的图像数据。第二DMA单元6是数据传输单元，其从存储器3以预定的数据单位读取YUV数据格式的图像数据，并且经由开关7向放大单元8传输所读的图像数据。开关7响应来自控制单元2的指令，在从拜耳插值单元5输出的YUV格式数据和存储器3上将从第二DMA单元6传输的YUV数据之间，改变将被输入到放大单元8的图像数据。

如图2A所示，由第一DMA单元4和第二DMA单元6(均对应于传输装置)从存储器3读取的图像数据被设置为带状长方形部分上的图像数据，该带状长方形部分通过在垂直方向将整幅图像“A”分为预定的大小来获得，并且被设置为包括在多行像素上的数据的图像数据“B”。这称为带(belt)。如图2B所示，关于各个带B0，B1，B2…，根据处理操作可以在前面紧邻的带上重叠单行或多行数据。例如，当四行形成一带时，带0由行0到行3组成，并且带1由行3到行6组成等等。此外，在第一DMA单元4和第二DMA单元6中，带B上从存储器3读取的数据暂时存储在其内部存储器中。另外，如图3所示，沿垂直方向逐像素扫描带B上的数据，并且将扫描后的数据输出到后级中(rear stage)。这种数据扫描称为带扫描。

拜耳插值单元5对从第一DMA单元4传输的拜耳数据执行插值处理(参考图4A)，并且最终输出插值后的数据作为YUV数据。在本实施例中，如图4B所示，一个像素的YUV数据由5×5像素上的拜耳数据生成。

放大单元8响应来自控制单元2的指令以预期的放大倍数放大经由开关7输入的YUV数据(增加像素的数量)，并且有选择性地输出放大后的数据到以并联状态、串联连接到后级一侧的第一缩小单元9或第二缩小单元10。数据分别通过带扫描被输入放大单元8并且从放大单元8输出。可以独立水平地或垂直地设置放大倍数，并且设置放大的算法为线性插值，线性插值用于水平地和垂直地由周围的6个像素获得一个像素的插值结果。图5示出了垂直放大5/3倍的例子。例如，当在源图中的像素“2”和像素“3”之间(图中的“2.3”或“2.9”)存在插值点时，利用“0”到“5”中的像素并使用Lanczos作为插值系数获得该插值点(输出像素)。当在源图中的一个像素被分为16384个部分时，以像素间隔具体说明放大倍数设置。例如，在2倍放大倍数的情况中，获得8192，并且在4倍放大倍数的情况中，获得4096。因此，可以设置可由该分辨率表示的任意放大倍数。

第一缩小单元9和第二缩小单元10对于输入的YUV数据执行缩小操作，并且输出所得到的数据。缩小算法根据均值处理技术，并且输入和输出的数据分别作为带扫描的装置位置(tool place)。放大倍数可水平地和垂直地独立设置。当放大倍数定义为“n/m”(n≤m)时，在水平放大倍数中，“n”可设置在1到256的范围内，“m”可设置在1到256的范围内。在垂直放大倍数中，“n”可设置在1到16的范围内，“m”可设置在1到32的范围内。所获得的垂直放大倍数的值“m”和“n”分别作为在被处理的带的输入侧的行数量和输出侧的行数量。图6示出了垂直方向6行减小为4行的例子。

第一缩小单元9和第二缩小单元10是完全相等的单元。在放大倍数分母(m)中放大倍数设置彼此相同的限制条件下，对于缩小单元9和10可以分别设置不同的放大倍数。然而，关于第二缩小单元10中的放大倍数的分子(nominator)(n)(＝输出带的行的数量)，从在后级的JPEG输入接口(I/F)12的连接来看，根据JPEG编码的格式选择“8”或“16”。

第三DMA单元11是数据传输单元，其响应来自控制单元2的指令，从第一缩小单元9接收带扫描获得的图像数据，并且将接收到的图像数据传输到存储器3中的相应区域。

JPEG输入I/F 12是接口单元，其以像素块单元(MCU)暂时存储通过带扫描输入的图像数据(YUV数据)，在JPEG编码器13侧根据输入格式(Y:Cb:Cr)执行到4:2:2，4:2:0等的数据转换，并且输出转换后的数据。也就是说，当以上的输入格式是4:2:0时，输出16×16像素作为像素块单元，如图7所示。当输入格式是4:2:2时，输出8×8像素作为像素块单元。该JPEG编码器13对输入的YUV数据以4:2:2或4:2:0的格式进行JPEG编码，并且将编码后的数据输出。第四DMA单元14是将编码后的数据传输到存储器3上的相应区域的数据传输单元。

现在，将在这里描述控制单元2处理的内容。首先，将给出关于所处理内容的描述，该处理涉及第一DMA单元4和第二DMA单元6的控制下的数据传输。图8是示出以上处理过程的流程图。控制单元2开始处理并且执行将被处理的带号“i”的初始化(步骤SA1)，并且计算对应第i条带(处理开始时为第0条带)的左端、右端、顶端和底端的在源图(拜耳数据或YUV数据)上的坐标(ys_left，ys_rgt，ys_top，ys_btm)(步骤SA2)。在本实施例中，执行以下计算。

这里，作为例子，在已经设置了数字变焦功能的情况下，假定对于YUV数据执行放大处理。方便起见，给出的描述中假定：水平和垂直放大比率是5倍；放大后的图像的大小是32×32像素；并且各条带的行数是“8”(＝放大后的图像的带数是“4”)。图9A和图9B各自示出了在该假设基础上的带处理时候的源图(YUV数据)和与其对应的放大后的图像(最终输入到JPEG编码器的图像)C中的带0到带3之间的关系。在该图中，以大圆标记源图的像素。其中，这些在处理的带的范围内的像素，即在图9A中的第0条带和图9B中的第一条带范围内的像素由稍微填充的圆来标记。另外，与处理的带相关的输出带范围(32×8像素)内的像素由小黑圆来标记。

当放大后的图像C中的各像素的坐标是(xb，yb)；沿垂直方向和水平方向放大比率的倒数是(xstep，ystep)；并且在源图上对应放大后的图像C上的左上端的位置是(x0，y0)，源图的源图相容(compatible)坐标(xs，ys)可通过如下公式获得：

xs＝xb×xstep+x0

ys＝yb×ystep+y0

在本实施例中，各带的左端、右端、顶端和底端的坐标位置由以上公式计算。此时，对于左端和上端的计算结果执行截去小数点以下的数字的处理，对于右端和底端的计算结果执行截去小数点以下的数字的处理，从而获得最终的计算结果。

图10是示出几种坐标之间相互关系的视图，所述几种坐标为：通过以上计算得到的图9A和图9B中所示的各条带中放大后的图像C的左端、右端、顶端和底端的坐标；通过以上公式直接获得的源图的左端、右端、顶端和底端的坐标；以及充当最终计算结果作为输入范围的左端、右端、顶端和底端的坐标。从所示出的各坐标的值之中，对应于放大后的图像C的左上端的源图上的位置(x0，y0)需要用来计算源图相容坐标(xs，ys)，即，在带0中的源图相容坐标中的顶端(垂直坐标：0.8)和左端(水平坐标：1.5)，上述源图上的位置被确定为取决于与放大比率的关系的坐标值。在本实施例中，以上坐标值可以从在控制单元2的程序ROM等中准备的相容表中获得。

接下来，以放大处理所需的单个像素或多个像素来扩展这些坐标(步骤SA3)。这里假定以3个像素垂直地和水平地执行放大。下一步，当源图是拜耳数据并且需要拜耳插值(在步骤SA4中为是)时，以在拜耳插值单元5(步骤SA5)中用于拜耳插值处理所需的单个像素或多个像素扩展这些坐标。这里，假定以2个像素垂直地和水平地执行放大。那么，在第一DMA单元4中设置所获得的坐标作为源图的输入区，并且开始带处理(通过带扫描的数据传输)(步骤SA6)。另外，当源图是YUV数据而不是拜耳数据时(在步骤SA4中的否)，在第二DMA单元6中设置步骤SA3中获得的坐标作为源图的输入区域，然后，开始带处理(步骤SA7)。然后，带处理终止(在步骤SA8中的是)，更新带号“i”(增加)(步骤SA9)。接下来，处理返回SA2，重复上述处理，并且在处理最后带号码的带，即一幅图像处理终止的时间点终止处理。

图11是转换图表，其示出了图像处理装置1的各部分中的各带上的数据内容的变化以及控制单元2的上述处理。也就是，从存储器3传输的源图A中的插值输入带拜耳数据“a”在拜耳插值单元5中被像素插值。其后，像素插值后的数据作为放大输入带YUV数据“b”被传输到放大单元8。另外，经受放大处理(增加像素数量)后的放大输出带(基础带)YUV数据“c”被传输到第一缩小单元9和第二缩小单元10，并且以不同的缩小比率缩小传输的数据。然后，缩小后的数据作为第一输出带YUV数据“d”和第二输出带YUV数据“e”输出。其中，第二输出带YUV数据“e”经由JPEG输入I/F 12输出到JPEG编码器13。

然后，在上述带处理中(数据传输)，借助步骤SA2中的计算来单独地确定各带的左端、右端、顶端、和底端(图10中的垂直源图坐标)如图10所示。即，单独控制行的数量，从而从第二缩小单元10经由JPEG输入I/F 12输入到JPEG编码器13的第二输出带YUV数据“e”中的行数量保持在与JPEG编码器13侧的输入格式相应的行数量(这里，8行)。当然，以上计算是基于放大比率，并且该放大比率反映在被控制的行数量上。出于这个原因，即使不局限于上述放大比率而设置任何放大比率(或缩小比率)，可以使第二输出带YUV数据“e”的行数量等于与JPEG编码器13侧的输入格式相应的行数量。

现在，将给出当控制单元2在放大单元8，第一缩小单元9和第二缩小单元10中设置放大倍数时，关于处理内容的描述。图12是示出用于以上处理的过程的流程图。

在图12中，缩写词的意思如下：

对于源图

SreVsz：输入图像的高度

SreBeltVszAvg：平均带高度

放大后图像

BaseVsz：放大后图像高度

BaseBeltVsz：放大后图像的带的高度

JPEG输入图像

McuVsz：JPEG输入图像的高度

McuBeltVsz：JPEG输入图像的带的高度

对各图像都相同

BeltNum：带的数量

例如，要设置的放大倍数是与数字变焦功能所需的放大倍数对应的数值。这里，仅仅对于垂直方向上的放大倍数的设置给出了描述。

当处理开始时，控制单元2依据此刻的JPEG编码格式从确定的带高度计算带数量，即行数量(“16”或“8”)和所需JPEG输入图像的大小(输入JPEG编码器的13的图像)(步骤SB1)。接下来，从计算的带数量和源图高度计算源图的平均带高度(步骤SB2)，并且确定是否计算的平均带高度比JPEG输入图像的带高度更大(步骤SB3)。

当此确定的结果为否，并且源图的平均带高度等于或小于JPEG输入图像的带高度时，确定仅需要放大处理。然后，设置放大后的图像的带高度等于JPEG输入图像的带高度(步骤SB4)，放大单元8的垂直放大倍数设置为从JPEG输入图像的带高度和源图的平均带高度之间的比率获得的放大倍数(步骤SB5)，并且第二缩小单元10的垂直放大倍数设置为“×1”(步骤SB6)。

另一方面，当在步骤SB3中的确定结果为是时，即，当源图的平均带高度超过JPEG输入图像的带高度时，进一步确定在步骤SB2中获得的源图平均带高度的计算结果是否是可以除尽的(步骤SB7)。这里使用的函数“int(r)”是用于截去小数点以下的数字的函数。当该数值已经成功除尽(在步骤SB7中的是)，确定仅需要缩小处理，并且使放大后图像的带高度等于源图的平均带高度(步骤SB8)。然后，将放大单元8的垂直放大倍数设置为“×1”(步骤SB9)，并且第二缩小单元10的垂直放大倍数设置为通过使放大后的图像的带高度等于JPEG输入图像的带高度而获得的放大倍数(步骤SB10)。

另外，当在步骤SB7中的确定结果为否时，即，当步骤SB2中获得的源图的平均带高度的计算结果是不能除尽的值时，确定需要在放大后执行缩小，并且将放大后的图像的带高度变为通过截去放大后图像带高度的小数点以后数字而获得的数值(步骤SB11)。这里使用的函数“roundup(r)”是用于截去小数点以下的数字的函数。接下来，从变化后的放大图像的带高度和带数量计算放大后图像的虚拟(virtual)高度(步骤SB12)。然后，放大单元8的垂直放大倍数被设置为通过放大后图像的虚拟高度和源图的高度之间的比率而获得的放大倍数(步骤SB13)。而且，第二缩小单元10的垂直放大倍数被设置为通过使放大后图像的带高度等于IPEG输入图像的带高度而获得的放大倍数(步骤SB14)。

这样在放大单元8和第二缩小单元10中设置依照当时所需的放大倍数的组合放大倍数，从而可最终从第二缩小单元10获得输出的放大后图像的带数量和带高度作为与所需放大倍数相应的数值。也就是，放大后图像的大小等于与所需放大倍数相应的处理目标的大小。

然后，在上述的步骤SB6、SB10和SB14中的任何处理都终止后，执行图13中所示的预览缩小设置处理(步骤SB15)。

图13中，缩写词的意思如下：

PrvVsz：输入图像的高度

PrvBeltVszAvg：平均带高度

在这种处理中，首先，从步骤SB1中获得的JPEG输入图像的带数量和预定的预览图像(显示YUV数据)的高度来计算预览源图的平均带高度(步骤SB101)。确定获得的计算结果是否为可除尽的值(步骤SB102)。当确定结果是肯定时(在步骤SB102中为是)，设置第一缩小单元9的垂直放大倍数为通过使预览源图的带高度等于JPEG输入图像的带高度而获得的放大倍数(步骤SB104)。另一方面，当确定结果是否定时(在步骤SB102为否)，将先前源图的平均带高度四舍五入，并且预览源图的带高度变化为四舍五入后的数值(步骤SB103)。此后，设置第一缩小单元9的垂直放大倍数为通过使预览源图变化后的带高度等于JPEG输入图像的带高度而获得的放大倍数(步骤SB104)。这样，控制单元2终止放大倍数的设置。

图14是这样一个视图，其示出：在已经确定在以上放大倍数设置处理的时候需要在放大之后执行缩小并且步骤SB11到步骤SB14中的处理已经执行的情况下，放大单元8、第一缩小单元9和第二缩小单元10的具体设置的放大倍数的组合；以及源图“a”、放大后图像“b”、JPEG输入图像“c”和预览源图“d”的内容。这里，示出JPEG编码格式为4:2:0，源图“a”的大小为3000000像素(2048×1536)，与所需的放大倍数(缩小)相应的JPEG输入图像的大小为2000000像素(1600×1200)，并且预览源图“d”是QVGA(240×320)的情况。

在这样的情况中，放大单元8的水平放大倍数是“×1”，并且其垂直放大倍数是“×1.025”。放大后图像“b”的大小2048×1575，带数量775，并且带高度是21。另外，第二缩小单元10的水平放大倍数是“×100/128”，并且其垂直放大倍数是“×16/21”。JPEG输入图像“c”的大小是其所需的大小，1600×1200，带数量75，并且带高度16。同时，第一缩小单元9的水平放大倍数是“×20/128”，并且其垂直放大倍数是“×4/21”。预览源图“d”的大小是320×300，其稍稍大于QVGA的大小，带数量是75，并且带高度是4。

现在，给出关于静态图像编码处理的描述，其数字照相机中在静态图像采集操作的时候，由控制单元2基于上述数据传输处理和放大倍数设置处理来执行。图15是示出用于以上处理的过程的流程图。也就是，首先，依靠在上述一系列数据传输操作中使用第一缩小单元9的第一数据转换，控制单元2从拜耳数据生成显示YUV数据(预览图像)。然后，该控制单元2向存储器3输出生成的YUV数据，并且同时，依靠使用第二缩小单元10的系统对来自拜耳数据的主图像执行JPEG编码，并且然后向存储器3输出编码后的数据(步骤SC1)。随后，依靠上述一系列数据传输操作中使用第二缩小单元10的第二数据转换，控制单元2执行缩略图像的JPEG编码，该缩略图像与来自于第一数据转换过程中存储在存储器3中的显示YUV数据的主图像相关，并且向存储器3输出编码后的数据(步骤SC2)。

在图像处理装置1中，如上所述，存储在存储器3中的图像数据被逐带地放大或缩小以执行JPEG编码。在这种情况中，即使当已经设置了任何放大比率(或缩小比率)时，使将输入到JPEG编码器13的带(第二输出带YUV数据“e”)的行数量等于由JPEG编码器13设置的行数量。因此，即使在第二缩小单元10的后级侧存在JPEG编码器13，也没有必要在第二缩小单元10中设置用于确保行数量一致的、诸如缓冲存储器的电路，并且通过多种放大倍数设置的放大倍数改变处理可由简化电路结构以高速执行。

例如，如图16中所示的图像处理装置51，可在设置单一放大倍数改变单元52作为图像放大或缩小的处理单元的配置中获得这样的有益效果。

尽管在本实施例中第一DMA单元4和第二DMA单元6逐像素地执行带扫描，但是带扫描还可以以两个像素为单位执行。另外，尽管分别利用两种设备，在本实施例中为第一DMA单元4和第二DMA单元6，向拜耳插值单元5和开关7(放大单元8)传输图像数据，但是它们可以集成在一起。而且，本实施例中在放大单元8的前级仅存在拜耳插值单元5。然而，可以在放大单元8的前级串联设置多个处理单元，并且这些处理单元可并联设置或可通过转换(changeover)开关等配置为有选择性地连接。

在本实施例中，如上所述，依靠放大单元8和第二缩小单元10两者中的连续的放大和缩小处理，来执行源图所需的放大倍数的缩小和/或放大。因此，在所需的放大倍数是缩小比率使得在第二缩小单元10中导致图像退化的情况中，调整设置给放大单元8和第二缩小单元10的放大倍数，以便不在第二缩小单元10中设置这样的缩小比率，从而使得可以执行不发生图像退化的缩小处理。结果，可以一直以高质量获得缩小后的图像。此外，由于根据适合各处理的算法执行放大单元8中的放大处理和第二缩小单元10中的缩小处理，就可以以高质量获得放大图像或缩小图像。在本实施例中，在放大单元8中使用的插值系数定义为Lanczos，可以使用另一插值系数。

而且，在本实施例中，第一缩小单元9和第二缩小单元10已经并联地连接在放大单元8，并且因此，可能从相同源图在相同时间，即，在短时间段内有效地生成大小不同的图像。结果，在上述的静态图像采集操作的时候，可以通过两种数据转换生成主图像、与其相关的缩略图像和预览图像，并且同时可以降低数字相机中的采集间隔。当通过本实施例中的第一数据转化生成主图像和预览图像时，可生成具有不同目标的另一图像。例如，可生成用于测量编码质量的图像来替代小图像，并且生成的图像可以通过JPEG编码器13编码。在这种情况中，主图像可通过第二数据转换生成。此外，尽管未示出，除第一缩小单元9和第二缩小单元10之外，可并联于这两个单元设置另一缩小单元。在这种情况中，上述两种数据转换处理可由单个数据转换取代。

本实施例中尽管放大或缩小后的图像数据是YUV数据，但是放大或缩小后的图像数据可以是RGB图像数据。尽管本实施例已经示出放大或缩小后的图像数据经受JPEG编码，但是放大或缩小后的图像数据可经受另一种方案的处理，例如MPEG编码的处理。此外，JPEG编码器13可由在其中限制输入行数量的另一处理单元替代。

而且，作为实施例描述了结合在数字照相机中的图像处理装置1。然而，本发明可应用于结合到另一视频图像设备，图像识别设备等之中的图像处理装置，或可应用于独立使用的装置。

Claims

1、一种图像处理装置，包括：

用于传输图像数据单元的传输装置，该单元包括多行；

放大倍数改变装置，用于对通过所述传输装置传输的图像数据各输入单元执行放大倍数改变处理；

放大倍数设置装置，用于设置所述放大倍数改变装置的放大倍数，以及

传输数量设置装置，用于基于所述放大倍数设置装置设置的放大倍数，设置包括在通过所述传输装置传输的输入单元中的行的数量。

2、根据权利要求1的图像处理装置，还包括输出数量设置装置，用于设置包括在从所述放大倍数改变装置输出的图像数据输出单元中的行的数量，并且其中

基于所述放大倍数设置装置设置的放大倍数、对应于图像数据的图像中源图区顶端的坐标位置、根据所述放大倍数由所述传输装置传输的源图区、以及根据所述放大倍数在放大倍数改变之后的大小的图像中输出单元顶端和底端的坐标位置，所述传输数量设置装置设置包括在通过所述传输装置传输的输入单元中的行的数量。

3、根据权利要求1的图像处理装置，其中，

所述放大倍数改变装置向用于压缩和编码图像数据的压缩装置输出放大倍数改变之后的图像数据。

4、根据权利要求3的图像处理装置，还包括

用于存储所述压缩装置压缩和编码的图像数据的存储装置。

5、根据权利要求3的图像处理装置，其中

所述压缩装置根据JPEG标准来编码所述图像数据。

6、根据权利要求1的图像处理装置，其中

所述图像数据是由依照形成在图像拾取设备上滤色片阵列的彩色信息的像素所组成的原始图像数据。

7、根据权利要求1的图像处理装置，其中

所述图像数据包括亮度和色差数据。

8、根据权利要求1的图像处理装置，还包括

用于存储图像的存储装置，并且其中所述传输装置逐单元地传输存储在所述存储装置中的图像数据。

9、根据权利要求8的图像处理装置，其中

所述存储装置存储由依照形成在图像拾取设备上滤色片阵列的彩色信息的像素所组成的原始图像数据，并且所述传输装置包括用于传输存储在所述存储装置中的原始图像数据单元的第一传输装置，所述单元包括多行，

还包括转换装置，用于将所述第一传输装置传输的所述原始数据转换为亮度和色差数据，并且

其中，所述放大倍数改变装置对从所述转换装置输出的所述亮度和色差数据执行放大倍数改变处理。

10、根据权利要求9的图像处理装置，其中

所述转换装置将所述第一传输装置传输的原始图像单元转换为亮度和色差数据，所述亮度和色差数据由包含在所述原始图像数据单元内的预定像素范围中的像素组成。

11、根据权利要求9的图像处理装置，其中

所述存储装置包括用于存储亮度和色差数据的装置，且所述传输装置包括用于传输存储在所述存储装置中的亮度和色差数据单元的第二传输装置，所述单元包括多行，

还包括选择装置，用于选择从所述转换装置输出的亮度和色差数据以及由所述第二传输装置传输的亮度和色差数据中的一种；并且

其中，所述放大倍数改变装置对所述选择装置选择的亮度和色差数据执行放大倍数改变处理。

12、根据权利要求9的图像处理装置，其中，所述原始图像数据包括拜耳数据。

13、根据权利要求9的图像处理装置，其中所述存储装置存储亮度和色差数据，并且

所述传输装置传输存储在所述存储装置中的亮度和色差数据单元，所述单元包括多行。

14、根据权利要求1的图像处理装置，其中各单元包括前面单元的底端行或底端多行作为顶端行或顶端多行。

15、根据权利要求1的图像处理装置，其中

所述放大倍数改变装置包括放大处理单元，用于放大所述传输装置传输的图像数据单元；和缩小处理单元，其串联连接于所述放大处理单元的后级并且缩小从所述放大处理单元输出的图像数据单元，并且

还包括放大倍数控制装置，用于根据所需的缩小比率设置所述放大处理单元和所述缩小处理单元的放大倍数。

16、根据权利要求15的图像处理装置，其中

所述放大处理单元基于第一图像处理算法放大图像数据，并且所述缩小处理单元基于第二图像处理算法缩小从所述放大处理单元输出的图像数据。

17、根据权利要求15的图像处理装置，其中所述缩小处理单元包括第一缩小处理单元和第二处理单元，所述第一缩小处理单元和所述第二缩小处理单元并联连接到所述放大处理单元的后级，并且所述放大倍数控制装置设置所述第一缩小处理单元和所述第二缩小处理单元的不同缩小比率。

18、根据权利要求17的图像处理装置，其中所述第一缩小处理单元向用于压缩和编码图像数据的压缩装置输出放大倍数改变后的图像数据。

19、根据权利要求17的图像处理装置，其中所述第二缩小处理单元向用于存储图像数据的存储装置输出缩小后的图像数据。

20、一种图像处理方法，其传输图像数据单元，所述单元包括多行，对传输的图像数据的各单元执行放大倍数改变处理，并且输出放大倍数改变后的图像数据单元，所述输出单元包括多行，所述方法包括如下步骤：

设置包括在所述输出单元中的所需的行数量；

设置所述放大倍数改变处理的放大倍数；以及

基于设置的放大倍数设置各输入单元的行数量，以使得包括在所述输出单元中的行数量等于所述所需的行数量。

21、一种计算机程序，用于传输图像数据单元的图像处理装置，所述单元包括多行，对所传输的图像数据的各单元执行放大倍数改变处理，并且输出放大倍数改变后的图像数据单元，所述输出单元包括多行，所述程序存储在计算机可读介质中，且所述程序包括：

设置包括在所述输出单元中的所需的行数量；

设置所述放大倍数改变处理的放大倍数；以及

基于所设置的放大倍数来设置各输入单元的行数量，以使得包括在所述输出单元中的行数量等于所述所需的行数量。