CN100389435C

CN100389435C - 图像处理装置

Info

Publication number: CN100389435C
Application number: CNB2004800154521A
Authority: CN
Inventors: 古川英明; 日暮正树; 上野晃
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-06-02
Filing date: 2004-05-31
Publication date: 2008-05-21
Anticipated expiration: 2024-05-31
Also published as: CN1799064A; JP2004362069A

Abstract

一种应用于数字照相机的图像处理装置，具有：帧存储器(4)，其存储经由总线(11)输入的通过CCD(1)对由光学系统生成的光学像进行摄像而获得的图像数据；第1数据顺序转换部(5)，其从该帧存储器(4)按块单位在行方向读出图像数据并输入，转换成列方向并输出；图像处理部(6)，其被与该第1数据顺序转换部(5)连接成可进行流水线处理，并进行图像处理；失真校正处理部(7)，其被与该图像处理部(6)连接成可进行流水线处理，并进行失真校正处理；第2数据顺序转换部(8)，其被与该失真校正处理部(7)连接成可进行流水线处理，将列方向的块数据恢复成行方向的块数据并输出给帧存储器(4)。

Description

图像处理装置

技术领域

本发明涉及图像处理装置，更详细地，涉及对通过光学系统摄像而获得的电子图像数据进行处理的图像处理装置。

背景技术

在数字照相机等电子摄像装置中，一般的，通过CCD(电荷耦合器件)等摄像元件对通过光学系统成像的被摄体像进行光电转换，获得摄像数据，对该摄像数据实行各种图像处理，然后以JPEG(联合图像专家组)等压缩方式进行压缩，记录于存储卡等记录介质中，该数字照相机等电子摄像装置成为兼作为图像处理装置的设备。

图32是表示图像处理装置的一般的图像处理的步骤的图。

CCD等摄像元件对通过光学系统成像的光学被摄体像进行光电转换，生成电摄像信号。该摄像信号被进行了像素缺陷的校正以及A/D转换等预处理后，被存储于帧存储器中。

接着，存储在帧存储器中的图像数据被读出，通过第1图像处理、第2图像处理、……、第N图像处理等，被进行从单片信号(single-chipsignal)向3片信号(three-chip signal)的转换处理、低通滤波处理、边缘强调处理、放大缩小处理等各种图像处理。

图像处理后的图像信号进一步被通过JPEG等压缩方式进行压缩，作为图像文件被记录在存储卡中。

图33是表示用于进行上述图32所示的一般图像处理的现有的图像处理装置的结构的方框图。

该图像处理装置具有：CCD 91、预处理部92、帧存储器94、第1图像处理部95a、第2图像处理部95b、…、第N图像处理部95n、JPEG处理部96、存储卡等97、连接除了上述CCD 91之外的上述各电路和后述的CPU 93的总线98、以及统一控制包含上述各电路的该图像处理装置的CPU 93。

在通过该图33所示的结构的图像处理装置进行上述图32所示的处理时，具体地为如下的步骤。

首先，通过总线98将来自预处理部92的图像数据暂时存储于帧存储器94。

接着，从该帧存储器94读出图像数据，通过总线98输入到第1图像处理部95a，进行第1图像处理，将处理后的图像数据写入到帧存储器94上。

同样地，进行如下处理：从该帧存储器94读出第1图像处理后的图像数据，通过总线98输入到第2图像处理部95b，进行第2图像处理，将处理后的图像数据写入到帧存储器94上，对每个图像处理部重复进行同样的处理。

这样，在进行图像处理时，图像数据多次流经总线98，而由于一般情况下图像数据的数据大小均较大，所以对总线98增添了很大负荷。给予总线98的这种大负荷，在使用连写功能时等变得更为显著。

根据这样的观点，在例如特开2000-311241号公报中公开了如下的技术：将多个图像处理部连接成能够进行流水线处理，对来自帧存储器的图像进行流水线处理，从而减轻总线的负荷，由此在减轻总线的负荷的同时，能够不增加存储器容量而实时地进行包括放大缩小处理在内的图像处理。

而且，在特开2000-312327号公报中也公开了如下技术：通过以块单位按预定方向(列方向)读出存储在帧存储器中的图像，减少进行流水线处理时的缓存量，能够构成低耗电、节省存储器的图像处理装置。

但是，在包括数字照相机以及银盐照相机在内的照相机的光学系统中，肯定有大小的差别，一般都会产生失真像差。例如在拍摄格子状的被摄体时，该失真像差被观测为圆桶型、枕型等(参照本发明的实施方式的图3(A)、图3(B)、图3(C))。另外，当前销售的照相机，能进行光学变焦的机种很多，但这样的可变焦的光学系统在从广角端到望远端的变焦范围内变更焦点距离时，很多情况下失真像差的状态发生变化。

对于这种现象，以往以来已经开发了作为图像处理的一部分而进行失真校正的技术，作为其一例，例如可列举出在特开平6-181530号公报中公开的技术。在该公报所记载的一般图像处理中，从帧存储器例如以行单位读出数据。

另外，作为图像处理的一部分而进行失真校正的其它的技术，例如在特开平10-224695号公报中公开了各图像处理部对帧存储器进行随机存取的技术。根据该技术，因为不需要在图像处理部内设置缓冲器，所以具有可使该图像处理部的电路规模变小的优点。

而且，在上述照相机的光学系统中会产生色像差是已公知的。该色像差是因为当光入射到光学系统时，由于光的波长不同使得折射率不同而产生的，在通过光学系统成像为光学像时，出现由每个波长所成像的光学像产生微小偏差的现象。虽然将光学系统设计成使得该色像差尽可能变小，但是从配置空间以及重量、成本等角度看，很难完全消灭色像差。

在上述特开平6-181530号公报中公开的技术中，为了对校正后的图像的1行进行作为图像处理的失真校正，如图34所示，必须横跨图像整体的横向方向的宽度，读出失真校正所需要的多行校正前的图像数据。该图34是用于说明以往为了进行失真校正处理所必需的存储器容量的图。因为这些多行的图像数据被暂时存储于设置在图像处理部的内部的缓冲器中后被进行处理，所以为了得到1行的校正图像，作为缓冲器需要比较大的容量，使得电路规模变大，制造成本增加，并且耗电也增加。而且，由于图像处理部内的缓冲存储器容量的原因，可处理的图像大小受到限制。

另外，在公开于上述特开平10-224695号公报的技术中，如果要随机存取由SDRAM等构成的帧存储器，则与从SDRAM高速读出的突发(burst)传送相比，数据的传送时间成为使整体的处理时间增大的主要因素。

但是，在图像处理装置中，通过设置用于进行上述失真校正处理的处理块和用于进行放大缩小处理的处理块两方，可进行放大缩小处理和失真校正处理两方。但是，这些处理伴随着每个像素的插值运算，处理电路也变成大规模，因此在单纯设置两个处理电路的结构中，电路结构变大，耗电上升，并且制造成本也增加。

而且，优选不用怎么增加成本等，也能良好地校正上述的色像差。

本发明是鉴于上述情况而提出的，其目的在于提供一种图像处理装置，其能够不增大总线的数据传送量和存储器容量而进行图像处理。

另外，本发明的目的在于提供一种图像处理装置，其能够进行放大缩小处理和失真校正处理，电路规模小且耗电低。

而且，本发明的目的在于提供一种图像处理装置，其能够进行失真校正处理和色像差校正处理，电路规模小且耗电低。

发明内容

本发明是一种图像处理装置，对经过光学系统进行摄像而获得的电子图像数据进行处理，所述图像数据的像素数据被二维地排列在行方向和列方向上，该图像处理装置包括：存储器，其至少在进行图像处理前存储所述图像数据，并且也能在进行了图像处理后存储所述图像数据；第1数据顺序转换部，其以所述图像数据的所述二维排列的块为单位，从所述存储器通过总线按行方向读出该块内的像素数据，然后，按列方向输出该块内的像素数据；图像处理部，其通过与所述总线不同的信息传达路径被与所述第1数据顺序转换部连接成能够进行流水线处理，输入从该第1数据顺序转换部按列方向输出的图像数据，进行了图像处理后，按该列方向输出；以及第2数据顺序转换部，其被与所述图像处理部连接成能够进行流水线处理，将从该图像处理部按列方向输出的图像数据转换为行方向的图像数据而输出，所述图像处理部构成为具有失真校正处理部，该失真校正处理部用于校正由所述光学系统引起的失真像差，所述失真校正处理部具有：生成插值坐标的插值坐标生成部；用于存储所述图像数据的一部分的内部存储部；以及插值运算部，其根据由所述插值坐标生成部生成的插值坐标，并根据存储于所述内部存储部中的图像数据，生成该插值坐标的像素数据。

另外，本发明是一种图像处理装置，能够对经过光学系统进行摄像而获得的电子图像数据，进行包括失真校正处理和放大缩小处理的图像处理，该图像处理装置具有失真校正处理部，该失真校正处理部包括：插值坐标生成部，其用于生成与进行了可包含失真校正处理和放大缩小处理在内的图像处理的插值处理后的像素位置对应的插值处理前的坐标数据，即插值坐标数据；存储部，其用于存储所述图像数据的至少一部分；存储器控制部，其基于所述插值坐标数据，进行将所述图像数据的一部分写入到所述存储部的控制，和从该存储部读出的控制；以及插值运算部，其通过对根据所述存储器控制部的控制从所述存储部读出的图像数据进行插值运算，生成进行了插值处理后的像素位置的图像数据。

而且，本发明是一种图像处理装置，对经过光学系统进行摄像而获得的电子图像数据进行处理，所述图像数据由多个成分构成，该图像处理装置具有失真校正处理单元，该失真校正处理单元包括：失真校正系数计算单元，其根据离失真中心位置的距离，针对所述每个成分算出用于校正由所述光学系统引起的失真像差的失真校正系数；以及失真校正运算单元，其使用通过所述失真校正系数计算单元算出的每个成分的失真校正系数，按照每个成分对所述图像数据进行失真校正。

附图说明

图1是表示本发明的第1实施方式的图像处理装置的结构的方框图。

图2是表示上述第1实施方式的失真校正处理部的结构的方框图。

图3是表示在上述第1实施方式中，通过光学系统拍摄了格子状的被摄体时的失真像差的示例的图。

图4是用于说明在上述第1实施方式中包含失真校正的插值处理的概要的图。

图5是用于说明在上述第1实施方式中的16点插值的处理的图。

图6是表示上述第1实施方式的图像数据的读出顺序的图。

图7是表示上述第1实施方式的数据顺序转换部的结构的方框图。

图8是表示在上述第1实施方式中校正图像和摄像图像的对应关系，以及处理所需要的缓存量的图。

图9是表示在所述第1实施方式中按照离失真中心的距离，使读出的图像数据的宽度在纵向方向上不同的示例的图。

图10是表示在上述第1实施方式中按照离失真中心的距离，使读出的图像数据的大小以及读出开始位置不同的示例的图。

图11是表示上述第1实施方式的图像处理装置的结构的第1变形例的方框图。

图12是表示上述第1实施方式的图像处理装置的结构的第2变形例的方框图。

图13是表示上述第1实施方式的图像处理装置的结构的第3变形例的方框图。

图14是表示上述第1实施方式的图像处理装置的结构的第4变形例的方框图。

图15是表示本发明的第2实施方式的图像处理装置的结构的方框图。

图16是表示上述第2实施方式的失真校正处理部的更详细的结构的方框图。

图17是表示上述第2实施方式的失真校正系数计算电路的结构的一例的方框图。

图18是表示上述第2实施方式的失真校正系数计算电路的结构的其它例子的方框图。

图19是表示上述第2实施方式中针对每块生成插值位置时的状况的时序图。

图20是表示上述第2实施方式中按照每3块1次的比例生成插值位置时的状况的时序图。

图21是表示上述第3实施方式的失真校正处理部的结构的概要的方框图。

图22是表示在上述第3实施方式中通过光学系统拍摄图像时产生的色像差的一例的图。

图23是表示在上述第3实施方式中，在能够算出与B相关的插值数据的时刻被存储在内部存储部中的图像数据的状况的图。

图24是表示在所述第3实施方式中，在能够算出R、G、B的每一个的插值数据的时刻被存储在内部存储部中的图像数据的状况的图。

图25是表示上述第3实施方式的失真校正处理部的更详细的结构的方框图。

图26是表示上述第3实施方式的失真校正系数计算电路的结构的方框图。

图27是表示上述第3实施方式的距离依存系数计算电路的结构的方框图。

图28是表示上述第3实施方式的失真校正系数计算电路的结构的其它例的方框图。

图29是表示上述第3实施方式的Ch.0用失真校正电路的结构的方框图。

图30是表示上述第3实施方式的准许同步电路的结构的方框图。

图31是用于说明上述第3实施方式的准许同步电路的动作的时序图。

图32是表示图像处理装置的一般图像处理的步骤的图。

图33是表示用于进行上述图32所示的一般图像处理的现有图像处理装置的结构的方框图。

图34是用于说明以往为了进行失真校正处理而需要的存储器容量的图。

具体实施方式

以下，参照附图说明本发明的实施方式。

从图1到图14是表示本发明的第1实施方式的图，图1是表示图像处理装置的结构的方框图。

该图像处理装置包含以下部分而构成：对通过光学系统成像的光学被摄体像进行光电转换，生成电摄像信号的摄像元件CCD 1；对从该CCD1输出的摄像信号进行像素缺陷的校正以及A/D转换等预处理的预处理部2；存储通过该预处理部2处理后的帧图像的帧存储器4；通过后述的总线11按每个预定块读出被存储在该帧存储器4中的图像数据，并暂时存储，然后变更读出顺序并输出的第1数据顺序转换部5；对从该第1数据顺序转换部5输出的图像数据实施预定的图像处理的作为图像处理部的图像处理部6；对通过该图像处理部6处理后的图像数据进行失真校正处理的作为图像处理部的失真校正处理部7；对从该失真校正处理部7输出的每块的图像数据进行暂时存储，按与由上述第1数据顺序转换部5从帧存储器4中读出时相同的方向读出并输出的第2数据顺序转换部8；对从该第2数据顺序转换部8输出的图像数据，通过JPEG等压缩方式进行压缩的JPEG处理部9；将通过该JPEG处理部9进行了压缩的图像数据通过后述的总线11暂时写入帧存储器4，将该写入的图像数据通过总线11读出并输入，作为图像文件进行存储的作为非易失性存储单元的存储卡等10；将除了上述CCD 1之外的上述各电路与后述的CPU 3进行连接的总线11；以及作为统一控制包含上述各电路的该图像处理装置的控制单元的CPU 3。

这里，从上述第1数据顺序转换部5到JPEG处理部9，不通过总线11，而通过与该总线11不同的信息传达路径连接成能够进行流水线处理，以二维像素排列的预定的块单位对图像数据进行传送并处理。从而数据量大的图像数据不需要针对每个处理多次从总线11被传送，所以可大幅减轻总线11的负荷，并且通过按块单位来进行处理，可使图像处理部的内部缓冲器部的容量变小。

另外，在该图1所示的示例中，仅设置了1个进行图像处理的图像处理部6，然而也可以在上述流水线处理的路径上配置与多个图像处理对应的多个图像处理部。这里，作为图像处理的例子，与上述同样，可列举从单片信号向3片信号的转换处理、低通滤波处理、边缘强调处理、放大缩小处理等。这时的图像处理部6的配置可以是在上述失真校正处理部7的前级侧，也可以是后级侧。

其次，图2是表示上述失真校正处理部7的结构的方框图。

该失真校正处理部7按预定块单位从前级的处理块接收图像数据，在进行了失真校正后，输出到后级的处理块，在上述图1所示的结构例中，前级的处理块对应于图像处理部6，后级的处理块对应于第2数据顺序转换部8。

在该失真校正处理部7中，随带设置有控制寄存器7a，被设定有来自CPU 3的针对该失真校正处理部7的设定值和各种数据等，同时能从该CPU 3读出处理结果的状态等。

该失真校正处理部7的处理概要也如图4和图5所示，大体如下所述。图4是用于说明包含失真校正的插值处理的概要的图，图5是用于说明16点插值的处理的图。

首先，如图4(B)所示，预先准备失真校正处理后的图像的坐标系(X，Y)。该坐标系(X，Y)中的图像数据，在开始失真校正处理前，什么也没有求出。

设定该坐标系(X，Y)中的目标点(关注像素)(其对应于失真校正处理后的图像的各像素的坐标，同样表示为(X，Y)。)，通过坐标变换求出对应于该目标点(X，Y)的图像数据的坐标(插值坐标数据)(X’，Y’)(参照图4(A))。该(X，Y)和(X’，Y’)的对应关系由用于向上述CCD 1成像被摄体像的光学系统的光学性质所决定，根据光学系统的设计值或制造后的光学系统的检查来预先求出对该对应关系进行了定义的参数等，存储于未图示的非易失性存储器等中。而且，上述CPU 3从该非易失性存储器等中读出参数，设定到上述控制寄存器7a中。

这样，当通过对应关系求出坐标(X’，Y’)时，为了求出该坐标(X’，Y’)的图像数据所需要的周围的图像数据的坐标被决定。例如，在进行Cubic插值处理的情况下，如图5所示，对于该坐标(X’，Y’)(图5的图像数据成为Dout的点)，决定周围的16点的坐标。

因此，根据这16点的坐标的图像数据D0～D15，通过使用预定的插值公式求出用白圈表示的坐标(X’，Y’)点的图像数据Dout，其成为失真校正处理后的图像的目标点(X，Y)的图像数据。

通过一边使上述目标点(X，Y)移动，一边算出必要范围的全部图像数据，生成失真校正后的图像数据。

用于进行这种处理的失真校正处理部7如图2所示，包含以下部分而构成：用于生成目标点的坐标(X，Y)的插值位置生成部21；用于根据由该插值位置生成部21生成的目标点的坐标(X，Y)，算出失真校正处理前的图像数据的坐标(X’，Y’)的失真校正坐标变换部22；选择器23，在不进行失真校正处理的情况下，其选择从上述插值位置生成部21输出的坐标(X，Y)，在进行失真校正处理的情况下，选择从上述失真校正坐标变换部22输出的坐标(X’，Y’)；存储器控制部24，其控制来自前级的处理块的图像数据的读出，并且控制后述的内部存储部25以便发送为了对应从上述选择器23输出的坐标来进行插值处理所需要的周围像素的图像数据；内部存储部25，其存储来自前级的处理块的图像数据，根据上述存储器控制部24的控制向后述的插值运算部26输出插值所需要的周围像素的图像数据；插值运算部26，其根据从该内部存储部25输出的目标点附近的图像数据和从上述选择器23输出的目标点的坐标，如上述那样例如通过Cubic插值，求出该目标点的图像数据，向后级的处理块输出。

这些结构块内的上述插值位置生成部21、失真校正坐标变换部22以及选择器23成为构成插值坐标生成部20的要素。

上述插值位置生成部21使用由上述CPU 3在上述控制寄存器7a中设定的插值开始位置(XST，YST)以及插值步长(ΔX，ΔY)，如下面的公式1所示，算出进行插值的目标点(X，Y)的坐标。

【公式1】

\{\begin{matrix} X = X_{ST} + k \times ΔX \\ Y = Y_{ST} + l \times ΔY \end{matrix}

这里，k是在使目标点在X方向仅移动ΔX时所增加的变量，l是使目标点在Y方向仅移动ΔY时所增加的变量。

并且，上述插值开始位置(XST，YST)可以设定为图像内的任意位置。另外，通过由上述CPU 3适当设定上述插值步长(ΔX，ΔY)，可进行图像的放大或缩小。

上述失真校正坐标变换部22根据从上述插值位置生成部21输出的失真校正处理后的目标点的坐标(X，Y)，如下所示算出失真校正处理前的目标点的坐标(X’，Y’)。

即，首先使用处理对象的图像的失真中心位置的坐标(Xd，Yd)、用于对失真校正处理后由该失真校正引起的被摄体位置偏移摄像时的位置进行校正的中心偏移校正量(Xoff，Yoff)、以及在使用表示光学系统的光学性质的参数来进行失真校正处理的情况下用于对校正后的图像超出作为图像数据所必需的范围或不足进行校正的范围校正倍率M，求出下面的公式2所示的中间计算值(X(点)，Y(点))(这里，在文章中将在字符上面所标的点表示为(点)。)。

【公式2】

\{\begin{matrix} \overset{\cdot}{X} = M \cdot (X - X_{d}) + (X_{d} + X_{off}) \\ \overset{\cdot}{Y} = M \cdot (Y - Y_{d}) + (Y_{d} + Y_{off}) \end{matrix}

并且，上述失真中心位置的坐标(Xd，Yd)是相当于在上述CCD 1上成像被摄体光学像的光学系统的光轴所相交的图像上的位置的坐标。

另外，上述失真中心位置的坐标(Xd，Yd)、中心偏移校正量(Xoff，Yoff)、范围校正倍率M通过上述CPU 3被设定于上述控制寄存器7a中。

下面，使用求出的计算值(X(点)，Y(点))、上述失真中心位置的坐标(Xd，Yd)、以及用于在间隔取入图像数据的情况下对在图像的纵向方向和横向方向上空间取样不同进行校正的系数(SX，SY)，按下面的公式3所示来计算表示离失真中心的距离的Z(更准确地说是Z的平方)。

【公式3】

Z^{2} = {S_{X} \cdot (\overset{\cdot}{X} - X_{d})}^{2} + {S_{Y} \cdot (\overset{\cdot}{Y} - Y_{d})}^{2}

使用这样算出的Z、由上述CPU 3设定到上述控制寄存器7a中的表示光学系统的失真像差相关的光学性质的参数即失真校正系数A、B、C、D、E、和上述计算值(X(点)，(Y(点))、以及上述失真中心位置的坐标(Xd，Yd)，按下面的公式4所示，算出与失真校正处理后的目标点的坐标(X，Y)对应的失真校正处理前的目标点的坐标(X’，Y’)。

【公式4】

\{\begin{matrix} X^{'} = (\overset{\cdot}{X} - X_{d}) \cdot [1 + A \cdot Z^{2} + B \cdot Z^{4} + C \cdot Z^{6} + D \cdot Z^{8} + E \cdot Z^{10} + \cdot \cdot \cdot] + X_{d} \\ Y^{'} = (\overset{\cdot}{Y} - Y_{d}) \cdot [1 + A \cdot Z^{2} + B \cdot Z^{4} + C \cdot Z^{6} + D \cdot Z^{8} + E \cdot Z^{10} + \cdot \cdot \cdot] + Y_{d} \end{matrix}

这里，图3是表示通过光学系统拍摄格子状的被摄体时的失真像差的示例的图。首先，图3(A)是表示格子状的被摄体的示例。以往，因为仅考虑到Z的2次项，所以虽然能够对通过光学系统拍摄如图3(A)所示的被摄体时可产生的如图3(B)所示的圆桶型的失真像差或如图3(C)所示的枕型的失真像差进行某种程度的校正，但不能对如图3(D)所示的草笠型失真像差进行校正。但是，在本第1实施方式中，如该公式4所示，因为考虑至超过Z的2次项的次数，即例如4次项或6次项，所以也能够高精度地校正这种更高次的像差。而且，也可以考虑至更高次的项。

通过上述插值位置生成部21算出的坐标(X，Y)，或通过失真校正坐标变换部22算出的坐标(X’，Y’)被输入到选择器23，根据是否进行失真校正来选择所需要的坐标。

另外，上述插值运算部26根据从上述选择器23输出的坐标，从上述内部存储部25读出该坐标附近的像素的图像数据D0～D15，通过使用下面的公式5，算出该目标点相关的失真校正处理后的图像数据Dout，并输出到后级块。

【公式5】

D_out＝k_x0(k_y0D₀+k_y1D₄+k_y2D₈+k_y3D₁₂)

+k_x1(k_y0D₁+k_y1D₅+k_y2D₉+k_y3D₁₃)

+k_x2(k_t0D₂+k_y1D₆+k_y2D₁₀+k_y3D₁₄)

+k_x3(k_y0D₃+k_y1D₇+k_y2D₁₁+k_y3D₁₅)

这里，kx0～kx3、ky0～ky3是例如进行Cubic插值时被规定的预定插值系数。

接着，图6是表示本第1实施方式的图像数据的读出顺序的图。

图像数据通常被按沿行方向读出，一般都是反复进行先全部读出1行的图像数据，接着全部读出下一相邻行的图像数据这样的动作。

与此相对，本第1实施方式的图像处理装置在行方向仅读出预定长度，移动到下一行同样仅读出预定长度，凑齐了预定的行数后，按列方向顺序输出，从而将数据顺序进行了转换，以便按预定块单位在纵向方向读出图像数据。将可从帧存储器4高速读出的宽度作为单位来决定在该行方向的预定长度。

其后继续读出的块是在行方向相邻(在图6中，成为右相邻)的块，在到达了图像数据的右端时，稍微向下偏移读出下一块组，使得与至今为止读出的一连串的块组在纵向方向重复。为了分别生成由第2数据顺序转换部8输出的相邻行(横向方向)的数据而需要的图像数据有部分重复。因此，在第1数据顺序转换部5，需要考虑这部分来读出。

因为图像数据的读出命令被连续发出，所以实际上这种块单位的读出被连续地进行，在图6中的行方向上细长矩形内的数据如实线箭头所示，在纵向方向连续流过。

参照图7说明用于使这样的图像数据的读出成为可能的第1数据顺序转换部5和第2数据顺序转换部8的结构。图7是表示数据顺序转换部的结构的方框图。

第1数据顺序转换部5如图7(A)所示，具有多个可存储块单位的图像数据的存储器，此处有2个，为存储器5a和存储器5b。帧存储器4被可切换地连接于这些存储器5a和存储器5b，并且图像处理部6也被可切换地连接于这些存储器5a和存储器5b，当帧存储器4与存储器5a和存储器5b中的一方连接时，该存储器5a和存储器5b中的另一方被切换成与图像处理部6连接。即，对存储器5a、5b进行切换使得它们不同时与帧存储器4和图像处理部6双方连接。

存储于帧存储器4中的帧图像的一部分被按块单位在行方向读出，并被存储到其中一个存储器中，这里例如是存储器5a。

与此并行，已经从帧存储器4被读出并存储的块单位的图像数据从存储器5b按列方向(纵向方向)被顺序读出，输出到图像处理部6。

当从帧存储器4向存储器5a的写入和从存储器5b向图像处理部6的读出结束时，切换写入侧的开关以及读出侧的开关，接着开始从帧存储器4向存储器5b进行下一个块单位的图像数据的写入，并且开始从存储器5a向图像处理部6的块单位的图像数据的读出。

第2数据顺序转换部8如图7(B)所示，几乎与上述第1数据顺序转换部5同样地构成，也几乎同样地进行动作。

即，第2数据顺序转换部8具有存储器8a和存储器8b而构成。

而且，在该第2数据顺序转换部8进行动作时，从失真校正处理部7在列方向(纵向方向)对存储器8a和存储器8b中的一方进行写入，从存储器8a和存储器8b中的另一方在行方向(横向方向)进行读出，输出到JPEG处理部9。

另外，作为图2的内部存储部25所需要的缓存量如图8所示。图8是表示校正图像和摄像图像的对应关系以及处理所需要的缓存量的图。

图8的虚线彼此交叉的点表示从图像处理部6向失真校正处理部7输入的图像数据(即进行失真校正处理前的图像数据，并且是从帧存储器4读出的图像数据)。另外，黑点表示根据失真校正处理后的目标点的坐标(X，Y)算出的失真校正处理前的目标点的坐标(X’，Y’)，表示成为处理对象的多个点(在图8所示的例中，由横4×纵5点构成的点)。这些点被用于例如以在纵向方向排列的5个点单位来进行失真校正处理，为了处理例如横4×纵5点的块内的最右侧的纵5点(图8中在粗实线上配置的5点)所需要的缓存量为图8中的箭头所示的范围，即由纵9×横7点构成的输入图像数据块(其中，这是进行Cubic插值时需要目标点的周围16点的图像数据的情况，如果变更插值方法，则所需要的缓存量会改变)。

并且，关于缓冲器(内部存储部25)的大小(存储容量)，必须确保能对失真像差最大的图像的4角部分进行插值处理的大小。

另外，在图6所示的例中，在帧画面内的任何位置均相等地获取在纵向方向读出的像素数，但不限于此，也可以如图9所示，根据位置使得在纵向方向读出的像素数不同。图9是表示根据离失真中心的距离使得读出的图像数据的宽度在纵向方向不同的示例的图。即，由失真像差引起的失真是越远离失真中心则越大，相反越靠近失真中心则越小。因此，如果在远离失真中心的位置，则在纵向方向读出的像素数较多，在靠近失真中心的位置则在纵向方向读出的像素数较少，这样能够使处理更高速化。

而且，图10是表示根据距失真中心的距离使读出的图像数据的大小以及读出开始位置不同的示例的图。该图10所示的例中，根据横向方向的位置而变更在纵向方向读出的像素数，并且也以块单位变更读出图像数据的开始位置。

即，如果将失真中心位于画面的大致中央部的情况作为例子，则即使在同一行上，越是中央部则越靠近失真中心，越是左右端则越远离失真中心。因此，靠近失真中心的中央部在纵向方向读出的像素数少，远离失真中心的左右端部在纵向方向读出的像素数多。而且，在发生图示的圆桶型失真像差的情况下，对应于基于该像差的曲线形状，在左右端将纵向方向的稍下侧作为读出块单位的图像数据的开始位置，在中央部将纵向方向的稍上侧作为读出块单位的图像数据的开始位置。这里，示出了发生圆桶型的失真像差的情况，但在发生枕型或草笠型的失真像差的情况下，也可以对应于已经发生的失真形状，变更读出的像素数。

并且，在读出的块中，不仅可以使读出的像素数在纵向方向不同，也可以使其在横向方向不同。

另外，上述中，对通过图像处理部6处理后的图像数据进行失真校正，但不限于此。

图11是表示图像处理装置的结构的第1变形例的方框图。图11示出了将从CCD 1输出的摄像数据(例如，Bayer数据)暂时存储在帧存储器4中后，在3片化之前进行失真校正的结构例，与上述图1所示的结构相比，图像处理部6和失真校正处理部7的位置被交换。在上述图1中，例如按照每种颜色对通过图像处理部6进行了3片化后的图像数据进行处理，但不限于此，如该图11所示，也可以对从具有Bayer排列的滤色器的CCD 1输出的Bayer数据进行失真校正处理。该情况下，不是使用相邻的多个像素(例如16像素)进行插值处理，而使用Bayer排列的同色的相邻像素进行插值处理。根据该结构，与3片化后的图像数据相比，能减少进行失真校正的数据量。

下面，图12是表示图像处理装置的结构的第2变形例的方框图。该图12表示了对记录在存储卡等10中的图像数据进行失真校正处理的结构例。在该结构例中，在第1数据顺序转换部5的前级配置有JPEG处理部9，对从存储卡等10读出的通过JPEG等压缩方式进行了压缩的图像数据进行解压缩。解压缩后的图像数据经由该第1数据顺序转换部5和图像处理部6，由失真校正处理部7按上述方式进行处理，在第2数据顺序转换部8中被转换为原来的数据顺序。并且，在作为TIFF(Tag image fileformat)等非压缩数据记录在存储卡等10中的情况下，也可以不特别进行解压缩处理，而执行包含失真校正在内的图像处理。

接着，图13是表示图像处理装置的结构的第3变形例的方框图。该图13表示了不将失真校正处理后的图像数据进行压缩，而是为了图像显示等而输出的结构例。通过第2数据顺序转换部8被转换为原来的数据顺序的图像数据不被利用JPEG等压缩方式进行压缩，而是通过总线11被写入视频存储器12，作为图像被显示。

进一步，图14是表示图像处理装置的结构的第4变形例的方框图。该图14表示了将在失真校正处理中使用的距离信息(上述的从失真中心到插值位置的距离Z)也用于其它图像处理的结构例。在该结构例中，在图像处理部6的后级，按如下顺序在流水线处理路径上配置了：用于校正由上述光学系统引起的周围光量不足的作为图像处理部的阴影校正部14；用于切去不要的高频成分的作为图像处理部的低通滤波(LPF)处理部15；上述失真校正处理部7；以及用于强调图像中的边缘部分的作为图像处理部的边缘强调处理部16。而且将距离信息从失真校正处理部7向阴影校正部14、低通滤波(LPF)处理部15、边缘强调处理部16输出，根据需要在这些处理中使用该距离信息。

从而阴影校正部14能够适当地对根据离失真中心的距离而产生的周围光量不足进行校正。另外，在根据离失真中心的距离而产生的失真像差例如是圆桶型的情况下，在校正了失真像差时，图像的周围部被拉长，图像的清晰度有可能下降，而通过低通滤波处理部15和边缘强调处理部16可对此进行适当的校正。而且，因为这些阴影校正部14、低通滤波处理部15、边缘强调处理部16不需要分别个别地算出距离信息，所以可缩小电路规模。

并且，图示中从失真校正处理部7向位于流水线处理路径上的在该失真校正处理部7的前级的阴影校正部14和低通滤波处理部15输出距离信息，但考虑到处理顺序，也可以另外构成用于算出距离Z的处理块，并将其配置在使用距离信息的各块的前级侧。

并且，在上述中，对在数字照相机中使用图像处理装置的例子进行了说明，但不限于此，可以是专用的图像处理装置，也可以是作为计算机等的扩展电路板而提供的类型的图像处理装置。

另外，作为图像处理的对象，不限于在数字照相机或摄影机中，通过作为摄像元件的CCD等摄像单元对通过光学系统成像的被摄体进行光电转换而得到的图像数据，或者对该图像数据进行处理得到的非压缩图像数据，或者对该图像数据进行处理后压缩而得到的压缩图像数据，也可以将例如通过用扫描仪等摄像单元取入用银盐照相机拍摄的胶片、或印刷物而获得的图像数据等作为上述的失真校正处理的对象。

而且，作为图像处理的对象不限于像素数据完全排列在行方向以及列方向上的图像数据。例如，即使是用具有蜂窝型的像素排列的摄像元件所拍摄的图像数据，只要成为能够在行方向以及列方向进行实质性处理的图像数据，则也能进行上述的失真校正处理。

根据这种第1实施方式，向图像处理部和失真校正处理部的图像数据的传送通过不同于总线的信息传达路径来进行，以便能够进行流水线处理，而且因为按块单位来进行数据传送，并且筹划其读出方向，所以不用增大总线的数据传送量和存储器容量，即可进行包含失真校正在内的图像处理。

而且，因为考虑到了从失真中心到插值位置的距离的4次项、6次项或比其更高的高次项来计算与失真校正处理后的目标点的坐标对应的失真校正处理前的目标点的坐标，所以也能高精度地校正草笠型的失真像差等更高次的像差。

另外，因为能够通过选择器来选择由插值位置生成部所生成的坐标和由失真校正坐标变换部所变换的坐标，所以可根据需要按照所希望的来选择是否进行失真校正。这样，可以在摄像时不进行失真校正处理，而将图像数据等暂时存储在存储卡等中，在后面的时刻再从该存储卡读出图像数据进行失真校正处理。如果进行这种选择，则因为在摄像时能省略失真校正处理，所以可进行更高速的处理。

而且，将通过失真校正处理部算出的距离信息输出到阴影校正部和低通滤波器、边缘强调处理部，从而可适当地校正周围光量不足或适当地校正图像的不清晰，而不会增大电路规模。

另外，根据因离失真中心的距离而不同的失真像差的大小，适当变更从存储器读出的块单位的图像数据的行方向的尺寸和列方向的尺寸中的至少一方，从而能够读出处理所需要的最小限度的数据，因此可使处理高速化。

图15～图20是表示本发明的第2实施方式的图，图15是表示图像处理装置的结构的方框图。

该第2实施方式中，省略与上述第1实施方式相同的部分的说明，主要就不同点进行说明。

该第2实施方式的图像处理装置从上述图1所示的第1实施方式的图像处理装置中除去了第1数据顺序转换部5和第2数据顺序转换部8。

另外，该第2实施方式的图像处理部、作为失真校正处理单元的失真校正处理部7不仅对由上述图像处理部6处理后的图像数据进行失真校正处理，而且还进行放大缩小处理。

而且，与上述相同的是，上述图像处理部6、失真校正处理部7、JPEG处理部9通过不同于总线11的信息传达路径被连接成可进行流水线处理。这时，可通过按块单位来进行处理使得容量减小的图像处理部的内部缓冲器是上述图2所示的内部存储部25或图16所示的2端口SRAM(静态存储器)25a。

另外，失真校正处理部7的结构与参照上述图2说明过的相同。

并且，在上述图15所示的结构例中，失真校正处理部7的前级的处理块对应于图像处理部6，后级的处理块对应于JPEG处理部9。

这里，对在上述插值位置生成部21和失真校正坐标变换部22中算出坐标时的基本公式以及通过对其变形能够缩小电路规模的实用公式进行说明。

首先，对基本公式进行说明。

上述插值位置生成部21基本是使用由上述CPU 3设定到上述控制寄存器7a中的插值开始位置(XST，YST)以及插值步长(ΔX，ΔY)，如上述公式1所示那样，算出进行插值的目标点的坐标(X，Y)。

上述失真校正坐标变换部22基本是根据从上述插值位置生成部21输出的失真校正处理后的目标点的坐标(X，Y)，按如下所示算出失真校正处理前的目标点的坐标(X’，Y’)。

即，失真校正坐标变换部22首先求出上述公式2所示的中间计算值(X(点)，Y(点))(这里，在文章中将在字符上面所标的点表示为(点))。

接着，失真校正坐标变换部22按上述公式3所示来计算表示离失真中心的距离的Z(更准确地说是Z的平方)。

失真校正坐标变换部22使用这样算出的Z，由上述CPU 3设定到上述控制寄存器7a中的表示光学系统的与失真像差相关的光学性质的参数即失真校正系数A、B、C，上述计算值(X(点)，Y(点))，以及上述失真中心位置的坐标(Xd，Yd)，按下面的公式6所示，算出与失真校正处理后的目标点的坐标(X，Y)对应的失真校正处理前的目标点的坐标(X’，Y’)。

【公式6】

\{\begin{matrix} X^{'} = (\overset{\cdot}{X} - X_{d}) \cdot [1 + A \cdot Z^{2} + B \cdot Z^{4} + C \cdot Z^{6}] + X_{d} \\ Y^{'} = (\overset{\cdot}{Y} - Y_{d}) \cdot [1 + A \cdot Z^{2} + B \cdot Z^{4} + C \cdot Z^{6}] + Y_{d} \end{matrix}

在该第2实施方式中，如该公式6所示，因为考虑到了超过Z的2次项的次数，即例如4次项或6次项，所以也能高精度地校正上述图3(D)所示的草笠型的失真像差等更高次的像差。并且，这里示出了考虑到6次项的例子，但也可以如上述公式4所示，对8次项、10次项等更高次的像差进行校正。

上述通过插值位置生成部21算出的坐标(X，Y)，或通过失真校正坐标变换部22算出的坐标(X’，Y’)被输入到选择器23，根据是否进行失真校正，选择所需要的坐标。

下面，对能缩小电路规模的实用公式进行说明。

首先，将公式2以及公式1代入到上述公式3中，变形为下面的公式7所示。

【公式7】

Z^{2} = M^{2} \cdot ({[S_{X} \cdot {(X - X_{d}) + \frac{X_{off}}{M}}]}^{2} + {[S_{Y} \cdot {(Y - Y_{d}) + \frac{Y_{off}}{M}}]}^{2})

= M^{2} \cdot ({[S_{X} \cdot {(X_{ST} + kΔX - X_{d}) + \frac{X_{off}}{M}}]}^{2} + {[S_{Y} \cdot {(Y_{ST} + lΔY - Y_{d}) + \frac{Y_{off}}{M}}]}^{2})

而且，引入公式8所示的新的常数表达式，将上述公式7变形为公式9所示。

【公式8】

\{\begin{matrix} {\overset{\cdot \cdot}{X}}_{ST} = S_{X} \cdot {(X_{ST} - X_{d}) + \frac{X_{off}}{M}} \\ {\overset{\cdot \cdot}{Y}}_{ST} = S_{Y} \cdot {(Y_{ST} - Y_{d}) + \frac{Y_{off}}{M}} \\ Δ \overset{\cdot \cdot}{X} = S_{X} \times ΔX \\ Δ \overset{\cdot \cdot}{Y} = S_{Y} \times ΔY \end{matrix}

【公式9】

Z^{2} = M^{2} {\overset{\cdot \cdot}{Z}}^{2} = M^{2} \cdot {{({\overset{\cdot \cdot}{X}}_{ST} + kΔ \overset{\cdot \cdot}{X})}^{2} + {({\overset{\cdot \cdot}{Y}}_{ST} + lΔ \overset{\cdot \cdot}{Y})}^{2}}

这里，公式9中的Z(2点)被定义为如下面的公式10所示，X2、Y2(插值坐标数据)被定义为如下面的公式11所示。

【公式10】

\overset{\cdot \cdot}{Z} = \frac{Z}{M}

【公式11】

\{\begin{matrix} X 2 = {\overset{\cdot \cdot}{X}}_{ST} + kΔ \overset{\cdot \cdot}{X} \\ Y 2 = {\overset{\cdot \cdot}{Y}}_{ST} + lΔ \overset{\cdot \cdot}{Y} \end{matrix}

如果使用按该公式10以及公式11所示定义的Z(2点)，则上述的公式6被变形为如下面的公式12所示。

【公式12】

\{\begin{matrix} X^{'} = [1 + (A M^{2}) {\overset{\cdot \cdot}{Z}}^{2} + (B M^{4}) {\overset{\cdot \cdot}{Z}}^{4} + (C M^{6}) {\overset{\cdot \cdot}{Z}}^{6}] \cdot (\overset{\cdot}{X} - X_{d}) + X_{d} \\ = [1 + \overset{\cdot}{A} {\overset{\cdot \cdot}{Z}}^{2} + \overset{\cdot}{B} {\overset{\cdot \cdot}{Z}}^{4} + \overset{\cdot}{C} {\overset{\cdot \cdot}{Z}}^{6}] \cdot (\overset{\cdot}{X} - X_{d}) + X_{d} \\ = [1 + \overset{\cdot}{A} {\overset{\cdot \cdot}{Z}}^{2} + \overset{\cdot}{B} {\overset{\cdot \cdot}{Z}}^{4} + \overset{\cdot}{C} {\overset{\cdot \cdot}{Z}}^{6}] \cdot {M (X_{ST} - X_{d}) + X_{off} + M \cdot kΔX} + X_{d} \\ = [1 + \overset{\cdot}{A} {\overset{\cdot \cdot}{Z}}^{2} + \overset{\cdot}{B} {\overset{\cdot \cdot}{Z}}^{4} + \overset{\cdot}{C} {\overset{\cdot \cdot}{Z}}^{6}] \cdot (\overset{\cdot \cdot \cdot}{X} + kΔ \overset{\cdot \cdot \cdot}{X} + X_{d}) \\ = F \cdot X 1 + X_{d} \\ Y^{'} = [1 + ({AM}^{2}) {\overset{\cdot \cdot}{Z}}^{2} + ({BM}^{4}) {\overset{\cdot \cdot}{Z}}^{4} + ({CM}^{6}) {\overset{\cdot \cdot}{Z}}^{6}] \cdot (\overset{\cdot}{Y} - Y_{d}) + Y_{d} \\ = [1 + \overset{\cdot}{A} {\overset{\cdot \cdot}{Z}}^{2} + \overset{\cdot}{B} {\overset{\cdot \cdot}{Z}}^{4} + \overset{\cdot}{C} {\overset{\cdot \cdot}{Z}}^{6}] \cdot (\overset{\cdot}{Y} - Y_{d}) + Y_{d} \\ = [1 + \overset{\cdot}{A} {\overset{\cdot \cdot}{Z}}^{2} + \overset{\cdot}{B} {\overset{\cdot \cdot}{Z}}^{4} + \overset{\cdot}{C} {\overset{\cdot \cdot}{Z}}^{6}] \cdot {M (Y_{ST} - Y_{d}) + Y_{off} + M \cdot lΔY} + Y_{d} \\ = [1 + \overset{\cdot}{A} {\overset{\cdot \cdot}{Z}}^{2} + \overset{\cdot}{B} {\overset{\cdot \cdot}{Z}}^{4} + \overset{\cdot}{C} {\overset{\cdot \cdot}{Z}}^{6}] \cdot (\overset{\cdot \cdot \cdot}{Y} + lΔ \overset{\cdot \cdot \cdot}{Y}) + Y_{d} \\ = F \cdot Y 1 + Y_{d} \end{matrix}

这里，在该公式12中，使用了按下面的公式13～公式16所示来定义的常数表达式或变量表达式。

【公式13】

\{\begin{matrix} \overset{\cdot}{A} = {AM}^{2} \\ \overset{\cdot}{B} = {BM}^{4} \\ \overset{\cdot}{C} = {CM}^{6} \end{matrix}

【公式14】

\{\begin{matrix} \overset{\cdot \cdot \cdot}{X} = M (X_{ST} - X_{d}) + X_{off} \\ Δ \overset{\cdot \cdot \cdot}{X} = M \cdot ΔX \\ \overset{\cdot \cdot \cdot}{Y} = M (Y_{ST} - Y_{d}) + Y_{off} \\ Δ \overset{\cdot \cdot \cdot}{Y} = M \cdot ΔY \end{matrix}

【公式15】

\{\begin{matrix} X 1 = \overset{\cdot \cdot \cdot}{X} + kΔ \overset{\cdot \cdot \cdot}{X} \\ Y 1 = \overset{\cdot \cdot \cdot}{Y} + lΔ \overset{\cdot \cdot \cdot}{Y} \end{matrix}

【公式16】

F = [1 + \overset{\cdot}{A} {\overset{\cdot \cdot}{Z}}^{2} + \overset{\cdot}{B} {\overset{\cdot \cdot}{Z}}^{4} + \overset{\cdot}{C} {\overset{\cdot \cdot}{Z}}^{6}]

在按照上述公式1～公式3以及公式6所示的基本公式进行运算的情况下，系数为14个，乘法运算次数为13次。即，系数是失真中心位置(Xd，Yd)、中心偏移校正量(Xoff，Yoff)、范围校正倍率M、系数(Sx，Sy)、失真校正系数A、B、C、插值开始位置(XST，YST)、插值步长(ΔX，ΔY)，合计14个。另外，乘法运算次数为：与公式2中的M的乘法运算2次；分别与公式3中的Sx、Sy的乘法运算以及2个平方运算共4次；与公式6中的失真校正系数A、B、C的乘法运算3次；Z的4次方以及6次方计算中乘法运算2次；大括号与小括号的乘法运算2次，合计13次。

与此相对，在按照上述公式7～公式16所示的实用公式进行运算的情况下，系数为13个，乘法运算次数为9次。即，系数是X(2点)ST、Y(2点)ST、ΔX(2点)、ΔY(2点)、X(3点)、Y(3点)、ΔX(3点)、ΔY(3点)、A(点)、B(点)、C(点)、Xd、Yd，合计13个。另外，乘法运算次数为：公式9中的括号内的2个平方运算2次；与公式16中的A(点)、B(点)、C(点)的乘法运算3次；该公式16中的Z(点)的4次方以及6次方计算中乘法运算2次；与公式12中的F的乘法运算2次，合计为9次。

在这种运算中所处理的数，即使动态范围大，计算次数仅稍微增加，电路规模也会变得很大，因此通过按上述所示的实用公式进行运算，可减少乘法器的个数，并且可削减用于设定系数的寄存器，可有效缩小电路规模。

基于进行了这样变形的实用公式，对应于上述插值位置生成部21的插值位置计算电路21a(参照后述的图16)使用由上述CPU 3设定于上述控制寄存器7a中的插值开始位置(X(3点)，Y(3点))以及插值步长(ΔX(3点)，ΔY(3点))，如上述公式15所示，算出进行插值的目标点的坐标(插值位置)(X1，Y1)。

另外，上述失真校正坐标变换部22的作为失真校正系数计算单元的失真校正系数计算电路22a(参照后述的图16以及图17)，使用由上述CPU 3设定于上述控制寄存器7a中的A(点)、B(点)、C(点)，如上述公式16所示，算出失真校正系数F。并且，如后面所述，也可以通过图18所示的结构算出失真校正系数F，来代替该图17所示的结构。

而且，上述失真校正坐标变换部22的插值位置校正电路22b(参照后述的图16)使用算出的失真校正系数F和由上述CPU 3设定于上述控制寄存器7a中的失真中心位置的坐标(Xd，Yd)，根据上述目标点的坐标(插值位置)(X1，Y1)，利用上述公式12算出失真校正处理前的目标点的坐标(插值坐标数据)(X’，Y’)。

接着，上述插值运算部26根据从上述选择器23输出的坐标，从上述内部存储部25读出该坐标附近的像素的图像数据D0～D15，通过使用上述公式5，算出与该目标点相关的失真校正处理后的图像数据Dout，输出到后级的处理块。

图16是表示失真校正处理部7的更详细的结构的方框图。

上述插值位置生成部21具有用于按上面所述算出上述目标点的坐标(X1，Y1)的插值位置计算电路21a。

上述失真校正坐标变换部22具有用于按上述公式16所示算出上述失真校正系数F的失真校正系数计算电路22a，以及使用通过该失真校正系数计算电路22a算出的失真校正系数F按上述公式12所示算出失真校正处理前的目标点的坐标(X’，Y’)的插值位置校正电路22b。

上述选择器23在不进行失真校正处理的情况下(与是否进行放大缩小处理无关)，选择来自上述插值位置计算电路21a的坐标(X1，Y1)，在进行失真校正处理的情况下(与是否伴随着放大缩小处理无关)，选择来自上述插值位置校正电路22b的坐标(X’，Y’)。

通过加法器27a、27b分别将该选择器23选择的坐标(X1，Y1)或坐标(X’，Y’)与经由控制寄存器7a由上述CPU 3设定的失真中心位置的坐标(Xd，Yd)进行相加。

这些加法器27a、27b的输出被输出到读出地址生成电路24a和缓存释放量计算电路24c。

进一步，通过上述插值位置计算电路21a算出的坐标(X1，Y1)，也通过与经由上述选择器23的路径不同的另外路径被输入到该读出地址生成电路24a。而且，该读出地址生成电路24a将存储着与该坐标(X1，Y1)关联的像素数据(在进行16点插值的情况下，以该坐标(X1，Y1)为中心的16个像素数据)的地址ADR输出给2端口SRAM 25a，并且将插值系数(例如，如上述公式5所示的插值系数kx0～kx3，ky0～ky3)以及表示输出的像素数据是D0～D15的哪个位置的像素数据的数据串控制信号输出到插值电路26a。而且，该读出地址生成电路24a将写入许可信号WE_N输出给后级的处理块。

上述2端口SRAM 25a是对应于上述图2所示的内部存储部25的电路部分。

插值电路26a对应于上述图2所示的插值运算部26，该插值电路26a使用从上述2端口SRAM 25a读出的图像数据进行如上述公式5所示的插值处理，将处理后的图像数据输出到后级的处理块。

上述缓存释放量计算电路24c根据来自上述插值位置计算电路21a的输出以及来自上述选择器23的输出，算出在上述2端口SRAM 25a中可释放的存储容量(缓存释放量)。

缓冲器空余容量监视电路24d参照该缓存释放量计算电路24c的输出，掌握上述2端口SRAM 25a的空余容量的状况。

写入地址生成电路24b接收来自前级的处理块的图像数据，记录在上述2端口SRAM 25a中。

GRANT_N发送判定电路24e接收来自后级的处理块的请求图像数据的请求信号REQ_N，根据上述写入地址生成电路24b和缓存释放量计算电路24c的输出，判断能否发送图像数据，在能发送的情况下，向后级的处理块输出许可信号GRANT_N，并且也向上述插值位置计算电路21a输出。该GRANT_N发送判定电路24e还向该失真校正系数计算电路22a输出触发trig，使得失真校正系数计算电路22a按照接收了该许可信号GRANT_N的插值位置计算电路21a算出坐标(X1，Y1)并输出的定时来输出失真校正系数F。

并且在上述图16所示的失真校正处理部7的结构内，向除了上述失真校正坐标变换部22之外的各电路供给时钟CLK2，而向该失真校正坐标变换部22供给不同于该时钟CLK2的时钟CLK1。

这样，在不进行失真校正处理的情况下，即在例如仅进行放大缩小处理的情况下，或失真校正处理和放大缩小处理两方都不进行的情况下，如果停止向失真校正坐标变换部22的供给时钟CLK1，则可抑制没必要的耗电。另外，通过降低或返回地控制所供给的时钟CLK1的时钟数，也能控制并调整每单位时间内生成插值坐标数据的次数。

下面，对该图16所示的失真校正处理部7的动作进行说明。

缓冲器空余容量监视电路24d通过缓存释放量计算电路24c来监视2端口SRAM 25a的空余容量，如果有预定的空余容量，则向前级的处理块发出请求信号REQ，以便发送预定的块单位的图像数据(以下，适当地称作单位行(UL)数据)(步骤S1)。

前级的处理块接收该请求信号REQ，在能够发送图像数据时发送许可信号GRANT，上述缓冲器空余容量监视电路24d接收该许可信号GRANT(步骤S2)。

该缓冲器空余容量监视电路24d通过在内部所保持的计数器来把握2端口SRAM 25a的空余容量，在接收许可信号GRANT的同时，将该内部计数器的值减去1。如果该内部计数器变为0，则该缓冲器空余容量监视电路24d进行动作以便撤消上述请求信号REQ(步骤S3)。

而且，从前级的处理块向写入地址生成电路24b输入写入许可信号WE，接着输入图像数据。与此相应，写入地址生成电路24b向2端口SRAM25a输出控制信号，将图像数据DATA写入到该2端口SRAM 25a中的由地址ADDRESS所指定的区域。另外，每当1UL数据被输入，写入地址生成电路24b就增大BLC计数器(表示在作为内部缓冲器的2端口SRAM 25a中储存了多少数据的计数器)，输出给GRANT_N发送判定电路24e(步骤S4)。

当GRANT_N发送判定电路24e从后级的处理块接收到请求信号REQ_N时，判定在2端口SRAM 25a内是否有下次可发送的UL数据，在判定为有的情况下，向后级的处理块和上述插值位置计算电路21a发送许可信号GRANT_N(步骤S5)。

插值位置计算电路21a接收该许可信号GRANT_N以开始动作，当进行了1UL的量的插值位置即坐标(X1，Y1)的计算动作时，算出下一个UL的开头坐标并结束(步骤S6)。

上述GRANT_N发送判定电路24e与插值位置计算电路21a开始动作并输出坐标(X1，Y1)相同步，在失真校正系数计算电路22a能够输出失真校正系数F的定时，向该失真校正系数计算电路22a输出触发trig(步骤S7)。

当失真校正系数计算电路22a接收了触发trig时，针对UL数据内的像素，根据上述公式16算出失真校正系数F，输出给插值位置校正电路22b。该失真校正系数计算电路22a也与上述插值位置计算电路21a同样，在进行了1UL的量的动作时，算出下一个UL开头坐标并结束(步骤S8)。

插值位置校正电路22b使用从该失真校正系数计算电路22a接收的失真校正系数F和从上述插值位置计算电路21a接收的坐标(X1，Y1)，根据上述公式12算出坐标(X’，Y’)。该插值位置校正电路22b也按照上述失真校正系数计算电路22a，在进行了1UL的量的动作时，算出下一个UL的开头坐标并结束(步骤S9)。

选择器23根据通过上述控制寄存器7a由上述CPU 3设定的动作模式，在进行失真校正处理的情况下，选择来自上述插值位置校正电路22b的坐标(X’，Y’)，在不进行失真校正处理的情况下，选择来自上述插值位置计算电路21a的坐标(X1，Y1)(步骤S10)。

加法器27a、27b将通过该选择器23选择的坐标(X1，Y1)或坐标(X’，Y’)分别与失真中心位置的坐标(Xd，Yd)相加(步骤S11)。

读出地址生成电路24a将为了用于插值，根据从加法器27a、27b获取的坐标而从2端口SRAM 25a读出的像素数据的地址ADR输出给该2端口SRAM 25a，并且将插值系数和数据串控制信号输出给插值电路26a(步骤S12)。

插值电路26a使用从读出地址生成电路24a获取的插值系数、数据串控制信号以及从2端口SRAM 25a获取的像素数据，如上述公式5所示，算出被插值的像素数据，输出给后级的处理块(步骤S13)。

缓存释放量计算电路24c根据上述插值位置计算电路21a和加法器27a、27b的输出，一旦确认了UL数据已经被输出至最后，则计算当前结束了处理的UL的开头坐标与下一个UL开头坐标的差，为了释放存储了不必要的数据的缓冲器(2端口SRAM 25a内的区域)，向缓冲器空余容量监视电路24d输出缓存释放量，并且，向上述GRANT_N发送判定电路24e发送为了进行下一个UL处理而需要从前级的处理块接收后面多少数据的信息(步骤S14)。

当缓冲器空余容量监视电路24d在上述步骤S14中确认了在作为内部缓冲器的2端口SRAM 25a中有存储区域空余的情况时，则返回上述步骤S1，重复进行上述的处理(步骤S15)。

GRANT_N发送判定电路24e根据来自上述写入地址生成电路24b的BLC计数器的值以及来自缓存释放量计算电路24c的输出，判定能否将下一个UL数据发送给后级的处理块，在判定为可发送的情况下，进行上述步骤S5的处理(步骤S16)。

图17是表示上述失真校正系数计算电路22a的结构的一例的方框图。该失真校正系数计算电路22a根据上述公式16算出失真校正系数F。

并且，在该图17中，以及以下所示的图17的说明中，Z是指在公式10的左边表示的Z(2点)，系数A、B、C是指在公式13的左边表示的A(点)、B(点)、C(点)。

失真校正系数计算电路22a具有：当从上述GRANT_N发送判定电路24e输入了触发trig时，根据上述公式11算出插值坐标X2、Y2的失真校正用坐标计算电路31；将通过该失真校正用坐标计算电路31算出的插值坐标X2转换为浮点小数的浮点小数化电路32a；将通过上述失真校正用坐标计算电路31算出的插值坐标Y2转换为浮点小数的浮点小数化电路32b；对通过上述浮点小数化电路32a被浮点小数化的插值坐标X2进行平方的平方计算器33a；对通过上述浮点小数化电路32b被浮点小数化的插值坐标Y2进行平方的平方计算器33b；通过将由上述平方计算器33a算出的插值坐标X2的平方与由上述平方计算器33b算出的插值坐标Y2的平方相加，算出Z(更准确地说，是如上所述Z(2点)。以下相同)的平方的加法器34；通过对该加法器34的输出进行平方，算出Z的4次方的平方计算器33c；对来自上述加法器34的输出进行延迟的延迟电路35b；通过将由上述平方计算器33c算出的Z的4次方，与被该延迟电路35b延迟、并根据定时输出的Z的平方相乘，算出Z的6次方的乘法器36d；对来自上述加法器34的输出进行延迟，并且对来自上述平方计算器33c的输出进行延迟的延迟电路35a；将被上述延迟电路35a延迟并按照定时输出的Z的平方，与由上述CPU 3设定于控制寄存器7a中的系数A(更准确地说，是如上所述A(点)。以下相同)相乘的乘法器36a；将被上述延迟电路35a延迟并按照定时输出的Z的4次方，与由上述CPU 3设定于控制寄存器7a中的系数B(更准确地说，是如上所述B(点)。以下相同)相乘的乘法器36b；将从上述乘法器36d输出的Z的6次方，与由上述CPU 3设定于控制寄存器7a中的系数C(更准确地说，是如上所述C(点)。以下相同)相乘的乘法器36c；将由上述CPU 3设定于控制寄存器7a中的上述系数A的符号signA赋予给上述乘法器36a的输出，并转换为定点小数的定点小数化电路37a；将由上述CPU 3设定于控制寄存器7a中的上述系数B的符号signB赋予给上述乘法器36b的输出，并转换为定点小数的定点小数化电路37b；将由上述CPU 3设定于控制寄存器7a中的上述系数C的符号signC赋予给上述乘法器36c的输出，并转换为定点小数的定点小数化电路37c；通过将来自上述定点小数化电路37a的输出、来自上述定点小数化电路37b的输出、来自上述定点小数化电路37c的输出，与由上述CPU 3设定于控制寄存器7a中的常数1.0相加，算出基于上述公式16的失真校正系数F的加法器38。

并且，在该图17中，用双线表示的部分是进行浮点小数的运算处理的部分，通过将动态范围广的X2、Y2和Z等作为浮点小数来进行处理，在保持精度的同时缩小了电路规模。

另外，图18是表示上述失真校正系数计算电路22a的结构的其它例的方框图。

该图18所示的失真校正系数计算电路22a具有：上述失真校正用坐标计算电路31、上述浮点小数化电路32a、上述浮点小数化电路32b、上述平方计算器33a、上述平方计算器33b、上述加法器34、LUT(查找表)39，该LUT39使用从该加法器34输出的被浮点小数化的Z(更准确地说，是如上所述的Z(2点)。以下相同)的平方来进行参照，从而输出被定点小数化的失真校正系数F。

在该图18中，双线表示的部分也是进行浮点小数的运算处理的部分。

这样，该图18所示的结构例通过使用查找表，缩短了用于计算失真校正系数F的处理时间，降低了电路的耗电。

并且，在使用该结构例的情况下，上述系数A、B、C不是由CPU 3设定的，而是固定值。当然，在即使查找表的规模变大也没有关系的情况下，可以准备与上述系数A、B、C的多个组合对应的查找表，来使用适当的查找表。

接着，图19是表示在每个时钟生成插值位置时的状况的时序图，图20是表示按每3个时钟1次的比例来生成插值位置时的状况的时序图。

图19表示在每个时钟生成插值位置时的动作的状况，当从后级的处理块向GRANT_N发送判定电路24e输入请求信号REQ_N时，该GRANT_N发送判定电路24e在能够输出图像数据的时候，向该后级的处理块发送许可信号GRANT_N。

该许可信号GRANGT_N也被输入给插值位置计算电路21a，生成插值位置X1、Y1并输出。在该图19所示的例中，插值位置X1、Y1在每个时钟被输出。

而且，在经过了适当的处理时间后，从上述插值电路26a向后级的处理块输出插值后的图像数据，此时从上述读出地址生成电路24a输出写入许可信号WE_N。

另外，图20表示按每3个时钟1次的比例来生成插值位置时的动作的状况的图。

到许可信号GRANT_N被输入到插值位置计算电路21a为止的动作与图19所示的情况相同，而之后该插值位置计算电路21a按每3个时钟1次的比例来生成插值位置X1、Y1并输出。

另外，从插值位置X1、Y1被生成到从上述插值电路26a输出插值后的图像数据为止的处理所需要的时间也与图19所示的情况相同，但因为插值位置X1、Y1的生成是每3个时钟1次，所以插值后的图像数据的输出也同样是每3个时钟1次，与此相应，写入许可信号WE_N的输出也成为每3个时钟1次。

并且，这里示出了每个时钟或每3个时钟进行1次插值位置的生成的例子，但不限于此，也可以每适当的多个时钟进行1次插值位置的生成，或者，也可以每n个时钟进行m次(n≥m)(例如，每3个时钟2次)插值位置的生成，也可用按任意的频率生成插值位置。另外，也可以动态变更这种相对于时钟数的插值位置的生成数的比例。

根据这种第2实施方式，获得与上述的第1实施方式几乎同样的效果，并且因为可通过1个电路同时进行失真校正处理和放大缩小处理，所以能够缩短处理时间，缩小电路规模。从而能以低成本构成高速图像处理装置。

另外，在不进行失真校正处理时，通过停止提供给失真校正坐标变换部的时钟，即通过停止提供给失真校正系数计算电路和插值位置校正电路的时钟，可降低耗电。

而且，通过根据需要不在每个时钟(不是每个时钟而是间隔着时钟)进行这些插值位置计算电路的坐标计算，可以在时间方向上分散耗电。通过适当变更该单位时间里计算坐标的次数，可实现更有效的耗电的分散。从而可抑制处理电路的温度上升，并且降低了图像处理装置整体的瞬间耗电(峰值耗电)。

而且因为根据变形后的实用公式来生成插值坐标数据，使得与基于基本公式的情况相比减少了乘法运算的次数，因此能削减设置于插值位置生成部或失真校正坐标变换部内部的乘法器的个数，可实现电路规模的缩小。

另外，与失真校正后的图像内的关注像素(X，Y)对应的位置(即，对(X，Y)考虑Xoff、Yoff、M、SX、SY等的位置)和失真中心位置(Xd，Yd)之间的距离Z(或Z(2点))是动态范围广的数，它们的平方、4次方、6次方等进一步变为动态范围广的数，但因为将它们作为浮点小数来进行处理，进行运算并算出失真校正系数，所以能够在保证精度的同时缩小电路规模。

另外，在求出失真校正系数时，根据上述距离Z(或Z(2点))(或它的平方)，使用可参照的查找表的情况下，能够在缩短处理时间的同时缩小电路规模。

从图21到图31表示本发明的第3实施方式。在该第3实施方式中，对与上述第1、第2实施方式相同的部分省略说明，主要仅对不同点进行说明。

该第3实施方式的图像处理装置的主要部分的结构与上述第2实施方式的图15所示的相同。

另外，在该第3实施方式中，能够通过按预定的块单位传送图像数据来减小容量的内部缓冲器是上述图2所示的内部存储部25或图29所示的2端口SRAM 25a。

图21是表示上述失真校正处理部7的结构的概要的方框图。

彩色图像数据通常被分解为RGB或YCbCr等3个(或其以上)独立的信号成分，针对每个成分分别进行处理。这里，将3个独立的信号成分分别被处理的路径(通道)设为Ch.0、Ch.1、Ch.2来进行说明，具体地说，例如通过Ch.0处理的信号成为R，通过Ch.1处理的信号成为G，通过Ch.2处理的信号成为B等。

在该失真校正处理部7，各通道的失真校正处理部向前级的对应的通道的处理块发送请求，按预定块单位接收根据该请求从前级的处理块发送来的图像数据，进行了失真校正后，输出给后级的对应的通道的处理块。具体地说，用于处理Ch.0数据的失真校正处理部成为7A，用于处理Ch.1数据的失真校正处理部成为7B，用于处理Ch.2数据的失真校正处理部成为7C，它们都被包含于上述失真校正处理部7中。并且，当这些失真校正处理部7A、7B、7C从后级的块接收到希望发送图像数据的意旨的请求时，在能够发送的阶段，按预定的块单位向该后级的块发送图像数据。

并且，在上述图15所示的结构例中，前级的处理块对应于图像处理部6，后级的处理块对应于JPEG处理部9，这些前级和后级的处理块也构成为按照每个通道来进行处理。

在失真校正处理部7中附设有控制寄存器7a，来自CPU 3的针对该失真校正处理部7的设定值和各种数据等被设定到上述失真校正处理部7A、7B、7C，同时能够从CPU 3读取处理结果的状态等。

上述失真校正处理部7的1个通道部分的处理的概要与参照上述图4和图5说明过的几乎相同。

而且，用于进行这种处理的1个通道的失真校正处理部7与上述图2所示的相同。

另外，在上述插值位置生成部21和失真校正坐标变换部22中算出坐标时的基本公式、以及通过对其变形从而能够缩小电路规模的实用公式，与在上述的第2实施方式中参照公式1～公式3以及公式5～公式16说明过的相同。

此时，由后述的图26所示的、上述失真校正坐标变换部22的作为失真校正系数计算单元的失真校正系数计算电路22a进行如上述公式16所示的失真校正系数F的计算，但也可以使用后述的图28所示的结构来代替该图26所示的结构。

而且，由如后述的图29所示的上述失真校正坐标变换部22的插值位置校正电路22b根据上述公式12算出失真校正处理前的目标点的坐标(插值坐标数据)(X’，Y’)。

图22是表示通过光学系统拍摄图像时发生的色像差的一例的图。

在该图22所示的例中，发生了枕型的失真像差，并且红色R从失真中心观察在绿色G的内侧，蓝色B从失真中心观察在绿色G的外侧，发生了分别偏移的色像差。而且，该色像差引起的偏移是离失真中心的距离越远则越大。

这样，因为色像差针对每种颜色而不同，所以插值处理也如图21所示，按照每种颜色进行。图25是表示上述失真校正处理部7的更详细的结构的方框图。

上述失真校正处理部7A具有Ch.0用失真校正电路7A1作为失真校正运算单元，上述失真校正处理部7B具有Ch.1用失真校正电路7B1作为失真校正运算单元，上述失真校正处理部7C具有Ch.2用失真校正电路7C1作为失真校正运算单元。

另外，用于算出失真校正系数F的失真校正系数计算电路22a构成上述失真校正坐标变换部22的一部分，因为能够在失真校正处理部7A、7B、7C中共用，所以作为对3个通道共用的单一的电路来设置，算出Ch.0用失真校正系数F0、Ch.1用失真校正系数F1、Ch.2用失真校正系数F2，分别输出给上述Ch.0用失真校正电路7A1、Ch.1用失真校正电路7B1、Ch.2用失真校正电路7C1。

另外，在进行了失真校正处理或放大缩小处理的插值处理后，向后级的处理块输出图像数据时，根据该后级的处理块的处理内容，有时同时需要3个通道的图像数据。然而，如上述图22所示，在有色像差的情况下，关注像素的位置因颜色而不同，所以不一定要同时收集全3个数据来输出。

参照图23以及图24对此进行说明。图23是表示在能够算出与B相关的插值数据的时刻被存储在内部存储部中的图像数据的状况的图，图24是表示在能够算出分别与R、G、B相关的插值数据的时刻被存储在内部存储部中的图像数据的状况的图。

在3个通道同时开始插值数据的计算处理的情况下，来自前级的处理块的图像数据被按顺序存储于各通道的内部存储部25(后述的图29所示的2端口SRAM 25a)中。此时，已经作为数据而被存储的部分是用斜线表示的部分。在图23所示的时刻，虽然图像数据的积蓄已达到了可进行与蓝色B相关的插值数据的计算的量，但还没有达到可进行与绿色G以及红色R相关的插值数据的计算的量。

另外，在图24所示的时刻，图像数据的积蓄已进行到了可进行与红色R、绿色G、蓝色B相关的插值数据的计算的程度。

这样，在成为能够算出3个通道的插值数据的时刻，由作为准许同步单元的准许同步电路27进行同步以便许可向后级的处理块传输图像数据。

如果以Ch.0是R、Ch.1是G、Ch.2是B的情况为例，当成为如上述图23所示的状态时，上述Ch.0用失真校正电路7A1输出请求开始失真校正处理的请求信号trok_0，虽然未图示，但Ch.1用失真校正电路7B1在能够进行失真校正处理的时刻，输出请求开始失真校正处理的请求信号trok_1，当成为如上述图24所示的状态时，Ch.2用失真校正电路7C1输出请求开始失真校正处理的请求信号trok_2。

准许同步电路27在全部收集全了这些请求信号trok_0、trok_1、trok_2后，即当能够通过3个通道的全部发送插值数据时，向后级的处理块中的进行与Ch.0相关的处理的部分输出许可信号GRANT_N0，向进行与Ch.1相关的处理的部分输出许可信号GRANT_N1，向进行与Ch.2相关的处理的部分输出许可信号GRANT_N2，并且对Ch.0用失真校正电路7A1、Ch.1用失真校正电路7B1、Ch.2用失真校正电路7C1进行控制，以便如后面所述同时开始失真校正处理。

并且，该准许同步电路27如后面所述，在内部具有开关，能够对是否使3个通道的输出同步进行切换。

图26是表示上述失真校正系数计算电路22a的结构的方框图。

该失真校正系数计算电路22a是用于根据上述公式16来算出失真校正系数F的失真校正系数计算单元，该公式16中的反映光学系统的光学性质的A(点)、B(点)、C(点)被针对每个通道，即针对例如RGB的每个颜色成分，由上述CPU 3设定到控制寄存器7a中。

并且，在该图26以及后述的图27、图28的图中，而且在以下所示的图26到图28的说明中，Z是指公式10的左边所示的Z(2点)，系数A、B、C是指公式13的左边所示的A(点)、B(点)、C(点)。

失真校正系数计算电路22a具有：当从上述准许同步电路27输入了许可信号e_grant时，根据上述公式11算出插值坐标X2、Y2的失真校正用坐标计算电路31；将通过该失真校正用坐标计算电路31算出的插值坐标X2转换为浮点小数的浮点小数化电路32a；将通过该失真校正用坐标计算电路31算出的插值坐标Y2转换为浮点小数的浮点小数化电路32b；对通过上述浮点小数化电路32a进行了浮点小数化的插值坐标X2进行平方的平方计算器33a；对通过上述浮点小数化电路32b进行了浮点小数化的插值坐标Y2进行平方的平方计算器33b；通过将上述平方计算器33a算出的插值坐标X2的平方与上述平方计算器33b算出的插值坐标Y2的平方相加，来算出Z(更准确地说，是上述的Z(2点)。以下相同)的平方的加法器34；通过对该加法器34的输出进行平方，来算出Z的4次方的平方计算器33c；对来自上述加法器34的输出进行延迟的延迟电路35b；通过将由上述平方计算器33c算出的Z的4次方，与通过该延迟电路35b被延迟并按照定时输出的Z的平方相乘，来算出Z的6次方的乘法器36；对来自上述加法器34的输出进行延迟，并且对来自上述平方计算器33c的输出进行延迟的延迟电路35a；使用从该延迟电路35a按照定时输出的Z的平方和Z的4次方，以及从上述乘法器36输出的Z的6次方，分别算出Ch.0用、Ch.1用、Ch.2用的失真校正系数F0、F1、F2的距离依存系数计算电路40a、40b、40c。

图27是表示作为上述距离依存系数计算电路40a、40b、40c中的任意1个的距离依存系数计算电路40的结构的方框图。

该距离依存系数计算电路40具有：将被上述延迟电路35a延迟、按照定时输出的Z的平方，与由上述CPU 3设定于控制寄存器7a中的系数A(更准确地说，是上述的A(点)。以下相同)相乘的乘法器41a；将被上述延迟电路35a延迟、按照定时输出的Z的4次方，与由上述CPU 3设定于控制寄存器7a中的系数B(更准确地说，是上述的B(点)。以下相同)相乘的乘法器41b；将从上述乘法器36输出的Z的6次方与由上述CPU 3设定于控制寄存器7a中的系数C(更准确地说，是上述的C(点)。以下相同)相乘的乘法器41c；将由上述CPU 3设定于控制寄存器7a中的上述系数A的符号signA赋予给来自上述乘法器41a的输出，并转换为定点小数的定点小数化电路42a；将由上述CPU 3设定于控制寄存器7a中的上述系数B的符号signB赋予给来自上述乘法器41b的输出，并转换为定点小数的定点小数化电路42b；将由上述CPU 3设定于控制寄存器7a中的上述系数C的符号signC赋予给来自上述乘法器41c的输出，并转换为定点小数的定点小数化电路42c；通过将来自上述定点小数化电路42a的输出、来自上述定点小数化电路42b的输出、来自上述定点小数化电路42c的输出、由上述CPU 3设定于控制寄存器7a中的常数1.0相加，算出基于上述公式16的失真校正系数F(即，失真校正系数F0、F1、F2中的任意一个)的加法器43。

并且，在图26以及图27中，用双线表示的部分是进行浮点小数的运算处理的部分，通过将动态范围广的X2、Y2和Z作为浮点小数来处理，在保持精度的同时缩小了电路规模。

此时，如上述图26所示，失真校正系数计算电路22a的一部分，即失真校正用坐标计算电路31、浮点小数化电路32a、32b、平方计算器33a、33b、33c、加法器34、延迟电路35a、35b、乘法器36，构成为不依赖于通道的共用的部分。这样，能够进一步实现电路规模的缩小，降低耗电。

另外，图28是表示上述失真校正系数计算电路22a的结构的其它例的方框图。

该图28所示的失真校正系数计算电路22a具有以下部分而构成：上述失真校正用坐标计算电路31；上述浮点小数化电路32a；上述浮点小数化电路32b；上述平方计算器33a；上述平方计算器33b；上述加法器34；通过使用从该加法器34输出、被浮点小数化的Z(更准确地说，是上述的Z(2点)。以下相同)的平方并进行参照，分别输出被定点小数化的失真校正系数F0、F1、F2的LUT(查找表)39a、39b、39c。

在该图28中，用双线表示的部分也是进行浮点小数的运算处理的部分。

这样，该图28所示的结构例通过使用查找表，缩短了用于算出失真校正系数F0、F1、F2的处理时间，降低了电路的耗电。

并且，在应用该结构例的情况下，每个通道的上述系数A、B、C不是由CPU 3设定的，而是成为固定值。当然，在即使查找表的规模变大也没有关系的情况下，也可以针对每个通道准备与上述系数A、B、C的多个组合对应的查找表，使用合适的查找表。

下面，图29是表示上述Ch.0用失真校正电路7A1的结构的方框图。因为Ch.1用失真校正电路7B1、Ch.2用失真校正电路7C1的结构也与该Ch.0用失真校正电路7A1的结构相同，所以这里只对Ch.0用失真校正电路7A1进行说明。

插值位置计算电路21a用于如上述那样算出上述目标点的坐标(X1，Y1)，是对应于上述插值位置生成部21的电路部分。

插值位置校正电路22b用于使用通过上述失真校正系数计算电路22a算出的失真校正系数F0，如上述公式12所示那样，算出失真校正处理前的目标点的坐标(X’，Y’)，成为上述失真校正坐标变换部22的一部分。

上述选择器23在不进行失真校正处理的情况下(不管是否进行放大缩小处理)，选择来自上述插值位置计算电路21a的坐标(X1，Y1)，在进行失真校正处理的情况下(不管是否伴随放大缩小处理)，选择来自上述插值位置校正电路22b的坐标(X’，Y’)。

通过加法器27a、27b，分别将通过该选择器23选择的坐标(X1，Y1)或坐标(X’，Y’)与通过控制寄存器7a由上述CPU 3设定的失真中心位置的坐标(Xd，Yd)进行加法运算。

而且，通过上述插值位置计算电路21a算出的坐标(X1，Y1)也通过与经由上述选择器23的路径不同的路径被输入到该读出地址生成电路24a。而且，该读出地址生成电路24a将存储有与该坐标(X1，Y1)关联的像素数据(在进行16点插值的情况下，是以该坐标(X1，Y1)为中心的16个像素数据)的地址ADR输出给2端口SRAM 25a，并且将插值系数(例如，如上述公式5所示的插值系数kx0～kx3，ky0～ky3)和表示要输出的像素数据是D0～D15的哪个位置的像素数据的数据串控制信号输出给插值电路26a。进而，该读出地址生成电路24a将写入许可信号WE_N0输出给后级的与Ch.0对应的处理块。

上述2端口SRAM 25a是与上述图2所示的内部存储部25对应的电路部分。

插值电路26a与上述图2所示的插值运算部26对应，使用从上述2端口SRAM 25a读出的图像数据，进行如上述公式5所示的插值处理，将处理后的图像数据输出给后级的处理块。

上述缓存释放量计算电路24c根据来自上述插值位置计算电路21a的输出和经由上述加法器27a、27b的来自上述选择器23的输出，算出在上述2端口SRAM 25a中可释放的存储容量(缓存释放量)。

缓冲器空余容量监视电路24d参照该缓存释放量计算电路24c的输出，把握上述2端口SRAM 25a的空余容量的状况。

写入地址生成电路24b接收来自前级的处理块的与Ch.0相关的图像数据，并且记录在上述2端口SRAM 25a中。

数据可否发送判定电路24f接收来自与Ch.0相关的后级的处理块的请求图像数据的请求信号REQ_N0，根据上述写入地址生成电路24b和缓存释放量计算电路24c的输出，判断能否进行图像数据的发送，在能够的情况下，将请求信号trok_0输出给上述准许同步电路27。

下面，对该图29所示的失真校正处理部7的动作进行说明。

缓冲器空余容量监视电路24d通过缓存释放量计算电路24c监视2端口SRAM 25a的空余容量，如果有预定的空余容量，则向与Ch.0相关的前级的处理块发出请求信号REQ_0，以便发送预定的块单位的图像数据(以下，适当地称作单位行(UL)数据)(步骤S21)。

与Ch.0相关的前级的处理块接收该请求信号REQ_0，在能够发送图像数据时，发送许可信号GRANT_0，上述缓冲器空余容量监视电路24d接收该许可信号GRANT_0(步骤S22)。

该缓冲器空余容量监视电路24d通过保持于内部的计数器来把握2端口SRAM 25a的空余容量，在接收许可信号GRANT的同时，将该内部计数器的值减1。一旦该内部计数器变成了0，则该缓冲器空余容量监视电路24d进行动作，以撤消上述请求信号REQ_0(步骤S23)。

而且，从与Ch.0相关的前级的处理块向写入地址生成电路24b输入写入许可信号WE_0，接着输入图像数据。与此对应，写入地址生成电路24b向2端口SRAM 25a输出控制信号，将图像数据DATA写入到该2端口SRAM 25a中的由地址ADDRESS所指定的区域。另外，每当被输入1UL数据，写入地址生成电路24b就增大BLC计数器(表示在作为内部缓冲器的2端口SRAM 25a中存储有多少数据的计数器)，并输出给数据可否发送判定电路24f(步骤S24)。

当数据可否发送判定电路24f从与Ch.0相关的后级的处理块接收到请求信号REQ_N0时，判定在2端口SRAM 25a内是否存在接下来能够发送的UL数据，在判定为存在的情况下，向上述准许同步电路27发送请求信号trok_0(步骤S25)。

如后面所述，准许同步电路27在具备了图像数据的发送条件时，向与各通道相关的后级的处理块以及与各通道相关的插值位置计算电路21a输出许可信号GRANT_N0、GRANT_N1、GRANT_N2。

与Ch.0相关的插值位置计算电路21a接收该许可信号GRANT_N0，开始动作，当进行了1UL的量的插值位置即坐标(X1，Y1)的计算动作时，算出下一个UL的开头坐标并结束(步骤S26)。

上述准许同步电路27与插值位置计算电路21a开始动作并输出坐标(X1，Y1)相同步地在失真校正系数计算电路22a能够输出失真校正系数F0的定时，向该失真校正系数计算电路22a输出许可信号e_grant(步骤S27)。

当失真校正系数计算电路22a接收到许可信号e_grant时，根据上述公式16算出与各通道相关的失真校正系数F0、F1、F2，输出给各通道的插值位置校正电路22b。该失真校正系数计算电路22a也与上述插值位置计算电路21a相同，在进行了1UL的量的动作时，算出下一个UL开头坐标并结束(步骤S28)。

与Ch.0相关的插值位置校正电路22b使用从该失真校正系数计算电路22a获取的失真校正系数F0和从上述插值位置计算电路21a获取的坐标(X1，Y1)，基于上述公式12算出坐标(X’，Y’)。该插值位置校正电路22b也依照上述失真校正系数计算电路22a，在进行了1UL的量的动作时，算出下一个UL开头坐标并结束(步骤S29)。

选择器23根据通过上述控制寄存器7a由上述CPU 3设定的动作模式，在进行失真校正处理的情况下，选择来自上述插值位置校正电路22b的坐标(X’，Y’)，在不进行失真校正处理的情况下，选择来自上述插值位置计算电路21a的坐标(X1，Y1)(步骤S30)。

加法器27a、27b将通过该选择器23选择的坐标(X1，Y1)或坐标(X’，Y’)分别与失真中心位置的坐标(Xd，Yd)相加(步骤S31)。

读出地址生成电路24a将为了用于插值，根据从加法器27a、27b获取的坐标而从2端口SRAM 25a读出的像素数据的地址ADR输出给该2端口SRAM 25a，并且将插值系数和数据串控制信号输出给插值电路26a输出(步骤S32)。

插值电路26a使用从读出地址生成电路24a获取的插值系数和数据串控制信号，以及从2端口SRAM 25a获取的像素数据，如上述公式5所示，算出被插值后的像素数据，并输出给与Ch.0相关的后级的处理块(步骤S33)。

缓存释放量计算电路24c基于上述插值位置计算电路21a以及加法器27a、27b的输出，一旦确认了已经输出UL数据直至最后的情况，则算出当前结束处理的UL开头坐标和下一个UL开头坐标的差，为了释放存储着不需要的数据的缓冲器(2端口SRAM 25a内的区域)，将缓存释放量向缓冲器空余容量监视电路24d输出，并且，将关于为了进行下一个UL处理而需要从与Ch.0相关的前级的处理块接收后面多少数据的信息发送给上述数据可否发送判定电路24f(步骤S34)。

缓冲器空余容量监视电路24d在上述步骤S34确认了在作为内部缓冲器的2端口SRAM 25a中有存储区域的空余时，返回上述步骤S21，反复进行上述的处理(步骤S35)。

数据可否发送判定电路24f根据来自上述写入地址生成电路24b的BLC计数器的值和来自缓存释放量计算电路24c的输出，判定能否将下一个UL数据发送给后级的处理块，在判定为能发送的情况下，进行上述步骤S25的处理(步骤S36)。

图30是表示准许同步电路27的结构的方框图，图31是用于说明准许同步电路27的动作的时序图。

首先，通过参照上述控制寄存器7a而得到的DT_ON是保存表示是否进行失真校正的布尔值的数据，以下面的方式构成：在0(假)的情况下被取为低电平信号，在1(真)的情况下被取为高电平信号。

该准许同步电路27具有以下部分而构成：用于取得来自Ch.0用失真校正电路7A1的请求信号trok_0、来自Ch.1用失真校正电路7B1的请求信号trok_1与来自Ch.2用失真校正电路7C1的请求信号trok_2的逻辑积的“与”电路51；用于检测上述请求信号trok_0、trok_1、trok_2和“与”电路51的输出的上升沿的微分电路52；被进行切换使得当DT_ON是低电平时连接到与请求信号trok_0相关的微分电路52的输出侧，当该DT_ON是高电平时连接到与上述“与”电路51相关的微分电路52的输出侧的开关53a；被进行切换使得当DT_ON是低电平时连接到与请求信号trok_1相关的微分电路52的输出侧，当该DT_ON是高电平时连接到与上述“与”电路51相关的微分电路52的输出侧的开关53b；被进行切换使得当DT_ON是低电平时连接到与请求信号trok_2相关的微分电路52的输出侧，当该DT_ON是高电平时连接到与上述“与”电路51相关的微分电路52的输出侧的开关53c；取得与上述“与”电路51相关的微分电路52的输出与DT_ON的逻辑积，作为许可信号e_grant输出给上述失真校正系数计算电路22a的失真校正用坐标计算电路31的“与”电路54。

这样的准许同步电路27的动作如下所述。

首先，当DT_ON是低电平时，即不进行失真校正时，上述开关53a、53b、53c分别被切换到用于检测请求信号trok_0、trok_1、trok_2的微分电路52的输出侧。

此时，如图31的左侧所示，当高电平信号被输入到请求信号trok_0时，通过微分电路52检测到其上升沿，作为GRANT_N0输出。接着，当高电平信号被输入到请求信号trok_1时，通过微分电路52检测到其上升沿，作为GRANT_N1输出，并且之后当高电平信号被输入到请求信号trok_2时，通过微分电路52检测到其上升沿，作为GRANT_N2输出。这样，在DT_ON是低电平时，来自3个通道的图像数据的输出针对每个通道按照各自的定时来进行。

另外，当DT_ON变为低电平时，不管“与”电路51的输出如何，“与”电路54的输出维持在低电平状态，许可信号e_grant不被输出(或成为不许可输出)，所以上述失真校正系数计算电路22a不进行失真校正系数F0、F1、F2的计算。因此，与各通道相关的插值位置校正电路22b也不动作，结果，不进行失真插值处理。

接着，当DT_ON是高电平时，即进行失真校正时，上述开关53a、53b、53c被切换到与“与”电路51相关的微分电路52的输出侧。

此时，如图31的右侧所示，即使向请求信号trok_0输入高电平信号，在该时刻，因为请求信号trok_1、trok_2被维持在低电平的状态，所以该“与”电路51的输出仍维持在低电平状态。

其后，在请求信号trok_0是高电平、而且请求信号trok_1成为高电平时，在请求信号trok_2为低电平的期间，“与”电路51的输出仍被维持在低电平状态。

而且，在请求信号trok_0、trok_1、trok_2全部成为高电平时，“与”电路51的输出变为高电平，通过微分电路52检测到其上升沿。

该微分电路52的输出作为许可信号GRANT_N0、GRANT_N1、GRANT_N2同时被输出，并且也输出给“与”电路54，取得与成为高电平的DT_ON的逻辑积，作为许可信号e_grant输入到上述失真校正系数计算电路22a。

这样，在DT_ON是高电平时，按照同步的定时进行来自3个通道的图像数据的输出。

根据这种第3实施方式，取得了与上述的第1、第2实施方式几乎同样的效果，并且，可实现能进行失真校正和色像差校正、电路规模小且低耗电的图像处理装置。

特别地，通过对多个通道共用失真校正系数计算电路的至少一部分，可有效减小电路规模，实现低耗电。此时，因为将动态范围广的数作为浮点小数来处理进行运算，所以能够在确保精度的同时缩小电路规模。而且，在参照查找表求出失真校正系数的情况下，能够在缩短处理时间的同时缩小电路规模。

另外，因为设置了准许同步电路，能够同时进行来自各通道的图像数据输出，所以能良好地对应在后级的处理块中同时需要多个通道的图像数据的情况。此时，准许同步电路能够以通过开关将多个通道的图像数据按照各自的定时输出的方式来进行处理，所以可根据需要来进行选择。

另外，因为根据变形后的实用公式生成插值坐标数据，使得与基于基本公式的情况相比减少了乘法次数，所以能削减设置于插值位置生成部或失真校正坐标变换部的内部的乘法器的个数，能实现电路规模的缩小。

而且，具有能通过同一电路同时来进行放大缩小处理和失真校正处理的优点。

并且，本发明不限于上述的实施方式，当然可以在不脱离发明的主旨的范围内进行各种变形和应用。

根据如以上说明的本发明的图像处理装置，能够不增大总线的数据传送量和存储器容量，而进行图像处理。

另外，实现了能够进行放大缩小处理和失真校正处理、电路规模小且低耗电的图像处理装置。

而且，实现了能够进行失真校正和色像差校正、电路规模小且低耗电的图像处理装置。

Claims

1.一种图像处理装置，对经过光学系统进行摄像而获得的电子图像数据进行处理，所述图像数据具有二维地排列在行方向和列方向上的像素数据，且该图像处理装置具有：

存储器，其至少在进行图像处理前存储所述图像数据，并且也能在进行了图像处理后存储所述图像数据；

第1数据顺序转换部，其以所述图像数据的所述二维排列的块为单位，从所述存储器通过总线按行方向读出该块内的像素数据，然后，按列方向输出该块内的像素数据；

图像处理部，其通过与所述总线不同的信息传达路径被与所述第1数据顺序转换部连接成能够进行流水线处理，输入从该第1数据顺序转换部按列方向输出的图像数据，进行了图像处理后，按该列方向输出；以及

第2数据顺序转换部，其被与所述图像处理部连接成能够进行流水线处理，将从该图像处理部按列方向输出的图像数据转换为行方向的图像数据而输出，

其特征在于，

所述图像处理部构成为具有失真校正处理部，该失真校正处理部用于校正由所述光学系统引起的失真像差，

所述失真校正处理部具有：

生成插值坐标的插值坐标生成部；

用于存储所述图像数据的一部分的内部存储部；以及

插值运算部，其根据由所述插值坐标生成部生成的插值坐标，并根据存储于所述内部存储部中的图像数据，生成该插值坐标的像素数据。

2.根据权利要求1所述的图像处理装置，其特征在于，所述第1数据顺序转换部能够变更从所述存储器读出的以块为单位的图像数据的行方向的尺寸和列方向的尺寸中的至少一方。

3.根据权利要求1所述的图像处理装置，其特征在于，进行所述图像处理前的图像数据是下述数据中的任意一个：通过摄像单元对由光学系统成像的被摄体光学像进行光电转换而输出的摄像数据；根据需要对该摄像数据实施除了压缩处理之外的预定处理后的非压缩图像数据；根据需要对所述摄像数据实施除了压缩处理之外的预定处理后，再进行了压缩处理的压缩图像数据。

4.根据权利要求2所述的图像处理装置，其特征在于，进行所述图像处理前的图像数据是下述数据中的任意一个：通过摄像单元对由光学系统成像的被摄体像进行光电转换而输出的摄像数据；根据需要对该摄像数据实施除了压缩处理之外的预定处理的非压缩图像数据；根据需要对所述摄像数据实施除了压缩处理之外的预定处理后，再进行了压缩处理的压缩图像数据。

5.根据权利要求1所述的图像处理装置，其特征在于，所述插值坐标生成部具有：

插值位置生成部，其生成失真校正后的图像中作为插值对象的像素的坐标；以及

失真校正坐标变换部，其求出与由该插值位置生成部生成的坐标对应的失真校正前的图像中的坐标。

6.根据权利要求5所述的图像处理装置，其特征在于，所述插值坐标生成部还具有选择器，该选择器选择由所述插值位置生成部生成的坐标和由所述失真校正坐标变换部求出的坐标中的任意一个并输出给所述插值运算部。

7.根据权利要求5所述的图像处理装置，其特征在于，所述失真校正坐标变换部使用包含将从失真中心到插值位置的距离的整数次方进行线性组合而获得的多项式的预定校正公式，求出与通过所述插值位置生成部生成的坐标对应的失真校正前的图像中的坐标。

8.根据权利要求6所述的图像处理装置，其特征在于，所述失真校正坐标变换部使用包含将从失真中心到插值位置的距离的整数次方进行线性组合而获得的多项式的预定校正公式，求出与通过所述插值位置生成部生成的坐标对应的失真校正前的图像中的坐标。

9.根据权利要求7所述的图像处理装置，其特征在于，所述多项式包含超过了所述距离的2次项的高次项。

10.根据权利要求8所述的图像处理装置，其特征在于，所述多项式包含超过了所述距离的2次项的高次项。

11.根据权利要求7所述的图像处理装置，其特征在于，所述图像处理部还包括所述失真校正处理部以外的其它图像处理部，

所述失真校正坐标变换部将与从所述失真中心到插值位置的距离相关的信息输出给所述其它图像处理部。

12.根据权利要求8所述的图像处理装置，其特征在于，所述图像处理部还包括所述失真校正处理部以外的其它图像处理部，

13.根据权利要求9所述的图像处理装置，其特征在于，所述图像处理部还包括所述失真校正处理部以外的其它图像处理部，

14.根据权利要求10所述的图像处理装置，其特征在于，所述图像处理部还包括所述失真校正处理部以外的其它图像处理部，

15.根据权利要求11所述的图像处理装置，其特征在于，所述其它图像处理部包括阴影校正部、低通滤波处理部、边缘强调处理部之中的1个以上。

16.根据权利要求12所述的图像处理装置，其特征在于，所述其它图像处理部包括阴影校正部、低通滤波处理部、边缘强调处理部之中的1个以上。

17.根据权利要求13所述的图像处理装置，其特征在于，所述其它图像处理部包括阴影校正部、低通滤波处理部、边缘强调处理部之中的1个以上。

18.根据权利要求14所述的图像处理装置，其特征在于，所述其它图像处理部包括阴影校正部、低通滤波处理部、边缘强调处理部之中的1个以上。

19.根据权利要求4所述的图像处理装置，其特征在于，所述其它图像处理部包括阴影校正部、低通滤波处理部、边缘强调处理部之中的1个以上。

20.一种图像处理装置，能够对经过光学系统进行摄像而获得的电子图像数据进行包括失真校正处理和放大缩小处理的图像处理，其特征在于，

该图像处理装置具有失真校正处理部，该失真校正处理部包括：

插值坐标生成部，其用于生成与进行了可包含失真校正处理和放大缩小处理在内的图像处理的插值处理后的像素位置对应的插值处理前的坐标数据，即插值坐标数据；

存储部，其用于存储所述图像数据的至少一部分；

存储器控制部，其基于所述插值坐标数据，进行将所述图像数据的一部分写入到所述存储部的控制，和从该存储部读出的控制；以及

插值运算部，其通过对根据所述存储器控制部的控制从所述存储部读出的图像数据进行插值运算，生成进行了插值处理后的像素位置的图像数据。

21.根据权利要求20所述的图像处理装置，其特征在于，所述插值坐标生成部包括：

插值位置生成部，其生成与进行了不包含失真校正处理而包含放大缩小处理在内的图像处理的插值处理后的像素位置对应的插值处理前的坐标数据，即插值位置；

失真校正坐标变换部，其使用由所述插值位置生成部生成的插值位置，生成与进行了包含失真校正处理在内的图像处理的插值处理后的像素位置对应的插值处理前的坐标数据，即插值坐标数据；以及

选择器，其在不进行失真校正处理的情况下，选择所述插值位置生成部的输出，在进行失真校正处理的情况下，选择所述失真校正坐标变换部的输出，并将所选择的输出输出给所述存储器控制部。

22.根据权利要求21所述的图像处理装置，其特征在于，所述失真校正坐标变换部包括：

失真校正系数计算电路，其算出表示由所述光学系统的失真像差引起的坐标变化的系数，即失真校正系数；以及

插值位置校正电路，其使用通过所述失真校正系数计算电路算出的失真校正系数，来校正由所述插值位置生成部生成的插值位置，从而生成所述插值坐标数据。

23.根据权利要求21所述的图像处理装置，其特征在于，所述失真校正处理部通过被供给时钟而进行动作，该失真校正处理部的所述失真校正坐标变换部被供给与提供给该失真校正处理部的该失真校正坐标变换部以外的部分的时钟不同的时钟。

24.根据权利要求22所述的图像处理装置，其特征在于，所述失真校正处理部通过被供给时钟而进行动作，该失真校正处理部的所述失真校正坐标变换部被供给与提供给该失真校正处理部的该失真校正坐标变换部以外的部分的时钟不同的时钟。

25.根据权利要求21所述的图像处理装置，其特征在于，

所述失真校正处理部通过被供给时钟而进行动作，

所述插值位置生成部，或者该插值位置生成部以及所述失真校正坐标变换部不是按照每个时钟而是间隔着时钟来进行插值位置的生成，或者插值位置的生成以及插值坐标数据的生成。

26.根据权利要求22所述的图像处理装置，其特征在于，

所述失真校正处理部通过被供给时钟而进行动作，

27.根据权利要求23所述的图像处理装置，其特征在于，

所述失真校正处理部通过被供给时钟而进行动作，

28.根据权利要求24所述的图像处理装置，其特征在于，

所述失真校正处理部通过被供给时钟而进行动作，

29.根据权利要求21所述的图像处理装置，其特征在于，

所述失真校正坐标变换部根据变形后的实用公式来生成插值坐标数据，使得与基于基本公式的情况相比减少了乘法次数。

30.根据权利要求22所述的图像处理装置，其特征在于，

31.根据权利要求23所述的图像处理装置，其特征在于，

32.根据权利要求24所述的图像处理装置，其特征在于，

33.根据权利要求25所述的图像处理装置，其特征在于，

34.根据权利要求26所述的图像处理装置，其特征在于，

35.根据权利要求27所述的图像处理装置，其特征在于，

36.根据权利要求28所述的图像处理装置，其特征在于，

37.根据权利要求22所述的图像处理装置，其特征在于，所述失真校正系数计算电路根据与失真校正后的图像内的关注像素对应的位置和失真中心位置之间的距离计算所述失真校正系数，通过浮点小数运算来进行该计算中的运算处理的至少一部分。

38.根据权利要求37所述的图像处理装置，其特征在于，所述失真校正系数计算电路具有查找表，该查找表存储所述距离的平方值与所述失真校正系数的对应关系，

通过所述浮点小数运算求出该距离的平方值，通过根据求出的距离的平方值来参照该查找表，求出所述失真校正系数。

39.一种图像处理装置，对经过光学系统进行摄像而获得的电子图像数据进行处理，所述图像数据由多个成分构成，其特征在于，该图像处理装置具有失真校正处理部，该失真校正处理部包括：

失真校正系数计算部，其根据离失真中心位置的距离，针对所述每个成分算出用于校正由所述光学系统引起的失真像差的失真校正系数；以及

失真校正运算部，其使用通过所述失真校正系数计算部算出的每个成分的失真校正系数，按照每个成分对所述图像数据进行失真校正。

40.根据权利要求39所述的图像处理装置，其特征在于，所述失真校正运算部被与构成所述图像数据的所有成分一对一对应地设置多个。

41.根据权利要求40所述的图像处理装置，其特征在于，

所述失真校正运算部构成为具有用于存储图像数据的内部缓冲器，并且在该内部缓冲器中已存储了进行失真校正处理所需要的图像数据的阶段，输出失真校正处理开始请求，

还具有准许同步部，该准许同步部在收集全了来自所述多个失真校正运算部的全部失真校正运算部的失真校正处理开始请求后，对这些全部的失真校正运算部进行控制以便开始失真校正处理。

42.根据权利要求41所述的图像处理装置，其特征在于，

所述准许同步部向所述失真校正系数计算部输出用于许可失真校正系数的计算处理的许可信号，以开始由该失真校正系数计算部进行的与所有成分相关的失真校正系数的计算，从而对全部的失真校正运算部进行控制，以便开始失真校正处理。

43.根据权利要求39所述的图像处理装置，其特征在于，所述失真校正系数计算部的至少一部分作为在计算所述每个成分的失真校正系数时对所有成分共用的部分而构成。

44.根据权利要求40所述的图像处理装置，其特征在于，所述失真校正系数计算部的至少一部分作为在计算所述每个成分的失真校正系数时对所有成分共用的部分而构成。

45.根据权利要求41所述的图像处理装置，其特征在于，所述失真校正系数计算部的至少一部分作为在计算所述每个成分的失真校正系数时对所有成分共用的部分而构成。

46.根据权利要求42所述的图像处理装置，其特征在于，所述失真校正系数计算部的至少一部分作为在计算所述每个成分的失真校正系数时对所有成分共用的部分而构成。

47.根据权利要求43所述的图像处理装置，其特征在于，

所述失真校正系数计算部算出离所述失真中心位置的距离的平方值，根据该平方值按每个成分求出所述失真校正系数，

对所述所有成分共用的部分是用于算出离该失真中心位置的距离的平方值的部分。

48.根据权利要求44所述的图像处理装置，其特征在于，

49.根据权利要求45所述的图像处理装置，其特征在于，

50.根据权利要求46所述的图像处理装置，其特征在于，

51.根据权利要求47所述的图像处理装置，其特征在于，

所述失真校正系数计算部针对所述每个成分都具有查找表，该查找表存储离所述失真中心位置的距离的平方值与所述失真校正系数的对应关系，

所述失真校正系数计算部根据所述算出的距离的平方值，通过参照所述每个成分的查找表，针对每个成分求出所述失真校正系数。

52.根据权利要求48所述的图像处理装置，其特征在于，

53.根据权利要求49所述的图像处理装置，其特征在于，

54.根据权利要求50所述的图像处理装置，其特征在于，