CN101924875A - 图像处理装置以及摄像装置 - Google Patents

Abstract

图像处理装置以及摄像装置。目的是在以块行为单位进行畸变校正处理时消除每个块行的重复处理。设有：畸变校正部；畸变校正范围计算部，对图像数据的每个块行计算所需的矩形范围作为畸变校正范围；控制部，根据当前畸变校正范围和下个畸变校正范围求出要输入到畸变校正部中的图像数据范围，作为输入图像范围；存储控制部，根据当前畸变校正范围和下个畸变校正范围，求出与输入图像范围对应的图像数据中、对于下个块行也需要的图像数据范围；重合部分保存器，将存储控制部求出的范围的图像数据存储为重合部分图像数据。输入畸变校正部中的与输入图像范围对应的图像数据包含从帧存储器中读出的图像数据和从重合部分保存器中读出的重合部分图像数据。

Description

图像处理装置以及摄像装置

技术领域

本发明涉及用于进行畸变校正处理的图像处理装置以及具有这种图像处理装置的摄像装置。

背景技术

数字照相机等摄像装置使用镜头将来自被摄体的光会聚在摄像元件上而得到图像。在该情况下，镜头具有畸变像差，因此，由摄像元件得到的图像相对于摄影对象存在畸变而不是相似形。在近年来的摄像装置中，安装有畸变校正处理功能的摄像装置不断增加。畸变校正处理功能是指利用数字处理将具有畸变的图像校正为不具有畸变的图像的功能。另外，已经提出了各种与这样的畸变校正处理相关的方案。

例如，在日本特开2005-44098号公报中，将存储在帧存储器中的1帧的图像数据分割成多个块(块行：block line)，来进行畸变校正处理。另外，在日本特开2005-44098号公报中，在畸变校正处理之前，预先确定图像数据的输入范围，在该图像数据的输入范围内，能够利用畸变校正处理而得到与期望的矩形范围对应的块行的图像数据。在这样地确定了图像数据的输入范围之后，进行每个块行的畸变校正处理，由此，能够使用所需的最低限度的输入图像数据进行畸变校正处理。

在考虑了畸变校正处理电路中的处理的简化等的情况下，希望将应输入到畸变校正处理电路的图像数据的输入范围设定为包含应实施畸变校正处理的部分的矩形范围。在输入这种矩形范围的块行图像数据的情况下，在当前处理中的块行的下端部与要在下次处理的块行的上端部，产生了需要重复处理的部分。当进行这样的重复处理时，图像处理的效率降低。

在日本特开2002-304624号公报中，提出了用于消除空间滤波处理中的图像数据的重复处理的方案。在该日本特开2002-304624号公报中，将滤波处理单元正在处理的中间数据中的、也将用于下次分割图像的处理的重复部分的中间数据，存储在帧存储器(图像存储器)中。

这里，考虑把日本特开2002-304624号公报的方法应用于日本特开2005-44098号公报的每个块行的畸变校正处理的情况。一般而言，对于每个块行，畸变校正处理时所要输入的块行的图像数据的输入范围不同。与此相对，假设简单地把日本特开2002-304624号公报的方法应用于日本特开2005-44098号公报的每个块行的畸变校正处理。此时，例如，在下次所要处理的块行的输入范围相对于当前所要处理的块行的输入范围向左方向发生了偏移的情况下，由于向该向左方向偏移的部分未被存储在帧存储器中，因此，针对该向左方向发生了偏移的部分，需要进行新的输入。

发明内容

本发明的目的在于，提供在以块行为单位进行畸变校正处理的情况下，能够消除每个块行的重复处理的图像处理装置以及具有这种图像处理装置的摄像装置。

在本发明的第1方式中，提供一种图像处理装置，其特征在于，该图像处理装置具有：畸变校正部，其对被拍摄并存储到帧存储器中的图像数据进行畸变校正处理；畸变校正范围计算部，其针对所述图像数据的每个块行，计算所述畸变校正部为了对所述每个行块进行畸变校正处理所需的矩形范围，作为畸变校正范围；控制部，其根据当前畸变校正范围以及下个畸变校正范围，求出对于作为所述畸变校正部的当前畸变校正处理对象的当前块行要输入到所述畸变校正部的图像数据的范围，作为输入图像范围，其中，所述当前畸变校正范围是由所述畸变校正范围计算部针对所述当前块行进行计算而得到的，所述下个畸变校正范围是由所述畸变校正范围计算部针对与所述当前块行连续的至少1个块行进行计算而得到的；存储控制部，其根据所述当前畸变校正范围和所述下个畸变校正范围，求出与所述输入图像范围对应的图像数据中、对于作为所述畸变校正部的下个畸变校正处理对象的下个块行也需要的图像数据的范围；以及重合部分保存器，其将由所述存储控制部求出的范围的图像数据作为重合部分图像数据，进行存储，其中，输入到所述畸变校正部的与所述输入图像范围对应的图像数据包含从所述帧存储器中读出的图像数据和从所述重合部分保存器中读出的重合部分图像数据这双方。

在本发明的第2方式中，提供一种摄像装置，其特征在于，该摄像装置具有：镜头，其会聚被摄体的光学像；摄像部，其将由所述镜头会集的所述被摄体的光学像转换成图像数据；帧存储器，其存储在所述摄像部中进行转换后的图像数据；畸变校正部，其对存储在所述帧存储器中的图像数据进行畸变校正处理；畸变校正范围计算部，其根据所述镜头的畸变信息，针对所述图像数据的每个块行，计算所述畸变校正部为了进行所述每个行块的畸变校正处理所需的矩形范围，作为畸变校正范围；控制部，其根据当前畸变校正范围以及下个畸变校正范围，求出对于作为所述畸变校正部的当前畸变校正处理对象的当前块行要输入到所述畸变校正部的图像数据的范围，作为输入图像范围，其中，所述当前畸变校正范围是由所述畸变校正范围计算部针对所述当前块行进行计算而得到的，所述下个畸变校正范围是由所述畸变校正范围计算部针对与当前块行连续的至少1个块行进行计算而得到的；存储控制部，其根据所述当前畸变校正范围和所述下个畸变校正范围，求出与所述输入图像范围对应的图像数据中、对于作为所述畸变校正部的下个畸变校正处理对象的下个块行也需要的图像数据的范围；以及重合部分保存器，其存储由所述存储控制部求出的范围的图像数据，作为重合部分图像数据，其中，输入到所述畸变校正部的与所述输入图像范围对应的图像数据包含从所述帧存储器中读出的图像数据和从所述重合部分保存器中读出的重合部分图像数据这双方。

附图说明

图1是示出本发明的一个实施方式的具有图像处理装置的摄像装置的一例的结构的图。

图2是示出本发明的一个实施方式的畸变校正处理电路的结构的图。

图3A、图3B是示出每个块行的失真与畸变校正范围之间的关系的图。

图4是示出畸变校正部的结构的图。

图5是示出本发明的一个实施方式的畸变校正处理电路动作的时序图。

图6是示出畸变校正处理的具体例的图。

图7A、图7B是用于对虚拟数据的读出进行说明的图。

图8是示出重合部分图像数据的写入方法的一例的图。

图9是示出沿列方向分割而成的块行的图。

具体实施方式

下面，参照附图来说明本发明的实施方式。

图1是示出本发明的一个实施方式的具有图像处理装置的摄像装置的一例的结构的图。图1所示的摄像装置具有：镜头101、快门光圈102、摄像元件103、前处理部104、总线105、帧存储器106、图像处理部107、压缩解压处理部108、存储器接口109、记录介质110、显示控制部111、显示部112、微计算机113、操作部114、闪存115以及定时发生器(TG)116。

镜头101将被摄体的光学像会聚在摄像元件103上。快门光圈102设置在镜头101的旁边。该快门光圈102是兼用作快门的光圈，其用于根据微计算机113的控制，调节从镜头101向摄像元件103入射的光的入射量(摄像元件103的曝光量)。当然，快门也可以与光圈分体设置。

摄像元件103具有受光面，该受光面是通过二维排列光电二极管等光电转换元件而构成的。在受光面上贴附有例如呈拜耳阵列的滤色器。这样的摄像元件103将由镜头101会集在受光面上的光转换成电信号(图像信号)而输出到前处理部104。前处理部104对来自摄像元件103的图像信号实施相关双采样(CDS)处理及增益控制(AGC)处理等各种模拟处理。另外，前处理部在将模拟处理后的图像信号转换成数字图像信号(以下称为图像数据)之后，经由总线105将该图像数据传送到帧存储器106。

总线105是用于将摄像装置内部产生的各种数据传送到摄像装置内的各模块的传送路径。总线105与前处理部104、帧存储器106、图像处理部107、压缩解压处理部108、存储器接口109、显示控制部111以及微计算机113连接。

帧存储器106对在前处理部104中得到的图像数据、在图像处理部107、压缩解压处理部108中处理后的图像数据等各种数据进行临时存储。

本实施方式的图像处理部107对存储在帧存储器106中的图像数据实施各种图像处理。本实施方式的图像处理部107至少具有畸变校正处理电路，该畸变校正处理电路对因镜头101的畸变像差而在图像数据中产生的畸变进行校正。此外，图像处理部107具有YC处理部、白平衡校正处理电路、降噪处理电路等各种图像处理电路。YC处理电路是将拜耳排列的图像数据转换成YC(亮度/色差)数据的电路。白平衡校正处理电路是对图像数据的色平衡进行校正的电路。降噪处理电路是进行降低图像数据中的噪声的处理的电路。这些图像处理电路例如分别与总线105连接。另外，也可以经由小容量的缓冲存储器将各图像处理电路串联连接。

在进行图像数据的记录时，压缩解压处理部108经由总线105从帧存储器106中读出由图像处理部107处理后的图像数据，例如通过JPEG方式对读出的图像数据进行压缩。并且，在进行图像数据的再现时，压缩解压处理部108经由总线105从帧存储器106中读出记录在记录介质110中的经压缩的图像数据，并对读出的图像数据进行解压。

存储器接口109控制图像数据向记录介质110的写入及读出。记录介质110例如是由可在摄像装置上进行装卸的存储卡构成的记录介质，对在压缩解压处理部108中压缩后的图像数据进行记录。

显示控制部111从帧存储器106中读出图像数据，转换成图像信号。然后，显示控制部111向显示部112输出转换后的图像信号，进行显示部112上的图像显示。显示部112例如是TFT液晶显示器等，显示基于来自显示控制部111的图像信号的图像。

微计算机113对数字照相机主体的各种例程进行统一的控制。操作部114、闪存115与该微计算机113连接。

操作部114是供用户对图1所示的摄像装置进行操作的各种操作部件。通过由用户对操作部114中的某个操作部件进行操作，使微计算机113执行与用户操作对应的各种例程。闪存115存储有摄像装置的动作所需的各种参数。另外，闪存115还存储有由微计算机113执行的各种程序。微计算机113根据存储在闪存115中的程序，并从闪存115中读出各种例程所需的参数，执行各个处理。

TG 116根据来自微计算机113的控制信号，生成用于控制摄像元件103的动作时序的同步信号。

接着，对图像处理部107的畸变校正处理进行说明。图2是示出本实施方式的畸变校正处理电路的结构的图。

图2所示的畸变校正处理电路107a具有：畸变校正范围计算部201、当前畸变校正范围信息寄存器202、输入DMA 203、畸变校正部204、输出DMA 205以及定序器(Sequencer)206。

畸变校正范围计算部201接受来自定序器206的开始触发，以块行为单位计算畸变校正范围，将计算出的畸变校正范围信息输出到定序器206。畸变校正范围是进行以块行为单位的畸变校正处理所需的图像数据的坐标信息。这里，可根据镜头101的畸变信息，预测经由摄像元件103得到的图像数据中的畸变程度。例如，设畸变校正处理后的图像由图3A所示的具有相同的列方向像素数的多个矩形块(块行)构成。在该情况下，例如为了得到图3A所示的块行1那样的畸变校正处理结果，需要对与图3B所示的发生了畸变的块行1对应的图像数据进行畸变校正处理。实际中，在考虑了畸变校正部204的处理的简化等的情况下，优选对包含发生了畸变的块行1的图像数据的矩形块301进行畸变校正处理。同样，为了得到图3A所示的块行2那样的畸变校正处理结果，优选对图3B所示的矩形块302进行畸变校正处理。由畸变校正范围计算部201来计算这些畸变校正处理所需的矩形块的范围。畸变校正处理后的图像位置与畸变校正前的图像位置具有对应关系，因此，畸变校正范围计算部201根据镜头101的畸变信息等来预测畸变校正后的图像，根据其预测结果来计算包含畸变校正处理前的发生了畸变的块行的矩形块的坐标信息，作为畸变校正范围信息。

根据图3B可知，矩形块301与矩形块302具有重复的部分。在该情况下，在针对块行1的畸变校正处理和针对块行2的畸变校正处理这两个处理中，均从帧存储器106中读出重复部分的图像数据来进行处理将导致图像处理效率降低。在本实施方式中，为了减少这种矩形块的重复读出量，在针对某个块行的处理中，将该块行与下个块行之间重复处理的部分作为重合部分(のりしろ)图像数据，预先存储在畸变校正部204内的重合部分保存器(详情后述)中。然后，在进行下个块行的处理时，从帧存储器106中只读出与上一个块行的处理不重复的部分的图像数据，从重合部分保存器中读出剩余部分进行处理。由此，能够使来自帧存储器106的不必要的图像数据的读出达到最低限度。

并且，在本实施方式中，根据当前畸变校正范围信息和下个畸变校正范围信息来求出从帧存储器106输入到畸变校正部204内的畸变校正电路(详情后述)的图像数据的输入范围以及存储在重合部分保存器中的图像数据的范围。当前畸变校正范围信息是与作为畸变校正部204的当前畸变校正处理对象的块行对应的畸变校正范围信息。下个畸变校正范围信息是与作为畸变校正部204的下个畸变校正处理对象的块行对应的畸变校正范围信息。由此，即使因图像数据中的畸变程度而导致重合部分图像数据的位置发生了偏移，也能够准确地将矩形范围的重合部分图像数据存储在重合部分保存器中。

当前畸变校正范围信息寄存器202保存在畸变校正范围计算部201中计算出的当前畸变校正范围信息。

输入Direct Memory Access(直接存储器存取装置，DMA)203接受来自定序器206的输入DMA开始触发而进行DMA传送，该DMA传送用于从帧存储器106读出进行以块行为单位的畸变校正处理所需的图像数据。

如图4所示，畸变校正部204具有输入缓存器401、畸变校正电路402、重合部分保存器403以及重合部分保存控制器404。

输入缓存器401是用于临时保存经由输入DMA 203从帧存储器106读出的图像数据或从重合部分保存器403读出的图像数据的缓冲存储器。作为畸变校正部的畸变校正电路402对从输入缓存器401输入的图像数据进行畸变校正处理。畸变校正处理利用坐标变换来进行，该坐标变换例如将图3B那样的畸变状态的块行的图像数据的各个点替换成图3A那样的无畸变状态的块行的图像数据的各个点。

重合部分保存器403将下述部分作为重合部分图像数据进行存储，所述部分是：与作为畸变校正部204的当前畸变校正处理对象的块行对应地输入到畸变校正部204的图像数据中的、也将用于与下个块行对应的畸变校正处理中的部分。具有作为存储控制部的功能的重合部分保存控制器404根据当前畸变校正范围信息和下个畸变校正范围信息，求出应存储在重合部分保存器403中的重合部分图像数据的范围。并且，重合部分保存控制器404根据所求出的重合部分图像数据的范围，控制输入到畸变校正部204中的图像数据向重合部分保存器403的写入。另外，控制重合部分图像数据从重合部分保存器403的读出，以便进行畸变校正电路402中的畸变校正处理。

输出DMA 205接受来自定序器206的输出DMA开始触发而进行DMA传送，该DMA传送用于将由畸变校正部204进行了畸变校正处理后的图像数据写入帧存储器106。

定序器206控制图2所示的畸变校正处理电路的各部分的动作。另外，本实施方式的定序器206还具有作为控制部的功能。即，定序器206根据当前畸变校正范围信息和下个畸变校正范围信息，求出为了畸变校正处理而从帧存储器106读出的图像数据的范围(输入范围)。

接着，对图2～图4所示的畸变校正处理电路107a的动作进行说明。图5是示出畸变校正处理电路107a的动作的时序图。并且，图5的例子示出了针对图6所示的3个块行(BL)1～3的处理。

首先，针对存储在帧存储器106中的图像数据上端的块行即块行1，进行畸变校正处理。此时，定序器206进行畸变校正范围计算部201的设定，使其计算与块行1对应的畸变校正范围。接着，在设定结束后，定序器206向畸变校正范围计算部201输出开始触发。畸变校正范围计算部201接受该开始触发，计算与块行1对应的畸变校正范围。如上所述，畸变校正范围是与包围畸变状态的块行1的矩形块对应的范围。因此，例如，图6所示的与块行1对应的畸变校正范围是范围501。在畸变校正范围计算部201中计算出的表示与块行1对应的畸变校正范围的坐标信息(畸变校正范围信息)作为块行1的当前畸变校正范围信息输出到定序器206。

如上所述，为了在定序器206中求出图像数据的输入范围，需要当前畸变校正范围信息和下个畸变校正范围信息这2个畸变校正范围信息。因此，在计算出块行1的畸变校正范围之后，定序器206进行畸变校正范围计算部201的设定，使其计算与块行2对应的畸变校正范围。在设定结束后，定序器206向畸变校正范围计算部201输出开始触发。畸变校正范围计算部201接受该开始触发，计算与块行2对应的畸变校正范围。例如，对于图6所示的块行2，范围502为畸变校正范围。在畸变校正范围计算部201中计算出的与块行2对应的畸变校正范围信息作为块行1的下个畸变校正范围信息而输出到定序器206。

在计算出针对块行1的畸变校正范围和针对块行2的畸变校正范围之后，定序器206求取为了块行1的处理而要输入到畸变校正电路402中的图像数据的输入范围。这里，根据块行BLn的畸变校正范围(即当前畸变校正范围信息)和块行BLn的下一个块行BLn+1的畸变校正范围(即下个畸变校正范围信息)，按照以下方式来求出针对作为当前畸变校正处理对象的块行BLn的图像数据输入范围。

输入范围的垂直方向宽度是指：块行BLn的畸变校正范围的垂直方向宽度。

输入范围的水平方向宽度是指：将块行BLn的畸变校正范围的水平方向宽度和块行BLn+1的畸变校正范围的水平方向宽度双方包含在内的宽度。

例如，在图6的情况下，针对块行1的输入范围的垂直方向宽度为块行1的畸变校正范围501的垂直方向宽度。而输入范围的水平方向宽度为将块行1的畸变校正范围501的水平方向宽度和块行2的畸变校正范围502的水平方向宽度双方包含在内的宽度。因此，块行1的处理所需的输入范围为图6所示的输入范围503。在求出输入范围之后，定序器206将块行2的畸变校正范围信息作为在下个块行2的处理时使用的当前畸变校正范围信息保持在当前畸变校正范围信息寄存器202中。

另外，定序器206还将块行1的畸变校正范围信息和块行2的畸变校正范围信息输入到重合部分保存控制器404中。重合部分保存控制器404根据块行1的畸变校正范围信息和块行2的畸变校正范围信息，计算与输入范围503对应的图像数据中、在块行2的畸变校正处理中也需要的重合部分图像数据的范围。该范围是当前块行的输入范围与针对下个块行的畸变校正范围相重复的范围。例如，在图6的情况下，输入范围503与畸变校正范围502重复的范围，即范围504是在块行2的畸变校正处理中也需要的重合部分图像数据的范围。将该范围的图像数据作为重合部分图像数据保存在重合部分保存器403中。由此，在块行2的畸变校正处理时，不需要从帧存储器106读出与块行1重复处理的范围的图像数据。

在计算出图像数据的输入范围503以及重合部分图像数据的范围504之后，定序器206将输入DMA开始触发输入到输入DMA 203，从帧存储器106读出与输入范围503对应的图像数据。经由输入DMA 203读出的图像数据被依次输入到畸变校正部204的输入缓存器401中。另外，此时，重合部分保存控制器404控制重合部分保存器403的写入，使得经由输入DMA 203读出的图像数据中、与重合部分图像数据对应的范围504的图像数据被写入。

输入到输入缓存器401中的图像数据被依次输入到畸变校正电路402中。畸变校正电路402对输入的图像数据执行畸变校正处理。在执行了畸变校正电路402的畸变校正处理后，定序器206将输出DMA开始触发输入到输出DMA 205，从畸变校正部204的畸变校正电路402向帧存储器106写入图像数据。在图像数据的写入结束后，向定序器206输入表示传送完成的中断信号。由此，针对块行1的畸变校正处理结束。

与以上针对块行1图像数据的畸变校正处理并行地，定序器206进行畸变校正范围计算部201的设定，使其计算与块行2的下一个块行即块行3对应的畸变校正范围。在设定结束后，定序器206向畸变校正范围计算部201输入开始触发，以开始畸变校正范围计算部201的动作。畸变校正范围计算部201接受该开始触发，计算与块行3对应的畸变校正范围。例如，对于图6所示的块行3，范围512为畸变校正范围。在畸变校正范围计算部201中计算出的与块行3对应的畸变校正范围信息作为块行2的下个畸变校正范围信息而输出到定序器206。

在输入了与块行3对应的畸变校正范围信息之后，定序器206根据在畸变校正范围计算部201中计算出的块行3的畸变校正范围信息和保存在当前畸变校正范围信息寄存器202中的块行2的畸变校正范围信息，求取为了块行2的处理而要输入给畸变校正电路402的图像数据的输入范围。例如，在图6的情况下，针对块行2的输入范围的垂直方向宽度为块行2的畸变校正范围511的垂直方向宽度。而输入范围的水平方向宽度为块行2的畸变校正范围511的水平方向宽度与块行3的畸变校正范围512的水平方向宽度合在一起后的宽度。因此，块行2的处理所需的输入范围是图6所示的输入范围513。在求出输入范围之后，定序器206将块行3的畸变校正范围信息作为在下个块行3的处理时使用的当前畸变校正范围信息保存在当前畸变校正范围信息寄存器202中。

另外，定序器206还将块行2的畸变校正范围信息和块行3的畸变校正范围信息输入到重合部分保存控制器404中。重合部分保存控制器404根据块行2的畸变校正范围信息和块行3的畸变校正范围信息，计算与输入范围513对应的图像数据中、在块行3的畸变校正处理中也需要的重合部分图像数据的范围。例如，在图6的情况下，输入范围513与畸变校正范围512相重复的范围517是在块行3的畸变校正处理中也需要的重合部分图像数据的范围。

块行3的处理所需的输入范围513中的、与范围514对应的图像数据已被保存在重合部分保存器403中。因此，从重合部分保存器403中读出与范围514对应的图像数据。但是，相对于输入范围503，输入范围513向左发生了偏移，因此，重合部分保存器403中未存储有与范围514左侧邻接的范围515所对应的图像数据。在从帧存储器106中读出包含这样的范围515的、未存储在重合部分保存器403中的范围的图像数据的情况下，需要从帧存储器106中按L字状来读出图像数据。如果要实现这种L字状的读出，将导致电路的复杂化。

这里，与范围515对应的图像数据是用于确保在下个块行3的畸变校正处理中输入必要的图像所需要的范围的图像数据，其对畸变校正处理本身没有贡献。因此，通过从重合部分保存器403中读出与范围515对应的虚拟数据，从而看上去是进行矩形的重合部分图像数据的读出。在如图7A所示地、在重合部分保存器403的规定地址中存储有重合部分图像数据的状态下，当指定与包含范围514和范围515的范围对应的地址而读出重合部分图像数据时，如图7B所示，从地址反转的位置读出与范围515对应的虚拟数据。并且，该虚拟数据没有特别限定，例如可利用过去使用过的重合部分图像数据等。

通过采用这样的结构，从帧存储器106中只读出范围516所示的矩形图像数据即可。

为了进行这样的图像数据读出，定序器206将输入DMA开始触发输入到输入DMA 203，从帧存储器106中读出与范围516对应的图像数据。另外，定序器206控制重合部分保存控制器404，读出重合部分图像数据。经由输入DMA203读出的图像数据以及从重合部分保存器403读出的图像数据被依次输入到畸变校正部204的输入缓存器401。另外，重合部分保存控制器404控制重合部分保存器403的写入，使得经由输入DMA 203读出的图像数据中、与重合部分图像数据对应的范围517的图像数据被写入。这样，在本实施方式中，并行进行当前块行n的处理用的重合部分图像数据的读出和下个块行n+1的处理用的重合部分图像数据的写入。因此，要求在块行n用的重合部分图像数据的读出结束之前，不能覆盖该块行n用的重合部分图像数据。另外，在当前块行n的处理用的重合部分图像数据与下个块行n+1的处理用的重合部分图像数据中具有重复部分的情况下，也可以如图8所示，重复地写入重合部分图像数据。

输入到输入缓存器401中的图像数据被依次输入到畸变校正电路402。畸变校正电路402对输入的图像数据执行畸变校正处理。在执行了畸变校正电路402的畸变校正处理后，定序器206将输出DMA开始触发输入到输出DMA205，将图像数据从畸变校正部204的畸变校正电路402写入帧存储器106。在图像数据的写入结束后，向定序器206输入表示传送完成的中断信号。

针对块行3的处理也与针对块行2的处理相同地进行。但是，由于块行3是最后的块行，因此，不需要为了下个块行而存储重合部分图像数据。因此，图像数据的输入范围是块行3的畸变校正范围521。另外，范围521中的范围524的部分已被保存在重合部分保存器403中，对于范围525的部分，只要从重合部分保存器403中读出虚拟数据即可。因此，只要从帧存储器106中仅读出与范围526对应的图像数据即可。

如上所述，在本实施方式中，根据当前畸变校正处理对象的块行的畸变校正范围和下个畸变校正处理对象的块行的畸变校正范围，求出与当前畸变校正处理对象的块行对应地输入给畸变校正电路的图像数据的输入范围。由此，即使因图像数据中的畸变程度导致重合部分图像数据的位置发生了偏移，也能够准确地将矩形范围的重合部分图像数据存储到重合部分保存器中。

另外，通过将当前畸变校正范围信息依次保存在当前畸变校正范围信息寄存器202中，从而在第2次以后的畸变校正处理中，不需要进行2次畸变校正范围的计算。并且，如果在进行各个块行的畸变校正处理时每次进行2次畸变校正的计算，则也可以不设置当前畸变校正范围信息寄存器202。

另外，通过从重合部分保存器403中读出未作为重合部分图像数据存储的一部分数据作为虚拟数据，能够始终从帧存储器106中读出矩形的图像数据。由此，能够实现电路的简化。

这里，在上述实施方式中，根据当前畸变校正范围信息和下个畸变校正范围信息这二者来求出图像数据的输入范围。与此相对，也可以根据当前畸变校正范围信息和与作为当前畸变校正处理对象的块行连续的多个块行的畸变校正范围信息来求出输入范围。例如，在根据块行BLn、BLn+1、BLn+2的畸变校正范围信息来求取输入范围的情况下，只要进行如下设定即可：输入范围的垂直方向宽度为块行BLn的畸变校正范围的垂直方向宽度，输入范围的水平方向宽度是将块行BLn的畸变校正范围的水平方向宽度、块行BLn+1的畸变校正范围的水平方向宽度以及块行BLn+2的畸变校正范围的水平方向宽度全部包含在内的宽度。

另外，在上述实施方式中，是在行方向上对图像数据进行分割而构成块行。与此相对，也可以如图9所示地也在列方向上对图像数据进行分割而构成块行。并且，在图9的例子中，如果按照块行1-1、2-1、3-1、...、10-1、1-2、2-2、..、10-2的顺序进行畸变校正处理，则在进行上端的块行1-1、2-1的处理时，需要使畸变校正范围计算部201工作2次。

本领域技术人员可容易地想到附加的优点和变形。因此，更广泛方面中的本发明不限于本文所示出和描述的具体细节及代表性的实施方式。因此，可以在不脱离本发明的精神或所附权利要求及其等同物所定义的概括性发明概念的范围内，进行各种变形。

Claims (8)

1.一种图像处理装置，其特征在于，该图像处理装置具有：

畸变校正部，其对被拍摄并存储到帧存储器中的图像数据进行畸变校正处理；

畸变校正范围计算部，其针对所述图像数据的每个块行，计算所述畸变校正部为了对所述每个行块进行畸变校正处理所需的矩形范围，作为畸变校正范围；

控制部，其根据当前畸变校正范围以及下个畸变校正范围，求出对于作为所述畸变校正部的当前畸变校正处理对象的当前块行要输入到所述畸变校正部的图像数据的范围，作为输入图像范围，其中，所述当前畸变校正范围是由所述畸变校正范围计算部针对所述当前块行进行计算而得到的，所述下个畸变校正范围是由所述畸变校正范围计算部针对与所述当前块行连续的至少1个块行进行计算而得到的；

存储控制部，其根据所述当前畸变校正范围和所述下个畸变校正范围，求出与所述输入图像范围对应的图像数据中、对于作为所述畸变校正部的下个畸变校正处理对象的下个块行也需要的图像数据的范围；以及

重合部分保存器，其将由所述存储控制部求出的范围的图像数据作为重合部分图像数据，进行存储，其中，

输入到所述畸变校正部的与所述输入图像范围对应的图像数据包含从所述帧存储器中读出的图像数据和从所述重合部分保存器中读出的重合部分图像数据这双方。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述控制部将包含所述当前畸变校正范围的沿水平方向的宽度和所述下个畸变校正范围的沿水平方向的宽度这双方的范围设为所述输入图像范围的沿水平方向的宽度，并将所述当前畸变校正范围的沿垂直方向的宽度设为所述输入图像范围的沿垂直方向的宽度。

3.根据权利要求1或2所述的图像处理装置，其特征在于，

该图像处理装置还具有寄存器，该寄存器依次保存由所述畸变校正范围计算部计算出的畸变校正范围，

所述控制部使用保存在所述寄存器中的畸变校正范围，作为所述当前畸变校正范围。

4.根据权利要求3所述的图像处理装置，其特征在于，

仅在所述当前块行是所述图像数据的上端块行的情况下，所述畸变校正范围计算部才分别计算所述当前畸变校正范围和所述下个畸变校正范围，在所述当前块行是所述图像数据的上端块行以外的块行的情况下，所述畸变校正范围计算部仅计算所述下个畸变校正范围。

5.一种摄像装置，其特征在于，该摄像装置具有：

镜头，其会聚被摄体的光学像；

摄像部，其将由所述镜头会聚的所述被摄体的光学像转换成图像数据；

帧存储器，其存储在所述摄像部中进行转换后的图像数据；

畸变校正部，其对存储在所述帧存储器中的图像数据进行畸变校正处理；

畸变校正范围计算部，其根据所述镜头的畸变信息，针对所述图像数据的每个块行，计算所述畸变校正部为了进行所述每个行块的畸变校正处理所需的矩形范围，作为畸变校正范围；

控制部，其根据当前畸变校正范围以及下个畸变校正范围，求出对于作为所述畸变校正部的当前畸变校正处理对象的当前块行要输入到所述畸变校正部的图像数据的范围，作为输入图像范围，其中，所述当前畸变校正范围是由所述畸变校正范围计算部针对所述当前块行进行计算而得到的，所述下个畸变校正范围是由所述畸变校正范围计算部针对与所述当前块行连续的至少1个块行进行计算而得到的；

存储控制部，其根据所述当前畸变校正范围和所述下个畸变校正范围，求出与所述输入图像范围对应的图像数据中、对于作为所述畸变校正部的下个畸变校正处理对象的下个块行也需要的图像数据的范围；以及

重合部分保存器，其存储由所述存储控制部求出的范围的图像数据，作为重合部分图像数据，其中，

输入到所述畸变校正部的与所述输入图像范围对应的图像数据包含从所述帧存储器中读出的图像数据和从所述重合部分保存器中读出的重合部分图像数据这双方。

6.根据权利要求5所述的摄像装置，其特征在于，

所述控制部将包含所述当前畸变校正范围的沿水平方向的宽度和所述下个畸变校正范围的沿水平方向的宽度这双方的范围设为所述输入图像范围的沿水平方向的宽度，并将所述当前畸变校正范围的沿垂直方向的宽度设为所述输入图像范围的沿垂直方向的宽度。

7.根据权利要求5或6所述的摄像装置，其特征在于，

该摄像装置还具有寄存器，该寄存器依次保存由所述畸变校正范围计算部计算出的畸变校正范围，

所述控制部使用保存在所述寄存器中的畸变校正范围，作为所述当前畸变校正范围。

8.根据权利要求7所述的摄像装置，其特征在于，

仅在所述当前块行是所述图像数据的上端块行的情况下，所述畸变校正范围计算部才分别计算所述当前畸变校正范围和所述下个畸变校正范围，在所述当前块行是所述图像数据的上端块行以外的块行的情况下，所述畸变校正范围计算部仅计算所述下个畸变校正范围。

Images