CN103813054A - 图像处理设备、成像设备、图像处理方法和程序 - Google Patents

Abstract

本发明涉及图像处理设备、成像设备、图像处理方法和程序，具体提供了一种图像处理设备，包括：水平失真校正处理部，被配置为根据提供的同步信号在水平方向上对输入图像执行失真校正处理；存储器，被配置为顺序地存储由所述水平失真校正处理部在所述水平方向上的所述失真校正处理的结果；以及垂直失真校正处理部，被配置为在由所述水平失真校正处理部开始在所述水平方向上的所述失真校正处理之后，以小于一帧的预定时间段的延迟从所述存储器顺序地读取在所述水平方向上的所述失真校正处理的结果，以便开始在垂直方向上的失真校正处理。

Description

图像处理设备、成像设备、图像处理方法和程序

相关申请的交叉参考

本申请要求于2012年11月13日提交的日本在先专利申请JP2012-249557的优先权，将其全部内容结合于此作为参考。

技术领域

本公开涉及一种应用于摄像机、数码相机等的图像处理设备、成像设备、图像处理方法和程序。

背景技术

在现有技术中，由于成像透镜的失真像差特性，在由摄像机或数码相机或银盐相机拾取的图像中发生了失真。另外，CMOS（互补金属氧化物半导体）图像传感器通过卷帘式快门系统累积和读取信号电荷，如果对象高速移动，则会不利地扭曲图像。

通常，在输入图像的垂直方向执行失真校正处理的情况下，当使用具有大量抽头的滤波器并且图像在垂直方向上的移动量大时，会处理大量数据并因此使用帧存储器。

以下，将参照附图描述现有技术的失真校正处理。图1是现有技术的失真校正处理的示意图。

现有技术的失真校正电路是指输入图像200的失真校正表，从其顶行到底行在水平方向上执行失真校正处理（光栅处理），并且在帧存储器中累积其结果。然后，在获得了一帧图像的水平方向的失真校正结果之后，电路在垂直方向从其顶行到底行顺序读取图像，并参考失真校正表在垂直方向校正失真。此时，像素行的一行被分成多个部分，每个都具有预定数量的像素，并且例如，以预定数量的像素为单位执行垂直方向的失真校正处理（带处理）。

图2是图1中示出的失真校正处理的时序图。

根据用于图像传感器的同步信号（2-1），以每周期1/60秒的时段来执行图像传感器的曝光。此外，未示出的CPU（中央处理单元）获取成像透镜（2-2）的透镜信息（用于失真校正的表）。在图2示出的实例中，分别用（1）、（2）和（3）表示与从图像传感器顺序输出的第一至第三图像相关的时间段。

在图像传感器曝光以及CPU的透镜信息获取之后，根据用于水平方向的失真校正处理的同步信号（2-3），失真校正电路从CPU接收并设置用于水平失真校正处理的失真校正数据（2-4）。在下文中，水平方向的失真校正处理可被称为“水平失真校正处理”。之后，从图像传感器输出图像，该图像顺序地经过水平失真校正处理（2-5），并且将经过了水平失真校正处理的图像（以下，称为“水平校正的图像”）写入到存储器中（2-6）。

在完成了水平失真校正处理之后，根据用于垂直方向的失真校正处理的同步信号（2-7），失真校正电路从CPU接收并设置用于垂直失真校正处理的失真校正数据（2-8）。在下文中，可将垂直方向的失真校正处理称为“垂直失真校正处理”。之后，根据用于垂直失真校正处理的同步信号，执行垂直失真校正处理，使得在垂直方向从顶行到底行从存储器读取经过了水平失真校正的图像（2-9）。然后，将经过垂直失真校正处理的图像（校正的图像）写入到存储器中（2-10）。

之后，失真校正电路根据用于垂直失真校正处理的同步信号从存储器读取校正的图像，并且将读取的图像输出到外部（2-11）。

例如，日本专利公开2004-80545已提出了一种图像处理设备，其中，在水平方向的失真校正处理之后执行垂直方向的失真校正处理。在该专利文献中描述的图像处理设备使用水平一维内插部分来执行使用水平校正参数的一维内插操作，并从而在水平方向校正失真，其中，该水平校正参数指示构成具有失真的原始图像的像素点处的水平方向的校正量。此外，图像处理设备使用垂直校正参数对通过水平方向校正获得的图像执行一维内插操作，从而在垂直方向校正原始图像的失真，其中，该垂直校正参数指示构成相关原始图像的像素点处的垂直方向的校正量。

发明内容

然而，如图2所示，由于上述方法在完成了对图像的所有行的水平失真校正处理之后执行垂直失真校正处理，所以从水平失真校正处理的时间段的开始直到完成垂直失真校正处理来获得校正的图像，产生了两帧的延迟。在用于要求低处理延迟的体育转播的高性能摄像机、用于监测危险等的安全摄像机等中，这种延迟不是可取的。

上述情况要求一种方法来减小从输入图像的水平方向的失真校正处理的时间段的开始直到获得最终校正的图像所产生的延迟。

根据本公开的实施例，水平失真校正处理部根据提供的同步信号对输入图像执行水平方向的失真校正处理，并且水平失真校正处理部的水平方向的失真校正处理的结果被顺序地存储在存储器中。然后，在开始水平失真校正处理部的水平方向的失真校正处理之后，垂直失真校正处理部以小于一帧的预定时间段的延迟，从存储器中顺序读取水平方向的失真校正处理的结果，以便开始垂直方向的失真校正处理。

根据本公开的配置，可以在完成整个输入图像的水平失真校正处理之前开始垂直失真校正处理。结果，相比于现有技术，可以减小从水平失真校正处理的时间段的开始直到完成垂直失真校正处理以获得校正的图像所产生的延迟。

根据本公开的实施例，可以减小从水平方向的失真校正处理的时间段的开始直到获得最终校正的图像所产生的延迟。

附图说明

图1是现有技术的失真校正处理的示意图；

图2是图1中示出的失真校正处理的时序图；

图3是根据本公开的一种实施例的失真校正处理的示意图，并且图3的A是对输入图像的上半部分的失真校正处理的示意图，以及图3的B是对输入图像的下半部分的失真校正处理的示意图；

图4是根据本公开的一种实施例的失真校正处理中的校正处理输入图像和校正处理输出图像的示意图，并且图4的A是对输入图像的上半部分的失真校正处理的示意图，以及图4的B是对输入图像的下半部分的失真校正处理的示意图；

图5是示出根据本公开实施例的成像设备的示例内部配置的框图；

图6是示出图5中示出的成像设备中的失真校正处理部的示例内部配置的框图；

图7是示出根据本公开一种实施例的失真校正处理的流程图；

图8是根据本公开一种实施例的失真校正处理的时序图；以及

图9是示出计算机的示例硬件配置的框图。

具体实施方式

以下，将参照附图详细描述本公开的优选实施例。值得注意的是，在该说明书及附图中，具有大致相同功能和结构的结构元件用相同的参考标号表示，并且省略了对这些结构元件的重复说明。将按以下顺序进行描述：

1.一种实施例（其中将图像分成多个区并且从完成水平失真校正处理的区开始垂直失真校正处理的实例）

2.其他（修改例）

<1.一种实施例>[概述]

将参照图3和图4来描述根据本公开的一种实施例的失真校正处理的概述。

图3是根据本公开的一种实施例的失真校正处理的示意图，并且图3的A是对输入图像的上半部分的失真校正处理的示意图，以及图3的B是对输入图像的下半部分的失真校正处理的示意图。

图4是根据本公开的一种实施例的失真校正处理中的校正处理输入图像和校正处理输出图像的示意图，并且图4的A是对输入图像的上半部分的失真校正处理的示意图，以及图4的B是对输入图像的下半部分的失真校正处理的示意图。

在本公开中，在完成了输入图像的水平方向的失真校正处理之后，以小于一帧的预定时间段的延迟来执行垂直方向的失真校正处理。例如，在完成了对多个区中的一个区的水平方向的失真校正处理之后，对该一个区开始垂直方向的失真校正处理，其中，通过在垂直方向划分待校正的图像来获得上述多个区。图3和图4示出了以下的实例，其中，将输入图像1以中心线c分成上和下两个区（在垂直方向），并且对其中每个区执行水平方向和垂直方向的失真校正处理。

首先，从顶行2U-1到底行2L-n对待校正的图像1执行水平方向的失真校正处理（光栅处理），并且将其结果累积在随后描述的存储器50中。然后，在对上述图像1的水平方向的失真校正处理期间，在完成了对作为图像的上半部分的第一区的水平方向的失真校正处理后，开始对第一区的垂直方向的失真校正处理。

这里，在完成了对从顶行2U-1到底行2U-n的图像1的第一区以及比底行2U-n低一行的行2U-m的水平方向的失真校正处理后，开始对第一区的垂直方向的失真校正处理。行2U-m对应于作为图1的下半部分的第二区的顶行2L-1。

在垂直方向的失真校正处理中，以预定数量的像素（像素组）为单位划分像素行的一行，并且在垂直方向从最左列以该像素组为单位顺序地执行失真校正处理（带处理）。换句话说，从像素组3U-1到像素组3U-n和像素组3U-m执行垂直方向的失真校正处理，像素组3U-1在图像1的第一区的最左侧并且在第一区中的顶行2U-1中，像素组3U-n在第一区中的底行2U-n中，并且像素组3U-m在比行2U-n低一行的行2U-m中。从在最左列的像素组到在最右列的像素组，对第一区顺序地执行垂直方向的失真校正处理。

类似地，在完成了对作为图1的下半部分的第二区的水平方向的失真校正处理后，开始对第二区的垂直方向的失真校正处理。换句话说，从图像1的第二区中的顶行2L-1到第二区中的底行2L-n顺序地执行水平方向的失真校正处理，并且在完成了对底行2L-n的水平方向的失真校正处理时，开始对第二区的垂直方向的失真校正处理。然后，对像素组3L-m以及从像素组3L-1到像素组3L-n执行垂直方向的失真校正处理，像素组3L-m在图像1的第二区的最左侧并且在比第二区中的顶行2L-1高一行的行2U-n中，像素组3L-1在第二区的顶行2L-1中，并且像素组3L-n在第二区的底行2L-n中。从在最左列的像素组到在最右列的像素组，对第二区顺序地执行该垂直方向的失真校正处理。

如上所述，在对图像1的第一区（上部）的失真校正处理中，对第一区执行水平方向和垂直方向的失真校正处理，并且属于第二区（下部）且包括行2U-m的校正处理输入图像5U持续到第一区。然后，从校正处理输出图像6U消除扩展处理的行2U-m以被输出（图4的A）。

类似地，在对第二区的失真校正处理中，对第二区执行水平方向和垂直方向的失真校正处理，并且属于第一区（下部）且包括行2U-n的校正处理输入图像5L持续到第二区。然后，从校正处理输出图像6L消除扩展处理的行2U-n以被输出（图4的B）。

这使得可以保持图1的第一区和第二区之间的中心线c附近的失真校正结果的连续性，获得高质量的校正的图像。这里，优选根据失真幅度（成像透镜的失真特性）、失真的精度等来充分调节校正处理输入图像和校正处理输出图像之间的这种差异。

换句话说，在本公开中，首先，对通过划分输入图像而获得的多个区执行水平方向的失真校正处理。然后，除了经过水平方向的失真校正处理的一个区（例如，第一区），对与该一个区连续并且与该一个区相邻的区（例如，第二区）中包括的预定数量的水平行执行垂直方向的失真校正处理。然后，仅将经过垂直方向的失真校正处理的输入图像的一个区输出作为校正的图像。这使得可以保持彼此相邻的区之间的划分线（例如，中心线c）附近的失真校正结果的连续性。

[成像设备]

接下来，将参照图5描述成像设备的配置实例作为图像处理设备的一个实例。

图5是示出根据本公开的一种实施例的成像设备10的示例内部配置的框图。成像设备10包括图像传感器30、信号处理单元40、存储器50以及控制部60。

图像传感器30是CCD（电荷耦合器件）、CMOS图像传感器等适用的成像装置。根据预定快门操作，以区为单位（例如，以行为单位）执行顺序读取操作。根据经由成像透镜20入射的光，基于成像设备10的主体的同步信号，图像传感器30使用有效成像区中的每个像素的光电二极管累积电荷，并且基于累积的电荷输出模拟光电转换信号。模拟光电转换信号通过未示出的A/D转换器被转换成数字信号，以作为视频信号（图像）被提供到信号处理电路40。这里，图像传感器30可被配置为对光电转换信号执行模拟/数字转换处理。

信号处理电路40对从图像传感器30提供的视频信号（图像）执行诸如失真校正处理的信号处理，以将处理的信号输出到外部。

信号处理电路40包括以下的模块：相机信号处理部41、失真校正处理部42、同步信号生成部43以及显示系统处理部44，并且各个模块以使能数据通信的方式经由总线45彼此连接。

例如，相机信号处理部41对从图像传感器30提供的视频信号（图像）执行诸如像素缺陷校正、阴影校正、白平衡调节、拐点校正、伽马校正等的处理，以生成并输出输出图像。通常，在拐点校正、伽马校正等之后压缩位宽（动态范围），且因此使用这些校正结果的失真校正处理可以将电路抑制到小尺寸。

失真校正处理部42执行处理，以校正由于从相机信号处理部41输入的视频信号而产生的图像失真。以下将详细描述该处理。

同步信号生成部43根据从外部提供的时钟信号生成同步信号，以用于控制每个模块或者信号处理电路40中的信号处理。同步信号生成部43将所生成的同步信号提供到失真校正处理部42。

显示系统处理部44将在失真校正处理部42中经过了失真校正处理的视频信号或者存储器50中存储的视频信号转换成最终视频输出格式，以输出到显示装置70。例如，显示系统处理部44包括矩阵电路，以便将视频信号中包含的红色、绿色和蓝色的彩色数据转换成亮度信号Y、红色色度信号Cr和蓝色色度信号Cb的格式，以输出到显示装置70。可使用液晶显示装置、有机EL显示装置等作为显示装置70。

存储器50是从信号处理电路40写入和调用数据输出的记录部。如下所述，存储器50包括存储器50-1和存储器50-2（参照图6）。

例如，控制部60具有CPU（中央处理单元）61、用于存储CPU61执行的程序等的ROM（只读存储器）62、以及用作CPU61的工作区的RAM（随机存取存储器）63。这里，例如可使用电可擦除可编程ROM作为ROM62。例如，CPU61经由总线45与成像设备10中的图像传感器30、信号处理电路40以及存储器50耦接，以控制各个模块。CPU61根据从外部提供的时钟信号运行。

[失真校正处理部]

图6是示出图5中示出的信号处理电路40中的失真校正处理部42的示例内部配置的框图。

失真校正处理部42包括执行水平方向的失真校正处理的水平失真校正处理部42h、执行垂直方向的失真校正处理的垂直失真校正处理部42v、以及失真校正同步信号生成部42TG。

水平失真校正处理部42h包括输入缓冲部421、水平失真校正部422、水平失真校正分量计算部423、以及输出缓冲部424。

垂直失真校正处理部42v包括输入缓冲部425、垂直失真校正部426、垂直失真校正分量计算部427、以及输出缓冲部428。

失真校正同步信号生成部42TG被提供有来自相机信号处理部41和同步信号生成部43的同步信号。失真校正同步信号生成部42TG基于从相机信号处理部41提供的同步信号生成用于水平方向的失真校正处理的同步信号Sh，并将所生成的信号提供到水平失真校正处理部42h中的每个模块。另外，生成部42TG基于从同步信号生成部43提供的同步信号生成用于垂直方向的失真校正处理的同步信号Sv，并将所生成的信号提供到垂直失真校正处理部42v中的每个模块。

在该实施例中，相比用于水平方向的失真校正处理的同步信号Sh，用于垂直方向的失真校正处理的同步信号Sv被延迟了小于一帧的预定时间段。根据用于水平方向和垂直方向的失真校正处理的这些同步信号Sh和Sv，在水平失真校正处理部42h和垂直失真校正处理部42v中处理每个模块。

（水平失真校正处理部）

以下，将描述水平失真校正处理部42h。

输入缓冲部421从相机信号处理部41接收图像1中的一个水平行的视频信号数据，并且在其中设置的行存储器中临时存储所接收的数据。根据从失真校正同步信号生成部42TG提供的用于水平失真校正处理的同步信号Sh，输入缓冲部421顺序地向水平失真校正部422输出与行存储器中临时存储的视频信号相关的图像中的各行的像素数据。这里，因为通过总线45的大量数据流等，顺序地从相机信号处理部41输出的像素数据的次序等可能变化。这种变化可通过输入缓冲部421中设置的行存储器吸收，使得像素数据以预定次序从输入缓冲部421输出到水平失真校正部422。

基于从水平失真校正分量计算部423提供的水平方向的各像素的失真校正数据（水平失真校正数据），水平失真校正部422根据用于水平失真校正处理的同步信号Sh对从输入缓冲部421提供的一帧的视频信号执行水平失真校正处理（光栅处理）。水平失真校正部422从待校正的图像1中的顶行2U-1到底行2L-n对各像素执行水平失真校正处理（参照图3的A），并且其结果被顺序地输出到输出缓冲部424。水平失真校正数据是指示构成具有失真的原始图像的像素点处的水平方向的校正量的参数。

水平失真校正分量计算部423根据用于水平失真校正处理的同步信号Sh，获取从CPU61提供的成像透镜20的透镜信息以及其他设置信息，并且在诸如其中设置有寄存器的存储部中临时存储和设置该信息。然后，水平失真校正分量计算部423基于其中设置的存储部中存储的信息为每一个像素生成水平失真校正数据，以将所生成的数据提供到水平失真校正部422。

例如，透镜信息是通过在水平方向和垂直方向划分图像1而获得的网格点处的失真校正数据，并且从成像透镜20的失真像差特性和特定时刻成像透镜20的变焦位置得到。一般地，在光学变焦功能中，当成像透镜20在宽度方向上移动时，在图像中发生桶形失真，并且当成像透镜20在长焦方向上移动时，在图像中发生枕形失真。例如，失真校正数据存储在诸如CPU61中的寄存器或ROM62等的存储部中，以作为其中图像1上的网格点与水平方向和垂直方向的失真校正数据（校正值）相关的表。例如，若在水平方向具有2048个像素并且在垂直方向具有1080个像素的图像在各方向被分成十个相等的部分，则在水平方向的每200个像素以及垂直方向的每100个像素处存在网格点。

这里，从CPU61提供的其他设置信息包括图像1中的待校正的区等。失真校正处理部42对由CPU61指定的图像1的区执行水平方向和垂直方向的失真校正处理。

水平失真校正分量计算部423基于用于水平失真校正处理的同步信号Sh确定待校正的像素。然后，对于位置与该像素相同或者在其附近的网格点，所述部423从表读取水平方向的失真校正数据（校正值），以计算相关像素的水平失真校正数据。

输出缓冲部424是FIFO（先入先出）存储器。根据用于水平失真校正处理的同步信号Sh，输出缓冲部424接收在水平失真校正部422中经过水平失真校正处理的水平校正的视频信号，并且在缓冲处理之后将水平校正的视频信号写入到存储器50-1中。

存储器50-1可以由具有预定容量的帧存储器构成。根据用于垂直失真校正处理的同步信号Sv，以垂直方向的预定像素宽度从存储器50-1读取水平校正的视频信号。

（垂直失真校正处理部）

以下，将描述垂直失真校正处理部42v。

根据从失真校正同步信号生成部42TG提供的用于垂直失真校正处理的同步信号Sv，输入缓冲部425从存储器50-1读取水平校正的视频信号，并且将读取信号临时存储在其中设置的行存储器中。输入缓冲部425只要具有如下容量即可：该容量可以存储对于实现根据该实施例的垂直方向的失真校正处理而言是可取的最小行数的数据。例如，行数越少，处理延迟越小，但垂直失真校正的效果也变得越小，且因此，优选充分设计行数。存储器50-1的一行存储有预定像素数的数据，例如，128个像素的数据。输入缓冲部425根据用于水平失真校正处理的同步信号Sh，将涉及临时存储在行存储器中的视频信号的图像中的相应行的像素数据顺序地输出到垂直失真校正部426。

基于从垂直失真校正分量计算部427提供的垂直方向的各像素的失真校正数据（垂直失真校正数据），垂直失真校正部426根据用于垂直失真校正处理的同步信号Sv对从输入缓冲部425提供的视频信号执行垂直失真校正处理（带处理）。垂直失真校正数据是指示构成具有失真的原始图像的像素点处的垂直方向的校正量的参数。

垂直失真校正分量计算部427根据用于垂直失真校正处理的同步信号Sv，获取从CPU61提供的成像透镜20的透镜信息（用于失真校正的表）以及其他设置信息，并且在其中设置的诸如寄存器的存储部中临时存储和设置该信息。然后，垂直失真校正分量计算部427基于其中设置的存储部中存储的信息为每一个像素生成垂直失真校正数据，以将所生成的数据提供到垂直失真校正部426。与水平失真校正处理的情况类似，垂直失真校正分量计算部427基于用于垂直失真校正处理的同步信号Sv确定待校正的像素。然后，对于位置与该像素相同或者在其附近的网格点，所述部427从表中读取垂直方向的失真校正数据（校正值），以计算相关像素的垂直失真校正数据。

输出缓冲部428是FIFO（先入先出）存储器。输出缓冲部428根据用于失真校正处理的垂直同步信号Sv，接收在垂直失真校正部426中经过垂直失真校正处理的视频信号（校正的视频信号），并且在缓冲处理之后将该校正的视频信号写入到存储器50-2中。

存储器50-2可以由具有预定容量的帧存储器构成。根据成像设备10的主体的同步信号，以帧为单位读取存储器50-2中存储的视频信号的数据，并将该数据提供到显示系统处理部44。

接下来，将参照图7描述如上配置的信号处理电路40的失真校正处理。

图7是示出根据本公开的一种实施例的失真校正处理的流程图。

首先，根据按下未示出的快门按钮或视频记录按钮或者指示图像拍摄的其他控制信号，CPU61（参照图5）根据成像设备10的主体的同步信号，对图像传感器30中的各像素执行曝光（步骤S1）。然后，图像处理器30从每个像素读取像素数据（步骤S2）。之后，基于从图像传感器30的各像素读取的像素数据的视频信号（图像）被输入到信号处理电路40（步骤S3）。

与该处理并行，CPU61获取成像透镜20的透镜数据（失真像差特性、变焦位置等）（步骤S4），以计算并设置失真校正数据（步骤S5）。然后，CPU61将包括所计算的失真校正数据（校正值）的表提供到水平失真校正处理部42h和垂直失真校正处理部42v（参照图6）（步骤S3）。

接下来，信号处理电路40中的相机信号处理部41对输入视频信号（图像）执行预定信号处理（步骤S6）。然后，相机信号处理部41将经过了预定信号处理的视频信号提供到失真校正处理部42中的水平失真校正处理部42h（输入缓冲部421），并且将上述同步信号提供到失真校正处理部42中的失真校正同步信号生成部42TG（步骤S7）。

随后，水平失真校正处理部42h中的水平失真校正分量计算部423根据从失真校正同步信号生成部42TG提供的用于水平失真校正处理的同步信号Sv，将从CPU61提供的透镜信息（用于失真校正的表）和其他设置信息存储在诸如寄存器的存储部中。然后，部423基于透镜信息和其他设置信息，计算和设置用于水平方向的失真校正处理的每一个像素的失真校正数据。类似地，垂直失真校正处理部42v中的垂直失真校正分量计算部427根据从失真校正同步信号生成部42TG提供的用于垂直失真校正处理的同步信号Sv（其相对于同步信号Sh延迟了小于一帧的预定时间段），将从CPU61提供的透镜信息和其他设置信息存储在诸如寄存器的存储部中。然后，部427计算和设置用于垂直方向的失真校正处理的每一个像素的失真校正数据（步骤S7）。

接下来，基于从水平失真校正分量计算部423提供的各像素的水平失真校正数据，水平失真校正部422根据用于水平失真校正处理的同步信号Sh对从输入缓冲部421提供的一帧的视频信号执行水平失真校正处理（光栅处理）（步骤S8）。其校正结果（水平校正的视频信号的数据）被顺序地输出到输出缓冲部424。该水平失真校正部422执行该水平失真校正处理，直到使用一帧的视频信号完成了对图像的所有像素的处理。

输出缓冲部424根据用于水平失真校正处理的同步信号Sh，将从水平失真校正部422输入的水平校正的视频信号顺序地写入到存储器50-1中（步骤S9）。

垂直失真校正处理部42v中的输入缓冲部425根据用于垂直失真校正处理的同步信号Sv，从存储器50-1读取水平校正的视频信号的数据，并将该数据提供到垂直失真校正部426（步骤S10）。在完成了对通过在垂直方向划分输入图像而获得的多个区中的一个区的水平方向失真校正处理时，用于垂直失真校正处理的该同步信号Sv被提供到输入缓冲部425。

根据用于垂直失真校正处理的同步信号Sv，垂直失真校正部426基于从垂直失真校正分量计算部427提供的失真校正数据，对从输入缓冲部425提供的输入图像的上述一个区的视频信号执行垂直失真校正处理（带处理）（步骤S11）。在该垂直失真校正处理期间，水平失真校正处理部42h根据用于水平失真校正处理的同步信号Sh，对与上述一个区相邻的区执行水平失真校正处理。

输出缓冲部428根据用于垂直失真校正处理的同步信号Sv，将从垂直失真校正部426输入的输入图像中的上述一个区的校正的视频信号的数据顺序地写入到存储器50-2中（步骤S12）。

这里，若完成了对与输入图像中的一个区相邻的区的水平失真校正处理，则该处理进行到步骤S10，并且通过垂直失真校正部426对与相关的一个区相邻的区执行垂直失真校正处理。

例如，在对输入图像中的所有区（即，所有像素）执行垂直失真校正处理之后，从存储器50-2读取校正的视频信号（步骤S13），以输出到显示系统处理部44（步骤S14）。

[垂直失真校正处理的时序]

图8是根据本公开一种实施例的失真校正处理的时序图（参照图3）。这里，在该实例中，垂直失真校正处理的开始时刻不在水平失真校正处理完成时，而是在完成水平失真校正处理之后的根据用于垂直失真校正处理的同步信号Sv的时刻。

例如，根据用于图像传感器30的同步信号（8-1）以每周期1/60（最短1/62.5）秒的时段执行图像传感器30的曝光。此外，CPU61获取成像透镜20的透镜信息（用于失真校正的表）等（8-2）。在图8示出的实例中，用（1）、（2）和（3）表示与从图像传感器30顺序地输出的第一至第三图像相关的时间段。

在图像传感器30的曝光以及CPU61获取透镜信息等之后，失真校正处理部42中的水平失真校正处理部42h根据用于水平失真校正处理的同步信号Sh（8-3），从CPU61接收并设置用于水平失真校正处理的失真校正数据（8-4）。之后，从图像传感器30输出图像，该图像的各像素根据用于水平失真校正处理的同步信号Sh顺序经过水平失真校正处理（8-5），并且经过水平失真校正处理的图像（水平校正的图像）被写入到存储器50-1（8-6）。

此时，如图3的A所示，从顶行2U-1到底行2L-n对待校正的图像1执行水平方向的失真校正处理，并且根据用于水平失真校正处理的同步信号Sh在存储器50-1中累积其结果。然后，在以像素行为单位的对上述图像1的失真校正处理期间，除了作为图像1的上半部的第一区，在完成了对属于第二区并延续到第一区的行的水平方向的失真校正处理时，恰在其后根据用于垂直失真校正处理的同步信号Sv开始对第一区的垂直方向的失真校正处理。

在完成对图像1的第一区的水平失真校正处理之后，根据用于垂直失真校正处理的同步信号Sv（8-7），垂直失真校正处理部42v从CPU61接收并设置垂直失真校正处理的失真校正数据（8-8）。这里，在结束水平失真校正处理的失真校正数据的设置并开始水平失真校正处理的时刻（时间t1），开始垂直失真校正处理的失真校正数据的设置。分别为第一区和第二区设置垂直失真校正处理的失真校正数据。用于垂直失真校正处理的该同步信号Sv是相对于用于水平失真校正处理的同步信号被延迟的同步信号，并且每周期的时段是用于水平失真校正处理的同步信号的一半（在该实例中为1/120秒）。

在从上述经过每周期的一个时段之后（时间t2），根据用于垂直失真校正处理的同步信号Sv，从像素组3U-1至像素组3L-n和3U-m在垂直方向上顺序读取存储器50-1，以执行垂直失真校正处理，像素组3U-1在图像1的第一区的水平校正的图像中的顶行2U-1中，像素组3L-n在底行2L-n中，并且3U-m在比底行2L-n低一行的行2U-m中。

此外，在完成对作为图像1的下半部分的第二区的水平方向的失真校正处理时，之后立即根据用于垂直失真校正处理的同步信号Sv对第二区开始垂直方向的失真校正处理。换句话说，在从时刻t2经过每周期的一个时段之后（时刻t3），从像素组3L-m和像素组3L-1至像素组3L-n在垂直方向顺序读取存储器50-1，以执行垂直失真校正处理（8-9），像素组3L-m在图像1的第二区的水平校正的图像中比顶行2L-1高一行的行2U-n中，像素组3L-1在第二区的顶行2L-1中，并且像素组3L-n在底行2L-n中。

根据用于垂直失真校正处理的同步信号Sv，将通过对图像1的第一区执行垂直失真校正处理而获得的校正的图像和通过对图像1的第二区执行垂直失真校正处理而获得的校正的图像顺序写入到存储器50-2中（8-10）。

然后，根据用于垂直失真校正处理的同步信号Sv，在从对第二区的垂直失真校正处理的开始时刻经过每周期的一个时段之后（时刻t4），垂直失真校正处理部42v从存储器50-2读取校正的图像，并且将所读取的图像输出到显示系统处理部44（8-11）。

失真校正处理部42对第一图像之后的第二图像、第三图像等顺序地执行这一系列失真校正处理。

以上描述的实施例具有如下的配置，其中，将输入图像在垂直方向分成两个相等部分，并且在完成了对上部区域的水平失真校正处理时，开始对上部区的垂直失真校正处理。换句话说，在开始水平失真校正处理后，延迟小于一帧的预定时间段（在上述实例中为1/2帧）开始垂直失真校正处理。根据以上内容，可以在完成对整个输入图像的水平失真校正处理之前开始垂直失真校正处理。结果，相比于现有技术，可以减小从水平失真校正处理的时间段的开始直到完成垂直失真校正处理以获得校正的图像所产生的延迟。例如，若在完成对输入图像的上部区的水平失真校正处理时开始对上部区的垂直失真校正处理，则可以将延迟抑制到约1.5帧的时间，该延迟是从水平失真校正处理的时间段的开始直到完成垂直失真校正处理以获得校正的图像而产生的。

另外，该实施例可以只要具有如下容量即可：该容量可以存储对于实现垂直方向的失真校正处理而言是可取的最小行数的数据，并因此不需要许多行存储器。

除了输入图像的第一区，若对第一区中重复处理的部分和第二区的水平失真校正处理所占用的时间短于垂直同步信号的一半，如图4所示，则可以将垂直失真校正处理的开始的每周期的时段设置为水平失真校正处理的开始的每周期的时段的一半。在该情况下，可以不确认完成对第一区的水平失真校正处理，这会导致处理简化，并将电路抑制到小尺寸。

<2.其他>

这里，上述实施例描述了其中将输入图像在垂直方向上分成两个相等部分的实例（参照图3和图4），但可以不分成两个相等部分。例如，可以将输入图像在垂直方向分成三个或更多个相等区。每当在完成对通过划分输入图像而获得的多个区中的每个区的水平方向的失真校正处理时，开始对已完成在水平方向的相关失真校正处理的区的垂直方向的失真校正处理。

例如，若将输入图像在垂直方向分成两个相等部分，则可以精确地校正图像的中心部分的失真。

此外，若将输入图像在垂直方向分成三个或更多个相等部分，则相比二等划分，能实现更高速度的处理，但在多个划分区中重复处理的部分的增加增大了要处理的像素数。然而，若在有大失真的成像透镜、图像拍摄条件和环境下，可以精确地校正输入图像。

另外，上述实施例描述了其中将图像在垂直方向分成两个相等部分的实例（参照图3和图4），但可以不分成相等部分。例如，若将图像在垂直方向分成两个部分，则可以不相等地划分图像，使得上部区可以是整个图像的三分之一的区，下部区可以是整个图像的三分之二的区等。

然而，在高速处理、要处理的像素数以及失真校正精度之间的平衡方面，一个区优选具有整个图像的三分之一以上的大小。

此外，以上实施例描述了其中将预定像素数（例如，128个像素）的数据存储在输入缓冲部425中的行存储器中以执行垂直失真校正处理的带处理的实例，但不限于该实例。若不限制输入缓冲部425中的行存储器，则配置可以是在一行中存储一个像素的数据。在该情况下，可以执行更精细的垂直失真校正处理，但例如，对于开始垂直失真校正处理的像素地址而言，数据量增加。可以以更好地处理效率和更高的处理速度执行以某些特定数量的像素为单位的垂直失真校正处理，而不是以一个像素为单位或少数像素为单位的垂直失真校正处理。

此外，要进行失真校正处理的图像不仅包括从图像传感器30输出的图像，还包括从图像传感器30输出并临时存储在诸如闪存存储器的存储介质中的图像、从外部接收并存储在存储介质中的图像等。这里，在该情况下，可以将存储器50用作存储介质。

此外，上述实施例示出了如下的配置，其中，基于从相机信号处理部41提供的同步信号生成用于水平失真校正处理的同步信号Sh，并且基于从同步信号生成部43提供的同步信号生成用于垂直失真校正处理的同步信号Sv（参照图6和图8）。然而，实施例不限于该配置。例如，可以基于从同步信号生成部43提供的同步信号，生成用于水平失真校正处理的同步信号Sh和用于垂直失真校正处理的同步信号Sv，其中，同步信号Sv相对于同步信号Sh被延迟，并且其每周期的时段是同步信号Sh的一半。例如，若对存储介质中存储的图像执行失真校正，则难以使用从图像传感器30输出的同步信号，但是像这样的配置使得可以使用从同步信号生成部43提供的同步信号来执行垂直失真校正处理和水平失真校正处理。

此外，对于在上述实施例中从CPU61提供到失真校正处理部42的其他设置信息，可以给出用于相机抖动校正功能的设置信息。

另外，上述实施例可适用于对由于卷帘式快门系统引起的图像失真的失真校正。在该情况下，图像上的网格点和用于校正由于卷帘式快门系统引起的水平方向和垂直方向的失真的失真校正数据，可以在从CPU61提供的用于失真校正的表中被登记为彼此关联。另外，反映由于成像透镜引起的失真的校正量和由于卷帘式快门系统引起的失真的校正量的失真校正数据，可以在表中被登记为与图像上的网格点相关。这使得可以一起校正由于成像透镜引起的失真和由于卷帘式快门系统引起的失真。

此外，上述实施例描述了其中成像透镜20附着到成像设备10的主体的实例，但成像透镜20可以从成像设备10的主体被拆卸。

另外，本技术还可以如下配置。

（1）一种图像处理设备，包括：

水平失真校正处理部，被配置为根据提供的同步信号在水平方向上对输入图像执行失真校正处理；

存储器，被配置为顺序地存储由所述水平失真校正处理部在所述水平方向上的所述失真校正处理的结果；以及

垂直失真校正处理部，被配置为在由所述水平失真校正处理部开始在所述水平方向上的所述失真校正处理之后，以小于一帧的预定时间段的延迟从所述存储器顺序地读取在所述水平方向上的所述失真校正处理的结果，以便开始在垂直方向上的失真校正处理。

（2）根据（1）所述的图像处理设备，其中，

每当由所述水平失真校正处理部对通过在所述垂直方向上划分所述输入图像而获得的多个区中的每个区完成在所述水平方向上的所述失真校正处理时，所述垂直失真校正处理部对已完成在所述水平方向上的所述失真校正处理的所述区开始在所述垂直方向上的所述失真校正处理。

（3）根据（2）所述的图像处理设备，其中，

所述多个区中的每个区都具有整个所述输入图像的三分之一以上的大小。

（4）根据（2）或（3）所述的图像处理设备，其中，

在由所述水平失真校正处理部对通过在所述垂直方向上将所述输入图像划分成两个相等区而获得的区中的第一区完成在所述水平方向上的所述失真校正处理之后，所述垂直失真校正处理部对所述输入图像中的所述第一区开始在所述垂直方向上的所述失真校正处理。

（5）根据（2）至（4）中任一项所述的图像处理设备，其中，

所述水平失真校正处理部对所述输入图像中的一个区以及包括与所述一个区连续并且与所述一个区相邻的区中所包含的预定数量的水平行的部分，执行在所述水平方向上的所述失真校正处理，以及

所述垂直失真校正处理部对已经过在所述水平方向上的所述失真校正处理的所述输入图像的所述一个区以及包括所述预定数量的水平行的校正处理的输入图像执行在所述垂直方向上的所述失真校正处理，以将经过在所述垂直方向上的所述失真校正处理的所述输入图像中的所述一个区输出为校正处理的输出图像。

（6）一种成像设备，包括：

图像传感器；

水平失真校正处理部，被配置为根据提供的同步信号对来自所述图像传感器的输入图像执行在水平方向上的失真校正处理；

存储器，被配置为顺序地存储由所述水平失真校正处理部在所述水平方向上的所述失真校正处理的结果；

垂直失真校正处理部，被配置为在由所述水平失真校正处理部开始在所述水平方向上的所述失真校正处理之后，以小于一帧的预定时间段的延迟从所述存储器顺序地读取在所述水平方向上的所述失真校正处理的结果，以便开始在垂直方向上的失真校正处理。

（7）一种图像处理方法，包括：

由图像处理设备中所包括的水平失真校正处理部根据提供的同步信号，对输入图像执行在水平方向上的失真校正处理；

由所述水平失真校正处理部在存储器中顺序地存储由所述水平失真校正处理部在所述水平方向上的所述失真校正处理的结果；以及

在由所述水平失真校正处理部开始在所述水平方向上的所述失真校正处理之后，由所述图像处理设备中所包括的垂直失真校正处理部以小于一帧的预定时间段的延迟，从所述存储器顺序地读取在所述水平方向上的所述失真校正处理的结果，以便开始在垂直方向上的失真校正处理。

（8）一种程序，使得计算机执行以下过程：

根据提供的同步信号对输入图像执行在水平方向上的失真校正处理；

在存储器中顺序地存储在所述水平方向上的所述失真校正处理的结果；以及

在开始在所述水平方向上的所述失真校正处理之后，以小于一帧的预定时间段的延迟从所述存储器顺序地读取在所述水平方向上的所述失真校正处理的结果，以便开始在垂直方向上的失真校正处理。

[本公开的范围中的实例]

这里，如上所述，图5中的成像设备10执行用于从广阔的视野提取图像结构的图像处理。通过这种图像处理提取的信息可被用于改善图像质量等的处理，且因此，设备10不仅可用于数码摄像机，还可用于其它设备，诸如实现用于从广阔的视野提取图像结构的模块的设备。例如，设备的种类可包括诸如数码相机、打印机、诸如显示器的显示装置等的成像设备。此外，设备10还可适用于用于制作或编辑图像的设备和计算机程序。

[计算机硬件配置的实例]

值得注意的是，上述的一系列处理可通过硬件执行，并且也可通过软件执行。若通过软件执行该一系列处理，则从程序记录介质将构成软件的程序安装到专用硬件中包含的计算机或通用个人计算机或者能够通过安装有各种程序来执行各种功能的类似装置中。

图9是示出执行根据程序的之前描述的一系列处理的计算机的示例硬件配置的框图。

在该计算机中，CPU101、ROM（只读存储器）102以及RAM103通过总线104彼此连接。

输入/输出接口105也连接至总线104。由键盘、鼠标、麦克风等组成的输入单元106、由显示器、扬声器等组成的输出单元107、由硬盘驱动器、非易失性存储器等组成的记录单元108、由网络接口等组成的通信单元109、以及驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质111的驱动器110均连接至输入/输出接口105。

在如上所述配置的计算机中，一个实例是，CPU101经由输入/输出接口105和总线104将记录单元108中记录的程序加载到RAM103中，并且执行该程序来执行之前描述的一系列处理。

由计算机（CPU101）执行的程序被记录在可移动介质111中，可移动介质111是例如由磁盘（包括软盘）、光盘（诸如CD-ROM（光盘-只读存储器））或DVD（数字多功能光盘）、磁-光盘或半导体存储器组成的封装介质，或者经由诸如局域网、互联网或数字卫星广播的有线或无线传输介质来提供。

之后，通过将可移动介质111装载到驱动器110中，可以经由输入/输出接口105将程序安装到记录单元108中。还可以使用通信单元109来经由有线或无线传输介质接收程序，并将程序安装到记录单元108中。可选地，可以提前将程序安装到ROM102或记录单元108中。

值得注意的是，由计算机执行的程序可以是以根据该说明书中描述的顺序按照时间序列处理的程序，或者是并行或诸如在调用时以必要的时序处理的程序。

本领域普通技术人员应当理解，在所附权利要求或其等同物的范围内，根据设计需求和其它因素，可以有各种修改、组合、子组合和替换。

换句话说，上述每个实施例中的实例是本公开的优选具体实例，因此，技术上优选有各种限制。然而，除非在每个实施方式中具体描述了对本公开的限制，否则本公开的技术范围不受这些实施例的限制。例如，在以上说明书中所引用的使用的材料及其使用量、处理时间、处理顺序、每个参数的数值条件等仅是优选实例，并且在说明书中使用的附图中的大小、形状、排列关系等均是示意性描述的。

Claims (9)

1.一种图像处理设备，包括：

水平失真校正处理部，被配置为根据提供的同步信号在水平方向上对输入图像执行失真校正处理；

存储器，被配置为顺序地存储由所述水平失真校正处理部在所述水平方向上的所述失真校正处理的结果；以及

垂直失真校正处理部，被配置为在由所述水平失真校正处理部开始在所述水平方向上的所述失真校正处理之后，以小于一帧的预定时间段的延迟从所述存储器顺序地读取在所述水平方向上的所述失真校正处理的结果，以便开始在垂直方向上的失真校正处理。

2.根据权利要求1所述的图像处理设备，其中，

每当由所述水平失真校正处理部对通过在所述垂直方向上划分所述输入图像而获得的多个区中的每个区完成在所述水平方向上的所述失真校正处理时，所述垂直失真校正处理部对已完成在所述水平方向上的所述失真校正处理的所述区开始在所述垂直方向上的所述失真校正处理。

3.根据权利要求2所述的图像处理设备，其中，

所述多个区中的每个区都具有整个所述输入图像的三分之一以上的大小。

4.根据权利要求3所述的图像处理设备，其中，

在由所述水平失真校正处理部对通过在所述垂直方向上将所述输入图像划分成两个相等区而获得的区中的第一区完成在所述水平方向上的所述失真校正处理之后，所述垂直失真校正处理部对所述输入图像中的所述第一区开始在所述垂直方向上的所述失真校正处理。

5.根据权利要求2所述的图像处理设备，其中，

所述水平失真校正处理部对所述输入图像中的一个区以及包括与所述一个区连续并且与所述一个区相邻的区中所包含的预定数量的水平行的部分，执行在所述水平方向上的所述失真校正处理，以及

所述垂直失真校正处理部对已经过在所述水平方向上的所述失真校正处理的所述输入图像的所述一个区以及包括所述预定数量的水平行的校正处理的输入图像执行在所述垂直方向上的所述失真校正处理，以将经过在所述垂直方向上的所述失真校正处理的所述输入图像中的所述一个区输出为校正处理的输出图像。

6.一种成像设备，包括：

图像传感器；

水平失真校正处理部，被配置为根据提供的同步信号对来自所述图像传感器的输入图像执行在水平方向上的失真校正处理；

存储器，被配置为顺序地存储由所述水平失真校正处理部在所述水平方向上的所述失真校正处理的结果；

垂直失真校正处理部，被配置为在由所述水平失真校正处理部开始在所述水平方向上的所述失真校正处理之后，以小于一帧的预定时间段的延迟从所述存储器顺序地读取在所述水平方向上的所述失真校正处理的结果，以便开始在垂直方向上的失真校正处理。

7.一种图像处理方法，包括：

由图像处理设备中所包括的水平失真校正处理部根据提供的同步信号，对输入图像执行在水平方向上的失真校正处理；

由所述水平失真校正处理部在存储器中顺序地存储由所述水平失真校正处理部执行的在所述水平方向上的所述失真校正处理的结果；以及

在由所述水平失真校正处理部开始在所述水平方向上的所述失真校正处理之后，由所述图像处理设备中所包括的垂直失真校正处理部以小于一帧的预定时间段的延迟，从所述存储器顺序地读取在所述水平方向上的所述失真校正处理的结果，以便开始在垂直方向上的失真校正处理。

8.根据权利要求7所述的图像处理方法，其中，

每当由所述水平失真校正处理部对通过在所述垂直方向上划分所述输入图像而获得的多个区中的每个区完成在所述水平方向上的所述失真校正处理时，由所述垂直失真校正处理部对已完成在所述水平方向上的所述失真校正处理的所述区开始在所述垂直方向上的所述失真校正处理。

9.一种程序，使得计算机执行以下过程：

根据提供的同步信号对输入图像执行在水平方向上的失真校正处理；

在存储器中顺序地存储在所述水平方向上的所述失真校正处理的结果；以及

在开始在所述水平方向上的所述失真校正处理之后，以小于一帧的预定时间段的延迟从所述存储器顺序地读取在所述水平方向上的所述失真校正处理的结果，以便开始在垂直方向上的失真校正处理。

Images