CN101489021B - 图像处理系统和包含该图像处理系统的相机 - Google Patents

Abstract

公开了图像处理系统和包含该图像处理系统的相机。所述图像处理系统被配置为包含：成像系统，其具有用于捕获景物的图像的CCD，并将从CCD输出的景物的图像信号输出为像素数据；转换缓冲存储器，其根据每个像素位置临时地存储像素数据；数据库，其存储每个像素的校正信息；以及校正器电路，其基于存储在数据库中的校正信息，对存储在转换缓冲存储器中的每个像素数据执行校正处理，并顺序地输出经校正的像素数据。在该图像处理系统中，数据库中的校正信息根据成像系统的放大倍数的变化而变化。

Description

图像处理系统和包含该图像处理系统的相机

技术领域

本发明涉及用于相机的图像处理系统的改进以及含有该图像处理系统的相机。

背景技术

存在用于相机的已知图像处理系统，其使用鱼眼镜头来捕获图像，并转换图像以便于校正失真。这种图像处理系统在图像转换之前将一个图像尺寸的像素数据存储在缓冲存储器中，转换每个像素的坐标处(每个地址处)的像素数据，读取经转换的坐标处的像素数据，并且输出经失真校正的像素数据。

然而，这种图像处理系统存在这样的问题：其需要包含足够于存储一个图像尺寸的像素数据的大容量缓冲存储器。另一个问题是：由于处理必须等待直到将一个图像尺寸的像素数据加载到缓冲存储器中为止，因此执行图像转换处理花费了许多时间。

为了解决上述问题，日本未审查专利申请公开号2007-156795提出了实现高速图像转换处理的、具有小容量缓冲存储器的图像转换设备。

在该图像转换设备中，缓冲存储器没有存储一个图像尺寸的像素数据的容量。该设备被配置为：当缓冲存储器已满时，通过用最当前的像素数据重写最早先的像素数据来弥补存储器容量的不足。

同时，就相机设计而言，通常，已独立地对成像系统(光学系统)和图像处理系统进行研发。因此，对于光学系统和图像处理系统，已独立地研究了诸如图像失真、亮度(阴影)、分辨率(MTF)、色差(color aberration)以及色彩放大倍数之类的光学性能的改进，这导致另一问题：相机研发的时间及成本量的大量增长。

描述图像的失真作为示例。

图1示出景物P、光学系统L以及景物图像P’之间的关系。图2示出具有桶形失真的景物图像P’。在图3中，从光学系统L的中心(光轴)O至外围，图像P’的失真加剧，并且当光轴的失真率为0时，图像高度方向H中的失真率增加。图4示出一般的失真率曲线。图3中的矩形框对应于稍后描述的图像传感器的成像平面。

在现有技术中，通过仅改进光学系统L的光学设计，已实现了失真率的降低，这造成光学系统尺寸增加的问题。该失真可通过图像处理系统相对简单地校正。因此，为了改进图像质量，最好共同研发相机的光学系统L和图像处理系统，使得通过图像处理系统来校正诸如失真之类的光学性能。

现有技术的图像处理系统通过与光学系统L一起的图像处理技术，部分地解决了图像的失真。

然而，考虑到光学系统L和图像处理系统的各自功能，现有技术的图像处理系统未被高效地设计。

此外，在放大倍数可变的光学系统L中，作为光学性能之一的失真率与放大倍数或焦距的变化一起变化。在不扩大光学系统L的情况下，设计防止失真率变化的这种光学系统L是非常困难的。

发明内容

为了改进图像质量，并且关注于很难通过光学系统来改进、但可相对容易地通过图像处理系统来改进的光学性能，本发明被安排用于一起研发光学系统和图像处理系统。本发明的目标是提供这样的图像处理系统：通过使用该图像处理系统校正由于放大倍数变化引起的光学系统的光学性能的变化，其可减少光学系统的设计负荷，并因此提高整个图像质量。本发明的另一目标是提供含有这种图像处理系统的相机。

根据本发明的一个方面，图像处理系统被配置为包括：成像系统，其具有用于捕获景物的图像的图像传感器，并将该图像传感器输出的景物的图像信号输出为像素数据；转换缓冲存储器，其根据每个像素位置临时地存储像素数据；图像转换表，其存储每个像素的校正信息；以及图像数据转换单元，其基于存储在图像转换表中的校正信息，对存储在转换缓冲存储器中的每个像素数据执行校正处理，并顺序地输出经校正的像素数据，其中图像转换表中的校正信息根据成像系统的放大倍数的变化而变化。

在本方面的各特征中，图像处理系统进一步包括显示缓冲存储器，其临时存储由图像数据转换单元校正的像素数据，以便于基于经校正的像素数据来显示该景物的图像。

在本方面的其它特征中，将转换缓冲存储器的存储器容量设置为小于存储一个图像尺寸的像素数据的缓冲存储器的存储器容量。

在本方面的其它特征中，该校正信息包含失真信息。

在本方面的其它特征中，该校正信息包含失真信息、亮度信息、分辨率信息、色差信息以及色彩放大倍数信息中的至少之一。

在本方面的其它特征中，该图像处理系统进一步包括预处理单元，其在将像素数据存储于转换缓冲存储器之前，对于成像系统输出的像素数据执行包含缺陷像素校正、黑电平校正以及白平衡校正中的至少之一的预处理。

在本方面的其它特征中，该图像传感器是CCD传感器或CMOS传感器。

根据本发明的另一方面，相机包括上述成像系统。

附图说明

图1是说明成像系统的图像的失真的视图；

图2示出具有桶形失真的图像；

图3示出光学系统和成像平面之间的关系；

图4示出一般失真率曲线的示例；

图5示出含有根据本发明的图像处理系统的相机的示例；

图6示出临时存储在转换缓冲存储器中的具有桶形失真的图像的示例。

图7A～7C示出校正处理的示例，图7A示出待校正图像的角落上的像素数据，图7B示出待校正图像的外围的像素数据，以及图7C示出待校正图像的中心的像素数据；

图8示出写入到显示缓冲存储器的像素数据的示例；以及

图9A是示出现有技术图像处理系统从图像数据的生成到校正处理之后图像显示所花费时间的时序图，以及图9B是示出根据本发明的图像处理系统从图像数据的生成到校正处理之后图像显示所花费时间的时序图。

具体实施方式

以下将参照附图详细描述本发明的实施例。

图5示出含有根据本发明的光学系统1和图像处理系统的相机，其包括：成像单元2、信号处理电路3以及其它组件。光学系统1由自动聚焦镜头1a、缩放镜头1b以及驱动镜头的电机驱动器1c组成。

成像单元2由CCD 2a(图像传感器)、时序发生器2b以及A/D转换器2c组成。作为图像传感器的CCD 2a可由CMOS传感器替换。CCD 2a的成像平面包括水平方向中的640个像素以及垂直方向中的480个像素。成像系统由光学系统1和成像单元2构成，以成像景物且将图像传感器输出的景物的图像信号作为图像数据输出。

CPU 4通过电机驱动器1c控制自动聚焦镜头1a和缩放镜头1b，同时CPU4通过时序发生器2b控制CCD 2a和A/D转换器2c。

自动聚焦镜头1a在CCD 2a的成像平面上自动聚焦景物图像P’，而缩放镜头1b放大或缩小形成于CCD 2a上的景物图像P’。CCD 2a输出的景物的图像信号通过A/D转换器2c，被作为像素数据顺序地输出至预处理电路5。预处理电路5对像素数据执行包含缺陷像素校正、黑电平校正以及白平衡校正的预处理。

经预处理的像素数据被顺次输入至地址计数器6。每当接收到来自于CPU4的水平同步信号时，地址计数器6生成地址，并将经预处理的像素数据写至在每个坐标处依次临时存储经预处理的像素数据的转换缓冲存储器7的每个坐标。该坐标是指成像平面的水平和垂直方向中的像素位置。水平方向中的位置由代码“i”表示，垂直方向中的位置由代码“j”表示。(i，j)是指水平方向中的第i个且垂直方向中的第j个的像素位置。“i”是从1至640的整数，而“j”是从1至480的整数。

通过读取电路8将存储在转换缓冲存储器7中的每条像素数据输入至校正器电路9。校正器电路9使用数据库10，对于来自读取电路8的每条像素数据执行校正处理。

数据库10在其之中存储校正信息，以用于校正临时存储在转换缓冲存储器7的每个坐标中的像素数据。校正信息可以是关于诸如图像失真信息、亮度信息(阴影)、分辨率信息(MTF；Modulation Transfer Function，调制传输函数)、像差信息(aberration information)之类的光学性能。在本实施例中，作为示例，将对于具有因自动聚焦镜头1a和缩放镜头1b引起的失真的像素数据的校正处理进行描述。图像的失真度可预先从光学系统的光学性能中获得，因此，确定每个图像的原始像素位置以及将失真校正数据存储在数据库10中是容易的。

数据库10用作图像转换表以包含用于临时存储在转换缓冲存储器7中的每个像素数据的校正信息。校正器电路9用作图像数据转换单元以基于图像转换表中的校正信息，对转换缓冲存储器7的每个坐标处的每个像素数据执行校正处理。并且顺次输出经校正的像素数据。

在下文中，作为示例，将使用失真为桶形(由于图2中所示的缩放镜头1b和自动聚焦镜头1a而引起)的景物图像P’来描述校正处理。景物P的原始形状为矩形。校正处理将失真图像P’校正为无失真景物图像Q(由图2中的虚线表示)。

图6示出具有桶形失真的经放大的景物图像P’。在附图中，代码G(i，j)表示坐标(i，j)处的像素数据。为了简化，在图6中，转换缓冲存储器7中的像素数在水平方向中为64，在垂直方向中为48；然而，其实际数量为10倍。代码“i”是从1至64的整数，而代码“j”是从1至48的整数。

在具有桶形失真的景物图像P’中，失真度在外围部分很大，而失真度在中心部分很小。

例如，在失真的情况下，本应无失真地写至坐标(1，1)、(2，1)、(1，2)、(2，2)的多条像素数据G被写至转换缓冲存储器7的同一坐标(8，7)。本应无失真地写至坐标(30，5)的另一条像素数据G被写至转换缓冲存储器7的坐标(30，1)、(30，2)。然而，在光轴的中心附近存在很小的失真，使得无论失真如何，本应无失真地写至坐标(30，24)(中心点)的像素数据G被写至坐标(30，24)。

为了校正光学系统捕获的景物图像P’的失真，需要将坐标(8，7)处的像素数据G转换为坐标(1，1)、(2，1)、(1，2)、(2，2)处的像素数据。类似地，需要将像素数据G(30，5)转换为坐标(30，1)、(30，2)处的像素数据，并且将像素数据G(30，24)转换为坐标(30，24)处的像素数据。因此，可通过坐标转换来校正景物图像P’的失真。

数据库10包含坐标转换信息，用于在失真校正之后将像素数据G(8，7)转换为坐标(1，1)、(2，1)、(1，2)、(2，2)处的像素数据，将像素数据G(30，5)转换为坐标(30，1)、(30，2)处的像素数据，并且将像素数据G(30，24)转换为坐标(30，24)处的像素数据。

也就是说，数据库10中的坐标转换信息将失真校正之前的像素数据G(i，j)与失真校正之后的像素数据G(m，n)相关联。

通常，最好将数据库10配置为：包含算法信息和坐标转换信息，使得当需要时，使用存储在如图7A～7C中所示的转换缓冲存储器7中的像素数据G(i，j)的邻近处的像素数据来与失真校正并行地执行亮度校正等。然而，在本实施例中，为了简化，仅描述了坐标转换处理的失真校正。

在现有技术中，失真校正处理必须等待，直到将一个图像尺寸的像素数据存储在转换缓冲存储器7中为止，这导致校正处理和实时图像显示的延迟。此外，需要准备用于存储一个图像尺寸的像素数据的存储器容量的存储器，这导致制造成本和存储器尺寸的增加。

相反，根据本实施例的转换缓冲存储器7被配置为具有小于一个图像尺寸的像素数据的存储器容量。

然而，失真校正处理仍然必须等待，直到将待校正的像素数据存储在转换缓冲存储器7中为止。例如，为了校正像素数据G(8，7)的失真，校正处理必须等待，直到将该像素数据存储在如图6中所示的转换缓冲存储器7的坐标(8，7)处为止。

根据另一观点，CCD 2a的成像平面的像素数，或所捕获的像素数据的数量大于转换缓冲存储器7的存储器容量。每条像素数据被从其第一坐标依次地写至转换缓冲存储器7。在将像素数据写至最后的坐标后，之后的像素数据被再次写至第一坐标，并且顺次持续写入数据。

因此，转换缓冲存储器7中的像素数据被定期地重写。所以，为了防止在失真校正之前删除待校正的像素数据，应将转换缓冲存储器7设计为具有额外的存储器容量。

进一步，用于坐标转换的失真校正信息根据缩放镜头1b的放大倍数以及自动聚焦镜头1a的聚焦状态而变化。在本实施例中，将缩放镜头1b设置为3级(level)、广角(wide)、平均(mean)、长焦(telephoto)，并且失真率根据缩放镜头1b的放大倍数的变化而变化。例如，假设失真率为长焦处10％、平均处20％、广角处30％。CPU 4根据缩放镜头1b的放大倍数来改变存储在数据库10中的校正信息。

当X轴方向中的一个图像尺寸的数据由480行组成时，转换缓冲存储器7的存储器容量在广角处为144行、在平均处为96行、在长焦处为48行。

在本实施例中，处理具有失真率30％的广角处捕获的景物图像P’，并且数据库10存储广角的校正信息。

转换缓冲存储器7的存储器容量为(640×480)×30×(12/8)字节，其中，CCD 2a的成像平面的像素数为H640×V480，失真率为30％，像素数据的位数为12，且1字节为8位。

CPU 4根据失真率改变校正起始时序。在降低的失真率的情况下，转换缓冲存储器7需要更少的存储器容量。

转换缓冲存储器7存储失真率30％的每一个像素处的校正信息，并且其存储器容量为144+α行。α行对应于额外的存储器容量，用于防止像素数据在失真校正之前被删除。

像素数据被从第一坐标(1，1)起，从左至右地顺序写至转换缓冲存储器7的每行。在将像素数据写至最后的坐标(144+α，640)后，之后的像素数据被再次写至第一坐标(1，1)。

紧接着像素数据被写至转换缓冲存储器7的坐标(144，640)之后，校正器电路9在CPU 4的控制下开始校正处理。当将数据写至转换缓冲存储器7的所有行(144+α)完成时，CPU 4开始将像素数据写至第一坐标。

根据来自于CPU 4的指令以及数据库10中的失真校正信息，校正器电路9通过读取电路8从转换缓冲存储器7读取所讨论的坐标处的像素数据G(i，j)，并执行失真校正。

然后，通过写电路11依次将校正器电路9所失真校正后的像素数据写至显示缓冲存储器12的坐标。基于数据库10的失真校正信息，从显示缓冲存储器12的第一行的第一坐标至最后(144+α)行的最后坐标、从左至右地进行失真校正。例如，如图8中所示，转换缓冲存储器7中的像素数据G(8，7)(图6)被写至显示缓冲存储器12的坐标(1，1)、(2，1)，像素数据G(30，5)被写至坐标(30，1)且像素数据G(8，7)被写至坐标(2，1)、(2，2)。当将数据写至最后行完成时，数据写入返回至第一行的第一坐标。

通过重复这种失真校正，经失真校正后的像素数据G(m，n)被存储在显示缓冲存储器12中，且视频信号通过读取电路13被输出至例如用于显示的监控器屏幕(未示出)。

如图9A中所示，在现有技术的相机中，与来自图像传感器(CCD 2a)的垂直同步信号VD同步地执行曝光处理。然后，在传输了一个图像尺寸的图像数据后，对转换缓冲存储器中一个图像尺寸的像素数据执行失真校正。图像传感器和监控器屏幕以彼此异步地方式工作，使得监控器显示可在校正处理完成时开始。然而，从完成曝光处理起，监控器屏幕上的图像显示最短延迟一帧半。一帧半对应于传输时间以及图像处理时间。

在图9A的图像处理系统中，以彼此异步地方式进行图像处理和图像数据传输。为了防止显示图像数据被重写，系统需要包括具有一个图像尺寸的数据量的存储器容量的显示缓冲存储器，这可导致系统成本的增加。

相反，根据本实施例，从曝光处理完成起，图像显示仅延迟半帧或更少，这是由于其无需等待一个图像尺寸的像素数据的传输而开始。这消除了显示缓冲存储器具有一个图像尺寸的数据量的存储器容量的必要。

如上所述，将转换缓冲存储器7的存储器容量减小至比一个图像尺寸的像素数据量更小，使得可以实现相机的图像处理的加速、成本降低以及功耗节省。进一步，根据本实施例的图像处理系统可在不扩大光学系统的情况下改进图像质量，这有助于相机的尺寸减小(downsize)。因此，相机对于诸如车辆、监控及医疗之类的各种使用都是适用的。

此外，根据本实施例，通过使用图像处理系统来校正由于放大倍数变化引起的光学系统的光学性能，其可减少光学系统的设计负荷，并因此提高整个图像质量。

以上实施例已描述了具有桶形失真的景物图像的校正；然而，本发明不限于此。其还适用于具有枕形失真(quill-like distortion)的景物图像的校正。

根据本实施例的图像处理系统包括显示缓冲存储器12。然而，显示缓冲存储器12是可省略的。

进一步，根据本实施例的图像处理系统被配置为包括信号处理电路3中的转换缓冲存储器7和显示缓冲存储器12。然而，可以在信号处理电路3的外面提供这些缓冲存储器。

进一步，根据本实施例，即使在光学系统的光学性能中的变化是由于其放大倍数的变化所引起的情况下，图像校正信息可根据光学性能的变化而变化。因此，该变化所导致的图像劣化可由图像处理系统校正。其结果是防止了光学系统的扩大并且降低了相机的研发成本。

虽然已依据示例性实施例描述了本发明，但本发明不局限于此。本领域的技术人员应该理解，在不脱离如以下权利要求书所限定的本发明范围的情况下，可以在所描述的实施例中进行各种变更。

Claims (7)

1.一种图像处理系统，包括：

成像系统，其具有用于捕获景物的图像的图像传感器，并将该图像传感器输出的景物的图像信号输出为像素数据；

转换缓冲存储器，其根据要校正的每个像素的位置坐标临时地存储像素数据；

图像转换表，其存储要校正的每个像素的校正信息和用于将转换缓冲存储器中每个像素数据的存储位置坐标转换回其在图像中该像素的位置坐标的坐标转换信息；以及

图像数据转换单元，其基于存储在图像转换表中的校正信息，对存储在转换缓冲存储器中的每个像素数据执行校正处理，顺序地输出经校正的像素数据，并根据坐标转换信息将经校正的像素数据写至其在图像中其原来的位置上，其中

图像转换表中的校正信息根据成像系统的放大倍数的变化而变化。

2.如权利要求1所述的图像处理系统，进一步包括显示缓冲存储器，其临时存储由图像数据转换单元校正的像素数据，以便于基于经校正的像素数据来显示该景物的图像。

3.如权利要求1所述的图像处理系统，其中，将转换缓冲存储器的存储器容量设置为小于存储一个图像尺寸的像素数据的缓冲存储器的存储器容量。

4.如权利要求1所述的图像处理系统，其中，该校正信息包含失真信息、亮度信息、分辨率信息、色差信息以及色彩放大倍数信息中的至少之一。

5.如权利要求1所述的图像处理系统，进一步包括预处理单元，其在将像素数据存储于转换缓冲存储器之前，对于成像系统输出的像素数据执行包含缺陷像素校正、黑电平校正以及白平衡校正中的至少之一的预处理。

6.如权利要求1所述的图像处理系统，其中，该图像传感器是CCD传感器或CMOS传感器。

7.一种包括如权利要求1所述的成像系统的相机。 

Images