CN101527858A - 图像处理方法、图像处理设备以及图像摄像设备 - Google Patents

Abstract

本发明提供一种不增加电路规模，不降低图像质量，能够对使用倍率色差大的广角光学系统拍摄的图像实行倍率色差补正与MTF补正的图像处理方法，图像处理设备。对于使用倍率色差大的广角光学系统拍摄的图像，按照倍率色差补正处理、亮度信号与颜色信号的分离处理、以及对所述亮度信号实行高频增强处理的顺序实行处理。更具体地说，图像处理设备包括倍率色差补正装置(100)、以及MTF补正装置。所述倍率色差补正装置(100)对于各颜色分量分别实行坐标变换，以对包含倍率色差的图像实行倍率色差补正；所述MTF补正装置包括所述分离装置(210)将经过倍率色差补正的图像分离为亮度信号与颜色信号的分离装置(210)、增强亮度信号的高频的滤波器(220)、以及将亮度信号与颜色信号合成的装置(230)。

Description

图像处理方法、图像处理设备以及图像摄像设备

技术领域

本发明涉及用于处理使用倍率色差大的广角光学系统拍摄的图像的图像处理方法，图像处理设备，以及具有该图像处理设备的图像摄像设备。

背景技术

近年，对于车辆的后监视器等用途的广角摄像设备的需求正在增大。但越是广角化，倍率色差和畸变像差就越大，设计像差小的光学系统相当困难，因此，需要结合图像处理来提高光学系统的性能。作为以往技术中补正偏差的方法，可以例举专利文献1中记载的方法，通过CCD和CMOS传感器等摄像元件得到R(红)、G(绿)、B(蓝)信号，在后阶段分别对RGB各颜色分量实行独立的坐标变换，以同时补正倍率色差和畸变像差的方法，或无视倍率色差，对RGB各颜色分量一起实行坐标变换，仅校正畸变像差的方法。

为了对由于透镜等光学系统引起的分辨率降低实行补正，以往技术中使用了高频增强滤波器(MTF补正)。在专利文献1中也记载了以下方法：在对RGB信号实行了倍率色差与畸变像差补正后，对各RGB施加高频增强滤波器的方法，在对RGB信号分离成亮度信号和颜色信号之后，实行畸变像差补正，对亮度信号施加高频增强滤波器的方法等。

专利文献1：特开2006-345054号公报

以往，在对RGB信号实行像差补正后，对各RGB施加高频增强滤波器的方法中，将RGB各个信号的高频增强滤波器与像差补正电路组合，因此，导致增大电路规模，并且，由于增加了色噪声导致降低图像质量。

另一方面，在将RGB信号分离成亮度信号与颜色信号，并对亮度信号施加高频增强滤波器的方法中，虽然能够避免增加色噪声，但是，在将亮度信号与颜色信号分离后，实行用于补正像差的坐标变换，并对亮度信号施加高频增强滤波器的情况下，由于不是实行RGB信号的坐标变换，而是实行亮度信号和颜色信号的坐标变换，因此，不能通过实行RGB独立的像差补正实行倍率色差补正。

发明内容

本发明的目的在于，提供一种能够提供不增加电路规模，不降低图像质量，能够对使用倍率色差大的广角光学系统拍摄的图像实行倍率色差补正与MTF补正的图像处理方法以及图像处理设备。

本发明的目的在于，通过安装上述图像处理设备，提供一种图像质量高且成本低的图像摄像设备。

本发明中，对于使用倍率色差大的广角光学系统拍摄的图像，按照倍率色差补正处理、亮度信号与颜色信号的分离处理、以及对所述亮度信号实行高频增强处理的顺序实行处理。由此，可以实行各色独立的倍率色差补正，且，仅对亮度信号施加高频增强滤波器能够实行MTF补正。不增加电路规模，不降低图像质量，能够实行倍率色差补正与MTF补正。而且，与亮度信号的高频增强处理并行地实行颜色信号的平滑化处理，从而，能够降低颜色信号的噪声。

将分离的亮度信号与颜色信号合成。但是，在优选后阶段输出亮度信号与颜色信号的情况下，不需要进行合成，将亮度信号与颜色信号原样输出即可。

在倍率色差补正处理中，可以不对指定的颜色分量实行坐标变换，仅对此外的彩色分量实行坐标变换，以补正倍率色差。该情况下，以指定的颜色分量的坐标为基准求得补正量，并根据该补正量计算出指定的颜色分量的变换坐标。这样，就能够进一步缩小电路规模。

另外，还能够解决光学系统的畸变像差，因此，在实行了MTF补正处理后，除了实行倍率色差补正处理，还实行畸变像差补正处理。另外，也可以在实行倍率色差补正处理的同时实行畸变像差补正处理。

下面说明本发明的效果。

根据本发明，能够提供不增加电路规模，不降低图像质量，能够实行倍率色差补正与MTF补正的图像处理方法以及图像处理设备。而且，还提供图像质量高且成本低的图像摄像设备。

附图说明

图1是本发明图像处理设备的第一实施例的功能方框图；

图2是表示FIR滤波器的一个例子；

图3是本发明图像处理设备的第二实施例的功能方框图；

图4是本发明图像处理设备的第三实施例的功能方框图；

图5是本发明图像处理设备的第四实施例的功能方框图；

图6是本发明图像处理设备的第五实施例的功能方框图；

图7是倍率色差与畸变像差的说明图；

图8是同时补正倍率色差与畸变像差的说明图；

图9是独立地补正倍率色差与畸变像差的说明图；

图10是表示倍率色差补正装置的构成例；

图11是表示倍率色差补正坐标变换运算部的各实施例的构成图；

图12是表示畸变像差补正装置的构成例；

图13是使用了本发明图像摄像设备的一个实施例的整体方框图。

具体实施方式

下面，参照附图对本发明的实施例进行说明。以下的颜色分量设为加法三原色的红色(R)、绿色(G)、蓝色(B)，但也可以设为减法三原色的黄色(Y)、品红色(M)、青色(C)。

图1表示本发明涉及的图像处理设备的基本构成。这里，图像处理设备设有倍率色差补正装置100与MTF补正装置200。所述MTF装置200包括颜色信号和亮度信号分离装置210、高频增强滤波器(FIR滤波器)220以及颜色信号和亮度信号合成装置240。

倍率色差补正装置100输入由倍率色差大的广角光学系统拍摄，并由CCD和CMOS传感器等图像元件读取的包含倍率色差的RGB图像数据，根据预定的多项式子等施加RGB独立的坐标变换，并输出经过倍率色差补正的RGB图像数据。关于该倍率色差补正装置100，将在后详细记述，倍率色差的坐标变换可使用容量小等待时间短的存储器，或容量小且具有若干端口的存储器(SRAM等)。

MTF补正装置200输入经过倍率色差补正的RGB图像数据，通过颜色信号和亮度信号分离装置210将该RGB图像数据分离成亮度信号和颜色信号，之后，使用FIR滤波器220对亮度信号实施高频增强(MTF补正)处理，并且，通过颜色信号和亮度信号合成装置240对经过高频增强的亮度信号与颜色信号进行合成，并输出RGB图像数据。

这里，彩色和亮度信号分离装置210根据以下式子将RGB图像数据分离成亮度信号Y和颜色信号Cr、Cb。

Y＝0.299R+0.587G+0.114B    (1)

Cr＝0.500R-0.419G-0.081B    (2)

Cb＝-0.169R-0.332G+0.500B    (3)

FIR滤波器220由例如5×5滤波器构成，其从亮度信号Y、颜色信号Cr、Cb中仅输入亮度信号Y，实行预定的MTF补正。通过仅对Y信号实行高频增强过滤(MTF补正)，抑制了色噪声的放大，能够得到高像质的图像。图2表示FIR滤波器的一个系数例。

颜色信号和亮度信号合成装置240输入颜色信号Cb、Cr以及经过高频增强的亮度信号Y，并根据以下式子进行合成，并输出RGB图像数据。

R＝Y+1.402Cr    (4)

G＝Y-0.714Cr-0.344Cb    (5)

B＝Y+1.772Cb    (6)

通过形成图1所示的构成，能够顺利地对RGB图像数据实行独立的倍率色差补正，MTF补正可仅对亮度信号施加高频增强滤波器，能够抑制电路规模增大，并抑制色噪声的增加。

本发明涉及的图像处理设备并不仅限于图1所示的构成，也可对其实行各种变更和改进。图3-6表示了几种构成例。

图3所示的MTF补正装置200仅包括颜色信号和亮度信号分离装置210与FIR滤波器220，省略了图1中的颜色信号和亮度信号合成装置240。在优选后阶段输出的不是RGB信号，而是亮度信号与颜色信号的情况下，可以采用图3所示的构成。而且，还可将倍率色差补正装置100换成倍率色差与畸变像差补正装置，用于对RGB图像数据实行RGB独立的坐标变换，并同时补正倍率色差与畸变像差。可以仅变换补正式子(坐标变换式子)的参数。

图4表示在图3的MTF补正装置中增加用于降低色噪声的FIR滤波器230，通过对颜色信号施加平滑化滤波器，从而，除了对亮度信号实行MTF补正之外，还能降低彩色信息的噪声。在图4中，倍率色差补正装置100也可设为倍率色差补正和畸变像差补正装置。颜色信号的FIR滤波器230不只是降低噪声的滤波器，还可以使用例如通过单纯的增益(Gain)调整提高色度的滤波器。另外，当拍摄阴暗的被摄体，或在阴暗的环境中进行拍摄时，为了提高摄像元件的灵敏度，可以提高摄像元件的读出信号的增益，但此时会增加噪声，因此，仅在增益高的情况下，即仅在被摄体的明度变暗时，转换使用降低彩色信息噪声用颜色信号的FIR滤波器230，或根据增益(根据被摄体的明度)变更FIR滤波器230的系数，并且变更平滑化强度。被摄体的明度可以通过另外设置明度传感器直接读取。还可以准备例如各系数不同的FIR滤波器，根据增益(明度)对各FIR滤波器进行切换，以取代变更FIR滤波器230的系数。

图5表示在图1构成中的MTF补正装置200之后，另外设置了畸变像差补正装置300。该畸变像差补正装置300输入经过倍率色差补正以及MTF补正的RGB图像数据，并根据预定的多项式子等实施RGB共用的坐标变换，并且，将经过畸变像差补正的RGB图像数据输出。关于该畸变像差补正装置300的详细说明在后。

RGB每个颜色中的倍率色差不同，但畸变像差相同。但是，畸变像差比倍率色差大得多。通过形成图5的构成，实行用于补正倍率色差的坐标变换时，可使用容量小且等待时间短，或容量小且具有多个端口的SRAM等存储器，在实行用于补正畸变色差的坐标变换时，可使用各色共用的单端口大容量且等待时间长的DRAM等存储器，从而，能够降低设备整体的成本。

在畸变像差补正后实行MTF补正时，由于实行用于补正畸变像差的坐标变换时所产生的增补误差通过该MTF补正被放大，对图像质量产生不良影响。可以通过使用在坐标变换时对像素进行插补的插补器降低插补误差。由于倍率色差比畸变像差小，在实行用于补正倍率色差的坐标变换时，该插补误差对图像质量的影响小。因此，若如图5的构成，按照倍率色差补正，MTF补正，畸变像差补正的顺序进行处理，随着畸变像差补正所产生的插补误差不会由于MTF补正被放大，且能够按倍率色差补正，MTF补正的顺序进行处理，因此，图像质量非常良好。

图6表示在图3构成中的MTF补正装置200之后，另外设置畸变像差补正装置300。该畸变像差补正装置300通过分别对亮度信号与颜色信号实行坐标变换，实现畸变像差补正处理。

在优选后阶段输出的不是RGB信号而是亮度信号与颜色信号的情况下，可以采用图6的构成。另外，也可在图4的构成中设置与图6相同的畸变像差补正装置300。

下面，对于倍率色差补正装置100与畸变像差补正装置300进行详细地说明。首先，说明倍率色差补正与畸变像差补正的原理。

如图7的模式所示，在使用具有倍率色差与畸变像差的光学系统进行了拍摄的情况下，图右上符号1所示位置(像素)的像素数据由于畸变像差从其原来的位置发生偏移，进而，由于倍率色差，在RGB各颜色分量分别产生不同的偏移，并且，通过摄像元件实际拍摄的位置分别成为2(R)、3(G)、4(B)的位置。倍率色差补正与畸变像差补正是将该2(R)、3(G)、4(B)位置(像素)的RGB各颜色分量的像素数据复制到原来的位置1(像素)，即通过坐标变换能够实现倍率色差补正与畸变像差补正。这里，2、3、4的位置成为坐标变换原点坐标，1的位置成为坐标变换目的坐标。

根据光学系统的设计数据可知畸变像差的大小与倍率色差的大小，因此，能够计算出RGB各颜色分量相对于原来的位置偏移到哪个位置。

图8是表示同时补正倍率色差与畸变像差方法。即，将2(R)、3(G)、4(B)位置(像素)的RGB各颜色分量的像素数据分别复制到原来的位置1，也就是说，通过变换坐标，能够同时补正倍率色差与畸变像差。但是，在该方法中，RGB每个颜色分量分别需要容量大且等待时间短的存储器或多端口的存储器。例如，在图8所示的情况下，RGB每个颜色分量分别需要高速的6行(line)的存储器，用于变换坐标。

图9是表示独立地补正倍率色差与畸变像差的方法。虽然各颜色分量中的倍率色差不同，但是其偏移小，而畸变像差的偏移虽大，但是各颜色分量中的畸变像差相同。本发明着眼于该特征，实行以下的补正方法。首先，分别对RGB各颜色分量的图像数据实行坐标变换(在后述的实施例中，分别对RB各颜色分量实行坐标变换，然后将其复制到G分量的位置)，以补正倍率色差。之后，通过对该经过了倍率色差补正的RGB图像数据一起实行坐标变换，以补正畸变像差。因此，可以将变换坐标用存储器分为倍率色差补正所需的存储器与畸变像差校正所需的存储器，所述倍率色差校正所需的存储器是与RGB对应，容量小且高速(等待时间短或多端口)的存储器，畸变像差校正所需的存储器是RGB共用的大容量且低速(等待时间长或单端口)的存储器，从整体来说能够降低成本。

图9A表示补正倍率色差的模式，对2R、4B位置(像素)的RB颜色分量的图像数据实行坐标变换，然后将其复制到G颜色分量的3G位置(像素)，通过该操作，使倍率色差得到补正。图9B表示了补正畸变像差的模式，对完成倍率色差补正的3(G)位置(像素)的RGB各颜色成分的图像数据一起实行坐标变换，并将其复制到原来的位置1，通过该操作使畸变像差得到补正。

在图9所示的实施例中，倍率色差补正用高速存储器使用分别与RGB各颜色分量对应的3行存储器就足够。畸变像差补正用存储器则需要使用5行存储器，但也可以使用RGB共用的低速存储器，因此，与图8相比，从整体来说，能够实现低成本化。

这里的畸变像差是指镜头对于希望的投影方式的变形。希望的投影方式可以是例如获得从上方向下看的图像的投影方式，也包含将某一部分放大显示的投影方式。

图10表示倍率色差补正部100的一个实施例的构成图。符号110是倍率色差补正用坐标变换存储器(行缓冲器)，其中，坐标变换存储器110(R)对应R颜色分量、坐标变换存储器110(G)对应G颜色分量、坐标变换存储器110(B)对应B颜色分量；符号120是倍率色差补正坐标变换运算部，其按照预定的坐标变换式子，计算对RGB各颜色分量实行倍率色差补正的变换坐标；符号130是坐标变换系数表，用于保存坐标变换式子中使用的系数。

作为倍率色差补正处理中的行缓冲器，需要容量虽小，但与RGB各颜色分量对应的三端口的存储器或等待时间短的存储器。这里，将倍率色差的最大偏移量设为沿Y方向20行，坐标转换存储器110(R)、110(G)、110(B)分别由能够存储20行的静态随机存取存储器(以下简称为“SRAM”)构成。X方向的尺寸由分辨率决定，例如，若分辨率设为VGA(640×480)，则X方向的尺寸是640点。颜色深度设为RGB8位，坐标变换存储器110(R)、110(G)、110(B)的写入或读出都是以8位单位进行。

这样，倍率色差补正用坐标变换存储器(行缓冲器)110(R)、110(G)、110(B)的容量小，因此，优选使用内置于图像处理芯片中的三端口的SRAM，并分别确保20行存储区域。在使用如SRAM的等待时间短的存储器的情况下，也可以通过对单端口的存储器实行分时处理，以作为三端口的存储器使用。

受到倍率色差影响的RGB各图像数据按各坐标值(x，y)从最前方的行列依次地被写入坐标变换存储器110(R)、110(G)、110(B)。若20行图像数据中每一行图像数据被写入，则依次地将最前方行列的图像数据去掉，由下一行的图像数据取代被重新写入。这样，坐标变换存储器110(R)、110(G)、110(B)中依次地存储各倍率色差补正坐标变换处理所需的最大20行的RGB图像数据。

这里，坐标值(x，y)是表示1帧摄像图像的读出位置。另一方面，坐标变换存储器110(R)、110(G)、110(B)是能够存储20行的行缓冲器，由于写入行周期性(cyclic)地发生变化，因此，不能将坐标值(x，y)原样地用作坐标变换存储器110(R)、110(G)、110(B)的写入地址，需要将坐标值(x，y)值变换为坐标变换存储器110(R)、110(G)、110(B)的实际地址，图10中省略了对该变换构成的说明。在后述的读出动作中，变换后的坐标值(X，Y)与从坐标变换存储器110(R)、110(G)、110(B)读出的地址的关系与上述的相同。

倍率色差补正坐标变换计算部120输入坐标变换目的坐标的坐标值(x，y)，并根据预定的多项坐标变换式计算RGB各倍率色差补正用变换坐标，并且，输出RGB各坐标变换原点坐标的坐标值(X，Y)。如图9A所示，在本实施例中，对RB的颜色分量实行坐标变换，并将其复制到G颜色分量的位置。因此，倍率色差补正坐标变换计算部120将输入的G颜色分量的坐标值(x，y)原样地作为坐标值(X，Y)输出，并且，使用预定的坐标变换式将输入的RB各颜色分量的坐标值(x，y)变换成坐标值(X，Y)，并且，将该坐标值(X，Y)输出。对于每个坐标值(x，y)重复实行上述操作。

这里，在将画面中央作为原点的情况下，可以用例如以下的坐标变换式表示。

X＝x+[a(1)+a(2)×abs(x)+a(3)×abs(y)+a(4)×y²]×x

Y＝y+[b(1)+b(2)×abs(y)+b(3)×abs(x)+b(4)×x²]×y    (7)

其中，abs()是绝对值，a(1)-a(4)，b(1)-b(4)是坐标变换系数。坐标变换系数被预先保存在坐标变换系数表146中。

坐标变换存储器110(R)、110(G)、110(B)在实行上述写入动作的同时(实际上比预定的时间晚)，根据从倍率色差补正坐标运算部120输出的坐标数据(X，Y)(实际上是将坐标值(X，Y)变换为地址的值)，分别依次地读出RGB图像数据。在该情况下，从坐标变换存储器110(G)中读出与写入时位置相同的G颜色分量的图像数据。另一方面，从坐标变换存储器110(R)、110(B)中分别读出从写入时位置偏移了预定位置，即处于偏移了倍率色差量位置的RB颜色分量的图像数据。

通过上述处理，从坐标变换存储器110(R)、110(G)、110(B)输出经过倍率色差补正的RGB图像数据。即，坐标变换原点坐标值(X，Y)的RGB图像数据作为坐标变换目的坐标值(x，y)的RGB图像数据被输出。

图11表示倍率色差补正坐标变换运算部120的第二、三实施例。在图11A，不对G颜色分量实行坐标变换，将输入的坐标值(x，y)原样地作为G用坐标值(X，Y)输出，并且，通过坐标变换运算部121、122对输入的坐标值(x，y)实行变换，并将R用坐标值(X，Y)、B用坐标值(X，Y)输出。坐标变换运算部可以仅包含R、B颜色分量，因此，能够减少电路规模。

图11B、11C所示实施例着眼于倍率色差通常以G为中心，R、B颜色分量大致对称地偏移(图4)这一点。这里，在图11B中，通过坐标变换运算部123计算坐标值(x，y)的补正量，减法部124将从坐标值(x，y)中仅减去了补正量的值作为B用坐标值(X，Y)，另一方面，加法部125将校正量加入坐标值(x，y)中，并将该值作为R用坐标数据(X，Y)。与图11A中所示相同，将坐标(x，y)作为G用坐标值(X，Y)原样地输出。

图11C所示的实施例考虑到对称位置的偏移，进一步由增益电路126调整R用补正量。另外，也可以将增益电路设置在B侧。按照图11B、11C的实施例，只需一个坐标变换运算部即可，能够更进一步减小电路规模。

另外，可以用对应地存储了R颜色分量的输入坐标值(x，y)与输出坐标值(X，Y)的查阅表(Look Up Table、以下简称为“LUT”)取代图11A的坐标变换运算部121，并且，用对应地存储了B颜色分量的输入坐标值(x，y)与输出坐标值(X，Y)的查阅表取代图11A的坐标变换运算部122，并且，使用该查阅表直接取得与坐标变换目的坐标值(x，y)对应的坐标变换原点坐标值(X，Y)。同样，也可以用对应地存储了输入坐标值(x，y)与补正量的LUT取代图11B、11C中的坐标变换运算部123，并且，使用该LUT直接取得与坐标值(x，y)对应的补正量。由此，可以省去用于坐标变换的计算，基本上仅通过存储芯片就能够实现倍率色差补正。

图12表示畸变像差补正部300(图5)的一个实施例的构成图。其中，符号310是将RGB三个图像数据合成为一个图像数据的RGB合成部；符号320是RGB图像数据共用的畸变像差补正用坐标变换存储器；符号330是将合成的RGB图像数据分离成原来的各颜色分量的RGB分离部；符号340是畸变像差补正坐标变换运算部、其根据预定的坐标变换式子计算对RGB图像数据实行用于畸变像差补正的坐标变换；符号350是保存坐标变换式子用系数的坐标变换系数表。

畸变像差的像素偏移量大，在实行畸变像差补正处理中，需要能够存储最大一整个画面的图像数据的帧缓冲器。另一方面，由于RGB各颜色分量的偏移量相同，因此，可以使用一个具有RGB图像数据的位宽之和的帧缓冲器。这里，分辨率设为VGA(640×480)，RGB图像数据的位数(色深度)分别设为8位，坐标变换存储器320由写入和读出是24位单位的640×480点的DRAM构成。

这样，畸变像差补正用坐标变换存储器320需要非常大的容量，考虑到成本问题，不适合使用内置于图像处理芯片中的SRAM，且对于RGB使用单端口的存储器就足够，因此，优选设置在图像处理芯片外部的DARM。

RGB合成部310依次地输入倍率色差补正完毕的各RGB图像数据(各8位)，并且，将它们合成为一个图像数据(24位)并输出。该被合成的RGB图像数据按照各坐标变换目的坐标值(x，y)从最前行依次地被写入坐标变换存储器320中。

另一方面，畸变像差补正坐标变换运算部340输入坐标变换目的坐标值(x，y)，并根据多项式子等的坐标变换式计算RGB共用的畸变像差补正用变换坐标，并且，将坐标变换原点坐标值(X，Y)输出。与倍率色差补正相同，可以用式子(13)表示坐标变换式，当然，所使用的坐标变换系数不同。该坐标变换系数预先保存在坐标转换系数表350中。

坐标转换存储器320在写入RGB合成图像数据(24位)的同时(正确地说，比预定时间晚)，基于从畸变像差补正坐标变换部340输出的坐标值(X，Y)，依次地读出RGB合成图像数据。RGB分离部330将从坐标变换存储器320读出的RGB合成图像数据(24位)分离成原来的RGB各颜色分量的图像数据(8位)。

通过上述处理，从RGB分离部330输出被补正了畸变像差的RGB各图像数据。即，RGB各个图像数据被复制到原来位置的坐标值(x，y)。

在实行畸变像差补正处理中，也可以准备对应地存储了输入坐标值(x，y)与输出坐标值(X，Y)的查阅表(LUT)，并且，使用该LUT直接获得与坐标变换目的坐标值(x，y)相对应的坐标变换原点坐标值(X，Y)。由此，可以省去用于坐标变换的计算，基本上能够实现仅通过存储芯片实行畸变像差补正。

图12的构成与图5的构成相对应，而在图6所示构成的情况下，不需要RGB合成部310和RGB分离部330，取而代之的是在坐标变换存储器320中分别存储亮度信号与颜色信号。

图13是表示本发明所使用的图像摄像设备的一个实施例的功能方框图。图像摄像设备还包括操作部、图像存储部、以及图像显示部(屏幕)，这里省略表示。本图像摄像设备可以用作例如搭载在汽车上的照相机，也可以是其它用途。

在图13中，控制部1000向设备的各部分提供所需的控制信号(时钟、水平/垂直同步信号、以及其它信号)、对各部分的动作实行流水线控制。

摄像元件1100由例如CCD或CMOS传感器等构成，用于将使用倍率色差与畸变像差大的广角光学系统(没有图示)拍摄的光学图像转换成电信号(图像数据)。该摄像元件1100设有拜耳(Bayer)排列的滤色器，基于控制部1000供给的坐标值(x，y)依次地输出拜尔排列的RGB图像数据。该控制部1000将供给到摄像元件1100的坐标值(x，y)依次地，错开预定时间地向后供给。也可输入时钟、水平/垂直同步信号在摄像元件1100内部生成坐标值(x，y)，并由摄像元件1100依次地向后供给。

A/D转换器1200将从摄像元件1100输出的作为模拟信号的拜耳排列的RGB图像数据转换为数字信号，并将该数字信号输出到拜耳增补部130。在本实施例中，数字信号由RGB各8位构成。通常，A/D转换器1200的前阶段设置AGC电路，这里省略表示。可以根据该AGC电路的增益量判断被摄体的明度。

拜耳增补部1300输入转换成数字信号的拜耳排列的RGB图像数据，通过对RGB独立地实施线形插补，生成所有坐标位置的图像数据，并且，将这些图像数据输出到倍率色差补正部1400。

在本实施例中，对具有拜耳排列的滤色器的摄像元件进行了说明，当然，具有CMYG排列和RGB+Ir(红外线)排列等其他的滤色器排列的摄像元件也有效果。特别是这样具有四种颜色的滤色器排列的摄像元件，与例如RGB三种颜色的滤色器排列相比，补正倍率色差需要等待时间更短的存储器或四端口RAM。

倍率色差补正部1400中输入经过了拜耳插补的RGB图像数据，该倍率色补正部1400根据预定的多项式子分别对RGB各颜色分量实行独立的坐标变换(倍率色差坐标变换)，并且，将经过了倍率色差补正的RGB图像数据输出。可以使用容量小、等待时间短的存储器，或使用容量小、具有若干端口的存储器(例如SRAM等)实行倍率色差补正的坐标变换。

MTF补正部1500输入经过了倍率色差补正的RGB图像数据，并使用FIR滤波器对亮度信号实施MTF补正处理，并且，将经过MTF补正的RGB图像数据输出。如上所述，通过仅对亮度信号实行高频增强过滤(MTF补正)，能够抑制色噪声放大，得到高质量的图像。另外，MTF补正部1500也可对亮度信号实行高频增强过滤的同时，对颜色信号实行平滑化过滤。

畸变像差补正部1600输入经过了倍率色差补正与MTF补正的RGB图像数据，并根据预定的多项式子等对RGB各颜色分量一起实行坐标变换(畸变像差坐标变换)，并且，将经过了畸变像差补正的RGB图像数据输出。在通过该畸变像差补正部1600实行坐标变换时，可以使用存储容量比倍率色差补正用存储器的存储容量大(最大一整个画面)，但可以是单端口的存储器，因此，可以使用等待时间长的存储器(例如DRAM等)。

伽马补正部1700输入从畸变像差补正部1600输出的RGB图像数据，该伽马校正部1700使用RGB的各个查阅表等实施预定的伽马补正处理，并且，将经过了伽马补正的RGB图像数据输出。从伽马补正部1700输出的图像数据被屏幕显示在显示部(没有图示)。

根据图13的构成，对于具有倍率色差与畸变像差的光学系统，能够提供图像质量高，且电路规模小，成本低的摄像系统。倍率色差补正部1400也可作为同时补正倍率色差与畸变像差的倍率色差和畸变像差补正部。在该情况下，不需要畸变像差补正部1600。另外，伽马补正部1700也可设置在拜耳增补部1300之后。

通过计算机的程序构成图1、图3-6等所示的图像处理设备的处理功能，并且，使用计算机执行该程序实现本发明的图像处理方法，或通过计算机的程序构成上述图像设备的处理步骤，并且，通过在计算机执行该程序当然能够实现本发明的图像处理方法。可以将用于通过计算机实现其处理功能的程序，或将用于在计算机执行其处理步骤的程序记录在计算机能够读取的记录介质，例如FD、MO、ROM、存储卡、CD、DVD、以及可换磁盘(Removable Disk)中，用于保存或提供，同时，可通过因特网等网络对该程序进行发布等。

本专利申请的基础和优先权要求是2008年3月4日在日本专利局申请的日本专利申请JP2008-053718，其全部内容在此引作结合。

从以上所述还可以有许多的改良和变化。亦即，在权利要求的范围内，该专利说明书的公开内容不局限于上述的说明。

Claims (21)

1.一种图像处理方法，对使用至少倍率色差大的广角光学系统拍摄图像实行处理，其特征在于：

按照倍率色差补正处理、亮度信号与颜色信号的分离处理、以及所述亮度信号的高频增强处理的顺序对所述图像实行处理。

2.根据权利要求1中记载的图像处理方法，其特征在于：

进一步实行所述的经过高频增强的亮度信号与颜色信号的合成处理。

3.根据权利要求1或2中记载的图像处理方法，其特征在于：

与所述亮度信号的高频增强处理并行地实行所述颜色信号的平滑化处理。

4.根据权利要求3中记载的图像处理方法，其特征在于：

所述颜色信号的平滑化处理是根据被摄体的明度变更平滑化强度。

5.根据权利要求3中记载的图像处理方法，其特征在于：

所述颜色信号的平滑化处理仅在被摄体的明度变暗的情况下实行。

6.根据权利要求1-5的任意一项中记载的图像处理方法，其特征在于：

所述倍率色差补正处理中，对于指定的颜色分量不实行坐标变换，而仅对此外的颜色分量实行坐标变换，从而补正倍率色差。

7.根据权利要求6中记载的图像处理方法，其特征在于：

以指定的颜色分量的坐标为基准求得补正量，根据所述补正量计算出指定的颜色分量以外的颜色分量的变换坐标。

8.根据权利要求1-7的任意一项中记载的图像处理方法，其特征在于：

除了所述倍率色差补正处理，另外还实行畸变像差补正处理。

9.根据权利要求8中记载的图像处理方法，其特征在于：

所述畸变像差补正处理是在所述的高频增强处理的后段实行。

10.根据权利要求1-7的任意一项中记载的图像处理方法，其特征在于：

在对图像实行所述倍率色差补正处理的同时实行畸变像差补正处理。

11.一种图像处理设备，其对使用至少倍率色差大的广角光学系统拍摄的图像实行处理，其特征在于包括：

倍率色差补正装置，其对各颜色分量分别实行坐标变换，补正所述图像的倍率色差；

MTF补正装置，其由分离装置与滤波器构成，所述分离装置将所述的经过倍率色差补正的图像分离成亮度信号与颜色信号，所述滤波器用于增强所述亮度信号的高频。

12.根据权利要求11中记载的图像处理设备，其特征在于：

所述MTF补正装置进一步设有将所述的经过高频增强的亮度信号与所述颜色信号合成的装置。

13.根据权利要求11或12中记载的图像处理设备，其特征在于：

所述MTF补正装置进一步设有使所述颜色信号平滑化的滤波器。

14.根据权利要求13中记载的图像处理设备，其特征在于：

根据被摄体的明度变更对所述颜色信号进行平滑化之滤波器的平滑化强度。

15.根据权利要求13中记载的图像处理设备，其特征在于：

在被摄体的明度降低的情况下，设定对所述颜色信号进行平滑化的滤波器为有效。

16.根据权利要求11-15的任意一项中记载的图像处理设备，其特征在于：

所述倍率色差补正装置对于指定的颜色分量不实行坐标变化，仅对此外的颜色分量实行坐标变换。

17.根据权利要求16中记载的图像处理设备，其特征在于：

所述倍率色差补正装置以指定的颜色分量的坐标为基准求得补正量，并根据所述补正量计算出指定的颜色分量以外的颜色分量的变换坐标。

18.根据权利要求11-17的任意一项中记载的图像处理设备，其特征在于：

除了所述倍率色差补正装置，另外还设有补正图像的畸变像差的畸变像差补正装置。

19.根据权利要求11-17的任意一项中记载的图像处理设备，其特征在于：

在所述MTF补正装置的后段里设有所述畸变像差补正装置。

20.根据权利要求11-17的任意一项中记载的图像处理设备，其特征在于：

所述倍率色差补正装置在对所述图像实行所述倍率色差补正的同时，实行畸变像差补正。

21.一种图像摄像设备，其特征在于包括：

光学系统，广角且至少倍率色差大；

摄像元件，其读取通过所述光学系统所拍摄的图像；

所述权利要求11-20的任意一项中记载的图像处理设备。

Images