CN101540919A - 成像装置 - Google Patents

Abstract

本发明公开了一种成像装置，包括：广角光学系统，至少存在倍率色像差；成像器件，包括彩色滤波器，并且用于经由彩色滤波器从光学系统接收光学图像，并且将光学图像转换为图像数据；以及倍率色像差校正单元，用于对图像数据执行坐标变换，从而校正图像数据的倍率色像差。该倍率色像差校正单元在校正倍率色像差之前，将图像数据转换为不同波长的图像数据，该不同波长的图像数据具有不同于彩色滤波器的原始波段的波段。

Description

成像装置

技术领域

本发明涉及一种成像装置。

背景技术

越来越多地需要在诸如车辆的后视监视器(rearview monitor)的应用中的广角成像装置。随着角度变得更宽，光学系统的倍率色像差和失真也会随之增大，并且越来越难设计出一种具有小像差的光学系统。因此，为了提高广角成像装置的图像质量，需要执行图像处理。例如，专利文件1公开了用来校正成像装置中的图像的像差的方法，其中该成像装置使用了具有倍率色像差和失真的光学系统。在专利文件1公开的方法中，对R(红色)、G(绿色)、B(蓝色)信号(RGB颜色分量)中的每一个单独地执行坐标变换(transformation)，以便同时校正倍率色像差和失真，其中R(红色)、G(绿色)、B(蓝色)信号都是利用诸如电荷耦合器件(CCD)或CMOS传感器等成像器件所获取的。在专利文件1公开的另一种方法中，忽略了倍率色像差，并且对RBG颜色分量共同地执行坐标变换来只校正失真。

专利文件1：日本公开专利申请No.2006-345054

通常，成像器件包括诸如拜耳(Bayer)彩色滤波器阵列的彩色滤波器。在具有大的倍率色像差的图像的周边，由于彩色滤波器具有宽的光谱特性，即使执行坐标变换以校正倍率色像差，各颜色分量的光点扩散函数(opticalpoint spread function)仍然会趋于增大，并且分辨率(调制传递函数：MTF)仍然会趋于减小。例如，通过具有图17所示的光谱特性的彩色滤波器的成像器件，经由具有倍率色像差的光学系统捕捉到目标图像时，由于倍率色像差，在图像周边处RGB的各颜色分量的PSF如图18所示地(每个单元表示一个像素)增大，结果，MTF随之减小。出于上述原因，如图19所示，在黑点的原始位置的周边会看到模糊，并且即使对各颜色分量执行坐标变换而校正了倍率色像差之后，分辨率(MTF)仍然会很低。

发明内容

本发明的方面提供了一种成像装置，可以解决或是减少现有技术中的限制和不利方面所导致的一个或多个问题。

根据本发明的方面，一种成像装置，包括：广角光学系统，至少存在倍率色像差；成像器件，包括彩色滤波器，用于通过所述彩色滤波器从所述光学系统接收光学图像，并且将所述光学图像转换为图像数据；以及倍率色像差校正单元，用于转换所述图像数据的坐标，并且从而校正所述图像数据的倍率色像差。该倍率色像差校正单元在校正倍率色像差之前，将图像数据转换为不同波长的图像数据，该不同波长的图像数据具有不同于彩色滤波器的原始波段的波段。

附图说明

图1是说明根据本发明的第一实施例的倍率色像差校正单元的图表；

图2是说明根据第一实施例的示例性波长转换(conversion)的图表；

图3是示出波长转换与倍率色像差之间关系的图表；

图4是说明在校正倍率色像差之后的图像的图表；

图5是说明根据本发明的第二实施例的倍率色像差校正单元的图表；

图6是说明根据第二实施例的示例性波长转换的图表；

图7是说明根据本发明的第三实施例的倍率色像差校正单元的图表；

图8是说明根据本发明的第四实施例的倍率色像差校正单元的图表；

图9是说明根据第四实施例的示例性波长转换的图表；

图10是说明图1所示的坐标变换单元的示例性配置的图表；

图11A至图11C是说明图10所示的目标坐标计算单元的示例性配置的图表图表；

图12是说明根据本发明实施例的成像装置的方框图；

图13是说明拜耳彩色滤波器阵列的图表；

图14是说明图12所示的MTF校正单元的示例性配置的图表；

图15是说明示例性FIR滤波器的图表；

图16是说明图12所示的失真校正单元的示例性配置的图表；

图17是示出彩色滤波器的示例性光谱特性的曲线图；

图18是示出彩色滤波器与倍率色像差之间关系的图表；以及

图19是示出根据现有技术在校正倍率色像差之后的图像的图表。

具体实施方式

下面将会参考附图来描述本发明的优选实施例。

首先，描述根据本发明实施例的成像装置中的倍率色像差校正单元。

图1是说明根据本发明的第一实施例的倍率色像差校正单元100的图表。倍率色像差校正单元100包括：波长转换单元110，用来将成像器件获得的RGB图像数据转换为具有不同于该成像器件的彩色滤波器的波段(例如，比彩色滤波器的波段更窄的波段)的R’G’B’数据；坐标变换单元120，用来对R’G’B’数据分量中的每一个单独地执行坐标变换以校正倍率色像差；以及波长逆转换单元130，用来将倍率色像差校正后的R’G’B’数据转换为具有成像器件中的彩色滤波器的原始波段的RGB或YUV图像数据。下面将会详细地说明坐标变换单元120。

如下的公式(1)表示通过波长转换单元110和波长逆转换单元130执行的计算：

$\left\{\begin{array}{c}X=e\left(1\right)*A+e\left(2\right)*B+e\left(3\right)*C\\ Y=e\left(4\right)*A+e\left(5\right)*B+e\left(6\right)*C\\ Z=e\left(7\right)*A+e\left(8\right)*B+e\left(9\right)*C\end{array}\right.---\left(1\right)$

在公式(1)中，A、B、C表示输入；X、Y、Z表示输出；并且e(1)至e(9)表示系数。对于波长转换单元110，A、B、C对应于R、G、B；并且X、Y、Z对应于R’G’B’。对于波长逆转换单元130，A、B、C对应于R’G’B’；并且X、Y、Z对应于R、G、B或Y、U、V。除系数e(1)至e(9)的值不同之外，波长转换单元110和波长逆转换单元130执行相似的计算。因此，波长转换单元110和波长逆转换单元130都执行颜色空间转换。

波长转换单元110根据公式(1)执行计算以等同地改变成像器件中的彩色滤波器的光谱特性，使得如图2所示各种颜色的透射(transmission)范围变得更小。结果，如图3所示，与图18所示的示例相比较，各种颜色的扩散(spread)变得更小。图4示出了在校正倍率色像差之后的图像。与图19所示的示例相比较，降低了图像的模糊并且提高了分辨率。

下面给出通过改写波长转换单元110的公式(1)和波长转换单元110的系数e(1)至e(9)的示例性取值而得到的公式(2)。

$\left\{\begin{array}{c}{R}^{,}=e\left(1\right)*R+e\left(2\right)*G+e\left(3\right)*B\\ G^{,}=e\left(4\right)*R+e\left(5\right)*G+e\left(6\right)*B\\ B^{,}=e\left(7\right)*R+e\left(8\right)*G+e\left(9\right)*B\end{array}\right.---\left(2\right)$

e(1)＝1；

e(2)＝-0.10；

e(3)＝0；

e(4)＝-0.30；

e(5)＝1；

e(6)＝-0.10；

e(7)＝0；

e(8)＝-0.20；

e(9)＝1；

在坐标变换单元120校正了倍率色像差之后，无需转换即可将R’G’B’数据输出到成像装置的后续处理部件。然而，在这种情况下，R’G’B’数据的光谱特性不同于人眼的光谱特性，并且很难重现图像的色调(hue)。因此，如图1所示，优选地由波长逆转换单元130将R’G’B’数据转换为具有彩色滤波器的原始光谱特性或是接近人眼特性的光谱特性的RGB或YUV数据。

下面给出通过改写波长逆转换单元130的公式(1)和波长逆转换单元130的系数e(1)至e(9)的示例性取值而得到的公式(3)。在校正了倍率色像差之后，使用公式(3)来将R’G’B’数据转换为具有彩色滤波器的原始光谱特性的RGB数据。通过对如上所述的波长转换单元110中的除e(1)、e(5)、e(9)之外的相对应系数的值的符号取反，来得到波长逆转换单元130的系数的值。

$\left\{\begin{array}{c}R=e\left(1\right)*R^{,}+e\left(2\right)*G^{,}+e\left(3\right)*B^{,}\\ G=e\left(4\right)*R^{,}+e\left(5\right)*G^{,}+e\left(6\right)*B^{,}\\ B=e\left(7\right)*R^{,}+e\left(8\right)*G^{,}+e\left(9\right)*B^{,}\end{array}\right.---\left(3\right)$

e(1)＝1；

e(2)＝0.10；

e(3)＝0；

e(4)＝0.30；

e(5)＝1；

e(6)＝0.10；

e(7)＝0；

e(8)＝0.20；

e(9)＝1；

与简单地校正RGB图像数据的倍率色像差的情况相比较，图1所示的配置可以提高图像的分辨率(提高图像的周边的对比度)。

同时，当从RGB传感器输出的RGB颜色分量中的一种达到饱和时，很难准确地执行颜色空间变换，因此对于倍率色像差的校正会不利地影响到图像质量。因此，优选地不对从传感器输出的饱和像素执行倍率色像差的校正(不转换其坐标)。此外，倍率色像差校正单元100还可被配置用来不将饱和像素转换为具有不同于成像器件中的彩色滤波器的波段的数据。

进而，为了降低处理负荷，可将波长转换单元110和波长逆转换单元130配置为不对出现了倍率色像差的屏幕的中心部分执行如上所述的颜色空间变换。换句话说，将倍率色像差校正单元100配置为仅将对应于图像的周边部分的部分图像数据转换为具有不同于彩色滤波器的波段的数据。

图5是说明根据本发明的第二实施例的倍率色像差校正单元200的图表。与图1相类似，倍率色像差校正单元200包括波长转换单元210、坐标变换单元220以及波长逆转换单元230。在该实施例中，假定使用补色(complementary color)滤波器作为成像器件。波长转换单元210对CMYG补色图像数据执行颜色空间变换并且输出R’G’B’图像数据。坐标变换单元220和波长逆转换单元230具有与图1所示的对应单元实质上相同的功能。

波长转换单元210执行与图1所示的波长转换单元110执行的计算相类似的计算，以等同地改变补色滤波器的光谱特性，从而如图6所示使得各种颜色的透射范围变得更小。

甚至当使用应用了补色滤波器的成像器件时，图5所示的配置仍可以有效地校正倍率色像差。

图7是说明根据本发明的第三实施例的倍率色像差校正单元300的图表。与第二实施例的不同之处在于，第三实施例的倍率色像差校正单元300还能够获得具有红外波段的IR’数据。换句话说，倍率色像差校正单元300将CMYG图像数据转换为包括具有红外波段的红外波长数据分量的波长数据分量。

当使用对于红外光线高度灵敏的CMOS传感器时，特别优选地是在分离红外波段的IR’数据之后校正倍率色像差。此外，得到的IR’数据可以与RGB图像数据分开地被输出，并且还可以用于例如夜视设备的红外传感。

图8是根据本发明的第四实施例的倍率色像差校正单元400的图表。在该实施例中，在将图像数据划分(或转换)为数目大于成像器件中彩色滤波器的颜色数目的波长数据分量之后，校正倍率色像差。在图8中，假定RGB彩色滤波器用作图1所示的成像器件，并且在校正倍率色像差之前将所得到的RGB图像数据划分为R’、G’、B’、X’、Y’波长数据分量。图9示出了RGB波长与R’G’B’X’Y’波长之间的关系。

尽管图8所示的配置会略微增大电路尺寸，但是其可以准确地校正倍率色像差。类似的，当使用补色(CMYG)滤波器作为成像器件时，可在校正倍率色像差之前将所得到的CMYG数据划分为波长数据分量，并且上述波长数据分量的数目大于补偿彩色滤波器的颜色的数目。

接下来，将会描述坐标变换单元的示例性配置。尽管将第一实施例中的坐标变换单元120作为下面描述的示例，但是如下的描述还可应用到其他实施例中的坐标变换单元。

在现有技术中，通常对RGB图像数据中的各个颜色分量分开执行坐标变换来校正倍率色像差。在本实施例中，坐标变换是针对通过对RGB图像数据执行颜色空间变换得到的R’G’B’数据执行的。例如，下面将会描述，通过对R’和B’分量执行坐标变换并且因而将R’和B’分量复制到G’分量的位置来校正倍率色像差。上述配置可以减小用来校正倍率色像差的电路的尺寸。

图10是说明坐标变换单元120的示例性配置的图表。如图10所示，坐标变换单元120包括：目标坐标计算单元121，用来计算目标坐标以便根据预定的坐标变换公式对R’G’B’分量中的每一个校正倍率色像差；以及包括坐标变换公式所使用的系数的坐标变换系数表122。坐标变换单元120还包括对应于R’G’B’分量的坐标变换存储器(行缓冲器)123(R)、123(G)和123(B)。

作为在校正倍率色像差的处理中使用的行缓冲器，优选地使用小容量三端口存储器或是小容量低等待时间存储器。在本示例中，假定在Y方向上最大倍率色像差是20行，并且通过具有20行容量的SRAM来实现各个坐标变换存储器123(R)、123(G)、123(B)。X方向上图像的大小由图像的分辨率确定。例如，当图像的分辨率是VGA(640×480)，则图像在X方向上的大小是640点。假定RGB颜色分量中的每一个的色彩深度都是8比特。以8比特为单位将数据写入各个坐标变换存储器123(R)、123(G)、123(B)，或是以8比特为单位从各个坐标变换存储器123(R)、123(G)、123(B)中读取数据。

因此，在本实施例中，通过使用图像处理芯片中设置的小容量三端口SRAM的来实现各个坐标变换存储器123(R)、123(G)、123(B)，并且具有20行数据的存储区。可选地，还可通过用于上述目的的时间共享来将单端口小容量存储器(例如SRAM)用作三端口存储器。

根据坐标(x，y)，从第一行开始将对RGB图像数据执行颜色空间变换而获得的R’G’B’波长数据分量顺序地写入相对应的坐标变换存储器123(R)、123(G)、123(B)中。当对各个存储器都写入了20行数据时，从第一行开始顺序地输出所写入的数据，并且将后续行的数据写入各自的存储器。因此，可将坐标变换所需的20行的R’G’B’波长数据分量重复地存储到相对应的坐标变换存储器123(R)、123(G)、123(B)中。

坐标(x，y)表示所获取的一帧图像的读出位置。同时，坐标变换存储器123(R)、123(G)、123(B)中的每一个都是具有20行容量的行缓冲器，并且周期地改变该行缓冲器的写入行。相应地，如果不改变坐标(x，y)，则其不能被用作坐标变换存储器123(R)、123(G)、123(B)的写入地址。因此，需要将坐标(x，y)转换成坐标变换存储器123(R)、123(G)、123(B)的实际地址。在图10中省略了用于上述处理的配置。类似的，还需要将坐标变换存储器123(R)、123(G)、123(B)的读取地址转换成稍后所述读取处理中的坐标(X，Y)。

目标坐标计算单元121接收原始坐标(x，y)，计算并且输出目标坐标(X，Y)以使用预定的坐标变换公式(例如，多项式)，对于R’G’B’分量中的每一个校正倍率色像差。在本实施例中，对R’和B’分量执行坐标变换以便将R’和B’分量复制到G’分量的位置。因此，目标坐标计算单元121无需改变即可输出G’分量的坐标(x，y)作为坐标(X，Y)。同时，目标坐标计算单元121转换R’和B’分量的坐标(x，y)并且输出转换后的坐标作为坐标(X，Y)。目标坐标计算单元121对于所有的各组坐标(x，y)都重复上述处理。

当以屏幕的中心作为坐标系的原点时，坐标变换公式可以表示为例如下面的公式：

X＝x+[a(1)+a(2)×abs(x)+a(3)×abs(y)+a(4)×y²]×x

Y＝y+[b(1)+b(2)×abs(y)+b(3)×abs(x)+b(4)×x²]×y    (4)

在上面的公式中，abs()表示绝对值，并且a(1)至a(4)和b(1)至b(4)都表示坐标变换系数。在坐标变换系数表122中预先存储了坐标变换系数。

与上面所描述的写入处理并行地(准确地，在特定的延迟之后)，基于从目标坐标计算单元121输出的坐标(X，Y)(准确地，是通过变换坐标值(X，Y)而得到的地址)，从各个坐标变换存储器123(R)、123(G)、123(B)中顺序地读取R’G’B’数据。从坐标变换存储器123(G)中读取的G’分量具有在被写入存储器之前的G’分量相同的坐标。同时，从坐标变换存储器123(R)和123(B)中读取的R’和B’分量具有从原始坐标移动倍率色像差的量的坐标。

利用上述处理，校正了R’G’B’数据的倍率色像差，并且从坐标变换存储器123(R)、123(G)、123(B)输出校正后的R’G’B’数据。换句话说，具有原始坐标(x，y)的R’G’B’数据被变换为具有目标坐标(X，Y)的R’G’B’数据。

图11A至图11C是说明目标坐标计算单元121的示例性配置的图表。利用图11A所示的配置，不对G’分量的坐标(x，y)进行转换并且不对其改变将其输出为坐标G’(X，Y)。同时，通过坐标计算单元1211和1212转换R’和B’分量的坐标(x，y)并且输出转换后的坐标作为坐标R’(X，Y)和坐标B’(X，Y)。由于只有R’和B’分量需要坐标计算单元，因此上述配置可以减小电路尺寸。

图11B和图11C所示的配置是基于倍率色像差通常会引起R和B颜色分量关于G颜色分量对称地移动的假设。利用图11B所示的配置，坐标计算单元1213获得坐标(x，y)的校正值，减法器1214通过从坐标(x，y)减去校正值来输出坐标B’(X，Y)，并且加法器1215通过将校正值加到坐标(x，y)来输出坐标R’(X，Y)。此外，与图11A相类似，无需改变G’分量的坐标(x，y)即可将其输出作为坐标G’(X，Y)。

图11C所示的配置进一步包括增益电路1216，在考虑到对称的差异的前提下调节R’分量的校正值。可选地，还可为B’分量设置增益电路1216。图11B和图11C所示的配置仅需要一个坐标计算单元，因此可以进一步减小电路尺寸。

还可使用对R和B颜色分量中每一个定义输入坐标(x，y)和输出坐标(X，Y)之间对应关系的查询表(LUT)来代替图11A所示的坐标计算单元1211和1212。在这种情况下，基于LUT来获得原始坐标(x，y)的目标坐标(X，Y)。类似的，还可使用定义了输入坐标(x，y)和校正值之间对应关系的LUT来代替图11B和图11C所示的坐标计算单元1231，并且基于LUT来获得坐标(x，y)的校正值。LUT的使用消除了为坐标变换执行计算的需要，并且可能仅使用基本的存储器芯片即可校正倍率色像差。

图12是说明根据本发明实施例的成像装置的方框图。除了图12中所示的处理部件之外，该成像装置还包括操作单元、图像存储单元、以及图像显示单元(监视器)。该成像装置的应用包括但不局限于车载相机。在本实施例中，假定成像装置使用了存在倍率色像差和失真的广角光学系统以捕捉对象图像，并且该成像装置包括除了倍率色像差之外还校正失真的图像处理系统。然而，本实施例还可应用到以下情况：成像装置使用了至少存在倍率色像差的广角光学系统以捕捉图像，并且该成像装置包括用来校正倍率色像差的图像处理系统。另外，还假定成像装置中的成像器件使用加色(additive color)滤波器，即RGB滤波器，并且图像数据包括红色(R)、绿色(G)、蓝色(B)颜色分量。可选地，图像器件还可以使用补色滤波器并且图像数据可包括黄色(Y)、红紫色(M)、蓝绿色(C)颜色分量。

如图12所示，控制单元100向成像装置中的其它处理部件发送控制信号(时钟信号、水平/垂直同步信号等)，并且因此按照流水线方式控制这些处理部件。

成像器件1100包括将存在倍率色像差和失真的广角光学系统(未示出)输入的光学图像转换成电信号(图像数据)的CCD或CMOS传感器。成像器件1100还包括拜耳彩色滤波器阵列，并且基于从控制单元1000给出的坐标(x，y)输出具有拜耳排列(arrangement)的RGB图像数据。在延迟之后，控制单元1000还向成像器件1100的后续处理部件提供坐标(x，y)。可选地，基于时钟和水平/垂直同步信号通过成像器件1100生成坐标(x，y)，并且将所生成的坐标(x，y)提供给成像器件1100的后续处理部件。

A/D转换器1200将从成像器件1100输出的具有拜耳排列的模拟RGB图像数据转换成数字信号，并且将该数字信号发送到拜耳内插单元1300。例如，数字信号的RGB颜色分量中的每一个都可以由8比特来表示。尽管通常在A/D转换器1200之前设置有AGC电路，但是在图12中省略了AGC电路。

拜耳内插单元1300接收具有拜耳排列的数字化RGB图像数据，通过对RGB颜色分量中每一种单独地执行线性内插来生成所有坐标位置的图像数据，并且将所生成的图像数据发送到倍率色像差校正单元1400。

图13示出了拜耳彩色滤波器阵列。在图13中，可以从如下的公式(5)中得到G₀：

G₀＝(G₂+G₄+G₆+G₈)/4         (5)

可以从如下的公式(6)至公式(10)中得到R₂、R₄、R₆、R₈、R₀。

R₂＝(R₁+R₃)/2         (6)

R₄＝(R₃+R₅)/2         (7)

R₆＝(R₅+R₇)/2         (8)

R₈＝(R₁+R₇)/2         (9)

R₀＝(R₁+R₃+R₅+R₇)/4   (10)

获得B₂、B₄、B₆、B₈、B₀的方式与获得R₂、R₄、R₆、R₈、R₀的方式是相同的，因此在此省略了用来获得B₂、B₄、B₆、B₈、B₀的公式。

在本实施例中，假设成像器件1100包括具有拜耳排列的RGB彩色滤波器。然而，本实施例还可应用到包括诸如CMYG彩色滤波器或RGB+Ir(红外)彩色滤波器等不同类型的彩色滤波器的成像器件。与包括三种颜色(例如，RGB)的彩色滤波器的成像器件相比较，包括四种颜色的彩色滤波器的成像器件为了校正倍率色像差需要具有更少等待时间或四端口的RAM的存储器。

倍率色像差校正单元1400接收线性内插后的RGB图像数据，基于预定的多项式等式对RGB颜色分量中的每一种单独地执行坐标变换以校正RGB图像数据的倍率色像差，并且输出经过了倍率色像差校正后的RGB图像数据。倍率色像差校正单元1400对应于图1所示的倍率色像差校正单元100。倍率色像差校正单元1400将输入的RGB图像数据转换为具有不同于成像器件1100的彩色滤波器的波段的R’G’B’数据，转换R’G’B’数据的坐标以便校正倍率色像差，将坐标转换后的R’G’B’数据转换为具有彩色滤波器的原始波段的RGB数据，并且输出该RGB数据。上述配置甚至可以对存在大的倍率色像差的图像的边缘部分处提高图像质量。倍率色像差校正单元1400优选地被配置用来仅对R’和B’分量执行坐标变换。这使得可以减小电路尺寸。对于校正倍率色像差的坐标变换而言，可优选地使用小容量、低等待时间的存储器或是小容量、多端口的存储器(例如，SRAM)。

MTF校正单元1500接收倍率色像差校正后的RGB图像数据，利用FIR滤波器校正RGB图像数据中的亮度信号的MTF，并且输出MTF校正后的RGB图像数据。

图14是说明MTF校正单元1500的示例性配置的图表。转换单元1501利用下列公式(11)至公式(13)将RGB像素数据转换成YCbCr像素数据：

Y＝0.299R+0.587G+0.114B      (11)

Cr＝0.500R-0.419G-0.081B     (12)

Cb＝-0.169R-0.332G+0.500B    (13)

FIR滤波器(5×5滤波器)1502仅接收YCbCr信号当中的亮度信号Y(Y信号)，并且校正该Y信号的MTF。通过只对Y信号执行滤波(仅对Y信号执行MTF校正)，可以抑制颜色噪声的增大而相应地提高质量图像。图15示出了示例性FIR滤波器的系数。由于对Y信号进行了滤波，因此优选地在校正了倍率色像差之后执行MTF校正。同时，如下面所描述的，在用来校正失真的坐标变换中，原始坐标和目标坐标之间的距离通常很大，因此容易造成计算误差的出现。如果在用来校正失真的坐标变换之后执行MTF校正，则计算误差会被MTF校正增加并且还会降低图像质量。为了防止上述问题的出现，MTF校正单元1500优选地被设置在倍率色像差校正单元1400之后并且在失真校正单元1600之前。

逆转换单元1503接收CbCr信号和MTF校正后的Y信号，并且利用下列公式(14)至公式(16)将信号逆转换为RGB像素数据：

R＝Y+1.402Cr            (14)

G＝Y-0.714Cr-0.344Cb    (15)

B＝Y+1.772Cb            (16)

失真校正单元1600接收经过了倍率色像差校正和MTF校正后的RGB图像数据，使用预定的公式(例如，多项式)对RGB颜色分量共同地执行坐标变换以校正RGB图像数据的失真，并且输出失真校正后的RGB图像数据。为校正失真执行坐标变换而使用的存储器的容量(多达一个屏幕的数据)需要大于为校正倍率色像差而使用的存储器的容量，但是只需要一个端口。因此，可以使用具有长等待时间的存储器(诸如DRAM)以实现上述用途。

图16是说明失真校正单元1600的示例性配置的图表。失真校正单元1600包括：RGB组合(combining)单元1601，用来将RGB颜色分量组合到一起并且输出组合后的RGB图像数据；坐标变换存储器1602，用来存储组合后的RGB图像数据；RGB分离单元1603，用来将组合后的RGB图像数据分离回到RGB颜色分量；目标坐标计算单元1604，用来基于预定的坐标变换公式计算目标坐标以校正失真；以及坐标变换系数表1605，包括在坐标变换公式中所使用的系数。

由于失真造成的像素的移动量通常是大的，因此失真校正处理需要能够存储多达一个屏幕的图像数据的缓冲存储器。同时，失真实质上相同地移动各RGB颜色分量，因此失真校正处理只需要具有与RGB图像数据的总比特宽度对应的比特宽度的一个缓冲存储器。在这里，假定图像的分辨率是VGA(640×480)，则RGB颜色分量中的每一个的比特数目(色彩深度)是8比特，并且坐标变换存储器1602是由能够存储640×480点、以24比特作为单位执行输入/输出的DRAM实现。

由于坐标变换存储器1602需要具有非常大的容量，因此从成本角度而言很难在图像处理芯片中提供作为存储器1602的SRAM。因此，优选地在图像处理芯片之外提供单端口的DRAM来实现坐标变换存储器1602。

RGB组合单元1601每次输入8比特的经过了倍率色像差校正后的RGB颜色分量中的每个RGB颜色分量，将RGB颜色分量组合以形成组合后的RGB图像数据(24比特)，并且输出组合后的RGB图像数据。根据原始坐标(x，y)，从第一行开始将组合后的RGB图像数据顺序地写入坐标变换存储器1602。

目标坐标计算单元1604接收原始坐标(x，y)并且计算目标坐标(X，Y)以便基于预定的坐标变换公式(例如，多项式)对组合后的RGB图像数据共同地校正失真。除了使用不同的坐标变换系数之外，上述坐标变换公式与在校正倍率色像差中使用的公式(4)实质上相同。在坐标变换系数表1605中预先存储了坐标变换系数。

与组合后的RGB图像数据(24比特)的写入处理并行地(准确地，在特定的延迟之后)，基于从目标坐标计算单元1604输出的坐标(X，Y)从坐标变换存储器1602中顺序地读取组合后的RGB数据。RGB分离单元1603将从坐标变换存储器1602读取的组合后的RGB图像数据(24比特)分离回到RGB颜色分量(每一种颜色分量的大小为8比特)。

因此，RGB分离单元1603输出图像数据的失真校正后的RGB颜色分量。换句话说，将RGB颜色分量复制到原始坐标(x，y)。

此外，在失真校正处理中，可利用定义了输入坐标(x，y)与输出坐标(X，Y)之间对应关系的查询表(LUT)来获得原始坐标(x，y)的目标坐标(X，Y)。LUT的使用消除了为坐标变换执行计算的需求，并且基本上只使用存储芯片即可校正失真。

再次参考图12，伽马校正单元1700从失真校正单元1600接收RGB图像数据，利用例如为各个RGB颜色分量设置的查询表对RGB图像数据执行伽马校正，并且输出伽马校正后的RGB图像数据。在显示单元(未示出)上显示从伽马校正单元1700输出的伽马校正后的RGB图像数据。

图12所示的配置可以提供紧凑的并且低成本的成像装置，并且即使当使用存在倍率色像差和失真的光学系统时该成像装置仍可提供高质量的图像。

本发明的实施例可以有效地校正包括存在倍率色像差的广角光学系统和具有彩色滤波器的成像器件的成像装置中的倍率色像差。

本发明并不局限于特别公开的实施例，可以进行各种变化和修改而不脱离本发明范围。

Claims (14)

1.一种成像装置，包括：

广角光学系统，至少存在倍率色像差；

成像器件，包括彩色滤波器，用于通过所述彩色滤波器从所述光学系统接收光学图像，并且将所述光学图像转换为图像数据；以及

倍率色像差校正单元，用于转换所述图像数据的坐标，并且从而校正所述图像数据的倍率色像差，

其中，所述倍率色像差校正单元在校正倍率色像差之前，将所述图像数据转换为具有与所述彩色滤波器的原始波段不同的波段的不同波长图像数据。

2.根据权利要求1所述的成像装置，其中，

所述成像器件的彩色滤波器是加色滤波器。

3.根据权利要求1所述的成像装置，其中，

所述成像器件的彩色滤波器是补色滤波器。

4.根据权利要求1至3中任一项所述的成像装置，其中，

所述倍率色像差校正单元在校正倍率色像差之后，将所述不同波长图像数据转换为具有所述彩色滤波器的原始波段的原始波长图像数据。

5.根据权利要求1至3中任一项所述的成像装置，其中，

所述倍率色像差校正单元在校正倍率色像差之前，将所述图像数据转换为具有与所述彩色滤波器的原始波段相比更窄的波段的不同波长图像数据。

6.根据权利要求1至3中任一项所述的成像装置，其中，

所述倍率色像差校正单元在校正倍率色像差之前，将所述图像数据转换为波长数据分量，所述波长数据分量的数目大于所述成像器件的颜色数目。

7.根据权利要求1至3中任一项所述的成像装置，其中，

所述倍率色像差校正单元在校正倍率色像差之前，将所述图像数据转换为包括红外波长数据分量的波长数据分量。

8.根据权利要求1至3中任一项所述的成像装置，其中，

所述倍率色像差校正单元只将对应于光学图像的周边部分的一部分图像数据转换为具有与所述彩色滤波器的原始波段不同的波段的不同波长图像数据。

9.根据权利要求1至3中任一项所述的成像装置，其中，

所述倍率色像差校正单元不对从所述成像器件输出的饱和像素的倍率色像差进行校正。

10.根据权利要求1至3中任一项所述的成像装置，其中，

所述倍率色像差校正单元不将从所述成像器件输出的饱和像素转换为具有与所述彩色滤波器的原始波段不同的波段的不同波长图像数据。

11.根据权利要求1至3中任一项所述的成像装置，其中，

所述倍率色像差校正单元不转换图像数据的特定颜色分量的坐标，并且转换除所述图像数据的特定颜色分量之外的颜色分量的坐标。

12.根据权利要求11所述的成像装置，其中，

所述倍率色像差校正单元基于所述图像数据的特定颜色分量的坐标获取校正值，并且基于所述校正值转换除所述特定颜色分量之外的颜色分量的坐标。

13.根据权利要求12所述的成像装置，其中，

所述倍率色像差校正单元通过增益电路对除所述特定颜色分量之外的一种颜色分量调节所述校正值。

14.根据权利要求1至3中任一项所述的成像装置，进一步包括：

失真校正单元，设置在所述倍率色像差校正单元之后，并且用于在校正倍率色像差之后转换图像数据的坐标，从而校正所述图像数据的失真。

Images