CN101500088A - 图像处理方法、图像处理设备和成像设备 - Google Patents

Abstract

本发明提供涉及图像处理方法、图像处理设备和成像设备。通过基于公式对

包括倍率色像差的图像数据执行坐标变换来校正倍率色像差，该图像数据是从鱼眼光学系统获得的，其中x和y表示以屏幕的中心为原点的变换目的地的坐标，X和Y表示以屏幕的中心为原点的变换源的坐标，并且a和b是坐标变换系数。

Description

图像处理方法、图像处理设备和成像设备

相关申请的交叉引用

本申请主张2008年1月28日申请的日本优先权文件2008-016365的优先权，其全部内容结合于此作为参考。

技术领域

本发明涉及用于处理由具有广角和大的倍率色像差(chromatic aberrationof magnification)的鱼眼(fisheye)光学系统所捕获的图像的技术。

背景技术

在近些年，对于例如交通工具的倒车监视器的应用，广角成像设备的需求日益增加。然而，随着角度变得更宽，倍率色像差和失真变得更大，使得设计具有小色像差的光学系统变得困难。由此，需要结合图像处理来改进性能。

在使用具有倍率色像差和失真的光学系统的成像设备中，用于校正失真的传统技术包括一种同时校正倍率色像差和失真的方法，如日本专利申请公开第2006-345054号所述，关于由例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器的成像装置在后续级获得的R信号、G信号和B信号，通过对红色(R)、绿色(G)和蓝色(B)的每个颜色分量独立执行坐标变换，来同时校正倍率色像差和失真。而且，存在一种方法，通过对RGB的各个颜色分量一起执行坐标变换，而忽略倍率色像差来仅校正失真。

在校正失真的时候，例如，如Deguchi在“Recent Trend of CameraCalibration Method”，Information Processing Society of Japan，Study groupmaterial CV-82-1，1993中描述的那样，已提出了基于下面的等式校正失真的一种方法：

X＝x+Kx(x²+y²)×x

Y＝y+Ky(x²+y²)×y

其中假设坐标变换的目的地(原始坐标)是(x，y)，坐标变换的源(由于色差导致的在目的地的坐标)是(X，Y)，并且在x和y的各自方向确定失真量的参数是Kx和Ky。

虽然在RGB的各个颜色分量中失真是一致的，但倍率色像差对于每个颜色分量是不同的。此外，倍率色像差小于失真。由此，期望分开校正倍率色像差和失真。

根据通过对RGB的每个颜色分量独立执行坐标变换来同时校正倍率色像差和失真的传统方法，需要在随机存取时具有大容量和小等待时间的存储器以处理RGB的各个颜色，例如静态随机存取存储器(SRAM)或多端口存储器。然而，大容量SRAM和具有多个端口的存储器十分贵，特别是在需要大容量存储器的高分辨率的情况下，这样的设备变得更贵。

同时，通过对RGB的各个颜色共同执行坐标变换来仅校正失真的方法需要大容量存储器，但是也可以使用具有单芯片配置的便宜的动态RAM(DRAM)。然而，如果在具有不能忽略倍率色像差的广角的情况下，不能应用该方法。

对于每个颜色分量需要独立的校正电路来校正倍率色像差，并且需要以最小的电路大小来执行倍率色像差的校正以降低成本。然而，由于复杂的多项式之类通常被用作坐标变换的公式，因此存在电路大小增加的问题。例如，根据“Recent Trend of Camera Calibration”中描述的方法，由于包括了二次项或更高次项，需要模拟乘法器来进行计算。此外，在具有大的倍率色像差的鱼眼光学系统的情况下，模拟乘法器需要大规模电路，因为由于计算精度的问题需要大的比特数。

鱼眼光学系统指的是执行例如立体投影y＝2f tan(θ/2)、等距投影y＝fθ、等立体角(equisolidangle)投影y＝2f sin(θ/2)以及正交投影y＝f sin θ的投影方法，而不执行正常透镜y＝f tan θ的投影方法的光学系统，其中图像高度是y，焦距是f，以及半视角是θ。

发明内容

本发明的目的在于至少部分地解决现有技术中的问题。

根据本发明的一个方面，提供了一种处理包括倍率色像差的图像数据的方法，该图像数据是从鱼眼光学系统获得的。该方法包括通过基于公式 $\left\{\begin{array}{c}X=x+\mathrm{ax}\\ Y=y+\mathrm{by}\end{array}\right.$ 对该图像数据执行坐标变换来校正倍率色像差，其中，x和y表示以屏幕的中心为原点的变换目的地的坐标，X和Y表示以屏幕的中心为原点的变换源的坐标，并且a和b是坐标变换系数。

此外，根据本发明的另一个方面，提供一种用于处理包括倍率色像差的图像数据的设备，该图像数据是从鱼眼光学系统获得的。该设备包括：倍率色像差校正单元，基于公式 $\left\{\begin{array}{c}X=x+\mathrm{ax}\\ Y=y+\mathrm{by}\end{array}\right.$ 通过对该图像数据执行坐标变换来校正倍率色像差，其中，x和y表示以屏幕的中心为原点的变换目的地的坐标，X和Y表示以屏幕的中心为原点的变换源的坐标，并且a和b是坐标变换系数。

此外，根据本发明的另一个方面，提供一种成像设备，包括：成像装置，使用具有大的倍率色像差的鱼眼光学系统来捕获图像，并且输出包括倍率色像差的图像数据；以及，根据本发明的图像处理设备。

通过结合附图阅读下面本发明的优选实施例的详细描述会更好地理解本发明的上述及其他目的、特征、优点以及技术和工业意义。

附图说明

图1是根据本发明的实施例的成像设备的框图；

图2A是用于G信号的Bayer彩色滤波器阵列的示意图；

图2B是用于R信号的Bayer彩色滤波器阵列的示意图；

图2C是用于B信号的Bayer彩色滤波器阵列的示意图；

图3是根据实施例的MTF校正单元的框图；

图4是用于说明FIR滤波器的例子的示意图；

图5是用于解释倍率色像差和失真的示意图；

图6是用于解释校正倍率色像差和失真的一般方法的示意图；

图7A和7B是用于解释根据本发明的校正倍率色像差和失真的方法的示意图；

图8是根据实施例的倍率色像差校正单元的结构图；

图9A到9C是倍率色像差校正坐标变换计算器的例子；以及

图10是根据实施例的失真校正单元的结构图。

具体实施方式

下面将参考附图详细描述本发明的示意性实施例。实施例说明了通过使用具有大的倍率色像差和失真的光学系统以广角捕获对象的成像设备，并且说明了具有除了校正倍率色像差之外还校正失真的配置的图像处理系统。然而，本发明的主要特征是倍率色像差的校正，并且图像需要是由至少具有广角和大的倍率色像差的鱼眼光学系统捕获的图像。虽然图像的颜色分量是加法三原色的红(R)、绿(G)和蓝(B)，它们也可以是减法三原色的黄(Y)、红紫(M)和蓝绿(C)。

图1是根据本发明的实施例的成像设备中的图像处理系统的功能框图。除了图1所示的元件之外，根据本实施例的成像设备还包括图1中没有显示的操作单元、图像存储单元以及图像显示单元。例如，成像设备被用作车载摄像机，但这不是限制本发明的唯一应用。

如图1所示，控制单元100向各个单元提供所需的控制信号(时钟、水平/垂直同步信号等)，以流水线的形式控制单元的操作。

例如，成像装置110包括CCD或CMOS传感器，以将光学图像转换为电子信号(像素数据)，该光学图像是使用具有广角以及大的倍率色像差和失真的鱼眼光学系统(未显示)所捕获的。在成像装置110中提供Bayer彩色滤波器阵列，并且基于从控制单元100给出的坐标数据(x，y)顺序地输出Bayer阵列布置的RGB像素。控制单元100通过偏移(shifting)预定时间将赋予成像装置110的坐标数据(x，y)顺序地赋予后续级。坐标数据(x，y)可以在成像装置110中生成，并且顺序地被赋予后续级。

模数(A/D)转换器120将Bayer阵列排列的RGB像素数据转换为数字信号，并将该数字信号输出至Bayer补偿单元130，该Bayer阵列排列的RGB像素数据是从成像装置110输出的模拟信号。在本实施例中，假设对于RGB中的每个，该数字信号包括8比特。通常，在A/D转换器120的先前级提供AGC电路，然而，在此省略了AGC电路。

Bayer补偿单元130接收被转换成数字信号的Bayer阵列排列的RGB像素数据，通过线性内插生成整个坐标位置的图像数据，并且将该像素数据输出至倍率色像差校正单元140。

图2A到2C是Bayer彩色滤波器阵列的示意图，其中由等式(1)到(6)获得G₀、R₂、R₄、R₆、R₈和R₀。

G₀＝(G₂+G₄+G₆+G₈)/4          (1)

R₂＝(R₁+R₃)/2                (2)

R₄＝(R₃+R₅)/2                (3)

R₆＝(R₅+R₇)/2                (4)

R₈＝(R₁+R₇)/2                (5)

R₀＝(R₁+R₃+R₅+R₇)/4          (6)

B₂、B₄、B₆、B₈和B₀与R₂、R₄、R₆、R₈和R₀的情况相同。

虽然该实施例是关于采用Bayer彩色滤波器阵列的成像装置，但对于采用其他类型的CMYG阵列或RGB+Ir(红外)的彩色滤波器阵列的成像装置也可以获得相同的效果。特别地，与具有例如RGB的三色类型的彩色滤波器阵列的成像装置相比，具有四色的彩色滤波器阵列的成像装置需要短等待时间存储器或4端口RAM，以期望好的效果。

倍率色像差校正单元140接收Bayer补偿的RGB像素数据，根据预定等式对于RGB的颜色分量单独执行坐标变换(倍率色像差坐标变换)，并且输出倍率色像差校正的RGB像素数据。稍后将和失真校正单元160一起描述倍率色像差校正单元140。然而，小容量和短等待时间存储器或具有多个端口的小容量存储器(例如SRAM)可以被用于坐标变换，以校正倍率色像差。

调制传递函数(MTF)校正单元150接收倍率色像差校正的RGB像素数据，使用FIR文件执行MTF校正，并且输出MTF校正的RGB像素数据。

图3是MTF校正单元150的框图。转换单元152基于等式(7)到(9)将RGB图像数据转换为YCbCr图像数据。

Y＝0.299R+0.587G+0.114B                  (7)

Cr＝0.500R-0.419G-0.081B                 (8)

Cb＝-0.169R-0.332G+0.500B                (9)

FIR滤波器(5×5滤波器)154仅接受YCbCr的亮度信号Y，并且执行预定MTF校正。通过仅对Y信号滤波(执行MTF校正)可以获得具有颜色噪声的放大被压缩的高质量信号。图4是用于说明FIR滤波器的例子的示意图。因为滤除了Y信号，需要在倍率色像差校正之后执行MTF校正。然而，当在失真校正之后执行MTF校正时，如下面所述，在失真校正中坐标变换的变换距离是大的，并且容易发生算术误差。如在本实施例所述，在倍率色像差的校正的后续级和失真校正的先前级优选地执行MTF校正，以避免误差被MTF校正方法放大而恶化图像质量。

逆转换单元156接收CbCr信号和MTF校正的Y信号，并且基于等式(10)到(12)输出逆转换的RGB图像数据。

R＝Y+1.402Cr                             (10)

G＝Y-0.714Cr-0.344Cb                     (11)

B＝Y+1.772Cb                             (12)

失真校正单元160接收倍率色像差校正的和MTF校正的RGB像素数据，根据预定等式对RGB的各个颜色分量共同执行坐标变换(失真坐标变换)，并且输出失真校正的RGB像素数据。

伽玛校正单元170接收从失真校正单元160输出的RGB像素数据，通过使用RGB的各自的查找表等来执行预定的伽玛校正，并且输出伽玛校正的RGB像素数据。

上面解释了图1所示的本实施例中的全部操作。下面详细描述作为本实施例主要元件的倍率色像差校正单元140和失真校正单元160。

首先解释校正倍率色像差和失真的原理。如图5所示，当使用具有倍率色像差和失真的光学系统来执行成像时，处于屏幕右上方由1指示的位置(像素)的像素数据由于失真而偏离原始位置，并且由于倍率色像差对RGB的颜色分量造成不同的偏离。由此，对于RGB，成像装置实际捕获的位置变成2(R)、3(G)、4(B)的位置。通过将处于位置(像素)2(R)、3(G)和4(B)的RGB的各个颜色分量的像素数据复制到作为原始位置的位置(像素)1，即，通过坐标变换，来执行倍率色像差和失真的校正。位置2、3和4是源的坐标，位置1是目的地的坐标。

因为可以根据光学系统的统计数据来发现失真的大小和倍率色像差的大小，因此可以计算相对于原始位置，RGB的各个颜色分量偏移到什么位置。

图6是校正倍率色像差和失真的通用方法的示意图。即，在位置(像素)2(R)、3(G)和4(B)的RGB的各个颜色分量的像素数据通常被复制到作为原始位置的位置(像素)1。即，通过坐标变换同时校正倍率色像差和失真。然而，根据本方法，需要对于RGB的每个颜色分量具有大容量的存储器，和短等待时间或多端口存储器。例如，在图6的情况下，对于RGB的每个颜色的坐标变换需要具有六行的高速存储器。

图7A和7B是单独校正倍率色像差和失真的方法的示意图。对于每个颜色分量倍率色像差是不同的，然而，其偏差很小。另一方面，虽然失真的偏差是大的，但是对于每个颜色分量偏差是相同的。关于这点，通过对于RGB的各个颜色分量的像素数据分别执行坐标变换(坐标变换RG的颜色分量并且将颜色分量复制到G分量的位置)来校正倍率色像差，此后，倍率色像差校正的RGB像素数据被共同地位置变换以校正失真。由此，用于坐标变换的存储器可以被分成校正倍率色像差所需的小容量和高速(短等待时间或多端口)RGB兼容的存储器，以及校正失真所需的RGB共用的通常大容量和低速(长等待时间和单端口)的存储器，由此以减少整体成本。本发明通过简化特别是用于校正倍率色像差的坐标变换的公式，以及以简单和小的电路执行倍率色像差的校正来实现整体成本的进一步减少。

在图7A中，对在位置(像素)2(R)和4(B)的颜色分量的像素数据执行坐标变换，以将数据复制到G分量的位置(像素)3(G)。通过这个操作校正倍率色像差。在图7B中，对在位置(像素)3的倍率色像差校正的RGB的颜色分量的像素数据共同地执行坐标变换，以将数据复制到作为原始位置的位置(像素)1。通过这个操作来校正失真。

在图7A和7B所示的例子中，RGB兼容的三行存储器对于用于校正倍率色像差的高速存储器是足够的。需要五行存储器以分开校正失真，然而，对于RGB可以共同使用低速存储器，并且与图6的情况相比可以实现整体成本的减少。通过以简单和小的电路执行倍率色像差的校正可以进一步实现整体成本的减少。

失真指的是透镜对于期望的投影方法的失真，例如，期望的投影方法包括其中如从上面的照相机向下看而得到的图像的投影方法，或者其中某部分被放大显示的投影方法。

图8是根据本实施例的倍率色像差校正单元140的结构图。在本发明中，下面的等式被用作坐标变换的公式以校正倍率色像差(倍率色像差的校正公式)

$\left\{\begin{array}{c}X=x+\mathrm{ax}\\ Y=y+\mathrm{by}\end{array}\right.---\left(13\right)$

其中x和y表示当屏幕的中心被指定为原点时，目的地的坐标(原始坐标)，X和Y表示源的坐标，并且a和b是坐标变换系数。在x和y方向的像素偏移量Δx和Δy(校正量)由Δx＝ax和Δy＝by表示。已经确认，即使倍率色像差的公式被简化为等式(13)而不是复杂的多项式等，也可以获得和使用复杂的多项式等时所获得的校正效果相同的校正效果。具体地，在具有大的倍率色像差的鱼眼光学系统的情况下，由于计算精度的问题需要高的比特数，以及需要大规模电路。然而，根据本方法，因为对于x和y的每一个仅需要一次乘法，所以存在电路尺寸的大的减少效果。特别地，由于这里使用的模拟乘法器仅需要执行“常数×变量”的乘法，可以使用小规模的模拟乘法器，并且不需要用于计算平方项的“变量×变量”的大规模模拟乘法器，这在“Recent Trendof Camera Calibration Method”等公开的方法中是需要的。

在图8中，附图标记142表示用于校正倍率色像差的坐标变换存储器(行缓存器)，并且142(R)、142(G)和142(B)分别对应于RGB的颜色分量。附图标记144表示倍率色像差校正坐标变换计算器，其根据等式(13)的坐标变换的公式计算用于校正每个RGB的倍率色像差的变换坐标，并且146表示坐标变换系数表，该坐标变换系数表存储在坐标变换的公式中使用的系数a和b。

对于倍率色像差的校正，需要RGB的小容量三端口存储器或短等待时间存储器作为行缓存器。这里假设坐标变换存储器142(R)、142(G)和142(B)分别包括20行的SRAM，假设在y方向倍率色像差的最大偏差量是20行。通过分辨率确定x方向的尺寸。例如，在分辨率VGA(640×480)的情境下，x方向的尺寸是640点。色深度是RGB8比特，并且以8比特为单位执行关于坐标变换存储器142(R)、142(G)和142(B)的读写。

由此，因为用于校正倍率色像差的坐标变换存储器(行缓存器)142(R)、142(G)和142(B)具有小的容量，所以通过使用在成像设备的图像处理芯片中准备的三端口SRAM，期望分别确保20行的存储器区域。在例如SRAM的短等待时间的存储器的情况下，通过时间共享可以使用单端口存储器作为三端口存储器。

具有倍率色像差和失真的捕获图像的RGB的各个像素数据根据坐标数据(x，y)从头行被顺序地分别写入到坐标变换存储器142(R)、142(G)和142(B)。当20行的图像数据被分别写入时，从头行顺序地丢弃像素数据，并且新写入随后行的像素数据。坐标变换以校正倍率色像差所分别需要的最多20行的RGB像素数据被顺序存储在坐标变换存储器142(R)、142(G)和142(B)中。

坐标数据(x，y)表示一帧的捕获图像的读取位置。另一方面，因为坐标变换存储器142(R)、142(G)和142(B)是20行的行缓存器，并且写入行被周期地改变，因此坐标数据(x，y)不可以被直接用作坐标变换存储器142(R)、142(G)和142(B)的写入地址。由此，坐标数据(x，y)的值需要被改变成坐标变换存储器142(R)、142(G)和142(B)的实际地址。然而，在图8中省略用于变换的配置。对于稍后描述的读取操作中的源的坐标数据(X，Y)和坐标变换存储器142(R)、142(G)和142(B)的读取地址之间的关系应用相同的变换。

倍率色像差校正坐标变换计算器144根据等式(13)的坐标变换公式计算变换坐标，以校正每个RGB的倍率色像差，指定目的地的坐标数据(x，y)作为输入，并且输出作为每个RGB的源的坐标数据(X，Y)。如图7A所示，在本实施例中，RG的颜色分量被坐标变换，并且被复制到G分量的位置。由此，倍率色像差校正坐标变换计算器144直接输出输入的坐标数据(X，Y)作为G分量的坐标数据(X，Y)，并且将使用等式(13)的坐标变换公式分别输入的坐标数据(x，y)转换为RG分量的坐标数据(X，Y)，并且输出该坐标数据(X，Y)。对于每个坐标数据(x，y)重复该操作。

坐标变换存储器142(R)、142(G)和142(B)基于从倍率色像差校正坐标变换计算器144输出的坐标数据(X，Y)(实际上，基于通过变换坐标数据(X，Y)的地址而获得的值)，与上一个写入操作并行(实际上，延长预定时间)来分别顺序地读取RGB像素数据。从坐标变换存储器142(G)读取在与写入时间相同的位置的G分量像素数据。另一方面，从坐标变换存储器142(R)和142(B)读取从写入时间的位置偏差了预定位置的RB分量像素数据(Δx，Δy)，即，从坐标变换存储器142(R)和142(B)读取偏差了部分倍率色像差的RB分量像素数据。

通过执行上述处理，从坐标变换存储器142(R)、142(G)和142(B)分别输出倍率色像差校正的RGB像素数据。即，源的RGB像素数据(X，Y)被输出作为目的地的RGB像素(x，y)。

图9A到9C是倍率色像差校正坐标变换计算器144的三个特定例子。图9A是一个例子，其中对于G的颜色分量不执行坐标变换，并且输入的坐标数据(x，y)被直接输出作为G的坐标数据(X，Y)，而通过使用等式(13)通过坐标变换计算器1441和1442来仅对R和B的颜色分量的输入坐标数据(x，y)分别执行坐标变换，并且输出R的坐标数据(X，Y)和B的坐标数据(X，Y)。由于等式(13)具有简单的结构，可以减少坐标变换计算器的电路大小，并且此外，仅需要对R和B的颜色分量来执行坐标变换，由此能够进一步减少电路大小。

图9B和9C针对以下事实：由于R和B的颜色分量对于G是实质上对称地偏移(见图5)，通常会发生倍率色像差。图9B是一个例子，其中坐标变换计算器1443获得坐标数据(x，y)的校正量(Δx和Δy)，并且由减法器1444从坐标数据(x，y)减去该校正量而获得的值被指定为B的坐标数据(X，Y)，同时由加法器1445将该校正量加到坐标数据(x，y)而获得的值被指定为R的坐标数据(X，Y)。如图9A所示，对于G的坐标数据(X，Y)，直接输出坐标数据(x，y)。

图9C是一个例子，其中考虑对称位置的偏移，由增益电路1446来调整R的校正量。可以在B侧提供增益电路。根据图9B和9C所示的例子，坐标变换计算器可以仅为一个，由此能够进一步减少电路大小。

取代图9A中的坐标变换计算器1441和1442，可以准备存储了输入坐标数据(x，y)和输出坐标数据(X，Y)之间的对应关系的查找表(LUT)，使得通过使用LUT可以直接获得关于目的地的坐标数据(x，y)的源的坐标数据(X，Y)。同样地，取代图9B和9C中的坐标变换计算器1443，可以准备存储了输入坐标数据(x，y)和校正量之间的对应关系的查找表，使得通过使用LUT可以直接获得对应于坐标数据(x，y)的校正量。由此，可以忽略坐标变换的计算，并且仅通过存储器芯片可以基本实现倍率色像差的校正。

图10是失真校正单元160的结构图。下面的等式被用作坐标变换的公式(失真校正公式)以校正失真。即，鱼眼图像通过仅对x轴的坐标变换被转换为人眼容易看到的图像。

$\left\{\begin{array}{c}X=x+(a+{\mathrm{by}}^2)x\\ Y=y\end{array}\right.---\left(14\right)$

其中x和y表示当屏幕的中心被指定为原点时，目的地的坐标(原始坐标)，X和Y表示源的坐标，并且a和b是坐标变换系数。在x方向的像素偏移量Δx由Δx＝x+(a+by²)x表示。

在图10中，附图标记161表示RGB合成单元，RGB合成单元将RGB的三个像素数据合成为一个像素数据，162表示用于校正RGB像素数据共有的失真的坐标变换存储器，163表示RGB分开单元，RGB分开单元将RGB像素数据分开为原始颜色分量，164表示失真校正坐标变换计算器，失真校正坐标变换计算器根据等式(14)的坐标变换的公式，关于合成的RGB像素数据计算变换坐标以校正失真，以及165表示坐标变换系数表，坐标变换系数表存储了在坐标变换公式中使用的系数a和b。

RGB合成单元161顺序地接收各个倍率色像差校正的RGB像素数据(8比特，分别地)，将这些数据合成到一个像素数据(24比特)，并且输出合成的像素数据。合成的RGB像素数据根据各自坐标数据(x，y)从头行被顺序地写入到坐标变换存储器162。

另一方面，失真校正坐标变换计算器164根据等式(14)的坐标变换的公式来计算变换坐标，以校正RGB共有的失真，指定坐标数据(x，y)作为输入，并且输出变换后的坐标数据(X，Y)。具体地，失真校正坐标变换计算器164根据等式(14)计算x方向的变换坐标，并且输出该变换后的坐标数据(X，Y)，而不对y方向进行处理。用于等式(14)中计算的坐标变换系数预先保存在坐标变换系数表165中。因为等式(14)用于坐标变换的公式以校正失真，因此可以减小失真校正坐标变换计算器164的电路大小。

坐标变换存储器162基于从失真校正坐标变换计算器164输出的坐标数据(X，Y)，与上一个RGB合成的像素数据(24比特)的写入操作并行(实际上，从写入操作延长预定时间)来顺序地读取RGB合成的像素数据。RGB分开单元163将从坐标变换存储器162读取的RGB合成的像素数据(24比特)分开为RGB的各个颜色分量的像素数据(8比特)。通过使用等式(14)，像素偏移仅在x方向上。由此，坐标变换存储器162最多仅需要一行，由此能够很大地减少所需的存储器大小。

根据上述处理，RGB分开单元163输出具有被校正的倍率色像差和失真的各个RGB像素数据。即，各个RGB像素数据被复制到原始位置(x，y)。

此外在失真校正中，可以准备存储了输入坐标数据(x，y)和输出坐标数据(X，Y)之间的对应关系的查找表(LUT)，使得通过使用LUT可以直接获得关于坐标数据(x，y)的变换后的坐标数据(X，Y)。由此，可以省略坐标变换的计算，并且仅通过存储器芯片就可以基本实现失真的校正。

用于校正失真的坐标变换的公式不需要是等式(14)，例如，该公式可以表示为：

X＝x+[a(1)+a(2)×abs(x)+a(3)×abs(y)+a(4)×y²]×x

                                                      (15)

Y＝y+[b(1)+b(2)×abs(y)+b(3)×abs(x)+b(4)×x²]×y

其中abs()表示绝对值，以及a(1)到a(4)以及b(1)到b(4)是坐标变换系数。根据等式(15)，虽然电路变得复杂，但在x和y方向的校正变得可能。此外，因为对于每个颜色分量仅需要一个计算电路，所以可以抑制电路尺寸的复杂性。用于校正失真的坐标变换存储器162需要相对大的容量。由于基于成本的考虑在图像处理芯片中包括SRAM是困难的，并且单端口存储器对于RGB是不足够的，因此期望使用图像处理芯片之外准备的DRAM。

即使在根据等式(1)执行关于图像数据的坐标变换的情况下，可以获得通过使用复杂的多项式等获得的效果相同的校正效果。根据本发明的图像处理方法和图像处理设备，可以以最小的电路尺寸来执行倍率色像差的校正，而不恶化性能。此外，根据本发明的成像设备，进一步的成本减少是可能的。

虽然为了完整和清楚的公开而对于特定实施例描述了本发明，附带的权利要求并不由此受限，而应被解释为包含了本领域的普通技术人员可以进行的完全落入在此描述的基本教导中的所有变型和替换结构。

Claims (9)

1.一种处理包括倍率色像差的图像数据的方法，所述图像数据是从鱼眼光学系统获得的，所述方法包括：

通过基于公式 $\{\begin{array}{c}X=x+\mathrm{ax}\\ Y=y+\mathrm{by}\end{array}$ 对所述图像数据执行坐标变换来校正倍率色像差，

其中，x和y表示以屏幕的中心为原点的变换目的地的坐标，X和Y表示以屏幕的中心为原点的变换源的坐标，并且a和b是坐标变换系数。

2.根据权利要求1所述的方法，其中，校正包括：

从坐标变换中排除特定颜色分量；以及

执行除了所述特定颜色分量之外的颜色分量的坐标变换。

3.根据权利要求2所述的方法，其中，所述校正包括：

基于所述特定颜色分量的坐标，分别获得在x方向和y方向上的校正量Δx＝ax和Δy＝ay；以及

通过使用所述校正量来执行除了所述特定颜色分量之外的颜色分量的坐标变换。

4.根据权利要求2或3所述的方法，其中

以红色、绿色、蓝色信号形成所述颜色分量，以及

以绿色信号形成所述特定颜色分量。

5.一种用于处理包括倍率色像差的图像数据的设备，所述图像数据是从鱼眼光学系统获得的，所述设备包括：

倍率色像差校正单元(140)，通过基于公式 $\{\begin{array}{c}X=x+\mathrm{ax}\\ Y=y+\mathrm{by}\end{array}$ 对所述图像数据执行坐标变换来校正倍率色像差，

其中，x和y表示以屏幕的中心为原点的变换目的地的坐标，X和Y表示以屏幕的中心为原点的变换源的坐标，并且a和b是坐标变换系数。

6.根据权利要求5所述的设备，其中，倍率色像差校正单元(140)从坐标变换中排除特定颜色分量，并且执行除了所述特定颜色分量之外的颜色分量的坐标变换。

7.根据权利要求6所述的设备，其中，倍率色像差校正单元(140)基于所述特定颜色分量的坐标，分别获得在x方向和y方向上的校正量Δx＝ax和Δy＝ay，并且通过使用所述校正量来执行除了所述特定颜色分量之外的颜色分量的坐标变换。

8.根据权利要求6或7所述的设备，其中

以红色、绿色、蓝色信号形成所述颜色分量，以及

以绿色信号形成所述特定颜色分量。

9.一种成像设备，包括：

成像装置，使用具有大的倍率色像差的鱼眼光学系统来捕获图像，并且输出包括倍率色像差的图像数据；以及

根据权利要求5到8的任一项所述的设备。

Images