CN101534385B - 图像拾取设备 - Google Patents
图像拾取设备 Download PDFInfo
- Publication number
- CN101534385B CN101534385B CN200910127340XA CN200910127340A CN101534385B CN 101534385 B CN101534385 B CN 101534385B CN 200910127340X A CN200910127340X A CN 200910127340XA CN 200910127340 A CN200910127340 A CN 200910127340A CN 101534385 B CN101534385 B CN 101534385B
- Authority
- CN
- China
- Prior art keywords
- multiplying power
- chromatic aberation
- coordinate
- power chromatic
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 85
- 238000012937 correction Methods 0.000 claims abstract description 63
- 238000005286 illumination Methods 0.000 claims abstract description 21
- 230000003287 optical effect Effects 0.000 claims abstract description 19
- 230000008859 change Effects 0.000 claims abstract description 8
- 239000003086 colorant Substances 0.000 claims description 5
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims 1
- 230000004075 alteration Effects 0.000 abstract description 58
- 230000015654 memory Effects 0.000 description 45
- 235000013350 formula milk Nutrition 0.000 description 19
- 238000000034 method Methods 0.000 description 14
- 238000006073 displacement reaction Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 230000001915 proofreading effect Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- DGAQECJNVWCQMB-PUAWFVPOSA-M Ilexoside XXIX Chemical compound C[C@@H]1CC[C@@]2(CC[C@@]3(C(=CC[C@H]4[C@]3(CC[C@@H]5[C@@]4(CC[C@@H](C5(C)C)OS(=O)(=O)[O-])C)C)[C@@H]2[C@]1(C)O)C)C(=O)O[C@H]6[C@@H]([C@H]([C@@H]([C@H](O6)CO)O)O)O.[Na+] DGAQECJNVWCQMB-PUAWFVPOSA-M 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 229910052708 sodium Inorganic materials 0.000 description 1
- 239000011734 sodium Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
- H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/611—Correction of chromatic aberration
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
一种图像拾取设备，包括：广角的光学系统，在光学系统中至少倍率色像差是大的；图像传感器，用来读取通过光学系统所拾取的图像；以及，倍率色像差校正单元，用来通过对图像传感器读取的图像执行坐标变换，执行倍率色像差校正。倍率色像差校正单元包括用于倍率色像差校正的多个坐标变换参数，并且在改变光源或照明光的情况下切换用于倍率色像差校正的坐标变换参数。
Description
技术领域
本发明涉及一种图像拾取设备，并且尤其涉及一种具有对所获取的图像执行校正倍率色像差的处理的功能的图像拾取设备。
背景技术
近年来，一直存在提供诸如用作车辆的倒车监视器(back monitor)等广角图像拾取设备的需求。然而，随着角度变得更宽，倍率色像差和失真像差也会随之增大。结果，很难设计出一种具有小像差的光学系统。出于这个原因，需要通过组合图像处理与图像拾取操作以提高性能。
在现有技术中，存在可校正成像器件的像差的方法，其中该成像器件包括了具有倍率色像差和失真像差的光学系统。一个示例是变换R(红色)、G(绿色)、B(蓝色)信号的坐标的方法，其中R(红色)、G(绿色)、B(蓝色)信号是利用诸如CCD或CMOS传感器等图像传感器所获取的，并且在后续阶段对于RGB分量中的每一个独立单独地执行上述变换。相应地，同时校正倍率色像差和失真像差。在另一种方法中，忽略了倍率色像差，通过将RBG分量的坐标一起变换来只校正失真像差(例如，参见专利文件1)。在此方法中，固定了坐标变换参数。
专利文件1：日本公开专利申请No.2006-345054
在具有像差校正处理功能的图像拾取设备中，对利用具有大倍率色像差的光学系统捕捉的图像执行倍率色像差校正。然而，却存在由于执行倍率色像差校正而造成图像质量下降的情况，这与所期望得到的效果相反。例如，在车载相机的情况下，当车辆进入隧道中并且隧道的光源是钠灯时，会由于倍率色像差校正而造成图像质量下降，这与所期望得到的效果相反。当打开/关闭车辆的各种灯时会看到相同的结果。
这是由于光源(照明光)具有不同的波长分布(光谱)。相应地，当与波长分布中的一个相对应地设定倍率色像差的坐标变换参数并且随后光从一种变为另一种时，图像的色彩会变得模糊。因此，为了在执行倍率色像差校正时获得较高质量的图像，倍率色像差校正的坐标变换参数需要根据照明光的光谱而变化。然而，在现有技术中，坐标变换系数被固定，因此当光源或照明光改变时，倍率色像差校正会不可避免地造成图像质量的下降，这与所期望得到的效果相反。
发明内容
本发明提供了一种可解决上面所述的一个或多个不利方面的图像拾取设备。
本发明的优选实施例提供了一种诸如车载相机的图像拾取设备，当对具有高倍率色像差的光学系统捕捉的图像执行倍率色像差校正时，利用该图像拾取设备，通过防止由于光源或照明光的改变所引起的图像质量的下降，可获得高质量的图像。
根据本发明的方面，提供了一种图像拾取设备，包括：广角的光学系统，在光学系统中至少倍率色像差是大的；图像传感器，用来读取通过光学系统所拾取的图像；以及，倍率色像差校正单元，用来通过对图像传感器读取的图像执行坐标变换，执行倍率色像差校正，其中：倍率色像差校正单元包括用于倍率色像差校正的多个坐标变换参数，并且在改变光源或照明光的情况下切换用于倍率色像差校正的坐标变换参数。
根据本发明的一个实施例，提供了一种具备可执行倍率色像差校正功能的、诸如车载相机的图像拾取设备，当对图像执行倍率色像差校正时，利用该图像拾取设备，通过防止由于光源或照明光的改变所引起的图像质量的下降，可获得高质量的图像。
附图说明
当参考附图阅读如下的具体实施方式时可以更加清楚本发明的其他目的，特征和优点，其中：
图1是根据本发明实施例的图像拾取设备的示例的功能方框图；
图2A至图2C示出了拜耳阵列彩色滤波器；
图3是MTF校正单元的示意图；
图4示出了FIR滤波器的示例；
图5是用来说明倍率色像差和失真像差的示意图；
图6示意性地说明了同时校正倍率色像差和失真像差的方法；
图7A和图7B示意性地说明了单独地校正倍率色像差和失真像差的方法；
图8示出了倍率色像差校正单元的实施例；
图9示出了倍率色像差校正坐标变换算术电路的第一示例；
图10示出了倍率色像差校正坐标变换算术电路的第二示例；
图11示出了倍率色像差校正坐标变换算术电路的第三示例；以及
图12示出了根据本发明实施例的失真像差校正单元。
具体实施方式
参考所附的附图，给出了关于本发明实施例的描述。
本实施例描述了一种通过使用光学系统捕捉对象的图像的图像拾取设备，其中该光学系统在宽的视角上具有大的倍率色像差和大的歪斜像差(skewaberration)。在本实施例中，图像处理系统除倍率色像差校正之外还执行失真像差校正；然而，本发明的主要特征在于倍率色像差校正。图像可以是通过使用宽视角的光学系统捕捉的任意图像，其中至少倍率色像差是大的。进一步，在下面的具体实施方式中图像的颜色分量是红色(R)、绿色(G)、以及蓝色(B)三种原色。然而，颜色分量还可以是黄色(Y)、红紫色(M)、以及蓝绿色(C)三种减色法原色。
图1是根据本发明实施例的图像拾取设备中的图像处理系统的示例的功能性方框图。尽管在图1中没有示出，该图像拾取设备还包括操作单元、图像存储单元、以及图像显示单元。假设该图像拾取设备用作车载相机；尽管该图像拾取设备的用途并未局限于此(可用作店内相机等)。
在图1中，控制单元100通过向图像拾取设备中的各个单元提供所需的控制信号(时钟、水平/垂直同步信号等)，按照流水线方式控制该图像拾取设备中的各个单元的操作。控制单元100包括倍率色像差坐标变换参数切换控制单元105，以便当光源或照明光改变时，向倍率色像差校正单元140发送用来切换倍率色像差校正的坐标变换参数的切换控制信号。倍率色像差坐标变换参数切换控制单元105可单独地设置在控制单元100之外。
例如，图像传感器110可以是用来将利用在广角范围内具有大的倍率色像差和大的失真像差的光学系统(未示出)捕捉到的光学图像转换成电信号(图像信号)的CCD或CMOS传感器。图像传感器110具有拜耳阵列彩色滤波器。基于从控制单元100接收到的坐标值(x，y)顺序地输出拜耳阵列的RGB图像数据。通过控制单元100的延迟定时，将向图像传感器110提供的坐标值(x，y)顺序地提供到后续阶段。基于输入时钟、水平/垂直同步信号等在图像传感器110中生成坐标值(x，y)，并且将这些坐标值顺序地提供给图像传感器110的后续阶段。
A/D转换器120将作为图像传感器110输出的模拟信号的拜耳阵列的RGB图像数据转换成数字信号，并且将所得到的数字信号发送到拜耳补充(Bayercomplementary)单元130。例如，对于R、G、B中的每一个，数字信号可以由8比特来表示。通常，在A/D转换器120之前的阶段设置有AGC电路，但是在这里省略了AGC电路。
拜耳补充单元130接收已被转换成数字信号的拜耳阵列的RGB图像数据。拜耳补充单元130执行线性补充以便对RGB中每一种颜色单独地生成所有坐标位置的图像数据(像素数据)。随后拜耳补充单元130将图像数据发送到倍率色像差校正单元140。
图2A至图2C是拜耳阵列彩色滤波器的示意图。G0从如下的等式中得到。
G0＝(G2+G4+G6+G8)/4 (1)
进一步，R2、R4、R6、R8、R0从如下的等式中得到。
R2＝(R1+R3)/2 (2)
R4＝(R3+R5)/2 (3)
R6＝(R5+R7)/2 (4)
R8＝(R1+R7)/2 (5)
R0＝(R1+R3+R5+R7)/4 (6)
获得B2、B4、B6、B8和B0的方法与获得R2、R4、R6、R8和R0的方法是相同的，因此不再进一步描述。
在本实施例中，给出了具有拜耳阵列的彩色滤波器的图像传感器的描述。然而，对于采用诸如CMYG阵列或RGB+Ir(红外)阵列的另一种阵列的彩色滤波器的图像传感器而言也可获得相同的效果。由于倍率色像差校正需要低等待时间的存储器或四端口RAM，因此这种具有四种颜色的彩色滤波器阵列的图像传感器比具有例如RGB的三种颜色的彩色滤波器阵列的图像传感器更有效。
倍率色像差校正单元140接收已经经过了拜耳补充后的RGB图像数据。在倍率色像差校正单元140中，通过使用诸如多项式等式的坐标变换公式，对R、G、B中的每一种颜色分量单独地执行坐标变换(倍率色像差坐标变换)。倍率色像差校正单元140输出经过了倍率色像差校正后的RGB图像数据。倍率色像差校正单元140包括表示各种光源或照明光与坐标变换参数(坐标变换系数)之间的关系的坐标变换参数表。基于来自倍率色像差坐标变换参数切换控制单元105的切换控制信号，倍率色像差校正单元140选择特定的坐标变换参数表，并且切换到要在坐标变换公式中输入的坐标变换参数。下面将会给出关于倍率色像差校正单元140的具体实施方式。对于倍率色像差校正中的坐标变换，可使用低容量的、低等待时间的存储器或者低容量的、具有多个端口的存储器(SRAM等)。进一步，通过根据光源或照明光切换坐标变换公式中使用的参数，可以稳定地获得高质量的图像。
MTF校正单元150接收经过了倍率色像差校正后的RGB图像数据。在MTF校正单元150中，利用FIR滤波器对RGB图像数据执行MTF校正处理。MTF校正单元150输出经过了MTF校正后的RGB图像数据。
图3是MTF校正单元150的示意图。转换器152基于下列公式将RGB图像数据转换成YCbCr像素数据。
Y＝0.299R+0.587G+0.114B (7)
Cr＝0.500R-0.419G-0.081B (8)
Cb＝-0.169R-0.332G+0.500B (9)
FIR滤波器(5×5滤波器)154仅接收YCbCr信号当中的Y亮度信号，并且对Y亮度信号执行预定的MTF校正处理。通过只对Y信号执行滤波(MTF校正)，可以获得颜色噪声的放大被抑制的高质量图像。图4是用来说明FIR滤波器的示例的示意图。
逆转换器156接收CbCr信号和经过了MTF校正后的Y信号，基于下列公式逆转换上述信号，并且输出RGB图像数据。
R＝Y+1.402Cr (10)
G＝Y-0.714Cr-0.344Cb (11)
B＝Y+1.772Cb (12)
失真像差校正单元160接收经过了倍率色像差校正和MTF校正后的RGB图像数据。失真像差校正单元160使用预定的多项式公式对RGB中的每一种颜色分量执行相同的坐标变换(失真像差坐标变换)，并且输出经过了失真像差校正后的RGB图像数据。对于失真像差校正单元160中的坐标变换，可使用比用于倍率色像差校正的存储器更大容量(对应于一个屏幕的最大值)的存储器(DRAM等)，但是由于单个端口就可以满足，因此该存储器具有高等待时间。下面将会详细地描述失真像差校正单元160中的坐标变换。
伽马校正单元170接收从失真像差校正单元160输出的RGB图像数据，使用为RGB中的每一个所提供的查询表执行预定的伽马校正，并且输出经过了伽马校正后的RGB图像数据。从伽马校正单元170输出的上述图像数据被发送到显示设备(未示出)以便在显示器上显示出来。
以上描述了根据本发明实施例的图1所示的图像拾取设备的整体操作。下面将会给出倍率色像差校正单元140和失真像差校正单元160的具体实施方式。首先，描述倍率色像差校正和失真像差校正的原理。
图5示意性地示出了，当使用具有倍率色像差和失真像差的光学系统捕捉图像时，由于失真像差造成在屏幕的右上角处由1表示的位置(像素)处的图像数据(像素数据)从原始位置处被移位，并且由于倍率色像差造成RGB中的各颜色分量都被移动到不同的位置。因此，在利用图像传感器实际捕获的图像中，位置1处的图像被移动到位置2(R)、3(G)、以及4(B)。通过将位置(像素)2(R)、3(G)、以及4(B)处的颜色分量RGB的图像数据项复制(移动)到作为原始位置的位置(像素)1处，即通过执行坐标变换，可执行对倍率色像差和失真像差的校正。在下文中，位置2、3、4被称为坐标变换源的坐标，而位置1被称为坐标变换目标。
由于可以从光学系统的设计数据中找到失真像差的程度和倍率色像差的程度，因此可以计算出颜色分量RGB将会被移动到的位置。
图6示意性地说明了同时校正倍率色像差和失真像差的方法。具体的，位置(像素)2(R)、3(G)、以及4(B)处的各颜色分量RGB的图像数据项被移动到作为它们原始位置的位置(像素)1处。即，可通过执行坐标变换同时校正倍率色像差和失真像差。然而，上述方法需要对于RGB中的每一种颜色分量都具有大容量的存储器，并且该存储器具有低等待时间或多个端口单元。例如，在图6的情况下，对于RGB中的每一种颜色分量而言都需要使用高速六行存储器单元以执行坐标变换。进一步，对于RGB中的每一种颜色分量，还需要坐标变换算术电路或坐标变换表(LUT)。
图7A和图7B示意性地说明了单独地校正倍率色像差和失真像差的方法。颜色分量可具有不同等级的倍率色像差，但是在这种情况下位移程度小。同时，颜色分量具有相同等级的失真像差，但是在这种情况下位移程度大。根据这些特征，RGB中的各种颜色分量的各图像数据项都要经过坐标变换以校正倍率色像差。随后，经过倍率色像差校正后的所有RGB图像数据项都要进行坐标变换，从而校正失真像差。相应地，可将用于坐标变换的存储器分为对RGB中的每一种颜色分量都执行倍率色像差校正所需的、小容量并且高速(低等待时间或多个端口)的存储器、以及对RGB颜色分量执行失真像差校正通常所需的、大容量并且低速(高等待时间或单个端口)的存储器。从而可以降低整体成本。
进一步，由于倍率色像差的缘故，R和B颜色分量通常会参考位于中间的G颜色分量而彼此对称地位移。相应地，可通过只对R和B颜色分量执行坐标变换而实现倍率色像差校正，从而使它们移动到G分量的位置处。因此，只有R和B颜色分量需要坐标变换算术电路或坐标变换表(LUT)。因此，可减小电路尺寸，并且进一步降低整体成本。
图7A示意性说明了倍率色像差校正，其中对于位置(像素)2(R)和4(B)处的R和B分量的图像数据执行坐标变换，以便将这些分量移动到对应于G分量的位置(像素)3(G)处。通过执行上述操作校正倍率色像差。图7B示意性地说明了失真像差校正，其中对经过了倍率色像差校正后的并且位于位置(像素)3(G)处的R、G、B颜色分量的图像数据选择性地执行坐标变换。上述坐标变换的结果是，将R、G、B颜色分量的图像数据移动到作为原始(期望)位置的位置(像素)1处。通过执行上述操作校正失真像差。
在图7A和图7B所示的示例中，对应于RGB的三行存储器可满足作为用于倍率色像差校正的高速存储器。进一步，尽管倍率色像差校正需要五行存储器，但通常用于RGB的低速存储器也可满足需要。因此，与图6所示的情况相比较，可降低整体成本。进一步，只有R和B颜色分量需要使用坐标变换算术电路或坐标变换表(LUT)。因此，可进一步降低整体成本。
上述情况下的失真像差表示与目标投影(target projection)方法相关的透镜失真。例如，目标投影方法可用来通过相机获取从顶部观察到的图像，或是用来放大图像中的一部分。
图8示意性地说明了倍率色像差校正单元140的实施例。用于倍率色像差校正的坐标变换存储器(行缓冲器)由142表示，其中142(R)、142(G)、142(B)分别对应于R、G、B颜色分量。倍率色像差的坐标变换算术电路由144表示，该坐标变换算术电路用来计算变换坐标以便对RGB中的每一种(实际上仅对R和G)执行倍率色像差校正。坐标变换参数表由146表示，该坐标变换参数表用来保存在坐标变换公式中使用的参数(坐标变换系数)。存在有对应于多种光源和照明光的多个坐标变换参数表146。坐标变换参数选择电路由147表示，该选择电路基于来自倍率色像差坐标变换参数切换控制单元105的切换控制信号来选择预定的坐标变换参数表，并且将坐标变换参数发送到倍率色像差校正坐标变换算术电路144。
倍率色像差校正需要小容量但包括用于RGB的三个端口的存储器、或是具有低等待时间的存储器作为行缓冲器(line buffer)。在上述示例中，假定由于倍率色像差引起的最大位移量是Y方向上的20行，因此用于倍率色像差校正的各个坐标变换存储器142(R)、142(G)、142(B)都是对应于20行的SRAM。基于分辨率来确定X方向上的大小。例如，如果分辨率是VGA(640×480)，则X方向上的大小是640点。如果色彩深度是RGB 8比特，则以8比特为单位将数据写入用于倍率色像差校正的各个坐标变换存储器142(R)、142(G)、142(B)，或是以8比特为单位从用于倍率色像差校正的各个坐标变换存储器142(R)、142(G)、142(B)中读取数据。
如上所述，通过使用图像拾取设备的图像处理芯片中设置的三端口的SRAM，用于倍率色像差校正的各个坐标变换存储器142(R)、142(G)、142(B)都是小容量的存储器，并且优选地具有对应于20行的存储区。在诸如SRAM的低等待时间的存储器的情况下，通过分时共享存储器，一个端口的存储器可用作三个端口的存储器。
根据各个坐标(x，y)，从起首行开始将具有倍率色像差和失真像差的拾取图像中的RGB图像数据顺序地写入用于倍率色像差校正的坐标变换存储器142(R)、142(G)、142(B)中。当写入了对应于20行的图像数据时，从起首行开始顺序地丢弃图像数据，并且作为替换，将新的图像数据写入后续行(trailing line)。相应地，将对应于倍率色像差校正坐标变换所需的最大20行的RGB图像数据分别顺序地存储到用于倍率色像差校正的坐标变换存储器142(R)、142(G)、142(B)当中。
坐标值(x，y)表示读取对应于一帧的拾取图像的起始位置。同时，坐标变换存储器142(R)、142(G)、142(B)中的每一个都是对应于20行的行缓冲器，并且循环地改变用于写入数据的行，因此坐标值(x，y)不能直接地被用作坐标变换存储器142(R)、142(G)、142(B)的写入地址。出于这个原因，需要一种可将坐标值(x，y)转换成坐标变换存储器142(R)、142(G)、142(B)的实际地址的配置，但是在图8中省略了该配置。这同样适用于在以下描述的读取操作中的变换后的坐标值(X，Y)与坐标变换存储器142(R)、142(G)、142(B)的读取地址之间的关系。
倍率色像差校正坐标变换算术电路144接收作为坐标变换目标坐标的输入坐标值(x，y)，使用诸如多项式等式的预定的坐标变换公式对RGB中的每一种计算用于倍率色像差校正的变换坐标，并且输出作为RGB中的每一种的坐标变换源坐标的坐标值(X，Y)。如图7A所示，在倍率色像差校正中，只有R和B颜色分量经过坐标变换，从而它们被移动到G颜色分量的位置处。相应地，对于G颜色分量，倍率色像差校正坐标变换算术电路144将输入坐标值(x，y)直接作为变换后的坐标值(X，Y)输出；对于R和B颜色分量中的每一种，倍率色像差校正坐标变换算术电路144使用预定的坐标变换公式将输入坐标值(x，y)变换成坐标值(X，Y)，并且输出变换后的坐标值(X，Y)。对于各坐标值(x，y)，重复地执行该操作。
下面是坐标变换公式(13)的示例，假设屏幕的中心作为坐标原点：
X＝x+[a(1)+a(2)×abs(x)+a(3)×abs(y)+a(4)×y2]×x
Y＝y+[b(1)+b(2)×abs(y)+b(3)×abs(x)+b(4)×x2]×y
其中，abs()是取绝对值，并且a(1)～a(4)和b(1)～b(4)都是坐标变换参数(坐标变换系数)。
在坐标变换参数表146中预先保存坐标变换参数。如上所述，根据光源和照明光的种类，存在多个坐标变换参数表146。例如，通过如下方式获得参数值a(1)～a(4)和b(1)～b(4)。对于各个光源和照明光，使用不同的参数值重复倍率色像差校正仿真，获得在图像中色彩模糊最小时的值，并且预先地在坐标变换参数表146中与光源ID相关联地存储所获得的值。当使用单个光谱的光源作为照明光时，为了关闭倍率色像差校正功能，在一个坐标变换参数表146中将参数值a(1)～a(4)和b(1)～b(4)设定为“零”。
此外，近年来，各种LED灯光源变得越来越普遍。为了使用LED获得白色光源，存在有通过分时顺序地使R、G、B LED发光的方法。在这种情况下，根据发光定时来切换参数(包括R的坐标变换参数、G的坐标变换参数、以及B的坐标变换参数)，以获得高质量的图像。出于这个目的，进一步提供了用来保存R的坐标变换参数、G的坐标变换参数、以及B的坐标变换参数的坐标变换参数表146。
高灵敏度的单色图像传感器可用来在R、G、B的发光定时内将该传感器的信号分配到R、G、B通道以获得彩色图像。同样在这种情况下，根据发光定时来切换参数，从而可以获得高质量的图像，其中这些参数包括R的坐标变换参数、G的坐标变换参数、以及B的坐标变换参数。出于这个目的，可以进一步提供用来保存R的坐标变换参数、G的坐标变换参数、以及B的坐标变换参数的坐标变换参数表146。
如上所述，当改变光源或照明光时，倍率色像差变换参数切换控制单元105将预定的切换控制信号发送到坐标变换参数选择电路147。在对车辆的照明光执行切换操作的时刻、在打开/关闭车辆的刹车灯的时刻、或者在打开/关闭车辆的尾灯的时刻，倍率色像差变换参数切换控制单元105发出切换控制信号。在光源是分时地顺序打开RGB的LED的情况下，在RGB的各个发光定时内发出RGB的坐标变换参数的切换控制信号。进一步，在使用高灵敏度的单色图像传感器获得彩色图像的情况下，在R、G、B的发光定时内分别对来自图像传感器的信号分配R、G、B通道，以便按照上面相似的方式，在RGB的发光定时内发出RGB的坐标变换参数的切换控制信号。
再次参考图8，坐标变换参数选择电路147基于来自倍率色像差坐标变换参数切换控制单元105的切换控制信号选择预定的坐标变换参数表146，并且将坐标变换参数发送到倍率色像差校正坐标变换算术电路144。在通常(默认)情况下，设定坐标变换参数选择电路147以选择保存有对应于太阳光(自然光)的坐标变换参数的坐标变换参数表146。
倍率色像差校正坐标变换算术电路144接收作为坐标变换目标坐标的坐标值(x，y)和通过坐标变换参数选择电路147选择的坐标变换参数，使用坐标变换公式(13)计算RGB中的每一种(实际上只有RB)的坐标值(X，Y)，并且输出作为坐标变换源坐标的坐标值(X，Y)。
与上面所描述的写入操作并行地(实际上延迟了特定的时间量)，基于从倍率色像差校正坐标变换算术电路144输出的坐标值(X，Y)(实际上是从坐标值(X，Y)转换得到的地址值)，坐标变换存储器142(R)、142(G)、142(B)顺序地读出RGB图像数据。在这种情况下，在坐标变换存储器142(G)中，从与写入相同的位置处读出G颜色分量图像数据。同时，在坐标变换存储器142(R)和142(B)中，从将写入位置位移后的位置处读出RB颜色分量图像数据，即从对应于倍率色像差的位移后的位置处读出RB颜色分量图像数据。
通过执行上述处理，坐标变换存储器142(R)、142(G)、142(B)分别输出经过了倍率色像差校正后的RGB图像数据。具体的，输出对应于坐标变换源坐标值(X，Y)的RGB图像数据作为对应于坐标变换目标坐标值(x，y)的RGB图像数据。在倍率色像差校正期间根据光源或照明光来切换倍率色像差校正的坐标变换参数，因此防止了在倍率色像差校正期间图像质量的下降，并且获得了高质量的图像。
图9至图11描绘了倍率色像差校正坐标变换算术电路144的几种配置。在本说明书中，G颜色分量被用作参考；然而，可替代的，R或B也可被用作参考。
在图9所示的实施例中，G颜色分量没有经过坐标变换，因此直接地将输入坐标值(x，y)作为对应于坐标变换源的G坐标值(X，Y)输出。仅对R和B的颜色分量，使用公式(13)通过坐标变换算术单元1441、1442变换输入坐标值(x，y)，以输出作为坐标变换源坐标的R坐标值(X，Y)和B坐标值(X，Y)。仅需要向R分量和B分量提供坐标变换算术单元，因此电路尺寸可以很小。
图10和图11描绘了考虑到R和B颜色分量相对于位于两者中间的G颜色分量基本上彼此对称地位移的特征的实施例(参见图7A)。在图10中，坐标变换算术单元1443获取坐标值(x，y)的校正量(位移量)。减法单元1444通过从坐标值(x，y)减去校正量而获得B坐标值(X，Y)。加法单元1445通过将校正量加到坐标值(x，y)而获得R坐标值(X，Y)。与图9所示的实施例相类似，G坐标值(x，y)被直接地作为G坐标值(X，Y)输出。在图11中，还考虑了对称位置的位移，并且通过增益电路1446来调节R的校正量。可在B侧设置该增益电路。根据图10和图11所示的实施例，只需要一个坐标变换算术单元，因此可进一步减小电路尺寸。
图12描绘了失真像差校正单元160的实施例。图12中所示的失真像差校正单元160包括用来将RGB三种图像数据项组合到一起的RGB合成单元161、RGB数据共同使用的失真像差校正坐标变换存储器162、用来将组合后的RGB图像数据分离成原始颜色分量的RGB分离单元163、用来使用预定坐标变换公式计算用于进行失真像差校正的变换坐标的失真像差校正坐标变换算术单元164、以及用来保存输入到坐标变换公式的坐标变换参数的坐标变换参数表165。
当失真像差造成像素被位移时，位移量是大的。因此，对于失真像差校正处理需要能够存储与一个屏幕的最大值对应的图像数据的缓冲存储器。同时，对于各RGB分量而言该位移量都相同，因此具有与RGB图像数据对应的总比特宽度的仅仅一个缓冲存储器即可满足需要。在该示例中，分辨率是VGA(640×480)，RGB图像数据项中的每一个的比特数目(色彩深度)都是8比特，并且坐标变换存储器162是以24比特作为单位执行写入/读取的、640×480点的DRAM。
如上所述，坐标变换存储器162需要具有非常大的容量。因此，从成本角度而言很难将其提供作为图像处理芯片中的SRAM。此外，一个端口的存储器也可满足RGB的需要。相应地，DRAM优选地被提供在图像处理芯片之外。
RGB合成单元161顺序地接收经过了倍率色像差校正后的RGB图像数据项(各项都具有8比特)，将它们组合成一个图像数据项(24比特)，并且输出所得到的图像数据。根据各坐标值(x，y)，从起首行开始将合成RGB图像数据顺序地写入坐标变换存储器162。
同时，失真像差校正坐标变换算术单元164接收坐标变换目标的坐标值(x，y)，使用诸如多项式等式的预定坐标变换公式计算RGB共有的、用于失真像差校正的变换坐标，并且输出坐标变换源的坐标值(X，Y)。可使用同样的坐标变换公式(13)作为用于倍率色像差校正的公式。然而，当然也可使用不同的坐标变换参数。该坐标变换参数预先保存在坐标变换参数表165当中。
如上所述，对于失真像差校正，可使用与用于倍率色像差校正相同的坐标变换公式(13)。对于公式(13)中所使用的项x2、y2、abs(x)、以及abs(y)，可使用从倍率色像差校正获得的计算结果(通过将结果保存在存储器当中)。因此，无需再次计算这些项。相应地，失真像差校正坐标变换算术单元164可具有小的电路尺寸。
与上述RGB合成图像数据(24比特)的写入操作并行地(实际上延迟了特定的时间量)，坐标变换存储器162基于从失真像差校正坐标变换算术单元164输出的坐标值(X，Y)顺序地读出RGB合成图像数据。RGB分离单元163将从坐标变换存储器162读出的RGB合成图像(24比特)分离成对应于RGB的各颜色分量的原始图像数据项(8比特)。
通过执行上述处理，从RGB分离单元163输出经过了倍率色像差校正和失真像差校正后的各RGB图像数据项。具体的，各RGB图像数据项被移动到它们各自的原始(期望)位置(x，y)处。
可提供作为输入坐标值(x，y)和输出坐标值(X，Y)的关系表的查询表(LUT)，并且输出坐标值(X，Y)。可以从LUT直接地获得对应于坐标变换目标的坐标值(x，y)的坐标变换源的坐标值(X，Y)。在这种情况下，无需执行关于坐标变换的计算，并且基本上只使用存储器芯片即可实现失真像差校正。
本发明并不限于具体公开的实施例，在不脱离本发明的保护范围的前提下还可作出各种变化和修改。
本发明基于在2008年3月11日向日本专利局提交的日本优先权专利申请No.2008-061180，并且该优先权文件的全部内容都包括在这里作为参考。
Claims (8)
1.一种图像拾取设备，包括：
广角的光学系统，在所述光学系统中至少倍率色像差是大的；
图像传感器，用来读取通过所述光学系统所拾取的图像；以及
倍率色像差校正单元，用来通过对所述图像传感器读取的图像执行坐标变换，执行倍率色像差校正，
其中，所述倍率色像差校正单元包括用于倍率色像差校正的多个坐标变换参数，并且在改变光源或照明光的情况下切换所述用于倍率色像差校正的坐标变换参数，
其中，所述图像拾取设备进一步包括：控制单元，用来检测光源或照明光的改变，并且输出切换控制信号以便在检测到改变的情况下切换所述坐标变换参数，
其中，所述倍率色像差校正单元基于从所述控制单元输出的所述切换控制信号，切换所述用于倍率色像差校正的坐标变换参数，并且
当光源闪烁时，所述控制单元输出所述切换控制信号，其中所述光源顺序地闪烁多种颜色分量中的每一种。
2.根据权利要求1所述的图像拾取设备，其中：
所述控制单元根据对车辆的照明光执行的切换操作来输出所述切换控制信号。
3.根据权利要求1所述的图像拾取设备，其中：
当打开/关闭车辆的刹车灯时，所述控制单元输出所述切换控制信号。
4.根据权利要求1所述的图像拾取设备，其中：
当打开/关闭车辆的尾灯时，所述控制单元输出所述切换控制信号。
5.根据权利要求1所述的图像拾取设备，其中：
所述图像传感器是高灵敏度的单色图像传感器；并且
在照射颜色分量时，通过将所述图像传感器的输出分配到对应于所述颜色分量的通道而获得彩色图像。
6.根据权利要求1至5中任一项所述的图像拾取设备，其中：
所述倍率色像差校正单元不对与特定颜色分量相对应的图像执行所述坐标变换，而是仅对与除所述特定颜色分量之外的颜色分量相对应的图像执行所述坐标变换。
7.根据权利要求6所述的图像拾取设备，其中：
所述倍率色像差校正单元基于与除所述特定颜色分量之外的颜色分量相对应的图像的坐标值来获取校正量，并且基于所述校正量对与除所述特定颜色分量之外的颜色分量相对应的图像执行所述坐标变换。
8.根据权利要求7所述的图像拾取设备，其中：
所述倍率色像差校正单元通过将所述坐标值乘以预定增益来调节与除所述特定颜色分量之外的颜色分量相对应的图像。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008-061180 | 2008-03-11 | ||
| JP2008061180A JP2009218909A (ja) | 2008-03-11 | 2008-03-11 | 画像撮像装置 |
| JP2008061180 | 2008-03-11 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101534385A CN101534385A (zh) | 2009-09-16 |
| CN101534385B true CN101534385B (zh) | 2011-09-21 |
Family
ID=40793246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200910127340XA Expired - Fee Related CN101534385B (zh) | 2008-03-11 | 2009-03-10 | 图像拾取设备 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8384761B2 (zh) |
| EP (1) | EP2104363B1 (zh) |
| JP (1) | JP2009218909A (zh) |
| CN (1) | CN101534385B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5273371B2 (ja) | 2008-12-24 | 2013-08-28 | 株式会社リコー | 画像処理装置及び方法、並びに車載カメラ装置 |
| JP5267794B2 (ja) | 2008-12-26 | 2013-08-21 | 株式会社リコー | 画像処理装置及び車載カメラ装置 |
| US8624999B2 (en) | 2009-12-01 | 2014-01-07 | Ricoh Company, Ltd. | Imaging apparatus |
| US20120224764A1 (en) * | 2011-03-03 | 2012-09-06 | Chi Pei Weng | Method for color recognition |
| JP5585885B2 (ja) | 2011-03-18 | 2014-09-10 | 株式会社リコー | 画像処理装置及び画像処理方法 |
| JP5700246B2 (ja) * | 2011-03-18 | 2015-04-15 | 株式会社ニコン | 撮像装置 |
| JP6417666B2 (ja) | 2013-05-15 | 2018-11-07 | 株式会社リコー | 画像処理システム |
| TWI594632B (zh) * | 2013-12-31 | 2017-08-01 | 佳能企業股份有限公司 | 一種影像補正參數的設定方法、電子裝置、電子裝置可讀取的儲存媒體與應用於電子裝置的程式 |
| JP6695669B2 (ja) * | 2015-09-28 | 2020-05-20 | 株式会社メガチップス | 画像処理回路 |
| JP6773441B2 (ja) * | 2016-04-01 | 2020-10-21 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
| JP6773442B2 (ja) * | 2016-04-01 | 2020-10-21 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
| JP6773439B2 (ja) * | 2016-04-01 | 2020-10-21 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
| JP6773443B2 (ja) * | 2016-04-01 | 2020-10-21 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
| JP6773438B2 (ja) * | 2016-04-01 | 2020-10-21 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
| JP6773440B2 (ja) * | 2016-04-01 | 2020-10-21 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
| JP2019012915A (ja) * | 2017-06-30 | 2019-01-24 | クラリオン株式会社 | 画像処理装置、画像変換方法 |
| KR102581210B1 (ko) * | 2019-01-10 | 2023-09-22 | 에스케이하이닉스 주식회사 | 이미지 신호 처리 방법, 이미지 신호 프로세서 및 이미지 센서 칩 |
| US11694585B2 (en) | 2020-12-28 | 2023-07-04 | Ricoh Company, Ltd. | Display apparatus, display system, display control method, and non-transitory recording medium |
| CN115829867A (zh) * | 2022-11-25 | 2023-03-21 | 广州城建职业学院 | 基于标定的广角图像畸变和色差处理方法、装置和介质 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3699089B2 (ja) * | 1991-10-09 | 2005-09-28 | オリンパス株式会社 | 面順次撮像装置 |
| JPH05161145A (ja) * | 1991-10-09 | 1993-06-25 | Olympus Optical Co Ltd | 面順次撮像装置 |
| US5408268A (en) | 1992-06-26 | 1995-04-18 | Apollo Camera, L.L.C. | Video imaging system and method using a single full frame sensor and sequential color object illumination |
| US7245319B1 (en) * | 1998-06-11 | 2007-07-17 | Fujifilm Corporation | Digital image shooting device with lens characteristic correction unit |
| JP4165361B2 (ja) | 2003-10-07 | 2008-10-15 | ソニー株式会社 | 画像撮影装置、画像処理装置及びレンズ色収差補正方法 |
| JP4314103B2 (ja) * | 2003-11-27 | 2009-08-12 | 京セラ株式会社 | 車載カメラ |
| US7920200B2 (en) * | 2005-06-07 | 2011-04-05 | Olympus Corporation | Image pickup device with two cylindrical lenses |
| JP4596986B2 (ja) | 2005-06-07 | 2010-12-15 | オリンパス株式会社 | 画像撮像装置 |
| JP4553798B2 (ja) | 2005-06-07 | 2010-09-29 | オリンパス株式会社 | 画像撮像装置 |
| JP4596987B2 (ja) | 2005-06-07 | 2010-12-15 | オリンパス株式会社 | 画像撮像装置 |
| JP4596988B2 (ja) | 2005-06-07 | 2010-12-15 | オリンパス株式会社 | 画像撮像装置 |
| JP2007158628A (ja) * | 2005-12-02 | 2007-06-21 | Canon Inc | 撮像装置及び画像処理方法 |
| US8040412B2 (en) * | 2005-12-26 | 2011-10-18 | Panasonic Corporation | Imaging apparatus and image data correcting method |
| JP2008219328A (ja) | 2007-03-02 | 2008-09-18 | Nikon Corp | 画像処理装置、および画像処理プログラム |
-
2008
- 2008-03-11 JP JP2008061180A patent/JP2009218909A/ja active Pending
-
2009
- 2009-03-09 US US12/382,105 patent/US8384761B2/en not_active Expired - Fee Related
- 2009-03-10 CN CN200910127340XA patent/CN101534385B/zh not_active Expired - Fee Related
- 2009-03-11 EP EP09250685A patent/EP2104363B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP2104363A1 (en) | 2009-09-23 |
| CN101534385A (zh) | 2009-09-16 |
| JP2009218909A (ja) | 2009-09-24 |
| EP2104363B1 (en) | 2012-06-20 |
| US20090231416A1 (en) | 2009-09-17 |
| US8384761B2 (en) | 2013-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101534385B (zh) | 图像拾取设备 | |
| CN102265600B (zh) | 图像处理设备和车载照相机设备 | |
| CN101534384B (zh) | 图像处理方法，图像处理设备和图像捕捉设备 | |
| CN101448168B (zh) | 图像摄像设备 | |
| CN101527858B (zh) | 图像处理方法、图像处理设备以及图像摄像设备 | |
| CN101540919B (zh) | 成像装置 | |
| US7450166B2 (en) | Digital signal processing apparatus in image sensor | |
| CN101500077B (zh) | 图像处理方法、图像处理装置、以及成像装置 | |
| CN103327342B (zh) | 具有透明滤波器像素的成像系统 | |
| US6888568B1 (en) | Method and apparatus for controlling pixel sensor elements | |
| CN101621623B (zh) | 成像装置 | |
| US7133073B1 (en) | Method and apparatus for color interpolation | |
| CN101500088B (zh) | 图像处理方法、图像处理设备和成像设备 | |
| CN101505368B (zh) | 逐行到隔行转换方法、图像处理装置、成像装置 | |
| CN100566375C (zh) | 图像处理装置、方法和输出装置、摄像装置 | |
| CN101510944A (zh) | 图像处理方法、图像处理装置以及成像装置 | |
| CN106067935B (zh) | 图像拾取装置、图像拾取系统和信号处理方法 | |
| US11381714B2 (en) | Image processing device and image processing system | |
| CN104038745A (zh) | 固体摄像装置 | |
| US20020186223A1 (en) | Image processing apparatus and image processing system | |
| CN101500074A (zh) | 影像校正方法、影像校正单元及应用其的影像撷取装置 | |
| US20230388661A1 (en) | Integrated circuit with multi-application image processing | |
| CN105391994A (zh) | 固体摄像装置以及信号处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110921 Termination date: 20170310 |