CN101534384A - 图像处理方法、图像处理设备和图像捕捉设备 - Google Patents

图像处理方法、图像处理设备和图像捕捉设备 Download PDF

Info

Publication number
CN101534384A
CN101534384A CN200910118452A CN200910118452A CN101534384A CN 101534384 A CN101534384 A CN 101534384A CN 200910118452 A CN200910118452 A CN 200910118452A CN 200910118452 A CN200910118452 A CN 200910118452A CN 101534384 A CN101534384 A CN 101534384A
Authority
CN
China
Prior art keywords
color component
image
multiplying power
chromatic aberation
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910118452A
Other languages
English (en)
Other versions
CN101534384B (zh
Inventor
笠原亮介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN101534384A publication Critical patent/CN101534384A/zh
Application granted granted Critical
Publication of CN101534384B publication Critical patent/CN101534384B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及图像处理方法，图像处理设备和图像捕捉设备。图像处理方法用于处理通过使用具有广角和大倍率色像差的光学系统捕捉到的图像，其中通过不对特定颜色分量的图像进行坐标变换而只对除了特定颜色分量之外的颜色分量的图像进行坐标变换来进行倍率色像差校正。图像处理设备用于处理通过使用具有广角和大倍率色像差的光学系统捕捉到的图像，该图像处理设备包括倍率色像差校正设备，该倍率色像差校正设备用于通过不对特定颜色分量的图像进行坐标变换而只对除了特定颜色分量之外的颜色分量的图像进行坐标变换来进行倍率色像差校正。

Description

图像处理方法，图像处理设备和图像捕捉设备
技术领域
本发明涉及一种图像处理方法，图像处理设备和图像捕捉设备。
背景技术
近年来，一直存在提供诸如用作车辆的倒车监视器(back monitor)等广角图像捕捉设备的需求。然而，随着角度变得更宽，倍率色像差或失真也会随之增大。结果，很难设计出一种具有小像差的光学系统。出于这个原因，需要通过组合图像处理与图像捕捉操作以提高性能。
作为使用具有特定倍率色像差或失真的光学系统的图像捕捉设备中的现有像差校正技术，提供了一种对R(红色)、G(绿色)、B(蓝色)信号应用坐标变换的方法，其中R(红色)、G(绿色)、B(蓝色)信号是利用诸如CCD或CMOS传感器等图像捕捉设备所获取的，并且在后续阶段对于每个RGB颜色分量独立地执行上述变换，从而同时校正倍率色像差和失真；或者提供了一种方法，其中忽略了倍率色像差，通过对所有的RBG颜色分量应用坐标变换而只校正失真(例如，参见JP-A-2006-345054)。
在对每个RGB颜色分量独立地执行上述变换以同时校正倍率色像差和失真的现有方法中，对于每个RGB颜色分量需要例如SRAM或多端口存储器的具有大容量和随机访问时小等待时间的存储器。然而，特别是在高分辨率需要大容量的情况下，大容量SRAM或具有多端口的存储器非常贵，相应地，设备的价格已经非常高。
同时，对每个RGB颜色分量应用共同坐标变换从而只校正失真的方法要求大容量存储器并且可以使用DRAM等，其中在DRAM等中一个芯片或组件的价格很低，但是如果在广角几乎不忽略倍率色像差则不可用DRAM等。
尽管在所有的RGB颜色分量中失真是均匀的，但颜色分量中的倍率色像差不同。进一步地，倍率色像差比失真小。因此，优选地分开校正倍率色像差和失真。
同时，对于倍率色像差的校正通常需要用于每个颜色分量的独立的校正电路，为了降低成本可能需要在最小电路规模上校正倍率色像差。
发明内容
根据本发明的一方面，提供了一种图像处理方法，用于处理通过使用具有广角和大倍率色像差的光学系统捕捉到的图像，其中通过不对特定颜色分量的图像进行坐标变换而只对除了特定颜色分量之外的颜色分量的图像进行坐标变换来进行倍率色像差校正。
根据本发明的另一方面，提供了一种图像处理设备，用于处理通过使用具有广角和大倍率色像差的光学系统捕捉到的图像，该图像处理设备包括倍率色像差校正设备，该倍率色像差校正设备用于通过不对特定颜色分量的图像进行坐标变换而只对除了特定颜色分量之外的颜色分量的图像进行坐标变换来进行倍率色像差校正。
根据本发明的再一方面，提供了一种图像捕捉设备，包括：具有广角并且至少具有大倍率色像差的光学系统；图像捕捉元件，用于读取通过光学系统捕捉到的图像；以及如上所述的图像处理设备。
附图说明
图1是说明根据本发明一个例子的图像捕捉设备的全局功能的框图；
图2A、2B和2C是说明分别用于G信号、R信号和B信号的拜耳格式彩色滤波器的图；
图3是说明MTF校正部的配置的示意图；
图4是说明FIR滤波器的一个例子的图；
图5是说明倍率色像差和失真的图；
图6是说明同时校正倍率色像差和失真的图；
图7A和图7B是说明分别校正倍率色像差和失真的图；
图8是说明倍率色像差校正部的配置的一个例子的图；
图9是说明示出了倍率色像差校正-坐标变换操作部的配置的第一例子的图；
图10是说明示出了倍率色像差校正-坐标变换操作部的配置的第二例子的图；
图11是说明示出了倍率色像差校正-坐标变换操作部的配置的第三例子的图；
图12是说明示出了倍率色像差校正-坐标变换操作部的配置的第四例子的图；
图13是说明示出了倍率色像差校正-坐标变换操作部的配置的第五例子的图；
图14是说明示出了倍率色像差校正-坐标变换操作部的配置的第六例子的图；和
图15是说明失真校正部的配置的一个例子的图。
具体实施方式
下面将描述本发明的至少一个实施例。
本发明的实施例涉及用于处理通过具有广角和大倍率色像差的光学系统捕捉的图像的图像处理方法、图像处理设备和图像捕捉设备，并且特别涉及用于校正捕捉到的图像的倍率色像差的技术。
发明人构思了提供能够在最小电路规模上校正倍率色像差而不降低校正性能的图像处理方法和图像处理设备。
发明人也构思了在最小电路规模上安装用于进行倍率色像差校正的图像处理设备以提供低成本图像捕捉设备。
在本发明的一个实施例中，通过使用具有广角和大倍率色像差的光学系统来捕捉图像，并通过不对特定颜色分量的图像进行坐标变换而只对除了特定颜色分量之外的颜色分量的图像进行坐标变换来进行倍率色像差校正。这里，例如，特定颜色分量可以是绿色(G)和除了红色(R)和蓝色(B)之外的颜色分量。因此，特定颜色分量不需要校正电路，从而可以减小电路规模。
进一步地，基于特定颜色分量的图像的坐标可以获取校正量，并且可以基于校正量对除了特定颜色分量之外的颜色分量的图像进行坐标变换。因此，可以进一步地减小电路规模。此外，可以通过进一步地用坐标值乘以预定增益来调节除了特定颜色分量之外的颜色分量的图像。因此，可以调节倍率色像差的不对称位移。
进一步地，在本发明的一个实施例中，可以通过进一步地获得对每个颜色分量共同的失真的校正量并分别将失真的校正量加到每个颜色分量的图像的坐标值上来同时进行倍率色像差校正和失真校正，并且可以在倍率色像差校正后对每个颜色分量分开进行共同的失真校正。因此，可以处理使用具有大倍率色像差和失真的光学系统捕捉到的图像。
由于根据本发明实施例的图像处理方法和图像处理设备，可以在最小电路规模执行倍率色像差校正。因此，由于根据本发明实施例的图像捕捉设备，可以进行进一步的成本缩减。
接下来，参考附图描述本发明的一个实施例。该实施例是使用具有广角和大倍率色像差的光学系统来捕捉对象的图像的图像捕捉设备，其中图像处理系统具有不但校正倍率色像差而且校正失真的配置，然而，该实施例的一个特征是倍率色像差校正并且其中仅仅对于通过使用具有至少广角和大倍率色像差的光学系统捕捉的图像是必要的。进一步地，图像的颜色分量是根据加法三原色的红色(R)、绿色(G)和蓝色(B)，然而，也可以是根据减法三原色的黄色(Y)、红紫色(M)和蓝绿色(C)。
图1是说明应用了本发明一个实施例的图像捕捉设备中的图像处理系统的功能的框图。图像捕捉设备还包括在图1中省略的操控部、图像存储部、图像显示部等。图像捕捉设备用作例如车载相机，当然，其用途并不限于此。
在图1中，控制部100向设备中的每个部提供所需的控制信号(时钟、水平/垂直同步信号等)，从而按照流水线方式控制每个部的操作。
图像捕捉元件110由例如用来将使用具有广角和大倍率色像差和失真(图未示)的光学系统捕捉到的光学图像转换为电信号(图像数据)的CCD、CMOS传感器等组成。图像捕捉元件110具有拜耳格式彩色滤波器，并基于从控制部100提供的坐标值(x，y)顺序地输出拜耳格式的RGB图像数据。进一步地，通过使用预定时间偏差，控制部100将提供给图像捕捉元件110的坐标值(x，y)顺序地提供到后续阶段。此外，当输入时钟和水平/垂直同步信号时，可以在图像捕捉元件110中生成坐标值(x，y)，并且从图像捕捉元件110将这些坐标值顺序地提供给后续阶段。
A/D转换器120将作为从图像捕捉元件110输出的模拟信号的拜耳格式的RGB图像数据转换成数字信号，并且将所得到的数字信号发送到拜耳补充(Bayer complementary)部130。例如，对于每个RGB，数字信号可以由8比特来表示。通常，在A/D转换器120之前的阶段设置有AGC电路，但是在这里省略了AGC电路。
拜耳补充部130接收已被转换成数字信号的拜耳格式的RGB图像数据，然后通过线性补充对每个RGB颜色独立地生成所有坐标位置的图像数据(像素数据)，随后将图像数据发送到倍率色像差校正部140。
图2A、2B和图2C说明了拜耳格式彩色滤波器。G0从如下的等式中得到。
G0＝(G2+G4+G6+G8)/4         (1)
进一步，R2、R4、R6、R8、R0从如下的等式中得到。
R2＝(R1+R3)/2               (2)
R4＝(R3+R5)/2               (3)
R6＝(R5+R7)/2               (4)
R8＝(R1+R7)/2               (5)
R0＝(R1+R3+R5+R7)/4         (6)
B2、B4、B6、B8和B0与上述R2、R4、R6、R8和R0的情况是相同的，因此不再进一步描述。
此外，尽管在本例中已经描述了具有拜耳格式的彩色滤波器的图像捕捉元件，然而，具有诸如CMYG阵列或RGB+Ir(红外)格式的另一种彩色滤波器格式的图像捕捉元件也是有效的。因此与具有例如RGB类型的三种颜色类型相比，对于在具有四种颜色的滤波器格式的图像捕捉元件中的倍率色像差校正需要具有更低等待时间或4端口RAM的存储器。
倍率色像差校正部140接收已经经过了拜耳补充后的RGB图像数据的输入，然后通过使用预定多项式等对每种RGB颜色分量独立地应用坐标变换(倍率色像差坐标变换)，并输出经过了倍率色像差校正后的RGB图像数据。下面将详细描述倍率色像差校正部140，对于倍率色像差校正的坐标信息，倍率色像差校正部140可以使用具有低容量和低等待时间的存储器或具有低容量和多端口的存储器(例如SRAM)。进一步，可以通过应用该例子缩小坐标变换操作部的电路规模。
MTF校正部150接收经过了倍率色像差校正后的RGB图像数据的输入，并利用FIR滤波器对RGB图像数据执行MTF校正处理，从而输出经过了MTF校正后(增强的高频率)的RGB图像数据。
图3是说明MTF校正部150的配置的示意图。转换部152基于下列公式将RGB图像数据转换成YCbCr像素数据。
Y＝0.299R+0.587G+0.114B            (7)
Cr＝0.500R-0.419G-0.081B           (8)
Cb＝-0.169R-0.332G+0.500B          (9)
FIR滤波器(5×5滤波器)154仅接收YCbCr信号当中的Y亮度信号的输入，并且进行预定的MTF校正处理。通过只对Y信号执行滤波(MTF校正)，可以获得颜色噪声的放大被抑制的高质量图像。图4说明了FIR滤波器系数的一个例子。
逆转换部156接收CbCr信号和经过了MTF校正后的Y信号的输入，基于下列公式对上述信号进行逆转换，然后输出RGB图像数据。
R＝Y+1.402Cr               (10)
G＝Y-0.714Cr-0.344Cb       (11)
B＝Y+1.772Cb               (12)
失真校正部160接收经过了倍率色像差校正和MTF校正后的RGB图像数据的输入，然后使用预定的多项式对RGB中的每一种颜色分量执行相同的坐标变换(失真坐标变换)，并且输出经过了失真校正后的RGB图像数据。对于失真校正部160中的坐标变换，尽管存储器容量(最多对于1个图像)比用于倍率色像差校正的存储器的容量大，但是由于只需要1个端口，因此可以使用具有高等待时间的存储器(例如DRAM)。下面将会详细地描述失真校正部160。
伽马校正部170接收从失真校正部160输出的RGB图像数据的输入，通过使用为RGB中的每一个所提供的查询表等应用预定的伽马校正，并且输出经过了伽马校正后的RGB图像数据。从伽马校正部170输出的图像数据被发送到显示部(图中未示出)并在监视器上显示出来。
尽管上面描述了图1中说明的实施例的全局操作，下面将会详细描述倍率色像差校正部140和失真校正部160。首先，将描述倍率色像差校正和失真校正的原理。
图5示意性地示出了，当使用具有倍率色像差和失真的光学系统进行成像时，由于失真造成在屏幕的右上角处由1表示的位置(像素)处的图像数据(像素数据)从原始位置处被移位，并且由于倍率色像差造成RGB中的每个颜色分量都被不同地移动，从而由图像捕捉元件成像的RGB的位置实际上分别是位置2(R)、3(G)、以及4(B)。通过将位置(像素)2(R)、3(G)、以及4(B)处的RGB中的每个颜色分量的图像数据复制到作为原始位置的位置(像素)1处，即通过执行坐标变换，可校正倍率色像差和失真。这里，位置2、3、4被称为坐标变换之后的坐标，而位置1被称为坐标变换之前的坐标。
由于可以从光学系统的设计数据已知失真的程度和倍率色像差的程度，因此可以计算出RGB中的每个颜色分量将会从原始位置被移动到的位置。
图6示意性地说明了同时校正倍率色像差和失真的方法。即，通过将位置(像素)2(R)、3(G)、以及4(B)处的每个颜色分量RGB的图像数据复制，即对其执行坐标变换，到作为原始位置的位置(像素)1处，可同时校正倍率色像差和失真。然而，上述方法需要对于RGB中的每一种颜色分量都具有大容量的存储器，和低等待时间或多个端口的存储器。例如，在图6的情况下，对于RGB中的每一种颜色分量而言都需要使用高速六行存储器以执行坐标变换。进一步，对于RGB中的每一种颜色分量，可能需要坐标变换操作电路或坐标变换表(LUT)。
图7A和图7B示意性地说明了分开地校正倍率色像差(图7A)和失真(图7B)的方法。颜色分量的倍率色像差彼此不同，但是由此导致的位移小。另一方面，失真导致的位移大，但是对于每种颜色分量是相等的。由于注意到该情况，RGB中的各种颜色分量的图像数据都要经过坐标变换以校正倍率色像差，随后，经过倍率色像差校正后的所有RGB图像数据都要进行坐标变换，从而校正失真。因此，可将用于坐标变换的存储器分为对RGB执行倍率色像差校正所需的、小容量并且高速(低等待时间或多个端口)的存储器，以及对RGB执行失真校正通常所需的、大容量并且低速(高等待时间或单个端口)的存储器，从而可以降低整体成本。
进一步，由于倍率色像差的缘故，R和B颜色分量通常会以G颜色分量为中心而彼此几乎对称地位移。因此，可通过只对R和B颜色分量执行坐标变换并将它们复制到G分量的位置处而实现倍率色像差校正。因此，只有R和B颜色分量需要用于倍率色像差校正的坐标变换操作电路或坐标变换表(LUT)，从而进一步降低整体成本。
图7A示意性说明了倍率色像差校正，其中对位置(像素)2(R)和4(B)处的R和B颜色分量的图像数据执行坐标变换，将这些分量复制到G分量的位置(像素)3(G)处。通过上述操作校正倍率色像差。图7B示意性地说明了失真校正，其中对经过了倍率色像差校正后的并且位于位置(像素)3(G)处的R、G、B颜色分量的所有图像数据进行坐标变换，并将R、G、B颜色分量的图像数据复制到作为原始位置的位置(像素)1处。通过上述操作校正失真。
在图7A和图7B所示的示例中，用于每个RGB的三行存储器可满足用于倍率色像差校正的高速存储器。此外，尽管失真校正需要五行存储器，但RGB共用的低速存储器也可满足需要，从而与图6所示的情况相比较，可降低整体成本。进一步，只有R和B颜色分量需要使用用于倍率色像差校正的坐标变换算术电路或坐标变换表(LUT)，从而可进一步降低整体成本。
此外，这里所谓的失真表示关于期望的投影(projection)方式的透镜失真，其中，期望的投影方式可例如是用来通过相机获取从顶部观察到的图像的投影方式，并且包括放大和部分显示的投影方式。
图8是说明倍率色像差校正部140的一个例子的图。
提供了：用于倍率色像差校正的坐标变换存储器(行缓冲器)142，其颜色分量分别对应于142(R)、142(G)和142(B)；倍率色像差校正-坐标变换操作部144，用于根据预定坐标变换公式对RGB中的每一种(实际上仅对R和G)计算用于倍率色像差校正的坐标变换；以及，坐标变换系数表146，用于保存在坐标变换公式中使用的系数。
对于倍率色像差校正操作，需要小容量但包括用于RGB的三个端口的存储器、或是具有低等待时间的存储器来作为行缓冲器(line buffer)。这里，假定由于倍率色像差引起的最大位移量是Y方向上的20行，各个坐标变换存储器142(R)、142(G)、142(B)都是由20行的SRAM组成。基于分辨率来确定X方向上的大小，例如，对于分辨率VGA(640×480)，则X方向上的大小是640点。当色彩深度对于RGB中的每个都是8比特时，则以8比特为单位将数据写入任意坐标变换存储器142(R)、142(G)、142(B)，或是以8比特为单位从任意坐标变换存储器142(R)、142(G)、142(B)中读取数据。
由于用于倍率色像差校正的坐标变换存储器(行缓冲器)142(R)、142(G)、142(B)具有小的容量，因此期望提供一种配置使得在图像捕捉设备的图像处理芯片中安装的3端口的SRAM用于确保具有20行的每个存储区。此外，在诸如SRAM的低等待时间的存储器的情况下，通过分时共享存储器，一个端口的存储器可用作三个端口的存储器。
根据坐标值(x，y)，从第一行开始将捕捉到的、具有倍率色像差和失真的图像中的RGB图像数据分别顺序地写入坐标变换存储器142(R)、142(G)、142(B)中。然后，每当写入了20行的图像数据时，从第一行开始顺序地擦除图像数据，并且作为替换，新写入后续行的图像数据。因而，将倍率色像差校正坐标变换所需的最大20行的RGB图像数据分别顺序地存储到坐标变换存储器142(R)、142(G)、142(B)当中。
这里，坐标值(x，y)表示读取捕捉到的图像的一帧的位置。同时，由于坐标变换存储器142(R)、142(G)、142(B)都是20行的行缓冲器，并且写入行循环地改变，因此坐标值(x，y)不能直接地被用作坐标变换存储器142(R)、142(G)、142(B)的写入地址。因此，需要将坐标值(x，y)转换成坐标变换存储器142(R)、142(G)、142(B)的实际地址，其中在图8中省略了该配置。这同样适用于在以下描述的读取操作中的变换后的坐标值(X，Y)与坐标变换存储器142(R)、142(G)、142(B)的读取地址之间的关系。
倍率色像差校正-坐标变换操作部144接收作为坐标变换之前的坐标的坐标值(x，y)的输入，然后根据诸如多项式的预定的坐标变换公式对RGB中的每一种计算为倍率色像差校正而变换的坐标，并且输出坐标值(X，Y)，作为RGB中的每一种的坐标变换之后的坐标。如图7A所示，用于倍率色像差校正的坐标变换只应用于R和B颜色分量，从而将它们复制到G颜色分量的位置处。因此，对于G颜色分量，倍率色像差校正-坐标变换操作部144将输入的坐标值(x，y)直接作为变换后的坐标值(X，Y)输出，对于R和B颜色分量中的每一种，倍率色像差校正-坐标变换操作部144使用预定的坐标变换公式将输入坐标值(x，y)变换成坐标值(X，Y)，从而输出变换后的坐标值(X，Y)。对于各组坐标值(x，y)，重复地执行该操作。
这里，当屏幕的中心是原点时，可以将坐标变换公式表示为例如：
X＝x+[a(1)+a(2)×abs(x)+a(3)×abs(y)+a(4)×y2]×x和
Y＝y+[b(1)+b(2)×abs(y)+b(3)×abs(x)+b(4)×x2]×y        (13)
其中，abs()指示绝对值，并且a(1)～a(4)和b(1)～b(4)都是坐标变换系数。坐标变换系数已经存储在坐标变换系数表146中。
与上面所描述的写入操作并行地(实际上在预定的延迟时间后)，基于从倍率色像差校正-坐标变换操作部144输出的坐标值(X，Y)(实际上是由坐标值(X，Y)转换提供的值)，坐标变换存储器142(R)、142(G)、142(B)顺序地读出RGB图像数据。在这种情况下，从坐标变换存储器142(G)中与写入时相同的位置处读出G颜色分量图像数据。另一方面，从坐标变换存储器142(R)和142(B)中与写入时的位置具有预定位置位移的位置处(即由倍率色像差导致位移的位置处)读出RB颜色分量图像数据。
在上述处理中，坐标变换存储器142(R)、142(G)、142(B)输出经过了倍率色像差校正后的RGB图像数据。即，基于坐标变换之前的坐标值(x，y)上的RGB图像数据输出坐标变换之后的坐标值(X，Y)上的RGB图像数据。
图9至图13说明了倍率色像差校正-坐标变换操作部144的配置的一些例子。此外，尽管这里G颜色分量被用作基础，但R或B也可被用作基础。
图9说明了一个特定例子，在该例子中，仅对R和B的颜色分量，使用公式(13)等分别通过坐标变换操作部1441和1442变换输入坐标值(x，y)，以输出坐标变换之后的R(X，Y)的坐标值和B(X，Y)的坐标值，而G颜色分量没有经过坐标变换，因此直接地将输入坐标值(x，y)作为坐标变换之后坐标值(X，Y)输出。由于仅需要向R颜色分量和B颜色分量提供坐标变换操作部，因此电路规模可以很小。
在图10和图11中，注意到倍率色像差，该倍率色像差是R和B颜色分量以G为中心的基本上彼此对称的位移(参见图7A)。这里，图10说明了一个特定例子，在该例子中，坐标变换操作部1443获取坐标值(x，y)的校正量(位移量)。减法部1444通过从坐标值(x，y)减去校正量而提供的值是B(X，Y)的坐标值，而加法部1445通过将校正量加到坐标值(x，y)而提供的值是R(X，Y)的坐标值。与图9相类似，对于G(x，y)的坐标值，直接将坐标值(x，y)输出。图11说明了对于对称位置的位移之间的差异，通过增益电路1446来进一步调节R的校正量。此外，可在B侧设置增益电路。根据图10和图11所示的特定例子，只需要一个坐标变换操作部，因此可进一步减小电路规模。
上述配置可以类似地用于除了R、G和B像素之外还具有Ir像素并且能捕捉红外区域等的传感器。在这种情况下，例如如图12所示，向图11说明的配置增加用于Ir的增益电路1461和加法部1462，从而可以通过一个坐标变换操作部1443计算B的坐标值以及通过增益计算R和Ir的坐标值，因此，在传统上需要三个坐标变换操作部的条件下，只需要一个坐标变换操作部，从而可以进一步减小电路规模。
图13和图14说明了同时进行倍率色像差校正和失真校正的配置的例子。在这些情况下，不需要如下所述的失真校正部160。
图13是一个特定例子，在该例子中，坐标变换操作部1447通过使用预定多项式等获得对于RGB共同的失真的校正量(位移量)，在加法部1448将校正量加到坐标值(x，y)，同时加法部1448的输出是G(X，Y)的坐标值以及减法部1444和加法部1445的输入中的一个。坐标变换操作部1443、减法部1444和加法部1445的操作和图10所示的相似。根据图13所示的配置，每个RGB(X，Y)的坐标值表示对于倍率色像差和失真的校正量的坐标变换之后的坐标。
图14是一个特定例子，在该例子中，坐标变换操作部1447通过使用预定多项式等相似地获得对于RGB共同的失真的校正量(位移量)，在加法部1449将加法部1445的输出加到坐标变换操作部1447的输出而提供的值是R(X，Y)的坐标值，同时在加法部1450将输入坐标值(X，Y)加到坐标变换操作部1447的输出而提供的值是G(X，Y)的坐标值，并且在加法部1451将减法部1444的输出加到坐标变换操作部1447的输出而提供的值是B(X，Y)的坐标值。与图13的情况相似，根据图14所示的配置，每个RGB(X，Y)的坐标值表示对于倍率色像差和失真的校正量的坐标变换之后的坐标。
这里，替代图9中的坐标变换操作部1441和1442，可以提供查询表(LUT)，在该LUT中存储了每个R和B颜色分量的输入坐标值(x，y)和输出坐标值(X，Y)之间的对应关系，并且可以通过使用LUT直接获得和坐标变换之前的坐标值(x，y)相对应的坐标变换之后的坐标值(X，Y)。相似地，替代图10至图14中的坐标变换操作部1443至1447，可以提供查询表(LUT)，在该LUT中存储了输入坐标值(x，y)和校正量之间的对应关系，并且可以通过使用LUT直接获得和坐标值(x，y)相对应的校正量。因此，可以省略对坐标变换的计算，并且基本上可以只通过存储器芯片实现倍率色像差校正、或倍率色像差和失真校正。
下面，图15是说明失真校正部160的配置的一个例子。如上所述，当在倍率色像差校正部140中使用图13或图14所示的坐标变换操作部时，不需要失真校正部160。在图15中，说明了用于将RGB三种图像数据组合到一组数据的RGB组合部161、用于RGB数据共同的失真校正的坐标变换存储器162、用于将组合后的RGB图像数据分离成原始颜色分量的RGB分离部163、用于根据预定坐标变换公式计算用于对组合后的RGB图像数据进行失真校正的坐标变换的失真校正-坐标变换操作部164、以及用来保存坐标变换公式中使用的系数的坐标变换系数表165。
由于失真导致的像素位移大，对于失真校正操作需要用于存储最大一个屏幕的图像数据的缓冲存储器。同时，对于所有RGB颜色分量而言该位移量都相同，因此具有RGB图像数据的总比特宽度的仅仅一个缓冲存储器即可满足需要。这里，假设分辨率是VGA(640×480)并且RGB图像数据中的每一个的比特数目(色彩深度)假设都是8比特，同时假设坐标变换存储器162是由以24比特作为单位执行写入/读取的、640×480点的DRAM组成。
因而，由于用于失真校正的坐标变换存储器162需要具有非常大的容量，并且从成本角度而言很难将SRAM包含在图像处理芯片中，而一个端口的存储器也可满足RGB的需要，因此期望使用提供在图像处理芯片之外的DRAM。
RGB组合部161顺序地接收经过了倍率色像差校正后的RGB图像数据中的每个(每个都具有8比特)的输入，并将它们组合成一组图像数据(24比特)用于输出。根据坐标值(x，y)，从第一行开始将组合的RGB图像数据顺序地写入坐标变换存储器162。
同时，失真校正坐标变换操作部164接收坐标变换之前的坐标值(x，y)的输入，根据诸如多项式的预定坐标变换公式计算RGB共有的、用于失真校正的坐标变换，并且输出坐标变换之后的坐标值(X，Y)。可使用和上述倍率色像差校正相同的公式(13)表示该坐标变换公式。然而，当然所使用的坐标变换系数是不同的。该坐标变换系数已经保存在坐标变换系数表165当中。
如上所述，用于失真校正的坐标变换公式可以是与用于倍率色像差校正的公式相同的坐标变换公式(13)，并且如果将倍率色像差校正中的计算结果(该结果可以保存在存储器等中)用于公式(13)中所使用的项x2、y2、abs(x)、以及abs(y)，则无需再次计算这些项，因此可以减小失真校正坐标变换操作部164的电路规模。
与上述组合的RGB图像数据(24比特)的写入操作并行地(实际上在预定的延迟时间后)，坐标变换存储器162基于从失真校正坐标变换操作部164输出的坐标值(X，Y)顺序地读出组合的RGB图像数据。RGB分离部163将从坐标变换存储器162读出的组合的RGB图像(24比特)分离成每个RGB颜色分量的原始图像数据(8比特)。
在上述处理中，从RGB分离部163输出经过了倍率色像差校正和失真校正后的每个RGB图像数据。即，每个RGB图像数据被复制到原始位置(x，y)处。
此外，还可提供用于失真校正操作的查询表(LUT)，在该LUT中存储了输入坐标值(x，y)和输出坐标值(X，Y)之间的对应关系，并且可以从LUT直接地获得和坐标变换之前的坐标值(x，y)相对应的坐标变换之后的坐标值(X，Y)。因此，可以省略用于坐标变换的计算并且可以基本上只使用存储器芯片即可实现失真校正。
尽管参考附图已经描述了本发明的说明性实施例和特定例子，但本发明并不限于任意的说明性实施例和特定例子，在不偏离本发明的范围的前提下可以对说明性实施例和特定例子进行改变、修改或组合。
本申请主张基于在2009年3月10日向日本专利局提交的日本优先权专利申请No.2008-059704的优先权的权益，并且该优先权文件的全部内容通过参考包括于此。

Claims (13)

1.一种图像处理方法，用于处理通过使用具有广角和大倍率色像差的光学系统捕捉到的图像，其中，通过不对特定颜色分量的图像进行坐标变换而只对除了特定颜色分量之外的颜色分量的图像进行坐标变换来进行倍率色像差校正。
2.根据权利要求1所述的图像处理方法，其中，基于特定颜色分量的图像的坐标获得校正量，并且基于校正量对除了特定颜色分量之外的颜色分量的图像进行坐标变换。
3.根据权利要求2所述的图像处理方法，其中，通过进一步用预定增益乘以坐标值来调节除了特定颜色分量之外的颜色分量的图像。
4.根据权利要求2所述的图像处理方法，其中，通过进一步地获得对每个颜色分量共同的失真的校正量并且分别将失真的校正量加到每个颜色分量的图像的坐标值来同时进行倍率色像差校正和失真校正。
5.根据权利要求1所述的图像处理方法，其中，在进行倍率色像差校正后对每个颜色分量的图像分开进行共同的失真校正。
6.根据权利要求2所述的图像处理方法，其中，特定颜色分量是绿色(G)和除了红色(R)和蓝色(B)之外的颜色分量。
7.一种图像处理设备，用于处理通过使用具有广角和大倍率色像差的光学系统捕捉到的图像，所述图像处理设备包括倍率色像差校正设备，所述倍率色像差校正设备用于通过不对特定颜色分量的图像进行坐标变换而只对除了特定颜色分量之外的颜色分量的图像进行坐标变换来进行倍率色像差校正。
8.根据权利要求7所述的图像处理设备，其中，倍率色像差校正设备基于特定颜色分量的图像的坐标获得校正量，并且基于校正量对除了特定颜色分量之外的颜色分量的图像进行坐标变换。
9.根据权利要求8所述的图像处理设备，其中，倍率色像差校正设备通过用预定增益乘以坐标值来调节除了特定颜色分量之外的颜色分量的图像。
10.根据权利要求8所述的图像处理设备，其中，倍率色像差校正设备通过进一步地获得对每个颜色分量共同的失真的校正量并且分别将失真的校正量加到每个颜色分量的图像的坐标值来同时进行倍率色像差校正和失真校正。
11.根据权利要求7所述的图像处理设备，进一步包括在倍率色像差校正设备之后的失真校正设备，所述失真校正设备用于对每个颜色分量的图像分开进行共同的失真校正。
12.根据权利要求8所述的图像处理设备，其中，特定颜色分量是绿色(G)和除了红色(R)和蓝色(B)之外的颜色分量。
13.一种图像捕捉设备，包括：具有广角并且至少具有大倍率色像差的光学系统；图像捕捉元件，用于读取通过光学系统捕捉到的图像；以及，根据权利要求7所述的图像处理设备。
CN200910118452.9A 2008-03-10 2009-03-09 图像处理方法，图像处理设备和图像捕捉设备 Expired - Fee Related CN101534384B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008-059704 2008-03-10
JP2008059704A JP5078148B2 (ja) 2008-03-10 2008-03-10 画像処理装置及び画像撮像装置
JP2008059704 2008-03-10

Publications (2)

Publication Number Publication Date
CN101534384A true CN101534384A (zh) 2009-09-16
CN101534384B CN101534384B (zh) 2014-10-08

Family

ID=40810631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910118452.9A Expired - Fee Related CN101534384B (zh) 2008-03-10 2009-03-09 图像处理方法，图像处理设备和图像捕捉设备

Country Status (4)

Country Link
US (1) US8106973B2 (zh)
EP (1) EP2101295B1 (zh)
JP (1) JP5078148B2 (zh)
CN (1) CN101534384B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102306372A (zh) * 2011-07-12 2012-01-04 浙江大学 一种基于缨帽变换的遥感影像处理方法
CN102694973A (zh) * 2011-03-22 2012-09-26 佳能株式会社 摄像设备
CN106973217A (zh) * 2015-11-18 2017-07-21 奥林巴斯株式会社 图像合成处理装置、照相机以及图像合成处理方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5240453B2 (ja) * 2008-02-14 2013-07-17 株式会社リコー 画像処理方法、画像処理装置及び画像撮像装置
JP5078147B2 (ja) * 2008-03-04 2012-11-21 株式会社リコー 画像処理装置及び画像撮像装置
JP5273371B2 (ja) 2008-12-24 2013-08-28 株式会社リコー 画像処理装置及び方法、並びに車載カメラ装置
JP5267794B2 (ja) 2008-12-26 2013-08-21 株式会社リコー 画像処理装置及び車載カメラ装置
JP4796666B2 (ja) * 2009-10-27 2011-10-19 パナソニック株式会社 撮像装置およびそれを用いた測距装置
KR101635101B1 (ko) * 2009-11-19 2016-06-30 삼성전자주식회사 렌즈 왜곡과 색수차를 보정하는 장치 및 방법
US8624999B2 (en) 2009-12-01 2014-01-07 Ricoh Company, Ltd. Imaging apparatus
JP5570260B2 (ja) * 2010-03-23 2014-08-13 京セラ株式会社 撮像装置
CN102822863B (zh) * 2010-03-31 2015-11-25 佳能株式会社 图像处理设备和使用该图像处理设备的图像拾取设备
JP5585885B2 (ja) 2011-03-18 2014-09-10 株式会社リコー 画像処理装置及び画像処理方法
EP2725802A4 (en) 2011-06-23 2014-07-02 Panasonic Corp IMAGING DEVICE
US20130321675A1 (en) * 2012-05-31 2013-12-05 Apple Inc. Raw scaler with chromatic aberration correction
JP6417666B2 (ja) 2013-05-15 2018-11-07 株式会社リコー 画像処理システム
GB2547842B (en) * 2014-12-04 2020-09-16 Mitsubishi Electric Corp Image processing device and method, image capturing device, program, and record medium
US20200137380A1 (en) * 2018-10-31 2020-04-30 Intel Corporation Multi-plane display image synthesis mechanism

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19855885A1 (de) * 1997-12-04 1999-08-05 Fuji Photo Film Co Ltd Bildverarbeitungsverfahren und -vorrichtung
JP3549413B2 (ja) 1997-12-04 2004-08-04 富士写真フイルム株式会社 画像処理方法および画像処理装置
JP2000069343A (ja) * 1998-06-11 2000-03-03 Fuji Photo Film Co Ltd デジタル撮像装置
JP2001086332A (ja) * 1999-09-09 2001-03-30 Fuji Photo Film Co Ltd 画像処理装置
JP2003189169A (ja) * 2001-09-27 2003-07-04 Fuji Photo Film Co Ltd 画像処理装置
US7433089B2 (en) * 2001-09-27 2008-10-07 Fujifilm Corporation Image processor
JP4378994B2 (ja) * 2003-04-30 2009-12-09 ソニー株式会社 画像処理装置、画像処理方法ならびに撮像装置
JP4479457B2 (ja) * 2004-05-27 2010-06-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
CN1985266B (zh) * 2004-07-26 2010-05-05 奥普提克斯晶硅有限公司 全景视觉系统和方法
US7576767B2 (en) * 2004-07-26 2009-08-18 Geo Semiconductors Inc. Panoramic vision system and method
JP4553798B2 (ja) 2005-06-07 2010-09-29 オリンパス株式会社 画像撮像装置
JP4596987B2 (ja) 2005-06-07 2010-12-15 オリンパス株式会社 画像撮像装置
JP4596986B2 (ja) 2005-06-07 2010-12-15 オリンパス株式会社 画像撮像装置
JP4596988B2 (ja) 2005-06-07 2010-12-15 オリンパス株式会社 画像撮像装置
JP2007158628A (ja) * 2005-12-02 2007-06-21 Canon Inc 撮像装置及び画像処理方法
JP4709084B2 (ja) * 2006-07-07 2011-06-22 キヤノン株式会社 画像処理装置及び画像処理方法
JP2008059704A (ja) 2006-08-31 2008-03-13 Toshiba Corp 光ディスク記録再生装置及び光ディスク記録再生方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102694973A (zh) * 2011-03-22 2012-09-26 佳能株式会社 摄像设备
US8860852B2 (en) 2011-03-22 2014-10-14 Canon Kabushiki Kaisha Image capturing apparatus
CN102694973B (zh) * 2011-03-22 2015-04-01 佳能株式会社 摄像设备
CN102306372A (zh) * 2011-07-12 2012-01-04 浙江大学 一种基于缨帽变换的遥感影像处理方法
CN106973217A (zh) * 2015-11-18 2017-07-21 奥林巴斯株式会社 图像合成处理装置、照相机以及图像合成处理方法
CN106973217B (zh) * 2015-11-18 2019-09-03 奥林巴斯株式会社 图像合成处理装置、照相机以及图像合成处理方法

Also Published As

Publication number Publication date
EP2101295A1 (en) 2009-09-16
EP2101295B1 (en) 2011-12-28
CN101534384B (zh) 2014-10-08
US20090231472A1 (en) 2009-09-17
JP2009218802A (ja) 2009-09-24
JP5078148B2 (ja) 2012-11-21
US8106973B2 (en) 2012-01-31

Similar Documents

Publication Publication Date Title
CN101534384B (zh) 图像处理方法，图像处理设备和图像捕捉设备
CN101448168B (zh) 图像摄像设备
CN101540919B (zh) 成像装置
CN101527858B (zh) 图像处理方法、图像处理设备以及图像摄像设备
CN101500088B (zh) 图像处理方法、图像处理设备和成像设备
CN102265600B (zh) 图像处理设备和车载照相机设备
CN101534385B (zh) 图像拾取设备
CN101500077B (zh) 图像处理方法、图像处理装置、以及成像装置
CN101304484B (zh) 成像装置、缺陷像素校正装置、和装置中的处理方法
CN101621623B (zh) 成像装置
US8270757B2 (en) Image processing method, image processing apparatus, and imaging apparatus
CN101505368B (zh) 逐行到隔行转换方法、图像处理装置、成像装置
KR101265000B1 (ko) 화상 처리 방법 및 장치, 및 차량 탑재 카메라 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141008

Termination date: 20210309