CN101448168A - 图像摄像设备 - Google Patents

图像摄像设备 Download PDF

Info

Publication number
CN101448168A
CN101448168A CNA2008101786251A CN200810178625A CN101448168A CN 101448168 A CN101448168 A CN 101448168A CN A2008101786251 A CNA2008101786251 A CN A2008101786251A CN 200810178625 A CN200810178625 A CN 200810178625A CN 101448168 A CN101448168 A CN 101448168A
Authority
CN
China
Prior art keywords
coordinate transform
memory
ratio chromatism
coordinate
revisal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008101786251A
Other languages
English (en)
Other versions
CN101448168B (zh
Inventor
笠原亮介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN101448168A publication Critical patent/CN101448168A/zh
Application granted granted Critical
Publication of CN101448168B publication Critical patent/CN101448168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本发明涉及使用倍率色差、畸变像差大的广角光学系统的图像摄像装置，能够实现降低倍率色差校正与畸变像差校正用坐标转换所需存储器的成本。倍率色差校正处理与畸变像差校正处理分开实行。在倍率色差校正部140，分别使用容量小、等待时间短的存储器或使用容量大、多端口的SRAM等存储器，对RGB各颜色分量的像素数据实行坐标转换，以校正倍率色差。另一方面，在畸变像差校正部160，使用容量大、等待时间长的存储器或使用容量大、单端口的DRAM等存储器，对倍率色差校正后的RGB各颜色分量的像素数据一起实行坐标转换，以校正畸变像差。

Description

图像摄像设备
技术领域
本发明涉及以广角之倍率色差和畸变像差(失真)大的光学系统来获得所拍摄图像的图像摄像设备，尤其对所取得的图像的倍率色差以及畸变像差实行补正的技术。
背景技术
近年，用于车辆后监视器等的广角摄像设备的需求不断增大。但因为角度越大，其倍率色差和畸变像差就越大，因而难以设计像差小的光学系统，所以，需要结合图像处理来提高其性能。一般来说，畸变像差在RGB的各颜色成分中是共通的，但倍率色差在RGB各颜色成分中各不相同。另外，畸变像差要比倍率色差大。
在使用具有倍率色差与畸变像差的光学系统的摄像设备中，作为现有的像差补正技术，有通过CCD和CMOS传感器等摄像元件得到R(红)、G(绿)、B(蓝)信号，在后阶段分别对RGB各颜色成分各自实行独立的坐标变换，以同时补正倍率色差和畸变像差的方法，也有无视倍率色差，对RGB各颜色成分一起实行坐标变换，仅补正畸变像差的方法。(例如，参考专利文献1)。
专利文献1：特开2006-345054号公报
在现有技术中，通过独立地对RGB各颜色成分分别实行坐标变换，来同时补正倍率色差和畸变像差的方法时，需要能够独立地指定RGB各颜色成分地址的存储器，因而需要高价的3芯片构造的3端口的存储器。而且，由于实行坐标变换时需要随机存取，而倍率色差补正时需要3端口的随机存取，因此，在使用一般的1端口外部DRAM时，即使提高DRAM的驱动频率，通过分时操作将其作为3端口的RAM来使用，由于存取等待的问题，也无法增大用以提高分辨率和帧频的像素率。进而，在畸变像差补正中，需要能够存储1个画面的帧缓冲器等大容量的存储器。
也就是说，在分别对RGB各颜色成分实行独立的坐标变换，以同时补正倍率色差与畸变像差的方法中，需要与RGB各颜色对应，容量大且随机存取时等待时间短的存储器或多端口的存储器，例如SRAM。但是，容量大的SRAM，以及具有多个端口的存储器的价格非常高，特别是在需要大容量之高分辨率的情况下，设备的价格就会变得非常高。
另一方面，在对RGB各颜色成分共通地实行坐标变换，以仅补正畸变像差的方法中，也需要容量大的存储器，虽然可以使用由单芯片构成之价格便宜的DRAM等，但因为广角的原因不能无视倍率色差，所以也不能适用。
发明内容
本发明目的在于提供一种，即使对于高分辨率之高帧频的图像，也能以最低成本来实行倍率色差补正与畸变像差补正等功能的图像摄像设备。
本发明的技术方案1提供一种图像摄像设备，其获得由大倍率色差、大畸变像差的广角光学系统所拍摄的图像，其特征在于包括：倍率色差补正装置，其使用与若干颜色成分对应的若干第一坐标变换存储器，对每个所述若干颜色成分的像素数据分别进行坐标变换，以对所述获得的图像进行倍率色差补正；畸变像差补正装置，其使用若干颜色成分共通的第二坐标变换存储器，对所述若干颜色成分的像素数据一起实行坐标变换，以对所述倍率色差补正后的图像进行畸变像差补正。
本发明的技术方案2根据技术方案1中记载的图像摄像设备，其特征在于：所述第一坐标变换存储器，使用容量小、等待时间短的存储器，或使用容量小、多端口的存储器；相比于所述第一坐标变换存储器，所述第二坐标变换存储器使用容量大、等待时间长的存储器，或容量大、单端口的存储器。
本发明的技术方案3根据技术方案2中记载的图像摄像设备，其特征在于：所述第一坐标变换存储器使用SRAM；所述第二坐标变换存储器使用DRAM。
本发明的技术方案4根据技术方案1至3中任何一项记载的图像摄像设备，其特征在于：所述倍率色差补正装置对于特定颜色成分的图像数据不实行坐标变换，而仅对除此以外的各颜色成分的图像数据实行坐标变换。
本发明的技术方案5根据技术方案4中记载的图像摄像设备，其特征在于：所述倍率色差补正装置根据特定颜色成分的坐标来计算补正量后，根据所述补正量来计算特定颜色成分以外的各颜色成分的转换坐标。
本发明的技术方案6根据技术方案4或5中记载的图像摄像设备，其特征在于：若干颜色成分包括红色(R)、绿色(G)、蓝色(B)信号，所述特定颜色成分是G信号。
本发明的技术方案7根据技术方案1至6中任何一项记载的图像摄像设备，其特征在于：在所述倍率色差补正装置和所述畸变像差补正装置之间，包括对亮度信号实行过滤的FIR滤色器。
按照本发明的图像摄像设备，将用于图像的倍率色差与畸变像差的坐标变换分为倍率色差补正与畸变像差补正。在倍率色差补正的坐标变换中，使用容量小、等待时间短或容量小、多端口的存储器，例如SRAM等，并且，在畸变像差补正的坐标变换中，使用各颜色共用的单端口、容量大、等待时间长的存储器，例如DRAM等，从而，实现图像摄像设备的低成本化。
附图说明
图1是本发明的图像摄像设备的一个实施例的全体模块图；
图2表示拜耳排列的彩色滤色器；
图3是MTF补正部的概略构成图；
图4是倍率色差以及畸变像差的说明图；
图5是以往的倍率色差以及畸变像差的说明图；
图6是本发明的倍率色差以及畸变像差的说明图；
图7是表示倍率色差补正部的一个实施例的构成图；
图8是表示倍率色差补正坐标变换计算部的各个实施例的构成图；
图9是表示畸变像差补正部的一个实施例的构成图。
具体实施方式
下面，使用附图说明本发明的实施例。以下的颜色成分虽然以加法三基色的红色(R)、绿色(G)、蓝色(B)，但也可以是减法三基色的黄色(Y)、品红色(M)、青色(C)。
图1所示是本发明所涉及的图像摄像设备之图像处理系统的一个实施例的功能模块图。该图像摄像设备还包括操作部、图像存储部、图像显示部等，在这里作了省略。
在图1中，控制部100向图像摄像设备的各部分提供必要的控制信号，来对各部分的动作实行流水线式(pipeline manner)的控制。
摄像元件110由CCD或CMOS传感器等构成，其用于将使用倍率色差与畸变像差大的广角光学系统(没有图示)所拍摄的光学图像转换成电信号(像素数据)。该摄像元件110设有拜耳(Bayer)排列的滤色器，根据由控制部100提供的坐标数据(x，y)来依次输出拜尔排列的RGB像素数据。还有，控制部100还将提供给摄像元件110的坐标数据(x，y)，依次错开规定的时间，在后阶段也0进行提供。
A/D转换器120将来自于摄像元件110作为模拟信号的拜耳排列之RGB像素数据转换为数字信号后，输出到拜耳增补部130。在本实施例中，数字信号由RGB的各8比特构成。
拜耳增补部130输入被转换成数字信号之拜耳排列的RGB像素数据，通过将RGB各色独立地、在全坐标位置的像素数据进行线形增补后，输出到倍率色差补正部140。
图2所示是拜耳排列的彩色滤色器。这里，G0根据以下式计算。
G0＝(G2+G4+G6+G8)/4      (1)
另外，R2、R4、R、R8、R0根据以下式子计算。
R2＝(R1+R3)/2      (2)
R4＝(R3+R5)/2      (3)
R6＝(R5+R7)/2      (4)
R8＝(R1+R7)/2      (5)
R0＝(R1+R3+R5+R7)/4  (6)
B2、B4、B6、B、B0与上述R2、R4、R6、R8、R0相同，这里省略说明。
在本实施例中，对具有拜耳排列的滤色器的摄像元件进行了说明，无庸赘言，对于具有CMYG排列或RGB+Ir(红外线)排列等其他滤色器排列的摄像元件也有效果。特别是在这种具有四种颜色的滤色器排列的摄像元件中，与RGB等3色的滤色器相比，由于在倍率色差补正中更需要等待时间短的存储器或4端口的RAM，所以本发明的效果会更好。
倍率色差补正部140中输入拜耳增补后的RGB像素数据后，根据规定的多项式子对RGB各颜色成分独立地进行坐标变换(倍率色差坐标变换)，并输出倍率色差补正后的RGB像素数据。关于该倍率色差补正部140，将在后面与畸变像差补正部160一起作详细说明。在倍率色差补正的坐标变换中，使用容量小、等待时间短的存储器，或使用容量小、具有若干端口的存储器(SRAM等)。
MTF补正部150输入经过倍率色差补正的RGB像素数据后，使用FIR滤色器实施MTF补正处理，并输出MTF补正后的RGB像素数据。
图3表示MTF补正部150的概要构成。其中，转换部152根据以下式子，将RGB像素数据转换为YCbCr像素数据。
Y＝0.299R+0.587G+0.114B      (7)
Cr＝0.500R-0.419G-0.081B     (8)
Cb＝-0.169R-0.332G+0.500B    (9)
在FIR滤色器(5×5滤色器)154中，仅输入YCbCr中的亮度信号Y，并实行预定的MTF补正。通过仅对Y信号实行过滤(MTF补正)，就能够获得抑制了色噪声增大的高画质的图像。还有，由于对Y信号实行过滤，因此，MTF补正需要在倍率色差补正之后实行。但是，在畸变像差补正之后实行MTF补正的情况下，如后所述，在畸变像差补正中坐标变换的变换距离大而导致容易发生计算误差。为了避免该计算误差经MTF补正而放大，对图像质量造成不良影响，优选本实施例中例举的将MTF补正放在倍率色差补正之后，畸变像差补正之前实行。
逆转换部156输入CbCr信号以及MTF补正后的Y信号后，根据下式实行逆转换，并输出RGB像素数据。
R＝Y+1.402Cr            (10)
G＝Y-0.714Cr-0.344Cb    (11)
B＝Y+1.772Cb            (12)
畸变像差补正部160中输入倍率色差补正以及MTF补正后的RGB像素数据，根据预定的多项式等对RGB各颜色成分一起实行共通的坐标变换(畸变像差坐标变换)，并输出畸变像差补正后的RGB像素数据。在该畸变像差补正部160的坐标变换中，与倍率色差补正用存储器相比，虽然存储容量大(最大一整个画面)，但因为可以是单端口，所以可以使用等待时间长的存储器(DRAM等)。如前所述，对于该畸变像差补正部160将在后面详细叙述。
伽马补正部170输入由畸变像差补正部160输出的RGB像素数据后，使用RGB各自的查找表(lookup table)等实施预定的伽马补正处理，并输出伽马补正后的RGB像素数据。
以上，对图1所示实施例的整体动作进行了说明，下面，对本发明的主要构成部分之倍率色差补正部140和畸变像差补正部160进行详细地说明。
首先，对本发明的倍率色差补正与畸变像差的原理进行说明。
如图4所示，在使用具有倍率色差与畸变像差的光学系统进行拍摄时，图像右上符号1所示位置(像素)的像素数据，由于畸变像差，从其原来的位置发生偏差，进而，由于倍率色差，在RGB各颜色成分分别产生不同的偏差，因此，通过摄像元件实际拍摄的位置就分别成为2(R)、3(G)、4(B)的位置。倍率色差与畸变像差的补正是将该2(R)、3(G)、4(B)位置(像素)的RGB各颜色成分的像素数据复写到原来的位置之1位置(像素)里，即通过坐标变换来进行补正。
根据光学系统的设计数据，可以知道畸变像差的大小与倍率色差的大小，因此，能够计算出RGB各颜色成分相对于原来的位置偏差到哪个位置。
图5所示是现有技术中倍率色差与畸变像差补正方法的模式图。即，以往是将2(R)、3(G)、4(B)位置(像素)的RGB各颜色成分的像素数据复写到各自原来的位置之1位置(像素)里，即通过坐标变换，同时地补正倍率色差与畸变像差。但是，在以往的方法中，每一个RGB颜色成分都需要容量大、等待时间短的存储器或多端口的存储器。例如，在图5所示的情况下，RGB为了坐标变换，分别需要高速的6行(line)的存储器，。
图6所示是本发明的倍率色差与畸变像差的补正方法的模式图。倍率色差虽然因各颜色成分有所不同，但是偏差小。而畸变像差虽然偏差大，但对于各颜色成分都是相同的。本发明着眼于此，实行以下的补正方法，即，首先，分别对RGB各颜色成分的像素数据实行坐标变换(本实施例中，对RB颜色成分实行坐标变换后，复写到G成分的位置里)以补正倍率色差，之后，通过对该倍率色差补正后的RGB像素数据进行总括地坐标变换，以补正畸变像差。由此，可以将坐标变换用存储器分为倍率色差补正用存储器与畸变像差补正用存储器，所述倍率色差补正用存储器是与RGB对应，容量小·高速(等待时间短或多端口)的存储器，所述畸变像差补正用存储器是RGB共通的大容量·低速(等待时间长或单端口)的存储器，从整体来说能够降低成本。
图6A是表示本发明的补正倍率色差的模式图，对2(R)、4(B)位置(像素)的RB颜色成分的像素数据实行坐标变换，然后将其复制到G颜色成分的3(G)位置(像素)里。通过上述操作倍率色差就得以补正了。图6B是表示本发明的补正畸变像差的模式图，对倍率色差补正后之3(G)位置(像素)的RGB各颜色成分的像素数据一起实行坐标变换后，复写到原来的位置之1位置(像素)里。通过实行该操作，补正畸变像差。
在图6所示的实施例中，倍率色差补正用高速存储器使用对应于各RGB的3行存储器就足够了。畸变像差补正用存储器则另外需要使用5行存储器，但是，可以使用RGB共通的低速存储器，与图5所示以往的例子相比，从整体来说，能够实现低成本化。
在本发明中所指的畸变像差，是镜头相对于目标投影方式(targetprojection)的变形。例如，目标投影方式可以是从照相机上方向下看以获得图像的投影方式，也可以包含将某一部分放大后显示的投影方式。
图7所示是倍率色差补正部140的一个实施例的构成图。符号142是倍率色差补正用坐标变换存储器(行缓冲器)，其中，142(R)、142(G)、142(B)对应于各自的RGB颜色成分。符号144是倍率色差补正坐标变换计算部，其按照预定的坐标变换式子，计算RGB各颜色成分的各倍率色差补正的变换坐标。符号146是坐标变换系数表，用于保存坐标变换式子中使用的系数。
在倍率色差补正处理中，作为行缓冲器，需要容量虽小，但与RGB各颜色成分对应的3端口的存储器或等待时间短的存储器。这里，以倍率色差的最大偏差量为Y方向的20行为例，坐标变换存储器142(R)、142(G)、142(B)分别由各自20行容量的SRAM(静态随机存取存储器)构成。X方向的尺寸由分辨率决定，例如，若分辨率为VGA(640×480)时，则X方向的尺寸是640点。色深设为RGB8比特，坐标变换存储器142(R)、142(G)、142(B)的写入或读出都是以8比特单位进行。
如此，由于倍率色差补正用坐标变换存储器(行缓冲器)142(R)、142(G)、142(B)为小容量，当使用内置于该图像摄像设备的图像处理芯片中的3端口SRAM时，优选采用的是确保各自20行容量的存储区域的构成。在使用如SRAM的等待时间短的存储器的情况下，也可以通过对单端口的存储器实行分时处理后，作为3端口的存储器使用。
受倍率色差与畸变像差影响的拍摄图像的各RGB像素数据，按照各自的坐标数据(x，y)从先头行开始依次被写入坐标变换存储器142(R)、142(G)、142(B)里。接着，当各自的20行像素数据被写入后，则依次地将先头行的像素数据去掉，代之以重新写入下一行的像素数据。这样，在坐标变换存储器142(R)、142(G)、142(B)中，就依次地存储入实行各自的倍率色差补正坐标变换所需要的、最大20行容量的RGB像素数据。
这里，坐标数据(x，y)显示1帧摄像图像的读出位置。另一方面，坐标变换存储器142(R)、142(G)、142(B)是能够存储20行的行缓冲器，由于写入行是循环(cyclic)变化的，因此，不能将坐标数据(x，y)原样地用作坐标变换存储器142(R)、142(G)、142(B)的写入地址。因此，需要将坐标数据(x，y)值转换为坐标变换存储器142(R)、142(G)、142(B)的实际地址。图7中省略对该转换构成的说明。在后述的读出动作中，转换后的坐标数据(x，y)与从坐标变换存储器142(R)、142(G)、142(B)读出的地址的关系也与上述相同。
倍率色差补正坐标变换计算部144输入坐标数据(x，y)，根据多项式等预定的坐标变换式，计算RGB各自的倍率色差补正用的变换坐标，并且，将转换后的RGB各坐标数据(x，y)输出。如图6A所示，在本实施例中，是对RB的颜色成分实行坐标变换后复写到G颜色成分的位置里。因此，在倍率色差补正坐标变换计算部144中，对于G颜色成分，将输入的坐标数据(x，y)作为转换后的坐标数据(X，Y)原样地输出，而对于RB颜色成分，使用预定的坐标变换式将分别输入的的坐标数据(x，y)转换成坐标数据(X，Y)，再输出该转换后的坐标数据(X，Y)。对于每个坐标数据(x，y)都重复进行上述转换。
这里，在将画面中央作为原点的情况下，可以用以下的坐标变换式表示。
X＝x+[a(1)+a(2)×abs(x)+a(3)×abs(y)+a(4)×y2]×x
Y＝y+[b(1)+b(2)×abs(y)+b(3)×abs(x)+b(4)×x2]×y    (13)
其中，abs()是绝对值，a(1)～a(4)，b(1)～b(4)是坐标变换系数。坐标变换系数预先保存在坐标变换系数表146中。
坐标变换存储器142(R)、142(G)、142(B)在实行上述写入动作的同时(实际上比预定的时间晚)，根据从倍率色差补正坐标计算部144输出的坐标数据(X，Y)(实际上是将坐标数据(x，y)转换为地址之后的值)，分别依次地读出RGB像素数据。此时，从坐标变换存储器142(G)读出与写入时位置相同的G颜色成分的像素数据。另一方面，从坐标变换存储器142(R)、142(B)读出分别从写入时位置发生预定偏差位置，即读出倍率色差偏差位置的RB颜色成分的像素数据。
通过上述处理，就从坐标变换存储器142(R)、142(G)、142(B)输出了倍率色差补正后的RGB像素数据。
图8表示倍率色差补正坐标变换计算部144的第二、三实施例。在图8A中，对G颜色成分不实行坐标变换，将输入的坐标数据(x，y)作为G用坐标数据(X，Y)原样不动地输出，而仅对于R、B的颜色成分，通过各自的坐标变换计算部1441、1442对输入的的坐标数据(x，y)实行转换，并将转换后的R用坐标数据(X，Y)、B用坐标数据(X，Y)进行输出。由于坐标变换计算部可以仅为R、B颜色成分，就能够减少电路规模。
图8B、8C所示着眼于倍率色差通常以G为中心，而R、B颜色成分大致对称地偏差(图4)这一点。这里，在图8B中，通过坐标变换计算部1443计算坐标数据(x，y)的补正量，在减算部1444将坐标数据(x，y)中仅减去补正量后的值作为B用坐标数据(X，Y)，另一方面，在加算部1445将坐标数据(x，y)中仅加入补正量后的值作为B用坐标数据(X，Y)。与图8A中所示相同，将坐标(x，y)作为G用坐标数据(X，Y)原样地输出。
图8C所示考虑到对称位置的偏差，并进一步通过增益电路1446来调整R用补正量。这里，也可以将增益电路设置在B侧。按照图8B、8C的实施例，只需一个坐标变换计算部即可，能够更进一步减少电路规模。
另外，代之以图8A的坐标变换计算部1441、1442，也可以通过事先准备的查找表(Look Up Table、以下简称为“1UT”)来直接取得将输入坐标数据(x，y)转换后的坐标数据(X，Y)，该查找表记录有按每个R和B各色成分输入的输入坐标数据(x，y)和输出坐标数据(X，Y)的对应关系。同样地，代之以图8B、8C中的坐标变换计算部1443，使用预备之记录有输入坐标数据(x，y)和补正量的对应关系的LUT，就能够直接取得对应于坐标数据(x，y)补正量。由此，可以省略用于坐标变换的计算，基本上仅通过存储芯片就能够实现倍率色差补正。
图9表示畸变像差补正部160的一个实施例的结构图。其中，符号161是将RGB三个像素数据合成为一个像素数据的RGB合成部；符号142是RGB像素数据里共通的畸变像差补正用坐标变换存储器(帧存储器)；符号163是将合成的RGB像素数据分离成原来的各颜色成分的RGB分离部；符号164是畸变像差补正坐标变换计算部，其相对于合成后的RGB像素数据，根据预定的坐标变换式来计算畸变像差补正的转换坐标；符号165是保存坐标变换式里所使用的系数的坐标变换系数表。
当畸变像差的像素偏差量大时，就需要最大能够存储一整个画面的像素数据的帧缓冲器来进行畸变像差补正处理。另一方面，由于RGB各颜色成分的偏差量相同，因此，仅使用一个具有RGB像素数据的总计比特数的帧缓冲器就可以了。这里，以分辨率为VGA(640×480)，以RGB像素数据的比特数(色深)分别为8比特时，坐标变换存储器162就由写入读出为24比特单位的640×480点(dot)的DRAM来构成。
如此，畸变像差补正用坐标变换存储器(帧存储器)162就需要非常大的容量，作为图像处理芯片内的SRAM存在着成本上的问题，并且，由于对于RGB来说单端口的存储器已经足够，所以，优选设置在图像处理芯片外部的DARM。
RGB合成部161依次地输入倍率色差补正后的各RGB像素数据(每个像素数据是8比特)，并合成为一个像素数据(24比特)之后输出。该被合成的RGB像素数据按照各自的坐标数据(x，y)，从先头行开始被依次坐标变换存储器162中。
另一方面，畸变像差补正坐标变换计算部164中输入坐标数据(x，y)，并根据多项式等规定的坐标变换式来计算RGB共通的畸变像差补正的转换坐标，并输出转换后的坐标数据(X，Y)。坐标变换式可以通过与倍率色差补正相同的式子(13)来表示。当然，所使用的坐标变换系数是不同的。该坐标变换系数预先保存在坐标变换系数表165中。
如上所述，畸变像差补正用坐标变换式子可以使用与倍率色差补正相同的式子(13)，若将该式子(13)中的x2，y2，abs(x)，abs(y)等项目使用倍率色差补正的计算结果(保存在存储器等中)，则不需要重新计算，从而能够减小计算部164的电路规模。
坐标变换存储器162在写入前述RGB合成像素数据(24比特)的同时(正确地说，比预定时间晚)，根据从畸变像差补正坐标变换部164输出的坐标数据(X，Y)，依次地读出RGB合成像素数据。RGB分离部163将从坐标变换存储器162读出的RGB合成像素数据(24比特)分离成原来的RGB各颜色成分的像素数据(8比特)。
通过上述处理，就从RGB分离部163输出了倍率色差补正与畸变像差补正之后的各RGB像素数据。即，各RGB像素数据被复写到原来的位置(x，y)里。
另外，即使在畸变像差补正处理中，也可以使用事先准备之记录有输入坐标(x，y)和输出坐标(X，Y)对应关系的查找表(LUT)，并且，来直接获得将坐标数据(x，y)转换后的坐标数据(X，Y)。由此，就可以省去用于坐标变换的计算，基本上能够实现仅通过存储芯片实行畸变像差补正。
另外，本发明不局限于前述的各个实施方式，在本发明的技术思想的范围内，除前述各实施方式中所示之外，从前述各实施方式作适当变更后的所得也是显而易见的。还有，前述构成部件的数量、位置、形状等不局限于前述各实施方式，在实施本发明时，可以使用适当的数量、位置、形状等。
本专利申请的基础和优先权要求是2007年11月26日、在日本专利局申请的日本专利申请JP2007-304417，其全部内容在此引作结合。

Claims (7)

1.一种图像摄像设备，其获得由大倍率色差、大畸变像差的广角光学系统所拍摄的图像，其特征在于包括：
倍率色差补正装置，其使用与若干颜色成分对应的若干第一坐标变换存储器，对每个所述若干颜色成分的像素数据分别进行坐标变换，以对所述获得的图像进行倍率色差补正；
畸变像差补正装置，其使用若干颜色成分共通的第二坐标变换存储器，对所述若干颜色成分的像素数据一起实行坐标变换，以对所述倍率色差补正后的图像进行畸变像差补正。
2.根据权利要求1中记载的图像摄像设备，其特征在于：
所述第一坐标变换存储器，使用容量小、等待时间短的存储器，或使用容量小、多端口的存储器；
相比于所述第一坐标变换存储器，所述第二坐标变换存储器使用容量大、等待时间长的存储器，或容量大、单端口的存储器。
3.根据权利要求2中记载的图像摄像设备，其特征在于：
所述第一坐标变换存储器使用SRAM；
所述第二坐标变换存储器使用DRAM。
4.根据权利要求1至3中任何一项记载的图像摄像设备，其特征在于：
所述倍率色差补正装置对于特定颜色成分的图像数据不实行坐标变换，而仅对除此以外的各颜色成分的图像数据实行坐标变换。
5.根据权利要求4中记载的图像摄像设备，其特征在于：
所述倍率色差补正装置根据特定颜色成分的坐标来计算补正量后，根据所述补正量来计算特定颜色成分以外的各颜色成分的转换坐标。
6.根据权利要求4或5中记载的图像摄像设备，其特征在于：
若干颜色成分包括红色(R)、绿色(G)、蓝色(B)信号，所述特定颜色成分是G信号。
7.根据权利要求1至6中任何一项记载的图像摄像设备，其特征在于：
在所述倍率色差补正装置和所述畸变像差补正装置之间，包括对亮度信号实行过滤的FIR滤色器。
CN2008101786251A 2007-11-26 2008-11-21 图像摄像设备 Active CN101448168B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP304417/07 2007-11-26
JP2007304417A JP5008139B2 (ja) 2007-11-26 2007-11-26 画像撮像装置

Publications (2)

Publication Number Publication Date
CN101448168A true CN101448168A (zh) 2009-06-03
CN101448168B CN101448168B (zh) 2011-03-09

Family

ID=40380163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101786251A Active CN101448168B (zh) 2007-11-26 2008-11-21 图像摄像设备

Country Status (5)

Country Link
US (1) US8120666B2 (zh)
EP (1) EP2063389B1 (zh)
JP (1) JP5008139B2 (zh)
CN (1) CN101448168B (zh)
TW (1) TWI486062B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102316326A (zh) * 2010-06-30 2012-01-11 索尼公司 图像处理设备，图像处理方法和程序
CN103426149A (zh) * 2013-07-24 2013-12-04 玉振明 大视角图像畸变的校正处理方法
CN108717688A (zh) * 2012-07-03 2018-10-30 索尼公司 图像信号处理装置、图像信号处理方法和程序

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5240453B2 (ja) * 2008-02-14 2013-07-17 株式会社リコー 画像処理方法、画像処理装置及び画像撮像装置
JP5078147B2 (ja) * 2008-03-04 2012-11-21 株式会社リコー 画像処理装置及び画像撮像装置
JP5273371B2 (ja) 2008-12-24 2013-08-28 株式会社リコー 画像処理装置及び方法、並びに車載カメラ装置
JP5267794B2 (ja) 2008-12-26 2013-08-21 株式会社リコー 画像処理装置及び車載カメラ装置
JP5152102B2 (ja) 2009-03-27 2013-02-27 富士電機機器制御株式会社 熱動形過負荷継電器
JP2010245814A (ja) * 2009-04-06 2010-10-28 Renesas Electronics Corp 画像処理方法、及び画像処理装置
JP2011061444A (ja) * 2009-09-09 2011-03-24 Hitachi Information & Communication Engineering Ltd 収差補正装置及び収差補正方法
JP5607911B2 (ja) * 2009-10-21 2014-10-15 オリンパスイメージング株式会社 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
JP5553579B2 (ja) * 2009-11-09 2014-07-16 三星電子株式会社 デジタルカメラ、画像処理方法及びコンピュータプログラム
US8624999B2 (en) 2009-12-01 2014-01-07 Ricoh Company, Ltd. Imaging apparatus
JP5669556B2 (ja) * 2010-12-15 2015-02-12 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5585885B2 (ja) 2011-03-18 2014-09-10 株式会社リコー 画像処理装置及び画像処理方法
JP6417666B2 (ja) 2013-05-15 2018-11-07 株式会社リコー 画像処理システム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0746610A (ja) * 1993-07-27 1995-02-14 Tochigi Nikon:Kk 画像入力装置
JP3133702B2 (ja) * 1997-05-30 2001-02-13 三洋電機株式会社 ディジタルスチルカメラ
US6903733B1 (en) * 1997-11-24 2005-06-07 Pixelworks, Inc. Ultra-high bandwidth multi-port memory system for image scaling applications
JP2000069343A (ja) * 1998-06-11 2000-03-03 Fuji Photo Film Co Ltd デジタル撮像装置
US7245319B1 (en) * 1998-06-11 2007-07-17 Fujifilm Corporation Digital image shooting device with lens characteristic correction unit
JP2000134483A (ja) * 1998-10-26 2000-05-12 Minolta Co Ltd 画像読取装置
US6747702B1 (en) * 1998-12-23 2004-06-08 Eastman Kodak Company Apparatus and method for producing images without distortion and lateral color aberration
US6538691B1 (en) * 1999-01-21 2003-03-25 Intel Corporation Software correction of image distortion in digital cameras
EP1175101B1 (en) 2000-07-14 2013-11-13 Texas Instruments Incorporated Digital still camera system and method.
KR100910670B1 (ko) * 2001-03-05 2009-08-04 지멘스 악티엔게젤샤프트 승객 보호 시스템을 위한 이미지 보정 방법 및 장치
US7433089B2 (en) * 2001-09-27 2008-10-07 Fujifilm Corporation Image processor
JP4378994B2 (ja) * 2003-04-30 2009-12-09 ソニー株式会社 画像処理装置、画像処理方法ならびに撮像装置
JP4104571B2 (ja) * 2004-03-29 2008-06-18 三洋電機株式会社 歪曲補正装置及びこの歪曲補正装置を備えた撮像装置
JP4224449B2 (ja) * 2004-11-30 2009-02-12 本田技研工業株式会社 画像抽出装置
US7362336B2 (en) * 2005-01-12 2008-04-22 Eastman Kodak Company Four color digital cinema system with extended color gamut and copy protection
US7920200B2 (en) * 2005-06-07 2011-04-05 Olympus Corporation Image pickup device with two cylindrical lenses
JP4596988B2 (ja) 2005-06-07 2010-12-15 オリンパス株式会社 画像撮像装置
JP4553798B2 (ja) 2005-06-07 2010-09-29 オリンパス株式会社 画像撮像装置
JP4596986B2 (ja) 2005-06-07 2010-12-15 オリンパス株式会社 画像撮像装置
JP4596987B2 (ja) 2005-06-07 2010-12-15 オリンパス株式会社 画像撮像装置
JP4487902B2 (ja) * 2005-11-09 2010-06-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2007304417A (ja) 2006-05-12 2007-11-22 Ricoh Co Ltd 光走査装置、光走査装置の製造方法および画像形成装置
JP4709084B2 (ja) * 2006-07-07 2011-06-22 キヤノン株式会社 画像処理装置及び画像処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102316326A (zh) * 2010-06-30 2012-01-11 索尼公司 图像处理设备，图像处理方法和程序
CN108717688A (zh) * 2012-07-03 2018-10-30 索尼公司 图像信号处理装置、图像信号处理方法和程序
CN108717688B (zh) * 2012-07-03 2022-04-08 索尼公司 图像信号处理装置、图像信号处理方法和程序
CN103426149A (zh) * 2013-07-24 2013-12-04 玉振明 大视角图像畸变的校正处理方法
CN103426149B (zh) * 2013-07-24 2016-02-03 玉振明 大视角图像畸变的校正处理方法

Also Published As

Publication number Publication date
EP2063389B1 (en) 2011-09-14
US8120666B2 (en) 2012-02-21
TWI486062B (zh) 2015-05-21
JP2009130687A (ja) 2009-06-11
US20090135277A1 (en) 2009-05-28
JP5008139B2 (ja) 2012-08-22
EP2063389A1 (en) 2009-05-27
CN101448168B (zh) 2011-03-09
TW200939794A (en) 2009-09-16

Similar Documents

Publication Publication Date Title
CN101448168B (zh) 图像摄像设备
CN101527858B (zh) 图像处理方法、图像处理设备以及图像摄像设备
CN101500088B (zh) 图像处理方法、图像处理设备和成像设备
CN101534384B (zh) 图像处理方法，图像处理设备和图像捕捉设备
CN101540919B (zh) 成像装置
CN101500077B (zh) 图像处理方法、图像处理装置、以及成像装置
CN101534385B (zh) 图像拾取设备
CN102265600B (zh) 图像处理设备和车载照相机设备
CN101621623B (zh) 成像装置
CN102265595B (zh) 用于图像处理的方法和设备以及车载照相机设备
CN101510944A (zh) 图像处理方法、图像处理装置以及成像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant