CN1684499A - 图像处理装置、图像处理方法及其程序和记录介质 - Google Patents

图像处理装置、图像处理方法及其程序和记录介质 Download PDF

Info

Publication number
CN1684499A
CN1684499A CNA200510065796XA CN200510065796A CN1684499A CN 1684499 A CN1684499 A CN 1684499A CN A200510065796X A CNA200510065796X A CN A200510065796XA CN 200510065796 A CN200510065796 A CN 200510065796A CN 1684499 A CN1684499 A CN 1684499A
Authority
CN
China
Prior art keywords
image
mentioned
image pickup
correcting
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200510065796XA
Other languages
English (en)
Other versions
CN100418354C (zh
Inventor
岩井嘉男
木村胜治
吉田卓司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN1684499A publication Critical patent/CN1684499A/zh
Application granted granted Critical
Publication of CN100418354C publication Critical patent/CN100418354C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05DHINGES OR SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS
    • E05D5/00Construction of single parts, e.g. the parts for attachment
    • E05D5/02Parts for attachment, e.g. flaps
    • E05D5/06Bent flaps
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05DHINGES OR SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS
    • E05D3/00Hinges with pins
    • E05D3/02Hinges with pins with one pin
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05YINDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2900/00Application of doors, windows, wings or fittings thereof
    • E05Y2900/10Application of doors, windows, wings or fittings thereof for buildings or parts thereof
    • E05Y2900/13Type of wing
    • E05Y2900/132Doors

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)

Abstract

在对经由作为摄像光学系统的光学透镜获得的摄像信号进行处理后输出到输出图像显示部去的DSP中,实施信号处理,同时实施抑制锯齿的图像处理,该信号处理是针对摄像信号基于与光学透镜的光轴的距离通过从光轴开始在放射方向上伸缩来校正上述光学透镜(1)的畸变像差。由此,实现能够只考虑来自摄像光学系统的光轴的放射方向来作为畸变像差校正方向、并抑制畸变像差校正时图像中可能产生的锯齿的摄像装置。

Description

图像处理装置、图像处理方法及其程序和记录介质
                     技术领域
本发明涉及一种例如摄像机、电子静物摄影机和便携式电话用照相机等电子照相机所使用的用来对固态摄像元件输出的摄像信号进行处理的摄像装置等图像处理装置。
                     背景技术
近年来,用于例如摄像机、电子静物摄影机和便携式电话用照相机等电子照相机的、使用了上述固态摄像元件的固态摄像装置得到了广泛应用。对使用这些固态摄像装置拍摄所得的图像质量提出了更高要求。为此,在固态摄像装置中,对于利用摄像光学系统所得的摄像信号,为了降低上述摄像光学系统的畸变像差,所采用的措施是改善上述摄像光学系统的性能、在摄像光学系统中组合使用多个光学透镜、或者通过信号处理校正畸变像差等。
图4是表示现有的固态摄像装置101的结构的方框图。
在图4中,固态摄像装置101具有作为摄像光学系统的一个实例的光学透镜1、作为固态摄像元件的一个实例的CCD2、数字信号处理部3(以下称为DSP3)和输出图像显示部4。这里,从CCD2输出的摄像信号称为CCD输出信号21;从DSP3输出的摄像信号称为DSP输出信号22。
利用上述结构,拍摄对象的像由光学透镜1在CCD2的受光部上成像。到达该CCD2的受光部的光经CCD2光电转换,变成模拟电信号(以下称为摄像信号),作为CCD输出信号21传送到DSP3。摄像信号经DSP3进行各种信号处理之后,作为适合于显示部的DSP输出信号22传送到输出图像显示部4,在显示画面上显示图像。
这里进一步详细说明DSP3的内部结构。
DSP3具有摄像信号前处理部11、模拟/数字转换部12(以下称为A/D转换部12)、摄像信号主处理部13、摄像信号输出部14、以及定时信号发生器15(以下称为TG15)。
摄像信号前处理部11针对摄像信号,进行利用相关二重采样处理(以下称为CDS)的降低噪声、利用自动增益控制(以下称为AGC)的振幅控制。
A/D转换部12将模拟信号的摄像信号转换成数字信号后,传送到摄像信号主处理部13。
摄像信号主处理部13对转换成数字信号后的摄像信号进行白平衡度控制(以下称为WB)、自动曝光控制(以下称为AE)、以及伽玛校正等各种数字信号图像处理,传送到摄像信号输出部14。
摄像信号输出部14将实施了数字信号图像处理后的摄像信号转换成适合输出图像显示部4的方式的信号,与TG15生成的垂直同步信号24(以下称为VD24)和水平同步信号25(以下称为HD25)等用于显示出输出图像所需的各种定时信号一起输出到输出图像显示部4。作为TG15输出的定时信号的一个实例,列举了定时脉冲23、VD24、HD25和时钟脉冲26等,这些各定时信号分别用作关联的各处理部的同步信号。
但是,上述现有的固态摄像装置存在的问题是,由于其使用摄像光学系统可能引起的畸变像差,输出图像显示部4中显示的图像会扭曲变形。
例如,利用无畸变像差的理想摄像光学系统在固态摄像元件受光的图像如果是图5(a)所示的格子状图形,则利用有畸变像差的摄像光学系统在固态摄像元件受光的图像中,会发生图5(b)或图5(c)所示的几何扭曲变形。
以往,公开了一种用来校正这样的畸变像差的固态摄像装置的结构。
例如,在专利文献1:特开2003-37769号公报(公开日:2003年2月7日)中公开了一种用来对经由摄像光学系统射入的拍摄对象光学像的图像信号进行上述摄像光学系统的畸变像差校正的信号处理装置。这是一种基于图像中第1方向的畸变像差来校正与上述第1方向不同的第2方向的畸变像差的技术,由此,在高速执行对摄像信号的畸变像差的校正处理的同时,能够消除图像整体的不自然。
另外,专利文献2:专利第3035416号公报(登记日:2000年2月18日)(特开平6-165024号公报、公开日:1994年6月10日,对应美国专利5,905,530号)中公开的专利是,对于摄像光学系统产生的畸变,以该摄像光学系统的光轴位置为中心,并且以外侧和内侧存在图像的画面上指定的圆为基准,该指定圆外侧的图像朝外侧方向、内侧的图像朝内侧方向进行校正;通过具备这样的对图像信号进行处理的校正单元,从而能够校正畸变像差。
在专利文献1中,使用基于第1方向的畸变像差校正与上述第1方向不同的第2方向的畸变像差的技术,通过基于特定方向校正畸变像差来改善画质。但是,利用专利文献1的方式,由于分别基于第1方向和第2方向进行校正处理,所存在的问题是,必须考虑第2方向的校正处理来进行第1方向的校正处理。
另外,对发生了畸变像差的图像中的直线实施畸变像差校正处理后变成曲线,在专利文献2中,该曲线会产生锯齿(jaggy)。但是,该文献中,对于在校正畸变像差时可能产生的锯齿,以及对于避免锯齿的产生等没有任何记述。
                      发明内容
本发明的目的在于实现一种作为畸变像差校正方向只考虑自摄像光学系统的光轴开始的放射方向、并能够抑制畸变像差校正时图像中可能产生的锯齿的摄像装置等的图像处理装置、图像处理方法及其程序和记录介质。
本发明的摄像装置的特征在于,在具有对将入射光进行光电转换的固态摄像元件所输出的摄像信号进行信号处理的信号处理单元的摄像装置中,上述信号处理单元针对经由摄像光学系统所得的摄像信号、基于与上述摄像光学系统的光轴的距离、通过从上述光轴开始在放射方向上伸缩来校正由于上述摄像光学系统的原因引起的畸变像差,从而抑制图像中可能产生的锯齿。
借助于上述发明,可起到下述效果:能够实现作为畸变像差校正方向只考虑自摄像光学系统的光轴开始的放射方向、并能够抑制畸变像差校正时图像中可能产生的锯齿的摄像装置。
另外,由于利用信号处理单元对摄像信号的信号处理来校正畸变像差,故能够很容易地对应各自具备固有特性的上述摄像光学系统的各个畸变像差进行校正。由此进而,可起到无需改善摄像光学系统的性能、组合多个摄像光学系统等就能够实现摄像光学系统大小小型化的效果。
本发明的信号处理方法的特征在于,在对将入射光进行光电转换的固态摄像元件所输出的摄像信号进行信号处理的信号处理方法中,针对经由摄像光学系统所得的摄像信号、基于与上述摄像光学系统的光轴的距离、通过从上述光轴开始在放射方向上伸缩来校正由于上述摄像光学系统的原因引起的畸变像差,从而抑制图像中可能产生的锯齿。
借助于上述发明,可起到下述效果:能够实现作为畸变像差校正方向只考虑自摄像光学系统的光轴开始的放射方向、并能够抑制畸变像差校正时图像中可能产生的锯齿的信号处理方法。
另外,由于利用对摄像信号的信号处理来校正畸变像差,故能够很容易地对应各自具备固有特性的上述摄像光学系统的各个畸变像差进行校正。由此进而,可起到无需改善摄像光学系统的性能、组合多个摄像光学系统等就能够实现摄像光学系统大小小型化的效果。
本发明的程序的特征在于,用计算机执行上述信号处理方法。
借助于上述发明,能够使上述信号处理方法具有通用性。
本发明的记录介质的特征在于,上述程序记录成计算机可读。
借助于上述发明,能够很容易地提供上述程序。
本发明的摄像装置和信号处理方法针对经由摄像光学系统所得的摄像信号,基于与上述摄像光学系统的光轴的距离,通过从上述光轴开始在放射方向上伸缩来校正由于上述摄像光学系统的原因引起的畸变像差,从而抑制图像中可能产生的锯齿。
因此,可起到下述效果:能够实现作为畸变像差校正方向只考虑自摄像光学系统的光轴开始的放射方向、并能够抑制畸变像差校正时图像中可能产生的锯齿。
本发明的图像处理装置的特征在于,其包含:输入部,用来输入将经由光学系统入射的光进行光电转换的摄像元件所得的摄像信号;以及畸变像差校正单元,针对上述输入部输入的摄像信号所对应的图像中的各个像素,基于上述图像中与上述光学系统的光轴上的位置的距离,在连结上述光轴上位置和各像素的方向上生成改变了像素位置的校正图像。
优选的构成是:上述图像处理装置还包含锯齿校正单元,用来针对上述校正图像进行作为锯齿校正处理的滤波处理;上述滤波处理,通过对应于上述校正图像中目标像素的像素位置的加权来进行。
另外,假设无畸变像差的理想图像的各像素的坐标值为(x,y)、相应的畸变像差校正对象的图像的各像素的坐标值为(x’,y’),则上述畸变像差校正装置最好是使用下述近似算式进行畸变像差校正。
x=x′(1-kr′2)  …  (a)
y=y′(1-kr′2)  …  (b)
另外,上述锯齿校正单元的构成最好是将理想图像的各像素与校正对象图像上附近各参照像素之间的距离作为上述滤波处理的加权参数使用。
另外,上述锯齿校正单元的构成最好是,利用上述畸变像差校正单元,使用基于上述近似算式(a)和(b)计算出来的上述理想图像的各像素的坐标值(x,y)来设定上述加权参数。
本发明的另一图像处理装置的特征在于,其包含:输入部,用来输入将经由光学系统入射的光进行光电转换的摄像元件所得的摄像信号;畸变像差校正单元,针对上述输入部输入的摄像信号所对应的图像进行畸变像差校正,由此生成畸变像差校正图像;以及锯齿校正单元,针对上述畸变像差校正图像进行滤波处理;在上述滤波处理中,对应于上述畸变像差校正图像中目标像素的像素位置改变滤波处理中的加权。
在上述图像处理装置中,上述锯齿校正单元的构成最好是将理想图像的各像素与校正对象图像上附近各参照像素之间的距离作为上述滤波处理的加权参数使用。
另外,本发明的图像处理方法的特征在于,包含:输入工序,用来输入将经由光学系统入射的光进行光电转换的摄像元件所得的摄像信号;畸变像差校正工序,针对上述输入部输入的摄像信号所对应的图像中的各个像素,基于上述图像中与上述光学系统的光轴上的位置的距离,在连结上述光轴上位置和各像素的方向上生成改变了像素位置的校正图像;以及锯齿校正处理工序,针对上述校正图像进行作为锯齿校正处理的滤波处理;上述滤波处理,通过对应于上述校正图像中目标像素的像素位置的加权来进行。
另外,本发明的另一图像处理方法的特征在于,包含:输入工序,用来输入将经由光学系统入射的光进行光电转换的摄像元件所得的摄像信号;畸变像差校正工序,针对上述输入部输入的摄像信号所对应的图像进行畸变像差校正,由此生成畸变像差校正图像;以及锯齿校正工序,针对上述畸变像差校正图像进行滤波处理;在上述滤波处理中,对应于上述畸变像差校正图像中目标像素的像素位置改变滤波处理中的加权。
另外,本发明的图像处理装置的控制程序的特征在于,使计算机发挥上述图像处理装置的各单元的功能。
另外,本发明的记录介质的特征在于,其是记录了上述程序的计算机可读的记录介质。
本发明的其它目的、特征、以及优点,参照以下所示的记载即可完全明白。另外,通过参照附图的下述说明可知本发明的优点。
                      附图说明
图1表示本发明的实施方式,是表示摄像装置的主要部件结构的方框图。
图2(a)和图2(b)是表示用来说明图1的摄像装置的畸变像差校正原理的畸变像差性质的概念图。
图3(a)和图3(b)是用来说明图1的摄像装置的畸变像差校正处理的概念图。
图4表示的是现有技术,是表示摄像装置的主要部件结构的方框图。
图5(a)至图5(c)是用来说明畸变像差的概念图。
                    具体实施方式
下面参照附图说明本发明的各个实施方式。
(第1实施方式)
本发明的适合的实施方式中,对于从固态摄像元件传送过来的摄像信号(CCD输出信号)中包含的由摄像光学系统所导致的畸变像差,在通过数字信号处理部(DSP)进行畸变像差校正的同时,通过滤波处理对上述畸变像差校正时可能产生的锯齿进行校正,由此校正上述畸变像差,得到合适的图像。
下面,参照附图说明本发明的适合的实施方式。此外,对于与上述现有技术中使用的附图具有相同功能的部件,赋予同样的符号。
图1表示本实施方式中的固态摄像装置(摄像装置)51的结构。固态摄像装置51在图4所示现有的固态摄像装置的DSP(信号处理单元)3中具备畸变像差校正功能和用来抑制锯齿的滤波处理功能。为了实现这两个功能,在A/D转换部12和摄像信号主处理部13之间设置了畸变像差校正处理部16。因此,从DSP3输出的摄像信号被施加了本发明的畸变像差校正和用来抑制图像轮廓部位可能发生的锯齿的滤波处理。此外,作为固态摄像元件,除了CCD2之外,还有例如CMOS摄像元件。
其次,说明DSP3中本实施方式的畸变像差处理。在本实施方式中,无畸变像差的理想图像与经由摄像光学系统所得的有畸变像差的图像的对应关系通过由透镜的近轴理论所得的近似式求取。然后,使用该近似式进行畸变像差校正。
首先,说明无畸变像差的理想图像f(x,y)与经由摄像光学系统所得的有畸变像差的图像f’(x’,y’)的对应关系。畸变像差是指从图像中心沿放射方向所发生的图像的伸缩、扭曲。其中,假定图像中心是摄像光学系统的光轴与固态摄像元件的交点。例如,图2(a)所示的点P沿放射方向(箭头A方向)伸缩,与图2(b)所示的点P’对应。畸变程度依距图像中心的距离r而决定,理想摄像光学系统中的畸变像差以图像中心呈点对称状态。无畸变像差的图像与有畸变像差的图像的对应关系根据上述透镜的近轴理论可以下列算式(1)~(3)加以对应。其中,k为比例常数。
r′=r+kr3       …  (1)
r2=x2+y2        …  (2)
r′2=x′2+y′2  …  (3)
将算式(1)分解为x轴和y轴分量,可得算式(4)和算式(5)。其中,θ是连结点P与原点的线段与x轴正向所成角度。
另外,r是从无畸变像差的理想图像f(x,y)的中心算起的距离,r’是从经由摄像光学系统所得的有畸变像差的图像f’(x’,y’)的中心算起的距离。
x ′ = r ′ cos θ = ( r + kr 3 ) × x r = x ( 1 + k r 2 ) . . . ( 4 )
y ′ = r ′ sin θ = ( r + k r 3 ) × y r = y ( 1 + k r 2 ) . . . ( 5 )
对畸变像差的校正对应于将算式(4)和(5)从有畸变像差的图像向无畸变像差的图像进行逆变换。
但是,由于算式(4)和(5)是非线性函数,直接进行逆变换的话,计算量变大。因此,注意到r和r’与Δr(=r-r′)的比值充分小、即在实际的摄像光学系统中畸变率为数个百分点左右,在算式(4)和(5)中,认为近似为r_r′,则可得以下算式(6)和(7)。
x=x′(1+kr′2)-1  …  (6)
y=y′(1+kr′2)-1  …  (7)
这里,当k·r′2《1时,算式(6)和(7)可近似为以下算式(8)和(9)。
x=x′(1-kr′2)    …  (8)
y=y′(1-kr′2)    …  (9)
在本实施方式中,使用上述算式(8)和(9)进行畸变像差校正。在进行上述畸变像差校正时,通过利用各像素附近的参照像素进行滤波处理,来改善图像轮廓部分可能产生的锯齿。
上述滤波处理的适当方式之一是,在上述畸变像差校正时将利用上述算式(8)和(9)所求得的坐标(x,y)与附近像素之间的距离作为上述滤波处理的加权参数使用。校正对象图像上像素(x,y)与邻近4个像素之间的距离受到畸变像差的影响,随其在校正对象图像上位置而不同。即,在校正对象图像上,畸变像差程度不固定,随其在图像上位置而不同。这里,如本实施方式,在计算出理想图像的各像素(x,y)的坐标值时,只要参照该像素的坐标值(x,y)和校正对象图像上各临近像素之间的距离,即可进行抑制了锯齿的畸变像差校正。
由此,由于可以设定无数个参数,因而能够获得现有的锯齿校正处理中的滤波处理所用的千篇一律的参数设定所无法得到的适宜图像。在一般的锯齿校正处理中,基本上即使移动了滤波处理中目标像素,也不改变滤波器的各个加权。不过,考虑到发生锯齿的边缘的方向分量,为此也可以旋转参数设定表。例如,假定当边缘的方向分量是连结图像左下和右上的直线方向时,滤波处理所用的加权参数如表1中表(table)1所示设定。假定此时当边缘的方向分量是连结图像左上和右下的直线方向时,滤波处理所用的加权参数设定为如将表(table)1旋转后的表2中表(table)2所示。由此,锯齿校正处理与图像朝向对应了起来,因此,图像质量有所好转;而在本实施方式中,由于利用了对应于像素坐标值(x,y)的加权进行锯齿校正处理,能够获得质量非常好的图像。
表(table)1
  a   b   c
  d   e   f
  g   h   i
表(table)2
  g   d   a
  h   e   b
  i   f   c
另外,作为上述滤波处理,可以考虑例如图3(a)、(b)中所示的2种方法。第一个例子所举的方法是,根据图3(a)的左图所示无畸变像差的理想图像f(x,y)的各像素的坐标值(x,y),利用由算式(4)和(5)求得的图3(b)的右图所示有畸变像差的图像f’(x’,y’)的各像素的坐标值(x’,y’)和(x’,y’)的附近的参照像素的距离求取滤波处理的加权系数ai(其中,∑ai=1、i=1~4)。
这里,使用了4个像素作为附近的参照像素,也可以根据距离来改变像素数。例如,在图3(a)中,当(x’,y’)非常接近于([x’],[y’])、即a3 0时,可以认为,不进行滤波运算,而是将([x’],[y’])像素的坐标值代入(x’,y’)中更合适。另外,当(x’,y’)位于连结([x’],[y’])和([x’],[y’]+1)的线段上或接近该线段时,可以认为,在滤波运算处理中使用([x’],[y’])和([x’],[y’]+1)的像素坐标值更好。
此外,可以考虑利用加权系数ai,使用例如以下算式(10)求取无畸变像差的理想图像f(x,y)的方法。
f(x,y)=a1×f′([x′],[y′]+1)+a2×f′([x′]+1,[y′]+1)
+a3×f′([x′],[y′])+a4×f′([x′]+1,[y′])           …(10)
第2个例子所举的方法是,根据第1个例子所举的附近像素,使用算式(8)和(9)求取图3(b)的左图所示理想图像f(x,y)的坐标(x,y),利用(x,y)与(x,y)的附近像素之间距离求取滤波处理的加权系数bjk(其中, Σ k bjk = 1 , j、k=1~4)。这里,使用了4个像素作为附近像素;与上述一样,也可以根据距离来改变像素数。此外,可以考虑使用加权系数bjk,使用例如以下算式(11),根据图3(b)的右图所示有畸变像差的图像f’(x’,y’),求取无畸变像差的理想图像f的各像素的坐标值(x,y)的方法。
f(x,y)=b14×f′([x′],[y′]+1)+b23×f′([x′]+1,[y′]+1)
+b32×f′([x′],[y′])+b41×f′([x′]+1,[y′])              …(11)
如本方式,通过使用畸变像差校正参数,能够抑制锯齿的发生,并能获得比现有的畸变像差校正更合适的画质的图像。
另外,本实施方式的信号处理方法是通过固态摄像装置51所具备的计算机来执行包含了使用图2或图3所说明的进程的程序而实现的。由此,可以使固态摄像装置51的信号处理方法具有通用性。
上述程序可以保存在计算机可读的记录介质中提供给用户。由此,可以很容易地提供上述程序。该记录介质既可以是内置在固态摄像装置51的计算机主体中的存储装置等内置媒体,也可以是能从计算机主体分离的可拆除媒体。上述内置媒体包括ROM、闪存等可改写的非易失性存储器、硬盘等。另外,上述可拆除媒体包括:CD-ROM、DVD等光记录介质;MO等光磁记录介质;软盘(注册商标)、磁带、可拆除硬盘等磁记录介质;内置了内存卡等可改写的非易失性存储器的媒体;ROM卡匣等内置了ROM的媒体等。
上述程序的结构是既可以由图1的DSP3或未图示的CPU访问来执行,也可以是,读取记录介质中存储的程序、将读出的程序传送到内置媒体的程序存储区域后,内置媒体上的程序通过DSP3或CPU的访问来执行。程序的执行既可以由DSP3或CPU单独工作来实现,也可以由DSP3和CPU协调工作来实现。另外,上述程序并不限于以保存在计算机可读的记录介质中的状态销售,也可以通过因特网等通信网络向用户的计算机传输的形式销售。
本发明可以用于例如摄像机、电子静物摄影机和便携式电话用照相机等电子照相机、以及内置了这些照相机的图像处理装置等。
本发明的摄像装置的特征在于,在具有用来对将入射光进行光电转换的固态摄像元件所输出的摄像信号进行信号处理的信号处理单元的摄像装置中,上述信号处理单元针对经由摄像光学系统所得的摄像信号,基于与上述摄像光学系统的光轴的距离,通过从上述光轴开始在放射方向上伸缩来校正由于上述摄像光学系统的原因引起的畸变像差,从而抑制图像中可能产生的锯齿。
借助于上述发明,可起到下述效果:能够实现作为畸变像差校正方向只考虑自摄像光学系统的光轴开始的放射方向、并能够抑制畸变像差校正时图像中可能产生的锯齿的摄像装置。
另外,由于利用信号处理单元对摄像信号的信号处理来校正畸变像差,能够很容易地对应各自具备固有特性的上述摄像光学系统的各个畸变像差进行校正。由此进而,可起到无需改善摄像光学系统的性能、组合多个摄像光学系统等就能够实现摄像光学系统大小小型化。
本发明的信号处理方法的特征在于,在对将入射光进行光电转换的固态摄像元件所输出的摄像信号进行信号处理的信号处理方法中,针对经由摄像光学系统所得的摄像信号,基于与上述摄像光学系统的光轴的距离,通过从上述光轴开始在放射方向上伸缩来校正由于上述摄像光学系统的原因引起的畸变像差,从而抑制图像中可能产生的锯齿。
借助于上述发明,可起到下述效果:能够实现作为畸变像差校正方向只考虑自摄像光学系统的光轴开始的放射方向、并能够抑制畸变像差校正时图像中可能产生的锯齿的信号处理方法。
另外,由于利用对摄像信号的信号处理来校正畸变像差,能够很容易地对应各自具备固有特性的上述摄像光学系统的各个畸变像差进行校正。由此进而,可起到无需改善摄像光学系统的性能、组合多个摄像光学系统等就能够实现摄像光学系统大小小型化。
本发明的程序的特征在于,用计算机执行上述信号处理方法。
借助于上述发明,能够使上述信号处理方法具有通用性。
本发明的记录介质的特征在于,上述程序记录成计算机可读。
借助于上述发明,能够很容易地提供上述程序。
本发明的摄像装置和信号处理方法针对经由摄像光学系统所得的摄像信号,基于与上述摄像光学系统的光轴的距离,通过从上述光轴开始在放射方向上伸缩来校正由于上述摄像光学系统的原因引起的畸变像差,从而抑制图像中可能产生的锯齿。
因此,可起到下述效果:能够实现作为畸变像差校正方向只考虑自摄像光学系统的光轴开始的放射方向、并能够抑制畸变像差校正时图像中可能产生的锯齿。
本发明的图像处理装置的特征在于,其包含:输入部,用来输入将经由光学系统入射的光进行光电转换的摄像元件所得的摄像信号;以及畸变像差校正单元,针对上述输入部输入的摄像信号所对应的图像中的各个像素,基于与上述光学系统的光轴上的位置的距离,在连结上述光轴上位置和各像素的方向上生成改变了像素位置的校正图像。
优选的结构是:上述图像处理装置还包含锯齿校正单元,用来针对上述校正图像进行作为锯齿校正处理的滤波处理;上述滤波处理,通过对应于上述校正图像中目标像素的像素位置加权来进行。
另外,假设无畸变像差的理想图像的各像素的坐标值为(x,y)、相应的畸变像差校正对象的图像的各像素的坐标值为(x’,y’),则上述畸变像差校正单元最好是使用下述近似算式进行畸变像差校正。
x=x′(1-kr′2)  …  (a)
y=y′(1-kr′2)  …  (b)
另外,上述锯齿校正单元的构成最好是将理想图像的各像素与校正对象图像上附近各参照像素之间的距离作为上述滤波处理的加权参数使用。
另外,上述锯齿校正单元的构成最好是,利用上述畸变像差校正单元,使用基于上述近似算式(a)和(b)计算出来的上述理想图像的各像素的坐标值(x,y)来设定上述加权参数。
本发明的其他图像处理装置的特征在于,其包含:输入部,用来输入将经由光学系统入射的光进行光电转换的摄像元件所得的摄像信号;畸变像差校正单元,针对上述输入部输入的摄像信号所对应的图像进行畸变像差校正,由此生成畸变像差校正图像;以及锯齿校正装置,针对上述畸变像差校正图像执行滤波处理;在上述滤波处理中,对应于上述畸变像差校正图像中目标像素的像素位置改变滤波处理中的加权。
在上述图像处理装置中,上述锯齿校正单元的构成最好是将理想图像的各像素与校正对象图像上附近各参照像素之间的距离作为上述滤波处理的加权参数使用。
另外,本发明的图像处理方法的特征在于,包含:输入工序,用来输入将经由光学系统入射的光进行光电转换的摄像元件所得的摄像信号;畸变像差校正工序,针对上述输入部输入的摄像信号所对应的图像中的各个像素,基于上述图像中与上述光学系统的光轴上的位置的距离,在连结上述光轴上位置和各像素的方向上生成改变了像素位置的校正图像;以及锯齿校正处理工序,针对上述校正图像执行作为锯齿校正处理的滤波处理;上述滤波处理,通过对应于上述校正图像中目标像素的像素位置的加权来进行。
另外,本发明的其他图像处理方法的特征在于,包含:输入工序,用来输入将经由光学系统入射的光进行光电转换的摄像元件所得的摄像信号;畸变像差校正工序,针对上述输入部输入的摄像信号所对应的图像进行畸变像差校正,由此生成畸变像差校正图像;以及锯齿校正工序,针对上述畸变像差校正图像执行滤波处理;在上述滤波处理中,对应于上述畸变像差校正图像中目标像素的像素位置改变滤波处理中的加权。
另外,本发明的图像处理装置的控制程序的特征在于,使计算机发挥上述图像处理装置的各单元的功能。
另外,本发明的记录介质的特征在于,其是记录了上述程序的计算机可读的记录介质。
在发明的详细说明项中给出的具体实施方式或实施例,只不过是为了表明本发明的技术内容,不应局限于这样的具体例而作狭义的解释,在本发明的精神及一同附上的权利要求的范围内,可以做出各种改变后实施。

Claims (12)

1.一种摄像装置,其具有信号处理单元,用来对将入射光进行光电转换的固态摄像元件所输出的摄像信号进行信号处理,其中
上述信号处理单元针对经由摄像光学系统所得的摄像信号、基于与上述摄像光学系统的光轴的距离、通过从上述光轴开始在放射方向上伸缩来校正由于上述摄像光学系统的原因引起的畸变像差,从而抑制图像中可能产生的锯齿。
2.一种图像处理装置,包含:
输入部,用来输入将经由光学系统入射的光进行光电转换的摄像元件所得的摄像信号;以及
畸变像差校正单元,针对上述输入部输入的摄像信号所对应的图像中的各个像素,基于上述图像中与上述光学系统的光轴上的位置的距离,在连结上述光轴上的位置和各像素的方向上生成改变了像素位置的校正图像。
3.如权利要求2所述的图像处理装置,其还包含锯齿校正单元,针对上述校正图像进行作为锯齿校正处理的滤波处理,
上述滤波处理通过与上述校正图像中目标像素的像素位置对应的加权来进行。
4.如权利要求2所述的图像处理装置,当无畸变像差的理想图像的各像素的坐标值为(x,y)、相应的畸变像差校正对象的图像的各像素的坐标值为(x’,y’)、上述(x’,y’)距光学系统的光轴上的位置的距离为r’时,上述畸变像差校正单元使用下述近似算式进行畸变像差校正。
x=x′(1-kr′2)…(a)
y=y′(1-kr′2)…(b)
5.如权利要求3所述的图像处理装置,当无畸变像差的理想图像的各像素的坐标值为(x,y)、相应的畸变像差校正对象的图像的各像素的坐标值为(x’,y’)、上述(x’,y’)距光学系统的光轴上的位置的距离为r’时,上述畸变像差校正单元使用下述近似算式进行畸变像差校正。
x=x′(1-kr′2)…(a)
y=y′(1-kr′2)…(b)
6.如权利要求5所述的图像处理装置,上述锯齿校正单元将理想图像的各像素与校正对象图像上附近各参照像素之间的距离用作上述滤波处理的加权参数。
7.如权利要求6所述的图像处理装置,上述锯齿校正单元利用上述畸变像差校正单元,使用基于上述近似算式(a)和(b)计算出来的上述理想图像的各像素的坐标值(x,y)来设定上述加权参数。
8.一种图像处理装置,包含:
输入部,用来输入将经由光学系统入射的光进行光电转换的摄像元件所得的摄像信号;
畸变像差校正单元,针对上述输入部输入的摄像信号所对应的图像进行畸变像差校正,从而生成畸变像差校正图像;以及
锯齿校正单元,针对上述畸变像差校正图像进行滤波处理,
在上述滤波处理中,对应于上述畸变像差校正图像中目标像素的像素位置来改变滤波处理中的加权。
9.如权利要求8所述的图像处理装置,上述锯齿校正单元将理想图像的各像素与校正对象图像上附近各参照像素之间的距离用作上述滤波处理的加权参数。
10.一种信号处理方法,用来对将入射光进行光电转换的固态摄像元件所输出的摄像信号进行信号处理,其特征在于,
针对经由摄像光学系统所得的摄像信号、基于与上述摄像光学系统的光轴的距离、通过从上述光轴开始在放射方向上伸缩来校正由于上述摄像光学系统的原因引起的畸变像差,从而抑制图像中可能产生的锯齿。
11.一种图像处理方法,其包含:
输入工序,用来输入将经由光学系统入射的光进行光电转换的摄像元件所得的摄像信号;
畸变像差校正工序,针对上述输入部输入的摄像信号所对应的图像中的各个像素,基于上述图像中与上述光学系统的光轴上的位置的距离,在连结上述光轴上的位置和各像素的方向上生成改变了像素位置的校正图像;以及
锯齿校正处理工序,针对上述校正图像进行作为锯齿校正处理的滤波处理,
上述滤波处理,通过对应于上述校正图像中目标像素的像素位置的加权来进行。
12.一种图像处理方法,其包含:
输入工序,用来输入将经由光学系统入射的光进行光电转换的摄像元件所得的摄像信号;
畸变像差校正工序,针对上述输入部输入的摄像信号所对应的图像进行畸变像差校正,由此生成畸变像差校正图像;以及
锯齿校正工序,针对上述畸变像差校正图像进行滤波处理,
在上述滤波处理中,对应于上述畸变像差校正图像中目标像素的像素位置来改变滤波处理中的加权。
CNB200510065796XA 2004-04-16 2005-04-18 图像处理装置、图像处理方法 Expired - Fee Related CN100418354C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004122219A JP2005311473A (ja) 2004-04-16 2004-04-16 撮像装置および信号処理方法ならびにそのプログラムと記録媒体
JP122219/04 2004-04-16

Publications (2)

Publication Number Publication Date
CN1684499A true CN1684499A (zh) 2005-10-19
CN100418354C CN100418354C (zh) 2008-09-10

Family

ID=34940791

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200510065796XA Expired - Fee Related CN100418354C (zh) 2004-04-16 2005-04-18 图像处理装置、图像处理方法

Country Status (6)

Country Link
US (1) US20050231616A1 (zh)
EP (1) EP1587306A3 (zh)
JP (1) JP2005311473A (zh)
KR (1) KR100704209B1 (zh)
CN (1) CN100418354C (zh)
TW (1) TWI280049B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101826538A (zh) * 2009-03-06 2010-09-08 索尼公司 固态摄像元件、制作该元件的方法及使用该元件的电子设备
CN101924875A (zh) * 2009-06-17 2010-12-22 奥林巴斯映像株式会社 图像处理装置以及摄像装置
CN104270571A (zh) * 2014-10-20 2015-01-07 联想(北京)有限公司 图像处理方法以及电子设备
CN104469161A (zh) * 2014-12-22 2015-03-25 联想(北京)有限公司 图像处理方法以及电子设备
US10176559B2 (en) 2001-12-22 2019-01-08 Lenovo (Beijing) Co., Ltd. Image processing method applied to an electronic device with an image acquiring unit and electronic device
WO2020259271A1 (zh) * 2019-06-24 2020-12-30 Oppo广东移动通信有限公司 图像畸变校正方法和装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100977101B1 (ko) * 2005-11-30 2010-08-23 가부시끼가이샤 도시바 화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화장치
JP4470930B2 (ja) * 2006-09-21 2010-06-02 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
US8576377B2 (en) * 2006-12-28 2013-11-05 Asml Netherlands B.V. Lithographic apparatus and device manufacturing method
US20080158529A1 (en) * 2006-12-28 2008-07-03 Asml Netherlands B.V. Lithographic apparatus and device manufacturing method
KR101014572B1 (ko) * 2007-08-27 2011-02-16 주식회사 코아로직 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치
JP5195818B2 (ja) * 2010-06-01 2013-05-15 セイコーエプソン株式会社 表示制御装置
TWI470947B (zh) * 2012-12-24 2015-01-21 Ind Tech Res Inst 光通訊資料嵌入的裝置與方法以及光通訊系統和方法
US8942571B2 (en) 2012-12-24 2015-01-27 Industrial Technology Research Institute Apparatus and method for data embedding in light communication and the light communication system and method thereof
JP6070283B2 (ja) * 2013-03-04 2017-02-01 株式会社リコー 撮像装置、露出制御方法およびプログラム
KR102114248B1 (ko) 2013-09-13 2020-05-22 삼성전자 주식회사 깊이 정보 기반 광학 왜곡 보상 장치 및 방법
JP2015103151A (ja) * 2013-11-27 2015-06-04 ソニー株式会社 画像処理装置、画像処理方法、固体撮像素子、及び、電子機器
KR102011938B1 (ko) 2016-03-14 2019-08-19 리어롭 가부시키가이샤 화상 처리 장치, 화상 처리 방법, 기록 매체, 프로그램 및 촬상 장치
DE102018107950A1 (de) * 2017-04-18 2018-10-18 Canon Kabushiki Kaisha Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und bildaufnahmevorrichtung
JP7138780B2 (ja) * 2019-04-02 2022-09-16 富士フイルム株式会社 画像処理装置とその作動方法および作動プログラム、運用装置とその作動方法および作動プログラム、並びに機械学習システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0194776A (ja) * 1987-10-07 1989-04-13 Matsushita Electric Ind Co Ltd 撮像装置
JPH05207351A (ja) * 1992-01-27 1993-08-13 Canon Inc 画像信号処理方法および装置
JP3035416B2 (ja) * 1992-11-18 2000-04-24 キヤノン株式会社 撮像装置及び画像再生装置及び映像システム
US5905530A (en) * 1992-08-24 1999-05-18 Canon Kabushiki Kaisha Image pickup apparatus
JPH08256295A (ja) * 1994-12-21 1996-10-01 Olympus Optical Co Ltd 画像処理装置
JP2000125174A (ja) * 1998-10-12 2000-04-28 Fuji Photo Film Co Ltd 画像情報における歪曲収差補正方法および装置
US7126616B2 (en) * 2001-06-12 2006-10-24 Silicon Optix Inc. Method and system for processing a non-linear two dimensional spatial transformation
JP2003037769A (ja) * 2001-07-23 2003-02-07 Canon Inc 信号処理装置、撮像装置、及び信号処理方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10176559B2 (en) 2001-12-22 2019-01-08 Lenovo (Beijing) Co., Ltd. Image processing method applied to an electronic device with an image acquiring unit and electronic device
CN101826538A (zh) * 2009-03-06 2010-09-08 索尼公司 固态摄像元件、制作该元件的方法及使用该元件的电子设备
CN101826538B (zh) * 2009-03-06 2012-06-20 索尼公司 固态摄像元件、制作该元件的方法及使用该元件的电子设备
CN101924875A (zh) * 2009-06-17 2010-12-22 奥林巴斯映像株式会社 图像处理装置以及摄像装置
CN101924875B (zh) * 2009-06-17 2012-10-17 奥林巴斯株式会社 图像处理装置以及摄像装置
CN104270571A (zh) * 2014-10-20 2015-01-07 联想(北京)有限公司 图像处理方法以及电子设备
CN104270571B (zh) * 2014-10-20 2018-06-01 联想(北京)有限公司 图像处理方法以及电子设备
CN104469161A (zh) * 2014-12-22 2015-03-25 联想(北京)有限公司 图像处理方法以及电子设备
CN104469161B (zh) * 2014-12-22 2017-11-03 联想(北京)有限公司 图像处理方法以及电子设备
WO2020259271A1 (zh) * 2019-06-24 2020-12-30 Oppo广东移动通信有限公司 图像畸变校正方法和装置
US11861813B2 (en) 2019-06-24 2024-01-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image distortion correction method and apparatus

Also Published As

Publication number Publication date
JP2005311473A (ja) 2005-11-04
TWI280049B (en) 2007-04-21
KR100704209B1 (ko) 2007-04-06
KR20060045707A (ko) 2006-05-17
EP1587306A3 (en) 2008-01-23
EP1587306A2 (en) 2005-10-19
TW200541326A (en) 2005-12-16
CN100418354C (zh) 2008-09-10
US20050231616A1 (en) 2005-10-20

Similar Documents

Publication Publication Date Title
CN1684499A (zh) 图像处理装置、图像处理方法及其程序和记录介质
CN1897649A (zh) 图像处理装置和方法、记录介质和程序
CN1678035A (zh) 畸变修正装置和具备该畸变修正装置的摄像装置
CN1835556A (zh) 像素插值装置及照相机装置
CN1801901A (zh) 摄像装置以及摄像方法
CN1236402C (zh) 图像处理方法、图像处理程序及记录该程序的记录媒体
CN1783939A (zh) 振铃去除装置及记录有振铃去除程序的计算机可读取记录媒体
CN1527591A (zh) 摄像装置
CN1251485C (zh) 摄像装置
CN1917616A (zh) 摄影装置
CN1992819A (zh) 拍摄装置和方法
EP1667426A3 (en) Image forming apparatus and its control method
CN1162888A (zh) 光电转换设备
CN1870715A (zh) 手抖动校正装置
CN101080742A (zh) 利用多焦点透镜获取的图像的增强
CN1835565A (zh) 图像捕获装置、图像传感器和图像捕获处理方法
JP2007135056A (ja) 画像処理装置および方法、並びにプログラム
CN1753458A (zh) 摄影装置及摄影方法
CN101056354A (zh) 图像摄取装置及其控制方法、图像处理装置和图像处理方法
CN1992816A (zh) 图像显示装置和方法、以及程序
CN1738357A (zh) 摄像系统
CN1306794C (zh) 数字照相机
CN101076079A (zh) 一种视频信号图像增强方法及其设备
CN1867047A (zh) 图像处理设备和方法及程序
CN1244236C (zh) 距离计算方法和图像拾取设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080910

Termination date: 20140418