CN100418354C - 图像处理装置、图像处理方法 - Google Patents
图像处理装置、图像处理方法 Download PDFInfo
- Publication number
- CN100418354C CN100418354C CNB200510065796XA CN200510065796A CN100418354C CN 100418354 C CN100418354 C CN 100418354C CN B200510065796X A CNB200510065796X A CN B200510065796XA CN 200510065796 A CN200510065796 A CN 200510065796A CN 100418354 C CN100418354 C CN 100418354C
- Authority
- CN
- China
- Prior art keywords
- image
- mentioned
- image pickup
- correcting
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title description 21
- 230000004075 alteration Effects 0.000 claims abstract description 124
- 230000003287 optical effect Effects 0.000 claims abstract description 120
- 238000003384 imaging method Methods 0.000 claims abstract description 13
- 238000001914 filtration Methods 0.000 claims description 42
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 230000005693 optoelectronics Effects 0.000 claims description 14
- 238000000034 method Methods 0.000 abstract description 24
- 230000008569 process Effects 0.000 abstract description 9
- 230000000875 corresponding effect Effects 0.000 description 17
- 230000005855 radiation Effects 0.000 description 15
- 239000007787 solid Substances 0.000 description 13
- 101100388212 Arabidopsis thaliana DSP3 gene Proteins 0.000 description 12
- 230000008859 change Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000015654 memory Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000002203 pretreatment Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- E—FIXED CONSTRUCTIONS
- E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
- E05D—HINGES OR SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS
- E05D5/00—Construction of single parts, e.g. the parts for attachment
- E05D5/02—Parts for attachment, e.g. flaps
- E05D5/06—Bent flaps
-
- E—FIXED CONSTRUCTIONS
- E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
- E05D—HINGES OR SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS
- E05D3/00—Hinges with pins
- E05D3/02—Hinges with pins with one pin
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- E—FIXED CONSTRUCTIONS
- E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
- E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
- E05Y2900/00—Application of doors, windows, wings or fittings thereof
- E05Y2900/10—Application of doors, windows, wings or fittings thereof for buildings or parts thereof
- E05Y2900/13—Type of wing
- E05Y2900/132—Doors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Lenses (AREA)
Abstract
在对经由作为摄像光学系统的光学透镜获得的摄像信号进行处理后输出到输出图像显示部去的DSP中,实施信号处理,同时实施抑制锯齿的图像处理,该信号处理是针对摄像信号基于与光学透镜的光轴的距离通过从光轴开始在放射方向上伸缩来校正上述光学透镜(1)的畸变像差。由此,实现能够只考虑来自摄像光学系统的光轴的放射方向来作为畸变像差校正方向、并抑制畸变像差校正时图像中可能产生的锯齿的摄像装置。
Description
技术领域
本发明涉及一种例如摄像机、电子静物摄影机和便携式电话用照相机等电子照相机所使用的用来对固态摄像元件输出的摄像信号进行处理的摄像装置等图像处理装置。
背景技术
近年来,用于例如摄像机、电子静物摄影机和便携式电话用照相机等电子照相机的、使用了上述固态摄像元件的固态摄像装置得到了广泛应用。对使用这些固态摄像装置拍摄所得的图像质量提出了更高要求。为此,在固态摄像装置中,对于利用摄像光学系统所得的摄像信号,为了降低上述摄像光学系统的畸变像差,所采用的措施是改善上述摄像光学系统的性能、在摄像光学系统中组合使用多个光学透镜、或者通过信号处理校正畸变像差等。
图4是表示现有的固态摄像装置101的结构的方框图。
在图4中,固态摄像装置101具有作为摄像光学系统的一个实例的光学透镜1、作为固态摄像元件的一个实例的CCD2、数字信号处理部3(以下称为DSP3)和输出图像显示部4。这里,从CCD2输出的摄像信号称为CCD输出信号21;从DSP3输出的摄像信号称为DSP输出信号22。
利用上述结构,拍摄对象的像由光学透镜1在CCD2的受光部上成像。到达该CCD2的受光部的光经CCD2光电转换,变成模拟电信号(以下称为摄像信号),作为CCD输出信号21传送到DSP3。摄像信号经DSP3进行各种信号处理之后,作为适合于显示部的DSP输出信号22传送到输出图像显示部4,在显示画面上显示图像。
这里进一步详细说明DSP3的内部结构。
DSP3具有摄像信号前处理部11、模拟/数字转换部12(以下称为A/D转换部12)、摄像信号主处理部13、摄像信号输出部14、以及定时信号发生器15(以下称为TG15)。
摄像信号前处理部11针对摄像信号,进行利用相关二重采样处理(以下称为CDS)的降低噪声、利用自动增益控制(以下称为AGC)的振幅控制。
A/D转换部12将模拟信号的摄像信号转换成数字信号后,传送到摄像信号主处理部13。
摄像信号主处理部13对转换成数字信号后的摄像信号进行白平衡度控制(以下称为WB)、自动曝光控制(以下称为AE)、以及伽玛校正等各种数字信号图像处理,传送到摄像信号输出部14。
摄像信号输出部14将实施了数字信号图像处理后的摄像信号转换成适合输出图像显示部4的方式的信号,与TG15生成的垂直同步信号24(以下称为VD24)和水平同步信号25(以下称为HD25)等用于显示出输出图像所需的各种定时信号一起输出到输出图像显示部4。作为TG15输出的定时信号的一个实例,列举了定时脉冲23、VD24、HD25和时钟脉冲26等,这些各定时信号分别用作关联的各处理部的同步信号。
但是,上述现有的固态摄像装置存在的问题是,由于其使用摄像光学系统可能引起的畸变像差,输出图像显示部4中显示的图像会扭曲变形。
例如,利用无畸变像差的理想摄像光学系统在固态摄像元件受光的图像如果是图5(a)所示的格子状图形,则利用有畸变像差的摄像光学系统在固态摄像元件受光的图像中,会发生图5(b)或图5(c)所示的几何扭曲变形。
以往,公开了一种用来校正这样的畸变像差的固态摄像装置的结构。
例如,在专利文献1:特开2003-37769号公报(公开日:2003年2月7日)中公开了一种用来对经由摄像光学系统射入的拍摄对象光学像的图像信号进行上述摄像光学系统的畸变像差校正的信号处理装置。这是一种基于图像中第1方向的畸变像差来校正与上述第1方向不同的第2方向的畸变像差的技术,由此,在高速执行对摄像信号的畸变像差的校正处理的同时,能够消除图像整体的不自然。
另外,专利文献2:专利第3035416号公报(登记日:2000年2月18日)(特开平6-165024号公报、公开日:1994年6月10日,对应美国专利5,905,530号)中公开的专利是,对于摄像光学系统产生的畸变,以该摄像光学系统的光轴位置为中心,并且以外侧和内侧存在图像的画面上指定的圆为基准,该指定圆外侧的图像朝外侧方向、内侧的图像朝内侧方向进行校正;通过具备这样的对图像信号进行处理的校正单元,从而能够校正畸变像差。
在专利文献1中,使用基于第1方向的畸变像差校正与上述第1方向不同的第2方向的畸变像差的技术,通过基于特定方向校正畸变像差来改善画质。但是,利用专利文献1的方式,由于分别基于第1方向和第2方向进行校正处理,所存在的问题是,必须考虑第2方向的校正处理来进行第1方向的校正处理。
另外,对发生了畸变像差的图像中的直线实施畸变像差校正处理后变成曲线,在专利文献2中,该曲线会产生锯齿(jaggy)。但是,该文献中,对于在校正畸变像差时可能产生的锯齿,以及对于避免锯齿的产生等没有任何记述。
发明内容
本发明的目的在于实现一种作为畸变像差校正方向只考虑自摄像光学系统的光轴开始的放射方向、并能够抑制畸变像差校正时图像中可能产生的锯齿的摄像装置等的图像处理装置、图像处理方法及其程序和记录介质。
本发明的摄像装置的特征在于,在具有对将入射光进行光电转换的固态摄像元件所输出的摄像信号进行信号处理的信号处理单元的摄像装置中,上述信号处理单元针对经由摄像光学系统所得的摄像信号、基于与上述摄像光学系统的光轴的距离、通过从上述光轴开始在放射方向上伸缩来校正由于上述摄像光学系统的原因引起的畸变像差,从而抑制图像中可能产生的锯齿。
借助于上述发明,可起到下述效果:能够实现作为畸变像差校正方向只考虑自摄像光学系统的光轴开始的放射方向、并能够抑制畸变像差校正时图像中可能产生的锯齿的摄像装置。
另外,由于利用信号处理单元对摄像信号的信号处理来校正畸变像差,故能够很容易地对应各自具备固有特性的上述摄像光学系统的各个畸变像差进行校正。由此进而,可起到无需改善摄像光学系统的性能、组合多个摄像光学系统等就能够实现摄像光学系统大小小型化的效果。
本发明的信号处理方法的特征在于,在对将入射光进行光电转换的固态摄像元件所输出的摄像信号进行信号处理的信号处理方法中,针对经由摄像光学系统所得的摄像信号、基于与上述摄像光学系统的光轴的距离、通过从上述光轴开始在放射方向上伸缩来校正由于上述摄像光学系统的原因引起的畸变像差,从而抑制图像中可能产生的锯齿。
借助于上述发明,可起到下述效果:能够实现作为畸变像差校正方向只考虑自摄像光学系统的光轴开始的放射方向、并能够抑制畸变像差校正时图像中可能产生的锯齿的信号处理方法。
另外,由于利用对摄像信号的信号处理来校正畸变像差,故能够很容易地对应各自具备固有特性的上述摄像光学系统的各个畸变像差进行校正。由此进而,可起到无需改善摄像光学系统的性能、组合多个摄像光学系统等就能够实现摄像光学系统大小小型化的效果。
本发明的程序的特征在于,用计算机执行上述信号处理方法。
借助于上述发明,能够使上述信号处理方法具有通用性。
本发明的记录介质的特征在于,上述程序记录成计算机可读。
借助于上述发明,能够很容易地提供上述程序。
本发明的摄像装置和信号处理方法针对经由摄像光学系统所得的摄像信号,基于与上述摄像光学系统的光轴的距离,通过从上述光轴开始在放射方向上伸缩来校正由于上述摄像光学系统的原因引起的畸变像差,从而抑制图像中可能产生的锯齿。
因此,可起到下述效果:能够实现作为畸变像差校正方向只考虑自摄像光学系统的光轴开始的放射方向、并能够抑制畸变像差校正时图像中可能产生的锯齿。
本发明的图像处理装置的特征在于,其包含:输入部,用来输入将经由光学系统入射的光进行光电转换的摄像元件所得的摄像信号;以及畸变像差校正单元,针对上述输入部输入的摄像信号所对应的图像中的各个像素,基于上述图像中与上述光学系统的光轴上的位置的距离,在连结上述光轴上位置和各像素的方向上生成改变了像素位置的校正图像。
优选的构成是:上述图像处理装置还包含锯齿校正单元,用来针对上述校正图像进行作为锯齿校正处理的滤波处理;上述滤波处理,通过对应于上述校正图像中目标像素的像素位置的加权来进行。
另外,假设无畸变像差的理想图像的各像素的坐标值为(x,y)、相应的畸变像差校正对象的图像的各像素的坐标值为(x’,y’),则上述畸变像差校正装置最好是使用下述近似算式进行畸变像差校正。
x=x′(1-kr′2)...(a)
y=y′(1-kr′2)...(b)
另外,上述锯齿校正单元的构成最好是将理想图像的各像素与校正对象图像上附近各参照像素之间的距离作为上述滤波处理的加权参数使用。
另外,上述锯齿校正单元的构成最好是,利用上述畸变像差校正单元,使用基于上述近似算式(a)和(b)计算出来的上述理想图像的各像素的坐标值(x,y)来设定上述加权参数。
本发明的另一图像处理装置的特征在于,其包含:输入部,用来输入将经由光学系统入射的光进行光电转换的摄像元件所得的摄像信号;畸变像差校正单元,针对上述输入部输入的摄像信号所对应的图像进行畸变像差校正,由此生成畸变像差校正图像;以及锯齿校正单元,针对上述畸变像差校正图像进行滤波处理;在上述滤波处理中,对应于上述畸变像差校正图像中目标像素的像素位置改变滤波处理中的加权。
在上述图像处理装置中,上述锯齿校正单元的构成最好是将理想图像的各像素与校正对象图像上附近各参照像素之间的距离作为上述滤波处理的加权参数使用。
另外,本发明的图像处理方法的特征在于,包含:输入工序,用来输入将经由光学系统入射的光进行光电转换的摄像元件所得的摄像信号;畸变像差校正工序,针对上述输入部输入的摄像信号所对应的图像中的各个像素,基于上述图像中与上述光学系统的光轴上的位置的距离,在连结上述光轴上位置和各像素的方向上生成改变了像素位置的校正图像;以及锯齿校正处理工序,针对上述校正图像进行作为锯齿校正处理的滤波处理;上述滤波处理,通过对应于上述校正图像中目标像素的像素位置的加权来进行。
另外,本发明的另一图像处理方法的特征在于,包含:输入工序,用来输入将经由光学系统入射的光进行光电转换的摄像元件所得的摄像信号;畸变像差校正工序,针对上述输入部输入的摄像信号所对应的图像进行畸变像差校正,由此生成畸变像差校正图像;以及锯齿校正工序,针对上述畸变像差校正图像进行滤波处理;在上述滤波处理中,对应于上述畸变像差校正图像中目标像素的像素位置改变滤波处理中的加权。
另外,本发明的图像处理装置的控制程序的特征在于,使计算机发挥上述图像处理装置的各单元的功能。
另外,本发明的记录介质的特征在于,其是记录了上述程序的计算机可读的记录介质。
本发明的其它目的、特征、以及优点,参照以下所示的记载即可完全明白。另外,通过参照附图的下述说明可知本发明的优点。
附图说明
图1表示本发明的实施方式,是表示摄像装置的主要部件结构的方框图。
图2(a)和图2(b)是表示用来说明图1的摄像装置的畸变像差校正原理的畸变像差性质的概念图。
图3(a)和图3(b)是用来说明图1的摄像装置的畸变像差校正处理的概念图。
图4表示的是现有技术,是表示摄像装置的主要部件结构的方框图。
图5(a)至图5(c)是用来说明畸变像差的概念图。
具体实施方式
下面参照附图说明本发明的各个实施方式。
(第1实施方式)
本发明的适合的实施方式中,对于从固态摄像元件传送过来的摄像信号(CCD输出信号)中包含的由摄像光学系统所导致的畸变像差,在通过数字信号处理部(DSP)进行畸变像差校正的同时,通过滤波处理对上述畸变像差校正时可能产生的锯齿进行校正,由此校正上述畸变像差,得到合适的图像。
下面,参照附图说明本发明的适合的实施方式。此外,对于与上述现有技术中使用的附图具有相同功能的部件,赋予同样的符号。
图1表示本实施方式中的固态摄像装置(摄像装置)51的结构。固态摄像装置51在图4所示现有的固态摄像装置的DSP(信号处理单元)3中具备畸变像差校正功能和用来抑制锯齿的滤波处理功能。为了实现这两个功能,在A/D转换部12和摄像信号主处理部13之间设置了畸变像差校正处理部16。因此,从DSP3输出的摄像信号被施加了本发明的畸变像差校正和用来抑制图像轮廓部位可能发生的锯齿的滤波处理。此外,作为固态摄像元件,除了CCD2之外,还有例如CMOS摄像元件。
其次,说明DSP3中本实施方式的畸变像差处理。在本实施方式中,无畸变像差的理想图像与经由摄像光学系统所得的有畸变像差的图像的对应关系通过由透镜的近轴理论所得的近似式求取。然后,使用该近似式进行畸变像差校正。
首先,说明无畸变像差的理想图像f(x,y)与经由摄像光学系统所得的有畸变像差的图像f’(x’,y’)的对应关系。畸变像差是指从图像中心沿放射方向所发生的图像的伸缩、扭曲。其中,假定图像中心是摄像光学系统的光轴与固态摄像元件的交点。例如,图2(a)所示的点P沿放射方向(箭头A方向)伸缩,与图2(b)所示的点P’对应。畸变程度依距图像中心的距离r而决定,理想摄像光学系统中的畸变像差以图像中心呈点对称状态。无畸变像差的图像与有畸变像差的图像的对应关系根据上述透镜的近轴理论可以下列算式(1)~(3)加以对应。其中,k为比例常数。
r′=r+kr3 ...(1)
r2=x2+y2 ...(2)
r′2=x′2+y′2...(3)
将算式(1)分解为x轴和y轴分量,可得算式(4)和算式(5)。其中,θ是连结点P与原点的线段与x轴正向所成角度。
另外,r是从无畸变像差的理想图像f(x,y)的中心算起的距离,r’是从经由摄像光学系统所得的有畸变像差的图像f’(x’,y’)的中心算起的距离。
对畸变像差的校正对应于将算式(4)和(5)从有畸变像差的图像向无畸变像差的图像进行逆变换。
但是,由于算式(4)和(5)是非线性函数,直接进行逆变换的话,计算量变大。因此,注意到r和r’与Δr(=r-r′)的比值充分小、即在实际的摄像光学系统中畸变率为数个百分点左右,在算式(4)和(5)中,认为近似为r≈r′,则可得以下算式(6)和(7)。
x=x′(1+kr′2)-1 ...(6)
y=y′(1+kr′2)-1 ...(7)
这里,当k·r′2《1时,算式(6)和(7)可近似为以下算式(8)和(9)。
x=x′(1-kr′2) ...(8)
y=y′(1-kr′2) ...(9)
在本实施方式中,使用上述算式(8)和(9)进行畸变像差校正。在进行上述畸变像差校正时,通过利用各像素附近的参照像素进行滤波处理,来改善图像轮廓部分可能产生的锯齿。
上述滤波处理的适当方式之一是,在上述畸变像差校正时将利用上述算式(8)和(9)所求得的坐标(x,y)与附近像素之间的距离作为上述滤波处理的加权参数使用。校正对象图像上像素(x,y)与邻近4个像素之间的距离受到畸变像差的影响,随其在校正对象图像上位置而不同。即,在校正对象图像上,畸变像差程度不固定,随其在图像上位置而不同。这里,如本实施方式,在计算出理想图像的各像素(x,y)的坐标值时,只要参照该像素的坐标值(x,y)和校正对象图像上各临近像素之间的距离,即可进行抑制了锯齿的畸变像差校正。
由此,由于可以设定无数个参数,因而能够获得现有的锯齿校正处理中的滤波处理所用的千篇一律的参数设定所无法得到的适宜图像。在一般的锯齿校正处理中,基本上即使移动了滤波处理中目标像素,也不改变滤波器的各个加权。不过,考虑到发生锯齿的边缘的方向分量,为此也可以旋转参数设定表。例如,假定当边缘的方向分量是连结图像左下和右上的直线方向时,滤波处理所用的加杈参数如表1中表(table)1所示设定。假定此时当边缘的方向分量是连结图像左上和右下的直线方向时,滤波处理所用的加权参数设定为如将表(table)1旋转后的表2中表(table)2所示。由此,锯齿校正处理与图像朝向对应了起来,因此,图像质量有所好转;而在本实施方式中,由于利用了对应于像素坐标值(x,y)的加权进行锯齿校正处理,能够获得质量非常好的图像。
表(table)1
a | b | c |
d | e | f |
g | h | i |
表(table)2
g | d | a |
h | e | b |
i | f | c |
另外,作为上述滤波处理,可以考虑例如图3(a)、(b)中所示的2种方法。第一个例子所举的方法是,根据图3(a)的左图所示无畸变像差的理想图像f(x,y)的各像素的坐标值(x,y),利用由算式(4)和(5)求得的图3(b)的右图所示有畸变像差的图像f’(x’,y’)的各像素的坐标值(x’,y’)和(x’,y’)的附近的参照像素的距离求取滤波处理的加权系数ai(其中,∑ai=1、i=1~4)。
这里,使用了4个像素作为附近的参照像素,也可以根据距离来改变像素数。例如,在图3(a)中,当(x’,y’)非常接近于([x’],[y’])、即a3≈0时,可以认为,不进行滤波运算,而是将([x’],[y’])像素的坐标值代入(x’,y’)中更合适。另外,当(x’,y’)位于连结([x’],[y’])和([x’],[y’]+1)的线段上或接近该线段时,可以认为,在滤波运算处理中使用([x’],[y’])和([x’],[y’]+1)的像素坐标值更好。
此外,可以考虑利用加权系数ai,使用例如以下算式(10)求取无畸变像差的理想图像f(x,y)的方法。
f(x,y)=a1×f′([x′],[y′]+1)+a2×f′([x′]+1,[y′]+1)
+a3×f′([x′],[y′])+a4×f′([x′]+1,[y′]) ...(10)
第2个例子所举的方法是,根据第1个例子所举的附近像素,使用算式(8)和(9)求取图3(b)的左图所示理想图像f(x,y)的坐标(x,y),利用(x,y)与(x,y)的附近像素之间距离求取滤波处理的加权系数bjk(其中, )。这里,使用了4个像素作为附近像素;与上述一样,也可以根据距离来改变像素数。此外,可以考虑使用加权系数bjk,使用例如以下算式(11),根据图3(b)的右图所示有畸变像差的图像f’(x’,y’),求取无畸变像差的理想图像f的各像素的坐标值(x,y)的方法。
f(x,y)=b14×f′([x′],[y′]+1)+b23×f′([x′]+1,[y′]+1)
+b32×f′([x′],[y′])+b41×f′([x′]+1,[y′]) ...(11)
如本方式,通过使用畸变像差校正参数,能够抑制锯齿的发生,并能获得比现有的畸变像差校正更合适的画质的图像。
另外,本实施方式的信号处理方法是通过固态摄像装置51所具备的计算机来执行包含了使用图2或图3所说明的进程的程序而实现的。由此,可以使固态摄像装置51的信号处理方法具有通用性。
上述程序可以保存在计算机可读的记录介质中提供给用户。由此,可以很容易地提供上述程序。该记录介质既可以是内置在固态摄像装置51的计算机主体中的存储装置等内置媒体,也可以是能从计算机主体分离的可拆除媒体。上述内置媒体包括ROM、闪存等可改写的非易失性存储器、硬盘等。另外,上述可拆除媒体包括:CD-ROM、DVD等光记录介质;MO等光磁记录介质;软盘(注册商标)、磁带、可拆除硬盘等磁记录介质;内置了内存卡等可改写的非易失性存储器的媒体;ROM卡匣等内置了ROM的媒体等。
上述程序的结构是既可以由图1的DSP3或未图示的CPU访问来执行,也可以是,读取记录介质中存储的程序、将读出的程序传送到内置媒体的程序存储区域后,内置媒体上的程序通过DSP3或CPU的访问来执行。程序的执行既可以由DSP3或CPU单独工作来实现,也可以由DSP3和CPU协调工作来实现。另外,上述程序并不限于以保存在计算机可读的记录介质中的状态销售,也可以通过因特网等通信网络向用户的计算机传输的形式销售。
本发明可以用于例如摄像机、电子静物摄影机和便携式电话用照相机等电子照相机、以及内置了这些照相机的图像处理装置等。
本发明的摄像装置的特征在于,在具有用来对将入射光进行光电转换的固态摄像元件所输出的摄像信号进行信号处理的信号处理单元的摄像装置中,上述信号处理单元针对经由摄像光学系统所得的摄像信号,基于与上述摄像光学系统的光轴的距离,通过从上述光轴开始在放射方向上伸缩来校正由于上述摄像光学系统的原因引起的畸变像差,从而抑制图像中可能产生的锯齿。
借助于上述发明,可起到下述效果:能够实现作为畸变像差校正方向只考虑自摄像光学系统的光轴开始的放射方向、并能够抑制畸变像差校正时图像中可能产生的锯齿的摄像装置。
另外,由于利用信号处理单元对摄像信号的信号处理来校正畸变像差,能够很容易地对应各自具备固有特性的上述摄像光学系统的各个畸变像差进行校正。由此进而,可起到无需改善摄像光学系统的性能、组合多个摄像光学系统等就能够实现摄像光学系统大小小型化。
本发明的信号处理方法的特征在于,在对将入射光进行光电转换的固态摄像元件所输出的摄像信号进行信号处理的信号处理方法中,针对经由摄像光学系统所得的摄像信号,基于与上述摄像光学系统的光轴的距离,通过从上述光轴开始在放射方向上伸缩来校正由于上述摄像光学系统的原因引起的畸变像差,从而抑制图像中可能产生的锯齿。
借助于上述发明,可起到下述效果:能够实现作为畸变像差校正方向只考虑自摄像光学系统的光轴开始的放射方向、并能够抑制畸变像差校正时图像中可能产生的锯齿的信号处理方法。
另外,由于利用对摄像信号的信号处理来校正畸变像差,能够很容易地对应各自具备固有特性的上述摄像光学系统的各个畸变像差进行校正。由此进而,可起到无需改善摄像光学系统的性能、组合多个摄像光学系统等就能够实现摄像光学系统大小小型化。
本发明的程序的特征在于,用计算机执行上述信号处理方法。
借助于上述发明,能够使上述信号处理方法具有通用性。
本发明的记录介质的特征在于,上述程序记录成计算机可读。
借助于上述发明,能够很容易地提供上述程序。
本发明的摄像装置和信号处理方法针对经由摄像光学系统所得的摄像信号,基于与上述摄像光学系统的光轴的距离,通过从上述光轴开始在放射方向上伸缩来校正由于上述摄像光学系统的原因引起的畸变像差,从而抑制图像中可能产生的锯齿。
因此,可起到下述效果:能够实现作为畸变像差校正方向只考虑自摄像光学系统的光轴开始的放射方向、并能够抑制畸变像差校正时图像中可能产生的锯齿。
本发明的图像处理装置的特征在于,其包含:输入部,用来输入将经由光学系统入射的光进行光电转换的摄像元件所得的摄像信号;以及畸变像差校正单元,针对上述输入部输入的摄像信号所对应的图像中的各个像素,基于与上述光学系统的光轴上的位置的距离,在连结上述光轴上位置和各像素的方向上生成改变了像素位置的校正图像。
优选的结构是:上述图像处理装置还包含锯齿校正单元,用来针对上述校正图像进行作为锯齿校正处理的滤波处理;上述滤波处理,通过对应于上述校正图像中目标像素的像素位置加权来进行。
另外,假设无畸变像差的理想图像的各像素的坐标值为(x,y)、相应的畸变像差校正对象的图像的各像素的坐标值为(x’,y’),则上述畸变像差校正单元最好是使用下述近似算式进行畸变像差校正。
x=x′(1-kr′2)...(a)
y=y′(1-kr′2)...(b)
另外,上述锯齿校正单元的构成最好是将理想图像的各像素与校正对象图像上附近各参照像素之间的距离作为上述滤波处理的加权参数使用。
另外,上述锯齿校正单元的构成最好是,利用上述畸变像差校正单元,使用基于上述近似算式(a)和(b)计算出来的上述理想图像的各像素的坐标值(x,y)来设定上述加权参数。
本发明的其他图像处理装置的特征在于,其包含:输入部,用来输入将经由光学系统入射的光进行光电转换的摄像元件所得的摄像信号;畸变像差校正单元,针对上述输入部输入的摄像信号所对应的图像进行畸变像差校正,由此生成畸变像差校正图像;以及锯齿校正装置,针对上述畸变像差校正图像执行滤波处理;在上述滤波处理中,对应于上述畸变像差校正图像中目标像素的像素位置改变滤波处理中的加权。
在上述图像处理装置中,上述锯齿校正单元的构成最好是将理想图像的各像素与校正对象图像上附近各参照像素之间的距离作为上述滤波处理的加权参数使用。
另外,本发明的图像处理方法的特征在于,包含:输入工序,用来输入将经由光学系统入射的光进行光电转换的摄像元件所得的摄像信号;畸变像差校正工序,针对上述输入部输入的摄像信号所对应的图像中的各个像素,基于上述图像中与上述光学系统的光轴上的位置的距离,在连结上述光轴上位置和各像素的方向上生成改变了像素位置的校正图像;以及锯齿校正处理工序,针对上述校正图像执行作为锯齿校正处理的滤波处理;上述滤波处理,通过对应于上述校正图像中目标像素的像素位置的加权来进行。
另外,本发明的其他图像处理方法的特征在于,包含:输入工序,用来输入将经由光学系统入射的光进行光电转换的摄像元件所得的摄像信号;畸变像差校正工序,针对上述输入部输入的摄像信号所对应的图像进行畸变像差校正,由此生成畸变像差校正图像;以及锯齿校正工序,针对上述畸变像差校正图像执行滤波处理;在上述滤波处理中,对应于上述畸变像差校正图像中目标像素的像素位置改变滤波处理中的加权。
另外,本发明的图像处理装置的控制程序的特征在于,使计算机发挥上述图像处理装置的各单元的功能。
另外,本发明的记录介质的特征在于,其是记录了上述程序的计算机可读的记录介质。
在发明的详细说明项中给出的具体实施方式或实施例,只不过是为了表明本发明的技术内容,不应局限于这样的具体例而作狭义的解释,在本发明的精神及一同附上的权利要求的范围内,可以做出各种改变后实施。
Claims (4)
1. 一种图像处理装置,包含:
输入部,用来输入将经由光学系统入射的光进行光电转换的摄像元件所得的摄像信号;以及
畸变像差校正单元,针对上述输入部输入的摄像信号所对应的图像中的各个像素,基于上述图像中与上述光学系统的光轴上的位置的距离,在连结上述光轴上的位置和各像素的方向上生成改变了像素位置的校正图像,
还包含:锯齿校正单元,针对上述校正图像进行作为锯齿校正处理的滤波处理,
上述滤波处理通过与上述校正图像中目标像素的像素位置对应的加权来进行。
2. 如权利要求1所述的图像处理装置,当无畸变像差的理想图像的各像素的坐标值为(x,y)、相应的畸变像差校正对象的图像的各像素的坐标值为(x’,y’)、上述(x’,y’)距光学系统的光轴上的位置的距离为r’时,上述畸变像差校正单元使用下述近似算式进行畸变像差校正,
x=x′(1-kr′2)…(a)
y=y′(1-kr′2)…(b)。
3. 如权利要求2所述的图像处理装置,上述锯齿校正单元将理想图像的各像素与校正对象图像上附近各参照像素之间的距离用作上述滤波处理的加权参数。
4. 如权利要求3所述的图像处理装置,上述锯齿校正单元利用上述畸变像差校正单元,使用基于上述近似算式(a)和(b)计算出来的上述理想图像的各像素的坐标值(x,y)来设定上述加权参数。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004122219A JP2005311473A (ja) | 2004-04-16 | 2004-04-16 | 撮像装置および信号処理方法ならびにそのプログラムと記録媒体 |
JP122219/04 | 2004-04-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1684499A CN1684499A (zh) | 2005-10-19 |
CN100418354C true CN100418354C (zh) | 2008-09-10 |
Family
ID=34940791
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB200510065796XA Expired - Fee Related CN100418354C (zh) | 2004-04-16 | 2005-04-18 | 图像处理装置、图像处理方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20050231616A1 (zh) |
EP (1) | EP1587306A3 (zh) |
JP (1) | JP2005311473A (zh) |
KR (1) | KR100704209B1 (zh) |
CN (1) | CN100418354C (zh) |
TW (1) | TWI280049B (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10176559B2 (en) | 2001-12-22 | 2019-01-08 | Lenovo (Beijing) Co., Ltd. | Image processing method applied to an electronic device with an image acquiring unit and electronic device |
CN104270571B (zh) * | 2014-10-20 | 2018-06-01 | 联想(北京)有限公司 | 图像处理方法以及电子设备 |
CN104469161B (zh) * | 2014-12-22 | 2017-11-03 | 联想(北京)有限公司 | 图像处理方法以及电子设备 |
CN101361370B (zh) * | 2005-11-30 | 2010-12-01 | 株式会社东芝 | 图像编码/图像解码方法以及图像编码/图像解码装置 |
JP4470930B2 (ja) * | 2006-09-21 | 2010-06-02 | ソニー株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
US8576377B2 (en) * | 2006-12-28 | 2013-11-05 | Asml Netherlands B.V. | Lithographic apparatus and device manufacturing method |
US20080158529A1 (en) * | 2006-12-28 | 2008-07-03 | Asml Netherlands B.V. | Lithographic apparatus and device manufacturing method |
KR101014572B1 (ko) * | 2007-08-27 | 2011-02-16 | 주식회사 코아로직 | 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치 |
JP4935838B2 (ja) * | 2009-03-06 | 2012-05-23 | ソニー株式会社 | 固体撮像素子及びその製造方法、電子機器 |
JP5443844B2 (ja) * | 2009-06-17 | 2014-03-19 | オリンパス株式会社 | 画像処理装置及び撮像装置 |
JP5195818B2 (ja) * | 2010-06-01 | 2013-05-15 | セイコーエプソン株式会社 | 表示制御装置 |
TWI470947B (zh) * | 2012-12-24 | 2015-01-21 | Ind Tech Res Inst | 光通訊資料嵌入的裝置與方法以及光通訊系統和方法 |
US8942571B2 (en) | 2012-12-24 | 2015-01-27 | Industrial Technology Research Institute | Apparatus and method for data embedding in light communication and the light communication system and method thereof |
JP6070283B2 (ja) * | 2013-03-04 | 2017-02-01 | 株式会社リコー | 撮像装置、露出制御方法およびプログラム |
KR102114248B1 (ko) | 2013-09-13 | 2020-05-22 | 삼성전자 주식회사 | 깊이 정보 기반 광학 왜곡 보상 장치 및 방법 |
JP2015103151A (ja) * | 2013-11-27 | 2015-06-04 | ソニー株式会社 | 画像処理装置、画像処理方法、固体撮像素子、及び、電子機器 |
WO2017158690A1 (ja) * | 2016-03-14 | 2017-09-21 | リアロップ株式会社 | 画像処理装置、画像処理方法、記録媒体、プログラム及び撮像装置 |
DE102018107950A1 (de) * | 2017-04-18 | 2018-10-18 | Canon Kabushiki Kaisha | Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und bildaufnahmevorrichtung |
JP7138780B2 (ja) * | 2019-04-02 | 2022-09-16 | 富士フイルム株式会社 | 画像処理装置とその作動方法および作動プログラム、運用装置とその作動方法および作動プログラム、並びに機械学習システム |
CN110276734B (zh) | 2019-06-24 | 2021-03-23 | Oppo广东移动通信有限公司 | 图像畸变校正方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05207351A (ja) * | 1992-01-27 | 1993-08-13 | Canon Inc | 画像信号処理方法および装置 |
JPH06165024A (ja) * | 1992-11-18 | 1994-06-10 | Canon Inc | 撮像装置及び画像再生装置及び映像システム |
JP2003037769A (ja) * | 2001-07-23 | 2003-02-07 | Canon Inc | 信号処理装置、撮像装置、及び信号処理方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0194776A (ja) * | 1987-10-07 | 1989-04-13 | Matsushita Electric Ind Co Ltd | 撮像装置 |
US5905530A (en) * | 1992-08-24 | 1999-05-18 | Canon Kabushiki Kaisha | Image pickup apparatus |
JPH08256295A (ja) * | 1994-12-21 | 1996-10-01 | Olympus Optical Co Ltd | 画像処理装置 |
JP2000125174A (ja) * | 1998-10-12 | 2000-04-28 | Fuji Photo Film Co Ltd | 画像情報における歪曲収差補正方法および装置 |
WO2002101650A2 (en) * | 2001-06-12 | 2002-12-19 | Silicon Optix Inc. | Method and system for processing a non-linear two dimensional spatial transformation |
-
2004
- 2004-04-16 JP JP2004122219A patent/JP2005311473A/ja active Pending
-
2005
- 2005-04-12 US US11/105,105 patent/US20050231616A1/en not_active Abandoned
- 2005-04-13 EP EP05252288A patent/EP1587306A3/en not_active Withdrawn
- 2005-04-14 TW TW094111863A patent/TWI280049B/zh not_active IP Right Cessation
- 2005-04-14 KR KR1020050031046A patent/KR100704209B1/ko not_active IP Right Cessation
- 2005-04-18 CN CNB200510065796XA patent/CN100418354C/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05207351A (ja) * | 1992-01-27 | 1993-08-13 | Canon Inc | 画像信号処理方法および装置 |
JPH06165024A (ja) * | 1992-11-18 | 1994-06-10 | Canon Inc | 撮像装置及び画像再生装置及び映像システム |
JP2003037769A (ja) * | 2001-07-23 | 2003-02-07 | Canon Inc | 信号処理装置、撮像装置、及び信号処理方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20060045707A (ko) | 2006-05-17 |
EP1587306A3 (en) | 2008-01-23 |
US20050231616A1 (en) | 2005-10-20 |
EP1587306A2 (en) | 2005-10-19 |
JP2005311473A (ja) | 2005-11-04 |
TWI280049B (en) | 2007-04-21 |
CN1684499A (zh) | 2005-10-19 |
TW200541326A (en) | 2005-12-16 |
KR100704209B1 (ko) | 2007-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100418354C (zh) | 图像处理装置、图像处理方法 | |
CN100425058C (zh) | 图像处理装置和方法 | |
JP4446193B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP4759293B2 (ja) | 撮像素子 | |
CN101674399B (zh) | 成像设备和黑色电平的调整方法 | |
JP2011055038A5 (zh) | ||
JP5746521B2 (ja) | 撮像装置及びその制御方法、プログラム並びに記憶媒体 | |
CN100377574C (zh) | 图像处理装置和电子照相机 | |
JP4402230B2 (ja) | 画像処理装置 | |
JP2009237650A (ja) | 画像処理装置及び撮像装置 | |
JP5173883B2 (ja) | 撮像装置 | |
EP1610309A3 (en) | Image correction method for holographic digital data storage system | |
JP2001292325A (ja) | エッジ強調装置、エッジ強調方法および記録媒体 | |
JP3777901B2 (ja) | 映像情報処理装置 | |
US7228007B2 (en) | Resolution correction apparatus, resolution correction program, and computer-readable recording medium having same program recorded thereon | |
JP4499686B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JPH0515111B2 (zh) | ||
JP7134786B2 (ja) | 撮像装置および制御方法 | |
JP4764950B2 (ja) | 撮像装置 | |
JP3925559B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP3831418B2 (ja) | 撮像装置 | |
JP2008005137A (ja) | 固体撮像装置および撮像システム | |
JPH11168622A (ja) | 画像処理装置、画像処理方法および記憶媒体 | |
JP2021166354A (ja) | 撮像素子及びその制御方法、及び撮像装置 | |
JP4853746B2 (ja) | 撮像装置、画像処理装置および方法、記録媒体、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20080910 Termination date: 20140418 |