CN102957845B - 图像处理程序、方法、装置和图像拾取装置 - Google Patents

图像处理程序、方法、装置和图像拾取装置 Download PDF

Info

Publication number
CN102957845B
CN102957845B CN201210298555.XA CN201210298555A CN102957845B CN 102957845 B CN102957845 B CN 102957845B CN 201210298555 A CN201210298555 A CN 201210298555A CN 102957845 B CN102957845 B CN 102957845B
Authority
CN
China
Prior art keywords
image
transfer function
optical transfer
function information
corrected value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210298555.XA
Other languages
English (en)
Other versions
CN102957845A (zh
Inventor
渡邉武史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN102957845A publication Critical patent/CN102957845A/zh
Application granted granted Critical
Publication of CN102957845B publication Critical patent/CN102957845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种图像处理程序、方法、装置和图像拾取装置。图像处理装置(204)包括:获取单元,所述获取单元被配置为获取与拾取图像的图像拾取条件对应的光学传递函数信息;恢复图像产生器,所述恢复图像产生器被配置为使用校正光学传递函数信息来产生恢复图像,所述校正光学传递函数信息是通过使用校正值对所述光学传递函数进行校正来获得的;和设置器,所述设置器被配置为基于所述光学传递函数的逆特性来设置所述校正值的可设置范围。

Description

图像处理程序、方法、装置和图像拾取装置
技术领域
本发明涉及一种拾取图像的图像处理,更特别地涉及一种以高精度校正由于图像拾取光学系统而导致的拾取图像的劣化的技术。
背景技术
图像拾取光学系统所捕捉的对象因为从一个点产生的光不能会聚而具有微小扩展,并且由于图像拾取光学系统中引起的衍射、像差等的影响而具有微小扩展。这样的具有微小扩展的分布被称为“PSF”(点扩散函数)。因为图像拾取光学系统的影响,拾取图像被形成为PSF与图像卷积(convolute),并且图像模糊,分辨率劣化。
最近,将拾取图像保存为电子数据已变得更加普遍,并且通过图像处理来校正由于光学系统而导致的图像劣化的技术是众所周知的。以下,这样的图像劣化校正技术被称为“图像恢复”,并且将描述传统的常用方法。
当在实空间(x,y)上由于光学系统而导致的劣化之前的图像被表示为f(x,y)、PSF被表示为h(x,y)并且劣化图像被表示为g(x,y)时,这些可用以下表达式(1)来描述。
g(x,y)=∫∫f(X,Y)*h(x‐X,y-Y)dXdY···(1)
当通过对以上表达式(1)执行傅里叶变换来将以上表达式(1)从实(real)空间(x,y)转换到频率空间(u,v)中时,它可被描述为以下表达式(2)。
G(u,v)=F(u,v)*H(u,v)···(2)
F(u,v)表示f(x,y)的傅里叶变换,G(u,v)表示g(x,y)的傅里叶变换,H(u,v)表示h(x,y)的傅里叶变换。
此外,当对以上表达式(2)进行变换时,得到以下表达式(3)。
F(u,v)=G(u,v)/H(u,v)···(3)
这表示可通过将G(u,v)除以H(u,v)来获得F(u,V),F(u,V)为作为劣化之前的图像的f(x,y)的傅里叶变换,G(u,v)为作为劣化图像的g(x,y)的傅里叶变换,H(u,v)为作为PSF的h(x,y)的傅里叶变换。因此,如果对F(u,v)执行逆傅里叶变换,则可获得作为劣化之前的图像的f(x,y)。
然而,当实际上执行这样的处理来获得劣化之前的图像时,图像拾取元件可引起的噪声被大大地放大,并且不能获得良好图像。在这种情况下,已知使用被表示为以下表达式(4)的维纳(Wiener)滤波器作为用于抑制噪声放大的图像恢复方法。H(u,v)表示OTF(光学传递函数),Γ表示用于减小噪声放大量的常数。
W(u,v)=1/H(u,v)*|H(u,v)|2/(|H(u,v)|2+Γ)···(4)
当上述表达式(4)乘以劣化图像g(x,y)的傅里叶变换G(u,v)时,可通过下述方式以高分辨率获得良好图像,即,将由于光学系统的衍射或像差而产生的PSF的相位分量设置为0,并且放大振幅分量的频率特性。因此,当通过使用维纳滤波器的图像恢复处理来恢复的图像的频率空间信息被定义为R(u,v)时,获得以下表达式。
R(u,v)=G(u,v)*W(u,v)···(5)
结果,可从表达式(4)得到|W(u,v)|≤1/|H(u,v)|的关系。换句话讲,可使用图像恢复滤波器进行放大的频率特性的最大值为1/|H(u,v)|,并且它等于OTF的绝对值的倒数,也就是说,逆滤波器的特性。
例如,当通过使用表达式(4)的维纳滤波器的处理来对通过一般照相机等拾取的图像执行图像恢复处理时,可通过控制表达式中的Γ的值来从0至1/|H(u,v)|控制恢复处理的校正值。而且,即使对维纳滤波器进行各种改变,也能够以从0至1/|H(u,v)|的范围控制恢复处理的校正值。在本实施例中,从0至1/|H(u,v)|的范围被定义为可校正范围(以下也称为“可设置范围”)。
当其中安装图像处理装置、图像拾取装置或软件的计算机使用通过用户指令设置的校正值来执行处理时,优选的是根据所期望的恢复水平来选择或改变校正值。
例如,日本专利No.3840032公开了图像处理等领域中的、改变校正值(诸如边缘强化)的校正水平的范围的发明。而且,日本专利公开No.2011-22868公开了下述发明,该发明基于图像和图像输出设备的频率特性来检测恢复极限,并且执行图像恢复处理。
然而,日本专利No.3840032和日本专利公开No.2011-22868中所公开的现有技术没有描述用于确定能够组合各种条件的系统中的校正值的水平的具体范围的方法。数字照相机中所使用的图像恢复处理与一般的边缘强化处理或锐化处理大大地不同,并且随图像拾取条件的每种组合改变可校正范围,所述图像拾取条件诸如图像拾取光学系统的标识信息、焦距、F数、图像拾取距离、图像高度和图像拾取元件的像素大小。即使使用超过可校正范围的校正值来执行图像恢复处理,用户也不能体验到恢复效果。
此外,在另一个问题中,当在显示部分上显示可校正范围时,没有显示当可获得恢复效果时的可校正范围的最大值以使得用户可识别它,因此,当确定恢复处理的校正值时不方便。
发明内容
本发明提供一种能够根据各种图像拾取条件的组合来设置适当的可校正范围的图像处理程序。
作为本发明的一方面的图像处理装置包括:获取单元,所述获取单元被配置为获取与拾取图像的图像拾取条件对应的光学传递函数信息;恢复图像产生器,所述恢复图像产生器被配置为使用校正光学传递函数信息来产生恢复图像,所述校正光学传递函数信息是通过使用校正值对所述光学传递函数进行校正来获得的;和设置器,所述设置器被配置为基于所述光学传递函数信息的逆特性来设置所述校正值的可设置范围。
从以下参照附图对示例性实施例的描述,本发明的进一步的特征和方面将变得清晰。
附图说明
图1是示出作为一个例子的实施例1中的图像恢复处理方法的处理流程的一个例子的示图。
图2A至图2D是示出实施例2中的图像恢复处理中所使用的OTF数据等的一个例子的示图。
图3是示出实施例2中的图像恢复处理中所使用的各种条件的一个例子的示图。
图4A至图4E是示出用于基于实施例2中的图像恢复处理中所使用的OTF数据来计算恢复极限值的方法的一个例子的示图。
图5A至图5B是示出实施例2中的图像恢复滤波器的一个例子的示图。
图6A至图6B是示出实施例3中的图像处理GUI的一个例子的示图。
图7是示出实施例4中的包括图像处理装置的图像拾取装置的一个例子的示图。
图8是示出实施例5中的图像处理程序的一个例子的示图。
图9是示出实施例2中的图像恢复处理方法的处理流程的一个例子的示图。
具体实施方式
以下将参照附图来描述本发明的示例性实施例。
【实施例1】
图1是示出本发明中的图像处理流程的一个例子的示图。首先,通过图像拾取装置(诸如照相机)拾取对象的图像(S101),将由于光学系统而劣化的拾取图像数据输入到图像处理装置中,并且开始图像恢复处理。拾取图像数据包括图像拾取条件信息,诸如图像拾取光学系统的标识信息、当图像被拾取时的焦距、F数、图像拾取距离、图像高度、图像拾取元件的像素大小。因此,首先,通过图像处理装置获取添加到拾取图像数据的图像拾取条件信息。第二,从保存在图像处理装置内部的光学特性数据存储器中的光学特性数据获取与包括与所获取的图像拾取条件信息对应的状态的拾取图像的每个图像高度位置对应的OTF信息(光学传递函数信息)(S102)。接着,基于OTF信息,计算并设置当图像被拾取时的图像拾取条件的可校正最大值(S103)。可校正最大值可在拾取图像的每个图像高度位置中被确定,并且可从所有图像高度位置之中确定。S103中设置的可校正最大值小于S103的设置之前的校正值的可校正范围的最大值。获取可校正最大值或较小值作为可校正范围(可设置范围)(S104),并且用户确定可校正范围内的校正值(S105)。接着,使用通过使用所确定的校正值对光学传递函数信息进行校正所获得的校正光学传递函数信息来产生图像恢复滤波器(S106),校正拾取图像(S107),并且获得校正处理之后的图像(S108)。S106至S108可被称为产生恢复图像的恢复图像产生步骤。可使用公知的维纳滤波器等作为此时的图像恢复处理。
【实施例2】
以下参照图2A至图4E描述获取图像恢复处理中的可校正最大值以确定可校正范围的方法。图2A、图2B和图2C分别示出不同图像拾取光学系统中的图像拾取或不同图像拾取条件下的图像拾取,所述图像拾取条件诸如焦距、F数、图像拾取距离、图像高度和图像拾取元件的像素大小。以下描述图2A作为代表。如图3所示的图像拾取光学系统信息、光学低通滤波器信息和图像拾取元件信息附连在图2A的拾取图像上。当该拾取图像输入到执行图像恢复处理的图像处理装置中时,基于附连信息来获取拾取图像上的每个图像高度点处的OTF信息,并且基于每个图像高度点处的OTF信息来获取可校正最大值。
图4A中的圈1至3中的每个指示具有不同图像拾取条件(包括图像拾取光学系统的标识信息和图像高度)的三个OTF的绝对值的二维分布|OTF(u,v)|,并且也被称为“MTF”。通过图像拾取元件获取的光学图像被按照直到图像拾取元件的尼奎斯特(Nyquist)频率的频带进行数字采样。当OTF(u,v)通过计算得到并且被保存到光学特性数据存储器时,获得直到光学空气中图像(opticalaerialimage)的截止频率的OTF(u,v)。当直到光学截止频率的全频带中的OTF(u,v)信息保存在光学特性数据存储器中时,仅有必要注意直到图像拾取元件的尼奎斯特频率的频带。
通过图像恢复处理获得的最大校正效果是,OTF(u,v)在尼奎斯特频率中在所有频带上变为1。换句话讲,能够获得最大校正效果的校正值是|1/OTF(u,v)|,并且在图4C所示的每个频率中为图4A所示的|OTF(u,v)|的倒数值。
图4B中的圈1至3中的每个指示图4A中的|OTF(u,v)|的一个截面,并且实线指示|OTF(0,v)|,虚线指示|OTF(u,0)|。类似地,图4D中的圈1至3中的每个指示图4C中的|1/OTF(u,v)|的一个截面,并且实线指示|1/OTF(0,v)|,虚线指示|1/OTF(u,0)|。图4E示出基于能够控制|OTF(u,v)|的逆特性和可校正范围的极限条件被校正的校正值的u-v轴上的一个截面。实际上,计算|OTF(u,v)|的二维空间上的可校正范围的最大值,但是使用图4B、图4D和图4E描述本实施例,以便保持解释简单。
在具有如图4B中的圈1至3中的每个所示的|OTF|的图像拾取光学系统中,图4D中的圈1至3中的每个指示|OTF(u,v)|的逆特性的频率特性。在图4D中的圈1至3中,每个图像拾取元件的频带中的最大值分别为5、3和∞。此时,当|OTF(u,v)|的值由于该频率而取0或接近于0时,逆特性收敛到无限值或大值,诸如∞。在这种状态下,即使根据逆特性使可校正最大值更大,但是因为校正效果饱和,所以也难以体验到校正效果。此外,很大程度上引起使图像劣化的因素,诸如噪声的显著放大和振铃。因此,极限条件被设置为使得|OTF(u,v)|的逆特性不能收敛,并且在以下被称为“可校正范围控制条件”。图4E示出基于|OTF(u,v)|的逆特性和可校正范围控制条件而确定的可校正最大值。通过将可校正最大值或更低值设置为可校正范围,可实现用户所指定的校正值,并且可体验到与该校正值对应的校正效果。
当可校正最大值被确定时的可校正范围控制条件可被设置为例如建立当设计图像恢复滤波器时的预先确定的频率或更大频率的校正量的极限的所谓带极限条件。而且,在如表达式(4)中所述的维纳滤波器或与其类似的图像恢复滤波器中,当图像恢复滤波器被设计为计算可校正最大值时,可对具体的频带进行加权。可取的是根据图像的每个颜色分量中的OTF来执行上述方法,但是颜色分量之中的R、G和B分量之一的计算可用于缩短校正时间。
图像恢复滤波器从通过上述方法计算的可校正最大值和OTF信息产生,并且拾取图像被校正。图9示出详细的过程。
在步骤S900中,图像处理装置获取与拾取图像数据一起记录的焦距、F数、图像拾取距离信息。
在步骤S901中,图像处理装置设置图像上的N个图像高度位置,以产生这些位置处的图像恢复滤波器。优选的是,设置图像高度位置或者其片数N,以使得关于图像上的图像高度位置的光学特性被平滑地改变。具体地讲,在一般的图像拾取光学系统中,大约N150是优选的。当它小于150时,光学特性中的每个图像高度之间的改变增大,并且恢复精度降低。
在步骤S902中,图像处理装置关于在步骤S900中获取的焦距、F数、图像拾取距离和在步骤S901中设置的N个图像高度位置从保存在存储器中的OTF信息产生OTF(f,F,d,h,u,v)。
在本实施例中,维纳滤波器用作图像恢复滤波器。维纳滤波器是表达式(4)中所表示的图像恢复滤波器,校正项Γ抑制噪声以用于在图像恢复中放大频率分量。
当表达式(4)应用于关于各种焦距f、F数F、图像拾取距离d和图像高度h的OTF并且通过使用带极限值R来重写它时,得到以下表达式(6)。
W(OTF(f,F,d,h,u,v),R,a)=1/OTF(f,F,d,h,u,v)*|OTF(f,F,d,h,u,v)|2/(|OTF(f,F,d,h,u,v)|2+Γ)*R+(1-R)···(6)
以下将通过假定执行图像恢复处理的对象图像的图像拾取条件为焦距f1、F数F1和图像拾取距离d1来进行描述。
在步骤S903中,图像处理装置将f=f1、F=F1和d=d1赋值给表达式(6),并且获得以下所示的表达式(7)中所表示的图像恢复滤波器。另外,焦距f1、F数F1、图像拾取距离d1和图像高度h1是图像拾取光学系统可被设置的任意值。而且,带极限值R可以是常数或频率(u,v)的函数。
W(OTF(f1,F1,d1,h1,u,),R,Γ)=1/OTF(f1,F1,d1,h1,u,v)*|OTF(f1,F1,d1,h1,u,v)|2/(|OTF(f1,F1,d1,h1,u,v)|2+Γ)*R+(1-R)···(7)
在步骤S903中,图像处理装置进一步将用于计算可校正最大值的Γmax赋值给表达式(7)。在维纳滤波器中,Γmax=0,并且表达式(7)是其中带受限的逆滤波器。换句话讲,Γmax是基于维纳滤波器的逆特性的值。在每个图像高度位置中,相对于其中Γmax被赋值的函数的绝对值“|W(OTF(f1,F1,d1,h1,u,v),R,Γmax=0)|”获得频率空间中的最大值“max|W(OTF(f1,F1,d1,h1,u,v),R,Γmax=0)|”。这是校正值的可校正范围的最大值。
以下,校正值的可校正范围的最大值被称为“可校正最大值”。用于计算可校正最大值的Γmax应该是下述值,该值能够获得各种图像恢复滤波器(诸如维纳滤波器和通过对维纳滤波器进行变形而获得的滤波器)中的理论最大值max|W(OTF(f1,F1,d1,h1,u,v),R,Γmax=0)|。换句话讲,值0(零)在本实施例中用作Γmax,但不构成限制。
在步骤S903A中,图像处理装置确定在步骤S901中设置的N个图像高度的可校正最大值是否被请求。在本实施例中,在对象图像的每个图像高度位置中计算可校正最大值,但是可在事先设置的特定图像高度(而不是每个图像高度)获取可校正最大值。
在步骤S904中,图像处理装置将可校正最大值在每个图像高度中最大的值设置为可校正最大值。另外,可校正最大值可从一个任意图像高度计算,或者可使用从所有图像高度计算的计算值之中的最大值。
在步骤S905中,将用户设置的校正值与可校正最大值进行比较,并且在显示部分上显示较小的值。稍后将描述显示的具体例子。
在步骤S904中,当仅从一个任意图像高度计算可校正最大值时,在步骤S905中设置一个任意图像高度中的可校正最大值,而没有S902至S903的循环处理。此外,当仅提供恢复滤波器的设计中的带极限或注意事项(notice)时,可能存在根据图像拾取条件而使可校正最大值太大的情况。为了应对这种情况,可将可校正最大值制成将在每种图像拾取条件下保存的表格。
在步骤S906中,图像处理装置使用用户通过控制器从以GUI显示的可校正范围选择或设置的校正值来产生图像恢复滤波器。图像处理部分使用校正的图像恢复滤波器来对恢复对象图像和图像恢复滤波器进行卷积,以产生恢复图像。稍后将描述GUI的细节。
在本实施例中,描述了用于提供其中执行图像恢复处理的频带中的限制的方法,但是用于提供该限制的方法不限于带限制,而无需使用例如带极限值R。可替换地,可改变其它项的值或函数来提供与频带限制类似的效果。
已通过使用维纳滤波器作为图像恢复滤波器来描述了本实施例,但是如果使用OTF的逆特性来执行图像恢复处理,则它不特定限于维纳滤波器,而是可进行各种改变。因此,如上所述,Γmax仅用于得到逆滤波器W=1/OTF,并且Γmax不限于值0(零)。
图像恢复滤波器是如图5A所示的二维滤波器,并且在沿着图5A的虚线的单个轴上具有如图5B所示的形状。因此,图像恢复滤波器不同于一般的边缘强化滤波器等,并且具有下述特征,即,抽头数量大,并且形状可以是对称的。
【实施例3】
如上,在图像恢复处理中,适当的可校正范围在图像拾取条件的每种组合下大大地改变。换句话讲,随着图像拾取光学系统的像差量和拾取图像的劣化增大,可校正范围增大。相反,随着图像拾取光学系统的像差量和拾取图像的劣化减小,可校正范围减小。此外,在相同的图像拾取光学系统中,像差量在不同的图像拾取条件下大大地改变,并且可校正范围也大大地改变。因此,重要的是提供下述GUI,在该GUI中,用户可简单地根据图像拾取条件(包括图像拾取光学系统的标识信息)的组合来决定校正值,以执行图像恢复处理。
图6A至图6B是示出简化图像恢复处理装置的GUI(图形用户界面)的一个例子的示图。
图6A将GUI的左端定义为1并将右端定义为恢复极限值(可校正最大值、可设置最大值),并且示出从OTF计算的恢复极限值,用户确定从1至恢复极限值的GUI范围内的恢复处理水平。当设计这样的GUI时,自动地将右端定义为恢复极限值,并且无论用户设置的恢复处理水平如何,都可实现所设置的图像恢复处理。图6B将GUI的左端定义为1并将右端定义为50,用户确定恢复极限值或更小值的范围内的恢复处理水平。在图6B的GUI中右端为50,但是用户可设置直到恢复极限值的范围内的恢复处理水平。本实施例将滑动条描述为GUI的一个实施例,但是它可变为旋钮控件等。
【实施例4】
图7示出内置使用本发明中的图像处理方法的图像处理装置的图像拾取装置,并且它将在图像拾取条件的每种组合下图像拾取光学系统201的标识信息和OTF信息保存在存储器208中,所述图像拾取条件诸如焦距、F数、图像拾取距离、图像高度、图像拾取元件的像素大小。光阑孔径201a、聚焦透镜201b等设置在图像拾取光学系统201中。确定通过显示器205的GUI等对包括图1所示的图像处理流程的图像处理的执行。
当完成确定时,在拾取图像拾取光学系统201所形成的光学图像的图像拾取元件202中,通过将光学图像转换为电信号来获得拾取图像。此时,在图像拾取光学系统控制部分206或状态检测部分207中,获取图像拾取条件,所述图像拾取条件包括图像拾取光学系统201的标识信息、当图像被拾取时的焦距、F数、图像拾取距离、图像高度、图像拾取元件的像素大小。A/D转换器203将与从图像拾取元件202输出的光学图像对应的模拟信号转换为数字信号。在图像处理部分204中,基于与所获取的图像拾取条件对应的OTF信息来确定可校正范围。
在显示部分205中,显示用于让用户从所确定的可校正范围确定校正值的GUI。GUI用于显示图6A至图6B所示的可校正范围,用户确定可校正范围内的校正值。在用户在GUI中确定校正值之后,基于图像处理部分204中的校正值和OTF信息来产生图像恢复滤波器,对拾取图像进行图像恢复处理,并且输出图像恢复处理之后的图像。
用于存储包括图像拾取条件信息的拾取图像的图像存储介质209与图像处理部分204连接。与当存储在图像存储介质209中的拾取图像被拾取时的图像拾取条件对应的OTF信息存储在存储器208中。系统控制器210用CPU、MPU等来构造,并且操作整个图像拾取装置的控制。
【实施例5】
将参照图8来描述通过计算机(诸如个人计算机)来操作本发明的图像处理方法的程序。该程序执行用于产生焦距、F数、图像拾取距离、图像高度等(这些是图像拾取光学系统的光学特性数据)的每种组合下的OTF信息的图像处理方法和使用该OTF信息的图像恢复滤波器。OTF信息可通过其中存储光学特性数据的介质(诸如DVD)或者互联网来获取。
本发明的程序是执行图1和图9所示的图像处理流程的图像处理程序。以下沿着图1描述本实施例中的图像处理程序的执行过程。启动个人计算机,并且执行所述程序。使用监视器等的显示屏幕上的GUI来启动图像处理。使用拾取图像、当拾取图像被获取时的图像拾取条件(图像拾取光学系统的标识信息、焦距、F数、图像拾取距离、图像高度、图像拾取元件的像素大小等)、以及与该图像拾取条件对应的OTF信息来确定可校正范围。当所述程序开始图像处理时,通过个人计算机在显示器上使用图6A和图6B所示的GUI来显示可校正范围。用户确定可校正范围内的校正值,基于校正值和OTF信息来产生图像恢复滤波器,对拾取图像进行图像恢复处理,并且输出图像恢复处理之后的图像。因为以上详细描述了用于校正拾取图像的方法,所以省略它。
虽然已参照示例性实施例描述了本发明,但应理解本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最宽泛的解释,以涵盖所有这样的修改以及等同的结构和功能。

Claims (7)

1.一种图像处理装置,包括:
获取单元,所述获取单元被配置为获取与拾取图像的图像拾取条件对应的光学传递函数信息;
恢复图像产生器,所述恢复图像产生器被配置为使用校正光学传递函数信息来产生恢复图像,所述校正光学传递函数信息是通过使用校正值对所述光学传递函数信息进行校正来获得的;和
设置器,所述设置器被配置为基于所述光学传递函数信息的逆特性和限定预先确定的频率或更大频率的校正量的极限的可校正范围控制条件来设置所述校正值的可设置范围。
2.根据权利要求1所述的图像处理装置,其中,所述设置器设置所述校正值的可设置范围的最大值。
3.根据权利要求2所述的图像处理装置,其中,所述设置器将比被所述设置器设置之前的校正值的可设置范围的最大值小的值设置为所述校正值的可设置范围的最大值。
4.根据权利要求1或2所述的图像处理装置,还包括:
显示单元,所述显示单元被配置为显示所述校正值的可设置范围。
5.一种图像处理方法,包括以下步骤:
获取与拾取图像的图像拾取条件对应的光学传递函数信息;
使用校正光学传递函数信息来产生恢复图像,所述校正光学传递函数信息是通过使用校正值对所述光学传递函数信息进行校正来获得的;和
基于所述光学传递函数信息的逆特性和限定预先确定的频率或更大频率的校正量的极限的可校正范围控制条件来设置所述校正值的可设置范围。
6.一种图像拾取装置,包括:
图像拾取元件,所述图像拾取元件被配置为拾取通过图像拾取光学系统形成的光学图像;
存储器,所述存储器被配置为存储与拾取图像的图像拾取条件对应的光学传递函数信息;和
图像处理器,所述图像处理器被配置为对通过所述图像拾取元件获得的拾取图像执行图像处理,
其中,所述图像处理器获取存储在所述存储器中的光学传递函数信息,
使用校正光学传递函数信息来产生恢复图像,所述校正光学传递函数信息是通过使用校正值对所述光学传递函数信息进行校正来获得的;和
基于所述光学传递函数信息的逆特性和限定预先确定的频率或更大频率的校正量的极限的可校正范围控制条件来设置所述校正值的可设置范围。
7.根据权利要求6所述的图像拾取装置,还包括图像拾取光学系统。
CN201210298555.XA 2011-08-25 2012-08-21 图像处理程序、方法、装置和图像拾取装置 Active CN102957845B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011-183247 2011-08-25
JP2011183247 2011-08-25
JP2011250310A JP5361976B2 (ja) 2011-08-25 2011-11-16 画像処理プログラム、画像処理方法、画像処理装置及び撮像装置
JP2011-250310 2011-11-16

Publications (2)

Publication Number Publication Date
CN102957845A CN102957845A (zh) 2013-03-06
CN102957845B true CN102957845B (zh) 2016-07-06

Family

ID=47743211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210298555.XA Active CN102957845B (zh) 2011-08-25 2012-08-21 图像处理程序、方法、装置和图像拾取装置

Country Status (3)

Country Link
US (1) US8749659B2 (zh)
JP (1) JP5361976B2 (zh)
CN (1) CN102957845B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9030597B2 (en) * 2010-09-30 2015-05-12 Nikon Corporation Interchangeable lens and camera body
JP5851649B2 (ja) * 2013-03-04 2016-02-03 富士フイルム株式会社 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体
WO2014136322A1 (ja) * 2013-03-04 2014-09-12 富士フイルム株式会社 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体
WO2014155814A1 (ja) * 2013-03-27 2014-10-02 富士フイルム株式会社 撮像装置、キャリブレーション方法、プログラム及び記録媒体
JP6221399B2 (ja) * 2013-06-21 2017-11-01 株式会社リコー 撮像システムおよび結像光学系および撮像システムの製造方法
JP6253365B2 (ja) * 2013-11-22 2017-12-27 キヤノン株式会社 画像処理方法、撮像装置、画像処理装置
JP6472300B2 (ja) 2015-03-31 2019-02-20 キヤノン株式会社 画像処理装置および情報処理装置、並びに、それらの方法
JP2017028583A (ja) * 2015-07-24 2017-02-02 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6728365B2 (ja) * 2016-08-25 2020-07-22 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体
JP6592622B2 (ja) * 2017-02-17 2019-10-16 富士フイルム株式会社 画像処理装置、画像処理方法、およびカメラシステム
JP6935370B2 (ja) * 2018-07-24 2021-09-15 アンリツ株式会社 信号発生装置および該装置を用いた周波数特性表示方法
JP7301601B2 (ja) * 2019-05-24 2023-07-03 キヤノン株式会社 画像処理装置、撮像装置、レンズ装置、画像処理システム、画像処理方法、および、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101873428A (zh) * 2009-04-22 2010-10-27 佳能株式会社 图像处理装置及图像处理方法
CN102082912A (zh) * 2009-11-30 2011-06-01 佳能株式会社 图像拍摄装置及图像处理方法
CN102165761A (zh) * 2008-09-30 2011-08-24 佳能株式会社 图像处理方法、图像处理装置和图像拾取装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3583447B2 (ja) * 1992-04-28 2004-11-04 オリンパス株式会社 撮像装置
US20020195548A1 (en) * 2001-06-06 2002-12-26 Dowski Edward Raymond Wavefront coding interference contrast imaging systems
SE9601229D0 (sv) * 1996-03-07 1996-03-29 B Ulf Skoglund Apparatus and method for providing reconstruction
JP3840032B2 (ja) 2000-03-28 2006-11-01 キヤノン株式会社 画像処理装置、及び画像処理方法
JP2004241991A (ja) * 2003-02-05 2004-08-26 Minolta Co Ltd 撮像装置、画像処理装置及び画像処理プログラム
JP4787959B2 (ja) * 2006-01-10 2011-10-05 国立大学法人東京工業大学 画像復元フィルタ及びそれを用いた画像復元方法
JP2007304525A (ja) * 2006-05-15 2007-11-22 Ricoh Co Ltd 画像入力装置および電子機器および画像入力方法
JP2008268869A (ja) * 2007-03-26 2008-11-06 Fujifilm Corp 撮像装置、撮像方法、及びプログラム
JP5124835B2 (ja) * 2008-02-05 2013-01-23 富士フイルム株式会社 画像処理装置、画像処理方法、およびプログラム
US8363129B2 (en) * 2008-06-27 2013-01-29 Kyocera Corporation Imaging device with aberration control and method therefor
TW201021018A (en) * 2008-11-21 2010-06-01 Chunghwa Picture Tubes Ltd Color correction method and related device for liquid crystal display
KR101246738B1 (ko) * 2008-12-10 2013-03-25 캐논 가부시끼가이샤 화상처리장치 및 화상처리방법, 및, 데이터 처리장치 및 데이터 처리 방법
JP5235642B2 (ja) * 2008-12-15 2013-07-10 キヤノン株式会社 画像処理装置およびその方法
JP5274391B2 (ja) * 2009-06-29 2013-08-28 キヤノン株式会社 レンズ交換式カメラ、及びその制御方法
JP5289222B2 (ja) 2009-07-16 2013-09-11 キヤノン株式会社 画像処理装置およびその方法
JP4782899B2 (ja) * 2009-07-22 2011-09-28 パナソニック株式会社 視差検出装置、測距装置及び視差検出方法
WO2011019283A1 (en) * 2009-08-14 2011-02-17 Akkolens International B.V. Optics with simultaneous variable correction of aberrations
CN102714737B (zh) * 2009-12-17 2015-12-02 佳能株式会社 图像处理设备和使用图像处理设备的图像捕获装置
JP2011130241A (ja) * 2009-12-18 2011-06-30 Fujifilm Corp 撮像装置
US8330825B2 (en) * 2010-02-22 2012-12-11 Eastman Kodak Company Zoom lens system characterization for image sharpening
WO2011122283A1 (ja) * 2010-03-31 2011-10-06 キヤノン株式会社 画像処理装置、およびそれを用いた撮像装置
CN102422632B (zh) * 2010-04-23 2014-04-30 松下电器产业株式会社 摄像装置以及图像复原方法
US20120070096A1 (en) * 2010-04-23 2012-03-22 Ichiro Oyama Imaging apparatus and image restoration method
US20120262596A1 (en) * 2011-04-18 2012-10-18 Infineon Technologies Ag Image focusing devices and methods for controlling an image focusing device
US8610813B2 (en) * 2011-05-31 2013-12-17 Omnivision Technologies, Inc. System and method for extending depth of field in a lens system by use of color-dependent wavefront coding
US8653454B2 (en) * 2011-07-13 2014-02-18 Luminescent Technologies, Inc. Electron-beam image reconstruction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102165761A (zh) * 2008-09-30 2011-08-24 佳能株式会社 图像处理方法、图像处理装置和图像拾取装置
CN101873428A (zh) * 2009-04-22 2010-10-27 佳能株式会社 图像处理装置及图像处理方法
CN102082912A (zh) * 2009-11-30 2011-06-01 佳能株式会社 图像拍摄装置及图像处理方法

Also Published As

Publication number Publication date
JP2013061925A (ja) 2013-04-04
JP5361976B2 (ja) 2013-12-04
CN102957845A (zh) 2013-03-06
US20130050539A1 (en) 2013-02-28
US8749659B2 (en) 2014-06-10

Similar Documents

Publication Publication Date Title
CN102957845B (zh) 图像处理程序、方法、装置和图像拾取装置
US8749692B2 (en) Image processing apparatus that corrects deterioration of image, image pickup apparatus, image processing method, and program
US10282822B2 (en) Digital correction of optical system aberrations
JP5709911B2 (ja) 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置
JP5535053B2 (ja) 画像処理装置、及び画像処理方法
US9390477B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for image restoration using blind deconvolution
JP5633218B2 (ja) 画像処理装置、画像処理プログラム
JP2008245157A (ja) 撮像装置およびその方法
US8553097B2 (en) Reducing blur based on a kernel estimation of an imaging device
US8648936B2 (en) Image processing apparatus and image processing method
US20150161771A1 (en) Image processing method, image processing apparatus, image capturing apparatus and non-transitory computer-readable storage medium
JP5541750B2 (ja) 画像処理装置、撮像装置、画像処理方法、及び、プログラム
JP2012156716A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム。
JP2016119532A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US10339637B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for correcting deterioration of image
JP6333076B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
JP6436840B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6555881B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2017123532A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体
JP2018207419A (ja) 画像処理
JP2012156714A (ja) プログラム、画像処理装置、画像処理方法および撮像装置。
JP6604737B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2019220045A (ja) 画像処理プログラム、画像処理方法、画像処理装置及び撮像装置
JP2005176150A (ja) 撮像装置
JP2017224906A (ja) 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant