CN104363366B - 图像处理方法、图像处理装置和图像拾取装置 - Google Patents
图像处理方法、图像处理装置和图像拾取装置 Download PDFInfo
- Publication number
- CN104363366B CN104363366B CN201410720384.4A CN201410720384A CN104363366B CN 104363366 B CN104363366 B CN 104363366B CN 201410720384 A CN201410720384 A CN 201410720384A CN 104363366 B CN104363366 B CN 104363366B
- Authority
- CN
- China
- Prior art keywords
- image
- input picture
- frequency band
- transfer function
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 73
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 230000003287 optical effect Effects 0.000 claims abstract description 88
- 238000011084 recovery Methods 0.000 claims abstract description 50
- 238000012546 transfer Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000003384 imaging method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000005693 optoelectronics Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 85
- 230000008859 change Effects 0.000 description 15
- 230000004075 alteration Effects 0.000 description 14
- 230000006866 deterioration Effects 0.000 description 14
- 238000003860 storage Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 5
- 206010010071 Coma Diseases 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 108010022579 ATP dependent 26S protease Proteins 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000023886 lateral inhibition Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及图像处理方法、图像处理装置和图像拾取装置。图像处理方法获取输入图像和与图像捕获条件有关的信息(S11，S12)，获取与图像捕获条件对应的光学传递函数(S13)，计算通过使用光学传递函数获得的指标值变为预定值的特定频率(S14)，以及产生窗函数以将输入图像的频带划分为相比于特定频率的低频侧频带和高频侧频带(S15)。然后，该方法通过使用窗函数和光学传递函数产生图像恢复滤波器，以在输入图像的低频侧频带上执行图像恢复处理并在输入图像的高频侧频带上限制图像恢复处理(S15)，并使用图像恢复滤波器执行图像恢复处理(S16)。
Description
本申请是基于申请号为201210298584.6、申请日为2012年8月21日、发明名称为“图像处理方法、图像处理装置和图像拾取装置”的专利申请的分案申请。
技术领域
本发明涉及用于执行图像恢复处理以校正(减小)由图像拾取装置产生的图像的劣化的图像处理技术。
背景技术
由诸如数字照相机之类的图像拾取装置产生的捕获图像包括模糊分量，所述模糊分量是由图像捕获光学系统(在下文中被简称为“光学系统”)的诸如球面像差、慧形像差、像场弯曲和散光之类的各种像差引起的图像劣化分量。这样的模糊分量被生成是因为从对象的一个点发射的光通量在图像传感器的图像拾取表面上形成具有一些发散度的图像，而在没有像差或衍射的情况下所述光通量通常汇聚到一个点。
这里的模糊分量在光学上被表达为点分布函数(PSF)，并与由散焦引起的模糊不同。此外，由于光学系统的纵向色差、色球差(chromatic spherical aberration)或色慧差(chromatic comatic aberration)生成的彩色图像中的颜色模糊可以被认为是各颜色波长的模糊程度之间的差。此外，由光学系统的倍率色差引起的横向颜色偏移可以被认为是由于对各光波长的图像捕获倍率的差异而引起的位置偏移或相位偏移。
点分布函数(PSF)的傅里叶变换提供了示出关于像差的频率分量信息并通过复数来表达的光学传递函数(OTF)。该光学传递函数(OTF)的绝对值(即幅值分量)被称为调制传递函数(MTF)，而相位分量被称为相位传递函数(PTF)。MTF和PTF分别表示由于像差引起的图像劣化的幅值分量和相位分量的频率特性。在以下的描述中，相位分量通过以下表达式被表达为相位角度，其中Re(OTF)和Im(OTF)分别表示OTF的实部和虚部。
PTF＝tan-1[Im(OTF)/Re(OTF)]
如上所述，光学系统的光学传递函数(OTF)对图像的幅值分量和相位分量产生了劣化，使得在对象的各点处劣化图像包括类似慧形像差的非对称模糊。
作为用于在劣化图像(输入图像)中校正这样的幅值分量(MTF)的劣化和相位分量(PTF)的劣化的方法，已知使用与光学系统的光学传递函数(OTF)有关的信息的方法。该方法被称为“图像恢复”或“图像复原”，并且在下文中，通过使用与光学系统的光学传递函数(OTF)有关的信息来校正劣化图像的处理被称为“图像恢复处理”。作为图像恢复处理中的一种，已知一种卷积方法，该卷积方法执行具有光学传递函数的逆特性的图像恢复滤波器对真实空间(real space)中的输入图像的卷积。
为了有效地执行图像恢复处理，需要获取更准确的光学系统的OTF。例如，与光学系统的设计值有关的信息使得能够计算OTF。此外，对点光源的捕获图像中的强度分布执行傅里叶变换使得能够计算OTF。
除了设计并制造成具有极其高性能的光学系统的OTF之外的普通光学系统的OTF取决于图像高度(输入图像中的位置)而明显变化。因此，为了对输入图像高度精确地执行图像恢复处理，需要使用基于OTF取决于图像高度的变化而产生的图像恢复滤波器。为了根据图像高度来改变图像恢复特性，希望随着真实空间中图像恢复滤波器的变化来执行图像恢复处理。
日本专利特开No.2007-183842公开了一种图像处理方法，该方法使用控制参数来控制图像恢复的程度，从而连续地改变图像恢复的程度。
然而，取决于光学系统中的透镜的特性或图像捕获条件，可能出现在图像传感器的奈奎斯特频带中MTF落到零或接近零的情况。在下文中，MTF落到零或接近零被称为“零落入”，零落入发生的频率在下文中被称为“零落入频率”。
零落入由像差或衍射而导致。此外，零落入还由使用图像拾取装置的用户的手抖动而导致。图12A示出了零落入的例子，其中横轴表示空间频率，纵轴表示MTF。在图中由向下的箭头指示的频率处发生零落入，该频率是零落入频率。
通常用于图像恢复处理的维纳(Wiener)滤波器提供了图12B所示的图像恢复滤波器的频率特性(恢复增益特性)的绝对值，其中横轴表示空间频率，纵轴表示恢复增益。将在之后对维纳滤波器进行详细描述。
在图12B中，在相比于由向下的箭头指示的频率的低频率侧频带中获得放大，而在相比于该频率的高频侧频带中获得低通滤波器效果。该恢复增益特性提供了具有图12C所示的真实空间中轮廓(滤波器中各位置(抽头)的系数)的图像恢复滤波器。使用这种图像恢复滤波器的图像恢复处理在输入图像中的高频细节中产生模糊。
此外，图13A至13C示出了另一例子。图13A中的横轴表示直到奈奎斯特频率两倍的采样频率的频率。图13B示出了图像恢复滤波器的恢复增益特性，而图13C示出了真实空间中图像恢复滤波器的轮廓。在图13C中，图像恢复滤波器的系数值在窄的位置范围中的多个位置处剧烈改变。
存在如下情况，即，当由于光学系统的制造误差或输入图像中的亮度饱和等而使输入图像的PSF与光学系统的PSF不同时，在图像恢复处理的结果图像(恢复图像)中生成诸如瞬时扰动(ringing)之类的伪像。在这种情况下，图13C所示的图像恢复滤波器对于PSF的差异变得敏感，而容易生成伪像。
从而，为了获取高清晰度恢复图像，防止零落入的措施非常重要。
虽然在日本专利特开No.2007-183842中公开的图像处理方法能够控制图像恢复的程度，该方法允许用户改变图像恢复的程度，但不能根据零落入频率来改变图像恢复滤波器的特性。因此，在日本专利特开No.2007-183842中公开的方法可以减小图像恢复的程度以抑制由于零落入而引起的伪像，但不能够提供高清晰度恢复图像。
发明内容
本发明提供了即使当MTF的零落入存在时仍提供高清晰度恢复图像的图像处理技术。
作为本发明的一个方面，本发明提供了一种用于对由图像拾取装置产生的输入图像执行图像恢复处理的图像处理方法。该方法包括：获取输入图像和与在图像拾取装置中产生输入图像时的图像捕获条件有关的信息的步骤，获取与和图像捕获条件有关的信息对应的图像拾取装置的光学传递函数的步骤，计算通过使用光学传递函数获得的指标值变为预定值的特定频率的步骤，产生窗函数以将输入图像的频带划分为相比于特定频率的低频侧频带和高频侧频带的步骤，通过使用窗函数和光学传递函数产生图像恢复滤波器、以在输入图像的所述低频侧频带上执行图像恢复处理以及在输入图像的所述高频侧频带上限制图像恢复处理的步骤，以及使用图像恢复滤波器执行图像恢复处理的步骤。
作为本发明的另一方面，本发明提供了一种被配置为对由图像拾取装置产生的输入图像执行图像恢复处理的图像处理装置。该图像处理装置包括：输入部分，被配置为获取输入图像和与在图像拾取装置中产生输入图像时的图像捕获条件有关的信息；计算部分，被配置为获取与和图像捕获条件有关的信息对应的图像拾取装置的光学传递函数，并被配置为计算通过使用光学传递函数获得的指标值变为预定值的特定频率；窗函数产生部分，被配置为产生窗函数以将输入图像的频带划分为相比于特定频率的低频侧频带和高频侧频带；滤波器产生部分，被配置为通过使用窗函数和光学传递函数，产生图像恢复滤波器，以在输入图像的所述低频侧频带上执行图像恢复处理并在输入图像的所述高频侧频带上限制图像恢复处理；以及处理部分，被配置为使用图像恢复滤波器执行图像恢复处理。
作为本发明的再一方面，本发明提供了一种具有上述图像处理装置的图像拾取装置。
(参考附图)根据对示例性实施例的以下描述，本发明的其他特征将变得明显。
附图说明
图1是作为本发明的实施例1的图像处理的流程图。
图2示出了实施例1的图像处理中要用于图像恢复处理的图像恢复滤波器。
图3示出了实施例1中的图像恢复滤波器中的抽头的值。
图4A和4B分别示出了实施例1中的图像恢复处理之前和之后的PSF。
图5A和5B分别示出了实施例1中的图像恢复处理之前和之后的MTF和PTF。
图6示出了实施例1中的相互不同的方位角方向上的MTF和零落入频率。
图7示出了实施例1中的相互正交的方位角方向上的MTF和零落入频率。
图8A至8D示出了实施例1中的窗函数。
图9A至9C示出了实施例1中的图像恢复滤波器的特性。
图10A至10C示出了实施例1中的图像恢复滤波器的另一特性。
图11是示出作为本发明的实施例2的图像拾取装置的配置的框图。
图12A至12C示出了使用维纳滤波器的传统图像恢复处理。
图13A至13C示出了使用维纳滤波器的另一传统图像恢复处理。
具体实施方式
将在下文中参照附图描述本发明的示例性实施例。
首先，在描述具体实施例之前，将对要在实施例中使用的术语的定义和在实施例中执行的图像恢复处理进行描述。
“输入图像”
输入图像是通过由图像拾取装置执行的图像捕获(即，通过使用来自光电转换由图像捕获光学系统形成的对象图像的图像传感器的输出)而产生的数字图像。图像传感器由诸如CCD传感器或CMOS传感器之类的光电转换元件构成。数字图像根据图像拾取装置(即，由透镜和各种光学滤波器构成并包括像差的图像捕获光学系统)的光学传递函数(OTF)而劣化。图像捕获光学系统可以由诸如分别具有曲率的反射镜之类的反射表面构成。此外，图像捕获光学系统可以被可拆卸地与图像拾取装置附接(可互换)。在图像拾取装置中，图像传感器和通过使用来自图像传感器的输出而产生数字图像(输入图像)的信号处理器构成图像捕获系统。
输入图像具有与诸如R、G和B分量之类的颜色分量有关的信息。除了RGB之外，颜色分量还可以通过诸如LCH(光亮、色度和色调)、YCbCr(亮度、蓝色差和红色差)、XYZ、Lab、Yuv和JCh之类的一般的颜色空间中的任意选择的一种来进行表达，或者可以通过颜色温度进行表达。
输入图像和恢复图像(输出图像)可以具有与在产生输入图像时图像拾取装置中的图像捕获条件、包括图像捕获光学系统的焦距和孔径值的图像捕获条件、图像捕获距离(物距)等有关的信息。在下文中，与图像捕获条件有关的信息被称为“图像捕获条件信息”。另外，输入图像可以具有要用于校正输入图像的各种校正信息。
当从图像拾取装置向与其分离的图像处理装置输出输入图像并在图像处理装置中执行图像恢复处理时，希望将图像捕获条件信息和校正信息添加到输入图像。不仅可以通过添加到输入图像，而且可以通过直接或间接通信并通过可拆卸地与这些装置附接的存储介质，图像处理装置可以从图像拾取装置接收图像捕获条件信息和校正信息。
“图像恢复处理”
图像恢复处理的概况如下。当g(x,y)表示输入图像(劣化图像)、f(x,y)表示非劣化原始图像、h(x,y)表示通过光学传递函数(OTF)形成傅里叶对的点分布函数(PSF)、＊表示卷积以及(x,y)表示输入图像中的坐标时，以下表达式成立：
g(x,y)＝h(x,y)＊f(x,y)。
通过傅里叶变换将上述表达式转换为二维频率表面的形式，对于各频率提供了积的形式的以下表达式：
G(u,v)＝H(u,v)·F(u,v)
其中H表示点分布函数(PSF)的傅里叶变换的结果，换言之，光学传递函数(OTF)，G和F分别表示g和h的傅里叶变换的结果，(u,v)表示二维频率表面上的坐标，换言之，频率。
如下将上述表达式的两边除以H，从由图像拾取装置产生的劣化图像提供了原始图像：
G(u,v)/H(u,v)＝F(u,v)。
通过傅里叶逆变换将F(u,v)，即G(u,v)/H(u,v)返回到真实表面提供了与原始图像f(x,y)等价的恢复图像。
当R表示H-1的傅里叶逆变换的结果时，如以下表达式所示，对真实表面中的图像执行卷积处理也使得能够提供原始图像：
g(x,y)＊R(x,y)＝f(x,y)。
上述表达式中的该R(x,y)是图像恢复滤波器。当输入图像是二维图像时，图像恢复滤波器通常也是具有抽头(单元)的二维滤波器，每个抽头对应于二维图像的每个像素。此外，图像恢复滤波器中的抽头(单元)的数量的增加通常改善图像恢复精度，从而依赖于所要求的图像质量、图像处理能力、图像捕获光学系统的像差特性等来设置抽头的可实现数量。
由于图像恢复滤波器需要至少反映像差特性，因此图像恢复滤波器与在水平方向和垂直方向中的每一个上具有大约三个抽头的常规边缘增强滤波器(高通滤波器)等不同。基于光学传递函数(OTF)产生图像恢复滤波器，其可以高度精确地校正劣化图像(输入图像)的幅值分量和相位分量的劣化。
此外，由于实际的输入图像(劣化图像)包括噪声分量，使用如上所述的从光学传递函数(OTF)的完全逆数产生的图像恢复滤波器不仅仅恢复劣化图像，还明显放大噪声分量。这是因为，在噪声分量的幅值被添加到输入图像的幅值分量的状态下，这样的图像恢复滤波器将调制传递函数(MTF)(即图像捕获光学系统的幅值分量)在整个频率范围上提升到1。虽然与图像捕获光学系统的幅值劣化对应的MTF被返回到1，但是噪声分量的功率谱被同时提升，这导致噪声分量根据MTF的提升的程度(即恢复增益)而被放大。
因此，包括在输入图像中的噪声分量使得能够将良好的恢复图像作为用于欣赏的图像提供。噪声分量的这种提升通过以下表达式示出，其中N表示噪声分量：
G(u,v)＝H(u,v)·F(u,v)+N(u,v)
G(u,v)/H(u,v)＝F(u,v)+N(u,v)/H(u,v)。
作为用于解决这种问题的方法，已知例如用以下表达式(1)表达的维纳滤波器，维纳滤波器根据图像信号和噪声信号的强度比(SNR)来控制图像恢复程度。
在上述表达式(1)中，M(u,v)表示维纳滤波器的频率特性，|H(u,v)|表示光学传递函数(OTF)的绝对值(MTF)。该方法在各频率处当MTF较低时减小恢复增益，换言之，当MTF较高时增大恢复增益。一般的图像捕获光学系统的MTF在低频率侧高并且在高频率侧低，使得该方法最终在图像信号的高频率侧抑制恢复增益。
在图2和3中示出了图像恢复滤波器的例子。对于图像恢复滤波器，根据图像捕获光学系统的像差特性和所要求的图像恢复精度来确定抽头(单元)的数量。图2所示的图像恢复滤波器是具有11×11抽头的二维滤波器。虽然图2省略了各抽头的值(系数值)，但是图3示出了该图像恢复滤波器的一个截面，其中通过折线示出了抽头的值(在下文中也被称为“抽头值”)。在图像恢复滤波器中抽头值的分布用于将由于像差而在空间上分布的信号值(PSF)理想地返回到一个点。
图像恢复处理执行图像恢复滤波器的每个抽头值在输入图像的每个像素(对应于每个抽头)上的卷积。在卷积中，为了改善输入图像中的特定像素的信号值，将该像素匹配到图像恢复滤波器的中央抽头。接着，对于输入图像中的像素和图像恢复滤波器的抽头的每个对应对，计算输入图像的像素信号值和图像恢复滤波器的抽头值(系数值)的乘积，并用乘积的总和代替与滤波器的中央抽头对应的像素的信号值。
将参照图4A、4B、5A和5B描述真实空间和频率空间中的图像恢复的特性。图4A示出了图像恢复之前的PSF(点分布函数)，图4B示出了图像恢复之后的PSF。图5A示出了(a)图像恢复之前的MTF和(b)图像恢复之后的MTF。图5B示出了(a)图像恢复之前的PTF(相位传递函数)和(b)图像恢复之后的PTF。图像恢复之前的PSF非对称地分布，由于非对称性，PTF随着频率非线性地改变。图像恢复处理放大MTF并将PTF校正到零，使得图像恢复之后的PSF变得对称并且尖锐。
该图像恢复滤波器可以通过基于图像捕获光学系统的光学传递函数(OTF)的逆函数设计的函数的傅里叶逆变换来获得。在实施例中使用的图像恢复滤波器可以任意地改变，例如，可以将维纳滤波器用作图像恢复滤波器。在使用维纳滤波器的情况下，用于在真实空间中的输入图像上进行卷积的图像恢复滤波器可以通过表达式(1)的傅里叶逆变换而产生。
此外，由于即使图像捕获条件相同，光学传递函数(OTF)仍然根据图像高度(输入图像中的位置)而改变，因此，要使用的图像恢复滤波器根据图像高度而改变。
将在下文中描述本发明的具体实施例。
[实施例1]
图1是作为本发明的第一实施例(实施例1)的图像处理的过程(图像处理方法)的流程图。根据作为通过诸如半导体存储器或光盘之类的存储介质安装的计算机程序的图像处理程序，该图像处理通过由CPU等构成并被包括在图像处理装置中的计算机执行。
在步骤S11，计算机从图像拾取装置获取输入图像(在下文中也被称为“捕获图像”)。可以通过图像处理装置和图像拾取装置之间的有线或无线通信，或者通过诸如半导体存储器或光盘之类的存储介质，执行从图像拾取装置的捕获图像的获取。
接下来，在步骤S12，计算机获取在图像拾取装置进行图像捕获时(即，产生捕获图像时)的图像捕获条件信息。如上所述，图像捕获条件信息包括诸如图像捕获光学系统的焦距和孔径值之类的参数、图像拾取距离以及图像拾取装置的附加识别信息(照相机ID)。当图像捕获光学系统作为可互换透镜被提供时，图像捕获条件信息包括可互换透镜的识别信息(透镜ID)。图像捕获条件信息可以作为给捕获图像提供的信息获取，或者可以通过有线或无线通信或通过存储介质获取。
接下来，在步骤S13，控制器获取对应于(适合于)图像捕获条件的光学传递函数。可以通过从设置在图像处理装置内部或外部的存储器中所预先存储的多个光学传递函数中选择对应于图像捕获条件的一个，或者通过根据预先存储的包括用图像捕获条件的参数替代的变量的函数来产生(计算)光学传递函数，而获取光学传递函数。
与离散地选择的图像捕获条件对应的多个光学传递函数可以被预先存储在存储器中。在该情况下，当实际的图像捕获条件不同于存储的图像捕获条件时，可以通过使用与实际的图像捕获条件接近的两个或更多个图像捕获条件对应的光学传递函数来进行内插计算，而产生与实际的图像捕获条件对应的光学传递函数。这样的离散的选择可以减小要被存储在存储器中的光学传递函数的数据的量。可以通过诸如双线性内插(线性内容)或双三次内插之类的任意方法来执行内插计算。
接下来，在步骤S14，计算机获取特定频率，在该特定频率处，通过使用在步骤S13获取的光学传递函数获得的指标值变为阈值(预定值)。该实施例使用光学传递函数(OTF)的绝对值(MTF)作为指标值。然而，可以使用任何其他指标值，只要它们是通过使用光学传递函数获得的即可。将在之后对指标值进行详细描述。
接下来，在步骤S15，计算机产生在该特定频率处值为零的窗函数。将在之后对窗函数进行详细描述。
接下来，在步骤S16，计算机通过使用光学传递函数和窗函数来产生图像恢复滤波器。将在之后对图像恢复滤波器的产生进行详细描述。
接下来，在步骤S17，计算机执行图像恢复滤波器对捕获图像的卷积，即对捕获图像执行图像恢复处理，并对其执行预定的显影处理。接着，在步骤S18，计算机将恢复图像作为输出图像输出。
将对在步骤S14处如何获得特定频率进行详细描述。图6示出了MTF(a)、(b)和(c)的频率特性。图6所示的MTF(a)、(b)和(c)被归一化，其中横轴上所示的1作为由图像传感器的像素节距决定的奈奎斯特频率。图6中的MTF(a)、(b)和(c)示出了在图像捕获光学系统的光学特性相互不同的三个方位角方向上的MTF的例子。MTF(a)和(b)变为阈值t1的频率fa和fb是它们相应方位角方向上的特定频率。MTF(c)不变为阈值t1，因此在其方位角方向上不存在特定频率。可以根据目的而任意设置阈值t1。例如，在将特定频率用作上述的零落入频率的情况下，阈值t1被设置为0。然而，出于实用的目的，不完全为0但足够小的MTF可以被视为0，使得阈值t1可以被设置为大于0的值，例如0.03(3％的MTF)，并且MTF变为该值的频率可以被定义为与零落入频率对应的特定频率。
在MTF随着频率在0附近增大或减小的情况(诸如伪分辨率存在的情况)下，存在MTF改变从而将阈值从比该阈值高的一侧转变到比该阈值低的一侧的多个频率。在该情况下，希望使用多个频率中最低的一个作为特定频率。
另外，在如图6所示的多个方位角方向上的MTF相互不同的情况下，还希望对各方位角方向设置相互不同的特定频率。在这种情况下，各方位角方向的不同的特定频率可以被存储为函数数据或查找表数据。另一方面，各方位角方向的不同的特定频率中的一个(例如，最低的一个)可以被用作代表性特定频率。
接下来，将对在步骤S16用于产生图像恢复滤波器的处理进行详细描述。在以下的描述中，由上述表达式(1)表达的维纳滤波器被用作用于设计图像恢复滤波器的示例性基础函数。该处理通过使用表达式(1)中的M(u,v)和窗函数W(u,v)根据以下表达式(2)来产生图像恢复滤波器的频率特性ML(u,v)。
ML(u,v)＝(M(u,v)-1)·W(u,v)+1 (2)
具有频率特性ML(u,v)的图像恢复滤波器仅仅在由窗函数限制的频带(在下文中被称为“图像恢复频带”)中执行图像恢复处理。换言之，图像恢复滤波器被产生为根据窗函数在捕获图像中在比特定频率低的频带(在下文中被称为“低频侧频带”)上执行图像恢复处理，并在比特定频率高的频带(在下文中被称为“高频侧频带”)上限制图像恢复处理。
将参照图9A至9C对这样的图像恢复滤波器进行描述。图9A示出了与图12A所示的MTF相同的MTF。在图9A中，横轴表示空间频率，纵轴表示MTF。
此外，图9B示出了根据特定频率(零落入频率)限制图像恢复频带的图像恢复滤波器的频率特性。在图9B中，横轴表示空间频率，纵轴表示恢复增益。从图9B与图12B的比较可以理解，图9B所示的图像恢复滤波器在高频侧频带上没有低通滤波器效果，使得图9C(其中，横轴表示滤波器中的抽头位置，纵轴表示抽头值(系数值))所示的图像恢复滤波器的轮廓是尖锐的。从而，使用该图像恢复滤波器执行图像恢复处理可以极好地恢复其频率在低频侧频带内的图像部分，同时保持具有低MTF但作为捕获图像中的细节部分存在的图像部分而不发生改变(即，不会由于图像恢复处理而产生模糊)。
此外，图10A示出了与图13A所示的MTF相同的MTF。在图10A中，横轴表示空间频率，纵轴表示MTF。图10C示出了根据特定频率(零落入频率)限制图像恢复频带的另一图像恢复滤波器的频率特性。在图10B中，横轴表示空间频率，纵轴表示恢复增益。图10C示出了图像恢复滤波器的轮廓。根据与图13C的比较，图10C所示的图像恢复滤波器的系数值在窄的位置范围内的多个位置处不剧烈改变。从而，图10B所示的图像恢复滤波器具有对PSF的差异的容限，同时极好地恢复其频带包括非零落入的图像部分。
由于图像捕获光学系统的OTF随着图像高度(即捕获图像中的位置)而改变，所以零落入频率也取决于图像高度。从而，可以在捕获图像中的每个位置处获得特定频率以改变所产生的图像恢复滤波器的特性。在该情况下，除了改变特定频率之外，可以根据在该实施例中描述的流程图来执行处理。
接下来，将对在步骤S15产生的窗函数进行详细描述。图7示出了在相互正交的两个方位角方向上的MTF。图8A和8C示出了从上方(即，从垂直方向向二维图像表面)看到的图7所示的MTF的分布。图8A和8C中的每一个中的虚线表示根据图7所示的阈值t1决定并根据方位角方向改变的特定频率。图8A和8C中的每一个中的实线表示窗函数的值变为0的频率，窗函数在实线内部具有比0大的值。作为窗函数的值的“0”包括比1足够小并因此可以被视为0的值。
图8B示出了图8A所示的窗函数的轮廓。图8B中的虚线表示图A中垂直方向上的窗函数的轮廓，图8B中的实线表示图8A中水平方向上的轮廓。希望根据取决于方位角方向的MTF的零落入特性(图8B所示)来产生窗函数。图8B所示的窗函数是与根据方位角方向改变的特定频率(零落入频率)对应的非旋转对称的函数。
作为另一例子，图8C和8D示出了通过使用作为各方位角方向上的零落入频率(特定频率)的最小值的代表性特定频率而产生的旋转对称的窗函数。在使用这样的窗函数的情况下，虽然MTF不包括零落入，但是图像恢复频带在通过窗函数进行频带限制的方位角方向上变窄。
通过使用从根据方位角方向改变的实际MTF(即，OTF的绝对值)获得的特定频率而这样产生窗函数，使得能够产生窗函数以及具有良好精度的与图像捕获光学系统的光学传递函数(OTF)匹配的图像恢复滤波器。
可以通过根据从光学传递函数获得或者可以被新产生的每个方位角方向上的特定频率特性来非对称变换公知的诸如高斯窗或汉明窗之类的窗函数，而产生窗函数。
此外，可以基于各图像高度处的MTF来产生与根据方位角方向改变的特定频率匹配的窗函数W(u,v)。这种窗函数的例子用以下表达式(3)示出：
W(u,v)＝|H(u,v)|N
其中，N表示实数参数。
由于图像恢复处理使用各图像高度处的OTF来产生图像恢复滤波器，因此通过使用各图像高度处的MTF产生窗函数的这种方法不增加数据的量。另外，即使当难以通过函数高精度地表达特定频率的方位角特性时，该方法仍然使得能够产生窗函数。这是因为通过窗函数进行限制的频率可以对应于MTF。
即使输入图像包括MTF的零落入，该实施例仍然使得能够获取高清晰度恢复图像，同时抑制在相比于特定频率的高频侧频带上生成诸如图像模糊和瞬时扰动之类的不希望的效果。
[实施例2]
接下来，将参考图11对作为本发明的第二实施例(实施例2)的图像拾取装置进行描述。图像拾取装置具有通过实施例1中描述的图像处理方法执行图像恢复处理的图像处理装置。
图像捕获光学系统201使来自对象(未示出)的光形成对象图像。图像传感器202光电转换对象图像以输出模拟电信号。从图像传感器202输出的模拟信号被A/D转换器203转换为数字信号以被输入到图像处理器204。
图像处理器204对输入的数字信号执行各种图像处理以产生捕获图像(输入图像)，然后对捕获图像执行实施例1中描述的图像恢复处理。从图像传感器202到图像处理器204中产生捕获图像的部分的系统构成图像捕获系统。图像处理器204中执行图像恢复处理的部分对应于包括输入部分、计算部分、窗函数产生部分、滤波器产生部分和处理部分的图像处理装置。
状态检测器207获取要被用于由图像处理器204执行的图像恢复处理的在产生捕获图像时的(实施例1中描述的)图像捕获条件信息。状态检测器207可以从系统控制器210获取图像捕获条件信息。此外，状态检测器207可以从控制孔径光阑201a的操作和诸如变焦透镜或聚焦透镜之类的透镜201b的移动的图像捕获光学系统控制器206获取关于图像捕获光学系统201的图像捕获条件。作为计算机的图像处理器204执行通过使用图1所示的流程图描述的图像恢复处理。光学传递函数(OTF)和要用于产生光学传递函数(OTF)的系数数据被预先存储在存储器208中。
图像处理器204将通过图像恢复处理产生的恢复图像(输出图像)存储到诸如半导体存储器或光盘之类的图像记录介质209，并使显示单元205显示恢复图像。系统控制器210控制一系列上述操作。
图像捕获光学系统201可以包括诸如低通滤波器和红外截止滤波器之类的光学元件。当图像捕获光学系统201包括影响图像捕获光学系统201的光学传递函数(OTF)的诸如低通滤波器之类的光学元件时，该光学元件应该在产生图像恢复滤波器时予以考虑。当使用红外截止滤波器时，由于它对R、G和B通道中的每一个的PSF(其是光谱波长的点分布函数(PSF)的积分值)产生影响，特别是对R信道的PSF产生影响，因此红外截止滤波器应该在产生图像恢复滤波器时予以考虑。
如上所述，图像捕获光学系统201可以与图像拾取装置互换。
[实施例3]
虽然实施例2描述了使用图像处理方法的图像拾取装置(即，设置有图像处理装置的图像拾取装置)，但是本发明的第三实施例(实施例3)将描述通过安装到个人计算机的图像处理程序来实施图像处理方法的情况。在该情况下，个人计算机对应于图像处理装置。个人计算机从图像拾取装置通过有线或无线通信或者从另一个人计算机通过因特网的连线来获取由图像拾取装置产生的捕获图像(未恢复的图像)。
个人计算机可以通过在其中记录有捕获图像的图像记录介质获取捕获图像。然后，获取了捕获图像的个人计算机根据图像处理程序执行图像恢复处理，并输出得到的恢复图像。
虽然已经参考示例性实施例描述了本发明，但是要理解的是，本发明不限于所公开的示例性实施例。以下权利要求的范围应遵循最宽泛的解释以包含所有这样的修改以及等价的结构和功能。
Claims (3)
1.一种图像处理方法，用于对由图像拾取装置产生的输入图像执行图像恢复处理，其特征在于，所述方法包括以下步骤：
获取输入图像和与在所述图像拾取装置中产生所述输入图像时的图像捕获条件有关的信息(S11，S12)；
获取与和所述图像捕获条件有关的信息对应的所述图像拾取装置的光学传递函数(S13)；
计算通过使用所述光学传递函数获得的调制传递函数值变为预定值的特定频率(S14)；
产生窗函数以将所述输入图像的频带划分为相比于所述特定频率的低频侧频带和高频侧频带(S15)；
通过使用所述窗函数和所述光学传递函数，产生图像恢复滤波器，以在所述输入图像的所述低频侧频带上执行图像恢复处理并在所述输入图像的所述高频侧频带上限制图像恢复处理(S16)；以及
使用所述图像恢复滤波器执行图像恢复处理(S17)。
2.一种图像处理装置，被配置为对由图像拾取装置产生的输入图像执行图像恢复处理，其特征在于，所述图像处理装置包括：
输入部分，被配置为获取输入图像和与在所述图像拾取装置中产生所述输入图像时的图像捕获条件有关的信息；
计算部分，被配置为获取与和所述图像捕获条件有关的信息对应的所述图像拾取装置的光学传递函数，并被配置为计算通过使用所述光学传递函数获得的调制传递函数值变为预定值的特定频率；
窗函数产生部分，被配置为产生窗函数以将所述输入图像的频带划分为相比于所述特定频率的低频侧频带和高频侧频带；
滤波器产生部分，被配置为通过使用所述窗函数和所述光学传递函数，产生图像恢复滤波器，以在所述输入图像的所述低频侧频带上执行图像恢复处理并在所述输入图像的所述高频侧频带上限制图像恢复处理；以及
处理部分，被配置为使用所述图像恢复滤波器执行图像恢复处理。
3.一种图像拾取装置，包括：
图像捕获系统，被配置为包括用于执行由图像捕获光学系统(201)形成的对象图像的光电转换的图像传感器(202)，并被配置为通过使用来自所述图像传感器的输出产生捕获图像；以及
图像处理装置，被配置为对作为所述捕获图像的输入图像执行图像恢复处理，
其特征在于，所述图像处理装置包括：
输入部分，被配置为获取所述输入图像和与在所述图像拾取装置中产生所述输入图像时的图像捕获条件有关的信息；
计算部分，被配置为获取与和所述图像捕获条件有关的信息对应的所述图像拾取装置的光学传递函数，并被配置为计算通过使用所述光学传递函数获得的调制传递函数值变为预定值的特定频率；
窗函数产生部分，被配置为产生窗函数以将所述输入图像的频带划分为相比于所述特定频率的低频侧频带和高频侧频带；
滤波器产生部分，被配置为通过使用所述窗函数和所述光学传递函数，产生图像恢复滤波器，以在所述输入图像的所述低频侧频带上执行图像恢复处理并在所述输入图像的所述高频侧频带上限制图像恢复处理；以及
处理部分，被配置为使用所述图像恢复滤波器执行图像恢复处理。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011184794A JP5344648B2 (ja) | 2011-08-26 | 2011-08-26 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
| JP2011-184794 | 2011-08-26 | ||
| CN201210298584.6A CN102957846B (zh) | 2011-08-26 | 2012-08-21 | 图像处理方法、图像处理装置和图像拾取装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210298584.6A Division CN102957846B (zh) | 2011-08-26 | 2012-08-21 | 图像处理方法、图像处理装置和图像拾取装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104363366A CN104363366A (zh) | 2015-02-18 |
| CN104363366B true CN104363366B (zh) | 2017-07-25 |
Family
ID=47743212
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210298584.6A Active CN102957846B (zh) | 2011-08-26 | 2012-08-21 | 图像处理方法、图像处理装置和图像拾取装置 |
| CN201410720384.4A Active CN104363366B (zh) | 2011-08-26 | 2012-08-21 | 图像处理方法、图像处理装置和图像拾取装置 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210298584.6A Active CN102957846B (zh) | 2011-08-26 | 2012-08-21 | 图像处理方法、图像处理装置和图像拾取装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8934732B2 (zh) |
| JP (1) | JP5344648B2 (zh) |
| CN (2) | CN102957846B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5864037B2 (ja) * | 2013-08-02 | 2016-02-17 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
| JP6253365B2 (ja) * | 2013-11-22 | 2017-12-27 | キヤノン株式会社 | 画像処理方法、撮像装置、画像処理装置 |
| JP6385206B2 (ja) * | 2014-09-02 | 2018-09-05 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
| JP6350205B2 (ja) * | 2014-10-21 | 2018-07-04 | 富士通株式会社 | 処理装置、処理方法および処理プログラム |
| JP6347763B2 (ja) * | 2015-05-19 | 2018-06-27 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム |
| JP6214713B1 (ja) * | 2016-04-18 | 2017-10-18 | キヤノン株式会社 | 画像処理装置、撮像装置、レンズ装置、画像処理方法、プログラム、記憶媒体、および、情報処理方法 |
| CN111562584B (zh) * | 2020-04-30 | 2022-08-16 | 北京中安智能信息科技有限公司 | 被动声纳方位历程图处理方法和装置及设备 |
| JP2022129053A (ja) * | 2021-02-24 | 2022-09-05 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5627918A (en) * | 1992-12-16 | 1997-05-06 | The United States Of America As Represented By The Secretary Of Commerce | Procedure for digital image restoration |
| JP2007183842A (ja) * | 2006-01-10 | 2007-07-19 | Tokyo Institute Of Technology | 画像復元フィルタ及びそれを用いた画像復元方法 |
| CN101258740A (zh) * | 2005-07-28 | 2008-09-03 | 京瓷株式会社 | 摄像装置及图像处理方法 |
| JP2011135563A (ja) * | 2009-11-30 | 2011-07-07 | Canon Inc | 撮像装置および画像処理方法 |
| CN102165761A (zh) * | 2008-09-30 | 2011-08-24 | 佳能株式会社 | 图像处理方法、图像处理装置和图像拾取装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8280180B2 (en) * | 2007-12-04 | 2012-10-02 | Hewlett-Packard Development Company, L.P. | Method and system for image restoration in the spatial domain |
| JP2009239077A (ja) * | 2008-03-27 | 2009-10-15 | Canon Inc | 位置検出装置、位置検出方法、露光装置及びデバイス製造方法 |
| US8477206B2 (en) * | 2008-09-30 | 2013-07-02 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method for performing image restoration using restoration filter |
| JP5441652B2 (ja) * | 2009-12-09 | 2014-03-12 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
-
2011
- 2011-08-26 JP JP2011184794A patent/JP5344648B2/ja active Active
-
2012
- 2012-08-21 CN CN201210298584.6A patent/CN102957846B/zh active Active
- 2012-08-21 CN CN201410720384.4A patent/CN104363366B/zh active Active
- 2012-08-23 US US13/592,471 patent/US8934732B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5627918A (en) * | 1992-12-16 | 1997-05-06 | The United States Of America As Represented By The Secretary Of Commerce | Procedure for digital image restoration |
| CN101258740A (zh) * | 2005-07-28 | 2008-09-03 | 京瓷株式会社 | 摄像装置及图像处理方法 |
| JP2007183842A (ja) * | 2006-01-10 | 2007-07-19 | Tokyo Institute Of Technology | 画像復元フィルタ及びそれを用いた画像復元方法 |
| CN102165761A (zh) * | 2008-09-30 | 2011-08-24 | 佳能株式会社 | 图像处理方法、图像处理装置和图像拾取装置 |
| JP2011135563A (ja) * | 2009-11-30 | 2011-07-07 | Canon Inc | 撮像装置および画像処理方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于图像分析的光学传递函数测试研究;马卫红;《中国博士学位论文全文数据库 基础科学辑》;20060415;第二章 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5344648B2 (ja) | 2013-11-20 |
| CN102957846A (zh) | 2013-03-06 |
| JP2013045404A (ja) | 2013-03-04 |
| CN104363366A (zh) | 2015-02-18 |
| US8934732B2 (en) | 2015-01-13 |
| US20130050541A1 (en) | 2013-02-28 |
| CN102957846B (zh) | 2015-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104363366B (zh) | 图像处理方法、图像处理装置和图像拾取装置 | |
| CN102930507B (zh) | 图像处理方法、图像处理装置和图像拾取装置 | |
| CN105049680B (zh) | 进行图像恢复处理的图像处理设备和图像处理方法 | |
| CN102930506B (zh) | 图像处理装置、图像处理方法和图像拾取装置 | |
| JP5284537B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置 | |
| CN106162132B (zh) | 图像处理设备及其控制方法 | |
| JP5409589B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 | |
| US8692909B2 (en) | Image processing device and image pickup device using the same | |
| CN104580879B (zh) | 图像处理设备、图像拾取设备以及图像处理方法 | |
| US8798389B2 (en) | Image processing method, image processing apparatus, and image pickup apparatus for correcting degradation component of image | |
| US9167216B2 (en) | Image processing apparatus, image capture apparatus and image processing method | |
| CN103198453B (zh) | 图像处理设备及图像处理方法 | |
| CN104956661B (zh) | 图像拾取装置、图像处理装置、图像处理方法 | |
| CN105530407B (zh) | 图像处理装置、图像捕获装置和图像处理方法 | |
| US9053552B2 (en) | Image processing apparatus, image processing method and non-transitory computer readable medium | |
| JP2017033182A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| JP6559011B2 (ja) | 画像処理装置、および画像処理方法 | |
| JP5611439B2 (ja) | 画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム | |
| JP2012235421A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
| WO2011121761A1 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
| JP2021170197A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および学習済みモデルの製造方法 | |
| JP2018037791A (ja) | 撮像装置、画像処理装置、画像処理方法および画像処理プログラム | |
| JP2015170928A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |