CN106134177A - 图像处理装置、摄影装置、图像处理方法及图像处理程序 - Google Patents

图像处理装置、摄影装置、图像处理方法及图像处理程序 Download PDF

Info

Publication number
CN106134177A
CN106134177A CN201580017006.2A CN201580017006A CN106134177A CN 106134177 A CN106134177 A CN 106134177A CN 201580017006 A CN201580017006 A CN 201580017006A CN 106134177 A CN106134177 A CN 106134177A
Authority
CN
China
Prior art keywords
image
wave filter
frequency retrieval
phase recovery
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580017006.2A
Other languages
English (en)
Other versions
CN106134177B (zh
Inventor
成濑洋介
杉本雅彦
林健吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN106134177A publication Critical patent/CN106134177A/zh
Application granted granted Critical
Publication of CN106134177B publication Critical patent/CN106134177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/82—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • H04N23/83—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/01—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by phase separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/03—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种在恢复因光学系统的点扩散函数引起的劣化图像时，能够抑制伪影的产生和颜色层次的产生，并实现计算成本的降低的图像处理装置、摄影装置、图像处理方法及图像处理程序。本发明的图像处理装置具备：频率恢复处理部(44)，对通过利用光学系统拍摄被摄体像而从成像元件获取的图像数据，使用基于光学系统的点扩散函数的频率恢复滤波器进行频率恢复处理；灰度校正处理部(45)，对已进行频率恢复处理的图像数据进行非线性灰度校正；及相位恢复处理部(46)，对已进行灰度校正的图像数据，使用基于光学系统的点扩散函数的相位恢复滤波器进行相位恢复处理。

Description

图像处理装置、摄影装置、图像处理方法及图像处理程序
技术领域
本发明涉及一种基于点扩散函数的复原处理所涉及的图像处理装置、摄影装置、图像处理方法及图像处理程序。
背景技术
在经由光学系统而被摄影的被摄体像中，由于由光学系统引起的衍射、像差等的影响，有时会出现点被摄体具有微小的扩散的所谓点扩散现象。表示光学系统相对于点光源的响应的函数被称作点扩散函数(PSF：Point Spread Function)，作为影响摄影图像的分辨率劣化(模糊)的特性而被公知。
由于点扩散现象而画质劣化的摄影图像能够通过接受基于PSF的点像复原处理来恢复画质。该点像复原处理是如下处理，即，预先求出由透镜(光学系统)的像差等引起的劣化特性(点像特性)，通过使用与该点像特性相应的复原滤波器(恢复滤波器)进行的图像处理来消除或减轻摄影图像的点扩散。
点像复原处理能够大致分为频率恢复(校正)处理与相位恢复(校正)处理。频率恢复处理为使由于光学系统而劣化的调制传递函数(MTF：Modulation Transfer Function)特性等化(equalize)即恢复的处理，相位恢复处理为使由于光学系统而劣化的相位传递函数(PTF：Phase Transfer Function)特性等化即恢复的处理。
直观上，相位恢复处理为通过频率依赖移动图像，以使非点对称的PSF形状尽可能恢复成点对称形状的处理。
频率恢复处理与相位恢复处理能够同时应用为信号处理，通过改变滤波器系数的设计方法，还能够仅校正其中任意一个。
对于这种点像复原处理，提出有各种方法。
专利文献1中提出有如下图像处理装置，即，为了抑制由图像恢复处理引起的噪声的放大等，通过对输入图像的振幅(频率)成分及相位成分进行恢复处理来生成第1图像，另一方面，通过仅对输入图像的相位成分进行恢复处理来生成第2图像，并获取所生成的第1和第2图像的差分信息，对第2图像，根据适当的恢复强度调整系数合成差分信息，由此生成恢复调整图像。
并且，专利文献2中公开对已进行非线性校正的图像，利用盲反卷积进行图像恢复的图像处理装置。该图像处理装置具备：校正部，对已实施非线性灰度校正的摄影图像进行降低非线性灰度校正的校正；及图像恢复部，对已降低灰度校正的摄影图像应用盲反卷积来进行图像恢复。
专利文献3中公开降低由图像恢复处理引起的图像数据的过恢复的图像处理装置。该图像处理装置中，在伽马处理之前进行对RGB形式的彩色图像数据的图像恢复处理，吸收由伽马校正引起的像素信号值的放大和衰减的差异，以像素信号值的变化量的最大值在伽马校正之后也恒定的方式计算变化量的极限值。由此解决“由于饱和像素，会产生实际获得的图像数据的劣化状态与图像恢复滤波器设想为恢复对象的图像数据的劣化状态不一致的情况”、“发生边缘部分的下冲或过冲等画质劣化，尤其是低亮度部的下冲由于图像恢复处理之后的伽马处理而被放大”等技术上的课题。
并且，光学系统的点扩散函数还用于焦深被放大的图像的复原技术，专利文献4中公开在短时间内精度良好地执行图像复原的摄像模块。该摄像模块中，通过对同步化处理(去马赛克处理)之后的亮度信号施以复原处理，由此无需使RGB分别具有复原处理的参数，复原处理得以高速化。并且，将接近的像素彼此汇集为规定单位，对该单位应用共同的复原处理参数来进行反卷积处理，由此实现复原处理精度的提高。
以往技术文献
专利文献
专利文献1：日本特开2011-124692号公报
专利文献2：日本特开2011-059813号公报
专利文献3：日本特开2013-020610号公报
专利文献4：日本特开2012-049759号公报
发明内容
发明要解决的技术课题
上述的点像复原处理是将由于基于光学系统的点扩散现象(光学特性)而模糊的图像复原为原来的清晰的图像的处理，是对画质劣化的原图像数据应用基于点扩散函数的复原滤波器，由此获得消除或改善画质劣化的恢复图像的技术。
因此，为了获得如实重现被摄体像的恢复图像，点像复原处理中使用的“复原滤波器所设想的画质劣化特性”与“依据原图像数据的实际的画质劣化特性”需适当地匹配。
即，若准确掌握由光学系统带来的画质劣化，从而设计能够严密地去除这种画质劣化的复原滤波器，且由光学系统引起的画质劣化(点扩散现象)被准确地反映在原图像数据，则原理上能够从“画质劣化的摄影图像”获得“如实重现被摄体像的高画质的图像”。
然而，根据被摄体像或摄影设备类的特性，有时“复原滤波器的特性”与“原图像数据的画质劣化”可能不会适当地匹配。
例如，原图像数据的画质会因成像元件的能力而发生变动，被摄体像非常明亮时，有时会在成像元件上产生像素饱和现象。当产生像素饱和时，该饱和部分中图像波形轮廓被裁剪(clipping)等，因此所获得的原图像数据并不一定是如实接受透镜光学系统所具有的画质劣化特性的图像。
如此，成为复原处理对象的原图像数据不仅会受到由光学系统引起的劣化特性的影响，还会受到由成像元件和前段的非线性信号处理引起的非线性劣化特性的影响，尤其当被摄体像的对比度较大时，有时会产生未设想的画质劣化。
因此，即使充分分析光学系统的特性而设计能够抑制点扩散现象的影响的复原滤波器，根据被摄体像，有时“复原滤波器的特性”与“原图像数据的画质劣化”也可能不会适当地匹配。
若在“复原滤波器的特性”与“原图像数据的画质劣化”并未适当地匹配的条件下进行复原处理，则画质劣化不会被充分消除而无法获得优质的恢复图像，有时还导致助长画质劣化，导致振铃等在恢复图像中明显。
在恢复图像中产生的画质劣化(振铃等)的程度受到各种因素的影响。例如，由于在复原处理中使用的复原滤波器特性、复原处理所应用的原图像数据的数据特性、在复原处理前后进行的其他图像处理等影响，点像复原处理后的恢复图像的画质会发生变动。因此，为了更有效地防止或减少恢复图像中的画质劣化，期望综合考虑各种特性的复原处理方法。尤其，拍摄各种被摄体像时，复原处理对象的图像数据特性并不恒定，对比度在整体上或局部性地较大的图像、颜色偏置的图像、一部分像素值处于饱和状态的图像等具有各种特性的图像可能会成为复原处理对象。因此，切盼能够灵活地应对具有各种特性的处理对象图像的图像韧性优异的复原处理方法。
但是，通常，在MTF响应较低的频率区域中，若在一定程度上缓解急剧产生维纳(Wiener)恢复滤波器的频率衰减特性的现象，则能够通过抽头数比较小的滤波器实现频率校正。另一方面，为了精度良好地进行相位校正，需要一定程度的抽头数，因此存在需要计算成本的问题。
而且，相位恢复处理需要较多抽头数，因此滤波器系数在空间上大幅扩散。因此，例如在由于像素饱和而灵敏度特性变成非线性，且在饱和部分附近透镜模糊的频率特性变成不正确的情况下，存在导致强烈地产生伪影的问题。
而且，相位恢复处理为通过频率依赖移动非点对称图像的处理，因此即使恢复滤波器被设计成不改变直流(DC)成分即明度，也存在通过引发低频带的图像的移动，导致与频率复原处理相比使颜色层次更显著地变化的问题。
专利文献1～4中记载的发明未能解决上述问题，并且，专利文献1～4中，未提出与“在利用点扩散函数的复原处理中，不仅考虑复原处理本身，还综合考虑复原处理前后的处理中的各种主要因素，能够灵活地应对具有各种特性的原图像且图像韧性优异的图像处理方法”相关的内容等。
另一方面，若在“复原滤波器的特性”与“原图像数据的画质劣化”之间的匹配的偏离较大的状态下进行点像复原处理，则有可能产生过校正等画质降低。因此，虽然对已实施伽马校正等灰度校正的图像数据进行的点像复原处理的图像韧性优异，但有时也会导致由过校正等引起的画质劣化。
伽马校正等灰度校正为变更图像数据的特性的处理，因此“伽马校正之后的图像数据”与“用于摄影的光学系统的点扩散函数”之间的匹配的偏离会变得比较大。
本发明是鉴于上述情况而完成的，其目的在于提供一种在使由光学系统的点扩散函数引起的劣化图像恢复时，能够抑制伪影的产生和颜色层次的产生并且能够实现计算成本的降低的图像处理装置、摄影装置、图像处理方法及图像处理程序。
用于解决技术课题的手段
为了实现上述目的，本发明的一方式所涉及的图像处理装置具备：频率恢复处理部，对通过利用光学系统拍摄被摄体像而从成像元件获取的图像数据，使用基于光学系统的点扩散函数的频率恢复滤波器进行频率恢复处理；灰度校正处理部，对已进行频率恢复处理的图像数据进行非线性灰度校正；及相位恢复处理部，对已进行灰度校正的图像数据，使用基于光学系统的点扩散函数的相位恢复滤波器进行相位恢复处理。
根据本发明的一方式，对从成像元件获取的图像数据，分2次执行使用基于光学系统的点扩散函数的频率恢复滤波器的频率恢复处理与使用基于光学系统的点扩散函数的相位恢复滤波器的相位恢复处理这两种恢复处理，尤其在将图像数据灰度校正为非线性的灰度校正之前进行频率恢复处理，在频率恢复处理和灰度校正之后进行相位恢复处理。
理想情况下，优选频率恢复处理与相位恢复处理在非线性灰度校正之前进行。理由是因为，通过非线性灰度校正，图像的频率特性会变成非线性，因此理论上若不在灰度校正以前进行复原处理则无法执行准确的校正。
本发明中，频率恢复处理和相位恢复处理中，频率恢复处理在灰度校正之前进行，相位恢复处理在灰度校正之后进行。相位复原处理中，由于相位恢复滤波器在空间上大幅扩散，在饱和像素附近易产生引起伪影(振铃等)的现象，但通过在灰度校正之后进行相位恢复处理，能够防止上述伪影因灰度校正而被放大(强烈地产生伪影)。同样地，有时会产生由于相位恢复处理而颜色层次发生变化的现象，但能够缓解该现象。准确来讲，在灰度校正之后实施相位恢复处理时也会产生导致颜色层次发生变化的现象，但与在灰度校正之前实施相比，能够减少该现象。并且，灰度校正之后的图像数据中通常比特数与灰度校正之前相比减少，因此能够降低安装基于抽头数比较大的相位恢复滤波器的相位恢复处理时的计算成本。
本发明的另一方式所涉及的图像处理装置中，优选具备存储部，其存储频率恢复滤波器和相位恢复滤波器，频率恢复处理部从存储部读取频率恢复滤波器而用于频率恢复处理，相位恢复处理部从存储部读取相位恢复滤波器而用于相位恢复处理。通过将频率恢复滤波器和相位恢复滤波器存储于存储部，能够降低在恢复处理时生成频率恢复滤波器和相位恢复滤波器的计算成本。
本发明的又一方式所涉及的图像处理装置中，具备存储部，其存储光学系统的点扩散函数、对点扩散函数进行傅里叶变换的光学传递函数、或表示光学传递函数的振幅成分的调制传递函数及表示相位成分的相位传递函数，频率恢复处理部能够从存储部读取点扩散函数、光学传递函数或调制传递函数来生成频率恢复滤波器，将生成的频率恢复滤波器用于频率恢复处理，相位恢复处理部能够从存储部读取点扩散函数、光学传递函数或相位传递函数来生成相位恢复滤波器，并将生成的相位恢复滤波器用于相位恢复处理。
本发明的又一方式所涉及的图像处理装置中，优选频率恢复处理部对从成像元件获取的图像数据并且为每个颜色通道的图像数据分别使用频率恢复滤波器进行频率恢复处理，相位恢复处理部对已进行灰度校正的图像数据并且为每个颜色通道的图像数据分别使用相位恢复滤波器进行相位恢复处理。
根据本发明的又一方式，能够进行反映出每个颜色通道的调制传递函数(MTF)的频率恢复处理，并且还能够校正倍率色差、轴上色差等各种色差。
本发明的又一方式所涉及的图像处理装置中，优选频率恢复处理部对从成像元件获取的图像数据并且为每个颜色通道的图像数据分别使用频率恢复滤波器进行频率恢复处理，相位恢复处理部对通过灰度校正处理部进行灰度校正的图像数据并且为从每个颜色通道的图像数据生成的表示亮度成分的图像数据使用相位恢复滤波器进行相位恢复处理。
根据本发明的又一方式，能够进行反映出每个颜色通道的MTF的频率恢复处理，并且，通过对表示亮度成分的图像数据(1通道的图像数据)进行相位恢复处理，能够降低基于通道数的减少的计算成本(电路规模)。
本发明的又一方式所涉及的图像处理装置中，优选频率恢复处理部对从成像元件获取的图像数据并且为从每个颜色通道的图像数据生成的表示亮度成分的图像数据使用频率恢复滤波器进行频率恢复处理，相位恢复处理部对已进行灰度校正的图像数据并且为从每个颜色通道的图像数据生成的表示亮度成分的图像数据使用相位恢复滤波器进行相位恢复处理。对1通道的表示亮度成分的图像数据分别进行频率恢复处理和相位恢复处理，因此能够使计算成本(电路规模)最小。
本发明的又一方式所涉及的图像处理装置中，优选具备亮度数据生成部，根据从成像元件获取的每个颜色通道的图像数据生成表示亮度成分的亮度数据，频率恢复处理部对通过亮度数据生成部生成的亮度数据使用频率恢复滤波器进行频率恢复处理，灰度校正处理部对已进行频率恢复处理的亮度数据进行非线性灰度校正，相位恢复处理部对已进行灰度校正的亮度数据使用相位恢复滤波器进行相位恢复处理。
本发明的又一方式所涉及的图像处理装置中，灰度校正处理部为对图像数据进行基于对数化处理的灰度校正的伽马校正处理部。在此所说的“对数化处理”是将通过真数表达的数据转换为通过对数表达的数据的处理，而且，本申请中，还包含例如对图像数据进行的伽马校正处理。即，“对数化处理”还指转换为以对数表达的图像数据，并向该图像数据进行作为灰度处理之一的伽马校正处理。
本发明的又一方式所涉及的图像处理装置中，优选通过频率恢复处理部进行频率恢复处理的图像数据的位长大于通过相位恢复处理部进行相位恢复处理的图像数据的位长。图像数据的位长较大时能够进行更高精度的图像处理，尤其，若非线性灰度校正之前的图像数据的位长较大，则在灰度校正时能够进行更顺畅的灰度校正。并且，通过相位恢复处理部进行相位恢复处理的图像数据的位长变小，因此能够降低安装基于抽头数比较大的相位恢复滤波器的相位恢复处理时的计算成本。
本发明的又一方式所涉及的图像处理装置中，光学系统具有通过调制相位来扩大景深的透镜部。根据本方式，对于经由所谓的EDoF(Extended Depth of Field(Focus))光学系统获得的图像数据，也能够精度良好地进行基于点扩散函数的复原处理。另外，调制透镜部中的相位的方法(光学性相位调制机构)并无特别限定，可在透镜之间设置相位调制部或使透镜本身(例如，透镜的入射面和/或输出面)具有相位调制功能。
本发明的其他另一方式所涉及的摄影装置具备通过利用光学系统拍摄被摄体像来输出图像数据的成像元件；及上述图像处理装置。
本发明的又一方式所涉及的图像处理方法包含：对通过利用光学系统拍摄被摄体像而从成像元件获取的图像数据，使用基于光学系统的点扩散函数的频率恢复滤波器进行频率恢复处理的步骤；对已进行频率恢复处理的图像数据进行非线性灰度校正的步骤；及对已进行灰度校正的图像数据，使用基于光学系统的点扩散函数的相位恢复滤波器进行相位恢复处理的步骤。
本发明的又一方式所涉及的图像处理程序使计算机执行如下步骤：对通过利用光学系统拍摄被摄体像而从成像元件获取的图像数据，使用基于光学系统的点扩散函数的频率恢复滤波器进行频率恢复处理的步骤；对已进行频率恢复处理的图像数据进行非线性灰度校正的步骤；及对已进行灰度校正的图像数据，使用基于光学系统的点扩散函数的相位恢复滤波器进行相位恢复处理的步骤。
发明效果
根据本发明，对从成像元件获取的图像数据，分开执行使用基于光学系统的点扩散函数的频率恢复滤波器的频率恢复处理与使用基于光学系统的点扩散函数的相位恢复滤波器的相位恢复处理，尤其在将图像数据灰度校正为非线性的灰度校正之前进行频率恢复处理，在频率恢复处理和灰度校正之后进行相位恢复处理，因此能够抑制伪影的产生和颜色层次的产生并且降低计算成本。
附图说明
图1表示连接于计算机的数码相机的框图。
图2是表示相机主体控制器的功能结构例的框图。
图3是表示从图像摄影至点像复原处理为止的概要的图。
图4是表示被摄体像中的边缘部分(图像边界部分)的画质变化的一例的图，表示进行理想的点像复原处理(无像素值的饱和、无裁剪)的情况。
图5是表示“实际的图像劣化特性(图像模糊特性)”与“成为所使用的复原滤波器的基础的点扩散函数”并不完全匹配时的原图像数据、恢复图像数据和灰度校正处理之后的图像数据的一例的图。
图6是表示实际的点像复原处理(有像素值的饱和、有裁剪)中被摄体像中的边缘部分的对比度变化的一例的图，图6(a)表示被摄体像原本具有的对比度，图6(b)表示点像复原处理之前的原图像数据中的对比度，图6(c)表示点像复原处理之后的恢复图像数据中的对比度。
图7是表示作为本发明所涉及的图像处理装置的图像处理部的第1实施方式的框图。
图8是表示图像处理部中的频率恢复处理部的一实施方式的框图。
图9是表示图像处理部中通过灰度校正处理部进行灰度校正的输入输出特性(伽马特性)的一例的图表。
图10是表示图像处理部中的相位恢复处理部的一实施方式的框图。
图11是表示作为本发明所涉及的图像处理装置的图像处理部的第2实施方式的框图。
图12是表示图像处理部中的相位恢复处理部的另一实施方式的框图。
图13是表示作为本发明所涉及的图像处理装置的图像处理部的第3实施方式的框图。
图14是表示图像处理部中的频率恢复处理部的另一实施方式的框图。
图15是表示具备EDoF光学系统的摄像模块的一方式的框图。
图16是表示EDoF光学系统的一例的图。
图17是表示经由EDoF光学系统获取的图像的复原例的图。
图18表示作为本发明的摄影装置的一实施方式的智能手机的外观。
图19是表示图18所示的智能手机的结构的框图。
具体实施方式
参考附图对本发明的实施方式进行说明。以下的实施方式中，作为一例，对将本发明应用于能够连接于计算机(PC：个人计算机)的数码相机(摄影装置)的情况进行说明。
图1是表示连接于计算机的数码相机的框图。
数码相机10具备能够更换的透镜单元12及具备成像元件26的相机主体14，经由透镜单元12的透镜单元输入输出部22和相机主体14的相机主体输入输出部30，透镜单元12与相机主体14被电连接。
透镜单元12具备透镜16和光圈17等光学系统及控制该光学系统的光学系统操作部18。光学系统操作部18包含连接于透镜单元输入输出部22的透镜单元控制器20和操作光学系统的驱动器(省略图示)。透镜单元控制器20根据从相机主体14经由透镜单元输入输出部22发送而来的控制信号，经由驱动器控制光学系统，例如通过透镜的移动进行聚焦控制和变焦控制、光圈17的光圈量控制等。
相机主体14的成像元件26具有聚光用微透镜、R(红)G(绿)B(蓝)等的滤色器及图像传感器(光电二极管；CMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge-Coupled Device)等)。该成像元件26将经由透镜单元12的光学系统(透镜16、光圈17等)照射的被摄体像的光转换成电信号，将图像信号(原图像数据)发送至相机主体控制器28。
本例的成像元件26通过利用光学系统拍摄被摄体像来输出原图像数据，该原图像数据被发送至相机主体控制器28的图像处理部。
如图2所示，相机主体控制器28具有设备控制部34及图像处理部(图像处理装置)35，统一控制相机主体14。设备控制部34例如控制来自成像元件26的图像信号(图像数据)的输出，生成用于控制透镜单元12的控制信号并经由相机主体输入输出部30而发送至透镜单元12(透镜单元控制器20)，向经由输入输出接口32连接的外部设备类(计算机60等)发送图像处理前后的图像数据(RAW数据、JPEG数据等)。并且，设备控制部34适当控制数码相机10所具备的各种设备类，如未图示的显示部(EVF：Electronic View Finder、背面液晶显示部)等。
另一方面，图像处理部35可根据需要对来自成像元件26的图像信号进行任意的图像处理。例如，在图像处理部35中适当进行传感器校正处理、去马赛克(同步)处理、像素插值处理、颜色校正处理(偏移校正处理、白平衡处理、颜色矩阵处理、灰度校正处理(灰度校正处理部33)等)、RGB图像处理(锐度处理、色调校正处理、曝光校正处理、轮廓校正处理等)、RGB/YCrCb转换处理和图像压缩处理等各种图像处理。尤其，本例的图像处理部35包含点像复原控制处理部36，该点像复原控制处理部对图像信号(原图像数据)进行基于光学系统的点扩散函数的复原处理(点像复原处理)。点像复原处理的详细内容将进行后述。
另外，图1所示的数码相机10具备摄影等中需要的其他设备类(快门等)，用户能够经由设置于相机主体14的用户界面29适当确定和变更用于摄影等的各种设定(EV值(Exposure Value)等)。用户界面29连接于相机主体控制器28(设备控制部34和图像处理部35)，由用户确定和变更的各种设定被反映在相机主体控制器28中的各种处理中。
在相机主体控制器28中经图像处理的图像数据经由输入输出接口32被发送至计算机60等。从数码相机10(相机主体控制器28)发送至计算机60等的图像数据的格式并无特别限定，可设为RAW、JPEG、TIFF等任意格式。因此，相机主体控制器28可以如所谓的Exif(Exchangeable Image File Format)那样，将标题信息(摄影信息(摄影日期时间、机种、像素数、光圈值等)等)、主图像数据和缩略图图像数据等多个相关数据相互建立对应关联来构成1个图像文件，并将该图像文件发送至计算机60。
计算机60经由相机主体14的输入输出接口32、计算机输入输出部62与数码相机10连接，并接收从相机主体14发送而来的图像数据等数据类。计算机控制器64统一控制计算机60，对来自数码相机10的图像数据进行图像处理，并对与经由互联网70等网络线路与计算机输入输出部62连接的服务器80等的通信进行控制。计算机60具有显示器66，计算机控制器64中的处理内容等根据需要被显示于显示器66。用户一边确认显示器66的显示一边操作键盘等输入机构(省略图示)，从而能够向计算机控制器64输入数据和指令。由此，用户能够控制计算机60或与计算机60连接的设备类(数码相机10及服务器80等)。
服务器80具有服务器输入输出部82及服务器控制器84。服务器输入输出部82构成与计算机60等外部设备类的收发连接部，经由互联网70等网络线路与计算机60的计算机输入输出部62连接。服务器控制器84根据来自计算机60的控制命令信号，与计算机控制器64协同动作，根据需要在与计算机控制器64之间进行数据类的收发，将数据类下载到计算机60，进行运算处理并将其运算结果发送至计算机60。
各控制器(透镜单元控制器20、相机主体控制器28、计算机控制器64、服务器控制器84)具有控制处理所需的电路类，例如具备运算处理电路(CPU等)或存储器等。并且，数码相机10、计算机60和服务器80之间的通信可以是有线的也可以是无线的。并且，可一体构成计算机60和服务器80，并且也可省略计算机60和/或服务器80。并且，也可以使数码相机10具有与服务器80进行通信的功能，从而在数码相机10与服务器80之间直接进行数据类的收发。
＜点像复原处理＞
接着，对经由成像元件26获得的被摄体像的摄影数据(图像数据)图像数据)的点像复原处理进行说明。
以下例子中，对在相机主体14(相机主体控制器28)中实施点像复原处理的例子进行说明，但也能够在其他控制器(透镜单元控制器20、计算机控制器64、服务器控制器84等)中实施点像复原处理的全部或一部分。
本例的点像复原处理包含：对通过利用光学系统(透镜16、光圈17等)的摄影而从成像元件26获取的原图像数据，使用基于光学系统的点扩散函数的频率恢复滤波器进行频率(振幅)恢复处理来获取恢复图像数据的处理；及使用基于光学系统的点扩散函数进行相位恢复滤波器的相位恢复处理来获取恢复图像数据的处理。
图3是表示从图像摄影至点像复原处理为止的概要的图。
如图3所示，将点像作为被摄体来进行拍摄时，被摄体像经由光学系统(透镜16、光圈17等)被成像元件26(图像传感器)受光，并从成像元件26输出原图像数据Do。该原图像数据Do中，由于光学系统的特性导致的点扩散现象，振幅成分和相位成分劣化，原来的被摄体像(点像)成为非点对称的模糊图像。
该模糊图像的点像复原处理为如下处理，即，预先求出由光学系统的像差等引起的劣化(点扩散函数(PSF)/光学传递函数(OTF：Optical Transfer Function))的特性，对所拍摄的图像(已劣化的图像)使用根据PSF/OTF生成的复原(恢复)滤波器来进行复原处理，由此复原成高分辨率的图像。
PSF与OTF具有傅里叶变换的关系，PSF为实函数，OTF为复变函数。作为具有与这些等价的信息的函数，有调制传递函数或振幅传递函数(MTF)与相位传递函数(PTF)，分别表示OTF的振幅成分与相位成分。结合MTF与PTF而具有与OTF或PSF等价的信息量。
通常，基于PSF的模糊图像的复原中能够利用卷积型的维纳(Wiener)滤波器。能够参考对PSF(x,y)进行傅里叶变换的OTF与信号对杂音比(SNR)的信息，根据以下式计算复原滤波器的频率特性d(ωx,ωy)。
[数式1]
d ( ω x , ω y ) = H * ( ω x , ω y ) | | H ( ω x , ω y ) | | 2 + 1 / S N R ( ω x , ω y )
其中，H(ωx,ωy)表示OTF，H*(ωx,ωy)表示其复共轭。并且，SNR(ωx,ωy)表示SN比。
复原滤波器的滤波器系数的设计为以使滤波器的频率特性最接近所希望的Wiener频率特性的方式选择系数值的最优化问题，通过任意公知的方法适当计算滤波器系数。
本例中，代替上述式[数式1]的OTF，使用表示OTF的振幅成分的MTF，计算滤波器的频率特性，并以使计算出的滤波器的频率特性最接近所希望的Wiener频率特性的方式选择系数值，由此计算使频率特性的劣化恢复的频率恢复滤波器F1。同样地，代替上述式[数式1]的OTF，使用表示OTF的相位成分的PTF，计算滤波器的频率特性，并以使计算出的滤波器的频率特性最接近所希望的Wiener频率特性的方式选择系数值，由此计算使相位特性的劣化恢复的相位恢复滤波器F2。
如图3所示，从模糊图像的原图像数据Do复原原来的被摄体像(点像)，因此通过对原图像数据Do使用频率恢复滤波器F1进行频率恢复处理P10，非点对称的模糊图像被频率恢复，模糊图像变小。
接着，对频率恢复处理之后的图像数据进行非线性灰度校正处理P12(基于对数化处理的伽马校正处理)。灰度(伽马)校正处理为以通过显示器装置自然地重现图像的方式将图像数据校正为非线性的处理。
接着，对灰度校正处理之后的图像数据使用相位恢复滤波器F2进行相位恢复处理P14。通过该相位恢复处理P14，非点对称图像通过频率依赖而移动，恢复成点对称图像。由此，可获得表示更接近原来的被摄体像(点像)的图像(恢复图像)的恢复图像数据Dr。
频率恢复处理P10中使用的频率恢复滤波器F1根据与获取原图像数据Do时的摄影条件相应的光学系统的点像信息(PSF、OTF或MTF)，通过规定的频率恢复滤波器计算算法P20获得，相位恢复处理P14中使用的相位恢复滤波器F2从根据与获取原图像数据Do时的摄影条件相应的光学系统的点像信息(PSF、OTF或PTF)，通过规定的相位恢复滤波器计算算法P22获得。
光学系统的点像信息不仅根据透镜16的种类发生变动，还会根据光圈量、焦距、变焦量、像高、记录像素数、像素间距等各种摄影条件而发生变动，因此计算频率恢复滤波器F1、相位恢复滤波器F2时，可获取这些摄影条件。符号α表示与摄影条件相应的点像信息(点扩散函数)(按光圈、焦距、像高)。
频率恢复滤波器F1和相位恢复滤波器F2分别为例如由N×M(N及M为2以上的整数)的抽头构成的实际空间上的滤波器，应用于处理对象的图像数据。由此，通过对分配于各抽头的滤波器系数与对应的像素数据(图像数据的处理对象像素数据和相邻像素数据)进行权重平均运算(反卷积运算)，能够计算出恢复处理之后的像素数据。通过依次替换对象像素的同时将使用频率恢复滤波器F1和相位恢复滤波器F2进行的加权平均处理应用于构成图像数据的所有像素数据，从而能够进行点像复原处理。
由N×M的抽头构成的实际空间上的频率恢复滤波器F1或相位恢复滤波器F2能够通过对频率空间上的恢复滤波器的频率振幅特性或恢复滤波器的相位特性进行逆傅里叶变换来导出。因此，实际空间上的频率恢复滤波器F1或相位恢复滤波器F2能够通过确定成为基础的频率空间上的频率恢复滤波器或相位恢复滤波器，并指定实际空间上的频率恢复滤波器F1或相位恢复滤波器F2的构成抽头数来适当计算。另外，关于相位恢复滤波器F2的N×M的抽头数，为了精度良好地进行相位校正，优选设为大于频率恢复滤波器F1的抽头数。
并且，对基于对数化处理(伽马校正处理)的灰度校正处理之后的图像数据使用相位恢复滤波器F2进行相位恢复处理P14时，相位恢复滤波器本身可由与对数化处理之前的图像数据对应的滤波器系数构成，也可由与对数化处理之后的图像数据对应的滤波器系数构成。
对“灰度校正之后(对数化处理之后)的图像数据的像素值(对数的像素数据)”，刻意应用“由与灰度校正之前(对数化处理之前)的像素值(真数的像素数据)对应的滤波器系数构成的相位恢复滤波器”进行恢复处理(相位恢复处理)时，能够更减少颜色层次的变化，因此优选。
接着，对有可能通过点像复原处理产生的画质上的弊端进行说明。
图4是表示被摄体像中的边缘部分(图像边界部分)的画质变化的一例的图，表示对非线性灰度校正之前的原图像数据Do进行使其频率恢复和相位恢复的理想的点像复原处理(无像素值的饱和、无裁剪)的情况。图4的符号1051表示被摄体像原本具有的对比度，符号1052表示点像复原处理之前的原图像数据Do中的对比度，符号1053表示理想的点像复原处理之后的恢复图像数据Dr中的对比度。另外，图4的横方向(X方向)表示被摄体像中的位置(一维位置)，纵方向(Y方向)表示对比度的强弱。
被摄体像中的“具有对比度的高低差的边缘部分”(参考图4的符号1051)中，如上述那样由于摄影时的光学系统的点扩散现象而在摄影图像(原图像数据Do)中产生图像模糊(参考图4的符号1052)，通过点像复原处理可获得恢复图像数据Dr(参考图4的符号1053)。
点像复原处理中，“实际的图像劣化特性(图像模糊特性)”与“成为所使用的恢复滤波器的基础的点扩散函数(PSF等)”匹配时，图像被适当复原，能够获得边缘部分等被适当复原的恢复图像数据Dr(参考图4)。
然而，实际的点像复原处理中，有时“实际的图像劣化特性(图像模糊特性)”与“所使用的恢复滤波器所设想的点扩散函数”并不完全匹配。
图5是表示“实际的图像劣化特性(图像模糊特性)”与“所使用的恢复滤波器所设想的点扩散函数”并不完全匹配时的原图像数据、使用复原滤波器进行点像复原处理的恢复图像数据和灰度校正处理之后的图像数据的一例的图。
图5中，横方向(X方向)表示图像中的位置(一维位置)，纵方向(Y方向)表示像素值。“实际的图像劣化特性(图像模糊特性)”与“所使用的恢复滤波器所设想的点扩散函数”并不完全匹配时，有时会在对比度差比较大的边缘部分产生过冲(overshoot)或下冲(undershoot)(参考图5的符号1061和符号1062)。即使在产生该过冲或下冲等画质劣化的情况下，只要是图像重现性和图像韧性(图像非破裂性)优异的点像复原处理，则能够获取画质恢复成观察不到(不显眼)这种画质劣化的程度的恢复图像数据Dr。
然而，有时即使通过点像复原处理获得了恢复到画质劣化不显眼的程度的恢复图像数据，但由于在点像复原处理之后进行的其他处理(灰度校正处理(伽马校正处理等))强调恢复图像数据中的画质劣化而导致显眼。
例如如图5所示，有时即使是由于点像复原处理而产生的过冲或下冲本身较小，其影响在视觉上并不特别显眼时，若在之后进行灰度校正处理(伽马校正处理)，则过冲或下冲会被过于强调(参考图5的符号1063的“E1”和“E2”)。尤其阴影侧过冲或下冲部分通过之后的伽马校正处理而应用较大的增益(放大率)，从而会在图像边缘部构成大幅偏向黑侧的部分(参考图5的符号1063的“E2”)。该现象不限于点像复原处理，对线性真数空间的图像数据进行轮廓校正处理的结果在边缘部分产生过冲时也常见上述现象。
并且，图6表示实际的点像复原处理(有像素值的饱和、有裁剪)的一例。
如上述，被摄体像中的“具有对比度的高低差的边缘部分”(参考图6(a))由于摄影时的光学系统的点扩散现象，在摄影图像(原图像数据Do)中产生图像模糊(参考图6(b))，通过点像复原处理可获得恢复图像数据Dr(参考图6(c))。
该点像复原处理中，“实际的图像劣化特性(图像模糊特性)”与“所使用的复原滤波器所设想的点扩散函数(PSF等)”匹配时，图像被适当地复原，能够获得边缘部分等被适当复原的恢复图像数据Dr(参考图4)。
然而，在包含像素值饱和的像素(饱和像素)的原图像数据中，饱和像素部分中图像波形成为如被裁剪的状态(参考图6)。尤其，包含饱和像素的边缘部分的原图像数据具有接近梯级信号的波形(参考图6(b))，因此对比度变化在所设想的点扩散函数中变大到不可思议的程度，其结果成为劣化(图像模糊)过小的数据。如此，包含饱和像素的原图像数据中，由于像素数据的裁剪，导致产生从原来的图像数据(被摄体像)的偏离。若对产生有这种数据偏离的原图像数据使用复原滤波器进行复原处理，则易产生过度强调引起的振铃，而且所产生的振铃也易复杂化(参考图6(c))。并且，高频成分增加，混叠噪声易被强调。
因此，实际上将点像复原处理作为图像处理流程的一部分来设计时，优选进行不仅考虑点像复原处理本身，还考虑与点像复原处理前后的处理的关联的综合性图像处理流程的设计。
＜第1实施方式＞
图7是表示作为本发明所涉及的图像处理装置的图像处理部35(相机主体控制器28)的第1实施方式的框图。
第1实施方式的图像处理部35具备偏移校正处理部41、调整白平衡(WB)的WB校正处理部42、去马赛克处理部43、频率恢复处理部44、包含伽马校正处理部的灰度校正处理部45、相位恢复处理部46及相当于亮度数据生成部的一方式的亮度/色差转换处理部47。另外，频率恢复处理部44和相位恢复处理部46与图2所示的图像处理部35内的点像复原控制处理部36对应。
图7中，偏移校正处理部41按点顺序输入从成像元件26获取的图像处理之前的马赛克数据(RAW数据；红(R)、绿(G)、蓝(B)的马赛克状的颜色数据(RGB数据))。另外，马赛克数据为例如按每个RGB具有12比特(0～4095)的位长的数据(每1像素2字节的数据)。
偏移校正处理部41为校正所输入的马赛克数据中包含的暗电流成分的处理部，通过从马赛克数据减去从成像元件26上的遮光像素获得的光学黑体(OB)的信号值来进行马赛克数据的偏移校正。
被偏移校正的马赛克数据(RGB数据)发送至WB校正处理部42。WB校正处理部42将按RGB的每个颜色设定的WB增益分别乘以RGB数据，进行RGB数据的白平衡校正。关于WB增益，例如设为根据RGB数据自动判定光源种类或者通过手动选择光源种类，设定适于判定或选择的光源种类的WB增益，但WB增益的设定方法并不限于此，能够通过其他公知方法设定。
去马赛克处理部43为进行从与单板式的成像元件26的滤色器排列对应的马赛克图像按每个像素计算所有颜色信息的去马赛克处理(还称为“同步化处理”)的部分，例如，当为由RGB三颜色的滤色器构成的成像元件时，从由RGB构成的马赛克图像按每个像素计算RGB的所有颜色信息。即，去马赛克处理部43从马赛克数据(点顺序的RGB数据)生成同步化的RGB三面的图像数据。
已进行去马赛克处理的RGB数据发送至频率恢复处理部44，在此进行RGB数据的频率恢复处理。
图8是表示频率恢复处理部44的一实施方式的框图。
频率恢复处理部44由频率恢复运算处理部44a、滤波器选择部44b、光学系统数据获取部44c及存储部44d构成。
光学系统数据获取部44c获取表示光学系统(透镜16、光圈17等)的点扩散函数的光学系统数据。该光学系统数据为成为滤波器选择部44b中的频率恢复滤波器的选择基准的数据，只要是直接或间接地表示拍摄获取处理对象的原图像数据时使用的光学系统的点扩散函数的信息即可。因此，例如可将与光学系统的点扩散函数相关的传递函数(PSF、OTF(MTF、PTF))本身作为光学系统数据，也可将间接地表示与光学系统的点扩散函数相关的传递函数的光学系统的种类(例如，拍摄时使用的透镜单元12(透镜16)的型号等)等作为光学系统数据。
存储部44d中存储有根据与多种光学系统的光点扩散函数相关的传递函数(PSF、OTF或MTF)生成的每个RGB的频率恢复滤波器(FR1、FG1、FB1)。之所以按每个RGB存储有频率恢复滤波器(FR1、FG1、FB1)，是因为光学系统的像差根据RGB的各颜色的波长而不同(因为PSF形状不同)。并且，存储部44d优选存储与光圈值(F值)、焦距、像高等对应的频率恢复滤波器(FR1、FG1、FB1)。这是因为PSF形状根据这些条件而不同。
滤波器选择部44b根据由光学系统数据获取部44c获取的光学系统数据，选择存储于存储部44d的频率恢复滤波器中与原图像数据的拍摄获取中使用的光学系统的光学系统数据对应的频率恢复滤波器。通过滤波器选择部44b选择的每个RGB的频率恢复滤波器(FR1、FG1、FB1)发送至频率恢复运算处理部44a。
另外，滤波器选择部44b掌握存储部44d所存储的频率恢复滤波器的种类信息(频率恢复滤波器存储信息)，但基于滤波器选择部44b的频率恢复滤波器存储信息的掌握方法并无特别限定。例如，滤波器选择部44b可具有存储频率恢复滤波器存储信息的存储部(省略图示)，可在存储于存储部44d的频率恢复滤波器的种类信息发生变更时，也变更存储于滤波器选择部44b的存储部的频率恢复滤波器存储信息。并且，滤波器选择部44b可与存储部44d连接而直接掌握“存储部44d所存储的频率恢复滤波器的信息”，也可从掌握频率恢复滤波器存储信息的其他处理部(存储器等)掌握频率恢复滤波器存储信息。
并且，滤波器选择部44b选择与原图像数据的拍摄获取中使用的光学系统的PSF对应的频率恢复滤波器即可，其选择方法并无特别限定。例如，来自光学系统数据获取部44c的光学系统数据直接表示PSF时，滤波器选择部44b选择与该光学系统数据所示的PSF对应的频率恢复滤波器。并且，来自光学系统数据获取部44c的光学系统数据间接地表示PSF时，滤波器选择部44b从“间接地表示PSF的光学系统数据”选择与处理对象的原图像数据的拍摄获取中使用的光学系统的PSF对应的频率恢复滤波器。
频率恢复运算处理部44a中输入有已进行去马赛克处理的原图像数据(RGB数据)，频率恢复运算处理部44a对RGB数据使用通过滤波器选择部44b选择的频率恢复滤波器(FR1、FG1、FB1)进行频率恢复处理，并计算频率恢复图像数据。即，频率恢复运算处理部44a进行频率恢复滤波器(FR1、FG1、FB1)和与此对应的每个RGB的像素数据(处理对象像素数据和相邻像素数据)的反卷积运算，计算出已进行频率恢复处理的RGB数据。
上述结构的频率恢复处理部44能够进行反映出RGB的每个颜色通道的调制传递函数(MTF)的频率恢复处理。并且，频率恢复处理部44对非线性灰度校正之前的RGB数据(即，与向成像元件26的入射光的照度相应的线性RGB数据)使用与线性数据对应的频率恢复滤波器进行频率恢复处理，因此能够进行准确的频率恢复。
回到图7，通过频率恢复处理部44进行频率恢复处理的RGB数据发送至灰度校正处理部45。
灰度校正处理部45为对已进行频率恢复处理的RGB数据进行非线性灰度校正的部分，例如，对所输入的RGB数据进行基于对数化处理的伽马校正处理，并以通过显示器装置自然地重现图像的方式对RGB数据进行非线性处理。
图9是表示通过灰度校正处理部45进行灰度校正的输入输出特性(伽马特性)的一例的曲线图。本例中，灰度校正处理部45对12比特(0～4095)的RGB数据进行与伽马特性对应的伽马校正，生成8比特(0～255)的RGB的颜色数据(1字节的数据)。灰度校正处理部45例如能够由每个RGB的查表(LUT)构成，优选能够进行分别与RGB数据的每个颜色对应的伽马校正。另外，灰度校正处理部45包含对输入数据进行沿色调曲线的非线性灰度校正的部分。
通过灰度校正处理部45进行灰度校正的R’G’B’数据发送至相位恢复处理部46，在此进行R’G’B’数据的相位恢复处理。
图10是表示相位恢复处理部46的一实施方式的框图。
相位恢复处理部46由相位恢复运算处理部46a、滤波器选择部46b、光学系统数据获取部46c及存储部46d构成。
滤波器选择部46b和光学系统数据获取部46c分别与图8所示的滤波器选择部44b和光学系统数据获取部44c对应，因此省略其详细说明。
存储部46d存储有根据多种光学系统的PSF、OTF或PTF生成的每个RGB的相位恢复滤波器(FR2、FG2、FB2)。之所以存储有每个RGB的相位恢复滤波器(FR2、FG2、FB2)，是因为光学系统的像差根据RGB的各颜色的波长而不同(因为PSF形状不同)。并且，优选存储部46d存储与光圈值(F值)、焦距、像高等对应的相位恢复滤波器(FR2、FG2、FB2)。这是因为PSF形状根据这些条件而不同。
滤波器选择部46b根据由光学系统数据获取部46c获取的光学系统数据，选择存储于存储部46d的相位恢复滤波器中与原图像数据的拍摄获取中使用的光学系统的光学系统数据对应的相位恢复滤波器。通过滤波器选择部46b选择的每个RGB的相位恢复滤波器(FR2、FG2、FB2)发送至相位恢复运算处理部46a。
相位恢复运算处理部46a中输入有已进行灰度校正(伽马校正)的R’G’B’数据，相位恢复运算处理部46a对R’G’B’数据使用通过滤波器选择部46b选择的相位恢复滤波器(FR2、FG2、FB2)进行相位恢复处理，计算相位恢复图像数据。即，相位恢复运算处理部46a进行相位恢复滤波器(FR2、FG2、FB2)和与此对应的每个RGB的像素数据(处理对象像素数据和相邻像素数据)的反卷积运算，计算已进行相位恢复处理的R’G’B’数据。
上述结构的相位恢复处理部46能够进行反映出RGB的每个颜色通道的相位传递函数(PTF)的相位恢复处理，并能够校正倍率色差、轴上色差等各种色差。
并且，相位恢复处理为通过频率依赖移动非点对称的图像的处理，因此相位恢复滤波器的抽头数变得大于频率恢复滤波器的抽头数，但伽马校正之后的R’G’B’数据与伽马校正之前相比，比特深度较小(本例中，从12比特转换为8比特)，因此即使是基于抽头数较大的相位恢复滤波器的相位恢复处理，也能够降低电路规模、计算成本。
而且，相位恢复处理中，由于相位恢复滤波器在空间上大幅扩散(抽头数变大)而产生导致在饱和像素附近产生伪影的现象，基于相位恢复处理部46的相位复原处理对灰度校正(伽马校正)之后的数据进行，因此能够防止通过灰度校正更强调所产生的伪影的现象。
而且，还能够缓解由于相位复原处理导致颜色层次变化的现象。准确来讲，即使在灰度校正之后实施相位复原处理，也会产生导致颜色层次发生变化的现象，但与在灰度校正之前实施相位复原处理时相比，能够降低变化程度。
已通过相位恢复处理部46进行相位恢复处理的R’G’B’数据发送至亮度/色差转换处理部47。亮度/色差转换处理部47为将R’G’B’数据转换为表示亮度成分的亮度数据Y’、色差数据Cr’、Cb’的处理部，能够根据下式计算。
[数式2]
Y’＝0.299R’+0.587G’+0.114B’
Cb’＝-0.168736R’-0.331264G’+0.5B’
Cr’＝-0.5R’-0.418688G’-0.081312B’
另外，R’G’B’数据为灰度校正和相位恢复处理之后的8比特的数据，从这些R’G’B’数据转换的亮度数据Y’、色差数据Cr’、Cb’也是8比特的数据。并且，从R’G’B’数据向亮度数据Y’、色差数据Cr’、Cb’的转换式并不限定于上述式[数式2]。
如此转换的8比特的亮度数据Y’、色差数据Cr’、Cb’例如在执行JPEG(JointPhotographic coding Experts Group)等压缩处理之后，将标题信息、被压缩的主图像数据和缩略图图像数据等多个关联数据相互建立对应关联来构成为1个图像文件。
另外，存储频率恢复滤波器的存储部44d(图7)与存储相位恢复滤波器的存储部46d(图10)可分开设置，也可以是物理上相同而只有存储区域不同的存储部。
并且，本例中，存储部44d、46d中分别预先存储频率恢复滤波器、相位恢复滤波器，并适当读取用于恢复处理的频率恢复滤波器、相位恢复滤波器，但并不限于此，可将光学系统的传递函数(PSF、OTF、PTF、MTF)存储于存储部，恢复处理时从存储部读取用于恢复处理的传递函数，并依次计算频率恢复滤波器、相位恢复滤波器。
＜第2实施方式＞
图11是表示作为本发明所涉及的图像处理装置的图像处理部35(相机主体控制器28)的第2实施方式的框图。另外，图11中，对与图7所示的图像处理部35的第1实施方式共同的部分标注相同符号，并省略其详细说明。
第2实施方式主要在频率恢复处理部46-2上与第1实施方式的频率恢复处理部46不同。
即，不同点在于，第1实施方式的相位恢复处理部46设置于灰度校正处理部45的后段，对灰度校正之后的R’G’B’数据进行相位恢复处理，而第2实施方式的相位恢复处理部46-2设置于亮度/色差转换处理部47的后段，对通过亮度/色差转换处理部47进行转换的亮度数据Y’(灰度校正之后)进行相位恢复处理。
图12是表示相位恢复处理部的其他实施方式的框图。
图12所示的相位恢复处理部46-2由相位恢复运算处理部46-2a、滤波器选择部46-2b、光学系统数据获取部46-2c及存储部46-2d构成。
滤波器选择部46-2b和光学系统数据获取部46-2c分别与图8所示的滤波器选择部44b和光学系统数据获取部44c对应，因此省略其详细说明。
存储部46-2d中存储有根据多种光学系统的PSF、OTF或PTF生成的与亮度数据对应的相位恢复滤波器FY2。
在此，与亮度数据对应的相位恢复滤波器FY2例如能够混合RGB的每个颜色通道的相位传递函数(PTFR、PTFG、PTFB)，计算与亮度数据对应的相位传递函数(PTFY)，并根据计算出的PTFY而生成。另外，计算PTFY时，优选将PTFR、PTFG、PTFB作为加权线性和来计算。并且，作为加权系数，能够使用与式[数式2]所示的从R’G’B’数据生成亮度数据Y’时的系数相同的系数，但并不限定于此。
并且，作为与亮度数据对应的相位恢复滤波器FY2的其他例子，可将如式[数式2]所示那样最有助生成于亮度数据Y’且与G’数据对应的相位恢复滤波器FG2直接用作相位恢复滤波器FY2。另外，存储部46-2d优选分别存储与光圈值(F值)、焦距、像高等对应的相位恢复滤波器FY2。
滤波器选择部46-2b根据由光学系统数据获取部46-2c获取的光学系统数据，选择存储于存储部46-2d中的相位恢复滤波器中与拍摄获取原图像数据中使用的光学系统的光学系统数据对应的相位恢复滤波器。通过滤波器选择部46-2b选择的与亮度数据对应的相位恢复滤波器FY2发送至相位恢复运算处理部46-2a。
相位恢复运算处理部46-2a中输入有灰度校正(伽马校正)之后的亮度数据Y’，相位恢复运算处理部46-2a对亮度数据Y’使用通过滤波器选择部46-2b选择的相位恢复滤波器FY2进行相位恢复处理。即，相位恢复运算处理部46-2a进行相位恢复滤波器FY2和与其此对应的亮度数据Y’(处理对象像素和相邻像素的亮度数据Y’)的反卷积运算，计算出相位恢复处理之后的亮度数据Y’。
上述结构的相位恢复处理部46-2能够对亮度数据Y’进行反映出亮度数据Y’的相位传递函数(PTF)的相位恢复处理。
并且，基于第1实施方式的相位恢复处理部46的对RGB数据进行的相位恢复处理中，需要3通道(3ch)量的处理系统，但对亮度数据Y’进行的相位恢复处理中只需要1通道(1ch)量的处理系统即可，因此对亮度数据进行的相位恢复处理的方式能够降低电路规模、计算成本，并且能够减少存储于存储部46-2d的相位恢复滤波器的数量。
而且，关于对RGB数据进行的相位恢复处理，若如设想(如光学系统的点扩散函数信息)那样获取到RGB数据，则能够进行有效的RGB数据的相位恢复处理，与对亮度数据进行的相位恢复处理相比，能够有效地减少色差等，实际的输入信号的举动与设想不符时，对RGB数据进行的相位恢复处理中，有时会引起产生不必要的着色的部位增加而使不自然的色调显眼等副作用。
相对于此，第2实施方式的相位恢复处理部46-2仅对亮度数据进行相位恢复处理，因此具有不易引起如上述的副作用的效果(着色程度、渗透程度等中的颜色系统韧性)。
另外，基于相位恢复处理部46-2的相位复原处理对灰度校正(伽马校正)之后的亮度数据Y’进行，因此在能够防止通过灰度校正更强调所产生的伪影方面和还能够缓解由于相位复原处理导致颜色层次发生变化的现象的方面，与第1实施方式的相位恢复处理部46相同。
＜第3实施方式＞
图13是表示作为本发明所涉及的图像处理装置的图像处理部35(相机主体控制器28)的第3实施方式的框图。另外，图13中，对与图7及图11所示的图像处理部35的第1、第2实施方式共同的部分标注相同符号，并省略其详细说明。
第3实施方式主要在频率恢复处理部44-2上与第1、2实施方式的频率恢复处理部44不同。
即，不同点在于，第1、2实施方式的频率恢复处理部44设置于去马赛克处理部43的后段，对R、G、B的去马赛克数据进行频率恢复处理，而第3实施方式的频率恢复处理部44-2设置于亮度/色差转换处理部47的后段，对通过亮度/色差转换处理部47进行转换的亮度数据Y(灰度校正之前)进行频率恢复处理。
图14是表示频率恢复处理部的另一实施方式的框图。
图14所示的频率恢复处理部44-2由频率恢复运算处理部44-2a、滤波器选择部44-2b、光学系统数据获取部44-2c及存储部44-2d构成。
滤波器选择部44-2b和光学系统数据获取部44-2c分别与图8所示的滤波器选择部44b和光学系统数据获取部44c对应，因此省略其详细说明。
存储部44-2d存储有根据多种光学系统的PSF、OTF或MTF生成的与表示亮度成分的图像数据(以下，称为“亮度数据Y”)对应的频率恢复滤波器FY1。
在此，与亮度数据Y对应的频率恢复滤波器FY1例如能够混合RGB的每个颜色通道的调制传递函数(MTFR、MTFG、MTFB)，计算与亮度数据Y对应的调制传递函数(MTFY)，并根据计算出的MTFY而生成。另外，计算MTFY时，优选将MTFR、MTFG、MTFB作为加权线性和来计算。并且，作为加权系数，能够使用与式[数式2]所示的从R’G’B’数据生成亮度数据Y’时的系数相同的系数，但并不限定于此。
并且，作为与亮度数据Y对应的频率恢复滤波器FY1的其他例子，可将如式[数式2]所示那样最有助于生成亮度数据且与G的颜色数据对应的频率恢复滤波器FG1直接用作相位恢复滤波器FY1。另外，存储部44-2d优选分别存储与光圈值(F值)、焦距、像高等对应的频率恢复滤波器FY1。
滤波器选择部44-2b根据由光学系统数据获取部44-2c获取的光学系统数据，选择存储于存储部44-2d中的相位恢复滤波器中与拍摄获取原图像数据中使用的光学系统的光学系统数据对应的频率恢复滤波器。通过滤波器选择部44-2b选择的与亮度数据Y对应的频率恢复滤波器FY1发送至频率恢复运算处理部44-2a。
频率恢复运算处理部44-2a中从亮度/色差转换处理部47输入有灰度校正(伽马校正)之前的亮度数据Y，频率恢复运算处理部44-2a对亮度数据Y使用通过滤波器选择部44-2b选择的频率恢复滤波器FY1进行频率恢复处理。即，频率恢复运算处理部44-2a进行频率恢复滤波器FY1和与此对应的亮度数据Y(处理对象像素和相邻像素的亮度数据Y)的反卷积运算，计算出已进行频率恢复处理的亮度数据Y。
上述结构的频率恢复处理部44-2能够对亮度数据Y进行反映出亮度数据Y的调制传递函数(MTF)的频率恢复处理。
并且，基于第1、第2实施方式的频率恢复处理部44的对RGB数据进行的频率恢复处理中需要3通道(3ch)量的处理系统，但对亮度数据Y进行的频率恢复处理中只需要1通道(1ch)量的处理系统即可，因此对亮度数据进行的频率恢复处理能够降低电路规模、计算成本，并且能够减少存储于存储部44-2d的频率恢复滤波器的数量。
而且，关于对RGB数据进行的频率恢复处理，若如设想(如光学系统的点扩散函数信息)那样获取到RGB数据，则能够进行有效的RGB数据的恢复处理，与对亮度数据进行的频率恢复处理相比，能够有效地减少色差等，实际的输入信号的举动与设想不符时，对RGB数据进行的频率恢复处理中，有时会引起产生不必要的着色的部位增加而使不自然的色调显眼等副作用。
相对于此，第3实施方式的频率恢复处理部44-2仅对亮度数据进行频率恢复处理，因此具有不易引起如上述的副作用的效果(着色程度、渗透程度等中的颜色系统韧性)。
另一方面，基于相位恢复处理部46-2的相位恢复处理与第2实施方式同样地对灰度校正(伽马校正)之后的亮度数据Y’进行，因此具有与第2实施方式相同的效果。
并且，第3实施方式的图像处理部35(点像复原控制处理部36)对灰度校正之前的亮度数据Y进行频率恢复处理，对灰度校正之后的亮度数据Y’进行相位恢复处理，因此在第1至第3实施方式中能够最降低电路规模、计算成本。
另外，图13所示的第3实施方式中，亮度/色差转换处理部47将灰度校正之前的各颜色数据(RGB)转换为亮度数据Y、色差数据Cr、Cb，与将灰度校正之后的R’G’B’数据转换为亮度数据Y’、色差数据Cr’、Cb’的第1、第2实施方式不同，但处理内容相同。
并且，第1、第2实施方式的灰度校正处理部45分别对RGB数据进行灰度校正(伽马校正)，而第3实施方式的灰度校正处理部45-2对通过频率恢复处理部44-2进行频率恢复处理的亮度数据Y和通过亮度/色差转换处理部47转换的色差数据Cr、Cb进行非线性灰度校正(伽马校正)，这一点与第1、第2实施方式的灰度校正处理部45不同。另外，输入至灰度校正处理部45-2的亮度数据Y、色差数据Cr、Cb分别是12比特的数据(2字节量的数据)，灰度校正之后的亮度数据Y’、色差数据Cr’、Cb’分别转换为8比特的数据(1字节的数据)。
＜变形例＞
上述的数码相机10仅为例示，还能够对其他结构应用本发明。各功能结构能够通过任意硬件、软件或两者的组合来适当实现。例如，对使计算机执行上述各装置和处理部(相机主体控制器28、图像处理部35、灰度校正处理部33、点像复原控制处理部36等)中的图像处理方法(步骤、处理步骤)的图像处理程序、记录有这种图像处理程序的计算机可读取记录介质(非临时记录介质)、或能够安装这种图像处理程序的各种计算机，也能够应用本发明。
＜对EDoF系统的应用例＞
上述实施方式中的点像复原处理(频率恢复处理和相位恢复处理)是根据特定的摄影条件(例如，光圈值(F值)、焦距、透镜种类等)对点扩散(点像模糊)进行频率恢复处理和相位恢复处理来复原原来的被摄体像的图像处理，能够应用本发明的图像处理并不限定于上述实施方式中的复原处理。例如，对于针对具有被放大的(焦点)景深(EDoF：ExtendedDepth of Field(Focus))的光学系统(摄影透镜等)拍摄获取的图像数据的复原处理，也能够应用本发明所涉及的复原处理。对通过EDoF光学系统在景深(焦深)被放大的状态下拍摄获取的模糊图像的图像数据进行复原处理，从而能够在广范围内复原生成对焦状态的高分辨率的图像数据。此时，使用作为基于EDoF光学系统的传递函数(PSF、OTF、MTF、PTF等)的频率恢复滤波器、相位恢复滤波器并且为具有设定成能够在被放大的景深(焦深)的范围内进行良好的图像复原的滤波器系数的的频率恢复滤波器、相位恢复滤波器进行复原处理。
图15是表示具备EDoF光学系统的摄像模块101的一方式的框图。本例的摄像模块(搭载于数码相机等的相机头)101包含EDoF光学系统(透镜单元)110、成像元件112及AD转换部114。
图16是表示EDoF光学系统110的一例的图。本例的EDoF光学系统110具有单焦点的被固定的摄影透镜110A及配置于瞳位置的滤光器111。滤光器111是调制相位的要件，其使EDoF光学系统110(摄影透镜110A)EDoF化，以获得被放大的景深(焦深)(EDoF)。如此，摄影透镜110A和滤光器111构成调制相位来扩大景深的透镜部。
另外，EDoF光学系统110根据需要包含其他构成要件，例如在滤光器111附近配设有光圈(省略图示)。并且，滤光器111可以是一个，也可以组合多个。并且，滤光器111仅仅是光学相位调制机构的一例，还可以通过其他机构实现EDoF光学系统110(摄影透镜110A)的EDoF化。例如，代替设置滤光器111，可通过以具有与本例的滤光器111相同功能的方式进行透镜设计的摄影透镜110A实现EDoF光学系统110的EDoF化。
即，能够通过使对成像元件112的受光面的成像的波面发生变化的各种机构，实现EDoF光学系统110的EDoF化。例如，可将“厚度发生变化的光学元件”、“折射率发生变化的光学元件(折射率分布型波面调制透镜等)”、“通过对透镜表面进行涂布等而厚度或折射率发生变化的光学元件(波面调制混合式透镜、在透镜面上形成为相位面的光学元件等)”、“能够调制光的相位分布的液晶元件(液晶空间相位调制元件等)”用作EDoF光学系统110的EDoF化机构。如此，不仅能够对通过光波面调制元件(滤光器111(相位板))形成规则地分散的图像的情况能够应用本发明，而且对于能够不使用光波面调制元件而通过摄影透镜110A本身形成与使用光波面调制元件时相同的分散图像的情况也能够应用本发明。
图15和图16所示的EDoF光学系统110可以省略机械地进行调焦的调焦机构，因此能够实现小型化，可适当地搭载于带相机的移动电话或移动信息终端。
通过被EDoF化的EDoF光学系统110之后的光学像成像于图15所示的成像元件112，在此转换成电信号。
成像元件112由以规定的图案排列(拜耳排列、G条纹R/G完整方格、X-Trans(注册商标)排列或蜂窝排列等)配置成矩阵状的多个像素构成，各像素包含微透镜、滤色器(本例中为RGB滤色器)及光电二极管。经由EDoF光学系统110入射到成像元件112的受光面的光学像通过排列于该受光面的各光电二极管而转换成与入射光量相应的量的信号电荷。并且，积蓄在各光电二极管的R、G、B的信号电荷作为每个像素的电压信号(图像信号)被依次输出。
模拟/数字转换部(AD转换部)114将从成像元件112按每个像素输出的模拟R、G、B图像信号转换成数字RGB图像信号。通过AD转换部114转换成数字图像信号的数字图像信号作为马赛克数据(RAW图像数据)而输出。
通过对从摄像模块101输出的马赛克数据应用通过前述第1至第3实施方式示出的图像处理部(图像处理装置)35，能够在广范围内生成对焦状态的高分辨率的恢复图像数据。
即，如图17的符号1311所示，通过EDoF光学系统110之后的点像(光学像)作为较大的点像(模糊图像)而成像于成像元件112，但通过基于图像处理部(图像处理装置)35的点像复原处理(频率恢复处理和相位恢复处理)，如图17的符号1312所示，复原成较小的点像(高分辨率的图像)。
另外，上述各实施方式中，对图像处理部(图像处理装置)35设置于数码相机10的相机主体14(相机主体控制器28)的方式进行了说明，但图像处理部(图像处理装置)35也可设置于计算机60或服务器80等其他装置。
例如，在计算机60中加工图像数据时，可通过设置于计算机60的图像处理部(图像处理装置)35进行该图像数据的点像复原处理。并且，服务器80具备图像处理部(图像处理装置)35时，例如可从数码相机10或计算机60向服务器80发送图像数据，在服务器80的图像处理部(图像处理装置)35中对该图像数据进行点像复原处理，点像复原处理之后的图像数据(恢复图像数据)发送/提供至发送源。
并且，能够应用本发明的方式并不限定于数码相机10、计算机60和服务器80，除了以摄像为主要功能的相机类之外，对于除了摄像功能以外还具备摄像以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类，也能够应用本发明。作为能够应用本发明的其他方式，例如可举出具有相机功能的移动电话和智能手机、PDA(Personal DigitalAssistants)、便携式游戏机。以下，对能够应用本发明的智能手机的一例进行说明。
＜智能手机的结构＞
图18是表示作为本发明的摄像装置的一实施方式的智能手机201的外观的图。图18所示的智能手机201具有平板状框体202，在框体202的一侧的面具备作为显示部的显示面板221与作为输入部的操作面板222成为一体的显示输入部220。并且，这种框体202具备扬声器231、麦克风232、操作部240及相机部241。另外，框体202的结构并不限定于此，例如能够采用显示部与输入部独立的结构，或者采用具有折叠结构或滑动机构的结构。
图19是表示图18所示的智能手机201的结构的框图。如图19所示，作为智能手机的主要的构成要件，具备无线通信部210、显示输入部220、通话部230、操作部240、相机部241、存储部250、外部输入输出部260、GPS(Global Positioning System)接收部270、动作传感器部280、电源部290及主控制部200。并且，作为智能手机201的主要功能，具备经由基站装置BS和移动通信网NW进行移动无线通信的无线通信功能。
无线通信部210根据主控制部200的命令，对容纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信，进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据或流数据等的接收。
显示输入部220是所谓的触控面板，其具备显示面板221及操作面板222，所述显示输入部通过主控制部200的控制，显示图像(静态图像及动态图像)和文字信息等来视觉性地向用户传递信息，并且检测用户对所显示的信息的操作。
显示面板221是将LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作显示设备的装置。操作面板222是以能够视觉辨认显示于显示面板221的显示面上的图像的方式载置，并检测通过用户的手指或触控笔来操作的一个或多个坐标的设备。若通过用户的手指或触控笔操作该设备，则将因操作而产生的检测信号输出至主控制部200。接着，主控制部200根据所接收的检测信号检测显示面板221上的操作位置(坐标)。
如图18所示，作为本发明的摄像装置的一实施方式来例示的智能手机201的显示面板221与操作面板222成为一体而构成显示输入部220，配置成操作面板222完全覆盖显示面板221。采用该配置时，操作面板222可以对显示面板221以外的区域也具备检测用户操作的功能。换言之，操作面板222可具备针对与显示面板221重叠的重叠部分的检测区域(以下，称为显示区域)和针对除此以外的不与显示面板221重叠的外缘部分的检测区域(以下，称为非显示区域)。
另外，可使显示区域的大小与显示面板221的大小完全一致，但并非一定要使两者一致。并且，操作面板222可具备外缘部分和除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据框体202的大小等而适当设计。此外，作为在操作面板222中采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，可采用任意方式。
通话部230具备扬声器231和麦克风232，所述通话部将通过麦克风232输入的用户的语音转换成能够在主控制部200中处理的语音数据来输出至主控制部200，或者对通过无线通信部210或外部输入输出部260接收的语音数据进行解码而从扬声器231输出。并且，如图18所示，例如能够将扬声器231、麦克风232搭载于与设置有显示输入部220的面相同的面。
操作部240为使用键开关等的硬件键，接受来自用户的命令。例如，如图18所示，操作部240搭载于智能手机201的框体202的侧面，是若被手指等按下则开启，若手指离开则通过弹簧等的复原力而成为关闭状态的按钮式开关。
存储部250存储主控制部200的控制程序和控制数据、应用软件、将通信对象的名称和电话号码等建立对应关联的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据和已下载的内容数据，并且临时存储流数据等。并且，存储部250由智能手机内置的内部存储部251和装卸自如且具有外部存储器插槽的外部存储部252构成。另外，构成存储部250的各个内部存储部251与外部存储部252通过使用闪存类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Access Memory)或ROM(ReadOnly Memory)等存储介质来实现。
外部输入输出部260发挥与连结于智能手机201的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth(注册商标))、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)或紫蜂(Zig Bee)(注册商标)等)直接或间接地与其他外部设备连接。
作为与智能手机201连结的外部设备，例如有：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(Memory card)或SIM(SubscriberIdentity Module Card)/UIM(User Identity Module Card)卡、经由音频/视频I/O(Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部能够将从这种外部设备接收到传送的数据传递至智能手机201内部的各构成要件、或将智能手机201内部的数据传送至外部设备。
GPS接收部270根据主控制部200的命令，接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测由智能手机201的纬度、经度、高度构成的位置。GPS接收部270在能够从无线通信部210或外部输入输出部260(例如无线LAN)获取位置信息时，还能够利用该位置信息检测位置。
动作传感器部280例如具备3轴加速度传感器等，根据主控制部200的命令，检测智能手机201的物理动作。通过检测智能手机201的物理动作，可检测智能手机201的移动方向或加速度。该检测结果被输出至主控制部200。
电源部290根据主控制部200的命令，向智能手机201的各部供给积蓄在电池(未图示)中的电力。
主控制部200具备微处理器，根据存储部250所存储的控制程序或控制数据进行动作，统一控制智能手机201的各部。并且，主控制部200为了通过无线通信部210进行语音通信或数据通信，具备控制通信系统的各部的移动通信控制功能及应用处理功能。
应用处理功能通过主控制部200根据存储部250所存储的应用软件进行动作来实现。作为应用处理功能，例如有控制外部输入输出部260来与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览Web页的Web浏览功能等。
并且，主控制部200具备根据接收数据或所下载的流数据等图像数据(静态图像或动态图像的数据)而在显示输入部220显示影像等的图像处理功能。图像处理功能是指主控制部200对上述图像数据进行解码，对该解码结果实施图像处理并将图像显示于显示输入部220的功能。
而且，主控制部200执行对显示面板221的显示控制和检测通过操作部240、操作面板222进行的用户操作的操作检测控制。
通过执行显示控制，主控制部200显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于使无法完全落入显示面板221的显示区域的较大图像等，接受使图像的显示部分移动的命令的软件键。
并且，通过执行操作检测控制，主控制部200检测通过操作部240进行的用户操作，或者通过操作面板222接受对上述图标的操作或对上述窗口的输入栏输入字符串，或者接受通过滚动条进行的显示图像的滚动请求。
而且，通过执行操作检测控制，主控制部200具备判定对操作面板222操作的位置是与显示面板221重叠的重叠部分(显示区域)还是除此以外的不与显示面板221重叠的外缘部分(非显示区域)，并控制操作面板222的感应区域或软件键的显示位置的触控面板控制功能。
并且，主控制部200还能够检测对操作面板222的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作表示并非以往的简单的触控操作，而是通过手指等描绘轨迹、或者同时指定多个位置、或者组合这些来从多个位置对至少一个描绘轨迹的操作。
相机部241是使用CMOS(Complementary Metal Oxide Semiconductor)或CCD(Charge-Coupled Device)等成像元件进行电子摄影的数码相机。并且，相机部241能够通过主控制部200的控制，将通过拍摄获得的图像数据转换成例如JPEG(Joint Photographiccoding Experts Group)等被压缩的图像数据，并记录于存储部250，并且能够通过外部输入输出部260和无线通信部210输出。在图18所示的智能手机201中，相机部241搭载于与显示输入部220相同的面，但相机部241的搭载位置并不限定于此，还可搭载于显示输入部220的背面，或者也可以搭载有多个相机部241。另外，搭载有多个相机部241时，还能够切换用于进行拍摄的相机部241来单独拍摄、或者同时使用多个相机部241来进行拍摄。
并且，相机部241能够利用于智能手机201的各种功能中。例如，能够在显示面板221显示由相机部241获取的图像，或者作为操作面板222的操作输入之一而利用相机部241的图像。并且，当GPS接收部270检测位置时，还能够参考来自相机部241的图像来检测位置。而且，还能够参考来自相机部241的图像，不使用3轴加速度传感器或者与3轴加速度传感器同时使用来判断智能手机201的相机部241的光轴方向，或判断当前的使用环境。当然，还能够在应用软件内利用来自相机部241的图像。
另外，能够在静态图像或动态图像的图像数据上附加通过GPS接收部270获取的位置信息、通过麦克风232获取的语音信息(也可通过主控制部等进行语音文本转换而成为文本信息)、通过动作传感器部280获取的姿势信息等等来记录于存储部250，还能够通过外部输入输出部260或无线通信部210输出。
在上述的智能手机201中，与点像复原处理相关的上述各处理部例如可通过主控制部200、存储部250等适当地实现。
本发明并不限定于上述实施方式，当然也能够在不脱离本发明的宗旨的范围内进行各种变形。
符号说明
10-数码相机，12-透镜单元，14-相机主体，16-透镜，17-光圈，18-光学系统操作部，20-透镜单元控制器，22-透镜单元输入输出部，26-成像元件，28-主体控制器，29-用户界面，30-相机主体输入输出部，32-输入输出接口，33-灰度校正处理部，34-设备控制部，35-图像处理部，36-点像复原控制处理部，41-偏移校正处理部，42-WB校正处理部，43-去马赛克处理部，44、44-2-频率恢复处理部，44a、44-2a-频率恢复运算处理部，44b、44-2b、46b、46-2b-滤波器选择部，44c、44-2c、46c、46-2c-光学系统数据获取部，44d、44-2d、46d、46-2d、250-存储部，45、45-2-灰度校正处理部，46、46-2-相位恢复处理部，46a、46-2a-相位恢复运算处理部，47-亮度/色差转换处理部，101-摄像模块，110-EDoF光学系统，110A-摄影透镜，111-光学滤波器，112-成像元件，114-AD转换部，200-主控制部，201-智能手机，202-框体，210-无线通信部，220-显示输入部，221-显示面板，222-操作面板，230-通话部，231-扬声器，232-麦克风，240-操作部，241-相机部，251-内部存储部，252-外部存储部，260-外部输入输出部，270-接收部，280-动作传感器部，290-电源部。

Claims (13)

1.一种图像处理装置，其具备：
频率恢复处理部，对通过利用光学系统拍摄被摄体像而从成像元件获取的图像数据，使用基于所述光学系统的点扩散函数的频率恢复滤波器进行频率恢复处理；
灰度校正处理部，对所述已进行频率恢复处理的图像数据进行非线性灰度校正；及
相位恢复处理部，对所述已进行灰度校正的图像数据使用基于所述光学系统的点扩散函数的相位恢复滤波器进行相位恢复处理。
2.根据权利要求1所述的图像处理装置，
所述图像处理装置具备存储部，其存储所述频率恢复滤波器和所述相位恢复滤波器，
所述频率恢复处理部从所述存储部读取所述频率恢复滤波器而用于所述频率恢复处理，
所述相位恢复处理部从所述存储部读取所述相位恢复滤波器而用于所述相位恢复处理。
3.根据权利要求1所述的图像处理装置，
所述图像处理装置具备存储部，其存储所述光学系统的点扩散函数、对所述点扩散函数进行傅里叶变换的光学传递函数、或表示所述光学传递函数的振幅成分的调制传递函数和表示相位成分的相位传递函数，
所述频率恢复处理部从所述存储部读取所述点扩散函数、所述光学传递函数或所述调制传递函数来生成所述频率恢复滤波器，并将所述生成的频率恢复滤波器用于所述频率恢复处理，
所述相位恢复处理部从所述存储部读取所述点扩散函数、所述光学传递函数或所述相位传递函数来生成所述相位恢复滤波器，并将所述生成的相位恢复滤波器用于所述相位恢复处理。
4.根据权利要求1至3中任一项所述的图像处理装置，其中，
所述频率恢复处理部对从所述成像元件获取的图像数据并且为每个颜色通道的图像数据分别使用频率恢复滤波器进行频率恢复处理，
所述相位恢复处理部对所述已进行灰度校正的所述图像数据并且为每个颜色通道的图像数据分别使用相位恢复滤波器进行相位恢复处理。
5.根据权利要求1至3中任一项所述的图像处理装置，其中，
所述频率恢复处理部对从所述成像元件获取的图像数据并且为每个颜色通道的图像数据分别使用所述频率恢复滤波器进行频率恢复处理，
所述相位恢复处理部对通过所述灰度校正处理部进行灰度校正的图像数据并且为从每个颜色通道的图像数据生成的表示亮度成分的图像数据使用所述相位恢复滤波器进行相位恢复处理。
6.根据权利要求1至3中任一项所述的图像处理装置，其中，
所述频率恢复处理部对从所述成像元件获取的图像数据并且为从每个颜色通道的图像数据生成的表示亮度成分的图像数据使用所述频率恢复滤波器进行频率恢复处理，
所述相位恢复处理部对所述已进行灰度校正的所述图像数据并且为从每个颜色通道的图像数据生成的表示亮度成分的图像数据使用所述相位恢复滤波器进行相位恢复处理。
7.根据权利要求6所述的图像处理装置，
所述图像处理装置具备亮度数据生成部，根据从所述成像元件获取的每个颜色通道的图像数据生成表示亮度成分的亮度数据，
所述频率恢复处理部对通过所述亮度数据生成部生成的亮度数据使用所述频率恢复滤波器进行频率恢复处理，
所述灰度校正处理部对所述已进行频率恢复处理的所述亮度数据进行非线性灰度校正，
所述相位恢复处理部对所述已进行灰度校正的所述亮度数据使用所述相位恢复滤波器进行相位恢复处理。
8.根据权利要求1至7中任一项所述的图像处理装置，其中，
所述灰度校正处理部为对所述图像数据进行基于对数化处理的灰度校正的伽马校正处理部。
9.根据权利要求1至8中任一项所述的图像处理装置，其中，
通过所述频率恢复处理部进行频率恢复处理的所述图像数据的位长大于通过所述相位恢复处理部进行相位恢复处理的所述图像数据的位长。
10.根据权利要求1至9中任一项所述的图像处理装置，其中，
所述光学系统具有通过调制相位来扩大景深的透镜部。
11.一种摄影装置，其具备：
通过利用光学系统拍摄被摄体像来输出图像数据的成像元件；及
根据权利要求1至10中任一项所述的图像处理装置。
12.一种图像处理方法，其包含：
对通过利用光学系统拍摄被摄体像而从成像元件获取的图像数据，使用基于所述光学系统的点扩散函数的频率恢复滤波器进行频率恢复处理的步骤；
对所述已进行频率恢复处理的图像数据进行非线性灰度校正的步骤；及
对所述已进行灰度校正的图像数据，使用基于所述光学系统的点扩散函数的相位恢复滤波器进行相位恢复处理的步骤。
13.一种图像处理程序，其使计算机执行如下步骤：
对通过利用光学系统拍摄被摄体像而从成像元件获取的图像数据，使用基于所述光学系统的点扩散函数的频率恢复滤波器进行频率恢复处理的步骤；
对所述已进行频率恢复处理的图像数据进行非线性灰度校正的步骤；及
对所述已进行灰度校正的图像数据，使用基于所述光学系统的点扩散函数的相位恢复滤波器进行相位恢复处理的步骤。
CN201580017006.2A 2014-03-31 2015-02-13 图像处理装置、摄影装置、图像处理方法及图像处理程序 Active CN106134177B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-071462 2014-03-31
JP2014071462 2014-03-31
PCT/JP2015/053990 WO2015151608A1 (ja) 2014-03-31 2015-02-13 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
CN106134177A true CN106134177A (zh) 2016-11-16
CN106134177B CN106134177B (zh) 2019-05-28

Family

ID=54239946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580017006.2A Active CN106134177B (zh) 2014-03-31 2015-02-13 图像处理装置、摄影装置、图像处理方法及图像处理程序

Country Status (4)

Country Link
US (1) US9866750B2 (zh)
JP (1) JP6042032B2 (zh)
CN (1) CN106134177B (zh)
WO (1) WO2015151608A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533617A (zh) * 2019-08-30 2019-12-03 Oppo广东移动通信有限公司 图像处理方法及装置、存储介质
CN112073603A (zh) * 2019-06-10 2020-12-11 佳能株式会社 图像处理设备、摄像设备、图像处理方法和存储介质
CN112639610A (zh) * 2018-09-26 2021-04-09 Oppo广东移动通信有限公司 恢复穿过显示器的图像的方法和装置
CN117806036A (zh) * 2024-03-01 2024-04-02 中国科学院光电技术研究所 一种基于压缩感知的单片衍射透镜系统消色差方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6042031B2 (ja) * 2014-03-31 2016-12-14 富士フイルム株式会社 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
WO2016052000A1 (ja) * 2014-09-30 2016-04-07 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
JP6763637B2 (ja) * 2016-08-19 2020-09-30 正浩 小林 画像復元方法
JP6592622B2 (ja) * 2017-02-17 2019-10-16 富士フイルム株式会社 画像処理装置、画像処理方法、およびカメラシステム
US11476947B2 (en) * 2019-05-24 2022-10-18 Google Llc Low power coherent receiver for short-reach optical communication
CN110807822B (zh) * 2019-10-14 2022-03-22 北京理工大学 基于Wirtinger Flow算法的散斑相关成像方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011059813A (ja) * 2009-09-07 2011-03-24 Nikon Corp 画像処理装置、撮影装置及びプログラム
US20110135213A1 (en) * 2009-12-09 2011-06-09 Canon Kabushiki Kaisha Image processing method, image processing apparatus, and image pickup apparatus for correcting degradation component of image
US20110135216A1 (en) * 2009-12-09 2011-06-09 Canon Kabushiki Kaisha Image processing method, image processing apparatus, and image pickup apparatus for correcting degradation component of image
JP2012049759A (ja) * 2010-08-26 2012-03-08 Fujifilm Corp 撮像モジュールおよび画像信号処理方法
CN102625043A (zh) * 2011-01-25 2012-08-01 佳能株式会社 图像处理设备、成像设备和图像处理方法
CN102833461A (zh) * 2011-06-14 2012-12-19 佳能株式会社 图像处理设备和图像处理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5272581B2 (ja) * 2008-08-25 2013-08-28 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
WO2011122284A1 (ja) * 2010-03-31 2011-10-06 キヤノン株式会社 画像処理装置、およびそれを用いた撮像装置
CN102844788B (zh) * 2010-03-31 2016-02-10 佳能株式会社 图像处理装置及使用该图像处理装置的图像拾取装置
JP2012156715A (ja) * 2011-01-25 2012-08-16 Canon Inc 画像処理装置、撮像装置、画像処理方法およびプログラム。
JP5868076B2 (ja) * 2011-08-31 2016-02-24 キヤノン株式会社 画像処理装置及び画像処理方法
JP5615393B2 (ja) * 2013-01-28 2014-10-29 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
WO2014136322A1 (ja) * 2013-03-04 2014-09-12 富士フイルム株式会社 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体
WO2014136323A1 (ja) * 2013-03-04 2014-09-12 富士フイルム株式会社 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体
JP5759085B2 (ja) * 2013-03-28 2015-08-05 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム並びに記録媒体
CN105409198B (zh) * 2013-07-29 2018-11-09 富士胶片株式会社 摄像装置及图像处理方法
CN105432068B (zh) * 2013-08-01 2018-08-24 富士胶片株式会社 摄像装置、摄像方法及图像处理装置
JP5992634B2 (ja) * 2013-10-31 2016-09-14 富士フイルム株式会社 信号処理装置、撮像装置、パラメータ生成方法、信号処理方法及びプログラム
JP6042031B2 (ja) * 2014-03-31 2016-12-14 富士フイルム株式会社 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011059813A (ja) * 2009-09-07 2011-03-24 Nikon Corp 画像処理装置、撮影装置及びプログラム
US20110135213A1 (en) * 2009-12-09 2011-06-09 Canon Kabushiki Kaisha Image processing method, image processing apparatus, and image pickup apparatus for correcting degradation component of image
US20110135216A1 (en) * 2009-12-09 2011-06-09 Canon Kabushiki Kaisha Image processing method, image processing apparatus, and image pickup apparatus for correcting degradation component of image
JP2012049759A (ja) * 2010-08-26 2012-03-08 Fujifilm Corp 撮像モジュールおよび画像信号処理方法
CN102625043A (zh) * 2011-01-25 2012-08-01 佳能株式会社 图像处理设备、成像设备和图像处理方法
CN102833461A (zh) * 2011-06-14 2012-12-19 佳能株式会社 图像处理设备和图像处理方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112639610A (zh) * 2018-09-26 2021-04-09 Oppo广东移动通信有限公司 恢复穿过显示器的图像的方法和装置
US11947107B2 (en) 2018-09-26 2024-04-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and device for recovering image passing through display
CN112073603A (zh) * 2019-06-10 2020-12-11 佳能株式会社 图像处理设备、摄像设备、图像处理方法和存储介质
CN112073603B (zh) * 2019-06-10 2022-09-30 佳能株式会社 图像处理设备、摄像设备、图像处理方法和存储介质
CN110533617A (zh) * 2019-08-30 2019-12-03 Oppo广东移动通信有限公司 图像处理方法及装置、存储介质
CN110533617B (zh) * 2019-08-30 2022-05-27 Oppo广东移动通信有限公司 图像处理方法及装置、存储介质
CN117806036A (zh) * 2024-03-01 2024-04-02 中国科学院光电技术研究所 一种基于压缩感知的单片衍射透镜系统消色差方法
CN117806036B (zh) * 2024-03-01 2024-05-17 中国科学院光电技术研究所 一种基于压缩感知的单片衍射透镜系统消色差方法

Also Published As

Publication number Publication date
JPWO2015151608A1 (ja) 2017-04-13
CN106134177B (zh) 2019-05-28
WO2015151608A1 (ja) 2015-10-08
US20170006218A1 (en) 2017-01-05
JP6042032B2 (ja) 2016-12-14
US9866750B2 (en) 2018-01-09

Similar Documents

Publication Publication Date Title
CN106134177B (zh) 图像处理装置、摄影装置、图像处理方法及图像处理程序
CN106165390A (zh) 图像处理装置、摄影装置、图像处理方法及程序
US9357107B2 (en) Image-processing device, image-capturing device, image-processing method, and recording medium
US9633417B2 (en) Image processing device and image capture device performing restoration processing using a restoration filter based on a point spread function
CN104704807B (zh) 图像处理装置、摄像装置及图像处理方法
CN106165392B (zh) 图像处理装置、摄影装置以及图像处理方法
CN105432069A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN105075239B (zh) 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置以及记录介质
CN105103534B (zh) 摄像装置及校准方法
CN105009563B (zh) 复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质
CN106134178A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN105453539B (zh) 图像处理装置、摄像装置及图像处理方法
CN104854858A (zh) 图像处理装置、摄像装置、计算机及程序
CN105453534B (zh) 图像处理装置及方法
CN105432068A (zh) 摄像装置、摄像方法及图像处理装置
CN105453540A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN106416218A (zh) 图像处理装置、摄像装置、图像处理方法以及程序
CN106464798B (zh) 图像处理装置、摄像装置、图像处理方法以及记录介质
CN105009579B (zh) 复原滤波器生成装置和方法、图像处理装置和方法以及摄像装置
CN108141530A (zh) 图像处理装置、图像处理方法及程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant