CN104995911A - 图像处理装置、摄影装置、滤波器生成装置、图像复原方法以及程序 - Google Patents

图像处理装置、摄影装置、滤波器生成装置、图像复原方法以及程序 Download PDF

Info

Publication number
CN104995911A
CN104995911A CN201380073128.4A CN201380073128A CN104995911A CN 104995911 A CN104995911 A CN 104995911A CN 201380073128 A CN201380073128 A CN 201380073128A CN 104995911 A CN104995911 A CN 104995911A
Authority
CN
China
Prior art keywords
filter
image data
recovery
original digital
restoration disposal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380073128.4A
Other languages
English (en)
Other versions
CN104995911B (zh
Inventor
杉本雅彦
林健吉
成濑洋介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104995911A publication Critical patent/CN104995911A/zh
Application granted granted Critical
Publication of CN104995911B publication Critical patent/CN104995911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

在本发明的一个实施方式的图像处理装置中，针对通过使用了光学系统的摄影而从摄像元件获得的原图像数据，进行使用了基于光学系统的点扩散函数的复原滤波器的复原处理，从而获得恢复图像数据。在该复原处理中使用的复原滤波器(组合滤波器、实现滤波器(Fr))通过组合多个基底滤波器(Fb)而生成。基底滤波器(Fb)能够从预先确认具有防止画质劣化的效果的滤波器中适当选择。

Description

图像处理装置、摄影装置、滤波器生成装置、图像复原方法以及程序
技术领域
本发明涉及与基于点扩散函数的复原处理相关的图像处理装置、摄影装置、滤波器生成装置、图像复原方法以及程序。
背景技术
在经由摄像光学系统而摄影的被摄体像中，由于由摄像光学系统引起的衍射、像差等的影响，有时观察到点被摄体具有微小的扩散的所谓的点扩散现象。表示对于光学系统的点光源的响应的函数被称为点扩散函数(PSF：Point Spread Function)，作为影响摄影图像的分辨率劣化(模糊)的参数而周知。
由于该点扩散现象而画质劣化的摄影图像能够通过接受基于PSF的点像复原处理来恢复画质。点像复原处理是如下处理：预先求出由透镜(光学系统)的像差等引起的劣化特性(点像特性)，通过使用与该点像特性对应的复原滤波器(恢复滤波器)的图像处理，消除摄影图像的点扩散。
关于该点像复原处理提出了各种方法，例如专利文献1公开了一种能够容易实施图像复原处理的图像复原装置。在该图像复原装置中，使用通过对根据原图像中的3个边界分别求出的3种劣化点像的强度分布进行算术平均而计算出的强度分布，生成复原滤波器并实施图像复原处理。
现有技术文献
专利文献
专利文献1：日本特开2011-150635号公报
发明内容
发明要解决的课题
由于点像复原处理是通过对原图像数据应用复原滤波器而获得恢复图像数据的处理，因此通过所使用的复原滤波器来影响所获得的恢复图像数据的画质。
作为点像复原处理用的复原滤波器，提出了各种模型的滤波器，例如广泛公知维纳滤波器(Wiener filter)。由于该维纳滤波器和专利文献1的复原滤波器等现有的复原滤波器是以点像复原为目的而设计的滤波器，因此从“点像复原”的观点看具有优异的特性，能够高精度地复原图像(点像)。
但是，在对这些现有的复原滤波器进行设计时，没有充分考虑对“点像复原精度以外的画质”的影响，使用了这样的复原滤波器的点像复原处理有时会对点像复原精度以外的画质产生不良影响。例如，在对比度急剧变化的图像中的边缘部分(图像边界部分)等中，有时由于点像复原处理而出现振铃。此外，由于对产生折迭噪声(混淆)的图像数据进行点像复原处理，有时会导致增强折迭噪声。
这样一来，使用了现有的复原滤波器的点像复原处理虽然能够良好地进行点像复原，但有时由于该点像复原而会对画质产生预期以外的不良影响。
特别是，针对由光学系统造成的点扩散现象不具有充分的处理能力的移动设备等设备类中的点像复原处理对点像复原精度以外的画质产生不良影响的倾向较强。移动设备等比较小型的装置类由于运算处理电路和存储器件等硬件受限制，不一定能够具有充分的处理能力，由于通过抽头数受限制的复原滤波器来进行点像复原处理，因此容易出现由点像复原处理引起的对点像复原精度以外的画质的影响。
本发明鉴于上述的情形而完成，其目的在于，提供一种能够进行高精度的点像复原处理且还能够防止对点像复原精度以外的画质的不良影响的技术。
用于解决课题的技术方案
本发明的一个方式是一种图像处理装置，针对通过使用了光学系统的摄影而从摄像元件获得的原图像数据，进行使用了基于光学系统的点扩散函数的复原滤波器的复原处理，从而获得恢复图像数据，其中，复原滤波器包括组合滤波器，该组合滤波器以与基于点扩散函数的理想滤波器相拟合的方式组合多个基底滤波器而生成。
根据本方式，通过使用预先确定了具有防止画质劣化的效果的滤波器作为“多个基底滤波器”，因此能够以较高的级别来同时实现“高精度的点像复原处理”和“画质劣化的防止”。
这里所称的“多个基底滤波器”是成为导出复原滤波器(组合滤波器)时的基础的多个滤波器，能够从预先确定过具有防止画质劣化的效果的滤波器中适当选择。“预先确定过具有防止画质劣化的效果的滤波器”并不特别限定，能够适当地采用能够防止对于点像复原处理精度以外的画质的不良影响的滤波器作为“多个基底滤波器”。例如，通过使用“不造成振铃的滤波器”、“不增强折迭噪声的滤波器”等能够防止对于点像复原处理精度以外的画质的不良影响的滤波器作为多个基底滤波器，在使用了所生成的复原滤波器的点像复原处理中，能够以高的级别来维持点像复原处理精度、且能够防止振铃的发生或折迭噪声的增强等的画质劣化。
此外，“理想滤波器”是基于点扩散函数的滤波器，且是从实现期望的点像复原处理的观点适当求出的滤波器。因此，例如既可以将维纳滤波器等的根据公知的模型导出的滤波器设为理想滤波器，也可以将能够高精度地进行点像复原处理的其他滤波器设为理想滤波器。
此外，“点扩散函数”是表示对于光学系统的点光源的响应的函数，能够使用光学系统的PSF(点扩散函数(Point Spread Function))，但并不限定于PSF，也可以使用与PSF相关联的其他函数。例如，也可以使用如下函数作为“点扩散函数”，该函数使用了对PSF进行傅里叶变换而获得的OTF(光学传递函数(Optical Transfer Function))、表示OTF的绝对值的MTF(调制传递函数(Modulation TransferFunction))、将OTF的结构元素中的相位的偏移设为空间频率的函数的PTF(相位传递函数(Phase Transfer Function))等。
此外，与理想滤波器相拟合的方法也没有特别限定，能够通过任意的方法来组合多个基底滤波器而与理想滤波器相拟合。但是，在该拟合时，优选以由多个基底滤波器所起到的效果(“防止画质劣化”)不被损伤的方式进行拟合，例如还能够根据多个基底滤波器的线性和，基于最小平方法来进行对于理想滤波器的拟合。
优选的是，多个基底滤波器是在针对原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不造成振铃的滤波器。
根据本方式，能够以高的级别来同时实现“点像复原精度”和“振铃的防止”。
“振铃”是在处理对象图像(图像数据)内的边缘附近(边界部附近)产生原本不存在的波那样的响应而使图像信号的波形如波动那样振动的现象，在对比度变化大的边缘附近，有时由于振铃现象而产生伪轮廓(振铃失真)。
优选的是，多个基底滤波器是在针对原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不增强折迭噪声的滤波器。
根据本方式，能够以高的级别来同时实现“点像复原精度”和“防止折迭噪声的增强”。
“折迭噪声”是在输入信号(图像数据)中包含的频率分量比采样频率的2分之1的值(尼奎斯特频率)高时产生的噪声(失真分量)，可能由于不满足采样定理的图像采样处理而产生折迭噪声。
本发明的其他方式是一种图像处理装置，针对通过使用了光学系统的摄影而从摄像元件获得的原图像数据，进行使用了基于光学系统的点扩散函数的复原滤波器的复原处理，从而获得恢复图像数据，其中，复原滤波器包括将在针对原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不造成振铃的多个基底滤波器组合而生成的组合滤波器。
根据本方式，能够进行防止振铃的发生且使用了基于光学系统的点扩散函数的复原滤波器的复原处理。
本发明的其他方式是一种图像处理装置，针对通过使用了光学系统的摄影而从摄像元件获得的原图像数据，进行使用了基于光学系统的点扩散函数的复原滤波器的复原处理，从而获得恢复图像数据，其中，复原滤波器包括将在针对原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不增强折迭噪声的多个基底滤波器组合而生成的组合滤波器。
根据本方式，能够进行防止折迭噪声的增强且使用了基于光学系统的点扩散函数的复原滤波器的复原处理。
优选的是，图像处理装置包括：图像信息取得部，取得图像信息，该图像信息包括分析原图像数据而取得的图像分析数据以及表示原图像数据的取得条件的图像取得条件数据中的至少任一个；滤波器选择部，基于图像信息而选择复原滤波器；以及复原运算部，对原图像数据进行使用了由滤波器选择部选择的复原滤波器的复原处理而获得恢复图像数据，复原滤波器包括基于点扩散函数的理想滤波器和组合滤波器，滤波器选择部基于图像信息，选择理想滤波器以及组合滤波器中的任一个，作为在复原处理中使用的复原滤波器。
根据本方式，基于图像信息，从理想滤波器以及组合滤波器中的任一个选择在复原处理中使用的复原滤波器。因此，根据图像信息，在判断为由于复原处理而导致图像劣化的可能性大时选择组合滤波器，在判断为由于复原处理而导致图像劣化的可能性小时选择理想滤波器，从而能够获得复原精度高且再现性优异的恢复图像数据。
优选的是，图像信息取得部取得包括图像分析数据的图像信息，图像分析数据表示像素值饱和的像素数据或者具有比阈值大的像素值的像素数据是否包含在原图像数据中，在图像分析数据表示像素值饱和的像素数据或者具有比阈值大的像素值的像素数据包含在原图像数据中的情况下，滤波器选择部选择组合滤波器，在图像分析数据不表示像素值饱和的像素数据或者具有比阈值大的像素值的像素数据包含在原图像数据中的情况下，滤波器选择部选择理想滤波器。
根据本方式，在可成为复原图像的劣化要因的“像素值饱和的像素数据或者具有比阈值大的像素值的像素数据”包含在原图像数据中的情况下，选择组合滤波器，在包含在原图像数据中的情况下，选择理想滤波器，因此能够获得复原精度高且再现性优异的恢复图像数据。
另外，这里所称的“阈值”并不特别限定，可通过使用了理想滤波器的复原处理，基于可影响振铃等的发生的像素值的大小来适当设定“阈值”。
优选的是，还包括边缘检测部，该边缘检测部检测原图像数据的图像中的边缘部分，图像信息取得部取得包括图像分析数据的图像信息，图像分析数据表示像素值饱和的像素数据或者具有比阈值大的像素值的像素数据是否包含在原图像数据中的边缘部分中，在图像分析数据表示像素值饱和的像素数据或者具有比阈值大的像素值的像素数据包含在原图像数据中的边缘部分中的情况下，滤波器选择部选择组合滤波器，在图像分析数据不表示像素值饱和的像素数据或者具有比阈值大的像素值的像素数据包含在原图像数据中的边缘部分中的情况下，滤波器选择部选择理想滤波器。
根据本方式，在可成为复原图像的劣化要因的“像素值饱和的像素数据或者具有比阈值大的像素值的像素数据”包含在容易产生复原图像的劣化的“边缘部分”中的情况下，选择组合滤波器，在除此以外的情况下，选择理想滤波器，因此能够获得复原精度高且再现性优异的恢复图像数据。
优选的是，图像信息取得部取得包括表示光学系统的信息的图像取得条件数据的图像信息，在理想滤波器对应于光学系统的情况下，滤波器选择部选择理想滤波器，在理想滤波器不对应于光学系统的情况下，滤波器选择部选择组合滤波器。
根据本方式，在理想滤波器对应于光学系统的情况下，选择理想滤波器，在理想滤波器不对应于光学系统的情况下，选择组合滤波器，因此能够获得复原精度高且再现性优异的恢复图像数据。
“理想滤波器是否对应于光学系统”能够基于在理想滤波器的制作时设想的光学系统和在原图像数据的取得时使用的光学系统是否一致来判定。另外，既可以只有在理想滤波器的制作时设想的光学系统和在原图像数据的取得时使用的光学系统完全一致时判定为“理想滤波器对应于光学系统”，也可以除了这样的完全一致的情况之外，将设想在原图像数据的取得时使用由于基于理想滤波器的复原处理而导致恢复图像的劣化的可能性低的光学系统时也判定为“理想滤波器对应于光学系统”。
优选的是，滤波器选择部针对每个原图像数据，选择理想滤波器以及组合滤波器中的任一个，作为在复原处理中使用的复原滤波器。
根据本方式，对每个原图像数据，选择理想滤波器以及组合滤波器中的任一个，作为复原滤波器。
优选的是，滤波器选择部基于与原图像数据中的关注像素以及该关注像素的周边像素相关的图像信息，针对构成原图像数据的每个像素数据，选择理想滤波器以及组合滤波器中的任一个，作为在对关注像素的复原处理中使用的复原滤波器。
根据本方式，对构成原图像数据的每个像素数据，选择理想滤波器以及组合滤波器中的任一个，作为复原滤波器。
优选的是，摄像元件具备多个颜色的颜色滤波器，复原滤波器具有与颜色滤波器的排列对应的频率特性。
根据本方式，能够进行考虑了在摄像元件中使用的颜色滤波器排列的特性的复原滤波器的生成。
在颜色滤波器中使用的颜色以及排列并不特别限定，能够使用将特定的波长域的光透射的任意的颜色滤波器以任意的图案排列的排列。
优选的是，多个基底滤波器各自的频率特性彼此不同，组合滤波器根据多个基底滤波器的线性和而获得。
根据本方式，通过频率特性不同的多个基底滤波器的线性和而获得复原滤波器，因此能够取得以及使用反映了由基底滤波器所起到的效果的复原滤波器。
优选的是，通过最小平方法而计算针对各个多个基底滤波器的加权系数。
如本方式所示，通过最小平方法而计算针对多个基底滤波器的各个的加权系数，因此能够获得精度高的复原滤波器。
优选的是，多个基底滤波器是具有轮廓校正的频率特性的滤波器。
根据本方式，由于使用具有轮廓校正的频率特性的滤波器(轮廓校正用滤波器)作为多个基底滤波器，因此能够简单地获得高精度的复原滤波器。
这里所称的“具有轮廓校正的频率特性的滤波器”只要用于将图像(原图像数据)中的轮廓部分(边缘部分)的画质变得良好的滤波器则并不特别限定，例如能够采用将轮廓部分增强的滤波器。
优选的是，复原滤波器具有与原图像数据的像素数对应的滤波器系数。
根据本方式，由于复原滤波器的滤波器系数根据原图像数据的像素数而确定，因此能够将与原图像数据的像素数对应的特性反映到复原滤波器。例如，在原图像数据的像素数比较少的情况下，能够不选择增强高频分量的基底滤波器，或者减小对于增强高频分量的基底滤波器的权重。
优选的是，光学系统具有透镜部，该透镜部通过对相位进行调制而使视野深度扩大。
根据本方式，对经由所谓的EDoF(扩展景深(Extended Depth ofField(Focus)))光学系统而获得的原图像数据，也能够同时实现“高精度的点像复原处理”和“防止画质劣化”。另外，使透镜部中的相位进行调制的方法(光学式相位调制构件)并不特别限定，也能够在透镜间设置相位调制部或者使透镜本身(例如，透镜的入射面/输出面)具有相位调制功能。
本发明的其他方式是一种摄影装置，包括：摄像元件，输出经由光学系统而受光的被摄体像的原图像数据；以及上述的任一个图像处理装置。
根据本方式，能够在摄影装置中进行上述的各方式的复原处理。另外，透镜等的光学系统既可以与摄影装置一体设置，也可以与摄影装置单独设置。
本发明的其他方式是一种滤波器生成装置，生成在复原处理中使用的复原滤波器，该复原处理是为了根据原图像数据来获得恢复图像数据而进行的，该原图像数据通过使用了光学系统的摄影而从摄像元件获得，其中，滤波器生成装置包括：存储部，存储多个基底滤波器；理想滤波器计算部，计算基于光学系统的点扩散函数的理想滤波器；以及复原滤波器生成部，以与理想滤波器相拟合的方式组合多个基底滤波器而生成复原滤波器。
根据本方式，通过使用预先确认过具有防止画质劣化的效果的滤波器作为“多个基底滤波器”，能够生成以高的级别来同时实现“高精度的点像复原处理”和“防止画质劣化”的复原滤波器。
本发明的其他方式是一种滤波器生成装置，生成在复原处理中使用的复原滤波器，该复原处理是为了根据原图像数据来获得恢复图像数据而进行的，该原图像数据通过使用了光学系统的摄影而从摄像元件获得，其中，滤波器生成装置包括：存储部，存储多个基底滤波器；以及复原滤波器生成部，组合多个基底滤波器而生成复原滤波器，复原滤波器是将在针对原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不造成振铃的多个基底滤波器组合而生成的。
本发明的其他方式是一种滤波器生成装置，生成在复原处理中使用的复原滤波器，该复原处理是为了根据原图像数据来获得恢复图像数据而进行的，该原图像数据通过使用了光学系统的摄影而从摄像元件获得，其中，滤波器生成装置包括：存储部，存储多个基底滤波器；以及复原滤波器生成部，组合多个基底滤波器而生成复原滤波器，复原滤波器是将在针对原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不增强折迭噪声的多个基底滤波器组合而生成的。
本发明的其他方式是一种图像复原方法，包括以下步骤：取得通过使用了光学系统的摄影而从摄像元件获得的原图像数据的步骤；以及对原图像数据进行使用了基于光学系统的点扩散函数的复原滤波器的复原处理而获得恢复图像数据的步骤，其中，复原滤波器包括以与基于点扩散函数的理想滤波器相拟合的方式组合多个基底滤波器而生成的组合滤波器。
本发明的其他方式是一种图像复原方法，包括以下步骤：取得通过使用了光学系统的摄影而从摄像元件获得的原图像数据的步骤；以及对原图像数据进行使用了基于光学系统的点扩散函数的复原滤波器的复原处理而获得恢复图像数据的步骤，其中，复原滤波器包括将在针对原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不造成振铃的多个基底滤波器组合而生成的组合滤波器。
本发明的其他方式是一种图像复原方法，包括以下步骤：取得通过使用了光学系统的摄影而从摄像元件获得的原图像数据的步骤；以及对原图像数据进行使用了基于光学系统的点扩散函数的复原滤波器的复原处理而获得恢复图像数据的步骤，其中，复原滤波器包括将在针对原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不增强折迭噪声的多个基底滤波器组合而生成的组合滤波器。
本发明的其他方式是一种程序，用于使计算机执行如下步骤：取得通过使用了光学系统的摄影而从摄像元件获得的原图像数据的步骤；以及对原图像数据进行使用了基于光学系统的点扩散函数的复原滤波器的复原处理而获得恢复图像数据的步骤，其中，复原滤波器包括以与基于点扩散函数的理想滤波器相拟合的方式组合多个基底滤波器而生成的组合滤波器。
本发明的其他方式是一种程序，用于使计算机执行如下步骤：取得通过使用了光学系统的摄影而从摄像元件获得的原图像数据的步骤；以及对原图像数据进行使用了基于光学系统的点扩散函数的复原滤波器的复原处理而获得恢复图像数据的步骤，其中，复原滤波器包括在针对原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不造成振铃的多个基底滤波器组合而生成的组合滤波器。
本发明的其他方式是一种程序，用于使计算机执行如下步骤：取得通过使用了光学系统的摄影而从摄像元件获得的原图像数据的步骤；以及对原图像数据进行使用了基于光学系统的点扩散函数的复原滤波器的复原处理而获得恢复图像数据的步骤，其中，复原滤波器包括将在针对原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不增强折迭噪声的多个基底滤波器组合而生成的组合滤波器。
本发明的其他方式是一种记录有上述方式的程序的计算机所能够读取的代码的、非临时性的记录介质。作为这样的记录介质，能够使用CD(紧凑盘(Compact Disk))、DVD(数字多功能盘(Digital VersatileDisk))、HD(硬盘(Hard Disk))、SSD(固态驱动器(Solid StateDrive))、USB存储器等各种光磁记录介质或半导体记录介质。
发明效果
根据本发明的一方式，通过使用预先确认具有防止画质劣化的效果的滤波器作为“多个基底滤波器”，可以生成能够以较高的级别来同时实现“高精度的点像复原处理”和“防止画质劣化”的复原滤波器(组合滤波器)以及能够进行使用了这样的复原滤波器的复原处理。
例如，在将不造成振铃的多个基底滤波器进行组合而生成复原滤波器的情况下，能够进行防止振铃的发生的复原处理。此外，在将不增强折迭噪声的多个基底滤波器进行组合而生成复原滤波器的情况下，能够进行防止折迭噪声的增强的复原处理。
根据本发明的其他方式，能够基于图像信息，将理想滤波器以及组合滤波器中的任一个选择为在复原处理中使用的复原滤波器，能够获得复原精度高且再现性优异的恢复图像数据。
附图说明
图1是表示与计算机连接的数码相机的概略的框图。
图2是表示相机主体控制器的功能结构例的框图。
图3是表示从图像摄影到点像复原处理的概略的图。
图4是表示点像复原处理的一例的概略的框图。
图5是表示被摄体像中的边缘部分的对比度变化的一例的图，(a)表示被摄体像原本具有的对比度，(b)表示点像复原处理前的原图像数据的对比度，(c)表示点像复原处理后的恢复图像数据的对比度。
图6是根据多个基底滤波器而生成复原滤波器的处理的概念图。
图7是通过多个基底滤波器的线性和而生成复原滤波器的处理的概念图。
图8是表示理想滤波器和实现滤波器的“频率-响应(振幅)”关系的一例的图表。
图9是表示摄像元件的颜色滤波器排列的一例(拜耳排列)的俯视图。
图10是表示将多个基底滤波器组合而生成的实现滤波器的一例的图表，示出二维的频率特性。
图11是表示使用了根据不造成振铃的基底滤波器来生成的复原滤波器的点像复原处理前后的被摄体像中的边缘部分的画质变化的一例的图，(a)表示点像复原处理前的原图像数据的对比度，(b)表示点像复原处理后的恢复图像数据的对比度。
图12是表示本发明的一实施方式的点像复原处理部以及滤波器生成装置的框图。
图13是表示对滤波器生成装置供给的信息的框图。
图14是表示被摄体像中的边缘部分(图像边界部分)的画质变化的一例的图，尤其表示像素值饱和而被限幅(clipping)的图像数据的画质变化例。
图15是表示点像复原处理部的一例的框图。
图16是表示用于说明按照每个像素数据来选择复原滤波器的例子的图像例的图。
图17是表示点像复原处理部的其他例子的框图。
图18是表示点像复原处理部的其他例子的框图。
图19是表示能够实施点像复原处理的图像处理阶段的图。
图20是表示摄像元件的颜色滤波器排列的其他例子的俯视图。
图21是表示具备EDoF光学系统的摄像模块的一个方式的框图。
图22是表示EDoF光学系统的一例的图。
图23是表示图21所示的复原处理块中的复原处理的一例的流程图。
图24是表示经由EDoF光学系统而取得的图像的复原例的图，(a)表示复原处理前的模糊的图像，(b)表示复原处理后的消除了模糊的图像(点像)。
图25是智能手机的外观图。
图26是表示图25所示的智能手机的结构的框图。
具体实施方式
参照附图说明本发明的实施方式。在以下的说明中，作为一例，说明将本发明应用于能够与计算机(PC：个人计算机)连接的数码相机(摄影装置)的例子。
图1是表示与计算机连接的数码相机的概略的框图。
数码相机10包括能够更换的透镜单元12和具备摄像元件26的相机主体14，经由透镜单元12的透镜单元输入输出部22和相机主体14的相机主体输入输出部30，将透镜单元12和相机主体14电连接。
透镜单元12具备透镜16和光圈17等光学系统和对该光学系统进行控制的光学系统操作部18，光学系统操作部18包括与透镜单元输入输出部22连接的透镜单元控制器20和操作光学系统的致动器(省略图示)。透镜单元控制器20基于经由透镜单元输入输出部22而从相机主体14送来的控制信号，经由致动器来控制光学系统，例如进行基于透镜移动的聚焦控制或变焦控制、光圈17的光圈量控制等。
相机主体14的摄像元件26具有聚光用微透镜、RGB等的颜色滤波器以及图像传感器(光电二极管；CMOS(互补式金属氧化物半导体，Complementary Metal Oxide Semiconductor)、CCD(电荷耦合器件，Charge Coupled Device)等)，将经由透镜单元12的光学系统(透镜16、光圈17等)而照射的被摄体像的光转换为电信号，并将图像信号发送到相机主体控制器28。
相机主体控制器28集中控制相机主体14，且如图2所示地具有器件控制部34和图像处理部(图像处理装置)35。器件控制部34例如对来自摄像元件26的图像信号(图像数据)的输出进行控制，或者生成用于控制透镜单元12的控制信号并经由相机主体输入输出部30而发送到透镜单元12(透镜单元控制器20)，或者对经由输入输出接口32而连接的外部设备类(计算机60等)发送图像处理前后的图像数据(RAW数据、JPEG数据等)。此外，器件控制部34对未图示的显示部(电子取景器(EVF：Electronic View Finder)、背面液晶显示部)等、数码相机10所具备的各种器件类适当地进行控制。
另一方面，图像处理部35能够对来自摄像元件26的图像信号进行对应于需要的任意的图像处理。例如，在图像处理部35中能够适当进行传感器校正处理、去马赛克(同时化)处理、像素插值处理、颜色校正处理(白平衡处理、颜色矩阵处理、伽马变换处理等)、RGB图像处理(锐度处理、色调校正处理、曝光校正处理、轮廓校正处理等)、RGB/YCrCb变换处理以及图像压缩处理等各种图像处理。除此之外，本例的图像处理部35包括对图像信号(原图像数据)实施所谓的点像复原处理的点像复原处理部36。关于该点像复原处理的详细内容，在后面叙述。
如图1所示，在相机主体控制器28中进行了图像处理的图像数据被发送到与输入输出接口32连接的计算机60等。从数码相机10(相机主体控制器28)发送到计算机60等的图像数据的格式并不特别限定，可设为RAW、JPEG、TIFF等任意的格式。因此，相机主体控制器28也可以如所谓的Exif格式那样，将头信息(摄像信息(摄像日期时间、机型、像素数、光圈值等)等)、主图像数据以及缩略图像数据等多个关联数据彼此建立对应而构成为一个图像文件，并将该图像文件发送到计算机60。
计算机60经由相机主体14的输入输出接口32以及计算机输入输出部62而与数码相机10连接，接收从相机主体14发送来的图像数据等数据类。计算机60的计算机控制器64集中地控制计算机60，对来自数码相机10的图像数据进行图像处理，或者进行与经由互联网70等网络线路而连接于计算机输入输出部62的服务器80等的通信控制。计算机60具有显示器66，计算机控制器64中的处理内容等根据需要而显示于显示器66。用户通过确认显示器66的显示并且对键盘等输入构件(省略图示)进行操作，能够对计算机控制器64输入数据或指令而对计算机60进行控制，或者对与计算机60连接的设备类(数码相机10、服务器80)进行控制。
服务器80具有服务器输入输出部82以及服务器控制器84。服务器输入输出部82构成与计算机60等的外部设备类的发送接收连接部，经由互联网70等网络线路而与计算机60的计算机输入输出部62连接。服务器控制器84根据来自计算机60的控制指示信号，与计算机控制器64协作，根据需要在与计算机控制器64之间进行数据类的发送接收，将数据类下载到计算机60，或者进行运算处理并将其运算结果发送到计算机60。
另外，各控制器(透镜单元控制器20、相机主体控制器28、计算机控制器64、服务器控制器84)具有控制处理所需的电路类，例如具备运算处理电路(CPU等)、存储器等。此外，数码相机10、计算机60以及服务器80间的通信既可以是有线，也可以是无线。此外，也可以是，一体地构成计算机60以及服务器80，或者省略计算机60和/或服务器80。此外，也可以是，使数码相机10具有与服务器80的通信功能，在数码相机10和服务器80之间直接进行数据类的发送接收。
另外，本发明的一实施方式的程序能够记录在图像处理部35、计算机60或者后述的智能手机201的存储部250所具备的各种光磁记录介质和半导体记录介质那样的非临时性记录介质中而使用。
接着，说明经由摄像元件26而获得的被摄体像的摄像数据(图像数据)的点像复原处理。
在本例中，说明在相机主体14(相机主体控制器28)中实施点像复原处理的例子，但也能够在其他控制器(透镜单元控制器20、计算机控制器64、服务器控制器84等)中实施点像复原处理的全部或者一部分。
点像复原处理是如下处理：针对通过使用了光学系统(透镜16、光圈17等)的摄影而从摄像元件26获得的原图像数据，进行使用了基于光学系统的点扩散函数的复原滤波器的复原处理，从而获得恢复图像数据。
图3是表示从图像摄影到点像复原处理的概略的图。在将图3所示的点像作为被摄体来进行摄像的情况下，被摄体像经由光学系统(透镜16、光圈17等)而被摄像元件26(图像传感器)接受，从摄像元件26输出原图像数据Do。由于由光学系统所具有的特性引起的点扩散现象，该原图像数据Do成为原来的被摄体像模糊的状态的图像数据。
为了根据该模糊图像的原图像数据Do而复原原来的被摄体像(点像)，对原图像数据Do进行使用了复原滤波器F的点像复原处理P10，从而获得表示更接近于原来的被摄体像(点像)的像(恢复图像)的恢复图像数据Dr。
根据与取得原图像数据Do时的摄影条件对应的光学系统的点像信息(点扩散函数)，通过复原滤波器计算算法P20而获得在点像复原处理P10中使用的复原滤波器F。由于光学系统的点像信息(点扩散函数)除了根据透镜16的种类变动之外，还可能根据光圈量、焦点距离、变焦量、像高、记录像素数、像素间距等各种摄影条件而变动，因此在计算复原滤波器F时取得这些摄影条件。
图4是表示点像复原处理的一例的概略的框图。
如上所述，点像复原处理P10是通过使用了复原滤波器F的滤波处理而根据原图像数据Do来制作恢复图像数据Dr的处理，例如由N×M(N以及M为2以上的整数)个抽头构成的实际空间上的复原滤波器F应用于处理对象的图像数据。由此，通过对分配于各抽头的滤波器系数和对应的像素数据(原图像数据Do的处理对象像素数据以及相邻像素数据)进行加权平均运算(去卷积运算)，从而能够计算点像复原处理后的像素数据(恢复图像数据Dr)。按顺序替换对象像素而将该使用了复原滤波器F的加权平均处理应用于构成图像数据的整个像素数据，从而能够进行点像复原处理。
另外，通过对频率空间上的复原滤波器进行傅里叶逆变换，能够导出由N×M个抽头构成的实际空间上的复原滤波器。因此，关于实际空间上的复原滤波器，通过确定作为基础的频率空间上的复原滤波器，指定实际空间上的复原滤波器的构成抽头数，能够适当计算实际空间上的复原滤波器。
接着，说明可能由于点像复原处理而产生的画质上的弊端。
图5是表示被摄体像中的边缘部分(图像边界部分)的画质变化的一例的图，图5(a)表示被摄体像原本具有的对比度，图5的图5(b)表示点像复原处理前的原图像数据Do的对比度，图5(c)表示点像复原处理后的恢复图像数据Dr的对比度。另外，图5的横方向(X方向)表示被摄体像中的位置(一维位置)，纵方向(Y方向)表示对比度的强弱。
被摄体像中的“具有对比度的级差的边缘部分”(参照图5(a))由于摄像时的光学系统的点扩散现象而产生图像模糊，在摄像图像(原图像数据Do)中对比度变化比较缓慢(参照图5(b))。
为了消除基于该点扩散现象的图像模糊而进行了点像复原处理(参照图3以及图4)，但在使用了基于维纳滤波器等通常的复原滤波器的点像复原处理中，可能产生如下的不良情况，即在点像复原处理后的恢复图像数据Dr中发生振铃(在边缘附近原本不存在的像波那样的响应)(参照图5(c))，或者增强折迭噪声等。
即，作为点像复原处理用的复原滤波器而有名的是维纳滤波器等，但在以维纳滤波器等为基础，根据窗函数、最小平方法等而制作实际空间上的复原滤波器的情况下，需要利用被限定的抽头数来制作复原滤波器，因此存在导致振铃的发生、折迭噪声的增强等的画质劣化的可能性。该现象有着在针对由光学系统造成的点扩散现象而使用了不能确保充分的抽头数的复原滤波器的点像复原处理中显著出现的倾向，在可使用的硬件受限制的移动设备等设备类中的点像复原处理中容易出现。
本申请的发明人在新发现了这些现象的基础上进行了专注研究，最终新获得了如下见解：以与基于光学系统的点扩散函数的理想滤波器相拟合(fitting)的方式，在点像复原处理中使用将多个基底滤波器组合而生成的复原滤波器(组合滤波器)，能够有效地防止振铃的发生、折迭噪声的增强等的画质劣化。
图6是根据多个基底滤波器而生成复原滤波器的处理的概念图。图6所示的各滤波器的纵轴表示响应(振幅)，横轴表示频率。另外，在图6中，为了容易理解，例示了一维的频率特性。
关于理想滤波器Fi，只要是基于光学系统的点扩散函数的滤波器，就不特别限定，例如能够根据由下述式表示的维纳滤波器来计算。
[数学式1]
d ( ω x , ω y ) = H * ( ω x , ω y ) | | H ( ω x , ω y ) | | 2 + 1 / S N R ( ω x , ω y )
在上述式中，ωx以及ωy表示x方向以及y方向的频率，d(ωx，ωy)表示复原滤波器的频率特性，H(ωx，ωy)表示能够从PSF导出的OTF。此外，H＊(ωx，ωy)表示该OTF的复共轭，SNR(ωx，ωy)表示SN比。
作为成为理想滤波器Fi的计算的基础的光学系统的点扩散函数，能够使用表示对光学系统的点光源的响应的函数即PSF(点扩散函数(Point Spread Function))。另外，光学系统的点扩散函数并不限定于PSF，也可以是对PSF进行傅里叶变换而获得的OTF(光学传递函数(Optical Transfer Function))、MTF(调制传递函数(ModulationTransfer Function))、PTF(相位传递函数(Phase Transfer Function))等。
基底滤波器Fb是预先确认过具有防止画质劣化的效果的滤波器，从各自的频率特性彼此不同的滤波器中适当选择。例如，多个基底滤波器Fb能够设为，在针对原图像数据进行了单独使用各个基底滤波器Fb的复原处理(例如，累计处理)时所获得的恢复图像数据中不造成振铃的滤波器。不造成振铃的滤波器是指，抑制了在滤波器处理后的图像(图像数据)内的边缘附近(边界部附近)产生在滤波器处理前的图像(图像数据)中不存在的图像信号的振动波形(振铃)的滤波器。并且，多个基底滤波器能够设为，在针对原图像数据进行了单独使用各个基底滤波器Fb的复原处理(例如，累计处理)时所获得的恢复图像数据中不增强折迭噪声的滤波器。折迭噪声是指，在输入信号(图像数据)中包含的频率分量比采样频率的二分之一的值(尼奎斯特频率)高的情况下产生的噪声(失真分量)。不增强折迭噪声的滤波器是指，降低由于不满足采样定理的图像采样处理而产生的折迭噪声的滤波器。作为这样的多个基底滤波器，例如可使用用于轮廓校正处理的滤波器。
采用确认完毕具有防止画质劣化的效果的这些滤波器作为基底滤波器Fb，在复原滤波器生成部46中，以与预先求出的理想滤波器Fi相拟合的方式组合这些基底滤波器Fb，从而生成复原滤波器(实现滤波器Fr)。通过将该复原滤波器用于点像复原处理，能够实现通过基底滤波器Fb确保的画质劣化的防止，并且能够进行高精度的点像复原处理。
作为基底滤波器Fb的组合方法，优选如图7所示的基于线性和的组合方法。在图7中，为了容易理解，例示了一维的频率特性，图示了根据2种基底滤波器(第一基底滤波器Fb1以及第二基底滤波器Fb2)的线性和而生成实现滤波器Fr的情形。图7所示的各滤波器的纵轴表示响应(振幅)，横轴表示频率，横轴将通过采样频率进行了归一化的数值设为基准。另外，基底滤波器Fb的种类(数量)并不特别限定，也可以根据3种以上的基底滤波器Fb来生成实现滤波器Fr。
作为与理想滤波器的拟合方法，能够适用最小平方法，能够通过基于理想滤波器Fi的最小平方法来计算要组合的多个基底滤波器的各个基底滤波器的加权系数，能够以使理想滤波器Fi和实现滤波器Fr之间的频率特性差成为最小的方式进行拟合。
例如，在将理想滤波器的相对于频率f的响应(振幅)设为p(f)，将各个基底滤波器的相对于频率f的响应(振幅)设为gi(f)(其中，“i”对应于所使用的基底滤波器的种类(数量))，将实现滤波器的相对于频率f的响应(振幅)设为g(f)的情况下，如以下述式所示，能够以p(f)和g(f)之差的绝对值的平方值(|p(f)-g(f)|2)在预定频带中的积分值(评价值)J成为最小的方式，计算针对所使用的各个基底滤波器的加权系数wi。
[数学式2]
g(f)＝Σ(wi×gi(f))
Σwi＝1
J＝∫|p(f)-g(f)|2df→Minimum(最小值)
另外，与理想滤波器的拟合方法并不限定于上述例子，例如也可以考虑视觉特性，以将上述的评价值J设为最小的方式，计算针对各个基底滤波器的加权系数wi。例如能够基于下述式，以使“p(f)和g(f)之差的绝对值”和“表示视觉特性的数值v(f)”之积的平方值((v(f)·|(p(f)-g(f))|)2)在预定频带中的积分值(评价值)J成为最小的方式，计算针对所使用的各个基底滤波器的加权系数wi。
[数学式3]
J＝∫(v(f)·|(p(f)-g(f))|)2df→Minimum(最小值)
此时，表示视觉特性的数值v(f)能够根据点像复原处理对象的图像数据(原图像数据Do)的构成像素数(记录像素数)来适当设定。例如，由于在原图像数据的构成像素数较少的情况下，也有高频侧的图像分量的再现性不充分的情形，因此也可以是，针对所使用的基底滤波器gi(f)中的相对性地“增强高频侧的图像分量的基底滤波器”而减小加权系数wi，或者在不使用这样的“增强高频侧的图像分量的基底滤波器”的情况下进行与理想滤波器的拟合处理。这样一来，能够计算具有与原图像数据的像素数对应的滤波器系数的复原滤波器(实现滤波器Fr)，能够进行视觉性上优异的点像复原处理。
图8是表示理想滤波器和实现滤波器的“频率-响应(振幅)”关系的一例的图表，该实现滤波器通过以与该理想滤波器相拟合的方式将多个基底滤波器组合而生成。另外，图8表示一维的频率特性，纵轴表示响应(振幅)，横轴表示频率。
图9是表示摄像元件26的颜色滤波器排列的一例(拜耳排列：Bayer)的俯视图，图10是表示组合多个基底滤波器而生成的实现滤波器Fr的一例的图表，且表示二维的频率特性。
在图9以及图10中，由“H”表示的方向(水平方向)和由“V”表示的方向(垂直方向)处于相互垂直的关系，由“NE”表示的方向以及由“NW”表示的方向分别相对于V方向以及H方向形成45度的角度且处于相互垂直的关系。
在图9所示的拜耳排列中，将水平方向H以及垂直方向V上2个像素×2个像素的排列设为基本单位(基本排列图案P)，且基本排列图案P沿水平方向H以及垂直方向V重复配置，该基本排列图案P是R(红)滤波器和G(绿)滤波器沿水平方向H相邻的行与G滤波器和B(蓝)滤波器沿水平方向H相邻的行沿垂直方向V相邻配置而成的。
在图10所示的图表中，沿水平方向H以及垂直方向V延伸的轴分别表示水平方向H以及垂直方向V上的频率，“fs”表示采样频率。图10中的浓淡变化表示“复原滤波器的响应(振幅)”，越浓的部分则响应越大，越淡的部分则响应越小。因此，图10所示的复原滤波器在水平方向H以及垂直方向V上越靠低频侧则响应越大，越靠高频侧则响应越小。
另外，图10所示的复原滤波器(实现滤波器Fr)只不过是一例，根据点像复原处理对象的图像数据的特性、在点像复原处理时使用的实际空间上的复原滤波器的构成抽头数等，复原滤波器能够进行适当调整。
例如，在通过具备图9的拜耳排列颜色滤波器的摄像元件的单板方式的摄像元件而摄像取得的图像数据(马赛克图像数据、RAW数据)中，各像素最初不具有RGB的全部颜色信息，而只具有对应的颜色滤波器的颜色信息。通过对该图像数据(RAW数据)实施去马赛克处理，各像素具有RGB的全部颜色信息。去马赛克处理是根据与单板式的彩色摄像元件的颜色滤波器排列对应的马赛克图像，针对每个像素计算全部的颜色信息的处理，也称为同时化处理。例如，在由RGB3色的颜色滤波器构成的摄像元件的情况下，根据由RGB构成的马赛克图像而针对每个像素计算RGB全部的颜色信息的处理是去马赛克处理。去马赛克处理能够通过各种方法来实施，根据去马赛克处理的具体方法，RAW数据的显像精度(去马赛克处理精度)也产生变动。
虽然也依赖于颜色滤波器排列和去马赛克处理的性能，但在通过该去马赛克处理而获得的图像(去马赛克图像)中，通常，沿斜方向(参照图9以及图10的标号“NE”以及“NW”)产生伪信号的可能性高。因此，如果通过点像复原处理来增强斜方向的图像数据，则其结果是，有着在去马赛克图像中使将这样的伪信号变得明显的可能性。因此，在进行点像复原处理时，也可以是，以使斜方向(NE、NW)的高频分量相对于水平(H)以及垂直(V)减小的方式，计算针对各基底滤波器的加权系数，生成复原滤波器。这样一来，以使复原滤波器具有与颜色滤波器的排列对应的期望的频率特性的方式来确定对于各基底滤波器的加权，从而能够使得在去马赛克图像中伪信号不会明显。
图11是表示使用了通过不造成振铃的多个基底滤波器的线性和而生成的复原滤波器的点像复原处理前后的被摄体像中的边缘部分的对比度变化的一例的图。图11(a)表示点像复原处理前的原图像数据Do的对比度，图11(b)表示点像复原处理后的恢复图像数据Dr的对比度。另外，图11的横方向(X方向)表示被摄体像中的位置(一维位置)，纵方向(Y方向)表示对比度的强弱。
如图11所示，根据本例的点像复原处理，与现有的点像复原处理(参照图5)相比，能够有效地防止点像复原处理后的恢复图像数据Dr中的振铃的发生。
以下，说明生成上述的复原滤波器的“滤波器装置”以及进行使用了这样的复原滤波器的点像复原处理的“点像复原处理部”的结构例。
图12是表示本发明的一实施方式的点像复原处理部以及滤波器生成装置的框图。
在图12所示的例子中，点像复原处理部36具有存储复原滤波器的复原滤波器存储部49以及进行使用了复原滤波器的点像复原处理而根据原图像数据来计算恢复图像数据的运算处理部48。
复原滤波器存储部49存储以与理想滤波器相拟合的方式将多个基底滤波器组合而生成的复原滤波器，且将与摄影条件对应的多个复原滤波器存储在复原滤波器存储部49中。这里所称的摄影条件可包括可能对复原滤波器产生影响的全部要因，例如可包括光学系统(透镜16、光圈17)的种类、摄像元件26的颜色滤波器排列、图像构成像素数、像素间距光圈量、焦点距离、变焦量、像高等各种条件中的任一个。
运算处理部48从复原滤波器存储部49选择并读取与被输入的原图像数据建立关联的摄影条件数据所对应的复原滤波器，并将该读取的复原滤波器应用于原图像数据而进行点像复原处理。即，运算处理部48进行如下步骤：取得通过使用了光学系统的摄影而从摄像元件26获得的原图像数据的步骤；读取基于光学系统的点扩散函数的复原滤波器的步骤；以及对原图像数据进行使用了复原滤波器的复原处理而获得恢复图像数据的步骤。另外，“与原图像数据建立关联的摄影条件数据”能够利用任意的方法而输入到点像复原处理部36。例如，被输入的原图像数据和摄影条件数据也可以包含在单一文件中。此外，在“透镜-主体一体型”的数码相机那样的摄影条件数据的至少一部分(例如，光学系统的种类、颜色滤波器排列等)被固定的情况下，点像复原处理部36也可以预先存储保持这样的固定摄影条件数据，并在运算处理部48中的点像复原处理时适当反映该固定摄影条件数据。
另一方面，滤波器生成装置40具备基底滤波器存储部(存储部)42、理想滤波器计算部44以及复原滤波器生成部46。
基底滤波器存储部42存储多个基底滤波器。在基底滤波器存储部42中存储的基底滤波器是预先确认过具有防止画质劣化的效果的滤波器，且各自的频率特性彼此不同。基底滤波器存储部42既可以存储例如具有轮廓校正的频率特性的滤波器(轮廓校正用滤波器)作为基底滤波器，也可以存储如上所述的“在恢复图像数据Dr中不造成振铃的滤波器”、“不增强折迭噪声的滤波器”作为基底滤波器。
理想滤波器计算部44基于光学系统的点扩散函数，适当计算与摄影条件对应的理想滤波器。理想滤波器计算部44中的理想滤波器的计算方法并不特别限定，例如也能够使用维纳滤波器来设计计算理想滤波器。
复原滤波器生成部46与基底滤波器存储部42以及理想滤波器计算部44连接，以与在基底滤波器存储部42中生成的理想滤波器相拟合的方式，将在基底滤波器存储部42中存储的多个基底滤波器进行组合而生成复原滤波器。
在复原滤波器生成部46中生成的复原滤波器从滤波器生成装置40发送到点像复原处理部36，保存在点像复原处理部36的复原滤波器存储部49中。
另外，构成滤波器生成装置40的理想滤波器计算部44、基底滤波器存储部42以及理想滤波器计算部44既可以设置在同一设备类，也可以设置在不同的设备类。
此外，滤波器生成装置40既可以与点像复原处理部36设置在相同的设备类(数码相机10)，也可以设置在与数码相机10连接的其他设备类(计算机60、服务器80等)。在点像复原处理部36与滤波器生成装置40设置在不同的装置的情况下，在这些不同的装置彼此连接时，在滤波器生成装置40的复原滤波器生成部46中生成的复原滤波器发送到点像复原处理部36而保存在复原滤波器存储部49中。另外，滤波器生成装置40既可以具有对在复原滤波器生成部46中生成的复原滤波器进行存储保存的存储部，也可以将复原滤波器从该存储部发送到点像复原处理部36。
图13是表示针对滤波器生成装置40的信息供给块的图。
滤波器生成装置40连接有PSF信息取得部50、颜色滤波器排列特性取得部52以及图像信息取得部54。
PSF信息取得部50基于光学系统信息，取得光学系统的PSF信息(点扩散函数)并发送到滤波器生成装置40。光学系统信息既可以从任意的部位发送到PSF信息取得部50，也可以例如从透镜单元12(透镜单元控制器20)等发送到PSF信息取得部50。
颜色滤波器排列特性取得部52基于颜色滤波器排列信息，取得每个颜色滤波器排列的按二维方向的排列特性信息，并发送到滤波器生成装置40。按二维方向的排列特性信息是与对应的颜色滤波器排列相关的二维方向(参照图9的标号H、V、NE、NW)的特性信息，例如可包括与按方向的图像再现精度(去马赛克处理精度等)相关的信息。颜色滤波器排列信息既可以从任意的部位发送到颜色滤波器排列特性取得部52，也可以例如从透镜单元12(透镜单元控制器20)等发送到PSF信息取得部50。
图像信息取得部54基于所供给的图像信息，将表示构成图像的像素数的像素数信息发送到滤波器生成装置40。图像信息既可以从任意的部位发送到图像信息取得部54，也可以例如从器件控制部34(相机主体控制器28)等发送到图像信息取得部54。
在滤波器生成装置40中，基于这些信息，进行理想滤波器计算部44中的理想滤波器的计算、复原滤波器生成部46中的复原滤波器的生成。例如，通过构成与颜色滤波器的排列特性(颜色滤波器排列信息)对应的复原滤波器，能够进行抑制伪信号且提高析像灵敏度的点像复原处理。
另外，在上述的光学系统信息、颜色滤波器排列信息以及图像信息被预先确定的情况下，也可以在PSF信息取得部50、颜色滤波器排列特性取得部52以及图像信息取得部54中预先进行储保持。
如以上所说明地，根据本实施方式，由于使用“以与理想滤波器相拟合的方式组合多个基底滤波器而生成的复原滤波器”来进行点像复原处理，因此能够实现“高精度的点像复原处理”且能够进行通过基底滤波器而确保的“防止对于点像复原精度以外的画质的不良影响”。尤其，通过使用确保具有良好的图像处理特性的滤波器作为基底滤波器，能够有效地防止点像复原处理后的图像数据的破裂。
此外，由于本实施方式的点像复原处理能够通过简单的方法来实现，因此在能够使用的复原滤波器的抽头数、处理电路受限制的移动设备等设备类中也能够容易地进行采用，能够灵活应用于各种设备类。
＜变形例1＞
在本变形例中，对于与上述的实施方式相同的结构以及作用，省略说明。
在上述的实施方式中，说明了对全部原图像数据进行使用了“以与理想滤波器相拟合的方式组合多个基底滤波器而生成的复原滤波器(以下，也称为“组合滤波器”)”的点像复原处理的例子，但不一定需要对全部原图像数据应用组合滤波器。
图14是表示被摄体像中的边缘部分(图像边界部分)的画质变化的一例的图，特别是表示像素值饱和而被限幅的图像数据的画质变化例。图14(a)表示被摄体像原本具有的对比度，图14(b)表示点像复原处理前的原图像数据Do的对比度，图14(c)表示点像复原处理后的恢复图像数据Dr的对比度。另外，图14的横方向(X方向)表示被摄体像中的位置(一维位置)，纵方向(Y方向)表示对比度的强弱。
如上所述，被摄体像中的“具有对比度的级差的边缘部分”(参照图14(a))由于摄像时的光学系统的点扩散现象而在摄影图像(原图像数据Do)中产生图像模糊(参照图14(b))，通过点像复原处理而获得恢复图像数据Dr(参照图14(c))。
在该点像复原处理中，在“实际的图像劣化特性(图像模糊特性)”和“基于所使用的点扩散函数的信息(PSF等)”匹配的情况下，图像被适当地复原，能够获得边缘部分等被适当地复原的恢复图像数据Dr。
但是，在包括像素值饱和的像素(饱和像素)的原图像数据中，成为在饱和像素部分被限幅那样的状态。尤其是，由于包括饱和像素的边缘部分的原图像数据具有接近阶梯信号的波形(参照图14(b))，因此对比度变化比较明显，其结果是，成为劣化(图像模糊)比较小的数据。这样一来，在包括饱和像素的原图像数据中，由于像素数据的限幅而产生与表示被摄体像的原来的图像数据的偏差。如果对这样的产生数据偏差的原图像数据进行使用了通常的复原滤波器(参照图6的“理想滤波器Fi”)的复原处理，则容易产生振铃，所产生的振铃也容易变得复杂(参照图14(c))。此外，高频分量增加，折迭噪声容易增强。
因此，也可以在“包括饱和像素的图像数据(或者，包括饱和像素的可能性较高的图像数据)”和“不包括饱和像素的图像数据(或者，包括饱和像素的可能性不高的图像数据)”之间，切换在复原处理中使用的复原滤波器。
图15是表示点像复原处理部36的一例的框图，表示根据饱和像素的有无的数据(图像分析数据)来切换复原滤波器的例子。
本例的点像复原处理部36具有图像分析部71、滤波器选择部72、运算处理部(复原运算部)48以及复原滤波器存储部49。
图像分析部71作为图像信息取得部而发挥作用，该图像信息取得部对通过使用了光学系统(透镜16、光圈17等)的摄影而从摄像元件26获得的原图像数据进行分析，从而取得图像分析数据(图像信息)。
本例的图像分析数据是表示像素值饱和的像素数据或者具有比阈值大的像素值的像素数据是否包含在原图像数据中的数据。这里所称的像素值饱和的像素数据(饱和像素数据)是指表示单位像素能够表现的像素值的最大值的像素数据，例如，在单位像素的像素数据能够以像素值“0～255”进行8比特表现的情况下，“255”的像素值成为饱和像素数据，也将具有这样的饱和像素数据的像素称为“饱和像素”。此外，“比阈值大的像素值”是指接近饱和像素数据的比较大的像素值，例如，也能够将“阈值”确定为饱和像素数据的90％，将比饱和像素数据的90％大的像素值设为“比阈值大的像素值”。另外，“阈值”并不特别限定，能够通过使用了实际的复原滤波器(理想滤波器)的复原处理，基于可对振铃的发生或折迭信号的增强等图像劣化产生影响的像素值的大小来适当设定“阈值”。
滤波器选择部72基于来自图像分析部71的图像分析数据(图像信息)，选择基于光学系统的点扩散函数的复原滤波器。
在本例中能够选择的复原滤波器是基于光学系统的点扩散函数的理想滤波器(参照图6的“理想滤波器Fi”)和以与该理想滤波器相拟合的方式组合多个基底滤波器而生成的组合滤波器(参照图6的“实现滤波器Fr”)，存储在复原滤波器存储部49中。另外，与上述的实施方式相同地，组合滤波器能够设为“将在针对原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不造成振铃的多个基底滤波器组合而生成”、“将在针对原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不增强折迭噪声的多个基底滤波器组合而生成”。
因此，滤波器选择部72基于图像分析数据(图像信息)，选择理想滤波器以及组合滤波器中的任一个，作为在复原处理中使用的复原滤波器。更具体而言，滤波器选择部72在图像分析数据表示“饱和像素数据或者具有比阈值大的像素值的像素数据包含在原图像数据中”的情况下，选择组合滤波器。另一方，在图像分析数据不表示“饱和像素数据或者具有比阈值大的像素值的像素数据包含在原图像数据中”的情况下，选择理想滤波器。
这样一来，由滤波器选择部72选择的复原滤波器的信息作为滤波器选择数据而发送到运算处理部48。另外，本例的滤波器选择部72针对每个原图像数据选择理想滤波器以及组合滤波器中的任一个，作为在复原处理中的复原滤波器。因此，在滤波器选择部72中选择了理想滤波器的情况下，对构成原图像数据的像素数据整体应用理想滤波器，另一方面，在滤波器选择部72中选择了组合滤波器的情况下，对构成原图像数据的像素数据整体应用组合滤波器。
运算处理部48对原图像数据进行使用了由滤波器选择部72选择的复原滤波器的复原处理，取得恢复图像数据并输出。
即，运算处理部48参照滤波器选择数据，读取复原滤波器存储部49所存储的“理想滤波器以及组合滤波器”中的由滤波器选择部72选择的复原滤波器。并且，运算处理部48将该读取的复原滤波器应用到原图像数据，进行点像复原处理。另外，运算处理部48从复原滤波器存储部49选择并读取与被输入的原图像数据建立关联的摄影条件数据所对应的复原滤波器这一点上与上述的实施方式(参照图12)相同。
如以上所说明地，根据本例，针对由于复原处理而容易发生振铃、折迭噪声的增强等的“包括饱和像素数据或者具有比阈值大的像素值的像素数据的原图像数据”进行使用了组合滤波器的复原处理，能够有效地防止振铃的发生、折迭噪声的增强等的画质劣化。另一方面，针对不易产生由复原处理引起的振铃的发生、折迭噪声的增强等的画质劣化的“不包括饱和像素数据或者具有比阈值大的像素值的像素数据的原图像数据”进行使用了理想滤波器的复原处理，能够取得具有良好的再现性的恢复图像数据。
＜变形例2＞
在本变形例中，对与上述的变形例1相同的结构以及作用省略说明。
在上述的变形例1中，说明了基于图像分析数据(图像信息)来选择理想滤波器以及组合滤波器中的最适合的复原滤波器，并对每个原图像数据应用所选择的复原滤波器的例子，但也可以对每个像素数据应用所选择的复原滤波器。
图16是表示用于说明按照每个像素数据来选择复原滤波器的例子的图像例的图，表示基于核心(Km、Kn)内的关注像素以及其周边像素的图像分析数据(图像信息)来选择并确定复原滤波器的例子。
在本例中，图像分析部71(参照图15)也分析原图像数据，取得表示饱和像素数据或者具有比阈值大的像素值的像素数据是否包含在原图像数据中的图像分析数据(图像信息)。
滤波器选择部72基于从图像分析部71送来的图像分析数据来选择复原滤波器，但按照原图像数据的像素单位来选择复原滤波器。即，滤波器选择部72基于原图像数据中的与关注像素以及该关注像素的周边像素相关的图像分析数据(图像信息)，针对构成原图像数据的每个像素数据来选择理想滤波器以及组合滤波器中的任一个，作为在对关注像素进行的复原处理中使用的复原滤波器。
在本例中，在滤波器选择部72中判定在预定尺寸的核心(例如，9个像素(X方向)×9个像素(Y方向)大小的核心(参照图12的“Km”以及“Kn”))内的中央配置的关注像素以及在其周边配置的周边像素的像素数据的至少一部分是否为像素值饱和的像素数据(饱和像素数据)或者具有比阈值大的像素值的像素数据。
另外，核心的尺寸并不特别限定，但优选基于在点像复原处理中使用的实际空间上的复原滤波器的尺寸(参照图4的“实际空间滤波器”的“N抽头”以及“M抽头”)来确定，优选将核心尺寸设定为与实际空间上的复原滤波器的尺寸一致或者其以下的尺寸。
在判定为核心内的像素的像素数据中包括“饱和像素数据或者具有比阈值大的像素值的像素数据”的情况下(参照图12的“Kn”)，滤波器选择部72选择组合滤波器，作为在关注像素的复原处理中使用的复原滤波器。另一方面，在判定为核心内的像素的像素数据中不包括“饱和像素数据或者具有比阈值大的像素值的像素数据”的情况下(参照图12的“Km”)，滤波器选择部72选择理想滤波器，作为在关注像素的复原处理中使用的复原滤波器。
这样一来，由滤波器选择部72选择的复原滤波器的信息作为滤波器选择数据而发送到运算处理部48。
运算处理部48对原图像数据进行使用了由滤波器选择部72选择的复原滤波器的复原处理，取得恢复图像数据并输出。
即，运算处理部48参照滤波器选择数据，按照每个像素数据来读取复原滤波器存储部49所存储的“理想滤波器以及组合滤波器”中的由滤波器选择部72选择的复原滤波器。并且，运算处理部48将该读取的复原滤波器应用到原图像数据的作为复原处理对象的关注像素，进行对该关注像素(像素数据)的点像复原处理。运算处理部48在原图像数据的像素内改变关注像素，并同时进行各像素(各像素数据)的点像复原处理。
如以上所说明地，根据本例，由于能够按照像素单位切换“不易产生振铃的发生、折迭噪声的增强等的画质劣化的滤波器(组合滤波器)”和“具有良好的复原再现性的滤波器(理想滤波器)”而进行复原处理，因此能够按照像素单位来提高画质。即，在使用由于复原处理而容易发生振铃、折迭噪声的增强等的“饱和像素”的像素数据的复原处理中，使用抑制复原图像的破裂的组合滤波器，在不使用这样的“饱和像素”的像素数据的复原处理中，使用能够实现更加积极的再现性的理想滤波器。
另外，根据本变形例，在一个恢复图像(恢复图像数据)内“实施基于组合滤波器的复原处理的像素”和“实施基于理想滤波器的复原处理的像素”混在一起。即使是这样的复原滤波器的种类不同的像素混在一起的恢复图像，在用户的视觉上，在两个像素间的复原再现性中充分取得平衡，图像整体上也具有良好的画质，这一点已由本申请发明人通过实验确认。
＜变形例3＞
在本变形例中，对于与上述的变形例1以及变形例2相同的结构以及作用省略说明。
图17是表示点像复原处理部36的其他例子的框图，表示根据饱和像素的有无以及边缘部分的数据(图像分析数据)而切换复原滤波器的例子。
在本例中，基于饱和像素数据或者具有比阈值大的像素值的像素数据是否包含在原图像数据中的边缘部分(图像边界部分)中，而切换复原滤波器。
图像分析部71包括检测原图像数据的图像中的边缘部分的边缘检测部73，将图像分析数据发送到滤波器选择部72，该图像分析数据表示像素值饱和的像素数据(饱和像素数据)或者具有比阈值大的像素值的像素数据是否包含在原图像数据中的边缘部分中。
图像分析数据只要直接或者间接表示饱和像素数据或者具有比阈值大的像素值的像素数据是否包含在原图像数据中的边缘部分中即可，并不特别限定，例如，也能够由将“各像素和像素数据(像素值)”建立对应的数据以及将“各像素和边缘部分”建立对应的数据构成图像分析数据。
另外，“边缘部分”的范围并不特别限定，能够检测在预定范围内的对比度差大的部分作为边缘部分。
此外，在本例中，说明了在图像分析部71(点像复原处理部36)中设置边缘检测部73的例子，但也可以利用另外检测出的“原图像数据的图像中的边缘部分”的数据。例如，也可以将在图像处理部35(参照图2)的轮廓校正处理中使用的轮廓数据(边缘数据)发送到图像分析部71(点像复原处理部36)，基于该轮廓数据(边缘数据)来构成发送到滤波器选择部72的图像分析数据。
滤波器选择部72基于图像分析数据(图像信息)，选择在复原处理中使用的复原滤波器。即，在图像分析数据表示饱和像素数据或者具有比阈值大的像素值的像素数据包含在原图像数据中的边缘部分中的情况下，滤波器选择部72选择组合滤波器。另一方面，在图像分析数据不表示饱和像素数据或者具有比阈值大的像素值的像素数据包含在原图像数据中的边缘部分中的情况下，选择理想滤波器。
另外，滤波器选择部72中的复原滤波器的选择既可以针对每个原图像数据进行(参照变形例1)，也可以针对构成原图像数据的每个像素进行(参照变形例2)。
因此，运算处理部48针对每个原图像数据或者构成原图像数据的每个像素进行使用了由滤波器选择部72选择的复原滤波器的复原处理，取得恢复图像数据并输出。
如以上所说明地，根据本例，能够根据饱和像素数据或者具有比阈值大的像素值的像素数据是否包含在原图像数据中的边缘部分中，切换复原滤波器而进行复原处理。如上所述，在“边缘部分中的复原处理”以及“使用了饱和像素数据或者接近饱和像素数据的较大的值的像素数据的复原处理”中，容易导致由振铃的发生、折迭噪声的增强等引起的图像劣化。因此，如本例所示，在“边缘部分”中存在“具有饱和像素数据或者接近饱和像素数据的较大的值的像素数据的像素”的情况下，通过进行使用了组合滤波器的复原处理，能够有效地防止图像劣化。
＜变形例4＞
在本变形例中，对于与上述的变形例1～3相同的结构以及作用省略说明。
图18是表示点像复原处理部36的其他例子的框图，表示根据图像取得条件而切换复原滤波器的例子。
在本例的点像复原处理部36中，代替图像分析部71(参照图15以及图17)而设置有图像取得条件分析部74以及滤波器信息存储部75。
滤波器信息存储部75存储复原滤波器信息数据，该复原滤波器信息数据包括能够与在复原滤波器存储部49中存储的复原滤波器(尤其，理想滤波器)对应的光学系统的信息。
图像取得条件分析部74取得包括图像取得条件数据的图像信息，该图像取得条件数据表示在原图像数据的摄影取得中使用的光学系统(透镜16、光圈17等)的信息。图像取得条件数据能够通过任意的方法来取得，例如，在如Exif格式那样在原图像数据中附带作为对象的摄影取得条件数据的情况下，也可以从这样的附带数据中取得所需要的摄影取得条件数据。此外，也可以从存储、保持摄影取得条件数据的其他部分，与原图像数据相独立地取得所需要的摄影取得条件数据。
并且，图像取得条件分析部74读取在滤波器信息存储部75中存储的复原滤波器信息数据，判定所取得的图像取得条件数据是否对应于所读取的复原滤波器信息数据。
即，在图像取得条件分析部74中，基于图像取得条件数据以及复原滤波器信息数据，判定在复原滤波器存储部49中存储的理想滤波器是否对应于在原图像数据的摄影取得中使用的光学系统。例如，也可以判定在原图像数据的摄影取得中使用的透镜16是否对应于在复原滤波器存储部49中存储的理想滤波器设为对象的透镜。此外，也可以判定在原图像数据的摄影取得中使用的F值是否对应于将在复原滤波器存储部49中存储的理想滤波器设为对象的F值。
该判定结果作为图像取得条件分析数据，从滤波器选择部72发送到滤波器选择部72。
滤波器选择部72基于来自图像取得条件分析部74的图像取得条件分析数据，选择复原滤波器。例如，在根据图像取得条件分析数据而判定为在复原滤波器存储部49中存储的理想滤波器对应于在摄影取得中使用的光学系统的情况下，滤波器选择部72选择理想滤波器作为复原滤波器。另一方面，在判定为在复原滤波器存储部49中存储的理想滤波器不对应于在摄影取得中使用的光学系统的情况下，滤波器选择部72选择组合滤波器作为复原滤波器。
滤波器选择部72中的复原滤波器的选择结果作为滤波器选择数据，发送到运算处理部48。
另外，滤波器选择部72中的复原滤波器的选择既可以针对每个原图像数据进行(参照变形例1)，也可以针对构成原图像数据的每个像素进行(参照变形例2)。
运算处理部48针对每个原图像数据或者针对构成原图像数据的每个像素进行使用了由滤波器选择部72选择的复原滤波器的复原处理，取得恢复图像数据并输出。
如以上所说明地，根据本例，能够根据透镜种类、光圈值(F值)等图像取得条件，切换复原滤波器而进行复原处理。例如，关于根据与设想能够通过理想滤波器来对应的图像取得条件不同的条件而摄影取得的原图像数据，存在由于基于理想滤波器的复原处理而产生振铃的发生、折迭噪声的增强等的设想外的图像劣化的可能性。但是，根据本例，在理想滤波器和图像取得条件不对应的情况下，进行使用了组合滤波器的复原处理，因此能够有效地抑制振铃的发生、折迭噪声的增强等的设想外的图像劣化。
＜变形例5＞
在本变形例中，对于与上述的变形例1～4相同的结构以及作用省略说明。
在上述的变形例1～4中，说明了设置有图像分析部71以及图像取得条件分析部74中的任一个的例子，但也可以设置有图像分析部71以及图像取得条件分析部74这两者。
即，也可以是，在点像复原处理部36中设置有图像分析部71(参照图15以及图17)、图像取得条件分析部74以及滤波器信息存储部75(参照图18)，图像分析数据以及图像取得条件分析数据被发送到滤波器选择部72。
此时，滤波器选择部72基于图像分析数据以及图像取得条件分析数据这两者，选择在复原处理中使用的复原滤波器。例如，也可以在“虽然对应于在复原滤波器存储部49中存储的理想滤波器作为对象的透镜，但在图像中(边缘部分等)包括饱和像素的情况下”，选择组合滤波器作为复原滤波器，此外，也可以在“在复原滤波器存储部49中存储的理想滤波器不对应于作为对象的透镜的情况下”，即使是在图像中(边缘部分等)不包括饱和像素的情况下，也选择组合滤波器作为复原滤波器。
运算处理部48针对每个原图像数据或者针对构成原图像数据的每个像素进行使用了由滤波器选择部72选择的复原滤波器的复原处理，取得恢复图像数据并输出。
＜其他变形例＞
进行上述的点像复原处理的定时并不特别限定。在图像处理部35中，进行各种图像处理，例如，如图19所示，通过去马赛克处理P30而根据RAW图像数据来生成去马赛克图像数据，通过亮度变换处理P40而根据去马赛克图像数据来生成亮度数据(例如，“YCbCr信号”中的“Y”信号)。在这样的一系列的图像处理中，也可以对“去马赛克处理P30前的RAW图像数据(阶段P1)”、“去马赛克处理P30后且亮度变换处理P40前的去马赛克图像数据(阶段P2)”或者“亮度变换处理P40后的亮度数据(阶段P)”中的任一个进行点像复原处理。
此外，在上述的例子中，作为摄像元件26的颜色滤波器排列，例示了拜耳排列(参照图9)，但摄像元件26的颜色滤波器排列并不特别限定，例如摄像元件26也可以具有图20所示的颜色滤波器排列(“X-Trans(注册商标)”)。图20所示的颜色滤波器排列具有由与6个像素(水平方向H)×6个像素(垂直方向V)对应的正方形排列图案构成的基本排列图案P，该基本排列图案P沿水平方向H以及垂直方向V重复排列多个而构成摄像元件26的颜色滤波器。
在图20所示的颜色滤波器排列的各基本排列图案P中，3个像素(水平方向H)×3个像素(垂直方向V)的第一子排列和3个像素(水平方向H)×3个像素(垂直方向V)的第二子排列沿水平方向H以及垂直方向V相邻配置。在第一子排列以及第二子排列中，G滤波器分别配置在四角和中央，在两个对角线上配置有G滤波器。在第一子排列中，R滤波器隔着中央的G滤波器而沿水平方向H设置，B滤波器隔着中央的G滤波器而沿垂直方向V设置。另一方面，在第二子排列中，B滤波器隔着中央的G滤波器而沿水平方向H设置，R滤波器隔着中央的G滤波器而沿垂直方向V设置。这样一来，在第一子排列和第二子排列之间，R滤波器和B滤波器的位置关系相反，但G滤波器的配置相同。
在图20所示的颜色滤波器排列中，与通常最有助于获得亮度信号的颜色(绿)对应的G滤波器在颜色滤波器排列的水平方向H、垂直方向V、斜右上方向NE以及斜左上方向NW上的各线内配置有1个以上，因此能够与成为高频的方向无关地提高高频区域中的去马赛克处理的再现精度。
此外，颜色滤波器排列(摄像元件的像素排列)的排列方向并不特别限定，也可以是相对于图9以及图20的水平方向H以及垂直方向V具有任意的角度的方向。例如，也可以是使沿水平方向H以及垂直方向V呈二维地排列的多个像素(颜色滤波器)旋转了45度的所谓“蜂窝型的排列”。此外，也可以使用RGB以外的颜色的颜色滤波器，例如，也可以将供红波长域的光、蓝波长域的光以及绿波长域的光中的任一个透射的滤波器，且是在这些波长域中具有比较高的光透射率(例如，70％以上的光透射率)的透明滤波器或具有比透明滤波器低的透射率的所谓白色滤波器用作颜色滤波器。
此外，上述的数码相机10只不过是例示，也能够将本发明应用于其他结构。各功能结构能够通过任意的硬件、软件或者两者的组合来适当实现。因此，例如，也能够将本发明应用于使计算机执行上述的各装置以及处理部(点像复原处理部36、滤波器生成装置40等)中的处理步骤的程序。
＜对于EDoF系统的应用例＞
上述的实施方式中的复原处理是，根据特定的摄影条件(例如，光圈值、F值、焦点距离、透镜种类等)对点扩散(点像模糊)进行恢复修正从而复原原来的被摄体像的图像处理，但能够应用本发明的图像复原处理并不限定于上述的实施方式中的复原处理。例如，也能够将本发明的复原处理应用到针对通过具有被扩大的视野(焦点)深度(EDoF：Extended Depth of Field(Focus)，扩展景深(焦点))的光学系统(摄影透镜等)而摄影取得的图像数据的复原处理。通过针对由EDoF光学系统在视野深度(焦点深度)被扩大的状态下摄影取得的模糊图像的图像数据进行复原处理，能够复原生成在宽范围中焦点对准的状态的高分辨率的图像数据。此时，进行使用了复原滤波器的复原处理，该复原滤波器基于EDoF光学系统的点扩散函数(PSF、OTF、MTF、PTF等)，并且具有设定为能够在被扩大的视野深度(焦点深度)的范围内进行良好的图像复原的滤波器系数。
以下，说明与经由EDoF光学系统而摄影取得的图像数据的复原相关的系统(EDoF系统)的一例。另外，在以下所示的例子中，说明针对根据去马赛克处理后的图像数据(RGB数据)而获得的亮度信号(Y数据)进行复原处理的例子，但进行复原处理的定时并不特别限定，例如，也可以对“去马赛克处理前的图像数据(马赛克图像数据)”、“去马赛克处理后且亮度信号变换处理前的图像数据(去马赛克图像数据)”进行复原处理。
图21是表示具有EDoF光学系统的摄像模块101的一个方式的框图。本例的摄像模块(数码相机等)101包括EDoF光学系统(透镜单元)110、摄像元件112、AD转换部114以及复原处理块(图像处理部)120。
图22是表示EDoF光学系统110的一例的图。本例的EDoF光学系统110包括单焦点的固定的摄影透镜110A以及配置在光瞳位置的光学滤波器111。光学滤波器111是对相位进行调制的器件，将EDoF光学系统110(摄影透镜110A)进行EDoF化，以便获得被扩大的视野深度(焦点深度)(EDoF)。由此，摄影透镜110A以及光学滤波器111构成对相位进行调制而使视野深度扩大的透镜部。
另外，EDoF光学系统110根据需要而包括其他结构要素，例如在光学滤波器111的附近配置有光圈(省略图示)。此外，光学滤波器111既可以是1张，也可以组合多张。此外，光学滤波器111只不过是光学性相位调制构件的一例，EDoF光学系统110(摄影透镜110A)的EDoF化也可以通过其他构件来实现。例如，也可以代替设置光学滤波器111，通过透镜设计为具有与本例的光学滤波器111相同的功能的摄影透镜110A来实现EDoF光学系统110的EDoF化。
即，能够通过使向摄像元件112的受光面的成像的波面变化的各种构件来实现EDoF光学系统110的EDoF化。例如，可采用“厚度变化的光学元件”、“折射率变化的光学元件(折射率分布型波面调制透镜等)”、“通过对于透镜表面的编码等而使厚度、折射率变化的光学元件(波面调制混合透镜、作为相位面而形成在透镜面上的光学元件等)”、“能够对光的相位分布进行调制的液晶元件(液晶空间相位调制元件等)”作为EDoF光学系统110的EDoF化构件。这样一来，不仅可以针对能够通过光波面调制元件(光学滤波器111(相位板))形成规则地分散的图像的情形应用本发明，也可以针对不使用光波面调制元件而是通过摄影透镜110A自身来形成与使用了光波面调制元件时相同的分散图像的情形应用本发明。
由于图22所示的EDoF光学系统110能够省略机械地进行焦点调节的焦点调节机构，因此能够进行小型化，能够适合搭载于附带相机的移动电话、移动信息终端。
通过了进行EDoF化的EDoF光学系统110后的光学像在如图21所示的摄像元件112中成像，并在此转换为电信号。
摄像元件112由以预定的图案排列(拜耳排列、G条纹R/G完全黑白方格、X-Trans排列、蜂窝排列等)呈矩阵状配置的多个像素构成，各像素包括微透镜、颜色滤波器(本例中RGB颜色滤波器)以及光电二极管而构成。经由EDoF光学系统110入射到摄像元件112的受光面的光学像通过在其受光面排列的各光电二极管而转换为与入射光量对应的量的信号电荷。并且，在各光电二极管中蓄积的R/G/B的信号电荷作为每个像素的电压信号(图像信号)而依次输出。
AD转换部114将从摄像元件112按每个像素输出的模拟的R/G/B图像信号转换为数字的RGB图像信号。由AD转换部114转换为数字的图像信号的数字图像信号被施加到复原处理块120。
复原处理块120例如包括黑电平调整部122、白平衡增益部123、伽马处理部124、去马赛克处理部125、RGB/YCrCb变换部126以及Y信号复原处理部127。
黑电平调整部122对从AD转换部114输出的数字图像信号实施黑电平调整。黑电平调整可采用公知的方法。例如，在着眼于某有效光电转换元件的情况下，求出与在包括该有效光电转换元件的光电转换元件行中包含的多个OB光电转换元件各自对应的暗电流量取得用信号的平均，并从与该有效光电转换元件对应的暗电流量取得用信号减去该平均，从而进行黑电平调整。
白平衡增益部123进行与调整了黑电平数据的数字图像信号中包含的RGB各色信号的白平衡增益对应的增益调整。
伽马处理部124进行伽马校正，该伽马校正以白平衡调整后的R、G、B图像信号成为期望的伽马特性的方式进行半色调等的灰度校正。
去马赛克处理部125对伽马校正后的R、G、B图像信号实施去马赛克处理。具体而言，去马赛克处理部125通过对R、G、B的图像信号实施颜色插值处理，生成从摄像元件112的各受光像素输出的一组图像信号(R信号、G信号、B信号)。即，在颜色去马赛克处理前，来自各受光像素的像素信号是R、G、B的图像信号中的任一个，但在颜色去马赛克处理后，输出与各受光像素对应的R、G、B信号的3个像素信号的组。
RGB/YCrCb变换部126将进行了去马赛克处理的每个像素的R、G、B信号变换为亮度信号Y和色差信号Cr、Cb，输出每个像素的亮度信号Y以及色差信号Cr、Cb。
Y信号复原处理部127基于预先存储的复原滤波器，对来自RGB/YCrCb变换部126的亮度信号Y进行复原处理。复原滤波器例如由具有7×7的核心尺寸的去卷积核心(对应于M＝7、N＝7的抽头数)和对应于该去卷积核心的运算系数(对应于复原增益数据、滤波器系数)构成，使用于光学滤波器111的相位调制量的去卷积处理(去卷积运算处理)。另外，在复原滤波器中，与光学滤波器111对应的滤波器存储在未图示的存储器(例如，附设Y信号复原处理部127的存储器)中。此外，去卷积核心的核心尺寸并不限定于7×7。
接着，说明基于复原处理块120的复原处理。图23是表示图21所示的复原处理块120中的复原处理的一例的流程图。
从AD转换部114向黑电平调整部122的一方的输入施加数字图像信号，向另一方的输入施加黑电平数据，黑电平调整部122从数字图像信号减去黑电平数据，并将减去了黑电平数据的数字图像信号输出到白平衡增益部123(步骤S1)。由此，在数字图像信号中不包括黑电平分量，表示黑电平的数字图像信号成为0。
针对黑电平调整后的图像数据，依次实施基于白平衡增益部123、伽马处理部124的处理(步骤S2以及S3)。
进行了伽马校正的R、G、B信号在去马赛克处理部125中进行了去马赛克处理之后，在RGB/YCrCb变换部126中变换为亮度信号Y和色度信号Cr、Cb(步骤S4)。
Y信号复原处理部127对亮度信号Y进行实施EDoF光学系统110的光学滤波器111的相位调制量的去卷积处理的复原处理(步骤S5)。即，Y信号复原处理部127进行与以任意的处理对象的像素为中心的预定单位的像素群对应的亮度信号(这里，7×7像素的亮度信号)和预先在存储器等中存储的复原滤波器(7×7的去卷积核心和其运算系数)的去卷积处理(去卷积运算处理)。Y信号复原处理部127以覆盖摄像面的整个区域的方式重复该预定单位的每个像素群的去卷积处理，由此进行消除图像整体的像模糊的复原处理。复原滤波器根据实施去卷积处理的像素群的中心的位置而确定。即，对接近的像素群应用共用的复原滤波器。为了进一步简化复原处理，优选对全部像素群应用共用的复原滤波器。
如图24(a)所示，通过了EDoF光学系统110后的亮度信号的点像(光学像)作为较大的点像(模糊的图像)而在摄像元件112中成像，但通过在Y信号复原处理部127中的去卷积处理，如图24(b)所示，复原为较小的点像(高分辨率的图像)。
如上所述，通过对去马赛克处理后的亮度信号实施复原处理，不需要使RGB分别具有复原处理的参数，能够使复原处理高速化。此外，不是将与位于分散的位置的R/G/B的像素对应的R/G/B的图像信号分别汇总为1个单位而进行去卷积处理，而是将接近的像素的亮度信号彼此汇总为预定的单位，对该单位应用共用的复原滤波器而进行去卷积处理，因此复原处理的精度提高。另外，对于色差信号Cr/Cb，在基于人眼的视觉的特性上，即使不利用复原处理来提高分辨率，在画质上也被允许。此外，在以JPEG这样的压缩格式来记录图像的情况下，色差信号以比亮度信号高的压缩率被压缩，因此缺乏利用复原处理来提高分辨率的必要性。这样一来，能够同时实现复原精度的提高、处理的简化以及高速化。
对如以上所说明的EDoF系统的复原处理，也能够应用本发明的各实施方式的点像复原处理。即，也能够将上述的各实施方式的点像复原处理部36的复原处理应用到本EDoF系统的Y信号复原处理部127的复原处理，将在Y信号复原处理部127中使用的复原滤波器“以与基于点扩散函数的理想滤波器(维纳滤波器等)相拟合的方式，组合多个基底滤波器而生成”，或者“将在针对原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不造成振铃的多个基底滤波器组合而生成”，或者“将在针对原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不增强折迭噪声的多个基底滤波器组合而生成”。
另外，在上述的各实施方式中，说明了点像复原处理部36设置在数码相机10的相机主体14(相机主体控制器28)的方式，但点像复原处理部36也可以设置在计算机60或服务器80等其他装置中。
例如，在计算机60中对图像数据进行加工时，也可以通过在计算机60中设置的点像复原处理部来进行该图像数据的点像复原处理。此外，在服务器80具有点像复原处理部的情况下，例如也可以是，从数码相机10或计算机60对服务器80发送图像数据，在服务器80的点像复原处理部中对该图像数据进行点像复原处理，并将点像复原处理后的图像数据(恢复图像数据)发送/提供给发送源。
此外，能够应用本发明的方式并不限定于数码相机10、计算机60以及服务器80，除了以摄像作为主要的功能的相机类之外，还能够应用于在摄像功能的基础上还具有摄像以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类。作为能够应用本发明的其他方式，例如，列举出具有相机功能的移动电话机或智能手机、PDA(个人数字助理(Personal Digital Assistants))、便携式游戏机。以下，说明能够应用本发明的智能手机的一例。
＜智能手机的结构＞
图25是表示作为本发明的摄影装置的一实施方式的智能手机201的外观的图。图25所示的智能手机201具有平板状的壳体202，在壳体202的一个面具备作为显示部的显示面板221和作为输入部的操作面板222一体地形成的显示输入部220。此外，上述的壳体202包括扬声器231、话筒232、操作部240以及相机部241。另外，壳体202的结构并不限定于此，例如也可以采用显示部和输入部独立的结构，或者采用具有折叠结构或滑动机构的结构。
图26是表示图25所示的智能手机201的结构的框图。如图26所示，作为智能手机的主要的结构元素，包括无线通信部210、显示输入部220、通话部230、操作部240、相机部241、存储部250、外部输入输出部260、GPS(Global Positioning System，全球定位系统)接收部270、运动传感器部280、电源部290以及主控制部200。此外，作为智能手机201的主要的功能，包括与基站装置BS进行经由移动通信网NW的移动无线通信的无线通信功能。
无线通信部210根据主控制部200的指示，对容纳在移动通信网NW中的基站装置BS进行无线通信。使用上述的无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的发送接收、Web数据和流数据等的接收。
显示输入部220是通过主控制部200的控制，显示图像(静止图像以及运动图像)或字符信息等而在视觉上向用户传递信息并且检测针对所显示的信息的用户操作的所谓的触摸面板，包括显示面板221和操作面板222。
显示面板221将LCD(Liquid Crystal Display，液晶显示器)、OELD(Organic Electro-Luminescence Display，有机电致发光显示器)等用作显示器件。操作面板222是以能够对在显示面板221的显示面上显示的图像进行目视确认的方式放置，并检测通过用户的手指或尖笔操作的一个或者多个坐标的器件。如果通过用户的手指或尖笔操作该器件，则将因操作而产生的检测信号输出到主控制部200。接着，主控制部220基于接收到的检测信号，检测显示面板221上的操作位置(坐标)。
如图25所示，作为本发明的摄影装置的一实施方式而例示的智能手机201的显示面板221和操作面板222成为一体而构成显示输入部220，但也可以成为操作面板222完全覆盖显示面板221的配置。在采用了上述的配置的情况下，操作面板222也可以具备对显示面板221外的区域也检测用户操作的功能。换言之，操作面板222也可以包括针对与显示面板221重叠的重叠部分的检测区域(以下，称为显示区域)和针对除此以外的与显示面板221不重叠的外缘部分的检测区域(以下，称为非显示区域)。
另外，也可以使显示区域的大小和显示面板221的大小完全一致，但不需要使两者必须一致。此外，操作面板222也可以具有外缘部分和除此以外的内侧部分这2个感应区域。进一步，外缘部分的宽度根据壳体202的大小等而适当设计。进而，作为在操作面板222中采用的位置检测方式，列举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，能够采用任一种方式。
通话部230包括扬声器231、话筒232，将通过话筒232输入的用户的声音转换为能够在主控制部200中处理的声音数据而输出到主控制部200，或者对由无线通信部210或者外部输入输出部260接收到的声音数据进行解码并从扬声器231输出。此外，如图25所示，例如，能够将扬声器231安装在与设置有显示输入部220的面相同的面，话筒232安装在壳体202的侧面。
操作部240是使用了键开关等的硬件键，受理来自用户的指示。例如，如图25所示，操作部240是如下的按钮式的开关，即安装在智能手机201的壳体202的侧面，当被手指等按下时接通，当挪走手指时通过弹簧等的恢复力而成为断开状态。
存储部250存储主控制部200的控制程序和控制数据、应用软件、将通信对方的名称和电话号等建立对应的地址数据、发送接收的电子邮件的数据、通过Web浏览而下载的Web数据、下载的内容数据，此外，还临时存储流数据等。此外，存储部250由智能手机内置的内部存储部251和具有装卸自如的外部存储器槽的外部存储部252构成。另外，构成存储部250的各个内部存储部251和外部存储部252使用闪速存储器式(flash memory type)、硬盘式(hard disk type)、多媒体卡微式(multimedia card micro type)、卡式的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Access Memory，随机存取存储器)、ROM(Read Only Memory，只读存储器)等存储介质而实现。
外部输入输出部260起到与连接到智能手机201的全部外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或者网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(射频识别(Radio Frequency Identification))、红外线通信(Infrared Data Association：IrDA，红外数据联盟)(注册商标)、UWB(Ultra Wideband，超宽带)(注册商标)、ZigBee(注册商标)等)直接或者间接地连接到其他外部设备。作为连接到智能手机201的外部设备，例如有经由有/无线头组、有/无线外部充电器、有/无线数据端口、印刷电路板座(card socket)而连接的存储卡(Memory card)或SIM(用户识别模块卡(Subscriber Identity Module Card))/UIM(用户身份模块卡(User Identity Module Card))卡、经由音频视频I/O(输入/输出(Input/Output))端子而连接的外部音频视频设备、无线连接的外部音频视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部能够进行将这样从外部设备接受传送的数据传递到智能手机201内部的各结构元素、将智能手机200的内部的数据传送到外部设备。
GPS接收部270根据主控制部200的指示，接收从GPS卫星ST1～STn发送的GPS信号，并执行基于接收到的多个GPS信号的测位运算处理，检测由智能手机201的纬度、经度、高度构成的位置。GPS接收部270在能够从无线通信部210、外部输入输出部260(例如，无线LAN)取得位置信息时，还能够使用该位置信息来检测位置。
运动传感器部280具有例如3轴的加速度传感器等，根据主控制部200的指示，检测智能手机201的物理上的动作。通过检测智能手机201的物理上的动作，检测出智能手机200移动的方向和加速度。该检测结果输出到主控制部200。
电源部290根据主控制部200的指示，对智能手机201的各部分供给在电池(未图示)中蓄积的电力。
主控制部200具有微处理器，根据存储部250存储的控制程序、控制数据而动作，集中控制智能手机201的各部分。此外，主控制部200为了通过无线通信部210而进行声音通信和数据通信，具有控制通信系统的各部分的移动通信控制功能和应用处理功能。
应用处理功能通过根据存储部250存储的应用软件使主控制部200动作而实现。作为应用处理功能，例如有控制外部输入输出部260而与对向设备进行数据通信的红外线通信功能、进行电子邮件的发送接收的电子邮件功能、阅览Web网页的Web浏览功能等。
此外，主控制部200具有基于接收数据和下载的流数据等图像数据(静止图像和运动图像的数据)，将影像在显示输入部220中显示等图像处理功能。图像处理功能是指，主控制部200对上述图像数据进行解码，对该解码结果实施图像处理，并将图像在显示输入部220中显示的功能。
进而，主控制部200执行对显示面板221的显示控制以及检测通过操作部240、操作面板222进行的用户操作的操作检测控制。
通过显示控制的执行，主控制部200显示用于启动应用软件的图标、滚动条等软件键，或者显示用于制作电子邮件的窗口。另外，滚动条是指，用于对于没有完全容纳在显示面板221的显示区域中的较大的图像等，接收使图像的显示部分移动的指示的软件键。
此外，通过操作检测控制的执行，主控制部200检测通过操作部240进行的用户操作，或者通过操作面板222接收对上述图标的操作、对上述窗口的输入栏的字符串的输入，或者接收通过滚动条进行的显示图像的滚动请求。
进而，通过操作检测控制的执行，主控制部200具有如下触摸面板控制功能，即判定对于操作面板222的操作位置是与显示面板221重叠的重叠部分(显示区域)还是除此以外的与显示面板221不重叠的外缘部分(非显示区域)，并对操作面板222的感应区域、软件键的显示位置进行控制。
此外，主控制部200还能够检测对操作面板222的手势操作，并根据检测到的手势操作来执行预先设定的功能。手势操作不是现有的单纯的触摸操作，而是指通过手指等而描画轨迹、同时指定多个位置或者将这些进行组合而从多个位置对至少一个描画轨迹的操作。
相机部241是使用CMOS(Complementary Metal OxideSemiconductor，互补式金属氧化物半导体)或CCD(Charge-CoupledDevice，电荷耦合器件)等摄像元件进行电子摄影的数码相机。此外，相机部241能够通过主控制部200的控制而将通过摄影所得到的图像数据例如转换为JPEG(Joint Photographic coding Experts Group，联合图像专家组)等压缩的图像数据，并记录于存储部250，或者通过输入输出部260、无线通信部210而输出。在图25所示的智能手机201中，相机部241安装在与显示输入部220相同的面，但相机部241的安装位置并不限定于此，也可以安装在显示输入部220的背面，或者，也可以安装多个相机部241。此外，在安装有多个相机部241的情况下，也能够切换用于摄影的相机部241而单独进行摄影，或者同时使用多个相机部241而进行摄影。
此外，相机部241能够用于智能手机201的各种功能。例如，能够在显示面板221显示由相机部241取得的图像、作为操作面板222的操作输入之一而利用相机部241的图像。此外，在GPS接收部270检测位置时，还能够参照来自相机部241的图像而检测位置。进而，还能够参照来自相机部241的图像而不使用三轴加速度传感器，或者与三轴加速度传感器并用而判断智能手机201的相机部241的光轴方向、判断当前的使用环境。当然，还能够在应用软件内利用来自相机部241的图像。
除此之外，还能够在静止画面或者动态画面的图像数据中附加由GPS接收部270取得的位置信息、由话筒232取得的声音信息(也可以由主控制部等进行声音文本转换而成为文本信息)、由运动传感器部280取得的姿势信息等并记录于存储部250，或者通过输入输出部360、无线通信部210而输出。
在上述的智能手机201中，与点像复原处理相关联的上述的各处理部例如能够通过主控制部200、存储部250等适当实现。
本发明并不限定于上述的实施方式，在不脱离本发明的精神的范围内当然能够进行各种变形。
标号说明
10…数码相机、12…透镜单元、14…相机主体、16…透镜、18…光学系统操作部、20…透镜单元控制器、22…透镜单元输入输出部、26…摄像元件、28…相机主体控制器、30…相机主体输入输出部、32…输入输出接口、34…器件控制部、35…图像处理部、36…点像复原处理部、40…滤波器生成装置、42…基底滤波器存储部、44…理想滤波器计算部、46…复原滤波器生成部、48…运算处理部、49…复原滤波器存储部、50…PSF信息取得部、52…颜色滤波器排列特性取得部、54…图像信息取得部、60…计算机、62…计算机输入输出部、64…计算机控制器、66…显示器、70…互联网、71…图像分析部、72…滤波器选择部、73…边缘检测部、74…图像取得条件分析部、75…滤波器信息存储部、80…服务器、82…服务器输入输出部、84…服务器控制器、101…摄像模块、110…EDoF光学系统、110A…摄影透镜、111…光学滤波器、112…摄像元件、114…AD转换部、120…复原处理块、122…黑电平调整部、123…白平衡增益部、124…伽马处理部、125…去马赛克处理部、126…RGB/YCrCb变换部、127…Y信号复原处理部、200…主控制部、201…智能手机、202…壳体、210…无线通信部、220…显示输入部、221…显示面板、222…操作面板、230…通话部、231…扬声器、232…话筒、240…操作部、241…相机部、250…存储部、251…内部存储部、252…外部存储部、260…外部输入输出部、270…GPS接收部、280…运动传感器部、290…电源部。

Claims (27)

1.一种图像处理装置，针对通过使用了光学系统的摄影而从摄像元件获得的原图像数据，进行使用了基于所述光学系统的点扩散函数的复原滤波器的复原处理，从而获得恢复图像数据，其中，
所述复原滤波器包括组合滤波器，该组合滤波器以与基于所述点扩散函数的理想滤波器相拟合的方式组合多个基底滤波器而生成。
2.根据权利要求1所述的图像处理装置，其中，
所述多个基底滤波器是在针对所述原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不造成振铃的滤波器。
3.根据权利要求1所述的图像处理装置，其中，
所述多个基底滤波器是在针对所述原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不增强折迭噪声的滤波器。
4.一种图像处理装置，针对通过使用了光学系统的摄影而从摄像元件获得的原图像数据，进行使用了基于所述光学系统的点扩散函数的复原滤波器的复原处理，从而获得恢复图像数据，其中，
所述复原滤波器包括将在针对所述原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不造成振铃的多个基底滤波器组合而生成的组合滤波器。
5.一种图像处理装置，针对通过使用了光学系统的摄影而从摄像元件获得的原图像数据，进行使用了基于所述光学系统的点扩散函数的复原滤波器的复原处理，从而获得恢复图像数据，其中，
所述复原滤波器包括将在针对所述原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不增强折迭噪声的多个基底滤波器组合而生成的组合滤波器。
6.根据权利要求1至5中的任一项所述的图像处理装置，其中，
包括：图像信息取得部，取得图像信息，该图像信息包括分析所述原图像数据而取得的图像分析数据以及表示所述原图像数据的取得条件的图像取得条件数据中的至少任一个；
滤波器选择部，基于所述图像信息而选择所述复原滤波器；以及
复原运算部，对所述原图像数据进行使用了由所述滤波器选择部选择的所述复原滤波器的复原处理而获得恢复图像数据，
所述复原滤波器包括基于所述点扩散函数的理想滤波器和所述组合滤波器，
所述滤波器选择部基于所述图像信息，选择所述理想滤波器以及所述组合滤波器中的任一个，作为在所述复原处理中使用的所述复原滤波器。
7.根据权利要求6所述的图像处理装置，其中，
所述图像信息取得部取得包括所述图像分析数据的所述图像信息，所述图像分析数据表示像素值饱和的像素数据或者具有比阈值大的像素值的像素数据是否包含在所述原图像数据中，
在所述图像分析数据表示像素值饱和的像素数据或者具有比阈值大的像素值的像素数据包含在所述原图像数据中的情况下，所述滤波器选择部选择所述组合滤波器，
在所述图像分析数据不表示像素值饱和的像素数据或者具有比阈值大的像素值的像素数据包含在所述原图像数据中的情况下，所述滤波器选择部选择所述理想滤波器。
8.根据权利要求6或7所述的图像处理装置，其中，
还包括边缘检测部，该边缘检测部检测所述原图像数据的图像中的边缘部分，
所述图像信息取得部取得包括所述图像分析数据的所述图像信息，所述图像分析数据表示像素值饱和的像素数据或者具有比阈值大的像素值的像素数据是否包含在所述原图像数据中的所述边缘部分中，
在所述图像分析数据表示像素值饱和的像素数据或者具有比阈值大的像素值的像素数据包含在所述原图像数据中的所述边缘部分中的情况下，所述滤波器选择部选择所述组合滤波器，
在所述图像分析数据不表示像素值饱和的像素数据或者具有比阈值大的像素值的像素数据包含在所述原图像数据中的所述边缘部分中的情况下，所述滤波器选择部选择所述理想滤波器。
9.根据权利要求6所述的图像处理装置，其中，
所述图像信息取得部取得包括表示所述光学系统的信息的所述图像取得条件数据的所述图像信息，
在所述理想滤波器对应于所述光学系统的情况下，所述滤波器选择部选择所述理想滤波器，
在所述理想滤波器不对应于所述光学系统的情况下，所述滤波器选择部选择所述组合滤波器。
10.根据权利要求6至9中的任一项所述的图像处理装置，其中，
所述滤波器选择部针对每个所述原图像数据，选择所述理想滤波器以及所述组合滤波器中的任一个，作为在所述复原处理中使用的复原滤波器。
11.根据权利要求6至9中的任一项所述的图像处理装置，其中，
所述滤波器选择部基于与所述原图像数据中的关注像素以及该关注像素的周边像素相关的所述图像信息，针对构成所述原图像数据的每个像素数据，选择所述理想滤波器以及所述组合滤波器中的任一个，作为在对所述关注像素的所述复原处理中使用的复原滤波器。
12.根据权利要求1至11中的任一项所述的图像处理装置，其中，
所述摄像元件具备多个颜色的颜色滤波器，
所述复原滤波器具有与所述颜色滤波器的排列对应的频率特性。
13.根据权利要求1至12中的任一项所述的图像处理装置，其中，
所述多个基底滤波器各自的频率特性彼此不同，
所述组合滤波器根据所述多个基底滤波器的线性和而获得。
14.根据权利要求13所述的图像处理装置，其中，
通过最小平方法而计算针对各个所述多个基底滤波器的加权系数。
15.根据权利要求1至14中的任一项所述的图像处理装置，其中，
所述多个基底滤波器是具有轮廓校正的频率特性的滤波器。
16.根据权利要求1至15中的任一项所述的图像处理装置，其中，
所述复原滤波器具有与所述原图像数据的像素数对应的滤波器系数。
17.根据权利要求1至16中的任一项所述的图像处理装置，其中，
所述光学系统具有透镜部，该透镜部通过对相位进行调制而使视野深度扩大。
18.一种摄影装置，包括：
输出经由光学系统而受光的被摄体像的原图像数据的摄像元件；以及
权利要求1至17中的任一项所述的图像处理装置。
19.一种滤波器生成装置，生成在复原处理中使用的复原滤波器，该复原处理是为了根据原图像数据来获得恢复图像数据而进行的，该原图像数据通过使用了光学系统的摄影而从摄像元件获得，其中，
所述滤波器生成装置包括：
存储部，存储多个基底滤波器；
理想滤波器计算部，计算基于所述光学系统的点扩散函数的理想滤波器；以及
复原滤波器生成部，以与所述理想滤波器相拟合的方式组合所述多个基底滤波器而生成所述复原滤波器。
20.一种滤波器生成装置，生成在复原处理中使用的复原滤波器，该复原处理是为了根据原图像数据来获得恢复图像数据而进行的，该原图像数据通过使用了光学系统的摄影而从摄像元件获得，其中，
所述滤波器生成装置包括：存储部，存储多个基底滤波器；以及
复原滤波器生成部，组合所述多个基底滤波器而生成所述复原滤波器，
所述复原滤波器是将在针对所述原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不造成振铃的多个基底滤波器组合而生成的。
21.一种滤波器生成装置，生成在复原处理中使用的复原滤波器，该复原处理是为了根据原图像数据来获得恢复图像数据而进行的，该原图像数据通过使用了光学系统的摄影而从摄像元件获得，其中，
所述滤波器生成装置包括：存储部，存储多个基底滤波器；以及
复原滤波器生成部，组合所述多个基底滤波器而生成所述复原滤波器，
所述复原滤波器是将在针对所述原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不增强折迭噪声的多个基底滤波器组合而生成的。
22.一种图像复原方法，
包括以下步骤：取得通过使用了光学系统的摄影而从摄像元件获得的原图像数据的步骤；以及
对原图像数据进行使用了基于所述光学系统的点扩散函数的复原滤波器的复原处理而获得恢复图像数据的步骤，
其中，所述复原滤波器包括以与基于所述点扩散函数的理想滤波器相拟合的方式组合多个基底滤波器而生成的组合滤波器。
23.一种图像复原方法，
包括以下步骤：取得通过使用了光学系统的摄影而从摄像元件获得的原图像数据的步骤；以及
对原图像数据进行使用了基于所述光学系统的点扩散函数的复原滤波器的复原处理而获得恢复图像数据的步骤，
其中，所述复原滤波器包括将在针对所述原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不造成振铃的多个基底滤波器组合而生成的组合滤波器。
24.一种图像复原方法，
包括以下步骤：取得通过使用了光学系统的摄影而从摄像元件获得的原图像数据的步骤；以及
对原图像数据进行使用了基于所述光学系统的点扩散函数的复原滤波器的复原处理而获得恢复图像数据的步骤，
其中，所述复原滤波器包括将在针对所述原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不增强折迭噪声的多个基底滤波器组合而生成的组合滤波器。
25.一种程序，用于使计算机执行如下步骤：
取得通过使用了光学系统的摄影而从摄像元件获得的原图像数据的步骤；以及
对原图像数据进行使用了基于所述光学系统的点扩散函数的复原滤波器的复原处理而获得恢复图像数据的步骤，
其中，所述复原滤波器包括以与基于所述点扩散函数的理想滤波器相拟合的方式组合多个基底滤波器而生成的组合滤波器。
26.一种程序，用于使计算机执行如下步骤：
取得通过使用了光学系统的摄影而从摄像元件获得的原图像数据的步骤；以及
对原图像数据进行使用了基于所述光学系统的点扩散函数的复原滤波器的复原处理而获得恢复图像数据的步骤，
其中，所述复原滤波器包括在针对所述原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不造成振铃的多个基底滤波器组合而生成的组合滤波器。
27.一种程序，用于使计算机执行如下步骤：
取得通过使用了光学系统的摄影而从摄像元件获得的原图像数据的步骤；以及
对原图像数据进行使用了基于所述光学系统的点扩散函数的复原滤波器的复原处理而获得恢复图像数据的步骤，
其中，所述复原滤波器包括将在针对所述原图像数据进行了单独使用各个基底滤波器的复原处理时所获得的恢复图像数据中不增强折迭噪声的多个基底滤波器组合而生成的组合滤波器。
CN201380073128.4A 2013-02-15 2013-04-26 图像处理装置、摄影装置、滤波器生成装置、图像复原方法以及程序 Active CN104995911B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-027876 2013-02-15
JP2013027876 2013-02-15
PCT/JP2013/062467 WO2014125659A1 (ja) 2013-02-15 2013-04-26 画像処理装置、撮像装置、フィルタ生成装置、画像復元方法及びプログラム

Publications (2)

Publication Number Publication Date
CN104995911A true CN104995911A (zh) 2015-10-21
CN104995911B CN104995911B (zh) 2017-02-22

Family

ID=51353682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380073128.4A Active CN104995911B (zh) 2013-02-15 2013-04-26 图像处理装置、摄影装置、滤波器生成装置、图像复原方法以及程序

Country Status (4)

Country Link
US (1) US9633417B2 (zh)
JP (1) JP5933105B2 (zh)
CN (1) CN104995911B (zh)
WO (1) WO2014125659A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106817535A (zh) * 2015-12-02 2017-06-09 佳能株式会社 图像处理装置、图像捕捉装置和图像处理方法
CN106993111A (zh) * 2016-01-21 2017-07-28 欧姆龙株式会社 摄像装置、摄像方法、摄像程序及记录介质
CN108605094A (zh) * 2016-02-26 2018-09-28 富士胶片株式会社 图像处理装置、摄像装置以及图像处理方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016052001A1 (ja) * 2014-09-30 2016-04-07 富士フイルム株式会社 画像処理装置、フィルタ取得装置、画像処理方法、フィルタ取得方法、プログラム及び記録媒体
JP6071974B2 (ja) * 2014-10-21 2017-02-01 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
CN104581100A (zh) * 2015-02-12 2015-04-29 张李静 色彩滤镜阵列和图像处理方法
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
US10257393B2 (en) * 2016-02-12 2019-04-09 Contrast, Inc. Devices and methods for high dynamic range video
US10002408B2 (en) * 2016-08-04 2018-06-19 Intel Corporation Restoring color and infrared images from mosaic data
EP3497925B1 (en) 2016-08-09 2022-11-23 Contrast, Inc. Real-time hdr video for vehicle control
CN106341670B (zh) 2016-11-29 2017-09-22 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106504218B (zh) 2016-11-29 2019-03-12 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106454054B (zh) 2016-11-29 2019-03-19 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106454288B (zh) 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置、成像装置及电子装置
JP6807281B2 (ja) * 2017-06-23 2021-01-06 株式会社日立製作所 撮像装置、撮像システム、及び撮像方法
US11074671B2 (en) 2017-12-18 2021-07-27 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
KR101882704B1 (ko) 2017-12-18 2018-07-27 삼성전자주식회사 전자 장치 및 그 제어 방법
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
KR20200080926A (ko) 2018-12-27 2020-07-07 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
US10853921B2 (en) 2019-02-01 2020-12-01 Samsung Electronics Co., Ltd Method and apparatus for image sharpening using edge-preserving filters

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1057361A (ja) * 1996-08-14 1998-03-03 Hitachi Medical Corp Ｘ線装置
US8588544B2 (en) * 2009-10-13 2013-11-19 Sony Corporation Method and system for reducing ringing artifacts of image deconvolution
US8587703B2 (en) * 2009-12-01 2013-11-19 Aptina Imaging Corporation Systems and methods for image restoration
JP2011150635A (ja) 2010-01-25 2011-08-04 Fujifilm Corp 画像復元方法および装置
WO2011122283A1 (ja) * 2010-03-31 2011-10-06 キヤノン株式会社 画像処理装置、およびそれを用いた撮像装置
WO2011122284A1 (ja) 2010-03-31 2011-10-06 キヤノン株式会社 画像処理装置、およびそれを用いた撮像装置
WO2011121763A1 (ja) * 2010-03-31 2011-10-06 キヤノン株式会社 画像処理装置、およびそれを用いた撮像装置
KR101229600B1 (ko) * 2010-05-14 2013-02-04 가시오게산키 가부시키가이샤 촬상 장치, 손떨림 보정 방법 및 기록 매체
JP5633218B2 (ja) * 2010-07-13 2014-12-03 富士通株式会社 画像処理装置、画像処理プログラム
JP5153846B2 (ja) 2010-09-28 2013-02-27 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及び、プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106817535A (zh) * 2015-12-02 2017-06-09 佳能株式会社 图像处理装置、图像捕捉装置和图像处理方法
CN106817535B (zh) * 2015-12-02 2020-05-19 佳能株式会社 图像处理装置、图像捕捉装置和图像处理方法
CN106993111A (zh) * 2016-01-21 2017-07-28 欧姆龙株式会社 摄像装置、摄像方法、摄像程序及记录介质
CN106993111B (zh) * 2016-01-21 2019-12-10 欧姆龙株式会社 摄像装置、摄像方法及记录介质
CN108605094A (zh) * 2016-02-26 2018-09-28 富士胶片株式会社 图像处理装置、摄像装置以及图像处理方法
CN108605094B (zh) * 2016-02-26 2019-08-06 富士胶片株式会社 图像处理装置、摄像装置以及图像处理方法
US10699387B2 (en) 2016-02-26 2020-06-30 Fujifilm Corporation Point image restoration device and method

Also Published As

Publication number Publication date
CN104995911B (zh) 2017-02-22
US9633417B2 (en) 2017-04-25
JPWO2014125659A1 (ja) 2017-02-02
JP5933105B2 (ja) 2016-06-08
US20150317776A1 (en) 2015-11-05
WO2014125659A1 (ja) 2014-08-21

Similar Documents

Publication Publication Date Title
CN104995911A (zh) 图像处理装置、摄影装置、滤波器生成装置、图像复原方法以及程序
CN104704806B (zh) 图像处理装置、摄像装置以及图像处理方法
CN104854858B (zh) 图像处理装置、摄像装置、计算机
CN105103534B (zh) 摄像装置及校准方法
CN104704807B (zh) 图像处理装置、摄像装置及图像处理方法
CN105075239B (zh) 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置以及记录介质
CN105453539B (zh) 图像处理装置、摄像装置及图像处理方法
CN105009563B (zh) 复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质
CN106134177B (zh) 图像处理装置、摄影装置、图像处理方法及图像处理程序
CN105009168A (zh) 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置、程序以及记录介质
CN104969545A (zh) 图像处理装置、摄像装置、图像处理方法以及程序
CN105453534B (zh) 图像处理装置及方法
CN105432069A (zh) 图像处理装置、摄像装置、图像处理方法及程序
US9984448B2 (en) Restoration filter generation device and method, image processing device and method, imaging device, and non-transitory computer-readable medium
CN105432068A (zh) 摄像装置、摄像方法及图像处理装置
CN105453540A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN106165392A (zh) 图像处理装置、摄影装置、图像处理方法及图像处理程序
CN106464798B (zh) 图像处理装置、摄像装置、图像处理方法以及记录介质
CN105122787A (zh) 摄像装置、校准系统、校准方法及程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant