CN105453539A - 图像处理装置、摄像装置、图像处理方法及程序 - Google Patents

图像处理装置、摄像装置、图像处理方法及程序 Download PDF

Info

Publication number
CN105453539A
CN105453539A CN201480043398.5A CN201480043398A CN105453539A CN 105453539 A CN105453539 A CN 105453539A CN 201480043398 A CN201480043398 A CN 201480043398A CN 105453539 A CN105453539 A CN 105453539A
Authority
CN
China
Prior art keywords
filter
image data
zoom
image
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480043398.5A
Other languages
English (en)
Other versions
CN105453539B (zh
Inventor
入江公祐
杉本雅彦
成濑洋介
林健吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN105453539A publication Critical patent/CN105453539A/zh
Application granted granted Critical
Publication of CN105453539B publication Critical patent/CN105453539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种能够抑制复原滤波器的数据量并以简单的处理结构执行的点像复原处理技术所涉及的图像处理装置、摄像装置、图像处理方法及程序。对通过利用光学系统进行的摄影而获取的原图像数据，适用基于光学系统的点扩散函数的复原滤波器，由此获取复原图像数据即S13：滤波器适用步骤。调整原图像数据与复原图像数据之间的差分的放大率，根据调整之后的差分及原图像数据获取恢复图像数据即S15：增益调整步骤。滤波器适用步骤中，将与光学系统的光学变焦的倍率值无关而确定的共同的滤波器用作复原滤波器，增益调整步骤中，根据光学系统的光学变焦的倍率确定放大率。

Description

图像处理装置、摄像装置、图像处理方法及程序
技术领域
本发明涉及一种基于点扩散函数的复原处理所涉及的图像处理装置、摄像装置、图像处理方法及程序。
背景技术
在经由光学系统而被拍摄的被摄体像中，由于由光学系统引起的衍射、像差等的影响，有时会出现点被摄体具有微小的扩散的点扩散现象。表示光学系统相对于点光源的响应的函数被称作点扩散函数(PSF：PointSpreadFunction)，作为表示摄影图像的分辨率劣化的参数而被公知。
由于该点扩散现象而画质劣化的摄影图像能够通过接受基于PSF的点像复原处理来恢复画质。点像复原处理是如下处理，即，预先求出由透镜的像差等引起的劣化特性(点像特性)，通过利用与该点像特性相应的复原滤波器的图像处理来消除摄影图像的点扩散。
在点像复原处理中使用的复原滤波器根据有可能对光学系统的PSF带来影响的各种条件要素(透镜种类、光圈值(F值)、变焦倍率、被摄体距离、像高等)设计。复原滤波器的条件要素的种类越增加，越能够进行严密的点像复原处理，但复原滤波器的数据量增大，复原滤波器的保存所需的存储容量变得庞大。并且，点像复原处理的滤波处理(反卷积运算)中需要高度的运算处理性能，尤其与近年的图像数据的高像素化相结合，点像复原处理的简化及高速化的重要性逐渐增加。
关于这种基于PSF的复原处理，例如，专利文献1中公开有根据指定尺寸对与数码变焦的倍率相应地修剪的图像进行缩放，并对该已缩放的图像进行复原处理的图像处理装置。并且，专利文献2中公开有对用能够进行动态图像及静态图像两者的摄影的相机进行摄影的图像适用恢复滤波器，由此降低模糊等图像劣化的图像处理控制方法。
以往技术文献
专利文献
专利文献1：日本特开2010-141661号公报
专利文献2：日本特开2011-10214号公报
发明内容
发明要解决的技术课题
如上所述，“复原处理的简化及高速化”的重要性增加，尤其在改变光学变焦倍率的同时进行摄影的图像的复原处理中，希望促进这种“复原处理的简化及高速化”。即，若光学变焦倍率发生变动，则摄影光学系统的PSF也发生变化，希望提出能够将伴随这种光学变焦倍率的变动的PSF变化反映于复原处理并且以简单的结构高速进行复原处理的新方法。这种复原处理方法在对动态图像及静态图像两者的复原处理中是有效的，在对变动光学变焦倍率的同时进行摄影的动态图像的复原处理中尤其有益。
然而，上述专利文献1及专利文献2中记载的装置及方法中，很难实现这种复原处理的简化及高速化。即，专利文献1的图像处理装置中，完全没有考虑伴随光学变焦倍率的变动的摄影光学系统的PSF的变化，专利文献1中完全没有与对改变光学变焦倍率的同时进行摄影的动态图像及静态图像的复原处理相关的记述。同样地，在专利文献2的图像处理控制方法中，也完全没有考虑伴随光学变焦倍率的变动的摄影光学系统的PSF的变化。专利文献2的说明书的0085段落中有与针对动态图像的复原处理的适用相关的记述，但专利文献2中仅仅是指点了“与光圈相比，通常固定变焦。因此，在与不同变焦对应的恢复滤波器中，优选从较早使用的滤波器开始删除”的内容，并未公开或暗示针对动态图像的复原处理的具体方法。尤其，通过伴随光学变焦倍率的变动的摄影获取的动态图像中包含摄影时的光学变焦倍率不同的图像(帧)，因此有可能混合有不同视场角的图像(广角图像/长焦图像)，但在如专利文献2中并没有与假想这种情况的复原处理相关的提示。
如此，根据专利文献1及专利文献2中记载的装置及方法，很难实现与光学变焦倍率的变化对应的复原处理的高速处理。
并且，针对动态图像的点像复原处理中，比针对静态图像的点像复原处理更要求处理的简化及高速化，另一方面，还要求满足在前后帧之间的平滑的画质连续性等特有的要求。即，在针对静态图像的点像复原处理中，检测进行摄影时的摄影条件，使用与该检测出的摄影条件对应的复原滤波器进行复原处理即可。而在针对动态图像的点像复原处理中，在摄影期间摄影条件有可能变动，因此动态图像中包含不同摄影条件的图像(帧)，若依次与变动的摄影条件对应而进行同样的复原处理，则处理负荷较大，并且需要进行实时处理时，还要求处理的高速化，而且还要求在前后帧之间的流畅的画质连续性。因此，希望能够充分考虑分别在静态图像及动态图像中要求的画质上的特性并进一步提高静态图像及动态图像两者的复原画质的新的点像复原处理方法。
本发明是鉴于上述情况而完成的，其目的在于提供一种能够抑制复原滤波器的数据量并以简单的处理结构执行的点像复原处理技术。
并且，本发明的目的在于提供一种能够适用于静态图像及动态图像两者的点像复原处理技术且能够满足分别在静态图像及动态图像中要求的画质上的要求的点像复原处理技术。
用于解决技术课题的手段
本发明的一方式涉及一种图像处理装置，其具备：滤波器适用部，对通过利用光学系统的摄影而获取的原图像数据，适用基于光学系统的点扩散函数的复原滤波器来获取复原图像数据；及增益调整部，调整原图像数据与复原图像数据之间的差分的放大率，根据进行调整之后的差分及原图像数据获取恢复图像数据，滤波器适用部将与光学系统的光学变焦的倍率值无关而确定的共同的滤波器用作复原滤波器，增益调整部根据光学系统的光学变焦的倍率确定放大率。
根据本方式，关于光学系统的光学变焦的倍率(光学变焦倍率)将共同的滤波器用作复原滤波器，能够有效地抑制复原滤波器的数据量。并且，根据本方式，能够通过根据光学变焦倍率确定“原图像数据与复原图像数据之间的差分的放大率”来补偿关于光学变焦倍率使用共同的复原滤波器而有可能产生的“光学系统的实际点扩散函数与共同复原滤波器之间的匹配偏差”。放大率能够比较简单地进行调整，即使光学变焦倍率发生变动，也无需切换为复原滤波器就能够简单且有效地消除“光学系统的实际点扩散函数与共同复原滤波器之间的匹配偏差”。因此，根据本方式，能够简化装置结构，还能够以稳定的状态高速进行复原处理。
并且，本方式的图像处理装置能够适用于静态图像及动态图像(帧)两者，通过关于光学变焦倍率而使用共同的复原滤波器并且适当调整放大率，还能够满足分别对静态图像及动态图像要求的画质上的要求。
优选复原滤波器根据获取原图像数据时的光学系统的光圈值来确定。
根据本方式，根据光圈值确定关于光学变焦倍率而共同使用的复原滤波器，能够有效地防止“光学系统的实际点扩散函数与共同复原滤波器之间的匹配偏差”变得过大。光圈值对点扩散函数的影响比较大，因此通过使用基于反映出光圈值的点扩散函数的复原滤波器，能够提高复原画质精度。
在此所说的“光圈值”是指光学系统的光圈的开度的指标，是直接或间接地表示通过摄影透镜映现于成像元件上的被摄体像的明度的值。例如可将“F值(f-number)”或“Av值(aperturevalue)”等用作“光圈值”。
优选当获取原图像数据时的光学系统的光圈值为小于第1光圈值的小光圈侧的值时，滤波器适用部将与光学系统的光学变焦的倍率值无关而确定的共同的滤波器用作复原滤波器来获取复原图像数据，当获取原图像数据时的光学系统的光圈值为小于第1光圈值的小光圈侧的值时，增益调整部根据光学系统的光学变焦的倍率确定放大率。
根据本方式，光圈值为小光圈侧的值时，关于光学变焦倍率共同使用复原滤波器，并根据光学变焦倍率确定放大率。另一方面，光圈值不是小光圈侧的值时，根据基于光学变焦倍率的最适合的复原滤波器及放大率进行点像复原处理，由此能够提高图像复原精度。仅在光学变焦倍率对点扩散函数的影响比较小的小光圈侧，关于光学变焦倍率共同使用复原滤波器并根据光学变焦倍率确定放大率，由此能够均衡地实现复原滤波器的数据量的降低、装置的简化、复原精度的提高等有益效果。
在此所说的“第1光圈值”是成为“关于光学变焦倍率而使用共同的复原滤波器并根据光学变焦倍率调整放大率”的基准的光圈值，可根据实验等适当设定。例如，关于光学变焦倍率使用共同的复原滤波器时，可通过试验等预先求出复原画质的弊端在视觉上不明显的光圈值之后设定“第1光圈值”。该第1光圈值可根据有可能对点扩散函数带来影响的其他因素(透镜的种类、光圈值等)来确定，例如与经由不同光学系统(透镜)摄影获取的图像(原图像数据)相关的“第1光圈值”可不同。
优选滤波器适用部根据光学系统中光轴上或光轴附近的像高中央部的调制传递函数与光学系统中具有大于像高中央部像高的像高周边部的调制传递函数的差异，从与光学系统的光学变焦的倍率值无关而确定的共同的滤波器的候选即多个滤波器候选中选择用作复原滤波器的滤波器。
根据本方式，根据像高中央部与像高周边部之间的调制传递函数(MTF：ModulationTransferFunction)的差异选择“关于光学变焦倍率而共同的复原滤波器”，因此能够进行反映出像高中央部及像高周边部中的点像特性(MTF特性)的点像复原处理。
优选多个滤波器候选包含第1滤波器候选及不同于第1滤波器候选的第2滤波器候选，当像高中央部的调制传递函数与像高周边部的调制传递函数之差小于第1阈值时，滤波器适用部将第1滤波器候选用作复原滤波器，当像高中央部的调制传递函数与像高周边部的调制传递函数之差为第1阈值以上时，滤波器适用部将第2滤波器候选用作复原滤波器。
根据本方式，根据像高中央部的MTF与像高周边部的MTF之差较大的情况与较小的情况来切换复原滤波器，能够进行反映出像高中央部及像高周边部中的点像特性的点像复原处理。
优选当原图像数据为动态图像时，滤波器适用部关于光学系统的光学变焦的倍率值将共同的滤波器用作复原滤波器来获取复原图像数据，当原图像数据为动态图像时，增益调整部根据光学系统的光学变焦的倍率确定放大率。
根据本方式，对在摄影期间摄影条件有可能变动的动态图像，进行“关于光学变焦倍率而共同的复原滤波器的使用”及“与光学变焦倍率相应的放大率的调整”，在对构成动态图像的多个图像(原图像数据)的每一个进行的点像复原处理中，能够带来复原滤波器的数据量的降低、装置的简化、复原精度的提高等有益的作用效果。
在此所说的“动态图像”由随时间变化而连续的图像组(帧组)构成，包含在比较短的时间内摄影获取的一系列的多个时序列图像，例如记录于存储器等的记录动态图像或即时预览图像(LivePreview)可包含在“动态图像”的概念内。
优选当原图像数据为静态图像时，滤波器适用部使用根据光学系统的光学变焦的倍率确定的复原滤波器来获取复原图像数据。
根据本方式，与在摄影期间摄影条件有可能变动的动态图像的复原处理相对，在对可使用与进行摄影时的摄影条件相应的复原滤波器的静态图像的复原处理中，使用反映出基于光学变焦倍率的点扩散函数的复原滤波器而不是关于光学变焦倍率而共同的复原滤波器，因此能够提高复原图像精度。
在此所说的“静态图像”基本上由单一的图像构成，是可作为单图像来提供的图像。
优选当原图像数据通过动态图像摄影期间的静态图像摄影而获取时，滤波器适用部使用根据光学系统的光学变焦的倍率确定的复原滤波器来获取复原图像数据。
根据本方式，在针对动态图像摄影期间进行摄影的静态图像的复原处理中，使用反映出基于光学变焦倍率的点扩散函数的复原滤波器而不是关于光学变焦倍率而共同的复原滤波器，因此能够提高复原图像精度。另一方面，在针对动态图像进行的复原处理中，关于光学变焦倍率使用共同的复原滤波器并且根据光学变焦倍率调整放大率，因此不会破坏连续图像之间的画质的连续性就能够实现处理的简化及高速化。如此，根据本方式，能够有效地满足分别对静态图像及动态图像要求的画质上的要求。
优选光学系统具有调制相位来扩大景深的透镜部。
根据本方式，即使在经由所谓的EDoF(ExtendedDepthofField(Focus))光学系统获得的原图像数据的复原处理中，也能够降低复原滤波器的数据量，简化装置并精度良好地复原图像。另外，调制透镜部中的相位的方法(光学性相位调制机构)并无特别限定，也可以透镜之间设置相位调制部，或使透镜本身(例如在透镜的入射面和/或输出面)具有相位调制功能。
本发明的另一方式涉及一种摄像装置，其具备：通过利用光学系统的摄影而获取原图像数据的成像元件；及上述的任一图像处理装置。
根据本方式，在摄像装置中的复原处理中，也能够降低复原滤波器的数据量，简化装置结构并以稳定的状态高速进行复原处理。另外，本方式对系统设计上的制约比较严格的摄像装置尤其有效。因此，本发明适于在保存与点扩散函数和复原滤波器相关的数据的存储器容量上存在制约的摄像装置(例如更换透镜式的相机中在透镜单元侧的存储器保存数据的摄像装置)、在进行复杂的滤波处理(反卷积运算)等的运算处理装置(CPU等)的处理性能上存在制约的摄像装置(例如，在设置空间有限的相机主体内或透镜单元内的控制部中进行复原处理运算的摄像装置)。
优选摄像装置还具备能够切换光学变焦及数码变焦的变焦控制部，根据光学系统的点扩散函数确定成为光学变焦与数码变焦的切换基准的光学变焦的倍率。
根据本方式，根据光学系统的点扩散函数确定成为光学变焦与数码变焦的切换基准的光学变焦的倍率，因此能够考虑因光学变焦倍率有可能带来的恢复图像数据中的弊端(过校正、振铃等)来切换光学变焦与数码变焦。例如，还能够将恢复图像数据中的弊端(过校正、振铃等)在视觉上即将开始明显之前的光学变焦倍率设定为光学变焦与数码变焦的切换点。
在此所说的“光学变焦”是通过控制光学性变焦机构(变焦透镜等)来进行缩放的方法，还调整视场角或焦距。另一方面，“数码变焦”是不依靠光学性变焦机构(变焦透镜等)而是通过专门的图像处理变更图像范围来进行缩放的方法，通常可通过放大映现于成像元件的图像的一部分来进行。
优选根据光学系统中光轴上或光轴附近的像高中央部的调制传递函数与光学系统中具有大于像高中央部像高的像高周边部的调制传递函数的差异，确定成为光学变焦与数码变焦的切换基准的光学变焦的倍率。
根据本方式，根据像高中央部的MTF与像高周边部的MTF之差较大的情况及较小的情况改变切换光学变焦与数码变焦的基准，因此能够根据像高中央部及像高周边部中的点像特性进行“光学变焦与数码变焦的切换”。
优选根据获取原图像数据时的变焦方向确定成为光学变焦与数码变焦的切换基准的光学变焦的倍率。
根据本方式，能够根据获取原图像数据时的变焦方向，顺畅地切换光学变焦及数码变焦。
优选增益调整部根据获取原图像数据时的变焦方向确定放大率。
根据本方式，根据获取原图像数据时的变焦方向确定放大率，因此尤其在拍摄动态图像时，能够根据变焦方向有效地保持构成动态图像的多个图像之间的连续性。
本发明的另一方式涉及一种图像处理方法，其具备：滤波器适用步骤，对通过利用光学系统的摄影而获取的原图像数据，适用基于光学系统的点扩散函数的复原滤波器来获取复原图像数据；及增益调整步骤，调整原图像数据与复原图像数据之间的差分的放大率，并根据进行该调整之后的差分及原图像数据获取恢复图像数据，滤波器适用步骤中，关于光学系统的光学变焦的倍率将共同的滤波器用作复原滤波器，增益调整步骤中，根据光学系统的光学变焦的倍率确定放大率。
本发明的另一方式涉及一种程序，其用于使计算机执行如下步骤：对通过利用光学系统的摄影而获取的原图像数据，适用基于光学系统的点扩散函数的复原滤波器来获取复原图像数据的步骤；及调整原图像数据与复原图像数据之间的差分的放大率，并根据进行调整之后的差分及原图像数据获取恢复图像数据的步骤，所述程序中，在获取复原图像数据的步骤中，关于光学系统的光学变焦的倍率将共同的滤波器用作复原滤波器，在获取恢复图像数据的获取的步骤中，根据光学系统的光学变焦的倍率确定放大率。
发明效果
根据本发明，关于光学变焦倍率将共同的滤波器用作复原滤波器，能够有效地抑制复原滤波器的数据量。并且，根据光学系统的光学变焦的倍率确定原图像数据与复原图像数据之间的差分的放大率，能够以简单的装置结构高速进行复原处理。
并且，根据本发明，通过关于光学变焦倍率使用共同的复原滤波器并且适当调整放大率的简单方法，在能够适用于静态图像及动态图像两者的点像复原处理中，能够满足分别对静态图像及动态图像要求的画质上的要求。
附图说明
图1是表示连接于计算机的数码相机的框图。
图2是表示相机主体控制器的功能结构例的框图。
图3是表示点像复原控制处理部的一例的功能框图。
图4是表示由滤波器适用部及增益调整部进行的点像复原处理(滤波器适用处理及增益调整处理)的一例的控制电路图。
图5是表示进行理想的点像复原处理时的图像数据的“空间频率-响应”的关系例的曲线图，图5A表示点像复原处理之前的曲线图，图5B表示点像复原处理之后的曲线图。
图6是表示图像数据的“光学变焦的变焦倍率-响应”的关系例的曲线图。
图7表示“光学变焦的变焦倍率-复原增益”的关系的一例，表示主要以改善透镜的分辨特性的观点设计的关系例。
图8表示“光学变焦的变焦倍率-重要度”的关系的一例，表示特别考虑用户的视觉特性的“图像复原时的低频成分及高频成分的重要度”。
图9表示“光学变焦的变焦倍率-复原增益”的关系的一例，表示特别考虑“光学系统的分辨特性(参考图7)”及“视觉特性(参考图8)”而设计的关系例。
图10是第1实施方式所涉及的点像复原处理的流程图。
图11是第2实施方式所涉及的点像复原处理的流程图。
图12是第3实施方式所涉及的点像复原处理的流程图。
图13是第4实施方式所涉及的点像复原处理的流程图。
图14是第5实施方式所涉及的点像复原处理的流程图。
图15是示意地表示光学变焦与数码变焦的切换的图。
图16是表示光学系统中的像高中央部及像高周边部的示意图。
图17是表示具备EDoF光学系统的摄像模块的一方式的框图。
图18是表示EDoF光学系统的一例的图。
图19是表示基于图17所示的复原处理块的复原处理流程的一例的图。
图20是表示经由EDoF光学系统获取的图像的复原例的图。
图21表示作为本发明的摄像装置的一实施方式的智能手机的外观。
图22是表示图21所示的智能手机的结构的框图。
具体实施方式
参考附图对本发明的实施方式进行说明。以下实施方式中，作为一例，对将本发明适用于能够与计算机(PC：个人计算机)连接的数码相机(摄像装置)的例子进行说明。
图1是表示连接于计算机的数码相机的框图。
数码相机10具备可更换的透镜单元12及具备成像元件26的相机主体14，透镜单元12与相机主体14经由透镜单元12的透镜单元输入输出部22及相机主体14的相机主体输入输出部30而电连接。
透镜单元12具备透镜16或光圈17等光学系统及控制该光学系统的光学系统操作部18。光学系统操作部18包含连接于透镜单元输入输出部22的透镜单元控制器20及操作光学系统的驱动器(省略图示)。透镜单元控制器20根据经由透镜单元输入输出部22从相机主体14发送来的控制信号，经由驱动器控制光学系统，例如进行基于透镜(包含聚焦透镜及变焦透镜)移动的聚焦控制或变焦控制、光圈17的光圈量控制等。
相机主体14的成像元件26具有聚光用微透镜、R(红)G(绿)B(蓝)等滤色器及图像传感器(光电二极管；CMOS(ComplementaryMetalOxideSemiconductor)、CCD(ChargeCoupledDevice)等)，通过利用光学系统进行的被摄体像的摄影获取原图像数据。即，成像元件26将经由透镜单元12的光学系统(透镜16、光圈17等)照射的被摄体像的光转换成电信号，并将图像信号(原图像数据)发送至相机主体控制器28。
如图2所示，相机主体控制器28具有设备控制部34及图像处理部(图像处理装置)35，统一控制相机主体14。设备控制部34生成例如用于控制来自成像元件26的图像信号(图像数据)的输出或控制透镜单元12的控制信号，并经由相机主体输入输出部30发送至透镜单元12(透镜单元控制器20)，向经由输入输出接口32连接的外部设备类(计算机60等)发送图像处理前后的图像数据(RAW数据、JPEG数据等)。并且，设备控制部34适当控制未图示的显示部(EVF：ElectronicViewFinder、背面液晶显示部)等数码相机10所具备的各种设备类。
另外，本例的设备控制部34具有变焦控制部37(参考图2)。变焦控制部37例如经由相机主体输入输出部30及透镜单元输入输出部22向透镜单元控制器20发送控制信号，由此控制光学变焦倍率，所述控制信号用于控制透镜单元12所保持的变焦透镜(省略图示)的移动。并且，变焦控制部37构成为能够切换光学变焦与数码变焦，根据光学系统(透镜16、光圈17)的点扩散函数确定成为光学变焦与数码变焦的切换基准的光学变焦的倍率。并且，变焦控制部37控制数码变焦动作时的变焦图像的生成等整个变焦处理。对于由变焦控制部37进行的变焦控制的详细内容将进行后述。
另一方面，图像处理部35能够根据需要对来自成像元件26的图像信号进行任意的图像处理。例如，在图像处理部35中适当进行传感器校正处理、去马赛克(同步)处理、像素插值处理、色彩校正处理(偏移校正处理、白平衡处理、彩色矩阵处理、伽马转换处理(伽马校正处理部33)等)、RGB图像处理(锐度处理、色调校正处理、曝光校正处理、轮廓校正处理等)、RGB/YCrCb转换处理及图像压缩处理等各种图像处理。
另外，本例的图像处理部35包含对图像信号(原图像数据)进行基于光学系统的点扩散函数的复原处理(点像复原处理)的点像复原控制处理部39(参考图2)。成为点像复原处理的处理对象的原图像数据的种类并无特别限定，例如可以是颜色成分数据(RGB等颜色成分信号)，也可以是亮度数据。对于由点像复原控制处理部39进行的点像复原处理的详细内容将进行后述。
图1所示的数码相机10具备摄影等中需要的其他设备类(快门等)，用户能够经由设置于相机主体14的用户界面29来适当确定及变更用于摄影等的各种设定(EV值(ExposureValue)等)。用户界面29与相机主体控制器28(设备控制部34及图像处理部35)连接，通过用户确定及变更的各种设定反映于相机主体控制器28中的各种处理。
在相机主体控制器28中被图像处理的图像数据经由输入输出接口32发送至计算机60等。从数码相机10(相机主体控制器28)发送至计算机60等的图像数据的格式并无特别限定，可设为RAW、JPEG、TIFF等任意格式。因此，相机主体控制器28可以如所谓的Exif(ExchangeableImageFileFormat)那样，将标题信息(摄影信息(摄影日期、机种、像素数及光圈值等)等)、主图像数据及缩略图图像数据等多个相关数据相互建立对应关联来构成为一个图像文件，并将该图像文件发送至计算机60。
计算机60经由相机主体14的输入输出接口32及计算机输入输出部62连接于数码相机10，并接收从相机主体14发送而来的图像数据等数据类。计算机控制器64统一控制计算机60，对来自数码相机10的图像数据进行图像处理，并进行与经由因特网70等网络线路连接于计算机输入输出部62的服务器80等进行通信的控制。计算机60具有显示器66，计算机控制器64中的处理内容等根据需要显示于显示器66。用户通过确认显示器66的显示的同时操作键盘等输入机构(省略图示)，能够向计算机控制器64输入数据、命令。由此，用户能够控制计算机60或连接于计算机60的设备类(数码相机10、服务器80)。
服务器80具有服务器输入输出部82及服务器控制器84。服务器输入输出部82构成与计算机60等外部设备类之间的收发连接部，并经由因特网70等网络线路连接于计算机60的计算机输入输出部62。服务器控制器84根据来自计算机60的控制命令信号，与计算机控制器64协同动作，根据需要在与计算机控制器64之间进行数据类的收发，将数据类下载到计算机60，进行运算处理并将其运算结果发送至计算机60。
各控制器(透镜单元控制器20、相机主体控制器28、计算机控制器64、服务器控制器84)具有控制处理所需的电路类，例如具备运算处理电路(CPU等)和存储器等。并且，数码相机10、计算机60及服务器80之间的通信可以是有线的也可以是无线的。并且，计算机60及服务器80可构成为一体，并且也可省略计算机60和/或服务器80。并且，也可使数码相机10具有与服务器80的通信功能，并在数码相机10与服务器80之间直接进行数据类的收发。
＜点像复原处理＞
接着，对经由成像元件26获得的被摄体像的摄像数据(图像数据)的点像复原处理进行说明。
以下例子中，对在相机主体14(相机主体控制器28)中实施点像复原处理的情况进行说明，但也可在其他控制器(透镜单元控制器20、计算机控制器64、服务器控制器84等)中实施点像复原处理的全部或一部分。
点像复原处理是对通过利用光学系统(透镜16、光圈17等)进行的被摄体像的摄影而从成像元件26获取的原图像数据，进行利用基于光学系统的点扩散函数的复原滤波器的点像复原处理，从而获取恢复图像数据的处理。
即，为了由模糊图像的原图像数据复原原来的被摄体像(点像)，对原图像数据进行利用复原滤波器的点像复原处理，由此获得表示更接近原来的被摄体像(点像)的图像(恢复图像)的恢复图像数据。
在点像复原处理中使用的复原滤波器由与获取原图像数据时的摄影条件相应的光学系统的点像信息(点扩散函数)，通过规定复原滤波器计算算法来获得。光学系统的点像信息(点扩散函数)不仅根据透镜16的种类而变动，还会根据光圈量、焦距、变焦量、像高、记录像素数、像素间距等各种摄影条件而变动，因此在计算复原滤波器时，获取这些摄影条件。
例如由N×M(N及M为2以上的整数)的抽头构成的实际空间上的复原滤波器F被适用于处理对象的图像数据，通过将分配给各抽头的滤波器系数和所对应的像素数据(原图像数据的处理对象像素数据及相邻像素数据)进行加权平均运算(反卷积运算)，能够计算点像复原处理之后的像素数据(恢复图像数据)。通过依次替换对象像素的同时将使用了该复原滤波器的加权平均处理适用于构成图像数据的所有像素数据，由此能够进行点像复原处理。
由N×M的抽头构成的实际空间上的复原滤波器能够通过对频率空间上的复原滤波器进行傅里叶逆变换来导出。因此，通过确定成为基础的频率空间上的复原滤波器并指定实际空间上的复原滤波器的构成抽头数，能够适当计算出实际空间上的复原滤波器。并且，可代替实际空间上的复原滤波器而使用频率空间上的复原滤波器，也可通过在频率空间上对图像数据适用复原滤波器来进行点像复原处理。
点像复原控制处理部39(参考图2)对通过利用光学系统(透镜16、光圈17等)进行的摄影并通过成像元件26获取的摄影图像数据(原图像数据)实施上述点像复原处理，从而生成恢复图像数据并进行输出。
图3是表示点像复原控制处理部39的一例的功能框图。本例的点像复原控制处理部39具有滤波器适用部41、增益调整部42及存储器43。
滤波器适用部41将基于光学系统(透镜16、光圈17等)的点扩散函数的复原滤波器适用于原图像数据来获取复原图像数据。即，滤波器适用部41获取原图像数据及摄影条件数据，并获取与原图像数据的摄影条件数据对应的复原滤波器，将所获取的复原滤波器适用于原图像数据来获取复原图像数据。增益调整部42调整原图像数据与复原图像数据之间的差分的放大率(复原增益)，并根据进行该调整之后的差分及原图像数据获取恢复图像数据。另外，在滤波器适用部41及增益调整部42中使用的各种数据类(复原滤波器、点扩散函数等)存储于存储器43，滤波器适用部41及增益调整部42能够适当读取存储于存储器43的数据类。
图4是表示由滤波器适用部41及增益调整部42进行的点像复原处理(滤波器适用处理及增益调整处理)的一例的控制电路图。
在点像复原控制处理部39中的点像复原处理中，首先在滤波器适用部41中，将复原滤波器F适用于原图像数据Do(滤波器适用处理Pf)，计算出复原图像数据Dr1。适用于原图像数据Do的复原滤波器F只要是基于光学系统(透镜16、光圈17等)的点扩散函数的滤波器，则并无特别限定。因此，可预先将多个复原滤波器F存储于存储器43，并由滤波器适用部41读出与原图像数据Do的摄影条件数据对应的复原滤波器F，也可由滤波器适用部41根据原图像数据Do的摄影条件数据及点扩散函数计算出所对应的复原滤波器F。
复原滤波器F只要是直接或间接地基于点扩散函数的滤波器即可，可以是用于仅复原原图像数据的振幅成分或相位成分来获得恢复图像数据的滤波器，也可以是用于复原原图像数据的振幅成分及相位成分来获得恢复图像数据的滤波器。即，能够根据光学系统的MTF(ModulationTransferFunction：调制传递函数)及PTF(PhaseTransferFunction)中的至少任一个来计算出复原滤波器。另外，光学系统的模糊特性能够通过所谓的光学传递函数(OTF：OpticalTransferFunction)表示，通过对OTF进行傅里叶逆转换来获得的函数还被称为点像分布函数(PSF：点扩散函数)。MTF是OTF的绝对值成分，PTF将相位的偏差表示为空间频率的函数。因此，在点像复原处理中使用的复原滤波器F能够根据光学系统的OTF(MTF/PTF)或PSF来适当设计。
之后，在增益调整部42中，导出滤波器适用处理前后的图像数据的差分(差分导出处理Pd)，调整对该差分的放大率(复原增益)(增益调整处理Pg)。即，如图4所示，在差分导出处理Pd中，计算经过滤波器适用处理Pf的复原图像数据Dr1与原图像数据Do之间的差分数据ΔD(ΔD＝Dr1-Do)。并且，在增益调整处理Pg中，调整该差分数据ΔD的放大率(复原增益)G来计算放大率调整后差分值(G×ΔD)，进行该放大率调整后差分值(G×ΔD)与原图像数据Do的加法运算处理Pa而计算出恢复图像数据Dr2(Dr2＝Do+G×ΔD)。另外，作为由滤波器适用部41及增益调整部42进行的点像复原处理(滤波器适用处理及增益调整处理)，可采用与上述方法相同的其他方法。例如，在滤波器适用部41中，复原滤波器F适用于原图像数据Do(滤波器适用处理Pf)，计算复原图像数据Dr1。之后，在增益调整部42中，作为增益调整处理Pg，其对该复原图像数据Dr1进行放大率(复原增益)G的调整(Dr1×G)，对该值与原图像数据Do乘以(1-G)的值进行加法运算处理Pa来计算出恢复图像数据Dr2。
如此，基于点像复原处理的复原强度根据滤波器适用处理Pf中的复原滤波器(滤波器系数)F及增益调整处理Pg中的复原增益G而发生变动。因此，能够根据“在滤波器适用处理Pf中使用的复原滤波器(滤波器系数)的切换”和/或“在增益调整处理Pg中的复原增益G的变更”调整点像复原处理的复原强度。
因此，例如在“降低点像复原处理的复原强度”的处理中，可包含“切换为与利用通常的复原滤波器时相比可获得自原图像数据的差较小(复原程度较弱)的复原图像数据Dr1的其他复原滤波器(滤波器系数)的滤波器适用处理Pf”及“使用与使用通常的复原增益G时相比放大率调整后差分值(G×ΔD)变小(增幅程度减弱)的其他放大率的增益调整处理Pg”。点像复原控制处理部39能够通过这些处理(滤波器切替处理及放大率变更处理)中的至少任一个来调整点像复原处理的复原强度。
图5A及图5B是表示进行理想的点像复原处理时的图像数据的“空间频率-响应”的关系例的曲线图，图5A表示点像复原处理前的曲线图，图5B表示点像复原处理后的曲线图。
由图5A及图5B的横轴表示的“空间频率”根据采样频率被归一化，越靠纸面的右侧越表示高频(参考“0.5fs”：奈奎斯特频率)，越靠左侧越表示低频。并且，由图5A及图5B的纵轴表示的“响应”表示相对于受到点扩散现象带来的影响之前的“原始图像数据”的“实际获得的图像数据”的比例。因此，“响应＝1”表示“实际获得的图像数据”与“原始图像数据”相同的情况，“响应＝0”表示“实际获得的图像数据”与“原始图像数据”无关地为“0(零)”的情况。另外，作为“响应”的基础，能够采用图像数据中表示点扩散现象引起的劣化特性的各种要素，例如也可根据表示分辨特性的MTF表示“响应”。
如图5A所示，实际获得的图像数据的响应因点扩散现象的影响而成为“1”以下，尤其具有越是高频侧的图像数据，响应的下降越明显的趋势。点像复原处理是将响应因点扩散现象而下降的图像数据复原为原始图像数据的处理，如图5B所示，理想的处理是以遍及整个空间频率而成为“响应＝1”的方式恢复图像数据的处理。图像数据的“空间频率-响应”的关系根据各个光学系统(透镜16、光圈17等)的特性而发生变动，因此图5A所示的关系并非一定会成立，但考虑各个光学特性而以能够获得所希望的响应(例如“响应＝1”)的图像数据的方式设计复原滤波器F及复原增益G。
接着，对“光学变焦的变焦倍率(变焦位置)”与“响应”的关系进行说明。
图6是表示图像数据的“光学变焦的变焦倍率-响应”的关系例的曲线图，表示在代表光学系统(透镜16)的分辨特性的空间频率(例如“空间频率＝0.25fs”(参考图5A))中的关系。图6的横轴将“光学变焦的变焦倍率(变焦位置)”作为基准，表示越是纸面的右侧越靠长焦变焦侧(参考图6的“长焦端T”)，表示越是左侧越靠广角变焦侧(参考图6的“广角端W”)。并且，图6的纵轴以图像数据的“响应”作为基准，与图5A及图5B的纵轴“响应”相同。另外，图6中，“广角端W”例如相当于“焦距＝24mm”，“中央M”例如相当于“焦距＝60mm”，“长焦端T”例如相当于“焦距＝120mm”。
在具有能够变更光学变焦的变焦倍率的光学变焦功能的数码相机10中，具有光学变焦的变焦倍率越靠近变焦端(参考图6的“广角端W”及“长焦端T”)，光学系统(透镜16)的分辨率越下降的趋势。因此，如图6所示，通常变焦端部中的响应低于中央的变焦倍率(参考图6的“中央M”)，且随着靠近变焦端，响应逐渐下降。
另一方面，光学变焦倍率对光学系统的点扩散函数(PSF等)的影响比较小，尤其在F值较大的小光圈侧，光学变焦倍率的影响减小。
本例中，根据上述见解，在滤波器适用部41中，关于光学系统的光学变焦的倍率将共同的滤波器用作复原滤波器，由此提高存储器效率来进行处理的简化。并且，增益调整部42中，根据光学系统的光学变焦的倍率确定复原增益，由此补偿“实际点扩散函数与复原滤波器之间的匹配偏差”来进行恢复图像数据的优化。
通常，使用复原滤波器进行的滤波处理的运算量较多，并且复原滤波器的参数(条件要素)的种类越增加复原滤波器(滤波器系数)的数据量越增大。因此，根据所有条件要素设计的复原滤波器组的数据总量变得庞大，预先将这种数据量庞大的复原滤波器组保持于存储器时会阻碍处理的简化和灵活的电路设计，因此实际上有时很难预先存储。因此，如本例这样关于光学变焦倍率使用共同的复原滤波器时，可有效地减少实现复原滤波器的数据量，从实现处理的简单化及电路规模的缩小化的观点来看也非常有用。
并且，动态图像中帧之间的连续性是影响画质的主要原因之一，因此要求以通过防止帧之间的过度的画质变化来使图像平滑地变化的方式连结帧。因此，若按每一帧进行使用个别的复原滤波器的复原处理，则各帧的复原画质本身会提高，但例如在摄影期间摄影条件依次变动的场景中，根据使用参数，有时会导致失去帧彼此之间的画质的连续性。尤其在动态图像摄影期间连续改变变焦倍率时，可预料到有可能成为整体上缺乏统一感的复原动态图像。另一方面，如本例，通过关于光学变焦倍率将共同滤波器用作复原滤波器，不易失去复原处理后的帧彼此之间的画质的连续性，即使是在动态图像摄影期间连续改变变焦倍率时，也能够生成整体上具有统一感的动态图像。
如上所述，根据本例的点像复原控制处理部39(滤波器适用部41及增益调整部42)，不改变复原滤波器，而是通过调整复原增益来补偿伴随变焦倍率的变化的点扩散函数(恢复图像数据的分辨率)的变动，由此能够使恢复图像数据的画质与变焦倍率无关地不发生变化。图像分辨率根据光学变焦倍率而发生变化，但本例的点像复原处理中，通过调整复原增益来吸收图像分辨率的变化。通过调整复原增益来补偿使用共同的复原滤波器进行的滤波处理引起的复原强度不足，由此能够防止图像分辨率伴随光学变焦倍率的变化的变动。
＜复原滤波器＞
本例的复原处理中使用的“共同的复原滤波器”是关于基于光学系统(变焦透镜)的光学变焦的变焦倍率而共同的设置，但也可根据影响光学系统的点扩散函数的“变焦倍率以外的参数”变更共同的复原滤波器。即，由于变焦倍率以外的其他参数发生变化而很难通过复原增益的调整补偿点扩散函数的变动时，优选通过调整复原滤波器来补偿这种点扩散函数(恢复图像数据的分辨率)的变动。
例如，能够将反映光学系统(透镜16、光圈17)的种类、光圈值、被摄体距离等条件要素中的一部分或全部的复原滤波器(滤波器系数)用作“共同的复原滤波器”，尤其“光学系统的种类”及“光圈值”对点扩散函数的影响力比较大。因此，优选能够将分别与可在数码相机10(摄像装置)中使用的“光学系统的种类”及“光圈值”对应的复原滤波器用作“共同的复原滤波器”。
例如，能够根据获取原图像数据时的光学系统的“光圈值(F值等)”确定复原滤波器，在光圈值不发生变化的条件下光学变焦倍率发生变动时使复原滤波器共同化，由此能够简化处理结构。例如，可按每一F值(光圈值)分别计算最优化的复原滤波器或预先存储于存储器，在原图像数据的摄影F值发生变化时，根据其摄影F值切换复原滤波器来进行点像复原处理。如此，也可从关于光学变焦倍率而共同的复原滤波器的候选(多个滤波器候选)中选择与光学变焦倍率以外的条件要素(光学系统的种类、光圈值等)相应的复原滤波器来使用于点像复原处理。
根据光圈值(F值)最优化的复原滤波器(滤波器系数)无需在所有光圈值中不同，也可以以与离散的光圈值对应的方式计算或存储。关于所有光圈值准备复原滤波器时，确定各个复原滤波器的参数数增加而数据量也增大，因此从处理的简化及数据量的减少化的观点来看，并不一定优选。因此，可按能够在数码相机10中使用的F值(例如F1、F1.4、F2、F2.8、F4、F5.6、F8、F11、F16、F22及F32中的任意的F值)来设定复原滤波器，也可按能够在数码相机10中使用的F值中代表性的离散的F值来设定复原滤波器。
用于确定共同的复原滤波器的参数(条件要素)越增加，复原精度变得越高，共同的复原滤波器的数据量增大。另一方面，用于确定共同的复原滤波器的参数越减少，共同的复原滤波器的数据量越减少，但很难提高复原精度。如此，根据用于确定共同的复原滤波器的参数，有利点也发生变化，因此在实际设计滤波器时，考虑用户的需求和系统上的容许范围来确定共同的复原滤波器的参数即可。考虑对点扩散函数的影响来确定共同的复原滤波器的参数，由此能够均衡地兼顾复原滤波器的数据量的减少及基于复原处理的画质复原精度的提高。
例如，在数码相机10中可针对能够设定的“所有光圈值(F值)”的每一个进行“关于光学变焦的变焦倍率的复原滤波器的共同化”，也可尤其仅针对“小光圈侧的光圈值(F值)”进行。通常，具有光圈值越成为小光圈侧的值，变焦倍率对光学系统的点扩散函数的影响越减小的趋势。因此也可如下：仅在光学变焦倍率对点扩散函数的影响比较小的小光圈侧的光圈值中进行“有关光学变焦的变焦倍率的复原滤波器的共同化”；在光学变焦倍率对点扩散函数的影响比较大的光圈值中，关于光学变焦的变焦倍率不使复原滤波器共同化。
该情况下，可根据相对于光学变焦倍率的点扩散函数的特性变化适当确定关于光学变焦的变焦倍率而使复原滤波器共同化的“小光圈侧的光圈值”，并仅在点扩散函数的特性变化比较小的光圈值的范围进行“关于光学变焦的变焦倍率的复原滤波器的共同化”。“使复原滤波器共同化的小光圈侧的光圈值”能够根据摄影图像数据或使用光学系统的特性趋势而适当设定。例如，可将“通过实验等导出的特定光圈值(例如“F8”以上的光圈值)”设定为“使复原滤波器共同化的小光圈侧的光圈值”，也可将“数码相机10(摄像装置)的系统设计上最小光圈侧的光圈值～光圈开放侧的规定范围的光圈值(例如“最大F值(最小光圈侧的光圈值)～3级光圈开放侧的F值”)”设定为“使复原滤波器共同化的小光圈侧的光圈值”。该“使复原滤波器共同化的小光圈侧的光圈值”可预先设定，也可由用户适当确定及变更。由用户确定及变更“使复原滤波器共同化的小光圈侧的光圈值”时，可经由用户界面29(参考图1)指定“使复原滤波器共同化的小光圈侧的光圈值”的范围，该指定的光圈值范围的信息作为“使复原滤波器共同化的小光圈侧的光圈值”的范围而发送至相机主体控制器28(点像复原控制处理部39)。
另外，关于光学变焦的变焦倍率的复原滤波器的共同化不仅能够适用于共同使用单一复原滤波器的情况，也能够适用于共同使用多个复原滤波器(复原滤波器组)的情况。例如，根据像高或图像中的位置设定复原滤波器时，在针对一个图像(原图像数据)的点像复原处理中，使用与像高或图像中的位置相应的多个复原滤波器。如此，可将“多个复原滤波器”设为一组来使用，并将由该多个复原滤波器构成的组作为“关于光学变焦的变焦倍率而共同使用的共同滤波器”。
＜复原增益的调整＞
接着，对本例的放大率(复原增益)的调整例进行说明。
图7表示“光学变焦的变焦倍率-复原增益”的关系的一例，表示主要从改善透镜的分辨特性的观点设计的关系例。图7的横轴以“光学变焦的变焦倍率(变焦位置)”为基准，纵轴以图像数据的“复原增益”为基准。
如图6所示，在透镜的分辨特性与光学变焦倍率的关系中，具有如下趋势：越靠近变焦端(“广角端W”、“长焦端T”)，光学系统(透镜16)的分辨率越下降，与中央的变焦倍率(“中央M”)相比，变焦端部的响应下降。因此，如图7所示，优选通过调整放大率(复原增益)来补偿通过基于共同的复原滤波器的滤波处理无法恢复的“伴随变焦倍率的变动的光学系统的分辨率劣化”。因此，优选越是光学系统的分辨率劣化明显的变焦端部越提高复原增益，且使复原处理后的图像数据的响应在所有空间频率上接近“1”。如此，从改善透镜的分辨特性的观点来看，如图7所示，优选根据光学变焦的变焦倍率改变复原增益，与中央的变焦倍率相比增大变焦端部的复原增益，随着靠近变焦端而逐渐增大复原增益。
另一方面，画质的优劣还受用户的视觉特性的影响，因此优选点像复原处理(复原增益的调整)也根据用户的视觉特性来进行。通常，人的视觉具有对低频成分敏感且对高频成分迟钝的特性。并且，若通过复原处理强调高频区域的图像成分，则存在于高频区域的噪声成分被强调或由饱和像素等引起的振铃等变得易明显，因此有时会被复原成整体粗糙印象的图像。
并且，光学变焦倍率为广角侧时，视场角变大而进行广角摄影，因此具有高频被摄体增多的趋势。因此，光学变焦倍率为广角侧时，通常主要被摄体被拍摄得较小，并且拍摄成易了解周围情况，存在为了提高被摄体的分辨率而更加重视高频成分的分辨性能的趋势。另一方面，光学变焦倍率为长焦侧时，视场角变小而进行放大摄影，存在高频被摄体减少的趋势。因此，光学变焦倍率为长焦侧时，通常主要被摄体被拍摄得较大，并且不重视主要被摄体以外的被摄体像的分辨率，因此存在为了提高被摄体的分辨率而更加重视低频成分的分辨性能且不太重视高频成分的分辨性能的趋势。
图8表示“光学变焦的变焦倍率-重要度”的关系的一例，表示尤其考虑用户的视觉特性的“图像复原时的低频成分及高频成分的重要度”。图8的横轴以“光学变焦的变焦倍率(变焦位置)”为基准，纵轴以“图像复原时的重要度”为基准，表示朝向纸面越靠上侧重要度越高，越靠下侧重要度越低。如上所述，关于低频成分，光学变焦倍率为广角侧时重要度不高，但随着朝向长焦侧，重要度逐渐变高(参考图8的虚线部)。另一方面，关于高频成分，光学变焦的变焦倍率为广角侧时重要度较高，但随着朝向长焦侧，重要度逐渐降低(参考图8的实线部)。
图9表示“光学变焦的变焦倍率-复原增益”的关系的一例，表示尤其考虑“光学系统的分辨特性(参考图7)”及“视觉特性(参考图8)”而设计的关系例。图9的横轴以“光学变焦的变焦倍率(变焦位置)”为基准，纵轴以图像数据的“复原增益(放大率)”为基准。由图9的虚线表示的曲线图曲线是考虑“光学系统的分辨特性”的“光学变焦的变焦倍率-复原增益”的关系例，由实线表示的曲线图曲线是还考虑“视觉特性”的“光学变焦的变焦倍率-复原增益”的关系例。
本例的点像复原处理为主要用于改善中频区域～高频区域的MTF劣化的处理，通过调整复原增益来改善中频区域～高频区域的响应，而且根据用户的视觉特性使广角侧的复原增益提高而长焦侧的复原增益降低。即，若着眼于“光学系统的分辨特性”，则为了补偿变焦端部的分辨率劣化，以随着朝向变焦端使复原增益增大的方式设定复原增益(参考图9的虚线部)。并且，若还考虑“视觉特性”，则在广角侧，中频成分～高频成分在视觉特性上发挥重要作用，因此点像复原处理中的复原增益设定为大于未考虑视觉特性的情况(参考图9的虚线部)(参考图9的实线部)。并且，在长焦侧，在视觉特性上不重视中频成分～高频成分，因此点像复原处理中的复原增益设定为小于未考虑视觉特性的情况，能够有效地避免通过中频成分～高频成分的复原而可预料到的弊端(噪声增加、振铃产生等)。
如此，通过考虑基于光学变焦倍率的视觉特性来调整复原增益，能够补偿通过基于共同的复原滤波器的滤波处理无法恢复的“伴随变焦倍率的变动的光学系统的分辨率劣化”并且生成具有在视觉上优异的画质的复原图像(恢复图像数据)。
＜复原增益的滞后控制＞
图9所示的例子中，考虑“基于光学变焦倍率及空间频率趋势的视觉特性”来确定复原增益，但也可根据其他视觉特性来确定复原增益。例如，关于光学变焦的变焦倍率使用共同的复原滤波器时，与广角侧相比，在长焦侧的变焦倍率中易产生点像复原处理引起的过校正，尤其在图像的周边部(高像高位置)易引起过校正。因此，动态图像摄影期间光学变焦倍率连续发生变化时，尤其光学变焦倍率从广角侧向长焦侧连续被切换时(变焦方向为“从广角侧向长焦侧”时)，有时无法通过点像复原处理充分保持动态图像帧之间的画质连续性。
因此，增益调整部42可根据获取原图像数据时的变焦方向来确定复原增益(放大率)。即，可根据拍摄获取点像复原处理对象的原图像数据(动态图像)时的变焦方向为“从广角侧向长焦侧”的情况及“从长焦侧向广角侧”的情况，改变相对于光学变焦的变焦倍率的复原增益。例如，光学变焦倍率在长焦侧的范围(“中央M”～“长焦端T”的范围)的一部分或全部中，可使变焦方向为“从广角侧向长焦侧”时的复原增益小于变焦方向为“从长焦侧向广角侧”时。通过使变焦方向为“从广角侧向长焦侧”时的复原增益比“从长焦侧向广角侧”时下降，能够避免点像复原处理引起的过校正等的影响在视觉上明显的现象。
＜点像复原处理流程＞
接着，对点像复原处理的流程进行说明。
＜第1实施方式＞
图10是表示第1实施方式所涉及的点像复原处理的流程图。本实施方式的点像复原处理中使用的复原滤波器根据光圈值而变更，但关于光学变焦的变焦倍率是共同的。另外，不论是动态图像还是静态图像，图10所示的点像复原处理流程均能够适用于所有图像，适用于动态图像时，按构成动态图像的每个图像(帧)进行处理。
首先，由点像复原控制处理部39获取摄影条件数据。更具体而言，获取获得处理对象的原图像数据时的光圈值(图10的S10)，并且获取光学变焦的变焦倍率(S11)。另外，这些摄影条件数据的获取方法并无特别限定，例如原图像数据中附加有摄影条件数据时(Exif等)，与原图像数据一同获取摄影条件数据。原图像数据中未附加有摄影条件数据时，可从控制光圈17或变焦透镜(未图示)的设备控制部34(变焦控制部37等)等中获取摄影条件数据。
并且，由滤波器适用部41获取点像复原处理中使用的复原滤波器(S12)。本例中，根据拍摄获取原图像数据时的“光圈值”选择复原滤波器，从存储于存储器43的多个复原滤波器候选中读出并获取与“光圈值”相应的“关于光学变焦倍率而共同的复原滤波器(共同滤波器)”。并且，滤波器适用部41中，对原图像数据适用所获取的复原滤波器，从而获取复原图像数据(S13：滤波器适用步骤；参考图4的“滤波器适用处理Pf”)。
并且，根据光学系统的光学变焦的变焦倍率，由增益调整部42调整原图像数据与复原图像数据之间的差分的放大率(复原增益)(S14；参考图4的“增益调整处理Pg”)。并且，增益调整部42中，根据复原增益调整之后的“原图像数据与复原图像数据之间的差分”及“原图像数据”获取恢复图像数据(S15：增益调整步骤；参考图4的“加算处理Pa”)。
如上所述，根据本实施方式，能够通过关于光学变焦倍率使用共同的复原滤波器来减少复原滤波器的数据量，并且能够通过根据光学变焦倍率调整点像复原处理的复原增益来获得高复原精度的恢复图像数据。
＜第2实施方式＞
本实施方式中，根据拍摄获取原图像数据时的光圈值是否为“小光圈”，切换复原滤波器及复原增益的确定方法。即，当获取原图像数据时的光学系统(光圈17)的光圈值为小于阈值(第1光圈值)的小光圈侧的值时，滤波器适用部41关于光学系统的光学变焦的变焦倍率使用共同的滤波器作为复原滤波器来获取复原图像数据，增益调整部42根据光学系统的光学变焦的变焦倍率确定复原增益(放大率)。
图11是表示第2实施方式所涉及的点像复原处理的流程图。本实施方式中，对与上述第1实施方式(参考图10)相同的处理，省略详细说明。
首先，点像复原控制处理部39获取摄影条件数据(光圈值、光学变焦的变焦倍率等)(图11的S20)，并判别光圈值是否为小光圈侧的值(S21)。更具体而言，根据光圈值是否为阈值以上来判别光圈值是否为小光圈侧的值。例如，作为光圈值采用F值时，能够根据拍摄原图像数据时的F值是否为预先设定的“小光圈判别用F值”以上来判别光圈值是否为小光圈侧的值。该“光圈值是否为小光圈侧的值”的判别可由滤波器适用部41进行，也可由点像复原控制处理部39的其他处理部进行。
当判别为光圈值是小光圈侧的值时(S21的是)，滤波器适用部41中，关于光学变焦倍率获取共同的复原滤波器(共同滤波器)(S22)，并且该共同的复原滤波器适用于原图像数据而获取复原图像数据(S23)。并且，由增益调整部42根据光学系统的光学变焦的变焦倍率调整复原增益(S24)，并根据复原增益调整之后的“原图像数据与复原图像数据之间的差分”及“原图像数据”获取恢复图像数据(S25)。
另一方面，当判别为光圈值不是小光圈侧的值时(S21的否)，滤波器适用部41中，获取与光学变焦的变焦倍率相应的个别复原滤波器(个别滤波器)(S26)，该个别的复原滤波器适用于原图像数据而获取复原图像数据(S27)。并且，通过增益调整部42增益调整为不受光学变焦倍率影响的通常的复原增益(S28)，并根据复原增益调整之后的“原图像数据与复原图像数据之间的差分”及“原图像数据”获取恢复图像数据(S25)。
在小光圈侧，光学变焦倍率对光学系统的点扩散函数的影响比较小，因此即使进行关于光学变焦倍率使用共同的复原滤波器的点像复原处理(滤波器适用处理)，画质上的不良情况(过校正、振铃等)也不易明显。另一方面，光圈值不是小光圈侧的值时，光学变焦倍率对光学系统的点扩散函数的影响比较大，因此通过进行使用反映出光学变焦倍率的个别的复原滤波器的点像复原处理(滤波器适用处理)，能够精度良好地进行图像复原。因此，根据上述本实施方式，根据拍摄获取原图像数据时的光圈17是否为小光圈，切换在点像复原处理中使用的复原滤波器及复原增益的选择方法，因此能够进行以较高水平兼顾复原滤波器的数据量的减少及高精度的画质复原的点像复原处理。
＜第3实施方式＞
在针对“静态图像”的点像复原处理中，主要重视提高单一图像(静态图像)的画质，而针对“动态图像”的点像复原处理中，不仅需要提高各帧的画质，还需要维持前后帧之间的画质上的连续性并简化处理本身来高速进行处理。尤其，在动态图像摄影期间光学变焦倍率连续变化时，随着光学变焦倍率的变动，点扩散函数也发生变化。因此，即使在动态图像摄影期间光学变焦倍率发生变化时，也优选进行不阻碍帧之间的连续性且能够提供平滑的动态图像的点像复原处理。
本实施方式中，判别处理对象的原图像数据是“动态图像”及“静态图像”中的哪一个，并根据该判别结果切换复原滤波器及复原增益的确定方法。即，当原图像数据为动态图像时，滤波器适用部41关于光学系统的光学变焦的变焦倍率将共同的滤波器用作复原滤波器来获取复原图像数据，增益调整部42根据光学系统的光学变焦的变焦倍率确定复原增益(放大率)。另一方面，原图像数据为静态图像时，滤波器适用部41使用根据光学系统的光学变焦的变焦倍率确定的个别的复原滤波器来获取复原图像数据，而不是使用上述的共同复原滤波器。
另外，“动态图像”由随时间变化而连续的图像组(帧组)构成，包含在比较短的时间内拍摄获取的一系列的多个时序列图像。因此，动态图像意在组合多个图像(帧)来提供给用户，例如记录于存储器等的记录动态图像或拍摄时显示于显示部的即时预览图像包含于“动态图像”的概念。另一方面，“静态图像”基本上由单一的图像构成，是可作为单独图像提供给用户的图像。
图12是第3实施方式所涉及的点像复原处理的流程图。本实施方式中，对与上述的第1实施方式(参考图10)相同的处理，省略详细说明。
首先，点像复原控制处理部39获取摄影条件数据(光圈值、光学变焦的变焦倍率、图像种类等)(图12的S30)，判别处理对象的原图像数据是否为动态图像(S31)。原图像数据是否为动态图像的判别方法并无特别限定，通过参考与拍摄原图像数据时的摄影模式相关的信息或原图像数据附带的信息(例如文件扩展名等)，能够直接或间接地判别原图像数据是否为动态图像。该“原图像数据是否为动态图像”的判别可由滤波器适用部41进行，也可由点像复原控制处理部39的其他处理部进行。
当判别为原图像数据是动态图像时(S31的是)，滤波器适用部41中，关于光学变焦倍率获取共同的复原滤波器(S32)，该共同的复原滤波器适用于原图像数据(动态图像)而获取复原图像数据(S33)。并且，由增益调整部42根据光学变焦倍率调整复原增益(S34)，并根据复原增益调整之后的“原图像数据与复原图像数据之间的差分”及“原图像数据”获取恢复图像数据(S35)。
另一方面，当判定为原图像数据不是动态图像时(S31的否)，滤波器适用部41中，获取与光学变焦倍率相应的个别的复原滤波器(S36)，该个别复原滤波器适用于原图像数据(静态图像)而获取复原图像数据(S37)。并且，通过增益调整部42，增益调整为不受光学变焦倍率影响的通常的复原增益(S38)，并根据复原增益调整之后的“原图像数据与复原图像数据之间的差分”及“原图像数据”获取恢复图像数据(S35)。
“静态图像”中重视单一图像的画质，而“动态图像”中除了重视各帧的画质之外还重视帧之间的连续性及是否为高速且稳定的简单处理。根据上述本实施方式，对静态图像，能够使用与光学变焦倍率相应的个别的复原滤波器来进行画质复原精度优异的点像复原处理。并且，对动态图像，能够通过关于光学变焦倍率使用共同的复原滤波器来简单且高速地进行点像复原处理，并且通过根据光学变焦倍率调整复原增益，能够良好地保持帧之间的连续性。
＜第4实施方式＞
组合上述第2实施方式及第3实施方式，根据“拍摄获取原图像数据时的光圈值是否为“小光圈”(第2实施方式)”及“原图像数据是“动态图像”还是“静态图像”(第3实施方式)”切换复原滤波器及复原增益的确定方法。
图13是第4实施方式所涉及的点像复原处理的流程图。在本实施方式中，对与上述第2实施方式(参考图11)及第3实施方式(参考图12)相同的处理，省略详细说明。
首先，点像复原控制处理部39获取摄影条件数据(光圈值、光学变焦的变焦倍率、图像种类等)(图13的S40)，并判别光圈值是否为小光圈侧的值(S41)。当判别为光圈值是小光圈侧的值时(S41的是)，点像复原控制处理部39判别处理对象的原图像数据是否为动态图像(S42)。
当判别为原图像数据是动态图像时(S42的是)，滤波器适用部41中，关于光学变焦倍率获取共同的复原滤波器(S43)，该共同的复原滤波器适用于原图像数据(动态图像)而获取复原图像数据(S44)。并且，由增益调整部42根据光学变焦倍率调整复原增益(S45)，并根据复原增益调整之后的“原图像数据与复原图像数据之间的差分”及“原图像数据”获取恢复图像数据(S46)。
另一方面，当判定为光圈值不是小光圈侧的值时(S41的否)或判定为原图像数据不是动态图像时(S42的否)，滤波器适用部41中，获取与光学变焦的变焦倍率相应的个别的复原滤波器(S47)，该个别复原滤波器适用于原图像数据而获取复原图像数据(S48)。并且，由增益调整部42增益调整为不受光学变焦倍率影响的通常的复原增益(S49)，并根据复原增益调整之后的“原图像数据与复原图像数据之间的差分”及“原图像数据”获取恢复图像数据(S46)。
＜第5实施方式＞
本实施方式中，根据处理对象的原图像数据“是否为在动态图像拍摄(动态图像摄影模式)期间拍摄的静态图像”，切换复原滤波器及复原增益的确定方法。即，当原图像数据是动态图像时，滤波器适用部41关于光学变焦的变焦倍率将共同的滤波器用作复原滤波器来获取复原图像数据。另一方面，当原图像数据通过动态图像摄影期间的静态图像摄影获取时，滤波器适用部41使用根据光学系统的光学变焦的变焦倍率确定的个别的复原滤波器来获取复原图像数据，而不是使用共同的滤波器。
图14是第5实施方式所涉及的点像复原处理的流程图。在本实施方式中，对与上述第3实施方式(参考图12)相同的处理，省略详细说明。另外，图14表示选择动态图像摄影模式，并在拍摄动态图像时能够另外拍摄静态图像的情况的处理流程。摄影模式的选择和动态图像摄影期间的静态图像拍摄方法并无特别限定，例如可经由设置于数码相机10的用户界面29(包含按钮类、快门类等)进行“摄影模式的选择”和“动态图像摄影期间的静态图像拍摄”。
首先，点像复原控制处理部39获取摄影条件数据(光圈值、光学变焦的变焦倍率、图像种类等)(图14的S50)，并判别处理对象的原图像数据是否为静态图像(S51)。判别原图像数据是否为静态图像的判别方法并无特别限定，通过参考与拍摄原图像数据时的摄影模式相关的信息或原图像数据附带的信息(例如文件扩展名等)，能够直接或间接地判别原图像数据是否为动态图像。
当判定为原图像数据不是静态图像时(S51的否)，将原图像数据当作动态图像来处理，并进行与上述第3实施方式相同的点像复原处理(参考图12的S32～S35)。即，滤波器适用部41中，关于光学变焦倍率获取共同的复原滤波器(S52)，该共同的复原滤波器适用于原图像数据(动态图像)而获取复原图像数据(S53)。并且，由增益调整部42根据光学变焦倍率调整复原增益(S54)，并根据复原增益调整之后的“原图像数据与复原图像数据之间的差分”及“原图像数据”获取恢复图像数据(S55)。
另一方面，当判定为原图像数据是静态图像时(S51的是)，滤波器适用部41中，获取与光学变焦倍率相应的个别的复原滤波器(S56)，该个别复原滤波器适用于原图像数据(静态图像)而获取复原图像数据(S57)。并且，由增益调整部42增益调整为不受光学系统的光学变焦倍率影响的通常的复原增益(S58)，并根据复原增益调整之后的“原图像数据与复原图像数据之间的差分”及“原图像数据”获取恢复图像数据(S55)。
根据上述本实施方式，即使是能够在动态图像摄影期间拍摄静态图像的情况，对静态图像也能够使用与光学变焦倍率相应的个别的复原滤波器来进行画质复原精度优异的点像复原处理。并且，对动态图像，能够通过关于光学变焦倍率使用共同的复原滤波器来简单且高速地进行点像复原处理，并且能够通过根据光学变焦倍率调整复原增益，良好地保持帧之间的连续性。
另外，在本实施方式中也可根据“拍摄原图像数据时的光圈值是否为“小光圈”(参考第2实施方式)”来切换复原滤波器及放大率的确定方法。例如，在进行处理对象的原图像数据是否为静态图像的判别(参考图14的S51)之前，还能够判别拍摄获取原图像数据时的光圈值是否为小光圈侧的值。该情况下，当判别为光圈值不是小光圈侧的值时，能够通过使用与光学变焦的变焦倍率相应的个别的复原滤波器的滤波器适用步骤及基于通常的复原增益(放大率)的增益调整步骤来获取恢复图像数据(参考图14的S56～S58及S55)。另一方面，当判别为光圈值为小光圈侧的值时，能够通过与图14的步骤S51～S58相同的工艺进行点像复原处理。
并且，在上述的任一实施方式中，在关于光学变焦倍率将共同的滤波器用作复原滤波器时，提供该“共同的滤波器”的光学变焦倍率的范围也并无特别限定。因此，可在光学变焦倍率的可变动范围(光学变焦倍率范围)中的整个范围内使用共同的滤波器作为复原滤波器，并且也可在至少特定的光学变焦倍率的范围内使用共同的滤波器作为复原滤波器。并且，可在光学变焦倍率范围中的一部分光学变焦倍率下不使用共同的滤波器，例如在“长焦端T附近”、“广角端W附近”或“光学变焦倍率范围的中央M附近”的倍率下不使用共同的滤波器作为复原滤波器。
＜光学变焦与数码变焦的切换处理＞
本例的数码相机10构成为能够通过变焦控制部37(参考图2)切换“基于光学变焦的变焦模式”与“基于数码变焦的变焦模式”。“基于光学变焦的变焦模式”是通过移动未图示的变焦透镜改变焦距来光学性地改变视场角，由此进行变焦调整的模式。另一方面，“基于数码变焦的变焦模式”是不移动变焦透镜本身，且实际上不改变成像于成像元件26上的图像的视场角范围，但对成像元件26上的一部分图像进行像素插值或者降低间拔率的同时进行放大来改变摄影范围，由此进行变焦调整的模式。
图15是示意地表示光学变焦与数码变焦的切换的图。当为能够进行广范围的摄影的广角侧摄影时，以“基于光学变焦的变焦模式”进行拍摄，若光学变焦的变焦倍率达到“变焦模式切换基准”，则切换为“基于数码变焦的变焦模式”。并且，在比“变焦模式切换基准”更靠长焦侧的摄影时，以“基于数码变焦的变焦模式”进行拍摄。
从光学变焦向数码变焦切换变焦模式时，要求在两个变焦模式之间图像的画质上的较大差异不明显。尤其，进行点像复原处理时，优选点像复原处理引起的画质劣化(振铃、过校正等)不明显，拍摄动态图像时要求良好地保持切换变焦模式前后的帧之间的画质的连续性。
因此，本例中，根据光学系统的点扩散函数确定成为光学变焦与数码变焦之间的切换基准的光学变焦的变焦倍率。通常，在针对以广角侧的光学变焦倍率拍摄的图像的点像复原处理中，画质劣化(振铃、过校正等)比较不易明显，在针对以长焦侧的光学变焦倍率拍摄的图像的点像复原处理中，画质劣化比较容易明显。尤其，“关于光学变焦倍率使用共同的复原滤波器”时存在这种趋势，与以广角侧的光学变焦倍率拍摄的图像相比，在以长焦侧的光学变焦倍率拍摄的图像中，点像复原处理引起的过校正等不良情况易明显。
因此，可将点像复原处理引起的画质劣化明显的光学变焦的变焦倍率设定为“变焦模式切换基准”，在点像复原处理引起的画质劣化不明显的范围内，以“基于光学变焦的变焦模式”进行拍摄，并在比“变焦模式切换基准”更靠长焦侧以“基于数码变焦的变焦模式”进行拍摄。
该“变焦模式切换基准”可通过实验等按光学系统(透镜16、光圈17等)的种类预先确定，也可在如将透镜单元12安装于相机主体14时根据光学系统的点扩散函数计算。例如，可按光学系统的种类预先确定变焦模式切换基准，变焦控制部37根据预先确定的变焦模式切换基准来切换“基于光学变焦的变焦模式”与“基于数码变焦的变焦模式”。按光学系统的种类预先确定的变焦模式切换基准可保存于数码相机10(透镜单元12、相机主体14)内的存储器，也可保存于外部设备(计算机60、服务器80等)。变焦控制部37可从该存储器读出与安装于相机主体14的透镜单元12(光学系统)对应的变焦模式切换基准。并且，变焦控制部37也可获取安装于相机主体14的透镜单元12(光学系统)的点扩散函数，并根据该点扩散函数计算出变焦模式切换基准。该透镜单元12的点扩散函数可保存于数码相机10(透镜单元12、相机主体14)内的存储器或外部设备(计算机60、服务器80等)，变焦控制部37可从该存储器等中读出所对应的点扩散函数。
另外，可根据获取原图像数据时的变焦方向确定“变焦模式切换基准”。即，可在变焦方向为“从广角侧向长焦侧”的情况及“从长焦侧向广角侧”的情况下，改变成为光学变焦与数码变焦的切换基准的光学变焦的变焦倍率(变焦模式切换基准)。如上所述，针对以比广角侧更靠长焦侧的变焦倍率拍摄的图像的点像复原处理中，易引起过校正等，在视觉上尤其优选防止变焦方向为“从广角侧向长焦侧”时的画质连续性的破裂。因此，变焦方向为“从广角侧向长焦侧”时，与变焦方向为“从长焦侧向广角侧”时相比，可将变焦模式切换基准设定为“广角侧的变焦倍率”。
＜变形例＞
接着，对根据基于光学系统的像高的点扩散函数的差异来选择复原滤波器的例子以及切换光学变焦与数码变焦的例子进行说明。另外，对与上述实施方式相同的结构标注相同符号，并省略其详细说明。
本例的滤波器适用部41根据光学系统(透镜16等)中的像高中央部的MTF(调制传递函数)与像高周边部的MTF之间的差异，从“关于光学系统的光学变焦的倍率而共同的复原滤波器”的候选(多个滤波器候选)中选择用作复原滤波器的滤波器。即，复原滤波器的多个滤波器候选包含“第1滤波器候选”及不同于第1滤波器候选的“第2滤波器候选”，当像高中央部的MTF与像高周边部的MTF之差小于阈值(第1阈值)时，滤波器适用部41将第1滤波器候选用作复原滤波器，当像高中央部的MTF与像高周边部的MTF之差为该阈值以上时，滤波器适用部41将第2滤波器候选用作复原滤波器。在此所说的“像高中央部”表示光学系统中光轴上或光轴附近的部位，“像高周边部”表示光学系统中具有大于像高中央部像高的部位。例如，将光轴中心(光轴位置)设为像高为“0”，而将投影到成像元件(参考图1的符号“26”)上的图像圈的半径设为“1”时(光轴中心与成像元件的中心一致时，将成像元件的摄像面的中心设为“0”，并将成像元件的摄像面的顶点设为“1”时)，可将由“0～0.1”表示的范围的同心圆内的区域设定为“像高中央部”，并将由“0.8±0.1”表示的范围的区域设定为“像高周边部”。另外，规定“像高中央部”及“像高周边部”的这些数值仅为一例，可进行适当变更。
以下的例子中，为了便于说明，采用参考矢状方向(Sag方向)及切线方向(Tan方向)的MTF，从复原滤波器的候选组选择最适合的复原滤波器的简单方法。复原滤波器的选择方法依判断基准而各不相同，以下例子中，着眼于光学系统的像高中央部及像高周边部中的特定频率下的响应比。作为表示点扩散函数的信息而利用矢状方向及切线方向的MTF的方法与利用PSF时相比，虽不考虑相位成分(PTF)信息和与矢状方向及切线方向以外的方向有关的MTF信息，但具有能够使数据量非常紧凑的优点，因此对透镜更换型的数码相机10(摄像装置)等有利。
图16是表示光学系统52中的像高中央部50及像高周边部51的示意图。另外，为了便于说明，图16的光学系统52中，示出与摄影图像(成像元件26的有效像素范围)对应的矩形范围，像高中央部50设定于光轴上，像高周边部51设定于光学系统52的角部(图16中为右下角部)。
本例的滤波器适用部41从多个滤波器候选中选择与像高中央部50对应的复原滤波器及与像高周边部51对应的复原滤波器之比最接近像高中央部50的MTF与像高周边部51的MTF(中心MTF及周边MTF)之比的复原滤波器(复原滤波器组)。由此，能够选择“像高周边部51中的图像模糊的大小”与“适用于像高周边部51的摄影图像的复原滤波器”最匹配的复原滤波器。
该复原滤波器的选择工艺由以下公式1～公式3表示。
即，将自中心(光轴)的像高“h(mm)”及空间频率“f(Lp/mm：linepairs/mm)”中的矢状方向的MTF设为“Ms(h,f)”，将切线方向的MTF设为“Mt(h,f)”。并且，关于像高“h(mm)”及空间频率“f(Lp/mm)”中的第n个滤波器候选，将基于滤波处理(滤波器适用处理)的矢状方向的复原强度放大率设为Gs(n,h,f)，将切线方向的复原强度放大率设为Gt(n,h,f)。另外，“h0”表示像高中央部50(中心、光轴)的像高(“h0＝0”)，“h1”表示所关注的像高周边部51的像高。因此，像高中央部50的矢状方向的MTF由“Ms(h0,f)”表示，切线方向的MTF由“Mt(h0,f)”表示，像高周边部51的矢状方向的MTF由“Ms(h1,f)”表示，切线方向的MTF由“Mt(h1,f)”表示。另外，准确来讲，在光学系统52(透镜16)中心，没有矢状方向及切线方向的区別，因此成为“Ms(h0,f)＝Mt(h0,f)”。
此时，根据以下公式1～公式3求出的编号n的滤波器候选被选为在滤波器适用部41中的滤波处理中使用的复原滤波器。另外，以下公式1～公式3并未特别关注矢状方向及切线方向的差异(各向异性)，而是基于模糊程度(分辨率劣化)较大的方向的响应在视觉上起支配作用的假设。
[数式1]
（数式1）M（h，f)＝min(Ms(h，f)，Mt(h，f))
[数式2]
(数式2)G(n，h，f)＝max(Gs(n，h，f)，Gt(n，h，f))
[数式3]
上述公式1表示，分别在像高中央部50及像高周边部51中，将矢状方向的MTF(Ms(h,f))及切线方向的MTF(Mt(h,f))中较小的MTF设定为代表性MTF(M(h,f))。并且，上述公式2表示，分别在像高中央部50及像高周边部51中，关于第n个滤波器候选，将基于滤波处理的矢状方向的复原强度放大率(Gs(n,h,f))及切线方向的复原强度放大率(Gt(n,h,f))中，将较大的复原强度放大率设定为代表性复原强度放大率(G(n,h,f))。
将由公式1及公式2求出的“代表性MTF(M(h,f))”及“代表性复原强度放大率(G(n,h,f))”适用于公式3，由此导出最适合作为复原滤波器的滤波器候选的编号。即，公式3表示求出像高中央部50及像高周边部51的“代表性MTF之比(M(h0,f)/M(h1,f))”与“代表性复原强度放大率之比(G(n,h1,f)/G(n,h0,f))”之差的绝对值最小的n(第n个滤波器候选)的情况。
因此，在“代表性MTF之比(M(h0,f)/M(h1,f))”比较小时选择的滤波器候选(第1滤波器候选)与在“代表性MTF之比(M(h0,f)/M(h1,f))”比较大时选择的滤波器候选(第2滤波器候选)不同。换言之，在像高中央部50的代表性MTF与像高周边部51的代表性MTF之差小于阈值(第1阈值)时使用的滤波器候选(第1滤波器候选)、和像高中央部50的代表性MTF与像高周边部51的代表性MTF之差为阈值(第1阈值)以上时使用的滤波器候选(第2滤波器候选)不同。
基于上述公式1～公式3的“n(第n个滤波器候选)”的具体计算方法并无特别限定，能够使用任意方法，并且也能够适当设定其他参数。例如，所关注的空间频率f能够综合考虑光学特性、图像复原特性及视觉特性等来确定，还能够设为“f＝0.25fs(参考图5A)”。并且，对于像高周边部51的具体位置(像高)，也能够综合考虑光学特性、图像复原特性及视觉特性等来适当确定。另外，上述公式1～公式3利用基于复原滤波器(维纳(Wiener)滤波器)的复原强度(尤其SN比大时的复原强度)成为MTF的大概的倒数的情况，尤其在低频区域中这种特征显著。
滤波器适用部41通过将这样求出的第n个滤波器候选用作“关于光学系统的光学变焦的变焦倍率而共同的复原滤波器”，能够根据基于像高的MTF特性(点扩散函数特性)进行点像复原处理(滤波器适用处理)。按伴随点像复原处理的每个图像数据进行该复原滤波器的选择(第n个滤波器候选的计算)。因此，时序列上的前一图像数据(帧)的点像复原处理中使用的滤波器候选n1(复原滤波器)在时序列上的后一图像数据(帧)的点像复原处理中也被选为最适合的滤波器候选时，该滤波器候选n1持续用作复原滤波器。
上述基于MTF的复原滤波器切换方法仅为一例，可将所选择的滤波器候选用作关于所有光学变焦倍率而共同的复原滤波器，也可根据光学变焦倍率切换复原滤波器。例如，可将通过上述“根据基于像高的MTF特性确定复原滤波器的方法”预先求出的最适合的复原滤波器与光学变焦的变焦倍率(变焦位置)预先建立对应关联，并将切换复原滤波器的光学变焦的变焦倍率(滤波器切换点)预先存储于数码相机10(例如点像复原控制处理部39)的存储器。此时，点像复原控制处理部39(滤波器适用部41)通过参考存储于存储器的滤波器切换点，能够根据拍摄时的光学变焦倍率切换在点像复原处理中使用的复原滤波器。
上述的例子中，根据像高中央部50及像高周边部51的MTF控制“复原滤波器的切换”，但也可控制“光学变焦与数码变焦之间的切换”。即，可根据像高中央部50的MTF与像高周边部51的MTF的差异确定成为光学变焦与数码变焦的切换基准的光学变焦的变焦倍率(参考图15的“变焦模式切换基准”)。
例如，和像高中央部50的MTF与像高周边部51的MTF之差较小时相比，像高中央部50的MTF与像高周边部51的MTF之差较大时，可以以广角侧的光学变焦的变焦倍率切换光学变焦与数码变焦。像高中央部50与像高周边部51之间的MTF差较大时，尤其在以长焦侧的变焦倍率拍摄获取的图像(原图像数据)中易产生点像复原处理引起的过校正等。因此，与MTF差较小时(MTF差小于阈值(第2阈值)时)相比，像高中央部50的MTF与像高周边部51的MTF之差较大时(MTF差为阈值(第2阈值)以上时)，通过以广角侧的光学变焦倍率切换光学变焦与数码变焦，能够提前防止通过点像复原处理有可能产生的过校正等。
＜其他变形例＞
上述数码相机10仅为例示，还能够对其他结构适用本发明。各功能结构可通过任意硬件、软件或两者的组合来适当实现。例如，对使计算机执行上述各装置及处理部(相机主体控制器28、设备控制部34、图像处理部35、变焦控制部37、点像复原控制处理部39等)中的图像处理方法(处理步骤、处理顺序)的程序、能够计算机读取的记录有这种程序的记录介质(非临时记录介质)、或能够安装这种程序的各种计算机，也能够应用本发明。
＜对EDoF系统的适用例＞
上述实施方式中的复原处理是根据特定的摄影条件(例如，光圈值、F值、焦距及透镜种类等)对点扩散(点像模糊)进行恢复修正来复原原来的被摄体像的图像处理，但能够适用本发明的图像复原处理并不限定于上述实施方式中的复原处理。例如，对于针对通过具有被扩大的景深(焦深)(EDoF：ExtendedDepthofField(Focus))的光学系统(摄影透镜等)拍摄获取的图像数据进行的复原处理，也能够适用本发明所涉及的复原处理。对通过EDoF光学系统在景深(焦深)被扩大的状态下拍摄获取的模糊图像的图像数据进行复原处理，从而能够在宽范围内复原生成对焦状态的高分辨率的图像数据。此时，进行使用如下复原滤波器的复原处理，所述复原滤波器为基于EDoF光学系统的点扩散函数(PSF、OTF、MTF或PTF等)的复原滤波器，且具有设定成能够在被扩大的景深(焦深)范围内进行良好的图像复原的滤波器系数。
以下，对与经由EDoF光学系统拍摄获取的图像数据的复原相关的系统(EDoF系统)的一例进行说明。另外，在以下所示的例子中，对针对从去马赛克处理之后的图像数据(RGB数据)中获得的亮度信号(Y数据)进行复原处理的例子进行说明，但进行复原处理的时刻并无特别限定，例如可对“去马赛克处理之前的图像数据(马赛克图像数据)”或“去马赛克处理之后且亮度信号转换处理之前的图像数据(去马赛克图像数据)”进行复原处理。
图17是表示具备EDoF光学系统的摄像模块101的一方式的框图。本例的摄像模块(数码相机等)101包含EDoF光学系统(透镜单元)110、成像元件112、AD转换部114及复原处理块(图像处理部)120。
图18是表示EDoF光学系统110的一例的图。本例的EDoF光学系统110具有单焦点的被固定的摄影透镜110A及配置于光瞳位置的滤光器111。滤光器111是调制相位的要件，其使EDoF光学系统110(摄影透镜110A)EDoF化，以获得被扩大的景深(焦深)(EDoF)。如此，摄影透镜110A及滤光器111构成调制相位来扩大景深的透镜部。
另外，EDoF光学系统110根据需要包含其他构成要件，例如在滤光器111附近配设有光圈(省略图示)。并且，滤光器111可以是一个，也可以组合多个。并且，滤光器111仅仅是光学相位调制机构的一例，还可以通过其他机构实现EDoF光学系统110(摄影透镜110A)的EDoF化。例如，代替设置滤光器111，可通过以具有与本例的滤光器111相同功能的方式进行透镜设计的摄影透镜110A实现EDoF光学系统110的EDoF化。
即，能够通过使成像元件112的受光面上的成像的波面发生变化的各种机构，实现EDoF光学系统110的EDoF化。例如，可将“厚度发生变化的光学元件”、“折射率发生变化的光学元件(折射率分布型波面调制透镜等)”、“通过对透镜表面进行涂布等而厚度或折射率发生变化的光学元件(波面调制混合式透镜、在透镜面上形成为相位面的光学元件等)”、“能够调制光的相位分布的液晶元件(液晶空间相位调制元件等)”用作EDoF光学系统110的EDoF化机构。如此，不仅对于能够通过光波面调制元件(滤光器111(相位板))形成规则地分散的图像的情况能够应用本发明，而且对于不使用光波面调制元件而可通过摄影透镜110A本身形成与使用光波面调制元件时相同的分散图像的情况，也能够应用本发明。
图17及图18所示的EDoF光学系统110可以省略机械地进行调焦的调焦机构，因此能够实现小型化，可适当地搭载于带相机的移动电话或移动信息终端。
通过被EDoF化的EDoF光学系统110之后的光学图像被成像于图17所示的成像元件112，在此转换成电信号。
成像元件112由以规定的图案排列(拜耳排列、G条纹R/G完整方格、X-Trans排列、蜂窝排列等)配置成矩阵状的多个像素构成，各像素包含微透镜、滤色器(本例中为RGB滤色器)及光电二极管。经由EDoF光学系统110入射到成像元件112的受光面的光学图像通过排列于该受光面的各光电二极管而转换成与入射光量相应的量的信号电荷。并且，积蓄在各光电二极管的R、G、B的信号电荷作为每个像素的电压信号(图像信号)被依次输出。
AD转换部114将从成像元件112按每个像素输出的模拟R、G、B图像信号转换成数字RGB图像信号。通过AD转换部114转换成数字图像信号的数字图像信号被添加在复原处理块120。
复原处理块120例如包含黑电平调整部122、白平衡增益部123、伽马处理部124、去马赛克处理部125、RGB/YCrCb转换部126及Y信号复原处理部127。
黑电平调整部122对从AD转换部114输出的数字图像信号实施黑电平调整。黑电平调整可采用公知的方法。例如，当着眼于某一有效光电转换元件时，求出与包含该有效光电转换元件的光电转换元件行中所包含的多个OB光电转换元件的每一个相对应的暗电流量获取用信号的平均，从与该有效光电转换元件相对应的暗电流量获取用信号中减去该平均，由此进行黑电平调整。
白平衡增益部123进行与已调整黑电平数据的数字图像信号中包含的RGB各颜色信号的白平衡增益相应的增益调整。
伽马处理部124进行以使已进行白平衡调整的R、G、B图像信号成为所希望的伽马特性的方式进行半色调等灰度校正的伽马校正。
去马赛克处理部125对伽马校正之后的R、G、B图像信号实施去马赛克处理。具体而言，去马赛克处理部125通过对R、G、B图像信号实施颜色插值处理，生成从成像元件112的各受光像素输出的一组图像信号(R信号、G信号、B信号)。即，在颜色去马赛克处理之前，来自各受光像素的像素信号为R、G、B图像信号中的任一个，但在颜色去马赛克处理之后，会输出与各受光像素相对应的R、G、B信号的3个像素信号组。
RGB/YCrCb转换部126将已进行去马赛克处理的每个像素的R、G、B信号转换成亮度信号Y和色差信号Cr、Cb，并输出每个像素的亮度信号Y及色差信号Cr、Cb。
Y信号复原处理部127根据预先存储的复原滤波器，对来自RGB/YCrCb转换部126的亮度信号Y进行复原处理。复原滤波器例如由具有7×7的核尺寸的反卷积核(对应于M＝7、N＝7的抽头数)及与该反卷积核相对应的运算系数(对应于复原增益数据、滤波器系数)构成，使用于滤光器111的相位调制量的反卷积处理(反卷积运算处理)。另外，复原滤波器中，与滤光器111相对应的滤波器被存储于未图示的存储器(例如附带设置有Y信号复原处理部127的存储器)。并且，反卷积核的核尺寸并不限于7×7。
接着，对基于复原处理块120的复原处理进行说明。图19是表示基于图17所示的复原处理块120的复原处理流程的一例的图。
对黑电平调整部122的一输入中，从AD转换部114添加数字图像信号，对另一输入添加黑电平数据，黑电平调整部122从数字图像信号减去黑电平数据，并将被减去黑电平数据的数字图像信号输出至白平衡增益部123(S61)。由此，数字图像信号中不包含黑电平成分，表示黑电平的数字图像信号成为0。
对黑电平调整之后的图像数据依次实施通过白平衡增益部123、伽马处理部124进行的处理(S62及S63)。
被伽马校正的R、G、B信号在去马赛克处理部125中被去马赛克处理之后，在RGB/YCrCb转换部126中转换成亮度信号Y和色度信号Cr、Cb(S64)。
Y信号复原处理部127进行对亮度信号Y施以EDoF光学系统110的滤光器111的相位调制量的反卷积处理的复原处理(S65)。即，Y信号复原处理部127进行与以任意处理对象的像素为中心的规定单位的像素组相对应的亮度信号(在此为7×7像素的亮度信号)、与预先存储于存储器等的复原滤波器(7×7的反卷积核及其运算系数)的反卷积处理(反卷积运算处理)。Y信号复原处理部127以覆盖摄像面的整个区域的方式反复进行该规定单位的每个像素组的反卷积处理，由此进行消除整个图像的像模糊的复原处理。复原滤波器根据实施反卷积处理的像素组的中心位置来确定。即，在接近的像素组中适用共同的复原滤波器。为了进一步简化复原处理，优选对所有像素组适用共同的复原滤波器。
如图20的符号1201所示，通过EDoF光学系统110之后的亮度信号的点像(光学图像)作为较大的点像(模糊的图像)而成像于成像元件112，但通过Y信号复原处理部127中的反卷积处理，如图20的符号1202所示那样，复原成较小的点像(高分辨率的图像)。
如上所述，通过对去马赛克处理之后的亮度信号施以复原处理，RGB无需分别具有复原处理的参数，能够使复原处理高速化。并且，并不是将与位于分散位置的R、G、B像素相对应的R、G、B图像信号分别汇集为一个单位来进行反卷积处理，而是将接近的像素的亮度信号彼此汇集为规定单位，并在该单位中适用共同的复原滤波器来进行反卷积处理，因此复原处理的精度得到提高。另外，对于色差信号Cr、Cb，在基于人眼的视觉特性上即使不通过复原处理来提高分辨率，在画质上也是可以接受的。并且，以JPEG这样的压缩形式记录图像时，色差信号以比亮度信号更高的压缩率被压缩，因此没有必要通过复原处理来提高分辨率。如此一来，能够兼顾复原精度的提高与处理的简单化及高速化。
对于如以上说明的EDoF系统的复原处理，也能够适用本发明的各实施方式所涉及的点像复原处理。即，可在复原处理块120(Y信号复原处理部127)中的复原处理中(图19的S65)，执行通过点像复原控制处理部39进行的上述各种处理(点像复原处理)。
另外，上述各实施方式中，对点像复原处理部39设置于数码相机10的相机主体14(相机主体控制器28)的方式进行了说明，但点像复原处理部39也可以设置于计算机60或者服务器80等其他装置。
例如，在计算机60中加工图像数据时，可通过设置于计算机60的点像复原控制处理部进行该图像数据的点像复原处理。并且，当服务器80具备点像复原控制处理部时，例如可从数码相机10或计算机60向服务器80发送图像数据，在服务器80的点像复原控制处理部中对该图像数据进行点像复原处理，点像复原处理之后的图像数据(恢复图像数据)被发送/供给至发送源。
并且，能够适用本发明的方式并不限定于数码相机10、计算机60及服务器80，除了以摄像为主要功能的相机类之外，对于除了摄像功能以外还具备摄像以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类，也能够适用本发明。作为能够适用本发明的其他方式，例如可举出具有相机功能的移动电话和智能手机、PDA(PersonalDigitalAssistants)、便携式游戏机。以下，对能够适用本发明的智能手机的一例进行说明。
＜智能手机的结构＞
图21是表示作为本发明的摄像装置的一实施方式的智能手机201的外观的图。图21所示的智能手机201具有平板状框体202，在框体202的一侧的面具备作为显示部的显示面板221与作为输入部的操作面板222成为一体的显示输入部220。并且，这种框体202具备扬声器231、麦克风232、操作部240及相机部241。另外，框体202的结构并不限定于此，例如能够采用显示部与输入部独立的结构，或者采用具有折叠结构或滑动机构的结构。
图22是表示图21所示的智能手机201的结构的框图。如图22所示，作为智能手机的主要的构成要件，具备无线通信部210、显示输入部220、通话部230、操作部240、相机部241、存储部250、外部输入输出部260、GPS(GlobalPositioningSystem)接收部270、动作传感器部280、电源部290及主控制部200。并且，作为智能手机201的主要功能，具备经由基站装置BS和移动通信网NW进行移动无线通信的无线通信功能。
无线通信部210根据主控制部200的命令，对容纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信，进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发及Web数据或流数据等的接收。
显示输入部220是所谓的触摸面板，其具备显示面板221及操作面板222，所述显示输入部通过主控制部200的控制，显示图像(静态图像及动态图像)和文字信息等来视觉性地向用户传递信息，并且检测用户对所显示的信息的操作。
显示面板221是将LCD(LiquidCrystalDisplay)、OELD(OrganicElectro-LuminescenceDisplay)等用作显示设备的装置。操作面板222是以能够视觉辨认显示于显示面板221的显示面上的图像的方式载置，并检测通过用户的手指或触控笔来操作的一个或多个坐标的设备。若通过用户的手指或触控笔操作该设备，则将因操作而产生的检测信号输出至主控制部200。接着，主控制部200根据所接收的检测信号检测显示面板221上的操作位置(坐标)。
图21所示，作为本发明的摄像装置的一实施方式来例示的智能手机201的显示面板221与操作面板222成为一体而构成显示输入部220，配置成操作面板222完全覆盖显示面板221。采用该配置时，操作面板222可以对显示面板221以外的区域也具备检测用户操作的功能。换言之，操作面板222可具备针对与显示面板221重叠的重叠部分的检测区域(以下，称为显示区域)、及针对除此以外的不与显示面板221重叠的外缘部分的检测区域(以下，称为非显示区域)。
另外，可使显示区域的大小与显示面板221的大小完全一致，但无需一定要使两者一致。并且，操作面板222可具备外缘部分及除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据框体202的大小等而适当设计。此外，作为在操作面板222中采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式或静电电容方式等，还可以采用任意方式。
通话部230具备扬声器231和麦克风232，所述通话部将通过麦克风232输入的用户的语音转换成能够在主控制部200中处理的语音数据而输出至主控制部200，并对通过无线通信部210或外部输入输出部260接收的语音数据进行解码而从扬声器231输出。并且，如图21所示，例如能够将扬声器231搭载于与设置有显示输入部220的面相同的面，并将麦克风232搭载于框体202的侧面。
操作部240为使用键开关等的硬件键，接受来自用户的命令。例如，如图21所示，操作部240搭载于智能手机201的框体202的侧面，是用手指等按下时开启，手指离开时通过弹簧等的复原力而成为关闭状态的按钮式开关。
存储部250存储主控制部200的控制程序和控制数据、应用软件、将通信对象的名称和电话号码等建立对应关联的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据及已下载的内容数据，并且临时存储流数据等。并且，存储部250由智能手机内置的内部存储部251及具有装卸自如的外部存储器插槽的外部存储部252构成。另外，构成存储部250的各个内部存储部251与外部存储部252通过使用闪存类型(flashmemorytype)、硬盘类型(harddisktype)、微型多媒体卡类型(multimediacardmicrotype)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(RandomAccessMemory)或ROM(ReadOnlyMemory)等存储介质来实现。
外部输入输出部260发挥与连结于智能手机201的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(RadioFrequencyIdentification)、红外线通信(InfraredDataAssociation：IrDA)(注册商标)、UWB(UltraWideband)(注册商标)或紫蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。
作为与智能手机201连结的外部设备，例如有：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(Memorycard)或SIM(SubscriberIdentityModuleCard)/UIM(UserIdentityModuleCard)卡、经由音频/视频I/O(Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部能够将从这种外部设备接收到传送的数据传递至智能手机201内部的各构成要件、或将智能手机201内部的数据传送至外部设备。
GPS接收部270根据主控制部200的命令，接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测包括智能手机201的纬度、经度、高度的位置。GPS接收部270在能够从无线通信部210或外部输入输出部260(例如无线LAN)获取位置信息时，还能够利用该位置信息检测位置。
动作传感器部280例如具备3轴加速度传感器等，根据主控制部200的命令，检测智能手机201的物理动作。通过检测智能手机201的物理动作，可检测智能手机201的移动方向或加速度。该检测结果被输出至主控制部200。
电源部290根据主控制部200的命令，向智能手机201的各部供给积蓄在电池(未图示)中的电力。
主控制部200具备微处理器，根据存储部250所存储的控制程序或控制数据进行动作，统一控制智能手机201的各部。并且，主控制部200为了通过无线通信部210进行语音通信或数据通信，具备控制通信系统的各部的移动通信控制功能及应用处理功能。
应用处理功能通过主控制部200根据存储部250所存储的应用软件进行动作来实现。作为应用处理功能，例如有控制外部输入输出部260来与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览Web页的Web浏览功能等。
并且，主控制部200具备根据接收数据或所下载的流数据等图像数据(静态图像或动态图像的数据)而在显示输入部220显示影像等的图像处理功能。图像处理功能是指主控制部200对上述图像数据进行解码，对该解码结果实施图像处理并将图像显示于显示输入部220的功能。
而且，主控制部200执行对显示面板221的显示控制及检测通过操作部240、操作面板222进行的用户操作的操作检测控制。
通过执行显示控制，主控制部200显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于使无法落入显示面板221的显示区域的较大图像等，接受使图像的显示部分移动的命令的软件键。
并且，通过执行操作检测控制，主控制部200检测通过操作部240进行的用户操作，或者通过操作面板222接受对上述图标的操作或对上述窗口的输入栏输入字符串，或者接受通过滚动条进行的显示图像的滚动请求。
而且，通过执行操作检测控制，主控制部200具备判定对操作面板222操作的位置是与显示面板221重叠的重叠部分(显示区域)还是除此以外的不与显示面板221重叠的外缘部分(非显示区域)，并控制操作面板222的感应区域或软件键的显示位置的触摸面板控制功能。
并且，主控制部200还能够检测对操作面板222的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作表示并非以往的简单的触摸操作，而是通过手指等描绘轨迹、或者同时指定多个位置、或者组合这些来从多个位置对至少一个描绘轨迹的操作。
相机部241是使用CMOS(ComplementaryMetalOxideSemiconductor)或CCD(Charge-CoupledDevice)等成像元件进行电子摄影的数码相机。并且，相机部241能够通过主控制部200的控制，将通过摄像获得的图像数据转换成例如JPEG(JointPhotographiccodingExpertsGroup)等被压缩的图像数据，并记录于存储部250，并且能够通过外部输入输出部260和无线通信部210输出。在图21所示的智能手机201中，相机部241搭载于与显示输入部220相同的面，但相机部241的搭载位置并不限定于此，还可搭载于显示输入部220的背面，或者还可以搭载有多个相机部241。另外，搭载有多个相机部241时，还能够切换用于进行拍摄的相机部241来单独拍摄、或者同时使用多个相机部241来进行拍摄。
并且，相机部241能够利用于智能手机201的各种功能中。例如，能够在显示面板221显示由相机部241获取的图像，或者作为操作面板222的操作输入之一而利用相机部241的图像。并且，当GPS接收部270检测位置时，还能够参考来自相机部241的图像来检测位置。而且，还能够参考来自相机部241的图像，不使用3轴加速度传感器或者与3轴加速度传感器同时使用来判断智能手机201的相机部241的光轴方向，或判断当前的使用环境。当然，还能够在应用软件内利用来自相机部241的图像。
另外，能够在静态图像或动态图像的图像数据上附加通过GPS接收部270获取的位置信息、通过麦克风232获取的语音信息、(也可通过主控制部等进行语音文本转换而成为文本信息)、通过动作传感器部280获取的姿势信息等等来记录于存储部250，还能够通过外部输入输出部260或无线通信部210输出。
在上述的智能手机201中，与点像复原处理相关的上述各处理部例如可通过主控制部200、存储部250等适当地实现。
本发明并不限定于上述实施方式，当然也能够在不脱离本发明的宗旨的范围内进行各种变形。
符号说明
10-数码相机、12-透镜单元、14-相机主体、16-透镜、17-光圈、18-光学系统操作部、20-透镜单元控制器、22-透镜单元输入输出部、26-成像元件、28-相机主体控制器、29-用户界面、30-相机主体输入输出部、32-输入输出接口、34-设备控制部、35-图像处理部、37-变焦控制部、39-点像复原控制处理部、41-滤波器适用部、42-增益调整部、43-存储器、50-像高中央部、51-像高周边部、52-光学系统、60-计算机、62-计算机输入输出部、64-计算机控制器、66-显示器、70-因特网、80-服务器、82-服务器输入输出部、84-服务器控制器、101-摄像模块、110-EDoF光学系统、110A-摄影透镜、111-滤光器、112-成像元件、114-AD转换部、120-复原处理块、122-电平调整部、123-白平衡增益部、124-伽马处理部、125-去马赛克处理部、126-RGB/YCrCb转换部、127-Y信号复原处理部、200-主控制部、201-智能手机、202-框体、210-无线通信部、220-表示输入部、221-显示面板、222-操作面板、230-通话部、231-扬声器、232-麦克风、240-操作部、241-相机部、250-存储部、251-内部存储部、252-外部存储部、260-外部输入输出部、270-GPS接收部、280-动作传感器部、290-电源部。

Claims (16)

1.一种图像处理装置，其具备：
滤波器适用部，对通过利用光学系统进行的摄影而获取的原图像数据，适用基于所述光学系统的点扩散函数的复原滤波器来获取复原图像数据；及
增益调整部，调整所述原图像数据与所述复原图像数据之间的差分的放大率，根据已调整该放大率之后的差分及所述原图像数据获取恢复图像数据，
所述滤波器适用部将与所述光学系统的光学变焦的倍率值无关而确定的共同的滤波器用作所述复原滤波器，
所述增益调整部根据所述光学系统的光学变焦的倍率确定所述放大率。
2.根据权利要求1所述的图像处理装置，其中，
所述复原滤波器根据获取所述原图像数据时的所述光学系统的光圈值来确定。
3.根据权利要求1或2所述的图像处理装置，其中，
当获取所述原图像数据时的所述光学系统的光圈值为小于第1光圈值的小光圈侧的值时，所述滤波器适用部将与所述光学系统的光学变焦的倍率值无关而确定的共同的滤波器用作所述复原滤波器来获取所述复原图像数据，
当获取所述原图像数据时的所述光学系统的光圈值为小于所述第1光圈值的小光圈侧的值时，所述增益调整部根据所述光学系统的光学变焦的倍率确定所述放大率。
4.根据权利要求1至3中任一项所述的图像处理装置，其中，
所述滤波器适用部根据所述光学系统中的光轴上或光轴附近的像高中央部的调制传递函数与所述光学系统中具有大于所述像高中央部像高的像高周边部的调制传递函数的差异，从与所述光学系统的光学变焦的倍率值无关而确定的共同的滤波器的候选即多个滤波器候选中选择用作所述复原滤波器的滤波器。
5.根据权利要求4所述的图像处理装置，其中，
所述多个滤波器候选包含第1滤波器候选及不同于第1滤波器候选的第2滤波器候选，
当所述像高中央部的调制传递函数与所述像高周边部的调制传递函数之差小于第1阈值时，所述滤波器适用部将第1滤波器候选用作所述复原滤波器，当所述像高中央部的调制传递函数与所述像高周边部的调制传递函数之差为第1阈值以上时，所述滤波器适用部将第2滤波器候选用作所述复原滤波器。
6.根据权利要求1至5中任一项所述的图像处理装置，其中，
当所述原图像数据为动态图像时，所述滤波器适用部将与所述光学系统的光学变焦的倍率值无关而确定的共同的滤波器用作所述复原滤波器来获取所述复原图像数据，
当所述原图像数据为动态图像时，所述增益调整部根据所述光学系统的光学变焦的倍率确定所述放大率。
7.根据权利要求6所述的图像处理装置，其中，
当所述原图像数据为静态图像时，所述滤波器适用部使用根据所述光学系统的光学变焦的倍率确定的所述复原滤波器来获取所述复原图像数据。
8.根据权利要求7所述的图像处理装置，其中，
当所述原图像数据通过动态图像摄影期间的静态图像摄影而获取时，所述滤波器适用部使用根据所述光学系统的光学变焦的倍率确定的所述复原滤波器来获取所述复原图像数据。
9.根据权利要求1至8中任一项所述的图像处理装置，其中，
所述光学系统具有调制相位来扩大景深的透镜部。
10.一种摄像装置，其具备：
通过利用光学系统进行的摄影而获取原图像数据的成像元件；及
权利要求1至9中任一项所述的图像处理装置。
11.根据权利要求10所述的摄像装置，
所述摄像装置还具备能够切换光学变焦及数码变焦的变焦控制部，
成为所述光学变焦与所述数码变焦的切换基准的所述光学变焦的倍率，根据所述光学系统的点扩散函数而被确定。
12.根据权利要求11所述的摄像装置，其中，
成为所述光学变焦与所述数码变焦的切换基准的所述光学变焦的倍率，根据所述光学系统中光轴上或光轴附近的像高中央部的调制传递函数与所述光学系统中具有大于所述像高中央部像高的像高周边部的调制传递函数的差异而被确定。
13.根据权利要求11或12所述的摄像装置，其中，
成为所述光学变焦与所述数码变焦的切换基准的所述光学变焦的倍率，根据获取所述原图像数据时的变焦方向而被确定。
14.根据权利要求10至13中任一项所述的摄像装置，其中，
所述增益调整部根据获取所述原图像数据时的变焦方向确定所述放大率。
15.一种图像处理方法，其具备：
滤波器适用步骤，对通过利用光学系统进行的摄影而获取的原图像数据，适用基于所述光学系统的点扩散函数的复原滤波器来获取复原图像数据；及
增益调整步骤，调整所述原图像数据与所述复原图像数据之间的差分的放大率，根据进行该调整之后的差分及所述原图像数据获取恢复图像数据，
所述滤波器适用步骤中，将与所述光学系统的光学变焦的倍率值无关而确定的共同的滤波器用作所述复原滤波器，
所述增益调整步骤中，根据所述光学系统的光学变焦的倍率确定所述放大率。
16.一种程序，其用于使计算机执行如下步骤：
对通过利用光学系统的摄影而获取的原图像数据，适用基于所述光学系统的点扩散函数的复原滤波器来获取复原图像数据的步骤；及
调整所述原图像数据与所述复原图像数据之间的差分的放大率，根据进行该调整之后的差分及所述原图像数据获取恢复图像数据的步骤，
该程序中，
在获取所述复原图像数据的所述步骤中，将与所述光学系统的光学变焦的倍率值无关而确定的共同的滤波器用作所述复原滤波器，
在获取所述恢复图像数据的所述步骤中，根据所述光学系统的光学变焦的倍率确定所述放大率。
CN201480043398.5A 2013-08-02 2014-06-20 图像处理装置、摄像装置及图像处理方法 Active CN105453539B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-161000 2013-08-02
JP2013161000 2013-08-02
PCT/JP2014/066432 WO2015015944A1 (ja) 2013-08-02 2014-06-20 画像処理装置、撮像装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN105453539A true CN105453539A (zh) 2016-03-30
CN105453539B CN105453539B (zh) 2019-02-22

Family

ID=52431486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480043398.5A Active CN105453539B (zh) 2013-08-02 2014-06-20 图像处理装置、摄像装置及图像处理方法

Country Status (4)

Country Link
US (1) US9906732B2 (zh)
JP (1) JP5864037B2 (zh)
CN (1) CN105453539B (zh)
WO (1) WO2015015944A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12055698B2 (en) 2020-07-24 2024-08-06 Sintai Optical (Shenzhen) Co., Ltd. Lens assembly

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014155797A1 (ja) * 2013-03-29 2014-10-02 富士フイルム株式会社 ビデオカメラ用レンズの絞り装置及びその制御方法
JP6471031B2 (ja) * 2015-04-15 2019-02-13 マクセル株式会社 位相フィルタ、撮像光学系、及び撮像システム
JP6559011B2 (ja) * 2015-08-20 2019-08-14 キヤノン株式会社 画像処理装置、および画像処理方法
US11602265B2 (en) * 2016-03-31 2023-03-14 Sony Corporation Control device, endoscopic imaging device, control method, program, and endoscopic system
JP6598886B2 (ja) * 2018-01-05 2019-10-30 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、記憶媒体、および、レンズ装置
JP6625144B2 (ja) 2018-01-05 2019-12-25 キヤノン株式会社 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム、記憶媒体、および、レンズ装置
US10567749B1 (en) * 2019-05-03 2020-02-18 Zf Active Safety And Electronics Us Llc Modulation transfer function evaluation for red/clear filtered optical devices
CN111861932B (zh) * 2020-07-28 2022-05-17 RealMe重庆移动通信有限公司 图像的畸变校正方法、装置及移动终端
KR20220029310A (ko) 2020-08-31 2022-03-08 삼성전자주식회사 이미지 센서, 이미지 센서를 포함하는 이미지 획득 장치 및 그것의 동작 방법
CN114125207A (zh) * 2020-08-31 2022-03-01 三星电子株式会社 图像传感器、图像获取设备和操作图像获取设备的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222583A (zh) * 2007-01-09 2008-07-16 奥林巴斯映像株式会社 进行电图像恢复处理的摄像装置
US20090010662A1 (en) * 2007-07-02 2009-01-08 Hiroo Naoi Image forming apparatus
JP2010141661A (ja) * 2008-12-12 2010-06-24 Toshiba Corp 画像処理装置
US20110135213A1 (en) * 2009-12-09 2011-06-09 Canon Kabushiki Kaisha Image processing method, image processing apparatus, and image pickup apparatus for correcting degradation component of image
US8081231B2 (en) * 2009-06-29 2011-12-20 Canon Kabushiki Kaisha Lens-interchangeable camera and method of controlling the same
JP2013038562A (ja) * 2011-08-08 2013-02-21 Canon Inc 画像処理装置、画像処理方法、撮像装置、および、画像処理プログラム
CN102957846A (zh) * 2011-08-26 2013-03-06 佳能株式会社 图像处理方法、图像处理装置和图像拾取装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102470671B (zh) * 2009-07-27 2014-11-26 扎姆泰科有限公司 具有后侧电连接的喷墨打印头组件
JP2012256118A (ja) * 2011-06-07 2012-12-27 Canon Inc 画像復元装置およびその方法
WO2014050189A1 (ja) * 2012-09-27 2014-04-03 富士フイルム株式会社 撮像装置及び画像処理方法
CN104704807B (zh) * 2013-03-28 2018-02-02 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222583A (zh) * 2007-01-09 2008-07-16 奥林巴斯映像株式会社 进行电图像恢复处理的摄像装置
US20090010662A1 (en) * 2007-07-02 2009-01-08 Hiroo Naoi Image forming apparatus
JP2010141661A (ja) * 2008-12-12 2010-06-24 Toshiba Corp 画像処理装置
US8081231B2 (en) * 2009-06-29 2011-12-20 Canon Kabushiki Kaisha Lens-interchangeable camera and method of controlling the same
US20110135213A1 (en) * 2009-12-09 2011-06-09 Canon Kabushiki Kaisha Image processing method, image processing apparatus, and image pickup apparatus for correcting degradation component of image
JP2013038562A (ja) * 2011-08-08 2013-02-21 Canon Inc 画像処理装置、画像処理方法、撮像装置、および、画像処理プログラム
CN102957846A (zh) * 2011-08-26 2013-03-06 佳能株式会社 图像处理方法、图像处理装置和图像拾取装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12055698B2 (en) 2020-07-24 2024-08-06 Sintai Optical (Shenzhen) Co., Ltd. Lens assembly

Also Published As

Publication number Publication date
JPWO2015015944A1 (ja) 2017-03-02
US20160150161A1 (en) 2016-05-26
WO2015015944A1 (ja) 2015-02-05
JP5864037B2 (ja) 2016-02-17
CN105453539B (zh) 2019-02-22
US9906732B2 (en) 2018-02-27

Similar Documents

Publication Publication Date Title
CN105453539A (zh) 图像处理装置、摄像装置、图像处理方法及程序
US9633417B2 (en) Image processing device and image capture device performing restoration processing using a restoration filter based on a point spread function
US9357107B2 (en) Image-processing device, image-capturing device, image-processing method, and recording medium
CN105432069A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN106165390A (zh) 图像处理装置、摄影装置、图像处理方法及程序
US9445069B2 (en) Image-processing device, image-capturing device, image-processing method, and recording medium
CN105103534B (zh) 摄像装置及校准方法
CN104854858B (zh) 图像处理装置、摄像装置、计算机
CN106134177B (zh) 图像处理装置、摄影装置、图像处理方法及图像处理程序
CN106134178A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN105493493B (zh) 摄像装置、摄像方法及图像处理装置
CN105432068A (zh) 摄像装置、摄像方法及图像处理装置
CN105453540B (zh) 图像处理装置、摄像装置、图像处理方法
CN105009168A (zh) 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置、程序以及记录介质
CN105684417A (zh) 图像处理装置、摄像装置、参数生成方法、图像处理方法及程序
US9892495B2 (en) Image processing device, imaging device, image processing method, and image processing program
CN105009563A (zh) 复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质
US10083500B2 (en) Restoration filter generation device and method, image processing device and method, imaging device, and non-transitory computer-readable medium
CN105453534A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN105165003A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN106416218A (zh) 图像处理装置、摄像装置、图像处理方法以及程序
CN106464798B (zh) 图像处理装置、摄像装置、图像处理方法以及记录介质
CN105122787A (zh) 摄像装置、校准系统、校准方法及程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant