CN104704807B - 图像处理装置、摄像装置及图像处理方法 - Google Patents

Abstract

对通过使用了光学系统的被摄体像的摄影而从摄像元件获取的原图像数据进行使用了基于光学系统的点扩散函数的复原滤波器的复原处理而获取恢复图像数据。在点像复原处理部(36)中对进行了基于对数化处理的灰度校正的原图像数据的颜色数据进行上述的复原处理。复原滤波器既可以由与对数化处理前的图像数据对应的滤波系数构成，也可以由与对数化处理后的图像数据对应的滤波系数构成。这样一来，通过进行能够灵活地应对原图像的各种特性的复原处理，能够降低恢复图像中的振铃等画质劣化。

Description

图像处理装置、摄像装置及图像处理方法

技术领域

本发明涉及有关基于点扩散函数的复原处理的图像处理装置、摄像装置、图像处理方法、程序及记录介质。

背景技术

在经由摄像光学系统拍摄到的被摄体像中，根据由摄像光学系统所引起的衍射、像差等的影响，存在会看到点被摄体具有微小的扩展的所谓点扩散现象。表示光学系统对于点光源的响应的函数被称为点扩散函数(PSF：Point Spread Function)，作为影响摄影图像的分辨率劣化(模糊)的参数而已知。

因该点扩散现象而造成画质劣化的摄影图像能够通过接受基于 PSF的点像复原处理而恢复画质。点像复原处理是如下处理：预先求出由透镜(光学系统)的像差等所引起的劣化特性(点像特性)，通过使用与该点像特性对应的复原滤波器(恢复滤波器)的图像处理，来抵消摄影图像的点扩散。

关于该点像复原处理，提出了各种方法，例如，专利文献1公开一种图像处理装置，关于一旦进行了恢复处理的图像，之后能够变更恢复处理的强度。在该图像处理装置中，通过将校正滤波器应用于摄影图像而生成校正图像，生成摄影图像与校正图像的差图像，保存摄影图像、校正图像及差图像。

此外，专利文献2公开一种图像处理装置，使用盲去卷积(blind deconvolution)对进行了非线性校正的图像进行图像恢复。该图像处理装置包括：校正部，对实施了非线性的灰度校正的摄影图像进行降低非线性的灰度校正的校正；及图像恢复部，对降低了灰度校正的摄影图像应用盲去卷积而进行图像恢复。

此外，专利文献3公开一种图像处理装置，使基于图像恢复处理的图像数据的过度恢复降低。在该图像处理装置中，在伽马处理前进行对RGB形式的彩色图像数据的图像恢复处理，吸收基于伽马校正的像素信号值的放大及衰减的差异，以像素信号值的变化量的最大值在伽马校正后也成为恒定的方式算出变化量的限制值。由此，解决了“通过饱和像素而产生实际获得的图像数据的劣化状态和以图像恢复滤波器作为恢复对象而设想的图像数据的劣化状态不一致的事态”、“在边缘部分产生下冲、过冲这样的画质劣化，尤其在低亮度部的下冲通过图像恢复处理后的伽马处理而被放大”这样的技术上的课题。

此外，光学系统的点扩散函数还用于焦点深度被放大的图像的复原技术。例如，专利文献4公开一种摄像模块，在短时间内高精度地执行图像复原。在该摄影模块中，通过对去马赛克算法(去马赛克算法处理)后的亮度信号施加复原处理，不需要使RGB分别具有复原处理的参数，复原处理高速化。此外，将接近的像素彼此以预定单位汇集，对该单位应用共同的复原处理参数而进行去卷积处理，从而实现复原处理精度的提高。

专利文献

专利文献1：日本特开2011-151627号公报

专利文献2：日本特开2011-059813号公报

专利文献3：日本特开2013-020610号公报

专利文献4：日本特开2012-049759号公报

发明内容

发明要解决的课题

上述的点像复原处理是将由于基于光学系统的点扩散现象(摄像光学特性)而模糊的图像复原为原来的尖锐的图像的处理，是通过对画质劣化的原图像数据应用基于点扩散函数的复原滤波器而获取去除了画质劣化的恢复图像的技术。

因此，为了获得忠实地再现了被摄体像的恢复图像，需要使用于点像复原处理的“复原滤波器的特性”和“原图像数据的画质劣化”适当地匹配。

即，若正确地掌握由光学系统所带来的画质劣化，设计能够严格地去除这样的画质劣化的复原滤波器，且基于光学系统的画质劣化(点扩散现象)准确地反映到原图像数据，则原理上，能够从“画质劣化的摄影图像”获得“忠实地再现了被摄体像的高画质的图像”。

但是，根据被摄体像、摄影设备类的特性，有时“复原滤波器的特性”和“原图像数据的画质劣化”没有适当地匹配。

例如，在原图像数据根据摄像元件的摄像能力而画质变动且被摄体像非常亮的情况下，有时在摄像元件中产生像素饱和现象。在产生了这样的像素饱和的情况下，由于该饱和像素数据(饱和像素值)被削波等，因此获得的原图像数据未必是忠实地再现被摄体像的数据。

这样一来，成为复原处理的对象的原图像数据除了来自于光学系统的劣化特性的影响之外，还受到来自于摄像元件的劣化特性的影响，尤其在被摄体像的对比度大的情况下，有时产生设想以外的画质劣化。

因此，即使充分分析光学系统的特性而设计了能够抑制点扩散现象的影响的复原滤波器，根据被摄体像，有时“复原滤波器的特性”和“原图像数据的画质劣化”也没有适当地匹配。

若在“复原滤波器的特性”和“原图像数据的画质劣化”没有适当地匹配的条件下进行复原处理，则不能充分地去除画质劣化，不能获得良好的画质的恢复图像，根据情况，有时也会助长画质劣化，振铃(ringing)等也会在恢复图像中变得明显。

在恢复图像中产生的画质劣化(振铃等)的程度被各种因子所影响。例如，根据用于复原处理的复原滤波器特性、应用复原处理的原图像数据的数据特性、在复原处理的前后进行的其他图像处理等的影响，点像复原处理后的恢复图像的画质变动。因此，为了更有效地防止或者降低恢复图像中的画质劣化，希望提出综合考虑了各种特性的新的复原处理方法。尤其在拍摄各种被摄体像的情况下，复原处理对象的图像数据特性不固定，整体上或者局部上对比度大的图像、颜色产生偏差的图像、一部分像素值成为饱和状态的图像等具有各种特性的图像能够成为复原处理的对象。因此，迫切希望提出能够灵活地应对具有各种特性的处理对象图像的、在图像韧性上优异的复原处理方法。

但是，在上述的专利文献1～4中，对上述课题的提及并不是全面的，没有提出“在利用了点扩散函数的复原处理中，除了复原处理本身之外还综合考虑复原处理前后的处理中的各种要因而能够灵活地应对具有各种特性的原图像的、在图像韧性上优异的图像处理方法”等方案。

本发明是鉴于上述的情况而完成的，其目的在于，提供一种通过进行能够灵活地应对原图像的各种特性的复原处理而能够抑制恢复图像中的振铃等画质劣化的技术。

用于解决课题的手段

本发明的一个方式涉及图像处理装置，对原图像数据进行复原处理而获取恢复图像数据，所述原图像数据是通过使用了光学系统的被摄体像的摄影而从摄像元件获取的，所述复原处理使用了基于光学系统的点扩散函数的复原滤波器，所述图像处理装置包括：灰度校正部，对原图像数据进行基于对数化处理的灰度校正；及复原处理部，对进行了灰度校正的原图像数据的颜色数据进行复原处理，复原滤波器由与对数化处理前的图像数据对应的滤波系数构成。

根据本方式，对进行了灰度校正的原图像数据的颜色数据进行使用了由与对数化处理前的图像数据对应的滤波系数构成的复原滤波器的复原处理。由此，能够进行能够灵活地应对具有各种特性的原图像数据的、在图像韧性上优异的复原处理，能够获得具有良好的颜色再现性的恢复图像数据。

本发明的其他方式涉及图像处理装置，对原图像数据进行复原处理而获取恢复图像数据，所述原图像数据是通过使用了光学系统的被摄体像的摄影而从摄像元件获取的，所述复原处理使用了基于光学系统的点扩散函数的复原滤波器，所述图像处理装置包括：灰度校正部，对原图像数据进行基于对数化处理的灰度校正；及复原处理部，对进行了灰度校正的原图像数据的颜色数据进行复原处理，复原滤波器由与对数化处理后的图像数据对应的滤波系数构成。

根据本方式，对进行了灰度校正的原图像数据的颜色数据进行使用了由与对数化处理后的图像数据对应的滤波系数构成的复原滤波器的复原处理。由此，能够进行能够灵活地应对具有各种特性的原图像数据的、在图像韧性上优异并且能够更准确地复原被摄体像的复原处理，能够获得具有良好的颜色再现性的恢复图像数据。

优选地，复原处理部获取表示光学系统的点扩散函数的光学系统数据，使用基于光学系统数据的复原滤波器进行复原处理。

根据本方式，能够使用表示光学系统的点扩散函数的光学系统数据被适当地反映的复原滤波器，进行精度高的复原处理。另外，光学系统数据既可以是直接表示点扩散函数的数据，也可以是间接表示点扩散函数的数据(光学系统的种类等数据)。

优选地，复原滤波器被预先生成，复原处理部选择预先生成的复原滤波器中的、与用于获取原图像数据的光学系统的光学系统数据对应的复原滤波器而用于复原处理。

根据本方式，由于选择预先生成的复原滤波器中的、与光学系统数据对应的复原滤波器而用于复原处理，所以不需要与复原处理部一同设置用于计算复原滤波器的运算部，能够简化装置结构。

优选地，复原处理部基于用于获取原图像数据的光学系统的光学系统数据来生成复原滤波器，并将生成的复原滤波器用于复原处理。

根据本方式，由于基于光学系统数据而生成的复原滤波器用于复原处理，所以即使是在能够变更用于拍摄原图像数据的光学系统的情况下，也能够使用适应于所使用的光学系统的复原滤波器而进行复原处理。

优选地，复原处理部进行原图像数据的分析处理，并使用基于分析处理的结果的复原滤波器进行复原处理。

根据本方式，能够分析原图像数据的特性而使用与该特性对应的复原滤波器进行复原处理。

优选地，分析处理包括确定表示被摄体像的原图像数据中的、表示主要被摄体像的数据的处理，复原处理部使用基于原图像数据中的、表示主要被摄体像的数据的复原滤波器来进行复原处理。

根据本方式，由于使用基于表示主要被摄体像的数据的复原滤波器进行复原处理，所以能够在被摄体像中尤其对于主要被摄体像来提高复原精度或者降低通过复原处理所引起的画质劣化的影响。

优选地，复原处理部根据分析处理的结果，对应每个被摄体像确定用于复原处理的复原滤波器。

根据本方式，能够对应每个被摄体像确定复原滤波器，进行能够以原图像数据为单位切换复原滤波器的适应性高的点像复原处理。

优选地，复原处理部将原图像数据表示的被摄体像划分为多个分割区域，并根据分析处理的结果，对应每个分割区域确定用于复原处理的复原滤波器。

根据本方式，能够对应每个分割区域确定复原滤波器，进行能够以分割区域为单位切换复原滤波器的适应性高的点像复原处理。

优选地，复原处理部根据分析处理的结果，对应原图像数据的每个像素数据确定用于复原处理的复原滤波器。

根据本方式，能够对应每个像素数据确定复原滤波器，进行能够以像素为单位切换复原滤波器的适应性高的点像复原处理。

本发明的其他方式涉及摄像装置，包括：摄像元件，通过使用了光学系统的被摄体像的摄影而输出原图像数据；及上述的图像处理装置。

本发明的其他方式涉及图像处理方法，对原图像数据进行复原处理而获取恢复图像数据，所述原图像数据是通过使用了光学系统的被摄体像的摄影而从摄像元件获取的，所述复原处理使用了基于光学系统的点扩散函数的复原滤波器，所述图像处理方法包括：灰度校正步骤，对原图像数据进行基于对数化处理的灰度校正；及复原处理步骤，对进行了灰度校正的原图像数据的颜色数据进行复原处理，复原滤波器由与对数化处理前的图像数据对应的滤波系数构成。

本发明的其他方式涉及图像处理方法，对原图像数据进行复原处理而获取恢复图像数据，所述原图像数据是通过使用了光学系统的被摄体像的摄影而从摄像元件获取的，所述复原处理使用了基于光学系统的点扩散函数的复原滤波器，所述图像处理方法包括：灰度校正步骤，对原图像数据进行基于对数化处理的灰度校正；及复原处理步骤，对进行了灰度校正的原图像数据的颜色数据进行复原处理，复原滤波器由与对数化处理后的图像数据对应的滤波系数构成。

本发明的其他方式涉及程序，对原图像数据进行复原处理而获取恢复图像数据，所述原图像数据是通过使用了光学系统的被摄体像的摄影而从摄像元件获取的，所述复原处理使用了基于光学系统的点扩散函数的复原滤波器，所述程序用于使计算机执行以下步骤：对原图像数据进行基于对数化处理的灰度校正；及对进行了灰度校正的原图像数据的颜色数据进行复原处理，复原滤波器由与对数化处理前的图像数据对应的滤波系数构成。

本发明的其他方式涉及程序，对原图像数据进行复原处理而获取恢复图像数据，所述原图像数据是通过使用了光学系统的被摄体像的摄影而从摄像元件获取的，所述复原处理使用了基于光学系统的点扩散函数的复原滤波器，所述程序用于使计算机执行以下步骤：对原图像数据进行基于对数化处理的灰度校正；及对进行了灰度校正的原图像数据的颜色数据进行复原处理，复原滤波器由与对数化处理后的图像数据对应的滤波系数构成。

本发明的其他方式涉及非暂时性记录介质，记录有上述的方式的程序的计算机能够读取的代码。作为这样的记录介质，能够使用CD (Compact Disk)、DVD(DigitalVersatile Disk)、HD(Hard Disk)、 SSD(Solid State Drive)、USB存储器等各种光磁记录介质或半导体记录介质。

发明效果

根据本发明，由于对进行了灰度校正(对数化处理)的原图像数据的颜色数据进行复原处理，所以能够进行能够灵活地应对原图像数据的各种特性的复原处理。此外，通过使用了由与对数化处理前的图像数据或者对数化处理后的图像数据对应的滤波系数构成的复原滤波器的复原处理，能够有效地抑制恢复图像数据中的振铃等画质劣化。

附图说明

图1是表示连接到计算机的数码相机的概略的框图。

图2是表示相机主体控制器的功能结构例的框图。

图3是表示从图像摄影至点像复原处理的概略的图。

图4是表示点像复原处理的一例的概略的框图。

图5是表示在进行理想的点像复原处理(无像素值的饱和、无削波)的情况下的、被摄体像中的边缘部分的对比度变化的一例的图， (a)表示被摄体像原本具有的对比度，(b)表示点像复原处理前的原图像数据中的对比度，(c)表示点像复原处理后的恢复图像数据中的对比度。

图6是表示在“实际的图像劣化特性(图像模糊特性)”和“成为使用的复原滤波器的基础的点扩散函数(PSF等)”不完全匹配的情况下的、原图像数据、恢复图像数据及伽马校正处理后的图像数据的一例的图。

图7A是例示图像处理部(相机主体控制器)中的各种图像处理流程的框图。

图7B是例示图像处理部(相机主体控制器)中的各种图像处理流程的其他框图。

图7C是例示图像处理部(相机主体控制器)中的各种图像处理流程的其他框图。

图7D是例示图像处理部(相机主体控制器)中的各种图像处理流程的其他框图。

图8是表示对于点像复原处理的“灰度校正处理(伽马校正处理)”及“颜色数据/亮度数据”的相关性的图。

图9是表示基于伽马处理(对数化处理)的处理前数据和处理后数据之间的关系的一例的图。

图10A表示灰度校正(伽马校正处理)中的输入值(IN)和输出值(OUT)的关系的一例，且是表示在风景摄影模式选择时使用的伽马处理灰度曲线的图。

图10B表示灰度校正(伽马校正处理)中的输入值(IN)和输出值(OUT)的关系的一例，且是表示在人物摄影模式选择时使用的伽马处理灰度曲线的图。

图11是表示第一实施方式所涉及的点像复原处理部的一例的功能框图。

图12是表示第一实施方式所涉及的点像复原处理部的一变形例的功能框图。

图13是表示第二实施方式所涉及的点像复原处理部的一例的功能框图。

图14是表示第二实施方式所涉及的点像复原处理部的一变形例的功能框图。

图15是表示图像分析部的一例的功能框图。

图16A是例示复原滤波器的“空间频率-振幅”的关系的坐标图，是表示用于普通的点像复原处理的滤波器(滤波器A)的特性的一例的坐标图。

图16B是例示复原滤波器的“空间频率-振幅”的关系的坐标图，是表示振铃对策复原滤波器(滤波器B)的特性的一例的坐标图。

图17是表示分析原图像数据而计算并获取代表值时的伽马校正处理～点像复原处理的处理流程的一例的框图。

图18是表示分析原图像数据而计算并获取代表值时的伽马校正处理～点像复原处理的处理流程的其他例子的框图。

图19是表示用于说明对应每个像素数据控制点像复原处理的例子的被摄体像(摄影图像)例的图。

图20A是表示用于说明对应每个分割区域控制点像复原处理的例子的被摄体像(摄影图像)例的图。

图20B是表示用于说明对应每个分割区域控制点像复原处理的例子的被摄体像(摄影图像)例的其他的图。

图21是表示具备EDoF光学系统的摄像模块的一个方式的框图。

图22是表示EDoF光学系统的一例的图。

图23是表示基于图21所示的复原处理块的复原处理流程的一例的图。

图24是表示经由EDoF光学系统而获取的图像的复原例的图， (a)表示复原处理前的模糊的图像，(b)表示复原处理后的消除了模糊的图像(点像)。

图25是智能手机的外观图。

图26是表示图25所示的智能手机的结构的框图。

具体实施方式

参照附图说明本发明的实施方式。在以下的说明中，作为一例，说明将本发明应用于能够连接到计算机(PC：个人计算机)的数码相机(摄像装置)的例子。

图1是表示连接到计算机的数码相机的概略的框图。

数码相机10包括可更换的透镜单元12和具备摄像元件26的相机主体14，经由透镜单元12的透镜单元输入输出部22和相机主体14的相机主体输入输出部30而与透镜单元12和相机主体14电连接。

透镜单元12具备透镜16、光圈17等光学系统和控制该光学系统的光学系统操作部18，光学系统操作部18包括连接到透镜单元输入输出部22的透镜单元控制器20和操作光学系统的促动器(省略图示)。透镜单元控制器20基于经由透镜单元输入输出部22而从相机主体14 传来的控制信号，经由促动器而控制光学系统，例如进行基于透镜移动的聚焦控制、变焦控制、光圈17的光圈量控制等。

相机主体14的摄像元件26具有聚光用微透镜、RGB等的滤色器及图像传感器(光电二极管；CMOS(CompLementary MetaL Oxide Semiconductor)、CCD(Charge CoupLedDevice)等)，将经由透镜单元12的光学系统(透镜16、光圈17等)而被照射的被摄体像的光转换为电信号，并将图像信号(原图像数据)传送到相机主体控制器 28。

这样一来，本例的摄像元件26通过使用了光学系统的被摄体像的摄影而输出原图像数据，该原图像数据发送到相机主体控制器28的图像处理装置。

相机主体控制器28统一控制相机主体14，且如图2所示，包括设备控制部34和图像处理部(图像处理装置)35。设备控制部34例如控制来自摄像元件26的图像信号(图像数据)的输出，或者生成用于控制透镜单元12的控制信号并经由相机主体输入输出部30而发送到透镜单元12(透镜单元控制器20)，或者对经由输入输出接口32 而连接的外部设备类(计算机60等)发送图像处理前后的图像数据 (RAW数据、JPEG数据等)。此外，设备控制部34适当控制未图示的显示部(EVF：ELectronic View Finder、背面液晶显示部)等数码相机10具备的各种设备类。

另一方面，图像处理部35能够对来自摄像元件26的图像信号进行根据需要的任意的图像处理。例如，在图像处理部35中适当进行传感器校正处理、去马赛克算法(去马赛克算法)处理、像素插值处理、颜色校正处理(偏移量校正处理、白平衡处理、颜色矩阵处理、伽马变换处理等)、RGB图像处理(锐度处理、色调校正处理、曝光校正处理、轮廓校正处理等)、RGB/YCrCb变换处理及图像压缩处理等各种图像处理。除此之外，本例的图像处理部35包括对图像信号(原图像数据)实施所谓的点像复原处理的点像复原处理部(复原处理部) 36。关于点像复原处理的细节，在后面叙述。

如图1所示，在相机主体控制器28中进行了图像处理的图像数据传送到连接到输入输出接口32的计算机60等。从数码相机10(相机主体控制器28)传送到计算机60等的图像数据的格式并不特别限定，可以是RAW、JPEG、TIFF等任意格式。因此，相机主体控制器28也可以如所谓的Exif(ExchangeabLe Image FiLe Format)那样，将标题信息(摄影信息(摄影日期时间、机型、像素数、光圈值等)等)、主图像数据及缩略图图像数据等多个关联数据相互对应而构成为一个图像文件，并将该图像文件发送到计算机60。

计算机60经由相机主体14的输入输出接口32及计算机输入输出部62连接到数码相机10，接收从相机主体14传来的图像数据等数据类。计算机控制器64统一控制计算机60，对来自数码相机10的图像数据进行图像处理，或者进行与经由互联网70等的网线而连接到计算机输入输出部62的服务器80等的通信控制。计算机60具有显示器66，计算机控制器64中的处理内容等根据需要而显示在显示器66中。用户通过一边确认显示器66的显示一边操作键盘等输入单元(省略图示)，能够对计算机控制器64输入数据、指令，控制计算机60，或者控制连接到计算机60的设备类(数码相机10、服务器80)。

服务器80具有服务器输入输出部82及服务器控制器84。服务器输入输出部82构成与计算机60等外部设备类的收发连接部，且经由互联网70等的网线而连接到计算机60的计算机输入输出部62。服务器控制器84根据来自计算机60的控制指示信号，与计算机控制器64 协作，在与计算机控制器64之间根据需要而进行数据类的收发，将数据类下载到计算机60，或者进行运算处理并将其运算结果发送到计算机60。

另外，各控制器(透镜单元控制器20、相机主体控制器28、计算机控制器64、服务器控制器84)包括控制处理所需的电路类，例如具备运算处理电路(CPU等)、存储器等。此外，数码相机10、计算机 60及服务器80之间的通信既可以是有线，也可以是无线。此外，也可以一体地构成计算机60及服务器80，此外，也可以省略计算机60和/ 或服务器80。此外，也可以使数码相机10具有与服务器80的通信功能，在数码相机10和服务器80之间直接进行数据类的收发。

另外，本发明的一实施方式所涉及的程序能够记录在如图像处理部35、计算机60或者后述的智能手机201的存储部250中具备的各种光磁记录介质、半导体记录介质那样的非暂时性的记录介质中进行使用。

接着，说明经由摄像元件26获得的被摄体像的摄像数据(图像数据)的点像复原处理。

在本例中，说明在相机主体14(相机主体控制器28)中实施点像复原处理的例子，但也能够将点像复原处理的全部或者一部分在其他控制器(透镜单元控制器20、计算机控制器64、服务器控制器84等) 中实施。

点像复原处理是对通过使用了光学系统(透镜16、光圈17等) 的摄影而从摄像元件26获取的原图像数据进行使用了基于光学系统的点扩散函数的复原滤波器的复原处理而获取恢复图像数据的处理。

图3是表示从图像摄影至点像复原处理的概略的图。在将点像作为被摄体而进行摄影的情况下，被摄体像经由光学系统(透镜16、光圈17等)由摄像元件26(图像传感器)进行受光，从摄像元件26输出原图像数据Do。该原图像数据Do通过来自于光学系统的特性的点扩散现象，成为原本的被摄体像模糊的状态的图像数据。

为了从该模糊图像的原图像数据Do复原原本的被摄体像(点像)，通过对原图像数据Do进行使用了复原滤波器F的点像复原处理P10，获得表示更接近原本的被摄体像(点像)的像(恢复图像)的恢复图像数据Dr。

用于点像复原处理P10的复原滤波器F根据与获取原图像数据Do 时的摄影条件对应的光学系统的点像信息(点扩散函数)，通过复原滤波器计算算法P20而获得。光学系统的点像信息(点扩散函数)除了透镜16的种类之外，还能够根据光圈量、焦点距离、变焦量、像高、记录像素数、像素间距等各种摄影条件而变动，所以在计算复原滤波器F时，获取这些摄影条件。

图4是表示点像复原处理的一例的概略的框图。

如上所述，点像复原处理P10是通过使用了复原滤波器F的滤波处理而从原图像数据Do生成恢复图像数据Dr的处理，例如由N×M (N及M为2以上的整数)个抽头构成的实际空间上的复原滤波器F 应用于处理对象的图像数据。由此，通过将对各抽头分配的滤波系数和对应的像素数据(原图像数据Do的处理对象像素数据及相邻像素数据)进行加权平均运算(去卷积运算)，从而能够算出点像复原处理后的像素数据(恢复图像数据Dr)。能够将使用了该复原滤波器F的加权平均处理依次取代对象像素而应用于构成图像数据的全部像素数据，从而进行点像复原处理。

另外，由N×M个抽头构成的实际空间上的复原滤波器能够通过对频率空间上的复原滤波器进行傅里叶逆变换而导出。因此，实际空间上的复原滤波器能够通过确定成为基础的频率空间上的复原滤波器并指定实际空间上的复原滤波器的构成抽头数而适当算出。

接着，说明能够通过点像复原处理而产生的画质上的弊病。

图5是表示被摄体像中的边缘部分(图像边界部分)的画质变化的一例的图，表示进行理想的点像复原处理(无像素值的饱和、无削波)的情况。图5的(a)表示被摄体像原本具有的对比度，(b)表示点像复原处理前的原图像数据Do中的对比度，(c)表示点像复原处理后的恢复图像数据Dr中的对比度。另外，图5的横向(X方向) 表示被摄体像中的位置(一维位置)，纵向(Y方向)表示对比度的强弱。

被摄体像中的“具有对比度的高低差的边缘部分”(参照图5的 (a))中，如上所述通过摄影时的光学系统的点扩散现象而在摄影图像(原图像数据Do)中产生图像模糊(参照图5的(b))，通过点像复原处理而获得恢复图像数据Dr(参照图5的(c))。

在该点像复原处理中，在“实际的图像劣化特性(图像模糊特性)”和“成为使用的复原滤波器的基础的点扩散函数(PSF等)”匹配的情况下，图像被适当地复原，能够获得边缘部分等被适当地复原的恢复图像数据Dr(参照图5)。

但是，在实际的点像复原处理中，也存在“实际的图像劣化特性 (图像模糊特性)”和“成为使用的复原滤波器的基础的点扩散函数”没有完全匹配的情况。

图6是表示“实际的图像劣化特性(图像模糊特性)”和“成为使用的复原滤波器的基础的点扩散函数”没有完全匹配时的、原图像数据、恢复图像数据及伽马校正处理后的图像数据的一例的图。在图6 中，横向(X方向)表示图像中的位置(一维位置)，纵向(Y方向)表示像素值。在“实际的图像劣化特性(图像模糊特性)”和“成为使用的复原滤波器的基础的点扩散函数”没有完全匹配的情况下，有时在对比度差比较大的边缘部分中产生过冲(下冲)(参照图6的(a) 及(b))。即使是在产生这样的过冲(下冲)等画质劣化的情形下，若是在图像再现性及图像韧性(图像非破绽性)上优异的点像复原处理，则能够获取画质被恢复到这样的画质劣化不能视觉辨认(不明显) 的程度的恢复图像数据Dr。

但是，即使通过点像复原处理而获得了恢复到画质劣化不明显的程度的恢复图像数据，有时也会通过点像复原处理后的其他处理(伽马校正处理(灰度校正处理)等)而使恢复图像数据中的画质劣化增强而使其变得明显。

例如，如图6所示，即使是在通过点像复原处理而产生的过冲(下冲)本身小且其影响在视觉上不特别明显的情况下，若之后进行灰度校正处理(伽马校正处理)，则有时过冲(下冲)被增强到必要以上 (参照图6的(c)的“E1”及“E2”)。尤其阴影侧的过冲(下冲) 部分通过之后的伽马校正处理而应用大的增益(放大率)，构成在图像边缘部中较大地偏向黑侧的部分(参照图6的(c)的“E2”)。另外，这个现象并不限定于点像复原处理，进行了对反对数空间的图像数据的轮廓校正处理的结果是，在边缘部分产生了过冲的情况下也是共通的。

这样一来，在将点像复原处理作为图像处理流程的一部分而实际设计的情况下，除了点像复原处理本身之外，优选进行加入了与点像复原处理前后的处理的关联的综合的图像处理流程的设计。

图7A～7D是例示图像处理部35(相机主体控制器28)中的各种图像处理流程的框图。图7A表示在伽马校正处理(灰度校正处理)后对亮度数据(Y)进行点像复原处理的例子，图7B表示在伽马校正处理后对RGB的颜色数据进行点像复原处理的例子。此外，图7C表示在伽马校正处理前对RGB颜色数据进行点像复原处理的例子，图7D 表示在伽马校正处理前对亮度数据(Y)进行点像复原处理的例子。

在图7A的例子中，图像处理部35若输入马赛克数据(RAW图像数据；原图像数据)，则依次进行“调整图像的亮度的偏移量校正处理41”、“调整图像的白平衡(WB)的WB校正处理42”、“通过像素插值处理，关于全部像素获取RGB各颜色的颜色数据的去马赛克算法处理43”·BR＞A“进行基于对数化处理的灰度校正而调整像素数据的灰度的伽马校正处理(灰度校正步骤；灰度校正部)44”、“根据RGB颜色数据算出亮度数据(Y)及色差数据(Cb/Cr)的亮度 /色差变换处理45”及“对图像数据(亮度数据)进行使用了基于用于摄影的光学系统的点扩散函数的复原滤波器的点像复原处理的点像复原处理(复原处理步骤)46”。另外，颜色数据对应于拍摄获取马赛克数据(原图像数据)的摄像元件26具有的滤色器的颜色种类，亮度数据及色差数据能够通过公知的计算式而根据颜色数据算出。

另一方面，在图7B的例子中，图7A的图像处理例中的亮度/色差变换处理45和点像复原处理46的处理顺序被调换。因此，在图7A的例子中，对伽马校正处理(灰度校正步骤)44后的原图像数据的亮度数据进行点像复原处理46，但在图7B的例子中，对伽马校正处理(灰度校正步骤)44后的原图像数据的RGB颜色数据的点像复原处理46 在点像复原处理部36中进行，之后算出亮度数据及色差数据。

此外，在图7C的例子中，图7B的图像处理例中的伽马校正处理 44和点像复原处理46的处理顺序被调换。因此，在图7B所示的例子中，在伽马校正处理44后进行点像复原处理46，但在图7C所示的例子中，在伽马校正处理44前进行点像复原处理46。

此外，在图7D的例子中，偏移量校正处理41、WB校正处理42 及去马赛克算法处理43与图7A～7C的例子相同，但在去马赛克算法处理43后进行亮度/色差变换处理45a，在对亮度数据进行了点像复原处理46之后进行根据亮度数据及色差数据算出RGB颜色数据的颜色信号变换处理47。并且，对该RGB颜色数据依次进行伽马校正处理 44及亮度/色差变换处理45b，从而获取亮度数据及色差数据。

另外，各图7A～7D只不过表示处理流程的一例，也可以根据需要在任意的阶段进行其他处理，也可以省略图7A～7D所示的处理的一部分。

这样一来，在一系列的图像处理流程中有各种变化，例如在“作为点像复原处理的顺序，优选灰度校正(伽马校正处理)的前后的哪一个”、“优选设为对RGB等的颜色数据的点像复原处理，还是优选设为对亮度数据(Y)的点像复原处理”等的观点上，以往没有考察在各种图像处理流程间在点像复原处理的效果上发现什么样的差异。

本申请的发明人着眼于各种图像处理流程间的点像复原处理效果的差异而专心研究，其结果是，关于“灰度校正处理(伽马校正处理) 和点像复原处理”的相关，获得了新的见解。

图8是表示对于点像复原处理的“灰度校正处理(伽马校正处理)”及“颜色数据/亮度数据”的相关性的图。

图8的“反对数(灰度校正前)”表示的栏表示对灰度校正处理 (伽马校正处理)前的图像数据(反对数图像数据)进行了点像复原处理时的图像特性(参照图7C及7D)，“对数(灰度校正后)”表示的栏表示对灰度校正处理(伽马校正处理)后的图像数据(对数图像数据)进行了点像复原处理时的图像特性(参照图7A及7B)。此外，图8的“颜色数据(RGB)”表示的栏表示对颜色数据(RGB数据)进行了点像复原处理时的图像特性(参照图7B及7C)，“亮度数据(Y)”表示的栏表示对亮度数据进行了点像复原处理时的图像特性(参照图7A及7D)。

若比较反对数的图像数据和对数的图像数据，则在理想系统中，反对数图像数据(灰度校正前图像数据)的点像复原与对数图像数据 (灰度校正后图像数据)的点像复原相比，在图像复原性上更加优异 (参照图8的“理想系统中的复原性”)。

这里所称的理想系统是指，“用于点像复原处理的复原滤波器的滤波器抽头数充分大”、“计算位数充分大”、“光学系统的实际的模糊特性和图像处理部35保持的光学系统模糊特性数据一致”、“输入图像数据(原图像数据)不包括像素值已饱和的饱和像素数据”等、用于进行适当的点像复原处理的条件充分满足的理想的系统。

另一方面，本申请发明人通过多次的实验而确认出：在偏离了理想系统的实际的处理系统中，对数图像数据(灰度校正后图像数据) 的点像复原与反对数图像数据(灰度校正前图像数据)的点像复原相比，点像复原图像(恢复图像)中的振铃等副作用的出现程度更小(参照图8的“偏离了理想系统的系统中的亮度系韧性(振铃程度等)”)。

在与理想系统不同的现实的处理系统中，“对对数图像数据(对数空间上的图像数据)的点像复原处理”与“对反对数图像数据(反对数空间上的图像数据)的点像复原处理”相比，振铃等副作用的出现程度更小，这是因为在伽马校正处理(对数化处理)后的像素数据 (图像数据)中，低亮度部的灰度被增强(加强)，高亮度部的灰度未被增强。此外，是因为通过点像复原处理而在图像的边缘(边界部) 产生过冲(下冲)，这样的过冲(下冲)通过灰度校正而被增强也会使振铃等图像劣化明显(参照图6)。

此外，“对颜色数据(RGB数据)的点像复原处理”中，如设想那样(如所保持的劣化信息(光学系统的点扩散函数信息)那样)，若RGB各颜色的颜色数据(颜色信号)输入到点像复原处理部36，则能够进行有效的颜色数据校正，与“对亮度数据(Y数据)的点像复原处理”相比，能够有效地减轻色差等(参照图8的“理想系统中的复原性”、“色系校正能力”)。但是，在实际的输入信号的动作不是如设想那样的情况下，在对颜色数据(RGB数据)的点像复原处理中，有时产生不需要的带色的部位会增加，引起不自然的色调明显等副作用(参照图8的“偏离了理想系统的系统中的色系韧性(带色程度、渗入程度等)”)。

此外，关于处理规模(在将处理系统进行硬件化的情况下为处理电路的规模)，也有如图8所示的差异。即，由于与反对数图像数据 (反对数空间上的图像数据)相比，对数图像数据(对数空间上的图像数据)的点像复原处理的运算处理更简单，所以处理规模更小，更有利。此外，在对颜色数据(RGB数据)的点像复原处理中，需要3 个通道(3ch)量的处理系统，但在对亮度数据(Y数据)的点像复原处理中，只要1个通道(1ch)量的处理系统即可，所以对亮度数据的点像复原处理的运算处理变得简单，能够使处理规模紧凑化。

因此，在实际的图像处理系统中，鉴于图8所示的上述的各种特性，优选构筑与用户的需求对应的适当的系统。例如在“作为输入的图像信号(图像数据)而输入各种类型的图像信号”、“在将处理系统进行硬件化时尽可能设为小规模”、“没有实际的图像劣化信息和在处理系统中保持的图像劣化信息完全一致的保证”等处理条件偏离理想处理系统的情况下，对对数的图像数据的点像复原处理与对反对数的图像数据的点像复原处理相比，在图像韧性(图像非破绽性)上更优异。因此，在实际的图像处理系统中，从提高图像韧性的观点出发，优选在灰度校正处理(伽马校正处理)的后段实施点像复原处理。此外，若重视基于图像处理的副作用的抑制、处理系统的小规模化，则与颜色数据相比，优选对亮度数据实施点像复原处理的图像处理系统，但若重视颜色再现性，则与亮度数据相比，优选对颜色数据实施点像复原处理的图像处理系统。

此外，在进行基于对数化处理(伽马校正处理)的灰度校正的情况下，复原滤波器本身既可以由与对数化处理前的图像数据对应的滤波系数构成，也可以由与对数化处理后的图像数据对应的滤波系数构成。

在硬要对“灰度校正后(对数化处理后)的图像数据的像素值(对数的像素数据)”应用“由与灰度校正前(对数化处理前)的像素值 (反对数的像素数据)对应的滤波系数构成的复原滤波器”而进行恢复处理(点像复原处理)的情况下，对于在恢复图像(复原图像)中产生的画质劣化(振铃等)的韧性提高，能够使得振铃在恢复图像上不明显。这是因为在对数化处理后的像素数据(图像数据)中，低亮度部的灰度被增强(加强)，高亮度部的灰度未被增强。

图9是表示基于伽马处理(对数化处理)的处理前数据和处理后数据之间的关系的一例的图(坐标图)。图9的横轴表示处理前数据 (伽马处理输入数据“IN”)，纵轴表示处理后数据(伽马处理输出数据“OUT”)，坐标图中的实线表示伽马处理灰度曲线。

在一般的对图像数据的点像复原处理中，基于点像复原处理的效果在视觉上容易识别的是对比度低的区域，是在伽马处理灰度曲线中能够近似为直线的“像素值的电平差比较小的区域”(参照图9的“A”)。另一方面，在对比度高的区域、即在伽马处理灰度曲线中构成曲线部的“像素值的电平差比较大的区域”中，原来的对比度高且模糊也难以识别(参照图9的“B”)。

而且，若在对比度高的区域中的包括饱和像素的区域中，对像素值为反对数的像素数据(灰度校正前的像素数据)进行点像复原处理，之后进行灰度校正(伽马校正处理、对数化处理)，则下冲/过冲(振铃)容易变得明显。相对于此，在对对数化处理后的像素数据进行点像复原处理的情况下，通过对数化处理而高的对比度被压缩，基于点像复原处理的振铃的强度降低。

即，通过对对数化处理后的像素数据使用由与像素值为反对数的像素数据对应的滤波系数构成的复原滤波器而进行恢复处理(点像复原处理)，一般能够对容易视觉辨认的低对比度区域不逊色地实施点像复原处理，而在通过点像复原处理而容易产生振铃的高对比度区域中，能够降低振铃的增强程度。

尤其，在图像处理装置(摄像装置等)能够执行多种灰度校正(伽马校正处理)且保持多种伽马处理灰度曲线的数据的情况下，在现有技术(参照专利文献3)中，需要对应多种灰度校正的每个灰度校正算出像素信号值的变化量的限制值。但是，根据本方式，由于对灰度校正后的像素数据实施点像复原处理，所以也不需要与灰度校正的种类对应的处理的切换。

图10A、10B表示灰度校正(伽马校正处理)中的输入值(IN) 和输出值(OUT)的关系(伽马处理灰度曲线)的一例。图10A表示在风景摄影模式选择时使用的伽马处理灰度曲线，图10B表示在人物摄影模式选择时使用的伽马处理灰度曲线。数码相机10(参照图1) 等摄像装置、图像处理装置在保持多种用于灰度校正处理(伽马校正处理)的伽马处理灰度曲线的情况下，从保持的伽马处理灰度曲线中选择与摄影模式对应的最合适的伽马处理灰度曲线。在该情形下，在对灰度校正(伽马校正处理)前的图像数据进行点像复原处理的情况下，需要对应每个灰度校正求出点像复原处理的限制值，并根据伽马校正处理的种类而切换点像复原处理(例如，参照专利文献3)。但是，在对伽马校正处理后的像素数据进行点像复原处理的情况下，不需要根据伽马校正处理的种类而切换点像复原处理。因此，在不需要处理的切换的“对伽马校正处理后的像素数据实施点像复原处理的情形”下，在事先生成复原滤波器的情况下，能够抑制消耗的存储器容量，此外，在对应每个处理逐次计算复原滤波器的情况下，处理变得容易且能够抑制计算时间。

此外，一般而言，PSF(点扩散函数)以输入为线性作为前提，由“线性的系数”即“与反对数的像素数据对应的滤波系数”构成也更容易生成基于该前提的复原滤波器。

这样一来，通过将复原滤波器由与伽马校正处理(灰度校正)前的像素值对应的滤波系数构成，能够减轻存储器、处理时间、开发/设计负荷等，在实用上非常有效且有用。

另一方面，通过对灰度校正后(对数化处理后)的像素值(对数的像素数据)使用由与对数化处理后的像素值(对数的像素数据)对应的滤波系数构成的复原滤波器而进行恢复处理(点像复原处理)，能够由基于在点像复原处理中产生的振铃所引起的画质劣化提高韧性，能够使得产生的振铃在图像上不明显。

即，在像素数据为灰度校正(对数化处理)后的像素值(对数的像素数据)的情况下，通过使用由与对数化处理后的像素值(对数的像素数据)对应的滤波系数构成的复原滤波器而进行点像复原处理，能够准确地进行点像复原处理本身。在该情况下，通过将点像复原处理的对象图像数据设为“灰度校正后的原图像数据”，通过灰度校正 (对数化处理)而高的对比度被压缩，能够降低通过点像复原处理而产生的振铃的强度。

另外，用于点像复原处理的复原滤波器既可以被预先生成，也可以根据点像复原处理的执行而逐次计算生成。从降低点像复原处理时的运算量的观点出发，优选预先生成复原滤波器。此外，从使用在适应性上优异的复原滤波器的观点出发，优选在执行点像复原处理时逐次计算复原滤波器。

在预先生成复原滤波器的情况下，优选基于通过对输入像素值(输入图像数据)的对数化处理(伽马校正处理)而求出的像素值来进行运算，求出复原滤波器的滤波系数。用于生成复原滤波器的像素值既可以是亮度值，也可以是与RGB颜色数据中的代表性地选择的一个通道有关的像素值(例如，G的像素值)。此外，用于生成复原滤波器的像素值既可以是主要被摄体的像素值，也可以是根据画面整体的平均值求出的像素值。

另外，点像复原处理既可以是只对原图像数据的振幅成分进行复原而获得恢复图像数据的处理，也可以是对原图像数据的振幅成分及相位成分进行复原而获得恢复图像数据的处理。即，能够基于光学系统的MTF(ModuLation Transfer Function：调制传递函数)/PTF(Phase Transfer Function：相位传递函数)中的至少任一方而算出复原滤波器。另外，光学系统的模糊特性能够通过所谓的光学传递函数(OTF： OpticaL Transfer Function)而表现，对OTF进行傅里叶逆变换而获得的函数也被称为点像分布函数(PSF：Point SpreadFunction：点扩散函数)。MTF是OTF的绝对值分量，PTF将相位的偏移作为空间频率的函数来表示。因此，用于点像复原处理的复原滤波器能够基于光学系统的OTF(MTF/PTF)、PSF而适当设计。

鉴于上述的新的见解，以下，例示本发明的优选的实施方式。

＜第一实施方式＞

图11是表示第一实施方式所涉及的点像复原处理部36的一例的功能框图。另外，图中的多个图像处理块不一定作为分体来设置，也可以通过一体地构成多个图像处理块的硬件/软件来实现。

本实施方式的点像复原处理部36被输入伽马校正处理(灰度校正)后的原图像数据的RGB颜色数据，对该颜色数据进行点像复原处理46(参照图7B)。此外，本实施方式的点像复原处理部36获取表示光学系统的点扩散函数的光学系统数据，使用预先生成的多种复原滤波器中的基于光学系统数据而选择的复原滤波器来进行点像复原处理。

具体而言，点像复原处理部36包括光学系统数据获取部51、滤波器选择部52、复原运算处理部53及复原滤波器存储部54。

光学系统数据获取部51获取表示光学系统的点扩散函数的光学系统数据。该光学系统数据是成为滤波器选择部52中的复原滤波器的选择基准的数据，只要是直接或者间接地表示在处理对象的原图像数据的摄影获取时使用的光学系统的点扩散函数的信息即可。因此，例如，既可以将光学系统的点扩散函数(PSF、OTF(MTF、PTF))本身作为光学系统数据，也可以将间接地表示光学系统的点扩散函数的光学系统的种类(例如，在摄影时使用的透镜单元12(透镜16)的型号等)等作为光学系统数据。

滤波器选择部52基于光学系统数据获取部51获取的光学系统数据，选择在复原滤波器存储部54中存储保持的复原滤波器中的、与用于拍摄获取原图像数据的光学系统的光学系统数据对应的复原滤波器。由滤波器选择部52所选择的复原滤波器的信息作为滤波器选择数据而传送到复原运算处理部53。

另外，虽然滤波器选择部52掌握复原滤波器存储部54存储保持的复原滤波器的种类信息(复原滤波器存储信息)，但滤波器选择部 52的复原滤波器存储信息的掌握方法并不特别限定。例如，滤波器选择部52既可以具有存储复原滤波器存储信息的存储部(省略图示)，也可以在复原滤波器存储部54中存储的复原滤波器的种类信息发生了变更的情况下对在滤波器选择部52的存储部中存储的复原滤波器存储信息也进行变更。此外，滤波器选择部52既可以连接到复原滤波器存储部54而直接地掌握“复原滤波器存储部54存储保持的复原滤波器的信息”，也可以从掌握复原滤波器存储信息的其他处理部(存储器等)掌握复原滤波器存储信息。

此外，滤波器选择部52只要选择与用于拍摄获取原图像数据的光学系统的点扩散函数对应的复原滤波器即可，其选择方法并不特别限定。因此，例如，在来自光学系统数据获取部51的光学系统数据直接地表示点扩散函数的情况下，滤波器选择部52选择与该光学系统数据表示的点扩散函数对应的复原滤波器。此外，在来自光学系统数据获取部51的光学系统数据间接地表示点扩散函数的情况下，滤波器选择部52根据“间接地表示点扩散函数的光学系统数据”，选择与用于拍摄获取处理对象的原图像数据的光学系统的点扩散函数对应的复原滤波器。

在复原运算处理部53中，被输入伽马校正处理后的原图像数据 (RGB颜色数据)及滤波器选择数据。复原运算处理部53基于滤波器选择数据，从复原滤波器存储部54读出与用于获取原图像数据的光学系统的光学系统数据对应的复原滤波器(滤波系数)。并且，复原运算处理部53使用基于光学系统数据而选择并读出的复原滤波器，进行点像复原处理，根据原图像数据计算获取恢复图像数据。

复原滤波器存储部54存储保持预先生成的复原滤波器，在复原滤波器存储部54中存储保持的复原滤波器由复原运算处理部53适当读出。另外，在复原滤波器存储部54中存储的复原滤波器的种类信息由滤波器选择部52所获取，滤波器选择部52中的复原滤波器的选择从复原滤波器存储部54存储保持的复原滤波器中进行。

另外，在复原滤波器存储部54中存储保持的复原滤波器既可以由与伽马校正处理(对数化处理)前的图像数据对应的滤波系数构成，也可以由与伽马校正处理后的图像数据对应的滤波系数构成。

这样一来，根据图11所示的点像复原处理部36，预先生成多种复原滤波器而存储在复原滤波器存储部54中，基于光学系统数据而选择最佳复原滤波器而使用于点像复原处理。另外，使用于点像复原处理的复原滤波器也可以在点像复原处理时逐次计算。

图12是表示第一实施方式所涉及的点像复原处理部36的一变形例的功能框图。本变形例所涉及的点像复原处理部36基于用于获取原图像数据的光学系统的光学系统数据，逐次生成复原滤波器，并使用所生成的复原滤波器而进行点像复原处理。

即，本变形例的点像复原处理部36代替滤波器选择部52(参照图11)而具有滤波器计算部55，且不包括复原滤波器存储部54。

本例的滤波器计算部55基于来自光学系统数据获取部51的光学系统数据，获取用于拍摄获取处理对象的原图像数据的光学系统的点扩散函数，算出与该获取的点扩散函数对应的复原滤波器。在滤波器计算部55中算出的复原滤波器传送到复原运算处理部53，使用于复原运算处理部53中的原图像数据的点像复原处理。

另外，滤波器计算部55中的复原滤波器的计算方法并不特别限定。因此，例如，也可以将“用于拍摄获取处理对象的原图像数据的光学系统的点扩散函数”本身作为光学系统数据而从光学系统数据获取部51传送到滤波器计算部55，滤波器计算部55通过任意方法而根据该光学系统数据计算生成复原滤波器。此外，在滤波器计算部55具有将光学系统的点扩散函数的数据对应光学系统的每个种类预先存储保持的存储部(省略图示)的情况下，也可以将表示“用于拍摄获取处理对象的原图像数据的光学系统的种类”的光学系统数据从光学系统数据获取部51传送到滤波器计算部55，滤波器计算部55根据该光学系统数据来判定光学系统的种类，从存储部读出所判定出的种类的光学系统的点扩散函数的数据，并根据所读出的点扩散函数的数据来计算生成复原滤波器。

＜第二实施方式＞

在本实施方式中，关于与上述的第一实施方式相同的结构及作用，省略说明。

本实施方式的点像复原处理部36进行原图像数据的分析处理，使用基于该分析处理的结果的复原滤波器进行点像复原处理。

图13是表示第二实施方式所涉及的点像复原处理部36的一例的功能框图。

图13所示的点像复原处理部36除了光学系统数据获取部51、滤波器选择部52、复原运算处理部53及复原滤波器存储部54(参照图 11)之外，还具有对滤波器选择部52传送图像分析数据的图像分析部 56。

图像分析部56分析原图像数据，并将该分析的结果作为图像分析数据而传送到滤波器选择部52。在图13所示的例子中，示出了伽马校正处理后的原图像数据由图像分析部56进行分析的例子，但也可以是伽马校正处理前的原图像数据由图像分析部56进行分析，该分析结果作为图像分析数据而传送到滤波器选择部52。另外，关于图像分析部 56中的分析例，在后面叙述(参照图15)。

滤波器选择部52除了来自光学系统数据获取部51的光学系统数据之外，还基于来自图像分析部56的图像分析数据，选择与用于拍摄获取处理对象的原图像数据的光学系统的点扩散函数对应的复原滤波器。本实施方式的滤波器选择部52能够进行加入了图像分析数据的复原滤波器的选择，选择与原图像数据的特性(特征)对应的复原滤波器。另外，关于滤波器选择部52中的“与原图像数据的特性对应的复原滤波器的选择”的具体例，在后面叙述。

复原运算处理部53及复原滤波器存储部54与图11所示的第一实施方式所涉及的点像复原处理部36相同。即，复原运算处理部53基于来自滤波器选择部52的滤波器选择数据，从复原滤波器存储部54 读出对应的复原滤波器，并将该读出的复原滤波器应用于伽马校正处理后的原图像数据，从而获取恢复图像数据。

这样一来，根据图13所示的点像复原处理部36，预先生成多种复原滤波器且存储在复原滤波器存储部54中，基于光学系统数据而选择最佳复原滤波器来使用于点像复原处理。另外，与图12所示的点像复原处理部36相同地，使用于点像复原处理的复原滤波器也可以在点像复原处理时逐次计算。

图14是表示第二实施方式所涉及的点像复原处理部36的一变形例的功能框图。本变形例所涉及的点像复原处理部36除了光学系统数据获取部51、滤波器计算部55及复原运算处理部53(参照图12)之外，还在滤波器计算部55中具有传送图像分析数据的图像分析部56。

本变形例的图像分析部56与上述的图13所示的图像分析部56相同，分析原图像数据，并将该分析的结果作为图像分析数据而传送到滤波器计算部55。

滤波器计算部55除了来自光学系统数据获取部51的光学系统数据之外，还基于来自图像分析部56的图像分析数据，计算生成与用于拍摄获取处理对象的原图像数据的光学系统的点扩散函数对应的复原滤波器。本实施方式的滤波器计算部55能够进行加入了图像分析数据的复原滤波器的计算，算出与原图像数据的特性(特征)对应的复原滤波器。另外，关于滤波器计算部55中的“与原图像数据的特性对应的复原滤波器的计算”的具体例，在后面叙述。

图15是表示图像分析部56(参照图13及图14)的一例的功能框图。

本例的图像分析部56具有主要被摄体像提取部57、饱和像素检测部58及代表值计算部59。另外，图像分析部56不需要具有主要被摄体像提取部57、饱和像素检测部58及代表值计算部59全部，也可以包括这些处理部(功能块)中的任一个或者两个。此外，图像分析部56也可以包括除主要被摄体像提取部57、饱和像素检测部58及代表值计算部59以外的处理部。

主要被摄体像提取部57进行在表示被摄体像的原图像数据中的提取确定表示“主要被摄体像”的数据(图像数据)的处理(分析处理)。主要被摄体像并不特别限定，例如能够将“面部”等期望的对象设为主要被摄体像。在将“面部”设为主要被摄体像的情况下，主要被摄体像提取部57进行的分析处理能够采用任意的面部识别处理。

在主要被摄体像提取部57中确定出的主要被摄体像的信息作为图像分析数据而传送到滤波器选择部52(参照图13)、滤波器计算部 55(参照图14)。获取了主要被摄体像的信息的滤波器选择部52、滤波器计算部55能够不仅基于“光学系统数据”还基于“主要被摄体像的信息”来进行复原滤波器的选择/计算。

例如，在“包括主要被摄体像的原图像数据”和“不包括主要被摄体像的原图像数据”之间，既可以改变用于点像复原处理的复原滤波器(滤波系数)，也可以切换有无执行点像复原处理(通/断)。此外，如后所述，在能够对应原图像数据的每个像素/每个分割区域切换点像复原处理的情况下，在“包括主要被摄体像的原图像数据”和“不包括主要被摄体像的原图像数据”之间，既可以改变用于点像复原处理的复原滤波器(滤波系数)，也可以切换有无执行点像复原处理(通 /断)。另外，在不执行点像复原处理的情况下，既可以在滤波器选择部52(参照图13)、滤波器计算部55(图14)中选择/算出点像复原处理前后的图像数据(原图像数据及恢复图像数据)完全相同的复原滤波器，也可以在从滤波器选择部52/滤波器计算部55传送到复原运算处理部53的数据中包括“不执行复原运算处理部53中的点像复原处理(断开)”指令。

饱和像素检测部58确定“原图像数据是否包括饱和像素数据”和 /或“原图像数据中的饱和像素数据(饱和像素)的位置”。饱和像素数据是像素值已饱和的像素数据(饱和像素数据)，并且是表示摄像元件26的构成像素能够容许的最大的像素值的像素数据。另外，饱和像素检测部58也可以代替“饱和像素数据”而确定“具有比预定的阈值大的像素值的像素数据”。“比预定的阈值大的像素值”是接近饱和像素数据的比较大的像素值，例如，也能够将“预定的阈值”确定为饱和像素数据的90％，将比饱和像素数据的90％大的像素值设为“比预定的阈值大的像素值”。

在饱和像素检测部58中确定出的“饱和像素数据或者具有比预定的阈值大的像素值的像素数据”的信息作为图像分析数据而传送到滤波器选择部52(参照图13)、滤波器计算部55(参照图14)。获取了“饱和像素数据或者具有比预定的阈值大的像素值的像素数据”的信息的滤波器选择部52、滤波器计算部55不仅能够基于“光学系统数据”，还能够基于“饱和像素数据或者具有比预定的阈值大的像素值的像素数据”的信息进行复原滤波器的选择/计算。

例如，在包括“饱和像素数据或者具有比预定的阈值大的像素值的像素数据”的原图像数据和不包括“饱和像素数据或者具有比预定的阈值大的像素值的像素数据”的原图像数据之间，既可以改变用于点像复原处理的复原滤波器(滤波系数)，也可以切换有无执行点像复原处理(通/断)。此外，如后所述，在能够对应原图像数据的每个像素/每个分割区域切换点像复原处理的情况下，在包括“饱和像素数据或者具有比预定的阈值大的像素值的像素数据”的像素/分割区域和不包括“饱和像素数据或者具有比预定的阈值大的像素值的像素数据”的像素/分割区域之间，既可以改变用于点像复原处理的复原滤波器(滤波系数)，也可以切换有无执行点像复原处理(通/断)。

在此，在包括“饱和像素数据或者具有比预定的阈值大的像素值的像素数据”的原图像数据、像素或者分割区域和不包括“饱和像素数据或者具有比预定的阈值大的像素值的像素数据”的原图像数据、像素或者分割区域之间改变复原滤波器(滤波系数)的情况下，作为复原滤波器(滤波系数)的选项，能够使用例如图16A、16B所示的复原滤波器。

图16A、16B是例示复原滤波器的“空间频率-振幅”的关系的坐标图。图16A表示用于普通的点像复原处理的滤波器(滤波器A)的特性的一例，图16B表示振铃对策复原滤波器(滤波器B)的特性的一例。另外，在图16A、16B中，为了容易理解而例示了一维的频率特性。此外，图16A、16B所示的各滤波器的纵轴表示响应(振幅)，横轴表示频率，横轴以通过采样频率进行了标准化的数值为基准。

滤波器选择部52(参照图13)及滤波器计算部55(参照图14) 能够对判定为不包括“饱和像素数据或者具有比预定的阈值大的像素值的像素数据”(即，产生振铃的可能性不高(低))的图像(原图像数据、像素或者分割区域)，进行如图16A所示的“高频域中的响应(振幅)比较急剧地变化的普通的复原滤波器”的选择/计算。此外，滤波器选择部52(参照图13)及滤波器计算部55(参照图14)能够对判定为包括“饱和像素数据或者具有比预定的阈值大的像素值的像素数据”(即，产生振铃的可能性高)的图像(原图像数据、像素或者分割区域)，进行如图16B所示的“振铃明显的频带(在此假设为高频侧)的响应(振幅)成分小且比较缓慢地变化的振铃对策用的复原滤波器”的选择/计算。

例如，滤波器选择部52(参照图13)保持复原滤波器存储部54 存储的复原滤波器的信息，基于光学系统数据及图像分析数据，选择在复原滤波器存储部54存储的如图16A、16B所示的复原滤波器中的最佳复原滤波器。另外，如图16A、16B所示的复原滤波器只不过是一例，滤波器选择部52(参照图13)及滤波器计算部55(参照图14) 能够选择/计算对应于目的的任意的复原滤波器。例如，也可以以用于轮廓校正的多种校正滤波器为基底滤波器，将由这些基底滤波器的线性和构成的复原滤波器作为上述的振铃对策用的复原滤波器而选择/计算。

代表值计算部59分析原图像数据，计算获取原图像数据(被摄体像)的代表值。该“代表值”表示原图像数据的特性(特征)，例如既可以将“原图像数据的整体(全部像素)的像素数据的平均值”作为代表值，也可以将“与在主要被摄体像提取部57中确定出的主要被摄体像对应的部分的像素数据的平均值”作为代表值。

在代表值计算部59中确定出的原图像数据的“代表值”作为图像分析数据而传送到滤波器选择部52(参照图13)、滤波器计算部55 (参照图14)，也可以除了基于光学系统数据之外还基于该“代表值”而进行复原滤波器的选择、计算。

图17是表示在分析原图像数据而计算获取代表值时的伽马校正处理～点像复原处理的处理流程的一例的框图。本例的图像处理部35 (点像复原处理部36，参照图2)根据原图像数据的分析处理的结果，对应每个被摄体像(每个原图像数据)确定用于点像复原处理的复原滤波器。

即，在伽马校正处理44后的点像复原处理46中·BR＞A依次进行代表值计算处理48a、复原滤波器选择/计算处理49a及复原运算处理 50a。在代表值计算处理48a中，通过代表值计算部59(参照图15)，对应每个被摄体像(每个原图像数据)求出代表值，例如，“原图像数据的画面整体(全部像素)的像素数据的平均值”、“与在主要被摄体像提取部57中确定出的主要被摄体像对应的部分的像素数据的平均值”作为代表值而被算出。并且，在复原滤波器选择/计算处理49a 中，通过滤波器选择部52/滤波器计算部55(参照图13及图14)而进行基于该代表值及光学系统数据的复原滤波器的选择/计算。并且，在复原运算处理50a中，通过复原运算处理部53而进行将所选择/算出的复原滤波器应用于伽马校正处理后的原图像数据的点像复原处理运算，获取恢复图像数据。

另外，在上述中，说明了对应每个被摄体像(每个原图像数据) 求出代表值的例子，但也可以对应被摄体像(原图像数据)的每个局部区域(每个像素、每个分割区域)算出代表值，复原滤波器的选择/ 计算也可以对应每个局部区域进行。

图18是表示在分析原图像数据而计算获取代表值时的伽马校正处理～点像复原处理的处理流程的其他例子的框图。本例的图像处理部35(点像复原处理部36，参照图2)根据原图像数据的分析处理的结果，对应被摄体像(原图像数据)的每个局部区域确定用于点像复原处理的复原滤波器。

在本例中，也与图17所示的上述的例子相同地，在伽马校正处理 44后的点像复原处理46中，依次进行代表值计算处理48b、复原滤波器选择/计算处理49b及复原运算处理50b，但本例的代表值计算处理 48b、复原滤波器选择/计算处理49b及复原运算处理50b对应被摄体像的每个局部区域进行。即，在代表值计算处理48b中，通过代表值计算部59(图像分析部56)，对应被摄体像(原图像数据)的每个局部区域求出代表值。此外，在复原滤波器选择/计算处理49b中，通过滤波器选择部52/滤波器计算部55，对应被摄体像(原图像数据)的每个局部区域进行基于每个局部区域的代表值的复原滤波器的选择/计算。并且，在复原运算处理50b中，通过复原运算处理部53，对应被摄体像(原图像数据)的每个局部区域进行将对应每个局部区域所选择/算出的复原滤波器应用于伽马校正处理后的原图像数据的点像复原处理运算，获取恢复图像数据。

在此所称的“被摄体像(原图像数据)的局部区域”是指被摄体像(原图像数据)的一部分区域，例如，可以将“构成原图像数据的各像素”、“在将被摄体像划分为多个分割区域时的各分割区域(由多个像素构成的各分割区域)”设为“局部区域”。

图19是表示用于说明对应每个像素数据来控制点像复原处理的例子的被摄体像(摄影图像75)例的图，表示基于核(Km、Kn)内的关注像素及其周边像素的图像分析数据(图像信息)而进行点像复原处理的例子。

本例的点像复原处理部36(滤波器选择部52、滤波器计算部55) 根据原图像数据的分析处理(图像分析部56)的结果，对应原图像数据的每个像素数据确定用于点像复原处理的复原滤波器。

例如，也可以以由配置于中央的关注像素及配置于其周围的周边像素构成的预定尺寸的核(例如，9像素(X方向)×9像素(Y方向) 左右的核(参照图18的“Km”及“Kn”))为基准，基于“在核内是否包括主要被摄体像(主要被摄体像提取部57)”、“在核内是否包括饱和像素(饱和像素检测部58)”或者“根据核内的像素数据算出的代表值”等，选择/计算关注像素的复原滤波器。通过一边将关注像素沿着水平方向H/垂直方向V依次变更，一边进行该“每个像素数据的复原滤波器的选择/计算”的处理，从而能够对构成原图像数据的全部像素的各个像素分配复原滤波器。

另外，核的尺寸并不特别限定，但优选基于用于点像复原处理的复原滤波器(实际空间上的复原滤波器)的尺寸(参照图4的“实际空间滤波器”的“N抽头”及“M抽头”)而确定，优选将核尺寸设定为与用于点像复原处理的实际空间滤波器的尺寸一致或者在其以下的尺寸。

图20A、20B是表示用于说明对应每个分割区域来控制点像复原处理的例子的被摄体像(摄影图像75)例的图。在图20A所示的例子中，多个四方形状(矩形状)的分割区域76沿着水平方向H及垂直方向V设置。此外，在图20B所示的例子中，由多个同心圆划分的多个分割区域76以被摄体像(摄影图像75)的中央为中心而设置。

图20A、20B所示的本例的点像复原处理部36(滤波器选择部52、滤波器计算部55)将原图像数据表示的被摄体像(原图像数据)划分为多个分割区域，根据原图像数据的分析处理的结果，对应每个分割区域76确定用于点像复原处理的复原滤波器。

例如，也可以以各分割区域76为基准，基于“在分割区域76内是否包括主要被摄体像(主要被摄体像提取部57)”、“在分割区域 76内是否包括饱和像素(饱和像素检测部58)”或者“根据分割区域 76内的像素数据算出的代表值”等，选择/计算分割区域76内的像素的复原滤波器。通过一边将分割区域依次变更，一边进行该“每个分割区域的复原滤波器的选择/计算”的处理，从而能够对构成原图像数据的全部像素的各个像素分配复原滤波器。

这样一来，通过将对应被摄体像(原图像数据)的每个局部区域 (每个像素数据(参照图19)、每个分割区域(参照图20A、20B)) 所选择/算出的复原滤波器应用于每个局部位置而进行点像复原处理，能够获取与每个局部位置的特性(特征)对应的、复原精度高的恢复图像数据。

＜其他变形例＞

上述的数码相机10只不过是例示，也能够对其他结构应用本发明。各功能结构能够通过任意的硬件、软件或者两者的组合而适当实现。因此，能够将本发明应用于例如使计算机执行上述的各装置及处理部(相机主体控制器28、设备控制部34、图像处理部35、点像复原处理部36等)中的图像处理方法(图像处理过程)的程序、记录了这样的程序的计算机能够读取的记录介质或者能够安装这样的程序的计算机。

＜对于EDoF系统的应用例＞

上述的实施方式中的复原处理是根据特定的摄影条件(例如，光圈值、F值、焦点距离、透镜种类等)而对点扩散(点像模糊)进行恢复修正从而复原原本的被摄体像的图像处理，但能够应用本发明的图像复原处理并不限定于上述的实施方式中的复原处理。也能够将本发明所涉及的复原处理应用于例如对由具有被放大的视场(焦点)深度 (EDoF：Extended Depth of FieLd(Focus))的光学系统(摄影透镜等)拍摄获取的图像数据的复原处理。通过对以通过EDoF光学系统而视场深度(焦点深度)被放大的状态拍摄获取的模糊图像的图像数据进行复原处理，能够复原生成在宽范围内焦点对准的状态的高分辨率的图像数据。在该情况下，进行使用了基于EDoF光学系统的点扩散函数(PSF、OTF、MTF、PTF等)的复原滤波器、并且是具有设定为在被放大的视场深度(焦点深度)的范围内能够进行良好的图像复原的滤波系数的复原滤波器的复原处理。

以下，说明有关经由EDoF光学系统而拍摄获取的图像数据的复原的系统(EDoF系统)的一例。另外，在以下所示的例子中，说明对从去马赛克算法处理后的图像数据(RGB数据)获得的亮度信号(Y 数据)进行复原处理的例子，但进行复原处理的时机并不特别限定，例如也可以对“去马赛克算法处理前的图像数据(马赛克图像数据)”、“去马赛克算法处理后且亮度信号变换处理前的图像数据(去马赛克算法图像数据)”进行复原处理。

图21是表示具备EDoF光学系统的摄像模块101的一个方式的框图。本例的摄像模块(数码相机等)101包括EDoF光学系统(透镜单元)110、摄像元件112、AD转换部114、复原处理块(图像处理部) 120。

图22是表示EDoF光学系统110的一例的图。本例的EDoF光学系统110具有单焦点的被固定的摄影透镜110A和配置在光瞳位置的光学滤波器111。光学滤波器111对相位进行调制，以获得被放大的视场深度(焦点深度)(EDoF)的方式对EDoF光学系统110(摄影透镜110A)进行EDoF化。这样一来，摄影透镜110A及光学滤波器111构成对相位进行调制而使视场深度放大的透镜部。

另外，EDoF光学系统110根据需要而包括其他结构元素，例如在光学滤波器111的附近配置有光圈(省略图示)。此外，光学滤波器 111既可以是一个，也可以组合多个。此外，光学滤波器111只不过是光学的相位调制单元的一例，EDoF光学系统110(摄影透镜110A)的EDoF化也可以通过其他单元而实现。例如，也可以代替设置光学滤波器111，而通过以具有与本例的光学滤波器111同等的功能的方式进行了透镜设计的摄影透镜110A而实现EDoF光学系统110的EDoF化。

即，通过使向摄像元件112的受光面成像的波面变化的各种单元，能够实现EDoF光学系统110的EDoF化。例如，能够将“厚度变化的光学元件”、“折射率变化的光学元件(折射率分布型波面调制透镜等)”、“通过对透镜表面的编码等而厚度、折射率变化的光学元件(波面调制混合透镜、在透镜面上作为相位面而形成的光学元件等)”、“能够对光的相位分布进行调制的液晶元件(液晶空间相位调制元件等)”采用作为EDoF光学系统110的EDoF化单元。这样一来，本发明除了通过光波面调制元件(光学滤波器111(相位板))而能够进行有规律地分散的图像形成的情形之外，还能够应用于能够不使用光波面调制元件而由摄影透镜110A自身形成与在使用了光波面调制元件时相同的分散图像的情形。

图22所示的EDoF光学系统110由于能够省略机械地进行焦点调节的焦点调节机构，所以能够进行小型化，能够适合搭载于带相机的携带电话、携带信息终端。

通过了被EDoF化的EDoF光学系统110之后的光学像在图21所示的摄像元件112上成像，且在此转换为电信号。

摄像元件112由通过图案排列(拜耳排列、G条纹R/G完全棋盘式格纹、X-Trans排列、蜂巢排列等)而以矩阵状配置的多个像素构成，各像素包括微透镜、滤色器(在本例中为RGB滤色器)及光电二极管而构成。经由EDoF光学系统110入射到摄像元件112的受光面的光学像通过在该受光面排列的各光电二极管而转换为与入射光量对应的量的信号电荷。并且，在各光电二极管中蓄积的R/G/B的信号电荷作为每个像素的电压信号(图像信号)而依次输出。

AD转换部114将从摄像元件112对应每个像素输出的模拟的 R/G/B图像信号转换为数字的RGB图像信号。通过AD转换部114而转换为数字的图像信号的数字图像信号施加到复原处理块120。

复原处理块120例如包括黑电平调整部122、白平衡增益部123、伽马处理部124、去马赛克算法处理部125、RGB/YCrCb变换部126、 Y信号复原处理部127。

黑电平调整部122对从AD转换部114输出的数字图像信号施加黑电平调整。在黑电平调整中，能够采用公知的方法。例如，在着眼于某一有效光电转换元件的情况下，求出与在包括该有效光电转换元件的光电转换元件行中包含的多个OB光电转换元件的各个OB光电转换元件对应的暗电流量获取用信号的平均值，从与该有效光电转换元件对应的暗电流量获取用信号减去该平均值，从而进行黑电平调整。

白平衡增益部123进行与在调整了黑电平数据的数字图像信号中包含的RGB各颜色信号的白平衡增益对应的增益调整。

伽马处理部124进行执行半色调等的灰度校正的伽马校正，使得白平衡调整后的R、G、B图像信号成为期望的伽马特性。

去马赛克算法处理部125对伽马校正后的R、G、B图像信号施加去马赛克算法处理。具体而言，去马赛克算法处理部125通过对R、G、 B的图像信号施加颜色插值处理，生成从摄像元件112的各受光像素输出的一组图像信号(R信号、G信号、B信号)。即，虽然在颜色去马赛克算法处理前，来自各受光像素的像素信号是R、G、B的图像信号中的任一个图像信号，但在颜色去马赛克算法处理后，输出与各受光像素对应的R、G、B信号的3个像素信号的组。

RGB/YCrCb变换部126将去马赛克算法处理后的每个像素的R、 G、B信号变换为亮度信号Y和色差信号Cr、Cb，输出每个像素的亮度信号Y及色差信号Cr、Cb。

Y信号复原处理部127基于预先存储的复原滤波器，对来自 RGB/YCrCb变换部126的亮度信号Y进行复原处理。复原滤波器例如由具有7×7的核尺寸的去卷积核(与M＝7、N＝7的抽头数对应)和与该去卷积核对应的运算系数(与复原增益数据、滤波系数对应)构成，使用于光学滤波器111的相位调制量的去卷积处理(去卷积运算处理)。另外，复原滤波器存储在与光学滤波器111对应的部分未图示的存储器(例如，附随地设有Y信号复原处理部127的存储器)中。此外，去卷积核的核尺寸并不限定于7×7。

接着，说明复原处理块120的复原处理。图23是表示图21所示的复原处理块120的复原处理流程的一例的图。

在黑电平调整部122的一个输入中，从AD转换部114被施加数字图像信号，在其他输入中被施加黑电平数据，黑电平调整部122从数字图像信号减去黑电平数据，并将减去了黑电平数据的数字图像信号输出到白平衡增益部123(S61)。由此，在数字图像信号中不包括黑电平成分，表示黑电平的数字图像信号成为0。

对黑电平调整后的图像数据依次实施白平衡增益部123、伽马处理部124的处理(S62及S63)。

伽马校正后的R、G、B信号在去马赛克算法处理部125中进行了去马赛克算法处理之后，在RGB/YCrCb变换部126中变换为亮度信号 Y和色度信号Cr、Cb(S64)。

Y信号复原处理部127进行对亮度信号Y施加EDoF光学系统110 的光学滤波器111的相位调制量的去卷积处理的复原处理(S65)。即， Y信号复原处理部127进行与以任意的处理对象的像素为中心的预定单位的像素组对应的亮度信号(在此为7×7像素的亮度信号)和预先存储在存储器等中的复原滤波器(7×7的去卷积核和其运算系数)的去卷积处理(去卷积运算处理)。Y信号复原处理部127通过将该预定单位的每个像素组的去卷积处理以覆盖摄像面的全部区域的方式重复，从而进行去除图像整体的像模糊的复原处理。复原滤波器根据实施去卷积处理的像素组的中心的位置而确定。即，对接近的像素组应用共同的复原滤波器。进一步为了简化复原处理，优选对全部像素组应用共同的复原滤波器。

如图24的(a)所示，通过了EDoF光学系统110之后的亮度信号的点像(光学像)作为大的点像(模糊的图像)而在摄像元件112 上成像，但通过在Y信号复原处理部127中的去卷积处理，如图24的 (b)所示那样复原为小的点像(高分辨率的图像)。

如上所述，通过对去马赛克算法处理后的亮度信号施加复原处理，不需要RGB分别具有复原处理的参数，能够使复原处理高速化。此外，由于不将与位于分散的位置的R/G/B的像素对应的R/G/B的图像信号分别汇集为一个单位而进行去卷积处理，而是将接近的像素的亮度信号之间以预定的单位汇集，对该单位应用共同的复原滤波器而进行去卷积处理，所以复原处理的精度提高。另外，关于色差信号Cr/Cb，在基于人眼的视觉的特性上，即使在复原处理中不提高分辨率，在画质上也被允许。此外，在以如JPEG这样的压缩格式来记录图像的情况下，色差信号以比亮度信号高的压缩率而被压缩，所以缺少在复原处理中提高分辨率的必要性。这样一来，能够兼顾复原精度的提高和处理的简化及高速化。

也能够将本发明的各实施方式所涉及的点像复原处理应用于如以上说明的EDoF系统的复原处理。

另外，在上述的各实施方式中，说明了点像复原处理部36设置在数码相机10的相机主体14(相机主体控制器28)的方式，但点像复原处理部36也可以设置在计算机60、服务器80等其他装置。

例如，在计算机60中对图像数据进行加工时，也可以通过在计算机60中设置的点像复原处理部而进行该图像数据的点像复原处理。此外，在服务器80具备点像复原处理部的情况下，例如，也可以从数码相机10、计算机60对服务器80发送图像数据，在服务器80的点像复原处理部中对该图像数据进行点像复原处理，点像复原处理后的图像数据(恢复图像数据)发送/提供给发送源。

此外，能够应用本发明的方式并不限定于数码相机10、计算机60 及服务器80，除了将摄像作为主要的功能的相机类之外，也能够应用于除了摄像功能之外还具有摄像以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类。作为能够应用本发明的其他方式，例如，举出具有相机功能的便携电话机、智能手机、PDA(Personal DigitalAssistants：个人数字助理)、便携式游戏机。以下，说明能够应用本发明的智能手机的一例。

＜智能手机的结构＞

图25是表示作为本发明的摄影装置的一实施方式的智能手机201 的外观的图。图25所示的智能手机201具有平板状的框体202，在框体202的一个面包括作为显示部的显示面板221和作为输入部的操作面板222成为一体的显示输入部220。此外，该框体202包括扬声器 231、话筒232、操作部240、相机部241。另外，框体202的结构并不限定于此，例如也可以采用显示部和输入部独立的结构，或者采用具有折叠结构或滑动机构的结构。

图26是表示图25所示的智能手机201的结构的框图。如图26所示，作为智能手机的主要的结构元素，包括无线通信部210、显示输入部220、通话部230、操作部240、相机部241、存储部250、外部输入输出部260、GPS(Global Positioning System：全球定位系统)接收部270、动作传感器部280、电源部290、主控制部200。此外，作为智能手机201的主要的功能，包括进行经由基地站装置BS和移动通信网 NW的移动无线通信的无线通信功能。

无线通信部210按照主控制部200的指示，对在移动通信网NW 中收纳的基地站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等的各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。

显示输入部220是通过主控制部200的控制来显示图像(静止图像及动态图像)、字符信息等而在视觉上对用户传递信息且检测对于所显示的信息的用户操作的、所谓的触摸面板，包括显示面板221和操作面板222。

显示面板221将LCD(Liquid Crystal Display：液晶显示器)、OELD (OrganicElectro-Luminescence Display：有机电致发光显示器)等用作显示设备。操作面板222是放置成能够对在显示面板221的显示面上显示的图像进行视觉辨认来检测由用户的手指或尖笔操作的一个或者多个坐标的设备。若通过用户的手指或尖笔操作该设备，则将由于操作而产生的检测信号输出到主控制部200。接着，主控制部200基于接收到的检测信号，检测显示面板221上的操作位置(坐标)。

如图25所示，作为本发明的摄影装置的一实施方式而例示的智能手机201的显示面板221和操作面板222成为一体而构成显示输入部 220，但也可以成为操作面板222完全覆盖显示面板221的配置。在采用了这个配置的情况下，操作面板222也可以对显示面板221外的区域也具有检测用户操作的功能。换言之，操作面板222也可以具有关于与显示面板221重叠的重叠部分的检测区域(以下，称为显示区域) 和关于除此以外的不与显示面板221重叠的外缘部分的检测区域(以下，称为非显示区域)。

另外，也可以使显示区域的大小和显示面板221的大小完全一致，但不需要使两者必须一致。此外，操作面板222也可以具有外缘部分和除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据框体202的大小等而适当设计。而且，作为在操作面板222中采用的位置检测方式，举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，能够采用任一种方式。

通话部230包括扬声器231、话筒232，将通过话筒232输入的用户的声音转换为能够在主控制部200中处理的声音数据而输出到主控制部200，或者对从无线通信部210或者外部输入输出部260接收到的声音数据进行解码而从扬声器231输出。此外，如图25所示，例如，能够将扬声器231搭载在与设置有显示输入部220的面相同的面，将话筒232搭载在框体202的侧面。

操作部240是使用了键开关等的硬件键，接受来自用户的指示。例如，如图25所示，操作部240搭载在智能手机201的框体202的侧面，是若通过手指等被按下则接通、若挪走手指则通过弹簧等的恢复力而成为断开状态的按钮式的开关。

存储部250存储主控制部200的控制程序、控制数据、应用软件、将通信对方的名称、电话号等建立对应关系的地址数据、收发的电子邮件的数据、通过Web浏览而下载的Web数据、已下载的内容数据，此外，暂时存储流数据等。此外，存储部250由智能手机内置的内部存储部251和具有装卸自如的外部存储器槽的外部存储部252构成。另外，构成存储部250的各个内部存储部251和外部存储部252使用闪存类(flash memory type)、硬盘类(harddisk type)、缩微多媒体卡类(multimedia card micro type)、卡类的存储器(例如、MicroSD (注册商标)存储器等)、RAM(Random Access Memory：随机存取存储器)、ROM(ReadOnly Memory：只读存储器)等的存储介质而实现。

外部输入输出部260起到与连接到智能手机201的全部外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394 等)或者网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification：射频识别)、红外线通信(Infrared Data Association：IrDA：红外数据联盟)(注册商标)、 UWB(UltraWideband：超宽带)(注册商标)、紫峰(ZigBee)(注册商标)等)直接或者间接地连接到其他外部设备。

作为连接到智能手机201的外部设备，例如有经由有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插座而连接的存储卡(Memory card)、SIM(Subscriber Identity Module Card) /UIM(User Identity Module Card)卡、经由音频视频I/O(输入/输出) 端子而连接的外部音频视频设备、无线连接的外部音频视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、有线/无线连接的个人计算机、耳机等。外部输入输出部能够将从这样的外部设备接受传输的数据传递到智能手机201的内部的各结构元素、将智能手机201的内部的数据传输到外部设备。

GPS接收部270按照主控制部200的指示，接收从GPS卫星ST1～ STn发送的GPS信号，并执行基于接收到的多个GPS信号的测位运算处理，检测智能手机201的由纬度、经度、高度构成的位置。GPS接收部270在能够从无线通信部210、外部输入输出部260(例如，无线LAN)获取位置信息时，还能够使用该位置信息而检测位置。

动作传感器部280具有例如三轴加速度传感器等，按照主控制部 200的指示，检测智能手机201的物理动作。通过检测智能手机201的物理动作，检测出智能手机201移动的方向、加速度。该检测结果输出到主控制部200。

电源部290按照主控制部200的指示，对智能手机201的各部分提供在蓄电池(未图示)中蓄积的电力。

主控制部200具有微处理器，按照存储部250存储的控制程序、控制数据而动作，统一控制智能手机201的各部分。此外，主控制部 200为了通过无线通信部210而进行声音通信、数据通信，具有控制通信系统的各部分的移动通信控制功能和应用处理功能。

应用处理功能通过主控制部200按照存储部250存储的应用软件动作而实现。作为应用处理功能，例如有控制外部输入输出部260而与相向设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、阅览Web网页的Web浏览功能。

此外，主控制部200具有基于接收数据、已下载的流数据等的图像数据(静止图像、动态图像的数据)而将影像在显示输入部220中显示等的图像处理功能。图像处理功能是指，主控制部200对上述图像数据进行解码，对该解码结果实施图像处理，并将图像在显示输入部220中显示的功能。

而且，主控制部200执行对显示面板221的显示控制和检测通过了操作部240、操作面板222的用户操作的操作检测控制。

通过执行显示控制，主控制部200显示用于启动应用软件的图标、滚动条等软件键，或者显示用于生成电子邮件的窗口。另外，滚动条是指关于不能在显示面板221的显示区域中收纳的大的图像等用于接受使图像的显示部分移动的指示的软件键。

此外，通过执行操作检测控制，主控制部200检测通过了操作部 240的用户操作，或者通过操作面板222接受对上述图标的操作、对上述窗口的输入栏的字符串的输入，或者接受通过了滚动条的显示图像的滚动请求。

而且，通过执行操作检测控制，主控制部200具有判定对操作面板222的操作位置是与显示面板221重叠的重叠部分(显示区域)还是除此以外的不与显示面板221重叠的外缘部分(非显示区域)而对操作面板222的感应区域、软件键的显示位置进行控制的触摸面板控制功能。

此外，主控制部200还能够检测对操作面板222的手势操作，并根据检测到的手势操作来执行预先设定的功能。手势操作是指，不是现有的单纯的触摸操作，而是通过手指等描画轨迹，或者同时指定多个位置，或者将这些进行组合而从多个位置对至少一个位置描画轨迹的操作。

相机部241是使用CMOS(Complementary Metal Oxide Semiconductor)或CCD(Charge-Coupled Device)等摄像元件进行电子摄影的数码相机。此外，相机部241通过主控制部200的控制，能够将通过拍摄而获得的图像数据例如转换为JPEG(JointPhotographic coding Experts Group联合图像专家组)等的压缩后的图像数据，并记录在存储部250中，或者通过外部输入输出部260、无线通信部210而输出。虽然在图25所示的智能手机201中，相机部241搭载在与显示输入部220相同的面，但相机部241的搭载位置并不限定于此，也可以搭载在显示输入部220的背面，或者，也可以搭载多个相机部241。此外，在搭载了多个相机部241的情况下，也能够切换用于摄影的相机部241而单独地进行摄影，或者同时使用多个相机部241而进行摄影。

此外，相机部241能够利用于智能手机201的各种功能。例如，在显示面板221中显示在相机部241中获取的图像、作为操作面板222 的操作输入之一而能够利用相机部241的图像。此外，在GPS接收部 270检测位置时，还能够参照来自相机部241的图像而检测位置。而且，还能够参照来自相机部241的图像，不使用三轴加速度传感器或者与三轴加速度传感器并用地，判断智能手机201的相机部241的光轴方向、判断当前的使用环境。当然，还能够在应用软件内利用来自相机部241的图像。

除此之外，也可以在静止画面或者动画的图像数据中附加由GPS 接收部270获取的位置信息、由话筒232获取的声音信息(也可以由主控制部等进行声音文本转换而成为文本信息)、由动作传感器部280 获取的姿势信息等而记录在存储部250中，或者通过外部输入输出部 260、无线通信部210而输出。

在上述的智能手机201中，与点像复原处理相关联的上述的各处理部能够通过例如主控制部200、存储部250等适当实现。

本发明并不限定于上述的实施方式，在不脱离本发明的精神的范围内能够进行各种变形，这是不言而喻的。

附图标记说明

10…数码相机、12…透镜单元、14…相机主体、16…透镜、17…光圈、18…光学系统操作部、20…透镜单元控制器、22…透镜单元端子、26…摄像元件、28…相机主体控制器、30…相机主体端子、32…输入输出接口、34…设备控制部、35…图像处理部、36…点像复原处理部、41…偏移量校正处理、42…WB校正处理、43…去马赛克算法处理、44…伽马校正处理、45…亮度/色差变换处理、46…点像复原处理、 47…颜色信号变换处理、48…代表值计算处理、49…复原滤波器选择/ 计算处理、50…复原运算处理、51…光学系统数据获取部、52…滤波器选择部、53…复原运算处理部、54…复原滤波器存储部、55…滤波器计算部、56…图像分析部、57…主要被摄体像提取部、58…饱和像素检测部、59…代表值计算部、60…计算机、62…计算机端子、64…计算机控制器、66…显示器、70…互联网、75…摄影图像、76…分割区域、80…服务器、82…服务器端子、84…服务器控制器、200…主控制部、201…智能手机、202…框体、210…无线通信部、220…显示输入部、221…显示面板、222…操作面板、230…通话部、231…扬声器、 232…话筒、240…操作部、241…相机部、250…存储部、251…内部存储部、252…外部存储部、260…外部输入输出部、270…GPS接收部、 280…动作传感器部、290…电源部

Claims (11)

1.一种图像处理装置，对原图像数据进行复原处理而获取恢复图像数据，所述原图像数据是通过使用了光学系统的被摄体像的摄影而从摄像元件获取的，所述复原处理使用了基于所述光学系统的点扩散函数的复原滤波器，

所述图像处理装置包括：

灰度校正部，对所述原图像数据进行基于对数化处理的灰度校正；及

复原处理部，对进行了灰度校正的所述原图像数据的颜色数据进行所述复原处理，

所述复原滤波器由与所述对数化处理前的图像数据对应的滤波系数构成。

2.根据权利要求1所述的图像处理装置，其中，

所述复原处理部获取表示所述光学系统的所述点扩散函数的光学系统数据，使用基于该光学系统数据的所述复原滤波器进行所述复原处理。

3.根据权利要求2所述的图像处理装置，其中，

所述复原滤波器被预先生成，

所述复原处理部选择预先生成的所述复原滤波器中的、与用于获取所述原图像数据的所述光学系统的所述光学系统数据对应的复原滤波器而用于所述复原处理。

4.根据权利要求2所述的图像处理装置，其中，

所述复原处理部基于用于获取所述原图像数据的所述光学系统的所述光学系统数据来生成所述复原滤波器，并将生成的该复原滤波器用于所述复原处理。

5.根据权利要求2～4中任一项所述的图像处理装置，其中，

所述复原处理部进行所述原图像数据的分析处理，并基于所述光学系统数据和该分析处理的结果来选择所述复原滤波器而进行所述复原处理。

6.根据权利要求5所述的图像处理装置，其中，

所述分析处理包括以下处理：确定表示所述被摄体像的所述原图像数据中的、表示主要被摄体像的数据，

所述复原处理部使用基于所述原图像数据中的、表示所述主要被摄体像的数据的所述复原滤波器来进行所述复原处理。

7.根据权利要求5所述的图像处理装置，其中，

所述复原处理部根据所述分析处理的结果，对应每个所述被摄体像确定用于所述复原处理的所述复原滤波器。

8.根据权利要求5所述的图像处理装置，其中，

所述复原处理部将所述原图像数据表示的所述被摄体像划分为多个分割区域，并根据所述分析处理的结果，对应每个所述分割区域确定用于所述复原处理的所述复原滤波器。

9.根据权利要求5所述的图像处理装置，其中，

所述复原处理部根据所述分析处理的结果，对应所述原图像数据的每个像素数据确定用于所述复原处理的所述复原滤波器。

10.一种摄像装置，包括：

权利要求1～9中任一项所述的图像处理装置；及

通过使用了光学系统的被摄体像的摄影而输出原图像数据的所述摄像元件。

11.一种图像处理方法，对原图像数据进行复原处理而获取恢复图像数据，所述原图像数据是通过使用了光学系统的被摄体像的摄影而从摄像元件获取的，所述复原处理使用了基于所述光学系统的点扩散函数的复原滤波器，

所述图像处理方法包括：

灰度校正步骤，对所述原图像数据进行基于对数化处理的灰度校正；及

复原处理步骤，对进行了灰度校正的所述原图像数据的颜色数据进行所述复原处理，

所述复原滤波器由与所述对数化处理前的图像数据对应的滤波系数构成。