CN106165390B - 图像处理装置、摄影装置、图像处理方法 - Google Patents

Abstract

本发明的目的在于提供一种即使被摄体中存在高亮度区域或低亮度区域，也能够避免图像锐度过度变化而稳定地进行画质改善的图像处理装置、摄影装置、图像处理方法及程序。图像处理装置具备：灰度校正部即伽马校正处理部(33)，进行灰度校正；复原处理部；锐化处理部；锐化恢复控制部(37)，其为能够通过控制复原处理部和锐化处理部，调整复原处理的复原率及锐化处理的锐化率的锐化恢复控制部(37)，其获取基于复原率和锐化率的总锐化复原率以及复原率和锐化率中的一个，并根据总锐化复原率计算出复原率和锐化率中的另一个；及亮度信息获取部，锐化恢复控制部根据所获取的亮度信息，调整复原率和锐化率。

Description

图像处理装置、摄影装置、图像处理方法

技术领域

本发明涉及一种基于点扩散函数的复原处理所涉及的图像处理装置、摄影装置、图像处理方法及程序。

背景技术

在经由光学系统拍摄的被摄体像中，由于由光学系统引起的衍射、像差等的影响，有时会出现点被摄体具有微小的扩散的所谓点扩散现象。表示光学系统相对于点光源的响应的函数被称作点扩散函数(PSF：Point Spread Function)，作为影响摄影图像的分辨率劣化(模糊)的参数而周知。

因为该点扩散现象而画质劣化的摄影图像能够通过接受基于PSF的点像复原处理来恢复画质。点像复原处理是如下处理：预先求出由透镜(光学系统)的像差等引起的劣化特性(点像特性)，通过使用与该点像特性相应的复原滤波器(恢复滤波器)的图像处理来消除或减少摄影图像的点扩散。

对于该点像复原处理提出有各种方法，例如专利文献1中公开了对已进行非线性校正的图像利用盲反卷积进行图像恢复的图像处理装置。该图像处理装置具备：校正部，对已实施非线性灰度校正的摄影图像进行减少非线性灰度校正的校正；及图像恢复部，对灰度校正减少的摄影图像适用盲反卷积从而进行图像恢复。

专利文献2中公开了减少由图像恢复处理引起的图像数据的过恢复的图像处理装置。该图像处理装置中，在伽马处理之前对RGB形式的彩色图像数据进行图像恢复处理，并计算出变化量的限制值，以吸收由伽马校正引起的像素信号值的增幅和衰减的差异且使像素信号值的变化量的最大值在伽马校正之后也恒定。由此解决“由于饱和像素，发生实际获得的图像数据的劣化状态与图像恢复滤波器作为恢复对象而设想的图像数据的劣化状态不一致的情况”、“在边缘部分产生下冲和过冲等画质劣化，尤其在低亮度部的下冲因图像恢复处理之后的伽马处理而被增幅”等技术上的课题。

并且，光学系统的点扩散函数还用于焦深被扩大的图像的复原技术中，专利文献3公开了在短时间内精度良好地执行图像复原的摄像模块。该摄影模块中，通过对同步处理(去马赛克处理)之后的亮度信号施以复原处理，由此无需使RGB分别具有复原处理的参数，可实现复原处理的高速化。并且，将接近的像素彼此汇集为规定单位，对该单位适用共同的复原处理参数来进行反卷积处理，由此实现复原处理精度的提高。

另一方面，除了点像复原处理以外，有时还进行用于改善画质的图像处理，例如能够通过锐化处理(轮廓强调处理、边缘强调处理、清晰度强调处理等)提高图像的锐度(清晰度)。

作为有关上述点像复原处理和锐化处理的具体处理方法，例如，专利文献4公开了进行“在进行了利用图像复原滤波器的图像复原处理之后进行边缘强调处理的手抖校正”和“仅进行边缘强调处理的手抖校正”的方法。并且，专利文献5公开了根据边缘强度选择不同复原强度的滤波器，从而根据边缘强度改变复原滤波器本身的强度的方法。

以往技术文献

专利文献

专利文献1：日本特开2011-059813号公报

专利文献2：日本特开2013-020610号公报

专利文献3：日本特开2012-049759号公报

专利文献4：日本特开2006-333061号公报

专利文献5：日本特开2006-129236号公报

发明内容

发明要解决的技术课题

上述的点像复原处理是将因基于光学系统的点扩散现象(光学特性)而模糊的图像复原成原来的清晰图像的处理，是对画质劣化的原图像数据适用基于点扩散函数的复原滤波器从而获得已消除画质劣化的恢复图像的技术。

因此，为了获得如实再现被摄体像的恢复图像，点像复原处理中使用的“复原滤波器的特性”与“原图像数据的画质劣化”需适当匹配。

即，若准确掌握由光学系统带来的画质劣化，从而设计能够严密地消除这种画质劣化的复原滤波器，且光学系统引起的画质劣化(点扩散现象)被准确地反映在原图像数据，则原理上能够由“画质劣化的摄影图像”获得“如实再现被摄体像的高画质的图像”。

然而，根据被摄体像或摄影设备类的特性，有时“复原滤波器的特性”与“原图像数据的画质劣化”可能不会适当地匹配。

例如，原图像数据的画质会因成像元件的摄像能力而发生变动，被摄体像非常明亮时，有时会在成像元件上产生像素饱和现象。当产生像素饱和时，该饱和像素数据(饱和像素值)被裁剪(clipping)等，因此所获得的原图像数据并不一定如实再现被摄体像。

如此，成为复原处理对象的原图像数据不仅会受到光学系统引起的劣化特性的影响，还会受到成像元件引起的劣化特性的影响，尤其当被摄体像的对比度较大时，有时会产生设想外的画质劣化。

因此，即使充分分析光学系统的特性而设计能够抑制点扩散现象的影响的复原滤波器，根据被摄体像，有时“复原滤波器的特性”与“原图像数据的画质劣化”可能也不会适当地匹配。

若在“复原滤波器的特性”与“原图像数据的画质劣化”并未适当匹配的条件下进行复原处理，则画质劣化不会被充分消除而无法获得优质的恢复图像，有时还会助长画质劣化，导致振铃等在恢复图像中明显。

在恢复图像中产生的画质劣化(振铃等)的程度受到各种因素的影响。例如，由于在复原处理中使用的复原滤波器特性、适用复原处理的原图像数据的数据特性、在复原处理前后进行的其他图像处理等的影响，点像复原处理后的恢复图像的画质会发生变动。因此，为了更有效地防止或减少恢复图像中的画质劣化，期望综合考虑了各种特性的复原处理方法。尤其，拍摄各种被摄体像时，复原处理对象的图像数据特性并不恒定，对比度在整体上或局部性较大的图像、颜色偏置的图像、一部分像素值处于饱和状态的图像等具有各种特性的图像可能会成为复原处理对象。因此，切盼能够灵活地应对具有各种特性的处理对象图像且图像韧性优异的复原处理方法。

然而，上述的专利文献1～3中完全没有提及上述课题，且并未提出有关“在利用了点扩散函数的复原处理中不仅考虑复原处理本身还综合考虑复原处理前后的处理中的各种主要因素，能够灵活地应对具有各种特性的原图像且图像韧性优异的图像处理方法”的方案等。

另一方面，若在“复原滤波器的特性”与“原图像数据的画质劣化”之间的匹配的偏离较大的状态下进行点像复原处理，则有可能产生过校正等画质降低。对此，本申请案申请人提出通过对已实施伽马校正等灰度校正的图像数据进行点像复原处理来提高图像韧性的方案(专利申请2013-069688和专利申请2013-069687)。但根据被摄体或摄影场景，有时也会导致由过校正等引起的画质劣化。

伽马校正等灰度校正为改变图像数据的特性的处理，因此“伽马校正后的图像数据”与“摄影中使用的光学系统的点扩散函数”之间的匹配的偏离会变得比较大。尤其与低亮度侧相比，在高亮度侧(高亮(highlight)侧)，“伽马校正后的图像数据”与“光学系统的点扩散函数”之间的匹配的偏离容易变大。因此，当图像数据(摄影场景)整体偏向明亮的高亮度侧时，整个图像中的高亮度区域所占的比例增加，“伽马校正后的图像数据”与“光学系统的点扩散函数”之间的匹配的偏离变大。因此，当图像数据(摄影场景)整体偏向明亮的高亮度侧时，恢复图像中“因点像复原处理引起的过校正等而使画质劣化的区域”扩大。

有对于如通过进行点像复原处理反而导致画质劣化的图像数据或图像数据区域，减弱点像复原处理的复原强度来防止图像劣化的方法。并且，在能够切换点像复原处理的开启和关闭的图像处理系统中，通过关闭点像复原处理，也能够防止这种图像劣化。但是，该情况下，若简单地减弱点像复原处理的复原强度或关闭点像复原处理，则在图像之间清晰度发生偏差，会给用户带来违和感。

以往，并未提出用于防止已实施不同复原强度的点像复原处理的图像之间的画质锐度的偏差、或“点像复原处理开启图像”与“点像复原处理关闭图像”之间的画质锐度的背离的有效方案。例如，专利文献4和5中，并未公开或暗示通过在点像复原处理与锐化处理之间进行复原度和锐化度的综合调整来实现图像锐度的统一化的内容。

本发明是鉴于这种情况而完成的，其目的在于提供一种抑制“被摄体像的明度引起的画质劣化”或“影响摄影图像的明度的摄影条件引起的画质劣化”，并且实现精度良好地进行基于点扩散函数的复原处理，即使被摄体中存在高亮度区域或低亮度区域，也能够不使图像锐度过度变化而稳定地进行画质改善的图像处理装置、摄影装置、图像处理方法及程序。

用于解决技术课题的手段

本发明的一方式的图像处理装置，其对通过利用光学系统拍摄被摄体像而获取的原图像数据进行使用基于光学系统的点扩散函数的复原滤波器的复原处理，由此获取恢复图像数据，所述图像处理装置具备：灰度校正部，对原图像数据进行基于对数化处理的灰度校正；复原处理部，对已进行灰度校正的原图像数据适用由与对数化处理之前的原图像数据对应的滤波器系数构成的复原滤波器，由此进行复原处理；锐化处理部，对已进行灰度校正的原图像数据进行利用锐化滤波器的锐化处理；锐化恢复控制部，其为能够通过控制复原处理部和锐化处理部来调整复原处理的复原率和锐化处理的锐化率的锐化恢复控制部，其获取基于复原率和锐化率的总锐化复原率以及复原率和锐化率中的一个，并根据总锐化复原率计算出复原率和锐化率中的另一个；及亮度信息获取部，获取基于原图像数据的原图像的亮度信息，锐化恢复控制部根据获取的亮度信息，调整复原率和锐化率。

根据本方式，能够进行与原图像数据的亮度信息相应的复原处理控制。尤其，由于进行反映了亮度信息特性的复原处理控制，因此能够有效地抑制被摄体像的明度引起的画质劣化(过校正等)，并且精度良好地进行基于点扩散函数的复原处理。

在此所说的“对数化处理”为将以真数表达的数据转换以对数表达的数据的处理，除此以外，本申请中例如还包括对图像数据进行的伽马校正处理。即，“对数化处理”还指转换为以对数表达的图像数据，并对该图像数据进行作为灰度处理之一的伽马校正处理。并且，“与对数化处理之前的图像数据对应的滤波器系数”为根据接受伽马校正处理等对数化处理之前的图像数据导出的滤波器系数，并与以真数表达的图像数据对应。

并且，根据本方式，复原率和锐化率根据总锐化复原率确定，因此根据复原率的增减调整锐化率或者根据锐化率的增减调整复原率。因此，能够不使基于复原处理的复原强度和基于锐化处理的锐化强度过度变化而稳定地改善图像数据的画质。

“基于点扩散函数的复原滤波器”为基于使用光学系统的点扩散函数(PSF)生成的逆滤波器或维纳滤波器等的复原滤波器，“复原处理”包括将这种复原滤波器适用于图像数据的处理。并且，“点扩散函数”是表示光学系统对点光源的响应的函数，能够根据PSF和OTF(MTF(Modulation Transfer Function)、PTF(Phase Transfer Function))表达。

另一方面，“锐化滤波器”能够使用“根据光学系统的点扩散函数(PSF)使用逆滤波器或维纳滤波器而生成的滤波器(复原滤波器)”以外的滤波器类。因此，作为“锐化滤波器”，例如可适当使用不基于光学系统的点扩散函数的滤波器，可采用根据点扩散函数以外的其他要素(参数)计算出的滤波器作为“锐化滤波器”。作为不基于点扩散函数的锐化滤波器，只要是不根据点扩散函数而制作的滤波器，则可采用能够根据点扩散函数不同的F值等而切换的滤波器作为锐化滤波器。同样地，可采用能够根据点扩散函数不同的像高而切换的滤波器作为锐化滤波器。并且，锐化处理中的锐化滤波器的强度(增益)还可根据F值或像高发生变化。

“锐化处理”是补偿或强调图像数据的高频成分的处理，是强调图像的轮廓成分的处理。因此，例如被称为轮廓强调处理、边缘强调处理或者清晰度强调处理的处理可包括在此处所说的“锐化处理”中。

另外，复原滤波器和锐化滤波器能够构成为FIR(Finite Impulse Response)滤波器。

优选亮度信息获取部获取构成原图像的每个像素的亮度值和该亮度值的分布作为亮度信息。

根据本方式，复原处理的复原率和锐化处理的锐化率能够根据构成原图像的每个像素的亮度值和该亮度值的分布来确定。由此，本方式中，能够根据亮度值调节基于复原处理的复原强度和基于锐化处理的锐化强度，并防止由图像处理而产生的画质劣化。

并且，“亮度值”和“亮度值的分布”是直接或间接表示图像的明度的指标。例如，也可根据由亮度信号和色差信号(YCbCr颜色空间等)表示图像数据时的“亮度信号成分”或者由亮度维度和颜色对应维度(L*a*b*)表示图像数据时的“亮度维度成分”来确定“亮度的分布”和“亮度值”。并且，可根据能够成为图像的明度的间接性指标的颜色成分来确定“亮度的分布”和“亮度值”，例如可根据图像数据的颜色成分中最有可能有助于图像的明度的颜色成分来确定“亮度的分布”和“亮度值”。

优选亮度信息获取部获取从获取到的亮度值获得的饱和像素的信息作为亮度信息。

根据本方式，能够根据从亮度值获得的饱和像素的信息确定复原处理的复原率和锐化处理的锐化率。由此，本方式中，能够根据饱和像素的信息调节基于复原处理的复原强度和基于锐化处理的锐化强度，并防止由图像处理产生的画质劣化。

优选锐化恢复控制部根据从获取的亮度值获得的饱和像素的信息，调整饱和像素和位于饱和像素周边的像素中的复原率和锐化率中的至少一个。

根据本方式，能够根据从亮度值获得的饱和像素的信息调整饱和像素和位于饱和像素周边的像素中的复原率和锐化率中的至少一个。由此，本方式中，能够调节对饱和像素和位于饱和像素周边的像素的基于复原处理的复原强度和基于锐化处理的锐化强度，并防止由图像处理产生的画质劣化。

优选亮度信息获取部获取位于饱和像素周边的像素的亮度值作为亮度信息。

根据本方式，能够根据位于饱和像素周边的像素的亮度值确定复原处理的复原率和锐化处理的锐化率。由此，本方式中，能够根据位于饱和像素周边的像素的亮度值调节基于复原处理的复原强度和基于锐化处理的锐化强度，并防止由图像处理产生的画质劣化。

优选锐化恢复控制部获取光学系统的个体差异信息，并根据获取到的个体差异信息和亮度信息，调整复原率和锐化率中的至少一个。

根据本方式，能够根据光学系统的个体差异信息和亮度信息确定复原处理的复原率和锐化处理的锐化率。由此，本方式中，能够根据个体差异信息和亮度信息调节基于复原处理的复原强度和基于锐化处理的锐化强度，并防止由图像处理产生的画质劣化。另外，“个体差异信息”是指每个透镜个体的信息，是为了根据透镜个体差异调整复原率或锐化率而使用的信息。并且，“个体差异信息”包含与因制造误差等而有可能在光学系统中个别产生的误差有关的信息。个体差异信息可以是直接表示个体差异的信息，也可以是间接表示个体差异的信息，例如可将分配于光学系统的批号和编号用作个体差异信息。

优选亮度信息获取部获取摄影曝光信息作为亮度信息。

根据本方式，能够根据摄影曝光确定复原处理的复原率和锐化处理的锐化率。由此，本方式中，能够根据摄影曝光调节基于复原处理的复原强度和基于锐化处理的锐化强度，并防止由于图像处理产生的画质劣化。在此所说的“摄影曝光信息”是与拍摄原图像数据时的曝光有关的信息。例如，“摄影曝光信息”可以是摄影曝光量，摄影曝光量为获取原图像数据时的光学系统的曝光量，可根据获取原图像数据时的摄影条件(F值和快门速度)发生变动。

优选亮度信息获取部获取构成原图像的每个像素的亮度值的直方图作为亮度信息。

根据本方式，能够根据亮度值的直方图确定复原处理的复原率及锐化处理的锐化率。由此，本方式中，能够根据亮度值的直方图调节基于复原处理的复原强度及基于锐化处理的锐化强度，防止由于图像处理产生的画质劣化。

优选亮度信息获取部获取直方图的中央值作为亮度信息。

根据本方式，能够根据直方图的中央值确定复原处理的复原率和锐化处理的锐化率。由此，本方式中，能够根据直方图的中央值调节基于复原处理的复原强度和基于锐化处理的锐化强度，并防止由图像处理产生的画质劣化。

优选所述图像处理装置具有摄影条件获取部，当原图像数据为构成动态图像的多帧中的1帧的数据时，获取与原图像数据对应的帧和与原图像数据对应的帧的时序列上的前帧或后帧的摄影条件，并且锐化恢复控制部根据由摄影条件获取部获取的摄影条件和亮度信息，调整复原率和锐化率中的至少一个。

根据本方式，能够根据与原图像数据对应的帧的时序列上的前帧或后帧的摄影条件和亮度信息，调整复原率和锐化率中的至少一个。由此，本方式中，能够根据摄影条件和亮度信息调节基于复原处理的复原强度和基于锐化处理的锐化强度，并防止由图像处理产生的画质劣化。

作为本发明的另一方式的摄影装置具有上述图像处理装置。

本发明的另一方式的图像处理方法，其对通过利用光学系统拍摄被摄体像而获取的原图像数据进行使用基于光学系统的点扩散函数的复原滤波器的复原处理，由此获取恢复图像数据，所述图像处理方法包括：灰度校正步骤，对原图像数据进行基于对数化处理的灰度校正；复原处理步骤，对已进行灰度校正的原图像数据适用由与对数化处理之前的原图像数据对应的滤波器系数构成的复原滤波器，由此进行复原处理；锐化处理步骤，对已进行灰度校正的原图像数据进行利用锐化滤波器的锐化处理；锐化恢复控制步骤，其为能够通过控制复原处理步骤和锐化处理步骤来调整复原处理的复原率和锐化处理的锐化率的锐化恢复控制步骤，其获取基于复原率和锐化率的总锐化复原率以及复原率和锐化率中的一个，并根据总锐化复原率计算出复原率和锐化率中的另一个；及亮度信息获取步骤，获取基于原图像数据的原图像的亮度信息，锐化恢复控制步骤根据获取到的亮度信息调整复原率和锐化率。

本发明的另一方式的程序，其用于使计算机执行如下步骤，即对通过利用光学系统拍摄被摄体像而获取的原图像数据进行使用基于光学系统的点扩散函数的复原滤波器的复原处理，由此获取恢复图像数据，所述程序包括：灰度校正步骤，对原图像数据进行基于对数化处理的灰度校正；复原处理步骤，对已进行灰度校正的原图像数据适用由与对数化处理之前的原图像数据对应的滤波器系数构成的复原滤波器，由此进行复原处理；锐化处理步骤，对已进行灰度校正的原图像数据进行利用锐化滤波器的锐化处理；锐化恢复控制步骤，其为能够通过控制复原处理步骤和锐化处理步骤来调整复原处理的复原率和锐化处理的锐化率的锐化恢复控制步骤，其获取基于复原率和锐化率的总锐化复原率以及复原率和锐化率中的一个，并根据总锐化复原率计算出复原率和锐化率中的另一个；及亮度信息获取步骤，获取基于原图像数据的原图像的亮度信息，锐化恢复控制步骤根据获取到的亮度信息调整复原率和锐化率。

发明效果

根据本发明，根据原图像特性中的亮度信息控制基于点扩散函数的复原处理，能够有效地抑制被摄体像的明度引起的画质劣化并且精度良好地进行复原处理。并且，根据本发明，根据总锐化复原率确定复原率和锐化率，因此能够防止基于复原处理和锐化处理的图像的复原率和锐化率变得过大或过小。

附图说明

图1是表示与计算机连接的数码相机的框图。

图2是表示相机主体控制器的功能结构例的框图。

图3是表示从图像摄影至点像复原处理为止的概要的图。

图4是表示点像复原处理的一例的框图。

图5是表示被摄体像中的边缘部分(图像边界部分)的画质变化的一例的图，表示进行理想的点像复原处理(没有像素值的饱和且没有裁剪)的情况。

图6是表示“实际的图像劣化特性(图像模糊特性)”与“成为所使用的复原滤波器的基础的点扩散函数”并不完全匹配时的原图像数据、恢复图像数据及伽马校正处理之后的图像数据的一例的图。

图7是例示图像处理部中的图像处理流程的框图，表示在伽马校正处理(灰度校正处理)之后对亮度数据(Y)进行点像复原处理的例子。

图8是例示图像处理部中的图像处理流程的框图，表示在伽马校正处理之后对RGB的颜色数据进行点像复原处理的例子。

图9是例示图像处理部中的图像处理流程的框图，表示在伽马校正处理之前对RGB颜色数据进行点像复原处理的例子。

图10是例示图像处理部中的图像处理流程的框图，表示在伽马校正处理之前对亮度数据(Y)进行点像复原处理的例子。

图11是表示“灰度校正处理(伽马校正处理)”和“颜色数据/亮度数据”与点像复原处理的相关性的图。

图12是表示基于伽马校正处理(对数化处理中的灰度处理)的处理前数据与处理后数据之间的关系的一例的图(曲线图)。

图13例示灰度校正(伽马校正处理)中的输入值(IN)与输出值(OUT)之间的关系(伽马校正处理灰度曲线)，是表示在选择风景摄影模式时使用的伽马校正处理灰度曲线的一例的图(曲线图)。

图14例示灰度校正(伽马校正处理)中的输入值(IN)与输出值(OUT)之间的关系(伽马校正处理灰度曲线)，是表示选择人物摄影模式时使用的伽马校正处理灰度曲线的一例的图(曲线图)。

图15是表示图像处理部的结构例的框图。

图16是用于说明点像复原强度和锐化强度的调整的示意图。

图17是表示进行第1实施方式所涉及的点像复原处理和锐化处理的处理块的结构的图。

图18是说明按图像的每个区域调整复原率和锐化率的情况的示意图。

图19是说明按图像的每个像素调整复原率和锐化率的情况的示意图。

图20是对饱和像素和位于饱和像素周边的像素中的复原率和锐化率的调整进行说明的示意图。

图21是表示包括第3例中的复原处理的图像处理的流程的流程图。

图22是表示基于伽马校正处理(对数化处理中的灰度处理)的处理前数据与处理后数据之间的关系的一例的图(曲线图)，是用于特别对易产生由过校正等引起的画质劣化的区域进行说明的图。

图23表示基于伽马校正处理(对数化处理中的灰度处理)的处理前数据与处理后数据之间的关系的一例。

图24是表示图像数据中的亮度分布例的图。

图25是表示图像数据中的亮度分布例的图。

图26是表示第2实施方式所涉及的锐化恢复部的一例的功能框图。

图27是表示包括第2实施方式所涉及的点像复原处理的图像处理的流程的流程图。

图28是表示进行第3实施方式所涉及的点像复原处理和锐化处理的处理块的结构的图。

图29是表示进行第4实施方式所涉及的点像复原处理和锐化处理的处理块的结构的图。

图30是说明处理对象帧与参考帧的一例的图。

图31是说明与由复原调整部进行的复原处理内容的调整有关的例子的图。

图32是说明与由复原调整部进行的复原处理内容的调整有关的例子的图。

图33是表示确定最频值时的复原调整部的动作流程的图。

图34是表示具备EDoF光学系统的摄像模块的一方式的框图。

图35是表示EDoF光学系统的一例的图。

图36是表示由图34所示的复原处理块进行的复原处理流程的一例的图。

图37是表示经由EDoF光学系统获取到的图像的复原例的图，图37(a)表示复原处理前的模糊的图像，图37(b)表示复原处理后的消除模糊的图像(点像)。

图38是智能手机的外观图。

图39是表示图38所示的智能手机的结构的框图。

具体实施方式

以下，根据附图对本发明所涉及的摄影装置及摄影方法的优选实施方式进行说明。

参考附图对本发明的实施方式进行说明。以下的实施方式中，作为一例，对将本发明适用于能够与计算机(PC：个人计算机)连接的数码相机(摄影装置)的情况进行说明。

图1是表示与计算机连接的数码相机的框图。

数码相机10具备能够更换的透镜单元12及具备成像元件26的相机主体14，且经由透镜单元12的透镜单元输入输出部22和相机主体14的相机主体输入输出部30，透镜单元12与相机主体14被电连接。

透镜单元12具备透镜16和光圈17等光学系统及控制该光学系统的光学系统操作部18。光学系统操作部18包含连接于透镜单元输入输出部22的透镜单元控制器20及操作光学系统的驱动器(省略图示)。透镜单元控制器20根据从相机主体14经由透镜单元输入输出部22发送而来的控制信号，经由驱动器控制光学系统，例如通过透镜的移动进行聚焦控制和变焦控制、光圈17的光圈量控制等。

相机主体14的成像元件26具有聚光用微透镜、R(红)G(绿)B(蓝)等的滤色器及图像传感器(光电二极管；CMOS(Complementary Metal Oxide Semiconductor)、CCD(ChargeCoupled Device)等)。该成像元件26将经由透镜单元12的光学系统(透镜16、光圈17等)照射的被摄体像的光转换成电信号，并将图像信号(原图像数据)发送至相机主体控制器28。

本例的成像元件26通过利用光学系统拍摄被摄体像来输出原图像数据，该原图像数据被发送至相机主体控制器28的图像处理部。

如图2所示，相机主体控制器28具有设备控制部34及图像处理部(图像处理装置)35，统一控制相机主体14。设备控制部34例如控制来自成像元件26的图像信号(图像数据)的输出，生成用于控制透镜单元12的控制信号并经由相机主体输入输出部30而发送至透镜单元12(透镜单元控制器20)，向经由输入输出接口32连接的外部设备类(计算机60C等)发送图像处理前后的图像数据(RAW数据、JPEG数据等)。并且，设备控制部34适当控制数码相机10所具备的各种设备类，如未图示的显示部(EVF：Electronic View Finder、背面液晶显示部)等。

另一方面，图像处理部35可根据需要对来自成像元件26的图像信号进行任意的图像处理。例如，在图像处理部35中适当进行传感器校正处理、去马赛克(同步化)处理、像素插值处理、颜色校正处理(偏移校正处理、白平衡处理、颜色矩阵处理、伽马转换处理(伽马校正处理部33)等)、RGB图像处理(清晰度处理、色调校正处理、曝光校正处理、轮廓校正处理等)、RGB/YCrCb转换处理及图像压缩处理等各种图像处理。尤其，本例的图像处理部35具备伽马校正处理部33及锐化恢复部36。

另外，图1所示的数码相机10具备摄影等中需要的其他设备类(快门等)，用户能够经由设置于相机主体14的用户界面29适当确定和变更用于摄影等的各种设定(EV值(Exposure Value)等)。用户界面29连接于相机主体控制器28(设备控制部34和图像处理部35)，由用户确定和变更的各种设定被反映在相机主体控制器28中的各种处理中。

在相机主体控制器28中经图像处理的图像数据经由输入输出接口32被发送至计算机60C等。从数码相机10(相机主体控制器28)发送至计算机60C等的图像数据的格式并无特别限定，可设为RAW、JPEG、TIFF等任意格式。因此，相机主体控制器28可以如所谓的Exif(Exchangeable Image File Format)那样，将标题信息(摄影信息(摄影日期和时间、机种、像素数及F值等)等)、主图像数据和缩略图图像数据等多个相关数据相互建立对应关联来构成1个图像文件，并将该图像文件发送至计算机60C。

计算机60C经由相机主体14的输入输出接口32和计算机输入输出部62与数码相机10连接，并接收从相机主体14发送而来的图像数据等数据类。计算机控制器64统一控制计算机60C，对来自数码相机10的图像数据进行图像处理，并进行与经由互联网70等网络线路与计算机输入输出部62连接的服务器80等的通信控制。计算机60C具有显示器66，计算机控制器64中的处理内容等根据需要被显示于显示器66。用户一边确认显示器66的显示一边操作键盘等输入机构(省略图示)，从而能够向计算机控制器64输入数据和指令。由此，用户能够控制计算机60C或与计算机60C连接的设备类(数码相机10、服务器80)。

服务器80具有服务器输入输出部82及服务器控制器84。服务器输入输出部82构成与计算机60C等外部设备类的收发连接部，经由互联网70等网络线路与计算机60C的计算机输入输出部62连接。服务器控制器84根据来自计算机60C的控制命令信号，与计算机控制器64协同动作，并根据需要在与计算机控制器64之间进行数据类的收发，将数据类下载到计算机60C，并进行运算处理并将其运算结果发送至计算机60C。

各控制器(透镜单元控制器20、相机主体控制器28、计算机控制器64及服务器控制器84)具有控制处理所需的电路类，例如具备运算处理电路(CPU等)、存储器等。并且，数码相机10、计算机60C及服务器80之间的通信可以是有线的也可以是无线的。并且，可一体构成计算机60C和服务器80，并且也可省略计算机60C和/或服务器80。并且，也可以使数码相机10具有与服务器80进行通信的功能，而在数码相机10与服务器80之间直接进行数据类的收发。

＜点像复原处理＞

接着，对经由成像元件26获得的被摄体像的摄影数据(图像数据)的点像复原处理进行说明。

以下例子中，对在相机主体14(相机主体控制器28)中实施点像复原处理的例子进行说明，但也能够在其他控制器(透镜单元控制器20、计算机控制器64或服务器控制器84等)中实施点像复原处理的全部或一部分。

点像复原处理是对通过利用光学系统(透镜16、光圈17等)拍摄被摄体像而从成像元件26获取的原图像数据进行使用基于光学系统的点扩散函数的复原滤波器的点像复原处理，从而获取恢复图像数据的处理。

图3是表示从图像摄影至点像复原处理为止的概要的图。将点像作为被摄体来进行拍摄时，被摄体像经由光学系统(透镜16、光圈17等)被成像元件26(图像传感器)受光，并从成像元件26输出原图像数据Do。由于源自光学系统的特性的点扩散现象，该原图像数据Do成为原来的被摄体像模糊的状态的图像数据。

为了由模糊图像的原图像数据Do复原原来的被摄体像(点像)，对原图像数据Do进行使用复原滤波器F的点像复原处理P10，由此获得表示更接近原来的被摄体像(点像)的图像(恢复图像)的恢复图像数据Dr。

根据与获取原图像数据Do时的摄影条件相应的光学系统的点像信息(点扩散函数)，通过规定的复原滤波器计算算法P20获得点像复原处理P10中使用的复原滤波器F。光学系统的点像信息(点扩散函数)不仅会根据透镜16的种类而变动，还会根据光圈量、焦距、变焦量、像高、记录像素数、像素间距等各种摄影条件而变动，因此在计算复原滤波器F时，可获取这些摄影条件。图3中的符号α表示与摄影条件相应的点像信息(点扩散函数)(按光圈、焦距、像高)。

图4是表示点像复原处理的一例的框图。

点像复原处理P10为通过如上述那样使用复原滤波器F的滤波处理来从原图像数据Do创建恢复图像数据Dr的处理，例如由N×M(N及M为2以上的整数)的抽头(tap)构成的实际空间上的复原滤波器F被适用于处理对象的图像数据。由此，通过将分配给各抽头的滤波器系数和所对应的像素数据(原图像数据Do的处理对象像素数据和相邻像素数据)进行加权平均运算(反卷积运算)，能够计算出点像复原处理之后的像素数据(恢复图像数据Dr)。通过依次替换对象像素来将使用了该复原滤波器F的加权平均处理适用于构成图像数据的所有像素数据，由此能够进行点像复原处理。图4中的符号β表示适用于处理对象像素数据的抽头(滤波器系数)。

由N×M的抽头构成的实际空间上的复原滤波器能够通过对频率空间上的复原滤波器进行傅里叶逆变换来导出。因此，通过确定成为基础的频率空间上的复原滤波器并指定实际空间上的复原滤波器的构成抽头数，能够适当计算出实际空间上的复原滤波器。

接着，对有可能通过点像复原处理产生的画质上的弊端进行说明。

图5是表示被摄体像中的边缘部分(图像边界部分)的画质变化的一例的图，表示进行理想的点像复原处理(没有像素值的饱和且没有裁剪)的情况。图5的符号1051表示被摄体像原本所具有的对比度，符号1052表示点像复原处理之前的原图像数据Do中的对比度，符号1053表示点像复原处理之后的恢复图像数据Dr中的对比度。另外，图5的横方向(X方向)表示被摄体像中的位置(一维位置)，纵方向(Y方向)表示对比度的强弱。

被摄体像中的“具有对比度的差的边缘部分”(参考图5的符号1051)中，如上述那样具有摄影时的光学系统的点扩散现象的摄影图像(原图像数据Do)中产生图像模糊(参考图5的符号1052)，通过点像复原处理可获得恢复图像数据Dr(参考图5的符号1053)。

在点像复原处理中，当“实际的图像劣化特性(图像模糊特性)”与“成为所使用的复原滤波器的基础的点扩散函数(PSF等)”匹配时，图像被适当复原，能够获得边缘部分等被适当复原的恢复图像数据Dr(参考图5)。

然而，实际的点像复原处理中，有时也会存在“实际的图像劣化特性(图像模糊特性)”与“成为所使用的复原滤波器的基础的点扩散函数”并不完全匹配的情况。

图6是表示“实际的图像劣化特性(图像模糊特性)”与“成为所使用的复原滤波器的基础的点扩散函数”并不完全匹配时的原图像数据、恢复图像数据和伽马校正处理之后的图像数据的一例的图。图6中，横方向(X方向)表示图像中的位置(一维位置)，纵方向(Y方向)表示像素值。“实际的图像劣化特性(图像模糊特性)”与“成为所使用的复原滤波器的基础的点扩散函数”并不完全匹配时，有时会在对比度差比较大的边缘部分产生过冲(overshoot)(下冲(undershoot))(参考图6的符号1061和符号1062)。即使在产生该过冲(下冲)等画质劣化的例子中，只要是图像再现性和图像韧性(图像非失真性)优异的点像复原处理，则能够获取画质被恢复到不会看到画质劣化(不明显)的程度的恢复图像数据Dr。

然而，有时即使通过点像复原处理获得了恢复到画质劣化不明显的程度的恢复图像数据，但由于点像复原处理之后的其他处理(伽马校正处理等灰度校正处理等)强调恢复图像数据中的画质劣化而导致明显。

例如如图6所示，有时即使在由点像复原处理而产生的过冲(下冲)本身较小而其影响在视觉上并不特别明显的情况下，若在之后进行灰度校正处理(伽马校正处理)，则过冲(下冲)会被过于强调(参考图6的符号1063的“E1”和“E2”)。尤其阴影侧的过冲(下冲)部分通过之后的伽马校正处理而适用较大的增益(增幅率)，从而会在图像边缘部构成大幅偏向黑侧的部分(参考图6的符号1063的“E2”)。该现象并不限于点像复原处理，在对真数空间的图像数据进行轮廓校正处理的结果，在边缘部分产生过冲时也发生相同现象。

因此，将点像复原处理实际设计成图像处理流程的一部分时优选进行不仅考虑了点像复原处理本身，还考虑了与点像复原处理前后的处理有关的综合性的图像处理流程的设计。

＜点像复原处理、灰度校正处理＞

以下，对本发明的点像复原处理与灰度校正处理之间的关系进行说明。

图7～图10是例示图像处理部35(相机主体控制器28)中的各种图像处理流程的框图。图7表示在伽马校正处理(灰度校正处理)之后对亮度数据(Y)进行点像复原处理的例子，图8表示在伽马校正处理之后对RGB的颜色数据进行点像复原处理的例子。并且图9表示在伽马校正处理之前对RGB颜色数据进行点像复原处理的例子，图10表示在伽马校正处理之前对亮度数据(Y)进行点像复原处理的例子。

图7的例子中，若图像处理部35中输入有马赛克数据(RAW图像数据；原图像数据)，则依次进行“偏移校正处理441，调整图像的明度”、“WB校正处理442，调整图像的白平衡(WB)”、“去马赛克处理443，通过像素插值处理对所有像素获取RGB各颜色的颜色数据”、“伽马校正处理444(灰度校正步骤；伽马校正处理部33)，进行基于对数化处理的灰度校正来调整像素数据的灰度”、“亮度色差转换处理445，根据RGB颜色数据计算亮度数据(Y)及色差数据(Cb/Cr)”和“点像复原处理(复原处理步骤)446，对图像数据(亮度数据)进行使用了基于摄影中使用的光学系统的点扩散函数的复原滤波器的点像复原处理”。另外，颜色数据与拍摄获取马赛克数据(原图像数据)的成像元件26所具有的滤色器的颜色种类对应，能够通过公知的计算公式根据颜色数据计算出亮度数据和色差数据。

另一方面，图8的例子中，互换了图7的图像处理例中的亮度色差转换处理445与点像复原处理446的处理顺序。因此，图7的例子中，对伽马校正处理(灰度校正)444之后的原图像数据的亮度数据进行点像复原处理446，而在图8的例子中，对经伽马校正处理(灰度校正)444之后的原图像数据的RGB颜色数据进行点像复原处理446，之后计算出亮度数据和色差数据。

图9的例子中，互换了图8的图像处理例中的伽马校正处理444与点像复原处理446的处理顺序。因此，图8所示的例子中，在伽马校正处理444之后进行点像复原处理446，而在图9所示的例子中，在伽马校正处理444之前进行点像复原处理446。

图10的例子中，偏移校正处理441、WB校正处理442及去马赛克处理443与图7～图9的例子相同，但在去马赛克处理443之后进行亮度色差转换处理445a，在对亮度数据进行点像复原处理446之后进行根据亮度数据和色差数据计算出RGB颜色数据的颜色信号转换处理447。并且，对该RGB颜色数据依次进行伽马校正处理444及亮度色差转换处理445b，由此获取亮度数据和色差数据。

另外，图7～图10的每一个只是表示处理流程的一例的图，可根据需要在任意阶段进行其他处理，也可省略图7～图10所示的部分处理。

关于各种图像处理流程之间的点像复原处理效果的差异，“灰度校正处理(伽马校正处理)与点像复原处理”具有图11所示的关联性。

图11是表示的“灰度校正处理(伽马校正处理)”和“颜色数据/亮度数据”与点像复原处理的相关性的图。图11中，A表示效果大，B表示效果小～中，―表示没有效果或没有变化。

图11的“真数(灰度校正之前)”所示一栏表示对灰度校正处理(伽马校正处理)之前的图像数据(真数图像数据)进行点像复原处理时的图像特性(参考图9及图10)。并且，图11的“对数(灰度校正之后)”所示一栏表示对灰度校正处理(伽马校正处理)之后的图像数据(对数图像数据)进行点像复原处理时的图像特性(参考图7及图8)。并且，图11的“颜色数据(RGB)”所示一栏表示对颜色数据(RGB数据)进行点像复原处理时的图像特性(参考图8及图9)，“亮度数据(Y)”所示一栏表示对亮度数据进行点像复原处理时的图像特性(参考图7及图10)。

若比较真数的图像数据与对数的图像数据，则在理想系统中，真数图像数据(灰度校正之前图像数据)的点像复原与对数图像数据(灰度校正后图像数据)的点像复原相比，图像复原性更优异(参考图11的“理想系统中的复原性”)。

在此所说的理想系统是指充分满足用于进行适当的点像复原处理的条件的理想的系统，所述条件包括“点像复原处理中使用的复原滤波器的抽头数足够大”、“计算比特数足够大”、“光学系统的实际的模糊特性与图像处理部35所保持的光学系统模糊特性数据一致”、“输入图像数据(原图像数据)不包含像素值已饱和的饱和像素数据”等。

另一方面，在偏离理想系统的实际的处理系统中，通过实验确认到对数图像数据(灰度校正之后图像数据)的点像复原与真数图像数据(灰度校正之前图像数据)的点像复原相比，点像复原图像(恢复图像)中出现振铃等副作用的程度更小(参考图11的“偏离理想系统的系统中的亮度系统韧性(振铃程度等)”)。

在与理想系统不同的现实的处理系统中，与“对真数图像数据(真数空间上的图像数据)进行的点像复原处理”相比，在“对对数图像数据(对数空间上的图像数据)进行的点像复原处理”中出现的振铃等副作用较少，其原因之一为，在伽马校正处理(对数化处理中的灰度处理)之后的像素数据(图像数据)中，低亮度部的灰度被强调(被增强)而高亮度部的灰度未被强调。并且，通过点像复原处理，在图像的边缘(边界部)产生过冲(下冲)，该过冲(下冲)通过灰度校正而被强调，这也是使振铃等图像劣化明显的原因之一(参考图6)。

“对颜色数据(RGB数据)进行的点像复原处理”中，若如同设想那样(如所保持的劣化信息(光学系统的点扩散函数信息)那样)，RGB各颜色的颜色数据(颜色信号)被输入到具备复原处理部38(图15)的锐化恢复部36，则能够进行有效的颜色数据校正，与“对亮度数据(Y数据)进行的点像复原处理”相比，能够有效减少色差等(参考图11的“理想系统中的复原性”、“色彩系统校正能力”)。然而，实际的输入信号的动作与设想不一致时，在对颜色数据(RGB数据)进行的点像复原处理中，产生不必要的着色的部位增加而引起不自然的色彩明显等副作用(参考图11的“偏离理想系统的系统中的色彩系统韧性(着色程度、渗入程度等)”)。

关于处理规模(将处理系统硬件化时为处理电路的规模),也存在图11所示的差异。即，与真数图像数据(真数空间上的图像数据)相比，对数图像数据(对数空间上的图像数据)的点像复原处理的运算处理更简单，因此处理规模较小，较有利。并且，对颜色数据(RGB数据)进行的点像复原处理中，需要3个通道(3ch)量的处理系统，但对亮度数据(Y数据)进行的点像复原处理中，只要1个通道(1ch)量的处理系统即可，因此对亮度数据进行的点像复原处理的运算处理变得简单，能够使处理规模紧凑化。

因此，实际的图像处理系统中，优选依据图11所示的上述各种特性，构建与用户的需求相应的适当的系统。例如，“作为所输入的图像信号(图像数据)，输入各种类型的信号”、“在使处理系统硬件化时，尽可能设为小规模”、“无法保证实际的图像劣化信息与处理系统中保持的图像劣化信息完全一致”等，处理条件偏离理想处理系统时，与对真数的图像数据进行的点像复原处理相比，对对数的图像数据进行的点像复原处理的图像韧性(图像非失真性)更优异。因此，在实际的图像处理系统中，从提高图像韧性的观点考虑，优选在灰度校正处理(伽马校正处理)的后段实施点像复原处理。并且，若重视由图像处理引起的副作用的抑制和处理系统的小规模化，则与颜色数据相比，优选对亮度数据实施点像复原处理的图像处理系统，而若重视颜色再现性，则与亮度数据相比，优选对颜色数据实施点像复原处理的图像处理系统。

进行基于对数化处理的灰度校正(伽马校正处理)时，复原滤波器本身可由与对数化处理之前的图像数据对应的滤波器系数构成，也可由与对数化处理之后的图像数据对应的滤波器系数构成。

当对“灰度校正之后(对数化处理之后)的图像数据的像素值(对数的像素数据)”刻意使用“由与灰度校正之前(对数化处理之前)的像素值(真数的像素数据)对应的滤波器系数构成的复原滤波器”来进行恢复处理(点像复原处理)时，对于在恢复图像(复原图像)中产生的画质劣化(振铃等)的韧性得到提高，能够使得振铃在恢复图像上不明显。这是因为，在对数化处理之后的像素数据(图像数据)中，低亮度部的灰度被强调(被增强)而高亮度部的灰度未被强调。

图12是表示基于伽马校正处理(对数化处理中的灰度处理)的处理前数据与处理后数据之间的关系的一例的图(曲线图)。图12的横轴表示处理前数据(伽马校正处理输入数据“IN”)，纵轴表示处理后数据(伽马校正处理输出数据“OUT”)，曲线图中的实线表示伽马校正处理灰度曲线。

在通常的对图像数据进行的点像复原处理中，容易在视觉上识别由点像复原处理产生的效果的区域是对比度较低的区域，是在伽马校正处理灰度曲线中能够更近似于直线的“像素值的电平差比较小的区域”(参考图12的“A”)。另一方面，对比度较高的区域即在伽马校正处理灰度曲线中构成曲线部的“像素值的电平差比较大的区域”中，原本的对比度较高且模糊也难以被识别(参考图12的“B”)。

而且，若在对比度较高的区域中包含饱和像素的区域，对像素值为真数的像素数据(灰度校正之前的像素数据)进行点像复原处理，之后进行灰度校正(伽马校正处理、对数化处理)，则下冲/过冲(振铃)易变得明显。另一方面，对对数化处理之后的像素数据进行点像复原处理时，通过对数化处理，较高对比度被压缩，点像复原处理引起的振铃的强度降低。

即，对对数化处理之后的像素数据使用由与像素值为真数的像素数据对应的滤波器系数构成的复原滤波器来进行恢复处理(点像复原处理)，从而能够对通常易识别的低对比度区域毫不逊色地实施点像复原处理，而在通过点像复原处理而易产生振铃的高对比度区域中，能够降低振铃的强调程度。

尤其，当图像处理装置(摄影装置等)能够执行多种灰度校正(伽马校正处理)且保持多种伽马校正处理灰度曲线的数据时，在现有技术(参考专利文献2)中，需要按多种灰度校正中的每个灰度校正计算出像素信号值的变化量的限制值。然而，根据本方式，对灰度校正之后的像素数据施以点像复原处理，因此还无需进行与灰度校正的种类相应处理的切换。

图13和图14例示灰度校正(伽马校正处理)中的输入值(IN)与输出值(OUT)之间的关系(伽马校正处理灰度曲线)，图13表示选择风景摄影模式时使用的伽马校正处理灰度曲线的一例，图14表示选择人物摄影模式时使用的伽马校正处理灰度曲线的一例。数码相机10(参考图1)等摄影装置或图像处理装置中，当保持多种在灰度校正处理(伽马校正处理)中使用的伽马校正处理灰度曲线时，从所保持的伽马校正处理灰度曲线中选择与摄影模式相应的最适当的伽马校正处理灰度曲线。在该例子中对灰度校正(伽马校正处理)之前的图像数据进行点像复原处理时，需按每个灰度校正而求出点像复原处理的限制值，并根据伽马校正处理的种类切换点像复原处理(例如参考专利文献2)。然而，在对伽马校正处理之后的像素数据进行点像复原处理时，无需根据伽马校正处理的种类切换点像复原处理。因此，在无需切换处理的“对伽马校正处理之后的像素数据实施点像复原处理的例子”中，事先生成复原滤波器时，能够抑制所消耗的存储器容量，并且当按每个处理依次计算复原滤波器时，处理变得容易且能够抑制计算时间。

通常，PSF(点扩散函数)以线性输入为前提，由“线性系数”即“与真数的像素数据对应的滤波器系数”构成时也更容易生成基于该前提的复原滤波器。

由与伽马校正处理(灰度校正)之前的像素值对应的滤波器系数构成复原滤波器，由此能够减轻存储器、处理时间、开发/设计负荷等，在实用上非常有效且有用。

另一方面，对灰度校正之后(对数化处理之后)的像素值(对数的像素数据)，使用由与对数化处理之后的像素值(对数的像素数据)对应的滤波器系数构成的复原滤波器来进行恢复处理(点像复原处理)，由此能够提高针对由点像复原处理产生的振铃引起的画质劣化的韧性，能够使得所产生的振铃在图像上不明显。

即，当像素数据为灰度校正(对数化处理)之后的像素值(对数的像素数据)时，使用由与对数化处理之后的像素值(对数的像素数据)对应的滤波器系数构成的复原滤波器进行点像复原处理，由此能够准确地进行点像复原处理本身。该情况下，将点像复原处理的对象图像数据设为“灰度校正之后的原图像数据”，从而通过灰度校正(对数化处理)，较高对比度被压缩，且能够降低由点像复原处理而产生的振铃的强度。

在点像复原处理中使用的复原滤波器可预先生成，也可以对应于点像复原处理的执行而依次计算生成。从减少点像复原处理时的运算量的观点考虑，优选预先生成复原滤波器。并且，从使用适应性优异的复原滤波器的观点考虑，优选在执行点像复原处理时依次计算复原滤波器。

预先生成复原滤波器时，可根据通过对输入像素值(输入图像数据)进行对数化处理(伽马校正处理)来求出的像素值进行运算，由此求出复原滤波器的滤波器系数。生成复原滤波器时所使用的像素值可以是亮度值，也可以是与RGB颜色数据中代表性地被选择的一个通道有关的像素值(例如G像素值)。并且，生成复原滤波器时使用的像素值可以是主要被摄体的像素值，也可以是由整个画面的平均值求出的像素值。

点像复原处理可以是仅复原原图像数据的振幅成分来获得恢复图像数据的处理，也可以是复原原图像数据的振幅成分和相位成分来获得恢复图像数据的处理。即，能够根据光学系统的MTF(Modulation TransferFunction)/PTF(Phase Transfer Function)中的至少任意一个来计算出复原滤波器。另外，光学系统的模糊特性能够由所谓的光学传递函数(OTF：Optical Transfer Function)表达，对OTF进行傅里叶逆变换而获得的函数也被称为点像分布函数(PSF：点扩散函数)。MTF是OTF的绝对值成分，PTF将相位的偏离表示为空间频率的函数。因此，在点像复原处理中使用的复原滤波器能够根据光学系统的OTF(MTF/PTF)或PSF来适当设计。

如以上说明，本发明中对已进行经灰度校正的原图像数据适用由与对数化处理之前的原图像数据对应的滤波器系数构成的复原滤波器来进行点像复原处理。由此，能够防止振铃的产生引起的画质劣化。

另一方面，伽马校正等灰度校正为改变图像数据的特性的处理，因此“伽马校正之后的图像数据”与“摄影中使用的光学系统的点扩散函数”之间的匹配的偏离变得比较大。尤其，与低亮度侧相比，在高亮度侧(高亮侧)，“伽马校正之后的图像数据”与“光学系统的点扩散函数”之间的匹配的偏离易变大。如上所述，若对“伽马校正之后的图像数据”与“光学系统的点扩散函数”之间的匹配的偏离较大的部位进行点像复原处理，反而会因过校正等而导致画质劣化。

因此，对如通过进行点像复原处理反而导致画质劣化的图像数据或图像数据的区域(或图像数据的像素值)，为了防止这种图像劣化，有时必须减弱点像复原处理的复原强度。并且，在能够切换点像复原处理的开启和关闭的图像处理系统中，通过关闭点像复原处理，也能够防止这种图像劣化。

并且，即使在减弱复原强度的情况下或关闭点像复原处理的情况下，也能够进行未考虑透镜的光学特性(PSF、OTF)或维纳滤波器设计基准而设计的“根据与PSF不同的基准确定的图像处理”。作为该“根据与PSF不同的基准确定的图像处理”，例如有基于设计者的主观评价的图像处理、基于用户嗜好的画质微调、考虑了透镜个体的偏差的由用户进行的清晰度微调等。

在此，若对“点像复原处理开启图像”和“点像复原处理关闭图像(“根据与PSF不同的基准确定的图像处理”开启图像)”进行比较，则“点像复原处理关闭图像”比“点像复原处理开启图像”更有可能产生清晰度变强的现象。这是因为，虽然处理内容上妥当，但尽管是已进行点像复原处理(画质恢复处理)的图像，其清晰度仍弱于未进行点像复原处理的图像，因此有可能给用户带来实际图像的画质与直觉之间的不一致感。并且，也会有“点像复原处理开启图像”与“点像复原处理关闭图像”之间的清晰度的背离变得过大的情况，从而可能会使用户感到操作不便。并且，以避免画质劣化等目的而改变复原强度来进行点像复原处理时也会带来相同的不便，清晰度在已进行点像复原处理的图像之间有所偏差，导致给用户带来违和感。

因此，本发明中，为了防止实施了不同复原强度的点像复原处理的图像之间的画质锐度的偏差或“点像复原处理开启图像”与“点像复原处理关闭图像”之间的画质锐度的背离，控制点像复原处理和“根据与PSF不同的基准确定的图像处理”(例如锐化处理)。以下，对点像复原处理和锐化处理进行说明。

＜点像复原处理、锐化处理＞

图15是表示图像处理部35的结构例的框图。

本例的图像处理部35具有伽马校正处理部(灰度校正部)33、锐化恢复控制部37、复原处理部38、轮廓强调处理部(锐化处理部)39及亮度信息获取部40。

复原处理部38对通过利用光学系统(透镜16等)拍摄被摄体而从成像元件26获取的图像数据进行使用基于点扩散函数的复原滤波器的复原处理(复原处理步骤)。复原滤波器为用于恢复PSF劣化的滤波器，例如能够将维纳滤波器作为复原滤波器而适当使用。

轮廓强调处理部39对图像数据进行使用不基于点扩散函数的锐化滤波器的锐化处理(锐化处理步骤)。锐化滤波器只要不是直接反映点扩散函数的滤波器，则并无特别限定，能够使用公知的轮廓强调滤波器作为锐化滤波器。

另外，关于各个复原滤波器和锐化滤波器，可在整个图像中准备单一滤波器，也可准备按图像内的每个位置(每个像高)而不同的滤波器。

锐化恢复控制部37控制复原处理部38和轮廓强调处理部39，并调整基于复原处理的图像数据的复原率和基于锐化处理的图像数据的锐化率。关于该复原率和锐化率的调整，本例的锐化恢复控制部37获取基于复原率和锐化率的总锐化复原率，且获取复原率和锐化率中的一个，并根据总锐化复原率计算出复原率和锐化率中的另一个。

亮度信息获取部40获取基于通过拍摄获取的图像数据(原图像数据)的原图像的亮度信息。在此，亮度信息为包含与原图像的亮度有关的各种信息的概念。例如，亮度信息为每个像素的亮度值、亮度值的分布、根据亮度值获得的饱和像素的信息、摄影曝光信息、亮度值的直方图或亮度值的直方图的中央值等。通过亮度信息获取部40获取的亮度信息发送至锐化恢复控制部37。锐化恢复控制部37根据亮度信息调整复原率和锐化率。

除了锐化处理以外还进行点像复原处理时，根据现有方法，由于锐化复原强度变得过强而导致图像的过校正等，有可能损坏画质。因此，进行锐化处理和点像复原处理双方时，与仅进行锐化处理或仅进行点像复原处理时相比，优选减弱锐化处理中的锐化强度或点像复原处理中的复原强度。

并且，点像复原处理有时根据摄影场景(被摄体)的不同而因误校正而导致伪影(振铃等)等。并且，根据摄影条件使用不同的复原滤波器时，有时在点像复原处理之后的图像的复原率或解像感(锐度)产生偏差。若进行锐化处理，则这些误校正或图像的锐度的偏差会更显著。

以下的实施方式涉及即使在组合了点像复原处理和锐化处理的情况下也能有效地防止上述过校正或误校正，并恢复因光学系统的点扩散现象而受损的画质从而获得鲜明的图像的技术。

图16是用于说明点像复原强度和锐化强度的调整的示意图。图16的“总锐化复原强度(总锐化复原率)”为根据所希望的画质确定的最终锐度目标强度值，其直接或间接地表示对图像处理整体的输入与输出的大小的比例。本例的“总锐化复原强度(总锐化复原率)”可根据摄影设定条件(光学特性信息)发生变动，但若摄影设定条件被确定，则成为恒定值。在此所说的摄影设定条件中，例如可包括透镜、光圈、变焦、被摄体距离、灵敏度、摄影模式等各种摄影条件和设定条件。并且，“点像复原强度”为基于点像复原处理的复原强度，根据摄影设定条件(光学特性信息)确定。并且，“锐化强度”为基于锐化处理的锐化的强度。

这些总锐化复原强度、点像复原强度和锐化强度为表示各个图像处理前后的图像变化程度的指标，依照能够适当地表示图像的变化程度的任意基准而确定。因此，当点像复原处理和锐化处理分别包括滤波器适用处理和增益控制处理时，“滤波器适用处理和增益控制处理”的前后变化通过点像复原强度和锐化强度表示。

例如，设想并行进行点像复原处理与锐化处理，“基于点像复原处理的图像复原的程度(点像复原强度)”和“基于锐化处理的图像锐化程度(锐化强度)”根据“总锐化复原强度”确定的情况。该情况下，“点像复原强度+锐化强度＝总锐化复原强度”的关系成立，且锐化强度与点像复原强度的增减量相应地增减，图16所示的点像复原强度与锐化强度之间的边界位置(B)会发生变动。因此，例如，若确定总锐化复原强度和点像复原强度，则能够根据二者计算出最佳锐化强度。同样地，若确定总锐化复原强度和锐化强度，则能够根据二者计算出最佳点像复原强度。

另外，图16只是为了便于理解而直观显示的示意图，并不表示在进行点像复原处理和锐化处理的处理系统中“点像复原强度+锐化强度＝总锐化复原强度”的关系始终成立。例如，串行进行点像复原处理与锐化处理的情况下，根据点像复原强度与锐化强度之积确定总锐化复原强度。因此，以下实施方式中，以“基于点像复原强度和锐化强度二者的频率增幅率”与“基于总锐化复原强度的频率增幅率”一致的方式确定点像复原强度和锐化强度。

例如，能够优先设定点像复原强度，并根据该设定的点像复原强度调整锐化强度。该情况下，能够以高精度进行与光学系统(透镜16等)的PSF相应的点像复原处理。并且，点像复原处理为细腻的处理，若基础参数不正确，则易导致过校正等弊端，但通过优先确定点像复原强度，可有效地防止过校正等弊端。

另一方面，还能够优先设定锐化强度，并根据该设定的锐化强度调整点像复原强度。该情况下，优先进行弊端较少且稳定的处理即锐化处理。优先进行该锐化处理的例子适于使用光学特性优异且具有精度的光学系统(透镜16等)进行摄影的情况、摄影场景为夜景或人像的情况、进行艺术滤镜处理的情况、很难获得由点像复原处理产生的效果的情况、易出现由点像复原处理引起的弊端的情况等。

点像复原强度和锐化强度的调整能够根据各种基准进行，例如以特定频率或特定图像位置(像高位置)中的频率增幅率相同的方式确定总锐化复原强度。

通过如此设定总锐化复原强度来调整点像复原强度和锐化强度，能够抑制接受了点像复原处理和锐化处理的图像的锐度(复原率和解像感)的偏差，并提高输出图像的综合性画质。

以下对与点像复原强度和锐化强度的调整有关的具体实施方式进行说明。

＜第1实施方式＞

图17是表示进行第1实施方式所涉及的点像复原处理和锐化处理的处理块的结构的图。

本实施方式所涉及的锐化恢复控制部37获取点像复原处理中的复原率，根据总锐化复原率和复原率计算出锐化处理中的“锐化率”。并且，本实施方式所涉及的锐化恢复控制部37根据亮度信息调整点像复原处理中的复原率和锐化处理中的锐化率。

本实施方式的图像处理系统模型中，“用于点像复原处理的信号处理块”与“任意的用于清晰度强调处理的信号处理块”串联连接(级联结合)，两个信号处理块中能够连续地调整信号强度。即，复原处理部38和轮廓强调处理部39串联设置，图像数据(原图像数据)在接受点像复原处理和锐化处理中的一个处理(图17所示的例子中为“点像复原处理”)之后接受另一个处理(图17所示例子中为“锐化处理”)。另外，本实施方式中，对“用于点像复原处理的信号处理块”与“任意的用于清晰度强调处理的信号处理块”串联连接(级联结合)的例子进行说明，但并不限定于此。例如，“用于点像复原处理的信号处理块”与“任意的用于清晰度强调处理的信号处理块”可并联连接。

复原处理部38包含点像复原滤波器处理部42、复原乘法器43及复原加法器44。点像复原滤波器处理部42将与光学系统(透镜16等)的点扩散函数对应的复原滤波器适用于输入图像数据(原图像数据)。复原乘法器43对点像复原滤波器处理部42中获得的图像数据乘以复原强度倍率U，并进行增益控制。复原加法器44对输入图像数据乘以倍率(1-U)，并与已乘以复原强度倍率U的图像数据进行相加。点像复原处理由这些点像复原滤波器处理部42、复原乘法器43及复原加法器44中的一系列处理构成。

另外，复原处理部38能够通过任意方法将复原强度倍率U反映在图像数据中，本实施方式及其他实施方式中，可代替上述方法采用与上述方法等价的其他方法。点像复原滤波器处理部42中将与光学系统的点扩散函数对应的复原滤波器适用于输入图像数据之后，计算出图像的增减量数据，在复原乘法器43中进行增减量数据的增益控制，并进行增减量数据与复原强度倍率U的相乘。之后，可利用复原加法器44进行输入到点像复原滤波器处理部42之前的图像数据(输入图像)与已乘以复原强度倍率U的增减量数据的相加。

轮廓强调处理部39包含轮廓强调滤波器处理部46、锐化乘法器47及锐化加法器48。本例中，点像复原处理之后的图像数据作为输入图像数据而输入到轮廓强调滤波器处理部46。轮廓强调滤波器处理部46将锐化滤波器(轮廓强调滤波器)适用于输入图像数据。锐化滤波器通过任意方法确定，轮廓强调滤波器处理部46可使用单一的锐化滤波器，也可将从多个滤波器中适当选择的滤波器用作锐化滤波器。锐化乘法器47对在轮廓强调滤波器处理部46中获得的图像数据乘以锐化强度倍率V，并进行增益控制。锐化加法器48对输入图像数据乘以倍率(1-V)，并与已乘以锐化强度倍率V的图像数据进行相加。锐化处理由这些轮廓强调滤波器处理部46、锐化乘法器47及锐化加法器48中的一系列处理构成。

另外，与复原强度倍率U的反映方法同样地，轮廓强调处理部39能够通过任意方法将锐化强度倍率V反映在图像数据中，本实施方式及其他实施方式中，可代替上述方法采用与上述方法等价的其他方法。例如，轮廓强调滤波器处理部46中将锐化滤波器(轮廓强调滤波器)适用于输入图像数据之后，计算出图像的增减量数据，在锐化乘法器47中进行增减量数据的增益控制，并进行增减量数据与锐化强度倍率V的相乘。之后，可利用锐化加法器48，进行输入到轮廓强调滤波器处理部46之前的图像数据(输入图像)与已乘以锐化强度倍率V的增减量数据的相加。

锐化恢复控制部37包含强度自动调整部52、复原滤波器选择部53及轮廓强调强度选择部54。复原滤波器选择部53根据摄影设定条件S(变焦段、F值、被摄体距离等)，从复原滤波器存储部58选择基于在图像数据的摄影中使用的光学系统(透镜16等)的点扩散函数的复原滤波器X。然后，复原滤波器选择部53将所选择的复原滤波器X发送至强度自动调整部52和复原处理部38的点像复原滤波器处理部42。点像复原滤波器处理部42将从复原滤波器选择部53发送而来的复原滤波器X适用于输入图像。

另一方面，轮廓强调强度选择部54从轮廓强调强度列表存储部60中选择与摄影设定条件S对应的锐化强度倍率(轮廓强调强度)V0，并将该所选择的锐化强度倍率V0发送至强度自动调整部52。本例中，由轮廓强调强度选择部54选择的锐化强度倍率V0为在复原处理部38(点像复原滤波器处理部42)中实际未进行点像复原处理时的锐化强度倍率。

该“实际未进行点像复原处理时的锐化强度倍率”相当于总锐化复原率(总锐化复原强度)。即，本例中，点像复原强度与锐化强度由总锐化复原强度确定(参考图16)，未进行点像复原处理时的总锐化复原强度仅由锐化强度确定。因此，获取未进行点像复原处理时的锐化强度倍率作为锐化强度倍率V0并供给至强度自动调整部52的本例的轮廓强调强度选择部54实际上将总锐化复原率(总锐化复原强度)供给至强度自动调整部52。

复原滤波器存储部58按每个摄影设定条件存储基于多个光学系统(透镜16等)的点扩散函数的多个复原滤波器。轮廓强调强度列表存储部60按每个摄影设定条件存储轮廓强调强度，尤其在本例中，关闭点像复原处理时的锐化强度倍率V0(最大轮廓强调强度)存储于轮廓强调强度列表存储部60。另外，复原滤波器存储部58及轮廓强调强度列表存储部60可设置在相机主体14，也可设置在透镜单元12。

强度自动调整部52根据来自复原滤波器选择部53的复原滤波器X和来自轮廓强调强度选择部54的锐化强度倍率V0，确定与点像复原恢复率(复原率)G相应的复原强度倍率U和锐化强度倍率V(其中，满足“复原强度倍率U≥0”及“锐化强度倍率V≥0”)。然后，强度自动调整部52将所确定的复原强度倍率U发送至复原乘法器43，并将锐化强度倍率V发送至锐化乘法器47。复原强度倍率U和锐化强度倍率V分别为复原处理部38和轮廓强调处理部39中的强度调整参数，复原乘法器43和锐化乘法器47使用从强度自动调整部52发送而来的复原强度倍率U和锐化强度倍率V进行相乘处理。

另外，强度自动调整部52获取分别被点像复原滤波器处理部42和轮廓强调滤波器处理部46使用的滤波器的频率特性。例如，被点像复原滤波器处理部42使用的复原滤波器X从复原滤波器选择部53发送至强度自动调整部52。并且，被轮廓强调滤波器处理部46使用的锐化滤波器也由强度自动调整部52通过任意方法获取。例如，当被轮廓强调滤波器处理部46使用的锐化滤波器被固定时，强度自动调整部52可通过预先存储该锐化滤波器的频率特性来获取。并且，可将所使用的锐化滤波器从轮廓强调滤波器处理部46发送至强度自动调整部52，并且强度自动调整部52分析所接收的锐化滤波器来获取锐化滤波器的频率特性。强度自动调整部52根据后述的总锐度评价值确定复原强度倍率U和锐化强度倍率V时，考虑被点像复原滤波器处理部42和轮廓强调滤波器处理部46使用的滤波器的频率特性。具体而言，强度自动调整部52在总锐度评价值中反映各滤波器的频率特性，并根据反映了滤波器的频率特性的总锐度评价值，确定复原强度倍率U和锐化强度倍率V。

强度自动调整部52中的复原强度倍率U和锐化强度倍率V的确定例如能够根据以下流程进行。

首先，由相机主体控制器28获取摄影设定条件S，由复原滤波器选择部53选择与该摄影设定条件S对应的复原滤波器X。并且，由轮廓强调强度选择部54根据摄影设定条件S选择关闭点像复原处理时的锐化强度倍率V0。

复原滤波器X设计成利用最小二乘基准将基于与摄影设定条件S对应的光学系统(透镜16等)的PSF的图像劣化的程度最小化，复原滤波器X的理想的频率特性能够根据维纳滤波器特性设计。本例中，确定复原滤波器X的理想的频率特性之后，反映了该频率特性的FIR滤波器作为复原滤波器X而被确定。另外，复原滤波器X可以是实际空间滤波器和频率空间滤波器中的任意一个，当通过由多个抽头构成的实际空间滤波器构成复原滤波器X时，优选将在能够通过所希望的抽头数实现理想的频率特性的范围内近似于最佳的FIR滤波器作为复原滤波器X。并且，通常，PSF的形状根据像高而不同，因此优选复原滤波器X根据图像内的像高具有不同的频率特性。因此，由根据图像内位置确定的多个复原滤波器构成的组在广义上称为“复原滤波器X”，将适用于图像内的坐标(i,j)的位置(像素)的复原滤波器标记为“X_i,j”。

如上所述，复原滤波器X根据图像数据的摄影中的摄影设定条件S确定，该摄影设定条件S可包含“影响点扩散函数的设定条件”及“不影响点扩散函数的摄影条件”。“设定条件”例如可包含光圈信息、变焦信息、被摄体距离信息及光学系统所具有的透镜种类信息中的至少任意一个。并且，“摄影条件”可包含摄影灵敏度信息和摄影模式信息中的至少任意一个。

另外，摄影设定条件S能够通过任意方式输入至复原滤波器选择部53和轮廓强调强度选择部54，从相机主体控制器28的设备控制部34和图像处理部35中管理摄影设定条件S的控制处理部(未图示)向复原滤波器选择部53和轮廓强调强度选择部54适当发送摄影设定条件S。

另一方面，点像复原恢复率G在复原处理部38和轮廓强调处理部39中的图像处理之前预先由用户指定。由用户进行的点像复原恢复率G的指定方法并无特别限定，例如，能够将用于指定点像复原恢复率G的滑块等调整机构显示在用户界面29(背面显示部等)，且用户经由该调整机构进行操作来简单地确定点像复原恢复率G。该点像复原恢复率G为用于控制基于复原乘法器43的点像复原处理的复原强度倍率U的基础数据。例如，除了点像复原恢复率G的值大于规定阈值的情况，复原强度倍率U与点像复原恢复率G相等(复原强度倍率U＝点像复原恢复率G)。点像复原恢复率G为0(零)时，相当于点像复原处理设定为关闭的情况。该点像复原处理中的复原强度倍率U可以以取连续的值的方式变化，也可以以取离散的值的方式变化，也可以根据开启/关闭(是规定倍率还是“0(零)”)而变化，能够装配可通过任意方式改变复原强度倍率U的处理线路等。

点像复原恢复率G的确定方法并不限定于用户的指定，也可根据任意信息计算确定点像复原恢复率G。即，锐化恢复控制部37(强度自动调整部52)可根据用户指定的指定恢复率确定点像复原恢复率(复原率)G，也可使用根据表示光学系统的特性的光学特性信息确定点像复原恢复率G。在此所说的“光学特性信息”可包含光学系统所具有的透镜16的种类信息、光学系统的个体差异信息、其他摄影设定条件等。并且，反映了光学系统的光学特性的点像复原恢复率G本身也可包含于“光学特性信息”中。该光学特性信息存储于任意存储部，例如，光学特性信息可存储于透镜单元12的存储部(光学系统存储部)，光学特性信息也可存储于相机主体14的存储部(主体存储部)。因此，锐化恢复控制部37(相机主体控制器28)等中，点像复原恢复率G也可根据存储于存储部(光学系统存储部、主体存储部)的光学特性信息而确定。

并且，点像复原恢复率G的值可依赖于摄影设定条件S，也可由锐化恢复控制部37(相机主体控制器28)等选择根据摄影设定条件S而不同的值的点像复原恢复率G。该情况下，例如，为了抑制依赖于F值而产生程度发生变化的伪影，可有意地在特定的F值(摄影设定条件S)中相对较低地设定点像复原恢复率G。

并且，亮度信息Q为与由亮度信息获取部40获取的输入图像(原图像数据)的亮度有关的信息。强度自动调整部52从亮度信息获取部40获取亮度信息Q，并根据亮度信息Q调整后述的计算出的复原强度倍率U和锐化强度倍率V。

将轮廓强调滤波器处理部46中使用的滤波器(用于提取锐化处理中的轮廓强调成分的滤波器)的频率特性设为将复原滤波器X_i,j(用于提取点像复原处理中的复原成分的滤波器)的频率特性设为“x_i,j(ω_x,ω_y)”。该情况下，组合了复原处理部38和轮廓强调处理部39(点像复原处理和锐化处理)的图17所示的整个图像处理系统的频率特性由以下式1表示。

[数式1]

(式1) F(ω_x，ω_y|U，V，x_i，j)＝[1+U×x_i，j(ω_x，ω_y)]×[1+V×φ(ω′_x，ω_y)]

“F(ω_x，ω_y|U，V，x_i，j)”表示将复原强度倍率U、锐化强度倍率V、频率特性x_i，j作为参数的关于(ω_x，ω_y)(与x方向和y方向有关的频率)的函数，该函数依赖于图像处理系统的结构而确定。

另一方面，点像复原处理的强度调整(复原乘法器43中使用的复原强度倍率U的确定)以将由以下的式2定义的总锐度评价值(总锐化复原率)C(U，V，x_i，j)保持为恒定值的方式实施。

[数式2]

(式2)

其中“w_i，j(ω_x，ω_y)”为按每个图像内位置(像素位置)(i，j)定义的任意的权重函数，总锐度评价值(总锐度评价函数)C(U，V，x_i，j)由系统整体的频率特性的加权运算定义。权重函数w_i，j(ω_x，ω_y)优选设计成视觉上显著的频率成分和/或在图像内位置较大的值。通过使用根据上述式2定义的总锐度评价值C(U，V，x_i，j)，即使改变点像复原处理的强度，所关注的频带和/或图像内位置中频率强调的程度也不发生变化，且不会产生锐度的较大背离。另一方面，权重函数w_i，j(ω_x，ω_y)比较小的频带和/或图像内位置中，基于点像复原处理的画质的差异易变得明显。

根据上述内容，能够如下确定复原强度倍率U和锐化强度倍率V的值。即，根据输入至强度自动调整部52的点像复原恢复率G，由单调递增函数确定复原强度倍率U的值，之后，以总锐度评价值C(U，V，x_i，j)保持为恒定值的方式确定锐化强度倍率V的值。因此，强度自动调整部52以如下方式实施调整：若复原强度倍率U的值增大，则锐化强度倍率V的值减小；若复原强度倍率U的值减小，则锐化强度倍率V的值增大。但是，若复原强度倍率U的值过大，则即使将锐化强度倍率V的值设为“0”，也可能会发生无法将总锐度评价值C(U，V，x_i，j)保持为恒定的情况。即，能够将总锐度评价值C(U,V,x_i,j)保持恒定的复原强度倍率U的范围有可能存在限制。

若将复原强度倍率U的上限值标记为“U_MAX”，则总锐度评价值C(U,V,x_i,j)满足“C(U_MAX，0,x_i,j)＝C(0，V0，x_i,j)”的关系，因此复原强度倍率U的最大值限制为以下式3所示。

[数式3]

(式3)

上述式3表示如下情况：当点像复原恢复率G为复原强度倍率U的上限值U_MAX以下时，将点像复原恢复率G设定为复原强度倍率U(U＝G)；当点像复原恢复率G超过复原强度倍率U的上限值U_MAX时，将复原强度倍率U的上限值U_MAX设定为复原强度倍率U(U＝U_MAX)。

锐化强度倍率V的值在图17的图像处理系统中，通过寻找总锐度评价值满足“C(U,V,x_i,j)＝C(0,V0,x_i,j)”的关系的锐化强度倍率V来计算出。这等于求解一次方程式的情况，强度自动调整部52可轻松地求出锐化强度倍率V。锐化强度倍率V的计算的难易度依赖于系统整体的频率特性Fa(ω_x,ω_y|U,V,x_i,j)的定义。当该频率特性Fa(ω_x,ω_y|U,V,x_i,j)为非线性函数而很难寻找使上述等式严密成立的锐化强度倍率V时，可制定采用使总锐度评价值C(U,V,x_i,j)最接近总锐度评价值C(0,V0,x_i,j)的锐化强度倍率V。

通过上述的一系列处理，能够计算将总锐度评价值C(U,V,x_i,j)保持为恒定的复原强度倍率U和锐化强度倍率V。

如上所述，根据总复原锐度(总锐度评价值)确定复原强度倍率U和锐化强度倍率V，因此抑制经点像复原处理和锐化处理的图像(输出图像)的锐度的偏差，能够使输出图像中的综合性分辨率和画质稳定。

尤其，通过以视觉上主要的频带和/或图像内位置的加权变大的方式确定总锐度评价值，视觉上主要的频带和/或图像内位置的复原强度和锐化强度被恒定，防止锐度的背离变得过大。

并且，点像复原处理能够实现与光学系统的PSF相应的高精度的图像恢复处理，但根据摄影场景和摄影条件容易产生伪影，对画质的影响度较高。因此，通过如本实施方式那样优先设定点像复原处理的复原强度倍率U(复原率)，能够有效地提高综合性分辨率和画质。例如，通过较低地设定复原率(点像复原恢复率G、复原强度倍率U)，能够使得有可能根据摄影场景等而产生的伪影和振铃不明显，另一方面，也能够通过锐化处理提高锐度。

并且，2个图像处理(点像复原处理和锐化处理)的强度调整参数的控制通常需要“两个变量(复原强度、锐化强度)”的控制，控制的自由度为“2”。然而，根据本实施方式所涉及的强度调整处理，所需要的控制的自由度为“1”，仅确定点像复原恢复率G就能够确定适当的复原强度和锐化强度(复原强度倍率U和锐化强度倍率V)。

＜与亮度信息相应的复原率和锐化率的调整＞

本发明的实施方式中，进一步根据亮度信息Q调整如上述那样求出的复原强度倍率U和锐化强度倍率V。即，强度自动调整部52根据原图像的亮度信息Q，增大或减小复原强度倍率U，或者增大或减小锐化强度倍率V。以下，对强度自动调整部52根据亮度信息Q调整复原强度倍率U和锐化强度倍率V的具体例进行说明。

(第1例)

第1例中，强度自动调整部52根据亮度信息Q即“构成原图像的每个像素的亮度值和亮度值的分布”，调整复原强度倍率U和锐化强度倍率V。

图18是说明按原图像W的每个区域调整复原强度倍率U和锐化强度倍率V的示意图。原图像W具有5×5的等分区域r。并且，原图像W具有“根据区域r内的像素值求出的区域r的亮度值”较高的区域r(以符号1r表示)[以下，记为区域r(符号1r)]。另外，“根据区域r内的像素值求出的区域r的亮度值”能够通过各种方法求出。例如，“根据区域r内的像素值求出的区域r的亮度值”能够设为根据区域r内的像素值求出的亮度值的总和，也能够设为区域r内的像素值的平均。

亮度信息获取部40获取与区域r(符号1r)有关的信息作为原图像W的亮度信息Q。例如，亮度信息Q为区域r(1r)的亮度值或原图像W中的区域r(1r)的位置信息等。而且，亮度信息获取部40将所获取的亮度信息Q发送至强度自动调整部52。

例如，强度自动调整部52根据发送而来的亮度信息Q，减小复原强度倍率U而增大锐化强度倍率V。即，强度自动调整部52将对原图像W的区域r(1r)的复原倍率调整为小于复原强度倍率U，将对原图像W的区域r(1r)的锐化强度倍率调整为大于锐化强度倍率V。该情况下，强度自动调整部52以将总锐化复原强度保持为恒定的方式，根据亮度信息Q调整复原强度倍率U和锐化强度倍率V。

如此，强度自动调整部52根据亮度信息Q按原图像W的每个区域r调整复原强度倍率U和锐化强度倍率V，从而本方式能够防止因对亮度值较高的区域[区域r(1r)]的复原处理而产生的画质劣化。

图19是说明按原图像W的每个像素调整复原强度倍率U和锐化强度倍率V的示意图。原图像W由10×10的像素p构成。并且，原图像W具有亮度值较高的像素p(以符号1p～4p表示)。另外，图19为用于进行说明的图，构成图中所示图像的像素的个数少于实际图像。

亮度信息获取部40获取与亮度值较大的像素有关的信息作为原图像W的亮度信息Q。之后，亮度信息获取部40将所获取的亮度信息Q发送至强度自动调整部52。例如，亮度信息Q为亮度值较高的像素的位置信息或每个像素的亮度值的分布等。并且，亮度信息Q可设为根据亮度值获得的饱和像素的信息(饱和像素的位置信息等)。另外，在此，饱和像素是指表示像素值(亮度值)的最大灰度数像素，例如8bit数据中的255。

强度自动调整部52与上述的按每个区域调整复原强度倍率U和锐化强度倍率V情况相同地根据亮度信息Q调整复原强度倍率U和锐化强度倍率V。并且，当像素是具有如饱和像素那样非常高的亮度值的像素时，强度自动调整部52也能够设为“不进行复原处理”。该情况下，强度自动调整部52以将总锐化复原率保持为恒定的方式调整锐化率。

如此，强度自动调整部52根据亮度信息Q调整每个像素的亮度值的复原强度倍率U和锐化强度倍率V，从而能够防止因对亮度值较高的像素进行的复原处理而产生的画质劣化。并且，强度自动调整部52以将总锐化复原率保持为恒定的方式进行复原率和锐化率的调整，因此可抑制图像模糊等中产生违和感。

(第2例)

第2例中，强度自动调整部52可根据亮度信息Q即“饱和像素的信息”，调整对饱和像素和位于饱和像素周边的像素的像素值的复原强度倍率U和锐化强度倍率V中的至少一个。

图20是对饱和像素及位于饱和像素周边的像素中的复原强度倍率U和锐化强度倍率V的调整进行说明的示意图。图20中，图19的原图像W的像素p(符号1p～4p)表示为饱和像素，位于饱和像素(1p～4p)周边的像素用斜线表示。

亮度信息获取部40获取饱和像素的信息作为亮度信息Q。并且，亮度信息获取部40可获取位于饱和像素周边的像素的亮度值作为亮度信息Q。作为位于饱和像素周边的像素的范围，可设为复原滤波器的抽头数的两倍左右的像素区域的范围，并且，可适用于复原滤波器的抽头数的像素区域的范围，而且还可设定为复原滤波器的抽头数的一半的像素区域的范围。

强度自动调整部52根据发送而来的亮度信息Q减小复原强度倍率U并增大锐化强度倍率V。即，强度自动调整部52根据饱和像素的信息，调整对饱和像素(1p～4p)及位于饱和像素周边的像素的像素值的复原强度倍率U和锐化强度倍率V中的至少一个。例如，强度自动调整部52对于饱和像素(1p～4p)的像素值，将复原强度倍率U调整为1/3，对于位于饱和像素(1p～4p)周边的像素的像素值，将复原强度倍率U调整为2/3。该情况下，强度自动调整部52以将总锐化复原率保持为恒定的方式调整锐化强度倍率V。并且，强度自动调整部52对锐化强度倍率V也可同样进行调整。

如此，复原强度倍率U和锐化强度倍率V得到调整，从而能够实现不会对图像模糊等变化感到违和感的平滑的图像处理。

(第3例)

第3例中，强度自动调整部52根据亮度信息Q即“亮度值的直方图”或“亮度值的直方图的中央值”，调整复原强度倍率U和锐化强度倍率V。即，第3例中，强度自动调整部52根据拍摄原图像的摄影场景，调整复原强度倍率U和锐化强度倍率V。以下，对基于摄影场景的复原强度倍率U和锐化强度倍率V的调整进行说明。

当图像数据(摄影场景)偏向整体较明亮的高亮度侧时，整个图像中高亮度区域所占的比例相对变大，与光学系统的点扩散函数的匹配偏离较大的图像区域增大。因此，对偏向高亮度侧的图像数据进行的点像复原处理中，产生过校正等的区域相对增加，整个图像的画质降低易明显。

如此，整体上偏向高亮度侧的场景的图像数据且伽马校正处理之后的图像数据中，对点扩散函数的匹配偏离较大的高亮度侧的像素比率较大。若对这种图像数据适用基于对点扩散函数的匹配偏离较大的“与真数(伽马校正处理之前的图像数据)对应的复原滤波器”的点像复原处理，则点像复原处理引起的画质劣化更易明显。此外，这种图像数据中低亮度侧的像素比例较少，因此有时会导致基于“对伽马校正处理之后的图像数据使用与伽马校正处理之前的图像数据对应的复原滤波器的点像复原处理”的有益效果减弱。

图21是表示包括第3例中的复原处理的图像处理的流程的流程图。在复原处理之前，对原图像数据进行图像处理部35(伽马校正处理部33)中的伽马校正处理(图21的S11：灰度校正步骤)。伽马校正处理之后的原图像数据被输入至锐化恢复部36，由亮度信息获取部40获取伽马校正处理之后的原图像数据的亮度值的直方图(S12：亮度信息获取步骤)。

而且，锐化恢复控制部37的强度自动调整部52根据亮度信息Q即“原图像数据的亮度值的直方图”或“亮度值的直方图的中央值”，判别伽马校正处理之后的原图像数据是否满足高亮度场景(高亮场景)的亮度状态(S13)。

在此所说的“高亮度场景的亮度状态”为图像数据的亮度状态偏向高亮度侧的状态，是指进行复原处理时易产生画质劣化(过校正等)的状态或者易明显的状态。因此，是否为高亮度场景的判定方法能够根据各种观点规定。另外，“是否为高亮度场景的判定方法”的详细内容将进行后述。

当原图像数据满足高亮度场景的亮度状态时(S13的是)，锐化恢复控制部37的强度自动调整部52调整复原强度倍率U和锐化强度倍率V(S14：锐化恢复控制步骤)。之后，在复原处理部38中进行基于调整之后的复原强度倍率U的复原处理，并在轮廓强调处理部39中进行锐化处理(S15和S16)。具体而言，强度自动调整部52在原图像数据处于高亮度场景的亮度状态时，以与原图像数据不满足高亮度场景的亮度状态时相比降低复原强度倍率U的方式进行调整。而且，锐化强度倍率V以将总锐化复原率保持为恒定的方式进行调整。另外，图21中示出了原图像数据处于高亮度场景的亮度状态时降低复原强度倍率U的例子，但强度自动调整部52在原图像数据处于高亮度场景的亮度状态时，也可以以不进行对原图像数据的复原处理的方式控制复原强度倍率U。

另一方面，原图像数据未处于高亮度场景的亮度状态时(S13的否)，锐化恢复部36的强度自动调整部52不进行复原强度倍率U和锐化强度倍率V的调整，由复原处理部38进行复原处理，并由轮廓强调处理部39进行锐化处理(S15和S16)。

如上所述，第3例中，强度自动调整部52根据“亮度值的直方图”或“亮度值的直方图的中央值”判断原图像的摄影场景，并调整复原强度倍率U和锐化强度倍率V。由此，能够防止因对高亮度场景的图像数据进行的点像复原处理而产生的画质劣化。

＜高亮度场景＞

接着，对图像数据的亮度与由点像复原处理引起的画质劣化(过校正等)之间的关系进行说明。

图22是表示基于伽马校正处理(对数化处理)的处理前数据与处理后数据之间的关系的一例的图(曲线图)，是用于特别对容易产生因过校正等引起的画质劣化的区域进行说明的图。图22的横轴表示伽马校正处理前数据(伽马校正处理输入数据“IN”)，纵轴表示伽马校正处理后数据(伽马校正处理输出数据“OUT”)。并且，图22的符号“R_L”表示低亮度区域，符号“R_M”表示中亮度区域，符号“R_H”表示高亮度区域(高亮区域)。另外，图22的曲线图中由实线表示的伽马校正处理灰度曲线仅为一例，且低亮度区域R_L、中亮度区域R_M及高亮度区域R_H的区别仅表示相对关系，并不应对各区域的具体位置等作唯一解释。

若考虑伽马校正处理特性，通过点像复原处理容易产生因过校正等引起的画质劣化的区域存在于高亮度区域R_H而非低亮度区域R_L和中亮度区域R_M。例如，在由亮度信号(Y)/色差信号(CrCb)表示图像数据时的亮度信号(Y)成分相对于最高亮度值显示出80％以上的值的高亮度区域R_H中，由点像复原处理引起的画质劣化易明显。但是，在实际的伽马校正处理中，会对每个亮度区域(低亮度区域、中亮度区域、高亮度区域等)适用特有的伽马校正处理灰度曲线，因此由点像复原处理引起的画质劣化明显的范围有可能根据伽马校正处理特性而发生变动。例如能够根据“在低亮度区域中通过抑制由伽马校正处理产生的增益量来改善噪声外观，在中亮度区域中通过增大由伽马校正处理产生的增益量来强调张弛感，在高亮度区域中通过抑制由伽马校正处理产生的增益量来缓和灰度变化”的伽马校正处理灰度曲线，进行伽马校正处理。进行基于该伽马校正处理灰度曲线的伽马校正处理时，可判断为在比为了缓和高亮度区域中的灰度变化而抑制由伽马校正处理产生的增益量的点(曲线拐点；参考图22的符号“N”)更靠高亮度侧的区域，由点像复原处理引起的画质劣化(过校正等)易明显。

＜基于高亮度区域的比例的复原处理控制＞

图23～图25是表示易产生由点像复原处理引起的画质劣化(过校正等)的亮度区域和图像数据中的亮度分布的图。图23是表示基于伽马校正处理(对数化处理)的处理前数据与处理后数据之间的关系的一例的图(曲线图)，横轴表示伽马校正处理前数据(伽马校正处理输入数据“IN”)，纵轴表示伽马校正处理后数据(伽马校正处理输出数据“OUT”)。图24和图25分别表示原图像数据的亮度分布例，图24表示易产生由点像复原处理引起的画质劣化(过校正等)的亮度分布例，图25表示不易产生由点像复原处理引起的画质劣化(过校正等)的亮度分布例。另外，图24和图25的横轴表示亮度值，朝向纸面越靠右侧显示越大的亮度值(高亮度)，且越靠左侧显示越小的亮度值(低亮度)。并且，图24和图25的纵轴表示频率，朝向纸面越靠上侧显示原图像数据中对应亮度值的出现频率越高，越靠下侧显示对应亮度值的出现频率越低。

如上所述，在以图23的符号“R”表示的高亮度区域中，易产生由点像复原处理引起的画质劣化(过校正等)。因此，如图24所示，原图像数据的亮度分布偏向高亮度区域时，由点像复原处理引起的画质劣化(过校正等)易明显。因此，例如即使在判断为因光点类型的AE(Automatic Exposure)机构(脸部识别型自动曝光机构(脸部AE)等)而图像中特定区域未偏向高亮度侧的情况下，当原图像数据具有图像整体偏向高亮度侧的亮度分布时，由点像复原处理引起的画质劣化(过校正等)也容易明显。然而，根据本实施方式，即使是由点像复原处理引起的画质劣化(过校正等)易明显的图像数据，通过降低基于点像复原处理的复原强度或者不进行点像复原处理，能够有效地防止由点像复原处理引起的画质劣化(过校正等)。

另一方面，如图25所示，原图像数据的亮度分布未偏向高亮度侧时，难以注意到由点像复原处理引起的画质劣化(过校正等)。根据本实施方式，对难以注意由点像复原处理引起的画质劣化(过校正等)这种图像数据进行通常的点像复原处理，能够获得画质被良好地恢复的恢复图像数据。

＜高亮度场景的具体例＞

本例中，如上所述，根据原图像数据是否偏向高亮度侧(即，原图像数据是否符合高亮度场景)来控制复原强度的调整，从而有效防止由点像复原处理引起的画质劣化(过校正等)。关于原图像数据是否偏向高亮度侧(即，原图像数据是否符合高亮度场景)的判断，能够根据由点像复原处理而产生画质劣化或者画质劣化明显的可能性较高的亮度分布(明度分布)来进行。

具体而言，作为原图像数据是否偏向高亮度侧(即原图像数据是否符合高亮度场景)的判断方法，可举出以“原图像数据的亮度分布(明度分布)的频率峰值位置的亮度值是否为阈值(第1阈值)以上”、“原图像数据的亮度分布(明度分布)的第1阈值以上的亮度值的比例是否为第2阈值以上”等为基准的方法。

锐化恢复控制部37(强度自动调整部52)例如能够根据在表示构成原图像数据的像素的每个亮度频率的亮度分布中表示频率峰值(参考图24的符号“P”)的亮度值(参考图24的符号“L_p”)控制复原率(复原强度倍率)来控制点像复原处理。更具体而言，当表示构成原图像数据的像素的每个亮度频率的亮度分布中表示频率峰值的亮度值为阈值(第1阈值)以上时，锐化恢复控制部37(强度自动调整部52)可判断为原图像数据满足高亮度场景的亮度状态。

如此，以“原图像数据的亮度分布(明度分布)的频率峰值位置的亮度值是否为阈值(第1阈值)以上”作为基准时，可将最高亮度值的80％左右设定为在此使用的阈值。例如，能够以0～255的256灰度表示亮度值时，可采用相当于最高亮度值的80％左右的亮度值“205”作为阈值。因此，锐化恢复控制部37(强度自动调整部52)可如下进行判别：当“原图像数据的亮度分布的频率峰值位置的亮度值为“205”以上时”，判别为原图像数据符合高亮度场景；当“原图像数据的亮度分布的频率峰值位置的亮度值小于“205”时”，判别为原图像数据不符合高亮度场景。

并且，锐化恢复控制部37(强度自动调整部52)例如可根据表示构成原图像数据的像素的每个亮度的频率的亮度分布中第1亮度值以上的像素所占的比例控制复原率(复原强度倍率)来控制点像复原处理。更具体而言，当表示构成原图像数据的像素的每个亮度频率的亮度分布中第1阈值以上的亮度值的像素所占的比例为第2阈值以上时，锐化恢复控制部37(强度自动调整部52)可判别为原图像数据满足高亮度场景的亮度状态。

如此，以“原图像数据的亮度分布(明度分布)的第1阈值以上的亮度值的比例是否为第2阈值以上”作为基准时，可采用最高亮度值的80％左右作为第1阈值，并采用所有像素数的50％左右作为第2阈值。例如，能够以0～255的256灰度表示亮度值时，可采用相当于最高亮度值的80％左右的亮度值“205”作为第1阈值，并采用构成原图像数据的所有像素数的50％的像素数作为第2阈值。因此，锐化恢复控制部37(强度自动调整部52)可如下进行判别：当“原图像数据的亮度分布的亮度值为“205”以上的像素数的比例为整个图像的像素数的50％以上时”，判别为原图像数据符合高亮度场景；当“原图像数据的亮度分布的亮度值为“205”以上的像素数的比例小于整个图像的像素数的50％时”，判别为原图像数据不符合高亮度场景。

＜第2实施方式＞

在本实施方式中，省略说明关于与上述第1实施方式相同的结构及作用。

图26是表示第2实施方式所涉及的锐化恢复部36的一例的功能框图。

本实施方式所涉及的亮度信息获取部40获取“摄影曝光信息”作为亮度信息Q。

锐化恢复控制部37根据亮度信息获取部40所获取的摄影曝光信息(摄影曝光量)控制复原处理部38和轮廓强调处理部39来控制点像复原处理和锐化处理。具体而言，锐化恢复控制部37根据由适当曝光量获取部91获取的适当曝光量与摄影曝光量之差，控制复原处理部38和轮廓强调处理部39来控制点像复原处理和锐化处理。

在此所说的“摄影曝光信息”为摄影曝光量，摄影曝光量是数码相机(摄影装置)10中的摄影时的曝光量，是可根据获取原图像数据时的摄影条件(F值、快门速度)而变动的值。

另一方面，“适当曝光量”是推测为适当的曝光量，可根据由曝光表(省略图示)测量的测光模式而确定。可以由适当曝光量获取部91通过任意方法获取该适当曝光量。例如当预先确定适当曝光量时，可将该预先确定的适当曝光量事先存储于存储器(省略图示)并根据需要而读取适当曝光量来获取。并且，适当曝光量根据摄影条件等而变动时，可在适当曝光量获取部91中计算获取适当曝光量。所获取的适当曝光量的信息从适当曝光量获取部91发送至亮度信息获取部40。

另外，关于曝光表并无特别限定，可以如TTL(Through The Lens)方式的曝光表那样将曝光表内置于相机主体14中，也可以将曝光表外置于相机主体14。并且，可使用测定被摄体的反射光的反射光式曝光表，也可使用测定被摄体的反射光以外的光的入射光式曝光表。并且，测光模式也并无特别限定，可使用遍及整个图像而进行测光的多分区测光模式、对图像中央部进行重点测光的中央重点平均测光模式、根据被摄体的极小的部分进行测光的点测光模式或其他测光模式。

亮度信息获取部40可通过任意方法获取摄影曝光量，例如，当摄影曝光量存储于存储器(省略图示)时，可直接从该存储器获取摄影曝光量，也可以根据原图像数据、由曝光表测量的测光值、摄影条件等数据间接计算获取摄影曝光量。尤其，摄影曝光量能够由用户个别进行变更，因此例如在用户手动设定快门速度和F值时以及手动设定或变更曝光设定(EV值)时，摄影曝光量可能会成为与适当曝光量不同的值。

适当曝光量是从防止图像变得过暗或过亮的观点导出的适当的曝光量。然而，实际上由于种种原因，也会有适当曝光量并不一定是适当的值或适当曝光量不符合用户的嗜好和需求的例子。因此，由用户进行的摄影曝光量的变更功能是为了补充适当曝光量的不完全性以按照用户的嗜好和需求来实现摄影而搭载于数码相机10(用户界面29、相机主体控制器28等)的功能。

如此，当能够将摄影曝光量设定为与适当曝光量不同的值时，若以使EV值变大(图像变亮)的方式设定摄影曝光量，则通过摄影获得的图像(原图像数据)易符合偏向高亮度侧的高亮度场景。

本实施方式中，当以摄影图像数据(原图像数据)易符合偏向高亮度侧的高亮度场景的摄影曝光量获取原图像数据时，通过降低点像复原处理的复原强度或不进行点像复原处理来防止由点像复原处理引起的画质劣化(过校正等)。

具体而言，锐化恢复控制部37判断获取原图像数据时的摄影曝光量与适当曝光量之差是否为阈值(第3阈值)以上，并根据判断结果控制复原处理的强度。在此使用的阈值(第3阈值)根据拍摄偏向高亮度侧的图像(符合高亮度场景的图像)的可能性是否较高来适当确定，能够根据相对于适当曝光量的摄影曝光量的相对大小来确定。

例如，当摄影曝光量与适当曝光量之差为阈值t3(第3阈值)以上((摄影曝光量-适当曝光量)≥t3)时，锐化恢复控制部37可如下控制复原处理部38：以与摄影曝光量和适当曝光量之差小于阈值t3时相比减弱复原强度的方式进行点像复原处理或不进行点像复原处理而跳过该处理。

并且，可根据摄影曝光量与适当曝光量之差的大小，切换“通常的复原强度的点像复原处理”、“比通常减弱复原强度的点像复原处理”和“跳过点像复原处理”等各种处理。例如，锐化恢复控制部37可如下控制复原处理部38：当摄影曝光量与适当曝光量之差小于阈值t3(第3阈值)((摄影曝光量-适当曝光量)＜t3)时进行“通常的复原强度的点像复原处理”；当摄影曝光量与适当曝光量之差为阈值t3以上且小于另一阈值t4(第4阈值；其中“t4＞t3”)(t4＞(摄影曝光量-适当曝光量)≥t3)时进行“比通常减弱复原强度的点像复原处理”；当摄影曝光量与适当曝光量之差为阈值t4以上(t4≤(摄影曝光量-适当曝光量))时“跳过点像复原处理”。

另外，“摄影曝光量与适当曝光量之差”可基于两者的绝对值之差，也可基于表示两者的绝对值之差的其他指标。作为EV值的设定方式，例如有如下例子：以适当曝光量为基准而在曝光过度侧和/或曝光不足侧设定多级EV值候补，用户能够从该EV值候补中适当选择摄影曝光量。例如有如下情况：除了适当曝光量(0)之外，在曝光过度侧设定3级(+1～+3)的EV值候补且在曝光不足侧设定3级(-1～-3)的EV值候补，用户能够从这些EV值候补(+3～-3)中适当选择摄影曝光量。该情况下，例如锐化恢复控制部37可如下控制复原处理部38：将“+2”设为上述阈值t3(第3阈值)，当由用户选择小于该“+2”的EV值候补(即“-3～+1”)时进行“通常的复原强度的点像复原处理”；当由用户选择“+2”以上的EV值候补(即“+2～+3”)时进行“比通常减弱复原强度的点像复原处理”。并且，例如锐化恢复控制部37也可如下控制复原处理部38：将“+1”设为上述阈值t3(第3阈值)且将“+2”设为上述阈值t4(第4阈值)，从而与上述方式相同地切换“通常的复原强度的点像复原处理”、“比通常减弱复原强度的点像复原处理”及“跳过点像复原处理”等各种处理。

另外，关于用于判别“是否以原图像数据易符合偏向高亮度侧的高亮度场景的摄影曝光量获取原图像数据”的上述阈值(第3阈值和第4阈值)，可预先设定，也可以由用户个别设定或变更，还可以根据摄影模式等摄影条件来设定或变更。

图27是表示包含第2实施方式所涉及的点像复原处理的图像处理的流程的流程图。图27中示出如下情况下的处理流程例：当摄影曝光量与适当曝光量之差为阈值(第3阈值)以上时，与摄影曝光量和适当曝光量之差小于阈值(第3阈值)时相比，减弱点像复原处理的复原强度或跳过点像复原处理，由此防止由点像复原处理引起的画质劣化(过校正等)。

本例中，在进行点像复原处理之前对原图像数据进行图像处理部(伽马校正处理部33)35中的伽马校正处理(图27的S21：灰度校正步骤)。

伽马校正处理之后的原图像数据被输入至锐化恢复部36，由适当曝光量获取部91获取适当曝光量，由锐度信息获取部40获取摄影曝光量(S22：摄影曝光量获取步骤)。

并且，根据所获取的适当曝光量和摄影曝光量，锐化恢复控制部37判别摄影曝光量与适当曝光量之差是否为阈值(第3阈值)以上(S23)。如上所述，该步骤为判别是否以拍摄获取的原图像数据易符合偏向高亮度侧的高亮度场景的条件进行了摄影的步骤，可适当设定成为判别基准的阈值(第3阈值)。

当摄影曝光量与适当曝光量之差为阈值(第3阈值)以上时(S23的是)，锐化恢复控制部37(强度自动调整部52)调整点像复原处理的复原强度和和锐化处理的锐化强度(S24)，由复原处理部38进行基于调整后的复原强度的点像复原处理(S25)，并由轮廓强调处理部39进行基于调整后的锐化强度的锐化处理(S26)。具体而言，当摄影曝光量与适当曝光量之差为阈值(第3阈值)以上时，锐化恢复控制部37可以以与摄影曝光量和适当曝光量之差小于阈值(第3阈值)时相比降低基于点像复原处理的复原强度的方式控制复原强度。另外，锐化恢复控制部37也可以以当摄影曝光量与适当曝光量之差为阈值(第3阈值)以上时不对原图像数据进行点像复原处理的方式控制复原处理部38。并且，考虑已调整的复原强度，以总锐化复原率成为恒定的方式控制锐化强度。

另一方面，摄影曝光量与适当曝光量之差小于阈值(第3阈值)时(S23的否)，锐化恢复控制部37不进行点像复原处理的复原强度和锐化处理的锐化率的调整，由复原处理部38进行基于通常的复原强度的点像复原处理，而且由轮廓强调处理部39进行基于通常的锐化强度的锐化处理(S25和S26)。

＜第3实施方式＞

本实施方式中，反映了安装于相机主体14的透镜单元(光学系统)12的个体差异信息的点像复原恢复率G被输入至强度自动调整部52。因此，强度自动调整部52根据包含光学系统的个体差异信息的光学特性信息和亮度信息Q确定复原强度倍率U。另外，个体差异信息是指每个透镜个体的信息且用于根据透镜个体差异调整复原率或锐化率的信息。并且，个体差异信息包含与由于制造误差等而有可能在光学系统中个别产生的误差有关的信息。个体差异信息可以是直接表示个体差异的信息，也可以是间接表示个体差异的信息，例如可将分配于光学系统的批号或编号用作个体差异信息。

图28是表示进行第3实施方式所涉及的点像复原处理和锐化处理的处理块的结构的图。

本实施方式中，对与图17所示的第1实施方式相同的结构标注相同符号并省略详细说明。

透镜单元12(尤其透镜16等光学系统)由于制造误差等而在光学特性上存在个体差异，由于该个体差异，严密来将PSF按每个透镜单元12而不同。因此，若无视透镜单元12(光学系统)的个体差异而进行点像复原处理，则即使是使用同一种类的透镜单元12来拍摄的图像，有时复原度也不同，复原图像中的伪影的出现方式也不同。

理想的情况为，根据如实反映了透镜单元12的光学特性的PSF进行点像复原处理，且复原图像中不产生伪影。然而，实际上，由于透镜单元12的个体差异，处理对象图像中的PSF的影响与构成由点像复原处理使用的复原滤波器的基础的PSF并不匹配，有时在复原图像中产生伪影。作为用于防止由于个体差异而产生的伪影的一种方法，有通过将点像复原处理中的复原强度倍率U设定为较小的值来抑制复原度的方法，但若减小复原强度倍率U，则图像未充分复原而无法获得所希望的锐度。作为防止该锐度降低的一种方法，考虑按透镜单元12的每个个体，依次调整用于实现所希望的总锐度的锐化强度倍率V，但这种依次调整是花费工夫的操作，较不便。

本实施方式中，按透镜(光学系统)的每个个体调整点像复原处理的恢复强度，且复原强度倍率U和锐化强度倍率V的确定被自动化。

即，本实施方式中，透镜单元存储部21包含复原滤波器存储部58及轮廓强调强度列表存储部60，并且还包含点像复原强度列表存储部67。点像复原强度列表存储部67中存储有透镜单元12(光学系统)特有的点像复原恢复率G，该点像复原恢复率G成为反映了透镜单元12的个体差异信息T的值。并且，复原滤波器存储部58中存储有与透镜单元12(光学系统)的种类相应的复原滤波器X。另外，复原滤波器X对相同种类的透镜单元12(光学系统)共同使用。

存储于点像复原强度列表存储部67的点像复原恢复率G被锐化恢复控制部37所具有的恢复率选择部69读取并供给至强度自动调整部52。即，恢复率选择部69从点像复原强度列表存储部67读取与摄影设定条件S对应的点像复原恢复率G并供给至强度自动调整部52。强度自动调整部52与上述第1实施方式同样地，根据所供给的点像复原恢复率G确定复原强度倍率U，根据该复原强度倍率U和总锐度评价值(总锐化复原率)确定锐化强度倍率V。

其他结构与图17所示的第1实施方式相同。

本实施方式中，复原滤波器存储部58设置于透镜单元存储部21(透镜单元12)，因此若更换透镜单元12，则复原滤波器选择部53从新的透镜单元12的复原滤波器存储部58中读取复原滤波器X。因此，通过预先将反映了所搭载的透镜单元12(光学系统)的PSF的复原滤波器X存储于复原滤波器存储部58，各透镜单元12中搭载存储有反映了自身的PSF的复原滤波器X的复原滤波器存储部58。因此，即使能够将多种透镜单元12安装于相机主体14，也能够将对所安装的透镜单元12最优化的复原滤波器X供给至点像复原滤波器处理部42。而且，根据本实施方式，添附有安装于相机主体14的透镜单元12(光学系统)的个体差异信息T的点像复原恢复率G被供给至强度自动调整部52，因此能够防止基于光学系统的个体差异的PSF的不匹配引起的伪影。尤其，本实施方式中，反映了个体差异信息T的点像复原恢复率G存储于透镜单元存储部21(透镜单元12)，因此即使更换安装于相机主体14的透镜单元12，也能够根据基于更换之后的透镜单元12的个体差异信息T的点像复原恢复率G确定复原强度倍率U和锐化强度倍率V。各滤波器处理中使用所确定的复原强度倍率U和锐化强度倍率V，因此能够进行反映了个体差异的复原处理并且获得所希望的总锐度。

另外，点像复原强度列表存储部67、复原滤波器存储部58和轮廓强调强度列表存储部60在上述实施方式中设置于透镜单元12，但也可设置于相机主体14。这些存储部设置于相机主体14时，优选与所安装的透镜单元12对应的数据从外部设备类(计算机92、服务器97等)下载至点像复原强度列表存储部67、复原滤波器存储部58及轮廓强调强度列表存储部60。

当点像复原强度列表存储部67、复原滤波器存储部58和轮廓强调强度列表存储部60设置于相机主体14时，透镜单元12在安装于相机主体14时向相机主体14发送个体差异信息T。之后，相机主体14(锐化恢复控制部37)使用如上述那样存储于点像复原强度列表存储部67、复原滤波器存储部58及轮廓强调强度列表存储部60的信息，调整复原强度倍率U和锐化强度倍率V。

＜第4实施方式＞

本实施方式所涉及的图像处理部35还具备进行图像数据的非线性处理的非线性处理部，在二级滤波器处理系统(复原处理部38和轮廓强调处理部39)中导入非线性处理。该非线性处理部包含于复原处理部38和轮廓强调处理部39中的至少任意一个中，下述中对非线性处理部设置于复原处理部38的例子进行说明。

非线性处理通常不只由加减乘除的运算处理构成，例如可包含伴随LUT(查表)的参考和条件分支的处理。非线性处理多以抑制伪影和噪声为目的而进行，例如可进行“将图像信号中超过剪辑阈值的像素值调整为剪辑阈值的剪辑处理”作为非线性处理。

图29是表示进行第4实施方式所涉及的点像复原处理和锐化处理的处理块的结构的图。

本实施方式中，关于与图17所示的第1实施方式相同的结构标注相同符号并省略详细说明。

本例的点像复原处理(复原处理部38)包含对通过复原滤波器提取的点像复原强调成分适用强调倍率、对适用该强调倍率之后的点像复原强调成分适用非线性处理及对非线性处理之后的点像复原强调成分与元图像进行合成的一系列处理。

即，本实施方式中，图像数据(输入图像)被输入至点像复原滤波器处理部42并进行基于复原滤波器的滤波处理，且计算出基于点像复原处理的图像数据的增减量数据。该增减量数据输入至复原乘法器43并进行基于复原强度倍率U的增益控制，进行增减量数据和复原强度倍率U的相乘，相乘之后的增减量数据输入至非线性处理部65。

非线性处理部65中，对所输入的增减量数据进行剪辑处理(非线性处理)，增减量数据(图像数据)中超过规定剪辑阈值的像素值被调整为剪辑阈值。另外，剪辑阈值可预先确定并由非线性处理部65存储，也可由用户经由用户界面29直接或间接指定剪辑阈值。剪辑处理之后的图像数据的增减量数据在复原加法器44中与输入至点像复原滤波器处理部42之前的图像数据(输入图像)相加，从而计算出点像复原处理之后的图像数据。

如以下的式4所示，由非线性处理部65进行的剪辑处理为以不使图像数据成为剪辑阈值θ(≥0)以上的值的方式进行限制的处理。

[数式4]

(式4)

根据以上述式4表示的剪辑处理函数CLIP(x)，图像数据(像素数据)x的绝对值小于剪辑阈值θ时(|x|＜θ)，该图像数据不通过剪辑处理进行调整而被保存，并从非线性处理部65输出“x”。另一方面，当图像数据x的绝对值为剪辑阈值θ以上时(|x|≥θ)，该信号成分通过剪辑处理被调整为符号函数(signum function)，并从非线性处理部65输出“sign(x)×θ”。

其他结构与图17所示的第1实施方式相同。例如，轮廓强调处理部39中的基于轮廓强调滤波器处理部46的滤波处理、基于锐化乘法器47的相乘处理及基于锐化加法器48的相加处理与上述第1实施方式相同地进行。

本例中，作为系统整体中的频率特性Fa(ω_x，ω_y|U，V，x_i，j)，能够使用根据将特定的输入波形输入至系统(图像处理部35)时的输出近似获得的频率特性。即，当进行非线性处理的图像处理部存在于信号处理系统时，原理上无法准确地求出该信号处理系统的频率特性，有时无法适用复原强度倍率U和锐化强度倍率V的强度自动计算处理。因此，进行非线性处理时，可根据相对于预先掌握频率成分的特定的输入波形(输入图像数据)的输出波形(输出图像数据)，近似地评价内部的频率特性，并利用通过该近似评价获得的频率特性，进行复原强度倍率U和锐化强度倍率V的自动计算处理。该情况下，需求出系统整体的频率特性Fa(ω_x，ω_y|U，V，x_i，j)，并要求通过数式表达相对于特定输入波形的系统的频率响应近似式。具体的近似评价方法为任意，该系统的频率响应近似式的精度依赖于非线性处理的具体内容。

作为系统的频率响应近似式的例子，本案发明人通过经验得知：在包含图29所示的剪辑处理的图像处理系统中，使用预先掌握了特性的输入波形(图像信号)，假设输入波形为高对比度的阶梯函数，并以如上述实施方式那样在特定频率f0中具有特定值(总锐度评价值)的方式定义w_i，j(ω_x，ω_y)时，(参考上述“式4”)，能够由以下式5近似地表示图像处理系统整体的频率特性。

[数式5]

(式5)

F(ω_x，ω_y|U，V)＝[1+min(U×ψ(ω_x，ω_y)，A)]×[1+V×φ(ω_x，ω_y)]

上述式5中“A”为依赖于剪辑阈值θ和输入图像信号的锐度(模糊度)的常数。并且，“min(U×ψ(ω_x，ω_y)，A)”为表示“U×ψ(ω_x，ω_y)”和“A”中较小一方的函数。

另外，本例中，非线性处理部65设置于复原处理部38，但非线性处理部可仅设置于轮廓强调处理部39，也可设置于复原处理部38和轮廓强调处理部39双方。但是，若在复原处理部38和轮廓强调处理部39双方中进行非线性处理，则图像处理系统整体的频率响应近似式变得复杂，有可能很难进行将总锐度评价值C(U，V，x_i，j)保持为恒定值的同时确定复原强度倍率U和锐化强度倍率V的控制。

由点像复原处理(点像复原滤波器处理部42)使用的复原滤波器以输入图像具有所设想的频率特性(模糊特性)为前提而设计。然而，通过配置于比点像复原处理和锐化处理更靠前段的光学系统或图像处理系统中的非线性现象和信号处理，图像数据(输入图像)具有与设想不同的频率特性(不合理的频率特性)，有时在输出图像中会产生伪影。为了抑制这种伪影，优选比基于复原滤波器的滤波处理(点像复原滤波器处理部42)更靠后段而设置非线性处理部65。

如以上说明，根据本实施方式，即使在复原处理部38和/或轮廓强调处理部39中进行非线性处理的情况下，也能够可靠地求出复原强度倍率U和锐化强度倍率V。尤其，通过进行非线性处理，能够有效地抑制伪影。

＜其他实施方式＞

本发明还包含通过上述图像处理装置和摄影装置进行的图像处理方法。

并且，本发明还包含使计算机执行上述图像处理的程序。另外，本发明还包含存储有程序代码的存储介质。

作为用于供给程序代码的存储介质，例如可使用软盘(注册商标)、硬盘、光盘、光磁盘、CD-ROM、CD-R、磁带、非易失性存储卡、ROM等。

并且，前述实施方式的功能通过由计算机执行所读取的程序来实现。并且，关于该程序的执行，有时还包含根据该程序的命令而在计算机上运行的OS等进行实际处理的一部分或全部的情况。

接着，以下说明本发明的应用例。以下，作为具体的应用例，依次说明将本发明应用于动态图像的情况、应用于EDoF系统的情况以及应用于智能手机的情况。

＜对动态图像的应用例＞

本发明还能够适用于动态图像。将本发明适用于动态图像时，以相对于动态图像摄影中的摄影条件的变化，不使动态图像帧之间的复原率和锐度大幅变化的方式进行抑制。

图30是说明与时序列的动态图像帧中的“处理对象帧”和“参考帧”有关的图。

当拍摄动态图像时，经由光学系统(透镜单元)12和成像元件26，以规定的帧速率连续拍摄被摄体，并获取由在时序列上连续的多帧构成的动态图像的图像数据。在此，帧速率为每单位时间的帧数(图像数、格数)，通常由1秒内生成的帧数(单位：fps(framepersecond))表示。例如，本方式的数码相机10中，当帧速率为30fps时，1秒内进行30张图像的生成，当帧速率为60fps时，1秒内进行60张图像的生成。

并且，动态图像由在时序列上连续的多帧构成，例如为包含记录动态图像、即时预览图像的含义。

图30表示对在时间t拍摄的帧(t)进行复原处理的情况。该情况下，帧(t)成为处理对象帧。并且，在时间t-1拍摄的帧(t-1)、在时间t-2拍摄的帧(t-2)和在时间t-3拍摄的帧(t-3)为在时序列上比处理对象帧靠前的帧(前帧)。并且，在时间t+1拍摄的帧(t+1)、在时间t+2拍摄的帧(t+2)和在时间t+3拍摄的帧(t+3)为在时序列上比处理对象帧靠后的帧(后帧)。另外，图30中，为了便于说明，仅记载了相对于处理对象帧为前帧的3帧及后帧的3帧，但实际上，根据拍摄时间存在多个帧。

参考帧至少包含1帧的后帧即可。并且，参考帧可以是单个也可以是多个。例如，参考帧为单个时，位于处理对象帧(帧(t))的后帧的帧(t+1)被选作参考帧。并且，例如，参考帧为多个时，选择处理对象帧(帧(t))的后帧(t+1)及前帧(t-1)。

图30中，前帧(t-1)是在时序列上处理对象帧的紧前的帧，后帧(t+1)是在时序列上处理对象帧的紧后的帧。也可选择这些紧前的帧(帧(t-1))或紧后的帧(帧(t+1))作为参考帧。

从在时序列上连续的多帧中选择参考帧的方法可使用各种方法。例如，作为选择参考帧的方法，可考虑以下方法，即预先由用户通过用户界面29指定选择参考帧的方法。并且，例如也可预先确定选择参考帧的方法。

图像处理部35可具有获取处理对象帧和参考帧的摄影条件(摄影信息)的摄影条件获取部。摄影条件获取部获取处理对象帧和参考帧的摄影条件(摄影信息)，并将所获取的摄影条件发送至锐化恢复控制部37。

锐化恢复控制部37根据从摄影条件获取部获取的参考帧的摄影信息，对处理对象帧的复原处理的内容进行调整。锐化恢复控制部37为了在帧之间实现具有连续性的复原处理，通过各种方法，根据参考帧的摄影信息调整复原处理的内容。

而且，锐化恢复控制部37能够根据从摄影条件获取部获取的参考帧的摄影信息和处理对象帧的摄影信息，对处理对象帧的复原处理的内容进行调整。通过根据处理对象帧的摄影信息和参考帧的摄影信息进行处理对象帧的复原处理，能够在处理对象帧与参考帧之间进行具有连续性的复原处理，且能够进行适于处理对象帧的复原处理。

接着，通过具体例对与由锐化恢复控制部37进行的复原处理的内容有关的调整方法进行说明。

锐化恢复控制部37能够根据与包含参考帧的摄影条件信息的摄影信息有关的最频值，调整复原处理的内容。

图31表示在图30中说明的帧(t-3)至帧(t+3)的每个帧中作为摄影条件信息(摄影信息)而赋予F值的情况。具体而言，图31所示的情况下，帧(t-3)以F值F2拍摄，帧(t-2)以F值F2拍摄，帧(t-1)以F值F2拍摄，帧(t)以F值F2.8拍摄，帧(t+1)以F值F2拍摄，帧(t+2)以F值F2拍摄，帧(t+3)以F值F2拍摄。

对将处理对象帧设为帧(t-1)，将参考帧设为帧(t-3)、帧(t-2)、帧(t)及帧(t+1)的情况进行说明。该情况下，帧(t-3)、帧(t-2)、帧(t-1)及帧(t+1)以F值F2拍摄，帧(t)以F值F2.8拍摄。因此，在处理对象帧和参考帧中，作为摄影条件信息的F值的最频值成为F2。如此一来，对处理对象帧(帧(t-1))进行复原处理时，使用以F值F2拍摄的帧所用的复原滤波器。

同样地，当将处理对象帧设为帧(t)、帧(t+1)时，包含处理对象帧的前后5帧的F值的最频值也成为F2，对任意一个处理对象帧也使用以F值F2拍摄的帧所用的复原滤波器。

并且，图32表示选择其他参考帧的例子。帧(t-3)以F值F2拍摄，帧(t-2)以F值F2拍摄，帧(t-1)以F值F2拍摄，帧(t)以F值F2.8拍摄，帧(t+1)以F值F1.4拍摄，帧(t+2)以F值F1.4拍摄，帧(t+3)以F值F1.4拍摄。

当将帧(t-2)、帧(t-1)、帧(t+1)及帧(t+2)设为参考帧，且将帧(t)设为处理对象帧时，帧(t-2)和帧(t-1)以F值F2拍摄，帧(t+1)和帧(t-2)以F值F1.4拍摄，因此摄影条件信息的最频值成为F值F2和F值F1.4这两个。该情况下，处理对象帧的摄影条件信息为F值F2.8，因此处理对象帧的摄影条件信息不符合最频值，因此采用在时序列上处理对象帧之后的参考帧所具有的摄影条件信息的最频值(该情况下为F值F1.4)。

并且，当将帧(t-1)和帧(t+3)设为参考帧时，摄影条件信息的最频值成为F2及F1.4这两个，但帧(t-1)在时序列上比帧(t+3)更靠近处理对象帧，因此采用帧(t-1)的摄影条件信息即F值F2作为最频值。

图33是表示锐化恢复控制部37确定参考帧的摄影条件信息(摄影信息)的最频值的动作流程的图。

首先，锐化恢复控制部37获取处理对象帧的摄影条件信息(步骤S30)。之后，锐化恢复控制部37(复原滤波器选择部53)获取参考帧的摄影条件信息(步骤S32)。另外，复原滤波器选择部53能够通过各种方法获取处理对象帧的摄影条件信息，例如，复原滤波器选择部53能够从设备控制部34(图2)中获取处理对象帧的摄影条件信息。而且，锐化恢复控制部37提取参考帧的摄影条件信息中的最频值(步骤S34)。而且，锐化恢复控制部37判断最频值为单个还是多个，当最频值为1个时(步骤S36的否时)，采用最频值的摄影条件(步骤S38)来进行复原处理内容的调整。

另一方面，最频值为多个时(步骤S36的是时)，判断多个最频值之一是否为处理对象帧的摄影条件信息。然后，当多个最频值之一不是处理对象帧的摄影条件信息时(步骤S38的否时)，锐化恢复控制部37在多个最频值中选择在时序列上靠近处理对象帧的帧的最频值(步骤S40)。并且，当多个最频值中的任意一个最频值在时序列上与处理对象帧均为相同间隔时，锐化恢复控制部37选择包含在时序列上比处理对象帧靠前的帧的最频值(步骤S40)。如此，通过选择包含在时序列上比处理对象帧靠前的帧的最频值，时序列上的连续性变得良好。

另一方面，多个最频值之一为处理对象帧的摄影条件信息时(步骤S38的是时)，锐化恢复控制部37采用处理对象帧的摄影条件信息作为最频值(步骤S44)。之后，对下一处理对象帧进行处理。

接着，通过具体例对与由锐化恢复控制部37进行的复原处理内容有关的调整的其他方法进行说明。

锐化恢复控制部37(复原滤波器选择部53)可根据处理对象帧的摄影条件信息和参考帧的摄影条件信息，如上述那样确定摄影条件信息，并根据所确定的摄影条件信息，从复原滤波器存储部58中获取所对应的复原滤波器，也可从复原滤波器存储部58中读取与处理对象帧的摄影条件信息对应的复原滤波器和与参考帧的摄影条件信息对应的复原滤波器，并根据所读取的多个复原滤波器获取新的复原滤波器。复原滤波器选择部53能够通过各种方法从与处理对象帧的摄影条件信息对应的滤波器和与参考帧的摄影条件信息对应的滤波器中获取新的复原滤波器，例如，能够通过对与处理对象帧的摄影条件信息对应的帧和与参考帧的摄影条件信息对应的帧进行加权平均，从而求出新的复原滤波器。

由此，相对于动态图像摄影中的摄影条件的变化，抑制适用于处理对象帧的复原滤波器的变化，从而避免动态图像帧之间的复原率和锐度大幅变化。

＜对EDoF系统的应用例＞

上述实施方式中的复原处理是根据特定的摄影条件信息(例如，F值、焦距、透镜种类、变焦倍率等)对点扩散(点像模糊)进行恢复修正来复原原来的被摄体像的图像处理，但能够适用本发明的图像复原处理并不限定于上述实施方式中的复原处理。例如，对于针对通过具有被扩大的景深(焦深)(EDoF：Extended Depth of Field(Focus))的光学系统(摄影透镜等)拍摄获取的图像数据进行的复原处理，也能够适用本发明所涉及的复原处理。对通过EDoF光学系统在景深(焦深)被扩大的状态下拍摄获取的模糊图像的图像数据进行复原处理，从而能够在宽范围内复原生成对焦状态的高分辨率的图像数据。该情况下，进行使用如下复原滤波器的复原处理，所述复原滤波器为基于EDoF光学系统的点扩散函数(PSF、OTF、MTF、PTF等)的复原滤波器，且具有设定成能够在被扩大的景深(焦深)范围内进行良好的图像复原的滤波器系数。

以下，对与经由EDoF光学系统拍摄获取的图像数据的复原有关的系统(EDoF系统)的一例进行说明。另外，在以下所示的例子中，对针对从去马赛克处理之后的图像数据(RGB数据)中获得的亮度信号(Y数据)进行复原处理的例子进行说明。但进行复原处理的时刻并无特别限定，例如可对“去马赛克处理之前的图像数据(马赛克图像数据)”或“去马赛克处理之后且亮度信号转换处理之前的图像数据(去马赛克图像数据)”进行复原处理。

图34是表示具备EDoF光学系统的摄像模块101的一方式的框图。本例的摄像模块(数码相机等)101包含EDoF光学系统(透镜单元)110、成像元件112、AD转换部114及复原处理块(图像处理部35)120。

图35是表示EDoF光学系统110的一例的图。本例的EDoF光学系统110具有单焦点的被固定的摄影透镜110A及配置于瞳位置的滤光器111。滤光器111是调制相位的要件，其使EDoF光学系统110(摄影透镜110A)EDoF化，以获得被扩大的景深(焦深)(EDoF)。如此，摄影透镜110A和滤光器111构成调制相位来扩大景深的透镜部。

另外，EDoF光学系统110根据需要包含其他构成要件，例如在滤光器111附近配设有光圈(省略图示)。并且，滤光器111可以是一个，也可以组合多个。并且，滤光器111仅仅是光学相位调制机构的一例，还可以通过其他机构实现EDoF光学系统110(摄影透镜110A)的EDoF化。例如，代替设置滤光器111，可通过以具有与本例的滤光器111相同功能的方式进行透镜设计的摄影透镜110A实现EDoF光学系统110的EDoF化。

即，能够通过使成像元件112的受光面上的成像的波面发生变化的各种机构，实现EDoF光学系统110的EDoF化。例如，可将“厚度发生变化的光学元件”、“折射率发生变化的光学元件(折射率分布型波面调制透镜等)”、“通过对透镜表面进行涂布等而厚度或折射率发生变化的光学元件(波面调制混合式透镜、在透镜面上形成为相位面的光学元件等)”、“能够调制光的相位分布的液晶元件(液晶空间相位调制元件等)”用作EDoF光学系统110的EDoF化机构。如此，不仅对于能够通过光波面调制元件(滤光器111(相位板))形成规则地分散的图像的例子能够应用本发明，而且对于能够不使用光波面调制元件而通过摄影透镜110A本身形成与使用光波面调制元件时相同的分散图像的例子也能够应用本发明。

图35所示的EDoF光学系统110可以省略机械地进行调焦的调焦机构，因此能够实现小型化，可适当地搭载于带相机的移动电话或移动信息终端。

通过被EDoF化的EDoF光学系统110之后的光学像被成像于图34所示的成像元件112，在此转换成电信号。

成像元件112由以规定的图案排列(拜耳排列、G条纹R/G完整方格、X-Trans(注册商标)排列、蜂窝排列等)配置成矩阵状的多个像素构成，各像素包含微透镜、滤色器(本例中为RGB滤色器)及光电二极管而构成。经由EDoF光学系统110入射到成像元件112的受光面的光学像通过排列于该受光面的各光电二极管而转换成与入射光量相应的量的信号电荷。而且，积蓄在各光电二极管的R、G、B的信号电荷作为每个像素的电压信号(图像信号)被依次输出。

AD转换部114将从成像元件112按每个像素输出的模拟R、G、B图像信号转换成数字RGB图像信号。通过AD转换部114转换成数字图像信号的数字图像信号被添加在复原处理块120。

复原处理块120例如包含黑电平调整部122、白平衡增益部123、伽马处理部(伽马校正处理部)124、去马赛克处理部125、RGB/YCrCb转换部126及Y信号复原处理部127。

黑电平调整部122对从AD转换部114输出的数字图像信号实施黑电平调整。黑电平调整可采用公知的方法。例如，当着眼于某一有效光电转换元件时，求出与包含该有效光电转换元件的光电转换元件行中所包含的多个OB光电转换元件的每一个相对应的暗电流量获取用信号的平均，从与该有效光电转换元件相对应的暗电流量获取用信号中减去该平均，由此进行黑电平调整。

白平衡增益部123进行与已调整黑电平数据的数字图像信号中包含的RGB各颜色信号的白平衡增益相应的增益调整。

伽马处理部124进行以使已进行白平衡调整的R、G、B图像信号成为所希望的伽马特性的方式进行半色调等灰度校正的伽马校正。

去马赛克处理部125对伽马校正之后的R、G、B图像信号实施去马赛克处理。具体而言，去马赛克处理部125通过对R、G、B图像信号实施颜色插值处理，生成从成像元件112的各受光像素输出的一组图像信号(R信号、G信号、B信号)。即，在颜色去马赛克处理之前，来自各受光像素的像素信号为R、G、B图像信号中的任意一个，但在颜色去马赛克处理之后，会输出与各受光像素相对应的R、G、B信号的3个像素信号组。

RGB/YCrCb转换部126将已进行去马赛克处理的每个像素的R、G、B信号转换成亮度信号Y和色差信号Cr、Cb，并输出每个像素的亮度信号Y和色差信号Cr、Cb。

Y信号复原处理部127根据预先存储的复原滤波器，对来自RGB/YCrCb转换部126的亮度信号Y进行复原处理。复原滤波器例如由具有7×7的核尺寸的反卷积核(对应于M＝7、N＝7的抽头数)及与该反卷积核相对应的运算系数(对应于复原增益数据、滤波器系数)构成，使用于滤光器111的相位调制量的反卷积处理(反卷积运算处理)。另外，复原滤波器中，与滤光器111相对应的滤波器被存储于未图示的存储器(例如附带设置有Y信号复原处理部127的存储器)。并且，反卷积核的核尺寸并不限于7×7。另外，Y信号复原处理部127具有上述的锐化恢复部36的功能。

接着，对基于复原处理块120的复原处理进行说明。图36是表示基于图34所示的复原处理块120的复原处理流程的一例的图。

对于黑电平调整部122的一输入中，从AD转换部114添加数字图像信号，对另一输入添加黑电平数据，黑电平调整部122从数字图像信号减去黑电平数据，并将被减去黑电平数据的数字图像信号输出至白平衡增益部123(步骤S50)。由此，数字图像信号中不包含黑电平成分，表示黑电平的数字图像信号成为0。

对黑电平调整之后的图像数据依次实施由白平衡增益部123、伽马处理部124进行的处理(步骤S52及步骤S54)。

被伽马校正的R、G、B信号在去马赛克处理部125中被去马赛克处理之后，在RGB/YCrCb转换部126中转换成亮度信号Y和色差信号Cr、Cb(步骤S56)。

Y信号复原处理部127进行对亮度信号Y施以EDoF光学系统110的滤光器111的相位调制量的反卷积处理的复原处理(步骤S58)。即，Y信号复原处理部127进行与以任意处理对象的像素为中心的规定单位的像素组相对应的亮度信号(在此为7×7像素的亮度信号)、与预先存储于存储器等的复原滤波器(7×7的反卷积核及其运算系数)的反卷积处理(反卷积运算处理)。Y信号复原处理部127以覆盖摄像面的整个区域的方式反复进行该规定单位的每个像素组的反卷积处理，由此进行消除整个图像的像模糊的复原处理。复原滤波器根据实施反卷积处理的像素组的中心位置而被设定。即，在接近的像素组中适用共同的复原滤波器。为了进一步简化复原处理，优选对所有像素组适用共同的复原滤波器。

如图37(a)所示，通过EDoF光学系统110之后的亮度信号的点像(光学像)作为较大的点像(模糊的图像)而成像于成像元件112，但通过Y信号复原处理部127中的反卷积处理，如图37(b)所示那样复原成较小的点像(高分辨率的图像)。

如上所述，通过对去马赛克处理之后的亮度信号施以复原处理，RGB无需分别具有复原处理的参数，能够使复原处理高速化。并且，并非将与分散位置上的R、G、B像素相对应的R、G、B图像信号分别汇集为一个单位来进行反卷积处理，而是将接近的像素的亮度信号彼此汇集为规定单位，并在该单位中适用共同的复原滤波器来进行反卷积处理，因此复原处理的精度得到提高。另外，对于色差信号Cr、Cb，在基于人眼的视觉特性上即使不在复原处理中提高分辨率，在画质上也是容许的。并且，以JPEG这样的压缩形式记录图像时，色差信号以比亮度信号更高的压缩率被压缩，因此没有必要通过复原处理来提高分辨率。如此一来，能够兼顾复原精度的提高与处理的简单化及高速化。

对于如以上说明的EDoF系统的复原处理，也能够适用上述实施方式所涉及的点像复原处理。

并且，能够适用本发明的方式并不限定于数码相机10、计算机60C及服务器80，除了以摄影为主要功能的相机类之外，对于除了摄影功能以外还具备摄影以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类，也能够适用本发明。作为能够适用本发明的其他方式，例如可举出具有相机功能的移动电话和智能手机、PDA(PersonalDigital Assistants)、便携式游戏机。以下，对能够适用本发明的智能手机的一例进行说明。

＜对智能手机的应用例＞

图38是表示作为本发明的摄像装置的一实施方式的智能手机201的外观的图。图38所示的智能手机201具有平板状框体202，在框体202的一侧的面具备作为显示部的显示面板221与作为输入部的操作面板222成为一体的显示输入部220。并且，这种框体202具备扬声器231、麦克风232、操作部240及相机部241。另外，框体202的结构并不限定于此，例如能够采用显示部与输入部独立的结构，或者采用具有折叠结构或滑动机构的结构。

图39是表示图38所示的智能手机201的结构的框图。如图39所示，作为智能手机的主要的构成要件，具备无线通信部210、显示输入部220、通话部230、操作部240、相机部241、存储部250、外部输入输出部260、GPS(Global Positioning System)接收部270、动作传感器部280、电源部290及主控制部200(包含上述相机主体控制器28)。并且，作为智能手机201的主要功能，具备经由基站装置BS和移动通信网NW进行移动无线通信的无线通信功能。

无线通信部210根据主控制部200的命令，对容纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信，进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发及Web数据或流数据等的接收。

显示输入部220是所谓的触控面板，其具备显示面板221及操作面板222，所述显示输入部通过主控制部200的控制，显示图像(静态图像及动态图像)和文字信息等来视觉性地向用户传递信息，并且检测用户对所显示的信息的操作。

显示面板221是将LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作显示设备的装置。操作面板222是以能够识别显示于显示面板221的显示面上的图像的方式载置，并检测通过用户的手指或触控笔来操作的一个或多个坐标的设备。若通过用户的手指或触控笔操作该设备，则将因操作而产生的检测信号输出至主控制部200。接着，主控制部200根据所接收的检测信号检测显示面板221上的操作位置(坐标)。

如图38所示，作为本发明的摄像装置的一实施方式来例示的智能手机201的显示面板221与操作面板222成为一体而构成显示输入部220，配置成操作面板222完全覆盖显示面板221。采用该配置时，操作面板222可以对显示面板221以外的区域也具备检测用户操作的功能。换言之，操作面板222可具备针对与显示面板221重叠的重叠部分的检测区域(以下，称为显示区域)及针对除此以外的不与显示面板221重叠的外缘部分的检测区域(以下，称为非显示区域)。

另外，可使显示区域的大小与显示面板221的大小完全一致，但并非一定要使两者一致。并且，操作面板222可具备外缘部分及除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据框体202的大小等而适当设计。此外，作为在操作面板222中采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式或静电电容方式等，能够采用任意方式。

通话部230具备扬声器231和麦克风232，所述通话部将通过麦克风232输入的用户的语音转换成能够在主控制部200中处理的语音数据来输出至主控制部200、或者对通过无线通信部210或外部输入输出部260接收的语音数据进行解码而从扬声器231输出。并且，如图38所示，例如能够将扬声器231搭载于与设置有显示输入部220的面相同的面，并将麦克风232搭载于框体202的侧面。

操作部240为使用键开关等的硬件键，接受来自用户的命令。例如，如图38所示，操作部240搭载于智能手机201的框体202的侧面，是若用手指等按下则开启，若手指离开则通过弹簧等的复原力而成为关闭状态的按钮式开关。

存储部250存储主控制部200的控制程序和控制数据、应用软件、将通信对象的名称和电话号码等建立对应关联的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据和已下载的内容数据，并且临时存储流数据等。并且，存储部250由智能手机内置的内部存储部251及装卸自如且具有外部存储器插槽的外部存储部252构成。另外，构成存储部250的各个内部存储部251与外部存储部252通过使用闪存类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Access Memory)或ROM(ReadOnly Memory)等存储介质来实现。

外部输入输出部260发挥与连结于智能手机201的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)或紫蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。

作为与智能手机201连结的外部设备，例如有：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(Memory card)或SIM(SubscriberIdentity Module)/UIM(User Identity Module)卡、经由音频/视频I/O(Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、耳机等。外部输入输出部能够将从这种外部设备接收到传送的数据传递至智能手机201内部的各构成要件、或将智能手机201内部的数据传送至外部设备。

GPS接收部270根据主控制部200的命令，接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，并检测由智能手机201的纬度、经度、高度构成的位置。GPS接收部270在能够从无线通信部210或外部输入输出部260(例如无线LAN)获取位置信息时，还能够利用该位置信息检测位置。

动作传感器部280例如具备3轴加速度传感器等，根据主控制部200的命令，检测智能手机201的物理动作。通过检测智能手机201的物理动作，可检测智能手机201的移动方向或加速度。该检测结果被输出至主控制部200。

电源部290根据主控制部200的命令，向智能手机201的各部供给积蓄在电池(未图示)中的电力。

主控制部200具备微处理器，根据存储部250所存储的控制程序或控制数据进行动作，并统一控制智能手机201的各部。并且，主控制部200为了通过无线通信部210进行语音通信或数据通信，具备控制通信系统的各部的移动通信控制功能及应用处理功能。

应用处理功能通过主控制部200根据存储部250所存储的应用软件进行动作来实现。作为应用处理功能，例如有控制外部输入输出部260来与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览Web页的Web浏览功能等。

并且，主控制部200具备根据接收数据或所下载的流数据等图像数据(静态图像或动态图像的数据)而在显示输入部220显示影像等的图像处理功能。图像处理功能是指主控制部200对上述图像数据进行解码，对该解码结果实施图像处理并将图像显示于显示输入部220的功能。

而且，主控制部200执行对显示面板221的显示控制及检测通过操作部240、操作面板222进行的用户操作的操作检测控制。

通过执行显示控制，主控制部200显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于使无法完全落入显示面板221的显示区域的较大图像等接受使图像的显示部分移动的命令的软件键。

并且，通过执行操作检测控制，主控制部200检测通过操作部240进行的用户操作，或者通过操作面板222接受对上述图标的操作或对上述窗口的输入栏输入字符串，或者接受通过滚动条进行的显示图像的滚动请求。

而且，通过执行操作检测控制，主控制部200具备判定对操作面板222操作的位置是与显示面板221重叠的重叠部分(显示区域)还是除此以外的不与显示面板221重叠的外缘部分(非显示区域)，并控制操作面板222的感应区域或软件键的显示位置的触控面板控制功能。

并且，主控制部200还能够检测对操作面板222的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作并非以往的简单的触控操作，而是表示通过手指等描绘轨迹、或者同时指定多个位置、或者组合这些来从多个位置对至少一个描绘轨迹的操作。

相机部241是使用CMOS(Complementary Metal Oxide Semiconductor)或CCD(Charge-Coupled Device)等成像元件进行电子摄影的数码相机。并且，相机部241能够通过主控制部200的控制，将通过拍摄获得的图像数据转换成例如JPEG(Joint Photographiccoding Experts Group)等被压缩的图像数据，并记录于存储部250，或能够通过外部输入输出部260和无线通信部210输出。在图38所示的智能手机201中，相机部241搭载于与显示输入部220相同的面，但相机部241的搭载位置并不限定于此，也可搭载于显示输入部220的背面，或者也可以搭载有多个相机部241。另外，搭载有多个相机部241时，也能够切换用于进行拍摄的相机部241来单独拍摄、或者同时使用多个相机部241来进行拍摄。

并且，相机部241能够利用于智能手机201的各种功能中。例如，能够在显示面板221显示由相机部241获取的图像，或者作为操作面板222的操作输入之一而利用相机部241的图像。并且，当GPS接收部270检测位置时，也能够参考来自相机部241的图像来检测位置。而且，还能够参考来自相机部241的图像，不使用3轴加速度传感器或者与3轴加速度传感器同时使用来判断智能手机201的相机部241的光轴方向，或判断当前的使用环境。当然，还能够在应用软件内利用来自相机部241的图像。

另外，能够在静态画面或动画的图像数据上附加通过GPS接收部270获取的位置信息、通过麦克风232获取的语音信息(也可以通过主控制部等进行语音文本转换而成为文本信息)、或通过动作传感器部280获取的姿势信息等等来记录于存储部250，还能够通过外部输入输出部260或无线通信部210输出。

在上述的智能手机201中，与点像复原处理有关的上述各处理部例如可通过主控制部200、存储部250等适当地实现。例如，主控制部具备上述图像处理部35(图2)。

本发明并不限定于上述实施方式，当然也能够在不脱离本发明的主旨的范围内进行各种变形。

符号说明

10-数码相机、12-透镜单元、14-相机主体、16-透镜、17-光圈、18-光学系统操作部、20-透镜单元控制器、21-透镜单元存储部、22-透镜单元输入输出部、26-成像元件、28-相机主体控制器、29-用户界面、30-相机主体输入输出部、32-输入输出接口、33-伽马校正处理部、34-设备控制部、35-图像处理部、36-锐化恢复部、37-锐化恢复控制部、38-复原处理部、39-轮廓强调处理部、40-亮度信息获取部、42-点像复原滤波器处理部、43-复原乘法器、44-复原加法器、46-轮廓强调滤波器处理部、47-锐化乘法器、48-锐化加法器、52-强度自动调整部、53-复原滤波器选择部、54-轮廓强调强度选择部、58-复原滤波器存储部、60-轮廓强调强度列表存储部、60C-计算机、62-计算机输入输出部、64-计算机控制器、65-非线性处理部、66-显示器、67-点像复原强度列表存储部、69-恢复率选择部、70-互联网、80-服务器、82-服务器输入输出部、84-服务器控制器、91-适当曝光量获取部、92-计算机、97-服务器、101-摄像模块、110-EDoF光学系统、200-主控制部、201-智能手机。

Claims (12)

1.一种图像处理装置，其对通过利用光学系统拍摄被摄体像而获取的原图像数据进行使用基于所述光学系统的点扩散函数的复原滤波器的复原处理，由此获取恢复图像数据，所述图像处理装置具备：

灰度校正部，对所述原图像数据进行基于对数化处理的灰度校正；

复原处理部，对已进行所述灰度校正的原图像数据适用由与所述对数化处理之前的所述原图像数据对应的滤波器系数构成的所述复原滤波器，由此进行所述复原处理；

锐化处理部，对已进行所述灰度校正的所述原图像数据进行利用锐化滤波器的锐化处理；

锐化恢复控制部，其为能够通过控制所述复原处理部和所述锐化处理部来调整所述复原处理的复原率和所述锐化处理的锐化率的锐化恢复控制部，其获取基于所述复原率和所述锐化率的总锐化复原率以及所述复原率和所述锐化率中的一个，并根据所述总锐化复原率计算出所述复原率和所述锐化率中的另一个；及

亮度信息获取部，获取基于所述原图像数据的原图像的亮度信息，

所述锐化恢复控制部根据所述获取到的亮度信息，调整所述复原率和所述锐化率。

2.根据权利要求1所述的图像处理装置，其中，

所述亮度信息获取部获取构成所述原图像的每个像素的亮度值和该亮度值的分布作为所述亮度信息。

3.根据权利要求1所述的图像处理装置，其中，

所述亮度信息获取部获取从获取到的亮度值获得的饱和像素的信息作为所述亮度信息。

4.根据权利要求3所述的图像处理装置，其中，

所述锐化恢复控制部根据从所述获取到的亮度值获得的饱和像素的信息，调整所述饱和像素和位于该饱和像素周边的像素中的所述复原率和所述锐化率中的至少一个。

5.根据权利要求3或4所述的图像处理装置，其中，

所述亮度信息获取部获取位于所述饱和像素周边的像素的亮度值作为所述亮度信息。

6.根据权利要求1至4中任一项所述的图像处理装置，其中，

所述锐化恢复控制部获取所述光学系统的个体差异信息，并根据所述获取到的所述个体差异信息和所述亮度信息，调整所述复原率和所述锐化率中的至少一个。

7.根据权利要求1所述的图像处理装置，其中，

所述亮度信息获取部获取摄影曝光信息作为所述亮度信息。

8.根据权利要求1所述的图像处理装置，其中，

所述亮度信息获取部获取构成所述原图像的每个像素的亮度值的直方图作为所述亮度信息。

9.根据权利要求8所述的图像处理装置，其中，

所述亮度信息获取部获取所述直方图的中央值作为所述亮度信息。

10.根据权利要求1至4中任一项所述的图像处理装置，

所述图像处理装置具有摄影条件获取部，当所述原图像数据为构成动态图像的多帧中的1帧的数据时，获取与所述原图像数据对应的帧和与所述原图像数据对应的帧的时序列上的前帧或后帧的摄影条件，

所述锐化恢复控制部根据由所述摄影条件获取部获取的所述摄影条件和所述亮度信息，调整所述复原率和所述锐化率中的至少一个。

11.一种摄影装置，其具有权利要求1至4中任一项所述的图像处理装置。

12.一种图像处理方法，其对通过利用光学系统拍摄被摄体像而获取的原图像数据进行使用基于所述光学系统的点扩散函数的复原滤波器的复原处理，由此获取恢复图像数据，所述图像处理方法具备：

灰度校正步骤，对所述原图像数据进行基于对数化处理的灰度校正；

复原处理步骤，对已进行所述灰度校正的原图像数据适用由与所述对数化处理之前的所述原图像数据对应的滤波器系数构成的所述复原滤波器，由此进行所述复原处理；

锐化处理步骤，对已进行所述灰度校正的所述原图像数据进行利用锐化滤波器的锐化处理；

锐化恢复控制步骤，其为能够通过控制所述复原处理步骤和所述锐化处理步骤来调整所述复原处理的复原率和所述锐化处理的锐化率的锐化恢复控制步骤，其获取基于所述复原率和所述锐化率的总锐化复原率以及所述复原率和所述锐化率中的一个，并根据所述总锐化复原率计算出所述复原率及所述锐化率中的另一个；及

亮度信息获取步骤，获取基于所述原图像数据的原图像的亮度信息，

所述锐化恢复控制步骤根据所述获取到的亮度信息调整所述复原率和所述锐化率。