CN105075239A - 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置、程序以及记录介质 - Google Patents

Abstract

本发明涉及复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置、程序以及记录介质。在本发明的一种方式的复原滤波器生成装置中，具备：信息取得部(82)，取得表示光学系统(14)的光学传递函数的基于颜色的波动的信息；以及复原滤波器生成部(84)，根据通过信息取得部(82)取得的信息，来生成根据光学传递函数的基于颜色的波动来减弱复原强度的复原滤波器，与假定为没有光学传递函数的基于颜色的波动而确定的理想滤波器的复原强度相比，使复原滤波器的复原强度减。由此，降低过校正。

Description

复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置、程序以及记录介质

技术领域

本发明涉及生成用于针对根据多种颜色中的每种颜色的图像数据来生成的亮度系图像数据进行复原处理的复原滤波器的复原滤波器生成装置以及方法、使用该复原滤波器来进行复原处理的图像处理装置以及方法、具备该图像处理装置的摄像装置、用于生成复原滤波器的程序、以及记录介质。

背景技术

在通过数码相机等摄像装置来对被摄体进行摄像而得到的图像中，有时产生由光学系统(摄影透镜等)的各种像差引起的图像劣化。该像差所导致的图像劣化能够通过点图像分布函数(PSF：PointSpreadFunction)等来表现。因此，根据PSF等光学系统的劣化特性来生成复原滤波器，使用该复原滤波器来针对图像数据实施点图像复原处理(复原处理)，从而能够降低图像劣化。

专利文献1(特别是参照第[0043]－[0048]段)公开了如下发明：从由摄像设备输入了的图像数据中分离亮度分量Y，使用该亮度分量Y(＝Wr×R+Wg×G+Wb×B)中的R、G、B的系数(Wr，Wg，Wb)，来合成R、G、B各颜色的点图像分布函数(PSFr，PSFg，PSFb)，从而取得亮度分量的点图像分布函数PSFy(＝Wr×PSFr+Wg×PSFg+Wb×PSFb)，根据该亮度分量的点图像分布函数PSFy来计算针对亮度分量Y的校正系数。

专利文献2公开了如下发明：在作为复原滤波器的调整参数而选择了振幅特性的情况下，根据用户用调整杆调整了的量，来变更复原滤波器的增益(振幅特性)，在作为调整参数而选择了相位特性的情况下，根据用户用调整杆调整了的量，来变更复原滤波器的相位角(相位特性)。

专利文献3公开了如下发明：通过相对的平行移动来降低点图像分布函数的颜色分量间的差异(色像差)，根据该点图像分布函数来生成复原滤波器。

现有技术文献

专利文献

专利文献1：日本特开2010－140442号公报

专利文献2：日本特开2011－193277号公报

专利文献3：日本特开2012－129932号公报

发明内容

发明所要解决的课题

专利文献1中记载的发明仅校正校正对象的图像数据的亮度分量，所以能够在全部的颜色中使R、G、B的相位偏移量平均地返回，但存在在特定的波长的颜色中发生相位偏移的过度返回(过校正)的问题。特别是，在针对亮度系图像数据进行相位校正的情况下，与针对多种颜色(R、G、B)的各颜色的图像数据(R图像数据、G图像数据、B图像数据)单独进行相位校正的情况不同，容易产生相位的过校正。如果相位成为过校正，则有时产生假象，反而画质劣化。

专利文献2中记载的发明能够通过用户输入，单独地调整复原滤波器的振幅特性(调制特性)与相位特性，但针对R、G、B各颜色的图像数据，进行复原处理，未触及在仅校正亮度分量的情况下产生的特定的颜色中的过校正的问题，如果直接应用于仅对亮度分量的校正，则发生过校正。

专利文献3中记载的发明能够生成针对色像差校正后的图像数据的复原滤波器，但同样地针对R、G、B各颜色的图像数据进行复原处理，未触及在仅校正亮度分量的情况下产生的特定的颜色中的过校正的问题。

本发明的目的在于，提供一种在针对亮度系图像数据进行复原处理的情况下能够根据光学传递函数的波动来降低过校正的复原文件生成装置以及方法、图像处理装置以及方法、摄像装置、程序、以及记录介质。

用于解决课题的技术方案

为了达到上述目的，本发明提供一种复原滤波器生成装置，生成复原滤波器，该复原滤波器用于针对根据由具有光学系统的摄像装置得到的各颜色的图像数据来生成的、与亮度相关的图像数据即亮度系图像数据，进行复原处理，其中，该复原滤波器生成装置备：信息取得部，取得表示光学系统的光学传递函数的取决于颜色的波动的波动信息；以及复原滤波器生成部，生成复原滤波器，复原滤波器生成部根据通过信息取得部取得的波动信息来生成复原滤波器，该复原滤波器根据取决于颜色的波动来减弱复原强度，与假定为没有取决于颜色的波动而确定的理想滤波器的复原强度相比，使复原强度减弱。

此处，作为“光学传递函数”，可列举例如PSF(PointSpreadFunction：也称为“点图像分布函数”或者“点扩散函数”)，对PSF进行傅立叶变换而得到的OTF(OpticalTransferFunction)、PTF(PhaseTransferFunction：也称为“相位传递函数”)、MTF(ModulationTransferFunction：也称为“调制传递函数”或者“振幅传递函数”)。另外，“光学传递函数”不直接限定于表示“振幅”以及“相位”中的至少一个的信息。也可以通过针对“光学传递函数”进行特定的运算处理，计算“振幅”以及“相位”中的至少一个。即，“光学传递函数”间接地包括表示“振幅”以及“相位”中的至少一个的信息。

另外，“光学系统的光学传递函数的基于颜色的波动”是指光学系统中的各颜色的光学传递函数间的波动。

根据本发明，具备生成复原滤波器的复原滤波器生成部，复原滤波器生成部根据所取得的波动信，生成复原滤波器，该复原滤波器根据取决于颜色的波动来减弱复原强度，与假定为没有取决于颜色的波动而确定的理想滤波器的复原强度相比，减弱复原强度，所以在生成用于针对亮度系图像数据进行复原处理的复原滤波器的情况下，能够生成降低了光学传递函数的基于颜色的波动的过校正的韧性高的复原滤波器。

在本发明的一种实施方式中，表示光学传递函数的基于颜色的波动的信息(光学传递函数的波动信息)是取决于颜色的波动设为服从正态分布而计算出的光学传递函数的方差。由此，防止生成具有仅针对亮度系图像数据上的特定的颜色而偏差了的复原强度的复原滤波器。

在本发明的一种实施方式中，信息取得部取得各颜色的光学传递函数，根据各颜色的光学传递函数来计算取决于颜色的波动。由此，即使没有特地准备表示光学传递函数的基于颜色的波动的信息，如果仅准备有各颜色的光学传递函数，则能够生成具有针对基于形成亮度系图像数据的所有颜色的光学传递函数波动而没有偏差的可靠的复原强度的复原滤波器。

在本发明的一种实施方式中，信息取得部设为取决于颜色的波动服从正态分布而计算光学传递函数的平均以及方差，复原滤波器生成部根据光学传递函数的平均以及方差来生成复原滤波器。由此，防止生成具有仅针对亮度系图像数据上的特定的颜色而偏差了的复原强度的复原滤波器。

在本发明的一种实施方式中，复原滤波器生成部根据平均以及方差的项被设置于分母的算式来生成复原滤波器。另外，在本发明的一种实施方式中，复原滤波器生成部针对每个空间频率计算平均以及方差，根据每个该空间频率的平均以及方差来生成复原滤波器。由此，根据作为形成亮度系图像数据的所有颜色中的光学传递函数的波动的中心的“平均”、以及表示形成亮度系图像数据的所有颜色中的光学传递函数波动的“方差”，来生成光学传递函数的基于颜色的波动(方差)越大则越减弱复原强度的复原滤波器。

在本发明的一种实施方式中，复原滤波器生成部生成在取决于颜色的波动越大的空间频率下越使复原强度减弱的复原滤波器。由此，在光学传递函数的波动越大的空间频率下，复原强度与理想滤波器相比越减弱，所以在光学传递函数的波动小的空间频率下，以与理想滤波器接近的复原强度来进行复原，同时在光学传递函数的波动大的空间频率下，能够抑制过校正。

在本发明的一种实施方式中，信息取得部取得由摄像装置得到的亮度系图像数据中的颜色的概率分布以及各颜色的光学传递函数，根据所取得的亮度系图像数据中的颜色的概率分布以及各颜色的光学传递函数，光学传递函数的取决于颜色的波动设为服从正态分布，来计算表示该光学传递函数的取决于颜色的波动的信息(波动信息)。由此，如果准备有亮度系图像数据中的颜色的概率分布与各颜色的光学传递函数，则能够生成具有针对基于形成亮度系图像数据的所有颜色的光学传递函数波动没有偏差的可靠的复原强度的复原滤波器。

在本发明的一种实施方式中，波动信息包括光学传递函数的至少由光学系统的制造引起的波动，复原滤波器生成部生成复原滤波器，该复原滤波器与假定为没有由光学系统的制造引起的波动而确定的理想滤波器的复原强度相比，使复原滤波器的复原强度减弱。由此，也能够根据光学传递函数的由制造导致的波动来降低过校正。

在本发明的一种实施方式中，波动信息包括光学传递函数的取决于摄影条件的波动，复原滤波器生成部使复原滤波器的复原强度比假定为没有取决于摄影条件的波动而确定的理想滤波器的复原强度弱。由此，也能够根据光学传递函数的由摄影条件导致的波动来降低过校正。

在本发明的一种实施方式中，复原滤波器生成部至少生成进行伴随着相位复原的复原处理的复原滤波器。由此，特别是在伴随着相位复原的复原处理中，能够生成针对基于颜色的波动而韧性高的复原滤波器。

在本发明的一种实施方式中，复原滤波器生成部生成进行不伴随着相位复原的复原处理的复原滤波器。由此，在不伴随着相位复原的复原处理中，能够生成针对基于颜色的波动而韧性高的复原滤波器。

在本发明的一种实施方式中，复原滤波器生成部生成维纳滤波器来作为复原滤波器。

在本发明的一种实施方式中，光学系统具有对相位进行调制而使景深扩大的透镜部。

另外，本发明提供一种复原滤波器生成装置，生成复原滤波器，该复原滤波器用于针对由具有光学系统的摄像装置得到的图像数据进行复原处理，其中，复原滤波器生成装置具备：信息取得部，取得表示光学系统的光学传递函数的、由光学系统的制造引起的波动的波动信息；以及复原滤波器生成部，生成复原滤波器，波动信息是由光学系统的制造引起的波动设为服从正态分布而计算出的光学传递函数的方差，复原滤波器生成部根据通过信息取得部取得的波动信息，来生成复原滤波器，该复原滤波器根据由光学系统的制造引起的波动来减弱复原强度，通过根据方差的项被设置于分母的算式来计算复原强度，与假定为没有由光学系统的制造引起的波动而确定的理想滤波器的复原强度相比，减弱复原强度。由此，能够生成针对光学传递函数的由光学系统的制造引起的波动降低了过校正的韧性高的复原滤波器。另外，不生成具有仅在光学系统的特定的个体中偏差了的复原强度的复原滤波器，能够生成具有针对光学系统的所有个体而没有偏差的可靠的复原强度的复原滤波器。

另外，本发明提供一种复原滤波器生成装置，生成复原滤波器，该复原滤波器用于针对由具有光学系统的摄像装置得到的图像数据进行复原处理，其中，复原滤波器生成装置具备：信息取得部，取得表示光学系统的光学传递函数的取决于摄影条件的波动的波动信息；以及复原滤波器生成部，生成复原滤波器，波动信息是取决于摄影条件的波动设为服从正态分布而计算出的光学传递函数的方差，复原滤波器生成部根据通过信息取得部取得的波动信息，来生成复原滤波器，该复原滤波器根据取决于摄影条件的波动来减弱复原强度，通过根据方差的项被设置于分母的算式来计算复原强度，与假定为没有取决于摄影条件的波动而确定的理想滤波器的复原强度相比，减弱复原强度。能够生成针对光学传递函数的取决于摄影条件的波动降低了过校正的韧性高的复原滤波器。另外，不生成具有仅在特定的摄影条件中偏差了的复原强度的复原滤波器，能够生成具有针对光学传递函数的取决于摄影条件的波动而没有偏差的可靠的复原强度的复原滤波器。

另外，本发明提供一种图像处理装置，具备：图像数据取得部，取得根据由具有光学系统的摄像装置得到的各颜色的图像数据来生成的与亮度相关的图像数据即亮度系图像数据；复原滤波器储存部，储存通过复原滤波器生成装置来生成的复原滤波器；以及复原处理部，针对由图像数据取得部取得的亮度系图像数据，使用在复原滤波器储存部中储存了的复原滤波器来实施复原处理。

另外，本发明提供一种图像处理装置，具备：图像数据取得部，取得由具有光学系统的摄像装置得到的图像数据；复原滤波器储存部，储存通过复原滤波器生成装置来生成的复原滤波器；以及复原处理部，针对由图像数据取得部取得的图像数据，使用在复原滤波器储存部中储存的复原滤波器来实施复原处理。

另外，本发明提供包括复原滤波器生成装置的图像处理装置。

另外，本发明提供一种摄像装置，具备：光学系统；输出多种颜色中的每种颜色的图像数据的摄像元件；以及图像处理装置。

另外，本发明提供一种复原滤波器生成方法，生成复原滤波器，该复原滤波器用于针对根据由具有光学系统的摄像装置得到的各颜色的图像数据来生成的、与亮度相关的图像数据即亮度系图像数据进行复原处理，其中，复原滤波器生成方法具备：信息取得步骤，取得表示光学系统的光学传递函数的取决于颜色的波动的波动信息；以及复原滤波器生成步骤，生成复原滤波器，在复原滤波器生成步骤中，根据在信息取得步骤中取得的波动信息来生成复原滤波器，该复原滤波器根据取决于颜色的波动来减弱复原强度，与假定为没有取决于颜色的波动而确定的理想滤波器的复原强度相比，减弱复原强度。

另外，本发明提供一种复原滤波器生成方法，生成复原滤波器，该复原滤波器用于针对由具有光学系统的摄像装置得到的图像数据进行复原处理，复原滤波器生成方法具备：信息取得步骤，取得表示光学系统的光学传递函数的、由光学系统的制造引起的波动的波动信息；以及复原滤波器生成步骤，生成复原滤波器，波动信息是由光学系统的制造引起的波动设为服从正态分布而计算出的光学传递函数的方差，在复原滤波器生成步骤中，根据在信息取得步骤中取得的波动信息，来生成复原滤波器，该复原滤波器根据光学传递函数的由光学系统的制造引起的波动来减弱复原强度，通过根据方差的项被设置于分母的算式来计算复原强度，与假定为没有由光学系统的制造引起的波动而确定的理想滤波器的复原强度相比，减弱复原强度。

另外，本发明提供一种复原滤波器生成方法，生成复原滤波器，该复原滤波器用于针对由具有光学系统的摄像装置得到的图像数据进行复原处理，其中，复原滤波器生成方法具备：信息取得步骤，取得表示光学系统的光学传递函数的取决于摄影条件的波动的波动信息；以及复原滤波器生成步骤，生成复原滤波器，在信息取得步骤中取得的波动信息是取决于摄影条件的波动设为服从正态分布而计算出的光学传递函数的方差，在复原滤波器生成步骤中，根据在信息取得步骤中取得的波动信息，来生成复原滤波器，该复原滤波器根据取决于摄影条件的波动来减弱复原强度，通过根据方差的项被设置于分母的算式来计算复原强度，与假定为没有取决于摄影条件的波动而确定的理想滤波器的复原强度相比，减弱复原强度。

另外，本发明提供一种图像处理方法，具有：图像数据取得步骤，取得根据通过具有光学系统的摄像装置得到的各颜色的图像数据来生成的、与亮度相关的图像数据即亮度系图像数据；以及复原处理步骤，使用通过复原滤波器生成方法来生成的复原滤波器，针对在图像数据取得步骤中取得的亮度系图像数据实施复原处理。

另外，本发明提供一种图像处理方法，具有：图像数据取得步骤，取得通过具有光学系统的摄像装置得到的图像数据；复原处理步骤，使用通过复原滤波器生成方法来生成的复原滤波器，针对在图像数据取得步骤中取得的图像数据，实施复原处理。

另外，本发明提供一种程序，使计算机执行生成复原滤波器的处理，该复原滤波器用于针对根据由具有光学系统的摄像装置得到的各颜色的图像数据来生成的、与亮度相关的图像数据即亮度系图像数据进行复原处理，其中，程序具备：信息取得步骤，取得表示光学系统的光学传递函数的取决于颜色的波动的波动信息；以及复原滤波器生成步骤，生成复原滤波器，在复原滤波器生成步骤中，根据在信息取得步骤中取得的波动信息来生成复原滤波器，该复原滤波器根据取决于颜色的波动来减弱复原强度，与假定为没有取决于颜色的波动而确定的理想滤波器的复原强度相比，减弱复原强度。

另外，本发明提供一种程序，使计算机执行生成复原滤波器的处理，该复原滤波器用于针对由具有光学系统的摄像装置得到的图像数据进行复原处理，其中，程序具备：信息取得步骤，作为表示光学系统的光学传递函数的、由光学系统的制造引起的波动的波动信息，取得光学系统的制造引起的波动设为服从正态分布而计算出的光学传递函数的方差；以及复原滤波器生成步骤，生成复原滤波器，在复原滤波器生成步骤中，根据取得的波动信息来生成复原滤波器，该复原滤波器根据由光学系统的制造引起的波动来减弱复原强度，通过根据方差的项被设置于分母的算式来计算复原强度，与假定为没有由光学系统的制造引起的波动而确定的理想滤波器的复原强度相比，减弱复原强度。

另外，本发明提供一种程序，使计算机执行生成复原滤波器的处理，该复原滤波器用于针对由具有光学系统的摄像装置得到的图像数据进行复原处理，其中，程序具备：信息取得步骤，作为表示光学系统的光学传递函数的取决于摄影条件的波动的波动信息，取得取决于摄影条件的波动设为服从正态分布而计算出的光学传递函数的方差；以及复原滤波器生成步骤，生成复原滤波器，在复原滤波器生成步骤中，根据在信息取得步骤中取得的波动信息来生成复原滤波器，该复原滤波器根据取决于摄影条件的波动来减弱复原强度，通过根据方差的项被设置于分母的算式来计算复原强度，与假定为没有取决于摄影条件的波动而确定的理想滤波器的复原强度相比，减弱复原强度。

另外本发明提供一个计算机可读记录介质，记录了上述方式中的任一个所涉及的程序。

发明效果

根据本发明，能够根据光学传递函数的波动来降低过校正。

附图说明

图1是示出包括应用本发明的复原滤波器生成装置与作为图像处理装置的一个例子的数码相机的系统结构例的框图。

图2是用于说明点图像复原处理的原理的说明图。

图3是用于说明振幅校正与相位校正的差异的说明图。

图4是用于说明取决于颜色而在光学传递函数中产生波动的说明图。

图5是用于说明采用同样的概率论来处理取决于颜色的OTF波动与由制造导致的OTF波动的说明图。

图6是示出复原滤波器生成处理的一个例子的概略的流程图。

图7是示出点图像复原处理的一个例子的概略的框图。

图8是示出关于是否实施相位校正的切换处理的概略的流程图。

图9是示出用于说明复原滤波器生成处理的复原处理模型的图。

图10是示出第一实施方式中的复原滤波器生成处理例的流程的流程图。

图11示出光学传递函数的正态分布中的针对空间频率ω的平均μ、平均μ+标准差σ、平均μ－标准差σ的例子。

图12是示出数码相机的硬件结构例的框图。

图13是示出图12的图像处理电路的结构例的框图。

图14是示出复原滤波器生成装置的硬件结构例的框图。

图15是包括复原滤波器生成装置以及图像处理装置的数码相机的框图。

图16是包括复原滤波器生成装置以及图像处理装置的计算机装置的框图。

图17是示出具备EDoF光学系统的摄像模块的一种方式的框图。

图18是示出EDoF光学系统的一个例子的图。

图19是示出具备EDoF光学系统的数码相机的复原处理部中的复原处理的一个例子的流程图。

图20是示出智能手机的外观图。

图21是示出图20所示的智能手机的结构的框图。

具体实施方式

参照附图，说明本发明的实施方式。

<系统结构例>

图1是示出包括应用本发明的复原滤波器生成装置以及作为图像处理装置的一个例子的数码相机的系统结构例的框图。

数码相机10(摄像装置)构成为包括具有光学系统14以及摄像元件16的摄像部18、根据通过摄像部18而得到的多种颜色(在本例子中，R、G、B)的各颜色的图像数据来生成作为与亮度相关的图像数据的亮度系图像数据的亮度系图像数据生成部22、储存用于针对亮度系图像数据(或者各颜色的图像数据)进行复原处理的复原滤波器F的复原滤波器储存部24、以及使用在复原滤波器储存部24中储存了的复原滤波器F来针对亮度系图像数据(或者各颜色的图像数据)实施点图像复原处理的复原处理部26。

复原滤波器生成装置80构成为包括取得与数码相机10的光学系统14中的点图像分布对应的光学传递函数以及表示光学传递函数的波动的波动信息(以下，也称为“OTF波动”)的信息取得部82、根据通过信息取得部82取得的信息来生成复原滤波器F的复原滤波器生成部84、以及针对是否使复原滤波器F进行亮度系图像数据(或者各颜色的图像数据)的相位校正进行切换的切换部86。

作为通过信息取得部82取得的“光学传递函数”，可列举例如PSF(PointSpreadFunction：以下也称为“点图像分布函数”或者“点扩散函数”)、以及对PSF进行傅立叶变换而得到的所谓OTF(OpticalTransferFunction：以下也称为“复OTF”或者“复光学传递函数”)。复OTF由MTF(ModulationTransferFunction：以下也称为“调制传递函数”或者“振幅传递函数”)、以及PTF(PhaseTransferFunction：以下也称为“相位传递函数”)构成。也包括作为“光学传递函数”而仅取得MTF或者仅取得PTF的情况。另外，也可以是“光学传递函数”包括调制分量(以下，也称为“振幅分量”)以及相位分量中的至少一方、并且根据光学传递函数计算MTF以及PTF中的至少一方的情况。即，“光学传递函数”间接包括表示MTF以及PTF中的至少一方的信息。

作为通过信息取得部82取得的光学传递函数的波动信息(也称为“OTF波动”)，可列举例如基于亮度系图像数据(或者各颜色的图像数据)所表示的颜色(某个表色系的颜色空间上的颜色)的OTF波动、由光学系统14的制造导致的个体波动、以及由通过数码相机10(摄像装置)进行摄影时的摄影条件导致的OTF波动。此处，“光学系统的光学传递函数的基于颜色的波动”是指光学系统中的各颜色的光学传递函数间的波动。

本例的信息取得部82也可以取得各颜色的光学传递函数，根据该各颜色的光学传递函数，来计算光学传递函数的基于颜色的波动。

复原滤波器生成部84根据通过信息取得部82取得的信息(光学传递函数以及波动信息)，来生成根据光学传递函数的波动而减弱复原强度的复原滤波器。具体来说，复原滤波器生成部84针对每个空间频率，与假定为没有光学传递函数的波动而确定的理想滤波器的复原强度相比，使所生成的复原滤波器的复原强度减弱。

<复原处理>

图2是用于说明点图像复原处理的原理的说明图。在图2中，为了容易理解，示出了作为被摄体像而对点图像进行摄像的情况。被摄体像经由包括透镜11以及光圈12的光学系统14，被成像于摄像元件16的摄像面，通过该摄像元件16来进行摄像。从该摄像元件16输出由于光学系统14的像差而被摄体像劣化了的图像数据即劣化图像数据。因此，作为与摄影条件(例如，光圈值、焦距、被摄体距离、透镜种类等)相应的光学传递函数，预先求出光学系统14中的劣化的特性。另外，通过图1的复原滤波器生成部84，根据光学传递函数以及波动信息，来生成点图像复原处理用的复原滤波器F。通过图1的复原处理部26，使用复原滤波器F，进行消除劣化图像数据的劣化的点图像复原处理(复原处理)。于是，能够得到消除了劣化的复原图像数据。

如图3所示，点图像复原处理能够大致分为“相位校正”(也称为“相位复原”)与“振幅校正”(也称为“振幅复原”)。“相位校正”是在光学系统中复原劣化了的相位特性(PTF)的图像处理。通过相位校正，能够将非对称的点扩散形状校正成点对称的点扩散形状。“振幅校正”是在光学系统中复原劣化了的振幅特性(MTF)的图像处理。通过振幅校正，能够将点扩散形状校正成点(δ函数)。但是，如果模糊严重或者SN比恶化，则有时无法完全返回到点形状。

另外，光学系统的像差根据波长而不同，所以理想的是，优选针对每种颜色(例如R、G、B)而使用不同的复原滤波器来进行点图像复原处理。然而，如果针对多种颜色(例如R、G、B)中的每种颜色的图像数据分别进行点图像复原处理，则运算处理的负荷大。因此，有时通过图1的复原处理部26来针对视觉上的效果大的亮度系图像数据进行点图像复原处理。在这种情况下，图1的复原滤波器生成部84生成亮度系图像数据用的复原滤波器F。

<与光学传递函数波动相应的复原处理>

图4是用于说明取决于颜色而在光学传递函数中产生波动的说明图。此外，在图中，“白色点”的PSF形状示出了在对白色点进行摄像时合成了R、G、B图像数据的合成图像中的点扩散的形状。另外，图中的“R”、“G”、“B”的PSF形状分别示出了R、G、B图像数据中的点扩散的形状。此外，为了方便图示，在“白色点”的PSF形状中，越白则光的强度越大，在“R”、“G”、“B”的PSF形状中，越黑则光的强度越大。如图4所示，在R(红)的PSF形状、G(绿)的PSF形状以及B(蓝)的PSF形状中产生波动。这样的PSF形状的波动对应于由MTF(调制传递函数)以及PTF(相位传递函数)构成的复OTF的波动。

在针对亮度系图像数据执行点图像复原处理的情况下，与针对R、G、B的各颜色的图像数据(R图像数据、G图像数据、B图像数据)分别执行单独的点图像复原处理的情况不同，对于所有颜色都只能执行相同的校正。因此，根据颜色，产生由于过校正而反而画质劣化这样的弊端的问题。

在本发明中，掌握为取决于颜色而“PSF形状在概率上发生波动”。即，作为概率分布来处理基于颜色的光学传递函数的波动。

图5是用于说明采用同样的概率论来处理取决于颜色的OTF波动、以及由制造导致的OTF波动的说明图。

在图5中，“透镜#1”以及“透镜#2”表示以同一设计规格制造了的不同的单个光学系统14。在“透镜#1”与“透镜#2”中，R(红)的PSF形状、G(绿)的PSF形状以及B(蓝)的PSF形状不同。这样，PSF形状不仅根据颜色而产生波动，还取决于光学系统14的制造而产生波动(个体波动)。

如果将PSF形状的波动定义为“概率分布”，则能够采用同样的概率论来处理基于颜色的PSF形状的波动与由制造导致的PSF形状的波动。具体来说，在亮度系图像数据中的复OTF设为h_y，将空间频率设为(ω_x，ω_y)时，将基于颜色的复OTF的波动以及由制造导致的复OTF的波动定义为概率分布P_y(h_y|ω_x，ω_y)。即，求出基于颜色的OTF波动以及由制造导致的OTF波动，作为正态分布中的概率分布P_y的方差。

图6是示出由复原滤波器生成部84实施的复原滤波器生成处理的一个例子的概略的流程图。

在步骤S1中，通过信息取得部82，按多种颜色(例如R、G、B这3色)的各颜色来取得光学系统14中的光学传递函数。

在步骤S2中，通过信息取得部82，根据通过步骤S1取得的各颜色的光学传递函数，针对每个空间频率(ω_x，ω_y)计算正态分布中的光学传递函数的平均以及方差。即，设为在某个表色系的颜色空间中光学传递函数的波动服从正态分布，作为用于计算复原强度的参数，计算正态分布中的光学传递函数的平均μ(ω_x，ω_y)以及方差σ²(ω_x，ω_y)。此处，方差σ²(ω_x，ω_y)是通过信息取得部82取得(计算)的“波动信息”，平均μ(ω_x，ω_y)可以说是表示光学传递函数的波动的中心的光学传递函数的代表。

在步骤S3中，通过复原滤波器生成部84，根据由步骤S2计算出的平均μ(ω_x，ω_y)以及方差σ²(ω_x，ω_y)，来计算复原滤波器的复原强度。

在步骤S4中，通过复原滤波器生成部84，来生成具有通过步骤S3计算出的复原强度的复原滤波器。

此外，本发明不限定于生成具有相位校正功能以及振幅校正功能这两者的复原滤波器的情况，也可以生成具有相位校正功能以及振幅校正功能中的至少一方的复原滤波器。

图7是示出点图像复原处理的一个例子的概略的框图。

点图像复原处理是使用复原滤波器F来根据劣化图像数据制作复原图像数据的处理。点图像复原处理使用通过例如N×M(N、M为2以上的整数)个抽头来构成的实际空间上的复原滤波器来进行。由此，通过对被分配给各抽头的滤波器系数与对应的图像数据(劣化图像数据的处理对象像素数据以及相邻像素数据)进行卷积运算，能够计算点图像复原处理后的像素数据(复原图像数据)。依次代替对象像素，将使用该复原滤波器F的卷积运算应用于构成图像数据的全部像素数据，从而能够进行点图像复原处理。

此处，通过N×M个抽头来构成的实际空间上的复原滤波器能够通过对频率空间(也称为“空间频率区域”)上的复原滤波器进行傅立叶逆变换来导出。因此，实际空间上的复原滤波器确定成为基础的频率空间上的复原滤波器，指定实际空间上的复原滤波器的抽头数，从而能够适当计算。

<复原滤波器生成的切换处理>

图8是示出由图1的复原滤波器生成装置80的切换部86进行的关于是否实施相位校正的切换处理的概略的流程图。

在图8中，切换部86判定是否使复原滤波器F在针对亮度系图像数据的点图像复原处理中进行相位校正(相位复原)(步骤S11)。

在使复原滤波器F进行相位校正的情况下(在步骤S11中的“是”的情况下)，复原滤波器生成部84生成作为具有在针对亮度系图像数据的点图像复原处理中进行相位校正的功能的复原滤波器的、降低了亮度系图像数据的相位的过校正的复原滤波器(步骤S12)。

在不使复原滤波器F进行相位校正的情况下(步骤S11中的“否”的情况下)，复原滤波器生成部84在多种颜色之间将多种颜色(R、G、B)中的每种颜色的传递函数信息(PSF或者MTF)混合，根据在该多种颜色之间混合了的传递函数信息(PSF或者MTF)，生成针对亮度系图像数据进行不使相位分量变化并且仅使振幅分量变化的点图像复原处理的复原滤波器。即，复原滤波器生成部84生成具有在针对亮度系图像数据的点图像复原处理中不进行相位校正而仅进行振幅校正的功能的复原滤波器。

此外，在针对亮度系图像数据的振幅校正中，并非要对多种颜色(R、G、B)中的每种颜色进行振幅校正，所以在多种颜色(R、G、B)中的某种或者多种颜色中，有可能发生校正不足(MTF低于1.0)、过校正(MTF超过1.0)。但是，通过复原滤波器生成部84，在多种颜色(R、G、B)之间将传递函数信息(PSF或者MTF)混合，根据该混合了的传递函数信息(PSF或者MTF)，生成进行使调制传递函数MTF平均地接近于“1”的振幅校正的复原滤波器，从而能够生成抑制了校正不足以及过校正的良好的复原滤波器。

接着，设为通过信息取得部82取得的光学传递函数是由MTF以及PTF构成的复OTF，另外通过信息取得部82取得的光学传递函数的波动信息表示复OTF的波动，分实施方式地具体说明复原滤波器生成处理。此外，在以下的实施方式中，将“光学传递函数的波动信息”简称为“OTF波动”。

<第一实施方式>

在第一实施方式中，在针对亮度系图像数据的点图像复原处理用的复原滤波器的生成处理中，生成具有与基于颜色的OTF波动相应的复原强度的复原滤波器，从而生成韧性高的复原滤波器。

图9示出用于说明第一实施方式中的复原滤波器生成处理的复原处理模型。但是，图9所示的复原处理模型只不过是一个例子，也可以应用于其他复原处理模型。

在图9中，输入到转换M的各颜色的图像数据的输入像素值(R′，G′，B′)、与从转换M输出的亮度系图像数据的输出像素值(Y′，Cb，Cr)的对应关系由下式显示。

[算式1]

$\left(\begin{array}{c}{Y}^{\&prime;}\\ Cb\\ Cr\end{array}\right)=M\left(\begin{array}{c}{R}^{\&prime;}\\ G^{\&prime;}\\ B^{\&prime;}\end{array}\right)$

此处，转换M是从RGB颜色空间向亮度系空间(YCbCr颜色空间)的映射。该转换M仅取决于“如何对被加工的信号施加复原滤波器”这样的、图像处理装置中的信号处理系统的定义。一般来说，从RGB空间向亮度系空间的转换包括伽马校正，所以需要非线性的转换，但根据亮度系复原处理的安装方式，也有时为线性转换。

图10是示出第一实施方式中的复原滤波器生成处理例的流程的流程图。

首先，通过信息取得部82，来取得Y′、Cb、Cr的概率分布P_COLOR(Y′，Cb，Cr)(步骤S21)。

此处，Y′是输入到图9的复原滤波器F的亮度信号的值(输入像素值)。

P_COLOR(Y′，Cb，Cr)是由数码相机10得到的亮度系图像数据中的颜色的概率分布。换而言之，P_COLOR(Y′，Cb，Cr)是某个表色系的颜色空间上的输入颜色波动。例如在设计光学系统14时事先求出该P_COLOR(Y′，Cb，Cr)。在将平均的颜色假定为白色的情况下，设为Cb＝0，Cr＝0。

接着，通过信息取得部82，从P_COLOR(Y′，Cb，Cr)中，取得红(R)、绿(G)、蓝(B)的各颜色的复OTF(OTF_R，OTF_G，OTF_B)(步骤S22)。

接着，通过信息取得部82，计算红(R)、绿(G)、蓝(B)的各颜色的复OTF的同时分布P_RGB(h_R，h_G，h_B|ω_x，ω_y)(步骤S23)。

此处，在同时分布P_RGB(h_R，h_G，h_B|ω_x，ω_y)中，针对每个空间频率(ω_x，ω_y)示出R、G、B的各颜色的复OTF的概率变量为h_R，h_G以及h_B这样的值的概率。同时分布P_RGB(h_R，h_G，h_B|ω_x，ω_y)如下式那样计算。

[算式2]

|P_RGB(h_R，h_G，h_B|ω_x，ω_y)

＝∫∫δ(h_R/I_R-OTF_R(ω_x，ω_y))δ(h_G/I_G-OTF_G(ω_x，ω_y))δ(h_B/I_B-OTF_B(ω_x，ω_y))

P_COLOR(Y′，Cb，Cr)dY′dCbdCr

在上式中，δ()是克罗内克的δ函数。OTF_R(ω_x，ω_y)、OTF_G(ω_x，ω_y)以及OTF_B(ω_x，ω_y)是作为唯一地确定的设计值的复OTF。与此相对地，h_R、h_G、h_B是在存在输入颜色波动的情况下的复OTF的概率变量。另外，I_R、I_G、I_B如下式那样定义。

[算式3]

$\left(\begin{array}{c}{I}_R\\ I_G\\ I_B\end{array}\right)=M^{-1}\left(\begin{array}{c}{Y}^{\&prime;}\\ Cb\\ Cr\end{array}\right)$

式2表示：仅在满足h_R/I_R＝OTF_R(ω_x，ω_y)、h_G/I_G＝OTF_G(ω_x，ω_y)以及h_B/I_B＝OTF_B(ω_x，ω_y)的情况下，关于Y′、Cb、Cr对P_COLOR(Y′，Cb，Cr)进行积分，将该积分的结果设为同时分布P_RGB(h_R，h_G，h_B|ω_x，ω_y)。即，式2意味着：如果考虑式3，则在复OTF的概率变量为h_R、h_G以及h_B的情况下，通过针对满足h_R/I_R＝OTF_R(ω_x，ω_y)、h_G/I_G＝OTF_G(ω_x，ω_y)以及h_B/I_B＝OTF_B(ω_x，ω_y)的颜色的全部组合{I_R，I_G，I_B}在全部的组合中将这些组合的产生的可能性(概率)相加而得到的结果(积分值)，来表示同时分布P_RGB(h_R，h_G，h_B|ω_x，ω_y)。

通过以上所述，能够得到红(R)、绿(G)、蓝(B)的各颜色的复OTF的同时分布P_RGB(h_R，h_G，h_B|ω_x，ω_y)。

接着，通过信息取得部82，针对每个空间频率(ω_x，ω_y)，计算特定的表色系中的复OTF的总集中的复OTF的平均μ以及方差σ²，(步骤S24)。此处，总集是处于在设计时预先确定的颜色波动的范围内的复OTF的集合。

在本例子中，设为总集中的OTF波动服从复正态分布(Circularsymmetriccomplexnormaldistribution)，服从该正态分布的同时分布P_y将平均μ(ω_x，ω_y)以及方差σ²(ω_x，ω_y)作为参数，由下式表示。

[算式4]

$P_Y\left(h_Y\right|\mathrm{\&mu;}\left({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y\right),\mathrm{\&sigma;}\left({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y\right))=\frac{1}{{\mathrm{\&pi;\&sigma;}}^2({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)}\exp (-\frac{\left|\right|h_Y-\mathrm{\&mu;}({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)|{|}^2}{{\mathrm{\&sigma;}}^2({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)})$

作为上式中的参数的平均μ(ω_x，ω_y)以及方差σ²(ω_x，ω_y)通过信息取得部82，如下式那样，通过最大似然估计来计算。

[算式5]

$\mathrm{\&mu;}({\mathrm{\&omega;}}_x,{\mathrm{\&sigma;}}_y)=\&Integral;\&Integral;\&Integral;\left(\begin{array}{ccc}1& 0& 0\end{array}\right)M\left(\begin{array}{c}{h}_R\\ h_G\\ h_B\end{array}\right)P_{RGB}(h_R,h_G,h_B|{\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y){\mathrm{dh}}_R{\mathrm{dh}}_G{\mathrm{dh}}_B$

${\mathrm{\&sigma;}}^2({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)=\&Integral;\&Integral;\&Integral;\left|\right|\left(\begin{array}{ccc}1& 0& 0\end{array}\right)M\left(\begin{array}{c}{h}_R\\ h_G\\ h_B\end{array}\right)-\mathrm{\&mu;}({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)|{|}^2{P}_{RGB}(h_R,h_G,h_B|{\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y){\mathrm{dh}}_R{\mathrm{dh}}_G{\mathrm{dh}}_B$

通过以上的步骤S21～S22，根据亮度系图像数据中的颜色的概率分布P_COLOR(Y′，Cb，Cr)、以及各颜色的光学传递函数OTF_R(ω_x，ω_y)、OTF_G(ω_x，ω_y)和OTF_B(ω_x，ω_y)，设为光学传递函数的基于颜色的波动服从正态分布，来计算平均μ(ω_x，ω_y)以及方差σ²(ω_x，ω_y)。

接着，通过复原滤波器生成部84，根据平均μ(ω_x，ω_y)以及方差σ²(ω_x，ω_y)，来计算复原滤波器的复原强度(步骤S25)。

此处，用于计算复原强度的算式以如下方式得到。首先，反映了特定的表色系中的总集中的OTF波动的亮度OTF(亮度信号的OTF)如下式那样表示。

[算式6]

OTF_Y(ω_x，ω_y)＝μ(ω_x，ω_y)+Δμ(ω_x，ω_y)

在上式中，△μ(ω_x，ω_y)表示服从平均为0、方差为σ²(ω_x，ω_y)的复正态分布的概率变量。

在点图像复原处理中用于解卷积的维纳滤波器(Wienerfilter)中的误差基准被定义为针对原始图像(基于光学系统的劣化前图像)与复原图像的平方误差，关于输入图像(劣化图像)以及噪声取平均(或者积分)而得到的结果。在这样的公知的维纳滤波器的误差基准中，光学传递函数被定义为固定值，所以在直接使用公知的导出式的情况下，针对基于颜色的OTF波动、亮度系校正所引起的过校正，无法发挥颜色韧性。

因此，考虑基于颜色的OTF波动、亮度系校正所引起的过校正，不直接利用公知的维纳滤波器的导出式，而导入也适用基于颜色的OTF波动的维纳滤波器导出用的误差基准。在将复原滤波器的频率特性设为f(ω_x，ω_y)时，针对信号、噪声、OTF波动取平均而得到的误差基准J[f]如下式那样表示。

[算式7]

$\begin{array}{c}J\&lsqb;f\&rsqb;=\&Integral;\&Integral;\&Integral;\left(\right||1-f({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y\left)\right(\mathrm{\&mu;}\left({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y\right)+\mathrm{\&Delta;}\mathrm{\&mu;}\left)\right|{|}^2{S}_Y\left({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y\right)+\left|\right|f\left({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y\right)\left|{|}^2{N}_Y\right({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y\left)\right)\\ \&times;\frac{1}{{\mathrm{\&pi;\&sigma;}}^2({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)}\exp (-\frac{\left|\right|\mathrm{\&Delta;}\mathrm{\&mu;}|{|}^2}{{\mathrm{\&sigma;}}^2({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)}){\mathrm{d\&omega;}}_x{\mathrm{d\&omega;}}_{y}d\mathrm{\&Delta;}\mathrm{\&mu;}\end{array}$

此处，S_Y(ω_x，ω_y)、N_Y(ω_x，ω_y)分别是亮度Y的信号功率、噪声功率。应该求出的维纳滤波器的频率特性f将上式的J最小化。如果展开上式并关于Δμ进行积分，则得到下式。

[算式8]

$\begin{array}{c}J\&lsqb;f\&rsqb;=\&Integral;\&Integral;\&Integral;\{\left[\begin{array}{c}1-2\mathrm{Re}\&lsqb;f({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)\left(\mathrm{\&mu;}\right({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)+\mathrm{\&Delta;}\mathrm{\&mu;})\&rsqb;\\ +\left|\right|f({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)|{|}^2\left(\right|\left|\mathrm{\&mu;}\right({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y\left)\right|{|}^2+\left|\right|\mathrm{\&Delta;}\mathrm{\&mu;}|{|}^2+2\mathrm{Re}\&lsqb;{\mathrm{\&mu;}}^{*}({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)\mathrm{\&Delta;}\mathrm{\&mu;}\&rsqb;)\end{array}\right]S_Y({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)\\ +\left|\right|f({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)\left|{|}^2{N}_Y({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)\right\}\&times;\frac{1}{{\mathrm{\&pi;\&sigma;}}^2({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)}\exp (-\frac{\left|\right|\mathrm{\&Delta;}\mathrm{\&mu;}|{|}^2}{{\mathrm{\&sigma;}}^2({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)}){\mathrm{d\&omega;}}_x{\mathrm{d\&omega;}}_{y}d\mathrm{\&Delta;}\mathrm{\&mu;}\\ \&Integral;\&Integral;(\left[\begin{array}{c}1-2\mathrm{Re}\&lsqb;f({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)\mathrm{\&mu;}({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)\&rsqb;\\ +\left|\right|f({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)|{|}^2\left(\right|\left|\mathrm{\&mu;}\right({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y\left)\right|{|}^2+{\mathrm{\&sigma;}}^2\left({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y\right))\end{array}\right]S_Y({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)+|\left|f({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)\right|{|}^2{N}_Y({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)){\mathrm{d\&omega;}}_x{\mathrm{d\&omega;}}_y\end{array}$

此处，“*”表示复共轭。如果用f*(ω_x，ω_y)对该式(式8)进行偏微分而设为0，则应该求出的维纳滤波器的复频率特性f(ω_x，ω_y)为下式。

[算式9]

$f({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)=\frac{\mathrm{\&mu;}*({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)S_Y({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)}{\left(\right|\left|\mathrm{\&mu;}\right({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y\left)\right|{|}^2)+{\mathrm{\&sigma;}}^2({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y\left)S_Y\right({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)+N_Y({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)}$

此处，复频率特性f(ω_x，ω_y)可以说表示复原滤波器的复原强度。

如上式所示，通过方差σ²(ω_x，ω_y)来表示的波动大的空间频率下，通过减弱复原强度(增大上式的右边的分母)，能够生成针对基于颜色的波动具有韧化的特性的复原滤波器。关于本例的复原滤波器生成部84，越是基于颜色的OTF波动大的空间频率，则越减弱复原强度。

接着，通过复原滤波器生成部84，生成具有在步骤S25中计算出的复原强度的复原滤波器(步骤S26)。

以在所提供的抽头数内，使现实的复原滤波器的复频率特性近似于通过步骤S21～S25的工序来求出的复频率特性f(ω_x，ω_y)的方式，计算复原滤波器的滤波器系数。

在图11中，为了容易理解，仅关于复OTF的实部(MTF)，示出正态分布中的平均μ(ω)、μ(ω)+σ(ω)、μ(ω)－σ(ω)。如果在不考虑OTF波动而根据平均μ(ω)来计算复原滤波器的复原强度的情况下，在σ大的空间频率下，有可能发生过校正。因此，在本发明中，在σ大的空间频率下，计算复原滤波器的复原强度，以达到μ(ω)+σ(ω)(或者接近于μ(ω)+σ(ω))。

如以上说明的那样，根据本实施方式，在亮度系图像数据的点图像复原处理中，能够可靠地抑制根据输入颜色而与光学传递函数所设想的不同所引起的假象。

此外，在不实施相位校正的情况下，在求出的复原滤波器的频率特性中舍弃相位特性而仅与振幅特性近似，计算复原滤波器的滤波器系数，从而进行复原滤波器生成。

<第二实施方式>

作为在复原滤波器生成处理中应该考虑的OTF波动的主要原因，除了在第一实施方式中考虑的颜色之外，还可列举光学系统14的制造波动、摄像装置中的摄影时的摄影条件的波动(例如被摄体距离的测定误差)。以下，作为例子，说明考虑了由光学系统14的制造导致的OTF波动的、韧性高的复原滤波器生成处理例。另外，由制造导致的OTF波动、由摄影条件导致的OTF波动是不限于亮度系图像数据而在各颜色的图像数据中也产生的现象。因此，以下，以生成针对R、G、B的各颜色的图像数据的点图像复原用的复原滤波器的情况为例来说明。

计算与由光学系统14的制造导致的OTF波动相应的复原强度，所以使用与由制造导致的OTF波动对应的概率分布。

首先，通过信息取得部82，取得表示由制造导致的光学系统14的OTF波动的分布的同时分布P_OTF(h_R，h_G，h_B|ω_x，ω_y)。

P_OTF(h_R，h_G，h_B|ω_x，ω_y)是通过光学系统14的制造中的波动发生的机制解析、批量生产样品测定来得到的固有的信息。如果将空间频率ω_x、ω_y中的R、G、B各自的复OTF设为h_R、h_G、h_B，则OTF波动服从同时分布P_OTF(h_R，h_G，h_B|ω_x，ω_y)。此外，在本例子中，设为P_OTF(h_R，h_G，h_B|ω_x，ω_y)是预先构筑(计算)的。

作为构筑P_OTF(h_R，h_G，h_B|ω_x，ω_y)时的注意点，可列举如下的问题。通过复OTF，也能够表现PSF形状的平行移动，但如果在包括平行移动波动(PSF成像位置波动)地模型化为OTF波动，采用该OTF波动中的OTF的平均的情况下，可能引起无法适当表现现实的平均的像差而MTF过度地劣化的问题。作为针对该问题的对策，存在根据以基准颜色(例如绿)的PSF的重心位置为中心而预先进行位置对准的PSF样品(或者OTF样品)来构筑P_OTF(h_R，h_G，h_B|ω_x，ω_y)的方法。在该方法中，基准颜色的PSF的位置被标准化，但保持颜色之间的相对的PSF重心坐标的波动信息，个体波动被复原滤波器的复原强度反映。

接着，通过信息取得部82，针对每个空间频率(ω_x，ω_y)计算正态分布中的OTF的平均μ以及方差σ²。

在本例子中，针对输入到复原滤波器F的R、G、B图像数据(各颜色的图像数据)的空间频率ω_x、ω_y的每个的OTF波动，如下式那样，模型化为复正态分布(Circularsymmetriccomplexnormaldistribution)。在本例子中，由于是针对R、G、B的各颜色能够校正的信号处理系统，所以也针对每种颜色求出OTF波动。将表示颜色的指数K设为K∈{R，G，B}，则表示各颜色的OTF波动的同时分布P_K被表现为下式。

[算式10]

$P_K\left(h_K\right|{\mathrm{\&mu;}}_K\left({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y\right),{\mathrm{\&sigma;}}_K\left({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y\right))=\frac{1}{{{\mathrm{\&pi;\&sigma;}}_K}^2({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)}\exp (-\frac{\left|\right|h_K-{\mathrm{\&mu;}}_K({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)|{|}^2}{{{\mathrm{\&sigma;}}_K}^2({\mathrm{\&omega;}}_x,{\mathrm{\&omega;}}_y)})$

此处，作为上式中的参数的平均μ_K(ω_x，ω_y)与方差σ_K ²(ω_x，ω_y)如下式那样，通过最大似然估计来求出。

[算式11]

μ_K(ω_x，ω_y)＝∫∫∫h_KP_RGB(h_R，h_G，h_B|ω_x，ω_y)dh_Rdh_Gdh_B

σ_K ²(ω_x，ω_y)＝∫∫∫||h_K-μ_K(ω_x，ω_y)||²P_RGB(h_R，h_G，h_B|ω_x，ω_y)dh_Rdh_Gdh_B

利用通过以上所述得到的各颜色的OTF波动信息，与第一实方式同样地求出复原滤波器的频率特性，生成具有与该频率特性对应的复原强度的复原滤波器。

根据本实施方式，在RGB系图像数据或者亮度系图像数据的点图像复原处理中，能够可靠地抑制由于光学系统的制造波动(或者摄影条件波动)而与光学传递函数所设想的不同所引起的假象。另外，不需要光学系统14各自的个体差信息，能够仅根据OTF波动的概率论上的统计信息来生成复原滤波器。

<第三实施方式>

在第三实施方式中，在针对亮度系图像数据的点图像复原处理用的复原滤波器的生成处理中，不仅根据基于颜色的OTF波动，还根据光学系统的由制造导致的OTF波动，来生成韧性高的复原滤波器。此外，在本实施方式中，以光学系统的制造波动为例，但关于被摄体距离等摄影条件的波动，也能够与本实施方式同样地论述。即，生成具有与摄影条件的波动相应的复原强度的复原滤波器即可。

以下，说明与第一实施方式不同的事项，关于与第一实施方式或者第二实施方式相同的事项，省略详细的说明。

首先，通过信息取得部82，取得在第一实施方式中定义的P_COLOR(Y′，Cb，Cr)以及在第二实施方式中定义的P_OTF(h_R，h_G，h_B|ω_x，ω_y)(步骤S41)。P_COLOR(Y′，Cb，Cr)是表示亮度系图像数据中的颜色的波动的概率分布。另外，P_OTF(h_R，h_G，h_B|ω_x，ω_y)是表示由制造导致的光学系统14的OTF波动的同时分布。

接着，通过信息取得部82，如下式所示，通过进行将P_COLOR(Y′，Cb，Cr)以及P_OTF(h_R，h_G，h_B|ω_x，ω_y)这两者混合的运算，来计算(取得)R、G、B中的每种颜色的OTF波动函数P_RGB(h_R，h_G，h_B|ω_x，ω_y)(步骤S42)。该P_RGB(h_R，h_G，h_B|ω_x，ω_y)是表示R、G、B中的每种颜色的OTF波动的同时分布。

[算式12]

P_RGB(h_R，h_G，h_B|ω_x，ω_y)＝∫∫P_OTF(h_R/I_R，h_G/I_G，h_B/I_B|ω_x，ω_y)P_COLOR(Y′，Cb，Cr)dY′dCbdCr

在上式中，I_R，I_G，I_B如下式那样定义。

[算式13]

$\left(\begin{array}{c}{I}_R\\ I_G\\ I_B\end{array}\right)=M^{-1}\left(\begin{array}{c}{Y}^{\&prime;}\\ Cb\\ Cr\end{array}\right)$

如以上说明的那样，在取得R、G、B中的每种颜色的OTF波动函数P_RGB(h_R，h_G，h_B|ω_x，ω_y)之后，与第一实施方式同样地，将OTF波动设为正态分布而计算方差σ²(或者标准差σ)，接着，将该方差σ²(或者标准差σ)作为参数而计算复原滤波器F的频率特性，接着，生成具有所计算出的复原滤波器F的频率特性的复原滤波器F。

根据本实施方式，在亮度系图像数据的点图像复原处理中，能够可靠地抑制根据输入颜色而与光学传递函数所设想的不同所引起的假象，并且，能够可靠地抑制由于光学系统的制造波动而与光学传递函数(PSF形状)所设想的不同所引起的假象。另外，不需要每个光学系统14的个体差信息，能够仅根据OTF的波动量的概率论上的统计信息来生成复原滤波器。

<数码相机的结构例>

图12是示出数码相机10的硬件结构例的框图。

在图12中，CPU33根据输入到操作部9的指示，依次执行从存储器34读出的各种程序、数据，集中地控制数码相机10的各部。

相当于图1的复原滤波器储存部24的存储器34除了上述的各种程序之外，还储存复原滤波器F。另外，存储器34作为用于CPU33执行处理的工作存储器、各种数据的暂时保管目的地而发挥功能。

在光学系统14的背后，配置单板式的彩色的摄像元件16。在摄像元件16的摄像面，形成有按照预定的图案阵列(拜耳阵列、G条纹R/G完全方格、X－Trans阵列、蜂窝状阵列等)矩阵状地配置的多个像素。各像素构成为包括微透镜、滤色器(在本例子中，R(红)、G(绿)、B(蓝)的滤色器)以及光电二极管。摄像元件16与光学系统14一起构成本发明中的摄像装置(摄像构件)，将通过光学系统14而被成像于摄像面的被摄体像转换成电输出信号而输出。此处，作为摄像元件16，使用CCD(ChargeCoupledDevice)彩色摄像元件、CMOS(ComplementaryMetalOxideSemiconductor)彩色摄像元件等各种类的摄像元件。摄像元件驱动器45在CPU33的控制之下控制摄像元件16的驱动。

信号调整电路48对从摄像元件16输出的输出信号实施各种信号调整处理，生成伴随着摄像元件16的滤色器阵列的RGB的马赛克图像数据R1、G1、B1。此处，信号调整电路48在摄像元件16是CCD型的情况下，例如由CDS/AGC电路、A/D转换电路等构成，在是CMOS型的情况下，例如由放大器等构成。

图像处理电路49构成本发明的图像处理装置。该图像处理电路49针对从信号调整电路48输入的多种颜色R、G、B的各颜色的马赛克图像数据，实施黑色电平调整处理、白平衡校正处理、伽马校正处理、去马赛克处理、YC转换处理、点图像复原处理等，生成亮度系图像数据Y以及色差系图像数据Cb、Cr。亮度系图像数据Y以及色差系图像数据Cb、Cr暂时地储存到存储器34的VRAM区域(也可以另外设置VRAM)。

VRAM区域具有储存连续的2个视场图像相当量的实时取景图像用的存储器区域。在VRAM区域中储存的亮度系图像数据Y以及色差系图像数据Cb、Cr依次输出到显示部8。由此，在显示部8中显示实时取景图像。

压缩解压处理电路51当在摄影模式中按下了操作部9的快门按钮时，针对在VRAM区域中储存的亮度系图像数据Y以及色差系图像数据Cb、Cr，实施压缩处理。另外，压缩解压处理电路51针对经由媒介I/F52而从存储卡30得到的压缩图像数据，实施解压处理。媒介I/F52进行针对存储卡30的压缩图像数据的记录以及读出等。

如图13所示，图像处理电路49主要具有输入部49a、去马赛克处理部49b、转换部49c(相当于图1的亮度系图像数据生成部22)以及复原处理部49d(图1的26)。此处，图像处理电路49还具有进行白平衡校正处理、伽马校正处理等的校正处理部，但为了防止说明的复杂化，省略关于这些校正处理部的图示、说明。

输入部49a将从信号调整电路48输入的RGB的各颜色的马赛克图像数据R1、G1、B1输出到去马赛克处理部49b。即，输入部49a作为被输入通过摄像元件16的摄像而得到的各颜色的图像数据的输入I/F而发挥功能。

去马赛克处理部49b根据各颜色的马赛克图像数据R1、G1、B1，针对每个像素，进行计算RGB的全部的颜色信息(转换成同步制)的去马赛克处理(也称为同时化处理)，生成由RGB的3面的颜色数据构成的RGB图像数据R2、G2、B2。去马赛克处理部49b将RGB图像数据R2、G2、B2输出到转换部49c。

转换部49c(亮度系图像数据生成部22)对RGB图像数据R2、G2、B2实施YC转换处理，生成亮度系图像数据Y、色差系图像数据Cb、Cr。亮度系图像数据Y例如依照式[Y＝0.3R+0.6G+0.1B]来生成。在该式中，G颜色的贡献率为60％，所以G颜色的贡献率比R颜色(贡献率30％)、B颜色(贡献率10％)高。因此，G颜色为3原色中的对亮度信号最有贡献的颜色。

此处，在本实施方式中，作为亮度系图像数据Y，以由“Y，Cb、Cr”表示的颜色空间的亮度信号的值为例来进行了说明，但只要是对图像的亮度有贡献的数据，则没有特别的限定，表示具有与进行摄像得到的图像的亮度相关的信息的各种数据的意思。例如，可列举用于得到亮度信号的贡献率最高的数据、与对亮度最有贡献的颜色的滤色器对应的数据等。

复原处理部49d(图1的26)读出在存储器34中储存的复原滤波器F，使用该复原滤波器F来针对亮度系图像数据Y进行复原处理。为了减小运算处理的负荷，仅针对在视觉上的效果变大的亮度系图像数据Y进行该复原处理。通过进行点图像复原处理，来修正由于光学系统14的像差引起的图像的劣化(模糊等)。

透过了光学系统14的点图像(光学图像)如在图2中作为“劣化图像数据”所示的那样，作为大的点图像(模糊的图像)而被成像于摄像元件16的摄像面，但通过点图像复原处理，在图2中作为“复原图像数据”而示出的那样，被复原为小的点图像(高分辨率的图像)。

<复原滤波器生成装置的结构例>

图14是示出被用作复原滤波器生成装置80的计算机装置180的硬件结构例的框图。

在图14中，CPU181控制计算机装置180的各部。存储部182存储复原滤波器生成处理程序、光学传递函数以及光学传递函数的波动信息。作为该存储部182，除了ROM、EEPROM之外，还能够使用硬盘驱动器、光盘、DVD等各种光磁记录介质、SSD(SolidStateDrive)等半导体存储器等、各种非暂时记录介质。通信部183经由网络与服务器装置(省略图示)进行通信，经由网络从服务器装置取得光学传递函数以及光学传递函数的波动信息。操作部184受理来自操作者的指示输入。显示部185显示各种信息。

在图14的计算机装置180中，通过通信部183来构成图1的信息取得部82。也可以通过CPU181来构成图1的信息取得部82。在这种情况下，通过CPU181，根据光学传递函数来计算光学传递函数的波动信息。另外，通过CPU181(或者操作部184)来构成图1的切换部86。另外，通过CPU181来构成图1的复原滤波器生成部84。

<系统的变形>

在上述的实施方式中，以图1所示单独地构成复原滤波器生成装置80、以及作为图像处理装置的数码相机10的情况为例进行了说明，但本发明不限定于这样的情况。

如图15所示，也可以是数码相机10包含复原滤波器生成装置以及图像处理装置的情况。图15的数码相机10包括构成了图1的复原滤波器生成装置80的信息取得部82、复原滤波器生成部84以及切换部86。

另外，如图16所示，也可以是计算机装置180(例如图14的硬件构成)包含复原滤波器生成装置以及图像处理装置的情况。图16的计算机装置180包括构成了图1的数码相机10的复原滤波器储存部24和复原处理部26、以及取得亮度系图像数据的亮度系图像数据取得部92。亮度系图像数据取得部92例如通过图14的通信部183来构成。

此外，系统构成不限定于在图1、图15以及图16中记载的情况，也可以是其他构成。也可以在服务器装置等其他装置中设置复原滤波器生成部84、复原处理部26。例如，在服务器装置具备复原处理部26的情况下，例如也可以从数码相机10、计算机装置180向服务器装置发送图像数据，在服务器装置的复原处理部26中，针对该图像数据进行复原处理，将复原处理后的图像数据(复原图像数据)发送·提供到复原处理前的图像数据的发送源。

另外，能够应用本发明的方式不限定于数码相机、计算机装置以及服务器装置，除了以摄像为主要功能的相机之外，还能够应用于除摄像功能还具备摄像以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备。作为能够应用本发明的其他方式，例如可列举具有相机功能的移动电话机、智能手机、PDA(PersonalDigitalAssistants)、便携式游戏机。关于能够应用本发明的智能手机的一个例子，在后面叙述。

<针对EDoF系统的应用例>

上述的实施方式中的点图像复原处理(复原处理)是根据特定的摄影条件(例如，光圈值、F值、焦距、透镜种类等)来校正由光学系统的像差导致的图像的劣化从而复原原本的被摄体像的图像处理，但能够应用本发明的复原处理不限定于上述的实施方式中的复原处理。例如，也能够将本发明的复原处理应用于针对通过具有被扩大的视野(焦点)深度(EDoF：ExtendedDepthofField(Focus))的光学系统(透镜、光圈等)来摄影取得的图像数据的复原处理。针对通过EDoF光学系统在景深(焦点深度)被扩大的状态下摄影取得的模糊图像的图像数据进行复原处理，从而能够复原生成在宽范围内对准了焦点的状态的高分辨率的图像数据。在这种情况下，进行使用作为基于EDoF光学系统的传递函数信息(PSF、OTF、MTF、PTF等)的复原滤波器的、具有为了在被扩大的景深(焦点深度)的范围内能够进行良好的图像复原而设定的滤波器系数的复原滤波器的复原处理。

下面，说明与经由EDoF光学系统而摄影取得的图像数据的复原相关的系统(EDoF系统)的一个例子。此处，在以下所示的例子中，说明针对根据去马赛克处理后的图像数据(RGB数据)得到的亮度系图像数据进行复原处理的例子。

图17是示出具备EDoF光学系统的摄像模块101的一种方式的框图。本例的摄像模块(数码相机等)101包括EDoF光学系统110(光学系统)、摄像元件112、AD转换部114、以及图像处理部120(复原处理框)。

图18是示出EDoF光学系统110的一个例子的图。本例的EDoF光学系统110具有固定了单焦点的摄影透镜110A、以及配置于光瞳位置的光学滤波器111。光学滤波器111对相位进行调制，将EDoF光学系统110(图1的光学系统14)EDoF化，以得到被扩大的景深(焦点深度)(EDoF)。这样，摄影透镜110A以及光学滤波器111构成对相位进行调制而使景深扩大的透镜部。

此处，根据需要，EDoF光学系统110包括其他构成要素，例如在光学滤波器111的附近配设了光圈(省略图示)。另外，光学滤波器111既可以是1块，也可以组合多块。另外，光学滤波器111只不过是光学的相位调制构件的一个例子，EDoF光学系统110(摄影透镜110A)的EDoF化也可以通过其他构件来实现。例如，既可以代替设置光学滤波器111，通过以具有与本例的光学滤波器111同等的功能的方式进行透镜设计而得到的摄影透镜110A来实现EDoF光学系统110的EDoF化，也可以采用各种光波面调制元件。

即，通过使对摄像元件112的受光面的成像的波面变化的各种构件，能够实现EDoF光学系统110的EDoF化。例如，作为EDoF光学系统110的EDoF化构件，能够采用“厚度变化的光学元件”、“折射率变化的光学元件(折射率分布型波面调制透镜等)”、“通过对透镜表面的编码等而厚度、折射率变化的光学元件(波面调制混合透镜、在透镜面上被形成为相位面的光学元件等)”、“能够调制光的相位分布的液晶元件(液晶空间相位调制元件等)”。这样，本发明不仅能够应用于能够进行通过光波面调制元件(光学滤波器111(相位板))而规则地分散的图像形成的情形，也能够应用于不使用光波面调制元件而能够通过摄影透镜110A自身来形成与使用光波面调制元件的情况同样的分散图像的情形。

本例的EDoF光学系统110能够省略机械地进行焦点调节的焦点调节机构，所以能够实现小型化，能够适当地搭载于带相机移动电话、便携信息终端。

通过被EDoF化的EDoF光学系统110后的光学图像被成像于图17所示的摄像元件112的摄像面，此处被转换成电信号。

摄像元件112是与上述各实施方式的摄像元件(图1、图12以及图15的16)基本上相同的结构。摄像元件112将通过EDoF光学系统110而被成像于摄像面的被摄体光转换成与其入射光量相应的信号，输出模拟的RGB图像信号。

AD转换部114将从摄像元件112输出的模拟的RGB图像信号变化为数据的R、G、B的各颜色的马赛克图像数据。各颜色的马赛克图像数据被输入到图像处理部120。

图像处理部120例如包括黑色电平调整部122、白平衡增益部123、伽马处理部124、去马赛克处理部125、RGB/YCrCb转换部126、以及Y信号复原处理部127(复原处理部)。

黑色电平调整部122对从AD转换部114输出的各颜色的马赛克图像数据实施黑色电平调整。在黑色电平调整中，能够采用公知的方法。例如，在着眼于某个有效光电转换元件的情况下，求出与包括该有效光电转换元件的光电转换元件行中包含的多个OB光电转换元件分别对应的暗电流量取得用信号的平均，从与该有效光电转换元件对应的暗电流量取得用信号中减去该平均，进行黑色电平调整。

白平衡增益部123进行与调整了黑色电平数据的马赛克图像数据中包含的RGB各颜色信号的白平衡增益相应的增益调整。

伽马处理部124执行进行中间色调等的灰度校正的伽马校正，以使得进行了白平衡调整的各颜色的马赛克图像数据达到优选的伽马特性。

去马赛克处理部125对伽马校正后的各颜色的马赛克图像数据实施去马赛克处理，输出由R、G、B的3面的颜色数据构成的RGB图像数据。

RGB/YCrCb转换部126与上述各实施方式的亮度系图像数据生成部(图1以及图15的22)基本上相同，对从去马赛克处理部125输出的R、G、B的3面的颜色数据实施YC转换处理，生成并输出亮度系图像数据Y与色差系图像数据Cr、Cb。

Y信号复原处理部127根据预先存储的复原滤波器，对来自RGB/YCrCb转换部126的亮度系图像数据Y进行复原处理。复原滤波器由例如具有7×7的内核尺寸的解卷积内核(例如对应于M＝7、N＝7的抽头数)、以及与该解卷积内核对应的运算系数(对应于复原增益数据、滤波器系数)构成，在光学滤波器111的相位调制相应的解卷积处理(反卷积运算处理)中使用。此处，复原滤波器对应于光学滤波器111，存储在未图示的存储器中。另外，解卷积内核的内核尺寸不限于7×7。

接着，使用图19所示的流程图来说明由图像处理部120(复原处理框)实施的复原处理。

在黑色电平调整部122的一个输入中，从AD转换部114被输入各颜色的马赛克图像数据，在另一个输入中，被输入黑色电平数据。黑色电平调整部122从各颜色的马赛克图像数据中减去黑色电平数据，将该减法处理后的各颜色的马赛克图像数据输出到白平衡增益部123(步骤S51)。由此，在各颜色的马赛克图像数据中不包括黑色电平分量。

针对黑色电平调整后的各颜色的马赛克图像数据，依次实施由白平衡增益部123、伽马处理部124进行的处理(步骤S52以及S53)。

进行了伽马校正的各颜色的马赛克图像数据在由去马赛克处理部125进行去马赛克处理之后，在RGB/YCrCb转换部126中被转换成亮度系图像数据Y与色差系图像数据Cr、Cb(步骤S54)。

Y信号复原处理部127进行对亮度信号Y施加EDoF光学系统110的光学滤波器111的相位调制相应的解卷积处理的复原处理(步骤S55)。即，Y信号复原处理部127进行与以任意的处理对象的像素为中心的预定单位的像素群对应的亮度信号(此处，7×7像素的亮度信号)、以及预先在存储器等中存储的复原滤波器(7×7的卷积核及其运算系数)的解卷积处理(反卷积运算处理)。Y信号复原处理部127进行通过以覆盖摄像面的整个区域的方式重复进行该预定单位的每个像素群的解卷积处理来消除图像整体的图像模糊的复原处理。复原滤波器根据实施解卷积处理的像素群的中心的位置来确定。即，针对接近的像素群，应用共通的复原滤波器。进而，为了简化复原处理，优选针对全部的像素群应用共通的复原滤波器。

通过EDoF光学系统110后的亮度信号的点图像(光学图像)作为大的点图像(模糊的图像)而被成像于摄像元件112，通过由Y信号复原处理部127进行的解卷积处理，来复原成小的点图像(高分辨率的图像)。

如上所述，通过对去马赛克处理后的亮度系图像数据施加复原处理，不需要针对每个RGB而具有复原处理的参数，能够使复原处理高速化。另外，并非将与处于分散的位置的R、G、B的像素对应的R、G、B的图像信号分别整合成一个单位而进行解卷积处理，而是将接近的像素的亮度信号彼此整合成预定的单位，在该单位中应用共通的复原滤波器而进行解卷积处理，所以复原处理的精度提高。此处，关于色差系图像数据Cr、Cb，即使在基于人的目的视觉上的特性方面，通过复原处理无法提高分辨率，在画质方面也是容许的。另外，在以JPEG那样的压缩形式来记录图像的情况下，色差系图像数据Cr、Cb以比亮度系图像数据Y高的压缩率来进行压缩，所以通过复原处理来提高分辨率的必要性不大。这些，能够兼顾复原精度的提高以及处理的简化和高速化。

针对以上说明的EDoF系统的复原处理，也能够应用本发明的各实施方式的点图像复原处理。在这种情况下，上述各实施方式的复原滤波器生成装置根据EDoF光学系统的传递函数信息，生成具有为了在被扩大的景深(焦点深度)的范围内能够进行良好的图像复原而设定的滤波器系数的复原滤波器。

<智能手机的结构>

在上述各实施方式中，作为本发明的图像处理装置以及摄像装置，以数码相机、计算机装置为例来进行了说明，但也能够将本发明应用于例如具有摄影功能的移动电话机、智能手机、PDA(PersonalDigitalAssistants)、平板终端、便携式游戏机。以下，以智能手机为例，参照附图，详细进行说明。

图20示出作为本发明的摄影装置的一种实施方式的智能手机201的外观。图20所示的智能手机201具有平板状的框体202，在框体202的一个面具备由作为显示部的显示面板221与作为输入部的操作面板222(触摸面板)一体构成的显示输入部220。另外，框体202具备扬声器231、麦克风232、操作部240以及相机部241。此外，框体202的结构不限定于此，例如，也能够采用显示部与输入部独立的结构，或者采用具有折叠构造、滑动机构的结构。

图21是示出图20所示的智能手机201的结构的框图。如图21所示，作为智能手机的主要结构要素，具备无线通信部210、显示输入部220、通话部230、操作部240、相机部241、存储部250、外部输入输出部560、GPS(GlobalPositioningSystem，全球定位系统)接收部270、运动传感器部280、电源部290以及主控制部200。另外，作为智能手机201的主要功能，具备经由移动通信网NW与基站装置BS进行移动无线通信的无线通信功能。

无线通信部210按照主控制部200的指示，来对在移动通信网NW中容纳的基站装置BS进行无线通信。利用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的发送接收、Web数据、流数据等的接收。

显示输入部220是所谓的触摸面板，它通过主控制部200的控制来显示图像(静态图像以及动态图像)、文字信息等，在视觉上向用户传达信息，并检测针对所显示的信息的用户操作，并且具备显示面板221与操作面板222。

显示面板221将LCD(LiquidCrystalDisplay，液晶显示器)、OELD(OrganicElectro－LuminescenceDisplay，有机电激发光显示器)等用作显示设备。操作面板222以能够视觉辨认在显示面板221的显示面上显示的图像的方式来放置，是检测通过用户的手指、笔尖来操作的一个或者多个坐标的设备。当通过用户的手指、笔尖来操作该设备时，将由于操作而产生的检测信号输出到主控制部200。接下来，主控制部200根据所接收到的检测信号，检测显示面板221上的操作位置(坐标)。

如图20所示，作为本发明的摄影装置的一种实施方式而例示的智能手机201的显示面板221与操作面板222成为一体而构成显示输入部220，配置为操作面板222完全覆盖显示面板221。在采用了该配置的情况下，操作面板222也可以针对显示面板221外的区域也具备检测用户操作的功能。换而言之，操作面板222也可以具备针对重叠于显示面板221的重叠部分的检测区域(以下，称为显示区域)、以及针对在它之外的不重叠于显示面板221的外缘部分的检测区域(以下，称为非显示区域)。

此外，也可以使显示区域的大小与显示面板221的大小完全一致，但不一定需要使两者一致。另外，操作面板222也可以具备外缘部分和它之外的内侧部分这两个感应区域。进一步地，外缘部分的宽度根据框体202的大小等来适当设计。进一步地，作为由操作面板222采用的位置检测方式，可列举出矩阵开关方式、电阻膜方式、表面声波方式、红外线方式、电磁感应方式、静电容量方式等，也能够采用其中任一种方式。

通话部230具备扬声器231、麦克风232，将通过麦克风232输入的用户的声音转换成能够通过主控制部200来处理的声音数据而输出到主控制部200，或者对由无线通信部210或外部输入输出部260接收到的声音数据进行解码并从扬声器231输出。另外，如图20所示，例如，能够在与设置有显示输入部220的面相同的面上搭载扬声器231，并将麦克风232搭载于框体202的侧面。

操作部240是采用键开关等的硬件键，受理来自用户的指示。例如，如图20所示，操作部240是按钮式的开关，它搭载于智能手机201的框体202的侧面，当用手指等按下时导通，当手指离开时，通过弹簧等的恢复力而成为断开状态。

存储部250存储主控制部200的控制程序、控制数据、应用软件、与通信对方的名称、电话号码等对应起来的地址数据、所发送接收的电子邮件的数据、通过Web浏览下载的Web数据、下载的内容数据，另外，暂时性地存储流数据等。另外，存储部250由智能手机内置的内部存储部251、和装卸自如的具有外部存储器插槽的外部存储部252构成。此外，构成存储部250的各个内部存储部251与外部存储部252采用闪存类型(flashmemorytype)、硬盘类型(harddisktype)、多介质卡微型(multimediacardmicrotype)、卡型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(RandomAccessMemory，随机存取存储器)、ROM(ReadOnlyMemory，只读存储器)等储存介质(计算机可读的非暂时记录介质)来实现。

外部输入输出部260起到和与智能手机201连结的所有的外部设备之间的界面的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或者网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(RadioFrequencyIdentification，射频识别)、红外线通信(InfraredDataAssociation：IRDA)(注册商标)、UWB(UltraWideband，超宽带)(注册商标)、无线个域网(ZigBee)(注册商标)等)来直接或者间接地连接到其他外部设备。

作为与智能手机201连结的外部设备，可列举例如有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡座连接的存储卡(Memorycard)、SIM(SubscriberIdentityModuleCard，订户身份模块卡)/UIM(UserIdentityModuleCard，用户身份模块卡)卡、经由音频/视频I/O(Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部260能够将从这样的外部设备接受传送而得到的数据传达到智能手机201的内部的各结构要素、将智能手机201的内部的数据传送到外部设备。

GPS接收部270按照主控制部200的指示，接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收到的多个GPS信号的测位运算处理，检测智能手机201的由纬度、经度、高度构成的位置。GPS接收部270在能够从无线通信部210、外部输入输出部260(例如，无线LAN)取得位置信息时，也能够采用该位置信息来检测位置。

运动传感器部280例如具备3轴的加速度传感器等，按照主控制部200的指示来检测智能手机201的物理性移动。通过检测智能手机201的物理性移动，来检测智能手机201的移动方向、加速度。将该检测结果输出到主控制部200。

电源部290按照主控制部200的指示，来对智能手机201的各部分供给在电池(未图示)中蓄积的电力。

主控制部200具备微处理器，按照存储部250所存储的控制程序、控制数据进行动作，集中地控制智能手机201的各部分。另外，主控制部200为了通过无线通信部210进行声音通信、数据通信，具备控制通信系统的各部分的移动通信控制功能与应用处理功能。

应用处理功能是通过主控制部200按照存储部250所存储的应用软件进行动作来实现的。作为应用处理功能，例如存在控制外部输入输出部260来与对方设备进行数据通信的红外线通信功能、进行电子邮件的发送接收的电子邮件功能、阅览Web页面的Web浏览功能等。

另外，主控制部200具备根据接收数据、所下载的流数据等图像数据(静态图像、动态图像的数据)来将影像显示于显示输入部220等的图像处理功能。图像处理功能是指主控制部200解码上述图像数据，对该解码结果实施图像处理，并将图像显示于显示输入部220的功能。

进一步地，主控制部200执行针对显示面板221的显示控制、以及检测通过操作部240、操作面板222来进行的用户操作的操作检测控制。

通过执行显示控制，主控制部200显示用于起动应用软件的图标、滚动条等软件键，或者，显示用于制作电子邮件的窗口。此外，滚动条是指用于针对在显示面板221的显示区域中无法完全容纳的大的图像等而受理移动图像的显示部分的指示的软件键。

另外，通过执行操作检测控制，主控制部200检测通过操作部240进行的用户操作，或者，通过操作面板222受理针对上述图标的操作、针对上述窗口的输入栏的文字列的输入，或者受理通过滚动条进行的显示图像的滚动请求。

进一步地，通过执行操作检测控制，主控制部200具备判定针对操作面板222的操作位置是与显示面板221重叠的重叠部分(显示区域)还是它之外的不重叠于显示面板221的外缘部分(非显示区域)，并且控制操作面板222的感应区域、软件键的显示位置的触摸面板控制功能。

另外，主控制部200也能够检测针对操作面板222的手势操作，根据所检测到的手势操作来执行预先设定的功能。手势操作不是以往的简单的触摸操作，而是意味着通过手指等来描绘轨迹，或者同时指定多个位置，或者组合这些操作来针对多个位置中的至少一个描绘轨迹的操作。

相机部241是使用CMOS(ComplementaryMetalOxideSemiconductor，互补金属氧化物半导体)、CCD(ChargeCoupledDevice，电荷耦合装置)等摄像元件来进行电子摄像的数码相机。另外，相机部241能够通过主控制部200的控制来将通过摄像而得到的图像数据转换成例如JPEG(JointPhotographiccodingExpertsGroup)等压缩的图像数据，并记录到存储部250，或者，通过外部输入输出部260、无线通信部210而输出。在图20所示的智能手机201中，相机部241搭载于与显示输入部220相同的面，但相机部241的搭载位置不限于此，既可以搭载于显示输入部220的背面，或者也可以搭载多个相机部241。此外，在被搭载了多个相机部241的情况下，也能够切换用于摄像的相机部241来单独地进行摄像，或者，同时使用多个相机部241来进行摄像。

另外，相机部241能够用于智能手机201的各种功能。例如，能够在显示面板221显示通过相机部241而取得的图像，能够作为操作面板222的操作输入之一而利用相机部241的图像。另外，在GPS接收部270检测位置时，也能够参照来自相机部241的图像来检测位置。进一步地，也能够参照来自相机部241的图像，不采用3轴的加速度传感器，或者与3轴的加速度传感器并用，来判断智能手机201的相机部241的光轴方向或者判断当前的使用环境。当然，也能够在应用软件内利用来自相机部241的图像。

此外，也能够对静止画面或者动画的图像数据附加通过GPS接收部270获取到的位置信息、通过麦克风232获取到的声音信息(也可以通过主控制部等进行声音文本转换而得到文本信息)、通过运动传感器部280获取到的姿势信息等，并记录到存储部250或者通过外部输入输出部260、无线通信部210而输出。

在上述的智能手机201中，与点图像复原处理相关联的上述的各处理部能够适当通过例如主控制部200、存储部250等来实现。

本发明不限定于上述的实施方式，在不脱离于本发明的精神的范围内能够进行各种变形，这自不待言。

此处，本发明不限定于在本说明书中说明的例子、在附图图示的例子，当然也可以在不脱离本发明的主旨的范围内进行各种设计变更、改进。

标号说明

10…数码相机；14…光学系统；16…摄像元件；18…摄像部；22…亮度系图像数据生成部；24…复原滤波器储存部；26…复原处理部；80…复原滤波器生成装置；82…信息取得部；84…复原滤波器生成部；86…切换部。

Claims (30)

1.一种复原滤波器生成装置，生成复原滤波器，该复原滤波器用于针对根据由具有光学系统的摄像装置得到的各颜色的图像数据来生成的与亮度相关的图像数据即亮度系图像数据，进行复原处理，

所述复原滤波器生成装置的特征在于，具备：

信息取得部，取得表示所述光学系统的光学传递函数的取决于颜色的波动的波动信息；以及

复原滤波器生成部，生成所述复原滤波器，

所述复原滤波器生成部根据通过所述信息取得部取得的所述波动信息来生成复原滤波器，该复原滤波器根据所述取决于颜色的波动来减弱复原强度，与假定为没有所述取决于颜色的波动而确定的理想滤波器的复原强度相比，使复原强度减弱。

2.根据权利要求1所述的复原滤波器生成装置，其特征在于，

所述波动信息是所述取决于颜色的波动设为服从正态分布而计算出的所述光学传递函数的方差。

3.根据权利要求1或2所述的复原滤波器生成装置，其特征在于，

所述信息取得部取得各颜色的光学传递函数，根据所述各颜色的光学传递函数来计算所述取决于颜色的波动。

4.根据权利要求3所述的复原滤波器生成装置，其特征在于，

所述信息取得部将所述取决于颜色的波动设为服从正态分布而计算所述光学传递函数的平均以及方差，

所述复原滤波器生成部根据所述光学传递函数的平均以及方差来生成所述复原滤波器。

5.根据权利要求4所述的复原滤波器生成装置，其特征在于，

所述复原滤波器生成部根据所述平均以及所述方差的项被设置于分母的算式来生成所述复原滤波器。

6.根据权利要求4或5所述的复原滤波器生成装置，其特征在于，

所述复原滤波器生成部针对每个空间频率计算所述平均以及所述方差，根据每个该空间频率的所述平均以及所述方差来生成所述复原滤波器。

7.根据权利要求1至6中的任一项所述的复原滤波器生成装置，其特征在于，

所述复原滤波器生成部生成在所述取决于颜色的波动越大的空间频率下越使所述复原强度减弱的复原滤波器。

8.根据权利要求1至7中的任一项所述的复原滤波器生成装置，其特征在于，

所述信息取得部取得由所述摄像装置得到的所述亮度系图像数据中的颜色的概率分布以及各颜色的所述光学传递函数，根据所取得的所述亮度系图像数据中的颜色的概率分布以及所述各颜色的光学传递函数，将所述取决于颜色的波动设为服从正态分布来计算所述波动信息。

9.根据权利要求1至8中的任一项所述的复原滤波器生成装置，其特征在于，

所述波动信息包括所述光学传递函数的至少由所述光学系统的制造引起的波动，

所述复原滤波器生成部生成复原滤波器，该复原滤波器与假定为没有由所述光学系统的制造引起的波动而确定的理想滤波器的复原强度相比，使所述复原滤波器的复原强度减弱。

10.根据权利要求1至9中的任一项所述的复原滤波器生成装置，其特征在于，

所述波动信息包括所述光学传递函数的取决于摄影条件的波动，

所述复原滤波器生成部使所述复原滤波器的复原强度比假定为没有所述取决于摄影条件的波动而确定的理想滤波器的复原强度弱。

11.根据权利要求1至10中的任一项所述的复原滤波器生成装置，其特征在于，

所述复原滤波器生成部至少生成进行伴随着相位复原的复原处理的所述复原滤波器。

12.根据权利要求1至10中的任一项所述的复原滤波器生成装置，其特征在于，

所述复原滤波器生成部生成进行不伴随着相位复原的复原处理的所述复原滤波器。

13.根据权利要求1至12中的任一项所述的复原滤波器生成装置，其特征在于，

所述复原滤波器生成部生成维纳滤波器来作为所述复原滤波器。

14.根据权利要求1至10中的任一项所述的复原滤波器生成装置，其特征在于，

所述光学系统具有对相位进行调制而使景深扩大的透镜部。

15.一种复原滤波器生成装置，生成复原滤波器，该复原滤波器用于针对由具有光学系统的摄像装置得到的图像数据进行复原处理，

所述复原滤波器生成装置的特征在于，具备：

信息取得部，取得表示所述光学系统的光学传递函数的由所述光学系统的制造引起的波动的波动信息；以及

复原滤波器生成部，生成所述复原滤波器，

所述波动信息是由所述光学系统的制造引起的波动设为服从正态分布而计算出的所述光学传递函数的方差，

所述复原滤波器生成部根据通过所述信息取得部取得的所述波动信息来生成复原滤波器，该复原滤波器根据由所述光学系统的制造引起的波动来减弱复原强度，通过根据所述方差的项被设置于分母的算式来计算所述复原强度，与假定为没有由所述光学系统的制造引起的波动而确定的理想滤波器的复原强度相比，减弱复原强度。

16.一种复原滤波器生成装置，生成复原滤波器，该复原滤波器用于针对由具有光学系统的摄像装置得到的图像数据进行复原处理，

所述复原滤波器生成装置的特征在于，具备：

信息取得部，取得表示所述光学系统的光学传递函数的取决于摄影条件的波动的波动信息；以及

复原滤波器生成部，生成所述复原滤波器，

所述波动信息是所述取决于摄影条件的波动设为服从正态分布而计算出的所述光学传递函数的方差，

所述复原滤波器生成部根据通过所述信息取得部取得的所述波动信息来生成复原滤波器，该复原滤波器根据所述取决于摄影条件的波动来减弱复原强度，通过根据所述方差的项被设置于分母的算式来计算所述复原强度，与假定为没有所述取决于摄影条件的波动而确定的理想滤波器的复原强度相比，减弱复原强度。

17.一种图像处理装置，其特征在于，具备：

图像数据取得部，取得根据由具有光学系统的摄像装置得到的各颜色的图像数据来生成的与亮度相关的图像数据即亮度系图像数据；

复原滤波器储存部，储存通过权利要求1至14中的任一项所述的复原滤波器生成装置来生成的所述复原滤波器；以及

复原处理部，针对由所述图像数据取得部取得的所述亮度系图像数据，使用在所述复原滤波器储存部中储存的所述复原滤波器来实施复原处理。

18.一种图像处理装置，其特征在于，具备：

图像数据取得部，取得由具有光学系统的摄像装置得到的图像数据；

复原滤波器储存部，储存通过权利要求15或16所述的复原滤波器生成装置来生成的所述复原滤波器；以及

复原处理部，针对由所述图像数据取得部取得的所述图像数据，使用在所述复原滤波器储存部中储存的所述复原滤波器来实施复原处理。

19.根据权利要求17所述的图像处理装置，其特征在于，

包括权利要求1至14中的任一项所述的复原滤波器生成装置。

20.根据权利要求18所述的图像处理装置，其特征在于，

包括权利要求15或16所述的复原滤波器生成装置。

21.一种摄像装置，其特征在于，具备：

光学系统；

输出多种颜色中的每种颜色的图像数据的摄像元件；以及

权利要求19或20所述的图像处理装置。

22.一种复原滤波器生成方法，生成复原滤波器，该复原滤波器用于针对根据由具有光学系统的摄像装置得到的各颜色的图像数据来生成的与亮度相关的图像数据即亮度系图像数据进行复原处理，

所述复原滤波器生成方法的特征在于，具备：

信息取得步骤，取得表示所述光学系统的光学传递函数的取决于颜色的波动的波动信息；以及

复原滤波器生成步骤，生成所述复原滤波器，

在所述复原滤波器生成步骤中，根据在所述信息取得步骤中取得的波动信息来生成复原滤波器，该复原滤波器根据所述取决于颜色的波动来减弱复原强度，与假定为没有所述取决于颜色的波动而确定的理想滤波器的复原强度相比，减弱复原强度。

23.一种复原滤波器生成方法，生成复原滤波器，该复原滤波器用于针对由具有光学系统的摄像装置得到的图像数据进行复原处理，

所述复原滤波器生成方法的特征在于，具备：

信息取得步骤，取得表示所述光学系统的光学传递函数的由所述光学系统的制造引起的波动的波动信息；以及

复原滤波器生成步骤，生成所述复原滤波器，

所述波动信息是由所述光学系统的制造引起的波动设为服从正态分布而计算出的所述光学传递函数的方差，

在所述复原滤波器生成步骤中，根据在所述信息取得步骤中取得的波动信息来生成复原滤波器，该复原滤波器根据所述光学传递函数的由所述光学系统的制造引起的波动来减弱复原强度，通过根据所述方差的项被设置于分母的算式来计算所述复原强度，与假定为没有由所述光学系统的制造引起的波动而确定的理想滤波器的复原强度相比，减弱复原强度。

24.一种复原滤波器生成方法，生成复原滤波器，该复原滤波器用于针对由具有光学系统的摄像装置得到的图像数据进行复原处理，

所述复原滤波器生成方法的特征在于，具备：

信息取得步骤，取得表示所述光学系统的光学传递函数的取决于摄影条件的波动的波动信息；以及

复原滤波器生成步骤，生成所述复原滤波器，

在所述信息取得步骤中取得的所述波动信息是所述取决于摄影条件的波动设为服从正态分布而计算出的所述光学传递函数的方差，

在所述复原滤波器生成步骤中，根据在所述信息取得步骤中取得的波动信息来生成复原滤波器，该复原滤波器根据所述取决于摄影条件的波动来减弱复原强度，通过根据所述方差的项被设置于分母的算式来计算所述复原强度，与假定为没有所述取决于摄影条件的波动而确定的理想滤波器的复原强度相比，减弱复原强度。

25.一种图像处理方法，其特征在于，具有：

图像数据取得步骤，取得根据通过具有光学系统的摄像装置得到的各颜色的图像数据来生成的与亮度相关的图像数据即亮度系图像数据；以及

复原处理步骤，使用通过权利要求22所述的复原滤波器生成方法来生成的所述复原滤波器，针对在所述图像数据取得步骤中取得的所述亮度系图像数据实施复原处理。

26.一种图像处理方法，其特征在于，具有：

图像数据取得步骤，取得通过具有光学系统的摄像装置得到的图像数据；

复原处理步骤，使用通过权利要求23或24所述的复原滤波器生成方法来生成的所述复原滤波器，针对在所述图像数据取得步骤中取得的所述图像数据，实施复原处理。

27.一种程序，使计算机执行生成复原滤波器的处理，该复原滤波器用于针对根据由具有光学系统的摄像装置得到的各颜色的图像数据来生成的与亮度相关的图像数据即亮度系图像数据进行复原处理，

所述程序的特征在于，具备：

信息取得步骤，取得表示所述光学系统的光学传递函数的取决于颜色的波动的波动信息；以及

复原滤波器生成步骤，生成所述复原滤波器，

在所述复原滤波器生成步骤中，根据在所述信息取得步骤中取得的波动信息来生成复原滤波器，该复原滤波器根据所述取决于颜色的波动来减弱复原强度，与假定为没有所述取决于颜色的波动而确定的理想滤波器的复原强度相比，减弱复原强度。

28.一种程序，使计算机执行生成复原滤波器的处理，该复原滤波器用于针对由具有光学系统的摄像装置得到的图像数据进行复原处理，

所述程序的特征在于，具备：

信息取得步骤，取得所述光学系统的光学传递函数的由所述光学系统的制造引起的波动设为服从正态分布而计算出的所述光学传递函数的方差来作为表示由所述光学系统的制造引起的波动的波动信息；以及

复原滤波器生成步骤，生成所述复原滤波器，

在所述复原滤波器生成步骤中，根据所述取得的波动信息来生成复原滤波器，该复原滤波器根据由所述光学系统的制造引起的波动来减弱复原强度，通过根据所述方差的项被设置于分母的算式来计算所述复原强度，与假定为没有由所述光学系统的制造引起的波动而确定的理想滤波器的复原强度相比，减弱复原强度。

29.一种程序，使计算机执行生成复原滤波器的处理，该复原滤波器用于针对由具有光学系统的摄像装置得到的图像数据进行复原处理，

所述程序的特征在于，具备：

信息取得步骤，取得所述光学系统的光学传递函数的取决于摄影条件的波动设为服从正态分布而计算出的所述光学传递函数的方差来作为表示所述取决于摄影条件的波动的波动信息；以及

复原滤波器生成步骤，生成所述复原滤波器，

在所述复原滤波器生成步骤中，根据在所述信息取得步骤中取得的波动信息来生成复原滤波器，该复原滤波器根据所述取决于摄影条件的波动来减弱复原强度，通过根据所述方差的项被设置于分母的算式来计算所述复原强度，与假定为没有所述取决于摄影条件的波动而确定的理想滤波器的复原强度相比，减弱复原强度。

30.一种记录介质，其特征在于，

记录了权利要求27至29中的任一项所述的程序。