CN104956661A - 图像拾取装置、图像处理装置、图像处理方法和非暂时性计算机可读存储介质 - Google Patents

Abstract

一种图像拾取装置包括获得原始图像的图像拾取元件；存储单元，存储根据图像拾取条件和原始图像中的位置而不同的第一光学传递函数以及图像恢复滤波器或者被设计为产生第二光学传递函数的函数；数据获得单元，当光圈值小于预定值时所述数据获得单元获得第一光学传递函数，以及当所述光圈值不小于预定值时，所述数据获得单元获得图像恢复滤波器或者基于被设计为产生第二光学传递函数的函数而产生的第二光学传递函数；滤波器产生单元，其基于第一或者第二光学传递函数产生图像恢复滤波器；和图像处理单元，其通过使用图像恢复滤波器来产生恢复图像。

Description

图像拾取装置、图像处理装置、图像处理方法和非暂时性计算机可读存储介质

技术领域

本发明涉及能够根据原始图像产生恢复图像的图像拾取装置和图像处理装置。

背景技术

由图像拾取装置获得的原始图像由于其中包含的图像模糊分量而劣化，这些图像模糊分量是由在图像拾取光学系统中发生的不利影响所引起的。这些不利影响包括各种类型的像差，诸如球面像差、彗形像差、场弯曲、像散以及光衍射。由这些类型的像差所引起的这种图像模糊成分的存在指的是，当从一点发射的光束不遭受任何像差或者衍射时，该光束不能会聚到另一点，而是细微地围绕该另一点扩散。这种细微扩散分布被以点扩散函数(PSF)表示。

通过PSF的傅里叶变换获得的光学传递函数(OTF)是关于像差的频率分量信息并且被以复数表示。分别地，OTF的绝对值(即，幅度分量)被称为“调制传递函数”(MTF)，并且相位分量被称为“相位传递函数”(PTF)。调制分量MTF和相位分量PTF分别是由像差所引起的图像劣化的幅度分量以及相位分量的频率特性，并且被以下面的表达式表示，其中相位分量被定义为相位角。

PTF＝tan^-1(Im(OTF)/Re(OTF))

在这个表达式中，符号Re(OTF)和Im(OTF)分别表示OTF的实部和虚部。如上所述，因为图像拾取光学系统的OTF使得图像的幅度分量和相位分量劣化，所以，如在彗形像差的情况下所见的，对象的每个点在劣化图像中不对称地模糊。在形成图像的位置由于取决于每个光波长的形成比率的差异而偏移，并且例如根据图像拾取装置的谱特性所形成的图像被获得作为RGB颜色分量的情况下，发生放大倍率的色差。这指的是R、G和B分量的成像位置彼此偏移，导致取决于波长的每个颜色分量的成像位置偏移，即，由于相移导致的图像扩散。

作为校正幅度分量MTF和相位分量PTF的劣化的方法，已知使用关于图像拾取光学系统的OTF的信息进行校正。该方法一般被称为图像恢复或者图像重构。相应地，其中通过使用关于图像拾取光学系统的OTF的信息来校正劣化的拍摄的图像的处理在下文中被称为“图像恢复处理”。作为一种图像恢复方法，已知相对于输入图像将光学传递函数(OTF)的逆特性与图像恢复滤波器进行卷积的方法，在后面将描述该方法。

对恢复图像的有效使用需要获得关于图像拾取光学系统的OTF更准确的信息。典型的图像拾取光学系统的OTF根据像高(图像中的位置)而极大地不同。另外，因为OTF是由复数表示的二维数据，所以OTF具有实部与虚部。当将针对包括三种颜色分量(即，红(R)、绿(G)和蓝(B))的彩色图像执行图像恢复处理时，由以下表达式表示具有单个像高的OTF数据：垂直方向的抽头数×水平方向的抽头数×2(实部/虚部)×3(RGB)。在该表达式中，“抽头数”指的是OTF数据的垂直和水平尺寸。针对包括像高、F数(光圈值)、变焦(焦距)和物距的图像拾取条件的所有项目而保持的这些抽头数导致大的数据量。为了改变取决于图像中的位置的恢复特性，希望不是以批方式在频空间中执行图像恢复处理，而是在切换恢复滤波器的同时在实空间中执行图像恢复处理。

图像模糊的一个原因是取决于图像拾取光学系统的F数的光的衍射现象。在示出了衍射界限曲线的图9中，水平轴和垂直轴分别指示空间频率和MTF。如图9所示，F数指示越深的颜色，截止频率向越低的频率侧偏移。例如，具有4μm像素尺寸的图像拾取元件的奈奎斯特频率是125lines/mm。因此，当F数，例如F2.8，指示亮色时，由这种衍射现象所引起的不利影响的程度是小的。相反，当F数，例如F16或者F32指示暗色时，这种不利影响的程度是大的。因为如同像差的情况，可以用OTF或者PSF来表示衍射现象，所以上述图像恢复处理可以校正由衍射引起的模糊。

PTL 1公开了在保持被转换为系数的用于图像恢复的OTF的同时，根据图像拾取装置的各种图像拾取条件来执行图像恢复处理的方法。

参考文献列表

专利文献

[PTL 1]日本专利公开No.2012-73691

发明内容

技术问题

然而，OTF根据光圈值、物距和变焦镜头的焦距而不同。此外，OTF还根据画面中的像高而不同。这些事实导致相当大量的全高清晰度OTF数据。

类似地，针对单个图像执行的图像恢复处理带来了大的计算量。这是因为使用了根据每个像高而调整的OTF。PTL 1中公开的方法通过保持被转换为系数的用于图像恢复的OTF来减小数据量。然而，需要数据量和计算量的进一步减少，因为它们影响图像拾取装置的图像处理电路的运算速度和图像拾取装置的存储器的成本。

因此，本发明提供了图像拾取装置、图像处理装置、图像处理方法和非暂时性计算机可读存储介质，其能够在减少数据量和计算量的同时执行高度准确的图像恢复处理。

问题的解决方案

作为本发明的一个方面的图像拾取装置能够根据原始图像产生恢复图像，并且包括图像拾取元件，被配置为对经由图像拾取光学系统形成的对象图像进行光电转换以获得原始图像；存储单元，被配置为存储第一光学传递函数和图像恢复滤波器，第一光学传递函数根据图像拾取条件和原始图像中的位置而不同，图像恢复滤波器的二维滤波器值的分布相对于原始图像中的位置恒定并且根据光圈值或者被设计为产生第二光学传递函数的函数而不同；数据获得单元，被配置为当所述光圈值小于预定值时获得第一光学传递函数，以及当所述光圈值不小于所述预定值时获得所述图像恢复滤波器或者基于被设计为产生第二光学传递函数的函数而产生的第二光学传递函数；滤波器产生单元，被配置为当所述数据获得单元获得第一光学传递函数或者第二光学传递函数时，基于第一光学传递函数或者第二光学传递函数产生图像恢复滤波器；和图像处理单元，被配置为通过使用存储在所述存储单元中的图像恢复滤波器或者由所述滤波器产生单元产生的图像恢复滤波器，根据原始图像产生恢复图像。

作为本发明的另一方面的图像处理装置能够根据原始图像产生恢复图像，并且包括获得单元，被配置为获得原始图像和原始图像的图像拾取条件；存储单元，被配置为存储第一光学传递函数和图像恢复滤波器，第一光学传递函数根据图像拾取条件并且根据原始图像中的位置而不同，并且图像恢复滤波器的二维滤波器值的分布相对于原始图像中的位置是恒定的并且根据光圈值或者被设计为产生第二光学传递函数的函数而不同；数据获得单元，被配置为当所述光圈值小于预定值时获得第一光学传递函数，并且当所述光圈值不小于所述预定值时，获得所述图像恢复滤波器或者基于被设计为产生所述第二光学传递函数的函数而产生的第二光学传递函数；滤波器产生单元，被配置为当所述数据获得单元获得第一光学传递函数或者第二光学传递函数时，基于第一光学传递函数或者第二光学传递函数，产生图像恢复滤波器；和图像处理单元，被配置为通过使用存储在所述存储单元中的图像恢复滤波器或者由所述滤波器产生单元产生的图像恢复滤波器，根据原始图像产生恢复图像。

作为本发明的另一方面的图像处理方法是一种根据原始图像产生恢复图像的方法，并且包括步骤：获得原始图像和原始图像的图像拾取条件，从存储单元获得第一光学传递函数，所述存储单元存储当所述图像拾取条件的光圈值小于预定值时将被使用的第一光学传递函数，第一光学传递函数根据图像拾取条件以及原始图像中的位置而不同，并且所述存储单元存储当所述光圈值不小于所述预定值时将被使用的图像恢复滤波器，图像恢复滤波器的二维滤波器值的分布相对于原始图像中的位置是恒定的并且根据光圈值或者被设计为产生第二光学传递函数的函数而不同，当所述光圈值不小于所述预定值时，从所述存储单元获得所述图像恢复滤波器或者基于被设计为产生第二光学传递函数的函数而产生的第二光学传递函数，当数据获得单元获得第一光学传递函数或者第二光学传递函数时，基于第一光学传递函数或者第二光学传递函数产生图像恢复滤波器，以及通过使用存储在所述存储单元中的图像恢复滤波器或者由滤波器产生单元产生的图像恢复滤波器，根据所述原始图像产生恢复图像。

作为本发明的另一方面的非暂时性计算机可读存储介质存储图像处理程序，以便根据原始图像产生恢复图像，并且所述图像处理程序被配置为使得信息处理装置执行步骤：获得原始图像和原始图像的图像拾取条件，从存储单元获得第一光学传递函数，所述存储单元存储当所述图像拾取条件的光圈值小于预定值时将被使用的第一光学传递函数，第一光学传递函数根据图像拾取条件并且根据原始图像中的位置而不同，并且所述存储单元存储当所述光圈值不小于所述预定值时将被使用的图像恢复滤波器，图像恢复滤波器的二维滤波器值的分布相对于原始图像中的位置是恒定的并且根据光圈值或者被设计为产生第二光学传递函数的函数而不同，当所述光圈值不小于预定值时，从所述存储单元获得所述图像恢复滤波器或者基于被设计为产生第二光学传递函数的函数而产生的第二光学传递函数，当数据获得单元获得第一光学传递函数或者第二光学传递函数时，基于第一光学传递函数或者第二光学传递函数产生图像恢复滤波器，以及通过使用存储在所述存储单元中的图像恢复滤波器或者由滤波器产生单元产生的图像恢复滤波器，根据所述原始图像产生恢复图像。

作为本发明的另一方面的图像拾取装置能够根据原始图像产生恢复图像，并且包括图像拾取元件，被配置为对经由图像拾取光学系统形成的对象图像进行光电转换以便获得原始图像；存储单元，被配置为存储多个图像恢复滤波器，所述图像恢复滤波器的二维滤波器值的分布根据光圈值而不同；确定单元，被配置为确定拍摄原始图像时设置的光圈值是否不小于预定值；和图像处理单元，被配置为当所述光圈值不小于所述预定值时根据光圈值从图像恢复滤波器选择图像恢复滤波器，以便通过使用选择的图像恢复滤波器，根据原始图像产生恢复图像。

作为本发明的另一方面的图像处理装置能够根据原始图像产生恢复图像，并且包括获得单元，被配置为获得原始图像和拍摄所述原始图像时设置的光圈值；存储单元，被配置为存储多个图像恢复滤波器，所述图像恢复滤波器的二维滤波器值的分布根据光圈值而不同；确定单元，被配置为确定拍摄原始图像时设置的光圈值是否不小于一个预定值；和图像处理单元，被配置为当所述光圈值不小于所述预定值时根据光圈值从图像恢复滤波器选择图像恢复滤波器，以便通过使用选择的图像恢复滤波器根据原始图像产生恢复图像。

作为本发明的另一方面的图像处理方法是一种根据原始图像产生恢复图像的方法，并且包括步骤：获得原始图像和拍摄原始图像时设置的光圈值，确定所述光圈值是否不小于一个预定值，以及当所述光圈值不小于所述预定值时，从根据光圈值而不同的多个图像恢复滤波器中选择对应于所述光圈值的图像恢复滤波器，并且通过使用选择的图像恢复滤波器，根据所述原始图像产生恢复图像。

作为本发明的另一方面的非暂时性计算机可读存储介质存储图像处理程序，以便根据原始图像产生恢复图像，并且所述图像处理程序被配置为使得信息处理装置执行：获得原始图像和当拍摄所述原始图像时设置的光圈值，确定所述光圈值是否不小于一个预定值，当所述光圈值不小于所述预定值时，从根据光圈值而不同的多个图像恢复滤波器中选择对应于所述光圈值的图像恢复滤波器，和通过使用选择的图像恢复滤波器，根据所述原始图像产生恢复图像。

作为本发明的另一方面的图像拾取装置能够通过相对于原始图像使用图像恢复滤波器来产生恢复图像，并且包括图像拾取元件，被配置为对经由图像拾取光学系统形成的对象图像进行光电转换来获得原始图像；确定单元，被配置为确定拍摄所述原始图像时设置的光圈值是否不小于一个预定值；存储单元，被配置为存储对应于光圈值而准备的多个图像恢复滤波器；选择单元，被配置为当拍摄原始图像时设置的光圈值不小于所述预定值时，从图像恢复滤波器中选择对应于所述光圈值的图像恢复滤波器；和图像处理单元，被配置为通过相对于与每个不同像高对应的像素值使用选择的图像恢复滤波器来产生恢复图像。

作为本发明的另一方面的图像拾取装置能够根据原始图像产生恢复图像，并且包括图像拾取元件，被配置为对经由图像拾取光学系统形成的对象图像进行光电转换以便获得原始图像；确定单元，被配置为确定拍摄所述原始图像时设置的光圈值是否不小于预定值；和存储单元，被配置为存储共用图像恢复滤波器，当所述光圈值不小于所述预定值时，所述共用图像恢复滤波器将用作将相对于与对象图像中的第一像高对应的第一像素值而计算的图像恢复滤波器以便校正第一像素值，并且作为将相对于与对象图像中的第二像高对应的第二像素值而计算的图像恢复滤波器以便校正第二像素值。

作为本发明的另一方面的图像拾取装置能够根据原始图像产生恢复图像，并且包括图像拾取元件，被配置为对经由图像拾取光学系统形成的对象图像进行光电转换以便获得原始图像；确定单元，被配置为确定拍摄所述原始图像时设置的光圈值是否不小于预定值；恢复处理单元，被配置为恢复所述图像恢复滤波器；和存储单元，被配置为存储所述图像恢复滤波器，并且所述恢复处理单元被配置为仅当所述光圈值不小于所述预定值时，通过使用存储在所述存储单元中的图像恢复滤波器来执行恢复处理。

作为本发明的另一方面的图像拾取装置能够根据原始图像产生恢复图像，并且包括获得单元，被配置为获得原始图像和拍摄所述原始图像时设置的光圈值；确定单元，被配置为确定拍摄所述原始图像时设置的光圈值是否不小于一个预定值，和图像处理单元，被配置为当所述光圈值不小于所述预定值时，通过使用其二维滤波器值的分布相对于原始图像中的位置恒定的图像恢复滤波器，根据所述原始图像产生恢复图像。

作为本发明的另一方面的图像拾取装置能够根据原始图像产生恢复图像，并且包括图像拾取元件，被配置为对经由图像拾取光学系统形成的对象图像进行光电转换以便获得所述原始图像；确定单元，被配置为确定拍摄所述原始图像时设置的光圈值是否不小于预定值；和图像处理单元，被配置为当所述光圈值不小于所述预定值时，通过使用彼此不同的第一像高和第二像高共用的图像恢复滤波器，根据所述原始图像产生恢复图像。

作为本发明的另一方面的图像拾取装置能够根据原始图像产生恢复图像，并且包括图像拾取元件，被配置为对经由图像拾取光学系统形成的对象图像进行光电转换以便获得原始图像；确定单元，被配置为确定拍摄原始图像时设置的光圈值是否不小于预定值；和图像处理单元，被配置为当所述光圈值小于所述预定值时，通过使用根据图像拾取条件和原始图像中的位置而不同的图像恢复滤波器，根据所述原始图像产生恢复图像，并且当所述光圈值不小于所述预定值时，通过使用其二维滤波器值的分布相对于原始图像中的位置恒定的图像恢复滤波器，根据所述原始图像产生恢复图像。

作为本发明的另一方面的图像拾取装置能够根据原始图像产生恢复图像，并且包括图像拾取元件，被配置为对经由图像拾取光学系统形成的对象图像进行光电转换以便获得原始图像；确定单元，被配置为确定拍摄原始图像时设置的光圈值是否不小于一个预定值；和图像处理单元，被配置为当所述光圈值小于所述预定值时，执行不包括图像恢复处理的显影处理，以及当所述光圈值不小于所述预定值时，通过使用其二维滤波器值的分布相对于原始图像中的位置恒定的图像恢复滤波器，根据所述原始图像产生恢复图像。

作为本发明的另一方面的图像处理方法是根据原始图像产生恢复图像的方法，并且包括步骤：获得原始图像和拍摄所述原始图像时设置的光圈值，确定所述光圈值是否不小于一个预定值，以及当所述光圈值不小于所述预定值时，通过使用其二维滤波器值的分布相对于原始图像中的位置恒定的图像恢复滤波器，根据所述原始图像产生恢复图像。

作为本发明的另一方面的图像处理方法是根据原始图像产生恢复图像的方法，并且包括步骤：获得原始图像和拍摄所述原始图像时设置的光圈值，确定所述光圈值是否不小于一个预定值，以及当所述光圈值不小于所述预定值时，通过使用彼此不同的第一像高和第二像高共用的图像恢复滤波器，根据所述原始图像产生恢复图像。

作为本发明的另一方面的图像处理方法是根据原始图像产生恢复图像的方法，并且包括步骤：获得原始图像和所述原始图像的图像拾取条件，确定所述图像拾取条件中的光圈值是否不小于一个预定值，以及当所述光圈值小于所述预定值时，通过使用根据图像拾取条件和原始图像中的位置而不同的图像恢复滤波器，根据所述原始图像产生恢复图像，和当所述光圈值不小于所述预定值时，通过使用其二维滤波器值的分布相对于原始图像中的位置恒定的图像恢复滤波器，根据所述原始图像产生恢复图像。

作为本发明的另一方面的图像处理方法是根据原始图像产生恢复图像的方法，并且包括步骤：获得原始图像和所述原始图像的图像拾取条件，确定所述图像拾取条件中的光圈值是否不小于一个预定值，以及当所述光圈值小于所述预定值时，执行不包括图像恢复处理的显影处理，和当所述光圈值不小于所述预定值时，通过使用其二维滤波器值的分布相对于原始图像中的位置恒定的图像恢复滤波器，根据所述原始图像产生恢复图像。

作为本发明的另一方面的一种非暂时性计算机可读存储介质存储图像处理程序，以便根据原始图像产生恢复图像，并且所述图像处理程序被配置为使得信息处理装置执行步骤：获得原始图像和拍摄所述原始图像时设置的光圈值，确定所述光圈值是否不小于一个预定值，以及当所述光圈值不小于所述预定值时，通过使用其二维滤波器值的分布相对于原始图像中的位置恒定的图像恢复滤波器，根据所述原始图像产生恢复图像。

作为本发明的另一方面的非暂时性计算机可读存储介质存储图像处理程序，以便根据原始图像产生恢复图像，并且所述图像处理程序被配置为使得信息处理装置执行步骤：获得原始图像和拍摄所述原始图像时设置的光圈值，确定所述光圈值是否不小于一个预定值，当所述光圈值不小于所述预定值时，通过使用彼此不同的第一像高和第二像高共用的图像恢复滤波器，根据所述原始图像产生恢复图像。

作为本发明的另一方面的一种非暂时性计算机可读存储介质存储图像处理程序，以便根据原始图像产生恢复图像，并且所述图像处理程序被配置为使得信息处理装置执行步骤：获得原始图像和所述原始图像的图像拾取条件，确定所述图像拾取条件中的光圈值是否不小于一个预定值，以及当所述光圈值小于所述预定值时，通过使用根据图像拾取条件和原始图像中的位置而不同的图像恢复滤波器，根据原始图像产生恢复图像，和当所述光圈值不小于所述预定值时，通过使用其二维滤波器值的分布相对于原始图像中的位置恒定的图像恢复滤波器，根据所述原始图像产生恢复图像。

作为本发明的另一方面的非暂时性计算机可读存储介质存储图像处理程序，以便根据原始图像产生恢复图像，并且所述图像处理程序被配置为使得信息处理装置执行步骤：获得原始图像和所述原始图像的图像拾取条件，确定所述图像拾取条件中的光圈值是否不小于一个预定值，以及当所述光圈值小于所述预定值时，执行不包括图像恢复处理的显影处理，和当所述光圈值不小于所述预定值时，通过使用其二维滤波器值的分布相对于原始图像中的位置恒定的图像恢复滤波器，根据所述原始图像产生恢复图像。

根据以下参考附图对示例性实施例的描述，本发明的其它特征和方面将变得清楚。

发明的有利效果

本发明提供了图像拾取装置、图像处理装置、图像处理方法和非暂时性计算机可读存储介质，其能够在减少数据量和计算量的同时执行高度准确的图像恢复处理。

附图说明

图1是实施例1中的图像处理方法的流程图。

图2是每个实施例中的图像恢复滤波器的说明图。

图3是每个实施例中的图像恢复滤波器的说明图。

图4A是每个实施例中的点扩散函数PSF的说明图。

图4B是每个实施例中的点扩散函数PSF的说明图。

图5A是每个实施例中的光学传递函数的幅度分量MTF的说明图。

图5B是每个实施例中的光学传递函数的相位分量PTF的说明图。

图6是实施例1中的图像拾取装置的配置图。

图7是实施例2中的图像处理方法的流程图。

图8是实施例4中的图像处理系统的配置图。

图9是衍射极限曲线的说明图。

图10是实施例3中的图像处理方法的流程图。

图11是实施例3中的图像拾取装置的配置图。

具体实施方案

下面将参考附图描述本发明的示例性实施例。在每个附图中将以相同的附图标记表示相同的要素，并且将省略其重复的描述。

首先，将描述本实施例中使用的术语定义和图像恢复处理(图像处理方法)。在适当时，在本实施例中描述的图像处理方法被在后面描述的每个实施例中使用。

[输入图像]

输入图像是经由图像拾取光学系统通过图像拾取元件接收光而获得的数字图像(拍摄的图像或者原始图像)，并且根据包括镜头和各种光学滤波器的图像拾取光学系统的像差，通过光学传递函数OTF而劣化。所述图像拾取光学系统可以被配置为不仅使用镜头，而且使用具有曲率的反射镜(反射表面)。

输出图像具有例如关于RGB颜色分量的信息。除了该颜色分量之外，可以选择颜色空间，诸如以LCH表示的亮度、色调和色度，以YCbCr表示的亮度，以及色差信号用作颜色分量。还可以使用XYZ、Lab、Yuv和JCh作为备选类型的颜色空间。此外，可以使用色温。

输入图像或者输出图像可以附带有图像拾取条件，诸如镜头焦距、光圈值和物距以及用于校正这些图像的各种校正信息。当针对从图像拾取装置发送到图像处理装置的原始图像执行校正处理时，优选地，如上所述，原始图像附带有图像拾取条件和关于校正的信息。作为另一个方法，图像拾取装置和图像处理装置可以直接或者间接地彼此连接，以便在它们之间接收和发送图像拾取条件和关于校正的信息。

[图像恢复处理]

随后，将描述图像恢复处理的概要。下面的表达式(1)被满足，其中g(x,y)是原始图像(劣化图像)，f(x,y)是原始图像，并且h(x,y)是点扩散函数(PSF)，其为光学传递函数(OTF)的傅里叶对。

g(x,y)＝h(x,y)*f(x,y)…(1)

在表达式(1)中，符号*表示卷积(卷积积分或者卷积和积)，并且符号(x,y)表示关于原始图像的坐标。

通过由表达式(1)表示的g(x,y)的傅里叶变换来获得由表达式(2)表示的由每个频率的乘积表示的G(u,v)，以便转换为频率面上的显示格式。

G(u,v)＝H(u,v)·F(u,v)…(2)

在表达式(2)中，H是通过PSF(h)的傅里叶变换获得的OTF，G和F分别是通过劣化图像g和原始图像f的傅里叶变换获得的函数，并且(u,v)是二维频率面上的坐标，即，频率。

为了从劣化的拍摄的图像获得原始图像f，如以下表达式(3)的情况，表达式(2)两边仅仅需要除以光学传递函数H。

G(u,v)/H(u,v)＝F(u,v)…(3)

然后，当针对F(u,v)，即，G(u,v)/H(u,v)，执行逆傅里叶变换以便将频率面再转换到实面(real surface)时，可以获得原始图像f(x,y)作为恢复图像。

g(x,y)*R(x,y)＝f(x,y)…(4)

在表达式(4)中，R(x,y)被称为“图像恢复滤波器”。如果图像是二维图像，那么一般地，图像恢复滤波器R还具有对应于图像的每个像素的抽头(单元)并且因此具有二维滤波器值的分布。一般地，图像恢复滤波器R的抽头数(单元数)越大，恢复准确性越高。因此，根据需要的图像质量、图像处理能力、像差特性等设置适宜的抽头数。因为图像恢复滤波器R需要至少反映像差和衍射特性，所以它不同于具有大约三个抽头(水平、垂直和正交抽头)的常规边缘增强滤波器(高通滤波器)等。因为基于OTF设置图像恢复滤波器R，所以可以高度准确地校正幅度分量和相位分量的劣化两者。

因为实际图像包含噪声分量，所以使用由OTF的完全逆创建的图像恢复滤波器R导致噪声分量的显著放大。其原因是光学系统的MTF(幅度分量)被提高，从而它的值在所有频率上从其中噪声幅度被添加到图像的幅度的状态返回1。作为光学系统的幅度劣化的MTF的值返回1，但是噪声的功率谱同时被提高。结果，根据MTF的提高程度(恢复增益)，噪声不可避免地被放大。

因此，如果原始图像包含噪声，那么不可以获得预期将被欣赏的令人满意的恢复图像。这被由以下的表达式(5-1)和(5-2)表示。

G(u,v)＝H(u,v)·F(u,v)+N(u,v)…(5-1)

G(u,v)/H(u,v)＝F(u,v)+N(u,v)/H(u,v)…(5-2)

在表达式(5-1)和(5-2)中，N是噪声分量。

对于包含噪声分量的图像，如以下表达式(6)所表示的维纳滤波器的情况，已知根据图像信号和噪声信号的强度比SNR来控制其恢复程度的方法。

在表达式(6)中，M(u,v)是维纳滤波器的频率特性，并且|H(u,v)|是OTF的绝对值(MTF)。在该方法中，针对每个频率与MTF的值成比例地设置恢复增益(恢复程度)。一般地，图像拾取光学系统的MTF在低频率具有较高值，并且在高频率具有较低值。在该方法中，大体上，减少了图像高频率中的恢复增益。

随后，参考图2和3，将描述图像恢复滤波器。图像恢复滤波器的抽头数取决于图像拾取光学系统的像差特性和所需的恢复准确性。作为例子的图2所示的图像恢复滤波器是具有11×11抽头的二维滤波器。在图2中，虽然省略了每个抽头的值，但是在图3中示出了该图像恢复滤波器的一个横截面。图像恢复滤波器的每个抽头的值的分布理想地具有重构由于像差而空间扩散的信号或者像素值作为原始点的功能。

图像恢复滤波器的每个抽头在根据图像的每个像素的图像恢复处理步骤中经受卷积处理(卷积积分/卷积和积)。在卷积处理中，为了改善预定像素的信号值，预定像素被布置为与图像恢复滤波器的中心一致。然后，对于该图像和它的图像恢复滤波器的对应像素值，将该图像的每个信号值乘以该图像恢复滤波器的每个抽头值。最后，以得到的总和替换原始信号值作为中心像素的信号值。

随后，参考图4和5，将描述在实空间和频空间中观察的图像恢复特性。图4A和4B是PSF的说明图。图4A示出了当图像未被恢复时观察到的PSF，并且图4B示出了当图像被恢复时观察到的PSF。图5A和5B分别是OTF的幅度分量MTF的说明图和OTF的相位分量PTF的说明图。在图5A中，虚线(A)表示当图像未被恢复时观察到的MTF，并且点划线(B)表示当图像被恢复时观察到的MTF。类似地，在图5B中，虚线(A)表示当图像未被恢复时观察到的PTF，并且点划线(B)表示当图像被恢复时观察到的PTF。如图4A所示，当图像未被恢复时观察到的PSF不对称地扩散。因为该不对称性，相位分量PTF具有相对于频率非线性的值。在图像恢复处理中，图像被校正从而使得幅度分量MTF被放大，以便使得相位分量为零，这使得当图像被恢复时观察到的点扩展函数对称并且形状尖锐。

如上所述，可以通过基于图像拾取光学系统的OTF的逆函数设计的函数的逆傅里叶变换来获得图像恢复滤波器。本实施例中使用的图像恢复滤波器可被适当地改变，并且例如可以使用上面所述的维纳滤波器。当使用维纳滤波器时，以表达式(6)表示的M(u，v)的逆傅里叶变换允许创建实空间中的图像恢复滤波器，该图像恢复滤波器与图像进行实际卷积运算。

即使在一个图像拾取状态下，OTF根据图像拾取光学系统的像高(图像中的位置)而改变。另一方面，如果随着光圈值(F值)的增加主要地受衍射影响的光学传递函数(OTF)由于光学系统的渐晕遭受轻微程度的影响，则可被视为对于像高不变(恒定)的OTF。

[实施例1]

接着，参考图1，将描述本发明的实施例1中的图像处理方法。图1是示出本发明的实施例1中的图像处理方法(图像恢复处理)的流程图。由图像处理装置或者图像拾取装置的图像处理器执行本实施例的图像恢复处理。虽然下面主要描述图像处理器作为执行每个步骤的代表性元件，但是图像处理器可被图像处理装置替换。

首先，在步骤S11，图像处理器获得原始图像作为输入图像。当使用图像处理装置执行图像处理方法时，可以通过经由线或者无线地连接图像处理装置和图像拾取装置来获得原始图像。图像处理装置还可以经由非暂时性计算机可读存储器获得原始图像。另一方面，当使用图像拾取装置执行图像处理方法时，图像拾取装置获得RAW图象(原始图像或者拍摄的图像)作为显影处理的输入数据(输入图像)。如上所述，图像处理装置或者图像拾取装置的获得单元获得原始图像。

随后，在步骤S12，图像处理器获得图像拾取条件。图像拾取条件包括光圈值(F数)、焦距、物距等。当使用可移除地安装在图像拾取装置的本体(照相机本体)上的镜头单元(可交换镜头)时，图像拾取条件进一步还包括镜头ID和照相机ID。可以直接从图像拾取装置获得关于图像拾取条件的信息，或者还可以从原始图像附带的信息中获得关于图像拾取条件的信息。

接着，在步骤S13，图像处理器确定，相对于输入图像(原始图像)，光圈值是否等于或大于预定值。当光圈值小于该预定值时，图像处理器确定输入图像主要受像差的影响并且然后进入步骤S14。另一方面，当光圈值等于或大于该预定值时，图像处理器确定输入图像主要受衍射的影响并且然后进入步骤S18。如上所述，在本实施例的图像处理方法中，根据光圈值切换后续处理。

在本实施例中，预定的光圈值(切换后续处理的阈值)例如被设置为F16。然而，本实施例不限于此，并且可以根据图像拾取光学系统的像差量或者图像拾取元件的像素间距而适当地改变。例如，如以下的条件表达式(7)表示的，优选地，设置光圈值作为预定值，对于该光圈值，根据光圈值的由于衍射的截止频率小于根据图像拾取元件的像素间距的采样频率。

F≥p/λ…(7)

在条件表达式(7)中，符号F表示F数(光圈值)，符号p表示像素间距，并且符号λ表示从可见光的波带中选择的预定波长。符号λ还可以是可以由图像拾取元件接收的波带的中心波长。换言之，预定的光圈值仅仅需要被设置为满足或者近似满足F＝p/λ的关系的值。例如，其中p＝0.006mm，采样频率是167lines/mm。相应地，其中λ＝550nm，预定光圈值是F11。

如果在步骤S13图像处理器确定光圈值小于预定值，那么在步骤S14图像处理器获得适于图像拾取条件的光学传递函数(第一光学传递函数)。可以从预先存储在存储单元中的数据中选择这种光学传递函数。可替代地，产生光学传递函数和其系数组的函数可被预先存储为将用于在步骤S14新产生光学传递函数的数据。另外，在预先存储了系数数据的图像拾取条件之间针对光圈值、物距和变焦镜头的焦距执行插值能够使得预先存储的光学传递函数的数据量减少。作为插值方法，例如，已知双线性插值(线性插值)和双三次插值，但是在本实施例中的插值法不限于此。

接着，在步骤S15，图像处理器通过使用该光学传递函数(第一光学传递函数)来产生图像恢复滤波器。在本实施例中，根据原始图像中的位置，即，针对每个像高，产生图像恢复滤波器。随后，在步骤S16，图像处理器通过对图像恢复滤波器与原始图像进行卷积来执行图像恢复处理以产生恢复图像。然后，在步骤S17，图像处理器输出恢复图像作为输出图像。

另一方面，如果图像处理器在步骤S13确定光圈值等于或大于该预定值，那么图像处理器在步骤S18获得适于图像拾取条件的图像恢复滤波器。当光圈值等于或大于预定值时，图像劣化的主要因素是衍射。因此，图像恢复滤波器不取决于诸如物距和焦距的图像拾取条件，并且因此，可以仅根据光圈值来选择图像恢复滤波器。即，图像处理器根据光圈值获得图像恢复滤波器。

优选地，在步骤S18获得的图像恢复滤波器的抽头数满足以下条件表达式(8)。

1<T·p/(0.0016·F)<6…(8)

在条件表达式(8)中，符号T表示水平和垂直方向的抽头数，符号p表示图像拾取元件的像素间距，并且符号F表示F数(光圈值)。超过表达式(8)的下限导致对于由于像差或者衍射产生的PSF的扩散抽头数的不足。这种不足使得不可能实现足够的校正效果。另一方面，超过表达式(8)的上限导致卷积处理的计算量的增大，引起处理速度的降低。例如，其中p＝0.006mm，F＝22，并且抽头数T是奇数，满足7<T<35的关系。

可替代地，在步骤S16，可以为在步骤S15产生的图像恢复滤波器和在步骤S18选择的图像恢复滤波器两者设置相同的抽头数，以便共享在步骤S16执行的卷积处理。在这种情况下，优选地满足以下条件表达式(9)。

1<T·p/(0.0016·F)<12…(9)

如条件表达式(9)表示的，提高条件表达式(8)的上限使得即使在主要受像差影响的图像拾取条件中也可以针对PSF的扩散避免抽头数不足。

随后，在步骤S16，以与上述相同的方式，图像处理器通过对图像恢复滤波器与原始图像进行卷积来执行图像恢复处理，以便产生恢复图像。然后，在步骤S17，图像处理器输出恢复图像作为输出图像。

如上所述，在本实施例中，将被预先存储在图像处理装置或者图像拾取装置(图像处理器)中的数据是在光圈值小于预定值的情况下获得的光学传递函数或者是产生光学传递函数的系数数据，以及在光圈值等于或大于预定值的情况下选择的图像恢复滤波器。这导致关于在光圈值等于或大于预定值的情况下获得的光学传递函数的数据量的减小。此外，在光圈值等于或大于预定值的情况下，不需要在步骤S15针对每个像高产生图像恢复滤波器，并且可以针对图像的整个区域使用同一图像恢复滤波器，而不在步骤S16根据每个像高来切换图像恢复滤波器。

接着，参考图6，将描述本实施例中的图像拾取装置。图6是本实施例中的图像拾取装置100的配置图。图像拾取装置100能够通过执行参考图1描述的本实施例的图像处理方法(图像恢复处理)，根据原始图像产生恢复图像。

在图像拾取装置100中，经由包括光阑101a和聚焦镜头101b的图像拾取光学元件，在图像拾取元件102上形成对象(附图中未示出)。然后，图像拾取元件102对经由图像拾取光学系统101形成的对象图像进行光电转换以获得原始图像。图像拾取元件102上形成的对象图像被转换为电信号，并且然后被输出到A/D转换器103。A/D转换器103将输入的电信号(模拟信号)转换为数字信号，并且然后将该数字信号输出到图像处理器104。通过这一系列处理获得原始图像。

除了预定的处理之外，图像处理器104(图像处理单元)还执行图像恢复处理。首先，图像处理器104从状态检测器107获得图像拾取装置100的图像拾取条件(图像拾取条件信息)。图像拾取条件信息包括光圈值、物距、变焦镜头的焦距等。状态检测器107不仅能够直接从系统控制器110获得图像拾取条件信息，而且能够从图像拾取光学系统控制器106获得例如关于图像拾取光学系统101的图像拾取条件信息。存储部分108(存储单元)存储根据图像拾取条件和原始图像中的位置而不同的第一光学传递函数。存储部分108还存储其二维滤波器值的分布相对于原始图像中的位置恒定并且根据光圈值而不同的图像恢复滤波器，或者产生第二光学传递函数的函数(系数数据)。表述“存储其二维滤波器值的分布‘相对于原始图像中的位置恒定’的‘图像恢复滤波器’”可被改述如下。即，存储部分108存储作为将被相对于第一像素值计算的图像恢复滤波器和将被相对于第二像素值计算的图像恢复滤波器的共用恢复滤波器。在本实施例中，“第一像素值”指对应于对象图像中的第一像高的像素值，并且“第二像素值”指对应于对象图像中的第二像高的像素值。第一像高和第二像高彼此不同。

图像处理器104包括图像获得单元104a、数据获得单元104b、滤波器产生单元104c和图像处理单元104d。图像获得单元104a(获得单元)获得原始图像及其图像拾取条件。当光圈值小于预定值时，数据获得单元104b获得第一光学传递函数。另一方面，当光圈值等于或大于预定值时，数据获得单元104b获得图像恢复滤波器或者基于产生第二光学传递函数的函数而产生的第二光学传递函数。当数据获得单元104b获得第一或者第二光学传递函数时，滤波器产生单元104c基于获得的第一或者第二光学传递函数产生图像恢复滤波器。图像处理单元104d通过使用存储在存储部分108中的图像恢复滤波器或者由滤波器产生单元104c产生的图像恢复滤波器，根据原始图像产生恢复图像。在本实施例中，当光圈值等于或大于预定值时，选择取决于光圈值的图像恢复滤波器。在这种情况下，不需要产生第二光学传递函数。

由图像处理器104处理的输出图像(恢复图像)被以预定格式记录在图像记录介质109中。在显示部分105上显示如下图像：针对该图像，执行本实施例中的图像处理和使得能够显示该图像的预定处理。可替代地，可以显示如下图像：针对该图像，执行允许高速显示的简化处理。

由系统控制器110执行图像拾取装置100中的这一系列控制操作。由图像拾取光学系统控制器106基于系统控制器110的指令来执行图像拾取光学系统101的机械驱动。控制光阑101a的孔径直径，作为光圈值(F数)的拍摄状态设置。由自动聚焦(AF)机构或者手动聚焦机构(这两者都未被在附图中示出)控制聚焦镜头101b的位置，以便根据物距执行聚焦。

图像拾取光学系统101可以包括光学元件，诸如光学低通滤波器或者红外辐射截止滤波器。在使用影响光学传递函数(OTF)的特性的元件(诸如光学低通滤波器)的情况下，优选地在产生图像恢复滤波器时考虑影响。另外，在使用红外辐射截止滤波器的情况下，优选地在产生图像恢复滤波器时考虑影响。这是因为红外辐射截止滤波器影响其为频谱波长的点扩散函数(PSF)的积分值的RGB通道中的每个PSF，尤其影响R通道的PSF。在这种情况下，进一步基于由光学低通滤波器所引起的，即，取决于光学低通滤波器的第三光学传递函数来产生图像恢复滤波器。

另外，因为像素孔径的形状也影响光学传递函数，所以优选地将影响考虑在内。在这种情况下，进一步基于由像素孔径所引起的，即，取决于像素孔径的第四光学传递函数来产生图像恢复滤波器。还优选地考虑各种因素，诸如光学低通滤波器、红外辐射截止滤波器和像素孔径从而准备在光圈值等于或大于预定值的情况下使用的图像恢复滤波器。

在本实施例中，虽然图像拾取光学系统101被配置为与图像拾取装置(图像拾取装置本体)集成在一起，但是本配置不限于此。图像拾取光学系统101可以是可移除地安装在诸如单镜头反射照相机的图像拾取装置本体上的可交换镜头。

[实施例2]

接着，参考图7，将描述本发明的实施例2中的图像处理方法。图7是示出本实施例中的图像处理方法(图像恢复处理)的流程图。由图像处理装置或者图像拾取装置的图像处理器来执行本实施例中的图像处理方法。虽然下面将主要描述图像处理器作为执行每个步骤的代表性元件，但是图像处理器可被图像处理装置替换。在本实施例中，因为图7的步骤S11到S17与实施例1相同，所以将省略其描述。

当图像处理器在步骤S13确定光圈值等于或大于预定值时，图像处理器在步骤S28计算并且产生适于图像拾取条件的光学传递函数(第二光学传递函数)。在本实施例中，存储在存储部分108中的产生第二光学传递函数的函数是取决于光圈值的光学传递函数的计算表达式。

当光圈值等于或大于预定值时，图像劣化的主要因素是衍射。因此，光学传递函数(第二光学传递函数)不取决于图像拾取条件，诸如物距和焦距，而是仅取决于光圈值。在这种情况下，由衍射引起的光学传递函数不仅取决于光圈值，而且取决于光的波长。可以基于假设的光源的光谱信息和图像拾取元件的接收灵敏度信息，通过对每个波长加权，来产生针对每个颜色分量的光学传递函数。可替代地，可以使用预定颜色分量中的每一个的代表性波长执行计算。

接着，在步骤S15，图像处理器通过使用光学传递函数(第二光学传递函数)来产生图像恢复滤波器。在本实施例中，图像恢复滤波器具有相对于原始图像中的位置恒定并且根据光圈值而不同的二维滤波器值的分布。随后，在步骤S16，图像处理器通过对图像恢复滤波器与原始图像进行卷积来执行图像恢复处理以产生恢复图像。然后，在步骤S17，图像处理器输出恢复图像作为输出图像。

因此，将被预先存储在图像处理装置或者图像拾取装置中的数据是在光圈值小于预定值的情况下获得的光学传递函数或者产生光学传递函数的系数数据。这导致在光圈值等于或大于预定值的情况下获得的光学传递函数的数据量的减小。此外，在步骤S16，在光圈值等于或大于预定值的情况下，可以针对图像的整个区域使用同一图像恢复滤波器，而不根据每个像高来切换图像恢复滤波器。

因为本实施例的图像拾取装置的配置与参考图6描述的实施例1的图像拾取装置100相同，因此将省略其描述。本实施例也可以实现保持在图像拾取装置的存储部分中的数据量的减小，以及在光圈值等于或大于预定值的情况下所需的计算量的减小。

[实施例3]

接着，参考图10，将描述本发明的实施例3中的图像处理方法。图10是示出本实施例中的图像处理方法(图像恢复处理)的流程图。由图像处理装置或者图像拾取装置的图像处理器执行本实施例中的图像处理方法。虽然下面将主要描述图像处理器作为执行每个步骤的代表性元件，但是图像处理器可被图像处理装置替换。

首先，在步骤S11，图像处理器获得原始图像作为输入图像。当使用图像处理装置执行图像处理方法时，可以通过经由线或者无线地连接图像处理装置和图像拾取装置而获得原始图像。该图像处理装置还可以经由非暂时性计算机可读存储介质来获得原始图像。另一方面，当使用图像拾取装置执行图像处理方法时，图像拾取装置获得RAW图象(原始图像)作为显影处理的输入数据(输入图像)。如上所述，图像处理装置或者图像拾取装置的获得单元获得原始图像。

随后，在步骤S12，图像处理器获得图像拾取条件。图像拾取条件包括光圈值(F数)、焦距、物距等。当使用可移除地安装在图像拾取装置的本体(照相机本体)上的镜头单元(可交换镜头)时，图像拾取条件还包括镜头ID和照相机ID。可以直接从图像拾取装置获得关于图像拾取条件的信息，或者还可以从原始图像附带的信息中获得关于图像拾取条件的信息。

接着，在步骤S13，图像处理器确定，相对于输入图像(原始图像)，光圈值是否等于或大于预定值。如果光圈值等于或大于预定值，那么图像处理器确定输入图像主要受衍射影响并且然后进入步骤S24。如上所述，在本实施例的图像处理方法中，根据光圈值切换后续处理。

在本实施例中，预定的光圈值(切换后续处理的阈值)例如被设置为F16。然而，本实施例不限于此，并且可以根据图像拾取光学系统的像差量或者图像拾取元件的像素间距而适当地改变。例如，如下面的条件表达式(10)表示的，优选地设置光圈值作为预定值，针对该光圈值，根据光圈值的由于衍射的截止频率小于根据图像拾取元件的像素间距的采样频率。

F≥p/λ…(10)

在条件表达式(10)中，符号F表示F数(光圈值)，符号p表示像素间距，并且符号λ表示从可见光的波带中选择的预定波长。符号λ还可以是可以由图像拾取元件接收的波带的中心波长。换言之，预定光圈值仅仅需要被设置为满足或者近似满足F＝p/λ的关系的值。例如，其中p＝0.006mm，采样频率是167lines/mm。相应地，其中λ＝550nm，预定光圈值是F11。

当图像处理器在步骤S13确定光圈值等于或大于预定值时，图像处理器在步骤S24获得适于图像拾取条件的图像恢复滤波器。当光圈值等于或大于预定值时，图像劣化的主要因素是衍射。因此，图像恢复滤波器不取决于图像拾取条件，诸如物距和焦距，并且因此可以仅根据光圈值来选择图像恢复滤波器。即，图像处理器根据光圈值获得图像恢复滤波器。然而，因为有效F数根据物距改变，所以除了光圈值之外还可以考虑其它图像拾取条件从而选择图像恢复滤波器。

优选地，在步骤S24获得的图像恢复滤波器的抽头数满足下面的条件表达式(11)。

1<T·p/(0.0016·F)<6…(11)

在条件表达式(11)中，符号T表示水平和垂直方向的抽头数，符号p表示图像拾取元件的像素间距，并且符号F表示F数(光圈值)。超过表达式(8)的下限导致对于由于像差或者衍射而产生的PSF扩散抽头数的不足。这种不足使得不可能实现足够的校正效果。另一方面，超过表达式(8)的上限导致卷积处理的计算量的增大，引起处理速度降低。例如，其中p＝0.006mm，F＝22，并且T是奇数，满足7<T<35的关系。

如以下面的条件表达式(12)表示地，提高条件表达式(11)的上限使得即使在主要受像差影响的图像拾取条件下也可以针对PSF的扩散避免抽头数不足。

1<T·p/(0.0016·F)<12…(12)

随后，在步骤S25，图像处理器通过对图像恢复滤波器与原始图像进行卷积来执行图像恢复处理以产生恢复图像。在该情形下，除了图像恢复处理之外，图像处理器还执行与显影处理相关的各种处理。在本卷积处理中，可以针对图像的整个区域使用同一图像恢复滤波器，而不根据每个像高切换图像恢复滤波器。然后，在步骤S26，图像处理器输出恢复图像作为输出图像。

如上所述，在本实施例中，在光圈值等于或大于预定值的情况下获得的图像恢复滤波器足以作为将被预先存储在图像处理装置或者图像拾取装置(图像处理器)中的数据。针对每个光圈值的图像恢复滤波器还可以具有多个恢复增益(恢复强度)。

另一方面，当图像处理单元在步骤S13确定光圈值小于预定值时，图像处理单元在步骤S27执行与显影处理相关的各种处理，不包括图像恢复处理。然后，在步骤S26，图像处理单元输出对其执行了这样各种处理的图像作为输出图像。换言之，当图像处理单元在步骤S13确定光圈值小于预定值时，图像处理单元不执行恢复处理。

虽然描述了其中当图像恢复单元在步骤S13确定光圈值小于预定值时图像处理单元不执行恢复处理的情况，但是本实施例不限于此。

接着，参考图11，将描述本实施例中的图像拾取装置。图11是本实施例中的图像拾取装置100a的配置图。图像拾取装置100a能够通过执行参考图10描述的本实施例的图像处理方法(图像恢复处理)，根据原始图像产生恢复图像。

在图像拾取装置100a中，经由包括光阑101a(或者遮光部件)和聚焦镜头101b的图像拾取光学系统101，在图像拾取元件102上形成对象(附图中未示出)。然后，图像拾取元件102对经由图像拾取光学系统101形成的对象图像进行光电转换以获得原始图像。图像拾取元件102上形成的对象图像被转换为电信号，并且然后被输出到A/D转换器103。A/D转换器103将输入的电信号(模拟信号)转换为数字信号，并且然后将数字信号输出到图像处理器104。通过这一系列处理获得原始图像。

除了预定的处理之外，图像处理器1041(图像处理单元)还执行图像恢复处理。首先，图像处理器1041从状态检测器107获得图像拾取装置100a的图像拾取条件(图像拾取条件信息)。图像拾取条件信息包括光圈值、物距、变焦镜头的焦距等。状态检测器107不仅能够直接从系统控制器110获得图像拾取条件信息，而且还能够从图像拾取光学系统控制器106获得例如关于图像拾取光学系统101的图像拾取条件信息。存储部分108存储相对于原始图像中的位置恒定并且根据光圈值而不同的多个图像恢复滤波器。表述“存储相对于原始图像中的位置恒定的图像恢复滤波器”可被改述如下。即，存储部分108存储用作将相对于第一像素值而计算的图像恢复滤波器和将被相对于第二像素值而计算的图像恢复滤波器的共用第三图像恢复滤波器。在本实施例中，“第一像素值”指对应于对象图像的第一像高的像素值，并且“第二像素值”指对应于对象图像的第二像高的像素值。第一像高和第二像高彼此不同。可以按照需要存储光学传递函数或者产生光学传递函数的系数数据。

图像处理器1041包括数据选择单元1041a、图像处理单元1041b和确定单元1041c。当光圈值等于或大于预定值时，数据选择单元1041a根据光圈值从多个图像恢复滤波器中选择图像恢复滤波器。当光圈值等于或大于预定值时，图像处理单元1041b通过使用由数据选择单元1041a选择的图像恢复滤波器，根据原始图像产生存储图像。确定单元1041c相对于由图像拾取元件102获得的原始图像，确定光圈值是否等于或大于预定值。

由图像处理器1041处理的输出图像(恢复图像)被以预定格式记录在图像记录介质109中。显示部分105显示如下图像：针对对该图像，执行本实施例中的图像处理和使得能够显示该图像的预定处理。可替代地，显示部分105可以显示如下图像：针对该图像，执行允许高速显示的简化处理。由系统控制器110执行图像拾取装置100a中的一系列控制操作。由图像拾取光学系统控制器106基于系统控制器110的指令来执行图像拾取光学系统101的机械驱动。控制光阑101a的孔径直径，作为光圈值(F数)的拍摄状态设置。由自动聚焦(AF)机构或者手动聚焦机构(这两者都未被在附图中示出)控制聚焦镜头101b的位置，以便根据物距执行聚焦。

图像拾取光学系统101可以包括光学元件，诸如光学低通滤波器或者红外辐射截止滤波器。在使用影响光学传递函数(OTF)的特性的元件(诸如光学低通滤波器)的情况下，优选地在产生图像恢复滤波器时考虑影响。在该情况下，进一步基于由光学低通滤波器所引起的，即，取决于光学低通滤波器的光学传递函数(第二光学传递函数)来产生图像恢复滤波器。另外，在使用红外辐射截止滤波器的情况下，优选地在产生图像恢复滤波器时考虑其影响。这是因为红外辐射截止滤波器影响其为频谱波长的点扩散函数(PSF)的积分值的RGB通道中的每个PSF，尤其影响R通道的PSF。在这种情况下，进一步基于由光学低通滤波器所引起的，即，取决于光学低通滤波器的光学传递函数来产生图像恢复滤波器。另外，因为像素孔径的形状也影响光学传递函数，所以优选地将该影响考虑在内。在这种情况下，进一步基于由像素孔径所引起的光学传递函数来产生图像恢复滤波器。在本实施例中，优选地考虑作为不取决于像高的特性的各种因素(诸如光学低通滤波器、红外辐射截止滤波器和像素孔径)准备在光圈值等于或大于预定值的情况下使用的图像恢复滤波器。

在本实施例中，虽然图像拾取光学系统101被配置为与图像拾取装置(图像拾取装置本体)集成在一起，但是该配置不限于此。图像拾取光学系统101可以是可移除地安装在诸如单镜头反射式照相机的图像拾取装置本体上的可交换镜头。

[实施例4]

接着，参考图8，将描述本发明的实施例4中的图像处理系统。图8是本实施例中的图像处理系统300的配置图。因为本实施例的处理流程(图像处理方法)与参考图1描述的实施例1、参考图7描述的实施例2或者参考图10描述的实施例3的处理流程相同，所以将省略其描述。

在图8中，图像处理装置301是包括图像处理软件306的计算机设备，图像处理软件306使得计算机(信息处理装置)执行本实施例的图像处理方法。如同实施例1和2中的每一个中的图像拾取装置100的图像处理器104的情况，图像处理装置301包括图像获得单元(获得单元)、数据获得单元、滤波器产生单元和图像处理单元。如同实施例3中的图像拾取装置100a的图像处理器1041的情况，图像处理装置301可以包括数据选择单元、图像处理单元和确定单元。图像处理装置301还可以具有图像处理器104和图像处理器1041的配置两者。图像拾取设备302是诸如照相机、显微镜、内窥镜或者扫描仪的图像拾取装置。非暂时性计算机可读存储介质303是存储原始图像的存储单元，诸如半导体存储器、硬盘或者网络上的服务器。

还可以通过执行下面的处理来实现本实施例。即，实现上述的实施例的功能的软件(程序)经由非暂时性计算机可读存储介质307(诸如网络或者CD-ROM)被提供给或存储在系统或者装置的计算机(或者CPU或者MPU)中。然后，该系统或者装置的计算机(或者CPU或者MPU)读取并且执行该程序。

图像处理装置301从图像拾取设备302或者非暂时性计算机可读存储介质303获得拍摄的图像数据，并然后向一个或多个输出设备305，(例如，打印机、图像拾取设备302和非暂时性计算机可读存储介质303)输出针对其执行预定处理的图像数据。向其输出原始图像数据的组件还可以被存储在被包括在图像处理装置301中的存储部分中。输出设备305是例如打印机。

作为监视器的显示设备304连接到图像处理装置301。该连接允许用户通过显示设备304执行图像处理操作，并且评估校正的图像。图像处理软件306执行实施例1或者实施例2的图像恢复处理(图像恢复方法)，并且按照需要执行显影或者其它图像处理。

在本实施例中，优选地，将关于在设备之间接收和发送将被用于执行图像处理的数据以及如何在设备之间接收和发送将被用于执行图像处理的数据的细节的信息(在下文中被总称为“校正信息”)附加到各个图像数据。将所需的校正信息附加到各个图像数据使得包括本实施例的图像处理装置的设备能够恰当地执行校正处理(图像恢复处理)。

根据实施例1、2和4中的每一个，可以确定主要受像差影响的图像拾取条件或者主要受衍射影响的图像拾取条件，并且从而基于该确定来切换和执行图像恢复处理。根据实施例3和4中的每一个，在光圈值大的情况下，可以通过使用根据光圈值(F数)选择的适当的图像恢复滤波器执行图像恢复处理，来有效地减少由衍射现象引起的图像锐度的劣化。因此，根据每个实施例，可以提供图像拾取装置、图像处理装置、图像处理方法和非暂时性计算机可读存储介质，其能够在减少数据量和计算量的同时执行高度准确的图像恢复处理。

虽然已经参考示例性实施例描述了本发明，但是应当理解，本发明并不限于公开的示例性实施例。所附权利要求的范围应当被给予最宽泛的解释，以便包括所有这些修改及等价结构与功能。

附图标记列表

101 图像拾取光学系统

102 图像拾取元件

104 图像处理器

107 状态检测器

108 存储部分

Claims (32)

1.一种图像拾取装置，能够根据原始图像产生恢复图像，所述图像拾取装置包括:

图像拾取元件，被配置为对经由图像拾取光学系统形成的对象图像进行光电转换以获得所述原始图像；

存储单元，被配置为存储第一光学传递函数和图像恢复滤波器，第一光学传递函数根据图像拾取条件和原始图像中的位置而不同，所述图像恢复滤波器的二维滤波器值的分布相对于原始图像中的位置恒定并且根据光圈值或者被设计为产生第二光学传递函数的函数而不同；

数据获得单元，被配置为在所述光圈值小于预定值时获得第一光学传递函数，以及在所述光圈值不小于所述预定值时获得所述图像恢复滤波器或者基于被设计为产生第二光学传递函数的函数而产生的第二光学传递函数；

滤波器产生单元，被配置为在所述数据获得单元获得第一光学传递函数或者第二光学传递函数时，基于第一光学传递函数或者第二光学传递函数来产生图像恢复滤波器；和

图像处理单元，被配置为通过使用存储在所述存储单元中的图像恢复滤波器或者由所述滤波器产生单元产生的图像恢复滤波器，根据原始图像产生恢复图像。

2.根据权利要求1所述的图像拾取装置，其中存储在所述存储单元中的被设计为产生第二光学传递函数的函数是取决于光圈值的光学传递函数的计算表达式。

3.根据权利要求1或2所述的图像拾取装置，其中进一步基于取决于光学低通滤波器的第三光学传递函数来产生所述图像恢复滤波器。

4.根据权利要求1到3中任一个所述的图像拾取装置，其中进一步基于取决于像素孔径的第四光学传递函数来产生所述图像恢复滤波器。

5.根据权利要求1到4中任一个所述的图像拾取装置，其中所述图像恢复滤波器满足1<T·p/(0.0016·F)<6，其中T是图像恢复滤波器的抽头数，p是图像拾取元件的像素间距，并且F是光圈值。

6.根据权利要求1到5中任一个所述的图像拾取装置，其中所述光圈值的预定值满足F＝p/λ，其中F是光圈值，p是图像拾取元件的像素间距，并且λ是可见光的波带的预定波长。

7.根据权利要求1到6中任一个所述的图像拾取装置，其中所述图像拾取条件包括物距和焦距。

8.一种图像处理装置，能够根据原始图像产生恢复图像，所述图像处理装置包括:

获得单元，被配置为获得原始图像和所述原始图像的图像拾取条件；

存储单元，被配置为存储第一光学传递函数和图像恢复滤波器，第一光学传递函数根据图像拾取条件和原始图像中的位置而不同，所述图像恢复滤波器的二维滤波器值的分布相对于原始图像中的位置恒定并且根据光圈值或者被设计为产生第二光学传递函数的函数而不同；

数据获得单元，被配置为在所述光圈值小于预定值时获得第一光学传递函数，以及在所述光圈值不小于所述预定值时获得所述图像恢复滤波器或者基于被设计为产生第二光学传递函数的函数而产生的第二光学传递函数；

滤波器产生单元，被配置为当所述数据获得单元获得第一光学传递函数或者第二光学传递函数时，基于第一光学传递函数或者第二光学传递函数来产生图像恢复滤波器；和

图像处理单元，被配置为通过使用存储在所述存储单元中的图像恢复滤波器或者由所述滤波器产生单元产生的图像恢复滤波器，根据原始图像产生恢复图像。

9.一种图像处理方法，所述方法根据原始图像来产生恢复图像，所述方法包括步骤:

获得原始图像和所述原始图像的图像拾取条件；

从存储单元获得第一光学传递函数，所述存储单元存储在所述图像拾取条件的光圈值小于预定值时将被使用的第一光学传递函数，第一光学传递函数根据图像拾取条件以及原始图像中的位置而不同，并且所述存储单元存储在所述光圈值不小于所述预定值时将被使用的图像恢复滤波器，所述图像恢复滤波器的二维滤波器值的分布相对于原始图像中的位置是恒定的并且根据光圈值或者被设计为产生第二光学传递函数的函数而不同；

当所述光圈值不小于所述预定值时，从所述存储单元获得所述图像恢复滤波器或者基于被设计为产生第二光学传递函数的函数而产生的第二光学传递函数；

当数据获得单元获得第一光学传递函数或者第二光学传递函数时，基于第一光学传递函数或者第二光学传递函数来产生图像恢复滤波器；以及

通过使用存储在所述存储单元中的图像恢复滤波器或者由滤波器产生单元产生的图像恢复滤波器，根据所述原始图像产生恢复图像。

10.一种非暂时性计算机可读存储介质，存储图像处理程序以便根据原始图像产生恢复图像，所述图像处理程序被配置为使得信息处理装置执行步骤:

获得原始图像和所述原始图像的图像拾取条件；

从存储单元获得第一光学传递函数，所述存储单元存储当所述图像拾取条件的光圈值小于预定值时将被使用的第一光学传递函数，第一光学传递函数根据图像拾取条件以及原始图像中的位置而不同，并且所述存储单元存储当所述光圈值不小于所述预定值时将被使用的图像恢复滤波器，所述图像恢复滤波器的二维滤波器值的分布相对于原始图像中的位置是恒定的并且根据光圈值或者被设计为产生第二光学传递函数的函数而不同；

如果所述光圈值等于或大于所述预定值，那么从所述存储单元获得所述图像恢复滤波器或者基于被设计为产生第二光学传递函数的函数而产生的第二光学传递函数；

当数据获得单元获得第一光学传递函数或者第二光学传递函数时，基于第一光学传递函数或者第二光学传递函数来产生图像恢复滤波器；以及

通过使用存储在所述存储单元中的图像恢复滤波器或者由滤波器产生单元产生的图像恢复滤波器，根据所述原始图像产生恢复图像。

11.一种图像拾取装置，能够根据原始图像产生恢复图像，所述图像拾取装置包括:

图像拾取元件，被配置为对经由图像拾取光学系统形成的对象图像进行光电转换以获得所述原始图像；

存储单元，被配置为存储多个图像恢复滤波器，所述多个图像恢复滤波器的二维滤波器值的分布根据光圈值而不同；

确定单元，被配置为确定拍摄原始图像时设置的光圈值是否不小于预定值；和

图像处理单元，被配置为在所述光圈值不小于所述预定值时根据光圈值从所述多个图像恢复滤波器选择图像恢复滤波器，以便通过使用选择的图像恢复滤波器，根据原始图像产生恢复图像。

12.根据权利要求11所述的图像拾取装置，其中所述图像处理单元被配置为通过仅使用对应于所述光圈值的图像恢复滤波器，根据原始图像产生恢复图像。

13.一种图像拾取装置，能够根据原始图像产生恢复图像，所述图像拾取装置包括:

获得单元，被配置为获得原始图像和拍摄所述原始图像时设置的光圈值；

存储单元，被配置为存储多个图像恢复滤波器，所述多个图像恢复滤波器的二维滤波器值的分布根据光圈值而不同；

确定单元，被配置为确定拍摄原始图像时设置的光圈值是否不小于预定值；和

图像处理单元，被配置为如果所述光圈值等于或大于所述预定值，那么根据所述光圈值从图像恢复滤波器选择图像恢复滤波器，并且然后通过使用选择的图像恢复滤波器根据原始图像产生恢复图像。

14.一种图像处理方法，所述方法根据原始图像产生恢复图像，所述方法包括步骤:

获得原始图像和拍摄所述原始图像时设置的光圈值；

确定所述光圈值是否不小于预定值；

当所述光圈值不小于所述预定值时，从根据光圈值而不同的多个图像恢复滤波器中选择对应于所述光圈值的图像恢复滤波器，以便通过使用选择的图像恢复滤波器，根据所述原始图像产生恢复图像。

15.一种非暂时性计算机可读存储介质，存储图像处理程序以便根据原始图像产生恢复图像，所述图像处理程序被配置为使得信息处理装置执行步骤:

获得原始图像和拍摄所述原始图像时设置的光圈值；

确定所述光圈值是否不小于预定值；

当所述光圈值不小于所述预定值时，从根据光圈值而不同的多个图像恢复滤波器中选择对应于所述光圈值的图像恢复滤波器；和

通过使用选择的图像恢复滤波器，根据所述原始图像产生恢复图像。

16.一种图像拾取装置，能够通过对原始图像使用图像恢复滤波器来产生恢复图像，所述图像拾取装置包括:

图像拾取元件，被配置为对经由图像拾取光学系统形成的对象图像进行光电转换来获得所述原始图像；

确定单元，被配置为确定拍摄原始图像时设置的光圈值是否不小于预定值；

存储单元，被配置为存储对应于光圈值而准备的多个图像恢复滤波器；

选择单元，被配置为当拍摄原始图像时设置的光圈值不小于所述预定值时，从所述多个图像恢复滤波器中选择对应于所述光圈值的图像恢复滤波器，以及

图像处理单元，被配置为通过相对于对应于每个不同的像高的像素值使用选择的图像恢复滤波器来产生恢复图像。

17.根据权利要求16所述的图像拾取装置，其中所述图像处理单元被配置为通过独立于原始图像中的像高而使用选择的图像恢复滤波器来产生恢复图像。

18.一种图像拾取装置，能够根据原始图像产生恢复图像，所述图像拾取装置包括:

图像拾取元件，被配置为对经由图像拾取光学系统形成的对象图像进行光电转换来获得所述原始图像；

确定单元，被配置为确定拍摄所述原始图像时设置的光圈值是否不小于预定值；和

存储单元，被配置为存储共用图像恢复滤波器，当所述光圈值不小于所述预定值时，所述共用图像恢复滤波器用作将相对于与对象图像中的第一像高对应的第一像素值而计算的图像恢复滤波器以便校正第一像素值，所述共用图像恢复滤波器用作将相对于与对象图像中的第二像高对应的第二像素值而计算的图像恢复滤波器以便校正第二像素值。

19.一种图像拾取装置，能够根据原始图像产生恢复图像，所述图像拾取装置包括:

图像拾取元件，被配置为对经由图像拾取光学系统形成的对象图像进行光电转换来获得所述原始图像；

确定单元，被配置为确定拍摄原始图像时设置的光圈值是否不小于预定值；

恢复处理单元，被配置为通过使用基于光学传递函数产生的图像恢复滤波器来恢复原始图像；和

存储单元，被配置为存储所述图像恢复滤波器，

其中所述恢复处理单元被配置为仅当所述光圈值不小于所述预定值时，通过使用存储在所述存储单元中的图像恢复滤波器来执行恢复处理。

20.根据权利要求19所述的图像拾取装置，其中所述恢复处理单元被配置在所述光圈值小于所述预定值时不执行所述恢复处理。

21.一种图像拾取装置，能够根据原始图像产生恢复图像，所述图像拾取装置包括:

获得单元，被配置为获得原始图像和拍摄所述原始图像时设置的光圈值；

确定单元，被配置为确定拍摄原始图像时设置的光圈值是否不小于预定值；和

图像处理单元，被配置为当所述光圈值不小于所述预定值时，通过使用其二维滤波器值的分布相对于原始图像中的位置恒定的图像恢复滤波器，根据所述原始图像产生恢复图像。

22.一种图像拾取装置，能够根据原始图像产生恢复图像，所述图像拾取装置包括:

图像拾取元件，被配置为对经由图像拾取光学系统形成的对象图像进行光电转换来获得所述原始图像；

确定单元，被配置为确定拍摄所述原始图像时设置的光圈值是否不小于预定值；和

图像处理单元，被配置为当所述光圈值不小于所述预定值时，通过使用彼此不同的第一像高和第二像高共用的图像恢复滤波器，根据所述原始图像产生恢复图像。

23.一种图像拾取装置，能够根据原始图像产生恢复图像，所述图像拾取装置包括:

图像拾取元件，被配置为对经由图像拾取光学系统形成的对象图像进行光电转换来获得所述原始图像；

确定单元，被配置为确定拍摄原始图像时设置的光圈值是否不小于预定值；和

图像处理单元，被配置为:

当所述光圈值小于所述预定值时，通过使用根据图像拾取条件和原始图像中的位置而不同的图像恢复滤波器，根据所述原始图像产生恢复图像；和

当所述光圈值不小于所述预定值时，通过使用其二维滤波器值的分布相对于原始图像中的位置恒定的图像恢复滤波器，根据所述原始图像产生恢复图像。

24.一种图像拾取装置，能够根据原始图像产生恢复图像，所述图像拾取装置包括:

图像拾取元件，被配置为对经由图像拾取光学系统形成的对象图像进行光电转换来获得所述原始图像；

确定单元，被配置为确定拍摄原始图像时设置的光圈值是否不小于预定值；和图像处理单元，被配置为:

当所述光圈值小于所述预定值时，执行不包括图像恢复处理的显影处理；和

当所述光圈值不小于所述预定值时，通过使用其二维滤波器值的分布相对于原始图像中的位置恒定的图像恢复滤波器，根据原始图像产生恢复图像。

25.一种图像处理方法，所述方法根据原始图像产生恢复图像，所述方法包括步骤:

获得原始图像和拍摄所述原始图像时设置的光圈值；

确定所述光圈值是否不小于预定值；和

当所述光圈值不小于所述预定值时，通过使用其二维滤波器值的分布相对于原始图像中的位置恒定的图像恢复滤波器，根据原始图像产生恢复图像。

26.一种图像处理方法，所述方法根据原始图像产生恢复图像，所述方法包括步骤:

获得原始图像和拍摄所述原始图像时设置的光圈值；

确定所述光圈值是否不小于预定值；和

当所述光圈值不小于所述预定值时，通过使用彼此不同的第一像高和第二像高共用的图像恢复滤波器，根据所述原始图像产生恢复图像。

27.一种图像处理方法，所述方法根据原始图像产生恢复图像，所述方法包括步骤:

获得原始图像和所述原始图像的图像拾取条件；

确定所述图像拾取条件的光圈值是否不小于预定值；和

当所述光圈值小于所述预定值时，通过使用根据图像拾取条件和原始图像中的位置而不同的图像恢复滤波器，根据所述原始图像产生恢复图像，以及当所述光圈值不小于所述预定值时，通过使用其二维滤波器值的分布相对于原始图像中的位置恒定的图像恢复滤波器，根据所述原始图像产生恢复图像。

28.一种图像处理方法，所述方法根据原始图像产生恢复图像，所述方法包括步骤:

获得原始图像和所述原始图像的图像拾取条件；

确定所述图像拾取条件的光圈值是否不小于预定值；和

当所述光圈值小于所述预定值时，执行不包括图像恢复处理的显影处理，以及当所述光圈值不小于所述预定值时，通过使用其二维滤波器值的分布相对于原始图像中的位置恒定的图像恢复滤波器，根据所述原始图像产生恢复图像。

29.一种非暂时性计算机可读存储介质，存储图像处理程序以便根据原始图像产生恢复图像，所述图像处理程序被配置为使得信息处理装置执行步骤:

获得原始图像和拍摄所述原始图像时设置的光圈值；

确定所述光圈值是否不小于预定值；和

当所述光圈值不小于所述预定值时，通过使用其二维滤波器值的分布相对于原始图像中的位置恒定的图像恢复滤波器，根据原始图像产生恢复图像。

30.一种非暂时性计算机可读存储介质，存储图像处理程序以便根据原始图像产生恢复图像，所述图像处理程序被配置为使得信息处理装置执行步骤:

获得原始图像和拍摄所述原始图像时设置的光圈值；

确定所述光圈值是否不小于预定值；和

当所述光圈值不小于所述预定值时，通过使用彼此不同的第一像高和第二像高共用的图像恢复滤波器，根据所述原始图像产生恢复图像。

31.一种非暂时性计算机可读存储介质，存储图像处理程序以便根据原始图像产生恢复图像，所述图像处理程序被配置为使得信息处理装置执行步骤:

获得原始图像和所述原始图像的图像拾取条件；

确定所述图像拾取条件的光圈值是否不小于预定值；和

当所述光圈值小于所述预定值时，通过使用根据图像拾取条件和原始图像中的位置而不同的图像恢复滤波器，根据所述原始图像产生恢复图像，以及当所述光圈值不小于所述预定值时，通过使用其二维滤波器值的分布相对于原始图像中的位置恒定的图像恢复滤波器，根据所述原始图像产生恢复图像。

32.一种非暂时性计算机可读存储介质，存储图像处理程序以便根据原始图像产生恢复图像，所述图像处理程序被配置为使得信息处理装置执行步骤:

获得原始图像和所述原始图像的图像拾取条件；

确定所述图像拾取条件的光圈值是否不小于预定值；和

当所述光圈值小于所述预定值时，执行不包括图像恢复处理的显影处理，以及当所述光圈值不小于所述预定值时，通过使用其二维滤波器值的分布相对于原始图像中的位置恒定的图像恢复滤波器，根据所述原始图像产生恢复图像。