CN102930507B - 图像处理方法、图像处理装置和图像拾取装置 - Google Patents

Abstract

本发明公开了图像处理方法、图像处理装置和图像拾取装置。一种执行图像的图像恢复处理的图像处理方法包括以下步骤：使用依赖于所述图像的图像拾取条件的系数数据，产生根据所述图像的位置的图像拾取光学系统的多个第一光学传递函数；通过围绕所述图像的中心或围绕所述图像拾取光学系统的光轴旋转第一光学传递函数来产生多个第二光学传递函数；基于第一光学传递函数和第二光学传递函数来产生图像恢复滤波器；以及使用所述图像恢复滤波器来执行所述图像的图像恢复处理。

Description

图像处理方法、图像处理装置和图像拾取装置

技术领域

本发明涉及一种执行图像的图像恢复处理的图像处理方法。

背景技术

通过图像拾取装置获得的图像（拍摄图像）包含由图像拾取光学系统的各像差（诸如球面像差、彗形像差、畸变或像散）引起的图像的模糊分量，因此它劣化。由这样的像差引起的图像的模糊分量指的是从物体的一个点发射的光束尽管当任何像差不存在而且衍射的任何影响也不存在时理想上应该再次会聚在成像平面上的一个点上，但是它实际上是扩散的，这用点扩散函数（PSF）表示。

通过执行傅里叶变换而获得的光学传递函数（OTF）是像差的频率分量信息，它用复数表示。光学传递函数OTF的绝对值（即，振幅分量）被称为MTF（调制传递函数），相位分量被称为PTF（相位传递函数）。振幅分量MTF和相位分量PTF分别是由像差引起的图像劣化的振幅分量和相位分量的频率特性，相位分量通过以下表达式被表示为相位角。

PTF=tan^-1(Im(OTF)/Re(OTF))

在该表达式中，Re(OTF)和Im(OTF)分别指示光学传递函数OTF的实部和虚部。因此，图像拾取光学系统的光学传递函数OTF使图像的振幅分量MTF和相位分量PTF劣化，因此，当它具有彗形像差时，劣化图像处于物体的每个点不对称地模糊的状态。因为成像位置由于对于每个光波长的成像倍率的差异而偏移并且它根据图像拾取装置的光谱特性被获得作为例如RGB中的颜色分量，所以产生倍率的色差。因此，成像位置在RGB之间偏移，因此，成像位置对于波长的偏移（即，由相移引起的图像的扩散）也在每个颜色分量中产生。

作为校正振幅分量MTF和相位分量PTF的劣化的方法，使用图像拾取光学系统的光学传递函数OTF的信息来执行校正的方法是已知的。该方法被称为图像恢复（imagerestoration）或图像复原（imagerecovery），以下，使用图像拾取光学系统的光学传递函数（OTF）的信息来校正图像劣化的处理被称为图像恢复处理。如以下详细所述的，作为图像恢复方法之一，将具有光学传递函数（OTF）的逆特性的图像恢复滤波器与输入图像进行卷积的方法是已知的。

为了有效地使用图像恢复，必需获得更精确的图像拾取光学系统的OTF信息。图像拾取光学系统的一般OTF根据图像高度（图像的位置）显著地变化。此外，光学传递函数OTF是二维数据，因为它是复数，所以它包含实部和虚部。另外，当对具有RGB的三个颜色分量的彩色图像执行图像恢复处理时，用于一个图像高度的OTF数据是垂直方向上的抽头数量（tapnumber）×水平方向上的抽头数量×2（实部和虚部）×3（RGB）。抽头数量是指垂直方向和水平方向上的OTF数据的大小。如果这些相对于所有图像拾取条件（诸如图像高度、F数（光圈）、变焦（焦距）、物距）被存储，则数据量庞大。

日本专利公开No.2010-56992公开了存储用于校正图像劣化的滤波器系数以执行图像处理的技术。然而，因为依赖于画面中的位置的恢复滤波器是必要的，所以数据量庞大。日本专利公开No.2004-241991公开了下述方法，该方法获得用于校正倍率的色差的距光学中心的距离，并且将该距离代入三次函数中以计算R分量和B分量的校正移动量，从而确定根据画面中的位置的校正量，但是它不是图像恢复技术。

然而，因为图像恢复滤波器是二维数据，所以依赖于图像位置的图像恢复滤波器不是仅根据距光学中心（图像中心或图像拾取光学系统的光轴）的距离来确定的，并且旋转是必要的。因此，日本专利公开No.2004-241991的方法不能应用于图像恢复处理。此外，因为图像恢复滤波器的系数在抽头之间略有不同，所以滤波器系数的值显著收缩（collapse），并且不能获得图像恢复处理的效果。

发明内容

本发明提供一种能够在减少图像恢复处理所需的信息量的同时以高精度执行图像恢复处理的图像处理方法、图像处理装置、图像拾取装置和非暂态计算机可读存储介质。

作为本发明的一方面的图像处理方法执行图像的图像恢复处理，所述图像处理方法包括以下步骤：使用依赖于所述图像的图像拾取条件的系数数据，产生依赖于所述图像的位置的多个第一光学传递函数；通过围绕所述图像的中心或围绕图像拾取光学系统的光轴旋转第一光学传递函数来产生多个第二光学传递函数；基于第一光学传递函数和第二光学传递函数来产生图像恢复滤波器；以及使用所述图像恢复滤波器来执行所述图像的图像恢复处理。

作为本发明的另一方面的图像处理方法执行图像的图像恢复处理，所述图像处理方法包括以下步骤：使用依赖于所述图像的图像拾取条件的系数数据，产生依赖于所述图像的位置的多个第一光学传递函数；和使用第一区域的光学传递函数来产生第二区域和第三区域中的至少一个的光学传递函数，其中，在所述图像中，所述第一区域和所述第二区域是相对于所述图像的中心或图像拾取光学系统的光轴彼此对称的区域，所述第三区域是相对于通过所述第一区域和图像中心的直线对称的区域。

作为本发明的另一方面的图像处理方法执行图像的图像恢复处理，所述图像处理方法包括以下步骤：使用依赖于所述图像的图像拾取条件的系数数据，产生依赖于所述图像的位置的多个第一光学传递函数；使用第一光学传递函数来产生第二光学传递函数，所述第二光学传递函数具有与通过围绕所述图像的中心或围绕图像拾取光学系统的光轴旋转第一光学传递函数而获得的光学传递函数等同的形状；基于第一光学传递函数和第二光学传递函数来产生图像恢复滤波器；以及使用所述图像恢复滤波器来执行所述图像的图像恢复处理。

作为本发明的另一方面的图像处理装置执行图像的图像恢复处理，所述图像处理装置包括：第一光学传递函数产生部分，其被配置为使用依赖于所述图像的图像拾取条件的系数数据、产生依赖于所述图像的位置的多个第一光学传递函数；第二光学传递函数产生部分，其被配置为通过围绕所述图像的中心或围绕图像拾取光学系统的光轴旋转第一光学传递函数来产生多个第二光学传递函数；图像恢复滤波器产生部分，其被配置为基于第一光学传递函数和第二光学传递函数来产生图像恢复滤波器；和图像恢复部分，其被配置为使用所述图像恢复滤波器来执行所述图像的图像恢复处理。

作为本发明的另一方面的图像拾取装置执行图像的图像恢复处理，所述图像拾取装置包括：第一光学传递函数产生部分，其被配置为使用依赖于所述图像的图像拾取条件的系数数据、产生依赖于所述图像的位置的多个第一光学传递函数；第二光学传递函数产生部分，其被配置为通过围绕所述图像的中心或围绕图像拾取光学系统的光轴旋转第一光学传递函数来产生多个第二光学传递函数；图像恢复滤波器产生部分，其被配置为基于第一光学传递函数和第二光学传递函数来产生图像恢复滤波器；和图像恢复部分，其被配置为使用所述图像恢复滤波器来执行所述图像的图像恢复处理。

作为本发明的另一方面的非暂态计算机可读存储介质存储用于使信息处理装置执行包括以下步骤的方法的过程：使用依赖于所述图像的图像拾取条件的系数数据，产生依赖于所述图像的位置的多个第一光学传递函数；通过围绕所述图像的中心或围绕图像拾取光学系统的光轴旋转第一光学传递函数来产生多个第二光学传递函数；基于第一光学传递函数和第二光学传递函数来产生图像恢复滤波器；以及使用所述图像恢复滤波器来执行所述图像的图像恢复处理。

从以下参照附图对示例性实施例的描述，本发明的进一步的特征和方面将变得清晰。

附图说明

图1是实施例1中的图像处理方法的流程图。

图2是描述本实施例中的图像恢复滤波器的示图。

图3是描述本实施例中的图像恢复滤波器的示图。

图4A和图4B是描述本实施例中的点扩散函数PSF的示图。

图5A和图5B分别是描述本实施例中的光学传递函数的振幅分量MTF和相位分量PTF的示图。

图6A至图6E是示出实施例1中的产生图像恢复滤波器的方法的示图。

图7是描述实施例1中的图像处理系统的示图。

图8是描述实施例1中的系数计算装置的示图。

图9是描述实施例1中的系数数据的示图。

图10是实施例1中的抽头数量和频率间距的示图。

图11是实施例1中的抽头数量和频率间距的示图。

图12是描述实施例1中的OTF重构部分的示图。

图13是描述实施例1中的经重构的OTF的示图。

图14是实施例1中的另一图像处理方法的流程图。

图15是实施例2中的图像拾取装置的构造图。

图16是实施例3中的图像处理系统的构造图。

图17是描述实施例3中的信息集的示图。

具体实施方式

以下将参照附图来描述本发明的示例性实施例。在每个附图中，相同的元件将用相同的标号来表示，并且将省略其重复描述。

首先，将描述本实施例中所述的术语的定义和图像恢复处理（图像处理方法）。这里所述的图像处理方法适当地用在以下每个实施例中。

【输入图像】

输入图像是通过经由图像拾取光学系统在图像拾取元件上接收光而获得的数字图像（图像或拍摄图像），由于包括透镜和各种类型的光学滤波器的图像拾取光学系统的像差，该数字图像根据光学传递函数OTF劣化。图像拾取光学系统还可通过使用具有曲率的反射镜（反射表面）以及透镜来构造。

输入图像的颜色分量例如具有RGB颜色分量的信息。作为颜色分量，除了此之外，还可选择性地使用通常使用的颜色空间，诸如亮度、颜色相位和LCH所表示的色度、YCbCr所表示的照度或色差信号。作为另一颜色空间，还可使用XYZ、Lab、Yuv和JCh。此外，还可使用颜色温度。

图像拾取条件（诸如透镜的焦距、光圈（F数）或物距）或校正该图像的各种类型的校正信息可被添加到输入图像或输出图像。当图像被从图像拾取装置传送到与图像拾取装置分离以执行校正处理的图像处理装置时，优选的是如上所述那样将图像拾取条件或与校正相关的信息添加到图像。作为传送图像拾取条件或与校正相关的信息的另一方法，图像拾取装置和图像处理装置还可彼此直接或间接连接以在它们之间传送图像拾取条件或与校正相关的信息。

【图像恢复处理】

随后，将描述图像恢复处理的概要。当图像（拍摄图像或劣化图像）用g(x,y)表示、原始图像用f(x,y)表示、作为光学传递函数OTF的傅里叶对的点扩散函数PSF用h(x,y)表示时，满足以下表达式(1)。

g(x，y)=h(x，y)＊f(x，y)…(1)

在表达式(1)中，符号*表示卷积（乘积和），符号(x,y)表示图像上的坐标。

当对表达式(1)执行傅里叶变换以将表达式(1)变换为频率平面上的显示格式时，获得表示为对于每个频率的乘积的表达式(2)。

G(u，v)=H(u，v)·F(u，v)…(2)

在表达式(2)中，符号H表示通过对点扩散函数PSF(h)执行傅里叶变换而获得的光学传递函数OTF，符号G和F分别表示通过对劣化图像g和原始图像f执行傅里叶变换而获得的函数。符号(u,v)表示二维频率平面上的坐标，即，频率。

为了从图像（即，劣化图像g）获得原始图像f，如以下表达式(3)所表示的，可将两边除以光学传递函数h。

G(u，v)/H(u，v)=F(u，v)…(3)

然后，对F(u,v)（即，G(u,v)/H(u,v)）执行逆傅里叶变换，以在实平面上恢复F(u,v)，从而获得原始图像f(x,y)作为恢复图像。

当符号R表示通过对H^-1执行逆傅里叶变换而获得的值时，如以下表达式(4)所表示的，原始图像f(x,y)可类似地通过在实平面上对图像进行卷积处理来获得。

g(x，y)＊R(x，y)=f(x，y)…(4)

在表达式(4)中，符号R(x,y)被称为图像恢复滤波器。当图像是二维图像时，通常，图像恢复滤波器R也是具有与图像的每个像素对应的抽头（单元）的二维滤波器。通常，当图像恢复滤波器R的抽头数量（单元数量）大时，恢复精度提高。因此，可实现的抽头数量根据诸如所需的图像质量、图像处理能力或像差的特性来设置。因为图像恢复滤波器R至少需要反映像差的特性，所以它不同于在水平方向和垂直方向上具有约三个抽头的常规边缘增强滤波器（高通滤波器）。因为图像恢复滤波器R基于光学传递函数OTF来设置，所以振幅分量和相位分量的劣化两者都可被高精度校正。

因为真实图像包含噪声分量，所以当使用通过使用光学传递函数OTF的完全逆而产生的图像恢复滤波器R时，当劣化图像被恢复时，噪声分量被显著地放大。这是因为，对于噪声的振幅被添加到图像的振幅分量的状态，MTF被保持以便在整个频率上将光学系统的MTF（振幅分量）恢复为1。虽然作为由光学系统引起的振幅劣化的MTF被恢复为1，但是同时，噪声的功率谱也被保持，结果，噪声根据保持MTF的程度（恢复增益）而放大。

因此，当包含噪声时，不能获得作为观赏性图像（ornamentalimage）的合适图像。这用以下表达式(5-1)和(5-2)表示。

G(u，v)=H(u，v)·F(u，v)+N(u，v)…(5-1)

G(u，v)/H(u，v)=F(u，v)+N(u，v)/H(u，v)…(5-2)

在表达式(5-1)和(5-2)中，符号N表示噪声分量。

关于包含噪声分量的图像（例如作为用以下表达式(6)表示的维纳滤波器），存在根据图像信号和噪声信号的强度比SNR来控制恢复程度的方法。

$M(u,v)=\frac{1}{H(u,v)}\frac{{\left|H(u,v)\right|}^2}{{\left|H(u,v)\right|}^2+{\mathrm{SNR}}^2}\·\·\·\left(6\right)$

在表达式(6)中，符号M(u,v)是维纳滤波器的频率特性，符号|H(u,v)|是光学传递函数OTF的绝对值（MTF）。在该方法中，对于每个频率，当MTF小时，恢复增益（恢复程度）减小，当MTF大时，恢复增益增大。通常，因为图像拾取光学系统的MTF在低频侧高、在高频侧低，所以该方法极大地减小了图像的高频侧的恢复增益。

随后，将参照图2和图3来描述图像恢复滤波器。在图像恢复滤波器中，抽头数量根据图像拾取系统的像差特性或所需的恢复精度来确定。作为一个例子，图2中的图像恢复滤波器是具有11×11个抽头的二维滤波器。在图2中，省略了每个抽头中的值（系数），该图像恢复滤波器的一个截面在图3中示出。图像恢复滤波器的每个抽头的值（系数值）的分布具有将由于像差而空间扩散的信号值（PSF）理想地恢复到一个原始点的功能。

在对于图像的每个像素的图像恢复处理的步骤中，对图像恢复滤波器的每个抽头执行卷积处理（乘积和）。在卷积处理中，为了改进预定像素的信号值，像素与图像恢复滤波器的中心匹配。然后，对每个图像和图像恢复滤波器的每个对应像素，获得图像的信号值和滤波器的系数值的乘积，并且将总和取代为中心像素的信号值。

随后，将参照图4A、图4B、图5A和图5B来描述图像恢复的实空间和频率空间中的特性。图4A和图4B是描述点扩散函数PSF的示图，图4A示出执行图像恢复之前的点扩散函数PSF，图4B示出执行图像恢复之后的点扩散函数PSF。图5A和图5B是描述光学传递函数OTF的振幅分量MTF和相位分量PTF的示图。图5A中的虚线(1)示出执行图像恢复之前的MTF，点划线(2)示出执行图像恢复之后的MTF。图5B中的虚线(1)示出执行图像恢复之前的PTF，点划线(2)示出执行图像恢复之后的PTF。如图4A所示，图像恢复之前的点扩散函数PSF具有非对称性扩散，由于该非对称性，相位分量PTF相对于频率具有非线性值。因为图像恢复处理放大了振幅分量MTF并且执行校正以使得相位分量PTF变为零，所以图像恢复之后的点扩散函数PSF具有对称的尖的形状。

因此，图像恢复滤波器可通过对基于图像拾取光学系统的光学传递函数OTF的逆函数而设计的函数进行逆傅里叶变换来获得。如果必要的话，可改变本实施例中所使用的图像恢复滤波器，例如，可使用如上所述的维纳滤波器。当使用维纳滤波器时，在其中实际对图像进行卷积的实空间中的图像恢复滤波器可通过对表达式(6)执行逆傅里叶变换来产生。即使在一种图像拾取状态下，光学传递函数OTF也根据图像拾取光学系统的图像高度（图像的位置）而改变。因此，通过根据图像高度进行改变来使用图像恢复滤波器。

【实施例1】

接下来，将参照图1来描述本发明的实施例1中的图像处理方法。图1是本实施例中的图像处理方法（图像处理程序）的流程图。图1的流程图基于下述图像处理装置的指令来执行。

首先，在步骤S11中，获得图像（拍摄图像）作为输入图像。图像可通过经由有线或无线连接将图像拾取装置与图像处理装置连接来获得。图像还可经由存储介质获得。随后，在步骤S12中，获得图像拾取条件。图像拾取条件包括焦距、光圈（F数）、物距等。当图像拾取装置被配置为使得透镜可更换地安装在照相机上时，图像拾取条件还包括透镜ID或照相机ID。与图像拾取条件相关的信息可直接从图像拾取装置获得。可替换地，该信息还可从添加到图像的信息获得。

接着，在步骤S13中，获得适合于图像拾取条件的系数数据。系数数据是用于重构光学传递函数OTF的数据，例如，所需的系数数据选自事先根据图像拾取条件存储的多个系数数据。当图像拾取条件（诸如光圈、物距或变焦透镜的焦距）为特定条件时，与图像拾取条件对应的系数数据还可从事先存储的其它图像拾取条件的系数数据通过进行插值处理来产生。在这种情况下，可减少将存储的图像恢复滤波器的数据量。作为插值处理，例如，使用双线性插值（线性插值）、双三次插值等，但是本实施例不限于此。随后，在步骤14中，基于系数数据来重构光学传递函数OTF。换句话讲，使用依赖于图像的图像拾取条件的系数数据来产生依赖于图像位置的多个第一光学传递函数。第一光学传递函数的产生由第一光学传递函数产生部分执行。图像拾取光学系统可包括图像拾取元件或光学低通滤波器。以下将描述光学传递函数OTF的重构的细节。

接着，在步骤S15中，围绕画面中心（图像中心）或图像拾取光学系统的光轴旋转重构的光学传递函数OTF，以扩展光学传递函数OTF（第二光学传递函数产生部分）。具体地讲，根据像素布置对光学传递函数OTF进行插值，以将光学传递函数OTF离散地布置在图像中的多个位置处。接着，在步骤S16中，将光学传递函数OTF转换为图像恢复滤波器，即，通过使用扩展的光学传递函数OTF来产生图像恢复滤波器（图像恢复滤波器产生部分）。图像恢复滤波器通过下述方式产生，即，基于光学传递函数OTF来获得频率空间中的恢复滤波器特性，并且执行逆傅里叶变换以将恢复滤波器特性转换为实空间中的滤波器（图像恢复滤波器）。

将参照图6A至图6E来详细描述步骤S15和S16。图6A至图6E是示出产生图像恢复滤波器的方法的示图。如图6A所示，重构的光学传递函数OTF布置在处于画面中心处的或在通过图像拾取光学系统的光轴的一个方向（垂直方向）上的图像的外接圆区域（图像拾取区域）上。

在本实施例中，在步骤S14中，如图6A所示，光学传递函数在直线上扩展，但是实施例不限于此。例如，在图像平面中，通过图像中心并且彼此正交的直线被定义为第一直线（图6A中的y）和第二直线（图6A中的x）。在这种情况下，在步骤S14中产生的光学传递函数中的至少两个光学传递函数仅必须是与第一直线上的位置（图像高度）对应的光学传递函数。换句话讲，只要重构的光学传递函数OTF布置在下述多个位置（图像中的多个位置）处，它们就无需成直线地排列在一个方向上，所述多个位置排列在沿预定方向距画面中心或图像拾取光学系统的光轴彼此不同的距离处。当包括图像中心的像素不存在（即，图像中心存在于像素之间）时，在步骤S14中产生的光学传递函数仅必须是与从两侧夹住第一直线的像素之一的位置（图像高度）对应的光学传递函数。

当光学传递函数OTF排列在一个方向上时，该方向不限于垂直方向，还可采用诸如水平方向的其它方向。当光学传递函数OTF成直线地排列在垂直方向和水平方向之一上时，本实施例的图像处理更易于执行，因此，它是更优选的。

随后，如果必要的话，旋转重构的光学传递函数OTF，并且执行插值处理（依赖于旋转之后的像素布置的各种类型的处理），结果，光学传递函数OTF如图6B所示那样重新布置。插值处理包括径向方向上的插值处理和由于旋转而导致的插值处理，并且光学传递函数OTF可重新布置在任意位置处。接着，对于每个位置处的光学传递函数OTF，例如，如表达式(6)所表示的那样计算图像恢复滤波器的频率特性以执行逆傅里叶变换，因此，如图6C所示那样执行到实空间中的图像恢复滤波器的转换。

本实施例的图像拾取光学系统是旋转对称的光学系统。因此，通过使用其对称性，可如图6D所示那样对光学传递函数OTF进行反转，以将该光学传递函数OTF扩展到画面的整个区域（光学传递函数的整个限定区域）。换句话讲，在图像中，通过图像中心并且彼此正交的直线被定义为第一直线（图6A中的y）和第二直线（图6A中的x）。此外，相对于图像中心或图像拾取系统的光轴与图像的第一区域（图6C中的63）对称的区域被定义为第二区域（图6C中的61），相对于第一直线与第一区域对称的区域被定义为第三区域（图6C中的62）。在这种情况下，通过使用用于第一区域的光学传递函数，产生用于第二区域和第三区域的光学传递函数。结果，傅里叶变换处理减少到最终将被重新布置的位置的大约1/4。如果图6B的光学传递函数和图6C的图像恢复滤波器通过如图6E所示的旋转和插值处理来被重新布置以如图6D所示那样使用对称性被扩展，则可进一步减少傅里叶变换处理。图6A至图6E所示的布置（恢复滤波器的布置密度）是一个例子，布置间隔可根据图像拾取光学系统的光学传递函数OTF的变化来任意设置。

接着，在图1的步骤S17中，使用在步骤S16中产生的图像恢复滤波器对图像执行图像恢复处理（图像恢复部分）。换句话讲，通过将图像恢复滤波器与图像卷积来对图像执行图像恢复处理。然后，在步骤S18中，基于步骤S17中的图像恢复处理的结果来获得经恢复的图像。

在执行图像恢复滤波器的卷积时，除布置图6D的图像恢复滤波器的位置处的像素之外的像素也可通过使用邻近布置的多个滤波器进行插值来产生。在这种情况下，图像恢复滤波器包括在图像的第一位置处的第一图像恢复滤波器和在图像的第二位置处的第二图像恢复滤波器。第一图像恢复滤波器通过使用扩展的光学传递函数来产生。第二图像恢复滤波器通过使用第一图像恢复滤波器进行插值来产生。通过执行这样的插值处理，例如，可对每一个像素改变图像恢复滤波器。

接下来，将参照图7来描述包括执行上述图像处理方法的图像处理装置的图像处理系统。图7是描述本实施例中的图像处理系统100的示图。图像处理系统100通过包括系数计算装置101、照相机110（图像拾取装置）和图像恢复处理装置120（图像处理装置）来构造。

系数计算装置101根据图像的图像拾取条件来计算用于重构光学传递函数OTF的系数数据。系数计算装置101执行基于图像拾取光学系统的设计值或测量值来计算光学传递函数OTF的处理。系数计算装置101将光学传递函数OTF转换为系数，并且根据所需的精度来确定用于光学传递函数OTF的重构的系数的阶次。系数计算装置101基于点扩散函数PSF的空间分布的大小来确定再现光学传递函数OTF所需的对于每个图像高度的抽头数量。系数计算装置101对于照相机的图像拾取透镜和图像拾取元件的各种类型的组合计算并输出直到所需阶次的系数数据和与抽头数量相关的信息。照相机110包括图像拾取元件111和图像拾取透镜112。照相机110将图像拾取透镜112的透镜ID以及与图像拾取条件（光圈、变焦、物距等）和图像拾取元件111的奈奎斯特（Nyquist）频率相关的信息添加到图像拾取透镜112所拍摄的图像，并且输出该图像。

图像恢复处理装置120（图像处理装置）通过包括图像恢复信息存储部分121、OTF重构部分122和滤波器处理部分123（产生部分）来构造。图像恢复处理装置120存储从系数计算装置101和照相机110输出的信息，并且使用该信息来校正图像拾取透镜112所拍摄的劣化图像（对该图像执行图像恢复处理）。

图像恢复信息存储部分121存储由系数计算装置101计算出的对于图像拾取透镜112和图像拾取元件111的各种类型的组合中的每一个的系数数据、抽头数量、透镜ID、图像拾取条件和图像拾取元件的奈奎斯特频率的信息。因此，图像恢复信息存储部分121是存储依赖于图像的图像拾取条件的系数数据的存储部分。

OTF重构部分122从照相机110获得图像拾取元件111的奈奎斯特频率信息和图像，并且获得与图像拾取透镜112的透镜ID和图像拾取条件相关的信息。OTF重构部分122基于用户在拍摄图像时所使用的照相机110的透镜ID和图像拾取条件来搜索存储在图像恢复信息存储部分121中的系数数据和抽头数量，并且获得对应的系数数据和抽头数量。OTF重构部分122在直到照相机110的图像拾取元件的奈奎斯特频率的空间频率区域中重构由滤波器处理部分123所使用的光学传递函数OTF。换句话讲，通过使用所获得的系数数据和抽头数量，根据图像的位置来重构图像拾取光学系统（图像拾取透镜112）的光学传递函数OTF。因此，OTF重构部分122是使用系数数据、根据图像的位置来重构图像拾取光学系统的光学传递函数OTF的重构部分。OTF重构部分122还是通过围绕图像中心或图像拾取光学系统的光轴旋转光学传递函数OTF来扩展光学传递函数OTF的扩展部分。以下，由OTF重构部分122重构的光学传递函数OTF被称为重构OTF。

滤波器处理部分123使用由OTF重构部分122产生的重构OTF来产生校正图像劣化的图像恢复滤波器，并且校正图像劣化。换句话讲，滤波器处理部分123是使用扩展的光学传递函数OTF来产生图像恢复滤波器的产生部分。滤波器处理部分123还是使用图像恢复滤波器对图像执行图像恢复处理的处理部分。如果事先由系数计算装置101计算的系数数据或抽头数量存储在图像恢复信息存储部分121中，则没有必要向用户（摄影者）提供系数计算装置101。用户还可通过经由网络或各种类型的存储介质进行下载来使用图像恢复处理所必需的信息，诸如系数数据。

接下来，将详细描述系数计算装置100的系数计算方法。在本实施例中，系数计算装置101通过用预定函数拟合图像拾取光学系统（图像拾取透镜112）的光学传递函数OTF的设计值或测量值来产生系数数据。换句话讲，系数计算装置101通过下述方式产生系数数据，即，通过将图像拾取光学系统的光学传递函数OTF拟合为预定函数来执行近似。在本实施例中，拟合通过使用勒让德（Legendre）多项式来执行。然而，本实施例不限于此，拟合还可通过使用诸如切比雪夫（Chebushev）多项式的其它函数来执行。Legendre多项式用表达式(7)表示。

$P_n\left(x\right)=\frac{1}{2^n}\underset{k=0}{\overset{\left[\frac{n}{2}\right]}{\mathrm{\Σ}}}{(-1)}^k\frac{(2n-2k)!}{k!(n-k)!(n-2k)!}{x}^{n-2k}\·\·\·\left(7\right)$

在表达式(7)中，符号[x]表示不超过x的整数中的最大整数。

因为OTF用z=f(x,y)的形式表示，所以需要计算表达式(8)的系数a_ij。

$z=\underset{i}{\overset{i=m}{\mathrm{\Σ}}}\underset{j}{\overset{j=n}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}P{\left(x\right)}_{i}P{\left(y\right)}_j...\left(8\right)$

表达式(8)是正交函数，a_ij的值与拟合中的阶次无关地确定。当即使在低阶的情况下仍可使用表达式(8)的正交函数的特性来以高精度充分执行光学传递函数OTF的拟合时，可减少将存储在装置中的与系数数据相关的信息量。

随后，将参照图8来详细描述系数计算装置101。图8是描述系数计算装置101的示图，该示图示出了使用表达式(7)和(8)来拟合光学传递函数OTF的具体方法。图8中所指示的符号fum和fvm分别表示光学传递函数OTF在子午方向和弧矢方向上的奈奎斯特频率。符号Nx和Ny分别表示光学传递函数OTF在子午方向和弧矢方向上的奇数抽头数量。系数计算装置101通过对光学传递函数OTF的实部和虚部中的每个执行拟合来计算系数数据。

光学传递函数OTF的实部在子午方向和弧矢方向之间是对称的。光学传递函数OTF的虚部是对称的，但是它在子午方向上具有正号和负号的相反符号，并且虚部在弧矢方向上是对称的。通过使用这样的对称性，作为可对其执行拟合的光学传递函数OTF的数据，整个限定区域的1/4区域（限定区域的一部分）的信息是必要且足够的。换句话讲，光学传递函数OTF可使用相对于画面中心或图像拾取光学系统的光轴的对称性来被扩展到整个限定区域。由于以上原因，为了在本实施例中以高精度执行光学传递函数OTF的拟合，拟合通过下述方式执行，即，通过从光学传递函数OTF对于实部和虚部切除整个限定区域的1/4区域，以使得包含DC分量。在本实施例中，描述光学传递函数OTF的数据包括Nx(行)×Ny(列)个抽头的情况，从该数据删除了1至[Nx/2]+1行和1至[Ny/2]+1列的数据，但是本实施例不限于此。

图9是描述通过上述方法计算的系数数据的示图。在图9中，示出了下述例子，在该例子中，对于每个图像高度的x和y二者，计算光学传递函数OTF的实部和虚部的系数，直到第10阶为止。透镜ID、光圈、变焦和物距信息被添加到用于每个图像高度的系数组，以完成一个系数数据（系数信息）。在本实施例中，作为一个例子，示出了关于下述图像拾取条件的、对于10个图像高度的系数信息：透镜ID：No123、光圈：F2.8、变焦：广角以及物距：近。对于10个图像高度的系数信息用于重构图6A中的10个区域处的光学传递函数OTF。此外，如上所述那样产生的系数数据可对于每一阶次是图像高度之间的函数。系数计算装置101产生对于透镜ID、光圈、变焦和物距信息的所有组合的信息，并且将所产生的信息输出到图像恢复处理装置120。

接下来，将详细描述确定重构OTF的抽头数量的方法。当对图像执行滤波器处理时，处理时间很大程度上依赖于滤波器的抽头数量。因此，优选地是，在获得所需的图像恢复效果并且在滤波器处理期间不产生诸如振铃的不良效果的情况下，滤波器的抽头数量少。

图像恢复处理装置120的滤波器处理部分123所使用的图像恢复滤波器是实空间中的滤波器。因此，可确定实空间中的滤波器所必需的抽头数量。因为图像恢复滤波器是通过点扩散函数PSF校正图像劣化的滤波器，所以可确保与实空间上分布点扩散函数PSF的区域等同的区域。换句话讲，图像恢复滤波器所必需的抽头数量是上述区域中的抽头数量。因为实空间和频率空间彼此为逆关系，所以在实空间中确定的抽头数量可用在频率空间中。

图10和图11是描述抽头数量和频率间距的示图。图10示出在与点扩散函数PSF的空间分布相比在充分大的区域中获得抽头数量的情况。图11示出在与点扩散函数的空间分布基本上等同的区域中获得抽头数量的情况。在图10中，实空间中的抽头数量对应于频率空间中的最小频率间距。如图11所示，减少实空间中的抽头数量意味着频率空间被粗采样，并且它指示最小频率间距被放大。在这种情况下，频率空间中的奈奎斯特频率的值不改变。

图像恢复信息存储部分121存储从系数计算装置101输出的系数信息（系数数据）、抽头数量信息、透镜ID、图像拾取条件和图像拾取元件的奈奎斯特频率信息。OTF重构部分122从照相机110获得拍摄图像时的透镜ID和图像拾取条件以及图像拾取元件的奈奎斯特频率信息。然后，OTF重构部分122从图像恢复信息存储部分121读取上述与每个条件对应的抽头数量信息、透镜ID、图像拾取条件和奈奎斯特频率信息，并且使用该信息来产生用于产生图像恢复滤波器的重构OTF。

接下来，将参照图12来详细描述产生重构OTF的方法。图12是示出OTF重构部分122的示图。在图12中，产生重构OTF所必需的子午方向和弧矢方向上的奈奎斯特频率分别用fum_n和fvm_n表示，子午方向和弧矢方向上的抽头数量分别用Mx和My表示。在本实施例中，对于fum和fvm，满足0<fum_n≤fum、0<fvm_n≤fvm、0<Mx≤Nx和0<My≤Ny，并且Mx和My是奇数。

在本实施例中，表达式(7)和(8)中的x和y分别被u和m取代，并且-fum_n/fum≤u≤1和-fvm_n/fvm≤v≤1的限定区域被[Mx/2]+1和[My/2]+1个抽头采样。然后，当将上述系数代入表达式(8)中时，产生重构OTF的1/4的区域。对于实部122-1-1和虚部122-2-1这二者都执行上述过程。

接着，基于通过以上方法产生的实部和虚部的1/4区域中的重构OTF，产生重构OTF，在该重构OTF中，限定区域为-fum_n/fum≤u≤fum_n/fum和-fvm_n/fvm≤v≤fvm_n/fvm，并且抽头数量为Mx和My。

首先，将描述产生重构OTF的实部的方法。使用重构OTF的实部122-1-1将重构OTF的实部分为1至[Mx/2]+1行和1至[My/2]列的区域与1至[Mx/2]+1行和[My/2]+1列的区域。接着，作为实部122-1-2，1至[Mx/2]+1行和1至[My/2]列的区域的数值数据被代入1至[Mx/2]+1行和[My/2]+2至My列的区域中，以便相对于1至[Mx/2]+1行和[My/2]+1列的区域的线对称。

此外，作为实部122-1-3，在实部122-1-2中产生的1/2区域的重构OTF分为1至[Mx/2]行和1至My列的区域与[Mx/2]+1行和1至My列的区域。然后，1至[Mx/2]行和1至My列的区域的数值数据被代入[Mx/2]+2行和1至My列的区域，以便相对于[Mx/2]+1行和1至My列的区域的线对称。重构OTF的虚部可通过与用于实部的方法类似的方法来产生，但是在虚部122-2-3中，需要执行代换，以使得正号和负号彼此替代。光学传递函数OTF的特性允许如上所述的产生方法。

图13是重构OTF的奈奎斯特频率与抽头数量之间的关系（重构OTF）。如上所述，奈奎斯特频率是基于图像拾取元件111的空间分辨率确定的参数，抽头数量是依赖于图像拾取透镜112的点扩散函数PSF的参数。所需的重构OTF使用这两个参数和上述系数数据来产生。在图13中，奈奎斯特频率满足f_nyq1＞f_nyq2，抽头数量满足N＞M1＞M2，并且如图13所示，奈奎斯特频率和抽头数量可被控制为所希望的值。

如上所述，因为依赖于图像拾取元件和透镜的组合以及图像拾取条件的光学传递函数OTF被获得作为将存储在图像恢复处理装置120中的系数数据，所以可执行依赖于拍摄图像期间的图像拾取条件的图像恢复处理。另外，如图6A至图6E所示，因为整个图像的数据可通过适当的抽头数量从少量系数数据被恢复，所以可减少存储数据量。

接下来，将参照图14来描述本实施例中的另一图像处理方法（修改例子）。图14是本实施例中的另一图像处理方法的流程图。图14的图像处理方法与图1的图像处理方法的不同之处在于增加了将相对于画面中心或光轴旋转非对称的传递函数应用于经扩展的光学传递函数OTF的步骤。图14中的步骤S21至S25和步骤S27至S29与图1中的步骤S11至S18相同，因此将省略这些描述。

通过图14中的步骤S21至S25，例如如图6B所示，光学传递函数OTF被重新布置。例如，当考虑旋转非对称传递函数（诸如光学低通滤波器的传递函数或图像拾取元件111的像素开口形状的传递函数）时，将旋转非对称的传递函数应用（添加）于处于图6B的状态下的每个光学传递函数OTF。在图6B中，光学传递函数OTF被扩展到图像的1/4区域，但是根据传递函数的对称性，例如，光学传递函数OTF也可在被扩展到整个图像区域之后被应用。如图14所示，在本实施例中，图像恢复滤波器还可使用已被应用旋转非对称的传递函数的光学传递函数OTF来产生。

【实施例2】

接下来，将参照图15来描述本发明的实施例2中的图像拾取装置。图15是本实施例中的图像拾取装置200的构造图。执行图像的图像恢复处理（与实施例1的图像处理方法类似的图像处理方法）的图像处理程序安装在图像拾取装置200中，并且该图像恢复处理由图像拾取装置200中的图像处理部分204（图像处理装置）执行。

图像拾取装置200通过包括图像拾取光学元件201（透镜）和图像拾取装置机身（照相机机身）来构造。图像拾取光学系统201包括光阑201a和聚焦透镜201b，聚焦透镜201b与图像拾取装置机身（照相机机身）成整体地构造。然而，本实施例不限于此，还可应用于图像拾取光学系统201可更换地安装在图像拾取装置机身上的图像拾取装置。

图像拾取元件202执行通过图像拾取光学系统201获得的物像（成像光）的光电转换，以产生图像。换句话讲，图像拾取元件202对于物像执行光电转换，以将该物像转换为模拟信号（电信号）。然后，该模拟信号被A/D转换器203转换为数字信号，并且该数字信号被输入到图像处理部分204。

图像处理部分204（图像处理装置）对该数字信号执行预定处理，并且还执行上述图像恢复处理。首先，图像处理部分204从状态检测部分207获得图像拾取装置的图像拾取条件信息。图像拾取条件信息是指与光圈、物距、变焦透镜的焦距等相关的信息。状态检测部分207可直接从系统控制器210获得图像拾取条件信息，但是本实施例不限于此。例如，与图像拾取光学系统201相关的图像拾取条件信息还可从图像拾取光学系统控制器206获得。本实施例的图像恢复处理（图像处理方法）的处理流程与参照图1或图14所述的实施例1的处理流程相同，因此将省略其描述。

产生重构OTF的系数数据存储在存储部分208中。被图像处理部分204处理的输出图像以预定格式存储在图像记录介质209中。通过对已执行本实施例的图像恢复处理的图像执行用于显示的预定处理而获得的图像在显示部分205上显示。然而，本实施例不限于此，为了以高速显示图像，还可在显示部分205上显示被简易处理的图像。

本实施例中的控制序列由系统控制器210执行，图像拾取光学系统201的机械驱动由图像拾取光学系统控制器206基于系统控制器210的指令来执行。图像拾取光学系统控制器206控制作为用于F数的图像拾取条件设置的光阑201a的直径。此外，因为图像拾取光学系统控制器206根据物距来执行聚焦操作，所以它使用自动聚焦（AF）机构或手动聚焦（MF）机构（未显示）来控制聚焦透镜201b的位置。诸如光阑201a的直径控制或手动聚焦的功能无需根据图像拾取装置200的规范来执行。

诸如低通滤波器或红外截止滤波器的光学元件也可被插入到图像拾取光学系统201中，但是存在如下情况，即当使用影响光学传递函数（OTF）的特性的元件（诸如低通滤波器）时，在产生图像恢复滤波器时考虑是有必要的。此外，关于红外截止滤波器，存在如下情况，即因为它影响RGB通道的每个PSF，特别是R通道的PSF，所以在产生图像恢复滤波器时考虑是有必要的，所述PSF是光谱波长的点扩散函数（PSF）的积分值。在这种情况下，如参照图14所述的，重新布置光学传递函数（OTF），然后添加旋转非对称的传递函数。

在本实施例中，使用存储在图像拾取装置的存储部分中的系数数据，但是作为修改例子，例如图像拾取装置还可被配置为获得存储在诸如存储卡的存储介质中的系数数据。

【实施例3】

接下来，将参照图16来描述本发明的实施例3中的图像处理装置和图像处理系统。图16是本实施例中的图像处理系统300的构造图。本实施例的图像恢复处理（图像处理方法）的处理流程与参照图1或图14所述的实施例1的处理流程相同，因此将省略其描述。

在图16中，图像处理装置301是其中安装图像处理软件306的计算机设备，图像处理软件306指示计算机（信息处理装置）执行本实施例的图像处理方法。图像拾取设备302是诸如照相机、显微镜、内窥镜或扫描仪的图像拾取装置。存储介质303是诸如半导体存储器、硬盘或存储图像的网络上的服务器的存储部分。

本实施例还可通过执行下述处理来实现。换句话说，该处理是如下的处理，其中实现上述实施例的功能的软件（程序）经由网络或者诸如CD－ROM的各种存储介质307（非暂态计算机可读存储介质）中的每一个被提供给系统或装置，使得该系统或装置的计算机（CPU、MPU等）可读取该程序以执行该程序。

图像处理装置301从图像拾取设备302或存储介质303获得图像数据，并且将已对其执行预定图像处理的图像数据输出到输出设备305、图像拾取设备302或存储介质303中的一个或多个。输出还可存储在图像处理装置301中配备的存储部分中。输出设备305例如为打印机。

作为监视器的显示设备304与图像处理装置301耦合。因此，用户通过显示设备304执行图像处理工作，并且还可估计校正图像。图像处理软件306执行本实施例的图像恢复处理（图像处理方法），并且如果必要的话，还执行显影或其它图像处理。

随后，将参照图17来描述执行本实施例的图像处理方法的数据的内容和该数据在设备之间的传送。图17是描述信息集（数据内容）的示图。在本实施例中，信息集包含以下信息。

【校正控制信息】

校正控制信息由下述信息构成，即，与图像处理装置301、图像拾取设备201或输出设备305中的哪个设备执行校正处理相关的设置信息，以及根据该校正处理将被发送到其它设备的数据的选择信息。例如，当在图像拾取设备302中产生恢复图像时，无需发送系数数据。另一方面，当在从图像拾取设备302获得未校正图像的同时图像处理装置301产生恢复图像时，发送系数数据、抽头数量信息、透镜ID、图像拾取元件的奈奎斯特信息、图像拾取条件等。可替换地，它还可被配置为基于用于拍摄图像的图像拾取设备302的图像拾取设备信息或图像拾取条件信息从事先存储在图像处理装置301中的系数数据选择，并且如果必要的话，可被校正以供使用。

【图像拾取设备信息】

图像拾取设备信息是图像拾取设备302的标识信息。当透镜可更换地安装在照相机机身上时，图像拾取设备信息包含透镜和照相机机身的组合。例如，上述透镜ID对应于这个信息。

【图像拾取条件信息】

图像拾取条件信息是与图像拾取设备302在拍摄图像期间的状态相关的信息。例如，它是焦距、光圈值、物距、ISO敏感度、白平衡等。

【图像拾取设备个体信息】

图像拾取个体信息是用于上述图像拾取设备信息的个体图像拾取设备的标识信息。由于制造误差的差异，在图像拾取设备302的光学传递函数（OTF）中存在个体差异。因此，图像拾取设备个体信息是用于设置个体最佳的校正参数的有效信息。校正参数是诸如系数数据或图像恢复滤波器的校正系数、诸如用于边缘增强的增益值、畸变校正或黑点校正的设置值。当事先识别出制造误差的状态时，用于产生图像恢复滤波器的初始数据被校正以能够执行更高精度的图像恢复处理。

【系数数据组】

系数数据组是用于校正相位劣化的系数数据集。当执行图像恢复处理的设备不具有系数数据时，需要从另一设备发送系数数据。

【用户设置信息】

用户设置信息是执行校正以便获得依赖于用户偏好的锐度（恢复程度）的校正参数或该校正参数的校正值。用户可以可变化地设置校正参数，但是如果使用用户设置信息，则用户可总是获得他中意的输出图像。另外，优选的是，使用基于用户所设置的校正参数的历史的学习功能来将用户设置信息更新为用户最中意的锐度。此外，图像拾取设备302的提供商（制造商）可通过网络或存储介质303提供依赖于一些锐度模式的预设值。

优选的是，上述信息集被添加到个体图像数据中。当必要的校正信息被添加到图像数据时，可使用设有本实施例的图像处理装置的设备来执行校正处理。此外，如果必要的话，可适当地自动或手动选择信息集的内容。

根据以上每个实施例，因为在图像中重新布置光学传递函数、然后将它转换为实空间中的图像恢复滤波器，所以与图像恢复滤波器被旋转并校正的情况相比，以高精度生成依赖于图像位置的图像恢复滤波器。此外，因为能够以高精度产生图像恢复滤波器，所以可减少事先需要存储的与光学传递函数相关的数据量。因此，根据每个实施例，可提供能够在减少用于图像恢复处理的信息量的同时获得被以高精度校正的恢复图像的图像处理方法。

虽然已参照示例性实施例描述了本发明，但是要理解本发明不限于所公开的示例性实施例。权利要求的范围应被给以最宽泛的解释，以涵盖所有这样的修改以及等同的结构和功能。

Claims (14)

1.一种执行图像的图像恢复处理的图像处理方法，所述图像处理方法包括以下步骤：

使用依赖于所述图像的图像拾取条件的系数数据，重构依赖于所述图像的位置的图像拾取光学系统的光学传递函数；

通过围绕所述图像的中心或围绕图像拾取光学系统的光轴旋转所述光学传递函数来扩展所述光学传递函数；

使用经扩展的光学传递函数来产生图像恢复滤波器；以及

使用所述图像恢复滤波器来执行所述图像的图像恢复处理。

2.根据权利要求1所述的图像处理方法，其中，所述图像的位置是排列在沿预定方向距图像的中心或图像拾取光学系统的光轴彼此不同的距离处的多个位置。

3.根据权利要求2所述的图像处理方法，其中，所述预定方向是图像的水平方向或者垂直方向。

4.根据权利要求1至3中的任何一个所述的图像处理方法，

其中，所述图像恢复滤波器包括在所述图像的第一位置处的第一图像恢复滤波器和在所述图像的第二位置处的第二图像恢复滤波器，

其中，所述第一图像恢复滤波器通过使用所述经扩展的光学传递函数来产生，并且

其中，所述第二图像恢复滤波器通过使用所述第一图像恢复滤波器的插值来产生。

5.根据权利要求1至3中的任何一个所述的图像处理方法，还包括以下步骤：

将相对于所述图像的中心或图像拾取光学系统的光轴旋转非对称的传递函数应用于经扩展的光学传递函数，

其中，所述图像恢复滤波器通过使用已被应用所述旋转非对称的传递函数的光学传递函数来产生。

6.根据权利要求5所述的图像处理方法，其中，所述旋转非对称的传递函数是光学低通滤波器的传递函数。

7.根据权利要求5所述的图像处理方法，其中，所述旋转非对称的传递函数是具有图像拾取元件的像素开口形状的传递函数。

8.根据权利要求1至3中的任何一个所述的图像处理方法，其中，所述系数数据是通过近似所述图像拾取光学系统的光学传递函数的设计值或测量值而获得的函数的系数的数据。

9.根据权利要求1至3中的任何一个所述的图像处理方法，其中，所述产生图像恢复滤波器的步骤包括如下步骤：

产生用于恢复图像上的由通过图像的中心或者图像拾取光学系统的光轴的且相互正交的两条线划分成的四个区域中的一个区域中的图像的图像恢复滤波器，以及

通过使用用于恢复所述一个区域中的图像的图像恢复滤波器产生用于恢复另一区域中的图像的图像恢复滤波器。

10.根据权利要求9所述的图像处理方法，其中，所述另一区域中的图像恢复滤波器是通过所述一个区域中的图像恢复滤波器的逆而产生的。

11.根据权利要求1至3中的任何一个所述的图像处理方法，还包括以下步骤：使用第一区域的光学传递函数来产生第二区域和第三区域中的至少一个的光学传递函数，

其中，第一区域是图像上的由通过图像的中心或者图像拾取光学系统的光轴的且相互正交的两条线划分成的四个区域中的一个区域，

第二区域是相对于所述图像的中心或图像拾取光学系统的光轴上的点与第一区域点对称的区域，以及

第三区域是相对于通过所述图像的中心或图像拾取光学系统的光轴上的点的直线与第一区域线对称的区域。

12.根据权利要求1至3中任一个所述的图像处理方法，所述图像处理方法还包括以下步骤：

使用第一区域的光学传递函数来产生第一区域中的图像恢复滤波器，

使用第一区域中的图像恢复滤波器来产生第二区域和第三区域中的至少一个中的图像恢复滤波器，

其中，第一区域是图像上的由通过图像的中心或者图像拾取光学系统的光轴的且相互正交的两条线划分成的四个区域中的一个区域，

第二区域是相对于所述图像的中心或图像拾取光学系统的光轴上的点与第一区域点对称的区域，以及

第三区域是相对于通过所述图像的中心或图像拾取光学系统的光轴上的点的直线与第一区域线对称的区域。

13.一种执行图像的图像恢复处理的图像处理装置，所述图像处理装置包括：

重构部分，其被配置为使用依赖于所述图像的图像拾取条件的系数数据，重构依赖于所述图像的位置的图像拾取光学系统的光学传递函数；

扩展部分，其被配置为通过围绕所述图像的中心或围绕图像拾取光学系统的光轴旋转所述光学传递函数来扩展所述光学传递函数；

产生部分，其被配置为使用经扩展的光学传递函数来产生图像恢复滤波器；和

处理部分，其被配置为使用所述图像恢复滤波器来执行所述图像的图像恢复处理。

14.一种执行图像的图像恢复处理的图像拾取装置，所述图像拾取装置包括：

图像拾取光学系统；

图像拾取元件，其被配置为通过对经由所述图像拾取光学系统获得的物像进行光电转换来产生图像；

重构部分，其被配置为使用依赖于所述图像的图像拾取条件的系数数据，重构依赖于所述图像的位置的图像拾取光学系统的光学传递函数；

扩展部分，其被配置为通过围绕所述图像的中心或围绕图像拾取光学系统的光轴旋转所述光学传递函数来扩展所述光学传递函数；

产生部分，其被配置为使用经扩展的光学传递函数来产生图像恢复滤波器；和

处理部分，其被配置为使用所述图像恢复滤波器来执行所述图像的图像恢复处理。