CN104580879A - 图像处理设备、图像拾取设备以及图像处理方法 - Google Patents

Abstract

本发明涉及一种图像处理设备、图像拾取设备以及图像处理方法。图像处理器包括：校正信号生成器，被配置为通过计算图像和通过向该图像施加反锐化掩模获得的图像之间的差来生成校正信号，所述反锐化掩模基于与图像拾取光学系统的图像拾取条件对应的PSF生成；以及校正信号施加器，被配置为通过把由生成器生成的校正信号乘以常数并且通过使相乘过的校正信号与图像相加来使图像锐化。

Description

图像处理设备、图像拾取设备以及图像处理方法

技术领域

本发明涉及图像锐化处理。

背景技术

已知的反锐化掩模处理向原始图像增加或从原始图像减去在原始图像和通过向原始图像(输入图像)施加反锐化掩模而获得的模糊图像之间的差，以便使图像锐化。在模糊图像和输入图像之间差异大的地方图像更加锐化。日本专利公开No.2010-81263公开了一种通过向在图像高度方向排列的像素信号施加非对称的一维滤波器来减少光学系统的点扩散函数(PSF)的影响的方法。

但是，传统的反锐化掩模处理使用旋转对称的滤波器作为反锐化掩模，并且难以对由于PSF的形状杂乱的影响(如非对称像差和弧矢光晕)而劣化的图像进行锐化。具体地说，在具有大像差的方位方向上的像差校正引起在具有小像差的方位方向上的下冲，而抑制下冲导致像差的校正不充分。

日本专利公开No.2010-81263的方法只考虑图像高度方向上的非对称性并且校正滤波器是一维的，并因此不能提高除了图像高度方向之外的方向上的非对称性。图像高度方向是子午方向(meridionalazimuth direction)。另外，传统的方法不能充分地锐化图像高度方向上的校正，这是因为滤波器的非对称性是通过调整负抽头系数的数量来调整的，并且滤波器引起与由光学系统的PSF引起的模糊不同的模糊。

如上所述，传统的方法不能充分地校正形状杂乱的像差并且使图像锐化。

为了给输入图像提供锐化处理，需要该输入图像的图像拾取条件和与图像高度对应的点扩散函数的数据。但是，预先存储各种图像拾取条件和与图像高度对应的大量数据需要大量的存储器，并因此是不现实的。

发明内容

本发明提供具有良好的锐化效果的图像处理设备、图像拾取设备、图像处理方法和图像处理程序。

作为本发明的一个方面的图像处理设备包括：获取单元，被配置为获取通过经由光学系统进行的图像拾取而生成的图像；以及处理器，被配置为通过使用基于与光学系统的图像拾取条件对应的光学系统的点扩散函数的信息生成的滤波器来向图像提供反锐化掩模处理。该滤波器具有二维数据。

作为本发明的另一个方面的图像拾取设备包括：图像传感器，被配置为对通过光学系统形成的物体的光学图像进行光电转换；图像处理器，被配置为处理从图像传感器获得的图像；以及记录器，被配置为存储光学系统的图像拾取条件和光学系统的点扩散函数之间的关系。图像处理器从记录器获得与光学系统的图像拾取条件对应的光学系统的点扩散函数的信息，并且通过使用基于光学系统的点扩散函数的信息生成的滤波器向图像提供反锐化掩模处理。滤波器具有二维数据。

作为本发明的另一个方面的图像处理方法包括以下步骤：获取通过经由光学系统进行的图像拾取而生成的图像；以及通过使用基于与光学系统的图像拾取条件对应的光学系统的点扩散函数的信息生成的滤波器来向图像提供反锐化掩模处理。该滤波器具有二维数据。

作为本发明的另一个方面的图像处理程序使计算机执行包括以下步骤的处理：获取通过经由光学系统进行的图像拾取而生成的图像；以及通过使用基于与光学系统的图像拾取条件对应的光学系统的点扩散函数的信息生成的滤波器来向图像提供反锐化掩模处理。该滤波器具有二维数据。

作为本发明的另一方面的非暂时性计算机可读存储介质存储图像处理程序。

参照附图根据示例性实施例的下列描述，本发明的更多特征和方面将变得清楚。

附图说明

图1是根据本发明的实施例1、2和3中的每一个实施例的图像拾取设备的框图。

图2是根据实施例1、2和3中的每一个实施例的图像处理方法的流程图。

图3A和3B是通过反锐化掩模处理进行锐化的模式图。

图4A和4B是图像拾取光学系统的PSF在xy平面上的模式图。

图5A和5B是用旋转对称的反锐化掩模进行锐化处理的模式图。

图6A和6B是用旋转非对称的反锐化掩模进行锐化处理的模式图。

图7A和7B是反锐化掩模的模式图和示意性截面图。

图8A至8C是根据本发明的图像处理方法的流程图。(实施例1)

图9是拜耳阵列的模式图。

图10是划分输入图像的方法的说明图。

图11是在图像高度方向上对输入图像进行内插的方法的说明图。

图12是根据本发明的图像处理方法的流程图。(实施例2)

图13是根据本发明的图像处理方法的流程图。(实施例3)

图14是根据本发明实施例1的图像处理方法的流程图。

图15A至15E是根据实施例4的OTF和PSF的布置的说明图。

图16是包括根据实施例4的图像处理设备的图像处理系统的图。

图17是根据实施例4的系数数据的说明图。

图18是根据实施例4的系数数据的详细说明图。

图19是根据实施例4的抽头数和频率间距的说明图。

图20是根据实施例4的另一个抽头数和频率间距的说明图。

图21是根据实施例4的OTF的重构的说明图。

图22是根据实施例4的OTF的重构的详细说明图。

图23是根据实施例4的图像处理的修改示例的流程图。

图24示出根据本发明实施例5的图像拾取设备的配置。

图25是设置在根据实施例5的图像拾取设备中的图像处理器的说明图。

具体实施方式

下面将参照附图描述本发明的示例性实施例。

在对实施例进行具体描述之前，将描述在实施例和图像处理中所使用的术语的定义。

[输入图像]

输入图像是根据来自图像传感器的输出而生成的数字图像，所述图像传感器对由图像拾取设备中的图像拾取光学系统(在下文中，简称为光学系统)形成的物体图像进行光电转换。该数字图像是被包括光学系统(包含诸如透镜和光学滤波器等的光学元件)的像差的光学传递函数(OTF)劣化的图像。图像传感器包括诸如CMOS和CCD之类的光电转换元件。图像拾取光学系统可以包括曲面镜(反射表面)。光学系统可以是能从图像拾取设备上拆卸的(可互换的)。在图像拾取设备中，图像拾取系统由光学系统、图像传感器和根据来自图像传感器的输出生成数字图像(输入图像)的信号处理电路构成。

输入图像的颜色分量具有，例如，RGB颜色分量的信息。要使用的颜色分量可以从诸如表示亮度、色调和饱和度的LCH颜色空间以及表示亮度和色差的YCbCr颜色空间之类的其他广泛使用的颜色空间中选择。其他可应用的颜色空间包括，例如XYZ、Lab、Yuv和JCh颜色空间，并且色温可以额外地被使用。

输入和输出图像可以具有在生成(捕捉)输入图像时图像拾取设备中的光学系统的诸如焦距、光圈值和物距之类的图像拾取条件的信息(在下文中，称为图像拾取条件信息)。输入和输出图像还可以具有用于校正输入图像的各种校正信息。在其中图像拾取设备将输入图像输出到分开布置的图像处理设备并且图像处理设备向输入图像提供图像恢复处理的配置中，输入图像期望地具有图像拾取条件信息和校正信息。图像拾取条件信息和校正信息可以通过通信从图像拾取设备直接地或间接地传送到图像处理设备，而不是随着输入图像发送。

[反锐化掩模处理(锐化处理)]

图3A和3B示意性地示出了通过反锐化掩模处理进行的图像锐化。在图3A中，实线代表将要处理的输入图像，而长虚线(短划线)代表通过向输入图像提供反锐化掩模而被模糊的图像。短虚线代表经锐化的图像。图3B中的实线代表用于锐化的校正成分(校正信号)。在图3A和3B中，水平轴代表坐标，垂直轴代表像素值或亮度值。图3A和3B每个对应于之后描述的图4A和4B中的预定方向(例如，X方向)上的部分。

当输入图像由f(x,y)表示并且校正成分由h(x,y)表示时，经锐化的图像g(x,y)可由表达式(1)表示：

g(x,y)＝f(x,y)+m×h(x,y)...(1)

在表达式(1)中，校正信号h(x,y)乘以常数m并与表示输入图像的f(x,y)相加。可以改变常数m以调整校正量。常数m可以是均一的，不论输入图像中的位置如何。作为替代，随着输入图像中的位置变化的调整系数m(x,y)可用来根据输入图像中的位置来调整校正量。常数m和调整系数m(x,y)可以根据诸如光学系统的焦距、光圈值和物距之类的图像拾取条件而变化。在后续描述中常数m可用调整系数m(x,y)替换。

当反锐化掩模由USM表示时，校正成分h(x,y)表示如下：

h(x,y)＝f(x,y)-f(x,y)*USM(x,y)...(2)

作为替代，表达式(2)的右侧可用表达式(3)重写。USM(x,y)是，例如，USM在坐标(x,y)处的抽头值。

h(x,y)＝f(x,y)*(δ(x,y)-USM(x,y))...(3)

符号*表示卷积(卷积积分、乘积和)，而符号δ代表其积分为1的δ函数(理想点图像)。此处的δ函数是其抽头数等于USM(x,y)的抽头数并且其值除了中心值为1以外都为0的数据。

表达式(3)与表达式(2)的不同之处在于处理中使用的计算方法。然而，由于表达式(3)可通过重写表达式(2)来获得，所以表达式(3)代表与表达式(2)的处理等效的处理。由于这个原因，下面使用表达式(2)来描述校正成分的生成。

表达式(2)计算输入图像f(x,y)和通过用反锐化掩模USM使输入图像f(x,y)反锐化而获得的图像之间的差，并且生成校正成分h(x,y)。在典型的反锐化掩模处理中，反锐化掩模USM是诸如高斯滤波器、中值滤波器和滑动平均滤波器之类的平滑滤波器。例如，当高斯滤波器作为反锐化掩模USM被施加给图3A中用实线示出的输入图像f(x,y)时，通过使输入图像f(x,y)反锐化而获得的图像用图3A中的长虚线示出。校正成分h(x,y)因此是输入图像f(x,y)和如表达式(2)中的经反锐化的图像之间的差。因此，从输入图像的信号值中减去经反锐化的图像(图3A中用长虚线示出)的信号值得到校正成分(图3B中用实线示出)。这样计算的校正成分被用来计算表达式(1)以便使输入图像f(x,y)(图3A中用实线示出)锐化并且获得用短虚线示出的图像。

接下来描述经过反锐化掩模处理对通过图像形成光学系统劣化的物体的光学图像进行的图像锐化。当穿过光学系统之前的原始图像(物体图像)由I(x,y)表示并且代表光学系统对点光源的响应的函数PSF由psf(x,y)表示时，经过光学系统形成的输入图像f(x,y)被表示为：

f(x,y)＝I(x,y)*psf(x,y)...(4)

如果光学系统是旋转对称的同轴光学系统，则与图像的中心部分对应的PSF是旋转对称的。这使得这样的锐化处理成为可能：经过该锐化处理，通过施加如上所述的旋转对称的USM使输入图像f(x,y)在图像的中心部分更接近于原始图像I(x,y)。因为校正量是图像和通过反锐化掩模处理获得的经反锐化的图像之间的差值，所以更加精确的校正需要使用与psf(x,y)形状更相似的反锐化掩模，而不是简单的平滑滤波器。这是因为以下原因。例如，当图像由于球面像差(具有旋转对称的影响)而被劣化时，诸如高斯滤波器之类的平滑滤波器具有与受球面像差影响的PSF的分布形状不同的分布形状。因此，使用光学系统的PSF能在减少旋转对称的反锐化中实现更精确的校正。

由于该原因，本发明的每个实施例使用PSF作为USM。虽然为了简化描述把在反锐化掩模处理的描述中使用的图3A中的输入图像f(x,y)例示为形状对称的图像，但输入图像的形状可以不是对称的。即使原始图像I(x,y)是形状非对称的，与psf(x,y)对应并作用于原始图像I(x,y)上的旋转对称的劣化函数也用旋转对称的USM实现锐化。

另一方面，在除了图像的中心部分之外的位置，即使光学系统是旋转对称的同轴光学系统，PSF通常也是非对称的。图4A和4B在xy平面上示意性地示出了光学系统的PSF：图4A示出了光轴上的PSF，而图4B示出了光轴外的PSF。

例如，如果原始图像(物体图像)是理想点图像，表达式(4)表明输入图像f(x,y)是光学系统的PSF。当理想的点图像在与图4B对应的视角中并且原始图像(物体图像)由于光学系统的PSF而被劣化时，作为输入图像被获取的图像是具有图4B所示的形状的模糊图像。接下来是通过反锐化掩模处理对经这样非对称模糊的图像进行锐化的描述。

图5A和5B以及图6A和6B示意性地示出了对非对称劣化的图像的反锐化处理。图5A和5B示出了用旋转对称的反锐化掩模进行的反锐化处理，而图6A和6B示出了用旋转非对称的反锐化掩模进行的反锐化处理。垂直轴和水平轴与图3A和3B中的垂直轴和水平轴相同。图5A和6A中的实线代表沿图4B中y方向的部分，而虚线代表通过用各自的反锐化掩模模糊输入图像而获得的图像。图5A和5B中的反锐化掩模，即旋转对称的反锐化掩模，是高斯滤波器。另一方面，图6A和6B中的反锐化掩模，即旋转非对称的反锐化掩模，是光学系统的PSF。

图5B和6B分别示出了作为经反锐化的图像(在图5A和6A中用虚线示出)和原始输入图像之间的差的校正成分。在图5A和6A中，正Y方向被取作如下方向：朝该方向由PSF模糊的输入图像具有延伸边缘(extending skirt)。对于使用图5A和5B中所示的旋转对称的反锐化掩模的情况，经反锐化的图像和原始输入图像之间的差在图5A中的实线的峰位置的正侧较小，而在其负侧较大。所以，图5B中所示的校正成分在中心峰位置的正侧(右侧)比在负侧(左侧)有更高的极值(相对于0的负值)。

用如图5A和5B所示的、校正成分量(校正量)在边缘延伸的正侧较小而在边缘不延伸的负侧较大的校正成分，不能通过表达式(4)表示的锐化来校正非对称模糊。

例如，在不改变反锐化掩模的情况下通过改变表达式(4)中的常数m来调整校正量。但是，当使用大的常数m以在输入图像的正侧具有充分的校正时，输入图像的负侧被过度校正(下冲)。相反，当设置常数m使得输入图像的负侧被适当地校正时，输入图像的正侧没有被充分的校正。用旋转对称的反锐化掩模对非对称地模糊的输入图像进行该反锐化掩模处理难以改善非对称性和使图像锐化。尽管实施例描述了使用高斯滤波器作为旋转对称的反锐化掩模的情况，用其他种类的旋转对称的滤波器也不能充分使非对称地模糊的输入图像锐化。

接下来描述使用图6A和6B中所示的旋转非对称的反锐化掩模的情况。在这种情况中，经反锐化的图像和原始输入图像之间的差在图6A中的实线的峰位置的正侧较大而在负侧较小，这与图5A中的关系相反。所以，图6B中所示的校正成分在中心峰位置的负侧(左侧)有比在正侧(右侧)更高的极值。向图6A中用实线示出的输入图像施加的校正成分在存在大的模糊的峰位置的正侧具有大的校正量，并且在存在小的模糊的负侧具有小的校正量。使用非对称的反锐化掩模因此使得输入图像的模糊和校正成分的校正量具有相似的分布，这减少了在使用旋转对称的反锐化掩模时发生的过度及不足校正。另外，相比于使用旋转对称的反锐化掩模的情况，使用非对称的反锐化掩模更不易引起过度校正，并因此表达式(4)中的常数m可设置得相对较大，从而进一步减少非对称性并且使图像锐化。

因为校正成分的校正量以与在经反锐化的图像和原始图像之间的差相同的方式分布，所以主要由图像拾取光学系统的PSF模糊的部分与其他部分相比需要由反锐化掩模更多地模糊，以便实现更加精确的校正。因此，光学系统的PSF被理想地用作用于更加精确校正的反锐化掩模。实施例中描述的部分是一维的，但是可以是二维的。

接下来是对在之后描述的每个实施例中使用的滤波器和校正信号以及根据每个实施例的反锐化掩模处理的描述。

在实施例1和4中，使用根据表达式(1)和(2)导出的下列表达式来提供锐化。

g(x,y)＝f(x,y)+m×{f(x,y)-f(x,y)*USM(x,y)}...(5)

在实施例2中，使用根据表达式(1)和(3)导出的下列表达式来提供锐化。

g(x,y)＝f(x,y)+m×f(x,y)*{δ(x,y)-USM(x,y)}...(6)

在实施例3中，使用根据表达式(6)变换的下列表达式来提供锐化。

g(x,y)＝f(x,y)*{δ(x,y)+m×(δ(x,y)-USM(x,y))}...(7)

表达式(7)可变换为下列表达式。

g(x,y)＝f(x,y)*{(1+m)×δ(x,y)-m×USM(x,y)}...(8)

在实施例3中，使用表达式(7)来提供锐化，但是可使用表达式(8)来提供锐化。

[保存的数据]

光学系统的PSF需要存储在图像拾取设备和图像处理设备中，以便用作上述的反锐化掩模。存储在这些设备中的PSF在锐化处理中可直接用作USM。但是，PSF根据捕捉输入图像时的条件(图像拾取条件)和图像高度而有差别，并因此需要存储与不同PSF对应的数据以提供精确的校正处理。另外，这些PSF是二维的，并且彩色图像需要诸如RGB之类的颜色分量中的每一个颜色分量的数据。

保存的数据可视情况选择性地存储用于产生PSF的OTF的信息或PSF的信息。首先，下面将描述存储OTF的信息的情况。

从OTF到PSF的转换需要傅里叶变换，归功于最近的计算处理设备的改进的处理速度现在这不是沉重的负荷。

但是，每个图像高度的OTF数据是纵向的抽头数×横向的抽头数×2(实部和虚部)×3(RGB)的数据。在设备中存储诸如图像高度、F数(光圈值)、变焦位置(焦距)和物体距离(物距)之类的所有图像拾取条件导致增加的数据量。如上所述，高度精确的处理和数据量通常是不兼容的，但是实施例根据少量的数据提供高度精确地校正的图像。如之后实施例中描述的，OTF具有相对较宽的频率特性，这使得通过诸如多项式之类的函数进行高度精确的拟合成为可能。因此，函数的拟合系数是将要保存的数据，相比于针对OTF保存的二维数据，这导致明显减小的将要保存的数据量。

当图像拾取设备是镜头可互换之时，因为图像传感器的像素间距根据图像拾取设备的模型而不同，所以用于相同镜头的PSF数据不同。如实施例中所述的，当用于重新生成OTF的函数及其系数数据被保存在设备中时，像素间距和将要生成的PSF的抽头数可被容易地改变。

接下来描述将PSF的信息存储为保存的数据。类似于OTF的情况，要保存的PSF的信息是与图形拾取条件和颜色分量对应的PSF数据。作为替代，可通过拟合将PSF逼近为函数，并可将其用于重新产生PSF的系数保存为保存的数据，而不是存储二维的PSF数据。使用适合PSF逼近的函数可以通过逼近该函数来减少用于PSF的数据量。类似于将OTF逼近为函数，保存用于重新产生PSF的函数及其系数数据使得能够重新产生像素间距和要重新产生的PSF的抽头数。这样存储的PSF的信息不需要提供傅里叶变换，导致减小的处理负荷。

PSF针对每个图像拾取条件而不同，所述每个图像拾取条件包括通过光学系统形成的图像的图像高度和光学系统的焦距、F数以及物距。下面的实施例将图像高度描述为示例性图像拾取条件，但是可以获取对于光学系统的物距、焦距和F数中的每一个不同的像差信息以便基于所述信息来生成反锐化掩模。

[实施例1]

图1是根据实施例1的图像拾取设备100的框图。在图像拾取设备100中，向输入图像提供锐化处理(图像处理方法)的程序被安装在存储器120中，并且由图像拾取设备100的图像处理器104(图像处理设备)执行该锐化处理。存储器120由ROM和硬盘驱动器构成，但是之后描述的记录器108可用作存储器。

图像拾取设备100包括图像拾取光学系统101(镜头)和图像拾取设备主体(照相机主体)。图像拾取光学系统101包括孔径光阑101a和聚焦透镜101b，并且与图像拾取设备主体一体地配置。但是，本实施例不限于此并且也适用于包括安装有可互换的图像拾取光学系统101的图像拾取设备主体的图像拾取设备。

图像传感器102是诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)之类的二维图像传感器。图像传感器102对通过图像拾取光学系统101获得的物体图像(成像光)进行光电转换并生成图像。图像传感器102将物体图像光电转换成模拟信号(电信号)。该模拟信号由A/D转换器103转换成数字信号，所述数字信号然后被输入至图像处理器104。

图像处理器104是向该数字信号提供预定的反锐化掩模处理以及预定处理的图像处理单元。在本实施例中，锐化处理由图像拾取设备的图像处理器提供，但是可以由充当图像处理设备的个人计算机(PC)或专用设备提供。

图像处理器104从状态检测器107获取图像拾取设备100的图像拾取条件信息。图像拾取条件信息是光圈、物距和变焦透镜的焦距的信息。状态检测器107直接从系统控制器106获取图像拾取条件信息，但是不限于此。例如，图像拾取光学系统101的图像拾取条件信息可以从图像拾取光学系统控制器105获取。

随后，图像处理器104向输入图像提供图像锐化处理。图像处理器104包括点图像强度分布选择器(PSF选择器)201、校正信号生成器202和校正信号施加器203。但是，当图像处理器104充当图像处理设备时，图像拾取设备100的系统控制器106可以存储与图像有关联的像差信息。在这种情况下，图像处理设备可以包括校正信号生成器202和校正信号施加器203，但是不包括PSF选择器201。

在图像处理器104处处理的输出图像以预定的格式存储在记录器208中。记录器108还充当存储图像拾取光学系统101的图像拾取条件和图像拾取光学系统的PSF之间关系的存储器。

图像显示单元112能够显示在图像锐化处理之后提供有预定的显示处理的图像。图像显示单元112可以显示提供有简化的处理的图像，以便实现快速显示。

这些处理系列由系统控制器106控制。系统控制器106被配置作为微型计算机和CPU(处理器)。图像拾取光学系统101的机械驱动由图像拾取光学系统控制器105基于来自系统控制器106的命令控制。

图像拾取光学系统101可以包括诸如低通滤波器和红外截止滤波器之类的光学元件。当使用对PSF特性有影响的光学元件如低通滤波器时，在制造反锐化掩模时考虑该光学元件的影响使得能够进行更加高度精确的图像锐化处理。当使用对RGB通道(RGB颜色分量)中的每一个通道的PSF(其为PSF在频谱波长上的积分值)有影响、尤其是对R通道的PSF有影响的红外截止滤光器时，期望在制造反锐化掩模时考虑该光学元件的影响。

接下来参照图2描述根据本实施例的图像处理方法。图2是示出了本实施例中整个过程的流程图，其中“S”代表“步骤(过程)”。图2中示出的流程图可作为使计算机执行每个步骤的功能的程序(图像处理程序)实现。其他的流程图也可以以相同的方式实现。图2中的每个步骤由图像处理器104基于来自系统控制器106的命令执行。

首先，图像被获取为输入图像(S11)，并且随后PSF选择器201从记录器108获取与输入图像的图像拾取条件对应的图像拾取光学系统的PSF(获取步骤S12)。由PSF选择器201获取的PSF的信息可以是二维抽头数据、系数和作为PSF组成成分的多个一维抽头数据。

接下来，校正信号生成器202基于S12处获取的PSF的信息生成反锐化掩模和校正信号(生成步骤S13)。

在此将参照图7A和7B描述反锐化掩模。反锐化掩模根据图像拾取光学系统的像差特性和所需锐化精确度来确定其抽头数。图7A中的反锐化掩模是示例性的11×11抽头的二维掩模。图7A省略了每个抽头的值(系数)，并且图7B示出了反锐化掩模的部分。在图7B中，水平轴代表抽头，而垂直轴代表抽头的值。

反锐化掩模的抽头的值(系数值)的分布理想地是因像差而扩散开的信号值的分布(图像拾取光学系统的PSF)。反锐化掩模可以如上所述基于PSF的信息生成或者可以是由PSF选择器201获取的PSF。之后将描述通过使用在校正信号生成器202处生成的反锐化掩模来生成校正信号的处理。

接下来，校正信号施加器203通过使用在S13处生成的校正信号向输入图像提供锐化处理(锐化步骤S14)。之后将描述S14处的处理的细节。

图8A是示出了根据本实施的处理的细节的流程图。图8A中的每个步骤由图像处理器104基于来自系统控制器106的命令执行。

首先，图像被获取为输入图像(S111)。具体来说，用作输入图像的作为校正对象的颜色分量数据是例如去马赛克之后的G通道的图像数据。但是，颜色分量数据可以是R通道或B通道的图像数据、所有RGB通道的图像数据或去马赛克之前的图像数据。

图9是拜耳阵列(Bayer array)的模式图，所述拜耳阵列是离散有序的阵列。例如，可以向作为RGB的每个通道的数据或者作为特定通道的数据的输入图像提供处理。作为替代，如图9所示，G通道可被划分成G1和G2，这总共提供了4个通道。采用其中如上所述G通道被划分为两个通道的配置，R、G1、G2和B中每一个的图像数据具有相同的分辨率，这便于图像处理和数据处理。

接下来，PSF选择器201从记录器108获取与输入图像对应的图像拾取光学系统的PSF的信息(S112)。由PSF选择器201获取的PSF的信息可以是二维抽头数据、作为PSF组成成分的多个一维抽头数据以及系数。通过例如奇异值分解定理将二维数据分解成多个一维数据。通过这样的定理划分的主分量可以记录在记录器108中，并且与PSF的主分量对应的这些一维抽头数据可以根据图像拾取条件从记录器108中获取。

因为PSF随着图像高度而变化，所以希望根据图像高度改变反锐化掩模，以便提高校正精确度，但是记录器108中的记录数据导致成本增加。因为这个原因，在本实施例中，为了使反锐化掩模能随着图像高度而变化，输入图像被划分成多个区域并且基于针对每个区域的至少两个图像高度的PSF的信息执行内插处理，从而生成中间的反锐化掩模。之后将为S114描述内插方法的细节。

接下来描述将输入图像划分成区域。图10是输入图像的模式图，其中输入图像的长边方向和短边方向分别取作X方向和Y方向，并且图像的中心取作坐标原点。在本实施例中，如作为示例的图10所示，输入图像被划分为A-G8个区域，并且针对区域的外围部分中的每一个和原点获取点扩散函数的信息。

然后，校正信号生成器202使用在S112处获取的PSF来提供滤波处理(S113)。在本实施例中，PSF用作反锐化掩模，并且向输入图像提供与反锐化掩模的卷积处理(卷积积分，乘积和)。因为在S112处获取的PSF的数量总共是9个，其中包括8个周围区域和原点，所以生成了用相应反锐化掩模模糊的9个输入图像，即9个通过反锐化掩模滤波的图像数据。

接下来，校正信号生成器202使用由反锐化掩模滤波的多个图像数据(在S113处生成)来提供图像高度方向上的内插处理，并且生成1个由反锐化掩模滤波的图像数据(内插步骤S114)。

接下来参照图11描述在图像高度方向上的内插处理。在图11中，区域C和A相对于原点的方向分别取作正X方向和正Y方向，并且因此图11示出了其中X轴和Y轴都为正的输入图像的第一象限。在图11中，P0表示原点，而P1、P2和P3分别表示区域A、区域B和区域C的外围图像点，并且PSF选择器201在S112处为图像点P0、P1、P2和P3中的每一个获取PSF。

在图11中，用白点示出的点Pn代表图像中的任意点(图像点)，区域B中的点Pn使用在S113处通过基于点P0和P2的PSF的信息生成的反锐化掩模进行滤波的输入图像的数据。类似地，区域A和C中的点Pn分别使用在S113处通过与点P0和P1以及P0和P3处的图像高度对应的反锐化掩模进行滤波的输入图像的数据。

接下来描述根据区域中的两个图像高度生成与任意点Pn处的经滤波的数据相对应的内插数据。如图11所示，区域B中的点Pn与原点P0距离为d0，与点P2距离为d2。当基于与点P0和P2对应的PSF在S113处滤波的输入图像表示为F0和F2时，与任意点Pn对应的内插数据Fn由下列表达式表示。

Fn＝F0×(1-d0)+F2×d2...(9)

这样的内插处理基于S113处生成的多个图像数据来生成每个区域中任意图像高度的内插数据和一个图像数据。这样生成的图像数据少于根据图像高度使用不同PSF而被滤波的输入图像的数据，从而导致提高的处理速度。

虽然表达式(9)用于第一象限中的区域B，但是用于其他区域和其他象限的类似计算可以生成内插的数据。图像高度内插不仅可以通过表达式(9)执行，也可以通过二次曲线执行，或者每个滤波的输入图像可以通过常数乘法进行加权。

然后，校正信号生成器202基于S114处生成的内插数据生成校正信号(S115)。在本实施例中，校正成分由表达式(2)表示并且基于输入图像和在S114处生成的内插数据之间的差生成。

接下来，校正信号施加器203向输入图像施加S115处生成的校正信号并且使图像锐化(S116)。在本实施例中，校正信号的施加对应于表达式(1)，在表达式(1)中基于图像噪声和锐化的过度校正或不足校正来确定常数m。这样确定的常数m、S115处生成的校正信号和输入图像用来提供锐化处理。

表达式(1)针对正的常数m被表示为第一项和第二项的相加以及针对负的常数m被表示为其相减。因此，当在本实施例的锐化处理中向输入图像施加校正信号时，该施加根据常数m的符号以相加或相减而被表示。但是，因为相加和相减被理解为仅仅是符号不同并且基本上含义相同，所以取决于常数m的符号该计算可以是相加或相减。在本实施例中，因为图像拾取光学系统的PSF被用作反锐化掩模，所以由于图像拾取光学系统的非对称PSF导致的在其外围部分具有劣化的输入图像仍可以被精确地校正和锐化。

在本实施例中，图像高度方向上的内插是向经滤波的图像提供，但是也可以向校正信号(图8B)和经锐化的图像(图8C)提供。

在图8B中所示的过程中，针对在输入图像中设置的多个区域的每一个区域中的至少两个图像高度获取点扩散函数，并且基于点扩散函数来生成多个校正信号。然后，在图像高度方向上内插校正信号以便生成一个校正信号，所述一个校正信号然后被施加以使输入图像锐化。在图8C中所示的过程中，针对在输入图像中设置的多个区域中的每一个区域中的至少两个图像高度获取点扩散函数，并且基于点扩散函数来生成多个校正信号。然后，校正信号每一个都被施加给输入图像以便获取多个锐化后的图像，所述多个锐化后的图像然后在图像高度方向上被内插以便生成一个锐化后的图像。

图8B是示出了在生成校正信号后在图像高度方向上提供内插处理的处理的详细流程的流程图。S121、S122和S123分别对应于S111、S112和S113。接下来将描述图8B中与图8A中S114和S115处的处理对应却又不同的S124和S125处的处理。

在S124处，校正信号生成器202根据经滤波的数据生成校正信号，所述经滤波的数据是由反锐化掩模在S123处对输入图像进行滤波而获得的。通过表达式(2)根据输入图像和经滤波的数据之间的差来生成校正信号。按照S123处生成的数据的量来生成这些校正信号。

然后，在S125处，校正信号生成器202基于S124处生成的校正信号来在图像高度方向上提供内插处理。向与S114处的内插处理的内插对象不同的内插对象提供S125处的内插处理，但是处理的流程总体上与S114处的内插处理的流程相同。在S114处，在图像高度方向上对与在S112处作为反锐化掩模获取的PSF卷积的输入图像的数据进行内插。

另一方面，在S125处，输入图像和与反锐化掩模卷积的输入图像的数据之间的差被用作校正信号，并且对校正信号进行图像高度方向上的内插处理。S114处的处理在图像高度方向上对表达式(2)中的f(x,y)*USM进行内插，然而S125处的处理在图像高度方向上对h(x,y)进行内插。

因此，随着S114处的f(x,y)*USM的数据由h(x,y)的数据代替，在图像高度方向上向校正信号提供S125处的内插处理。在S126处校正信号施加器203向输入图像施加经这样内插的校正信号。在S126处校正信号的施加类似于S116处的处理，因此下面没有详细地描述。

接下来参照图8C描述对已施加校正信号的输入图像进行图像高度方向上的内插处理的流程。S131、S132、S133和S134分别对应于S121、S122、S123和S124。

将描述与图8B中的S125和S126处的处理不同的S135和S136处的处理。在S135处，校正信号施加器203基于S134处生成的校正信号向输入图像提供锐化处理。在S134处，校正信号按照根据S132处选择的PSF生成的多个反锐化掩模的量而被生成。S135处的锐化处理基于表达式(1)向输入图像施加在S134处生成的校正信号。

然后，在S136处，在图像高度方向上内插在S135处生成的多个经锐化的图像。向与S114或S125处的内插处理的内插对象不同的内插对象提供在S136处的内插处理，但是处理的流程总体上与S114或S125处的内插处理的流程相同。S125处的处理在图像高度方向上对表达式(1)中的h(x,y)进行内插，然而S136处的处理在图像高度方向上对g(x,y)进行内插。因此，随着S125处的h(x,y)的数据由g(x,y)的数据替代，S136处的处理在图像高度方向上对锐化后的图像进行内插。

[实施例2]

根据实施例2的图像拾取设备与根据实施例1的图像拾取设备具有相同的配置。实施例2与实施例1的不同之处在于使用图12中所示的图像处理方法来代替图8A-8C中所示的图像处理方法。图12是根据实施例2的图像处理方法的流程图，并且每个步骤由图像处理器104基于来自系统控制器106的命令执行。

本实施例使用了与实施例1不同的生成校正信号的方法。S211和S212处的处理与S111和S112处的处理相同。虽然实施例1基于表达式(2)来生成校正信号，但是本实施例基于表达式(3)来生成校正信号。为了生成校正信号，根据本实施例的校正信号生成器202首先计算理想点图像和由PSF选择器201选择的PSF之间的差并生成滤波器(S213)。接下来，校正信号生成器202使输入图像与生成的滤波器卷积以生成校正信号(S214)。S215、S216和S217处的处理与S114、S115和S116处的处理相同，并因此省略对它们的描述。以这种方法，可以执行基于表达式(6)的锐化处理。

图像高度方向上的内插可以如实施例1中所述那样向校正信号提供，或者可以向用校正信号锐化的输入图像提供。

[实施例3]

根据实施例3的图像拾取设备与根据实施例1的图像拾取设备具有相同的配置。实施例3与实施例1的不同之处在于使用图13所示的图像处理方法来代替图8A-8C中所示的图像处理方法。图13是根据实施例3的图像处理方法的流程图，并且每个步骤由图像处理器104基于来自系统控制器106的命令执行。

本实施例使用与实施例1和实施例2不同的生成校正信号的方法和不同的施加校正信号的方法，并且本实施例基于表达式(7)来生成滤波器并将生成的滤波器施加给输入图像。因此，图13中流程图与实施例1和实施例2中的流程图的不同之处在于S313处的生成滤波器和S314处的施加滤波器。S311和S312处的处理与S111和S112处的处理相同。

本实施例使用S312处选择的PSF作为反锐化掩模以便生成与表达式(7)的大括号中的项对应的滤波器(S312)。在本实施例中，由校正信号生成器202生成的校正信号是滤波器。接下来，校正信号施加器203使输入图像与S313处生成的滤波器卷积以便使图像锐化(S314)。在根据本实施例的锐化处理中，通过将图像与基于作为反锐化掩模的图像拾取光学系统的PSF而被生成的滤波器(校正信号)进行一次卷积来提供锐化。

所述实施例中的每一个都提供了具有高度锐化效果的图像处理设备、图像拾取设备、图像处理方法和图像处理程序。

[实施例4]

图14是根据本发明实施例4的图像处理方法的过程的流程图。该图像处理方法由安装到图像拾取设备或者作为图像处理设备的计算机(处理器)根据作为计算机程序的图像处理程序执行。

在S101处，计算机获取由图像拾取设备通过光学系统捕捉和生成的数字图像，作为输入图像。如果计算机被安装到图像拾取设备上，则计算机从图像拾取系统获取输入图像。如果计算机是不同于图像拾取设备的另一种图像处理设备，则计算机通过有线或无线通信或者经由非暂时性计算机可读存储介质从图像拾取设备获取输入图像。用作输入图像的数据是例如去马赛克后的G通道的图像数据。然而，R通道或B通道的图像数据可以用作输入图像，或者RGB通道中的每一个通道的图像数据可以用作输入图像。作为替代，去马赛克前的图像数据可以用作输入图像。

图9示出了输入图像的像素阵列，其与实施例1中的相同，并因此省略对它的描述。

然后，在S102，计算机获取图像拾取条件信息。如上所述，图像拾取条件包括焦距、光圈值和物距。如果输入图像是在镜头可互换的图像拾取设备中生成的，则图像拾取条件包括镜头所独有的镜头ID和图像拾取设备所独有的照相机ID。图像拾取条件可以直接从图像拾取设备获取或者可以作为信息与输入图像一起获取。

接下来，在S103处，计算机获取适合于图像拾取条件的系数数据。系数数据用于重构OTF，并且根据图像拾取条件可以从先前存储在存储器、服务器或网络中的数据选择性地获取。与介于用于光圈、物距和变焦镜头的焦距的系数数据已被存储的图像拾取条件之间的图像拾取条件所对应的系数数据可以基于已存储的系数数据通过内插处理来生成。这可以减少先前存储的系数数据的量。例如，内插处理方法可以是但不限于熟知的双线性内插(线性内插)或双三次插值。

接下来，在S104处，计算机使用适合于图像拾取条件的系数数据以便在特定的图像高度方向上重构(生成)多个不同的光学传递函数，每一个光学传递函数随着距离参考位置的图像高度而变化，所述参考位置是输入图像的中心或光学系统的光轴。基于选择的系数数据重构光学传递函数相当于选择光学传递函数。之后将详细描述在本步骤的处理。在本实施例中，步骤S102至S104被称为光学传递函数选择步骤。

接下来，在S105处，计算机把重构的光学传递函数绕着输入图像的中心或作为光学系统光轴的参考位置进行旋转。计算机然后对用于输入图像的像素阵列(或者获取输入图像的图像拾取设备的图像传感器)的光学传递函数进行内插。以这种方式，计算机获得与输入图像中的多个特定的二维离散位置相对应的光学传递函数，并且二维地布置用于输入图像的光学传递函数。这些二维地布置的光学传递函数在下文中被称为重新布置的光学传递函数。在本实施例中，S105处的处理被称为光学传递函数重新布置步骤。

接下来，在S106处，计算机将重新布置的光学传递函数转换为点扩散函数。从光学传递函数到点扩散函数的转换通过傅里叶逆变换进行。在本实施例中，S106处的处理被称为点扩散函数生成步骤。

接下来参照图15A至15E详细描述S104至S106处的处理。在图15A中，圆圈代表在S104处重构的光学传递函数(在下文中，称为OTF)。重构的OTF与相对于输入图像的外接圆的区域(图像拾取区域)中的参考位置在特定图像高度方向(图15A中的纵向)上的多个图像高度分别对应。在S105处，计算机将特定图像高度方向上的OTF绕着参考位置旋转，并且提供适合于输入图像的像素阵列的内插以便如图15B所示在输入图像上二维地布置(在纵向和横向上)OTF。内插涉及径向方向和旋转方向的内插，这使得能够在任意像素位置的OTF布置。

接下来，在S106处，计算机对输入图像中每个位置(像素)处的OTF的傅里叶逆变换进行评估，以便在如图15C中用方格所示的位置处生成点扩散函数(在下文中，称为PSF)。用于获取输入图像的光学系统围绕光轴旋转地对称。该旋转对称性可用于把在一个象限(四分之一区域)中生成的PSF绕着参考位置旋转进入另一个象限，如图15D所示，从而在输入图像的整个区域中生成PSF。这样的方法具有的优势为：评估傅里叶逆变换的次数为布置PSF的位置总数的大约四分之一。另外，当图15B中所示的OTF和图15C中所示的PSF通过如图15E所示的旋转和内插被重构并且如图15D所示通过使用旋转对称被分配到输入图像的整个区域时，评估傅里叶逆变换的次数可以进一步减少。

图15A至15E中所示的OTF和PSF的布置(数量与间隔)是示例，并且可以根据光学系统的OTF中的变化来任选地设置所述布置。

在图14中，在S107处，计算机基于在输入图像的整个区域中的位置(像素)生成的PSF来生成反锐化掩模。之后将详细描述反锐化掩模的生成。然后，在S108处，计算机生成上面所述的校正信号。之后还将详细描述校正信号的生成。在本实施例中，S107和S108处的处理被称为校正信号生成步骤。

接下来，在S109处，计算机通过使校正信号与输入图像相加来向输入图像提供锐化处理，并因此获取经校正的图像作为S110处的所得到的图像。之后将详细描述锐化处理。在本实施例中，S109处的处理被称为信号相加处理。

S107处生成的反锐化掩模与图7A和图7B所示的反锐化掩模相同。在S108处为了基于这些反锐化掩模生成校正信号，计算机首先使输入图像和在输入图像中的位置处生成的反锐化掩模卷积。因为反锐化掩模是在如图15D中所示那样生成PSF的位置处生成的，所以介于生成PSF的位置之间的位置处的反锐化掩模是通过内插生成的。所述内插被提供为使得：当目标像素是生成反锐化掩模的位置处的像素时，目标像素附近的多个反锐化掩模根据它们与目标像素的距离被加权并且被合成。该方法可以生成随着输入图像中的位置而连续变化的反锐化掩模。以这种方式，通过从OTF的转换或PSF的内插而被生成的反锐化掩模在输入图像中的每个位置被施加到输入图像。

另一种方法涉及例如将目标像素附近的三个反锐化掩模应用到这三个反锐化掩模围绕的三角区域，以便生成三个图像。然后，这三个图像根据他们与目标像素的位置的距离而被加权以及合成，以便获得与通过随着输入图像中的位置连续改变反锐化掩模而获得的图像等效的合成图像。要内插的区域可以由例如四个位置而非三个位置来限定。

作为替代，输入图像可划分为多个区域，并且相同的反锐化掩模可以不经过内插地施加在每一个区域中。作为替代，可以向通过把在之后描述的S109处生成的校正信号施加给输入图像而获得的经锐化的图像提供内插。

接下来描述在S108处生成校正信号。在本实施例中，由表达式(2)表示的信号用作校正信号。具体地说，校正信号是通过计算输入图像和作为在S108处向输入图像施加反锐化掩模的结果的图像之间的差生成的。

接下来描述在S109处的锐化处理。根据本实施例的锐化处理通过经由表达式(1)把乘以常数(m)的校正信号与输入图像相加来执行。在考虑到图像中的噪声以及过锐化和欠锐化的情况下确定常数m。表达式(1)针对正常数m被表示为第一项和第二项的相加以及针对负常数m被表示为其相减。如上所述，在根据本实施例的锐化处理中，乘以常数的校正信号的“相加”根据常数m的符号意味着相加和相减。

如上所述，在本实施例中，锐化处理通过使用点扩散函数作为反锐化掩模而被执行。这使得即使输入图像包含由于光学系统的非对称PSF而经常存在于图像的外围部分中的劣化时也能够精确校正。

接下来参照图16描述被配置为实现上述图像处理方法的示例性图像处理系统。该图像处理系统包括系数计算器300、照相机(图像拾取设备)310和图像处理设备320。

系数计算器300根据光学系统的设计值或测量值来计算用于重构OTF的系数。系数计算器300将OTF转换成系数并且根据所需精确度来确定用于之后重构OTF的系数的阶数。系数计算器300还基于PSF空间分布的大小来为每个图像高度确定之后重构OTF所需的抽头数。系数计算器300计算系数和抽头数直到构成照相机310的光学系统(可互换的图像拾取镜头312)和图像传感器311的各种组合的所需阶数，并且输出这些数据。

在照相机310中，图像拾取镜头312形成的物体图像由图像传感器311进行光电转换，并且基于来自图像传感器311的电信号来生成图像。照相机310然后向该图像增加镜头ID和图像拾取条件信息(诸如光圈值、变焦镜头的焦距，以及物距等)以及照相机ID，并且输出图像。照相机ID用于确定图像传感器111处可用的空间频率的Nyquist频率。

图像处理设备320存储作为从照相机310输出的图像的输入图像(包括图像拾取条件信息)以及来自系数计算器300的抽头数和系数数据。所述数据和信息然后用于校正(锐化)由图像拾取镜头312劣化的输入图像。

在图像处理设备320中，校正信息保持器321存储由系数计算器300计算的图像拾取镜头312和图像传感器311的各种组合的信息。存储的信息包括系数和抽头数的数据、镜头ID、图像拾取条件信息以及基于照相机ID获得的图像传感器311的Nyquist频率。

OTF重构单元322获取照相机310的图像传感器311的Nyquist频率、输入图像、图像拾取条件以及镜头ID。用户(拍摄者)在图像捕捉中使用以生成输入图像的图像拾取镜头312的镜头ID和图像拾取条件然后被用于搜索存储在校正信息保持器321中的系数和抽头数。OTF重构单元322基于上至Nyquist频率的空间频率范围内的搜到的信息来重构由滤波器323使用的OTF。在下文中，由OTF重构单元322重构的OTF被称为重构的OTF。

滤波器323基于从OTF重构单元322获得的重构的OTF来生成反锐化掩模，并且基于反锐化掩模来校正(锐化)图像。如果由系数计算器300计算的系数和抽头数被存储在校正信息保持器321中，则不需要向用户提供系数计算器300。用户可以通过网络或各种非暂时性计算机可读存储介质下载和使用图像处理所需的诸如系数数据之类的信息。

接下来描述通过系数计算器300计算系数的方法。系数计算器300通过拟合为函数来逼近光学系统(图像拾取镜头312)的OTF以便产生系数。在本实施例中，拟合中使用的函数是但不限于勒让德多项式，并且可以是例如切比雪夫多项式(Chebushevpolynomial)。勒让德多项式由表达式(10)给出。

$P_n\left(x\right)=\frac{1}{2^n}\underset{k=0}{\overset{\left[\frac{n}{2}\right]}{\mathrm{\Σ}}}{(-1)}^k\frac{(2n-2k)!}{k!(n-k)!(n-2k)!}{x}^{n-2k}...\left(10\right)$

在该表达式中，[x]表达不大于x的最大整数。

因为OTF以z＝f(x,y)表示，所以计算出表达式(11)的系数a_ij。

$z=\underset{i}{\overset{i=m}{\mathrm{\Σ}}}\underset{j}{\overset{j=n}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}P{\left(x\right)}_{i}P{\left(y\right)}_j...\left(11\right)$

表达式(11)是正交函数，其中a_ij的值与拟合的阶数无关地确定。正交函数的这个特性可以用来在可以充分高的精确度进行OTF的低阶拟合时将函数在低阶截短。这可以使将要存储在系数计算器300中的系数的数据量最小化。

图17示出了通过表达式(10)和表达式(11)拟合OTF的具体方法。在图17中，fum和fvm分别表示在子午方向和径向上的OTF的Nyquist频率。Nx和Ny分别表示在子午方向和径向上OTF的奇数抽头数。系数计算器100通过拟合来计算用于OTF实部和虚部的系数。

OTF的实部在子午方向和径向上对称。OTF的虚部在子午方向上是符号相反的对称，并且在径向上对称。

由于这种对称，整个域的四分之一的信息作为拟合目标的OTF的数据是必要且足够的。因为这个原因，在本实施例中，为了实现OTF的高度精确的拟合，对从整个域中切出的四分之一区域执行拟合以使得针对OTF的实部和虚部两者DC分量都被包括。

本实施例描述了其中OTF数据是Nx(行)×Ny(列)抽头的数据，并且从OTF数据中切出1至[Nx/2]+1行且1至[Ny/2]+1列的数据的示例。然而，本实施例不限于此。

图18示出了通过上述方法计算的系数。图18示出了针对每个图像高度(1至10)在x和y上都计算高达10阶的OTF的实部和虚部的系数的示例。系数数据由用于每个图像高度的一组系数以及镜头ID、光圈、焦距(变焦位置)和物距的信息一起构成。本实施例示例性地示出了在诸如镜头ID为No.123、光圈值为F2.8、变焦位置为WIDE(广角端)和较近物距之类的图像拾取条件下的用于10个图像高度的系数。10个图像高度的这些系数用于重构图15A中10个位置处的OTF。生成的系数可以用作针对每阶的图像高度的函数。

系数计算器300针对镜头ID、光圈、焦距和物距的所有组合生成这样的系数数据，并且输出数据。

接下来详细描述确定重构的OTF的抽头数的方法。对图像进行的滤波处理的持续时间很大程度上取决于滤波处理中所使用的滤波器的抽头数。因此，滤波器的较小抽头数在滤波处理中是期望的，只要在没有诸如下冲之类的负面影响的情况下获得期望的校正效果即可。

图像处理设备的滤波器323使用的反锐化掩模是实空间内的滤波器。因此，用于滤波器的抽头数是在实空间内确定的。根据本实施例的反锐化掩模是用于对由于PSF导致的图像劣化进行校正的滤波器。因此，大致等于实空间内PSF的分布的区域是足够的。换句话说，必要的抽头数是该区域内的抽头数。因为实空间和频率空间互为倒数，所以在实空间内确定的抽头数可用于频率空间内。

图19示出了抽头数足够大，以至于包围了与PSF的空间分布相比充分大的区域。图20示出了抽头数被设置为使得包围了与图19中相同PSF的空间分布大致相等的区域(抽头数小于图19的情况中的抽头数)。如图19中所示，实空间内的抽头数与频率空间内的最小频率间距相对应。因此，如图20中所示的实空间内的较小抽头数意味着频率空间内的粗糙采样并因此意味着较大的最小频率间距。同时，频率空间内的Nyquist频率不变。

接下来是对OTF重构单元322的详细描述，所述OTF重构单元322提供与图14中所示的步骤S104处的处理对应的处理。OTF重构单元322在图像拾取时从照相机310获取镜头ID、图像拾取条件信息和图像传感器311的Nyquist频率信息。接下来，OTF重构单元322从校正信息保持器321读出抽头数、镜头ID、图像拾取条件信息和图像传感器311的Nyquist频率信息，并且基于信息生成重构的OTF。

接下来参照图21详细描述生成重构的OTF的方法。生成重构的OTF所必需的子午方向和径向上的Nyquist频率分别由fuc_rm和fvm_im表示，并且子午方向和径向上的抽头数由Mx和My表示。在子午方向和径向上的Nyquist频率为fum和fvm的情况下，下列关系成立：

0<fum_n≤fum

0<fvm_n≤fvm

0<Mx≤Nx

0<My≤Ny

其中Mx和My是奇数。

表达式(10)和表达式(11)中的变量x和y分别用u和m替换，则限定如下的域分别用(Mx/2)+1和(My/2)+1个抽头采样：

-fum_n/fum≤u≤1

-fvm_n/fvm≤v≤1

OTF重构单元122将上述系数代入表达式(9)中并生成一个象限内的重构的OTF。对图21中所示的重构的OTF的实部(122-1-1)和虚部(122-2-1)重复这样的过程。

接下来描述基于具有在一个象限内生成的实部和虚部的重构的OTF来在限定如下的域内生成重构的OTF的方法：

-fum_n/fum≤u≤fum_n/fum

-fvm_n/fvm≤v≤fvm_n/fvm

其中抽头数是Mx和My。

首先，将描述生成重构的OTF的实部的方法。OTF重构单元322基于之前生成的实部(122-1-1)把重构的OTF的实部划分成下列区域：

行为1至(Mx/2)+1且列为1至(My/2)的区域；以及

行为1至(Mx/2)+1且列为(My/2)+1的区域。

接下来，OTF重构单元322将行为1至(Mx/2)+1且列为1至(My/2)的区域中的数值数据复制到行为1至(Mx/2)+1且列为(My/2)+2至My的区域中，如实部(122-1-2)中所示。数据是以相对于行为1至(Mx/2)+1且列为(My/2)+1的区域线对称的方式复制。

然后，OTF重构单元322把针对一半区域生成的重构的OTF的实部(122-1-2)划分成行为1至(Mx/2)并且列为1至My的区域和行为(Mx/2)+1并且列为1至My的区域，如实部(122-1-3)中所示。然后，OTF重构单元322把行为1至(Mx/2)并且列为1至My的区域相对于行为(Mx/2)+1并且列为1至My的区域以线对称的方式复制到行为(Mx/2)+2至Mx并且列为1至My的区域上。

接下来描述生成重构的OTF的虚部的方法。虽然虚部可以用与实部相同的方法生成，但是虚部(122-2-3)需要在符号翻转的情况下生成。因为OTF的实部和虚部的特性，所以可以采用这样的生成方法。

图22示出了重构的OTF的部分，用于详细说明重构的OTF的Nyquist频率与抽头数之间的关系。如上所述，Nyquist频率是由图像传感器311的空间分辨率确定的参数，而抽头数是取决于图像拾取镜头312的PSF的参数。这两个参数可与系数一起使用以便生成期望的重构的OTF。

在图22中，Nyquist频率满足f_nyq1>f_nyq2，并且抽头数满足N>M1>M2。如图22所示，Nyquist频率和抽头数可以被控制成期望的值。

因此，与图像传感器311和图像拾取镜头312的组合对应的OTF以及图像拾取条件被作为系数数据存储在图像处理设备320中，这使得能够进行与图像拾取时的图像拾取条件相对应的图像处理。

如图15A至15E所示，图像的整个区域可以使用少量的系数数据用合适的抽头数进行校正，并因此可以减少保存的数据的量。

图23示出本实施例的修改例。图23中的步骤S401至S405与图14中的步骤S101至S105相同，并因此将省略对其的描述。例如，直到步骤S405的处理如图15B中所示那样在输入图像的一个象限内二维地布置OTF。

与图像拾取光学系统的传递函数不同，该修改例描述了不具有旋转对称性的传递函数(在下文中，称为旋转非对称的传递函数)，如光学低通滤波器或像素开口形状的传递函数。

在步骤S406处，计算机向在图15B中所示的状态中的每个OTF施加旋转非对称的传递函数。然后，在步骤S407至S411处，计算机提供与图14中的步骤S106至S110相同的处理，以便获取通过使输入图像锐化而获得的经校正的图像。

在图15B中，在图像的象限内二维地布置OTF。但是，根据传递函数的对称特性，在施加旋转非对称的传递函数之前，OTF可以布置在例如图像的整个区域上。

[实施例5]

图24示出了根据本发明实施例5的图像拾取设备的配置。图像拾取设备安装有执行对作为输入图像的图像进行锐化的图像处理的图像处理程序。该图像处理由包括在设置在图像拾取设备内的图像处理器(图像处理设备)404中的计算机(处理器)按照图像处理程序执行。

图像拾取光学系统401把来自物体(未示出)的光成像到图像传感器402上。图像拾取光学系统401中的孔径光阑401a使其开口直径由其可变的光圈值控制。聚焦透镜401b使其位置由自动聚焦(AF)机构或手动聚焦机构(未示出)改变，以便响应于物距进行聚焦。图像拾取光学系统401可以插入诸如低通滤波器或红外截止滤波器的光学元件。当生成点扩散函数时，需要考虑诸如低通滤波器之类的元件对图像拾取光学系统401的OTF的特性的影响。当使用旋转非对称的传递函数时，如参照图23所述的那样，在重构OTF之后施加旋转非对称的传递函数。旋转非对称的传递函数是例如表示光学低通滤波器和像素开口形状的函数。

图像传感器402对物体图像进行光电转换并且输出模拟电信号。该模拟电信号由A/D转换器403转换成数字信号，并且数字信号被输入到图像处理器404。

图像处理器404向数字图像提供预定的处理以便生成图像，并且该图像作为输入图像被提供锐化处理。具体地说，图像处理器404从状态检测器407获取诸如图像拾取时的光圈值、物距以及变焦透镜的焦距之类的图像拾取条件信息。状态检测器407可以直接从系统控制器410获取图像拾取条件信息，或者可以从图像拾取光学系统控制器406获取关于例如图像拾取光学系统401的图像拾取条件信息。

然后，图像处理器404提供用图14或图23中的流程图描述的图像处理，以便使输入图像锐化。为了提供该处理，如图25中所示，图像处理器404包括光学传递函数选择器4041、光学传递函数重构器4042、点扩散函数生成器4043、校正信号生成器4044和信号相加法器4045。这些部件执行图14和图23中的光学传递函数选择步骤、光学传递函数重构步骤、点扩散函数生成步骤、校正信号生成步骤和信号相加步骤。

如图24中所示，图像拾取设备包括存储用于生成重构的OTF的系数数据的记录器408。

由图像处理器404生成的经校正的图像(输出图像)以预定格式存储在图像记录介质409中。在显示器405上显示经校正的图像。

这一系列处理由系统控制器410控制。图像拾取光学系统401的机械驱动由受系统控制器410指示的图像拾取光学系统控制器406控制。

在本实施例中，图像拾取光学系统401构成了图像拾取设备，但是可以从包括图像传感器的图像拾取设备(镜头可互换的照相机主体)上拆卸。当采用镜头可互换的照相机时，系数数据可以从镜头内的存储器传送到照相机主体并且存储在那里。如上所述可以在图像传感器的各种Nyquist频率和照相机本体中的光学低通滤波器的特性之间共同使用系数数据，并且因此可以减少要处理的系数数据的量。

根据实施例4和5，与图像拾取条件和图像高度相对应的点扩散函数用作反锐化掩模，从而可以向输入图像提供令人满意的(高度精确的)锐化处理。另外，根据本发明的每个实施例，因为光学传递函数在被转换成实空间内的点扩散函数之前被二维地布置在输入图像上，所以在被二维地布置之前，光学传递函数可以在具有不同像素间距的多个图像拾取设备之间共享。这可以减少需要预先存储的光学传递函数的数据量。

其他实施例

本发明的实施例也可以由系统或设备的计算机实现，所述系统或设备的计算机读出并执行记录在存储介质(例如，非暂时性计算机可读存储介质)上的计算机可执行指令以执行本发明的上述实施例中的一个或更多个实施例的功能，以及由系统或设备的计算机通过例如从存储介质读出和执行计算机可执行指令来执行上述实施例中的一个或更多个实施例的功能而执行的方法实现。计算机可以包括中央处理器(CPU)、微处理器(MPU)或其他电路中的一个或更多个，并且可以包括单独的计算机或单独的计算机处理器的网络。例如可以从网络或存储介质向计算机提供计算机可执行指令。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光碟(如光盘(CD)、数字多功能光盘(DVD)或蓝光光盘(BD)^TM)、闪存装置、存储卡等中的一个或更多个。

虽然已经参照示例性实施例描述了本发明，但应理解本发明不限于公开的示例性实施例。所附权利要求的范围应被赋予最宽泛的解释，以便包含所有这样的修改以及等同的结构和功能。

Claims (36)

1.一种图像处理设备，包括：

获取单元，被配置为获取通过经由光学系统进行的图像拾取而生成的图像；以及

处理器，被配置为通过使用滤波器向所述图像提供反锐化掩模处理，所述滤波器基于与光学系统的图像拾取条件相对应的光学系统的点扩散函数的信息生成，

其特征在于所述滤波器具有二维数据。

2.根据权利要求1所述的图像处理设备，其特征在于所述处理器包括：

生成器，被配置为通过计算在所述图像和通过向通过经由光学系统进行的图像拾取而生成的图像施加滤波器获得的图像之间的差来生成校正信号；以及

锐化器，被配置为通过把由生成器生成的校正信号乘以常数并且通过使相乘过的校正信号与所述图像相加，或者通过用取决于所述图像中的位置的调整系数调整由生成器生成的校正信号并且使经调整的校正信号与所述图像相加，来使所述图像锐化。

3.根据权利要求1所述的图像处理设备，其特征在于所述处理器包括：

生成器，被配置为通过使所述图像和基于与在光学系统的图像拾取条件相对应的光学系统的点扩散函数和理想点图像之间的差信息而生成的滤波器进行卷积来生成校正信号；以及

锐化器，被配置为通过把由生成器生成的校正信号乘以常数并且通过使相乘过的校正信号与所述图像相加，或者通过用取决于所述图像中的位置的调整系数调整由生成器生成的校正信号并且通过使经调整的校正信号与所述图像相加，来使所述图像锐化。

4.根据权利要求1所述的图像处理设备，其特征在于所述处理器包括：

生成器，被配置为通过把在与光学系统的图像拾取条件相对应的光学系统的点扩散函数和理想点图像之间的差信息乘以常数并且通过使相乘过的差信息与理想点图像相加，或者通过用取决于所述图像中的位置的调整系数调整在与光学系统的图像拾取条件相对应的光学系统的点扩散函数和理想点图像之间的差信息并且通过使经调整的差信息与理想点图像相加，来生成滤波器；以及

锐化器，被配置为使所述图像通过与由生成器生成的滤波器进行卷积来进行锐化。

5.根据权利要求1所述的图像处理设备，其特征在于所述处理器包括：

生成器，被配置为基于理想点图像和1与常数之和的乘积以及该常数和与光学系统的图像拾取条件相对应的光学系统的点扩散函数的乘积，或者基于在用取决于所述图像中的位置的调整系数调整的理想点图像和用所述调整系数调整的与光学系统的图像拾取条件相对应的光学系统的点扩散函数之间的差信息，来生成滤波器；以及

锐化器，被配置为使所述图像通过与由生成器生成的滤波器进行卷积来进行锐化。

6.根据权利要求1所述的图像处理设备，还包括获取单元，所述获取单元被配置为基于光学系统的图像拾取条件来获取光学系统的点扩散函数的信息。

7.根据权利要求1至6中任一项所述的图像处理设备，其特征在于图像拾取条件包括图像高度、焦距、F数和物距中的至少一个。

8.一种图像拾取设备，包括：

图像传感器，被配置为对通过光学系统形成的物体的光学图像进行光电转换；

图像处理器，被配置为处理从图像传感器获得的图像；以及

记录器，被配置为存储光学系统的图像拾取条件和光学系统的点扩散函数之间的关系，

其特征在于，图像处理器从记录器获取与光学系统的图像拾取条件相对应的光学系统的点扩散函数的信息，并且通过使用基于光学系统的点扩散函数的信息生成的滤波器向所述图像提供反锐化掩模处理，并且所述滤波器具有二维数据。

9.根据权利要求8所述的图像拾取设备，其特征在于所述图像处理器包括：

获取单元，被配置为基于光学系统的图像拾取条件从记录器获取光学系统的点扩散函数的信息；

生成器，被配置为通过计算所述图像与通过向从图像传感器获得的图像施加所述滤波器获得的图像之间的差来生成校正信号；以及

锐化器，被配置为通过把由生成器生成的校正信号乘以常数并且通过使相乘过的校正信号与所述图像相加，或者通过用取决于所述图像中的位置的调整系数调整由生成器生成的校正信号并且通过使经调整的校正信号与所述图像相加，来使所述图像锐化。

10.根据权利要求8所述的图像拾取设备，其特征在于所述图像处理器包括：

获取单元，被配置为基于光学系统的图像拾取条件从记录器获取光学系统的点扩散函数的信息；

生成器，被配置为通过用基于光学系统的点扩散函数和理想点图像之间的差信息生成的滤波器对所述图像进行卷积来生成校正信号；以及

锐化器，被配置为通过把由生成器生成的校正信号乘以常数并且通过使相乘过的校正信号与所述图像相加，或者通过用取决于所述图像中的位置的调整系数调整由生成器生成的校正信号并且通过使经调整的校正信号与所述图像相加，来使所述图像锐化。

11.根据权利要求8所述的图像拾取设备，其特征在于所述图像处理器包括：

获取单元，被配置为基于光学系统的图像拾取条件从记录器获取光学系统的点扩散函数的信息；

生成器，被配置为通过把光学系统的点扩散函数和理想点图像之间的差信息乘以常数并且通过使相乘过的差信息与理想点图像相加，或者通过用取决于所述图像中的位置的调整系数调整光学系统的点扩散函数和理想点图像之间的差信息并且通过使经调整的差信息与理想点图像相加，来生成滤波器；以及

锐化器，被配置为使所述图像通过与由生成器生成的滤波器进行卷积来进行锐化。

12.根据权利要求8所述的图像拾取设备，其特征在于所述图像处理包括：

获取单元，被配置为基于光学系统的图像拾取条件从记录器获取光学系统的点扩散函数的信息；

生成器，被配置为基于理想点图像和1与常数之和的乘积和光学系统的点扩散函数之间的差信息，或者基于用取决于所述图像中的位置的调整系数调整的理想点图像和用所述调整系数调整的光学系统的点扩散函数之间的差信息，来生成滤波器；以及

锐化器，被配置为使所述图像通过与由生成器生成的滤波器进行卷积来进行锐化。

13.根据权利要求8至12中任一项所述的图像拾取设备，其特征在于所述图像拾取设备还包括光学系统。

14.一种图像处理方法，包括以下步骤：

获取通过经由光学系统进行的图像拾取而生成的图像；以及

通过使用基于与光学系统的图像拾取条件相对应的光学系统的点扩散函数的信息生成的滤波器向所述图像提供反锐化掩模处理，

其特征在于所述滤波器具有二维数据。

15.根据权利要求14所述的图像处理方法，其特征在于提供反锐化掩模处理的步骤包括：

获取与光学系统的图像拾取条件相对应的光学系统的点扩散函数的信息；

通过计算所述图像与通过向通过经由光学系统进行的图像拾取而生成的图像施加所述滤波器获得的图像之间的差来生成校正信号；以及

通过把在生成步骤生成的校正信号乘以常数并且通过使相乘过的校正信号与所述图像相加，或者通过用取决于所述图像中的位置的调整系数调整在生成步骤生成的校正信号并且通过使经调整的校正信号与所述图像相加，来使所述图像锐化。

16.根据权利要求14所述的图像处理方法，其特征在于提供反锐化掩模处理的步骤包括：

获取与光学系统的图像拾取条件相对应的光学系统的点扩散函数的信息；

通过用基于光学系统的点扩散函数和理想点图像之间的差信息生成的滤波器对所述图像进行卷积来生成校正信号；以及

通过把在生成步骤生成的校正信号乘以常数并且通过使相乘过的校正信号与所述图像相加，或者通过用取决于所述图像中的位置的调整系数调整在生成步骤生成的校正信号并且使经调整的校正信号与所述图像相加，来使所述图像锐化。

17.根据权利要求14所述的图像处理方法，其特征在于提供反锐化掩模处理的步骤包括：

获取与光学系统的图像拾取条件相对应的光学系统的点扩散函数的信息；

通过把光学系统的点扩散函数和理想点图像之间的差信息乘以常数并且通过使相乘过的差信息与理想点图像相加，或者通过用取决于所述图像中的位置的调整系数调整光学系统的点扩散函数和理想点图像之间的差信息并且使经调整的差信息与理想点图像相加，来生成滤波器；以及

锐化器，被配置为使所述图像通过与在生成步骤生成的滤波器进行卷积来进行锐化。

18.根据权利要求14所述的图像处理方法，其特征在于提供反锐化掩模处理的步骤包括：

获取与光学系统的图像拾取条件相对应的光学系统的点扩散函数的信息；

基于在理想点图像和1与常数之和的乘积和光学系统的点扩散函数之间的差信息，或者基于在用取决于所述图像中的位置的调整系数调整的理想点图像和用所述调整系数调整的光学系统的点扩散函数之间的差信息，来生成滤波器；以及

使所述图像通过与在生成步骤生成的滤波器进行卷积来进行锐化。

19.根据权利要求14至18中任一项所述的图像处理方法，其特征在于针对构成所述图像的多个颜色分量中的每一个颜色分量或一个颜色分量提供锐化。

20.根据权利要求14至18中任一项所述的图像处理方法，其特征在于所述图像是针对每个颜色分量离散地且规则地排列的图像数据，并且向针对校正目标颜色分量进行内插的图像提供获取步骤和锐化步骤。

21.根据权利要求14至18中任一项所述的图像处理方法，其特征在于

获取步骤针对所述图像中设置的多个区域中的每一个区域获取用于至少两个图像高度的点扩散函数，

图像处理方法还包括用从与所述图像中的多个区域相对应的点扩散函数中获得的多个图像数据来执行图像高度方向上的内插处理以便生成一个图像数据的内插步骤，以及

生成步骤基于在内插步骤生成的所述一个图像数据来生成校正信号。

22.根据权利要求14至18中任一项所述的图像处理方法，其特征在于

获取步骤针对所述图像中设置的多个区域中的每一个区域获取用于至少两个图像高度的点扩散函数，

生成步骤基于多个点扩散函数来生成多个校正信号，

图像处理方法还包括用校正信号执行图像高度方向上的内插处理以便生成一个校正信号的内插步骤，以及

锐化步骤通过应用所述一个校正信号来使所述图像锐化。

23.根据权利要求14至18中任一项所述的图像处理方法，其特征在于

获取步骤针对所述图像中设置的多个区域中的每一个区域获取用于至少两个图像高度的点扩散函数，

生成步骤基于多个点扩散函数来生成多个校正信号，

锐化步骤通过向所述图像施加校正信号来获取多个经锐化的图像，以及

图像处理方法还包括对所述经锐化的图像执行图像高度方向上的内插处理以便生成一个经锐化的图像的内插步骤。

24.一种图像处理方法，包括以下步骤：

获取通过经由光学系统进行的图像拾取而生成的图像；

选择特定图像高度方向上的多个光学传递函数，所述光学传递函数取决于所述图像的图像拾取条件和相对于参考位置的图像高度；

围绕参考位置旋转光学传递函数，并提供适合于像素阵列的内插以便在所述图像上二维地布置光学传递函数；

基于这样二维地布置的光学传递函数来针对所述图像中的每个位置生成点扩散函数；

基于点扩散函数来生成在滤波器平面中具有旋转非对称系数的滤波器；

通过向所述图像施加滤波器来生成校正信号；以及

基于校正信号和所述图像来向所述图像提供锐化处理。

25.根据权利要求24所述的图像处理方法，其中评价经二维地布置的光学传递函数的傅里叶变换，以便生成点扩散函数。

26.根据权利要求24所述的图像处理方法，其中点扩散函数被用作滤波器，以便基于所述图像和通过使所述图像与滤波器卷积而获得的信号之间的差来生成校正信号。

27.根据权利要求24所述的图像处理方法，其中在锐化处理中校正信号乘以常数并加到所述图像上或从所述图像中减去。

28.根据权利要求24所述的图像处理方法，其中在锐化处理中校正信号被用取决于所述图像中的位置的调整系数调整并且加到所述图像上或从所述图像中减去。

29.根据权利要求24所述的图像处理方法，

其中与所述图像中的多个特定的离散位置相对应的光学传递函数被计算作为通过在特定图像高度方向上光学传递函数的旋转和内插而被二维地布置的光学传递函数；

其中通过基于二维地布置的光学传递函数生成与特定位置相对应的点扩散函数并且通过基于点扩散函数经过内插计算与不同于所述特定位置的多个位置相对应的点扩散函数，来生成与所述图像的整个区域中的每个位置相对应的点扩散函数，

其中基于点扩散函数向所述图像提供锐化处理。

30.根据权利要求24所述的图像处理方法，其中向二维地布置的光学传递函数中的每一个施加关于参考位置旋转非对称的传递函数。

31.根据权利要求30所述的图像处理方法，其中旋转非对称的传递函数代表光学低通滤波器或像素开口形状。

32.根据权利要求24所述的图像处理方法，其中通过基于图像拾取条件和图像高度选择光学传递函数的系数，来选择特定图像高度方向上的光学传递函数。

33.根据权利要求32所述的图像处理方法，

其中光学传递函数具有实部和虚部，

其中所述系数是实部和虚部中的每一个的系数。

34.根据权利要求32或33所述的图像处理方法，

其中基于图像拾取条件和图像高度选择的所述系数是光学传递函数的域的一部分中的系数，并且

其中通过在所述域上布置这样选择的系数来针对域的全部获得系数。

35.一种图像处理设备，被配置为向通过经由光学系统进行的图像拾取而生成的图像提供图像处理，该图像处理设备包括处理器，所述处理器被配置为在图像处理中：

根据所述图像的图像拾取条件和相对于参考位置的图像高度，选择特定图像高度方向上的多个光学传递函数；

围绕参考位置旋转光学传递函数，并提供适合于像素阵列的内插以便在所述图像上二维地布置光学传递函数；

基于二维地布置的光学传递函数来针对图像中的每个位置生成点扩散函数；

基于点扩散函数来生成在滤波器平面中具有旋转非对称系数的滤波器；

通过向所述图像施加滤波器来生成校正信号；以及

基于校正信号和所述图像来向所述图像来提供锐化处理。

36.一种图像拾取设备，包括：

图像拾取系统，被配置为通过经由光学系统进行的图像拾取来生成图像；以及

根据权利要求35所述的图像处理设备，被配置为获取所述图像并向所述图像提供图像处理。