CN102844788B - 图像处理装置及使用该图像处理装置的图像拾取装置 - Google Patents

Abstract

目的是获得具有减小的色差以及改进的锐度的图像。本发明的图像处理装置包括：图像获取装置，被配置为获取输入图像；以及图像恢复处理装置，被配置为通过计算输入图像和基于被用于形成作为输入图像的被摄物图像的图像拾取系统的传递函数的图像恢复滤波器来生成恢复图像，其中所述图像恢复滤波器执行恢复以使得当被摄物是白色点光源时，使恢复图像中的两个颜色分量的光谱之差小于所述输入图像中的两个颜色分量的光谱之差。

Description

图像处理装置及使用该图像处理装置的图像拾取装置

技术领域

本发明是涉及执行图像处理的图像处理装置的发明，更具体地涉及执行图像恢复(复原)的图像处理装置。

背景技术

通过图像拾取装置(如数字摄像机)获取的图像由于模糊而质量降级。模糊的图像是由图像拾取光学系统的球面像差、彗形像差、像场弯曲、散光等引起的。上述像差可以通过点扩散函数(PSF，PointSpreadFunction)表示。可以通过对点扩散函数(下文中称为PSF)的傅里叶变换获得的光学传递函数(OTF，OpticTransferFunction)在频率空间中表示关于像差的信息。光学传递函数(下文中称为OTF)可以用复数表示。OTF的绝对值，即幅度分量，被称作MTF(调制传递函数)，相位分量被称作PTF(相位传递函数)。此处，相位分量被使用下面的等式1表示为相位角。Re(OTF)和Im(OTF)分别是OTF的实部和虚部。

PTF=tan-1(Im(OTF)/Re(OTF))

以这种方式，图像拾取光学系统的光学传递函数引起图像的幅度分量和相位分量的降级，因此在降级的图像中，被摄物的每个点被不对称地模糊，如同彗形像差那样。此外，由于根据图像拾取装置的光谱特性获取光波长之间的成像倍率的差异引起的偏移的图像形成位置，作为例如RGB颜色分量，导致倍率色差。因此，图像扩展不仅由R、G和B之间的图像形成位置的偏移引起，还由在每种颜色分量内从一个波长到另一个波长的图像形成位置的偏移(即相位偏移)引起。因此，当沿垂直于主光线(传播通过图像拾取光学系统的光瞳中心的光线)的每个方向(方位角方向)的一维横截面查看点扩散函数时，相位分量的像差诱导降级(相位降级分量)引起点扩散函数的不对称。此外，幅度分量的降级(幅度降级分量)对每个方位角方向上的PSF扩散尺寸有影响。

因此，为了精确地校正由使用图像处理的图像拾取光学系统引起的图像降级，必需校正像差引起的相位降级分量以及幅度降级分量。

此外，一种已知的用于校正幅度降级分量和相位降级分量的方法是使用关于图像拾取光学系统的光学传递函数(OTF)的信息来执行校正。该方法被称作图像恢复或者图像复原，使用关于光学传递函数的信息来校正(减小)图像的降级分量的处理在下文中称作图像恢复处理。

下文将描述图像恢复处理的概述。

当降级图像用g(x,y)表示，原始图像用f(x,y)表示，以及用于获取g(x,y)的图像拾取光学系统的点扩散函数(PSF)用h(x,y)表示时，下面的等式成立，其中*表示卷积(卷积积分，积的和)，(x,y)表示图像在实际空间中的坐标。

(等式1)

g(x,y)=h(x,y)*f(x,y)

将等式1的傅里叶变换转换成频率空间中的显示格式产生等式2的表达式。

(等式2)

G(u,v)=H(u,v)·F(u,v)

这里，H(u,v)是作为点扩散函数(PSF)h(x,y)的傅里叶变换的光学传递函数(OTF)。G(u,v)和F(u,v)分别是g(x,y)和f(x,y)的傅里叶变换。(u,v)代表二维频率空间中的频率(坐标)。初始图像(原始图像)可以通过将等式2的两端除以H(u,v)而从降级的图像获得。

(等式3)

G(u,v)/H(u,v)=F(u,v)

通过将F(u,v)、即G(u,v)/H(u,v)的傅里叶逆变换返回到实际空间，可以获得原始图像f(x,y)作为恢复图像。

通过对等式3两端取傅里叶逆变换，等式3表达成等式4。

(等式4)

g(x,y)*R(x,y)=f(x,y)

这里，傅里叶逆变换1/H(u,v)表示成R(x,y)。R(x,y)是图像恢复滤波器。

因为图像恢复滤波器基于光学传递函数(OTF)，所以可以校正幅度分量和相位分量的降级。

一种能够控制噪声放大的维纳(Wiener)滤波器被称作图像恢复滤波器。维纳滤波器是这样的图像恢复滤波器:根据输入信号(图像信号)相对于噪声信号的强度比率(SNR，声音噪声比率)来改变恢复程度以便减小输入图像中的噪声。

此外，PTL1公开了以下图像恢复滤波器：该图像恢复滤波器是其中图像恢复滤波器具有调节系数α的应用维纳滤波器。通过调节该参数α，图像恢复滤波器能够在以下范围内改变图像的恢复程度：从原样输出输入图像的滤波器(不应用到输入图像的滤波器)到最大地执行图像恢复的滤波器(逆滤波器)。

此外，PTL2公开了作为用于校正相位降级的方法的边缘增强处理，其中检测图像的边缘部分并增强边缘。

引文列表

专利文献

PTL1:日本专利公开No.2007-183842

PTL2:日本专利公开No.2000-156816

发明内容

技术问题

然而，为了使用图像恢复滤波器精确地校正(恢复)由图像拾取光学系统引起的图像降级，必需校正幅度分量和相位分量的像差(提高锐度)。附加地，还必需减小颜色分量之间的PSF差异以校正色差(chromaticaberration)。

以上描述的维纳滤波器或者PTL1中公开的图像恢复滤波器能够校正(恢复)降级图像的幅度分量和相位分量。然而，因为没考虑模糊如何取决于颜色分量而不同呈现(差异)，所以即使已经执行图像恢复处理，在恢复图像中可能仍残留彩色边纹(colorfringing)，或者彩色边纹可能增加。

将参考图18具体地描述上述问题。在图18中，虚线(a)和实线(b)指示恢复之前的两个颜色分量的MTF。虚线(c)和实线(d)指示恢复之后的分别用(a)和(b)表示的颜色分量的MTF。使用维纳滤波器执行的恢复处理使得恢复之后的两个颜色分量的MTF(c)和(d)之间的差大于恢复之前的两个颜色分量的MTF(a)和(b)之间的差。由于恢复之后的MTF(c)和(d)高于MTF(a)和(b)，所以图像的锐度提高。然而，表现为图像中的彩色边纹(色差)的在颜色分量之间的MTF的差增大。

因此，本发明的一个目的是提供能够在提高图像锐度的同时减小色差的图像处理装置。

问题的解决方案

为了解决上述目的，本发明提供了一种图像处理装置，其包括：

图像获取装置，被配置为获取输入图像；以及

图像恢复处理装置，被配置为通过计算输入图像和图像恢复滤波器来生成恢复图像，图像恢复滤波器基于被用于形成作为输入图像的被摄物图像的图像拾取系统的传递函数，

其中，图像恢复滤波器执行恢复以使得：当被摄物是白色点光源时，使恢复图像中的两个颜色分量的光谱之差比输入图像中的两个颜色分量的光谱之差小。

发明的有益效果

可以获得具有减小的色差以及提高的锐度的图像。

附图说明

【图1】图1是说明图像恢复处理的图。

【图2A】图2A是说明图像恢复滤波器的图。

【图2B】图2B是说明图像恢复滤波器的图。

【图3】图3是说明使各个颜色分量的MTF之间的差匹配的情况下的图。

【图4】图4是说明在各个颜色分量的MTF之间的差减小的情况下的图。

【图5】图5是图示包括图像处理装置的图像拾取装置的配置的框图。

【图6】图6是说明图像恢复滤波器的选择和校正的图。

【图7】图7是在示例实施例1中的图像处理的流程图。

【图8】图8是图示图像处理前后MTF的变化的图。

【图9】图9是说明边缘增强滤波器的图。

【图10A】图10A是使用边缘增强滤波器时的边缘截面图。

【图10B】图10B是使用边缘增强滤波器时的边缘截面图。

【图10C】图10C是使用边缘增强滤波器时的边缘截面图。

【图11】图11是说明示例实施例2中的图像处理流程的图。

【图12】图12是直到图像恢复步骤前的流程图。

【图13】图13是设定调节参数的流程图。

【图14】图14是整个图像处理的流程图。

【图15】图15是说明示例实施例3中的图像处理流程的图。

【图16A】图16A是说明图像处理系统的图。

【图16B】图16B是说明图像处理系统的图。

【图17】图17是说明校正信息集合的图。

【图18】图18是说明常规图像恢复的图。

具体实施方式

在描述具体示例实施例之前，首先将参考图1描述本发明的图像处理流程的概述。

首先，在步骤S11中的图像获取步骤中，获取输入图像。然后，在步骤S12中，获取在步骤S11中获取的输入图像的图像拾取条件。然后，在步骤S13中，从存储器中选择对应于图像拾取条件的图像恢复滤波器。如果图像拾取条件不同于存储器中预先准备的图像拾取条件，则也可以适当地校正和使用图像拾取条件。然后，在步骤S14的图像恢复处理步骤中，使用在步骤S13中的图像恢复滤波器执行图像恢复处理。然后，输出在步骤S14中校正的校正图像作为输出图像。步骤S13中使用的图像恢复滤波器是基于图像拾取光学系统(图像拾取系统)的光学传递函数(OTF)和色差校正系数而生成的。

注意，可以在图1示出的处理之前、之后或者当中插入倍率色差校正、失真像差校正以及环境光量校正等的电子像差校正和诸如去马赛克、伽马转换以及图像压缩等的处理。然后，将更详细地说明图1中示出的每个处理。

【图像获取步骤】

在步骤S11中的图像获取步骤中获取的图像(下文中，称为输入图像)是使用图像拾取元件经由图像拾取光学系统拾取图像而获得的数字图像，并且已经被由包括透镜和各种光学滤波器在内的图像拾取系统的像差引起的光学传递函数(OTF)所降级。除了透镜之外，图像拾取光学系统还可以包括具有曲率的镜面(反射表面)。

此外，输入图像用颜色空间表示。颜色空间的代表示例包括RGB，并且，除了RGB，还包括表示明度、色调和色度的LCH，表示灰度和色差信号的YCbCr。其它颜色空间是XYZ、Lab、Yuv、JCh以及色温。由以上通常可获得的颜色空间中的任一个表示的值可以用作本发明中的颜色分量。

输入图像也可以是马赛克图像，马赛克图像的每个像素具有一个颜色分量的信号值；或者是去马赛克图像，去马赛克图像的每个像素具有通过对马赛克图像执行颜色插值处理(去马赛克处理)而获得的多个颜色分量的信号值。马赛克图像是在执行图像处理（诸如颜色插值处理(去马赛克处理)、伽马转换、或者基于JPEG等的图像压缩等）之前获得的图像，并且也称为RAW图像。例如，如果使用单板(single-plate)图像拾取元件获取关于多个颜色分量的信息，则为每个像素提供具有不同光谱透射度的颜色滤波器以获取每个像素都具有一个颜色分量的信号值的马赛克图像。通过对马赛克图像执行颜色插值处理，可以获得每个像素都具有多个颜色分量的信号值的图像。此外，如果使用多板(multi-plate)、三板图像拾取元件，则为每个图像拾取元件提供具有不同的光谱透射度的颜色滤波器以获取具有从一个图像拾取元件到另一个图像拾取元件不同的颜色分量的图像信号值的去马赛克图像。在此情况下，每个图像拾取元件具有针对对应像素的单个颜色分量的信号值。因此，可以获取每个像素具有多个颜色分量的信号值的图像，而不特别执行颜色插值处理。

此外，输入图像可以伴随用于校正输入图像的各种校正信息。校正信息包括关于诸如透镜焦距(变焦位置)、光圈值、摄影距离(聚焦距离)、曝光时间以及ISO感光度等的图像拾取条件的信息(图像拾取条件信息)。如果使用单个图像拾取装置执行从拾取图像到输出图像的一系列处理，则即使图像拾取条件信息或者校正信息不伴随输入图像，也能在装置中被获取。然而，如果从图像拾取装置获取RAW图像，并由不同于图像拾取装置的图像处理装置执行图像恢复处理、显影处理等，如上所述，则优选校正信息伴随该图像。然而，这并非穷举，其中图像处理装置预先存储校正信息以使得可以根据被输入图像伴随的图像拾取条件信息中选择校正信息的系统未必需要图像伴随有校正信息。

尽管输入图像已经被描述为经由图像拾取光学系统使用图像拾取元件拾取图像而获取的数字图像，输入图像也可以是由不包括图像拾取光学系统的图像拾取系统获取的数字图像。例如，可以使用通过不具有图像拾取光学系统（如透镜）的图像拾取装置（比如在使图像拾取元件紧密接触被摄物表面的同时拾取图像的扫描仪(读取装置)或者X射线图像拾取装置）获取的图像。如上所述的通过基于不使用图像拾取光学系统的图像拾取元件的图像采样所生成的图像在某种程度上被降级。在此情况下，降级特性不是由于图像拾取光学系统的光学传递函数(狭义上的光学传递函数)而是由于图像拾取系统的系统传递函数，并且该系统传递函数可以等同于光学传递函数。或者，双折射光学低通滤波器被配置为针对光学传递函数的频率特性减小高频分量，该特性可以被包括在光学传递函数中。此外，图像拾取元件的像素孔径形状或者孔径比率也对频率特性有影响。可以包括在光学传递函数中的其他特性包括光源的光谱特性和各种波长滤波器的光谱特性。优选地，图像恢复滤波器基于包括上述特性的广义上的光学传递函数而被创建。因此，在本发明的示例实施例中所使用的术语“光学传递函数”是包括这样的图像拾取光学系统和不包括图像拾取光学系统的系统的系统传递函数的广义上的光学传递函数。作为广义上的光学传递函数的主体的系统在下文中称作图像拾取系统。

(图像恢复滤波器生成步骤)

接着，将参考图2A和2B描述在步骤S13中使用的图像恢复滤波器的生成。图2A是图像恢复滤波器的示意图，其中对实际空间中的输入图像的像素执行卷积处理。图像恢复滤波器的抽头(单元)的数量可以根据图像拾取系统的像差特性或者所要求的恢复精度来确定。对于二维图像，通常使用具有与图像的各个像素相对应的抽头数量的二维图像恢复滤波器。图2A通过举例方式示例了具有11×11个抽头的二维图像恢复滤波器。此外，一般地，图像恢复滤波器的抽头数量越大，恢复精度越高。因此，根据所要求的图像质量、图像处理性能、像差特性等设定抽头数量。

图2A未示出每个抽头的值。图2B示出图像恢复滤波器的一个截面。图像恢复滤波器的各个抽头中的值(系数值)的分布实现以下作用：在卷积处理中理想地把由像差引起的空间扩散信号值返回到初始的一点。

为了生成上述图像恢复滤波器，首先，计算或者测量图像拾取系统的光学传递函数。如果降级的图像是通过不具有图像拾取光学系统的图像拾取系统获取的图像，则系统传递函数可以用作光学传递函数。

然后，在获取了光学传递函数之后，基于光学传递函数的倒数把逆傅里叶变换施加到该函数以生成图像恢复滤波器。光学传递函数的倒数(下文中缩写为OTF)称作逆滤波器。

如果点光源被认为是被摄物，则通过图像拾取系统获取的图像的频率特性用OTF本身来表示。因此，恢复图像的频率特性可以通过将输入图像(降级的图像)的频率特性乘以图像恢复滤波器的频率特性来获得。

等式5给出表示图像恢复滤波器的频率特性的等式。在等式5中，恢复图像的频率特性用[rOTF]部分表示。

[数学式1]

(等式5)

$M(u,v)=\frac{1}{H(u,v)}\left[\mathrm{rOTF}\right]$

此处，M(u,v)表示图像恢复滤波器的频率特性，H(u,v)表示输入图像(降级的图像)的频率特性(OTF)，[rOTF]表示白色点光源的拍摄图像的恢复出的频率特性。也就是说，图像恢复滤波器基于图像拾取系统的两个颜色分量的传递函数(1/H(u,v))和校正传递函数([rOTF])而生成，该校正传递函数([rOTF])被校正以使得两个颜色分量的MTF(OTF的绝对值)之间的差可以减小。换句话说，该示例实施例中的图像恢复滤波器被构造为使得当根据被摄物获得恢复图像时获得的两个颜色分量的传递函数的绝对值之差可以小于图像拾取系统的两个颜色分量的传递函数的绝对值之差。MTF是图像拾取系统的传递函数(图像拾取光学系统的光学传递函数)的绝对值(幅度分量)，但是如果被摄物是白色点光源则MTF也可以认为是图像的光谱。

此外，被配置为使得等式5中的[rOTF]部分使得各颜色分量之间的差减小的图像恢复滤波器具有色差校正功能。

此外，由于恢复图像的相位降级量期望地为零，所以更优选地rOTF不具有相位分量。也就是说，rOTF被设定成仅有实部的函数，并且被使得基本上等于MTF。不过，在rOTF中，虚部可以具有可允许范围内的值。

使用等式5中给出的图像恢复滤波器，经由其中光学传递函数(OTF)具有rOTF特性(点光源的拍摄图像的恢复出的频率特性)的图像拾取系统，可以不仅获取点光源而且可以获取任何被摄物。附加地，使用颜色分量共用的OTF(rH(u,v))，可以获得使用在颜色分量之间没有MTF差异的图像拾取系统拍摄的图像。

等式6给出具有色差校正功能的更具体的图像恢复滤波器的频率特性的例子。

[数学式2]

(等式6)

$M(u,v)=\frac{1}{H(u,v)}\frac{{|rH(u,v)|}^2}{{\left|\mathrm{rH}(u,v)\right|}^2+{\mathrm{SNR}}^2}$

在具有等式(6)中给出的色差校正功能的图像恢复滤波器M(u,v)中，右侧的|rH(u,v)|是OTF的绝对值(MTF)，并且因此相位分量消失而不管确定恢复程度的参数SNR的值如何。PSF可以被校正为对称的形状，并且此外也能够提高图像锐度。

将参考图3描述等式6中给出的图像恢复滤波器的功能。在图3中，虚线(a)和实线(b)分别指示在恢复之前第一颜色分量和第二颜色分量的MTF，虚线(c)和实线(d)分别指示在恢复之后第一颜色分量和第二颜色分量的MTF。如同图3的(a)和(b)中一样，恢复之前的图像的MTF根据颜色分量而不同，而如同在(c)和(d)中一样，恢复之后的MTF在颜色分量之间匹配(差减小)。

换句话说，该示例实施例的图像处理方法中使用的图像恢复滤波器执行恢复以使得：如果被摄物是白色点光源，则可以使恢复图像中两个颜色分量的光谱之差小于输入图像中的两个颜色分量的光谱之差。使用该图像恢复滤波器，可以在减小图像的色差的同时提高(恢复)锐度。在此，光谱之差是光谱的频率平均之差。

此外，在等式6中使用颜色分量共用的rH(u,v)；然而，可以通过针对每个颜色分量设定图像恢复滤波器的rH(u,v)来控制色差校正量，以使得恢复之后的颜色分量的MTF之间的差可以小于恢复之前的MTF之间的差。等式7给出表示上述方法的等式。

[数学式3]

(等式7)

$\left(\begin{array}{c}{\mathrm{rH}(u,v)}_R\\ {\mathrm{rH}(u,v)}_G\\ {\mathrm{rH}(u,v)}_G\end{array}\right)=\left(\begin{array}{ccc}{c}_{11}& c_{21}& c_{31}\\ c_{12}& c_{22}& c_{32}\\ c_{13}& c_{23}& c_{33}\end{array}\right)\left(\begin{array}{c}H{(u,v)}_R\\ {H(u,v)}_G\\ {H(u,v)}_B\end{array}\right)$

等式7表示用于使用色差校正系数Cnm(n,m=1,2,3)校正rH(u,v)的方法，下标R、G、B表示各个颜色分量。等式8到10表示色差校正系数的例子。

[数学式4]

(等式8)

$\left(\begin{array}{ccc}{c}_{11}& c_{21}& c_{31}\\ c_{12}& c_{22}& c_{32}\\ c_{13}& c_{23}& c_{33}\end{array}\right)=\left(\begin{array}{ccc}1/3& 1/3& 1/3\\ 1/3& 1/3& 1/3\\ 1/3& 1/3& 1/3\end{array}\right)$

(等式9)

$\left(\begin{array}{ccc}{c}_{11}& c_{21}& c_{31}\\ c_{12}& c_{22}& c_{32}\\ c_{13}& c_{23}& c_{33}\end{array}\right)=\left(\begin{array}{ccc}1/4& 1/2& 1/4\\ 1/4& 1/2& 1/4\\ 1/4& 1/2& 1/4\end{array}\right)$

(等式10)

$\left(\begin{array}{ccc}{c}_{11}& c_{21}& c_{31}\\ c_{12}& c_{22}& c_{32}\\ c_{13}& c_{23}& c_{33}\end{array}\right)=\left(\begin{array}{ccc}1/2& 1/4& 1/4\\ 1/4& 1/2& 1/4\\ 1/4& 1/4& 1/2\end{array}\right)$

在等式8的情况下，rH(u,v)R、rH(u,v)G和rH(u,v)B使得各个颜色分量的MTF的平均值是用于生成公共的图像恢复滤波器的值。

在等式9的情况下，rH(u,v)R、rH(u,v)G和rH(u,v)B使得按照50%、25%和25%的比率组合(加和)G分量、R分量和B分量而获得的值是用于生成公共的图像恢复滤波器的值。

在等式10的情况下，按照50%、25%和25%的比例组合(加和)主体颜色分量和其它两个颜色分量而获得的值是用于生成用于每种分量的图像恢复滤波器的值。在等式10中，rH(u,v)的值在颜色分量之间不同。然而，由于和其它颜色分量的混合，可以减小色差。

图4示出了当如等式10中所给出那样rH(u,v)R、rH(u,v)G和rH(u,v)B不同时，恢复之前和恢复之后MTF的变化。在图4中，虚线(a)和实线(b)分别指示在恢复之前第一颜色分量和第二颜色分量的MTF，虚线(c)和实线(d)分别指示在恢复之后第一颜色分量和第二颜色分量的MTF。尽管MTF并不像图3中的实线(c)和虚线(d)那样匹配，但颜色分量的MTF之间的差小于由图4中的虚线(a)和实线(b)指示的在恢复之前颜色分量的MTF之间的差，因此可以减小色差。更优选地，执行校正以使得代表在恢复之后第一颜色分量和第二颜色分量的MTF之差的频率平均值可以是代表在恢复之前第一颜色分量和第二颜色分量的MTF之差的频率平均值的1/2或者更小。在图4的情况下，优选地，使代表(c)和(d)之差的频率平均值是代表(a)和(b)之差的频率平均值的1/2。把在其中计算频率平均值的频率范围设置为传感器的奈奎斯特频率范围。

也就是说，使用图像恢复滤波器执行恢复以使得能够减小图像拾取系统的两个颜色分量的MTF之差。因此，能够减小色差，并可以获得具有满意质量的图像。

此外，如果输入图像由RGB颜色分量构成，则减小高相对亮度颜色分量(例如，G或R)的MTF和另一种颜色分量(例如，B)的MTF之间的差的图像恢复滤波器能够减小视觉彩色边纹。

由于等式6中给出的图像恢复滤波器的H(u,v)部分在颜色分量之间不同，所以即使rH(u,v)对于各个颜色分量是公共的，图像恢复滤波器对于每种颜色分量也具有不同的特性。

本发明的图像恢复滤波器也可以以不同于等式5的方式改进。等式5的右边由1/H(u,v)和rOTF构成，rOTF部分对于各个颜色分量可以是公共的。

(图像恢复处理步骤)

接下来，将描述一种用于使用生成的图像恢复滤波器在步骤S14中获得恢复图像的方法。

如前所述，在图像恢复步骤中，将降级的图像和图像恢复滤波器卷积以获得恢复图像。此处，对包括在图像恢复滤波器的抽头中的每个像素执行卷积(卷积积分，积的和)处理。卷积是为了改进某个像素的信号值而使像素匹配图像恢复滤波器的中心的处理。然后，针对图像和图像恢复滤波器的每个对应像素来确定图像的信号值和图像恢复滤波器的系数值的乘积，并且用中心像素的信号值替代乘积的总和。

对输入图像应用图像恢复滤波器或者执行卷积处理的优点是在图像恢复处理中在不使用图像的傅里叶变换或者逆傅立叶变换的情况下恢复图像。通常，卷积处理的负荷小于傅里叶变换的负荷。因此，能够以减小的处理负荷执行图像恢复处理。

前面已经描述了图像恢复滤波器的垂直和水平抽头的数量。然而，垂直抽头的数量和水平抽头的数量不必相同，当执行卷积时可以小心地任意改变。

此外，在本发明的图像恢复处理中，因为如果图像降级步骤是线性的则可以更精确地执行用于恢复到未被降级的原始图像的逆步骤，所以优选不对输入图像执行自适应非线性处理。也就是说，更优选对马赛克图像(RAW图像)执行图像恢复处理。然而，不管输入图像是马赛克图像还是去马赛克图像，都可以应用本发明的图像恢复处理。原因是如果基于颜色插值处理的降级步骤是线性的，则可以在生成图像恢复滤波器期间通过把降级函数考虑在内来执行图像恢复处理。此外，如果所要求的恢复精度较低或者仅可获得经受各种图像处理操作的图像，则即使对去马赛克图像执行图像恢复处理也可以实现减小色差的效果。

(图像输出步骤)

将通过上述处理而获取的恢复图像输出至期望的设备作为输出图像。如果可得到图像拾取装置，则将图像输出到显示单元、记录介质等。如果已经经受图像恢复处理的图像要经过其它的图像处理操作等，则可以将图像输出到执行后续步骤的设备。

尽管本发明的图像处理是逐步按次序描述的，但如果可以同时处理一些步骤，则可以统一地处理各个步骤。也可以在每个步骤之前或之后适当地添加处理步骤。而且，前述描述中使用的等式或者等号并非意在限制本发明的图像处理的具体算法，并且可以被必要地修改，只要能实现目的即可。

下文中将描述使用上述图像处理的示例实施例。

示例实施例1

图5是示例实施例1中的图像拾取装置的配置的示意图。使用图像拾取光学系统101在图像拾取元件102上形成被摄物图像(未示出)。图像拾取元件102把所形成的图像的光转换(光电转换)成电信号，A/D转换器103将电信号转换成数字信号。然后，图像处理单元104对数字信号(输入图像)执行图像处理和特定处理。这里特定处理的例子包括电子像差校正（诸如倍率色差校正、失真像差校正以及环境光量校正等）和诸如去马赛克、伽马转换以及图像压缩等的处理。

首先，图像处理单元104从状态检测单元107获得关于图像拾取装置的图像拾取条件(图像拾取状态)的信息。状态检测单元107可以直接从系统控制器110获得关于图像拾取条件的信息，或者例如可以从图像拾取光学系统控制单元106获得关于图像拾取光学系统101的图像拾取条件信息。然后，图像处理单元104从存储单元108选择与图像拾取条件对应的图像恢复滤波器，并对输入到图像处理单元104的图像执行图像恢复处理。作为图像恢复滤波器，根据图像拾取状态从存储单元108选择的图像恢复滤波器可以原样使用，或者可以使用通过校正预先准备的图像恢复滤波器以便更适合于图像拾取状态而获得的图像恢复滤波器。

然后，图像处理单元104处理的输出图像以特定格式存储在图像记录介质109中。输出图像是具有校正的色差和改进的锐度的图像。此外，通过对在图像恢复处理之后获得的图像执行用于显示的特定处理(校正处理)而获得的图像可以在显示单元105上显示，或者为了高速显示，可以在显示单元105上显示不执行校正处理而获得的图像或者通过执行简单校正处理而获得的图像。

系统控制器110执行上述系列控制操作，并且图像拾取光学系统控制单元106根据系统控制器110的指令机械地驱动图像拾取系统。孔径光阑(aperturestop)101a的孔径直径被控制为F数的拍摄条件设定。对于聚焦透镜101b，通过使用自动聚焦(AF)机构或者手动聚焦机构(未示出)来控制透镜的位置以便根据拍摄距离执行聚焦调整。

如前所述，该图像拾取系统可以包括光学元件，诸如低通滤波器和红外截止滤波器等。在使用对OTF的特性有影响的元件（例如低通滤波器）的情况下，在创建图像恢复滤波器时考虑该元件的影响。因此，可以更精确地执行恢复处理。红外截止滤波器还对RGB通道中的每一个的点扩散函数(PSF)（其是光谱波长的PSF的积分值）、特别是对于R通道的PSF有影响。因此，更优选地，当创建图像恢复滤波器时考虑该影响。

此外，图像拾取光学系统101被构造成图像拾取装置的一部分。然而，图像拾取光学系统101可以是可更换类型的，例如在单镜头反射式照相机中。根据图像拾取装置的目的不一定使用诸如孔径光阑的孔径直径控制和手动聚焦等功能。

此外，因为即使在单个图像拾取条件下OTF也根据图像拾取系统的图像高度(图像的位置)改变，所以优选地本发明的图像恢复处理是通过改变图像恢复滤波器根据图像高度来执行的。

此外，图像处理单元104至少包括计算单元和暂时存储单元(缓冲器)。在上述图像处理的每个步骤中，图像被根据需要暂时写到(存储进)存储单元和从存储单元读出。此外，用于暂时存储的存储单元不限于以上描述的暂时存储单元(缓冲器)，也可以是存储单元108。可以根据具有存储功能的存储单元的数据容量或者通信速度而适当地选择任何合适单元。此外，存储单元108存储诸如色差校正系数、图像恢复滤波器以及校正信息等的数据。

将参考图6描述图像恢复滤波器的选择和校正。图6示意性地示例了解释图像拾取条件信息(图像拾取条件信息)和根据该图像拾取条件信息而存储在存储单元108中的多个图像恢复滤波器(黑色圆圈)的概念图。存储在存储单元108中的图像恢复滤波器以离散方式被布置在把三个图像拾取状态（即聚焦位置(状态A)、孔径值(状态B)、物距(拍摄距离)(状态C)）作为轴线的图像拾取状态空间中。图像拾取状态空间中的每个点(黑色圆圈)的坐标代表存储在存储单元108中的图像恢复滤波器。在图6中，图像恢复滤波器沿着与各个图像拾取状态垂直的直线而被布置在网格点处。然而，图像恢复滤波器可以被布置为偏离网格点。并且，图像拾取状态的类型不限于聚焦长度、光圈值以及物距，并且状态数可以不一定是3个。可以构建基于四个或者更多个图像拾取状态的四维或者更高维数的图像拾取状态空间，可以以离散方式在图像拾取状态空间中布置图像恢复滤波器。

在图6中，假定由更大的白色圆圈指示的图像拾取状态是由状态检测单元107检测的实际的图像拾取状态。如果预先存储的图像恢复滤波器位于或者接近与实际的图像拾取状态的位置相对应的位置，则该图像恢复滤波器可以被选择并在图像恢复处理中使用。一种用于选择接近与实际的图像拾取状态相对应的位置的图像恢复滤波器的方法是如下方法:计算在图像拾取状态空间中在实际图像拾取状态和存储图像恢复滤波器的多个图像拾取状态中的每一个之间的距离(图像拾取状态中的差量)，然后选择在最短距离位置的图像恢复滤波器。通过上述方法，选择在图6中由较小的白色圆圈所指示的位置处的图像恢复滤波器。

其它方法包括以下方法：选择具有基于图像拾取状态空间中的方向的权重的图像恢复滤波器，即选择具有评价函数的最高值的图像恢复滤波器，其中评价函数是图像拾取状态空间中的距离和加权方向的乘积。

接下来，将描述一种用于通过校正选择的图像恢复滤波器来生成新的图像恢复滤波器的方法。为了校正图像恢复滤波器，首先，计算在图像拾取状态空间中在实际图像拾取状态和存储图像恢复滤波器的每个图像拾取状态之间的距离(状态差量)，选择在最短距离(最小的状态差量)位置的图像恢复滤波器。在选择了具有最小状态差量的图像恢复滤波器的情况下，能够减小图像恢复滤波器的校正量，并且可以生成接近于在图像拾取状态下期望的图像拾取滤波器的图像恢复滤波器。

在图6中，选择在较小的白色圆圈所指示的位置处的图像恢复滤波器。计算实际图像拾取状态和与选择的图像恢复滤波器相对应的图像拾取状态之间的状态差量ΔA、ΔB和ΔC。基于状态差量来计算状态校正系数，使用状态校正系数来校正所选择的图像恢复滤波器。因此，可以生成对应于实际图像拾取状态的图像恢复滤波器。

作为另一种方法，选择位于靠近实际图像拾取状态的多个图像恢复滤波器，并根据多个图像恢复滤波器中的每一个和实际图像拾取状态之间的状态差量来执行插值处理。因此，可以生成适合于图像拾取状态的图像恢复滤波器。这里，插值处理可以是基于二维图像恢复滤波器的对应抽头的系数值的线性插值、多项式插值、样条插值等的插值。

此外，可以通过使用光学设计工具或者光学分析工具的计算来确定用于生成图像恢复滤波器的OTF。而且，也可以通过测量来确定图像拾取装置或者图像拾取光学系统自身的实际状态中的OTF。

图7图示了由图像处理单元104执行的示例实施例1中的图像恢复处理的流程图。在图7中，黑点标记指示至少暂时地存储像素数据（如图像数据）的步骤。

在图像获取步骤中，图像处理单元104获取输入图像。然后，图像处理单元104从状态检测单元107获取图像拾取条件信息(步骤S72)。然后，图像处理单元104从存储单元108中根据图像拾取状态选择图像恢复滤波器(步骤S73)，并在图像恢复处理步骤(步骤S74)中输出通过使用图像恢复滤波器对输入图像执行恢复处理而获得的恢复图像。

然后，图像处理单元104执行用于图像形成所需的其他处理，并输出恢复图像(步骤S76)。在此，如果恢复图像是马赛克图像，其他处理包括颜色插值处理(去马赛克处理)、图像斑点校正(shadingcorrection)(环境光量校正)以及失真像差校正。包括在此描述的其他处理的各种图像处理操作可以在必要时插入到以上描述的流程之前、之后或者当中。

在此，将参考图8描述作为图像恢复处理流程的更优选的例子。图8图示执行恢复处理之前和之后的MTF的变化。虚线(a)和实线(b)分别指示执行图像恢复处理之前的第一颜色分量和第二颜色分量的MTF，虚线(c)和实线(d)分别指示执行图像恢复处理之后的第一颜色分量和第二颜色分量的MTF。如图8所示，以比图3和图4所示的恢复程度更低的恢复程度对恢复之前的两个颜色分量的MTF(a)和(b)执行图像恢复处理。这导致如同(c)和(d)中那样在未太多改进MTF的状态下(MTF低)校正色差的状态。

上述状态是校正了像差的相位分量和色差而锐度较低的状态。对这样的已经受恢复处理的恢复图像执行边缘增强处理以提高仅边缘部分的锐度。因此，相比于对整个图像执行恢复处理时可以更加减小噪声放大。

也就是说，对具有低恢复程度(MTF恢复的较少量)的恢复图像执行边缘增强处理，从而获得具有减小的噪声放大和减小的色差的图像。

更优选地，优选在在奈奎斯特频率范围内在图像恢复处理中恢复之后各个颜色分量的MTF的频率平均值小于或等于恢复之前的最大MTF的1.5倍。通过上述处理，可以获得具有满意质量的图像，其色差已经减小而噪声放大被抑制。

此外，通过对校正了相位或者色差的图像执行边缘增强处理，与通过传统地对具有校正的相位或者色差的图像执行边缘增强处理而获得的图像相比，可以获得具有更高对称性的、高质量、无彩色边纹的图像。

将参考图9描述边缘增强处理。图9图示边缘增强滤波器的例子。如图9中所示，可以使用将输入图像按原样输出的滤波器和微分滤波器之间的差来生成用于执行边缘增强的滤波器。执行一阶微分的苏贝尔(Sobel)滤波器、执行二阶微分的拉普拉斯滤波器等等称作差分滤波器。图9中的微分滤波器是拉普拉斯滤波器。边缘增强滤波器基于相邻像素的像素值之间的关系来执行处理，并因此，如图9所示，通常使用具有大约3×3个抽头的滤波器。

图10示出当使用图9所示的边缘增强滤波器时边缘部分的增强效果。图10A、10B和10C是沿着特定截面查看图像中的边缘部分的亮度时的图。横轴代表坐标，纵轴代表幅度。图10A图示了图像中的边缘部分的亮度截面，图10B图示通过差分滤波器提取出的并符号反转的边缘部分。通过将图10B添加到原始图像图10A，如图10C中那样，边缘的梯度可以急剧地增大。边缘增强处理尤其仅应用于边缘的陡峭部分以便可以使该部分锐化，从而导致噪声放大对整个图像的影响更小的优点。此外，由于滤波器的抽头的相对较小的数量，所以边缘增强处理还具有允许高速处理的优点。因此，更优选地，在以低恢复程度执行图像恢复处理之后执行边缘增强处理。以这种方式，在结合边缘增强处理的情况下，图7中的其他必要处理可以包括边缘增强处理。能够对图像的边缘部分执行增强处理的其他处理包括锐化处理等。

已经描述了各个处理步骤和要被考虑的处理之间的优选时间关系。然而，如果处理步骤的顺序受到别的观察角度的约束，则这些时间关系也不是穷尽的，并且可以根据对处理的约束条件或者所要求的图像质量而改变。此外，尽管已经图示了涉及图像拾取装置的示例实施例，但还可以在其发明要点内进行各种修改和改变。

示例实施例2

在示例实施例2中，将描述一种图像处理方法，其能够使用在示例实施例1中描述的图像恢复滤波器来调整色差在恢复图像中显现的程度。

图11图示了示例实施例2中执行的图像处理方法的流程。在以下描述中，符号m代表图像的颜色分量(例如R、G或B)。即，Am指示分别表示A的R分量、A的G分量和A的B分量的(AR、AG、AB)。A对应于图11中的g、f、fd、S、Sd等。

针对具有RGB颜色分量的输入图像g_m，计算针对每个颜色分量选择或者生成的图像恢复滤波器(第一图像恢复滤波器)以执行第一恢复处理，并获得第一图像fd1_m(第一恢复图像)。

在第一图像fd1_m(第一恢复图像)中，已经校正了OTF(光学传递函数)的相位分量，因此已经提高了锐度。此外，已经执行了校正以使得各个颜色分量的MTF可以相对地彼此匹配。这样，减小了色差。也就是说，如果被摄物是白色点光源，则第一图像fd1_m的图像中的第一颜色分量的光谱的频率平均值和第二颜色分量的光谱的频率平均值之间的差，小于恢复之前获得的图像中的第一颜色分量的光谱的频率平均值和第二颜色分量的光谱的频率平均值之间的差。然而，如上所述，第一图像fd1_m包含噪声、伪色等。

同时，针对输入图像g_m计算对于每个颜色分量选择或者生成的图像恢复滤波器(第二图像恢复滤波器)以执行第二恢复处理，并获得第二图像fd2_m(第二恢复图像)。在第二图像fd2_m中，MTF的校正量被设定为小于针对第一图像fd1_m的MTF的校正量。换句话说，如果被摄物是白色点光源，则第二图像fd2_m中的特定颜色分量的图像光谱的频率平均值小于第一图像fd1_m中该特定颜色分量的图像光谱的频率平均值。然而，更优选地，第二恢复处理也被执行为执行恢复使得如同在第一恢复处理中那样各个颜色分量的OTF的幅度分量(MTF)之差可以比恢复之前的差更小。

以上描述的第二恢复处理可能不一定被执行，输入图像也可以被用作第二图像fd2_m。

如在等式11中那样，对于每个对应的像素从第一图像fd1_m中减去第二图像fd2_m的信号值产生用于每个颜色分量的恢复分量信息S_m(差信息)，作为第一图像fd1_m和第二图像fd2_m之间的差信息。

[数学式5]

S_m=fd1_m-fd2_m…(等式11)

然后，如在等式12中那样，根据恢复强度调整系数μ_m对于每个颜色分量将恢复分量信息S_m和第二图像fd2_m组合起来，以获得充当恢复调整图像(输出图像)的校正后的图像f_m。

[数学式6]

f_m=fd2_m+μ_m·S_m…(等式12)

从等式12可以看出，当恢复强度调整系数μ_m为0时，校正后的图像f_m被获得作为第二图像fd2_m，当恢复强度调整系数μ_m为1时，校正后的图像f_m被获得作为第一图像fd1_m。此外，当恢复强度调整系数μ_m在0到1的范围内时，恢复程度在从第二图像fd2_m到第一图像fd1_m的范围内连续地调整。

在此，可以通过调整恢复分量信息S_m的计算量(加法量)来控制恢复程度。恢复强度调整系数μ可以是负的系数。

在常规方法中，每次改变恢复程度时要求重新计算图像恢复滤波器和图像恢复滤波器与输入图像的卷积处理。然而，根据上述图像处理方法，即使改变恢复程度也不需要重新计算图像恢复滤波器和图像恢复滤波器与图像的卷积处理。因此，可以减小图像处理负荷。以下将顺序描述图11中的各个步骤和图像。

“输入图像g_m，输出图像f_m”

输入图像g_m和输出图像f_m可以伴随有用于校正图像的各种校正信息，包括诸如透镜焦距(变焦位置)、光圈值和拍摄距离(聚焦距离)等图像拾取状态。特别地，在该示例实施例中，校正信息包括恢复强度调整系数μ和颜色组合比率调整系数ω。

如果通过单个闭合的图像拾取装置执行从拾取图像到输出的一系列处理，则即使图像不伴随有图像拾取条件信息或者校正信息也可以在装置中获取它们。如果从图像拾取装置中获取RAW图像并且另一个图像处理装置执行校正处理或者显影(development)处理，如上所述那样，则优选地使图像伴随有图像拾取条件信息或者校正信息。

然而，如下的系统不一定需要使图像伴随有校正信息：在该系统中，校正信息被预先存储在图像处理装置那一侧以使得可以从图像拾取条件信息中选择校正系数。对于校正信息，如上所述，可以获得校正信息作为初始值，或者用户也可以改变校正系数值。用户在使用图像拾取装置中提供的监视器或者当图像处理装置是和图像拾取装置分开的设备时使用提供作为图像处理系统的一部分的监视器来评估输出图像的同时改变校正系数，从而获得期望的输出图像。

“第一图像(第一恢复图像)fd1_m”

第一图像fd1_m是使用图像恢复滤波器生成的，图像恢复滤波器执行恢复以使得包括图像拾取系统和图像恢复滤波器的系统的两个颜色分量的传递函数的MTF之差可以小于图像拾取系统的两个颜色分量的传递函数的MTF之差。图像恢复滤波器的细节是示例实施例1中描述的图像恢复滤波器的细节。

换句话说，如果被摄物图像是处于对焦的白色点光源，则第一图像fd1_m是通过使用图像恢复滤波器的图像恢复处理而获得的，图像恢复处理使得恢复图像中的两个颜色分量的光谱之差小于输入图像中的光谱之差。如果第一图像fd1_m满足必要的图像质量，则可以将第一图像fd1_m用作校正的图像f_m(恢复调整图像)。

图12图示从输入图像到生成第一图像fd1_m的处理步骤的流程。在图12中，黑点标记指示图像数据存储在存储装置（如存储器）中的步骤。

首先，在图像获取步骤中获取输入图像。在图像恢复滤波器获取步骤中，通过选择或者校正来获取对应于输入图像的图像拾取状态的图像恢复滤波器。图像恢复滤波器的选择或者校正将在后面描述。在随后的图像恢复步骤中，使用图像恢复滤波器执行校正以使得可以减小(优选地，到零)图像中的降级相位分量并且使得可以提高幅度分量，并且可以减小颜色分量之间的差(以便使得幅度分量在颜色分量之间均匀)。通过图像恢复步骤，获得第一图像fd1_m。换句话说，如果被摄物图像是处于聚焦的白色点光源，则图像恢复滤波器执行恢复以使得恢复图像(第一图像fd1_m)中的两个颜色分量的光谱之差可以小于输入图像中的两个颜色分量的光谱之差。

“第二图像(第二恢复图像)fd2_m”

使用仅恢复相位分量的图像恢复滤波器或者使用恢复相位分量和幅度分量两者的图像恢复滤波器（该图像恢复滤波器以与第一图像fd1_m相比更低程度的恢复提供幅度分量）通过图像恢复处理（第二图像恢复处理）来获得第二图像fd2_m。

优选地，更优选对第二图像fd2_m执行恢复处理使得像第一图像fd1_m那样，颜色分量的幅度分量(MTF)之差可以小于输入图像中的颜色分量的幅度分量(MTF)之差或者使得幅度分量(MTF)可以相对地匹配。

更优选地，在第二图像fd2_m中，优选地把相位降级分量校正到零并使颜色分量的幅度分量匹配。

如果在第一图像fd1_m和第二图像fd2_m二者中，可以通过恢复来减小颜色分量的幅度分量之差或者可以使幅度分量在恢复之后匹配(如果色差已校正)，则不管恢复程度高还是低都可以获得具有减小的色差的校正的图像。

此外，也可以将输入图像用作第二图像fd2_m。在此情况下，在恢复程度变得最小的状态下获得输入图像作为校正的图像f_m(恢复调整图像)。随着恢复程度增加，MTF被提高并且锐度被改进。此外，颜色分量的MTF之差减小并且色差也被校正。

例如，参考图8描述的图像恢复滤波器可以用作用于获取第二图像fd2_m的图像恢复处理中的图像恢复滤波器。使用该图像恢复滤波器，可以通过使两个颜色分量的MTF匹配来校正色差。这种状态是像差的相位分量和色差已被校正而锐度较低的状态(MTF低)。

换句话说，生成第二图像fd2_m的图像恢复滤波器是基于图像拾取系统(图像拾取光学系统)的两个颜色分量的传递函数(光学传递函数)和基于被校正以使得两个颜色分量的传递函数的绝对值分量(MTF)之差可以减小的OTF而生成的。该图像恢复滤波器具有以下特征：具有比生成第一图像fd1_m的图像恢复滤波器更低的恢复程度(相比于用于生成第一图像fd1_m的MTF，用于生成第二图像fd2_m的MTF更低)。更严格地，第二恢复图像中的特定颜色分量的MTF的频率平均值比第一恢复图像中的更小。从输入图像到生成第二图像fd2_m的处理步骤的流程和图12中示出的直到生成第一图像的流程相同。

“恢复分量信息S_m”

如在等式11中一样，可以通过从第一图像fd1_m中减去第二图像fd2_m(对每个分量和像素执行减法处理)来生成对于每个颜色分量的恢复分量信息S_m(差信息)。如果已执行校正使得图像拾取系统(图像拾取光学系统)的降级的相位分量(相位降级分量)可以匹配，则第一图像fd1_m和第二图像fd2_m的相位分量的状态基本相同但是幅度分量的状态不同。因此，可以把恢复分量信息S_m当作第一图像fd1_m和第二图像fd2_m的幅度分量之间的差信息。

在此，优选地，使第一图像fd1_m和第二图像fd2_m二者中的相位分量的状态匹配，作为由于图像拾取系统导致的相位降级分量已经被充分去除的状态。另一方面，由于可以通过后面描述的恢复强度调整系数控制恢复程度，所以幅度分量的状态需要不同。

因此，恢复分量信息S_m包括与第二图像fd2_m的相位偏移不同的像差分量、噪声(噪声增加分量)或者振铃分量，它们已经通过图像恢复处理而生成，并且还包括伪色分量。

“恢复强度调整系数μ_m和校正的图像f_m”

如上所述，已经使用被配置为减小颜色分量之间的色差的差的图像恢复滤波器执行了恢复处理的恢复图像具有减小的色差。然而，被摄物通常具有深度，并且在实际图像拾取状态中生成的像差特性和图像恢复滤波器期望的像差特性之间的差可能在恢复图像中引起不良影响，比如振铃伪像(ringingartifact)。

此外，如果两个颜色分量的恢复程度和期望的不同，则彩色边纹（即伪色）可能出现在恢复图像中。伪色也是像噪声或者振铃一样的伪像之一。当由于制造误差导致与恢复处理之前获得的图像相比在边缘部分中出现彩色边纹时，伪色出现。或者，当由高强度的太阳反射光线引起的亮度饱和使得与在恢复处理之前获得的图像相比在亮度饱和部分周围出现彩色边纹时，伪色出现。或者，当由于不对焦导致与恢复处理之前获得的图像相比在边缘部分中出现彩色边纹时，伪色出现。

因此，使用能够调整恢复程度(恢复强度)的恢复强度调整系数μ。这使得可以控制图像恢复中涉及的引起不良影响（诸如彩色边纹(伪色)、噪声或者振铃等）的风险和恢复程度之间的平衡。即使与图像恢复滤波器的校正特性相对应的像差特性不同于图像的像差特性，也可以获得具有减少伪像出现（诸如伪色和振铃等）的满意质量。下文中将描述恢复强度调整系数μ。

如等式12中给出的，通过对每个颜色分量根据恢复强度调整系数μ_m组合恢复分量信息S_m和第二图像fd2_m，获得了校正的图像f_m。当恢复强度调整系数μ_m为0时，获得第二图像fd2_m作为校正的图像f_m，当恢复强度调整系数μ_m为1时，获得第一图像fd1_m作为校正的图像f_m。此外，由于恢复强度调整系数μ_m在0到1的范围内可调整，所以恢复程度可以在从第二图像fd2_m到第一图像fd1_m的范围内连续地调整。

第二图像fd2_m和恢复分量信息S_m二者都具有校正的相位分量和色差，并且仅幅度分量(模糊量)不同。因此，即使要调整的恢复程度量(恢复强度调整系数μ的值)改变，相位分量和色差也不改变。因此，可以在校正色差的情况下调整锐度。

也就是说，可以在考虑通过图像恢复处理引起的任何不良影响(伪色、振铃、放大的噪声)的同时校正色差和增加锐度。因此，可以获得更高质量的图像。

也可以在避免处理负荷增加的同时提供具有用户期望的质量的图像。

此外，尽管恢复强度调整系数μ的基本范围是0≤μ≤1，但也可以通过设定μ>1来获得已经重点校正的图像。即，可以变化地设定恢复强度调整系数μ。

此外，恢复强度调整系数μ针对每个颜色分量而改变，从而允许对于每个颜色分量调整恢复程度。当由于照射被摄物的光源的光谱变化、图像拾取光学系统的制造误差等引起的光学传递函数(OTF)根据颜色分量而变化并然后色差的平衡变化时，这对于每种颜色分量调整恢复程度的强度是有效的。改变照射光源的光谱特性等同于改变每种波长的强度比率。因此，像差量针对每种颜色分量而改变。因此，可以通过根据拍摄期间的光谱特性设定用于每个颜色分量的恢复强度调整系数μ来获得适合于每个颜色分量的校正的图像f_m。

此外，图像拾取光学系统的制造误差的影响之一可能是例如在图像上左右对称位置之间的降级程度的差，并且降级程度的差显现为图像上的模糊分量的差或者其上的相对彩色边纹分量的差。对于模糊分量，根据在图像上位置的模糊量的变化来设定恢复强度调整系数μ，从而吸收制造误差。此外，根据在图像上的位置的彩色边纹量的变化来针对每种颜色分量设定恢复强度调整系数μ，从而吸收制造误差。

对输出图像的图像质量的评价根据目的而不同。例如，在肖像中，噪声和振铃非常有阻碍。同时，当用户希望从使用监视摄像头等的车辆的数字表盘读取数字时，尽管包括噪声或者振铃，但关键问题是确定数字。此外，如果由于某种原因导致不良效果（诸如噪声、振铃或者伪色等）大量出现在图像中，则即使输出图像具有较低恢复程度也要充分输出没有不良效果的图像以便保证输出图像。以上情况可以通过调整恢复强度调整系数μ来解决。

此外，在通常的摄影中，输出图像所要求的图像质量取决于用户或被摄体，该质量的范围从具有由剩余的像差而导致的闪烁的柔焦（soft-focus）图像到去除了像差的锐利图像。即使是这种情况也可以通过调整恢复强度调整系数μ来解决。

此外，可以修改等式11将第一图像fd1_m从第二图像fd2_m中减去以提取恢复分量信息。在这种情况下，根据恢复强度调整系数来修改等式11以从第二图像fd2_m中减去(也包括在“组合”中)恢复分量信息产生一个等价等式，并且能够实现相同的效果。

为了如上所述那样改变恢复程度，常规地，必须改变用于生成图像恢复滤波器的参数，因此必需在每次改变恢复程度时重新计算图像恢复滤波器。还必需使用重新计算的图像恢复滤波器对输入图像执行卷积处理。这对于高速图像处理成为一个大障碍。

然而，在示例实施例2的图像处理方法中，即使当调整恢复程度时，也仅要求改变图像组合比率，因此不需要重新计算图像恢复滤波器。此外，不必每次改变调整参数时都对输入图像执行卷积处理。此外，尽管恢复程度减小，但把像差的非对称校正为至少点对称。因此，在去除了倍率色差的状态下没有变化发生，作为彗形像差(comaaberration)的特征的图像流也被校正。

图13是本示例实施例中图像处理(图像恢复处理)方法的流程，特别地，是关于设定调整参数的流程。拍摄的图像被用作输入图像，使用用作初始值的恢复参数来生成图像恢复滤波器，或者使用预先准备的图像恢复滤波器作为初始值对输入图像执行图像恢复处理。使用预先准备的调整参数、用户设定的调整参数和根据图像信息自动确定的调整参数中的一个对恢复图像执行图像组合处理，并产生恢复调整图像。评价恢复调整图像，并判断恢复调整图像是否原样用作输出图像或者要改变恢复程度。如果要改变恢复程度，则改变调整参数，并再次执行图像组合处理。此处使用的调整参数是以上描述的恢复强度调整系数μ。

以这种方式，是否要求在调整期间的图像恢复滤波器的重新计算和是否要求作为图像恢复处理的输入图像和图像恢复滤波器的卷积处理，在常规图像恢复处理和本示例实施例的图像恢复处理之间差异很大。

此外，确定是否将恢复调整图像用作输出图像以及根据恢复程度的改变而改变调整参数，可以由用户基于主观评价来执行，或者可以通过预先设定图像的评价函数来自动执行。

也可以根据输入图像中的像素的特征值来自动改变调整参数。术语“像素的特征值”是指输入图像的局部对比度、亮度水平等。例如，使用差分滤波器的方法被称作检测图像的局部对比度水平的方法。使用这种方法，可以将图像的边缘部分和其它部分分开。由于边缘部分的锐度对整个图像的锐度有影响，所以设定调整参数以增加边缘部分的恢复程度。另一方面，即使恢复程度增加，具有少量的暗和亮部分的非边缘部分对整个图像的锐度也没有影响。相反，这部分中噪声的增加引起不良影响，因此调整参数被设定为使得恢复程度减小。

此外，具有低亮度水平的部分具有原始图像信号对噪声信号的低SN比率，并且恢复程度的增加使得噪声更明显。因此，调整参数被设定为使得恢复程度可以减小。另一方面，在亮度饱和部分中，原始图像信号被剪切(限制)到图像拾取元件的范围的上限，此处，像差状态也和期望的大不相同。因此，图像恢复引起的不良影响可能出现。因此，可以通过设定调整参数以使得可以减小恢复程度来避免不良影响出现。

附加地，可以根据被摄物的类型来识别被摄物和调整恢复程度。作为例子，最近的数字摄像机具有面部识别功能。然而，如果由于图像恢复导致诸如噪声、伪色等的伪像出现在人的面部中，则所得的图像可能非常不自然。因此，优选地适当调整恢复程度。

此外，根据像素的特征值改变调整参数意味着根据图像上的位置来改变调整参数。在这个示例实施例中，在图像组合处理中以像素为基础来组合图像。此时，仅要求改变混合比例以实现相对容易的调整。以像素为基础调整恢复程度的这种能力也是本示例实施例的特征。

还可以根据其他图像拾取状态（诸如ISO敏感度、焦距(变焦位置)、被摄物距离(聚焦距离)和光圈值等）来改变调整参数的设定值。

尽管已经描述了本发明的图像处理方法的基本流程，但在此描述的一些步骤可以同时共同执行。此外，也可以在每个步骤之前或之后适当地添加必要的处理步骤。此外，前面描述中使用的等式或者等号并非意在限制本发明的图像处理方法的特定算法，并可以在必要时进行修改。

当本示例实施例的图像恢复处理(图像处理方法)通过图像拾取装置执行时，是由图5示出的图像处理单元104执行的。图14示出由图像处理单元104执行的关于本示例实施例的图像恢复处理的具体流程。在图14中，黑点标记指示像素数据（如图像数据）至少暂时被存储的步骤。

在图像获取步骤(图像获取步骤)中图像处理单元104获取输入图像。然后，图像处理单元104从状态检测单元107获取图像拾取条件信息，并根据图像拾取状态从存储单元108选择图像恢复滤波器。然后，在图像恢复步骤(图像恢复步骤)中，图像处理单元104使用图像恢复滤波器对输入图像执行恢复处理。在图像恢复步骤中，生成第一图像和第二图像，在第一图像中校正(恢复)了幅度分量和相位分量，在第二图像中仅校正(恢复)了相位分量。

在恢复分量信息生成步骤中(恢复分量信息生成步骤)，图像处理单元104根据第一图像和第二图像中各个像素的信号值之间的差来生成恢复分量信息。恢复分量信息是第一图像和第二图像之间的差信息，因此作为值具有正值和负值。

然后，在恢复分量信息生成步骤(差信息获取步骤)中，图像处理单元104获取调整参数的设定值作为恢复强度调整系数μ。在用于设定调整参数的方法中，调整参数可以是根据图像拾取状态或者图像高度从预先准备的设定值中自动选择的，并可被使用。此外，根据图像确定像素的特征值，调整参数可以自动改变和设定。或者，用户也可以任意地设定调整参数。

然后，在恢复图像生成步骤(恢复调整图像生成步骤)中，图像处理单元104根据调整参数把恢复分量信息和第二图像组合以生成校正的图像。具体地，通过针对每个像素把通过将恢复分量信息中的每个像素值乘以恢复强度调整系数μ而获得的像素值加到第二图像来获得校正的图像。

然后，图像处理单元104执行图像形成所需的其它处理，并输出恢复图像(校正的图像)。如果经受校正处理的图像是马赛克图像，则此处所用的术语“其它处理”是颜色插值处理(去马赛克处理)。此外，可以执行边缘增强处理、图像斑点校正(环境光量校正)、失真像差校正等。此外，包括此处描述的其它处理的各种图像处理操作也可以在必要时插入到以上描述的流程之前、之后或者当中。

虽然已经描述了各个处理步骤和要考虑的处理之间的优选时间关系，但处理步骤的顺序不限于此并可以根据对处理的约束条件或者要求的图像质量而改变。此外，在本示例实施例中，在校正处理中执行用于恢复仅相位分量的处理。然而，如上所述，如果噪声放大在可允许的范围内则可以在某种程度上改变幅度分量。

此外，图像处理单元104至少包括计算单元和暂时存储单元(缓冲器)。在上述图像处理的每个步骤中，在必要时将图像暂时写到(存储进)存储单元和从存储单元读出。存储单元108可以用作暂时存储单元。

示例实施例3

在示例实施例3中，将描述一种用于减小图像恢复处理中引起的伪色出现的图像处理方法。图15示出以下处理流程：该处理流程通过根据颜色组合比率调整系数ω对每个颜色分量的恢复分量信息S_m执行颜色组合来针对每个颜色分量生成颜色组合恢复分量信息Sd_m，并将颜色组合恢复分量信息Sd_m和第二图像S_m组合。

颜色组合比率调整系数ω是用于根据该颜色组合比率调整系数ω、通过针对每个颜色分量对用于全部颜色分量的恢复分量信息(差的量)S_m执行颜色组合来生成颜色组合恢复分量信息(差信息)Sd_m的系数，并且是颜色分量的混合比率。因此，用于从恢复分量信息S_m生成颜色组合恢复分量信息Sd_m的处理可以表达成等式13和等式14，等式14是通过针对颜色分量m和n展开等式13而获得的表示。

[数学式7]

${\mathrm{Sd}}_m=\underset{n}{\overset{\mathrm{RGB}}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{mn}}{S}_n$ …(等式13)

[数学式8]

$\left(\begin{array}{c}{\mathrm{Sd}}_R\\ S{d}_G\\ S{d}_B\end{array}\right)=\left(\begin{array}{ccc}{\mathrm{\ω}}_{\mathrm{RR}}& {\mathrm{\ω}}_{\mathrm{RG}}& {\mathrm{\ω}}_{\mathrm{RB}}\\ {\mathrm{\ω}}_{\mathrm{GR}}& {\mathrm{\ω}}_{\mathrm{GG}}& {\mathrm{\ω}}_{\mathrm{GB}}\\ {\mathrm{\ω}}_{\mathrm{BR}}& {\mathrm{\ω}}_{\mathrm{BG}}& {\mathrm{\ω}}_{\mathrm{BB}}\end{array}\right)\left(\begin{array}{c}{S}_R\\ S_G\\ S_B\end{array}\right)$ …(等式14)

接下来，将描述用于确定等式14中的九个颜色组合比率调整系数ω的方法。初始地，将描述颜色组合比率调整系数ω的两个例子。

第一个例子是当恢复强度调整系数μ为1时用于获得和第一图像fd1_m相同的图像作为校正的图像的颜色组合比率调整系数ω。给定一个单位矩阵，其中等式14中的颜色组合比率调整系数ω的主对角线中的元素是1，其余元素为0，颜色组合恢复分量信息Sd_m等于在颜色分量本身上的恢复分量信息S_m。这是将校正的图像f_m输出作为和第一图像fd1_m相同的图像时系数的设定。在此情况下，如上所述，像差分量要被最大地校正作为校正的图像，但生成伪色的风险也增大。

第二个例子是用于避免伪色出现的颜色组合比率调整系数ω。如果等式14中颜色组合比率调整系数ω的全部元素被设定为1/3，则颜色组合恢复分量信息Sd_m等于全部颜色分量的恢复分量信息S_m的平均值，并且各条颜色组合恢复分量信息Sd_R、Sd_G和Sd_B相同。当颜色组合恢复分量信息Sd_m对于全部颜色分量相等时，这意味着在后面步骤中将颜色组合恢复分量信息Sd_m和第二图像fd2_m组合时关于颜色分量的附加信息没有区别。因此，没有伪色出现。

然而，由于关于每个颜色分量的像差信息被平均，所以恢复程度（即锐度）可能小于第一个例子，也就是第一图像fd1_m被用作输出图像的情况。不过，即使平均了恢复分量信息S_m，也在某种程度上发现与各个颜色分量有关的各条恢复分量信息S_R、S_G和S_B之间的正相关(相似度)。这样，和输入图像g_m相比，提高了校正的图像的锐度。因此，这是从其中消除了生成伪色的风险的恢复条件。

已经描述了当生成伪色的风险最大化和最小化时颜色组合比率调整系数ω的设定。连续改变颜色组合比率调整系数ω，从而允许连续调整生成伪色的风险和恢复程度之间的平衡。

下文中将描述以下情况中用于确定中间的颜色组合比率调整系数ω的方法的例子：该情况不同于等式14中的颜色组合比率调整系数ω是单位矩阵的情况，和全部元素为1/3的情况。由于颜色组合比率调整系数ω具有九个设定自由度，所以可能难以设定每个元素值。可以可变地设定颜色组合比率调整系数ω，并且一个例子是，例如，一般用户使用图像拾取装置或者图像处理系统来可变地设定颜色组合比率调整系数ω。

为了克服上述困难，在颜色组合比率调整系数ω的各个元素之间建立从属关系以减小要控制的自由度。然而，该从属关系需要是能够调整恢复程度和生成伪色的风险之间的平衡的关系。此外，以小的自由度控制优选的调整参数的能力也允许图像拾取装置或者图像处理系统的提供者改进装置开发步骤或者生产步骤中的工作效率。

作为用于确定颜色组合比率调整系数ω的方法的例子，初始地，设定两个约束条件。第一个约束条件是：如在等式15中那样，矩阵ω的每行的和被设定为1。这意味着，例如，用于生成与R分量有关的颜色组合恢复分量信息Sd_R的各条恢复分量信息S_R、S_G和S_B的归一化混合比率。因此，将混合比例标准化使得容易比较不同颜色组合恢复分量信息Sd_m的加权比率。

[数学式9]

$\underset{n}{\overset{\mathrm{RGB}}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{mn}}=1$ …(等式15)

第二个约束条件是，如在等式16中那样，把等式14中的矩阵ω的每列的和设定为1。这意味着当生成各条颜色组合恢复分量信息Sd_R、Sd_G和Sd_B时，各条恢复分量信息S_R、S_G和S_B被分布到各个颜色分量并被完全使用。

[数学式10]

$\underset{m}{\overset{\mathrm{RGB}}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{mn}}=1$ …(等式16)

在提供上述两个约束条件的情况下，颜色组合比率调整系数ω可以表达成如等式17中那样：

[数学式11]

$\mathrm{\ω}=\left(\begin{array}{ccc}{\mathrm{\ω}}_{\mathrm{RR}}& 1-{\mathrm{\ω}}_{\mathrm{GG}}-{\mathrm{\ω}}_{\mathrm{BG}}& {\mathrm{\ω}}_{\mathrm{RB}}\\ {\mathrm{\ω}}_{\mathrm{GR}}& {\mathrm{\ω}}_{\mathrm{GG}}& 1-{\mathrm{\ω}}_{\mathrm{BB}}-{\mathrm{\ω}}_{\mathrm{RB}}\\ 1-{\mathrm{\ω}}_{\mathrm{RR}}-{\mathrm{\ω}}_{\mathrm{GR}}& {\mathrm{\ω}}_{\mathrm{BG}}& {\mathrm{\ω}}_{\mathrm{BB}}\end{array}\right)$ …(等式17)

此外，本示例实施例旨在在确保特定的恢复程度的同时减小生成伪色的风险。因此，优选地，每条颜色组合恢复分量信息Sd_m在颜色分量之间具有高的相似度，即较小的差。前面对ω=1/3的描述基于以下状态：其中，因为每条颜色组合恢复分量信息Sd_m的颜色分量之间没有差，所以生成伪色的风险最小，也就是伪色不发生。因此，与特定颜色分量有关的恢复分量信息S_m可以尽可能均匀地分布到与各颜色分量有关的各条颜色组合恢复分量信息Sd_m。因此，等式17的每列的离散性越小，生成伪色的风险越小。

基于上述内容，将等式17的每列的离散性最小化产生等式18的表达式。在等式18中，设定参数是一个ω，因此使得容易控制恢复程度和生成伪色的风险之间的平衡的调整。

[数学式12]

$\mathrm{\ω}=\left(\begin{array}{ccc}\mathrm{\ω}& (1-\mathrm{\ω})/2& (1-\mathrm{\ω})/2\\ (1-\mathrm{\ω})/2& \mathrm{\ω}& (1-\mathrm{\ω})/2\\ (1-\mathrm{\ω})/2& (1-\mathrm{\ω})/2& \mathrm{\ω}\end{array}\right)$ …(等式18)

在等式18中，如果ω=1，则矩阵ω是单位矩阵，恢复程度和生成伪色的风险最大。此外，如果ω=1/3，则矩阵ω的全部元素是1/3，在没有生成伪色的风险的同时恢复程度减小。因此，可以通过在1/3≤ω≤1范围内减小颜色组合比率调整系数ω来执行调整以减小生成伪色的风险。

此处已经示例了一种用于确定颜色组合比率调整系数ω的方法的例子。然而，确定方法不限于此。例如，如果矩阵ω的全部元素设定为0(零)，则对于全部颜色分量把每条颜色组合恢复分量信息Sd_m设定为0(零)。因此，校正的图像f_m成为第二图像fd2_m本身。按照这种方式，在0≤ω≤1的范围内调整颜色组合比率调整系数ω，从而允许在从仅恢复了相位分量的第二图像fd2_m到恢复了幅度分量和相位分量的第一图像fd1_m的范围内调整并获得输出图像。此外，可以通过设定等式14大于1来进一步着重校正。

按这种方式，设定矩阵ω的每个元素的自由度不限于1，可以用九个自由度或者基于其他约束条件而减小的任意自由度来执行调整。例如，如果基于等式16进行设定，则自由度为6。

在获取输入图像或者增强的图像作为上面描述的校正的图像f_m的情况中，也可以不限于1/3≤ω≤1地设定颜色组合比率调整系数ω的范围。也就是说，等式18仅是用于使用单个设定参数ω来容易地确定恢复程度和生成伪色的风险的例子。该示例实施例的本质是在各颜色分量之间组合各条恢复分量信息S_m，并控制各颜色分量之间的颜色组合恢复分量信息Sd_m的相似度来减小生成伪色的风险。

此外，如在等式19中那样，也可以通过颜色组合比率调整系数ω和恢复分量调整系数μ的组合来执行控制。它们的组合可以允许颜色组合比率调整系数ω处于1/3≤ω≤1的范围内以减小伪色的发生，并且可以允许恢复分量调整系数μ通过0≤ω≤1的范围来控制恢复程度。

[数学式13]

$f_m=g_m+{\mathrm{\μ}}_m{\mathrm{Sd}}_m$

$=g_m+{\mathrm{\μ}}_m\underset{n}{\overset{\mathrm{RGB}}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{mn}}({\mathrm{fd}}_n-g_n)$ …(等式19)

可以使恢复分量调整系数μ为各个颜色分量所共用，并可以如等式20中那样设置。

[数学式14]

$f_m=g_m+\mathrm{\μ}{\mathrm{Sd}}_m$

$=g_m+\mathrm{\μ}\underset{n}{\overset{\mathrm{RGB}}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{mn}}({\mathrm{fd}}_n-g_n)$ …(等式20)

此外，如上所述，当颜色分量之间的恢复分量信息S_m经受颜色组合时，必需使每个像素具有多条颜色分量信息。因此，如果对每个像素具有单条颜色分量信息的马赛克图像执行上述图像恢复处理，则必需在执行上述颜色组合处理之前执行颜色插值处理(去马赛克处理)。这样，可以对每个颜色分量的恢复分量信息S_m执行颜色插值处理，或者对第一图像fd1_m和第二图像fd2_m中的每一个执行颜色插值处理以生成其中每个像素都可以具有多条颜色分量信息的恢复分量信息S_m。

如上所述，使用颜色组合比率调整系数ω，可以在校正色差的同时减小由图像恢复处理引起的生成伪色的风险。因此，可以获得具有更满意质量的图像。

示例实施例4

图16A图示了根据本发明的示例实施例4的图像处理系统的配置图。图像处理装置111包括信息处理装置，并具有用于使信息处理装置执行示例实施例1到3中所描述的图像处理方法的图像处理软件(图像处理程序)112。图像拾取装置113包括摄像机、显微镜、内视镜、扫描仪等等。存储装置114存储通过图像拾取生成的图像(拍摄的图像数据)，例如来自半导体存储器、硬盘或网络上的服务器的图像。

图像处理装置111从图像拾取装置113或者存储介质114获取图像数据，并且把已对其执行了特定图像处理的输出图像(校正的图像)数据输出到输出设备116、图像拾取装置113和存储介质114中的至少一个。此外，输出目的地可以设定为图像处理装置111的内置存储单元，并且输出图像数据也可以存储到存储单元中。输出设备116的例子包括打印机。显示设备115(监视器)连接到图像处理装置111，用户可以通过显示设备115执行图像处理工作并可以评价恢复调整图像(输出图像)。图像处理软件112除了具有图像恢复处理功能和恢复程度调整功能之外，还在必要时具有显影功能和任何其他图像处理功能。

图16B图示出另一个图像处理系统的配置。如示例实施例1中那样，如果图像拾取装置118单独执行示例实施例1中的图像处理，则图像拾取装置118可以把恢复调整图像直接输出到输出设备119。

此外，输出设备119可以具有执行示例实施例1中的图像处理方法的图像处理装置，因此能够根据图像的特征值来设定调整系数以调整恢复程度。此外，根据输出设备119的输出图像的降级特性来调整恢复程度，因此使得可以提供更高质量的图像。

在此，将描述用于执行图像恢复处理和图像处理的校正信息的内容及其传递，其中图像恢复处理包括对相位降级分量和幅度降级分量的校正处理，图像处理包括恢复程度的调整。图17图示出校正信息的例子，多条校正信息被称作校正信息集。下文中将描述每条校正信息。

“校正控制信息”

校正控制信息包括设定信息和选择信息，设定信息指示图像拾取装置113、图像处理装置111和输出设备116中的哪一个将执行校正处理，选择信息用于根据设定信息选择要传送到另一个设备的数据。例如，如果图像拾取装置113仅执行图像恢复处理并且图像处理装置111调整恢复程度，则不必传送图像恢复滤波器到图像处理装置111。然而，必需传送至少第二图像和第一图像或者恢复分量信息。

“图像拾取装置信息”

图像拾取装置信息是关于与产品名称相对应的图像拾取装置113的识别信息。如果透镜和摄像机主体是可更换的，则识别信息包括它们的组合。

“图像拾取条件信息”

图像拾取条件信息是关于在摄影期间图像拾取装置111的状态的信息。图像拾取条件信息的例子包括焦距(变焦位置)、光圈值、物距(聚焦距离)、ISO敏感度以及白平衡设定。

“图像拾取装置个体信息”

图像拾取装置个体信息是针对上述图像拾取装置信息的与个体图像拾取装置有关的识别信息。由于非均匀制造误差，图像拾取装置的光学传递函数(OTF)从一个实体到另一个实体变化。图像拾取装置个体信息是用于设置个体最优恢复程度调整参数的有效信息。恢复程度调整参数包括恢复强度调整系数μ和颜色组合比率调整系数ω。

“图像恢复滤波器群组”

图像恢复滤波器群组是图像恢复处理中使用的一组图像恢复滤波器。如果执行图像恢复处理的装置不包括图像恢复滤波器，则必需从另一个装置(设备)传送图像恢复滤波器。

“恢复分量信息”

如果已经执行了图像恢复处理并且生成了恢复分量信息，则恢复分量信息和相位已经被校正的第二图像可以传送到另一个设备以使得其它设备能够执行恢复程度调整处理。

“调整参数群组”

调整参数群组是颜色组合比率调整系数ω和恢复强度调整系数μ的集合。如上所述，可以根据图像上的位置来改变颜色组合比率调整系数ω和恢复强度调整系数μ。也可以根据拍摄状态来改变颜色组合比率调整系数ω和恢复强度调整系数μ。调整参数群组的数据可以是调整系数本身的表格数据，或者可以是用于确定调整系数的函数。

“色差校正系数”

如等式7中所述，色差校正系数是用于生成每个颜色分量的rH(u,v)的与H(u,v)的各颜色分量之间的混合比率有关的系数。如果已经确定出色差校正系数的设备(装置)与要执行图像恢复处理的设备(装置)不同，则将色差校正系数在设备之间传送。

“用户设定信息”

用户设定信息是用于调整到用户期望的恢复程度的调整参数，或者是用于校正该调整参数的函数。用户可以可变地设定调整参数，并且总是可以使用用户设定信息获得作为初始值的期望的输出图像。此外，在用户设定信息中，优选地使用学习函数更新在用户已经通过其确定调整参数的那些记录中的最喜爱的锐度。

此外，图像拾取装置的提供商(供货商)也可以经由网络提供对应于多种锐度模式的预设值。

上述的校正信息集优选地附加到各条图像数据。将必要的校正信息附加到图像数据允许包括图像处理装置的装置或者设备执行图像恢复处理和恢复程度调整处理。此外，校正信息集的内容可以根据需要被自动以及手动地选择。例如，当不同的设备要执行恢复程度调整处理时，如果校正信息集包括第二图像和恢复分量信息，则图像恢复滤波器群组基本上是不必要的。

以上描述的示例实施例仅仅是典型例子，可以对示例实施例进行各种修改和改变以实现本发明。

本发明不限于以上的实施例，在不脱离本发明的精神和范围的情况下可以进行各种修改和改变。因此，所附的权利要求清晰地限定本发明的范围。

附图标记列表

101图像拾取光学系统

102图像拾取元件

104图像处理单元

106图像拾取光学系统控制单元

108存储单元

110系统控制器

Claims (11)

1.一种图像处理装置，包括：

图像获取装置，被配置为获取输入图像；以及

图像恢复处理装置，被配置为通过计算输入图像和图像恢复滤波器来生成恢复图像，所述图像恢复滤波器是基于被用于形成作为输入图像的被摄物图像的图像拾取系统的传递函数而生成的，

其中所述图像恢复滤波器执行恢复以使得：当被摄物是白色点光源时，使恢复图像中的两个颜色分量的光谱之差小于所述输入图像中这两个颜色分量的光谱之差。

2.根据权利要求1所述的图像处理装置，其中，所述图像恢复处理装置通过使用所述图像恢复滤波器对所述输入图像中的像素应用卷积积分来执行图像恢复。

3.一种图像拾取装置，包括：

图像拾取系统，其获取作为输入图像的被摄物图像；以及

图像恢复处理装置，其被配置为通过计算所述输入图像和图像恢复滤波器来生成恢复图像，所述图像恢复滤波器是基于所述图像拾取系统的传递函数而生成的，

其中所述图像恢复滤波器执行恢复以使得：当被摄物是白色点光源时，使恢复图像中的两个颜色分量的光谱之差小于所述输入图像中的这两个颜色分量的光谱之差。

4.一种图像处理方法，包括：

获取输入图像的步骤；以及

通过计算所述输入图像和图像恢复滤波器来生成恢复图像的步骤，所述图像恢复滤波器是基于用于获取所述输入图像的图像拾取系统的传递函数而生成的，

其中所述图像恢复滤波器执行恢复以使得：当被摄物是白色点光源时，使所述恢复图像中的两个颜色分量的光谱之差小于所述输入图像中的这两个颜色分量的光谱之差。

5.一种图像处理装置，包括：

图像获取装置，其被配置为获取输入图像；以及

图像恢复处理装置，其被配置为通过计算输入图像和图像恢复滤波器来生成恢复图像，所述图像恢复滤波器是基于被用于形成作为输入图像的被摄物图像的图像拾取系统的传递函数而生成的，

其中所述图像恢复滤波器是执行恢复以使得所述图像拾取系统的两个颜色分量的传递函数的绝对值之差减小的图像恢复滤波器。

6.一种图像处理装置，包括：

图像获取装置，其被配置为获取输入图像；以及

图像恢复处理装置，其被配置为通过计算输入图像和图像恢复滤波器来生成恢复图像，所述图像恢复滤波器是基于被用于形成作为输入图像的被摄物图像的图像拾取系统的传递函数而生成的，

其中所述图像恢复滤波器是基于所述图像拾取系统的传递函数和基于校正传递函数而被生成的，所述校正传递函数已被校正为使得两个颜色分量的传递函数的绝对值之差减小。

7.一种图像处理装置，包括：

第一恢复处理装置，其被配置为通过计算第一图像恢复滤波器和输入图像来生成第一恢复图像，所述第一图像恢复滤波器是基于获取作为所述输入图像的被摄物图像的图像拾取系统的传递函数而生成的；

差信息获取装置，其被配置为获取所述输入图像和所述第一恢复图像之间的差信息；以及

恢复调整图像生成装置，其被配置为通过根据调整系数组合所述差信息和所述输入图像来生成恢复调整图像，

其中所述第一图像恢复滤波器执行恢复以使得：当被摄物是白色点光源时，使所述第一恢复图像中的两个颜色分量的光谱之差小于所述输入图像中的这两个颜色分量的光谱之差。

8.一种图像处理装置，包括：

差信息获取装置，其被配置为获取第一恢复图像和第二恢复图像之间的差信息，所述第一恢复图像是通过计算第一图像恢复滤波器和输入图像而被生成的，所述第一图像恢复滤波器是基于获取作为所述输入图像的被摄物图像的图像拾取系统的传递函数而生成的，

所述第二恢复图像是通过计算第二图像恢复滤波器和所述输入图像而被生成的，所述第二图像恢复滤波器是基于所述图像拾取系统的传递函数而生成的；以及

恢复调整图像生成装置，其被配置为通过根据调整系数组合所述差信息和所述输入图像来生成恢复调整图像，

其中所述第一图像恢复滤波器执行恢复以使得：当被摄物是白色点光源时，使所述第一恢复图像中的两个颜色分量的光谱之差小于所述输入图像中的这两个颜色分量的光谱之差，

其中所述第二图像恢复滤波器执行恢复以使得：当被摄物是白色点光源时，使所述第二恢复图像中的两个颜色分量的光谱之差小于所述输入图像中的这两个颜色分量的光谱之差，以及

其中所述第二恢复图像的恢复程度低于所述第一恢复图像的恢复程度。

9.一种图像拾取装置，包括根据权利要求7或8所述的图像处理装置，所述图像处理装置处理作为所述输入图像的拍摄图像。

10.一种图像处理方法，包括：

获取输入图像的步骤；

获取第一恢复图像和输入图像之间的差信息的步骤，所述第一恢复图像是使用第一图像恢复滤波器和所述输入图像而被生成的，所述第一图像恢复滤波器是基于图像拾取系统的传递函数而生成的；以及

通过根据调整系数组合所述差信息和所述输入图像来生成恢复调整图像的步骤，

其中所述第一图像恢复滤波器执行恢复以使得：当被摄物是白色点光源时，使所述第一恢复图像中的两个颜色分量的光谱之差小于所述输入图像中的这两个颜色分量的光谱之差。

11.一种图像处理方法，包括：

获取输入图像的步骤；

获取第一恢复图像和第二恢复图像之间的差信息的步骤，所述第一恢复图像是通过计算第一图像恢复滤波器和所述输入图像而被生成的，所述第一图像恢复滤波器是基于用于获取所述输入图像的图像拾取系统的传递函数而生成的；

所述第二恢复图像是通过计算第二图像恢复滤波器和所述输入图像而被生成的，所述第二图像恢复滤波器是基于所述图像拾取系统的传递函数而生成的；以及

通过根据调整系数组合所述差信息和所述输入图像来生成恢复调整图像的步骤，

其中所述第一图像恢复滤波器执行恢复以使得：当被摄物是白色点光源时，使所述第一恢复图像中的两个颜色分量的光谱之差小于所述输入图像中的这两个颜色分量的光谱之差，

其中所述第二图像恢复滤波器执行恢复以使得：当被摄物是白色点光源时，使所述第二恢复图像中的两个颜色分量的光谱之差小于所述输入图像中的这两个颜色分量的光谱之差，以及

其中所述第二恢复图像的恢复程度低于所述第一恢复图像的恢复程度。