CN102970547B

CN102970547B - 图像处理设备、摄像设备和图像处理方法

Info

Publication number: CN102970547B
Application number: CN201210320880.1A
Authority: CN
Inventors: 加纳明
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-08-31
Filing date: 2012-08-31
Publication date: 2015-03-11
Anticipated expiration: 2032-08-31
Also published as: EP2566162A3; US9167216B2; CN102970547A; RU2523028C2; JP5868076B2; JP2013051598A; RU2012137082A; US20130050540A1; EP2566162A2; EP2566162B1

Abstract

本发明公开一种能够抑制图像恢复处理之后的图像中的着色的图像处理设备及其控制方法。在校正了光学摄像系统的倍率色像差之后，在应用图像恢复滤波器之前获得与着色有关的第一值。然后，应用基于表示光学摄像系统的像差的函数的、优选不校正倍率色像差的图像恢复滤波器。从应用图像恢复滤波器之后的图像获得与着色有关的第二值。根据在应用图像恢复滤波器前后分别所获得的第一值和第二值之间的差，进行用于校正着色的像素值校正。

Description

图像处理设备、摄像设备和图像处理方法

技术领域

本发明涉及一种图像处理设备、摄像设备和图像处理方法，尤其涉及一种使用图像恢复处理的图像校正技术。

背景技术

通过使用摄像设备拍摄被摄体所获得的图像的图像质量尤其因光学摄像系统的像差而劣化。例如，图像的模糊表示由光学摄像系统的球面像差、彗星像差、像场弯曲和像散等所导致的图像质量劣化。通过忽略作为光波的特性的衍射的影响，来自被摄体的一个点的光束穿过不具有像差的光学摄像系统在成像面上会聚成相同大小的一个点(焦点)。然而，实际上除衍射的影响以外，焦点还由于光学摄像系统的像差而扩散。

光学摄像系统的点扩散函数(PSF)表示焦点周围的强度分布，即由于衍射和光学摄像系统的像差而导致的图像的模糊，因此，将其称为模糊成分。该模糊成分不是表示由失焦状态所导致的模糊，而是表示即使在聚焦状态下也由光的衍射和光学摄像系统的像差所导致的模糊。

依赖于光的波长的模糊程度的变化可能导致在由光学摄像系统的轴向色像差、颜色球面像差和颜色彗星像差所引起的彩色图像中的色边纹。由光学系统的倍率色像差所导致的横向上的颜色偏差可以表示由依赖于光的波长的摄像倍率的变化所导致的重合失调或相位偏移。

通过对点扩散函数(PSF)进行傅立叶变换所获得的光学传递函数(OTF)用作像差的频率成分信息，并且以复数来表示。光学传递函数(OTF)的绝对值、即振幅成分被称为MTF(调制传递函数)，并且将相位成分称为PTF(相位传递函数)。MTF和PTF分别是由像差所导致的图像劣化的振幅成分和相位成分的频率特性。通过公式1将相位成分PTF表示为相位角：

PTF=tan^-1(Im(OTF)/Re(OTF)) ...(1)

其中，Re(OTF)和Im(OTF)分别表示光学传递函数的实部和虚部。

如上所述，由于光学摄像系统的光学传递函数使图像的振幅成分和相位成分两者劣化，所以类似于发生彗星像差的情况、被摄体图像的各个点相对于焦点不对称地模糊。

倍率色像差表示成像位置由于依赖于光的波长的摄像倍率的变化而移位这一现象。图像传感器通常设置有RGB颜色马赛克滤波器，并且各像素用于获得R、G和B颜色成分中的一个。除R、G和B波长之间的成像位置的重合失调以外，在每一所获得的颜色成分内发生各波长的成像位置的重合失调，即由相位偏移所导致的图像的扩散。尽管倍率色像差不能正确表示由简单平行移位所导致的颜色偏差，但是除非特别指明，在本说明书中，将颜色偏差和倍率色像差作为同义词使用。

已知一种被称为图像恢复方法或图像复原方法的、用于使用光学摄像系统的光学传递函数(OTF)的信息来校正振幅成分(MTF)和相位成分(PTF)的劣化的方法。因此，以下将用于使用光学摄像系统的光学传递函数的信息来校正图像劣化的处理称为图像恢复处理。

这里将概要说明图像恢复处理。假定g(x，y)是劣化图像，f(x，y)是原始图像，并且h(x，y)是通过对光学摄像系统的光学传递函数进行逆傅立叶变换所获得的点扩散函数。那么，

g(x,y)=h(x,y)*f(x,y) ...(2)

其中，算符“*”表示卷积，并且(x，y)表示图像上的坐标。

对公式2进行傅立叶变换以获得二维频面上的显示形式，结果产生针对各频率的积的形式，如通过公式3所示：

G(u,v)=H(u,v)·F(u,v) ...(3)

其中，H表示通过对点扩散函数进行傅立叶变换所获得的光学传递函数，并且(u，v)表示二维频面上的坐标、即频率。

为了根据所拍摄的劣化图像获得原始图像，仅需要将公式3的两边除以H，如公式4所示：

G(u,v)/H(u,v)=F(u,v) ...(4)

通过对F(u，v)进行逆傅立叶变换以返回实面，获得原始图像f(x，y)作为恢复图像。

假定在上述经过了逆傅立叶变换的公式中，R为1/H。那么通过对实面上的图像执行卷积处理可以获得原始图像，如公式5所示：

g(x,y)*R(x,y)=f(x,y) ...(5)

将R(x，y)称为图像恢复滤波器。要应用于二维图像的图像恢复滤波器通常是具有与图像的各像素相对应的抽头(单元)的二维滤波器。此外，随着图像恢复滤波器的抽头(单元)的数量增大，恢复精度通常提高。根据所需图像质量、图像处理能力和像差特性等设置抽头的实际数量。由于图像恢复滤波器是基于反映光学摄像系统的像差特性的光学传递函数，所以可以高精度地校正频率成分和相位成分的劣化。这类图像恢复滤波器在根本上不同于如在水平方向和垂直方向上各自具有三个抽头的边缘增强滤波器(高通滤波器)那样的二维滤波器。

例如，日本3532368号专利公开了一种方法，该方法用于使用与要使用的荧光波长相对应的点扩散函数来消除通过用于观察生物体内部的荧光内窥镜所拍摄的图像的除聚焦范围以外的部分的图像的模糊。

注意，由于实际图像包括噪声成分，所以使用通过获得光学传递函数的完全倒数所创建的图像恢复滤波器，放大了噪声成分，因而使得难以获得高质量恢复图像。通过获得光学传递函数的完全倒数所创建的图像恢复滤波器通过校正(增大)光学摄像系统的MTF，使光学摄像系统从振幅劣化恢复，从而使得MTF对于所有频率都变成1。如果图像的振幅成分附加有噪声的振幅，则噪声的能量谱随着MTF增大而增大，从而并非希望地根据MTF的恢复程度(恢复增益)放大了噪声。

可以如下表示该现象：

G(u,v)=H(u,v)·F(u,v)+N(u,v) ...(6)

G(u,v)/H(u,v)=F(u,v)+N(u,v)/H(u,v)...(7)

其中，N表示噪声成分。

有一种众所周知的用于使用如Wiener滤波器(后面详细说明)那样的图像恢复滤波器来抑制恢复图像中的噪声的方法，其中，该图像恢复滤波器用于根据图像信号和噪声信号之间的强度比，抑制图像的高频侧的恢复率。

有一种众所周知的技术用于通过对拍摄图像进行使用光学摄像系统的点扩散函数的图像恢复处理校正各种像差、来提高图像质量。

然而，在实际拍摄操作中，输入图像的拍摄状态与要应用的图像恢复滤波器的状态可能不会最优地一致。

一个例子是立体被摄体的拍摄图像。由于摄像设备通过利用自动调焦功能或者手动调焦聚焦于被摄体空间中的一个平面上来拍摄图像，所以相对锐利地拍摄到位于焦平面中的被摄体。以与相距焦平面的距离相对应的模糊量拍摄到其它被摄体(包括处于不同于焦平面的位置处的同一被摄体的部分)。

如果与被摄体距离有关的信息仅包括与焦平面的距离，则选择或生成针对被摄体距离和视角的最佳图像恢复滤波器来使用。因此，由于对聚焦状态的被摄体应用最佳图像恢复滤波器，所以对于这类被摄体可以获得想要的恢复结果。然而，由于图像恢复滤波器对于失焦被摄体不是最佳的，所以在一定程度上获得恢复效果，但是对于这类被摄体不能消除模糊。

其它方面，使用照片中的被摄体的模糊作为用于产生被摄体的立体效果、或者表示感兴趣的被摄体的方法。例如，有这样一种拍摄技术，在该拍摄技术中，使用具有浅景深的远摄镜头聚焦于主被摄体，并且有意使背景模糊。考虑到存在这类拍摄技术，上述图像恢复处理可能是适当的，其中，使得聚焦被摄体更锐利，并且使失焦被摄体保持模糊。

然而，如果使用对于处于聚焦距离的被摄体最佳、而对于处于失焦距离的被摄体不是最佳的图像恢复滤波器来执行图像恢复处理，则在处于失焦距离处的被摄体可能发生着色。着色在这里表示：由于图像恢复处理之前的图像的各个颜色成分的模糊程度之间的关系不同于图像恢复处理之后的图像的各个颜色成分的模糊程度之间的关系，所以在图像恢复处理之后，在图像的失焦距离处的被摄体(失焦被摄体)的边缘部处出现被摄体不具有的颜色(伪色)。

在用于拍摄立体被摄体的操作以外的操作中，也可能发生这类着色。不管被摄体是否处于聚焦，大体上在拍摄图像时像差的状态不同于通过要应用的图像恢复滤波器校正后的像差的状态时发生着色。

作为用于减小这类着色的方法，提出了一种用于基于图像恢复处理之前的图像的颜色信息来校正图像恢复处理之后的图像的颜色的方法。也就是说，该方法用于通过确定图像的各像素的由图像恢复处理所导致的颜色变化，降低由图像恢复处理所导致的着色。由于诸如由轴向色像差、颜色球面像差或颜色彗星像差所导致的色边纹、以及由倍率色像差所导致的颜色偏差等的光学摄像系统的各种像差，因此在图像恢复处理之前的拍摄图像中已存在着色。如果在图像恢复处理之前的图像中存在这类着色，则在一些情况下，基于图像恢复处理之前的图像的颜色信息的方法不能充分抑制图像恢复处理之后的图像中的着色。

为了提高图像质量，在图像恢复处理中所发生的着色是不可忽略的图像质量劣化，并且必须进行充分抑制。

日本3532368号专利所述的方法试图通过对拍摄图像的失焦范围执行图像恢复处理来补足光学摄像系统的浅景深。在日本3532368号专利所述的图像恢复处理中，即使可以提高失焦范围的锐度，如果在图像恢复处理之前的拍摄图像中存在着色，则也不能充分抑制图像恢复处理之后在图像中所发生的着色。

发明内容

考虑到传统技术的上述问题做出本发明，并且本发明提供一种能够抑制图像恢复处理之后的图像中的着色的图像处理设备、摄像设备和图像处理方法。

根据本发明的一个方面，提供一种图像处理设备，一种图像处理设备，其用于校正在通过摄像设备所拍摄的图像中、由所述摄像设备中的光学摄像系统的像差所导致的图像质量的劣化，所述图像处理设备包括：第一倍率色像差校正部件，用于针对所述图像进行对所述光学摄像系统的倍率色像差的校正；第一获得部件，用于获得与校正了所述倍率色像差的图像的着色有关的第一值；图像恢复处理部件，用于对校正了所述倍率色像差的图像应用基于表示所述光学摄像系统的像差的函数的图像恢复滤波器；第二获得部件，用于获得与应用了所述图像恢复滤波器的图像的着色有关的第二值；以及像素值校正部件，用于根据通过所述第一获得部件和所述第二获得部件所获得的第一值和第二值之间的差异，校正应用了所述图像恢复滤波器的图像的像素值。

根据本发明的其它方面，提供一种摄像设备，其包括：光学摄像系统，用于形成被摄体的光学图像；图像传感器，用于拍摄所述光学图像；以及所述的图像处理设备。

根据本发明的其它方面，提供一种图像处理方法其用于校正在通过摄像设备所拍摄的图像中、由所述摄像设备中的光学摄像系统的像差所导致的图像质量的劣化，该方法包括以下步骤：校正步骤，用于针对所述图像进行对所述光学摄像系统的倍率色像差的校正；第一获得步骤，用于获得与校正了所述倍率色像差的图像的着色有关的第一值；图像恢复处理步骤，用于对校正了所述倍率色像差的图像应用基于表示所述光学摄像系统的像差的函数的图像恢复滤波器；第二获得步骤，用于获得与应用了所述图像恢复滤波器的图像的着色有关的第二值；以及像素值校正步骤，用于根据在所述第一获得步骤和所述第二获得步骤中所获得的第一值和第二值之间的差异，校正应用了所述图像恢复滤波器的图像的像素值。

通过以下参考附图对实施例的说明，本发明的其它特征将显而易见。

附图说明

图1是示出根据本发明实施例作为图像处理设备的例子的摄像设备的结构的例子的框图；

图2A和2B是用于说明根据本发明实施例的图像恢复滤波器的图；

图3A～3D是用于说明根据本发明实施例的图像恢复处理的实空间和频率空间的特性的图；

图4A和4B是用于说明考虑倍率色像差而生成图像恢复滤波器的图；

图5是示出根据本发明实施例的倍率色像差检测/校正处理的流程图；

图6A和6B是用于说明根据本发明实施例的倍率色像差校正数据生成方法的图；

图7是示出根据本发明第一实施例的图像恢复处理的流程图；

图8是示出根据本发明实施例的点光源的图；

图9A～9C是用于说明根据本发明第一实施例的图像恢复处理的操作和效果的图；

图10A～10C是用于说明根据本发明第一实施例的图像恢复处理的操作和效果的图；

图11A～11D是各自示出根据本发明实施例的摄像设备的光学摄像系统的MTF和应用图像恢复滤波器之后的MTF的空间频率特性的例子的图；

图11E是示出通过应用图像恢复滤波器所获得的、根据本发明实施例的摄像设备的MTF的增大率/减小率(恢复增益)的图；

图12是示出根据本发明第二实施例的图像恢复处理的流程图；

图13A～13D是用于说明根据本发明第二实施例的图像恢复处理的操作和效果的图；以及

图14A～14D是用于说明根据本发明第二实施例的图像恢复处理的操作和效果的图。

具体实施方式

下面将根据附图详细说明本发明的实施例。

首先概要说明根据本发明实施例的图像恢复处理和倍率色像差检测/校正处理。

图像恢复处理

基本上，类似于上述传统图像恢复处理、使用图像恢复滤波器。作为图像恢复滤波器可使用的例子，下面的公式8表示Wiener滤波器的特性。

M (u, v) = \frac{1}{H (u, v)} \frac{{| H (u, v) |}^{2}}{{| H (u, v) |}^{2} + {SNR}^{2}} - - - (8)

其中，M(u，v)表示Wiener滤波器的频率特性，|H(u，v)|表示光学传递函数的绝对值(MTF)，并且SNR表示图像信号和噪声信号之间的强度比。通过上述公式显而易见，在该方法中，对于各频率，随着MTF减小而抑制恢复增益(恢复程度)，并且随着MTF增大而增大恢复增益。通常，由于光学摄像系统的MTF在低频侧大、而在高频侧小，所以充分抑制图像的高频侧的恢复增益。

如上所述，在向二维图像应用图像恢复滤波器时，形成具有与像素相对应的抽头的二维滤波器，并且可以基于光学摄像系统的像差特性和所需的恢复精度，确定抽头的数量。作为例子，图2A示意性示出作为具有11×11抽头、即在水平方向和垂直方向上各自具有11个抽头的二维滤波器所形成的图像恢复滤波器。图像恢复滤波器的抽头的值(系数值)的分布用于使由于光学摄像系统的像差而在空间上扩散的点扩散函数(在忽略衍射的影响时)理想地恢复成原始的一个点。

在图像恢复处理的步骤中，对于对各像素所执行的卷积处理(卷积积分运算、积和运算)，使用图像恢复滤波器的抽头系数值。在卷积处理中，使要处理的像素与图像恢复滤波器的中心抽头一致，以对要处理的像素的信号值应用图像恢复处理。在图像恢复滤波器的各抽头位置处，获得相应像素信号值和抽头系数值的积，并且以这些积之和来替换要处理的像素的信号值。

将参考图3A～3D说明图像恢复处理的实空间和频率空间的特性。图3A示出图像恢复处理之前的点扩散函数，并且图3B示出恢复处理之后的点扩散函数。参考图3C，附图标记401表示图像恢复处理之前的MTF，并且附图标记402表示图像恢复处理之后的MTF。参考图3D，附图标记403表示图像恢复处理之前的PTF，并且附图标记404表示图像恢复处理之后的PTF。通过图3A显而易见，图像恢复处理之前的点扩散函数不对称地扩散，这导致相应PTF具有非零值(图3D中以附图标记403表示)。由于图像恢复处理如图3C中MTF 402所示放大了MTF，并且如图3D中PTF 404所示将PTF校正成0，所以图像恢复处理之后的点扩散函数如图3B所示对称且锐利。

通过对基于光学摄像系统的光学传递函数的反函数(1/H)所设计的函数进行逆傅立叶变换，可以获得图像恢复滤波器。尽管可以使用上述Wiener滤波器作为图像恢复滤波器，但是可以使用其它滤波器。如果使用Wiener滤波器，则通过对光学传递函数的反函数进行逆傅立叶变换，可以创建卷积处理要使用的实空间的图像恢复滤波器。

接着说明考虑到倍率色像差来生成图像恢复滤波器。图4A中的曲线502表示在通过以曲线501的成像位置为基准进行平移所获得的位置处、作为具有与曲线501相同的形状的点扩散函数所成像的两个颜色成分。图4B示出此时的PTF。图4B中的直线601和602对应于图4A中的曲线501和502。直线602表示相位具有斜率。由于原始光学传递函数包括如图4B所示的线性PTF和如图3D的PTF 403一样的非线性PTF，所以图像恢复滤波器可以如图4B中的直线601所示校正这类PTF。

通过基于从PTF预先消除了线性成分的光学传递函数来生成图像恢复滤波器，可以生成不校正倍率色像差的平移成分的图像恢复滤波器。其它方面，如果在实空间下消除倍率色像差的成分，则可以通过生成将图4A的曲线502平移至曲线501的位置来减小差异的点扩散函数、并且对所生成的点扩散函数进行傅立叶变换，生成消除了倍率色像差的成分的光学传递函数。实际上，由于曲线501的点扩散函数的形状不同于曲线502的点扩散函数的形状，所以可以使用用于使曲线的重心相互一致的方法或者用于最小化曲线501和502之间的差的均方根值的方法、来使曲线重合。通过基于光学传递函数生成图像恢复滤波器，可以生成不校正倍率色像差的平移成分的图像恢复滤波器。

通过应用不校正倍率色像差的成分的图像恢复滤波器，变得可以独立于图像恢复处理来处理倍率色像差。也就是说，变得可以通过将作为倍率色像差的平移成分的颜色偏差的校正与对各颜色成分的不对称像差的校正和锐化分开来进行处理。

注意，由于即使在相同拍摄状态(相同变焦位置和相同的光圈的直径)下，光学传递函数也根据光学摄像系统的图像高度(图像的位置)而改变，所以希望根据图像高度来改变和使用图像恢复滤波器。

已说明了图像恢复处理的概要。

倍率色像差的检测和校正

如上所述，可以基于诸如PTF的线性成分和点扩散函数的形状等的光学摄像系统的设计值来计算倍率色像差的校正量。

图像上倍率色像差的出现可能由于光学摄像系统的制造偏差和拍摄图像时光源的光谱的变化而改变。作为用于应对这一变化的方法，存在用于从图像检测倍率色像差的方法。将参考图5说明用于从图像检测倍率色像差并对其进行校正的方法。如稍后所述，在根据本实施例的摄像设备(图1)中，图像处理单元104的图像恢复处理单元111可以执行下面的处理，这里将作为一般过程来说明该处理。

在步骤S201，获得拍摄图像作为输入图像。

在步骤S202，从图像检测由于倍率色像差而发生显著颜色偏差的边缘部。为了检测边缘，使用Y(亮度)平面。通过限制到像素值在从光学中心的径向方向上显著变化的边缘来进行检测，变得可以高精度地获得颜色偏差量。由于因倍率色像差所导致的颜色偏差在Y平面上表现为边纹，所以可以将对于多个连续像素、像素值单调增大或减小的具有一定程度的宽度的边缘当作为边缘检测的对象。

在步骤S203中，在步骤S202所检测到的各边缘处获得颜色偏差量。通过根据光学中心和各边缘之间的位置关系、应用垂直方向、横向、斜向上方向和斜向下方向中的一个作为要处理的颜色偏差的方向，试图使得处理简化。使用颜色成分之间的相关性来获得各边缘处的颜色偏差量。例如可以通过确定颜色成分之间的绝对差值之和来获得颜色偏差量。当相对于G平面在颜色偏差方向上移动R平面(或B平面)时，在所检测到的边缘周围的像素中搜索颜色成分的绝对差值之和最小的位置。基于移动之前的位置以及所检测到的绝对差值之和最小的位置，可以获得R平面(或者B平面)相对于G平面的颜色偏差量。

颜色偏差量在相对于G平面在朝向光学中心的方向上移位R平面(或者B平面)时具有负值，并且在相对于G平面在远离光学中心的方向上移位R平面(或者B平面)时具有正值。

在步骤S204，通过基于在步骤S202所检测到的各边缘的图像高度和在步骤S203所获得的各边缘处的颜色偏差量获得图像高度和颜色偏差之间的关系，来创建校正数据。

图像高度表示相对于与光学中心相对应的像素(以下简称为光学中心)的距离。

下面详细说明用于创建校正数据的过程。

(1)假定L为在步骤S202所检测到的边缘的图像高度，并且D是在步骤S203所获得的颜色偏差量。那么，如下获得相对于图像高度的颜色偏差比M：

M=D/L ...(9)

(2)如图6A所示，根据图像高度将图像分成多个区域(该情况下以附图标记h 1～h8表示)，并且选择边缘所属的区域。

(3)对于在图像中所检测到的各边缘进行操作(1)和(2)，对于根据图像高度分割得到的各区域累计颜色偏差比M，并且获得各区域的颜色偏差比M的平均值作为各区域的颜色偏差比。

(4)基于如图6B所示的图像高度和颜色偏差比，计算表示图像高度l和颜色偏差比M之间的关系的高阶多项近似式F(1)，并且使用其作为校正数据。图6B示出通过如下表示的三阶多项式计算校正数据的情况：

M=F(l)=al³+bl²+cl ...(10)

其中，a、b和c分别表示系数。

可以对图像内的所有边缘进行边缘的检测并获得颜色偏差量。例如，还可以通过当在根据图像高度分割得到的各区域中累计了数量等于或大于特定阈值的颜色偏差比时、终止用于检测边缘并且获得颜色偏差量的操作，在保持可靠性的同时提高处理的效率。

通过仅使用在根据图像高度分割得到的多个区域中发现了相应边缘的区域来计算高阶多项近似式，即使存在没有发现相应边缘的区域，也变得可以创建校正数据。

在步骤S205，使用在步骤S204所创建的校正数据校正颜色偏差。通过移位对象颜色成分的像素位置来进行校正。更具体地，例如，下面的方法可以进行校正。

在要校正的平面(R平面、B平面)中的像素(x，y)处，基于像素(x，y)的图像高度L和校正数据获得该像素(x，y)处的颜色偏差比M。假定与光学中心相对应的像素具有坐标(0，0)。

M=F(L) ...(11)

如下获得要通过颜色偏差校正生成的像素的坐标(X1，Y1)：

X1=M×X ...(12)

Y1=M×Y ...(13)

通过一般插值处理生成与要校正的平面中的坐标(X1，Y1)相对应的像素值，并且将该像素值设置为像素(X，Y)的像素值。对于所有像素执行这些操作，从而进行颜色偏差校正。

已概要说明了用于基于图像来创建倍率色像差校正数据、并且进行校正的处理。

摄像设备的结构

图1是示出作为根据本发明实施例的图像处理设备的例子的摄像设备的结构例子的框图。在本实施例中，说明应用了本发明的包括光学摄像系统和图像传感器的摄像设备的情况。然而，诸如光学摄像系统和图像传感器等的用于生成拍摄图像的组件在本发明中并非必需。

光学摄像系统101利用图像传感器102拍摄被摄体(未示出)的光学图像。图像传感器102将该图像转换成电信号，其中，通过A/D转换器103将电信号转换成数字信号，并且将其输入给图像处理单元104。图像处理单元104包括图像恢复处理单元111和用于执行除图像恢复处理以外的图像处理的其它图像处理单元112。图像恢复处理单元111从状态检测单元107获得摄像设备的拍摄状态信息。状态检测单元107可以直接从系统控制器110获得摄像设备的拍摄状态信息，或者可以从光学摄像系统控制单元106获得与光学摄像系统101相关联的拍摄状态信息。

然后，图像恢复处理单元111例如从存储单元108选择与拍摄状态相对应的图像恢复滤波器，并且对输入给图像处理单元104的图像执行倍率色像差校正处理和图像恢复滤波器应用处理。稍后将详细说明图像恢复处理。代替图像恢复滤波器、存储单元108可以保持用于生成图像恢复滤波器所需的信息(例如，与点扩散函数或光学传递函数有关的信息)。在这种情况下，图像恢复处理单元111从存储单元108选择与拍摄状态相对应的点扩散函数或光学传递函数有关的信息，以生成与拍摄状态相对应的图像恢复滤波器，并且使用所生成的图像恢复滤波器执行图像恢复处理。其它图像处理单元112对图像恢复处理之后的图像执行诸如伽马校正和颜色平衡调整等的预定图像处理，从而生成诸如JPEG文件等的图像文件。

系统控制器110将通过图像处理单元104处理后的输出图像以预定格式存储在图像记录介质109中。显示单元105可以显示通过对图像恢复处理之后的图像执行用于显示的预定处理所获得的图像、或者没有经过图像恢复处理或者经过了简单恢复处理的图像。

系统控制器110进行一系列控制操作，并且光学摄像系统控制单元106响应于来自系统控制器110的指示机械性地驱动光学摄像系统101(光圈101a、调焦透镜101b和光学变焦等)。系统控制器110是例如诸如CPU或MPU等的可编程控制器，并且通过执行存储在存储单元108中的程序实现摄像设备的整体操作。注意，尽管可以通过硬件实现图像处理单元104，但是还可以通过系统控制器110以软件形式实现图像处理单元104的至少一部分。

作为F值的拍摄状态设置来控制光圈101a的直径。根据被摄体距离、通过自动调焦(AF)机构或手动调焦机构(未示出)控制调焦透镜101b的位置来调整其焦点。光学摄像系统101可以包括诸如低通滤波器或红外截止滤波器等的光学元件。注意，当使用诸如低通滤波器等的影响光学传递函数的特性的元件时，在创建图像恢复滤波器时考虑由该光学元件所导致的光学传递函数的变化。由于红外截止滤波器也影响作为分光波长的点扩散函数的积分的R、G和B通道各自的点扩散函数，尤其影响R通道的点扩散函数，所以在创建图像恢复滤波器时考虑由红外截止滤波器所导致的点扩散函数的变化。

尽管将光学摄像系统101示出为图1的摄像设备的一部分，但是其可以具有如可更换镜头照相机一样的可更换结构。

图7是用于说明图像恢复处理单元111中的图像恢复处理的流程图。

在步骤S301，图像恢复处理单元111从状态检测单元107获得实际拍摄状态信息。拍摄状态表示诸如变焦位置、光圈的直径和被摄体距离等的摄像条件。注意，通常将拍摄状态信息写入图像文件的头部中。当对于拍摄图像执行图像恢复处理时，可以从图像文件获得拍摄状态信息。

在步骤S302，图像恢复处理单元111校正倍率色像差。通过如上所述移位像素位置来执行倍率色像差的校正处理，并且不应用用于校正光学系统的各种像差的图像恢复滤波器。可以使用基于光学摄像系统的设计值所计算出的值作为倍率色像差的校正量，或者可以通过如上所述从图像检测倍率色像差来确定校正量。

在步骤S303，图像恢复处理单元111选择适合摄像条件的图像恢复滤波器。此时，可以根据需要校正所选择的图像恢复滤波器。也就是说，准备离散的拍摄状态数据，以减少在存储单元108中预先准备的图像恢复滤波器的数据的数量，并且在执行图像恢复处理时，根据实际拍摄状态校正图像恢复滤波器。代替选择图像恢复滤波器，可以基于与用于生成图像恢复滤波器所需的光学传递函数有关的信息、根据拍摄状态来生成图像恢复滤波器。

对于本实施例中所使用的图像恢复滤波器，用于倍率色像差校正的平移成分被消除。也就是说，图像恢复滤波器至少包括球面像差校正成分、彗星像差校正成分、像场弯曲校正成分和像散校正成分中的一个，并且不包括倍率色像差校正成分。图像恢复滤波器通过校正像差的不对称和扩散使图像锐化，但是不校正倍率色像差的平移成分。如上所述，使用这类图像恢复滤波器能够独立于图像恢复处理来处理倍率色像差。也就是说，对各颜色成分的不对称像差的校正和锐化、以及对作为倍率色像差的平移成分的颜色偏差的校正可以分别处理。

在步骤S304，作为与在步骤S302校正了倍率色像差的图像的颜色相关联的特征量的例子，图像恢复处理单元111获得各像素的色差信息。在这种情况下，由R、G和B成分形成输入图像，并且将色差定义为相对于基准颜色G的信号值差。因而如下计算色差：

C1r(x,y)=R1(x,y)-G1(x,y) ...(14)

C1b(x,y)=B1(x,y)-G1(x,y) ...(15)

其中，R1、G1和B 1分别表示图像恢复处理之前的R、G和B信号值，(x，y)表示图像上的坐标值，并且C1r和C1b分别表示R和B成分相对于G成分的色差。

注意，如果输入图像是例如通过具有拜耳阵列原色滤波器的图像传感器所拍摄的所谓RAW图像，则各像素仅具有R、G和B成分中的一个。通过对G像素的值进行自适应插值来生成在R或B像素中的G成分的值，从而获得C1r和C1b。

另一方面，如果已执行了颜色插值处理，并且各像素具有R、G和B成分的值，则在各像素中获得C1r和C1b。如果各像素具有R、G和B成分的值，则可以基于各像素中的R、G和B成分的值获得Y(亮度)成分的值，从而分别获得R和B成分相对于亮度成分的色差作为C1r和C1b。

在步骤S305，图像恢复处理单元111使用在步骤S303所选择的或所生成的图像恢复滤波器对输入图像的各像素执行上述卷积处理。这使得能够校正由光学摄像系统101的像差所导致的点扩散函数的不对称，从而消除或者降低图像的模糊成分。

在步骤S306，类似于步骤S304，作为与步骤S305的图像恢复处理之后的图像的颜色相关联的特征量的例子，图像恢复处理单元111获得各像素的色差信息。注意，R2、G2和B2分别表示图像恢复处理之后的R、G和B信号值，(x，y)表示图像上的坐标值，并且C2r和C2b分别表示R和B成分相对于G成分的色差，如下定义该色差：

C2r(x,y)=R2(x,y)-G2(x,y) ...(16)

C2b(x,y)=B2(x,y)-G2(x,y) ...(17)

注意，类似于获得C1r和C1b的情况，如果输入图像是颜色插值之前的RAW图像，则通过对G像素的值进行自适应插值生成在R或B像素中的G成分的值，从而获得C2r和C2b。

另一方面，如果已执行了颜色插值处理，并且各像素具有R、G和B成分的值，则在各像素中获得C2r和C2b。

在步骤S 307，基于在步骤S 304和S 306所获得的图像恢复处理前后的各像素的色差信息的多个C1r、C1b、C2r和C2b，图像恢复处理单元111判断是否需要用于抑制着色的像素值调整。如下所述，可以基于色差是否增大、或者色差的符号是否相反来进行该判断。

图像恢复处理单元111对于R、G、B像素中的R和B像素(或者各像素中的R和B成分)进行判断。如果满足下面条件中的任一个，则判断为对于相应颜色成分的像素需要用于抑制着色的像素值调整。

·对R的判断

判断条件1：C1r(x，y)和C2r(x，y)具有相同符号，并且|C1r(x，y)|<|C2r(x，y)|。

判断条件2：C1r(x，y)和C2r(x，y)具有不同符号。

·对B的判断

判断条件1：C1b(x，y)和C2b(x，y)具有相同符号，并且|C1b(x，y)|<|C2b(x，y)|。

判断条件2：C1b(x，y)和C2b(x，y)具有不同符号。

对于作为判断结果被判断为需要像素值调整的像素，图像恢复处理单元111在步骤S308应用用于抑制着色的像素值调整。如下所述，像素值调整处理在色差增大时使用图像恢复处理之前的色差，并且在色差的符号相反时将色差设置成0。

·R的像素值调整

如果满足判断条件1(色差增大)：

则R2(x，y)=G2(x，y)+k×C1r(x，y)(0<k≤1) ...(18)

如果满足判断条件2(色差的符号相反)：

则R2(x,y)=G2(x,y) ...(19)。

·B的像素值调整

如果满足判断条件1(色差增大)：

则B2(x，y)=G2(x，y)+k×C1b(x，y)(0<k≤1) ...(20)

如果满足判断条件2(色差的符号相反)：

则B2(x,y)=G2(x,y) ...(21)。

如上所述，根据图7的流程图的处理在图像处理单元104(图像恢复处理单元111)中执行图像恢复处理。注意，由于即使在一个拍摄状态下，光学摄像系统101的光学传递函数也根据光学摄像系统的图像高度而改变，所以期望对于根据图像高度分割得到的各区域(图6中的区域h1～h8中的每一个)改变并执行上述图像恢复处理。更具体地，仅需要在执行卷积处理的同时使图像恢复滤波器扫描图像，从而顺次改变用于各区域的滤波器。也就是说，对各对象像素执行步骤S303的处理。

注意，为了简化和易于理解本实施例，假定应用图像恢复滤波器＝图像恢复处理。图像恢复处理可以包括诸如失真校正处理、周围光量校正处理和降噪处理等的其它校正处理作为其的一部分。

将参考图9A～9C和10A～10C，说明在步骤S302、S304、S305、S306和S308所进行的倍率色像差校正、在图像恢复处理前后获得多个色差信息和应用图像恢复滤波器的操作和效果的例子。

图9A～9C是各自示出在通过拍摄其周边存在点光源的视野所获得的如图8所示的输入中、点光源处及其周围的水平方向上的像素值的例子的示意图。在图9A～9C每一个中，上部分示出R和G成分的像素值，并且下部分示出上部分示出的R和G成分的值之间的差，即色差。

图9B示出失焦状态。与示出聚焦状态的图9A相比，在图9B中，与图9A同样发生由倍率色像差所导致的颜色偏差，但是G和R成分的模糊量大，并且G和R成分的模糊程度相互相等。在倍率色像差校正之后，R和G成分的位置相互一致，G和R成分的模糊程度相互相等，因此在该阶段不发生色边纹。在应用图像恢复滤波器之后，G和R成分的模糊量降低，但是G和R成分的模糊的剩余量相互不同，因而导致色边纹。色边纹是本实施例中要抑制的着色。

图10B示出与图9B相对应的、应用图像恢复滤波器前后的多个色差信息之间的关系。尽管应用图像恢复滤波器之前和倍率色像差校正之后的色差对于整个区域是0，但是在应用图像恢复滤波器之后，在边缘部中发生色差。因此，由于色差增大，所以步骤S307的判断处理判断为需要像素值调整，并且图像恢复处理单元111在步骤S308应用用于抑制着色的像素值调整。由于在步骤S308的像素值调整处理中，使用应用图像恢复滤波器之前和倍率色像差校正之后的色差，所以像素值调整处理之后的色差对于整个区域是0，从而获得适当抑制着色的图像。

如上所述，在本实施例中，可以有效抑制在对失焦部分应用图像恢复滤波器时所发生的着色。将参考图11A～11E说明分别在图9A所示的聚焦状态和图9B所示的失焦状态下，在应用图像恢复滤波器前后的G和R成分各自的模糊程度之间的差。图11A～11D是各自示意性示出光学摄像系统101的MTF和应用图像恢复滤波器之后的MTF的空间频率特性。图11E是示意性示出通过应用图像恢复滤波器所获得的MTF的增大/减小率(恢复增益)的图。

图11A示出聚焦状态下的光学摄像系统101的MTF，其中，与G成分相比，R成分劣化。在图9A的输入图像中，G和R成分的模糊程度不同，并且在点光源部中，与G成分相比、R成分的像素值的变化扩散。

图11B示出在聚焦状态下应用图像恢复滤波器之后的MTF，其中，适当校正了G和R成分的MTF，并且G和R成分相互一致。这是通过将图11A所示的MTF分别乘以图11E所示的恢复增益来获得的。由于将图像恢复滤波器设计成对聚焦的被摄体执行最佳图像恢复处理，所以在聚焦状态下执行适当图像恢复处理。因此，参考图9A，在应用图像恢复滤波器之后，适当消除了G和R成分的模糊，并且还消除了色边纹。

另一方面，图11C示出失焦状态下的光学摄像系统101的MTF，其中，与图11A所示的聚焦状态相比，G和R成分劣化、并且相互一致。在图9B的输入图像中，G和R成分的模糊程度相互相等，并且该模糊程度大于图9A所示的聚焦状态下的模糊程度。

图11D示出在失焦状态下应用图像恢复滤波器之后的MTF，其中，校正了G和R成分的MTF，但是与R成分相比、G成分劣化。这是通过将图11C所示的MTF分别乘以图11E所示的恢复增益来获得的。由于将图像恢复滤波器设计成对聚焦的被摄体执行最佳图像恢复处理，所以在失焦状态下可能不能获得期望的图像恢复结果。因此，参考图9B，在应用图像恢复滤波器之后，G和R成分的模糊量降低，但是与R成分相比、G成分扩散了。

图9C示出不同于本实施例，图像恢复滤波器包括倍率色像差校正成分的情况。

图9C示出在类似于图9B的失焦状态下应用包括倍率色像差校正成分的图像恢复滤波器的情况。输入图像与图9B的输入图像相同。尽管不进行倍率色像差校正，但是通过应用图像恢复滤波器来进行校正，因此应用图像恢复滤波器之后的图像也与图9B的图像相同。

图10C示出在应用图像恢复滤波器前后的多个色差信息之间的关系。由于颜色偏差，因而应用图像恢复滤波器之前的输入图像的色差在左边缘部具有正值，并且在右边缘部具有负值。在应用图像恢复滤波器之后，在这两个边缘部都发生具有负值的色差。因此，通过判断为色差的符号在左边缘部相反，步骤S307的判断处理确定为需要像素值调整。在步骤S308进行用于抑制着色的像素值调整，从而抑制着色。然而，由于在右边缘部色差未增大、色差的符号也未反转，所以确定为不需要像素值调整，因此不进行在步骤S308的像素值调整。在不抑制右边缘部的着色的情况下，输出图像恢复处理结果。

如上所述，如果图像恢复滤波器包括倍率色像差校正成分，则没有充分抑制在应用图像恢复滤波器时发生的着色，因而使图像质量劣化。

如上所述，根据本实施例，使用不校正倍率色像差的图像恢复滤波器作为用于校正光学摄像系统的像差的图像恢复滤波器，并且在应用图像恢复滤波器之前，通过不同于图像恢复滤波器的其它方法来校正倍率色像差。这使得可以与由倍率色像差所导致的着色分开来校正由图像恢复滤波器所导致的、在实际拍摄状态下的像差的状态不同于通过图像恢复滤波器假定的像差的状态时所发生的着色，从而有效抑制着色。

也就是说，可以将由倍率色像差的颜色偏差所导致的着色与在消除模糊时所发生的着色分开，从而仅抑制在消除模糊时所发生的着色。如上所述，根据本实施例，整体抑制着色的图像恢复处理是可能的。

第二实施例

将说明本发明的第二实施例。现说明将本实施例应用于类似于第一实施例的图1所示的摄像设备的情况。在本实施例中，图像处理单元104(图像恢复处理单元111)中的图像恢复处理不同于第一实施例中的处理。因此，将参考图12说明本实施例的图像恢复处理。

注意，图12的步骤S401～S405的处理与图7的步骤S301～S305的相同，并且省略对其的说明。本实施例的特征在于，在步骤S405应用图像恢复滤波器之后，在步骤S406，使用通过从图像检测倍率色像差所生成的校正量来校正倍率色像差。

图13A～13D和14A～14D是示出在本实施例的步骤S402、S404、S405、S406、S407和S408所进行的倍率色像差校正、在图像恢复处理前后获得多个色差信息以及应用图像恢复滤波器的操作和效果的例子的图。

图13A～13D是各自示出在通过拍摄其周边存在点光源的视野所获得的图8所示的输入中、点光源处及其周围的子午方向(从图像的中心的径向方向)上的像素值的例子的示意图。在各图13A～13D中，上部分示出R和G成分的像素值，并且下部分示出上部分所示的R和G成分的值之间的差，即色差。由于感兴趣的像素方向不同于图9A～9C的像素方向，所以发生不对称像差，并且左边缘部和右边缘部的模糊程度相互不同。

将参考图13A说明在应用不校正倍率色像差的图像恢复滤波器之后，在步骤S406通过从图像检测倍率色像差、并且对其进行校正所获得的效果。图13A示出聚焦状态。由于倍率色像差，输入图像的G和R成分发生颜色偏差，G和R成分的模糊程度相互不同，并且左边缘部和右边缘部的模糊程度由于像差不同而相互不同。

图13A中的“在倍率色像差校正之后1”示出在应用图像恢复滤波器之前在步骤S402所进行的倍率色像差校正处理的结果。在步骤S402进行倍率色像差校正处理，以获得颜色偏差尽可能不明显、但边缘部和右边缘部的像差状态保持相互不同的图像。可以使用基于光学摄像系统101的设计值所计算出的值作为倍率色像差的校正量，或者可以通过从图像检测倍率色像差来确定校正量。

通过应用图像恢复滤波器，校正和锐化在G和R成分的边缘处的不对称像差。然而，G和R成分之间的颜色偏差残留。例如，因为下面的情况导致该残留颜色偏差：由于光学摄像系统101的制造偏差和光源的光谱的变化，拍摄图像时的像差的状态不同于要通过图像恢复滤波器处理的像差的状态。此外，如果在应用图像恢复滤波器之前，在步骤S402所进行的倍率色像差校正处理中，通过从图像检测倍率色像差来确定校正量，则在不对称性残留的边缘处检测到倍率色像差量。因此，可能获得与适合图像恢复处理之后的边缘的状态的校正量不同的倍率色像差的校正量。在这种情况下，颜色偏差残留。

因为这些原因，本实施例应对在应用图像恢复滤波器之后残留的颜色偏差。在步骤S406，作为第二倍率色像差校正部件的图像恢复处理单元111从应用图像恢复滤波器之后的图像检测倍率色像差，并且对其进行校正。图13A中的“在倍率色像差校正之后2”示出在步骤S406的倍率色像差校正处理之后的状态。在“在倍率色像差校正之后2”中，适当校正残留的颜色偏差。对于输入图像，边缘经过了不对称像差校正，并且被锐化。因此，G和R成分相互一致，并且消除了色边纹

在步骤S407，类似于步骤S306，作为与步骤S406的倍率色像差校正处理之后的图像的颜色相关联的特征量的例子，图像恢复处理单元111获得各像素的色差信息。

在步骤S408和S409要执行的处理与第一实施例中所述的图7的步骤S307和S308的相同，并且省略对其的说明。

图14A示出在图13A所示的聚焦状态下在步骤S404和S407所获得的多个色差信息。在这种情况下，在应用图像恢复滤波器之前的“倍率色像差校正之后1”中的色差在边缘部具有值，并且在应用图像恢复滤波器之后的“倍率色像差校正之后2”中的色差对于整个区域都是0。因此，步骤S408的判断处理判断为不需要用于抑制着色的像素值调整，因而原样获得“倍率色像差校正之后2”的图像作为图像恢复处理结果。

图13B示出下面的情况：不同于本实施例，在应用图像恢复滤波器之后，对与图13A的相同的输入图像不进行步骤S406的倍率色像差校正处理。在这种情况下，在残留应用图像恢复滤波器之后的颜色偏差的情况下执行步骤S407的色差信息获得处理。如图14B所示，在图像恢复处理之后，在左边缘色差的符号反转，并且在右边缘处色差增大，在步骤S409进行用于抑制着色的像素值调整。这种情况下的输出图像处于图13B的“像素值调整之后”所示的状态。尽管通过步骤S409的着色抑制处理抑制了着色，但是与在步骤S406进行倍率色像差校正处理时的图13A相比，仍残留着色。如上所述，可以通过在应用图像恢复滤波器之后、在判断是否需要着色抑制处理之前的图像中检测倍率色像差并且校正所检测到的像差，来适当抑制着色。

说明了本发明的第二实施例。如上所述，即使从图像检测到了倍率色像差，然后在应用图像恢复滤波器之后对其进行校正，本发明也是有效的。

图13C示出与图13A相对应的失焦状态。参考图13C，由于倍率色像差，在输入图像中发生了G和R成分之间的颜色偏差，G和R成分的模糊程度相互相等，并且左边缘和右边缘处的模糊程度由于左边缘和右边缘处的像差不同而相互不同。在步骤S402进行倍率色像差校正处理之后的“倍率色像差校正之后1”中，R和G成分的位置相互一致，G和R成分的模糊程度相互相等，因此在该阶段不会发生色边纹。

在应用图像恢复滤波器之后，G和R成分的模糊量减少，但是G和R成分的模糊残留量相互不同，因而导致色边纹。左边缘和右边缘处的色边纹的状态相互不同，并且可以作为颜色偏差来处理该状态。在示出在步骤S406从应用图像恢复滤波器之后的图像检测倍率色像差、并且对其进行校正所获得的结果的“倍率色像差校正之后2”中，左边缘和右边缘处的色边纹程度相互相等。图14C示出这种情况下图像恢复处理前后的这多个色差信息之间的关系。应用图像恢复滤波器之前的“倍率色像差校正之后1”中的色差对于整个区域都是0，并且在应用图像恢复滤波器之后的“倍率色像差校正之后2”中，在边缘部发生色差。因此，步骤S408的判断处理判断为需要用于抑制着色的像素值调整，并且在步骤S409进行用于抑制着色的像素值调整。在步骤S409，使用应用图像恢复滤波器之前的“倍率色像差校正之后1”中的色差。像素值调整处理之后的色差对于整个区域都是0，并且获得适当抑制了色差的图像作为图像恢复处理结果。

图13D示出不同于本实施例的、图像恢复滤波器包括倍率色像差校正成分的情况。

在图13D中，输入图像与图13C的相同。由于通过在步骤S402不进行倍率色像差校正的情况下应用图像恢复滤波器来进行倍率色像差校正，所以应用图像恢复滤波器之后的图像和“倍率色像差校正之后2”中的图像与图13C的相同，其中，在“倍率色像差校正之后2”中，从应用图像恢复滤波器之后的图像检测到了倍率色像差，然后对其进行了校正。图14D示出这种情况下在图像恢复处理前后的这多个色差信息之间的关系。由于左边缘和右边缘的一部分中的色差的符号反转，所以步骤S408的判断处理判断为需要用于抑制着色的像素值调整，并且在步骤S409进行用于抑制着色的像素值调整。这种情况下的输出图像处于图13D的“像素值调整之后”所示的状态。尽管通过着色抑制处理抑制了着色，但是与根据本实施例的图13C相比，仍残留着色。

如上所述，根据本实施例，在应用不校正倍率色像差的图像恢复滤波器之后，并且在是否进行用于抑制着色的像素值调整的判断之前，从应用图像恢复滤波器之后的图像检测倍率色像差，然后对其进行校正。这使得能够获得更好的着色抑制效果。

其它实施例

在上述实施例中，说明了使用色差作为与图像恢复处理前后的图像的着色有关的值的情况。然而，本发明不局限于使用色差，并且还可以使用与着色有关的其它值，其中，可以使用该值来校正由于应用图像恢复滤波器所发生的着色。在图像恢复处理前后的图像中，例如，在相对于G平面在子午方向上移动R平面(或者B平面)的同时，可以在Y平面中所检测到的边缘周围的像素中搜索颜色成分之间的绝对差值之和最小的位置。基于移动之前的位置以及所检测到的绝对差值之和最小的位置，可以获得R平面(或者B平面)相对于G平面的颜色偏差方向和量，从而使用所获得的颜色偏差方向和量作为特征量。如果相对于图像恢复处理之前的图像的颜色偏差方向，图像恢复处理之后的图像的颜色偏差方向相反，则进行用于抑制着色的像素值调整。如果虽然颜色偏差方向不是相反的、但是图像恢复处理之后的颜色偏差量大于图像恢复处理之前的颜色偏差量，则进行用于抑制着色的像素值调整。

还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法实现本发明的方面，其中，利用系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的步骤。为此，例如，通过网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

注意，可以通过硬件(即分立电路、ASIC、可编程逻辑装置等)、软件(即软件和诸如CPU和MPU等的执行软件的处理器的组合)或者它们的组合来实现这些附图中的诸如“单元”和“部”等的各功能块。另外，注意，可以通过单个硬件体实现多个功能块。另外，注意，可以通过其它专用或非专用硬件来进行所述通过CPU进行的多个处理中的至少一个。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims

1.一种图像处理设备，其用于校正在通过摄像设备所拍摄的图像中、由所述摄像设备中的光学摄像系统的像差所导致的图像质量的劣化，所述图像处理设备包括：

第一倍率色像差校正部件，用于针对所述图像进行对所述光学摄像系统的倍率色像差的校正；

第一获得部件，用于获得与校正了所述倍率色像差的图像的着色有关的第一值；

图像恢复处理部件，用于对校正了所述倍率色像差的图像应用基于所述光学摄像系统的点扩散函数并且不校正倍率色像差的图像恢复滤波器；

第二获得部件，用于获得与应用了所述图像恢复滤波器的图像的着色有关的第二值；以及

像素值校正部件，用于根据通过所述第一获得部件和所述第二获得部件所获得的第一值和第二值之间的差异，校正应用了所述图像恢复滤波器的图像的像素值。

2.根据权利要求1所述的图像处理设备，其中，由R、G和B成分形成所述图像，与着色有关的所述第一值和所述第二值包含R成分或B成分的值与G成分的值之间的差，并且所述像素值校正部件校正像素的R成分或B成分的值。

3.根据权利要求1所述的图像处理设备，其中，由R、G和B成分形成所述图像，与着色有关的所述第一值和所述第二值包含R成分或B成分的值与基于R、G和B成分所生成的亮度成分的值之间的差，并且所述像素值校正部件校正像素的R成分或B成分的值。

4.根据权利要求1所述的图像处理设备，其中，由R、G和B成分形成所述图像，并且与着色有关的所述第一值和所述第二值包含与在Y平面中寻找边缘时所进行的R或B平面相对于G平面在子午方向上的移动有关的颜色偏差方向和大小，并且所述像素值校正部件校正像素的R成分或B成分的值，其中，所述颜色偏差方向和大小基于移动之前的位置以及在Y平面中所寻找到的边缘周围的像素中所搜索到的颜色成分之间的绝对差值之和最小的位置而获得。

5.根据权利要求1所述的图像处理设备，其中，还包括：

第二倍率色像差校正部件，用于从应用了所述图像恢复滤波器的图像检测倍率色像差，并且校正所检测到的倍率色像差，

其中，所述第二获得部件获得与由所述第二倍率色像差校正部件校正了倍率色像差的图像的着色有关的值。

6.根据权利要求1所述的图像处理设备，其中，基于所述光学摄像系统的如下点扩散函数生成所述图像恢复滤波器：通过将特定颜色成分的点扩散函数向其它颜色成分的点扩散函数的位置平移，减小了该点扩散函数的颜色成分之间的差。

7.根据权利要求1所述的图像处理设备，其中，所述图像恢复滤波器基于所述光学摄像系统的如下光学传递函数：从该光学传递函数的相位的频率特性中去除了线性成分。

8.一种摄像设备，其包括：

光学摄像系统，用于形成被摄体的光学图像；

图像传感器，用于拍摄所述光学图像；以及

根据权利要求1所述的图像处理设备。

9.一种图像处理方法，其用于校正在通过摄像设备所拍摄的图像中、由所述摄像设备中的光学摄像系统的像差所导致的图像质量的劣化，该方法包括以下步骤：

校正步骤，用于针对所述图像进行对所述光学摄像系统的倍率色像差的校正；

第一获得步骤，用于获得与校正了所述倍率色像差的图像的着色有关的第一值；

图像恢复处理步骤，用于对校正了所述倍率色像差的图像应用基于所述光学摄像系统的点扩散函数并且不校正倍率色像差的图像恢复滤波器；

第二获得步骤，用于获得与应用了所述图像恢复滤波器的图像的着色有关的第二值；以及

像素值校正步骤，用于根据在所述第一获得步骤和所述第二获得步骤中所获得的第一值和第二值之间的差异，校正应用了所述图像恢复滤波器的图像的像素值。