CN106162132A - 图像处理设备及其控制方法 - Google Patents

Abstract

本发明涉及一种图像处理设备及其控制方法。该图像处理设备能够适当地抑制图像恢复处理所引起的着色。计算恢复处理前的图像中的像素的颜色的特征量作为第一颜色特征量。使用图像恢复滤波器对该图像进行图像恢复处理。计算恢复处理后的图像中的像素的颜色的特征量作为第二颜色特征量。根据拍摄图像时的拍摄条件来使第一颜色特征量和第二颜色特征量中所包括的高频分量衰减。基于高频分量发生了衰减的第一颜色特征量和第二颜色特征量来校正恢复处理后的图像的像素值。

Description

图像处理设备及其控制方法

技术领域

本发明涉及用于进行图像恢复处理的图像处理设备及其控制方法和存储介质，并且尤其涉及使用图像恢复处理来校正劣化图像的方法。

背景技术

通常，在通过使用诸如数字照相机等的摄像设备拍摄被摄体来获得图像的情况下，图像例如由于摄像光学系统的像差而大幅劣化(即，图像是模糊的)。图像的模糊成分通常是由摄像光学系统的球面像差、彗星像差、像场弯曲或像散像差等所引起的。在不受衍射的任何影响的无像差状态下，来自被摄体的一点的光束在摄像装置的摄像面上再次汇聚于一点。另一方面，如果存在任何上述的像差，则应在摄像面上再次汇聚于一点的光发散，从而在如此形成的图像上产生模糊成分。

图像上所产生的模糊成分在光学上由点扩散函数(point spread function，PSF)来定义。尽管失焦的图像也是模糊的，但这里，即使在图像聚焦的情况下仍由摄像光学系统的像差所引起的图像的模糊被称为“模糊”。

关于彩色图像的颜色混合，由摄像光学系统的轴向色像差(axial chromaticaberration)、颜色的球面像差和颜色的彗星像差所引起的颜色混合可以被称为依赖于光的波长的不同方式的模糊。此外，关于图像的横向上的颜色偏移，由摄像光学系统的横向色像差所引起的颜色偏移可以被称为依赖于光的波长的由不同的摄像倍率所引起的位置偏移或相位偏移。

通过对上述的PSF进行傅立叶变换所获得的光学传递函数(OTF)是像差的频率分量，并且由复数来表示。光学传递函数(OTF)(以下，将“光学传递函数”适当地简称为“OTF”)的绝对值即振幅分量被称为调制传递函数(MTF)，并且相位分量被称为相位传递函数(PTF)。

这些MTF和PTF分别是像差所引起的图像的劣化的振幅分量和相位分量的频率特性。利用以下等式(1)将相位分量表示为相位角。注意，Re(OTF)和Im(OTF)分别表示OTF的实部和虚部：

PTF＝tan^-1{Im(OTF)/Re(OTF)}...(1)

摄像光学系统的OTF使图像的振幅分量和相位分量劣化，因而在劣化的图像中，被摄体的点例如在劣化是由彗星像差所引起的情况下呈非对称模糊。此外，在劣化是由横向色像差所引起的情况下，成像位置由于光波长之间的成像倍率的差异而发生偏移，并且在根据从被摄体反射的光的谱特性将该光作为RGB颜色成分进行接收的情况下，这引起颜色成分之间的图像倍率的不同。

这不仅引起红色、绿色和蓝色(RGB)成分之间的成像位置的偏移，而且还引起各颜色成分中的波长之间的成像位置的偏移。也就是说，图像由于相位偏移而发散。准确地说，横向色像差不产生单纯的平行颜色偏移。然而，除非另有规定，否则以下将假定颜色偏移具有与横向色像差相同的含义来给出说明。

作为用以校正振幅(MTF)的劣化和相位(PTF)的劣化的方法，例如，已知有使用摄像光学系统的OTF来校正劣化的方法。该方法被称为图像恢复或图像复原。在以下说明中，将用于使用摄像光学系统的OTF来校正图像的劣化的处理称为图像恢复处理或者简称为恢复处理。

现在，将说明图像恢复处理的概要。假定劣化图像由g(x,y)来表示，原图像由f(x,y)来表示，并且通过对OTF进行逆傅立叶变换所获得的PSF由h(x,y)来表示。在这种情况下，以下等式(2)成立。注意，*表示卷积，并且(x,y)表示图像的坐标。

g(x,y)＝h(x,y)*f(x,y)...(2)

在等式(2)通过傅立叶变换转换成基于频率的形式的情况下，这给出如以下等式(3)所表示的以频率为单位的积的形式。注意，H表示PSF的傅立叶变换的结果即OTF，并且G和F分别表示劣化图像g和原图像f的傅立叶变换的结果。(u,v)的值表示二维频率面上的点的坐标即频率。

G(u,v)＝H(u,v)·F(u,v)...(3)

为了根据经由拍摄所获得的劣化图像来获得原图像，仅需要如以下等式(4)所表示的那样将等式(3)的两边除以H即可：

G(u,v)/H(u,v)＝F(u,v)...(4)

通过利用逆傅立叶变换使等式(4)中的F(u,v)回到实面，可以获得作为恢复图像的原图像f(x,y)。

这里，在假定等式(4)中的1/H的逆傅立叶变换的结果由R来表示的情况下，通过如以下等式(5)所表示那样在实面上对图像进行卷积处理，同样可以获得原图像。

g(x,y)*R(x,y)＝f(x,y)...(5)

等式(5)中的R(x,y)被称为图像恢复滤波器。实际的图像具有噪声成分，因而如果如上所述使用由OTF的倒数所生成的图像恢复滤波器，则噪声成分随着劣化图像一起被放大，结果无法获得良好的图像。

为了防止放大噪声成分，例如，提出了如维纳(Wiener)滤波器中那样的根据图像与噪声之间的强度比来抑制图像的高频分量的恢复率的方法。此外，作为用以校正由颜色混合成分所引起的图像的劣化的方法，提出了通过校正上述的模糊成分以使得模糊量对于图像的各颜色成分而言为均一来校正颜色混合成分的方法。

顺带提及，OTF根据诸如变焦位置的状态和光圈的开口直径的状态等的拍摄状态而改变。因此，同样要求图像恢复处理中所使用的图像恢复滤波器根据拍摄状态而改变。例如，在用于观察活体内部的内窥镜中，提出了使用根据荧光波长的PSF来消除摄像部的聚焦范围以外的范围内的图像模糊的方法(参见日本特开平10-165365)。在该方法中，由于荧光较弱，因此要求具有小F值的物镜光学系统。然而，如果使用具有小F值的物镜光学系统，则焦深变浅，因而通过针对被摄体失焦的范围进行图像恢复处理来获得聚焦图像。

如上所述，对经由拍摄所获得的图像进行图像恢复处理，由此校正上述的各种像差，从而可以改善图像质量。然而，在进行拍摄时，拍摄状态和图像恢复滤波器的状态并非始终是最佳匹配。例如，在拍摄三维被摄体的情况下，发生这种问题。

在摄像设备中，通过使用自动调焦或手动调焦而聚焦于被摄体空间的一面来进行拍摄。这样，在被摄体为三维的情况下，被摄体距离依赖于视角而有所不同。聚焦物体被拍摄得较为锐化，而失焦物体被拍摄得具有依赖于距离的一定量的模糊。在仅针对聚焦点来获取与被摄体距离有关的信息的情况下，选择或生成对于该被摄体距离的各视角而言最佳的图像恢复滤波器来使用。

在图像恢复处理后的图像上，图像恢复滤波器对于聚焦物体而言是最佳的，因而可以获得期望的锐度。另一方面，图像恢复滤波器对于失焦物体而言不是最佳的，因而尽管获得了一些恢复效果，但图像仍是模糊的。

另一方面，传统上已知了依赖于被摄体距离的模糊程度在表现被摄体的三维度或者表现相对于背景孤立观察的物体方面产生极好的效果。例如，存在通过使用景深较浅的远摄镜头来表现图像以使得主对象聚焦并且意图使背景模糊的表现方法。在这种情况下，同样在图像恢复处理后的图像上，期望如下：使得聚焦物体更加锐化，失焦物体仍保持模糊，并且通过使用上述的图像恢复方法来进行模糊表现。

然而，如果使用对于失焦物体的距离而言并非最佳的图像恢复滤波器对该失焦物体进行图像恢复处理，则图像上有时发生“着色”(coloring)。注意，术语“着色”是指如下缺陷：由于失焦物体的边缘部分上的各颜色成分之间的模糊关系在图像恢复处理的执行前后有所不同，因而在图像恢复处理后的图像中发现未包括在被摄体内的颜色。

此外，这种着色有时不仅仅在拍摄三维被摄体时发生。更具体地，如果例如由于摄像光学系统的制造的变动或者拍摄时光源的谱的变动而引起实际拍摄状态下的像差状态与图像恢复滤波器的目标像差状态有所不同，则与被摄体是否聚焦无关地发生着色。

作为用以抑制上述的着色的方法，例如提出了用于基于与经过图像恢复处理前的图像有关的颜色信息来对图像恢复处理后的图像的颜色进行校正的方法。在该方法中，针对图像的各像素确定由图像恢复处理所引起的颜色变化，由此抑制图像恢复处理所引起的着色。

例如，提出了在经过图像恢复处理后的图像的色差变得比经过图像恢复处理前更大的情况下校正信号值以使得色差的量减少的方法(参见日本特开2010-86138)。

如上所述，通过对经由拍摄所获得的图像进行图像恢复处理以减少例如失焦物体的图像上所发生的着色、并且校正各种像差，可以改善图像质量。

然而，如下所述，在根据经过恢复处理前后的色差来进行着色抑制处理的情况下，图像中的被摄体的色调有时会发生改变或者变得不精确。此外，色调也根据摄像光学系统的特性以及摄像装置的感光度(ISO感光度)而改变。

然而，日本特开2010-86138中所述的方法没有解决这些改变，因而难以适当地抑制图像恢复处理所引起的着色。

发明内容

本发明提供一种能够适当地抑制图像恢复处理所引起的着色的图像处理设备及其控制方法和存储介质。

在本发明的第一方面中，提供一种图像处理设备，其用于使基于经由摄像光学系统形成在摄像装置上的光学图像所获得的图像的图像质量从劣化中恢复，所述图像处理设备包括：第一颜色特征量计算单元，用于计算预定恢复处理前的图像中的像素的颜色的特征量，作为第一颜色特征量；图像恢复处理单元，用于使用图像恢复滤波器对图像进行所述预定恢复处理；第二颜色特征量计算单元，用于计算从所述图像恢复处理单元输出的所述预定恢复处理后的图像中的像素的颜色的特征量，作为第二颜色特征量；衰减单元，用于根据拍摄图像时的拍摄条件来使所述第一颜色特征量和所述第二颜色特征量中所包括的高频分量衰减；以及校正单元，用于基于通过所述衰减单元使高频分量发生了衰减的所述第一颜色特征量和所述第二颜色特征量来校正所述预定恢复处理后的图像中的像素值。

在本发明的第二方面中，提供一种图像处理设备，其用于使基于经由摄像光学系统形成在摄像装置上的光学图像所获得的图像的图像质量从劣化中恢复，所述图像处理设备包括：第一颜色特征量计算单元，用于计算预定恢复处理前的图像中的像素的颜色的特征量，作为第一颜色特征量；图像恢复处理单元，用于使用图像恢复滤波器对图像进行所述预定恢复处理；合成单元，用于根据拍摄图像时的拍摄条件，通过将所述预定恢复处理前的图像与从所述图像恢复处理单元输出的所述预定恢复处理后的图像进行合成，来生成合成图像；第二颜色特征量计算单元，用于计算所述合成图像中的像素的颜色的特征量，作为第二颜色特征量；以及校正单元，用于基于所述第一颜色特征量和所述第二颜色特征量来校正所述合成图像中的像素值。

在本发明的第三方面中，提供一种图像处理设备的控制方法，所述图像处理设备用于使基于经由摄像光学系统形成在摄像装置上的光学图像所获得的图像的图像质量从劣化中恢复，所述控制方法包括以下步骤：计算预定恢复处理前的图像中的像素的颜色的特征量，作为第一颜色特征量；使用图像恢复滤波器对图像进行所述预定恢复处理；计算所述预定恢复处理后的图像中的像素的颜色的特征量，作为第二颜色特征量；衰减步骤，用于根据拍摄图像时的拍摄条件来使所述第一颜色特征量和所述第二颜色特征量中所包括的高频分量衰减；以及基于通过所述衰减步骤使高频分量发生了衰减的所述第一颜色特征量和所述第二颜色特征量来校正所述预定恢复处理后的图像中的像素值。

在本发明的第四方面中，提供一种图像处理设备的控制方法，所述图像处理设备用于使基于经由摄像光学系统形成在摄像装置上的光学图像所获得的图像的图像质量从劣化中恢复，所述控制方法包括以下步骤：计算预定恢复处理前的图像中的像素的颜色的特征量，作为第一颜色特征量；使用图像恢复滤波器对图像进行所述预定恢复处理；根据拍摄图像时的拍摄条件，通过将所述预定恢复处理前的图像与所述预定恢复处理后的图像进行合成，来生成合成图像；计算所述合成图像中的像素的颜色的特征量，作为第二颜色特征量；以及基于所述第一颜色特征量和所述第二颜色特征量来校正所述合成图像中的像素值。

在本发明的第五方面中，提供一种非瞬态计算机可读存储介质，用于存储计算机可执行程序，所述计算机可执行程序用于执行图像处理设备的控制方法，所述图像处理设备用于使基于经由摄像光学系统形成在摄像装置上的光学图像所获得的图像的图像质量从劣化中恢复，所述控制方法包括以下步骤：计算预定恢复处理前的图像中的像素的颜色的特征量，作为第一颜色特征量；使用图像恢复滤波器对图像进行所述预定恢复处理；计算所述预定恢复处理后的图像中的像素的颜色的特征量，作为第二颜色特征量；衰减步骤，用于根据拍摄图像时的拍摄条件来使所述第一颜色特征量和所述第二颜色特征量中所包括的高频分量衰减；以及基于通过所述衰减步骤使高频分量发生了衰减的所述第一颜色特征量和所述第二颜色特征量来校正所述预定恢复处理后的图像中的像素值。

在本发明的第六方面中，提供一种非瞬态计算机可读存储介质，用于存储计算机可执行程序，所述计算机可执行程序用于执行图像处理设备的控制方法，所述图像处理设备用于使基于经由摄像光学系统形成在摄像装置上的光学图像所获得的图像的图像质量从劣化中恢复，所述控制方法包括以下步骤：计算预定恢复处理前的图像中的像素的颜色的特征量，作为第一颜色特征量；使用图像恢复滤波器对图像进行所述预定恢复处理；根据拍摄图像时的拍摄条件，通过将所述预定恢复处理前的图像与所述预定恢复处理后的图像进行合成，来生成合成图像；计算所述合成图像中的像素的颜色的特征量，作为第二颜色特征量；以及基于所述第一颜色特征量和所述第二颜色特征量来校正所述合成图像中的像素值。

根据本发明，可以适当地抑制图像恢复处理所引起的着色。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1A～1D是用于说明经由摄像光学系统所获得的拍摄图像的PSF的G(绿色)成分和R(红色)成分的图，其中，图1A示出图像恢复处理前的PSF，图1B示出图像恢复处理后的PSF，图1C示出图像恢复处理前的像素值，并且图1D示出图像恢复处理后的像素值。

图2A～2E是用于说明沿着摄像设备使用的摄像装置所进行的光电转换期间所生成的包括噪声成分的图像中的一条线的G信号和R信号在经过恢复处理前后的像素值以及G信号和R信号之间的色差的图，其中，图2A示出恢复处理前的像素值的变化，图2B示出恢复处理后的像素值的变化，图2C示出恢复处理前的色差的变化，图2D示出恢复处理后的色差的变化，并且图2E示出恢复处理前后的色差的比较。

图3是作为配备有根据本发明的第一实施例的图像处理设备的摄像设备的数字照相机的框图。

图4是图3中出现的图像恢复处理器的框图。

图5是图4所示的图像恢复处理器所进行的图像恢复处理的流程图。

图6A～6E是用于说明输入至图4所示的图像恢复处理器的图像(RAW image，原始图像)的示例(拜耳阵列)的图，其中，图6A示出RAW图像的RGB面(拜耳阵列)，图6B～6D示出颜色成分各自的面，并且图6E示出经过插值处理的G成分面的状态。

图7A和7B是用于说明使用自适应像素插值处理方法对边缘部分所进行的像素插值的示例的图，其中，图7A示出表示边缘部分的亮度的像素值(信号值)的变化，并且图7B示出图7A中的像素阵列。

图8A～8I是用于说明具有拜耳阵列的像素的摄像装置通过拍摄所获得的RAW图像中的像素阵列的图，其中，图8A示出插值前的G成分面，图8B示出插值前的R成分面，图8C示出插值前的B成分面，图8D示出线性插值后的G成分面，图8E示出线性插值后的R成分面，图8F示出线性插值后的B成分面，图8G示出自适应插值后的G成分面，图8H示出自适应插值后的R成分面，并且图8I示出自适应插值后的B成分面。

图9A和9B是用于说明根据摄像装置的感光度所设置的参数的图，其中，图9A示出摄像装置被设置为高感光度的情况下所设置的参数的变化，并且图9B示出摄像装置被设置为低感光度的情况下所设置的参数的变化。

图10A和10B是用于说明图像恢复滤波器的图，其中，图10A示出图像恢复滤波器，并且图10B示出抽头和与抽头相关联的滤波器系数之间的关系。

图11A和11B是用于说明图4所示的图像恢复处理器所使用的图像恢复滤波器的图，其中，图11A示出针对G成分所应用的图像恢复滤波器，并且图11B示出针对R成分和B成分所应用的图像恢复滤波器。

图12A和12B是用于说明在对经过参考图5所述的图像恢复处理的图像以及没有经过该图像恢复处理的图像进行显像处理的情况下的表示边缘部分的亮度的像素值(信号值)的变化的图，其中，图12A示出低感光度的亮度的变化，并且图12B示出高感光度的亮度的变化。

图13A～13E是用于说明摄像光学系统的MTF与空间频率特性之间的关系的图，其中，图13A～13D各自示出摄像光学系统的MTF与应用了图像恢复滤波器之后所呈现的空间频率特性之间的关系，并且图13E示出由于应用图像恢复滤波器所引起的MTF的增减率(恢复增益)。

图14是示出沿着图3所示的照相机所拍摄到的具有许多噪声成分的图像的预定区域中的一条线的图像恢复前后的各色差的移动平均的图。

图15A～15C是用于说明用于改变色差带宽的滤波器的示例的图，其中，图15A示出第一滤波器，图15B示出第二滤波器，并且图15C示出第三滤波器。

图16是作为配备有根据本发明的第二实施例的图像处理设备的摄像设备的数字照相机中所使用的图像恢复处理器的示例的框图。

图17是图16所示的图像恢复处理器所进行的图像恢复处理的流程图。

图18A和18B是用于说明根据摄像装置的感光度所设置的合成参数的图，其中，图18A示出摄像装置被设置为高感光度的情况下所设置的合成参数的变化，并且图18B示出摄像装置被设置为低感光度的情况下所设置的合成参数的变化。

图19是示出沿着作为配备有根据第二实施例的图像处理设备的摄像设备的数字照相机所拍摄到的具有许多噪声成分的图像的预定区域中的一条线的图像恢复前后的各色差的移动平均的图。

具体实施方式

以下将参考示出实施例的附图来详细说明本发明。

这里，在说明根据本发明的第一实施例的图像处理设备之前，首先，将给出图像恢复处理所引起的图像质量的改善的说明。

图1A～1D是用于说明经由摄像光学系统所获得的拍摄图像的PSF的G(绿色)成分和R(红色)成分的图，其中，图1A示出图像恢复处理前的PSF，图1B示出图像恢复处理后的PSF，图1C示出图像恢复处理前的像素值，并且图1D示出图像恢复处理后的像素值。注意，图1A和1B各自的横轴和纵轴分别表示空间坐标和图像强度，并且图1C和1D各自的横轴和纵轴分别表示像素的坐标和像素值。

图1A示出PSF的G成分和R成分，并且根据这里所示的PSF的形状，可知发生了非对称像差。此外，R成分的锐度比G成分更低，并且根据该事实可知图像质量由于像差而大幅劣化。图1C示出通过对具有黑白颜色的被摄体的边缘部分进行拍摄所获得的图像的G成分和R成分的像素值。根据图1C可知：R成分的劣化程度比G成分更高，并且表示G成分和R成分的像素值的变化的线的倾斜彼此不同。

结果，由于像差的影响而在边缘部分的相对两侧上出现颜色混合。针对该颜色混合，即使在进行了利用像素偏移的颜色偏移校正处理的情况下，也由于倾斜的程度不同，因此无法完全校正颜色像差。图1B和1D分别示出对图1A所示的PSF以及图1C所示的边缘部分所进行的图像恢复处理的结果。

如图1B所示，对PSF进行校正以使得其锐度增加，并且使得G成分和R成分的形状彼此相似。此外，根据图1D可知使得G成分和R成分在边缘部分的倾斜均一，由此校正了颜色混合。也就是说，光学传递函数(OTF)的振幅分量和相位分量得到校正，由此图像的非对称模糊得到校正。

如上所述，通过对拍摄图像进行恢复处理，来校正各种像差，由此可以改善拍摄图像的图像质量。然而，在拍摄图像时，摄像装置所进行的光电转换期间所产生的噪声使得图像中包含噪声成分。通常，随着摄像装置被设置为更高的感光度，噪声成分变得更大。如果根据恢复处理前后的色差对包含由光电转换所引起的许多噪声成分的图像进行着色抑制处理，则图像中的被摄体的色调有时会发生改变。

图2A～2E是用于说明沿着摄像装置所进行的光电转换期间所生成的包括噪声成分的图像中的一条线的G信号和R信号在经过恢复处理前后的像素值以及G信号和R信号之间的色差的图，其中，图2A示出恢复处理前的像素值的变化，图2B示出恢复处理后的像素值的变化，图2C示出恢复处理前的色差的变化，图2D示出恢复处理后的色差的变化，并且图2E示出恢复处理前后的色差的比较。

在本示例中，尽管被摄体的亮度和颜色的变化小，但如图2A所示，在图像恢复处理前，像素值由于噪声成分而发生改变。然后，如果使用OTF的相位校正效果高的图像恢复滤波器，则由校正相位分量所引起的信号值的变化增加，使得恢复处理前后的色差的变化增加。

也就是说，如图2B所示，像素值的变化在图像恢复处理后没有减少。注意，在图2B中，“R”表示应用了图像恢复滤波器之后的R信号值，并且“R’”表示进行了用于抑制着色的校正的信号值。

图2C示出图像恢复处理前的色差，并且这里的色差是指G信号和R信号之间的差(R-G)。图2D示出图像恢复处理后的色差，其中“Cr”表示应用了图像恢复滤波器之后的色差，并且“Cr’”表示进行了用于抑制着色的校正的色差。在本示例中，针对色差在图像恢复处理后比图像恢复处理前更大的像素校正R信号，以使得色差的量减少。

图2E示出色差的移动平均以在图像恢复处理前后的各色差之间进行比较。尽管在摄像设备所进行的图像处理中进行所谓的色差平滑处理，但在本示例中，使用作为简化方法的移动平均来比较如所观看到的被摄体的图像的色调。

如图2E所示，在进行用于抑制着色的校正的情况下，在图像恢复处理前后发生色调的变化。此外，色调的变化呈现出根据噪声成分的量而有所不同的趋势。也就是说，色调的变化量同样根据摄像装置的感光度(ISO感光度)而改变。

图3是配备有根据本发明的第一实施例的图像处理设备的摄像设备的框图。

以示例的方式在图3中示出的摄像设备是数字照相机(以下简称为照相机)，并且包括摄像光学系统101。摄像光学系统101至少具备光圈101a和调焦透镜101b。诸如CMOS图像传感器等的摄像装置102配置在摄像光学系统101下游，并且经由摄像光学系统101入射的光学图像(被摄体图像)形成在摄像装置102上。

摄像装置102将光学图像光电转换成电信号，并且输出与光学图像相对应的电信号(模拟信号)。然后，通过模数(A/D)转换器103将模拟信号转换成数字信号，并且输入至图像处理器104。

图像处理器104包括：图像恢复处理器111，用于进行用于恢复劣化的图像质量的图像恢复处理；以及其它图像处理器112，用于进行预定处理。图像处理器104从状态检测部107获得表示照相机的拍摄状态的拍摄状态信息。状态检测部107可以被配置为直接从系统控制器110获得拍摄状态信息。附加地或可选地，状态检测部107可以被配置为从下述的摄像光学系统控制器106获得与摄像光学系统101有关的拍摄状态信息。

接着，图像处理器104根据拍摄状态信息从存储部108中选择图像恢复滤波器。图像处理器104对数字信号进行白平衡处理，然后利用图像恢复处理器111进行图像恢复处理。具体地，图像恢复处理器111进行用于对数字信号(即，图像)应用图像恢复滤波器的图像恢复处理。以下将说明图像恢复处理器111所进行的处理。

存储部108可以被配为不记录图像恢复滤波器本身，而是记录与生成图像恢复滤波器所需的光学传递函数(OTF)有关的OTF信息。在这种情况下，图像恢复处理器111根据拍摄状态信息从存储部108中选择OTF信息，并且基于所选择的OTF信息来生成图像恢复滤波器。然后，图像恢复处理器111使用所生成的图像恢复滤波器来对图像进行图像恢复处理。

其它图像处理器112对经过图像恢复处理的图像进行作为预定处理的伽玛校正和颜色平衡调整等，并且生成诸如JPEG文件等的图像文件(以下也称为输出图像)。

图像处理器104将输出图像以预定格式存储在图像记录介质109中。此外，图像处理器104对经过图像恢复处理的图像进行显示处理，由此将显示图像显示在显示部105上。

注意，图像处理器104可以在不进行图像恢复处理的情况下将显示图像显示在显示部105上，或者可以将经过简化的图像恢复处理的图像显示在显示部105上。

系统控制器110控制照相机的整体操作。例如，系统控制器110使摄像光学系统控制器106驱动摄像光学系统101。这样，摄像光学系统控制器106根据F值的拍摄状态设置来控制光圈101a的开口直径(孔径直径)。此外，摄像光学系统控制器106使用自动调焦(AF)机构(未示出)根据被摄体距离沿着光轴进行调焦透镜101b的驱动控制。注意，根据用户的操作，摄像光学系统控制器106可以使用手动调焦机构(未示出)来进行调焦透镜101b的驱动控制。

尽管未示出，但摄像光学系统101可以具备诸如低通滤波器和红外截止滤波器等的光学装置。在使用诸如低通滤波器等的影响OTF特性的光学装置的情况下，有时需要在生成图像恢复滤波器时考虑该光学装置的特性。

此外，在使用红外截止滤波器的情况下，该滤波器对各自是谱波长的PSF的积分值的RGB通道的各PSF(点扩散函数)产生影响，尤其对R通道的PSF产生影响，因而同样需要在生成图像恢复滤波器时考虑这种情况。尽管在所示的示例中示出摄像光学系统101作为照相机中一体化的组件，但如在单镜头反光照相机中使用的情况那样，摄像光学系统101也可以是可更换的类型。

图4是图3中出现的图像恢复处理器111的框图。此外，图5是图4所示的图像恢复处理器111所进行的图像恢复处理的流程图。

此外，图6A～6E是用于说明输入至图4所示的图像恢复处理器111的图像(RAW图像)的示例(拜耳阵列)的图，其中，图6A示出RAW图像的RGB面(拜耳阵列)，图6B～6D示出颜色成分各自的面，并且图6E示出经过插值处理的G成分面的状态。

首先，参考图6A～6E，包括各自与单色成分相关联的像素的RAW图像(参见图6A)被输入至图像恢复处理器111。这里，各单色成分面具有部分缺失状态下的信息(参见图6B～6D)。然后，如下所述，对G成分面进行像素插值，由此针对各像素提供与G成分有关的信息(参见图6E)。

接着，将参考图4～6E说明图像恢复处理。如上所述，图6A所示的RAW图像被输入至图像恢复处理器111。在开始进行图像恢复处理的情况下，图像恢复处理器111对RAW图像进行像素插值处理(步骤S201：在恢复前进行像素插值)。

在步骤S201中，首先，预恢复像素插值部(G)1001针对G成分面进行像素插值，并且输出插值后的G成分面。通过进行像素插值处理，G成分面的信息从图6B所示的部分缺失状态改变为图6E所示的针对各像素提供与G成分有关的信息的状态。然后，向预恢复像素插值部(R)1002和预恢复像素插值部(B)1003给出插值后的G成分面。预恢复像素插值部(R)1002和预恢复像素插值部(B)1003分别针对R成分和B成分进行像素插值，由此R成分面和B成分面各自具有与分别针对各像素所提供的R成分或B成分有关的信息。此后，插值后的从预恢复像素插值部(R)1002和预恢复像素插值部(B)1003输出的R成分面和B成分面分别被称为插值后的R成分面和插值后的B成分面。

针对具有拜耳阵列的摄像装置所进行的像素插值处理，已知有各种像素插值方法。通常采用的方法是用于使用周围像素的其它颜色成分的像素信息来生成插值像素的自适应像素插值处理方法。例如，为了通过进行插值处理针对一个像素生成R像素值，基于周围像素的G成分和B成分来确定用以对R像素值进行插值的方法。与简单地对一个颜色成分进行线性插值的方法不同，自适应像素插值处理可以减少由插值处理引起的伪色的生成以及锐度的下降。

图7A和7B是用于说明自适应像素插值处理方法对边缘部分所进行的像素插值的示例的图，其中，图7A示出表示边缘部分的亮度的像素值(信号值)的变化，并且图7B示出图7A中的像素阵列。

如果所示的边缘部分是非彩色的，则在获得摄像装置的各像素的RGB值的情况下，RGB的各颜色成分具有相同的值。在图7B所示的示例中，像素处于包括像素值100和200的像素阵列中。

图8A～8I是用于说明通过使用具有拜耳阵列的摄像装置进行拍摄所获得的RAW图像的像素阵列的图，其中，图8A示出插值前的G成分面，图8B示出插值前的R成分面，图8C示出插值前的B成分面，图8D示出线性插值后的G成分面，图8E示出线性插值后的R成分面，图8F示出线性插值后的B成分面，图8G示出自适应插值后的G成分面，图8H示出自适应插值后的R成分面，并且图8I示出自适应插值后的B成分面。

在实际中，通过具有拜耳阵列的摄像装置进行拍摄所获得的RAW图像针对各像素具有一个颜色成分，因而在针对各颜色成分提取值的情况下，像素阵列如图8A～8C所示的各颜色成分面那样。在各颜色成分面的像素阵列中，黑色所表示的像素是需要进行插值处理的像素。在这种情况下，理想地，经过像素插值处理的各颜色成分具有图7B所示的像素值。

在以下说明中，图8A～8C所示的像素阵列分别由G(x,y)、R(x,y)和B(x,y)来表示。在这种表示中，x表示水平方向上的坐标，并且y表示垂直方向上的坐标，x和y均是0～4的范围内的值。

如上所述，预恢复像素插值部(G)1001针对G成分进行像素插值处理。这里，针对图8A所示的G成分，预恢复像素插值部(G)1001进行用于使用周围像素的其它颜色成分的像素信息来生成插值像素的自适应像素插值处理。在以下说明中，自适应像素插值处理简称为自适应插值。

为了生成具有R成分的值的像素的G成分(例如，为了生成G(1,2))，使用以下等式(6)～(9)：

H_DIFF＝{R(x,y)–R(x-2,y)}+{R(x,y)–R(x+2,y)}...(6)

V_DIFF＝{R(x,y)–R(x,y-2)}+{R(x,y)–R(x,y+2)}...(7)

IF(|H_DIFF|>|V_DIFF|){G(x,y)＝(G(x,y-1)+G(x,y+1))/2}...(8)

ELSE{G(x,y)＝(G(x-1,y)+G(x+1,y))/2}...(9)

在图8B所示的针对插值前的R成分的像素插值中，预恢复像素插值部(R)1002进行用于使用周围像素的其它颜色成分的像素信息来生成插值像素的自适应像素插值处理。在这种情况下，预恢复像素插值部(R)1002按照以下方式使用插值后的G成分对插值前的R成分进行自适应像素插值处理。

为了在位于水平方向上相对两侧的邻接像素具有值的情况下生成像素的R成分(例如，为了生成R(2,0))，使用以下等式(10)和(11)：

Cr＝{R(x-1,y)–G(x-1,y)+R(x+1,y)–G(x+1,y)}/2...(10)

R(x,y)＝G(x,y)+Cr...(11)

为了在位于垂直方向上相对两侧的邻接像素具有值的情况下生成像素的R成分(例如，为了生成R(1,1))，使用以下等式(12)和(13)：

Cr＝{R(x,y-1)–G(x,y-1)+R(x,y+1)–G(x,y+1)}/2...(12)

R(x,y)＝G(x,y)+Cr...(13)

为了在位于斜向方向上相对两侧的邻接像素具有值的情况下生成像素的R成分(例如，为了生成R(2,1))，使用以下等式(14)和(15)：

Cr＝{R(x-1,y-1)–G(x-1,y-1)+R(x+1,y-1)

–G(x+1,y-1)+R(x-1,y+1)–G(x-1,y+1)

+R(x+1,y+1)–G(x+1,y+1)}/4...(14)

R(x,y)＝G(x,y)+Cr...(15)

因而，预恢复像素插值部(R)1002通过利用从邻接像素获取到的色差信息(R-G)对R成分进行插值来进行针对R成分的自适应插值。

以与插值前的R成分相同的方式，预恢复像素插值部(B)1003针对图8C所示的插值前的B成分进行用于使用周围像素的其它颜色成分的像素信息来生成插值像素的自适应像素插值处理。在这种情况下，预恢复像素插值部(B)1003使用插值后的G成分进行针对插值前的B成分的自适应像素插值处理。也就是说，预恢复像素插值部(B)1003基于从邻接像素获得的色差信息(B-G)来进行自适应像素插值。

图8G、8H和8I分别示出如上所述进行了自适应像素插值的G成分面、R成分面和B成分面。此外，以比较为目的，图8D～8F分别示出代替进行自适应插值而进行了一般线性插值的G成分面、R成分面和B成分面的各颜色面的示例。

在进行了线性插值的情况下，生成了除“100”和“200”以外的像素值，并且锐度相对于图7B所示的像素阵列有所下降。另一方面，在进行了自适应插值的情况下，图8G～8I所示的R、G和B成分的像素阵列在像素值方面相等，并且均与图7B所示的像素阵列一致。

如上所述，通过进行用于使用周围像素的其它颜色成分的像素信息来生成插值像素的自适应插值，可以生成锐度相对于图7B所示的像素阵列没有下降的图像。

注意，预恢复像素插值部(G)1001、预恢复像素插值部(R)1002和预恢复像素插值部(B)1003所进行的像素插值处理不限于上述的示例，还可以采用任何其它适当的插值方法。

如果认为插值处理的计算负荷的降低比插值处理的精度更重要，则可以使用一般线性插值而不使用插值后的G成分来进行针对R成分和B成分的插值处理。在使用线性插值的情况下，不需要将从预恢复像素插值部(G)1001输出的插值后的G成分面输入至预恢复像素插值部(R)1002和预恢复像素插值部(B)1003。

再次参考图4和5，第一色差计算部(R)1004基于插值后的G成分面和插值后的R成分面来计算第一色差信息(Cr)。同样地，第一色差计算部(B)1005基于插值后的G成分面和插值后的B成分面来计算第一色差信息(Cb)(步骤S202)。注意，在该计算中，将色差定义为相对于作为基准颜色的G成分的信号值的差。因此，利用以下各等式(16)～(19)来计算色差：

C1r(x,y)＝R(x,y)–G(x,y)...(16)

C1b(x,y)＝B(x,y)–G(x,y)...(17)

$C1r^{\′}(x,y)=\frac{{\mathrm{\Σ}}_{i=-k}^k{\mathrm{\Σ}}_{j=-k}^{k}C1r(x+i,y+j)}{{(2k+1)}^2}...\left(18\right)$

$C1b^{\′}(x,y)=\frac{{\mathrm{\Σ}}_{i=-k}^k{\mathrm{\Σ}}_{j=-k}^{k}C1b(x+i,y+j)}{{(2k+1)}^2}...\left(19\right)$

在等式(16)～(19)中，(x,y)表示图像上的坐标值，并且C1r、C1b、C1r’和C1b’分别表示R成分和B成分相对于G成分的色差。注意，第一色差信息(Cr)表示上述的C1r和C1r’，并且第一色差信息(Cb)表示上述的C1b和C1b’。

在等式(18)和(19)中，参数k表示获取色差信息的区域的大小。在参数k等于0的情况下，针对每一个像素获取色差信息。在参数k是正整数的情况下，获取与参数k的值相对应的区域的色差的平均值。

图9A和9B是用于说明根据摄像装置的感光度所设置的参数k的图，其中，图9A示出在摄像装置被设置为高感光度的情况下所设置的参数k的变化，并且图9B示出在摄像装置被设置为低感光度的情况下所设置的参数k的变化。

参考图9A，在摄像装置被设置为高感光度的情况下，噪声成分增加。在这种情况下，参数k根据摄像光学系统的光圈值(F值)而改变。然后，在F值被设置为比预定值更小的值(使得光圈101a的开口更开放)的情况下，随着F值变小(使开口更开放)，参数k线性增加。另一方面，在F值被设置为比预定值更大的值(使开口更闭合)的情况下，参数k保持为0。

如上所述，如果在图像恢复处理中OTF的相位校正量大，则无法在具有许多噪声成分的图像中适当地进行着色抑制处理。此外，例如包括通常为非对称的像差的彗星像差的横向色像差的影响倾向于随着开口变得更开放而更大。由于该原因，图像恢复处理中的相位校正的效果也倾向于随着开口变得更开放而更大。

因此，根据光圈值(F值)来设置参数k，并且如下所述，不以像素为单位来设置色差，而是将色差设置成邻接区域中的像素的色差的平均值。

如果作为将摄像装置设置为低感光度的结果、噪声成分的影响小，则如图9B所示，与F值无关地始终将参数k设置为0。然而，在紧凑的照相机单元中，存在即使在摄像装置被设置为低感光度的情况下噪声成分的影响也没有减少的类型。在这种情况下，仅要求与摄像装置的感光度无关地根据F值来设置参数k即可。

再次参考图4和5，恢复滤波器应用部(G)1006、恢复滤波器应用部(R)1007和恢复滤波器应用部(B)1008选择适用于拍摄条件的各图像恢复滤波器(步骤S203)。这样，可以根据需要来校正所选择的各图像恢复滤波器。例如，为了减少使得要预先记录在存储部108中的与图像恢复滤波器有关的数据项的数量，可以离散地记录数据项，并且在进行图像恢复处理之前，可以根据拍摄条件对这些数据项进行校正，由此生成图像恢复滤波器。

此外，如上所述，可以根据与生成图像恢复滤波器所需的OTF有关的数据来生成适应于拍摄条件的图像恢复滤波器。

然后，恢复滤波器应用部(G)1006、恢复滤波器应用部(R)1007和恢复滤波器应用部(B)1008分别使用图像恢复滤波器对颜色成分(G,R,B)的像素进行卷积处理(步骤S204)。这使得可以校正摄像光学系统101所引起的像差的非对称性并且消除或减少图像的模糊成分。

图10A和10B是用于说明图像恢复滤波器的图，其中，图10A示出图像恢复滤波器，并且图10B示出抽头(要与代表滤波器的差分方程中的滤波器系数相乘的各项)和与抽头相关联的滤波器系数之间的关系。

图10A所示的图像恢复滤波器是要应用于图像的各颜色面的图像恢复滤波器的示例，其中在图像的各颜色面中像素各自具有RGB的颜色成分中的一个关联颜色成分。在图像恢复滤波器中，抽头的数量可以根据摄像光学系统101的像差量来确定，并且所示的示例示出具有11×11个抽头的二维滤波器。图像恢复滤波器的各抽头对应于图像的一个像素，并且在图像恢复处理中进行卷积处理。

如图10A所示，分割成不少于100个抽头的二维滤波器被设置为图像恢复滤波器，由此甚至可以针对诸如摄像光学系统101所引起的球面像差、彗星像差、轴向色像差和非轴色斑等的在大区域中从成像位置起扩展的像差进行恢复处理。

在图10A中，省略了各抽头的滤波器系数。图10B示出图10A所示的图像恢复滤波器的滤波器系数，并且可以如上所述通过计算或测量摄像光学系统101的OTF并且对OTF的倒数进行逆傅立叶变换来获得该图像恢复滤波器。通常，需要考虑噪声成分的影响，因而可以选择并使用用以生成Wiener滤波器或与Wiener滤波器相关的图像恢复滤波器的方法。

此外，OTF不仅还可以包括摄像光学系统101的因素，而且还可以包括使输入至图像处理器104的图像数据劣化的因素。例如，低通滤波器针对OTF的频率特性抑制高频分量。此外，摄像装置的像素开口的形状和开口率同样影响频率特性。此外，光源的谱特性和各种波长滤波器的谱特性影响OTF。期望基于包括这些因素的广义的OTF来生成图像恢复滤波器。

此外，在图像是RGB格式的彩色图像的情况下，仅需要生成与R、G和B的各颜色成分相关联的三个图像恢复滤波器即可。摄像光学系统101具有颜色像差，这使得模糊在颜色成分之间有所不同，因而各颜色成分的图像恢复滤波器需要使这些图像恢复滤波器的特性根据颜色像差而略微不同。

这里，各颜色成分的图像恢复滤波器具有根据颜色像差而略微不同的特性，因而如图10B中所示，图10A的图像恢复滤波器的滤波器系数的变化针对各颜色成分而改变。图像恢复滤波器在水平方向和垂直方向上的抽头的数量不必相等，也就是说，抽头不必被排列成正方形阵列，并且抽头的排列可以根据期望而改变，只要考虑到卷积处理即可。

此外，如果图像恢复滤波器是基于预先从PTF中消除线性成分的OTF所生成的，则可以生成不校正作为平行颜色偏移的横向色像差的成分的图像恢复滤波器。另一方面，在消除空间区域中的横向色像差成分的情况下，生成平行偏移的PSF，并且对所生成的PSF进行傅立叶变换。这使得可以同样生成消除了横向色像差的成分的OTF。然后，通过基于如此生成的OTF生成图像恢复滤波器，可以生成不校正作为平行颜色偏移的横向色像差的成分的图像恢复滤波器。

注意，在针对通过预先使像素信号偏移而校正了横向色像差的图像进行图像恢复处理的情况下，使用如上所述生成的不校正横向色像差的成分的图像恢复滤波器。

图11A和11B是用于说明图4所示的图像恢复处理器111所使用的图像恢复滤波器的图。图11A示出要针对G成分应用的图像恢复滤波器，并且图11B示出要针对R成分和B成分应用的图像恢复滤波器。

图11A和11B示出要应用于针对各像素具有一个颜色成分的RAW图像的图像恢复滤波器。所示的图像恢复滤波器各自处于仅针对具有对象颜色成分的各像素设置系数(滤波器系数)的部分缺失状态。在图11A和11B中，各自具有滤波器系数的位置(块)由白色表示，并且各自具有0作为系数的其它位置由黑色表示。

在针对R、G和B的三个颜色成分进行图像恢复的情况下，图11A所示的图像恢复滤波器用作要应用于G成分的图像恢复滤波器。此外，图11B所示的图像恢复滤波器用作要应用于R成分和B成分的图像恢复滤波器。

更具体地，恢复滤波器应用部(G)1006进行用于将图6B所示的G成分面与图11A所示的图像恢复滤波器进行卷积的卷积处理。此外，恢复滤波器应用部(R)1007和恢复滤波器应用部(B)1008分别进行用于将图6C和6D所示的R成分面和B成分面与图11B所示的图像恢复滤波器进行卷积的卷积处理。

注意，如果RAW图像的G成分被分离成与R成分水平邻接的Gr成分以及与B成分水平邻接的Gb成分，则使用滤波器系数的数量与R成分和B成分相对应的图像恢复滤波器来进行针对Gr成分和Gb成分的图像恢复。在G成分被分离成Gr成分和Gb成分的情况下，尽管图像恢复的效果有时在锐度的改善方面有所减少，但消除了R成分、B成分、Gr成分和Gb成分之间的空间频率的差，因而可以预期如下的有利效果：图像恢复变得难以产生伪色。

再次参考图4和5，恢复后像素插值部(G)1009针对经过图像恢复的G成分进行像素插值(步骤S205)。此外，在步骤S205中，恢复后像素插值部(R)1010和恢复后像素插值部(B)1011基于从恢复后像素插值部(G)1009输出的插值后的G成分分别针对R成分和B成分进行像素插值处理。

恢复后像素插值部(G)1009、恢复后像素插值部(R)1010和恢复后像素插值部(B)1011所进行的该插值处理与预恢复像素插值部(G)1001、预恢复像素插值部(R)1002和预恢复像素插值部(B)1003所进行的插值处理相同。

如果针对恢复后像素插值部(R)1010和恢复后像素插值部(B)1011所进行的插值处理认为插值处理的计算负荷的降低同样重要，则可以在不使用插值后的G成分的情况下进行线性插值。

然后，第二色差计算部(R)1012基于从恢复后像素插值部(G)1009输出的插值后的G成分面以及从恢复后像素插值部(R)1010输出的插值后的R成分面来计算第二色差信息(Cr)(步骤S206)。此外，在步骤S206中，第二色差计算部(B)1013基于从恢复后像素插值部(G)1009输出的插值后的G成分面以及从恢复后像素插值部(B)1011输出的插值后的B成分面来计算第二色差信息(Cb)。

该步骤中第二色差计算部(R)1012和第二色差计算部(B)1013所进行的处理与第一色差计算部(R)1004和第一色差计算部(B)1005所进行的处理相同。利用以下等式(20)～(23)来计算第二色差(Cr和Cb)：

C2r(x,y)＝R(x,y)–G(x,y)...(20)

C2b(x,y)＝B(x,y)–G(x,y)...(21)

$C2r^{\′}(x,y)=\frac{{\mathrm{\Σ}}_{i=-k}^k{\mathrm{\Σ}}_{j=-k}^{k}C2r(x+i,y+j)}{{(2k+1)}^2}...\left(22\right)$

$C2b^{\′}(x,y)=\frac{{\mathrm{\Σ}}_{i=-k}^k{\mathrm{\Σ}}_{j=-k}^{k}C2b(x+i,y+j)}{{(2k+1)}^2}...\left(23\right)$

在等式(20)～(23)中，C2r和C2r’表示R成分相对于G成分的色差，并且C2b和C2b’表示B成分相对于G成分的色差。注意，第二色差信息(Cr)表示C2r和C2r’，并且第二色差信息(Cb)表示C2b和C2b’。

注意，如参考等式(18)和(19)所述，等式(22)和(23)中所使用的参数k是根据F值和摄像装置的感光度来设置的。

接着，像素值调整部(R)1014判断第一色差信息(Cr)和第二色差信息(Cr)各自是否满足预定判断条件。同样地，像素值调整部(B)1015判断第一色差信息(Cb)和第二色差信息(Cb)各自是否满足预定判断条件(步骤S207)。也就是说，像素值调整部(R)1014和像素值调整部(B)1015各自判断是否需要用于抑制着色的各像素值的调整。

在该判断中，判断色差是否增大或者色差的符号是否相反。在该步骤中，像素值调整部(R)1014和像素值调整部(B)1015分别针对R成分和B成分进行以下判断。然后，如果满足判断条件中的任何之一(步骤S207为是)，则像素值调整部(R)1014和像素值调整部(B)1015分别针对R成分和B成分的像素进行用于抑制着色的像素值调整(步骤S208)。

针对R成分的判断条件

判断条件1：C1r’(x,y)和C2r’(x,y)具有相同的符号，并且|C1r’(x,y)|<|C2r’(x,y)|

判断条件2：C1r’(x,y)和C2r’(x,y)具有不同的符号

针对B成分的判断条件

判断条件1：C1b’(x,y)和C2b’(x,y)具有相同的符号，并且|C1b’(x,y)|<|C2b’(x,y)|

判断条件2：C1b’(x,y)和C2b’(x,y)具有不同的符号

在步骤S208中所进行的用于抑制着色的像素值调整中，如下所述，在色差有所增大的情况下使用恢复前的色差。另一方面，如果色差的符号相反，则将色差设置为0。

针对R成分的像素值调整

如果满足判断条件1(色差增大)，则利用以下等式(24)来进行像素调整：

R(x,y)＝G(x,y)+C1r(x,y)...(24)

如果满足判断条件2(色差的符号相反)，则利用以下等式(25)来进行像素调整：

R(x,y)＝G(x,y)...(25)

针对B成分的像素值调整

如果满足判断条件1(色差增大)，则利用以下等式(26)来进行像素调整：

B(x,y)＝G(x,y)+C1b(x,y)...(26)

如果满足像素条件2(色差的符号相反)，则利用以下等式(27)来进行像素调整：

B(x,y)＝G(x,y)...(27)

接着，像素值调整后像素插值部1016对从恢复滤波器应用部(G)1006输出的G成分、从像素值调整部(R)1014输出的R成分以及从像素值调整部(B)1015输出的B成分进行像素插值处理(步骤S209)。然后，图像恢复处理器111终止图像恢复处理。

注意，如果判断条件1或判断条件2均不满足(步骤S207为否)，则处理直接进入步骤S209。

在步骤S209中，进行用于使用周围的其它颜色成分的像素信息来生成插值像素的自适应插值。这使得可以交互使用进行了着色抑制处理的颜色成分来进行像素插值处理。注意，针对像素值调整后像素插值部1016所进行的像素插值处理，可以采用与预恢复像素插值部(G)1001所进行的像素插值处理所采用的方法相同的方法。

注意，OTF即使在一个拍摄条件下也根据摄像光学系统的视角(图像高度)而改变，因而期望根据图像高度来针对图像的各分割区域改变图像恢复处理。这样，仅需要在进行卷积处理的同时在图像上扫描图像恢复滤波器即可，并且可以针对图像的各区域顺次改变图像恢复滤波器。也就是说，图5所示的步骤S203是针对图像恢复成分的各对象像素所进行的。

尽管在上述的示例中将图像恢复滤波器的应用描述为图像恢复处理，但这并非限制性的。例如，可以通过将图像恢复处理与诸如失真校正处理、周边光量校正处理和降噪处理等的其它处理相组合来进行图像恢复处理。

图12A和12B是用于说明在对经过参考图5所述的图像恢复处理的图像以及没有经过该图像恢复处理的图像进行显像处理的情况下的表示边缘部分的亮度的像素值(信号值)的变化的图。图12A示出低感光度的亮度的变化，并且图12B示出高感光度的亮度的变化。

图12A示出开口开放且感光度低、并且图像具有较少的在图像恢复中进行着色抑制处理的情况下引起色调变化的噪声成分的情况的示例。在图12A所示的示例中，边缘部分是失焦物体的边缘部分，并且对于没有进行图像恢复(未恢复)的边缘部分的像素值(信号值)，除非进行着色抑制处理，否则通过进行图像恢复会增加边缘部分的着色。

图13A～13E是用于说明MTF与空间频率特性之间的关系的图。图13A～13D各自示出摄像光学系统的MTF与应用了图像恢复滤波器之后所呈现的空间频率特性之间的关系，并且图13E示出由应用图像恢复滤波器所引起的MTF的增减率(恢复增益)。

图13A示出聚焦状态下摄像光学系统101的MTF，其中R成分比G成分更加劣化。图13B示出聚焦状态下的应用图像恢复滤波器之后所获得的MTF，其中G成分和R成分的MTF均进行了适当的校正，并且G成分和R成分的MTF彼此一致。

更具体地，在图13B所示的示例中，图13A所示的MTF分别与图13E所示的恢复增益相乘，由此G成分和R成分的MTF均得到适当的校正并且彼此一致。图像恢复滤波器被设计成能够针对聚焦物体最佳地进行图像恢复处理，这使得可以在聚焦状态下适当地进行图像恢复处理。因此，在聚焦的情况下，适当地消除了G成分和R成分的模糊，并且还消除了颜色混合。

另一方面，图13C和13D示出失焦状态下摄像光学系统101的MTF，其中G成分和R成分均呈现与图13A所示的特性不同的特性。图12A所示的边缘部分对应于图13D所示的MTF。

在图13D所示的MTF与图13E所示的恢复增益相乘的情况下，R成分校正过度，结果，如参考图12A和12B所述那样，在进行了恢复处理的边缘部分中发生着色。通过进行上述的图像恢复处理来抑制该着色。更具体地，由于感光度低，参数k等于0，因而可以充分地进行着色抑制。

在图12B所示的示例中，感光度高，并且RAW图像具有许多噪声成分。在这种情况下，可以认为，从摄像装置上所形成的光学图像获得的图像信息由于噪声成分而丢失。因此，在感光度低的情况下所发现的发现于失焦物体的着色在感光度高的情况下程度有所下降。此外，显像处理中所进行的降噪处理有时使得边缘部分中所发生的着色变得不明显。

也就是说，失焦物体中所发生的着色在高感光度的情况下倾向于不那么明显，因而在感光度高的情况下，即使通过使用根据周围像素所获得的色差的平均值也可以适当地抑制失焦物体等中所发生的着色。

图14是示出沿着具有许多噪声成分的图像的预定区域中的一条线的图像恢复前后的各色差的移动平均的图。

假定在预定区域中被摄体的亮度低并且颜色的变化小。已知如下：在进行参考图5所述的图像恢复处理的情况下，与参考图2E所述的状态相比，色调的变化有所减少。

如上所述，通过使用根据周围像素所获得的平均色差信息，可以使色差信息中的高频分量衰减，由此减少在图像的平坦部分具有许多噪声成分的情况下由相位校正所引起的色差信息的变化。结果，可以对具有许多噪声成分的图像进行适当的着色抑制处理。

这里，说明了用以在OTF的相位校正量大的情况下通过根据光圈值(F值)设置参数k来适当地抑制着色的方法。在镜头可更换型的单镜头反光照相机的情况下，相位校正量严格来说根据所安装的可更换镜头而有所不同。因此，通过根据依赖于可更换镜头的参数k来改变色差信息的调整，可以获得更期望的结果。

例如，可以在照相机中记录适用于各个可更换镜头的参数k，并且可以根据照相机上所安装的可更换镜头来选择参数k其中之一。

此外，即使在同一可更换镜头的情况下，OTF的相位校正量也随着焦距和拍摄距离而改变。因此，可以根据诸如焦距和拍摄距离等的各拍摄条件来将参数k记录在照相机中。在这种情况下，仅需要预先根据相位校正所引起的图像质量的变化来通过经验确定适当的参数k即可。

图15A～15C是用于说明用于改变色差带宽的滤波器的示例的图，其中，图15A示出第一滤波器，图15B示出第二滤波器，并且图15C示出第三滤波器。

这里，通过对色差信息应用具有图15A～15C所示的系数的滤波器中的不同滤波器来改变色差带宽。在这种情况下，利用以下的等式(28)和(29)来设置上述的C1r’和C1b’：

C1r’(x,y)＝LPF(x,y)*C1r(x,y)...(28)

C1b’(x,y)＝LPF(x,y)*C1b(x,y)...(29)

对色差C2r’和C2b’进行同样的设置。图15A～15C所示的滤波器是低通滤波器(LPF)，并且在摄像装置被设置为高感光度的情况下，根据光圈值，LPF与色差信息进行卷积。也就是说，根据光圈值，对色差信息进行低通滤波。更具体地，尽管在等式(18)、(19)、(22)和(23)中使用了色差的平均值，但在低通滤波中，根据相对于要计算的色差信息的像素的距离，使用不同的系数来进行卷积。

在开口更开放的情况下使用图15C所示的LPF。这使得色差信息的高频分量发生衰减。此外，在开口更闭合的情况下，通过使用图15A或15B所示的LPF来调整高频分量的衰减量。

如上所述，通过固定滤波器的抽头的数量，可以进行要应对的图像区域的大小为固定的处理。

如上所述，在本发明的第一实施例中，根据作为拍摄条件的摄像装置的感光度和光圈值来使高频分量衰减。这使得可以适当地抑制图像恢复处理所引起的着色。

接着，将给出作为配备有根据本发明的第二实施例的图像处理设备的摄像设备的照相机(以下称为“根据第二实施例的照相机”)的说明。注意，根据第二实施例的照相机在结构上与图3所示的照相机相同。

在上述的第一实施例中，通过使色差信息中的高频分量衰减来抑制图像恢复所引起的着色。在第二实施例中，在不使色差信息中的高频分量衰减的情况下抑制图像恢复所引起的着色。

图16是根据第二实施例的照相机中所使用的图像恢复处理器111的示例的框图。利用相同的附图标记来表示图16中与图4所示的图像恢复处理器的组件相同的组件，并且省略对其的说明。

图16所示的图像恢复处理器111包括合成部(G)1017、合成部(R)1018和合成部(B)1019。G成分和来自恢复滤波器应用部(G)1006的输出被输入至合成部(G)1017。此外，R成分和来自恢复滤波器应用部(R)1007的输出被输入至合成部(R)1018。此外，B成分和来自恢复滤波器应用部(B)1008的输出被输入至合成部(B)1019。

合成部(G)1017、合成部(R)1018和合成部(B)1019如下所述进行合成处理，并且分别将它们的输出传送至像素值调整后像素插值部1016、像素值调整部(R)1014和像素值调整部(B)1015。

图17是图16所示的图像恢复处理器111所进行的图像恢复处理的流程图。利用相同的步骤编号来表示图17中与图5中的流程图的步骤相同的步骤。此外，在图17的步骤S203中，通过上述的等式(16)和(17)来计算色差C1r和C1b。

参考图16和17，在执行了步骤S204之后，合成部(G)1017、合成部(R)1018和合成部(B)1019针对R、G和B的各颜色成分将图像恢复处理前的图像与图像恢复处理后的图像进行合成(步骤S305)。在合成图像时，合成部(G)1017、合成部(R)1018和合成部(B)1019分别使用以下等式(30)、(31)和(32)来进行图像合成。

注意，M表示合成参数。此外，(x,y)表示图像上的坐标值，R0、G0和B0表示经过图像恢复处理前的各颜色成分，R1、G1和B1表示经过图像恢复处理后的各颜色成分，并且R2、G2和B2表示合成后的各颜色成分。

G2(x,y)＝(1–M)×G0(x,y)+M×G1(x,y)...(30)

R2(x,y)＝(1–M)×R0(x,y)+M×R1(x,y)...(31)

B2(x,y)＝(1–M)×B0(x,y)+M×B1(x,y)...(32)

合成参数M表示合成率，并且在合成参数M等于1的情况下，恢复处理后的图像和合成处理后的图像彼此等效。另一方面，随着合成参数M接近于0，图像恢复处理前的图像的使用比例变高。

图18A和18B是用于说明根据摄像装置的感光度所设置的合成参数的图，其中，图18A示出摄像装置被设置为高感光度的情况下所设置的合成参数的变化，并且图18B示出摄像装置被设置为低感光度的情况下所设置的合成参数的变化。

参考图18A，在摄像装置被设置为高感光度的情况下，噪声成分增加。在这种情况下，合成参数M根据摄像光学系统的光圈值(F值)而改变。然后，在F值被设置为比预定值更小的值的情况下(使得开口更开放)，随着F值变小(使得开口更开放)，合成参数M逐渐线性减小。另一方面，在F值被设置为比预定值更大的值的情况下(使得开口更闭合)，合成参数M保持为1。

如上所述，如果在图像恢复处理中OTF的相位校正量大，则无法对具有许多噪声成分的图像进行适当的着色抑制处理。此外，通常，随着开口更开放，包括非对称彗星像差等的横向像差的影响倾向于更大。由于该原因，随着开口更开放，图像恢复处理中的相位校正的效果同样倾向于更大。

因此，根据光圈值(F值)来设置合成参数M，并且图像恢复的效果根据开口而改变。

注意，在作为将摄像装置设置为低感光度的结果、噪声成分的影响较小的情况下，如图18B所示，与F值无关地将合成参数M始终设置为1。然而，在紧凑的照相机单元中，存在即使在摄像装置被设置为低感光度的情况下噪声成分的影响也没有减少的类型。在这种情况下，仅需要与摄像装置的感光度无关地根据F值来设置参数M即可。

然后，执行上述的步骤S205和S206。在图17的步骤S206中，通过以下等式(33)和(34)来计算色差信息。注意，C2r表示R成分相对于G成分的色差，并且C2b表示B成分相对于G成分的色差。

C2r(x,y)＝R2(x,y)–G2(x,y)...(33)

C2b(x,y)＝B2(x,y)–G2(x,y)...(34)

然后，在图17的步骤S207中，判断是否需要用于抑制着色的像素值调整，但在该步骤中，使用以下判断条件。

针对R成分的判断条件

判断条件1：

C1r(x,y)和C2r(x,y)具有相同的符号，并且|C1r(x,y)|<|C2r(x,y)|。

判断条件2：

C1r(x,y)和C2r(x,y)具有不同的符号。

针对B成分的判断条件

判断条件1：

C1b(x,y)和C2b(x,y)具有相同的符号，并且|C1b(x,y)|<|C2b(x,y)|。

判断条件2：

C1b(x,y)和C2b(x,y)具有不同的符号。

在图17的步骤S208中，按照以下方式来进行像素值调整：

基于上述的等式(24)和(25)来进行针对R成分的像素值调整。此外，基于上述的等式(26)和(27)来进行针对B成分的像素值调整。

在执行了步骤S208后，按照参考图5所述的方式来执行步骤S209。

图19是示出沿着根据第二实施例的照相机中具有许多噪声成分的图像的预定区域中的一条线的图像恢复前后的各色差的移动平均的图。

假定在预定区域中被摄体的亮度低且颜色变化小。根据图19可知，通过进行参考图17所述的图像恢复处理，与参考图2E所述的状态相比，色调的变化有所减少。

如上所述，通过根据F值和ISO感光度来设置合成率，同样可以在具有许多噪声成分的图像中进行适当的着色抑制处理。

在高感光度下进行拍摄的情况下，图像的细节的信息由于噪声成分的影响而倾向于丢失。此外，期望通过考虑到噪声成分的放大来生成图像恢复处理中所使用的恢复滤波器。然而，难以完全将摄像光学系统的像差所引起的劣化图像与噪声成分分离，因而图像恢复处理使噪声成分放大。因此，通过采用上述的方法，尽管图像恢复处理的效果小，但可以适当地进行着色抑制。

在上述的第二实施例中，说明了通过根据光圈值(F值)设置合成参数M来在OTF的相位校正量大的情况下适当地抑制着色的方法。在镜头可更换型的单镜头反光照相机中，相位校正量严格来说根据所安装的可更换镜头而有所不同。因此，通过根据可更换镜头来改变基于合成参数M的色差信息的调整，可以获得更期望的结果。

例如，通过在照相机中记录适用于各可更换镜头的合成参数M，可以根据照相机上所安装的可更换镜头来选择合成参数M。

此外，即使在同一可更换镜头的情况下，OTF的相位校正量也随着焦距和拍摄距离而改变。因此，可以根据可更换镜头以及诸如焦距和拍摄距离等的拍摄条件来将合成参数M记录在照相机中。在这种情况下，仅需要预先根据相位校正所引起的图像质量的变化来通过经验确定适当的合成参数M即可。

如上所述，在本发明的第二实施例中，恢复处理前的图像与恢复处理后的图像进行合成所用的合成率根据作为拍摄条件的摄像装置的感光度和光圈值而改变。然后，基于经过图像恢复前的色差与经过图像恢复后的色差来校正合成图像的像素值。这使得可以适当地抑制图像恢复处理所引起的着色。

根据以上说明显而易见，在图4和16所示的示例中，预恢复像素插值部(G)1001、预恢复像素插值部(R)1002、预恢复像素插值部(B)1003、第一色差计算部(R)1004和第一色差计算部(B)1005用作第一特征量计算单元。

此外，恢复滤波器应用部(G)1006、恢复滤波器应用部(R)1007和恢复滤波器应用部(B)1008用作图像恢复处理单元。此外，恢复后像素插值部(G)1009、恢复后像素插值部(R)1010、恢复后像素插值部(B)1011、第二色差计算部(R)1012和第二色差计算部(B)1013用作第二颜色特征量计算单元。此外，像素值调整部(R)1014和像素值调整部(B)1015用作校正单元。此外，第一色差计算部(R)1004和第一色差计算部(B)1005以及第二色差计算部(R)1012和第二色差计算部(B)1013用作衰减单元。此外，合成部(G)1017、合成部(R)1018和合成部(B)1019用作合成单元。

此外，可以通过接收照相机所拍摄的RAW图像并对所接收到的RAW图像进行图像恢复处理的图像处理设备来执行基于上述实施例的功能的控制方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

本申请要求2015年5月11日提交的日本专利申请2015-096510的优先权，其全部内容通过引用包含于此。

Claims (16)

1.一种图像处理设备，其用于使基于经由摄像光学系统形成在摄像装置上的光学图像所获得的图像的图像质量从劣化中恢复，所述图像处理设备包括：

第一颜色特征量计算单元，用于计算预定恢复处理前的图像中的像素的颜色的特征量，作为第一颜色特征量；

图像恢复处理单元，用于使用图像恢复滤波器对所述图像进行所述预定恢复处理；

第二颜色特征量计算单元，用于计算从所述图像恢复处理单元输出的所述预定恢复处理后的图像中的像素的颜色的特征量，作为第二颜色特征量；

衰减单元，用于根据拍摄图像时的拍摄条件来使所述第一颜色特征量和所述第二颜色特征量中所包括的高频分量衰减；以及

校正单元，用于基于通过所述衰减单元使高频分量发生了衰减的所述第一颜色特征量和所述第二颜色特征量来校正所述预定恢复处理后的图像中的像素值。

2.根据权利要求1所述的图像处理设备，其中，所述衰减单元对分别根据一个像素和该一个像素周围的像素所获得的所述第一颜色特征量进行平均，并且对分别根据该一个像素和该一个像素周围的像素所获得的所述第二颜色特征量进行平均。

3.根据权利要求1所述的图像处理设备，其中，所述衰减单元使用分别根据一个像素和该一个像素周围的像素所获得的所述第一颜色特征量来进行低通滤波，并且使用分别根据该一个像素和该一个像素周围的像素所获得的所述第二颜色特征量来进行低通滤波。

4.根据权利要求2所述的图像处理设备，其中，所述衰减单元根据作为所述拍摄条件的光圈值来改变包括该一个像素周围的像素的区域的大小。

5.根据权利要求2所述的图像处理设备，其中，所述衰减单元根据作为所述拍摄条件的所述摄像装置的感光度来设置包括该一个像素周围的像素的区域的大小。

6.根据权利要求1所述的图像处理设备，其中，所述第一颜色特征量表示作为所述预定恢复处理前的图像中的第一颜色与所述预定恢复处理前的图像中的第二颜色和第三颜色中的各颜色之间的信号值的差的色差，其中所述预定恢复处理前的图像中的第一颜色是基准颜色；以及

所述第二颜色特征量表示作为所述预定恢复处理后的图像中的第一颜色与所述预定恢复处理后的图像中的第二颜色和第三颜色各自之间的信号值的差的色差，其中所述预定恢复处理后的图像中的第一颜色是基准颜色。

7.根据权利要求6所述的图像处理设备，其中，所述第一颜色、所述第二颜色和所述第三颜色分别是绿色、红色和蓝色。

8.根据权利要求6所述的图像处理设备，其中，在对所述预定恢复处理前的图像中的第一颜色、第二颜色和第三颜色进行预定插值处理之后，所述第一颜色特征量计算单元计算所述第一颜色特征量，以及

在对所述预定恢复处理后的图像中的第一颜色、第二颜色和第三颜色进行所述预定插值处理之后，所述第二颜色特征量计算单元计算所述第二颜色特征量。

9.一种图像处理设备，其用于使基于经由摄像光学系统形成在摄像装置上的光学图像所获得的图像的图像质量从劣化中恢复，所述图像处理设备包括：

第一颜色特征量计算单元，用于计算预定恢复处理前的图像中的像素的颜色的特征量，作为第一颜色特征量；

图像恢复处理单元，用于使用图像恢复滤波器对所述图像进行所述预定恢复处理；

合成单元，用于根据拍摄图像时的拍摄条件，通过将所述预定恢复处理前的图像与从所述图像恢复处理单元输出的所述预定恢复处理后的图像进行合成，来生成合成图像；

第二颜色特征量计算单元，用于计算所述合成图像中的像素的颜色的特征量，作为第二颜色特征量；以及

校正单元，用于基于所述第一颜色特征量和所述第二颜色特征量来校正所述合成图像中的像素值。

10.根据权利要求9所述的图像处理设备，其中，所述合成单元根据作为所述拍摄条件的光圈值来改变所述预定恢复处理前的图像与所述预定恢复处理后的图像进行合成所用的合成率。

11.根据权利要求9所述的图像处理设备，其中，所述合成单元根据作为所述拍摄条件的所述摄像装置的感光度来设置所述预定恢复处理前的图像与所述预定恢复处理后的图像进行合成所用的合成率。

12.根据权利要求9所述的图像处理设备，其中，所述第一颜色特征量表示作为所述预定恢复处理前的图像中的第一颜色与所述预定恢复处理前的图像中的第二颜色和第三颜色中的各颜色之间的信号值的差的色差，其中所述预定恢复处理前的图像中的第一颜色是基准颜色；以及

所述第二颜色特征量表示作为所述预定恢复处理后的图像中的第一颜色与所述预定恢复处理后的图像中的第二颜色和第三颜色各自之间的信号值的差的色差，其中所述预定恢复处理后的图像中的第一颜色是基准颜色。

13.根据权利要求12所述的图像处理设备，其中，所述第一颜色、所述第二颜色和所述第三颜色分别是绿色、红色和蓝色。

14.根据权利要求12所述的图像处理设备，其中，在对所述预定恢复处理前的图像中的第一颜色、第二颜色和第三颜色进行预定插值处理之后，所述第一颜色特征量计算单元计算所述第一颜色特征量，以及

在对所述预定恢复处理后的图像中的第一颜色、第二颜色和第三颜色进行所述预定插值处理之后，所述第二颜色特征量计算单元计算所述第二颜色特征量。

15.一种图像处理设备的控制方法，所述图像处理设备用于使基于经由摄像光学系统形成在摄像装置上的光学图像所获得的图像的图像质量从劣化中恢复，所述控制方法包括以下步骤：

计算预定恢复处理前的图像中的像素的颜色的特征量，作为第一颜色特征量；

使用图像恢复滤波器对所述图像进行所述预定恢复处理；

计算所述预定恢复处理后的图像中的像素的颜色的特征量，作为第二颜色特征量；

衰减步骤，用于根据拍摄图像时的拍摄条件来使所述第一颜色特征量和所述第二颜色特征量中所包括的高频分量衰减；以及

基于通过所述衰减步骤使高频分量发生了衰减的所述第一颜色特征量和所述第二颜色特征量来校正所述预定恢复处理后的图像中的像素值。

16.一种图像处理设备的控制方法，所述图像处理设备用于使基于经由摄像光学系统形成在摄像装置上的光学图像所获得的图像的图像质量从劣化中恢复，所述控制方法包括以下步骤：

计算预定恢复处理前的图像中的像素的颜色的特征量，作为第一颜色特征量；

使用图像恢复滤波器对所述图像进行所述预定恢复处理；

根据拍摄图像时的拍摄条件，通过将所述预定恢复处理前的图像与所述预定恢复处理后的图像进行合成，来生成合成图像；

计算所述合成图像中的像素的颜色的特征量，作为第二颜色特征量；以及

基于所述第一颜色特征量和所述第二颜色特征量来校正所述合成图像中的像素值。