CN105049680B - 进行图像恢复处理的图像处理设备和图像处理方法 - Google Patents

Abstract

本发明涉及一种进行图像恢复处理的图像处理设备和图像处理方法。该图像处理设备能够适当地抑制图像恢复处理所引起的着色。计算通过经由摄像光学系统进行拍摄所获得的RAW图像数据中的像素的颜色的特征量作为第一颜色特征量。使用用于改善由于摄像光学系统的像差而发生劣化的图像质量的恢复滤波器来对RAW图像数据进行恢复处理，由此生成恢复后的图像数据。计算恢复后的图像数据中的像素的颜色的特征量作为第二颜色特征量。根据第二颜色特征量相对于第一颜色特征量的变化量与基于预定条件所设置的阈值之间的比较结果，来校正恢复后的图像数据的像素值。

Description

进行图像恢复处理的图像处理设备和图像处理方法

技术领域

本发明涉及进行图像恢复处理的图像处理设备和图像处理方法，尤其涉及用于校正劣化图像的处理。

背景技术

通常，在通过使用诸如数字照相机等的摄像设备拍摄被摄体来获得图像的情况下，该图像例如由于摄像光学系统的像差而大幅劣化(即，图像变模糊)。图像的模糊通常是由摄像光学系统的球面像差、彗星像差、像场弯曲或像散像差等所引起的。在无任何衍射影响的消球差状态中，来自被摄体的一点的光束在摄像装置的摄像面上再次收敛于一点。另一方面，如果存在任何上述像差，则应当在摄像面上再次收敛于一点的光发散而导致在如此形成的图像上产生模糊成分。

图像上产生的模糊成分是通过点扩散函数(PSF)光学地进行定义的。尽管失焦的图像也变模糊，但这里，将即使在图像聚焦的情况下摄像光学系统的像差所引起的图像的模糊也称为“模糊”。关于彩色图像上的渗色，可以将由摄像光学系统的轴向色像差、颜色的球面像差和颜色的彗星像差所引起的渗色称为依赖于光的波长的不同方式的模糊。此外，关于图像的水平方向上的颜色偏移，可以将摄像光学系统的倍率色像差(lateralchromatic aberration)所引起的颜色偏移称为由依赖于光的波长的不同的摄像倍率所引起的位置偏移或相位偏移。

通过对上述PSF进行傅立叶变换所获得的光学传递函数(OTF)是像差的频率成分，并且由复数来表示。将光学传递函数(OTF)(以下将“光学传递函数”适当简称为“OTF”)的绝对值、即振幅成分称为调制传递函数(MTF)，并且将相位成分称为相位传递函数(PTF)。

这些MTF和PTF分别是像差所引起的图像的劣化的振幅成分和相位成分的频率特性。通过以下的等式(1)来将相位成分表示为相位角。注意，Re(OTF)和Im(OTF)分别表示OTF的实部和虚部：

PTF＝tan^-1{Im(OTF)/Re(OTF)} ...(1)

摄像光学系统中的OTF使图像的振幅成分和相位成分劣化，因而在劣化图像中，例如在由彗星像差引起劣化的情况下，被摄体的各点以非对称的方式变模糊。此外，在由倍率色像差引起劣化的情况下，成像位置由于光学波长之间不同的成像倍率而偏移，并且在根据从被摄体所反射的光的光谱特性而接收到光作为RGB颜色成分的情况下，这导致在这些颜色成分之间产生不同的图像倍率。

这导致不仅在红色、绿色和蓝色(RGB)的成分之间产生成像位置的偏移，而且在各颜色成分中在各波长之间也产生成像位置的偏移。也就是说，图像因相位偏移而发散。确切地说，倍率色像差不会产生简单的平行颜色偏移。然而，除非另外说明，否则以下将假定颜色偏移具有与倍率色像差相同的含义来进行说明。

作为校正振幅(MTF)的劣化和相位(PTF)的劣化的方法，例如，已知有使用摄像光学系统的OTF来校正劣化的方法。将该方法称为图像恢复或图像复原。在以下说明中，将用于使用摄像光学系统的OTF来校正图像的劣化的处理称为图像恢复处理或简称为恢复处理。

现在将说明图像恢复处理的概述。假定利用g(x,y)表示劣化图像、利用f(x,y)表示原始图像，并且利用h(x,y)表示通过对OTF进行逆傅立叶变换所获得的PSF。在这种情况下，以下等式(2)成立。注意，*表示卷积，并且(x,y)表示图像上的坐标。

g(x,y)＝h(x,y)*f(x,y) ...(2)

在通过傅立叶变换将等式(2)转换成基于频率的形式的情况下，如通过以下的等式(3)所示，这样给出了针对各频率的积的形式。注意，H表示PSF的傅立叶变换的结果、即OTF，并且G和F分别表示劣化图像g和原始图像f的傅立叶变换的结果。(u,v)的值表示二维频率面上的点的坐标、即频率。

G(u,v)＝H(u,v)·F(u,v) ...(3)

为了根据通过拍摄所获得的劣化图像获得原始图像，如通过以下的等式(4)所示，仅需将等式(3)的两侧除以H。

G(u,v)/H(u,v)＝F(u,v) ...(4)

通过对等式(4)中的F(u,v)进行逆傅立叶变换而返回至实面，可以获得原始图像f(x,y)作为恢复图像。

这里，在假定利用R来表示通过对等式(4)中的1/H进行逆傅立叶变换所得到的结果的情况下，通过在实面上对图像进行卷积处理，如通过以下的等式(5)所示，可以同样获得原始图像。

g(x,y)*R(x,y)＝f(x,y) ...(5)

将等式(5)中的R(x,y)称为图像恢复滤波器。实际图像具有噪声成分，因而如果如上所述使用通过OTF的倒数所生成的图像恢复滤波器，则噪声成分连同劣化图像一起被放大，结果无法获得良好图像。

为了防止噪声成分被放大，例如，提出了如Wiener滤波器那样、用于根据图像和噪声之间的强度比来抑制图像中的高频成分的恢复率的方法。此外，作为用于校正图像中的由渗色成分所引起的劣化的方法，提出了用于通过对上述模糊成分进行校正以使得模糊量针对图像的各颜色成分变均匀来校正渗色成分的方法。

OTF根据诸如变焦位置的状态和光圈直径的状态等的拍摄状态而改变。因此，还要求图像恢复处理中所使用的图像恢复滤波器根据拍摄状态而改变。例如，在用于观察生物体内部的内窥镜中，提出了用于使用与荧光波长相对应的PSF来在摄像部的聚焦范围外的范围中消除图像模糊的方法(参见日本特开平10-165365)。在该方法中，由于荧光微弱，因此需要F值小的物镜光学系统。然而，如果使用F值小的物镜光学系统，则焦深变浅，因而通过针对被摄体失焦的范围进行图像恢复处理来获得聚焦图像。

如上所述，对通过拍摄所获得的图像进行图像恢复处理，以由此校正上述的各种类型的像差，由此可以提高图像质量。然而，在进行拍摄时，拍摄状态和图像恢复滤波器的状态并非始终最佳地一致。例如，在拍摄三维被摄体的情况下，发生这种问题。

在摄像设备中，通过使用自动调焦或手动调焦聚焦于被摄体空间的一个面来进行拍摄。如此，在被摄体为三维的情况下，被摄体距离根据视角而不同。聚焦物体以相对清晰的状态被拍摄，但失焦物体伴随有依赖于距离的模糊量而被拍摄。在仅针对聚焦点获取到与被摄体距离有关的信息的情况下，选择或生成最适合该被摄体距离中的各视角的图像恢复滤波器以供使用。

在经过图像恢复处理之后的图像中，图像恢复滤波器最适合聚焦物体，因而可以获得期望的锐度。另一方面，图像恢复滤波器不是最适合失焦物体，因而尽管获得了某种程度的恢复效果，但图像仍模糊。

另一方面，传统上，已知如下：依赖于被摄体距离的模糊程度在表现被摄体的三维感或与背景隔离地表现所观看物体方面产生良好效果。例如，通过使用景深浅的远摄透镜，以主被摄体聚焦但背景有意变模糊的方式来表现图像。在这种情况下，同样在经过图像恢复处理之后的图像中，期望使聚焦物体变清晰，但失焦物体仍保持模糊，并且通过使用上述的图像恢复方法来进行模糊表现。

然而，如果使用并非最适合失焦物体的距离的图像恢复滤波器来对失焦物体进行图像恢复处理，则在图像上有时发生着色。注意，术语“着色”是指：由于失焦物体的边缘部上的各颜色成分之间的模糊关系在执行图像恢复处理之前和之后有所不同，因此在经过图像恢复处理之后的图像上产生颜色未包括在被摄体中的缺陷。

此外，这种着色有时不仅仅发生在三维被摄体的拍摄中。更具体地，如果例如由于摄像光学系统的制造偏差或拍摄时的光源光谱的变化因而实际拍摄状态中的像差状态和图像恢复滤波器作为对象的像差状态不同，则发生着色，而与被摄体是否聚焦无关。

作为抑制上述着色的方法，例如，提出了用于基于进行了图像恢复处理之前的图像中的颜色信息来校正进行了图像恢复处理之后的图像的颜色的方法。在该方法中，针对图像的各像素判断由图像恢复处理所引起的颜色的变化，由此抑制由图像恢复处理所引起的着色。

例如，提出了用于在经过图像恢复处理之后的图像中的色差变得大于进行图像恢复处理之前的色差的情况下对信号值进行校正以减少色差量的方法(例如，参见日本特开2010-86138)。

如上所述，通过对拍摄所获得的图像进行图像恢复处理以减轻例如在失焦物体的图像上发生的着色、并且校正各种类型的像差，可以提高图像质量。

然而，在进行拍摄时，在摄像装置所进行的光电转换期间产生噪声，由此在图像中包含噪声成分。通常，摄像装置的感光度被设置得越高，该噪声越大。在根据恢复处理之前和之后的色差来对包含光电转换期间所产生的大量噪声的图像进行着色抑制处理的情况下，图像的被摄体的色感有时改变或不准确。

图20A～20E是用于说明在包含摄像装置所进行的光电转换期间所产生的噪声的图像中在经过恢复处理之前和之后沿一条线的G信号和R信号的像素值以及G信号和R信号之间的色差的图。图20A示出恢复处理之前的像素值的变化，而图20B示出恢复处理之后的像素值的变化。图20C示出恢复处理之前的色差的变化，而图20D示出恢复处理之后的色差的变化。此外，图20E示出恢复处理之前和之后的色差的比较。

在该示例中，尽管被摄体的亮度和颜色的变化小，但如图20A所示，像素值由于图像恢复处理之前所产生的噪声而改变。如上所述，期望通过考虑到噪声的放大来形成图像恢复处理中所使用的图像恢复滤波器。

然而，难以将因摄像光学系统的像差而发生劣化的劣化图像与噪声成分完全分开，因而噪声因图像恢复处理而被放大。也就是说，如图20B所示，在图像恢复处理之后，像素值的变化没有减小。注意，在图20B中，“R”表示应用图像恢复滤波器之后的R信号值，并且“R'”表示进行了用于抑制着色的校正的信号值。

图20C示出图像恢复处理之前的色差，并且这里色差是指G信号和R信号之间的差(R–G)。图20D示出图像恢复处理之后的色差，其中“Cr”表示应用图像恢复滤波器之后的色差，并且“Cr'”表示进行了用于抑制着色的校正的色差。在该示例中，针对相比图像恢复处理之前、在经过图像恢复处理之后色差变大的像素对R信号进行校正，使得减小了色差量。

图20E示出以在图像恢复处理之前和之后的各色差之间进行比较为目的的色差的移动平均。尽管在摄像设备所进行的图像处理中进行所谓的色差平滑化处理，但在该示例中，作为简单方法，使用移动平均来比较被摄体的图像在观看该图像时的色感。

如图20E所示，在进行用于抑制着色的校正的情况下，在图像恢复处理之前和之后发生色感的变化。此外，色感的变化示出因噪声量而导致趋势变得不同。也就是说，色感的变化量也根据摄像装置的感光度(ISO感光度)而改变。

然而，日本特开2010-86138所述的方法没有解决噪声量所引起的色感的变化，因而难以适当地抑制图像恢复处理所引起的着色。

发明内容

本发明提供一种能够适当地抑制图像恢复处理所引起的着色的图像处理设备和图像处理方法。

在本发明的第一方面中，提供一种图像处理设备，其包括至少一个处理器，所述至少一个处理器用作以下单元：第一计算单元，用于计算根据经由摄像光学构件形成在摄像装置上的光学图像所获得的第一图像数据中的像素的颜色的特征量，作为第一颜色特征量；恢复处理单元，用于使用用以改善由于所述摄像光学构件而发生劣化的图像质量的恢复滤波器来对所述第一图像数据进行恢复处理，由此生成第二图像数据；第二计算单元，用于计算所述第二图像数据中的像素的颜色的特征量，作为第二颜色特征量；以及校正单元，用于根据所述第二颜色特征量相对于所述第一颜色特征量的变化量与阈值之间的比较结果，来校正所述第二图像数据的像素值，其中，所述校正单元基于预定条件来设置所述阈值。

在本发明的第二方面中，提供一种图像处理方法，包括以下步骤：计算根据经由摄像光学构件形成在摄像装置上的光学图像所获得的第一图像数据中的像素的颜色的特征量，作为第一颜色特征量；使用用以改善由于所述摄像光学构件而发生劣化的图像质量的恢复滤波器来对所述第一图像数据进行恢复处理，由此生成第二图像数据；计算所述第二图像数据中的像素的颜色的特征量，作为第二颜色特征量；以及根据所述第二颜色特征量相对于所述第一颜色特征量的变化量与阈值之间的比较结果，来校正所述第二图像数据的像素值，其中，所述阈值是基于预定条件所设置的。

根据本发明，在经过图像恢复处理之后，根据第一颜色特征量和第二颜色特征量之间的差与预定阈值的比较的结果来校正图像的各像素值。因此，可以适当地抑制图像恢复处理所引起的着色。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是作为配备有根据本发明第一实施例的图像处理设备的摄像设备的数字照相机的框图。

图2A～2E是用于说明输入至图1所示的图像恢复处理器的图像(RAW图像)的示例(拜耳(Bayer)阵列)的图，其中图2A示出RAW图像的RGB平面(拜耳阵列)，图2B～2D示出颜色成分各自的平面，并且图2E示出经过插值处理的G成分平面的状态。

图3是图1所示的图像恢复处理器111的框图。

图4是图3所示的图像恢复处理器所进行的图像恢复处理的流程图。

图5A和5B是用于说明使用自适应像素插值处理方法来进行边缘部的像素插值的示例的图，其中图5A示出表示边缘部中的亮度的像素值(信号值)的变化，并且图5B示出图5A中的像素阵列。

图6A～6I是用于说明通过利用具有拜耳阵列的像素的摄像装置进行拍摄所获得的RAW图像中的像素阵列的图，其中图6A示出插值之前的G成分平面，图6B示出插值之前的R成分平面，图6C示出插值之前的B成分平面，图6D示出线性插值之后的G成分平面，图6E示出线性插值之后的R成分平面，图6F示出线性插值之后的B成分平面，图6G示出自适应插值之后的G成分平面，图6H示出自适应插值之后的R成分平面，并且图6I示出自适应插值之后的B成分平面。

图7A和7B是用于说明图像恢复滤波器的示例的图，其中图7A示出图像恢复滤波器，并且图7B示出抽头和与抽头相关联的滤波器系数之间的关系。

图8A和8B是用于说明图3所示的图像恢复处理器所使用的图像恢复滤波器的示例的图，其中图8A示出应用于G成分的图像恢复滤波器的示例，并且图8B示出应用于R成分和B成分的图像恢复滤波器的示例。

图9是用于说明图3所示的像素值调整部所获取到的色差判断阈值的图。

图10是示出各自根据与图1所示的摄像装置的噪声量相关的ISO感光度所设置的系数的示例的图。

图11A和11B是用于说明表示在对经过了参考图4所述的图像恢复处理的图像和没有经过该图像恢复处理的图像进行显影处理的情况下的边缘部中的亮度的像素值(信号值)的变化的图，其中图11A示出低感光度的情况下的亮度的变化，并且图11B示出高感光度的情况下的亮度的变化。

图12A～12E是用于说明MTF和空间频率特性之间的关系的图，其中图12A～12D各自示出摄像光学系统的MTF与应用图像恢复滤波器之后所展现的空间频率特性之间的关系，并且图12E示出通过应用图像恢复滤波器所引起的MTF的增减率(恢复增益)。

图13是示出包含大量噪声的图像的预定区域中的沿一条线的图像恢复之前和之后的各色差的移动平均的图。

图14是示出G成分和R成分的恢复增益的特性的图。

图15是示出最大恢复增益和与该最大恢复增益相关联的参数之间的关系的图。

图16是作为配备有根据本发明第二实施例的图像处理设备的摄像设备的数字照相机的图像处理器中所包括的图像恢复处理器的框图。

图17A～17C是分别示出图像的色相、饱和度和亮度与各个参数之间的关系的示例的图。

图18是示出边缘强度和与该边缘强度相关联的参数之间的关系的示例的图

图19是用于说明作为配备有根据第二实施例的图像处理设备的摄像设备的数字照相机所使用的色差判断阈值的图。

图20A～20E是用于说明在包含摄像装置所进行的光电转换期间所生成的噪声的图像中在经过恢复处理之前和之后沿一条线的G信号和R信号的像素值以及G信号和R信号之间的色差的图，其中图20A示出恢复处理之前的像素值的变化，图20B示出恢复处理之后的像素值的变化，图20C示出恢复处理之前的色差的变化，图20D示出恢复处理之后的色差的变化，并且图20E示出恢复处理之前和之后的色差的比较。

具体实施方式

以下将参考附图来详细说明本发明的实施例。

图1是配备有根据本发明第一实施例的图像处理设备的摄像设备的框图。

图1所示的摄像设备例如是数字照相机(以下简称为照相机)，并且包括摄像光学系统101。摄像光学系统101至少配备有光圈101a和调焦透镜101b。在摄像光学系统101的下游配置诸如CMOS图像传感器等的摄像装置102，并且在摄像装置102上形成穿过摄像光学系统101的光学图像(被摄体图像)。

摄像装置102将光学图像光电转换成电气信号，并且输出与该光学图像相对应的电气信号(模拟信号)。然后，这些模拟信号由模数(A/D)转换器103转换成数字信号，并且输入至图像处理器104。

图像处理器104包括用于进行用于恢复劣化的图像质量的图像恢复处理的图像恢复处理器111和用于进行预定处理的其它图像处理器112。图像处理器104从状态检测部107获得表示照相机的拍摄状态的拍摄状态信息。状态检测部107可被配置为从系统控制器110直接获得拍摄状态信息。另外或可选地，状态检测部107可被配置为从摄像光学系统控制器106获得与摄像光学系统101有关的拍摄状态信息。

接着，图像处理器104根据拍摄状态信息来从存储部108中选择图像恢复滤波器。图像处理器104对数字信号进行白平衡处理，之后利用图像恢复处理器111进行图像恢复处理。具体地，图像恢复处理器111进行用于将图像恢复滤波器应用于数字信号(即，图像)的图像恢复处理。以下将说明图像恢复处理器111所进行的处理。

存储部108可被配置为不是记录图像恢复滤波器本身，而是记录与生成图像恢复滤波器所需的光学传递函数(OTF)有关的OTF信息。在这种情况下，图像恢复处理器111根据拍摄状态信息来从存储部108中选择OTF信息，并且基于所选择的OTF信息生成图像恢复滤波器。然后，图像处理器111使用所生成的图像恢复滤波器来对图像进行图像恢复处理。其它图像处理器112对经过了图像恢复处理的图像进行伽玛校正和颜色平衡调整等作为预定处理，并且生成诸如JPEG文件等的图像文件(以下还称为输出图像)。

图像处理器104将输出图像按预定格式存储在图像记录介质109中。此外，图像处理器104对经过了图像恢复处理的图像进行显示处理，由此将显示图像显示在显示部105上。图像处理器104可以无需进行图像恢复处理的情况下将显示图像显示在显示部105上，或者可以将经过了简单的图像恢复处理的图像显示在显示部105上。

系统控制器110控制照相机整体的操作。例如，系统控制器110使摄像光学系统控制器106驱动摄像光学系统101。如此，摄像光学系统控制器106根据F值的拍摄状态设置来控制光圈101a的开口直径。此外，摄像光学系统控制器106使用自动调焦(AF)机构(未示出)根据被摄体距离来沿着光轴控制或驱动调焦透镜101b(或者以驱动方式控制调焦透镜101b)。注意，根据用户的操作，摄像光学系统控制器106可以使用手动调焦机构(未示出)来控制或驱动调焦透镜101b(或者以驱动方式控制调焦透镜101b)。

尽管没有示出，但摄像光学系统101可以配备有诸如低通滤波器和红外截止滤波器等的光学装置。在使用诸如低通滤波器等的影响OTF特性的光学装置的情况下，在生成图像恢复滤波器时考虑到光学装置的特性有时是有益的。

此外，在使用红外截止滤波器的情况下，该滤波器对各自作为光谱波长的PSF(点扩散函数)的积分值的RGB通道的各PSF、特别是R通道的PSF产生影响，因而在生成图像恢复滤波器时还需考虑到该情况。尽管在该例示示例中示出摄像光学系统101作为集成于照相机的组件，但如用于单镜头反光照相机的情况那样，摄像光学系统101可以为可更换型。

图2A～2E是用于说明输入至图1所示的图像恢复处理器111的图像(RAW图像)的示例的图，其中图2A示出RAW图像的RGB平面(拜耳阵列)，图2B～2D示出各颜色成分的平面，并且图2E示出经过了插值处理的G成分平面的状态。

参考图2A～2E，将包括各自与单色成分相关联的像素的RAW图像(参见图2A)输入至图像恢复处理器111。这里，各单色成分平面具有处于部分缺失状态的信息(参见图2B～2D)。然后，如以下所述，对G成分平面进行像素插值，由此针对各像素设置与G成分有关的信息(参见图2E)。

图3是图1所示的图像恢复处理器111的框图。此外，图4是图3所示的图像恢复处理器111所进行的图像恢复处理的流程图。

将参考图3和4来说明图像恢复处理。如上所述，将图2A所示的RAW图像输入至图像恢复处理器111。在开始图像恢复处理的情况下，恢复前像素插值部1001对G成分平面进行像素插值，并且输出插值之后的G成分平面(步骤S201)。通过进行像素插值处理，G成分平面的信息从图2B所示的部分缺失状态改变为图2E所示的针对各像素设置与G成分有关的信息的状态。

然后，第一色差计算部(R)1002基于插值之后的G成分平面和处于部分缺失状态的R成分平面(图2C)来计算第一色差信息(Cr1)。同样，第一色差计算部(B)1003基于插值之后的G成分平面和处于部分缺失状态的B成分平面(图2D)来计算第一色差信息(Cb1)(步骤S202)。注意，在该计算中，将色差定义为相对于作为基准颜色的G成分的信号值的差。因此，通过以下的各等式(6)和(7)来计算色差。

C1r(x,y)＝R(x,y)–G(x,y) ...(6)

C1b(x,y)＝B(x,y)–G(x,y) ...(7)

在等式(6)和(7)中，(x,y)表示图像上的坐标值，并且C1r和C1b分别表示R成分和B成分相对于G成分的色差。

注意，不是针对图像的所有像素而是仅针对各自保持对象颜色成分的像素来计算色差。更具体地，在计算C1r(x,y)时，仅以参考图2C所述的各自保持R成分的像素作为对象，并且在计算C1b(x,y)时，仅以参考图2D所述的各自保持B成分的像素作为对象。

对于具有拜耳阵列的摄像装置所进行的像素插值处理，已知有各种像素插值方法。通常采用的方法是用于使用周围像素的其它颜色成分的像素信息来生成插值像素的自适应像素插值处理方法。例如，为了通过进行插值处理来针对一个像素生成R像素值，基于周围像素的G成分和B成分来确定对R像素值进行插值的方法。不同于简单地对一个颜色成分进行线性插值的方法，自适应像素插值处理可以减轻插值处理所引起的伪色的生成和锐度的下降。

现在将说明使用自适应像素插值处理方法来进行边缘部的像素插值的示例。

图5A和5B是用于说明利用自适应像素插值处理方法来进行边缘部的像素插值的示例的图，其中图5A示出表示边缘部中的亮度的像素值(信号值)的变化，并且图5B示出图5A中的像素阵列。

如果所例示的边缘部为非彩色，则在获得摄像装置的各像素中的RGB值的情况下，RGB的各颜色成分具有同一值。在图5B的例示示例中，像素呈包括像素值100和200的像素阵列。

图6A～6I是用于说明通过使用具有拜耳阵列的摄像装置进行拍摄所获得的RAW图像的像素阵列的图，其中图6A示出插值之前的G成分平面，图6B示出插值之前的R成分平面，图6C示出插值之前的B成分平面，图6D示出线性插值之后的G成分平面，图6E示出线性插值之后的R成分平面，图6F示出线性插值之后的B成分平面，图6G示出自适应插值之后的G成分平面，图6H示出自适应插值之后的R成分平面，并且图6I示出自适应插值之后的B成分平面。

实际上，通过利用具有拜耳阵列的摄像装置进行拍摄所获得的RAW图像针对各像素具有一个颜色成分，因而在针对各颜色成分提取值的情况下，像素阵列如图6A～6C所示的各颜色成分平面那样。在各颜色成分平面的像素阵列中，黑色所示的像素是需要进行插值处理的像素。在这种情况下，理想地，经过了像素插值处理的各颜色成分具有图5B所示的像素值。

在以下说明中，利用G(x,y)、R(x,y)和B(x,y)来分别表示图6A～6C所示的像素阵列。在该表示中，x表示水平方向上的坐标，并且y表示垂直方向上的坐标，其中x和y这两者都是0～4的范围内的值。

如上所述，恢复前像素插值部1001对G成分进行像素插值处理。在像素插值中，恢复前像素插值部1001进行用于使用周围像素的其它颜色成分的像素信息来生成插值像素的自适应像素插值处理。在以下说明中，将自适应像素插值处理简称为自适应插值。

按以下方式针对G成分进行自适应插值。

为了生成具有R成分的值的像素的G成分(例如，为了生成G(1,2))，使用以下的等式(8)～(11)。

H_DIFF＝(R(x,y)–R(x-2,y))

+(R(x,y)–R(x+2,y)) ...(8)

V_DIFF＝(R(x,y)–R(x,y-2))

+(R(x,y)–R(x,y+2)) ...(9)

如果(|H_DIFF|>|V_DIFF|){G(x,y)＝(G(x,y-1)

+G(x,y+1)/2} ...(10)

则{G(x,y)＝(G(x-1,y)+G(x+1,y))/2}

...(11)

通过使用等式(8)～(11)，基于根据R成分所确定出的H_DIFF和V_DIFF来判断插值的方向。这样使得可以减少插值所引起的锐度的下降。图6G示出经过了自适应插值的G成分平面的示例。为了进行比较，图6D示出代替进行自适应插值而是通过一般的线性插值进行了像素插值的G成分平面的示例。

通过图6D和6G显而易见，与线性插值相比，自适应插值不会使锐度下降。尽管针对生成具有R成分的值的像素的G成分的示例给出了上述说明，但通过插值同样生成了具有B成分的值的像素的G成分(例如，G(2,1))。注意，恢复前像素插值部1001所进行的像素插值处理不限于上述示例，并且可以采用任何其它合适的插值方法。

再次参考图3和4，图像恢复滤波器应用部(G)1004、图像恢复滤波器应用部(R)1005和图像恢复滤波器应用部(B)1006分别选择适合于拍摄条件的图像恢复滤波器(步骤S203)。如此，可以根据需要校正所选择的各图像恢复滤波器。例如，为了减少与预先记录在存储部108中的图像恢复滤波器有关的数据项的数量，可以离散地记录数据项，并且在进行图像恢复处理之前，可以根据拍摄条件来校正这些数据项，由此生成图像恢复滤波器。

此外，如以上所述，可以根据与生成图像恢复滤波器所需的OTF有关的数据来生成与拍摄条件相对应的图像恢复滤波器。

然后，图像恢复滤波器应用部(G)1004、图像恢复滤波器应用部(R)1005和图像恢复滤波器应用部(B)1006分别使用图像恢复滤波器来对各颜色成分(G,R,B)的像素进行卷积处理(步骤S204)。这样使得可以校正摄像光学系统101中所产生的像差的非对称性并且消除或减少图像的模糊成分。

图7A和7B是用于说明图像恢复滤波器的示例的图，其中图7A示出图像恢复滤波器，图7B示出抽头(要与表示滤波器的差分方程中的滤波器系数进行相乘的各项)和与这些抽头相对应的滤波器系数之间的关系。

图7A所示的图像恢复滤波器是要应用于各像素具有RGB颜色成分中的关联RGB颜色成分的图像的各颜色平面的图像恢复滤波器的示例。在图像恢复滤波器中，可以根据摄像光学系统101的像差量来确定抽头数，并且该例示示例示出具有11×11个抽头的二维滤波器。图像恢复滤波器的各抽头与图像的一个像素相对应，并且在图像恢复处理中进行卷积处理。

如图7A所示，将分割成不小于100个抽头的二维滤波器设置为图像恢复滤波器，由此即使针对摄像光学系统101所引起的在从成像位置起延伸的大区域中发生的像差(诸如球面像差、彗星像差、轴向色像差和非轴向颜色耀斑等)，也可以进行恢复处理。

在图7A中，省略了各抽头的滤波器系数。图7B示出图7A所示的图像恢复滤波器的滤波器系数，并且如上所述，可以通过计算或测量摄像光学系统101的OTF并对OTF的倒数进行逆傅立叶变换来获得该图像恢复滤波器。通常，需要考虑到噪声的影响，因而可以选择并使用用于生成Wiener滤波器或与Wiener滤波器有关的图像恢复滤波器的方法。

此外，OTF还可以不仅包括摄像光学系统101的因素，而且包括使输入至图像处理器104的图像数据劣化的因素。例如，低通滤波器针对OTF的频率特性抑制高频成分。此外，摄像装置的像素开口的形状和开口率也影响频率特性。此外，光源的频谱特性和各种波长滤波器的光谱特性影响OTF。期望基于包括这些因素的广义上的OTF来生成图像恢复滤波器。

此外，在图像是采用RGB格式的彩色图像的情况下，仅需生成与R、G和B的各颜色成分相关联的三个图像恢复滤波器。摄像光学系统101具有色像差，从而使模糊在各颜色成分之间不同，因而要求各颜色成分的图像恢复滤波器使其特性根据色像差而略微不同。

这里，各颜色成分的图像恢复滤波器的特性根据色像差而略微不同，因而图7B所示的图7A的图像恢复滤波器的滤波器系数的变化针对各颜色成分而改变。不要求图像恢复滤波器在水平方向和垂直方向上的抽头数相等，即不要求抽头数呈正方形排列，并且仅在考虑到卷积处理的情况下才可以按照期望改变抽头的配置。

图8A和8B是用于说明图3所示的图像恢复处理器111所使用的图像恢复滤波器的示例的图。图8A示出要应用于G成分的图像恢复滤波器的示例，并且图8B示出要应用于R成分和B成分的图像恢复滤波器的示例。

图8A和8B示出要应用于针对各像素具有一个颜色成分的RAW图像的图像恢复滤波器的示例。所例示的图像恢复滤波器各自处于仅针对具有对象颜色成分的各像素设置系数(滤波器系数)的部分缺失状态。在图8A和8B中，利用白色来表示各自具有滤波器系数的位置(块)，并且利用黑色来表示各自具有0作为系数的其它位置。在针对R、G和B这三个颜色成分进行图像恢复的情况下，使用图8A所示的图像恢复滤波器作为要应用于G成分的图像恢复滤波器。此外，使用图8B所示的图像恢复滤波器作为要应用于R成分和B成分的图像恢复滤波器。

更具体地，图像恢复滤波器应用部(G)1004进行用于利用图8A所示的图像恢复滤波器对图5B所示的G成分进行卷积的卷积处理。此外，图像恢复滤波器应用部(R)1005和图像恢复滤波器应用部(B)1006分别进行用于利用图8B所示的图像恢复滤波器来对图5B所示的R成分和B成分进行卷积的卷积处理。

再次参考图3和4，恢复后像素插值部(G)1007对经过了图像恢复的G成分进行像素插值(步骤S205)。该插值处理与恢复前像素插值部1001所进行的插值处理相同，并且通过进行插值处理，G成分平面从图2B所示的部分缺失状态改变为图2E所示的各像素具有G成分的状态。

然后，第二色差计算部(R)1008基于(从恢复后像素插值部(G)1007输出的)插值之后的G成分平面和(从图像恢复滤波器应用部(R)1005输出的)处于部分缺失状态的R成分平面来计算第二色差信息(Cr2)。同样，第二色差计算部(B)1009基于(从恢复后像素插值部(G)1007输出的)插值之后的G成分平面和(从图像恢复滤波器应用部(B)1006输出的)处于部分缺失状态的B成分平面来计算第二色差信息(Cb2)(步骤S206)。

该步骤中所进行的色差计算与第一色差计算部(R)1002和第一色差计算部(B)1003所进行的色差计算相同，并且通过以下的等式(12)和(13)来计算色差。

C2r(x,y)＝R(x,y)–G(x,y)...(12)

C2b(x,y)＝B(x,y)–G(x,y)...(13)

在等式(12)和(13)中，C2r和C2b分别表示R成分和B成分相对于G成分的色差。

如上所述，恢复后像素插值部(G)1007仅对G成分平面进行像素插值，由此可以获取到应用着色抑制处理所需的图像恢复滤波器之后的色差信息。

然后，像素值调整部(R)1010和像素值调整部(B)1011分别获取抑制着色时所使用的色差判断阈值(步骤S207)。

图9是用于说明图3所示的像素值调整部1010和1011所获取到的色差判断阈值的图。

像素值调整部(R)1010和像素值调整部(B)1011分别获取第一色差判断阈值Th0r和Th0b并且分别获取第二色差判断阈值Th1r和Th1b。注意，在图9中，利用Th0和Th1来分别表示第一色差判断阈值和第二色差判断阈值。

第一色差判断阈值Th0r和Th0b分别是在图像恢复之后的色差C2r和C2b相对于图像恢复之前的色差C1r和C1b减少的情况下要应用的色差判断阈值。此外，第二色差判断阈值Th1r和Th1b分别是在图像恢复之后的色差C2r和C2b相对于图像恢复之前的色差C1r和C1b增加的情况下要应用的色差判断阈值。

注意，在图像恢复之前的色差C1r和C1b是负值的情况下，第一色差判断阈值Th0r和Th0b分别用作在图像恢复之后的色差C2r和C2b相对于图像恢复之前的色差C1r和C1b增加的情况下要应用的色差判断阈值。此外，第二色差判断阈值Th1r和Th1b分别用作在图像恢复之后的色差C2r和C2b相对于图像恢复之前的色差C1r和C1b减少的情况下要应用的色差判断阈值。

这些第一色差判断阈值和第二色差判断阈值分别是基于各像素中的图像恢复之前的色差C1r和C1b所计算出的。如通过以下的等式(14)所示，在该示例中，第一色差判断阈值Th0r和Th0b各自始终等于0。此外，基于图像恢复之前的色差C1r和C1b，可以通过以下的等式(15)和(16)来分别设置第二色差判断阈值Th1r和Th1b。

Th0r＝Th0b＝0 ...(14)

Th1r＝α×C1r ...(15)

Th1b＝α×C1b ...(16)

接着，像素值调整部(R)1010和像素值调整部(B)1011基于图像恢复之后的色差C2r和C2b来判断是否需要用于抑制着色的各像素值的调整。在该判断中，像素值调整部(R)1010和像素值调整部(B)1011将图像恢复之后的色差C2r和C2b与第一色差判断阈值Th0r和Th0b以及第二色差判断阈值Th1r和Th1b进行比较，并且基于比较结果来判断各色差是否满足基于相关联的色差判断阈值的条件(步骤S208)。更具体地，基于与R成分和B成分有关的以下判断条件1和2来进行该判断，并且如果满足这些条件其中之一，则针对相关联的颜色成分的像素进行用于抑制着色的像素值调整(步骤S209)。

如果C1r≥0成立，则针对R成分进行以下判断：

判断条件1：C2r<Th0r

判断条件2：C2r>Th1r

如果C1r<0成立，则针对R成分进行以下判断：

判断条件1：C2r>Th0r

判断条件2：C2r<Th1r

如果C1b≥0成立，则针对B成分进行以下判断：

判断条件1：C2b<Th0b

判断条件2：C2b>Th1b

如果C1b<0成立，则针对B成分进行以下判断：

判断条件1：C2b>Th0b

判断条件2：C2b<Th1b

如果满足判断条件1和2其中之一(步骤S208中为“是”)，则像素值调整部(R)1010和像素值调整部(B)1011进行用于抑制着色的像素值调整。这里，按以下方式调整各像素值，以使得色差C2r和C2b分别变得等于第一色差判断阈值Th0r和Th0b、或者分别变得等于第二色差判断阈值Th1r和Th1b。

针对R成分的像素值调整：

如果满足判断条件1，则通过以下的等式(17)来进行像素值调整：

R(x,y)＝G(x,y)+Th0r(x,y) ...(17)

如果满足判断条件2，则通过以下的等式(18)来进行像素值调整：

R(x,y)＝G(x,y)+Th1r(x,y) ...(18)

针对B成分的像素值调整：

如果满足判断条件1，则通过以下的等式(19)来进行像素值调整：

B(x,y)＝G(x,y)+Th0b(x,y) ...(19)

如果满足判断条件2，则通过以下的等式(20)来进行像素值调整：

B(x,y)＝G(x,y)+Th1b(x,y) ...(20)

如通过等式(14)～(20)容易理解，在系数α大的情况下，图像恢复之后的色差的容许范围变大，因而图像恢复之后的信号值的校正量变小，由此减少了色感的变化。该系数α是根据摄像装置102的噪声量(即，叠加在图像上的噪声量)所设置的。例如，系统控制器110根据与噪声量相关的ISO感光度信息设置系数α作为与图像特征量有关的特征量信息。

图10是示出根据与图1所示的摄像装置102的噪声量相关的ISO感光度来设置系数α的示例的图。

参考图10，在ISO感光度等于100的情况下，将系数α设置为1，并且随着ISO感光度变高，系数α线性增大。这样使得可以减少着色抑制处理所引起的色感的变化。

注意，如果系数α过大，则降低了抑制失焦物体上产生的着色的效果，因而期望考虑到以下所述的着色抑制效果和摄像装置102的噪声特性来通过实验确定系数α。

然后，像素值调整后像素插值部1012对通过应用各个相关联的图像恢复滤波器进行了用于抑制着色的像素值调整的R、G和B的各颜色成分进行像素插值处理(步骤S210)。更具体地，像素值调整后像素插值部1012对来自图像恢复滤波器应用部(G)1004的输出、来自像素值调整部(R)1010的输出和来自像素值调整部(B)1011的输出进行像素插值处理。注意，如果在步骤S208中不满足判断条件1和2(步骤S208中为“否”)，则处理直接进入步骤S210。

在该步骤中，进行用于使用其它周围像素的像素信息来生成插值像素的自适应插值。这样使得可以使用进行了着色抑制处理的颜色成分来相互进行像素插值处理。注意，对于像素值调整后像素插值部1012所进行的像素插值处理，可以采用与针对恢复前像素插值部(G)1001所进行的像素插值处理所采用的方法相同的方法。

现在，例如将说明用于针对图6B所示的插值之前的R成分使用周围像素的其它颜色成分的像素信息来生成插值像素的自适应插值。

像素值调整后像素插值部1012通过以下的等式(21)～(26)，使用预先进行插值的G成分来进行针对R成分的自适应插值。

邻接的左右两侧的像素具有值的情况(例如，R(2,0))

Cr＝(R(x-1,y)–G(x-1,y)

+R(x+1,y)–G(x+1,y))/2 ...(21)

R(x,y)＝G(x,y)+Cr ...(22)

邻接的上下两侧的像素具有值的情况(例如，R(1,1))

Cr＝(R(x,y-1)–G(x,y-1)

+R(x,y+1)–G(x,y+1))/2 ...(23)

R(x,y)＝G(x,y)+Cr ...(24)

邻接的对角两侧的像素具有值的情况(例如，R(2,1))

Cr＝(R(x-1,y-1)–G(x-1,y-1)+R(x+1,y-1)

–G(x+1,y-1)+R(x-1,y+1)–G(x-1,y+1)

+R(x+1,y+1)–G(x+1,y+1))/4 ...(25)

R(x,y)＝G(x,y)+Cr ...(26)

因而，像素值调整后像素插值部1012通过利用从邻接像素获取到的色差信息(R-G)对R成分进行插值来进行自适应插值。

与针对R成分所进行的自适应插值相同，通过根据邻接像素应用上述三个模式其中之一来进行针对图6C所示的B成分的自适应插值，由此利用从邻接像素所获取到的色差信息(B-G)来对B成分进行插值。

图6G～6I示出进行了自适应插值的颜色成分的各颜色平面的示例。注意，为了比较的目的，图6D～6F示出代替进行自适应插值而是进行线性插值的颜色成分的各颜色平面的示例。

如图6D～6F所示，在进行了线性插值的情况下，生成“100”和“200”以外的像素值，并且相对于图5B所示的像素阵列而言，锐度下降。另一方面，在进行了自适应插值的情况下，图6G～6I所示的像素阵列在R、G和B的成分之间在像素值方面相等，并且所有这些都与图5B所示的像素阵列一致。

如上所述，通过进行用于使用周围像素的其它颜色成分的像素信息来生成插值像素的自适应插值，可以生成锐度相对于图5B所示的像素阵列没有下降的图像。

注意，没有特别限制像素值调整后像素插值部1012所进行的像素插值处理，但可以采用任何其它合适的自适应插值方法，只要该方法是用于使用周围像素的其它颜色成分的像素信息来生成插值像素的方法即可。

在步骤S210结束的情况下，图像处理器104终止图像恢复处理，并且进行利用其它图像处理器112的处理。

注意，即使在一个拍摄条件下，OTF也根据摄像光学系统的视角(像高)而改变，因而期望根据像高来针对图像的各分割区域改变图像恢复处理。例如，仅要求在进行卷积处理的同时使图像恢复滤波器在图像上进行扫描，并且可以针对各区域顺次改变图像恢复滤波器。也就是说，针对图像恢复成分的各对象像素进行步骤S203。

在本发明的第一实施例中，尽管说明了图像恢复滤波器的应用作为图像恢复处理，但这并非限制性的。例如，可以通过在图4的处理之前或之后或期间将图像恢复处理与诸如失真校正处理、周边光量校正处理和噪声降低处理等的其它处理组合来进行该图像恢复处理。

图11A和11B是用于说明表示对经过了参考图4所述的图像恢复处理的图像和没有经过图像恢复处理的图像进行显像处理的情况下的边缘部中的亮度的像素值(信号值)的变化的图。图11A示出低感光度的情况下的亮度的变化，并且图11B示出高感光度的情况下的亮度的变化。

图11A示出低感光度的情况的示例，并且图像所含有的作为图像恢复中的着色抑制处理所引起的色感的变化的原因的噪声较少。在图11A的例示示例中，边缘是失焦物体的边缘，并且针对未进行图像恢复处理(未进行恢复)的边缘的像素值(信号值)，除非进行着色抑制处理，否则由于进行图像恢复而导致边缘部中的着色增大。

图12A～12E是用于说明MTF和空间频率特性之间的关系的图。图12A～12D各自示出摄像光学系统的MTF与应用图像恢复滤波器之后所展现的空间频率特性之间的关系，并且图12E示出通过应用图像恢复滤波器所引起的MTF的增减率(恢复增益)。

图12A示出处于聚焦状态的摄像光学系统101的MTF，其中相比G成分，R成分的劣化更大。图12B示出在聚焦状态下应用图像恢复滤波器之后所获得的MTF，其中G成分和R成分都对MTF进行了适当校正，并且彼此一致。

更具体地，在图12B的例示示例中，将图12A所示的MTF分别乘以图12E所示的恢复增益，由此对G成分和R成分的MTF都进行了适当校正以彼此一致。图像恢复滤波器被设计成能够对聚焦物体最佳地进行图像恢复处理，从而使得可以在聚焦状态下适当地进行图像恢复处理。因此，在被摄体聚焦时，适当消除了G成分和R成分的模糊，并且还消除了渗色。

另一方面，图12C和12D示出非聚焦状态下的摄像光学系统101的MTF，其中相比图12A所示的MTF，G成分和R成分这两者都示出不同的特性。图11A所示的边缘部与图12D所示的MTF相对应。

在将图12D所示的MTF乘以图12E所示的恢复增益的情况下，对R成分进行了过度校正，结果如参考图11A和11B所述，在进行了恢复处理的边缘部中发生着色。通过进行上述的图像恢复处理来抑制该着色。也就是说，由于感光度低，因此相比感光度高的情况，将系数α设置为较小的值，由此可以充分进行着色抑制。

在图11B的例示示例中，感光度高，并且RAW图像含有大量噪声。在这种情况下，可以认为从摄像装置上形成的光学图像所获得的图像信息由于噪声而丢失。因此，感光度低的情况下所发现的失焦物体上发生的着色的程度相比感光度高的情况变低。此外，由于显像处理中所进行的噪声降低处理而导致边缘部中发生的着色有时变得不明显。

也就是说，在高感光度的情况下，失焦物体中发生的着色趋于不太明显，因而相比低感光度的情况，在这种情况下将系数α设置为较大的值，由此减少着色抑制处理所引起的色感的变化。这样使得可以在感光度高的情况下进行适当的着色抑制处理。

图13是示出在包含大量噪声的图像的预定区域中沿一条线的图像恢复之前和之后的各色差的移动平均的图。

假定在预定区域中被摄体的亮度低且颜色的变化小。通过图13显而易见，在进行参考图4所述的图像恢复处理的情况下，相比参考图20E所述的状态，色感几乎没有改变。

如上所述，通过根据ISO感光度设置色差判断阈值，可以对包含大量噪声的图像进行适当的着色抑制处理。

尽管在参考图4所述的步骤S207中系统控制器110输出与噪声量相关的ISO感光度作为图像特征量，但代替图像特征量，可以输出与图像恢复滤波器的特性有关的特性特征量。

图14是示出G成分和R成分中所使用的恢复增益的特性的图。

参考图14，增益R和增益G分别表示G成分和R成分所使用的恢复增益的最大值。通常，随着恢复增益变大，噪声成分也被放大。因此，在该示例中，根据恢复增益的大小来设置系数α。

图15是示出最大恢复增益和参数Pgain之间的关系的图。

如图15所示，在最大恢复增益等于“1”的情况下，参数Pgain等于“1”，并且随着最大恢复增益增大，参数Pgain线性增大。将图14所示的增益R和增益G中的较大一个设置为最大恢复增益，并且根据图15所示的关系来获得与最大恢复增益相对应的参数Pgain。用参数Pgain替代系数α，并且使用等式(15)和(16)来分别确定第二色差判断阈值Th1r和Th1b。

此外，针对根据ISO感光度所设置的系数α，根据以下的等式(27)来计算系数α'，并且通过用系数α'替代系数α，可以通过等式(15)和(16)来分别确定第二色差判断阈值Th1r和Th1b。

α'＝α×Pgain ...(27)

通过如此根据恢复增益的大小进行着色抑制处理，可以减少由于着色抑制处理而容易发生色感的变化的区域中的色感的变化。

如上所述，在第一实施例中，根据预定条件来设置色差判断阈值，由此可以适当地抑制图像恢复处理所引起的着色。

接着，将说明作为配备有根据本发明第二实施例的图像处理设备的摄像设备的照相机。除以下所述的图像恢复处理器外，根据第二实施例的照相机具有与图1所示的照相机相同的结构。

图16是作为配备有根据第二实施例的图像处理设备的摄像设备的照相机的图像处理器104中所包括的图像恢复处理器的框图。在图16中，利用相同的附图标记来表示与图3所示的图像恢复处理器111的组件相同的组件，并且省略了针对这些组件的说明。

在图16所示的图像恢复处理器中，不使用图像恢复滤波器的ISO感光度或特性作为特征量信息，而是从图像获得特征量，并且根据所获得的特征量来设置系数α。

图16所示的图像恢复处理器包括恢复前像素插值部(R)1013、恢复前像素插值部(B)1014和图像特征量计算部1015(作为与图3的实施例的不同之处)。恢复前像素插值部(R)1013和恢复前像素插值部(B)1014以与恢复前像素插值部(G)1001对G成分所进行的处理相同的方式来对R成分和G成分进行像素插值处理。

将进行了像素插值的从恢复前像素插值部(G)1001、恢复前像素插值部(R)1013和恢复前像素插值部(B)1014所输出的RGB信号(R信号、G信号、B信号)输入至图像特征量计算部1015。图像特征量计算部1015基于RGB信号来计算各像素的色相、饱和度和亮度。图像特征量计算部1015使用预定的转换公式来将色相、饱和度和亮度转换成HSB颜色空间。

图17A～17C是分别示出图像的色相、饱和度和亮度与参数Ph、Ps和Pb之间的各关系的示例的图。

如图17A～17C所示，随着色相从值0开始增加，参数Ph减小，并且达到Ph＝1。之后，即使在色相增加的情况下，在色相的一定范围内，参数Ph也保持处于Ph＝1。在色相进一步增加得超过该范围的情况下，参数Ph线性增大。

对于饱和度，即使在饱和度从0开始增加的情况下，参数Ps也保持处于固定值，但在饱和度达到预定值的情况下，参数Ps开始逐渐减小为Ps＝1。对于亮度，参数Pb相对于亮度以与Ps相对于饱和度的方式基本相同的方式进行改变。

图像特征量计算部1015从图17A～17C所示的示出图像的色相、饱和度和亮度与参数Ph、Ps和Pb之间的关系的图分别获得与色相、饱和度和亮度相对应的参数Ph、Ps和Pb。然后，图像特征量计算部1015使用所获得的参数Ph、Ps和Pb来根据以下的等式(28)计算参数Phsb作为图像特征量。

Phsb＝Ph×Ps×Pb ...(28)

像素值调整部(R)1010和像素值调整部(B)1011分别通过用参数Phsb替代参数α并且使用等式(15)和(16)来确定第二色差判断阈值Th1r和Th1b。

可选地，像素值调整部(R)1010和像素值调整部(B)1011可以以第一实施例所述的方式来根据ISO感光度计算系数α。然后，像素值调整部(R)1010和像素值调整部(B)1011分别可以通过以下的等式(29)基于系数α来计算系数α'，并且使用等式(15)和(16)基于系数α'来计算第二色差判断阈值Th1r和Th1b。

α'＝α×Phsb ...(29)

如上所述，通过根据图像的色相、饱和度和亮度进行着色抑制处理，可以以使诸如人类肤色等的色感的变化明显的颜色专门化的方式来减少着色抑制处理中的色感的变化。

尽管在图像恢复处理之后进行图像显影时进行颜色再现处理，但图像恢复处理所引起的色差的变化如何促成最终图像的色感根据颜色再现处理而改变。因此，在颜色再现处理中，可以根据敏感地影响最终图像的色感的变化的颜色(颜色空间中的特定区域)来设置色差判断阈值。

此外，尽管以上说明了噪声成分是着色抑制处理中的色感的变化的原因，但对进行了白平衡处理的图像进行图像恢复处理，因而噪声成分因白平衡处理中所使用的RGB增益值而改变。这意味着噪声成分的大小随着颜色而改变。因此，可以根据因白平衡处理而导致噪声增加的颜色来设置色差判断阈值。

在上述示例中，图像特征量计算部1015基于色相、饱和度和亮度来计算图像特征量。另一方面，在计算图像特征量时，可以使用表示边缘部中的像素值变化量的大小的边缘强度。注意，可以通过例如向图像应用已知的差分滤波器来确定边缘强度。

图18是示出边缘强度和参数Pedge之间的关系的示例的图。

如图18所示，参数Pedge随着边缘强度的增加而逐渐减小。图像特征量计算部1015根据图18所示的边缘强度和参数Pedge之间的关系来确定依赖于边缘强度的参数Pedge作为图像特征量。

接着，像素值调整部(R)1010和像素值调整部(B)1011分别通过用参数Pedge替代参数α并且使用等式(15)和(16)来确定第二色差判断阈值Th1r和Th1b。

可选地，如以下的等式(30)所示，像素值调整部(R)1010和像素值调整部(B)1011可以通过将上述等式(29)所计算出的参数α'乘以参数Pedge来计算参数α”。然后，像素值调整部(R)1010和像素值调整部(B)1011可以分别使用等式(15)和(16)基于系数α”来计算第二色差判断阈值Th1r和Th1b。

α”＝α'×Pedge ...(30)

考虑到在图像恢复处理中在失焦物体上发生的着色主要在边缘部上变得明显这一事实，可以根据边缘强度来设置第二色差判断阈值Th1r和Th1b。如此，可以进行如下的处理：抑制边缘部中的着色的发生，并且减少着色抑制处理所引起的平坦部中的色感的变化。

尽管在上述示例中第一色差判断阈值Th0r和Th0b始终等于0，但第一色差判断阈值Th0r和Th0b并非必须等于0。

图19是示出作为配备有根据第二实施例的图像处理设备的摄像设备的照相机所使用的色差判断阈值的图。

参考图19，与使用系数α所设置的第二色差判断阈值Th1r和Th1b相同，基于第一色差判断阈值Th0r和Th0b所用的系数来确定第一色差判断阈值Th0r和Th0b。

通过如上设置第一色差判断阈值Th0r和Th0b，色差增加和减少的情况下发生的色差抑制量的不同之处变小，因而色感的变化变小。在这种情况下，这样减轻了图像恢复所引起的渗色校正的效果，因而期望通过考虑到拍摄所使用的摄像光学系统的特性，以与根据上述边缘强度进行的阈值设置相组合的方式来设置第一色差判断阈值Th0r和Th0b。

如上所述，同样在本发明的第二实施例中，可以适当地抑制图像恢复处理所引起的着色。

在上述实施例中，尽管仅针对输入至各色差计算部的RGB成分中的G成分进行像素插值，但可以通过针对所有的RGB成分进行像素插值来确定各像素的色差。

如通过上述说明显而易见，在图3的例示示例中，恢复前像素插值部(G)1001、第一色差计算部(R)1002和第一色差计算部(B)1003用作第一计算单元，并且图像恢复滤波器应用部(G)1004、图像恢复滤波器应用部(R)1005和图像恢复滤波器应用部(B)1006用作恢复处理单元。此外，恢复后像素插值部(G)1007、第二色差计算部(R)1008和第二色差计算部(B)1009用作第二计算单元，并且像素值调整部(R)1010和像素值调整部(B)1011用作校正单元。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

本申请要求2014年4月25日提交的日本专利申请2014-091349的优先权，在此通过引用包含其全部内容。

Claims (11)

1.一种图像处理设备，其包括至少一个处理器，所述至少一个处理器用作以下单元：

第一计算单元，用于计算根据经由摄像光学构件形成在摄像装置上的光学图像所获得的第一图像数据中的像素的颜色的特征量，作为第一颜色特征量；

恢复处理单元，用于使用用以改善由于所述摄像光学构件而发生劣化的图像质量的恢复滤波器来对所述第一图像数据进行恢复处理，由此生成第二图像数据；

第二计算单元，用于计算所述第二图像数据中的像素的颜色的特征量，作为第二颜色特征量；以及

校正单元，用于在所述第二颜色特征量大于基于所述第一颜色特征量所设置的阈值的情况下，校正所述第二图像数据的像素值，

其特征在于，所述校正单元校正所述第二图像数据的像素值以使得根据校正后的第二图像数据所计算出的第二颜色特征量比根据尚未校正的第二图像数据所计算出的第二颜色特征量更接近所述第一颜色特征量或者与所述第一颜色特征量一致，并且基于预定条件来改变所述阈值，其中所述预定条件包括所述第一图像数据的色相、所述第一图像数据的饱和度、所述第一图像数据的亮度、所述第一图像数据的边缘强度以及生成所述第一图像数据时所应用的增益中的至少一个。

2.根据权利要求1所述的图像处理设备，其中，基于ISO感光度来应用所述增益。

3.根据权利要求1所述的图像处理设备，其中，在白平衡处理中应用所述增益。

4.根据权利要求1所述的图像处理设备，其中，所述校正单元通过将所述第一颜色特征量乘以系数来设置所述阈值。

5.根据权利要求4所述的图像处理设备，其中，所述校正单元基于所述预定条件来改变所述系数。

6.根据权利要求1所述的图像处理设备，其中，还包括插值单元，所述插值单元用于以颜色为单位来对所述校正单元校正后的所述第二图像数据进行插值处理。

7.根据权利要求1所述的图像处理设备，其中，所述第一颜色特征量和所述第二颜色特征量是色差信号。

8.根据权利要求7所述的图像处理设备，其中，所述第一计算单元仅对所述第一图像数据内所包括的多个颜色中的第一颜色的像素值进行插值处理，并且基于所述第一颜色以外的颜色的像素值与所述第一颜色的像素值之间的差来计算所述第一颜色特征量，以及

所述第二计算单元仅对所述第二图像数据内所包括的多个颜色中的所述第一颜色的像素值进行插值处理，并且基于所述第一颜色以外的颜色的像素值与所述第一颜色的像素值之间的差来计算所述第二颜色特征量。

9.根据权利要求1所述的图像处理设备，其中，所述第一图像数据包括与绿色成分、红色成分和蓝色成分相对应的像素值。

10.根据权利要求8所述的图像处理设备，其中，所述第一计算单元包括一个计算单元和另一计算单元，并且所述第一颜色特征量包括所述一个计算单元和所述另一计算单元分别计算出的一个第一颜色特征量和另一第一颜色特征量，

所述第一颜色是绿色成分，

所述一个计算单元计算红色成分的像素值和绿色成分的像素值之间的差作为所述一个第一颜色特征量，以及

所述另一计算单元计算蓝色成分的像素值和绿色成分的像素值之间的差作为所述另一第一颜色特征量。

11.一种图像处理方法，包括以下步骤：

计算根据经由摄像光学构件形成在摄像装置上的光学图像所获得的第一图像数据中的像素的颜色的特征量，作为第一颜色特征量；

使用用以改善由于所述摄像光学构件而发生劣化的图像质量的恢复滤波器来对所述第一图像数据进行恢复处理，由此生成第二图像数据；

计算所述第二图像数据中的像素的颜色的特征量，作为第二颜色特征量；以及

校正步骤，用于在所述第二颜色特征量大于基于所述第一颜色特征量所设置的阈值的情况下，校正所述第二图像数据的像素值，

其特征在于，在所述校正步骤中，校正所述第二图像数据的像素值以使得根据校正后的第二图像数据所计算出的第二颜色特征量比根据尚未校正的第二图像数据所计算出的第二颜色特征量更接近所述第一颜色特征量或者与所述第一颜色特征量一致，并且基于预定条件来改变所述阈值，其中所述预定条件包括所述第一图像数据的色相、所述第一图像数据的饱和度、所述第一图像数据的亮度、所述第一图像数据的边缘强度以及生成所述第一图像数据时所应用的增益中的至少一个。