CN102968761B - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明涉及一种图像处理设备和图像处理方法。该图像处理设备对多个颜色的图像数据进行用于校正由于光学摄像系统的像差所引起的图像劣化的恢复处理，并且包括：分离部件，用于将图像数据分离成各个颜色的图像数据，并且还将空间频率特性由于所述多个颜色的颜色滤波器的排列而高于其它颜色的空间频率特性的颜色的图像数据分离成多个颜色的图像数据，以使其具有与所述其它颜色相同的空间频率特性；多个图像处理部件，用于对分离得到的图像数据分别进行基于滤波处理的恢复处理；以及插值处理部件，用于对经过了所述恢复处理的图像数据进行各像素的颜色插值处理。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及一种图像处理设备和图像处理方法，尤其涉及一种通过使用图像恢复处理来校正劣化图像的图像处理设备和方法。

背景技术

由于信息的数字化使得能够将图像作为信号值进行处理，因而提出了针对所拍摄图像的各种校正处理方法。当利用数字照相机拍摄被摄体并使被摄体图像化时，所获得的图像的质量遭受一定程度的劣化。使被摄体图像化所使用的光学摄像系统的像差尤其会造成图像质量的劣化。

图像的模糊成分的成因包括光学系统的球面像差(spherical aberration)、彗星像差(comatic aberration)、像场弯曲(field of curvature)和像散(astigmatism)。由这些像差所引起的图像的模糊成分各自表示从被摄体的一个点出射的光束形成为扩散的图像，而在没有任何像差或没有任何衍射影响的情况下，该光束应在摄像面上会聚到一个点。该状态在光学领域称之为PSF(点扩散函数)，而这里在图像领域称之为模糊成分。图像中的模糊可以表示离焦图像，但这里也使用图像中的模糊来表示即使处于聚焦状态、由于光学系统的上述像差的影响而导致模糊的图像。另外，可以将由光学系统的轴上色像差、颜色的球面像差和颜色的慧星像差所引起的彩色图像的色边纹(colorfringing)当作不同波长处发生模糊的不同方式。

通过PSF的傅立叶变换所获得的OTF(光学传递函数)是以复数表示的像差的频率成分信息。将OTF的绝对值、即振幅成分称为MTF(调制传递函数)，并且将相位成分称为PTF(相位传递函数)。也就是说，MTF和PTF分别是由像差导致的图像劣化的振幅成分和相位成分的频率特性。在这种情况下，按照如下将相位成分表示为相位角。

PTF=tan^-1(Im(OTF)/Re(OTF))        ...(1)

其中，Re(OTF)和Im(OTF)分别表示OTF的实部和虚部。

如上所述，光学摄像系统的OTF导致图像的振幅成分和相位成分的劣化。由于该原因，如彗星像差一样，劣化图像在所拍摄的被摄体的各点处不对称地处于模糊状态。

另外，当图像形成位置由于光的不同波长的图像形成倍率的差异而产生移位并且摄像设备根据分光特性获取上述移位作为R、G和B颜色成分时，发生倍率色像差。由于各颜色成分内的不同波长的图像形成位置移位(即，相位移位)以及R、G和B成分之间的图像形成位置移位，因而导致发生图像扩散。确切地说，倍率色像差不单是由水平移位所引起的色边纹。然而，这里将使用色边纹作为倍率色像差的同义词。

作为用于校正振幅(MTF)和相位(PTF)的劣化的方法，已知用于通过使用光学摄像系统的OTF的信息来校正这些劣化的方法。该方法被称为“图像恢复”和“图像复原”。将用于通过使用光学摄像系统的OTF的信息来校正图像劣化的处理称为图像恢复处理。

下面是图像恢复处理的概要说明。设g(x，y)是劣化图像，f(x，y)是原始图像，并且h(x，y)是通过光学传递函数的逆傅立叶变换所获得的PSF，则以下给出的等式(2)成立：

g(x,y)=h(x,y)*f(x,y)                        ...(2)

其中，*表示卷积，并且(x，y)表示图像上的坐标。

当通过傅立叶变换将该等式转换成频面上的显示形式时，如等式(3)所示，变成各频率的积的形式。

G(u,v)=H(u,v)·F(u,v)                        ...(3)

其中，H是通过PSF的傅立叶变换所获得的函数，因此表示OTF，并且(u，v)表示二维频面上的坐标、即频率。

也就是说，为了根据所拍摄的劣化图像获得原始图像，可以如以下给出的等式(4)所示，将等式(3)的两边除以H。

G(u,v)/H(u,v)=F(u,v)                        ...(4)

通过逆傅立叶变换使F(u,v)恢复成实面，这可以获得原始图像f(x，y)作为恢复图像。

在假定R是通过等式(4)的逆傅立叶变换所获得的值的情况下，如等式(5)所示，还可以通过对实面上的图像进行卷积处理来获得原始图像。

g(x,y)*R(x,y)=f(x,y)                        ...(5)

其中，将R(x，y)称为图像恢复滤波器。然而，实际图像包括噪声成分。由于该原因，使用通过以上述方式对OTF完全求倒数所生成的图像恢复滤波器，这将放大噪声成分以及劣化图像。因此，通常，无法获得适当的图像。对此，例如，已知诸如使用维纳(Wiener)滤波器的方法等的用于根据图像信号和噪声信号之间的强度比来抑制图像的高频侧的恢复率的方法。作为用于校正图像的色边纹成分的劣化的方法，例如，通过校正上述模糊成分来校正劣化，从而使得模糊量对于图像的各个颜色成分而言是均匀的。

在这种情况下，由于OTF根据诸如变焦位置和光圈直径等的摄像状态而改变，因此需要改变图像恢复处理所使用的图像恢复滤波器。

例如，日本特开2006-238032公开了在图像恢复后的PSF中设置微小扩散时所进行的图像恢复处理。日本特许第03532368号公报公开一种技术，其中，该技术用于在观察生物体内部的内窥镜中，对于摄像部件的聚焦范围以外的范围，通过利用与要使用的荧光波长相对应的PSF来消除图像模糊。由于荧光较弱，因而需要f值较小的对物光学系统。这导致焦深减小。因此，将该技术设计成通过对于光学系统失焦的范围进行图像恢复处理来获得聚焦图像。

如上所述，对于所拍摄的输入图像进行图像恢复处理，这可以通过校正像差来改善图像质量。

图像恢复处理方法包括：用于对具有与一种颜色成分(即，R、G和B颜色成分其中之一)相对应的信号的RAW图像应用图像恢复处理的方法；以及用于在进行插值以使得各像素具有与所有颜色成分(即，R、G和B颜色成分)相对应的信号之后对各颜色平面应用图像恢复处理的方法。

用于对各颜色平面应用图像恢复处理的方法与用于对RAW图像应用图像恢复处理的方法相比，在应用图像恢复处理的像素的数量和恢复滤波器的抽头数方面较多。这导致图像恢复处理的处理负荷显著增大。

通常，常以图2所示那样的拜尔(Bayer)排列来对构成RAW图像的各像素的颜色成分进行排列。在这种情况下，G成分的像素数大于R或B成分的像素数。由于该原因，RAW图像中的G成分的像素排列的频率特性不同于R和B成分的像素排列的频率特性。如上所述，由于图像恢复处理相当于频率特性的校正，因而G成分的频带不同于R成分或B成分的频带。在这种情况下，可以在比R成分或B成分的频带更高的频带中恢复G成分。如果仅将R、G和B成分中的G成分恢复到高频带为止，则图像恢复处理有时在包括图像的高频成分的区域中生成原始图像中不存在的伪色。这是因为：图像的高频带的R、G和B成分的频率特性之间的关系在图像恢复处理前后发生了改变。如上所述，对不同频带的信号成分进行图像恢复处理，这将生成伪色。与由于Bayer排列的图像的像素插值所生成的伪色不同，由于通过图像传感器所获取到的像素数据自身的变化，生成了这种情况下的伪色。因此，使用为了抑制伪色的生成所设计的像素插值算法并不能抑制由于图像恢复处理所生成的伪色。

发明内容

本发明是考虑到上述情况而做出的，并且本发明降低了RAW图像中由图像恢复处理所生成的伪色，还降低了图像恢复处理的负荷。

根据本发明，提供一种图像处理设备，用于对图像数据进行恢复处理，以校正由于光学摄像系统的像差所引起的图像质量的劣化，其中，所述图像数据是通过使用具有多个像素的图像传感器拍摄经由所述光学摄像系统入射的被摄体图像而获得的，所述图像传感器的各像素被多个颜色的颜色滤波器其中之一覆盖，所述图像处理设备包括：分离部件，用于将所述多个颜色的图像数据分离成各个颜色的图像数据；多个图像处理部件，用于对所述分离部件分离得到的各个颜色的图像数据各自进行基于滤波处理的恢复处理；以及插值处理部件，用于对经过了所述恢复处理的图像数据进行各像素的颜色插值处理，其中，所述分离部件还用于将空间频率特性由于所述多个颜色的颜色滤波器的排列而高于其它颜色的空间频率特性的颜色的图像数据分离成多个同一颜色的图像数据，从而使得该多个同一颜色的图像数据具有与所述其它颜色的图像数据相同的空间频率特性，以及所述插值处理部件还用于通过将所述多个颜色的图像数据如同同一颜色的图像数据一样使用来进行所述颜色插值处理。

此外，根据本发明，提供一种图像处理设备，用于对图像数据进行恢复处理，以校正由于光学摄像系统的像差所引起的图像质量的劣化，其中，所述图像数据是通过使用具有多个像素的图像传感器拍摄经由所述光学摄像系统入射的被摄体图像而获得的，所述图像传感器的各像素被多个颜色的颜色滤波器其中之一覆盖，所述图像处理设备包括：多个图像处理部件，其串联配置，并且各自用于对所述多个颜色的图像数据中的一部分图像数据进行基于滤波处理的恢复处理；以及插值处理部件，用于对经过了所述恢复处理的图像数据进行各像素的颜色插值处理，其中，所述多个图像处理部件各自用于对没有经过所述恢复处理的各个颜色的图像数据进行所述恢复处理，并且将空间频率特性由于所述多个颜色的颜色滤波器的排列而高于其它颜色的空间频率特性的颜色的图像数据作为多个同一颜色的图像数据分别进行处理，从而使得通过所述多个图像处理部件作为所述多个同一颜色的图像数据分别进行处理的一部分图像数据具有与所述其它颜色的图像数据相同的频率特性，以及所述插值处理部件还用于通过将所述多个颜色的图像数据如同同一颜色的图像数据一样使用来进行所述颜色插值处理。

此外，根据本发明，提供一种图像处理方法，用于对图像数据进行恢复处理，以校正由于光学摄像系统的像差所引起的图像质量的劣化，其中，所述图像数据是通过使用具有多个像素的图像传感器拍摄经由所述光学摄像系统入射的被摄体图像而获得的，所述图像传感器的各像素被多个颜色的颜色滤波器其中之一覆盖，所述图像处理方法包括以下步骤：分离步骤，用于将所述多个颜色的图像数据分离成各个颜色的图像数据；图像处理步骤，用于对所述分离步骤中分离得到的各个颜色的图像数据各自进行基于滤波处理的恢复处理；以及插值处理步骤，用于对经过了所述恢复处理的图像数据进行各像素的颜色插值处理，其中，在所述分离步骤中，将空间频率特性由于所述多个颜色的颜色滤波器的排列而高于其它颜色的空间频率特性的颜色的图像数据分离成多个同一颜色的图像数据，从而使得该多个同一颜色的图像数据具有与所述其它颜色的图像数据相同的空间频率特性，以及在所述插值处理步骤中，通过将所述多个颜色的图像数据如同同一颜色的图像数据一样使用来进行所述颜色插值处理。

此外，根据本发明，提供一种图像处理方法，用于对图像数据进行恢复处理，以校正由于光学摄像系统的像差所引起的图像质量的劣化，其中，所述图像数据是通过使用具有多个像素的图像传感器拍摄经由所述光学摄像系统入射的被摄体图像而获得的，所述图像传感器的各像素被多个颜色的颜色滤波器其中之一覆盖，所述图像处理方法包括以下步骤：图像处理步骤，用于使用串联配置的多个图像处理部件对所述多个颜色的图像数据中的一部分图像数据顺次进行基于滤波处理的恢复处理；以及插值处理步骤，用于对经过了所述恢复处理的图像数据进行各像素的颜色插值处理，其中，在所述图像处理步骤中，所述多个图像处理部件各自对没有经过所述恢复处理的各个颜色的图像数据进行所述恢复处理，并且将空间频率特性由于所述多个颜色的颜色滤波器的排列而高于其它颜色的空间频率特性的颜色的图像数据作为多个同一颜色的图像数据分别进行处理，从而使得通过所述多个图像处理部件作为所述多个同一颜色的图像数据分别进行处理的一部分图像数据具有与所述其它颜色的图像数据相同的频率特性，以及在所述插值处理步骤中，通过将所述多个颜色的图像数据如同同一颜色的图像数据一样使用来进行所述颜色插值处理。

通过以下(参考附图)对实施例的说明，本发明的其它特征将变得明显。

附图说明

包含在说明书中并构成说明书一部分的附图示出了本发明的实施例，并与说明书一起用来解释本发明的原理。

图1是示出根据本发明实施例的图像处理设备的结构的框图；

图2是示出颜色成分排列的例子的图；

图3是示出根据第一实施例的图像处理单元的结构的框图；

图4A~4E是示出根据第一实施例的颜色成分和图像恢复成分的图；

图5A和5B是示出根据第一实施例的颜色成分特定频率特性的图；

图6是根据第一实施例的图像恢复处理的流程图；

图7A和7B是用于说明图像恢复滤波器的示意图；

图8A和8B是用于说明根据第一实施例的图像恢复滤波器的示意图；

图9A和9B是示出根据第一实施例的图像恢复滤波器的恢复增益的例子和图像的MTF的例子的图；

图10A~10K是示出根据第一实施例的颜色插值处理的例子的图；

图11A和11B是各自示出根据第一实施例的另一图像传感器的像素排列的例子的图；

图12是示出根据第一实施例的另一颜色成分和图像恢复成分的图；

图13是示出根据第二实施例的图像处理单元的结构的框图；以及

图14是示出根据第二实施例的图像恢复处理的流程图。

具体实施方式

将参考附图详细说明本发明的实施例。

第一实施例

图1示出根据本发明实施例的摄像设备的基本结构的例子。通过包括光圈101a和调焦透镜101b的光学摄像系统101使被摄体图像(未示出)入射至图像传感器102。图像传感器102覆盖有例如以图2所示的所谓的Bayer排列所配置的颜色滤波器。构成图像传感器102的各像素输出与红色(R)、绿色(G)和蓝色(B)滤波器中覆盖着该像素的滤波器的颜色相对应的颜色成分的信号。图像传感器102将成像光转换成电信号。A/D转换器103将该信号转换成数字信号，并且将该数字信号输入给图像处理单元104。图像处理单元104包含图像恢复处理单元111和进行预定处理的其它图像处理单元112。特别地，图像处理单元112进行颜色插值处理。来自图像恢复处理单元111的输出图像的各像素仅包括与滤波器颜色之一相对应的颜色成分的信号。由于该原因，图像处理单元112对恢复图像进行颜色插值处理，以使各像素具有与所有滤波器颜色相对应的颜色成分的信号。

首先，图像处理单元104从状态检测单元107获得摄像设备的摄像状态的信息。状态检测单元107可以直接从系统控制器110获得摄像状态的信息，并且可以从光学摄像系统控制单元106获得与例如光学摄像系统有关的摄像状态的信息。然后，图像恢复处理单元111从存储单元108选择与摄像状态相对应的图像恢复滤波器，并且对输入给图像处理单元104的图像进行图像恢复处理。代替图像恢复滤波器，由存储单元108保持的数据也可以是与生成图像恢复滤波器所需的OTF有关的信息。在这种情况下，图像恢复处理单元111从存储单元108选择与同摄像状态相对应的OTF有关的信息，并且生成与摄像状态相对应的图像恢复滤波器。然后，图像恢复处理单元111对输入给图像处理单元104的图像进行图像恢复处理。

图像记录介质109以预定格式保持图像处理单元104处理后的输出图像。显示单元105可以显示通过对于经过了图像恢复处理的图像进行显示用的预定处理所获得的图像，或者可以显示没有经过图像恢复处理或经过了简单恢复处理的图像。

系统控制器110进行一系列控制操作。光学摄像系统控制单元106根据来自系统控制器110的指示，机械地驱动光学摄像系统。

系统控制器110对作为f值的摄像状态设置的光圈101a的开口直径进行控制。AF(自动调焦)机构或手动调焦机构控制调焦透镜101b的位置，以根据被摄体距离进行焦点调整。该光学摄像系统101可以包括诸如低通滤波器或红外截止滤波器等的光学元件。在使用诸如对OTF的特性施加影响的低通滤波器等的元件的情况下，在生成图像恢复滤波器时，需要考虑由该光学元件所引起的OTF的变化。红外截止滤波器也对作为分光波长的PSF的积分值的RGB通道的PSF(尤其是R通道的PSF)施加影响。因此，在生成图像恢复滤波器时，考虑由红外截止滤波器所引起的PSF的变化。

此外，光学摄像系统101被配置为摄像设备的一部分，但如单镜头反光照相机一样，也可以是可更换的。

图3示出根据第一实施例的图像处理单元104的结构。如上所述，输入给图像恢复处理单元111的输入图像是RAW数据，其中，在RAW数据中，各像素具有颜色成分(即如图2所示那样的Bayer排列的R、G和B颜色成分)的其中一个。

在第一实施例中，图像恢复处理单元111中的信号分离单元1101将G成分分离成G1和G2以获得R、G1、G2和B这四个图像恢复成分。然后，将这四个图像恢复成分输入给恢复滤波器应用单元1110~1113以对这些成分应用图像恢复滤波。

图4A~4E各自示出RAW数据中的各颜色成分以及各图像恢复成分的例子。图4A~4E示出RAW数据中的三个颜色成分。图4A示出G成分。图4B示出R成分。图4C示出B成分。图4A~4E中以白色方块所表示的各像素表示相应的颜色成分。在第一实施例中，将图4A所示的G成分分割成图4D和4E所示的G1和G2成分，并且对分割得到的G1和G2成分应用图像恢复处理。假定从水平方向上与输出R成分的信号的像素相邻的像素所输出的G成分的信号是G1成分的信号，并且从与输出B成分的信号的像素相邻的像素所输出的G成分的信号是G2成分的信号。在图4A~4E中，图4B示出图像恢复成分R，图4C示出图像恢复成分B，图4D示出图像恢复成分G1，并且图4E示出图像恢复成分G2。

图5A和5B是示出图像传感器中的颜色成分特定像素排列的空间频率特性的图。在假定1表示可以感测光的各像素(以白色方块表示)并且0表示无法感测光的各像素(以黑色方块表示)的情况下，分别通过m_G(x，y)、m_R(x，y)、m_B(x，y)、m_G1(x，y)和m_G2(x，y)来表示图4A~4E所示的各成分。图5A和5B示出的空间频率特性与通过m_G(x，y)、m_R(x，y)、m_B(x，y)、m_G1(x，y)和m_G2(x，y)的傅立叶变换所获得的数据相对应。

图5A示出G成分，即作为梳状函数的图4A中的空间频率特性，其中仅在位置“●”处存在1。图5B示出图4B和4C所示的R和B成分的空间频率特性。图5B不同于示出G成分的空间频率特性的图5A。另外，G成分被分割成图像恢复成分G1和G2时所获得的空间频率特性与示出R和B成分的空间频率特性的图5B所示的相同。

在对三个颜色成分R、G和B直接进行图像恢复处理时，如图5A和5B所示，由于G成分的空间频率特性不同于R和B成分的空间频率特性，因而如上所述，在包括图像的高频成分的区域中可能生成原始图像中不存在的伪色。与此相对，将G成分分离成图像恢复成分G1和G2，这使得四个图像恢复成分R、G1、G2和B的像素排列表现出相同的空间频率特性。这使得对于共通的频带进行图像恢复处理，因此可以抑制由于图像恢复处理而引起的伪色的生成。

当对三个颜色成分R、G和B直接进行图像恢复处理时，可以根据用于生成要应用于G成分的图像恢复滤波器的方式，使得要校正的G成分的频带与R和B成分的频带一致。然而，该处理中要恢复的频带相当于用于将G成分分离成图像恢复成分G1和G2的处理中要恢复的频带。如稍后所述，从图像恢复滤波器的卷积时的处理负荷的观点而言，用于将G成分分离成图像恢复成分G1和G2的处理更为有利。

下面将参考图6的流程图详细说明第一实施例的图像恢复处理单元111的图像恢复处理的过程。

在步骤S11，如上所述，图像恢复处理单元111从状态检测单元107获取实际摄像状态的信息。摄像状态例如包括变焦位置、开口直径和被摄体距离。在步骤S12，信号分离单元1101将由R、G和B成分构成的RAW数据分离成四个图像恢复成分R、G1、G2和B。更具体地，可以针对R、G1、G2和B分别准备四个图像数据，其中这四个图像数据在作为与对象图像恢复成分以外的颜色成分相对应的像素的部分均设置0。可选地，可以针对R、G1、G2和B分别准备四个图像数据，其中这四个图像数据各自具有1/4大小并且是通过间隔剔除作为与对象图像恢复成分以外的颜色成分相对应的像素的部分所获得的。

在步骤S13，图像恢复处理单元111从存储单元108选择适于所获取到的摄像状态和四个图像恢复成分R、G1、G2和B的图像恢复滤波器。此时，可以根据需要校正所选择的图像恢复滤波器。这是用于离散地准备摄像状态的数据以减少存储单元108中预先准备的图像恢复滤波器数据的数量、并且在实际执行图像恢复处理时校正图像恢复滤波器的操作。另外，在代替图像恢复滤波器、存储单元108保持与生成图像恢复滤波器所需的OTF有关的信息的情况下，根据所选择的与OTF有关的信息来生成与摄像状态相对应的图像恢复滤波器。

下面说明图像恢复滤波器。

图7A和7B是示出要应用于各像素包含各颜色成分R、G和B的图像的各颜色平面的图像恢复滤波器的例子的示意图。可以根据光学摄像系统的像差量来确定图像恢复滤波器的抽头数。在这种情况下，使用具有11×11个抽头的二维滤波器。在滤波器的各抽头与图像的一个像素相对应的情况下，在图像恢复过程中对图像进行卷积处理。如图7A所示，使用通过将图像恢复滤波器分割成100个以上的滤波器所获得的二维滤波器，可以对诸如光学摄像系统的球面像差、彗星像差、轴上色像差和轴外色耀斑等的从成像位置广泛扩散的像差进行恢复。

图7A省略了各抽头的值。图7B示出该滤波器的一个截面。可以通过上述方法、即通过计算或测量光学摄像系统的光学元件的OTF并进行逆函数的逆傅立叶变换，来生成该图像恢复滤波器。通常，由于需要考虑噪声的影响，因而可以选择性地使用用于生成Wiener滤波器或关联的恢复滤波器的方法。使用Wiener滤波器可以恢复相位(PTF)的劣化并且针对各频带以不同水平恢复振幅(MTF)的劣化。另外，OTF可以具有不仅针对光学摄像系统还针对要输入的图像而使该OTF劣化的因素。例如，相对于OTF的频率特性，使用低通滤波器来抑制高频成分。另外，图像传感器的像素开口的形状和开口率也对频率特性具有影响。另外，这类因素包括光源的分光特性和具有各种波长的滤波器的分光特性。优选地，基于包含能够导致OTF特性劣化的可能因素的广义的OTF来生成图像恢复滤波器。

如果输入图像是RGB颜色图像，则优选生成与各颜色成分(即，R、G和B成分)相对应的三个图像恢复滤波器。光学摄像系统具有色像差，并且对于各颜色成分在模糊方式上发生变化。由于该原因，各颜色成分的图像恢复滤波器的特性基于色像差相互略有不同。也就是说，图7A的截面图对于各颜色成分有所不同。并非必须根据方块排列来确定垂直方向和水平方向上的图像恢复滤波器的抽头数，并且抽头数可以任意改变，只要考虑到卷积处理即可。

与要应用于各像素具有所有颜色成分R、G和B的图像的各颜色平面的如上所述的图像恢复滤波器进行比较，将参考图8A和8B来说明第一实施例中所使用的要应用于各像素具有一种颜色成分的RAW图像的图像恢复滤波器的例子。该滤波器是针对存在对象颜色成分的像素保持了系数的图像恢复滤波器，其中，以白色方块表示用于保持系数的各部分，并且以黑色方块表示保持0的其余部分。

在对R、G和B成分这三个颜色成分进行图像恢复处理时，在未分离G成分的情况下，要应用于R和B成分的图像恢复滤波器变成图8A所示的图像恢复滤波器，并且要应用于G成分的图像恢复滤波器变成图8B所示的图像恢复滤波器。与此相对，第一实施例在将G成分分离成图像恢复成分G1和G2的情况下应用图像恢复滤波器，因此可以针对任意的成分R、G1、G2和B使用如图8A所示那样的图像恢复滤波器。

返回参考图6，在步骤S14，使用步骤S13所选择的图像恢复滤波器，恢复滤波器应用单元1110~1113对所拍摄的输入图像的图像恢复成分R、G1、G2和B的各像素进行基于滤波处理的卷积处理。这使得可以消除或降低由光学摄像系统中发生的像差所引起的图像的模糊成分。如上所述，使用适合于各颜色图像恢复成分R、G1、G2和B的图像恢复滤波器，同样可以校正色像差。

第一实施例中的卷积处理是基于使用图4B~4E所示的图像恢复成分R、G1、G2和B以及图8A所示的图像恢复滤波器的滤波处理的卷积处理。优选地，根据用于使得步骤S12分离得到的各图像恢复成分具有数据的方式来按照需要改变用于保持图像恢复滤波器的方法或用于应用滤波器的方法。例如，在针对R、G1、G2和B分别准备了对对象图像恢复成分以外的部分设置0的四组图像数据的情况下，通过将对象图像恢复成分限制为要经过卷积处理的像素，可以省略不必要的计算。另外，在针对R、G1、G2和B分别准备如下四组图像数据的情况下，该设备还可以在间隔剔除要使用的系数以外的系数的状态下保持图像恢复滤波器自身，其中这四组图像数据各自具有1/4大小并且是通过间隔剔除要处理的图像恢复成分以外的部分而获得的。这使得可以对具有1/4大小的图像数据直接应用滤波器。

在任一情况下，要使用的滤波器的有效系数的数量变得明显少于应用于像素都具有所有颜色成分R、G和B的图像的如图7A所示的图像恢复滤波器的有效系数的数量以及应用于未被分离的G成分的如图8B所示的图像恢复滤波器的有效系数的数量。这降低了卷积处理的负荷。

在对图像的各像素进行图像恢复处理的情况下，图像恢复处理单元111完成该处理。由于即使在一种摄像状态下，OTF也根据光学摄像系统的视角(图像高度)而改变，因而优选地，在根据图像高度针对图像的各分割区域改变OTF时进行根据本发明的图像恢复处理。优选地，在进行卷积处理的情况下在图像上扫描图像恢复滤波器，并且针对各区域顺次改变滤波器。也就是说，该设备针对各图像恢复成分的各对象像素执行步骤S13和S14。

将通过图像恢复处理单元111进行了图像恢复处理的图像数据输入给图像处理单元112。由于进行了图像恢复处理的图像数据保持Bayer排列，因而其它图像处理单元112对由图像传感器所保持的三个颜色成分分别进行颜色插值处理。除颜色插值处理以外，其它图像处理单元112通过对RAW数据进行诸如伽玛校正和颜色平衡控制等的已知显像处理，生成JPEG格式等的图像文件。

将参考图9A和9B说明图像恢复滤波器的恢复增益和基于图像恢复处理的执行/不执行的图像的频率特性。注意，将恢复增益定义为图像恢复处理中的MTF的放大系数。图9A所示的图是第一实施例的图像恢复滤波器的恢复增益的例子。根据图像恢复成分的上述像素排列的空间频率特性，可以认为要通过图像恢复滤波器恢复的频带范围是直到图像传感器的奈奎斯特频率的1/2为止的频带范围。与此相对，在对各像素具有所有颜色成分R、G和B的图像的各颜色平面进行图像恢复处理的情况下，可以认为，根据图像恢复成分的像素排列的空间频率特性，要通过图像恢复滤波器恢复的频带范围是直到图像传感器的奈奎斯特频率为止的频带范围。

经过了根据第一实施例的图像恢复处理的JPEG格式等的输出图像的MTF的改善并不局限于达到图像传感器的奈奎斯特频率的1/2为止的频带。图9B示出根据第一实施例的输出图像的区域中的MTF的例子。显然，与不进行图像恢复处理的情况下所获得的输出图像相比，在进行图像恢复处理的情况下，即使在等于或高于图像传感器的奈奎斯特频率的频带中，MTF也得以改善。这是受到通过其它图像处理单元112所进行的颜色插值处理的影响。对于如具有Bayer排列的图像传感器那样的图像传感器中的颜色插值处理进行了研究，并且公开了各种插值技术。通常使用的方法是用于通过使用其它邻近颜色成分的像素信息生成插值像素的自适应颜色插值处理。这是用于在通过插值处理生成特定像素的成分R的像素值的情况下、通过使用邻近像素的成分G和B的信息来确定特定像素的成分R的插值方法的方法。不同于用于对一种颜色成分进行简单线性插值的方法，这类自适应颜色插值处理可以抑制由插值处理所导致的伪色的生成或锐度的劣化。

下面使用图10A~10K所示的边缘部分处的像素插值的例子来说明自适应颜色插值处理方法的例子。图10A是特定边缘的断面图。假定该边缘是无色的单色部分，并且当通过图像传感器102的各像素获取各颜色成分R、G和B的值的情况下，颜色成分R、G和B各自具有如图10B所示的由像素值100和200所构成的像素排列。实际上，由于通过以Bayer排列的图像传感器102所拍摄的RAW图像在各像素中具有一种颜色成分，因而在提取各颜色成分的值的情况下，将会获得图10C~10E所示的像素排列。图10C~10E所示的各颜色成分的像素排列中以黑色方块所表示的各像素是需要颜色插值处理的像素。显然，在这种情况下，颜色插值处理后的各颜色成分理想地具有图10B所示的像素值。随后，将图10C~10E所示的像素排列记为G(x，y)、R(x，y)和B(x,y)，其中，x表示水平方向上的坐标，并且y表示垂直方向上的坐标，x和y的值在图10A~10K中各自具有0~4的范围。

首先，下面是用于对图10C~10E中的各颜色成分进行线性插值的例子。在对G成分进行线性插值时，通过使用与G成分相邻的四个像素来计算等式(6)。

G(x,y)=(G(x,y-1)+G(x-1,y)+G(x+1,y)+G(x,y+1))/4    ...(6)

根据要插值的像素的位置，通过使用不同图案进行针对R成分的线性插值。也就是说，通过使用以等式(7)所表示的以下三个图案的其中一个来进行线性插值：

如果相邻的左右像素具有值(例如R(2，0))，

则R(x,y)=(R(x-1,y)+R(x+1,y))/2

如果相邻的上下像素具有值(例如R(1，1))，

则R(x,y)=(R(x,y-1)+R(x,y+1))/2

如果相邻的斜角像素具有值(例如R(2，1))，

则R(x,y)=(R(x-1,y-1)+R(x+1,y-1)+R(x-1,y+1)+R(x+1,y+1))/4     ...(7)

通过根据要插值的像素的位置应用以上述等式(7)表示的三个图案的其中一个，该设备以与针对R成分相同的方式进行针对B成分的线性插值。

图10F~10H示出应用上述线性插值的各颜色成分的例子。该插值处理生成了100和200以外的像素值。因此，显然，像素值的锐度低于图10B所示的像素值的锐度。

下面是用于通过使用像素周围的其它颜色成分的像素信息生成插值像素的自适应颜色插值处理的例子。以下将该自适应颜色插值处理称为“自适应插值”。设备以下面的方式对G成分进行自适应插值。

当生成R成分中具有值的像素的G成分(例如G(1，2))时：

H_DIFF=(R(x,y)-R(x-2,y))

+(R(x,y)-R(x+2,y))

V_DIFF=(R(x,y)-R(x,y-2))

+(R(x,y)-R(x,y+2))

IF(|H_DIFF|>|V_DIFF|){

G(x,y)=(G(x,y-1)+G(x,y+1))/2

}

ELSE{

G(x,y)=(G(x-1,y)+G(x+1,y))/2

}

基于以该方式根据R成分所计算出的H_DIFF和V_DIFF来判断插值方向，可以抑制由线性插值所引起的锐度的劣化。尽管以上说明涉及生成R成分中具有值的像素的G成分，但该设备可以以相同方式对B成分中具有值的像素的G成分(例如G(2，1))进行插值。如上所述，在进行插值时，该设备未将G成分分离成G1和G2成分而是将G成分当作一种颜色成分进行处理，因此与将G成分分离成G1和G2成分时相比，可以使用更邻近的像素的值。这将改善高频带中的MTF。

如下面给出的等式(8)所示，该设备通过使用利用上述方法所插值的G信号来进行针对R成分的自适应插值。

如果相邻的左右像素具有值(例如R(2，0))，

则Cr=(R(x-1,y)-G(x-1,y)+R(x+1,y)-G(x+1,y))/2

R(x,y)=G(x,y)+Cr

如果相邻的上下像素具有值(例如R(1，1))，

则Cr=(R(x,y-1)-G(x,y-1)+R(x,y+1)-G(x,y+1))/2

R(x,y)=G(x,y)+Cr

如果相邻的斜角像素具有值(例如R(2，1))，

则Cr=(R(x-1,y-1)-G(x-1,y-1)

+R(x+1,y-1)-G(x+1,y-1)

+R(x-1,y+1)-G(x-1,y+1)

+R(x+1,y+1)-G(x+1,y+1))/4

R(x,y)=G(x,y)+Cr                        ...(8)

该设备以该方式通过对从相邻像素所获取到的色差信息(R-G)进行插值来进行自适应插值。

通过根据要插值的像素的位置应用以上述等式(8)所示的三个图案的其中一个、并且对从相邻像素所获取到的色差信息(B-G)进行插值，该设备以与针对R成分相同的方式来进行针对B成分的自适应插值。

图10I~10K示出应用上述自适应插值的各颜色成分的例子。R、G和B像素值相互一致。各像素值与图10B所示的像素值一致。进行自适应插值以使用其它邻近颜色成分的像素信息生成插值像素，这可以相对于图10B所示的像素排列生成锐度没有任何劣化的图像。

如上所述，该设备在频带匹配的情况下对各图像恢复成分进行图像恢复处理，然后对各恢复的颜色成分进行自适应颜色插值处理，从而即使在高于各颜色成分的像素排列所具有的频带的频带中也实现了MTF的改善。这表示：上述效果不局限于一种插值方法，并且图像恢复处理校正后的MTF由于图像恢复处理之后的颜色插值处理而维持直到图像传感器的奈奎斯特频率，而且MTF的改善量可以根据所使用的像素插值方法而变化。

以上说明了应用本发明的图像处理单元104的结构和处理。第一实施例示例性说明了由R、G和B成分所构成的一般Bayer排列。然而，本发明不仅可应用于由颜色成分R、G和B所构成的像素排列，还可应用于由R、G和B以外的多个颜色的颜色成分所构成的像素排列。另外，本发明可应用于图像传感器中的各种类型的像素排列。由R、G和B成分所构成的一般Bayer排列在由没有指定任何颜色的像素排列图案进行表示的情况下可以表示为图11A所示的排列。C1、C2和C3各自表示一种颜色成分。

与此相对，考虑如图11B所示的排列那样的颜色成分排列。这是由四个颜色成分C1、C2、C3和C4所构成的图像传感器的像素排列。图12示出具有该像素排列的各颜色成分以及通过应用本发明所获得的各图像恢复成分的例子。将C1成分分离成四个图像恢复成分。C2和C3成分在没有任何改变的情况下用作图像恢复成分。将C4成分分离成两个图像恢复成分。也就是说，将具有与其它颜色成分相比空间频率特性较高的颜色成分的像素分离成多个颜色成分以具有与其它颜色成分相同的空间频率特性。这使得可以在使各图像恢复成分的像素排列的空间频率特性一致的情况下进行图像恢复处理。

这样，本发明不仅可应用于由R、G和B成分所构成的一般Bayer排列，还可应用于由各种类型的颜色成分所构成的各种类型的像素排列。显然，各像素排列不局限于矩阵排列。本发明可应用于能够通过分离图像传感器的颜色成分而使各图像恢复成分的频率特性一致的任意排列。

第二实施例

下面将说明根据本发明第二实施例的图像恢复处理。由于根据第二实施例的摄像设备的基本结构与图1所示的第一实施例的基本结构相同，因而省略对该结构的说明。

图13示出第二实施例的图像处理单元104的结构。输入给图像恢复处理单元111的图像是各像素具有图2所示的Bayer排列的R、G和B中一种颜色的颜色成分的RAW数据。第二实施例在不将RAW数据分离成图像恢复成分的情况下，向Bayer排列中的各输入RAW数据原样应用图像恢复滤波。在串联连接的恢复滤波器应用单元1114~1117中，分别向四个图像恢复成分应用图像恢复滤波。

下面将参考图14详细说明图像恢复处理单元111中的第二实施例的图像恢复处理的过程。在步骤S21，如上所述，图像恢复处理单元111从状态检测单元107获取实际摄像状态的信息。摄像状态例如包括变焦位置、开口直径和被摄体距离。

在步骤S22，从图1的存储单元108中所存储的图像恢复滤波器中选择适合于所获取到的摄像状态的R成分的图像恢复滤波器。此时，可以根据需要来校正所选择的图像恢复滤波器。该操作用于通过预先准备离散摄像数据并且在实际执行图像恢复处理时校正图像恢复滤波器，来校正存储单元108中预先准备的图像恢复滤波器，从而减少图像恢复滤波器的数据的数量。

在步骤S23，使用步骤S22所选择的R成分的图像恢复滤波器，恢复滤波器应用单元1114对所拍摄的输入图像的R成分的各像素进行基于滤波处理的卷积处理。这可以消除或降低由光学摄像系统中发生的像差所导致的图像的R成分的模糊成分。如上所述，使用适合于各图像恢复成分的图像恢复滤波器，同样可以校正色像差。

在步骤S24~S29，该设备对G1、G2和B的图像恢复成分进行图像恢复处理。注意，除要校正的颜色成分以外，这种情况下所进行的图像恢复处理的内容与步骤S22和S23中的内容相同，因此省略对该处理的说明。

步骤S23、S25、S27和S29中的各图像恢复成分的卷积处理是基于使用图4B~4E所示的各图像恢复成分和图8A所示的图像恢复滤波器的滤波处理的卷积处理。将经过卷积处理的像素限制为对象图像恢复成分，这可以省略不必要的计算。显然，这种情况下的图像恢复滤波器的有效系数的数量少于应用于各像素具有图7A所示的R、G和B的各颜色成分的图像的图像恢复滤波器的有效系数的数量和应用于未被分离的G成分的图像恢复滤波器(图8B)的有效系数的数量。这降低了卷积处理的负荷。另外，由于可以将Bayer排列的RAW数据在没有任何变化的情况下用作输入图像，因而无需确保信号分离单元1101或任何新的存储器。这可以抑制所消耗的存储量。

随后，该设备对图像的各像素进行图像恢复处理，并且终止图像恢复处理单元111的处理。由于即使在一种摄像状态下，OTF也根据光学摄像系统的视角(图像高度)而改变，因而优选地，在根据图像高度针对图像的各分割区域改变OTF时进行根据本发明的图像恢复处理。优选地，在进行卷积处理的情况下在图像上扫描图像恢复滤波器，并且针对各区域顺次改变滤波器。也就是说，该设备对R成分的各像素执行步骤S22和S23，并且以上述相同的方式对要处理的各图像恢复成分执行步骤S24~S29。

尽管第一实施例和第二实施例将图像恢复滤波器的应用当作图像恢复处理，但可以在本发明的过程之前、之后和中间进行诸如失真校正处理、周边光量校正处理和噪声降低处理等的其它类型的处理，并且将由此产生的过程当作图像恢复处理。

还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。由于该目的，例如通过网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

尽管参考特定实施例说明了本发明，但是应该理解，本发明不局限于所公开的实施例。

Claims (8)

1.一种图像处理设备，用于对图像数据进行恢复处理，以校正由于光学摄像系统的像差所引起的图像的模糊成分，其中，所述图像数据是通过使用具有多个像素的图像传感器拍摄经由所述光学摄像系统入射的被摄体图像而获得的，所述图像传感器的各像素被多个颜色的颜色滤波器其中之一覆盖，其特征在于，所述图像处理设备包括：

分离部件，用于将所述多个颜色的图像数据分离成各个颜色的图像数据；

多个图像处理部件，用于对所述分离部件分离得到的各个颜色的图像数据各自进行基于滤波处理的恢复处理；以及

插值处理部件，用于对经过了所述恢复处理的图像数据进行各像素的颜色插值处理，

其中，所述分离部件还用于将空间频率特性由于所述多个颜色的颜色滤波器的排列而高于其它颜色的空间频率特性的颜色的图像数据进一步分离成多个同一颜色的图像数据，从而使得该多个同一颜色的图像数据具有与所述其它颜色的图像数据相同的空间频率特性，以及

所述插值处理部件通过将所述多个同一颜色的图像数据当作一种颜色的图像数据处理来进行所述颜色插值处理。

2.根据权利要求1所述的图像处理设备，其中，所述多个颜色的颜色滤波器包含拜尔排列的颜色滤波器，以及

所述分离部件还用于将所述图像数据的G成分分离成两个G成分的图像数据，以使得G成分的频率特性与R成分和B成分的频率特性一致。

3.根据权利要求1所述的图像处理设备，其中，所述图像处理部件所进行的滤波处理所使用的滤波器包含通过对基于所述光学摄像系统的光学元件的光学传递函数的逆函数所生成的函数进行逆傅立叶变换所获得的二维滤波器，以及

所述图像处理部件还用于对所述滤波器进行卷积处理。

4.一种图像处理设备，用于对图像数据进行恢复处理，以校正由于光学摄像系统的像差所引起的图像的模糊成分，其中，所述图像数据是通过使用具有多个像素的图像传感器拍摄经由所述光学摄像系统入射的被摄体图像而获得的，所述图像传感器的各像素被多个颜色的颜色滤波器其中之一覆盖，其特征在于，所述图像处理设备包括：

多个图像处理部件，其串联配置，并且各自用于对所述多个颜色的图像数据中的一部分图像数据进行基于滤波处理的恢复处理；以及

插值处理部件，用于对经过了所述恢复处理的图像数据进行各像素的颜色插值处理，

其中，所述多个图像处理部件各自用于对没有经过所述恢复处理的各个颜色的图像数据进行所述恢复处理，并且将空间频率特性由于所述多个颜色的颜色滤波器的排列而高于其它颜色的空间频率特性的颜色的图像数据作为多个同一颜色的图像数据分别进行处理，从而使得通过所述多个图像处理部件作为所述多个同一颜色的图像数据分别进行处理的一部分图像数据具有与所述其它颜色的图像数据相同的频率特性，以及

所述插值处理部件通过将所述多个同一颜色的图像数据当作一种颜色的图像数据处理来进行所述颜色插值处理。

5.根据权利要求4所述的图像处理设备，其中，所述多个颜色的颜色滤波器包含拜尔排列的颜色滤波器，以及

所述多个图像处理部件包括：用于将所述图像数据的G成分分离成频率特性与所述图像数据的R成分和B成分的频率特性一致的两个G成分、并且对其中一个G成分的图像数据进行处理的图像处理部件；用于对另一个G成分的图像数据进行处理的图像处理部件；用于对R成分的图像数据进行处理的图像处理部件；以及用于对B成分的图像数据进行处理的图像处理部件。

6.根据权利要求4所述的图像处理设备，其中，所述多个图像处理部件所进行的滤波处理所使用的各滤波器包含通过对基于所述光学摄像系统的光学元件的光学传递函数的逆函数所生成的函数进行逆傅立叶变换所获得的二维滤波器，以及

所述多个图像处理部件还用于对所述滤波器进行卷积处理。

7.一种图像处理方法，用于对图像数据进行恢复处理，以校正由于光学摄像系统的像差所引起的图像的模糊成分，其中，所述图像数据是通过使用具有多个像素的图像传感器拍摄经由所述光学摄像系统入射的被摄体图像而获得的，所述图像传感器的各像素被多个颜色的颜色滤波器其中之一覆盖，其特征在于，所述图像处理方法包括以下步骤：

分离步骤，用于将所述多个颜色的图像数据分离成各个颜色的图像数据；

图像处理步骤，用于对所述分离步骤中分离得到的各个颜色的图像数据各自进行基于滤波处理的恢复处理；以及

插值处理步骤，用于对经过了所述恢复处理的图像数据进行各像素的颜色插值处理，

其中，在所述分离步骤中，将空间频率特性由于所述多个颜色的颜色滤波器的排列而高于其它颜色的空间频率特性的颜色的图像数据进一步分离成多个同一颜色的图像数据，从而使得该多个同一颜色的图像数据具有与所述其它颜色的图像数据相同的空间频率特性，以及

在所述插值处理步骤中，通过将所述多个同一颜色的图像数据当作一种颜色的图像数据处理来进行所述颜色插值处理。

8.一种图像处理方法，用于对图像数据进行恢复处理，以校正由于光学摄像系统的像差所引起的图像的模糊成分，其中，所述图像数据是通过使用具有多个像素的图像传感器拍摄经由所述光学摄像系统入射的被摄体图像而获得的，所述图像传感器的各像素被多个颜色的颜色滤波器其中之一覆盖，其特征在于，所述图像处理方法包括以下步骤：

图像处理步骤，用于使用串联配置的多个图像处理部件对所述多个颜色的图像数据中的一部分图像数据顺次进行基于滤波处理的恢复处理；以及

插值处理步骤，用于对经过了所述恢复处理的图像数据进行各像素的颜色插值处理，

其中，在所述图像处理步骤中，所述多个图像处理部件各自对没有经过所述恢复处理的各个颜色的图像数据进行所述恢复处理，并且将空间频率特性由于所述多个颜色的颜色滤波器的排列而高于其它颜色的空间频率特性的颜色的图像数据作为多个同一颜色的图像数据分别进行处理，从而使得通过所述多个图像处理部件作为所述多个同一颜色的图像数据分别进行处理的一部分图像数据具有与所述其它颜色的图像数据相同的频率特性，以及

在所述插值处理步骤中，通过将所述多个同一颜色的图像数据当作一种颜色的图像数据处理来进行所述颜色插值处理。