CN102860012A - 图像处理装置、方法以及记录介质 - Google Patents

Abstract

在摄像光学系统的模糊校正时，拍摄图像的模糊特性由于去马赛克而改变。结果，不能执行良好的模糊校正。输入RAW数据，针对多种色彩，来获得用于校正由RAW数据代表的RAW图像的模糊的校正系数，基于针对所述多种色彩而获得的所述校正系数，来校正由所述RAW数据代表的所述RAW图像的模糊，获得校正后图像，并且，对多个获得的校正后图像来执行去马赛克处理，以生成输出图像数据。

Description

图像处理装置、方法以及记录介质

技术领域

本发明涉及用于校正拍摄图像中的模糊的图像恢复处理。

背景技术

在诸如数码照相机及数码摄像机等的摄像装置中，来自被摄体的光经由包括透镜等的摄像光学系统，而入射至具有诸如CCD或CMOS等多个元件的传感器。在传感器中，将已穿过摄像光学系统的光转换为电信号。通过对电信号执行诸如A/D转换处理及去马赛克处理等形成图像所需的处理，能够获得拍摄图像。

此种拍摄图像的质量受到摄像光学系统的影响。一般而言，当使用高性能透镜时，能够获得具有低模糊度的清晰图像。相反，利用低性能透镜而获得的拍摄图像发生模糊。例如，在拍摄星空的图像的情况下，如果利用实现低模糊度的透镜来拍摄图像，则单颗星看起来是清晰的点。相反，如果利用引起高模糊度的透镜来拍摄图像，则单颗星发生模糊并扩大，并且看起来不是点。

在下文中，将描述用于校正由摄像光学系统引起的拍摄图像中的模糊的图像处理方法。在该方法中，基于点扩散函数(PSF)来校正拍摄图像中的模糊。PSF代表被摄体的点如何发生模糊。例如，在黑暗中拍摄体积非常小的发光体(点光源)的情况下，传感器表面上的光的二维分布对应于摄像光学系统的PSF。

在具有低模糊度的理想摄像光学系统中，PSF是点。在具有高模糊度的摄像光学系统中，PSF不是小的点，并且被扩大到一定程度。

利用与PSF相关的数据来校正模糊的方法的示例，包括利用逆过滤器的方法。在下文中，将描述用于形成逆过滤器的方法。利用f(x，y)，来代表通过使用防止发生模糊的理想摄像光学系统而获得的拍摄图像。x和y是代表拍摄图像中的二维位置的变量，f(x，y)代表位置x，y处的像素值。另一方面，利用g(x，y)，来代表通过使用引起模糊的摄像光学系统而获得的拍摄图像。此外，利用h(x，y)，来代表前述引起模糊的摄像光学系统的PSF。h(x，y)取决于例如透镜的特性、拍摄参数(光圈、物体的位置、变焦位置等)，以及传感器的滤色器的透射率。此外，可以通过在拍摄点光源的图像的情况下，测量传感器表面上的光的二维分布，来确定h(x，y)。在f(x，y)、g(x，y)及h(x，y)之间，以下关系成立。

g(x，y)＝h(x，y)*f(x，y)…(1)

*代表卷积(卷积积分)。所谓校正模糊，就是由通过使用引起模糊的摄像光学系统而获得的拍摄图像g(x，y)，以及作为摄像光学系统的PSF的h(x，y)，来推导出通过使用理想摄像光学系统而获得的f(x，y)。

如果对在实平面中表现的等式1执行傅立叶(Fourier)变换，以将等式1变换为空间频率平面中的显示形式，则获得各频率的乘积的形式，如下式所示。

G(u，v)＝H(u，v)·F(u，v)…(2)

H(u，v)是通过对作为PSF的h(x，y)执行傅立叶变换而获得的，并被称为光学传递函数(OTF)。u和v代表二维频率平面上的坐标，即频率。G(u，v)是通过对g(x，y)执行傅立叶变换而获得的(傅立叶显示)，F(u，v)是通过对f(x，y)执行傅立叶变换而获得的。

为了由模糊的拍摄图像获得理想的无模糊图像，可以将两边均除以H，如下所示。

G(u，v)/H(u，v)＝F(u，v)…(3)

通过对F(u，v)执行傅立叶逆变换以恢复实平面中的显示形式，能够获得理想的无模糊图像f(x，y)作为恢复图像。

这里，假设对等式3中的H的倒数(H^-1)执行傅立叶逆变换，以获得R。然后，执行针对实平面中的图像的卷积，如下式所示，从而能够类似地获得无模糊图像。

g(x，y)*R(x，y)＝f(x，y)…(4)

R(x，y)称为逆过滤器。实际上，可能存在使得H(u，v)为0的频率(u，v)。在使得H(u，v)为0的频率下，在等式3中发生被零除的情况，无法执行计算。

通常，OTF的值随频率的增加而减小，因而，OTF的倒数即逆过滤器R(x，y)的值随频率的增加而增大。因此，如果利用逆过滤器来对模糊的拍摄图像执行卷积处理，则拍摄图像的高频成分被增强。实际的拍摄图像包括噪声，并且噪声一般具有高频率，因而，逆过滤器可能会增强噪声。

为了克服由于发生上述的被零除而不能执行计算的问题，并且不过度地增强高频噪声，已经提出了通过变换逆过滤器R(x，y)的等式而获得的维纳(Wiener)过滤器。在下文中，诸如逆过滤器及维纳过滤器等用于校正模糊的过滤器，将被称为图像恢复过滤器。

在诸如数码照相机及数码摄像机等的许多摄像装置中，在具有诸如CCD及CMOS等多个元件的传感器前面，布置了多个特定色彩的滤色器，从而获得色彩信息。这种方法称为单片式方法。用于单片式数码照相机或单片式数码摄像机的典型滤色器阵列的示例包括拜耳(Bayer)阵列。在单片式摄像装置的情况下，从与特定色彩的滤色器相对应的元件，不能获得其他色彩的信号。因此，通过利用来自相邻元件的信号进行插值，来获得其他色彩的信号。该插值处理称为去马赛克处理(去马赛克化处理)。在下文中，将未执行去马赛克处理的图像称为RAW(原始)数据。

引用列表

专利文献

PTL 1：日本专利特开2002-199410号公报

发明内容

技术问题

OTF依照诸如光圈及变焦位置等的拍摄状态而变化。因此，需要依照拍摄状态，来改变用于图像恢复处理的图像恢复过滤器。对由摄像装置获得的图像数据，来执行诸如伽玛处理及色彩转换处理等各种类型的图像处理，以便提高图像质量。然而，依据执行图像恢复处理和其他处理的顺序，图像恢复处理的效果可能减弱。

例如，如果在图像恢复处理之前执行色彩转换处理，则输入图像的模糊特性实质上发生改变。特别是，如果对利用在R信道引起模糊的摄像光学系统而拍摄的图像，来执行色彩转换处理，则发生信道间的图像混合，使得R信道以外的G及B信道的图像发生模糊。结果，如果基于针对G及B信道而由光学特性估计出的模糊量，来执行图像恢复处理，则无法实现充分的恢复。

通常，摄像光学系统具有如下的倾向，即高频率中的响应是低的。换言之，模糊度随被摄体图案的变精细而增加。然而，在去马赛克之后，包括在拍摄图像中的高频率中的响应可能会变高。这种现象称为网纹(moiré)现象。也就是说，在去马赛克之后，摄像光学系统的模糊特性实质上发生改变。

如果不考虑此种现象，而利用摄像光学系统的模糊特性对去马赛克后的图像执行模糊校正，则在去马赛克后的图像中已经具有高响应的高频成分被进一步增强。结果，在模糊校正后的图像中的边缘周围，出现波浪状的图案(诸如振铃等的人为现象)。

根据PTL 1，通过在色彩转换处理之前执行图像恢复处理，能够执行有效的图像恢复处理。然而，却对去马赛克后的图像执行根据PTL 1的图像恢复处理(图像劣化校正处理)。

如上所述，本发明要解决的问题在于，在摄像光学系统的模糊校正时，拍摄图像的模糊特性由于去马赛克而发生改变，从而不能执行良好的模糊校正。

解决方案

为了解决上述问题，提出了一种根据本发明的图像处理装置，该图像处理装置包括：输入单元，用于输入与多种色彩相对应的RAW数据，基于通过对入射至摄像装置的光进行抽样而获得的数据来获得所述RAW数据，所述摄像装置包括所述多种色彩的滤色器以及传感器，经由所述滤色器在所述传感器中执行所述抽样；获得单元，用于针对所述多种色彩，来获得用于校正由所述RAW数据代表的RAW图像的模糊的校正系数；校正单元，用于针对所述多种色彩，基于由所述获得单元获得的所述校正系数，来校正由所述RAW数据代表的所述RAW图像的模糊，以获得校正后图像；以及去马赛克单元，用于对由所述校正单元获得的多个校正后图像来执行去马赛克处理，以生成输出图像数据。

有益效果

根据本发明，能够对由摄像光学系统引起的拍摄图像中的模糊，来执行良好的模糊校正。

附图说明

[图1]图1是根据第一实施例的摄像装置的结构图。

[图2]图2是根据第一实施例的处理的流程图。

[图3]图3例示了根据第一实施例的传感器的滤色器阵列的示例。

[图4]图4是例示根据第一实施例的划分为色平面以及零插入的示例的图。

[图5]图5是根据第一实施例的模糊校正处理的流程图。

[图6]图6例示了实现第一实施例的功能的装置结构的示例。

[图7]图7包括例示根据第一实施例的频率特性的图。

[图8]图8包括例示根据第一实施例的二维频率特性的图。

[图9]图9例示了根据第一实施例的用于去马赛克的过滤器的示例。

[图10]图10包括例示根据第一实施例的去马赛克的图。

具体实施方式

[第一实施例]

在下文中，将描述校正由根据第一实施例的摄像光学系统引起的拍摄图像中的模糊的摄像装置。

图1例示了根据该实施例的摄像装置的基本结构。从被摄体(未例示)入射至摄像装置的光穿过摄像光学系统101，由此通过传感器102形成图像。将通过传感器102由光形成的图像，变换为电信号，该电信号被A/D转换器103转换为数字信号。将该数字信号作为RAW数据输入到图像处理单元104中。传感器102由光电转换器件构成，该光电转换器件将与在光接收面上形成的图像相对应的光信号，以与位置相对应的像素为单位转换为电信号。此外，传感器102具有如下的功能，即利用以图3中所示的方格模式布置的RGB过滤器，来对传感器102的光接收面上的像素执行色彩分离。图3中例示的用于布置RGB过滤器的方法以及色彩分离仅仅为示例，并且应当理解，本发明也能够应用于执行CMY等的色彩分离的过滤器。

图像处理单元104包括图像恢复单元104a及去马赛克单元104b，所述图像恢复单元104a对RAW数据执行模糊校正，所述去马赛克单元104b对已执行模糊校正的RAW数据执行去马赛克。

在对RAW数据执行的模糊校正处理中，从状态检测单元107，来获得在拍摄时(当传感器102对入射光进行抽样时)摄像装置的拍摄状态信息(变焦位置的状态以及光圈的状态)。

状态检测单元107可以从系统控制器110或摄像光学系统控制单元106，来获得拍摄状态信息。

随后，从存储单元108获得与拍摄状态信息相对应的校正系数，并且对由输入至图像处理单元104的RAW数据代表的RAW图像，来执行模糊校正处理。

存储单元108存储与各条拍摄状态信息相对应的图像恢复过滤器的校正系数。请注意，基于摄像装置的摄像光学系统的光学特性，来确定存储在存储单元108中的与各拍摄状态相对应的校正系数。作为另选方案，可以对图像恢复过滤器进行模型化，并可以将该图像恢复过滤器的模型参数存储为系数，以便削减存储在存储单元108中的数据的量。在这种情况下，在后述的图像恢复处理时，基于模型参数的系数来合适地生成图像恢复过滤器。

去马赛克单元104b对代表已执行模糊校正的RAW图像的RAW数据，来执行去马赛克处理。

稍后，将详细描述用于形成前述图像恢复过滤器的方法以及由图像处理单元104执行的处理。将已由图像处理单元104校正了由摄像光学系统101引起的模糊的校正后图像数据，存储在图像记录介质109中，或者显示在显示单元105上。

<图像处理单元104的处理流程>

图2例示了与图像处理单元104相关的处理流程。

在步骤S101中，获得已被A/D转换器103转换为数字信号的RAW数据。期望RAW数据与亮度呈线性关系，以便忠实地反映摄像光学系统101的特性。然而，例如，在传感器102或A/D转换器103具有非线性特性的情况下，可能会获得与亮度呈非线性关系的RAW数据。在这种情况下，期望硬件的非线性特性被抵消，并且与数据的获取一同地，在步骤S101中执行用于使得RAW数据与亮度呈线性关系的处理。此外，可以在不显著改变图像特性的情况下，来执行一定的非线性处理，例如补偿缺少的像素。

在步骤S102中，从存储单元108中，来获得与拍摄状态信息相对应的图像恢复过滤器的系数(或模型参数的系数)。图像恢复过滤器的系数依据RGB各色彩而变化。这是因为，RGB各色平面具有不同的模糊特性。稍后将对此进行描述。

在步骤S103中，利用图像恢复过滤器，来对RGB各色平面的RAW数据，执行校正摄像光学系统的模糊的处理。稍后将详细描述模糊校正处理。

在步骤S104中，对已执行模糊校正的RAW数据，来执行去马赛克处理。稍后将详细描述去马赛克处理。

<模糊校正处理的详情>

下面，将参照图5来详细描述模糊校正处理。

在步骤S201中，依照图4中所示的滤色器阵列，将输入的RAW数据划分为与各滤色器相对应的独立RAW数据(与各滤色器相对应的独立色平面)。在单片式方法的情况下，在各色平面中，存在不具有值的像素。例如，在R平面图像中，在与G及B相对应的像素位置处，R值未知。然后，在步骤S202中，将零分配给不具有值的像素，如图4所示。

在步骤S203中，将图像恢复过滤器应用于各色平面，从而获得校正后图像。具体而言，在已插入零的各色平面的RAW数据、与各色平面的图像恢复过滤器之间，来执行卷积运算。请注意，各色平面的图像恢复过滤器彼此不同，如后所述。

在步骤S204中，对卷积后的各色平面的RAW数据执行零插入，如同在步骤S202中一样。在步骤S202中被插入零的像素，在卷积之后可能具有不同于零的值，因而，在该步骤中再次执行零插入。

在步骤S205中，将在步骤S104中被输入零的各色平面的RAW数据，组合为单一平面的输出图像数据。通过在步骤S205中组合色平面而获得的图像数据，是图3中所示的未执行去马赛克的RAW数据的形式。

<形成图像恢复过滤器的方法>

下面，将描述用于形成在图像恢复单元104a中使用的图像恢复过滤器的方法。下面，将以拜耳阵列作为示例，来描述针对R平面形成图像恢复过滤器的方法。在R平面和B平面两者中，在垂直及水平方向上每隔一个像素执行一次抽样，对B平面亦然。在步骤S201中通过划分为色平面而获得的R平面的图像g_R如下式所示。

g_R＝m_R×(h_R*f_R)…(5)

这里，f_R表示被摄体图像f的R成分，h_R表示与R平面相对应的PSF，m_R表示掩模函数(在R过滤器的位置为1、在G及B过滤器的位置为0的函数)。

在步骤S203中应用了用于R平面的图像恢复过滤器的图像g_R′如下式所示。

g_R′＝R_R*{m_R×(h_R*f_R)}…(6)

这里，R_R表示用于R平面的图像恢复过滤器。在执行了步骤S204中的掩模处理之后的图像G_R″如下式所示。

G_R″＝m_R×[R_R*{m_R×(h_R*f_R)}]…(7)

如果图像G_R″匹配通过用掩模函数m_R对被摄体图像f进行掩模处理而获得的图像m_R×f_R，则意味着已恢复了由摄像光学系统101引起的模糊(图像劣化)。因此，以数学方法计算出R平面的图像恢复过滤器R_R，使得g_R″与m_R×f_R之差最小化。同样，对于B平面及G平面，也能够获得用于B平面的图像恢复过滤器R_B及R_G。下面，将参照图7来描述用于形成图像恢复过滤器的方法。

图7(a)例示了在未虑及滤色器阵列的情况下摄像光学系统的OTF。为了便于理解，这可以视为在去除了所有滤色器的情况下摄像光学系统的频率特性。由于在传感器中执行了抽样，因此，不存在超过尼奎斯特(Nyquist)频率的频率。

在逆过滤器中，利用图7(a)的倒数形成图7(b)中所示的恢复过滤器。一般而言，摄像光学系统的OTF随频率的增加而减小，因而，恢复过滤器的增强效果随频率的增加而变高。在滤色器阵列中，例如，在R中每隔一个像素执行一次抽样。因此，抽样之后的摄像光学系统的OTF针对R的尼奎斯特频率，形成如图7(c)所示的折叠形状。恢复过滤器的频率特性与图7(c)的倒数相对应，因而在R的尼奎斯特处具有峰值，如图7(d)所示。

现在，假定将图7(b)中的恢复过滤器应用于作为实际模糊特性的图7(c)中的OTF的情况，而不考虑利用滤色器阵列的抽样。在这种情况下，获得的图像是高频率被过度增强的图像，如图7(e)所示。也就是说，在去马赛克之前执行模糊校正的情况下，需要使用考虑到从滤色器阵列引出的各色彩的尼奎斯特频率而形成的恢复过滤器。

为了便于描述，上面在一维的假定下给出了描述。然而，由于实际的过滤器阵列是以二维方式形成的，因此，需要考虑由于二维方式的尼奎斯特频率而导致的折叠。下面，将参照图8来描述二维处理。在图8(a)中，例示了在未虑及滤色器阵列的情况下的OTF。纵轴和横轴分别表示垂直方向和水平方向上的频率。此外，用等高线来代表频率响应。频率响应在等高线上是相等的。由于在传感器中执行了抽样，因此，在垂直方向和水平方向上，均不存在超过尼奎斯特频率的频率。通过针对图8(a)中的各频率获得OFT的倒数，并执行逆傅立叶变换，能够形成逆过滤器。在图8(b)中，例示了在考虑R平面中的折叠的情况下的频率响应。然后，应当理解，与未考虑图8(a)中的过滤器阵列的情况相比，由于图8(b)中的折叠而使高频率中的响应是高的。

根据该实施例的用于形成图像恢复过滤器的方法的特征在于，通过获得图8(b)中的频率特性的倒数并执行傅立叶变换，来获得恢复过滤器。在图8(b)中，例示了在执行了利用过滤器阵列的抽样之后的R的频率特性，因而，如果将图8(a)的倒数乘以图8(b)，而不考虑过滤器阵列，则高频率被过度增强。通过传统方法而被过度增强的高频率，导致诸如振铃等人为现象的发生。在本发明中，获得抽样之后的频率特性的倒数，因而防止了高频率的过度增强。下面，将描述依照过滤器阵列来改变用于形成图像恢复过滤器的方法的必要性。图8(c)例示了在利用拜耳阵列执行了抽样之后的G平面的频率特性。当将图8(c)中的G平面的频率特性与图8(b)中的R平面的频率特性进行比较时，应当理解，折叠状态是彼此不同的。也就是说，在R平面中，在频率平面上以中央正方形的形状发生折叠，而在G平面中，以菱形的形状发生折叠。因此，在本发明中通过考虑折叠来形成恢复过滤器的情况下，需要依照过滤器阵列来改变用于形成恢复过滤器的方法，因为折叠的方法依照各过滤器的布置而变化。

<去马赛克的详情>

下面，将描述对模糊校正之后的RAW数据执行去马赛克的详情。

首先，将描述基于简单线性运算的去马赛克。将拜耳阵列用作描述的示例。各RGB色平面中的RAW数据具有不具有值的像素。在图4中，例示了在将零插入到不具有值的像素中之后的各色平面的状态。在基于线性运算的去马赛克中，可以利用图9中所示的各过滤器，来对各色平面执行卷积处理。具体而言，可以将图9(a)中所示的过滤器用于R及B平面，并且可以将图9(b)中所示的过滤器用于G平面。

在图10中，例示了通过该处理插补像素的状态。图10(a)例示了去马赛克处理之前的G平面的状态的示例。图10(a)的中央是未知像素，因而，向该中央处插入零。图10(b)例示了卷积之后的状态。应当理解，将垂直及水平方向上的相邻像素的平均值，分配给在图10(a)中未知的像素。同样，对于R及B平面，利用卷积之后的相邻像素来插补未知像素。

接下来，将描述自适应去马赛克处理，作为包括非线性处理的去马赛克处理的示例。在自适应去马赛克处理中，获得与垂直、水平或对角方向上的相邻像素值的差，并且，利用具有小的改变的方向上的像素，来计算未知像素值，而不是如上所述简单地获得相邻像素值的平均值。这是因为，通过使用具有较小改变的方向上的像素值，能够执行更加可靠的插值。在本发明中，在去马赛克之前执行模糊校正。然而，如果在自适应处理之后执行模糊校正，则出现以下的问题。作为摄像光学系统的示例的透镜中的一些具有如下特性，即在特定方向上引起高模糊度，并在与特定方向垂直的方向上引起低模糊度。如果对利用此种透镜拍摄的图像来执行自适应去马赛克，则很可能在改变较小的方向上，即在高模糊度的方向上执行插值。在高模糊度的方向上执行平均处理之类的运算，因而，在模糊度本来高的方向上，模糊度增加。如果对此种图像执行模糊校正，则出现由于去马赛克而导致模糊的校正不充分的问题，以及前述的折叠问题。此外，即使透镜的特性导致水平方向上的模糊，但如果被摄体具有在水平方向上延伸的清晰图案，例如垂直条纹，则方向确定的结果也可能会是垂直方向。因此，即使在后来通过利用其他处理进行锐化，来仅处理通过去马赛克而发生模糊的部分，也需要依据在哪个方向上执行了确定，来改变对图像各部分的处理。在本发明中，在去马赛克之前校正模糊，因而，能够避免上述的复杂问题。

接下来，将描述利用色彩之间的相关性的去马赛克，作为包括非线性处理的去马赛克的示例。从图3能够看出，在拜耳阵列中，G像素的数量大于R像素的数量以及B像素的数量。换言之，G平面具有更高的分辨率，并且，与R及B平面相比，能够获得精细的图像信息。此外，已知G平面与R及B平面具有高相关性。在高级去马赛克中，通过积极地使用关于G平面的信息，在R及B平面中执行未知像素的插值。例如，为了插补未知的R值，除了相邻的R像素值之外，还使用相邻的G像素值，从而确定未知的R像素值。由于这一原因，G平面中的图像的模糊特性混入到R平面中的图像的模糊特性中。

假定如下的情况，即摄像光学系统具有如下的特性，即在R平面中比在G及B平面中引起更高的模糊度。在这种情况下，应当理解，通过使用具有低模糊度的G平面的图像信息，而在一定程度上降低R平面中的图像的高模糊度。也就是说，去马赛克之后的图像的模糊特性，并不一定反映摄像光学系统的模糊特性。

如果不考虑这一点，而利用由摄像光学系统的PSF获得的恢复过滤器来执行模糊校正，则在校正后图像中发生不良的人为现象。在前述示例中，R平面中的模糊度低于基于摄像光学系统的模糊特性的预期。因此，如果执行模糊校正，则执行过度的校正，这是引起诸如振铃等人为现象的因素。在本发明中，对去马赛克之前的RAW数据执行模糊校正，从而避免上述问题。

如上所述，在去马赛克之前执行模糊校正，以便在图像的模糊特性受到去马赛克影响之前，由摄像光学系统引起的模糊度能够得到校正而降低。

[第二实施例]

通过将存储实现前述实施例的功能的软件程序代码的记录介质供给至系统或装置，使得该系统或该装置的计算机(或CPU或MPU)执行所述程序代码，也达到本发明的目的。在图6中例示了装置结构的示例。在这种情况下，从存储介质读取的程序代码本身实现前述实施例的功能，并且，存储程序代码的存储介质包括在本发明中。

具体而言，上述系统或计算机在图2中所示的步骤S101中，经由输入设备或网络来获得RAW数据。此外，将与S102相对应的光学摄像系统的校正系数，经由记录介质或网络提供给计算机。然后，上述系统或计算机的运算设备可以执行图像恢复处理、去马赛克处理及其他处理。

用于供给程序代码的计算机可读存储介质的示例包括软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡、ROM及DVD等。

通过执行由计算机读取的程序代码，来实现前述实施例的功能。此外，可以在运行于计算机中的操作系统(OS)等基于程序代码的指令、来执行实际处理的部分或全部时，实现前述实施例的功能。

此外，可以在被插入到计算机中的功能扩展单元的处理中、执行从存储介质中读取的代码时，实现前述实施例的功能。

本发明不局限于上述实施例，并且，在不偏离本发明的主旨及范围的情况下，各种改变及变型都是可接受的。因此，附上权利要求以公开本发明的范围。

Claims (8)

1.一种图像处理装置，该图像处理装置包括：

输入单元，用于输入与多种色彩相对应的RAW数据，基于通过对入射至摄像装置的光进行抽样而获得的数据来获得所述RAW数据，所述摄像装置包括所述多种色彩的滤色器以及传感器，经由所述滤色器在所述传感器中执行所述抽样；

获得单元，用于针对所述多种色彩，来获得用于校正由所述RAW数据代表的RAW图像的模糊的校正系数；

校正单元，用于针对所述多种色彩，基于由所述获得单元获得的所述校正系数，来校正由所述RAW数据代表的所述RAW图像的模糊，以获得校正后图像；以及

去马赛克单元，用于对由所述校正单元获得的多个校正后图像来执行去马赛克处理，以生成输出图像数据。

2.根据权利要求1所述的图像处理装置，其中，所述校正单元针对所述多种色彩，基于由所述获得单元获得的所述校正系数以及所述滤色器的阵列，来校正由所述RAW数据代表的所述RAW图像的模糊，以获得所述校正后图像。

3.根据权利要求1或权利要求2所述的图像处理装置，其中，所述校正单元使用利用所述校正系数而生成的图像恢复过滤器，来校正所述RAW图像的模糊，以获得所述校正后图像。

4.根据权利要求1至权利要求3中的任意一项所述的图像处理装置，其中，所述去马赛克单元对所述多个校正后图像，执行线性或非线性的去马赛克处理。

5.根据权利要求1至权利要求4中的任意一项所述的图像处理装置，其中，所述校正单元针对所述多种色彩，提高由所述RAW数据代表的所述RAW图像在尼奎斯特频率的频率响应。

6.根据权利要求1至权利要求5中的任意一项所述的图像处理装置，其中，基于所述摄像装置的光学特性来确定所述校正系数。

7.一种图像处理方法，该图像处理方法包括：

输入单元，用于输入与多种色彩相对应的RAW数据，基于通过对入射至摄像装置的光进行抽样而获得的数据来获得所述RAW数据，所述摄像装置包括所述多种色彩的滤色器以及传感器，经由所述滤色器在所述传感器中执行所述抽样；

获得步骤，针对所述多种色彩，来获得用于校正由所述RAW数据代表的RAW图像的模糊的校正系数；

校正步骤，针对所述多种色彩，基于在所述获得步骤中获得的所述校正系数，来校正由所述RAW数据代表的所述RAW图像的模糊，以获得校正后图像；以及

去马赛克步骤，对在所述校正步骤中获得的多个校正后图像来执行去马赛克处理，以生成输出图像数据。

8.一种存储程序的计算机可读记录介质，所述程序使得计算机用作以下单元：

输入单元，用于输入与多种色彩相对应的RAW数据，基于通过对入射至摄像装置的光进行抽样而获得的数据来获得所述RAW数据，所述摄像装置包括所述多种色彩的滤色器以及传感器，经由所述滤色器在所述传感器中执行所述抽样；

获得单元，用于针对所述多种色彩，来获得用于校正由所述RAW数据代表的RAW图像的模糊的校正系数；

校正单元，用于针对所述多种色彩，基于由所述获得单元获得的所述校正系数，来校正由所述RAW数据代表的所述RAW图像的模糊，以获得校正后图像；以及

去马赛克单元，用于对由所述校正单元获得的多个校正后图像来执行去马赛克处理，以生成输出图像数据。

Images