CN101873428A - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置及图像处理方法。获取拍摄参数以及由使用所述拍摄参数的摄像设备获得的拍摄图像；获取与基于所述拍摄参数得到的所述摄像设备的光学传递函数以及依赖于所述拍摄参数的所述拍摄图像的噪声量对应的、用于校正所述拍摄图像的模糊的校正数据。针对高噪声量、利用所述校正数据进行校正的第一程度，小于针对低噪声量、利用所述校正数据进行校正的第二程度。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及对由摄像光学系统引起的拍摄图像的模糊(blur)进行校正的图像处理装置及图像处理方法。

背景技术

在诸如数码相机或数字摄像机的摄像装置中，由镜头等构成的摄像光学系统将来自被摄体的光导至用作摄像设备的CCD或CMOS传感器上，以形成图像。摄像设备将接收到的光转换为电信号。电信号经过用于将电信号转换为图像数据所需的诸如模拟-数字(A/D)转换以及去马赛克(demosaicing)的处理，由此获得拍摄图像。

由于到达摄像设备的光通过了摄像光学系统，因此摄像设备影响拍摄图像的图像质量。例如，当使用高性能镜头时，能够获得在周边区域都具有高分辨率的拍摄图像。另一方面，如果使用低成本的低性能镜头，则拍摄图像的分辨率尤其在周边区域明显降低。

例如，当拍摄星空的图片时，通过高性能镜头拍摄的图像将每颗星几近显示为点图像。然而，在通过低性能镜头拍摄的图像中，每颗星不是显现为点图像而是发生模糊(blur)。当拍摄人物图片时，高性能镜头的使用使得人们能够获得清晰到每根头发的图像。然而，低性能镜头仅能获得头发模糊作一片的图像。即，通过低性能镜头获得不清晰的图像。

这种模糊取决于摄像光学系统的特性，即使在对焦状态也会发生。换句话说，即使在对焦状态，拍摄图像的分辨率也根据镜头的性能而改变。

有一种通过对拍摄图像进行图像处理来校正由摄像光学系统引起的图像模糊的方法。在该方法中，基于摄像光学系统的模糊特性(预先获取作为数据)来执行图像处理，由此校正由摄像光学系统引起的图像模糊。

为了获得摄像光学系统的模糊特性作为数据，例如使用PSF(PointSpread Function，点扩散函数)。PSF表示被摄体的点如何发生模糊。例如，在黑暗中经由摄像光学系统拍摄体积非常小的发光体(点光源)。如果使用理想的摄像光学系统，则光在摄像设备的面(受光面)上形成点图像。然而，如果使用引起大的模糊的摄像光学系统，则光在受光面上形成的不是点图像而是扩散到某一程度的图像。即，光在受光面上的二维分布与摄像光学系统的PSF相对应。当实际获取摄像光学系统的PSF时，不总是需要拍摄诸如点光源的被摄体。基于通过拍摄获得的图像，例如具有黑白边缘的图，可以使用与该图相对应的计算方法来计算PSF。

作为通过PSF校正图像模糊的方法，已知一种使用逆滤波器(inversefilter)的方法。为了描述方便，假定在黑暗中拍摄点光源的情况。当使用会引起模糊的摄像光学系统时，点光源发出的光在受光面上形成扩散到某一程度的光分布。摄像设备将光转换为电信号。将该电信号转换为图像数据，由此获得点光源的数字图像。在使用会引起模糊的摄像光学系统获得的图像中，不仅与点光源相对应的一个像素具有有效的非零像素值。周围的像素也具有接近于零的有效的像素值。将该图像转换为具有几乎在一个点上的有效的像素值的图像的图像处理是逆滤波。逆滤波器使得能够获得如同使用极少引起模糊的摄像光学系统所拍摄的图像。

以上为了说明而以点光源为例。将来自被摄体的光看作许多点光源的集合，消除从被摄体的各个点发出或由被摄体的各个点反射的光的模糊，由此即使对于点光源以外的被摄体也获得极少模糊的图像。

接下来将描述构造逆滤波器的详细方法。将使用理想的无模糊的摄像光学系统获得的拍摄图像定义为f(x，y)，其中x和y是图像上的二维像素位置，f(x，y)是像素(x，y)的像素值。将使用会引起模糊的摄像光学系统获得的拍摄图像定义为g(x，y)。会引起模糊的摄像光学系统的PSF由h(x，y)表示。则f、g以及h具有由下式给出的关系：

g(x，y)＝h(x，y)*f(x，y)    ...(1)

其中，*表示卷积运算。

校正图像模糊(以下称为模糊校正)相当于根据使用会引起模糊的摄像光学系统获得的图像g以及作为该摄像光学系统的PSF的h来推算使用无模糊的摄像光学系统获得的f。当对公式(1)应用傅立叶(Fourier)变换以获得在空间频域中的表现形式时，可以将其写为如下式所给出的各频率的积：

G(u，v)＝H(u，v)·F(u，v)    ...(2)

其中

H是作为PSF的傅立叶变换的OTF(Optical Transfer Function，光学传递函数)，

u是x方向上的空间频率，

v是y方向上的空间频率，

G是g的傅立叶变换，并且

F是f的傅立叶变换。

为了由模糊的拍摄图像g获得无模糊的拍摄图像f，将公式(2)的两侧都除以H

G(u，v)/H(u，v)＝F(u，v)    ...(3)

将通过公式(3)获得的F(u，v)逆傅立叶变换到实空间以获得无模糊图像f(x，y)。令R为1/H的逆傅立叶变换。通过下式在实空间中进行卷积以获得无模糊图像。

g(x，y)*R(x，y)＝f(x，y)    ...(4)

公式(4)中的R(x，y)称为逆滤波器。实际上，由于在H(u，v)为零的频率(u，v)，除式的除数为0，因此逆滤波器R(x，y)需要稍微修改。

通常，频率越高，OTF的值越小。频率越高，作为OTF的倒数的逆滤波器的值越大。因此，使用逆滤波器对拍摄图像进行的卷积加强了拍摄图像的高频分量，即拍摄图像中包含的噪声(通常噪声为高频分量)。已知一种通过改变R(x，y)来给予不会像逆滤波器那样大幅度地加强高频分量的特性的方法。维纳(Wiener)滤波器的知名之处在于，其考虑到噪声降低而不过度加强高频分量。

如上所述，由于拍摄图像中包含的噪声或者与理想条件的偏差(例如存在OTF为零的频率)，因此不可能完全消除模糊。然而，上述处理能够减少模糊。请注意，以下也将用于模糊校正的滤波器(例如逆滤波器以及维纳滤波器)统称为“恢复滤波器”。如上所述，作为恢复滤波器的特征，其使用摄像光学系统的PSF进行图像处理。

为了构造维纳滤波器，使用摄像光学系统的OTF和噪声量。即作为特征，使用摄像光学系统的PSF、OTF和噪声量来构造维纳滤波器。

请注意，已经提出了逆滤波器和维纳滤波器作为校正摄像光学系统的模糊的方法。除了那些滤波器以外，还提出了诸如最大熵(entropy)方法以及Richardson-Lucy方法的模糊校正方法。尽管将省略其详细描述，但是它们在意义上等同于维纳滤波器，即基于OTF或PSF以及噪声量进行处理以校正拍摄图像的模糊并获得校正后的图像。

通常，在模糊校正中，加强拍摄图像中包含的频率分量。由于拍摄图像包含噪声，因此模糊校正也加强了噪声的频率分量。为此，如果模糊校正的程度强，则噪声也增大。为了避免噪声的增大，需要减弱模糊校正的程度。即模糊校正的程度与噪声增大具有权衡关系。

维纳滤波器是实现模糊校正的程度与噪声增大之间的最佳平衡的滤波器之一。更具体地说，利用维纳滤波器的校正给出的校正后的图像，在平方差上与既不包含噪声也不包含由摄像光学系统引起的模糊的拍摄图像最接近。即维纳滤波器考虑到噪声增大和模糊校正的程度二者来进行校正，因此能够保持噪声增大和模糊校正的程度之间的适当平衡。

如上所述，可以根据OTF和噪声量计算维纳滤波器。传统上，基于在预定的拍摄条件下测量的噪声量或凭经验定义的噪声量来构造维纳滤波器。然而，噪声量根据拍摄条件而变化，因此，在预定的拍摄条件下测量的噪声量或凭经验定义的噪声量是不准确的。结果，传统的维纳滤波器必然不具有最佳结构。

作为根据拍摄条件的噪声量变化的示例，在连接拍摄时，摄像设备的温度上升，以致噪声增大。基于比实际噪声量小的噪声量构造的维纳滤波器过度地增大了拍摄图像的噪声。相反，基于比实际噪声量大的噪声量构造的维纳滤波器过度地减弱了模糊校正的程度。换句话说，基于不正确的噪声量的模糊校正导致不足的校正或过度的噪声。

另外，在上述的诸如最大熵(entropy)方法以及Richardson-Lucy方法的模糊校正方法中，模糊校正的程度与噪声增大也具有权衡关系。因此，如果没有获得准确的噪声量，则不能进行最佳的模糊校正。

发明内容

本发明在其第一方面提供一种图像处理装置，该图像处理装置包括：第一获取单元，其用于获取拍摄参数以及由使用所述拍摄参数的摄像设备获得的拍摄图像；第二获取单元，其用于获取与基于所述拍摄参数得到的所述摄像设备的光学传递函数以及依赖于所述拍摄参数的所述拍摄图像的噪声量对应的、用于校正所述拍摄图像的模糊的校正数据，其中，针对高噪声量、利用所述校正数据进行校正的第一程度，小于针对低噪声量、利用所述校正数据进行校正的第二程度。

本发明在其第二方面提供一种图像处理方法，该图像处理方法包括以下步骤：获取拍摄参数以及由使用所述拍摄参数的摄像设备获得的拍摄图像；获取与基于所述拍摄参数得到的所述摄像设备的光学传递函数以及依赖于所述拍摄参数的所述拍摄图像的噪声量对应的、用于校正所述拍摄图像的模糊的校正数据；其中，针对高噪声量、利用所述校正数据进行校正的第一程度，小于针对低噪声量、利用所述校正数据进行校正的第二程度。

根据这些方面，能够获取用于与拍摄图像的噪声量相对应的模糊校正的校正数据。另外还能够在良好地平衡噪声增大与模糊校正的程度的同时进行模糊校正。

通过以下参照附图对示例性实施例的详细描述，本发明的其他特征和方面将变得明显。

附图说明

图1是示出根据实施例的摄像装置的结构的框图。

图2是用于说明图像处理单元的图像处理的流程图。

图3是用于说明暗图像的特性的示例的图。

图4是示出校正系数存储单元的概念的表。

图5A到图5C是示意性示出噪声量与模糊校正之间的关系的曲线图。

图6是用于说明模糊校正单元的处理的流程图。

图7是示出根据第二实施例的摄像装置的结构的框图。

图8是用于说明根据第二实施例的模糊校正单元的处理的流程图。

图9是示出OB部的概念的图。

图10是示出根据第三实施例的摄像装置的结构的框图。

图11是示出根据第四实施例的摄像装置的结构的框图。

图12是用于说明根据第四实施例的图像处理单元的图像处理的流程图。

图13是示出噪声特性存储单元的概念的表。

图14是示出根据第五实施例的摄像装置的结构的框图。

具体实施方式

现在，参照附图详细说明根据本发明的实施例的图像处理装置及图像处理方法。

第一实施例

[装置的结构]

图1是示出根据实施例的摄像装置的结构的框图。

来自被摄体(未示出)的光通过摄像光学系统101并在摄像设备102的受光面上形成图像。摄像设备102将在受光面上形成图像的光转换为电信号。A/D转换器(未示出)将电信号转换为数字信号，由此获得拍摄(所拍摄的)图像104。

摄像设备102由CCD或CMOS传感器构成，CCD或CMOS传感器将在受光面上形成的图像的光学信号、针对布置在受光面上的各个光电转换元件转换为电信号。遮光单元103具有遮断来自被摄体的光、使之不到达摄像设备102的受光面的功能。遮光单元103可以是例如快门，或者如果光圈在缩小到自身极限的开度状态下能够遮断光，则可以是光圈。请注意，为了拍摄被摄体的图像，遮光单元103在预定时间内保持打开。即，在拍摄期间始终不会完全遮断来自被摄体的光。

状态检测单元131获取拍摄参数，即表示摄像装置的拍摄状态的一系列参数。拍摄参数的示例为镜头标识符、主体标识符、光圈值、被摄体距离、变焦位置以及ISO感光度。拍摄参数指定拍摄状态下的拍摄特性(摄像光学系统101的特性以及摄像设备102的特性)。也就是说，拍摄参数根据摄像光学系统的使用而变化。拍摄参数代表摄像装置的实时(当前)特性。以这种方式获取拍摄参数使得便于准确地计算拍摄图像中的噪声，结果，能够以准确的方式校正拍摄图像从而消除诸如模糊以及噪声的图像伪影(artifact)。这与在背景技术中论述的传统的已有技术(使用预定的拍摄参数来计算拍摄图像中的噪声)形成对照。然而，噪声根据拍摄参数而变化，因此使用预定拍摄参数计算的噪声(或凭经验定义的噪声)是不准确的。

在图像处理单元121中，噪声量估算单元111(稍后详细描述)使用暗图像105估算噪声量112。预处理单元106(稍后详细描述)使用暗图像105对拍摄图像104执行模糊校正的预处理。模糊校正单元108将校正目标的像素位置114通知给校正系数插值单元113，并使用从校正系数插值单元113返回的校正系数115对从预处理单元106输入的拍摄图像104的模糊进行校正。

基于噪声量112和拍摄参数107，校正系数插值单元113从校正系数存储单元116获取与从模糊校正单元108发送的像素位置114相对应的校正系数115，并将校正系数115返回到模糊校正单元108。后处理单元119对从模糊校正单元108输入的模糊校正后的拍摄图像进行诸如色彩转换以及增益调整的后处理，并输出校正后的图像110。图像记录单元141将校正后的图像110记录在诸如存储卡的记录介质上。

[图像处理单元的处理]

图2是用于说明图像处理单元121的图像处理的流程图。

图像处理单元121获取拍摄图像104(S201)，并获取暗图像105(S202)。

暗图像105是通过使遮光单元103遮断来自被摄体的光并对从摄像设备102输出的电信号进行A/D转换而获得的数据。从摄像设备102输出的电信号通常包含噪声。即使在遮光状态下，从摄像设备102输出的电信号的值也不是0。即，并非暗图像105的所有像素值都是0，像素具有一定值。换句话说，噪声定义暗图像105的像素值。暗图像105具有表示摄像设备102的噪声特性的信息。

图3是用于说明暗图像的特性的示例的图。

附图标记306表示摄像设备102的受光面，其与暗图像105相对应。电源304附近的区域301中的光电转换元件的噪声由于电源304的热度而趋于增大。为此，暗图像105的区域301中的像素值趋向于大于整个暗图像105的平均像素值。

当闪光灯305发光时，靠近闪光灯305的区域302中的光电转换元件的噪声也由于热度而增大。因此，暗图像105的区域302中的像素值趋向于大于整个暗图像105的平均像素值。

摄像设备102的区域303有时因像素缺陷等而具有与其他区域不同的噪声特性。即作为特征，暗图像105的像素值在不同的区域之间有变化。

拍摄图像104也包含类似的噪声。然而，因为拍摄图像104包含被摄体信息和噪声信息两者，所以难以由拍摄图像104估算噪声特性。即，除了被摄体的拍摄图像104以外，还获取暗图像105对拍摄图像104中的噪声量进行估算。

接着，图像处理单元121从状态检测单元131获取拍摄参数107(S203)。当决定了拍摄参数107时，可以通过测量或模拟获得摄像光学系统101的OTF。由于摄像光学系统101的OTF根据拍摄参数107而变化，因此，拍摄参数107的获取是校正摄像光学系统101的模糊所不可缺少的。

接着，图像处理单元121使噪声量估算单元111由暗图像105估算噪声量112(S204)，并使预处理单元106执行预处理(S205)(稍后详细描述)。模糊校正单元108使用经由校正系数插值单元113获取的校正系数115对预处理之后的拍摄图像104进行减少模糊的处理(模糊校正)(S206)。

图像处理单元121使后处理单元119对模糊校正后的拍摄图像执行后处理(S207)，并将后处理之后的校正后的图像110输出到图像记录单元141(S208)以将校正后的图像110记录在记录介质上。

[噪声量估算单元]

噪声量估算单元111将暗图像105划分为多个区域，并计算各区域中的像素值的标准偏差。在噪声量大的区域中，标准偏差大。在噪声量小的区域，标准偏差小。即，通过计算各区域中的标准偏差，能够准确地掌握在区域之间变化的噪声量(如参照图3所描述)。

当ISO感光度高时，通常进行放大拍摄图像104的像素值的处理。为此，预处理单元106或后处理单元119在将ISO感光度设置为高值的同时放大已获得的拍摄图像104的像素值。拍摄图像104中包含的噪声也根据设置的ISO感光度被放大。因此，不能简单地照原样使用由暗图像105获得的标准偏差作为拍摄图像104的噪声量。作为替代，以与设置的ISO感光度相对应的预定比率，对由暗图像105获得的标准偏差进行放大，并使用放大结果作为实际噪声量112。

请注意，在上述示例中，使用标准偏差作为噪声量112。像素值方差或最大值与最小值之间的差也可以用作表示噪声的大小的指标，因为它们随着噪声的增大而变大并且随着噪声的减小而变小。因此，可以不使用标准偏差而使用方差或最大值与最小值之间的差作为噪声量112。

[校正系数插值单元]

校正系数插值单元113获取与噪声量112、拍摄参数107以及像素位置114相对应的用于模糊校正的校正系数115。噪声量112、拍摄参数107以及像素位置114是获取校正系数115所需的信息。以下将说明使用维纳滤波器进行模糊校正的示例。请注意，在使用维纳滤波器的模糊校正中，校正系数115为维纳滤波器的系数。

图4是示出校正系数存储单元116的概念的表。

校正系数存储单元116预先存储与拍摄参数107、像素位置114以及噪声量112的各个组合相对应的校正系数115(维纳滤波器)。图4示出作为拍摄参数107的示例的光圈值和变焦位置。OTF根据像素位置114而变化。当OTF变化时，校正系数115也变化。校正系数115还取决于噪声量112。

如图4中的校正系数所示，维纳滤波器是二维的3×3数字滤波器。稍后将详细描述维纳滤波器构造方法。

拍摄参数107、像素位置114以及噪声量112的组合数量庞大。如果与所有组合相对应的校正系数115均被存储，则存储在校正系数存储单元116中的数据量变得庞大。为了防止这一点，校正系数存储单元116存储与拍摄参数107、像素位置114以及噪声量112的各代表值相对应的校正系数。因此，校正系数插值单元113从校正系数存储单元116获取与输入的拍摄参数107、像素位置114以及噪声量112的组合邻近的代表值相对应的校正系数。基于所述校正系数，校正系数插值单元113对与拍摄参数107、像素位置114以及噪声量112的组合相对应的校正系数115进行插值。

例如，将像素位置114的代表值设置在两点(即图像端部以及图像中央)。通过计算图像端部的校正系数和图像中央的校正系数的加权平均，来近似地获得与任意像素位置114相对应的校正系数115。

以上例示了维纳滤波器。如果使用诸如最大熵(entropy)方法或Richardson-Lucy方法的模糊校正，则校正系数115与OTF及噪声量相对应。

[维纳滤波器构造方法]

通过计算由下式给出的W的逆傅立叶变换可以获得维纳滤波器。

W(u，v)＝H^*(u，v)/{H(u，v)|²+Sn(u，v)/Sf(u，v)}    ...(5)

其中

H^*(u，v)是作为OTF的H(u，v)的复共扼(complex conjugate)。

Sn(u，v)是噪声的功率谱(power spectrum)，而Sf(u，v)是拍摄图像的功率谱。

还可以通过将公式(5)的Sn(u，v)和Sf(u，v)改写为不依赖于空间频率的简化形式，给出维纳滤波器。

W(u，v)＝H^*(u，v)/{H(u，v)|²+SNR²}    ...(6)

其中SNR是用噪声的标准偏差除以拍摄图像的像素值而获得的SN比率。

当计算暗图像105的各个区域中的噪声的标准偏差时，用于除式的像素值是拍摄图像104的相应区域的平均像素值。严格地说，SNR是依赖于校正目标像素的像素值的量。然而，为了方便起见，可以使用拍摄图像104的平均像素值。

[噪声量与模糊校正之间的关系]

图5A到图5C是示意性地示出噪声量与模糊校正之间的关系的曲线图。各曲线图的纵坐标表示作为OTF的绝对值的MTF(ModulationTransfer Function，调制传递函数)，而横坐标表示空间频率。请注意，在图5A到图5C中，为了方便描述，将具有0以外的有效值的点视为被摄体(点光源)。

图5A示出用于说明当不存在噪声时的MTF的曲线图。图5A的左侧曲线图示出被摄体的MTF。如果摄像光学系统101不引起模糊，则被摄体的拍摄图像显现相同的MTF。图5A的中间曲线图示出包括摄像光学系统101引起的模糊的拍摄图像的MTF。频率越高，则MTF的值越小。请注意，因为假定被摄体是点光源，所以，图5A的中间曲线图也表示摄像光学系统101的MTF。

图5A的右侧曲线图示出通过对与图5A的中间曲线图相对应的拍摄图像进行使用逆滤波器的模糊校正而获得的拍摄图像的MTF。在图5A的中间曲线图中的MTF＞0的范围内，使用逆滤波器的模糊校正能够将拍摄图像恢复到与图5A的右侧曲线图相同的状态。然而，实际上存在噪声，并且噪声的频率特性被添加到拍摄图像的MTF中。

图5B示出用于说明当存在噪声并且能够准确地估算噪声量时的MTF的曲线图。图5B的左侧曲线图中的区域51a表示被添加到拍摄图像的MTF的噪声分量。图5B的中间曲线图示出通过对与图5B的左侧曲线图相对应的拍摄图像进行使用逆滤波器的模糊校正而获得的拍摄图像的MTF。如区域51b所示，在高频区域中噪声急剧增大。

图5B的右侧曲线图示出通过对与图5B的左侧曲线图相对应的拍摄图像进行使用维纳滤波器的模糊校正而获得的拍摄图像的MTF。维纳滤波器在噪声分量与摄像光学系统101的MTF的比率变大的频率区域中降低校正的程度。结果，在噪声分量的比率高的高频区域中，校正的程度降低。如图5B的右侧曲线图中的区域51c所示，噪声的增大得到抑制。

在低频和中频区域中，图5B的右侧曲线图所示的MTF接近于1，在这些频率区域中模糊被校正。即，优选获得与图5B的右侧曲线图所示的MTF相对应的拍摄图像的模糊校正，因为其适度地平衡了模糊校正的效果与噪声增大的弊害。为了获得这种平衡，必须准确地估算噪声量。

图5C示出用于说明当存在噪声并且不能准确地估算噪声量时的MTF的曲线图。图5C的左侧曲线图示出通过对与图5B的左侧曲线图相对应的拍摄图像进行使用维纳滤波器的模糊校正而获得的拍摄图像的MTF。在该曲线图中，噪声量被估算成小于实际量。由于噪声量被估算成小于实际量，因此如区域52a所示，在高频区域中噪声增大。

图5C的右侧曲线图示出通过对与图5B的左侧曲线图相对应的拍摄图像进行使用维纳滤波器的模糊校正而获得的拍摄图像的MTF。在该曲线图中，噪声量被估算成大于实际量。由于噪声量被估算成大于实际量，因此如区域52b所示，尽管在高频区域中抑制了噪声的增大，但是中频区域中的MTF降低，模糊校正不充分。

[预处理单元]

预处理单元106根据需要对拍摄图像104进行例如伽玛校正、去马赛克(显像处理)以及摄像设备102中的缺陷(像素缺失)的补偿处理。预处理单元106还对拍摄图像104执行基于暗图像105的预处理。虽然基于暗图像105的预处理与模糊校正无直接关联，但是将其描述作为针对噪声量112的估算以外的处理而使用暗图像105的示例。

当存在噪声时，拍摄图像104的与被摄体的最暗区域相对应的区域也具有0以外的有效值。因此，拍摄图像104中的对比度降低。通过从拍摄图像104的各像素值中减去暗图像105的平均像素值，来减轻对比度的降低。如果噪声特性在区域之间变化巨大(如图3所示)，则计算暗图像105的各个区域中的平均像素值，并从拍摄图像104的相应区域中的像素值中减去该平均像素值。如果噪声特性根据像素等级而变化，则从拍摄图像104中减去暗图像105自身。尤其当存在值从不为0的缺陷像素时，优选从拍摄图像104中减去暗图像105。

作为其他预处理，可以基于暗图像105进行噪声降低。例如，在暗图像105中确定具有大噪声的区域，并对拍摄图像104的相应区域应用更强的噪声降低。这使得噪声降低能够适合实际噪声特性，并增强了拍摄图像104的噪声降低的效果。由于噪声降低后的拍摄图像104包含更少的噪声，因此，预处理单元106需要将关于降低的噪声量的信息通知给噪声量估算单元111。噪声量估算单元111需要基于该通知来校正噪声量112。

[模糊校正单元]

当使用维纳滤波器执行模糊校正时，模糊校正单元108进行维纳滤波器(校正系数115)与拍摄图像104的卷积运算。当使用诸如最大熵(entropy)方法或Richardson-Lucy方法的模糊校正方法来执行模糊校正时，使用与校正系数115相对应的OTF和噪声量来进行迭代运算，由此校正拍摄图像104的模糊。

图6是用于说明模糊校正单元108的处理的流程图。

模糊校正单元108输出拍摄图像104的关注像素的位置作为像素位置114(S101)，并从校正系数插值单元113获取维纳滤波器(校正系数115)(S102)。接着，模糊校正单元108进行维纳滤波器与以关注像素为中心的3×3像素的卷积运算(S103)，并输出与关注像素相对应的校正后的像素(S104)。

接着，模糊校正单元108确定是否已经处理了拍摄图像104的所有像素(S105)。如果处理还未结束，则移动关注像素(S106)，接着处理返回到步骤S101。如果已经处理了所有像素，则模糊校正结束。

以上述方式，使用暗图像105对根据拍摄条件而变化的噪声量112给出了准确的估算。当使用准确估算的噪声量112和与摄像光学系统101的模糊特性相关联的校正系数115来进行模糊校正时，能够很好地平衡噪声增大与模糊校正的程度。结果，由摄像光学系统101引起的模糊减少，并能够获得噪声增大被适度地抑制的校正后的图像110。

拍摄图像104中包括的各频率分量的校正程度根据像素位置和拍摄条件而变化。例如，在噪声量大的像素位置或在具有高ISO感光度的拍摄条件下，噪声量大。结果，拍摄图像104的各频率分量的校正程度降低。在本实施例中，根据像素位置和拍摄条件针对不同的噪声特性自适应地变化各频率分量的校正程度，由此保持噪声与模糊校正的程度的平衡。

第二实施例

以下将描述根据本发明的第二实施例的图像处理。请注意，在第二实施例中，与第一实施例中相同的附图标记表示相同的部分，并且不再重复其详细描述。

已知散粒噪声(shot noise)作为当光照在摄像设备102的受光面时所产生的噪声。已知散粒噪声与进入光电转换元件的光能量的平方根成比例。

第一实施例的噪声量估算单元111基于暗图像105和拍摄参数107计算噪声量112。即第一实施例的噪声量112表示当没有光照在摄像设备102的受光面时的噪声量。换句话说，在遮光状态下拍摄的暗图像105不包含关于散粒噪声的信息。

在第二实施例中，在考虑到散粒噪声的情况下来实现高的噪声估算精度。

图7是示出根据第二实施例的摄像装置的结构的框图。与图1所示的第一实施例的结构不同，除了暗图像105和拍摄参数107以外，噪声量估算单元111还基于拍摄图像104的像素值118以及来自散粒噪声特性存储单元117的信息来计算噪声量112。第二实施例的噪声量估算单元111通过下式估算噪声量112。

STDt＝√(STDd²+STDs²)    ...(7)

其中

STDt是估算的噪声量，

STDd是由暗图像105计算的噪声量，而

STDs是散粒噪声量。

与第一实施例一样，STDd是暗图像105的标准偏差。STDs通过光能量确定。STDs可以通过计算像素值获得，因为像素值通过光能量确定。更具体地说，散粒噪声特性存储单元117存储表示像素值与STDs之间的关系的查找表(LUT)，基于从模糊校正单元108获得的关注像素的像素值118获得STDs。请注意，与第一实施例一样，需要根据ISO感光度设置来调整STDt(噪声量112)。

按照下述方式来创建散粒噪声特性存储单元117的LUT。拍摄亮度一致的被摄体。基于拍摄图像的像素值和像素值的标准偏差来计算散粒噪声量与像素值之间的对应，由此生成LUT。

图8是用于说明根据第二实施例的模糊校正单元108的处理的流程图。模糊校正单元108将拍摄图像104的关注像素的值输出作为像素值118(S100)，接着，执行与第一实施例相同的处理(S101到S106)。

例如，亮像素的像素值大于噪声，并且SNR高。当SNR高时，通过维纳滤波器进行的模糊校正的程度加强。因此，获得使得对亮像素进行更强的模糊校正的更优结果。图像的噪声显著的暗部中的像素值不是远大于噪声，并具有低SNR。当SNR低时，通过维纳滤波器进行的模糊校正的程度减弱。因此，获得抑制图像的暗部中的噪声增大的更优结果。

根据第二实施例，由于噪声量112根据像素值118而变化，因此维纳滤波器可能频繁改变。如果维纳滤波器改变起来麻烦，则例如可以设置阈值。当像素值超过该阈值时，输出预定的像素值118，由此抑制维纳滤波器在图像的具有高SNR的亮部中的频繁改变。

在第二实施例中，考虑到散粒噪声特性存储单元117，与第一实施例相比，需要更大存储容量的存储器。为此，第二实施例的结构不适于散粒噪声量小于由暗图像105获得的噪声量的摄像装置。相反，该结构适于散粒噪声量大于由暗图像105获得的噪声量的摄像装置。

第三实施例

以下将描述根据本发明的第三实施例的图像处理。请注意，在第三实施例中，与第一和第二实施例相同的附图标记表示相同的部分，并不再重复其详细描述。

市场上现有诸如电子照相机的多种摄像装置，该电子照相机在使用具有固态存储设备的存储卡作为记录介质的同时记录并再现由固态摄像设备(诸如CCD或CMOS传感器)拍摄的静止图像或动图像。这些电子照相机的摄像设备有很多都包括由铝膜(aluminum film)等遮光的多个像素(称为OB(光黑)像素)。将从OB像素范围(以下称为OB部)输出的图像数据称为OB数据。

图9是示出OB部的概念的图。OB部801被布置成与拍摄区域802邻接，并用来定义拍摄图像的黑度。OB数据因噪声而具有大于0的有效值。OB数据的平均值也大于0。考虑到在拍摄图像中也混入了与OB数据相同的噪声，因此拍摄图像中具有最小值的像素不具有值0，而具有等于或大于OB数据的平均值的值。已知从拍摄图像中减去OB数据的平均值以将未曝光的各像素的值校正到接近0的处理。以下将该处理称为减黑处理。到OB部801的光已经被遮断。为此，OB部801的使用使得不总是需要上述遮光单元103。

图10是示出根据第三实施例的摄像装置的结构的框图。与图1所示的第一实施例不同，该装置不包括遮光单元103，作为预处理之一，预处理单元106执行从拍摄图像104中减去OB数据120的平均值的减黑处理，噪声量估算单元111基于OB数据120估算噪声量112。

也就是说，第三实施例的图像处理单元121不仅将OB数据120用于减黑处理，而且将其用于噪声量112的估算。更具体地说，噪声量估算单元111使用OB数据120的标准偏差作为噪声量112。

毋庸置疑，与在第二实施例中一样，噪声量估算单元111可以在考虑到散粒噪声的情况下来估算噪声量。在这种情况下，不需要使用OB部801的所有像素。可以根据部分像素的OB数据120来计算噪声量STDd。

在第一和第二实施例中，为了估算噪声量112，需要进行用于获得拍摄图像104的拍摄以及用于在遮光状态下获得暗图像105的拍摄。在第三实施例中，除了拍摄图像104的拍摄外，还可以从OB部801获取OB数据120。这简化了处理过程。然而，由于OB部801位于不同于拍摄区域802的区域，因此，不能准确地估算在摄像图像104的区域之间变化的噪声量。换句话说，第三实施例的结构适于噪声量在拍摄图像104的区域之间的变化程度低的摄像装置。

第四实施例

以下将描述根据本发明的第四实施例的图像处理。请注意，在第四实施例中，与第一到第三实施例相同的附图标记表示相同的部分，并不再重复其详细描述。

图11是示出根据第四实施例的摄像装置的结构的框图。与图1所示的第一实施例不同，该装置不包括遮光单元103，作为预处理之一，预处理单元106基于噪声量112执行拍摄图像104的减黑处理，并且该装置包括用于噪声量112的估算的噪声特性存储单元122。噪声特性存储单元122存储拍摄参数107与噪声量112之间的对应。因此，噪声量估算单元111从噪声特性存储单元122中获取与拍摄参数107相对应的噪声量112。

与噪声量112相关联的拍摄参数107的示例是摄像设备102的温度、曝光时间以及ISO感光度设置。与第二实施例一样，当在考虑到散粒噪声的情况下来估算噪声量112时，摄像参数107需要包括曝光量或像素值。

图12是用于说明根据第四实施例的图像处理单元121的图像处理的流程图。与图2所示的第一实施例不同，该处理不包括获取暗图像105的步骤S202。图13是示出噪声特性存储单元122的概念的表。

噪声特性存储单元122将与拍摄参数107的组合(例如摄像设备102的温度、曝光量、曝光时间以及ISO感光度设置值的组合)相对应的噪声量预先存储作为LUT。为了创建要存储在噪声特性存储单元122中的LUT，在黑暗下针对摄像参数107的各个组合测量噪声量。

当测量噪声量时，如果以小梯级设置拍摄参数107的各个项目的值，则测量的次数巨大，存储LUT所需的容量也大大增加。为了防止这一点，优选根据可安装在摄像装置中的存储器的存储容量来调整各个项目的值的梯级。例如，仅可以改变ISO感光度设置，以及可以将剩余项目固定为预定值，或者可以将噪声量测量点限制为两个。如果噪声特性存储单元122的LUT没有记录与拍摄参数107的组合相对应的噪声量，则噪声量估算单元111获取与拍摄参数107的组合邻近的组合相对应的噪声量。根据该噪声量，对与拍摄参数107的组合相对应的噪声量112进行插值。

根据第四实施例，用于噪声特性值的存储容量是必要的。然而，由于无需基于暗图像105或OB数据120计算噪声量112，因此能够降低计算成本。

此外，本发明中的第三实施例与第四实施例也可以被组合运用。即，基于由暗图像数据获取的噪声量以及基于包括关注像素的像素值的拍摄参数从噪声特性存储单元122获取的噪声量，来计算拍摄图像中包含的噪声量。

第五实施例

以下将描述根据本发明的第五实施例的图像处理。请注意，在第五实施例中，与第一到第四实施例相同的附图标记表示相同的部分，并不再重复其详细描述。

图14是示出根据第五实施例的摄像装置的结构的框图。与图12所示的第四实施例不同，该装置不包括噪声特性存储单元122。第五实施例的噪声量估算单元111保持用于根据拍摄参数107计算噪声量112的公式。

通过使用回归分析(regression analysis)等对图13所示的噪声量与拍摄参数107的组合之间的关系进行建模，而获得噪声量估算单元111保持的公式。请注意，最简单的公式生成方法是使用回归分析的方法。然而，例如可以使用噪声的物理模型公式。

根据第五实施例，与第四实施例相比，能够降低用于噪声特性值的存储容量。然而，由于通过公式对噪声特性进行近似，因此与第四实施例相比，估算噪声量112的精度可能因近似误差而降低。

其他实施例

本发明的各方面还能够通过读出并执行记录在存储设备上的用于执行上述实施例的功能的程序的系统或装置的计算机(或诸如CPU或MPU的设备)来实现，以及由系统或装置的计算机例如读出并执行记录在存储设备上的用于执行上述实施例的功能的程序来执行步骤的方法来实现。鉴于此，例如经由网络或者从用作存储设备的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。

虽然参照示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。应对所附权利要求的范围给予最宽的解释，以使其覆盖所有变型、等同结构和功能。

Claims (10)

1.一种图像处理装置，该图像处理装置包括：

第一获取单元，其用于获取拍摄参数以及由使用所述拍摄参数的摄像设备获得的拍摄图像；

第二获取单元，其用于获取与基于所述拍摄参数得到的所述摄像设备的光学传递函数以及依赖于所述拍摄参数的所述拍摄图像的噪声量对应的、用于校正所述拍摄图像的模糊的校正数据，

其中，针对高噪声量、利用所述校正数据进行校正的第一程度，小于针对低噪声量、利用所述校正数据进行校正的第二程度。

2.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

校正单元，其用于基于所述校正数据对所述拍摄图像进行模糊校正。

3.根据权利要求1所述的图像处理装置，其中所述第二获取单元获取针对所述拍摄图像的各像素的、与基于所述拍摄参数得到的所述摄像设备的光学传递函数以及依赖于所述拍摄参数的所述拍摄图像的噪声量对应的、用于校正所述拍摄图像的模糊的校正数据。

4.根据权利要求1所述的图像处理装置，其中所述第二获取单元通过计算来获取与基于所述拍摄参数得到的所述摄像设备的光学传递函数以及依赖于所述拍摄参数的所述拍摄图像的噪声量对应的、用于校正所述拍摄图像的模糊的校正数据。

5.根据权利要求4所述的图像处理装置，所述图像处理装置还包括输入单元，该输入单元用于输入在没有光输入到所述摄像设备的状态下从所述摄像设备输出的暗图像数据，

其中，所述第二获取单元通过基于所述拍摄参数校正由所述暗图像数据获取的噪声量，来计算所述拍摄图像中包含的所述噪声量。

6.根据权利要求4所述的图像处理装置，所述图像处理装置还包括：

输入单元，其用于输入在没有光输入到所述摄像设备的状态下从所述摄像设备输出的暗图像数据；以及

存储单元，其用于存储当光照在所述摄像设备的受光面时产生的噪声量，

其中，所述第二获取单元基于由所述暗图像数据获取的噪声量以及基于包括关注像素的像素值的所述拍摄参数从所述存储单元获取的噪声量，来计算所述拍摄图像中包含的所述噪声量。

7.根据权利要求3所述的图像处理装置，所述图像处理装置还包括输入单元，该输入单元用于输入从布置在所述摄像设备中的遮光像素输出的图像数据，

其中，所述第二获取单元通过基于所述拍摄参数校正由所述图像数据获取的噪声量，来计算所述拍摄图像中包含的所述噪声量。

8.根据权利要求1所述的图像处理装置，所述图像处理装置还包括存储单元，该存储单元用于存储所述拍摄参数与噪声量之间的对应，

其中，所述第二获取单元基于所述拍摄参数从所述存储单元获取所述拍摄图像中包含的所述噪声量，并获取针对所述拍摄图像的各像素的所述校正数据。

9.根据权利要求1所述的图像处理装置，其中，所述第二获取单元通过基于所述拍摄参数的计算，来获取所述拍摄图像的各个关注像素中包含的噪声量，并获取针对所述拍摄图像的所述各个关注像素的所述校正数据。

10.一种图像处理方法，该图像处理方法包括以下步骤：

获取拍摄参数以及由使用所述拍摄参数的摄像设备获得的拍摄图像；

获取与基于所述拍摄参数得到的所述摄像设备的光学传递函数以及依赖于所述拍摄参数的所述拍摄图像的噪声量对应的、用于校正所述拍摄图像的模糊的校正数据；

其中，针对高噪声量、利用所述校正数据进行校正的第一程度，小于针对低噪声量、利用所述校正数据进行校正的第二程度。

Images