CN101394460A - 图像处理设备、方法、程序以及图像捕获设备 - Google Patents

Abstract

一种根据图像模糊程度、使用恢复滤镜对输入图像进行模糊校正的图像处理设备，包括：模糊程度确定单元，其接收待校正的目标图像，在改变与模糊程度对应的模糊度参数的值的同时，将包括该模糊度参数的恢复滤镜应用于目标图像，对已利用具有不同模糊度参数值的恢复滤镜校正的每个校正目标图像的恢复度进行评价，并基于评价较高的恢复滤镜的模糊度参数值来确定目标图像的模糊程度；以及模糊校正单元，其根据所确定的目标图像的模糊程度、基于模糊度参数来设置用于目标图像的恢复滤镜，并使用恢复滤镜对目标图像进行模糊校正。

Description

图像处理设备、方法、程序以及图像捕获设备

相关申请的交叉引用

本申请包含涉及2007年9月21日在日本专利局提交的日本专利申请JP 2007-244825的主题，该日本专利申请的全部内容通过引用结合于此。

技术领域

本发明涉及图像处理设备、图像处理方法、图像处理程序以及图像捕获设备，更具体地，本发明涉及根据图像模糊程度、使用恢复滤镜(recovery filter)对输入图像进行模糊校正的图像处理设备、图像处理方法、图像处理程序以及图像捕获设备。

背景技术

通过图像捕获设备获得的照片常常是焦点没对准或者是模糊的，被称为模糊的照片。使用安装在个人计算机等中的专用照片修饰软件可以对这种模糊的照片进行模糊校正，并变换成满意的照片，所述模糊包括焦点没对准的模糊。

在使用相关技术的照片修饰软件的校正操作中，目标图像被读取到个人计算机中。当图像捕获设备是数码相机时，图像捕获设备可以将捕获的图像数据传送到个人计算机。然后，用户设置各种图像校正参数并对目标图像应用包括设置的各种参数的校正滤镜(correction filter)。照片修饰软件基于设置的各种参数来生成校正滤镜，将该校正滤镜应用到目标图像以生成经校正图像，并在图像显示装置等上显示经校正图像。在观看图像显示装置上显示的图像时，用户通过试错法调整参数直到获得期望的图像。除使用图像捕获设备捕获的图像外，目标图像还可以是使用图像读取设备读取的图像或者通过网络获得的图像。除个人计算机外，越来越多模式的图像读取设备，比如扫描仪和照片打印机现在都具有模糊校正功能。

除基于软件的校正处理外，例如，在日本未经审查的专利申请公布2001-36737号(见图2)中已经提出了在照片处理装置上设置校正电路，以便能够使用硬件来执行包括模糊校正的特殊校正。

发明内容

利用相关技术的照片修饰软件的校正处理对普通用户是不容易使用的。

通常，数码相机具有在其机身上显示所捕获图像的显示功能。使用该功能，用户能够立刻检查所捕获图像。相反，利用照片修饰软件的校正操作只是在图像被读取到个人计算机等中后才可执行。因此，该操作是复杂的且不能当场校正所捕获的图像。具体地，当用户离开家以便捕获图像等时，用户只能在回家后才能校正捕获的图像，这对用户来讲不方便。

校正过程中使用的各种参数需要由用户调整。然而，参数的调整对于普通用户是很困难的。获得期望的图像可能是费时的，或者可能不能获得期望的图像。

提供对图像进行简单的模糊校正而不给用户带来特别负担的图像处理设备、图像处理方法、图像处理程序以及图像捕获设备是令人期望的。

按照本发明的实施例，提供有一种根据图像模糊程度、利用恢复滤镜对输入图像进行模糊校正的图像处理设备。所述图像处理设备包括用于确定目标图像模糊程度的模糊程度确定装置以及用于基于确定结果来对目标图像进行模糊校正的模糊校正装置。

模糊程度确定装置接收待校正的目标图像，在改变对应于图像模糊程度的模糊度参数的值的同时，将包括该模糊度参数的恢复滤镜应用于目标图像。然后，模糊程度确定装置对已通过使用具有不同模糊度参数值的恢复滤镜校正的每个经校正目标图像的恢复度进行评价，并基于评价较高的恢复滤镜的模糊度参数值来确定目标图像的模糊程度。模糊校正装置根据已确定的目标图像的模糊程度、基于模糊度参数来设置用于目标图像的恢复滤镜。然后，模糊校正装置使用用于目标图像的恢复滤镜对目标图像进行模糊校正。

根据所述图像处理设备，在改变对应于图像模糊程度的模糊度参数的值的同时，模糊程度确定装置将包括该模糊度参数的恢复滤镜应用于目标图像。然后，模糊程度确定装置对已通过使用恢复滤镜校正的每个经校正目标图像的恢复度进行评价，并基于评价较高的恢复滤镜的模糊度参数值来确定目标图像的模糊程度。评价较高的恢复滤镜被认为具有最接近目标图像模糊程度的模糊度参数。基于确定结果，模糊校正装置基于该模糊度参数来设置恢复滤镜，并对目标图像进行模糊校正。

按照本发明的另一实施例，提供有一种根据图像模糊程度、利用恢复滤镜对输入图像进行模糊校正的图像处理方法。该方法包括利用模糊程度确定装置接收待校正的目标图像，在改变对应于图像模糊程度的模糊度参数的值的同时，将包括该模糊度参数的恢复滤镜应用于目标图像，对已通过使用具有不同模糊度参数值的恢复滤镜校正的每个经校正目标图像的恢复度进行评价，以及基于评价较高的恢复滤镜的模糊度参数值来确定目标图像的模糊程度；以及利用模糊校正装置，根据所确定的目标图像的模糊程度、基于模糊度参数来设置用于目标图像的恢复滤镜，并使用用于目标图像的恢复滤镜对目标图像进行模糊校正。

根据所述图像处理方法，模糊程度确定装置在改变其模糊度参数值的同时将恢复滤镜应用于待校正的目标图像，评价每个经校正目标图像的恢复度，并确定目标图像的模糊程度。然后，模糊校正装置基于目标图像的确定的模糊程度来生成恢复滤镜，并对目标图像进行模糊校正。

按照本发明的另一实施例，提供有一种使用预定滤镜来执行捕获图像的处理的图像捕获设备。所述图像捕获设备包括：模糊程度确定装置，用于当待校正的目标图像被选择时，在改变对应于图像模糊程度的模糊度参数的值的同时，将恢复滤镜应用于包括该模糊度参数的目标图像，对已通过使用具有不同模糊度参数值的恢复滤镜校正的每个经校正目标图像的恢复度进行评价，以及基于评价较高的恢复滤镜的模糊度参数值来确定目标图像的模糊程度；以及模糊校正装置，用于根据目标图像的确定的模糊程度、基于模糊度参数来设置用于目标图像的恢复滤镜，并使用用于目标图像的恢复滤镜对目标图像进行模糊校正。

根据所述图像捕获设备，通过改变其模糊度参数而生成的恢复滤镜被应用于所选择的目标图像，并评价经校正的目标图像，从而确定目标图像的模糊程度。基于确定结果，生成用于目标图像的恢复滤镜，并使用所生成的用于目标图像的恢复滤镜来对目标图像进行模糊校正。

按照本发明的实施例，当待校正的目标图像被指定时，在改变对应于图像模糊程度的模糊度参数的同时，将包括该模糊度参数的恢复滤镜应用于目标图像，并且选择最适当的模糊度参数。使用利用所选择的模糊度参数的恢复滤镜对目标图像进行模糊校正。因此，目标图像的模糊程度被自动确定，并且目标图像利用适当的恢复滤镜被校正。用户不必再执行包括参数调整的复杂操作。利用指定目标图像的简单操作，就能够对目标图像进行模糊校正。

附图说明

图1是根据本发明实施例的构思示意图；

图2是显示使用已被变换成空间滤镜(spacial filter)的恢复滤镜的图像恢复处理过程的图；

图3是根据本发明实施例的图像捕获设备的框图；

图4A到4C图示了利用特定模糊度σ生成的恢复滤镜的示例；

图5是显示利用图像捕获设备执行的模糊校正处理示例的图；

图6是显示生成用于识别模糊度的图像的处理过程的流程图；

图7是显示模糊度识别处理过程的流程图；

图8是显示模糊度σ_i和边缘量之间关系的曲线图；以及

图9是显示模糊校正处理过程的流程图。

具体实施方式

下面，将参考附图描述本发明的实施例。图1为根据本发明实施例的构思示意图。根据本发明实施例的图像处理设备1包括：图像选择单元1a，用于选择待校正的目标图像；模糊程度确定单元1b，用于确定目标图像的模糊程度；模糊校正单元1c，用于对目标图像进行模糊校正；以及图像保存单元1d，用于保存经校正的图像。用于显示图像的图像显示设备2和用于记录图像数据的图像记录设备3连接到图像处理设备1。图像处理设备1、图像显示设备2以及图像记录设备3可以不必是独立的设备，可以是构成一个设备的处理部件。

图像选择单元1a基于通过操作输入单元(未示出)输入的输入用户指令来确定待校正的目标图像，或者通过自动选择满足预定准则的图像来确定待校正的目标图像。在这种情况下，如果必要，读取待校正的目标图像的图像数据，并且在图像显示设备2上显示待校正的目标图像。

模糊程度确定单元1b从由图像选择单元1a选择的待校正图像的尺寸减小的图像或部分区域来确定图像的模糊程度。或者，模糊程度确定单元1b可从整个目标图像来确定模糊程度。为此，利用预定的点扩展函数来生成用于对图像进行模糊校正的恢复滤镜。点扩展函数是从对应于点源输入的图像的变换输出，并且通常被用作用于将清晰输入变换成模糊输出的模糊模型。点扩展函数，作为图像模糊模型，包括对应于模糊程度的参数，所述参数在下文中被称为“模糊度参数”。其它扩展函数包括线扩展函数和边缘扩展函数，这些函数可如同点扩展函数一样用作图像模糊模型。用于对图像进行模糊校正并对几乎不包括模糊的图像进行恢复的恢复滤镜基于这种点扩展函数来生成。由于后面即将详细描述的恢复滤镜基于作为模糊模型的点扩展函数来生成，因此恢复滤镜的参数包括对应于模糊程度的模糊度参数。恢复滤镜被生成为能够直接应用于目标图像的空间滤镜。模糊程度确定单元1b在改变模糊度参数值的同时将恢复滤镜应用于目标图像，并评价目标图像的恢复度。该恢复度在数量上代表了利用恢复滤镜，目标图像从模糊图像恢复了多少以及目标图像的锐度变成多少。通过比较对应于每个恢复滤镜的恢复度，能够选择出用于目标图像的最佳恢复滤镜。目标图像的模糊程度利用设置在评价较高的恢复滤镜中的模糊度参数来确定。也就是说，可以认为该评价较高的恢复滤镜具有接近于目标图像的模糊程度的模糊度参数。因此，当确定了最佳恢复滤镜时，目标图像的模糊程度也能被确定。将确定模糊程度的结果通知给模糊校正单元1c。所通知的确定结果可以是所选恢复滤镜中包括的模糊度参数的值。

模糊校正单元1c利用所通知的模糊度参数值或对应于所通知的模糊程度的模糊度参数的值来设置恢复滤镜。恢复滤镜被生成为将应用于整个目标图像的空间滤镜。当恢复滤镜应用于目标图像时，在目标图像和恢复滤镜之间进行卷积运算，从而获得进行了适当模糊校正的经校正图像。

在接收到记录指令后，图像保存单元1d将利用模糊校正单元1c进行了模糊校正的经校正图像保存在图像记录设备3中。或者，经校正图像可自动地记录在图像记录设备3中。

图像记录设备3是用于存储图像被校正前的图像数据或图像被模糊校正单元1c校正后的图像数据的存储单元。

将描述图像处理设备1的操作以及图像处理方法。通过用户操作，选择待校正的目标图像，并且选择目标图像的指令被输入到图像处理设备1。当输入选择指令时，图像选择单元1a必要时在图像显示设备2上显示所选择的图像，并将目标图像通知给模糊程度确定单元1b。模糊程度确定单元1b基于作为图像模糊模型的点扩展函数来生成预定的恢复滤镜。以该方式生成的恢复滤镜包括对应于模糊程度的模糊度参数。通过改变恢复滤镜中包括的模糊度参数，生成具有不同模糊度参数值的多个恢复滤镜。这些恢复滤镜被应用于整个目标图像、目标图像的部分区域或者目标图像的尺寸减小的图像，从而对目标图像进行模糊校正。评价每个经校正目标图像的恢复度，并且基于评价较高的恢复滤镜的模糊度参数来确定目标图像的模糊程度。将确定结果通知给模糊校正单元1c。基于针对目标图像所确定的模糊度参数，模糊校正单元1c生成将应用于整个目标图像的恢复滤镜。恢复滤镜被生成为能够直接利用目标图像的图像数据被计算的空间滤镜。所生成的恢复滤镜被应用于目标图像以便对目标图像进行模糊校正，从而获得经校正图像。所生成的经校正图像可以在图像显示设备2上显示。当输入记录指令时，图像保存单元1d将经校正图像记录在图像记录设备3中。

如上所述，当用于指定目标图像的指令被输入到图像处理设备1时，在改变恢复滤镜的模糊度参数的同时，将基于作为模糊模型的点扩展函数的恢复滤镜应用于目标图像，并根据经校正目标图像的恢复度确定目标图像的模糊程度。确定最适合所确定的模糊程度的恢复滤镜，并且利用所确定的恢复滤镜对目标图像进行模糊校正。因此，用户不必执行复杂的参数调整。用户仅需指定待校正的目标图像，并下达校正指令。因此，减轻了用户的负担，并改善了用户友好性。

在以上描述中，待进行模糊校正的图像由用户任意选择。或者，可向用户提供用于确定模糊校正是否有必要的参考信息。例如，模糊程度确定单元1b初步计算被捕获图像的模糊程度。当在图像显示设备2上显示图像时，也示出已提前被计算的图像的模糊程度。或者，可以检测所计算的模糊程度超过预定准则的图像，并且将所检测到的图像通知给用户。因此，用户能够客观地确定是否有必要对图像进行模糊校正。

现在将描述恢复滤镜。应用于劣化的模糊图像以便进行恢复的恢复滤镜包括例如维纳滤镜(Wiener filter)、通用逆滤镜以及照射滤镜(irradiation filter)。在该示例中，使用维纳滤镜作为恢复滤镜。

假定作为目标图像的模糊观测图像为g(x，y)，无模糊理想图像为f(x，y)，作为模糊模型的点扩展函数为h(x，y)，以及噪声为n(x，y)。它们之间的关系为：

$g(x,y)={\∫}_{-\∞}^{\∞}{\∫}_{-\∞}^{\∞}f(x-\mathrm{\ξ},y-\mathrm{\η})h(\mathrm{\ξ},\mathrm{\η})\mathrm{d\ξd\η}+n(x,y)\·\·\·\left(1\right)$

其中x，y指示对应于二维坐标的图像位置。等式(1)的两个部分利用卷积定理进行傅立叶变换：

G(u，v)＝F(u，v)H(u，v)+N(u，v)      …(2)

其中，G(u，v)为观测图像g(x，y)的傅立叶变换结果。类似地，F(u，v)为f(x，y)的傅立叶变换结果，H(u，v)为h(x，y)的傅立叶变换结果，N(u，v)为n(x，y)的傅立叶变换结果。这里，H(u，v)是用于将理想图像f(x，y)变换成劣化的观测图像g(x，y)的传递函数。此外，当所述两个部分被除以H(u，v)时，得到下式：

$F(u,v)=\frac{G(u,v)}{H(u,v)}+\frac{N(u,v)}{H(u,v)}\·\·\·\left(3\right)$

现在假定恢复图像为f＾(x，y)。考虑用于使恢复图像f＾(x，y)和理想图像f(x，y)之间的误差最小的恢复滤镜1/Hw(u，v)，得到下式：

$\frac{1}{\mathrm{Hw}(u,v)}=\frac{1}{H(u,v)}\frac{{\left|\right|H(u,v)\left|\right|}^2}{{\left|\right|H(u,v)\left|\right|}^2+\mathrm{\Γ}}\·\·\·\left(4\right)$

其中，Γ为信号与噪声的能量密度比，且接近于适当的常数。上述恢复滤镜的细节参考例如Azriel Rosenfeld和Avinash C.Kak的Digital PictureProcessing(纽约：Academic Press，1976)，Makoto NAGAO译，DigitalGazo Shori，7.3 Saisho Jijo Filter(Kindai Kagakusha，1978)P.222-。

为了利用这种恢复滤镜从模糊图像恢复理想图像，由于恢复滤镜为频域内的傅立叶变换滤镜，如等式(4)所示，因此观测图像g(x，y)也被傅立叶变换到频域内，并且应用由等式(4)所表示的恢复滤镜。具体地，执行以下过程。

首先，对观测图像g(x，y)进行傅立叶变换以计算G(u，v)：

g(x，y)→G(u，v)      ...(5)

这是利于利用由等式(4)表示的恢复滤镜的校正操作的预处理。

第二，对点扩展函数h(x，y)进行傅立叶变换以计算H(x，y)。此外，利用等式(4)，从H(u，v)生成恢复滤镜1/Hw(u，v)。另外，按照图像适当地设置Γ：

h(x，y)→1/Hw(u，v)      ...(6)

第三，经傅立叶变换的观测图像G(x，y)乘以恢复滤镜1/Hw(u，v)以获得F＾(u，v)：

F＾(u，v)＝(1/Hw(u，v))×G(u，v)      …(7)

对此进行傅立叶逆变换以获得恢复图像f＾(x，y)：

F＾(u，v)→f＾(x，y)      …(8)

通过执行上述处理过程，可校正观测图像g(x，y)的模糊，并且可以获得相对于理想图像具有最小误差的恢复图像f＾(x，y)。

然而，当执行上述处理过程时，需要花费很长时间进行观测图像的傅立叶变换和傅立叶逆变换。数码相机的有效像素的数量不断增长。如今，10M像素(3648×2736像素)或更高像素的数码相机也已可用。由于图像由二维数据表示，因此观测图像和恢复图像的傅立叶变换和傅立叶逆变换涉及巨大的存储器。个人计算机或图像处理设备比如桌面扫描仪或打印机能够具有高性能处理器和充足的存储器。但是，难以向尺寸小的设备，比如数码相机提供这种高性能处理器和充足的存储器。因此，本发明的发明人发现了可执行的模糊校正处理过程，该模糊校正处理过程不涉及具有大量数据的观测图像和恢复图像的傅立叶变换或傅立叶逆变换。下面来描述该模糊校正处理过程。

这里，对恢复滤镜1/Hw(u，v)进行傅立叶逆变换，以获得频域内的hw(x，y)。对等式(7)进行傅立叶逆变换以得到下式：

$f^{^}(x,y)={\∫}_{-\∞}^{\∞}{\∫}_{-\∞}^{\∞}g(x-\mathrm{\ξ},y-\mathrm{\η})\mathrm{hw}(\mathrm{\ξ},\mathrm{\η})\mathrm{d\ξd\η}\·\·\·\left(9\right)$

当进行了傅立叶逆变换时，虚部变为零，仅留有实部。由于等式(9)是卷积形式，因此等式(9)利用卷积符号*来表达：

f＾(x，y)＝g(x，y)*hw(x，y)      …(10)

这是与常态空间滤镜相同的形式。因此，可以用与空间滤镜处理中的过程类似的过程来执行恢复处理。下面描述使用已变换成空间滤镜的恢复滤镜的模糊校正(图像恢复)处理。

图2是显示使用已变换成空间滤镜的恢复滤镜的图像恢复处理过程的图。步骤S01中，对作为图像模糊模型的点扩展函数h(x，y)进行傅立叶变换，以获得恢复滤镜1/Hw(u，v)。如所描述的，在等式(4)中利用H(u，v)来进行恢复滤镜的生成，所述H(u，v)通过执行点扩展函数h(x，y)的傅立叶变换来获得。适当地设置Γ。该恢复滤镜1/Hw(u，v)为频域内的恢复滤镜。

在步骤S02中，对步骤S01中生成的恢复滤镜1/Hw(u，v)进行傅立叶逆变换，以获得空间滤镜。所变换的空间域内的恢复滤镜由hw(x，y)表示。

在步骤S03中，将空间域内的恢复滤镜hw(x，y)应用于观测图像g(x，y)，以获得恢复图像f＾(x，y)。如等式(9)所示，这里所执行的运算仅仅是卷积运算。因此，该运算可被处理为常数系数的乘积和运算的重复。这比观测图像的傅立叶变换和经校正图像的傅立叶逆变换所涉及的运算负荷轻。

通过执行上述的处理过程，生成恢复滤镜hw(x，y)，该恢复滤镜hw(x，y)已基于点扩展函数h(x，y)被变换成空间滤镜；以及获得恢复图像f＾(x，y)，该恢复图像f＾(x，y)是对观测图像g(x，y)进行模糊校正的结果。在这种情况下，没有执行用于将观测图像g(x，y)变换到频域内的傅立叶变换，以及用于将已在频域内校正的恢复图像变换成空间域内的恢复图像f＾(x，y)的傅立叶逆变换。也就是说，通过执行与常态空间滤镜情况中的处理过程类似的处理过程，利用已变换成空间滤镜的恢复滤镜对观测图像g(x，y)进行模糊校正。

步骤S01中恢复滤镜的生成涉及傅立叶变换，步骤S02中的恢复滤镜变换成空间滤镜涉及傅立叶逆变换。然而，恢复滤镜被设置成比观测图像小得多。因此，执行傅立叶变换和傅立叶逆变换所涉及的负荷较轻。

在以上描述中，每次都执行恢复滤镜的生成(步骤S01)以及恢复滤镜到空间滤镜的变换(步骤S02)。或者，可提前获得空间域内对应于多个适当的点扩展函数h(x，y)的恢复滤镜hw(x，y)。

下面将以将上述模糊校正处理应用于图像捕获设备的情况为例、参考附图来详细描述实施例。目标图像捕获设备是可以利用预定滤镜对捕获的图像施加处理的数码相机等。图3是根据本发明实施例的图像捕获设备的框图。

所述图像捕获设备包括用于对捕获的图像进行处理的图像处理单元100。用于捕获对象的光学图像的透镜&成像器201、用于显示图像的图像显示装置202以及用于记录图像数据及其相关信息的记录介质203连接到图像处理单元100。

图像处理单元100包括用于控制整个图像处理单元100的控制中央处理单元(CPU)101。控制CPU 101通过数据总线102连接到随机存取存储器(RAM)103、只读存储器(ROM)104、相机信号处理引擎105、模糊程度确定引擎106、模糊校正引擎107、图像显示引擎108以及外部介质控制器109。引擎是用于解决预定问题的专用工具的总称，并且由硬件、软件或硬件和软件的组合构成。

RAM 103临时存储将要由控制CPU 101执行的操作系统(OS)的程序以及应用程序的至少一些。RAM 103存储利用控制CPU 101执行的处理所必需的各种数据项。ROM 104存储OS和应用程序。相机信号处理引擎105接收由透镜&成像器201所获得的相机信号，对该相机信号施加信号处理，并生成图像数据。在控制CPU 101的控制下，模糊程度确定引擎106在改变模糊度的同时，选择与目标图像匹配的恢复滤镜，从而确定待校正目标图像的模糊程度。模糊校正引擎107基于已由模糊程度确定引擎106确定的图像模糊程度来生成恢复滤镜，并校正待校正的目标图像。图像显示引擎108连接到图像显示装置202。按照控制CPU 101的命令，图像显示引擎108在图像显示装置202的屏幕上显示图像。按照控制CPU 101等的命令，外部介质控制器109从记录介质203读取数据，通过数据总线102发送数据，并将指定数据写入记录介质203。

透镜&成像器201为用于生成相机信号的图像拾取单元。透镜&成像器201包括将图像光引入图像捕获设备的透镜以及由图像拾取元件实施的成像器。从对象(未示出)反射的图像光通过透镜输入并照射在成像器的图像拾取面上。成像器所捕获的相机信号被传送到相机信号处理引擎105。图像显示装置202将指定图像显示在屏幕上。记录介质203是用于记录捕获的图像数据及其相关信息的记录介质。

现在来描述利用具有上述结构的图像捕获设备来执行的模糊校正处理。

现在描述在下面描述的模糊校正处理中使用的点扩展函数和恢复滤镜。在该实施例中，假定表示模糊现象的点扩展函数是二维高斯分布。该二维高斯分布是正态分布，并且是由下式表示的函数：

$h(x,y)=\frac{1}{2\mathrm{\π\σ}}\exp (-\frac{x^2+y^2}{2{\mathrm{\σ}}^2\mathrm{}})\·\·\·\left(11\right)$

其中，σ为表示模糊强度分布的离散度(dispersion)的模糊度参数。下文中，模糊度参数被视为模糊度σ。根据等式(11)，很显然模糊强度仅利用模糊度σ作为参数来表示。模糊度σ的值越大，边缘在图像中就越模糊。除了二维高斯分布之外，柱状分布(假设在一点被捕获的光以特定半径r、按柱状方式均匀扩展)等也可用作点扩展函数。

关于用在图像捕获设备中的恢复滤镜，对由等式(11)表示的二维高斯函数进行傅立叶变换，并利用等式(4)，生成频域内的恢复滤镜(维纳滤镜)。此外，对该滤镜进行傅立叶逆变换，以获得空间域内的恢复滤镜。

具体地，执行假定是由等式(11)所表示的二维高斯分布的点扩展函数的二维离散傅立叶变换，以便生成传递函数H(u，v)：

$H(u,v)=\frac{1}{\sqrt{\mathrm{MN}}}\underset{y=0}{\overset{N}{\mathrm{\Σ}}}\underset{x=0}{\overset{M}{\mathrm{\Σ}}}h(x,y)\exp [-j2\mathrm{\π}(\frac{\mathrm{xu}}{M}+\frac{\mathrm{yv}}{N})]\·\·\·\left(12\right)$

其中M和N表示滤镜的尺寸。将等式(12)所表示的传递函数H(u，v)应用于等式(4)，从而将其变换成频域内的维纳滤镜。此外，执行维纳滤镜的二维离散傅立叶逆变换，以将其变换成空间域内的恢复滤镜，从而获得已被变换成空间滤镜的恢复滤镜：

$\mathrm{hw}(x,y)=\frac{1}{\sqrt{\mathrm{MN}}}\underset{v=0}{\overset{N}{\mathrm{\Σ}}}\underset{u=0}{\overset{M}{\mathrm{\Σ}}}\mathrm{Hw}(u,v)\exp \left[j2\mathrm{\π}(\frac{\mathrm{xu}}{M}+\frac{\mathrm{yv}}{N})\right]\·\·\·\left(13\right)$

现在描述这种恢复滤镜的示例。图4A至4C图示了利用特定模糊度σ而生成的恢复滤镜的示例。也就是说，图4A图示了高斯滤镜h(x，y)，其包含模糊度σ＝0.4的高斯分布的±3σ。类似地，图4B图示了模糊度σ＝0.5的高斯滤镜h(x，y)。

图4C为通过等式(13)所获得的模糊度σ为0.5的情况下的恢复滤镜hw(x，y)。在该示例中，M＝N＝7。

通过将以此方式生成的恢复滤镜直接应用于观测图像，可以获得经过模糊校正的图像。这里所执行的运算是常数系数的乘积和运算的重复，并且类似于图像捕获设备中通常利用空间滤镜所进行的运算。

以下将描述使用上述恢复滤镜、利用根据本实施例的图像捕获设备所执行的模糊校正方法。

图5是显示利用图像捕获设备执行的模糊校正处理的图。

在步骤S11中，当模糊校正处理开始时，执行亮度分量提取处理。在亮度分量提取处理中，读取被指定待校正的目标图像的原始图像数据(其有n个像素，n为任意整数)，并从读取数据中提取亮度分量。下文中，通过提取亮度分量所生成的图像称为Y图像。由于Y图像由通过从原始图像提取亮度分量所获得的数据表示，因此Y图像的尺寸保持不变，即n个像素。

在步骤S12中，对Y图像执行提取用于识别模糊度的图像的处理。在该提取用于识别模糊度的图像的处理中，Y图像的尺寸减小，或者Y图像的部分区域被切割出去以减小Y图像的尺寸。由于识别模糊度的处理并非意在对原始图像进行模糊校正，因此不必对整个图像区域执行该处理。这样，提取可以基于其来识别模糊度的图像区域。所提取的图像称为小型原始图像。在该示例中，小型原始图像的尺寸为320×240像素。相应地，识别模糊度的处理所占用的时间也可以得到减小。

在步骤S13中，利用小型原始图像来执行识别模糊度的处理，所述小型原始图像用于识别模糊度，并且在步骤S12中生成。在识别模糊度的处理中，由等式(13)表示的空间域内的恢复滤镜所包括的模糊度σ被改变以生成对应于小型原始图像(320×240像素)的恢复滤镜。所生成的恢复滤镜根据小型原始图像的尺寸被制作得很小。将所生成的恢复滤镜应用于小型原始图像，并评价所获得的经校正图像，从而确定适当的模糊度σ。下文中，每个所生成的恢复滤镜中所设置的模糊度σ被称为模糊度σ_i，其中i为整数，该整数对应于所设置的参数值中对应的一个值，并且该整数的范围从1到全部的参数数量。通过评价经校正图像所确定的最佳模糊度σ特别被称为模糊度σ₀。

在步骤S14中，利用所识别的模糊度σ₀来执行恢复滤镜生成处理。恢复滤镜生成处理生成用于对原始图像(n个像素)进行模糊校正的恢复滤镜(下文中称为恢复滤镜σ₀)。

在步骤S15中，利用步骤S14中生成的恢复滤镜σ₀来执行模糊校正处理。模糊校正处理将恢复滤镜σ₀应用于Y图像(n个像素)以便仅仅对亮度分量进行模糊校正，从而生成经校正的Y图像(n个像素)。这是因为人眼对亮度敏感，当校正了颜色分量时，可生成不同于原始颜色的错误颜色。通过忽略颜色通道的校正，可减小计算复杂度。

在步骤S16中，利用经校正的Y图像(n个像素)来执行图像合成处理。图像合成处理将经校正的Y图像(其为利用恢复滤镜σ₀进行了模糊校正的亮度分量)和原始图像的颜色分量进行合成以生成经校正的图像。

通过执行上述处理过程，所指定的原始图像中的模糊度被自动确定，并且基于该确定结果，利用最佳恢复滤镜对图像进行模糊校正。

下文中，按以下顺序来描述处理的细节：生成用于识别模糊度的图像的处理，识别模糊度的处理，以及对原始图像进行模糊校正的处理。

(a)生成用于识别模糊度的图像的处理

执行从被指定待校正的原始图像生成在识别模糊度的处理中使用的小型原始图像的处理。图6是显示生成用于识别模糊度的图像的处理过程的流程图。

在步骤S111中，读取原始图像(n个像素)301。从原始图像301中提取亮度分量，从而生成Y图像(n个像素)302。原始图像301是发生模糊现象的待校正的图像。此时，原始图像301的模糊度σ是未知的。

在步骤S112中，步骤S111中所生成的Y图像(n个像素)302被变换到视频图形阵列(VGA)尺寸(640×480像素)。所生成的VGA图像(640×480像素)303为原始图像(n个像素)301的尺寸减小的图像。利用通常包括在图像捕获设备中的功能来进行Y图像302到VGA图像303的变换，所述变换的详细描述被省略。

在步骤S113中，原始图像301的VGA图像(640×480像素)303(其在步骤S112中生成)的中央部分被剪裁以生成小型原始图像(320×240像素)304。这些尺寸仅仅作为示例而非限制。由于中央部分通常包含图像的主要部分，因此剪裁VGA图像303的中央部分。可基于图像以及图像被捕获时生成的附加信息来调整待提取的区域。如果必要，可由用户设置提取小型原始图像的范围。通过以此方式提取图像的主要部分，用于识别模糊度的图像的尺寸被进一步减小。

通过执行上述处理过程，大尺寸(例如10M像素)的原始图像被减小，且原始图像的部分区域被提取以生成小型原始图像(320×240像素)。或者，可以仅仅执行尺寸减小和部分区域提取之一。在以下处理中，由于利用小型原始图像来执行识别模糊度的处理，因此与利用整个目标图像来执行识别模糊度的处理的情况相比，可以缩短识别模糊度的处理所占用的时间。

(b)识别模糊度的处理

执行将具有不同模糊度σ_i的恢复滤镜σ_i应用于小型原始图像、评价经校正图像的恢复度、从而确定与目标图像匹配的模糊度σ₀的处理。边缘量被用于评价图像的恢复度。图7是显示模糊度识别处理过程的流程图。

在步骤S131中，提取输入的小型原始图像304的边缘。所述边缘是图像中一个区域结束以及另一区域开始的地方，即发生突然亮度变化的地方。例如，利用基于Roberts算子的边缘提取滤镜来提取目标小型原始图像304的每个像素的边缘强度。所提取的每个像素的边缘强度由W(x，y)表示。边缘W(w，y)的强度临时保存在存储单元中。

在步骤S132中，由于在改变模糊度参数值的同时在后续的步骤S133至S136中执行循环处理，因此用于指定模糊度参数的指针被初始化(i＝1)。相应地，将模糊度σ_i初始化为模糊度σ₁。

在步骤S133中，利用模糊度σ_i生成用于识别模糊度的恢复滤镜。如上所述，执行具有模糊度σ_i的高斯滤镜的二维离散傅立叶变换，以便获得频域内的维纳滤镜；以及执行维纳滤镜的二维离散傅立叶逆变换，以获得空间域内用于识别模糊度的恢复滤镜。在这种情况下，用于识别模糊度的恢复滤镜的尺寸(M，N)按照目标小型原始图像的尺寸而减小。例如，恢复滤镜的尺寸约为5×5或7×7。所生成的用于识别模糊度的恢复滤镜根据包括在其中的模糊度σ_i而被称为用于识别模糊度的恢复滤镜σ_i。

在步骤S134中，将在步骤S133中生成的用于识别模糊度的恢复滤镜σ_i应用于小型原始图像304，从而对小型原始图像304进行模糊校正。

在步骤S135中，计算已利用用于识别模糊度的恢复滤镜σ_i进行了校正的经校正小型原始图像305的每个像素的边缘强度。利用与步骤S131中类似的方法进行计算。所计算的边缘由D_i(x，y)表示。利用所计算的经校正图像的边缘D_i(x，y)以及在步骤S131中所计算的原始图像的边缘W(x，y)，计算边缘量。边缘量E(i)通过下式计算：

整个图像

E(i)＝∑W(x，y)D_i(x，y)

                                    …(14)

边缘量E(i)是表示边缘部分的锐度的量。通常，模糊图像具有亮度本应急剧变化，但却由于模糊现象而变化平缓的边缘部分。因此，当对图像进行了适当的模糊校正时，原始图像的边缘部分增强。所计算的边缘量E(i)临时保存在存储单元中。

在步骤S136中，确定所有模糊度为σ_i的恢复滤镜的处理是否已经完成，以便计算边缘量。当处理未完成时，指针加1。流程返回到步骤S133，并且重复该处理。当处理完成时，流程前进到下一步骤。

在步骤S137中，由于已针对所有的模糊度σ_i计算了边缘量E(i)，因此这些量被评价，并且识别适于小型原始图像304的模糊度σ₀。图8是显示模糊度σ_i和边缘量之间关系的曲线图。模糊度σ_i绘制在横轴中，边缘量E(i)绘制在纵轴中。就边缘量而言，原始图像的边缘量对应于1。

边缘量E(i)401表示边缘部分的锐度。当模糊度σ很小时，边缘量E(i)401与原始图像的没有什么不同。不过，模糊度σ越大，边缘量E(i)401越大。图8仅显示了一个示例。然而，任何图像都具有类似的趋势。如上所述，当图像的边缘量很小时，该图像仍然模糊。但是，过度锐利的边缘将导致链接噪声(linking noise)，这是不适当的。最适当的模糊度σ₀是在边缘量变化最大的部分附近。也就是说，当边缘量E(i)401的一阶微分ΔE(i)402变得最大时，模糊度σ_i是最佳模糊度σ₀。

通过执行上述处理，可以利用小型原始图像来识别最佳模糊度σ₀。

现在来描述计算边缘量的处理示例。

假定模糊原始图像的坐标(x，y)的亮度为g(x，y)。另外还假定该位置的边缘W(x，y)为：

W(x，y)＝|g(x+1，y)-g(x，y)|+|g(x，y+1)-g(x，y)|

                                                …(15)

并且利用模糊度σ_i校正之后的图像f＾(x，y)的边缘D_i(x，y)为：

D_i(x，y)＝|f＾(x+1，y)-f＾(x，y)|+|f＾(x，y+1)-f＾(x，y)|

                                                      …(16)

然后，该经校正图像的边缘量E(i)被计算为：

其中，宽度为图像的宽度，且高度为图像的高度。

除了等式(15)和(16)用来计算图像的边缘外，还可以分别使用下式：

$W(x,y)=\sqrt{{(g(x+1,y)-g(x,y))}^2+{(g(x,y+1)-g(x,y))}^2}\·\·\·\left(18\right)$

$D_i(x,y)=\sqrt{{(f^(x+1,y)-f^(x,y))}^2+{(f^(x,y+1)-f^(x,y))}^2}\·\·\·\left(19\right)$

(c)模糊校正处理

执行从生成将应用于目标图像的恢复滤镜到生成通过对目标图像执行模糊校正处理所获得的经校正图像的处理。图9是显示模糊校正处理过程的流程图。

在步骤S151中，利用所识别的小型原始图像304的模糊度σ₀来生成将应用于目标原始图像的恢复滤镜σ₀。该恢复滤镜利用与生成用于识别模糊度的恢复滤镜的情况下的处理类似的处理来生成。在这种情况下，当通过减小原始图像的尺寸来提取小型图像时，模糊度σ₀的值按照该尺寸减小率来改变。例如，当目标图像的尺寸为3648×2736像素，且通过将目标图像的尺寸减小到VGA(640×480像素)而从目标图像中提取小型图像时，将σ₀的值乘以5.7倍以生成恢复滤镜。

在步骤S152中，对通过从目标原始图像中提取亮度分量所获得的Y图像302执行模糊校正处理，以利用步骤S151中生成的恢复滤镜σ₀对Y图像302进行模糊校正。这里所执行的操作是简单的滤镜处理操作，以此方式生成经校正的Y图像307。

在步骤S153中，将原始图像301的颜色分量301a与经校正的Y图像307合成以生成经校正的图像308，然后输出该经校正的图像308。

通过执行上述处理过程，利用所识别的最佳模糊度σ₀来生成最佳恢复滤镜σ₀，并对目标原始图像进行模糊校正。

上述图像捕获设备能够利用简单方法自动对目标原始图像进行模糊校正，而无需执行目标原始图像的傅立叶变换或经校正图像的傅立叶逆变换。

在以上描述中，每次在模糊度识别处理中生成用于识别模糊度的恢复滤镜。或者，可提前获得与多个点扩展函数h(x，y)对应的空间域内的恢复滤镜hw(x，y)，并将该恢复滤镜hw(x，y)存储在内部存储单元中。因此，尽管有必要保留用于存储信息的存储区域，但是却不必执行恢复滤镜的算术处理。因此，可缩短模糊度识别处理所占用的处理时间。

尽管本实施例中已经描述了将上述图像处理方法应用于图像捕获设备的情况，但是上述图像处理方法还可应用于个人计算机或其它图像处理设备。

上述处理功能可以通过使用计算机来实现。在这种情况下，提供一种编写了将包括在图像处理设备中的功能的处理内容的程序。通过在计算机上执行该程序，上述处理功能可利用计算机来实现。编写了处理内容的程序可被记录到计算机可读记录介质中。计算机可读记录介质包括但不限于磁记录装置、光盘、磁光记录介质以及半导体存储器。磁记录装置包括但不限于硬盘驱动器(HDD)、软盘(FD)以及磁带。光盘包括但不限于数字通用光盘(DVD)、DVD-RAM、压缩光盘-只读存储(CD-ROM)、可记录压缩光盘(CD-R)以及可重写压缩光盘(CD-RM)。磁光记录介质包括但不限于磁光(MO)盘。

程序的分发通过例如销售记录有所述程序的便携式记录介质比如DVD或CD-ROM来进行。或者，程序可存储在服务器计算机的存储设备中，并且可通过网络将程序从服务器计算机传送到另一计算机。

执行所述程序的计算机将记录在便携式记录介质上的程序或者从服务器计算机传送的程序存储在例如它的存储设备中。计算机从其存储设备中读取程序并按照程序执行处理。或者，计算机可直接从便携式记录介质中读取程序并按照程序执行处理。此外，每当程序从服务器计算机传送到计算机时，该计算机可按照所接收的程序在时机到来时执行处理。

本领域技术人员应理解，可根据设计需求以及其它因素进行各种修改、组合、子组合以及变更，只要它们在所附权利要求及其等同内容的范围内即可。

Claims (13)

1.一种用于根据输入图像的模糊程度、利用恢复滤镜对所述图像进行模糊校正的图像处理设备，包括：

模糊程度确定装置，用于接收待校正的目标图像，在改变与所述图像的模糊程度对应的模糊度参数的值的同时，将包括所述模糊度参数的恢复滤镜应用于所述目标图像，对已通过使用具有不同模糊度参数值的恢复滤镜校正的每个经校正目标图像的恢复度进行评价，并基于评价较高的恢复滤镜的模糊度参数值来确定所述目标图像的模糊程度；以及

模糊校正装置，用于根据所确定的所述目标图像的模糊程度，基于模糊度参数来设置用于所述目标图像的恢复滤镜，并使用用于所述目标图像的恢复滤镜对所述目标图像进行模糊校正。

2.根据权利要求1所述的图像处理设备，其中所述模糊程度确定装置通过执行预定扩展函数的傅立叶变换来计算传递函数，基于所述传递函数来生成频域内的恢复滤镜，执行所述频域内的恢复滤镜的傅立叶逆变换，以获得空间域内的恢复滤镜，并将所述空间域内的恢复滤镜应用于所述目标图像，其中所述预定扩展函数包括所述模糊度参数，并且是图像模糊程度的模型。

3.根据权利要求2所述的图像处理设备，其中所述模糊程度确定装置使用二维高斯分布作为所述扩展函数。

4.根据权利要求2所述的图像处理设备，其中所述模糊程度确定装置通过将所述传递函数变换成维纳滤镜来生成所述频域内的恢复滤镜。

5.根据权利要求1所述的图像处理设备，其中所述模糊程度确定装置基于所述目标图像的每个像素的边缘强度以及已应用所述恢复滤镜的所述经校正目标图像的每个像素的边缘强度来计算所述经校正目标图像的边缘量，并基于所计算的边缘量来评价所述经校正目标图像的恢复度。

6.根据权利要求5所述的图像处理设备，其中所述模糊程度确定装置检测所述恢复滤镜中边缘量改变最大的一个恢复滤镜，并基于包括在所检测到的恢复滤镜中的模糊度参数值来确定所述目标图像的模糊度。

7.根据权利要求1所述的图像处理设备，其中所述模糊程度确定装置从所述目标图像提取亮度分量，并使用仅包括所提取的亮度分量的目标图像来确定该目标图像的模糊程度，并且

其中所述模糊校正装置通过将所述恢复滤镜应用于所述仅包括所提取的亮度分量的目标图像，对所述仅包括所提取的亮度分量的目标图像进行模糊校正，并将所述仅包括亮度分量的目标图像和所述目标图像的颜色分量进行合成，由此生成所述目标图像的经校正图像。

8.根据权利要求1所述的图像处理设备，其中所述模糊程度确定装置通过减小所述目标图像的尺寸、剪裁所述目标图像的部分区域，或者减小所述目标图像的尺寸并剪裁所述目标图像的部分区域来生成小型图像，生成尺寸适合于所述小型图像的尺寸的恢复滤镜，并确定所述小型图像的模糊程度。

9.一种用于根据输入图像的模糊程度、利用恢复滤镜对所述图像进行模糊校正的图像处理方法，包括：

利用模糊程度确定装置来接收待校正的目标图像，在改变与所述图像的模糊程度对应的模糊度参数的值的同时，将包括所述模糊度参数的恢复滤镜应用于所述目标图像，对已通过使用具有不同模糊度参数值的恢复滤镜校正的每个经校正目标图像的恢复度进行评价，以及基于评价较高的恢复滤镜的模糊度参数值来确定所述目标图像的模糊程度；以及

利用模糊校正装置，根据所确定的所述目标图像的模糊程度、基于所述模糊度参数来设置用于所述目标图像的恢复滤镜，并使用用于所述目标图像的恢复滤镜对所述目标图像进行模糊校正。

10.一种根据输入图像的模糊程度、利用恢复滤镜对所述图像执行模糊校正处理的图像处理程序，所述程序使计算机用作：

模糊程度确定装置，用于接收待校正的目标图像，在改变与所述图像的模糊程度对应的模糊度参数的值的同时，将包括所述模糊度参数的恢复滤镜应用于所述目标图像，对已通过使用具有不同模糊度参数值的恢复滤镜校正的每个经校正目标图像的恢复度进行评价，并基于评价较高的恢复滤镜的模糊度参数值来确定所述目标图像的模糊程度；以及

模糊校正装置，用于根据所确定的所述目标图像的模糊程度、基于所述模糊度参数来设置用于所述目标图像的恢复滤镜，并使用用于所述目标图像的恢复滤镜对所述目标图像进行模糊校正。

11.一种使用预定滤镜来处理捕获图像的图像捕获设备，包括：

模糊程度确定装置，用于当待校正的目标图像被选择时，在改变与所述图像的所述图像的模糊程度对应的模糊度参数的值的同时，将包括所述模糊度参数的恢复滤镜应用于所述目标图像，对已通过使用具有不同模糊度参数值的恢复滤镜校正的每个经校正目标图像的恢复度进行评价，并基于评价较高的恢复滤镜的模糊度参数值来确定所述目标图像的模糊程度；以及

模糊校正装置，用于根据所确定的所述目标图像的模糊程度、基于所述模糊度参数来设置用于所述目标图像的恢复滤镜，并使用用于所述目标图像的恢复滤镜对所述目标图像进行模糊校正。

12.一种用于根据输入图像的模糊程度、使用恢复滤镜对所述图像进行模糊校正的图像处理设备，包括：

模糊程度确定单元，其被配置成接收待校正的目标图像，在改变与所述图像的图像模糊程度对应的模糊度参数的值的同时，将包括所述模糊度参数的恢复滤镜应用于所述目标图像，对已通过使用具有不同模糊度参数值的恢复滤镜校正的每个经校正目标图像的恢复度进行评价，并基于评价较高的恢复滤镜的模糊度参数值来确定所述目标图像的模糊程度；以及

模糊校正单元，用于根据所确定的所述目标图像的模糊程度、基于所述模糊度参数设置来用于所述目标图像的恢复滤镜，并利用用于所述目标图像的恢复滤镜对所述目标图像进行模糊校正。

13.一种利用预定滤镜来处理捕获图像的图像捕获设备，包括：

模糊程度确定单元，其被配置成当待检测的目标图像被选择时，在改变与所述图像的模糊程度对应的模糊度参数值的同时，将包括所述模糊度参数的恢复滤镜应用于所述目标图像，对已通过具有不同模糊度参数值的恢复滤镜校正的每个经校正目标图像的恢复度进行评价，并基于评价较高的恢复滤镜的模糊度参数值来确定所述目标图像的模糊程度；以及

模糊校正单元，其被配置成根据所确定的所述目标图像的模糊程度、基于所述模糊度参数来设置用于所述目标图像的恢复滤镜，并利用用于所述目标图像的恢复滤镜对目标图像进行模糊校正。

Images