CN102576454A - 利用空间图像先验的图像去模糊法 - Google Patents

Abstract

一种确定去模糊图像的方法，该方法至少部分地由数据处理系统实现，并且包括：接收以短曝光时间捕捉的景物的清晰图像；接收以比清晰图像更长的曝光时间捕捉的景物的模糊图像，其中模糊图像较之清晰图像具有更高水平的运动模糊和更低水平的图像噪声；确定响应于清晰图像和模糊图像的模糊核；确定响应于清晰图像的一个或多个基准差分图像；确定响应于模糊图像、模糊核和一个或多个基准差分图像的去模糊图像；以及将去模糊图像存储在处理器可访问的存储系统中。

Description

利用空间图像先验的图像去模糊法

技术领域

本发明涉及图像去模糊领域，更具体而言，涉及使用以短曝光时间捕捉的第一清晰图像和以较长曝光时间捕捉的景物的第二模糊图像来确定去模糊图像的方法。

背景技术

数字成像中图像模糊的一个共同原因是在与图像捕捉有关的曝光时间(积分时间)期间照相机与景物之间的相对运动。这种图像模糊有时称为“运动模糊”或“拖影(smear)”。运动模糊典型地出现在图像捕捉环境中的光亮度较弱从而需要较长曝光时间的情形中。

一种减小运动模糊的方法是使用电子闪光来补偿自然照明。然而，这仅在物体相对接近照相机时才有效。另外，很多用户发现，闪光摄影很少能获得满意的结果。

减轻运动模糊问题的另一种方法是提高电子图像传感器的感光性，以便减小图像捕捉期间的曝光时间。虽然近年来该领域发展很快，但目前使用的电子图像传感器的感光性仍不够高，不足以防止很多图像捕捉环境中的运动模糊。

使电子图像传感器的感光性减小的一个因素是在传感器上使用了使彩色图像能够形成的滤色器。例如，Bayer(贝尔)的美国专利No.3,971,065中所提到的众所周知的“贝尔图案(Bayer Pattern)”阐述了，使用红色、绿色和蓝色滤色器的重复阵列来检测彩色图像信号。虽然现今大部分消费型数字相机中使用了该常规方法，但滤色器阵列(CFA)具有丢弃大约2/3的入射光的不良影响，从而显著减小了成像系统的照相速度。

Muramatsu(村松)的美国专利No.4,876,591披露了包括束分裂器和两个不同的传感器的电子成像系统，其中一个传感器没有滤色器而另一个传感器包含滤色器的图案。没有滤色器的传感器具有增强的感光性，而另一个传感器提供色彩信息。尽管该系统改善了单个常规图像传感器的感光性，但因需要两个传感器和束分裂器而使整个系统更复杂、尺寸更大并且成本更高。此外，束分裂器仅将来自图像的一半光导向各个传感器，从而限制了照相速度的提高。

Hamilton(汉密尔顿)等人的美国专利申请公开No.2007/0046807阐述了使用单个传感器的数字图像系统，所述单个传感器使一些彩色图像像素具有滤色器并且使全色图像像素没有滤色器。使用插值算法来重购全色图像，其中更高速的全色图像像素提供图像细节信息。虽然该方法可以通过启用更短的曝光时间来在一定程度上减小运动模糊，但在很多低光成像方案中仍存在一定程度上的运动模糊。

另一种减小数字图像中的运动模糊的影响的方法是使用图像增强算法来补偿被捕捉图像的模糊。该算法通常被称为“去模糊”或“去卷积”算法。该算法可以粗略地分为两种：“盲”和“非盲”。如果与图像模糊有关的模糊核未知，则该问题称为“盲去卷积”，而当模糊核已知时称为“非盲去卷积”。

对于非盲去卷积，最常用的方法是Richardson-Lucy(理查森-露西)(RL)去卷积法(参见文献：W.H.Richardson，″Bayesian-based iterativemethod of image restoration″，Journal of the Optical Society of America，Vol.62，pp.55-59，1972和L.B.Lucy(L·B·露西)的″An iterativetechnique for the rectification of observed distributions″，AstronomicalJournal，vol.79，pp.745-754，1974)。该方法包括在像素亮度符合泊松分布的假定下确定去模糊图像(有时称为“潜像”)。

在“Improved image deblurring with anti-reflective boundaryconditions and re-blurring”(Inverse Problems，Vol.22，pp.2035-2053，2006)的文章中，Donatelli(多纳特利)等人使用基于偏差分方程(PDE)的模型通过合并防反射边界条件和再模糊步骤来恢复振铃较小的去模糊图像。

在“Progressive inter-scale and intra-scale non-blind imagedeconvolution”(ACM Transactions on Graphics，Vol.27，Iss.3，2008)的文章中，Yuan(圆)等人披露了使振铃明显减小的改进的尺度间和尺度内非盲图像去卷积方法。

盲去卷积是极具挑战性的不适定问题。纯盲去卷积的方法应用于单个模糊图像或多个模糊图像。最具挑战性的问题是单图像的盲去卷积，这要求同时估计去模糊图像和与图像模糊有关的点展开函数(PSF)。

在“Removing camera shake from a single photograph”(ACMTransactions on Graphics，Vol.25，pp.787-794，2006)的文章中，费格斯(Fergus)等人示出了通常较复杂且明显的模糊核。其阐述了一种在自然图像梯度的某一统计分布的假定下恢复模糊核的整体学习方法。

在“High-quality motion deblurring from a single image”(ACMTransactions on Graphics，Vol.27，pp.1-10，2008)的文章中，Shan(杉)等人披露了一种使用模糊核估计和非模糊图像恢复的统一概率模型来消除运动模糊的方法。

在“Understanding and evaluating blind deconvolution algorithms”(Proc.IEEE Conf.on Computer Vision and Pattern Recognition，2009)的文章中，Levin(雷文)等人描述并评价了很多单图像盲去卷积算法。

模糊图像为多个时可以提供额外的限制以改善去模糊处理。在“Two motion-blurred images are better than one”(Pattern RecognitionLetters，Vol.36，pp.211-217，2005)的文章中，Rav-Acha(雷夫-亚查)等人阐述了，使用模糊方向不同的图像来改进核估计。

近来，披露了另一种盲去卷积，其采用除模糊图像以外的额外信息来改善去卷积。该方法可以归属为“准盲去卷积”。在“Simultaneous image formation and motion blur restoration via multiplecapture”(Proc.International Conference Acoustics，Speech，SignalProcessing，pp.1841-1844，2001)的文章中，Liu(刘)等人阐述了，在正常曝光时间内使用CMOS传感器捕捉多个高速画面。用一个高速画面中的像素替换具有运动模糊的图像像素。

在“Motion deblurring using hybrid imaging”(Proc.IEEE Conf.onComputer Vision and Pattern Recognition，Vol.1，pp.657-664，2003)的文章中，Ben-Ezra(本-以斯拉)等人披露了一种混合照相机，其同时捕捉高分辨率图像和时间上同步的一系列低分辨率图像。采用该方法时，从低分辨率图像中得到光流，以估计高分辨率图像的整体运动模糊。

在“Coded exposure photography：motion deblurring using flutteredshutter”(ACM Transactions on Graphics，Vol.25，pp.795-804，2006)的文章中，Rasker(瑞斯克)等人披露了“快门抖动”照相机，该照相机在正常曝光时间期间以伪随机时序来打开和关闭快门。快门将正常的“箱式滤器”变为防止高频空间细节进入模糊图像的宽带滤器。从而，相应的去卷积问题变为适定问题。

在“Image deblurring with blurred/noisy image pairs”(ACMTransactions on Graphics，Vol.26，Issue 3，2007)的文章中，Yuan(圆)等人披露了一种使用成对的模糊图像和噪声图像的图像去模糊方法。各个图像对包括以长曝光时间捕捉的模糊图像和以短曝光时间捕捉的噪声图像。与短曝光时间图像相关的噪声在低光条件下可能较严重，因此去模糊的结果很大程度上取决于去噪操作的性能。

在“Image and depth from a conventional camera with a codedaperture”(ACM Transactions on Graphics，Vol.26，Issue 6，2007)的文章中，Levin(雷文)等人采用编码来获取可以用在去模糊算法中的近似模糊核。该去模糊方法限于由散焦引起的图像模糊。

发明内容

本发明提出了一种确定去模糊图像的方法，该方法至少部分地由数据处理系统实现，并且包括：

a)接收以短曝光时间捕捉的景物的清晰图像；

b)接收以比清晰图像更长的曝光时间捕捉的景物的模糊图像，其中模糊图像较之清晰图像具有更高水平的运动模糊和更低水平的图像噪声；

c)确定响应于清晰图像和模糊图像的模糊核；

d)确定响应于清晰图像的一个或多个基准差分图像；

e)确定响应于模糊图像、所述模糊核和所述一个或多个基准差分图像的去模糊图像；以及

f)将去模糊图像存储在处理器可访问的存储系统中。

本发明具有以下优点：其生成噪声水平比清晰图像更低且清晰水平比模糊图像更高的去模糊图像。

本发明具有另一个优点，相比于现有技术的去模糊图像算法其生成具有较少振铃伪像的去模糊图像。

附图说明

图1是示出根据本发明实施例的用于将数字图像分类的系统的部件的高级示意图；

图2是本发明的优选实施例的流程图；

图3是具有以短曝光时间和长曝光时间捕捉一对图像的时序图；

图4是示出根据本发明的优选实施例的图2中估计模糊核步骤的额外细节的流程图；

图5示出了能够用来确定基准差分图像的下标阵列。

具体实施方式

在以下说明中，将明确地描述通常作为软件程序来实现的本发明的一些实施例。本领域技术人员容易理解，该软件的等同物也可以用硬件构造。由于已经知道图像处理算法和系统，因此本说明书将特别关注形成部分根据本发明的方法的算法和系统，或与根据本发明的方法更直接协作的算法和系统。文中没有具体示出或描述的该算法和系统的其它方面，以及用于生成和另外处理相关的图像信号的硬件和软件，可以从现有技术中已知的该类系统、算法、部件和单元中选取。以下给出了根据本发明所述的系统，而文中未具体示出、提到或描述的可用于实现本发明的软件是该领域普通技术人员所惯用的。

本发明包括文中所述实施例的组合。“具体实施例”等的引用涉及在本发明至少一个实施例中出现的特征。分别引用的“实施例”或“具体实施例”等不一定涉及相同的实施例，然而，除非作出说明或者对于本领域技术人来说显而易见，否则该实施例不相互排斥。与一个或多个方法等相关的单个或多个的使用不受限制。应该注意，除非上下文明确说明或要求，本公开中单词“或”使用非排他的意思。

文中所使用的短语“数字图像文件”涉及任何数字图像文件，诸如数字静止图像文件或数字视频文件。

图1是示出根据本发明实施例的用于确定去模糊图像的系统的部件的高级示意图。该系统包括数据处理系统110、外围系统120、用户界面系统130和数据存储系统140。外围系统120、用户界面系统130和数据存储系统140以通讯的方式连接至数据处理系统110。

数据处理系统110包括一个或多个数据处理装置，所述一个或多个数据处理装置实现本发明各个实施例的处理，包括文中所述示例处理。短语“数据处理装置”或“数据处理器”意在包括任何数据处理装置，诸如中央处理单元(“CPU”)、台式计算机、便携式计算机、主计算机、个人数字助理、黑莓^TM、数字照相机、便携式电话、或者不论是用电子部件、磁性部件、光学部件、生物学部件还是其它部件所实现的用于处理数据、管理数据或操作数据的任何其它装置。

数据存储系统140包括构造成存储信息的一个或多个处理器可访问的存储器，包括执行本发明各种实施例的处理所需的信息，包括执行文中所述示例处理所需的信息。数据存储系统140可以是分布式处理器可访问的存储系统，该系统包括，经由多个计算机或装置以通信的方式连接至数据处理系统110的多个处理器可访问的存储器。另一方面，数据存储系统140不必是分布式处理器可访问的存储系统，从而可以包括布置在单个数据处理器或装置内的一个或多个处理器可访问的存储器。

短语“处理器可访问的存储器”意在包括不论是易失性的还是非易失性的、电子的、磁性的、光学的或其它的并且包括但不限于寄存器、软盘、硬盘、光盘、DVD、闪存、ROM和RAM的任何处理器可访问的数据存储装置。

短语“以通信方式连接”意在包括，数据可以在装置、数据处理器或程序之间通信的有线的或无线的任何形式的连接。短语“以通信的方式连接”意在包括，在单个数据处理器内的装置或程序之间的连接、在不同数据处理器中的装置或程序之间的连接、以及根本没有在数据处理器中的装置之间的连接。在这点上，尽管数据存储系统140示出为与数据处理系统110分离，但本领域的技术人员应该理解，数据存储系统140可以完全或部分地存储在数据处理系统110中。此外，在这点上，尽管外围系统120和用户界面系统130示出为与数据处理系统110分离，但本领域的技术人员应该理解，外围系统120和用户界面系统130中的一个或两个可以完全或部分地存储在数据处理系统110内。

外围系统120可以包括构造成将数字内容记录提供给数据处理系统110的一个或多个装置。例如，外围系统120可以包括数字静止照相机、数字摄像机、便携式电话或其它数据处理器。数据处理系统110在从外围系统120中的装置上接收到数字内容记录时，可以将该数字内容记录存储在数据存储系统140中。

用户界面系统130可以包括鼠标、键盘、另一台计算机或将数据输入至数据处理系统110的任何装置或装置组合。在这点上，尽管外围系统120示出为与用户界面系统130分离，但外围系统120可以作为用户界面系统130的一部分包含在用户界面系统130中。

用户界面系统130还可以包括显示装置、处理器可访问的存储器或接收由数据处理系统110输出的数据的任何装置或装置组合。在这点上，即使图1中的用户界面系统130和数据存储系统140分离地示出，但如果用户界面系统130包括处理器可访问的存储器，则该存储器仍可以作为数据存储系统140的一部分。

将参考图2描述本发明。接收模糊图像步骤200用于接收模糊图像205，并且接收清晰图像步骤210用于接收清晰图像215。下一个估计模糊核步骤220用于确定响应于模糊图像205和清晰图像215的模糊核225。模糊核225是能够应用于清晰图像215以产生清晰度特性近似等于模糊图像205的图像的卷积核。下一个计算基准差分图像步骤230用于计算清晰图像215的一个或多个基准差分图像235的组。该组基准差分图像235可以包括通过沿不同方向(如，x和y)计算数值导数而确定的梯度图像，或者通过计算具有不同像素间距(如，Δx＝1，2，3)的数值导数而确定的梯度图像。下一个计算去模糊图像步骤245用于计算响应于模糊图像205、模糊核225和基准差分图像235的去模糊图像250。如下文中的更详细描述，在本发明的优选实施例中，计算去模糊图像步骤245采用使用最大后验(MAP)估计的贝叶斯推理法。最后，存储去模糊图像步骤255用于将所得到的去模糊图像250存储在处理器可访问的存储器中。处理器可访问的存储器可以为任何类型的数字存储器，诸如RAM或硬盘。

在本发明的一个实施例中，使用数字照相机通过两次连续曝光来捕捉模糊图像205和清晰图像215。使用短曝光时间来捕捉清晰图像215，以使图像具有低水平的运动模糊。然而，该图像通常具有较高水平的图像噪声，尤其在拍摄具有低水平照度的景物时。使用较长的曝光时间来捕捉模糊图像205，以使图像具有低水平的图像噪声。然而，如果在曝光时间内照相机与景物中的物体之间存在相对运动，则模糊图像205将具有更高水平的运动模糊。图3示出了以短曝光时间和长曝光时间捕捉一对图像的时序图的实例。短曝光时间270(在时刻t＝0与时刻t＝t₁之间)用于捕捉清晰图像215。第二更长曝光时间280(在时刻t＝t₁与时刻t＝t₂之间)用于捕捉模糊图像205。曝光时间可以通过调整数字传感器的积分时间来控制，或者作为选择可以通过控制快门来控制。在本发明优选实施例中，数字照相机响应于单次按钮按压来捕捉两个图像。

图4示出了根据本发明优选实施例更详细地描述了估计模糊核步骤220的流程图。由于模糊核通常与色彩通路无关，因此优选地，通常使用模糊图像205和清晰图像215的灰度版本来确定模糊核。预处理图像步骤400用于根据模糊图像205计算模糊灰度图像405，并且根据清晰图像215计算清晰灰度图像410。可以使用现有技术中已知的任何方法来将彩色图像变换为灰度图像。在本发明的优选实施例中，灰度图像通过执行以下色彩通路的加权和来确定：

P＝a_RR+a_GG+a_BB            (1)

其中，R、G和B分别是所输入图像的红色、绿色和蓝色的色彩通路的像素值，a_R、a_G和a_B为常数，并且P为灰度图像的像素值。

除了将图像变换为灰度形式以外，预处理图像步骤400还可以执行其它功能。例如，预处理图像步骤400可以对清晰图像215应用去噪算法以减小噪声水平。现有技术中存在很多已知的去噪算法，诸如中值滤波算法。

预处理图像步骤400还可以施加色调等级调整处理，以均衡两个图像的信号水平。直方图均衡化是现有技术中已知的色调等级调整处理的一个实例。

预处理图像步骤400还可以用于对模糊图像205或清晰图像215施加仿射变换，以将一个图像与另一个图像更好地对齐。这可以用来解决在捕捉两个图像的时间期间内照相机或景物的运动。

预处理图像步骤400还可以用于生成模糊图像205的子集和清晰图像215的对应子集，以增加计算效率。优选地，选出具有重要的图像细节(偏移程度较高)的图像区域，因为该区域是运动模糊的影响最显著的区域。可以通过对模糊图像205施加拉普拉斯算子以形成拉普拉斯图像，然后选择拉普拉斯图像中信号水平较高的区域来确定这样的图像区域。可选地，拉普拉斯图像可以通过对清晰图像215或者对模糊图像205和清晰图像215施加拉普拉斯算子来确定。所选的图像区域可以是连续图像区域，诸如具有特定尺寸的矩形区域，或者作为选择，所选图像区域可以包括遍布于图像的图像像素子集，诸如在拉普拉斯图像中幅度大于预定阈值的图像像素周围的图像像素的邻域。在本发明的可选实施例中，图像区域可以是户手动选择的区域。

在本发明优选实施例中，采用使用最大后验(MAP)估计的贝叶斯推理法来确定模糊核225。使用该方法时，通过定义以下形式的能量函数来确定模糊核225：

$E\left(K\right)={(P_B-P_S\⊗K)}^2+{\mathrm{\λ}}_3{\left|\right|K\left|\right|}_1---\left(2\right)$

其中P_B是模糊灰度图像405，P_S是清晰灰度图像410，K是模糊核225，λ₃是加权因子，

是卷积算子，||●||₁是l-norm算子，E(K)是能量值且作为模糊核的函数。可以看出，该能量函数包括第一项，即模糊图像(P_B)与由清晰图像(P_S)与候选模糊核(K)卷积所确定的候选模糊图像之差的函数。

在本发明优选实施例中，该MAP问题通过熟知的共轭梯度法来解决，以便通过求解以下偏差分方程(PDE)来确定使能量最小化的模糊核：

$\frac{\∂E\left(K\right)}{\∂K}=0---\left(3\right)$

对于使用共轭梯度法求解PDE的更多信息，请参考上述Levin(雷文)等人的文章“Image and depth from a conventional camera with acoded aperture”。

在本发明优选实施例中，使用基于分级图像的级别的多等级方法，以避免在最优化期间陷入局部最小。采用该多等级方法时，使用迭代处理，该迭代处理从粗糙图像等级开始按照一系列等级依次优化模糊核的估计。已经发现，2或3个不同等级通常表现较好，其中每一等级的差异为因子2。

在最粗糙的等级时，初始化模糊核步骤415用于将模糊核225(K)初始化为具有相等单元的预定范围的矩形核。下采样图像步骤420用于将模糊灰度图像405和清晰灰度图像410下采样至当前等级。例如，如果使用3个等级，则第一次迭代需要4倍下采样，第二次迭代需要2倍下采样，而第三次迭代使用全分辨率图像。

下一个更新模糊核步骤425用于利用共轭梯度法求解等式(3)中给出的PDE来计算新的模糊核225的估计，其中先前迭代得到的模糊核用作PDE求解的初始猜测值。可选的阈值化模糊核步骤430(用虚线示出)可以用于使小模糊核单元(如，小于总能量的0.1％)阈值化以减小估计噪声。标准化模糊核步骤435用于使估计的模糊核标准化，以使模糊核单元总和为1.0。测试440用于判断是否存在额外的等级需要处理。如果存在额外等级，则使用上采样模糊核步骤445将模糊核的当前估计上采样至下一等级。这可以使用诸如双三次插值等任何已知的内插法执行。当不再有等级需要处理时，输出模糊核步骤450用于输出模糊核225的最后估计。

在本发明的优选实施例中，计算去模糊图像步骤245使用采用最大后验(MAP)估计的贝叶斯推理法。使用该方法，通过定义以下形式的能量函数来确定去模糊图像250：

$E\left(L\right)={(L\⊗K-B)}^2+{\mathrm{\λ}}_{1}w{|\▿L|}^2+{\mathrm{\λ}}_2\underset{j}{\mathrm{\Σ}}{c}_j{({\∂}_{j}L-{\∂}_{j}S)}^2---\left(4\right)$

其中L是去模糊图像250，K是模糊核225，B是模糊图像205，S是清晰图像215，j是下标值，

是卷积算子，|●|是绝对值算子，

是梯度算子，是与第j下标对应的差分算子，w是像素相关加权因子，并且λ₁、λ₂和c_j是加权系数。

下标j用于识别相邻像素，以计算差值。在本发明优选实施例中，为以特定像素为中心的5×5的像素窗口计算差值。图5示出了以当前像素位置510为中心的下标阵列500。下标阵列500中所示的数字是下标j。例如，下标值j＝6与当前像素位置510的上方第1行和左方第2列的靠上像素对应。

差分算子

确定当前像素的像素值与下标j所指定的相对位置处的像素值之差。例如，

与通过求取清晰图像S中的各个像素与上方第1行左方第2列的对应像素之差所确定的差分图像对应。以等式形式给出如下：

${\∂}_{j}S=S(x,y)-S(x-\mathrm{\Δ}{x}_j,y-\mathrm{\Δ}{y}_j)---\left(5\right)$

其中Δx_j和Δy_j分别是对应于第j下标的列偏移量和行偏移量。该组差分图像

可以称为基准差分图像，因为该组差分图像

表示为去模糊图像250所生成的期望差分图像的估计。计算基准差分图像步骤230用于使用等式(5)来确定一组基准差分图像235。通常，希望一组基准差分图像235包括：一个或多个水平差分图像，其表示水平方向上相邻像素之差；一个或多个竖直差分图像，其表示竖直方向上相邻像素之差；以及一个或多个对角差分图像，其表示对角线方向上相邻像素之差。

等式(4)中给出的能量函数的第一项是图像逼真度项。在贝叶斯推理的命名中，该图像逼真度项通常称为“似然”项。可以看出，当模糊图像205(B)和与模糊核225(K)卷积的去模糊图像(L)的模糊版本之差较小时，“似然”项较小。

等式(4)中给出的能量函数的第二项和第三项称为“图像先验”。当去模糊图像250(L)的梯度幅度较小时，第二项具有低能量。这反映以下事实：当模糊边界的宽度减小时，越清晰的图像通常将具有越多的低梯度值的像素。由于上述Levin(雷文)等人的文章“Image anddepth from a conventional camera with a coded aperture”中所讨论的原因，希望使用以下等式来确定像素相关加权因子w：

$w={|\▿L|}^{\mathrm{\α}-2}---\left(6\right)$

其中a是常量(如，0.8)。在最优化处理期间，可以利用前一个迭代所确定的L的估计来计算每一个迭代的

作为选择，清晰图像215(S)可以用作去模糊图像250(L)的估计。

等式(4)中的能量函数的第三项计算基准差分图像235

与为去模糊图像

所计算的差分图像之差。该项可以称为图像差分项。确定每一个基准差分图像235的贡献，然后对该贡献进行加权并求和以确定单个能量项。当去模糊图像

的差分图像近似等于基准差分图像235

时，与该项对应的能量较小。

其它研究者使用了由等式(4)所示的能量函数中的开头两项组成的能量函数(例如，参见上述Levin(雷文)等人的文章“Image and depthfrom a conventional camera with a coded aperture”)。与现有技术中所述的能量函数相比，能量函数中包含基准差分图像的额外第三项具有显著的优势。具体而言，已经发现使用该项时，通过减小振铃伪像而使去模糊图像250的质量得到实质提高，其中使用现有技术的方法使易于在图像边缘附近产生所述振铃伪像。

计算去模糊图像步骤245利用本领域技术人员所熟知的最优化方法通过使等式(4)给出的能量函数最小化来计算去模糊图像250。在本发明的优选实施例中，最优化方法表示为如下PDE：

$\frac{\∂E\left(L\right)}{\∂L}=0---\left(7\right)$

该等式可以使用常规的PDE求解法来求解。在本发明的优选实施例中，使用以下PDE求解法：将PDE变换成能够使用诸如共轭梯度算法等常规线性方程求解法进行求解的线性方程式。对于求解PDE求解法的更多细节，参考上述Levin(雷文)等人的文章“Image and depthfrom a conventional camera with a coded aperture”。

本领域的技术人员应该理解，计算去模糊图像步骤245可以使用除贝叶斯推理法以外的其它方法。例如，可以使用常规的频域去卷积方法，其中将模糊图像205变换至频域并且用将模糊核225变换至频域所确定的传递函数除以模糊图像205。然后，可以将滤波图像变换回空间域。该方法的变分包含已知的维纳滤波器。

本发明的方法可以应用于任何类型的数字成像系统。在本发明的优选实施例中，该方法作为数字静态照相系统的一部分来实现。该方法可以通过数字静态照相机中的处理器来实现，或者作为选择可以完全地或部分地由数字静态照相机外部的处理器，诸如个人计算机来实现。本发明的方法还可以用于处理数字视频图像。在该情形下，可在交替变化短曝光时间和长曝光时间的情形下捕捉数字视频的画面，并且可以对成对的视频画面进行处理以形成去模糊图像。

一种计算机程序产品可以包括一个或多个存储介质，例如：磁性存储介质，诸如磁盘(诸如软盘)或磁带；光学存储介质，诸如光盘、光学磁带或机器可读条形码；固态电子存储装置，诸如随机存取存储器(RAM)或只读存储器(ROM)；或者用于存储计算机程序的任何其它物理装置或介质，所述计算机程序具有用于控制一个或多个计算机来执行根据本发明的方法的指令。

部件列表

110数据处理系统

120外围系统

130用户界面系统

140数据存储系统

200接收模糊图像步骤

205模糊图像

210接收清晰图像步骤

215清晰图像

220估计模糊核步骤

225模糊核

230计算基准差分图像步骤

235基准差分图像

245计算去模糊图像步骤

250去模糊图像

255存储去模糊图像步骤

270短曝光时间

280更长的曝光时间

400预处理图像步骤

405模糊灰度图像

410清晰灰度图像

415初始化模糊核步骤

420下采样图像步骤

425更新模糊核步骤

430阈值化模糊核步骤

435标准化模糊核步骤

440测试

445上采样模糊核步骤

450输出模糊核步骤

500下标阵列

510当前像素位置

Claims (21)

1.一种确定去模糊图像的方法，该方法至少部分地由数据处理系统实现，并且包括：

a)接收以短曝光时间捕捉的景物的清晰图像；

b)接收以比所述清晰图像更长的曝光时间捕捉的景物的模糊图像，其中所述模糊图像较之所述清晰图像具有更高水平的运动模糊；

c)确定响应于所述清晰图像和所述模糊图像的模糊核；

d)确定响应于所述清晰图像的一个或多个基准差分图像；

e)确定响应于所述模糊图像、所述模糊核和所述一个或多个基准差分图像的去模糊图像；以及

f)将所述去模糊图像存储在处理器可访问的存储系统中。

2.根据权利要求1所述的方法，其中使用最优化方法来确定所述模糊核以使能量函数最小化，所述能量函数包括作为所述模糊图像与由所述清晰图像与候选模糊核卷积所确定的候选模糊图像之差的函数的项。

3.根据权利要求2所述的方法，其中通过仅仅分析所述清晰图像中图像像素的子集和所述模糊图像中图像像素的对应子集来确定所述模糊核，其中所述子集确定为包含重要的图像细节。

4.根据权利要求3所述的方法，其中所述清晰图像中的图像像素的子集通过以下步骤选择：

根据所述清晰图像或所述模糊图像或其两者来确定拉普拉斯图像；以及

通过分析所述拉普拉斯图像以确定包含重要图像细节的图像像素的子集，来选择所述清晰图像中的图像像素的子集和所述模糊图像中的图像像素的子集。

5.根据权利要求4所述的方法，其中所述图像像素的子集包括拉普拉斯图像中超过预定阈值的像素。

6.根据权利要求2所述的方法，其中在使用所述清晰图像来确定所述模糊核之前对所述清晰图像施加去噪算法或色调等级调整算法或者其二者。

7.根据权利要求2所述的方法，其中通过分析所述清晰图像的多个缩放版本和具有不同分辨率的模糊图像来确定所述模糊核。

8.根据权利要求1所述的方法，其中所述一个或多个基准差分图像包括表示水平方向上相邻像素之差的水平差分图像和表示竖直方向上相邻像素之差的竖直差分图像。

9.根据权利要求1所述的方法，其中使用贝叶斯推理法来确定所述去模糊图像。

10.根据权利要求9所述的方法，其中所述贝叶斯推理法包括使用能量函数来估计候选去模糊图像。

11.根据权利要求10所述的方法，其中所述能量函数包括：

图像逼真度项，其是所述模糊图像和由候选去模糊图像与所述模糊核卷积所确定的候选模糊图像之差的函数；以及

图像差分项，其是一个或多个基准差分图像与由所述候选去模糊图像确定的一个或多个候选差分图像之差的函数。

12.根据权利要求11所述的方法，其中所述能量函数还包括作为所述候选去模糊图像的梯度函数的项。

13.根据权利要求10所述的方法，其中使用共轭梯度算法来使所述能量函数最优化。

14.根据权利要求1所述的方法，其中使用频域去卷积方法来确定所述去模糊图像。

15.根据权利要求1所述的方法，还包括对所述清晰图像或所述模糊图像施加仿射变换，以使所述清晰图像与所述模糊图像更好地对齐。

16.根据权利要求1所述的方法，其中使用数字照相机响应于单次按钮按压来捕捉所述清晰图像和所述模糊图像。

17.根据权利要求16所述的方法，其中所述运动模糊至少部分地归因于在捕捉所述清晰图像和所述模糊图像的时间期间内所述数字照相机的运动。

18.根据权利要求16所述的方法，其中所述运动模糊至少部分地归因于在捕捉所述清晰图像和所述模糊图像的时间期间内所述景物中物体的运动。

19.根据权利要求1所述的方法，其中所述清晰图像和所述模糊图像是数字视频的画面。

20.一种数字照相系统，包括：

图像传感器，用于捕捉景物的图像；

透镜系统，用于使景物成像在所述图像传感器上；

处理器可访问的存储系统；以及

数据处理系统，用于执行以下步骤：

接收以短曝光时间捕捉的景物的清晰图像；

接收以比所述清晰图像更长的曝光时间捕捉的景物的模糊图像，其中所述模糊图像较之所述清晰图像具有更高水平的运动模糊和更低水平的图像噪声；

确定响应于所述清晰图像和所述模糊图像的模糊核；

确定响应于所述清晰图像的一个或多个基准差分图像；

确定响应于所述模糊图像、所述模糊核和所述一个或多个基准差分图像的去模糊图像；以及

将所述去模糊图像存储在处理器可访问的存储系统中。

21.一种用于确定去模糊图像的计算机程序产品，包括使数据处理系统执行以下步骤的可执行应用软件：

a)接收以短曝光时间捕捉的景物的清晰图像；

b)接收以比所述清晰图像更长的曝光时间捕捉的景物的模糊图像，其中所述模糊图像较之所述清晰图像具有更高水平的运动模糊；

c)确定响应于所述清晰图像和所述模糊图像的模糊核；

d)确定响应于所述清晰图像的一个或多个基准差分图像；

e)确定响应于所述模糊图像、所述模糊核和所述一个或多个基准差分图像的去模糊图像；以及

f)将所述去模糊图像存储在处理器可访问的存储系统中。

Images