CN102576454B - 利用空间图像先验的图像去模糊法 - Google Patents

利用空间图像先验的图像去模糊法 Download PDF

Info

Publication number
CN102576454B
CN102576454B CN201080046665.6A CN201080046665A CN102576454B CN 102576454 B CN102576454 B CN 102576454B CN 201080046665 A CN201080046665 A CN 201080046665A CN 102576454 B CN102576454 B CN 102576454B
Authority
CN
China
Prior art keywords
image
blurred
picture
detail
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080046665.6A
Other languages
English (en)
Other versions
CN102576454A (zh
Inventor
S·王
T·侯
R·L·米勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mau new gate Venture Capital Co., Ltd.
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of CN102576454A publication Critical patent/CN102576454A/zh
Application granted granted Critical
Publication of CN102576454B publication Critical patent/CN102576454B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

一种确定去模糊图像的方法，该方法至少部分地由数据处理系统实现，并且包括：接收以短曝光时间捕捉的景物的清晰图像；接收以比清晰图像更长的曝光时间捕捉的景物的模糊图像，其中模糊图像较之清晰图像具有更高水平的运动模糊和更低水平的图像噪声；确定响应于清晰图像和模糊图像的模糊核；确定响应于清晰图像的一个或多个基准差分图像；确定响应于模糊图像、模糊核和一个或多个基准差分图像的去模糊图像；以及将去模糊图像存储在处理器可访问的存储系统中。

Description

利用空间图像先验的图像去模糊法
技术领域
本发明涉及图像去模糊领域，更具体而言，涉及使用以短曝光时间捕捉的第一清晰图像和以较长曝光时间捕捉的景物的第二模糊图像来确定去模糊图像的方法。
背景技术
数字成像中图像模糊的一个共同原因是在与图像捕捉有关的曝光时间(积分时间)期间照相机与景物之间的相对运动。这种图像模糊有时称为“运动模糊”或“拖影(smear)”。运动模糊典型地出现在图像捕捉环境中的光亮度较弱从而需要较长曝光时间的情形中。
一种减小运动模糊的方法是使用电子闪光来补偿自然照明。然而，这仅在物体相对接近照相机时才有效。另外，很多用户发现，闪光摄影很少能获得满意的结果。
减轻运动模糊问题的另一种方法是提高电子图像传感器的感光性，以便减小图像捕捉期间的曝光时间。虽然近年来该领域发展很快，但目前使用的电子图像传感器的感光性仍不够高，不足以防止很多图像捕捉环境中的运动模糊。
使电子图像传感器的感光性减小的一个因素是在传感器上使用了使彩色图像能够形成的滤色器。例如，Bayer(贝尔)的美国专利No.3,971,065中所提到的众所周知的“贝尔图案(Bayer Pattern)”阐述了，使用红色、绿色和蓝色滤色器的重复阵列来检测彩色图像信号。虽然现今大部分消费型数字相机中使用了该常规方法，但滤色器阵列(CFA)具有丢弃大约2/3的入射光的不良影响，从而显著减小了成像系统的照相速度。
Muramatsu(村松)的美国专利No.4,876,591披露了包括束分裂器和两个不同的传感器的电子成像系统，其中一个传感器没有滤色器而另一个传感器包含滤色器的图案。没有滤色器的传感器具有增强的感光性，而另一个传感器提供色彩信息。尽管该系统改善了单个常规图像传感器的感光性，但因需要两个传感器和束分裂器而使整个系统更复杂、尺寸更大并且成本更高。此外，束分裂器仅将来自图像的一半光导向各个传感器，从而限制了照相速度的提高。
Hamilton(汉密尔顿)等人的美国专利申请公开No.2007/0046807阐述了使用单个传感器的数字图像系统，所述单个传感器使一些彩色图像像素具有滤色器并且使全色图像像素没有滤色器。使用插值算法来重购全色图像，其中更高速的全色图像像素提供图像细节信息。虽然该方法可以通过启用更短的曝光时间来在一定程度上减小运动模糊，但在很多低光成像方案中仍存在一定程度上的运动模糊。
另一种减小数字图像中的运动模糊的影响的方法是使用图像增强算法来补偿被捕捉图像的模糊。该算法通常被称为“去模糊”或“去卷积”算法。该算法可以粗略地分为两种：“盲”和“非盲”。如果与图像模糊有关的模糊核未知，则该问题称为“盲去卷积”，而当模糊核已知时称为“非盲去卷积”。
对于非盲去卷积，最常用的方法是Richardson-Lucy(理查森-露西)(RL)去卷积法(参见文献：W.H.Richardson，″Bayesian-based iterativemethod of image restoration″，Journal of the Optical Society of America，Vol.62，pp.55-59，1972和L.B.Lucy(L·B·露西)的″An iterativetechnique for the rectification of observed distributions″，AstronomicalJournal，vol.79，pp.745-754，1974)。该方法包括在像素亮度符合泊松分布的假定下确定去模糊图像(有时称为“潜像”)。
在“Improved image deblurring with anti-reflective boundaryconditions and re-blurring”(Inverse Problems，Vol.22，pp.2035-2053，2006)的文章中，Donatelli(多纳特利)等人使用基于偏差分方程(PDE)的模型通过合并防反射边界条件和再模糊步骤来恢复振铃较小的去模糊图像。
在“Progressive inter-scale and intra-scale non-blind imagedeconvolution”(ACM Transactions on Graphics，Vol.27，Iss.3，2008)的文章中，Yuan(圆)等人披露了使振铃明显减小的改进的尺度间和尺度内非盲图像去卷积方法。
盲去卷积是极具挑战性的不适定问题。纯盲去卷积的方法应用于单个模糊图像或多个模糊图像。最具挑战性的问题是单图像的盲去卷积，这要求同时估计去模糊图像和与图像模糊有关的点展开函数(PSF)。
在“Removing camera shake from a single photograph”(ACMTransactions on Graphics，Vol.25，pp.787-794，2006)的文章中，费格斯(Fergus)等人示出了通常较复杂且明显的模糊核。其阐述了一种在自然图像梯度的某一统计分布的假定下恢复模糊核的整体学习方法。
在“High-quality motion deblurring from a single image”(ACMTransactions on Graphics，Vol.27，pp.1-10，2008)的文章中，Shan(杉)等人披露了一种使用模糊核估计和非模糊图像恢复的统一概率模型来消除运动模糊的方法。
在“Understanding and evaluating blind deconvolution algorithms”(Proc.IEEE Conf.on Computer Vision and Pattern Recognition，2009)的文章中，Levin(雷文)等人描述并评价了很多单图像盲去卷积算法。
模糊图像为多个时可以提供额外的限制以改善去模糊处理。在“Two motion-blurred images are better than one”(Pattern RecognitionLetters，Vol.36，pp.211-217，2005)的文章中，Rav-Acha(雷夫-亚查)等人阐述了，使用模糊方向不同的图像来改进核估计。
近来，披露了另一种盲去卷积，其采用除模糊图像以外的额外信息来改善去卷积。该方法可以归属为“准盲去卷积”。在“Simultaneous image formation and motion blur restoration via multiplecapture”(Proc.International Conference Acoustics，Speech，SignalProcessing，pp.1841-1844，2001)的文章中，Liu(刘)等人阐述了，在正常曝光时间内使用CMOS传感器捕捉多个高速画面。用一个高速画面中的像素替换具有运动模糊的图像像素。
在“Motion deblurring using hybrid imaging”(Proc.IEEE Conf.onComputer Vision and Pattern Recognition，Vol.1，pp.657-664，2003)的文章中，Ben-Ezra(本-以斯拉)等人披露了一种混合照相机，其同时捕捉高分辨率图像和时间上同步的一系列低分辨率图像。采用该方法时，从低分辨率图像中得到光流，以估计高分辨率图像的整体运动模糊。
在“Coded exposure photography：motion deblurring using flutteredshutter”(ACM Transactions on Graphics，Vol.25，pp.795-804，2006)的文章中，Rasker(瑞斯克)等人披露了“快门抖动”照相机，该照相机在正常曝光时间期间以伪随机时序来打开和关闭快门。快门将正常的“箱式滤器”变为防止高频空间细节进入模糊图像的宽带滤器。从而，相应的去卷积问题变为适定问题。
在“Image deblurring with blurred/noisy image pairs”(ACMTransactions on Graphics，Vol.26，Issue 3，2007)的文章中，Yuan(圆)等人披露了一种使用成对的模糊图像和噪声图像的图像去模糊方法。各个图像对包括以长曝光时间捕捉的模糊图像和以短曝光时间捕捉的噪声图像。与短曝光时间图像相关的噪声在低光条件下可能较严重，因此去模糊的结果很大程度上取决于去噪操作的性能。
在“Image and depth from a conventional camera with a codedaperture”(ACM Transactions on Graphics，Vol.26，Issue 6，2007)的文章中，Levin(雷文)等人采用编码来获取可以用在去模糊算法中的近似模糊核。该去模糊方法限于由散焦引起的图像模糊。
发明内容
本发明提出了一种确定去模糊图像的方法，该方法至少部分地由数据处理系统实现，并且包括：
a)接收以短曝光时间捕捉的景物的清晰图像；
b)接收以比清晰图像更长的曝光时间捕捉的景物的模糊图像，其中模糊图像较之清晰图像具有更高水平的运动模糊和更低水平的图像噪声；
c)确定响应于清晰图像和模糊图像的模糊核；
d)确定响应于清晰图像的一个或多个基准差分图像；
e)确定响应于模糊图像、所述模糊核和所述一个或多个基准差分图像的去模糊图像；以及
f)将去模糊图像存储在处理器可访问的存储系统中。
本发明具有以下优点：其生成噪声水平比清晰图像更低且清晰水平比模糊图像更高的去模糊图像。
本发明具有另一个优点，相比于现有技术的去模糊图像算法其生成具有较少振铃伪像的去模糊图像。
附图说明
图1是示出根据本发明实施例的用于将数字图像分类的系统的部件的高级示意图；
图2是本发明的优选实施例的流程图；
图3是具有以短曝光时间和长曝光时间捕捉一对图像的时序图；
图4是示出根据本发明的优选实施例的图2中估计模糊核步骤的额外细节的流程图；
图5示出了能够用来确定基准差分图像的下标阵列。
具体实施方式
在以下说明中，将明确地描述通常作为软件程序来实现的本发明的一些实施例。本领域技术人员容易理解，该软件的等同物也可以用硬件构造。由于已经知道图像处理算法和系统，因此本说明书将特别关注形成部分根据本发明的方法的算法和系统，或与根据本发明的方法更直接协作的算法和系统。文中没有具体示出或描述的该算法和系统的其它方面，以及用于生成和另外处理相关的图像信号的硬件和软件，可以从现有技术中已知的该类系统、算法、部件和单元中选取。以下给出了根据本发明所述的系统，而文中未具体示出、提到或描述的可用于实现本发明的软件是该领域普通技术人员所惯用的。
本发明包括文中所述实施例的组合。“具体实施例”等的引用涉及在本发明至少一个实施例中出现的特征。分别引用的“实施例”或“具体实施例”等不一定涉及相同的实施例，然而，除非作出说明或者对于本领域技术人来说显而易见，否则该实施例不相互排斥。与一个或多个方法等相关的单个或多个的使用不受限制。应该注意，除非上下文明确说明或要求，本公开中单词“或”使用非排他的意思。
文中所使用的短语“数字图像文件”涉及任何数字图像文件，诸如数字静止图像文件或数字视频文件。
图1是示出根据本发明实施例的用于确定去模糊图像的系统的部件的高级示意图。该系统包括数据处理系统110、外围系统120、用户界面系统130和数据存储系统140。外围系统120、用户界面系统130和数据存储系统140以通讯的方式连接至数据处理系统110。
数据处理系统110包括一个或多个数据处理装置，所述一个或多个数据处理装置实现本发明各个实施例的处理，包括文中所述示例处理。短语“数据处理装置”或“数据处理器”意在包括任何数据处理装置，诸如中央处理单元(“CPU”)、台式计算机、便携式计算机、主计算机、个人数字助理、黑莓TM、数字照相机、便携式电话、或者不论是用电子部件、磁性部件、光学部件、生物学部件还是其它部件所实现的用于处理数据、管理数据或操作数据的任何其它装置。
数据存储系统140包括构造成存储信息的一个或多个处理器可访问的存储器，包括执行本发明各种实施例的处理所需的信息，包括执行文中所述示例处理所需的信息。数据存储系统140可以是分布式处理器可访问的存储系统，该系统包括，经由多个计算机或装置以通信的方式连接至数据处理系统110的多个处理器可访问的存储器。另一方面，数据存储系统140不必是分布式处理器可访问的存储系统，从而可以包括布置在单个数据处理器或装置内的一个或多个处理器可访问的存储器。
短语“处理器可访问的存储器”意在包括不论是易失性的还是非易失性的、电子的、磁性的、光学的或其它的并且包括但不限于寄存器、软盘、硬盘、光盘、DVD、闪存、ROM和RAM的任何处理器可访问的数据存储装置。
短语“以通信方式连接”意在包括，数据可以在装置、数据处理器或程序之间通信的有线的或无线的任何形式的连接。短语“以通信的方式连接”意在包括，在单个数据处理器内的装置或程序之间的连接、在不同数据处理器中的装置或程序之间的连接、以及根本没有在数据处理器中的装置之间的连接。在这点上，尽管数据存储系统140示出为与数据处理系统110分离，但本领域的技术人员应该理解，数据存储系统140可以完全或部分地存储在数据处理系统110中。此外，在这点上，尽管外围系统120和用户界面系统130示出为与数据处理系统110分离，但本领域的技术人员应该理解，外围系统120和用户界面系统130中的一个或两个可以完全或部分地存储在数据处理系统110内。
外围系统120可以包括构造成将数字内容记录提供给数据处理系统110的一个或多个装置。例如，外围系统120可以包括数字静止照相机、数字摄像机、便携式电话或其它数据处理器。数据处理系统110在从外围系统120中的装置上接收到数字内容记录时，可以将该数字内容记录存储在数据存储系统140中。
用户界面系统130可以包括鼠标、键盘、另一台计算机或将数据输入至数据处理系统110的任何装置或装置组合。在这点上，尽管外围系统120示出为与用户界面系统130分离，但外围系统120可以作为用户界面系统130的一部分包含在用户界面系统130中。
用户界面系统130还可以包括显示装置、处理器可访问的存储器或接收由数据处理系统110输出的数据的任何装置或装置组合。在这点上，即使图1中的用户界面系统130和数据存储系统140分离地示出，但如果用户界面系统130包括处理器可访问的存储器，则该存储器仍可以作为数据存储系统140的一部分。
将参考图2描述本发明。接收模糊图像步骤200用于接收模糊图像205，并且接收清晰图像步骤210用于接收清晰图像215。下一个估计模糊核步骤220用于确定响应于模糊图像205和清晰图像215的模糊核225。模糊核225是能够应用于清晰图像215以产生清晰度特性近似等于模糊图像205的图像的卷积核。下一个计算基准差分图像步骤230用于计算清晰图像215的一个或多个基准差分图像235的组。该组基准差分图像235可以包括通过沿不同方向(如，x和y)计算数值导数而确定的梯度图像，或者通过计算具有不同像素间距(如，Δx＝1，2，3)的数值导数而确定的梯度图像。下一个计算去模糊图像步骤245用于计算响应于模糊图像205、模糊核225和基准差分图像235的去模糊图像250。如下文中的更详细描述，在本发明的优选实施例中，计算去模糊图像步骤245采用使用最大后验(MAP)估计的贝叶斯推理法。最后，存储去模糊图像步骤255用于将所得到的去模糊图像250存储在处理器可访问的存储器中。处理器可访问的存储器可以为任何类型的数字存储器，诸如RAM或硬盘。
在本发明的一个实施例中，使用数字照相机通过两次连续曝光来捕捉模糊图像205和清晰图像215。使用短曝光时间来捕捉清晰图像215，以使图像具有低水平的运动模糊。然而，该图像通常具有较高水平的图像噪声，尤其在拍摄具有低水平照度的景物时。使用较长的曝光时间来捕捉模糊图像205，以使图像具有低水平的图像噪声。然而，如果在曝光时间内照相机与景物中的物体之间存在相对运动，则模糊图像205将具有更高水平的运动模糊。图3示出了以短曝光时间和长曝光时间捕捉一对图像的时序图的实例。短曝光时间270(在时刻t＝0与时刻t＝t1之间)用于捕捉清晰图像215。第二更长曝光时间280(在时刻t＝t1与时刻t＝t2之间)用于捕捉模糊图像205。曝光时间可以通过调整数字传感器的积分时间来控制，或者作为选择可以通过控制快门来控制。在本发明优选实施例中，数字照相机响应于单次按钮按压来捕捉两个图像。
图4示出了根据本发明优选实施例更详细地描述了估计模糊核步骤220的流程图。由于模糊核通常与色彩通路无关，因此优选地，通常使用模糊图像205和清晰图像215的灰度版本来确定模糊核。预处理图像步骤400用于根据模糊图像205计算模糊灰度图像405，并且根据清晰图像215计算清晰灰度图像410。可以使用现有技术中已知的任何方法来将彩色图像变换为灰度图像。在本发明的优选实施例中，灰度图像通过执行以下色彩通路的加权和来确定：
P＝aRR+aGG+aBB            (1)
其中，R、G和B分别是所输入图像的红色、绿色和蓝色的色彩通路的像素值，aR、aG和aB为常数，并且P为灰度图像的像素值。
除了将图像变换为灰度形式以外，预处理图像步骤400还可以执行其它功能。例如，预处理图像步骤400可以对清晰图像215应用去噪算法以减小噪声水平。现有技术中存在很多已知的去噪算法，诸如中值滤波算法。
预处理图像步骤400还可以施加色调等级调整处理，以均衡两个图像的信号水平。直方图均衡化是现有技术中已知的色调等级调整处理的一个实例。
预处理图像步骤400还可以用于对模糊图像205或清晰图像215施加仿射变换，以将一个图像与另一个图像更好地对齐。这可以用来解决在捕捉两个图像的时间期间内照相机或景物的运动。
预处理图像步骤400还可以用于生成模糊图像205的子集和清晰图像215的对应子集，以增加计算效率。优选地，选出具有重要的图像细节(偏移程度较高)的图像区域，因为该区域是运动模糊的影响最显著的区域。可以通过对模糊图像205施加拉普拉斯算子以形成拉普拉斯图像，然后选择拉普拉斯图像中信号水平较高的区域来确定这样的图像区域。可选地，拉普拉斯图像可以通过对清晰图像215或者对模糊图像205和清晰图像215施加拉普拉斯算子来确定。所选的图像区域可以是连续图像区域，诸如具有特定尺寸的矩形区域，或者作为选择，所选图像区域可以包括遍布于图像的图像像素子集，诸如在拉普拉斯图像中幅度大于预定阈值的图像像素周围的图像像素的邻域。在本发明的可选实施例中，图像区域可以是户手动选择的区域。
在本发明优选实施例中，采用使用最大后验(MAP)估计的贝叶斯推理法来确定模糊核225。使用该方法时，通过定义以下形式的能量函数来确定模糊核225：
E ( K ) = ( P B - P S ⊗ K ) 2 + λ 3 | | K | | 1 - - - ( 2 )
其中PB是模糊灰度图像405，PS是清晰灰度图像410，K是模糊核225，λ3是加权因子，是卷积算子，||●||1是l-norm算子，E(K)是能量值且作为模糊核的函数。可以看出，该能量函数包括第一项，即模糊图像(PB)与由清晰图像(PS)与候选模糊核(K)卷积所确定的候选模糊图像之差的函数。
在本发明优选实施例中，该MAP问题通过熟知的共轭梯度法来解决，以便通过求解以下偏差分方程(PDE)来确定使能量最小化的模糊核：
∂ E ( K ) ∂ K = 0 - - - ( 3 )
对于使用共轭梯度法求解PDE的更多信息，请参考上述Levin(雷文)等人的文章“Image and depth from a conventional camera with acoded aperture”。
在本发明优选实施例中，使用基于分级图像的级别的多等级方法，以避免在最优化期间陷入局部最小。采用该多等级方法时，使用迭代处理，该迭代处理从粗糙图像等级开始按照一系列等级依次优化模糊核的估计。已经发现，2或3个不同等级通常表现较好，其中每一等级的差异为因子2。
在最粗糙的等级时，初始化模糊核步骤415用于将模糊核225(K)初始化为具有相等单元的预定范围的矩形核。下采样图像步骤420用于将模糊灰度图像405和清晰灰度图像410下采样至当前等级。例如，如果使用3个等级，则第一次迭代需要4倍下采样，第二次迭代需要2倍下采样，而第三次迭代使用全分辨率图像。
下一个更新模糊核步骤425用于利用共轭梯度法求解等式(3)中给出的PDE来计算新的模糊核225的估计，其中先前迭代得到的模糊核用作PDE求解的初始猜测值。可选的阈值化模糊核步骤430(用虚线示出)可以用于使小模糊核单元(如，小于总能量的0.1％)阈值化以减小估计噪声。标准化模糊核步骤435用于使估计的模糊核标准化，以使模糊核单元总和为1.0。测试440用于判断是否存在额外的等级需要处理。如果存在额外等级，则使用上采样模糊核步骤445将模糊核的当前估计上采样至下一等级。这可以使用诸如双三次插值等任何已知的内插法执行。当不再有等级需要处理时，输出模糊核步骤450用于输出模糊核225的最后估计。
在本发明的优选实施例中，计算去模糊图像步骤245使用采用最大后验(MAP)估计的贝叶斯推理法。使用该方法，通过定义以下形式的能量函数来确定去模糊图像250：
E ( L ) = ( L ⊗ K - B ) 2 + λ 1 w | ▿ L | 2 + λ 2 Σ j c j ( ∂ j L - ∂ j S ) 2 - - - ( 4 )
其中L是去模糊图像250，K是模糊核225，B是模糊图像205，S是清晰图像215，j是下标值，是卷积算子，|●|是绝对值算子，是梯度算子，是与第j下标对应的差分算子，w是像素相关加权因子，并且λ1、λ2和cj是加权系数。
下标j用于识别相邻像素，以计算差值。在本发明优选实施例中，为以特定像素为中心的5×5的像素窗口计算差值。图5示出了以当前像素位置510为中心的下标阵列500。下标阵列500中所示的数字是下标j。例如，下标值j＝6与当前像素位置510的上方第1行和左方第2列的靠上像素对应。
差分算子确定当前像素的像素值与下标j所指定的相对位置处的像素值之差。例如，与通过求取清晰图像S中的各个像素与上方第1行左方第2列的对应像素之差所确定的差分图像对应。以等式形式给出如下：
∂ j S = S ( x , y ) - S ( x - Δ x j , y - Δ y j ) - - - ( 5 )
其中Δxj和Δyj分别是对应于第j下标的列偏移量和行偏移量。该组差分图像可以称为基准差分图像，因为该组差分图像表示为去模糊图像250所生成的期望差分图像的估计。计算基准差分图像步骤230用于使用等式(5)来确定一组基准差分图像235。通常，希望一组基准差分图像235包括：一个或多个水平差分图像，其表示水平方向上相邻像素之差；一个或多个竖直差分图像，其表示竖直方向上相邻像素之差；以及一个或多个对角差分图像，其表示对角线方向上相邻像素之差。
等式(4)中给出的能量函数的第一项是图像逼真度项。在贝叶斯推理的命名中，该图像逼真度项通常称为“似然”项。可以看出，当模糊图像205(B)和与模糊核225(K)卷积的去模糊图像(L)的模糊版本之差较小时，“似然”项较小。
等式(4)中给出的能量函数的第二项和第三项称为“图像先验”。当去模糊图像250(L)的梯度幅度较小时，第二项具有低能量。这反映以下事实：当模糊边界的宽度减小时，越清晰的图像通常将具有越多的低梯度值的像素。由于上述Levin(雷文)等人的文章“Image anddepth from a conventional camera with a coded aperture”中所讨论的原因，希望使用以下等式来确定像素相关加权因子w：
w = | ▿ L | α - 2 - - - ( 6 )
其中a是常量(如，0.8)。在最优化处理期间，可以利用前一个迭代所确定的L的估计来计算每一个迭代的作为选择，清晰图像215(S)可以用作去模糊图像250(L)的估计。
等式(4)中的能量函数的第三项计算基准差分图像235与为去模糊图像所计算的差分图像之差。该项可以称为图像差分项。确定每一个基准差分图像235的贡献，然后对该贡献进行加权并求和以确定单个能量项。当去模糊图像的差分图像近似等于基准差分图像235时，与该项对应的能量较小。
其它研究者使用了由等式(4)所示的能量函数中的开头两项组成的能量函数(例如，参见上述Levin(雷文)等人的文章“Image and depthfrom a conventional camera with a coded aperture”)。与现有技术中所述的能量函数相比，能量函数中包含基准差分图像的额外第三项具有显著的优势。具体而言，已经发现使用该项时，通过减小振铃伪像而使去模糊图像250的质量得到实质提高，其中使用现有技术的方法使易于在图像边缘附近产生所述振铃伪像。
计算去模糊图像步骤245利用本领域技术人员所熟知的最优化方法通过使等式(4)给出的能量函数最小化来计算去模糊图像250。在本发明的优选实施例中，最优化方法表示为如下PDE：
∂ E ( L ) ∂ L = 0 - - - ( 7 )
该等式可以使用常规的PDE求解法来求解。在本发明的优选实施例中，使用以下PDE求解法：将PDE变换成能够使用诸如共轭梯度算法等常规线性方程求解法进行求解的线性方程式。对于求解PDE求解法的更多细节，参考上述Levin(雷文)等人的文章“Image and depthfrom a conventional camera with a coded aperture”。
本领域的技术人员应该理解，计算去模糊图像步骤245可以使用除贝叶斯推理法以外的其它方法。例如，可以使用常规的频域去卷积方法，其中将模糊图像205变换至频域并且用将模糊核225变换至频域所确定的传递函数除以模糊图像205。然后，可以将滤波图像变换回空间域。该方法的变分包含已知的维纳滤波器。
本发明的方法可以应用于任何类型的数字成像系统。在本发明的优选实施例中，该方法作为数字静态照相系统的一部分来实现。该方法可以通过数字静态照相机中的处理器来实现，或者作为选择可以完全地或部分地由数字静态照相机外部的处理器，诸如个人计算机来实现。本发明的方法还可以用于处理数字视频图像。在该情形下，可在交替变化短曝光时间和长曝光时间的情形下捕捉数字视频的画面，并且可以对成对的视频画面进行处理以形成去模糊图像。
一种计算机程序产品可以包括一个或多个存储介质，例如：磁性存储介质，诸如磁盘(诸如软盘)或磁带；光学存储介质，诸如光盘、光学磁带或机器可读条形码；固态电子存储装置，诸如随机存取存储器(RAM)或只读存储器(ROM)；或者用于存储计算机程序的任何其它物理装置或介质，所述计算机程序具有用于控制一个或多个计算机来执行根据本发明的方法的指令。
部件列表
110数据处理系统
120外围系统
130用户界面系统
140数据存储系统
200接收模糊图像步骤
205模糊图像
210接收清晰图像步骤
215清晰图像
220估计模糊核步骤
225模糊核
230计算基准差分图像步骤
235基准差分图像
245计算去模糊图像步骤
250去模糊图像
255存储去模糊图像步骤
270短曝光时间
280更长的曝光时间
400预处理图像步骤
405模糊灰度图像
410清晰灰度图像
415初始化模糊核步骤
420下采样图像步骤
425更新模糊核步骤
430阈值化模糊核步骤
435标准化模糊核步骤
440测试
445上采样模糊核步骤
450输出模糊核步骤
500下标阵列
510当前像素位置

Claims (18)

1.一种确定去模糊图像的方法，该方法至少部分地由数据处理系统实现，并且包括：
a)接收以短曝光时间捕捉的景物的清晰图像；
b)接收以比所述清晰图像更长的曝光时间捕捉的景物的模糊图像，其中所述模糊图像较之所述清晰图像具有更高水平的运动模糊；
c)确定响应于所述清晰图像和所述模糊图像的模糊核；
d)确定响应于所述清晰图像的一个或多个基准差分图像，其中通过计算所述清晰图像中的对应像素与所述清晰图像中预定相对位置处的相邻像素之差来确定特定基准差分图像的每一个像素，其中每一个基准差分图像与不同的预定相对位置相关；
e)定义包括图像差分项的能量函数，所述图像差分项是所述基准差分图像与由候选去模糊图像计算得到的对应一组候选差分图像之差的函数，其中利用与对应基准差分图像相关的预定相对位置来计算所述候选去模糊图像的候选差分图像；
f)利用所述能量函数估计候选去模糊图像来确定响应于所述模糊图像和所述模糊核的去模糊图像；以及
g)将所述去模糊图像存储在所述数据处理系统可访问的存储系统中。
2.根据权利要求1所述的方法，其中使用最优化方法来确定所述模糊核以使能量函数最小化，所述能量函数包括作为所述模糊图像与由所述清晰图像与候选模糊核卷积所确定的候选模糊图像之差的函数的项。
3.根据权利要求2所述的方法，其中通过仅仅分析所述清晰图像中图像像素的子集和所述模糊图像中图像像素的对应子集来确定所述模糊核，其中所述子集确定为具有最显著的运动模糊的影响。
4.根据权利要求3所述的方法，其中所述清晰图像中的图像像素的子集通过以下步骤选择：
根据所述清晰图像或所述模糊图像或其两者来确定拉普拉斯图像；以及
通过分析所述拉普拉斯图像以确定具有高信号水平的图像像素的子集，来选择所述清晰图像中的图像像素的子集和所述模糊图像中的图像像素的子集。
5.根据权利要求4所述的方法，其中所述图像像素的子集包括在拉普拉斯图像中其幅度超过预定阈值的像素。
6.根据权利要求2所述的方法，其中在确定所述模糊核之前对所述清晰图像施加去噪算法或色调等级调整算法或者其二者。
7.根据权利要求2所述的方法，其中通过分析所述清晰图像的多个缩放版本和具有不同分辨率的模糊图像来确定所述模糊核。
8.根据权利要求1所述的方法，其中所述一个或多个基准差分图像包括与预定相对位置处的水平偏差对应的水平差分图像和与预定相对位置处的竖直偏差对应的竖直差分图像。
9.根据权利要求1所述的方法，其中使用贝叶斯推理法来确定所述去模糊图像。
10.根据权利要求1所述的方法，其中所述能量函数还包括图像逼真度项，该图像逼真度项是所述模糊图像和由候选去模糊图像与所述模糊核卷积所确定的候选模糊图像之差的函数。
11.根据权利要求1所述的方法，其中所述能量函数还包括作为所述候选去模糊图像的梯度函数的项。
12.根据权利要求1所述的方法，其中使用共轭梯度算法来使所述能量函数最优化。
13.根据权利要求1所述的方法，还包括对所述清晰图像或所述模糊图像施加仿射变换，以使所述清晰图像与所述模糊图像更好地对齐。
14.根据权利要求1所述的方法，其中使用数字照相机响应于单次按钮按压来捕捉所述清晰图像和所述模糊图像。
15.根据权利要求14所述的方法，其中所述运动模糊至少部分地归因于在捕捉所述清晰图像和所述模糊图像的时间期间内所述数字照相机的运动。
16.根据权利要求14所述的方法，其中所述运动模糊至少部分地归因于在捕捉所述清晰图像和所述模糊图像的时间期间内所述景物中物体的运动。
17.根据权利要求1所述的方法，其中所述清晰图像和所述模糊图像是数字视频的画面。
18.一种用于确定去模糊图像的设备，所述设备至少部分地由数据处理系统实现，并且包括：
a)接收以短曝光时间捕捉的景物的清晰图像的装置；
b)接收以比所述清晰图像更长的曝光时间捕捉的景物的模糊图像的装置，其中所述模糊图像较之所述清晰图像具有更高水平的运动模糊；
c)确定响应于所述清晰图像和所述模糊图像的模糊核的装置；
d)确定响应于所述清晰图像的一个或多个基准差分图像的装置，其中通过计算所述清晰图像中的对应像素与所述清晰图像中预定相对位置处的相邻像素之差来确定特定基准差分图像的每一个像素，其中每一个基准差分图像与不同的预定相对位置相关；
e)定义包括图像差分项的能量函数的装置，所述图像差分项是所述基准差分图像与由候选去模糊图像计算得到的对应一组候选差分图像之差的函数，其中利用与对应基准差分图像相关的预定相对位置来计算所述候选去模糊图像的候选差分图像；
f)利用所述能量函数估计候选去模糊图像来确定响应于所述模糊图像和所述模糊核的去模糊图像的装置；以及
g)将所述去模糊图像存储在所述数据处理系统可访问的存储系统中的装置。
CN201080046665.6A 2009-10-16 2010-10-01 利用空间图像先验的图像去模糊法 Expired - Fee Related CN102576454B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/580,569 2009-10-16
US12/580,569 US8390704B2 (en) 2009-10-16 2009-10-16 Image deblurring using a spatial image prior
PCT/US2010/051026 WO2011046755A1 (en) 2009-10-16 2010-10-01 Image deblurring using a spatial image prior

Publications (2)

Publication Number Publication Date
CN102576454A CN102576454A (zh) 2012-07-11
CN102576454B true CN102576454B (zh) 2015-07-08

Family

ID=43033318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080046665.6A Expired - Fee Related CN102576454B (zh) 2009-10-16 2010-10-01 利用空间图像先验的图像去模糊法

Country Status (5)

Country Link
US (1) US8390704B2 (zh)
EP (1) EP2489007B1 (zh)
JP (1) JP5543605B2 (zh)
CN (1) CN102576454B (zh)
WO (1) WO2011046755A1 (zh)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8417055B2 (en) 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US8989516B2 (en) 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
US7639889B2 (en) * 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
US8264576B2 (en) 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US7773118B2 (en) 2007-03-25 2010-08-10 Fotonation Vision Limited Handheld article with movement discrimination
US20080309770A1 (en) * 2007-06-18 2008-12-18 Fotonation Vision Limited Method and apparatus for simulating a camera panning effect
US8139886B2 (en) * 2008-06-23 2012-03-20 Microsoft Corporation Blur estimation
US8781250B2 (en) * 2008-06-26 2014-07-15 Microsoft Corporation Image deconvolution using color priors
EP2415015B1 (en) * 2009-03-30 2015-08-12 Telefonaktiebolaget LM Ericsson (publ) Barcode processing
US8437571B2 (en) * 2009-04-30 2013-05-07 Hewlett-Packard Development Company, L.P. Method and system for adaptive context-embedded prediction
US8208746B2 (en) * 2009-06-29 2012-06-26 DigitalOptics Corporation Europe Limited Adaptive PSF estimation technique using a sharp preview and a blurred image
KR101594300B1 (ko) * 2009-11-20 2016-02-16 삼성전자주식회사 Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법
KR101653272B1 (ko) * 2009-12-28 2016-09-01 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
JP5651118B2 (ja) * 2010-02-10 2015-01-07 ドルビー・インターナショナル・アーベー 画像処理装置および画像処理方法
JP5656705B2 (ja) * 2010-06-01 2015-01-21 キヤノン株式会社 撮像装置、撮像装置の制御方法
JP5543280B2 (ja) 2010-06-01 2014-07-09 キヤノン株式会社 画像処理装置、画像処理方法
US8792748B2 (en) * 2010-10-12 2014-07-29 International Business Machines Corporation Deconvolution of digital images
US8532421B2 (en) * 2010-11-12 2013-09-10 Adobe Systems Incorporated Methods and apparatus for de-blurring images using lucky frames
CN103597839B (zh) * 2011-05-31 2017-10-20 杜比实验室特许公司 视频压缩方法、视频重构方法和系统、及编码器
US9124797B2 (en) * 2011-06-28 2015-09-01 Microsoft Technology Licensing, Llc Image enhancement via lens simulation
KR20140053960A (ko) * 2011-08-30 2014-05-08 톰슨 라이센싱 이미지 잡음 제거, 압축 및 보간을 위한 비등방성 구배 조정
US8705881B2 (en) 2011-09-02 2014-04-22 Adobe Systems Incorporated Motion deblurring for text images
US8861884B1 (en) 2011-11-21 2014-10-14 Google Inc. Training classifiers for deblurring images
KR101844332B1 (ko) * 2012-03-13 2018-04-03 삼성전자주식회사 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치
US9143687B2 (en) * 2012-03-14 2015-09-22 University Of Dayton Method of analyzing motion blur using double discrete wavelet transform
US9137526B2 (en) 2012-05-07 2015-09-15 Microsoft Technology Licensing, Llc Image enhancement via calibrated lens simulation
US9064318B2 (en) 2012-10-25 2015-06-23 Adobe Systems Incorporated Image matting and alpha value techniques
US8867856B2 (en) * 2012-11-12 2014-10-21 Adobe Systems Incorporated De-noising image content using directional filters for image de-blurring
US9201580B2 (en) 2012-11-13 2015-12-01 Adobe Systems Incorporated Sound alignment user interface
US9355649B2 (en) 2012-11-13 2016-05-31 Adobe Systems Incorporated Sound alignment using timing information
US9076205B2 (en) * 2012-11-19 2015-07-07 Adobe Systems Incorporated Edge direction and curve based image de-blurring
US10249321B2 (en) 2012-11-20 2019-04-02 Adobe Inc. Sound rate modification
US9451304B2 (en) 2012-11-29 2016-09-20 Adobe Systems Incorporated Sound feature priority alignment
US9135710B2 (en) 2012-11-30 2015-09-15 Adobe Systems Incorporated Depth map stereo correspondence techniques
US10455219B2 (en) 2012-11-30 2019-10-22 Adobe Inc. Stereo correspondence and depth sensors
AU2012258467A1 (en) * 2012-12-03 2014-06-19 Canon Kabushiki Kaisha Bokeh amplification
US10249052B2 (en) 2012-12-19 2019-04-02 Adobe Systems Incorporated Stereo correspondence model fitting
US9208547B2 (en) 2012-12-19 2015-12-08 Adobe Systems Incorporated Stereo correspondence smoothness tool
US9214026B2 (en) 2012-12-20 2015-12-15 Adobe Systems Incorporated Belief propagation and affinity measures
CN103337058B (zh) * 2013-07-05 2015-12-02 西北工业大学 基于模糊噪声图像对联合优化的图像盲复原方法
US9349165B2 (en) * 2013-10-23 2016-05-24 Adobe Systems Incorporated Automatically suggesting regions for blur kernel estimation
US9047658B2 (en) * 2013-11-05 2015-06-02 United Microelectronics Corp. Method of optical proximity correction
US9430817B2 (en) * 2013-11-12 2016-08-30 Microsoft Technology Licensing, Llc Blind image deblurring with cascade architecture
US9607369B2 (en) 2013-11-14 2017-03-28 Kla-Tencor Corporation Motion and focus blur removal from pattern images
CN106063242B (zh) 2014-02-27 2019-07-09 杜比实验室特许公司 用于控制颤抖可见性的系统和方法
CN103955934B (zh) * 2014-05-06 2017-05-24 北京大学 一种结合图像显著性区域分割的图像模糊检测算法
CN105469363B (zh) 2014-09-05 2018-05-18 华为技术有限公司 基于模糊图像生成清晰图像的方法和装置
CN107079079B (zh) 2014-10-02 2019-10-15 杜比实验室特许公司 用于抖动可视性控制的双端元数据
US10176558B2 (en) 2014-12-29 2019-01-08 Nokia Technologies Oy Method, apparatus and computer program product for motion deblurring of images
US10283031B2 (en) * 2015-04-02 2019-05-07 Apple Inc. Electronic device with image processor to reduce color motion blur
CN104851079B (zh) * 2015-05-06 2016-07-06 中国人民解放军国防科学技术大学 基于噪声/模糊图像对的低照度车牌图像恢复方法
TW201716933A (zh) * 2015-11-06 2017-05-16 原相科技股份有限公司 具有補償失焦影像的光學導航裝置及其補償電路
CN106683174B (zh) * 2016-12-23 2020-10-27 南京拓恒无人系统研究院有限公司 双目视觉系统的三维重建方法、装置及双目视觉系统
CN106780406A (zh) * 2017-02-28 2017-05-31 长沙全度影像科技有限公司 一种快速鱼眼图像去模糊方法
CN107292842B (zh) * 2017-06-15 2020-08-07 北京大学深圳研究生院 基于先验约束和离群值抑制的图像去模糊方法
CN107451973B (zh) * 2017-07-31 2020-05-22 西安理工大学 基于丰富边缘区域提取的运动模糊图像复原方法
US10593020B2 (en) * 2018-02-02 2020-03-17 Nvidia Corp. Unsupervised learning approach for video deblurring
CN108830802B (zh) * 2018-05-16 2022-07-08 浙江大学 一种基于短曝图像梯度导向的图像模糊核估计方法
CN108898611B (zh) * 2018-06-19 2021-09-24 东华理工大学 基于显著感知先验的模糊区域活动轮廓分割模型
KR102126916B1 (ko) * 2018-11-30 2020-06-26 동국대학교 산학협력단 블러된 영상 복원을 위한 장치 및 방법
CN111275625B (zh) * 2018-12-04 2023-08-04 杭州海康机器人股份有限公司 一种图像去模糊方法、装置及电子设备
CN110097509B (zh) * 2019-03-26 2021-05-18 杭州电子科技大学 一种局部运动模糊图像的复原方法
CN110062164B (zh) * 2019-04-22 2021-10-26 深圳市商汤科技有限公司 视频图像处理方法及装置
US20220156884A1 (en) * 2019-05-06 2022-05-19 Sony Group Corporation Electronic device, method and computer program
KR102665968B1 (ko) * 2019-06-27 2024-05-16 삼성전자주식회사 블러 추정 방법 및 장치
US11645747B2 (en) * 2020-02-25 2023-05-09 GE Precision Healthcare LLC Methods and systems for digital mammography imaging
CN111416937B (zh) * 2020-03-25 2021-08-20 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动设备
US11222402B2 (en) 2020-04-24 2022-01-11 Aupera Technologies, Inc. Adaptive image enhancement
CN112465730A (zh) * 2020-12-18 2021-03-09 辽宁石油化工大学 一种运动视频去模糊的方法
CN112738358B (zh) * 2020-12-22 2023-03-28 安徽四创电子股份有限公司 一种应用于高速目标视频图像的去运动模糊的方法
CN113177890B (zh) * 2021-04-27 2023-04-18 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质
KR102328029B1 (ko) * 2021-06-02 2021-11-17 아주대학교산학협력단 블러 이미지 처리 방법 및 장치
CN114841870A (zh) * 2022-03-31 2022-08-02 华为技术有限公司 图像处理方法、相关装置和系统
CN117557626B (zh) * 2024-01-12 2024-04-05 泰安大陆医疗器械有限公司 一种气雾喷雾器喷头安装辅助定位方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101504765A (zh) * 2009-03-20 2009-08-12 东华大学 采用梯度融合技术的运动模糊图像序列的复原方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
JP2849813B2 (ja) * 1986-12-19 1999-01-27 富士写真フイルム株式会社 映像信号の形成装置
JP3804617B2 (ja) * 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
US8570389B2 (en) * 2004-07-22 2013-10-29 Broadcom Corporation Enhancing digital photography
US20060093234A1 (en) * 2004-11-04 2006-05-04 Silverstein D A Reduction of blur in multi-channel images
US8654201B2 (en) * 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
US20070046807A1 (en) * 2005-08-23 2007-03-01 Eastman Kodak Company Capturing images under varying lighting conditions
US7680354B2 (en) * 2006-03-22 2010-03-16 Arcsoft, Inc. Image deblur based on two images
US7616826B2 (en) * 2006-07-28 2009-11-10 Massachusetts Institute Of Technology Removing camera shake from a single photograph using statistics of a natural image
JP4947576B2 (ja) * 2006-10-12 2012-06-06 京セラ株式会社 撮像装置、ぶれ補正方法及び撮像方法
US8184926B2 (en) * 2007-02-28 2012-05-22 Microsoft Corporation Image deblurring with blurred/noisy image pairs
JP2009088935A (ja) * 2007-09-28 2009-04-23 Sanyo Electric Co Ltd 画像記録装置、画像補正装置及び撮像装置
JP5213670B2 (ja) * 2008-01-16 2013-06-19 三洋電機株式会社 撮像装置及びぶれ補正方法
JP4958806B2 (ja) * 2008-01-22 2012-06-20 三洋電機株式会社 ぶれ検出装置、ぶれ補正装置及び撮像装置
US8203602B2 (en) * 2009-02-06 2012-06-19 Robert Bosch Gmbh Depth-aware blur kernel estimation method for iris deblurring

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101504765A (zh) * 2009-03-20 2009-08-12 东华大学 采用梯度融合技术的运动模糊图像序列的复原方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Image Stabilization Based on Fusing the Visual Information in Differently Exposed Images;Tico, M.等;《Image Processing, 2007. ICIP 2007. IEEE International Conference on》;20071019;第1卷;I-117 - I-120 *
Lu Yuan等.Image deblurring with blurred/noisy image pairs.《ACM Transactions on Graphics (TOG)- Proceedings of ACM SIGGRAPH 2007》.2007,第26卷(第3期),1-10. *
Motion Blur Identification Based on Differently Exposed Images;Tico, M.等;《Image Processing, 2006 IEEE International Conference on》;20061011;2021-2024 *
基于快速CCD位移探测的运动模糊图像的恢复;付中梁等;《光电工程》;20090331;第36卷(第3期);69-73 *

Also Published As

Publication number Publication date
US20110090352A1 (en) 2011-04-21
JP2013508811A (ja) 2013-03-07
CN102576454A (zh) 2012-07-11
JP5543605B2 (ja) 2014-07-09
US8390704B2 (en) 2013-03-05
EP2489007B1 (en) 2015-06-03
EP2489007A1 (en) 2012-08-22
WO2011046755A1 (en) 2011-04-21

Similar Documents

Publication Publication Date Title
CN102576454B (zh) 利用空间图像先验的图像去模糊法
US8203615B2 (en) Image deblurring using panchromatic pixels
US8379120B2 (en) Image deblurring using a combined differential image
US8330827B2 (en) Increasing image resolution using combined differential image
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
EP2164040B1 (en) System and method for high quality image and video upscaling
US20140354886A1 (en) Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
CN113992861A (zh) 一种图像处理方法及图像处理装置
WO2014197154A1 (en) Methods of image fusion for image stabilizaton
CN103310430A (zh) 对非均匀运动模糊进行去模糊的方法和设备
CN112164011A (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
CN112837245A (zh) 一种基于多模态融合的动态场景去模糊方法
US20240135496A1 (en) System and method for burst image restoration and enhancement
Pickup et al. Optimizing and Learning for Super-resolution.
CN115345791A (zh) 一种基于注意力机制残差网络模型的红外图像去模糊算法
Chang et al. Beyond camera motion blur removing: How to handle outliers in deblurring
CN113674154B (zh) 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统
CN110503611A (zh) 图像处理的方法和装置
Purkait et al. Morphologic gain-controlled regularization for edge-preserving super-resolution image reconstruction
Zheng et al. Depth image super-resolution using multi-dictionary sparse representation
Wang et al. High-quality image deblurring with panchromatic pixels.
CN111862026A (zh) 一种基于深度学习的内窥医学图片去模糊方法
CN115035013A (zh) 图像处理方法、图像处理装置、终端及可读存储介质
RU2364937C1 (ru) Способ и устройство фильтрования шума видеосигналов
CN112241670B (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: GAOZHI 83 FOUNDATION LLC

Free format text: FORMER OWNER: EASTMAN KODAK COMPANY (US) 343 STATE STREET, ROCHESTER, NEW YORK

Effective date: 20130410

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20130410

Address after: Nevada, USA

Applicant after: Gaozhi 83 Foundation Co.,Ltd.

Address before: American New York

Applicant before: Eastman Kodak Co.

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180522

Address after: Texas, USA

Patentee after: Mau new gate Venture Capital Co., Ltd.

Address before: Nevada, USA

Patentee before: Gaozhi 83 Foundation Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150708

Termination date: 20191001