CN105765607A - 用于图像反卷积的多阶段方法 - Google Patents

用于图像反卷积的多阶段方法 Download PDF

Info

Publication number
CN105765607A
CN105765607A CN201480053596.XA CN201480053596A CN105765607A CN 105765607 A CN105765607 A CN 105765607A CN 201480053596 A CN201480053596 A CN 201480053596A CN 105765607 A CN105765607 A CN 105765607A
Authority
CN
China
Prior art keywords
stage
detail
regularization
deconvolution
picture rich
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480053596.XA
Other languages
English (en)
Other versions
CN105765607B (zh
Inventor
R·特扎奥尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN105765607A publication Critical patent/CN105765607A/zh
Application granted granted Critical
Publication of CN105765607B publication Critical patent/CN105765607B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种用于使模糊图像(400)去模糊的方法包括步骤：利用第一阶段正则化空间掩膜(300)执行反卷积的第一阶段(202)，以重构主边缘并且生成具有重构主边缘的第一阶段潜在清晰图像(404)；以及利用第二阶段正则化空间掩膜(304)执行反卷积的第二阶段(204)，以重构纹理并且生成第二阶段潜在清晰图像(406)。第二阶段正则化空间掩膜(304)可以与第一阶段正则化空间掩膜(300)不同。

Description

用于图像反卷积的多阶段方法
相关申请的交叉引用
本申请要求于2013年7月29日递交的发明名称为“用于图像反卷积的多阶段方法(MULTIPLEPHASEMETHODFORIMAGEDECONVOLUTION)”、序列号为61/859,740的美国临时申请的优先权。在允许的情况下，序列号为61/859,740的美国临时申请的内容通过引用合并到本文中。
背景技术
相机通常用于捕获包括一个或更多个物体的场景的图像。遗憾的是，图像中的一些图像可能会模糊。例如，在相机的曝光时间期间相机的移动和/或场景中物体的移动可能会导致图像模糊。此外，如果相机在捕获图像时没有被正确聚焦，则图像可能会模糊。
用于去模糊的反卷积方法往往非常复杂和缓慢(除了产生非常低质量的图像的大多数简单方法以外)，并且经去模糊的图像往往包含通常为图像边缘周围的振铃形式的很多强伪影。并且，存在强烈放大噪声的趋势。然而，有助于减小反卷积图像中的振铃伪影和噪声放大的技术往往会减少任何精细纹理。因此，由于这些图像中的很多区域看起来平滑得不自然并且纹理模糊且混乱，所以所得的图像具有不自然的、色调分离的外观。
当模糊充分空间一致时，所捕获的模糊图像可以通过某点扩散函数(“PSF”)加上噪声被建模成潜在清晰图像的卷积：
B＝K*L+N.等式(1)
在等式1中以及在本文档的其它位置，(i)“B”表示模糊图像；(ii)“L”表示潜在清晰图像；(iii)“K”表示PSF核；以及(iv)“N”表示噪声(包括量化误差、压缩伪影等)。
非盲反卷积问题仅在已知PSF核K时试图恢复潜在清晰图像L。可替选地，盲反卷积问题试图恢复PSF核K和潜在清晰图像L两者。难以准确地解决盲反卷积问题和非盲反卷积问题两者，这是因为它们是病态的，并且一些信息已经由于相应的光传递函数(“OTF”)、PSF的傅里叶变换中的零值和接近零的值而被不可挽回地丢失。
此外，许多模糊图像包括使恢复潜在清晰图像L的问题进一步复杂化的区域。例如，模糊图像B中的传感器像素达到其饱和点的极亮区域可以对所确定的PSF核K以及所得的潜在清晰图像L产生不利影响。
解决反卷积问题的一种常见方法包括将它重新表述成其中合适的代价方程被最小化以便得到对反卷积问题的解的优化问题。
用于反卷积的代价方程的较常见类型是正则化最小二乘代价函数。通常，正则化最小二乘代价函数包括：(i)一个或更多个保真项，其使得该最小化符合对模糊处理建模的等式(1)；以及(ii)一个或更多个正则项，其使得解更稳定并有助于强化关于该解的先验信息，诸如稀疏性。
潜在清晰图像代价函数的正则化的示例为：
c(L)＝||K*L-B||p p+ω(||(Dx*L)||q q+||(Dy*L)||qq).等式(2)
在等式(2)中以及在本文档的所有其它方程中：(i)下标p表示用于保真项的范数；(ii)上标p表示用于保真项的指数；(iii)下标q表示用于正则项的范数；(iv)上标q表示用于正则项的指数；以及(v)Dx和Dy分别表示用于计算x-和y-方向上的导数的卷积核。等式2在p等于2时为正则化最小二乘代价方程。等式(2)中的第一项||K*L-B||P P为保真项，该保真项使得解满足以具有小噪声项的等式(1)中的模糊模型。此外，在等式(2)中，||Dx*L||q q和||Dy*L||q q是正则项，该正则项帮助注入关于可被当做潜在清晰图像的阵列的先验信息。自然图像的导数往往是稀疏的：大多数点处的导数接近零并且仅在相对少的点(边缘点)处的值较大。正则项有助于实施这一性质。在等式(2)中，ω是正则化权重，是帮助实现保真项与正则项之间的适当平衡的所选择的常数。应当注意，该示例代表非常简单的代价函数。通常，使用更复杂的代价函数，诸如具有涉及一阶导数或更高阶导数的更多个保真项和正则项的代价函数。
当假设图像导数遵循高斯先验分布时，代价函数中用于正则项的指数(上标)和范数(下标)等于2(q＝2)(也被称为“高斯先验”或“2-范数”)，并且该代价函数通常被称为高斯先验代价函数。可惜的是，根据高斯先验代价函数所得的潜在清晰图像通常包括在高对比度边缘附近的强振铃伪影。
在试图改善所得的潜在清晰图像时，在正则项中尝试了其他指数和范数。例如，当假设图像导数遵循拉普拉斯先验分布时，代价函数中的所得的正则化项具有等于1(q＝1)的指数和范数(也被称为“拉普拉斯先验”或“1-范数”)；以及当假设图像导数遵循超拉普拉斯先验分布时，代价函数中的所得的正则化项具有小于1(q＜1)的指数和范数(也被称为“超拉普拉斯先验”或“q-伪范数”)。利用拉普拉斯或超拉普拉斯先验代价函数，减少了振铃伪影，但是通常不能恢复图像中的精细纹理且图像看起来不自然。
发明内容
本发明涉及一种用于利用已知或估计点扩散函数使模糊图像去模糊的方法，该模糊图像包括主边缘和纹理。在一个实施方式中，该方法包括步骤：利用第一阶段正则化空间掩膜执行反卷积的第一阶段，以重构主边缘并且生成具有重构的主边缘的第一阶段潜在清晰图像；以及利用第二阶段正则化空间掩膜执行反卷积的第二阶段，以重构纹理并且生成第二阶段潜在清晰图像，所述第二阶段正则化空间掩膜与所述第一阶段正则化空间掩膜不同。如本文所提供的，本文提供的所提出的多阶段方法产生高质量的去模糊图像。
在一个实施方式中，使用第一阶段潜在清晰图像生成第二阶段正则化空间掩膜。此外，如本文所提供的，(i)正则化的第一阶段可以包括假设拉普拉斯或超拉普拉斯先验且包括第一阶段正则化空间掩膜的第一阶段算法，以抑制振铃伪影和噪声；并且(ii)正则化的第二阶段可以包括假设高斯先验且包括空间先验和第二阶段正则化空间掩膜的第二阶段算法，以在不引进强振铃伪影的情况下帮助恢复图像纹理。
如本文所使用的，对拉普拉斯先验的假设应指的是正则项中的指数为1(q＝1)，对超拉普拉斯先验的假设应指的是正则项中的指数小于1(q＜1)，并且对高斯先验的假设应指的是指数等于2(q＝2)。
另外，该方法可以包括步骤：(i)识别模糊图像中的异常区域；以及(ii)基于所识别的异常区域产生保真项掩膜。此外，第一阶段算法可以使用该保真项掩膜，并且第二阶段算法可以使用该保真项掩膜。
此外，该方法可以包括步骤：(i)利用第三阶段正则化空间掩膜对模糊图像执行反卷积的第三阶段来重构主边缘，以生成第三阶段潜在清晰图像；以及(ii)利用第四阶段正则化空间掩膜执行反卷积的第四阶段来重构纹理，以生成第四阶段潜在清晰图像，第四阶段正则化空间掩膜与第三阶段正则化空间掩膜不同。在这一实施方式中，该方法可以包括步骤：将第二阶段潜在清晰图像与第四阶段潜在清晰图像合并，以产生输出潜在清晰图像。
此外，该方法可以包括步骤：(i)将模糊图像转换到包括亮度通道和色度通道的颜色空间；(ii)利用反卷积的第一阶段和第二阶段执行模糊图像的亮度通道的反卷积；(iii)使用去模糊的色度通道生成第二阶段正则化空间掩膜；以及(iv)利用反卷积的第一阶段和第二阶段执行模糊图像的色度通道的反卷积。
在另一实施方式中，该方法包括步骤：(i)利用假设拉普拉斯或超拉普拉斯先验正则化的第一潜在清晰图像代价函数执行反卷积的第一阶段，以生成具有重构主边缘的第一阶段潜在清晰图像；以及(ii)利用假设高斯先验正则化和空间先验正则化的第二潜在清晰图像代价函数执行反卷积的第二阶段，以生成具有重构纹理的第二阶段潜在清晰图像。
在又一实施方式中，本发明涉及一种用于使模糊图像去模糊的系统，该系统包括控制系统，该控制系统：(i)利用第一阶段正则化空间掩膜执行反卷积的第一阶段，以重构主边缘并且生成具有重构主边缘的第一阶段潜在清晰图像；以及(ii)利用第二阶段正则化空间掩膜执行反卷积的第二阶段，以重构纹理并生成第二阶段潜在清晰图像，第二阶段正则化空间掩膜与第一阶段正则化空间掩膜不同。
在再一实施方式中，本发明的控制系统：(i)利用假设拉普拉斯或超拉普拉斯先验正则化的第一潜在清晰图像代价函数执行反卷积的第一阶段，以生成具有重构主边缘的第一阶段潜在清晰图像；以及(ii)利用假设高斯先验正则化和空间先验正则化的第二潜在清晰图像代价函数执行反卷积的第二阶段，以生成具有重构纹理的第二阶段潜在清晰图像。
附图说明
结合所附描述，根据附图将会最佳地理解关于本发明的结构和操作两者的本发明的新特点以及发明本身，在附图中，相似的附图标记指代相似的部件，并且其中：
图1是具有本发明的特征的相机和计算机的简化视图；
图2图示出具有本发明的特征的多阶段图像反卷积方法的第一实施方式；
图3A是具有本发明的特征的子阶段1A正则化空间掩膜N1的一部分的简化图示；
图3B是具有本发明的特征的子阶段1B正则化空间掩膜N1的一部分的简化图示；
图3C是具有本发明的特征的阶段2正则化空间掩膜N2的一部分的简化图示；
图4A是模糊图像的图示；
图4B是在对图4A的模糊图像进行子阶段1A处理之后的潜在清晰图像的图示；
图4C是在对图4A的模糊图像进行子阶段1B处理之后的潜在清晰图像的图示；
图4D是在对图4A的模糊图像进行阶段2处理之后的最终潜在清晰图像的图示；
图4E是图4A的模糊图像的真实PSF的图示；
图4F是图4A的模糊图像的估计PSF的图示；
图5A图示出具有本发明的特征的另一多阶段图像反卷积方法；
图5B是具有本发明的特征的保真度空间掩膜M的一部分的简化图示；
图6A图示出模糊图像；
图6B图示出阶段2潜在清晰图像；
图6C图示出通过本发明生成的最终潜在清晰图像；
图7是多阶段非盲反卷积方法的算法流程；
图8A是阶段2亮度潜在清晰图像(LPh2_Lum)、阶段4亮度潜在清晰图像(LPh4_Lum)以及亮度通道潜在清晰图像(LLum)的简化图示；
图8B是阶段2Cb色度潜在清晰图像(LPh2_CbChr)、阶段4Cb色度潜在清晰图像(LPh4_CbChr)以及Cb色度通道潜在清晰图像(LCbChr)的简化图示；
图8C是阶段2Cr色度潜在清晰图像(LPh2_CrChr)、阶段4Cr色度潜在清晰图像(LPh4_CrChr)以及Cr色度通道潜在清晰图像(LCrChr)的简化图示；以及
图8D是亮度通道潜在清晰图像(LLum)、Cb色度通道潜在清晰图像(LCbChr)、Cr色度通道潜在清晰图像(LCrChr)以及最终潜在清晰图像(LFinal)的简化图示。
具体实施方式
图1是成像装置10(例如，数码相机)和计算机12(被图示为方框)的简化透视图。应当注意，成像装置10和/或计算机12可以被称为系统。如公知的，在捕获图像(在图1中未示出)期间，成像装置10的移动和/或场景(未示出)中物体(在图1中未示出)的移动可能导致图像模糊。另外地或可替选地，图像的模糊可以由其他情况导致，诸如成像装置10在捕获图像时没有正确聚焦。
作为概述，在某些实施方式中，本发明涉及用于估计模糊图像的潜在清晰图像以及使模糊图像反卷积的若干多阶段算法。换句话说，本发明涉及有效抑制振铃伪影和噪声以及恢复图像纹理的一个或更多个多阶段非盲图像反卷积方法。在某些实施方式中，所提出的方法通过使用下列特征中的一个或更多个特征显著提高了去模糊图像的质量：(i)具有不同的自适应正则化(L1拉普拉斯或超拉普拉斯)先验正则化以及联合的L2高斯和空间先验正则化的反卷积的多个阶段；(ii)利用在保真项中使用空间掩膜来对高亮区域和非高亮区域进行独立的反卷积；和/或(iii)利用使用去模糊亮度通道产生用于色度通道的自适应正则化掩膜来对亮度和色度通道进行独立的反卷积。这样做的结果是，本文提供的所提出的多阶段方法产生高质量的去模糊图像。
在如本文所提供的一个实施方式中，成像装置10可以包括捕获图像的捕获系统13，以及使用用于使模糊图像反卷积的算法中的一个或更多个算法以进行相机机内处理的控制系统14。可替选地，计算机12可以包括使用用于使模糊图像反卷积的算法中的一个或更多个算法的控制系统16。无论在何种情况下，控制系统14、16提供源自模糊图像的去模糊后的潜在清晰图像。控制系统14、16均包括一个或更多个处理器和电路。此外，控制系统14、16中的任何一个可以包括利用本文提供的一个或更多个方法(执行算法)以使模糊图像去模糊的软件。
本文所提供的方法有助于显著提高去模糊图像的质量。所得的去模糊图像包含相对少的振铃伪影和噪声以及更多的精细纹理。此外，在某些实施方式中，能够成功地处理更有难度的图像，这是因为显著减少了裁剪的高亮区域周围的颜色振铃伪影和浓重的振铃伪影。
图2图示出多阶段图像反卷积方法的第一实施方式。在一个实施方式中，多阶段图像反卷积方法可以用于具有已知或估计点扩散函数的非盲反卷积。应当注意，图2中的一些步骤的顺序可以被调换、并行执行，和/或一些步骤是可选的。在这一实施方式中，多阶段图像反卷积方法被表示成二阶段方法。在块200处，通过算法读取模糊图像。随后，在块202处执行模糊图像的阶段1处理，以利用强烈着重于抑制振铃来复原和重构主边缘。接下来，在块204处执行阶段2处理以复原纹理。当阶段2处理结束时，在块205处提供输出潜在清晰图像。如本文所提供的，由于该二阶段方法，所得的去模糊图像包含相对少的振铃伪影和噪声以及更多的精细纹理。
参考图2，在块204处生成自适应阶段1正则化掩膜N1，并且在块206处选择阶段1正则化权重ω1。自适应正则化掩膜N1可以是粗略的，并且可以根据模糊图像而被计算出。选择正则化权重ω1以实现期望量的正则化。合适的正则化权重ω1的非排他性示例为约1e-1、1e-2、1e-3或1e-4，正则化权重ω1的值将取决于PSF的准确度以及其他因素。随后，在块208处，阶段1潜在清晰图像代价函数被最小化。如本文所提供的，在某些实施方式中，阶段1潜在清晰图像代价函数使用拉普拉斯先验或超拉普拉斯先验，以及阶段1自适应正则化掩膜N1。
如本文所提供的，阶段1潜在清晰图像代价函数可以被多次最小化，其中利用改善的正则化掩膜N1以及减小的正则化(更小的正则化权重ω1)来执行每个随后的最小化。为了便于论述，阶段1潜在清晰图像代价函数的第一次最小化可被称为子阶段1A处理，而阶段1潜在清晰图像代价函数的第二次最小化可被称为子阶段1B处理。
在某些实例中，子阶段1A处理和子阶段1B处理是准确地重构主边缘所需的全部处理。可替选地，如果希望附加处理以更好地复原边缘，则阶段1潜在清晰图像代价函数的第三次最小化可被称为子阶段1C处理，并且随后的最小化可被称为子阶段1D、1E等。
通常，在子阶段1A期间，可以通过以约6-10次迭代进行变量分离和交替最小化来使阶段1代价函数最小化。在子阶段1A处理期间，存在利用强烈着重于抑制振铃对图像的粗糙复原，并且子阶段1A潜在清晰图像为具有极少振铃的轻微模糊的图像。
在子阶段1A处理结束之后，在块210处估计最小化的次数以确定是否已经执行了期望次数的最小化。如果最小化的期望次数为2，则答案为否并且子阶段1B处理开始。在子阶段1B处理中，在块212处更新并改进阶段1正则化掩膜N1，并且在块214处，通过减小阶段1正则化权重ω1来减小正则化。例如，在子阶段1B中，可以根据模糊图像和阶段1A潜在清晰图像两者计算阶段1正则化掩膜N1。此外，作为非排他性示例，对于每个随后的子阶段，阶段1正则化权重ω1可以小约1、2、5、7或10倍。
接下来，在块208处，利用改进的掩膜N1和减小的正则化再次使阶段1潜在清晰图像代价函数最小化。通常，在子阶段1B期间，可以通过以约6-10次迭代进行变量分离和交替最小化来使阶段1代价函数最小化。在子阶段1B处理之后，存在利用强烈着重于抑制振铃对图像的更精确的复原。通常，子阶段1B算法利用清晰的主边缘和极少的振铃产生子阶段1B潜在清晰图像，但是(在某些图像中)由于通过拉普拉斯或超拉普拉斯先验的强振铃抑制而缺少精细纹理。
在子阶段1B处理之后，在块210处估计最小化的次数以确定是否已经执行了期望次数的最小化。如果最小化的期望次数为2，则答案为是，阶段1处理完成，阶段1B潜在清晰图像为阶段1潜在清晰图像，并且阶段2处理开始。可替选地，如果期望次数为三或更多，则利用更新的阶段1正则化掩膜N1以及进一步减小的阶段1正则化权重ω1执行子阶段1C处理。可以重复该循环，直到发生了期望程度的边缘复原。
阶段2处理从块216开始，在块216处生成自适应阶段2正则化掩膜N2，并且在块218处选择阶段2正则化权重ω2，以实现期望程度的正则化。例如，在阶段2中，可以根据模糊图像以及阶段1处理的最终结果(阶段1潜在清晰图像)两者来计算阶段2正则化掩膜N2。随后，在块220处，阶段2潜在清晰图像代价函数被最小化。如本文所提供的，在某些实施方式中，阶段2潜在清晰图像代价函数可以使用阶段2正则化掩膜N2、恢复和复原图像纹理的高斯先验、以及抑制强振铃伪影的引入的空间先验。可以通过变量分离和交替最小化来使阶段2代价函数最小化(例如，通常在约3次迭代内)。
在完成阶段2代价函数的最小化之后，在块205处输出所得的潜在清晰图像。可替选地，可以重复一次或更多次阶段2代价函数的最小化(某种程度上类似于阶段1)，其中每个随后的处理均使用改善的阶段2正则化掩膜N2。
利用本发明，(i)在阶段1中，该算法在有效地抑制振铃伪影和噪声的同时使模糊图像反卷积，并且(ii)在阶段2中，该算法恢复图像纹理。利用这一设计，多阶段算法能够产生几乎没有振铃、包含极少噪声并且也包含自然纹理的去模糊图像。此外，在某些实施方式中，该方法非常快速，这是因为可以使用变量分离和交替最小化来使代价函数最小化。
应当注意，上述的两阶段算法也可以被描述成三阶段算法，在该三阶段算法中，子阶段1A和子阶段1B(二者均使用拉普拉斯或超拉普拉斯先验)被认为是两个独立的阶段。
作为一个非排他性示例，阶段1潜在清晰图像代价函数(用于子阶段1A、1B等处理)可以具有非盲反卷积的以下形式：
在等式3中，以及在本文档的其它位置，(i)c(L)为潜在清晰图像估计代价函数；(ii)L为潜在清晰图像；(iii)K为PSF核；(iv)B为模糊图像；(v)Dx和Dy为一阶偏导数算子；(vi)α1为第一保真度权重参数且α2为第二保真度权重参数，权重参数有助于设置保真项之间的适当平衡，以实现保真项之间的最佳折衷；(vii)ω1为用于平滑区域的第一正则化权重；(viii)下标p表示用于保真项的范数且上标p表示用于保真项的指数；(ix)下标q表示用于正则项的范数且上标q表示用于正则项的指数；并且(x)N1为用于阶段1处理的第一阶段正则化空间掩膜。如本文所提供的，在阶段1处理中，如果假设拉普拉斯先验，则q等于1(q＝1)，或者如果假设超拉普拉斯先验，则q小于1(q＜1)。
对于等式3，其它保真项是可能的。例如，能够仅使用一个保真项(α2＝0)。然而，在某些实施方式中，包括具有一阶导数的保真项并且给他们施加更大的权重(第二保真度权重参数大于第一保真度权重参数(α2>>α1))能够得到更好的结果。在一些实施方式中，不具有导数的保真项必须存在(α1＞0)，这是因为所有正则项都包括导数，否则用于更新L的封闭形式方程的分母中将存在零。在一个非排他性实施方式中，第一保真度权重参数α1可以被设置成等于0.001(α1＝0.001)，并且(ii)第二保真度权重参数α2可以被设置成等于1(α2＝1)。然而，也可以使用其它值。利用这一该设计，等式(3)的代价函数主要取决于具有导数的保真项。使用具有图像导数的一个或更多个保真项有助于减小振铃。
可以利用针对保真项等于2(p＝2)以及针对拉普拉斯先验(q＝1)的假设的指数和范数重写等式(3)，如下所示：
在一个非排他性实施方式中，可以通过变量分离和交替最小化使等式(4)最小化。在某些情况下，可能需要约6次到10次迭代来抑制振铃。在某些实施方式中，为了使等式(4)的代价函数最小化，可以创建具有辅助变量Wx和Wy的以下函数：
在等式(5)中，(i)辅助阵列Wx代替了正则项中的偏导数Dx*L且辅助阵列Wy代替了正则项中的偏导数Dy*L；(ii)存在令Wx≈Dx*L和Wy≈Dy*L的两个惩罚项||Wx-Dx*L||2 2和||Wy-Dy*L||2 2，并且(iii)β是惩罚权重，已添加惩罚权重来帮助平衡惩罚项的影响。通过分别对Wx、Wy和L进行交替最小化可以迭代地使等式(5)最小化。在所有三种情况下，可以容易地估计到存在用于最小化的封闭形式方程。在某些实施方式中，通常在以交替方式对Wx、Wy和L进行迭代最小化期间增大惩罚权重β。在一个非排他性实施方式中，在第一次迭代中可以使用惩罚权重β＝1，而在每个随后的迭代中可以以因子(例如，在一个非排他性示例中，因子为2)增大惩罚权重β。
对于Wx和Wy，可以使用以下最小化方程：
sthr(x；y)＝sign(x)max(0，|x|-y)等式(8)
在等式(8)中，sthr为软阈值函数(应用于阵列的每个元素)。
如本文所提供的，用于等式(5)的潜在清晰图像代价函数的最小化的封闭形式方程如下所示：
在等式(9)中，F为傅里叶变换算符，并且D具有以下值：
用于阶段1的正则化空间掩膜N1(以及用于阶段2的N2)为用于正则项中的各个像素的各个权重的阵列，该阵列可以用于抑制噪声和振铃。作为非排他性示例，正则化空间掩膜中的像素可以具有在0与1之间的任何值。可替选地，正则化空间掩膜可以为二进制掩膜，在该二进制掩膜中，像素具有或0或1的值。与掩膜的相乘是逐点的。
存在许多产生正则化空间掩膜的可能方法。在一个非排他性示例中，对阶段1中的正则化空间掩膜N1的估计至少执行两次，(i)第一次(针对子阶段1A处理)利用根据模糊原始图像而被计算出的粗糙掩膜，以及(ii)第二次(针对子阶段1B处理)利用使用在子阶段1A处理之后得到的潜在清晰图像L计算的精细掩膜以及模糊图像B。
例如，对于子阶段1A处理，正则化空间掩膜N1可以具有用于原始模糊图像的平滑区域中的像素的更高的权重，以及用于原始模糊图像的边缘区域中的像素的更低的权重。例如，可以对原始模糊图像使用高通滤波器，以识别平滑区域中的像素和边缘区域中的像素。图3A是针对像素具有不同值的子阶段1A正则化空间掩膜N1300的一部分的简化图示。
此外，对于子阶段1B处理，可以使用模糊图像和从子阶段1A处理得到的潜在清晰图像L两者来计算正则化空间掩膜N1。在一个实施方式中，用于子阶段1B处理的正则化空间掩膜N1针对平滑区域中的像素将具有较高的权重，并且针对边缘区域中的像素将具有较低的权重。例如，可以对原始模糊图像和从子阶段1A处理得到的潜在清晰图像L两者使用高通滤波器，以识别平滑区域中的像素和边缘区域中的像素。因此，用在子阶段1B处理中的正则化空间掩膜N1比用在子阶段1A处理中的正则化空间掩膜N1更准确。图3B是针对像素具有不同值的子阶段1B正则化空间掩膜N1302的一部分的简化图示。
在某些实施方式中，除了使用更弱的正则化(更小的正则化权重ω1的值)以及改善的第一阶段空间掩膜N1以外，子阶段1B代价函数与子阶段1A代价函数相同(例如，等式3)。作为非排他性示例，在子阶段1B的更弱的正则化的情况下，正则化权重ω1的值可以比阶段1A中的相应值弱约5、10、15或20倍。
另外，如上文所提供的，阶段1可以包括具有相同代价函数(例如，等式3)的子阶段1C处理(或者更多处理，例如，子阶段1D、子阶段1E等)，其中，基于来自先前的处理步骤的潜在清晰图像，每个随后的子阶段处理包括更弱的正则化(更小的正则化权重ω1的值)和/或改善的正则化掩膜N1。
阶段1产生相对干净，没有振铃和噪声的图像，但是这些图像缺少纹理。相反，阶段2专注于恢复纹理。为了恢复纹理，在某些实施方式中，阶段2算法(i)假设高斯先验(q＝2)，高斯先验不像拉普拉斯或超拉普拉斯先验那样大程度抑制纹理；(ii)高斯先验正则项中的阶段2正则化空间掩膜N2；并且(iii)基于阶段1的结果的第二先验，以抑制振铃。合适的阶段2潜在清晰图像代价函数的一个非排他性示例具有以下形式：
在等式(11)中，(i)ω2是用于平滑区域的阶段2正则化权重；(ii)N2是用于阶段2处理的阶段2正则化空间掩膜；(iii)LPhase1表示在阶段1处理结束时所估计的潜在清晰图像(例如，子阶段1B的输出)；(iv)||L-LPhase1||2 2是空间先验；并且(v)σ是用于空间先验的正则化权重，以为空间先验提供适当的权重。在等式(11)中，(i)方程的正则项的指数和范数使用了平方(q＝2)，这是因为假设高斯先验有利于复原纹理，并且(ii)使用空间先验来抑制振铃和噪声。
对于阶段2处理，变量分离法可以用于以有效方式对等式(11)的代价函数进行分离和交替最小化。在这一示例中，虽然假设了高斯先验，但是正则项中的空间掩膜N2使得能够推导出最小化的封闭形式方程。从等式(11)推导的新的阶段2代价函数可以具有以下形式：
在等式(12)中，在一个非排他性实施方式中，在第一次迭代中可以使用惩罚权重β＝1，并且在每个随后的迭代中可以以因子(例如，在一个非排他性示例中，因子为2)增加惩罚权重β。作为非排他性示例，合适的正则化权重σ大致可以在1e-2与1e-3之间。然而，可以使用β和σ的其他值。
通过对L、Wx、Wy进行变量分离和交替最小化来使等式(12)的代价函数最小化。在许多情况下，不需要许多次迭代。变量分离后，用于更新L、Wx、Wy的方程以及代价函数可以表示成如下所示：
如本文所提供的，存在用于等式(12)的潜在清晰图像代价函数的最小化的封闭形式方程，如下所示：
其中，D与上文在等式(10)中提供的D相同。
在阶段2中，可以再次使用正则化空间掩膜N2来抑制噪声和振铃，并且该正则化空间掩膜N2可以根据模糊图像和在阶段1处理结束(例如，子阶段1B结束)时估计的潜在清晰图像来计算。在一个实施方式中，正则化空间掩膜N2将具有用于平滑区域中的像素的较高权重，以及用于边缘区域中的像素的较低权重。例如，可以对原始模糊图像和阶段1处理的结果两者使用高通滤波器，以识别平滑区域中的像素和边缘区域中的像素。用于阶段2处理的空间掩膜N2应当比用于阶段1处理的最终空间掩膜N1更准确。图3C是针对不同像素示出不同值的阶段2正则化空间掩膜N2304的一部分的简化图示。
图4A是模糊图像400的图示。图4B是在对图4A的模糊图像400进行子阶段1A处理之后的潜在清晰图像402的图示。在子阶段1A处理之后，存在利用强烈着重于抑制振铃对图像的粗糙复原，并且子阶段1A潜在清晰图像402为具有极少振铃的轻微模糊图像。图4C是在对图4A的模糊图像400进行子阶段1B处理之后的潜在清晰图像404的图示。子阶段1B处理产生具有极少振铃或噪声的潜在清晰图像404，但是该图像缺少精细纹理(看上去是色调分离的)。图4D是在对图4A的模糊图像400进行阶段2处理之后的最终潜在清晰图像406的图示。在阶段2处理之后产生的潜在清晰图像406复原了纹理，以得到看上去更自然的复原图像。因此，如本文所提供的，多阶段算法有助于得到几乎没有振铃伪影和噪声的高质量去模糊图像，而该图像确实包括精细纹理。
图4E是图4A的模糊图像400的真实PSF408的图示。真实PSF408仅在设立实验并且利用真实PSF408人为地使模糊图像400模糊的情况下是已知的。
图4F是图4A的模糊图像的估计PSF410的图示。估计PSF410可以使用盲反卷积算法而被估计。随后，PSF410可以被用于本文提供的非盲反卷积方法中的一个方法，以得到整个最终潜在清晰图像。
应当注意，上文提供的阶段1代价函数和阶段2代价函数是非排他性示例，并且可以对阶段1代价函数和阶段2代价函数进行显著修改。例如，阶段1代价函数和阶段2代价函数可以被修改成：(i)在保真项中假设拉普拉斯范数(p＝1)；(ii)在保真项中假设超拉普拉斯(伪范数)(p＜1)；和/或(iii)在保真项中使用空间掩膜。可以通过使用与上面提供的变量分离算法类似的变量分离算法来使这样的代价函数最小化。可以使用的变量分离法的另一非排他性示例在Sroubek和Milanfar的论文(F.Sroubek,P.Milanfar:凭借快速交替最小化的鲁棒多通道盲反卷积(RobustMultichannelBlindDeconvolutionviaFastAlternatingMinimization),IEEETransIm.Proc,2012)中被描述，其中，在允许的情况下，该论文的内容通过引用合并到本文中。
如本文所提供的，比起上文提供的代价函数，可以更一般地表示阶段1潜在清晰图像代价函数和阶段2潜在清晰图像代价函数。例如，可以将等式(3)的阶段1代价函数更一般地表示成如下所示：
c(L)＝保真项+ω1(||N1(Dx*L)||q q+||N1(Dy*L)||q q)·等式(16)
可替选地，用于等式16的代价函数的正则项针对1-范数梯度可以表示成
此外，可以将等式(11)的阶段2代价函数更一般地表示成如下所示：
c(L)＝保真项+ω2(||N2(Dx*L)||2 2+||N2(Dy*L)||2 2)+σ||L-LPhase1||2 2等式(17)
用在等式(16)和(17)中的准确保真项可以不同。在一个实施方式中，保真项可以表示成如下所示：
在等式(18)中，α0、α1、α2、α11、α12和α22为保真项权重。应当注意，保真项权重可以被选择为零(“0”)或其他权重。这样做的结果是，在等式(18)中，该代价函数涵盖具有导数和不具有导数的两种情况。还应当注意，可以使用与上文提供的变量分离算法类似的变量分离算法来使等式(16)和(17)中的代价函数最小化。例如，除了用α0+α1conj(F(Dx))F(Dx)+α2conj(F(Dy))F(Dy)+α11conj(F(Dxx))F(Dxx)+α12conj(F(Dxy))F(Dxy)+α22conj(F(Dyy))F(Dyy)代替各处的项α1+α2D以外，这些方程与上述方程(6、7、9以及13、14、15)几乎相同。
反卷积对任何从线性模糊模型的偏离非常敏感。现实生活中的图像通常包含由于传感器饱和引起的已被裁剪的高亮区。裁剪是强非线性的并且违反常规的线性模糊模型。高亮区具有高对比度边缘，高对比度边缘往往在去模糊图像中导致严重的振铃伪影。上文描述的多阶段算法不具有处理烧毁的高亮区或者其它异常区的能力。然而，如本文所提供的，在本发明的某些实施方式中，可以将保真度空间掩膜M加到阶段1代价函数和阶段2代价函数的保真项中的一个或更多个保真项，以允许对异常区进行特殊处理。
如本文所提供的，等式16的阶段1代价函数可以被重写成包括保真度空间掩膜M的代价函数，如下所示：
此外，等式17的阶段2代价函数可以被重写成包括保真度空间掩膜M的代价函数，如下所示：
在等式19和20中，M为允许对某些像素例如异常区进行特殊处理的自适应保真度空间掩膜。例如，保真度空间掩膜M可以用于限定图像的要被处理成如下区域的范围，所述区域不包括裁剪的高亮区(例如，限定与异常区相距足够远的范围)。利用这一设计，高亮区域可以被独立地、并且以与不包括裁剪的高亮区的区域不同的参数来去模糊。
图5A图示出具有处理模糊图像500中的烧毁高亮区或其它异常区的能力的多阶段图像反卷积方法。应当注意，图5A中的一些步骤的顺序可以被调换、并行执行，和/或一些步骤是可选的。在这一实施方式中，该多阶段图像反卷积方法可以被认为是包括用于异常区(例如，高亮区)的特殊处理的四阶段非盲图像反卷积方法。
更具体地，在这一实施方式中，四阶段非盲图像反卷积方法可以分为：(i)阶段1处理502；(ii)阶段2处理504；(iii)阶段3处理506；以及(iv)阶段4处理508。在这一实施方式中，(i)除了阶段1代价函数包括保真度空间掩膜M以外，阶段1处理502与在图2中图示并在上文描述的阶段1处理202类似；(ii)除了阶段2代价函数包括保真度空间掩膜M以外，阶段2处理504与在图2中图示并在上文描述的阶段2处理204类似；(iii)阶段3处理506与在图2中图示并在上文描述的阶段1处理202类似；并且(iv)阶段4处理508与在图2中图示并在上文描述的阶段2处理204类似。
利用这一设计，(i)四阶段方法的阶段1处理502可以用来复原非异常区域中的边缘；(ii)四阶段方法的阶段2处理504可以用来复原非异常区域中的纹理；(iii)四阶段方法的阶段3处理506可以用来复原异常区域中的边缘；并且(iv)四阶段方法的阶段4处理508可以用来复原异常区域中的纹理。因此，在这一实施方式中，(i)阶段1处理502和阶段2处理504用来复原非异常区域，并且(ii)阶段3处理506和阶段4处理508用来复原异常区域。
参考图5A，在块500处，通过算法读取模糊图像。随后，在块510处，检查该模糊图像以识别异常像素(区域)和非异常像素(区域)。在一个实施方式中，异常区域为高亮区域(图像传感器饱和的区域)，并且非异常区域为非高亮区域。例如，模糊图像中具有高于特定亮度阈值的亮度值的像素可以被归类为异常像素，而具有小于亮度阈值的亮度值的像素被归类为非异常像素。在某些实施方式中，在异常像素附近的像素也可能被归类为异常像素。
在识别了异常区域和非异常区域之后，对这些区域的独立处理可以开始。在块512处，生成自适应保真度空间掩膜M。作为非排他性示例，保真度空间掩膜M可以为具有或0或1的值的二进制掩膜。在这一示例中，保真度空间掩膜M1可以对被归类为异常像素的像素而具有值0，以及对被归类为非异常像素的像素而具有值1。在这一示例中，(i)异常区及其附近的像素将被分配值0；并且(ii)其余像素将被分配值1。
可替选地，保真度空间掩膜M的像素可以具有大约在0到1的范围内的值。在这一示例中，(i)异常区及其附近的像素可以被分配值0；(ii)与异常区相距足够远的像素可以被分配值1；并且(iii)根据与异常区相距多远，其余像素将具有大约在0到1之间的值。这样做将形成更平滑的过渡。图5B是保真度空间掩膜M550的一部分的简化图示。
返回来参考图5A，随后，在块502处，执行阶段1处理，以利用强烈着重于抑制振铃来复原非异常区域中的主边缘。除了以下区别以外，这里的阶段1处理502与参考图2在上文描述的阶段1处理202类似，所述区别为：阶段1代价函数的保真项中除了自适应正则化空间掩膜N1以及拉普拉斯或超拉普拉斯先验正则化以外，还包括保真度空间掩膜M。在这一实施方式中，保真度空间掩膜M用来限制对与异常区相距足够远的区域的反卷积，这抑制了异常区周围的振铃。与在图2中描述的实施方式类似，阶段1处理502可以包括子阶段1A、1B、1C等，其中每个随后的子阶段均具有减小的正则化和改善的自适应正则化空间掩膜。
在非异常区域的阶段1处理完成之后，执行非异常区域的阶段2处理504，以在块504处复原纹理。除了以下区别以外，这里的阶段2处理504与参考图2在上文描述的阶段2处理类似，所述区别为：阶段2代价函数的保真项中除了自适应正则化空间掩膜N2、高斯先验正则化以及空间先验正则化以外，还包括保真度空间掩膜M。在阶段2处理504中，保真度空间掩膜M用于代价函数的保真项，以限制对与异常区相距足够远的区域的反卷积。这能够用来抑制异常区周围的振铃，并且异常区域能够获得更强的正则化。
这样做的结果是，阶段2潜在清晰图像包含相对少的振铃伪影和噪声，以及更多的精细纹理。从非异常区域的阶段2处理504生成的阶段2潜在清晰图像被用来生成最终潜在清晰图像516。
接下来，在块506处，执行阶段3处理，以利用强烈着重于抑制振铃来复原异常区域中的主边缘。除了以下区别以外，这里的阶段3处理506与参考图2在上文描述的阶段1处理202类似，所述区别为：(i)使用更强的正则化来抑制振铃；以及(ii)需要改变用于阶段3处理的保真度空间掩膜M(“阶段3保真度空间掩膜M3”)，以使得异常区域得到复原。例如，阶段3处理代价函数可以执行以下操作中的任一操作：(i)完全忽略保真度空间掩膜M3并复原整个图像，或者(ii)用1减去阶段1保真度空间掩膜M来作为阶段3保真度空间掩膜M3(M3＝1-M)，以限制对异常区域的复原。与在图2中描述的实施方式类似，阶段3处理506可以包括子阶段3A、3B、3C等，其中，每个随后的子阶段均具有减小的正则化和改善的自适应正则化空间掩膜。
在异常区域的阶段3处理完成之后，在块508处执行阶段4处理以对异常区域复原纹理并生成阶段4潜在清晰图像。除了以下区别以外，这里的阶段4处理508与参考图2在上文描述的阶段2处理类似，所述区别为：(i)使用更强的正则化来抑制振铃；以及(ii)需要改变用于阶段4处理的保真度空间掩膜M(“阶段4保真度空间掩膜M4”)，以使得异常区域得到复原。例如，阶段4处理代价函数可以执行以下操作中的任一操作：(i)完全忽略保真度空间掩膜M4并复原整个图像，或者(ii)用1减去阶段2保真度空间掩膜M来作为阶段4保真度空间掩膜M4(M4＝1-M)，以限制对异常区域的复原。
接下来，在块514处，阶段2潜在清晰图像与阶段4潜在清晰图像合并，以产生输出潜在清晰图像516。例如，阶段4潜在清晰图像的异常区域可以与阶段2潜在清晰图像的非异常区域结合，以生成输出潜在清晰图像516。利用这一设计，能够使用本文提供的多阶段方法以与非高亮区域不同的参数分别使高亮区域去模糊。
在一个实施方式中，最终输出(潜在清晰图像L)可以表示成如下所示：
L＝MBlendLPhase2+(1-MBlend)LPhase4·等式(21)
在等式(21)中，(i)MBlend为混合掩膜；(ii)LPhase2为阶段2处理之后的潜在清晰图像；并且(iii)LPhase4为在阶段4处理之后的潜在清晰图像。在一个实施方式中，混合掩膜MBlend为用在阶段1处理502和阶段2处理504中的同一保真度空间掩膜M。利用这一设计，如果掩膜M不是二进制的，则与异常区足够远的区域中的像素被分配阶段2处理504的结果，并且异常区域中的像素被分配阶段4处理508的结果，并且这两个区域之间存在平滑过渡。
应当注意，在这一实施方式中，当模糊图像中没有异常区(在块510处无异常区被识别出)时，可以忽略阶段3处理506和阶段4处理508，并且最终输出潜在清晰图像516为阶段2潜在清晰图像。
此外，用户也可以选择与是否检测到任何异常区无关地进行：(i)忽略阶段3处理506和阶段4处理508，以及(ii)使用阶段2潜在清晰图像作为最终输出潜在清晰图像516。例如，如果PSF很小，则异常区周围的被遗留为模糊的区域相对较小，并且该模糊与由阶段3处理506和阶段4处理508引入的振铃伪影相比可能没那么令人讨厌。此外，忽略阶段3处理506和阶段4处理508提高了算法的速度。
下面提供用于非异常区域的阶段1处理502的合适的阶段1代价函数的一个非排他性示例：
在一个非排他性示例中，保真度权重参数α1可以被设置成等于0.001(α1＝0.001)，并且保真度权重参数α2可以被设置成等于1(α＝1)。这样做的结果是，代价函数主要取决于具有导数的保真项，这有助于减少振铃。在等式(22)中，M为自适应保真度空间掩膜，N1为自适应正则化空间掩膜，并且ω1为平滑区域中的正则化权重。
可以通过变量分离和交替最小化来使等式(22)的代价函数最小化。在某些实例中，需要约6-8次的迭代以抑制振铃。分离之后的等式(22)的代价函数可以表示成如下所示：
作为非排他性示例，可以在第一次迭代中使用惩罚权重γ＝β＝1，并且在每次迭代中分别以因子(对于γ)和因子2(对于β)增大惩罚权重。
最小化方程如下所示：
此外，存在用于等式(23)的潜在清晰图像代价函数的最小化的封闭形式方程，如下所示：
在等式(26)中，D具有与等式(10)中的D相同的值。
下面提供用于非异常区域的阶段2处理504的合适的阶段2代价函数的一个非排他性示例：
可以通过变量分离和交替最小化来使等式(28)的阶段2代价函数最小化。在某些实例中，似乎需要不多于约3次的迭代。分离之后的等式(28)的代价函数可以表示成如下所示：
在一个非排他性实施方式中，在第一次迭代中使用惩罚权重γ＝β＝1，并且在每次迭代中分别以因子(对于α)和因子2(对于β)增加惩罚权重。
可以使用以下最小化方程：
此外，存在用于等式(29)的潜在清晰图像代价函数的最小化的闭合形式方程，如下所示：
在等式(33)中，D具有与等式(10)中的D相同的值。
下面提供用于异常区域的阶段3处理506的合适的阶段3代价函数的一个非排他性示例：
应当注意，等式(34)与上面提供的等式(4)相同。在这一阶段3代价函数中，不使用保真度空间掩膜M3。可以迭代地使等式(34)的阶段3代价函数最小化，并且一种可能性包括如在具有交替最小化的、上述等式6、7和9中所提供的变量分离。应当注意，可以使用阶段2潜在清晰图像来计算自适应正则化空间掩膜N1。还应当注意，高亮区域中的复原使用更多正则化，因此更粗糙。
在阶段4处理508中，复原了异常区中和异常区周围的一些纹理。下面提供用于异常区域的阶段4处理508的合适的阶段4代价函数的一个非排他性示例：
在给出模糊图像B和PSF核K的情况下，阶段4代价函数可以表示成如下所示：
应当注意，等式(35)在某种程度上与上文提供的等式(11)类似。在这一阶段4代价函数中，不使用保真度空间掩膜M4。可以迭代地使等式(35)的阶段4代价函数最小化，并且一种可能性包括在某种程度上与具有交替最小化的、等式13-15类似的变量分离。在一个实施方式中，存在用于最小化的封闭形式方程，如下所示：
应当注意，通过限制L与LPhase3的差异，等式35的阶段4代价函数包含在每次迭代中对潜在清晰图像进行后处理的选项。目的是减少振铃，但是在某些实例中，这会导致坏的色调分离。因此，默认可以关闭该选项。
图6A是包括高亮(异常)区域610(以白色示出)以及非高亮(非异常)区域612的模糊图像600的简化图示。图6B是阶段2潜在清晰图像602的简化图示。当完成阶段2处理时，尚未发生异常区域复原。
图6C是通过将阶段2潜在清晰图像602(在图6B中示出)与阶段4潜在清晰图像组合生成的最终潜在清晰图像604的简化视图。最终潜在清晰图像604包括异常区域复原。
参考图6B和图6C，阶段2处理的结果包含非常小的振铃，但是异常形状并未正确复原且异常区周围的区域依然模糊。阶段4处理帮助复原了异常形状以及异常区周围的一些纹理。
在又一实施方式中，本发明涉及具有在亮度-色度颜色空间中进行异常处理的多阶段非盲反卷积方法。如本文所提供的，去模糊图像通常有以下缺点：由偏离线性成像和模糊模型、PSF的不准确性以及其它因素引起的严重的振铃伪影。因此，振铃伪影极难避免。此外，如本文所提供的，当将去模糊独立应用于RGB(红、蓝、绿颜色空间)图像的每个颜色通道时，振铃伪影有可能具有浓重的颜色。因此，颜色伪影可能会更明显和令人讨厌。
在一个实施方式中，本发明通过在分离亮度(亮度分量)与色度(颜色分量)的某颜色空间中执行去模糊来减少颜色伪影。在这一实施方式中，因为人类视觉系统对色度清晰度不太敏感，所以可以针对色度通道增加正则化，以减少颜色振铃。此外，去模糊的亮度通道可以用于生成用于色度通道的自适应正则化掩膜。
此外，在某些实施方式中，可以针对色度通道减少阶段的数目。这会加速算法。
图7是主要在YCbCr颜色空间中执行的多阶段非盲反卷积方法的算法流程。在步骤700处，将模糊图像输入到系统中，读取原始图像数据，使原始图像数据去马赛克，并且将图像转换到包括亮度和色度通道的颜色空间(例如，YCbCr颜色空间)。在一个实施方式中，在亮度通道701L上执行并随后在两个色度通道701C上执行多阶段方法，该多阶段方法为在图5中示出并在上文描述的4阶段方法。应当注意，Cb色度通道或Cr色度通道中的任一通道可以被称为第一色度通道或第二色度通道。
更具体地，将模糊图像输入到块701L中，并且亮度通道的处理开始。在块710处，检查模糊图像，以识别异常像素(区域)和非异常像素(区域)(类似于块512)，在块712L处，生成自适应保真度空间掩膜M(类似于块512)。
在块702L处，在亮度通道上执行阶段1处理，以利用强烈着重于抑制振铃来复原非异常区域中的主边缘(类似于块502)。阶段1处理702L包括阶段1代价函数，其中，除了自适应正则化空间掩膜N1和拉普拉斯或超拉普拉斯先验正则化以外，阶段1代价函数的保真项中还包括保真度空间掩膜M。阶段1处理702L可以包括子阶段1A、1B、1C等，其中，每个随后的子阶段均具有减小的正则化和改善的自适应正则化空间掩膜。
接下来，在亮度通道上对非异常区域执行阶段2处理，以在块704L处复原纹理(类似于块504)并生成阶段2亮度潜在清晰图像(Lph2_Lum)。阶段2处理包括阶段2代价函数，其中，除了自适应正则化空间掩膜N2、高斯先验正则化以及空间先验正则化以外，阶段2代价函数的保真项中还具有保真度空间掩膜M。
随后，在块706L处，在亮度通道上执行阶段3处理，以利用强烈着重于抑制振铃来复原异常区域中的主边缘(类似于块506)。阶段3处理706L可以包括子阶段3A、3B、3C等，其中，每个随后的子阶段均具有减小的正则化和改善的自适应正则化空间掩膜。
接下来，在块708L处，在亮度通道上执行阶段4处理，以对异常区域复原纹理并生成阶段4亮度潜在清晰图像(LPh4_Lum)(类似于块508)。
接下来，在块714L处，并且参考图8A，阶段2亮度潜在清晰图像(LPh2_Lum)810与阶段4亮度潜在清晰图像(LPh4_Lum)812合并，以产生亮度通道潜在清晰图像(LLum)814。例如，阶段4潜在清晰图像的异常区域可以与阶段2潜在清晰图像的非异常区域组合，以生成亮度通道潜在清晰图像(LLum)814。
返回来参考图7，在块710C处，两个色度通道的处理701C开始。在块715处，使用亮度通道潜在清晰图像(LLum)814来更新/生成自适应正则化空间掩膜N1。
在块702C处，在每个色度通道上执行阶段1处理，以利用强烈着重于抑制振铃来复原非异常区域中的主边缘(类似于块502)。对于每个色度通道，阶段1处理702L可以包括使用阶段1代价函数，其中，除了自适应正则化空间掩膜N1和拉普拉斯或超拉普拉斯先验正则化以外，阶段1代价函数的保真项中还包括保真度空间掩膜M。对于每个色度通道，阶段1处理702C可以包括子阶段1A、1B、1C等，其中，每个随后的子阶段均具有减小的正则化和改善的自适应正则化空间掩膜。
接下来，在两个色度通道上对非异常区域执行阶段2处理，以在块704C处复原纹理(类似于块504)并且生成：(i)阶段2Cb色度潜在清晰图像(LPh2_CbChr)；以及(ii)阶段2Cr色度潜在清晰图像(LPh2_CrChr)。对于每个色度通道，阶段2处理可以包括使用阶段2代价函数，其中，除了自适应正则化空间掩膜N1、高斯先验正则化以及空间先验正则化以外，阶段2代价函数的保真项中还具有保真度空间掩膜M。
随后，在块706C处，在两个色度通道上执行阶段3处理，以利用强烈着重于抑制振铃来复原异常区域中的主边缘(类似于块506)。对于每个色度通道，阶段3处理706C可以包括子阶段3A、3B、3C等，其中，每个随后的子阶段均具有减小的正则化和改善的自适应正则化空间掩膜。
接下来，在块708C处，在每个色度通道上执行阶段4处理(类似于块508)，以对异常区域复原纹理并且生成：(i)阶段4Cb色度潜在清晰图像(LPh4_CbChr)；以及(ii)阶段4Cr色度潜在清晰图像(LPh4_CrChr)。
接下来，在块714C处，(i)参考图8B，阶段2Cb色度潜在清晰图像(LPh2_CbChr)816与阶段4Cb色度潜在清晰图像(LPh4_CbChr)818合并，以产生Cb色度通道潜在清晰图像(LCbChr)820；并且(ii)参考图8C，阶段2Cr色度潜在清晰图像(LPh2_CrChr)822与阶段4Cr色度潜在清晰图像(LPh4_CrChr)824合并，以产生Cr色度通道潜在清晰图像(LCrChr)826。例如，阶段2Cb色度潜在清晰图像(LPh2_CbChr)816的非异常区域可以与阶段4Cb色度潜在清晰图像(LPh4_CbChr)818的异常区域组合，以产生Cb色度通道潜在清晰图像(LCbChr)820。类似地，阶段2Cr色度潜在清晰图像(LPh2_CrChr)822的非异常区域可以与阶段4Cr色度潜在清晰图像(LPh4_CrChr)824的异常区域组合，以产生Cr色度通道潜在清晰图像(LCrChr)826。
随后，在块720处发生最终处理。在这一块中，参考图8D，亮度通道潜在清晰图像(LLum)814、Cb色度通道潜在清晰图像(LCbChr)820以及Cr色度通道潜在清晰图像(LCrChr)826可以被转换到RGB颜色空间，可以应用γ和对比度曲线，并且执行其它操作(例如，锐化)来生成最终潜在清晰图像(LFinal)828。最后，在块716处输出最终潜在清晰图像(LFinal)828。
虽然在本文中详细描述了本发明，但是应当理解，本文仅仅说明了本发明的当前优选实施方式，并且应当理解，除了所附权利要求书中所描述的结构或设计的细节以外，不意图对本文示出的结构或设计的细节进行限制。

Claims (32)

1.一种用于使模糊图像去模糊的方法，所述模糊图像包括主边缘和纹理，所述方法包括以下步骤：
利用第一阶段正则化空间掩膜执行反卷积的第一阶段，以重构所述主边缘并且生成具有重构主边缘的第一阶段潜在清晰图像；以及
利用第二阶段正则化空间掩膜执行反卷积的第二阶段，以重构所述纹理并且生成第二阶段潜在清晰图像，所述第二阶段正则化空间掩膜与所述第一阶段正则化空间掩膜不同。
2.根据权利要求1所述的方法，还包括步骤：使用所述第一阶段潜在清晰图像生成所述第二阶段正则化空间掩膜。
3.根据权利要求1所述的方法，其中，(i)执行第一阶段的步骤包括使用假设拉普拉斯先验或超拉普拉斯先验且包括所述第一阶段正则化空间掩膜的第一阶段算法，以抑制振铃伪影和噪声；并且(ii)执行第二阶段的步骤包括使用假设高斯先验且包括空间先验和所述第二阶段正则化空间掩膜的第二阶段算法，以在不引入强振铃伪影的情况下帮助恢复图像纹理。
4.根据权利要求1所述的方法，还包括以下步骤：(i)识别所述模糊图像中的任何异常区域；以及(ii)基于所识别的异常区域产生保真项掩膜；其中，执行反卷积的第一阶段的步骤包括使用第一阶段算法，所述第一阶段算法使用所述保真项掩膜；并且其中，执行反卷积的第二阶段的步骤包括使用第二阶段算法，所述第二阶段算法使用所述保真项掩膜。
5.根据权利要求4所述的方法，其中：(i)执行第一阶段的步骤包括使用假设拉普拉斯先验或超拉普拉斯先验且包括所述第一阶段正则化空间掩膜的所述第一阶段算法，以抑制振铃伪影和噪声；并且(ii)执行第二阶段的步骤包括使用假设高斯先验、空间先验且包括所述第二阶段正则化空间掩膜的所述第二阶段算法，以在不引入强振铃伪影的情况下帮助恢复图像纹理。
6.根据权利要求4所述的方法，还包括以下步骤：(i)利用第三阶段正则化空间掩膜对所述模糊图像执行反卷积的第三阶段来重构所述主边缘，以生成第三阶段潜在清晰图像；以及(ii)利用第四阶段正则化空间掩膜执行反卷积的第四阶段来重构所述纹理，以生成第四阶段潜在清晰图像，所述第四阶段正则化空间掩膜与所述第三阶段正则化空间掩膜不同。
7.根据权利要求6所述的方法，还包括步骤：将所述第二阶段潜在清晰图像与所述第四阶段潜在清晰图像合并，以产生输出潜在清晰图像。
8.根据权利要求6所述的方法，其中：(i)执行第一阶段的步骤包括使用假设拉普拉斯先验或超拉普拉斯先验且包括所述第一阶段正则化空间掩膜的所述第一阶段算法，以抑制振铃伪影和噪声；(ii)执行第二阶段的步骤包括使用假设高斯先验且包括空间先验和所述第二阶段正则化空间掩膜的所述第二阶段算法，以在不引入强振铃伪影的情况下帮助恢复图像纹理；(iii)执行第三阶段的步骤包括使用假设拉普拉斯先验或超拉普拉斯先验且包括所述第三阶段正则化空间掩膜的第三阶段算法，以抑制振铃伪影和噪声；并且(iv)执行第四阶段的步骤包括使用假设高斯先验且包括空间先验和所述第四阶段正则化空间掩膜的第四阶段算法，以在不引入强振铃伪影的情况下帮助恢复图像纹理。
9.根据权利要求1所述的方法，还包括以下步骤：(i)将所述模糊图像转换到包括亮度通道和色度通道的颜色空间；(ii)利用反卷积的所述第一阶段和所述第二阶段执行所述模糊图像的所述亮度通道的反卷积；(iii)使用去模糊的亮度通道生成所述第二阶段正则化空间掩膜；以及(iv)利用反卷积的所述第一阶段和所述第二阶段执行所述模糊图像的所述色度通道的反卷积。
10.一种用于利用已知或估计点扩散函数使模糊图像去模糊的方法，所述方法包括以下步骤：
利用假设拉普拉斯先验正则化或超拉普拉斯先验正则化的第一潜在清晰图像代价函数来执行反卷积的第一阶段，以生成具有重构主边缘的第一阶段潜在清晰图像；以及
利用假设高斯先验正则化且包括空间先验正则化的第二潜在清晰图像代价函数来执行反卷积的第二阶段，以生成具有重构纹理的第二阶段潜在清晰图像。
11.根据权利要求10所述的方法，其中，执行反卷积的第一阶段的步骤包括在所述第一潜在清晰图像代价函数中使用第一阶段正则化空间掩膜；其中，执行反卷积的第二阶段的步骤包括在所述第二潜在清晰图像代价函数中使用第二阶段正则化空间掩膜；并且其中，所述方法包括使用所述第一阶段潜在清晰图像生成所述第二阶段正则化空间掩膜。
12.根据权利要求10所述的方法，还包括步骤：(i)识别所述模糊图像中的任何异常区域；以及(ii)基于所识别的异常区域产生保真项掩膜；其中，执行反卷积的第一阶段的步骤包括在所述第一潜在清晰图像代价函数中使用所述保真项掩膜；并且其中，执行反卷积的第二阶段的步骤包括在所述第二潜在清晰图像代价函数中使用所述保真项掩膜。
13.根据权利要求12所述的方法，还包括以下步骤：(i)利用第三阶段正则化空间掩膜对所述模糊图像执行反卷积的第三阶段来重构所述主边缘，以生成第三阶段潜在清晰图像；以及(ii)利用第四阶段正则化空间掩膜执行反卷积的第四阶段来重构所述纹理，以生成第四阶段潜在清晰图像，所述第四阶段正则化空间掩膜与所述第三阶段正则化空间掩膜不同。
14.根据权利要求13所述的方法，还包括步骤：将所述第二阶段潜在清晰图像与所述第四阶段潜在清晰图像合并，以产生输出潜在清晰图像。
15.根据权利要求13所述的方法，其中：(i)执行第三阶段的步骤包括使用假设拉普拉斯先验或超拉普拉斯先验且包括所述第三阶段正则化空间掩膜的第三阶段算法，以抑制振铃伪影和噪声；并且(ii)执行第四阶段的步骤包括使用假设高斯先验且包括空间先验和所述第四阶段正则化空间掩膜的第四阶段算法，以在不引入强振铃伪影的情况下帮助恢复图像纹理。
16.根据权利要求10所述的方法，还包括以下步骤：(i)将所述模糊图像转换到包括亮度通道和色度通道的颜色空间；(ii)利用反卷积的所述第一阶段和所述第二阶段执行所述模糊图像的所述亮度通道的反卷积；以及(iii)利用反卷积的所述第一阶段和所述第二阶段执行所述模糊图像的所述色度通道的反卷积。
17.一种用于使模糊图像去模糊的系统，所述模糊图像包括主边缘和纹理，所述系统包括：
控制系统，所述控制系统包括处理器，所述处理器：(i)利用第一阶段正则化空间掩膜执行反卷积的第一阶段，以重构所述主边缘并且生成具有重构主边缘的第一阶段潜在清晰图像；以及(ii)利用第二阶段正则化空间掩膜执行反卷积的第二阶段，以重构所述纹理并且生成第二阶段潜在清晰图像，所述第二阶段正则化空间掩膜与所述第一阶段正则化空间掩膜不同。
18.根据权利要求17所述的系统，其中，所述控制系统使用所述第一阶段潜在清晰图像生成所述第二阶段正则化空间掩膜。
19.根据权利要求17所述的系统，其中：(i)反卷积的所述第一阶段使用假设拉普拉斯先验或超拉普拉斯先验且包括所述第一阶段正则化空间掩膜的第一阶段算法，以抑制振铃伪影和噪声；并且(ii)反卷积的所述第二阶段使用假设高斯先验且包括空间先验和所述第二阶段正则化空间掩膜的第二阶段算法，以在不引入强振铃伪影的情况下帮助恢复图像纹理。
20.根据权利要求17所述的系统，其中，所述控制系统：(i)识别所述模糊图像中的任何异常区域；以及(ii)基于所识别的异常区域产生保真项掩膜；其中，反卷积的所述第一阶段使用第一阶段算法，所述第一阶段算法使用所述保真项掩膜，并且反卷积的所述第二阶段使用第二阶段算法，所述第二阶段算法使用所述保真项掩膜。
21.根据权利要求20所述的系统，其中：(i)所述第一阶段算法假设拉普拉斯先验或超拉普拉斯先验且包括所述第一阶段正则化空间掩膜，以抑制振铃伪影和噪声；以及(ii)所述第二阶段算法假设高斯先验且包括空间先验和所述第二阶段正则化空间掩膜，以在不引入强振铃伪影的情况下帮助恢复图像纹理。
22.根据权利要求20所述的系统，其中，所述控制系统：(i)利用第三阶段正则化空间掩膜对所述模糊图像执行反卷积的第三阶段来重构所述主边缘，以生成第三阶段潜在清晰图像；以及(ii)利用第四阶段正则化空间掩膜执行反卷积的第四阶段来重构所述纹理，以生成第四阶段潜在清晰图像，所述第四阶段正则化空间掩膜与所述第三阶段正则化空间掩膜不同。
23.根据权利要求22所述的系统，其中，所述控制系统将所述第二阶段潜在清晰图像与所述第四阶段潜在清晰图像合并，以产生输出潜在清晰图像。
23.根据权利要求22所述的系统，其中：(i)所述第一阶段算法假设拉普拉斯先验或超拉普拉斯先验且包括所述第一阶段正则化空间掩膜，以抑制振铃伪影和噪声；(ii)所述第二阶段算法假设高斯先验且包括空间先验和所述第二阶段正则化空间掩膜，以在不引入强振铃伪影的情况下帮助恢复图像纹理；(iii)正则化的所述第三阶段包括使用假设拉普拉斯先验或超拉普拉斯先验且包括所述第三阶段正则化空间掩膜的第三阶段算法，以抑制振铃伪影和噪声；以及(iv)正则化的所述第四阶段包括使用假设高斯先验且包括空间先验和所述第四阶段正则化空间掩膜的第四阶段算法，以在不引入强振铃伪影的情况下帮助恢复图像纹理。
24.根据权利要求17所述的系统，其中，所述控制系统：(i)将所述模糊图像转换到包括亮度通道和色度通道的颜色空间；(ii)利用反卷积的所述第一阶段和所述第二阶段执行所述模糊图像的所述亮度通道的反卷积；(iii)使用去模糊的亮度通道生成所述第二阶段正则化空间掩膜；以及(iv)利用反卷积的所述第一阶段和所述第二阶段执行所述模糊图像的所述色度通道的反卷积。
25.根据权利要求13所述的系统，还包括捕获系统，所述捕获系统捕获场景的图像。
26.一种用于使模糊图像去模糊的系统，所述模糊图像包括主边缘和纹理，所述系统包括：
控制系统，所述控制系统包括处理器，所述处理器：(i)利用假设拉普拉斯先验正则化或超拉普拉斯先验正则化的第一潜在清晰图像代价函数执行反卷积的第一阶段，以生成具有重构主边缘的第一阶段潜在清晰图像；以及(ii)利用假设高斯先验正则化且包括空间先验正则化的第二潜在清晰图像代价函数执行反卷积的第二阶段，以生成具有重构纹理的第二阶段潜在清晰图像。
27.根据权利要求26所述的系统，其中，反卷积的所述第一阶段包括在所述第一潜在清晰图像代价函数中使用第一阶段正则化空间掩膜；其中，反卷积的所述第二阶段包括在所述第二潜在清晰图像代价函数中使用第二阶段正则化空间掩膜；并且其中，所述方法包括使用所述第一阶段潜在清晰图像生成所述第二阶段正则化空间掩膜。
28.根据权利要求26所述的系统，其中，所述控制系统：(i)识别所述模糊图像中的任何异常区域；(ii)基于所识别的异常区域产生保真项掩膜；(iii)在所述第一潜在清晰图像代价函数中使用所述保真项掩膜；以及(iv)在所述第二潜在清晰图像代价函数中使用所述保真项掩膜。
29.根据权利要求26所述的系统，其中，所述控制系统：(i)利用第三阶段正则化空间掩膜对所述模糊图像执行反卷积的第三阶段来重构所述主边缘，以生成第三阶段潜在清晰图像；以及(ii)利用第四阶段正则化空间掩膜执行反卷积的第四阶段来重构所述纹理，以生成第四阶段潜在清晰图像，所述第四阶段正则化空间掩膜与所述第三阶段正则化空间掩膜不同。
30.根据权利要求29所述的系统，其中，所述控制系统将所述第二阶段潜在清晰图像与所述第四阶段潜在清晰图像合并，以产生输出潜在清晰图像。
31.根据权利要求26所述的系统，其中，所述控制系统：(i)将所述模糊图像转换到包括亮度通道和色度通道的颜色空间；(ii)利用反卷积的所述第一阶段和所述第二阶段执行所述模糊图像的所述亮度通道的反卷积；以及(iii)利用反卷积的所述第一阶段和所述第二阶段执行所述模糊图像的所述色度通道的反卷积。
CN201480053596.XA 2013-07-29 2014-07-22 用于图像反卷积的多阶段方法及系统 Expired - Fee Related CN105765607B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361859740P 2013-07-29 2013-07-29
US61/859,740 2013-07-29
PCT/US2014/047620 WO2015017194A1 (en) 2013-07-29 2014-07-22 Multiple phase method for image deconvolution

Publications (2)

Publication Number Publication Date
CN105765607A true CN105765607A (zh) 2016-07-13
CN105765607B CN105765607B (zh) 2019-09-10

Family

ID=52432337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480053596.XA Expired - Fee Related CN105765607B (zh) 2013-07-29 2014-07-22 用于图像反卷积的多阶段方法及系统

Country Status (5)

Country Link
US (2) US9928579B2 (zh)
EP (1) EP3028220A4 (zh)
JP (1) JP6409872B2 (zh)
CN (1) CN105765607B (zh)
WO (1) WO2015017194A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846814A (zh) * 2018-06-11 2018-11-20 广州视源电子科技股份有限公司 图像处理方法、装置、可读存储介质及计算机设备
CN112184567A (zh) * 2020-08-28 2021-01-05 江苏海洋大学 一种基于交替最小化的多通道盲识别自适应光学图像复原方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3028220A4 (en) 2013-07-29 2017-04-05 Nikon Corporation Multiple phase method for image deconvolution
US10165263B2 (en) 2013-09-30 2018-12-25 Nikon Corporation Point spread function estimation of optics blur
JP6129759B2 (ja) * 2014-02-03 2017-05-17 満男 江口 Ｓｉｍｄ型超並列演算処理装置向け超解像処理方法、装置、プログラム及び記憶媒体
US9785860B2 (en) * 2014-07-16 2017-10-10 The Cleveland Clinic Foundation Real-time image enhancement for X-ray imagers
US10691314B1 (en) 2015-05-05 2020-06-23 State Farm Mutual Automobile Insurance Company Connecting users to entities based on recognized objects
EP3437545A4 (en) * 2016-03-31 2019-08-21 Sony Corporation CONTROL DEVICE, ENDOSCOPE IMAGE CAPTURE DEVICE, CONTROL METHOD, PROGRAM, AND ENDOSCOPE SYSTEM
JP2017191071A (ja) * 2016-04-15 2017-10-19 キヤノン株式会社 分光データ処理装置、撮像装置、分光データ処理方法および分光データ処理プログラム
US10229534B2 (en) * 2017-01-10 2019-03-12 Ditto Technologies, Inc. Modeling of a user's face
CN107292842B (zh) * 2017-06-15 2020-08-07 北京大学深圳研究生院 基于先验约束和离群值抑制的图像去模糊方法
CN110618428B (zh) * 2019-09-19 2021-06-25 上海海洋大学 一种用于多普勒三维数据处理方法
JP7209867B2 (ja) * 2019-12-16 2023-01-20 三菱電機株式会社 画像処理装置および画像処理方法
US20230069998A1 (en) * 2021-09-07 2023-03-09 Samsung Electronics Co., Ltd. Electronic device for sharpening image and operation method thereof
CN113962250B (zh) * 2021-09-14 2023-05-12 西南交通大学 自适应最小相关广义反卷积方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101504765A (zh) * 2009-03-20 2009-08-12 东华大学 采用梯度融合技术的运动模糊图像序列的复原方法
CN102131079A (zh) * 2011-04-20 2011-07-20 杭州华三通信技术有限公司 一种消除图像运动模糊的方法和装置
US20120269414A1 (en) * 2011-04-22 2012-10-25 Toshiba Medical Systems Corporation Mri gibbs' ringing filtering with edge-protection
US8588544B2 (en) * 2009-10-13 2013-11-19 Sony Corporation Method and system for reducing ringing artifacts of image deconvolution
US8705881B2 (en) * 2011-09-02 2014-04-22 Adobe Systems Incorporated Motion deblurring for text images

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060291751A1 (en) * 2004-12-16 2006-12-28 Peyman Milanfar Robust reconstruction of high resolution grayscale images from a sequence of low-resolution frames (robust gray super-resolution)
US7412107B2 (en) 2004-12-17 2008-08-12 The Regents Of The University Of California, Santa Cruz System and method for robust multi-frame demosaicing and color super-resolution
US8184926B2 (en) 2007-02-28 2012-05-22 Microsoft Corporation Image deblurring with blurred/noisy image pairs
KR100990791B1 (ko) * 2008-12-31 2010-10-29 포항공과대학교 산학협력단 영상의 블러 제거 방법 및 블러 제거 방법이 기록된 기록매체
US8582910B2 (en) * 2009-10-02 2013-11-12 The Chinese University Of Hong Kong Methods and apparatus for editing images
WO2011139288A1 (en) 2010-05-06 2011-11-10 Nikon Corporation Image sharpness classification system
EP2574038B1 (en) * 2010-05-21 2018-10-24 Panasonic Intellectual Property Corporation of America Image capturing apparatus, image processing apparatus, image processing method, and image processing program
WO2012060835A1 (en) 2010-11-03 2012-05-10 Nikon Corporation Blur detection system for night scene images
US9251439B2 (en) 2011-08-18 2016-02-02 Nikon Corporation Image sharpness classification system
US9245328B2 (en) 2012-03-29 2016-01-26 Nikon Corporation Algorithm for minimizing latent sharp image cost function and point spread function with a spatial mask in a fidelity term
WO2013148142A1 (en) 2012-03-29 2013-10-03 Nikon Corporation Algorithm for minimizing latent sharp image cost function and point spread function cost function with a spatial mask in a regularization term
WO2014074138A1 (en) 2012-11-09 2014-05-15 Nikon Corporation Globally dominant point spread function estimation
US9530079B2 (en) 2012-11-09 2016-12-27 Nikon Corporation Point spread function classification using structural properties
EP3028220A4 (en) 2013-07-29 2017-04-05 Nikon Corporation Multiple phase method for image deconvolution

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101504765A (zh) * 2009-03-20 2009-08-12 东华大学 采用梯度融合技术的运动模糊图像序列的复原方法
US8588544B2 (en) * 2009-10-13 2013-11-19 Sony Corporation Method and system for reducing ringing artifacts of image deconvolution
CN102131079A (zh) * 2011-04-20 2011-07-20 杭州华三通信技术有限公司 一种消除图像运动模糊的方法和装置
US20120269414A1 (en) * 2011-04-22 2012-10-25 Toshiba Medical Systems Corporation Mri gibbs' ringing filtering with edge-protection
US8705881B2 (en) * 2011-09-02 2014-04-22 Adobe Systems Incorporated Motion deblurring for text images

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JH LEE 等: "High-quality non-blind image deconvolution with adaptive regularization", 《JOURNAL OF VISUAL COMMUNICATION & IMAGE REPRESENTATION》 *
L XU 等: "Two-Phase Kernel Estimation for Robust Motion Deblurring", 《EUROPEAN CONFERENCE ON COMPUTER VISION-ECCV》 *
QI SHAN 等: "High-quality Motion Deblurringfrom a Single Image", 《SIGGRAPH 08》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846814A (zh) * 2018-06-11 2018-11-20 广州视源电子科技股份有限公司 图像处理方法、装置、可读存储介质及计算机设备
CN108846814B (zh) * 2018-06-11 2021-07-06 广州视源电子科技股份有限公司 图像处理方法、装置、可读存储介质及计算机设备
CN112184567A (zh) * 2020-08-28 2021-01-05 江苏海洋大学 一种基于交替最小化的多通道盲识别自适应光学图像复原方法

Also Published As

Publication number Publication date
US20180182077A1 (en) 2018-06-28
JP6409872B2 (ja) 2018-10-24
US9928579B2 (en) 2018-03-27
US20160171667A1 (en) 2016-06-16
EP3028220A1 (en) 2016-06-08
JP2016532367A (ja) 2016-10-13
US10290083B2 (en) 2019-05-14
CN105765607B (zh) 2019-09-10
WO2015017194A1 (en) 2015-02-05
EP3028220A4 (en) 2017-04-05

Similar Documents

Publication Publication Date Title
CN105765607A (zh) 用于图像反卷积的多阶段方法
Bao et al. Memc-net: Motion estimation and motion compensation driven neural network for video interpolation and enhancement
US11948279B2 (en) Method and device for joint denoising and demosaicing using neural network
WO2020103171A1 (zh) 用于图像去模糊的Bi-Level优化方法
US9245328B2 (en) Algorithm for minimizing latent sharp image cost function and point spread function with a spatial mask in a fidelity term
Shibata et al. Gradient-domain image reconstruction framework with intensity-range and base-structure constraints
Im et al. Single image-based ghost-free high dynamic range imaging using local histogram stretching and spatially-adaptive denoising
CN112164011B (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
CN113632134B (zh) 用于生成高动态范围图像的方法、计算机可读存储介质和hdr相机
Zheng et al. Ultra-high-definition image hdr reconstruction via collaborative bilateral learning
US11948278B2 (en) Image quality improvement method and image processing apparatus using the same
Zhang et al. Deep motion blur removal using noisy/blurry image pairs
CN114202460B (zh) 面对不同损伤图像的超分辨率高清重建方法和系统及设备
Lim et al. Deep spectral-spatial network for single image deblurring
CN117333398A (zh) 一种基于自监督的多尺度图像去噪方法及装置
Zheng et al. Windowing decomposition convolutional neural network for image enhancement
Yang et al. Joint image dehazing and super-resolution: Closed shared source residual attention fusion network
El-Yamany et al. Robust color image superresolution: An adaptive M-estimation framework
Jung et al. A novel multiple image deblurring technique using fuzzy projection onto convex sets
Senshiki et al. PSF estimation using total variation regularization and shock filter for blind deconvolution
Zhu et al. LLISP: Low-light image signal processing net via two-stage network
WO2015146240A1 (ja) 画像処理装置
Komatsu et al. Effectiveness of u-net in denoising rgb images
Yousaf et al. Closed-loop restoration approach to blurry images based on machine learning and feedback optimization
Buades et al. Denoising of Noisy and Compressed Video Sequences.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190910

Termination date: 20200722

CF01 Termination of patent right due to non-payment of annual fee